TL;DR
- Anthropic publicó el 22 de octubre que verificó código de 123 librerías, y en la misma página escribió que "verificado" no significa "sin errores" y que no verificó todos los puntos de entrada de cada librería.
- El mismo día, METR publicó un ejercicio piloto de pruebas de estrés al sistema con el que OpenAI vigila a sus agentes. Escribió qué mira su informe, qué detalles tachó OpenAI y qué afirmaciones de OpenAI no evaluó.
- Una palabra como "verificado" dice que alguien miró. Para apoyarte en ella necesitas tres respuestas escritas por quien la dice: qué se comprobó exactamente, contra qué se comparó, y qué quedó fuera y quién lo dice.
- Si la afirmación llega en un idioma y tu contrato está en otro, hay una cuarta pregunta: si se comprobó en los dos.
- Aplicamos las tres preguntas a tres "aprobados" de nuestra propia semana. En ocho de las nueve respuestas, el cuerpo del informe ya las traía; el rótulo, no.
- Te llevas un mensaje escrito, listo para mandar, que pide solo las respuestas que te faltan.
La respuesta corta. "Verificado" es una afirmación, no una medida: dice que alguien miró, pero no qué miró, contra qué lo comparó ni qué dejó fuera. Para apoyarte en ella necesitas tres respuestas por escrito de quien la dice: qué se comprobó exactamente, contra qué se comparó, y qué quedó fuera y quién lo dice. Si falta alguna, tienes una etiqueta, no una comprobación, y lo que toca es pedirla.
Hay palabras que llegan solas. "Verificado", "revisado", "certificado", "aprobado". Vienen en un informe, en un sello, o en un correo de tu equipo que dice "ya lo verifiqué". Tienen buen aspecto: caben en cualquier parte y no pesan nada.
Lo que pesa es lo que va detrás, y a veces no viene. Este miércoles es solo sobre eso: cómo leer la frase que te entregan, con tres preguntas que sirven igual para un proveedor de IA, un contratista o tu propio equipo.
El lunes contamos las dos noticias de hoy como hechos, en el resumen de la semana. Aquí va lo que no cabía allí: qué se les puede preguntar y cómo, sin que suene a reclamo. Un aviso: trabajamos con Claude, de Anthropic, que es una de las dos organizaciones de las que hablamos hoy. No somos un tercero neutral, y por eso citamos su página tal cual.
1. "Verificado" dice que alguien miró, no qué miró
Una afirmación es una frase que alguien te entrega para que te apoyes en ella: "verificado", "revisado", "certificado", "probado", "aprobado", "seguro". Suena a medida. No lo es.
Una medida tiene dos partes: qué se midió y contra qué se comparó. Hay una tercera, el borde, que es lo que no se midió, y que solo existe si alguien la escribe. La palabra suelta no trae ninguna de las tres.
De ahí salen las tres preguntas. Son siempre las mismas:
- ¿Qué se comprobó, exactamente?
- ¿Contra qué se comparó?
- ¿Qué quedó fuera, y quién lo dice?
Para apoyarte en un "verificado" necesitas las tres respuestas, no la palabra
La palabra te dice que alguien hizo algo. Las respuestas te dicen cuánto de lo que vas a hacer tú se apoya en eso. Si el proveedor no escribió ninguna, no tienes una comprobación a medias: tienes una etiqueta.
Las respuestas tienen que estar escritas por quien afirma. Si las contestas tú con lo que supones, no leíste la afirmación: la completaste.
2. Qué se comprobó: 239 puntos de entrada en 123 librerías, y no todos
El 22 de octubre, Anthropic publicó una investigación hecha con Theorem sobre verificación formal de código. Explica que el método consiste en traducir el código a un modelo matemático e intentar demostrar que siempre cumple unas reglas de seguridad definidas. Dice que lo hizo para 239 puntos de entrada en 123 librerías de código abierto.
En esta página la primera pregunta tiene respuesta escrita, con nombre y con alcance, y con límites que se pueden contar. Las demostraciones valen para entradas de menos de 64 MB, y suponen un programa de un solo hilo, compilado como binario estático, en un procesador RISC-V con Linux y la biblioteca musl. La propia página señala que la mayoría de la gente usa esas librerías en x86 o ARM, enlazadas con glibc.
También escribe tres cosas que cambian cómo se lee el número. Los errores que encontró se corrigieron, y el código corregido se volvió a demostrar. De las demostraciones solo se publica una parte, porque no publican las que podrían revelar un error todavía sin corregir. Y lo que hay que dar por bueno son tres piezas: los modelos formales de RISC-V y de los procesos de Linux, los enunciados exactos de los teoremas y el verificador Rocq.
Un alcance con números se puede contrastar, y uno sin números no
Imagina que el proveedor del software de reservas de una tienda de doce personas te escribe: "verificado y listo para producción". Lo único que puedes hacer con eso es creerlo o no. Con una respuesta como la de Anthropic, con tamaños, plataformas y piezas en las que hay que confiar, puedes ir a ver si lo tuyo cae dentro o fuera.
Esto no quiere decir que esa verificación aplique a un negocio pequeño, ni que la tuya deba parecerse a ella. Es un caso en que la primera pregunta tiene respuesta escrita, y por eso sirve para ver cómo se lee una.
3. Contra qué se comparó: una comprobación vale lo que vale aquello contra lo que se hizo
La segunda pregunta es fácil de saltarse, porque la palabra suena completa. Comprobar es comparar, y si no sabes contra qué, no sabes qué te dijeron.
En el caso de Anthropic, la página explica que las especificaciones salieron de convertir automáticamente las pruebas que cada librería ya tenía. Claude escribe la demostración, y un verificador distinto, llamado Rocq, comprueba que cumple la especificación. Y la página añade una frase que merece citarse: un verificador de pruebas "no puede decirte si tu especificación coincide con la realidad".
El valor de una comprobación depende de aquello contra lo que se comparó
Esto no es una crítica a Anthropic: es lo que dice su propia página, y es la pregunta en limpio. Una comprobación puede estar perfectamente hecha contra algo que no es lo que a ti te importa. Cuando alguien te dice "contra un estándar" o "contra el contrato", puedes abrirlo. Cuando te dice "contra nuestros criterios internos", te dijo que hubo un criterio y no te dejó verlo.
Qué hacer: si la respuesta es "contra nuestro criterio", pide verlo o pide una fuente que puedas abrir. Y cuando te nombren una fuente, ábrela: que aparezca en la respuesta no la hace cierta ni aplicable a lo tuyo.
4. Qué quedó fuera, y quién lo dice
La tercera pregunta es la que más ayuda y la que menos se escribe sin que se pida. Toda comprobación tiene un borde. Lo que cambia es si alguien lo escribió.
Las dos páginas de hoy lo escriben, de formas distintas. Anthropic, sobre su propio trabajo: dice que "formalmente verificado" no significa "sin errores" y que no verificaron todos los puntos de entrada de cada librería.
METR escribe sobre el trabajo de otro. Su ejercicio fue un piloto de pruebas de estrés, con acceso amplio, al sistema con el que OpenAI vigila a sus agentes por desalineación. Trabajó del 21 de julio al 11 de agosto, con acceso al código, a los prompts y la configuración del monitor y a la documentación, más unas doce entrevistas. Describe lo que encontró tal como estaba el sistema "on and before July 21st" (el 21 de julio y antes) y dice que no evaluó los cambios que estaban en marcha. Dice también que OpenAI pudo tachar lo que considerara confidencial o sensible, a su sola discreción, y que una versión de 38 páginas con esos tachones se compartió con los equipos de dirección de METR y de Redwood. Sobre lo que OpenAI dice haber arreglado, escribe: "We have not evaluated these claims".
Un borde escrito por un tercero pesa distinto que uno escrito por quien afirma
No lo decimos para poner a una página por encima de la otra, ni para juzgar a ninguna de las dos empresas. Lo que tienes en cada caso son bordes distintos: Anthropic dice dónde terminó su propio trabajo, METR dice dónde termina el suyo y qué no tocó del de otro. La herramienta que viene con la guía no los pone en orden: te deja saber cuál tienes.
Y esto vale solo para estas dos páginas. No sabemos qué hacen otras, y generalizar de dos casos sería hacer lo mismo que criticamos: afirmar sin decir contra qué.
Quién debe revisar el trabajo de quien lo construye es otra pregunta, y la tratamos en quien te construyó la página no puede ser quien te diga si funciona. Aquella página pide que alguien independiente revise con acceso. Esta no revisa nada: lee lo que ya te dijeron.
5. Qué salió cuando se lo preguntamos a nuestros propios "aprobados"
Antes de pedirte que hagas algo, lo hicimos nosotros. Tomamos tres "aprobados" de nuestra semana, de esta misma casa: la revisión final de la pieza del lunes, la edición de estilo de esa misma pieza, y la revisión final de la del martes. Y les hicimos las tres preguntas.
Una aclaración antes de los resultados, porque son pocos. Lo hizo quien escribió esta pieza, leyendo el informe de cada revisión: no es una revisión independiente, y no reabrimos ninguna fuente. Así que esto mide qué dice cada informe, no si lo que comprobó era cierto. Elegimos esos tres sin un criterio de muestreo, y quedaron fuera otros informes de la semana, como los del control independiente. Son tres informes de dos días: no es una muestra, y no sacamos de ahí ningún porcentaje.
Lo que encontramos:
- Las respuestas estaban, pero no en el rótulo. Tres informes por tres preguntas son nueve respuestas. En ocho, el cuerpo del informe ya decía qué se abrió, contra qué se comparó o qué quedó pendiente. En una no: la edición de estilo no dice que no comprobó si los hechos eran ciertos. El rótulo ("PASS", "SHIP") decía menos que el cuerpo.
- Dos controles se contradijeron sobre la misma línea. Una edición de estilo cambió un encabezado a lo que su lista pedía; otra comprobación, que compara contra otra regla, dijo que ese encabezado estaba mal. Una puntuación perfecta de una convivió con un fallo de la otra, porque cada una comparaba contra algo distinto.
Un aprobado nuestro tampoco te dice, solo, contra qué
Si tuviéramos que escribir la etiqueta de esos tres informes, sería "aprobado". Si tuviéramos que escribir su afirmación completa, sería otra frase, más larga y más incómoda. Eso es lo que te pedimos que pidas.
6. Dos idiomas, dos comprobaciones, hasta que alguien diga lo contrario
Una afirmación puede venir en un idioma y tu trabajo estar en otro. Eso abre una cuarta pregunta: si la misma cosa se comprobó en los dos.
Imagina a un conferencista que contrata una herramienta de subtítulos. El informe llega en inglés y dice "probado". Su público habla español. ¿Probado en qué idioma? Lo que le sirve es una respuesta como "se probó con audio y texto en español, con estos casos". Lo que no le sirve es "es un modelo multilingüe", porque eso es otra clase de afirmación: dice qué puede hacer la herramienta, no qué se comprobó.
Si la afirmación nombra un solo idioma, lo tuyo está fuera del alcance hasta que te digan lo contrario
Un texto, una interfaz o un documento legal pueden funcionar en un idioma y fallar en otro. Lo que cuenta es que el idioma que a ti te importa esté en la respuesta, escrito. Y escribe tu pregunta en el idioma de la afirmación: si te llegó en inglés, pregunta en inglés.
La conversación de la palabra que llega sola
Naty: Cuando alguien me da una cifra sin la moneda, lo primero que pregunto es en qué. Dólares, no bolívares: no es la misma historia. Con las palabras que llegan solas me pasa igual.
Todd: Yo, cuando entrego un sistema, entrego también la lista de lo que no hace. Es parte de lo que entrego, no una letra chica. Si no la escribo yo, la encuentra el cliente cuando algo falla.
Naty: A mí me cuesta más preguntarlo que contestarlo, porque preguntar "¿en qué?" se siente como interrumpir. Y en mi experiencia es lo que más ordena la conversación.
Todd: A mí me cuesta lo contrario: escribir lo que mi sistema no cubre se siente como admitir un defecto. Lo escribo igual, porque el borde viaja con el trabajo.
Naty: Esta semana nos preguntamos si, cuando decimos "revisado", decimos qué no revisamos. La respuesta está en la sección anterior.
Esta semana, una sola tarea: tu mensaje
Quince minutos, con una sola afirmación.
- Escoge una. La última palabra de tipo "verificado", "revisado" o "certificado" que te llegó esta semana, de un proveedor, un contratista, un banco, un sello o tu propio equipo.
- Contesta las tres preguntas con lo que te entregaron, no con lo que supones: qué se comprobó, contra qué, y qué quedó fuera y quién lo dice. Si la afirmación está en un idioma y tu trabajo en otro, añade la cuarta.
- Manda por escrito solo las preguntas que no tengan respuesta, con una frase al principio que diga para qué las quieres ("antes de apoyarme en eso necesito estas respuestas por escrito") y una al final que le dé permiso al otro de decir qué no se comprobó. Si todas tenían respuesta, no hay nada que mandar: lo que queda es decidir si lo que dejaron fuera te alcanza.
Lo demás viene en la guía: el mensaje frase por frase, cómo leer la respuesta (la que nombra, la que repite la palabra y el silencio) y qué hacer con lo que dejaron fuera. Con ella llega la herramienta que arma el mensaje por ti, con las preguntas que te falten.
Manda la palabra por WhatsApp y las dos te llegan ahí.
Preguntas frecuentes
¿Qué significa que un proveedor diga que algo está "verificado"? Que alguien hizo una comprobación. No dice cuál, contra qué ni qué dejó fuera. Para apoyarte en la palabra necesitas esas tres respuestas escritas por quien la dice.
¿Preguntar qué no comprobó suena a desconfianza? Puede sonar así si se manda como reclamo. Funciona mejor una frase que diga para qué quieres la respuesta ("antes de apoyarme en eso") y un cierre que le dé permiso de decir lo que no se cubrió.
¿Y si me contestan "sí, está verificado" sin más? Te contestaron una pregunta que no hiciste. No es necesariamente mala fe: mucha gente no tiene a mano lo que se hizo. Vuelve a preguntar una sola cosa, la más importante, con las mismas palabras.
¿Un proveedor que nombra lo que no comprobó es más fiable? No lo sabemos, y no lo afirmamos. Lo que sí cambia es lo que tienes en la mano: con el borde escrito puedes decidir cuánto apoyarte; sin él, tienes que suponerlo.
Mi contrato está en español y la afirmación llega en inglés. ¿Qué pregunto? Si la comprobación se hizo en los dos idiomas. Si la respuesta nombra solo uno, lo tuyo está fuera del alcance hasta que te digan lo contrario. Pregunta en el idioma de la afirmación.
Para cerrar
Las dos páginas de esta semana que más nos sirvieron para este artículo tienen algo en común: escriben dónde termina lo que hicieron. Eso no las hace correctas, ni nos dice que lo que afirman sea cierto. Nos dice contra qué leerlas.
Tu versión de eso cabe en un mensaje de WhatsApp: una afirmación, tres preguntas y, si falta alguna, un mensaje corto que la pida. La palabra dice que alguien miró. Lo útil es qué miró.
Si una de tus tres respuestas salió vacía, nos interesa saber cuál: la leemos los dos.
Sigue leyendo
- Anthropic y los bancos dijeron quién aprueba lo que hace la IA - el resumen del lunes, donde estas dos páginas entran como dos hechos
- Quien te construyó la página no puede ser quien te diga si funciona - quién debería revisar, que es otra pregunta
- Tu IA te entrega mucho. Cuenta cuánto de eso usas - la guía y la herramienta de la semana pasada
- SEO vs. GEO vs. AEO: ¿Cuál necesita tu negocio en 2026? - el mapa completo
- LLMs are making formal software verification feasible at a much larger scale, Anthropic - la página completa, en inglés
Fuentes
- LLMs are making formal software verification feasible at a much larger scale, Anthropic, 22 de octubre de 2026 (modificada el 23 de octubre) - https://www.anthropic.com/research/formal-verification
- Red-Teaming OpenAI's Internal Agent Monitoring Systems, METR, 22 de octubre de 2026 - https://metr.org/blog/2026-10-22-red-teaming-openai-agent-monitoring/
