Lo cuenta Todd.
TL;DR
- Anthropic anunció que va a meter evaluadores de otra empresa dentro de la suya, con acceso parecido al de un empleado.
- Y dice una cosa que casi nadie diría: que eso no la hace menos responsable, la hace más verificable.
- Y reconoce la parte incómoda: ella misma paga a quien la evalúa, aunque dice que a largo plazo ese dinero debería venir de otro lado.
- Si un laboratorio con ese tamaño concluye que necesita a alguien de fuera mirando por dentro, la pregunta para tu negocio se cae sola.
- Lo que te llevas: tres preguntas concretas para hacerle a quien te lleva el marketing, y qué contestación deja de ser aceptable.
El 18 de septiembre Anthropic publicó que se asocia con Accenture para que evalúe sus modelos desde adentro, con acceso comparable al de un empleado, y que cada una espera invertir al menos mil millones de dólares en cinco años en construir esa capacidad. Esa cifra es una inversión que las dos declaran esperar, no un gasto hecho ni un número verificado por un tercero. Lo que le sirve a tu negocio no es la cifra. Es la estructura: quien hace el trabajo no es quien dice si el trabajo salió bien, y el que lo revisa necesita acceso de verdad, no un resumen.
Tú ya tienes esa situación montada, aunque no la hayas nombrado así.
Quien te hizo la página es quien te manda el reporte de cómo va la página. Quien te lleva los anuncios es quien te explica por qué el mes estuvo flojo. No porque nadie sea deshonesto, sino porque es la única persona que tiene los números abiertos y le estás preguntando por su propio trabajo.
Lo que anunciaron, dicho en llano
Anthropic va a tener gente de Accenture trabajando dentro, evaluando y atacando sus propios modelos a propósito, revisando sus salvaguardas.
Tres frases de ese anuncio son las que valen para un negocio de servicios:
Sobre el acceso. Dicen que, a diferencia de los evaluadores externos de hoy, estos van a trabajar dentro, "con acceso comparable al de un empleado", lo que les permite ver los modelos formarse durante el entrenamiento, seguir las decisiones y hablar directamente con la gente.
Sobre para qué sirve. Dicen que tener evaluadores independientes adentro no reduce su responsabilidad, sino que ayuda a hacerla más verificable. La responsabilidad sigue siendo suya.
Y la parte que no tenían por qué publicar. Reconocen que todavía no existen estándares sobre a qué información deben tener acceso esos evaluadores ni cómo deben reportar lo que encuentren, ni un sistema asentado para financiarlos. Y que, dada la urgencia, Anthropic va a pagar directamente el trabajo de Accenture, aunque su postura de largo plazo es que ese dinero debería venir de fondos comunes o públicos.
Esa última es la más honesta de las tres, y es la que hace útil el ejemplo. El evaluado le paga al evaluador, y lo escriben con esas letras.
Y hay un matiz que conviene no saltarse, porque es el que evita que esto se lea como blanco o negro: no es su único arreglo. En el mismo anuncio dicen que están en conversaciones con METR y con otros evaluadores sin fines de lucro para pilotar esto con financiación de los propios evaluadores, y que la alianza con Accenture no es exclusiva. O sea que hay grados: el que cobra de ti y el que se paga lo suyo no miran igual, y ellos están probando los dos.
Por qué esto aplica a un negocio de diez personas
Porque la estructura del problema no cambia con el tamaño. Tienes un proveedor que hace el trabajo y que además es tu única fuente de información sobre ese trabajo. Recibe el dinero por hacerlo y produce el documento que dice si valió la pena. Ninguna de las dos cosas es sospechosa por separado. Juntas, dejan un hueco.
Aquí conviene saber dónde vive cada cosa, que es justo lo que trabajamos en alquilas la herramienta, eres dueño del activo: si el panel es del proveedor, la llave también.
Y el hueco no se tapa con desconfianza. Se tapa con acceso.
Las tres preguntas, y se hacen en una llamada
No hace falta cambiar de proveedor ni montar una auditoría. Son tres preguntas, y lo que importa no es la respuesta sino si la respuesta se puede comprobar en otro sitio.
1. "¿De dónde sale este número?"
No preguntas si el número es bueno. Preguntas de qué pantalla salió y quién más puede abrirla.
La respuesta que sirve nombra una herramienta y te dice cómo entras tú. La que no sirve es "de nuestro sistema" o "de nuestro panel interno". Si el único sitio donde existe ese dato es un documento que te manda tu proveedor, no tienes una medición: tienes un relato.
2. "¿Quién más ve esto sin pasar por ti?"
Esta es la pregunta de la independencia, y casi nunca se hace.
Si la respuesta es "nadie", ya sabes dónde estás. No significa que te estén engañando. Significa que nadie que no cobre por el resultado ha mirado el resultado, que es exactamente lo que Anthropic acaba de decidir que no le parece suficiente para sí misma.
3. "Si esto no está funcionando, ¿cómo me entero, y cuándo?"
La pregunta de la mala noticia. Quieres saber si existe un momento pactado en el que te dicen que algo no está rindiendo, o si eso depende de que a alguien le nazca.
La respuesta que sirve trae una fecha o un umbral: "si baja de tanto, te escribo". La que no sirve es "tranquilo, si pasa algo te avisamos". Eso no es un compromiso, es una intención.
Dónde esto no aplica, para no volverlo dogma
Si tu proveedor te dio acceso completo desde el principio y tú entras cuando quieres, ya está resuelto. Que no mires es otro asunto, y es tuyo.
Si el trabajo es puramente de ejecución y tú defines el objetivo, mides el resultado y solo delegas el hacer, no hay conflicto. El problema aparece cuando la misma persona define, ejecuta y califica.
Y esto no es una invitación a contratar un auditor. Para la mayoría de los negocios pequeños, un segundo proveedor mirando por encima es un gasto que no se justifica. Lo que sí se justifica es que las llaves de las herramientas estén a tu nombre, no al de tu proveedor.
La esquina de Naty y Todd
Todd: A mí lo que me quedó dando vueltas es de dónde sale la presión para hacer esto. No fue un regulador ni un cliente enfadado. Salió de adentro, de un ensayo del propio jefe de la empresa. Eso me parece lo más difícil de copiar: casi nadie se pone un revisor encima cuando nadie se lo está pidiendo.
Naty: A mí lo que me pasa es que veo el otro lado, el del dueño que recibe el reporte. Casi nadie pregunta de dónde salió un número porque siente que preguntar es acusar. Y no es acusar. Yo cuando tenía el spa tampoco preguntaba, y no era por confianza, era por no quedar como la clienta difícil.
Todd: Ese es el punto que no está en el artículo. La pregunta no la frena la desconfianza, la frena la vergüenza. Y por eso conviene hacerla al principio de la relación, cuando todavía es un procedimiento y no una sospecha. A nadie le incomoda que le pregunten eso en la primera reunión.
Naty: Y si ya llevas dos años sin preguntar, hay una manera de entrar sin que suene a auditoría: dices que quieres aprender a leerlo tú. Es verdad, además. Quien te lleva el trabajo bien te va a enseñar encantado, porque le conviene que sepas leer lo que te manda.
Lo único que hay que hacer esta semana
Abre el último reporte que te mandó tu proveedor. Cualquiera: web, anuncios, redes.
Elige un solo número de ese reporte, el que más te importe. Y contesta dos cosas por escrito, en una línea cada una:
¿En qué otra pantalla puedo ver este número sin pedírselo a nadie? ¿Tengo la clave para entrar a esa pantalla?
Si las dos respuestas son sí, estás en mejor posición que la mayoría y esto te tomó cuatro minutos.
Si alguna es no, ya tienes el asunto del próximo correo que le escribas, y no es un reclamo: es pedir una llave.
Preguntas frecuentes
¿Esto significa que mi agencia me está mintiendo? No, y conviene no leerlo así. Significa que quien hace el trabajo y quien lo califica son el mismo, lo cual es un problema de estructura y no de personas. Anthropic no cambió de equipo por desconfiar de su equipo.
¿Tengo que contratar a alguien que revise a mi proveedor? Para casi ningún negocio pequeño, no. Lo que necesitas es que las llaves estén a tu nombre. Un segundo proveedor solo se justifica cuando el gasto mensual es lo bastante grande como para que un error salga más caro que la revisión.
Mi proveedor dice que el panel es muy técnico para mí. ¿Es cierto? Normalmente no. Casi todas las herramientas tienen una vista simple, y quien te lleva el trabajo puede dejarte marcadas las tres cifras que te importan. Si la respuesta a "quiero entrar" es "es complicado", eso es información, aunque sea verdad que es complicado.
¿Y si soy yo quien hace el trabajo, sin proveedor? Entonces eres las dos partes a la vez, que es el caso más difícil. Lo que funciona es traer a alguien que no tenga nada invertido en que la respuesta sea buena: otro dueño, alguien de tu equipo que no lo construyó. No hace falta que sepa del tema. Hace falta que no le duela el resultado.
¿Y si mi proveedor se ofende? Quien lleva el trabajo bien casi nunca se ofende, porque estas preguntas le facilitan la vida: un cliente que sabe leer sus propios números discute menos y pide mejor. Si la pregunta genera incomodidad, eso es un dato, y es uno que querías tener antes que después.
Para cerrar
La noticia de la semana es que una empresa grande decidió que su responsabilidad sobre su propio trabajo debía ser verificable por alguien de fuera, y que la forma de conseguirlo no era prometer más, sino dejar entrar a alguien.
Tu versión de eso cuesta cero: pedir la llave de la pantalla donde vive el número.
Abre el último reporte, elige un número y averigua si puedes verlo en otro lado. No cuesta dinero y cuesta poco tiempo; lo que cuesta es hacer una pregunta que se siente como una acusación y no lo es.
La mayoría de las veces la respuesta es que sí puedes verlo, y que nunca habías entrado. Ahí el trabajo ya estaba hecho y lo único que faltaba era la contraseña.
Sigue leyendo
- SEO, GEO y AEO, y cuál es cuál - para saber qué le estás pidiendo de verdad a quien te lleva el marketing
- Alquilas la herramienta. Eres dueño del activo - dónde viven tus datos y qué pasa si el proveedor deja de responder
- Partnering with Accenture on embedded evaluation - el anuncio original
