Seis auditores con acceso total: el inédito esquema de Anthropic para que evalúen sus modelos desde adentro

Seis investigadores de METR, una organización sin fines de lucro dedicada a evaluar sistemas de inteligencia artificial, trabajan desde adentro de Anthropic con acceso equivalente al de un empleado del área de evaluación de riesgos: recibieron computadoras de la empresa, espacio físico en sus oficinas y herramientas internas que les permiten conversar con el personal como un colega más.

¿Quiénes son los que entraron y qué pueden ver?

El equipo tiene además la potestad de publicar evaluaciones, reportes de incidentes y análisis de las prácticas de Anthropic sin que la compañía pueda bloquearlos. La única excepción son tres categorías reservadas: datos de clientes, información cubierta por secreto profesional entre abogado y cliente y detalles sobre la arquitectura de los modelos. Incluso cuando la empresa pide que se redacten trechos puntuales, los auditores quedan en libertad de señalar públicamente si consideran que esa redacción estaba o no justificada.

Para dimensionar lo inhabitual del esquema basta con conocer a Lucía, una de las investigadoras de METR que atraviesa su segunda semana trabajando en la sede de Anthropic. Cuenta que pudo revisar documentación interna que la firma nunca publicó y mantener conversaciones con ingenieros sobre incidentes concretos, algo que hasta ahora estaba reservado a los empleados.

¿Por qué hace falta tanto nivel de acceso?

• Experiencia técnica suficiente para detectar cuándo un modelo simula estar alineado en lugar de estarlo realmente.
• Independencia económica y operativa respecto de la empresa auditada.
• Acceso que vaya más allá de los modelos e incluya información sobre cómo se entrenaron y cómo funcionan sus mecanismos de seguridad.
• Libertad para publicar sin restricciones previas.

La propia Anthropic reconoció que no puede hacer pública toda su información de seguridad, porque parte de esos datos podría ser útil para actores maliciosos o resulta sensible desde el punto de vista comercial. Por eso eligió un acceso profundo con un grupo acotado que opera bajo acuerdos exigibles, y mantiene al resto del personal de METR aislado de ese trabajo.

¿Qué falta para que la auditoría sea creíble?

El esquema tiene tres niveles. En el más bajo, organizaciones como SecureBio realizan revisiones acotadas y necesitan autorización antes de publicar. El intermedio recibe más información y puede difundir sin pedir permiso. El superior, que hoy ocupa únicamente METR, agrega el acceso equivalente al de un empleado. Falta que la experiencia se repita con otras organizaciones independientes, que se acumulen reportes públicos sin objeciones de la firma y que se pruebe que el nivel de acceso es sostenible más allá de estas seis personas.