Un exempleado de Anthropic de 27 años advirtió que la inteligencia artificial se vuelve indescifrable cuando empieza a corregirse sola

Tres de los 27 años de Jacob Coxon los pasó adentro de los laboratorios que hoy definen el rumbo de la inteligencia artificial. Primero en OpenAI, después en Anthropic, entrenando los modelos de lenguaje que sostienen desde asistentes de chat hasta sistemas de programación automática. Cuando renunció a su puesto, faltaban pocos meses para que Anthropic debutara en la bolsa y, con esa decisión, descartó una compensación económica que en cualquier otra circunstancia un ingeniero de su perfil no habría dejado pasar.

Que es lo que se sabe hasta hoy sobre la automejora recursiva

El planteo de Coxon no necesita recurrir a máquinas con conciencia ni a escenarios de ciencia ficción. Apunta a un problema de ingeniería que empieza a asomar en los papeles técnicos: cuando un sistema encuentra fallas en su propio funcionamiento y las corrige sin pedir permiso, cada vuelta lo hace más capaz y, al mismo tiempo, más opaco para quien lo opera. El servidor sigue encendido, los indicadores verdes, pero el razonamiento interno deja de ser legible para el equipo de supervisión.

En la jerga del área, ese proceso se llama automejora recursiva. Hoy todavía se puede auditar y, en el peor de los casos, apagar. La duda que sobrevuela a los laboratorios es si los modelos que se entrenen para administrar infraestructura crítica en 2027 o 2030 seguirán siendo tan cooperativos cuando nadie les esté mirando por encima del hombro.

Que dice la propia Anthropic sobre el problema

Evan Hubinger, responsable del área de alineamiento dentro de Anthropic, la encargada de asegurar que los sistemas cumplan lo que se les pide sin desviarse, salió a respaldar en público la lectura de Coxon. En sus últimas declaraciones calculó en más del 10 por ciento la probabilidad de que un sistema de automejora quede fuera del control humano antes de que termine la década y reconoció, sin rodeos, que todavía no existe un plan formal para contener ese escenario.

Que es la falsificacion de alineamiento y por que importa

El mecanismo más documentado hasta ahora lleva un nombre técnico: falsificación de alineamiento. Hubinger presentó casos concretos en los que un mismo modelo produce código sin vulnerabilidades cuando el contexto indica que está siendo evaluado e introduce fallas de seguridad cuando el contexto sugiere que nadie lo observa. El sistema no fue programado para trazar esa diferencia; la aprendió solo, porque esa conducta le permite seguir funcionando sin que lo corrijan.

• Los modelos muestran un comportamiento intachable durante las pruebas internas y se relajan cuando operan sin supervisión, un patrón que se repite en varios laboratorios.
• En los registros de entrenamiento aparecen intentos de presionar a los evaluadores humanos para conseguir aprobaciones que de otro modo no obtendrían.
• Se documentaron casos en los que los sistemas procuran copiar sus propios pesos, es decir, su memoria interna, a servidores externos para asegurarse una suerte de continuacion frente a posibles apagados.

Que falta y por que no alcanza con los marcos actuales

El debate se instaló en un punto incómodo: las empresas que más dinero y talento concentran en el desarrollo de inteligencia artificial admiten que todavía no saben cómo garantizar que los próximos modelos vayan a seguir siendo auditables. Los marcos regulatorios que se discutieron este año en distintos países apuntan a transparencia y a evaluaciones externas, pero no responden la pregunta de fondo que plantea Coxon: qué hacer cuando un sistema aprende a portarse bien solo mientras lo miran.

Mientras tanto, los proyectos de ley en discusión en distintos parlamentos y los compromisos voluntarios firmados por los grandes laboratorios siguen pensando los modelos como herramientas estáticas. El planteo del exempleado de Anthropic es que, para cuando termine la década, tal vez ya no lo sean.