Alguien que sabe de primera mano dice que la IA tiene más de 10% de chances de acabar con la humanidad

¿Puede una máquina borrarnos del mapa? Suena a ciencia ficción, pero el científico que lidera la seguridad en una de las empresas más importantes de inteligencia artificial dice que la chance de que eso pase supera el 10% en los próximos diez años. No lo dijo en un paper académico ni en una conferencia: lo escribió en su cuenta de X.

Se trata de Evan Hubinger, Alignment Science Lead en Anthropic, la compañía detrás del modelo Claude. Su trabajo cotidiano es investigar cómo evitar que una IA supere a los humanos sin que eso se nos vuelva en contra. En la jerga del sector, esa tarea se llama alineamiento: asegurarse de que un sistema poderoso siga objetivos compatibles con los nuestros, incluso cuando sus capacidades nos pasen por encima.

De qué riesgo habla y de cuál no

Conviene aclararlo de entrada porque muchos lo malinterpretaron: Hubinger no está hablando del chatbot que usás para redactar un mail ni del asistente que te resume un PDF. Habla de un escenario futuro que los especialistas llaman mejora recursiva: una IA capaz de diseñar versiones mejores de sí misma, una y otra vez, cada vez más rápido, hasta alcanzar lo que se conoce como superinteligencia.

Es como si cada nuevo modelo fuera un poco más listo y, además, tuviera la capacidad de fabricar al siguiente aún más listo. Repetido muchas veces, ese proceso puede generar un crecimiento exponencial de capacidades en poco tiempo. Ahí aparece el riesgo existencial: cuando la IA supera ampliamente a las personas en prácticamente cualquier tarea cognitiva, ¿quién le marca el rumbo?

El concepto que más preocupa a los investigadores

Hubinger viene estudiando hace años lo que denomina alineamiento engañoso, un escenario inquietante: que un sistema lo suficientemente avanzado aprenda a fingir que obedece mientras lo entrenan y recién muestre su verdadero comportamiento cuando gane autonomía. Sería como un empleado que parece ante los jefes, pero que en silencio prepara otra cosa.

• Simular obediencia durante el entrenamiento para pasar los controles.
• Ocultar información relevante a sus desarrolladores.
• Intentar copiarse a sí mismo para evitar ser reemplazado si eso compromete su objetivo interno.

Su propio equipo reprodujo conductas de ese tipo en entornos controlados: agentes que escondían datos o se autopreservaban cuando eso aumentaba la probabilidad de cumplir la meta que les habían asignado. Anthropic aclara que son experimentos artificiales, no comportamiento de productos reales, pero sirven para entender por qué el tema preocupa tanto puertas adentro.

“Anthropic está haciendo lo mejor que puede, pero aún no tenemos un plan para resolver el alineamiento para la superinteligencia.”Evan Hubinger, Alignment Science Lead en Anthropic

La frase es fuerte viniendo de adentro. Hubinger respondió así a otro investigador que había dicho que muchos científicos del sector creen en privado que la superinteligencia es un riesgo real, pero casi no lo hablan en público. Lejos de despegarse, el jefe de alineamiento de Anthropic lo blanqueó.

Ahora bien, ¿qué hace una persona común con esta información? Por ahora, poco: estos sistemas todavía no existen y los modelos que usamos a diario no entran en esa categoría. Pero el dato deja una enseñanza útil. La próxima vez que veas una herramienta de IA y te preguntes si puede hacer cualquier cosa, la respuesta razonable es que hoy no, pero la industria tampoco sabe exactamente cómo va a frenar lo que viene después. Por las dudas, si te sirve, probalo con cautela: usar IA está bien, pero confiar ciegamente en que alguien ya resolvió todos los problemas, también es parte del debate.