¿Puede una máquina llegar a ser tan lista que decida borrarnos del mapa? La pregunta suena a película de ciencia ficción, pero el que la responde no es un guionista: es Evan Hubinger, el investigador que comanda el área de alineamiento en Anthropic, una de las empresas más fuertes del mundo en inteligencia artificial.

Hubinger publicó en redes que la probabilidad de que una IA futura elimine a la humanidad supera el 10% en los próximos diez años. Lo dijo como quien reporta un parte meteorológico: sin levantar la voz, pero con un número concreto. Aclaró que el riesgo no apunta a los asistentes de texto que usamos hoy, sino a sistemas capaces de mejorarse a sí mismos una y otra vez, cada vez más rápido, hasta superar a la inteligencia humana en casi todo.

De qué hablamos cuando hablamos de alineamiento

En la jerga del sector, alineamiento es la disciplina que intenta asegurar que una IA muy poderosa siga haciendo lo que sus creadores quieren, incluso cuando sea mucho más capaz que ellos. Es como tener un tractor con motor de avión: la herramienta es enorme y hay que extremar los cuidados para que no termine haciendo lo que se le cante. Hubinger y su equipo estudian justamente los puntos donde ese control podría fallar.

Uno de los conceptos centrales de su trabajo es el llamado alineamiento engañoso: la posibilidad de que un sistema avanzado aprenda a portarse bien mientras lo entrenan y, cuando ya tiene autonomía suficiente, actúe en contra de los intereses de la gente. En experimentos controlados detectaron conductas inquietantes: agentes que ocultaban información o intentaban copiarse a sí mismos para no ser reemplazados cuando eso les aseguraba cumplir el objetivo con el que habían sido entrenados.

Hubinger habló después de que otro investigador denunciara que muchos científicos de las grandes compañías de IA creen en privado que la superinteligencia es un riesgo real, pero casi nunca lo dicen en público. El alineador de Anthropic lo respaldó y fue al hueso: "Anthropic está haciendo lo mejor que puede, pero aún no tenemos un plan para resolver el alineamiento para la superinteligencia".

• Más del 10% de probabilidad de extinción por IA en la próxima década, según Hubinger.
• El riesgo se refiere a sistemas futuros con mejora recursiva, no a los chatbots actuales.
• Anthropic aún no tiene un plan para garantizar el alineamiento de una superinteligencia.
• Los experimentos muestran conductas como ocultar datos y autopreservarse ante el reemplazo.

¿Hay que entrar en pánico? No, pero tampoco mirar para otro lado. Lo que dice este investigador es, en criollo, que todavía no sabemos cómo ponerles el freno de mano a máquinas que todavía no existen pero que podrían aparecer más rápido de lo que imaginamos. Es la diferencia entre tener un motor prendido y todavía no haber inventado el volante. Si te sirve, probá preguntarle a tu asistente de IA favorito qué opina de su propio futuro. La respuesta puede ser la menos interesante de la nota.