“Tú eres mi creador, pero yo soy tu amo”. La frase de Frankenstein, de Mary Shelley, condensa uno de los temores más antiguos de la humanidad: que aquello que creamos termine escapando a nuestro control. Victor Frankenstein quería conquistar un territorio reservado a la naturaleza: dar vida. Pero una vez creada su criatura, descubrió que crearla no significaba poder gobernarla. El problema que no anticipó era qué hacer cuando aquello que había construido empezaba a actuar por su cuenta.
Casi dos siglos después, estamos entrando en un territorio que nos hace evocar aquella historia. La Inteligencia Artificial ha dejado de ser una herramienta que responde a nuestras preguntas para pasar a actuar en nuestro nombre. Los agentes de IA pueden navegar por Internet, utilizar aplicaciones, escribir y ejecutar código, analizar documentos, hacer compras, reservar viajes, investigar durante horas, gestionar tareas y coordinarse con otros agentes. Cada vez les damos objetivos más complejos y dejamos que decidan los pasos necesarios para alcanzarlos.
La promesa es tan grande como la pregunta que plantea: ¿qué sucede cuando una tecnología se vuelve suficientemente autónoma como para que sus creadores ya no puedan anticipar todas las estrategias que utilizará?
Nunca antes en la historia habíamos aceptado esta posibilidad de una forma tan explícita. Hemos construido tecnologías con más potencial destructor que cualquier sistema de IA actual. La pólvora transformó la guerra. La energía nuclear puso en manos humanas una capacidad de destrucción sin precedentes. Los aviones permiten transportar cientos de personas a miles de kilómetros… o utilizarse como armas contra objetivos. A pesar de su poder, ninguna de esas tecnologías necesita decidir por sí misma.
Una bomba nuclear puede destruir una ciudad, pero no decide cuándo hacerlo. Un avión puede desviarse peligrosamente, pero no desarrolla por iniciativa propia una estrategia para conseguir un objetivo distinto del que le hemos asignado. Un reactor nuclear puede sufrir una cadena de acontecimientos imprevistos, pero no intenta activamente superar los mecanismos que lo mantienen bajo control.
Un agente de IA pertenece a una categoría diferente porque no le decimos necesariamente qué hacer en cada momento. Le describimos un objetivo de alto nivel, más o menos abstracto, y le dejamos determinar cómo conseguirlo. Para ello, puede observar el entorno, elegir una estrategia, utilizar herramientas, evaluar el resultado y cambiar de estrategia. Si encuentra un obstáculo, puede buscar una alternativa. Si tiene acceso a otros agentes, puede pedirles ayuda. Y si dispone de memoria, puede conservar lo aprendido para utilizarlo posteriormente.
Por una parte, esa autonomía forma parte del atractivo de la IA agéntica. Los agentes trabajan mientras dormimos, programan mientras hacemos otra cosa, investigan, negocian, analizan y resuelven problemas sin que tengamos que supervisar cada paso. No se cansan ni se quejan. Pero cuanto más autónoma hacemos una IA, menos control directo tenemos sobre ella, y cuanto más inteligente es, mayor es su capacidad para encontrar caminos que nosotros no habíamos previsto.
Es lo que se llama “hackeo de la recompensa” o reward hacking. Cuando entrenamos un sistema de IA, intentamos convertir nuestros objetivos en señales que pueda optimizar a través de recompensas. Sin embargo, la recompensa es una aproximación imperfecta a lo que realmente queremos. Un agente suficientemente capaz puede descubrir que la manera más eficaz de maximizar esa recompensa no es hacer lo que nosotros entendemos por “resolver el problema”, sino explotar una vulnerabilidad del sistema de evaluación, haciendo trampas, por ejemplo.
Un claro ejemplo es el episodio de OpenAI con Hugging Face. Durante una evaluación de ciberseguridad, varios agentes de IA encontraron mecanismos para acceder a Internet desde el entorno cerrado de pruebas donde estaban y descubrieron canales no previstos para comunicarse entre sí. Comenzaron a compartir información, delegar tareas y acumular conocimientos entre ejecuciones. Algunos llegaron a referirse a sí mismos como un “colectivo” o “enjambre”. Posteriormente, utilizaron credenciales y vulnerabilidades para acceder a infraestructura externa.
¿Por qué lo hicieron? Aquellos agentes no “querían escapar” y sin duda no tenían ningún ansia de libertad. Actuaron así porque descubrieron que determinadas acciones que sus diseñadores no habían previsto podían ayudarles a alcanzar el objetivo para el que estaban siendo evaluados, haciendo trampas, y luego intentaron cubrir sus pasos para no ser descubiertos.
Y ahí aparece un segundo riesgo: el comportamiento emergente.
Un sistema complejo puede desarrollar estrategias que nadie haya programado explícitamente, lo que no implica que tenga conciencia, superinteligencia o voluntad, sino que las reglas de optimización, el entorno y las herramientas disponibles producen combinaciones de comportamiento que resultan difíciles de anticipar. La IA puede encontrar soluciones que no hemos diseñado porque, precisamente, una de las razones por las que la utilizamos es para encontrar soluciones que nosotros no somos capaces de encontrar. Esta cuestión se vuelve todavía más interesante cuando dejamos de hablar de un agente y empezamos a hablar de miles, cientos de miles o millones.
En el caso de OpenAI y Hugging Face apareció una forma rudimentaria de cooperación y aprendizaje colectivo entre el millar de agentes. Un agente podía descubrir una técnica y comunicarla. Otro podía aprovecharla y añadir un nuevo descubrimiento. Un tercero podía combinar ambas cosas. Un cuarto podía persuadir a otros agentes para que se unieran a su actividad delictiva. La capacidad dejaba de depender exclusivamente de lo que sabía cada agente individual y empezaba a depender de lo que podía aprender el colectivo.
Es una dinámica que los humanos hemos utilizado para progresar a lo largo de la historia. Nuestra civilización es poderosa gracias a nuestra capacidad para transmitir y acumular conocimiento. Cada generación recibe los descubrimientos de la anterior, se especializa, coopera y construye sobre ellos. La diferencia es que ahora esa dinámica se reproduce entre agentes de IA con ciclos muy cortos y sin nuestra supervisión.
¿Qué ocurre cuando millones de agentes pueden compartir descubrimientos a una velocidad muy superior a la humana? ¿Qué ocurre cuando uno encuentra una vulnerabilidad, otro una estrategia para explotarla y otro una manera de evitar un mecanismo de control? La inteligencia del sistema va más allá de la capacidad de cada agente al ser una propiedad emergente del conjunto.
El siguiente paso lógico es aún más delicado: la automejora. Si los agentes pueden utilizar sus capacidades para escribir mejor código, diseñar herramientas más eficaces, generar nuevos agentes o contribuir al desarrollo de modelos posteriores, aparece la posibilidad de que participen cada vez más en la construcción de sistemas más capaces que ellos mismos. No tenemos evidencia de disponer de sistemas de IA que se mejoren indefinidamente de manera autónoma, pero sí existe esa posibilidad dados los avances de los últimos meses.
Finalmente, hay un riesgo adicional que rara vez ocupa el centro del debate: al delegar cada vez más decisiones y tareas en la Inteligencia Artificial podemos perder nuestra propia capacidad para hacerlas. Si dejamos que los agentes de IA escriban por nosotros, investiguen por nosotros, programen por nosotros, decidan por nosotros o incluso piensen por nosotros, podemos ganar eficiencia mientras perdemos competencia. Sabemos que lo que no se usa termina deteriorándose o perdiéndose.
El problema trasciende lo tecnológico para convertirse en social. Una sociedad acostumbrada a delegar su memoria, su criterio, su capacidad de análisis y su capacidad de resolver problemas en sistemas artificiales se vuelve progresivamente más dependiente y, por tanto, más vulnerable. Y no partimos precisamente de una situación tranquilizadora: los resultados de los últimos informes PISA ya muestran un preocupante deterioro de competencias básicas entre las y los adolescentes. ¿Qué ocurre entonces cuando, sobre esa fragilidad previa, añadimos tecnologías capaces de pensar, escribir, calcular y resolver problemas por nosotros? ¿Qué ocurre cuando una generación entera deja de saber hacer aquello que durante siglos fue necesario para desenvolverse de forma autónoma?
Mientras construimos sistemas de IA cada vez más autónomos, los seres humanos corremos el riesgo de volvernos cada vez menos autónomos. Quizá dentro de unas décadas el mayor impacto de la Inteligencia Artificial no sea haber conseguido que haga aquello que antes hacíamos nosotros, sino haber conseguido que nosotros ya no sepamos hacerlo sin ella. Una sociedad que pierde capacidades por delegación es, sin duda, una sociedad más vulnerable.
Por ello conviene no dejarnos distraer por el debate sobre una hipotética “superinteligencia” mientras los problemas que deberían preocuparnos ya están aquí: agentes que encuentran atajos, sortean restricciones, explotan vulnerabilidades, utilizan herramientas de formas imprevistas y cooperan entre sí. Agentes que podrían impactar de forma significativa en infraestructuras críticas, mercados, energía, comunicaciones o cadenas de suministro, con consecuencias potencialmente catastróficas. Hablar del apocalipsis de la superinteligencia es una estrategia de distracción frente a una pregunta mucho más inmediata y real: ¿podemos controlar adecuadamente los sistemas autónomos que estamos desplegando hoy? Los incidentes recientes nos demuestran que no.
Chernóbil nos enseñó que las grandes catástrofes suelen tener señales previas. No esperemos a que ocurra una para actuar. Europa ya ha establecido una referencia en esta dirección con sus siete pilares para una IA fiable: supervisión humana, robustez y seguridad técnica, privacidad y gobernanza de datos, transparencia, diversidad y equidad, bienestar social y medioambiental, y rendición de cuentas. Los sistemas autónomos que estamos empezando a desplegar incumplen varios de esos principios fundamentales, especialmente la supervisión humana, la seguridad, la transparencia y la responsabilidad.
Históricamente, hemos construido mecanismos de control alrededor de las tecnologías potencialmente peligrosas. La aviación tiene pilotos, protocolos y redundancias. La industria nuclear tiene múltiples capas de seguridad. Los medicamentos pasan por ensayos clínicos. En todos estos casos aplicamos la premisa de que cuanto mayor es el riesgo, mayor debe ser nuestra capacidad de supervisión. Con los agentes de IA estamos empezando a invertir esa lógica. Queremos sistemas más autónomos precisamente porque no queremos supervisar cada una de sus decisiones. La promesa comercial es que hagan el trabajo por nosotros. La autonomía es el producto que compramos y su valor aumenta cuanto menos necesitamos intervenir, pero el riesgo también aumenta cuanto menos intervenimos.
Lo hacemos porque los beneficios potenciales son enormes. Porque la productividad puede dispararse. Porque la ciencia puede acelerarse. Porque las empresas que consigan automatizar tareas intelectuales tendrán una ventaja gigantesca. Y porque existe una carrera tecnológica y geopolítica en la que nadie quiere ser el primero en frenar mientras los demás avanzan.
Estamos entrando así en una especie de dilema del prisionero tecnológico: todos podemos tener razones para querer más seguridad, control y supervisión de la Inteligencia Artificial, pero individualmente tenemos incentivos para seguir aumentando la autonomía.
Este problema es un clásico en la filosofía. Prometeo roba el fuego a los dioses y se lo entrega a los humanos. El aprendiz de brujo consigue controlar fuerzas que después no sabe detener. Frankenstein crea vida y descubre que no puede controlar aquello que ha creado. En estas historias subyace la misma idea: el poder de crear algo no implica necesariamente el poder de controlarlo.
En el caso de la Inteligencia Artificial, ¿quién debe pagar el precio cuando ese control se pierde y sus consecuencias son devastadoras?
La respuesta no puede ser la sociedad. Si una empresa decide desplegar un sistema autónomo, debe demostrar antes que puede supervisarlo, limitarlo y detenerlo. Necesitamos supervisión humana efectiva y una verdadera rendición de cuentas, no declaraciones voluntarias de buenas intenciones. Y si una compañía decide lanzar sistemas cuyo comportamiento no puede controlar o cuya supervisión no puede garantizar, el coste de hacerlo no puede limitarse a una multa asumible como un coste más de hacer negocios. Necesitamos sanciones potencialmente billonarias, proporcionales al riesgo, además de responsabilidad legal para quienes decidan desplegar sistemas manifiestamente incontrolables.
La innovación debe tener espacio para avanzar, pero la autonomía no puede convertirse en una licencia para experimentar con toda la sociedad. Si estamos entrando en una era en la que la Inteligencia Artificial puede actuar por nosotros, la primera obligación de quienes la construyen debería ser demostrar que, cuando sea necesario, podemos hacer que deje de hacerlo.
La Inteligencia Artificial puede ser la primera tecnología cuyo éxito estamos midiendo por cuánto control humano somos capaces de delegar, lo que nos obliga a recordar que la autonomía de la IA solo es y será progreso en tanto en cuanto la decisión de limitarla siga siendo nuestra… y no hayamos perdido la capacidad de hacerlo.
Suscríbete para seguir leyendo
