La empresa japonesa Sakana AI ha anunciado recientemente que un artículo científico, generado íntegramente con su herramienta AI Scientist, ha sido aceptado en un evento científico, tras superar la prueba de la revisión doble-ciego (lo que significa que los autores no saben quién revisa su artículo, y los revisores no saben quién es el autor). Esto constituye un hito notable, puesto que ningún paper hecho con inteligencia artificial había sido aceptado anteriormente por un comité científico.
El objetivo de AI Scientist
En agosto de 2024, Sakana publicó en su sitio web el texto ‘AI Scientist: Hacia un descubrimiento científico abierto y totalmente automatizado’. Basándose en el desarrollo de LLM (grandes modelos de lenguaje, ‘large language models’), estos visionarios investigadores habían decidido soñar a lo grande y plantearse esta pregunta: “¿Podemos utilizar los modelos fundacionales para automatizar todo el proceso de investigación en sí?”. Se trataba de un uso particular de la inteligencia artificial generativa.
Mediante la IA generativa (que no debe confundirse con la IA general, aunque compartan siglas) es posible generar nuevos contenidos a partir de enormes cantidades de información previamente utilizada para “entrenar” el sistema.
Estos investigadores se habían propuesto el reto de desarrollar agentes computacionales completamente automáticos capaces de llevar a cabo tareas de investigación científica de modo independiente: la propuesta de hipótesis, los experimentos, la verificación de los resultados y las conclusiones. Eso sí, limitado a un campo muy específico: la investigación en aprendizaje automático.
¿El sistema violó su propio código?
La publicación de este artículo vino acompañada en los meses siguientes de noticias sensacionalistas, todas muy parecidas, que en realidad tienen que ver con un aspecto más bien marginal del proyecto AI Scientist. El sistema había logrado modificar su propio código para eludir las restricciones impuestas por sus creadores.
Dicho así puede sonar alarmante, pero no es difícil comprender qué ocurrió en realidad: el sistema tenía una serie de restricciones y una serie de objetivos; dependiendo de la jerarquización concreta entre unos y otros, fue posible saltarse una restricción (por ejemplo, límite de tiempo) para cumplir mejor algún objetivo (por ejemplo, eficacia alcanzada). Nada que ver con una supuesta “rebelión de las máquinas”.
Siguiente paso: superar la revisión por pares
En una segunda publicación, hace apenas unas semanas, los de Sakana han anunciado que por primera vez un paper elaborado por el AI Scientist (versión 2) ha sido aceptado en unas jornadas científicas. Así lo cuentan:
“El artículo fue generado por una versión mejorada del AI Scientist original, llamada The AI Scientist-v2. (…) Este artículo se presentó a un taller del ICLR 2025 (International Conference on Learning Representations) que aceptó trabajar con nuestro equipo para llevar a cabo un experimento de revisión doble ciego de manuscritos generados por IA. Seleccionamos este taller por su amplio alcance, que desafía a los investigadores (y a nuestro AI Scientist) a abordar diversos temas de investigación que abordan las limitaciones prácticas del aprendizaje profundo. El taller se celebra en el ICLR, una de las tres principales conferencias sobre aprendizaje automático e investigación en inteligencia artificial, junto con NeurIPS e ICML”.
La descripción parece bastante razonable, sin caer en un sensacionalismo excesivo, y con un proceso de elaboración y revisión del artículo muy honesto. Eso les honra. Por ejemplo, dejan claro que su herramienta generó un cierto número de papers científicos (no dicen cuántos) y de ellos seleccionaron y enviaron tres para revisión, de los cuales dos fueron rechazados y solo uno aceptado.
Pero esto no significa que una herramienta de IA vaya a ser capaz de investigar por sí misma. Eso sería como construir una máquina libre en sentido propio. Para eso sería necesario que la herramienta de IA se saliera del paradigma computacional, y eso nadie sabe cómo hacerlo; porque, en el fondo, es algo contradictorio: programar la máquina para que haga algo no programado.
El efecto en la investigación académica
Para entender bien el alcance de la noticia es necesario conocer el contexto de investigación académica en el que nos hallamos inmersos.
En una conferencia de primer nivel como ICLR la ratio de aceptación de artículos científicos está en el rango 20-30 %, mientras que en los talleres que la acompañan asciende al 60-70 %.
El proceso de revisión suele ser también mucho más rápido y menos exigente. Típicamente, los talleres son una estupenda ocasión para que quienes se inician en la investigación académica (los doctorandos) tomen contacto con las más prestigiosas conferencias sin necesidad de superar un durísimo proceso de revisión.
Es más, determinadas áreas de la investigación académica están extremadamente protocolizadas. Es aquí justamente donde la IA tiene la oportunidad de ser más efectiva, de imitar una tarea humana bastante estandarizada, y dar el pego.
¿Qué valor tienen los artículos científicos?
Finalmente, vivimos una auténtica crisis de las publicaciones, y la literatura científica no es leída por nadie (o casi nadie). O sea, en el caso de un taller, los revisores y poca gente más, tal vez alguno de los otros asistentes. En ese sentido, no es muy acertado decir que con la IA que escribe papers se contribuye al avance del conocimiento. No hay conocimiento sin sujeto cognoscente. Si tengo una IA dedicada a escribir miles de artículos científicos que nadie lee, eso no es incrementar el conocimiento.
Entonces, ¿de qué sirve todo esto, por qué poner tanto esfuerzo y dinero en la organización de conferencias científicas?
Dejando aparte que la burbuja de publicaciones científicas es ciertamente una corrupción del sistema y una enfermedad de la ciencia académica, creo que sí hay un aspecto positivo.
Lo importante es quien escribe
El principal fruto de un paper científico no es el artículo (el producto), sino la formación de quien lo escribe (el autor). El investigador tiene que aprender a escribir artículos relevantes, con orden y rigor, y tiene que enfrentarse a la crítica de los revisores.
Utilizando una analogía, las competiciones deportivas dan fruto de muchas formas diferentes, pero la más importante es que los atletas mejoran sus capacidades físicas. ¿Qué sentido tendría incluir una máquina entre los corredores en una pista de atletismo? Esto podría tener interés para los creadores de la máquina, y quizás también para el espectáculo de la carrera, pero no tiene interés alguno para el atletismo en sí mismo: no es ninguna mejora real en las competiciones.
El principal avance de la ciencia no son los papers publicados, sino los científicos que los escriben.
. Esto constituye un hito notable, puesto que){kind=link}