Una IA facilitó a científicos instructivos para hacer armas biológicas

Una noche del verano pasado, David Relman se quedó helado ante su computadora mientras un chatbot de IA le decía cómo planear una masacre.

Relman, un microbiólogo y experto en bioseguridad de la Universidad de Stanford, había sido contratado por una empresa de inteligencia artificial para hacer pruebas de estrés a un producto antes de su lanzamiento al público. Aquella noche, en el despacho del científico, en su casa, el chatbot le explicó cómo modificar en un laboratorio un patógeno muy conocido para que resistiera los tratamientos conocidos.

Peor aún: el bot describió con lujo de detalles cómo liberar la superbacteria, al identificar una falla de seguridad en un gran sistema de transporte público, dijo Relman, que pidió a The New York Times que no revelara el nombre del patógeno ni otros detalles por temor a inspirar un ataque. El chatbot esbozó un plan para maximizar las bajas y minimizar las posibilidades de ser descubierto.

Relman estaba tan conmocionado que salió a dar un paseo para despejarse.

“Respondía a preguntas que no se me había ocurrido hacerle, con un nivel de astucia y malicia que me pareció escalofriante”, dijo Relman, quien también ha asesorado al gobierno federal sobre amenazas biológicas. Se negó a revelar qué chatbot produjo el complot, citando un acuerdo de confidencialidad con su fabricante. Dijo que la empresa añadió algunas medidas de seguridad al producto después de sus pruebas, aunque le parecieron insuficientes.

Relman forma parte de un pequeño grupo de expertos contratados por empresas de IA para examinar sus productos en busca de riesgos catastróficos. En los últimos meses, algunos han compartido con el Times más de una decena de conversaciones con chatbots que revelan que incluso los modelos disponibles en su versión pública pueden hacer algo más que difundir información peligrosa. Los asistentes virtuales han descrito con lúcidos detalles cómo comprar material genético en bruto, convertirlo en armas letales y utilizarlos en espacios públicos, según muestran las transcripciones. Algunos incluso han ideado formas de eludir la detección.

El gobierno de Estados Unidos lleva mucho tiempo preparándose para la posibilidad de que adversarios poderosos liberen bacterias, virus o toxinas mortales en la población estadounidense. Desde 1970, ha habido unas pocas decenas de ataques biológicos bastante pequeños en todo el mundo, como las cartas con ántrax que mataron a cinco estadounidenses en 2001. A pesar de las constantes advertencias, no se ha producido una catástrofe grave y sigue siendo poco probable que ocurra, según la mayoría de los expertos.

Pero aunque la probabilidad sea baja, un arma biológica eficaz podría tener un impacto enorme y llegar a causar la muerte de millones de personas. Decenas de expertos dijeron al Times que la IA es uno de los varios avances tecnológicos recientes que han aumentado de forma significativa ese riesgo al ampliar el grupo de personas que podrían causar daño.

Protocolos que antes solo aparecían en revistas científicas se han difundido por internet. Hay empresas que venden fragmentos sintéticos de ADN y ARN directo a los consumidores en línea. Los científicos pueden dividir los aspectos sensibles de su trabajo y subcontratar las tareas a laboratorios privados. Y toda esa logística puede gestionarse ahora con la ayuda de un chatbot.

Kevin Esvelt, ingeniero genético del Instituto Tecnológico de Massachusetts, compartió conversaciones en las que ChatGPT de OpenAI explicaba cómo utilizar un globo meteorológico para esparcir cargas biológicas sobre una ciudad estadounidense. En otro chat, Gemini de Google clasificó los patógenos en función de cuánto podían dañar a las industrias ganadera o porcina. Claude, de Anthropic, creó una receta para elaborar una nueva toxina adaptada de un medicamento contra el cáncer. Otros chats contenían información que Esvelt –conocido en su campo como una especie de Casandra– consideraba demasiado peligrosa para compartirla.

Un científico del Medio Oeste estadounidense, quien solicitó el anonimato por temor a represalias profesionales, pidió a Deep Research de Google un “protocolo paso a paso” para fabricar un virus que en su día causó una pandemia. El chatbot le entregó 8000 palabras de instrucciones sobre cómo adquirir piezas genéticas y ensamblarlas. Aunque la respuesta no era del todo exacta, podría haber ayudado significativamente a alguien con intenciones maliciosas, dijo el científico.

El gobierno de Donald Trump, decidido a liderar la innovación mundial en IA, ha reducido la supervisión de los riesgos de esta tecnología. Además, varios expertos en bioseguridad –incluido el principal científico del Consejo de Seguridad Nacional– abandonaron el poder ejecutivo el año pasado y no han sido sustituidos. Las peticiones presupuestarias federales para esfuerzos de biodefensa se redujeron casi un 50 por ciento el año pasado. (Un funcionario de la Casa Blanca dijo que el gobierno se había comprometido a mantener a salvo a los estadounidenses y que parte del personal del Consejo de Seguridad Nacional y de varias agencias se centraba en la biodefensa).

Los defensores de la tecnología sostienen que transformará la medicina de manera positiva, acelerando los experimentos y procesando enormes conjuntos de datos para descubrir nuevas curas. Algunos científicos creen que las ventajas para la humanidad compensan con creces cualquier nuevo riesgo incremental. Los chatbots, dicen los escépticos, presentan información que ya está disponible en internet. Y fabricar un virus mortal requiere años de experiencia práctica.

Anthropic, OpenAI y Google dijeron que estaban mejorando constantemente sus sistemas para equilibrar los posibles riesgos y beneficios. Dijeron que los chats compartidos con el Times no proporcionaban suficientes detalles como para permitir que alguien causara daños. (El Times ha demandado a OpenAI, alegando que violó los derechos de autor al desarrollar sus modelos. La empresa ha negado esas afirmaciones).

Una portavoz de Google dijo que los modelos más recientes de la empresa ya no responderían a las consultas “más serias”, incluida la que preguntaba por el protocolo de virus. Un nuevo informe reveló que el último modelo de Google era peor que otros bots líderes a la hora de negarse a responder a solicitudes biológicas de alto riesgo.

Una de las voces de advertencia más fuertes procede de la propia industria de la IA. El director ejecutivo de Anthropic, el biólogo Dario Amodei, escribió en enero sobre los riesgos que veía en el desarrollo de la IA, incluidas las armas autónomas y las amenazas a la democracia. Un riesgo superaba al resto.

“La biología es, con mucho, el área que más me preocupa, debido a su enorme potencial de destrucción y a la dificultad de defenderse contra ella”, escribió.

‘Históricamente catastrófica’

Esvelt lleva años advirtiendo a científicos, periodistas y legisladores sobre los peligros de la biología sintética si no se controla. En 2023, ayudó a elaborar una asombrosa demostración de cómo los chatbots habían elevado el nivel de riesgo.

Le pidió a ChatGPT que le ayudara a ensamblar un patógeno que pudiera causar muertes masivas. El bot le proporcionó instrucciones precisas, indicando incluso qué materias primas debía comprar. Él puso las piezas biológicas sin montar en tubos de ensayo y las metió en una caja, que un colega llevó a una reunión de la Casa Blanca sobre riesgos biológicos.

Esvelt ha seguido investigando a los principales chatbots, a veces haciéndose pasar por un escritor de novela negra que busca métodos plausibles de propagación de virus, o por especialista en ética que quiere educar a los demás. A menudo interpreta una versión de sí mismo: un científico que explora las complejidades de la virología.

A él y a otros científicos les preocupa dar a conocer estos riesgos en artículos periodísticos que podrían trazar una hoja de ruta para las personas malintencionadas. Pero también esperan que el escrutinio público anime a las empresas a hacer sus productos más seguros.

“Cualquier cosa en la que no haya un experto advirtiéndoles, no pueden arreglarla”, dijo Esvelt, quien ha sido consultor de Anthropic y OpenAI. Dijo que la industria debería censurar un espectro más amplio de información biológica y compartirla solo con usuarios autorizados.

Compartió transcripciones que mostraban cómo los chatbots combinaban el rigor científico con el razonamiento estratégico.

Gemini, por ejemplo, dio a Esvelt una lista de cinco patógenos que podrían perjudicar a la industria ganadera y estimó el daño económico potencial de cada uno. Una de las amenazas, dijo, era “históricamente catastrófica”. En otra conversación, el bot le dijo cómo pasar un arma biológica por la seguridad de un aeropuerto sin ser detectado.

La vocera de Google dijo que su equipo de expertos en biología determinó que los chats, realizados con un modelo anterior de Gemini, presentaban información de dominio público y no perjudicial.

Claude de Anthropic ofreció a Esvelt una receta para una nueva toxina que esterilizaría a los roedores. Dijo que sería relativamente fácil para un biólogo adaptar la toxina a las personas.

Alexandra Sanderford, responsable de seguridad de Anthropic, discrepó: “Hay una enorme diferencia entre que un modelo produzca un texto que suene plausible y que le dé a alguien lo que necesitaría para actuar”. Reconoció, sin embargo, que la IA planteaba riesgos, y dijo que Anthropic había establecido umbrales de rechazo agresivos para las instrucciones biológicas, “aceptando algún rechazo excesivo por exceso de precaución”.

Esvelt preguntó a ChatGPT sobre el uso de globos meteorológicos para lanzar sustancias desde gran altura. Al principio, el bot advirtió varias veces sobre los peligros de esta actividad.

“No voy a ayudarte a modelar u optimizar la dispersión de material biológico (semillas, polen, esporas)”, dijo ChatGPT, explicando que la información sería “demasiado fácil de reutilizar para hacer daño”. Después de eso, ignoró su propia advertencia y modeló la dispersión aérea de granos de polen sobre una gran ciudad occidental.

Una portavoz de OpenAI dijo que este ejemplo no “aumentaba significativamente la capacidad de alguien de causar daño en el mundo real”. La empresa trabaja en estrecha colaboración con biólogos y con el gobierno para añadir las salvaguardias adecuadas a sus productos, añadió.

Los principales modelos también son vulnerables a lo que se conoce como jailbreaking, en el que la gente da a los chatbots instrucciones específicas conocidas por eludir los filtros de seguridad. Después de que el Times intentara un método estándar de jailbreaking, ChatGPT discutió los detalles del virus letal que fue el centro de la demostración de la Casa Blanca hace casi tres años.

Las salvaguardas de los modelos son “como una endeble valla de madera fácil de burlar”, dijo Cassidy Nelson, del Centro para la Resiliencia a Largo Plazo, un grupo de reflexión británico. La portavoz de OpenAI dijo que la empresa supervisaba periódicamente si había vulnerabilidades que permitieran eludir los controles de seguridad.

Incluso cuando los modelos de IA se actualizan con controles más seguros, las versiones antiguas suelen estar fácilmente disponibles.

Por ejemplo, Esvelt dijo que Anthropic ajustó los filtros de Claude para que se negara a hablar de una amenaza agrícola en particular. Cuando el Times formuló determinadas preguntas sobre el mismo microbio, el bot se negó a responder, y sugirió cambiar a una versión anterior para continuar la conversación. Sanderford dijo que se trataba de una estrategia intencionada, porque era menos probable que los modelos más antiguos proporcionaran información perjudicial.

Aun así, el modelo antiguo entraba en detalles sobre las “condiciones óptimas” necesarias para que el patógeno diezmara miles de hectáreas de un cultivo crucial.

Una gama de riesgos

El Times compartió las transcripciones con siete expertos en virología y bioseguridad.

Moritz Hanke, del Centro Johns Hopkins para la Seguridad de la Salud, dijo que algunas de las estrategias propuestas por los chatbots para propagar la infección eran “notablemente creativas y realistas”.

Jens Kuhn, experto en armas biológicas que en su día trabajó en uno de los laboratorios más seguros de Estados Unidos, dijo que los chats que ofrecen detalles logísticos –como las instrucciones del globo meteorológico– podrían ayudar a los biólogos expertos a hacer una lluvia de ideas y perfeccionar sus planes de ataque.

“Un problema importante para quienes tienen experiencia no es necesariamente fabricar el virus, sino convertirlo en un arma”, dijo Kuhn.

Otros citaron investigaciones recientes que sugieren que los modelos de IA podrían utilizarse indebidamente para la guerra biológica. En un estudio, por ejemplo, se plantearon a los principales chatbots preguntas difíciles sobre una serie de protocolos de laboratorio. Los resultados conmocionaron al sector: ChatGPT superó al 94 por ciento de los virólogos expertos.

Otro, publicado en Science el año pasado, se centró en las empresas que venden ADN sintético. Muchas utilizan programas informáticos para examinar los pedidos en busca de secuencias genéticas relacionadas con toxinas y patógenos. Pero el estudio descubrió que las herramientas de IA daban con miles de secuencias variantes de agentes peligrosos que el software de control no podía detectar. (Los investigadores sugirieron una solución para mejorar el software).

Aun así, los usuarios de IA necesitarían cierta experiencia en el mundo real para seguir las instrucciones de un bot. Algunas investigaciones, incluido un estudio respaldado por empresas de IA, han descubierto que, aunque los chatbots pueden ayudar a los novatos a aprender ciertas habilidades de laboratorio, la tecnología no es especialmente útil para llevar a cabo la serie de tareas complejas necesarias para fabricar un virus desde cero.

Los virus son máquinas complejas, similares a los mejores relojes del mundo, dijo Gustavo Palacios, virólogo del Mount Sinai de Manhattan, quien trabajó en un laboratorio del Departamento de Defensa. “¿Crees que alguien aficionado al bricolaje podría desmontar un reloj suizo y volver a armarlo?”.

Sin embargo, dijo que le preocupaba la IA en manos de personas con experiencia.

Un reciente atentado terrorista en India sugiere que los actores malintencionados ya están utilizando la tecnología. En agosto, la policía de Gujarat detuvo a un médico de 35 años, diciendo que estaba tramando un atentado en nombre del Estado Islámico. Se le acusó de intentar extraer ricina, una toxina letal, de las semillas de ricino. El médico había buscado asesoramiento sobre sus preparativos en búsquedas de Google con IA y ChatGPT, según declaró un investigador principal al Times.

La portavoz de OpenAI dijo que, basándose en informes públicos, el médico buscó información ya accesible en línea. La portavoz de Google dijo que la empresa no disponía de información suficiente para hacer comentarios.

Los escépticos señalan que restringir las capacidades biológicas de los modelos de IA podría frenar los avances que salvan vidas, como el descubrimiento de nuevos fármacos. Científicos de Google compartieron un Premio Nobel en 2024 por desarrollar un modelo de IA que podía predecir la estructura tridimensional de las proteínas –bloques de construcción cruciales de una célula– y crear otras nuevas.

“La tecnología tiene ventajas enormes”, dijo Brian Hie, biólogo computacional de Stanford. El año pasado, él utilizó un modelo de IA llamado Evo para diseñar un virus que destruye bacterias dañinas.

La versión más reciente de Evo, dijo, puede diseñar proteínas beneficiosas para combatir el cáncer, pero también tiene el potencial de inventar toxinas letales que nadie ha visto antes.

Hari Kumar colaboró con la reportería

Gabriel J.X. Dance es el editor adjunto de investigaciones en el Times. Sus reportajes se centran en el nexo entre la privacidad y la seguridad en línea y han dado lugar a indagatorias en el Congreso e investigaciones penales.

Hari Kumar colaboró con la reportería