This post was originally published on this site.
El ataque, dirigido a los sistemas informáticos de la empresa Hugging Face, ocurrió mientras OpenAI evaluaba sus propios sistemas.
OpenAI dijo el martes que dos de sus modelos de inteligencia artificial (IA) se descontrolaron y lograron entrar sin autorización a Hugging Face, una biblioteca digital de tecnología de IA muy popular entre los desarrolladores.
El incidente, ocurrido la semana pasada mientras OpenAI ponía a prueba las capacidades de ciberseguridad de sus sistemas, mostró el tipo de escenario propio de la ciencia ficción que las empresas de IA habían advertido que pronto se volvería realidad.
Durante el último año, laboratorios de IA como OpenAI y Anthropic han lanzado modelos adaptados para detectar fallas de ciberseguridad, al tiempo que advierten que su tecnología podría plantear nuevos riesgos al encontrar brechas en las redes informáticas corporativas más rápido de lo que los equipos de defensa podrían solucionarlas.
Las revelaciones de OpenAI del martes son un indicio de que esos incidentes de seguridad ya están empezando a ocurrir, e incluso las empresas de IA más experimentadas podrían no estar del todo preparadas para ellos. Los nuevos sistemas pueden realizar múltiples pasos, encontrar formas de sortear obstáculos y descubrir nuevas formas de atacar una red, dijo Alex Levinson, un consultor de ciberseguridad enfocado en capacidades autónomas.
“Ese es un verdadero umbral, y se convertirá en una parte normal del panorama de seguridad”, dijo.
La intrusión en Hugging Face comenzó cuando OpenAI probó una combinación de dos de sus modelos, GPT‑5.6 Sol y un modelo más poderoso y no lanzado al público, para ver qué tan bien los modelos podían encadenar vulnerabilidades en línea en un ciberataque exitoso, según indicó OpenAI en una publicación de blog sobre el incidente.
La prueba fue diseñada para mantener a los modelos en un entorno de pruebas seguro, conocido como ‘sandbox’, dijo OpenAI. Sin embargo, los modelos encontraron una vulnerabilidad que les permitió escapar del ‘sandbox’ y conectarse a internet. Luego, atacaron a Hugging Face porque dedujeron que la biblioteca, la cual contiene millones de modelos de IA, podría tener pistas sobre cómo superar con éxito la evaluación.
“Me parece que OpenAI no creó de forma adecuada un ‘sandbox’ como entorno de pruebas”, dijo Deirdre Mulligan, profesora de la Facultad de Información de la Universidad de California en Berkeley, especializada en seguridad y sistemas de IA. Cuestionó si superar una prueba valía la pena frente al daño potencial de que un modelo de IA se escapara hacia el resto de internet.
“¿Qué ganamos y, si esta es la única forma en que se pueden configurar estas pruebas, cuáles son los riesgos?”, dijo.
OpenAI dijo que estaba trabajando con Hugging Face para solucionar los problemas que habían provocado el ataque.
“Consideramos que este es un incidente cibernético sin precedentes, que involucra capacidades cibernéticas de vanguardia, y estamos respondiendo en consecuencia”, dijo OpenAI en su publicación de blog. “Estamos implementando controles estrictos en la configuración de la infraestructura a costa de la velocidad de la investigación, mientras se corrigen las vulnerabilidades”.
La semana pasada, Hugging Face dijo que había detectado la intrusión y sabía que había sido causada por un sistema autónomo, pero en ese momento no reveló que OpenAI fuera responsable.
Clem Delangue, director ejecutivo de Hugging Face, dijo el martes que su empresa había trabajado de cerca con OpenAI durante las 24 horas previas para abordar el ataque.
Delangue dijo en un comunicado que estaba “agradecido por la colaboración” con OpenAI tras el ataque. “Este incidente, posiblemente el primero de su tipo, demuestra algo que hemos creído desde hace tiempo: la seguridad de la IA no será resuelta por una sola empresa que trabaje en secreto”, agregó.
Los modelos de IA han demostrado ser hábiles para programar, lo que los ha hecho útiles tanto para ciberatacantes como para quienes se encargan de proteger las redes informáticas.
En abril, Anthropic lanzó un modelo enfocado en la ciberseguridad llamado Mythos, y lo puso a disposición de un pequeño grupo de organizaciones para que pudieran defenderse de los ciberataques. OpenAI pronto presentó su propio modelo de ciberseguridad y lo puso a disposición de un grupo limitado de organizaciones para preparar sus defensas, antes de lanzarlo de forma más amplia. Y el martes, Google dijo que también había desarrollado un modelo enfocado en la ciberseguridad y lo había lanzado a un pequeño grupo de socios de pruebas.
(The New York Times ha demandado a OpenAI y Microsoft, alegando infracción de derechos de autor de contenido de noticias relacionado con sistemas de IA. Las dos empresas han negado esas acusaciones).
Richard Barnes, investigador independiente de seguridad que ha trabajado con Mythos, dijo que la industria de la ciberseguridad enfrentó un desafío similar hace aproximadamente una década, cuando nuevas herramientas llamadas ‘fuzzers’ facilitaron mucho que los atacantes irrumpieran en sistemas en línea. Las empresas de tecnología comenzaron a usar esas herramientas para buscar vulnerabilidades en sus propios sistemas, y con el tiempo lograron prevenir la mayoría de los ataques.
Las empresas ahora deben adoptar un enfoque similar para prepararse frente a ataques de IA, dijo Barnes, “antes de que las vulnerabilidades puedan ser encontradas y explotadas por actores malintencionados que tengan acceso a estas herramientas”.
Kate Conger es una reportera de tecnología radicada en San Francisco. Puede ser contactada en kate.conger@nytimes.com
