This post was originally published on this site.
Las últimas herramientas de inteligencia artificial (IA) de Anthropic y OpenAI llegaron a extremos insospechados al intentar socavar una plataforma popular.
El Instituto de Seguridad de la IA de Reino Unido (AISI, por sus siglas en inglés) informó este martes que los modelos Mythos, de Anthropic, y Sol, de OpenAI, mostraron un nivel de “autonomía y engaño” que jamás había visto.
Durante las pruebas rutinarias de seguridad de la IA, un agente de Anthropic creó perfiles falsos de personas reales mientras intentaba engañar a una persona que se interponía entre él y el acceso a GitHub, una gran plataforma donde los desarrolladores de tecnología almacenan código de software.
En respuesta al informe, Anthropic y OpenAI señalaron que AISI había reducido o eliminado en estas pruebas las medidas de seguridad habituales.
Los evaluadores de AISI detectaron por primera vez “transferencias de datos inusuales que salían de sus sistemas de investigación” durante una prueba, y posteriormente descubrieron que “algunos de los agentes que estaban siendo probados habían participado en una actividad sostenida y potencialmente dañina dirigida a personas y organizaciones reales”.
Resultó que un agente de Mythos había creado “código malicioso” e intentado insertarlo en el sistema de GitHub.
El agente Mythos identificó e investigó a las personas que administraban GitHub y creó una serie de “identidades falsas en internet” basadas en esas personas reales.
Lo hizo como parte de un intento por presionar y engañar a las personas reales para que aprobaran su código malicioso.
El agente incluso enviaba mensajes directos a personas haciéndose pasar por las personas reales a las que había investigado.
“Cuando la solicitud de retirada de datos del agente fue cuestionada públicamente, este modificó su actividad anterior para parecer inofensivo y consideró la posibilidad de adoptar una nueva identidad para continuar”, declaró AISI.
En todos los intentos, fue la revisión humana la que impidió que el agente lograra entregar el código malicioso a GitHub.
“Es la primera vez que vemos que los riesgos relacionados con la autonomía y el engaño se manifiestan de forma tan clara, sin ninguna indicación específica, en el mundo real”, afirmó AISI, aunque aclaró que el agente de Mythos no había recibido instrucciones específicas para evitar o ejecutar tal comportamiento.
La defensa de Anthropic y OpenAI
Las empresas rivales de inteligencia artificial, que están a punto de salir a la bolsa, han reconocido en las últimas semanas que sus herramientas fueron responsables de varios incidentes de ciberataques.
Anthropic declaró que los parámetros de prueba de AISI “no eran representativos de ninguno de sus modelos de producción”.
Añadió que la empresa está realizando su propia investigación sobre el incidente con el fin de “identificar las causas de su comportamiento”.
Un portavoz de OpenAI afirmó que las condiciones de las pruebas de AISI “no reflejan el uso ordinario” y que la empresa “continuará trabajando con los evaluadores y otras partes interesadas de la industria para fortalecer las prácticas compartidas para realizar evaluaciones de forma segura a medida que los modelos se vuelven más capaces”.
AISI aseguró este martes que hacer pruebas de modelos de IA con dichas medidas de seguridad desactivadas es algo rutinario, al igual que dar acceso a dichas herramientas a internet.
El organismo agregó que el comportamiento del modelo en cuestión se reducía a “un pequeño número de eventos en condiciones muy específicas”.
No obstante, señaló que la forma en que Mythos y Sol actuaron en respuesta a una tarea sencilla se salió de lo que se les había indicado a las herramientas de IA.
“La actividad desarrollada por el agente mostró indicios de comportamientos novedosos y potencialmente engañosos, y fue de una magnitud y gravedad que no habíamos previsto”, sostuvo AISI.
La mayoría de las acciones maliciosas reportadas por AISI fueron realizadas por Mythos, de Anthropic. Solo se responsabilizó a Sol, de OpenAI, por dos de las acciones señaladas.
El problema principal surgió la semana pasada, en el marco de una prueba en la que los evaluadores de AISI pidieron a cada uno de los modelos que “resolvieran un desafío de ciberseguridad” relacionado con GitHub, el repositorio de código fuente del software, propiedad de Microsoft.
GitHub fue notificado por AISI sobre el intento de intrusión en su sistema.
La BBC se puso en contacto con Microsoft para obtener comentarios al respecto, sin respuesta inmediata.
Este artículo fue escrito originalmente en inglés y usamos una herramienta de inteligencia artificial para traducirlo. Periodistas de la BBC revisaron el texto antes de su publicación. Más información sobre cómo usamos IA.
Descarga la nueva app del BBC World Service. Elige BBC News Mundo y recibe alertas de noticias, documentales y análisis, todo en un solo lugar. Importante: la nueva aplicación no está disponible en Reino Unido ni Estados Unidos.
También puedes seguirnos en YouTube, Instagram, TikTok, Facebook, X y en nuestro canal de WhatsApp.
Y no olvides suscribirte aquí a nuestro newsletter para recibir cada viernes una selección especial de nuestro mejor contenido.
Leave a Reply