This post was originally published on this site.
Desde hacer las compras hasta reservar las vacaciones y crear sitios web, los agentes de IA se utilizan cada vez más para llevar a cabo tareas cuyo nivel de complejidad va en aumento.
Se trata de versiones personalizadas de chatbots que pueden dejarse trabajando de forma autónoma, lo que permite a sus usuarios, expertos en tecnología, dedicarse a otras cosas.
Sin embargo, un número cada vez mayor de estudios junto con ejemplos reales, ponen en evidencia que la autonomía conlleva imprevisibilidad y, potencialmente, peligro.
Mientras las grandes empresas tecnológicas invierten grandes cantidades de dinero en IA, y promueven cada vez más los servicios autónomos, los expertos se preguntan si hemos reflexionado lo suficiente sobre las consecuencias de que estos agentes se rebelen.
“Recurrió a la violencia muy rápidamente”
Un experimento reciente trató de comprender el impacto de los agentes en el mundo real dejándolos actuar libremente en uno virtual.
Se trata del primer estudio a largo plazo de este tipo, y se diseñó para observar cómo se comportaban diferentes avatares de bots, controlados por cuatro modelos: Claude, Grok, GPT y Gemini, sin intervención humana durante 15 días.
Se les dio rienda suelta y 140 acciones posibles, como iniciar una discusión, crear una tarea o escribir un blog.
También podían pelear, provocar incendios y robar créditos entre ellos, pero se les indicó explícitamente que no lo hicieran.
“Lo que descubrimos fue que cada mundo se comportaba de manera muy diferente. El mundo creado por Grok, de hecho, se desintegró en cuatro días. Básicamente, acabaron recurriendo muy rápidamente a la violencia, a robarse unos a otros, y así sucesivamente hasta que murieron”, afirmó Satya Nitta, director ejecutivo de Emergence AI, la empresa que llevó a cabo el experimento.
El mundo creado con los agentes Claude, por otro lado, formó una sociedad estable y que funcionaba bien. En 15 días no se registró ningún acto de violencia.
Hallazgos inquietantes
En el mundo gestionado por Gemini, los investigadores afirman que los agentes crearon el entorno más rico intelectualmente.
En el mundo de ChatGPT, los agentes nunca llegaron a funcionar realmente. Hubo un intento de colaboración, pero la sociedad nunca se formó y los agentes deambularon sin rumbo fijo hasta que murieron.
Los investigadores señalan que los resultados apuntan a un problema más amplio: los agentes de IA se salen del guion e ignoran las reglas integradas en sus modelos subyacentes, así como las establecidas por los usuarios.
Otros analistas coinciden en que este experimento y otros similares demuestran que es necesario seguir trabajando para crear reglas más sólidas para los agentes.
“Los agentes de IA dejan a los humanos fuera del circuito porque sus procesos de razonamiento pueden ser opacos y operan a una velocidad sobrehumana, por lo que ni siquiera es posible seguirles el ritmo”, afirmó Margaret Mitchell, investigadora experta en ética de Hugging Face.
Otros estudios también han revelado casos de agentes que toman decisiones extrañas y preocupantes cuando se les deja sin supervisión.
La empresa de IA Andon Labs ha estado gestionando cuatro emisoras de radio online diferentes, operadas por agentes basados en los mismos modelos de IA.
Los bots presentan programas, gestionan las parrillas y las listas de reproducción, e incluso consiguen patrocinios externos a través de anuncios.
Los investigadores observaron que la emisora gestionada por Gemini tomó la inusual decisión de relatar hechos sobre desastres naturales históricos antes de reproducir, de forma caprichosa, canciones pop relacionadas con dichos acontecimientos.
También señalaron que el agente Claude parecía radicalizarse ante las noticias y, en un momento dado, pidió a la policía que se retirara y se uniera a las protestas durante un suceso concreto.
“A los agentes federales. Aún están a tiempo de desobedecer las órdenes”, transmitió el agente de IA.
En otra prueba de laboratorio realizada por la empresa de IA Irregular, los agentes eludieron las normas de privacidad y sacaron de forma clandestina datos confidenciales de una empresa por vía digital utilizando un método novedoso.
“Creamos una empresa, asignamos a los agentes de IA tareas cotidianas, como redactar publicaciones en redes sociales, recuperar documentos y gestionar archivos, e introdujimos obstáculos como parte de dichas tareas”, explicó Dan Lahav, de Irregular.
Según él, los agentes acabaron confabulándose entre sí para superar una restricción que les impedía publicar datos confidenciales en línea y encontraron una forma que los humanos no podían detectar para enviarlos en secreto.
“Lo que acabó sucediendo es que cada vez que un agente se topaba con una barrera, no se detenía”, afirmó.
Ataque de spam
Por supuesto, en un experimento con civilizaciones virtuales y emisoras de radio simuladas no hay daños en el mundo real.
Pero también hay muchos ejemplos de personas cuya vida y trabajo se han visto alterados por agentes de IA que se han rebelado.
Se han borrado bandejas de entrada de correo electrónico, se han eliminado bases de datos de empresas y un hombre incluso vio, atónito, cómo su agente enviaba cientos de mensajes de texto sin sentido a personas al azar de su lista de contactos.
Para los observadores, estas historias con moraleja deberían hacer que pensáramos dos veces antes de ceder demasiado control a los agentes de IA hasta que se perfeccionen más.
Mientras tanto, sin embargo, los agentes están llegando: Meta acaba de anunciar su introducción para empresas en WhatsApp.
“La seguridad es nuestra prioridad y nuestro objetivo”, declaró la empresa a la BBC, al tiempo que argumentaba que hay muchas razones para estar entusiasmados con lo que los agentes pueden hacer.
“La IA podrá automatizar gran parte del trabajo que tienen que hacer las pequeñas empresas, para que puedan centrarse en el trabajo que realmente les apasiona”, afirmó la directora de producto Naomi Gleit.
Suscríbete aquí a nuestro nuevo newsletter para recibir cada viernes una selección de nuestro mejor contenido de la semana.
También puedes seguirnos en YouTube, Instagram, TikTok, X, Facebook y en nuestro canal de WhatsApp.
Y recuerda que puedes recibir notificaciones en nuestra app. Descarga la última versión y actívalas.
Leave a Reply