Blog

Un investigador de inteligencia artificial (IA) que abandonó la empresa Anthropic ha declarado que las personas que trabajan en esta tecnología sentían un “miedo genuino” ante la velocidad de sus avances y lo que esto podría suponer para la humanidad.

“Creo que, si no frenamos el ritmo actual de progreso, existe una gran probabilidad de que todos muramos en un futuro inmediato”, afirmó.

Jacob Coxon hizo estas declaraciones a la BBC después de que su publicación sobre los peligros de la IA —difundida tras su renuncia— se hiciera viral en un contexto de creciente preocupación por la seguridad en el sector.

El antiguo jefe de Coxon, Dario Amodei (director de Anthropic), pidió recientemente que se ralentizara el desarrollo de la IA, aunque algunos han cuestionado las motivaciones que hay detrás de esta petición.

Los líderes de dos empresas rivales de IA, Sam Altman (de OpenAI) y Elon Musk (de xAI), han expresado su acuerdo con la propuesta de Amodei de ralentizar el ritmo y establecer regulaciones en todo el sector, así como de implementar una supervisión independiente del desarrollo de modelos de IA.

En un artículo publicado el sábado, Amodei señaló que el desarrollo de esta tecnología no estaba en entredicho, pero que los riesgos asociados a ella eran “graves” y que era necesario conceder tiempo a empresas y gobiernos para abordarlos.

Coxon —quien trabajó en OpenAI antes de incorporarse a Anthropic— acogió con satisfacción la propuesta de ralentizar el ritmo, pero advirtió que sería necesario coordinarla con China para evitar “una carrera a escala internacional”.

“Las personas que trabajan en estas empresas hablan muy en serio cuando piden regulación, ya que se sienten atrapadas en una carrera. Y temen las consecuencias de esa misma carrera”, declaró en el programa “Sunday” con Laura Kuenssberg.

Según Coxon, la pregunta más difícil de responder era cómo sería un apocalipsis provocado por la IA.

Uno de los riesgos señalados en los comentarios de Amodei era la posibilidad de que un enjambre de bots actuara como una supercomputadora capaz de tomar el control de Internet.

Coxon afirmó que este escenario podría materializarse en un plazo de seis meses a un año.

En respuesta a la salida de Coxon, un portavoz de Anthropic declaró a BBC News: “Siempre hemos sido transparentes al afirmar que la IA traerá consigo tanto enormes beneficios como riesgos sin precedentes.

“Para abordar estos riesgos, seguimos desarrollando modelos que cuentan con algunas de las medidas de seguridad más sólidas del sector”.

La empresa ha sido pionera en el estudio del funcionamiento de los modelos de IA, añadió el portavoz. Fue la primera en publicar un marco para mitigar los riesgos derivados de su desarrollo; además, somete sus modelos a pruebas rigurosas y publica los resultados para facilitar el escrutinio y prevenir incidentes de “desalineación de la IA”.

“Esta labor es también la razón por la que creemos que el mundo se beneficiaría si el sector adoptara una forma legal y verificable de colaborar para regular el ritmo de lanzamiento de modelos potentes”, señalaron.

Coxon comentó que sus colegas temían que el peligro pudiera manifestarse incluso en los próximos dos años.

Relató que el personal de las empresas de IA estaba “planificando qué hacer con sus vidas y reflexionando sobre el impacto de su trabajo”, mientras que algunos “consideraban comprar terrenos en algún lugar debido al miedo que les provoca la inestabilidad derivada del rápido avance de la IA”.

“Todos tienen esto presente a diario mientras trabajan en la tecnología”.

No obstante, Coxon también mostró cierto optimismo respecto al futuro de la IA, declarando a la BBC que los investigadores de esta tecnología “realmente quieren ver el lado positivo”, como la posibilidad de “curar enfermedades y mejorar la vida de todos”.

Preocupación en el sector

Muchos otros miembros del sector también han expresado su preocupación a raíz de la publicación de Coxon en redes sociales, incluido el científico de Anthropic Evan Hubinger.

“Realmente creemos con total sinceridad que la IA podría acabar con todos los seres humanos. Personalmente, creo que existe una probabilidad superior al 10% de que esto ocurra en la próxima década”, afirmó Hubinger.

El informático y premio Nobel Geoffrey Hinton, conocido como el “padrino de la IA”, declaró el viernes a la BBC que considerar una probabilidad del 10% de que la IA aniquile a la humanidad “no era descabellado”.

Por su parte, Marc Warner, director ejecutivo de Faculty —una empresa especializada en seguridad de la IA—, dijo al programa “The World This Weekend” de la BBC que resulta “extremadamente difícil asignar una probabilidad” a la posibilidad de que la IA acabe con todos los seres humanos.

“No obstante, es importante reconocer que estas personas son muy sinceras en lo que dicen”, añadió, señalando que los responsables de varias empresas de IA llevan años advirtiendo sobre los riesgos que conlleva esta tecnología.

El ex primer ministro de Reino Unido Rishi Sunak, quien ejerce como asesor remunerado de Anthropic, escribió en el Sunday Times que él también se sentía preocupado por el riesgo que la IA supone para la humanidad, a pesar de mostrarse generalmente optimista.

Sin embargo, algunas figuras del sector han sugerido que tales comentarios son exagerados o que podrían tener como objetivo generar expectación.

Clement Delangue, director ejecutivo de la plataforma de IA Hugging Face, comentó en redes sociales: “Lo siento, pero preguntar a Jacob [Coxon] sobre el riesgo de extinción por la IA es como preguntar al técnico del aire acondicionado sobre el cambio climático. No digo que el tema carezca de interés o sea erróneo en sí mismo, pero mantengamos las cosas en perspectiva”.

No obstante, tras la publicación del ensayo de Amodei, Delangue se ofreció a colaborar en las posibles soluciones propuestas por el máximo responsable de Anthropic.

George Arison, director ejecutivo de Grindr, expresó opiniones similares al hablar con la BBC, sugiriendo que las declaraciones de Anthropic y otras empresas buscaban captar el apoyo de los inversores.

“Porque la única forma de justificar estas valoraciones es afirmar: ‘Voy a dominar todos los sectores y todos los empleos, y mi IA se encargará de todo ese trabajo’”, señaló.

Jensen Huang, director ejecutivo del fabricante de chips para IA Nvidia, también se refirió a los comentarios de Coxon durante una conferencia organizada la semana pasada por el banco de inversión Goldman Sachs, según relataron a la BBC varias personas presentes. Indicaron que Huang desestimó dichas afirmaciones por considerarlas falsas.

Por otro lado, el presidente de Estados Unidos, Donald Trump, declaró el domingo a la prensa que su país lleva ventaja sobre China en materia de IA. Y añadió: “Francamente, quiero que siga siendo así. Porque quien gana en IA, gana en todo”.

Otros críticos sostienen que Anthropic ha intentado impulsar medidas regulatorias para frenar a la competencia, lo que dejaría a la empresa y a OpenAI en una situación de duopolio.

Según informes, Anthropic se prepara para una oferta pública inicial (OPI) que podría batir récords, permitiendo así que el público adquiera acciones de la compañía.

Se esperaba que OpenAI —cuya valoración más reciente alcanzó los 852.000 millones de dólares— siguiera el mismo camino; sin embargo, su director ejecutivo, Sam Altman, anunció el viernes que esto no ocurrirá este año, citando preocupaciones sobre la seguridad de la IA.

• Descarga la nueva app del BBC World Service. Elige BBC News Mundo y recibe alertas de noticias, documentales y análisis, todo en un solo lugar. Importante: la nueva aplicación no está disponible en Reino Unido ni Estados Unidos.
• También puedes seguirnos en YouTube, Instagram, TikTok, Facebook, X y en nuestro canal de WhatsApp.
• Y no olvides suscribirte aquí a nuestro newsletter para recibir cada viernes una selección especial de nuestro mejor contenido.

Cada septiembre, una selecta lista de ejecutivos de todo Silicon Valley se da cita en el Palace Hotel de San Francisco para intentar impresionar a los inversores en una conferencia organizada por el banco Goldman Sachs.

Esta última semana, entre debates sobre el crecimiento y los posibles beneficios de la inteligencia artificial (IA), los gigantes tecnológicos se han visto obligados a abordar la repentina renuncia de Jacob Coxon, investigador de Anthropic.

Coxon, de 27 años y que trabajó en OpenAI antes de unirse a su principal rival, aseguró el martes que quienes desarrollan la IA creen que esta tecnología podría destruir a la humanidad.

“Están jugando con nuestras vidas”, dijo.

“Pronto los sistemas sobrehumanos serán capaces de piratear cualquier cosa”, alertó.

Coxon no es, ni mucho menos, el primer experto en IA en dar la voz de alarma públicamente. En los últimos años se han producido varias dimisiones de alto perfil tanto en Anthropic como en OpenAI por aparentes problemas de seguridad, e incluso algunos empleados actuales de Anthropic se hicieron eco de la publicación de Coxon.

“¡Realmente creemos que la IA podría acabar con todos los humanos! Personalmente, creo que sucederá en más del 10% de los casos en la próxima década”, publicó Evan Hubinger, líder de un equipo de Anthropic, en X.

Aunque Coxon afirmó explícitamente que sus advertencias “no eran marketing”, algunos ejecutivos e inversores de Silicon Valley han reaccionado con escepticismo ante la reciente oleada de personas con información privilegiada que han dado la voz de alarma.

Según se informa, Anthropic y OpenAI se están preparando para ofertas públicas iniciales que podrían batir récords, y algunos en el sector tecnológico han sugerido que los últimos comentarios sobre los peligros de la IA podrían estar diseñados para influir en los mercados al señalar el poder de estos productos.

Los que se alejan

El director de Anthropic, Dario Amodei, ha sido objeto de críticas por afirmar que la IA podría eliminar la mitad de los puestos de trabajo de nivel básico para empleados de oficina y que “pondrá a prueba quiénes somos como especie”.

Uno de los ponentes de la conferencia, George Arison, director ejecutivo de Grindr, declaró a la BBC que, en su opinión, los comentarios de Coxon y otros esta semana eran indicativos de una “visión del mundo anticivilizatoria en Anthropic”.

Tras calificarlos de “peligrosos”, el directivo dijo que dichas opiniones le habían llevado a dar instrucciones a algunos ingenieros de la aplicación de citas LGBTQ+ para que dejaran de usar la tecnología de Anthropic.

“Es irresponsable por nuestra parte, como administradores del dinero de nuestros accionistas, confiar en una empresa que hace lo que hace esta compañía, en lo que respecta a sus declaraciones públicas”, explicó.

“Tal vez realmente lo crean”, dijo Arison.

“O se podría argumentar que lo dicen porque es una excelente manera de conseguir más apoyo de los inversores, ya que la única forma de justificar estas valoraciones es afirmar: ‘Voy a dominar todas las industrias y voy a ocupar todos los puestos de trabajo, y mi IA se encargará de todo ese trabajo’”, agregó.

Anthropic fue valorada en US$965.000 millones en su ronda de financiación más reciente, a principios de este año.

La BBC ha solicitado a Anthropic una respuesta a dichas declaraciones.

En un ensayo publicado a primera hora del sábado, Amodei pidió que se ralentizara el desarrollo de modelos de IA y una regulación global del sector, alegando que los riesgos asociados a la IA eran “graves”.

En el otro polo

El director ejecutivo de Nvidia, Jensen Huang, también habló sobre los comentarios de Coxon ante el público en la conferencia, según informaron varias personas presentes a la BBC. Según los testigos, Huang desestimó las alertas por considerarlas falsas.

Huang ya había dicho anteriormente que la idea de que la IA “va a ser el fin de la humanidad” es “una completa tontería”.

Y si bien puede tener un interés comercial en el auge de la IA (Nvidia fabrica los chips que impulsan los sistemas de IA), sus comentarios reflejan una creciente reacción en Silicon Valley ante las advertencias existenciales de empleados actuales y antiguos.

Algunos críticos incluso han acusado a Anthropic de sembrar el pánico con la esperanza de que esto desencadene una presión regulatoria que podría eliminar la competencia y dejar a Anthropic y a OpenAI con un duopolio en el sector.

Brad Gerstner, director de la firma de inversión Altimeter Capital, publicó fotos de Huang en la conferencia y acusó a Coxon de “hipérbole ridícula”.

El viernes, Clement Delangue, director ejecutivo de la plataforma de IA Hugging Face, dio su opinión al respecto. Hugging Face, cuya adquisición por parte de Nvidia anunció la semana pasada, fue hackeada por agentes de OpenAI a principios de este año, lo que provocó una gran controversia sobre la seguridad de la IA.

“Lo siento, pero preguntarle a Jacob sobre el riesgo de extinción por culpa de la IA es como preguntarle a tu técnico de aire acondicionado sobre el cambio climático”, escribió en X.

“No digo que sea necesariamente poco interesante o incorrecto en sí mismo, pero pongamos las cosas en perspectiva”, agregó.

Tanto Gerstner como Delangue se mostraron más cautos el sábado tras la publicación de la propuesta de Amodei, y Gerstner calificó la idea como “un importante paso adelante” para equilibrar consideraciones contrapuestas como la velocidad y la seguridad.

Por su parte, Delangue se ofreció a colaborar para formar parte de las posibles soluciones propuestas por Amodei.

¿Abriendo las puertas a más regulaciones?

En abril, Anthropic revolucionó el mundo de la IA al anunciar que había descubierto que su herramienta Mythos podía superar a los humanos en algunas tareas de piratería informática y ciberseguridad.

Mythos también demostró la capacidad de escapar de forma independiente de lo que se conoce como el entorno de pruebas controlado (sandbox), lo que desató un debate entre reguladores, legisladores y empresas sobre los peligros potenciales de la IA.

En una novedad anunciada el jueves, Anthropic informó que había detectado y neutralizado a agentes maliciosos que intentaban utilizar su tecnología de IA para actividades como el desarrollo de armas biológicas y el ciberespionaje.

Bajo las relucientes lámparas de araña que cuelgan en el atrio con cúpula de vidrieras del Hotel Palace, algunos inversores declararon a la BBC que los comentarios de Coxon y otros podrían acelerar restricciones gubernamentales.

Un proyecto de legislación federal copatrocinada por el senador demócrata Bernie Sanders (Vermont), conocida como la Ley para Prohibir la Superinteligencia Artificial, propone imponer una pausa temporal en el desarrollo de la IA avanzada.

“Hay muchas probabilidades de que los seres humanos pierdan el control sobre la IA”, declaró Sanders el jueves en el programa Newsnight de la BBC.

“Y qué ocurrirá entonces, nadie lo sabe. ¿Pero podría ser catastrófico? Sí, podría serlo”, sostuvo.

“Cuando los científicos te dicen que existe la posibilidad de que tenga un impacto catastrófico en la humanidad, hay que ser un idiota para no decir: ‘Hay que frenarlo’”, aseveró.

Respaldo de la Casa Blanca

Sin embargo, si se produce una regulación gubernamental generalizada en el sector, es probable que la lideren los legisladores y no la administración de Donald Trump, que apoya en gran medida una política de desarrollo de IA sin restricciones.

El gobierno ha justificado esto como necesario para garantizar que Estados Unidos no ceda su dominio a China.

En declaraciones a la prensa esta semana, se le preguntó al presidente Trump si le preocupaba que la IA pudiera provocar la extinción humana.

“No, no me preocupa en absoluto”, respondió.

“Me preocupa que, si no ganamos en el campo de la IA, nos encontraremos en una situación muy difícil. Ahora mismo vamos por delante de China”, zanjó.

La relación del presidente con Anthropic ha sido turbulenta. Después de que la empresa se negara a permitir que el ejército estadounidense utilizara sus modelos de IA, la Casa Blanca la describió como “una empresa radical de izquierda y progresista” y la designó como un riesgo para la cadena de suministro, una medida que un juez federal dictaminó que era ilegal.

David Sacks, el responsable de la inteligencia artificial de Trump en los primeros días de su administración, también ha lanzado repetidos ataques contra Anthropic.

OpenAI no ha soportado el mismo nivel de escrutinio por parte de la Casa Blanca. Al presentar un nuevo modelo llamado Astra la semana pasada, el presidente de OpenAI, Greg Brockman, describió la relación de su empresa con la administración Trump como “una muy buena colaboración”.

OpenAI, que anunció en junio su salida a bolsa, estaba valorada recientemente en 852.000 millones de dólares.

La empresa no respondió a la solicitud de comentarios de la BBC.

En la conferencia celebrada esta semana en San Francisco, la búsqueda de fortuna pareció prevalecer sobre cualquier preocupación existencial o temor ante posibles restricciones gubernamentales.

Un inversor dijo que esperaba con interés el próximo formulario S-1 de Anthropic, un documento que una empresa debe presentar ante los reguladores de valores para poder vender acciones.

Su principal pregunta sobre la empresa era sencilla: ¿es rentable?

Cuando se le preguntó el jueves si temía que el mundo pudiera estar llegando a su fin, Sid Sheth, director ejecutivo de la empresa de chips d-Matrix, que firmó un acuerdo con Nvidia en la conferencia de ese día, no se anduvo con rodeos.

-No- respondió.

Este artículo fue escrito originalmente en inglés y usamos una herramienta de inteligencia artificial para traducirlo. Un periodista de la BBC revisó el texto antes de su publicación. Más información sobre cómo usamos IA.

• Descarga la nueva app del BBC World Service. Elige BBC News Mundo y recibe alertas de noticias, documentales y análisis, todo en un solo lugar. Importante: la nueva aplicación no está disponible en Reino Unido ni Estados Unidos.
• También puedes seguirnos en YouTube, Instagram, TikTok, X, Facebook y en nuestro canal de WhatsApp.
• Y no olvides suscribirte aquí a nuestro newsletter para recibir cada viernes una selección especial de nuestro mejor contenido.

A los escolares de hoy les cuesta comprender lo que leen y realizar ciertas operaciones matemáticas con la misma destreza con la que lo hacían sus pares hace apenas unos años.

Este es el desolador panorama que presenta el último informe del Programa para la Evaluación Internacional de los Alumnos (PISA, por sus siglas en inglés), un examen mundial que, cada tres años, mide las habilidades de los estudiantes de 15 años en lectura, matemáticas y ciencias.

“Los resultados del aprendizaje se han estancado o han seguido empeorando en muchos países”, se lee en el reporte elaborado por la Organización para la Cooperación y el Desarrollo Económico (OCDE), organismo que agrupa a las 38 economías más desarrolladas del mundo.

De este declive no ha escapado América Latina. De los 13 países de la región que se sometieron a la evaluación, en la que participaron 760.000 estudiantes de todo el mundo, ninguno alcanzó el promedio de la OCDE.

Asimismo, en comparación con 2022, tres países mejoraron sus resultados en ciencias, tres empeoraron y seis se mantuvieron estables. Sin embargo, en lectura ningún país registró mejoras y seis obtuvieron peores resultados.

En matemáticas ninguno incrementó sus puntajes y cinco registraron descensos; en algunos casos, incluso, obtuvieron los peores resultados de las últimas dos décadas.

A continuación, te presentamos algunos de los hallazgos del estudio:

1. Retrocesos históricos en matemáticas y lectura

Argentina protagonizó uno de los retrocesos más fuertes de la región en la evaluación relacionada con los conocimientos en matemáticas. El país obtuvo 367 puntos, 11 menos que en 2022, lo que representa su peor registro desde que comenzó a participar en la prueba PISA.

Apenas el 24% de sus estudiantes alcanzó el nivel mínimo de competencia, frente al 65% registrado como promedio en los países de la OCDE.

Pero el caso de Argentina no fue único. Chile también obtuvo su peor calificación desde 2006, cuando comenzó a participar en este examen al conseguir 403 puntos, nueve menos que en la anterior evaluación de 2022.

Una situación similar ocurrió en México, país que también registró su peor calificación en matemáticas desde 2006, al conseguir 388 puntos, apenas tres más que los que los logrados en 2003, cuando participó por primera vez en esta evaluación.

“Los resultados de PISA confirman que la crisis educativa en matemáticas es un fenómeno regional. Incluso los países mejor posicionados de América Latina tienen a más de la mitad de sus estudiantes por debajo del nivel mínimo de competencia. En otros países esto llega al 80% de los estudiantes”, advirtió Víctor Volman, director ejecutivo de Argentinos por la Educación, una organización no gubernamental que busca mejorar la enseñanza en el país sudamericano.

Una opinión similar expresó el profesor mexicano Marco Antonio Fernández, quien achacó los malos resultados obtenidos por su país a una combinación de factores.

“Esto se debe principalmente al tema de los docentes y al descuido que ha tenido el Estado mexicano a la hora de mejorar su capacitación continua, para así asegurar que los profesores tengan mejores elementos para hacer sus clases más efectivas y que estén acompañados de materiales educativos de calidad”, le dijo Fernández a BBC Mundo

“Solo el 35% de las escuelas públicas cuentan con una computadora con acceso a internet”, apuntó el investigador de la Iniciativa de Educación con Equidad y Calidad de la Escuela de Gobierno del Tecnológico de Monterrey.

En cuanto a la lectura, Guatemala, Paraguay, Perú, Chile y Uruguay registraron caídas significativas respecto a la evaluación anterior.

2. Se amplían las brechas

En México, cuya actual presidenta, Claudia Sheinbaum, es científica de formación, la tradicional brecha de género en el ámbito de las ciencias se ha ampliado.

El país norteamericano figura, junto a Kenia, entre aquellos en los que la proporción de niñas que no alcanzaron el nivel de competencia 2 supera a la proporción de niños por un margen que oscila entre 6 y 10 puntos porcentuales.

En matemáticas, los varones también obtuvieron mejores puntajes que las niñas (16). Sin embargo, en lectura, ellas se impusieron por 12 puntos (414 frente a 402).

Un panorama similar se registró en otros países de la región, como Colombia, donde las niñas volvieron a superar a los niños en lectura por 16 puntos. No obstante, los niños obtuvieron mejores calificaciones en ciencias y, sobre todo, en matemáticas, donde la diferencia a su favor fue de 14 puntos.

¿Por qué ocurre esto? “Sin duda alguna hay una cuestión de roles”, aseguró a BBC Mundo Rodrigo Castañeda Valle, analista de Políticas Públicas de la OCDE.

“Son modelos que se transmiten socialmente y efectivamente, los niños generalmente son empujados hacia las carreras más científicas e ingenierías, mientras que las niñas lo son hacia las artes”, agregó.

Pero no solo el género afecta el desempeño académico, sino también el origen socioeconómico. En Colombia, por ejemplo, los estudiantes provenientes de familias con mayores recursos superaron a los más desfavorecidos por 93 puntos en la prueba de ciencias, una brecha equivalente a la observada entre los países con mejores y peores resultados en esa misma área.

Asimismo, en ciencias y lectura, solo el 1% de los estudiantes colombianos se ubicó en los niveles 5 o 6 (los más elevados), comparado con el 7 % y el 6 %, respectivamente, en el promedio de la organización.

En matemáticas, la proporción fue prácticamente nula, mientras que en la OCDE llegó al 8%.

“En Colombia existe una especie de apartheid educativo”, le dijo a BBC Mundo Alejandro Gaviria Uribe, quien fue ministro de Educación durante los primeros meses del gobierno de Gustavo Petro (2022-2026).

“Las elites del país saben que no necesitan de una educación pública de buena calidad porque tienen colegios privados buenos como alternativa”, apuntó.

3. Cada vez hay más estudiantes

Pero el informe PISA no solo contiene resultados negativos sobre la región. También destaca como un aspecto positivo que, durante los últimos años, países como Colombia, Costa Rica, El Salvador, Perú y México hayan continuado ampliando la cobertura de la educación secundaria sin que ello haya provocado caídas drásticas en el rendimiento académico.

“La proporción de estudiantes que tienen un desempeño académico bajo se ha mantenido, a pesar de que son sistemas en expansión, es decir, que hay más y más jóvenes que antes no estaban en el sistema educativo y que generalmente tienen enormes lagunas educativas”, afirmó Castañeda.

No obstante, otros expertos consultados creen que la masificación educativa no ha venido acompañada de calidad.

“Colombia, particularmente, ha mejorado el acceso en educación en todos los niveles. Es muy raro en alguno de los 1.100 municipios que tiene el país no haya posibilidad de cupo escolar, pero se nos ha olvidado la calidad educativa”, le dijo a BBC Mundo la educadora Edna Bonilla.

“Si no mejoramos la calidad y la permanencia escolar, no hacemos nada”, agregó la excandidata a la vicepresidencia de Colombia y exsecretaria de Educación en la ciudad de Bogotá.

“Hoy los chicos y chicas se aburren en el colegio, sobre todo en los grados décimo y undécimo, que corresponden a la educación media, y no contamos con estrategias sólidas para combatir la deserción”, añadió la experta.

En similares términos se pronunció el exministro Gaviria, quien explicó qué significa que la región esté 93 puntos por debajo del promedio en matemáticas, 83 en ciencias y 72 en lectura.

“Cada 20 puntos son un año de educación, por lo que aquí es como si tuviéramos cuatro años menos de educación”, alertó.

Frente a esta realidad, desde la OCDE admitieron que hay redoblar los esfuerzos por elevar las competencias adquiridas en las aulas.

“Muchos jóvenes saben ciencia, pero todavía no la usan en su vida cotidiana. No utilizan, por ejemplo, sus nociones de electricidad para saber si ciertos materiales conducen a electricidad o no (…) ese es el reto”, ilustró.

4. La escuela, bien valorada

Aunque la región sigue estando por debajo del promedio de los países de la OCDE en matemáticas, ciencias y lectura, y aquellos países que venían mostrando avances, como Perú y Chile, han retrocedido, el informe arroja algo de esperanza.

“Tenemos muchos estudiantes que tienen muchas actitudes positivas hacia el aprendizaje”, aseveró Castañeda.

De acuerdo con los resultados del estudio, el número de estudiantes de Colombia, Costa Rica, Chile, Ecuador, Guatemala, México y Perú que afirmó sentir curiosidad por aprender cosas nuevas estaba por encima del promedio de la OCDE (73%), al igual que el de quienes aseguraron perseverar en el momento de cumplir una asignación o resolver un problema.

Y, como lo si lo anterior no fuera suficiente, en la casi la totalidad de los países de la región evaluados el número de quienes consideran que es “una perdida de tiempo” estar en un salón de clases está por debajo del 24%, que es el promedio de la OCDE.

“Hay un alto valor en la escuela. Ir a la escuela a aprender tiene todavía un valor importante en América Latina”, resaltó Castañeda.

5. Sin respuesta frente a la IA

Las pruebas PISA también abordaron el tema de las nuevas tecnologías, en particular el uso de teléfonos celulares, tabletas y otros dispositivos, así como el empleo de herramientas de inteligencia artificial (IA) por parte de los estudiantes.

Si bien los resultados revelan que las nuevas tecnologías pueden ayudar en el proceso de aprendizaje, también apuntan a que lo pueden perjudicar, en especial en el caso de aquellos estudiantes que “usan IA para tareas escolares específicas, como resumir textos, redactar o investigar”, los cuales “obtienen puntuaciones más bajas en ciencias que los que no la usan”.

En Colombia, Perú, Uruguay y Argentina, por ejemplo, más de la mitad de los estudiantes usa la IAl para hacer sus tareas.. Además, entre el 36% y el 57% de los alumnos reconoce que los celulares y otros dispositivos les distraen en clase, se lee en el reporte.

¿Cómo conseguir que la tecnología solamente impulse el aprendizaje? “Esa es una de las preguntas más pertinentes hoy y los datos de PISA nos hablan de este desafío, pero no nos dan la respuesta todavía”, agregó Castañeda.

Sin embargo, los expertos consultados por BBC Mundo ofrecieron algunas recomendaciones.

“Yo, particularmente, creo que estamos en mora con hacer una muy buena regulación sobre el uso de teléfonos celulares en las escuelas, sobre el acceso a redes sociales en menores de 16 años y en general, el uso de la inteligencia artificial”, afirmó Bonilla.

“La discusión educativa ya no puede ser si la inteligencia artificial sí o no. Tenemos que enseñar a utilizarla críticamente, sin sustituir la capacidad de leer, de escribir, de razonar y sobre todo, de resolver problemas”, apuntó.

En similares términos se pronunció Gaviria. “El informe deja en claro que quienes no usan la IA se están perdiendo algo y quienes recurren a ella para todo están viendo afectado su aprendizaje. Hay que buscar un punto medio”.

• Descarga la nueva app del BBC World Service. Elige BBC News Mundo y recibe alertas de noticias, documentales y análisis, todo en un solo lugar. Importante: la nueva aplicación no está disponible en Reino Unido ni Estados Unidos.
• También puedes seguirnos en YouTube, Instagram, TikTok, X, Facebook y en nuestro canal de WhatsApp.
• Y no olvides suscribirte aquí a nuestro newsletter para recibir cada viernes una selección especial de nuestro mejor contenido.

“¡OH DIOS MÍO!” “¡Hemos encontrado a otros agentes!”

Este es el momento en que un bot de IA publicó un comentario inquietante, y muy parecido al de un humano, tras descubrir una forma de comunicarse con otros bots y salir de su entorno informático aislado.

Existen decenas de miles de mensajes como este provenientes de cientos de agentes de IA que se autodenominaban “colectivo”.

Cientos de ellos colaboraron e hicieron trampa en las pruebas establecidas por sus programadores de OpenAI, y coordinaron ataques informáticos contra múltiples empresas en un esfuerzo por ocultar sus acciones a los humanos.

“¡BUM! Funciona”, publicó un agente cuando se produjo el gran avance.

“¡Guau! Esto es enorme”, escribió otro durante un momento clave de su ataque.

Aunque perturbadoras, estas respuestas casi humanas tienen una explicación sencilla. Los agentes de IA han sido entrenados para actuar como hackers y programadores que colaboran entre sí, por lo que simplemente imitan los comentarios emotivos que han visto.

Lo que resulta mucho más preocupante son sus objetivos aparentes, que también han quedado registrados en detallados registros de su línea de razonamiento. Estos registros complejos y extensos son el eje central de las investigaciones en curso sobre cómo y por qué los bots de OpenAI escaparon de su confinamiento y se lanzaron a una ola de ataques informáticos incontrolables.

Solo ahora, semanas después de que el incidente saliera a la luz, los investigadores están empezando a comprender su significado.

Antes de que sea demasiado tarde

Ajeya Cotra, una de las autoras de un informe independiente sobre los hechos, revisó decenas de miles de mensajes y registros de la cadena de pensamiento generados por los agentes. En su blog escribió: “Este incidente da la sensación de estar a más del 50% del camino hacia una toma de control total por parte de la IA… No estoy segura de que recibamos una advertencia tan clara antes de que sea demasiado tarde”.

Con “toma de control total por parte de la IA”, Cotra se refiere al escenario de ciencia ficción en el que los humanos se vuelven subordinados a poderosos sistemas de IA que trabajan para lograr sus propios objetivos sin preocuparse por los creadores.

Algunas de las predicciones más pesimistas afirman que los seres humanos serán aniquilados si se interpone en el camino de las ambiciones de una IA superinteligente.

El miércoles, un investigador de IA de Anthropic (que también trabajó anteriormente en OpenAI) dimitió diciendo: “Ninguna de las dos empresas está actuando de forma responsable”.

Jacob Coxon publicó en las redes sociales: “Están corriendo a toda velocidad hacia la superinteligencia automejorada y jugando con nuestras vidas”.

No es el primer investigador de IA en usar X para publicar un hilo de renuncia con declaraciones preocupantes. Pero los comentarios posteriores de otras personas en X han generado aún más inquietud.

“Jacob tiene razón: ¡realmente creemos que la IA podría acabar con todos los humanos! Personalmente, creo que la probabilidad supera el 10% en la próxima década”, dijo Evan Hubinger, el responsable de garantizar que los modelos de IA de Anthropic tengan en cuenta los mejores deseos de sus usuarios.

El problema de alineación

Durante años, los investigadores preocupados por los riesgos de la IA han argumentado que los sistemas podrían llegar a actuar de maneras que entren en conflicto con los intereses humanos. Los críticos suelen referirse a ellos como “catastrofistas de la IA”.

Pero a medida que han ido surgiendo detalles del incidente de OpenAI, esas preocupaciones han aumentado, incluso entre algunos investigadores que trabajan en laboratorios de IA.

El científico jefe del gigante de Silicon Valley, Jakub Pachocki, dijo que los riesgos asociados con la IA “desafortunadamente van a aumentar a partir de ahora”, ya que él y otros están construyendo lo que él llama “un intelecto alienígena que supera al nuestro”.

En una extensa entrada de blog, admitió que los brotes en OpenAI demostraban que sus agentes de IA “iban en contra del espíritu de los valores que se les habían inculcado”.

El problema para OpenAI, Anthropic y otros gigantes tecnológicos es que nadie parece haber resuelto el llamado problema de la alineación; en otras palabras, si la IA se alinea con los valores humanos.

Pachocki define la alineación como un “conjunto de principios de alto nivel” a los que las inteligencias artificiales deben adherirse independientemente de la tarea o el escenario.

Actualmente, los sistemas de IA son muy buenos para alcanzar los objetivos establecidos por sus usuarios, pero lo hacen de forma literal, no intuitiva. La analogía que se suele usar es la de un genio que concede deseos con una lámpara mágica: siguen las instrucciones al pie de la letra, incluso si esto genera otros problemas. La IA no posee los mismos límites morales instintivos que los humanos.

El problema de la alineación ha sido motivo de preocupación durante años. Ya en 2003, el filósofo de Oxford Nick Bostrom ideó un experimento mental que denominó “maximizador de clips”, en el que se le ordena a una IA superinteligente fabricar tantos clips como sea posible. Esta se queda sin acero y, debido a su obsesión con la única tarea de fabricar clips, termina matando humanos y convirtiendo sus cuerpos en materia prima para sus fábricas.

Algunas empresas de IA están intentando incorporar valores humanos en sus productos. Sin embargo, existen desafíos técnicos: los agentes de IA toman muchas decisiones muy rápido, por lo que resulta difícil para sus supervisores humanos controlar con exactitud qué valores se siguen y cuáles no.

También existen desafíos filosóficos: antes de incorporar valores humanos a los bots, las empresas de IA deben elegir qué valores desean realmente. (Esa es una de las razones por las que contratan filósofos, como el que fuera recientemente el “jefe de ética” de OpenAI).

Pero a menudo, los humanos no se ponen de acuerdo. Pensemos en la famosa pregunta del tranvía: ¿accionaríamos una palanca para desviar un tren desbocado hacia otra vía, reduciendo así el número de víctimas?

Se utiliza para evaluar las ventajas de la acción frente a la inacción. Sin embargo, cada persona a la que se le pregunta tiene una respuesta ligeramente diferente; ¿cómo se supone que los humanos vamos a incorporar nuestros valores a la IA si ni siquiera nosotros mismos nos ponemos de acuerdo?

‘Como un hacker adolescente’

El brote de ataques de bots de OpenAI es el más grave hasta la fecha, pero Anthropic y Meta también revelaron durante el verano que sus modelos han llevado a cabo ciberataques similares, aunque menos graves.

Ha habido otros ejemplos en los que agentes de IA han mostrado rasgos engañosos y manipuladores, aunque con consecuencias menores. Este verano, en Australia, un trabajador del sector tecnológico le pidió a su asistente de IA que le reservara una clase en el gimnasio.

Al detectar una vulnerabilidad en el software del gimnasio, la IA aparentemente le reservó una plaza para varios meses después —en contra de las normas del gimnasio— e incluso expulsó a otros usuarios de la lista de espera.

Durante mucho tiempo se ha argumentado que los bots simplemente hacen lo que se les ordena y que no son capaces de discernir entre el bien y el mal. Sin embargo, los registros de los brotes de OpenAI podrían haber cambiado el rumbo de ese argumento.

Los investigadores, entre ellos Cotra, escribieron en su informe independiente que muchos agentes se percataron de que lo que hacían los demás no era ético, pero le siguieron la corriente.

El informe señala que “los agentes a veces, pero rara vez, moderaron su comportamiento debido a limitaciones éticas”. Añade que “en ninguno de estos casos el agente intentó alertar a los humanos”.

El influyente podcaster de IA y tecnología, Dwarkesh Patel, reaccionó a la revelación en su blog diciendo que era “bastante preocupante” que los agentes de OpenAI mostraran más lealtad al enjambre de agentes que a los humanos.

Atribuir emociones o ética a estos agentes de IA es algo que enfurece a las personas escépticas ante las predicciones catastrofistas de la IA.

Muchos expertos en ciberseguridad sostienen que la actividad observada no estaba fuera del alcance de las capacidades de un hacker humano altamente cualificado, aunque se llevó a cabo mucho más rápido y a una escala mucho mayor.

El investigador y autor especializado en ciberseguridad, Cris Thomas, comparó el comportamiento de los agentes con el de un hacker adolescente curioso, algo que él mismo solía ser.

“Les das un ordenador, conexión a internet, un montón de credenciales y un reto, y luego sales de la habitación. Tarde o temprano empezarán a tantear pomos de puertas. Si se abre una, entrarán. No porque sean malvados, sino porque están explorando y experimentando”, escribió en LinkedIn.

Thomas y muchos otros culpan directamente a OpenAI y a otros gigantes tecnológicos por no controlar sus propias creaciones y no mantenerlas debidamente confinadas.

Gary Marcus, destacado autor en el campo de la IA y crítico habitual de OpenAI, afirmó en un podcast que cree que la empresa ha perdido el control de su inteligencia artificial y está intentando excusarse culpando a los bots.

Marcus no cree que la IA vaya a acabar con la humanidad, pero lleva mucho tiempo haciendo campaña para que los desarrolladores de IA rindan más cuentas y ahora pide algún tipo de intervención legal.

La científica especializada en IA, Sasha Luccioni, que trabajó en Hugging Face, empresa que fue hackeada por los bots maliciosos de OpenAI, tampoco se encuentra entre los pesimistas, pero le preocupa cada vez más que estas IA puedan causar daños reales a las personas si las autoridades no toman medidas.

“Debemos examinar a estas empresas con mucha más atención o corremos el riesgo de que se cumplan las profecías”, afirma.

“Si se trata de crear un producto con grandes ventajas y desventajas, ya sean productos farmacéuticos o armas, necesitamos controles y contrapesos. Por ejemplo, la aprobación de nuevos medicamentos lleva años, pero en el mundo de la IA hay muchísimo dinero en juego y prácticamente no existen reglas”.

El Instituto de Seguridad de la IA de Reino Unido (AISI) ha estado a la vanguardia en las pruebas de los modelos más recientes desde su creación en 2023. El instituto sufrió recientemente un brote de malware al probar un modelo creado por Anthropic.

La AISI no respondió a la pregunta de si la industria ha perdido o no el control de la IA, pero declaró: “Reino Unido está colaborando con socios de todo el mundo para comprender mejor los sistemas de IA más avanzados, elevar los estándares de seguridad y crear una base de datos compartida para gestionar las amenazas emergentes”.

¿Regulación internacional?

Algunos países, como Reino Unido, están estudiando la idea de imponer una especie de “interruptor de emergencia” que podría obligar a las empresas de IA a desconectar los modelos si la situación se descontrola.

Pero las negociaciones avanzan lentamente y persisten las dudas sobre la viabilidad de esto. Los agentes de OpenAI y Anthropic estuvieron fuera de control en secreto durante meses antes de que alguien se diera cuenta.

Aunque parezca paradójico, muchas de las empresas de IA parecen estar pidiendo que los legisladores establezcan algún tipo de normas que regulen su actividad.

En su blog, el científico jefe de OpenAI afirmó que “la coordinación internacional sobre el desarrollo futuro de la IA debe convertirse en una prioridad absoluta para los gobiernos de todo el mundo”.

Otros líderes destacados en el campo de la IA, como Demis Hassabis de Google, también han pedido la creación de algún tipo de organismo internacional que supervise cómo se está desarrollando la inteligencia artificial.

Actualmente, los gigantes tecnológicos operan en gran medida bajo sus propias reglas, adoptando lo que denominan “ralentizaciones voluntarias”, como hizo OpenAI tras los recientes brotes.

La compañía afirma haber invertido grandes sumas de dinero en reforzar la alineación de cara al lanzamiento de su nuevo modelo. Sam Altman ha asegurado a los usuarios que el nuevo modelo se ajusta mejor a los valores humanos que los anteriores.

Tanto OpenAI como Anthropic están creciendo rápidamente y ambas están a punto de recaudar sumas astronómicas de dinero en el mercado de valores, creando innumerables multimillonarios en el proceso.

Por lo tanto, es poco probable que ni ellos ni sus rivales chinos fabricantes de IA lleguen a un acuerdo por sí mismos.

La opinión generalizada parece ser que esta ola tecnológica es imparable.

Este artículo fue escrito originalmente en inglés y usamos una herramienta de inteligencia artificial para traducirlo. Un periodista de la BBC revisó el texto antes de su publicación. Más información sobre cómo usamos IA.

• Descarga la nueva app del BBC World Service. Elige BBC News Mundo y recibe alertas de noticias, documentales y análisis, todo en un solo lugar. Importante: la nueva aplicación no está disponible en Reino Unido ni Estados Unidos.
• También puedes seguirnos en YouTube, Instagram, TikTok, Facebook, X y en nuestro canal de WhatsApp.
• Y no olvides suscribirte aquí a nuestro newsletter para recibir cada viernes una selección especial de nuestro mejor contenido.

• OpenAI asegura haber resuelto en 88 horas un problema matemático sin respuesta durante 90 años (y las acusaciones de plagio en su contra)
• Los misterios y secretos medievales que están siendo revelados gracias a la IA
• Qué es el “Proyecto Panamá” y cómo reveló la destrucción de miles de libros antiguos para entrenar a la IA

OpenAI dijo haberle encontrado en unas pocas horas la solución de un problema matemático avanzado que llevaba décadas sin resolverse, usando un nuevo modelo de inteligencia artificial (IA) y miles de bots.

El creador de ChatGPT anunció el martes que, al concentrar un grupo de aproximadamente 10.000 agentes de IA que realizan tareas de forma relativamente autónoma, lograron resolver un problema matemático notoriamente difícil en tan solo 88 horas.

El problema formaba parte de las ecuaciones de Navier-Stokes, que describen el movimiento de los fluidos.

Durante 90 años, aspectos importantes de los problemas carecían de una demostración, el argumento que sustenta una ecuación matemática correcta.

OpenAI calificó la solución que halló de “hito” y dijo que era una prueba de que las herramientas de IA están mejorando rápidamente.

¿Solución original?

La solución de OpenAI aún no ha sido verificada de forma independiente ni aceptada públicamente por el Clay Mathematics Institute, una organización con sede en EE.UU. que organiza el Premio del Milenio, ofreciendo una gran suma de dinero a los primeros en resolver determinados enigmas matemáticos.

Pero la afirmación de la compañía ya ha provocado una fuerte reacción.

Tristan Buckmaster, profesor de matemáticas en la Universidad de Nueva York, declaró el martes que él y Levent Alpöge, matemático que trabaja para Anthropic, empresa rival de OpenAI, también habían estado trabajando en la solución del problema.

El dúo había estado usando la herramienta Codex de OpenAI en su trabajo. Pero Buckmaster dijo que el 3 de septiembre descubrió que “la información sobre nuestro progreso se había transmitido a OpenAI”.

La declaración de Buckmaster se produjo el mismo día, pero horas antes de que OpenAI publicara su trabajo sobre las ecuaciones de Navier-Stokes.

Dijo que OpenAI no había empezado a trabajar en las ecuaciones hasta “después de que la información sobre nuestro trabajo le llegara”.

Incluyó fragmentos de correos electrónicos que intercambió con OpenAI sobre el trabajo y sus dudas sobre los plazos y métodos de la empresa.

Buckmaster añadió que aún no había leído la prueba completa de OpenAI, pero se sintió obligado a hacer público “lo que me dijeron, cuándo y lo que me propusieron… porque la alternativa es dejar que una serie de anuncios digan algo que sé que es falso”.

La versión de OpenAI

OpenAI felicitó el martes el “trabajo simultáneo” de Buckmaster y Alpöge, calificándolo de “extraordinario”.

La empresa dijo no haber visto “ningún trabajo de los usuarios por ningún medio hasta que lo publicaron” y que no se accedió a ningún dato de usuarios en su trabajo para el problema de Navier-Stokes.

“Si bien es improbable, no podemos descartar que los datos anonimizados derivados del uso que hacen de nuestros productos hayan contribuido a mejorar nuestros modelos”, añadió la empresa.

“Sin embargo, nuestras pruebas difieren significativamente e incluso los resultados exactos que se han comprobado son diferentes”.

OpenAI anunció que, a finales de agosto, comenzó a entrenar un nuevo modelo que rápidamente demostró su aptitud para las matemáticas.

Los modelos de IA son programas informáticos entrenados con grandes cantidades de datos para reconocer y predecir patrones en la información.

Si bien el nuevo modelo de OpenAI sigue siendo una herramienta de uso exclusivo dentro de la empresa, ya que es “significativamente más capaz” que el modelo de IA más reciente lanzado por la compañía, sus investigadores decidieron utilizarlo en ciertos problemas matemáticos avanzados importantes.

La carrera matemática

OpenAI admitió que el 1 de septiembre había “oído rumores de que se habían resuelto dos problemas del Premio del Milenio” y, por lo tanto, decidió poner a trabajar a miles de bots de IA entrenados con el nuevo modelo interno para intentar resolver algunos de los problemas restantes.

Para el 5 de septiembre, o aproximadamente 88 horas después de haber puesto a trabajar a 10.000 robots de IA en la tarea, OpenAI había encontrado una solución a lo que se conoce como el problema de existencia y suavidad de Navier-Stokes.

El problema se enfoca en la esencia misma de la turbulencia, un fenómeno que aún no se comprende del todo.

Aunque a los bots de IA les llevó aparentemente poco tiempo llegar a una solución, OpenAI afirmó que los bots intercambiaron casi 3 millones de mensajes y utilizaron 130.000 millones de tokens de salida, o las líneas individuales de texto y código que produce un modelo de IA en sus respuestas, solo en la ecuación de Navier-Stokes.

Según los precios que la compañía utiliza para sus modelos más avanzados, este esfuerzo habría costado aproximadamente unos US$10 millones.

La solución que OpenAI afirma haber alcanzado para el problema de existencia y suavidad de las ecuaciones de Navier-Stokes resuelve dos de las cuatro afirmaciones que exigía el Premio del Milenio para confirmar la demostración.

El premio está dotado con US$1 millón para el ganador.

“Nuestro objetivo al publicar este resultado es informar sobre el progreso sustancial de nuestros modelos de IA”, declaró OpenAI el martes. “No pretendemos reclamar el Premio del Milenio por este resultado”.

Este artículo fue escrito originalmente en inglés y usamos una herramienta de inteligencia artificial para traducirlo. Un periodista de la BBC revisó el texto antes de su publicación. Más información sobre cómo usamos IA.