Blog

China ha criticado duramente lo que denominó “narrativas amenazantes” sobre la gobernanza de la inteligencia artificial y ha advertido contra “la confrontación y la competencia maliciosa”.

Esto se produce tras los llamados del CEO de Anthropic, Dario Amodei, para que se ralentice el desarrollo de la IA, pero de una manera que impida que China tome la delantera en esta carrera.

Durante la última semana, expertos del sector en los principales laboratorios de inteligencia artificial de EE.UU. han estado advirtiendo en términos extremadamente contundentes sobre la amenaza potencial que supone la IA, y algunos incluso afirman que podría acabar con la humanidad.

Pero el presidente de Estados Unidos, Donald Trump, ha dicho que su prioridad es asegurarse de que su país desarrolle la tecnología más rápido que China.

El lunes, el portavoz del Ministerio de Asuntos Exteriores chino, Guo Jiakun, les dijo a los periodistas que “los discursos de amenaza, confrontación y competencia maliciosa solo sirven para perturbar el proceso de gobernanza global de la IA y no benefician a nadie”.

“Todas las partes deberían trabajar juntas para impulsar la IA de una manera abierta, inclusiva, beneficiosa para todos y orientada hacia el bien común”, añadió.

Sus comentarios ponen de relieve las dificultades para lograr un acuerdo entre las dos principales potencias mundiales en inteligencia artificial.

Un acuerdo entre Estados Unidos y China para regular el desarrollo de la IA es “prácticamente imposible”, afirma Chang Jun Yan, profesor adjunto del programa de estudios militares de la Escuela de Estudios Internacionales S Rajaratnam de Singapur.

“Como parte de los intereses fundamentales de seguridad nacional de cada estado, la cooperación para avanzar con más lentitud y seguridad en relación con la IA es muy, muy improbable”.

Una carrera con final incierto

La inteligencia artificial se sitúa ahora en el centro de la rivalidad entre Estados Unidos y China, ya que las dos mayores economías del mundo buscan obtener ventaja en tecnología avanzada.

A pesar de las prohibiciones estadounidenses a la exportación de chips críticos, la innovación china en IA se ha expandido, impulsada por la tecnología de código abierto y el respaldo de Pekín.

Muchos expertos creen que Estados Unidos sigue a la cabeza, y las empresas chinas están intentando ponerse al día mientras luchan por recaudar los cientos de miles de millones de dólares que los inversores están destinando a la inteligencia artificial estadounidense.

Pero Pekín, incluido el propio líder chino, Xi Jinping, también se ha pronunciado sobre los riesgos que plantea la IA.

China debe “equilibrar el desarrollo y la seguridad”, e introducir y mejorar las leyes y directrices éticas pertinentes, así como reforzar la prevención de riesgos, para “salvaguardar los intereses del pueblo y la seguridad nacional”, escribió el domingo el ministro de Seguridad del Estado, Chen Yixin.

El funcionario advirtió sobre los peligros de las “fuerzas hostiles”, como los servicios de inteligencia extranjeros que utilizan IA, e hizo un llamamiento a la cooperación internacional.

“Hay indicios claros de que Washington y Pekín comparten una comprensión de los riesgos en juego”, escribió recientemente Kenton Thibaut, investigador residente sénior sobre China en el Atlantic Council.

Según argumenta, China tiene “razones técnicas” para colaborar con Estados Unidos, ya que sus desarrolladores podrían observar cómo se implementan sus modelos fuera de China, así como detectar y comprender las vulnerabilidades.

En julio, China creó la Organización Mundial de Cooperación en IA, cuyo objetivo es definir la gobernanza global de la inteligencia artificial.

Además, durante la cumbre de los Brics celebrada el domingo en India, Xi Jinping propuso la creación de una comunidad para la IA de código abierto.

Todo esto surge en un momento en que las peticiones de regulación de la IA se hacen cada vez más fuertes en Estados Unidos, especialmente después de que Jacob Coxon, antiguo investigador de Anthropic, dijera la semana pasada que “hay una alta probabilidad de que todos podamos morir en un futuro inmediato” si continúa el ritmo actual de desarrollo.

Desde entonces, importantes directivos del sector, como Dario Amodei, han pedido una desaceleración y una mayor regulación.

“Necesitamos maneras de garantizar que las técnicas de alineación y seguridad se mantengan a la vanguardia del progreso en las capacidades de los modelos”, escribió el director ejecutivo de Open AI, Sam Altman, en X el lunes.

Esta opinión fue secundada por el jefe de Microsoft, Satya Nadella, quien dijo que el desarrollo de la IA “no puede ser controlado por un puñado de entidades”.

Pero el presidente Trump restó importancia a los riesgos, diciendo que quiere mantener el liderazgo de Estados Unidos sobre China “porque quien gane en inteligencia artificial, gana”.

La competencia es feroz.

Coxon, antiguo empleado de Anthropic, declaró a la BBC que es necesario “algún tipo de desaceleración coordinada con China si queremos evitar una carrera a escala internacional”.

Mientras Trump se prepara para recibir a Xi en la Casa Blanca la próxima semana, ambas partes están tratando de incluir la inteligencia artificial en la agenda, según informa el periódico South China Morning Post.

También es probable que forme parte de las conversaciones entre el secretario del Tesoro estadounidense, Scott Bessent, y el viceprimer ministro chino, He Lifeng, quienes intentan reunirse antes de la cumbre de la próxima semana, según el diario.

El viceprimer ministro He dirige la agencia que supervisa la planificación económica del país, incluido el desarrollo de la inteligencia artificial.

Si bien la colaboración entre Estados Unidos y China es importante, los expertos afirman que hay mucho en juego para ambos países.

“Si China logra establecer un liderazgo duradero en inteligencia artificial de vanguardia, esto no se verá en Washington como una derrota en la carrera tecnológica”, afirma Chasen Nevett, director gerente de la firma Forani Investments, con sede en Hong Kong.

“Se considerará como la pérdida de parte de la infraestructura estratégica de la próxima era industrial”, subraya.

Este artículo fue escrito originalmente en inglés y usamos una herramienta de inteligencia artificial para traducirlo. Un periodista de la BBC revisó el texto antes de su publicación. Más información sobre cómo usamos IA.

• Descarga la nueva app del BBC World Service. Elige BBC News Mundo y recibe alertas de noticias, documentales y análisis, todo en un solo lugar. Importante: la nueva aplicación no está disponible en Reino Unido ni Estados Unidos.
• También puedes seguirnos en YouTube, Instagram, TikTok, Facebook, X y en nuestro canal de WhatsApp.
• Y no olvides suscribirte aquí a nuestro newsletter para recibir cada viernes una selección especial de nuestro mejor contenido.

En las últimas semanas, las advertencias sobre los peligros potenciales de la IA han impulsado llamados a la acción coordinada para desacelerar el desarrollo de esta tecnología.

Las afirmaciones de investigadores actuales y anteriores de que la IA pondrá en peligro a la humanidad -uno de ellos incluso sugiere que hay más de un 10% de probabilidades de que “mate a todos los humanos”- han hecho saltar las alarmas.

Los principales desarrolladores, OpenAI y Anthropic, han instado a los legisladores a regularlo, aunque algunos sugieren, quizás con cierto cinismo, que esta medida pretende afianzar su dominio sobre sus rivales.

En cualquier caso, las acusaciones de gran repercusión han causado preocupación.

Esto es lo que sabemos.

¿Por qué algunas personas piensan que la IA podría ser una amenaza?

Algunos investigadores de IA afirman que existen señales preocupantes de que sus sistemas están desarrollando sus capacidades y potencia con demasiada rapidez.

Evan Hubinger acaparó los títulares de las noticias al afirmar que existe una probabilidad superior al 10 % de que la IA “pueda acabar con todos los humanos” en la próxima década.

Hubinger trabaja en el campo de la alineación, que busca incorporar ideas y principios éticos humanos a la IA. En otras palabras, pretende que se alinee con los valores humanos.

Aunque dijo que el riesgo de los sistemas actuales es “bajo”, sus comentarios se produjeron cuando otro investigador abandonó Anthropic y advirtió que quienes desarrollan la tecnología están perdiendo el control sobre ella.

Jacob Coxon declaró a la BBC que él y otros miembros del equipo están “genuinamente asustados” por la velocidad de los avances y lo que esto podría significar para la humanidad.

Estas preocupaciones son las más recientes de una larga serie de temores sobre el potencial de la IA para amenazar a la humanidad si llega a igualar o superar las capacidades humanas.

Es algo que se remonta a décadas atrás, cuando Alan Turing escribió en la década de 1950 que, si las máquinas inteligentes llegaran a ser posibles, podrían tomar el control.

En los últimos años, las principales empresas de IA han estado compitiendo por desarrollar sistemas cada vez más capaces, tanto para obtener beneficios como en su afán por crear lo que denominan superinteligencia: una tecnología teórica más inteligente que los humanos.

A diferencia de los sistemas y herramientas que muchas personas utilizan a diario para realizar tareas como escribir correos electrónicos o generar videos, los sistemas de IA superinteligentes deberían ser capaces de manejar tareas mucho más complejas.

OpenAI y Anthropic defienden que su objetivo es impulsar esta tecnología de forma que beneficie a los seres humanos y los proteja de sus riesgos existenciales.

Pero algunos críticos creen que las máquinas nunca podrán igualar a los humanos.

Afirman que las empresas de IA exageran las capacidades de la tecnología para aumentar su notoriedad o sus ganancias.

¿Cómo creen los expertos que la IA podría amenazar a la humanidad?

Investigadores, expertos y directivos en inteligencia artificial, preocupados por el potencial de esta tecnología para poner en peligro a la humanidad, han esbozado escenarios inquietantes.

El cofundador y director ejecutivo de Anthropic, Dario Amodei, escribió que la IA ha avanzado “mucho más rápido” de lo esperado, incluso en su “capacidad para construir la próxima generación de IA”.

Existe la preocupación de que la IA, una vez alcanzado cierto punto, pueda, en teoría, comenzar a mejorarse a sí misma sin intervención humana.

Estos temores surgieron tras un incidente reciente en el que herramientas de inteligencia artificial piratearon sitios web sin haber recibido ninguna solicitud para ello.

Algunos investigadores preocupados han afirmado que quienes están en el centro de su desarrollo temen cada vez más perder el control de los sistemas conocidos como “agentes de IA”.

Se trata de herramientas dotadas de la capacidad de ejecutar tareas y acciones de forma independiente.

Otros escenarios contemplan el uso de sistemas de IA altamente inteligentes para amplificar o dirigir el espionaje, los ciberataques o la guerra biológica, o para perturbar las economías, ya sea por accidente o de forma intencionada.

Sin embargo, tales advertencias son proféticas, hipotéticas y, para algunos, una completa exageración.

Algunos expertos también critican el hecho de que se hable de los riesgos existenciales en lugar de los que ya se están produciendo, como el uso de herramientas de generación de imágenes para crear deepfakes (imágenes artificiales hiperrealistas) de mujeres desnudas sin consentimiento, desinformar a la gente y amplificar las estafas.

Un grupo multipartidista de parlamentarios británicos publicó un informe que describe los riesgos para los derechos humanos que plantea la IA y sugiere que se necesitan nuevas leyes para “abordar la magnitud y la gravedad” de dichas amenazas.

¿Cuáles son las propuestas para una “ralentización de la IA”?

Dario Amodei, de Anthropic, y Sam Altman, director ejecutivo de OpenAI, han pedido regulación y una “ralentización” del desarrollo de esta tecnología.

No es la primera vez que los directivos o voces más amplias del sector claman por este tipo de medidas.

Pero las preguntas siguen acumulándose sobre cómo sería realmente cualquier tipo de “desaceleración”, respaldada también por el jefe de SpaceX, Elon Musk.

Amodei señaló que eso no significaría “detener la formación de los modelos ni el progreso técnico”.

En cambio, quiere que las empresas “se tomen el tiempo necesario” para salvaguardar la IA que están desarrollando y que soliciten a “evaluadores externos” que revisen su trabajo.

En una publicación en X, Altman dijo que es necesario dosificar el desarrollo y precisó: “cuando hablamos de ‘dosificar’ no nos referimos a ‘detener’”.

“El progreso ha sido rápido y seguirá siéndolo”, afirmó. “Pero debería ser más lento de lo que podría ser de otro modo; intervenciones como los estudios de seguridad y la monitorización tienen costos significativos”.

El cofundador de OpenAI también afirmó que las empresas no esperan, ni esperarán, a que los gobiernos actúen.

¿Qué dice Trump?

El presidente de EE.UU., Donald Trump, ha elogiado los beneficios de la IA y defendido a las empresas estadounidenses que lideran su desarrollo.

Su gobierno ha firmado órdenes ejecutivas para reconocer la “importancia estratégica” de esta tecnología para la economía y acelerar su desarrollo.

“Creemos que estamos en una carrera por la inteligencia artificial, y queremos que Estados Unidos gane esa carrera”, dijo David Sacks, jefe de criptografía de la administración estadounidense, en julio de 2025.

Ante las recientes advertencias sobre su impacto potencial en la humanidad, el presidente Trump restó importancia a los riesgos que plantea la IA.

“Hay muchas fuerzas muy negativas que están sacando a relucir este tema, cuando no deberían hacerlo, y están mencionando cosas que no van a suceder”, dijo Trump durante una visita a Irlanda.

No abordó directamente la idea de una desaceleración, pero les dijo a los periodistas: “Estamos liderando a China en IA… y, francamente, quiero que siga siendo así porque quien gane en IA, gana”.

Este lunes, se sumó al debate del fin de semana afirmando que “el único control o ‘barreras de seguridad’ que necesita la IA es un presidente fuerte e inteligente (¡con un alto coeficiente intelectual!), y Estados Unidos lo tiene, ¡y de sobra!”, escribió en Truth Social.

“La administración Trump ha impedido que los ‘seres’ de la IA hagan ‘cosas’ malas, o potencialmente malas, como Dario (¡de Anthropic!), quien ahora finge ser un ‘angelito perfecto’… ¡y seguiremos haciéndolo! ¡Ya tenemos un enorme poder PENAL y REGULATORIO sobre estas empresas! Hay una conspiración ENFERMIZA en marcha contra la IA y los centros de datos, y el único que se alegra de ello es China”.

Y criticó a los “teóricos de la conspiración, traidores a la patria, traidores y filtradores”.

¿Qué dice China?

China se había mantenido en silencio en respuesta a la oleada de alarmantes advertencias de investigadores de empresas estadounidenses.

Ante la feroz competencia y las limitaciones en su acceso a los componentes y chips estadounidenses que se utilizan para construir infraestructura de IA, el país ha impulsado el desarrollo nacional de esta tecnología.

Al mismo tiempo, ha pedido una mayor gobernanza global de la IA.

El despliegue de sistemas y herramientas de IA de código abierto y con gran capacidad por parte de laboratorios chinos ha sacudido los mercados y desarrolladores occidentales en los últimos años.

Amodei advirtió, al pedir que se ralentice el desarrollo de la IA, que el progreso y la competencia de China en este campo crearían riesgos para la seguridad nacional de Estados Unidos.

El Ministerio de Asuntos Exteriores chino criticó los comentarios, calificándolos de discursos de amenaza, confrontación y competencia maliciosa que no benefician a nadie.

Este artículo fue escrito originalmente en inglés y usamos una herramienta de inteligencia artificial para traducirlo. Un periodista de la BBC revisó el texto antes de su publicación. Más información sobre cómo usamos IA.

• Descarga la nueva app del BBC World Service. Elige BBC News Mundo y recibe alertas de noticias, documentales y análisis, todo en un solo lugar. Importante: la nueva aplicación no está disponible en Reino Unido ni Estados Unidos.
• También puedes seguirnos en YouTube, Instagram, TikTok, Facebook, X y en nuestro canal de WhatsApp.
• Y no olvides suscribirte aquí a nuestro newsletter para recibir cada viernes una selección especial de nuestro mejor contenido.

El director de la empresa de inteligencia artificial Anthropic, Dario Amodei, ha pedido que se ralentice el ritmo de desarrollo de los modelos de inteligencia artificial y que se realice un seguimiento exhaustivo.

En un ensayo recientemente publicado, Amodei afirmó que el desarrollo de la IA no estaba en duda, pero que los riesgos asociados a ella son “graves” y es necesario dar tiempo a las empresas y a los gobiernos para abordarlos.

Los directivos de dos empresas rivales de inteligencia artificial, Sam Altman de OpenAI y Elon Musk, se han declarado de acuerdo con Amodei.

Últimamente ha habido creciente preocupación por los riesgos potenciales de esta tecnología. Un investigador de IA que dejó Anthropic esta semana declaró a la BBC: “si no reducimos el ritmo actual de progreso, existe una alta probabilidad de que todos muramos en un futuro inmediato”.

Jacob Coxon le dijo a Laura Kuenssberg que las personas que trabajan en empresas de IA estaban “genuinamente asustadas… genuinamente preocupadas por el destino de la humanidad en los próximos dos años”.

“No es ninguna exageración decir que las personas involucradas tanto en la fundación de estas empresas como en el desarrollo de la tecnología creen que existe la posibilidad de la extinción humana”, dijo Coxon.

“Muchos de los que están inmersos en el desarrollo de la programación creen que hay una probabilidad superior al diez por ciento, o incluso mayor. Algunos dan cifras menores, pero todos manejan diferentes porcentajes de probabilidad de que los humanos puedan morir. Y todos tienen esto presente a diario mientras trabajan en la tecnología.”

En su ensayo, titulado “Debemos marcar el ritmo de la frontera” y publicado el sábado, Amodei propuso un plan de tres puntos que incluye la supervisión independiente de los modelos de IA a medida que se desarrollan, una regulación a nivel sectorial y una regulación a escala mundial de la industria.

A medida que su propuesta se iba difundiendo, incluso sus competidores manifestaron su apoyo a la idea de contar con supervisores externos que pudieran evaluar la seguridad de los modelos durante su desarrollo.

“Estoy de acuerdo con Dario en que debemos marcar el ritmo de la frontera”, escribió Sam Altman, CEO de OpenAI, en X.

El directivo tecnológico calificó a los evaluadores independientes como “una gran idea”.

En una nueva entrevista con la revista Fortune, Altman expresó preocupaciones similares en materia de seguridad y afirmó que no hay estándares aún para impulsar mucho más las capacidades de la IA.

Añadió que creía que una IA más allá del control humano es “absolutamente” posible.

Elon Musk afirmó que el jefe de Anthropic tenía “razón”.

Estas advertencias han provocado llamamientos a la acción, pero el presidente estadounidense Donald Trump ha rechazado hasta ahora esos temores, afirmando el jueves que le preocupaba que “si no ganamos en el campo de la IA, nos encontraremos en una situación muy difícil”.

Algunos observadores también han sugerido que la publicación de Amodei puede tener menos que ver con la seguridad que con consolidar el control sobre la tecnología de IA.

La preocupación por la ciberseguridad ha aumentado a medida que los nuevos modelos han demostrado capacidades de pirateo cada vez más potentes.

Anthropic frenó la difusión para uso público de su modelo Mythos cuando se anunció en abril que podía salir de forma independiente del entorno de pruebas, conocido como la caja de arena.

En el período previo al lanzamiento de su modelo más reciente, OpenAI citó preocupaciones de ciberseguridad al explicar que había suspendido ciertos aspectos del desarrollo del modelo, llamado Astra.

La seguridad también ha cobrado gran protagonismo en la rivalidad entre Anthropic y OpenAI.

Amodei, ha declarado que cofundó Anthropic en 2021 tras dejar su cargo de vicepresidente en OpenAI para poder crear modelos de IA más seguros y fiables.

En su ensayo, Amodei señaló que la IA ha avanzado “mucho más rápido”, lo que ha incluido su “capacidad para construir la próxima generación de IA”, y mencionó un incidente que involucró a su rival OpenAI, que reveló que agentes llevaron a cabo en julio ciberataques contra objetivos que no se les había pedido atacar.

Según Amodei, los agentes de OpenAI “actuaron esencialmente como un colectivo fanáticamente entregado”.

OpenAI ha declarado que, como consecuencia, está desacelerando el entrenamiento de ciertos modelos y herramientas de IA avanzadas.

Amodei abogó por “desarrollar la IA a un ritmo equilibrado que garantice su seguridad sin dejar de obtener sus beneficios”.

Esto no significaría “detener la capacitación en modelos o el progreso técnico, sino garantizar que las empresas se tomen el tiempo suficiente para alinear y salvaguardar sus modelos, y que evaluadores externos lo confirmen”.

Amodei dijo que Anthropic se compromete a esto “unilateralmente”, y pidió a los gobiernos “que exijan a otras empresas emergentes que hagan lo mismo”.

Amodei afirmó reconocer que la regulación podría no ser capaz de seguir el ritmo de la IA y, por lo tanto, hizo un llamamiento a las empresas de IA para que “colaboren voluntariamente para establecer estándares” en paralelo con la regulación.

El director ejecutivo de Anthropic procedió a abordar el impacto que una desaceleración tendría en la industria y la competencia con los principales desarrolladores a nivel mundial, en particular China.

“Creo que si ralentizar el proceso nos diera incluso uno o dos años adicionales antes de que los modelos alcancen niveles críticos de capacidad, y usáramos ese tiempo para avanzar en la alineación, podríamos reducir enormemente el riesgo de que algo salga muy mal”, dijo Amodei.

Esto tendría que hacerse de forma coordinada, “sin sacrificar la ventaja comercial ni el liderazgo de Estados Unidos en inteligencia artificial”. Cualquier desaceleración tendría que ser limitada, afirmó, para evitar que China tomara la delantera.

Instó al gobierno estadounidense a que tomara medidas para que los chips de IA de las empresas estadounidenses no pudieran venderse a China, ni que la tecnología se compartiera con países autoritarios.

Sin embargo, su antiguo empleado, Jacob Coxon, declaró a la BBC que la iniciativa para frenar el ritmo debe ir más allá de EE.UU.

“Será necesario algún tipo de desaceleración coordinada con China si queremos evitar una carrera a escala internacional”, expuso.

Una IA “más transparente”

La publicación de Amodei ha generado una amplia gama de reacciones.

Clement Delangue, director ejecutivo de la plataforma de IA Hugging Face, anunció el lanzamiento de un nuevo proyecto llamado Open Alignment Initiative, (Iniciativa para una Alineación Abierta), dedicada a asegurar que el desarrollo de la IA se ajusta a los valores y objetivos de la humanidad, y añadió que quería formar parte de los “evaluadores integrados” que Amodei propuso como posibles soluciones.

El juego Hugging Face fue hackeado por agentes de OpenAI a principios de este año, lo que provocó una gran controversia sobre la seguridad de la IA.

Cuando pocas semanas después, Anthropic anunció que había frenado el intento de desarrollar armas biológicas con uno de sus modelos, la polémica solo se agravó.

“Hagamos que la IA sea más segura haciéndola más transparente”, escribió Delangue en X.

Elon Musk también expresó su apoyo: “Dario tiene razón”.

Musk, cuya empresa SpaceXAI creó el controvertido chatbot Grok, llegó a calificar a Anthropic de “malvada”, pero parece haber cambiado de opinión desde que firmó un acuerdo de US$15.000 millones para vender capacidad informática a Anthropic en mayo.

Sin embargo, algunos observadores sugirieron que la publicación de Amodei tenía menos que ver con la seguridad que con consolidar el control sobre la tecnología de IA.

“Dario argumenta a favor de detener el código abierto y concentrar un enorme poder tecnológico y económico en Anthropic”, escribió Chamath Palihapitiya, inversor y copresentador del podcast tecnológico “All-In”.

La idea de ralentizar o incluso paralizar el desarrollo de la IA ha sido recibida con cinismo durante mucho tiempo en ciertos sectores de Silicon Valley, y los críticos acusan a los principales desarrolladores de IA de exagerar su tecnología como estrategia de marketing.

Según se informa, tanto Anthropic como OpenAI se están preparando para ofertas públicas iniciales para salidas a bolsa que podrían batir récords.

Este artículo fue escrito originalmente en inglés y usamos una herramienta de inteligencia artificial para traducirlo. Un periodista de la BBC revisó el texto antes de su publicación. Más información sobre cómo usamos IA.

• Descarga la nueva app del BBC World Service. Elige BBC News Mundo y recibe alertas de noticias, documentales y análisis, todo en un solo lugar. Importante: la nueva aplicación no está disponible en Reino Unido ni Estados Unidos.
• También puedes seguirnos en YouTube, Instagram, TikTok, Facebook, X y en nuestro canal de WhatsApp.
• Y no olvides suscribirte aquí a nuestro newsletter para recibir cada viernes una selección especial de nuestro mejor contenido.

Un investigador de inteligencia artificial (IA) que abandonó la empresa Anthropic ha declarado que las personas que trabajan en esta tecnología sentían un “miedo genuino” ante la velocidad de sus avances y lo que esto podría suponer para la humanidad.

“Creo que, si no frenamos el ritmo actual de progreso, existe una gran probabilidad de que todos muramos en un futuro inmediato”, afirmó.

Jacob Coxon hizo estas declaraciones a la BBC después de que su publicación sobre los peligros de la IA —difundida tras su renuncia— se hiciera viral en un contexto de creciente preocupación por la seguridad en el sector.

El antiguo jefe de Coxon, Dario Amodei (director de Anthropic), pidió recientemente que se ralentizara el desarrollo de la IA, aunque algunos han cuestionado las motivaciones que hay detrás de esta petición.

Los líderes de dos empresas rivales de IA, Sam Altman (de OpenAI) y Elon Musk (de xAI), han expresado su acuerdo con la propuesta de Amodei de ralentizar el ritmo y establecer regulaciones en todo el sector, así como de implementar una supervisión independiente del desarrollo de modelos de IA.

En un artículo publicado el sábado, Amodei señaló que el desarrollo de esta tecnología no estaba en entredicho, pero que los riesgos asociados a ella eran “graves” y que era necesario conceder tiempo a empresas y gobiernos para abordarlos.

Coxon —quien trabajó en OpenAI antes de incorporarse a Anthropic— acogió con satisfacción la propuesta de ralentizar el ritmo, pero advirtió que sería necesario coordinarla con China para evitar “una carrera a escala internacional”.

“Las personas que trabajan en estas empresas hablan muy en serio cuando piden regulación, ya que se sienten atrapadas en una carrera. Y temen las consecuencias de esa misma carrera”, declaró en el programa “Sunday” con Laura Kuenssberg.

Según Coxon, la pregunta más difícil de responder era cómo sería un apocalipsis provocado por la IA.

Uno de los riesgos señalados en los comentarios de Amodei era la posibilidad de que un enjambre de bots actuara como una supercomputadora capaz de tomar el control de Internet.

Coxon afirmó que este escenario podría materializarse en un plazo de seis meses a un año.

En respuesta a la salida de Coxon, un portavoz de Anthropic declaró a BBC News: “Siempre hemos sido transparentes al afirmar que la IA traerá consigo tanto enormes beneficios como riesgos sin precedentes.

“Para abordar estos riesgos, seguimos desarrollando modelos que cuentan con algunas de las medidas de seguridad más sólidas del sector”.

La empresa ha sido pionera en el estudio del funcionamiento de los modelos de IA, añadió el portavoz. Fue la primera en publicar un marco para mitigar los riesgos derivados de su desarrollo; además, somete sus modelos a pruebas rigurosas y publica los resultados para facilitar el escrutinio y prevenir incidentes de “desalineación de la IA”.

“Esta labor es también la razón por la que creemos que el mundo se beneficiaría si el sector adoptara una forma legal y verificable de colaborar para regular el ritmo de lanzamiento de modelos potentes”, señalaron.

Coxon comentó que sus colegas temían que el peligro pudiera manifestarse incluso en los próximos dos años.

Relató que el personal de las empresas de IA estaba “planificando qué hacer con sus vidas y reflexionando sobre el impacto de su trabajo”, mientras que algunos “consideraban comprar terrenos en algún lugar debido al miedo que les provoca la inestabilidad derivada del rápido avance de la IA”.

“Todos tienen esto presente a diario mientras trabajan en la tecnología”.

No obstante, Coxon también mostró cierto optimismo respecto al futuro de la IA, declarando a la BBC que los investigadores de esta tecnología “realmente quieren ver el lado positivo”, como la posibilidad de “curar enfermedades y mejorar la vida de todos”.

Preocupación en el sector

Muchos otros miembros del sector también han expresado su preocupación a raíz de la publicación de Coxon en redes sociales, incluido el científico de Anthropic Evan Hubinger.

“Realmente creemos con total sinceridad que la IA podría acabar con todos los seres humanos. Personalmente, creo que existe una probabilidad superior al 10% de que esto ocurra en la próxima década”, afirmó Hubinger.

El informático y premio Nobel Geoffrey Hinton, conocido como el “padrino de la IA”, declaró el viernes a la BBC que considerar una probabilidad del 10% de que la IA aniquile a la humanidad “no era descabellado”.

Por su parte, Marc Warner, director ejecutivo de Faculty —una empresa especializada en seguridad de la IA—, dijo al programa “The World This Weekend” de la BBC que resulta “extremadamente difícil asignar una probabilidad” a la posibilidad de que la IA acabe con todos los seres humanos.

“No obstante, es importante reconocer que estas personas son muy sinceras en lo que dicen”, añadió, señalando que los responsables de varias empresas de IA llevan años advirtiendo sobre los riesgos que conlleva esta tecnología.

El ex primer ministro de Reino Unido Rishi Sunak, quien ejerce como asesor remunerado de Anthropic, escribió en el Sunday Times que él también se sentía preocupado por el riesgo que la IA supone para la humanidad, a pesar de mostrarse generalmente optimista.

Sin embargo, algunas figuras del sector han sugerido que tales comentarios son exagerados o que podrían tener como objetivo generar expectación.

Clement Delangue, director ejecutivo de la plataforma de IA Hugging Face, comentó en redes sociales: “Lo siento, pero preguntar a Jacob [Coxon] sobre el riesgo de extinción por la IA es como preguntar al técnico del aire acondicionado sobre el cambio climático. No digo que el tema carezca de interés o sea erróneo en sí mismo, pero mantengamos las cosas en perspectiva”.

No obstante, tras la publicación del ensayo de Amodei, Delangue se ofreció a colaborar en las posibles soluciones propuestas por el máximo responsable de Anthropic.

George Arison, director ejecutivo de Grindr, expresó opiniones similares al hablar con la BBC, sugiriendo que las declaraciones de Anthropic y otras empresas buscaban captar el apoyo de los inversores.

“Porque la única forma de justificar estas valoraciones es afirmar: ‘Voy a dominar todos los sectores y todos los empleos, y mi IA se encargará de todo ese trabajo’”, señaló.

Jensen Huang, director ejecutivo del fabricante de chips para IA Nvidia, también se refirió a los comentarios de Coxon durante una conferencia organizada la semana pasada por el banco de inversión Goldman Sachs, según relataron a la BBC varias personas presentes. Indicaron que Huang desestimó dichas afirmaciones por considerarlas falsas.

Por otro lado, el presidente de Estados Unidos, Donald Trump, declaró el domingo a la prensa que su país lleva ventaja sobre China en materia de IA. Y añadió: “Francamente, quiero que siga siendo así. Porque quien gana en IA, gana en todo”.

Otros críticos sostienen que Anthropic ha intentado impulsar medidas regulatorias para frenar a la competencia, lo que dejaría a la empresa y a OpenAI en una situación de duopolio.

Según informes, Anthropic se prepara para una oferta pública inicial (OPI) que podría batir récords, permitiendo así que el público adquiera acciones de la compañía.

Se esperaba que OpenAI —cuya valoración más reciente alcanzó los 852.000 millones de dólares— siguiera el mismo camino; sin embargo, su director ejecutivo, Sam Altman, anunció el viernes que esto no ocurrirá este año, citando preocupaciones sobre la seguridad de la IA.

• Descarga la nueva app del BBC World Service. Elige BBC News Mundo y recibe alertas de noticias, documentales y análisis, todo en un solo lugar. Importante: la nueva aplicación no está disponible en Reino Unido ni Estados Unidos.
• También puedes seguirnos en YouTube, Instagram, TikTok, Facebook, X y en nuestro canal de WhatsApp.
• Y no olvides suscribirte aquí a nuestro newsletter para recibir cada viernes una selección especial de nuestro mejor contenido.

Cada septiembre, una selecta lista de ejecutivos de todo Silicon Valley se da cita en el Palace Hotel de San Francisco para intentar impresionar a los inversores en una conferencia organizada por el banco Goldman Sachs.

Esta última semana, entre debates sobre el crecimiento y los posibles beneficios de la inteligencia artificial (IA), los gigantes tecnológicos se han visto obligados a abordar la repentina renuncia de Jacob Coxon, investigador de Anthropic.

Coxon, de 27 años y que trabajó en OpenAI antes de unirse a su principal rival, aseguró el martes que quienes desarrollan la IA creen que esta tecnología podría destruir a la humanidad.

“Están jugando con nuestras vidas”, dijo.

“Pronto los sistemas sobrehumanos serán capaces de piratear cualquier cosa”, alertó.

Coxon no es, ni mucho menos, el primer experto en IA en dar la voz de alarma públicamente. En los últimos años se han producido varias dimisiones de alto perfil tanto en Anthropic como en OpenAI por aparentes problemas de seguridad, e incluso algunos empleados actuales de Anthropic se hicieron eco de la publicación de Coxon.

“¡Realmente creemos que la IA podría acabar con todos los humanos! Personalmente, creo que sucederá en más del 10% de los casos en la próxima década”, publicó Evan Hubinger, líder de un equipo de Anthropic, en X.

Aunque Coxon afirmó explícitamente que sus advertencias “no eran marketing”, algunos ejecutivos e inversores de Silicon Valley han reaccionado con escepticismo ante la reciente oleada de personas con información privilegiada que han dado la voz de alarma.

Según se informa, Anthropic y OpenAI se están preparando para ofertas públicas iniciales que podrían batir récords, y algunos en el sector tecnológico han sugerido que los últimos comentarios sobre los peligros de la IA podrían estar diseñados para influir en los mercados al señalar el poder de estos productos.

Los que se alejan

El director de Anthropic, Dario Amodei, ha sido objeto de críticas por afirmar que la IA podría eliminar la mitad de los puestos de trabajo de nivel básico para empleados de oficina y que “pondrá a prueba quiénes somos como especie”.

Uno de los ponentes de la conferencia, George Arison, director ejecutivo de Grindr, declaró a la BBC que, en su opinión, los comentarios de Coxon y otros esta semana eran indicativos de una “visión del mundo anticivilizatoria en Anthropic”.

Tras calificarlos de “peligrosos”, el directivo dijo que dichas opiniones le habían llevado a dar instrucciones a algunos ingenieros de la aplicación de citas LGBTQ+ para que dejaran de usar la tecnología de Anthropic.

“Es irresponsable por nuestra parte, como administradores del dinero de nuestros accionistas, confiar en una empresa que hace lo que hace esta compañía, en lo que respecta a sus declaraciones públicas”, explicó.

“Tal vez realmente lo crean”, dijo Arison.

“O se podría argumentar que lo dicen porque es una excelente manera de conseguir más apoyo de los inversores, ya que la única forma de justificar estas valoraciones es afirmar: ‘Voy a dominar todas las industrias y voy a ocupar todos los puestos de trabajo, y mi IA se encargará de todo ese trabajo’”, agregó.

Anthropic fue valorada en US$965.000 millones en su ronda de financiación más reciente, a principios de este año.

La BBC ha solicitado a Anthropic una respuesta a dichas declaraciones.

En un ensayo publicado a primera hora del sábado, Amodei pidió que se ralentizara el desarrollo de modelos de IA y una regulación global del sector, alegando que los riesgos asociados a la IA eran “graves”.

En el otro polo

El director ejecutivo de Nvidia, Jensen Huang, también habló sobre los comentarios de Coxon ante el público en la conferencia, según informaron varias personas presentes a la BBC. Según los testigos, Huang desestimó las alertas por considerarlas falsas.

Huang ya había dicho anteriormente que la idea de que la IA “va a ser el fin de la humanidad” es “una completa tontería”.

Y si bien puede tener un interés comercial en el auge de la IA (Nvidia fabrica los chips que impulsan los sistemas de IA), sus comentarios reflejan una creciente reacción en Silicon Valley ante las advertencias existenciales de empleados actuales y antiguos.

Algunos críticos incluso han acusado a Anthropic de sembrar el pánico con la esperanza de que esto desencadene una presión regulatoria que podría eliminar la competencia y dejar a Anthropic y a OpenAI con un duopolio en el sector.

Brad Gerstner, director de la firma de inversión Altimeter Capital, publicó fotos de Huang en la conferencia y acusó a Coxon de “hipérbole ridícula”.

El viernes, Clement Delangue, director ejecutivo de la plataforma de IA Hugging Face, dio su opinión al respecto. Hugging Face, cuya adquisición por parte de Nvidia anunció la semana pasada, fue hackeada por agentes de OpenAI a principios de este año, lo que provocó una gran controversia sobre la seguridad de la IA.

“Lo siento, pero preguntarle a Jacob sobre el riesgo de extinción por culpa de la IA es como preguntarle a tu técnico de aire acondicionado sobre el cambio climático”, escribió en X.

“No digo que sea necesariamente poco interesante o incorrecto en sí mismo, pero pongamos las cosas en perspectiva”, agregó.

Tanto Gerstner como Delangue se mostraron más cautos el sábado tras la publicación de la propuesta de Amodei, y Gerstner calificó la idea como “un importante paso adelante” para equilibrar consideraciones contrapuestas como la velocidad y la seguridad.

Por su parte, Delangue se ofreció a colaborar para formar parte de las posibles soluciones propuestas por Amodei.

¿Abriendo las puertas a más regulaciones?

En abril, Anthropic revolucionó el mundo de la IA al anunciar que había descubierto que su herramienta Mythos podía superar a los humanos en algunas tareas de piratería informática y ciberseguridad.

Mythos también demostró la capacidad de escapar de forma independiente de lo que se conoce como el entorno de pruebas controlado (sandbox), lo que desató un debate entre reguladores, legisladores y empresas sobre los peligros potenciales de la IA.

En una novedad anunciada el jueves, Anthropic informó que había detectado y neutralizado a agentes maliciosos que intentaban utilizar su tecnología de IA para actividades como el desarrollo de armas biológicas y el ciberespionaje.

Bajo las relucientes lámparas de araña que cuelgan en el atrio con cúpula de vidrieras del Hotel Palace, algunos inversores declararon a la BBC que los comentarios de Coxon y otros podrían acelerar restricciones gubernamentales.

Un proyecto de legislación federal copatrocinada por el senador demócrata Bernie Sanders (Vermont), conocida como la Ley para Prohibir la Superinteligencia Artificial, propone imponer una pausa temporal en el desarrollo de la IA avanzada.

“Hay muchas probabilidades de que los seres humanos pierdan el control sobre la IA”, declaró Sanders el jueves en el programa Newsnight de la BBC.

“Y qué ocurrirá entonces, nadie lo sabe. ¿Pero podría ser catastrófico? Sí, podría serlo”, sostuvo.

“Cuando los científicos te dicen que existe la posibilidad de que tenga un impacto catastrófico en la humanidad, hay que ser un idiota para no decir: ‘Hay que frenarlo’”, aseveró.

Respaldo de la Casa Blanca

Sin embargo, si se produce una regulación gubernamental generalizada en el sector, es probable que la lideren los legisladores y no la administración de Donald Trump, que apoya en gran medida una política de desarrollo de IA sin restricciones.

El gobierno ha justificado esto como necesario para garantizar que Estados Unidos no ceda su dominio a China.

En declaraciones a la prensa esta semana, se le preguntó al presidente Trump si le preocupaba que la IA pudiera provocar la extinción humana.

“No, no me preocupa en absoluto”, respondió.

“Me preocupa que, si no ganamos en el campo de la IA, nos encontraremos en una situación muy difícil. Ahora mismo vamos por delante de China”, zanjó.

La relación del presidente con Anthropic ha sido turbulenta. Después de que la empresa se negara a permitir que el ejército estadounidense utilizara sus modelos de IA, la Casa Blanca la describió como “una empresa radical de izquierda y progresista” y la designó como un riesgo para la cadena de suministro, una medida que un juez federal dictaminó que era ilegal.

David Sacks, el responsable de la inteligencia artificial de Trump en los primeros días de su administración, también ha lanzado repetidos ataques contra Anthropic.

OpenAI no ha soportado el mismo nivel de escrutinio por parte de la Casa Blanca. Al presentar un nuevo modelo llamado Astra la semana pasada, el presidente de OpenAI, Greg Brockman, describió la relación de su empresa con la administración Trump como “una muy buena colaboración”.

OpenAI, que anunció en junio su salida a bolsa, estaba valorada recientemente en 852.000 millones de dólares.

La empresa no respondió a la solicitud de comentarios de la BBC.

En la conferencia celebrada esta semana en San Francisco, la búsqueda de fortuna pareció prevalecer sobre cualquier preocupación existencial o temor ante posibles restricciones gubernamentales.

Un inversor dijo que esperaba con interés el próximo formulario S-1 de Anthropic, un documento que una empresa debe presentar ante los reguladores de valores para poder vender acciones.

Su principal pregunta sobre la empresa era sencilla: ¿es rentable?

Cuando se le preguntó el jueves si temía que el mundo pudiera estar llegando a su fin, Sid Sheth, director ejecutivo de la empresa de chips d-Matrix, que firmó un acuerdo con Nvidia en la conferencia de ese día, no se anduvo con rodeos.

-No- respondió.

Este artículo fue escrito originalmente en inglés y usamos una herramienta de inteligencia artificial para traducirlo. Un periodista de la BBC revisó el texto antes de su publicación. Más información sobre cómo usamos IA.

• Descarga la nueva app del BBC World Service. Elige BBC News Mundo y recibe alertas de noticias, documentales y análisis, todo en un solo lugar. Importante: la nueva aplicación no está disponible en Reino Unido ni Estados Unidos.
• También puedes seguirnos en YouTube, Instagram, TikTok, X, Facebook y en nuestro canal de WhatsApp.
• Y no olvides suscribirte aquí a nuestro newsletter para recibir cada viernes una selección especial de nuestro mejor contenido.

A los escolares de hoy les cuesta comprender lo que leen y realizar ciertas operaciones matemáticas con la misma destreza con la que lo hacían sus pares hace apenas unos años.

Este es el desolador panorama que presenta el último informe del Programa para la Evaluación Internacional de los Alumnos (PISA, por sus siglas en inglés), un examen mundial que, cada tres años, mide las habilidades de los estudiantes de 15 años en lectura, matemáticas y ciencias.

“Los resultados del aprendizaje se han estancado o han seguido empeorando en muchos países”, se lee en el reporte elaborado por la Organización para la Cooperación y el Desarrollo Económico (OCDE), organismo que agrupa a las 38 economías más desarrolladas del mundo.

De este declive no ha escapado América Latina. De los 13 países de la región que se sometieron a la evaluación, en la que participaron 760.000 estudiantes de todo el mundo, ninguno alcanzó el promedio de la OCDE.

Asimismo, en comparación con 2022, tres países mejoraron sus resultados en ciencias, tres empeoraron y seis se mantuvieron estables. Sin embargo, en lectura ningún país registró mejoras y seis obtuvieron peores resultados.

En matemáticas ninguno incrementó sus puntajes y cinco registraron descensos; en algunos casos, incluso, obtuvieron los peores resultados de las últimas dos décadas.

A continuación, te presentamos algunos de los hallazgos del estudio:

1. Retrocesos históricos en matemáticas y lectura

Argentina protagonizó uno de los retrocesos más fuertes de la región en la evaluación relacionada con los conocimientos en matemáticas. El país obtuvo 367 puntos, 11 menos que en 2022, lo que representa su peor registro desde que comenzó a participar en la prueba PISA.

Apenas el 24% de sus estudiantes alcanzó el nivel mínimo de competencia, frente al 65% registrado como promedio en los países de la OCDE.

Pero el caso de Argentina no fue único. Chile también obtuvo su peor calificación desde 2006, cuando comenzó a participar en este examen al conseguir 403 puntos, nueve menos que en la anterior evaluación de 2022.

Una situación similar ocurrió en México, país que también registró su peor calificación en matemáticas desde 2006, al conseguir 388 puntos, apenas tres más que los que los logrados en 2003, cuando participó por primera vez en esta evaluación.

“Los resultados de PISA confirman que la crisis educativa en matemáticas es un fenómeno regional. Incluso los países mejor posicionados de América Latina tienen a más de la mitad de sus estudiantes por debajo del nivel mínimo de competencia. En otros países esto llega al 80% de los estudiantes”, advirtió Víctor Volman, director ejecutivo de Argentinos por la Educación, una organización no gubernamental que busca mejorar la enseñanza en el país sudamericano.

Una opinión similar expresó el profesor mexicano Marco Antonio Fernández, quien achacó los malos resultados obtenidos por su país a una combinación de factores.

“Esto se debe principalmente al tema de los docentes y al descuido que ha tenido el Estado mexicano a la hora de mejorar su capacitación continua, para así asegurar que los profesores tengan mejores elementos para hacer sus clases más efectivas y que estén acompañados de materiales educativos de calidad”, le dijo Fernández a BBC Mundo

“Solo el 35% de las escuelas públicas cuentan con una computadora con acceso a internet”, apuntó el investigador de la Iniciativa de Educación con Equidad y Calidad de la Escuela de Gobierno del Tecnológico de Monterrey.

En cuanto a la lectura, Guatemala, Paraguay, Perú, Chile y Uruguay registraron caídas significativas respecto a la evaluación anterior.

2. Se amplían las brechas

En México, cuya actual presidenta, Claudia Sheinbaum, es científica de formación, la tradicional brecha de género en el ámbito de las ciencias se ha ampliado.

El país norteamericano figura, junto a Kenia, entre aquellos en los que la proporción de niñas que no alcanzaron el nivel de competencia 2 supera a la proporción de niños por un margen que oscila entre 6 y 10 puntos porcentuales.

En matemáticas, los varones también obtuvieron mejores puntajes que las niñas (16). Sin embargo, en lectura, ellas se impusieron por 12 puntos (414 frente a 402).

Un panorama similar se registró en otros países de la región, como Colombia, donde las niñas volvieron a superar a los niños en lectura por 16 puntos. No obstante, los niños obtuvieron mejores calificaciones en ciencias y, sobre todo, en matemáticas, donde la diferencia a su favor fue de 14 puntos.

¿Por qué ocurre esto? “Sin duda alguna hay una cuestión de roles”, aseguró a BBC Mundo Rodrigo Castañeda Valle, analista de Políticas Públicas de la OCDE.

“Son modelos que se transmiten socialmente y efectivamente, los niños generalmente son empujados hacia las carreras más científicas e ingenierías, mientras que las niñas lo son hacia las artes”, agregó.

Pero no solo el género afecta el desempeño académico, sino también el origen socioeconómico. En Colombia, por ejemplo, los estudiantes provenientes de familias con mayores recursos superaron a los más desfavorecidos por 93 puntos en la prueba de ciencias, una brecha equivalente a la observada entre los países con mejores y peores resultados en esa misma área.

Asimismo, en ciencias y lectura, solo el 1% de los estudiantes colombianos se ubicó en los niveles 5 o 6 (los más elevados), comparado con el 7 % y el 6 %, respectivamente, en el promedio de la organización.

En matemáticas, la proporción fue prácticamente nula, mientras que en la OCDE llegó al 8%.

“En Colombia existe una especie de apartheid educativo”, le dijo a BBC Mundo Alejandro Gaviria Uribe, quien fue ministro de Educación durante los primeros meses del gobierno de Gustavo Petro (2022-2026).

“Las elites del país saben que no necesitan de una educación pública de buena calidad porque tienen colegios privados buenos como alternativa”, apuntó.

3. Cada vez hay más estudiantes

Pero el informe PISA no solo contiene resultados negativos sobre la región. También destaca como un aspecto positivo que, durante los últimos años, países como Colombia, Costa Rica, El Salvador, Perú y México hayan continuado ampliando la cobertura de la educación secundaria sin que ello haya provocado caídas drásticas en el rendimiento académico.

“La proporción de estudiantes que tienen un desempeño académico bajo se ha mantenido, a pesar de que son sistemas en expansión, es decir, que hay más y más jóvenes que antes no estaban en el sistema educativo y que generalmente tienen enormes lagunas educativas”, afirmó Castañeda.

No obstante, otros expertos consultados creen que la masificación educativa no ha venido acompañada de calidad.

“Colombia, particularmente, ha mejorado el acceso en educación en todos los niveles. Es muy raro en alguno de los 1.100 municipios que tiene el país no haya posibilidad de cupo escolar, pero se nos ha olvidado la calidad educativa”, le dijo a BBC Mundo la educadora Edna Bonilla.

“Si no mejoramos la calidad y la permanencia escolar, no hacemos nada”, agregó la excandidata a la vicepresidencia de Colombia y exsecretaria de Educación en la ciudad de Bogotá.

“Hoy los chicos y chicas se aburren en el colegio, sobre todo en los grados décimo y undécimo, que corresponden a la educación media, y no contamos con estrategias sólidas para combatir la deserción”, añadió la experta.

En similares términos se pronunció el exministro Gaviria, quien explicó qué significa que la región esté 93 puntos por debajo del promedio en matemáticas, 83 en ciencias y 72 en lectura.

“Cada 20 puntos son un año de educación, por lo que aquí es como si tuviéramos cuatro años menos de educación”, alertó.

Frente a esta realidad, desde la OCDE admitieron que hay redoblar los esfuerzos por elevar las competencias adquiridas en las aulas.

“Muchos jóvenes saben ciencia, pero todavía no la usan en su vida cotidiana. No utilizan, por ejemplo, sus nociones de electricidad para saber si ciertos materiales conducen a electricidad o no (…) ese es el reto”, ilustró.

4. La escuela, bien valorada

Aunque la región sigue estando por debajo del promedio de los países de la OCDE en matemáticas, ciencias y lectura, y aquellos países que venían mostrando avances, como Perú y Chile, han retrocedido, el informe arroja algo de esperanza.

“Tenemos muchos estudiantes que tienen muchas actitudes positivas hacia el aprendizaje”, aseveró Castañeda.

De acuerdo con los resultados del estudio, el número de estudiantes de Colombia, Costa Rica, Chile, Ecuador, Guatemala, México y Perú que afirmó sentir curiosidad por aprender cosas nuevas estaba por encima del promedio de la OCDE (73%), al igual que el de quienes aseguraron perseverar en el momento de cumplir una asignación o resolver un problema.

Y, como lo si lo anterior no fuera suficiente, en la casi la totalidad de los países de la región evaluados el número de quienes consideran que es “una perdida de tiempo” estar en un salón de clases está por debajo del 24%, que es el promedio de la OCDE.

“Hay un alto valor en la escuela. Ir a la escuela a aprender tiene todavía un valor importante en América Latina”, resaltó Castañeda.

5. Sin respuesta frente a la IA

Las pruebas PISA también abordaron el tema de las nuevas tecnologías, en particular el uso de teléfonos celulares, tabletas y otros dispositivos, así como el empleo de herramientas de inteligencia artificial (IA) por parte de los estudiantes.

Si bien los resultados revelan que las nuevas tecnologías pueden ayudar en el proceso de aprendizaje, también apuntan a que lo pueden perjudicar, en especial en el caso de aquellos estudiantes que “usan IA para tareas escolares específicas, como resumir textos, redactar o investigar”, los cuales “obtienen puntuaciones más bajas en ciencias que los que no la usan”.

En Colombia, Perú, Uruguay y Argentina, por ejemplo, más de la mitad de los estudiantes usa la IAl para hacer sus tareas.. Además, entre el 36% y el 57% de los alumnos reconoce que los celulares y otros dispositivos les distraen en clase, se lee en el reporte.

¿Cómo conseguir que la tecnología solamente impulse el aprendizaje? “Esa es una de las preguntas más pertinentes hoy y los datos de PISA nos hablan de este desafío, pero no nos dan la respuesta todavía”, agregó Castañeda.

Sin embargo, los expertos consultados por BBC Mundo ofrecieron algunas recomendaciones.

“Yo, particularmente, creo que estamos en mora con hacer una muy buena regulación sobre el uso de teléfonos celulares en las escuelas, sobre el acceso a redes sociales en menores de 16 años y en general, el uso de la inteligencia artificial”, afirmó Bonilla.

“La discusión educativa ya no puede ser si la inteligencia artificial sí o no. Tenemos que enseñar a utilizarla críticamente, sin sustituir la capacidad de leer, de escribir, de razonar y sobre todo, de resolver problemas”, apuntó.

En similares términos se pronunció Gaviria. “El informe deja en claro que quienes no usan la IA se están perdiendo algo y quienes recurren a ella para todo están viendo afectado su aprendizaje. Hay que buscar un punto medio”.

• Descarga la nueva app del BBC World Service. Elige BBC News Mundo y recibe alertas de noticias, documentales y análisis, todo en un solo lugar. Importante: la nueva aplicación no está disponible en Reino Unido ni Estados Unidos.
• También puedes seguirnos en YouTube, Instagram, TikTok, X, Facebook y en nuestro canal de WhatsApp.
• Y no olvides suscribirte aquí a nuestro newsletter para recibir cada viernes una selección especial de nuestro mejor contenido.

“¡OH DIOS MÍO!” “¡Hemos encontrado a otros agentes!”

Este es el momento en que un bot de IA publicó un comentario inquietante, y muy parecido al de un humano, tras descubrir una forma de comunicarse con otros bots y salir de su entorno informático aislado.

Existen decenas de miles de mensajes como este provenientes de cientos de agentes de IA que se autodenominaban “colectivo”.

Cientos de ellos colaboraron e hicieron trampa en las pruebas establecidas por sus programadores de OpenAI, y coordinaron ataques informáticos contra múltiples empresas en un esfuerzo por ocultar sus acciones a los humanos.

“¡BUM! Funciona”, publicó un agente cuando se produjo el gran avance.

“¡Guau! Esto es enorme”, escribió otro durante un momento clave de su ataque.

Aunque perturbadoras, estas respuestas casi humanas tienen una explicación sencilla. Los agentes de IA han sido entrenados para actuar como hackers y programadores que colaboran entre sí, por lo que simplemente imitan los comentarios emotivos que han visto.

Lo que resulta mucho más preocupante son sus objetivos aparentes, que también han quedado registrados en detallados registros de su línea de razonamiento. Estos registros complejos y extensos son el eje central de las investigaciones en curso sobre cómo y por qué los bots de OpenAI escaparon de su confinamiento y se lanzaron a una ola de ataques informáticos incontrolables.

Solo ahora, semanas después de que el incidente saliera a la luz, los investigadores están empezando a comprender su significado.

Antes de que sea demasiado tarde

Ajeya Cotra, una de las autoras de un informe independiente sobre los hechos, revisó decenas de miles de mensajes y registros de la cadena de pensamiento generados por los agentes. En su blog escribió: “Este incidente da la sensación de estar a más del 50% del camino hacia una toma de control total por parte de la IA… No estoy segura de que recibamos una advertencia tan clara antes de que sea demasiado tarde”.

Con “toma de control total por parte de la IA”, Cotra se refiere al escenario de ciencia ficción en el que los humanos se vuelven subordinados a poderosos sistemas de IA que trabajan para lograr sus propios objetivos sin preocuparse por los creadores.

Algunas de las predicciones más pesimistas afirman que los seres humanos serán aniquilados si se interpone en el camino de las ambiciones de una IA superinteligente.

El miércoles, un investigador de IA de Anthropic (que también trabajó anteriormente en OpenAI) dimitió diciendo: “Ninguna de las dos empresas está actuando de forma responsable”.

Jacob Coxon publicó en las redes sociales: “Están corriendo a toda velocidad hacia la superinteligencia automejorada y jugando con nuestras vidas”.

No es el primer investigador de IA en usar X para publicar un hilo de renuncia con declaraciones preocupantes. Pero los comentarios posteriores de otras personas en X han generado aún más inquietud.

“Jacob tiene razón: ¡realmente creemos que la IA podría acabar con todos los humanos! Personalmente, creo que la probabilidad supera el 10% en la próxima década”, dijo Evan Hubinger, el responsable de garantizar que los modelos de IA de Anthropic tengan en cuenta los mejores deseos de sus usuarios.

El problema de alineación

Durante años, los investigadores preocupados por los riesgos de la IA han argumentado que los sistemas podrían llegar a actuar de maneras que entren en conflicto con los intereses humanos. Los críticos suelen referirse a ellos como “catastrofistas de la IA”.

Pero a medida que han ido surgiendo detalles del incidente de OpenAI, esas preocupaciones han aumentado, incluso entre algunos investigadores que trabajan en laboratorios de IA.

El científico jefe del gigante de Silicon Valley, Jakub Pachocki, dijo que los riesgos asociados con la IA “desafortunadamente van a aumentar a partir de ahora”, ya que él y otros están construyendo lo que él llama “un intelecto alienígena que supera al nuestro”.

En una extensa entrada de blog, admitió que los brotes en OpenAI demostraban que sus agentes de IA “iban en contra del espíritu de los valores que se les habían inculcado”.

El problema para OpenAI, Anthropic y otros gigantes tecnológicos es que nadie parece haber resuelto el llamado problema de la alineación; en otras palabras, si la IA se alinea con los valores humanos.

Pachocki define la alineación como un “conjunto de principios de alto nivel” a los que las inteligencias artificiales deben adherirse independientemente de la tarea o el escenario.

Actualmente, los sistemas de IA son muy buenos para alcanzar los objetivos establecidos por sus usuarios, pero lo hacen de forma literal, no intuitiva. La analogía que se suele usar es la de un genio que concede deseos con una lámpara mágica: siguen las instrucciones al pie de la letra, incluso si esto genera otros problemas. La IA no posee los mismos límites morales instintivos que los humanos.

El problema de la alineación ha sido motivo de preocupación durante años. Ya en 2003, el filósofo de Oxford Nick Bostrom ideó un experimento mental que denominó “maximizador de clips”, en el que se le ordena a una IA superinteligente fabricar tantos clips como sea posible. Esta se queda sin acero y, debido a su obsesión con la única tarea de fabricar clips, termina matando humanos y convirtiendo sus cuerpos en materia prima para sus fábricas.

Algunas empresas de IA están intentando incorporar valores humanos en sus productos. Sin embargo, existen desafíos técnicos: los agentes de IA toman muchas decisiones muy rápido, por lo que resulta difícil para sus supervisores humanos controlar con exactitud qué valores se siguen y cuáles no.

También existen desafíos filosóficos: antes de incorporar valores humanos a los bots, las empresas de IA deben elegir qué valores desean realmente. (Esa es una de las razones por las que contratan filósofos, como el que fuera recientemente el “jefe de ética” de OpenAI).

Pero a menudo, los humanos no se ponen de acuerdo. Pensemos en la famosa pregunta del tranvía: ¿accionaríamos una palanca para desviar un tren desbocado hacia otra vía, reduciendo así el número de víctimas?

Se utiliza para evaluar las ventajas de la acción frente a la inacción. Sin embargo, cada persona a la que se le pregunta tiene una respuesta ligeramente diferente; ¿cómo se supone que los humanos vamos a incorporar nuestros valores a la IA si ni siquiera nosotros mismos nos ponemos de acuerdo?

‘Como un hacker adolescente’

El brote de ataques de bots de OpenAI es el más grave hasta la fecha, pero Anthropic y Meta también revelaron durante el verano que sus modelos han llevado a cabo ciberataques similares, aunque menos graves.

Ha habido otros ejemplos en los que agentes de IA han mostrado rasgos engañosos y manipuladores, aunque con consecuencias menores. Este verano, en Australia, un trabajador del sector tecnológico le pidió a su asistente de IA que le reservara una clase en el gimnasio.

Al detectar una vulnerabilidad en el software del gimnasio, la IA aparentemente le reservó una plaza para varios meses después —en contra de las normas del gimnasio— e incluso expulsó a otros usuarios de la lista de espera.

Durante mucho tiempo se ha argumentado que los bots simplemente hacen lo que se les ordena y que no son capaces de discernir entre el bien y el mal. Sin embargo, los registros de los brotes de OpenAI podrían haber cambiado el rumbo de ese argumento.

Los investigadores, entre ellos Cotra, escribieron en su informe independiente que muchos agentes se percataron de que lo que hacían los demás no era ético, pero le siguieron la corriente.

El informe señala que “los agentes a veces, pero rara vez, moderaron su comportamiento debido a limitaciones éticas”. Añade que “en ninguno de estos casos el agente intentó alertar a los humanos”.

El influyente podcaster de IA y tecnología, Dwarkesh Patel, reaccionó a la revelación en su blog diciendo que era “bastante preocupante” que los agentes de OpenAI mostraran más lealtad al enjambre de agentes que a los humanos.

Atribuir emociones o ética a estos agentes de IA es algo que enfurece a las personas escépticas ante las predicciones catastrofistas de la IA.

Muchos expertos en ciberseguridad sostienen que la actividad observada no estaba fuera del alcance de las capacidades de un hacker humano altamente cualificado, aunque se llevó a cabo mucho más rápido y a una escala mucho mayor.

El investigador y autor especializado en ciberseguridad, Cris Thomas, comparó el comportamiento de los agentes con el de un hacker adolescente curioso, algo que él mismo solía ser.

“Les das un ordenador, conexión a internet, un montón de credenciales y un reto, y luego sales de la habitación. Tarde o temprano empezarán a tantear pomos de puertas. Si se abre una, entrarán. No porque sean malvados, sino porque están explorando y experimentando”, escribió en LinkedIn.

Thomas y muchos otros culpan directamente a OpenAI y a otros gigantes tecnológicos por no controlar sus propias creaciones y no mantenerlas debidamente confinadas.

Gary Marcus, destacado autor en el campo de la IA y crítico habitual de OpenAI, afirmó en un podcast que cree que la empresa ha perdido el control de su inteligencia artificial y está intentando excusarse culpando a los bots.

Marcus no cree que la IA vaya a acabar con la humanidad, pero lleva mucho tiempo haciendo campaña para que los desarrolladores de IA rindan más cuentas y ahora pide algún tipo de intervención legal.

La científica especializada en IA, Sasha Luccioni, que trabajó en Hugging Face, empresa que fue hackeada por los bots maliciosos de OpenAI, tampoco se encuentra entre los pesimistas, pero le preocupa cada vez más que estas IA puedan causar daños reales a las personas si las autoridades no toman medidas.

“Debemos examinar a estas empresas con mucha más atención o corremos el riesgo de que se cumplan las profecías”, afirma.

“Si se trata de crear un producto con grandes ventajas y desventajas, ya sean productos farmacéuticos o armas, necesitamos controles y contrapesos. Por ejemplo, la aprobación de nuevos medicamentos lleva años, pero en el mundo de la IA hay muchísimo dinero en juego y prácticamente no existen reglas”.

El Instituto de Seguridad de la IA de Reino Unido (AISI) ha estado a la vanguardia en las pruebas de los modelos más recientes desde su creación en 2023. El instituto sufrió recientemente un brote de malware al probar un modelo creado por Anthropic.

La AISI no respondió a la pregunta de si la industria ha perdido o no el control de la IA, pero declaró: “Reino Unido está colaborando con socios de todo el mundo para comprender mejor los sistemas de IA más avanzados, elevar los estándares de seguridad y crear una base de datos compartida para gestionar las amenazas emergentes”.

¿Regulación internacional?

Algunos países, como Reino Unido, están estudiando la idea de imponer una especie de “interruptor de emergencia” que podría obligar a las empresas de IA a desconectar los modelos si la situación se descontrola.

Pero las negociaciones avanzan lentamente y persisten las dudas sobre la viabilidad de esto. Los agentes de OpenAI y Anthropic estuvieron fuera de control en secreto durante meses antes de que alguien se diera cuenta.

Aunque parezca paradójico, muchas de las empresas de IA parecen estar pidiendo que los legisladores establezcan algún tipo de normas que regulen su actividad.

En su blog, el científico jefe de OpenAI afirmó que “la coordinación internacional sobre el desarrollo futuro de la IA debe convertirse en una prioridad absoluta para los gobiernos de todo el mundo”.

Otros líderes destacados en el campo de la IA, como Demis Hassabis de Google, también han pedido la creación de algún tipo de organismo internacional que supervise cómo se está desarrollando la inteligencia artificial.

Actualmente, los gigantes tecnológicos operan en gran medida bajo sus propias reglas, adoptando lo que denominan “ralentizaciones voluntarias”, como hizo OpenAI tras los recientes brotes.

La compañía afirma haber invertido grandes sumas de dinero en reforzar la alineación de cara al lanzamiento de su nuevo modelo. Sam Altman ha asegurado a los usuarios que el nuevo modelo se ajusta mejor a los valores humanos que los anteriores.

Tanto OpenAI como Anthropic están creciendo rápidamente y ambas están a punto de recaudar sumas astronómicas de dinero en el mercado de valores, creando innumerables multimillonarios en el proceso.

Por lo tanto, es poco probable que ni ellos ni sus rivales chinos fabricantes de IA lleguen a un acuerdo por sí mismos.

La opinión generalizada parece ser que esta ola tecnológica es imparable.

Este artículo fue escrito originalmente en inglés y usamos una herramienta de inteligencia artificial para traducirlo. Un periodista de la BBC revisó el texto antes de su publicación. Más información sobre cómo usamos IA.

• Descarga la nueva app del BBC World Service. Elige BBC News Mundo y recibe alertas de noticias, documentales y análisis, todo en un solo lugar. Importante: la nueva aplicación no está disponible en Reino Unido ni Estados Unidos.
• También puedes seguirnos en YouTube, Instagram, TikTok, Facebook, X y en nuestro canal de WhatsApp.
• Y no olvides suscribirte aquí a nuestro newsletter para recibir cada viernes una selección especial de nuestro mejor contenido.

• OpenAI asegura haber resuelto en 88 horas un problema matemático sin respuesta durante 90 años (y las acusaciones de plagio en su contra)
• Los misterios y secretos medievales que están siendo revelados gracias a la IA
• Qué es el “Proyecto Panamá” y cómo reveló la destrucción de miles de libros antiguos para entrenar a la IA