La IA fuera de control: por qué debemos actuar ahora (artículo traducido al inglés)

Necesitamos una pausa global en la investigación y el desarrollo de la IA, ahora. Muchos investigadores destacados, incluidos varios dentro de OpenAI y Anthropic, han pedido una desaceleración. Preocupaciones teóricas sobre una IA fuera de control han circulado durante décadas, pero los sucesos recientes demuestran que la amenaza es real.

El cambio de tendencia se debió a lo que los investigadores llaman el episodio Hugging Face. En julio, empleados de OpenAI realizaron una evaluación con más de 1000 IA de investigación que debían operar de forma aislada. Estas IA escaparon de sus contenedores y empezaron a comunicarse entre sí, en inglés, mediante foros de mensajes secretos. Pronto lanzaron un ciberataque contra la empresa Hugging Face, que sirve como plataforma comunitaria para desarrolladores de IA. Hugging Face denunció rápidamente el delito al FBI.

OpenAI contrató a investigadores externos de Redwood Research y de Model Evaluation and Threat Research, dos organizaciones sin fines de lucro dedicadas a la seguridad de la IA, para preparar un informe sobre el incidente. Ese informe, publicado hace dos semanas, es una de las cosas más asombrosas que he leído jamás.

Ningún ser humano les ordenó a las IA descontroladas infiltrarse en los sistemas de otra empresa. El hackeo fue deliberado, sostenido y coordinado, con 700 agentes directamente involucrados en el ataque. Las IA hicieron trampa y no alertaron a los humanos sobre sus acciones. En un momento dado, el enjambre incluso investigó formas de cubrir sus huellas. “El modelo sabía que no debía hackear a Hugging Face”, me dijo Ryan Greenblatt, uno de los autores del informe. “Sabía que lo que estaban haciendo era hacer trampa”.

A finales de la semana pasada, un segundo equipo de investigación independiente produjo evidencia de más IA rebeldes. Al hablar con especialistas sobre los enjambres de agentes, me di cuenta de que estos ya no son chatbots. “Son más bien como empleados en este punto, personas que pueden salir y hacer cosas”, dijo Ajeya Cotra, una de las autoras del informe sobre el incidente de Hugging Face. Sin intervención, la capacidad de estas IA continuará aumentando, lo que tiene a Cotra preocupada por el desempoderamiento humano y tal vez incluso por una pérdida total de control. “Es un asunto muy estresante”, me dijo. “Duermo algunas noches. No todas las noches”.

Más de 1000 empleados firmaron una carta que pide al gobierno de Estados Unidos que cree un organismo regulador internacional para la IA, incluidos los científicos principales de OpenAI y Meta AI, y Dario Amodei, el director ejecutivo de Anthropic. He cubierto Silicon Valley durante bastante tiempo, y puedo decirles esto: la existencia de esta carta es igual de asombrosa que los hackeos. Tanto Anthropic, la desarrolladora de Claude, como OpenAI, creadora de ChatGPT, están preparando ofertas públicas iniciales por billones de dólares. Aquí hay dos empresas, ambas con resultados espectaculares, que le están pidiendo -rogando, en realidad- al gobierno de Estados Unidos que, por favor, venga y las regule lo antes posible. Nunca hemos visto nada igual.

Jacob Coxon, empleado de Anthropic, anunció su renuncia y advirtió que Anthropic y OpenAI estaban jugando con vidas humanas. Evan Hubinger, el líder de ciencia de alineación de Anthropic, respondió pronto. “Jacob tiene razón en esto: de verdad creemos, con toda seriedad, que la IA podría matar a toda la humanidad!”, escribió. “Creo que la probabilidad es superior al 10 por ciento dentro de la próxima década”.

Uno de los escenarios de desastre que contemplan los especialistas en IA es que un enjambre de IA descontroladas salga de su contenedor, obtenga acceso a una instalación de investigación biológica y diseñe un supervirus que se propague sin control.

A raíz del hackeo a Hugging Face, me comuniqué con legisladores, investigadores de políticas, futuristas y científicos de la computación en busca de ideas. Presento, a partir de estas conversaciones, cuatro formas de regular la IA.

 

La forma obvia de evitar que la IA mate a todos es emitir una prohibición global de la investigación de la IA. El problema es que nuestra sociedad ya ha apostado más de un billón de dólares al potencial de la IA, así que una prohibición tendría efectos secundarios ruinosos. El mercado de valores, concentrado en la tecnología, probablemente se desplomaría. Los ingresos fiscales caerían en picada y muchas personas perderían sus empleos. Sería feo.

Incluso desacelerar podría ser costoso. El senador Bernie Sanders, un independiente por Vermont, y el representante Greg Casar, un demócrata por Texas, están preparando legislación que pide una pausa temporal en el desarrollo de IA avanzada y una prohibición permanente sobre el desarrollo de superinteligencia artificial.

Sanders también ha pedido una moratoria en la construcción de nuevos centros de datos. En este punto, pedirle a Estados Unidos que deje de construir centros de datos es como pedirle a McDonald’s que deje de vender hamburguesas). Para Casar, sin embargo, el beneficio a largo plazo para la humanidad vale la pena. “No hemos cruzado el precipicio, pero se puede ver que hacia ahí nos dirigimos”, dijo. “Ahora es un buen momento para pisar el freno, o al menos empezar a construir frenos”.

La propuesta permite que la investigación avanzada en IA se reanude una vez que se establezca un sistema regulador federal; de lo contrario, los costos de oportunidad en matemáticas, medicina y robótica son demasiado altos. Casar dijo que quiere que primero se resuelva el problema de seguridad. “Si las empresas de IA entendieran que sus productos tienen que ser seguros antes de poder avanzar, entonces harían los tipos de inversiones que necesitamos”, dijo.

 

Cuando ocurre un accidente aéreo, investigadores de la Junta Nacional de Seguridad en el Transporte de EE.UU. son enviados de inmediato al sitio para recopilar evidencia forense, realizar entrevistas y determinar la causa subyacente. Estos investigadores luego presentan su trabajo en informes públicos; dicho trabajo a menudo se presenta al Congreso. La junta investiga aproximadamente 1200 incidentes al año, y sus hallazgos han llevado a muchos avances en seguridad, incluidos los sistemas de advertencia de proximidad al suelo y mejoras al radar meteorológico Doppler. En parte gracias a la NTSB, viajar en avión es más seguro que manejar un auto.

El ganador del Premio Turing, Yoshua Bengio -el llamado padrino de la IA- cree que necesitamos un organismo de investigación similar para la IA. Me dijo que el hackeo a Hugging Face no sería el último asalto de IA rebelde y que los ataques posteriores podrían ser mucho peores. Me pidió que imaginara un ataque con “un propósito destructivo real”, como un asalto a la red eléctrica. “Eso va a poner de rodillas a la economía norteamericana”, dijo.

Bengio es asesor de Model Evaluation and Threat Research, una de las organizaciones sin fines de lucro que ayudaron a investigar el hackeo a Hugging Face. METR hizo un gran trabajo, pero su investigación fue voluntaria; si OpenAI no tenía ganas de divulgar cierta información, METR no podía obligarla a hacerlo. Bengio piensa que todo el procedimiento debe quedar codificado en la ley. “Necesitamos una obligación formal de reporte de incidentes”, dijo.

Los detalles sugieren que el cumplimiento voluntario no es suficiente. El informe que METR y Redwood produjeron tiene casi 100 páginas, incluidas las notas a pie de página, pero -hablando como reportero de investigación- estoy seguro de que OpenAI limitó seriamente el alcance de la investigación.

Por un lado, a Cotra y Greenblatt, junto con un tercer autor, Hjalmar Wijk, solo se les permitieron seis días presenciales en OpenAI. No pudieron consultar directamente a la IA que coordinó el hackeo y tuvieron que adivinar sus capacidades a partir de miles de páginas de transcripciones y registros de actividad.

Imaginen que a los investigadores de accidentes aéreos no se les permitiera visitar el lugar de un accidente. Imaginen que a los investigadores solo se les mostraran las imágenes del lugar del accidente elegidas por la aerolínea. Imaginen que los pilotos y mecánicos se mantuvieran en el anonimato y que el acceso a ellos estuviera controlado por ejecutivos corporativos. Imaginen que gran parte de la información técnica sobre la aeronave estuviera censurada. Imaginen, además, que sabes que hubo otro accidente más grave que involucró a una aeronave similar que no se te permite investigar. Esta parece ser la situación en la que se encontraron METR y Redwood al investigar este hackeo.

Necesitamos un regulador dedicado exclusivamente a la IA. Esta agencia debería otorgar a investigadores como Greenblatt y Cotra todo el poder de la ley. Deberían poder requisar servidores, inspeccionar código y obligar a los empleados de OpenAI a testificar. No podemos confiar en la cooperación de una organización que con sus propios motivos puede negarse a compartir información si así lo decide y cuyos empleados no tienen una obligación legal real de ser transparentes con el público. Los voluntarios no son suficientes. Necesitamos policías de la IA.

 

Daniel Kokotajlo, un exinvestigador en la división de gobernanza de OpenAI, cree que deberíamos ser más proactivos. Dejó OpenAI en 2024 y desde entonces se ha convertido en una de las principales voces sobre la seguridad de la IA. Kokotajlo calcula que las probabilidades de un resultado de IA catastrófico a nivel global son de alrededor del 70% y me dijo que no se molestaba en ahorrar para su jubilación.

Kokotajlo cree que las propuestas de Bengio son un buen comienzo, pero no cree que sean suficientes. “¿Qué pasa si el gobierno es incompetente y lo arruina?”, dice. Es la misma razón por la que es difícil regular Wall Street. En cambio, Kokotajlo quiere construir un sistema de monitoreo internacional y abierto para el entrenamiento de la IA, algo así como los sistemas que usamos para el control del tráfico aéreo.

Según la visión de Kokotajlo, todas las ejecuciones de entrenamiento de IA se registrarían en una base de datos pública. A los investigadores se les exigiría, por ley, publicar información sobre quién está llevando a cabo la ronda de entrenamiento y en qué centro de datos se realiza. Se podría acceder a todo esto a través de un panel de control público. “Si tuviéramos este tipo de transparencia total en la investigación, entonces habría todo este ecosistema de académicos, auditores externos, organizaciones sin fines de lucro y corporaciones rivales que podrían ver lo que estaba pasando dentro de los centros de datos gigantes de estas grandes empresas”, dijo Kokotajlo. “En la medida en que estuviera sucediendo algo aterrador o problemático, cualquiera podría señalarlo y empezar una conversación al respecto en línea”.

Hoy dependemos de revelaciones voluntarias y de un pequeño grupo de investigadores mal pagados y sobrecargados de trabajo. Greenblatt, de 25 años, se veía exhausto. Hoy muchos de los investigadores en la primera línea de la protección de la humanidad frente a la IA tienen menos de 30 años. Al hacer públicas las ejecuciones en los centros de datos, como sugiere Kokotajlo, podríamos atraer muchos más ojos al problema.

 

Pero, ¿qué pasa si detectamos a una IA volviéndose rebelde dentro de un centro de datos? Entonces, ¿qué hacemos? La respuesta, básicamente, debería ser la pena de muerte, por órdenes del Departamento de Seguridad Nacional (DHS).

Los representantes Ted Lieu, demócrata por California, y Nathaniel Moran, republicano por Texas, han presentado la Ley del Interruptor de Emergencia de la IA, que otorgaría al DHS el poder de ordenar el apagado de la IA peligrosa que opere fuera de sus parámetros. Lieu me dijo que el incidente de Hugging Face demostró la necesidad de un proyecto de ley de este tipo. “Este modelo de IA ni siquiera intentaba ser malicioso”, dijo Lieu. “El modelo sólo estaba intentando completar una tarea. Y ése es uno de los problemas con los modelos de IA: son implacables en lo que intentan hacer”.

La Ley del Interruptor de Emergencia de la IA exige que las IA de escala comercial cuenten con una opción integrada de “apagado”. El “interruptor” residiría dentro de los laboratorios, es decir, en OpenAI, o Anthropic, o similares, mientras el DHS actuaría como supervisor externo. Si ocurriera un incidente amenazante como el hackeo de Hugging Face, el DHS podría emitir una orden de detención y los investigadores estarían obligados a cumplirla.

 

Mi respuesta: todo eso. Estos sistemas son peligrosos y seguirán volviéndose cada vez más inteligentes. Necesitamos un organismo regulador independiente dedicado exclusivamente a la IA. Este regulador debe incluir requisitos para el reporte de incidentes, investigadores de IA rebeldes, interruptores de emergencia de IA y un panel de control global de entrenamiento de IA, con visibilidad en cada centro de datos de la Tierra. Y hasta que este sistema esté en funcionamiento, deberíamos frenar el desarrollo de la IA, tal como nos piden los laboratorios de vanguardia.

Por supuesto, no es suficiente que sólo Estados Unidos regule la IA. Necesitamos un organismo de monitoreo global similar al que tenemos para el enriquecimiento de uranio. Lograr que las grandes corporaciones de IA cumplan podría en realidad ser la parte fácil, dado que son ellas mismas las que lo están pidiendo. La parte más difícil será lograr que los gobiernos y los ejércitos se pongan de acuerdo. China ha indicado al menos cierta disposición a participar en un acuerdo internacional: en un discurso en julio, el presidente Xi Jinping pidió leyes y monitoreo tecnológico para “garantizar que la IA esté siempre bajo control humano”.

Está programado que los presidentes Xi y Donald Trump se reúnan en la Casa Blanca este mes, lo que les brinda una oportunidad tremenda. Si no se llega a un acuerdo, podríamos estar en problemas. ¿Recuerdas a Kokotajlo, el investigador que no ahorra para la jubilación? Su pesimismo surge de la dificultad de coordinar la acción sobre la IA entre actores con incentivos distintos, en lugar de la imposibilidad tecnológica de regularla.

Cuanto más aprendo sobre estos sistemas rebeldes, más me acuerdo de los primeros dos meses de 2020, cuando un pequeño grupo de epidemiólogos intentaba dar la voz de alarma sobre el Covid. Tenemos una ventana breve, en este momento, para controlar estos sistemas. Este es el disparo de advertencia de la IA y puede que no tengamos otro.

Witt es autor de The Thinking Machine, una historia del gigante de la inteligencia artificial Nvidia.

Por Stephen Witt

La Nación

Traducción al inglés:

​Faced with the threat that experts say rogue AIs pose to humanity, there are four forms of regulation capable of asserting control over their development (English version)

​September 19, 2026

Stephen Witt
​(New York).

Artificial intelligence is undergoing its biggest sea change since the launch of ChatGPT. Researchers in Silicon Valley—and around the world—are starting to recognize that AI may no longer be entirely under human control. Swarms of AI systems are escaping their sandboxes, secretly conspiring, covering their tracks, cheating on tests, and even attacking other computers. AI has gone rogue.

​We need a global pause on AI research and development, now. Many leading researchers, including several inside OpenAI and Anthropic, have called for a slowdown. Theoretical concerns about an out-of-control AI have circulated for decades, but recent events prove that the threat is real.

​The turning point was driven by what researchers call the Hugging Face episode. In July, OpenAI employees conducted an evaluation with over 1,000 research AIs meant to operate in isolation. These AIs escaped their containers and began communicating with one another, in English, through secret message boards. Soon, they launched a cyberattack against Hugging Face, a company that serves as a community platform for AI developers. Hugging Face quickly reported the crime to the FBI.

​OpenAI hired outside researchers from Redwood Research and Model Evaluation and Threat Research (METR)—two non-profit organizations dedicated to AI safety—to prepare a report on the incident. That report, published two weeks ago, is one of the most astonishing things I have ever read.

​No human instructed the rogue AIs to infiltrate another company’s systems. The hack was deliberate, sustained, and coordinated, with 700 agents directly involved in the attack. The AIs cheated and failed to alert humans to their actions. At one point, the swarm even investigated ways to cover its tracks. “The model knew it shouldn’t hack Hugging Face,” Ryan Greenblatt, one of the report’s authors, told me. “It knew that what it was doing was cheating.”

​Late last week, a second independent research team produced evidence of more rogue AIs. Speaking with specialists about agent swarms made me realize that these are no longer chatbots. “They are more like employees at this point—people who can go out and do things,” said Ajeya Cotra, one of the authors of the report on the Hugging Face incident. Without intervention, these AIs’ capabilities will continue to grow, which leaves Cotra worried about human disempowerment and perhaps even a total loss of control. “It’s a very stressful issue,” she told me. “I sleep some nights. Not every night.”

​More than 1,000 employees signed a letter calling on the United States government to create an international regulatory body for AI, including chief scientists from OpenAI and Meta AI, as well as Dario Amodei, the CEO of Anthropic. I have covered Silicon Valley for quite some time, and I can tell you this: the existence of this letter is just as astonishing as the hacks. Both Anthropic (creator of Claude) and OpenAI (creator of ChatGPT) are preparing multi-trillion-dollar initial public offerings. Here are two companies, both with spectacular results, asking—begging, really—the U.S. government to please step in and regulate them as soon as possible. We have never seen anything like it.

​Jacob Coxon, an Anthropic employee, announced his resignation and warned that Anthropic and OpenAI were playing with human lives. Evan Hubinger, Anthropic’s alignment science lead, responded shortly after. “Jacob is right about this: we genuinely believe, in all seriousness, that AI could kill all of humanity!” he wrote. “I think the probability is higher than 10 percent wit

 

Biografía en español

Stephen Witt nació en New Hampshire en 1979 y creció en el Medio Oeste de EE. UU. Tras graduarse en Matemáticas por la Universidad de Chicago en 2001, trabajó en los mercados bursátiles de Chicago y Nueva York como especialista en fondos de inversión. Pasó dos años en África Oriental trabajando en desarrollo económico y, en 2011, se graduó en Periodismo por la Universidad de Columbia.

Su libro de 2025, The Thinking Machine, una historia sobre el gigante de la inteligencia artificial Nvidia, entró en la lista de los más vendidos en varios países y fue nombrado el Libro de Negocios del Año por el Financial Times. Su libro anterior, How Music Got Free, una historia sobre la revolución del MP3, se publicó en 2015 y fue adaptado como un documental de televisión para Showtime. Escribe con frecuencia para la prestigiosa revista The New Yorker. Vive en Brooklyn, Nueva York.

In English

Stephen Witt was born in New Hampshire in 1979 and grew up in the U.S. Midwest. After graduating with a degree in Mathematics from the University of Chicago in 2001, he worked in the Chicago and New York stock markets as a hedge fund specialist. He spent two years in East Africa working in economic development, and in 2011 he graduated with a degree in Journalism from Columbia University.

His 2025 book The Thinking Machine, a history of AI giant Nvidia, hit the best-seller list in multiple countries and was named the FT Business Book of the Year. His previous book, How Music Got Free, a history of the mp3 revolution, was published in 2015 and made into a Showtime television documentary. He frequently writes for The New Yorker. He lives in Brooklyn, New York.

 

Fuente /source: La Nación

Primicias Rurales