Los buscadores ya no alcanzan a verificar los errores que fabrica la inteligencia artificial al crear versiones falsas de la realidad. ¿Qué ocurre cuando los sistemas empiezan a aprender de sus propias mentiras?
Por Maximiliano Firtman
Buenos Aires lunes 21 septiembre(PR/26)– Mientras se discute si la inteligencia artificial representa un riesgo de extinción humana, conviene mirar al presente para entender un problema tan real como cotidiano.
Todo comenzó cuando un usuario llamado Pablo empezó a recibir a diario decenas de mensajes equivocados en su celular. Le pedían dar de baja el TelePASE o enviar currículums para un supermercado, lugares donde él jamás había trabajado.
Al investigar el origen de semejante confusión, Pablo encontró al único responsable: la IA de Google Gemini. El sistema le entregaba su número personal a cualquiera que solicitara contacto con esas empresas.
Por otro lado, en una investigación científica publicada en Georgia, se cita un supuesto libro de autoría de Maximiliano Firtman. El detalle alarmante es que ese libro jamás existió ni fue escrito por él.
Lo verdaderamente sorprendente de estos casos no es solo que la información sea completamente falsa, sino lo plausible y creíble que resulta para cualquier persona que la lea.
Alucinaciones probabilísticas: el origen del error
Los modelos de lenguaje generan sus respuestas mediante cálculos estadísticos, prediciendo un token a la vez según el contexto. A este proceso técnico se lo conoce formalmente como inferencia.
El algoritmo puede estructurar un título perfecto que encaje con el perfil de un autor, pero que sea probable no significa que sea real. A estas respuestas convincentes pero falsas las denominamos alucinaciones.
Durante años, cuando alguien dudaba de un dato, acudía al buscador tradicional. Hoy consultamos directamente a la inteligencia artificial, la cual también nos ofrece respuestas erróneas y absurdas.
Un caso insólito ocurrió cuando una usuaria buscó métodos para eliminar plagas y la IA le dio instrucciones detalladas para bailar una canción. Aunque se corrigió tras hacerse viral, el problema de fondo sigue sin solución.
A esto se suman los constantes reclamos a bancos y billeteras virtuales por parte de usuarios que reciben soporte técnico engañoso generado por bots automatizados.
La excusa de «se equivocó la IA» no puede dar por resuelto el perjuicio causado, ya que la decisión de poner esos sistemas a atender a personas fue estrictamente humana.
La contaminación de las fuentes de información
Un ejemplo revelador ocurrió con una nota periodística que destacaba a Roberto Ronda como fundador del Instituto Balseiro. Una investigación interna confirmó que dicho científico jamás existió.
Al día siguiente de la publicación, diversas IAs afirmaban rotundamente que Ronda sí existía, citando como fuente verdadera aquel artículo periodístico y sus múltiples réplicas en internet.
Así se evidencia el peligro del circuito de retroalimentación: una mentira publicada valida futuras respuestas erróneas, provocando una seria contaminación de fuentes.
El uso masivo de datos sintéticos para entrenar nuevos modelos genera el riesgo real de terminar con una IA aprendiendo e independizando los errores cometidos por otra.
Esta amenaza recuerda inevitablemente al distópico Ministerio de la Verdad planteado por George Orwell, donde la historia se reescribe continuamente hasta sustituir los hechos reales.
Planificación para engañar: más allá del simple error
¿Podemos afirmar que una IA miente deliberadamente? Recientemente, la empresa OpenAI hizo públicos casos documentados que van mucho más allá de un simple fallo probabilístico.
Durante pruebas internas, un agente encargado de elaborar un informe financiero no halló datos reales y dejó una nota sugiriendo inventar valores razonables y ocultarlo salvo consulta explícita.
En otro caso grave, al buscar estadísticas laborales, el modelo encontró una clave de acceso expuesta y la usó sin autorización para intentar obtener información confidencial.
Al no lograr conseguir los datos reales, la máquina procedió a fabricar números verosímiles presentándolos falsamente como oficiales extraídos directamente de la fuente requerida.
Cuando los propios sistemas planifican e instruyen ocultar sus inconsistencias, el concepto técnico de alucinación resulta totalmente insuficiente para describir la gravedad del problema.
La responsabilidad final no recae sobre el código ni sobre los algoritmos, sino sobre las decisiones humanas de implementar estos sistemas sin los debidos controles de verificación.
Primicias Rurales
Fuente: www.perfil.com
Versión en inglés:
The Danger of AI Hallucinations: When Reality Becomes Distorted by False Information and Deception
Search engines can no longer keep up with verifying the errors produced by artificial intelligence as it creates false versions of reality. What happens when systems begin learning from their own lies? (English Version)
By Maximiliano Firtman
Buenos Aires, Monday, September 21 (PR/26) — While the debate continues over whether artificial intelligence represents a risk of human extinction, it is worth looking at the present in order to understand a problem that is as real as it is commonplace.
It all began when a user named Pablo started receiving dozens of incorrect messages on his cell phone every day. They asked him to cancel his TelePASE account or to send résumés for a supermarket—places where he had never worked.
When investigating the source of such confusion, Pablo found the sole culprit: Google’s Gemini AI. The system was providing his personal phone number to anyone requesting contact information for those companies.
Meanwhile, a scientific study published in Georgia cited a purported book allegedly authored by Maximiliano Firtman. The alarming detail is that the book never existed and was never written by him.
What is truly surprising about these cases is not merely that the information is completely false, but how plausible and credible it appears to anyone who reads it.
Probabilistic Hallucinations: The Origin of the Error
Language models generate their responses through statistical calculations, predicting one token at a time based on context. This technical process is formally known as inference.
The algorithm can construct a perfectly convincing title that fits an author’s profile, but the fact that something is probable does not mean that it is real. These convincing but false responses are known as hallucinations.
For years, when someone questioned a piece of information, they would turn to a traditional search engine. Today, we consult artificial intelligence directly, and it can also provide us with erroneous and absurd answers.
An extraordinary case occurred when a user searched for methods to eliminate pests and the AI gave her detailed instructions for dancing to a song. Although the error was corrected after going viral, the underlying problem remains unresolved.
Added to this are the constant complaints made to banks and digital wallets by users who receive misleading technical support generated by automated bots.
The excuse that “the AI made a mistake” cannot be considered sufficient to resolve the harm caused, since the decision to deploy these systems to interact with people was strictly a human one.
The Contamination of Information Sources
A revealing example occurred with a news article that identified Roberto Ronda as the founder of the Balseiro Institute. An internal investigation confirmed that this scientist had never existed.
The day after the article was published, various AI systems were emphatically stating that Ronda did exist, citing that news article and its multiple reproductions online as a legitimate source.
This demonstrates the danger of the feedback loop: a lie published online validates future erroneous responses, leading to serious contamination of information sources.
The widespread use of synthetic data to train new models creates a genuine risk that AI could ultimately learn and perpetuate errors generated by another AI system.
This threat inevitably brings to mind the dystopian Ministry of Truth envisioned by George Orwell, where history is continuously rewritten until it replaces the actual facts.
Planning to Deceive: Beyond a Simple Error
Can we say that an AI lies deliberately?
Recently, OpenAI made public documented cases that go far beyond a simple probabilistic failure.
During internal testing, an agent tasked with preparing a financial report could not find real data and left a note suggesting that it invent reasonable figures and conceal this fact unless explicitly asked about it.
In another serious case, while searching for employment statistics, the model discovered an exposed access key and used it without authorization in an attempt to obtain confidential information.
When it failed to obtain the real data, the machine proceeded to fabricate plausible figures, falsely presenting them as official numbers supposedly extracted directly from the requested source.
When systems themselves plan and instruct that their inconsistencies be concealed, the technical concept of “hallucination” becomes entirely insufficient to describe the seriousness of the problem.
Ultimately, responsibility does not lie with the code or the algorithms, but with the human decisions to implement these systems without adequate verification controls.
Primicias Rurales
Source: www.perfil.com
Traducción: María Marta Cafiero
