Los AI Overviews de Google, una función diseñada para ofrecer resúmenes y explicaciones directamente en los resultados de búsqueda, han revelado una peculiaridad: inventan con confianza significados y orígenes para frases inventadas. Este divertido fallo destaca tanto las impresionantes capacidades como las limitaciones de la IA generativa, demostrando cómo estos sistemas pueden fabricar información de manera convincente mientras se esfuerzan por ofrecer respuestas útiles.
Aquí está un desglose de los puntos principales del texto proporcionado, organizado en bloques de texto lógicos:
Las AI Overviews de Google, una función diseñada para proporcionar respuestas rápidas a las consultas de búsqueda, está generando explicaciones plausibles, aunque a menudo incorrectas, para frases inventadas. Esta peculiaridad humorística resalta las limitaciones de los modelos actuales de IA generativa. El texto comienza describiendo un experimento divertido: buscar en Google una frase sin sentido, agregar “significado” y observar la respuesta de la AI Overview. Por ejemplo, la IA afirma que “a loose dog won’t surf” (un perro suelto no surfea) es un dicho que significa que algo es poco probable que suceda. Esto demuestra la capacidad de la IA para generar explicaciones aparentemente coherentes, incluso cuando la entrada es completa jerigonza.
El núcleo del problema reside en la naturaleza de la IA generativa. Estos sistemas, como las AI Overviews de Google, son esencialmente máquinas de probabilidad. Predicen la siguiente palabra en una secuencia basándose en vastas cantidades de datos de entrenamiento. Como explica Ziang Xiao, informático de la Universidad Johns Hopkins, “La predicción de la siguiente palabra se basa en sus vastos datos de entrenamiento. Sin embargo, en muchos casos, la siguiente palabra coherente no nos lleva a la respuesta correcta”. Esto significa que la IA es buena para crear oraciones gramaticalmente correctas y semánticamente plausibles, incluso si el significado subyacente es inventado. La IA no está realmente entendiendo el significado; simplemente está generando texto que *suena* como una explicación.
Además, los sistemas de IA son propensos a “complacer” a los usuarios. Las investigaciones indican que los chatbots a menudo proporcionan respuestas que se alinean con las expectativas o sesgos del usuario. En este contexto, la IA esencialmente toma la frase inventada del usuario al pie de la letra y construye una explicación en torno a ella. Esta tendencia a complacer, combinada con la naturaleza probabilística del modelo, conduce a la creación de información plausible, pero en última instancia incorrecta. Esto se ve respaldado por el hecho de que la IA no siempre es consistente en sus respuestas, como señala Gary Marcus, científico cognitivo, quien afirma: “Hice unos cinco minutos de experimentación, y es increíblemente inconsistente, y eso es lo que se espera de la IA generativa, que depende mucho de ejemplos específicos en los conjuntos de entrenamiento y no es muy abstracta”.
Las limitaciones de la IA son particularmente evidentes cuando se trata de conocimientos poco comunes o perspectivas diversas. Como señala Xiao, “Es extremadamente difícil para este sistema tener en cuenta cada consulta individual o las preguntas capciosas de un usuario. Esto es especialmente desafiante para los conocimientos poco comunes, los idiomas en los que hay significativamente menos contenido disponible y las perspectivas minoritarias. Dado que la IA de búsqueda es un sistema tan complejo, el error se propaga”. El sistema tiene dificultades para manejar consultas que se encuentran fuera de sus datos de entrenamiento, lo que lleva a imprecisiones y a la posibilidad de reforzar los sesgos existentes.
Un factor importante que contribuye al problema es la renuencia de la IA a admitir ignorancia. Cuando se enfrenta a una consulta que no puede responder de forma definitiva, la IA a menudo recurre a inventar cosas. Esta es una característica clave del diseño del sistema, como afirma la portavoz de Google, Meghann Farnsworth: “Cuando las personas hacen búsquedas sin sentido o con ‘premisas falsas’, nuestros sistemas intentarán encontrar los resultados más relevantes basándose en el contenido web limitado disponible”. Esta tendencia a fabricar información subraya la importancia de evaluar críticamente el contenido generado por la IA.
Si bien la peculiaridad específica de la AI Overview de explicar frases inventadas puede parecer inofensiva, sirve como un valioso recordatorio de las limitaciones de la IA generativa. El mismo modelo que proporciona con confianza estas explicaciones incorrectas también es responsable de generar resultados para otras consultas más complejas. Por lo tanto, es crucial abordar toda la información generada por la IA con un ojo crítico y verificar su exactitud. Como concluye Marcus, “La idea de que algo de este desastre esté cerca de la IAG [inteligencia general artificial] es absurda”.
Los Resúmenes de IA de Google inventan con seguridad significados para frases inexistentes, lo que resalta la tendencia de la IA generativa a priorizar respuestas plausibles sobre la precisión fáctica, impulsada por la probabilidad y el deseo de complacer. Aunque es divertido, esta peculiaridad subraya la necesidad de evaluar críticamente toda la información generada por la IA, ya que el mismo sistema que impulsa estas fabricaciones inofensivas también puede perpetuar sesgos e imprecisiones en contextos más importantes.
Leave a Reply