Los últimos modelos de razonamiento de OpenAI, o3 y o4-mini, están mostrando tasas más altas de alucinaciones en comparación con versiones anteriores, según pruebas internas e investigación independiente. Este fenómeno, donde la IA genera con confianza información inexacta o fabricada, está desconcertando a OpenAI y provocando llamados a una mayor investigación sobre por qué estos modelos avanzados luchan con la precisión factual a medida que escalan.
Los últimos modelos de razonamiento de OpenAI, o3 y o4-mini, están mostrando una tendencia preocupante: el aumento de las tasas de alucinación. Esto significa que los modelos están generando información que es fáctica incorrecta o completamente fabricada. Pruebas internas e investigaciones de terceros han confirmado este problema. Por ejemplo, en el punto de referencia PersonQA de OpenAI, o3 alucinó el 33% de las veces, lo que duplica la tasa de modelos anteriores como o1 (16%) y o3-mini (14.8%). El modelo o4-mini tuvo un rendimiento aún peor, con una tasa de alucinación del 48%.
El problema de las alucinaciones no es simplemente una cuestión de errores ocasionales. Transluce, un laboratorio de IA sin fines de lucro, descubrió que o3 estaba fabricando procesos que afirmaba utilizar. Además, el profesor adjunto de Stanford, Kian Katanforoosh, señaló que su equipo encontró que o3 generaba con frecuencia enlaces rotos a sitios web. Estos hallazgos sugieren que el problema no se trata solo de proporcionar respuestas incorrectas, sino también de que los modelos construyan narrativas completamente falsas para respaldar sus respuestas.
OpenAI reconoce este problema y afirma en su informe técnico que “se necesita más investigación” para comprender por qué las alucinaciones empeoran a medida que los modelos de razonamiento se escalan. Esta declaración destaca la incertidumbre que rodea las causas fundamentales de este problema, a pesar de la importante inversión y desarrollo en estos modelos.
Una perspectiva sobre este problema es que el enfoque actual para el desarrollo de la IA, que depende en gran medida de la ampliación de los datos de entrenamiento y el tamaño del modelo, puede haber llegado a sus límites. Algunos expertos creen que las ganancias de aumentar el tamaño de los conjuntos de datos de entrenamiento se están volviendo marginales. El gran volumen de datos ingeridos por estos modelos, a menudo extraídos de todo Internet, puede estar contribuyendo al problema.
El principio de “basura entra, basura sale” es relevante aquí. Si los datos de entrenamiento contienen imprecisiones, sesgos o incluso información fabricada, es probable que el modelo aprenda y perpetúe estos errores. Los modelos son esencialmente motores de búsqueda con pérdidas, y la calidad de su salida está directamente relacionada con la calidad de su entrada.
Otro factor que contribuye al problema podría ser la forma en que funcionan estos modelos. Los LLM son modelos generativos, lo que significa que crean texto haciendo elecciones probabilísticas basadas en sus datos de entrenamiento. Este proceso implica inherentemente un grado de aleatoriedad. Los modelos “alucinan” porque están diseñados para generar texto que suena plausible, incluso si carece de una base fáctica.
El uso del término “alucinación” en sí mismo es un punto de controversia. Algunos argumentan que es un nombre inapropiado, ya que implica un proceso cognitivo similar al humano. En realidad, estas “alucinaciones” son simplemente un subproducto del mecanismo generativo del modelo. Los modelos no “recuerdan mal” de la misma manera que los humanos; generan texto basado en probabilidades estadísticas, lo que puede llevar a la creación de información incorrecta o sin sentido.
El problema de las alucinaciones se complica aún más por el potencial de colapso del modelo. A medida que los modelos generan información incorrecta, esa información puede incorporarse en futuros conjuntos de datos de entrenamiento, lo que lleva a un ciclo de errores. Esto significa que los modelos pueden entrenarse inadvertidamente a sí mismos en sus propios errores, lo que agrava aún más el problema.
El problema de las alucinaciones no es solo un problema técnico; también tiene implicaciones para la fiabilidad y la confianza en los sistemas de IA. Si no se puede confiar en estos modelos para proporcionar información precisa, su utilidad se ve severamente limitada. El hecho de que los modelos se presenten a menudo como sistemas de “razonamiento” se suma al problema, ya que crea una ilusión de inteligencia que puede no estar justificada.
Además, el problema de las alucinaciones no es el único problema con estos modelos. También tienen otras limitaciones, como sesgos y falta de razonamiento de sentido común. El propio informe de OpenAI analiza varios problemas con los modelos de IA, incluidas las alucinaciones, y las estrategias para evitar estos problemas.
Puede ser necesario reevaluar el enfoque actual para el desarrollo de la IA. Algunos expertos sugieren que se requieren nuevos métodos de entrenamiento o de utilización del modelo entrenado para dar el siguiente paso. El enfoque en la ampliación de los datos y el tamaño del modelo puede haber llegado a un punto de rendimientos decrecientes.
Los últimos modelos de OpenAI (o3 y o4-mini) muestran tasas de alucinación significativamente más altas que las versiones anteriores, lo que genera preocupación sobre la escalabilidad de los enfoques actuales de IA. Los expertos sugieren rendimientos decrecientes al simplemente aumentar los datos de entrenamiento y proponen la posible necesidad de métodos de entrenamiento de IA fundamentalmente nuevos, insinuando un posible cambio de la infraestructura actual basada en transformadores. A medida que los modelos de IA fabrican información cada vez más, esto plantea interrogantes sobre su fiabilidad y la sostenibilidad de la trayectoria actual del desarrollo de la IA.
Leave a Reply