OpenAI identificó por qué los modelos de lenguaje como ChatGPT inventan información, algo conocido como ‘alucinaciones’. Según un nuevo estudio, este problema no se debe solo a fallos en los datos usados para entrenar las IA, sino que es matemáticamente inevitable. Aunque los investigadores han propuesto una solución, esta podría hacer que las herramientas sean menos útiles para los usuarios comunes.
El problema nace de cómo funcionan estos modelos: generan respuestas prediciendo una palabra tras otra basándose en probabilidades. Esto puede llevar a errores acumulativos, especialmente cuando el modelo no está seguro de la respuesta.
Por ejemplo, si un hecho raro aparece pocas veces en los datos de entrenamiento, el sistema tiende a equivocarse más al ser consultado sobre ello. En un caso práctico, cuando se le preguntó sobre el cumpleaños de uno de los autores del estudio, el modelo ofreció tres fechas diferentes y todas incorrectas.
TE PUEDE INTERESAR: Corona y SAP llevan la inteligencia artificial a tiendas físicas y plataformas digitales
Cuál es la solución de OpenAI
- La solución propuesta por OpenAI implica que la IA evalúe su propio nivel de confianza antes de responder. Si no supera cierto umbral de certeza, debería decir ‘No sé’. Sin embargo, esto afectaría la experiencia del usuario, ya que muchas respuestas quedarían sin contestar.
- Según la compañía, las alucinaciones son errores inevitables en los modelos de lenguaje debido a cómo aprenden y responden.
- Los sistemas actuales están diseñados para adivinar en lugar de admitir incertidumbre porque así obtienen mejores resultados en pruebas.
- Reducir las alucinaciones aumentaría significativamente los costos operativos, haciendo difícil implementar soluciones para el consumidor promedio.
- Los modelos de lenguaje calculan probabilidades para predecir palabras en una oración.
- Errores acumulativos pueden duplicar o triplicar la tasa de fallos en generación de texto frente a preguntas simples.
La solución propuesta podría reducir las alucinaciones pero haría que las herramientas fueran menos útiles para los usuarios comunes.
— Estudio de OpenAI
Contenido generado con IA y editado por el equipo editorial.
Foto: Andrew Neel en Unsplash.