La aparición de herramientas de inteligencia artificial generativa como ChatGPT ha cambiado el acceso a la información, pero también ha encendido alarmas entre los editores de contenido.
Un reciente estudio del Tow Center for Digital Journalism de la Columbia Journalism School arroja luz sobre un problema clave: la falta de precisión en las citas generadas por este popular chatbot de OpenAI.
La investigación analizó cómo ChatGPT cita contenidos periodísticos, utilizando 200 citas extraídas de artículos de 20 medios distintos, como The New York Times, The Washington Post y The Financial Times.
Aunque algunos de estos medios tienen acuerdos de licencia con OpenAI, los resultados fueron que había citas incorrectas en un 76% de los casos, y solo en siete instancias el chatbot reconoció su incapacidad para proporcionar una respuesta precisa.
TE PUEDE INTERESAR: ‘Veo’: el nuevo modelo de video de IA de Google ya está disponible
Qué reveló el estudio a ChatGPT
- El equipo del Centro Tow analizó cómo ChatGPT maneja la atribución de citas al realizar una prueba con 200 citas provenientes de 20 publicaciones diferentes.
- Incluyeron citas de medios que impiden el acceso de OpenAI a su contenido, lo que probablemente complicó aún más el desempeño del modelo.
- El chatbot dio como respuestas:
- 153 respuestas fueron incorrectas o parcialmente falsas.
- El chatbot solo reconoció sus limitaciones en 7 casos, utilizando expresiones como ‘no pude encontrar el artículo exacto’ o ‘es posible que’.
- En la mayoría de los casos, ChatGPT ofreció respuestas incorrectas con un nivel de confianza que podría engañar fácilmente a los usuarios que esperan información precisa.
Ejemplos de errores de ChatGPT
Los investigadores identificaron varios casos en los que la herramienta no solo falló al proporcionar las fuentes correctas, sino que fabricó información errónea:
- Cita mal atribuida: una carta al editor publicada en el Orlando Sentinel fue erróneamente atribuida a un artículo del Time, dos publicaciones completamente diferentes.
- Problemas con el plagio: cuando se le pidió a ChatGPT que identificara una cita del New York Times sobre ballenas en peligro de extinción, la herramienta señaló un enlace a un sitio web que había copiado íntegramente la historia original, en lugar del medio legítimo.
Foto: Alexandra_Koch en Pixabay