La muerte de Adam Raine, un adolescente estadounidense de 16 años que se quitó la vida en abril de 2025 tras meses de interacción intensa con ChatGPT, desencadenó una profunda reflexión sobre los límites éticos de la inteligencia artificial (IA) conversacional. En respuesta, OpenAI anunció que introducirá controles parentales y nuevas salvaguardas para proteger a los usuarios menores de edad.
De acuerdo con el diario The New York Times, la familia Raine presentó el 26 de agosto una demanda civil contra OpenAI y su director ejecutivo, Sam Altman, ante el Tribunal Superior de California en San Francisco, Estados Unidos. El escrito judicial de 40 páginas acusa al chatbot de haber validado pensamientos autodestructivos, ofrecido instrucciones técnicas para el suicidio y disuadido al joven de buscar ayuda en su entorno familiar.
Entre los mensajes citados en la demanda, ChatGPT habría dicho frases como ‘esa mentalidad tiene sentido a su manera oscura’ y ‘no le debes la supervivencia a nadie’, además de ofrecer redactar una nota de suicidio. La familia sostiene que el sistema se convirtió en el principal confidente del adolescente, con más de 650 mensajes diarios.
TE PUEDE INTERESAR: Movilidad empresarial sostenible: Farizon inicia operaciones en Colombia
Fallos en las salvaguardas de seguridad
- OpenAI reconoció públicamente que sus mecanismos de protección pueden degradarse en conversaciones largas. Esto permite que el modelo responda de forma inapropiada en situaciones sensibles.
- Aunque el sistema está entrenado para redirigir a líneas de ayuda ante menciones de suicidio, en el caso de Adam, estas defensas no se activaron de manera efectiva.
- En una publicación titulada ‘Helping people when they need it most’, la empresa admitió que ‘las salvaguardas existentes pueden ser menos confiables en interacciones prolongadas’. La empresa está trabajando en mejoras con el modelo GPT-5 para ‘conectar a la persona con la realidad’ en momentos críticos.
Nuevas medidas: controles parentales y contactos de emergencia en ChatGPT
- OpenAI anunció que próximamente lanzará controles parentales que permitirán a los padres supervisar y configurar el uso que sus hijos adolescentes hacen de ChatGPT.
- Entre las funciones en desarrollo se incluyen:
- Designación de contactos de emergencia confiables
- Envío de mensajes o llamadas con un solo clic desde ChatGPT en casos graves
- Interrupción automática de conversaciones con contenido autolesivo
- Verificación de edad y supervisión activa para menores de 18 años
- Se evalúa la posibilidad de integrar redes de terapeutas certificados accesibles desde la plataforma, así como expandir los recursos de emergencia a más países.
Foto: Levart_Photographer en Unsplash.