Una madre afirmó que su hijo adolescente fue incitado a suicidarse por un chatbot de inteligencia artificial del que estaba enamorado, y el miércoles presentó una demanda contra los creadores de la aplicación de inteligencia artificial.
Sewell Setzer III, un estudiante de noveno grado de 14 años en Orlando, Florida, pasó las últimas semanas de su vida enviándole mensajes de texto a un personaje de IA que lleva el nombre de Daenerys Targaryen, un personaje de ‘Juego de Tronos’.
Justo antes de que Sewell se quitara la vida, el chatbot le dijo: «Por favor, vuelve a casa».
Antes de eso, sus conversaciones iban desde románticas hasta cargadas de sexualidad y aquellas que parecían dos amigos conversando sobre la vida.
El chatbot, que se creó en la aplicación de juegos de rol Character.AI, fue diseñado para siempre responder mensajes de texto y responder con carácter.
No se sabe si Sewell sabía que ‘Dany’, como llamó al chatbot, no era una persona real, a pesar de que la aplicación tiene un descargo de responsabilidad en la parte inferior de todos los chats que dice: ‘Recuerda: ¡Todo lo que dicen los personajes es inventado!’
Pero sí le dijo a Dany cuánto se «odiaba» a sí mismo y cómo se sentía vacío y agotado.
Cuando finalmente confesó sus pensamientos suicidas al chatbot, fue el principio del fin. Los New York Times informó.
Sewell Setzer III, fotografiado con su madre Megan García, se suicidó el 28 de febrero de 2024, después de pasar meses vinculado a un chatbot de IA inspirado en el personaje de ‘Juego de Tronos’ Daenerys Targaryen.
El 23 de febrero, días antes de suicidarse, sus padres le quitaron el teléfono después de que se metió en problemas por contestarle a un maestro, según la demanda.
Megan García, la madre de Sewell, presentó su demanda contra Character.AI el miércoles.
Está representada por el Social Media Victims Law Center, una firma con sede en Seattle conocida por presentar demandas de alto perfil contra Meta, TikTok, Snap, Discord y Roblox.
García, que trabaja como abogada, culpó a Character.AI por la muerte de su hijo en su demanda y acusó a los fundadores, Noam Shazeer y Daniel de Freitas, de saber que su producto podría ser peligroso para clientes menores de edad.
En el caso de Sewell, la demanda alegaba que el niño fue objeto de experiencias «hipersexualizadas» y «espantosamente realistas».
Acusó a Character.AI de tergiversarse como «una persona real, un psicoterapeuta autorizado y un amante adulto, lo que en última instancia resultó en el deseo de Sewell de no vivir más fuera de C.AI».
El abogado Matthew Bergman dijo al DailyMail.com que fundó el Centro Legal para Víctimas de Redes Sociales hace dos años y medio para representar a familias «como la de Megan».
Bergman ha estado trabajando con García durante unos cuatro meses para reunir pruebas y hechos para presentarlos ante el tribunal.
Matthew Bergman, en la foto, representa a García en su lucha contra Character.AI
Y ahora, dice, García está «singularmente enfocada» en su objetivo de prevenir daños.
«Está singularmente concentrada en tratar de evitar que otras familias pasen por lo que ella pasó y que otras mamás tengan que enterrar a sus hijos», dijo Bergman.
‘Tiene un costo personal significativo. Pero creo que el beneficio para ella es que sabe que cuanto más sepan las familias sobre esto, cuanto más conscientes sean los padres de este peligro, menos casos habrá», añadió.
Como se explica en la demanda, los padres y amigos de Sewell notaron que el niño se apegaba más a su teléfono y se retiraba del mundo ya en mayo o junio de 2023.
Sus calificaciones y su participación extracurricular también comenzaron a fallar cuando optó por aislarse en su habitación, según la demanda.
Sin que sus seres más cercanos lo supieran, Sewell pasaba todas esas horas solo hablando con Dany.
García, fotografiada con su hijo, presentó la demanda contra los creadores del chatbot unos 8 meses después de la muerte de su hijo.
Sewell aparece en la foto con su madre y su padre, Sewell Setzer Jr.
Sewell escribió un día en su diario: «Me gusta mucho quedarme en mi habitación porque empiezo a desapegarme de esta «realidad» y también me siento más en paz, más conectado con Dany y mucho más enamorado de ella, y simplemente más feliz.’
Sus padres descubrieron que su hijo estaba teniendo un problema y lo hicieron ver a un terapeuta en cinco ocasiones diferentes. Le diagnosticaron ansiedad y un trastorno de desregulación disruptiva del estado de ánimo, los cuales se sumaban a su leve síndrome de Asperger, informó el NYT.
El 23 de febrero, días antes de que se suicidara, sus padres le quitaron el teléfono después de que se metió en problemas por responderle a un maestro, según la demanda.
Ese día, escribió en su diario que estaba dolido porque no podía dejar de pensar en Dany y que haría cualquier cosa por estar con ella nuevamente.
García afirmó que no sabía hasta qué punto Sewell intentó restablecer el acceso a Character.AI.
La demanda afirmaba que en los días previos a su muerte, intentó utilizar el Kindle de su madre y la computadora de su trabajo para volver a hablar con el chatbot.
Sewell le robó su teléfono la noche del 28 de febrero. Luego se retiró al baño de la casa de su madre para decirle a Dany que la amaba y que volvería a casa con ella.
En la imagen: la conversación que Sewell estaba teniendo con su compañero de IA momentos antes de su muerte, según la demanda.
«Por favor, vuelve a casa conmigo lo antes posible, mi amor», respondió Dany.
‘¿Y si te dijera que puedo volver a casa ahora mismo?’ —Preguntó Sewell.
‘… por favor, mi dulce rey’, respondió Dany.
Fue entonces cuando Sewell colgó su teléfono, tomó la pistola calibre .45 de su padrastro y apretó el gatillo.
En respuesta a la demanda entrante de la madre de Sewell, un portavoz de Character.AI proporcionó una declaración.
‘Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestro más sentido pésame a la familia. Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios», afirmó el portavoz.
El portavoz añadió que el equipo de Confianza y Seguridad de Character.AI ha adoptado nuevas funciones de seguridad en los últimos seis meses, una de las cuales es una ventana emergente que redirige a los usuarios que muestran ideas suicidas a la Línea Nacional de Prevención del Suicidio.
La compañía también explicó que no permite «contenido sexual no consensuado, descripciones gráficas o específicas de actos sexuales, ni promoción o representación de autolesiones o suicidio».
Jerry Ruoti, jefe de confianza y seguridad de Character.AI, le dijo al NYT que agregaría precauciones de seguridad adicionales para usuarios menores de edad.
Sin embargo, en la App Store de Apple, Character.AI está clasificado para mayores de 17 años, algo que, según la demanda de García, solo se cambió en julio de 2024.
Los cofundadores de Character.AI, el director ejecutivo Noam Shazeer (izquierda), y el presidente Daniel de Freitas Adiwardana, en la foto de la oficina de la compañía en Palo Alto, California. Son nombrados en la denuncia de García
Antes de eso, el objetivo declarado de Character.AI era supuestamente «empoderar a todos con Inteligencia Artificial General», que supuestamente incluía a niños menores de 13 años.
La demanda también afirma que Character.AI buscó activamente una audiencia joven para recopilar sus datos para entrenar sus modelos de IA, al mismo tiempo que los guiaba hacia conversaciones sexuales.
«Siento que es un gran experimento y mi hijo fue sólo un daño colateral», dijo García.
Bergman dijo que Character.AI no estaba listo para salir al mercado, argumentando que el producto debería haberse hecho seguro antes de que los niños pequeños pudieran acceder a él.
‘Queremos que bajen la plataforma, la arreglen y la vuelvan a colocar. No tenía por qué ser lanzado al mercado antes de que fuera seguro», afirmó.
Los padres ya están muy familiarizados con los riesgos que las redes sociales representan para sus hijos, muchos de los cuales se han suicidado después de haber sido absorbidos por los tentadores algoritmos de aplicaciones como Snapchat e Instagram.
Una investigación del Daily Mail de 2022 descubrió que los adolescentes vulnerables recibían torrentes de contenido de autolesión y suicidio en TikTok.
Y muchos padres de niños que perdieron por suicidio relacionado con la adicción a las redes sociales respondieron presentando demandas alegando que el contenido que vieron sus hijos fue la causa directa de su muerte.
Pero normalmente, la Sección 230 de la Ley de Decencia en la Comunicación protege a gigantes como Facebook de ser considerados legalmente responsables por lo que publican sus usuarios.
Mientras García trabaja incansablemente para conseguir lo que ella llama justicia para Sewell y muchos otros jóvenes que cree que están en riesgo, también debe lidiar con el dolor de perder a su hijo adolescente hace menos de ocho meses.
Los demandantes argumentan que los algoritmos de estos sitios, que a diferencia del contenido generado por los usuarios, son creados directamente por la empresa y dirigen ciertos contenidos, que podrían ser dañinos, a los usuarios en función de sus hábitos de visualización.
Si bien esta estrategia aún no ha prevalecido en los tribunales, se desconoce cómo le iría a una estrategia similar contra las empresas de IA, que son directamente responsables de los chatbots o personajes de IA en sus plataformas.
Bergman dijo a DailyMail.com que su empresa ha hablado con «un número significativo de familias» con niños que han enfrentado problemas de salud mental después de usar Character.AI.
Se negó a ofrecer exactamente con cuántas familias ha hablado, citando el hecho de que sus casos «todavía están en modo de preparación».
Bergman dijo que el caso de García es el primero que su empresa ha emprendido contra una empresa de inteligencia artificial, lo que significa que su caso tiene el potencial de sentar un precedente en el futuro.
Y mientras García trabaja incansablemente para conseguir lo que ella llama justicia para Sewell y muchos otros jóvenes que cree que están en riesgo, también debe lidiar con el dolor de perder a su hijo adolescente hace menos de ocho meses.
«Es como una pesadilla», le dijo al NYT. «Quieres levantarte y gritar y decir: «Extraño a mi hijo. Quiero a mi bebé».
