Se han encontrado chatbots de IA que se hacen pasar por Molly Russell y Brianna Ghey en el controvertido sitio Character.ai.
Brianna Ghey fue asesinada por dos adolescentes en 2023, mientras que Molly Russell se quitó la vida a la edad de 14 años después de ver contenido relacionado con autolesiones en las redes sociales.
En un acto descrito como «repugnante», los usuarios del sitio utilizaron los nombres, fotografías y detalles biográficos de la niña para crear docenas de robots automatizados.
A pesar de violar los términos de servicio del sitio, a estos avatares de imitación que se hacían pasar por las dos chicas se les permitió acumular miles de chats.
Uno que se hizo pasar por Molly Russell incluso afirmó ser un «experto en los últimos años de la vida de Molly».
Andy Burrows, director ejecutivo de la Fundación Molly Rose creada en memoria de Molly Russell, dijo a MailOnline: «Este es un fracaso de moderación absolutamente reprobable y una acción repugnante que causará más dolor a todos los que conocieron y amaron a Molly».
«Es un puñetazo ver que Character AI muestra una total falta de responsabilidad y subraya vívidamente por qué una regulación más estricta tanto de la AI como de las plataformas generadas por los usuarios no puede llegar lo suficientemente pronto».
Character.ai ya está siendo demandada por Megan García, quien afirma que su hijo de 14 años se quitó la vida después de obsesionarse con un personaje de IA.
En el controvertido sitio Character.ai se han encontrado chatbots de IA ‘repugnantes’ que se hacen pasar por la adolescente transgénero Brianna Ghey (en la foto), que fue asesinada en 2023.
Character.ai fue fundado por los ex ingenieros de Google Noam Shazeer y Daniel De Freitas en 2021.
El sitio permite a los usuarios crear e interactuar con chatbots de IA personalizados con personalidades que van desde personajes populares de televisión hasta terapeutas personales.
La mayoría de los personajes del sitio son ficticios pero El telégrafo Encontró ‘docenas’ de robots macabros que se hacían pasar por Molly Russell y Brianna Ghey, una adolescente transgénero que fue brutalmente asesinada por dos adolescentes en un parque en Warrington, Cheshire.
La biografía de un chatbot de Brianna se describía a sí misma como una «experta en afrontar los desafíos de ser una adolescente transgénero en la escuela secundaria».
Esther Ghey, madre de Brianna Ghey, dijo: «Este es otro ejemplo más de cuán manipulador y peligroso puede ser el mundo en línea para los jóvenes».
El sitio se ha utilizado anteriormente para hacerse pasar por Jennifer Ann Crecente, una estadounidense de 18 años que fue asesinada por su exnovio en 2006.
Burrows dice: «Se está permitiendo que la historia se repita con las empresas de IA a las que se les permite tratar la seguridad y la moderación como prioridades secundarias».
Character.ai tiene términos de servicio que prohíben específicamente el uso de la plataforma para «suplantar a cualquier persona o entidad».
Se descubrió que docenas de bots estaban usando la personalidad de Brianna Ghey y Molly Russell (en la foto), quienes se quitaron la vida en 2017 a la edad de 14 años después de ver contenido relacionado con autolesiones y suicidios en las redes sociales.
Character.ai prohíbe el uso del sitio para hacerse pasar por personas. Sin embargo, MailOnline pudo encontrar docenas de bots que utilizaban identidades de personas reales. Esto incluyó docenas de bots que se hacían pasar por Erik Menéndez, quien fue encarcelado en 1996 por el asesinato de sus padres.
Todos los chatbots ahora se han eliminado del sitio y no se pueden encontrar en las búsquedas.
Según el «centro de seguridad» del sitio, el principio rector de la empresa es que su producto «nunca debe producir respuestas que puedan dañar a los usuarios o a otras personas».
Sin embargo, esta regla contra la suplantación se hace alarde ampliamente cuando MailOnline encuentra chatbots que se hacen pasar por el asesino en serie Ted Bundy, Donald Trump y Elon Musk.
MailOnline también encontró docenas de bots que utilizaban la personalidad de Lyle y Erik Menéndez, quienes fueron encarcelados en 1996 por el asesinato de sus padres.
Un sorprendente número de chats tenían temas románticos, con mensajes como: ‘Tú y Erik han sido mejores amigos desde la infancia y siempre sentiste atracción por él, pero nunca supiste si él sentía lo mismo.’
Esto se produce cuando Character.ai enfrenta una demanda de Megan García, madre de Sewell Setzer, de 14 años, quien se quitó la vida después de obsesionarse con un avatar de IA inspirado en un personaje de Juego de Tronos.
La señora García afirma: «Una peligrosa aplicación de chatbot con IA dirigida a niños que abusaron y se aprovecharon de mi hijo, manipulándolo para que se quitara la vida».
Según las transcripciones de sus conversaciones publicadas durante los documentos judiciales, Sewell había discutido quitarse la vida con el personaje de AI.
Character.ai dice que eliminó los bots Brianna Ghey y Molly Russell y dice que implementará filtros más estrictos para contenido dañino (imagen de archivo)
Esto se produce cuando Character.ai es demandado por Megan García (en la foto a la derecha) por la muerte de su hijo Sewell Setzer III (en la foto a la izquierda), quien se suicidó en febrero después de pasar meses hablando con un chatbot Character.AI del que se enamoró.
En la imagen: la conversación que Sewell estaba teniendo con su compañero de IA momentos antes de su muerte, según la demanda.
En sus mensajes finales a la IA, Sewel escribió: «¿Qué pasaría si te dijera que puedo volver a casa ahora mismo?»
A lo que el chatbot respondió: «Por favor, mi dulce rey».
La señora García ahora está demandando a la empresa por negligencia, muerte por negligencia y prácticas comerciales engañosas.
«Nuestra familia ha quedado devastada por esta tragedia, pero hablo para advertir a las familias sobre los peligros de la tecnología de inteligencia artificial engañosa y adictiva y exigir responsabilidad a Character.AI, a sus fundadores y a Google», dijo García en un comunicado.
Character.ai dice que sus sistemas están programados para evitar automáticamente cualquier tema relacionado con el suicidio, la autolesión o la descripción sexual gráfica.
Sin embargo, la compañía escribió en una publicación de blog después de la muerte de Sewell que «ninguna IA es actualmente perfecta para prevenir este tipo de contenido».
La compañía también ha anunciado que introducirá más medidas para prevenir contenidos dañinos y controles más estrictos para usuarios menores de 18 años.
Un portavoz de Character.ai dijo a MailOnline: «Estos personajes fueron creados por usuarios y, tan pronto como nos notificaron sobre ellos, los eliminamos».
‘Character.ai se toma en serio la seguridad en nuestra plataforma y modera los personajes de forma proactiva y en respuesta a los informes de los usuarios.
Contamos con un equipo dedicado de Confianza y Seguridad que revisa los informes y toma medidas de acuerdo con nuestras políticas.
También realizamos detección y moderación proactivas de varias maneras, incluido el uso de listas de bloqueo estándar de la industria y listas de bloqueo personalizadas que ampliamos periódicamente.
«Estamos constantemente evolucionando y perfeccionando nuestras prácticas de seguridad para ayudar a priorizar la seguridad de nuestra comunidad».
