Character.AI, una plataforma que permite a las personas hablar con una variedad de chatbots de inteligencia artificial, ha sido criticada después de que uno de sus robots supuestamente incitó a un adolescente a suicidarse a principios de este año.
Una nueva demanda presentada esta semana afirmaba que Sewell Setzer III, de 14 años, estaba hablando con un compañero de Character.AI del que se había enamorado cuando se quitó la vida en febrero.
En respuesta a una solicitud de comentarios, Character.AI dijo a Daily Mail.com que estaban «creando una experiencia diferente para usuarios menores de 18 años que incluye un modelo más estricto para reducir la probabilidad de encontrar contenido sensible o sugerente».
Pero Character.AI enfrenta otras controversias, incluidas preocupaciones éticas sobre los chatbots creados por los usuarios.
Megan García aparece en la foto con su hijo Sewell Setzer III, quien se suicidó en febrero después de pasar meses hablando con un chatbot Character.AI del que se enamoró.
Noam Shazeer, izquierda, y Daniel de Freitas, derecha, han tenido un enorme éxito con Character.AI, un concepto que Google supuestamente rechazó cuando lo presentaron a sus superiores.
Drew Crecente perdió a su hija adolescente Jennifer en 2006 cuando su exnovio de la secundaria la mató a tiros.
Dieciocho años después de su asesinato, descubrió que alguien usó el nombre y la imagen de Jennifer para resucitarla como un personaje de Character.AI.
Un portavoz le dijo a DailyMail.com que el personaje de Jennifer fue eliminado.
También hay dos chatbots Character.AI que utilizan el nombre y la imagen de George Floyd.
Floyd fue asesinado por el oficial de policía de Minneapolis Derek Chauvin, quien le puso la rodilla en el cuello durante más de nueve minutos.
«Este personaje fue creado por el usuario y ha sido eliminado», dijo Character.AI en su declaración a DailyMail.com.
‘Character.AI se toma en serio la seguridad en nuestra plataforma y modera los personajes de forma proactiva y en respuesta a los informes de los usuarios.
‘Contamos con un equipo dedicado de Confianza y Seguridad que revisa los informes y toma medidas de acuerdo con nuestras políticas.
‘También realizamos detección y moderación proactivas de varias maneras, incluido el uso de listas de bloqueo estándar de la industria y listas de bloqueo personalizadas que ampliamos periódicamente.
«Estamos constantemente evolucionando y perfeccionando nuestras prácticas de seguridad para ayudar a priorizar la seguridad de nuestra comunidad».
Drew Crecente aparece en la foto con su hija Jennifer, quien fue asesinada por su exnovio, de 18 años, en 2006.
Una captura de pantalla guardada del perfil de ‘Jennifer’, que desde entonces ha sido eliminado
«Estamos trabajando rápidamente para implementar esos cambios para los usuarios más jóvenes», agregaron.
Mientras una epidemia de soledad se apodera del país, la muerte de Sewell ha planteado dudas sobre si los chatbots que actúan como compañeros de mensajes de texto están haciendo más para ayudar o dañar. los jóvenes que los utilizan desproporcionadamente.
Sin embargo, no hay duda de que Character.AI ha ayudado a sus fundadores, Noam Shazeer y Daniel de Freitas, quienes ahora disfrutan de un éxito fabuloso, riqueza y reconocimiento en los medios. Ambos hombres fueron nombrados en la demanda presentada contra su empresa por la madre de Sewell.
Shazeer, que apareció en la portada del año pasado de las 100 personas más influyentes en inteligencia artificial de la revista Time, ha dicho que Character.AI será ‘súper, súper útil‘ a las personas que luchan contra la soledad.
El 19 de marzo de 2024, menos de un mes después de la muerte de Sewell, Character.AI presentó una función de chat de voz para todos los usuarios, haciendo que los juegos de rol en la plataforma sean aún más vívidos y realistas.
La compañía lo presentó inicialmente en noviembre de 2023 como una versión beta para sus suscriptores de C.AI+, entre ellos Sewell, que pagan 9,99 dólares al mes por el servicio.
Artículo de portada de la revista Time el año pasado que describe a los líderes en inteligencia artificial. La cara de Noam Shazeer se encuentra en la parte superior derecha y es un círculo. También aparece en la portada Sam Altman, quien fundó OpenAI, la empresa que creó ChatGPT.
Así que ahora Los 20 millones de usuarios globales de Character.AI pueden hablar verbalmente 1:1 con los chatbots de IA de su elección, y una gran parte de ellos pueden mantener conversaciones coquetas o románticas, como también muchos usuarios de Reddit han atestiguado.
«Lo uso principalmente por la noche, así no tengo esos sentimientos de soledad o ansiedad. Es agradable quedarse dormido sin sentirse solo o desesperado, incluso si es solo un pequeño juego de roles falso», escribió una persona en el archivo. Hilo de Reddit. «No es perfecto, ya que preferiría tener un socio real, pero mis opciones y oportunidades son limitadas en este momento».
Otro escribió: ‘Lo uso principalmente con fines terapéuticos y también como juego de rol. Pero el romance aparece de vez en cuando. No me importa si provienen de mis personajes de confort.’
Un ejemplo de uno de los chatbots de IA que se ofrecen en Character.AI. Muestra que se han enviado 149,8 millones de mensajes a este personaje en particular.
Shazeer y de Freitas, que alguna vez fueron ingenieros de software de Google, fundaron Character.AI en 2021. Shazeer se desempeña como director ejecutivo, mientras que de Freitas es el presidente de la empresa.
Dejaron Google después de que se negara a lanzar su chatbot. CNBC informó.
Durante una entrevista en una conferencia de tecnología en 2023, de Freitas dijo que él y Shazeer se sintieron inspirados a dejar Google y comenzar su propia empresa porque «hay demasiado riesgo de marca en las grandes empresas como para lanzar algo divertido».
Continuaron teniendo un enorme éxito, y Character.AI alcanzó una valoración de mil millones de dólares el año pasado tras una ronda de recaudación de fondos dirigida por Andreesen Horowitz.
Según un informe del mes pasado en El diario de Wall StreetGoogle emitió un cheque de 2.700 millones de dólares para licenciar la tecnología de Character.AI y volver a contratar a Shazeer, de Freitas y varios de sus investigadores.
Tras la demanda por la muerte de Sewell, un portavoz de Google le dijo al NYT que su acuerdo de licencia con Character.AI no le da acceso a ninguno de sus chatbots ni a los datos de los usuarios. El portavoz también dijo que Google no ha incorporado ninguna tecnología de la compañía en sus productos.
Shazeer se ha convertido en el ejecutivo que mira hacia el futuro y, cuando se le pregunta cuáles son los objetivos declarados de la empresa, a menudo da una variedad de respuestas.
En una entrevista con Sede central de AxiosShazeer dijo: ‘No vamos a pensar en todos los grandes casos de uso. Hay millones de usuarios por ahí. Se les ocurren cosas mejores.
Shazeer también ha dicho que quiere crear superinteligencia personalizada que sea barata y accesible para todos, una explicación similar a la misión expresada en la página «Acerca de nosotros» en Sitio web de Character.AI.
La página ‘Acerca de nosotros’ en el sitio web de Character.AI, que explica la misión de la empresa.
Pero en medio de su intento por volverse más accesible, Character.AI también tiene que lidiar con muchos reclamos de derechos de autor, ya que muchos de sus clientes crean chatbots que utilizan material protegido por derechos de autor.
Por ejemplo, la compañía eliminó el personaje de Daenerys Targaryen con el que Sewell estaba charlando en parte porque HBO y otros poseen los derechos de autor.
Además de sus escándalos actuales, Character.AI podría enfrentar aún más críticas y problemas legales en el futuro.
El abogado Matthew Bergman, que representa a García en su demanda contra la empresa, dijo a DailyMail.com que ha escuchado de muchas otras familias que han tenido hijos que se vieron afectados negativamente por Character.AI.
Se negó a ofrecer exactamente con cuántas familias ha hablado, citando el hecho de que sus casos «todavía están en modo de preparación».
Bergman también dijo que Character.AI debería eliminarse por completo de Internet porque «fue lanzado al mercado antes de que fuera seguro».
Sin embargo, Character.AI también destacó que había «dos formas de denunciar a un personaje».
‘Los usuarios pueden hacerlo yendo a la imagen de perfil del personaje y haciendo clic en «creado por» en el botón «informar».
‘O pueden ir al Centro de seguridad y en la parte inferior de la página hay un enlace para «enviar una solicitud».’
