Google, Openai, Roblox y Discord han formado una nueva organización sin fines de lucro para ayudar a mejorar la seguridad infantil en línea. El Herramientas de seguridad en línea abiertas robustas (Roost) La iniciativa tiene como objetivo hacer que las tecnologías de seguridad básicas sean más accesibles para las empresas y proporcionar herramientas de IA de código abierto gratuitas para identificar, revisar e informar material de abuso sexual infantil.
La iniciativa fue parcialmente motivada por los cambios que los avances generativos de IA han realizado en entornos en línea y tienen como objetivo abordar «una necesidad crítica de acelerar la innovación en la seguridad infantil en línea», según el fundador de Roost, y ex CEO de Google, Eric Schmidt. Los detalles sobre las herramientas de detección de CSAM son escasas más allá de que utilizarán modelos de IA de lenguaje grande y «unificarán» las opciones existentes para tratar el contenido.
«Comenzando con una plataforma centrada en la protección infantil, el enfoque colaborativo de código abierto de Roost fomentará la innovación y hará que la infraestructura esencial sea más transparente, accesible e inclusiva, con el objetivo de crear un Internet más seguro para todos», dijo Schmidt.
Algunos miembros fundadores de Roost Like Discord están proporcionando fondos, mientras que otros están abriendo sus herramientas o experiencia en el proyecto. Roost dice que se está asociando con los principales desarrolladores de modelos de la Fundación AI para construir una «comunidad de práctica» para las salvaguardas de contenido, que incluirá proporcionar conjuntos de datos de capacitación de IA examinados e identificar brechas en seguridad.
La iniciativa dice que hará que las «herramientas que ya existan» sean más accesibles, combinando efectivamente diversas tecnologías de detección e informes de sus organizaciones miembros en una solución unificada que es más fácil de implementar para otras compañías. Naren Koneru, vicepresidenta de ingeniería, confianza y seguridad de Roblox, dijo Compañía rápida que el rocío puede alojar sistemas de moderación de IA que las empresas pueden integrar a través de las llamadas API. Sin embargo, hay cierta ambigüedad sobre lo que incluirán las herramientas de moderación de AI de Roost.
Junto a su participación en RoostDiscord ha lanzado una nueva característica «ignorar» que permite a los usuarios ocultar mensajes y notificaciones que reciben sin notificar a las personas que han silenciado. «En Discord, creemos que la seguridad es un bien común», dijo el director legal de Discord Clint Smith en el anuncio de Roost. «Estamos comprometidos a hacer todo Internet, no solo la discordia, un lugar mejor y más seguro, especialmente para los jóvenes».
Roost ha recaudado más de $ 27 millones para apoyar sus primeros cuatro años de operaciones, respaldados por organizaciones filantrópicas, incluidas la Fundación McGovern, Future of Online Trust and Safety Fund, Knight Foundation y la AI Collaborative. La organización Roost también recibirá apoyo por expertos en seguridad infantil, inteligencia artificial, tecnología de código abierto y «contrarrestar el extremismo violento» según el comunicado de prensa.
