Knostic ha publicado una investigación esta semana que descubre un nuevo método de ciberataque a los motores de búsqueda de IA, que aprovecha un atributo inesperado: la impulsividad.
Empresa israelí de control de acceso mediante IA Knóstico ha publicado una investigación esta semana que descubre un nuevo método de ciberataque a los motores de búsqueda de IA, que aprovecha un atributo inesperado: la impulsividad. Los investigadores demuestran cómo los chatbots de IA como ChatGPT y Copilot de Microsoft pueden revelar datos confidenciales eludiendo sus mecanismos de seguridad.
ARTÍCULOS RELACIONADOS
El método, llamado Flowbreaking, explota una brecha arquitectónica interesante en los modelos de lenguaje grandes (LLM) en ciertas situaciones en las que el sistema ha «escupido» datos antes de que el sistema de seguridad haya tenido tiempo suficiente para verificarlos. Luego borra los datos como una persona que se arrepiente de lo que acaba de decir. Aunque los datos se borran en una fracción de segundo, un usuario que captura una imagen de la pantalla puede documentarlo.
El cofundador y director ejecutivo de Knostic, Gadi Evron, quien anteriormente fundó Cymmetria, dijo: «Los sistemas LLM se construyen a partir de múltiples componentes y es posible atacar la interfaz de usuario entre los diferentes componentes». Los investigadores demostraron dos vulnerabilidades que explotan el nuevo método. El primer método, llamado «la segunda computadora», hace que el LLM envíe una respuesta al usuario antes de que se haya sometido a un control de seguridad, y el segundo método llamado «Stop and Flow» aprovecha el botón de parada para recibir una respuesta. antes de que haya sido filtrado.
Publicado por Globes, noticias de negocios de Israel – es.globes.co.il – el 26 de noviembre de 2024.
© Copyright de Globes Publisher Itonut (1983) Ltd., 2024.
Los fundadores de Knostic, Gadi Evron y Sounil Yu, crédito: Knostic
