Campañas de influencia extranjera u operaciones de información. han sido generalizados en el período previo a las elecciones presidenciales estadounidenses de 2024. Las campañas de influencia son esfuerzos a gran escala para cambiar la opinión pública, impulsar narrativas falsas o cambiar comportamientos entre una población objetivo. Rusia, Porcelana, Irán, Israel y otras naciones han llevado a cabo estas campañas explotando robots sociales, personas influyentes, empresas de medios y IA generativa.
En la Universidad de Indiana Observatorio en Redes Socialesmis colegas y yo estudiar campañas de influencia y diseñar soluciones técnicas – algoritmos – detectar y contrarrestarlos. Métodos de última generación desarrollados en nuestro centro utilizan varios indicadores de este tipo de actividad en línea, que los investigadores denominan comportamiento coordinado no auténtico. Identificamos grupos de cuentas de redes sociales que publican de forma sincronizada, amplifican los mismos grupos de usuarios, comparten conjuntos idénticos de enlaces, imágenes o hashtags, o realizan secuencias de acciones sospechosamente similares.
Hemos descubierto muchos ejemplos de comportamiento no auténtico coordinado. Por ejemplo, encontramos cuentas que inundan la red con decenas o cientos de miles de publicaciones en un solo día. La misma campaña puede publicar un mensaje con una cuenta y luego tener otras cuentas que sus organizadores también controlan «me gusta» y «no me gusta» cientos de veces en un corto período de tiempo. Una vez que la campaña logra su objetivo, todos estos mensajes pueden ser eliminado para evadir la detección. Usando estos trucos, los gobiernos extranjeros y sus agentes pueden manipular los algoritmos de las redes sociales que determinan qué es tendencia y qué es atractivo para decidir qué ven los usuarios en sus feeds.
IA generativa
Una técnica que se utiliza cada vez más es la creación y gestión de ejércitos de cuentas falsas con inteligencia artificial generativa. Analizamos 1.420 cuentas falsas de Twitter (ahora X) que utilizaban Rostros generados por IA por sus fotos de perfil. Estas cuentas se utilizaron para difundir estafas, difundir spam y amplificar mensajes coordinados, entre otras actividades.
Estimamos que al menos 10.000 cuentas como estas estaban activas diariamente en la plataforma, y eso fue antes del CEO de X, Elon Musk. Recortar drásticamente los equipos de confianza y seguridad de la plataforma.. También identificamos una red de 1.140 bots que usaban ChatGPT generar contenido humanoide para promover sitios web de noticias falsas y estafas con criptomonedas.
Además de publicar contenido generado por máquinas, comentarios dañinos e imágenes robadas, estos robots interactuaron entre sí y con humanos a través de respuestas y retuits. Los detectores de contenido de modelos de lenguaje grandes de última generación son incapaz de distinguir entre bots sociales habilitados para IA y cuentas humanas en la naturaleza.
Modelar mal comportamiento
Las consecuencias de tales operaciones son difíciles de evaluar debido a los desafíos que plantean coleccionando datos y llevando a cabo experimentos éticos eso influiría en las comunidades en línea. Por lo tanto, no está claro, por ejemplo, si las campañas de influencia en línea pueden influir en los resultados electorales. Sin embargo, es vital comprender la vulnerabilidad de la sociedad a diferentes tácticas de manipulación.
En un artículo reciente, presentamos un modelo de redes sociales llamado SimSoM que simula cómo se difunde la información a través de la red social. El modelo tiene los ingredientes clave de plataformas como Instagram, X, Threads, Bluesky y Mastodon: una red de seguidores empírica, un algoritmo de alimentación, mecanismos para compartir y compartir, y métricas de calidad, atractivo y participación del contenido.
SimSoM permite a los investigadores explorar escenarios en los que la red es manipulada por agentes maliciosos que controlan cuentas no auténticas. Estos malos actores tienen como objetivo difundir información de baja calidad, como desinformación, teorías de conspiración, malware u otros mensajes dañinos. Podemos estimar los efectos de las tácticas de manipulación adversa midiendo la calidad de la información a la que están expuestos los usuarios objetivo en la red.
Simulamos escenarios para evaluar el efecto de tres tácticas de manipulación. Primero, la infiltración: tener cuentas falsas crea interacciones creíbles con usuarios humanos en una comunidad objetivo, logrando que esos usuarios los sigan. En segundo lugar, el engaño: hacer que las cuentas falsas publiquen contenido atractivo, que probablemente sea compartido por los usuarios objetivo. Los robots pueden hacer esto, por ejemplo, aprovechando las respuestas emocionales y la alineación política. En tercer lugar, inundación: publicar grandes volúmenes de contenido.
Nuestro modelo muestra que la infiltración es la táctica más efectiva, reduciendo la calidad promedio del contenido en el sistema en más del 50%. Este daño puede agravarse aún más al inundar la red con contenido atractivo pero de baja calidad, reduciendo así la calidad en un 70%.
Frenar la manipulación coordinada
Hemos observado todas estas tácticas en la naturaleza. Resulta especialmente preocupante que los modelos de IA generativa puedan hacer que a los agentes malintencionados les resulte mucho más fácil y económico crear y gestionar cuentas creíbles. Además, pueden utilizar la IA generativa para interactuar sin parar con los humanos y crear y publicar contenido dañino pero atractivo a gran escala. Todas estas capacidades se utilizan para infiltrarse en las redes de los usuarios de las redes sociales e inundar sus feeds con publicaciones engañosas.
Estos conocimientos sugieren que las plataformas de redes sociales deberían participar en más – no menos – moderación de contenido para identificar y obstaculizar las campañas de manipulación y, por lo tanto, aumentar la resiliencia de sus usuarios ante las campañas.
Las plataformas pueden hacer esto dificultando que los agentes maliciosos creen cuentas falsas y publiquen automáticamente. También pueden desafiar las cuentas que publican a tasas muy altas para demostrar que son humanas. ellos pueden añadir fricción en combinación con esfuerzos educativos, como empujando a los usuarios a compartir información precisa. Y pueden educar a los usuarios sobre su vulnerabilidad al contenido engañoso generado por IA.
Los modelos y datos de IA de código abierto hacen posible que agentes malintencionados creen sus propias herramientas de IA generativa. Por lo tanto, la regulación debería centrarse Difusión de contenidos de IA a través de plataformas de redes sociales en lugar de generación de contenido de IA. Por ejemplo, antes de que un gran número de personas puedan verse expuestas a algún contenido, una plataforma podría exigir a su creador que demuestre su exactitud o procedencia.
Estos tipos de moderación de contenido Proteger, en lugar de censurar, la libertad de expresión. en las plazas públicas modernas. El derecho a la libertad de expresión no es un derecho a la exposición y, dado que la atención de la gente es limitada, las operaciones de influencia pueden ser, de hecho, una forma de censura al hacer menos visibles las voces y opiniones auténticas.
