Tanto OpenAI como Meta revelaron esta semana detalles sobre persistentes campañas maliciosas realizadas por actores vinculados a China, Israel, Rusia e Irán, que, según determinaron, usaron sus respectivos servicios para difundir desinformación y alterar la política en Estados Unidos y otros países.
En su último informe trimestral de amenazas publicado el miércoles, Meta enfatizó que la inteligencia artificial generativa aún es fácil de detectar en tales campañas.
“Hasta ahora, no hemos visto tácticas novedosas impulsadas por IA generativa que impidan nuestra capacidad de interrumpir las redes adversarias detrás de ellas”, dijo el gigante de las redes sociales.
Aunque las fotos generadas por IA se usan ampliamente, Meta añadió que los deepfakes políticos—una gran amenaza global, según muchos expertos—no son comunes. “No hemos visto que los actores amenazantes usen imágenes de políticos generadas por IA fotorrealistas como una tendencia más amplia en este momento”, señala el informe.
Por su parte, OpenAI dijo que incorporó defensas en sus modelos de IA, colaboró con socios para compartir inteligencia sobre amenazas y aprovechó su propia tecnología de IA para detectar e interrumpir actividades maliciosas.
“Nuestros modelos están diseñados para imponer fricciones a los actores amenazantes”, informó la compañía ayer. “Los hemos construido pensando en la defensa”.
OpenAI señaló que sus salvaguardas de contenido demostraron ser exitosas al rechazar sus modelos algunas de las solicitudes, y dijo que prohibió las cuentas asociadas con las campañas identificadas y ha compartido detalles relevantes con socios de la industria y fuerzas del orden para facilitar más investigaciones.
OpenAI describió las operaciones de influencia encubierta como “intentos engañosos de manipular la opinión pública o influir en resultados políticos sin revelar la verdadera identidad o intenciones de los actores detrás de ellos”. Sus últimas revelaciones se describen como parte de los esfuerzos de transparencia de OpenAI.
La compañía usó la información recopilada de estas campañas para profundizar, evaluando cuán impactantes fueron las operaciones de desinformación y clasificando sus técnicas para mejorar futuras contramedidas. En una escala de 1 a 6—siendo el puntaje más alto para campañas que alcanzaron audiencias auténticas en múltiples plataformas—OpenAI dijo que ninguno de los actores identificados obtuvo más de 2.
Según OpenAI, al menos cinco campañas distintas usaron sus modelos para generar contenido de texto que luego se difundió en plataformas de redes sociales como Telegram, Twitter, Instagram, Facebook y foros en línea, así como en otros sitios web. Meta, por su parte, informó sobre contenido generado por IA junto con otros grupos señalados por “comportamiento inauténtico coordinado”.
Aquí hay algunas de las campañas específicas señaladas por ambas compañías.
La amenaza rusa
Una campaña rusa apodada “Mala Gramática” utilizó los sistemas de OpenAI para generar comentarios en múltiples idiomas que se publicaron en Telegram, dirigidos a audiencias en Rusia, Ucrania, Estados Unidos, Moldavia y los estados bálticos. Los comentarios tocaban temas como la invasión rusa a Ucrania, política y eventos actuales.
“La red principalmente comentó en publicaciones de un pequeño número de canales de Telegram”, dice OpenAI. “El más mencionado fue el canal pro-ruso @Slavyangrad, seguido por los canales en inglés @police_frequency y @SGTNewsNetwork”.
Otra operación rusa persistente llamada “Doppelganger” usó ChatGPT para generar artículos web, publicaciones en redes sociales y comentarios que en su mayoría retrataban a Rusia de manera positiva mientras denigraban a Ucrania, Estados Unidos y la OTAN. Este contenido tenía como objetivo aumentar el compromiso y la productividad en plataformas como 9GAG.
Doppelganger también intentó usar herramientas de OpenAI para crear imágenes artificiales con leyendas críticas de los gobiernos occidentales, pero la compañía dijo que su sistema rechazó solicitudes que parecían ser propaganda desinformativa.
Meta también mencionó al grupo en su Informe de Amenazas Adversarias, enfocado en su intento de infiltración en las plataformas de redes sociales de Meta a través de varios temas. El desafío, señaló Meta, es que el grupo cambia sus tácticas con frecuencia, evolucionando con el tiempo.
Desinformación de Israel
Una firma privada israelí llamada STOIC lanzó una operación apodada “Zero Zeno” por OpenAI, que aprovechó sus modelos de IA para generar comentarios. Zero Zeno incorporó las observaciones en tácticas de desinformación más amplias dirigidas a Europa y Norteamérica.
“Zero Zeno publicó textos cortos sobre temas específicos, especialmente el conflicto en Gaza, en Instagram y X. Estos textos fueron generados usando nuestros modelos”, reveló OpenAI. “Un conjunto adicional de cuentas en esas plataformas luego respondería con comentarios que también fueron generados por esta operación”.
“Una investigación de código abierto en febrero describió esta red criticando a la agencia de ayuda de las Naciones Unidas en Palestina”, señaló el informe, enlazando a un informe más extenso.
La tecnología de OpenAI también fue aprovechada por Zero Zeno para crear biografías falsas y contribuir a un compromiso falso. OpenAI también reveló que la firma israelí usó su tecnología para atacar a “la organización sindical Histadrut en Israel y las elecciones indias”.
Este grupo también fue señalado por Meta.
“Las cuentas de esta red se hacían pasar por locales en los países que atacaban, incluyendo estudiantes judíos, afroamericanos y ciudadanos ‘preocupados'”, dijo Meta. “Publicaban principalmente en inglés sobre la guerra Israel-Hamás, incluyendo llamados a la liberación de rehenes; elogios a las acciones militares de Israel; críticas al antisemitismo en los campus, a la Agencia de Obras y Socorro de las Naciones Unidas (UNRWA) y a los musulmanes, afirmando que el ‘islam radical’ representa una amenaza a los valores liberales en Canadá”.
Meta dijo que prohibió al grupo y emitió una carta de cese y desistimiento a STOIC.
Esfuerzos chinos de “Spamouflage”
La campaña “Spamouflage” de China utilizó los modelos de lenguaje de OpenAI para tareas como depurar código y generar comentarios en varios idiomas para difundir narrativas bajo el pretexto de desarrollar software de productividad.
“Spamouflage publicó comentarios cortos en X criticando a la disidente china Cai Xia [en] forma de una publicación inicial y una serie de respuestas”, dice OpenAI. “Cada comentario en la ‘conversación’ fue generado artificialmente usando nuestros modelos, probablemente para crear la falsa impresión de que personas reales habían interactuado con el contenido de la operación”.
Sin embargo, en el caso de las campañas anti-Ucrania, los comentarios y publicaciones generados a través de OpenAI en 9GAG parecen haber provocado reacciones extremadamente negativas y críticas de los usuarios, quienes denunciaron la actividad como falsa e inauténtica.
Otra campaña de desinformación de IA con vínculos con China fue detectada por Meta. “Publicaban principalmente en inglés e hindi sobre noticias y eventos actuales, incluyendo imágenes probablemente manipuladas por herramientas de edición de fotos o generadas por inteligencia artificial”.
Por ejemplo, los usuarios de la red publicaron comentarios negativos sobre el gobierno indio y cubrieron temas similares como la comunidad sij, el movimiento Jalistán y el asesinato de Hardeep Singh Nijja.
Operación iraní
Una operación iraní de larga data conocida como la Unión Internacional de Medios Virtuales (IUVM) fue identificada abusando de las capacidades de generación de texto de OpenAI para crear publicaciones e imágenes multilingües que apoyaban puntos de vista y narrativas pro-Irán, anti-EE.UU. y anti-Israel.
“Esta campaña se dirigió a audiencias globales y se centró en la generación de contenido en inglés y francés—usó nuestros modelos para generar y corregir artículos, titulares y etiquetas de sitios web”, dijo OpenAI. El contenido posteriormente sería publicado y promovido en sitios web pro-Irán y a través de las redes sociales como parte de una campaña de desinformación más amplia.
