El gigante de las redes sociales Twitter dice que un nuevo sistema para prevenir la propagación de material de abuso sexual infantil (CSAM) en su plataforma se “implementó sin problemas”, poniendo a prueba la tecnología desarrollada por el grupo sin fines de lucro Thorn.
La cuenta de Twitter Safety anunció el martes que participó en una prueba beta de la solución Safer impulsada por IA del grupo, para detectar, eliminar y reportar de forma proactiva material basado en texto que contenga explotación sexual infantil.
“A través de nuestra asociación continua con Thorn, estamos haciendo más para crear una plataforma segura”, escribió la cuenta de Twitter Safety. “Este trabajo se basa en nuestros incansables esfuerzos para combatir la explotación sexual infantil en línea, con el objetivo específico de expandir nuestras capacidades en la lucha contra el contenido de alto riesgo donde un niño está en riesgo inminente”.
“Esta solución autohospedada se implementó sin problemas en nuestros mecanismos de detección, permitiéndonos centrarnos en cuentas de alto riesgo”, continuó.
Fundada en 2012 por los actores Demi Moore y Ashton Kutcher, Thorn desarrolla herramientas y recursos enfocados en defender a los niños del abuso y la explotación sexual. En abril, Google, Meta y OpenAI se unieron a un compromiso emitido por Thorn y otra organización sin fines de lucro, prometiendo imponer controles en sus modelos de IA.
“Aprendimos mucho de nuestras pruebas beta”, dijo Rebecca Portnoff, vicepresidenta de ciencia de datos de Thorn, a Decrypt. “Si bien sabíamos que el abuso sexual infantil se manifiesta en todo tipo de contenido, incluyendo texto, vimos concretamente en estas pruebas beta cómo el aprendizaje automático/IA para texto puede tener un impacto real a gran escala”.
Según explicó Portnoff, el modelo de IA Safer comprende un modelo de lenguaje entrenado en textos relacionados con la seguridad infantil y un sistema de clasificación que genera predicciones de múltiples etiquetas para secuencias de texto. Las puntuaciones de predicción van de 0 a 1, indicando la confianza del modelo en la relevancia del texto para diversas categorías de seguridad infantil.
Si bien Portnoff no pudo revelar qué otras plataformas de redes sociales participaron en la prueba beta de la suite de productos Safer, dijo que la respuesta de otras empresas ha sido positiva.
“Algunos socios compartieron que el modelo es particularmente útil para identificar actividades dañinas de abuso sexual infantil, priorizar mensajes reportados y apoyar investigaciones sobre actores conocidos como malos”, dijo Portnoff.
Debido a la proliferación de herramientas de IA generativa desde el lanzamiento de ChatGPT en 2022, grupos de vigilancia de Internet como la Internet Watch Foundation con sede en el Reino Unido han sonado la alarma sobre una creciente cantidad de pornografía infantil generada por IA circulando en foros de la web oscura, advirtiendo que este material ilícito podría abrumar a Internet.
El anuncio del equipo de Twitter Safety llegó horas antes de que la Unión Europea exigiera a la empresa explicar informes de “disminución de recursos de moderación de contenido”.
El último informe de transparencia que Twitter presentó a los reguladores de la UE dijo que las medidas de recorte de costos de Elon Musk han reducido el tamaño del equipo de moderación de contenido de la plataforma en casi un 20% desde octubre de 2023, y redujeron la cantidad de idiomas monitoreados de 11 a 7.
“La comisión también está buscando más detalles sobre las evaluaciones de riesgo y las medidas de mitigación vinculadas al impacto de las herramientas de IA generativa en los procesos electorales, la difusión de contenido ilegal y la protección de los derechos fundamentales”, agrega la exigencia.
La UE inició un procedimiento formal contra Twitter en diciembre de 2023 por preocupaciones de que la empresa violó la Ley de Servicios Digitales en varias áreas, incluyendo gestión de riesgos, moderación de contenido, “patrones oscuros” y acceso a datos para investigadores.
La comisión dijo que Twitter debe proporcionar la información solicitada antes del 17 de mayo y responder preguntas adicionales antes del 27 de mayo.
