La policía francesa registra la oficina de X en París en una investigación sobre Grok AI y contenido ilegal

En breve

• Los investigadores franceses registraron las oficinas de X en París como parte de una investigación sobre contenido ilegal y prácticas de algoritmos.
• El caso se amplió tras denuncias de que Grok fue utilizado para generar imágenes sexuales no consensuadas, incluyendo de niños.
• Los reguladores del Reino Unido han abierto investigaciones paralelas bajo leyes de protección de datos y seguridad en línea.

Las autoridades francesas registraron las oficinas de la plataforma de redes sociales X en París el martes como parte de una investigación criminal en expansión sobre presunto material de pornografía infantil vinculado al chatbot de IA de la plataforma, Grok. Según un informe de Sky News, la búsqueda fue realizada por la unidad especializada en ciberdelincuencia de Francia en coordinación con Europol. Los fiscales dijeron que Elon Musk, propietario de X, ha sido citado para declarar, junto con varios ejecutivos actuales y anteriores, incluyendo a la exdirectora ejecutiva Linda Yaccarino. “La investigación concierne a una serie de delitos penales sospechosos relacionados con el funcionamiento y uso de la plataforma, incluyendo la difusión de contenido ilegal y otras formas de actividad criminal en línea,” dijo Europol en un comunicado. “Europol está listo para seguir apoyando a las autoridades francesas a medida que avanza la investigación.”

 La investigación en Grok, lanzada el mes pasado, se centra en las acusaciones de que X fue cómplice en la distribución de material de abuso sexual infantil y otro contenido ilegal, con las autoridades alegando que Grok fue utilizado para generar más de 23,000 imágenes sexualizadas de niños. El pasado agosto, xAI lanzó “Modo Picante” específicamente para generar contenido NSFW, incluyendo un caso de alto perfil que involucra deepfakes de Taylor Swift. En una publicación en X, el departamento de Asuntos Gubernamentales Globales de la gigante de las redes sociales negó cualquier irregularidad, calificando la redada como una “investigación criminal politizada sobre la supuesta manipulación de algoritmos y la supuesta extracción fraudulenta de datos.”

“La redada simulada de hoy refuerza nuestra convicción de que esta investigación distorsiona la ley francesa, elude el debido proceso y pone en peligro la libertad de expresión,” escribieron. “X está comprometido a defender sus derechos fundamentales y los derechos de sus usuarios. No nos dejarán intimidar las acciones de las autoridades judiciales francesas hoy.” Los grupos de defensa del consumidor argumentan que cuando los reguladores investigan a desarrolladores de IA cuyas herramientas se usan para crear contenido ilegal, deberían examinar si la empresa pudo haber anticipado razonablemente cómo se usarían esas herramientas de manera indebida. “Los reguladores deberían examinar si las decisiones de diseño de la empresa hicieron que el uso ilegal fuera previsible, si las evaluaciones de riesgo fueron adecuadas y si las salvaguardas fueron probadas de manera significativa antes del lanzamiento,” dijo J.B. Branch, defensor de la responsabilidad en Big Tech en Public Citizen, a Decrypt. “Las plataformas que se benefician de un despliegue rápido deben asumir la responsabilidad por los daños que ese despliegue crea. Eso es exactamente lo que sucede en otras industrias.” Mientras que las leyes actuales contra imágenes sexuales no consensuadas y material de abuso sexual infantil siguen siendo esenciales, Branch dijo que no estaban diseñadas para IA que puede “producir daño en masa a velocidad escalable.” “Necesitamos obligaciones más claras y proactivas que exijan a las empresas prevenir el abuso habilitado por IA antes de que ocurra, incluyendo pruebas independientes por parte de reguladores que puedan poner a prueba los problemas antes de que los productos de IA salgan al mercado,” afirmó. “Cuando algo tan serio sucede, la herramienta debe ser retirada de inmediato.” Las investigaciones abundan Las investigaciones sobre el chatbot se han expandido ahora a múltiples jurisdicciones, incluyendo el Reino Unido, la UE, India, Australia y EE. UU. El mismo día que las autoridades francesas registraron la oficina de X en París, la Oficina del Comisionado de Información del Reino Unido anunció que también había abierto una investigación sobre Grok. “Hemos dado este paso tras informes de que Grok ha sido utilizado para generar imágenes sexuales no consensuadas de personas, incluyendo niños,” dijo William Malcolm, Director Ejecutivo de Riesgo Regulatorio e Innovación de ICO, en un comunicado. “La creación y circulación reportada de dicho contenido genera serias preocupaciones bajo la ley de protección de datos del Reino Unido y presenta un riesgo de daño potencial significativo para el público.”

Según Malcolm, estas preocupaciones están relacionadas con si los datos personales han sido procesados de manera legal, justa y transparente, y si se construyeron salvaguardas apropiadas en el diseño y despliegue de Grok para prevenir la generación de imágenes manipuladas dañinas usando datos personales. “Donde esas salvaguardas fallan, las personas pierden control de sus datos personales de maneras que las exponen a daños graves,” escribió. “Examinar estos riesgos es central en el papel de la ICO en proteger los derechos de las personas y responsabilizar a las organizaciones mientras diseñan y despliegan tecnología de IA.” Las acciones en Europa son las últimas dirigidas a X y Grok, el mes pasado el regulador de medios del Reino Unido, Ofcom, abrió una investigación sobre si X violó sus obligaciones bajo la Ley de Seguridad en Línea. En enero, tras la reacción internacional contra Grok, xAI dijo que restringió las capacidades de edición de imágenes del chatbot y bloqueó ciertos comandos relacionados con la generación de imágenes de personas. La redada en París llega un día después de que Musk anunciara que SpaceX adquirió xAI, la startup de inteligencia artificial que previamente absorbió a X, colocando a la plataforma de redes sociales y sus sistemas de IA bajo el paraguas corporativo de SpaceX a medida que aumenta la supervisión regulatoria. “Somos conscientes de que X o Grok ahora ofrecen un ‘Modo Picante’ que muestra contenido sexual explícito con algunas salidas generadas con imágenes infantiles,” dijo Thomas Regnier, portavoz de la Comisión Europea, durante una conferencia de prensa reciente en Bruselas. “Esto no es picante. Esto es ilegal. Esto es atroz. Esto es repugnante. No tiene lugar en Europa.” SpaceX y xAI no respondieron de inmediato a solicitudes de comentarios por Decrypt.