Imágenes falsas, daños reales: crece la preocupación por el uso de la IA en abusos digitales a menores

08:20 | Viernes 07 de Noviembre de 2025 | La Rioja, Argentina | Fenix Multiplataforma

Una sentencia inédita en España marcó un punto de inflexión en el uso irresponsable de la inteligencia artificial. Los padres de un adolescente fueron multados con 2000 euros por la Agencia Española de Protección de Datos (AEPD) después de que su hijo creara imágenes falsas de sus compañeras de clase, generadas por IA, en la que las menores aparecían sin ropa.

La sanción es la primera de su tipo en Europa y sienta un precedente sobre la protección de los datos personales de menores en el entorno digital.

El caso remite a uno similar ocurrido en Estados Unidos, en el que una joven de 17 años, víctima también de una serie de deepfakes, demandó a la empresa responsable del sitio que permite a los usuarios crear ese tipo de imágenes, por las secuelas emocionales y el acoso sufrido luego de que sus compañeros de escuela difundieran las imágenes falsas generadas con la app.

Los paralelismos entre ambos episodios muestran el alcance global de un fenómeno que combina la facilidad de acceso a herramientas de inteligencia artificial con la ausencia de regulación efectiva, con consecuencias devastadoras: las fotos pueden ser falsas, pero el impacto psicológico, social y emocional para las víctimas es completamente real.

Una tecnología sin control y con víctimas reales

La aplicación web en cuestión, que preferimos no mencionar, combina rostros reales con cuerpos generados por inteligencia artificial y los resultados presentan alta similitud con las personas afectadas, ya que tiene en cuenta detalles como complexión y tono de piel con un nivel de realismo capaz de engañar a cualquier observador.

Lo más inquietante del caso no es solo la naturaleza del contenido, sino la facilidad con la que se puede acceder y crear este tipo de deepfakes. Basta con ingresar, crear una cuenta y subir una foto. En segundos, es sistema crea una versión hiperrealista que se puede usar con fines sexuales o de humillación.

Ese abismo entre la capacidad tecnológica y la respuesta legal abre un debate que nos atraviesa: ¿qué tan preparados estamos para enfrentar este nuevo tipo de violencia digital?

El Instituto Europeo de Igualdad de Género ya considera la creación y difusión de desnudos falsos sin consentimiento como una forma de violencia machista digital que expone la sexualidad de las mujeres sin su consentimiento, con el objetivo de ridiculizarlas y atacar su libertad.

Esta clase de agresiones digitales no solo reproducen patrones de violencia de género en entornos virtuales, sino que además ponen a prueba los límites del derecho y la capacidad de los Estados para proteger a las víctimas.

Las instituciones comienzan a reconocer que el daño no proviene únicamente de la exposición pública, sino del uso de la inteligencia artificial como herramienta de cosificación, acoso y control. Y aunque los marcos regulatorios europeos avanzan, las sanciones todavía distan de reflejar la gravedad del daño causado.

Al respecto, el abogado especialista en ciberseguridad, inteligencia artificial, protección de datos personales y nuevas tecnologías David Reigaraz considera que la sanción impuesta por la AEPD en España resulta insuficiente frente al daño causado, sobre todo al tratarse de menores y de contenido sexual manipulado mediante I: “Esto nos debería llevar a preguntarnos si la normativa que aplica es suficiente o si se debiera buscar alguna forma de lograr ese efecto disuasorio, ya que aún con una aplicación correcta de la ley, no se logra el objetivo buscado: evitar nuevos casos en el futuro”.

Según el experto, este tipo de delitos no solo vulneran la intimidad de las víctimas, sino que pueden acompañarlas durante años: “Una vez que esas imágenes circulan en la red, su eliminación completa es prácticamente imposible”. Y agregó: “Las víctimas o sus representantes pueden iniciar una acción civil por vulneración de los derechos a la intimidad, a la imagen y a la protección de datos personales, ya que la difusión de imágenes íntimas sin consentimiento, aunque sean generadas por IA, constituye una intromisión ilegítima que da lugar a indemnización por daños morales y patrimoniales”.

Por otra parte, Reigaraz puso el foco en el rol de las plataformas tecnológicas, que hoy no están obligadas a etiquetar ni controlar adecuadamente el contenido sintético que generan o alojan: “Estas empresas deberían garantizar la transparencia y el etiquetado de los contenidos generados por IA, incorporar mecanismos de detección proactiva y eliminar de inmediato los materiales ilegales”, sostuvo. “Además, deberían aplicar el principio de privacy by design and by default (Privacidad por diseño y por defecto), controles de edad y canales de denuncia eficaces. En España y Europa hay un marco normativo robusto con sanciones por su incumplimiento. Si en Argentina existieran normas similares, una plataforma que genera imágenes como las del caso y no etiquetara sus contenidos con frases como ‘generado con IA’ no podría operar, y si lo hiciera, enfrentaría sanciones”, concluyó.

Consultado por TN Tecno, Lucas Moyano, fiscal de la Nación, especialista en ciberseguridad, expresó: “En principio, claro, debería verse si hay algún tipo de responsabilidad de las plataformas por los daños y perjuicios ocasionados. Pero luego es una solución interesante, analizar la posibilidad de desindexar dichas plataformas para que proteger a futuras víctimas”.

Ambos casos reavivan un dilema central en la era digital: la tecnología, y principalmente las herramientas con IA avanzan más rápido que las leyes. Los modelos de lenguaje e imágenes generativos democratizaron el acceso a la creación de fotos, voces y videos falsos, pero también multiplicaron los riesgos de abuso. Mientras tanto, las víctimas, en su mayoría mujeres y adolescentes, enfrentan el costo emocional y social de una exposición que no eligieron.

La pregunta que queda en el aire es si las instituciones y las normas están realmente preparadas para protegerlas en un mundo donde la línea entre lo real y lo falso se vuelve cada día más difusa.

Cómo denunciar casos de violencia de género digital

En la Ciudad Autónoma de Buenos Aires, podés contactar a la Defensoría del Pueblo por teléfono al 0800-999-3722 / 4338-4900 (Int. 3754/3752) o por mensaje de Whatsapp en +54 9 11 7128-8301. Admeás podés escribir a los emails: consultas@defensoria.org.ar y cpdp@defensoria.org.ar

A nivel nacional, tenés las líneas de ayuda y atención a mujeres en situación de violencia: llamá 144 o por WhatsApp al ‪+54 9 11 2771-6463.

Otra opción es a través de la app móvil 144, que se puede descargar de manera gratuita desde el Google Play Store, y el Apple App Store.