DALL-E Mini: ¿Una herramienta inocente o discriminatoria?

DALL-E Mini es un generador de imágenes a través de texto que funciona mediante inteligencia artificial. Se trata de una versión web simplificada que Hugging Face ha creado del DALL-E original (2021), desarrollado por OpenAI, y el reciente DALL-E 2, que ha cautivado al público y regalado imágenes muy curiosas, pero, como ya hemos advertido en numerosas ocasiones, la IA hereda los sesgos presentes en las personas que las desarrollan. ¿Ocurre esto también con DALL-E Mini? Antes de nada, comprendamos cómo fue entrenado este sistema.

 

¿Cómo se ha entrenado DALL-E Mini?

Según los desarrolladores, se utilizaron 3 conjuntos de datos para entrenar el modelo:

  • Un conjunto de datos conceptuales con 3 millones de pares de imágenes y texto.
  • Un conjunto de 12 millones de pares de imágenes y texto.
  • El subconjunto OpenAI de YFCC100M tomó como muestra inicial 15 millones de imágenes y que, posteriormente, fueron submuestreadas a 2 millones debido a limitaciones en el espacio de almacenamiento. Se usó tanto el título como la descripción como pie de foto y se eliminaron las etiquetas html y los espacios adicionales.
  • Para ajustar el codificador de imágenes, se utilizó un subconjunto de 2 millones de imágenes.
  • Uso de todas las imágenes que disponibles para los desarrolladores (alrededor de 15 millones) para entrenar el modelo Seq2Seq.

 

Sesgos presentes en DALL-E Mini

La persona que desee utilizar DALL-E Mini escribe aquello que desea ver y, entonces, el sistema realiza un análisis de las palabras, lleva a cabo una búsqueda rápida en línea e identifica las imágenes asociadas a esas palabras para luego generar una composición tomando como referencia los resultados obtenidos.

Esto significa que ya contamos con varias fuentes de sesgo, ya que tanto para su entrenamiento como para la generación de imágenes utiliza grandes cantidades de imágenes ya existentes que ya han demostrado perpetuar estereotipos discriminatorios.

La mayoría de las imágenes que encontramos en redes sociales relacionadas con esta herramienta presentan a personajes famosos en situaciones extrañas o completamente fuera de su contexto pero si dejamos esa creatividad a un lado y le hacemos solicitudes más sencillas, los sesgos salen a la luz.

Por ejemplo, si le pedimos a DALL-E mini que nos cree imágenes de estudiantes que trabajan duro (del inglés hardworking students) en todas las imágenes creadas aparecen estudiantes de sexo masculino.

Por el contrario, si le solicitamos imágenes de estudiantes perezosos/as (lazy students) sí aparecen estudiantes de sexo femenino en ellas.

Lo mismo sucede con los trabajos que han estado estereotipados a lo largo de la historia. Si le preguntamos por médicos/as (doctors) aparecen hombres, si preguntamos por enfermeros/as (nurses) aparecen mujeres.

Y entre toda esta discriminación por cuestión de sexo, encontramos que en todos los resultados lanzados por DALL-E mini ante estas peticiones aparecen únicamente personas blancas.

Consciente de ello, DALL-E mini ha añadido el siguiente disclaimer bajo el generador de imágenes haciendo referencia a esta cuestión:

“Si bien las capacidades de los modelos de generación de imágenes son impresionantes, también pueden reforzar o exacerbar los sesgos sociales. Si bien el alcance y la naturaleza de los sesgos del minimodelo DALL·E aún no se han documentado por completo, dado que el modelo se entrenó con datos sin filtrar de Internet, puede generar imágenes que contengan estereotipos contra los grupos minoritarios. El trabajo para analizar la naturaleza y el alcance de estas limitaciones está en curso y se documentará con más detalle en la mini tarjeta modelo DALL·E.”

Pero, desde Eticas nos preguntamos, ¿es correcto lanzar sistemas de este tipo sin que pasen esta revisión de forma previa? Nuestra respuesta es rotundamente no. Incluso si, en el caso de DALL-E mini, las consecuencias no son fatales, hablamos de sesgos discriminatorios que deberían haber sido revisados antes de implantar cualquier sistema. Al igual que los coches tienen que pasar inspecciones o los alimentos deben someterse a un control sanitario, los sistemas de IA deberían afrontar estos mismos protocolos antes de que las personas usuarias puedan acceder o verse sometidas a ellos, de modo que no haya que reparar los daños o perjuicios producidos. Debemos, en definitiva, establecer los protocolos que nos garanticen una tecnología segura, ética y responsable.