Lo que una herramienta de aprendizaje automático que convierte a Obama en blanco puede (y no puede) decirnos sobre el sesgo de AI

Es una imagen sorprendente que ilustra los sesgos profundamente arraigados de la investigación de IA. Ingrese una imagen de baja resolución de Barack Obama, el primer presidente negro de los Estados Unidos, en un algoritmo diseñado para generar caras depixeladas, y la salida es un hombre blanco.

No es solo Obama tampoco. Obtenga el mismo algoritmo para generar imágenes de alta resolución de la actriz Lucy Liu o la congresista Alexandria Ocasio-Cortez a partir de entradas de baja resolución, y las caras resultantes se ven claramente blancas. Como lo expresó un tuit popular que cita el ejemplo de Obama: "Esta imagen dice mucho sobre los peligros del sesgo en la IA".

Pero, ¿qué está causando estos resultados y qué nos dicen realmente sobre el sesgo de AI?

Primero, necesitamos saber un poco sobre la tecnología que se usa aquí. El programa que genera estas imágenes es un algoritmo llamado PULSE , que utiliza una técnica conocida como escalamiento para procesar datos visuales. El aumento de escala es como los tropos de " zoom y mejora " que ves en la televisión y las películas, pero, a diferencia de Hollywood, el software real no puede generar nuevos datos de la nada. Para convertir una imagen de baja resolución en una de alta resolución, el software debe completar los espacios en blanco mediante el aprendizaje automático.

En el caso de PULSE, el algoritmo que realiza este trabajo es StyleGAN, que fue creado por investigadores de NVIDIA. Aunque es posible que no haya oído hablar de StyleGAN antes, probablemente esté familiarizado con su trabajo. Es el algoritmo responsable de hacer esos rostros humanos inquietantemente realistas que puedes ver en sitios web como ThisPersonDoesNotExist.com ; caras tan realistas que a menudo se usan para generar perfiles falsos de redes sociales .

Lo que PULSE hace es usar StyleGAN para "imaginar" la versión de alta resolución de las entradas pixeladas. Lo hace no "mejorando" la imagen de baja resolución original, sino generando una cara de alta resolución completamente nueva que, cuando se pixela, se ve igual a la que ingresó el usuario.

Esto significa que cada imagen depixelada se puede escalar de varias maneras, de la misma manera que un solo conjunto de ingredientes hace diferentes platos. También es la razón por la que puede usar PULSE para ver qué tipo de Doom , o el héroe de Wolfenstein 3D , o incluso el emoji llorando se ven en alta resolución. No es que el algoritmo esté "encontrando" nuevos detalles en la imagen como en el tropo "acercar y mejorar"; en su lugar, inventa nuevas caras que vuelven a los datos de entrada.

Este tipo de trabajo ha sido teóricamente posible desde hace unos años, pero, como suele ser el caso en el mundo de la IA, llegó a un público más amplio cuando una versión fácil de ejecutar del código se compartió en línea este fin de semana. Fue entonces cuando las disparidades raciales comenzaron a aumentar.

Los creadores de PULSE dicen que la tendencia es clara: cuando se usa el algoritmo para escalar imágenes pixeladas, el algoritmo genera con mayor frecuencia caras con rasgos caucásicos.

"Parece que PULSE produce caras blancas con mucha más frecuencia que las caras de personas de color", escribieron los creadores del algoritmo en Github . "Es probable que este sesgo se herede del conjunto de datos en el que se formó StyleGAN […] aunque podría haber otros factores que desconocemos".

En otras palabras, debido a los datos sobre los que se entrenó StyleGAN, cuando se trata de crear una cara que se parezca a la imagen de entrada pixelada, el valor predeterminado es las características blancas.

Este problema es extremadamente común en el aprendizaje automático, y es una de las razones por las cuales los algoritmos de reconocimiento facial funcionan peor en rostros no blancos y femeninos. Los datos utilizados para entrenar IA a menudo se desvían hacia un solo grupo demográfico, hombres blancos, y cuando un programa ve datos que no están en ese grupo demográfico, funciona mal. No es coincidencia, son los hombres blancos quienes dominan la investigación de IA .

Pero exactamente lo que revela el ejemplo de Obama sobre el sesgo y cómo se pueden solucionar los problemas que representa son preguntas complicadas. De hecho, son tan complicados que esta única imagen ha provocado un gran desacuerdo entre los académicos, ingenieros e investigadores de IA.

A nivel técnico, algunos expertos no están seguros de que esto sea incluso un ejemplo de sesgo del conjunto de datos. El artista de IA Mario Klingemann sugiere que el algoritmo de selección PULSE en sí, en lugar de los datos, es el culpable. Klingemann señala que pudo usar StyleGAN para generar más salidas no blancas de la misma imagen pixelada de Obama, como se muestra a continuación:

Estas caras se generaron utilizando "el mismo concepto y el mismo modelo StyleGAN" pero diferentes métodos de búsqueda para Pulse, dice Klingemann, quien dice que realmente no podemos juzgar un algoritmo con solo unas pocas muestras. "Probablemente hay millones de caras posibles que se reducirán al mismo patrón de píxeles y todas ellas son igualmente 'correctas'", dijo a The Verge .

(Por cierto, esta es también la razón por la cual es poco probable que herramientas como esta sean útiles para fines de vigilancia. Las caras creadas por estos procesos son imaginarias y, como muestran los ejemplos anteriores, tienen poca relación con la verdad fundamental de la entrada. Sin embargo , no es que grandes fallas técnicas hayan impedido que la policía adopte tecnología en el pasado).

Pero independientemente de la causa, los resultados del algoritmo parecen sesgados, algo que los investigadores no notaron antes de que la herramienta fuera ampliamente accesible. Esto habla de un tipo de sesgo diferente y más generalizado: uno que opera a nivel social.

Deborah Raji, investigadora en responsabilidad de IA, le dice a The Verge que este tipo de sesgo es muy típico en el mundo de la IA. "Dada la existencia básica de personas de color, la negligencia de no realizar pruebas para esta situación es sorprendente, y probablemente refleja la falta de diversidad que seguimos viendo con respecto a quién puede construir tales sistemas", dice Raji. “Las personas de color no son atípicas. No somos autores de 'casos límite' que podemos olvidar ”.

El hecho de que algunos investigadores parezcan interesados en abordar solo el lado de los datos del problema del sesgo es lo que generó argumentos más amplios sobre la imagen de Obama. El principal científico de IA de Facebook, Yann LeCun, se convirtió en un punto crítico para estas conversaciones después de tuitear una respuesta a la imagen que decía que "los sistemas de ML están sesgados cuando los datos están sesgados", y agregó que este tipo de sesgo es un problema mucho más grave "en un producto implementado que en un trabajo académico ". La implicación es: no nos preocupemos demasiado por este ejemplo en particular.

Muchos investigadores, Raji entre ellos, discreparon con el encuadre de LeCun, señalando que el sesgo en la IA se ve afectado por injusticias y prejuicios sociales más amplios, y que el simple uso de datos "correctos" no trata las injusticias más grandes.

Otros señalaron que incluso desde el punto de vista de una solución puramente técnica, los conjuntos de datos "justos" a menudo pueden ser cualquier cosa menos. Por ejemplo, un conjunto de datos de caras que reflejaran con precisión la demografía del Reino Unido sería predominantemente blanco porque el Reino Unido es predominantemente blanco. Un algoritmo entrenado con estos datos funcionaría mejor en caras blancas que en caras no blancas. En otras palabras, los conjuntos de datos "justos" aún pueden crear sistemas sesgados. (En un hilo posterior en Twitter , LeCun reconoció que había múltiples causas para el sesgo de AI).

Raji le dice a The Verge que también estaba sorprendida por la sugerencia de LeCun de que los investigadores deberían preocuparse menos por el sesgo que los ingenieros que producen sistemas comerciales, y que esto reflejaba una falta de conciencia en los niveles más altos de la industria.

"Yann LeCun lidera un laboratorio de la industria conocido por trabajar en muchos problemas de investigación aplicada que regularmente buscan para producir", dice Raji. "Literalmente no puedo entender cómo alguien en esa posición no reconoce el papel que tiene la investigación en la creación de normas para los despliegues de ingeniería". The Verge contactó a LeCun para obtener comentarios, pero no recibió una respuesta antes de la publicación.

Muchos sistemas comerciales de IA, por ejemplo, se construyen directamente a partir de datos de investigación y algoritmos sin ningún ajuste por disparidades raciales o de género. No abordar el problema del sesgo en la etapa de investigación simplemente perpetúa los problemas existentes.

En este sentido, entonces, el valor de la imagen de Obama no es que exponga una sola falla en un solo algoritmo; es que comunica, a un nivel intuitivo, la naturaleza dominante del sesgo de IA. Sin embargo, lo que oculta es que el problema del sesgo es mucho más profundo que cualquier conjunto de datos o algoritmo. Es un problema generalizado que requiere mucho más que soluciones técnicas.

Como un investigador, Vidushi Marda, respondió en Twitter a las caras blancas producidas por el algoritmo: “En caso de que sea necesario decirlo explícitamente, esto no es un llamado a la 'diversidad' en los conjuntos de datos o a la 'precisión mejorada' en el rendimiento; un llamado a una reconsideración fundamental de las instituciones y personas que diseñan, desarrollan e implementan esta tecnología en primer lugar ".