in

Sin querer, creé un algoritmo de IA sesgado hace 25 años: las empresas tecnológicas siguen cometiendo el mismo error

Sin querer, creé un algoritmo de IA sesgado hace 25 años: las empresas tecnológicas siguen cometiendo el mismo error

En 1998, sin querer creé un algoritmo de inteligencia artificial racialmente sesgado. Hay lecciones en esa historia que resuenan aún más fuertemente hoy.

Los peligros del sesgo y los errores en los algoritmos de IA ahora son bien conocidos. ¿Por qué, entonces, ha habido una oleada de errores por parte de las empresas tecnológicas en los últimos meses, especialmente en el mundo de los chatbots de IA y los generadores de imágenes? Versiones iniciales de ChatGPT producidas salida racista. Los generadores de imágenes DALL-E 2 y Stable Diffusion mostraron sesgo racial en las imágenes que crearon.

Mi propia epifanía como hombre blanco científico de la computación ocurrió mientras enseñaba una clase de informática en 2021. La clase acababa de ver un videopoema de Joy Buolamwini, Investigador y artista de IA y el autodenominado poeta de código. Su videopoema de 2019 “AI, ¿no soy una mujer?” es una exposición devastadora de tres minutos sobre los prejuicios raciales y de género en los sistemas automáticos de reconocimiento facial, sistemas desarrollados por empresas tecnológicas como Google y Microsoft.

Los sistemas a menudo fallan con las mujeres de color, etiquetándolas incorrectamente como hombres. Algunas de las fallas son particularmente notorias: el cabello de la líder negra de derechos civiles Ida B. Wells está etiquetado como un «gorro de piel de mapache»; otra mujer negra está etiquetada como poseedora de un “bigote de morsa”.

Haciendo eco a través de los años

Tuve un horrible momento de déjà vu en esa clase de informática: de repente recordé que yo también había creado una vez un algoritmo racialmente sesgado. En 1998, era estudiante de doctorado. Mi proyecto involucró el seguimiento de los movimientos de la cabeza de una persona en función de la entrada de una cámara de video. Mi asesor de doctorado ya había desarrollado tecnicas matematicas para seguir con precisión la cabeza en ciertas situaciones, pero el sistema necesitaba ser mucho más rápido y más robusto. A principios de la década de 1990, investigadores en otros laboratorios había demostrado que las áreas del color de la piel de una imagen podían extraerse en tiempo real. Así que decidimos centrarnos en el color de la piel como una señal adicional para el rastreador.

El algoritmo de seguimiento de la cabeza de 1998 del autor usó el color de la piel para distinguir una cara del fondo de una imagen.
Fuente: John MacCormick, CC BY-ND

Usé una cámara digital, todavía una rareza en ese momento, para tomar algunas fotos de mi propia mano y rostro, y también tomé las manos y los rostros de otras dos o tres personas que estaban en el edificio. Fue fácil extraer manualmente algunos de los píxeles del color de la piel de estas imágenes y construir un modelo estadístico para los colores de la piel. Después de algunos ajustes y depuraciones, tuvimos un tiempo real sorprendentemente robusto sistema de seguimiento de la cabeza.

No mucho tiempo después, mi asesor me pidió que hiciera una demostración del sistema a algunos ejecutivos de la empresa que estaban de visita. Cuando entraron en la sala, al instante me inundó la ansiedad: los ejecutivos eran japoneses. En mi experimento casual para ver si un modelo estadístico simple funcionaría con nuestro prototipo, había recopilado datos de mí mismo y de un puñado de personas que estaban en el edificio. Pero el 100% de estos sujetos tenían la piel “blanca”; los ejecutivos japoneses no lo hicieron.

Milagrosamente, el sistema funcionó razonablemente bien con los ejecutivos de todos modos. Pero me sorprendió darme cuenta de que había creado un sistema racialmente sesgado que podría haber fallado fácilmente para otras personas que no eran blancas.

Privilegio y prioridades

¿Cómo y por qué los científicos bien educados y bien intencionados producen sistemas de IA sesgados? Las teorías sociológicas del privilegio proporcionan una lente útil.

Diez años antes de que yo creara el sistema de seguimiento de la cabeza, la académica Peggy McIntosh propuso la idea de un “mochila invisible” llevado por los blancos. Dentro de la mochila hay un tesoro oculto de privilegios como “Puedo hacerlo bien en una situación desafiante sin que me llamen el crédito de mi raza” y “Puedo criticar a nuestro gobierno y hablar sobre cuánto temo sus políticas y comportamiento sin ser visto como un extraño cultural”.

En la era de la IA, esa mochila necesita algunos elementos nuevos, como «los sistemas de IA no darán malos resultados debido a mi raza». La mochila invisible de un científico blanco también necesitaría: “Puedo desarrollar un sistema de IA basado en mi propia apariencia y sé que funcionará bien para la mayoría de mis usuarios”.

El vídeo poema de la investigadora y artista de IA Joy Buolamwini ‘AI, ¿no soy una mujer?’

Un remedio sugerido para el privilegio blanco es estar activamente anti racista. Para el sistema de seguimiento de cabezas de 1998, podría parecer obvio que el remedio antirracista es tratar todos los colores de piel por igual. Ciertamente, podemos y debemos asegurarnos de que los datos de entrenamiento del sistema representen el rango de todos los colores de piel de la manera más equitativa posible.

Desafortunadamente, esto no garantiza que todos los colores de piel observados por el sistema sean tratados por igual. El sistema debe clasificar todos los colores posibles como piel o no piel. Por lo tanto, existen colores justo en el límite entre la piel y la no piel, una región que los informáticos llaman límite de decisión. Una persona cuyo color de piel sobrepase este límite de decisión será clasificada incorrectamente.

Los científicos también se enfrentan a un desagradable dilema subconsciente al incorporar la diversidad en los modelos de aprendizaje automático: los modelos diversos e inclusivos funcionan peor que los modelos estrechos.

Una simple analogía puede explicar esto. Imagina que te dan a elegir entre dos tareas. La tarea A es identificar un tipo particular de árbol, por ejemplo, olmos. La tarea B es identificar cinco tipos de árboles: olmo, fresno, acacia, haya y nogal. Es obvio que si se le da una cantidad fija de tiempo para practicar, se desempeñará mejor en la Tarea A que en la Tarea B.

De la misma manera, un algoritmo que rastree solo la piel blanca será más preciso que un algoritmo que rastree toda la gama de colores de la piel humana. Incluso si son conscientes de la necesidad de diversidad y equidad, los científicos pueden verse afectados inconscientemente por esta necesidad competitiva de precisión.

Escondido en los números

Mi creación de un algoritmo sesgado fue irreflexiva y potencialmente ofensiva. Aún más preocupante, este incidente demuestra cómo el sesgo puede permanecer oculto en lo profundo de un sistema de IA. Para ver por qué, considere un conjunto particular de 12 números en una matriz de tres filas y cuatro columnas. ¿Parecen racistas? El algoritmo de seguimiento de la cabeza que desarrollé en 1998 está controlado por una matriz como esta, que describe el modelo de color de la piel. Pero es imposible decir solo con estos números que se trata de hecho de una matriz racista. Son solo números, determinados automáticamente por un programa de computadora.

una matriz de números en tres filas y cuatro columnas
Esta matriz está en el corazón del modelo de color de piel de 1998 del autor. ¿Puedes detectar el racismo?
Fuente: John MacCormick, CC BY-ND

El problema del sesgo oculto a simple vista es mucho más grave en los sistemas modernos de aprendizaje automático. Las redes neuronales profundas, actualmente el tipo de modelo de IA más popular y poderoso, a menudo tienen millones de números en los que se puede codificar el sesgo. Los sistemas sesgados de reconocimiento facial criticados en «IA, ¿no soy una mujer?» son todas redes neuronales profundas.

La buena noticia es que ya se ha logrado un gran progreso en la equidad de la IA, tanto en la academia como en la industria. Microsoft, por ejemplo, tiene un grupo de investigación conocido como DESTINO, dedicado a la equidad, la responsabilidad, la transparencia y la ética en la IA. Una conferencia líder en aprendizaje automático, NeurIPS, ha detallado pautas de éticaque incluye una lista de ocho puntos de impactos sociales negativos que deben ser considerados por los investigadores que envían artículos.

Quién está en la habitación es quién está en la mesa

Por otro lado, incluso en 2023, la equidad aún puede ser víctima de presiones competitivas en la academia y la industria. el defectuoso Chatbots de Bard y Bing de Google y Microsoft son evidencia reciente de esta triste realidad. La necesidad comercial de aumentar la cuota de mercado condujo al lanzamiento prematuro de estos sistemas.

Los sistemas sufren exactamente los mismos problemas que mi head tracker de 1998. Sus datos de entrenamiento están sesgados. Están diseñados por un grupo no representativo. Se enfrentan a la imposibilidad matemática de tratar todas las categorías por igual. De alguna manera deben cambiar la precisión por la justicia. Y sus sesgos se esconden detrás de millones de parámetros numéricos inescrutables.

Entonces, ¿hasta dónde ha llegado realmente el campo de la IA desde que fue posible, hace más de 25 años, que un estudiante de doctorado diseñara y publicara los resultados de un algoritmo racialmente sesgado sin supervisión ni consecuencias aparentes? Está claro que los sistemas de IA sesgados aún se pueden crear sin querer y fácilmente. También está claro que el sesgo en estos sistemas puede ser dañino, difícil de detectar e incluso más difícil de eliminar.

En estos días es un cliché decir que la industria y la academia necesitan diversos grupos de personas “en la sala” para diseñar estos algoritmos. Sería útil si el campo pudiera llegar a ese punto. Pero en realidad, con los programas de doctorado en ciencias de la computación de América del Norte que se gradúan solo alrededor de 23% mujeres y 3% estudiantes negros y latinosseguirá habiendo muchas salas y muchos algoritmos en los que los grupos infrarrepresentados no estén representados en absoluto.

Es por eso que las lecciones fundamentales de mi head tracker de 1998 son aún más importantes hoy: es fácil cometer un error, es fácil que el sesgo ingrese sin ser detectado, y todos en la sala son responsables de evitarlo.

Fuente

Written by notimundo

La decisión de Vodafone de apagar 3G significa que sus clientes con teléfonos antiguos que no son compatibles con 4G o 5G, como el iPhone 5 (en la foto) o anterior, tendrán que comprar un nuevo dispositivo.

Vodafone está implementando un gran cambio de teléfono: cómo ver si USTED ESTÁ afectado

Tristeza e ira en Palestina: Gaza llora a los 13 muertos en ataque israelí

Tristeza e ira en Palestina: Gaza llora a los 13 muertos en ataque israelí