DISCRIMINACIÓN ALGORITMICA. UNO DE LOS PRINCIPALES RETOS PARA EL PROGRESO SOCIAL EN EL SIGLO XXI

Los servicios basados en datos están cada vez más presentes. En consecuencia, los algoritmos y los datos que procesan desempeñan un papel cada vez más importante en la toma de decisiones, con efectos significativos para el bienestar y los derechos humanos. Gracias a los algoritmos, puedes obtener buenas recomendaciones para una reserva o una ruta eficiente para un viaje. Eso sí, por otro lado, también puedes ser admitido (o no) en la universidad de tu elección, se te puede conceder (o no) una hipoteca con un banco y puede que te contraten (o no) para el trabajo que deseas.

A menudo se piensa que las máquinas son árbitros neutrales: objetos fríos, calculadoras que pueden distinguir patrones que nuestras mentes humanas no pueden (o se niegan a) distinguir y tomar una decisión óptima. Pero, ¿es realmente así? ¿O es que las decisiones algorítmicas son una forma de amplificar, extender y hacer inescrutable el tipo de prejuicios y discriminaciones que ya prevalecen en la sociedad?

Los avances en el aprendizaje automático (machine learning) han llevado a las empresas a confiar en el Big Data y los algoritmos, basándose en la presunción de que esas decisiones son más eficientes e imparciales que las tomadas por los humanos. Sin embargo, a medida que se extiende el uso de los algoritmos, también se han planteado numerosas reivindicaciones que exigen una mayor responsabilidad en su uso, su diseño y su aplicación, principalmente por su capacidad de normalizar y amplificar las desigualdades sociales a través de la discriminación algorítmica.

A pesar de ello, los algoritmos se están convirtiendo en un factor clave de numerosas actividades cotidianas, a una velocidad que parece exceder nuestra capacidad de comprender su impacto en nuestras vidas. Por ello es urgente comprender el papel que desempeñan los algoritmos en la sociedad, situar la cuestión en la agenda pública y analizar las políticas que pueden adoptarse para garantizar los derechos y la equidad de las personas en el contexto de la proliferación algorítmica.

Es necesario analizar el tipo de problemas que plantea el uso creciente de algoritmos en la sociedad y también las propuestas de reglamentación que se deben adoptar, como la reciente iniciativa de la Ciudad de Nueva York de crear un gabinete específico solo para evaluar la equidad de los algoritmos, o las propuestas de la Autoridad Francesa de Protección de Datos y del Grupo de Trabajo 29 de la Comisión Europea sobre cómo abordar estos problemas desde la perspectiva de la protección de la privacidad.

Con el avance de los cambios tecnológicos que caracterizan a la sociedad de la información, surge una creciente preocupación por todas las cuestiones relacionadas con la privacidad, la discriminación y la automatización. Como sostiene Dournish (2016), aparte de los debates sobre el papel que podrían desempeñar los algoritmos en todos los ámbitos, desde las prácticas de contratación (Hansel 2007) hasta las calificaciones crediticias (Singer 2014) o incluso las temperaturas óptimas en los edificios de oficinas (Belluck 2015), "se ha desarrollado una conciencia de que los algoritmos, misteriosos e inevitables, están contribuyendo a dar forma a nuestras vidas de muchas formas con impactos más grandes y más pequeños".

La búsqueda de "algoritmos + discriminación" en Google nos ofrece más de 120 millones de resultados, lo que nos ofrece una idea de la importancia de los retos que plantea la interacción entre la tecnología y la sociedad. Por ello, es necesario realizar una taxonomía rigurosa del tipo de impactos y externalidades -positivas y negativas- de los algoritmos. Esto nos permitiría comprender los riesgos del uso creciente de algoritmos en una gran variedad de tareas y procesos que tienen importantes consecuencias para la sociedad. Sólo si abordamos este tipo de conocimiento podremos avanzar en el diseño de medidas eficientes a adoptar por parte de los actores implicados para mitigar cualquier consecuencia negativa.

Los algoritmos son construcciones sociales convertidas en cálculos matemáticos. Como cualquier otra tecnología, capturan y reproducen dinámicas sociales. A menudo, estas dinámicas sociales se enredan en oscuros debates técnicos que hacen más difícil su comprensión por parte del público en general. Y en relación a eso, de hecho en los medios y en el imaginario popular los algoritmos se explican casi exclusivamente en términos de la llamada 'discriminación algorítmica', que se produce cuando un individuo o un grupo de individuos percibe un trato injusto como consecuencia de una toma algorítmica de decisiones basada en perfiles automatizados. Sin embargo, los perfiles también se pueden utilizar para aplicar discriminación positiva, o discriminación basada en principios de equidad y justicia. Así, reducir el impacto algorítmico a la exclusión social hace que no tengamos en cuenta las múltiples dinámicas que conllevan los algoritmos y simplifica los distintos procesos de discriminación de forma contraproducente.

En los procesos algorítmicos, la elaboración de perfiles y la discriminación no sólo surgen a partir de nuestras cualidades individuales, sino también en relación con las características de los que nos rodean. Esto es lo que Dannah Boyd (2014) llama"discriminación por red. En este sentido, la comprensión de los algoritmos estrictamente a partir del análisis de las características individuales no conduce a un análisis riguroso de sus riesgos y posibilidades, ni a un diagnóstico sistemático de sus perspectivas futuras. Además, en los últimos años, numerosos autores han sostenido que hay que sustituir el concepto de discriminación por el de justicia. La justicia es, junto con la eficiencia, una de las dos grandes categorías de cuestiones relevantes identificadas por Zarsky (2016), que destaca además dos características de los algoritmos que generan especial preocupación: por un lado su opacidad y, por otro, su carácter automatizado. Sin embargo, contrariamente a lo que propone este autor, Friedler y otros (2016) insisten en la "imposibilidad de imparcialidad" de los procesos algorítmicos.

La falta de consenso sobre el impacto social de los algoritmos comporta la necesidad de desarrollar un marco conceptual capaz de integrar un alto grado de complejidad, basado en el análisis de las relaciones entre los actores y los procesos y dispositivos que entran en conflicto cuando se percibe un impacto social negativo. Esta tarea requiere la aplicación de un enfoque multidisciplinario en la observación sistemática de los procesos algorítmicos, considerándolos como procesos tecnológicos integrados en contextos particulares y prácticas específicas.

Un marco para la regulación algorítmica debe partir de un profundo conocimiento del campo, los actores, las prácticas y los impactos, a fin de que pueda responder adecuada y eficientemente a los desafíos que plantea el uso de algoritmos en diferentes contextos, además de la importancia de los valores y expectativas de los actores involucrados y afectados por estos desafíos. A fin de cuentas, las leyes y reglamentos son un consenso social codificado en términos jurídicos. Por esta razón, los marcos regulatorios suelen aparecer después de que un nuevo fenómeno social haya tenido un impacto claro y mensurable en la sociedad. Sin embargo, dada la extraordinaria velocidad y el elevado impacto social de las nuevas tecnologías, la sociedad no puede permitirse el lujo de dejar que siga creciendo la brecha entre el tiempo que tarda una nueva tecnología en tener un impacto social significativo y el tiempo en que finalmente somos capaces de proteger a quienes pueden sufrir las externalidades negativas de esta tecnología.

En este sentido, proponemos una"ingeniería inversa"de los marcos normativos existentes para identificar cómo y por qué han surgido, qué pueden decirnos sobre las sociedades que los propusieron en primer lugar y qué tipo de impacto han tenido. Por otra parte, es necesario analizar las propuestas para traducir los ideales humanos (ética, equidad y justicia) de manera que puedan ser comprendidos por los algoritmos, junto con conceptos como la responsabilidad. Estas cuestiones pueden abordarse mediante una cartografía de los conflictos sociales derivados del uso de los algoritmos, que a su vez servirá para identificar los puntos problemáticos en el diseño de las políticas ya existentes y para sugerir un conjunto de buenas prácticas.

Si los algoritmos se están convirtiendo en la clave de numerosas actividades diarias, la necesidad de comprender sus impactos en la sociedad es un asunto urgente. No es una tarea fácil. Enmarcar esta cuestión, comprender qué son realmente los algoritmos y qué función pueden desempeñar, requiere un análisis sistemático de los procesos algorítmicos y la generación de nuevos marcos conceptuales, jurídicos y reglamentarios para garantizar el bienestar humano y los derechos humanos en una sociedad globalizada e interconectada. La dificultad de esta tarea es, en efecto, proporcional a su necesidad; es nada menos que uno de los principales desafíos para el progreso social en el siglo XXI.