“En nosotros recae la responsabilidad de vigilar, investigar y documentar el uso y abuso de algoritmos”.

El Observatory of Algorithms with Social Impact (OASI) tiene por objetivo observar y documentar el uso y abuso de algoritmos que tienen o pueden llegar a tener un impacto significativo en nuestras sociedades.

Un algoritmo es simplemente una serie de pasos que se pueden seguir para resolver un problema u obtener un resultado particular. Por ejemplo, una receta de cocina es un algoritmo. Sin embargo, en el contexto de Eticas Foundation y OASI, nos referimos a programas de ordenador, u otras tecnologías o sistemas casi siempre digitales, entre cuyos componentes hay algoritmos normalmente opacos que condicionan o determinan la respuesta o el resultado de tal programa. Por ejemplo, Google utiliza un algoritmo secreto para generar una lista de páginas web cuando alguien realiza una búsqueda usando sus servicios.

Y con algoritmos que tienen un impacto social, nos referimos a programas, sistemas o tecnologías cuyo uso o abuso repercute directa o indirectamente en la vida pública. Por ejemplo, hay algoritmos cuyos resultados tienden a discriminar injustamente a mujeres, minorías étnicas u otros grupos marginalizados. Por lo tanto, si una empresa privada o si la Administración Pública utilizan ese algoritmo para determinar cómo ofrecen sus productos o servicios, entonces estarán contribuyendo a esa discriminación injusta.

Desde hace unos años, el desarrollo y la implementación de algoritmos por todo tipo de empresas y organizaciones privadas y públicas se ha acelerado enormemente y de una forma muy poco transparente. Durante este tiempo, y en mi opinión, ni los medios de comunicación ni los representantes políticos y legisladores han podido seguir el rápido ritmo de desarrollo y uso de algoritmos, y el poco debate público que ha habido al respecto ha sido marcado principalmente por las operaciones de relaciones públicas y de promoción llevadas a cabo por las empresas y organizaciones que desarrollan tales algoritmos con ánimo de lucro o por intereses políticos u otro tipo, y que se dedican a describirlos o venderlos como soluciones y productos que sólo tienen un lado positivo.

Esto nos ha llevado a una situación en al que gran parte de la ciudadanía desconoce las implicaciones reales y los posibles impactos que implica el uso de algoritmos, y el gran número de retos que aún quedan por resolver para que podamos aprovechar las oportunidades que sí pueden ofrecer este tipo de sistemas algorítmicos.

El lanzamiento del Observatorio quiere contribuir a remediar esa situación. Con OASI queremos investigar, visualizar y documentar sistemáticamente y de forma transparente el desarrollo y uso de algoritmos cuya implementación puede tener un impacto social negativo. Poco a poco, queremos ir generando un registro de algoritmos –en uso, en desarrollo o utilizados en el pasado– que se pueda consultar y ordenar según diferentes tipos de categorías. Y las entradas en este registro incluyen notas y enlaces a recursos que contienen más información. El objetivo es promover el conocimiento crítico sobre algoritmos entre la ciudadanía y que así pueda haber un debate público informado y responsable sobre el desarrollo y uso de algoritmos por parte de empresas, de las autoridades públicas y de otros organismos públicos y privados.

¿En qué ha consistido tu participación desde Eticas Foundation para su desarrollo?

Hace unos pocos años, empecé a coincidir con Gemma Galdon, la fundadora y CEO de Eticas, en diversos eventos y foros donde nos encontrábamos periodistas, investigadores y otros expertos en el tema de los algoritmos. A través de Gemma y de mi propio trabajo sobre actores implicados en el tema de los algoritmos, conocí y fui siguiendo la labor de Eticas. Y hace unos meses, Gemma y yo exploramos la posibilidad de colaborar, y los dos pensamos que relanzar OASI para tratar de llegar a más públicos era una tarea importante y una oportunidad para que yo empezara a colaborar con Eticas.

En este sentido, las compañeras de Eticas y yo hemos pasado un buen número de horas revisando el formato y el contenido originales de OASI, y trabajando en relanzarlo de forma que pueda resultar accesible, interesante y útil tanto a expertos como al gran público. Además, hemos tratado de darle al registro de algoritmos de OASI un formato abierto y cuyo contenido se pueda ir ampliando fácilmente, y también pretendemos simplificar el proceso de contribuciones externas para que personas interesadas puedan enviar información sobre algoritmos aún no incluidos en el registro de OASI. Finalmente, y a medida que el registro vaya creciendo, lo aprovecharemos para elaborar y publicar diferentes informes y análisis sobre la evolución y el uso de algoritmos con impacto social, y animamos a otros investigadores a que hagan uso de OASI en su propio trabajo.

¿Cuál crees que debería ser el papel de la sociedad civil en torno al uso de algoritmos?

En el fondo, y como tantos otros temas, los algoritmos son una cuestión política. Las personas vivimos en sociedad y tenemos que lidiar con el hecho de que todas tenemos necesidades e intereses diferentes y en ocasiones contrapuestos, y de que tenemos que arreglárnoslas con unos recursos limitados y finitos y en un entorno frágil que hemos de cuidar.

En mi opinión, la política consiste en cómo hacer para lidiar con tal situación, y eso implica que la política va más allá de los partidos y de las elecciones, y que lo que hacemos y no hacemos todas las personas en sociedad aparte de votar cada varios años también forma parte de la política. En ese sentido, el papel de la sociedad civil organizada y de la ciudadanía en general en tanto que actores políticos es fundamental.

Mientras otros temas sí están muy presentes en los medios de comunicación y en el debate público y son al menos tenidos en cuenta por quienes tienen que diseñar las políticas públicas, ocurre que el tema de los algoritmos es aún muy poco transparente, y que gran parte de la información disponible al respecto es poco más que publicidad interesada por parte de quienes desarrollan estos algoritmos y se benefician económica o políticamente de su uso.

En tal contexto, el papel de la sociedad civil en el sentido más amplio de la expresión (personas interesadas, medios de comunicación, el mundo de la universidad y la investigación académica, ONGs…), tiene una importancia crítica porque en nosotras recae la responsabilidad de vigilar, investigar y documentar el uso y abuso de algoritmos, y de facilitar y promover una conversación pública informada y responsable sobre el tema.

¿Podrías mencionar algunos ejemplos de organizaciones luchando por los derechos digitales de todos los ciudadanos?

Además de Eticas, y cuyo trabajo y ámbito de actuación cubra España o en general Europa, me vienen a la cabeza diferentes tipos de organizaciones, como AlgorithmWatch, que igualmente investiga y documenta el uso de algoritmos, y Tactical Tech, que investiga el impacto de las tecnologías digitales en la sociedad y en la autonomía personal, ambas con sede en Berlín, donde resido actualmente.

En España, me gusta mucho el trabajo de Civio, una organización de la que soy socio y que hace periodismo de investigación y de datos, y también lobby ciudadano, enfocado en la transparencia de las administraciones públicas, lo que incluye la defensa de nuestros derechos digitales.

En Alemania, un colectivo muy interesante es el Chaos Computer Club, una red de hackers muy implicados en la política –descrita en sentido amplio– por la educación sobre y la defensa de los derechos digitales.

Otras organizaciones que no conozco tanto pero que sigo o he seguido y cuyo trabajo me ha parecido interesante en algún momenteo son, en ningún orden particular:

– Framasoft, que promueve el software libre frente a las aplicaciones de empresas que comercializan los datos de sus usuarios,

– Civil Liberties Union for Europe, que investiga y defiende sobre los derechos y libertades civiles, incluido el tema de “tecnología y derechos”, 

– La Quadrature du Net, que promueve y defiende los “derechos fundamentales en el mundo digital”, 

– The Electronic Frontier Foundation, quizá la mayor organización, y una de las pioneras, por la defensa de los derechos digitales,

– Xnet, una red de investigadores y activistas sobre derechos y democracia relacionados con internet y la información y la cultura libres,

– The European Digital Rights Network (EDRi), que agrupa a organizaciones de toda Europa que trabajan sobre los derechos y libertades digitales,

– Otra organización española que me parece interesante, quizá no tan directamente enfocada en el activismo por los derechos digitales, es OdiseIA, que quiere ser un foro para ciudadanos, empresas, autoridades y otras organizaciones interesadas en el buen uso de sistemas de inteligencia artificial.

Vemos mucho interés por parte de periodistas, ¿crees que ese interés va acompañado de la necesaria labor de investigación y denuncia en cuanto garantes de nuestros derechos digitales?

A mí también me parece que la palabra algoritmo se ha convertido en un término de moda, que con su mera presencia genera atención entre periodistas y el gran público.

Generalizar es imposible y no recomendable, y yo me he encontrado con artículos sobre el tema de los algoritmos a mi juicio buenos, malos y regulares (muchas veces en un mismo medio) en la prensa española e internacional.

En mi opinión, los medios de comunicación, especialmente los generalistas, se enfrentan a dos tipos de retos a la hora de informar sobre algoritmos.

En primer lugar, y más en general, desde hace ya años la crisis de su modelo de negocio tradicional (precipitada precisamente por el auge de las tecnologías digitales) empujó a muchos medios a tratar de generar más contenidos recortando gastos; y la enorme competencia por llegar a audiencias online llevó a mucho medios a producir contenidos llamativos, impactantes y superficiales y no necesiaremente bien investigados y documentados.

Aunque sigue habiendo periodismo de calidad sobre todo tipo de temas, la cantidad de contenidos de poca calidad, de propaganda y de desinformación, que a primera vista son similares al periodismo de calidad, dificulta la tarea de quienes se quieren mantener responsablemente informados sobre las cuestiones más relevantes para la vida pública.

En segundo lugar, con el tema de los algoritmos ocurre que, aunque no es particularmente difícil de entender, la alta velocidad con la que se ha desarrollado el campo de los algoritmos en los últimos años, la poca transparencia sobre la cuestión y el hecho de que quienes producen más contenidos informativos sobre el tema sean las organizaciones que desarrollan y venden algoritmos, hacen más complicado el trabajo de los periodistas que quieren investigar e informar responsablemente sobre el tema.

Ese contexto particular, unido a la situación general de los medios, que pretenden generar cuantos más contenidos en el menor tiempo posible, obstaculiza que los periodistas puedan dedicar el tiempo necesario a trabajar el tema de los algoritmos, a investigarlos y a elaborar información de calidad sobre la cuestión.

Así ocurre que –en mi opinión– muchos de los contenidos sobre algoritmos que encontramos en los medios de comunicación (particularmente en los generalistas) se basan sobre todo en la propaganda de las empresas que desarrollan estos algoritmos, o no dan suficiente cuenta de las cuestiones políticas y del impacto social asociado al uso y abuso de tales algoritmos.

Esto puede dar lugar al llamado ‘solucionismo tecnológico’, que consiste en pensar o esperar o dar por hecho que el desarrollo e implementación de nuevas tecnologías nos permitirá resolver problemas sociales y económicos. En mi opinión, ésa es una perspectiva incompleta y muy parcial y que tiende a obviar la dimensión política de todo problema social y económico: quién tiene la capacidad de decidir, quién ha tomado qué decisiones, quién se ha negado a intervenir, quién no tiene acceso a esas tomas de decisiones; en definitiva, la existencia de desequilibrios de poder que responden a una serie de decisiones tomadas en el pasado.

A la hora de desarrollar y utilizar tecnologías (incluidas las tecnologías automatizadas, los sistemas algorítmicos y la inteligencia artificial), debemos mantener muy presente esa dimensión política, y considerar de forma abierta y transparente quién tiene la capacidad de decidir, quién decide qué, quién es responsable y se le puede exigir que rinda cuentas, a quién beneficia y a quién perjudica el desarrollo y el uso de tal tecnología…

El proceso político es complicado y requiere tiempo y esfuerzo, y en ocasiones los medios generalistas no dan cuenta suficientemente bien de tales cuestiones o no llegan a servir de punto de entrada en el tema para la ciudadanía.

Pero también hay muchos artículos sobre algoritmos que sí están bien trabajados (yo sobre todo consumo información escrita, por lo que aquí hablo de artículos de periódicos y revistas más que de contenidos audiovisuales). Para mí, el principal problema es que, para quien no tenga ya un cierto conocimiento sobre el tema, un artículo que se limite a reproducir propaganda comercial sobre algoritmos y un artículo que describa el tema de forma crítica y responsable son a primera vista casi indistinguibles: hace falta fijarse en ellos y leerlos con atención para darse cuenta de cuál contiene periodismo de calidad.

Me gustaría poner unos pocos ejemplos de artículos más o menos recientes que a mí me parecen de calidad en el contexto de medios generalistas y el gran público, y he escogido dos periódicos con los que yo he colaborado en el pasado, El País y elDiario.es.

– En realidad, ¿qué […] es exactamente un algoritmo?, El País, 24 marzo 2018,

– Sesgos de género en los algoritmos: un círculo perverso de discriminación en línea y en la vida real, elDiario.es, 7 febrero 2021, 

– Cuatro experimentos muestran cómo los algoritmos influyen para elegir pareja o candidato político, elDiario.es, 22 abril 2021, 

– Cuando el algoritmo se equivoca, El País Semanal, 27 junio 2021.

¿Cómo ves el futuro de la aplicación de tecnología automatizada sobre la ciudadanía? ¿Sabremos avanzar en las exigencias para hacer cumplir nuestros derechos en el ámbito digital?

Predecir el futuro es imposible, y aun más en un campo cuyo desarrollo se ha acelerado tanto recientemente, como es el de los algoritmos.

Sin caer en un extremismo optimista (‘las tecnologías automatizadas, los algoritmos y la inteligencia artificial van a salvar el mundo’) o pesimista (‘esas tecnologías nos van a matar a todos o, si acaso, nos van a esclavizar’), mi temor muy real sí es que el rápido ritmo de desarrollo e implementación de algoritmos y la falta de un debate público informado y de políticas públicas responsables al respecto nos lleven a una situación en la que el uso de tales tecnologías sirva para mantener o reforzar desigualdades e injusticias presentes en nuestras sociedades, como la discriminación y la negación de oportunidades a ciertos grupos sociales.

Para evitar llegar a esa situación, desde la sociedad civil, tanto individualmente como desde organizaciones, debemos hacer un esfuerzo para educarnos sobre el tema de los algoritmos, exigir información responsable y de calidad sobre el tema a los medios de comunicación, y promover un debate público precisamente informado y responsable que ayude y presione a nuestros representantes políticos, para que así el desarrollo e implementación de sistemas algorítmicos se haga de forma transparente y de un modo que no mantenga ni refuerce injusticias ni desigualdades.