A medida que proliferan los sistemas de Inteligencia Artificial (IA), la necesidad de comprender cómo funcionan y cómo impactan en las comunidades, y específicamente en las más vulnerables, se vuelve cada vez más urgente. Sin embargo, en un contexto en el cual los sistemas de IA están caracterizados por ser “cajas negras” y por su falta de transparencia, auditar algoritmos no siempre es fácil o bienvenido , por eso vamos a hacer Auditorías Externas de Algoritmos. (Please find the English version bellow).
Desde Fundación Eticas hemos iniciado un proyecto financiado por la Open Society Foundation, para auditar los sistemas de IA utilizados en España en diferentes ámbitos (laboral, bancario, penal, policial…). Para ello, vamos a contar con la colaboración de organizaciones de la sociedad civil que trabajan con comunidades directamente afectadas por los sistemas de IA seleccionados. Aplicaremos diferentes metodologías de auditoría algorítmica adaptadas a cada caso con el fin de deducir cómo funcionan a partir de sus impactos. En algunos casos, desarrollaremos programas de auditoría externa de algoritmos, como los que se utilizan para auditar buscadores y servicios online, y en otros trabajaremos con las comunidades afectadas para medir el nivel de acierto de los algoritmos predictivos.
Para nuestra primera auditoría externa hemos establecido una alianza con Fundación Ana Bella que trabaja con mujeres afectadas por la violencia machista y la violencia doméstica. Vamos a auditar VIOGEN, el algoritmo que utiliza el Ministerio del Interior para asignar riesgo a las mujeres que buscan protección tras sufrir casos de violencia machista.
Como hicimos con nuestra pionera Guía de auditoría algorítmica, nuestro proyecto de Auditoría Externa tiene como objetivo aprender de la práctica y publicar pautas para ayudar a otros a realizar la ingeniería inversa de algoritmos para identificar posibles sesgos e ineficiencias en los sistemas de IA. Para el estudio, las metodologías utilizadas serán validadas por nuestro consejo científico multidisciplinario compuesto por profesionales internacionales, de reconocida amplia experiencia en ámbitos como Data Science, IT, ciberseguridad, ciencias sociales aplicadas a la tecnología, transparencia y derecho.
El 26 de julio tuvimos nuestra primera reunión, punto de partida del proyecto de auditoría externa. En ella hemos querido facilitar el desarrollo de mecanismos de escrutinio y validación de los sistemas de IA por parte de aquellas personas a quienes afecta. Y, de esta manera, marcar un antes y un después global en la apuesta por los algoritmos y la IA responsable.
De nuevo, desde Fundación Eticas nos situamos en primera línea de la ética práctica. Innovamos en la definición de los mecanismos regulatorios y tecnológicos que nos permitirán promover una innovación confiable y alineada con los derechos humanos.
Eticas is launching an Algorithm External Audits project
As AI systems proliferate, the need to understand how they work and impact on communities, and specifically on vulnerable communities, becomes more and more urgent. However, as a “black box” technology that lacks transparency, auditing algorithms is not always easy or welcome by those using them. In this sense, advocacy and community groups need to develop tools to externally evaluate and audit AI and algorithms on the basis of their impacts, and reverse engineer their functionalities by working together with the impacted communities.
From la Fundación Eticas, we are launching a one-year project, funded by the Open Society Foundation, to audit AI systems used in Spain in different domains (labour, banking, criminal law, policing, etc). To do this, we will count on the collaboration of Civil Society Organizations working with communities that are directly affected by the selected AI systems.
For our first external audit we have developed an alliance with Fundación Ana Bella working with women affected by gender and domestic violence to audit VIOGEN. This is the algorithm used by the Ministry of the Interior to assign risk to women who seek protection.
As we did with our Guide to Algorithmic Auditing, our External Audit project aims to learn from practice and publish guidelines to help others reverse engineer algorithms, and to identify possible bias and inefficiencies in AI systems. Methodologies used will be validated by our multidisciplinary scientific board composed by international experts that are working, among others, in Data Sciences, IT, cybersecurity, social sciences applied to technology, algorithm transparency and law.
On July 26th, our first meeting was the starting point of the external audit project. With this team of professionals, we’ll lead the practical ethics in the tech industry.
