American Express usó algoritmos para detectar los patrones de gasto de aquellos que tienen problemas para pagar sus facturas

En 2009, durante las consecuencias de la crisis financiera, American Express comenzó a utilizar algoritmos para determinar los patrones subyacentes de los clientes que tenían problemas para pagar sus facturas y reducir el riesgo financiero que estos clientes planteaban a la compañía. Estos algoritmos eran sensibles a ciertos comportamientos de compras y tenían la capacidad de limitar el acceso de una persona al crédito (O’Neil, 2018). Como resultado, las compras en ciertos establecimientos podrían reducir la puntuación de crédito de una persona. Sin embargo, a menudo estos establecimientos específicos eran los frecuentados por personas que ya tenían dificultades financieras, por lo que las personas en grupos de ingresos más bajos fueron discriminadas por el algoritmo.

Los afectados vieron bajar sus calificaciones crediticias y, por lo tanto, sus costos de endeudamiento suben. Esto, en combinación con una capacidad adicional limitada de acceder al crédito, creó una situación financiera grave para muchas personas. El algoritmo efectivamente castigó a aquellos que ya estaban luchando con más problemas financieros (Lieber, 2009).

Este caso plantea preguntas importantes con respecto a la privacidad y los derechos de protección de datos. American Express sólo fue capaz de establecer estas precarias correlaciones entre los hábitos de gasto y la solvencia debido a su acceso a enormes volúmenes de datos personales y su opaco procesamiento y análisis automático de datos. La empresa fue capaz de poner a las personas en peligro financiero sin la debida diligencia o respeto a sus derechos. Nunca publicaron una explicación sobre cómo o por qué su algoritmo tomó la decisión de incluir al titular de la tarjeta de crédito en una categoría determinada. Afortunadamente, la compañía abandonó la práctica en medio de la reacción pública.