El Periódico. – Organizaciones civiles alertan de que la creciente adopción de sistemas algorítmicos, especialmente en la frontera, amenaza con criminalizar a las comunidades racializadas.
Cuando pensamos en Inteligencia Artificial (IA) a menudo nos vienen a la cabeza redes sociales, vehículos autónomos o asistentes virtuales. Si bien ese es un uso muy extendido, los algoritmos se emplean cada vez más para ayudar a tomar decisiones complejas que afectan nuestras vidas como la concesión de un crédito bancario, el acceso a ayudas públicas o en las entrevistas de trabajo. Esa aplicación tiene una derivada peligrosa, y es que estos sistemas perjudican más a las comunidades ya vulnerables, como las minorías racializadas o los migrantes. Y los expertos temen que España juega un rol clave en ello.
Los algoritmos son instrucciones matemáticas que permiten a una máquina tomar decisiones para responder a un problema. Sin embargo, aunque las ejecute un sistema informático, esas decisiones no son neutrales, sino que se fundamentan en datos recopilados por los humanos que pueden tener sesgos de todo tipo. En los Países Bajos, el programa de IA usado para detectar casos de fraude fiscal criminalizó injustamente a 26.000 familias a quienes se obligó a devolver grandes sumas de dinero que no habían estafado, llevándolas a endeudarse y hasta a perder su hogar. La gran mayoría eran familias de origen marroquí o turco.
Frontera digital
La creciente adopción de la IA por parte de la administración pública y de empresas hace que ese riesgo sea cada vez mayor. En los últimos meses, el Gobierno español ha avanzado en su plan de construir una ‘frontera inteligente‘ que usará cámaras de reconocimiento facial para identificar y etiquetar a los migrantes que tratan de llegar al país desde Marruecos. Además de imágenes de su rostro, se recabarán huellas dactilares e información personal de esas personas.
El plan ha indignado a múltiples organizaciones en defensa de los derechos civiles. “Imagina lo que puede suponer para una persona ser acusada injustamente de un delito por este sistema”, apunta Paula Guerra Cáceres, miembro de AlgoRace, colectivo que analiza el impacto de esa tecnología en las comunidades racializadas y que, junto a Algorights y Lafede.cat, ha organizado esta semana las Jornadas Democracia, Algoritmos y Resistencias.
La Unión Europea (UE) trabaja desde hace meses en una regulación de la IA pionera a escala global que ponga orden y prohíba los usos abusivos de estos sistemas. Sin embargo, el texto, aún en negociación, no incluye ninguna referencia a los sistemas de vigilancia algorítmica desplegados en las fronteras. El uso de reconocimiento facial en Ceuta y Melilla sigue las directrices de Bruselas, que está normalizando herramientas predictivas para anticiparse y frenar flujos migratorios.
Virgina Eubanks: “El Gobierno usa la tecnología contra la clase obrera porque teme su poder”
“Para los migrantes, las tecnologías de IA encajan en un sistema más amplio de sobrevigilancia, discriminación y violencia”, ha remarcado la organización European Digital Rights (EDRi), que denuncia que consolidarán la “sospecha racial”. Varios estudios han probado que el reconocimiento facial es mucho más impreciso con rostros no caucásicos. “Este programa no servirá para proteger derechos, sino como herramienta de propagación de la islamofobia y de la criminalización de los migrantes”, lamenta Guerra.
Discriminación amplificada
Por su condición limítrofe con África, España juega un rol clave en ese despliegue tecnológico en la frontera, pero también dentro de su territorio. La administración pública usa cada vez más sistemas de IA como Riscanvi, que calcula el riesgo de reincidencia de los presos en Catalunya, o que permite al Servicio Público de Empleo Estatal (SEPE) determinar ayudas sociales a los parados.
Sin embargo, muchos algoritmos operan como una “caja negra”. Sabemos qué datos usa y qué conclusiones extrae el programa, pero no cómo se ha llegado a ellas. Esa opacidad abre la puerta a errores de difícil detección. En los casos destapados hasta ahora esos sistemas han tendido a perjudicar a minorías raciales y a gente humilde. Y es que leer únicamente los fríos datos sin leer el contexto puede servir para amplificar y consolidar desigualdades ya existentes. Un ejemplo: si en los barrios pobres hay más riesgo de impago, el sistema de IA usado para determinar a quién se concede un préstamos terminará penalizando a sus residentes.
Además, la falsa apariencia de que las ‘máquinas’ no fallan dificulta aún más impugnar esas injusticias. Es por eso que en la ley de Presupuestos Generales aprobada a finales del año pasado, España destinó 5.000 millones de euros a la creación de la Agencia Española de Supervisión de Inteligencia Artificial (AESIA), con poder sancionador y dedicada a vigilar y minimizar los “riesgos significativos (de los sistemas de IA) sobre la salud de las personas y sus derechos fundamentales”.
Aunque la ven como una “oportunidad”, grupos como AlgoRace insisten en la necesidad de que puedan realizar auditorías externas de sistemas como el usado en la frontera para poder detectar y corregir sesgos.
La agencia también servirá para supervisar el cumplimiento de la legislación que prepara Bruselas. España será así una base de pruebas de la futura ley de la IA. El temor es que, mientras no llegue una regulación, se use a los más vulnerables como conejillos de indias.
