Los gobiernos se enfrentan a una crisis sanitaria, una crisis medioambiental, una crisis financiera y una crisis digital… todo al mismo tiempo. Ya había una presencia cada vez mayor de la toma de decisiones algorítmicas en el sector público, pero a medida que la pandemia de coronavirus aceleró el mundo hacia la digitalización, la toma de decisiones algorítmica se ha convertido en un lugar común.
Estos sistemas están tomando decisiones cruciales sobre nuestra salud, bienestar, beneficios y otros servicios gubernamentales. Cuando las decisiones se confían a algoritmos sin supervisión humana o sin garantizar que se adhieran a las normas éticas establecidas, las cosas a veces pueden salir muy mal. A continuación se muestran dos ejemplos:
Fiasco en el Reino Unido
En 2020, la pandémia de Covid-19 tuvo un gran impacto en los sistemas educativos de todo el mundo. Dada la situación crítica, el gobierno del Reino Unido decidió no realizar exámenes para estudiantes de entre 16 y 18 años. Como alternativa, el comité regulador de exámenes del Reino Unido desarrolló el sistema de algoritmo de calificación Ofqual. Se pidió a los maestros que proporcionaran una calificación estimada y un ranking para cada alumno. Estos se sometieron al algoritmo, que tuvo en cuenta el rendimiento de la escuela durante los tres años anteriores.
La estrategia tenía como objetivo garantizar que, incluso sin exámenes, las calificaciones fueran coherentes con el desempeño de las escuelas en el pasado, bajo el supuesto de que los maestros probablemente serían más generosos al asignar una calificación estimada, lo que podría llevar a una inflación de calificaciones. El primer ministro Boris Johnson defendió el sistema como «robusto», en medio de críticas generalizadas de escuelas y universidades y parlamentarios.
Cuando finalmente se anunciaron las calificaciones en Inglaterra, Gales e Irlanda del Norte el 13 de agosto, casi el 40% eran más bajas que las evaluaciones de los profesores. Para empeorar la situación, la rebaja afectó a las escuelas públicas significativamente más que a las privadas. Al basar el algoritmo en datos históricos de un sistema educativo desigual, era probable que los resultados de un estudiante de alto rendimiento de una escuela de bajo rendimiento fueran degradados automáticamente.
Agencia de Empleo de Austria
El austriaco ArbeitsMarktService (AMS), conocido como el algoritmo AMS, es un ejemplo de servicios públicos de empleo que utilizan modelos de perfiles algorítmicos para predecir la probabilidad de encontrar trabajo de un solicitante de empleo, en un intento por reducir costos y mejorar la eficiencia.
Basado en estadísticas de años anteriores, el sistema calcula las posibilidades futuras de los solicitantes de empleo en el mercado laboral. El sistema algorítmico busca conexiones entre el empleo exitoso y las características de la persona que busca empleo, incluida la edad, la etnia, el género, la educación, las obligaciones de cuidado y los problemas de salud. Luego clasifica a los solicitantes de empleo en tres grupos: aquellos con altas posibilidades de encontrar un trabajo dentro de los seis meses, los que tienen una perspectiva de un año y los que probablemente serán empleados dentro de los dos años.
Este algoritmo es particularmente controvertido, ya que está diseñado para priorizar la eficiencia sobre la inclusión. Fue fuertemente criticado por clasificar a los solicitantes de empleo que tienen más probabilidades de conseguir y mantener un trabajo por encima de los que más lo necesitan, correlacionando género, trabajos de cuidados, historial laboral fragmentado, etc. con bajas perspectivas laborales. Los sistemas predictivos basados en decisiones de contratación pasadas reflejan sesgos institucionales y sistémicos y pueden revelar y reproducir patrones de inequidad, penalizando a los grupos minoritarios y desfavorecidos, incluidas las mujeres.
¿Qué papel deben jugar los algoritmos en el sector público y cómo podemos mitigar el riesgo de discriminación?
Los sistemas algorítmicos tienden a promoverse por ser eficientes, de bajo coste, más inteligentes, más rápidos, más consistentes y más objetivos. Sin embargo, los estudios de caso anteriores demuestran que este no es siempre el caso en la práctica y destacan la importancia de que los gobiernos cuenten con marcos éticos sólidos antes de implementar dichos sistemas: Es esencial crear los conjuntos de datos correctos, contar a los excluidos y garantizar que un grupo diverso de personas participe en el proceso de diseño, además de verificar posibles sesgos, garantizar que cada decisión sea transparente y explicable, y que un ser humano pueda ser responsable de las consecuencias negativas.
Para una exploración más profunda del tema, a continuación puede acceder a algunos de nuestros informes:
- «Governing Algorithms» tiene como objetivo contribuir a un desarrollo inclusivo de la IA y ayudar a restaurar y fortalecer la confianza entre los responsables políticos y el público.
- «Gobierno» tiene como objetivo proporcionar una breve descripción del campo de ADMS y establecer un conjunto de directrices con respecto a su aplicación en el sector público con el fin de garantizar la protección de los derechos e intereses existentes de los ciudadanos.
- «Diseños sensibles a las cuestiones de género en el estado de bienestar digital» explora cómo el diseño puede jugar un papel crítico en resaltar los puntos ciegos del sistema y puede fomentar prácticas que fomenten la sensibilidad al género.
¿Qué tienen que decir los expertos al respecto? ¡Consulta aquí la opinión de las principales voces!
