En el primer episodio de este podcast conocimos cómo funciona RisCanvi, el algoritmo de predicción de riesgo que se utiliza en las cárceles catalanas y que afecta al presente y al futuro de los presos. Este sistema está en parte inspirado en otros software que llevan años usándose en el extranjero, como el COMPAS o el OASys.
Dichos algoritmos levantaron un gran revuelo al descubrirse que en algunos casos discriminaban en sus decisiones. Por ejemplo a la población negra. La cuestión de los sesgos es una de las grandes preocupaciones cuando hablamos del uso de la Inteligencia Artificial, especialmente en áreas tan sensibles como el mundo penal y penitenciario.
Aunque hasta ahora ningún estudio ha demostrado que RisCanvi discrimine a algún colectivo en concreto, numerosas voces critican precisamente que no hay un control suficiente sobre el sistema. Ni tampoco un conocimiento real de los posibles errores o de las consecuencias de su uso sobre los derechos de los internos.
En este episodio hablamos con la abogada Nuria Monfort, quien critica que los factores analizados por este algoritmo están demasiado ligados a la realidad social de los presos y que ahondan en su exclusión. Con ella también abordamos los límites del uso de un sistema automatizado en relación a una decisión tan crucial como la libertad o no de un preso.
¿De qué manera influye el resultado del RisCanvi en el criterio de un juez u otros funcionarios? Con el investigador Manuel Portela exploramos una relación compleja: la del juicio humano y los algoritmos. Y hablamos sobre cómo los profesionales, en ocasiones, han de ser conscientes de las deficiencias de estos sistemas para darles un buen uso.