La calidad de los datos se considera la fuente primaria de la discriminación algorítmica. La utilización de datos incompletos, sesgados, incorrectos u obsoletos puede producir efectos discriminatorios. También podría suceder que los diseñadores y desarrolladores de modelos de IA introduzcan sus propios sesgos y prejuicios en el diseño de los sistemas o cuando preparan las muestras de entrenamiento. Los datos a los que el sistema tiene acceso pueden reflejar jerarquías sociales arraigadas, representaciones incorrectas o insuficientes de ciertos grupos sociales. 

Los sistemas de IA presentan una serie de retos que dificultan la detección y tratamiento de la discriminación. A veces, es difícil determinar dónde reside la raíz de la discriminación – es la opacidad o efecto “caja negra” (black box) que puede no ser entendidos por seres humanos, ni siquiera por personas expertas. Además, los sistemas plantean un problema de escala – aplican las decisiones de manera más rápida y a un mayor número de individuos, por ello, presentan un riesgo mayor en reproducir y amplificar patrones de desigualdad.  

La definición de discriminación algorítmica que se usa en contextos técnicos se basa en la idea de sesgo o error (en el diseño del modelo o como producto de la mala calidad de los datos), mientras que las ideas jurídicas y sociales de la discriminación se centran en la idea de desventaja injusta. Es conveniente tener en cuenta, por tanto, que el problema que se plantean tecnólogos y juristas bajo el nombre de discriminación algorítmica puede no ser el mismo problema, y por tanto, las soluciones que busquen pueden ser mutuamente irrelevantes o divergentes. La necesaria colaboración interdisciplinar para generar soluciones a un problema tan complejo como la discriminación en el contexto de la IA requiere que esa divergencia de concepciones sea reconocida como tal y tratada. 

Algunos casos de IA han mostrado impactos discriminatorios, pero hasta la fecha han sido tratados con los instrumentos jurídicos que garantizan la protección de los datos personales y no mediante las normas antidiscriminatorias. La normativa de protección de datos es una herramienta a la que, a veces, puede recurrirse para hacer frente a casos de discriminación en la aplicación de sistemas de IA, ya que las categorías de datos personales protegidos y los motivos de discriminación prohibidos coinciden en algunos casos. Aún así, la normativa muestra varias limitaciones y plantea diversos problemas que impiden considerar la protección de datos como una estrategia suficiente en los casos de discriminación. 

Por ejemplo, las decisiones basadas en algoritmos pueden producir efectos discriminatorios sin hacer uso de datos personales. Los algoritmos establecen patrones probabilísticos a través de inferencias y valores de aproximación en procesamientos masivos de datos de todo tipo. 

Un problema que la discriminación algorítmica comparte con otros ámbitos de la discriminación, pero que aquí encontramos de manera exacerbada, es el relativo a la interseccionalidad. La discriminación se vuelva más “fina”, más “granular”, sumamente interseccional, y supere el número limitado de categorías protegidas. Nos encontramos, entonces, que el marco jurídico antidiscriminatorio existente se encuentra mal preparado para afrontar una de las características salientes de los casos de discriminación en el contexto de la IA, que es, precisamente, el alto grado de interseccionalidad o la granularidad de las categorías. 

Uno de los problemas fundamentales para identificar y combatir la discriminación algorítmica es la opacidad de los sistemas de IA y su incomprensibilidad. Una opción clara de intervención es aumentar la transparencia en el uso de estas tecnologías. España ha adoptado normas destinadas a aumentar la transparencia que podrían servir a este propósito. Sin embargo, la transparencia solo es efectiva si la regulación también proporciona mecanismos para garantizar el derecho a la explicabilidad.

Las propuestas de normativas europeas, aunque subrayan el riesgo de discriminación y de afectación de los derechos fundamentales, no establecen en su articulado mecanismos de derecho antidiscriminatorio. En la legislación española, hay también algunas normas que podrían contribuir a regular el riesgo de discriminación en el uso de la IA. Sin embargo, sería necesario fortalecer estas protecciones ya que la ley generalmente no va acompañada de políticas antidiscriminatorias o de monitoreo y control. Por último, las soluciones para mitigar la discriminación algorítmica deben ir más allá del enfoque tecno-céntrico propuesto por la documentación de la UE. Si bien las soluciones tecnológicas pueden ser efectivas para eliminar el sesgo de los sistemas, reducir la discriminación como un problema técnico ignora el contexto social de la discriminación.