Decisiones automatizadas y discriminación: aproximación y propuestas generales

El presente trabajo se centra en la perpetuación de la desigualdad a través de los sistemas automatizados de toma de decisiones y de creación de perfiles, analizando las formas en que la normativa en materia de igualdad y no discriminación y, en menor medida, en materia de protección de datos, puede prevenir y hacer frente a las situaciones de discriminación algorítmica. Asimismo, la parte final del artículo se dedica a realizar un esbozo general de posibles propuestas para la elaboración de un marco jurídico que, de manera efectiva, controle y lidie con los diferentes riesgos y daños derivados del creciente uso de sistemas algorítmicos, tanto en el sector público, como en el sector privado.

Alba Soriano Arnanz es Investigadora en el Departamento de Derecho Administrativo de la Universidad de Valencia

El artículo se publicó en el número 56 de la Revista General de Derecho Administrativo (Iustel, enero 2021)

I. EL CRECIENTE USO DE SISTEMAS AUTOMATIZADOS Y SUS RIESGOS. EN CONCRETO, LA DISCRIMINACIÓN ALGORÍTMICA

1. Los sistemas automatizados de toma de decisiones

Un algoritmo constituye una serie de instrucciones dirigidas a la resolución de un problema paso a paso. En el contexto de esta investigación, los algoritmos estudiados se ejecutan por ordenadores. Por ejemplo, un algoritmo contenido en el sistema informático de una universidad puede servir para contar las personas que se matriculan en un curso.(1) El algoritmo incorporará las siguientes instrucciones: teniendo en cuenta que, inicialmente, n=0, realizar la operación n + 1 cada vez que aparezca un nuevo nombre en la lista, convirtiendo, en cada ocasión, el resultado de esa operación en el nuevo valor de n. Es decir:

Estas instrucciones se traducen y operacionalizan en código (lenguaje informático). Los algoritmos se utilizan para la consecución de una finalidad en el marco de una representación de la realidad. Esa representación de la realidad, construida mediante las instrucciones contenidas en los algoritmos, se denomina modelo. Se construye un modelo empleando un algoritmo (serie de instrucciones) para contar personas matriculadas. Tenemos un modelo informático (una representación) de lo que sería una persona humana contando alumnas y alumnos matriculados.

Los algoritmos se suelen ejecutar agrupados en programas. Es por ello que las referencias a algoritmos realizadas a lo largo del presente trabajo deben entenderse como referencias tanto a algoritmos individualmente considerados como agrupados en programas.

El algoritmo arriba explicado es muy sencillo y puede agruparse con otros algoritmos para formar sistemas o programas automatizados básicos. La automatización de procesos no es una novedad(2) pues, ya desde hace décadas, se emplean programas de software para la realización de actividades relativamente sencillas como pueda ser, por ejemplo, el cruce de bases de datos de diferentes Administraciones públicas. Por ejemplo, en Noruega, el sistema de asignación de ayudas a la vivienda se encuentra automatizado desde 1972.(3) Dicho sistema se limita a comprobar que las personas solicitantes rellenan los formularios de manera correcta y adjuntan la documentación solicitada.(4) Además, desde 1970 también se han venido desarrollando y utilizando algunos sistemas automatizados de selección de personal en las empresas privadas.

Sin embargo, lo que sí es novedoso y supone un cambio no sólo cuantitativo sino, a partir de cierto punto, también cualitativo, es la enorme y creciente capacidad computacional actualmente poseída por los sistemas de procesamiento de datos y automatización de procesos de toma de decisión, así como el aumento de su aptitud para el autoaprendizaje. En la actualidad, estos sistemas pueden analizar rápidamente enormes cantidades de datos, inasumibles para cualquier persona humana, e incluso mejorar la forma en que realizan estos tratamientos de datos, en lo que es un proceso claramente semejante al aprendizaje, de manera autónoma.(5) Es por ello que estos sistemas se emplean de manera creciente, tanto por el sector público como por el sector privado, en toda clase de procesos de toma de decisiones con el objetivo de clasificar o predecir situaciones o comportamientos, recomendar líneas de actuación, o una combinación de todas estas funciones.

En el sector privado, podemos encontrar abundantes ejemplos de uso de sistemas automatizados en la selección de personas candidatas a puestos de trabajo,(6) en la determinación de la capacidad crediticia de las personas físicas(7) o en la determinación de los resultados de las búsquedas de información realizadas en plataformas digitales.(8) En el sector público, los algoritmos se emplean en la configuración de los sistemas de ayudas públicas,(9) en la provisión de servicios públicos y también en la actividad desarrollada por los cuerpos y fuerzas de seguridad,(10) así como en otras clases de actividades de limitación, con una creciente incidencia en los procesos de análisis de datos y detección de pautas que permitan identificar conductas, o incluso preverlas, dentro de las actividades de inspección y control.(11)

Asimismo, el creciente uso y nivel de desarrollo de estos sistemas, ha traído consigo un aumento de la incidencia que los algoritmos tienen o pueden llegar a tener, en los derechos fundamentales de las personas y, de manera general, en muchos y diferentes aspectos de sus vidas. Los algoritmos empleados en la actualidad en procesos como el cálculo del riesgo de reincidencia o en la creación de publicidad dirigida y adaptada a su público objetivo, emplean tecnologías conocidas como aprendizaje de máquina o, en su nivel más complejo, aprendizaje profundo, que tienen la capacidad de extraer relaciones entre diferentes datos contenidos en inmensas bases de información y predecir resultados, llegando a conclusiones y tomando decisiones o realizando sugerencias en función de la información que les es proporcionada.(12)

2. La discriminación algorítmica

El auge de los sistemas automatizados de toma de decisiones en todos los ámbitos ha traído consigo la constatación de que, lejos de resolver problemas y procesos de manera objetiva, los algoritmos reproducen y perpetúan las estructuras de discriminación que afectan a las personas pertenecientes a grupos que, históricamente, se han encontrado en una posición de subordinación y desventaja.(13) Este trabajo se centra en las denominadas categorías sospechosas de producir discriminación, es decir, aquellas características que se corresponden con elementos de la persona en principio inmutables, como el sexo, la edad o la raza, o que se sitúan en el núcleo mismo de la dignidad de la persona, como las creencias religiosas u opiniones políticas. Precisamente por ser estas características inmutables o íntimamente relacionadas con la dignidad de la persona se atribuye un mayor desvalor a las decisiones que discriminan con base en dichos elementos.(14)

Dentro de las categorías sospechosas, este trabajo se centra en la protección de los grupos especialmente desaventajados o vulnerables, a saber, personas de bajo nivel socioeconómico; mujeres; minorías étnicas, raciales, nacionales y religiosas; grupos de edad vulnerables; identidades y orientaciones sexuales no normativas; personas con discapacidad, etc. Es decir, en las personas pertenecientes a aquellos grupos que han sufrido una situación histórica de desventaja que todavía hoy se perpetúa en la construcción de las estructuras sociales de poder.

2.1. La discriminación algorítmica como fenómeno bicéfalo

La discriminación algorítmica es una realidad que debe ser analizada desde una doble vertiente o perspectiva. Por una parte, como fenómeno que vulnera el principio de igualdad y los derechos fundamentales a la igualdad y a la no discriminación y, por otra, como uno de los múltiples daños y riesgos generados por las tecnologías de procesamiento de datos y de automatización de la toma de decisiones.

Con respecto a la primera perspectiva, resulta necesario entender la construcción de las sociedades actuales sobre unas estructuras que, históricamente, han situado a las personas pertenecientes a determinados grupos en una posición de desventaja. Dichas estructuras de discriminación generan los fenómenos de discriminación estructural, sistémica o institucional que todavía hoy perviven y que sitúan a determinadas personas en una posición de desventaja y especial vulnerabilidad como consecuencia de su pertenencia a determinados grupos. La construcción de unas sociedades sesgadas (discriminatorias) tiene como resultado la creación de instituciones y productos, también los normativos, desequilibrados a favor de los grupos dominantes y su ideología. Los algoritmos, como productos creados por los seres humanos y utilizados para analizar, reflejar la realidad y tomar decisiones con respecto a la realidad que analizan, corren el riesgo de integrar e interiorizar, por una amplia serie de razones, esos mismos sesgos y estereotipos que perjudican a las personas pertenecientes a grupos desaventajados. Como forma de vulneración de los derechos a la igualdad y a la no discriminación, la discriminación algorítmica debe ser, por tanto, abordada desde el marco jurídico en materia de igualdad y no discriminación.

Sin embargo, es importante tener en cuenta que la discriminación resultante de los procesos algorítmicos, y también la perpetuación de la desigualdad que puede resultar de la automatización de los sistemas de servicios y ayudas públicas, se producen a través de un fenómeno muy específico: el creciente desarrollo e introducción de tecnologías de procesamiento de datos y de automatización de decisiones. Es por ello que la discriminación algorítmica debe ser abordada también como uno más de los riesgos y daños generados por esta clase de sistemas y en el contexto de las características específicas de las decisiones automatizadas.

Así, cabe destacar que los algoritmos y las nuevas tecnologías de procesamiento de datos generan también una amplia variedad de problemas que van más allá de las posibles vulneraciones a los derechos a la igualdad y no discriminación con base en las llamadas “categorías sospechosas”. Los sistemas automatizados de toma de decisiones, incluyendo los de creación de perfiles, presentan problemas de opacidad, de dificultad en la adjudicación de la responsabilidad de las decisiones, así como importantes riesgos para la autonomía, libertad y dignidad de las personas y sus derechos a la intimidad y a la protección de datos. Asimismo, cuando estos sistemas se emplean por el sector público, pueden conllevar importantes quiebras en la cadena de legitimidad de las decisiones emanadas de los poderes públicos.

Con respecto a esta segunda vertiente desde la que se debe analizar la discriminación algorítmica como fenómeno social y jurídico, es necesario subrallar la íntima relación que guardan entre sí los diferentes riesgos y afecciones a los derechos fundamentales y otros intereses públicos derivados del creciente uso de algoritmos. Así, por ejemplo, difícilmente podrán probarse los casos de discriminación algorítmica directa, esto es, la toma de una decisión discriminatoria teniendo en cuenta una categoría sospechosa, si no se tiene acceso o no se dispone de una explicación suficiente de la lógica sobre la que basa su decisión el sistema.

Es más, teniendo en cuenta que, en la actualidad, el marco normativo en materia de protección de datos constituye la principal herramienta dirigida a regular, de manera específica, el tratamiento y procesamiento automatizado de datos y que las normas de protección de datos pretenden ofrecer un amplio marco que, en la medida posible, abarque todas las vicisitudes derivadas de la progresiva automatización de procesos, resulta necesario abordar de manera conjunta los diferentes problemas derivados del creciente uso de sistemas algorítmicos. Es por ello que, si bien las cuestiones problemáticas derivadas del uso de sistemas automatizados diferentes de la vulneración de los derechos a la igualdad y a la no discriminación no constituyen, en sentido estricto, el objeto de estudio de este trabajo, también lo son y se abordan, en la medida en que afectan a las situaciones de discriminación y perpetuación de la desigualdad mediadas por sistemas automatizados.

Cabe también destacar que el objeto de este trabajo no lo constituye cualquier clase de tratamiento o de procesamiento de datos, sino que solo lo constituyen aquellos tratamientos y procesamientos de datos realizados de manera total y parcialmente automatizada. Es importante delimitar esta cuestión por cuanto la normativa en materia de protección de datos, a la que se hará referencia, también aborda el tratamiento no automatizado de datos. Por ello, se debe tener en cuenta que toda referencia realizada a las disposiciones normativas contenidas en dicho marco jurídico y a los problemas derivados del tratamiento y procesamiento de datos se debe entender efectuada al tratamiento, procesamiento y consiguiente toma de decisiones automatizadas.

2.2. La discriminación algorítmica como fenómeno supranacional

Asimismo, el marco jurídico de análisis de este trabajo se centra en el ordenamiento de la Unión Europea (y también la Convención Europea de Derechos Humanos como instrumento jurídico de protección de los derechos a la igualdad, a la no discriminación y a la protección de datos, aplicable a los países miembros de la Unión Europea).

La razón por la que se opta por un ámbito de análisis supranacional es, en primer lugar, que el fenómeno de la extensión del uso de sistemas automatizados, y los problemas que dichos sistemas generan, tiene lugar de manera muy similar en todos los Estados europeos.

En segundo lugar, el ámbito de acción de los sistemas algorítmicos no se rige por las fronteras nacionales, sino que un mismo sistema puede afectar a ciudadanas y ciudadanos de distintos Estados. Además, no debe perderse de vista, reforzando esta idea, que un sistema creado en un Estado puede ser vendido a empresas pertenecientes a otros muchos, lo que abunda en la necesidad de un tratamiento y encuadre jurídico que vaya más allá del ámbito estrictamente nacional. En definitiva, y como es sabido, en el caso de las grandes corporaciones tecnológicas transnacionales, cada vez más presentes y dominantes, los problemas generados por los algoritmos que estas empresas emplean tienen incidencia a nivel global.

En tercer lugar y, por último, las respuestas normativas que, hasta el momento, se han pretendido dar a los problemas generados por esta clase de sistemas y que pueden englobarse en la elaboración del marco jurídico en materia de protección de datos, han tenido lugar a nivel europeo. Además, las recientes propuestas relativas a un nuevo marco de regulación y control de los algoritmos también prevén que las futuras respuestas jurídicas a los riesgos y daños generados por los algoritmos se desarrollen por las instituciones de la Unión.

II. EL MARCO JURÍDICO PARA LA PROTECCIÓN DE LA IGUALDAD Y LA NO DISCRIMINACIÓN Y SU APLICACIÓN A LA DISCRIMINACIÓN ALGORÍTMICA

1. (Des)igualdad y discriminación en Europa

Las sociedades occidentales se han construido, históricamente, sobre unas estructuras de subordinación de unos grupos en relación con otros. Así, con la aparición de las primeras democracias liberales, a las personas pertenecientes a los grupos subordinados les fue negada la condición de ciudadanía plena. En la actualidad y, en algunos casos, desde hace ya décadas, se reconoce la participación total de las personas pertenecientes a estos grupos o colectivos.(15) Sin embargo, dicho reconocimiento y acceso formal a las estructuras e instituciones de poder no ha venido necesariamente acompañado de un disfrute en igualdad de condiciones de los privilegios y prerrogativas de los grupos que, históricamente, han ocupado el poder.

La igualdad constituye un valor superior y principio en el que las instituciones públicas de los Estados democráticos de Derecho deben basar su actuación. Asimismo, la igualdad y no discriminación se configuran como derechos fundamentales subjetivos de la ciudadanía de estos Estados, que tienen la obligación negativa y positiva de protegerlos. Sin embargo, esta construcción parte de una aproximación eminentemente formal a la igualdad que no considera las estructuras subyacentes de discriminación que sitúan en una posición de desventaja a las personas pertenecientes a aquellos grupos que históricamente se han situado en una posición de subordinación.(16)

En la actualidad los ordenamientos jurídicos de la UE y de sus Estados miembros reconocen el especial desvalor de las situaciones de discriminación por razón de una serie de categorías sospechosas. Asimismo, de manera creciente se ha ido ampliando el cuerpo de normas que reconocen estos derechos en las relaciones entre particulares y, en paralelo, una parte cada vez más importante de la doctrina defiende la eficacia horizontal inmediata o directa de los derechos a la igualdad y la no discriminación. Ahora bien, puesto que estas construcciones se basan fundamentalmente en perspectivas formales de la igualdad, el reconocimiento de una especial protección frente a la discriminación por razón de sexo, raza, religión, etc., se basa, sobre todo, en la asunción del hecho de que estas son categorías (en principio) inmutables o que pertenecen al espacio inherente a la dignidad humana.

Así, la especial protección ofrecida en estas situaciones no se centra, o al menos no de manera principal, en el reconocimiento de la discriminación sistémica que dentro de cada una de estas categorías sospechosas coloca a las personas pertenecientes a un subgrupo (mujeres frente a hombres, minorías raciales frente a personas blancas, etc.) en una posición de desventaja social y de especial riesgo de trato desigual. Es por ello que, a pesar de que las perspectivas sustantivas de igualdad y no discriminación se van incorporando progresivamente a los ordenamientos jurídicos de los Estados democráticos y de Derecho, el ordenamiento jurídico únicamente reconoce y aborda la existencia de estas estructuras sociales de opresión de manera fragmentaria y, en demasiadas ocasiones, poco eficaz.

El reconocimiento y protección de los derechos a la igualdad y a la no discriminación encuentran importantes tensiones en relación con el libre desarrollo de la autonomía de la voluntad de los individuos y, en algunos casos, con la eficiencia entendida desde una perspectiva económica.(17) Es más, en el sector privado, estos dos elementos (autonomía y eficiencia) tienden a conjugarse y cristalizar en la libertad de empresa. Sin embargo, la libertad únicamente existe cuando las personas tienen verdadera capacidad de decidir, es decir, si tienen opciones. En cambio, si a una persona le es negado el acceso a un bien o servicio o no se le escoge para un puesto de trabajo porque pertenece a un grupo desaventajado, o por otros elementos que se encuentran vinculados a la pertenencia al grupo, se le está negando la libertad. Es por ello que la protección de la igualdad debe también ser entendida como protección de la libertad y, también, la razón por la cual, en ocasiones, una medida que aparentemente pueda suponer una limitación de la libertad, en realidad sirve para reequilibrar la balanza y garantizar la libertad de aquellas personas que, por su pertenencia a determinados grupos, parten con desventaja en algunos ámbitos de la vida social, económica y política.(18)

Ahora bien, puesto que el ordenamiento jurídico europeo se asienta sobre unas estructuras cuyo objetivo fundamental ha sido garantizar la libertad económica, y puesto que dicha libertad económica ha sido históricamente construida desde la perspectiva de aquellos que ocupaban el poder, la protección de la igualdad, aunque reconocida, carece generalmente de la profundidad requerida para atajar, desde la raíz, la discriminación sistémica existente en la sociedad. En el marco de la Unión Europea la libertad de empresa se protege por defecto y la protección de los derechos fundamentales a la igualdad y no discriminación se sitúa, en realidad, en un plano secundario.

2. Instrumentos jurídicos para la protección frente a la discriminación

El marco jurídico en materia de igualdad y no discriminación se compone de una serie de instrumentos de protección preventiva y reactiva frente a las situaciones de discriminación. Dentro de las herramientas de protección preventiva frente a la discriminación, la distinción que realiza la doctrina estadounidense entre instrumentos de anti-clasificación y anti-subordinación resulta útil de cara al análisis de la discriminación algorítmica, sobre todo con respecto a los paralelismos que pueden dibujarse entre la normativa de protección de datos y los instrumentos de anti-clasificación.(19)

Los instrumentos jurídicos de anti-clasificación se refieren a aquellas normas que prohíben la consideración de las categorías especialmente sospechosas en los procesos de toma de decisión. Esta estrategia se encuentra íntimamente ligada al artículo 9 del Reglamento General de Protección de Datos (RGPD),(20) que prohíbe el procesamiento de categorías especiales de datos personales, las cuales incluyen el origen racial, las convicciones religiosas o las opiniones políticas.

Por su parte, los instrumentos jurídicos de anti-subordinación reconocen y pretenden revertir aquellas estructuras sociales que sitúan a las personas pertenecientes a determinados grupos o colectivos en una situación de desventaja.(21) Entre los mecanismos incluidos en estos instrumentos se encuentran, por ejemplo, las acciones positivas y las iniciativas e instituciones que actúan a partir de la transversalización de la igualdad.

Con respecto a los instrumentos jurídicos reactivos frente a las situaciones de discriminación, ha de hacerse referencia a las prohibiciones de discriminación directa e indirecta. Las prohibiciones de discriminación operan también, en cierta medida, como mecanismos de prevención al articular mandatos que pretenden evitar la toma de decisiones discriminatorias. Sin embargo, dado que los efectos de dichas prohibiciones tienen lugar como mecanismos ex post de identificación y resarcimiento de vulneraciones al derecho a la no discriminación, deben ser tratados y examinados como instrumentos de reacción frente a las situaciones de discriminación.

3. La perpetuación de la desigualdad mediante el uso de algoritmos

En este marco de creciente utilización de sistemas automatizados, se ha ido llamando la atención, en los últimos años, sobre la aparición de múltiples casos de discriminación algorítmica y de situaciones en las que la automatización de procesos contribuye a perpetuar las situaciones de vulnerabilidad de algunos grupos de la población. Así, se ha puesto de relieve que los procesos de desarrollo y puesta en funcionamiento de los algoritmos ofrecen una amplia serie de posibilidades para la incorporación de sesgos que perjudican a los miembros de grupos desaventajados.(22)

Una de las formas en las que se pueden crear algoritmos que reproduzcan las tradicionales estructuras de discriminación de miembros de grupos desaventajados es a través de la selección y peso otorgado a las variables empleadas por estos sistemas para la medición y predicción del objeto del que se ocupan. La forma en la que se da prioridad a unas variables sobre otras en la medición de los fenómenos que los algoritmos se encargan de predecir puede condicionar y sesgar los resultados de estos programas. Por ejemplo, si un sistema de calificación del crédito de la clientela de un banco prioriza el nivel de ingresos sobre la capacidad de ahorro como elemento indicativo de la capacidad crediticia de una persona física, esta decisión perjudicará a las mujeres en mayor medida que a los hombres como consecuencia de la brecha salarial por razón de género. Esta cuestión es relevante por cuanto la capacidad de ahorro de las mujeres es mayor que la de los hombres.(23)

Uno de los elementos esenciales a destacar, en este sentido, es que los algoritmos, en muchas ocasiones, no discriminan con base en las denominadas categorías sospechosas, sino que lo hacen al emplear criterios de medición aparentemente neutros que, sin embargo, perjudican en mayor medida los miembros de grupos desaventajados que a los no miembros.(24)

La discriminación algorítmica también puede venir derivada de los errores o sesgos contenidos en las bases de datos empleadas en el desarrollo de los sistemas de toma de decisiones automatizadas. Por ejemplo, una base de datos de detenciones y condenas puede contener fundamentalmente datos sobre individuos de minorías étnicas y raciales como consecuencia de la discriminación sistémica sufrida por estos grupos poblacionales tanto en sus relaciones con los cuerpos y fuerzas de seguridad como con el sistema de justicia. En este caso, el algoritmo aprenderá, de manera indirecta, que la pertenencia a una minoría étnica o racial está relacionada con un mayor índice de criminalidad.(25)

En otros casos, el uso de algoritmos puede servir para perpetuar estereotipos en los que se basan las estructuras sociales de discriminación. Por ejemplo, no son pocos los casos en que se ha detectado que los resultados obtenidos como consecuencia de la introducción de determinadas combinaciones de palabras en los motores de búsqueda de Internet (principalmente Google) reproducen los roles de género, cosifican a las mujeres o contribuyen a la consolidación de estereotipos negativos sobre las personas no blancas.(26)

También existe la posibilidad de que no sea el propio algoritmo el que discrimine, sino que las decisiones que se tomen en relación con los resultados que genera sean discriminatorias. Por ejemplo, en 2018, el servicio público de desempleo de Austria comenzó a utilizar un algoritmo en fase de pruebas para clasificar a las personas desempleadas según su probabilidad de encontrar un nuevo trabajo. La introducción definitiva de este sistema automatizado, llamado PAMAS, ha tenido lugar durante 2020 y su objetivo es llevar a cabo la asignación de recursos públicos de la manera más eficiente posible.(27)

El algoritmo analiza diferentes características de las personas desempleadas y proporciona a cada persona una puntuación. Dependiendo de la puntuación obtenida, el algoritmo clasifica a las personas analizadas en tres categorías diferentes según las probabilidades que tengan de encontrar un nuevo trabajo: probabilidad alta, media o baja.(28)

La primera controversia en torno a este sistema automatizado surgió cuando la empresa contratada para crear el modelo publicó el código fuente. En dicho documento se podía ver cómo se restaban puntos a aquellas personas pertenecientes a determinados grupos desaventajados o vulnerables. Por ejemplo, entre otros elementos, ser mujer o nacional de un Estado no miembro de la UE resta puntos. Así pues, una persona perteneciente a varios grupos especialmente susceptibles de sufrir discriminación vería su puntuación considerablemente reducida y, por tanto, aquellas personas vulnerables en situación de mayor riesgo de exclusión social se clasificarían en la categoría de "baja probabilidad de encontrar un empleo".

Si bien este sistema es objetivo en la medida en que se limita a reflejar las prácticas discriminatorias existentes en el mercado laboral, ha sido muy criticado por algunas organizaciones y sectores sociales austríacos. Estas críticas no son infundadas, ya que el sistema contribuye a la estigmatización de estos grupos y de sus miembros por el mero hecho de clasificar a las personas más vulnerables en la categoría inferior.(29) Sin embargo, el servicio público de desempleo austriaco defendió la necesidad de que el sistema funcione de esta manera para garantizar que los recursos públicos se distribuyan de la mejor manera posible, proporcionando una ayuda más adecuada a las personas que puedan encontrar más dificultades para acceder al mercado de trabajo con una ayuda más apropiada.(30)

Ahora bien, aunque el servicio público de desempleo justificó esta forma de clasificación bajo el pretexto de ofrecer una mejor ayuda a las personas que tenían más dificultades para encontrar un nuevo empleo, decidieron dar prioridad a la eficiencia en la asignación de los recursos públicos sobre cualquier otro objetivo. Así pues, tras llegar a la conclusión de que la asignación de recursos más eficaz sería la de proporcionar más recursos a las personas con una probabilidad media de encontrar un nuevo empleo, se decidió reducir considerablemente la cantidad de recursos y otras ayudas proporcionadas a las personas desempleadas cuyas posibilidades de reincorporarse al mercado laboral son menores,(31) perpetuando así las situaciones de exclusión social que sufren determinados grupos e individuos, y ayudando a reforzar la construcción de estructuras e instituciones sociales mediante relatos de subordinación de los grupos históricamente oprimidos.

Es por ello, que no solo debe prestarse atención a los resultados ofrecidos por los algoritmos cuando realizan tratamientos de datos, sino también a la forma en que se toman decisiones con respecto a dichos resultados.

Asimismo, cabe destacar el riesgo para la perpetuación de la desigualdad que los sistemas algorítmicos empleados en la asignación de recursos públicos y, en general, en la gestión de programas de ayudas sociales pueden tener. Es necesario tener en cuenta que los grupos poblacionales que recurren a las ayudas y servicios públicos dirigidos a mitigar la desigualdad se encuentran en situaciones de mayor vulnerabilidad económica y disponen de menos recursos para la defensa de sus derechos e intereses frente a los posibles errores cometidos en los procesos de concesión y provisión de ayudas y servicios públicos. Es por ello que la automatización de esta clase de actividad produce una serie de riesgos especialmente perjudiciales para la reducción de las diferencias sociales. Así, estos riesgos no se refieren tanto a situaciones específicas de discriminación en las que se privilegie a un subgrupo sobre otro dentro de una categoría sospechosa, sino a que los errores que pueden producir estos algoritmos contribuyen a perpetuar la posición de desventaja y vulnerabilidad de aquellos colectivos a quienes se dirigen, de manera específica, las ayudas y servicios públicos.

En relación con la automatización de los sistemas de ayudas propios del Estado de bienestar, es especialmente relevante señalar la creciente utilización, por parte del sector público, de sistemas algorítmicos privados de detección de fraude en la solicitud de ayudas públicas.(32) Este proceso está alejando a los sistemas de seguridad social y a los programas de ayudas públicas de su objetivo como redes de seguridad para los ciudadanos.(33) Cada vez se presta más atención al control las personas con menos recursos económicos, reforzando así los estereotipos negativos de las personas pertenecientes a los estratos socioeconómicos más bajos de la sociedad como personas poco fiables que se aprovechan de los servicios y ayudas proporcionados por el Estado y que, por tanto, deben ser controladas y ver sus derechos a la intimidad y a la protección de datos mermados.(34)

4. La aplicación del marco jurídico para la protección de la igualdad y no discriminación al uso de algoritmos

La protección frente a la discriminación desarrollada en Europa se basa en las prohibiciones generales de discriminación con base en las denominadas categorías sospechosas contenidas en el Convenio Europeo de Derechos Humanos(35) y la Carta de los Derechos Fundamentales de la UE.(36) También el Tratado de Funcionamiento de la UE contiene diversas disposiciones en las que se reconoce la protección y promoción de la igualdad y no discriminación como derechos subjetivos de la ciudadanía de los Estados miembros de la Unión.(37) En el marco de la UE, el desarrollo específico de dichas prohibiciones se contiene en las Directivas de Igualdad(38) que clasifican las situaciones de discriminación como discriminación directa o indirecta.

4.1. La discriminación algorítmica directa

La discriminación directa tiene lugar cuando una persona es tratada de manera menos favorable por razón de su pertenencia a uno de los subgrupos contenidos en las categorías sospechosas. Es por ello que la discriminación algorítmica directa puede tener lugar cuando se introduzcan en el algoritmo los datos relativos a la pertenencia a un grupo desaventajado y a dicha pertenencia se asocie un valor negativo. Ese valor negativo puede conducir directamente a una consecuencia final negativa (por ejemplo, ser de procedencia hispana implica de manera automática la no concesión de un crédito) o puede contribuir a reducir la puntuación o empeorar el resultado final, pero no ser determinante para su obtención.

La discriminación directa también puede tener lugar cuando se infiera la pertenencia de una persona a un grupo desaventajado de otros datos a los que se atribuya un valor negativo. Los diseñadores del algoritmo pueden articular dichas inferencias de manera consciente o inconsciente y también es posible que el algoritmo las desarrolle una vez que se ponga en funcionamiento. Para que estos casos entren en el ámbito de la discriminación directa, los datos de los que se infiere la pertenencia al grupo especialmente protegido no pueden ser criterios aparentemente neutros, es decir, no deben ser significativos para predecir la variable objetivo.(39) La variable objetivo es el aspecto de la realidad que el algoritmo trata de medir, por ejemplo, la solvencia de una clienta de un banco o el rendimiento profesional de un trabajador de una empresa.

Esta forma de discriminación directa puede tener lugar si, por ejemplo, un algoritmo aprende que las personas que hayan pertenecido a asociaciones de mujeres no son buenas candidatas para un puesto de trabajo simplemente porque en la base de datos de la que aprende no hay prácticamente mujeres y, por tanto, no hay prácticamente personas pertenecientes a asociaciones de mujeres. Aunque la categoría “sexo” no aparezca en el procesamiento, el sistema inferirá dicho dato de otra categoría de datos que, en realidad, no predice si una persona será buena empleada o no. Algo similar ocurrió con un algoritmo que Amazon trató de desarrollar y que terminó por descartar ya que al haber sido entrenado mayoritariamente con currículums de hombres el algoritmo llegó a la conclusión que era preferible contratar hombres que contratar mujeres, por lo que discriminaba contra personas en cuyo currículum aparecían palabras de las cuales infería que una candidata era mujer aunque estos datos no tuviesen relevancia para la predicción de la calidad como trabajadora de la persona candidata.(40)

Igual que en la otra clase de discriminación algorítmica directa, el valor negativo asociado a la categoría de datos inferida podrá determinar de manera directa el resultado o contribuir a él, pero no ser necesariamente determinante en su obtención.

4.2. La prueba en la discriminación algorítmica directa

Los casos de discriminación algorítmica directa en los que la pertenencia al grupo explícitamente incluida determine de manera automática un resultado negativo, serán relativamente fáciles de probar incluso sin acceder al contenido del algoritmo. Cabe destacar, en este sentido, que el Tribunal de Justicia de la Unión Europea (TJUE) considera que, en aquellos casos en los que el criterio formal en virtud del cual se toma una decisión sea inseparable de la pertenencia al grupo desaventajado, la acción puede ser considerada como constitutiva de discriminación directa.

Por ejemplo, en el caso Tadao Maruko,(41) el TJUE determinó que una norma que sólo permite reconocer la pensión de viudedad a aquellas personas que estuvieron casadas con sus parejas constituye una medida que discrimina de manera directa contra las personas homosexuales en aquellos países en los que no se les está permitido casarse.

Por consiguiente, aunque no se disponga de la información relativa a la inclusión de la categoría sospechosa como dato que determine la decisión algorítmica, en caso de afectar esta de manera negativa a todos los miembros del grupo desaventajado, deberá considerarse como un supuesto de discriminación directa.

Sin embargo, en aquellos casos en los que se produce un caso de discriminación algorítmica directa que no afecta de manera evidente a todas las personas pertenecientes al grupo protegido, será mucho más complejo probar dicha situación. Así, en la mayoría de supuestos, salvo que se pueda acceder al contenido del algoritmo, no será fácil probar la existencia de una situación de discriminación directa. Cabe destacar que la importancia de calificar correctamente los supuestos de discriminación directa se deriva de la más fácil justificación de la discriminación indirecta.

Si bien no hay casos específicos relativos a la necesidad de revelar algoritmos en el contexto de decisiones discriminatorias, las sentencias dictadas en los casos Danfoss(42) y Galina Meister(43) del TJUE ofrecen algunas pistas sobre las posibles respuestas que podría dar el este tribunal ante solicitudes de acceso al código fuente de sistemas algorítmicos que son sospechosos de producir discriminación.

En la sentencia dictada en el caso Danfoss, el TJUE estableció que:

“[C]uando una empresa aplica un sistema retributivo caracterizado por la falta total de transparencia, recae sobre el empresario la carga de la prueba de que su política de salarios no es discriminatoria, una vez que los trabajadores femeninos hayan demostrado, a partir de un número relativamente importante de trabajadores por cuenta ajena, que la retribución media de los trabajadores femeninos es inferior a la de los trabajadores masculinos.”(44)

Si bien el Tribunal atribuye a la parte demandada la carga de probar que un sistema de remuneración opaco no es discriminatorio, solo lo hace una vez que se ha demostrado que dicho sistema perjudica a las mujeres.

Por su parte, la sentencia dictada en el asunto Galina Meister establece que las disposiciones contenidas en las Directivas de Igualdad de la UE que establecen las normas relativas a la carga de la prueba en casos de discriminación “deben interpretarse en el sentido de que no prevén el derecho de un trabajador que alega de forma verosímil que reúne las condiciones enunciadas en un anuncio de contratación y cuya candidatura no ha sido seleccionada, de acceder a la información que indica si al término del proceso de selección el empresario ha contratado a otro candidato.”(45)

Así, en ambos supuestos, si la parte demandante solo sospecha que la decisión fue discriminatoria pero no puede aportar un elemento de comparación o prueba de trato discriminatorio, la parte demandada no tiene la obligación de revelar la lógica subyacente a la decisión. Siguiendo este razonamiento, si un algoritmo arroja resultados discriminatorios pero las personas afectadas no pueden probar el trato discriminatorio porque no tienen acceso a los resultados producidos para otras personas, la persona demandada no tendrá la obligación de dar acceso al sistema ni de justificarlo.

Cabe, en todo caso, tener en cuenta que varios tribunales y órganos administrativos han obligado a dar acceso al código fuente de diferentes sistemas automatizados empleados por el sector público.(46) Si bien esta tendencia podría dar pie a una creciente exigencia de transparencia también en el contexto de la discriminación algorítmica, todavía no se encuentra lo suficientemente consolidada, ya que son pocos los supuestos de algoritmos cuya transparencia ha llegado a ser enjuiciada por tribunales o sometida a la valoración de órganos administrativos. Asimismo, todavía queda por resolver el nivel de transparencia exigible a actores privados.

Es más, en algunas ocasiones será incluso difícil proporcionar un elemento de comparación si los datos de los resultados obtenidos por otras personas sometidas al mismo proceso de toma de decisión se encuentran protegidos por la normativa en materia de protección de datos. Este problema podría ser parcialmente resuelto a través de la solicitud de datos anonimizados agregados.(47)

Asimismo, con respecto a la aportación de un elemento de comparación, dado que los algoritmos que se utilizan de manera creciente tienen la capacidad de aprender y desarrollarse de manera autónoma, puede suceder que sea casi imposible encontrar supuestos la decisión en relación con los cuales haya sido adoptada sobre exactamente los mismos parámetros.

Para aquellos casos en los que no se dé acceso pleno al algoritmo, deberá establecerse la posibilidad de experimentar con el sistema, introduciendo diferentes perfiles para comprobar si este efectivamente discrimina o no con base en alguna de las categorías sospechosas.(48) Ahora bien, si el sistema no tiene en cuenta las categorías sospechosas sino que las infiere de otros datos, será prácticamente imposible deducir si se trata de un supuesto de discriminación directa o indirecta ya que, sin acceso al sistema, no será posible determinar si las variables que se tienen en cuenta, y que derivan en un trato discriminatorio, tienen valor predictivo o no para el objetivo para el que se utiliza el algoritmo.

4.3. La discriminación algorítmica indirecta

El enjuiciamiento de los supuestos de discriminación indirecta requiere que se acredite la existencia de una disposición, práctica o criterio aparentemente neutros que produzcan efectos más perjudiciales para las personas pertenecientes al grupo protegido que a las no pertenecientes a dicho grupo. Una vez que se acredita la existencia, a primera vista, de un supuesto de discriminación indirecta como el descrito, se traslada la carga de la prueba a la parte demandada, que habrá de demostrar que no se ha vulnerado el principio de igualdad de trato.(49)

En el caso de la discriminación algorítmica, la disposición, práctica o criterio aparentemente neutro puede ser la variable específica introducida en el sistema que, por el valor que le otorga este, genera un resultado discriminatorio para el grupo desaventajado, o bien el algoritmo generalmente considerado. El primer caso será más complicado de establecer puesto que para determinar la variable o variables que generan el resultado discriminatorio se necesitará tener acceso al sistema. Es más, en muchas ocasiones, la gran cantidad de datos procesados y la complejidad de los sistemas de procesamiento impiden identificar de manera clara cuáles son los elementos que condicionan los resultados del sistema. Es por ello que, como norma general, será el sistema en su totalidad el que deba ser considerado como disposición, práctica o criterio aparentemente neutral que genera resultados discriminatorios.

4.3.1. La prueba de la discriminación algorítmica indirecta

Igual que en el caso de la discriminación directa, la prueba de la discriminación indirecta requiere de la aportación de un elemento de comparación. Puesto que la figura de la discriminación indirecta se centra en el resultado y no tanto en el trato, en ocasiones, tanto el TJUE como el Tribunal Europeo de Derechos Humanos (TEDH) han basado la existencia a primera vista de un caso de discriminación indirecta en datos estadísticos.

Los casos en que se enjuicien las decisiones tomadas por sistemas automatizados, sin duda, comportarán un aumento de la incidencia de la prueba basada en datos estadísticos. El objetivo de estos sistemas es analizar personas en masa y continuamente dar resultados sobre una misma cuestión. Por eso, en principio, será posible disponer de una importante cantidad de ejemplos que aportar como comparación.(50)

Ni el TJUE ni el TEDH han fijado un criterio único sobre qué porcentaje de personas negativamente afectadas por la disposición, criterio o práctica aparentemente neutra debe pertenecer al grupo desaventajado. Tampoco se ha establecido el porcentaje de personas del grupo que deben resultar negativamente afectadas por la medida, en comparación con el porcentaje de personas negativamente afectadas que no pertenecen al grupo para considerar que se da un caso de discriminación indirecta. Sin embargo, el TJUE sí ha indicado que la diferencia debe ser considerable y que el resultado perjudicial debe tener una incidencia de en torno al 80 o 90% para las personas pertenecientes al grupo protegido.

En todo caso, tanto el TJUE como el TEDH tienden a analizar cada situación de manera específica. Así, en el caso de D. H. y otros contra la República Checa,(51) el TEDH consideró que la desproporcionada presencia de menores de etnia romaní en centros escolares para niñas y niños con necesidades especiales constituía una medida indirectamente discriminatoria. En este caso, la presencia de menores romaníes en estas escuelas se encontraba en torno a un 50%. Sin embargo, el tribunal tuvo en cuenta dicho dato en relación con la composición de la población del país, pues únicamente un 2% de las y los menores checos eran de etnia romaní.

Por su parte, la sentencia dictada en el caso Seymour-Smith(52) abre una importante puerta a la reducción de los límites mínimos para considerar la prueba estadística válida. En dicho supuesto, se estableció la posibilidad de apreciar la concurrencia de discriminación “si los datos estadísticos mostraran una diferencia menos importante, pero persistente y relativamente constante durante un largo período de tiempo”, en aquel caso, entre mujeres y hombres trabajadores. Teniendo en cuenta que los algoritmos son generalmente implementados con el objetivo de automatizar procesos que se reproducen una y otra vez, será relativamente fácil obtener una serie longitudinal de resultados producidos por estos sistemas. Es más, una vez que un algoritmo incorpora un sesgo que perjudica a las personas pertenecientes a un grupo desaventajado, salvo que el sistema incorpore instrucciones para corregir estos sesgos, algo que generalmente no sucede, lo habitual es que dicho sesgo se perpetúe durante todo el periodo de funcionamiento del sistema.

Ahora bien, como ya se ha indicado en el caso de la discriminación algorítmica directa, será necesario establecer controles y mecanismos que den validez a los elementos de comparación y series de resultados longitudinales aportados por algoritmos de autoaprendizaje cuyo contenido, razonamiento e instrucciones pueden ir variando.

4.3.2. Igualdad como paridad en la prueba de la discriminación algorítmica indirecta

La prueba estadística de la discriminación algorítmica puede adoptar diversas formas. Por ejemplo, se puede fijar como una medida de la paridad en el grupo.(53) Es decir, de todas las personas candidatas para un puesto de trabajo, ¿a cuántas mujeres selecciona y qué porcentaje de las candidaturas representan? O, de todas las mujeres que se postularon, ¿a qué porcentaje se seleccionó? En este segundo caso cabría comparar dicho resultado con el porcentaje de hombres seleccionados del total que presentó su candidatura.

Ahora bien, estas medidas no son siempre adecuadas, puesto que se centran en el resultado final absoluto y hay determinados ámbitos en los que debe realizarse un análisis ponderado entra la igualdad y otros principios, intereses o derechos. Por ejemplo, si comparamos la presencia de hombres no blancos y hombres extranjeros en las cárceles, en relación con la presencia de hombres blancos nacionales y encontramos que la presencia de los primeros es desproporcionada en relación con el porcentaje de la población que constituyen, podremos detectar que existe un problema.(54) Este problema se puede situar en la discriminación estructural e institucional presente en los sistemas de fuerzas del orden, judicial y penitenciario o en las situaciones de exclusión social y experiencias que suelen compartir las personas migradas y no blancas. Sin embargo, no se puede considerar que un sistema penitenciario es indirectamente discriminatorio siempre que no sea absolutamente representativo de los diferentes segmentos poblacionales. Ello comportaría una construcción e implicaciones absurdas de las nociones de acción afirmativa y de discriminación indirecta.

4.3.3. Igualdad como paridad en la precisión en la prueba de la discriminación algorítmica indirecta

Es por ello que en muchos supuestos de discriminación algorítmica indirecta será más conveniente recurrir a medidas de paridad en la precisión. Esto es, si el algoritmo predice de manera igualmente precisa que personas blancas y no blancas reincidirán, dicho algoritmo no será discriminatorio. Ahora bien, surge un nuevo problema a la hora de decidir cuál sería la medida a emplear para determinar si un algoritmo no cumple con los criterios de paridad en la precisión. Por ejemplo, se podría determinar a través de las tasas de falsos positivos y negativos. En este caso, deberíamos preguntar si la tasa de falsos positivos y falsos negativos es la misma para los diferentes grupos. Otra posibilidad sería calcular si la tasa de error en el cálculo de positivos y negativos de los diferentes grupos se desvía significativamente. También se podría calcular la proporción de falsos positivos a falsos negativos y la proporción de falsos negativos a falsos positivos para cada grupo. Por último, la medida escogida podría calcular la cantidad total de verdaderos positivos y negativos como porcentaje dentro del propio grupo.(55)

No existe una única respuesta de cuál haya de ser la medida más adecuada para determinar la precisión paritaria del algoritmo pero todas ellas ofrecen un elemento probatorio adicional en los casos de discriminación indirecta y, por ello, la posibilidad de examinar la igualdad y no discriminación en ámbitos en los que no basta con demostrar la desigualdad en números absolutos.

4.3.4. El problema de la justificación de la discriminación indirecta

Una de las grandes diferencias en la valoración que reciben los supuestos de discriminación directa e indirecta es el mayor margen que se ofrece a la hora de justificar la segunda. Los supuestos de discriminación directa únicamente pueden justificarse por razones tasadas y objetivas. Sin embargo, en el caso de la discriminación indirecta, se permite la realización de un examen de proporcionalidad a través del cual se ponderen los diferentes intereses en juego.

La justificación de la discriminación indirecta pasa, en primer lugar, por la prueba de que la medida discriminatoria persigue un fin legítimo. En general, el TJUE ha dado por válidos prácticamente todas aquellas finalidades que no constituyan la obtención de un resultado discriminatorio o que escondan el objetivo de discriminar de manera evidente.(56) Por ejemplo, en la sentencia Bilka-Kaufhaus, el Tribunal abrió la posibilidad a justificar una medida que excluía a los trabajadores a tiempo parcial de su plan de pensiones con el fin de incentivar el trabajo a tiempo completo, a pesar de que esta medida afectaba negativamente a muchas más mujeres que hombres.(57) En el mismo orden de ideas, el fallo del TJUE en el caso Achbita estableció que "ha de considerarse legítima la voluntad [del empresario] de seguir un régimen de neutralidad política, filosófica o religiosa en las relaciones con los clientes tanto del sector público como del sector privado”(58) en aplicación del art. 16 de la Carta de derechos fundamentales de la UE, a pesar de que dicho régimen de neutralidad religiosa perjudicaba, de manera evidente, a las mujeres musulmanas, pues no podían portar el hiyab. Por consiguiente, en general, el TJUE ha considerado los intereses económicos como objetivos legítimos válidos dentro del sector privado.

Sí cabe hacer una especial referencia a la consideración de lo que constituyen fines legítimos para el sector público, puesto que el TJUE ha determinado que las consideraciones de carácter presupuestario no pueden, por sí solas, suponer un fin legítimo que ampare una medida indirectamente discriminatoria.(59) Por consiguiente, y aun teniendo en cuenta las mayores exigencias impuestas a los poderes públicos en la justificación de los fines de las medidas discriminatorias, es probable que se considere legítima, cualquier finalidad (lícita) para la que se emplee un algoritmo.

Una vez determinada la concurrencia de una finalidad legítima, los tribunales deben proceder a realizar el test de proporcionalidad de la medida discriminatoria. Este test incorpora la evaluación de la adecuación de la medida a los fines que persigue; su necesidad, esto es, la inexistencia de otra medida menos gravosa que alcance los mismos fines y, por último, el análisis de proporcionalidad en sentido estricto.(60)

La adecuación del algoritmo discriminatorio a los fines que persigue podrá establecerse, en los casos en que se tenga acceso al contenido del algoritmo, a través de la determinación del significado predictivo (o falta de este) de aquellas variables que conducen a resultados discriminatorios. En caso de que se determine que dichas variables no son útiles para predecir la variable objetivo y que, sin embargo, producen resultados discriminatorios, el algoritmo deberá, automáticamente, clasificarse como un sistema que produce discriminación directa.

También podría determinarse la concurrencia de discriminación algorítmica a través de sesgos en la base de datos, debiendo la parte demandada probar si, pese a dichos sesgos, la base de datos es adecuada para predecir la variable objetivo del algoritmo.

Ahora bien, teniendo en cuenta la creciente complejidad y opacidad de los sistemas automatizados y de las bases de datos que los alimentan, es poco probable que puedan llegar a identificarse aquellas variables o los sesgos en las bases de datos que derivan en la producción resultados discriminatorios. Es por ello que resulta más probable que el test de adecuación se realice sobre todo el sistema en su conjunto,(61) debiendo responder a la pregunta: ¿es el algoritmo adecuado para predecir el fenómeno del que se ocupa? La adecuación deberá, pues, medirse a partir de la precisión del sistema.

Con respecto a la necesidad de utilización del sistema discriminatorio, la parte demandada deberá probar que valoró otras posibilidades y mecanismos para la consecución del mismo fin para el que se emplea el algoritmo. Es, sobre todo, de vital importancia que no se acepte una justificación genérica de la necesidad basada en la idea de que, como norma, los algoritmos son menos discriminatorios que los seres humanos y, por tanto, el uso de un sistema automatizado de toma de decisiones implica, de manera automática, la superación del test de necesidad.

Existe una creciente rama del conocimiento dedicada a la creación de sistemas automatizados no discriminatorios.(62) Es por ello que la parte demandada deberá acreditar que valoró el uso de otros sistemas y bases de datos y que no existía un algoritmo menos discriminatorio, ni una base de datos más completa y menos sesgada. Ahora bien, con el objetivo de no imponer costes inasumibles a algunos operadores tecnológicos, deberá exigírseles el uso de sistemas no discriminatorios dentro del criterio de “las mejores técnicas disponibles”, esto es, extrapolando dicha figura aplicada en el ámbito del derecho medioambiental a los riesgos generados por las nuevas tecnologías de procesamiento de datos.(63) Es decir, deberá tenerse en cuenta tanto el estado de la técnica como la capacidad económica de la parte demandada. En este sentido, como se indicará las propuestas finales de este trabajo, debería instituirse un marco europeo de “mejores técnicas disponibles” aplicable al uso de tecnologías de procesamiento de datos y de toma de decisiones automatizadas.

Finalmente, con respecto al test de proporcionalidad en sentido estricto, será sobre todo complicado determinar si, en aquellos casos que podrían englobarse en la categoría de “discriminación estadística precisa”, deben prevalecer los derechos a la igualdad y a la no discriminación de la demandante sobre la libertad y la eficiencia como derechos o intereses de la parte demandada. Sobre todo, debe tenerse en cuenta que, incluso en aquellos casos en que el resultado que perjudica a las personas pertenecientes a grupos desaventajados sea realmente preciso, es decir, que refleje de manera adecuada la realidad, dicha realidad es el producto de la construcción de la sociedad sobre una serie de estructuras de discriminación.(64) Es más, es altamente posible que existan situaciones en las que un algoritmo que produce resultados discriminatorios que, en apariencia, son precisos, también contenga sesgos imperceptibles.(65) Ello no quiere decir que se apliquen criterios de igualdad de resultados estricta en el enjuiciamiento de estos supuestos, sino que se introduzca, como elemento de valoración, la existencia de unas estructuras sociales que, de manera sistemática, discriminan contra las personas pertenecientes a determinados grupos en muchos de los aspectos de sus vidas.

Para la realización de este último examen de proporcionalidad proponemos que se lleve a cabo un análisis de costes y beneficios, evaluando, en el contexto analizado, todos los bienes y derechos en juego. En dicho examen deberá, en todo caso, tenerse en cuenta la capacidad humana para comprender determinados elementos intangibles que no son capturados por las herramientas informáticas.

Cabe realizar una advertencia con respecto a aquellos casos en que la utilización de determinados datos que revelen la pertenencia a un grupo vulnerable sea necesaria. Por ejemplo, en el análisis de la situación económica de una persona para determinar si se le concede un préstamo o no, generalmente se valorará su clase social a través de su situación socioeconómica. En un supuesto como el descrito deberá comprobarse que la diferencia en el resultado obtenido por una persona perteneciente a una clase socioeconómica baja y una persona con mayor capacidad económica y status social no sea desproporcionada. Esto es así, sobre todo si se tiene en cuenta que existe una relación directa entre la pertenencia a determinados grupos protegidos, como minorías étnicas, y la pertenencia a estratos socioeconómicos más bajos.

Asimismo, consideramos conveniente que se impongan mayores requisitos en el respeto a los derechos a la igualdad y no discriminación a las grandes compañías tecnológicas, tanto por su poder económico como por su gran presencia en el mercado, con comportamientos que pueden definirse como monopolísticos, y por la gran influencia que sus sistemas tienen sobre la esfera de la dignidad humana y los derechos fundamentales de las personas.

4.4. Discriminación algorítmica por asociación

La figura de la discriminación por asociación, reconocida por el TJUE en los casos Coleman(66) y Chez(67), abre la puerta a la posibilidad de reconocer como discriminación algorítmica (directa o indirecta) aquellos supuestos en los que el algoritmo no seleccione a las personas por su pertenencia a un grupo desaventajado, sino por su relación con personas del grupo. En este sentido, cabe hacer referencia al sistema empleado por Facebook para excluir del acceso a publicidad sobre venta y alquiler de inmuebles, y otros productos, a personas relacionadas con determinados grupos raciales.

Hasta 2019, la plataforma utilizaba un programa de elaboración de perfiles para ofrecer a los anunciantes la posibilidad de excluir a las minorías étnicas de la visualización de determinados anuncios mediante la inclusión de una opción denominada "afinidades étnicas" en su configuración publicitaria. En la investigación realizada por Angwin y Parris jr.,(68) que se centró en publicidad sobre inmuebles, se determinó que las categorías de afinidades étnicas que podían excluirse eran: personas Afroamericanas, asiáticas-americanas e hispanas, es decir, todas las comunidades no blancas.

Facebook explicó que "afinidades étnicas" no significaba "grupo étnico", sino el interés que un individuo había mostrado en el contenido relacionado específicamente con un determinado grupo étnico.(69) Explicación que no acabó de convencer por cuanto que resultaba bastante evidente que el objetivo era excluir a personas pertenecientes o asociadas a un determinado grupo étnico o racial. Facebook se comprometió a cambiar la configuración de sus anuncios para que no permitieran opciones discriminatorias y, en una declaración pública, indicó que había establecido "instrumentos de aplicación de la ley más sólidos" que señalarían todo anuncio relativo a la vivienda, el empleo o las oportunidades de crédito que discriminara sobre la base de la "afinidad multicultural", ya que era un claro indicador de la raza.(70) Sin embargo, una segunda investigación realizada demostró que Facebook seguía permitiendo que los anuncios de vivienda no se mostraran a personas con ciertas "afinidades multiculturales". Además, se demostró que Facebook también permitía excluir a las personas interesadas en "hombres gays" y "lenguaje de señas".(71)

Finalmente, en marzo de 2019 Facebook introdujo los cambios necesarios para que no fuera posible discriminar sobre la base de la pertenencia a ningún grupo protegido en los anuncios relacionados con el empleo, la vivienda o el crédito.(72)

Este supuesto entraría dentro de la categoría de discriminación por asociación, ofreciendo tanto a las personas pertenecientes al grupo como a las no pertenecientes, pero de alguna manera vinculadas al mismo, la especial protección ofrecida a los derechos a la igualdad y no discriminación cuando estos operan en relación con las categorías sospechosas. Asimismo, este mecanismo ofrece una vía para proteger a aquellas personas que, por ejemplo, no quieran hacer pública su orientación sexual al considerarlas como parte del grupo a proteger por estar relacionadas con aquel y, no, necesariamente, por efectivamente pertenecer al mismo.(73)

En otro orden de cosas, lo que este ejemplo viene a demostrar es que la elaboración de perfiles algorítmicos se está llevando a cabo de manera activa y consciente mediante plataformas digitales y, aunque la decisión final relativa a la discriminación de determinados grupos no se toma mediante algoritmos en este caso, la utilización de herramientas automatizadas al elaborar perfiles de personas que incluyen categorías de datos especialmente protegidos como la etnia, demuestra claramente cómo estas tecnologías ofrecen nuevas formas de agilizar la discriminación y cómo, por el momento, no se están introduciendo consideraciones de igualdad en los entornos digitales.

4.5. Marco jurídico de igualdad sustantiva

Las Directivas Europeas de Igualdad también contienen una serie de preceptos dirigidos a la construcción de un marco de igualdad sustantiva, reconociendo, por ejemplo, la posibilidad de implementar acciones positivas.(74) El fomento de la igualdad entre mujeres y hombres como objetivo general también se encuentra contenido en el Tratado de Funcionamiento de la UE (art. 157.4). Las principales medidas para la realización efectiva del marco jurídico de igualdad sustantiva son las acciones afirmativas, las medidas de fomento de igualdad y el desarrollo de acciones para la generalización de la transversalidad de la igualdad.

En general, el TJUE se ha mostrado reacio a aceptar la introducción de medidas de acción positiva. Por ejemplo, solo ha aceptado que se diese prioridad al grupo desaventajado siempre que se introduzca una cláusula que permita considerar las características específicas concurrentes en las personas pertenecientes al grupo aventajado, otorgando cierta flexibilidad al mandato de priorizar la selección de mujeres. Es decir, no se permite la priorización automática del grupo desaventajado o infrarrepresentado.(75)

La igualdad sustantiva algorítmica ha de construirse sobre la noción de “igualdad en el diseño”, esto es, deben considerarse los distintos elementos que pueden derivar en situaciones de discriminación algorítmica o en usos que contribuyan a perpetuar determinadas estructuras de desigualdad en cada momento de la construcción y desarrollo de los sistemas algorítmicos, y también después de su puesta en funcionamiento.(76) Partiendo de esta premisa, existen varias propuestas relativas al nivel de igualdad al que deberían aspirar los sistemas algorítmicos, así como sobre los mecanismos existentes para su consecución.

Aquellos mecanismos que persiguen una igualdad de resultados total, basados en nociones de paridad estadística, difícilmente podrán superar el examen de aceptabilidad impuesto por el TJUE. Ahora bien, la introducción de determinados elementos que flexibilicen los mandatos de acción afirmativa sí podrían facilitar la aceptación de la acción afirmativa algorítmica. En este sentido, cada vez son más las propuestas dirigidas a introducir acciones afirmativas en el desarrollo de algoritmos cuyo objetivo es evitar generar grandes distorsiones con respecto a los resultados que serían obtenidos sin las modificaciones tendentes a crear algoritmos más igualitarios.(77)

En cualquier caso, si bien resulta relevante la introducción de acciones afirmativas para compensar la desigualdad estructural sufrida por determinados grupos, también es de gran relevancia que se acuda a la raíz del problema y se examinen las bases de datos empleadas en la creación y desarrollo de los algoritmos; las decisiones previas sobre las que pueden aprender estos sistemas, así como las variables y el peso relativo otorgado a cada una de ellas, pues, en muchas ocasiones, los resultados discriminatorios encuentran su origen en la construcción de la sociedad sobre unas estructuras que dan prioridad a los valores y características más comunes en los miembros de grupos que, históricamente, han ocupado el poder.

Finalmente, también pueden y deben emplearse los sistemas automatizados para detectar actitudes, estructuras y situaciones discriminatorias de manera más efectiva con el objetivo de mejorar las actuaciones en materia de lucha contra la discriminación y promoción de la igualdad.

5. DEFICIENCIAS DEL MARCO JURÍDICO DE IGUALDAD Y NO DISCRIMINACIÓN

El marco jurídico europeo en materia de igualdad confiere una protección más específica y extensa en aquellos supuestos previstos en las Directivas de Igualdad. Si bien es cierto que la Carta Europea de Derechos Fundamentales establece una serie de obligaciones a los Estados y, también, hasta cierto punto, a los particulares, en materia de respeto y protección a los derechos a la igualdad y la no discriminación, lo cierto es que el artículo 21 de la Carta deja un considerable margen de actuación en la determinación de las situaciones y forma de protección de estos derechos. Sin embargo, las Directivas de Igualdad incorporan un marco mucho más completo, definiendo, de manera más extensa, no solo aquellas categorías sospechosas, sino también las clases de discriminación y los ámbitos en los que los derechos a la igualdad y a la no discriminación merecen una especial protección. Las Directivas de igualdad constituyen el límite mínimo de protección que los Estados miembros de la UE deben respetar en sus ordenamientos jurídicos internos.

Es por ello que la desigual protección ofrecida por estas Directivas, dependiendo de la categoría sospecha, genera importantes limitaciones en la protección de la igualdad y la no discriminación de la ciudadanía de la Unión. Así, la prohibición de discriminación en el acceso a bienes y servicios se aplica, únicamente, por razón de raza o género y no así por razón de las restantes categorías sospechosas. Asimismo, no se incluye la publicidad en el ámbito de aplicación de la Directiva relativa a la igualdad de hombres y mujeres en el acceso a bienes y servicios. Por su parte, la protección frente a la discriminación por razón de religión, convicciones, edad, orientación sexual y discapacidad únicamente tiene lugar en el ámbito del empleo.

Se limita así la posibilidad de reconducir, por la vía de la publicidad discriminatoria, la perpetuación de estereotipos de género a través de los algoritmos empleados por los motores de búsqueda (principalmente, Google) o la utilización de algoritmos que impidan mostrar publicidad relativa a determinados productos o servicios a cualquier persona perteneciente a un grupo desaventajado, salvo en los casos en los que la exclusión se realice por razón de raza. Asimismo, teniendo en cuenta la especial vulnerabilidad de las personas pertenecientes a estratos socioeconómicos más bajos frente al creciente uso de sistemas automatizados, también resulta especialmente problemático que la clase social no se incluya como categoría especialmente protegida ni en el Convenio Europeo de Derechos Humanos ni en la Carta de los Derechos Fundamentales de la UE y, por supuesto, tampoco en las Directivas.

Entre las deficiencias del sistema europeo de protección de la igualdad y la no discriminación también cabe destacar, sobre todo con referencia al uso de algoritmos, las dificultades derivadas de la necesidad de aportar un elemento de comparación. Por una parte, cabría esperar que la cantidad de situaciones procesadas por un mismo algoritmo pudiera dar lugar a suficientes elementos de comparación. Ahora bien, si los datos referentes a los restantes resultados producidos por el algoritmo se encuentran protegidos por la normativa en materia de protección de datos será más costoso, aunque no imposible, acceder a dichos elementos de comparación. Así, la razón por la que no es imposible es porque, o bien pueden solicitarse dichos datos una vez sean anonimizados, o se pueden realizar experimentos con el programa, introduciendo diferentes perfiles para comparar los resultados entre unos y otros.(78)

Ahora bien, también puede suceder que la constante evolución de los sistemas derive en que no existan dos casos en los que el algoritmo haya funcionado de manera idéntica. En este caso, será más difícil recurrir a la solución de la experimentación con el algoritmo. Es por ello que resulta necesario que los encargados y responsables del procesamiento de datos tengan y cumplan con la obligación de guardar una copia de cada versión del programa.

También cabe destacar que, si bien es cierto que la posibilidad de emplear pruebas estadísticas en los supuestos de discriminación podría aumentar las posibilidades de acreditar la existencia de vulneraciones a los derechos a la igualdad y a la no discriminación, la dificultad de comprender el contenido de los sistemas también impide que el propio sistema se pueda considerar discriminatorio de plano, sin atender a elementos de comparación. Por ejemplo, en un supuesto en el que había una única mujer candidata a un ascenso y fue rechazada por estar embarazada, el TJUE consideró que se trataba de un supuesto de discriminación directa por razón de sexo puesto que el rechazo a una persona para un puesto de trabajo por el hecho de estar embarazada solo se puede dar en los casos en que la persona candidata sea mujer.(79) Esta consideración difícilmente podrá darse en un caso en que la decisión la tome un algoritmo a cuyo contenido no se pueda acceder.

Asimismo, la falta de consideración de la discriminación estructural como elemento de análisis en los casos de discriminación también supone una importante limitación en la protección efectiva de los derechos a la igualdad y no discriminación.(80) Esta limitación resulta especialmente relevante en el caso de la discriminación algorítmica por cuanto la discriminación estructural, como categoría analítica permite entender que, incluso en los casos en los que la discriminación es aparentemente precisa, esta es el resultado de una sociedad que, de manera sistemática, sitúa a las personas pertenecientes a determinados grupos en una posición de desventaja. Por tanto, si no se corrigen estas situaciones de discriminación aparentemente eficiente, no se corregirán las estructuras que sitúan en un punto de partida desigual a las personas pertenecientes a grupos desaventajados.

Cabe también destacar la poca consideración otorgada a los supuestos de discriminación interseccional, también conocida como discriminación múltiple. Las personas pertenecientes a más de un grupo desaventajado pueden ser y son discriminadas por razones específicas que se pueden diferenciar de aquellas situaciones de discriminación basadas en una única categoría sospechosa. En este sentido, la discriminación sufrida por una mujer migrada no es equivalente ni a la discriminación sufrida por los hombres migrados ni a la discriminación sufrida por las mujeres nacionales de un Estado. La necesidad de prestar atención a esta clase de discriminación deviene, si cabe, más acuciante como consecuencia del creciente uso de sistemas automatizados. La cantidad de datos cruzados por los sistemas algorítmicos implica un aumento de la personalización de los resultados y, por tanto, un aumento de las respuestas específicas dadas a aquellas personas en las que concurran varias categorías que las hagan especialmente vulnerables. Es por ello, que la realidad de la discriminación interseccional y la forma en la que esta se refleja en la discriminación algorítmica, debe ser abordada. En este sentido, el TEDH ha realizado una importante labor en el reconocimiento progresivo de las situaciones de discriminación que afectan de manera específica a aquellas personas sobre las cuales se toman decisiones con base en la concurrencia en ellas de dos o más categorías sospechosas.

Por ejemplo, en el caso Carvalho Pinto, el TEDH estableció lo siguiente:

“La cuestión que se plantea aquí no es la consideración de la edad o el sexo como tales, sino más bien la suposición de que la sexualidad no es tan importante para una mujer de cincuenta años y madre de dos hijos como para alguien de menor edad. Esa suposición refleja la idea tradicional de que la sexualidad femenina está esencialmente vinculada a los fines de la procreación y, por lo tanto, no tiene en cuenta su importancia física y psicológica para la realización personal de las mujeres como personas.”(81)

Por último, el sistema europeo de reconocimiento y protección de los derechos a la igualdad y a la no discriminación adolece de importantes deficiencias que dificultan la efectiva aplicación de los mecanismos tendentes a salvaguardar los derechos que nos ocupan. En este sentido, cabe destacar que, si bien existe una red de instituciones dedicadas a la protección de la igualdad, estas se ocupan, principalmente, de realizar actuaciones de investigación y no siempre tienen suficiente capacidad para controlar el respeto a los derechos a la igualdad y a la no discriminación.(82)

Asimismo, en muchas ocasiones el derecho de acceso a la justicia se ve condicionado tanto por las propias limitaciones derivadas de los costes económicos y burocrático-administrativos de los procesos de protección de los derechos a la igualdad y no discriminación,(83) como por el hecho de que las víctimas de las situaciones de discriminación en muchas ocasiones no son tan siquiera conscientes de que sus derechos están siendo vulnerados. Por ejemplo, la víctima de discriminación en un proceso de selección de personal llevado a cabo por un algoritmo, o a quien se le ha denegado un préstamo por un sistema automatizado que basa su decisión en una categoría sospechosa, difícilmente serán conscientes de las razones verdaderas por las que no se les contrata o se les deniega un préstamo, especialmente si no tienen acceso o conocimiento de otras personas que hayan participado en el mismo proceso.

A mayor abundamiento, la práctica inexistencia de la adopción de acciones colectivas en materia de igualdad y no discriminación en Europa también supone un importante impedimento a la efectiva protección de estos derechos, puesto que estas acciones otorgan a las víctimas de discriminación una red y mecanismos de apoyo que facilitan la realización de todos los trámites burocráticos y reducen el coste económico de la defensa de sus derechos.(84)

III. EL MARCO JURÍDICO EN MATERIA DE PROTECCIÓN DE DATOS

1. El marco jurídico en materia de protección de datos para prevenir y responder de manera conjunta frente a los diferentes riesgos generados por el uso de algoritmos

Como ya se ha indicado anteriormente, la creciente capacidad computacional de las tecnologías de procesamiento de datos y de automatización de decisiones genera una serie de riesgos para los derechos fundamentales de las personas, así como para los valores propios de los Estados democráticos de Derecho, que no se limitan, exclusivamente, a la esfera de la igualdad y no discriminación. Todos esos riesgos y daños se encuentran íntimamente relacionados entre sí. Hasta la fecha, el marco jurídico específicamente dirigido a lidiar y controlar, de manera conjunta, con los indicados riesgos y daños, viene dado por la normativa en materia de protección de datos. El RGPD y, en menor medida, la Directiva 2016/680,(85) establecen un sistema que puede denominarse de gobernanza colaborativa o co-regulación, en el que se incluyen preceptos estructurados como mandatos y otros como meras recomendaciones o que precisan la cooperación de los responsables y encargados del tratamiento de datos para su efectividad.

Es lógico que el marco jurídico dirigido a proteger frente a los riesgos causados por las tecnologías de procesamiento de datos y la automatización de procesos parta de la protección de datos personales, estrechamente relacionada con la protección de la intimidad. Los daños causados por estos sistemas son, principalmente, el resultado de la recogida de datos de carácter personal y muchos de sus efectos tienen lugar en la esfera personal de aquellos individuos cuyos datos han sido recogidos y procesados.

También por esta razón, podría caerse en el error de considerar que las reglas y normas establecidas por el ordenamiento jurídico privado deberían ser suficientes para gestionar los conflictos surgidos en relación con el procesamiento de datos, la creación de perfiles y la toma de decisiones automatizadas. Sin embargo, sin entrar a valorar el uso de estos sistemas por los poderes públicos, también cuando los responsables y encargados del tratamiento operan en el sector privado, los daños causados y riesgos que se originan tienen efectos más allá de la configuración tradicional de relaciones jurídicas entre personas privadas. Así, no son pocas las ocasiones en que las personas afectados por el procesamiento de datos no han compartido su información personal, sino que dichos datos han sido recopilados a través de los perfiles o cuentas en plataformas digitales de terceras personas. O, incluso, cuando hay posibilidades de ejercicio de poder público, son el resultado del cruce de bases de datos que las Administraciones públicas tienen sobre los ciudadanos y que han sido recopilados en el ejercicio de funciones públicas. (86)

Igualmente, cabe destacar la existencia de una serie de fallos de mercado, incluyendo externalidades negativas, regímenes monopolísticos o situaciones de asimetría informativa generadas, desde una perspectiva económica, por las relaciones jurídicas articuladas en relación con el procesamiento de datos y automatización de decisiones.(87) Todo ello contribuye a justificar la intervención pública en el mercado privado de los servicios de procesamiento de datos. Es por ello que el marco jurídico europeo en materia de protección de datos establece un sistema mixto que fija importantes limitaciones a la actuación de poderes públicos y organizaciones privadas en el procesamiento de datos, creación de perfiles y toma de decisiones automatizadas pero que también, como ya se ha indicado, cuenta con mecanismos orientados a fomentar la auto-regulación privada de esta clase de actuaciones.

El sistema europeo en materia de protección de datos contiene así tres tipos de mecanismos: i) prohibiciones de procesamiento, i) una serie de mecanismos dirigidos a establecer un proceso tecnológico justo y iii) una serie de instrumentos dirigidos al control general de los sistemas algorítmicos.

En primer lugar, las prohibiciones de procesamiento se refieren, por una parte, al procesamiento de categorías especiales de datos (arts. 9 RGPD ar. 9 y 10 Directiva 2016/680) y, por otra, a la toma de decisiones basadas únicamente en un tratamiento automatizado, incluida la elaboración de perfiles (arts. 22 RGPD y 11 Directiva 2016/680). Sobre todo, con respecto a la prohibición referida al procesamiento de categorías especiales de datos personales, cabe referirse a que es este precepto el que sitúa principalmente al marco jurídico europeo en materia de protección de datos como un instrumento de prevención de la discriminación a través de la anti-clasificación. Así, teniendo en cuenta que las categorías especiales de datos personales coinciden, en lo sustancial, con las categorías sospechosas contenidas en los instrumentos jurídicos de protección de la igualdad y no discriminación, cabe concluir que el legislador europeo lo que pretende con este precepto, que ya se encontraba en la anterior Directiva de Protección de Datos 95/46/CE, es evitar que se tomen decisiones basadas en las categorías especialmente protegidas por el marco jurídico europeo de protección a los derechos a la igualdad y a la no discriminación, como la raza o la religión.

En segundo lugar, el sistema de proceso tecnológico justo, o debido proceso tecnológico, incluido en el ordenamiento jurídico europeo en materia de protección de datos, incorpora una serie de derechos individuales de información, a ser oída u oído y a recurrir los perfiles creados y/o decisiones tomadas y obligaciones correlativas para los responsables y encargados del tratamiento de datos personales.

Finalmente, la última parte del marco jurídico en materia de protección de datos la constituyen aquellos instrumentos dirigidos a controlar, de manera general, los sistemas automatizados. Estos mecanismos incluyen la obligación de realizar evaluaciones de impacto, especialmente cuando estos sistemas generen riesgos significativos para las libertades y derechos fundamentales de las personas (arts. 35 RGPD y 27 Directiva 2016/680), un sistema de sanciones (arts. 84 RGPD y 57 Directiva 2016/680) y entidades públicas independientes de supervisión y control de protección de datos (Capítulo VI RGPD y Directiva 2016/680). Adicionalmente, como ya se ha indicado, el RGPD (y no así la Directiva 2016/680 por ir dirigida exclusivamente al sector público) incluye diversos mecanismos que requieren de la cooperación entre poderes públicos y actores privados para su efectividad, como por ejemplo, la elaboración de códigos de conducta para el procesamiento de datos (arts. 40 y 41 RGPD) y el desarrollo de mecanismos de certificación (art. 42 RGPD).

2. Deficiencias del marco jurídico europeo en materia de protección de datos

Las deficiencias del marco jurídico europeo en materia de protección de datos tienen su origen en las insuficiencias generadas por un sistema que pretende proteger frente a una importante y diversa cantidad de riesgos desde una perspectiva única muy concreta, la de la privacidad y la protección de datos, construida a partir de un sistema que se centra fundamentalmente en la protección individual.

En primer lugar, existen diferentes situaciones en las que la propia protección de la privacidad es por sí misma insuficiente. Así, por ejemplo, los datos anonimizados no se incluyen en el marco de protección del RGPD y la Directiva 2016/680 y, sin embargo, es posible que en algunos casos se llegue a extraer información personal de datos supuestamente anonimizados.(88) A mayor abundamiento, el uso de datos anonimizados también puede contribuir a la construcción de perfiles que, por ejemplo, perpetúen estereotipos perjudiciales para las personas pertenecientes a grupos desaventajados y que sí pueden ser aplicados en la toma de decisiones relativas a personas identificadas.(89) Cabe también destacar que el marco jurídico en materia de protección de datos se centra, sobre todo, en los datos introducidos en los sistemas y no tanto en los resultados obtenidos. En este sentido, el RGPD no articula mecanismos de protección frente a las inferencias obtenidas del procesamiento de datos, sino que la protección se centra en la corrección y precisión de los datos introducidos inicialmente en el sistema y la forma en que estos son procesados.(90)

En segundo lugar, los derechos individuales reconocidos a las personas interesadas y obligaciones de los responsables y encargados del tratamiento de datos que conforman el sistema de proceso tecnológico justo, sitúan una serie de cargas sobre las personas cuyos datos son procesados, que estas no siempre son capaces de asumir. En este sentido, incluso aunque las personas suelen expresar cierta preocupación y voluntad de proteger su privacidad y datos de carácter personal, sus actuaciones efectivas no se corresponden, en muchos casos, con dicha voluntad. Esto se debe, en parte, al fenómeno denominado “paradoja de la privacidad”,(91) que refleja la forma en la que las personas no valoran de manera racional los daños futuros que pueden derivarse de compartir sus datos en el presente. Así, se da prioridad a los beneficios a corto plazo generados por el acceso a los servicios digitales que, como contraprestación, exigen, solicitan o incluso toman sin prácticamente informar de ello, una generosa cantidad de todos aquellos datos de carácter personal relacionados con la interacción o susceptibles de ser recopilados aprovechándola.

Asimismo, también cabe tener en cuenta las asimetrías informativas relativas a los datos que verdaderamente se comparten y al uso que se les da por las entidades que los recogen, ya que las personas que comparten sus datos no son siempre conscientes de la información a la que están dando acceso.(92) Esas asimetrías informativas se dan, no solo con respecto a los datos que se comparten, sino que también se sitúan en el marco de los derechos que las personas tienen con respecto a sus propios datos. La amplia y compleja regulación en materia de protección de datos, en combinación con la baja percepción de los riesgos derivados de la recogida de datos personales, dificulta la concienciación social con respecto a la importancia de la privacidad y la comprensión de los derechos y posibilidades de protección de la esfera de la intimidad correspondiente a los datos personales.

En cualquier caso, cabe destacar que, en muchas ocasiones, las personas solo pueden elegir entre acceder a un servicio compartiendo sus datos o no acceder al mismo en absoluto(93) y, teniendo en cuenta que el acceso a redes sociales y plataformas digitales se ha convertido en un elemento esencial de la vida social y laboral de cada vez más personas, esa supuesta libertad de elegir queda enormemente mermada.

En tercer lugar, el sistema de control general contenido en el RGPD y que pretende articularse como sistema de gobernanza general de los sistemas automatizados de procesamiento de datos, sencillamente, no es efectivo. En este sentido, cabe destacar que la elaboración y aprobación de códigos de conducta y mecanismos de certificación no requiere de la participación de terceros interesados (asociaciones o personas físicas), ya que el RGPD únicamente prevé la participación de asociaciones y otros organismos que representen a responsables y encargados del tratamiento de datos y de las autoridades relevantes.(94) Además, cabe añadir que no se está realizando un seguimiento de la correcta implementación de las evaluaciones de impacto que deben ser llevadas a cabo de manera obligatoria cuando se utilicen sistemas de procesamiento de datos que generen riesgos significativos para los derechos y libertades fundamentales.

Finalmente, la protección de los datos de carácter personal puede ser contraproducente para la protección de la igualdad y la no discriminación. Si se prohíbe la utilización de determinadas categorías de datos, como la religión o la raza, en el procesamiento de datos para la toma de decisiones, es mucho más complicado determinar si el algoritmo infiere las categorías protegidas de otros datos. Así, autorizar que los algoritmos empleen las categorías sospechosas en el procesamiento, aunque sea solo como mecanismo de control, permite determinar hasta qué punto dichas categorías condicionan el resultado del algoritmo y qué otros datos se hallan vinculados con la pertenencia a un grupo desaventajado. De lo contrario, aunque no resulte en un plano teórico totalmente imposible, sí es más complicado identificar si el algoritmo está infiriendo la pertenencia a un grupo desaventajado de otras categorías de datos. Asimismo, es más sencillo enseñar a los sistemas automatizados a no discriminar con base en las categorías sospechosas si dichos datos se introducen y consideran expresamente. De esta manera se puede enseñar al algoritmo a evitar confundir características (variables) de las que se infiere la pertenencia a un grupo desaventajado con variables que realmente tengan un valor predictivo en la determinación de la variable objetivo.(95)

IV. CONCLUSIONES Y PROPUESTAS

Del análisis realizado a lo largo del presente trabajo se deduce, indudablemente, que tanto la normativa en materia de protección de los derechos a la igualdad y no discriminación, como en materia de protección de datos, resulta insuficiente para hacer frente a los riesgos y daños derivados del creciente uso de algoritmos y, en particular, para prevenir y lidiar con las situaciones de discriminación algorítmica. La presente sección realiza un esbozo general de posibles mecanismos que podrían introducirse con el objetivo de subsanar las mentadas deficiencias.

1. Aproximación conjunta a los sistemas normativos en materia de igualdad y no discriminación y en materia de protección de datos como solución provisional

Uno de los problemas del marco jurídico antidiscriminatorio es el hecho de que la aplicación de las prohibiciones de discriminar solo puede llevarse a cabo después de que se haya producido la acción discriminatoria. Asimismo, como ya se ha indicado, la efectividad del marco jurídico antidiscriminatorio se puede ver menoscabada por la dificultad de detectar las situaciones de discriminación y de acceder a los órganos jurisdiccionales como consecuencia de la existencia de diversas trabas de índole burocrática, procesal y económica.

El marco europeo de protección de datos ofrece una serie de instrumentos que, en cierta medida, puede ayudar a completar las lagunas del marco antidiscriminatorio a la hora de lidiar con los riesgos para los derechos a la igualdad y a la no discriminación que generan los algoritmos.(96) El RGPD y otras normas en materia de protección de datos ofrecen la posibilidad de llevar a cabo un control ex ante de los sistemas automatizados y refuerzan el control ex post que ofrecen los instrumentos jurídicos de lucha contra la discriminación. Los principios contenidos en el artículo 5 del RGPD obligan a los responsables y encargados del tratamiento a garantizar que los datos de entrada no estén sesgados (exactitud) y que los datos se procesen “de forma lícita, justa y transparente”, lo que introduce indirectamente la obligación de considerar, al menos, cómo la forma en que un sistema procesa los datos afecta a los derechos a la igualdad y a la no discriminación.(97)

También resulta relevante el principio de transparencia (también contenido en el art. 5 RGPD), que se concreta en los derechos al debido proceso y en los mecanismos de rendición de cuentas que figuran en el Reglamento. El sistema de derechos de las personas interesadas reconocido en el Reglamento podría proporcionar los elementos necesarios para que las personas tomen conciencia de las decisiones automatizadas discriminatorias a las que podrían ser sometidas y demostrar algunos casos de discriminación algorítmica. Además, los mecanismos de rendición de cuentas y gobernanza, como los códigos de conducta, la certificación y las evaluaciones de impacto relativas a la protección de datos, no sólo podrían contribuir a lograr un control ex ante y continuo de los sistemas algorítmicos, sino que también ayudarían a subsanar las deficiencias de los sistemas de protección de los derechos fundamentales que principalmente imponen la carga al individuo.

También cabe destacar que el Considerando 71 del RGPD establece la obligación de los responsables del tratamiento de introducir las medidas necesarias para evitar efectos discriminatorios basados en categorías especiales de datos. A pesar de no incluirse dicho mandato en el articulado del Reglamento, dado que el art. 24.1 RGPD fija la obligación de establecer las medidas necesarias para garantizar el cumplimiento del Reglamento, teniendo en cuenta los posibles riesgos para los derechos y las libertades fundamentales de las personas, cabe concluir que la noción de igualdad en el diseño se encuentra también indirectamente incluida en el marco normativo europeo en materia de protección de datos.

Incluso con sus muchas deficiencias y teniendo en cuenta las tensiones entre las normas en materia de protección de datos y las de protección de la igualdad y no discriminación, es innegable que la combinación de ambos marcos normativos ofrece un sistema más completo de protección contra la discriminación algorítmica. La combinación de ambos marcos jurídicos permite trazar los elementos estructurales de un modelo en el que basar las muy necesarias mejoras que el actual sistema normativo precisa para poder abordar la discriminación algorítmica de manera adecuada. Sin embargo, por el momento, y dado el evidente retraso de las disposiciones institucionales y jurídicas dirigidas a regular y controlar todos los riesgos que plantean los algoritmos y, en particular, la discriminación algorítmica, los operadores técnicos y jurídicos deberían centrarse en la combinación aplicada de los marcos de protección de datos, igualdad y lucha contra la discriminación a fin de lograr un sistema más eficaz que proteja los derechos a la igualdad y la no discriminación contra los peligros generados por la automatización de procesos de toma de decisiones.

2. Un sistema de regulación, control e intervención de algoritmos

Las propuestas realizadas a continuación parten, sobre todo, de tratar de garantizar en todo caso el objetivo último de la protección de la igualdad y no discriminación. Sin embargo, las estrategias propuestas aspiran también a sentar las bases para crear, además, un sistema efectivo de control y regulación de los diferentes riesgos generados por los algoritmos.

2.1. Autoridad única de control algorítmico

La amplitud, especialidad y complejidad de los riesgos surgidos del creciente uso de sistemas algorítmicos, hacen recomendable la creación de unas instituciones específicas dedicadas a su control y a la fiscalización de aquellos actores, tanto públicos como privados que, en el ejercicio normal de sus actividades, empleen sistemas automatizados de toma de decisiones, incluyendo la creación de perfiles, que incidan en la esfera jurídica de las personas. Es por ello, que, como se viene apuntando por diversos sectores académicos en los últimos años, y como ha reconocido la propia Comisión Europea, resulta recomendable el establecimiento de una red de autoridades independientes con competencias generales de control sobre sistemas algorítmicos.(98)

En este sentido, cabe destacar que la propia red institucional creada en la Unión Europea con el objetivo de proteger los datos personales de la ciudadanía puede servir como base para que, a partir de estas agencias independientes o por medio de nuevas estructuras institucionales especiales, se asuman paulatinamente mayores competencias respecto del control de los algoritmos. Dichas instituciones deberían estar integradas por personas expertas en diferentes ámbitos académicos y, sobre todo, teniendo en cuenta los importantes riesgos que estos sistemas generan para los derechos a la igualdad y la no discriminación, es importante que la composición de estas instituciones cuente con personal especializado en estudios de igualdad, así como con especialistas en el campo de la ética algorítmica.

2.2. Regulación y control de los algoritmos mediante un sistema basado en el riesgo

Los enfoques basados en el riesgo para la regulación de los algoritmos se han presentado, por ejemplo, en el Libro Blanco de la Comisión Europea sobre Inteligencia Artificial y en la opinión de la Comisión Alemana de Ética de los Datos sobre los sistemas algorítmicos, y también se ha sugerido en otros informes y artículos académicos.(99) Además, el Gobierno de Canadá ha aprobado la Directiva sobre la toma de decisiones automatizadas, que establece un sistema de cuatro niveles de requisitos en función de los riesgos que presentan los algoritmos, pero que sólo se aplica a los sistemas públicos de toma de decisiones automatizada.(100)

Por ejemplo, podría establecerse un sistema de control que fijase cinco niveles de riesgo según la clase de sistema:

- Los sistemas que produzcan unos riesgos inasumibles, como las armas autónomas (que no automáticas), deberían quedar directamente y en todo caso prohibidos.

- Los sistemas que generen riesgos elevados (algoritmos utilizados en la contratación de personal, por ejemplo), en el caso que nos ocupa, para los derechos a la igualdad y la no discriminación, deberán contar con una autorización previa de acceso al mercado y posteriores auditorías públicas periódicas. Los algoritmos de esta clase empleados por las Administraciones públicas deberán, además, cumplir con una serie de requisitos adicionales específicos, incluyendo un mayor nivel de transparencia, debido a su capacidad de preconfigurar normativamente el ejercicio del poder público(101) y su alta capacidad de afección a derechos e intereses de los ciudadanos. Así, deberían establecerse registros públicos de algoritmos en los que apareciesen públicados los algoritmos empleados por el sector público, como ya hace la ciudad de Ámsterdam.

- Los sistemas que generen riesgos medios (del estilo de los algoritmos utilizados en la adaptación de precios que usan habitualmente las grandes plataformas de comercio electrónico para optimizar el cruce de oferta y demanda, así como sus beneficios) deberán, de manera obligatoria, ser certificados por entidades reconocidas por las Autoridades de control algorítmico. Este proceso de certificación deberá asegurar, entre otros extremos, que los algoritmos no vulneran en ningún caso los derechos a la igualdad y a la no discriminación y que aseguran un trato equitativo a los grupos desfavorecidos. Desde un primer momento se deberá entregar a las referidas Autoridades toda la documentación relativa al software empleado, que se conservará por esta. Se realizarán procesos de recertificación posteriores con carácter periódico.

- Los sistemas que generen riesgos de nivel bajo (por ejemplo, algoritmos utilizados en sistemas GPS) también deberán obtener una certificación y someterse a procesos de re-certificación periódicos.

- Los sistemas con riesgo prácticamente inexistente (algoritmos empleados en máquinas expendedoras y, en general, programas que realicen operaciones muy sencillas y mecánicas) no deberán superar más controles que aquellos a los que se deban someter los productos en los que se incorporan.

2.3. Establecimiento de un sistema de “mejores técnicas disponibles”

El desarrollo de sistemas algorítmicos cada vez más complejos que contribuyen a perpetuar determinadas estructuras de desigualdad social ha venido también acompañado de una incipiente rama académica y profesional dedicada específicamente a la detección de la discriminación algorítmica y a la creación de algoritmos que se pretenden no discriminatorios. Es por ello que el establecimiento de un sistema europeo de mejores técnicas disponibles en la materia permitiría un conocimiento homogéneo y compartido de las posibilidades respecto de la protección de la igualdad y la garantía de la no discriminación, así como de otros riesgos generados por los algoritmos.

También cabe considerar que, a pesar del imparable desarrollo tecnológico en el ámbito de las técnicas de recogida y procesamiento de datos, en ocasiones todavía resulta muy costoso acudir a las mejores técnicas que logren los resultados que sean además lo suficientemente eficientes, con la mayor transparencia, el mayor posible respeto a los derechos a la igualdad y a la no discriminación y a otros derechos fundamentales, etc. Es por ello que el establecimiento de un sistema europeo de “mejores técnicas disponibles” permitiría dar a conocer cuáles deben ser los algoritmos que se pueden emplear en según qué contextos, facilitando también la tarea de los tribunales en el enjuiciamiento de supuestos de conflictos entre derechos e intereses en riesgo por la toma de decisiones automatizadas.

2.4. La contratación pública como mecanismo para prevenir los riesgos en el uso de algoritmos por los sectores público y privado

Muchos de los sistemas automatizados utilizados por las Administraciones públicas proceden, en realidad, del sector privado. El sector público deberá aprovechar los mecanismos disponibles en la normativa de contratos del sector público para imponer determinadas condiciones relativas tanto a la composición y organización de las empresas licitadoras como concernientes a las características de los propios algoritmos. De esta manera se fomentará, de manera indirecta, que los algoritmos utilizados también en el sector privado se elaboren empleando exigencias y parámetros parecidos. Dada la ya larga tradición europea estableciendo unos mínimos comunes en materia de contratación pública esta labor no supone además un gran cambio ni expansión de las materias de las que tradicionalmente se ha considerado competente la Unión Europea.

2.5. Detección de la discriminación y la desigualdad mediante algoritmos

Los sistemas algorítmicos pueden ayudar a la producción de importantes avances en la promoción y protección de la igualdad y en la lucha contra la discriminación.(102) La capacidad que estos sistemas tienen para analizar enormes cantidades de datos y para generar resultados altamente precisos sobre la realidad debería ser empleada para detectar aquellas situaciones de vulnerabilidad y desventaja de determinados grupos poblacionales e incluso como una herramienta particularmente útil para identificar y atajar la discriminación estructural y las situaciones específicas de discriminación interseccional.

Asimismo, debe detenerse la actual tendencia a la automatización de sistemas de ayudas públicas y servicios sociales que, en lugar de ofrecer una mayor y más efectiva protección a las personas vulnerables, desvirtúan en no pocos casos los objetivos de las herramientas y políticas propias del Estado de bienestar, convirtiendo estos sistemas en meros mecanismos de detección de fraude.(103)

2.6. Empoderamiento de las personas en la gestión de sus datos

Actualmente, no existen suficientes incentivos para que los individuos se preocupen por salvaguardar su privacidad todo lo posible. Una persona que no percibe un peligro real en compartir sus datos no va a preocuparse por identificar y controlar con qué proveedores se comparten sus datos cada vez que entra en una página web y deseleccionarlos todos, aunque formalmente se les dé la oportunidad de hacerlo. Incluso cuando la protección de los datos es procedimentalmente más sencilla, resulta costoso prestar atención a este elemento cuando lo que se pretende es acceder a un servicio con relativa rapidez. Asimismo, y por descontado, una persona no va a leerse los términos y condiciones de uso o la política de privacidad de cada empresa cuya página web visita o cuyo producto digital adquiere. Debe, por tanto, trabajarse en fomentar arquitecturas del diseño que se centren en la protección de los intereses de los individuos por defecto y sin que sea necesaria una intervención activa de éstos, y menos todavía una intervención que requiere de un nivel de conocimiento y dedicación elevados.

2.7. Comunicación y cooperación entre disciplinas

Como último elemento, y también uno de los más relevantes para un sistema efectivo de control y regulación de los sistemas algorítmicos, cabe subrayar la necesidad de fomentar la comunicación y colaboración entre disciplinas. Las diferencias entre la forma en que se preparan, desarrollan y aprueban las normas jurídicas ordinarias y la forma en la que funcionan los algorítmicos y los programas de software producen rupturas significativas que impiden y escapan en la forma tradicional de abordar los problemas sociales por el Derecho. Asimismo, las personas dedicadas a la programación de sistemas están acostumbradas a unas formas de trabajo y de desarrollo de productos que difícilmente encajan con la consecución del respeto a los derechos fundamentales e intereses públicos y el control de la conformidad a Derecho de los algoritmos como fines prioritarios. Es por ello que la creciente incidencia de los sistemas automatizados en la vida política, social y económica requiere como prius inexcusable, para su correcta regulación y utilización, de la comunicación y cooperación entre personas expertas en una amplia gama de disciplinas y, sobre todo, entre aquellos encargados de sus respectivos desarrollos jurídicos y tecnológicos.

NOTAS:

(1). Este ejemplo se encuentra inspirado en las explicaciones de los conceptos de modelo y algoritmo dadas por David Malan y Cathy O’Neil en: Malan, D., “What is an algorithm?”, Mayo de 2013. Disponible el 27 de agosto de 2020 en: https://www.ted.com/ y O’Neil, C., Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, London, Penguin Books, 2017.

(2). Padoff, R., “Why deep learning is suddenly changing your life”, Fortune, 28 de septiembre de 2016. Disponible el 16 de noviembre de 2020 en: http://fortune.com/

(3). Bing, J., “Code, access and control” en Murray, A., & Klang, M., Human Rights in the Digital Age, London, Glasshouse Press, 2005, p. 204.

(4). Van Eck, M., “Algorithms in public administration”, 31 de enero de 2017. Disponible el 16 de noviembre de 2020 en: https://marliesvaneck.wordpress.com/

(5). Padoff, R., “Why deep learning is suddenly changing your life”, cit., 2019.

(6). Faliagka, E. et al., “On-line consistent ranking on e-recruitment: seeking the truth behind a well-formed CV”, Artificial Intelligence Review, No. 42, 2014, p. 516; Faliagka, E., Ramantas, K. & Tsakalidis, A., “Application of machine learning algorithms to an online recruitment system”, 7th International Conference on Internet and Web Applications and Services, 2017. Disponible el 27 de noviembre de 2020 en: http://citeseerx.ist.psu.edu/

(7). Ball, K., “Blacklists and black holes: credit scoring in Europe”, in Webster, W., & Ball, K., Surveillance and Democracy in Europe: Courting Controversy, 2019, Oxon, Routledge.

(8). Davies, D., “How search engine algorithms work: everything you need to know”, Search Engine Journal, 10 de mayo de 2018. Disponible el 27 de noviembre de 2020 en: https://www.searchenginejournal.com/

(9). Alston, P., “Digital welfare states and human rights”, UN Special Rapporteur on extreme poverty and human rights, report A/74/493, A/74/493, 11th October 2019, pp. 10-11.

(10). Oswald, M. & Grace, J., “Intelligence, policing and the use of algorithmic analysis: a freedom of information-based study”, Journal of Information Rights, Policy and Practice, vol. 1, No. 1, 2016, pp. 3-5.

(11). Capdeferro Villagrasa, O., “El análisis de riesgos como mecanismo central de un sistema efectivo de prevención de la corrupción. En particular, el sistema de alertas para la prevención de la corrupción basado en inteligencia artificial”, Revista Internacional de Transparencia e Integridad, No. 6, 2018, pp. 1-7; Viñas Coll, J., “Así son los superordenadores de Montoro contra el fraude fiscal”, Cinco Días, 24 de julio de 2015. Disponible el 27 de noviembre de 2020 en: https://cincodias.elpais.com/; López Zafra, J. M., “Patrones de comportamiento y voracidad fiscal”, El Confidencial, 14 de julio de 2018. Disponible el 27 de noviembre de 2020 en: https://blogs.elconfidencial.com/

(12). Murphy, K. P., Machine Learning: A Probabilistic Perspective, Cambridge (Massachusetts), The MIT Press, 2012, p. 1; Surden, H., “Machine learning and law”, Washington Law Review, vol. 89, 2014, pp. 89-90; Tegmark, M., Life 3.0. Being Human in the Age of Artificial Intelligence, London, Penguin Books, 2017, pp. 97-107.

(13). Noble, S. U., Algorithms of Oppression: How Search Engines Reinforce Racism, New York, New York University Press, 2018; O’Neil, C., Weapons of Math Destruction, cit., 2017.

(14). Gerards, J., “The discrimination grounds of article 14 of the European Convention on Human Rights”, Human Rights Law Review, vol. 13, No. 1, 2013, p. 114.

(15). Moran, R., “Whatever happened to racism?”, cit., 2005, pp. 899-900.

(16). Barrère Unzueta, M. A., “Iusfeminismo y derecho antidiscriminatorio”, cit., 2008, pp. 55-56; Pateman, C., The Sexual Contract, cit., 1988, p. 42: “almost all the classic writers held that natural capacities and attributes were sexually differentiated. Contemporary contract theorists implicitly follow their example, but this goes unnoticed because they subsume feminine beings under the apparently universal, sexually neuter category of the 'individual'”; Pateman, C. & Mill, C., Contract & Domination, Cambridge, Polity Press, 2007.

(17). Okun, A. M., Equality and Efficiency: The Big Tradeoff, Washington DC, Brookings Institution Press, 2015 (1ª edición 1975).

(18). Keren, H., “We insist! Freedom now: Does contract doctrine have anything constitutional to say?”, Michigan Journal of Race Law, vol. 11, 2005, pp. 133-193.

(19). Balkin, J. M. & Siegel, R. B., “The American civil rights tradition: anticlassification or antisubordination?”, University of Miami Law Review, vol. 58, No. 1, 2003, pp. 9-34; Bornstein, S., “Antidiscriminatory algorithms”, Alabama Law Review, vol. 70, No. 2, 2019, p. 542.

(20). Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/CE (Reglamento general de protección de datos).

(21). Roberts, J. L., “Protecting privacy to prevent discrimination”, cit., 2015, p. 2123.

(22). Barocas, S. & Selbst, A. D., “Big data’s disparate impact”, California Law Review, vol. 104, No. 3, 2016, pp. 671-732.

(23). Henderson, L. et al., “Credit where credit is due?: race, gender, and discrimination in the credit scores of business startups” The Review of Black Political Economy, vol. 42, 2015, p. 459-479; Zarya, V., “Why being a woman hurts your credit score”, Fortune, 10 de febrero de 2016. Disponible el 17 de noviembre de 2020 en: http://fortune.com/

(24). Barocas, S. & Selbst, A. D., “Big data’s disparate impact”, cit., 2016, pp. 678-680; Cecchi-Dimeglio, P., “How gender bias corrupts performance reviews, and what to do about it”, Harvard Business Review, 12 de abril de 2017. Disponible el 17 de noviembre de 2020 en: https://hbr.org/; Stauffer, J. M. & Buckley, M. R., “The existence and nature of racial bias in supervisory ratings”, Journal of Applied Psychology, vol. 90, No. 3, 2005, pp. 586-591.

(25). Bennet Moses, L. & Chan, J., “Algorithmic prediction in policing: assumptions, evaluation, and accountability”, Policing and Society, vol. 28, No. 7, 2018, p. 808; O’Neil, Weapons of Math Destruction, cit., 2017, p. 85.

(26). Noble, S. U., Algorithms of Oppression, cit., 2018, pp. 15-16; UN Women, “UN Women ad series reveals widespread sexism”, 21 de octubre de 2013. Disponible el 17 de noviembre de 2020 en: http://www.unwomen.org/

(27). Szigetvari, A., “Arbeitsmarktservice gibt grünes Licht für Algorithmus”, Der Standard, 17 de septiembre de 2019. Disponible el 17 de noviembre de 2020 en: https://www.derstandard.at/

(28). OECD, “Profiling tools for early identification of jobseekers who need extra support”, December 2018, p. 3.

(29). Zarsky, T., “Understanding discrimination in the scored society”, cit., 2014.

(30). Planet Labor, “Austria: an algorithm that evaluates the unemployed (briefly)”, 24 de octubre de 2018. Disponible el 17 de noviembre de 2020 en: https://www.planetlabor.com/

(31). OECD, “Profiling tools for early identification of jobseekers who need extra support”, December 2018; Szigetvari, A., “Arbeitsmarktservice gibt grünes Licht für Algorithmus”, cit., 2019.

(32). Alston, P., “Digital welfare states and human rights”, cit., 2019.

(33). Ranchordás, S. & Schuurmans, Y., “Outsourcing the welfare state: the role of private actors in welfare fraud investigations”, European Journal of Comparative Law and Governance, vol. 7, No. 2, 2020, pp. 5-42.

(34). Eubanks, V., Automating Inequality, cit., 2017, pp. 14-16; Ranchordás, S. & Schuurmans, Y., “Outsourcing the welfare state”, cit., 2020, p. 40.

(35). Art. 14: “Prohibición de discriminación: El goce de los derechos y libertades reconocidos en el presente Convenio ha de ser asegurado sin distinción alguna, especialmente por razones de sexo, raza, color, lengua, religión, opiniones políticas u otras, origen nacional o social, pertenencia a una minoría nacional, fortuna, nacimiento o cualquier otra situación”.

(36). Art. 21: No discriminación: 1. Se prohíbe toda discriminación, y en particular la ejercida por razón de sexo, raza, color, orígenes étnicos o sociales, características genéticas, lengua, religión o convicciones, opiniones políticas o de cualquier otro tipo, pertenencia a una minoría nacional, patrimonio, nacimiento, discapacidad, edad u orientación sexual. 2. Se prohíbe toda discriminación por razón de nacionalidad en el Ámbito de aplicación del Tratado constitutivo de la Comunidad Europea y del Tratado de la Unión Europea y sin perjuicio de las disposiciones particulares de dichos Tratados.”

(37). Entre otros, arts. 8, 10, 153 y 157.

(38). Directiva 2000/43/CE del Consejo, de 29 de junio de 2000, relativa a la aplicación del principio de igualdad de trato de las personas independientemente de su origen racial o étnico; Directiva 2000/78/CE del Consejo, de 27 de noviembre de 2000, relativa al establecimiento de un marco general para la igualdad de trato en el empleo y la ocupación; Directiva 2006/54/CE del Parlamento Europeo y del Consejo, de 5 de julio de 2006, relativa a la aplicación del principio de igualdad de oportunidades e igualdad de trato entre hombres y mujeres en asuntos de empleo y ocupación; Directiva del Consejo 2004/113/CE, de 13 de diciembre de 2004, por la que se aplica el principio de igualdad de trato entre hombres y mujeres al acceso a bienes y servicios y su suministro.

(39). Grimmelmann, J. y Westreich, D., “Incomprehensible discrimination”, California Law Review Online, vol. 7, 2017, p. 176.

(40). Dastin, J., “Amazon scraps secret AI recruiting tool that showed bias against women”, Reuters, 10 de octubre de 2018. Disponible el 12 de Febrero de 2019 en: https://www.reuters.com/

(41). Sentencia TJUE de 1 de abril de 2008, Asunto 267/06, Tadao Maruko y Versorgungsanstalt der deutschen Bühnen, párrafo 72: “El artículo 1 en relación con el artículo 2 de la Directiva 2000/78 se opone a una normativa como la controvertida en el procedimiento principal, en virtud de la cual el miembro superviviente de una pareja inscrita, tras fallecer el otro miembro, no tiene derecho a percibir una pensión de supervivencia equivalente a la que se otorga a un cónyuge supérstite, cuando, en el Derecho nacional, la institución de la pareja inscrita coloca a las personas del mismo sexo en una situación comparable a la de los cónyuges en lo relativo a dicha prestación de supervivencia.”

(42). Sentencia TJUE de 17 de octubre de 1989, asunto 109/88, Handels- og Kontorfunktionærernes Forbund i Danmark y Dansk Arbejdsgiverforening, en nombre de Danfoss.

(43). Sentencia TJUE de 19 de abril de 2012, asunto 415/10, Galina Meister y Speech Design Carrier Systems GmbH.

(44). Sentencia TJUE de 17 de octubre de 1989, asunto 109/88, cit., párrafo 16.

(45). Sentencia TJUE de 19 de abril de 2012, asunto 415/10, cit., párrafo 46.

(46). Tribunal Regional Administrativo del Lazio-Roma, Sección III bis, Sentencias Nº 3769, de 22 de marzo de 2017 y Nº 10964, de 13 de septiembre de 2019; Comisión Catalana para la Garantía del Derecho de Acceso a la Información Pública, Decisiones conjuntas 123/2016 y 124/2016; y, Comisión Francesa de Acceso a los Documentos Administrativos, Decisiones Nº 20144578, de 8 de enero de 2015 y Nº 20180276, de 19 de abril de 2018.

(47). Hacker, P., “Teaching fairness to artificial intelligence: existing and novel strategies against algorithmic discrimination under EU law”, Common Market Law Review, vol. 55, No. 4, 2018, pp. 1179, 1182.

(48). Barocas, S. & Selbst, A. D., “The intuitive appeal of explainable machines”, cit., 2018, pp. 1085-1139; Kleinberg, J. et al., “Discrimination in the age of algorithms”, Journal of Legal Analysis, vol. 10, 2018, pp. 113-174; Wachter, S., Mittelstadt, B. D. & Russell, C., “Counterfactual explanations without opening the black box: automated decisions and the GDPR”, Harvard Journal of Law & Technology, vol. 31, No. 2, 2018, pp. 841-887.

(49). Art. 8 de la Directiva de igualdad racial, art. 10 de la Directiva de igualdad en el empleo, art. 19 de la Directiva de igualdad de mujeres y hombres en el empleo y art. 9 de la Directiva de igualdad de mujeres y hombres en el acceso a bienes y servicios.

(50). Xenidis, R. & Senden, L., “EU Non-discrimination law in the era of artificial intelligence: mapping the challenges of algorithmic discrimination”, en Bernitz, U., Groussout, X., Paju, J. & de Vries, S., (eds.), General Principles of EU Law and the EU Digital Order, Alphen aan den Rijn, Kluwer Law International, 2020, p. 171.

(51). Sentencia TEDH, D.H. y otros c. la República Checa, 57325/00, 13 de Noviembre de 2007.

(52). Sentencia TJUE 9 de febrero de 1997, C-167/97, Regina contra Secretary of State for Employment, ex parte Nicole Seymour-Smith y Laura Perez, párrafo 61.

(53). Bent, J. R., “Is algorithmic affirmative action legal?”, The Georgetown Law Journal, vol. 108, 2020, pp. 817-818.

(54). Berk, R. et al., “Fairness in criminal justice risk assessments: the state of the art”, Sociological Methods and Research, 2018, p. 14.

(55). Bent, J. R., “Is algorithmic affirmative action legal?”, cit., 2020, p. 818; Berk, R. et al., “Fairness in criminal justice risk assessments”, cit., 2018, pp. 14-15; Hardt, M., Price, E. & Srebro, N., “Equality of opportunity in supervised learning”, 30th Conference on Neural Information Processing Systems, Barcelona, 2016, p. 2. Disponible el 25 de noviembre de 2020 en: http://papers.nips.cc/

(56). Tobler, C., Limits and potential of the concept of indirect discrimination, Luxembourg, Publications Office of the EU, 2008, p. 43.

(57). Sentencia TJUE de 13 de mayo de 1986, Asunto 170/84, Bilka – Kaufhaus GmbH c. Karin Weber von Hartz, párrafos 37 y 38.

(58). Sentencia TJUE de 13 de marzo de 2017, Asunto 157/15, Samira Achbita and Centrum voor gelijkheid van kansen en voor racismebestrijding y G4S Secure Solutions NV, párrafo 38.

(59). Sentencias TJUE de 11 de noviembre de 2014, C-530/13, Leopold Schmitzer contra Bundesministerin für Inneres, párrafo 41 y de 21 de julio de 2011, Asuntos Acumulados C159/10 y C160/10, Gerhard Fuchs (C159/10), Peter Köhler (C160/10) contra Land Hessen, párrafo 74.

(60). Craig, P. & De Burca, G., EU Law: Text Cases and Materials, New York, Oxford University Press, 5ª ed., 2011, p. 526.

(61). Hacker, P., “Teaching fairness to artificial intelligence”, cit., 2018, pp. 1161-1162.

(62). Corbett-Davies, S. & Goel, S., “The measure and mismeasure of fairness”, cit., 2018, pp. 1-25. Dwork, C. et al., “Fairness through awareness”, cit., 2012, pp. 214-226; Feldman, M. et al., “Certifying and removing disparate impact”, Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2015, pp. 259-268; liobaitė, I. & Custers, B., “Using sensitive personal data may be necessary for avoiding discrimination in data-driven decision models”, Artificial Intelligence & Law, vol. 24, No. 2, 2016, pp. 183-201.

(63). Sobre funcionamiento de la figura de “mejores técnicas disponibles” en derecho ambiental ver, en general: Revuelta Pérez, I., “Mejores técnicas disponibles”: un singular sistema de regulación ambiental”, Revista Catalana de Dret Ambiental, vol. 10, No. 1, 2019, pp. 1 -34.

(64). Añón Roig, M. J., “Principio antidiscriminatorio y determinación de la desventaja”, Isonomía: Revista de Teoría y Filosofía del Derecho, No. 39, 2013, pp. 145-151.

(65). Friedler, S. A. et al., “On the (im)possibility of fairness”, 2016, p. 7. Disponible el 27 de noviembre de 2020 en: https://arxiv.org/; Wick, M. et al., “Unlocking fairness: a trade-off revisited”, Advances in Neural Information Processing Systems (NIPS 2019), 2019. Disponible el 27 de noviembre de 2020 en: https://papers.nips.cc/

(66). Sentencia TJUE de 17 de julio de 2008, C-303/06, S. Coleman v. Attridge Law and Steve Law.

(67). Sentencia TJUE de 16 de julio de 2015, C-83/14, CHEZ Razpredelenie Bulgaria AD v. Komisia za zashtita ot diskriminatsia.

(68). Angwin, J. & Parris Jr., T., “Facebook lets advertisers exclude users by race”, Propublica, 28 de octubre de 2016.

(69). Speicher, T., et al., “Potential for discrimination in online targeted advertising”, Proceedings of Machine Learning Research, No. 81, 2018, p. 2.

(70). Facebook, “Improving enforcement and promoting diversity: updates to ads policies and tools”, Facebook Newsroom, 8 de febrero de 2017.

(71). Angwin, J., Tobin, A. & Varner, M., “Facebook (still) letting housing advertisers exclude users by race”, Propublica, 21 de noviembre de 2017.

(72). Gillum, J. & Tobin, A., “Facebook won’t let employers, landlords or lenders discriminate in ads anymore”, Propublica, 19 de marzo de 2019.

(73). Wachter, S., “Affinity profiling and discrimination by association in online behavioural advertising”, Berkeley Technology Law Journal, vol. 35, No. 2, 2020, pp. 32-36.

(74). Art. 5 de la Directiva de igualdad racial, art. 7 de la Directiva de igualdad en el empleo, art. 3 de la Directiva de igualdad de mujeres y hombres en el empleo y art. 6 de la Directiva de igualdad de mujeres y hombres en el acceso a bienes y servicios.

(75). Sentencia TJUE de 17 de octubre de 1995, asunto 450/93, Eckhard Kalanke y Freie Hansestadt Bremen.

(76). Hacker, P., “Teaching fairness to artificial intelligence”, cit., 2018, p. 1146; Renan Barzilay, A. & Ben-David, A., “Platform inequality gender in the gig economy”, Seton Hall Law Review, vol. 47, No. 393, 2017, pp. 427-431; Xenidis, R. & Senden, L., “EU Non-discrimination law in the era of artificial intelligence”, cit., 2020, p. 179. Yanisky-Ravid, S. & Hallisey, S., “Equality and privacy by design: a new model of artificial intelligence data transparency via auditing, certification, and safe harbor regimes”, Fordham Urban Law Journal, vol. 46, No. 2, 2019, pp. 428-486.

(77). Dwork, C., et al., “Fairness through awareness”, ITCS '12 Proceedings of the 3rd Innovations in Theoretical Computer Science Conference, 2012, pp. 214-226; Kroll, J., et al., “Accountable algorithms”, University of Pennsylvania Law Review, vol. 165, No. 3, 2017, pp. 633-705.

(78). Kleinberg, J. et al., “Discrimination in the age of algorithms”, cit., 2018, pp. 150-151.

(79). Sentencia TJUE de 8 de Noviembre de 1990, C177/88, Elisabeth Johanna Pacifica Dekker y Stichting Vormingscentrum voor Jong Volwassenen (VJV Centrum) Plus, párrafo 12.

(80). Añón Roig, M. J., “Principio antidiscriminatorio y determinación de la desventaja”, cit., 2013, p. 130.

(81). Traducción propia. Sentencia TEDH de 25 de julio de 2017, 17484/15, Carvalho Pinto y Portugal, párrafo 52.

(82). En este sentido, cabe citar, por ejemplo el Instituto Europeo de Igualdad de Género o la Agencia de los Derechos Fundamentales de la UE.

(83). Chopin, I. & Germain, C., “A comparative analysis of non-discrimination law in Europe 2019”, Brussels, European Commission, 2019, pp. 83-84.

(84). Barnard, C. & Hepple, B., “Indirect discrimination: interpreting Seymour-Smith”, Cambridge Law Journal, vol. 58, No. 2, 1999, pp. 401-402; Chopin, I. & Germain, C., “A comparative analysis of non-discrimination law in Europe 2019”, cit., 2019, pp. 92-94; Nagy, C. I., Collective Actions in Europe: A Comparative, Economic and Transsystemic Analysis, Cham, Springer, 2019, pp. 73-85.

(85). Directiva (UE) 2016/680 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativa a la protección de las personas físicas en lo que respecta al tratamiento de datos personales por parte de las autoridades competentes para fines de prevención, investigación, detección o enjuiciamiento de infracciones penales o de ejecución de sanciones penales, y a la libre circulación de dichos datos y por la que se deroga la Decisión Marco 2008/977/JAI del Consejo.

(86). Ben-Shahar, O., “Data pollution”, Journal of Legal Analysis, vol. 11, 2019, pp. 110-118.

(87). Ben-Shahar, O., “Data pollution”, cit., 2019, pp. 114-115; European Commission, “Antitrust: Commission fines Google €1.49 billion for abusive practices in online advertising”, 20 de marzo de 2019. Disponible el 20 de junio de 2020 en: https://ec.europa.eu/; Nadler, J. & Cicilline, D. N., “Investigation of competition in digital markets”, Subcommittee on antitrust, commercial and administrative law of the Committee on the judiciary, octubre 2020.

(88). Ohm, P., “Broken promises of privacy: Responding to the Surprising Failure of Anonymization”, UCLA Law Review, vol. 57, 2010, p. 1776.

(89). Schreurs, W. et al., “Cogitas, ergo sum. The Role of Data Protection Law and Non-discrimination Law in Group Profiling in the Private Sector” en Hildebrandt, M. & Gutwirth, S. (eds.), Profiling the European Citizen, Berlin, Springer, 2008, p. 243.

(90). Wachter, S. & Mittelstadt, B. D., “A right to reasonable inferences: re-thinking data protection law in the age of big data and AI”, Columbia Business Law Review, vol. 2019, No. 2, 2019, pp. 494-620.

(91). Athey, S., Catalini, C. & Tucker, C., “The digital privacy paradox: small money, small costs, small talk”, MIT Sloan Research Paper No. 5196-17, 2017.

(92). Annany, M. & Crawford, K., “Seeing without knowing: limitations of the transparency ideal and its application to algorithmic accountability”, New Media & Society, vol. 20, No. 3, 2018, pp. 979-980.

(93). Koops, B. J., “The problem with European data protection law”, International Data Privacy Law, vol. 4, No. 4, 2014, p. 251.

(94). Kaminski, M. E., “The right to explanation, explained”, Berkeley Technology Law Journal, vol. 34, No. 1, 2019, pp. 1607-1610; Koops, B. J., “The problem with European data protection law”, cit., 2014, pp. 253-256; Schreurs, W. et al., “Cogitas, ergo sum”, cit., 2008, p. 268.

(95). Williams, B. A., Brooks, C. F. & Shmargad, Y., “How algorithms discriminate based on data they lack: challenges, solutions, and policy implications”, Journal of Information Policy, No. 8, 2018, pp. 78-115; liobaitė, I. & Custers, B., “Using sensitive personal data may be necessary for avoiding discrimination in data-driven decision models”, cit., 2016, p. 188.

(96). Hacker, P., “Teaching fairness to artificial intelligence”, cit., 2018, pp. 1170-1171.

(97). Idem, p. 1172.

(98). EU Commission, “White Paper on Artificial Intelligence – A European approach to excellence and trust”, COM(2020) 65 final, 2nd February 2020, pp. 24-25; Scherer, M., “Regulating artificial intelligence systems: risks, challenges, competencies, and strategies”, Harvard Law & Technology Journal, vol. 29, No. 2, 2016, pp. 353-400; Shneiderman, B., “Algorithmic Accountability: Designing for safety through human-centered independent oversight”, Turing Lecture (The Alan Turing Institute) 31 de marzo de 2017. Disponible el 26 de noviembre de 2020 en: https://www.youtube.com/; Tutt, A., “An FDA for algorithms”, Administrative Law Review, vol. 69, No. 1, 2017, pp. 83-123; Velasco Rico, C. I., “Vigilando al algoritmo. Propuestas organizativas para garantizar la transparencia”, in Puentes Cociña, B. & Quintiá Pastrana, A., (dirs.), El Derecho ante la Transformación Digital, Barcelona, Atelier, 2019, pp. 81-82.

(99). Datenethikkommission, “Gutachten der Datenethikkommission”, 2019; Datenethikkommission, “Opinion of the Data Ethics Commission: Executive Summary”, 2019; EU Commission, “White Paper on Artificial Intelligence”, cit., 2020.

(100). Canadian Directive on Automated Decision-Making, 1st April 2019.

(101). En este sentido, debe tenerse en cuenta que los sistemas algorítmicos empleados por el sector público deberían ser considerados y tratados, en casi todos los casos, como normas reglamentarias. Ver, en este sentido, Boix Palop, A., “Los algoritmos son reglamentos: la necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la administración para la adopción de decisiones”, Revista de Teoría y Método, vol. 1, 2020, pp. 223-270.

(102). Feldman, M., et al., “Certifying and removing disparate impact”, Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2015, pp. 259-268.

(103). Alston, P., “Digital welfare states and human rights”, UN Special Rapporteur on extreme poverty and human rights, informe A/74/493, 11 de octubre de 2019; Ranchordás, S. & Schuurmans, Y., “Outsourcing the welfare state: the role of private actors in welfare fraud investigations”, European Journal of Comparative Law and Governance, vol. 7, No. 2, 2020, pp. 5-42.

Comentarios