Decisión algorítmica y principio de igualdad

El presente trabajo se divide en dos partes. La primera analiza los riesgos de tomar decisiones discriminatorias relacionadas con el uso de un tipo específico de inteligencia artificial conocido como machine learning, identificando tres fases de la decisión algorítmica, en las que se pueden sentar las premisas para la manifestación de efectos discriminatorios. Efectos que pueden derivar: de los prejuicios del programador o de la organización en la que opera; del conjunto de datos utilizado para alimentar el sistema de machine learning; de la circunstancia no infrecuente en que el propio sistema de machine learning identifique algunas características que indirectamente se refieren a categorías protegidas de forma sustancialmente autónoma. La segunda parte identifica las herramientas que ofrece la ley para afrontar los peligros mencionados, señalando la necesidad de ampliar el objeto de la disciplina jurídica, que debe abordar esencialmente dos perfiles distintos de la decisión algorítmica: un perfil "interno", que concierne al funcionamiento de la inteligencia artificial, en las distintas fases relevantes identificadas; un perfil "externo" al funcionamiento de la inteligencia artificial, que da importancia al rol del algoritmo en la decisión final: es esencialmente el problema de la significatividad del algoritmo, es decir, la posibilidad de intervención humana en función de control, orientada a mitigar los efectos discriminatorios del modelo de decisión elaborado por el software.

Paolo Zuddas es Professore Associato di Istituzioni di Diritto pubblico en la Università degli studi dell’Insubria, Varese

Este artículo se publicó en el número 60 de la Revista General de Derecho Administrativo (Iustel, mayo 2022)

NOTAS INTRODUCTORIAS

El presente trabajo se centra en los riesgos de tomar decisiones discriminatorias relacionadas con el uso de un tipo específico de inteligencia artificial conocido como machine learning, que consiste en un proceso automático destinado a identificar correlaciones entre variables dentro de un conjunto de datos, para realizar pronósticos o estimar ciertos efectos, sobre la base de los cuales tomar las decisiones consiguientes.(1)

Uno de los problemas más relevantes que plantea el uso de sistemas de aprendizaje automático, particularmente cuando su uso concierne al ejercicio de funciones públicas, es que estos sistemas pueden asumir - en ausencia de intervenciones preventivas adecuadas (pero a veces, como veremos, incluso a pesar de la intervención preventiva) – decisiones fuertemente discriminatorias.(2) El caso más frecuente que conocemos es la de los llamados bias, es decir, las “distorsiones” generadas por aquellos sistemas informáticos que “discriminan sistemáticamente a determinados individuos o grupos de individuos en favor de otros”.(3) Un riesgo que es evocado por todas las principales soft law que rigen el uso de la inteligencia artificial de diversas formas.

Para limitarse al contexto europeo - aparte del Considerando 71 del Reglamento General de Protección de Datos (RGPD)(4), en el que nos centraremos más adelante - también se refieren al principio de no discriminación algorítmica, por ejemplo, las resoluciones del Parlamento Europeo sobre robótica (tanto la de 2017 como la de 2019);(5) las directrices éticas para una IA fiable de 2018;(6) o, incluso, por ejemplo, la Carta Ética Europea sobre el uso de la inteligencia artificial en los sistemas judiciales, adoptada por el Consejo de Europa en 2018.(7)

La gran novedad está representada por la propuesta de reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial), impulsada por la Comisión Europea,(8) que finalmente intervendrá con normas vinculantes destinadas específicamente, entre otras cosas, a “reducir al mínimo el riesgo de discriminación algorítmica, en particular en lo tocante al diseño y la calidad de los conjuntos de datos empleados para desarrollar sistemas de IA” (como indicado en la Exposición de motivos, punto 1.2). Y por tanto con referencia a los aspectos esenciales del funcionamiento de estos sistemas.

De hecho, si nos preguntamos de qué manera la inteligencia artificial puede dar lugar a decisiones discriminatorias,(9) podemos identificar esencialmente tres áreas o, si se quiere, tres fases diferentes de la decisión algorítmica, en las que se pueden sentar las premisas para la manifestación de efectos discriminatorios. Estos efectos pueden derivar: de los prejuicios del programador o de la organización en la que opera; del conjunto de datos utilizado para alimentar el sistema de machine learning; de la circunstancia no infrecuente en que el propio sistema de machine learning identifique algunas características que indirectamente se refieren a categorías protegidas de forma sustancialmente autónoma.

Veamos las tres fases detalladamente.

I. LA PROGRAMACIÓN: DISCRIMINACIÓN ALGORÍTMICA DIRECTA Y INDIRECTA Y PROBLEMAS RELACIONADOS CON LA IDENTIFICACIÓN DE CARACTERES PROXY

Durante la programación, es posible “ordenar” al sistema de machine learning que considere irrelevantes algunos caracteres recurrentes en el conjunto de datos que podrían llevar a una decisión discriminatoria. Estos caracteres pueden ser esencialmente de dos tipos. En primer lugar, características tradicionalmente vinculadas a elecciones discriminatorias, en referencia a las discriminaciones históricamente más conocidas: raza, color de piel, sexo, etc.(10) Estas intervenciones tienen como objetivo evitar la discriminación algorítmica “directa”, que se basa en la exclusión de caracteres que identifican inmediatamente la categoría protegida.(11)

En segundo lugar, caracteres formalmente “neutrales”, pero que suelen aparecer con especial frecuencia en categorías protegidas:(12) este es el caso de las acciones destinadas a evitar las denominadas proxy discriminations (literalmente “discriminación por poder”) y consecuentemente evitar la discriminación algorítmica “indirecta”, basada en la exclusión de caracteres que indirectamente se refieren a la categoría protegida.(13)

Las proxy discriminations se conocen desde hace tiempo:(14) es un sistema que se utilizó incluso antes del nacimiento de los sistemas de machine learning, para ocultar prácticas discriminatorias.(15) La novedad que representa el advenimiento de la inteligencia artificial está ligada a la circunstancia, como veremos, de que en este caso el carácter proxy podría ser identificado de forma independiente por el sistema de aprendizaje automático, sin que el usuario se dé cuenta.(16)

Las intervenciones de exclusión y “ceguera” del algoritmo con respecto a los proxies son muy complicadas,(17) porque tienen que afrontar al menos dos problemas prácticos. El primero se refiere a la identificación preventiva de proxies potencialmente discriminatorios. Predeterminar estos caracteres (o al menos los principales) es actualmente sustancialmente imposible, sobre todo porque los proxies discriminatorios suelen surgir tras la aplicación concreta del sistema de aprendizaje automático (y, por lo tanto, hoy solo podemos confiar en la limitada experiencia de proxies utilizados en el pasado, principalmente antes de la llegada de la inteligencia artificial). El segundo problema de aplicación se refiere al fenómeno del shift, podríamos decir el “deslizamiento” - operado por el sistema de machine learning que tiene prohibido utilizar caracteres directamente identificativos de categorías protegidas o proxies más “cercanos” a estas categorías - hacia proxies más “distantes”, que en todo caso se refieren a esas categorías, a pesar de ser más imprecisas (y, además, menos fácilmente identificable). Este fenómeno es inevitable cuando se utiliza un conjunto de datos “contaminados”, en el que las decisiones tomadas en el pasado (y sobre las cuales el sistema informático se ve obligado a actuar) han discriminado sistemáticamente algunas categorías protegidas.(18)

II. LA CONFIGURACIÓN DEL CONJUNTO DE DATOS QUE SE UTILIZARÁ EN EL ENTRENAMIENTO DEL SISTEMA DE MACHINE LEARNING: LOS RIESGOS DERIVADOS DE DATOS “CONTAMINADOS” Y DATOS INCOMPLETOS

Si el sistema de aprendizaje automático está conectado a Internet o a una base de datos offline sin utilizar ningún filtro (sin, por ejemplo, eliminar de la base de datos los caracteres que se refieren a categorías protegidas) - o el algoritmo se “alimenta” con una estadística histórica de decisiones tomadas en el pasado, para asegurar que sea capaz de tomar decisiones similares en el futuro – el mayor riesgo en este caso es que el sistema se alimente de biased data, es decir, que se alimente de datos “contaminados”, incorporando - y luego replicando - las discriminaciones hechas en el pasado. En particular, las decisiones basadas en estadísticas históricas tienden inevitablemente a “incorporar” las distorsiones (y en particular los prejuicios de los tomadores de decisiones anteriores) y por lo tanto, en cierto sentido, a cristalizarlas.(19) Desde este punto de vista, el resultado parece incluso peor que la situación existente, ya que la cristalización implica que las distorsiones de alguna manera se perpetúan en el tiempo, alimentando distorsiones cada vez más agudas.(20)

Otro riesgo de bias puede derivar, además del uso de datos “contaminados” por prejuicios, también del uso de datos incompletos, que proporcionan una representación parcial de la realidad.(21) Este carácter incompleto genera una distorsión cuando la proporción de datos recopilados es mayor para un grupo determinado y menor para otro (no en términos absolutos, sino con respecto al tamaño y la importancia real del grupo dentro de la población considerada); y tiene un efecto discriminatorio cuando el grupo sobrerrepresentado o subrepresentado se ve desfavorecido por la falsa representación de la realidad.

En particular, la distorsión puede derivar tanto de los métodos de recopilación de datos como del instrumento utilizado para adquirirlos. Una hipótesis de método de recolección de datos incorrecto podría ocurrir en el caso de que, por ejemplo, se alimente un sistema de aprendizaje automático, diseñado para predecir en qué barrios se cometerán más delitos, con la información contenida en un expediente policial en el que el porcentaje de registrados inmigrantes fuera mayor con respecto a su presencia en la población; en esta circunstancia, el sistema “aprendería” que los inmigrantes son más propensos a cometer delitos.(22) Un ejemplo de las distorsiones producidas por el uso de una herramienta de recopilación de datos inadecuada lo ofrece un experimento realizado en 2011 en la ciudad de Boston (llamado Street Bump), que utilizó un sistema de inteligencia artificial para recopilar información sobre el estado de la superficie de la calzadade la red vial de la ciudad a través de los smartphones de los automovilistas: en los barrios más degradados, donde las calles estaban generalmente en peores condiciones pero la mayoría de los habitantes carecían de smartphone, los informes enviados eran numéricamente más bajos que los registrados en los barrios habitados por las clases más pudientes; en consecuencia, el sistema privilegió las intervenciones de mantenimiento en los barrios donde la calidad de las calles era en general mejor.(23)

III. EL PROCESAMIENTO DE DATOS POR PARTE DEL SISTEMA INFORMÁTICO: LOS MÁRGENES DE AUTONOMÍA DEL ALGORITMO

Hemos visto que la esencia del aprendizaje automático está representada por la identificación de correlaciones dentro de un conjunto de datos, lo que proporciona indicaciones para desarrollar un esquema de decisión. Esta actividad solo puede ser guiada en parte: en realidad, el mecanismo para identificar correlaciones dentro de un conjunto de datos es en algunos aspectos desconocido para los propios programadores.(24)

La última fase de la decisión algorítmica, por lo tanto, en la que el sistema de aprendizaje automático analiza el conjunto de datos y procesa el resultado, es tanto la decisiva como la menos manejable. En particular, es en esta fase cuando surge la posibilidad de que el algoritmo identifique proxies discriminatorios no deseados, especialmente como consecuencia de ese fenómeno de deslizamiento hacia proxies más distantes, ya mencionado.

Por tanto, debemos preguntarnos, en este punto, cuáles son las herramientas que ofrece la ley para afrontar los peligros que he mencionado.

IV. LAS SOLUCIONES POSIBLES: EL PAPEL DEL DERECHO Y SUS LÍMITES

Si el propósito de la regulación de la IA es el de lograrevitar (y prevenir) la discriminación inducida por el uso de la inteligencia artificial para tomar decisiones, necesitamos ampliar la perspectiva con respecto a lo que he dicho hasta ahora: si el problema es el efecto (discriminatorio) del uso de la inteligencia artificial para la toma de decisiones, entonces debemos preguntarnos cómo regular los procesos de toma de decisiones en los que intervienen los algoritmos.(25)

Esto implica una extensión del objeto de la disciplina jurídica, que debe abordar esencialmente dos perfiles distintos de la decisión algorítmica: un perfil “interno”, por así decirlo, que concierne al funcionamiento de la inteligencia artificial, en las distintas fases relevantes que hemos examinado. Por lo tanto, es necesario en primer lugar regular estas actividades, dictando reglas destinadas a evitar que el sistema esté predispuesto a generar modelos discriminatorios de toma de decisiones, tanto en la fase de planificación como en la configuración del conjunto de datos. Luego tenemos un perfil “externo” al funcionamiento de la inteligencia artificial, que da importancia al rol del algoritmo en la decisión final: es esencialmente el problema de la significatividad del algoritmo, es decir, la posibilidad de intervención humana en función de control, orientada a mitigar los efectos discriminatorios del modelo de decisión elaborado por el software.

1. Los perfiles “internos” de la decisión algorítmica: las novedades introducidas por la propuesta de reglamento europeo en materia de inteligencia artificial (Ley de inteligencia artificial)

Un “modelo de disciplina” de la decisión algorítmica orientada a limitar las potencialidades discriminatorias vinculadas al uso de sistemas de machine learning, que representó un útil punto de partida para la futura legislación en la materia - al menos en el contexto europeo – está contenido en el Considerando núm. 71 del RGPD, que introduce el llamado “principio de no discriminación algorítmica”,(26) que invita al responsable del tratamiento de los datos personales a “aplicar medidas técnicas y organizativas apropiadas para garantizar, en particular, que [] se impidan, entre otras cosas, efectos discriminatorios en las personas físicas por motivos de raza u origen étnico, opiniones políticas, religión o creencias, afiliación sindical, condición genética o estado de salud u orientación sexual, o que den lugar a medidas que produzcan tal efecto”.(27)

Pero es sobre todo el proyecto de reglamento europeo en materia de inteligencia artificial (Ley de inteligencia artificial) impulsado por la Comisión Europea el que propone una disciplina precisa sobre la construcción y uso de sistemas de IA que respeten el principio de no discriminación; y lo hace principalmente imponiendo normas muy estrictas y muy detalladas a los sistemas de IA clasificados como de “alto riesgo”: una clasificación que, como señala el Considerando 28, depende en gran medida de “la magnitud de las consecuencias adversas de un sistema de IA para los derechos fundamentales protegidos por la Carta” que incluyen, entre otros, “la no discriminación”. Entre otras cosas, el principio de “no discriminación” se menciona expresamente en todos los Considerandos posteriores que identifican las áreas de intervención y los propósitos que caracterizan a cada uno de los sistemas de IA que pueden clasificarse como de “alto riesgo” (en particular, para los sistemas de IA que operan en los tres sectores - educación, empleo y crédito - se dice textualmente que “pueden perpetuar patrones históricos de discriminación” - confirmando lo que dijimos antes sobre los riesgos de “cristalización” de los prejuicios).(28)

En particular, la disciplina proporcionada por el proyecto de Ley de inteligencia artificial para los sistemas de IA de alto riesgo presta gran atención a la calidad de los datos, especialmente cuando se adoptan sistemas de machine learning y con especial atención a los riesgos de tomar decisiones discriminatorias. A este respecto, el Considerando 44 resume perfectamente los términos de la cuestión: “Muchos sistemas de IA necesitan datos de alta calidad para funcionar correctamente, en especial cuando se emplean técnicas que implican el entrenamiento de modelos (machine learning), con vistas a garantizar que el sistema de IA de alto riesgo funciona del modo previsto y en condiciones de seguridad y no se convierte en la fuente de alguno de los tipos de discriminación prohibidos por el Derecho de la Unión. Es preciso instaurar prácticas adecuadas de gestión y gobernanza de datos para lograr que los conjuntos de datos de entrenamiento, validación y prueba sean de buena calidad. Los conjuntos de datos de entrenamiento, validación y prueba deben ser lo suficientemente pertinentes y representativos, carecer de errores y ser completos en vista de la finalidad prevista del sistema” (aquí se consideran tanto los biased data como los biased samples).

Por tanto, el legislador europeo parece ser plenamente consciente de los riesgos asociados con el uso de estos sistemas y esta conciencia se refleja en las normas más específicas dictadas por los artículos 10 sobre gobernanza de datos(29) y 17 sobre el sistema de gestión de la calidad.(30)

Por último, está la gigantesca “zona gris” que se refiere a los márgenes del funcionamiento autónomo de los sistemas de aprendizaje automático. Ante esta eventualidad resulta sumamente complicado establecer remedios preventivos.

La única solución, en este caso, debería buscarse en el recurso al principio de precaución, que, en su versión más radical (con sentido de “fuerte”) requeriría no recurrir a la inteligencia artificial cuando el riesgo de distorsiones potencialmente generables no puede ser cuantificado;(31) la solución alternativa es aplicar el principio de precaución en su versión “débil”, introduciendo procedimientos que incorporen el análisis de riesgo en la implementación del sistema informático.(32) Y es precisamente esta segunda perspectiva la que emerge en la propuesta de reglamento europeo en materia de inteligencia artificial, que prevé en el art. 9 un sistema de gestión de riesgos articulado relacionado con el uso de sistemas de IA de “alto riesgo”, precisamente; un sistema de gestión continuo, sistemático y constantemente actualizado, que incluye acciones preventivas a realizar en la fase de planificación, acciones posteriores de mitigación y control de riesgos y obligaciones de información al usuario.(33)

2. Los perfiles “externos”: la significatividad de la decisión algorítmica

Esta necesidad también se refleja sobre todo en la legislación europea: la referencia se remite, también en este caso, al RGPD, que en el art. 22, primer párrafo, establece que “todo interesado tendrá derecho a no ser objeto de una decisión basada únicamente en el tratamiento automatizado”. Esta disposición establece un límite mínimo, que actúa como “punto de partida” de las garantías en este ámbito: la prohibición de la automatización integral, que postula la necesaria intervención humana en las decisiones que afecten situaciones jurídicas subjetivas.(34)

El problema es en realidad más complejo, porque es necesario identificar caso por caso el papel que jugó el algoritmo en la decisión tomada por el hombre, en qué medida la representación de la realidad o el esquema de decisión propuesto por la inteligencia artificial ha influido en la decisión humana: este es el tema de la constatación efectiva, de la llamada “significatividad” del algoritmo en la decisión humana.

En particular, la evaluación concreta de la “significatividad” del algoritmo en la decisión humana es muy difícil, porque esta evaluación debe tener en cuenta del riesgo del llamado “captura” de la decisión por parte del sistema informático, que efectivamente se lleva a cabo sin manifestarse a nivel formal (y que, por lo tanto, escapa a la disciplina que pone límites en lo abstracto).(35) El proyecto de Ley de inteligencia artificial también es responsable de esta necesidad que, en el art. 14, por un lado, requiere que los sistemas de IA de alto riesgo “se diseñarán y desarrollarán de modo que puedan ser vigilados de manera efectiva por personas físicas durante el período que estén en uso, lo que incluye dotarlos de una herramienta de interfaz humano-máquina adecuada, entre otras cosas” (párrafo 1), especificando que “el objetivo de la vigilancia humana será prevenir o reducir al mínimo los riesgos para la salud, la seguridad o los derechos fundamentales” (párrafo 2); por el otro, establece que las medidas de vigilancia humana deben permitir a los supervisores, entre otras cosas, “ser conscientes de la posible tendencia a confiar automáticamente o en exceso en la información de salida generada por un sistema de IA de alto riesgo (<<sesgo de automatización>>), en particular con aquellos sistemas que se utilizan para aportar información o recomendaciones con el fin de que personas físicas adopten una decisión” (párrafo 4, letra b).

Entonces, para que el control humano sea eficaz – y el tomador de decisiones no se deje engañar por el aura de racionalidad y neutralidad que solemos asociar con las soluciones desarrolladas por las máquinas (porque aquí estamos tratando con máquinas que “absorben” prejuicios y preconceptos contenidos en decisiones previamente tomadas por seres humanos)(36) – es necesario que quienes operan, de diversas formas y en todos los niveles, con sistemas de inteligencia artificial (desde la programación inicial hasta el uso final) sean particularmente sensibles al tema de la discriminación y por lo tanto sean capaces de captar en todas las fases de la construcción, entrenamiento y aplicación del algoritmo todos los posibles efectos discriminatorios que pueden derivarse del uso de estos sistemas. También porque la supuesta “inteligencia” de los algoritmos no incluye ninguna conciencia intrínseca y mucho menos una “conciencia antidiscriminatoria”. Por el momento, esta es una tarea que aún depende de nosotros, los seres humanos, y cuanto más dependamos de las máquinas, más cuidadosa deberá ser la vigilancia sobre los riesgos potenciales de estas tecnologías.

NOTAS:

(1). Cf. sobre el tema Lehr, D. & Ohm, P., “Playing with the data: What legal scholars should learn about machine learning”, 51 University of California, Davis Law Review, 2017, p. 671 y Royal Society (UK), Machine learning: the power and promise of computers that learn by example, abril 2017, p. 19.

(2). Esto sucede cuando un algoritmo hace predicciones incorrectas al discriminar regularmente clases específicas de sujetos. Cf. sobre este punto Galeotti, M., “Discriminazioni e algoritmi. Incontri e scontri tra diverse idee di fairness”, The Lab’s Quarterly, No. 4, 2018, pp. 73 ss.

(3). Así Friedman, B. & Nissenbaum, H., “Bias in Computer Systems”, 14 ACM Transactions on Information Systems, 1996, p. 332: “Accordingly, we use the term bias to refer to computer systems that systematically and unfairly discriminate against certain individuals or groups of individuals in favor of others. A system discriminates unfairly if it denies an opportunity or a good or if it assigns an undesirable outcome to an individual or group of individuals on grounds that are unreasonable or inappropriate” (cf. sobre este punto también Simoncini, A. & Suweis, S., “Il cambio di paradigma nell’intelligenza artificiale e il suo impatto sul diritto costituzionale”, Rivista di filosofia del Diritto”, No. 1, 2019, p. 96). Dado que la discriminación es en sí misma un trato diferenciado irracional, irrazonable, impropio e injusto, el término más relevante en la definición referida es “sistemáticamente”: esto significa, en el caso más evidente (pero, como veremos, situaciones muy diferentes también se producen, en los que el efecto discriminatorio se consigue de forma indirecta y menos notoria) que la pertenencia a la categoría discriminada es identificada por el algoritmo como un carácter relevante para la consecución de un resultado no deseado, como por ejemplo la exclusión de un beneficio.

(4). Reglamento (UE) 2016/679 del Parlamento europeo y del Consejo de 27 de abril de 2016 relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/CE (Reglamento general de protección de datos).

(5). Cf. Resolución del Parlamento Europeo, de 16 de febrero de 2017, con recomendaciones destinadas a la Comisión sobre normas de Derecho civil sobre robótica, 2015/2103(INL), Principios éticos, nn. 10 e 13, y Resolución del Parlamento Europeo, de 12 de febrero de 2019, sobre una política industrial global europea en materia de inteligencia artificial y robótica, 2018/2088(INI), 1.2. El uso malintencionado de la inteligencia artificial y los derechos fundamentals, n. 12; 2.4. Condiciones necesarias: conectividad, accesibilidad a los datos, informática de alto rendimiento e infraestructura de computación en nube, n. 39; 5.2. Valores incorporados en la tecnología y ética desde el diseño, n. 147; 5.4. Transparencia, sesgo y explicación de los algoritmos, nn. 157, 177 y 180; 6.1. Coordinación a escala de la Unión, n. 187.

(6). Cf. Directrices éticas para una IA fiable, redactado por el Grupo de expertos de alto nivel sobre inteligencia artificial (IA) constituido por la Comisión Europea en junio de 2018, en el texto publicado el 8 de abril de 2019; en particular, el documento señala el Principio de equidad como uno de los cuatro principios éticos fundamentales para asegurar una IA confiable (cf. El principio de equidad, n. 52); se pueden encontrar más referencias a la prohibición de discriminación en el uso de inteligencia artificial en: IA lícita, n. 23; 2.1 Los derechos fundamentales como base para una IA fiable, n. 44; Requisitos de una IA fiable, n. 58-5; Diversidad, no discriminación y equidad, n. 80.

(7). Cf. Carta ética europea sobre el uso de la inteligencia artificial en los sistemas judiciales y su entorno, adoptado por el CEPEJ (Comisión europea para la eficiencia de la justicia) durante su 31ª Reunión plenaria, Estrasburgo, 3-4 de diciembre de 2018 (CEPEJ(2018)14), págs. 8 ss.

(8). Propuesta de Reglamento del Parlamento europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de inteligencia artificial) y se modifican determinados actos legislativos de la Unión, Bruselas, 21 de abril de 2021, COM(2021) 206 final.

(9). Dentro de la ya muy extensa literatura disponible sobre el tema, especialmente a nivel internacional, aparecen numerosos esquemas explicativos, algunos de ellos extremadamente complejos, que identifican las posibles causas o fuentes de bias y, más en general, de la denominada “IA -driven discriminations”, es decir de la discriminación inducida por la inteligencia artificial: sobre el tema, cf., ex multis, Borgesius, F.Z. Discrimination, Artificial Intelligence and Algorithmic Decision-Making, Council of Europe, Strasbourg, 2018, pp. 10 ss. y Friedman, B. & Nissenbaum, H., “Bias in Computer Systems”, cit., 1996, pp. 330 ss.

(10). Estas son las llamadas “categorizaciones prohibidas”, sobre lo cual v. Galetta, D. U. & Corvalán, J. G., “Intelligenza Artificiale per una Pubblica Amministrazione 4.0? Potenzialità, rischi e sfide della rivoluzione tecnologica in atto”, Federalismi.it, No. 3, 2019, pp. 21-22, también definidas como “categorías algorítmicas sospechosas”. Según los citados autores, en el referido procedimiento se aplicaría el principio de no discriminación algorítmica, en virtud del cual se requiere operar en la fase de diseño e implementación de algoritmos inteligentes para prevenir el riesgo de que la inteligencia artificial procesen la información distinguiendo en base a los caracteres mencionados anteriormente.

(11). Cf. sobre este punto Soriano Arnanz, A., “Decisiones automatizadas y discriminación: aproximación y propuestas generales”, Revista General de Derecho Administrativo, No. 56, 2021, que define a la “discriminación algorítmica directa” como “la toma de una decisión discriminatoria teniendo en cuenta una categoría sospechosa” (p. 6), especificando que la “discriminación directa tiene lugar cuando una persona es tratada de manera menos favorable por razón de su pertenencia a uno de los subgrupos contenidos en las categorías sospechosas. Es por ello que la discriminación algorítmica directa puede tener lugar cuando se introduzcan en el algoritmo los datos relativos a la pertenencia a un grupo desaventajado y a dicha pertenencia se asocie un valor negativo. Ese valor negativo puede conducir directamente a una consecuencia final negativa (por ejemplo, ser de procedencia hispana implica de manera automática la no concesión de un crédito) o puede contribuir a reducir la puntuación o empeorar el resultado final, pero no ser determinante para su obtención” (p. 15).

(12). El discurso también podría extenderse a los perfiles relacionados con el principio de igualdad sustancial, considerando las características que, de manera más general, están estrictamente conectadas con las condiciones de los sujetos débiles a nivel económico y social: aquí, sin embargo, solo discutiremos el impacto que generan las decisiones algorítmicas basadas en el principio de igualdad formal.

(13). Soriano Arnanz, A., “Decisiones automatizadas y discriminación: aproximación y propuestas generales”, cit., 2021, pp. 11-12, recuerda al respecto que “los algoritmos, en muchas ocasiones, no discriminan con base en las denominadas categorías sospechosas, sino que lo hacen al emplear criterios de medición aparentemente neutros que, sin embargo, perjudican en mayor medida los miembros de grupos desaventajados que a los no miembros”.

Consideraciones similares en Eguíluz Castañeira, J.A., “Desafíos y retos que plantean las decisiones automatizadas y los perfilados para los derechos fundamentales”, en Estudios de Deusto, Vol. 68/2 julio-diciembre 2020, p. 334, que recuerda como “la discriminación indirecta tiene lugar cuando una disposición aparentemente neutra introduce una desventaja para una persona o un grupo de personas que comparten las mismas características“, evocando la legislación europea pertinente y ofreciendo ejemplos concretos de la aplicación del criterio por parte del TJUE.

(14). Para una visión general del tema cf. Alexander, L. & Cole, K., “Discrimination by Proxy”, 14 Constitutional Commentary, 1997, pp. 453 ss.

(15). V. al respecto Borgesius, F. Z., Discrimination, Artificial Intelligence and Algorithmic Decision-Making, cit., 2018, pp. 13-14, que se refiere a uno de los ejemplos más conocidos de proxy discrimination, representado por el uso del código postal como dato indicativo de pertenencia a una determinada comunidad discriminada o por motivos raciales o socioeconómicos.

(16). Sobre el tema cf., extensamente, Prince, A. & Schwarcz, D. B., “Proxy Discrimination in the Age of Artificial Intelligence and Big Data”, Iowa Law Review, 5 de agosto de 2019.

(17). A esta dificultad ex ante se añade la ligada a la identificación, ex post, de la “prueba” de la discriminación algorítmica indirecta y de su posible “justificación”, también en aplicación del principio de proporcionalidad (sobre ambos temas, cf. Soriano Arnanz, A., “Decisiones automatizadas y discriminación: aproximación y propuestas generales”, cit., 2021, pp. 20 ss. y 23 ss.).

(18). Cf. Prince, A. & Schwarcz, D. B., “Proxy Discrimination in the Age of Artificial Intelligence and Big Data”, cit., 2019, pp. 29 ss.

(19). Cf. sobre el tema Soriano Arnanz, A., “Decisiones automatizadas y discriminación: aproximación y propuestas generales”, cit., 2021, que también nos recuerda cuán altos son estos riesgos en nuestras sociedades occidentales “se han construido, históricamente, sobre unas estructuras de subordinación de unos grupos en relación con otros” (p. 8) y dedica un análisis específico a la perpetuación de la desigualdad mediante el uso de algoritmos (pp. 11 ss.).

(20). Como observa en este punto Resta, G. (“Governare l’innovazione tecnologica: decisioni algoritmiche, diritti digitali e principio di uguaglianza”, Politica del diritto, No. 2, 2019, p. 214), llevando el tema de vuelta a su dimensión más general, “si las técnicas predictivas se enfocan en estados humanos y procesos sociales [...] uno de los peligros más evidentes es que las condiciones de disparidad social existente en un determinado momento histórico se refleja en el juicio pronóstico a través de la construcción de perfiles individuales o más frecuentemente grupales, compuestos por inferencia de factores como la propensión al consumo, poder adquisitivo, lugar de residencia, antecedentes familiares, nivel de educación, antecedentes judiciales, etc.. Si no se controlan y neutralizan adecuadamente los riesgos de bias ya incluidos en la selección de datos relevantes, las decisiones algorítmicas basadas en estos factores son capaces de producir efectos discriminatorios y agravar el peso de las desigualdades en lugar de ayudar a reducirlas como podría hacer la tecnología” (cursiva añadida).

(21). La literatura en cuestión atribuye la diferencia a la distinción entre biased data y biased samples (cf. sobre el tema Borgesius, F. Z., Discrimination, Artificial Intelligence and Algorithmic Decision-Making, cit., 2018, pp. 11-12).

(22). Cf. Borgesius, F. Z., Discrimination, Artificial Intelligence and Algorithmic Decision-Making, cit., 2018, p. 11. Además, tal evento correría el riesgo de provocar una reacción en cadena en la que se enviarían más policías a los barrios donde viven los inmigrantes y la presencia de un mayor número de policías en esos barrios registraría un mayor número de delitos.

(23). La historia es referida por Borgesius, F. Z., Discrimination, Artificial Intelligence and Algorithmic Decision-Making, cit., 2018, p. 12.

(24). Es lo que se define como la black box, según la conocida y feliz fórmula de Pasquale, F. (The black box society: The secret algorithmsthat control money and information, Cambridge-London, 2015), habitualmente evocada en este contexto (véase por ejemplo Galetta, D. U. & Corvalán, J. G., “Intelligenza Artificiale per una Pubblica Amministrazione 4.0? Potenzialità, rischi e sfide della rivoluzione tecnologica in atto”, cit., 2019, pp. 15-16; Venanzoni, A., “La valle del perturbante: il costituzionalismo alla prova delle intelligenze artificiali e della robotica”, Politica del diritto, No. 2, 2019, pp. 237 ss.) para designar la opacidad sustancial del software de código cerrado, que operan sin mostrar el propio método de trabajo.

(25). Cf. Resta, G., “Governare l’innovazione tecnologica: decisioni algoritmiche, diritti digitali e principio di uguaglianza”, cit., 2019, p. 200. El tema es de gran importancia general: si estos procesos – especialmente cuando se trata de decisiones públicas y el desempeño de funciones públicas fundamentales – no son gobernados democráticamente, corren el riesgo de consolidar posiciones de privilegio y desigualdades (idem, p. 201).

(26). Así Simoncini, A. & Suweis, S., “Il cambio di paradigma nell’intelligenza artificiale e il suo impatto sul diritto costituzionale”, cit., 2019, p. 101.

(27). El texto no se refiere expresamente al tratamiento automatizado, pero puede considerarse implícito tanto por la referencia, presente en la parte omitida, a la oportunidad de que el responsable del tratamiento “utilice procedimientos matemáticos o estadísticos adecuados para la elaboración de perfiles”, como por la referencia al “tratamiento automatizado” de datos personales y al “proceso de toma de decisiones automatizado” que respectivamente abren y cierran el Considerando en cuestión.

(28). Cf. los Considerandos nn. 35, 36 y 37.

(29). En particular, el artículo 10 (Datos y gobernanza de datos) establece que los conjuntos de datos de entrenamiento, validación y prueba utilizados en los sistemas de IA de alto riesgo “se someterán a prácticas adecuadas de gobernanza y gestión de datos” (párrafo 2), que se centrarán, en particular, en: “las operaciones de tratamiento oportunas para la preparación de los datos, como la anotación, el etiquetado, la depuración, el enriquecimiento y la agregación” (letra c); “la evaluación previa de la disponibilidad, la cantidad y la adecuación de los conjuntos de datos necesarios” (letra e); “el examen atendiendo a posibles sesgos” (letra f).

(30). El artículo 17 (Sistema de gestión de la calidad) prevé a su vez (párrafo 1) que “los proveedores de sistemas de IA de alto riesgo establecerán un sistema de gestión de la calidad que garantice el cumplimiento del presente Reglamento. Dicho sistema se documentará de manera sistemática y ordenada mediante políticas, procedimientos e instrucciones escritas e incluirá, al menos, los siguientes aspectos: [] f) los sistemas y procedimientos de gestión de datos, lo que incluye su recopilación, análisis, etiquetado, almacenamiento, filtrado, prospección, agregación, conservación y cualquier otra operación relacionada con los datos que se lleve a cabo antes de la introducción en el mercado o puesta en servicio de sistemas de IA de alto riesgo y con ese fin”.

(31). También porque el aumento de la precisión de la previsión aumenta el riesgo de disparidad de resultados entre grupos, y por tanto de efectos discriminatorios: cf. Simoncini, A. & Suweis, S., “Il cambio di paradigma nell’intelligenza artificiale e il suo impatto sul diritto costituzionale”, cit., 2019, p. 97. Por lo tanto, la discriminación parecería ser una especie de "efecto secundario" de la precisión en la capacidad de predicción.

(32). En este contexto, una particularidad importante es la investigación de los llamados algorithmic bias detection: sobre el tema v., para todos, Courtland, R., “Bias Detectives. The Researchers Striving to Make Algorithms Fair”, 558 Nature, 2018, pp. 357 ss. Ideas al respecto se pueden encontrar en la Resolución del Parlamento Europeo de 2017 sobre derecho civil de la robótica, en la que el principio de precaución aparece entre los principios calificativos de la investigación en el campo de la robótica: cf. Resolución del Parlamento Europeo, de 16 de febrero de 2017, cit., Principios generales relativos al desarrollo de la robótica y la inteligencia artificial para uso civil, nn. 7 y 23; el principio de precaución también se recuerda en dos documentos anexos a la resolución y en particular en el Código de conducta ética para los ingenieros en robótica (v. par. Maximizar beneficios y reducir al mínimo los daños) y en el Código deontológico para los Comités de ética de la investigación, que inserta el principio de precaución entre los principios éticos de referencia para los investigadores del sector de la robótica.

(33). El artículo 9 (Sistema de gestión de riesgos) prevé que “se establecerá, implantará, documentará y mantendrá un sistema de gestión de riesgos asociado a los sistemas de IA de alto riesgo” (párrafo 1) y que este sistema “consistirá en un proceso iterativo continuo que se llevará a cabo durante todo el ciclo de vida de un sistema de IA de alto riesgo, el cual requerirá actualizaciones sistemáticas periódicas [] (párrafo 2). En particular, “a la hora de determinar cuáles son las medidas de gestión de riesgos más adecuadas, se procurará: a) eliminar o reducir los riesgos en la medida en que sea posible mediante un diseño y un desarrollo adecuados; b) implantar, cuando proceda, unas medidas de mitigación y control apropiadas en relación con los riesgos que no puedan eliminarse; c) proporcionar la información oportuna [] (párrafo 4); “los sistemas de IA de alto riesgo serán sometidos a pruebas destinadas a determinar cuáles son las medidas de gestión de riesgos más adecuadas. Dichas pruebas comprobarán que los sistemas de IA de alto riesgo funcionan de un modo adecuado para su finalidad prevista y cumplen los requisitos establecidos en el presente capítulo” (párrafo 5).

(34). Un principio que representa, en retrospectiva, una garantía ineliminable de la dignidad humana en el sentido kantiano, ya que establece que una persona no puede ser “objeto pasivo de decisiones tomadas de forma deshumanizada” (así Resta, G. “Governare l’innovazione tecnologica: decisioni algoritmiche, diritti digitali e principio di uguaglianza”, cit., 2019, p. 222).

Sobre los principales problemas de aplicación de la citada disposición, también en relación con el Considerando 71 del RGPD, cf. Eguíluz Castañeira, J.A., “Desafíos y retos que plantean las decisiones automatizadas y los perfilados para los derechos fundamentales”, cit., 2020, pp. 341 ss. Más generalmente, para un análisis de las deficiencias del marco jurídico europeo en materia de protección de datos, cf. Soriano Arnanz, A., “Decisiones automatizadas y discriminación: aproximación y propuestas generales”, cit., 2021, 35 ss.

(35). Cf. Simoncini, A. & Suweis, S., “Il cambio di paradigma nell’intelligenza artificiale e il suo impatto sul diritto costituzionale”, cit., 2019, p. 100.

(36). Cf. sobre este punto Eguíluz Castañeira, J.A., “Desafíos y retos que plantean las decisiones automatizadas y los perfilados para los derechos fundamentales”, cit., 2020, p. 330.

Comentarios