La responsabilidad patrimonial de la Administración y el uso de algoritmos

En este trabajo se estudia el reto provocado por el uso de algoritmos predictivos, los riesgos que estos suponen para el ordenamiento jurídico y las garantías tradicionales aseguradas por este, especialmente en Derecho administrativo. Además, se efectúa un análisis de cómo la naturaleza de estos instrumentos afecta a los elementos tradicionales de la responsabilidad patrimonial de la Administración.

Carlos Alcolea Azcárraga es Licenciado en Derecho por la Universitat de València

El artículo se publicó en el número 59 de la Revista General de Derecho Administrativo (Iustel, enero 2022)

I. ALGORITMOS: REGULACIÓN ACTUAL Y RIESGOS JURÍDICOS ASOCIADOS

Es indudable que vivimos en una época de cambio del paradigma con que habíamos vivido. Ahora es posible acceder a documentos antes vedados por imposibles de localizar y entablar relaciones con personas residentes en otro continente. Las tecnologías de la información y la comunicación son, sin duda, las grandes agonistas de esta revolución; y, no obstante, debido al avance cada vez más meteórico del uso masivo de datos, la ciencia de estos y el uso de algoritmos autónomos se están convirtiendo en protagonistas, para automatizar y hacer más eficientes los procedimientos.

Este proceso afecta incluso al modo en que las empresas y los poderes públicos se relacionan con los ciudadanos y administrados, por cuanto venimos de un sistema económico que adolecía de una absoluta escasez —en los estadios iniciales del capitalismo industrial— y nos dirigimos a uno en que se pretende gestionar una relativa abundancia, que se ve acrecentada por la masiva afluencia de datos(1).

De la misma forma que hoy estamos conectados en todo momento, también dejamos un rastro de datos que las empresas usan para poder personalizar qué productos nos venden, lo que les permite saber de antemano cuáles compraremos(2).

Por ello, en este trabajo se abordan algunas de las distintas perspectivas legislativas existentes sobre los algoritmos y los riesgos detectados y señalados por la doctrina, para intentar asomarse a los riesgos que estos plantean para la responsabilidad patrimonial de la Administración. Ello, porque los criterios tradicionales (el nexo causal, por ejemplo) se ven alterados por la propia naturaleza algorítmica (no funciona tanto un criterio de causalidad directa como uno de probabilidad en el daño).

1.1. Qué es un algoritmo

1.1.1. Conceptualización y origen

1.1.1.1. El origen de la palabra

Culturalmente hemos asociado la palabra algoritmo a aquellos que son automáticos, percibidos como muy lejanos y absolutamente arcanos. No obstante, la palabra tiene ya un recorrido importante: proviene del matemático Mohamed ben Musa al Juarismi, considerado creador del álgebra(3). En cualquier caso, este autor indica que el origen más inmediato de este término es el étimo inglés algorithm.

1.1.1.2. El concepto

Por algoritmo podemos entender —es la definición que se usará aquí— una serie de instrucciones dirigidas a la resolución de un problema paso a paso (O’Neil, 2017)(4). No obstante, bajo esta definición se amplía considerablemente aquello que debamos incluir en ella, ya que, en ese sentido, una ley o una norma reglamentaria bien podrían serlo.

Sin embargo, claro está que la semejanza no es total en la realidad, toda vez que, al final, el hilo conductor de una y otra no coinciden: en el primer caso, nos hallamos ante una vinculación jurídica —no es una repetición automática— y, en el segundo, informática. Asimismo, en un procedimiento administrativo o judicial pueden ser ignorados los pasos debidos —algo imposible para el algoritmo—(5).

Es relevante ahora destacar tres características de los algoritmos que se desglosarán más adelante: su universalidad, su opacidad y su impacto en la vida de las personas(6).

La universalidad supone que su aplicación es ilimitada, esto es, los algoritmos pueden aplicarse casi a cualquier sector de actividad, profesional o no, imaginable. La opacidad —que se desarrollará en detalle más adelante— supone que, por su naturaleza o cuestiones de organización o directamente jurídicas, son instrumentos de comprensión muy difícil. Finalmente, el impacto en la vida de las personas significa que, así como son aplicables en cualquier contexto, su capacidad para afectar a la esfera jurídica de los ciudadanos también es considerable —por ejemplo, en el caso de la asignación de contratos públicos o subvenciones—.

A efectos aclaratorios, y antes de profundizar en el contenido de este trabajo, debe hacerse una precisión: a lo largo de este, y salvo mención específica, el término algoritmo se hará en relación con aquellos que emplean datos para el análisis y la predicción de conductas futuras.

1.1.2. Tipos de algoritmos

1.1.2.1. Estáticos y dinámicos

Bajo el apelativo de estático debe entenderse aquel algoritmo cuyos criterios decisorios son programados por los diseñadores, sin capacidad para tomar de forma independiente las decisiones. Frente a estos, entre los dinámicos se encuentran los conocidos como autónomos —que se abordan más adelante—, con la capacidad para recoger y dirimir sus propios criterios y decidir por ellos mismos(7).

1.1.2.2. Mecánicos

Estos son el tipo de programas informáticos de uso absolutamente extendido, tanto en la Administración como en el ámbito privado, que precisan de la intervención de un ser humano para su correcto funcionamiento. Sirva como ejemplo un programa una calculadora electrónica, totalmente dependiente de la introducción de datos y órdenes de cálculo por parte del usuario.

1.1.2.3. Automáticos y autónomos

Por algoritmo automático y autónomo, y por contraposición a los mecánicos, se entienden aquellos que no precisan de intervención humana para realizar las tareas que tienen encargadas.

La diferencia entre algoritmos automáticos y autónomos se basa en que, mientras los primeros pueden precisar la intervención de seres humanos para renovar la información y actualizarse —no aprenden por sí solos—, los segundos funcionan de forma independiente, sin necesidad de que los diseñadores humanos tomen parte en ninguno de sus procesos.

Esta denominación se refiere esencialmente a aquellos algoritmos que aprenden autónomamente a partir del análisis de datos con un modelo matemático complejo(8).

1.1.2.4. Machine learning y deep learning

Como ya se ha indicado, el concepto de algoritmo no es nuevo, sino que su novedad se sustenta en la posibilidad de efectuar análisis masivos de datos que permiten que el propio programa informático aprenda de forma autónoma sin intervención humana.

COTINO HUESO recogió las particularidades que hacen destacar la independencia de estos programas respecto de los seres humanos: 1) qué resulte del uso de los algoritmos no depende de qué dispusieran los diseñadores; 2) la naturaleza de caja negra de los algoritmos, esto es, la dificultad para explicar por qué se ha llegado a las conclusiones; y 3) son procesos rápidos y automáticos(9).

El término deep learning se reserva, por otro lado, a ciertos tipos de algoritmos de tal complejidad que su apariencia y representación recuerdan a las de nuestras neuronas y sus conexiones.

1.1.3. Relación con la IA y el Big Data

El concepto inteligencia artificial se reserva a los sistemas que manifiestan un comportamiento inteligente, pues son capaces de analizar su entorno y pasar a la acción —con cierto grado de autonomía— con el fin de alcanzar objetivos específicos (IA para Europa, 2018).

En tanto la IA está adquiriendo un papel tan preponderante en nuestras sociedades, el debate en torno a sus funciones y posibilidades hace también lo propio, tanto en lo relativo a las tecnológicas como a las eventuales consecuencias sociales. Este debate candente(10) en general está guiado por la propuesta de que la ética debe imperar en cómo nos enfrentemos al auge de la inteligencia artificial.

En este aspecto destaca la <<Declaración de Barcelona para un desarrollo y uso adecuados de la inteligencia artificial en Europa>>, de 8 de marzo de 2017. Esta pretende ser una guía para el progreso de la inteligencia artificial, con un código articulado basado en seis principios: 1) prudencia frente al fenómeno algorítmico; 2) exigencia de fiabilidad previo uso; 3) transparencia algorítmica —ya defendida por la doctrina(11); 4) responsabilidad de los desarrolladores y posibilidad de contactarlos; 5) autonomía restringida para estos sistemas, con el objetivo de controlar su desarrollo; y 6) la importancia del papel humano en su funcionamiento para poder gestionar sus defectos y sesgos(12).

Por su parte, Big Data o macrodatos expresa la cantidad de información que es posible contener y manejar, de un tamaño imposible para los humanos. Al hablar de este, se suele hacer referencia a las ‘V’: volumen, variedad, velocidad, valor y veracidad(13).

A continuación, en la Resolución, de 14 de marzo de 2017, del Parlamento Europeo sobre las implicaciones de los macrodatos en los derechos fundamentales, se indica: El concepto de macrodato se refiere a la recopilación, análisis y acumulación constante de grandes cantidades de datos, incluidos personales, procedentes de diferentes fuentes y objeto de tratamiento automatizado mediante algoritmos informáticos y avanzadas técnicas de tratamiento de datos, utilizando tanto datos almacenados como datos transmitidos en flujo continuo, con el fin de generar correlaciones, tendencias y patrones.

El avance de estos fenómenos, extraños a la tradicional capacidad del legislador de regularlo todo —o intentarlo—, ha provocado que la técnica legislativa devenga legiferante —o la famosa legislación motorizada del profesor Enterría—. Esta evolución ha producido una alteración del concepto tradicional de ley como norma suprema, para ser ahora una forma más de regulación(14).

Es también ciertamente relevante la comprensión tradicional del fenómeno jurídico por parte de los legisladores nacionales y supranacionales, que puede suponer una colisión frontal con la ciencia de datos(15). Ello, en cuanto a la pretensión racionalizadora tradicional del Derecho puede encontrarse con una crisis en sus bases —por ejemplo, en muchos ámbitos tradicionales del Derecho el concepto de causalidad es clave, mientras que la IA y el Big Data funcionan bajo la premisa de la correlación(16).

1.1.4. La imparable expansión de su uso en la era del Big Data

1.1.4.1. Predicción basada en datos

El Big Data y los algoritmos predictivos recogen los cientos de datos que los humanos generamos en nuestras interacciones (las páginas visitadas, los mensajes enviados, las compras realizadas). Si se extrapolan estos a cientos de miles de personas, ello permite a estos programas extraer predicciones y decidir qué sugerir y qué no.

Lo que se haga con los datos es la estadística del todo(17), un territorio completamente abierto a la imaginación. Así, los programas pueden colaborar en la predictibilidad y la toma de decisiones.

Los elementos que se precisan para poder llevar a cabo esto son tres: capacidad de computación, disponibilidad de datos y sofisticación de los algoritmos(18) (Huergo Lora, 2020, págs. 39-42).

1.1.4.2. Capacidad de computación

La posibilidad de computar ha aumentado exponencialmente en las últimas décadas. Además, previsiblemente, siguiendo la Ley de Moore —cada dos años se duplica la capacidad de los procesadores—, esta continuará experimentando un avance imparable.

1.1.4.3. Disponibilidad de datos

Los datos tienen por objeto entrenar al algoritmo para que reconozca qué variables y criterios son relevantes y cuáles no (o, incluso, cuáles deben ser ignorados, como se expone más adelante).

Aunque probablemente suene redundante a estas alturas, la capacidad de gestionar datos ha crecido considerablemente. No obstante, esta realidad tiene un lado oscuro que tampoco debe ser ignorado: ¿qué sucede con las personas que no generan datos?

Se ha sostenido(19) que el Big Data probablemente conduzca a la aparición de tres clases de personas: 1) quien genera datos; 2) quien los recoge; y 3) quien los analiza —los privilegiados del nuevo mundo—. Además, este autor añade que cabe la aparición de los parias del Big Data, es decir, personas que no llegan a generar datos, por lo que sus necesidades pueden quedar ignoradas al no constar siquiera su existencia.

Desde luego, es relevante la cuestión de la procedencia y el estado de los datos. En tanto los algoritmos funcionan con los datos que les son dados e introducidos, dependen totalmente de ellos. Tanto por vía intencional como de forma automática, los algoritmos pueden incorporar los sesgos de los diseñadores —después de todo son realizados por humanos— y perpetuarlos.

Además, no debe pasarse tampoco por alto que el Big Data funciona con datos anonimizados, aspecto en absoluto garantizado.

1.1.4.4. Sofisticación de los algoritmos

Se precisan programas capaces de discriminar la cantidad de información que se les incluye, lo que ha conducido a un dominio de las masas —o los datos que estas dejan— sobre el conocimiento que los expertos puedan tener sobre un tema concreto(20) (Huergo Lora, 2020, págs. 43-45).

En este sentido, un buen ejemplo es Amazon. En sus orígenes, esta empresa contrató a un grupo de expertos para hacer sugerencias a los compradores online. No obstante, los sustituyó posteriormente por algoritmos, que fueron capaces de hacer mejores sugerencias. Y de ahí hasta hoy, en que es una de las empresas más grandes del planeta.

1.1.4.5. Premisas sobre el Big Data y los algoritmos

Generalmente, el Big Data se percibe como remoto, ajeno a la vida real y cercana, pese a lo mucho que influyan en nuestra vida cotidiana. Por ello, se parte generalmente de ciertas premisas —socialmente asumidas— que se exponen a continuación(21):

a. Los datos reflejan la realidad

Existe una conciencia generalizada de que los algoritmos son infalibles, debido a la gigantesca cantidad de datos de que disponen, lo que les otorga un halo de objetividad, y a cierta mitificación de las máquinas, herencia de la pasión ilustrada por la física newtoniana(22). Los algoritmos son buenos consejeros para grandes grupos de gente; no obstante, cuando se trata de individuos, la efectividad puede verse radicalmente reducida, además de que los controladores saben cuándo aciertan los algoritmos, pero no cuándo fallan(23).

No obstante, es una realidad que los algoritmos tienen una tasa de acierto mucho mayor cuando funcionan con datos de personas que ya entran en las bases (registros de operaciones previas, por ejemplo) que cuando deciden sobre alguien que no conocen.

b. El futuro será como el pasado

Los algoritmos proyectan sus decisiones de futuro según la información que tienen almacenada sobre el pasado. Esto, en campos como la policía predictiva, puede producir un mayor o menor acierto en función del tipo de crimen, o incluso favorecer la comisión de otros en zonas distintas(24).

c. (Ir)relevancia de las variables omitidas

Dado que los algoritmos funcionan con los datos introducidos en ellos, su carencia puede afectar a su efectividad, hasta el punto de discriminar por la información que no tengan (aspecto que se explica más adelante). No introducir datos por formar parte de las categorías sospechas de discriminación no es una garantía de que los algoritmos vayan a dar resultados absolutamente acertados.

Aun usando estas variables sustitutivas, los algoritmos pueden seguir realizando correlaciones según los datos que sí poseen y, sin excesiva complicación, alcanzar los mismos resultados.

d. Los algoritmos son objetivos

Sobre este punto ya se ha incidido en estas páginas, de forma que no es necesario volver a hacerlo en profundidad. Los algoritmos no dejan de estar diseñados por seres humanos, que pueden hacerlos portadores de los propios prejuicios que, bien culturalmente, bien por la razón que sea, llevemos con nosotros.

Y no solo eso, sino que por el contacto con datos que no estén bien ponderados pueden también volverse transmisores de prejuicios previos. Es bastante conocido el caso del algoritmo que tuvo que ser desactivado por volverse en menos de un día abiertamente racista, xenófobo y antisemita debido a su contacto con las redes sociales.

No hay que olvidar que los algoritmos son herramientas extremadamente útiles; muchas veces los propios diseñadores reconocen que ya no saben por qué el algoritmo determina una u otra cosa. Esto, en el ámbito público, conduce a pensar que, si no podemos saber cómo razonan, su uso debe estar ciertamente modulado, ya que, por mucho que la eficiencia que puedan aportar sea extremadamente considerable, la justicia debe imperar en la toma de decisiones que afecten a ciudadanos.

e. El Big Data no discrimina injustamente

Partiendo de la premisa de que, históricamente, se considera injusto el prejuicio sobre un particular por su pertenencia a uno u otro grupo social o su procedencia, la cuestión se centra en cuándo lo es un programa que lo tiene en cuenta.

La clave en este sentido parece ir orientada a si la inclusión de los datos responde a un fin legítimo o no, es decir, si esta diferenciación sobre estos datos tiene por objeto la búsqueda de la eficiencia de forma proporcionada o no(25).

La pregunta surge cuando el rasgo en cuestión efectivamente señala una tendencia a cometer crímenes. Algunos autores sostienen que la discriminación estadística debería prohibirse aun cuando estos rasgos son, generalmente, la base para ser injustamente discriminado, cuando la discriminación es arbitrariamente selectiva o cuando pueda ser estigmatizadora(26).

1.1.4.6. Necesidad de tomar el control

Muchas personas —Stephen Hawkins y Elon Musk, entre otras— que han instado a las autoridades y gobiernos del mundo a adelantarse a la tecnología y a disponer regulaciones que compatibilicen los avances y las libertades propias de las democracias occidentales.

Se pretende evitar la paradoja de Collingridge(27), que sostiene que, cuando tenemos la posibilidad de regular y embridar la tecnología, no se lleva a cabo por no existir el conocimiento para tomar decisiones racionales, pero que, en el momento en que nos dispongamos a llevarlo a cabo, el desarrollo tecnológico será tal que lo hará imposible.

No obstante, también es cierto que la IA plantea riesgos y beneficios de un importante calado. Algunos de ellos se explican a continuación:

En sentido negativo, nos exponemos a una adaptación al uso de qué se nos ofrece —como consumidores, ciudadanos y potenciales votantes—. En 2018, se aprobó en el Congreso español una Ley Orgánica (LO 3/2018, de 5 de diciembre, de Protección de datos personales y garantía de los derechos digitales) portadora en su Disposición Final Tercera de una reforma de la Ley Orgánica de Régimen Electoral General que habilitaba a los partidos a generar perfiles políticos de los ciudadanos según sus búsquedas en internet(28).

En el sentido expuesto, otro riesgo es el llamado Big Nudging, es decir, la orientación del modo de obrar de los ciudadanos por los datos de ellos de los que se dispone(29). Sirvan como ejemplos el famosísimo caso de Cambridge Analytica y la campaña realizada por Facebook durante las elecciones al Congreso de Estados Unidos de 2010.

Ahora sí, en sentido positivo, la perspectiva que ofrece el futuro de la IA con los robots es difícilmente mensurable. La robotización de procesos probablemente permita que los trabajos más fatigosos dejen de ser desempeñados por las personas; lo que, esperanzadoramente, quizá permita que nos dediquemos a otras tareas y podamos disfrutar de un bienestar muchas veces vedado hoy en día.

Por todo lo expuesto, se defiende que una regulación temprana de la IA y sus manifestaciones podría permitir que los ciudadanos maximicen los beneficios que esta pueda aportar minorando los riesgos(30).

1.2. La potencial problemática jurídica del uso de los algoritmos

1.2.1. Opacidad en la toma de decisiones (las llamadas cajas negras)

Esta puede deberse a varias razones, técnicas, jurídicas u organizativas(31).

La dificultad técnica de los algoritmos se debe a su complejidad o al carácter dinámico que puedan tener. Como ya se ha comentado, estos manejan cantidades ingentes de información mediante complicadas operaciones, lo que dificulta, en ocasiones, aclarar por qué la decisión ha sido una u otra. Además, su carácter dinámico —explicado anteriormente— implica que el criterio empleado en una ocasión concreta pueda ser diferente al usado en la siguiente.

Jurídicamente hablando, la opacidad puede deberse a cuestiones de propiedad intelectual, industrial o directamente a cláusulas contractuales firmadas para proteger el código fuente del programa. En la evolución tecnológica, las Administraciones están aceptando lo que el sector privado, más avanzado, les ofrece, y esto supone aceptar las condiciones de confidencialidad que este pueda exigir.

Un problema claro de esta realidad es el descrédito al que se exponen las Administraciones por desconocer por qué se ha decidido una u otra cosa y no poder explicar el porqué, lo que produce una quiebra en su legitimidad(32).

En sentido organizativo, puede deberse a la ignorancia del funcionamiento del algoritmo; no ya porque se carezca de una forma de conocerlo, sino porque directamente no se posea el código fuente.

Probablemente, la forma más sencilla de paliar estos efectos sea poner a disposición del administrado o ciudadano el programa, dándole una explicación comprensible del razonamiento seguido por este(33). Otros autores defienden que el uso de algoritmos precisa de su aprobación por parte de la Administración(34) o que, por la naturaleza propia de estos, se les aplique la normativa relativa a los Reglamentos(35) —lo que conlleva la publicación de su código fuente—.

1.2.2. Discriminación algorítmica y estupidez artificial

Es preciso volver a traer a colación una idea ya analizada con anterioridad: los algoritmos los diseñan seres humanos. Esto supone que los diseñadores pueden inocularles sus esquemas personales, y, por ende, perpetuar prejuicios o patrones culturales.

Tampoco es despreciable la idea de que, simple y llanamente, los datos usados sean de baja calidad, lo que llevará indefectiblemente a que las conclusiones sean sesgadas y erróneas, deviniendo los programas en máquinas de estupidez artificial(36).

La discriminación algorítmica debe afrontarse desde una doble vertiente: enfocando su existencia como hecho vulnerador del principio de igualdad, de los derechos a la igualdad y no discriminación, y como uno de los múltiples daños derivados del uso de estas tecnologías y el tratamiento de datos(37).

En este trabajo se sigue la metodología planteada por la citada autora, con la división de la eventual discriminación algorítmica en directa e indirecta:

- La directa tiene lugar cuando se trata a una persona de forma diferente en función de su pertenencia a una de las categorías sospechosas de discriminación. Un ejemplo es la valoración de forma negativa de estos rasgos o características. Como indica la autora, en estos casos también deberían incluirse los casos en que consciente o inconscientemente se aprende la pertenencia al grupo una vez empieza a funcionar el programa(38). La discriminación en estos casos no plantea tanto conflicto en cuanto a la prueba, porque se emplean factores que son directamente determinantes relacionados con estas categorías. De hecho, quizá no fuera ni necesario acceder al propio programa.

- El otro supuesto es la discriminación algorítmica indirecta, ocasionada por el empleo de criterios aparentemente neutros que producen consecuencias más perjudiciales para el grupo que para el otro. En este caso, el criterio puede ser un valor específico del algoritmo o este considerado como un todo(39).

Indica la autora que, en estos casos, la prueba precisa de un tertium comparationis, lo que añade un punto añadido de complejidad.

Por otro lado, y es un asunto relevante, los algoritmos pueden llegar a discriminar según los datos de los que no disponen, por inferencias por los patrones que han podido realizar de los datos.

La cuestión de relevancia en este tema yace en que ciertos criterios permean los datos, se incluyan o no. Ello implica que, se quiera o no añadirlos, están —si bien la raza no se incluye por considerarse discriminatoria, se suele acudir a la zona de residencia, que tiende a dar una información similar—.

Por ello, antes que obviar información que pueda ser de relevancia, parece más apropiado introducirla y entrenar con ello al algoritmo para que sepa qué importancia tiene, con miras a evitar la discriminación estadística(40).

Por discriminación estadística —término con bastante bagaje— se pretende ilustrar el criterio de toma de decisiones —humanas o informáticas— cuyo baremo es la experiencia acumulada con personas que compartían características(41).

Las soluciones propuestas varían entre los distintos autores, desde auditorías realizadas a los algoritmos(42) a la remoción de preguntas parciales en test estandarizados(43).

Otros autores apuntan a que este riesgo de discriminación no es extraño a cualquier tecnología que puedan aplicar las Administraciones públicas o las empresas; y que, no obstante, sí pueden introducir nuevos baremos donde antes no existían —susceptibles de ser fiscalizados—. De hecho, se apunta a lo contrario, puesto que evitan la más rayana arbitrariedad o el uso de otros criterios preparados expresamente para el asunto concreto(44).

1.2.3. Predictibilidad preventiva

Por predictibilidad preventiva hemos de entender el establecimiento de patrones de conducta que permitan catalogar a las personas(45). Esta pretensión no es realmente una novedad, toda vez que entre los siglos xix y xx ya se pretendía buscar una predisposición subjetiva a la criminalidad para la comisión de delitos basada en rasgos personales(46) —entonces una concepción regente de la peligrosidad—.

En este sentido, ya se previene de que podríamos estar dirigiéndonos al dataísmo(47) o dictadura de los datos, bajo una confianza ciega en la eficacia del Big Data y la imposibilidad de que este yerre.

A ello deben sumarse las premisas comentadas con anterioridad respecto de los datos, a las que, en este contexto de la predictibilidad predictiva —y una posible policía predictiva—, podríamos añadir las siguientes(48).

1.2.4. El principio de precaución algorítmica

El principio de precaución, cuyo origen se encuentra en el Derecho internacional ambiental, postula esencialmente que, si una medida legislativa o similar puede causar un daño irreparable y la comunidad carece de consenso, debe abandonarse —sin poder ampararse posteriormente en que el estado de la técnica no podía conocer las consecuencias de lo que se realizó—.

Pues bien, son varios los autores que defienden la aplicación de este principio en el ámbito tecnológico, por cuanto este tiene también un importante potencial dañino para la humanidad en su conjunto(49), para convertirlo en un principio de precaución social.

El objetivo, al final, es controlar las consecuencias no previstas por el uso de estas tecnologías, para que no causen un daño irreparable e impredecible sin un posible retorno.

Esto cobra especial importancia cuando las decisiones pueden imponerse coactivamente sobre los ciudadanos(50), por lo que quizá sea prudente ir más allá e integrarla radicalmente con miras a la adaptación a las necesidades que pueda estar destinada a cubrir.

Por ello, si bien hay autores(51) que consideran que la aplicación de los algoritmos a las facultades discrecionales de la Administración pública aportaría un baremo nuevo que alejaría la arbitrariedad, podría parecer que su uso sin una completa comprensión de cómo funcionan o por qué toman las decisiones que toman debería postergarse a un momento en que efectivamente se disponga de ese control y posibilidad de fiscalización.

Tampoco debe dejar de mencionarse el genérico principio de responsabilidad, de forma que el proceder humano permita la permanencia de la propia especie y del resto —tanto presentes como venideras—.

1.3. Regulación de los algoritmos

1.3.1. A escala europea

En Europa existen ya diversos instrumentos enfocados a la regulación y forma de abordar el fenómeno de la IA. Con ello, en este trabajo el foco se pondrá en el RGPD, por cuanto las restantes disposiciones carecen de valor normativo vinculante, aunque serán mencionadas cuando sea preciso.

El artículo 22 del Reglamento General de Protección de Datos

El Reglamento General de Protección de Datos (Reglamento UE 2016/679 del Parlamento Europeo y del Consejo), de 27/04/2016, recoge en su artículo 22 lo siguiente: Todo interesado tendrá derecho a no ser objeto de una decisión basada en el tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos en él o le afecte significativamente de modo similar.

Un primer paso es identificar qué es la elaboración de perfiles. Conforme al art. 4.4 del RGPD, es toda forma de tratamiento automatizado de datos personales consistente en utilizar estos personales para evaluar determinados aspectos personales de una persona física, en particular analizar o predecir aspectos relativos al rendimiento profesional, situación económica, salud, preferencias personales, intereses, fiabilidad, ubicación o movimientos de dicha persona física.

Por otro lado, las decisiones automatizadas carecen de una definición más precisa, toda vez que se tienen en cuenta dos características: los datos que las fundamentan y la participación o no del ser humano(52).

De ello se infiere que no todo tratamiento —una mera clasificación de personas— es una elaboración de perfiles, dado que para ello es precisa una intención evaluadora, con el fin de hacer predicciones y sacar conclusiones(53). En el art. 22 del RGPD, el uso o no de perfiles no es lo relevante, pasa a un segundo plano, sino que lo primordial es la decisión automatizada, motivo del despliegue de las garantías inscritas en el precepto(54).

Volviendo al art. 22 del RGPD, es relevante ahora determinar qué se entiende por efectos jurídicos o que le afecte gravemente(55). La concepción de esta afectación ha sido objeto de diferentes tratamientos en los distintos ordenamientos nacionales, abordándose de forma superficial (ordenamiento español) a una muy exhaustiva (francés o húngaro)(56).

El grupo de trabajo sobre el artículo 29 ha recogido diferentes ejemplos: la denegación de una solicitud de crédito en línea de algunos servicios de contratación, la denegación o atribución de una prestación legal(57).

Excepciones al artículo 22 del RGPD y derechos que recoge

El propio Reglamento recoge tres excepciones a la prohibición de tratamiento automatizado: la celebración o ejecución de un contrato entre el interesado y el responsable del tratamiento, una previsión basada en Derecho nacional o de la UE y el consentimiento explícito del interesado.

En el primer caso, las garantías pasan, según el 22.3 RGPD, por prever la intervención humana, poder expresar el punto de vista del afectado y poder recurrir la decisión.

El segundo ha otorgado un margen importante de discrecionalidad a los Estados —se detallan algunos ejemplos anteriormente— a la hora de configurar excepciones a esta norma.

Finalmente, el tercero es más novedoso, definido por el RGPD como toda manifestación de voluntad libre, específica, informada e inequívoca por la que el interesado acepta, ya sea mediante una declaración o una clara acción afirmativa, el tratamiento de datos.

El consentimiento plantea problemas en ciertos campos, sobre todo cuando estamos en una relación cuyo equilibro de poder está claramente descompensada. Un ejemplo es la firma de un contrato con una gran empresa, en cuyas líneas suele incluirse la aquiescencia al uso de datos y cuya negativa supone la imposibilidad de firmar el contrato.

Las relaciones con los poderes públicos son otro ejemplo de contexto en que el consentimiento adolece de grandes debilidades. La gran mayoría de actuaciones de los poderes públicos —por ejemplo, la Agencia Tributaria— no se basan en el consentimiento del interesado, lo que conculca en cierto modo el espíritu de esta norma.

Para finalizar el epígrafe, se analizan los derechos que enuncia el Reglamento respecto al tratamiento de datos automatizado. Como inicio, debe señalarse la necesaria interpretación de estas normas a la luz de los principios redactores de estas (art. 5 RGPD).

Como derechos genéricos deben ser tenidos en cuenta el derecho a ser informado (13.2.f y 14.2 RGPD), de acceso (15 RGPD), de rectificación, supresión y limitación del tratamiento (16, 17 y 18 RGPD) y de oposición (21 RGPD).

Las garantías específicas están recogidas en el 22.3 del Reglamento: 1) derecho a obtener intervención humana; 2) a expresar el propio punto de vista; y 3) a impugnar la decisión.

1.3.2. Alemania

En este apartado se abordará la regulación realizada por el legislador alemán tanto en el tratamiento de datos personales desde la perspectiva del RGPD como en la ley de procedimiento administrativo (Verwaltungsverfahrensgesetz, VwVfG en adelante).

En el desarrollo del RGPD por el legislador alemán, la regulación está contenida en la Bundesdateenschutzgesetz (BDSG en adelante), en cuyo apartado 37, a las excepciones recogidas en el art. 22 del RGPD añade lo siguiente: In addition to the exceptions given in Article 2 (a) and (c) of Regulation (EU) 2016/79 not to be subject to a decision based solely on automated processing shall not apply if the decision is made in the context of providing services pursuant to an insurance contract(58).

El BDSG permite este tratamiento en dos circunstancias. En primer lugar, si el resultado del tratamiento es positivo para el sujeto del tratamiento de datos —the request of the data subject was fulfilled—.

En segundo, si es negativo, el tratamiento automático se permite en las siguientes circunstancias:

1. If the decision is made based on the application of binding rules of remuneration for therapeutic treatment.

2. If the controlller takes suitable measures, in the event that the request is not granted in full, to safeguard the data subject’s legitimate interests, at least:

a. The right to obtain human intervention on the part of the controller.

b. To express his or her point of view.

c. To contest the decision.

d. The controller shall inform the data subject of these rights no later than the notification indicating that the data subject’s request will not be garanted in full.

La redacción del precepto recoge varios puntos de interés:

1) es el único caso explícito de implementación del artículo 22 del RGPD en que hay una autorización al tratamiento automático de datos —parece referir a las solicitudes de los particulares para el reembolso de daños—.

2) Parece que solo sea necesario establecer garantías especiales cuando no se concede completamente lo requerido por el interesado —mientras que en plenos reembolsos no sería preciso establecer mayores cautelas—.

3) Hay una limitación de la discrecionalidad de los diseñadores, esto es, deben respetar las reglas vinculantes sobre la remuneración en tratamientos terapéuticos (Malgieri, 2019, pág. 11).

El enfoque alemán es neutro, por cuanto este ha implementado el art. 22 del RGPD sin proponer, no obstante, medidas específicas para proteger los derechos, libertades e intereses legítimos del sujeto del tratamiento de datos(59). Esto parece responder a las preocupaciones y la prudencia tanto de los juristas como del legislador alemán, que consideraron que el derecho a una explicación completa no podría ser garantizado bajo las leyes alemanas y que, por ende, debía ser de interpretación restrictiva(60).

Concentrándonos ahora en la ley de procedimiento administrativo alemana (VwVfG), tomaremos como punto de partida el abierto reconocimiento realizado por el legislador en 2016 a los actos administrativos automáticos en el art. 35.a de esta legislación.

El precepto reza que un acto administrativo podrá dictarse de forma totalmente automática siempre que esté legalmente habilitado a ello y no sea una decisión discrecional(61). La automatización preconizada por este artículo se refiere el procedimiento de dictamen del acto administrativo, sin afectar a esta naturaleza que la notificación de este se haga de forma no automatizada (Siegel, 2017, pág. 25)(62).

Es relevante destacar que la expresión durchs Rechtsvorschrift —previa habilitación— limita considerablemente el campo de actuación de estos actos administrativos, toda vez que precisan una habilitación previa para ser válidos. Es decir, en caso de carecer de una habilitación apropiada, el acto estaría viciado de nulidad(63)(64).

Debe destacarse que el artículo 35.a de la VwVfG exceptúa de la automatización los actos en que exista discrecionalidad administrativa. Esto es razonable, toda vez que los algoritmos pueden plantear serios problemas a la hora de justificar por qué han tomado una u otra decisión. Por ello, es comprensible la posición adoptada, en que se pone por delante la justicia en la toma de decisiones administrativas frente a la mayor eficacia que supondría el empleo de los algoritmos para cualquier decisión.

1.3.3. Francia

Las leyes francesas regulan el procedimiento automático de toma de decisiones en consideración a tres circunstancias: 1) las judiciales —rige una prohibición total para las automatizadas o semiautomatizadas si se pretende evaluar aspectos de la personalidad, en el art. 10 de la Ley 78-17, de 6/01/1978)—; 2) las decisiones administrativas automáticas y semiautomáticas —en las que nos centraremos—; y 3) el resto de las decisiones con efectos legales o significativos sobre los ciudadanos.

En el campo administrativo, las decisiones automatizadas están directamente prohibidas en el área de los recursos administrativos (art. 10.3 Loi 78-17 du janvier 1978, relativa a la informática, los archivos y las libertades, que afecta al código sobre las relaciones entre la Administración y los ciudadanos).

Por otro lado, sí se permiten ciertas actuaciones administrativas automatizadas, siempre que se cumplan ciertos requisitos:

- En los casos mencionados en el art. 22.a y 22.c del RGPD, con sujeción a las reservas dispuestas por este.

- Que las decisiones administrativas sean tomadas respetando el art. 311.3.I y el Capítulo I del Libro IV del Código de Relaciones entre el Público y la Administración. Conforme al precepto citado, la decisión tomada deberá incluir una notificación explícita informando al interesado de que se ha adoptado por una intervención algorítmica.

- Por otro lado, la Administración debe ser capaz de comunicar las reglas definidoras del tratamiento de datos y la forma de aplicación al ciudadano concreto si este lo solicita.

En resumen, para las semiautomatizadas rige una prohibición a salvo de que se empleen salvaguardias apropiadas, mientras que para las totalmente automatizadas existe una prohibición total en el sistema de recursos y si, para otros procedimientos, las exigencias del art. 10 de la Ley citada no se cumplen.

Estas salvaguardias son: 1) evitar el uso de datos sensibles; 2) que el procesamiento respete los procedimientos administrativos; 3) que el ciudadano afectado reciba una notificación de que se ha empleado un algoritmo; 4) que el ciudadano, si lo exige, obtenga una explicación de las reglas reguladoras del tratamiento de datos; y 5) que la Administración pueda explicar las decisiones individuales de forma comprensible(65).

1.3.4. Presencia jurisprudencial

1.3.4.1. Caso Loomis:

La sentencia del caso State v. Loomis, de 13/07/2016, versó sobre la aplicación de un algoritmo —COMPAS— para determinar la probabilidad de reincidencia de un condenado, partícipe en un atraco.

El condenado, Loomis, recurrió la sentencia al considerar que la conclusión del tribunal, usando el algoritmo, era contraria a las leyes por diversas razones: 1) conculcaba su derecho a obtener una sentencia basada en una información correcta, en parte debido a que la naturaleza del algoritmo lo impide; 2) violaba su derecho a obtener una sentencia individualizada; 3) se usaba su género (varón) de forma discriminatoria.

El tribunal, desde el comienzo, dispuso que debía recordarse que la puntuación de riesgo determinada por el algoritmo no debe determinar ni la severidad de la sentencia ni ser considerada un factor decisivo para estimar o no la encarcelación de una persona.

Por lo que se refiere al primer argumento, la defensa arguyó que la negativa al desglose de los criterios de determinación de la pena o cómo se mesuran estos supone una conculcación de su derecho.

El tribunal, empero, consideró que, si bien el acusado no pudo conocer cómo se valoran los criterios, sí tuvo en su mano revisar y oponerse a la puntación derivada de su uso; y que, en tanto el programa se basa en unas preguntas que aquel contestó, le fue posible comprobar que esas preguntas y sus respuestas de la lista eran acuradas.

Por las diferentes cuestiones que suscita el uso del algoritmo —tales como la mayor ratio de estimada peligrosidad de ciertas minorías, con la frecuente base en dónde residen o valores análogos— el tribunal determinó, respecto al uso, que, cuando se utilicen estos programas, deberá informarse al juzgador, con las siguientes cautelas: 1) que la naturaleza privada del programa se ha invocado para no informar del desglose de los criterios; 2) que la valoración del riesgo se efectúa con datos nacionales, no regionales; 3) que algunos estudios han planteado preguntas sobre la excesiva condena a determinadas minorías; 4) que estas herramientas deben ser monitorizadas constantemente; 5) que el programa fue pensado para ser usado en la Administración penitenciara y no en la de Justicia.

En lo relativo a la segunda causa del recurso, el tribunal parte de la premisa de que, efectivamente, estos algoritmos son precisos a nivel grupal y tendentes al error en casos individuales. Este disiente de lo planteado por Loomis, habida cuenta de que el uso de estos programas junto con otros puede proporcionar una valiosa fuente de información para redactar una sentencia individualizada.

No obstante, el Tribunal cierra indicando que, como se ha expuesto, el riesgo de que los valores grupales del algoritmo interfieran en el resultado individual son grandes, por lo que deberían ponderarse con precaución.

Finalmente, abordando el tercer punto, Loomis alegó que, el uso como criterio de su género violaba su derecho a la no discriminación por esta razón. Tanto el Estado como la defensa convergían en la tesis de que los hombres tienen un mayor grado de reincidencia que las mujeres; sin embargo, aun en un caso correcto de uso del género, la defensa alegaba que este era inconstitucional.

El tribunal consideró que el acusado no pudo demostrar que la sentencia estaba basada en su género, por lo que no adolecía de ese defecto. No solo eso, sino que el sentenciador concluyó que el uso del género por el algoritmo promovía una mayor precisión, lo que redundaba en una mejora del sistema de justicia.

Finalmente, el tribunal concluyó que es permisible el uso del programa si: 1) permite evitar el ingreso en prisión de un preso de bajo riesgo sustituyendo la pena por otra menor; 2) averiguar si un condenado puede ser supervisado de forma segura y efectiva; y 3) para imponer condiciones de libertad provisional, supervisión de la condena y violación de esta.

Por contra, dispuso que no puede usarse para determinar si un condenado ingresará en prisión o determinar la gravedad de la sentencia. Igualmente, recordó la importancia de incluir las cinco cautelas mencionadas con anterioridad cuando se empleen estos mecanismos en la sentencia.

Dicha sentencia, aunque realiza cierta determinación de cómo usar estas herramientas, no deja claro cuándo es legítimo usarlas(66), más allá de decir que las consideran aptas como recurso, manteniendo garantías. Pese a que anima a los jueces a no confiar ciegamente en los algoritmos, nada se comenta sobre cómo no tomar excesivamente en cuenta estas puntuaciones de riesgo, toda vez que los jueces tienden a respetar —muy acertadamente— la influencia de su trabajo, cayendo en la ansiedad judicial(67). Por otro lado, difícilmente entenderán de forma absoluta cómo funciona realmente el algoritmo o las valoraciones que realiza.

Además, no debe olvidarse la relevancia de la información con que se alimentan los algoritmos. La gran cantidad de datos que manejan es de vital importancia, cediendo, en cierto modo, la calidad en favor de la cantidad. Aun así, las cautelas señaladas parecen pretender que los jueces controlen la parcialidad de una herramienta diseñada, al fin y al cabo, para corregir las apreciaciones parciales que el programa pueda realizar(68).

Un punto que sí resulta sorprendente de la sentencia es la permisión del uso de algoritmos secretos en la justicia penal. Difícilmente podrán los justiciables recabar una tutela judicial efectiva si no saben bajo qué criterios se les juzga, criterios cuya difusión y conocimiento no son sino parte troncal de la misma idea de Derecho(69).

1.3.4.2. La sentencia de La Haya de 5 de febrero de 2020

El Ejecutivo holandés emplea el sistema SyRI (Systeem Risicoindicatie) para prevenir el fraude fiscal en la seguridad social y el área financiera. Siguiendo al legislador holandés, SyRI es una infraestructura técnica con procedimientos asociados con los que los datos pueden unirse y ser analizados anónimamente en un entorno seguro para generar valoraciones del riesgo.

Conforme al FJ 3 de la sentencia, una valoración de riesgo supone determinar si una persona es considerada o no digna de ser investigada en atención a un posible fraude.

El procedimiento de SyRI se sucede en dos fases: procesamiento y análisis. Durante la primera fase se recogen los datos y se les dota de anonimato, cambiándolos por un código —también se genera uno que permite eliminar el anonimato en momentos posteriores—. En ese momento se aplican los distintos indicadores de riesgo generando un valor de riesgo potencial (potential hit).

Si tras ese proceso se estima que el riesgo es elevado, se desencripta el código y se remite a la autoridad competente. Quien posea cualquier archivo relativo a estas informaciones debe destruirlo en el plazo de cuatro semanas desde la remisión a la autoridad indicada (FJ 4.30).

Igualmente, si una persona —física o jurídica— no ha sido considerada de riesgo, cualquier información relativa a ella debe destruirse en el plazo de cuatro semanas (FJ 4.31).

El litigio relativo a este programa se suscitó por considerar que el programa era demasiado intrusivo y con potencial para discriminar —empleaba información relativa a la residencia—, y, por ende, contrario al art. 8 CEDH. Y esto por ser la única vía en que un tribunal podía declarar su inconformidad con los derechos humanos y declararla inaplicable. La causa está en el sistema constitucional de los Países Bajos, que carece de sistema de control de constitucionalidad y que lo ha articulado a través del respeto al CEDH(70).

La sentencia emplea una concepción bastante amplia del derecho a la vida privada, llegando a subsumir en él los derechos a la no discriminación y a la protección de datos. Continúa considerando la base legal del sistema suficientemente concreta y meridiana frente a la discrecionalidad. Además, cree legítima su finalidad, por cuanto declara que la seguridad social es una de las bases del sistema holandés y una de las causas de la prosperidad del país.

No obstante, no considera que se haya logrado una medida justa entre los derechos de los particulares y la posibilidad de interferir en su vida privada en la defensa de los derechos de la comunidad, por, entre otras razones, la absoluta opacidad del sistema.

Si bien la propia sentencia reconoce que el sistema no se basaba en la arbitrariedad a la hora de buscar personas a las que investigar, no se alcanzan los mínimos de garantía para poder ser empleado. La cuestión más problemática para el tribunal sentenciador fue la absoluta opacidad del sistema, llegando a afirmar que el principio de transparencia es esencial, sin ser válida la defensa del Estado de que los ciudadanos podrían entonces adaptar sus conductas al programa. Otro gran problema señalado es que los ciudadanos no eran conscientes de que se trataban sus datos, ni que se habían tratado, salvo que se les iniciara un procedimiento de investigación.

Por otro lado, en consideración de los datos que se emplearon, consideró que podría tener efecto discriminador por cuanto los datos usados se referían a la residencia y a barrios conflictivos.

En fin, el tribunal señala que, si bien hay una lista exhaustiva de indicadores empleados por SyRI, es difícil imaginar que una información no sea empleada por el propio algoritmo(71).

1.3.5. El procedimiento administrativo electrónico y la actividad algorítmica

1.3.5.1. La (escasa) regulación del procedimiento electrónico

1.3.5.2. Ley de 1992

La primera regulación en nuestro ordenamiento jurídico-administrativo se ubicó en el art. 45 de la actualmente derogada Ley 30/1992, entre cuyas previsiones se disponía que los programas y aplicaciones electrónicos, informáticos y telemáticos que vayan a ser utilizados por las Administraciones públicas para el ejercicio de sus potestades habrán de ser previamente aprobados por el órgano competente, quien deberá difundir públicamente sus características.

El precepto recogía garantías de publicación y difusión de las características del programa o instrumento empleados. Pese a adolecer de cierta austeridad en la normativa, esta no precisaba de mucha gimnasia interpretativa para concluir que la difusión del código fuente se encontraría entre las obligaciones del órgano que emplease el programa(72).

1.3.5.3. LAE

Con la Ley 11/2007, de 22/06, de Acceso Electrónico de los Ciudadanos a los Servicios Públicos (LAE), se produjo, curiosamente, una disminución de las garantías simultánea a la pretensión de cumplimiento de la directriz constitucional de gestionar el uso de la informática sin mermar los derechos de los ciudadanos (18.4 CE).

Este texto normativo pretendió dar cauce a las exigencias, aportando, por ejemplo, una definición de actuación administrativa automatizada —en el Anexo—: La producida por un sistema de información adecuadamente programado sin necesidad de intervención de una persona física en cada caso singular. Incluye la producción de actos de trámite o resolutorios de procedimientos, así como meros actos de comunicación.

Sin embargo, supuso a la vez una reducción de las garantías respecto de la normativa precedente. En el art. 39 LAE se establece que deberán señalarse los órganos competentes para la definición de las especificaciones y supervisiones del programa y código fuente, así como indicar de quién será responsable a efectos de impugnación, pero nada se dice de la publicación. La imposibilidad de conocer el contenido del código fuente del algoritmo automático o aprendizaje profundo hace ciertamente compleja —si no bastante improbable— la posibilidad de recurrir cualquier decisión basada en ellos.

1.3.6. Regulación actual

En la línea anterior, las novedades legislativas de 2015 perpetuaron esta línea. La regulación vigente (a salvo del art. 96.4 de la Ley General Tributaria como norma especial) se contiene en el art. 41 LRJSP.

En ella, además de aportarse una definición de actuación administrativa automatizada (41.1 LRJSP) —que comprende únicamente las realizadas íntegramente sin intervención de un empleado público—, se establece la obligatoriedad de señalar previamente los órganos competentes para la definición de las especificaciones, programación, mantenimiento, supervisión y control de calidad y, en su caso, auditoría del sistema de información y de su código fuente, así como indicar el órgano competente a efectos impugnatorios.

Esta regulación ha sido ampliamente criticada, toda vez que la propia definición excluye de este régimen y, por ende, de las (escasas) garantías aquellos procedimientos en que intervenga un empleado público —aunque sea formalmente—(73).

Se ha señalado también que, vistas las exigencias del precepto, el órgano competente se verá obligado a dictar un acto administrativo, aunque ello con frecuencia no se lleve a cabo(74).

En fin, la regulación actual no parece fomentar el cese en la opacidad de la Administración en el uso de los algoritmos, como se ha señalado por la doctrina(75). Ello se puede poner de manifiesto con la Resolución 123 y 124/2016 de la autoridad catalana de transparencia, relativa a la facilitación a un interesado de un algoritmo para conocer la formación de un tribunal corrector de exámenes de la EVAU.

1.3.7. Propuestas doctrinales para el uso de algoritmos en el procedimiento electrónico

1.3.7.1. La prohibición de su uso en el ámbito de las potestades discrecionales

Un tema recurrente en el uso de los algoritmos versa sobre su extensión, si cabe su uso en todo tipo de potestades administrativas.

En general, parece haber anuencia general respecto a su uso en potestades regladas —el envío de un certificado de un padrón municipal, por ejemplo—(76). El problema en estos casos puede tener más que ver con una introducción errónea de los datos por parte de los diseñadores que con el algoritmo en sí, obediente de los parámetros en él insertos(77).

Por otro lado, la problemática aumenta cuando estamos frente a potestades discrecionales de la Administración. Se ha señalado que la discrecionalidad administrativa requiere empatía(78), de la que la máquina carece. Por ello, autores como PONCE SOLÉ defienden la prohibición del uso de algoritmos en decisiones discrecionales —en línea con la prescripción alemana contenida en el artículo 35 VwVfG—, acudiendo a una reserva de humanidad.

Dicha reserva sería garante del ejercicio humano de empatía en la diligente ponderación de hechos, derechos e intereses en que consiste la buena administración de potestades discrecionales(79). Este autor entiende que esta línea se ha abierto con la legislación autonómica catalana, en su Ley de Régimen Jurídico y de Procedimiento de las Administraciones Públicas, en su art. 44.2.

En línea opuesta de pensamiento está HUERGO LORA, quien considera que en decisiones discrecionales es perfectamente válido que la Administración emplee estos algoritmos, toda vez que, en su opinión, introducen un nuevo baremo decisorio que aleja la arbitrariedad; aunque, y debe destacarse, realiza un especial hincapié en la necesidad de motivación y publicidad de los algoritmos en que se funden estas decisiones(80).

1.3.7.2. Medidas en garantía del derecho a una buena administración

Estas medidas tienen como principio el procedimiento administrativo debido en la implementación de estos algoritmos —como recogía la ya citada Ley 30/1992—. Ese procedimiento pudo haber sido empleado para alegar fallos en el algoritmo, ya que este es ilegal si no se responde. Junto a ello, las características del procedimiento exigirían la información pública del art. 83.1 LPAC.

Por otro lado, debería regir un derecho a una explicación comprensible. El incumplimiento podría suponer la imposibilidad de exigencia del cumplimiento de lo ordenado (Ponce Solé, 2019, pág. 17)(81).

Además, el uso de programa abierto o declaración de fuentes abiertas, junto a la publicidad activa y el derecho de acceso a los algoritmos y códigos fuente, han sido defendido por la doctrina(82)(83)(84).

1.3.7.3. Rendición de cuentas

Con esto se pretende que las Administraciones respondan y argumenten por qué incorporan la inteligencia artificial, qué datos emplean y qué esperan de ellos(85).

Esta rendición de cuentas sería de utilidad a la hora de controlar las tareas llevadas a cabo, junto a imperfecciones detectadas a través de estos mismos trámites. Se ha señalado que no existe hoy en día obligación alguna en ese sentido(86), lo que, ciertamente, no fomenta que la opacidad de las Administraciones se vea reducida.

Por otro lado, como óbice a esta rendición de cuentas o incluso a la publicidad de los algoritmos, se suele defender que, si los ciudadanos conociesen el funcionamiento de estas herramientas, fácilmente podrían adaptar sus conductas a ellas —era uno de los argumentos empleados en la sentencia holandesa comentada para no facilitar el código fuente del algoritmo—.

Frente a ello parece oportuno oponer que la publicidad de las normas no es solo un valor constitucional consagrado en el art. 9.3 de la Carta Magna —y, en cierto modo, una obligación legal dimanada del art. 70.1 LPAC—, habida cuenta de que el programa se integraría en el expediente administrativo(87), sino que es inextricable de la seguridad jurídica que debe(ría) regir la vida jurídica y que se vería ciertamente obstaculizada por la selectiva ocultación de los instrumentos influyentes en la toma de decisiones por parte del Ejecutivo.

II. RESPONSABILIDAD PATRIMONIAL Y USO DE ALGORITMOS

Esta parte del trabajo está orientada a analizar cómo la naturaleza de los algoritmos puede afectar a los cánones tradicionales de la responsabilidad patrimonial de la Administración. Aquí se pretende abordar cómo la frecuente visión de una causalidad directa y cerrada se ve cercenada por una de índole probabilística, junto a una modificación de la naturaleza del daño resarcible como daño emergente por una, no ya de lucro cesante, sino de la probabilidad de haber obtenido una resolución exitosa.

2.1. Naturaleza jurídica de los algoritmos

2.1.1. ¿Fuente del Derecho?

Los algoritmos, funcionen como mero apoyo de los operadores jurídicos o sean quienes tomen materialmente las decisiones, pueden llegar a modificar el alcance de una norma. Por ejemplo, si pensamos en un modelo formalizado para realizar la autoliquidación de IRPF, podríamos encontrarnos con que, bien por el desarrollador, bien por otra causa, haya un error o carencia en este, por lo que, a efectos prácticos se ha modificado cómo se realiza la autoliquidación, aunque no de forma pretendida.

Por otro lado, en el caso de algoritmos automáticos, sean autónomos o no, cómo se ponderan los distintos criterios decisorios puede llevar a que el sentido de la norma se vea afectado. Sirva como ejemplo el uso de un algoritmo en Austria para evaluar a aquellas personas desempleadas y su posibilidad de encontrar empleo y de integrarse(88). El código fuente estaba diseñado de tal forma que restase puntos, por ejemplo, a mujeres o no nacionales de un Estado miembro de la UE. Con este ejemplo en mente, no es difícil imaginar una situación en que, pese a que la norma esté claramente orientada a la integración o a paliar diferencias sociales, una mala ponderación de los valores relevantes provoque exactamente lo opuesto so pretexto de una mejor asignación de recursos públicos(89).

En este sentido, se ha alertado en reiteradas ocasiones del riesgo que supone el empleo de códigos fuente inaccesibles. Con lo expuesto, adquiere especial relevancia la aguda alusión a la archiconocida máxima del Conde de Romanones: <<Haga usted la ley y el Reglamento y déjeme a mí la aplicación informática>>(90).

Frente a esa tendencia a la opacidad, como ya se ha podido señalar, se ha defendido la máxima publicidad del código fuente, así como se exige a las distintas fuentes del Derecho. En ese sentido, DE LA CUEVA ha sostenido la necesidad de los siguientes puntos(91):

- La existencia de una regulación clara acerca de qué órganos son competentes para la escritura del código fuente y su procedimiento.

- La permisión de alegaciones por parte de la ciudadanía tanto a la redacción en lenguaje natural como formal —el lenguaje en que trabajan los algoritmos, esencialmente código binario—. Ello, tanto para la corrección de errores como la propuesta de modificaciones sobre las características.

- Su publicación en repositorios oficiales.

- La conversión a dominio público tanto del código fuente y los algoritmos como de la ley y la jurisprudencia en aplicación del art. 13 del Texto Refundido de la Ley de Propiedad Intelectual.

2.1.2. ¿Son Reglamentos?

Recientemente se ha sostenido que los algoritmos predictivos tienen, a efectos materiales, naturaleza reglamentaria(92). Partiendo de esta función materialmente equivalente a estas normas típicamente administrativas, se realiza una subsunción en cuanto al régimen jurídico que les debe ser aplicado. Esta tesis, claramente garantista, busca imponerles todas las normas reguladoras de los Reglamentos para posibilitar el acceso al código fuente a todas las personas, así como una fase de audiencia ciudadana para poder formular sugerencias sobre el código fuente.

No obstante, para esta propuesta ha habido contraargumentaciones desde la doctrina(93)(94).

El primer autor defiende que los algoritmos predictivos ni son ni tienen por qué ser Reglamentos. Argumenta que, en tanto los Reglamentos predeterminan el proceder administrativo mediante regulaciones abstractas, estos difieren de los algoritmos porque funcionan a través de determinaciones concretas.

Por otro lado, el autor sostiene que los algoritmos carecen de eficacia reglamentaria, dado que no sirven como presupuesto de validez de actos o normas posteriormente emitidos. Por ende, ser incumplidos no llevaría en sí la invalidez de actos emanados posteriores. El autor, en este punto, argumenta que los algoritmos empleados por las Administraciones públicas tienen más semejanzas con los instrumentos de soft law.

Ello no es un impedimento a que el uso de estos algoritmos provoque efectos jurídicos, bien porque sean de uso preceptivo, bien porque se deba motivar de forma especialmente intensa una separación del criterio que aquellos empleen.

En otra línea de pensamiento, este autor sostiene que no es necesario que los algoritmos sean considerados Reglamentos por diversos motivos. En primer lugar, porque, si bien es acertado sostener que la función material determina la categorización jurídica del instrumento, no es necesario impostar entre ambas la visión de qué naturaleza tenga y su calificación formal. En segundo, porque el hecho de que diversos instrumentos administrativos posean funciones similares provoca que su régimen tenga tendencia a asemejarse. Ello, tanto porque el régimen a que se sometan depende de la concreta conceptualización como, sobre todo, de su función institucional. Por ello, concluye, no es necesario argüir ni hacer extensivo el concepto de Reglamento para subsumir aquellos en este, sino que simplemente se precisa comprobar que realizan análoga función para justificar la sumisión al régimen jurídico.

El segundo autor(95) aduce que para concluir que los algoritmos son Reglamentos no se emplea un concepto preciso de estos. Ello plantea problemas toda vez que su significado es tremendamente amplio y comprensivo de conceptos tales como programas informáticos o, directamente, procedimientos formales. Por otro lado, tampoco se realiza una diferenciación clara entre los algoritmos predictivos y los que se emplean meramente como ayuda en la toma de decisiones. Y, aun en el caso de los predictivos, la variedad existente complica encorsetarlos en un idéntico concepto —sirvan como ejemplo los automáticos autónomos y los no autónomos—.

Finalmente, arguye este autor que un posible problema de dar un concepto amplio de algoritmo podría ser similar al de acto administrativo empleado por la legislación española(96). Con ello, una pretendida tutela ampliada podría conducir a que se considere como norma reglamentaria un instrumento que carece siquiera de independencia para tomar decisiones —la calculadora antes mencionada—.

Con independencia de cuál de estas tesis se considere correcta, sí parece apropiada mencionar la defensa realizada por PONCÉ SOLÉ. En este trabajo, el autor defiende firmemente la aprobación de un procedimiento específico para los algoritmos, atendiendo a la naturaleza de estos y con plenas garantías para los ciudadanos(97).

2.2. La responsabilidad patrimonial y los algoritmos

2.2.1. La potencial problemática entre los algoritmos y la institución

En esta parte del trabajo se pretenden analizar los posibles conflictos entre la responsabilidad patrimonial de la Administración y el uso de los algoritmos para la toma de decisiones administrativas.

El problema que puede haber se produce, sobre todo, en las decisiones de naturaleza discrecional. En aquellas regladas no parece existir de forma tan intensa, toda vez que, si la ley —o el oportuno Reglamento— ha clarificado meridianamente cuáles son los criterios y las consecuencias, el funcionamiento de la responsabilidad patrimonial no se ve especialmente afectado. Ejemplo de ello es la expedición de un certificado de empadronamiento por medios automáticos. Si el administrado reúne todos los documentos exigidos y los presenta, y el algoritmo no los identifica por la razón que fuere, claro queda que su falta de expedición y los perjuicios que se puedan irrogar de ese mal funcionamiento serían causa directa del daño y, por tanto, indemnizables.

La cuestión es otra en las potestades discrecionales. En estas, la Administración goza —o suele hacerlo— de un margen de decisión amplio que la habilita a tomar decisiones en función de lo que considere oportuno, siempre que sean decisiones razonadas y razonables. Pues bien, como ya se ha comentado, aquí nos topamos con la probable realidad de que si, sea formal o materialmente, los algoritmos toman la decisión, no sabremos a qué responde esta.

Parece asumible que el acto administrativo finalmente emitido, en tanto esté correctamente atribuido a un órgano administrativo concreto, no plantea problemas de imputación de su autoría, se emita aquel formalmente por el algoritmo —pudiendo recurrir a la teoría del órgano para imputarlo— o materialmente —siendo arrogada la autoría al concreto funcionario—. Aun en el supuesto de que formalmente la tomase el funcionario, no debe descartarse que, de la misma forma que los jueces sufren ansiedad judicial, los funcionarios la sufran administrativa. Y si a ello le añadimos la frecuente confianza depositada en las máquinas, no resulta en absoluto despreciable la posibilidad de que las decisiones sean tomadas por estas. A mayor abundamiento, ello nos devuelve al punto de partida, toda vez que, si la decisión la toma formalmente un funcionario, puede recurrirse el acto administrativo y ser absolutamente imposible explicar por qué se ha tomado, lo que haría del principio de seguridad jurídica apenas un recuerdo.

Por todo lo expuesto, y según las corrientes doctrinales existentes, da la impresión de que la que mejor se acomoda al funcionamiento de los algoritmos —en lo que respecta a responsabilidad por daños— es la teoría de la pérdida de la oportunidad. A esta se acude en casos de afectación real y seria de una oportunidad de obtener un beneficio o evitar un menoscabo, en los casos en que no sea imputable a la víctima la ausencia de información sobre el nexo causal. Entonces es empleada en los casos en que el damnificado, tras recurrir a todos los medios a su alcance, únicamente consigue probar que las posibilidades de obtener dicho beneficio eran serias y reales(98).

En las líneas siguientes se plantearán los criterios tradicionales del daño y se expondrá por qué parece plausible que estos se vean afectados por los algoritmos.

2.2.2. La lesión resarcible: naturaleza y alcance

2.2.2.1. Visión tradicional y pérdida de la oportunidad

Con independencia de qué definición concreta se emplee de lesión, sea como perjuicio (físico o moral) o se recurran a definiciones como todo menoscabo que a consecuencia de un acaecimiento o evento determinado sufre una persona ya en sus bienes vitales o naturales, ya en su propiedad o en su patrimonio (KARL LARENZ) es punto común que esta debe ser antijurídica. Por ello, como es sabido, se entiende que el perjudicado no debe tener el deber de soportarla.

La inexistencia del deber de soportar la lesión es relevante a los efectos de cómo se entiendan producidos; con lo que se quiere significar que no se aplican los mismos moldes conceptuales si se entienden los algoritmos como Reglamentos —como ya se ha explicado con anterioridad— o como instrumentos de apoyo de toma de decisiones carentes de concreto régimen legal. Tampoco se aplicará el mismo procedimiento si el algoritmo funciona perfectamente y tiene unos parámetros concretos totalmente aceptables que si emplea unos ilegales o directamente conflictivos con las normas constitucionales. En cualquier caso, vayamos por partes.

1) Naturaleza del daño causado por los algoritmos

El concepto tradicional de lesión resarcible, tradicionalmente encuadrado en el daño emergente o el lucro cesante, puede encontrarse aquí con un obstáculo difícilmente superable. Esto se produce porque muchas veces no nos encontraremos, en el sentido ya expuesto, frente a una colisión directa con la esfera jurídica del administrado, sino con una expectativa de obtener un beneficio finalmente perdido.

Como ya se ha comentado, el tipo de daño que pueden causar los algoritmos variará en función del tipo de potestad frente a la que estemos. Si es una reglada o casi totalmente reglada, el tipo de daño no supondrá, en principio, un gran reto a la hora de encajarlo en los esquemas tradicionales. El juzgador únicamente deberá comprobar los supuestos de hecho recogidos en la normativa para, luego, poder dirimir si, en efecto, hubo o no una lesión que deba ser resarcida.

Cuando hablamos de potestades discrecionales, nos encontramos ante una clara problemática, toda vez que debemos retrotraernos para poder aventurar cuáles son, en efecto, las posibilidades de que la Administración hubiera emitido un acto en uno u otro sentido. Si al realizar esta regresión concluimos que la posibilidad es inferior al 15 %, estaríamos frente a una posibilidad genérica sin visos de ser resarcida; si esta fuera superior al 80 %, tampoco sería una posibilidad en el sentido expuesto, sino que nos acercaríamos a los presupuestos habituales de la responsabilidad. No obstante, si echada la vista atrás consideramos que esta posibilidad está ubicada en entre el 15 % y el 80 %, sí estaríamos en condiciones de entrar a valorar la hipótesis que aquí se comenta(99).

En el primer supuesto no habría realmente situación indemnizable, por cuanto no estaríamos siquiera ante una posibilidad existente, sino ante una remota, lo que limita la indemnizabilidad. Por otro lado, en el tercer caso, y es donde se encuentra la clave de la cuestión, estaríamos frente a oportunidades perdidas. Pongamos un ejemplo:

En la Administración penitenciaria catalana se emplea desde hace unos años un programa llamado Riscanvi, cuya función es determinar las posibles conductas violentas futuras en los presos. Suponiendo que un preso se decidiese a solicitar la suspensión de la ejecución de la pena (art. 90 y ss. del Código Penal), podríamos suponer que al mencionado preso se le aplicase este programa. En función de qué variables use —y dada la alta cantidad de conceptos jurídicos indeterminados que contiene la regulación de esta figura—, podría llegarse a la conclusión de que el preso no debe recibir dicho beneficio; y, no obstante, esta podría estar guiada por criterios discriminatorios a los que el juez podría no tener acceso por la naturaleza opaca del mismo programa.

Con ello, tan optimistas como para suponer que finalmente se desentrañasen los procesos del algoritmo y dicho criterio discriminatorio se descartase, podríamos concluir que no sabemos si el preso hubiese obtenido la condicional, no ya porque no la merezca, sino porque, en atención al nuevo estado de cosas, pudo haberla recibido y, no obstante, lo ignoramos.

Son estos casos los que potencialmente pueden generalizarse a raíz del uso masivo de algoritmos automáticos y autónomos por parte de la Administración. De la misma forma que ahora se ha ejemplificado mediante una situación sucedida en un Tribunal de Vigilancia Penitenciaria, análogo caso podría tener lugar en una Administración a la hora de conceder un contrato público o adjudicar subvenciones —como en el caso de Austria mencionado con anterioridad—.

Por ello, recapitulando, los casos que parece que podamos encontrarnos frecuentemente son aquellos en que, sin tener certeza de cuál hubiera sido la definitiva decisión administrativa, sí sabremos que el damnificado tuvo una oportunidad seria, cercenada por criterios desconocidos.

2) Naturaleza reglamentaria de los algoritmos

Ya se ha expuesto anteriormente la tesis defensora de la naturaleza reglamentaria de los algoritmos. Allende la posibilidad de recursos directo e indirecto que la normativa administrativa recoge, no es novedoso que estos pueden generar daños dignos de ser resarcidos.

Partiendo de la base de que el algoritmo sea absolutamente conforme a Derecho, sí podríamos encontrarnos con que alterase situaciones legítimas imbuidas por el principio de confianza legítima. No es esta una situación anómala en nuestro ordenamiento, toda vez que, por ejemplo, el art. 48 TRLSRU reconoce indemnizaciones en supuestos concretos.

En otro sentido, y asumiendo que el algoritmo reglamentario adoleciese de vicios que supusiesen su nulidad de pleno Derecho, nos encontraríamos con los requisitos que la misma legislación exige; es decir, ya que la anulación de disposiciones no supone per se el derecho a indemnización (32.1.II LRJSP), deberán darse los requisitos exigidos por la legislación y la jurisprudencia(100). A ello solo debe alegarse lo ya expuesto, esto es, que la naturaleza algorítmica dificulta en potestades discrecionales una lesión encuadrable en la modalidad tradicional —sin mencionar las dificultades de prueba—.

Considerados, pues, los Reglamentos, también les resultaría de aplicación el régimen previsto para las disposiciones administrativas(101). Esto significa que su anulación no lleva aneja el nacimiento de un derecho de crédito. A ello debe añadirse la doctrina jurisprudencial que anuda este derecho a la existencia de situaciones jurídicas que no hayan devenido firmes o que no fueran impugnadas en tiempo y forma(102).

3) Naturaleza no reglamentaria de los algoritmos

Aun entendiendo los algoritmos como una figura jurídica distinta de los Reglamentos, debe ser planteada la cuestión de cómo puede nacer el deber de indemnizar por un uso incorrecto o —real y directamente— legal de estos.

En realidad, no puede diferirse en exceso de lo arriba expuesto. La antijuridicidad del daño sería palmaria en caso de que este se guíe por un criterio discriminatorio o por una cuestión contraria a las leyes o la Constitución misma. El aspecto que aquí también sería, quizá, interesante es que no solo nos encontraríamos ante una eventual pérdida de oportunidad nacida del uso del algoritmo, sino también ante unos potenciales daños morales por el empleo de estos programas de forma discriminatoria —entiéndase el criterio del sexo, por ejemplo—.

4) En conclusión

La problemática que se plantea aquí no es tanto la antijuridicidad del daño, que buenamente se encuadra en los moldes conceptuales tradicionales, sino el modo en que esta toma forma. Ello quiere decir que por el uso de instrumentos ajenos a la fiscalización humana nos podemos encontrar con daños totalmente inexplicables e infiscalizables; algo que, en última instancia, podría llevar a que la máxima The King can do no wrong transmute en The King can do wrong, but He does not know how.

Y no solo esto, sino que, partiendo de la base de que de alguna manera se consiguiese probar el daño, nos podríamos encontrar resoluciones o sentencias que precisen de varios años para poder materializarse, dejando a los administrados y justiciables en situación de manifiesta indefensión; situaciones que probablemente aclaren con rapidez por qué otros ordenamientos como el alemán han interdicho su uso en potestades discrecionales.

2.2.2. La relación de causalidad

Históricamente se ha defendido que en sede de responsabilidad el nexo de causalidad tenía que ser claro y definido, aplicándose la teoría de la indivisibilidad de la causa. Con ello se ha entendido tradicionalmente que, para el nacimiento de un derecho de crédito resarcitorio, debe existir ese nexo causal de carácter físico, natural o real(103). Esto es lo que tradicionalmente se ha entendido bajo la expresión de que los daños deben ser consecuencia directa e inmediata del funcionamiento de los servicios (STS, de 30 de septiembre de 2003).

Siguiendo con lo hasta ahora expuesto, y sabiendo que la teoría de la oportunidad perdida es un buen remedio para las situaciones en que se carece de suficiente información para concluir la causación o no de un daño por un concreto hecho, parece oportuno mantenernos en ella para analizar las consecuencias del uso de los algoritmos.

El uso de algoritmos puede conducir a que no sepamos cuál hubiera sido la ulterior decisión y, por ende, si efectivamente se ha producido una pérdida patrimonial o personal. Ello nos llevaría, siguiendo una estrictísima concepción de la causalidad como un todo o nada, a exonerar a la Administración —o a un particular— ante la imposibilidad de poder demostrar que efectivamente hubo una expectativa seria y real. No obstante, difícilmente se compadece eso en una sociedad en que cada vez más se acepta que la realidad no es todo lo que podemos describir a la perfección y tomar ello por ende como real y cierto.

Por esta razón se ha defendido la inclusión en las teorías de la causalidad de una denominada causalidad probabilística(104). Con ella se pretende no solo demostrar el nexo de causalidad de forma absoluta, sino la efectiva probabilidad de que este exista o de que el agente efectivamente haya tomado parte en el curso causal; y ello parece adaptarse mejor a la naturaleza de cualquier decisión discrecional tomada por algoritmos.

Esta visión llevaría al juzgador no tanto a evaluar si efectivamente ha existido el daño como a abordar de forma distinta la teoría de la causa y de la prueba, pudiendo atender a situaciones de forma diferente.

No obstante, esta aplicación parece ahora mismo difícilmente aplicable dado el tenor literal de la legislación, toda vez que una lesión que sea consecuencia no se corresponde con una que pueda ser consecuencia. En cualquier caso y pese a este punto, la teoría de la pérdida de oportunidad ha dado pie a numerosas sentencias aceptándola y recurriendo a ella en situaciones en que existía incertidumbre causal y un daño patente.

2.2.3. Imputación del daño

La imputación jurídica del daño no parece plantear mayores problemas, ya que la responsabilidad patrimonial de la Administración se ha regulado como una de naturaleza objetiva. Esto conduce a que el requisito necesario para el nacimiento del derecho al resarcimiento no sea obrar negligente, sino la existencia de un perjuicio antijurídico. En lo referido a la antijuridicidad del daño, se realiza aquí una referencia a lo expuesto con anterioridad.

En cualquier caso, sí resulta interesante profundizar en la posibilidad —en realidad más que esta— de que el algoritmo tenga una procedencia privada y sea empleado por la Administración. A estos efectos responde el art. 32.9 LRSJP. No obstante, y volviendo sobre un punto ya explotado en estas páginas, la cuestión se encuentra en que los eventuales defectos del programa son difícilmente controlables. Y, por otro lado, en este punto resulta —o, al menos, lo parece— de difícil encaje recurrir a la cláusula de exoneración contenida en el art. 34.1 del mismo cuerpo legal. Los riesgos que implican estos programas no son, en absoluto, misterio alguno a estas alturas. No obstante, el hecho de que un algoritmo perfectamente diseñado pueda adquirir sesgos de forma incontrolada o yerre sin que medie razón aparente, sin que existan normas claras de reparto en la responsabilidad, podría conducir a que cualquier diseñador se replantee la colaboración con la Administración en este campo. Ello podría hacer, en un futuro, depender esta responsabilidad de las exclusivas cláusulas del contrato público, lo que provocaría a su vez gran litigiosidad.

2.3. Particularidades del procedimiento administrativo de reclamación de responsabilidad patrimonial

2.3.1. La prueba en el procedimiento administrativo

Lo que aquí se va a exponer no es extraño o sorprendente. Habida cuenta de que los art. 77 LPAC y 60 LJCA remiten a la Ley de Enjuiciamiento Civil en cuestiones probatorias, nos encontramos con el principio probatio incumbit qui afirmat, non qui negat. Ello supone que, salvo en los casos en que la discriminación algorítmica respondiese al sexo, el administrado y justiciable habría de probar que el algoritmo no funciona como debe, una prueba en infinidad de ocasiones vedada a los mismos diseñadores del programa.

Aquí quizá fuera procedente proponer de lege ferenda una inversión de la carga de la prueba, toda vez que, a priori, parece más sencillo que la Administración motive por qué ha tomado la decisión en concreto.

En este sentido, es interesante explorar una presunción del daño similar a la expresada en el art. 3 de la Ley de Responsabilidad Medioambiental. Este precepto presume un daño causado por actividades apropiadas para causarlo. No es ya ningún secreto que los algoritmos están más que capacitados para producir estos daños. Por ello, esa presunción quizá colaborase a la hora de liberar de la carga de la prueba a los administrados.

No obstante, tomando en consideración que estos programas rehúyen una sencilla explicación de su funcionamiento y toma de decisiones, resulta, incluso para la Administración, difícil explicar por qué se ha tomado una decisión u otra. Y, al final, sustituir una traba probatoria casi imposible de vencer por parte del administrado para imponérsela a la Administración no resulta del todo satisfactorio, por mucho que quizá fuese una gran razón para motivar a las Administraciones públicas a controlar de forma eficiente estos programas.

Podemos encontrar otra alternativa en el control de los distintos actos administrativos emitidos por las diferentes Administraciones para comprobar, según una cantidad considerable de ellos, que no existen sesgos que den lugar a situaciones discriminatorias. Esto, claro, encuentra fácilmente dos obstáculos de solución complicada: encontrar Administraciones dispuestas a permitir este control sobre sus resoluciones y administrados interesados en facilitarlas —sobre todo, porque si los datos están anonimizados, resulta más complicado saber cuáles han podido ser los valores eventualmente discriminatorios—.

2.3.2. Motivación del acto administrativo basado en algoritmos

Aquí se quiere destacar de nuevo un aspecto de vital importancia: los actos administrativos no escapan de la exigencia de motivación y, en tanto no podamos explicar su funcionamiento, no deberíamos emplearlos(105).

Tampoco debe dejar de tenerse en cuenta que, si bien la falta de motivación de los actos administrativos —o la imposibilidad de motivarlos— puede ser causa de nulidad de pleno Derecho (art. 47 LPAC), esta sigue sin llevar aneja el nacimiento del derecho de crédito resarcitorio (32.1.II LRJSP).

Ello podría conducir a una anulación recurrente de actos administrativos potencialmente lesivos. Y, no obstante, el procedimiento por responsabilidad patrimonial podría ser prácticamente infructuoso por las cuestiones arriba expuestas sobre la carga de la prueba.

2.3.3. Propuestas

El apartado final de este trabajo recoge aportaciones doctrinales cuyo objetivo es dar soporte para una eventual futura regulación de los algoritmos, en orden a conjugar justicia y eficiencia, la eterna pugna existente en la mayoría de las regulaciones.

2.3.4. Derecho a la exhibición del algoritmo

Tras todo lo expuesto, parece claro que la necesidad de poder acceder a los algoritmos empleados por la Administración es palmaria y acuciante(106)(107).

Poder conocer el código fuente, si bien sigue sin ser garantía de que podamos conocer el proceso interno de los programas, sería un primer paso —tanto en los autónomos, automáticos o cualquier tipo— para intentar entenderlos y que los administrados no se encuentren en situación de absoluta indefensión frente a ellos.

2.3.5. La reserva de humanidad

Ya se ha comentado que en la doctrina española(108) se ha defendido la reserva de humanidad como garantía de la toma de decisiones ajustadas a Derecho. Parece esta una medida intermedia entre la inexistencia de controles para los algoritmos autónomos y la absoluta prohibición de su uso a los poderes públicos, como sucede en Francia —según los casos, como se explicó con anterioridad— o Alemania(109).

2.3.6. Interdicción de su uso en potestades discrecionales

Finalmente, y en consonancia con la postura que se adopta en este trabajo, la proscripción del uso de estos algoritmos hasta poder comprenderlos y saber realmente cómo funcionan parece la visión más garantista para los ciudadanos, aunque no sea la más eficiente. Y esto teniendo en cuenta que el riesgo que suponen los algoritmos a corto plazo no compensa los beneficios que en este podrían causar. Esta afirmación no supone que se piense que no deben usarse para nada o expulsarse del ordenamiento jurídico. Todo lo contrario: lo que aquí se intenta defender es que estos algoritmos tienen que estar controlados y poder ser controlables antes de poder tener una incidencia tan grande como la que potencialmente pueden atesorar en las esferas jurídicas de los ciudadanos.

Como ya se ha dicho, si constitucionalmente los poderes públicos tienen el deber de remover los obstáculos que dificulten el libre desarrollo de la personalidad e impiden la igualdad real (9.3 CE), no parece del todo razonable que sean ellos quienes los impongan a través de instrumentos que perpetúen roles y prejuicios sociales.

III. CONCLUSIONES

Para concluir el estudio, estas son algunas líneas recapitulativas:

Los algoritmos, ya con mucha historia a sus espaldas, suponen tanto un riesgo difícilmente medible como un beneficio cuyo cálculo resulta igualmente complicado. Muchas voces avisan de esta realidad y de la urgencia de abordar el fenómeno para poder conjugar unas garantías adecuadas en su uso con la óptima explotación de esta tecnología.

En sede administrativa y, en general, la regulación existente a escala nacional e internacional resulta ciertamente escasa y no acaba de dar respuesta a todas las aristas derivadas de su uso. Por ello, la doctrina público-administrativa lleva tiempo defendiendo la necesidad de regular este fenómeno, bien aplicando categorías tradicionales —como los Reglamentos—, bien buscándoles una nueva.

Como ya se ha dicho, con independencia de cómo se consideren los algoritmos, hay un punto común y aceptado: deben tener un régimen claro y garantista. De no existir, podríamos encontrarnos con que los moldes tradicionales no sean del todo capaces de responder como lo hicieron antes, y, de este modo, encontrarnos daños causados por el uso de estas tecnologías sin saber bien cómo o por qué, y, lo que resultaría mucho peor, sin saber cómo evitarlos.

IV. BIBLIOGRAFÍA

Anónimo. (10 de Marzo de 2017). Wisconsin Supreme Court requires warning before use of algorithmic risk assessments in sentencing. Harvard Law Review, 1530-1537.

Arroyo Jiménez, L. (13 de Julio de 2021). Algoritmos y Reglamentos. Obtenido de Almacén de Derecho.

Boix Palop, A. (2007). De McDonald's a Google: la ley ante la tercera revolución productiva. Teoría y Derecho: revista de pensamiento jurídico(1), 1-22.

Boix Palop, A. (2020). Los algoritmos son Reglamentos: la necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la Administración para la adopción de decisiones. Revista de Derecho Público: teoría y método, 223-270.

Cerrillo i Martínez, A. (9 de Mayo de 2019). El impacto de la inteligencia artificial en el derecho administrativo ¿nuevos conceptos para nuevas realidades técnicas? La Administración al día, 1-29.

Cerrilo i Martínez, A. C. (2019). Com obrir les caixes negres de les administraciones públiques? Transparència i rendició de comptes en l'ús del algoritmes. Revista Catalana de Dret Públic, 13-28.

Claramunt, J. C. (2019). La democracia algorítmica: inteligencia artificial, democracia y participación política. Revista General de Derecho Administrativo, 1-32.

Comisión Europea. Comunicación de la Comisión al Parlamento Europeo, al Consejo Europeo, al Consejo, al Comité Económico y Social Europeo y al Comité de las Regiones. (2018). IA para Europa. Bruselas.

Cotino Hueso, L. (2017). Big Data e inteligencia artificial. Una aproximación a su tratamiento jurídico desde los derechos fundamentales. Dilemata(24), 131-150.

Cotino Hueso, L. (2019). Riesgos e impactos del Big Data, la inteligencia artificial y la robótica. Enfoques, modelos y principios de la respuesta del Derecho. Revista General de Derecho Administrativo, 1-31.

Cotino Hueso, L. (2020). SyRI, ¿a quién sanciono? Garantías frente al uso de la inteligencia artificial y decisiones automatizadas en el sector público y la sentencia holandesa de febrero de 2020. La Ley Privacidad, Wolters Kluwer(4), 1-10.

De la Cueva, J. (2018). Código fuente, algoritmos y fuentes del Derecho. El notario del siglo XXI, 36-39.

Díaz González, G. M. (2020). Algoritmos y actuación policial: la policía predictiva . En A. Huergo Lora, La regulación de los algoritmos (págs. 181-234). Pamplona: Aranzandi .

Díez-Picazo, L. (1983). Experiencias jurídicas y teoría del Derecho . España: Ariel.

Doménech Pascual, G. (2003). Responsabilidad patrimonial de la Administración derivada de la anulación de un Reglamento. Revista aragonesa de Administración Pública(22), 577-596.

Doménech Pascual, G. (2010). Responsabilidad patrimonial de la Administración por actos jurídicos ilegales: ¿Responsabilidad objetiva o por culpa? Revista de Administración Pública, 179-231.

Doménech Pascual, G. (2018). La menguante responsabilidad patrimonial del Estado por leyes contrarias a Derecho . Corts: Anuario de Derecho parlamentario , 411-430.

Gamero Casado, E. (4 de Febrero de 2021). Necesidad de motivación e invalidez de los actos administrativos sustentados en inteligencia artificial o algoritmos. Obtenido de Almacén de Derecho.

Garay, L. M. (20 de Julio de 2018). Peligrosidad, algoritmos y due process: el caso State v. Loomis. Revista de Derecho penal y criminología, 485-502.

García de Enterría, E. (2006). Los principios de la nueva Ley de Expropiación Forzosa . Navarra: Thomson Civitas .

García de Enterría, E., & Ramón Fernández, T. (2020). Curso de Derecho administrativo (Vol. II). Navarra, España: Civitas.

Huergo Lora, A. (2020). La regulación de los algoritmos. Pamplona, España: Aranzadi.

James Grimmelmann , & Daniel Westreich. (2017). Incomprehensible discrimination. Cornell Law Faculty Discrimination(3).

Kant, I. (1795). Sobre la paz perpetua .

Malgieri, G. (2019). Automated Decision-Making in the EU Member States: The right to explanation and ohter 'suitable safeguards' for Algorithmic Decisions in the EU national legislations . Computer Law & Security Review, 1-40.

Martín Delgado, I. (Septiembre-diciembre de 2009). Naturaleza, concepto y régimen jurídico de la actuación administrativa automatizada. Revista de Administración Pública(180), 353-386.

Martínez, R. (2017). Cuestiones de ética jurídica al abordar proyectos de Big Data. El contexto general del Reglamento de protección de datos. Dileamata(24), 151-164.

Medina Alcoz, L. (2005). La responsabilidad patrimonial por acto administrativo . Navarra: Aranzadi.

Medina Alcoz, L. (2007). La doctrina de la pérdida de oportunidad . Navarra: Thomson Civitas.

Merchán Murillo, A. (2019). Inteligencia artificial y blockchain: retos jurídicos en paralelo. Revista General de Derecho administrativo(50).

Mir Puigpelat, O. (2012). La responsabilidad patrimonial de la Administración: hacia un nuevo sistema. Madrid: Edisofer S.L.

Moses, L. B., & Chan, J. (2018). Algorithmic prediction in policing: assumptions, evaluation, and accountability. Policing and society: an international journal of research and policy, 806-822.

Muñoz Paredes, M. L. (2020). 'Big Data' y contrato de seguro: los datos generados por los asegurados y su utilización por los aseguradores. En A. H. Lora, La regulación de los algoritmos (págs. 129-160). Pamplona: Aranzadi.

O’Neil, C. (2017). Weapons of math destruction . London: Penguin .

Penadés, V. L. (1980). La propiedad privada en el sistema del Derecho civil contemporáneo: (un estudio evolutivo desde el Código Civil hasta la Constitución de 1978). Madrid : Civitas.

Petit, N. (9 de Marzo de 2017). Law and regulation of Artificial Intelligence and Robots. Conceptual framework and Normative implications.

Ponce Solé, J. (2019). Inteligencia artificial, Derecho administrativo y reserva de humanidad: algoritmos y procedimiento administrativo debido. La Administración al día.

Reglero Campos, F. (2002). El nexo causal. Las causas de exoneración de responsabilidad: culpa de la víctima y fuerza mayor. La concurrencia de culpas . En F. R. (coordinador), Tratado de responsabilidad civil (págs. 285-394). Pamplona: Aranzadi.

Reglero Campos, L. F. (2002). Los sistemas de responsabilidad civil . En L. F. Reglero Campos, Tratado de responsabilidad civil (págs. 163-200). Navarra: Aranzadi.

Roig, A. (2020). Las garantías frente a las decisiones automatizadas: del Reglamento General de Protección de Datos a la gobernanza algorítmica. Barcelona : Bosch Constitucional.

Siegel, T. (2017). Automatisiergung des Verwaltungsverfahrens- zugleich eine Anmerkung zu §§ 35a, 24 I 3, 41 IIa VwVfG. Wolters Kluwer Deutschland , 24-26.

Soriano Arnanz, A. (2021). Decisiones automatizadas y discriminación: aproximación y propuestas generales. Revista General de Derecho Administrativo(56).

Toledo, W. A. (2019). El Derecho a la transparencia algorítmica en Big Data e Inteligencia Artificial. Revista General de Derecho Administrativo, 50.

Torres, J. V. (2019). Las garantías jurídicas de la inteligencia artificial en la actividad administrativa desde la perspectiva de la buena administración. Revista Catalana de Dret Públic(58), 82-96.

Vicente Domingo, E. (2002). El daño. En L. F. Reglero Campos, Tratado de responsabilidad civil (págs. 201-283). Navarra: Aranzadi.

Williams, Betsy Anne; Brooks, Catherine F.; Shmargad, Yotam. (2018). How algorithms discriminate based on the Data the lack: challenges, solution and policy implications . Penn State University Press, 78-115.

NOTAS:

(1). Boix Palop, A. (2007). De McDonald’s a Google: la ley ante la tercera revolución productiva, Teoría y Derecho: revista de pensamiento jurídico, 1-22.

(2). Claramunt, J.C. (2019). La democracia algorítmica: inteligencia artificial, democracia y participación política Revista General de Derecho Administrativo, p. 8.

(3). Huergo Lora, A. (2020). La regulación de los algortimos. Pamplona, España: Aranzandi, p. 27.

(4). O’Neil, C. (2017). Weapons of math destruction. London: Penguin.

(5). Huergo Lora, op. cit., p. 27.

(6). O’Neil. C., op cit.

(7). Ponce Solé, J. (2019). Inteligencia artificial, Derecho administrativo y reserva de humanidad: algoritmos y procedimiento administrativo debido. La Administración al día, p. 3.

(8). Huergo Lora, op. cit., p. 27.

(9). Cotino Hueso, L. (2019). Riesgos e impactos del Big Data, la inteligencia artificial y la robótica. Enfoques, modelos y principios de la respuesta del Derecho. Revista General de Derecho administrativo, p. 2.

(10). Claramunt, J (2019), op. cit., p.5 y ss.

(11). Boix Palop, A. (2020). Los algoritmos son Reglamentos: la necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la Administración para la adopción de decisiones. Revista de Derecho público: teoría y método;

(12). Soriano Arnanz, A. (2021). Decisiones automatizadas y discriminación: aproximación y propuestas generales. Revista General de Derecho administrativo, p.5.

(13). Cotino Hueso, L. (2017). Big Data e inteligencia artificial. Una aproximación a su tratamiento jurídico desde los derechos fundamentales. Dilemata, p. 1.

(14). Boix Palop (2007), op. cit., p. 134 y ss.

(15). Martínez, R. (2017). Cuestiones de ética jurídica al abordar proyectos de Big Data. El contexto general del Reglamento de protección de datos. Dilemata, p. 155 y ss.

(16). Boix Palop (2007), op. cit., p. 128 y 129.

(17). Cotino Hueso, L. (2017), op. cit., p. 133.

(18). Huergo Lora (2020), op. cit., p. 39-42.

(19). Cotino Hueso, L. (2017), op. cit., p. 138-139.

(20). Huergo Lora (2020), op. cit. P. 43-45.

(21). Moses, L. B. & Chan, J. (2018). Algorithmic prediction in policing: assumptions, evaluation and accountability. Policing and society : an international journal of research and policy, p. 809-815.

(22). Ponce Solé (2019), op. cit., p. 9-10.

(23). Grimmelmann, J. & Westreich, D. (2017). Incomprehensible discrimination. Cornell Law faculty discrimination.

(24). Moses & Chan (2018), op. cit.

(25). En la sentencia State v. Loomis —que se desarrollará más adelante—, el programa COMPAS —cuya función era medir la probabilidad de reincidencia de una persona— tomó como criterio relevante el género del acusado —varón—. El condenado la recurrió por una discriminación por género, pero el Tribunal Superior de Wisconsin dio esta estimación por válida por considerar que, de no tenerse este en cuenta —y valorando que los varones tienen más tendencia a cometer delitos— el programa sería menos preciso. La justicia de esta conclusión se discute por la doctrina, si bien es el criterio establecido por el tribunal.

(26). Williams, B.; Brooks, C.; Shmargad, Y. (2018). How algorithms discriminate based on the Data they lack : challenges, solution and policy implications. Penn State University Press, p. 811.

(27). Cotino Hueso, L. (2019), op. cit., p. 10.

(28). La reforma fue declarada inconstitucional por el Tribunal Constitucional en una sentencia de 22 de mayo de 2019. Resulta curioso que fuera promovido el recurso por el Defensor del Pueblo y no por ningún otro partido. Y aún lo es más que, si bien la situación parlamentaria ya era ciertamente tensa en 2018, esa reforma se aprobó por mayoría absoluta de la Cámara.

(29). Claramunt, J. (2019), op. cit., p. 11-14.

(30). Esta intención la ilustra bastante bien la Comunicación de la Comisión Europea de 19 de febrero de 2020 sobre la inteligencia artificial. En ella se defiende la necesidad de generar confianza en esta tecnología habida cuenta del impacto que puede llegar a tener, y buscar beneficios tanto para los ciudadanos como para las empresas y el interés público.

(31). Cerrillo i Martínez, A. C. (2019). Com obrir les caixes negres de les Administracions públiques ? Transparència i rendició de comptes en l’ús dels algoritmes. Revista Catalana de Dret Públic, p.17-18.

(32). Soriano Arnanz (2021), op. cit., p. 5-6.

(33). Cerrillo i Martínez, A. C. (2019), op. cit., p.18-20.

(34). Ponce Solé (2019), op. cit., p. 16-17.

(35). Boix Palop (2020), op. cit., p. 250-254.

(36). Cotino Hueso (2019), op. cit., p. 7-8.

(37). Soriano Arnanz (2021), op. cit., p. 5.

(38). Ibididem, p. 19.

(39). Ibidem.

(40). Williams, Betsy Anne (2018), op. cit., p.91.

(41). Ibidem.

(42). Boix Palop (2020), op. cit, p. 250-254.

(43). Williams, Betsy Anne (2018), op. cit., p.99.

(44). Huergo Lora, A. (2020), op. cit, p. 84-85.

(45). Martínez, R. (2017), op. cit, p. 156.

(46). Garay, L. M. (2018). Peligrosidad, algoritmos y due process: el caso State v. Loomis. Revista de Derecho penal y Criminología, p.486.

(47). Cotino Hueso, L. (2019), op. cit., p.8.

(48). Moses & Chan (2018), op. cit., p. 809-815.

(49). Ponce Solé (2019), op. cit., p.15.

(50). Boix Palop (2020), op. cit., p. 227.

(51). Huergo Lora, A. (2020), op. cit., p. 84.

(52). Roig, A. (2020). Las garantías frente a las decisiones automatizadas: del Reglamento General de Protección de Datos a la gobernanza algorítmica. Barcelona: Bosch Constitucional, p. 34.

(53). Ibidem.

(54). Ibidem, p. 35.

(55). Como luego se comentará, lo que por ambas expresiones se entiende ha sido objeto de muy diversa interpretación en los ordenamientos nacionales. Valga por ejemplo el francés, que ha aplicado las salvaguardias a cualquier decisión que produzca un efecto relevante (Malgieri, 2019).

(56). Malgieri, G. (2019). Automated decision-Making in the EU Member States: The right to explanation and other suitable safeguards’ for algorithmic decisiones in the EU national legislations. Computer Law & Security Review.

(57). Roig, A. (2020), op. cit., p. 37.

(58). La cita proviene de la traducción oficial al inglés de la BDSG, disponible en el siguiente enlace (consultado por última vez a 10/10/2021).

(59). Malgieri, G. (2019), op.cit., p.9.

(60). Malgieri, G. (2019), op.cit., p.12.

(61). Ein Verwaltungsakt kann vollständing durch automatische Einrichtungen erlassen werden, sofern dies durch Rechtsvorschrift zugelassen ist und weder ein Ermessen noch ein Beurteilungsspielraum besteht.

(62). Siegel, T. (2017). Automatisierung des Verwaltungsverfahrens- zugleich eine Anmerkung zu §§ 35a, 24 I 3, 41 IIa VwVfG. Wolters Kluwer Deutschland , p. 25.

(63). Cabe dejar apuntado que el autor reflexiona sobre qué fuente podría habilitar o no el empleo de estos actos administrativos automatizados: leyes formales o materiales. Este parece concluir que serían preferibles los habilitados a través de una ley formal, ya que de otra forma sería más complicado encontrar los procedimientos y sus permisiones.

(64). Siegel, T. (2017), op.cit., p.26.

(65). Malgieri, G. (2019), op.cit., p.21.

(66). Garay, L. M. (20 de Julio de 2018). Peligrosidad, algoritmos y due process: el caso State v. Loomis. Revista de derecho penal y criminología, p.495.

(67). Anónimo. (10 de Marzo de 2017). Wisconsin Supreme Court requires warning before use of algorithmic risk assessments in sentencing. Harvard Law Review, p. 1530-1534.

(68). Anónimo. (10 de Marzo de 2017), op.cit., 1537.

(69). Díez-Picazo, L. (1983). Experiencias jurídicas y teoría del derecho. España: Ariel. P. 20-21.

(70). Cotino Hueso, L. (2020). SyRI, ¿a quién sanciono? Garantías frente al uso de la inteligencia artificial y decisiones automatizadas en el sector público y la sentencia holandesa de febrero de 2020. La Ley de Privacidad, Wolters Kluwer(4), p.5.

(71). Even if the exhaustive list of data categories is accepted as a given, it is hard to imagine any type of personal data that is not eligible for processing in SyRI.

(72). Boix Palop, A. (2020), op. cit., p.240.

(73). Torres, J. V. (2019). Las garantías jurídicas de la inteligencia artificial en la actividad administrativa desde la perspectiva de la buena administración. Revista Catalana de Dret Públic(58), p.87.

(74). Cerrillo i Martínez, A. C. (2019), op.cit., p.4.

(75). Boix Palop, A. (2020), op. cit., p.244.

(76). Ponce Solé, J. (2019), op. cit., p.13.

(77). Huergo Lora, A. (2020), op, cit., p.28-29.

(78). Ponce Solé, J. (2019), op. cit., p.14.

(79). Ponce Solé, J. (2019), op. cit., p.15.

(80). Huergo Lora, A. (2020), op, cit., p.78-87.

(81). Ponce Solé, J. (2019), op. cit., p.17.

(82). Ponce Solé, J. (2019), op. cit., p.17.

(83). Boix Palop, A. (2020).

(84). Huergo Lora, A. (2020)

(85). Cerrillo i Martínez, A. C. (2019), op.cit., p.11.

(86). Cerrillo i Martínez, A. C. (2019), op.cit., p.22.

(87). Huergo Lora, A. (2020), op.cit., p.85.

(88). ENLACE (consultado por última vez a 10/10/2021).

(89). Soriano Arnanz, A. (2021). Decisiones automatizadas y discriminación: aproximación y propuestas generales. Revista general de Derecho Administrativo, 50, p.53.

(90). De la Cueva, J. (2018). Código fuente, algoritmos y fuentes del derecho. El notario del siglo XXI, p.38.

(91). De la Cueva, J. (2018), op. cit., p.38.

(92). Boix Palop, A. (2020).

(93). Arroyo Jiménez, L. (13 de Julio de 2021). Algoritmos y Reglamentos. Obtenido de Almacén de Derecho.

(94). Huergo Lora, A. (2020), op.cit., p.64-67.

(95). Huergo Lora, A. (2020).

(96). Huergo Lora, A. (2020), op.cit., p.66.

(97). Ponce Solé, J. (2019).

(98). Medina Alcoz, L. (2007). La doctrina de la pérdida de oportunidad. Navarra: Thomson Civitatis, págs. 56 y 99.

(99). Medina Alcoz, L. (2007), op.cit., p. 449-452.

(100). Doménech Pascual, G. (2003). Responsabilidad patrimonial de la administración derivada de la anulación de un Reglamento. Revista aragonesa de Administración Pública(22), p. 577-596.

(101). Doménech Pascual, G. (2003).

(102). Doménech Pascual, G. (2010). Responsabilidad patrimonial de la Administración por actos jurídicos ilegales: ¿Responsabilidad objetiva o por culpa? Revista de Administración Pública, 179-231.

(103). Medina Alcoz, L. (2007), op.cit., p. 243-247.

(104). Medina Alcoz, L. (2007), op.cit., p. 413 y ss.

(105). Gamero Casado, E. (4 de Febrero de 2021). Necesidad de motivación e invalidez de los actos administrativos sustentados en inteligencia artificial o algoritmos. Obtenido de Almacén de Derecho.

(106). Boix Palop, A. (2020), op. cit.

(107). De la Cueva, J. (2018), op cit.

(108). Ponce Solé, J. (2019).

(109). Malgieri, G. (2019).

Comentarios - 1 Escribir comentario