La automatización y el uso de algoritmos e inteligencia artificial en derecho administrativo comparado

En este trabajo se presentan una serie de tendencias comunes y divergencias en la regulación de la automatización y el uso de algoritmos e inteligencia artificial por parte de las Administraciones públicas de siete países europeos distintos (Alemania, Austria, España, Estonia, Francia, Italia y Suecia).

Oriol Mir Puigpelat es Catedrático de Derecho Administrativo en la Universidad Pompeu Fabra (UPF)

El artículo se publicó en el número 63 de la Revista General de Derecho Administrativo (Iustel, mayo 2023)

AUTOMATION AND THE USE OF ALGORITHMS AND ARTIFICIAL INTELLIGENCE IN COMPARATIVE ADMINISTRATIVE LAW

ABSTRACT: This paper presents the monographic issue of the Journal by identifying, as an introduction to the various national reports that comprise it, a series of common trends and divergences in the regulation of automation and the use of algorithms and artificial intelligence by public administrations in seven different European countries (Austria, Estonia, France, Germany, Italy, Spain and Sweden).

I. INTRODUCCIÓN (*)

El presente número monográfico pretende contribuir a paliar una llamativa carencia del intenso debate actual sobre el uso de algoritmos e inteligencia artificial por parte de las Administraciones públicas. Pese a que no pase apenas un día sin que se organice alguna jornada, curso o congreso o surja una nueva publicación sobre la materia, son muy pocos los trabajos que estudien con un mínimo de profundidad cómo se está abordando el problema en otros países. Como sabemos bien en el Derecho administrativo español, donde contamos con una larga y fecunda tradición de apertura a otros ordenamientos, el Derecho comparado constituye una fuente clave de aprendizaje y reflexión, que enriquece los debates internos y permite importar –debidamente adaptadas, sin trasplantes descontextualizados– soluciones legislativas, jurisprudenciales y doctrinales. La materia que nos ocupa no es una excepción, aunque la irrupción tecnológica que la ha propiciado sea reciente, sus desarrollos evolucionen de forma vertiginosa y las respuestas que está recibiendo por parte de los distintos Derechos administrativos nacionales sean aún, en buena medida, provisionales.

Los trabajos que integran este número monográfico contienen informes nacionales de siete países europeos relevantes y representativos de distintas tradiciones jurídicas. Alemania, Francia e Italia, los tres países que mayor influencia han ejercido sobre el Derecho constitucional y administrativo español en los últimos dos siglos; Austria, cuya codificación del procedimiento administrativo de 1925 supuso un hito que aún deja sentir sus efectos vertebradores sobre el Derecho público europeo; Suecia, el principal exponente de la tradición escandinava, caracterizada por su pragmatismo, por la confianza que deposita en la Administración y por la centralidad que concede a la transparencia como mecanismo de control y legitimación de esta; y Estonia, una referencia internacional en materia de Administración electrónica. Se incluye también un informe sobre España, que se recomienda leer en primer lugar a los lectores españoles que conozcan poco la materia.

Seis de los siete informes han sido elaborados por administrativistas de referencia del país respectivo (Jens-Peter Schneider, Diana-Urania Galetta, Franz Merli, Jane Reichel, Ivo Pilving y Eduardo Gamero), mientras que el relativo a Francia ha sido acometido por Francisco José Rodríguez Pontón, quien conoce perfectamente el ordenamiento vecino tras muchos años estudiándolo. Pretenden ofrecer una visión sintética, pero completa y precisa, de la regulación y la jurisprudencia más relevante sobre el tema, junto con una indicación de los principales debates y trabajos académicos existentes. Menos el de Francia, todos los informes fueron presentados y debatidos en un Congreso organizado en la Universidad de Friburgo el pasado mes de septiembre, en el marco de un proyecto europeo integrado por distintas universidades y del que forma parte la UPF(1). La versión española aquí publicada se ve enriquecida con numerosas notas del traductor, que pensamos que pueden ser de gran utilidad para el lector, al ofrecer aclaraciones importantes para entender adecuadamente las afirmaciones que se formulan sobre ordenamientos foráneos.

La traducción, por cierto, ha evidenciado las limitaciones que aún presentan las herramientas de traducción automática, pese al extraordinario avance que han experimentado en los últimos años: la traducción propuesta como por arte de magia, en fracciones de segundo, por DeepL(2), ha requerido un intenso trabajo de doble revisión humana, pese a ser posiblemente el sistema más avanzado que existe y ser entrenado en gran medida con las ejemplares traducciones oficiales de los textos normativos de la Unión Europea. Su perfección aparente obliga a extremar el riesgo de incurrir en el conocido sesgo de automatización y de validar de forma irreflexiva sus sugerencias de traducción. Si ello sucede con una traducción, cuyos resultados son perfectamente verificables por un humano que conozca bien los dos idiomas implicados, es fácil colegir el alcance de dicho riesgo cuando el sistema automatizado efectúa propuestas sobre cuestiones que el humano difícilmente puede comprobar, como ocurre a menudo cuando tales sistemas son empleados por parte de las Administraciones públicas para la toma de sus decisiones.

La lectura de los informes nacionales resulta de sumo interés y permite constatar tendencias comunes y divergencias destacadas en la aproximación al problema. Sin ánimo de exhaustividad, y a modo de introducción, pueden indicarse las siguientes.

II. TENDENCIAS COMUNES Y DIVERGENCIAS

1. El tratamiento conjunto de los algoritmos tradicionales condicionales y de los más recientes de aprendizaje automático

Pese a que son los nuevos sistemas algorítmicos de aprendizaje automático (machine learning) basados en datos masivos (big data) los que plantean mayores riesgos (y oportunidades), los distintos ordenamientos tienden a abordar de forma conjunta dichos supuestos y aquellos en que la Administración emplea algoritmos tradicionales de tipo condicional (if-then, también conocidos como sistemas expertos), esto es, sistemas que se limitan a aplicar las reglas con las que han estado programados, en lugar de generar sus propias reglas a partir de las correlaciones que establecen entre los datos analizados, como sucede en los primeros.

Estos dos grandes tipos de sistemas algorítmicos son englobados bajo el paraguas común de la actuación administrativa automatizada, a su vez centrada en la toma automatizada de decisiones o automated decision-making (ADM, en su acrónimo inglés) y, en particular, en la toma de decisiones vinculantes sobre casos concretos, esto es, el acto administrativo por excelencia, que decide y pone fin al procedimiento administrativo. Se contrapone, así, en general, la toma humana de decisiones tradicional con la que tiene lugar empleando medios automatizados.

Solo recientemente empiezan a surgir regulaciones específicas del uso de algoritmos de aprendizaje automático, aquellos que más frecuentemente se asocian a la (huidiza) noción de “inteligencia artificial”. Es el caso de la ley del Estado federado de Schleswig-Holstein de 2022 que se resume en el informe alemán o del reciente Decreto-ley 2/2023, de 8 de marzo, de medidas urgentes de impulso a la inteligencia artificial en Extremadura. La actual tramitación de la Propuesta de Reglamento de la Unión sobre inteligencia artificial, llamado a establecer el marco general de desarrollo y uso de algoritmos avanzados tanto en el sector público como privado (aunque no contemple las especificidades propias de la actuación administrativa), explica también seguramente la cautela de muchos legisladores nacionales, que esperarán a que se apruebe para adaptar en lo que proceda sus respectivos ordenamientos(3).

2. La centralidad e insuficiencia del artículo 22 del Reglamento General de Protección de Datos

El artículo 22 del Reglamento General de Protección de Datos (RGPD)(4) ocupa una posición central en los distintos ordenamientos en esta materia, pero no resulta suficiente. Como es sabido, dicho precepto, aplicable tanto al sector público como al privado, contiene una prohibición general de adopción de decisiones totalmente automatizadas que produzcan efectos jurídicos sobre las personas físicas o que les afecten significativamente de un modo similar, prohibición que solo puede ser exceptuada (en lo que aquí interesa) cuando la automatización se encuentre autorizada por el Derecho de la Unión o del Estado miembro respectivo y se establezcan “medidas adecuadas para salvaguardar los derechos y libertades y los intereses legítimos del interesado” (art. 22.2.b) RGPD). El Considerando 71 del RGPD, que no tiene carácter vinculante, incluye entre tales medidas “la información específica al interesado y el derecho a obtener intervención humana, a expresar su punto de vista, a recibir una explicación de la decisión tomada después de tal evaluación y a impugnar la decisión”, medidas que tienen un claro paralelismo con garantías básicas del procedimiento administrativo como son el derecho de audiencia, el deber de investigación minuciosa del asunto y el deber de motivación que forman parte del derecho fundamental a una buena administración del artículo 41 de la Carta de los Derechos Fundamentales de la Unión Europea (CDFUE).

Pues bien, la exigencia de autorización expresa contenida en dicho precepto obliga a los Estados miembros a contemplar normas que habiliten a sus Administraciones a adoptar actos administrativos completamente automatizados. Como se puede ver en los distintos informes nacionales, tales normas son examinadas –en ocasiones críticamente– a la luz del referido precepto y de las medidas de garantía que se ha visto que requiere. Por otro lado, el artículo 22 RGPD solo resulta aplicable a las personas físicas y al tratamiento de sus datos personales, y no ya a las personas jurídicas, sujetas también a la actuación administrativa y a decisiones automatizadas. Además de que solo tiene en cuenta la perspectiva de la protección de datos y no otros intereses relevantes a considerar en la toma de decisiones administrativas.

3. La habilitación para la automatización contenida en las leyes nacionales de procedimiento administrativo

La mayoría de países examinados habilitan a la Administración para la adopción de decisiones automatizadas no solo en sectores específicos (como, señaladamente, el ámbito tributario y de la Seguridad Social, donde hace ya años que se automatizan en mayor o menor grado los procedimientos masivos que los caracterizan), sino en la propia ley general de procedimiento administrativo o de régimen jurídico de la Administración. Es el caso de España (desde 2007), Francia (2016), Alemania (2017), Suecia (2017) y Estonia (si acaba aprobándose el proyecto de ley de modificación de la Ley de procedimiento administrativo que se tramita en el parlamento nacional desde el pasado mes de junio). La ley italiana de procedimiento administrativo de 1990 no se refiere expresamente a la cuestión y solo la ley de procedimiento administrativo austríaca mantiene deliberadamente en su artículo 18.3 la exigencia de que todo acto administrativo sea aprobado finalmente por un humano (estando la actuación administrativa automatizada autorizada solo por legislación sectorial específica y siendo admisible según el Tribunal Constitucional).

La regulación contenida en la legislación general de procedimiento y régimen jurídico de la Administración no siempre la habilita directamente para la automatización. En Alemania se requiere de una habilitación normativa específica adicional, que puede contenerse en una ley o en un reglamento. En el proyecto de ley estonio dicha habilitación adicional, de rango legal, solo es necesaria cuando la actuación automatizada de que se trate pueda afectar desfavorablemente a los derechos y libertades de una persona. En España, el sistema automatizado debe ser establecido expresamente antes de su puesta en funcionamiento, pero ello puede y suele hacerse mediante un simple acto administrativo.

4. El problema de la automatización de potestades discrecionales

De particular relevancia resulta la cuestión acerca de si la automatización puede o no comprender el ejercicio de potestades administrativas discrecionales o en que se deban aplicar conceptos jurídicos indeterminados. El punto de referencia lo constituye el artículo 35a de la ley federal alemana de procedimiento administrativo –y sus homólogas a nivel de los Länder–, que veta la automatización cuando la Administración disponga de discrecionalidad o de margen de apreciación en la interpretación de conceptos jurídicos indeterminados. Como se explica en el informe respectivo, esta disposición ha sido objeto de críticas por parte de la doctrina alemana, que considera que con ella el legislador peca por exceso (al existir potestades discrecionales con poco impacto en los derechos individuales que cabría automatizar) y por defecto (en la medida en que la jurisprudencia alemana –a diferencia de la española– reconoce escaso margen de apreciación a la Administración en la interpretación de conceptos jurídicos indeterminados, lo que conduciría a una ampliación excesiva de sus posibilidades de automatización). La discusión existe también en los países que no contemplan expresamente esta prohibición, como es el caso de Francia o España.

De especial interés resulta a este respecto la solución incluida en el proyecto de ley estonio, en cuya virtud (solo) podrá automatizarse el ejercicio de potestades discrecionales o que incluyan conceptos jurídicos indeterminados cuando la autoridad competente elabore previamente una directriz interna que concrete cómo se ejercerá dicha potestad en los casos ordinarios. Tales directrices deberán ser objeto de publicación, ser recogidas fielmente por el algoritmo que emplee el sistema automatizado (algoritmo que deberá ser por ello de tipo condicional, y no de aprendizaje automático), y no regirán en los casos distintos de los ordinarios (en los que la decisión deberá ser adoptada necesariamente por un humano).

Los informes nacionales revelan, en general, cómo la discrecionalidad administrativa se asocia a la necesidad de que la Administración tome en consideración las características específicas de cada caso.

5. La necesidad de observar las normas generales de procedimiento administrativo y de sus garantías básicas

Las normas nacionales examinadas que regulan la actuación administrativa automatizada presuponen la observancia de las normas generales de procedimiento administrativo y de las garantías que representan para los interesados. En particular, deben cumplirse las exigencias antes apuntadas de audiencia (y posibilidad de acceso al expediente), investigación minuciosa y motivación que recogen el artículo 41 CDFUE y las distintas codificaciones nacionales de procedimiento administrativo, así como el derecho a recurso administrativo y/o judicial contemplado en el artículo 47 CDFUE y en la legislación interna. Tales garantías solo pueden ser omitidas en los casos en que no son necesarias en la toma humana tradicional de decisiones (p. ej., en España, cuando cabe prescindir del trámite de audiencia o de la motivación con arreglo a los artículos 35 y 82 de la Ley 39/2015, de 1 de octubre, del Procedimiento Administrativo Común de las Administraciones Públicas).

Esta aplicación de las normas generales de procedimiento y de sus garantías básicas limita y condiciona la implementación de sistemas automatizados de toma de decisiones administrativas. Restringe considerablemente el empleo de algoritmos de aprendizaje automático que resulten opacos (black-box) e impidan ofrecer una motivación adecuada a los interesados y los tribunales, como se subraya en distintos informes. En el alemán y el francés se plantea también el debate de si aceptar o no, como motivación de las decisiones administrativas, los argumentos de tipo correlacional y no ya causal propios de los sistemas de aprendizaje automático.

En general, a nivel nacional se parte de la premisa de que es la tecnología la que debe adaptarse a los requisitos jurídicos existentes, y no al revés, como han afirmado p. ej. el Consejo de Estado italiano o el Tribunal Supremo austríaco.

6. La previsión de algunas garantías específicas para la toma automatizada de decisiones

Pese a su carácter fragmentario y acotado, las normas nacionales sobre actuación administrativa automatizada contemplan algunas garantías específicas relativas a dicha automatización. Destacan las obligaciones de información a los interesados y al público en general de la legislación francesa; la obligación que esta impone de que todo recurso administrativo sea tramitado por un humano; el deber de investigación minuciosa de los casos individuales de la legislación alemana; el derecho contemplado en la ley del Land de Schleswig-Holstein a solicitar que la decisión sea revisada y reprocesada por un ser humano; la aplicación expresa o incuestionada de las normas generales de transparencia (y de sus límites) al acceso a los algoritmos y al código fuente en Suecia y Francia; o las exigencias de atribución de la actuación automatizada a un concreto órgano administrativo (predicables también del resto de ordenamientos, como requisito básico de control y rendición de cuentas) y de programación, mantenimiento, supervisión humana, control de calidad y auditoría propias de la legislación española.

7. La falta de regulación de la actuación semiautomatizada

Como podrá observarse, en muchos de los informes se alerta sobre los riesgos que suscita la actuación semiautomatizada, que no suele estar contemplada de forma expresa por la legislación y escapa de sus requerimientos. Aunque resulten aplicables las garantías generales de la actuación administrativa convencional o “manual”, no se contemplan mecanismos específicos para neutralizar el sesgo empíricamente comprobado de automatización, que lleva a los empleados públicos a confiar en exceso en los sistemas automatizados de ayuda a la toma de decisiones que usan cada vez con mayor frecuencia e intensidad, ni para evitar los defectos ocultos y discriminaciones potenciales de los algoritmos con que trabajan.

8. La falta de exigencia de evaluaciones de impacto de los algoritmos empleados por la Administración

Los ordenamientos jurídicos examinados tampoco contienen normas específicas sobre la adquisición, elaboración, entrenamiento y comprobación de los algoritmos empleados por la Administración (que no reciben, acertadamente, la calificación de normas reglamentarias), ni contemplan expresamente la obligación de efectuar evaluaciones de impacto previas o posteriores a su implementación como las requeridas en Canadá y propuestas recientemente por las Normas Modelo del European Law Institute(5).

9. Escasa litigación

Una última tendencia común que quiere aquí señalarse y que emerge de los informes nacionales es la destacada falta de litigación que se ha producido, hasta la fecha, en Europa, pese a que los sistemas automatizados, en ciertos sectores de la actuación administrativa, llevan años utilizándose de forma masiva. Ello contrasta con los numerosos supuestos de mal funcionamiento que han llegado a los tribunales en los Estados Unidos(6).

Existen ya, sin embargo, pronunciamientos muy interesantes en muchos de los países considerados, tanto de tribunales constitucionales como del orden contencioso-administrativo y de otro tipo de autoridades (como los Defensores del Pueblo suecos y estonio), de los que se da buena cuenta en los informes incluidos en el presente número monográfico y que –junto con algunas resoluciones importantes del Tribunal de Justicia(7)– están contribuyendo a alumbrar una serie de principios comunes en esta importante materia.

Disfruten de la lectura.

NOTAS:

(*). Esta presentación y los demás trabajos incluidos en esta sección monográfica se enmarcan en los Proyectos AEI-PID2019-108274GB-I00 / AEI / 10.13039/501100011033 y PCI2020-112207 / AEI / 10.13039/501100011033). Las páginas web que se citan en esta presentación han sido consultadas por última vez el 19 de mayo de 2023.

(1). Proyecto INDIGO, coordinado por Herwig Hofmann (ENLACE) y relacionado con la red académica ReNEUAL (ENLACE) que en su momento elaboró el Código ReNEUAL de procedimiento administrativo de la Unión Europea (INAP, Madrid, 2015, disponible en la referida web junto con el original inglés –Model Rules on EU Administrative Procedure, publicado en 2017 por Oxford University Press– y la referencia de las demás traducciones existentes –al alemán, italiano, francés, polaco, rumano y japonés–).

(2). ENLACE.

(3). Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la unión, COM/2021/206 final, de 21 de abril de 2021. Se estima que se aprobará a finales de 2023 o principios de 2024. Ha sido una de las iniciativas legislativas que más enmiendas ha recibido en la historia del Parlamento Europeo (“EU lawmakers agree tough measures over use of AI”, Financial Times, 11 de mayo de 2023, ENLACE).

(4). Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/CE (Reglamento general de protección de datos).

(5). Al respecto O. Mir Puigpelat, “Algoritmos, inteligencia artificial y procedimiento administrativo: principios comunes en el Derecho de la Unión Europea”, en E. Gamero Casado (dir.), Inteligencia artificial en el sector público. Retos, límites y medios, Tirant lo Blanch, Valencia, 2023 (en prensa), epígrafe 4.3.

(6). Véanse los numerosos casos documentados por D. K. Citron, “Technological Due Process”, en Washington Law Review, nº 85, 2008, pág. 1249 (págs. 1256 y ss., 1267 y ss.); y R. Calo; D. K. Citron, “The Automated Administrative State: A Crisis of Legitimacy”, en Emory Law Journal, nº 70, 2021, pág. 797 (págs. 799 y ss., 818 y ss.), relacionados principalmente con agencias estatales.

(7). Dictamen 1/15 (Acuerdo PNR UE-Canadá), de 26 de julio de 2017, ECLI:EU:C:2017:592; STJ de 6 de octubre de 2020, La Quadrature du Net, C-511/18, C-512/18 y C-520/18, ECLI:EU:C:2020:791; STJ de 21 de junio de 2022, Ligue des droits humains, C‑817/19, ECLI:EU:C:2022:491. Al respecto O. Mir Puigpelat, “Algoritmos, inteligencia artificial y procedimiento administrativo: principios comunes en el Derecho de la Unión Europea”, op. cit., epígrafes 3.2 y 4.2.

Comentarios