Sistemas automatizados de toma de decisiones en el Derecho Administrativo Español

La legislación española sobre actuación administrativa automatizada es una de las más avanzadas del mundo. Fue promulgada en 2007 y se ha mantenido sin cambios en la Ley de Procedimiento Administrativo de 2015. En la actualidad, más de un tercio del sector público español utiliza estos sistemas. Subsisten algunos problemas de cumplimiento del Derecho administrativo general, como el derecho de subsanación de las solicitudes, el derecho a presentar alegaciones frente a una propuesta antes de que se dicte una resolución denegatoria, la motivación de las resoluciones automatizadas o la transparencia de la programación […]

Eduardo Gamero Casado es Catedrático de Derecho Administrativo en la Universidad Pablo de Olavide

El artículo se publicó en el número 63 de la Revista General de Derecho Administrativo (Iustel, mayo 2023)

RESUMEN: La legislación española sobre actuación administrativa automatizada es una de las más avanzadas del mundo. Fue promulgada en 2007 y se ha mantenido sin cambios en la Ley de Procedimiento Administrativo de 2015. En la actualidad, más de un tercio del sector público español utiliza estos sistemas. Subsisten algunos problemas de cumplimiento del Derecho administrativo general, como el derecho de subsanación de las solicitudes, el derecho a presentar alegaciones frente a una propuesta antes de que se dicte una resolución denegatoria, la motivación de las resoluciones automatizadas o la transparencia de la programación. Pero a pesar de que cada día se adoptan miles de decisiones automatizadas, los litigios en este ámbito han sido hasta ahora meramente anecdóticos. En este trabajo se describen los requisitos establecidos por la legislación española para la implementación de los sistemas automatizados de toma de decisiones utilizados por la Administración Pública: su necesidad de aprobación previa de forma expresa, la auditoría del sistema, la firma electrónica de las decisiones, etc.; y los aspectos críticos que aún subsisten en la materia.

ABSTRACT:

AUTOMATED DECISION-MAKING SYSTEMS IN SPANISH ADMINISTRATIVE LAW

Spain's legislation on automated administrative action is among the most advanced in the world. Enacted in 2007, it has remained the same in the current Administrative Procedure Act of 2015. Currently, more than one third of the Spanish public sector uses these systems. Some problems of compliance with general administrative law remain, such as the right to correct applications, the right to present arguments in the face of a draft before a rejection decision is issued, or the motivation of automated decisions or the transparency of programming. But despite the fact that thousands of automated decisions are taken every day, judicial litigation in this area has so far been merely anecdotal. This paper describes the requirements established by Spanish law for the implementation of automated decision-making systems used by Public Administration: their express prior approval, the auditing of the system, the electronic signature of the decisions, etc.; and the critical aspects that still remain.

I. EL MARCO JURÍDICO NACIONAL

1. Los artículos 41 y 42 de la Ley 40/2015, de 1 octubre, de Régimen Jurídico del Sector Público

La legislación española sobre procedimiento administrativo fue profundamente modificada en 2015. Hasta entonces dicha materia era objeto de dos leyes principales:

- Una ley relativa al procedimiento administrativo y al régimen jurídico del sector público, cuando se actuaba por medios tradicionales (papel): Ley 30/1992, de 26 de noviembre, de Régimen Jurídico de las Administraciones Públicas y del Procedimiento Administrativo Común.

- Una ley relativa a estas materias, cuando se actuaba por medios electrónicos: Ley 11/2007, de 22 de junio, de acceso electrónico de los ciudadanos a los Servicios Públicos.

En 2015, estas leyes fueron sustituidas por dos nuevas, con un esquema normativo diferente:

- Ley 39/2015, de 1 de octubre, del Procedimiento Administrativo Común de las Administraciones Públicas (LPAC).

- Ley 40/2015, de 1 de octubre, de Régimen Jurídico del Sector Público (LRJSP).

Estas leyes prevén que el medio normal de actuación de la Administración sea el electrónico. Y aunque suponen un cambio en el esquema normativo, introducen pocas novedades en la materia que nos interesa.

Las principales normas que establecen un régimen jurídico específico de la actuación administrativa automatizada y de la Inteligencia Artificial (IA) son los arts. 41 y 42 LRJSP (antiguos arts. 39 y 18 de la Ley 11/2007, respectivamente). No regulan la IA, sino la denominada “actuación administrativa automatizada”(1). Es bien sabido que no toda actuación administrativa automatizada es IA. Pero cualquier sistema de IA utiliza procesos automatizados al menos en alguna fase. Estas son, por tanto, las principales disposiciones que regulan el uso de la IA por el sector público en España.

Empecemos por el art. 41 LRJSP. Dispone lo siguiente(2):

“Artículo 41. Actuación administrativa automatizada.

1. Se entiende por actuación administrativa automatizada, cualquier acto o actuación realizada íntegramente a través de medios electrónicos por una Administración Pública en el marco de un procedimiento administrativo y en la que no haya intervenido de forma directa un empleado público.

2. En caso de actuación administrativa automatizada deberá establecerse previamente el órgano u órganos competentes, según los casos, para la definición de las especificaciones, programación, mantenimiento, supervisión y control de calidad y, en su caso, auditoría del sistema de información y de su código fuente. Asimismo, se indicará el órgano que debe ser considerado responsable a efectos de impugnación”.

Las principales cuestiones que plantea esta disposición son las desarrolladas a continuación.

1.1. El concepto de “actuación administrativa automatizada”

El concepto de “actuación administrativa automatizada” previsto en el art. 41.1 LRJSP es bastante acertado. Conviene destacar algunos aspectos.

El concepto está tomado del Anexo de la Ley 11/2007, que contenía definiciones, entre las que estaba esta. La única diferencia es que la Ley de 2007 se refería a personas naturales, mientras que la Ley 40/2015 se refiere a empleados públicos. En general, aunque pueda parecer vaga, esta definición se considera bastante apropiada(3). En particular, el legislador es consciente de que es imposible adoptar una actuación administrativa absolutamente desprovista de intervención humana, al menos en el diseño y gestión del sistema de información. Por lo tanto, basta con que dicha intervención humana sea indirecta.

En segundo lugar, el concepto también está delimitado por el contexto en el que se aplica el sistema automatizado de actuación administrativa: ha de tratarse necesariamente de actuación realizada “en el marco de un procedimiento administrativo”. Por lo tanto, este régimen jurídico no se aplica a los sistemas automatizados, o sistemas de IA, utilizados para la mejora de la prestación material de los servicios públicos. Solo se refiere a la actividad administrativa formalizada.

Es importante destacar que esta definición no solo se refiere a las decisiones automatizadas (actos administrativos) en sentido estricto, sino también a los algoritmos, sistemas de IA o actuaciones automatizadas que apoyan la toma de decisiones, es decir, que se utilizan en el marco del procedimiento administrativo como un input a tener en consideración para la decisión final en el proceso decisorio. Esta aclaración es muy importante, porque amplía considerablemente su ámbito de aplicación, impidiendo que la Administración limite la aplicación de esta disposición y la exigencia de sus requisitos legales solo a los casos en que la decisión final se adopte de forma automatizada.

1.2. La determinación previa de los requisitos legales por parte de la Administración. ¿Los algoritmos son reglamentos? El debate respecto de la falta de transparencia

El sistema automatizado de actuación administrativa debe ser establecido expresamente, lo que constituye un requisito sumamente importante, ya que impide la implementación de sistemas de facto.

Este requisito ha suscitado un debate en la doctrina sobre la naturaleza jurídica de los algoritmos: ¿son los algoritmos reglamentos? Los principales protagonistas de este debate han sido Boix Palop, que considera que sí lo son, mientras que Huergo Lora defiende que no(4). La cuestión no es puramente teórica, al contrario, lo que importa son las consecuencias prácticas: si un algoritmo es un reglamento, debe implementarse a través del procedimiento de elaboración de reglamentos, que abre el proceso de definición de algoritmos a la participación pública, y además exige la publicación oficial de la norma antes de su entrada en vigor. En resumen, si los algoritmos son reglamentos, el problema de la transparencia estaría resuelto.

En la actualidad, y sin negar que el planteamiento de Boix Palop es muy sugerente, parece que la posición mayoritaria es considerar que los algoritmos son... algoritmos(5). Es decir, no son, en sí mismos, actos administrativos o reglamentos. La naturaleza jurídica concreta será predicable de la actuación administrativa en la que se inserta, pero no del algoritmo en sí.

Un algoritmo es una herramienta, un mero medio de actuación. Un algoritmo aisladamente considerado no puede ser un reglamento porque no puede innovar el sistema jurídico, sino que tiene que limitarse a encajar en él. Así, si un algoritmo utilizado como soporte a la toma de decisiones crea nuevos criterios o reglas aplicables para adoptar la decisión, y no se somete al procedimiento normativo correspondiente con plenitud de garantías, excede su función y el ámbito en el que puede actuar, por lo que sería inválido.

De este modo, el sistema automatizado de actuación administrativa puede ser establecido mediante un acto administrativo o mediante un reglamento, incluso a través de una norma con rango de ley. Por ejemplo, el artículo 13.2 del Real Decreto 203/2021, de 30 de marzo, por el que se aprueba el Reglamento de actuación y funcionamiento del sector público por medios electrónicos, establece que “En el ámbito estatal la determinación de una actuación administrativa como automatizada se autorizará por resolución del titular del órgano administrativo competente”, es decir, mediante un acto administrativo(6). Pero también se han implementado actuaciones administrativas automatizadas a través de normas con rango de ley: por ejemplo, el Real Decreto-ley 2/2021, de 26 de enero, de refuerzo y consolidación de medidas sociales en defensa del empleo, ha regulado la iniciación de procedimientos administrativos en el ámbito de la Seguridad Social mediante actas de infracción automatizadas(7).

Esta situación implica una total opacidad respecto del algoritmo o la programación del sistema de IA, ya que no tiene por qué hacerse público de ninguna manera. Esto es contrario a lo que sostienen los expertos, tanto en Derecho comparado como en Derecho español: insisten en la necesidad de transparencia en esta materia, para que se pueda comprobar que el sistema no incurre en sesgo (discriminación) o en cualquier otra infracción del ordenamiento jurídico(8). En el apartado final de este artículo se analizará un procedimiento judicial en curso en España sobre esta cuestión.

1.3. El órgano competente para implementar los sistemas de IA y atribuirle su actividad

El art. 41.2 LRJSP establece que el órgano administrativo responsable del sistema, y al que se imputa la actuación a efectos de recurso, debe determinarse con carácter previo a su puesta en funcionamiento. Se trata de un requisito de la máxima relevancia.

En concreto, el ya mencionado art. 13.2 del Real Decreto 203/2021, de 30 de marzo –aplicable solo a la Administración estatal–, dispone que la resolución por la que se establezcan los ámbitos de actuación administrativa automatizada “expresará los recursos que procedan contra la actuación, el órgano administrativo o judicial, en su caso, ante el que hubieran de presentarse y plazo para interponerlos”. Se trata de una garantía conocida en el Derecho administrativo español como “pie de recurso”, que exige que la notificación de los actos administrativos incluya esta información.

Cabe señalar que estas disposiciones descartan la posibilidad de que la actuación administrativa automatizada pueda considerarse auténticamente “autónoma”, ya que siempre estará atribuida a un órgano administrativo concreto.

Además, la actuación administrativa automatizada se asimila así a la actuación administrativa formalizada de dictar actos administrativos, imponiendo las mismas garantías en ambos casos.

1.4. La supervisión del sistema. La falta de supervisión jurídica

La disposición en cuestión también establece la obligación de supervisar el sistema. Este deber no se impone de forma explícita sino implícita, como se desprende del texto del artículo si se toma en consideración la finalidad de la norma(9). Esta apela a la exigencia de supervisión humana, ampliamente demandada tanto en el Derecho español como en el Derecho comparado(10).

En mi opinión, el problema no es solo que deba haber una supervisión humana. Además de esta, esa supervisión debe ser multidisciplinar, debe estar formada por especialistas de diferentes campos. En particular, debe incluir la supervisión jurídica. Este es un punto en el que he insistido especialmente: es necesario que, en el equipo que lleve a cabo la supervisión, haya expertos jurídicos que garanticen el cumplimiento de la legislación(11).

En la mayoría de los casos, el sector público carece de recursos para llevar a cabo desarrollos de IA por sus propios medios y tiene que recurrir a la contratación de estas soluciones en el mercado. Sin embargo, un examen de las licitaciones públicas para sistemas de IA en España muestra que no prevén la inclusión de expertos jurídicos en los equipos de trabajo. Hay ingenieros, matemáticos, informáticos... incluso expertos en comunicación (para campañas publicitarias para dar a conocer la implantación del sistema), pero los juristas brillan por su ausencia.

1.5. El control de calidad y la auditoría del sistema de información y de su código fuente. Especial referencia al régimen de protección de datos personales

El artículo 41.2 LRJSP también establece que el sistema de información y su código fuente sean objeto de un control de calidad y, en su caso, de una auditoría. Pero se ha señalado que los criterios para desplegar estos controles, y especialmente la auditoría, aún no están claros(12).

Hay un ámbito concreto en el que se han desarrollado algunos métodos: la protección de datos personales. Por lo que respecta a la legislación española, hay que citar los documentos elaborados por la Agencia Española de Protección de Datos: en particular, las directrices “Adecuación al RGPD de tratamientos que incorporan Inteligencia Artificial. Una introducción” (2020), y “Requisitos para auditorías de tratamientos que incluyan inteligencia artificial” (2021)(13).

Con un enfoque más amplio (que suele incluir la protección de datos pero abarcar también otros extremos(viene hablándose también de la necesidad de un análisis de impacto (impact assessment) previo a la implantación de soluciones de IA en el sector público. Es el caso de los trabajos de Moss y otros (2020)(14), y de Kazim y otros (2021)(15).

También deben destacarse las reglas-modelo elaboradas por un prestigioso panel de juristas en el Instituto de Derecho Europeo (ELI): un documento excelente, y diseñado de manera específica para el sector público, que puede aplicarse en cualquier Ordenamiento jurídico. Se trata del informe Model Rules on Impact Assessment of Algorithmic Decision-Making System Used by Public Administration, European Law Institute, Viena, 2022(16).

Por su parte, el Gobierno de Canadá ya ha implantado una herramienta (la Algorithmic Impact Assessment Tool(17)), en el marco de su Directiva de Decisiones Automatizadas(18). Y Malta ha implantado un sistema voluntario de certificación de IA(19). Entre nosotros, algo parecido viene reclamando Alexander Zlotnik(20).

Se trata de un ámbito aún en desarrollo. Lo que no le resta importancia, aunque todavía suponga una gran indefinición.

1.6. La firma electrónica de decisiones automatizadas (artículo 42 LRJSP)

El artículo 42 LRJSP regula la firma electrónica que debe incorporarse a la actuación administrativa automatizada. Dispone lo siguiente:

“Artículo 42. Sistemas de firma para la actuación administrativa automatizada.

En el ejercicio de la competencia en la actuación administrativa automatizada, cada Administración Pública podrá determinar los supuestos de utilización de los siguientes sistemas de firma electrónica:

a) Sello electrónico de Administración Pública, órgano, organismo público o entidad de derecho público, basado en certificado electrónico reconocido o cualificado que reúna los requisitos exigidos por la legislación de firma electrónica.

b) Código seguro de verificación vinculado a la Administración Pública, órgano, organismo público o entidad de Derecho Público, en los términos y condiciones establecidos, permitiéndose en todo caso la comprobación de la integridad del documento mediante el acceso a la sede electrónica correspondiente”(21).

La principal consecuencia de esta norma es que las decisiones adoptadas mediante actuación administrativa automatizada incorporarán un sistema de firma electrónica. Ello permite identificar el órgano al que se atribuye la actuación, lo que es relevante a efectos de recurso.

Por lo demás, el texto se explica por sí mismo y no merece comentario alguno a efectos del presente informe.

2. El artículo 23 de la Ley 15/2022, de 12 de julio, integral para la igualdad de trato y la no discriminación

El verano pasado se aprobó una novedad relativa a los algoritmos y la IA. El artículo 23 de la Ley 15/2022 dice así:

“Artículo 23. Inteligencia Artificial y mecanismos de toma de decisión automatizados.

1. En el marco de la Estrategia Nacional de Inteligencia Artificial, de la Carta de Derechos Digitales y de las iniciativas europeas en torno a la Inteligencia Artificial, las administraciones públicas favorecerán la puesta en marcha de mecanismos para que los algoritmos involucrados en la toma de decisiones que se utilicen en las administraciones públicas tengan en cuenta criterios de minimización de sesgos, transparencia y rendición de cuentas, siempre que sea factible técnicamente. En estos mecanismos se incluirán su diseño y datos de entrenamiento, y abordarán su potencial impacto discriminatorio. Para lograr este fin, se promoverá la realización de evaluaciones de impacto que determinen el posible sesgo discriminatorio.

2. Las administraciones públicas, en el marco de sus competencias en el ámbito de los algoritmos involucrados en procesos de toma de decisiones, priorizarán la transparencia en el diseño y la implementación y la capacidad de interpretación de las decisiones adoptadas por los mismos.

3. Las administraciones públicas y las empresas promoverán el uso de una Inteligencia Artificial ética, confiable y respetuosa con los derechos fundamentales, siguiendo especialmente las recomendaciones de la Unión Europea en este sentido.

4. Se promoverá un sello de calidad de los algoritmos”.

Cabe señalar que, por su redacción, esta disposición parece más una norma de soft law que una regla, ya que no establece requisitos imperativos ni reglas de actuación, sino meras orientaciones. Además, estas orientaciones se limitan a enunciar “siempre que sea factible técnicamente”, lo que no resuelve el principal problema que plantea actualmente la IA como apoyo al proceso de toma de decisiones: los algoritmos de “caja negra” (black box), en los que no es posible satisfacer estos requisitos. Por lo tanto, estos algoritmos no están prohibidos y quedan exentos de los requisitos de esta disposición.

3. La modificación del Estatuto de los Trabajadores

El 11 de mayo de 2021 se aprobó el Real Decreto-ley 9/2021, por el que se modifica el Estatuto de los Trabajadores, que constituye el núcleo de la legislación laboral española; posteriormente, fue sustituido por la Ley 12/2021, de 28 de septiembre, tras su promulgación por las Cortes Generales. Añade un nuevo precepto al artículo 64.4 del Estatuto de los Trabajadores (Real Decreto Legislativo 2/2015, de 23 de octubre), que establece los derechos de información de los representantes de los trabajadores. En concreto, reconoce su derecho a:

“d) Ser informado por la empresa de los parámetros, reglas e instrucciones en los que se basan los algoritmos o sistemas de inteligencia artificial que afectan a la toma de decisiones que pueden incidir en las condiciones de trabajo, el acceso y mantenimiento del empleo, incluida la elaboración de perfiles”.

Esta reforma legal sigue a una sentencia italiana relativa a los riders de Deliveroo, que tuvo una gran repercusión en España(22). La sentencia anuló el sistema de asignación de pedidos a riders porque no era posible conocer cómo funciona el algoritmo. El precepto supone un evidente impulso a la transparencia de los algoritmos y sistemas de IA.

En lo que respecta al sector público español, esta norma se aplica a los empleados públicos que no tienen la condición de funcionarios, sino de empleados laborales, y cuya relación laboral se regula, por tanto, por el Estatuto de los Trabajadores.

4. La creación de la Agencia Española de Supervisión de la Inteligencia Artificial

La Estrategia Nacional de Inteligencia Artificial(23) prevé la creación de una Agencia Española de Supervisión de la Inteligencia Artificial (AESIA). Los Presupuestos Generales del Estado para 2022 permiten al Gobierno iniciar los trámites para su creación(24) y conceden una dotación de 5 millones de euros para este fin. El procedimiento ya se ha iniciado(25).

El reglamento que establece las competencias de la Agencia aún no ha sido adoptado, pero es seguro que la Agencia acabará asumiendo las tareas conferidas a la autoridad nacional de supervisión por la Propuesta de Reglamento europeo de IA.

II. EL SOFT LAW: LA CARTA DE DERECHOS DIGITALES (26)

El 14 de julio de 2021, el Gobierno español aprobó la Carta de Derechos Digitales. En su parte introductoria este documento establece: “La Carta no tiene carácter normativo, sino que su objetivo es reconocer los novísimos retos de aplicación e interpretación que la adaptación de los derechos al entorno digital plantea, así como sugerir principios y políticas referidas a ellos en el citado contexto”.

En cuanto al contenido, nos interesa la sección XVIII de la Carta, titulada: “Derechos digitales de la ciudadanía en sus relaciones con las Administraciones Públicas”. En particular, los apartados 6 y 7, relativos a la IA, establecen:

“6. Se promoverán los derechos de la ciudadanía en relación con la inteligencia artificial reconocidos en esta Carta en el marco de la actuación administrativa reconociéndose en todo caso los derechos a:

a) Que las decisiones y actividades en el entorno digital respeten los principios de buen gobierno y el derecho a una buena Administración digital, así como los principios éticos que guían el diseño y los usos de la inteligencia artificial.

b) La transparencia sobre el uso de instrumentos de inteligencia artificial y sobre su funcionamiento y alcance en cada procedimiento concreto y, en particular, acerca de los datos utilizados, su margen de error, su ámbito de aplicación y su carácter decisorio o no decisorio. La ley podrá regular las condiciones de transparencia y el acceso al código fuente, especialmente con objeto de verificar que no produce resultados discriminatorios.

c) Obtener una motivación comprensible en lenguaje natural de las decisiones que se adopten en el entorno digital, con justificación de las normas jurídicas relevantes, tecnología empleada, así como de los criterios de aplicación de las mismas al caso. El interesado tendrá derecho a que se motive o se explique la decisión administrativa cuando esta se separe del criterio propuesto por un sistema automatizado o inteligente.

d) Que la adopción de decisiones discrecionales quede reservada a personas, salvo que normativamente se prevea la adopción de decisiones automatizadas con garantías adecuadas.

7. Será necesaria una evaluación de impacto en los derechos digitales en el diseño de los algoritmos en el caso de adopción de decisiones automatizadas o semiautomatizadas”.

La redacción del texto es desafortunada. La versión final fue mejorada en algunos aspectos, teniendo en cuenta las propuestas de un grupo de académicos pertenecientes a la Red de Derecho Administrativo e Inteligencia Artificial(27).

El documento ha tenido un gran impacto mediático, pero poca eficacia hasta el momento. Aunque su aprobación se ha considerado positiva, se critica que, en lugar de proclamarse nuevos derechos en una Carta no vinculante, lo que debería hacerse es garantizar la efectividad de los derechos que ya tienen reconocidos los ciudadanos en la legislación sobre procedimiento administrativo común(28).

III. LA JURISPRUDENCIA Y LOS PRINCIPALES PROBLEMAS ACTUALES

En los últimos años se han implementado numerosos sistemas de IA en España, especialmente por parte del Gobierno nacional y de los gobiernos regionales (comunidades autónomas), aunque también hay ejemplos a nivel municipal. Informes recientes afirman que la tercera parte del sector público español ya ha implementado sistemas de IA(29).

A pesar de ello, y de la existencia de un marco legal desde 2007, la litigiosidad ha sido prácticamente inexistente. Esto no significa que no haya casos controvertidos o discusiones sociales y académicas, pero no han ido seguidos de recursos judiciales.

1. El caso “Bosco”

Es el único caso significativo hasta la fecha en el sector público. “Bosco” es un sistema informático desarrollado por el Ministerio para la Transición Ecológica y el Reto Demográfico y utilizado por las compañías energéticas para conceder el llamado “bono social”, es decir, un descuento en las facturas de luz y gas en beneficio de determinados colectivos: familias numerosas, rentas bajas, etc.

La Fundación CIVIO hizo un estudio con fines sociales que detectó que el algoritmo fallaba, por ejemplo, al denegar el bono social a las viudas, por lo que solicitó al Ministerio acceso a las especificaciones técnicas, a las pruebas de rendimiento y al código fuente, para verificar su funcionamiento. La solicitud se basaba en el derecho de acceso a la información pública, recogido en la Ley 19/2013, de 9 de diciembre, de transparencia, acceso a la información pública y buen gobierno.

Al denegarse el acceso, se recurrió la decisión ante el Consejo de Transparencia y Buen Gobierno, una autoridad administrativa independiente. El Consejo estimó parcialmente el recurso, permitiendo el acceso a la especificación técnica y a las pruebas de funcionamiento, pero denegando el acceso al código fuente, con el fin de proteger la propiedad industrial.

La Fundación interpuso un recurso judicial contra la decisión del Consejo. Este fue resuelto por la sentencia 143/2021, de 30 de diciembre (procedimiento ordinario 18/2019), del Juzgado Central de lo Contencioso-administrativo núm. 8(30) en la que se desestimó el recurso. En este caso, se argumentaba por parte del Ministerio que el acceso al código fuente suponía un riesgo para la seguridad nacional, ya que el sistema compartía información con bases de datos sensibles, que se pondrían en riesgo.

La sentencia ha sido recurrida en apelación ante un tribunal superior, la Audiencia Nacional, pero aún no se ha dictado sentencia. Se ha sabido, sin embargo, que el Consejo de Transparencia y Buen Gobierno ha modificado su postura y apoya el recurso, basándose en la idea de segmentar el código fuente, eliminando los elementos que afectan a la seguridad nacional y manteniendo los que explican las reglas o criterios aplicados por el algoritmo.

La resolución de este caso genera mucha expectación. Si la Audiencia Nacional estima el recurso, será un gran triunfo para todos aquellos que vienen reclamando una mayor transparencia en el uso de algoritmos e IA por parte del sector público.

2. El algoritmo VioGén

Este algoritmo fue desarrollado en 2007 por el Ministerio del Interior para evaluar el riesgo de violencia de género. Desde entonces, se ha aplicado más de 5 millones de veces en las comisarías, a pesar de que España es uno de los países con menor tasa de feminicidios del mundo(31). También se utiliza en los juzgados de lo penal, para conceder medidas cautelares de protección a las víctimas.

El sistema ha sido ampliamente criticado(32). Las organizaciones de defensa de las víctimas consideran que el sistema tiende a infravalorar masivamente el riesgo: aproximadamente el 45% de los casos se califican como de riesgo “no apreciado”. Un análisis de 126 casos de mujeres asesinadas reveló que 55 de ellas recibieron una orden de protección insuficiente de “VioGén”. Además, se ha comprobado que “VioGén” adapta el riesgo valorado para cada víctima en función de los medios policiales disponibles.

El Ministerio ha denegado el acceso al algoritmo, pero el asunto no se ha llevado a los tribunales.

3. La iniciación automática de procedimientos sancionadores

El Real Decreto-ley 2/2021, de 26 de enero, de refuerzo y consolidación de medidas sociales en defensa del empleo, ha regulado la iniciación de procedimientos administrativos en el ámbito de la Seguridad Social mediante actas de infracción automatizadas. Los sistemas de información de la Inspección de Trabajo y Seguridad Social pueden detectar hechos que pueden ser constitutivos de infracción, lo que permite el inicio automatizado de procedimientos sancionadores.

La controversia en este caso surge porque, aunque el interesado no realice ninguna actuación (por ejemplo, no presente alegaciones), el procedimiento puede seguir su curso hasta la imposición de una sanción. Aunque esto pueda sorprender, no es nada nuevo: el mismo esquema de tramitación se aplica a algunas infracciones de tráfico, como superar el límite de velocidad en carretera y ser fotografiado por un radar de tráfico: en este caso, el inicio del procedimiento sancionador también es automático, y puede acarrear las mismas consecuencias.

4. La privación de garantías en los procedimientos automatizados de concesión de subvenciones

También se critica a los sistemas automatizados por eliminar ciertas garantías para los ciudadanos en los procedimientos administrativos.

Es el caso de los sistemas robotizados para la concesión de subvenciones. Por ejemplo, en 2020, la Junta de Andalucía implementó 35 robots para tramitar los procedimientos de concesión de subvenciones a empresarios individuales, debido a la pandemia. Se alivió la carga de 20.000 funcionarios, lo que supuso una descarga de 100.000 horas de trabajo. Y todo el procedimiento, desde la solicitud hasta el pago, se redujo a 2 meses. Descontando el coste de los robots, el sistema ha ahorrado 1,3 millones de euros.

Pero no todo son aspectos positivos. Al tratarse de un sistema automatizado, los solicitantes se veían privados del derecho a subsanar su solicitud, o a presentar alegaciones ante una propuesta de denegación de ayuda. Si algún dato del sistema era incorrecto, se denegaba la ayuda y el solicitante se veía obligado a reclamar.

5. El incumplimiento del deber de motivación de los actos administrativos

La opacidad de los algoritmos suele considerarse un problema de transparencia. Pero, en mi opinión, es aún más grave: es un incumplimiento del deber de motivar los actos administrativos, que es una garantía central del Derecho administrativo. Es un requisito relacionado con el derecho de defensa y su incumplimiento invalida el acto administrativo. No es necesario desarrollar aquí esta cuestión.

En mi caso(33), así como algunos colegas de la Universidad Pablo de Olavide(34), hemos insistido especialmente en la idea de que los algoritmos, la actuación administrativa automatizada y la IA no escapan a la necesidad de motivar las decisiones basadas en ellos. Otros autores también reparan en este punto(35).

No es el momento de debatir extensamente esta cuestión. Baste decir que, como he tratado de explicar en estos trabajos, el deber de motivación tiene particularidades en la forma en que se articula respecto a las actuaciones automatizadas o de IA, pero es exigible, en cualquier caso. De acuerdo con el marco normativo actual (LPAC), esto conlleva la imposibilidad de permitir que algoritmos de "caja negra” (black box) apoyen la toma de decisiones, porque es imposible saber por qué el sistema toma esa decisión y no otra. Podemos pensar en nuevas formas de motivación en estos casos, pero habrá que regularlas explícitamente.

NOTAS:

(1). Sobre la actuación administrativa automatizada, véanse especialmente los trabajos de A. Cerrillo Martínez, “Robots, asistentes virtuales y automatización de las administraciones públicas”, en Revista Galega de Administración Pública, núm. 61, 2021, págs. 271 ss. (se puede consultar en ENLACE, última visita 28 de marzo de 2023); A. Cerrillo Martínez, “Automatización e inteligencia artificial”, en I. Martín Delgado, El procedimiento administrativo desde la perspectiva de la innovación tecnológica, Iustel-IVAP, Madrid, 2020, págs. 389 y ss., y A. Cerrillo Martínez, “Actividad administrativa automatizada y utilización de algoritmos”, en F. Castillo Blanco, S. Fernández Ramos y J. M. Pérez Monguió (eds.), Las políticas de buen Gobierno en Andalucía (I): Digitalización y transparencia, Instituto Andaluz de Administración Pública, Sevilla, 2022, págs. 259 y ss. (se puede consultar en ENLACE, última visita 28 de marzo de 2023).

Al respecto, véase también A. Soriano Arnanz, “Decisiones automatizadas y discriminación: aproximación y propuestas generales”, en Revista General de Derecho Administrativo, núm. 56, 2021 (también en línea, INAP en ENLACE, última visita 28 de marzo de 2023); de la misma autora, “Decisiones automatizadas: problemas y soluciones jurídicas. Más allá de la protección de datos”, en Revista de Derecho Público: Teoría y Método, vol. 3, 2021, págs. 85 y ss. (se puede consultar en ENLACE, última visita 28 de marzo de 2023); F. J. Bauzá Martorell, “Identificación, autenticación y actuación automatizada de las Administraciones públicas”, en E. Gamero Casado (ed.), Tratado de procedimiento administrativo común y régimen jurídico básico del sector público, vol. 1, Tirant lo Blanch, Valencia, 2017, págs. 787 y ss., y R. Gómez Padilla, “Comentario al art. 41 LRJSP”, en M. A. Recuerda Girela (ed.), Régimen jurídico del sector público y procedimiento administrativo común, Aranzadi-Thomson-Reuters, Cizur Menor, 2016, págs.1.222 y ss.

Además, hay dos trabajos que fueron editados en tiempos de la Ley 11/2007, pero que siguen siendo útiles: I. Martín Delgado, “Naturaleza, concepto y régimen jurídico de la actuación administrativa automatizada”, en Revista de Administración Pública, núm. 180, 2009, págs. 353 y ss. (se puede consultar en ENLACE, última visita 28 de marzo de 2023); X. Urios Aparisi e I. Alamillo Domingo, La actuación administrativa automatizada en el ámbito de las Administraciones públicas. Análisis jurídico y metodológico para la construcción y explotación de trámites automáticos, Escola d’Administració Pública de Catalunya, Barcelona, 2011 (se puede consultar en ENLACE, última visita 28 de marzo de 2023).

(2). N. del T.: Las normas citadas en este trabajo han sido tomadas de su versión oficial española.

(3). Véase, en particular, I. Martín Delgado, “Naturaleza, concepto y régimen jurídico de la actuación administrativa automatizada”, op. cit., págs. 367 y ss.

(4). Véase A. Boix Palop, "Los algoritmos son reglamentos: la necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la Administración para la toma de decisiones", en Revista de Derecho Público: Teoría y Método, vol. 1, 2020, págs. 223 y ss. (se puede consultar en ENLACE, última visita 28 de marzo de 2023); A. Huergo Lora, “Una aproximación a los algoritmos desde el Derecho administrativo", en A. Huergo Lora, La regulación de los algoritmos, Aranzadi-Thomson-Reuters, Cizur Menor, 2020, págs. 64 y ss.

(5). Véase A. D. Berning-Prieto, “La naturaleza jurídica de los algoritmos”, en E. Gamero Casado (ed.), Inteligencia artificial en el sector público. Retos, límites y medios, Tirant lo Blanch, Valencia, 2023 (en prensa).

(6). Esta norma solo se aplica a la Administración General del Estado, no a las comunidades autónomas ni a los municipios.

(7). Véase el epígrafe III.3.

(8). Sobre la necesidad de la transparencia en los algoritmos y la IA, se citan a continuación algunos autores españoles relevantes: J. Valero Torrijos, “Las garantías jurídicas de la inteligencia artificial en la actividad administrativa desde la perspectiva de la buena administración”, en Revista Catalana de Dret Public, núm. 58, 2019, págs. 82 ss. (se puede consultar en ENLACE, última visita 28 de marzo de 2023); L. Cotino Hueso, “Hacia la Transparencia 4.0: el uso de la Inteligencia Artificial y big data para la lucha contra el fraude y la corrupción y las (muchas) exigencias constitucionales”, en C. Ramió (ed.), Repensando la Administración digital y la innovación pública, Instituto Nacional de Administración Pública, Madrid, 2021, págs. 169 y ss.; I. Martín Delgado, “La aplicación del principio de transparencia a la actividad administrativa algorítmica”, en E. Gamero Casado (ed.), Inteligencia artificial en el sector público. Retos, límites y medios, Tirant lo Blanch, Valencia, 2023 (en prensa); A. Cerrillo Martínez, “El impacto de la inteligencia artificial en las Administraciones Públicas: estado de la cuestión y una agenda”, en A. Cerrillo Martínez y M. Peguera Poch, Retos jurídicos de la inteligencia artificial, Aranzadi-Thomson-Reuters, Cizur Menor, 2020, págs. 83 y ss.; J. Ponce Solé, “Inteligencia artificial, Derecho administrativo y reserva de humanidad: algoritmos y procedimiento administrativo debido tecnológico”, en Revista General de Derecho Administrativo, núm. 50, 2019 (se puede consultar en INAP: ENLACE, última visita 28 de marzo de 2023); I Criado, J. Valero y J. Villodre, “Algorithmic transparency and bureaucratic discretion: The case of SALER early warning system”, en Information Polity, vol. 25, núm. 4, 2020, pág. 452 (se puede consultar en ENLACE, última visita 28 de marzo de 2023); M. E. Gutiérrez David, “Administraciones inteligentes y acceso al código fuente de los algoritmos públicos. Conjurando riesgos de cajas negras decisionales”, en Derecom, núm. 30, 2021, págs. 143 y ss.

(9). Existen otros ejemplos de deberes implícitos impuestos a la Administración en materia de Administración electrónica. Por ejemplo, el art. 13.a) de la Ley 39/2015, establece que los ciudadanos tienen derecho “A comunicarse con las Administraciones Públicas a través de un Punto de Acceso General electrónico de la Administración”. Ninguna norma regula este Punto de Acceso General, pero se ha entendido como un punto que integra todos los servicios y procedimientos de cada Administración pública, facilitando así las relaciones de los ciudadanos por medios electrónicos. El Tribunal Constitucional, en su sentencia 55/2018, de 24 de mayo, considera que el legislador nacional puede obligar a todas las administraciones públicas a disponer de dicho Punto de Acceso.

(10). Véase J. Ponce Solé, “Reserva de humanidad y supervisión humana de la inteligencia artificial”, en El Cronista del Estado Social y Democrático de Derecho, núm. 100, 2022, págs. 58 y ss., además de la bibliografía citada en ese trabajo.

(11). Véase E. Gamero Casado, “Compliance (o cumplimiento normativo) de desarrollos de Inteligencia Artificial para la toma de decisiones administrativas”, en Diario La Ley (Wolters Kluwer), núm. 50, Sección Ciberderecho, 19/04/2021 (se puede consultar en ENLACE, última visita 28 de marzo de 2023).

(12). Véase J. Bone, “Auditoría de Inteligencia Artificial”, en International Dynamic Advisors, 31 de julio de 2020, (se puede consultar en ENLACE, última visita 28 de marzo de 2023).

(13). Los documentos citados se encuentran en ENLACE y ENLACE, respectivamente (última visita 29 de marzo de 2023). Sobre protección de datos y algoritmos e IA, véase, recientemente, D. Terrón Santos y J. L. Domínguez Álvarez, i-Administración pública, sistemas algorítmicos y protección de datos, Iustel, Madrid, 2022.

(14). E. Moss, E.A. Watkins, J. Metcalf y M. C. Elish: “Governing with Algorithmic Impact Assessments: Six Observations”, 24/4/2020, ENLACE, última visita 28 de marzo de 2023..

(15). En este caso, relativo al Reino Unido; E. Kazim, D. Mendes, T. Denny y A. Koshiyama: “AI auditing and impact assessment: according to the UK information commissioner’s office”, AI Ethics, 2021, ENLACE, última visita 28 de marzo de 2023..

(16). El equipo de trabajo, coordinado por M. Wierzbowski (Universidad de Varsovia), estuvo integrado principalmente por M. Clément (magistrado francés), P. Craig (Universidad de Oxford) y J.P. Schneider (Universidad de Friburgo), contando, además, con otros colaboradores. Accesible en ENLACE; última visita 28 de marzo de 2023.

(17). Accesible en ENLACE, última visita 28 de marzo de 2023.

(18). De la que conviene consultar muy especialmente su Anexo C, a efectos de nuestro objeto de interés. Puede consultarse en ENLACE ultima visita 28 de marzo de 2023.

(19). Si bien centrado en protección de datos. Véase ENLACE.

(20). En A. Zlotnik: “Inteligencia Artificial en las Administraciones Públicas: definiciones, evaluación de viabilidad de proyectos y áreas de aplicación”, Boletic, n.º 84, 2019, pp.24 ss, ENLACE, última visita 28 de marzo de 2023.

(21). “Sede electrónica” se refiere a un tipo especial de punto de acceso electrónico establecido en la legislación española (art. 38 LRJSP). Las sedes electrónicas deben cumplir una serie de requisitos y garantías informáticas. El uso de la sede electrónica es obligatorio para el ejercicio de potestades administrativas, es decir, para la actuación administrativa formalizada.

(22). Esta es la sentencia del Tribunal Ordinario de Bolonia de 31 de diciembre de 2020. La sentencia en italiano se encuentra disponible en ENLACE.

(23). Ver infra.

(24). La disposición adicional centésima trigésima de la Ley 22/2021, de 28 de diciembre, de Presupuestos Generales del Estado para el año 2022.

(25). Véase el comunicado de prensa en el sitio web del Gobierno: ENLACE, última visita 28 de marzo de 2023.

(26). Además de la Carta de Derechos Digitales, se puede hacer referencia a las Estrategias de Inteligencia Artificial aprobadas en España, y en especial, a la Estrategia Nacional de Inteligencia Artificial, ENIA, 2020 (se puede consultar en ENLACE, última visita 28 de marzo de 2023). Sin embargo, su contenido carece de relevancia a los efectos de este informe.

(27). Red Derecho Administrativo e Inteligencia Artificial (Red DAIA), a la que pertenezco. Se puede consultar su web en ENLACE (última visita 28 de marzo de 2023). Para ver el documento de la propuesta, siga este enlace: ENLACE, última visita 28 de marzo de 2023.

(28). Ciertamente, la Administración electrónica está provocando una grave pérdida de garantías, que debe abordarse con carácter prioritario; véase E. Gamero Casado, “Reflexiones introductorias: de la administración electrónica a la digital (o la historia interminable)”, en A. Cerrillo Martínez (dir.), La Administración Digital, Dykinson, Madrid, 2022, págs. 36 y ss.

(29). Se trata de un informe promovido por Microsoft y elaborado por EY, Inteligencia artificial en el sector público. España. Perspectivas europeas para 2020 y años siguientes (se puede consultar en ENLACE, última visita 28 de marzo de 2023). En él se encontraron 213 casos de uso de IA relevantes en España en 2019, pero, por supuesto, en la práctica hay muchos más. Véanse también algunos casos relevantes en JRC Datasets. (se puede consultar en ENLACE, última visita 28 de marzo de 2023).

(30). N. del T.: Este fallo se encuentra disponible en ENLACE, última visita 30 de marzo de 2023.

(31). Ver estadísticas en Forum Libertas, 21 de junio de 2022 (ENLACE, última visita 28 de marzo de 2023)

(32). Ver el artículo publicado en elDiario.es el 9 de marzo de 2022. Se puede consultar en ENLACE, última visita el 28 de marzo de 2023.

(33). Véase E. Gamero Casado, “Compliance (o cumplimiento normativo) de desarrollos de Inteligencia Artificial para la toma de decisiones administrativas”, op. cit.

 Véase J. Bone, “Auditoría de Inteligencia Artificial”, op. cit. Y E. Gamero Casado, “Necesidad de motivación e invalidez de los actos administrativos sustentados en inteligencia artificial o en algoritmos”, Almacén de Derecho, 04 de febrero de 2021. Consultar en ENLACE, última visita 28 de marzo de 2023.

(34). Véase R. Navarro González, La motivación de los actos administrativos, Aranzadi-Thomson-Reuters, Cizur Menor, 2017, págs. 287 y ss.; y A. D. Berning Prieto, Validez e invalidez de los actos administrativos en soporte electrónico, Aranzadi-Thomson-Reuters, Cizur Menor, 2019, págs. 267 y ss.

(35). Véase I. Martín Delgado, “Naturaleza, concepto y régimen jurídico de la actuación administrativa automatizada”, op. cit., pág. 377; X. Urios Aparisi e I. Alamillo-Domingo, “La actuación administrativa automatizada en el ámbito de las Administraciones públicas. Análisis jurídico y metodológico para la construcción y explotación de trámites automáticos”, op. cit., págs. 21-31, 88 y 133; y A. Cerrillo Martínez: “¿Son fiables las decisiones de las Administraciones públicas adoptadas por algoritmos?”, en European Review of Digital Administration & Law, vol. 1, núms.1-2, 2020, págs. 31 y ss. Se puede consultar en ENLACE, última visita 28 de marzo de 2023.

Comentarios