Presupuestos y garantías para la implantación y uso de la inteligencia artificial en ciudades inteligentes

Este trabajo analiza el uso de sistemas de inteligencia artificial en las ciudades inteligentes, su incidencia en el ejercicio de la potestad sancionadora por las Administraciones locales y su proyección sobre los derechos de los ciudadanos. Se examinan los presupuestos tecnológicos y jurídicos necesarios para la implantación de estas herramientas, así como las garantías exigibles a la luz del RIA cuando dichos sistemas se orientan a la vigilancia, detección de infracciones e imposición de sanciones administrativas.

David Egea Villalba es Profesor Asociado de Derecho Administrativo en la Universidad de Murcia – IDERTEC

El artículo se publicó en el número 72 de la Revista General de Derecho Administrativo (Iustel, mayo 2026)

RESUMEN: El trabajo analiza el uso de sistemas de inteligencia artificial en las ciudades inteligentes, su incidencia en el ejercicio de la potestad sancionadora por las Administraciones locales y su proyección sobre los derechos de los ciudadanos. Se examinan los presupuestos tecnológicos y jurídicos necesarios para la implantación de estas herramientas, así como las garantías exigibles a la luz del RIA cuando dichos sistemas se orientan a la vigilancia, detección de infracciones e imposición de sanciones administrativas. En particular, se defiende la necesidad de comprobar la correcta aprobación y publicidad de su implantación, la adecuación de su funcionamiento —mediante medidas ex ante y ex post— y las incidencias derivadas de la acusada externalización hacia el sector privado en este ámbito. Todo ello se plantea como refuerzo del derecho de defensa de los administrados y como exigencia para evitar ámbitos inmunes al control de legalidad de la actuación administrativa resultante. Finalmente, se sostiene que el control jurisdiccional sobre las <<sanciones tecnológicas de plano>> debe proyectarse no solo sobre el acto sancionador concreto, sino también sobre la corrección del sistema tecnológico que lo hace posible.

GUARANTEES FOR THE IMPLEMENTATION AND USE OF ARTIFICIAL INTELLIGENCE IN SMART CITIES

ABSTRACT: This chapter analyses the use of artificial intelligence systems in smart cities, their impact on the exercise of sanctioning powers by local authorities, and their implications for citizens’ rights. It examines the technological and legal requirements for the deployment of these tools, as well as the safeguards required under the AI Act when such systems are used for surveillance, the detection of infringements and the imposition of administrative sanctions. In particular, it argues for the need to verify the proper approval and publicity of their deployment, the adequacy of their functioning —through both ex ante and ex post measures— and the implications arising from the significant outsourcing to the private sector in this field. All these elements are presented as a means of strengthening the right of defense of individuals subject to administrative action and as a requirement to prevent areas immune from legality review. Finally, the chapter maintains that judicial review of <<summary technological sanctions>> should extend not only to the specific sanctioning act, but also to the correctness of the technological system that makes it possible.

I. INTRODUCCIÓN (1)

Debemos partir del carácter indeterminado del concepto de Ciudad Inteligente (CI) o smart city, para cuya concreción nos encontramos con numerosos obstáculos(2). Entre ellos, destaco el hecho de que se trata de un término en constante evolución debido al vertiginoso avance de la tecnología, especialmente, en los últimos años(3) y que, sin embargo, no ha sido objeto de regulación, ni siquiera indirectamente para ofrecernos una definición legal. No obstante, es cierto que existen algunas aproximaciones desde la UE(4) o la ONU(5), si bien carecen, como se sabe, de un carácter verdaderamente normativo.

A lo anterior hay que añadir que, como tecnológicamente los avances que se proyectan sobre las ciudades inteligentes tienen aplicaciones materiales muy variadas, los puntos de vista de quienes han estudiado este fenómeno también son, lógicamente, muy diversos. Remitiéndome a mi investigación doctoral, dejo solo apuntado que existen numerosos estudios en campos muy variados del saber técnico como la arquitectura, la ingeniería de sistemas informáticos, la ingeniería de telecomunicaciones, las ciencias ambientales, la ingeniería industrial, la computación, las matemáticas, la sanidad o la economía, entre otros muchos saberes. También existen aportaciones desde el ámbito de las ciencias sociales, como la filosofía, la sociología, incluso, desde la óptica de la cooperación para el desarrollo y, por supuesto, hay un número muy considerable de estudios jurídicos sobre esta materia.

Por lo que respecta a las contribuciones específicamente nacidas bajo el prisma del Derecho administrativo, atendida la amplitud epistemológica y normativa de nuestra disciplina, igualmente, cabe destacar que existen muy numerosos trabajos desde múltiples enfoques. Precisamente, por esta amplitud epistemológica se propone por varios autores abordar este fenómeno desde una necesaria ‘transdisciplinariedad’(6) o multidisciplinariedad(7), como un planteamiento general de partida. En ese sentido, son abundantes los estudios del fenómeno de la CI en relación con el Derecho urbanístico, del Derecho ambiental, del Derecho de la contratación pública, del derecho de los datos y de la privacidad y también se han tratado las implicaciones que su instauración puede tener para los servicios públicos, existiendo una importancia creciente en el ámbito de la integración social y lucha contra la exclusión, la mejora de la gobernanza y de la participación ciudadana, entre otros ámbitos que se enumeran en mi trabajo doctoral.

Aunque hay quien ha llegado a considerar que el concepto de ciudad inteligente <<no tiene nada de jurídico>>(8), podría partirse, en cambio, de la cuádruple dimensión jurídica que tiene toda ciudad: su territorio, su organización, su población, añadiendo los numerosos servicios que está llamada prestar. A partir de aquí, la nota diferencial que haría merecedora a una administración local del calificativo de <<inteligente>>, se correspondería con una intensa aplicación de las nuevas tecnologías de la información en la gestión, la planificación y la ejecución de las competencias relacionadas con esos cuatro pilares fundamentales (territorio, población, organización y servicios).

En ese sentido, siendo la Administración local la <<más cercana a los ciudadanos>>(9), surge con naturalidad la conceptualización de Cerrillo i Martínez, que considera la CI como aquella que <<utiliza la tecnología de manera intensiva, innovadora y colaborativa para recopilar y analizar los datos de la ciudad con el fin prestar servicios centrados en las personas inclusivos, eficientes, resilientes y sostenibles>>(10).

Sirviéndonos de esta acertada aproximación, comprobado que el empleo de los sistemas de inteligencia artificial en la CI no parece que se reduzca al ámbito de la prestación de servicios, sino que se ha extendido vertiginosamente hacia el ejercicio de muchas otras competencias, nos lleva al análisis de la utilización de estas tecnologías para el sometimiento a control y eventual represión sancionadora de la población.

Cumple anticipar que para tal finalidad se necesitará implantar dispositivos y sistemas de los que las administraciones locales tendrán que proveerse, preeminentemente, desde el sector privado. Lo mismo ocurre con los proveedores de servicios de telecomunicaciones y de internet, cuya naturaleza privada vuelve a remarcar ese papel protagonista de la contratación pública. Igual sucede con la interconexión y la supervisión de su correcto funcionamiento, así como el mantenimiento de las condiciones de seguridad y fiabilidad frente a ataques externos, errores o disfuncionalidades.

En esas importantes tareas, como se expone con detalle en mi trabajo doctoral, la iniciativa directa municipal va a resultar muy limitada y, por el contrario, hay un papel muy protagonista del sector privado. Aunque es verdad que la actividad de estas empresas contratistas está sometida, en muy buena medida, a una intensa intervención administrativa, por ejemplo, la derivada del sector regulado de las telecomunicaciones no es menos cierto que las competencias municipales resultan aquí muy limitadas, como seguidamente abordaremos.

En segundo lugar, no nos encontramos ante una simple evolución de la Administración electrónica, no se trata de implementar sencillamente la tramitación electrónica de procedimientos administrativos en el ámbito local, sino de un verdadero perfeccionamiento del sistema de sometimiento a control y eventual represión de muchísimas actividades y conductas de los ciudadanos y, por supuesto, para el ejercicio de potestades sancionadoras. A ello cabe añadir que la CI también pueda resultar de crucial utilidad para el ejercicio de competencias autonómicas o estatales, en donde, de nuevo, cuestiones como la coordinación, la seguridad y la interoperabilidad de los dispositivos y sistemas implantados por los respectivos proveedores de las administraciones serán determinantes.

En todo este nuevo contexto el papel del sector privado, las fórmulas de colaboración y los procedimientos de contratación del sector público tanto en la selección del contratista como en la vigilancia de la ejecución de los contratos, resultarán fundamentales, sin poder abordar, por cuestión de espacio, los muy señalados riesgos que existen respecto del tratamiento automatizado de datos de carácter personal y la distribución de responsabilidades entre empresas actuantes y administraciones concurrentes -en caso de un tratamiento eventualmente incumplidor de las disposiciones previstas en el RGPD y la LOPD- o la eventual inexistencia de una evaluación de impacto relativo a la protección de datos de carácter personal establecida en el artículo 35 RGPD que, como recuerda Cerdá Meseguer, <<no prevé sanción alguna a la Administración pública en caso de incumplimiento de la obligación de realizar la EIPD>>(11), más allá, cabría añadir, de la literalidad del artículo 47.1,e LPACAP.

Como se puede colegir, la implantación de sistemas de inteligencia artificial en el contexto de las ciudades inteligentes constituye una de las manifestaciones más expresivas de la transformación digital de la Administración pública, en la que deben conjugarse los potenciales beneficios de su implantación —en ámbitos tan relevantes como la optimización de recursos, la mejora de la movilidad urbana, la eficiencia energética o la seguridad ciudadana— con realidades que suponen nuevos desafíos para aceptar su utilización sobre buena parte de la población.

En ese sentido, el empleo de estas tecnologías para fines de vigilancia, control y eventual represión de conductas sancionables tiene lugar con una innegable robustez probatoria que afecta a la determinación de la identidad del eventual sujeto infractor y a la acreditación de los hechos objeto de investigación. Si unimos lo anterior a la implementación del procedimiento administrativo para la imposición de sanciones mediante su automatización, podría derivar a lo que podría denominarse como una rediviva <<sanción tecnológica de plano>>, a pesar de que, tras la Constitución, las sanciones de plano, o impuestas sin mediar procedimiento, resultan contrarias a la Constitución (STC n.º 18/1981, de 8 de junio)(12).

En este escenario complejo y marcado por unos avances tecnológicos tan acentuados, quizá el análisis no se deba agotar en el estudio de la validez concreta del acto sancionador individualmente considerado, sino que debería ampliarse hacia la reconstrucción más amplia, alcanzando a la decisión de implantación del sistema, bajo qué controles y con qué parámetros de auditoría y explicación funciona, pasando desde el control de legalidad del <<acto>> al control de legalidad del <<sistema>> que produce esos actos, para evitar ámbitos opacos o resistentes al control de legalidad.

II. PRESUPUESTOS TECNOLÓGICOS Y JURÍDICOS DE LA INTELIGENCIA ARTIFICIAL EN LA CIUDAD INTELIGENTE

1. Ciudad inteligente e inteligencia artificial: la proyección sobre la potestad sancionadora

La utilización de sistemas de inteligencia artificial en el contexto de la ciudad inteligente no es una simple consecuencia evolutiva natural de la administración electrónica. Ese proceso de transición hacia la denominada administración electrónica permitió pasar del formato impreso en papel hacia la tramitación íntegramente electrónica (desde la presentación telemática de solicitudes a la práctica de notificaciones por medios electrónicos, acceso a expedientes), pero la ciudad inteligente, como hemos anticipado en la introducción, importa un fenómeno distinto y cualitativamente mucho más intenso que se desarrolla, nutre y fundamenta en la captación permanente de datos, en un tratamiento automatizado intensivo, en la interconexión de innumerables dispositivos tecnológicos y en la producción de decisiones administrativas a partir de sistemas informáticos algorítmicos de una complejidad inescrutable e incomprensibles para la población.

Desde esta perspectiva, la ciudad inteligente no es solo un entorno urbano dotado de sensores o dispositivos interconectados. Es, sobre todo, un nuevo ecosistema dotado de infraestructuras tecnológicas en donde actúan entidades públicas con empresas privadas que inciden en aspectos esenciales para la formación de la voluntad en la toma de decisiones administrativas que pueden proyectarse sobre los ciudadanos con una intensidad creciente. En ese contexto, el proceso de toma y de tratamiento de esos datos deja de ser un elemento auxiliar de la actuación administrativa para convertirse en presupuesto, medio y, en ocasiones, verdadero hilo conductor y causa determinante de la intervención pública que, además, será automatizada. El fenómeno resulta particularmente relevante cuando esa infraestructura tecnológica se orienta hacia finalidades de vigilancia, control o represión administrativa.

En estos casos, las mismas herramientas que permiten optimizar la movilidad urbana, mejorar la eficiencia energética, ordenar los servicios públicos o personalizar prestaciones, pueden utilizarse también —incluso primordialmente— para detectar infracciones, identificar sujetos eventualmente responsables, generar denuncias automatizadas, incoar expedientes sancionadores y, en último término, sustentar resoluciones susceptibles de afectar negativamente a la esfera jurídica de los ciudadanos masivamente. La inteligencia artificial, incorporada a la ciudad inteligente, puede operar como una mejora sustancial de las funciones de policía administrativa y como un instrumento de intensificación del ejercicio del ius puniendi por parte de la Administración.

En ese sentido, el empleo intensivo de sensores, cámaras, sistemas de reconocimiento, plataformas de movilidad, redes de comunicaciones, dispositivos conectados e instrumentos de tratamiento masivo de datos permite a la Administración conocer con un grado de detalle desconocido muchas conductas de los ciudadanos que, hasta ahora, resultaban incontrolables. Ciertamente, en un primer análisis, ello puede resultar útil para la protección del interés general, pero también debe tenerse en cuenta que este nuevo escenario comporta una alteración clara de la posición jurídica del administrado frente a la Administración, pues incrementa considerablemente la capacidad pública de eventual detección, identificación, prueba y represión en unas cotas impensables hasta hace poco tiempo.

A diferencia del procedimiento sancionador tradicional, en el que la Administración ordinariamente reaccionaba ante una denuncia, una inspección, un acta, lo que daba lugar a la constatación puntual de hechos sancionables, el entorno de ciudad inteligente permite construir sistemas de supervisión continuada, en tiempo real y con vocación preventiva o represiva. De este modo, la detección de una posible infracción administrativa deja de ser un hecho detectado casual o episódicamente para convertirse en el resultado cotidiano de la permanente captación de datos obtenidos automáticamente por las infraestructuras urbanas inteligentes. Este cambio radical que intento describir supone un cambio sustancial en la intensidad del control público sobre los ciudadanos ya que transforma la prueba disponible y puede debilitar, si no se adoptan garantías adecuadas, la hasta ahora indiscutida finalidad garantista del procedimiento sancionador como vehículo de las garantías en el ejercicio de la potestad sancionadora.

Conviene recordar que la automatización administrativa no constituye una novedad absoluta ya la Ley de 17 de julio de 1958 sobre Procedimiento administrativo admitió fórmulas de mecanización y racionalización del trabajo burocrático, especialmente cuando se refería a <<expedientes homogéneos>>(13). De hecho, el artículo 45 de la Ley 30/1992 impulsó la utilización de medios electrónicos, informáticos y telemáticos para el desarrollo de la actividad administrativa, con respeto, se decía, a las garantías previstas en la Constitución y las leyes(14). Sin embargo, la situación actual es distinta. No estamos solo ante máquinas que imprimen resoluciones, bases de datos que ordenan información o sedes electrónicas que permiten relacionarse con la Administración. Nos encontramos ante sistemas capaces de captar datos, clasificarlos, cruzarlos, inferir comportamientos y condicionar de manera decisiva el sentido de la actuación administrativa posterior.

Este tránsito desde la digitalización hacia la automatización —y desde esta hacia el empleo de inteligencia artificial— obliga a replantear algunas categorías clásicas. La primera de ellas entiendo que afectaría a la noción de la actuación administrativa automatizada. El artículo 41.1 LRJSP la define aquella realizada íntegramente a través de medios electrónicos en el marco de un procedimiento administrativo, sin intervención directa de un empleado público. Esta previsión, aparentemente neutra, adquiere especial trascendencia cuando se proyecta sobre procedimientos sancionadores, porque la ausencia de intervención humana directa en cada caso singular afecta a trámites que pueden tener incidencia real sobre la posición defensiva del ciudadano.

La automatización puede resultar razonable, por ejemplo, en la expedición de certificados, justificantes, volantes o documentos administrativos que dependen de la simple constatación de hechos fácilmente comprobables y que constan en poder de la Administración. En tales supuestos, con efectos potencialmente favorables para el administrado, la automatización se plantea como un innegable avance al arrojar actos administrativos favorables como resultado de una más rápida y eficiente actuación de medios públicos lo que, por otro lado, no exige más ponderación.

El problema aparece cuando la automatización se traslada a actuaciones administrativas potencialmente desfavorables en las que resultan determinantes la identificación de los hechos, la imputación de responsabilidad, la valoración de alegaciones, la admisibilidad de medios de prueba, la valoración misma de esas pruebas y la determinación de la sanción dentro de la horquilla legalmente prevista. En esa línea, Alamillo Domingo y Urios Aparisi defienden que <<la automatización debe quedar excluida de todos aquellos supuestos en que haya un elemento subjetivo o una valoración en la actuación administrativa, así como una motivación más allá de aquélla que sea viable predeterminar mediante una programación concreta>>(15).

Por ello, podemos diferenciar claramente una automatización puramente instrumental de una automatización que requiera ponderar elementos de juicio inexpropiables de la capacidad decisoria humana y, en particular, de funcionarios públicos en ejercicio de sus funciones. La primera puede comprender tareas de gestión, ordenación, aviso, notificación, registro, clasificación documental, cálculo de plazos o generación de borradores, entre otras actuaciones. La segunda al incidir, en cambio, en el núcleo decisorio de la potestad administrativa, en particular la sancionadora, supone realmente decidir si existen indicios suficientes para incoar un procedimiento sancionador, valorar si la prueba de cargo acredita verazmente los hechos, ponderar las eventuales alegaciones, decidir sobre la práctica de pruebas de descargo, apreciar circunstancias modificativas de la responsabilidad sancionadora o, en definitiva, imponer una sanción(16).

Entiendo que esta distinción resulta esencial para evitar que la tecnología produzca una mutación o un desplazamiento de la finalidad garantista del procedimiento sancionador. En esa línea, si la ciudad inteligente recaba los datos que dan lugar a la prueba incriminatoria, puede identificar al presunto infractor, genera automáticamente la denuncia y el posterior acto de incoación, preconfigura la posible calificación jurídica y proyecta la sanción aplicable, el procedimiento corre el riesgo de convertirse en una secuencia puramente formal destinada, sin más, a confirmar el resultado generado por el sistema algorítmico. En esta línea, se ha advertido doctrinalmente del riesgo de que la automatización condicione decisivamente el desarrollo posterior del procedimiento(17). En este escenario, la apariencia de tramitación puede ocultar una verdadera decisión anticipada, adoptada antes de que el interesado haya podido conocer, discutir o contradecir la corrección de los elementos tecnológicos en los que se basa la imputación sancionadora.

Sin duda, es la robustez probatoria asociada a la tecnología lo que más preocupación y riesgos puede suscitar ya que la prueba tecnológica se presenta frecuentemente como objetiva, neutral y resistente a cualquier impugnación o discusión. Una imagen, una medición, una geolocalización, una matrícula captada, un reconocimiento facial fruto de datos generados por dispositivos conectados pueden producir en el instructor, en el órgano resolutorio e incluso en el órgano judicial una apariencia de certeza superior a la de cualesquiera otros medios de prueba, como resultado de una confianza en la supuesta infalibilidad del sistema, que no puede ser absoluta o, si se quiere, no puede convertirse en una presunción iuris et de iure que permita desplazar automáticamente, valga la redundancia, a la presunción de inocencia constitucionalmente garantizada.

En efecto, todo sistema tecnológico depende de presupuestos de instalación, calibración, mantenimiento, seguridad, estándares de calidad, respeto de requisitos y esquemas que garanticen, por ejemplo, ausencia de errores o de sesgos(18), y, además, la de una correcta parametrización y trazabilidad de su funcionamiento, a lo que cabría añadir la necesaria delimitación de rol que representan las entidades privadas en el ejercicio de estas potestades públicas represivas.

En consecuencia, la pregunta jurídica decisiva no es solo si la Administración puede utilizar inteligencia artificial en la ciudad inteligente, sino en qué condiciones puede hacerlo cuando dicho uso afecta a derechos, libertades e intereses legítimos de los ciudadanos especialmente en el ámbito sancionador. Esas condiciones no deberían reducirse a la observancia formal de los trámites procedimentales tradicionales sino que deberían extenderse a la fase previa de implantación del sistema, a su aprobación, a su publicidad, a la identificación de los responsables, a la auditoría de su correcto funcionamiento, al control de la intervención de los proveedores —con un control intenso sobre las fórmulas y límites de la contratación pública— y, sobre todo, la permeabilidad y sometimiento a control y escrutinio de todo ello no solo por el ciudadano, sino también por parte de los Tribunales en la labor de control sobre la actividad administrativa que con claridad establece el artículo 106.1 CE.

2. Redes, Infraestructura, interoperabilidad y ciberseguridad como condición de implantación

Como hemos anticipado, la implantación de inteligencia artificial en la ciudad inteligente presupone una infraestructura tecnológica compleja. No basta con que una Administración local manifieste su voluntad de utilizar sistemas inteligentes para ordenar el tráfico, controlar emisiones, gestionar residuos, vigilar zonas restringidas o detectar incumplimientos normativos. Para que tales sistemas resulten siquiera operativos y funcionales se requiere, con carácter previo, una conectividad suficiente, redes de telecomunicaciones de alta velocidad, dispositivos de captación de datos, sensores, cámaras, plataformas de tratamiento, almacenamiento seguro, interoperabilidad entre aplicaciones y medidas adecuadas de ciberseguridad. Estos elementos suelen analizarse desde una perspectiva puramente técnica, pero, desde luego, tienen una dimensión jurídica inmediata.

La conectividad condiciona la continuidad y fiabilidad de la captación de los datos que son la esencia y el arco de bóveda sobre el que se asienta todo el sistema. La interoperabilidad permite reconstruir el itinerario de la información desde su origen hasta su utilización en el expediente que se trate, mientras que la ciberseguridad implica la garantía de la integridad del propio sistema, evitando manipulaciones, accesos indebidos o pérdidas de información. Por su parte, la calidad de los datos puede determinar, en el ámbito sancionador, la exactitud de la imputación. La trazabilidad permite conocer qué versión del sistema operaba, qué parámetros utilizaba, qué mantenimiento se había realizado y qué controles se habían aplicado en el momento de los hechos.

Sin estos presupuestos, entiendo que la decisión sancionadora apoyada en inteligencia artificial o en dispositivos inteligentes resulta muy cuestionable, en el sentido de que no resultaría entendible que la complejidad tecnológica del sistema o esa supuesta infalibilidad implique que el ciudadano deba aceptar sin mayor discusión el resultado generado. Al contrario, entiendo que cuanto mayor sea la complejidad técnica, mayor debe ser la carga administrativa de documentación, explicación y sometimiento a control de la corrección del resultado obtenido. En este sentido, la corrección de la implantación, mantenimiento y correcto funcionamiento de este tipo de sistemas y tecnologías no son solo un presupuesto técnico(19), sino que, jurídicamente, deben considerarse una condición ineludible de validez, fiabilidad y control de la actuación administrativa resultante.

Ciertamente en cualquier ciudad inteligente, las redes de telecomunicaciones de alta velocidad constituyen, podemos decir, el sistema nervioso sobre el que se asientan buena parte de los servicios y potestades inteligentes. La expansión del 5G y de las redes de nueva generación permite conectar simultáneamente millones de dispositivos, reducir la latencia, transmitir datos en tiempo real y sostener aplicaciones que exigen comunicación inmediata entre sensores, plataformas y centros de decisión. Ello resulta imprescindible para sistemas de movilidad inteligente, vehículos conectados, control ambiental, seguridad urbana, gestión energética o vigilancia de zonas de bajas emisiones.

Ahora bien, estas redes no dependen exclusivamente del municipio. El despliegue de infraestructuras de telecomunicaciones se inserta en un sector regulado, de competencia estatal y con presencia determinante de operadores privados. Las concesiones de uso del dominio público radioeléctrico, la planificación del espectro, los derechos de los operadores, las condiciones de despliegue y la intervención de autoridades estatales y europeas muestran que la ciudad inteligente local depende y se construye sobre una infraestructura cuya regulación trasciende el ámbito puramente municipal. Esta circunstancia tiene importancia porque la Administración local que utiliza sistemas inteligentes para fines sancionadores puede depender de redes, servicios y dispositivos cuya disponibilidad no controla plenamente.

La colaboración público-privada aparece, por ello, como un dato estructural de la ciudad inteligente. Las Administraciones locales ordinariamente no disponen de medios propios suficientes para diseñar, programar, instalar, mantener y auditar todos los elementos que integran una red de telecomunicaciones propia —lo que puede resultar incluso innecesario y redundante al existir en muy buena medida numerosos operadores de telecomunicaciones que operan en este sector presididos, en principio, bajo la libre competencia propia del sector ex artículo 2 LGTel—. De ordinario acuden a operadores de telecomunicaciones, empresas de software, suministradores de sensores, entidades certificadoras, prestadores de servicios de mantenimiento, plataformas de gestión y consultoras especializadas. La externalización técnica no es, por tanto, una anomalía; es una consecuencia casi inevitable de la complejidad del sistema.

Ahora bien, tal complejidad consustancial a la ciudad inteligente no puede ser un pretexto para que una infraestructura puramente privada sea utilizada por la Administración para sancionar sin que exista capacidad real de supervisión y de control por parte del Ayuntamiento. Si los datos se captan por dispositivos instalados por contratistas, se transmiten por redes de operadores, se almacenan en plataformas privadas, se tratan mediante software privado y se auditan por entidades vinculadas al propio proveedor, el riesgo de desplazamiento o, incluso, inexistencia de un control público verdaderamente efectivo resulta evidente. La Administración seguiría produciendo masivamente actos con apariencia formal de actos administrativos (y lo más preocupante con los efectos de presunción de validez y de ejecutividad y ejecutoriedad que el ordenamiento jurídico les confiere), pero el núcleo decisorio de tales resoluciones se habría construido en un espacio técnico ajeno a su dominio y control efectivos.

A ello se suma el problema de la interoperabilidad. La ciudad inteligente suele estar formada por soluciones heterogéneas, adquiridas en momentos distintos, suministradas por proveedores diferentes y destinadas a finalidades sectoriales diversas. La movilidad, el medio ambiente, la seguridad, la energía o la gestión de residuos pueden operar sobre plataformas distintas, con estándares diferentes y con modelos de datos no siempre compatibles. Esta fragmentación puede dificultar la trazabilidad de la información y, en consecuencia, la defensa del ciudadano. Si no es posible reconstruir con claridad qué dato fue captado, por qué dispositivo, con qué calibración, mediante qué transmisión, con qué tratamiento y bajo qué regla de decisión, la prueba tecnológica ya no parece tan infalible desde el punto de vista de las garantías exigibles ante el ejercicio de potestades represivas.

La ciberseguridad representa otro presupuesto indispensable. En los procedimientos sancionadores algorítmicos, la integridad de los sistemas no debería considerarse como una cuestión meramente organizativa o formal, sino que merece ser contemplada como una garantía del derecho de defensa y de la presunción de inocencia. En ese sentido, una evidencia tecnológica en este nuevo contexto solo debería ser utilizada, bajo el prisma de la necesaria seguridad jurídica, si existen medidas adecuadas para evitar accesos no autorizados, manipulaciones, pérdidas, alteraciones, suplantaciones o injerencias externas. La Administración debe poder acreditar no solo que los datos empleados son correctos, sino que han sido obtenidos, conservados y tratados de forma íntegra y segura.

En este punto, el Esquema Nacional de Seguridad, la normativa de protección de datos y las exigencias europeas sobre inteligencia artificial confluyen en una misma dirección: los sistemas públicos que se destinen a estas finalidades potencialmente desfavorables para los ciudadanos (por su intensidad y por ser consideradas de riesgo) deben diseñarse con medidas técnicas y organizativas adecuadas. No debe bastar para superar el control de la fiabilidad del sistema la confianza genérica en un determinado proveedor —por muy sólida que sea la reputación o la trayectoria en el sector—, ni esa presunción de supuesta infalibilidad de las tecnologías algorítmicas, ni la invocación abstracta a la modernización administrativa o la muy frecuentemente autodenominación —con pretendidos efectos taumatúrgicos o vitola promocional— de <<ciudad inteligente>>. Muy al contrario, la Administración debe estar en condiciones de demostrar que el sistema funciona correctamente, que ha sido sometido a controles, que existen responsables identificados y que las incidencias pueden ser detectadas, documentadas y corregidas.

La publicación del Reglamento (UE) 2024/1689, de Inteligencia Artificial (en adelante RIA) refuerza estas consideraciones. Aunque su aplicación es escalonada y no desplaza el régimen general de ámbitos tan relacionados con esta materia como el procedimiento administrativo, la protección de datos de carácter personal, la contratación pública o el espinoso asunto de la responsabilidad, sí que introduce un marco europeo basado en la gestión del riesgo, la comprensión del funcionamiento de estas tecnologías, la calidad de los datos, la transparencia, la trazabilidad y, sobre todo, la necesaria supervisión humana.

Estas exigencias son particularmente relevantes cuando los sistemas de IA se utilizan en contextos públicos y pueden afectar a derechos fundamentales, al acceso a servicios esenciales o al ejercicio de potestades públicas. Desde esta óptica, la ciudad inteligente sancionadora debe concebirse como un entorno de riesgo jurídico cualificado, en la medida que cuando la Administración implanta sistemas de inteligencia artificial para detectar o perseguir infracciones no puede limitarse a adquirir unos dispositivos como cámaras inteligentes que determinadas empresas le ofrezcan en el mercado... Tal decisión requiere, por la trascendencia de la finalidad pública perseguida, al menos la verificación de la decisión misma de implantación de esos sistemas, su adecuación y corrección en cuanto a su funcionamiento, evaluar sus riesgos, documentar e identificar la responsabilidad en el tratamiento de los datos, asegurar la intervención humana cuando sea precisa y garantizar que el ciudadano pueda obtener una explicación suficiente de todo ese proceso y, finalmente, y lo más importante, sobre la corrección de la actuación que le afecta.

3. El presupuesto jurídico: legalidad, reserva y evitación de <<zonas inmunes al control>>

La implantación de inteligencia artificial en la ciudad inteligente exige, además de estas infraestructuras tecnológicas, una base jurídica suficiente. Esta afirmación, que podría parecer evidente, adquiere una importancia especial cuando los sistemas se orientan a finalidades represivas o sancionadoras, dado que, en este ámbito, la Administración no actúa como simple prestadora de servicios ni como gestora de recursos, sino como titular de una potestad pública indisponible especialmente incisiva, que por definición debe estar sometida a los principios de legalidad, tipicidad, culpabilidad, proporcionalidad y sometimiento a un procedimiento legalmente establecido, todo ello bajo el control jurisdiccional previsto en el artículo 106.1 CE.

La ausencia de un deseable marco jurídico completo y específico por parte del legislador español sobre las aplicaciones de tecnologías asistidas de inteligencia artificial por parte de la Administración pública no puede interpretarse como una autorización implícita para su utilización ilimitada y ajena a estos controles. El Derecho administrativo, bajo el prisma de la clásica formulación de García de Enterría, no debe dar lugar a espacios de <<inmunidad del poder>>, por mucho que la tecnología avance mucho más deprisa que la legislación.

Al contrario, cuanto más intensa sea la capacidad tecnológica de intervención pública, más necesario resulta reconducir su utilización a los principios constitucionales y legales que disciplinan el ejercicio de las potestades administrativas, lo que premonitoriamente ya refiere el artículo 18.4 CE.

Profundizando sobre las exigencias derivadas de estas premisas, cabe plantearse, en primer lugar, que exista competencia material de la Administración para actuar sobre el sector correspondiente en el sentido de que un Ayuntamiento puede emplear tecnología para mejorar su eficacia en el ejercicio de sus competencias en tráfico urbano, medio ambiente, disciplina urbanística, convivencia ciudadana o prestación de servicios, pero no puede hacerlo con invasión o desplazamiento de competencias estatales o autonómicas. En segundo lugar, debe existir habilitación normativa suficiente para la captación y tratamiento de datos de carácter personal cuando estos afecten a derechos fundamentales o a posiciones jurídicas protegidas. En particular, el ya aludido artículo 18.4 CE y el RGPD imponen límites relevantes respecto del acceso, obtención, tratamiento, conservación y cesión de información de carácter personal. La ciudad inteligente, que puede generar y manejar una ingente cantidad de datos sobre desplazamientos, hábitos, ubicaciones, conductas, comportamientos, perfiles o interacciones de los ciudadanos, evidentemente precisa estar técnicamente capacitada para operar con ellos, pero esa implementación tecnológica no le habilita para poder ser utilizados sin una finalidad legítima, proporcionada y normativamente habilitada.

En tercer lugar, cuando el sistema se proyecte sobre el ejercicio de la potestad sancionadora, debería respetarse el principio de reserva de ley (tan mermado hoy día) en el ámbito sancionador. En efecto, el artículo 25.1 CE impide sancionar conductas que no estén previamente tipificadas y proscribe cualquier forma de poder punitivo no sometido o cuyo ejercicio se materialice al margen a ley. Esta exigencia no se limita a la mera definición de infracciones y sanciones, sino que debe comprender también las condiciones de ejercicio de dicha potestad cuando la tecnología altera, como aquí sucede y de forma muy cualificada, la forma de detección, acreditación e imputación de los hechos con identificación de su posible autor. Si un sistema de inteligencia artificial que es susceptible de someter a la población indiscriminada y masivamente a una vigilancia permanente y sostenida en el tiempo de forma automatizada requiere, qué menos, una habilitación normativa que debe ser suficientemente clara en cuanto a finalidades, límites, sujetos responsables, datos tratados y garantías aplicables y ello, estando afectados con netitud derechos fundamentales podría llegar a plantear, según la intensidad de la afectación y el tipo de datos tratados, exigencias propias de la reserva de ley e incluso, en determinados supuestos, de ley orgánica, según lo establecido en el artículo 81 de la Constitución.

En cuarto lugar, debe garantizarse el control judicial de la conformidad a Derecho (según el artículo 70.1 y 70.2 LJCA) de los actos administrativos resultantes y también de la propia legalidad del sistema y de su implantación y correcto funcionamiento. En ese sentido, entiendo que el riesgo no reside ya, únicamente, en que determinados actos administrativos puedan escapar formalmente al control jurisdiccional(20), sino que de lo que se trata es de evitar que estos nuevos sistemas que producen actos de forma masiva resulten opacos, inaccesibles o incomprensibles para el ciudadano y, sobre todo, que el necesario juicio de legalidad sobre su corrección no quede ajeno al control jurisdiccional. En ese sentido, un acto sancionador puede estar aparente y formalmente motivado y ser recurrible, pero si el interesado no puede conocer cómo se generó la evidencia tecnológica, qué datos se utilizaron, qué parámetros operaron, qué grado de intervención humana existió, y si el propio sistema cumple con las condiciones mínimas y elementales para garantizar su correcto funcionamiento, el control jurisdiccional se quedará, necesariamente, en la mera apariencia y no podrá descender a la corrección a Derecho del propio sistema que, por descontado, seguiría funcionando masivamente ajeno al necesario escrutinio de la legalidad de su propia existencia, de su propia implantación y de la corrección y, por tanto, conformidad con los estándares constitucionales analizados.

En ese sentido, considero que el análisis sobre la legalidad de una resolución sancionadora algorítmica no debe ceñirse solamente al caso concreto, sino que el control de legalidad debería proyectarse desde la decisión de implantación del sistema hasta la resolución sancionadora final. Ello implica controlar la norma habilitante, el acuerdo de aprobación de la actuación automatizada, la contratación del sistema, la comprobación de la previa y preceptiva evaluación de riesgos, el cumplimiento del régimen jurídico de la protección de datos de carácter personal, las garantías relacionadas con la ciberseguridad y la auditoría del sistema, la supervisión humana y la posibilidad de contradicción. En fin, considero que, secuencialmente, el acto final sancionador es solo la manifestación visible de una cadena tecnológica y jurídica mucho más amplia y que el fallo en los eslabones intermedios, no solo el inicial y el final, puede o debería tener alguna consecuencia invalidante.

En definitiva, entiendo que el sometimiento a control de estos sistemas no es una exigencia ajena al procedimiento sancionador, sino que resulta presupuesto previo para su propia legitimidad y validez. Si la Administración se sirve de sistemas inteligentes para obtener indicios o proponer decisiones, debe asumir la carga de acreditar la regularidad de ese sistema. No puede trasladar al ciudadano la carga imposible de demostrar el error de una tecnología que le es totalmente desconocida, la clásica asimetría entre Administración y administrado se aprecia muy cualificadamente en estos entornos algorítmicos, y precisamente por ello, deben reforzarse las exigencias de transparencia, documentación y explicación.

III. GARANTÍAS EX ANTE EN EL USO DE INTELIGENCIA ARTIFICIAL PARA FINALIDADES REPRESIVAS Y SANCIONADORAS

1. De las garantías dentro del expediente a las garantías relacionadas con la implantación y el funcionamiento del sistema

El procedimiento administrativo sancionador ha sido tradicionalmente concebido como el espacio natural de garantía frente al ejercicio del ius puniendi del Estado por parte de la Administración. En el marco de la tramitación del procedimiento administrativo se ha venido concretando la imputación, se comunica al interesado el precepto legal infringido, las pruebas de cargo, se permite al administrado formular alegaciones, proponer prueba, discutir los hechos, combatir la calificación jurídica y recurrir, en fin, la resolución. Las garantías se han situado y ejercido, por tanto, dentro el expediente.

Sin embargo, la automatización y la inteligencia artificial, como hemos analizado, desplazan parcialmente ese protagonismo. Cuando la Administración actúa mediante sistemas algorítmicos, una parte relevante de la decisión no nace en el momento de redactar la resolución sancionadora, sino que se remonta a momentos muy anteriores: a la elección e implantación del sistema y del proveedor que lo suministra, instala y mantiene, incluso al momento de su programación, al tiempo de verificar la selección de datos de entrenamiento o funcionamiento, en la fijación de los umbrales o parámetros técnicos habilitantes de su puesta en marcha, en la determinación de reglas de alerta, en la auditoría del sistema, etcétera. Dicho de otro modo, la garantía ya no puede situarse solo y exclusivamente dentro del expediente pues ello significaría dar por sentada la validez de todo lo anterior y, por tanto, caer en esa presunción de infalibilidad que, realmente, no puede sustentarse en la mera apariencia o presunción ordinaria de validez de la actuación administrativa y es que una parte decisiva y determinante de la validez del ejercicio de la potestad sancionadora se ha construido mucho antes de la existencia misma de la conducta pretendidamente infractora, de la incoación del expediente y de la imposición de la sanción que se trate.

Esta circunstancia lleva a proponer la exigencia de una serie de garantías ex ante. No se trata de sustituir las garantías procedimentales clásicas, sino de completarlas con garantías previas que permitan asegurar que el sistema que da lugar a la propia existencia del procedimiento sancionador sea real y efectivamente controlable desde el punto de vista jurídico. Si el sistema de captación de datos no ha sido aprobado válidamente, si no se conocen los responsables de su funcionamiento, si no existen auditorías preceptivas, si los dispositivos no están debidamente homologados, si no cumplen con determinaciones técnicas exigibles, si la Administración, en definitiva, es incapaz de explicar la regla aplicada o el resultado obtenido, si el contratista conserva un dominio determinante o exclusivo sobre elementos esenciales del sistema o sobre el propio correcto funcionamiento del sistema (siendo rechazable que se controle a sí mismo y que no lo haga la propia Administración), las garantías posteriores del expediente resultarán, a todas luces, insuficientes.

Partiendo del régimen jurídico actual, el artículo 41 LRJSP habilita legalmente que determinadas actuaciones se realicen íntegramente por medios electrónicos sin intervención directa de empleado público. Pero esa posibilidad se acompaña de una exigencia previa y es que deben establecerse los órganos competentes para la definición de especificaciones, programación, mantenimiento, supervisión, control de calidad y, en su caso, auditoría del sistema y de su código fuente. Esta previsión legal evidencia que el legislador no concibe la automatización como un espacio libre de responsabilidad, sino como una forma de actuación que exige identificación organizativa, control técnico y posibilidad de imputación jurídica.

Las garantías ex ante cumplen, por ello, varias funciones. De un lado, permiten saber quién decidió automatizar y con qué alcance, ofreciendo ello un ámbito susceptible de control y, por lo tanto, arroja parámetros fácilmente comprobables para controlar su validez. De otro lado, permiten conocer qué procedimiento o qué fases del procedimiento se automatizan, pero es que también permiten identificar quién responde del diseño, mantenimiento, supervisión y de la auditoría del sistema. Finalmente, facilitan que el interesado pueda impugnar la actuación con un conocimiento, al menos, suficiente, lo que, a su vez, permite que el órgano judicial controle no solo el acto final, sino también el sistema que lo ha hecho posible, de forma que se evita que la Administración se pueda escudar en la opacidad tecnológica(21) para alcanzar un ámbito de actividad inmune al control jurisdiccional.

En materia sancionadora, estas garantías resultan, si cabe, aún más relevantes. La automatización puede afectar, como he anticipado, a actos de incoación, denuncias, requerimientos, notificaciones, propuestas de resolución, cálculos de sanción o resoluciones. Algunos de estos actos pueden parecer instrumentales, pero tienen una incidencia directa en la defensa del ciudadano, como ocurre, por ejemplo, cuando la falta de alegaciones frente a la incoación permite considerar dicha incoación como propuesta de resolución. En ese contexto, una notificación electrónica no accedida, una incoación automatizada y una tramitación sucesiva sin intervención real del interesado pueden desembocar en una sanción aparentemente sometida a un procedimiento, pero materialmente equivale a una <<sanción tecnológica de plano>>.

La expresión no pretende desconocer la existencia formal de expediente, sino advertir de una deriva funcional que se puede producir ante procedimientos extremadamente rápidos, masivamente incoados y formalmente correctos, en los que los ciudadanos apenas dispongan de capacidad real de contradicción.

La Administración obtiene eficiencia, reduce costes, evita caducidades y mejora su capacidad recaudatoria; pero el ciudadano pasará de la <<arbitrariedad y el azar>> (NIETO) a la certeza sancionadora, va a ser multado ante una imputación tecnológica que no comprende, frente a una prueba que no puede discutir y dentro de un procedimiento que avanza automáticamente y que le será antieconómico si recurre.

Por eso, el diseño jurídico de la inteligencia artificial sancionadora no debe limitarse a garantizar que exista un trámite de audiencia o a que, formalmente, quepa recurso. Además de ello debe garantizar que la audiencia sea útil. Y para que lo sea, el ciudadano debe poder conocer los elementos esenciales del sistema que han generado la imputación. La contradicción no se satisface permitiendo alegar contra una conclusión tecnológica opaca; exige poder discutir la fiabilidad del dato, la corrección del dispositivo, el funcionamiento del algoritmo, la corrección del tratamiento de los datos, la corrección de la identificación del sujeto y la adecuación jurídica de la conclusión alcanzada.

2. Aprobación, publicidad y trazabilidad: artículo 41.2 LRJSP y artículo 13 R.D. 203/2021

El artículo 41.2 LRJSP constituye una pieza central del régimen jurídico de la actuación administrativa automatizada. Su relevancia reside, de un lado, en que impone una exigencia organizativa previa y, además, en que permite un control jurídico del resultado de la automatización. La norma obliga a identificar los órganos competentes para definir especificaciones, programar, mantener, supervisar, controlar la calidad y, en su caso, auditar el sistema de información y su código fuente. Además, exige indicar el órgano que debe ser considerado responsable a efectos de impugnación.

Esta previsión debe ponerse en conexión con el artículo 13 del Real Decreto 203/2021, que desarrolla el régimen de actuación administrativa automatizada. Para la Administración General del Estado se exige autorización expresa por resolución del titular del órgano administrativo competente o del órgano ejecutivo correspondiente, publicación en la sede electrónica, indicación de los recursos procedentes y adopción de medidas adecuadas para salvaguardar los derechos, libertades e intereses legítimos de las personas interesadas. Aunque el régimen previsto para las entidades locales resulta mucho menos preciso, ello no puede dar lugar a rebajar las garantías cuando la actuación automatizada se proyecta sobre expedientes sancionadores en el entorno de una ciudad inteligente.

La aprobación de la actuación automatizada permite, por lo demás, conocer que la Administración ha decidido sustituir, total o parcialmente, la intervención humana directa por un sistema automatizado y, en nuestro caso, asistido de herramientas de inteligencia artificial. Esa decisión tiene trascendencia jurídica porque afecta a aspectos tan esenciales como la competencia, a la imputación del acto, a la responsabilidad, al control de calidad, a la auditoría y al derecho de defensa. No se trata solo de decidir la utilización de una simple herramienta informática, sino de alterar el modo en que la Administración produce actos jurídicos sancionadores.

Por ello, la falta de aprobación expresa o de publicación suficiente, como el ciudadano no podría conocer que el procedimiento sancionador ha sido automatizado, qué fases lo han sido, qué órgano aprobó el sistema, quién lo mantiene, quién lo supervisa, quién presta el servicio de mantenimiento y qué auditorías se han realizado, se reduce de forma sustancial su capacidad de defensa, unido a la dificultad para realizar cualquier control interno de la propia Administración y el control externo de los órganos jurisdiccionales, lleva a considerar que la exigencia de publicidad del sistema no es un formalismo o una cuestión de mera transparencia, sino una exigencia imprescindible para el sometimiento a control y para la validez del propio sistema.

El problema práctico es que muchas Administraciones no han adoptado acuerdos suficientemente claros de implantación de actuaciones automatizadas, o no los han publicado de forma accesible. En ocasiones, el ciudadano solo advierte la automatización cuando recibe una comunicación generada electrónicamente, una denuncia producida por un dispositivo o una resolución con firma automatizada. Esta práctica resulta especialmente problemática en el ámbito local, donde la regulación es menos precisa y donde las capacidades técnicas y jurídicas para implantar, documentar y auditar sistemas complejos son muy desiguales.

No basta, por tanto, con informar que existe un sistema automatizado, debería ser accesible de forma ágil y pronta —fin de poder materializar eventuales hallazgos relevantes en sede de alegaciones o recursos que tienen, como se sabe, plazos muy fugaces— para comprobar su corrección para el caso concreto. Ello incluiría saber qué versión del sistema estaba operativa, qué dispositivo captó la información, qué reglas se aplicaron, qué controles de seguridad existían, qué incidencias se registraron y qué intervención humana se produjo. Sin trazabilidad, la automatización se convierte en opacidad y, especialmente en materia sancionadora, ello colisiona frontalmente con la presunción de inocencia, el derecho de defensa y el necesario sometimiento de la actuación administrativa al control judicial.

El artículo 41.2 LRJSP menciona expresamente la auditoría del sistema y de su código fuente <<en su caso>>, lo que entiendo que no debería interpretarse de forma restrictiva cuando estamos ante resoluciones susceptibles de causar efectos desfavorables en la esfera jurídica de los ciudadanos. La posibilidad de comprobar estos extremos debería considerarse ordinariamente exigible, aunque su intensidad pueda modularse según el riesgo, la complejidad y el grado de automatización. En cualquier caso, la Administración debería estar en disposición de acreditar que el código fuente empleado se ha sometido a todos los controles necesarios antes de utilizar sus resultados como base y fundamento para el ejercicio de la potestad sancionadora. Ahora bien, auditoría no significa necesariamente publicidad ilimitada del código fuente, no solo para garantizar la seguridad del propio sistema pues la accesibilidad al mismo puede utilizarse para detectar vulnerabilidades técnicas y comprometer la seguridad del sistema, sino, adicionalmente, por motivos relacionados con la protección de la propiedad intelectual, el secreto empresarial.

Sin embargo, esos límites no pueden vaciar de contenido el derecho de defensa ni tampoco impedir el control jurisdiccional. En estos casos, deben articularse elementos equivalentes funcionales de transparencia tales como los informes de auditoría, certificaciones por organismos independientes o, al menos, distintos del contratista o prestador del servicio, descripción comprensible de la lógica de su funcionamiento, métricas y comprobación de inexistencia de errores sistémicos, cumplimiento de protocolos de mantenimiento, registros de incidencias, controles de sesgos y, finalmente, mecanismos de supervisión humana.

Ya existen algunas resoluciones judiciales(22) que han venido impidiendo el acceso al código fuente de una aplicación informática asistida de inteligencia artificial que determinaba si el solicitante de un bono social cumplía con los requisitos legales para ser considerado vulnerable(23).

La cuestión no podría plantearse en términos excluyentes entre la publicidad total del código fuente(24) o su opacidad absoluta, sino, quizá, cabría plantearse una tercera vía consistente en que los sistemas utilizados por la Administración para sancionar sean controlables. Si el código no puede hacerse público en su integridad, la Administración debe, al menos, proporcionar información suficiente para que el interesado pueda defenderse y, en un momento posterior, que el juez pueda valorar la fiabilidad del sistema puesto que la tecnología no puede convertirse en un blindaje frente al control de legalidad.

El RIA redunda en esta misma línea al imponer, para determinados sistemas de IA, como sin duda son los que estamos analizando, exigencias de gestión de riesgos, gobernanza de datos, documentación técnica, conservación de registros, transparencia, supervisión humana, precisión, solidez y ciberseguridad. Aunque el RIA no sustituye al artículo 41 LRJSP ni regula específicamente el procedimiento sancionador español, su lógica de control ex ante resulta plenamente coherente con la necesidad de documentar y auditar los sistemas utilizados por las Administraciones públicas cuando puedan afectar a derechos o producir efectos jurídicos relevantes.

Aunque el RIA no ofrece un régimen administrativo específico para el uso de sistemas de IA por las Administraciones públicas, sus exigencias de gestión del riesgo, documentación, transparencia, supervisión humana, precisión, solidez y ciberseguridad resultan plenamente trasladables —con mayor razón— cuando tales sistemas se emplean para finalidades públicas desfavorables o sancionadoras.

3. Externalización y garantías: artículo 9.2 TRLEBEP y artículo 17 LCSP

Otra cuestión de gran interés, ya avanzada, es que el fenómeno de la externalización que acarrea cualquier aproximación a un modelo cercano a la <<ciudad inteligente>>. Las Administraciones públicas y, especialmente, las entidades locales, no suelen disponer de medios propios suficientes para diseñar redes de sensores, desarrollar plataformas de inteligencia artificial, mantener sistemas de videovigilancia inteligente, auditar algoritmos, asegurar la ciberseguridad o garantizar la interoperabilidad de todos los dispositivos conectados. Sin duda, la contratación pública se convierte en este ámbito en una pieza esencial de la implantación de las herramientas asistidas de inteligencia artificial, como ha destacado un sector doctrinal muy relevante, en el ámbito de las ciudades inteligentes resultan muy importantes los problemas jurídicos derivados de la contratación pública para articular soluciones innovadoras y de gestión avanzada en entornos urbanos(25).

No me refiero aquí a una censura general de la colaboración privada, de hecho, la Administración ha externalizado diversos ámbitos de su actividad tanto hacia otros organismos del sector público como hacia el sector privado y, de este modo, puede servirse de contratistas como lo viene haciendo desde hace casi doscientos años(26), para todo tipo de servicios, suministros u obras imaginables. Con naturalidad, es evidente que acudirá a la contratación pública para adquirir este tipo de tecnologías, realizar obras de instalación de dispositivos, suministro de software, contratará servicios de mantenimiento o de soporte técnico y también lo precisará para realizar múltiples tareas auxiliares. Esta premisa entronca con la sabida posibilidad general de que la Administración opte por realizar una actividad <<bien directamente o bien de forma indirecta a través de cualquiera de las modalidades de gestión de servicios que permiten nuestras normas sobre contratación administrativa>>(27).

El fenómeno de la externalización, insisto, tiene una larga trayectoria y cuenta con ejemplos muy reveladores en ámbitos relacionados con la seguridad industrial(28), por ejemplo, con las potestades de certificación o de sometimiento a control técnico. Pero la cuestión jurídica relevante en este nuevo contexto consiste en determinar dónde se sitúa el límite y, en particular, en materia sancionadora, si ese límite puede venir marcado por la imposibilidad de atribuir al contratista un excesivo protagonismo en el ejercicio de funciones que impliquen autoridad o que se le otorgue margen decisorio directo o indirecto en el ejercicio de esta grave potestad pública.

Como es sabido, el artículo 17 LCSP dispone que no podrán ser objeto de contratos de servicios aquellos que impliquen ejercicio de la autoridad inherente a los poderes públicos. Por su parte, el artículo 9.2 TRLEBEP establece, correlativamente, que corresponden de forma exclusiva a funcionarios públicos las funciones que impliquen participación directa o indirecta en el ejercicio de potestades públicas o en la salvaguardia de los intereses generales. Estos preceptos adquieren una relevancia renovada en el contexto algorítmico, porque la participación privada puede no presentarse formalmente como decisión sancionadora, pero sí incidir sustancial y materialmente en la construcción de esa actuación.

Al respecto cabe hacer referencia a la STS de 14 de septiembre de 2020 (rec. n.º 5442/2019), que consideró contraria a Derecho la externalización de funciones sancionadoras de una Confederación Hidrográfica estatal en la entidad pública empresarial TRAGSATEC, medio propio de la Administración General del Estado, en la medida en que la relación profesional del personal de dicha empresa era de naturaleza laboral y no funcionarial, razonando (FJ III) que, cuando se desplaza el grueso de la decisión administrativa, en estos casos <<no es que la Administración externalice un servicio, es que (se) externaliza, podría decirse, ella misma, deja de ser Administración si deja de realizar lo que es básico para dictar actos administrativos>>(29). La más reciente STS de 12 de abril de 2023 (rec. n.º 8778/2021) puntualiza esta doctrina al considerar que el artículo 9.2 TRLEBEP, <<no puede llevarnos a la conclusión de que toda intervención en un procedimiento administrativo, incluso ejerciendo tareas colaboración con una Administración pública, está reservada exclusivamente a los funcionarios de carrera, impidiendo la participación de otro personal, incluidos el personal laboral o los funcionarios interinos, pues ello desborda al sentido y alcance de esta previsión y dejaría vacante de contenido las formas de gestión indirecta y de colaboración con las Administraciones publicas antes descritas, que necesariamente conllevan la intervención de personal no funcionarial en la tramitación de los expedientes de los que conocen>>. El Alto Tribunal acaba considerando ajustado a Derecho que el Ministerio de Fomento externalice a su medio propio, la mercantil pública INGENIERÍA Y ECONOMÍA DEL TRANSPORTE S.M.E. M.P., S.A, (INECO), la resolución de varios tipos de expedientes administrativos, incluyendo la elaboración de informes de los recursos potestativos de reposición, la tramitación de procedimientos y la preparación y <<envío a la firma>> de propuestas de resolución, de forma masiva, además, por lotes de quinientas resoluciones(30).

En nuestro ámbito, por ejemplo, el desarrollo de software a medida o para la instalación, puesta en funcionamiento o supervisión y mantenimiento de este tipo de tecnologías tanto para automatizar procedimientos o para generar evidencias sancionadoras plantea, en todo caso, una cuestión delicada pues esa externalización no se orientará a entidades del sector público (medios propios u otras entidades públicas) sino, con seguridad, hacia el sector privado.

En ese sentido, si bien es cierto que, formalmente, el contratista no sanciona, ya que la Administración se reserva la firma de la resolución sancionadora, sin embargo, el proveedor, que no firma la resolución, que no ostenta la competencia y que no tiene naturaleza administrativa, sí que tiene funciones muy relevantes que pasan por diseñar la arquitectura del sistema, fijar parámetros técnicos, definir reglas de clasificación, preseleccionar situaciones o perfiles susceptibles de infracción, configurar umbrales de probabilidad de comisión de infracción, mantenimiento de bases de datos y control de sus propias incidencias o errores Parece claro que, si esos elementos condicionan decisivamente la actuación administrativa posterior, la frontera entre prestación auxiliar o la colaboración técnica y participación indirecta en potestades públicas se torna en una línea tan difusa como difícil de deslindar.

Añadiremos que, aunque la Administración se reserve siempre la firma de la resolución que se trate, cabe señalar la dificultad añadida cuando esa firma se configura con la firma impersonal del sello del órgano, por ejemplo, si el sistema configura la firma de la resolución sancionadora con el mero sello o certificado digital del <<Ayuntamiento>>. Se dificulta de esta forma la personificación y la imputación de la responsabilidad personal, incluso la eventual posibilidad de recursos en actuaciones automatizadas, que debería venir claramente referida a una concreta persona física y evitar, por tanto, que sea un acto sin intervención humana.

Entiendo que tal rechazo en este ámbito vendría, en primer término, de que se puede comprometer la teoría del órgano ya que no se entendería la validez de un acto impersonal en el que no se pueda atribuir su autoría y, por tanto, la responsabilidad de su contenido al titular del órgano que se trate (alcalde, concejal, Pleno o Junta de Gobierno en la persona de sus respectivos presidentes). Pionero en plantearse estas cuestiones fue Valero Torrijos, cuando indicaba, ya hace varios lustros, que se <<produce una quiebra del elemento subjetivo del acto administrativo en la medida en que no existe una intervención inmediata del titular del órgano en la determinación de su contenido, por lo que difícilmente cabe imputarle de forma directa la producción del acto incluso en el caso de que estampara personalmente su firma en el mismo dado que se limita a validar formalmente la respuesta elaborada por un sistema automatizado>>(31).

En segundo lugar, se pueden plantear problemas relacionados con una posible incompetencia material, en cuanto que la potestad sancionadora viene siempre atribuida legalmente para ser ejercida por el titular de un concreto órgano administrativo, lo que no puede considerarse cumplido cuando la resolución venga con sello del órgano que se prevé en el artículo 42, a) LRJSP.

Ahora bien, aun cuando quien estampe su firma en la actuación sancionadora sea el titular del órgano que tiene atribuida legalmente la competencia sancionadora para incoar o resolver un expediente, es claro que no puede limitarse a validar, sin más su contenido, pues desaparecería esa condición esencial del acto administrativo formulada por Zanobini en cuanto acto de conocimiento, juicio, voluntad o deseo de la administración pública en ejercicio de sus funciones(32).

En la ciudad inteligente, el riesgo no es solo que una empresa privada tramite materialmente expedientes, sino que el propio sistema contratado predetermine la respuesta administrativa de tal forma que se sustituya la voluntad sancionadora de la Administración por el determinismo de la voluntad de un sistema informático privado. Si el software es capaz de detectar posibles infracciones, identificar responsables, generar denuncias, calcular sanciones y proponer resoluciones, la intervención humana posterior puede convertirse en una validación meramente formal de una decisión ya configurada y tomada por el contratista. Esta situación resulta especialmente problemática si la Administración carece del mínimo conocimiento y dominio técnico suficiente sobre tal programa para revisar críticamente el funcionamiento del sistema y poder explicarlo o someterlo a escrutinio.

El procedimiento para contratar este tipo de herramientas —y su validez— se convierte, por ello, en fundamental garantía ex ante(33). Los pliegos reguladores de la licitación deben definir con precisión qué tareas se externalizan, qué funciones permanecen reservadas al órgano administrativo, qué información debe facilitar el contratista, qué estándares de seguridad y calidad se exigen, qué auditorías se realizarán, qué derechos de acceso y supervisión conserva la Administración, incluso si adquiere la titularidad del código fuente del sistema, cómo se documentarán las incidencias, qué régimen de responsabilidad se prevé, cómo se garantiza el cumplimiento del marco normativo referente a la protección de datos de carácter personal y del RIA, qué estándares de seguridad y fiabilidad se aplicarán y, en fin, qué garantías se ofrecen al ciudadano para conocer y acceder, en su caso a la información que precise.

Especial importancia tiene, en efecto, la titularidad y disponibilidad de los datos. La Administración debe asegurar que los datos recabados y aquellos generados por el sistema, los registros de funcionamiento, los logs, los informes de auditoría, los metadatos y la documentación técnica necesaria para la defensa del interesado estén bajo dominio y supervisión pública. Si es el proveedor quien realiza su propia supervisión será muy difícil que la administración pueda ejercer las prerrogativas que el artículo 190 LCSP le confiere a la hora de someter a control el cumplimiento del contrato, dando lugar a que, ante una mala planificación o una redacción deficiente de los pliegos de la licitación, el adjudicatario pueda ampararse en secretos empresariales para impedir el acceso y el propio control administrativo o judicial de la fiabilidad de su sistema contratado. Cuando ello es así, genera una clara zona de opacidad y, por tanto, de inmunidad que resulta incompatible con la función sancionadora.

En efecto, entiendo que debe evitarse que el contratista sea quien controle la auditoría del sistema que él mismo ha diseñado e implantado y, en ocasiones, será quien lo mantenga y asegure su correcto funcionamiento. La auditoría, por tanto, debe ser funcionalmente independiente y permitir una verificación real. En sistemas de alto impacto o utilizados para finalidades represivas, con mayor motivo, la Administración debería prever auditorías externas, periódicas y documentadas, sin perjuicio de la supervisión interna por los órganos competentes. Como vemos, el autocontrol del proveedor no puede considerarse suficiente para desvirtuar la presunción de inocencia en el ejercicio de potestades sancionadoras.

La externalización plantea, además, un problema de imparcialidad. La empresa contratista puede tener incentivos económicos vinculados a la expansión del sistema, a su mantenimiento, a la renovación contractual o incluso, en algunos modelos, al volumen de actividad generada. Aunque tales incentivos no determinen necesariamente un funcionamiento incorrecto, sí justifican extremar las cautelas ya que el ejercicio de potestades sancionadoras exige objetividad, neutralidad e imparcialidad, y esas exigencias deben reflejarse en el diseño contractual y en los controles administrativos. Entiendo, por todo ello, que la externalización que comportan estas mejoras tecnológicas debe garantizar que el núcleo decisorio y el control del correcto funcionamiento del sistema permanezcan bajo control público efectivo.

Desde luego, ese control público efectivo no puede quedar reducido a la mera firma del titular del órgano competente, sino que tiene que alcanzar a comprender, supervisar, corregir y, en su caso, poder apartarse críticamente del resultado generado por el sistema. La reserva de función pública en materia sancionadora no queda satisfecha, en fin, si el funcionario se limita a asumir acríticamente la salida de una plataforma que no puede auditar ni explicar, sin comprometer la validez de la actuación automatizada resultante.

4. Transparencia, explicabilidad y auditoría: Del acceso al <<código fuente>> a otras medidas de control

Uno de los debates más relevantes en torno al uso público de algoritmos es el relativo al acceso al código fuente. Parte de la doctrina ha defendido que los algoritmos utilizados por la Administración para adoptar decisiones deben someterse a garantías similares a las de las normas reglamentarias(34), especialmente en materia de publicidad, transparencia y control. Otra parte ha matizado esta aproximación, considerando que los algoritmos no son reglamentos, pero sí deben someterse a exigencias funcionales de publicidad, explicabilidad, motivación y revisión.

En el ámbito sancionador, el debate no puede resolverse de manera abstracta. Lo decisivo es determinar qué información necesita el ciudadano para defenderse y qué información necesita la administración y, posteriormente el órgano jurisdiccional de lo contencioso-administrativo para controlar la legalidad de la actuación.

En algunos casos, el acceso al código fuente puede ser necesario, aunque hay quien ha sostenido con acierto que tal acceso puede no servir en modo alguno porque los algoritmos de caja negra no permiten escrutar las razones del resultado obtenido. En otros casos, puede bastar con acceder a una documentación o a una explicación técnica suficiente, obtener informes de auditoría de respaldo, descripción de reglas de funcionamiento, márgenes de error aplicados, certificados de homologación de dispositivos, acceso a registros de funcionamiento y, en fin, explicación comprensible de la lógica aplicada. Lo que no resulta admisible es que la Administración utilice un sistema opaco que apenas conoce ella misma, sin control de su correcto funcionamiento, sin someterse a las previsiones del artículo 41 LRJSP y que pretenda que su resultado sea aceptado como prueba indiscutible.

Por otro lado, la transparencia algorítmica no debe confundirse con la publicación indiscriminada de información sensible. Es evidente que pueden existir razones de seguridad, propiedad intelectual o secreto empresarial que aconsejen limitar el acceso general a determinados elementos, como el código fuente. Pero estas razones no pueden prevalecer automáticamente sobre el derecho de defensa.

En un Estado de Derecho, ningún ciudadano debe ser sancionado con base en una tecnología que no pueda ser sometida a una mínima contradicción suficiente. La explicabilidad cumple aquí una función garantista. El interesado debe poder saber cuándo se aprobó la instalación del sistema y si fue por un órgano competente y si había habilitación normativa para ello. Si las externalizaciones y contrataciones realizadas han sido ajustadas a Derecho, si el sistema es fiable y está convenientemente auditado y sometido a control por la propia administración. Todo ello sin olvidar que, además, la Administración tiene que estar en disposición de acreditar que el interesado puede comprender por qué el sistema le atribuye una conducta infractora, qué datos se han utilizado, cómo se han obtenido, cómo funciona el sistema, qué regla se ha aplicado, qué margen de error existe, qué intervención humana se ha producido y cómo puede impugnar el resultado.

La auditoría, por su parte, se configura en un mecanismo que permite verificar que el sistema funciona conforme a las especificaciones aprobadas, que no se ha desviado de su finalidad, que mantiene niveles adecuados de precisión, que no genera sesgos injustificados, que conserva registros y que permite reconstruir su actuación. La auditoría debe proyectarse tanto sobre el sistema en abstracto como sobre su funcionamiento en el caso concreto. No basta con certificar que una plataforma es adecuada en términos generales; debe poder comprobarse que funcionó correctamente cuando generó la evidencia que sustenta la sanción.

A este respecto, conviene insistir en que estas garantías no son ajenas al procedimiento ya que la homologación de los dispositivos, la calibración, la trazabilidad de los datos, la conservación de un registro o la auditoría del sistema forman parte de la garantía probatoria. Si la Administración no puede acreditar estos extremos, la prueba tecnológica pierde fuerza y puede ser cuestionada. Y si la prueba tecnológica es el elemento central de la imputación, la sanción puede quedar privada de soporte suficiente no pudiendo vencer la presunción de inocencia.

El RIA ofrece una arquitectura útil para reforzar estas garantías, especialmente, respecto de sistemas de alto riesgo como los que estamos analizando. Las exigencias de gestión de riesgos, de calidad de los datos, de documentación técnica, conservación de registros, transparencia, supervisión humana, precisión, solidez y ciberseguridad deben ser leídas, en el ámbito administrativo sancionador, como estándares que complementan las garantías tradicionales. No se trata de sustituir el marco normativo procedimental de la LPACAP ni las singularidades sancionadoras previstas en la LRJSP, sino de aprovechar el marco normativo europeo para la protección de datos y para el uso de inteligencia artificial que resulta perfectamente exigible a la Administración cuando emplee este tipo de tecnologías, de donde podemos concluir la necesidad de controlar la corrección del funcionamiento del sistema algorítmico sancionador, desde su diseño e implantación hasta su utilización concreta.

La transparencia, la explicabilidad y la implantación de auditorías permiten, en definitiva, pasar de un modelo de infalibilidad tecnológica o <<sanción tecnológica de plano>> a un modelo sancionador optimizado, pero sometido a un suficiente control jurídico. La Administración no puede hacer actos de fe respecto de este tipo de sistemas ni pedir al ciudadano que confíe ciegamente en el resultado del procedimiento sancionador algorítmico si no es capaz de demostrar que el sistema es jurídicamente fiable. Solo así podrá evitarse que la <<ciudad inteligente>> degenere en un gran hermano orwelliano, constituido, además, sin que la sociedad llegue siquiera a percatarse de ello, lo que representaría un escenario <<distópico y abominable>>(35).

5. Motivación reforzada y explicabilidad en actos desfavorables

La motivación, muy vinculada —como hemos anticipado— con la explicabilidad en este nuevo escenario, sigue constituyendo una de las garantías esenciales del acto administrativo y su importancia se intensifica cuando se trata de actos desfavorables o sancionadores. En el procedimiento sancionador algorítmico, la motivación debe cumplir una doble función. Por un lado, se debe exteriorizar las razones jurídicas y fácticas de la actuación, incluyendo la explicabilidad técnica del resultado en la medida en que se pueda comprender el porqué de la necesidad de la imposición de la sanción. Por otro, debe explicar suficientemente el papel desempeñado por el sistema tecnológico en la generación de la imputación, en la obtención y licitud de la prueba obtenida y en la decisión resultante.

No basta, por tanto, con indicar que un dispositivo detectó una infracción o que el sistema generó una alerta. La motivación debe incorporar los elementos necesarios para que el interesado comprenda la imputación y pueda combatirla y defenderse. Ello exige identificar el dispositivo o sistema utilizado, la fecha y hora de captación, la ubicación, el dato generado, la regla aplicada, el margen de error cuando proceda, la existencia de controles de funcionamiento, la intervención humana realizada y la conexión entre el resultado tecnológico y la calificación jurídica de los hechos. Coincidimos, por tanto, con Uríos Aparisi y Alamillo Domingo, al considerar que la exigencia de motivación supone, en estos casos, <<la necesidad de codificar y poder reconstruir, para cada caso singular, las reglas lógicas () que han sido aplicadas en el acto administrativo automático singular>>(36).

La motivación reforzada se justifica por la asimetría informativa y de medios existente entre Administración y ciudadano. El interesado desconoce la arquitectura del sistema, no controla sus datos, no sabe cómo funciona el software que ha operado ni si fue implantado y contratado con corrección y tampoco si realmente funciona con unos estándares de seguridad y fiabilidad legalmente establecidos. Si la resolución se limita a trasladar el resultado automatizado, la defensa queda debilitada cuando no suprimida. Por ello, la Administración debe asumir una carga argumentativa superior cuando se apoya en tecnologías tan complejas como las que analizamos.

Esta exigencia resulta coherente con el principio de buena administración y con el derecho fundamental que proscribe la indefensión. Una resolución que no descienda a estos detalles puede ser formalmente recurrible o se podrán realizar alegaciones, a ciegas, pero, por ello, será materialmente difícil de combatir por parte del ciudadano. La defensa del interesado solo será viable si conoce los elementos esenciales de la decisión. De lo contrario, se verá obligado a formular alegaciones genéricas frente a una tecnología que la Administración considera objetiva y fiable.

No me refiero a que la motivación reforzada revele todos los detalles técnicos del sistema en cada resolución, sino a que se proporcione la información jurídicamente relevante para comprender y discutir el caso. En procedimientos tramitados en masa, la Administración utiliza modelos estandarizados, anexos técnicos, enlaces a documentación publicada en sede electrónica o informes incorporados al expediente. Pero debe garantizar que, en cada caso, exista una conexión individualizada entre la evidencia tecnológica y el caso concreto.

Especial atención merece, en particular, la intervención humana y su alcance. Cuando el sistema automatizado genera una propuesta, alerta o resultado que, posteriormente, viene a ser validado por la administración con la firma de un responsable, la motivación debe permitir conocer si esa intervención ha sido real o meramente formal. La supervisión humana no puede reducirse a firmar masivamente cientos de resoluciones sin revisión efectiva. Si la intervención humana se invoca como garantía, debe poder acreditarse su contenido mínimo: que ha revisado individualizadamente los datos, comprobado que no han existido incidencias, que haya estudiado, en su caso, la existencia de alegaciones, proposición y práctica de pruebas alternativas y que haya tenido la posibilidad real de apartarse del resultado automatizado.

En este punto, la llamada <<reserva de humanidad>>(37) adquiere especial relevancia pues en actuaciones administrativas que implican valoración, ponderación, apreciación de prueba o imposición de sanciones, no deberían quedar entregadas íntegramente a sistemas automatizados. Es cierto que la inteligencia artificial puede auxiliar, ordenar información, detectar patrones o proponer resultados, pero la decisión sancionadora debe conservar un espacio de juicio humano responsable y eficaz para reservar la exigencia de imputabilidad, responsabilidad y control propias de toda actuación administrativa.

IV. EFECTOS SOBRE LA VALIDEZ DE LOS ACTOS Y CONTROL JURISDICCIONAL: LÍMITES DEL ANTIFORMALISMO Y NECESIDAD DE CONTROL DEL SISTEMA

1. Presunción de validez

Es sabido que los actos administrativos, según el artículo 39.1 LPACAP, se presumen válidos y producen efectos desde la fecha en que se dictan, salvo que en ellos se disponga otra cosa. Esta regla, esencial para la eficacia administrativa, adquiere una intensidad particular en los entornos algorítmicos. La Administración puede producir con estas tecnologías actos con una inusitada rapidez, notificarlos electrónicamente y ejecutarlos en plazos muy breves. El ciudadano, en cambio, debe reaccionar, comprender el expediente, obtener asesoramiento, solicitar documentación, formular alegaciones o recurrir. La tecnología acelera la actuación administrativa, pero, precisamente, no acelera en igual medida la capacidad defensiva del administrado.

Esta asimetría también desde el punto de vista temporal tiene consecuencias relevantes. En los procedimientos sancionadores automatizados, la sanción puede desplegar efectos antes de que se haya producido un control real del sistema que la sustenta. La impugnación llega después; la revisión judicial, mucho más tarde. Si el control se limita al acto individual y no alcanza al sistema, muchas irregularidades estructurales pueden quedar sin una respuesta real y efectiva.

El régimen tradicional de invalidez distingue entre nulidad de pleno derecho, anulabilidad e irregularidades no invalidantes. La jurisprudencia ha aplicado con frecuencia criterios antiformalistas, exigiendo que los defectos procedimentales produzcan indefensión material o tengan incidencia real en el sentido de la decisión. Esta orientación responde a una preocupación razonable por evitar nulidades puramente rituales o dilatorias. Sin embargo, en el ámbito algorítmico esta posición muy asentada y mayoritaria debería manejarse con mucha cautela.

Como hemos señalado, el problema de los sistemas automatizados asistidos de inteligencia artificial no siempre se manifiesta como la omisión aislada de un trámite. La irregularidad puede consistir en la ausencia de aprobación del sistema por el órgano competente, en la falta de publicación, en la inexistencia de identificación de responsables, en la ausencia de auditorías, en la imposibilidad de acceso tempestivo a documentación técnica, que existan irregularidades en el tratamiento de datos de carácter personal, que no exista una previa evaluación de impacto de datos de carácter personal, en el uso de datos para finalidades no previstas o que la externalización que se haya materializado en cuanto a la implantación de estas tecnologías desborde los límites que hemos expuesto invadiendo funciones públicas o que se desborden los parámetros del RIA.

Estas irregularidades no pueden calificarse como meros formalismos ya que afectan a la esencia misma de la validez de la legalidad de la actuación. Por ello, el antiformalismo y la apuesta por salvar la validez de los actos administrativos y por minimizar la trascendencia de los defectos procedimentales —planteamiento que, hasta ahora, es mayoritariamente asumido por la doctrina, por el legislador y por la jurisprudencia— pueden suponer un apuntalamiento de la opacidad estructural y la inmunidad para el control sobre la validez jurídica de este tipo de sistemas.

En un procedimiento sancionador ordinario, quizá pueda sostenerse que determinado defecto formal no causó indefensión porque el interesado pudo alegar y probar o recurrir hasta en sede judicial. Pero en un procedimiento algorítmico, si el interesado no pudo conocer ni discutir la legalidad del sistema que generó la imputación, la indefensión puede estar precisamente en la imposibilidad de identificar el defecto. Exigirle que demuestre cómo habría cambiado el resultado, como se exige hasta ahora para cualquier defecto formal, puede equivaler a imponerle una carga imposible.

La invalidez de los actos sancionadores algorítmicos debe analizarse, por tanto, atendiendo a la función garantista de las normas infringidas. Si el artículo 41.2 LRJSP exige identificar responsables y controles del sistema, su incumplimiento no puede tratarse como una irregularidad menor cuando impide al ciudadano y, posteriormente, al juez verificar la regularidad de la automatización. Si la normativa de protección de datos exige evaluación de impacto en tratamientos de alto riesgo con carácter previo, su omisión no puede considerarse irrelevante cuando el sistema se basa en captación y tratamiento masivo de datos personales. Si, como hemos visto, la contratación pública impide externalizar funciones de autoridad, la vulneración de tal garantía no puede subsanarse por la mera firma acrítica y masiva final de un órgano administrativo.

2. Vicios procedimentales, indefensión y restricción jurisprudencial de la nulidad

Como ya hemos señalado, la doctrina jurisprudencial española ha sido tradicionalmente restrictiva en la apreciación de la nulidad por defectos procedimentales. Con carácter general, se exige que la infracción procedimental haya privado al interesado de posibilidades reales de defensa o que el resultado hubiera podido ser distinto de haberse seguido correctamente el procedimiento. Esta doctrina ha permitido conservar actos cuando, pese a la existencia de irregularidades, el interesado pudo alegar, probar y recurrir incluso en sede judicial, en el entendido que ante el Juez ya ha podido desplegar toda su defensa con plenitud. Ello plantea algunas incógnitas que, por motivo de espacio y oportunidad, no puedo desarrollar ahora, pero solo dejo apuntado que, por ejemplo, el hecho de que en sede administrativa se haya producido indefensión —al denegarse una prueba o al impedirse el acceso a tal o cual documento relevante para la defensa— debería acarrear la nulidad de la actuación administrativa, según dispone la literalidad del artículo 47.1 a) y e) LPACAP al vulnerar derechos susceptibles de amparo constitucional y, al mismo tiempo, por vulnerar el procedimiento legalmente establecido, de forma que si tras sustanciarse el recurso contencioso-administrativo, ante el Tribunal competente ya si se accede al documento que se trate o si se admite la prueba que corresponda, no es admisible que el procedimiento judicial pensado y diseñado por el legislador (artículo 70.2 LJCA) y por el constituyente (artículo 106.1 CE) como garantía del ciudadano y como control de la legalidad de la actuación administrativa se convierta en vía de sanación de irregularidades administrativas a posteriori.

Como desarrollo en mi trabajo doctoral, esta construcción jurisprudencial y doctrinal debe ser revisada o, al menos, matizada en los procedimientos sancionadores algorítmicos. En ellos, la indefensión puede no consistir en la ausencia de un trámite visible, sino en la falta de acceso a las condiciones técnicas que permiten discutir la imputación. El interesado puede haber presentado alegaciones formalmente y, sin embargo, no haber tenido la más mínima oportunidad de defenderse si desconocía el funcionamiento, el régimen de implantación y de contratación del sistema, si no pudo acceder tempestivamente a los registros, controles o documentación técnica relevante o no pudo proponer o practicar prueba de descargo.

La exigencia de demostrar que el resultado habría sido distinto también resulta problemática. ¿Cómo puede el ciudadano acreditar que la resolución habría cambiado si no puede conocer el sistema que generó la prueba?, ¿cómo puede demostrar la relevancia de un defecto de auditoría si no tiene acceso a la auditoría o no existe? ¿cómo puede probar el error de un algoritmo si no conoce sus reglas básicas de funcionamiento?

Como se puede observar, la opacidad del sistema impide, precisamente, seguir sosteniendo la minimización de los efectos invalidantes de las irregularidades procedimentales ni la defensa a ultranza de la validez de los actos administrativos y su sanación casi mágica incluso ya en sede judicial.

En este sentido, el Derecho de la Unión Europea ofrece una perspectiva útil al vincular el derecho al debido procedimiento con el derecho a una buena administración y con la efectividad de la defensa. La buena administración en este contexto digital exige que el procedimiento no se convierta en una apariencia formal posterior a una decisión tecnológica ya preconfigurada. Si el sistema ha predeterminado la imputación, si la intervención humana ha sido meramente aparente y si las alegaciones del interesado no pueden incidir realmente en la decisión, el procedimiento pierde su función garantista y el pretendido defecto no es ya tanto formal, sino sustancial al afectar al núcleo del derecho de defensa.

Por ello, en la ciudad inteligente cuando ejerce potestades sancionadoras de forma tan intensa sobre la población debería apostarse por alzaprimar la eficacia invalidante de los vicios que afecten o estén relacionados con el propio sistema pues, por ejemplo, la falta de aprobación, publicidad, trazabilidad, auditoría, control humano o el impedimento para el acceso a documentación esencial del correcto funcionamiento del sistema no es que comprometa la validez del concreto resultado sancionador para un concreto administrado, sino que alcanza y permite cuestionar, por extensión, incluso la continuidad del propio sistema.

3. Control judicial del sistema: ¿un control de la corrección del acto o del funcionamiento del sistema?

En el sentido recién expuesto, el control jurisdiccional de la Administración, establecido en el ya reiteradamente citado artículo 106.1 CE, debe adaptarse a la transformación tecnológica de la actuación administrativa. En los procedimientos sancionadores algorítmicos, el juez debe poder examinar no solo la corrección del acto concreto, sino que tal control también debe alcanzar al sistema que ha contribuido a producir el acto cuestionado. En consecuencia, tras la interposición del recurso contencioso-administrativo, el recurrente podrá interesar que se remita al Juzgado toda la información suficiente y relevante para valorar no solo la legalidad del acto impugnado, sino también la del sistema que lo ha producido o condicionado. En particular, debe poder comprobar el Juzgador, a la luz de la remisión del expediente o, en su defecto, como resultado de la proposición de prueba, si existe base jurídica para el uso del sistema, si fue aprobado conforme al artículo 41.2 LRJSP, si tal implantación se publicó adecuadamente, si se identificaron responsables, si se respetó la normativa de protección de datos, si se cumplieron las exigencias de contratación pública, si hubo auditorías exigibles, si el sistema o el dispositivo concreto está homologado o calibrado, si la evidencia se conservó íntegramente, si se han cumplido las exigencias del RGPD y del RIA y si el interesado pudo ejercer su defensa de forma suficiente y adecuada.

El objeto del control judicial, por tanto, debe ampliarse funcionalmente, pues cuando el acto sancionador es un producto algorítmico, la legalidad del acto depende de la legalidad de todo el sistema. No cabe aislar la resolución final de los procesos sancionadores algorítmicos que la alimentan ya que, si la Administración utiliza un sistema para captar hechos, generar indicios o clasificar conductas, el juez debe poder verificar que dicho sistema no introduce una responsabilidad objetiva, no consolida un sistema automatizado arbitrario, incontrolado, con sesgos o irradiante de indefensión.

De esta forma el control judicial del sistema cumplirá, además de la función revisora natural de la jurisdicción, en una función preventiva. Si los tribunales exigen aprobación, publicidad, trazabilidad, auditoría y explicación, las Administraciones incorporarán estas garantías, como cabalmente resulta exigible, antes de su implantación y puesta en funcionamiento. Si, por el contrario, los defectos estructurales se tratan como formalidades irrelevantes se incentivará una automatización opaca y jurídicamente débil, dando lugar a la implantación descontrolada de este tipo de sistemas y tecnologías absolutamente al margen de la Ley.

No resulta admisible, por tanto, que una autodenominada <<ciudad inteligente>> consista en la contratación del suministro, instalación y mantenimiento de cámaras de vigilancia asistidas con sistemas de inteligencia artificial junto con el servicio de <<gestión automatizada integral>> de los expedientes sancionadores, para establecer sistemas sancionadores automatizados y que tal adquisición se materialice tras la aprobación de unos modelos de <<pliegos tipo>>, facilitados en muchas ocasiones por los propios contratistas, y que no exista más control ni prevención que la publicación de esos pliegos en la plataforma de contratación pública correspondiente. Resulta evidente que tampoco podría sostenerse que la validez del sistema se pueda fundamentar nada más que en la supuesta infalibilidad de la inteligencia artificial, a modo de axioma indiscutible, y que el control sobre la corrección del propio sistema consista en la supervisión realizada por el mismo contratista.

BIBLIOGRAFÍA

ALAMILLO DOMINGO, I. y URIOS APARISI, X., La actuación administrativa automatizada en el ámbito de las Administraciones públicas. Análisis jurídico y metodológico para la construcción y la explotación de trámites automáticos, Escola d’Administració Pública de Catalunya, Barcelona, 2011.

BENÍTEZ PALMA, E. y TERÉ PÉREZ, A., <<Entusiasmo robótico y externalización del procedimiento administrativo>>, Comunicación al Ciclo de conferencias del Observatorio de Transformación Digital del Sector Público de la Universidad de Valencia, 14 de abril de 2021.

BOIX PALOP, A., <<Los algoritmos son reglamentos. La necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la administración para la adopción de decisiones>>, Revista de Derecho Público: Teoría y Método, n.º 1, 2020.

BOIX PALOP, A., <<Transparencia en la utilización de inteligencia artificial por parte de la Administración>>, El Cronista del Estado Social y Democrático de Derecho, n.º 100, 2022, pp. 90-105.

CANALS I AMETLLER, D., <<La jurisprudencia ante el ejercicio privado de la función pública de control técnico por razones de seguridad>>, Revista del Poder Judicial, n.º 56, 1999, pp. 459-479.

CANALS I AMETLLER, D., El ejercicio por particulares de funciones de autoridad. Control, inspección y certificación, Comares, Granada, 2003.

CANALS I AMETLLER, D., <<El ejercicio de potestades administrativas por operadores privados en régimen de mercado>>, en GAMERO CASADO, E. (dir.), La potestad administrativa: concepto y alcance práctico de un criterio clave para la aplicación del Derecho administrativo, Tirant lo Blanch, Valencia, 2021, pp. 320-387.

CANTERO MARTÍNEZ, J., <<La incidencia del fenómeno de la externalización en la Administración General del Estado. ¿Existe algún límite?>>, Documentación Administrativa, n.º 286-287, 2010.

CERDÁ MESEGUER, J. I., <<Protección de datos personales en las ciudades inteligentes ¿es obligatoria la evaluación de impacto?>>, en BARRERO RODRÍGUEZ, C. y SOCÍAS CAMACHO, J. M. (coord.), La ciudad del siglo XXI. Transformaciones y retos: actas del XV Congreso de la AEPDA, INAP, Madrid, 2020.

CERRILLO I MARTÍNEZ, A., <<Los servicios de la ciudad inteligente>>, en BARRERO RODRÍGUEZ, C. y SOCÍAS CAMACHO, J. M. (coord.), La ciudad del siglo XXI. Transformaciones y retos: actas del XV Congreso de la AEPDA, INAP, Madrid, 2020.

CERRILLO I MARTÍNEZ, A., <<Automatización e inteligencia artificial>>, en MARTÍN DELGADO, I. (dir.), El procedimiento administrativo y el régimen jurídico de la Administración pública desde la perspectiva de la innovación tecnológica, Iustel, Madrid, 2020.

CORTÉS, O., <<Algoritmos y algunos retos jurídico-institucionales para su aplicación en la Administración pública>>, Revista Vasca de Gestión de Personas y Organizaciones Públicas, n.º 18, 2020.

COTINO HUESO, L., <<Caso Bosco, a la tercera tampoco va la vencida. Mal camino en el acceso los algoritmos públicos>>, Diario La Ley, n.º 84, Sección Ciberderecho, 17 de mayo de 2024.

DEAKIN, M. y AL WAER, H., <<From intelligent to smart cities>>, Intelligent Buildings International, vol. 3, 2011, pp. 133-139.

FAGAN, F., <<The Un-Modeled World: Law and the Limits of Machine Learning>>, MIT Computational Law Report, vol. 4, 2022.

FERNÁNDEZ RODRÍGUEZ, T. R., <<Jurisprudencia y computadores>>, Revista de Administración Pública, n.º 64, 1971, pp. 327-336.

FERNÁNDEZ RODRÍGUEZ, T. R., <<Arbitrariedad y discrecionalidad>>, en Estudios sobre la Constitución Española. Homenaje al Profesor Eduardo García de Enterría, vol. III, Civitas, Madrid, 1991, pp. 105-106.

FERNÁNDEZ SALMERÓN, M., <<Soluciones innovadoras y gestión avanzada en entornos urbanos: Problemas jurídicos derivados de la contratación pública en el desarrollo de “ciudades inteligentes”>>, Istituzioni del federalismo: Rivista Di Studi Giuridici E Politici, n.º 4, 2015.

FUERTES LÓPEZ, M., <<Reflexiones ante la acelerada automatización de actuaciones administrativas>>, Revista jurídica de Asturias, n.º 45, 2022, pp. 105-124.

GARCÍA DE ENTERRÍA, E., La Constitución como norma jurídica y el Tribunal Constitucional, Civitas, Madrid, 2006.

GARCÍA DE ENTERRÍA, E. y FERNÁNDEZ RODRÍGUEZ, T. R., Curso de Derecho Administrativo, vol. I, Civitas, Madrid, 2001.

HUERGO LORA, A., <<Por qué aciertan las sentencias sobre el ‘algoritmo’ del bono social eléctrico>>, Almacén de Derecho, 2024.

IZQUIERDO CARRASCO, M., <<Actuaciones automatizadas en la sanción de irregularidades en el orden social>>, en COTINO HUESO, L. y TODOLÍ SIGNES, A. (coord.), Explotación y regulación del uso del big data e inteligencia artificial para los servicios públicos y la ciudad inteligente, Tirant lo Blanch, Valencia, 2022.

MANTEGNA, M., No soy un robot: Construyendo un marco ético accionable para analizar las dimensiones de impacto de la inteligencia artificial, Universidad de San Andrés, Buenos Aires, 2022.

MARTÍN DELGADO, I., <<Naturaleza, concepto y régimen jurídico de la actuación administrativa automatizada>>, Revista de Administración Pública, n.º 180, 2009.

PARADA VÁZQUEZ, J. R., <<La segunda descentralización del estado autonómico al municipal>>, Revista de Administración Pública, n.º 172, 2007, pp. 35 y ss.

PONCE SOLÉ, J., <<Transdisciplinariedad para la lucha contra la corrupción y la promoción del buen gobierno>>, Encuentros multidisciplinares, vol. 19, n.º 57, 2017.

PONCE SOLÉ, J., <<El derecho a la ciudad en la gestión inteligente del territorio>>, en AGUADO I CUDOLÀ, V. y CASANOVAS I IBÁÑEZ, O. (dir.), El derecho a la ciudad: el reto de las smart cities, Atelier, Barcelona, 2018.

PONCE SOLÉ, J., <<Inteligencia artificial, Derecho administrativo y reserva de humanidad>>, Revista General de Derecho Administrativo, n.º 50, 2019.

PONCE SOLÉ, J., <<A propósito de la reserva de humanidad y de la supervisión humana de la inteligencia artificial>>, 2022. Blog personal.

PONCE SOLÉ, J., <<Reserva de humanidad y supervisión humana de la inteligencia artificial>>, El Cronista del Estado Social y Democrático de Derecho, n.º 100, 2022, pp. 58-67.

PONCE SOLÉ, J., <<Por qué se equivocan las sentencias sobre el algoritmo del bono social eléctrico>>, Almacén de Derecho, 2024.

SORIANO ARNANZ, A., <<Decisiones automatizadas: problemas y soluciones jurídicas. Más allá de la protección de datos>>, Revista de Derecho Público: Teoría y Método, vol. 3, 2021, pp. 85-127.

SORIANO ARNANZ, A., <<El uso de sistemas automatizados por los poderes públicos>>, en COTINO HUESO, L. y TODOLÍ SIGNES, A. (coord.), Explotación y regulación del uso del big data e inteligencia artificial para los servicios públicos y la ciudad inteligente, Tirant lo Blanch, Valencia, 2022, pp. 193 y ss.

VALERO TORRIJOS, J., El régimen jurídico de la e-Administración. El uso de los medios informáticos y telemáticos en el procedimiento administrativo común, 2.ª ed., Comares, Granada, 2007.

VELASCO RICO, C. I., <<La ciudad inteligente: entre la transparencia y el control>>, Revista General de Derecho Administrativo, n.º 50, 2019.

VESTRI, G., <<Denegación vs. derecho de acceso al código fuente en los sistemas algorítmicos>>, en COTINO HUESO, L. y CASTELLANOS CLARAMUNT, J. (coord.), Transparencia y explicabilidad de la inteligencia artificial, Tirant lo Blanch, Valencia, 2022.

ZANOBINI, G., Corso di Diritto Amministrativo, vol. I, 8.ª ed., Giuffrè, Milán, 1958.

NOTAS:

(1). El presente trabajo se enmarca y fundamenta, en muy buena medida, en los resultados alcanzados tras la investigación realizada con ocasión de la elaboración y defensa de mi tesis doctoral, titulada <<Las sanciones administrativas en la ciudad inteligente: innovación tecnológica y potestad sancionadora en nuevos entornos urbanos>>. Aunque dicho estudio se encuentra disponible en abierto en el Repositorio Institucional de la Universidad de Murcia (ENLACE), comoquiera que dicho trabajo está pendiente publicación en una editorial jurídica, el lector me dispensará que realice referencias genéricas a dicho trabajo sin referir el paginado exacto de la publicación final y que aligere las abundantísimas referencias en estas materias, remitiéndome a mi trabajo doctoral para mayor detalle.

(2). Velasco Rico, C. I., <<La ciudad inteligente: entre la transparencia y el control>>, Revista General de Derecho Administrativo, n.º 50, 2019, pp. 1 a 8. Disponible en:

ENLACE.

(3). Deakin, M. y Al Waer., H., <<From intelligent to smart cities>>, Intelligent Buildings International, vol. 3, 2011, pp. 133 a 139. Los autores relatan la evolución terminológica de la CI vinculándola a la evolución de la técnica, pero también denuncian el uso autocomplaciente que, en ocasiones, se emplea del concepto atribuyéndose nominalmente el carácter de <<inteligente>> con fines publicitarios, incluso describen cierta <<ansiedad que tiene más que ver con ciudades que quieren atender a necesidades del mercado que con la inteligencia requerida para considerarlas inteligentes>>. Disponible en: ENLACE.

(4). En el Dictamen del Comité Económico y Social Europeo sobre <<Las ciudades inteligentes como motor de una nueva política industrial europea>> (2015/C 383/05) Disponible en: ENLACE ya se indicaba que la CI se asienta sobre seis <<pilares fundamentales>>: (i) tecnologías e instrumentos para la eficiencia energética e integración de fuentes renovables; (ii) difusión de plataformas tecnológicas y de conectividad para crear los nuevos sistemas de servicios digitales; (iii) nuevos servicios digitales para mejorar la calidad de vida y laboral de ciudadanos y empresas; (iv) modernización de las infraestructuras urbanas y rediseño urbano; (v) educación y formación de los ciudadanos, las empresas y el sector público en materia de competencias digitales; y (vi) un modelo de sostenibilidad económica y financiera para las inversiones.

(5). Por su parte, el Documento temático sobre ciudades inteligentes del Observatorio Hábitat III, resultado de la Conferencia de la ONU sobre Vivienda y Desarrollo Sostenible (Mayo 2015), recogía ya varias definiciones desde distintos sectores, considerando que la Ciudad Inteligente I se corresponde con una infraestructura económica, institucional, social y física ‘inteligentes’, que asegura la centralización de sus ciudadanos en un ambiente sostenible; y la caracterizan factores como la economía inteligente, movilidad inteligente, personas inteligentes, ambiente inteligente, vivienda inteligente, Gobierno inteligente, enfocando el uso de las TICs para mejorar la eficiencia y competitividad de las ciudades. Disponible en ENLACE. Naciones Unidas considera, además, que para el año 2050 el 68% de la población mundial vivirá en zonas urbanas en el año 2050, disponible en: ENLACE.

(6). Ponce Solé, J., <<El derecho a la ciudad en la gestión inteligente del territorio: planteamiento general. La transdisciplinariedad, el derecho a la ciudad y el reto de las smart cities>>, Aguado i Cudolá, V. y Casanovas I Ibáñez, O., (Dirs.), El derecho a la ciudad: el reto de las smart cities, Atelier, Barcelona, 2018; y aún antes, del mismo autor, <<Transdisciplinariedad para la lucha contra la corrupción y la promoción del buen gobierno. Las experiencias de un instituto de investigación y un postgrado universitarios>>, Encuentros multidisciplinares, Universidad Autónoma de Madrid, Vol. 19, n.º 57, 2017, disponible en ENLACE.

(7). Cfr. Fernández Salmerón, M., <<Soluciones innovadoras y gestión avanzada en entornos urbanos: Problemas jurídicos derivados de la contratación pública en el desarrollo de <<ciudades inteligentes>>>>, Istituzioni del federalismo: Rivista Di Studi Giuridici E Politici, n.º 4, 2015 (Ejemplar dedicado a: <<Smart Cities>> e amministrazioni intelligenti), p. 997. Disponible en: ENLACE.

(8). Velasco Rico, C. I., <<La ciudad inteligente: entre la transparencia y el control>> op. cit., p. 8.

(9). Parada Vázquez, J. R., <<La segunda descentralización del estado autonómico al municipal>>, Revista de Administración Pública, n.º 172, 2007, pp. 35 y ss. Disponible en: ENLACE.

(10). Cerrillo i Martínez, A., <<Los servicios de la ciudad inteligente>>, Barrero Rodríguez, C. y Socías Camacho, J. M. (Coords.), La ciudad del siglo XXI. Transformaciones y retos: actas del XV Congreso de la AEPDA, INAP, Madrid, 2020, pp. 8 y ss.

(11). Cfr. Cerdá Meseguer, J.I., <<Protección de datos personales en las ciudades inteligentes ¿es obligatoria la evaluación de impacto?>>, Barrero Rodríguez, C. y Socías Camacho, J. M. (Coords.). La ciudad del siglo XXI. Transformaciones y retos: actas del XV Congreso de la AEPDA del año 2020, INAP, Madrid, 2020.

(12). Un excelente comentario sobre dicha sentencia —que se puede consultar en este enlace ENLACE — se encuentra en García de Enterría, E., La Constitución como norma jurídica y el Tribunal Constitucional, Civitas, Madrid, 2006. pp. 263 y ss.

(13). Fernández Rodríguez, T.R., <<Jurisprudencia y computadores>>, Revista de Administración Pública, n.º 64, 1971, pp. 327 a 336. Disponible: ENLACE

(14). Valero Torrijos, J., El régimen jurídico de la e-Administración. El uso de los medios informáticos y telemáticos en el procedimiento administrativo común, 2.ª ed., Comares, Granada, 2007.

(15). Alamillo Domingo, I. y Urios Aparisi, X., <<La actuación administrativa automatizada en el ámbito de las Administraciones públicas. Análisis jurídico y metodológico para la construcción y la explotación de trámites automáticos>>, Escola d’Aministració Pública de Catalunya, 2011, p. 26. Disponible en: ENLACE.

(16). Un ejemplo de la aplicación de estos sistemas en el ámbito de la Seguridad Social se analiza en el trabajo de Izquierdo Carrasco, M., <<Actuaciones automatizadas en la sanción de irregularidades en el orden social>>, en cotino hueso, l. y todolí signes, a. (Coords.), Explotación y regulación del uso del big data e inteligencia artificial para los servicios públicos y la ciudad inteligente, Tirant lo Blanch, Valencia, 2022.

(17). Cerrillo I Martínez, A., <<Automatización e inteligencia artificial>>, en martín delgado, i. (Dir.), El procedimiento administrativo y el régimen jurídico de la Administración pública desde la perspectiva de la innovación tecnológica, Iustel, Madrid, 2020, p. 394.

(18). Es el caso del algoritmo empleado por un servicio estatal de empleo austriaco que, en lugar de utilizar sistemas tradicionales como el orden de antigüedad en la situación de desempleo para optar a nuevas ofertas de trabajo, se utilizó para seleccionar personas con empleabilidad más alta, tomando como referencia los datos provenientes de titulaciones, experiencia, curricula y la mayor duración de contratos previos, lo que daría como resultado que los desempleados varones de origen caucásico resultasen preferentes para cubrir vacantes, por su supuesto mayor grado de empleabilidad demostrado de manera automatizada, aunque el sexo, la raza o el color de piel no fuesen datos tenidos en cuenta por el sistema. Para superar este importante escollo se ha propuesto el empleo de medidas ex post para corregir sesgos sistémicos, como la realización de cursos de refuerzo o programas especiales de empleabilidad para colectivos vulnerables, a fin de evitar esos resultados no queridos. Buena muestra de la preocupación por este ámbito es el trabajo de soriano arnanz, a., <<Decisiones automatizadas: problemas y soluciones jurídicas. Más allá de la protección de datos>>, Revista de Derecho Público: Teoría y Método, Vol. 3, 2021, pp. 85 a 127. Específicamente, la misma autora aborda este problema en <<El uso de sistemas automatizados por los poderes públicos. El caso del sistema empleado por el servicio público de empleo austriaco>>, cotino hueso, l. y todolí signes, a. (Coords.), Explotación y regulación del uso del big data e inteligencia artificial para los servicios públicos y la ciudad inteligente, Tirant lo Blanch, Valencia, 2022, pp. 193 y ss.

(19). Cortés, O., <<Algoritmos y algunos retos jurídico-institucionales para su aplicación en la Administración pública>>, Revista Vasca de Gestión de Personas y Organizaciones Públicas, n.º 18, 2020. El autor ya adelantaba que <<los algoritmos trasladan a la Administración retos jurídicos de una complejidad no conocida hasta ahora>>, p. 57.

(20). Son ejemplos claros de la desincentivación del legislador para disminuir el volumen de recursos contencioso-administrativos por un lado la introducción de las reducciones proporcionales de las sanciones por conformidad y reconocimiento del administrado, con renuncia a la formulación de recursos (artículo 85 LPACAP) y, por otro lado, la modificación en materia de costas procesales en la jurisdicción contencioso-administrativa que se operó por virtud de la disposición final tercera de la L.O. 7/2015, de 21 de julio, por la que se modificó la L.O. 6/1985, de 1 de julio, del Poder Judicial; el vigente artículo 139 LJCA obliga a la imposición de costas, en todo caso, por criterio del vencimiento, mientras que con anterioridad no se imponían las costas en primera instancia aunque se desestimase el recurso.

(21). Mantegna, M., No soy un robot: Construyendo un marco ético accionable para analizar las dimensiones de impacto de la inteligencia artificial, Universidad de San Andrés, Centro de Estudios de Tecnología y Sociedad, Buenos Aires, 2022. Disponible en: ENLACE. La autora sostiene razonadamente que <<la opacidad de los algoritmos conduce a que sea difícil poder auditarlos, y por ende detectar sus errores y atribuir responsabilidad por los daños que causen>>, p. 35.

(22). Se trata de la SJCCA de 30 de diciembre de 2021 del Juzgado Central de lo Contencioso-Administrativo núm. 8 y la SAN de 30 de abril de 2024, que resuelve el recurso de apelación frente a la misma. Respecto de la primera puede encontrarse una crítica fundada en el trabajo de Fuertes López, M., <<Reflexiones ante la acelerada automatización de actuaciones administrativas>>, Revista jurídica de Asturias, n.º 45, (septiembre 2022), pp. 105 a 124. Disponible en: ENLACE. Respecto de la segunda ha habido un interesante debate doctrinal en el blog Almacén de Derecho, entre aquellos que consideran acertadas estas sentencias, cfr. Huergo Lora, A., <<Por qué aciertan las sentencias sobre el ‘algoritmo’ del bono social eléctrico>>, Blog Almacén de Derecho, 10 de mayo de 2024 (Disponible en: ENLACE); y quienes las consideran erradas, cfr. Ponce Solé, J., <<Por qué se equivocan las sentencias sobre el algoritmo del bono social eléctrico>> , Blog Almacén de Derecho, 13 de mayo de 2024 (Disponible en: ENLACE). En el mismo sentido, cfr. Cotino Hueso, L. <<Caso Bosco, a la tercera tampoco va la vencida. Mal camino en el acceso los algoritmos públicos>>, Diario la Ley, n.º 84, Sección Ciberderecho, 17 de mayo de 2024 (Disponible en: ENLACE).

(23). Disponible en: ENLACE.

(24). Cfr. Boix Palop, A., <<Transparencia en la utilización de inteligencia artificial por parte de la Administración>>, El Cronista del Estado Social y Democrático de Derecho, n.º 100, septiembre de 2022, pp. 90 a 105. Y también muy relevante el es trabajo de Vestri, G., <<Denegación vs. Derecho de acceso al código fuente en los sistemas algorítmicos. Una perspectiva jurídico-administrativa>>, Cotino Hueso, L. y Castellanos Claramunt, J. (Coords.), Transparencia y explicabilidad de la inteligencia artificial, Tirant lo Blanch, Valencia, 2022.

(25). Fernández Salmerón, M., <<Soluciones innovadoras y gestión avanzada en entornos urbanos: Problemas jurídicos derivados de la contratación pública en el desarrollo de ‘ciudades inteligentes’>>, Istituzioni del federalismo: Rivista Di Studi Giuridici E Politici, n.º 4, 2015 (Ejemplar dedicado a: <<Smart Cities>> e amministrazioni intelligenti), p. 997. Disponible en: ENLACE.

(26). Ley de 2 de abril de 1845, sobre los Consejos Provinciales, en su artículo 8 y su reglamento de 11 de octubre de 1845 ya se refería a la contratación pública; y, posteriormente, el Reglamento del Consejo Real (embrión de la jurisdicción contencioso-administrativa) de 30 de diciembre de 1846, en su artículo 1 establecía que: <<Corresponde al Consejo Real conocer en primera y única instancia: 1º De las demandas contenciosas sobre el cumplimiento, inteligencia, rescisión y efectos de los remates y contratos celebrados por el Gobierno o por las Direcciones Generales de los diferentes ramos de la Administración civil>>. Esta misma norma atribuía a los Consejos Provinciales, los contratos y remates <<para toda especie de servicios y obras públicas>>. Y efectivamente, la posterior Ley Jurisdiccional Santamaría Paredes de 1888 atribuía el conocimiento de los procedimientos sobre <<obras o servicios públicos>> a la jurisdicción contencioso-administrativa.

(27). Cantero Martínez, J., <<La incidencia del fenómeno de la externalización en la Administración General del Estado. ¿Existe algún límite?>>, Documentación Administrativa, n.º 286-287, 2010, p. 298. Disponible en: ENLACE.

(28). En esta materia es toda una referencia el trabajo de Canals i Ametller, D., El ejercicio por particulares de funciones de autoridad. Control, inspección y certificación, Comares, Granada, 2003. Aunque su preocupación por estas cuestiones es una constante como se evidencia de su temprano trabajo <<La jurisprudencia ante el ejercicio privado de la función pública de control técnico por razones de seguridad>>, Revista del Poder Judicial, n.º 56, 1999, pp. 459 a 479 y en el reciente trabajo <<El ejercicio de potestades administrativas por operadores privados en régimen de mercado>>, en Gamero Casado (Dir.), La potestad administrativa: concepto y alcance práctico de un criterio clave para la aplicación del Derecho administrativo, Tirant lo Blanch, Valencia, 2021, pp. 320 a 387.

(29). Disponible en: ENLACE

(30). El voto particular discrepante del Magistrado Ilmo. Sr. Calvo Rojas pone el foco en la STS de 14 de septiembre de 2020 (Rec. n.º 5442/2019) y, además, en el difuso e inespecífico control sobre las resoluciones definitivas resultantes y es que esos lotes realizados por INECO para el Ministerio, simplemente se hacía muestreo de un número aleatorio y no representativo de resoluciones a cargo de funcionarios, por lo que considera que esa externalización de funciones no es ajustada a Derecho. Disponible en: ENLACE.

(31). Valero Torrijos, J., El régimen jurídico de la e-Administración. El uso de los medios informáticos y telemáticos en el procedimiento administrativo común, 2.ª ed., Comares, Granada, 2007, p. 73. Aunque, por otra parte, se ha sostenido que <<la actuación administrativa automatizada resulta perfectamente compatible con la teoría del órgano y con el concepto actual de acto administrativo>>. Cfr. MARTÍN DELGADO, I., <<Naturaleza, concepto y régimen jurídico de la actuación administrativa automatizada>>, Revista de Administración Pública, n.º 180, 2009, p. 357. Disponible en: ENLACE.

(32). El Prof. Zanobini define el acto administrativo como <<qualunque dichiarazione di volontà, di desiderio, di conoscenza, di giudizio, compiuta da un soggetto della pubblica amministrazione nell'esercizio di una potestà amministrativa>>, Cfr. Zanobini, G., Corso di Diritto Amministrativo, Vol. I., 8.ª ed., Giuffrè, Milán, 1958, p. 243. El autor italiano no excluye expresamente la potestad reglamentaria, porque los reglamentos quedan automáticamente excluidos del concepto por el hecho de que la Administración, al dictar un reglamento, no está haciendo uso de una <<potestà amministrativa>>, sino, en puridad, de una <<potestà legislativa>>, entendida como normativa y, expresamente, subordinada a la Ley, Cfr. en la misma obra, p. 244.

(33). La cuestión no es meramente hipotética, pues ya se han analizado experiencias en las que la automatización de procedimientos administrativos mediante soluciones de tipo RPA ha planteado la duda de si la Administración externalizaba un servicio o si, en realidad, externalizaba parcialmente el ejercicio mismo de la potestad pública. Cfr. Benítez Palma, E. y Teré Pérez, A., <<Entusiasmo robótico y externalización del procedimiento administrativo>>, Comunicación al Ciclo de conferencias del Observatorio de Transformación Digital del Sector Público de la Universidad de Valencia, 14 de abril de 2021. Disponible en: ENLACE y en ENLACE.

(34). Boix Palop, A., <<Los algoritmos son reglamentos. La necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la administración para la adopción de decisiones>>, Revista de Derecho Público: Teoría y Método, n.º 1, 2020, disponible en ENLACE.

(35). Velasco Rico, C.I., <<La ciudad inteligente: entre la transparencia y el control>>, Revista General de Derecho Administrativo, n.º 50, 2019. Disponible en: ENLACE.

(36). Cfr. Alamillo Domingo, I. y Urios Aparisi, X., <<La actuación administrativa>>>> Op. Cit., p. 134. Realmente esta exigencia de motivación recuerda a la conceptualización realizada hace años por García de Enterría, al considerar que <<motivar un acto administrativo es reconducir la decisión que en el mismo se contiene a una regla de derecho que autoriza tal decisión o de cuya aplicación surge. Por ello, motivar un acto obliga a fijar, en primer término, los hechos de cuya consideración se parte y a incluir tales hechos en el supuesto de una norma jurídica; y, en segundo lugar, a razonar cómo tal norma jurídica impone la resolución que se adopta en la parte dispositiva del acto>>, Cfr. García De Enterría, E. y Fernández Rodríguez, T. R., Curso de Derecho Administrativo, Vol. I, op. cit., p. 560. Igualmente, en palabras de Fernández Rodríguez, la motivación constituye <<el primer criterio de deslinde entre lo discrecional y lo arbitrario () postula una distinción neta entre la arbitrariedad y discrecionalidad, entre lo que es fruto de la mera voluntad o el puro capricho de los administradores y lo que, por el contrario, cuenta con el respaldo -mayor o menor, mejor o peor, es otra cuestión- de una fundamentación que lo sostiene, () [la decisión] será la sola voluntad de quien la adopta, apoyo insuficiente, como es obvio, en un Estado de Derecho en el que no hay margen, por principio, para el poder puramente personal. Lo no motivado es ya por este sólo hecho, arbitrario>>, cfr. Fernández Rodríguez, T.R., <<Arbitrariedad y Discrecionalidad>>, Estudios Sobre la Constitución Española. Homenaje al Profesor Eduardo García de Enterría, Vol. III, Civitas, Madrid, 1991, pp. 105 y 106.

(37). Sobre esa garantía resulta necesario citar el trabajo de Ponce Solé, J., <<Inteligencia artificial, Derecho administrativo y reserva de humanidad: algoritmos y procedimiento administrativo debido tecnológico>>, Revista General de Derecho Administrativo, n.º 50, Iustel, enero 2019. Disponible en: ENLACE. Del mismo autor puede consultarse la publicación en su blog personal de 14 de julio de 2022 <<A propósito de la reserva de humanidad y de la supervisión humana de la inteligencia artificial>>. Disponible: ENLACE. Muy atinadamente señala el Prof. Ponce Solé que la <<falta de empatía de las máquinas es la que las hace inadecuadas para adoptar decisiones automatizadas con margen de valoración que afectan a seres humanos>>, reserva de humanidad que también se torna relevante en las funciones de control de este tipo de sistemas. En la misma línea y del mismo autor, Cfr. <<Reserva de humanidad y supervisión humana de la Inteligencia artificial>>, El Cronista del Estado Social y Democrático de Derecho, n.º 100, 2022, pp. 58 a 67. El autor considera que la supervisión humana de estos sistemas debería configurarse como un auténtico derecho subjetivo generador de obligaciones jurídicas, vinculada al principio de buena administración, con cita de la reciente STS de 15 de febrero de 2022. Disponible en: ENLACE. En la doctrina estadounidense cabe destacar el trabajo de Fagan, F., <<The Un-Modeled World: Law and the Limits of Machine Learning>>, MIT Computational Law Report, Vol. 4, agosto 2022. Disponible en: ENLACE. El autor señala que el aprendizaje automático y la inteligencia artificial funcionan en entornos cerrados y bajo condiciones estables, pero que, cuando el contexto se muestra cambiante y novedoso, se desbordan los parámetros en que estos sistemas han sido programados, y es entonces cuando la intervención humana vuelve a ser fundamental.