La quinta ola del gobierno abierto: reflexiones sobre transparencia, participación y control en el uso de la IA en la Administración pública

Se analiza en este artículo cómo el avance y desarrollo en la utilización de la Inteligencia Artificial (IA) en el sector público marca un punto de inflexión que traspasa la mera innovación tecnológica, con potencial para alterar la propia arquitectura del gobierno y la gestión, permeando de un modo estructural el modo en que se diseñan, ejecutan y evalúan las políticas públicas. La profundidad de las transformaciones permite hablar de una quinta ola de gobierno abierto, como momento clave en la trayectoria evolutiva de los cambios institucionales, caracterizado por la centralidad de los sistemas algorítmicos en la toma de decisiones y en la gestión pública.

Raquel Valle Escolano es Profesora de Ciencia Política y de la Administración en la Universidad de Valencia

El artículo se publicó en el número 72 de la Revista General de Derecho Administrativo (Iustel, mayo 2026)

RESUMEN: El avance y desarrollo en la utilización de la Inteligencia Artificial (IA) en el sector público marca un punto de inflexión que traspasa la mera innovación tecnológica, con potencial para alterar la propia arquitectura del gobierno y la gestión, permeando de un modo estructural el modo en que se diseñan, ejecutan y evalúan las políticas públicas. La profundidad de las transformaciones permite hablar de una quinta ola de gobierno abierto, como momento clave en la trayectoria evolutiva de los cambios institucionales, caracterizado por la centralidad de los sistemas algorítmicos en la toma de decisiones y en la gestión pública.

Este protagonismo de los algoritmos obliga a repensar críticamente los fundamentos o principios axiales del paradigma del gobierno abierto: la transparencia en los procesos, la participación efectiva de la ciudadanía y la rendición de cuentas. Es innegable el cúmulo de oportunidades que la IA abre en términos de mayor eficiencia y optimización en el gobierno y la gestión públicos, pero también más que nunca resulta indispensable garantizar la inteligibilidad de los modelos algorítmicos, incrementar la participación ciudadana en su diseño y ejecución, y asegurar mecanismos sólidos de vigilancia crítica en su despliegue. También lo es el reflexionar sobre cambios en el funcionamiento clásico de la administración, generados por la automatización de las decisiones, la discrecionalidad algorítmica y la posible expansión de predicciones y perfiles en la gestión pública. Los derechos de las personas y las garantías de la democracia deben ser el timón que dirija a la IA, que en ocasiones parece avanzar emancipada de la dirección y de la ética humanas.

SUMARIO: I. INTRODUCCIÓN. II. INTELIGENCIA ARTIFICIAL Y TRANSFORMACIÓN DE LA ADMINISTRACIÓN PÚBLICA. III. REPENSANDO LOS EJES BÁSICOS DEL GOBIERNO ABIERTO EN LA ADMINISTRACIÓN ALGORÍTMICA. 1. Transparencia e inteligibilidad de la acción pública. 2. Participación ciudadana y gobernanza algorítmica en la Administración pública: límites y posibilidades. 3. Rendición de cuentas y control de la decisión automatizada. IV. NUEVOS RETOS DE LA ADMINISTRACIÓN PÚBLICA INTELIGENTE. V. REFLEXIONES FINALES: LA REDEFINICIÓN DEL GOBIERNO ABIERTO EN LA ERA DE LA INTELIGENCIA ARTIFICIAL. BIBLIOGRAFÍA.

THE FIFTH WAVE OF OPEN GOVERNMENT: REFLECTIONS ON TRANSPARENCY, PARTICIPATION AND CONTROL IN THE USE OF AI IN PUBLIC ADMINISTRATION

ABSTRACT: The advancement and development of Artificial Intelligence (AI) in the public sector marks a turning point that transcends mere technological innovation, with the potential to alter the very architecture of government and management, structurally permeating how public policies are designed, implemented, and evaluated. The depth of these transformations allows us to speak of a fifth wave of open government, a key moment in the evolutionary trajectory of institutional changes, characterized by the centrality of algorithmic systems in decision-making and public management.

This prominence of algorithms compels us to critically rethink the fundamental principles of the open government paradigm: transparency in processes, effective citizen participation, and accountability. The wealth of opportunities that AI opens up in terms of greater efficiency and optimization in government and public administration is undeniable. However, it is also more crucial than ever to ensure the intelligibility of algorithmic models, increase citizen participation in their design and implementation, and guarantee robust mechanisms for critical oversight of their deployment. Equally important is reflecting on the changes in the traditional functioning of public administration brought about by the automation of decisions, algorithmic discretion, and the potential expansion of predictions and profiles in public management. Human rights and democratic guarantees must be the guiding principles for AI, which at times seems to advance independently of human direction and ethics.

I. INTRODUCCIÓN

La adopción y el uso de algoritmos basados en sistemas de Inteligencia Artificial (IA) en el sector público constituye una realidad creciente y con un impacto fundamental, configurándose como un factor estructural de transformación de la forma de funcionamiento y aun de la filosofía de la acción pública y de la Administración que le sirve de soporte y engranaje. Los procesos de incorporación y gobernanza de la IA entrañan un importante conjunto de cambios en el modo en que se diseñan, ejecutan y controlan las políticas públicas(1), en ámbitos tan singulares, por solo citar algunos de los que menciona el Libro Blanco de la IA, como la salud pública, la agricultura, la educación, el cambio climático o la seguridad(2). Su operativa actúa a través de la mejora de la predicción, la optimización de las operaciones y la asignación de los recursos, o la personalización de la prestación de servicios(3), vías de actuación que resultan esenciales en el ámbito público. Se trata de procesos que se encuentran en plena construcción y, como tal, plantean interrogantes fundamentales sobre cómo gobernar, regular y aplicar estas tecnologías de forma ética, eficaz y centrada en las personas(4), que las diferentes aportaciones científicas, así como numerosas regulaciones y documentos de organismos internacionales, la Unión Europea y gobiernos diversos(5) no acaban de resolver. Y es que, como señalan Innerarity et al.(6) la ubicuidad de la IA ya es indiscutible, pero su gobernanza aún está en construcción.

Quizá se deba a la extraordinaria rapidez del proceso de incorporación de las tecnologías basadas en algoritmos, unida a su complejidad técnica, que conlleva además transformaciones cualitativas de mayor calado que las experimentadas en otros momentos de generación de innovaciones tecnológicas previas(7). En este sentido, las implicaciones de la IA y las transformaciones institucionales que la misma genera permiten hablar de una quinta ola de gobierno abierto. Esta etapa se caracteriza por el protagonismo de los algoritmos como instrumentos de gestión y decisión pública, un contexto en el que parece oportuno repensar críticamente los principios fundacionales del gobierno abierto: transparencia, participación y rendición de cuentas, su vigencia, su grado de implantación y los desafíos pendientes.

Este es el objetivo de este trabajo, que recorrerá cada uno de estos ejes a través de un análisis sistemático y crítico de aportaciones académicas y documentos institucionales relevantes, con un enfoque interdisciplinar que prioriza los estudios con aplicación directa en el sector público. Abordaremos, en primer lugar, la explicabilidad e inteligibilidad actual de los marcos de la IA vigentes en la esfera institucional y de gobierno, así como de las decisiones que acarrean. La participación ciudadana y el escrutinio social de los modelos de IA también se planteará como un asunto central, en la medida en que la ciudadanía no puede estar ausente de la implantación de sistemas que le afectan directamente, reorientándolos hacia el interés social. Por último, se reflexionará sobre la existencia y efectividad de auditorías o revisiones de los esquemas y modelos de la Administración inteligente, que superen el plano formal y técnico para adentrarse en espacios sociales y éticos.

El análisis de los avances, límites y contradicciones actuales en la implementación de IA en clave de gobierno abierto, nos llevará a proponer líneas futuras de desarrollo capaces de aunar la eficiencia algorítmica con la vigencia y garantía de valores democráticos y éticos, reflexionando al tiempo sobre algunos cambios altamente novedosos que la implantación de la IA puede suponer en el sector público, algunos de los cuales únicamente se intuyen, pero cuyo potencial marca un verdadero punto de inflexión hacia una Administración muy diferente de la que conocemos.

II. INTELIGENCIA ARTIFICIAL Y TRANSFORMACIÓN DE LA ADMINISTRACIÓN PÚBLICA

El cada vez mayor protagonismo de los sistemas de IA en la Administración pública nos exige perfilar esta realidad, y un buen inicio lo ofrece la clásica definición de la Comisión Europea(8), que se refiere a la misma como <<sistemas que muestran un comportamiento inteligente al analizar su entorno y tomar medidas, con cierto grado de autonomía, para alcanzar objetivos específicos>>. Sus rasgos la convierten en un elemento poliédrico, cuyo punto de partida es la capacidad de emular la mente y el conocimiento humanos, imitando la racionalidad y las funciones cognitivas(9), generando con ello sistemas que toman decisiones basadas en el aprendizaje, la creatividad y un mayor rendimiento(10).

Por su parte, Wirtz et al.(11) señalan que la IA se refiere a la capacidad de un sistema informático para mostrar un comportamiento inteligente similar al humano, caracterizado por ciertas competencias básicas, como la percepción, la comprensión, la acción y el aprendizaje; y en el contexto de las Administraciones públicas, la presentan como una herramienta capaz de aumentar la eficiencia y el desempeño de la maquinaria administrativa.

En este último ámbito, el de los gobiernos y Administraciones públicas, se está extendiendo en la actualidad de forma notable la utilización de los sistemas y aplicaciones de IA, que aumentan asimismo la variedad de herramientas inteligentes implantadas, aunque todavía a distancia y a menor ritmo que en la esfera privada(12), lo que podría generar una cierta brecha de capacidades entre ambos sectores, público y privado(13).

Algunos estudios nos aportan pistas importantes sobre aspectos varios de dicha utilización. Así, en punto a su evolución, Criado(14), siguiendo a Lee(15), menciona cuatro momentos diferentes del uso de la IA en el sector público, que suponen estadios diversos de madurez del empleo de la IA en las organizaciones en general, y en las AAPP en particular, en términos de capacidad de actuación y de involucrarse en los sistemas en los que operan las instituciones, servicios públicos y las personas. Estos cuatro estadios son IA Internet, IA Negocio, IA Percepción e IA Autónoma. En los dos primeros se utilizan ya los algoritmos masivamente, en cometidos del tipo diagnóstico médico, operaciones financieras, periodismo y las fuentes de información o trabajos jurídicos. En los dos últimos estadios el uso de la IA es aún incipiente. En la IA Percepción se concreta en cuestiones como la implantación de sensores y dispositivos inteligentes en la movilidad, el reconocimiento de objetos, identificación visual o creación de perfiles. Por su parte, la categoría IA Autónoma representa el último estadio de evolución, emplea algoritmos complejos, es capaz de realizar tratamientos de datos masivos y entraña una importante independencia de los sistemas y dispositivos de IA respecto de las personas.

Por su parte, la OCDE analizó más de 200 casos reales de uso de IA en gobiernos, detectando una mayor frecuencia de empleo en la prestación de servicios públicos, justicia y participación cívica, que desciende en terrenos como la evaluación de políticas, la administración tributaria y la reforma de la función pública. En una posición intermedia encontramos la contratación pública, la gestión financiera, la lucha contra la corrupción y la promoción de la integridad pública, y el diseño e implementación de la regulación(16). Por otro lado, las Administraciones públicas usan en menor medida la IA en materia de supervisión gubernamental o de formulación de políticas, mientras que la emplean con bastante asiduidad en la prestación de servicios públicos y en operaciones internas(17). Por áreas, la implantación de la IA en el ámbito público se concentra especialmente en la sanidad, el transporte y la educación, la defensa y la seguridad(18).

En esta misma línea, también resulta interesante la sistematización que realizan Wirtz et al.(19), presentando 10 áreas de potencial utilización de la IA en el sector público y ejemplificando acciones concretas para cada una de ellas. En este catálogo enumeran los software de gestión del conocimiento basados en IA (que generan y sistematizan conocimiento y lo comparten mediante redes neuronales), sistemas de automatización de procesos (mecanizando tareas estándar), agentes virtuales (análisis de voz, chatbox), análisis predictivo y visualización de datos (procesamiento de macrodatos, aprendizaje automático), análisis de identidad, robótica cognitiva y sistemas autónomos, análisis de voz (sistemas de traducción, software para el reconocimiento y procesamiento inteligente del lenguaje), asistentes digitales inteligentes o sistemas de recomendación (que analizan las preferencias de las personas), o seguridad cognitiva, a través del análisis e inteligencia de amenazas (tecnologías cognitivas para analizar información de seguridad mediante el procesamiento del lenguaje natural y el aprendizaje automático).

La incorporación de sistemas de IA en el ámbito público presenta además algunas singularidades que la diferencian de su utilización en otros campos. Gran parte de las mismas provienen de las dificultades de adaptación derivadas tanto de las particularidades organizativas y normativas del sector público como de la complejidad técnica y ética inherente a estas tecnologías.

Por lo que respecta a los factores que condicionan la capacidad y la madurez para implantar con éxito herramientas y sistemas inteligentes en el sector público, resulta interesante el modelo analítico utilizado por Neumann et al.(20), una adaptación específica del marco TOE (Tecnología, Organización y Entorno) específica para IA. En este esquema triple, el primer elemento es el tecnológico, y apunta a la ventaja relativa que la IA presenta respecto a otras soluciones, así como a su compatibilidad con los procesos de negocio, con más relevancia a mayor grado de madurez organizativa. Por su parte, como elementos de cariz organizativo, se mencionan el apoyo de la alta dirección, la gestión del cambio, la capacidad de innovación, la alineación estratégica, el tamaño de la organización, el presupuesto disponible, la disposición de datos, el elemento humano, la comunicación, la colaboración y la motivación intrínseca. En un tercer plano se encuentran los factores ambientales, entre los que destacan la presión competitiva, la disposición ciudadana y las regulaciones gubernamentales.

Solo por mencionar algunos de los elementos apuntados, un primer presupuesto para la adecuada implantación de los sistemas de IA exige contar con equipos de personal, capacitados para poner en marcha los diversos cambios organizativos, jurídicos y técnicos que su integración comporta. Estos deben ser expertos en las diversas líneas de conocimiento, puramente tecnológicas o de otra índole, que requiere una realidad novedosa y compleja, y pueden actuar integrados en las diferentes unidades gestoras o crearse específicamente para trabajar de forma separada y transversal(21).

Las Administraciones adolecen en ocasiones de falta de flexibilidad, ya que muchos de los condicionantes normativos y culturales de las organizaciones públicas las convierten en un territorio de complicada adaptación a transformaciones tecnológicas rápidas, inciertas en sus resultados finales y aun en los retos de su íter y de naturaleza disruptiva(22). Y la implantación de la IA posee una complejidad y genera cambios múltiples que superan con mucho los generados por procesos de implantación de tecnologías digitales anteriores(23).

Otras clasificaciones de los retos que deben acometerse en el ámbito público para implantar y utilizar la IA de forma solvente y ética han sido aportadas por estudios como el de Wirtz et al. (24), quienes identificaron cuatro tipologías de desafíos relacionados con la IA en el sector público: sociales, éticos, regulatorios y puramente tecnológicos. A estos añadieron Tangi et al. (2023) los elementos de transformación organizacional y cultural. La categoría de cambios sociales incluye cuestiones como la aceptación social de la IA, la incertidumbre de los empleados públicos a verse sustituidos por las máquinas o la confianza ciudadana. Los temas de cariz ético (sesgos y estereotipos presentes en la IA, discriminación, juicios de valor o falta de inclusión) componen la segunda tipología. En materia de retos regulatorios, encontramos una amplia gama de aspectos legales y jurídicos que incluyen, entre otros, la rendición de cuentas o la privacidad. Por supuesto los desafíos tecnológicos son fundamentales, y engloban numerosos problemas, relacionados con la implementación de la IA, como la integración de datos y sistemas. Por último, la relevancia que el cambio organizacional y cultural que la IA supone en el sector público fue subrayada por Tangi et al.(25), apuntando a factores como la asignación de cometidos novedosos o la necesaria capacitación de empleados públicos; en definitiva, alteraciones en tareas, procesos y estructuras en la arquitectura y el funcionamiento públicos. Las distintas clasificaciones de los retos que para las Administraciones supone el uso de la IA son parcialmente coincidentes, como también lo es, con los dos últimos estudios citados, la que ofrecen Sun y Medaglia(26) en referencia a la adopción de la IA en la atención médica pública, cuando sistematizan los desafíos sociales, económicos, éticos, políticos, legales y de políticas públicas, organizativos y de gestión, de datos y tecnológicos.

Así las cosas, coincidimos con Neuman et al.(27) cuando subrayan la doble cara de la IA en el sector público, como factor con un extraordinario potencial para transformar en sentido positivo las Administraciones, aumentar la eficiencia en la gestión de políticas públicas y la calidad en el ámbito de la prestación de servicios, optimizando con ello el bienestar común y la creación de valor público(28). Sin embargo, la implementación de la IA es más compleja que otras olas de innovación tecnológica anteriores, posee importantes implicaciones de carácter social y provoca que muchas organizaciones públicas se enfrenten a obstáculos específicos del sector. Y entre estos retos, los de carácter ético y relacionados con los derechos fundamentales, en un planteamiento de la IA que ponga en el centro a las personas, situando los valores y los derechos humanos fundamentales en la médula del desarrollo, despliegue, utilización y supervisión de los sistemas de IA(29), se postulan como transversales y ocupan un lugar fundamental. Así lo ha reconocido la UNESCO(30), que ha puesto en primer plano los derechos humanos, la dignidad de las personas y los principios democráticos como faro que guíe el desarrollo de la IA, de la que ha resaltado su enorme caudal de oportunidades para el progreso y el bienestar de las personas, al tiempo que ha puesto de relieve sus riesgos en forma de desinformación, vigilancia masiva, discriminación algorítmica e incremento de la desigualdad. La UNESCO propone una gobernanza basada en principios como la transparencia, la responsabilidad, la supervisión humana, la protección de datos, la sostenibilidad y la inclusión, que pasan por el carácter esencial de los perfiles éticos de la IA a lo largo de todo su ciclo de vida.

III. REPENSANDO LOS EJES BÁSICOS DEL GOBIERNO ABIERTO EN LA ADMINISTRACIÓN ALGORÍTMICA

El protagonismo de los sistemas de IA avanzados en el ámbito público, especialmente la IA generativa, transcurridas ya las primeras olas desde su aparición, nos obliga a repensar críticamente algunos de sus desafíos más relevantes, que precisamente se identifican con los ejes clave del paradigma del gobierno abierto. La necesidad de articular la IA con los principios democráticos esenciales exige garantizar la inteligibilidad de los modelos algorítmicos, incrementar la participación ciudadana en su diseño y ejecución, y asegurar mecanismos sólidos de vigilancia crítica en su despliegue en el sector público. Solo así podrá construirse una IA cívica, fundamentada en valores públicos, como herramienta potenciadora de la confianza en las instituciones.

1. Transparencia e inteligibilidad de la acción pública

Los sistemas de IA, en particular aquellos basados en modelos de aprendizaje automático, se caracterizan por la dificultad para conocer e interpretar su funcionamiento y explicar sus resultados, opacidad que los convierte en cajas negras (black box)(31), cuya operativa interna no es comprensible para los usuarios o incluso para los propios desarrolladores. La opacidad algorítmica es un fenómeno complejo, motivado por múltiples factores(32), y puede ser de naturaleza técnica (derivada de la dificultad de comprensión de los modelos, que ocultan su diseño y sus procesos internos, o los datos de que se nutren), jurídica (por restricciones relativas a la propiedad intelectual o la protección de datos) u organizativa (por falta de información documentada o voluntad institucional). La automatización y la dificultad de comprender el funcionamiento último de estos mecanismos complican la identificación del agente al que imputar una decisión incorrecta, poco equitativa o discriminatoria, dificultando la exigencia de responsabilidades(33). La opacidad de estos sistemas también obstaculiza la implementación de mecanismos de control y supervisión.

Varias reflexiones caben realizar en torno a esta imperiosa necesidad de transparencia. La primera de ellas pasa por constatar que la transparencia es una cuestión que aparece como una exigencia central en todas las normativas, principios y directrices sobre la IA, sin duda una de las más importantes que los sistemas de IA deben satisfacer. Por citar solo dos ejemplos concretos: el Reglamento (UE) 2024/1689 de Inteligencia Artificial de la Unión Europea (AI Act) establece una clasificación por niveles de riesgo, e impone obligaciones estrictas para los sistemas de alto riesgo. Entre ellas, destacan la trazabilidad de los datos, la documentación técnica, la auditabilidad y la explicabilidad(34). En la misma línea, las Directrices Éticas para una IA fiable establecen la transparencia como uno de los siete requisitos clave, junto con la rendición de cuentas, la equidad y la acción e intervención humana, una condición fundamental que incluye la trazabilidad, la explicabilidad y la comunicación, predicable tanto de los datos como del sistema. La trazabilidad remite a los conjuntos de datos y procesos de catalogación y etiquetado, así como los algoritmos que fundamentan las decisiones que adopta el sistema de IA, que deberían ser rigurosamente documentados, haciendo con ello posible su trazabilidad, incrementando con ello su grado de explicabilidad y facilitando también su auditabilidad. Las exigencias que impone la comunicación, por su parte, incluyen conocer que se está actuando con un sistema de IA, ofrecer al usuario la posibilidad de que intervenga una persona, así como informarle de las capacidades y limitaciones del sistema de IA(35). Los requisitos de transparencia aplicables a los sistemas de inteligencia artificial deben intensificarse cuando estos son utilizados por las administraciones públicas, ya que la ciudadanía, como destinataria de su actuación, debe poder conocer y controlar de la forma más precisa y clara posible los criterios, procesos y decisiones que puedan afectar a sus derechos e intereses y aun de sus expectativas.

Hemos mencionado la explicabilidad, un concepto intrínsecamente conectado con la transparencia, aunque diverso, ya que ambas responden a lógicas distintas. La transparencia implica la disponibilidad de información sobre los componentes, diseño y objetivos de los sistemas, accesible a auditores, reguladores y sociedad civil. La explicabilidad, en cambio, exige que el sistema proporcione razones inteligibles sobre decisiones concretas a los sujetos afectados, que estas sean comprensibles y rastreables, y que además se adapten al nivel de especialización de los interesados, exigencia que debe ser especialmente rigurosa cuando las decisiones adoptadas a través de los sistemas de IA puedan producir un impacto significativo sobre las personas(36). Mientras la primera está orientada al control institucional, la segunda se vincula al derecho a la tutela judicial efectiva y a la justicia procedimental(37).

Un problema clave que genera la falta de transparencia son los sesgos. Como señala Lorenzo Cotino, los motivos por los que un sistema de IA genera sesgos y discriminaciones pueden ser de lo más variado(38), subrayando que los mismos aparecen tanto antes de concebirse un sistema de IA, como en cualquiera de sus fases o bien en el uso posterior de tales sistemas por los usuarios o de sus resultados de salida. Los sesgos, más o menos conscientes, intencionados o no, suponen un grave problema en la medida en que la IA puede amplificarlos, generando nuevas formas de discriminación(39).

El Instituto Nacional de Estándares y Tecnología de los Estados Unidos (National Institute of Standards and Technology, NIST) ya advierte de que el sesgo no es nuevo ni exclusivo de la IA, y no es posible lograr un riesgo cero de sesgo en un sistema de IA. El NIST clasifica los diferentes tipos de sesgos de la IA en tres categorías dominantes: sesgos sistémicos, sesgos estadísticos y computacionales y sesgos humanos. Estos últimos provienen de la acción humana y derivan del modo en que en que un individuo o grupo percibe la información. Abarcan sesgos cognitivos y perceptivos, son implícitos, están omnipresentes en los procesos de toma de decisiones institucionales, grupales e individuales a lo largo del ciclo de vida de la IA, y aumentar la conciencia sobre los mismos no garantiza su control. En cuanto a los sesgos estadísticos y computacionales emanan de errores generados cuando la muestra no es representativa de la población. Surgen a partir de los conjuntos de datos y los procesos algorítmicos utilizados en el desarrollo de aplicaciones de IA, ya por datos erróneos, heterogéneos o demasiado simples, o cuando el algoritmo entrena con una tipología de datos y es incapaz de realizar extrapolaciones. Finalmente, los sesgos sistémicos (también llamados institucionales o históricos) aparecen incorporados en el funcionamiento ordinario de una organización, norma, procedimiento o sistema social, generando desigualdades estructurales, que suponen ventajas para determinados colectivos sociales, al tiempo que devalúan a otros, al situarlos en posiciones de desventaja o menor reconocimiento (racismo, sexismo). Resultan de discriminaciones indirectas y son muestra de una falta de neutralidad que no se advierte tan claramente en determinadas instituciones y mecanismos, que parecen actuar de forma objetiva. Están presentes en los conjuntos de datos utilizados en la IA, así como en las normas, prácticas y procesos institucionales a lo largo del ciclo de vida de la IA y en la cultura y la sociedad en general(40).

En la misma línea, diversos estudios(41) también realizan una caracterización coincidente, al subrayar como idea clave la relevancia de los conjuntos de datos utilizados para construir los algoritmos, así como la importancia de controlar la influencia humana y su carga de subjetividad en la IA. También inciden el hecho de que los datos pueden ser exactos, pero representativos de una sociedad injusta, en la medida en que reflejan la discriminación ya existente, y advierten del hecho de que los sesgos pueden penetrar en un algoritmo en diversos momentos del ciclo de vida del sistema de la IA actuante.

Ante todas estas situaciones, generadoras de sesgos y discriminaciones, la transparencia es una de las recetas esenciales. Porque el sesgo está estrechamente ligado a los conceptos de transparencia y equidad en la sociedad. Para la inmensa mayoría de la ciudadanía, los supuestos subyacentes a los algoritmos rara vez son transparentes. La compleja red de código y decisiones que intervienen en el diseño, desarrollo e implementación de la IA tan solo de forma excepcional resultan fácilmente accesibles o comprensibles para quienes no tienen conocimientos técnicos. Sin embargo, la práctica totalidad de las personas se ven afectadas por las tecnologías y sistemas de IA, o sus datos se utilizan como insumo para ellos, sin su consentimiento(42).

Como señala Jenna Burrell(43), mitigar los problemas de la opacidad no se logrará con una sola herramienta o proceso, sino mediante una combinación de planteamientos o enfoques, variables según el contexto. Las Administraciones públicas han ido implementando diferentes mecanismos para promover la transparencia de los sistemas de IA que utilizan, poniendo en marcha, si bien de forma aún incipiente, algunas de las alternativas que han sido sugeridas en estudios diversos(44), con objeto de establecer mecanismos de responsabilidad sólidos en materia de IA. Estas herramientas incluyen regulaciones(45), o auditorías (del código y, más importante aún, del funcionamiento de los algoritmos); la apertura de datos utilizados para el entrenamiento o la evaluación de tales sistemas(46); la difusión del código fuente de los sistemas de IA (cuando no existan restricciones legales en materia de privacidad, propiedad intelectual y seguridad(47), algunas de ellas apuntadas por Guichot(48), que señala como contrapeso los derechos que actúan como límites al derecho de acceso, o la propia eficacia de las actuaciones administrativas); la implantación de los Registros de algoritmos (ciudades como Ámsterdam o Helsinki han sido pioneras, aunque existen hoy en día muchas otras, siguiendo al modelo de gobernanza impulsado por redes diversas de transparencia ciudadana, siguiendo asimismo estándares internacionales en la materia, como el Estándar holandés de transparencia algorítmica o el Estándar de Registro de Transparencia Algorítmica del Reino Unido (Dutch Algorithmic Transparency Standard o el UK’s Algorithmic Transparency Recording); o las auditorías públicas independientes(49) y la integración de evaluaciones de impacto en los derechos humanos(50). La educación del público en general, el incremento de la conciencia de que la IA debe respetar los derechos humanos, y la sensibilización, constituyen también herramientas clave(51), que pueden resultar en la elaboración de estándares de transparencia algorítmica impulsados por la sociedad civil, como el proyecto Radar de algoritmos de IA y procesos de decisión automatizada para el acceso a los derechos sociales en Cataluña, elaborado por la Mesa de entidades del Tercer Sector Social(52).

Por otro lado, garantizar la transparencia no puede limitarse a la fase de diseño del sistema, sino que debe extenderse a todo su ciclo de vida, pues ya se ha insistido en que existen numerosos momentos y factores que pueden impedir la explicabilidad y la trazabilidad de todos los elementos que un sistema de IA involucra. De ahí que las exigencias de transparencia deban actuar en el entrenamiento, validación, despliegue y evaluación de los modelos y sistemas de tecnología inteligente utilizados en el contexto público. La transparencia y la explicabilidad son fundamentales para generar confianza en la IA en el sector público, y deben abarcar este fenómeno en su totalidad(53).

En definitiva, la transparencia algorítmica en la administración pública no es un lujo, sino una condición para la legitimidad democrática. La construcción de una IA cívica pasa, en primer lugar, por hacerla inteligible(54). No puede obviarse, sin embargo, que la transparencia algorítmica enfrenta múltiples e importantes desafíos: técnicos (complejidad de los modelos), jurídicos (confidencialidad), institucionales (falta de competencias o voluntad) y culturales (resistencia organizacional). Superarlos requiere acciones normativas, como la reforma de las leyes de transparencia para incluir información algorítmica; institucionales, como la creación de órganos de supervisión especializados; y culturales, como el fomento de la alfabetización algorítmica en la ciudadanía y en el funcionariado(55).

2. Participación ciudadana y gobernanza algorítmica en la Administración pública: límites y posibilidades

Un principio axial, esencial en la gobernanza de los sistemas de inteligencia artificial (IA) empleados en el sector público, es la participación ciudadana, que no puede ser entendida como un complemento decorativo, sino como un elemento estructural de legitimidad democrática. En un contexto en el que los sistemas algorítmicos inciden directamente sobre los derechos, oportunidades y condiciones de vida de las personas, su diseño, supervisión y control deben necesariamente incorporar la voz y la perspectiva de quienes pueden verse potencialmente afectados por las diversas aplicaciones inteligentes, los destinatarios de las decisiones que la IA adopta en las diversas parcelas de la gestión pública. Esta participación debe ser sustantiva, informada, deliberativa y con capacidad de influencia real(56).

Hablar de participación significativa implica superar las vías meramente consultivas o formales de implicación ciudadana. Se trata de articular mecanismos efectivos que involucren a usuarios informados, que cuenten además con elementos imprescindibles, como el respaldo institucional y recursos adecuados. En el ámbito de los sistemas algorítmicos, ello conlleva la integración activa de ciudadanos, grupos y comunidades afectadas, expertos independientes y servidores públicos en todas las etapas del ciclo de vida de los sistemas: desde la identificación del problema hasta el diseño, la validación, el despliegue, la auditoría y la evaluación de su funcionamiento(57). Solo la inclusión significativa de la ciudadanía y los grupos sociales en todas las etapas de la implementación de los sistemas y modelos de la IA, especialmente en las Administraciones, gestoras de los intereses públicos, puede dar como resultado políticas y tecnologías que hagan realidad la igualdad digital, así como la equidad y la inclusión.

La gobernanza de la IA no puede construirse eficazmente sin abrir canales para la participación ciudadana en el diseño, la construcción y la supervisión de los sistemas algorítmicos, permitiendo que la sociedad civil colabore en su implantación y audite su funcionamiento y su impacto. El logro de una IA fiable requiere, entre muchos otros requisitos, diversidad, no discriminación y equidad, exigencias directamente vinculadas a otras líneas de acción, como la accesibilidad y el diseño universal, la colaboración de las partes interesadas y la ausencia de sesgos injustos(58). Y en este plano entra de lleno la participación como condición ineludible, no solo de la ciudadanía y la sociedad, sino de los diversos grupos y actores [la UNESCO(59) menciona a gobiernos, organizaciones intergubernamentales, la sociedad civil, el mundo académico, los medios de comunicación, los líderes comunitarios y el sector privado], en la construcción de la IA y sus sistemas. En particular, como recomendación para amortiguar los sesgos y brechas de desigualdad, se subraya la necesidad de construir equipos de trabajo diversos y multidisciplinares a la hora de trabajar en algoritmos y sistemas de IA, en los que estén representados los diversos colectivos mediante actores diversos(60).

Por otro lado, la participación en IA debe ser una participación informada, lo que implica que las personas puedan intervenir, opinar o tomar decisiones sobre el uso de los sistemas y modelos de IA con un conocimiento mínimo suficiente de cómo funcionan, qué riesgos presentan y qué efectos pueden tener. Para ello resulta imprescindible promover acciones de formación y sensibilización que permitan comprender, al menos de manera básica, el alcance, los límites y las implicaciones éticas y jurídicas de estas tecnologías. La sensibilización y comprensión pública de las tecnologías de IA y el valor de los datos deben promoverse mediante una educación abierta y accesible, la participación ciudadana, la capacitación en habilidades digitales y ética de la IA, la alfabetización mediática e informacional, y la formación(61).

La literatura advierte que los enfoques actuales suelen reducir la participación a instancias consultivas con escasa capacidad transformadora. Corbett et al.(62) sugieren abordar esta limitación mediante la aplicación del modelo de la <<escalera de la participación ciudadana>> de Arnstein(63), que permite valorar el grado real de transferencia de poder hacia los participantes. En este marco, adquieren especial relevancia iniciativas como los jurados ciudadanos, particularmente los modelos deliberativos propuestos para el ámbito de la IA aplicada a la salud(64), los presupuestos participativos con componentes digitales o los foros deliberativos orientados a examinar los impactos sociales y éticos de los sistemas algorítmicos. De igual modo, las metodologías de diseño participativo y co-creativo se revelan como herramientas eficaces para implicar de forma directa a las comunidades destinatarias en el proceso de configuración tecnológica, una iniciativa que permite valorar de forma clara el grado real de interés y la calidad del poder decisorio asumido por los participantes.

Los beneficios democráticos de la participación son indiscutibles, y resultan avalados por estudios que respaldan la idea de que los procesos participativos bien estructurados contribuyen a reforzar la legitimidad y la aceptación social de las decisiones públicas(65). Además, permiten mejorar la comprensión ciudadana sobre los sistemas algorítmicos y sus implicaciones, fortalecen la confianza institucional y consolidan la rendición de cuentas por parte de los gobiernos(66).

No obstante, la participación efectiva se enfrenta a múltiples obstáculos. Diversos estudios identifican como principales desafíos las barreras técnicas y cognitivas que dificultan la intervención de personas no expertas en una materia tan compleja como los algoritmos y la IA, las asimetrías informativas y los desequilibrios de poder entre actores, la escasa representatividad de los participantes y la falta de recursos sostenidos para procesos deliberativos de calidad(67). Un caso paradigmático es el del Grupo de Trabajo sobre Sistemas Automatizados de Decisión (ADS) en Nueva York, donde la exclusión de las comunidades afectadas y la ausencia de mecanismos participativos adecuados derivaron en una respuesta institucional deficiente(68).

En este contexto, también la adopción de un enfoque participativo resulta esencial en las Evaluaciones de Impacto Algorítmico, que constituyen instrumentos clave para anticipar y mitigar riesgos derivados del uso de IA, y cuya efectividad depende en gran medida de la posibilidad de captar los impactos contextuales y sociales de los sistemas. Como advierten Metcalf et al.(69), sin la participación de las comunidades afectadas y sin una comprensión técnica adecuada, estas evaluaciones corren el riesgo de ser meramente formales, incompletas o irrelevantes.

Para avanzar hacia una gobernanza algorítmica verdaderamente democrática, es necesario establecer condiciones estructurales que reconozcan y garanticen el derecho de participación. Esto implica reconocer explícitamente el derecho de la ciudadanía a intervenir en el diseño y la evaluación de los sistemas algorítmicos como una extensión de los derechos digitales; institucionalizar canales de participación permanentes y vinculantes, tales como comisiones mixtas o plataformas deliberativas; y establecer en los marcos normativos obligaciones legales de consulta. Al mismo tiempo, resulta crucial promover la alfabetización de la ciudadanía en esta materia, cada vez más presente en la vida cotidiana, a fin de reducir las brechas de poder y garantizar una participación informada y crítica.

En suma, la participación ciudadana en la IA aplicada al sector público no puede limitarse a fórmulas consultivas desprovistas de consecuencias. Requiere voluntad política, estructuras institucionales sólidas, inclusión activa de los grupos más vulnerables y, sobre todo, mecanismos que aseguren una influencia real en las decisiones. La construcción de una inteligencia artificial pública democrática exige abrir sus procesos de gobernanza a la deliberación ciudadana desde su origen: sin participación, no hay legitimidad

3. Rendición de cuentas y control de la decisión automatizada

Los riesgos que plantea la opacidad algorítmica hacen necesario someterla al escrutinio público, garantizar su explicabilidad, auditar sus efectos y asegurar su conformidad con los principios del Estado de Derecho, su capacidad de amplificar sesgos y su impacto en derechos fundamentales. Para ello resulta indispensable establecer mecanismos institucionales de control y auditoría que permitan materializar la rendición de cuentas algorítmica, bajo principios de legalidad, equidad, transparencia y participación ciudadana. Así lo establece la OCDE(70), que alude a las salvaguardas que sustentan el marco para una IA confiable, responsable y centrada en las personas en el sector público, dentro de las cuales incluye herramientas de supervisión, como las evaluaciones de impacto, o las auditorías algorítmicas, ya sean puramente técnicas, de cumplimiento o sociotécnicas.

La rendición de cuentas algorítmica puede entenderse, siguiendo a Mark Bovens(71), como una relación entre actores responsables de diseñar, adquirir o utilizar algoritmos, y foros, que pueden imponer normas de conducta y exigir responsabilidades. Esta relación implica no solo justificar decisiones, sino también asumir consecuencias.

La IA en el sector público debe estar sujeta a este marco, como han subrayado el Ada Lovelace Institute, AI Now Institute y Open Government Partnership(72), a través de un conjunto articulado de mecanismos políticos. La primera ola de implementación de la IA ha permitido poner de relieve la importancia de establecer incentivos institucionales y mecanismos de presión reputacional capaces de activar controles efectivos, así como de avanzar hacia marcos normativos vinculantes que superen la insuficiencia de los meros principios blandos en la materia. Del mismo modo, ha evidenciado la necesidad de contar con definiciones comunes y ámbitos claros de aplicación sectorial, de garantizar una participación pública estructurada y dotada de recursos suficientes y, finalmente, de reforzar la coordinación multinivel y multisectorial para evitar dinámicas de fragmentación(73).

Ante tales hechos, el mencionado informe identifica ocho mecanismos clave emergentes de control:

- Principios y directrices: sirven como base ética y orientativa, aunque sin fuerza vinculante.

- Prohibiciones y moratorias: aplicables a sistemas de alto riesgo o insuficientemente auditables.

- Transparencia pública: acceso ciudadano a información sobre algoritmos, objetivos y lógica subyacente.

- Evaluaciones de impacto algorítmico: ex ante, sobre derechos fundamentales, equidad y efectos diferenciados.

- Auditorías e inspección regulatoria: internas o externas, técnicas y sociojurídicas.

- Órganos independientes de supervisión: garantes del control ex post y de la coherencia institucional.

- Derechos a audiencia y recursos: posibilidad de impugnar decisiones automatizadas.

- Condiciones de contratación: cláusulas públicas para exigir transparencia, equidad y auditabilidad(74).

En este contexto, la auditoría algorítmica surge como herramienta central útil para identificar y corregir sesgos, así como para garantizar que los sistemas cumplen con los estándares éticos y legales. Las auditorías algorítmicas, como propone la Guía de Auditoría Algorítmica elaborada por Eticas Research and Consulting(75), se presentan como una forma necesaria de hacer que esta tecnología sea más explicable, más transparente, más predecible y más controlable por la ciudadanía, las instituciones públicas y también las empresas, al tiempo que contribuyen a mejorar los mecanismos de atribución de responsabilidad y de rendición de cuentas de los sistemas algorítmicos. Para lograrlo, deben incorporar un análisis documental y técnico del sistema, la comprensión de su contexto social, la identificación de sesgos y discriminaciones, la evaluación de la calidad de los datos, así como la verificación de aspectos vinculados a la privacidad, la explicabilidad y la aceptabilidad social del sistema. Asimismo, el proceso debe concluir con la formulación de recomendaciones y mecanismos de revisión periódica. Todo ello debe guiarse por los principios de cumplimiento legal y ético, deseabilidad, aceptabilidad y protección de datos personales.

Por otro lado, siguiendo a Mota Sánchez y Herrera Expósito(76), la auditoría debe aplicarse en las tres fases del ciclo de vida del algoritmo: en el inicio (ex ante): evaluación de impacto y adecuación ética antes de su despliegue; comitente (in itinere): supervisión durante el funcionamiento, revisiones iterativas; y a posteriori (ex post): auditorías tras su ejecución, valoración de resultados y aprendizaje institucional.

En este contexto, la coordinación institucional y cultura organizativa son esenciales, ya que la rendición de cuentas efectiva exige una arquitectura institucional coherente, con órganos de supervisión dotados de competencias, independencia y medios, así como una cultura organizativa orientada al control interno y al aprendizaje. La alfabetización algorítmica del funcionariado y la integración de la perspectiva de derechos en los procesos de contratación tecnológica son condiciones habilitantes fundamentales(77).

Como señala Bustelo Gracia, el camino hacia una gobernanza algorítmica que sea transparente y equitativa requiere de exigencias diversas, la implementación de auditorías rigurosas, la adopción de normativas dinámicas y la colaboración entre múltiples actores(78). Para ello reclama un enfoque multidimensional, y en esta línea los mecanismos de control de la IA en el sector público deben operar como una red de garantías entrelazadas, pues solo así tendrán capacidad para corregir desviaciones, prevenir un mal funcionamiento y asegurar la necesaria legitimidad democrática. Su eficacia no depende únicamente de su reconocimiento normativo, sino también de la forma en que se aplica en la práctica, de la existencia de mecanismos reales de supervisión y de su capacidad para adaptarse a contextos distintos. En una administración pública cada vez más apoyada en sistemas de IA, la implantación de la auditoría y los diversos sistemas de control algorítmico constituye, más que un objetivo en sí mismo, una garantía indispensable para asegurar un uso de la IA transparente, responsable y compatible con las exigencias democráticas

IV. NUEVOS RETOS DE LA ADMINISTRACIÓN PÚBLICA INTELIGENTE

En las páginas anteriores se han analizado los postulados clásicos del gobierno abierto en su aplicación al uso de la inteligencia artificial en el sector público. En directa conexión con tales cuestiones, se encuentran algunas transformaciones esenciales que tan solo apuntaremos en este apartado, que están alterando la lógica estructural de funcionamiento de la administración tradicional, y por tanto van más allá de la consideración de la IA como una mera herramienta de modernización administrativa o de gestión que incide únicamente en aumentar la eficiencia, a través de la automatización de tareas y del manejo de datos masivos.

Los modelos y sistemas de IA y el propio funcionamiento de los algoritmos provocan que el modelo clásico de Administración burocrática se esté transformando progresiva y aun imperceptiblemente, hacia formas de gobernanza algorítmica predictiva, alterando la racionalidad administrativa sobre la que históricamente se había construido el actuar administrativo.

En este sentido, la Administración clásica burocrática, origen de la actual y cuyas pautas de funcionamiento están aún vigentes, actúa a través de decisiones que toma el funcionariado, y lo hace emitiendo actos y resoluciones administrativas, motivadas en aquellos casos que exige la ley, y a través de expedientes personalizados, generados en un procedimiento administrativo clásico, operando en la mayoría de los casos a través de decisiones reactivas. En la actualidad, sin embargo, avanzamos de forma rápida hacia una Administración algorítmica que opera con datos masivos, es capaz de realizar predicciones y clasificaciones automáticas, utilizando en muchas ocasiones evaluaciones probabilísticas y patrones inferidos, y las decisiones finales, en forma de resoluciones, se encuentran parcialmente automatizadas.

En este nuevo escenario de actuación administrativa, la discrecionalidad no desaparece, ya que en muchos casos la ley sigue remitiendo al juicio subjetivo de la Administración. Sin embargo, el centro de decisión se desplaza: si hasta ahora han sido los funcionarios quienes ponderaban, ahora es el algoritmo el que toma la decisión, y la motivación podría convertirse en una mera reproducción del resultado algorítmico. En este nuevo esquema, la actuación administrativa se desplaza desde el espacio jurídico visible del procedimiento hacia arquitecturas técnicas frecuentemente inaccesibles para el control democrático y jurisdiccional.

La aparición de una Administración predictiva basada en la IA predice un paisaje en el que está ya no solo decide y resuelve, sino que su potente engranaje algorítmico le otorga una importante capacidad de predecir comportamientos y anticipar riesgos en numerosas parcelas de la acción administrativa (valgan como posibles ejemplos el fraude fiscal, el abandono escolar o la inspección laboral), pudiendo con ello intervenir sobre meras probabilidades o perfiles de personas o grupos y no sobre hechos, con las importantes consecuencias que esta premisa entraña en términos de presunción de inocencia e igualdad para el ciudadano, neutralidad administrativa, responsabilidad y control judicial de la Administración.

Esta nueva maquinaria administrativa no será ya la clásica Administración que conocemos, formal, visible y con unas reglas de juego claras, que impone el procedimiento administrativo. En la gobernanza algorítmica el ciudadano puede verse sometido a decisiones cuya lógica y criterios no comprende, porque junto a las reglas que impone el procedimiento administrativo, el régimen del acto y la normativa tradicional de funcionamiento del sector público, aparece una operativa marcada por las infraestructuras de datos, los modelos predictivos y los sistemas de clasificación algorítmica.

La automatización creciente de procesos decisionales, el desplazamiento de la discrecionalidad hacia sistemas algorítmicos y la posible expansión de predicciones y perfiles en la actuación administrativa, invisibilizando los mecanismos de intervención pública basados en datos (black box), alteran absolutamente los cimientos de la Administración y del ejercicio del poder público.

En este punto, no se trata de temer ni demonizar a la IA en la Administración pública, cuya implantación es ya una realidad, pero sí resulta necesario conocer los posibles riesgos que su mecánica entraña, actuar ante ellos con la necesaria anticipación y mantener una supervisión continua. Algunos de estos desafíos, en una lista no cerrada, son la deshumanización y la interacción automatizada Administración-ciudadano; el condicionamiento que podrían ejercer infraestructuras tecnológicas complejas y la dependencia de la Administración en este ámbito, con la consiguiente pérdida de soberanía tecnológica(79); la opacidad decisional y la dificultad de control(80); la externalización del conocimiento; las asimetrías y la desigualdad tecnológica y de trato a los distintos grupos de personas(81); la transformación de la cultura administrativa que impone la automatización(82); los sesgos estructurales, frente a la aparente neutralidad tecnológica(83); y particularmente, la necesidad de introducir claras líneas de comportamiento ético en la Administración algorítmica.

Todos los factores anteriores ponen claramente de manifiesto que esta transformación no es puramente técnica. La expansión de la inteligencia artificial en el sector público plantea interrogantes que trascienden ampliamente el ámbito tecnológico y que implican nuevas relaciones entre poder público, conocimiento y ciudadanía, que obligan a reconsiderar cuestiones relacionadas con la legitimidad democrática.

V. REFLEXIONES FINALES: LA REDEFINICIÓN DEL GOBIERNO ABIERTO EN LA ERA DE LA INTELIGENCIA ARTIFICIAL

El avance imparable de la IA y de los sistemas automatizados que articulan la actual gobernanza algorítmica en el sector público ha permitido un salto cualitativo en términos de eficiencia, planteando al tiempo desafíos fundamentales en cuestiones como la opacidad, los sesgos, la desigualdad, la capacidad institucional, la ausencia de la ciudadanía y de los empleados públicos en su diseño o la responsabilidad. Todos ellos se enmarcan en los tres ejes clásicos del gobierno abierto: la transparencia, la participación y la rendición de cuentas. Estos tres postulados merecen ser revisitados, transcurridos ya algunos años de implantación de la IA en el ámbito público, para evaluar los problemas vigentes, aquilatar las exigencias y requisitos que la normativa debe imponer al desarrollo de la IA e incluso anticiparse a nuevos desafíos derivados de una tecnología que genera transformaciones vertiginosas y estructurales. La OCDE(84) (2025) ha señalado que uno de los principales retos para los gobiernos consiste precisamente en desarrollar capacidades internas y modelos de gobernanza que permitan una adopción estratégica y confiable de la IA, neutralizando los riesgos mencionados, especialmente los de carácter ético.

Junto a todo ello, en nuestros días se ha iniciado ya una auténtica mutación de la racionalidad administrativa, impulsada por nuevas formas de producción de conocimiento administrativo, los mecanismos de adopción de decisiones y las propias lógicas de intervención pública que la IA contribuye a modelar. Su complejidad ha provocado la aparición de novedosas dinámicas de actuación administrativa que cuestionan o tensionan exigencias tradicionales del Derecho administrativo, como la motivación de los actos administrativos, la transparencia, la interdicción de la arbitrariedad o la fiscalización de las decisiones y actuaciones públicas, mucho más cuando se utilizan algoritmos en ámbitos sensibles.

Esta evolución plantea interrogantes en torno a la capacidad institucional y jurídica para integrar dichas herramientas de manera compatible con los principios fundamentales del Estado democrático y social de Derecho. De ahí que el desafío contemporáneo más relevante en este terreno no consista únicamente en incorporar inteligencia artificial en el sector público, sino en garantizar, mediante marcos regulatorios adecuados y mecanismos efectivos de control democrático y rendición de cuentas, que la Administración continúe sirviendo al ciudadano y gestionando los intereses generales con pleno respeto a sus derechos y libertades fundamentales, también cuando actúa mediante sistemas automatizados.

Porque, en última instancia, la discusión sobre la inteligencia artificial en el sector público no es únicamente tecnológica, sino profundamente política, y remite a quién decide, cómo se decide y bajo qué mecanismos puede exigirse responsabilidad. La cuestión esencial ya no es si los poderes públicos, y singularmente la Administración pública, utilizarán inteligencia artificial, sino con arreglo a qué principios políticos y constitucionales se integrará en la acción pública, evitando que la lógica algorítmica termine desplazando los principios y valores democráticos que deben regirla.

BIBLIOGRAFÍA

Ada Lovelace Institute, AI Now Institute and Open Government Partnership, Algorithmic Accountability for the Public Sector, 2021, disponible en: ENLACE [última consulta: 18-3-26].

Agarwal, P. K., <<Public administration challenges in the world of AI and bots>>, Public Administration Review, vol. 78, n.º 6, 2018, pp. 917-921. ENLACE

Arnstein, S. R., <<A Ladder of Citizen Participation>>, Journal of the American Institute of Planners, vol. 35, n.º 4, 1969, pp. 216-224

Avila, R., Brandusescu, A., Ortiz Freuler, J., Thakur, D., Policy Brief W20 Argentina: Artificial Intelligence: Open Questions about Gender Inclusion, Geneva: World Wide Web Foundation, 2018, disponible en ENLACE [última consulta: 13-4-26].

Benítez Palma, E., <<Auditores de algoritmos>>, Revista Auditoría Pública n. º 77, 2021, pp. 33-45, disponible en: ENLACE [última consulta: 17-5-26].

Birhane, A., Isaac, W., Prabhakaran, V., Díaz, M., Elish, M. C., Gabriel, I. y Mohamed, S., <<Power to the People? Opportunities and Challenges for Participatory AI>>, arXiv., 2022, ENLACE

Boix Palop, A., <<Los algoritmos son reglamentos: la necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la Administración para la adopción de decisiones>>, Revista de Derecho Público. Teoría y método, n.º 1, 2020, pp. 224-269.

Boix Palop, A., <<Transparencia en la utilización de inteligencia artificial por parte de la Administración>>, El Cronista del Estado Social y Democrático de Derecho, n.º 100, 2022, pp. 90-105.

Bovens, M., <<Analysing and assessing accountability: A conceptual framework>>, European Law Journal, vol. 13, n.º 4, 2007, pp. 447-468. ENLACE

Burrell, J., <<How the machine ‘thinks’: Understanding opacity in machine learning algorithms>>, Big Data & Society, vol. 3, n.º 1, 2016, doi: 10.1177/2053951715622512

Bustelo Gracia, J. L., <<Hacia una gobernanza algorítmica transparente: auditoría de sesgo. Estudio de caso>>, Cuadernos de Gobierno y Administración Pública, vol. 12, n.º 1, e97604, 2025, ENLACE

Castellanos Claramunt, J., <<Democracia, Administración pública e inteligencia artificial desde una perspectiva política y jurídica>>, Revista Catalana de Dret Públic, n.º 60, 2020, pp. 137-147, ENLACE.

Cerrillo i Martínez, A., <<Com obrir les caixes negres de les administracions públiques? Transparència i rendició de comptes en l’ús dels algoritmes (CA-EN)>>, Revista Catalana De Dret Públic, n.º 58, 2019, pp. 13–28. ENLACE

Cerrillo i Martínez, A., <<La transparencia de los algoritmos que utilizan las administraciones públicas>>, Anuario de Transparencia Local n.º 3, 2020, pp. 41-78

Cerrillo i Martínez, A. y Velasco Rico, C. I., <<La transparencia algorítmica>>, Working Papers, vol. 1, n.º 3, 2025, pp. 25–41, DIGITAPIA, Universitat Oberta de Catalunya

Comisión Europea, High-Level Expert Group on Artificial Intelligence, Directrices éticas para una IA fiable, 2019a, disponible en ENLACE [última consulta: 10-3-26].

Comisión Europea, A definition of artificial intelligence: Main capabilities and scientific disciplines, 2019b, disponible en ENLACE [última consulta: 10-3-26].

Comisión Europea, Libro Blanco sobre la inteligencia artificial -un enfoque europeo orientado a la excelencia y la confianza, 2020, disponible en ENLACE [última consulta: 10-3-26].

Comisión Europea, Reglamento del Parlamento y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial), 2021, disponible en ENLACE [última consulta: 11-3-26].

Corbett, E., Denton, R. y Erete, S., <<Power and Public Participation in AI>>, EAAMO '23: Proceedings of the 3rd ACM Conference on Equity and Access in Algorithms, Mechanisms, and Optimization Article n.º 8, 2023, pp. 1-13. ENLACE

Cotino Hueso, L., <<Discriminación, sesgos e igualdad de la inteligencia artificial en el sector público>>, en Gamero Casado, E. y Pérez Guerrero, F. L. (coords.), Inteligencia artificial y sector público: retos, límites y medios, Tirant lo Blanch, València, 2023, pp. 257-351, disponible en: ENLACE [última consulta: 17-3-26].

Criado, J.I., <<Inteligencia Artificial (y Administración Pública)>>, Eunomía. Revista en Cultura de la Legalidad, n.º 20, 2021, pp. 348-372. doi: ENLACE

Criado, J. I., Villodre, J. y Rodríguez Bolívar, M. P., La adopción de la inteligencia artificial en las Administraciones públicas. Oportunidades y retos para una gobernanza algorítmica, Instituto Nacional de Administración Pública, (INAP), 2026.

de Asís Roig, R., <<De nuevo sobre inteligencia artificial y derechos humanos>>, Derechos y libertades n.º 51, Época II, 2024, pp. 25-40, DOI: ENLACE

Engelmann, A., <<Algorithmic transparency as a fundamental right in the democratic rule of law>>, Brazilian Journal of Law, Technology and Innovation, 1(2), 2023, pp. 169-188, DOI: ENLACE.

Eticas Research and Consulting, Guía de Auditoría Algorítmica, Agencia Española de Protección de Datos (AEPD), 2021.

Eubanks, V., Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor, New York: Picador, St Martin’s Press, 2018.

Filgueiras, F., <<Inteligencia Artificial en la administración pública: ambigüedad y elección de sistemas de IA y desafíos de gobernanza digital>>, Revista Del CLAD Reforma Y Democracia, n.º 79, 2021, ENLACE

Guichot Reina, E., <<La transparencia de los algoritmos desde la normativa sobre transparencia y acceso a la información pública>>, Revista Andaluza de Administración Pública, n.º 17, 2024, pp. 77-115

Groves, L., Metcalf, J., Kennedy, A., Vecchione, B. y Strait, A., <<Auditing work: Exploring the New York City algorithmic bias audit regime>>, ACM, 2024, DOI: ENLACE

Innerarity, D., Colomina Saló, C. y Cantero Gamito, M., <<Introducción>>, en Colomina Saló, C., Innerarity, D. y Cantero Gamito, M. (coords.), Desigualdad algorítmica: gobernanza, representación y derechos en la IA. Revista CIDOB d’Afers Internacionals n.º 138, 2024, pp. 7-10. ENLACE

Janssen, M. y Kuk, G., The challenges and limits of big data algorithms in technocratic governance>>, Government Information Quarterly, vol. 33, n.º 3, 2016, pp. 371-377. ENLACE

Jöhnk, J., Weißert, M. Y Wyrtki, K, <<Ready or not, AI Comes— An Interview Study Of Organizational AI readiness factors>>, Business & Information Systems Engineering, vol. 63, n.º 1, 2021, pp. 5–20, doi:10.1007/s12599-020-00676-7.

Lee, K. F., AI Super-powers. China, Silicon Valley, and the New World Order, New York, Estados Unidos, Houghton Mifflin Harcourt, 2018.

Levinthal, D. A., <<The slow pace of rapid technological change: Gradualism and punctuation in technological change>>, Industrial and Corporate Change, vol. 7, n.º 2, 1998, pp. 217–247. ENLACE

McGee, R. y Gaventa, J., <<Shifting Power? Assessing the Impact of Transparency and Accountability Initiatives>>, IDS Working Paper 383, Institute of Development Studies, Brighton, 2011.

Mehr, H., Artificial intelligence for citizen services and government, Cambridge, MA: Harvard Kennedy School, Ash Center for Democratic Governance And Innovation, 2017, disponible en ENLACE [última consulta: 1-5-26].

Meijer, A., <<E-governance innovation: Barriers and strategies>>, Government Information Quarterly, vol. 32, n.º 2, 2015, pp. 198–206. ENLACE

Mesa de entidades del Tercer Sector Social, Informe Radar de algoritmos de IA y procesos de decisión automatizada para el acceso a los derechos sociales en Cataluña, 2024, disponible en ENLACE [última consulta: 15-4-26].

Metcalf, J., Moss, E., Watkins, E. A., Singh, R., y Elish, M. C., <<Algorithmic Impact Assessments and Accountability: The Co-construction of Impacts>>, en Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (FAccT ’21), 2021.

Michels, A., <<Innovations in democratic governance: how does citizen participation contribute to a better democracy?>>, International Review of Administrative Sciences, vol. 77, n.º 2, 2011, pp. 275-293, ENLACE

Mota Sánchez, E., Herrera Expósito, E., <<Auditoría algorítmica en la inteligencia artificial en el sector público>>, Proyecciones Revista digital Instituto de Investigaciones y Estudios Contables, 2023, pp. 32-39. DOI ENLACE

Neumann, O., Guirguis, K. y Steiner, R, <<Exploring artificial intelligence adoption in public organizations: A comparative case study>>, Public Management Review, vol. 26, nº. 1, 2024, pp. 114-141, ENLACE

Nist; Schwartz, R., Vassilev, A., Greene, K., Perine, L., Burt, A. y Hall, P., Towards a Standard for Identifying and Managing Bias in Artificial Intelligence, Special Publication 1270 (NIST SP), National Institute of Standards and Technology, Gaithersburg, MD, 2022, ENLACE

OCDE, Gobernar con la inteligencia artificial: Panorama actual y hoja de ruta en las funciones centrales de gobierno, OECD Publishing, Paris, 2025, disponible en ENLACE [última consulta: 14-3-26].

Parlamento Europeo, Panel for the Future of Science and Technology, A governance framework for algorithmic accountability and transparency, 2019, disponible en ENLACE [última consulta: 23-4-26].

Parres García, A., <<’Gervasio Para Todo’ y la gobernanza pública algorítmica>>, Documentación Administrativa: Nueva Época, n.º 12, 2024, pp. 87-102.

Pasquale, F., The black box society: The secret algorithms that control money and information, Harvard University Press, 2015.

Pastor Sainz-Pardo, M., <<Prólogo>>, en Criado, J. I., Villodre, J. y Rodríguez Bolívar, M. P., La adopción de la inteligencia artificial en las Administraciones públicas. Oportunidades y retos para una gobernanza algorítmica, 2026, pp. 23-26.

Russell, S. y Norvig, P., Artificial Intelligence: a Modern Approach, Englewood Cliffs, Prentice Hall, 2010.

Selten, F. y Klievink, B., <<Organizing public sector AI adoption: Navigating between separation and integration>>, Government Information Quarterly, vol. 41, n.º 1, 101885, 2024, ENLACE

Smith, G.; Rustagi, I., Mitigating Bias in Artificial Intelligence: An Equity Fluent Leadership Playbook, The Center for Equity, Gender and Leadership at the Haas School of Business, University of California, Berkeley, 2020.

Stephens, G., <<The need for a Citizen Jury Model: Partnering with the Public for Governance of Artificial Intelligence Solutions for Integrated Healthcare>>, International Journal of Integrated Care, vol. 21, 2021, pp. 1-8, DOI: doi.org/10.5334/ijic.ICIC20285

Sun, T. Q. y Medaglia, R., <<Mapping the challenges of artificial intelligence in the public sector: Evidence from public healthcare>>, Government Information Quarterly, 36(2), 2019, pp. 368-383, ENLACE

Tangi, L., Van Noordt, C. y Rodriguez Müller, A. P., <<The challenges of AI implementation in the public sector: An in-depth case studies analysis>>, Proceedings of the 24th Annual International Conference on Digital Government Research, 2023, pp. 414-422, ENLACE

Turksen, U., Benson, V. and Adamyk, B., <<Legal implications of automated suspicious transaction monitoring: Enhancing integrity of AI>>, Journal of Banking Regulation, 2024, DOI: 10.1057/s41261-024-00233-2.

Unesco, Artificial Intelligence and Gender Equality, Key findings of UNESCO’s Global Dialogue, 2020, disponible en ENLACE [última consulta: 22-4-26].

Unesco, Recomendación sobre la ética en la inteligencia artificial, 2022. Disponible en ENLACE [última consulta: 22-4-26].

Valle-Cruz, D., Criado, J. I., Sandoval-Almazán, R. y Ruvalcaba-Gómez, E. A., <<Assessing the public policy-cycle framework in the age of artificial intelligence: From agenda-setting to policy evaluation>>, Government Information Quarterly, vol. 37, n.º 4, 101509, 2020. ENLACE

Valle Escolano, R., <<Transparencia en la inteligencia artificial y en el uso de algoritmos: una visión de género>>, en Cotino Hueso, L. y Castellanos Claramunt, J. (coord.), Transparencia y explicabilidad de la inteligencia artificial, Tirant lo Blanch, 2022, pp. 85-107.

Valle Escolano, R., <<Una inteligencia artificial a medida de las personas: el control de la discriminación algorítmica>>, en Cotino Hueso, L. y Castellanos Claramunt, J. (eds.). Algoritmos abiertos y que no discriminen en el sector público, Tirant lo Blanch, 2023a, pp. 57-78.

Valle Escolano, R., <<Inteligencia artificial y derechos de las personas con discapacidad: el poder de los algoritmos>>, Revista Española de Discapacidad, vol. 11, n.º 1, 2023b, pp. 7-28. ENLACE

Veale, M.; Brass, I., <<Administration by Algorithm? Public Management Meets Public Sector Machine Learning>>, en Yeung, K. y Lodge, M. (ed.), Algorithmic Regulation and Governance, Oxford University Press, 2019. ENLACE

Velasco Rico, C. I., <<Vigilando al algoritmo: Propuestas organizativas para garantizar la transparencia>>, en Puentes Cociña, B. y Quintiá Pastrana, A. (eds.), El derecho ante la transformación digital: Oportunidades, riesgos y garantías, Atelier, 2019, pp. 73–90

Vestri, G., <<La inteligencia artificial ante el desafío de la transparencia algorítmica. Una aproximación desde la perspectiva jurídico-administrativa>>, Revista Aragonesa de Administración Pública, 2021, pp. 368-398

Wirtz, B. W., Weyerer, J. C. y Geyer, C., <<Artificial Intelligence and Public Sector: Applications and Challenges>>, International Journal of Public Administration, vol. 42 n.º 7, 2019, pp. 596-615, ENLACE.

Yeung, L., Guidance for the Development of AI Risk and Impact Assessments, University of California, Berkeley, 2021, disponible en ENLACE [última consulta: 20-4-26].

Young, M. M., Bullock, J. B. y Lecy, J. D., <<Artificial discretion as a tool of governance: A framework for understanding the impact of artificial intelligence on public administration>>, Perspectives on Public Management and Governance, vol. 2, n.º 14, 2019, pp. 301-313, ENLACE

NOTAS:

(1). Valle-Cruz, D., Criado, J. I., Sandoval-Almazán, R. y Ruvalcaba-Gómez, E. A., <<Assessing the public policy-cycle framework in the age of artificial intelligence: From agenda-setting to policy evaluation>>, Government Information Quarterly, vol. 37, n.º 4, 101509, 2020. ENLACE

(2). Comisión Europea, Libro Blanco sobre la inteligencia artificial -un enfoque europeo orientado a la excelencia y la confianza, 2020, disponible en ENLACE [última consulta: 10-3-26].

(3). Comisión Europea, Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial), 2021, disponible en ENLACE [última consulta: 11-3-26]; Valle Escolano, R., <<Transparencia en la inteligencia artificial y en el uso de algoritmos: una visión de género>>, en Cotino Hueso, L. y Castellanos Claramunt, J. (coord.), Transparencia y explicabilidad de la inteligencia artificial, Tirant lo Blanch, 2022, pp. 85-107.

(4). Pastor Sainz-Pardo, M., <<Prólogo>>, en Criado, J. I., Villodre, J. y Rodríguez Bolívar, M. P., La adopción de la inteligencia artificial en las Administraciones públicas. Oportunidades y retos para una gobernanza algorítmica, 2026, pp. 23-26.

(5). Véase Criado, J.I., <<Inteligencia Artificial (y Administración Pública)>>, Eunomía. Revista en Cultura de la Legalidad, n.º 20, 2021, pp. 348-372. doi: ENLACE

(6). Innerarity, D., Colomina Saló, C. y Cantero Gamito, M., <<Introducción>>, en Colomina Saló, C., Innerarity, D. y Cantero Gamito, M. (coords.), Desigualdad algorítmica: gobernanza, representación y derechos en la IA. Revista CIDOB d’Afers Internacionals n.º 138, 2024, pp. 7-10. ENLACE

(7). Criado, J. I., Villodre, J. y Rodríguez Bolívar, M. P., La adopción de la inteligencia artificial en las Administraciones públicas. Oportunidades y retos para una gobernanza algorítmica, Instituto Nacional de Administración Pública, (INAP), 2026.

(8). Comisión Europea, A definition of artificial intelligence: Main capabilities and scientific disciplines, 2019b, p. 1, disponible en ENLACE [última consulta: 10-3-26].

(9). Russell, S. y Norvig, P., Artificial Intelligence: a Modern Approach, Englewood Cliffs, Prentice Hall, 2010.

(10). Filgueiras, F., <<Inteligencia Artificial en la administración pública: ambigüedad y elección de sistemas de IA y desafíos de gobernanza digital>>, Revista Del CLAD Reforma Y Democracia, n.º 79, 2021, ENLACE

(11). Wirtz, B. W., Weyerer, J. C. y Geyer, C., <<Artificial Intelligence and Public Sector: Applications and Challenges>>, International Journal of Public Administration, vol. 42 n.º 7, 2019, p. 599, ENLACE.

(12). Meijer, A., <<E-governance innovation: Barriers and strategies>>, Government Information Quarterly, vol. 32, n.º 2, 2015, pp. 198–206. ENLACE; Mehr, H., Artificial intelligence for citizen services and government, Cambridge, MA: Harvard Kennedy School, Ash Center for Democratic Governance And Innovation, 2017, disponible en ENLACE [última consulta: 1-5-26] ; Selten, F. y Klievink, B., <<Organizing public sector AI adoption: Navigating between separation and integration>>, Government Information Quarterly, vol. 41, n. º1, 2024, ENLACE; Neumann, O., Guirguis, K. y Steiner, R, <<Exploring artificial intelligence adoption in public organizations: A comparative case study>>, Public Management Review, vol. 26, n.º1, 2024, pp. 114-141, ENLACE

(13). OCDE, Gobernar con la inteligencia artificial: Panorama actual y hoja de ruta en las funciones centrales de gobierno, OECD Publishing, Paris, 2025, disponible en ENLACE [última consulta: 14-3-26].

(14). Criado, J.I., <<Inteligencia Artificial (y Administración Pública)>>, op. cit.

(15). Lee, K.F., AI Super-powers. China, Silicon Valley, and the New World Order, New York, Estados Unidos, Houghton Mifflin Harcourt, 2018.

(16). OCDE, Gobernar con la inteligencia artificial: Panorama actual y hoja de ruta en las funciones centrales de gobierno, op. cit.

(17). Ídem.

(18). Janssen, M. y Kuk, G., <<The challenges and limits of big data algorithms in technocratic governance>>. Government Information Quarterly, vol. 33, n.º 3, 2016, pp. 371-377, ENLACE; Agarwal, P. K., <<Public administration challenges in the world of AI and bots>>, Public Administration Review, vol. 78, n.º 6, 2018, pp. 917-921. ENLACE

(19). Wirtz, B. W., Weyerer, J. C. y Geyer, C., <<Artificial Intelligence and Public Sector: Applications and Challenges>>, op. cit.

(20). Neumann, O., Guirguis, K. y Steiner, R, <<Exploring artificial intelligence adoption in public organizations: A comparative case study>>, op. cit.

(21). Selten, F. y Klievink, B., <<Organizing public sector AI adoption: Navigating between separation and integration>>, op. cit.

(22). Levinthal, D. A., <<The slow pace of rapid technological change: Gradualism and punctuation in technological change>>, Industrial and Corporate Change, vol. 7, n.º 2, 1998, pp. 217–247. ENLACE; Meijer, A., <<E-governance innovation: Barriers and strategies>>, op. cit.

(23). Jöhnk, J., Weißert, M. Y Wyrtki, K, <<Ready or not, AI Comes— An Interview Study Of Organizational AI readiness factors>>, Business & Information Systems Engineering, vol. 63, n.º 1, 2021, pp. 5–20, doi:10.1007/s12599-020-00676-7.

(24). Wirtz, B. W., Weyerer, J. C. y Geyer, C., <<Artificial Intelligence and Public Sector: Applications and Challenges>>, op. cit.

(25). Tangi, L., Van Noordt, C. y Rodriguez Müller, A. P., <<The challenges of AI implementation in the public sector: An in-depth case studies analysis>>, Proceedings of the 24th Annual International Conference on Digital Government Research, 2023, pp. 414-422, ENLACE

(26). Sun, T. Q. y Medaglia, R., <<Mapping the challenges of artificial intelligence in the public sector: Evidence from public healthcare>>, Government Information Quarterly, vol. 36, n.º 2, 2019, pp. 368-383, ENLACE

(27). Neumann, O., Guirguis, K. y Steiner, R, <<Exploring artificial intelligence adoption in public organizations: A comparative case study>>, op. cit.

(28). Bustelo Gracia, J. L., <<Hacia una gobernanza algorítmica transparente: auditoría de sesgo. Estudio de caso>>, Cuadernos de Gobierno y Administración Pública, vol. 12, n.º 1, 2025, ENLACE; Cerrillo i Martínez, A., <<La transparencia de los algoritmos que utilizan las administraciones públicas>>, Anuario de Transparencia Local n.º 3, 2020, pp. 41-78; Cerrillo i Martínez, A. y Velasco Rico, C. I., <<La transparencia algorítmica>>, Working Papers, vol. 1, n.º 3, 2025, pp. 25–41, DIGITAPIA, Universitat Oberta de Catalunya; Parres García, A., <<<<Gervasio Para Todo>> y la gobernanza pública algorítmica>>, Documentación Administrativa: Nueva Época, n.º 12, 2024, pp. 87-102.

(29). de Asís Roig, R., <<De nuevo sobre inteligencia artificial y derechos humanos>>, Derechos y libertades n.º 51, Época II, 2024, pp. 25-40, DOI: ENLACE; Valle Escolano, R., <<Una inteligencia artificial a medida de las personas: el control de la discriminación algorítmica>>, en Cotino Hueso, L. y Castellanos Claramunt, J. (eds.). Algoritmos abiertos y que no discriminen en el sector público, Tirant lo Blanch, 2023a, pp. 57-78; Valle Escolano, R., <<Inteligencia artificial y derechos de las personas con discapacidad: el poder de los algoritmos>>, Revista Española de Discapacidad, vol. 11, n.º 1, 2023b, pp. 7-28. ENLACE; Comisión Europea, Libro Blanco sobre la inteligencia artificial -un enfoque europeo orientado a la excelencia y la confianza, op.cit.

(30). UNESCO, Recomendación sobre la ética en la inteligencia artificial, 2022. Disponible en ENLACE [última consulta: 22-4-26].

(31). Pasquale, F., The black box society: The secret algorithms that control money and information, Harvard University Press, 2015.

(32). Burrell, J., <<How the machine ‘thinks’: Understanding opacity in machine learning algorithms>>, Big Data & Society, vol. 3, n.º 1, 2016, doi: 10.1177/2053951715622512; Cerrillo i Martínez, A., <<La transparencia de los algoritmos que utilizan las administraciones públicas>>, op. cit.; Velasco Rico, C. I., <<Vigilando al algoritmo: Propuestas organizativas para garantizar la transparencia>>, en Puentes Cociña, B. y Quintiá Pastrana, A. (eds.), El derecho ante la transformación digital: Oportunidades, riesgos y garantías, Atelier, 2019, pp. 73–90.

(33). Groves, L., Metcalf, J., Kennedy, A., Vecchione, B. y Strait, A., <<Auditing work: Exploring the New York City algorithmic bias audit regime>>, ACM, 2024, DOI: ENLACE

(34). Turksen, U., Benson, V. and Adamyk, B., <<Legal implications of automated suspicious transaction monitoring: Enhancing integrity of AI>>, Journal of Banking Regulation, 2024, DOI: 10.1057/s41261-024-00233-2; Engelmann, A., Algorithmic transparency as a fundamental right in the democratic rule of law, Brazilian Journal of Law, Technology and Innovation, vol. 1, n.º 2, 2023, pp. 169-188, DOI: ENLACE.

(35). Comisión Europea, High-Level Expert Group on Artificial Intelligence, Directrices éticas para una IA fiable, 2019a, disponible en ENLACE [última consulta: 10-3-26].

(36). Ídem.

(37). Cerrillo i Martínez, A. y Velasco Rico, C. I., <<La transparencia algorítmica>>, op. cit.

(38). Cotino Hueso, L., <<Discriminación, sesgos e igualdad de la inteligencia artificial en el sector público>>, en Gamero Casado , E. y Pérez Guerrero, F. L. (coords.), Inteligencia artificial y sector público: retos, límites y medios, Tirant lo Blanch, València, 2023, pp. 257-351, disponible en: ENLACE [última consulta: 17-3-26].

(39). Valle Escolano, R., <<Inteligencia artificial y derechos de las personas con discapacidad: el poder de los algoritmos>>, op. cit.; Bustelo Gracia, J. L., <<Hacia una gobernanza algorítmica transparente: auditoría de sesgo. Estudio de caso>>, op. cit.

(40). Nist; Schwartz, R., Vassilev, A., Greene, K., Perine, L., Burt, A. y Hall, P., Towards a Standard for Identifying and Managing Bias in Artificial Intelligence, Special Publication 1270 (NIST SP), National Institute of Standards and Technology, Gaithersburg, MD, 2022, ENLACE

(41). Smith, G.; Rustagi, I., Mitigating Bias in Artificial Intelligence: An Equity Fluent Leadership Playbook, The Center for Equity, Gender and Leadership at the Haas School of Business, University of California, Berkeley, 2020; Valle Escolano, R., <<Transparencia en la inteligencia artificial y en el uso de algoritmos: una visión de género>>, op. cit.; Valle Escolano, R., <<Una inteligencia artificial a medida de las personas: el control de la discriminación algorítmica>>, op. cit.; Valle Escolano, R., <<Inteligencia artificial y derechos de las personas con discapacidad: el poder de los algoritmos>>, op. cit.

(42). Nist; Schwartz, R., Vassilev, A., Greene, K., Perine, L., Burt, A. y Hall, P., Towards a Standard for Identifying and Managing Bias in Artificial Intelligence, op. cit.

(43). Burrell, J., <<How the machine ‘thinks’: Understanding opacity in machine learning algorithms>>, op. cit.

(44). Cerrillo i Martínez, A. y Velasco Rico, C. I., <<La transparencia algorítmica>>, op. cit.

(45). Boix Palop, A., <<Los algoritmos son reglamentos: la necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la Administración para la adopción de decisiones>>, Revista de Derecho Público. Teoría y método, n.º 1, 2020, pp. 224-269.

(46). Boix Palop, A., <<Transparencia en la utilización de inteligencia artificial por parte de la Administración>>, El Cronista del Estado Social y Democrático de Derecho, n.º 100, 2022, pp. 90-105.

(47). OCDE, Gobernar con la inteligencia artificial: Panorama actual y hoja de ruta en las funciones centrales de gobierno, op. cit.

(48). Guichot Reina, E., <<La transparencia de los algoritmos desde la normativa sobre transparencia y acceso a la información pública>>, Revista Andaluza de Administración Pública, n.º 17, 2024, pp. 77-115.

(49). Groves, L., Metcalf, J., Kennedy, A., Vecchione, B. y Strait, A., <<Auditing work: Exploring the New York City algorithmic bias audit regime>>, op. cit; Bustelo Gracia, J. L., <<Hacia una gobernanza algorítmica transparente: auditoría de sesgo. Estudio de caso>>, op. cit.; Ada Lovelace Institute, AI Now Institute and Open Government Partnership, Algorithmic Accountability for the Public Sector, 2021, disponible en: ENLACE [última consulta: 18-3-26].

(50). Yeung, L., Guidance for the Development of AI Risk and Impact Assessments, University of California, Berkeley, 2021, disponible en ENLACE [última consulta: 20-4-26].

(51). Burrell, J., <<How the machine ‘thinks’: Understanding opacity in machine learning algorithms>>, op. cit.

(52). Mesa de entidades del Tercer Sector Social, Informe Radar de algoritmos de IA y procesos de decisión automatizada para el acceso a los derechos sociales en Cataluña, 2024, disponible en ENLACE [última consulta: 15-4-26].

(53). Comisión Europea, Libro Blanco sobre la inteligencia artificial -un enfoque europeo orientado a la excelencia y la confianza, op. cit.

(54). Bustelo Gracia, J. L., <<Hacia una gobernanza algorítmica transparente: auditoría de sesgo. Estudio de caso>>, op. cit.; Castellanos Claramunt, J., <<Democracia, Administración pública e inteligencia artificial desde una perspectiva política y jurídica>>, Revista Catalana de Dret Públic, n.º 60, 2020, pp. 137-147, ENLACE

(55). Criado, J.I., <<Inteligencia Artificial (y Administración Pública)>>, op. cit.; Cerrillo i Martínez, A., <<La transparencia de los algoritmos que utilizan las administraciones públicas>>, op. cit.; Vestri, G., <<La inteligencia artificial ante el desafío de la transparencia algorítmica. Una aproximación desde la perspectiva jurídico-administrativa>>, Revista Aragonesa de Administración Pública, 2021, pp. 368-398.

(56). McGee, R. y Gaventa, J., <<Shifting Power? Assessing the Impact of Transparency and Accountability Initiatives>>, IDS Working Paper 383, Institute of Development Studies, Brighton, 2011; Metcalf, J., Moss, E., Watkins, E. A., Singh, R., y Elish, M. C., <<Algorithmic Impact Assessments and Accountability: The Co-construction of Impacts>>, en Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (FAccT ’21), 2021.

(57). Stephens, G., <<The need for a Citizen Jury Model: Partnering with the Public for Governance of Artificial Intelligence Solutions for Integrated Healthcare>>, International Journal of Integrated Care, vol. 21, 2021, pp. 1-8, DOI: doi.org/10.5334/ijic.ICIC20285

(58). Comisión Europea, High-Level Expert Group on Artificial Intelligence, Directrices éticas para una IA fiable, op. cit.

(59). UNESCO, Recomendación sobre la ética en la inteligencia artificial, op. cit.

(60). Smith, G.; Rustagi, I., Mitigating Bias in Artificial Intelligence: An Equity Fluent Leadership Playbook, op. cit.; UNESCO, Artificial Intelligence and Gender Equality, Key findings of UNESCO’s Global Dialogue, 2020, disponible en ENLACE [última consulta: 22-4-26]; Valle Escolano, R., <<Transparencia en la inteligencia artificial y en el uso de algoritmos: una visión de género>>, op. cit.; Avila, R., Brandusescu, A., Ortiz Freuler, J., Thakur, D., Policy Brief W20 Argentina: Artificial Intelligence: Open Questions about Gender Inclusion, Geneva: World Wide Web Foundation, 2018, disponible en ENLACE [última consulta: 13-4-26].

(61). UNESCO, Recomendación sobre la ética en la inteligencia artificial, op. cit., p. 23.

(62). Corbett, E., Denton, R. y Erete, S., <<Power and Public Participation in AI>>, EAAMO '23: Proceedings of the 3rd ACM Conference on Equity and Access in Algorithms, Mechanisms, and Optimization Article n.º 8, 2023, pp. 1-13. ENLACE

(63). Arnstein, S. R., <<A Ladder of Citizen Participation>>, Journal of the American Institute of Planners, vol. 35, n.º 4, 1969, pp. 216-224: Este modelo divide la participación en ocho niveles, organizados en tres grandes categorías: No participación, Participación simbólica y Control ciudadano. Arnstein visualiza la participación como un proceso que avanza progresivamente, desde la exclusión hasta el empoderamiento total. Se trata de un planteamiento útil para detectar cuando una participación es meramente simbólica o verdaderamente efectiva.

(64). Stephens, G., <<The need for a Citizen Jury Model: Partnering with the Public for Governance of Artificial Intelligence Solutions for Integrated Healthcare>>, op. cit.

(65). Michels, A., <<Innovations in democratic governance: how does citizen participation contribute to a better democracy?>>, International Review of Administrative Sciences, vol. 77, n.º 2, 2011, pp. 275-293, ENLACE

(66). Parlamento Europeo, Panel for the Future of Science and Technology, A governance framework for algorithmic accountability and transparency, 2019, disponible en ENLACE [última consulta: 23-4-26].

(67). Corbett, E., Denton, R. y Erete, S., <<Power and Public Participation in AI>>, op. cit.; Birhane, A., Isaac, W., Prabhakaran, V., Díaz, M., Elish, M. C., Gabriel, I. y Mohamed, S., <<Power to the People? Opportunities and Challenges for Participatory AI>>, arXiv., 2022, ENLACE

(68). Ada Lovelace Institute, AI Now Institute and Open Government Partnership, Algorithmic Accountability for the Public Sector, op. cit.

(69). Metcalf, J., Moss, E., Watkins, E. A., Singh, R., y Elish, M. C., <<Algorithmic Impact Assessments and Accountability: The Co-construction of Impacts>>, op. cit.

(70). OCDE, Gobernar con la inteligencia artificial: Panorama actual y hoja de ruta en las funciones centrales de gobierno, op. cit.

(71). Bovens, M., <<Analysing and assessing accountability: A conceptual framework>>, European Law Journal, vol. 13, n.º 4, 2007, pp. 447-468. ENLACE

(72). Ada Lovelace Institute, AI Now Institute and Open Government Partnership, Algorithmic Accountability for the Public Sector, op. cit.

(73). Ídem.

(74). Ídem.

(75). Eticas Research and Consulting, Guía de Auditoría Algorítmica, Agencia Española de Protección de Datos (AEPD), 2021, p. 9.

(76). Mota Sánchez, E., Herrera Expósito, E., <<Auditoría algorítmica en la inteligencia artificial en el sector público>>, Proyecciones Revista digital Instituto de Investigaciones y Estudios Contables, 2023, pp. 32-39. DOI ENLACE

(77). Benítez Palma, E., <<Auditores de algoritmos>>, Revista Auditoría Pública n. º 77, 2021, pp. 33-45, disponible en: ENLACE [última consulta: 17-5-26].

(78). Bustelo Gracia, J. L., <<Hacia una gobernanza algorítmica transparente: auditoría de sesgo. Estudio de caso>>, op. cit., p. 37.

(79). OCDE, Gobernar con la inteligencia artificial: Panorama actual y hoja de ruta en las funciones centrales de gobierno, op. cit.

(80). Pasquale, F., The black box society: The secret algorithms that control money and information, op. cit. ; Cerrillo i Martínez, A., <<Com obrir les caixes negres de les administracions públiques? Transparència i rendició de comptes en l’ús dels algoritmes (CA-EN)>>, Revista Catalana De Dret Públic, n.º 58, 2019, pp. 13–28. ENLACE

(81). Eubanks, V., Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor, New York: Picador, St Martin’s Press, 2018.

(82). Veale, M.; Brass, I., <<Administration by Algorithm? Public Management Meets Public Sector Machine Learning>>, en Yeung, K. y Lodge, M. (ed.), Algorithmic Regulation and Governance, Oxford University Press, 2019. ENLACE

(83). Young, M. M., Bullock, J. B. y Lecy, J. D., <<Artificial discretion as a tool of governance: A framework for understanding the impact of artificial intelligence on public administration>>, Perspectives on Public Management and Governance, vol. 2, n.º 14, 2019, pp. 301-313, ENLACE

(84). OCDE, Gobernar con la inteligencia artificial: Panorama actual y hoja de ruta en las funciones centrales de gobierno, op. cit.