Transparencia cuando la función pública incorpora inteligencia artificial: ¿es suficiente con una Ley en Chile?

La transparencia es un principio fundamental tanto para fortalecer la confianza ciudadana y salvaguardar el funcionamiento democrático, como para la integración responsable de la inteligencia artificial (IA) en la administración del Estado. A partir de esta premisa, en el artículo se examina el proyecto de ley chileno sobre regulación de la IA para dilucidar qué tipo de mecanismos de transparencia exige a los algoritmos del sector público.

Lorayne Finol Romero es Académica Investigadora de la Facultad de Derecho

Universidad Central de Chile (1)

El artículo se publicó en el número 69 de la Revista General de Derecho Administrativo (Iustel, mayo 2025)

RESUMEN: La transparencia es un principio fundamental tanto para fortalecer la confianza ciudadana y salvaguardar el funcionamiento democrático, como para la integración responsable de la inteligencia artificial (IA) en la administración del Estado. A partir de esta premisa, en el artículo se examina el proyecto de ley chileno sobre regulación de la IA para dilucidar qué tipo de mecanismos de transparencia exige a los algoritmos del sector público. Los resultados muestran que el proyecto de ley no recoge la creciente demanda mundial por una mayor regulación de las normas aplicables a la IA para dar fin a una era de autorregulación, y se argumenta que la transparencia de la IA cuando el Estado es el responsable requiere más que una ley, porque amerita adaptar el estatuto administrativo vigente al marco de la gobernanza de los algoritmos incorporados en la administración pública. Se concluye que sigue habiendo lagunas en cuanto a las obligaciones legales cuya materia regulada es la explicabilidad de y mayor responsabilidad de los algoritmos, la supervisión eficaz y exigencia de los mecanismos de control para corregir posibles sesgos o decisiones arbitrarias especialmente en sistemas de aprendizaje automático.

TRANSPARENCY WHEN PUBLIC ADMINISTRATION IT INCORPORATES ARTIFICIAL INTELLIGENCE: IS A LAW ENOUGH IN CHILE?

ABSTRACT: Transparency is a fundamental principle both for strengthening citizen trust and safeguarding democratic functioning, as well as for the responsible integration of artificial intelligence (AI) in the administration of the State. Based on this premise, the article examines the Chilean draft law on AI regulation to elucidate what kind of transparency mechanisms it requires for public sector algorithms. The results show that the bill does not capture the growing global demand for greater regulation of the rules applicable to AI to end an era of self-regulation, and it is argued that AI transparency when the State is responsible requires more than a law, because it merits adapting the current administrative statute to the framework of governance of algorithms incorporated in public administration. It is concluded that there are still gaps in terms of legal obligations whose regulated matter is the explainability of and greater accountability of algorithms, effective supervision and requirement of control mechanisms to correct possible biases or arbitrary decisions especially in machine learning systems.

1. INTRODUCCIÓN

La incorporación de la Inteligencia Artificial (IA) en la gestión pública está en constante expansión, transformando la manera como los organismos del Estado prestan sus servicios y toman decisiones(2). Sin embargo, esta incorporación plantea desafíos significativos en materia de transparencia y rendición de cuentas, lo que ha llevado a organizaciones internacionales y grupos de la sociedad civil a exigir mayores garantías sobre su uso(3). En este contexto, el presente artículo sostiene que al menos cinco principios fundamentales pueden asegurar la transparencia de la IA empleada por el Estado y examina en qué medida el actual proyecto de ley chileno los ha incorporado de manera efectiva.

La literatura especializada ha advertido que la adopción de estas tecnologías avanza sin los resguardos normativos necesarios para su integración responsable sobre todo cuando es la administración pública y, especialmente en lo que respecta a los sistemas de aprendizaje automático. Dentro de esta corriente doctrinal McKinlay(4) afirma que debido a los problemas de opacidad que conlleva su aplicación, las decisiones basadas en mera probabilidad no reúnen todos los requisitos exigibles a la actuación estatal de los sistemas democráticos, especialmente por el riesgo de perjudicar a su ciudadanía.

A lo largo de este artículo, se analiza el uso de IA en la administración pública, entendidos como conjuntos de reglas computacionales que optimizan la eficiencia y eficacia en la ejecución de tareas administrativas, especialmente aquellas de carácter rutinario y repetitivo(5). No obstante, esta investigación sostiene que, más allá de la promulgación de una ley específica, es imprescindible establecer un marco jurídico integral que contemple un conjunto de garantías legales para evitar la perpetuación de problemas estructurales como la opacidad inherente de los algoritmos y la reproducción de sesgos sistemáticos(6). Estos últimos pueden derivarse de errores probabilísticos y de sesgos no deseados que favorecen a grupos privilegiados en detrimento de sectores históricamente marginados, generando resultados que podrían tener efectos arbitrarios y contrarios a los principios de equidad y no discriminación(7).

En este contexto, la regulación de la transparencia de la IA ha trascendido como un conjunto de mecanismos de transparencia aplicables a los algoritmos con los que se programan, es decir, medidas garantes además del acceso a la información, auditoría y rendición de cuentas que garantizan el control efectivo de los sistemas en la gestión pública, para asegurar su compatibilidad con los derechos fundamentales y fortaleciendo la confianza ciudadana en el uso de estas tecnologías. Dando lugar a un modelo que Margetts y Dorobantu(8) definen como gobernanza algorítmica, donde esta tecnología funciona como un catalizador de las relaciones entre la ciudadanía y las administraciones públicas, facilitando desde la realización de trámites burocráticos, hasta la asistencia en la toma de decisiones que los gobiernos puedan introducir para ser más eficientes en las demandas dirigidas a la ciudadanía.

Por esto, ante la introducción en el Congreso del Proyecto de Ley No. 16.821-19 que busca regular la inteligencia artificial (IA) en Chile, el objetivo de esta investigación fue analizar las obligaciones legales necesarias para garantizar la transparencia algorítmica en los procesos automatizados con IA en la administración del Estado, para responder la pregunta: es suficiente una ley para este colosal ámbito regulatorio. Para ello, se integra el marco normativo del estatuto administrativo chileno vigente (lege data) con el texto del proyecto de ley (lege ferenda), y se determinar si el texto se hace cargo de las recomendaciones de organismos internacionales. En concreto, busca determinar en qué medida estas obligaciones han sido incorporadas en el actual proyecto de ley y si resultan suficientes para salvaguardar los derechos fundamentales cuando el responsable de la aplicación de la IA, son los organismos de la administración del Estado.

El contenido ha sido estructurado en tres partes. En la primera parte, se hace una revisión de los elementos conceptuales doctrinales y jurídicos necesarios para exigir transparencia a los algoritmos de la administración del Estado. En la segunda sección, se comparan estándares del derecho internacional, a través del benchmarking de las obligaciones de transparencia algorítmica. Y, en la tercera sección, por medio de la técnica de armonización jurídica se describen cinco principios garantes de la transparencia requerida para la implementación responsable de la IA en la administración del Estado, que seguidamente fueron contrastados con el corpus iuris del proyecto de ley de IA explicando los desafíos persistentes para exigir transparencia a estos sistemas.

2. CONCEPTUALIZACIÓN DE LA TRANSPARENCIA ALGORÍTMICA

El legislador chileno ha establecido que “las disposiciones de transparencia y acceso a la información pública vigentes en Chile son aplicables respecto de los sistemas de decisiones automatizadas y semi automatizadas en los términos que establece la Constitución y la Ley de Transparencia”(9). Es decir, que el régimen de garantías de la actuación administrativa vigente, es aplicable a esta tecnología, cualquiera sea su formato. Siguiendo con esta línea argumental, esto significa que las bases jurídico-administrativas de la legislación previa a la llegada de la IA, han sido entendidas como plenamente aplicables y también sus carencias.

De esta forma la transparencia algorítmica a la que se refiere en este artículo, es al conjunto de obligaciones legales, cuyo ámbito jurídico exige proporcionar información para explicar, escrutar y auditar procesos de sistemas automatizados del Estado cuando incorpora IA, cuya finalidad es garantizar el derecho de acceso a la información, así como la publicidad de información necesaria para la rendición de cuentas, pilar de la democracia sustantiva.

Es por esto que, para comprender el alcance de las obligaciones legales requeridas, en esta parte se inicia con la contextualización de una primera definición de algoritmos desde una perspectiva doctrinal. Todo lo cual, sin desconocer que representa un problema en sí mismo para una investigación dogmática jurídica de este tipo.

De tal manera complejo por la dificultad técnica que significa definir qué es la IA , cuya descripción se ha abordado desde distintas disciplinas científicas para hacer referencia a un conjunto de tecnologías que permiten ejecutar sistemas computacionales, para hacer predicciones, recomendaciones, clasificaciones de patrones, perfilado, así como, visualizaciones de grandes conjuntos de datos, y aprender autónomamente a interrelacionarse con personas, en un lenguaje humano natural(10). Es importante precisar que la tecnología provista por IA se basa en esencia, en sistemas algorítmicos provistos por las ciencias computacionales diseñados para resolver problemas(11), y que pueden hacer que los procesos automatizados con esta tecnología al interior de la administración del Estado, sean además de eficientes, también más eficaces(12).

Justamente por esto último, es importante detenerse en algunos aspectos doctrinales que cuestionan a estos sistemas, como se procede a continuación(13). Por lo que, hay que advertir que esta aproximación teórica no persigue incurrir en una definición reduccionista de un concepto en constante ebullición. Al respecto, porque un algoritmo en estricto rigor aunque es una secuencia ordenada de instrucciones mediante un programa informático, puede realizar procesos similares a los llevados a cabo por seres humanos(14). Así entendidos, los algoritmos son un mero reflejo del tipo de instrucciones con los que se programan y de los datos con los que se los entrena. De tal modo que, si los datos con los que entrenan incorporan sesgos, el algoritmo los reproducirá, o peor aún, los exacerbaría(15).

En este tema, es importante introducir el concepto de sociedades conducidas por datos o data-driven-society explicado por el profesor Alex Pentland(16), quien afirma que en virtud de la nueva forma de interactuar estos sistemas con las personas basándose en información disponible en internet. Es clave, que para mejorar la calidad de los datos que se suministra a los algoritmos, entendidos como la representación digital de cualquier tipo de información(17), primero hay que partir por la regulación de los datos. En efecto, cuando Pentland se refiere a un nuevo paradigma social de comportamiento, con el que es posible predecir comportamientos, acciones y decisiones, da cuenta grosso modo, del largo etcétera de posibles aplicaciones de esta tecnología y de los riesgos que involucra.

Ejemplo de ello se observa en el sistema automatizado de asignación de matrículas escolares del MINEDUC en Chile. Mejor conocido como ‘SAE’(18), algoritmo con el que se pretende ampliar la igualdad de oportunidades en la asignación de una matrícula escolar en establecimientos municipales. No obstante, sin desconocer, los beneficios que conlleva automatizar este proceso, y dada su aplicación sin las garantías de transparencia algorítmica, Corte de Apelaciones(19) declara arbitrario y discriminatorio el actuar omisivo de la Secretaría Regional del Ministerio de Educación por vulnerar el artículo 19 N° 10 de la constitución, al no otorgar una matrícula a un estudiante adolescente para cursar el año lectivo 2024.

De tal manera que, la Corte declara que la recurrida debe realizar todas las coordinaciones que sean necesarias, para la generación de una matrícula para los NNA, en el establecimiento más cercano al domicilio de la parte recurrente, debiendo materializar la generación del cupo indicado en un plazo que no exceda de un plazo razonable, para reparar la vulneración del derecho a la educación media del adolescente. Este caso da cuenta del elevado riesgo social y las repercusiones de sus potenciales efectos discriminatorios en grupos de personas vulnerables, en este caso de un adolescente que se ve impedido de acceder al sistema educativo.

Sin embargo, a pesar de este tipo de casos de alto riesgo, comoquiera que se les mire, estos sistemas con las salvaguardas necesarias también podrían ofrecer la oportunidad de agilizar procesos complejos y repetitivos, dada su capacidad de procesar grandes volúmenes de datos, por lo que pueden desempeñar un papel importante en la productividad de la administración pública(20).

Situación similar, pero a nivel internacional, es la Sentencia Loomis Vs. Wisconsin, en donde a través del sistema algorítmico COMPAS(21) se negó la libertad condicional de un recluso, basado en el alto riesgo de incurrir en reincidencia por razones relacionadas con datos sensibles, basados en rasgos relativos a su color de piel.

En esta ocasión porque la decisión judicial se basó en un algoritmo que en su análisis procesó un conjunto de datos personales, referidos tanto a sus antecedentes criminales, como características sociodemográficas y étnicas. Es decir, el algoritmo determinó niveles de riesgos a delinquir entre personas, tomando en cuenta varios criterios, entre ellos, su color de piel. Logrando clasificar con un riesgo mayor de reincidencia a personas afroamericanos, hombres y mujeres, y por estrato socioeconómico, así como, nivel educativo.

En resumen, porque la incorporación de esta tecnología dada su complejidad de naturaleza computacional y matemática, podrían exacerbar discriminaciones históricas, derivadas de su implementación sin las medidas adecuadas, resulta indispensable exigir obligaciones legales de transparencia que permitan exigir más responsabilidad a sus implementadores. Especialmente aquella tecnología aplicada al interior de la función del Estado, como se explica a continuación.

2.1. Qué transparencia algorítmica es la requerida cuando el responsable de su aplicación es la administración del Estado

La transparencia considerada como el mejor desinfectante de la gestión pública, es la que se postula en este análisis(22). Por esto la transparencia algorítmica que se propone como indispensable para la legislación nacional, es aquella que la concibe como un conjunto de obligaciones, que pueden evitar una nueva huida de los órganos estatales, a los límites del Estado de Derecho que controla la gestión de la administración pública(23).

Según este argumento, proporcionar información en portales de transparencia activa, además de significar un mecanismo de rendición de cuentas, facilita el acceso a la información pública y, por ende, de la fiscalización requerida. Pilar fundamental de la democracia, así como, también instrumento para desincentivar prácticas maliciosas, mitigar riesgos asociados a la discriminación y vulneración de derechos fundamentales, requiriendo medidas para neutralizar posibles externalidades negativas(24).

Lo anterior, bajo la premisa planteada por el modelo del panóptico de Jeremy Bentham, según el cual, cuanto más estrictamente nos vigilan, mejor nos comportamos(25). Derivado de ello, y concretamente por el potencial de este tipo de tecnologías(26), se cuestiona si la normativa actual y la que está por venir, son capaces de dar respuesta a la incertidumbre respecto a los problemas persistentes de la opacidad algorítmica intrínseca(27).

Visto de esta forma, la transparencia algorítmica que se propone, tiene como objeto hacer que los sujetos que incorporan sistemas de IA rindan cuentas para hacerlos responsables de sus decisiones(28). Es decir, que sus implementadores proporcionen información respecto a cuándo se ocupan, qué aspectos técnicos de su funcionamiento podrían afectar derechos fundamentales y además, expliquen en un lenguaje comprensible su funcionamiento para facilitar su escrutinio(29). Del mismo modo, que mecanismos para que los afectados puedan opornerse.

En otras palabras, el concepto que apoya esta investigación se basa en las posiciones doctrinales esgrimidas por Finol-Romero(30) quien postula que dada la forma como se han positivizado las leyes de transparencia, afirma que el concepto de transparencia ha evolucionado en varias dimensiones. Una subjetiva, asociada al derecho de libertad de información y otra objetiva, relativa a la rendición de cuentas. Sin embargo, la dimensión de transparencia en la que se sustenta este análisis es en la transparencia objetiva. Es decir, aquella que permite además de conocer cómo opera la sala de máquinas del Estado, exigir rendición de cuentas a los responsables de los daños que ocasionan y medidas de no repetición.

En términos concretos, porque las obligaciones de transparencia podrían dotar de certeza jurídica el funcionamiento de procesos automatizados de la administración del Estado con algoritmos de funcionamiento inteligente, se postula, que garantizar que los sujetos obligados proporcionen información respecto de las fuentes de datos con los que se entrenan, acceso a los criterios de la decisión, así como, las medidas de mitigación de los impactos derivados de los resultados producidos(31), en consonancia con un lenguaje claro, accesible, interoperable y fácil de entender, tanto para los usuarios, como sujetos responsables de su auditabilidad técnica(32). Dando cabida, a un nuevo derecho que la doctrina reconoce como derecho a la explicabilidad algorítmica(33).

Al respecto, es importante reiterar que, dado que la transparencia también es un concepto con múltiples dimensiones, en este artículo a la transparencia que se hará referencia es aquella que se entiende como un conjunto de obligaciones que garantiza el derecho de acceso y escrutinio a la caja negra del funcionamiento de la maquinaria estatal. De esta forma, la transparencia algorítmica (Talg) en su dimensión objetiva, se entiende asociada a procesos garantes de la publicación de información clave para facilitar rendición de cuentas y auditabilidad. Todo lo cual, encuentra su justificación bajo la premisa que transparentar información puede llegar a ser el mejor desinfectante(34).

En esencia, porque cualquiera que sea la corriente legislativa que se adopte, ejemplo, Estándar de transparencia algorítmica o Ley especial que regula la IA del Sector Público. Lo cierto es que es necesario regular en forma exhaustiva las obligaciones, indispensables para establecer los límites y exigencias a la aplicación de los algoritmos, con los que se programan los sistemas de la IA incorporados a la administración del Estado.

Justamente así lo explica Malgieri(35) cuando cuestiona la insuficiencia normativa persistente actualmente, derivada de la incapacidad de los legisladores de dimensionar el verdadero objeto jurídico. Esto haciendo referencia a la base de licitud necesaria para garantizar que, al tratamiento automatizado de datos con algoritmos, se apliquen medidas de auditoría y evaluación de impacto necesarias para mitigar consecuencias maliciosas o externalidades negativas que éstos pueden desencadenar. En efecto, se afirma, que para que estos procesos de toma de decisiones automatizados se lleven a cabo de una forma responsable y contribuyan con la arquitectura de procesos administrativos lícitos, eficientes y eficaces, es importante redoblar las obligaciones de transparencia de la función pública.

Resumiendo esta parte, es importante referirse a Floridi(36) quien considera como un hexagrama regulatorio, el marco jurídico que debe impulsar la agenda legislativa para que los algoritmos sean transparentes y responsables. Sin embargo, afirma que abordar estos retos normativos desde la lógica aislada podría ser una tarea titánica, sino imposible. En consecuencia, derivado que protección de datos no es el único ámbito involucrado(37), a continuación se argumentan cuestiones jurídicas que justifican por qué regular la transparencia de los algoritmos, podría dotar de confianza el uso de esta tecnología.

2.2. Transparencia Algorítmica: Cuestiones doctrinales preliminares

Cuando a la transparencia se le relaciona con la explicabilidad de los sistemas de IA, se está haciendo énfasis a uno de los aspectos de su perspectiva instrumental objetiva. Es decir, el fin teleológico perseguido que involucra hacer comprensible su funcionamiento. Por esto, cuando en los instrumentos legales del consenso global se insiste en redoblar garantías de acceso a la información relacionada con estos sistemas, lo que se espera es atender cuestiones respecto a: ¿Cómo se están tomando las decisiones automatizadas? ¿Cómo funcionan los algoritmos y en base a qué datos?, del mismo modo que: ¿cómo se está proporcionando la información requerida? Preguntas, abordadas por los juristas administrativistas, que antes estaban reservadas a los actos de la administración pública analógica, pero que ahora es una constante, para la incorporación de este tipo de tecnologías en la función del Estado(38).

Es decir, es crucial para garantizar los derechos de las personas exigir para qué estas herramientas computacionales se usan en los procesos de la administración del Estado. De tal manera que la filosofía jurídica que está detrás de esta positivización no es la de prohibir el uso de estos sistemas algorítmicos, sino que éstos deben implementarse acorde a medidas adecuadas(39). Dentro de esta corriente, se observa como la transparencia algorítmica gana terreno, como un pilar fundamental del conjunto de regulaciones que está por venir, lege ferenda.

Sin embargo, es importante distinguir sus implicaciones en el derecho administrativo. Para entenderlo mejor, nos apoyamos en Andrés Boix Palop(40) quien argumenta que los algoritmos utilizados por las administraciones públicas para tomar decisiones deben considerarse equivalentes a la dictación de actos administrativos sometidos a reglamentos y normas jurídicas positivizadas. Esto, dado que los algoritmos determinan la forma como actúan los poderes públicos, por lo que merecen las mismas garantías legales, es decir, cumplir con el principio de legalidad de la administración pública.

Al respecto el profesor Boix aboga por una mayor reglamentación de los algoritmos, así como por más obligaciones de transparencia y rendición de cuenta de los procedimientos donde son implementados. En cambio, otra corriente doctrinal propone la profesora Inmaculada Castellanos-Ballesteros(41), cuando afirma que además de más obligaciones de transparencia, hay que establecer más responsabilidades a los creadores y los implementadores, así como, mecanismos judiciales de oposición a los actos administrativos obtenidos por sistemas de este tipo. En efecto, con esto se subraya la importancia de reducir la opacidad de los algoritmos(42).

En resumen, la perspectiva de transparencia algorítmica propuesta doctrinalmente además de resultar favorable para respetar el derecho a saber cómo los sistemas de IA funcionan, también proporciona garantías, para reducir asimetrías respecto a qué datos procesan, qué mecanismos de oposición y medidas de no repetición contemplan frente a la vulneración de derechos fundamentales, así como los impactos que producen en la sociedad .(43)

3. MARCO LEGAL PARA GARANTIZAR TRANSPARENCIA ALGORÍTMICA

Justificado porque los recientes desarrollos del derecho internacional en materia de IA avanzan a una velocidad inusitada y con el propósito de contextualizar principios aplicables a la regulación nacional de la transparencia algorítmica necesaria para garantizar el control del actuar de la administración pública conforme a los límites del Estado de Derecho. Es importante para su regulación en Chile, observar el desarrollo de la experiencia comparada, por esto, preliminarmente se ha analizado el contexto normativo del derecho internacional.

Así justificado en la teoría filosófica jurídica propugnada por Floridi(44), quien defiende a las iniciativas recientes de regulación de estándares éticos exigibles a la IA como el fin de una era de la autorregulación, que debe avanzar hacia marcos jurídicos robustos en inglés conocidos como hard law, es decir ley dura. En el mismo orden de ideas, Maldonado-Méndez(45) cuando afirma que la autorregulación no basta, porque si las normas son solo voluntarias, algunas compañías de tecnología decidirán no atenerse a las reglas que no les benefician. Frente lo cual, en el contexto de los sistemas de IA resurgen debates sobre qué tipo de obligaciones de transparencia, podrían garantizar además del acceso a la información de los algoritmos con los que programan, la protección de datos y la privacidad, debido proceso, y principio de licitud de la actuación del Estado(46).

Frente a esta diatriba, en palabras de Floridi quien defiende la idea de “Dura lex, sed lex digitalis”(47). Expresión en latín que se ha adecuados a estos efectos como: "dura lex, sed lex" en el contexto digital, según la cual, se invoca a la estricta aplicación de las leyes y regulaciones en el ámbito digital y tecnológico. Es decir, un marco legal para la seguridad de los entornos digitales, que a continuación, brevemente se comparan(48).

Así, por ejemplo Estados Unidos a través de la Ley de Responsabilidad Algorítmica de 2022 (Algorithmic Accountability Act)(49) y más recientemente con la Orden Ejecutiva 14110(50) del 30 de octubre de 2023, el legislador pone el énfasis en la importancia de exigir responsabilidad y crear marcadores que adviertan a las personas que están interactuando con un modelo de IA. Para ello, se propone exigir etiquetar los contenidos generados por IA. En el mismo tenor la iniciativa del Reino Unido a través de la promulgación de los Estándares de Transparencia Algorítmica (Algorithmic Transparency Standard)(51), en donde se subraya la necesidad de establecer obligaciones que permitan abrir a los algoritmos al escrutinio público.

Ahora bien, pese a todos estos esfuerzos legislativos desde una mirada crítica y además poco entusiasta, es importante decir que el problema regulatorio de los algoritmos reabre la vieja discusión no zanjada respecto a los sistemas de democracias cerradas y poco transparentes, también conocidos como la caja negra del Estado o secretismo estatal(52). De esta manera, y sin perjuicio que aún existe un debate no resuelto sobre qué tipo de regulaciones podrían aplicarse en una forma más efectiva, es por lo que se justifica comparar en el ámbito internacional una muestra no excluyente de directrices que han sido creadas en este ámbito(53).

En efecto ha sido la jurisprudencia constitucional alemana del Tribunal Constitucional Federal (citada como TCF), donde aparecen algunas señales hacia dónde debe avanzar el tema legislativamente. En este tenor, porque la judicialización de casos específicos, han elevado los estándares mínimos que deben considerarse a la hora de legislar esta materia. Al respecto el TCF alemán, resuelve recursos de inconstitucionalidad presentados en 2019 y declara la nulidad de dos leyes de los estados de Hesse y Hamburgo(54). Reconociendo la utilidad de estos sistemas frente a la necesidad de tratamiento de un volumen de datos en constante crecimiento y cada vez más heterogéneo en términos de su calidad y formato. Por lo cual, difícilmente podría obtenerse manualmente, especialmente bajo la presión de tiempo con que se procesan.

De esta forma, en la sentencia justificando la utilidad legítima de este tipo de tecnología, declara la necesidad de exigir criterios específicos, respecto a cómo se debe exigir los presupuestos de uso de sistemas automatizados de decisiones (SDA). Así como, el análisis de datos, vinculados a infracciones penales específicas. Por otra parte, también aclara que, si el análisis o la evaluación automatizados de datos permiten una invasión grave de la autodeterminación informativa, esto sólo puede justificarse bajo las estrechas condiciones que generalmente se aplican a las medidas de vigilancia, que deben ser reguladas por leyes prohibitivas específicas. Es decir, aplicar test de proporcionalidad, para determinar si la aplicación del sistema invade bienes jurídicos particularmente importantes, ejemplo, libertad de tránsito, privacidad o riesgo a la vida de una persona, que evidencia un indicio cierto y concreto.

De esta forma, al amparo del principio de licitud y sin invadir la esfera privada desproporcionadamente, y por períodos determinados en forma irretroactiva, en la Sentencia declara el TCF alemán se justifica incorporar este tipo de sistemas en las investigaciones criminalísticas. De tal manera que, a la luz de esta sentencia, es necesario establecer criterios para determinar la mayor o menor intensidad de la injerencia en la privacidad y datos personales, así como también, un listado de límites legales y garantías para permitir el tratamiento automatizado masivo de datos, e incluso prohíbe algunas técnicas de sistemas autónomos de alto riesgo de IA. Resumiendo lo antes dicho, en la doctrina reciente y sentencia analizada subyace casi un manual para el legislador nacional, del que, sin duda, habrá que tomar las mejores referencias, como se explica a continuación.

3.1. Comparación de estándares en el ámbito internacional

Antes de avanzar, habría que advertir que el análisis que sigue se llevó a cabo a través de la siguiente estrategia metodológica. En primer lugar, las normas fueron clasificadas en criterios de agrupación por similitud de los estándares éticos y acorde al organismo que las crea, luego fueron agrupados en principios de transparencia algorítmica. En segundo lugar, se estableció una línea de tiempo acotada, delimitada a un ámbito temporal de los cinco años recientes. Nada menor, dada la carrera vertiginosa como avanza la discusión sobre este tema y los diferentes posicionamientos de los organismos internacionales.

En efecto, sólo se contrastan sentido, propósito y razón del ámbito material de cada uno de los instrumentos comparados, provenientes de la Unión Europea, la Organización para la Cooperación y el Desarrollo Económicos (OCDE) y la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO). Por lo que el siguiente benchmarking normativo de estándares internacionales(55), en síntesis, podría ofrecer las bases de futuras iniciativas legislativas a nivel nacional.

3.1.1. En la Unión Europea (UE)

La UE ha desarrollado una serie de estándares para la IA, que se conocen como Directrices éticas para una IA fiable, asociadas a Recomendaciones de política e inversión. Este documento, se ha dado a conocer debido al proceso de creación, que inició con la conformación del Grupo Independiente de Expertos de Alto nivel sobre IA de la Comisión Europea. Derivando en dos instrumentos, el primero conocido como: Directrices éticas para una IA fiable (citados como HLEG de AI, de 2019). El segundo, conocido como el Libro Blanco sobre la IA (citado como Comisión Europea, 2020). En concreto, el desarrollo del marco establecido por la UE busca garantizar que todo sistema automatizado con IA usado en territorio europeo sea digno de confianza lo que implica que estas tecnologías cumplan con licitud, estándares éticos robustos. El que ha culminado en la reciente aprobación de un Reglamento General como se explicará más adelante.

En el primero de ellos, el HLGE destaca un conjunto de recomendaciones con el propósito de doblegar medidas de seguridad exigibles a los sistemas de IA, y proponen que dado el potencial de transformación que ofrecen estas herramientas, por ejemplo, en el sector de la salud, así como, medioambiente, del mismo modo que en la economía. HLGE advierte que también, resultan muy eficientes en el sector privado, para identificar fraudes digitales, cumplimiento normativo, y la administración de riesgos financieros. Por lo que, HLGE propone siete directrices como el camino que debe seguirse en el diseño de una normativa armonizada. Sucintamente, destaca en su contenido básicamente siete principios éticos para la IA.

El primero es la transparencia, que implica que los ciudadanos deben ser informados cuando están interactuando con un sistema de IA. El segundo es la responsabilidad, que establece que los desarrolladores de IA deben ser responsables de las decisiones que toman sus sistemas. El tercero es la privacidad, que exige que los datos personales sean protegidos. El cuarto principio es la equidad, que busca evitar la discriminación y la exclusión en el uso de la IA. El quinto es la robustez, que implica que los sistemas de IA deben ser seguros y resistentes a los ataques cibercriminales. El sexto es la explicabilidad, que establece que los sistemas de IA deben ser comprensibles y accesibles. Es decir, que cuando se ocupan para la toma de decisiones los sistemas de este tipo, por derecho a obtener una explicación(56), se entiende la atribución legal que exige al implementador de entregar la información necesaria sobre decisiones individuales hechas por algoritmos, que vincula a su vez, aspectos de rendición de cuentas algorítmica.

El séptimo principio es la participación humana, que implica que los ciudadanos deben tener el derecho a oponerse a las decisiones automatizadas, básicamente porque afectan sus vidas(57). Esto se ha traducido en la práctica legislativa, en la creación gradual de un conjunto de principios éticos adoptados por la Comisión Europea en su Estrategia de IA de 2020 y en el reciente Reglamento de IA de 2024, que se espera sean respetado por los desarrolladores.

Otro de los instrumento conocido como el Libro Blanco(58)sobre IA, establece un conjunto de principios como lo son: la autonomía y respeto de las personas, transparencia, la responsabilidad, la privacidad, la equidad y la robustez. Concretamente, estos siete principios se basan en la idea de que la IA debe ser desarrollada y utilizada de manera responsable, y por esto, deben ser diseñados para mejorar la vida de las personas.

En otras palabras, sin perjuicio que no proporciona una definición precisa de qué es la explicabilidad algorítmica o explicabilidad de la IA (XAI), sí hace referencia a la necesidad de que los procesos proporcionen información respecto a las decisiones y que éstas sean bien comunicadas, así como ciertas acciones procesales para defender a los afectados, cuando no se proporcionan las explicaciones necesarias(59).

Finalmente, se destaca de este tipo de instrumento que en su contenido deja claro que IA no es un fin en sí mismo, sino una herramienta que tiene que servir a las personas con el objetivo final de mejorar el bienestar humano. Para apoyar a este objetivo, la Comisión y el Parlamento de la UE propuso la asignación presupuestaria de1.000 millones de euros al año en financiación, dirigidos a los programas Horizon Europe y Digital Europe para invertir en IA(60), ejecutables, en el marco del próximo período 2021-2027.

3.1.2. Consejo sobre Inteligencia Artificial de la OCDE

La Recomendación OCDE(61) fue creada por el Consejo sobre IA, y publicada el 21 de mayo de 2019. En ella el Consejo establece cinco principios éticos que deben ser considerados para el desarrollo y uso de la IA. Es suma, para los efectos de los países que adoptaron esta recomendación, por medio del respeto de la privacidad y la protección de datos personales, la IA debe ser responsable y transparente. En ese sentido, se exhorta:

Principio I. La IA debe estar al servicio de las personas y del planeta. Con esto se busca, que la IA se debe al crecimiento inclusivo, el desarrollo sostenible y el bienestar global.

Principio II. Respecto Del Estado De Derecho y derechos humanos. De tal forma que estos sistemas deben diseñarse al Estado de derecho, respeto de los derechos humanos, valores democráticos y la diversidad. Incorporando salvaguardas adecuadas, es decir, mecanismos efectivos que garanticen supervisión y la intervención humana cuando sea necesario, con miras a garantizar una sociedad justa y equitativa.

Principio III. Transparencia y Explicabilidad. Es decir, deben proporcionar información que dé cuenta de cómo funciona, a fin de garantizar que las personas sepan cuándo están interactuando con ellos y puedan oponerse a los resultados de esa interacción.

Principio IV. Seguridad y protección de riesgos. Es decir, funcionar de manera confiable y segura, creando mecanismos efectivos de prevención de los potenciales riesgos, y sistemas de evaluación de impacto. Que tendrán que gestionarse durante todo el ciclo de vida.

Principio V. Responsabilidad: Las organizaciones que los ocupen y las personas que desarrollen, desplieguen o gestionen sistemas de IA deberán responder de su correcto funcionamiento en consonancia con los principios precedentes.

En resumen, el Consejo de IA de OCDE propone como una máxima del derecho, el fomento de la confianza pública en la IA. Lo que conlleva entre otros aspectos que los desarrolladores y usuarios de la IA, deban garantizar el diseño de este tipo de tecnologías para fomentar el bienestar humano, en forma justa, transparente y explicable, del mismo modo, que debe con todas las medidas de seguridad y mecanismos de mitigación de daños que podrían ocasionar.

3.1.3. Unesco

La recomendación UNESCO(62), sobre la ética de la IA es un instrumento que busca establecer principios generales para el desarrollo y uso de estos sistemas. Fue aprobada en la Conferencia General 41ª celebrada a finales de año 2021 y se enfoca en promover la transparencia, la responsabilidad, la inclusión y la privacidad en el desarrollo y uso de la IA. Este instrumento establece dentro su objetivo principal proporcionar un marco universal de valores, principios y acciones para orientar a los Estados en la formulación de sus leyes, políticas u otros instrumentos relativos a la IA.

De esta manera UNESCO promueve diez principios generales para regular a los sistemas de IA. Estos, se enfocan principalmente en la transparencia como un pilar fundamental de la regulación de la IA. Es decir, priorizar el acceso a la información y la explicabilidad, a fin de garantizar que las personas sepan cuándo están interactuando con ellos y puedan oponerse a los resultados de esa interacción.

Por otra parte, hace énfasis en la responsabilidad de su correcto funcionamiento, porque estos sistemas además de ser capaces de procesar datos, tienen la capacidad de relacionarse con las personas, de una manera que se asemeja a un comportamiento inteligente. De esta forma, la UNESCO, recuerda a los Estados Miembros, la importancia de crear marcos jurídicos robustos y agencias reguladoras de los sistemas de IA, aplicables tanto a los sectores público y privado.

Para concretar tan ambicioso ámbito normativo, el llamado de la UNESCO se basa en diez principios básicos, entre los que se combina proporcionalidad e inocuidad, seguridad y protección, equidad y no discriminación, sostenibilidad, derecho a la intimidad y protección de datos, supervisión y decisión humana, transparencia y explicabilidad, responsabilidad y rendición de cuentas, sensibilización y educación, gobernanza y colaboración adaptativas y de múltiples partes interesadas.

Concretamente, se contemplan aspectos de los principios garantes para: i) Armonizar estándares de protección de datos; ii) Proveer algoritmos centrados en el ser humano y supervisados; iii) Garantizar transparencia y explicabilidad; iv) Asegurar el entorno digital y, v) Responsabilizar exigiendo rendición de cuentas de todos los sujetos involucrado(63). Dejando ver que el acceso a la información del funcionamiento de los algoritmos con los que programa IA, la protección de datos y la privacidad, son apenas un primer nivel de las obligaciones de transparencia objetiva requerida para que la actuación del Estado sea automatizada responsablemente.

En resumen, haciendo un balance de los instrumentos analizados comparativamente, estos sistemas guardan relación innegable con uno de los principios indispensables para garantizar la apertura del sector público. Es decir, publicar información de la sala de máquinas del Estado para evitar consecuencias negativas del uso malicioso que ellos conllevan. De esta forma, en el consenso global, se observan señales de advertencia claras, respecto al enfoque centrado en el respeto de los derechos fundamentales de los administrados, dada su relación intrínseca con la democracia constitucional garantista(64).

4. PRINCIPIOS GARANTES TRANSPARENCIA ALGORÍTMICA EN LA ADMINISTRACIÓN DEL ESTADO

En búsqueda de la armonización jurídica necesaria para la implementación de IA en la administración pública chilena de manera responsable, se proponen cinco principios garantes de la transparencia requerida ante el vacío persistente en el derecho nacional(65). Que por añadidura, podrían evitar una nueva huida del principio de legalidad que rige la actuación del Estado, en el siguiente orden: (i) Principio de ética y protección de datos de la IA, (ii) Principio para la aplicación de la IA centrada en el ser humano, (iii) Principio de transparencia y explicabilidad de las aplicaciones de la IA, (iv) Principio de seguridad y reutilización de datos por la IA, y (v) Principios de responsabilidad y rendición de cuentas de los diseñadores y ejecutores de la IA.

Por lo tanto se postula que, dada la velocidad de los desarrollos de la tecnología de IA(66), es prioritario que la regulación nacional acoja el llamado de grupos de expertos, organismos de cooperación y también la tendencia jurisprudencial internacional respecto de la base esencial para limitar por ley el tipo y el alcance de los métodos de tratamiento automatizado por sistemas de IA, ya que, como se ha señalado en el apartado anterior, el consenso mundial es que esta materia avanza rápidamente. En consecuencia, a priori, se podría pensar en principios generales de transparencia algorítmica como los requerimientos mínimos requeridos para que la IA sea responsable, transparente y rinda cuentas(67). En efecto, acorde con este argumento es necesario exigir a los responsables: 1) explicar cómo y cuándo funcionan; 2) qué problemas resuelven y cómo se benefician a las personas; 3) tipo de modelos, dominio y funciones que desempeñan; y 4) cómo deben implementarse para no afectar derechos de los titulares de datos, así como, 5) medidas para mitigar impacto no deseados. En este escenario, se justifica para que no se produzca una nueva huida del derecho, por vicios de ilegalidad(68).

En otras palabras, y sin perjuicio que las obligaciones legales concretas de transparencia algorítmica, en el Proyecto de Ley de Protección de Datos también tiene mucho que aportar para esta decisión, pero ya fueron abordados en otro análisis previamente. Resumiendo, para avanzar hacia una mejor regulación nacional teniendo presente recomendaciones y directrices del consenso global, se postula que para suplir la insuficiencia normativa imperante(69), es necesario elevar las exigencias de transparencia aplicables para contribuir a generar confianza e impulsar la inversión en este tipo de desarrollos tecnológicos. Por esto, a continuación, se contrasta el proyecto de ley de IA en Chile, Boletín 16.821-19 de 2024, con la transparencia algorítmica requerida para su incorporación en el accionar del Estado.

4.1 Transparencia algorítmica del Estado en el estatuto administrativo en Chile

Sin perjuicio que el año pasado se publicó una circular que establece directrices para el uso responsable de la IA en el sector público chileno, conocida como “Lineamientos para el uso de herramientas de IA en el sector público” (70) que entró en vigor el 2 de enero de este año. Este instrumento, del Ministerio de Ciencia y la División de Gobierno Digital del Ministerio Secretaría General de la Presidencia, no es fuente de creación de derechos ni obligaciones, y contradice un principio fundamental del Estado de Derecho, que exige el deber de los órganos de la Administración del Estado, de someter su actuar a la Constitución y a las leyes(71) . Por lo que carece de la base de licitud necesaria para exigir obligaciones de transparencia aplicable a los algoritmos públicos. Por otra parte, la propuesta que apoya este análisis, es que esta atribución legal recae en la facultad legislativa del Consejo para la Transparencia (CPLT) establecida en el artículo 33, Ley 20.285, letra c) d) y e)(72).

De tal manera, que la posición que apoya este análisis es que la Circular de Min Ciencia, proporciona pautas generales, pero no constituye fuente de Derecho para los órganos de la administración del Estado, quienes se deben al marco regulatorio necesario para la aplicación de esta tecnología. No obstante, sin desconocer, que corresponde al Congreso legislar sobre esta materia a continuación, se describen los principios de la transparencia requerida ante el vacío persistente en el derecho nacional.

i). Ética y protección de datos;

Especialmente porque estos sistemas son capaces de leer y procesar grandes cantidades de datos, se recomienda incorporar instrucciones generales, reglamentos o normas técnicas para el intercambio de grandes conjuntos de datos, en formatos abiertos y estándares de reutilización de datos, que puedan potenciar además de la innovación, la creación de soluciones de alto valor público, pero con seguridad y responsabilidad(73).

Por otra parte, como lo explica Ortíz de Zarate(74) es probablemente uno de los aspectos más complejos de garantizar, e involucra, exigir a los responsables de la aplicación de esta tecnología, además del modelo de procesamiento de datos, la política y las medidas de seguridad adoptadas para salvaguardar que las bases de datos personales que administra no sean desviados a un propósito distinto, o se desvían sin el consentimiento de sus titulares.. Del mismo modo que los canales para hacer valer el derecho que le asiste al titular para solicitar ante el responsable, acceso, rectificación, cancelación, oposición y portabilidad de sus datos personales, y también el derecho que le asiste al titular de recurrir ante los organismos competentes.

En síntesis, redoblar la transparencia, para el buen gobierno y el gobierno abierto, pilares de una democracia de calidad(75). Esto significa que en Chile la regulación de la transferencia y reutilización de datos debe ser resuelto antes de ponderar el equilibrio entre la privacidad de los datos (Ley 19.628), obligaciones de ciberseguridad (Ley Nº 21.663) y protección de datos personales (Boletines 11.092-07 y 11.144-07). Además de las normas conexas de la Ley 20.285, artículo 33 letra m), que atribuyen competencia al CPLT(76) en esta materia. Por lo tanto, parece oportuno, y quizás brevemente, delimitar conceptualmente los principios básicos que definen dichas ideas y cómo deberían estar presentes en nuestra sociedad.

Sobre todo, porque la discusión en el Congreso y aprobación de la normativa básica y necesaria para la protección de datos y su reutilización ha sido postergada inexplicablemente por más de diez años. Dejando pendiente la paradoja regulatoria entre privacidad y reutilización de datos para entrenar a los algoritmos del sector público(77). Mientras tanto, la Ley 21.663 tiene una vacancia, sujeta al dictado de uno o más decretos con fuerza de ley que la determinen, cobra doblemente importancia estudiar la corriente que ha tomado esta discusión, a la luz de los principios internacionales.

En relación con este debate, es notable ver cómo los cinco principios que siguen recogen el trasfondo internacional de una cuestión que lleva años debatiéndose en el desarrollo de un marco ético y jurídico común(78), de modo que todos los sistemas de IA cumplan ciertas normas éticas y jurídicas, y que se respeten y protejan los derechos y libertades de los ciudadanos.

ii). Algoritmos centrados en el ser humano

Desde esta perspectiva, dado que el propósito de un algoritmo siempre tiene que estar centrado en el respeto del Estado de derecho, conforme a los valores democráticos garantistas, así como el respeto de los derechos humanos fundamentales. Es necesario aplicar medidas, para contrarrestar propósitos maliciosos. Acorde con este postulado los algoritmos deben siempre requerir de la supervisión humana y ser auditables por la autoridad competente. Para ello el jurista Gabriele Vestri(79) recomienda, exigir proporcionar informes que faciliten el escrutinio interno. Entendido como la realización de evaluaciones de impacto algorítmico (EIA) con metodologías que permiten anticipar los riesgos asociados a las decisiones algorítmicas, en función del riesgo asignado.

Acorde a Pere Simón-Castellanos(80), porque es crucial garantizar que estos sistemas se desarrollen y utilicen como herramientas que sirvan a las personas, respeten su dignidad y permitan realizar correcciones antes de que se produzcan efectos negativos. En efecto, tienen un rol indispensable para garantizar adecuadamente la supervisión de algoritmos por humanos. De forma análoga se incorporó en el Reglamento de IA de la UE de 2024, específicamente en el considerando 58 bis, para tecnologías clasificadas de alto riesgo, que además, deben ser publicadas en repositorios de acceso abierto.

En otras palabras, al igual como lo afirma Mantelero(81), dada la necesidad de proporcionar además de las explicaciones de algo tan complejo con un sistema de IA programado con algoritmos, equiparables armas letales autónomas (en inglés acróstico: LAWs), para regularlos no es suficiente la protección de datos por sí mismo, y recomienda que para hacer frente a los desafíos de la IA, un enfoque integrado de la evaluación de riesgos que se centra en los derechos humanos y abarca valores sociales y éticos contextuales.

En consecuencia, estos sistemas requieren de una regulación específica, que exija rendición de cuentas a los implementadores, en virtud de los riesgos y amenazas que representan. Por ejemplo, cuando se producen vulneraciones o discriminaciones, mal funcionamiento y/o error. Es indispensable, exigir mecanismos de reparación del daño causado, cuando se amerite.

iii). Transparencia y explicabilidad de los algoritmos

Como quiera que se mire, el principio de transparencia algorítmica es considerado una pieza fundamental en la normativa referida a esta materia. En efecto, está presente en la mayoría de los instrumentos y recomendaciones sobre IA. De la misma forma como se demostró en este análisis, que evidenció la presencia de este principio en cada uno de ellos, aunque con precisiones diferenciadas.

Por lo que, el principio de transparencia algorítmica que se postula es aquel que, contempla un conjunto de obligaciones con el propósito de abrir la caja negra(82), símil con la que se compara a los algoritmos. Para ello, se requiere además de especificar el tipo de datos con los que se entrenan, un conjunto de deberes del responsable, comprendidas algunas de ellas, por capas diferenciadas.

Siendo la primera de ellas, mantener permanentemente a disposición del público, en su sitio web o en cualquier otro medio de información equivalente, el nombre, modelo y la lógica de funcionamiento del algoritmo, así como, consecuencias de su implementación. La segunda de ellas, exige aplicar mecanismos de oposición, garantes del derecho a no ser objeto de una decisión automatizada con esta tecnología, porque obligaciones de transparencia algorítmica garantizan el derecho de acceso a la información de los algoritmos utilizados en la administración del Estado(83). Es decir, la explicabilidad algorítmica(84), concepto que aún no ha sido aceptado pacíficamente como en la doctrina.

Así, lo explica Cotino-Hueso(85), cuando especifica que la transparencia requerida es aquella que obliga la publicación de información referida a procesos que permitan entender el algoritmo (escrutinio externo), y comprobar el buen funcionamiento de estos sistemas (escrutinio interno). Frente a lo cual, Vestri(86) categoriza como un tipo de transparencia general que involucra explicar y dar a conocer a las personas cuando se está interactuando con sistemas de este tipo, y otra transparencia específica o técnica, garante de proporcionar a las autoridades expertas en el tema, la información sobre su funcionamiento.

iv). Seguridad y protección para los datos que alimentan a los algoritmos

Para garantizar datos de calidad para el entrenamiento de los sistemas de IA, entendido como el oxígeno que da impulso a los algoritmos. Esto significa, en el marco de la nueva economía basada en datos, la columna vertebral del sistema, dado las oportunidades que estas tecnologías permiten al recolectar, almacenar y procesar datos de forma automática. En este contexto, los datos son considerados el combustible de la economía del siglo XXI(87).

Por lo que se postula que a nivel país como ya se dijo, el intercambio de datos y su reutilización en diferentes contextos, como el de los sistemas de IA de la administración estatal, amerita apresurar exigencias de la seguridad de los datos(88) especialmente, aplicable a los procesos de automatización de la función del Estado(89).

Una forma de abordar este requerimiento, podría provenir de la iniciativa a nivel país del MCTI trazada a propósito de la Declaración de la UNESCO del año 2021 en donde se reconoce de acceso abierto al conocimiento creado por medio de prácticas de ciencia abierta(90). En forma similar, lo recomienda el HLEG en el Libro Blanco de la Comisión UE de 2020, por la necesidad de avanzar en un estándar de reutilización de datos asimilables al régimen de bienes comunes digitales, y no excluibles(91). En efecto en lo referido a prácticas de reutilización de datos de interés público para tomar mejores decisiones, basadas en conocimiento científico, ya existen soluciones provistas por modelos de ecosistemas de datos abiertos(92). También conocidos como estándar FAIR data(93), es decir, formatos que hacen fáciles de encontrar (F), accesibles (A), interoperables (I) y reutilizables (R) los datos.

En este aspecto, para un uso de los datos recomienda el HLGE éstos deberían ser lo más interoperables posible, especialmente al acordar el uso de formatos de datos abiertos, FAIR, legibles por máquina, estandarizados y documentados, tanto en la interacción entre los sectores público y privado como dentro de todos los sectores(94). Porque, en la práctica podría traducirse en mejor acceso a información a través de portales para asegurar reutilización, participación, colaboración y rendición de cuentas, en paralelo con los principios del gobierno abierto(95). En efecto, se sugiere que esta sería la puerta de entrada más expedita para avanzar hacia la confianza de la IA, al menos al interior de la administración del Estado.

v). Responsabilidad y rendición de cuentas de los algoritmos

Considerando los grandes riesgos derivados de ciertos modelos de IA, es necesario identificar proporcionalmente la responsabilización y rendición de cuentas de los sujetos obligados. Sobre todo, porque entregarán certezas a los sujetos jurídicos obligados, resultando favorables para impulsar una IA transparente y responsable(96).

Por tanto, es ineludible la individualización del implementador, el responsable de datos y su representante legal, así como del encargado de prevención, proporcionando información tan específica como domicilio postal, la dirección de correo electrónico, y un mecanismo de contacto o la identificación del medio tecnológico equivalente mediante el cual se le notifican las solicitudes que realicen las personas afectadas(97).

4.2. Desafíos de la transparencia exigible a los algoritmos del Estado en el proyecto de Ley de IA chileno

Teniendo presente la creciente demanda mundialmente aceptable acerca de los principios exigibles para un uso ético de la IA, en esta parte se abordan los desafíos específicos del contexto chileno, para promover una mayor transparencia y confianza en la tecnología provista por IA al interior del Estado. Al respecto, se procede a verificar si la regulación nacional integra las recomendaciones del derecho internacional para dar fin a la autorregulación.

De tal manera, porque cuando se recurre a positivismos reforzados de principios generales se corre el riesgo y las advertencias de Ronald Dworkin(98), quien afirma que dada las características teleológicas de los principios jurídicos, estas iniciativas se justifican, para buscar establecer enunciados rectores de una amalgama de aspectos, para su heterointegración(99). Es decir, conjunto de enunciados entendidos como principios de optimización que buscan ir más allá del derecho positivo para aportar soluciones a un problema de vacío legal o normas incompletas.

De forma similar lo explica la doctrina reciente propuesta por Mantelero(100), quien destacando el rol sobresaliente del principio de transparencia, presente en la mayor parte de instrumentos normativos comparados, afirma que para incrementar la confianza en la IA, es necesario, además de integrar el marco regulatorio de tratamiento de los datos, exigir más responsabilidad por medio de medidas de auditoría, control y mitigación de daños.

Siguiendo con este argumento, las obligaciones garantes de la transparencia aplicable a los algoritmos tienen carencias importantes, comenzando por la técnica legislativa misma, cuando en el texto jurídico, no se hace cargo del llamado global respecto a elevar exigencia de la transparencia requerida. Así, comenzando, porque el objeto de regulación recae sobre los sistemas de IA de uso general, no distingue de aquello específicos o los que incorpora la administración del Estado. Es decir, cuando en el proyecto se delimita su objetivo y propósito en garantizar que los sistemas de IA respeten los derechos fundamentales y promuevan el bienestar social y económico, confunde la naturaleza moral de los agentes de IA. Por esto, el texto legal, pese que busca un equilibrio entre el desarrollo tecnológico y la protección de los ciudadanos. En su diseño, y alcance, la ley chilena parece confundir los sujetos responsables del objeto de la ley, inclinándose principalmente al ámbito privado, y se aleja de las garantías exigibles a los sistemas de IA utilizados en la función pública. Es decir, aquellos que se ocupan en la administración del Estado.

Por otra parte, en su contenido constituido por 31 artículos y 3 normas transitorios, no recoge en los 9 títulos, una sección específicamente referida a los organismos de la administración del Estado. Otro aspecto que llama la atención es que, aunque contiene normas sustantivas, respecto al tipo de sistemas de IA permitidos y prohibidos, así como también, normas de carácter orgánicas, porque crea una institucionalidad para la fiscalización y control de las obligaciones establecidas en la ley. No obstante, delega en la Agencia de Protección de Datos Personales, fiscalización y determinación de infracciones, y a la creación de un Consejo Asesor Técnico de IA, proponer al ministro de ciencia, modificaciones, instrucciones y además del registro del listado de sistemas de riesgo, asesoramiento en cumplimiento de reglas, el desarrollo de espacios controlados de prueba.

Desde esta perspectiva, el cuerpo normativo deriva su fiscalización y aplicación de barca normas sancionatorias, contempladas en un conjunto de infracciones que, clasificadas gradualmente, contemplan como; gravísimas infracciones que ameritan multa de hasta 20.000 UTM, grave multa hasta 10.000 UTM; y leve multa hasta 5.000 UTM.

En tanto que, en las disposiciones finales, contempla además de las normas transitorias respecto a su entrada en vigor, señala en las disposiciones finales la necesidad de reformas de otros cuerpos legales, sin mencionar la atribución del CPLT en este tema. Sin embargo, sí contempla un cambio significativo en torno a modificaciones a la Ley de Propiedad Intelectual, respecto a la flexibilidad de reutilizar datos sin fines comerciales. Además, en el texto se establece una vacatio legis, posponiendo su entrada en vigor a un año desde la publicación en el Diario Oficial.

Resumiendo, la iniciativa de ley de IA en Chile, identificada como Boletín N° 16.821-19, fue presentada en el Congreso el 8 de mayo de 2024, bajo el nombre: “Proyecto de ley que regula Los Sistemas De Inteligencia Artificial”, inspirada en el Reglamento del Parlamento Europeo y del Consejo (Ley de Inteligencia Artificial) COM/2021/206, eso queda claro. Sin embargo, no se puede asegurar que este sea el texto final resultante de las discusiones en el parlamento, dado que recién comienza su proceso legislativo, y como se demostrará a continuación, falta mucho para alcanzar una primera armonización normativa, por lo general, escueto y precario de su contenido, como se explica a continuación.

Al contrastar el proyecto de ley nacional con las iniciativas a nivel del derecho internacional, enfocado en los cinco principios rectores propuestos en la sección anterior, en concreto se observa que el proyecto chileno de regulación de IA adiciona, elementos como el principio de no discriminación. En tanto que cuando se compara con el Reglamento UE, es muy precario respecto a los principios de transparencia, responsabilidad, rendición de cuentas y seguridad. Así, en concreto, el Proyecto de ley chileno respecto al principio de ética y protección de datos, en el Artículo 8, establece que la gobernanza de datos, calidad acceso y protección de los datos utilizados debe ser conforme a las normas especiales de protección de datos contempladas en la ley N° 21.719(101), cuya vacancia legal vecen el 1 de diciembre de 2026.

Por otra parte, respecto al principio que dice relación con que deben ser centrados en el ser humano, el proyecto de ley chileno en el artículo 1, promueve la creación de sistemas de IA al servicio del ser humano y respetuosos de los derechos fundamentales, pero no contempla nada o muy poco respecto a la necesidad de supervisión humana de sus aplicaciones, porque lo delega a la Agencia de Protección de Datos y otros organismos competentes esta materia.

Respecto a las obligaciones de transparencia y explicabilidad, el proyecto de ley chileno en los artículos 11 y 12, establece que los sistemas de IA deben proveer condiciones transparentes y que las personas sean informadas claramente de que están interactuando con una máquina. Pero es la ley de protección de datos, que se discute en el proyecto de ley nacional de protección de datos personales en el artículo 14 ter(102), la que contempla como obligación el deber de información y acceso a la transparencia exigibles al responsable de datos, lo que involucra el deber de mantener permanentemente a disposición del público, en su sitio web o en cualquier otro medio, la información necesaria(103). Por lo que no queda claro el ejercicio concurrente de estas obligaciones de transparencia de información.

En torno a la seguridad y protección de datos, el proyecto de ley chileno, artículo 8, incluye mecanismos de seguridad desde el diseño, ciberseguridad y previsión, lo que a su vez, depende la Ley de Ciberseguridad, que a pesar que fue publicada en 8 de abril de este año, aún no entra en vigor(104). Y finalmente, en cuanto a la Responsabilidad y rendición de cuentas, el Proyecto de ley chileno, artículo 27, que regula el procedimiento administrativo sancionador y la responsabilidad de los operadores de sistemas de IA, deja claro que las obligaciones recaen en el oferente de este tipo de tecnologías, que en el caso de la administración corresponde a funcionarios con mayor jerarquía del servicio.

Sucintamente, haciendo un balance general, aunque los cinco principios parecen estar integrados en forma limitada en diversas partes del proyecto de ley chileno, también se hace presente una serie de obstáculos prácticos para la eficacia normativa y arriesga por su precariedad su puesta en práctica. Esto se debe a que dependen del desarrollo de medidas establecidas en otros marcos normativos. Además, la nueva institucionalidad responsable de la Agencia de protección de datos (Ley 21.719), concurrente con el Consejo para la Transparencia y (Ley 20.285). Todo lo cual, demanda de una coordinación entre diferentes organismos competentes con desigual adscripción.

5. CONCLUSIONES

Este análisis demuestra que la sola existencia de una ley para regular la inteligencia artificial no es suficiente para garantizar la transparencia y la rendición de cuentas de estos sistemas, especialmente aquellos que se ocupan en la administración del Estado. Si bien el actual proyecto legislativo en Chile introduce principios relevantes, prohibiciones y sanciones su diseño normativo no incorpora plenamente los cinco principios indispensables para asegurar una IA responsable en el sector público. En particular, persisten vacíos en cuanto a la explicabilidad de los algoritmos, la supervisión efectiva y los mecanismos de control que permitan corregir posibles sesgos o decisiones arbitrarias. Como han señalado diversas corrientes doctrinales, derivado de la opacidad epistémica de estos sistemas, su aplicación plantea riesgos significativos cuando las decisiones se fundamentan en meras probabilidades, sin cumplir los estándares exigibles a la actuación estatal en un sistema democrático

Este análisis concluye que debido al ritmo acelerado con que los Estados y Organizaciones de Cooperación Internacional están desarrollando nuevas regulaciones, el modelo de regulación de la IA concentrado de la legislación austral, podría ser insuficiente o en otro extremo, fomentar la autorregulación desconcentrada en cada uno del agentes, dada la superposición de orgánicas, propiciando mayor inseguridad jurídica, vacíos normativos y conceptos jurídicos indeterminados, que añaden obstáculos al pleno aprovechamiento de estas tecnologías.

Por tanto, la propuesta de cinco principios rectores de transparencia algorítmica aplicados a los sistemas de IA podría ser una contribución significativa, e invita a la incorporación de la IA en la acción estatal, pero con seguridad jurídica. Estos principios se persiguen: garantizar la ética y la protección de datos, la centralidad del ser humano en la aplicación de la IA, la transparencia y explicabilidad de las decisiones automatizadas, la seguridad y la reutilización responsable de los datos, así como la rendición de cuentas tanto por los diseñadores como por los responsables de la IA. En concreto, esta propuesta doctrinal contribuye con el tema no resuelto en materia de transparencia algorítmica, y no parte desde cero, porque recoge integralmente, la propuesta del grupo de expertos de la Unión Europea (HLGE), recomendaciones de organismos internacionales para la cooperación y el desarrollo, como UNESCO y OCDE, así como las regulaciones de los países pioneros.

Sin embargo, al contrastar estos principios con el proyecto de ley chileno sobre IA, se observan importantes carencias en términos de enfoque y mecanismos de aplicación, lo que podría afectar su eficacia. Particularmente preocupante de acuerdo al borrador del proyecto de ley analizado, es la necesidad de coordinación con otros organismos sectoriales con competencias concurrentes, entre el Consejo para la Transparencia (CPLT), y la Agencia de Protección de Datos Personales. Lo que supone una superposición de competencias que deben ser ejercidas con un alto grado de interoperabilidad y cooperación, para evitar contradicciones en las directrices y atribuciones.

En definitiva, se han puesto de manifiesto las limitaciones del proyecto de ley de IA chileno en cuanto a la transparencia algorítmica exigida a los sistemas utilizados por la Administración del Estado, y se concluye que una regulación aislada es insuficiente en esta materia, ya que no sólo debilita la rendición de cuentas y el control democrático, sino que puede generar efectos negativos para la administración pública, los desarrolladores, los usuarios y los ciudadanos cuyos derechos fundamentales pueden verse afectados por el uso de la IA. Este problema, ampliamente señalado en la literatura especializada, representa uno de los mayores desafíos para la gobernabilidad democrática con la incorporación de la IA, ya que la desconfianza en la función pública puede acentuarse si no se establecen mecanismos efectivos de supervisión y control. Por ello, se recomienda no concentrar en una sola ley todos los elementos en cuestión, pues no será suficiente para asegurar la aplicación responsable de estas tecnologías. Se recomienda un enfoque heterointegrador, que combine regulación, supervisión independiente y normas claras de transparencia y explicabilidad del uso rutinario de algoritmos, con especial interés para la comunidad de sistemas de aprendizaje automático.

6. BIBLIOGRAFÍA

ALEXY, ROBERT. (1993). Teoría de los derechos fundamentales. Centro de Estudios Constitucionales.

BALLESTEROS, ANDREA. (2012). Transparency in triads. Polar, Political and anthropological Review, 35(2), 160-166.

BAYKURT, BURCU. (2022). Rendición de cuentas algorítmica en ciudades de EE. UU.: transparencia, impacto y economía política. Big Data y Sociedad, 9(2). ENLACE

BOBBIO, NORBERTO. (1989). Estado, Gobierno y Sociedad: Por una Teoría General de la Política. Fondo de Cultura Económica.

BOBBIO, NORBERTO. (2014). Democracia y Secreto. Fondo de Cultura Económica.

BOIX PALOP, ANDRÉS. (2020). Los algoritmos son reglamentos: la necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la administración para la adopción de decisiones. Revista de Derecho Público: Teoría y Método, 1, p. 223-260. ENLACE

BORGES-BLÁZQUEZ, RAQUEL. (2020). El sesgo de la máquina en la toma de decisiones en el proceso penal. Ius Et Scientia, 6(2), 54 - 71.

BUCHARDÓ PARRA, ANNA, I VALLE ESCOLANO, RAQUEL. (2024). Dossier sobre els 10 anys de la Llei 19/2014. Revista Catalana de Dret Públic, 69, 257-282. ENLACE

BRUCE, PETER Y FLEMING, GEOFRY. (2021). Responsible Data Science: Transparency and Fairness in Algorithms. John Wiley & Sons Edit.

BURRELL, JENNA (2016). How the machine ‘‘thinks’’: Understanding opacity in machine learning algorithms. Big Data & Society, 3(1), 1-15. ENLACE

CASTELLANOS-BALLESTEROS, INMACULADA J. (2023). Decisiones automatizadas y transparencia administrativa: nuevos retos para los derechos fundamentales, Revista Española de la Transparencia,16, 191-215. ENLACE

COBBE, JENNIFER; SENG, AH LEE Y SINGH, JATINDER. (2021, 1-10 de Marzo). Reviewable Automated Decision-Making: A Framework for Accountable Algorithmic Systems [Ponencia]. In ACM Conference on Fairness, Accountability, and Transparency (FAccT ‘21), Canada. ENLACE

CODDOU MC MANUS, ALBERTO Y SMART LARRAÍN, SEBASTIÁN. (2021). La transparencia y la no discriminación en el Estado de bienestar digital. Revista Chilena de Derecho y Tecnología, 10(2), 301 - 332.

CONTRERAS, PABLO; TRIGO, PABLO Y ORTIZ, LEONARDO. (2022). Un sistema fragmentado: La protección sectorial de los datos personales en Chile, Revista de Derecho Administrativo Económico, 35, p. 36-64. ENLACE

COTINO-HUESO, LORENZO. (2021). Hacia La Transparencia 4.0: El Uso De La Inteligencia Artificial Y Big Data Para La Lucha Contra El Fraude Y La Corrupción Y Las (Muchas) Exigencias Constitucionales. En Carles Ramió (coord.), Repensando la Administración pública, 1. Administración digital e innovación pública - Instituto Nacional de Administración de Madrid, España.

COTINO-HUESO, LORENZO. (2023a). Una Regulación Legal Y De Calidad Para Los Análisis Automatizados De Datos O Con Inteligencia Artificial. Los Altos Estándares Que Exigen El Tribunal Constitucional Alemán Y Otros Tribunales, Que No Se Cumplen Ni De Lejos En España. Revista General de Derecho Administrativo, 63, 1-22.

COTINO-HUESO, LORENZO. (2023b). Qué concreta transparencia e información de algoritmos e inteligencia artificial es la debida. Revista Española de la Transparencia, 16, 17-63. ENLACE

CRESWELL, JHON. (2009). Investigación Cualitativa y Diseño Investigativo Selección entre cinco tradiciones. SAGE Publications.

CRIADO, JUAN IGNACIO; VALERO, JULIÁN Y VILLODRE, JULIÁN. (2020). Algorithmic transparency and bureaucratic discretion: The case of SALER early warning system. Information Polity, 25(4), 449-470.

DWORKIN, RONALD. (1989). Los derechos en serio (2.a ed.). Ariel Editores.

FINOL-ROMERO, LORAYNE. (2022). Positivización de la transparencia a través de la teoría de la doble dimensión de derechos: una visión comparada, Revista General de Derecho Administrativo, 59, 1-33.

FINOL-ROMERO, LORAYNE. (2023a). Paradoja Datos Abiertos-Privacidad Como Preámbulo De La Política De Acceso Abierto Impulsada Desde Universidades. Gobierno Y Administración Pública, 5(5), 40 -64. ENLACE

FINOL-ROMERO, LORAYNE. (2023b). Derecho a la transparencia: ¿Es suficiente una ley?. Editorial Tirant Lo Blanch.

FLORIDI, LUCIANO. (2021a). La legislación europea sobre IA: un breve análisis de su enfoque filosófico. Filosofía, 34, 215–222. ENLACE

FLORIDI, LUCIANO. (2021b). El Fin de una Era: de la Autorregulación a la Ley Dura para la Industria Digital. Filosofía Tecnología,  34, 619–622

FOUCAULT, MICHEL. (2002). Vigilar y castigar: nacimiento de la prisión. Siglo XXI Editores Argentina.

GARRIDO, ROMINA & COTORAS, DUSAN. (2023, 10 de abril). Informe Pilotaje de la Elaboración de la Instrucción General sobre Transparencia Algorítmica Santiago de Chile. GobLab UAI / BID Lab.

GRIMMELIKHUIJSEN, STEPHEN. (2022). Explaining why the computer says no: Algorithmic transparency affects the perceived trustworthiness of automated decision‐making. Public Administration Review, 83(2), 241–262.

GOODMAN, BRYCE Y FLAXMAN, SETH (2017). European Union Regulations on Algorithmic Decision Making and a “Right to Explanation”. AI Magazine, 38 (3), 50-57 ENLACE

HAN, BYUNG-CHUL (2022). Infocracy: Digitization and the crisis of democracy (D. Steuer, Trans.). Polity Press.

IBM. AI FAIRNESS 360. (2024, 24 de julio). Trusted AI.

JARA-FUENZALIDA, NATALIA. (2021). El Derecho de propiedad sobre los datos. Revista Chilena de Derecho Privado, 101-142.

KAMINSKI, MARGOT. (2019). The Right to Explanation, Explained. Berkeley Technology Law Journal, 134, 189-218. ENLACE

LLAMAS COVARRUBIAS, JERSAIN; Mendoza Enríquez, Olivia y Graff Guerrero, Mario. (2022). Enfoques regulatorios para la Inteligencia Artificial (IA). Revista Chilena De Derecho, 49(3), 31–62.

MCKINLAY, STEVE. (2020). Trust and Algorithmic Opacity, in Kevin Macnish, and Jai Galliott (eds), Big Data y democracy. ENLACE

MALDONADO-MELÉNDEZ, Mirko. (2024). El tránsito de la Administración digital hacia una Administración pública algorítmica en la era de la Inteligencia Artificial: la necesidad de un ordenamiento jurídico constitucional y legal garantista en la prestación de servicios públicos en el Perú. Revista De Derecho Político, (120), 395–425. ENLACE

MALGIERI, GIANCLAUDIO. (2018). Automated Decision-Making in the EU Member States: The Right to Explanation and Other 'Suitable Safeguards' for Algorithmic Decisions in the EU National Legislations. Computer Law & Security Review, p. 1-40. ENLACE

MALGIERI, GIANCLAUDIO. (2021). “Just” Algorithms: Justification (Beyond Explanation) of Automated Decisions under the General Data Protection Regulation. Law and Business, 1(1), 16-28. ENLACE

MANTELERO, ALESSANDRO. (2022). Beyond Data. Human Rights, Ethical and Social Impact Assessment in AI. Information Technology and Law Series, 36.

MARTÍNEZ GARAY, LUCÍA. (2018). Peligrosidad, Algoritmos y Due Process: El Caso State Vs. Loomis. Revista De Derecho Penal y Criminología, 3(20), 485-502.

MARGETTS, HELEN Y DOROBANTU, CHARLOTTE. (2019). Rethinking government with AI. Nature, 568, 163-165. ENLACE

MEIJER, ALBERT & GRIMMELIKHUIJSEN, STEPHAN. (2020). Responsible and Accountable Algorithmization: How to Generate Citizen Trust in Governmental Usage of Algorithms. En R. P. y M. Schuilenburg (coord.), Perspectives on Public Management and Governance (pp. 232-242).

MEDINA-GUERRERO, MANUEL. (2022). El derecho a conocer los algoritmos utilizados en la toma de decisiones. Revista Teoría y realidad constitucional, 49, p. 141-171.

MÖKANDER, JAKOB; JUNEJA, PRATHM; WATSON, DAVID Y FLORIDI, LUCIANO. (2022). The US Algorithmic Accountability Act of 2022 vs. The EU Artificial Intelligence Act: what can they learn from each other?. Minds and Machines, 32, 751–758. ENLACE

METZ, CADE. (2023, 26 de Junio). ‘The Godfather of A.I.’ Leaves Google and Warns of Danger Ahead. New York Times.

ORTIZ DE ZÁRATE, LUCÍA. (2022). Explicabilidad (de la inteligencia artificial). Eunomía. Revista en Cultura de la Legalidad, 22, 328-344. ENLACE

PASQUALE, FRANK. (2015). The Black Box Society: The Secret Algorithms That Control Money and Information (1.a ed.). Harvard University Press

PENTLAND, ALEX. (2013). The data-driven society. Scientific American, 309(4), 78-83.

PERC, MATJA; OZER, MAHMUT Y HOJNIK, JANJA. (2019). Social and juristic challenges of artificial intelligence. Palgrave Communications, 5(61).

Reyes-Olmedo, Patricia. (2017). Estándares técnico-jurídicos de gestión para servicios digitales de información legislativa. Revista Chilena de Derecho y Tecnología, 6(2), p. 57-95.

RUSSELL, STUART Y NORVIG, PETER. (2009). Artificial Intelligence: A Modern Approach (2.a ed). Pearson Prentice Hall.

SCHUILENBURG, MARC Y PEETERS, RIK. (2020). The Algorithmic Society. En Schuilenburg, M., & Peeters, R. (Eds.), The Algorithmic Society: Technology, Power, and Knowledge (1.a ed.) (pp. 1-15). Routledge.

SIMÓN-CASTELLANO, PERE (2023). Las evaluaciones de impacto algorítmico en los derechos fundamentales: hacia una efectiva minimización de riesgos. En C. H. Lorenzo y Claramaunt Castellanos Jorge (coord.), Algoritmos abiertos y que no discriminen en el sector público (pp. 27–56). Tirant lo Blanch, Valencia.

SORIANO ARNANZ, ALBA. (2021). Decisiones automatizadas: problemas y soluciones jurídicas más allá de la protección de datos. Revista de Derecho Público: Teoría y Método, 3, 85-127.

VESTRI, GABRIELE. (2021). La inteligencia artificial ante el desafío de la transparencia algorítmica. una aproximación desde la perspectiva jurídico-administrativa. Revista Aragonesa de Administración Pública, 56, 368-398.

WILKINSON, MARK; DUMONTIER, MICHAEL [] Mons, Barend. (2016). The FAIR Guiding Principles for scientific data management and stewardship. Nature Sci. 3 (160018).

Normas citadas

Boletín 16.821-19 de la Cámara de Diputadas y Diputados, de 8 de mayo de 2024, relativa al Proyecto de ley que regula los sistemas de inteligencia artificial. (Cámara de Diputadas y Diputados, 31.07.2024).

COMISIÓN EUROPEA (2020). Libro Blanco sobre IA de EU: a European approach to excellence and trust. Comisión Europea.

COMISIÓN EUROPEA (2018). Plan coordinado sobre el desarrollo y uso de la inteligencia artificial <<Made in Europe>> de 2018.

COMISIÓN EUROPEA. (2019). Directrices éticas para una IA fiable.

Decreto 20/2021, de 20 de septiembre, De Política Nacional de Inteligencia Artificial.

Directiva 2019/1024/CE del Parlamento Europeo y del Consejo, de 20 de junio de 2019, relativa a la reutilización de la información del sector público. Publicada en el Diario Oficial de la Unión Europea (172, p. 56-78).

Goverment Digital Service. (2023). Algorithmic Transparency Standard de 2021 UK Algorithmic Transparency Recording Standard (ATRS)

HLGE. Grupo de Expertos de la Comisión. (2018) White Paper on Artificial Intelligence

HLGE. Grupo de Expertos de la Comisión. (2019) COM (2019) 168

HLGE. Grupo de Expertos de la Comisión. (2020) White Paper on Artificial Intelligence – a European approach to excellence and trust.

Ley N° 20.285/2008, de 11 de agosto, De Acceso a la Información Pública.

Ley N° 21.663/2024, de 8 de abril, De Ciberseguridad.

Ley N° 18.575/1986, de 12 de noviembre, De Constitucional De Bases Generales De La Administración Del Estado.

Ley N° 21.719/2024 de 13 de diciembre, De La Protección y el Tratamiento De Los Datos Personales Y Crea La Agencia De Protección De Datos Personales.

Min Ciencia y SEGPRES. (2023). Lineamientos para el uso de la inteligencia artificial en el sector público.

OGP. (2024). Guía abierta de gobierno sobre toma de decisiones automatizada, algoritmos e inteligencia artificial.

Orden Ejecutiva 14110 sobre inteligencia artificial segura, confiable y protegida, de 30 de octubre de 2023.

OCDE. (2019). Recommendation of the Council on Artificial Intelligence.

OCDE. (2023). El camino de Chile hacia la transparencia algorítmica: Estableciendo nuevos estándares en América Latina.

PARLAMENTO EUROPEO Y DEL CONSEJO. (2023). REGLAMENTO (UE) 2024/1689 por el que se establecen normas armonizadas en materia de inteligencia artificial y por el que se modifican los Reglamentos (CE) n.o 300/2008, (UE) n.o 167/2013, (UE) n.o 168/2013, (UE) 2018/858,(UE) 2018/1139 y (UE) 2019/2144 y las Directivas 2014/90/UE, (UE) 2016/797 y (UE) 2020/1828 (Reglamento de Inteligencia Artificial) Artificial Intelligence Act.

REGLAMENTO No152/2016 del Ministerio De Educación y Subsecretaría De Educación (MINEDUC), de 9 de agosto de 2016, relativo al Reglamento del Proceso de Admisión de los estudiantes que reciben subvención a la educación gratuita o aportes del Estado.

REGLAMENTO 2022/868/UE del Parlamento Europeo y del Consejo, de 30 de mayo de 2022, Relativo a la Gobernanza de Datos (Reglamento de Gobernanza de Datos).

RESOLUCIÓN EXENTA N°1253/2023 del Ministerio De Educación, de 7 de marzo de 2023, Fija Calendario De Admisión Escolar Para La Postulación y Admisión Del Año 2024.

RESOLUCIÓN EXENTA Núm. 372, Recomendaciones del Consejo para la Transparencia sobre Transparencia Algorítmica, aprobada el 12 de agosto de 2024 y publicada el 30 de agosto de 2024.

UNESCO. (2021). Recomendación sobre la Ciencia Abierta en su 41ª reunión.

UNESCO. (2021). Recomendación sobre la ética de la inteligencia artificial.

U.S. 117th Congress. (2022). Algorithmic Accountability Act de 2022 – H.R.6580.

Jurisprudencia

Sentencia del Tribunal Constitucional Federal 1 BvR 1547/19. 1 BvR 2634/20, de 16 de febrero de 2023 Tribunal Constitucional Federal .

Sentencia de la Corte de Antofagasta Rol N° 242-2024 de 15 de abril de 2024 (Recurso de Protección de Garantías Constitucionales). Corte de Antofagasta.

NOTAS:

(1). Doctora en Derecho y en Ciencia Política por la Universidad del Zulia de Venezuela. Profesora Titular de la Facultad de Derecho de la Universidad Central de Chile.

Esta investigación forma parte del proyecto: “Transparencia algorítmica del sector público”, N° CIP2022015. Agradezco el apoyo de la Fundación Santander por el financiamiento para la estancia postdoctoral en el College of Law de la Universidad Internacional de Florida (FIU) en Estados Unidos.

(2). Ortiz de Zárate (2022), p. 328.

(3). Kaminski (2019), p. 190.

(4). McKinlay (2020), p. 153.

(5). Russell y Norvig (1994), p. 114.

(6). IBM.

(7). Cotino-Hueso (2023b), p. 7.

(8). Margetts y Dorobantu (2019), p. 163.

(9). Resolución Exenta Núm. 372, de 2024.

(10). OCDE 2019, considerando 7.

(11). Bruce y Fleming (2021).

(12). Baycurt (2022).

(13). Castellanos-Ballesteros (2023), p. 205.

(14). Meijer y Grimmelikhuijsen (2020).

(15). Martínez-Garay (2018), p. 496.

(16). Pentland (2013).

(17). Reglamento (UE) 2022/868, Artículo 2.1: “datos, [es] toda representación digital de actos, hechos o información, así como su recopilación, incluso como grabación sonora, visual o audiovisual”.

(18). Reglamento N°152, del MINEDUC y Resolución Exenta N°1253, de 7 de marzo de 2023.

(19). Sentencia Rol N° 242-2024 de la Corte de Antofagasta de 15 de abril de 2024.

(20). Margetts y Dorobantu (2019), p. 163.

(21). Borges-Blázquez (2020), p. 61. COMPAS sus siglas significan: Correctional Offender Management Profiling for Alternative Sanctions (COMPAS).

(22). Finol-Romero (2023ª), p. 141.

(23). Cotino-Hueso (2023b).

(24). Criado, Valero y Villodre (2020), p. 449.

(25). Foucault (2002, p. 170).

(26). Perc, Ozer y Hojnik (2019), p. 5.

(27). Directiva (UE) 1024/2019, considerando 9.

(28). Baykurt (2022).

(29). En esto coinciden: Cotino-Hueso (2023); Grimmelikhuijsen (2022); y Vestri (2021).

(30). Véase también Finol-Romero 2022a, respecto a la positivización de la transparencia en sus dos dimensiones.

(31). Veáse: Vestri 2021 y también Pere, Simón-Castellano (2023).

(32). Grimmelikhuijsen (2022), p. 147.

(33). Kaminsky (2019), p. 189. En el mismo sentido, Ortiz De Zárate (2022, p. 141.

(34). Cotino-Hueso (2021), p. 170.

(35). Malgieri (2021), p. 16.

(36). Floridi 2021a. La legislación europea sobre IA, en un breve análisis de su enfoque filosófico.

(37). Mökander et. al. (2022), p. 752.

(38). OCDE (2023). En el Informe de Chile respecto de los avances de la transparencia algorítmica, se reafirma que los organismos públicos están obligados a informar sobre los algoritmos que utilizan para atender a la población, como una obligación adicional de transparencia activa.

(39). Ver: Ortiz de Zárate (2022), Cotino-Hueso (2023a), Medina-Guerrero (2022), Coddou y Smart (2021), Mantelero (2022), Malgieri (2018), Vestri (2021).

(40). Boix Palop (2020), p. 235.

(41). Castellanos-Ballesteros (2023).

(42). Burrell (2016).

(43). Algorithmic Transparency Standard UK de 2021.

(44). Floridi (2021b), pp. 621-625. El fin de una era: de la autorregulación a la ley dura para la industria digital.

(45). Maldonado-Meléndez (2024), p. 420.

(46). Finol-Romero (2023b, pp. 154-160). Cuando define el Derecho a la Transparencia, se pregunta, ¿Es suficiente una ley para garantizar el ejercicio efectivo del acceso a la información?, especialmente considerando que el núcleo de las obligaciones recae en un conjunto de prestaciones de hacer, con finalidades diferentes, por una parte, una dimensión garantista del derecho a la información, y por otra, como pilar fundamental de la democracia.

(47). Floridi (2021a), p. 2021.

(48). Cotino-Hueso (2023b), p. 2.

(49). Algorithmic Accountability Act de 2022.

(50). Orden Ejecutiva 14110 sobre inteligencia artificial segura, confiable y protegida, de 30 de octubre de 2023.

(51). Algorithmic Transparency Standard, de 2021.

(52). Pasquale (2015), pp. 1-18. También Bobbio (2014), p. 21.

(53). Martínez-Garay (2018), p. 496.

(54). Sentencia del Tribunal Constitucional Federal (TCF) 1 BvR 1547/19, establece principios sobre las salvaguardias necesarias para el análisis de datos automatizado. Establece que: “generalmente se aplican a las medidas de vigilancia secreta intrusivas, es decir, solo para la protección de intereses legales particularmente importantes, siempre que exista al menos un peligro suficientemente concreto para ellos”, considerando 4. Esta causa, fue en el procedimiento sobre los recursos de inconstitucionalidad, contra Artículo 25a de la Ley de Seguridad y Orden Público de Hesse, modificada por la Ley de Reajuste de la Oficina de Protección de la Constitución de Hesse, de 25 de junio de 2018.

(55). Reyes-Olmedo (2017), p. 60).

(56). Kaminski (2019), p. 190.

(57). Llamas, Mendoza y Graft (2022), p. 33.

(58). Libro Blanco sobre IA de la Unión Europea, de 2020.

(59). Ortiz de Zárate (2022), p. 333.

(60). HLEG de 2019, COM (2019) 168.

(61). Recomendación OCDE del Consejo sobre Inteligencia Artificial, de 2019.

(62). Recomendación UNESCO sobre la Ética de la Inteligencia Artificial, de 2021.

(63). Finol-Romero (2023b), pp. 154-160.

(64). Castellanos-Ballesteros (2023), p. 195.

(65). Goodman y Flaxman (2017), pp. 50-57.

(66). Boletín 16.821-19 de 8 de mayo de 2024, Proyecto de ley que “Regula Los Sistemas De Inteligencia Artificial”.

(67). Cobbe, Seng Ah Lee, y Singh (2021), p. 7.

(68). Ortiz de Zárate (2022), p. 334.

(69). Contreras y Trigo (2022).

(70). Min Ciencia y SEGPRES, Lineamientos para el uso de la inteligencia artificial en el sector público de 2023.

(71). Ley N°18.575, Artículo 2°: “Los órganos de la Administración del Estado someterán su acción a la Constitución y a las leyes. Deberán actuar dentro de su competencia y no tendrán más atribuciones que las que expresamente les haya conferido el ordenamiento jurídico. Todo abuso o exceso en el ejercicio de sus potestades dará lugar a las acciones y recursos correspondientes”.

(72). Ley 20.285. Artículo 33: El Consejo tendrá las siguientes funciones y atribuciones:

(...)

d) Dictar instrucciones generales para el cumplimiento de la legislación sobre transparencia y acceso a la información por parte de los órganos del Estado y requerir a estos para que ajusten sus procedimientos y sistemas de atención de público a dicha legislación.

e) Formular recomendaciones a los órganos de la Administración del Estado tendiente a perfeccionar la transparencia de su gestión y facilitar acceso a información que posean.

(...)”.

(73). Bruce y Fleming (2021), p. 25.

(74). Ortiz de Zárate (2022), p. 334.

(75). Buchardó y Valle (2024), p. 259.

(76). Ley N° 20.285. Artículo 33:

El Consejo tendrá las siguientes funciones y atribuciones:

(...) m) Velar por el adecuado cumplimiento de la ley N° 19.628 de protección de datos de carácter personal, por parte de los órganos de la administración del Estado.

(77). Finol-Romero (2023a), p. 143.

(78). Ortiz De Zárate (2022), p. 330.

(79). Vestri (2021), p. 369.

(80). Pere (2023), pp. 27–56.

(81). Mantelero (2022), p. IX.

(82). Ortiz de Zárate (2022). También, Burrel (2016), pp. 1-5.

(83). Medina-Guerrero (2022), p. 141.

(84). Cotino-Hueso (2023b), p. 11.

(85). Cotino-Hueso (2023ª), p. 3.

(86). Vestri (2021), p. 370.

(87). Jara-Fuenzalida (2021), pp. 101-104.

(88). Contreras, Trigo y Ortiz (2022), pp. 36-37.

(89). Automatización del Estado, también conocida en la literatura como algoritmización de la gobernanza pública. Véase: Meijer & Grimmelikhuijsen (2020, p. 57). También en Schuilenburg y Peeters (2020,) pp. 1-15.

(90). UNESCO 2021, Recomendación sobre la Ciencia Abierta presentada durante la 41ª reunión, de 2021.

(91). HLGE, Libro Blanco sobre IA de UE de febrero de 2020.

(92). Finol-Romero (2023a), p. 43.

(93). Wilkinson et al. (2016).

(94). Plan coordinado sobre el desarrollo y uso de la inteligencia artificial <<Made in Europe>> de 2018. En el mismo sentido que el plan de acción que busca que la Nube Europea se alinee con las mejores prácticas de Ciencia Abierta. Para entrenar con datos globales y de calidad, fácilmente localizables y accesibles. Conocidos como datos FAIR.

(95). OGP 2024, Guía abierta de gobierno sobre toma de decisiones automatizada, algoritmos e inteligencia artificial.

(96). HLGE de 2020, a European approach to excellence and trust.

(97). Estándares de Transparencia Algorítmica de 2021, en: “Algorithmic Transparency Standard UK”.

(98). Dworkin (1989), p. 9.

(99). Bobbio (1989), p. 208.

(100). Mantelero (2022), p. 140.

(101). Reglamento de Inteligencia Artificial de 2024.

(102). Ley N° 21.719 de 2024, regula la protección y el tratamiento de los datos personales y crea la agencia de protección de datos personales.

(103). Han Byung-Chul (2022), p. 25.

(104). Ley N° 21.663 de 2024.

Comentarios