Lorayne Finol Romero
Lorayne Finol Romero es Acadmica Investigadora de la Facultad de Derecho
Universidad Central de Chile (1)
El artculo se public en el nmero 69 de la Revista General de Derecho Administrativo (Iustel, mayo 2025)
RESUMEN: La transparencia es un principio fundamental tanto para fortalecer la confianza ciudadana y salvaguardar el funcionamiento democrtico, como para la integracin responsable de la inteligencia artificial (IA) en la administracin del Estado. A partir de esta premisa, en el artculo se examina el proyecto de ley chileno sobre regulacin de la IA para dilucidar qu tipo de mecanismos de transparencia exige a los algoritmos del sector pblico. Los resultados muestran que el proyecto de ley no recoge la creciente demanda mundial por una mayor regulacin de las normas aplicables a la IA para dar fin a una era de autorregulacin, y se argumenta que la transparencia de la IA cuando el Estado es el responsable requiere ms que una ley, porque amerita adaptar el estatuto administrativo vigente al marco de la gobernanza de los algoritmos incorporados en la administracin pblica. Se concluye que sigue habiendo lagunas en cuanto a las obligaciones legales cuya materia regulada es la explicabilidad de y mayor responsabilidad de los algoritmos, la supervisin eficaz y exigencia de los mecanismos de control para corregir posibles sesgos o decisiones arbitrarias especialmente en sistemas de aprendizaje automtico.
TRANSPARENCY WHEN PUBLIC ADMINISTRATION IT INCORPORATES ARTIFICIAL INTELLIGENCE: IS A LAW ENOUGH IN CHILE?
ABSTRACT: Transparency is a fundamental principle both for strengthening citizen trust and safeguarding democratic functioning, as well as for the responsible integration of artificial intelligence (AI) in the administration of the State. Based on this premise, the article examines the Chilean draft law on AI regulation to elucidate what kind of transparency mechanisms it requires for public sector algorithms. The results show that the bill does not capture the growing global demand for greater regulation of the rules applicable to AI to end an era of self-regulation, and it is argued that AI transparency when the State is responsible requires more than a law, because it merits adapting the current administrative statute to the framework of governance of algorithms incorporated in public administration. It is concluded that there are still gaps in terms of legal obligations whose regulated matter is the explainability of and greater accountability of algorithms, effective supervision and requirement of control mechanisms to correct possible biases or arbitrary decisions especially in machine learning systems.
1. INTRODUCCIN
La incorporacin de la Inteligencia Artificial (IA) en la gestin pblica est en constante expansin, transformando la manera como los organismos del Estado prestan sus servicios y toman decisiones(2). Sin embargo, esta incorporacin plantea desafos significativos en materia de transparencia y rendicin de cuentas, lo que ha llevado a organizaciones internacionales y grupos de la sociedad civil a exigir mayores garantas sobre su uso(3). En este contexto, el presente artculo sostiene que al menos cinco principios fundamentales pueden asegurar la transparencia de la IA empleada por el Estado y examina en qu medida el actual proyecto de ley chileno los ha incorporado de manera efectiva.
La literatura especializada ha advertido que la adopcin de estas tecnologas avanza sin los resguardos normativos necesarios para su integracin responsable sobre todo cuando es la administracin pblica y, especialmente en lo que respecta a los sistemas de aprendizaje automtico. Dentro de esta corriente doctrinal McKinlay(4) afirma que debido a los problemas de opacidad que conlleva su aplicacin, las decisiones basadas en mera probabilidad no renen todos los requisitos exigibles a la actuacin estatal de los sistemas democrticos, especialmente por el riesgo de perjudicar a su ciudadana.
A lo largo de este artculo, se analiza el uso de IA en la administracin pblica, entendidos como conjuntos de reglas computacionales que optimizan la eficiencia y eficacia en la ejecucin de tareas administrativas, especialmente aquellas de carcter rutinario y repetitivo(5). No obstante, esta investigacin sostiene que, ms all de la promulgacin de una ley especfica, es imprescindible establecer un marco jurdico integral que contemple un conjunto de garantas legales para evitar la perpetuacin de problemas estructurales como la opacidad inherente de los algoritmos y la reproduccin de sesgos sistemticos(6). Estos ltimos pueden derivarse de errores probabilsticos y de sesgos no deseados que favorecen a grupos privilegiados en detrimento de sectores histricamente marginados, generando resultados que podran tener efectos arbitrarios y contrarios a los principios de equidad y no discriminacin(7).
En este contexto, la regulacin de la transparencia de la IA ha trascendido como un conjunto de mecanismos de transparencia aplicables a los algoritmos con los que se programan, es decir, medidas garantes adems del acceso a la informacin, auditora y rendicin de cuentas que garantizan el control efectivo de los sistemas en la gestin pblica, para asegurar su compatibilidad con los derechos fundamentales y fortaleciendo la confianza ciudadana en el uso de estas tecnologas. Dando lugar a un modelo que Margetts y Dorobantu(8) definen como gobernanza algortmica, donde esta tecnologa funciona como un catalizador de las relaciones entre la ciudadana y las administraciones pblicas, facilitando desde la realizacin de trmites burocrticos, hasta la asistencia en la toma de decisiones que los gobiernos puedan introducir para ser ms eficientes en las demandas dirigidas a la ciudadana.
Por esto, ante la introduccin en el Congreso del Proyecto de Ley No. 16.821-19 que busca regular la inteligencia artificial (IA) en Chile, el objetivo de esta investigacin fue analizar las obligaciones legales necesarias para garantizar la transparencia algortmica en los procesos automatizados con IA en la administracin del Estado, para responder la pregunta: es suficiente una ley para este colosal mbito regulatorio. Para ello, se integra el marco normativo del estatuto administrativo chileno vigente (lege data) con el texto del proyecto de ley (lege ferenda), y se determinar si el texto se hace cargo de las recomendaciones de organismos internacionales. En concreto, busca determinar en qu medida estas obligaciones han sido incorporadas en el actual proyecto de ley y si resultan suficientes para salvaguardar los derechos fundamentales cuando el responsable de la aplicacin de la IA, son los organismos de la administracin del Estado.
El contenido ha sido estructurado en tres partes. En la primera parte, se hace una revisin de los elementos conceptuales doctrinales y jurdicos necesarios para exigir transparencia a los algoritmos de la administracin del Estado. En la segunda seccin, se comparan estndares del derecho internacional, a travs del benchmarking de las obligaciones de transparencia algortmica. Y, en la tercera seccin, por medio de la tcnica de armonizacin jurdica se describen cinco principios garantes de la transparencia requerida para la implementacin responsable de la IA en la administracin del Estado, que seguidamente fueron contrastados con el corpus iuris del proyecto de ley de IA explicando los desafos persistentes para exigir transparencia a estos sistemas.
2. CONCEPTUALIZACIN DE LA TRANSPARENCIA ALGORTMICA
El legislador chileno ha establecido que “las disposiciones de transparencia y acceso a la informacin pblica vigentes en Chile son aplicables respecto de los sistemas de decisiones automatizadas y semi automatizadas en los trminos que establece la Constitucin y la Ley de Transparencia”(9). Es decir, que el rgimen de garantas de la actuacin administrativa vigente, es aplicable a esta tecnologa, cualquiera sea su formato. Siguiendo con esta lnea argumental, esto significa que las bases jurdico-administrativas de la legislacin previa a la llegada de la IA, han sido entendidas como plenamente aplicables y tambin sus carencias.
De esta forma la transparencia algortmica a la que se refiere en este artculo, es al conjunto de obligaciones legales, cuyo mbito jurdico exige proporcionar informacin para explicar, escrutar y auditar procesos de sistemas automatizados del Estado cuando incorpora IA, cuya finalidad es garantizar el derecho de acceso a la informacin, as como la publicidad de informacin necesaria para la rendicin de cuentas, pilar de la democracia sustantiva.
Es por esto que, para comprender el alcance de las obligaciones legales requeridas, en esta parte se inicia con la contextualizacin de una primera definicin de algoritmos desde una perspectiva doctrinal. Todo lo cual, sin desconocer que representa un problema en s mismo para una investigacin dogmtica jurdica de este tipo.
De tal manera complejo por la dificultad tcnica que significa definir qu es la IA , cuya descripcin se ha abordado desde distintas disciplinas cientficas para hacer referencia a un conjunto de tecnologas que permiten ejecutar sistemas computacionales, para hacer predicciones, recomendaciones, clasificaciones de patrones, perfilado, as como, visualizaciones de grandes conjuntos de datos, y aprender autnomamente a interrelacionarse con personas, en un lenguaje humano natural(10). Es importante precisar que la tecnologa provista por IA se basa en esencia, en sistemas algortmicos provistos por las ciencias computacionales diseñados para resolver problemas(11), y que pueden hacer que los procesos automatizados con esta tecnologa al interior de la administracin del Estado, sean adems de eficientes, tambin ms eficaces(12).
Justamente por esto ltimo, es importante detenerse en algunos aspectos doctrinales que cuestionan a estos sistemas, como se procede a continuacin(13). Por lo que, hay que advertir que esta aproximacin terica no persigue incurrir en una definicin reduccionista de un concepto en constante ebullicin. Al respecto, porque un algoritmo en estricto rigor aunque es una secuencia ordenada de instrucciones mediante un programa informtico, puede realizar procesos similares a los llevados a cabo por seres humanos(14). As entendidos, los algoritmos son un mero reflejo del tipo de instrucciones con los que se programan y de los datos con los que se los entrena. De tal modo que, si los datos con los que entrenan incorporan sesgos, el algoritmo los reproducir, o peor an, los exacerbara(15).
En este tema, es importante introducir el concepto de sociedades conducidas por datos o data-driven-society explicado por el profesor Alex Pentland(16), quien afirma que en virtud de la nueva forma de interactuar estos sistemas con las personas basndose en informacin disponible en internet. Es clave, que para mejorar la calidad de los datos que se suministra a los algoritmos, entendidos como la representacin digital de cualquier tipo de informacin(17), primero hay que partir por la regulacin de los datos. En efecto, cuando Pentland se refiere a un nuevo paradigma social de comportamiento, con el que es posible predecir comportamientos, acciones y decisiones, da cuenta grosso modo, del largo etctera de posibles aplicaciones de esta tecnologa y de los riesgos que involucra.
Ejemplo de ello se observa en el sistema automatizado de asignacin de matrculas escolares del MINEDUC en Chile. Mejor conocido como ‘SAE’(18), algoritmo con el que se pretende ampliar la igualdad de oportunidades en la asignacin de una matrcula escolar en establecimientos municipales. No obstante, sin desconocer, los beneficios que conlleva automatizar este proceso, y dada su aplicacin sin las garantas de transparencia algortmica, Corte de Apelaciones(19) declara arbitrario y discriminatorio el actuar omisivo de la Secretara Regional del Ministerio de Educacin por vulnerar el artculo 19 N° 10 de la constitucin, al no otorgar una matrcula a un estudiante adolescente para cursar el año lectivo 2024.
De tal manera que, la Corte declara que la recurrida debe realizar todas las coordinaciones que sean necesarias, para la generacin de una matrcula para los NNA, en el establecimiento ms cercano al domicilio de la parte recurrente, debiendo materializar la generacin del cupo indicado en un plazo que no exceda de un plazo razonable, para reparar la vulneracin del derecho a la educacin media del adolescente. Este caso da cuenta del elevado riesgo social y las repercusiones de sus potenciales efectos discriminatorios en grupos de personas vulnerables, en este caso de un adolescente que se ve impedido de acceder al sistema educativo.
Sin embargo, a pesar de este tipo de casos de alto riesgo, comoquiera que se les mire, estos sistemas con las salvaguardas necesarias tambin podran ofrecer la oportunidad de agilizar procesos complejos y repetitivos, dada su capacidad de procesar grandes volmenes de datos, por lo que pueden desempeñar un papel importante en la productividad de la administracin pblica(20).
Situacin similar, pero a nivel internacional, es la Sentencia Loomis Vs. Wisconsin, en donde a travs del sistema algortmico COMPAS(21) se neg la libertad condicional de un recluso, basado en el alto riesgo de incurrir en reincidencia por razones relacionadas con datos sensibles, basados en rasgos relativos a su color de piel.
En esta ocasin porque la decisin judicial se bas en un algoritmo que en su anlisis proces un conjunto de datos personales, referidos tanto a sus antecedentes criminales, como caractersticas sociodemogrficas y tnicas. Es decir, el algoritmo determin niveles de riesgos a delinquir entre personas, tomando en cuenta varios criterios, entre ellos, su color de piel. Logrando clasificar con un riesgo mayor de reincidencia a personas afroamericanos, hombres y mujeres, y por estrato socioeconmico, as como, nivel educativo.
En resumen, porque la incorporacin de esta tecnologa dada su complejidad de naturaleza computacional y matemtica, podran exacerbar discriminaciones histricas, derivadas de su implementacin sin las medidas adecuadas, resulta indispensable exigir obligaciones legales de transparencia que permitan exigir ms responsabilidad a sus implementadores. Especialmente aquella tecnologa aplicada al interior de la funcin del Estado, como se explica a continuacin.
2.1. Qu transparencia algortmica es la requerida cuando el responsable de su aplicacin es la administracin del Estado
La transparencia considerada como el mejor desinfectante de la gestin pblica, es la que se postula en este anlisis(22). Por esto la transparencia algortmica que se propone como indispensable para la legislacin nacional, es aquella que la concibe como un conjunto de obligaciones, que pueden evitar una nueva huida de los rganos estatales, a los lmites del Estado de Derecho que controla la gestin de la administracin pblica(23).
Segn este argumento, proporcionar informacin en portales de transparencia activa, adems de significar un mecanismo de rendicin de cuentas, facilita el acceso a la informacin pblica y, por ende, de la fiscalizacin requerida. Pilar fundamental de la democracia, as como, tambin instrumento para desincentivar prcticas maliciosas, mitigar riesgos asociados a la discriminacin y vulneracin de derechos fundamentales, requiriendo medidas para neutralizar posibles externalidades negativas(24).
Lo anterior, bajo la premisa planteada por el modelo del panptico de Jeremy Bentham, segn el cual, cuanto ms estrictamente nos vigilan, mejor nos comportamos(25). Derivado de ello, y concretamente por el potencial de este tipo de tecnologas(26), se cuestiona si la normativa actual y la que est por venir, son capaces de dar respuesta a la incertidumbre respecto a los problemas persistentes de la opacidad algortmica intrnseca(27).
Visto de esta forma, la transparencia algortmica que se propone, tiene como objeto hacer que los sujetos que incorporan sistemas de IA rindan cuentas para hacerlos responsables de sus decisiones(28). Es decir, que sus implementadores proporcionen informacin respecto a cundo se ocupan, qu aspectos tcnicos de su funcionamiento podran afectar derechos fundamentales y adems, expliquen en un lenguaje comprensible su funcionamiento para facilitar su escrutinio(29). Del mismo modo, que mecanismos para que los afectados puedan opornerse.
En otras palabras, el concepto que apoya esta investigacin se basa en las posiciones doctrinales esgrimidas por Finol-Romero(30) quien postula que dada la forma como se han positivizado las leyes de transparencia, afirma que el concepto de transparencia ha evolucionado en varias dimensiones. Una subjetiva, asociada al derecho de libertad de informacin y otra objetiva, relativa a la rendicin de cuentas. Sin embargo, la dimensin de transparencia en la que se sustenta este anlisis es en la transparencia objetiva. Es decir, aquella que permite adems de conocer cmo opera la sala de mquinas del Estado, exigir rendicin de cuentas a los responsables de los daños que ocasionan y medidas de no repeticin.
En trminos concretos, porque las obligaciones de transparencia podran dotar de certeza jurdica el funcionamiento de procesos automatizados de la administracin del Estado con algoritmos de funcionamiento inteligente, se postula, que garantizar que los sujetos obligados proporcionen informacin respecto de las fuentes de datos con los que se entrenan, acceso a los criterios de la decisin, as como, las medidas de mitigacin de los impactos derivados de los resultados producidos(31), en consonancia con un lenguaje claro, accesible, interoperable y fcil de entender, tanto para los usuarios, como sujetos responsables de su auditabilidad tcnica(32). Dando cabida, a un nuevo derecho que la doctrina reconoce como derecho a la explicabilidad algortmica(33).
Al respecto, es importante reiterar que, dado que la transparencia tambin es un concepto con mltiples dimensiones, en este artculo a la transparencia que se har referencia es aquella que se entiende como un conjunto de obligaciones que garantiza el derecho de acceso y escrutinio a la caja negra del funcionamiento de la maquinaria estatal. De esta forma, la transparencia algortmica (Talg) en su dimensin objetiva, se entiende asociada a procesos garantes de la publicacin de informacin clave para facilitar rendicin de cuentas y auditabilidad. Todo lo cual, encuentra su justificacin bajo la premisa que transparentar informacin puede llegar a ser el mejor desinfectante(34).
En esencia, porque cualquiera que sea la corriente legislativa que se adopte, ejemplo, Estndar de transparencia algortmica o Ley especial que regula la IA del Sector Pblico. Lo cierto es que es necesario regular en forma exhaustiva las obligaciones, indispensables para establecer los lmites y exigencias a la aplicacin de los algoritmos, con los que se programan los sistemas de la IA incorporados a la administracin del Estado.
Justamente as lo explica Malgieri(35) cuando cuestiona la insuficiencia normativa persistente actualmente, derivada de la incapacidad de los legisladores de dimensionar el verdadero objeto jurdico. Esto haciendo referencia a la base de licitud necesaria para garantizar que, al tratamiento automatizado de datos con algoritmos, se apliquen medidas de auditora y evaluacin de impacto necesarias para mitigar consecuencias maliciosas o externalidades negativas que stos pueden desencadenar. En efecto, se afirma, que para que estos procesos de toma de decisiones automatizados se lleven a cabo de una forma responsable y contribuyan con la arquitectura de procesos administrativos lcitos, eficientes y eficaces, es importante redoblar las obligaciones de transparencia de la funcin pblica.
Resumiendo esta parte, es importante referirse a Floridi(36) quien considera como un hexagrama regulatorio, el marco jurdico que debe impulsar la agenda legislativa para que los algoritmos sean transparentes y responsables. Sin embargo, afirma que abordar estos retos normativos desde la lgica aislada podra ser una tarea titnica, sino imposible. En consecuencia, derivado que proteccin de datos no es el nico mbito involucrado(37), a continuacin se argumentan cuestiones jurdicas que justifican por qu regular la transparencia de los algoritmos, podra dotar de confianza el uso de esta tecnologa.
2.2. Transparencia Algortmica: Cuestiones doctrinales preliminares
Cuando a la transparencia se le relaciona con la explicabilidad de los sistemas de IA, se est haciendo nfasis a uno de los aspectos de su perspectiva instrumental objetiva. Es decir, el fin teleolgico perseguido que involucra hacer comprensible su funcionamiento. Por esto, cuando en los instrumentos legales del consenso global se insiste en redoblar garantas de acceso a la informacin relacionada con estos sistemas, lo que se espera es atender cuestiones respecto a: ¿Cmo se estn tomando las decisiones automatizadas? ¿Cmo funcionan los algoritmos y en base a qu datos?, del mismo modo que: ¿cmo se est proporcionando la informacin requerida? Preguntas, abordadas por los juristas administrativistas, que antes estaban reservadas a los actos de la administracin pblica analgica, pero que ahora es una constante, para la incorporacin de este tipo de tecnologas en la funcin del Estado(38).
Es decir, es crucial para garantizar los derechos de las personas exigir para qu estas herramientas computacionales se usan en los procesos de la administracin del Estado. De tal manera que la filosofa jurdica que est detrs de esta positivizacin no es la de prohibir el uso de estos sistemas algortmicos, sino que stos deben implementarse acorde a medidas adecuadas(39). Dentro de esta corriente, se observa como la transparencia algortmica gana terreno, como un pilar fundamental del conjunto de regulaciones que est por venir, lege ferenda.
Sin embargo, es importante distinguir sus implicaciones en el derecho administrativo. Para entenderlo mejor, nos apoyamos en Andrs Boix Palop(40) quien argumenta que los algoritmos utilizados por las administraciones pblicas para tomar decisiones deben considerarse equivalentes a la dictacin de actos administrativos sometidos a reglamentos y normas jurdicas positivizadas. Esto, dado que los algoritmos determinan la forma como actan los poderes pblicos, por lo que merecen las mismas garantas legales, es decir, cumplir con el principio de legalidad de la administracin pblica.
Al respecto el profesor Boix aboga por una mayor reglamentacin de los algoritmos, as como por ms obligaciones de transparencia y rendicin de cuenta de los procedimientos donde son implementados. En cambio, otra corriente doctrinal propone la profesora Inmaculada Castellanos-Ballesteros(41), cuando afirma que adems de ms obligaciones de transparencia, hay que establecer ms responsabilidades a los creadores y los implementadores, as como, mecanismos judiciales de oposicin a los actos administrativos obtenidos por sistemas de este tipo. En efecto, con esto se subraya la importancia de reducir la opacidad de los algoritmos(42).
En resumen, la perspectiva de transparencia algortmica propuesta doctrinalmente adems de resultar favorable para respetar el derecho a saber cmo los sistemas de IA funcionan, tambin proporciona garantas, para reducir asimetras respecto a qu datos procesan, qu mecanismos de oposicin y medidas de no repeticin contemplan frente a la vulneracin de derechos fundamentales, as como los impactos que producen en la sociedad .(43)
3. MARCO LEGAL PARA GARANTIZAR TRANSPARENCIA ALGORTMICA
Justificado porque los recientes desarrollos del derecho internacional en materia de IA avanzan a una velocidad inusitada y con el propsito de contextualizar principios aplicables a la regulacin nacional de la transparencia algortmica necesaria para garantizar el control del actuar de la administracin pblica conforme a los lmites del Estado de Derecho. Es importante para su regulacin en Chile, observar el desarrollo de la experiencia comparada, por esto, preliminarmente se ha analizado el contexto normativo del derecho internacional.
As justificado en la teora filosfica jurdica propugnada por Floridi(44), quien defiende a las iniciativas recientes de regulacin de estndares ticos exigibles a la IA como el fin de una era de la autorregulacin, que debe avanzar hacia marcos jurdicos robustos en ingls conocidos como hard law, es decir ley dura. En el mismo orden de ideas, Maldonado-Mndez(45) cuando afirma que la autorregulacin no basta, porque si las normas son solo voluntarias, algunas compañas de tecnologa decidirn no atenerse a las reglas que no les benefician. Frente lo cual, en el contexto de los sistemas de IA resurgen debates sobre qu tipo de obligaciones de transparencia, podran garantizar adems del acceso a la informacin de los algoritmos con los que programan, la proteccin de datos y la privacidad, debido proceso, y principio de licitud de la actuacin del Estado(46).
Frente a esta diatriba, en palabras de Floridi quien defiende la idea de “Dura lex, sed lex digitalis”(47). Expresin en latn que se ha adecuados a estos efectos como: "dura lex, sed lex" en el contexto digital, segn la cual, se invoca a la estricta aplicacin de las leyes y regulaciones en el mbito digital y tecnolgico. Es decir, un marco legal para la seguridad de los entornos digitales, que a continuacin, brevemente se comparan(48).
As, por ejemplo Estados Unidos a travs de la Ley de Responsabilidad Algortmica de 2022 (Algorithmic Accountability Act)(49) y ms recientemente con la Orden Ejecutiva 14110(50) del 30 de octubre de 2023, el legislador pone el nfasis en la importancia de exigir responsabilidad y crear marcadores que adviertan a las personas que estn interactuando con un modelo de IA. Para ello, se propone exigir etiquetar los contenidos generados por IA. En el mismo tenor la iniciativa del Reino Unido a travs de la promulgacin de los Estndares de Transparencia Algortmica (Algorithmic Transparency Standard)(51), en donde se subraya la necesidad de establecer obligaciones que permitan abrir a los algoritmos al escrutinio pblico.
Ahora bien, pese a todos estos esfuerzos legislativos desde una mirada crtica y adems poco entusiasta, es importante decir que el problema regulatorio de los algoritmos reabre la vieja discusin no zanjada respecto a los sistemas de democracias cerradas y poco transparentes, tambin conocidos como la caja negra del Estado o secretismo estatal(52). De esta manera, y sin perjuicio que an existe un debate no resuelto sobre qu tipo de regulaciones podran aplicarse en una forma ms efectiva, es por lo que se justifica comparar en el mbito internacional una muestra no excluyente de directrices que han sido creadas en este mbito(53).
En efecto ha sido la jurisprudencia constitucional alemana del Tribunal Constitucional Federal (citada como TCF), donde aparecen algunas señales hacia dnde debe avanzar el tema legislativamente. En este tenor, porque la judicializacin de casos especficos, han elevado los estndares mnimos que deben considerarse a la hora de legislar esta materia. Al respecto el TCF alemn, resuelve recursos de inconstitucionalidad presentados en 2019 y declara la nulidad de dos leyes de los estados de Hesse y Hamburgo(54). Reconociendo la utilidad de estos sistemas frente a la necesidad de tratamiento de un volumen de datos en constante crecimiento y cada vez ms heterogneo en trminos de su calidad y formato. Por lo cual, difcilmente podra obtenerse manualmente, especialmente bajo la presin de tiempo con que se procesan.
De esta forma, en la sentencia justificando la utilidad legtima de este tipo de tecnologa, declara la necesidad de exigir criterios especficos, respecto a cmo se debe exigir los presupuestos de uso de sistemas automatizados de decisiones (SDA). As como, el anlisis de datos, vinculados a infracciones penales especficas. Por otra parte, tambin aclara que, si el anlisis o la evaluacin automatizados de datos permiten una invasin grave de la autodeterminacin informativa, esto slo puede justificarse bajo las estrechas condiciones que generalmente se aplican a las medidas de vigilancia, que deben ser reguladas por leyes prohibitivas especficas. Es decir, aplicar test de proporcionalidad, para determinar si la aplicacin del sistema invade bienes jurdicos particularmente importantes, ejemplo, libertad de trnsito, privacidad o riesgo a la vida de una persona, que evidencia un indicio cierto y concreto.
De esta forma, al amparo del principio de licitud y sin invadir la esfera privada desproporcionadamente, y por perodos determinados en forma irretroactiva, en la Sentencia declara el TCF alemn se justifica incorporar este tipo de sistemas en las investigaciones criminalsticas. De tal manera que, a la luz de esta sentencia, es necesario establecer criterios para determinar la mayor o menor intensidad de la injerencia en la privacidad y datos personales, as como tambin, un listado de lmites legales y garantas para permitir el tratamiento automatizado masivo de datos, e incluso prohbe algunas tcnicas de sistemas autnomos de alto riesgo de IA. Resumiendo lo antes dicho, en la doctrina reciente y sentencia analizada subyace casi un manual para el legislador nacional, del que, sin duda, habr que tomar las mejores referencias, como se explica a continuacin.
3.1. Comparacin de estndares en el mbito internacional
Antes de avanzar, habra que advertir que el anlisis que sigue se llev a cabo a travs de la siguiente estrategia metodolgica. En primer lugar, las normas fueron clasificadas en criterios de agrupacin por similitud de los estndares ticos y acorde al organismo que las crea, luego fueron agrupados en principios de transparencia algortmica. En segundo lugar, se estableci una lnea de tiempo acotada, delimitada a un mbito temporal de los cinco años recientes. Nada menor, dada la carrera vertiginosa como avanza la discusin sobre este tema y los diferentes posicionamientos de los organismos internacionales.
En efecto, slo se contrastan sentido, propsito y razn del mbito material de cada uno de los instrumentos comparados, provenientes de la Unin Europea, la Organizacin para la Cooperacin y el Desarrollo Econmicos (OCDE) y la Organizacin de las Naciones Unidas para la Educacin, la Ciencia y la Cultura (UNESCO). Por lo que el siguiente benchmarking normativo de estndares internacionales(55), en sntesis, podra ofrecer las bases de futuras iniciativas legislativas a nivel nacional.
3.1.1. En la Unin Europea (UE)
La UE ha desarrollado una serie de estndares para la IA, que se conocen como Directrices ticas para una IA fiable, asociadas a Recomendaciones de poltica e inversin. Este documento, se ha dado a conocer debido al proceso de creacin, que inici con la conformacin del Grupo Independiente de Expertos de Alto nivel sobre IA de la Comisin Europea. Derivando en dos instrumentos, el primero conocido como: Directrices ticas para una IA fiable (citados como HLEG de AI, de 2019). El segundo, conocido como el Libro Blanco sobre la IA (citado como Comisin Europea, 2020). En concreto, el desarrollo del marco establecido por la UE busca garantizar que todo sistema automatizado con IA usado en territorio europeo sea digno de confianza lo que implica que estas tecnologas cumplan con licitud, estndares ticos robustos. El que ha culminado en la reciente aprobacin de un Reglamento General como se explicar ms adelante.
En el primero de ellos, el HLGE destaca un conjunto de recomendaciones con el propsito de doblegar medidas de seguridad exigibles a los sistemas de IA, y proponen que dado el potencial de transformacin que ofrecen estas herramientas, por ejemplo, en el sector de la salud, as como, medioambiente, del mismo modo que en la economa. HLGE advierte que tambin, resultan muy eficientes en el sector privado, para identificar fraudes digitales, cumplimiento normativo, y la administracin de riesgos financieros. Por lo que, HLGE propone siete directrices como el camino que debe seguirse en el diseño de una normativa armonizada. Sucintamente, destaca en su contenido bsicamente siete principios ticos para la IA.
El primero es la transparencia, que implica que los ciudadanos deben ser informados cuando estn interactuando con un sistema de IA. El segundo es la responsabilidad, que establece que los desarrolladores de IA deben ser responsables de las decisiones que toman sus sistemas. El tercero es la privacidad, que exige que los datos personales sean protegidos. El cuarto principio es la equidad, que busca evitar la discriminacin y la exclusin en el uso de la IA. El quinto es la robustez, que implica que los sistemas de IA deben ser seguros y resistentes a los ataques cibercriminales. El sexto es la explicabilidad, que establece que los sistemas de IA deben ser comprensibles y accesibles. Es decir, que cuando se ocupan para la toma de decisiones los sistemas de este tipo, por derecho a obtener una explicacin(56), se entiende la atribucin legal que exige al implementador de entregar la informacin necesaria sobre decisiones individuales hechas por algoritmos, que vincula a su vez, aspectos de rendicin de cuentas algortmica.
El sptimo principio es la participacin humana, que implica que los ciudadanos deben tener el derecho a oponerse a las decisiones automatizadas, bsicamente porque afectan sus vidas(57). Esto se ha traducido en la prctica legislativa, en la creacin gradual de un conjunto de principios ticos adoptados por la Comisin Europea en su Estrategia de IA de 2020 y en el reciente Reglamento de IA de 2024, que se espera sean respetado por los desarrolladores.
Otro de los instrumento conocido como el Libro Blanco(58)sobre IA, establece un conjunto de principios como lo son: la autonoma y respeto de las personas, transparencia, la responsabilidad, la privacidad, la equidad y la robustez. Concretamente, estos siete principios se basan en la idea de que la IA debe ser desarrollada y utilizada de manera responsable, y por esto, deben ser diseñados para mejorar la vida de las personas.
En otras palabras, sin perjuicio que no proporciona una definicin precisa de qu es la explicabilidad algortmica o explicabilidad de la IA (XAI), s hace referencia a la necesidad de que los procesos proporcionen informacin respecto a las decisiones y que stas sean bien comunicadas, as como ciertas acciones procesales para defender a los afectados, cuando no se proporcionan las explicaciones necesarias(59).
Finalmente, se destaca de este tipo de instrumento que en su contenido deja claro que IA no es un fin en s mismo, sino una herramienta que tiene que servir a las personas con el objetivo final de mejorar el bienestar humano. Para apoyar a este objetivo, la Comisin y el Parlamento de la UE propuso la asignacin presupuestaria de1.000 millones de euros al año en financiacin, dirigidos a los programas Horizon Europe y Digital Europe para invertir en IA(60), ejecutables, en el marco del prximo perodo 2021-2027.
3.1.2. Consejo sobre Inteligencia Artificial de la OCDE
La Recomendacin OCDE(61) fue creada por el Consejo sobre IA, y publicada el 21 de mayo de 2019. En ella el Consejo establece cinco principios ticos que deben ser considerados para el desarrollo y uso de la IA. Es suma, para los efectos de los pases que adoptaron esta recomendacin, por medio del respeto de la privacidad y la proteccin de datos personales, la IA debe ser responsable y transparente. En ese sentido, se exhorta:
Principio I. La IA debe estar al servicio de las personas y del planeta. Con esto se busca, que la IA se debe al crecimiento inclusivo, el desarrollo sostenible y el bienestar global.
Principio II. Respecto Del Estado De Derecho y derechos humanos. De tal forma que estos sistemas deben diseñarse al Estado de derecho, respeto de los derechos humanos, valores democrticos y la diversidad. Incorporando salvaguardas adecuadas, es decir, mecanismos efectivos que garanticen supervisin y la intervencin humana cuando sea necesario, con miras a garantizar una sociedad justa y equitativa.
Principio III. Transparencia y Explicabilidad. Es decir, deben proporcionar informacin que d cuenta de cmo funciona, a fin de garantizar que las personas sepan cundo estn interactuando con ellos y puedan oponerse a los resultados de esa interaccin.
Principio IV. Seguridad y proteccin de riesgos. Es decir, funcionar de manera confiable y segura, creando mecanismos efectivos de prevencin de los potenciales riesgos, y sistemas de evaluacin de impacto. Que tendrn que gestionarse durante todo el ciclo de vida.
Principio V. Responsabilidad: Las organizaciones que los ocupen y las personas que desarrollen, desplieguen o gestionen sistemas de IA debern responder de su correcto funcionamiento en consonancia con los principios precedentes.
En resumen, el Consejo de IA de OCDE propone como una mxima del derecho, el fomento de la confianza pblica en la IA. Lo que conlleva entre otros aspectos que los desarrolladores y usuarios de la IA, deban garantizar el diseño de este tipo de tecnologas para fomentar el bienestar humano, en forma justa, transparente y explicable, del mismo modo, que debe con todas las medidas de seguridad y mecanismos de mitigacin de daños que podran ocasionar.
3.1.3. Unesco
La recomendacin UNESCO(62), sobre la tica de la IA es un instrumento que busca establecer principios generales para el desarrollo y uso de estos sistemas. Fue aprobada en la Conferencia General 41ª celebrada a finales de año 2021 y se enfoca en promover la transparencia, la responsabilidad, la inclusin y la privacidad en el desarrollo y uso de la IA. Este instrumento establece dentro su objetivo principal proporcionar un marco universal de valores, principios y acciones para orientar a los Estados en la formulacin de sus leyes, polticas u otros instrumentos relativos a la IA.
De esta manera UNESCO promueve diez principios generales para regular a los sistemas de IA. Estos, se enfocan principalmente en la transparencia como un pilar fundamental de la regulacin de la IA. Es decir, priorizar el acceso a la informacin y la explicabilidad, a fin de garantizar que las personas sepan cundo estn interactuando con ellos y puedan oponerse a los resultados de esa interaccin.
Por otra parte, hace nfasis en la responsabilidad de su correcto funcionamiento, porque estos sistemas adems de ser capaces de procesar datos, tienen la capacidad de relacionarse con las personas, de una manera que se asemeja a un comportamiento inteligente. De esta forma, la UNESCO, recuerda a los Estados Miembros, la importancia de crear marcos jurdicos robustos y agencias reguladoras de los sistemas de IA, aplicables tanto a los sectores pblico y privado.
Para concretar tan ambicioso mbito normativo, el llamado de la UNESCO se basa en diez principios bsicos, entre los que se combina proporcionalidad e inocuidad, seguridad y proteccin, equidad y no discriminacin, sostenibilidad, derecho a la intimidad y proteccin de datos, supervisin y decisin humana, transparencia y explicabilidad, responsabilidad y rendicin de cuentas, sensibilizacin y educacin, gobernanza y colaboracin adaptativas y de mltiples partes interesadas.
Concretamente, se contemplan aspectos de los principios garantes para: i) Armonizar estndares de proteccin de datos; ii) Proveer algoritmos centrados en el ser humano y supervisados; iii) Garantizar transparencia y explicabilidad; iv) Asegurar el entorno digital y, v) Responsabilizar exigiendo rendicin de cuentas de todos los sujetos involucrado(63). Dejando ver que el acceso a la informacin del funcionamiento de los algoritmos con los que programa IA, la proteccin de datos y la privacidad, son apenas un primer nivel de las obligaciones de transparencia objetiva requerida para que la actuacin del Estado sea automatizada responsablemente.
En resumen, haciendo un balance de los instrumentos analizados comparativamente, estos sistemas guardan relacin innegable con uno de los principios indispensables para garantizar la apertura del sector pblico. Es decir, publicar informacin de la sala de mquinas del Estado para evitar consecuencias negativas del uso malicioso que ellos conllevan. De esta forma, en el consenso global, se observan señales de advertencia claras, respecto al enfoque centrado en el respeto de los derechos fundamentales de los administrados, dada su relacin intrnseca con la democracia constitucional garantista(64).
4. PRINCIPIOS GARANTES TRANSPARENCIA ALGORTMICA EN LA ADMINISTRACIN DEL ESTADO
En bsqueda de la armonizacin jurdica necesaria para la implementacin de IA en la administracin pblica chilena de manera responsable, se proponen cinco principios garantes de la transparencia requerida ante el vaco persistente en el derecho nacional(65). Que por añadidura, podran evitar una nueva huida del principio de legalidad que rige la actuacin del Estado, en el siguiente orden: (i) Principio de tica y proteccin de datos de la IA, (ii) Principio para la aplicacin de la IA centrada en el ser humano, (iii) Principio de transparencia y explicabilidad de las aplicaciones de la IA, (iv) Principio de seguridad y reutilizacin de datos por la IA, y (v) Principios de responsabilidad y rendicin de cuentas de los diseñadores y ejecutores de la IA.
Por lo tanto se postula que, dada la velocidad de los desarrollos de la tecnologa de IA(66), es prioritario que la regulacin nacional acoja el llamado de grupos de expertos, organismos de cooperacin y tambin la tendencia jurisprudencial internacional respecto de la base esencial para limitar por ley el tipo y el alcance de los mtodos de tratamiento automatizado por sistemas de IA, ya que, como se ha señalado en el apartado anterior, el consenso mundial es que esta materia avanza rpidamente. En consecuencia, a priori, se podra pensar en principios generales de transparencia algortmica como los requerimientos mnimos requeridos para que la IA sea responsable, transparente y rinda cuentas(67). En efecto, acorde con este argumento es necesario exigir a los responsables: 1) explicar cmo y cundo funcionan; 2) qu problemas resuelven y cmo se benefician a las personas; 3) tipo de modelos, dominio y funciones que desempeñan; y 4) cmo deben implementarse para no afectar derechos de los titulares de datos, as como, 5) medidas para mitigar impacto no deseados. En este escenario, se justifica para que no se produzca una nueva huida del derecho, por vicios de ilegalidad(68).
En otras palabras, y sin perjuicio que las obligaciones legales concretas de transparencia algortmica, en el Proyecto de Ley de Proteccin de Datos tambin tiene mucho que aportar para esta decisin, pero ya fueron abordados en otro anlisis previamente. Resumiendo, para avanzar hacia una mejor regulacin nacional teniendo presente recomendaciones y directrices del consenso global, se postula que para suplir la insuficiencia normativa imperante(69), es necesario elevar las exigencias de transparencia aplicables para contribuir a generar confianza e impulsar la inversin en este tipo de desarrollos tecnolgicos. Por esto, a continuacin, se contrasta el proyecto de ley de IA en Chile, Boletn 16.821-19 de 2024, con la transparencia algortmica requerida para su incorporacin en el accionar del Estado.
4.1 Transparencia algortmica del Estado en el estatuto administrativo en Chile
Sin perjuicio que el año pasado se public una circular que establece directrices para el uso responsable de la IA en el sector pblico chileno, conocida como “Lineamientos para el uso de herramientas de IA en el sector pblico” (70) que entr en vigor el 2 de enero de este año. Este instrumento, del Ministerio de Ciencia y la Divisin de Gobierno Digital del Ministerio Secretara General de la Presidencia, no es fuente de creacin de derechos ni obligaciones, y contradice un principio fundamental del Estado de Derecho, que exige el deber de los rganos de la Administracin del Estado, de someter su actuar a la Constitucin y a las leyes(71) . Por lo que carece de la base de licitud necesaria para exigir obligaciones de transparencia aplicable a los algoritmos pblicos. Por otra parte, la propuesta que apoya este anlisis, es que esta atribucin legal recae en la facultad legislativa del Consejo para la Transparencia (CPLT) establecida en el artculo 33, Ley 20.285, letra c) d) y e)(72).
De tal manera, que la posicin que apoya este anlisis es que la Circular de Min Ciencia, proporciona pautas generales, pero no constituye fuente de Derecho para los rganos de la administracin del Estado, quienes se deben al marco regulatorio necesario para la aplicacin de esta tecnologa. No obstante, sin desconocer, que corresponde al Congreso legislar sobre esta materia a continuacin, se describen los principios de la transparencia requerida ante el vaco persistente en el derecho nacional.
i). tica y proteccin de datos;
Especialmente porque estos sistemas son capaces de leer y procesar grandes cantidades de datos, se recomienda incorporar instrucciones generales, reglamentos o normas tcnicas para el intercambio de grandes conjuntos de datos, en formatos abiertos y estndares de reutilizacin de datos, que puedan potenciar adems de la innovacin, la creacin de soluciones de alto valor pblico, pero con seguridad y responsabilidad(73).
Por otra parte, como lo explica Ortz de Zarate(74) es probablemente uno de los aspectos ms complejos de garantizar, e involucra, exigir a los responsables de la aplicacin de esta tecnologa, adems del modelo de procesamiento de datos, la poltica y las medidas de seguridad adoptadas para salvaguardar que las bases de datos personales que administra no sean desviados a un propsito distinto, o se desvan sin el consentimiento de sus titulares.. Del mismo modo que los canales para hacer valer el derecho que le asiste al titular para solicitar ante el responsable, acceso, rectificacin, cancelacin, oposicin y portabilidad de sus datos personales, y tambin el derecho que le asiste al titular de recurrir ante los organismos competentes.
En sntesis, redoblar la transparencia, para el buen gobierno y el gobierno abierto, pilares de una democracia de calidad(75). Esto significa que en Chile la regulacin de la transferencia y reutilizacin de datos debe ser resuelto antes de ponderar el equilibrio entre la privacidad de los datos (Ley 19.628), obligaciones de ciberseguridad (Ley Nº 21.663) y proteccin de datos personales (Boletines 11.092-07 y 11.144-07). Adems de las normas conexas de la Ley 20.285, artculo 33 letra m), que atribuyen competencia al CPLT(76) en esta materia. Por lo tanto, parece oportuno, y quizs brevemente, delimitar conceptualmente los principios bsicos que definen dichas ideas y cmo deberan estar presentes en nuestra sociedad.
Sobre todo, porque la discusin en el Congreso y aprobacin de la normativa bsica y necesaria para la proteccin de datos y su reutilizacin ha sido postergada inexplicablemente por ms de diez años. Dejando pendiente la paradoja regulatoria entre privacidad y reutilizacin de datos para entrenar a los algoritmos del sector pblico(77). Mientras tanto, la Ley 21.663 tiene una vacancia, sujeta al dictado de uno o ms decretos con fuerza de ley que la determinen, cobra doblemente importancia estudiar la corriente que ha tomado esta discusin, a la luz de los principios internacionales.
En relacin con este debate, es notable ver cmo los cinco principios que siguen recogen el trasfondo internacional de una cuestin que lleva años debatindose en el desarrollo de un marco tico y jurdico comn(78), de modo que todos los sistemas de IA cumplan ciertas normas ticas y jurdicas, y que se respeten y protejan los derechos y libertades de los ciudadanos.
ii). Algoritmos centrados en el ser humano
Desde esta perspectiva, dado que el propsito de un algoritmo siempre tiene que estar centrado en el respeto del Estado de derecho, conforme a los valores democrticos garantistas, as como el respeto de los derechos humanos fundamentales. Es necesario aplicar medidas, para contrarrestar propsitos maliciosos. Acorde con este postulado los algoritmos deben siempre requerir de la supervisin humana y ser auditables por la autoridad competente. Para ello el jurista Gabriele Vestri(79) recomienda, exigir proporcionar informes que faciliten el escrutinio interno. Entendido como la realizacin de evaluaciones de impacto algortmico (EIA) con metodologas que permiten anticipar los riesgos asociados a las decisiones algortmicas, en funcin del riesgo asignado.
Acorde a Pere Simn-Castellanos(80), porque es crucial garantizar que estos sistemas se desarrollen y utilicen como herramientas que sirvan a las personas, respeten su dignidad y permitan realizar correcciones antes de que se produzcan efectos negativos. En efecto, tienen un rol indispensable para garantizar adecuadamente la supervisin de algoritmos por humanos. De forma anloga se incorpor en el Reglamento de IA de la UE de 2024, especficamente en el considerando 58 bis, para tecnologas clasificadas de alto riesgo, que adems, deben ser publicadas en repositorios de acceso abierto.
En otras palabras, al igual como lo afirma Mantelero(81), dada la necesidad de proporcionar adems de las explicaciones de algo tan complejo con un sistema de IA programado con algoritmos, equiparables armas letales autnomas (en ingls acrstico: LAWs), para regularlos no es suficiente la proteccin de datos por s mismo, y recomienda que para hacer frente a los desafos de la IA, un enfoque integrado de la evaluacin de riesgos que se centra en los derechos humanos y abarca valores sociales y ticos contextuales.
En consecuencia, estos sistemas requieren de una regulacin especfica, que exija rendicin de cuentas a los implementadores, en virtud de los riesgos y amenazas que representan. Por ejemplo, cuando se producen vulneraciones o discriminaciones, mal funcionamiento y/o error. Es indispensable, exigir mecanismos de reparacin del daño causado, cuando se amerite.
iii). Transparencia y explicabilidad de los algoritmos
Como quiera que se mire, el principio de transparencia algortmica es considerado una pieza fundamental en la normativa referida a esta materia. En efecto, est presente en la mayora de los instrumentos y recomendaciones sobre IA. De la misma forma como se demostr en este anlisis, que evidenci la presencia de este principio en cada uno de ellos, aunque con precisiones diferenciadas.
Por lo que, el principio de transparencia algortmica que se postula es aquel que, contempla un conjunto de obligaciones con el propsito de abrir la caja negra(82), smil con la que se compara a los algoritmos. Para ello, se requiere adems de especificar el tipo de datos con los que se entrenan, un conjunto de deberes del responsable, comprendidas algunas de ellas, por capas diferenciadas.
Siendo la primera de ellas, mantener permanentemente a disposicin del pblico, en su sitio web o en cualquier otro medio de informacin equivalente, el nombre, modelo y la lgica de funcionamiento del algoritmo, as como, consecuencias de su implementacin. La segunda de ellas, exige aplicar mecanismos de oposicin, garantes del derecho a no ser objeto de una decisin automatizada con esta tecnologa, porque obligaciones de transparencia algortmica garantizan el derecho de acceso a la informacin de los algoritmos utilizados en la administracin del Estado(83). Es decir, la explicabilidad algortmica(84), concepto que an no ha sido aceptado pacficamente como en la doctrina.
As, lo explica Cotino-Hueso(85), cuando especifica que la transparencia requerida es aquella que obliga la publicacin de informacin referida a procesos que permitan entender el algoritmo (escrutinio externo), y comprobar el buen funcionamiento de estos sistemas (escrutinio interno). Frente a lo cual, Vestri(86) categoriza como un tipo de transparencia general que involucra explicar y dar a conocer a las personas cuando se est interactuando con sistemas de este tipo, y otra transparencia especfica o tcnica, garante de proporcionar a las autoridades expertas en el tema, la informacin sobre su funcionamiento.
iv). Seguridad y proteccin para los datos que alimentan a los algoritmos
Para garantizar datos de calidad para el entrenamiento de los sistemas de IA, entendido como el oxgeno que da impulso a los algoritmos. Esto significa, en el marco de la nueva economa basada en datos, la columna vertebral del sistema, dado las oportunidades que estas tecnologas permiten al recolectar, almacenar y procesar datos de forma automtica. En este contexto, los datos son considerados el combustible de la economa del siglo XXI(87).
Por lo que se postula que a nivel pas como ya se dijo, el intercambio de datos y su reutilizacin en diferentes contextos, como el de los sistemas de IA de la administracin estatal, amerita apresurar exigencias de la seguridad de los datos(88) especialmente, aplicable a los procesos de automatizacin de la funcin del Estado(89).
Una forma de abordar este requerimiento, podra provenir de la iniciativa a nivel pas del MCTI trazada a propsito de la Declaracin de la UNESCO del año 2021 en donde se reconoce de acceso abierto al conocimiento creado por medio de prcticas de ciencia abierta(90). En forma similar, lo recomienda el HLEG en el Libro Blanco de la Comisin UE de 2020, por la necesidad de avanzar en un estndar de reutilizacin de datos asimilables al rgimen de bienes comunes digitales, y no excluibles(91). En efecto en lo referido a prcticas de reutilizacin de datos de inters pblico para tomar mejores decisiones, basadas en conocimiento cientfico, ya existen soluciones provistas por modelos de ecosistemas de datos abiertos(92). Tambin conocidos como estndar FAIR data(93), es decir, formatos que hacen fciles de encontrar (F), accesibles (A), interoperables (I) y reutilizables (R) los datos.
En este aspecto, para un uso de los datos recomienda el HLGE stos deberan ser lo ms interoperables posible, especialmente al acordar el uso de formatos de datos abiertos, FAIR, legibles por mquina, estandarizados y documentados, tanto en la interaccin entre los sectores pblico y privado como dentro de todos los sectores(94). Porque, en la prctica podra traducirse en mejor acceso a informacin a travs de portales para asegurar reutilizacin, participacin, colaboracin y rendicin de cuentas, en paralelo con los principios del gobierno abierto(95). En efecto, se sugiere que esta sera la puerta de entrada ms expedita para avanzar hacia la confianza de la IA, al menos al interior de la administracin del Estado.
v). Responsabilidad y rendicin de cuentas de los algoritmos
Considerando los grandes riesgos derivados de ciertos modelos de IA, es necesario identificar proporcionalmente la responsabilizacin y rendicin de cuentas de los sujetos obligados. Sobre todo, porque entregarn certezas a los sujetos jurdicos obligados, resultando favorables para impulsar una IA transparente y responsable(96).
Por tanto, es ineludible la individualizacin del implementador, el responsable de datos y su representante legal, as como del encargado de prevencin, proporcionando informacin tan especfica como domicilio postal, la direccin de correo electrnico, y un mecanismo de contacto o la identificacin del medio tecnolgico equivalente mediante el cual se le notifican las solicitudes que realicen las personas afectadas(97).
4.2. Desafos de la transparencia exigible a los algoritmos del Estado en el proyecto de Ley de IA chileno
Teniendo presente la creciente demanda mundialmente aceptable acerca de los principios exigibles para un uso tico de la IA, en esta parte se abordan los desafos especficos del contexto chileno, para promover una mayor transparencia y confianza en la tecnologa provista por IA al interior del Estado. Al respecto, se procede a verificar si la regulacin nacional integra las recomendaciones del derecho internacional para dar fin a la autorregulacin.
De tal manera, porque cuando se recurre a positivismos reforzados de principios generales se corre el riesgo y las advertencias de Ronald Dworkin(98), quien afirma que dada las caractersticas teleolgicas de los principios jurdicos, estas iniciativas se justifican, para buscar establecer enunciados rectores de una amalgama de aspectos, para su heterointegracin(99). Es decir, conjunto de enunciados entendidos como principios de optimizacin que buscan ir ms all del derecho positivo para aportar soluciones a un problema de vaco legal o normas incompletas.
De forma similar lo explica la doctrina reciente propuesta por Mantelero(100), quien destacando el rol sobresaliente del principio de transparencia, presente en la mayor parte de instrumentos normativos comparados, afirma que para incrementar la confianza en la IA, es necesario, adems de integrar el marco regulatorio de tratamiento de los datos, exigir ms responsabilidad por medio de medidas de auditora, control y mitigacin de daños.
Siguiendo con este argumento, las obligaciones garantes de la transparencia aplicable a los algoritmos tienen carencias importantes, comenzando por la tcnica legislativa misma, cuando en el texto jurdico, no se hace cargo del llamado global respecto a elevar exigencia de la transparencia requerida. As, comenzando, porque el objeto de regulacin recae sobre los sistemas de IA de uso general, no distingue de aquello especficos o los que incorpora la administracin del Estado. Es decir, cuando en el proyecto se delimita su objetivo y propsito en garantizar que los sistemas de IA respeten los derechos fundamentales y promuevan el bienestar social y econmico, confunde la naturaleza moral de los agentes de IA. Por esto, el texto legal, pese que busca un equilibrio entre el desarrollo tecnolgico y la proteccin de los ciudadanos. En su diseño, y alcance, la ley chilena parece confundir los sujetos responsables del objeto de la ley, inclinndose principalmente al mbito privado, y se aleja de las garantas exigibles a los sistemas de IA utilizados en la funcin pblica. Es decir, aquellos que se ocupan en la administracin del Estado.
Por otra parte, en su contenido constituido por 31 artculos y 3 normas transitorios, no recoge en los 9 ttulos, una seccin especficamente referida a los organismos de la administracin del Estado. Otro aspecto que llama la atencin es que, aunque contiene normas sustantivas, respecto al tipo de sistemas de IA permitidos y prohibidos, as como tambin, normas de carcter orgnicas, porque crea una institucionalidad para la fiscalizacin y control de las obligaciones establecidas en la ley. No obstante, delega en la Agencia de Proteccin de Datos Personales, fiscalizacin y determinacin de infracciones, y a la creacin de un Consejo Asesor Tcnico de IA, proponer al ministro de ciencia, modificaciones, instrucciones y adems del registro del listado de sistemas de riesgo, asesoramiento en cumplimiento de reglas, el desarrollo de espacios controlados de prueba.
Desde esta perspectiva, el cuerpo normativo deriva su fiscalizacin y aplicacin de barca normas sancionatorias, contempladas en un conjunto de infracciones que, clasificadas gradualmente, contemplan como; gravsimas infracciones que ameritan multa de hasta 20.000 UTM, grave multa hasta 10.000 UTM; y leve multa hasta 5.000 UTM.
En tanto que, en las disposiciones finales, contempla adems de las normas transitorias respecto a su entrada en vigor, señala en las disposiciones finales la necesidad de reformas de otros cuerpos legales, sin mencionar la atribucin del CPLT en este tema. Sin embargo, s contempla un cambio significativo en torno a modificaciones a la Ley de Propiedad Intelectual, respecto a la flexibilidad de reutilizar datos sin fines comerciales. Adems, en el texto se establece una vacatio legis, posponiendo su entrada en vigor a un año desde la publicacin en el Diario Oficial.
Resumiendo, la iniciativa de ley de IA en Chile, identificada como Boletn N° 16.821-19, fue presentada en el Congreso el 8 de mayo de 2024, bajo el nombre: “Proyecto de ley que regula Los Sistemas De Inteligencia Artificial”, inspirada en el Reglamento del Parlamento Europeo y del Consejo (Ley de Inteligencia Artificial) COM/2021/206, eso queda claro. Sin embargo, no se puede asegurar que este sea el texto final resultante de las discusiones en el parlamento, dado que recin comienza su proceso legislativo, y como se demostrar a continuacin, falta mucho para alcanzar una primera armonizacin normativa, por lo general, escueto y precario de su contenido, como se explica a continuacin.
Al contrastar el proyecto de ley nacional con las iniciativas a nivel del derecho internacional, enfocado en los cinco principios rectores propuestos en la seccin anterior, en concreto se observa que el proyecto chileno de regulacin de IA adiciona, elementos como el principio de no discriminacin. En tanto que cuando se compara con el Reglamento UE, es muy precario respecto a los principios de transparencia, responsabilidad, rendicin de cuentas y seguridad. As, en concreto, el Proyecto de ley chileno respecto al principio de tica y proteccin de datos, en el Artculo 8, establece que la gobernanza de datos, calidad acceso y proteccin de los datos utilizados debe ser conforme a las normas especiales de proteccin de datos contempladas en la ley N° 21.719(101), cuya vacancia legal vecen el 1 de diciembre de 2026.
Por otra parte, respecto al principio que dice relacin con que deben ser centrados en el ser humano, el proyecto de ley chileno en el artculo 1, promueve la creacin de sistemas de IA al servicio del ser humano y respetuosos de los derechos fundamentales, pero no contempla nada o muy poco respecto a la necesidad de supervisin humana de sus aplicaciones, porque lo delega a la Agencia de Proteccin de Datos y otros organismos competentes esta materia.
Respecto a las obligaciones de transparencia y explicabilidad, el proyecto de ley chileno en los artculos 11 y 12, establece que los sistemas de IA deben proveer condiciones transparentes y que las personas sean informadas claramente de que estn interactuando con una mquina. Pero es la ley de proteccin de datos, que se discute en el proyecto de ley nacional de proteccin de datos personales en el artculo 14 ter(102), la que contempla como obligacin el deber de informacin y acceso a la transparencia exigibles al responsable de datos, lo que involucra el deber de mantener permanentemente a disposicin del pblico, en su sitio web o en cualquier otro medio, la informacin necesaria(103). Por lo que no queda claro el ejercicio concurrente de estas obligaciones de transparencia de informacin.
En torno a la seguridad y proteccin de datos, el proyecto de ley chileno, artculo 8, incluye mecanismos de seguridad desde el diseño, ciberseguridad y previsin, lo que a su vez, depende la Ley de Ciberseguridad, que a pesar que fue publicada en 8 de abril de este año, an no entra en vigor(104). Y finalmente, en cuanto a la Responsabilidad y rendicin de cuentas, el Proyecto de ley chileno, artculo 27, que regula el procedimiento administrativo sancionador y la responsabilidad de los operadores de sistemas de IA, deja claro que las obligaciones recaen en el oferente de este tipo de tecnologas, que en el caso de la administracin corresponde a funcionarios con mayor jerarqua del servicio.
Sucintamente, haciendo un balance general, aunque los cinco principios parecen estar integrados en forma limitada en diversas partes del proyecto de ley chileno, tambin se hace presente una serie de obstculos prcticos para la eficacia normativa y arriesga por su precariedad su puesta en prctica. Esto se debe a que dependen del desarrollo de medidas establecidas en otros marcos normativos. Adems, la nueva institucionalidad responsable de la Agencia de proteccin de datos (Ley 21.719), concurrente con el Consejo para la Transparencia y (Ley 20.285). Todo lo cual, demanda de una coordinacin entre diferentes organismos competentes con desigual adscripcin.
5. CONCLUSIONES
Este anlisis demuestra que la sola existencia de una ley para regular la inteligencia artificial no es suficiente para garantizar la transparencia y la rendicin de cuentas de estos sistemas, especialmente aquellos que se ocupan en la administracin del Estado. Si bien el actual proyecto legislativo en Chile introduce principios relevantes, prohibiciones y sanciones su diseño normativo no incorpora plenamente los cinco principios indispensables para asegurar una IA responsable en el sector pblico. En particular, persisten vacos en cuanto a la explicabilidad de los algoritmos, la supervisin efectiva y los mecanismos de control que permitan corregir posibles sesgos o decisiones arbitrarias. Como han señalado diversas corrientes doctrinales, derivado de la opacidad epistmica de estos sistemas, su aplicacin plantea riesgos significativos cuando las decisiones se fundamentan en meras probabilidades, sin cumplir los estndares exigibles a la actuacin estatal en un sistema democrtico
Este anlisis concluye que debido al ritmo acelerado con que los Estados y Organizaciones de Cooperacin Internacional estn desarrollando nuevas regulaciones, el modelo de regulacin de la IA concentrado de la legislacin austral, podra ser insuficiente o en otro extremo, fomentar la autorregulacin desconcentrada en cada uno del agentes, dada la superposicin de orgnicas, propiciando mayor inseguridad jurdica, vacos normativos y conceptos jurdicos indeterminados, que añaden obstculos al pleno aprovechamiento de estas tecnologas.
Por tanto, la propuesta de cinco principios rectores de transparencia algortmica aplicados a los sistemas de IA podra ser una contribucin significativa, e invita a la incorporacin de la IA en la accin estatal, pero con seguridad jurdica. Estos principios se persiguen: garantizar la tica y la proteccin de datos, la centralidad del ser humano en la aplicacin de la IA, la transparencia y explicabilidad de las decisiones automatizadas, la seguridad y la reutilizacin responsable de los datos, as como la rendicin de cuentas tanto por los diseñadores como por los responsables de la IA. En concreto, esta propuesta doctrinal contribuye con el tema no resuelto en materia de transparencia algortmica, y no parte desde cero, porque recoge integralmente, la propuesta del grupo de expertos de la Unin Europea (HLGE), recomendaciones de organismos internacionales para la cooperacin y el desarrollo, como UNESCO y OCDE, as como las regulaciones de los pases pioneros.
Sin embargo, al contrastar estos principios con el proyecto de ley chileno sobre IA, se observan importantes carencias en trminos de enfoque y mecanismos de aplicacin, lo que podra afectar su eficacia. Particularmente preocupante de acuerdo al borrador del proyecto de ley analizado, es la necesidad de coordinacin con otros organismos sectoriales con competencias concurrentes, entre el Consejo para la Transparencia (CPLT), y la Agencia de Proteccin de Datos Personales. Lo que supone una superposicin de competencias que deben ser ejercidas con un alto grado de interoperabilidad y cooperacin, para evitar contradicciones en las directrices y atribuciones.
En definitiva, se han puesto de manifiesto las limitaciones del proyecto de ley de IA chileno en cuanto a la transparencia algortmica exigida a los sistemas utilizados por la Administracin del Estado, y se concluye que una regulacin aislada es insuficiente en esta materia, ya que no slo debilita la rendicin de cuentas y el control democrtico, sino que puede generar efectos negativos para la administracin pblica, los desarrolladores, los usuarios y los ciudadanos cuyos derechos fundamentales pueden verse afectados por el uso de la IA. Este problema, ampliamente señalado en la literatura especializada, representa uno de los mayores desafos para la gobernabilidad democrtica con la incorporacin de la IA, ya que la desconfianza en la funcin pblica puede acentuarse si no se establecen mecanismos efectivos de supervisin y control. Por ello, se recomienda no concentrar en una sola ley todos los elementos en cuestin, pues no ser suficiente para asegurar la aplicacin responsable de estas tecnologas. Se recomienda un enfoque heterointegrador, que combine regulacin, supervisin independiente y normas claras de transparencia y explicabilidad del uso rutinario de algoritmos, con especial inters para la comunidad de sistemas de aprendizaje automtico.
6. BIBLIOGRAFA
ALEXY, ROBERT. (1993). Teora de los derechos fundamentales. Centro de Estudios Constitucionales.
BALLESTEROS, ANDREA. (2012). Transparency in triads. Polar, Political and anthropological Review, 35(2), 160-166.
BAYKURT, BURCU. (2022). Rendicin de cuentas algortmica en ciudades de EE. UU.: transparencia, impacto y economa poltica. Big Data y Sociedad, 9(2). ENLACE
BOBBIO, NORBERTO. (1989). Estado, Gobierno y Sociedad: Por una Teora General de la Poltica. Fondo de Cultura Econmica.
BOBBIO, NORBERTO. (2014). Democracia y Secreto. Fondo de Cultura Econmica.
BOIX PALOP, ANDRS. (2020). Los algoritmos son reglamentos: la necesidad de extender las garantas propias de las normas reglamentarias a los programas empleados por la administracin para la adopcin de decisiones. Revista de Derecho Pblico: Teora y Mtodo, 1, p. 223-260. ENLACE
BORGES-BLZQUEZ, RAQUEL. (2020). El sesgo de la mquina en la toma de decisiones en el proceso penal. Ius Et Scientia, 6(2), 54 - 71.
BUCHARD PARRA, ANNA, I VALLE ESCOLANO, RAQUEL. (2024). Dossier sobre els 10 anys de la Llei 19/2014. Revista Catalana de Dret Pblic, 69, 257-282. ENLACE
BRUCE, PETER Y FLEMING, GEOFRY. (2021). Responsible Data Science: Transparency and Fairness in Algorithms. John Wiley & Sons Edit.
BURRELL, JENNA (2016). How the machine ‘‘thinks’’: Understanding opacity in machine learning algorithms. Big Data & Society, 3(1), 1-15. ENLACE
CASTELLANOS-BALLESTEROS, INMACULADA J. (2023). Decisiones automatizadas y transparencia administrativa: nuevos retos para los derechos fundamentales, Revista Española de la Transparencia,16, 191-215. ENLACE
COBBE, JENNIFER; SENG, AH LEE Y SINGH, JATINDER. (2021, 1-10 de Marzo). Reviewable Automated Decision-Making: A Framework for Accountable Algorithmic Systems [Ponencia]. In ACM Conference on Fairness, Accountability, and Transparency (FAccT ‘21), Canada. ENLACE
CODDOU MC MANUS, ALBERTO Y SMART LARRAN, SEBASTIN. (2021). La transparencia y la no discriminacin en el Estado de bienestar digital. Revista Chilena de Derecho y Tecnologa, 10(2), 301 - 332.
CONTRERAS, PABLO; TRIGO, PABLO Y ORTIZ, LEONARDO. (2022). Un sistema fragmentado: La proteccin sectorial de los datos personales en Chile, Revista de Derecho Administrativo Econmico, 35, p. 36-64. ENLACE
COTINO-HUESO, LORENZO. (2021). Hacia La Transparencia 4.0: El Uso De La Inteligencia Artificial Y Big Data Para La Lucha Contra El Fraude Y La Corrupcin Y Las (Muchas) Exigencias Constitucionales. En Carles Rami (coord.), Repensando la Administracin pblica, 1. Administracin digital e innovacin pblica - Instituto Nacional de Administracin de Madrid, España.
COTINO-HUESO, LORENZO. (2023a). Una Regulacin Legal Y De Calidad Para Los Anlisis Automatizados De Datos O Con Inteligencia Artificial. Los Altos Estndares Que Exigen El Tribunal Constitucional Alemn Y Otros Tribunales, Que No Se Cumplen Ni De Lejos En España. Revista General de Derecho Administrativo, 63, 1-22.
COTINO-HUESO, LORENZO. (2023b). Qu concreta transparencia e informacin de algoritmos e inteligencia artificial es la debida. Revista Española de la Transparencia, 16, 17-63. ENLACE
CRESWELL, JHON. (2009). Investigacin Cualitativa y Diseño Investigativo Seleccin entre cinco tradiciones. SAGE Publications.
CRIADO, JUAN IGNACIO; VALERO, JULIN Y VILLODRE, JULIN. (2020). Algorithmic transparency and bureaucratic discretion: The case of SALER early warning system. Information Polity, 25(4), 449-470.
DWORKIN, RONALD. (1989). Los derechos en serio (2.a ed.). Ariel Editores.
FINOL-ROMERO, LORAYNE. (2022). Positivizacin de la transparencia a travs de la teora de la doble dimensin de derechos: una visin comparada, Revista General de Derecho Administrativo, 59, 1-33.
FINOL-ROMERO, LORAYNE. (2023a). Paradoja Datos Abiertos-Privacidad Como Prembulo De La Poltica De Acceso Abierto Impulsada Desde Universidades. Gobierno Y Administracin Pblica, 5(5), 40 -64. ENLACE
FINOL-ROMERO, LORAYNE. (2023b). Derecho a la transparencia: ¿Es suficiente una ley?. Editorial Tirant Lo Blanch.
FLORIDI, LUCIANO. (2021a). La legislacin europea sobre IA: un breve anlisis de su enfoque filosfico. Filosofa, 34, 215–222. ENLACE
FLORIDI, LUCIANO. (2021b). El Fin de una Era: de la Autorregulacin a la Ley Dura para la Industria Digital. Filosofa Tecnologa, 34, 619–622
FOUCAULT, MICHEL. (2002). Vigilar y castigar: nacimiento de la prisin. Siglo XXI Editores Argentina.
GARRIDO, ROMINA & COTORAS, DUSAN. (2023, 10 de abril). Informe Pilotaje de la Elaboracin de la Instruccin General sobre Transparencia Algortmica Santiago de Chile. GobLab UAI / BID Lab.
GRIMMELIKHUIJSEN, STEPHEN. (2022). Explaining why the computer says no: Algorithmic transparency affects the perceived trustworthiness of automated decision‐making. Public Administration Review, 83(2), 241–262.
GOODMAN, BRYCE Y FLAXMAN, SETH (2017). European Union Regulations on Algorithmic Decision Making and a “Right to Explanation”. AI Magazine, 38 (3), 50-57 ENLACE
HAN, BYUNG-CHUL (2022). Infocracy: Digitization and the crisis of democracy (D. Steuer, Trans.). Polity Press.
IBM. AI FAIRNESS 360. (2024, 24 de julio). Trusted AI.
JARA-FUENZALIDA, NATALIA. (2021). El Derecho de propiedad sobre los datos. Revista Chilena de Derecho Privado, 101-142.
KAMINSKI, MARGOT. (2019). The Right to Explanation, Explained. Berkeley Technology Law Journal, 134, 189-218. ENLACE
LLAMAS COVARRUBIAS, JERSAIN; Mendoza Enrquez, Olivia y Graff Guerrero, Mario. (2022). Enfoques regulatorios para la Inteligencia Artificial (IA). Revista Chilena De Derecho, 49(3), 31–62.
MCKINLAY, STEVE. (2020). Trust and Algorithmic Opacity, in Kevin Macnish, and Jai Galliott (eds), Big Data y democracy. ENLACE
MALDONADO-MELNDEZ, Mirko. (2024). El trnsito de la Administracin digital hacia una Administracin pblica algortmica en la era de la Inteligencia Artificial: la necesidad de un ordenamiento jurdico constitucional y legal garantista en la prestacin de servicios pblicos en el Per. Revista De Derecho Poltico, (120), 395–425. ENLACE
MALGIERI, GIANCLAUDIO. (2018). Automated Decision-Making in the EU Member States: The Right to Explanation and Other 'Suitable Safeguards' for Algorithmic Decisions in the EU National Legislations. Computer Law & Security Review, p. 1-40. ENLACE
MALGIERI, GIANCLAUDIO. (2021). “Just” Algorithms: Justification (Beyond Explanation) of Automated Decisions under the General Data Protection Regulation. Law and Business, 1(1), 16-28. ENLACE
MANTELERO, ALESSANDRO. (2022). Beyond Data. Human Rights, Ethical and Social Impact Assessment in AI. Information Technology and Law Series, 36.
MARTNEZ GARAY, LUCA. (2018). Peligrosidad, Algoritmos y Due Process: El Caso State Vs. Loomis. Revista De Derecho Penal y Criminologa, 3(20), 485-502.
MARGETTS, HELEN Y DOROBANTU, CHARLOTTE. (2019). Rethinking government with AI. Nature, 568, 163-165. ENLACE
MEIJER, ALBERT & GRIMMELIKHUIJSEN, STEPHAN. (2020). Responsible and Accountable Algorithmization: How to Generate Citizen Trust in Governmental Usage of Algorithms. En R. P. y M. Schuilenburg (coord.), Perspectives on Public Management and Governance (pp. 232-242).
MEDINA-GUERRERO, MANUEL. (2022). El derecho a conocer los algoritmos utilizados en la toma de decisiones. Revista Teora y realidad constitucional, 49, p. 141-171.
MÖKANDER, JAKOB; JUNEJA, PRATHM; WATSON, DAVID Y FLORIDI, LUCIANO. (2022). The US Algorithmic Accountability Act of 2022 vs. The EU Artificial Intelligence Act: what can they learn from each other?. Minds and Machines, 32, 751–758. ENLACE
METZ, CADE. (2023, 26 de Junio). ‘The Godfather of A.I.’ Leaves Google and Warns of Danger Ahead. New York Times.
ORTIZ DE ZRATE, LUCA. (2022). Explicabilidad (de la inteligencia artificial). Eunoma. Revista en Cultura de la Legalidad, 22, 328-344. ENLACE
PASQUALE, FRANK. (2015). The Black Box Society: The Secret Algorithms That Control Money and Information (1.a ed.). Harvard University Press
PENTLAND, ALEX. (2013). The data-driven society. Scientific American, 309(4), 78-83.
PERC, MATJA; OZER, MAHMUT Y HOJNIK, JANJA. (2019). Social and juristic challenges of artificial intelligence. Palgrave Communications, 5(61).
Reyes-Olmedo, Patricia. (2017). Estndares tcnico-jurdicos de gestin para servicios digitales de informacin legislativa. Revista Chilena de Derecho y Tecnologa, 6(2), p. 57-95.
RUSSELL, STUART Y NORVIG, PETER. (2009). Artificial Intelligence: A Modern Approach (2.a ed). Pearson Prentice Hall.
SCHUILENBURG, MARC Y PEETERS, RIK. (2020). The Algorithmic Society. En Schuilenburg, M., & Peeters, R. (Eds.), The Algorithmic Society: Technology, Power, and Knowledge (1.a ed.) (pp. 1-15). Routledge.
SIMN-CASTELLANO, PERE (2023). Las evaluaciones de impacto algortmico en los derechos fundamentales: hacia una efectiva minimizacin de riesgos. En C. H. Lorenzo y Claramaunt Castellanos Jorge (coord.), Algoritmos abiertos y que no discriminen en el sector pblico (pp. 27–56). Tirant lo Blanch, Valencia.
SORIANO ARNANZ, ALBA. (2021). Decisiones automatizadas: problemas y soluciones jurdicas ms all de la proteccin de datos. Revista de Derecho Pblico: Teora y Mtodo, 3, 85-127.
VESTRI, GABRIELE. (2021). La inteligencia artificial ante el desafo de la transparencia algortmica. una aproximacin desde la perspectiva jurdico-administrativa. Revista Aragonesa de Administracin Pblica, 56, 368-398.
WILKINSON, MARK; DUMONTIER, MICHAEL [] Mons, Barend. (2016). The FAIR Guiding Principles for scientific data management and stewardship. Nature Sci. 3 (160018).
Normas citadas
Boletn 16.821-19 de la Cmara de Diputadas y Diputados, de 8 de mayo de 2024, relativa al Proyecto de ley que regula los sistemas de inteligencia artificial. (Cmara de Diputadas y Diputados, 31.07.2024).
COMISIN EUROPEA (2020). Libro Blanco sobre IA de EU: a European approach to excellence and trust. Comisin Europea.
COMISIN EUROPEA (2018). Plan coordinado sobre el desarrollo y uso de la inteligencia artificial <<Made in Europe>> de 2018.
COMISIN EUROPEA. (2019). Directrices ticas para una IA fiable.
Decreto 20/2021, de 20 de septiembre, De Poltica Nacional de Inteligencia Artificial.
Directiva 2019/1024/CE del Parlamento Europeo y del Consejo, de 20 de junio de 2019, relativa a la reutilizacin de la informacin del sector pblico. Publicada en el Diario Oficial de la Unin Europea (172, p. 56-78).
Goverment Digital Service. (2023). Algorithmic Transparency Standard de 2021 UK Algorithmic Transparency Recording Standard (ATRS)
HLGE. Grupo de Expertos de la Comisin. (2018) White Paper on Artificial Intelligence
HLGE. Grupo de Expertos de la Comisin. (2019) COM (2019) 168
HLGE. Grupo de Expertos de la Comisin. (2020) White Paper on Artificial Intelligence – a European approach to excellence and trust.
Ley N° 20.285/2008, de 11 de agosto, De Acceso a la Informacin Pblica.
Ley N° 21.663/2024, de 8 de abril, De Ciberseguridad.
Ley N° 18.575/1986, de 12 de noviembre, De Constitucional De Bases Generales De La Administracin Del Estado.
Ley N° 21.719/2024 de 13 de diciembre, De La Proteccin y el Tratamiento De Los Datos Personales Y Crea La Agencia De Proteccin De Datos Personales.
Min Ciencia y SEGPRES. (2023). Lineamientos para el uso de la inteligencia artificial en el sector pblico.
OGP. (2024). Gua abierta de gobierno sobre toma de decisiones automatizada, algoritmos e inteligencia artificial.
Orden Ejecutiva 14110 sobre inteligencia artificial segura, confiable y protegida, de 30 de octubre de 2023.
OCDE. (2019). Recommendation of the Council on Artificial Intelligence.
OCDE. (2023). El camino de Chile hacia la transparencia algortmica: Estableciendo nuevos estndares en Amrica Latina.
PARLAMENTO EUROPEO Y DEL CONSEJO. (2023). REGLAMENTO (UE) 2024/1689 por el que se establecen normas armonizadas en materia de inteligencia artificial y por el que se modifican los Reglamentos (CE) n.o 300/2008, (UE) n.o 167/2013, (UE) n.o 168/2013, (UE) 2018/858,(UE) 2018/1139 y (UE) 2019/2144 y las Directivas 2014/90/UE, (UE) 2016/797 y (UE) 2020/1828 (Reglamento de Inteligencia Artificial) Artificial Intelligence Act.
REGLAMENTO No152/2016 del Ministerio De Educacin y Subsecretara De Educacin (MINEDUC), de 9 de agosto de 2016, relativo al Reglamento del Proceso de Admisin de los estudiantes que reciben subvencin a la educacin gratuita o aportes del Estado.
REGLAMENTO 2022/868/UE del Parlamento Europeo y del Consejo, de 30 de mayo de 2022, Relativo a la Gobernanza de Datos (Reglamento de Gobernanza de Datos).
RESOLUCIN EXENTA N°1253/2023 del Ministerio De Educacin, de 7 de marzo de 2023, Fija Calendario De Admisin Escolar Para La Postulacin y Admisin Del Año 2024.
RESOLUCIN EXENTA Nm. 372, Recomendaciones del Consejo para la Transparencia sobre Transparencia Algortmica, aprobada el 12 de agosto de 2024 y publicada el 30 de agosto de 2024.
UNESCO. (2021). Recomendacin sobre la Ciencia Abierta en su 41ª reunin.
UNESCO. (2021). Recomendacin sobre la tica de la inteligencia artificial.
U.S. 117th Congress. (2022). Algorithmic Accountability Act de 2022 – H.R.6580.
Jurisprudencia
Sentencia del Tribunal Constitucional Federal 1 BvR 1547/19. 1 BvR 2634/20, de 16 de febrero de 2023 Tribunal Constitucional Federal .
Sentencia de la Corte de Antofagasta Rol N° 242-2024 de 15 de abril de 2024 (Recurso de Proteccin de Garantas Constitucionales). Corte de Antofagasta.
NOTAS:
(1). Doctora en Derecho y en Ciencia Poltica por la Universidad del Zulia de Venezuela. Profesora Titular de la Facultad de Derecho de la Universidad Central de Chile.
Esta investigacin forma parte del proyecto: “Transparencia algortmica del sector pblico”, N° CIP2022015. Agradezco el apoyo de la Fundacin Santander por el financiamiento para la estancia postdoctoral en el College of Law de la Universidad Internacional de Florida (FIU) en Estados Unidos.
(2). Ortiz de Zrate (2022), p. 328.
(5). Russell y Norvig (1994), p. 114.
(7). Cotino-Hueso (2023b), p. 7.
(8). Margetts y Dorobantu (2019), p. 163.
(9). Resolucin Exenta Nm. 372, de 2024.
(10). OCDE 2019, considerando 7.
(13). Castellanos-Ballesteros (2023), p. 205.
(14). Meijer y Grimmelikhuijsen (2020).
(15). Martnez-Garay (2018), p. 496.
(17). Reglamento (UE) 2022/868, Artculo 2.1: “datos, [es] toda representacin digital de actos, hechos o informacin, as como su recopilacin, incluso como grabacin sonora, visual o audiovisual”.
(18). Reglamento N°152, del MINEDUC y Resolucin Exenta N°1253, de 7 de marzo de 2023.
(19). Sentencia Rol N° 242-2024 de la Corte de Antofagasta de 15 de abril de 2024.
(20). Margetts y Dorobantu (2019), p. 163.
(21). Borges-Blzquez (2020), p. 61. COMPAS sus siglas significan: Correctional Offender Management Profiling for Alternative Sanctions (COMPAS).
(22). Finol-Romero (2023ª), p. 141.
(24). Criado, Valero y Villodre (2020), p. 449.
(25). Foucault (2002, p. 170).
(26). Perc, Ozer y Hojnik (2019), p. 5.
(27). Directiva (UE) 1024/2019, considerando 9.
(29). En esto coinciden: Cotino-Hueso (2023); Grimmelikhuijsen (2022); y Vestri (2021).
(30). Vase tambin Finol-Romero 2022a, respecto a la positivizacin de la transparencia en sus dos dimensiones.
(31). Vese: Vestri 2021 y tambin Pere, Simn-Castellano (2023).
(32). Grimmelikhuijsen (2022), p. 147.
(33). Kaminsky (2019), p. 189. En el mismo sentido, Ortiz De Zrate (2022, p. 141.
(34). Cotino-Hueso (2021), p. 170.
(36). Floridi 2021a. La legislacin europea sobre IA, en un breve anlisis de su enfoque filosfico.
(37). Mökander et. al. (2022), p. 752.
(38). OCDE (2023). En el Informe de Chile respecto de los avances de la transparencia algortmica, se reafirma que los organismos pblicos estn obligados a informar sobre los algoritmos que utilizan para atender a la poblacin, como una obligacin adicional de transparencia activa.
(39). Ver: Ortiz de Zrate (2022), Cotino-Hueso (2023a), Medina-Guerrero (2022), Coddou y Smart (2021), Mantelero (2022), Malgieri (2018), Vestri (2021).
(40). Boix Palop (2020), p. 235.
(41). Castellanos-Ballesteros (2023).
(43). Algorithmic Transparency Standard UK de 2021.
(44). Floridi (2021b), pp. 621-625. El fin de una era: de la autorregulacin a la ley dura para la industria digital.
(45). Maldonado-Melndez (2024), p. 420.
(46). Finol-Romero (2023b, pp. 154-160). Cuando define el Derecho a la Transparencia, se pregunta, ¿Es suficiente una ley para garantizar el ejercicio efectivo del acceso a la informacin?, especialmente considerando que el ncleo de las obligaciones recae en un conjunto de prestaciones de hacer, con finalidades diferentes, por una parte, una dimensin garantista del derecho a la informacin, y por otra, como pilar fundamental de la democracia.
(47). Floridi (2021a), p. 2021.
(48). Cotino-Hueso (2023b), p. 2.
(49). Algorithmic Accountability Act de 2022.
(50). Orden Ejecutiva 14110 sobre inteligencia artificial segura, confiable y protegida, de 30 de octubre de 2023.
(51). Algorithmic Transparency Standard, de 2021.
(52). Pasquale (2015), pp. 1-18. Tambin Bobbio (2014), p. 21.
(53). Martnez-Garay (2018), p. 496.
(54). Sentencia del Tribunal Constitucional Federal (TCF) 1 BvR 1547/19, establece principios sobre las salvaguardias necesarias para el anlisis de datos automatizado. Establece que: “generalmente se aplican a las medidas de vigilancia secreta intrusivas, es decir, solo para la proteccin de intereses legales particularmente importantes, siempre que exista al menos un peligro suficientemente concreto para ellos”, considerando 4. Esta causa, fue en el procedimiento sobre los recursos de inconstitucionalidad, contra Artculo 25a de la Ley de Seguridad y Orden Pblico de Hesse, modificada por la Ley de Reajuste de la Oficina de Proteccin de la Constitucin de Hesse, de 25 de junio de 2018.
(55). Reyes-Olmedo (2017), p. 60).
(56). Kaminski (2019), p. 190.
(57). Llamas, Mendoza y Graft (2022), p. 33.
(58). Libro Blanco sobre IA de la Unin Europea, de 2020.
(59). Ortiz de Zrate (2022), p. 333.
(60). HLEG de 2019, COM (2019) 168.
(61). Recomendacin OCDE del Consejo sobre Inteligencia Artificial, de 2019.
(62). Recomendacin UNESCO sobre la tica de la Inteligencia Artificial, de 2021.
(63). Finol-Romero (2023b), pp. 154-160.
(64). Castellanos-Ballesteros (2023), p. 195.
(65). Goodman y Flaxman (2017), pp. 50-57.
(66). Boletn 16.821-19 de 8 de mayo de 2024, Proyecto de ley que “Regula Los Sistemas De Inteligencia Artificial”.
(67). Cobbe, Seng Ah Lee, y Singh (2021), p. 7.
(68). Ortiz de Zrate (2022), p. 334.
(69). Contreras y Trigo (2022).
(70). Min Ciencia y SEGPRES, Lineamientos para el uso de la inteligencia artificial en el sector pblico de 2023.
(71). Ley N°18.575, Artculo 2°: “Los rganos de la Administracin del Estado sometern su accin a la Constitucin y a las leyes. Debern actuar dentro de su competencia y no tendrn ms atribuciones que las que expresamente les haya conferido el ordenamiento jurdico. Todo abuso o exceso en el ejercicio de sus potestades dar lugar a las acciones y recursos correspondientes”.
(72). Ley 20.285. Artculo 33: El Consejo tendr las siguientes funciones y atribuciones:
(...)
d) Dictar instrucciones generales para el cumplimiento de la legislacin sobre transparencia y acceso a la informacin por parte de los rganos del Estado y requerir a estos para que ajusten sus procedimientos y sistemas de atencin de pblico a dicha legislacin.
e) Formular recomendaciones a los rganos de la Administracin del Estado tendiente a perfeccionar la transparencia de su gestin y facilitar acceso a informacin que posean.
(...)”.
(73). Bruce y Fleming (2021), p. 25.
(74). Ortiz de Zrate (2022), p. 334.
(75). Buchard y Valle (2024), p. 259.
(76). Ley N° 20.285. Artculo 33:
El Consejo tendr las siguientes funciones y atribuciones:
(...) m) Velar por el adecuado cumplimiento de la ley N° 19.628 de proteccin de datos de carcter personal, por parte de los rganos de la administracin del Estado.
(77). Finol-Romero (2023a), p. 143.
(78). Ortiz De Zrate (2022), p. 330.
(81). Mantelero (2022), p. IX.
(82). Ortiz de Zrate (2022). Tambin, Burrel (2016), pp. 1-5.
(83). Medina-Guerrero (2022), p. 141.
(84). Cotino-Hueso (2023b), p. 11.
(85). Cotino-Hueso (2023ª), p. 3.
(87). Jara-Fuenzalida (2021), pp. 101-104.
(88). Contreras, Trigo y Ortiz (2022), pp. 36-37.
(89). Automatizacin del Estado, tambin conocida en la literatura como algoritmizacin de la gobernanza pblica. Vase: Meijer & Grimmelikhuijsen (2020, p. 57). Tambin en Schuilenburg y Peeters (2020,) pp. 1-15.
(90). UNESCO 2021, Recomendacin sobre la Ciencia Abierta presentada durante la 41ª reunin, de 2021.
(91). HLGE, Libro Blanco sobre IA de UE de febrero de 2020.
(92). Finol-Romero (2023a), p. 43.
(93). Wilkinson et al. (2016).
(94). Plan coordinado sobre el desarrollo y uso de la inteligencia artificial <<Made in Europe>> de 2018. En el mismo sentido que el plan de accin que busca que la Nube Europea se alinee con las mejores prcticas de Ciencia Abierta. Para entrenar con datos globales y de calidad, fcilmente localizables y accesibles. Conocidos como datos FAIR.
(95). OGP 2024, Gua abierta de gobierno sobre toma de decisiones automatizada, algoritmos e inteligencia artificial.
(96). HLGE de 2020, a European approach to excellence and trust.
(97). Estndares de Transparencia Algortmica de 2021, en: “Algorithmic Transparency Standard UK”.
(100). Mantelero (2022), p. 140.
(101). Reglamento de Inteligencia Artificial de 2024.
(102). Ley N° 21.719 de 2024, regula la proteccin y el tratamiento de los datos personales y crea la agencia de proteccin de datos personales.
(103). Han Byung-Chul (2022), p. 25.
Noticia aún sin comentar.
Para poder opinar es necesario el registro. Si ya es usuario registrado, escriba su nombre de usuario y contrasea:
Si desea registrase en la Administracin al Da y poder escribir un comentario, puede hacerlo a travs el siguiente enlace: Registrarme en La Administracin al Da.