Inteligencia artificial, Derecho administrativo y reserva de humanidad: algoritmos y procedimiento administrativo debido tecnológico

El estudio analiza el uso de la inteligencia artificial por las Administraciones Públicas para la toma de decisiones automatizadas y semi-automatizadas. Partiendo de la situación existente en España y teniendo en cuenta las preocupaciones y regulaciones a nivel internacional, el análisis sugiere una mejora del marco regulador de la actividad automatizada, estableciendo una reserva para humanos en el ejercicio de potestades discrecionales debido a la necesidad de empatía para la realización de la ponderación con criterios extrajurídicos en que consiste la discrecionalidad. Asimismo, el estudio plantea una lucha contra la opacidad de los algoritmos en garantía del derecho a una buena administración de los ciudadanos, especialmente en su vertiente del derecho a comprender las decisiones administrativas.

Juli Ponce Solé es Catedrático de Derecho Administrativo en la Universidad de Barcelona

El artículo se publicó en el número 50 de la Revista General de Derecho Administrativo (Iustel, enero 2019)

I. INTRODUCCIÓN. INTELIGENCIA ARTIFICIAL, BIG DATA Y ALGORITMOS Y SU CRECIENTE USO EN EL SECTOR PRIVADO Y PÚBLICO. LA ACTIVIDAD ADMINISTRATIVA AUTOMATIZADA (1)

Es casi un lugar común referirse a que está en marcha desde hace años una cuarta revolución industrial, que, sin duda, está teniendo, y va a tener, profundos impactos en las personas, la sociedad y el Derecho, en la línea de los que generaron las revoluciones científicas y humanas de los siglos XVIII y XIX que dieron lugar al nacimiento del Derecho Administrativo, de cuyos paradigmas básicos aún seguimos viviendo en gran medida.

A lo largo de este estudio vamos a intentar pergeñar algunas ideas básicas sobre cómo la Inteligencia Artificial (en adelante, IA) va a impactar en el Derecho administrativo y cómo éste debería adaptarse para poder potenciar sus ventajas y controlar sus efectos menos beneficiosos. Cabe señalar, por cierto, que la relación entre los ordenadores y el Derecho Administrativo no es extraña a nuestra doctrina, entre la que podemos destacar un curioso y breve trabajo del profesor Tomás-Ramón Fernández en 1971 cuya lectura actual es deliciosa(2).

De vez en cuando, volveremos la vista a los pensadores y juristas ilustrados y del siglo XIX, los cuales, salvando las distancias, se enfrentaron también a enormes cambios tecnológicos y sociales en su época. Así, en ese sentido, se puede citar, por ejemplo, al jurista francés JOSSERAND, quién, al referirse al desarrollo de la industria y sus consecuencias dañosas, señalaba hace más de un siglo que (las cursivas son nuestras):

“Porque la industria se mejora se transforma, es que los accidentes ocasionados o el hecho de las cosas inanimadas se tornan más numerosas, mucho más terribles y también mucho más obscuras. La injusticia del sistema tradicional de responsabilidad se ve claramente. En la inmensa mayoría de los casos, las víctimas se encuentran con la imposibilidad de reconstruir la génesis del accidente, de descubrir por qué y de demostrar la culpa del patrón de la gran industria, del conductor, etc.”(3).

Sin duda, la revolución tecnológica en marcha en este siglo XXI va a hacer que las cosas inanimadas se tornen más numerosas, y está por ver si mucho más terribles y obscuras. En su limitado pero importante papel, el Derecho deberá, entendemos, intentar evitarlo. Pero el Derecho no podrá hacerlo sólo, porque aquí la importancia de la transdisciplinariedad deviene crucial, como señala la Comunicación de 2018 de la Comisión al Parlamento Europeo, al Consejo Europeo, al Consejo, al Comité Económico y Social Europeo y al Comité de la Regiones, titulada Inteligencia artificial para Europa (y a la que citaremos a partir de ahora como la Comunicación de 2018)(4):

“También es necesario impulsar la interdisciplinariedad (fomentando que se oferten titulaciones conjuntas, como, por ejemplo, en Derecho o psicología e IA)”

Ello significará romper con una manera de proceder actual, que, por lo menos, puede retrotraerse a la Prusia de principios del siglo XIX - tras la derrota de Jena ante las tropas napoleónicas-, como nueva estrategia militar para obtener soldados más obedientes(5). La misma es bien conocida y consiste en dividir el conocimiento en compartimientos o silos. Sólo si superamos esa falta de transdisciplinariedad el Derecho podrá hacer frente a los retos en este ámbito y en otros(6).

Hay que advertir que este trabajo se va a centrar en el uso de la IA para desarrollar actividad administrativa y adoptar decisiones administrativas, no, pues, en la regulación administrativa del uso de la IA por sujetos privados (aspecto éste de gran importancia y donde técnicas de mejora regulatoria como las sandbox o las normativas experimentales deberán cobrar relevancia en el futuro). Sí, en cambio, realizaremos algunas reflexiones sobre el uso de IA por parte de aquéllos privados que desarrollan funciones públicas o prestan servicios de interés general.

Tampoco se ocupará este estudio específicamente del uso de la IA para detectar la mala administración y la corrupción administrativa, aspecto específico éste al que ya dedicamos atención en su momento(7) , y que tiene en la Ley valenciana 22/2018, de 6 de noviembre, de Inspección General de Servicios y del sistema de alertas para la prevención de malas prácticas en la Administración de la Generalitat y su sector público instrumental (BOE 30/11/2018), su expresión legal más lograda en España, hasta el momento(8).

La Comunicación de 2018 mencionada llama la atención sobre la realidad de la IA y establece una analogía, en la línea de lo antes expuesto, entre anteriores revoluciones y la situación actual:

“Lejos de ser ciencia-ficción, la inteligencia artificial (IA) forma ya parte de nuestras vidas. En la utilización de un asistente personal para organizar nuestra jornada laboral, en el desplazamiento en un vehículo de conducción automática o en las canciones o restaurantes sugeridos por nuestros teléfonos, la IA se hace realidad. La IA, además de facilitarnos la vida, nos está ayudando a resolver algunos de los principales retos a los que se enfrenta nuestro mundo: desde el tratamiento de las enfermedades crónicas o la reducción de las tasas de mortalidad en los accidentes de tráfico hasta la lucha contra el cambio climático o la previsión de las amenazas a la ciberseguridad () Al igual que hicieran la máquina de vapor o la electricidad en épocas anteriores, la IA está transformando nuestro mundo, nuestra sociedad y nuestra industria”.

La importancia que está adquiriendo la IA es especialmente visible en las Administraciones Públicas de otros Estados, como veremos, donde el uso del Big Data(9) y de la IA permite intentar mejorar sus políticas públicas y sus decisiones administrativas y avanzar, en definitiva, hacia el buen gobierno y la buena administración. Decisiones administrativas sobre determinadas prestaciones sociales, acceso a las fronteras nacionales o desarrollo de ciertas políticas públicas, entre otras, están apoyándose crecientemente en la IA(10).

En España el uso de la IA en general, y en las Administraciones Públicos, en particular, ya no es una entelequia tampoco, más allá de la ley valenciana aludida. Así, destaca la creación por el Ayuntamiento de Barcelona de la Oficina Municipal de Datos(11). En el ámbito estatal, como señala la Resolución de 8 de enero de 2018, de la Dirección General de la Agencia Estatal de Administración Tributaria, por la que se aprueban las directrices generales del Plan Anual de Control Tributario y Aduanero de 2018 (publicado en el BOE 23 de enero 2018):

"Para mejorar la eficacia del uso de la información de que dispone la Agencia Tributaria se utilizarán nuevas técnicas de análisis de datos. Se desarrollarán nuevos modelos de detección de fraude basados tanto en técnicas analíticas como en el análisis de redes mediante técnicas de <<big data>> . Todo esto permitirá el desarrollo de mecanismos de análisis más complejos que los utilizados hasta ahora, facilitando a los órganos de control la detección de patrones de conducta que puedan poner de manifiesto inconsistencias en los datos relacionados con los contribuyentes y que puedan servir como claros indicadores de la existencia de riesgos fiscales que es necesario combatir por parte de la Administración”."

Asimismo, es posible hallar otros ejemplos en el mismo ámbito tributario(12) y también en el de la Seguridad social(13). Sin embargo, a tenor de los datos disponibles actualmente, las Administraciones Públicas españolas aún no han comprendido el impresionante salto para el buen gobierno y la buena administración que puede suponer el uso de la IA. En un estudio realizado en 2017, solo un pequeño porcentaje mostraba algún interés por el Big Data, declarando la mayoría, más del 60%, su desinterés por el mismo(14). Es de esperar que estos datos irán cambiando con el transcurso del tiempo.

Para finalizar este apartado introductorio conviene recordar, de forma sucinta, el significado de conceptos a los que ya hemos aludido hasta ahora, y que continuaremos empleando a lo largo del estudio, como son los de IA, Big Data y algoritmos.

El término inteligencia artificial, de acuerdo, por ejemplo, con la Comunicación de 2018, se aplica a los sistemas que manifiestan un comportamiento inteligente, pues son capaces de analizar su entorno y pasar a la acción, con cierto grado de autonomía, con el fin de alcanzar objetivos específicos. Estos sistemas pueden consistir en un simple programa informático (por ejemplo, motores de búsqueda o sistemas de reconocimiento facial o de voz) pero también pueden estar incorporados en dispositivos de hardware (como robots o automóviles autónomos).

La IA se desarrolla mediante el uso de algoritmos y datos. En la cocina de la IA, los primeros serían las recetas y los segundos los ingredientes.

Los algoritmos son un conjunto de instrucciones para solucionar un problema. Los mismos han ido haciéndose más complejos con el tiempo, pasando de ser estáticos, en el sentido de que los programadores diseñaban ya en los mismos los criterios para tomar las decisiones, a ser dinámicos, en el sentido de que los algoritmos denominados de aprendizaje automático (machine learning) tienen la capacidad de aprender con el tiempo de los datos y experiencias para tomar decisiones por sí mismos, generando sus propias instrucciones que ya no son las iniciales del programador. Por otro lado, el llamado aprendizaje profundo (deep learning) supone un funcionamiento de la IA emulando redes neuronales complejas. En estos casos, los algoritmos extraen patrones de las masas de datos y los resultados que se obtienen no están relacionados de modo lineal sino complejo, por lo que no es sencillo determinar la causalidad entre datos y decisión adoptada.

Por ello, ha sido dicho que en un medio ambiente de aprendizaje automático el problema con estos algoritmos es que los humanos no pueden ya estar en control de qué decisión es tomada y ni siquiera pueden saber o comprender por qué una decisión errónea ha sido tomada dado que están perdiendo de vista la transparencia del proceso desde el principio hasta el final, deviniendo opacos para sus creadores que no entienden la lógica que siguen. De ahí que se hable del proceso de adopción de la decisión por parte de los algoritmos como una caja negra (black box)(15).

Una definición de algoritmo incluida en un documento jurídico en el Estado español es posible hallarla en diversos dictámenes de la Comisión de Garantía del derecho de acceso a la información pública de Cataluña. Así, la Resolución de la Reclamación 123/2016 señala que (la traducción del catalán es nuestra):

“Un algoritmo, como “procedimiento de cálculo que consiste en cumplir un conjunto ordenado y finito de instrucciones con unos datos especificados para llegar a la solución del problema planteado” o “conjunto finito de reglas que, aplicadas de manera ordenada, permiten la resolución sistemática de un problema, el cual se utiliza como punto de partida en programación informática” (en las dos definiciones que da el Termcat aplicables a este caso), no deja de ser un tipo de información, expresado habitualmente en lenguaje matemático o informático (a pesar de que los algoritmos también se pueden expresar de otras muchas maneras, incluyendo los diagramas de flujo, el pseudocódigo y el propio lenguaje natural)”.

Efectivamente, un algoritmo puede expresarse en lenguaje natural, en diagramas de flujo o en pseudocódigos. Para no tratar estos conceptos, inusuales para juristas, de forma excesivamente abstracta, creemos relevante dedicarles algunos breves ejemplos y figuras gráficas que ayuden en la explicación y comprensión.

Pensemos en un sencillo ejemplo de algoritmo, el consistente en el cálculo del resultado de la suma de dos números.

En lenguaje natural lo expresaríamos así:

1.- Inicio 2.- Asignar a la variable x el valor del primer número 3.- Asignar a la variable y el valor del segundo número 4.- Realizar la suma: x + y, y el resultado se guarda en la variable z 5.- Fin

En el caso de los diagramas de flujo, se suele recomendar la representación de algoritmos mediante los mismos antes de traducirlo a lenguaje de programación. Los símbolos más comunes son los que se incluyen en la figura 1:

Figura 1(16)

. En diagrama de flujos, el algoritmo sugerido como ejemplo se representaría así:

Figura 2

Por otro lado, un pseudocódigo es un lenguaje de descripción de algoritmos. Sirve para facilitar el proceso de codificación, es decir, la escritura del código fuente. Se le considera un borrador (código de prueba) ya que su estructura es muy similar a la empleada en la mayoría de los lenguajes de programación.

El algoritmo en pseudocódigo que permite realizar la suma de dos números de nuestro ejemplo es el siguiente(17):

Con el uso de pseudocódigo se consigue evitar errores en la elaboración del posterior código fuente.

Éste, viene definido y distinguido del algoritmo por la Comisión de Garantía del derecho de acceso a la información pública de Cataluña en su ya aludida Resolución de la Reclamación 123/2016 (la traducción del catalán es nuestra):

“A los efectos de la resolución de esta reclamación es importante distinguir el algoritmo matemático, que es aquello que solicita la persona reclamante, del código fuente del programa informático que lo implementa. Cómo se ha señalado, el algoritmo, como conjunto de pasos que se tienen que seguir para resolver adecuadamente el problema planteado, puede ser expresado en palabras (lenguaje natural), como hace el Consejo a las explicaciones dadas a esta Comisión, o, para mayor precisión (para evitar las ambigüedades del lenguaje natural), en lenguaje matemático. En los casos en que, como sucede en la designación de los tribunales correctores de las PAU [Pruebas de Acceso a la Universidad], la aplicación del algoritmo es compleja atendido el gran número de variables existentes (miles de candidatos presentados, gran número de materias y de sedes, porcentajes mínimos requeridos de hombres, mujeres, de profesores universitarios y de bachillerato –cada uno de ellos con preferencias diversas de sedes y materias–, prioridad de los candidatos que tengan asignado un número más próximo al número semilla extraído por sorteo –salvo los presidentes y subcoordinadores, que son designados directamente–, necesidades de profesorado que varían cada año en función del número de alumnos), y donde resulta necesario utilizar la potencia de cálculo de una computadora, hay que traducir este algoritmo matemático a lenguaje informático para que la computadora (mediante el programa informático correspondiente) lo pueda entender e implementar debidamente. El código fuente sería el conjunto de instrucciones escritas –en el lenguaje de programación que corresponda– del programa informático empleado para implementar el algoritmo. De la solicitud se desprende que la persona reclamante no quiere acceder al código fuente del programa informático empleado por el Consejo Interuniversitario para designar los miembros de los tribunales correctores de las PAU, sino a “el algoritmo matemático que condiciona la orden de posiciones en los tribunales correctores de las PAU a partir de la semilla extraída por sorteo”.”

Como ejemplo, véase aquí una ilustración de código fuente Java, con comentarios prólogo indicados en rojo, comentarios en línea indicados en verde, y sentencias de programa indicadas en azul:

Figura 3

Como ha sido señalado, “Un ordenador no procesa lenguaje natural sino que su funcionamiento se basa en ejecutar un software escrito en un lenguaje de programación, que es una variedad de los lenguajes formales. El software se escribe en un lenguaje comprensible para el ser humano, quien puede leerlo y transformarlo, y el texto resultante se denomina código fuente”. Pero “para que la máquina pueda ejecutarlo se necesita compilarlo, esto es, crear una lista de unos y ceros que pueda ser leído por la máquina, lo que se denomina código binario”(18)

Pero, además, para que los algoritmos funcionen, necesitan ingentes cantidades de datos o big data, datos masivos caracterizados por su volumen, variedad y velocidad, las llamadas tres v(19).

La IA llevada al campo de las Administraciones Públicas, como decíamos, puede ayudar al procesamiento rápido de ingentes cantidades de datos y a la toma de decisiones, luego veremos de qué tipo, mejor fundadas y respaldadas por dichos datos. En ese sentido, la actividad administrativa automatizada es definida por el anexo de la Ley 11/2007, de 22 de junio, de acceso electrónico de los ciudadanos a los Servicios Públicos, como toda actuación administrativa producida por un sistema de información adecuadamente programado sin necesidad de intervención de una persona física en cada caso singular. Incluye la producción de actos de trámite o resolutorios de procedimientos, así como de meros actos de comunicación(20).

II. REGULACIÓN DE LA TOMA DE DECISIONES ADMINISTRATIVAS AUTOMATIZADAS

En un Estado de Derecho, es obvio que la regulación de la IA, en general, y, por lo que nos interesa aquí, de la toma de decisiones administrativas automatizadas debería tener un importante papel, asumiendo, como hacemos aquí, que la misma encuentra acomodo en las categorías clásicas de órgano administrativo y acto administrativo.

En ese sentido, disentimos de PARADA cuando señala que no sería posible considerar resolución administrativa la adoptada de forma automatizada, porque las máquinas carecen de voluntad: “los actos administrativos son manifestaciones de voluntad y las máquinas, al no tenerla, carecen de posibilidad de producir actos jurídicos y lo que reflejan no es más que el resultado de los datos y programas que se introducen en ellas, por lo que la producción jurídica sigue estando referida a los funcionarios y autoridades que se sirven de aquéllas”(21). Siguiendo, entre otros, a MARTIN DELGADO (2009, 366): “toda persona jurídica —también la Administración— necesita con carácter general de personas físicas que realicen materialmente las actuaciones que pueden-deben llevar a cabo. Esa actividad material, y aquí radica la novedad, puede ser actualmente desarrollada por un ordenador en ejecución de una aplicación informática específicamente creada y configurada para ello. Pero esto es irrelevante para la teoría del órgano, pues la actuación se sigue imputando al órgano que tiene encomendada la competencia, que es además quien firma el acto; y también lo es para la concepción del acto administrativo, pues su contenido puede ser el mismo. La única diferencia radica en que la conexión no tiene lugar a través de la intervención directa del titular del órgano, sino mediante el empleo de un sistema de firma”.(22) En esa línea se sitúa la ley catalana 26/2010, de 3 de agosto, de régimen jurídico y de procedimiento de las administraciones públicas de Cataluña, cuando señala en su art. 44.3 que “la actuación administrativa automatizada no afecta a la titularidad de la competencia de los órganos administrativos ni a las competencias atribuidas para la resolución de los recursos administratives”

2.1 Situación internacional y en la UE: el Reglamento General de Protección de Datos de la UE y la Ley Orgánica de Protección de Datos Personales y garantía de los derechos digitales de 2018

En el nivel internacional en cuanto a cómo debiera ser la regulación de la IA, la Association for Computing Machinery ha establecido en 2017 unos principios que deberían orientar dicha regulación, en concreto 7, que son los de 1. Conciencia; 2. Acceso y corrección;3. Responsabilidad;4. Explicación;5. Procedencia de los datos;6. Auditoría;7. Validación y testeo(23).

En el ámbito de la Unión Europea, aparte de numerosos documentos sobre el tema, como la comunicación de 2018 aludida, el Reglamento General de Protección de Datos (Reglamento UE 2016/679), desde esta perspectiva, importante pero limitada, ha establecido algunas regulaciones de la IA en la toma de decisiones administrativas. Así, en sus artículos 13 (Información que deberá facilitarse cuando los datos personales se obtengan del interesado), 14 (Información que deberá facilitarse cuando los datos personales no se hayan obtenido del interesado) y 15 (Derecho de acceso del interesado) encontramos referencias de interés, sobre todo en este último:

“la existencia de decisiones automatizas, incluida la elaboración de perfiles, a que se refiere el artículo 22, apartados 1 y 4, y, al menos en tales casos, información significativa sobre la lógica aplicada, así como la importancia y las consecuencias previstas de dicho tratamiento para el interesado”

De gran interés es también el artículo 22:

“Artículo 22

Decisiones individuales automatizadas, incluida la elaboración de perfiles

1. Todo interesado tendrá derecho a no ser objeto de una decisión basada únicamente en el tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos en él o le afecte significativamente de modo similar.

2. El apartado 1 no se aplicará si la decisión:

a) es necesaria para la celebración o la ejecución de un contrato entre el interesado y un responsable del tratamiento;

b) está autorizada por el Derecho de la Unión o de los Estados miembros que se aplique al responsable del tratamiento y que establezca asimismo medidas adecuadas para salvaguardar los derechos y libertades y los intereses legítimos del interesado, o

c) se basa en el consentimiento explícito del interesado.

3. En los casos a que se refiere el apartado 2, letras a) y c), el responsable del tratamiento adoptará las medidas adecuadas para salvaguardar los derechos y libertades y los intereses legítimos del interesado, como mínimo el derecho a obtener intervención humana por parte del responsable, a expresar su punto de vista y a impugnar la decisión.

4. Las decisiones a que se refiere el apartado 2 no se basarán en las categorías especiales de datos personales contempladas en el artículo 9, apartado 1, salvo que se aplique el artículo 9, apartado 2, letra a) o g), y se hayan tomado medidas adecuadas para salvaguardar los derechos y libertades y los intereses legítimos del interesado”

Por su parte, en España la Ley Orgánica 3/2018, de 5 de diciembre, de Protección de Datos Personales y garantía de los derechos digitales, señala que:

“Artículo 11. Transparencia e información al afectado.

1. Cuando los datos personales sean obtenidos del afectado el responsable del tratamiento podrá dar cumplimiento al deber de información establecido en el artículo 13 del Reglamento (UE) 2016/679 facilitando al afectado la información básica a la que se refiere el apartado siguiente e indicándole una dirección electrónica u otro medio que permita acceder de forma sencilla e inmediata a la restante información.

2. La información básica a la que se refiere el apartado anterior deberá contener, al menos:

a) La identidad del responsable del tratamiento y de su representante, en su caso.

b) La finalidad del tratamiento.

c) La posibilidad de ejercer los derechos establecidos en los artículos 15 a 22 del Reglamento (UE) 2016/679.

Si los datos obtenidos del afectado fueran a ser tratados para la elaboración de perfiles, la información básica comprenderá asimismo esta circunstancia. En este caso, el afectado deberá ser informado de su derecho a oponerse a la adopción de decisiones individuales automatizadas que produzcan efectos jurídicos sobre él o le afecten significativamente de modo similar, cuando concurra este derecho de acuerdo con lo previsto en el artículo 22 del Reglamento (UE) 2016/679.

3. Cuando los datos personales no hubieran sido obtenidos del afectado, el responsable podrá dar cumplimiento al deber de información establecido en el artículo 14 del Reglamento (UE) 2016/679 facilitando a aquél la información básica señalada en el apartado anterior, indicándole una dirección electrónica u otro medio que permita acceder de forma sencilla e inmediata a la restante información. En estos supuestos, la información básica incluirá también:

a) Las categorías de datos objeto de tratamiento.

b) Las fuentes de las que procedieran los datos.”

2.2 Las lagunas de leyes 39 y 40/2015 y de la LTAIBG de 2013 en relación a las decisiones automatizadas

Referencias a la actividad administrativa automatizada pueden hallarse en la Ley 58/2003, de 17 de diciembre, General Tributaria (en adelante, LGT), que en su artículo 96 –bajo el título de “Utilización de tecnologías informáticas y telemáticas”– se refiere al empleo por parte de la Administración tributaria de las nuevas tecnologías en el desarrollo de su actividad:

“Artículo 96. Utilización de tecnologías informáticas y telemáticas.

1. La Administración tributaria promoverá la utilización de las técnicas y medios electrónicos, informáticos y telemáticos necesarios para el desarrollo de su actividad y el ejercicio de sus competencias, con las limitaciones que la Constitución y las leyes establezcan.

2. Cuando sea compatible con los medios técnicos de que disponga la Administración tributaria, los ciudadanos podrán relacionarse con ella para ejercer sus derechos y cumplir con sus obligaciones a través de técnicas y medios electrónicos, informáticos o telemáticos con las garantías y requisitos previstos en cada procedimiento.

3. Los procedimientos y actuaciones en los que se utilicen técnicas y medios electrónicos, informáticos y telemáticos garantizarán la identificación de la Administración tributaria actuante y el ejercicio de su competencia. Además, cuando la Administración tributaria actúe de forma automatizada se garantizará la identificación de los órganos competentes para la programación y supervisión del sistema de información y de los órganos competentes para resolver los recursos que puedan interponerse.

4. Los programas y aplicaciones electrónicos, informáticos y telemáticos que vayan a ser utilizados por la Administración tributaria para el ejercicio de sus potestades habrán de ser previamente aprobados por ésta en la forma que se determine reglamentariamente.

5. Los documentos emitidos, cualquiera que sea su soporte, por medios electrónicos, informáticos o telemáticos por la Administración tributaria, o los que ésta emita como copias de originales almacenados por estos mismos medios, así como las imágenes electrónicas de los documentos originales o sus copias, tendrán la misma validez y eficacia que los documentos originales, siempre que quede garantizada su autenticidad, integridad y conservación y, en su caso, la recepción por el interesado, así como el cumplimiento de las garantías y requisitos exigidos por la normativa aplicable.”

Por su parte, con posterioridad la Ley 11/2007, de 22 de junio, de acceso electrónico de los ciudadanos a los Servicios Públicos, además de algunas breves menciones en conexión con los sistemas de firma electrónica, se ocupa en dos artículos y en su anexo de la actividad administrativa automatizada:

“Artículo 38. Terminación de los procedimientos por medios electrónicos.

2. Podrán adoptarse y notificarse resoluciones de forma automatizada en aquellos procedimientos en los que así esté previsto.

Artículo 39. Actuación administrativa automatizada.

En caso de actuación automatizada deberá establecerse previamente el órgano u órganos competentes, según los casos, para la definición de las especificaciones, programación, mantenimiento, supervisión y control de calidad y, en su caso, auditoría del sistema de información y de su código fuente. Asimismo, se indicará el órgano que debe ser considerado responsable a efectos de impugnación.”

El anexo de la ley contiene una definición de actividad automatizada, como ya nos consta:

“a) Actuación administrativa automatizada: actuación administrativa producida por un sistema de información adecuadamente programado sin necesidad de intervención de una persona física en cada caso singular. Incluye la producción de actos de trámite o resolutorios de procedimientos, así como de meros actos de comunicación.”

Además de esta regulación hay que tener en cuenta la que se encuentra actualmente en los arts. 40 y 41 de la ley 40/2015, que son de aplicación a todas las AAPP, de acuerdo con las bases del régimen jurídico de las AA.PP., art. 149.1.18 CE, que es usada como fundamento competencial por la DF 14ª de la ley:

“Artículo 41. Actuación administrativa automatizada.

1. Se entiende por actuación administrativa automatizada, cualquier acto o actuación realizada íntegramente a través de medios electrónicos por una Administración Pública en el marco de un procedimiento administrativo y en la que no haya intervenido de forma directa un empleado público.

2. En caso de actuación administrativa automatizada deberá establecerse previamente el órgano u órganos competentes, según los casos, para la definición de las especificaciones, programación, mantenimiento, supervisión y control de calidad y, en su caso, auditoría del sistema de información y de su código fuente. Asimismo, se indicará el órgano que debe ser considerado responsable a efectos de impugnación.

Artículo 42. Sistemas de firma para la actuación administrativa automatizada.

En el ejercicio de la competencia en la actuación administrativa automatizada, cada Administración Pública podrá determinar los supuestos de utilización de los siguientes sistemas de firma electrónica: a) Sello electrónico de Administración Pública, órgano, organismo público o entidad de derecho público, basado en certificado electrónico reconocido o cualificado que reúna los requisitos exigidos por la legislación de firma electrónica. b) Código seguro de verificación vinculado a la Administración Pública, órgano, organismo público o entidad de Derecho Público, en los términos y condiciones establecidos, permitiéndose en todo caso la comprobación de la integridad del documento mediante el acceso a la sede electrónica correspondiente(24)”

El preámbulo de la ley señala que:

““La Ley recoge, con las adaptaciones necesarias, las normas hasta ahora contenidas en la Ley 11/2007, de 22 de junio, en lo relativo al funcionamiento electrónico del sector público, y algunas de las previstas en el Real Decreto 1671/2009, de 6 de noviembre, por el que se desarrolla parcialmente la anterior. Se integran así materias que demandaban una regulación unitaria, como corresponde con un entorno en el que la utilización de los medios electrónicos ha de ser lo habitual, como la firma y sedes electrónicas, el intercambio electrónico de datos en entornos cerrados de comunicación y la actuación administrativa automatizada”

Sin embargo, como vamos a comprobar a continuación, estas regulaciones nada nos dicen del procedimiento administrativo que sea necesario para generar el algoritmo y el código fuente, ni sobre la explicación comprensible de éstos, por ejemplo.

Por otro lado, la legislación de transparencia no señala nada específico sobre la IA en el ámbito administrativo.

2.3 La necesidad de una mejora regulatoria en este ámbito.

2.3.1 El sesgo humano de confianza en la inteligencia artificial frente a los posibles límites y sesgos discriminatorios de ésta: la herencia ilustrada

Como señala la mencionada Comunicación de 2018:

“Como ocurre con cualquier tecnología transformadora, algunas aplicaciones de la IA pueden plantear nuevos problemas de carácter ético y jurídico, por ejemplo, en relación con la responsabilidad o la adopción de decisiones potencialmente sesgadas. Por consiguiente, la UE debe asegurarse de que la IA se desarrolle y aplique en un marco adecuado, que promueva la innovación y respete los valores y derechos fundamentales de la Unión, así como principios éticos tales como la obligación de rendir cuentas y la transparencia”

La confianza en la inteligencia artificial por parte de los humanos y su fascinación por la misma proviene de una larga tradición de entusiasmo humano por la ciencia, que a partir de la Ilustración surge como una nueva forma de religiosidad, con sus dogmas y santos, como han criticado incluso algunos de los propios científicos(25).

Esa admiración por la ciencia lleva desde la Ilustración a intentar extender ésta y sus métodos a las ciencias sociales, como el Derecho. García de Enterría, entre otros, ha ilustrado muy bien esa fascinación por la física newtoniana de los ilustrados y su extensión al Derecho, con referencia a Montesquieu, cuando señala, respecto a la formulación del principio de legalidad por los revolucionarios franceses del siglo XVIII, que la:

“() formulación del imperio o de la soberanía de la Ley como ideal política no es más que una transposición a la teoría social del principio de legalidad del universo sobre el que trabaja el pensamiento de occidente desde el Renacimiento y que alcanza en la Física de Newton y en la ilustración su expresión definitiva. Es bien conocido, en efecto, cómo Montesquieu abre su gran obra - que va a ser uno de los más eficaces motores del nuevo movimiento – justamente desde esta idea central, que hace unívoco el sentido de las leyes en la naturaleza y en la sociedad: “Las leyes en su significación más extensa son ls relaciones necesarias que derivan de la naturaleza de las cosas, y en este sentido todos los seres tienen sus leyes; la divinidad tiene sus leyes; las inteligencias superiores al hombre común tienen sus leyes; las bestias tienen sus leyes; el hombre tiene sus leyes”(26)

La aspiración de los revolucionarios ilustrados era conseguir una administración que fuera una máquina de aplicación automática de leyes aprobadas por el parlamento, un ser inanimado que aplicara las palabras de la ley, por utilizar por analogía la conocida metáfora de Montesquieu respecto al poder judicial(27). Forma parte del principio de legalidad esta idea, enraizada en la física newtoniana que afectó a todas las disciplinas, incluyendo al Derecho. Como señala García de Enterría en su estudio La Lengua de los Derechos:

“Por vez primera en la historia humana, todo el aparato del poder se objetiviza en un abstracto y casi mecánico (casi, porque enseguida habrá de aceptarse que la Ley puede y debe habilitar poderes llamados discrecionales en favor de las autoridades administrativas, poderes que facultan una posibilidad de elección entre soluciones igualmente justas) aparato de ejecución legal, de normas escritas y como tales ciertas, elaboradas meditadamente con la sage lenteur de las Asambleas, fijas e inmutables para los intérpretes y para los aplicadores, seguras, pues, para los ciudadanos, que por vez primera en la historia pueden conocer el Derecho a través de su publicación regular en su tenor exacto”(28)

Esta influencia mecanicista de la física newtoniana se refleja muy bien en la imagen que describe también el mismo autor de la Administración centralizada francesa - centralización heredada del Ancien Régime, por cierto, como destacó Tocqueville(29) - la cual funcionaría como “un reloj” o “un mecanismo”, del que se destaca su gran eficacia, pero del que se omite, como ha sido señalado por Prats, su sesgo en relación al papel de los ciudadanos y a la definición del interés general en el modelo francés. Se trata de un mecanismo en el que la libertad y la energía social, el capital social, por emplear una expresión moderna, tienen un papel secundario, lo que separa a esta tradición ilustrada francesa de la escocesa(30).

La fascinación ilustrada por un mundo mecanicista llevó al auge de los autómatas durante el siglo XVIII:

“El autómata, años antes juego, sorpresa y metáfora de la cultura manierista, se convierte ahora en trasunto de la idea que la Ilustración tiene del Hombre, al que ve como una máquina, ya no regido por los astros sino por los propios mecanismos de sus vísceras y músculos”(31).

Esa pasión por los autómatas supondría un antecedente de la admiración que para algunos despiertan las posibilidades de la inteligencia artificial hoy en día. Los autómatas de la ilustración serían algo así como los tatarabuelos de los robots actuales. Por ejemplo, Jacques de Vaucanson, creó un ‘Pato con aparato digestivo’, fabricado en metal(32). El animal mecánico era, parece ser, capaz de tragar y digerir la comida: la tomaba de la mano de su creador y desaparecía dentro de su artificial organismo para después ser excretada. Vaucanson había ideado todo un sistema de tubos que conducían el grano al supuesto estómago, donde aseguraba haber instalado una especie de laboratorio químico en miniatura para descomponer el alimento.

Figura 4 Esquema del interior del Pato con aparato digestivo de Vaucanson(33)

La traslación de la física newtoniana al Derecho no fue patrimonio exclusivo de Francia, pues en el ámbito del rule of law también existió la misma, dando lugar al movimiento que ha sido llamado Newtonian Government, gobierno newtoniano, menos conocido entre nosotros que la situación descrita en Francia.

En el siglo XVIII un ayudante de Newton, John Desagulier - nacido francés, hijo de hugonotes que emigró a Inglaterra con nueve años y se convirtió en asistente de Newton, en miembro de la Royal Society y en prominente masón - explicitó ese traslado interdisciplinar con un poema que loaba la aplicación de las leyes Newtonianas al gobierno

Figura 5: Portada de la obra de Desaguliers(34)

En el mismo puede leerse al principio que:

“Among my philosophical inquiries, I have considered government as a phenomenon, and looked upon that form of it to be most perfect, which did most nearly resemble the natural government of our system, according to the laws settled by the all-wife and almighty architect of the universe”.

La misma comparativa es posible detectar en el Derecho público norteamericano de la ilustración, en el que Michael Foley ha subrayado la historia de la absorción de las idees de Newton en la construcción del sistema de checks and balances norteamericano(35), a través, por ejemplo, de las ideas de James Madison, uno de los padres fundadores y participante en la redacción de la Constitución de los EEUU, cuya apasionante vida nos lleva a sus estudios en la escuela de física social de la actual Universidad de Princeton durante el siglo XVIII(36).

Esa misma fascinación de los ilustrados es posible reseguirla hoy respecto a la que muestra nuestra sociedad por los robots y la inteligencia artificial, surgiendo ya algunas voces que pronostican la posibilidad de robots con consciencia, que podrían efectuar las tareas humanas mejor y, además, sin los errores, los sesgos propios del cerebro humano(37), que nos han sido revelados ya en las últimas décadas por la psicología cognitiva(38).

Sin embargo, es preciso plantearse, en primer lugar, si la IA podrá adquirir en el futuro consciencia y característica propias humanas, y, en segundo lugar, considerar, además los problemas propios de la IA, susceptible de sus propios sesgos, como veremos más adelante.

Como recordaba el profesor Tomàs Ramón Fernández en el citado artículo de 1971 (Tomás Ramón Fernández, 1971, 331) “En primer término hay que tener en cuenta que el ordenador dice lo que previamente le han dicho quienes lo han programado (). Aun en el supuesto de que lo hagan bien (), su opinión es sólo una opinión personal que, sin embargo, a través de la información masiva y del prestigio mítico de los ordenadores en la sociedad actual, va a convertirse necesariamente en una opinión general, avalada por ese mítico prestigio social de la máquina. Sin perjuicio de volver sobre esto más: adelante, hay que convenir que la programación del ordenador y el suministro de material al mismo constituyen una especie de. codificación, realizada internamente a nivel de técnicos, sin las garantías externas de la codificación formal, pero con sus mismos inconvenientes y, sobre todo, con el mismo prestigio y fuerza social (ya que no jurídico-formal) que ésta”.

Lo cierto es que empiezan a producirse anécdotas, que podrían convertirse en categoría, en relación con una confianza taumatúrgica en la IA. Hace algún tiempo, la prensa internacional daba noticia de que un robot se presentaba a la alcaldía de un distrito de Tokio para acabar con la corrupción. El androide consiguió quedar en la tercera posición, con 4.013 votos(39)

Figura 6(40)

Sin embargo, autorizadas voces llaman también a la prudencia en el uso y control de la inteligencia artificial, para no crear algo incontrolable, como la carta abierta firmada por diversas personalidades, entre ellas Stephen Hawking, demuestra(41).

2.3.2 La inteligencia artificial en relación con los privados que ejercen funciones públicas o prestan servicios de interés general. La necesaria regulación de la autoregulación.

Ya hemos señalado que el uso de la IA que aquí nos interesa se centra en el ámbito de las AAPP. Ahora bien, creemos que las reflexiones que estamos efectuando deben ser de interés también fuera de este ámbito, en relación con aquellos privados que realizan funciones públicas o prestan servicios de interés general. Un ámbito típico es el energético(42).

Por ejemplo, a finales de octubre de 2017, un día se produjo por espacio de tres horas, desde la última hora de la tarde y hasta las 22 horas, un repunte inusual del precio de la electricidad, debido a la entrada en funcionamiento del “servicio de ajuste de reserva de potencia adicional a subir” y del modo en que éste determina el precio. El  modo en que tendría que operar el algoritmo era público y estaba descrito y publicado en el BOE, en el núm. 190, de 9 de agosto de 2013, (Resolución de 1 de agosto de 2013, de la Secretaría de Estado de Energía, por la que se aprueba la modificación de los procedimientos de operación del Sistema Eléctrico Península, Anexo II:  Algoritmo de asignación de ofertas para la contratación de reserva de potencia adicional a subir(43))  Pese a ello, nadie ha podido determinar las causas exactas de la muy significativa puntual  elevación del precio.

Ya la Comisión Nacional de la Competencia y de los Mercados, en diciembre de 2016, en su Informe de supervisión del mercado peninsular de producción de energía eléctrica. año 2015, pág. 27, IS/DE/025/16, había advertido que:

“se siguen detectando episodios en los que ofertas más baratas que el precio que resulta finalmente casado, resultan descartadas por las limitaciones impuestas al algoritmo utilizado en este proceso”.

Pasando de la anécdota a la categoría, hay que tener en cuenta que la comunicación de la UE repetidamente mencionada de 2018 señala respecto de la autoregulación y la IA que:

“Si bien la autorregulación puede proporcionar un primer conjunto de índices de referencia con respecto a los cuales sea posible valorar las aplicaciones y resultados que van apareciendo, las autoridades públicas deben garantizar que los marcos reglamentarios para el desarrollo y el uso de las tecnologías de IA estén en consonancia con esos valores y derechos fundamentales”

2.3.3 Ejemplos de regulaciones comparadas: los casos francés y australiano

Para cerrar este apartado vamos a descender a la letra pequeña de dos ordenamientos jurídicos concretos, uno origen del modelo de Derecho administrativo denominado del règim administrative y otro vinculado a la tradición del rule of law.

Se trata de los casos de Francia y Australia.

En el caso francés, es destacable su ley n° 2016-1321 du 7 octobre 2016 pour une République numérique, que señala lo siguiente

“Art. 4: une décision individuelle prise sur le fondement d'un traitement algorithmique comporte une mention explicite en informant l'intéressé. Les règles définissant ce traitement ainsi que les principales caractéristiques de sa mise en uvre sont communiquées par l'administration à l'intéressé s'il en fait la demande

Art. 6: les administrations publient en ligne les règles définissant les principaux traitements algorithmiques utilisés dans l'accomplissement de leurs missions lorsqu'ils fondent des décisions individuelles “

Por su parte, el reglamento que la desarrolla, el Décret du 16 mars 2017 (Art. R. 311-3-1-2) establece que:

<< Art. R. 311-3-1-2.-L'administration communique à la personne faisant l'objet d'une décision individuelle prise sur le fondement d'un traitement algorithmique, à la demande de celle-ci, sous une forme intelligible et sous réserve de ne pas porter atteinte à des secrets protégés par la loi, les informations suivantes :

<< 1° Le degré et le mode de contribution du traitement algorithmique à la prise de décision ;

<< 2° Les données traitées et leurs sources ;

<< 3° Les paramètres de traitement et, le cas échéant, leur pondération, appliqués à la situation de l'intéressé ;

<< 4° Les opérations effectuées par le traitement ; >>.

En Australia, el uso de la inteligencia artificial para la toma de decisiones administrativas se está extendiendo, con habilitaciones normativas mucho más simples que las francesas. Una de las primeras se encuentra en la Social Security (Administration) Act 1999, art. 64, cuyo patrón ha sido seguido luego por muchas otras(44):

“6A Secretary may arrange for use of computer programs to make decisions

(1) The Secretary may arrange for the use, under the Secretary’s control, of computer programs for any purposes for which the Secretary may make decisions under the social security law.

(2) A decision made by the operation of a computer program under an arrangement made under subsection (1) is taken to be a decision made by the Secretary(45).”

III. SITUACIÓN ACTUAL Y POSIBLES LÍNEAS JURÍDICAS DE AVANCE EN LA MATERIA

Con lo visto hasta aquí, podemos concluir que la regulación de la actividad administrativa automatizada en España es débil, dispersa y con lagunas referidas a temas de acceso a la información, procedimiento de creación de los algoritmos y explicación de las decisiones adoptadas por éstos.

La necesaria, en nuestra opinión, mejora de la regulación española debe pasar primero, creemos, por una reflexión de fondo sobre los tipos de potestades administrativas que puedan ejercerse automatizadamente y sobre a qué clase de decisiones puede dar lugar su ejercicio.

3.1. La inteligencia artificial en relación con la toma de decisiones administrativas: apoyo a la decisión o decisión automatizada respecto a ejercicio de potestades regladas y discrecionales

El tipo de potestades administrativas en que la IA podría incidir y la clase de actos administrativos que podrían generarse es objeto de un incipiente debate entre la escasa doctrina administrativista que se ha ocupado del tema.

En primer lugar, queremos destacar la posibilidad de que la IA adopte actuaciones administrativas, formalizadas o no, tanto antes de iniciar un procedimiento administrativo (art. 55 ley 39/2015, referido a actuaciones preliminares, que es lo que en nuestra opinión realizar la ley valenciana citada), durante el procedimiento administrativo (adopción de medidas cautelares, petición o generación de informes, por ejemplo) y en la terminación del procedimiento (dictar la propia resolución definitiva). Por tanto, la IA puede generar actividad material o técnica o actos administrativos formalizados, tanto de trámite como resolutorios. Asimismo, tecnológicamente, podría producir también disposiciones generales, si bien la normativa existente calla sobre este aspecto y nosotros vamos en breve a recomendar la prohibición del uso de la IA en relación con ejercicio de potestades discrecionales, incluidas, claro está, las planificadoras o reglamentarias.

Cuestión diferente, entrando ya en el segundo aspecto anunciado, es si esas decisiones administrativas pueden ser producto indistinto del ejercicio de potestades regladas y discrecionales.

Desde luego, parece indiscutida la posibilidad de que la IA produzca decisiones automatizadas en relación con potestades regladas que impliquen, como señalan García de Enterría y Tomás Ramón Fernández que:

“la Ley puede determinar agotadoramente todas y cada una de las condiciones de ejercicio de la potestad, de modo que construya un supuesto legal completo y una potestad aplicable al mismo también definida en todos sus términos y consecuencias (por ejemplo, jubilación por edad de los funcionarios, ascenso por antigüedad, liquidación de un tributo – aplicación de una cuota establecida por la Ley a una base fijada sobre un hecho imponible determinado – etc.)”.

En estos casos, como siguen destacando estos autores “opera aquí la Administración de una manera que podría llamarse automática”. Ahora bien, como igualmente señalan estos autores, y es bien conocido:

“La existencia de potestades discrecionales es una exigencia indeclinable del gobierno humano: éste no puede ser reducido a una pura monocracia objetiva y neutral, a un simple juego automático de normas, contra lo que en su tiempo espero la entelequia social y política de la Ilustración (y como hoy, en cierto modo, alimenta la más vulgar fe en la informática y los ordenadores)”(46)

Efectivamente, como hemos visto, la traslación de los paradigmas de la física newtoniana al Derecho generó la ilusión ilustrada de que el gobierno y la administración podría suponer una aplicación automática de normas, en la que los burócratas quizás pudieran ser sustituidos en un futuro por autómatas. Ahora bien, esa fe moderna a la que se refieren esos autores cuando conecta con la IA nos lleva a una situación en que, gracias a mecanismos de aprendizaje automático y profundo y otros avances en marcha, se podría dar lugar, en teoría, a la substitución de la ponderación basada en criterios no jurídicos que pueda realizar el decisor humano. Esto es, el remplazo de la discrecionalidad humana

Pero que esa operación sea posible técnicamente, no significa que deba ser siempre deseable. Enseguida nos referiremos a los límites, que, en nuestra opinión, deben establecerse a la IA en la toma de decisiones discrecionales, no por limitaciones tecnológicas, sino de oportunidad al deberse establecer una reserva para la toma de ciertas decisiones a humanos, lo que denominaremos aquí una reserva de humanidad(47). Creemos, como vamos a razonar, que en el ámbito de decisiones discrecionales, la actividad administrativa sólo puede ser semi-automatizada, no totalmente automatizada. La IA podrá hacerse servir como apoyo, pero la ponderación final que conduzca a la decisión debería ser humana.

3.2 Límites y orientaciones en la automatización: la diligencia debida o debido cuidado derivado del derecho a una buena administración en conexión con la empatía y la phronesis humana. ¿Una reserva de humanidad?

Es en el ámbito de las potestades regladas más sencillas donde creemos, como dijimos, que la IA puede tener un papel como substituta del decisor humano. Se trata de situaciones donde la subsunción jurídica es muy simple y conduce a otorgar certificados acreditativos, por ejemplo. Un supuesto real es el contemplado en la ya citada Resolución de la Dirección General de la Agencia Estatal de Administración Tributaria, de 29 de diciembre de 2010, cuando señala entre las aplicaciones informáticas aprobadas y que se van a utilizar la referida a la obtención por los ciudadanos de certificados de encontrarse al corriente de las obligaciones tributarias (apartado primero, numero 1).

En nuestra opinión, a la que luego volveremos, aquí los algoritmos no tienen naturaleza jurídica normativa, pues se limitan a substituir al decisor humano. Como señala la legislación australiana, se puede entender que la máquina adopta la decisión por delegación del humano y éste es, a todos los efectos, a quien se imputa la decisión.

A medida que la concesión normativa de potestades supone la entrada de apreciaciones subjetivas basadas en criterios extrajurídicos (potestades regladas que exigen interpretación de conceptos, conceptos jurídicos indeterminados valorativos, discrecionalidad) se abren al decisor público una pluralidad de alternativas en el servicio al interés general, que, en nuestra opinión, disintiendo de la doctrina y jurisprudencia aún mayoritaria, no suponen una libertad de decisión, sino una obligación y responsabilidad de decidir cumpliendo las obligaciones jurídicas de buena administración conforma al estándar de diligencia debida(48).

¿Qué papel puede tener la IA, si alguno, en este caso? Si la misma puede llegar a resolver tecnológicamente de forma adecuada el ejercicio de potestades discrecionales, se abren posibilidades y problemas. Por un lado, entre las posibilidades, las asociadas a una buena administración, en su sentido de eficacia, dada la capacidad algorítmica de generar alternativas y ponderarlas, muy superior en extensión y rapidez a la humana.

Entre los problemas, sobre todo queremos llamar la atención sobre cómo el ejercicio de la discrecionalidad implica la necesidad de empatía. En ocasiones, al deber apreciarse en ocasiones conceptos jurídicos valorativos como la buena conducta, la buena fe, el ejercicio de la equidad en la revisión de oficio o la revocación, por ejemplo. En el ejercicio de discrecionalidad hay un importante papel de la empatía en esa consideración de los hechos, intereses y derechos relevantes a considerar y sopesar. El decisor público debería tener la capacidad de ponerse en la piel de los interesados, participantes y posibles afectados por la futura decisión, pues solo así podrá ponderar correctamente, para el buen ejercicio de la discrecionalidad(49).

No debe, sin embargo, confundirse esa empatía con la simpatía, prohibida por los deberes de imparcialidad y el derecho a la igualdad(50). La empatía a la que nos referimos es diferente y forma parte de una característica que parece ser específicamente humana, vinculada con la capacidad de ponerse en el lugar del otro, entrar en resonancia con los sentimientos del otro (tanto alegría como sufrimiento), no sólo de forma cognitiva sino también emocional, para dar lugar a la compasión y al altruismo(51). Esa capacidad empática, está basada en parte en las neuronas espejo, pero no únicamente, pues implica aspectos emocionales y cognitivos y a numerosas áreas del cerebro(52).

Cuando se ejerce discrecionalidad administrativa y se toman en consideración hechos, intereses y derechos de personas, esa empatía debería estar presente, y parece que sólo podría ejercerla un ser humano. Estaríamos ante un elemento de la phronesis, la sabiduría práctica o prudencia, aristotélica referida en Ética a Nicómaco, esto es al sabio ejercicio del poder, basado en una ponderación cuidadosa de las circunstancias pertinentes en cada toma de la decisión(53).

Una IA podría imitar cognitivamente la empatía (entrenamiento en gestos faciales, tono de voz, etc.) pero carece de la consciencia, emoción y humanidad precisa para no degenerar en un psicópata de sílice (54) - puesto que los psicópatas humanos carecen de empatía, pero la pueden simular, muy bien, para sus propios intereses. La existencia de empatía emocional como elemento típicamente humano, vinculado a la compasión, fue la distinción establecida por la conocida prueba o test Voight-Kampff, también llamado test de empatía, un examen científico-psicológico ficticio que aparece en la novela de ciencia ficción ¿Sueñan los androides con ovejas eléctricas? de Philip K. Dick, así como en su adaptación cinematográfica Blade Runner, cuya acción transcurre en el año 2019.

Si, por tanto, la IA no puede acabar consiguiendo disponer de máquinas con empatía emocional con los humanos, porque hace falta ser humano para ello, entonces IA y empatía emocional sería una contradictio in terminis, y el sueño, en el sentido de aspiración, de la razón total (artificial en este caso) podría llegar a producir monstruos burocráticos que no resuenen emocionalmente ni se conecten con los humanos, por utilizar el ambiguo título del genial cuadro de Goya:

Figura 7(55).

Actualmente se discute sobre la posibilidad de generar IA con consciencia similar a la humana. La discusión se enmarca en un largo debate de siglos sobre el concepto de cerebro y mente. Simplificando ahora, frente al dualismo de Descartes (el cuerpo como máquina y la mente como algo distinto), denominado críticamente por Gilbert Ryle el “dogma del fantasma en la máquina(56), una corriente potente de la ciencia materialista actual aboga por el reduccionismo biológico: la mente sólo sería un producto químico del funcionamiento del cerebro; no hay, pues, fantasma en la máquina, todo es máquina.

En consecuencia, si todo es maquinaria, no habría problema en replicar la circuitería neuronal y química de forma artificial y obtener IA con consciencia y con las características propias humanas, incluyendo la empatía. Ahora bien, frente a este planteamiento de la ciencia, esa nueva religión, como hemos visto que algunos la denominan, con sus propios dogmas también, diversos autores señalan que estamos aún lejos de poder afirmar con tal contundencia que el cerebro y la mente sean uno y que la consciencia sea un simple producto químico(57). Asimismo, el propio uso de la IA ha sido objeto de advertencias sobre sus posibles riesgos, como la conocida carta abierta firmada por científicos como Hawkins antes mencionada

En todo caso, en espera de poder avanzar, quizás, en un dilema que ha ocupado a brillantes mentes por siglos, y aplicando aquí más que las metáforas de la física newtoniana las propias de la física cuántica de nuestra época, la incertidumbre que rodea aún a la posibilidad de replicar una consciencia humana y una empatía emocional equivalente en la IA nos lleva a proponer la aplicación jurídica del principio de precaución para prevenir los graves riesgos con los que nos enfrentamos (máquinas adoptando decisiones automatizadas discrecionales que deben implicst empatía y afectan a derechos de humanos)(58). Abogamos, pues, por una regulación legal que prohíba, cuanto menos por el momento en espera de contar con más datos futuros, las decisiones totalmente automatizadas si existe discrecionalidad administrativa a ejercer, sin perjuicio de que la IA pueda emplearse dese ahora como mero apoyo en la instrucción del procedimiento antes de la decisión humana final.

Sobre la aplicación del principio de precaución fuera del ámbito ambiental, también en el social, se ha pronunciado la STS de 5 de diciembre de 2016, número de recurso 378/2013, ponente Suay Rincón, que señala que las obligaciones de debido cuidado o debida diligencia asociadas al derecho a una buena administración exigen un determinado comportamiento administrativo en el procedimiento de adopción de decisiones administrativas(59). En virtud de este principio de precaución social, seríamos partidarios de establecer, como decimos, una reserva legal de ejercicio de potestades discrecionales en favor de seres humanos, en paralelismo con el art. 9 del EBEP que exige en la actualidad que sean funcionarios lo que ejerzan las potestades administrativas, para garantizar su objetividad e imparcialidad y por tanto la buena administración. Dicha reserva, en el ámbito de la IA lo sería respecto de decisiones discrecionales exclusivamente y garantizaría algo distinto: el ejercicio humano de empatía en la diligente ponderación de hechos, derechos e intereses en que consiste la buena administración de potestades discrecionales(60).

Una limitación de este tipo debería incluirse, en nuestra opinión, en una regulación común estatal, (la ley de procedimiento común podría ser la sede adecuada). En esta línea entendemos que se inscribe, en el nivel autonómico, la ley catalana 26/2010, de 3 de agosto, de régimen jurídico y de procedimiento de las administraciones públicas de Cataluña, cuando en su art. 44.2 señala que “Sólo son susceptibles de actuación administrativa automatizada los actos que puedan adoptarse con una programación basada en criterios y parámetros objetivos”. Lo subjetivo, que no libre, es la esencia de la ponderación discrecional.

3.3. La naturaleza jurídica de los algoritmos. ¿Son los algoritmos fuente del derecho?

A la vista de todo lo expuesto, el control jurídico de la creación de algoritmos debe ir alcanzando una importancia creciente. En ese sentido, se ha dicho, parafraseando la conocida frase, que haga usted la ley y el reglamento y déjeme la aplicación informática (DE LA CUEVA, 2018). Este autor señala como:

“En la escritura del código fuente y de los algoritmos utilizados para los sistemas de gestión y de control del Estado deben exigirse los mismos requisitos que se establecen para las fuentes del Derecho y que pueden sintetizarse de la siguiente manera:

- Debe existir una regulación que establezca qué órganos tienen competencia para la escritura del código fuente y de los algoritmos, así como el procedimiento para esta labor ()

- Debe permitirse la sumisión por la ciudadanía tanto de alegaciones en lenguaje formal como en lenguaje natural ()

- El código fuente y los algoritmos deben publicarse en repositorios oficiales, donde la ciudadanía podrá leerlos y descargarlos, de la misma manera que ocurre con los boletines oficiales en línea.

- El código fuente y los algoritmos, al igual que la ley y la jurisprudencia en aplicación del artículo 13 del Texto Refundido de la Ley de Propiedad Intelectual, deben ser de dominio público

Si antes la costumbre podía ser secundum, praeter o contra legem, hoy es la aplicación informática quien puede ocupar estas tres posturas en relación con la norma jurídica. Si en aquella ocasión se resolvió el problema mediante una intervención que señaló claramente la jerarquía de las normas jurídicas, igual solución debe proponerse en la actualidad ante la aparición de estas normas secretas e indiscutibles. Los principios de legalidad y de publicidad normativa siguen vigentes y no pueden verse derogados legal o consuetudinariamente por el uso de tecnología alguna. Existen pues poderosas pero sencillas razones tanto para iusprivatistas (arts. 1.3 y 2.2 CC), como para iuspublicistas (art. 9.3 CE), para argumentar en favor de esta regulación del código fuente y de los algoritmos. Se trata de algo tan elemental como seguir reivindicando el imperio de la ley.”

Coincidimos totalmente con la necesidad de ofrecer transparencia sobre la elaboración de los algoritmos y permitir la participación ciudadana en su diseño. Pero no creemos que todo algoritmo sea siempre fuente del derecho. En el caso de ejercicio de potestades administrativas, se puede decir que se delega en la IA tal ejercicio y el autómata toma el sitio del humano en función de las instrucciones que ha recibido.

La fuente de Derecho, en nuestra opinión, sigue siendo la norma jurídica que es ejecutada mediante el algoritmo y el código fuente(61). Ahora bien, que ambos no sean fuentes del Derecho no supone que no requieran de un procedimiento debido administrativo para su adopción, del que se carece hasta el momento, de una motivación comprensible, cuya exigencia no existe, y de una transparencia adecuada, que incluya la posibilidad de participación ciudadana en su elaboración, su publicación y el derecho de acceso.

Enseguida volveremos sobre este punto.

3.4. El Estado de Derecho y la inteligencia artificial.

3.4.1 Algoritmos, derechos de los ciudadanos y cajas negras (black boxes) y muñecas rusas: abriendo las cajas negras

La citada Comunicación de 2018 destaca la necesidad de:

“Garantizar el establecimiento de un marco ético y jurídico apropiado, basado en los valores de la Unión y en consonancia con la Carta de los Derechos Fundamentales de la UE”

En la situación actual, la opacidad que rodea a los algoritmos viene determinada por una pluralidad de factores, que generan diversas cajas negras, que, a modo de muñecas rusas, se van superponiendo y haciendo opacos los programas informáticos en que se basa la IA.

Así, las Administraciones Públicas no acostumbran a formalizar ni publicitar la decisión de utilizar algoritmos y éstos; aun cuando se publicite el algoritmo, la complejidad del mismo y su funcionamiento en el caso de los de aprendizaje automático y profundo dificultan conocer cómo funcionan (a ello hace alusión en puridad la expresión caja negra, como ya sabemos); hay que contar además con el interés de los diseñadores de proteger secretos empresariales para mantener una ventaja competitiva respecto a sus competidores, protegido por la limitación del derecho de acceso cuando pueda suponer un perjuicio a “ el secreto profesional y la propiedad intelectual e industrial” (art. 14.1 j ley 19/2013) (62); debe tenerse en cuenta la voluntad de las administraciones públicas de evitar que el conocimiento por parte de los destinatarios de las decisiones tomadas a través de algoritmos les permita eludir su aplicación; y también considerar la voluntad de las administraciones públicas de garantizar la confidencialidad o el secreto del proceso de toma de decisión.

Para terminar con la opacidad y abrir estas diversas cajas negras, es preciso encontrar el modo de hacer cumplir las obligaciones jurídicas que se derivan del derecho a una buena administración de los ciudadanos, también, claro está, en el ámbito de la IA y del resto de derechos. Obligaciones que en el caso de la buena administración incluyen, y rebasan, las propias de la transparencia. Como señala la la STS de 30 de abril de 2012 (Recurso Núm. 1869/2011), aceptando los fundamentos jurídicos de la sentencia de instancia, respaldada por el TS que rechaza el recurso de casación, el derecho a una buena administración, “derecho de última generación”, es integrado por el acceso de los ciudadanos a archivos y registros, vinculado a principios de transparencia(63).

Las diversas medidas que deberían desplegarse en garantía del derecho a una buena administración de los ciudadanos, del resto de derechos y para permitir el control de la actividad automatizada (o, en terminología menos tradicional en nuestra lenguaje jurídico tradicional, su rendición de cuentas) incluirían; la construcción de un procedimiento debido administrativo para la aprobación de los algoritmos; la reafirmación de un derecho a una explicación comprensible del funcionamiento de los algoritmos basado en el derecho a comprender; el uso de programario abierto; la publicidad activa y el derecho de acceso a los algoritmos; la prevención y el control de los sesgos de los algoritmos y la evaluación de impacto de protección de datos de los mismos.

1. Procedimiento administrativo debido

La Ley 30/1992, de 26 de noviembre, de régimen jurídico de las administraciones públicas y del procedimiento administrativo común preveía que “los programas y aplicaciones electrónicos, informáticos y telemáticos que vayan a ser utilizados por las Administraciones Públicas para el ejercicio de sus potestades, habrán de ser previamente aprobados por el órgano competente, quien deberá difundir públicamente sus características” (art. 45). Asimismo, la LGT señala en su art. 96, como hemos dicho ya, que “los programas y aplicaciones electrónicos, informáticos y telemáticos que vayan a ser utilizados por la Administración tributaria para el ejercicio de sus potestades habrán de ser previamente aprobados por ésta en la forma que se determine reglamentariamente”

Las regulaciones posteriores, ya aludidas, no han desarrollado convenientemente los aspectos procedimentales de la aprobación de algoritmos y códigos fuente, cuestión que sería importante recuperar y conectar con la existencia de un procedimiento administrativo debido que permita, antes de la misma, la participación ciudadana mediante un trámite de información pública y de audiencia, en su caso.

Este momento procedimental ha de permitir a los ciudadanos alegar “para corrección de errores (bugs) y la propuesta de características (features) de la aplicación o del algoritmo” (De La Cueva, 2018). Asimismo, esas alegaciones deben ser respondidas de forma fundada, dado que como señala el art. 83.3 de la ley 39/2015 “quienes presenten alegaciones u observaciones en este trámite tienen derecho a obtener de la Administración una respuesta razonada, que podrá ser común para todas aquellas alegaciones que planteen cuestiones sustancialmente iguales”. La ausencia de tal respuesta, supone una violación de la debida diligencia o debido cuidado exigido por el derecho a una buena administración, que debería lleva a la ilegalidad de la aprobación de los algoritmos ( en relación a este tema, véase por ejemplo la STS de 29 de octubre de 2010, RJ 2011\1067, anulándose en este caso un acuerdo de Consejo de Ministros sobre distribución de derechos de emisión de gases de efecto invernadero por falta de respuesta a alegaciones de los demandantes durante el procedimiento administrativo)(64).

Este sería uno de los casos en que las características del procedimiento exigirían la información pública (art. 83.1 Ley 39/2015, cuando señala que “El órgano al que corresponda la resolución del procedimiento, cuando la naturaleza de éste lo requiera, podrá acordar un período de información pública”: evidentemente el desafortunado podrá debe entenderse como que deberá, dado que la naturaleza del procedimiento de aprobación de algoritmos y códigos fuente lo requiere).

Además, si la elaboración de los algoritmos y códigos fuente va a afectar a derechos y/o intereses identificables por la Administración, deberá abrir, además, el trámite preceptivo de audiencia, como es obvio (art. 82 Ley 39/2015).

Todo ello debería estarse haciendo ya, a pesar de que no existan aún procedimientos administrativos formalizados sectoriales de aprobación de los programas informáticos administrativos, en lo que sepamos. Y ello por simple aplicación del procedimiento administrativo común a la actividad administrativa automatizada. De lege ferenda, entendemos muy conveniente la formalización sectorial de dichos procedimientos adaptados a las necesidades específicas, pero sin obviar estos principios y reglas comunes de obligado cumplimiento. De igual modo, sería interesante, en nuestra opinión, que bien la ley de procedimiento administrativo común estatal o bien la legislación de Administración electrónica formalizase estableciese algunas reglas y principios esenciales, en la línea de los expuestos, como recordatorio a los instructores del procedimiento administrativo de sus obligaciones de buena administración.

Si los algoritmos y códigos fuentes fueran elaborados por contratistas de la Administración, creemos que debería entenderse que los mismos estarían ejerciendo, en definitiva, una función pública al aprobar un programa informático de aplicación normativa, ejercicio de función pública por privados a la que convendría extender dichos principios y reglas del procedimiento administrativo debido también por ley, con oportuna modificación del ámbito de aplicación de la ley 39/2015 actual, como entidades colaboradoras informáticas de la Administración, como hemos tenido ocasión de exponer, con carácter general, en otro momento con más detalle(65).

La traslación de la normativa que concede la potestad reglada a lenguaje informático (vid. introducción) es un paso crucial y no exento de dificultad, que debe ser objeto de escrutinio público y de los interesados. Un error (sea por negligencia o dolo) en esta fase puede suponer, y ha supuesto ya en la práctica, la réplica del mismo por cientos, miles de decisiones(66).

En virtud del derecho a una buena administración, este procedimiento administrativo desarrollado con la debida diligencia o debido cuidada debe guardar una congruencia relacional con la decisión que finalmente se adopte y la motivación de la misma.

2. Derecho a una explicación comprensible

Entendemos que la diligencia debida (o debido cuidado) ligada al derecho a una buena administración incluye también la obligación de los gobiernos y las administraciones de actuar diligentemente para hacerse comprender y el correlativo derecho del ciudadano a comprender la información que le transmite la Administración de cualquier modo (mediante notificaciones o publicaciones) y mediante cualquier soporte (páginas web, plafones informativos, cartas), incluyendo, claro está, a los algoritmos y códigos fuente utilizados, en su caso, para la adopción de decisiones.

La Resolución del Parlamento Europeo, de 16 de febrero de 2017, con recomendaciones destinadas a la Comisión sobre normas de Derecho civil sobre robótica (2015/2103(INL)), que citaremos en adelante como la Resolución de 2017, expone que el principio de transparencia:

“consiste en que siempre ha de ser posible justificar cualquier decisión que se haya adoptado con ayuda de la inteligencia artificial y que pueda tener un impacto significativo sobre la vida de una o varias personas; considera que siempre debe ser posible reducir los cálculos del sistema de inteligencia artificial a una forma comprensible para los humanos”

Este derecho a comprender estaría relacionado, por supuesto, con el derecho a utilizar las lenguas oficiales en sus relaciones con la Administración, regulado ya por nuestro ordenamiento, como es sabido y sobre el cual ahora no podemos detenernos. Pero, y esto es lo que nos interesa, va más allá. Incluye también la comprensibilidad de la información transmitida por la Administración, sea en la lengua cooficial que se emplee, de acuerdo con el ordenamiento jurídico. Algo que sólo tímidamente se ha reconocido jurídicamente en algunas normas(67).

Pues bien, en nuestra opinión, se explicite o no en una ley como las mencionadas, la obligación de diligencia de los gobierno y administraciones de hacerse comprender forma parte intrínseca de los principios de buen gobierno y del derecho a una buena administración, ya mencionados. Por tanto, es una obligación genérica y transversal, en cualquier sector y respecto de cualquier información transmitida, ligada al estándar de conducta de debida diligencia aquí propuesto y vinculada, desde un aspecto negativo, con la prohibición de interdicción de la arbitrariedad constitucional (art. 9.3 CE) y, en positivo, con la obligación de motivación de las decisiones administrativas (art. 35.1 Ley 39/2015).

Ese derecho a comprender tendría trascendencia respecto al uso de algoritmos y Big Data, puesto que la explicación que ofrezca la Administración del funcionamiento del sistema debe ser comprensible para el ciudadano(68). Ya hemos visto como diversos preceptos del Reglamento General de Protección de Datos de la UE (Artículo 13 Información que deberá facilitarse cuando los datos personales se obtengan del interesado, Artículo 14 Información que deberá facilitarse cuando los datos personales no se hayan obtenido del interesado Artículo 15 Derecho de acceso del interesado) se refieren a que cuando existan decisiones automatizadas deberá proporcionarse “información significativa sobre la lógica aplicada, así como la importancia y las consecuencias previstas de dicho tratamiento para el interesado”.

Caso de vulnerarse el estándar de debida diligencia en la comprensibilidad, cosa que habrá que presumirse si el texto no es inteligible para el hombre y mujer que a su vez despliegue una diligencia razonable en la comprensión (la de un buen padre de familia, art. 1104 Cc, no profesional, o en el caso empresarial, la de un “ordenado empresario” prevista en la legislación de sociedades, profesional y más exigente), cabría alegar la imposibilidad de cumplir lo exigido (lo que haría la decisión administrativa imposible y/o irracional, art. 47 ley 39/2015 para actos, art. 9.3 Constitución española en general) y solicitar la anulación judicial de la decisión adoptada, así como, en su caso, responsabilidad patrimonial por los daños que la actividad incomprensible de la Administración hayan causado en el destinario.

3. Las administraciones deben utilizar programario abierto o declararlo de fuentes abiertas.

La LRJSP dispone que las administraciones pondrán declarar como de fuentes abiertas las aplicaciones, desarrolladas por sus servicios o que hayan sido objeto de contratación y de cuyos derechos de propiedad intelectual sean titulares, cuando de ello se derive una mayor transparencia en el funcionamiento de la Administración Pública (artículo 157.2 LRJSP).

4. Publicidad activa y derecho de acceso a los algoritmos y códigos fuente:

Ya hemos visto como en el Derecho francés el Decreto de 16 de marzo de 2017, que desarrolla la LOI n° 2016-1321 du 7 octobre 2016 pour une République numérique, es más concreto aún, al exigir, una comunicación inteligible a quien lo requiera de “1° Le degré et le mode de contribution du traitement algorithmique à la prise de décision ; << 2° Les données traitées et leurs sources ; << 3° Les paramètres de traitement et, le cas échéant, leur pondération, appliqués à la situation de l'intéressé ; << 4° Les opérations effectuées par le traitement). >>

Pero ya antes de ello, en 2015, la Comisión francesa d’accès aux documents administratifs obligó a la Direction générale des finances publiques a hacer público el código fuente del programa de ordenador usado para calcular o el impuesto sobre los ingresos de las personas físicas y en 2018 a hacer accesible los códigos fuente de tres programas que desarrollan modelos con datos económicos usados por el Ministerio de Economía(69). También recientemente, la decisión del Tribunal Administrativo Regional de Lazio-Roma declara que un algoritmo, que servía para la toma de decisiones automatizadas sobre movilidad de docentes por la Administración pública italiana, es un acto administrativo digital y, por tanto, bajo la legislación de acceso a la información, los ciudadanos tienen el derecho a su acceso(70).

En España, ya hicimos referencia en la introducción a diversas decisiones de la GAIP catalana que han concedido derecho de acceso al algoritmo. Como señala la Resolución 200/2017, de 21 de junio (la traducción es nuestra):

“Se tiene que reconocer el derecho de la persona reclamante a acceder al código fuente del programa informático empleado por el Consejo Interuniversitario en la designación de los miembros de los tribunales correctores de las PAU, por razones similares a las que llevaron, a la Resolución de esta Comisión de 21 de septiembre de 2016, a estimar la Reclamación 124/2016 y declarar el derecho a conocer el algoritmo matemático implementado por el mencionado programa informático.

El código fuente de un programa informático empleado por la Administración en la designación de los miembros de tribunales evaluadores constituye información pública a los efectos del artículo 2.b de la Ley 19/2014, del 29 de diciembre, de transparencia, acceso a la información pública y buen gobierno (LTAIPBG). Según este precepto, se entiende por información pública “la información elaborada por la Administración y la que esta tiene en su poder como consecuencia de su actividad o del ejercicio de sus funciones, incluida la que le suministran los otros sujetos obligados de acuerdo con el que establece esta ley”. Esta definición incluye toda la información que la Administración elabore o tenga en su poder en ejercicio de sus funciones, con independencia del lenguaje o forma en que se exprese. La información pública incluye así, no solo aquella que se expresa en lenguaje natural (en palabras, que es la más habitual), sino también la expresada mediante fotografías, videos, planos, señales, etc. o mediante otros lenguajes, como el matemático o, en este caso, el informático. El artículo 19.1 LTAIPBG confirma esta noción amplia de información pública cuando dispone que “el derecho de acceso a la información pública incluye cualquier forma o apoyo en que esta información haya sido elaborada o en que se conserve”. El mismo se desprende del artículo 13 de la Ley básica estatal 19/2013, de 9 de diciembre, de transparencia, acceso a la información pública y buen gobierno, cuando establece que “se entienden por información pública los contenidos o documentos, sea qué sea su formato o apoyo, que estén en poder de alguno de los sujetos incluidos en el ámbito de aplicación de este título y que hayan sido elaborados o adquiridos en el ejercicio de sus funciones”.

Como información pública, es plenamente accesible por la ciudadanía, salvo que concurra alguno de los límites tasados previstos por la legislación de transparencia, concurrencia que tiene que ser motivada debidamente por la Administración (artículos 20 y 34.4 LTAIPBG). La Administración reclamada estimó la solicitud de acceso formulada por la persona reclamante (antecedente 3) y no ha invocado ningún límite que pueda justificar denegar el acceso. Durante la tramitación de la reclamación ha pedido informe al CESICAT sobre si la entrega del código fuente solicitado puede ocasionar un perjuicio para la seguridad pública, perjuicio que podría justificar denegar el acceso de acuerdo con el artículo 21.1.a LTAIPBG, pero este informe fue pedido hace más de un mes y medio y todavía no ha sido emitido (antecedentes 6, 8 y 9). Teniendo en cuenta la naturaleza y la finalidad del programa informático solicitado, destinado a determinar la composición de los tribunales correctores de las PAU, no parece que la entrega de su código fuente pueda representar un peligro para la seguridad pública. Este código fuente se tiene que limitar a recoger y aplicar correctamente las variables antes mencionadas (requerimientos de paridad entre hombres y mujeres y de porcentajes mínimos de profesores universitarios y de bachillerato, etc.), de forma reglada, sin que su conocimiento por terceros ponga en peligro la población ni ningún colectivo en particular. Si lo que se trata es de de evitar que el código fuente pueda ser manipulado por terceros, esto no se garantiza impidiendo su conocimiento, sino adoptando las medidas de seguridad necesarias para evitar que terceras personas puedan acceder –presencialmente o de forma remota– a los ordenadores y sistemas informáticos que lo utilizan.

Tampoco se ha invocado el límite relativo a los derechos de propiedad intelectual o industrial (artículo 21.1.g LTAIPBG), seguramente porque, como se ha señalado en el fundamento jurídico anterior, el programa informático en cuestión es de titularidad de la Generalitat.

Por otro lado, existe un interés público y privado –de los interesados que participan en las diversas convocatorias– evidente en poder comprobar que el programa informático está correctamente diseñado para garantizar la igualdad de todos los participantes y que la designación de los miembros de los tribunales se ajusta a los criterios establecidos por la normativa que los regula. Como ya se señaló a la Resolución de 21 de septiembre de 2016 sobre las Reclamaciones 123/2016 y 124/2016, no se tiene que olvidar que los miembros de los tribunales correctores de las PAU ejercen una función pública relevante y que son retribuidos con dinero público”

La Ley Orgánica 3/2018, de 5 de diciembre, de Protección de Datos Personales y garantía de los derechos digitales señala por su parte lo siguiente:

“Artículo 13. Derecho de acceso.

1. El derecho de acceso del afectado se ejercitará de acuerdo con lo establecido en el artículo 15 del Reglamento (UE) 2016/679.Cuando el responsable trate una gran cantidad de datos relativos al afectado y éste ejercite su derecho de acceso sin especificar si se refiere a todos o a una parte de los datos, el responsable podrá solicitarle, antes de facilitar la información, que el afectado especifique los datos o actividades de tratamiento a los que se refiere la solicitud.

2. El derecho de acceso se entenderá otorgado si el responsable del tratamiento facilitara al afectado un sistema de acceso remoto, directo y seguro a los datos personales que garantice, de modo permanente, el acceso a su totalidad. A tales efectos, la comunicación por el responsable al afectado del modo en que éste podrá acceder a dicho sistema bastará para tener por atendida la solicitud de ejercicio del derecho. No obstante, el interesado podrá solicitar del responsable la información referida a los extremos previstos en el artículo 15.1 del Reglamento (UE) 2016/679 que no se incluyese en el sistema de acceso remoto.

3. A los efectos establecidos en el artículo 12.5 del Reglamento (UE) 2016/679 se podrá considerar repetitivo el ejercicio del derecho de acceso en más de una ocasión durante el plazo de seis meses, a menos que exista causa legítima para ello.

4. Cuando el afectado elija un medio distinto al que se le ofrece que suponga un coste desproporcionado, la solicitud será considerada excesiva, por lo que dicho afectado asumirá el exceso de costes que su elección comporte. En este caso, solo será exigible al responsable del tratamiento la satisfacción del derecho de acceso sin dilaciones indebidas

Disposición adicional segunda. Protección de datos y transparencia y acceso a la información pública.

La publicidad activa y el acceso a la información pública regulados por el Título I de la Ley 19/2013, de 9 de diciembre, de transparencia, acceso a la información y buen gobierno, así como las obligaciones de publicidad activa establecidas por la legislación autonómica, se someterán, cuando la información contenga datos personales, a lo dispuesto en los artículos 5.3 y 15 de la Ley 19/2013, en el Reglamento (UE) 2016/679 y en la presente ley orgánica”

En cuanto a la publicidad activa, en principio los algoritmos y códigos fuente deben ser considerados, cuando se utilizan para actividad automatizada o semi-automatizada (en apoyo de las decisiones administrativas), “información cuyo conocimiento sea relevante para garantizar la transparencia de su actividad relacionada con el funcionamiento y control de la actuación pública” (art. 5.1 Ley 19/2013), por lo que deberían publicarse en los portales de transparencia, en su caso, con los límites a que hace referencia el art. 5.3.

Ahora bien, para finalizar este apartado, hay que tener en cuenta que, como avanzamos, la transparencia plena (el acceso completo al código fuente de un algoritmo) no siempre será suficiente para acreditar la justicia de premisas o la regularidad de funcionamiento del sistema. Además, pueden existir elementos que los responsables del algoritmo no estarán dispuestos a mostrar públicamente para evitar su copia por terceros, y la pérdida de la ventaja competitiva de su producto. Por otro lado, pueden existir datos personales de las personas sometidas a los algoritmos que deban ser protegidos.

En los casos en que dicha transparencia no es posible o deseable, se ha planteado la utilidad de las auditorías de algoritmos para poder comprobar aspectos como la licitud de las premisas o principios básicos que ejecuta el algoritmo (si son no discriminatorias, por ejemplo, como enseguida veremos), la regularidad del funcionamiento del sistema (que la decisión adoptada y que me ha afectado (output), se basó en esas mismas premisas justas, aplicadas precisamente a mis datos (input) ), la regularidad del funcionamiento y aplicación del algoritmo o sistema (que ese sistema se aplica igualmente al resto de personas además de al interesado y funcionará exactamente igual que ha funcionado con él)(71). Mediante pruebas de conocimiento cero (“zero knowledge proof”) y Commitments, testigos criptográficos, es posible generar un sistema de control que permita a un tercero especialista auditar el funcionamiento de un algoritmo, accediendo a información que acredite de forma sólida su regularidad en un caso determinado (o en todos) pero sin revelar partes esenciales de su codificación, premisas y funcionamiento. Este será un campo a desarrollar en el futuro.

5. Prevención y control de los sesgos

Aunque, como hemos dicho, los algoritmos tienen el potencial de promover la eficiencia, la consistencia y la justicia, también pueden reforzar discriminaciones históricas u obscurecer comportamientos indeseables(72). Existen datos de que clasificadores algorítmicos de riesgo usados en algunos estados de los EEUU en el ámbito de la justicia doblan la clasificación de personas negras como futuros criminales en relación a las personas blancas de forma incorrecta.

Desde luego, ese funcionamiento de los algoritmos sería discriminatorio de acuerdo con el art. 14 CE. El problema es que esos sesgos discriminadores pueden producirse por diversas puertas de entrada y pueden no ser fáciles de apreciar. En primer lugar, quizás la fuente más importante para la causación de sesgos discriminatorios sea el inadecuado entrenamiento en datos (training data) de los algoritmos, esto es, el uso de los datos de los cuales el algoritmo aprende e identifica patrones y reglas estadísticas que luego aplica. La manera en que esos datos son seleccionados por los desarrolladores de los algoritmos puede ser susceptibles de sesgos subconscientes, especialmente si la diversidad de la población es omitida en los datos (por ejemplo, se conocen de casos de algoritmos de reconocimiento facial que no reconocen caras de personas negras, debido a sus datos de entrenamiento).

De igual modo que los datos no representativos, los datos insuficientes pueden discriminar también. Un ejemplo sería el caso de la no concesión de un crédito bancario a una persona que, teniendo una posición económica segura para devolver el crédito, reside en un área donde su perfil racial es casi inexistente y no se tienen datos al respecto.

Un tercer elemento conducente a sesgos discriminatorios puede ser el establecimiento de correlaciones, que es lo que detecta el algoritmo, sin causaciones. Por ejemplo, de nuevo en EEUU, un algoritmo usado en los tribunales de Florida pregunta al acusado si alguno de sus padres ha cumplido penas de prisión para determinar la dureza de la sentencia.

En cuarto lugar, el sesgo puede provenir también del hecho de que quienes desarrollan el software no son representativos de los diferentes bagajes, experiencias e identidades de la población en la que trabajan, de ahí que el US National Science and Technology Council Committee on Technology concluyera en 2016 que inyectar diversidad en esos ámbitos es crucial.

En todo caso, desde la perspectiva de la regulación, debería exigirse explícitamente que en el diseño de los algoritmos se respete el principio de igualdad y que se articulen las medidas técnicas, disponibles, para evitar las discriminaciones(73).

6. Evaluación de impacto de protección de datos

Finalmente, y aunque no es esta la perspectiva que aquí nos ocupa predominantemente, deberían desarrollarse evaluaciones de impacto de protección de datos cuando estemos antes decisiones automatizadas o con intervención de IA en su adopción(74). A este tipo de evaluación se refiere el art. 35 del Reglamento General de Datos de la UE y ahora también el art. 28 de la Ley Orgánica 3/2018, de 5 de diciembre, de Protección de Datos Personales y garantía de los derechos digitales(75).

3.4.3 Control jurídico de algoritmos. ¿Necesidad de un ente público específico supervisor?

La existencia de un Estado de Derecho en el ámbito de la IA ha de incluir también, además del respeto al principio de legalidad y a los derechos de los ciudadanos, incluyendo el derecho a una buena administración y a no ser discriminado, un control, también judicial en su caso, efectivo de la actividad administrativa, como es obvio.

Ya hemos tenido ocasión de analizar resoluciones judiciales de órganos judiciales extranjeros y de organismos administrativos de control, también en España, que se han ocupado de actuaciones automatizadas, desde la perspectiva del derecho de acceso, que es sólo una de las perspectivas jurídicas relevantes, como ya hemos expuesto.

La cuestión que puede surgir en este ámbito es la de si con los mecanismos actualmente existentes ese control es suficiente o si será preciso en el futuro avanzar hacia organismos reguladores más especializados.

En su resolución de 2017, el Parlamento europeo ha sugerido a la comisión que:

“estudie la posibilidad de designar una agencia europea para la robótica y la inteligencia artificial que proporcione los conocimientos técnicos, éticos y normativos necesarios para apoyar la labor de los actores públicos pertinentes, tanto a nivel de la Unión como a nivel de los Estados miembros, en su labor de garantizar una respuesta rápida, ética y fundada ante las nuevas oportunidades y retos —sobre todo los de carácter transfronterizo— que plantea el desarrollo tecnológico de la robótica, por ejemplo en el sector del transporte”

Creemos que es posible que la notable complejidad de este ámbito exija una progresiva especialización en la actividad de regulación y control, que excede los aspectos de protección de datos y derecho de acceso, como el Oxford Internet Institute ha propuesto, para el ámbito británico, si bien otras voces discrepan de ese enfoque.(76) En todo caso, en el ámbito del Reino Unido se están dando los primeros pasos en esa dirección con la creación del Centre for Data Ethics and Innovation Consultation.

Además de las propuestas modificaciones legislativas y de los necesarios controles jurídicos administrativos y judiciales, hemos ido constatando como el papel de quienes desarrollan los algoritmos es crucial, por lo que la promoción de Códigos éticos y de conducta en este ámbito puede ser de interés. Finalmente, la cláusula de cierre del Estado de Derecho ha de venir proporcionada por la responsabilidad patrimonial de la Administración pública, por los daños que se pueda causar por la actividad automatizadao con intervención de la IA(77). Si bien el análisis en detalle de esta cuestión excede del ámbito de este estudio, las cuestiones que probablemente surgirán en el futuro irán ligada por ejemplo a la responsabilidad del contratista que, en su caso, proporcione los algoritmos a la Administración, que una vez implementados generen decisiones ilegales dañosas, supuesto donde la regla establecida tradicionalmente de que responda aquél salvo orden expresa administrativa parece ser razonable también en este ámbito, y a la posibilidad de que los daños sean consecuencia de tecnología que se desconocía en el momento de la toma de la decisión automatizada (por ejemplo, algún tipo de nuevo virus informático contra el que no existiera protección y que afectó a las decisiones automatizadas(78)).

IV. REFLEXIONES FINALES

El presente trabajo se ha centrado en el concepto de actividad automatizada administrativa, en conexión con los conceptos de IA, algoritmos y Big Data. Tras analizar cuál es la regulación existente en la materia en la actualidad, se han detectado lagunas referidas al procedimiento de aprobación de los algoritmos, la explicación comprensible de éstos a la ciudadanía, la transparencia y la prevención y control de posibles ilegalidades.

La ciencia está avanzando rápidamente frente a un Derecho que encuentra dificultades en comprenderla en este ámbito y que es dejado de lado, también en parte por una admiración por las oportunidades de buen gobierno y buena administración que abre la IA. Un repaso de la fe ilustrada en la física newtoniana y en el modelo mecanicista del mundo y la sociedad aplicada al Derecho nos ha revelado como ya los autómatas fascinaron a nuestros antepasados y como esa fascinación se extiende en el siglo XXI a la IA.

Pero si bien la IA puede ser útil para la mejora administrativa, elemento innegable, en el trabajo que ahora finaliza hemos puesto de relieve la necesidad de que el Estado de Derecho no se vea socavado por la misma. Como ha indicado muy gráficamente De La Cueva (De La Cueva, 2017), “estamos presos de unas imposiciones técnicas que no admiten su discusión pues se muestran como irrebatibles, lo que nos lleva a una verdadera dictadura de la máquina. Si antes para resolver un problema en un expediente era necesario y a veces suficiente hablar con los funcionarios intervinientes, en la actualidad, debido a que la configuración de las posibilidades del procedimiento no vienen dadas desde lo jurídico sino desde lo informático, nos hallamos no sólo ante una situación de indefensión sino de perplejidad (). Pretender cambiar el código informático utilizado por la Universidad Complutense para que acredite correctamente la labor de sus docentes bilingües es una versión renovada y conjunta de las maldiciones bíblicas, los trabajos de Hércules y el mito de Sísifo”.

Efectivamente, es posible que una mera aplicación informática tenga más relevancia en la vida práctica de las personas que la Constitución, los Estatutos de Autonomía y la legislación de procedimiento administrativo común juntas.

También hemos analizado las limitaciones y riesgos de la IA. La falta de empatía emocional de la IA, y la improbabilidad de su consecución, nos ha llevado a proponer la prohibición legal de decisiones automatizadas discrecionales. En el ejercicio de discrecionalidad, la IA debería servir meramente de apoyo, como máximo hasta formular una propuesta de resolución, debiendo existir una reserva de resolución humana.

Por otro lado, en cuanto al uso de la IA respecto al ejercicio de potestades regladas, o como apoyo en decisiones semiautomáticas, hemos expuesto como se produce una tendencia hacia la opacidad (con diversas cajas negras simultáneas, articuladas como muñecas rusas), bien sea por razones técnicas (algoritmos de aprendizaje automático o profundo), de derechos de propiedad intelectual e industrial de los contratistas o por voluntad de la administración. Al respecto, para acabar con esa opacidad, es preciso aplicar y mejorar la regulación existente y reforzar el control del uso de IA por las AA.PP, en su caso mediante organismos reguladores específicos.

En cuanto a la regulación, hemos propuesto, junto a la aplicación de la normativa existente una mejora de la misma, abarcando nuestra reflexión diversos ámbitos: la construcción de un procedimiento debido administrativo para la aprobación de los algoritmos con adecuada participación pública; la reafirmación de un derecho a una explicación comprensible del funcionamiento de los algoritmos basado en el derecho a una buena administración; el uso de programario abierto; la publicidad activa y el derecho de acceso a los algoritmos, siempre que sea posible jurídicamente y, como alternativa, el desarrollo de la auditoría de algoritmos; la prevención y el control de los sesgos de los algoritmos y la evaluación de impacto de protección de datos de los mismos.

La IA puede suponer un elemento relevante para la mejor administración pública. Pero ésta deberá ser siempre un servicio objetivo a los intereses generales, como señala el art. 103 CE, intereses que son inmanentes, no trascendentes, a los de las personas que forman parte de una sociedad. Un gobierno y una administración, pues, de personas para personas, que puede apoyarse, sin duda, en la IA, pero sin olvidar nunca que, como ya señaló Adam Smith en una de sus obras, la compasión es una emoción, pasión o sentimiento del grupo de los “originales de la naturaleza humana”, pues “por más egoísta que se pueda suponer al hombre, existen evidentemente en su naturaleza algunos principios que le hacen interesarse por la suerte de otros”.(79)

NOTAS:

(1). El presente estudio se enmarca en el proyecto Retos jurídicos del uso de datos masivos para el fomento de la innovación y la Buena administración a través de la inteligencia artificial (DER2017-85595-R) del que el autor es co-investigador principal y es también resultado de las acciones de dinamización <<redes de excelencia>>, programa estatal de investigación científica y técnica de excelencia, subprograma estatal de generación de conocimiento, der2016-81747-redt, comunidad científica de teoría y método del derecho público económico

Una primera exposición de las ideas contenidas en este artículo se efectuó en el marco del V Congreso Internacional del avance del Gobierno Abierto. III Congreso de Buen gobierno y Transparencia de la Comunitat Valenciana. Transparencia digital, algorítmica y big data, desarrollado en septiembre de 2018 en Valencia, cuya invitación quiero agradecer a la dirección del mismo, especialmente a los profesores Cotino y Boix. Esta primera exposición se ha enriquecido además con la asistencia posterior a las exposiciones y debates desarrollados en la parte de Teoría de la XII edición del Seminario de Teoría y Metodología (STEM), realizada en Salamanca en noviembre de 2018.

(2). Fernández, T.R. (1971), “Jurisprudencia y computadores”, Revista de administración pública, Nº 64, , págs. 327-336.

(3). Josserand, L. (1910), “Les transports”, Paris, Nºs 883 a 900

(4). Comunicación de la Comisión al Parlamento Europeo, al Consejo Europeo, al Consejo, al Comité económico y social europeo y al Comité de las regiones, Inteligencia artificial para Europa {SWD(2018) 137 final}: https://eur-lex.europa.eu/legal-content/ES/TXT/?uri=CELEX:52018DC0237

(5). Gatto, J.T. (2000), Underground History of American Education. An Intimate Investigation Into the Prison of Modern Schooling: https://cdn.greathomeschoolconventions.com/free/Underground-History-of-America-Education.pdf

(6). Ponce, J. (2018), “Innovación y transdisciplinariedad”, en Fernando López Ramón (coord.), Ricardo Rivero Ortega (coord.), Marcos Matías Fernando Pablo (coord.) Organización de la Universidad y la Ciencia, Madrid, INAP, pp. 435 y ss.

(7). Ponce, J. (2018), “La prevención de riesgos de mala administración y corrupción, la inteligencia artificial y el derecho a una buena administración “, Revista internacional de transparencia e integridad ,Número 6 (enero-abril 2018):

https://revistainternacionaltransparencia.org/wp-content/uploads/2018/04/juli_ponce.pdf

(8). Téngase en cuenta ahora en relación a esta ley el art. 24 de la Ley Orgánica 3/2018, de 5 de diciembre, de Protección de Datos Personales y garantía de los derechos digitales:

“Artículo 24. Sistemas de información de denuncias internas.

1. Será lícita la creación y mantenimiento de sistemas de información a través de los cuales pueda ponerse en conocimiento de una entidad de Derecho privado, incluso anónimamente, la comisión en el seno de la misma o en la actuación de terceros que contratasen con ella, de actos o conductas que pudieran resultar contrarios a la normativa general o sectorial que le fuera aplicable. Los empleados y terceros deberán ser informados acerca de la existencia de estos sistemas de información.

2. El acceso a los datos contenidos en estos sistemas quedará limitado exclusivamente a quienes, incardinados o no en el seno de la entidad, desarrollen las funciones de control interno y de cumplimiento, o a los encargados del tratamiento que eventualmente se designen a tal efecto. No obstante, será lícito su acceso por otras personas, o incluso su comunicación a terceros, cuando resulte necesario para la adopción de medidas disciplinarias o para la tramitación de los procedimientos judiciales que, en su caso, procedan. Sin perjuicio de la notificación a la autoridad competente de hechos constitutivos de ilícito penal o administrativo, solo cuando pudiera proceder la adopción de medidas disciplinarias contra un trabajador, dicho acceso se permitirá al personal con funciones de gestión y control de recursos humanos.

3. Deberán adoptarse las medidas necesarias para preservar la identidad y garantizar la confidencialidad de los datos correspondientes a las personas afectadas por la información suministrada, especialmente la de la persona que hubiera puesto los hechos en conocimiento de la entidad, en caso de que se hubiera identificado.

4. Los datos de quien formule la comunicación y de los empleados y terceros deberán conservarse en el sistema de denuncias únicamente durante el tiempo imprescindible para decidir sobre la procedencia de iniciar una investigación sobre los hechos denunciados. En todo caso, transcurridos tres meses desde la introducción de los datos, deberá procederse a su supresión del sistema de denuncias, salvo que la finalidad de la conservación sea dejar evidencia del funcionamiento del modelo de prevención de la comisión de delitos por la persona jurídica. Las denuncias a las que no se haya dado curso solamente podrán constar de forma anonimizada, sin que sea de aplicación la obligación de bloqueo prevista en el artículo 32 de esta ley orgánica. Transcurrido el plazo mencionado en el párrafo anterior, los datos podrán seguir siendo tratados, por el órgano al que corresponda, conforme al apartado 2 de este artículo, la investigación de los hechos denunciados, no conservándose en el propio sistema de información de denuncias internas.

5. Los principios de los apartados anteriores serán aplicables a los sistemas de denuncias internas que pudieran crearse en las administraciones públicas.”

(9). Generándose nuevas unidades administrativas como la Mayor's Office of Data Analytics (MODA) en el Ayuntamiento de Nueva York: https://www1.nyc.gov/site/analytics/index.page

(10). El Estado de Indiana (EEUU) a base de utilizar la corriente de datos que generan las instituciones públicas y los propios ciudadanos (‘open data’) generó un algoritmo que sacaba conclusiones muy valiosas. La fundamental fue que las madres que recibían mejor atención prenatal preservaban mejor su salud en la gestación, así que el gobierno potenció esa atención y logró reducir la mortalidad infantil, después de dos décadas intentándolo sin éxito por otros medios. Ahora, utilizando el mismo algoritmo, Indiana lucha contra la reincidencia de los exconvictos. Véase: https://www.observatorio-empresas.vodafone.es/articulos/administraciones-publicas/open-data-mortalidad-infantil-indiana-chris-atkins/

(11). https://www.barcelona.cat/infobarcelona/es/barcelona-crea-una-nueva-oficina-municipal-de-datos_617060.html

(12). Resolución de la Dirección General de la Agencia Estatal de la Administración Tributaria de 29 de diciembre de 2010 por la que se aprueban las aplicaciones informáticas para las actuaciones administrativas automatizadas:

https://www.agenciatributaria.gob.es/static_files/AEAT_Sede/Normativa_sede/Resolucion_%20AAA_%2029122010.pdf

(13). Resolución de 23 de febrero de 2016, del Instituto Nacional de la Seguridad Social, por la que se regula la tramitación electrónica automatizada de diversos procedimientos de gestión de determinadas prestaciones del sistema de la Seguridad Social: https://www.boe.es/boe/dias/2016/03/01/pdfs/BOE-A-2016-2076.pdf . Resolución de 10 de julio de 2018 del Organismo Estatal Inspección de Trabajo y Seguridad Social, O.A., por la que se crea el sello electrónico cualificado del organismo: https://www.boe.es/diario_boe/txt.php?id=BOE-A-2018-9997

(14). Estudio sobre el estado de digitalización de las empresas y Administraciones Públicas españolas, realizado por el Observatorio Vodafone de la Empresa mediante entrevistas a responsables de órganos de Administración Central (47), Seguridad Social (10), Comunidades Autónomas (77), Diputaciones, Cabildos y Consejos (36), Ayuntamientos más de 500.000 habitantes (11), Ayuntamientos resto capitales de provincia (36), resto de Ayuntamientos (187). Total: 404 entrevistas: https://www.observatorio-empresas.vodafone.es/informes/informe/

(15). House of Commons Science and Technology Committee (2018), Algorithms in decisionmaking

Fourth Report of Session 2017–19:

https://publications.parliament.uk/pa/cm201719/cmselect/cmsctech/351/35102.htm

(16). Se han obtenido las figuras 1 y 2 y los ejemplos del texto de :http://www.universidadupav.edu.mx/documentos/BachilleratoVirtual/Contenidos_PE_UPAV/2Trimestre/INF%202/Unidad1/tema2.pdf

(17). Algunas características del pseudocódigo son:

-Emplea palabras (en la llengua que se sea) similares a las usadas en los lenguajes de programación.

- La estructura del texto normalmente emplea sangría en el margen izquierdo.

-Está formado por una cabecera (nombre del programa, tipos de datos, etc.) y el cuerpo (inicio, instrucciones y fin).

- Al lado derecho de las instrucciones se pueden escribir comentarios para darles mayor claridad. Para identificar los comentarios se les anteponen dos diagonales “//” o dos asteriscos “**”.

(18). De La Cueva, Javier (2018) “Código fuente, algoritmos y fuentes del Derecho”, El notario del siglo XXI: revista del Colegio Notarial de Madrid, núm. 77, pp. 24 a 27:

http://www.elnotario.es/index.php/hemeroteca/revista-77/opinion/opinion/8382-codigo-fuente-algoritmos-y-fuentes-del-derecho

(19). House of Commons Science and Technology Committee (2018), Algorithms in decisionmaking

Fourth Report of Session 2017–19:

https://publications.parliament.uk/pa/cm201719/cmselect/cmsctech/351/35102.htm

(20). Sobre este tipo de actuación, véase por todos Martín Delgado, Isaac. (2009). “Naturaleza, concepto y régimen jurídico de la actuación administrativa automatitzada”, Revista de Administración Pública, 180, 353-386.

(21). PARADA, R.(1999), Régimen jurídico de las Administraciones Públicas y Procedimiento Administrativo Común, Marcial Pons, Madrid

(22). En el mismo sentido, DELGADO, A.M., y OLIVER, R., “La actuación administrativa automatizada. Algunas experiencias en el ámbito tributario”, Revista Catalana de Dret Públic, núm. 35, 2007: “Por ello, cuando es una aplicación informática exclusivamente quien decide, es decir, quien dicta un acto administrativo, ¿afecta a la validez del propio acto? Las posiciones doctrinales están encontradas al respecto. () Si bien es verdad que las aplicaciones informáticas carecen de voluntad propia, ya que son el resultado de datos y programas, ello no obsta para considerar válidos los actos producidos de esta manera, respetando los requisitos que exige la normativa legal relativos a la identificación de los órganos competentes para la programación y supervisión del sistema de información y, por otro lado, de los órganos competentes para resolver los recursos que puedan interponerse, para garantizar el derecho a la defensa de los ciudadanos. Pues, a nuestro juicio, es posible entender la imputación del acto dictado a los órganos competentes para la programación y supervisión del funcionamiento de los sistemas de información empleado”

(23).

https://www.acm.org/binaries/content/assets/public-policy/2017_usacm_statement_algorithms.pdf

(24). No nos referimos aquí a la toma de decisiones automatizadas judiciales, que excede, como hemos dicho del objeto de este estudio. Sobre las mismas, véase la ley 18/2011, art. 42 y anexo.

(25). Sheldrake, R. (2013), El espejismo de la ciencia, Kairós

(26). García de Enterría, E., (1994), Revolución Francesa y Administración Contemporánea, Aranzadi, pp. 22 y 23. La traducción que se efectúa en el texto de este autor proviene de la obra en francés de Montesquieu, que se cita en la obra de la siguiente manera De l´Espirit des Lois, part. I.1.I, cap. 1.

(27). García de Enterría, E. (1963), “Reflexiones sobre la Ley y los principios generales del Derecho en el Derecho administrativo”, Revista de administración pública, Nº 40, págs. 189-224: “el dogma de la posición del juez como bouche qui prononce les paroles de la loi, como étre inánime, en la clásica expresión de MONTESQUIEU, como reinen Subsumptionsapparat, como puro aparato de subsunción legal...”, pág. 193, con cita de De l´Espirit des Lois, XI, 6: <<Mais les juges de la nation ne sont, comme nous avons dit, que la bouche qui prononce les paroles de la loi; des étres inánimes qui n'en peuvent modérer ni la forcé, ni la rigueur>>, y citas también de BACHOF, Grundgesetz und Ricktermacht, Tübingen, 1959, pág. 8, y de BOCKELMANN, Richter und Gesetz, en Festgabe fiir R. Smend, Gottingen, 1952, págs. 25 y ss.: <<La aplicación de la ley por el juez debía funcionar como un aparato automático, con la única particularidad de que el automatismo no es mecánico, sino un automatismo lógico: el juez debía ser un <<esclavo de la ley>>.”

(28). Se cita por la pag. 146 del texto de su discurso de ingreso en la RAE: disponible en:

http://www.rae.es/sites/default/files/Discurso_Ingreso_Eduardo_Garcia_de_Enterria.pdf

(29). De Tocqueville, A. (2006), El Antiguo Régimen y la Revolución, Fondo de Cultura Económica, México, pp. 141 y ss.

(30). Prats, J., “Ilustración, Administración Púbica y Sociedad Civil”, Conferencia pronunciada en 2001, disponible en:

http://rseap.webs.upv.es/Anales/01_02/A_Ilustracion_admin_publica_y_sociedad_civil.pdf

(31). Aracil, A (2006) , “Ángeles destronados: los autómatas, de la mitología al parque de atracciones”, Hum736. Papeles de cultura contemporánea, nº 9
 (dic. 2006, Granada), pp. 4-13

http://www.alfredoaracil.info/docs/writings/AutomatasUGR.pdf ; https://alfredoaracil.wordpress.com/2012/02/24/los-automatas-angeles-destronados/

(32). López Moratalla, N. (2018), Inteligencia Artificial ¿Conciencia Artificial?, Digital Reasons, 2017, pág. 49.

(33). Aracil: “Ángeles destronados: los autómatas, de la mitología al parque de atracciones”, Hum736. Papeles de cultura contemporánea, nº 9
 (dic. 2006, Granada), pp. 4-13

http://www.alfredoaracil.info/docs/writings/AutomatasUGR.pdf

(34). Se ha obtenido la imagen de: http://www.eoht.info/page/Newtonian+government

(35). Foley, M. (1990), Laws, Men and Machines: Modern American Government and the Appeal of Newtonian Mechanics, Routledge.

(36). En 1769, James Madison, a la edad de 18 años decidió asistir al College of New Jersey, actual Universidad de Princeton, donde estudió una forma de física social de raíz newtoniana bajo la tutoría de John Witherspoon, quien a su vez había tenido como mentor a Montesquieu. Véase: http://www.eoht.info/page/Princeton+social+physics

(37). Sunstein, C.R., (2018), “Algorithms, Correcting Biases”, Preliminary Draft.:

(38). Ponce Solé, J (2018), “ Derecho administrativo, ciencias conductuales y nudging

en la gestión pública”, Revista Vasca de Gestión de Personas y Organizaciones Públicas, Núm.15 /2018. Págs. 8-27:

https://www.euskadi.eus/t59auUdaWar/t59aMostrarFicheroServlet?R01HNoPortal=true&t59aIdRevista=3&t59aTipoEjemplar=R&t59aSeccion=51&t59aContenido=1&t59aCorrelativo=1&t59aVersion=1&t59aNumEjemplar=15

(39). https://elpais.com/internacional/2018/04/18/mundo_global/1524045163_744119.html

(40). La representación del robot se ha obtenido de la noticia aparecida en prensa, aquí: https://elpais.com/internacional/2018/04/18/mundo_global/1524045163_744119.html

(41). Consultable en varios idiomas (pero no en español) aquí: https://futureoflife.org/ai-open-letter/?cn-reloaded=1

(42). Sobre la necesidad de extender reglas y principios de Derecho Administrativo a empreses privadas que prestan Servicios de interés general en el ámbito energético, puede verse Soto, I. y Ponce, J. (2018), “La pobreza energética: Del marco constitucional a la gestión administrativa para la protección de derechos. En especial, el caso catalán”, en Pobreza energética : regulación jurídica y protección de los derechos de las persones, FMC y TransJus.

(43). http://noticias.juridicas.com/base_datos/Admin/511395-r-industria-energia-y-turismo-1-de-ago-2013-modificacion-de-procedimientos.html

(44). Una lista de otras 28 en:

https://airtable.com/embed/shrpkHgfDpvec6BA3/tblHPWVuiNI6v63nn?backgroundColor=blue

(45). https://www.legislation.gov.au/Details/C2018C00514

(46). García de Enterría, E. y Fernández, T.R (2000), Curso de Derecho Administrativo, vol. I, 11ªed., pp. 454 y ss.

(47). Tomo la expresión de la profesora Silvia Díez, que la empleó oralmente en el seminario STEM de noviembre de 2018, habiendo sido la primera vez que yo había tenido oportunidad de oírla o leerla.

(48). Con más detalle, vid. PONCE, J. (2019, en prensa), La lucha por el derecho a una buena administración: el estándar jurídico de diligencia debida y el buen gobierno en las políticas públicas, Cuadernos de la Cátedra de Democracia y Derechos Humanos, núm. 15, Universidad de Alcalá de Henares- Defensor del Pueblo, Alcalá de Henares.

(49). Mariglynn Edlins & Stephanie Dolamore (2018)” Ready to serve the public? The role of empathy in public service education programs”, Journal of Public Affairs Education, 24:3, pág. 305: “The importance of empathy in public service is crucial to adequately navigating discretion while upholding public service values”

(50). Moya Albiol, L (2014), La empatía. Entenderla para entender a los demás, Plataforma actual, p. 33: “hay que empatizar, y no simpatizar, o sea ponerse en el lugar del otro pero no hacer tuyo su estado emocional”.

(51). Mathieu, R (2016), En defensa del altruismo, Urano.

(52). Iacobini, M., (2009) Las neuronas espejo, Katz.

(53). Fariñas, G., “La vuelta a la phronesis aristotélica en la teoría y la práctica de la empresa creadora de conocimiento de Ikujiro Nonaka “, Revista empresa y humanismo, vol XVIII, nº 1, 2015, pp. 41-80

(54). https://www.bbvaopenmind.com/en-busca-de-la-nueva-empatia-humano-maquina/

https://elpais.com/tecnologia/2018/03/16/actualidad/1521199479_115652.html

https://medium.com/thrive-global/our-humanity-is-essential-in-the-age-of-ai-3c4b06e0e3ae

(55). ANTONIO, M., (2007), “El sueño de la razón”: Apuntes sobre la idea de Razón en el grabado de Goya”, Espéculo. Revista de estudios literarios. Universidad Complutense de Madrid, num. 36: https://webs.ucm.es/info/especulo/numero36/suerazon.html :

(56). Rojo Rubio, A; Rodríguez Fernández, M.I (2008), “El estudio de la consciencia: Perspectivas fundamentales”, Trabajo presentado en el 9º Congreso Virtual de Psiquiatría: http://www.maribelium.com/articulos/psicologia/el-estudio-de-la-consciencia-perspectivas-fundame.html

(57). “La consciencia es el mayor enigma de la ciencia y la filosofía”, Conferencia pronunciada por el Prof. F. J. Rubia en la Real Academia Nacional de Medicina el 12 de enero de 2010, con motivo de la inauguración del curso académico. Francisco J. Rubia Vila es Catedrático de la Facultad de Medicina de la Universidad Complutense de Madrid, y también lo fue de la Universidad Ludwig Maximillian de Munich, así como Consejero Científico de dicha Universidad. Texto disponible en: https://www.tendencias21.net/La-consciencia-es-el-mayor-enigma-de-la-ciencia-y-la-filosofia_a4026.html

(58). El Código de conducta ética para los ingenieros en robótica anexo a la Resolución del Parlamento Europeo, de 16 de febrero de 2017, con recomendaciones destinadas a la Comisión sobre normas de Derecho civil sobre robótica (2015/2103(INL)) incorpora entre otros el principio de precaución según el cual “Las actividades de investigación en el ámbito de la robótica deben llevarse a cabo de conformidad con el principio de precaución, anticipándose a los posibles impactos de sus resultados sobre la seguridad y adoptando las precauciones debidas, en función del nivel de protección, al tiempo que se fomenta el progreso en beneficio de la sociedad y del medio ambiente”. Consultable en: http://www.europarl.europa.eu/sides/getDoc.do?pubRef=-//EP//TEXT+TA+P8-TA-2017-0051+0+DOC+XML+V0//ES

(59). En el caso concreto, normatives:

“La ponderación del impacto social contribuye a la revalorización de un procedimiento que no puede ser contemplado como una mera formalidad, en tanto que garantía de la efectividad de los derechos de los ciudadanos. Desde luego han ido reforzándose paulatinamente las exigencias requeridas en la evaluación del impacto económico y nuestra jurisprudencia también lo ha venido a reconocer (como acreditan las Sentencias de 5 y 13 de mayo de 2009, RC 133 y 126/2007 y 131/2007, respectivamente, que su vez invocan la autoridad de otras dos anteriores dictadas por el Pleno de esta Sala de 27 de noviembre de 2006, Rec. 51 y 53/2006, respectivamente; incluso con entendimiento más amplio, Sentencia de 18 de junio de 2012 RC 6513/2009).

Pero el avance en las previsiones sobre el impacto social y medio ambiental recogidas ya en el Real Decreto 1083/2009 (artículo 1.2), dentro del contenido de la memoria del análisis de impacto normativo de forma adicional a su contenido propio (artículo 1.1), ha llevado más tiempo en dejarse sentir, pese a su indubitada conexión, por una parte, con el concepto de la sostenibilidad social, ya recogido incluso por la propia Constitución (artículo 135.4), y del que no parece irrazonable deducir la necesidad de requerir un esfuerzo complementario de motivación para explicar las razones que llevan a la adopción de determinadas normativas que inciden negativamente sobre los derechos sociales (en este sentido, se pronuncian expresamente sendos votos particulares a las sentencias constitucionales 49/2015 y 139/2016), y si en materia de medio ambiente la jurisprudencia ha venido a consagrar la exigencia de aportar una motivación reforzada en sustento de la adopción de una medida regresiva en base al principio ambiental de no regresión -Sentencias de 13 de junio de 2011 RC 4045/2009, 30 de septiembre de 2011 RC 1294/2008 y de 29 de marzo de 2012 RC 3425/2009- como consecuencia a su vez del principio de la sostenibilidad ambiental, no parece que el principio de precaución social pueda comportar menores exigencias; y, por otra parte, con el derecho a la buena administración, contemplado en el artículo 41 de la Carta Europea de Derechos Fundamentales, que en su germen lleva también la procedencia de observar un deber de cuidado en la adopción de las decisiones con la debida ponderación de todos los intereses y hechos relevantes; y ello ha de encontrar adecuado reflejo en la memoria del análisis de impacto normativo”

(60). Isaac Martín acepta la posibilidad de decisiones automatizadas en el ejercicio de la discrecionalidad técnica, Martín, I., (2009) “La gestión electrónica del procedimiento administrativo”, QDL, núm. 21, octubre, p.99:

“Es evidente que, si se circunscribe el ámbito de aplicación de la actuación administrativa automatizada exclusivamente al campo de las potestades regladas, no ha lugar a la duda. Sin embargo, no debe descartarse el uso de sistemas de información en el ejercicio de potestades discrecionales en las que la discrecionalidad sea de baja intensidad. Me estoy refiriendo, en concreto, a la discrecionalidad técnica. No es difícil parametrizar en estos casos. Los méritos que reúne el aspirante a una plaza de funcionario público, o la puntuación que debe obtener una oferta para la adjudicación de un contrato administrativo, aun cuando son susceptibles de valoración por el órgano llamado a concretarlos, esa valoración, técnicamente hablando, puede ser llevada a cabo por una máquina en uso de una aplicación informática debidamente configurada”

No podemos ahora extendernos en el concepto de discrecionalidad técnica, pero sí recordar que, por supuesto, la existencia de discrecionalidad técnica no implica ni la ausencia de control, judicial en su caso, ni la prohibición de arbitrariedad, así como que las obligaciones del derecho ciudadano a una buena administración siguen vigentes. Dicho esto, no cabe considerar que siempre y en todo caso la discrecionalidad técnica sea una "contradictio in terminis", con el argumento de que la misma aplicación de reglas técnicas dejaba fuera de campo la posible discrecionalidad decisoria. Pues es posible encontrar opiniones variadas, sobre todo en el campo de las ciencias sociales, però no únicamente, que implican un alto margen de opinabilidad que dista mucho de aproximarse al de una solución única. Como señala por ejemplo el TC en su sentencia de 6 de febrero de 1995, son possibles “"diversas interpretaciones a las que son propensos los exámenes de tipo test, el carácter esencialmente discutible de toda materia jurídica y la falta absoluta de precisión del lenguaje jurídico"”, por ejemplo y por citar solo una disciplina.

Por ello, en nuestra opinión, existiendo auténtica discrecionalidad técnica ésta no sería parametrizable al 100% y por tanto sería preferible evitar la automatización por las razones aducidas.

(61). Véase al respecto, en el apartado siguiente, el razonamiento que efectúa un tribunal administrativo italiano al respecto.

(62). Es habitual que los contratistas de la Administración pública establezcan cláusulas de confidencialidad o simplemente entreguen aplicaciones cerradas sin permitir el acceso al código Fuente, a pesar de que la LCSP dispone que, en principio, en los pliegos de cláusulas administrativas o en el documento contractual, los contratos de servicios que tengan por objeto el desarrollo y la puesta a disposición de productos protegidos por un derecho de propiedad intelectual o industrial llevarán aparejada la cesión de este a la Administración contratante (artículo 308.1).

(63). “SEGUNDO.- Sobre el derecho a una buena administración, sobre el principio de transparencia administrativa y sobre su manifestación en el derecho constitucional de acceso del ciudadano a los archivos y registros administrativos.

El derecho a una buena administración se contenía en el artículo 41 de la Carta de Derechos Fundamentales de la Unión Europea de 7 de diciembre de 2000). Esa Carta no se encontraba integrada en los Tratados Constitutivos pero fue asumida por todos los países miembros en la cumbre de Niza - Tratado de 26 de febrero de 2001 -. Y ese derecho sería concretado después en el Código Europeo de Buena Conducta Administrativa de 2005.

En el derecho a una buena administración se integra el derecho de acceso de los ciudadanos a los archivos y registros administrativos, derecho reconocido en el artículo 105.b. de la Constitución (RCL 1978, 2836) y que, al igual que el derecho de audiencia o la obligación de motivar las decisiones administrativas, como decíamos, íntegra el contenido del derecho a una buena administración, derecho de última generación.”

(64). En el mismo sentido, STS de 6 de octubre de 2015. En su escrito de demanda, la representación procesal de la entidad mercantil recurrente adujo que se vulneró el trámite de informaciónpública, al no haber prestado atención alguna a las alegaciones formuladas por los interesados en el primer período de dicho trámite . Pues bien, el TS señala que:

<<En definitiva, como esta Sala del Tribunal Supremo ha declarado, entre otras, en sus Sentencias de fechas 25 de febrero de 2003 (recurso de casación 6876/1999), 16 de febrero de 2009 (recurso de casación 9414/2004) y 15 de marzo de 2012 (recurso de casación 6335/2008), la falta de respuesta a las alegaciones presentadas en el trámite de información pública equivale a la privación del derecho de audiencia, lo que supone la omisión de un trámite esencial del procedimiento, ya que el exacto cumplimiento de dicho trámite de información pública requiere no sólo la mera formalización y recepción de las diversas alegaciones de los interesados sino su atenta lectura y contestación específica sobre las razones que lleven a la aceptación o rechazo de tales alegaciones, y exclusivamente así cabe tener por cumplido el trámite de información pública destinado a posibilitar la participación pública en la elaboración del planeamiento”

(65). Ponce, J., (2012) “El ejercicio privado de funciones públicas en el moderno derecho público: la supervisión por los Ombudsmen de los privados a propósito del nuevo papel del Defensor catalán”, Documento de Trabajo núm. 13, PRADPI, Alcalá de Henares:

https://pradpi.es/documentos_trabajo/DT_13_Juli_Ponce_Sole.pdf

(66). Citron, D. (2008) “Technological Due Process’”85 Washington University Law Review 1249, 1256.

(67). Así, en el ámbito del soft law, las Directrices estatales de técnica normativa aprobadas en 2005, señalan en su art. 101 que “ el destinatario de las normas jurídicas es el ciudadanos”, por lo que “deben redactarse en un nivel de lenguaje culto , pero accesible”.

En el ámbito del hard law, la ley 14/1986, General de Sanidad, art. 10, dispone que toda persona tiene el derecho “a que se le dé en términos comprensibles, a él y a sus familiares o allegados, información completa y continuada, verbal y escrita, sobre su proceso, incluyendo diagnóstico, pronóstico y alternativas de tratamiento”. Una falta de diligencia en hacer la información comprensible podría, pues, generar responsabilidad patrimonial de la Administración sanitaria, por incumplimiento de ese “deber de comprensión” (STS de 2 de noviembre de 2007, rec. 5765/2003, FJ 2, entre otras).

Asimismo, la ley 19/2013 ya aludida, cuando se refiere en su art. 5.5 a la publicidad activa, señala que:

“Toda la información será comprensible, de acceso fácil y gratuito y estará a disposición de las personas con discapacidad en una modalidad suministrada por medios o en formatos adecuados de manera que resulten accesibles y comprensibles, conforme al principio de accesibilidad universal y diseño para todos”.

En la misma línea, la ley 39/2015, de procedimiento administrativo común, en referencia a la actividad de regulación, señala en su art. 129 el debido respeto de diversos principios generales del derecho referidos a la buena regulación, entre los que queremos destacar ahora los siguientes:

“artículo 129. Principios de buena regulación.

2. En virtud de los principios de necesidad y eficacia, la iniciativa normativa debe estar justificada por una razón de interés general, basarse en una identificación clara de los fines perseguidos y ser el instrumento más adecuado para garantizar su consecución.

4. A fin de garantizar el principio de seguridad jurídica, la iniciativa normativa se ejercerá de manera coherente con el resto del ordenamiento jurídico, nacional y de la Unión Europea, para generar un marco normativo estable, predecible, integrado, claro y de certidumbre, que facilite su conocimiento y comprensión y, en consecuencia, la actuación y toma de decisiones de las personas y empresas.

5. En aplicación del principio de transparencia, las Administraciones Públicas posibilitarán el acceso sencillo, universal y actualizado a la normativa en vigor y los documentos propios de su proceso de elaboración, en los términos establecidos en el artículo 7 de la Ley 19/2013, de 9 de diciembre, de transparencia, acceso a la información pública y buen gobierno; definirán claramente los objetivos de las iniciativas normativas y su justificación en el preámbulo o exposición de motivos; y posibilitarán que los potenciales destinatarios tengan una participación activa en la elaboración de las normas.”

(68). Aunque sin duda el derecho a una explicación comprensible puede ser difícil en el caso de algoritmos de aprendizaje automático o profundo, lo cierto es que la carga de la misma recae en la Administración obligada.

Se han expuesto diversos medios, algunos en uso, otros en desarrollo, para facilitar ese derecho a una explicación comprensible. Por ejemplo, las llamadas explicaciones contrafactuales. Un ejemplo sería cuando una solicitud de préstamo bancario es denegada y el algoritmo se ocuparía de decir que debería haber necesitado el solicitante para conseguir el préstamo y de dar algunos elementos para ello: por ejemplo, que si el ingreso fuera de X miles euros más, se habría concedido. Compañías como Google están trabajando con instrumentos de visualización de datos mejores que puedan ayudar a comprender al algoritmo, sin exponer toda su complejidad, como cuadros de instrumentos de automóviles que indican ciertos niveles como el aceite, la gasolina, etc. Véase House of Commons Science and Technology Committee (2018), Algorithms in decisionmaking, Fourth Report of Session 2017–19:

https://publications.parliament.uk/pa/cm201719/cmselect/cmsctech/351/35102.htm

(69). Commission d’accès aux documents administratifs, avis 20144578, 8 de enero de 2015 y avis 20180276, 19 de abril de 2018, consultables en https://www.cada.fr/20180276

(70). 281 TAR Lazio-Roma, Sección III bis, 22 de marzo de 2017, No 3769: https://www.giurdanella.it/2017/05/02/gestione-procedura-mobilita-docenti-miur-condannato-a-pubblicare-algoritmo/ . En concreto la sentencia señala que:

“si ritiene che la qualificabilità in termini di atto amministrativo informatico del software ai fini che interessano possa essere fondatamente sostenuta sulla base delle seguenti considerazioni:

– è con il software che si concretizza la volontà finale dell’amministrazione procedente;

– è con il software che, in definitiva, l’amministrazione costituisce, modifica o estingue le situazioni giuridiche individuali anche se lo stesso non produce effetti in via diretta all’esterno;

– il software finisce per identificarsi e concretizzare lo stesso procedimento;

– la circostanza che il software sia compilato mediante linguaggi di programmazione che sono solitamente incomprensibili non solo al funzionario che ne fa uso ai fini della elaborazione della decisione finale del procedimento amministrativo ma anche al privato destinatario dell’atto stesso non appare dirimente atteso che, da un lato, la predetta circostanza è conseguenza della scelta, questa sì discrezionale dell’amministrazione di ricorrere a uno strumento innovativo, quale è ancora la programmazione informatica, per la gestione di un procedimento di propria spettanza e competenza e che, dall’altro, ai fini della sua comprensione e della verifica della sua correttezza, il privato destinatario dell’atto, in particolare, può, comunque, legittimamente avvalersi dell’attività professionale di un informatico competente in materia;

– la circostanza che il software non sia elaborato direttamente da parte dell’amministrazione pubblica ma da parte di un soggetto privato specificatamente competente in materia, anche se sulla base delle indicazioni puntuali in ordine ai criteri e alle finalità di natura amministrativa fornite dalla stessa amministrazione, parimenti, non assume valenza dirimente ai fini che interessano, in quanto già in precedenza si è rilevato come la stessa nozione di atto amministrativo informatico, per come elaborata in sede di accesso agli atti nell’ambito dell’art. 22, comma 1, lett. d), della legge n. 241 del 1990, sia idonea a ricomprendere in sé anche atti di provenienza e disciplina sostanziale di natura privatistica, purché utilizzati da un’amministrazione nell’ambito di un’attività di rilievo pubblicistico”

(71). Véase García Herrero, J., “¿Cómo auditar un algoritmo?”, entrada de 28 de febrero de 2017 en el blog https://jorgegarciaherrero.com/auditar-algoritmo/

(72). Véase la Algorithmic Justice League: https://www.ajlunited.org/ . También House of Commons Science and Technology Committee (2018), Algorithms in decisionmaking, Fourth Report of Session 2017–19:

https://publications.parliament.uk/pa/cm201719/cmselect/cmsctech/351/35102.htm

(73). Calders, T., Kamiran, F., & Pechenizkiy, M. (2009, December). “Building classifiers with independency constraints”. In Data mining workshops, 2009. ICDMW'09. IEEE international conference on (pp. 13-18). IEEE.

(74). Noto La Diega, G. (2018), “Against the Dehumanisation of Decision-Making – Algorithmic Decisions at the Crossroads of Intellectual Property, Data Protection, and Freedom of Information”, 9 (2018) JIPITEC 3 para 1.

(75). “Artículo 28. Obligaciones generales del responsable y encargado del tratamiento.

1. Los responsables y encargados, teniendo en cuenta los elementos enumerados en los artículos 24 y 25 del Reglamento (UE) 2016/679, determinarán las medidas técnicas y organizativas apropiadas que deben aplicar a fin de garantizar y acreditar que el tratamiento es conforme con el citado reglamento, con la presente ley orgánica, sus normas de desarrollo y la legislación sectorial aplicable. En particular valorarán si procede la realización de la evaluación de impacto en la protección de datos y la consulta previa a que se refiere la Sección 3 del Capítulo IV del citado reglamento.

2. Para la adopción de las medidas a que se refiere el apartado anterior los responsables y encargados del tratamiento tendrán en cuenta, en particular, los mayores riesgos que podrían producirse en los siguientes supuestos:

a) Cuando el tratamiento pudiera generar situaciones de discriminación, usurpación de identidad o fraude, pérdidas financieras, daño para la reputación, pérdida de confidencialidad de datos sujetos al secreto profesional, reversión no autorizada de la seudonimización o cualquier otro perjuicio económico, moral o social significativo para los afectados.

b) Cuando el tratamiento pudiese privar a los afectados de sus derechos y libertades o pudiera impedirles el ejercicio del control sobre sus datos personales.

c) Cuando se produjese el tratamiento no meramente incidental o accesorio de las categorías especiales de datos a las que se refieren los artículos 9 y 10 del Reglamento (UE) 2016/679 y 9 y 10 de esta ley orgánica o de los datos relacionados con la comisión de infracciones administrativas.

d) Cuando el tratamiento implicase una evaluación de aspectos personales de los afectados con el fin de crear o utilizar perfiles personales de los mismos, en particular mediante el análisis o la predicción de aspectos referidos a su rendimiento en el trabajo, su situación económica, su salud, sus preferencias o intereses personales, su fiabilidad o comportamiento, su solvencia financiera, su localización o sus movimientos.

e) Cuando se lleve a cabo el tratamiento de datos de grupos de afectados en situación de especial vulnerabilidad y, en particular, de menores de edad y personas con discapacidad.

f) Cuando se produzca un tratamiento masivo que implique a un gran número de afectados o conlleve la recogida de una gran cantidad de datos personales.

g) Cuando los datos personales fuesen a ser objeto de transferencia, con carácter habitual, a terceros Estados u organizaciones internacionales respecto de los que no se hubiese declarado un nivel adecuado de protección.

h) Cualesquiera otros que a juicio del responsable o del encargado pudieran tener relevancia y en particular aquellos previstos en códigos de conducta y estándares definidos por esquemas de certificación.”

(76). “an AI Watchdog, or a trusted and independent regulatory body” which would be “equipped with the proper expertise (spanning ideally law, ethics, to computer science), resources and auditing authority (to make inspections) to ensure that algorithmic decision making is fair, unbiased and transparent”. Véase House of Commons Science and Technology Committee (2018), Algorithms in decisionmaking

Fourth Report of Session 2017–19:

https://publications.parliament.uk/pa/cm201719/cmselect/cmsctech/351/35102.htm

(77). Dado que creemos que ésta debería circuncribirse al ejercicio de potestades reglades, téngase en cuenta, por todas, la Sentencia de 16 de febrero de 2009:

“En esta tesitura, como hemos subrayado en la () sentencia de 14 de julio de 2008 (FJ 4º) y en la de 22 de septiembre del mismo año (casación para la unificación de doctrina 324/07, FJ 3º), para determinar si un sujeto de derecho está obligado jurídicamente a soportar el daño que le ha infligido el funcionamiento de un servicio público, uno de los elementos a tomar en consideración es la naturaleza misma de la actividad administrativa. Decíamos entonces que el panorama no es igual si se trata del ejercicio de potestades discrecionales, en las que la Administración puede optar entre diversas alternativas, indiferentes jurídicamente, sin más límite que la arbitrariedad que proscribe el artículo 9, apartado 3, de la Constitución, que si actúa poderes reglados, en lo que no dispone de margen de apreciación, limitándose a ejecutar los dictados del legislador. Y ya en este segundo grupo, habrá que discernir entre aquellas actuaciones en las que la predefinición agotadora alcanza todos los elementos de la proposición normativa y las que, acudiendo a la técnica de los conceptos jurídicos indeterminados, impelen a la Administración a alcanzar en el caso concreto la única solución justa posible mediante la valoración de las circunstancias concurrentes, para comprobar si a la realidad sobre la que actúa le conviene la proposición normativa delimitada de forma imprecisa. Si la solución adoptada se produce dentro de los márgenes de lo razonable y de forma razonada, el administrado queda compelido a soportar las consecuencias perjudiciales que para su patrimonio jurídico derivan de la actuación administrativa, desapareciendo así la antijuridicidad de la lesión [véase nuestra sentencia de 5 de febrero de 1996, ya citada, FJ 3º, rememorada en la de 24 de enero de 2006 (casación 536/02, FJ 3º); en igual sentido se manifestaron las sentencias de 13 de enero de 2000 (casación 7837/95, FJ 2º), 12 de septiembre de 2006 (casación 2053/02, FJ 5º), 5 de junio de 2007 (casación 9139/03, FJ 2º), 31 de enero de 2008 (casación 4065/03, FJ 3º) y 5 de febrero de 2008 (recurso directo 315/06, FJ 3º)].>>Ahora bien, no acaba aquí el catálogo de situaciones en las que, atendiendo al cariz de la actividad administrativa de la que emana el daño, puede concluirse que el particular afectado debe sobrellevarlo. También resulta posible que, ante actos dictados en virtud de facultades absolutamente regladas, proceda el sacrificio individual, no obstante su anulación posterior, porque se ejerciten dentro de los márgenes de razonabilidad que cabe esperar de una Administración pública llamada a satisfacer los intereses generales y que, por ende, no puede quedar paralizada ante el temor de que, si revisadas y anuladas sus decisiones, tenga que compensar al afectado con cargo a los presupuestos públicos, en todo caso y con abstracción de las circunstancias concurrentes. En definitiva, para apreciar si el detrimento patrimonial que supone para un administrado el funcionamiento de un determinado servicio público resulta antijurídico ha de analizarse la índole de la actividad administrativa y si responde a los parámetros de racionalidad exigibles. Esto es, si, pese a su anulación, la decisión administrativa refleja una interpretación razonable de las normas que aplica, enderezada a satisfacer los fines para los que se la ha atribuido la potestad que ejercita. Así lo hemos expresado en las dos sentencias referidas de 14 de julio y 22 de septiembre de 2008, dictadas en unificación de doctrina (FFJJ 4º y 3º, respectivamente)”.

(78). Art. 34.1 Ley 40/2015: “Sólo serán indemnizables las lesiones producidas al particular provenientes de daños que éste no tenga el deber jurídico de soportar de acuerdo con la Ley. No serán indemnizables los daños que se deriven de hechos o circunstancias que no se hubiesen podido prever o evitar según el estado de los conocimientos de la ciencia o de la técnica existentes en el momento de producción de aquéllos...”

(79). Smith, A., La teoría de los sentimientos morales, cuya primera edición apareció en 1759 y que se cita aquí por la edición española de Alianza Editorial, tercera reimpresión de 2012, pág. 49.

Comentarios - 2 Escribir comentario