Administraciones Públicas e inteligencia artificial: ¿más o menos discrecionalidad?

Es ya un lugar común la afirmación de que la digitalización y el uso de la inteligencia artificial constituyen en estos momentos el principal factor de cambio o innovación, tanto en el ámbito privado como en la actividad administrativa, y que de él se esperan grandes avances en términos de eficacia y eficiencia. También es un lugar común exponer las posibilidades de esta tecnología, para pasar a continuación a destacar los riesgos que su empleo conlleva y postular finalmente un régimen jurídico que les ponga coto. Tanto en el plano doctrinal como en el de los informes de organismos internacionales son ya muy abundantes los textos que tienen esta plantilla. En este trabajo recorreremos críticamente este camino, aunque con especial atención a la utilización de IA por los reguladores y supervisores económicos y, a la vez, abordaremos la relación de la IA con la discrecionalidad, al tratarse del tema central de este número de la Revista.

Alejandro Huergo Lora es Catedrático de Derecho Administrativo en la Universidad de Oviedo

El artículo se publicó en el número 96-97 de El Cronista del Estado Social y Democrático de Derecho (Iustel, octubre-noviembre 2021)

1. INTRODUCCIÓN

Es ya un lugar común la afirmación de que la digitalización y el uso de la inteligencia artificial constituyen en estos momentos el principal factor de cambio o innovación, tanto en el ámbito privado como en la actividad administrativa, y que de él se esperan grandes avances en términos de eficacia y eficiencia(1).

También es un lugar común exponer las posibilidades de esta tecnología, para pasar a continuación a destacar los riesgos que su empleo conlleva y postular finalmente un régimen jurídico que les ponga coto. Tanto en el plano doctrinal como en el de los informes de organismos internacionales son ya muy abundantes los textos que tienen esta plantilla(2).

En este trabajo recorreremos críticamente este camino, aunque con especial atención a la utilización de IA por los reguladores y supervisores económicos y, a la vez, abordaremos la relación de la IA con la discrecionalidad, al tratarse del tema central de este número de la Revista.

En este sentido, son varias las relaciones que se producen. Por un lado, la inteligencia artificial puede contribuir a reducir la discrecionalidad, en la medida en que algunas decisiones que actualmente tienen esa característica (la de ser decisiones discrecionales) pasarían a fundamentarse en datos, es decir, en predicciones basadas en datos y obtenidas a partir del análisis algorítmico de los mismos.

Por otro lado, hay que abordar si existe algún obstáculo de principio a la utilización de la inteligencia artificial para el ejercicio de potestades discrecionales, puesto que, ya de entrada, encontramos que una de las regulaciones más destacadas de la actuación administrativa automatizada, como es la de la legislación alemana de procedimiento administrativo, la descarta, directamente, en la actuación discrecional.

Por último, me parece necesario plantear si la regulación de la inteligencia artificial, que en estos momentos se encuentra en fase de proyecto (pero que también podría deducirse de principios y normas ya vigentes, empezando por los derechos fundamentales) no introduce, en realidad, una considerable dosis de discrecionalidad, al basarse en la proclamación de principios susceptibles de muy diversas concreciones, cuya determinación final queda en manos –nuevamente– de autoridades y reguladores.

2. CÓMO SE APLICA LA INTELIGENCIA ARTIFICIAL A LA ACTIVIDAD ADMINISTRATIVA

A) Aproximación al concepto

Como he explicado con más detalle en otro lugar, inteligencia artificial es una expresión demasiado genérica que hace referencia a todo lo que suponga la realización por ordenadores de tareas que anteriormente exigían la intervención humana o que se considera que son características del ser humano por exigir alguna forma de razonamiento.

El fenómeno que estamos estudiando no se corresponde con inteligencia artificial en sentido amplio, es decir, no se trata de la sustitución del ser humano en todo tipo de tareas intelectuales, sino que se trata de una inteligencia artificial limitada, específica, dirigida a tareas concretas como, por ejemplo, el reconocimiento facial(3). Se ha dicho que los sistemas que estamos estudiando funcionan bien para realizar tareas que los humanos llevan a cabo en pocos segundos (como el reconocimiento facial), pero no para otras que exigen una reflexión más profunda(4).

La reciente propuesta de Reglamento del Parlamento Europeo y del Consejo “por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión”, aprobada por la Comisión Europea el 21 de abril de 2021, define “sistema de inteligencia artificial (sistema de IA)”, como “el software que se desarrolla empleando una o varias de las técnicas y estrategias que figuran en el anexo I y que puede, para un conjunto determinado de objetivos definidos por seres humanos, generar información de salida como contenidos, predicciones, recomendaciones o decisiones que influyan en los entornos con los que interactúa”(5). Ni la remisión a un Anexo que contiene una relación de técnicas lógicas y matemáticas (y que puede ser modificado por la Comisión sin necesidad de reformar el Reglamento, de acuerdo con el artículo 4), ni la amplitud de la propia definición, permiten hacerse una idea precisa del objeto, es decir, de los sistemas de inteligencia artificial.

B) Las predicciones algorítmicas como núcleo de los sistemas de inteligencia artificial

Dentro de esa definición, el núcleo (y lo que realmente viene funcionando en la práctica como sistemas de inteligencia artificial) son aplicaciones que, a partir del análisis de grandes cantidades de datos, llevado a cabo con fórmulas matemáticas muy potentes (“algoritmos”, aunque la palabra tiene un significado mucho más amplio), producen predicciones o juicios que sirven para tomar decisiones. Se trata, como es evidente, de un fenómeno amplísimo, que puede utilizarse (y se utiliza) tanto en el sector privado como en el público y en el que, de hecho, el sector público va a remolque del sector privado, en el que existe desde la década de 2010 toda una economía basada en la explotación de los datos, que ha lanzado a las grandes empresas tecnológicas a los primeros lugares por capitalización bursátil (como ocurre con Alphabet-Google, Facebook, Amazon o Netflix que son los ejemplos más claros de empresas tecnológicas basadas fundamentalmente en la explotación algorítmica de los datos).

Aunque el funcionamiento de los algoritmos es muy difícil de explicar en términos profanos, sí se puede entender qué hacen y para qué sirven, del mismo modo que se puede ser usuario de la informática o conocer sus posibilidades sin saber cómo funciona un ordenador. En este sentido, las predicciones algorítmicas suponen una forma distinta de aproximarse a un problema o de tomar una decisión.

Normalmente, las decisiones se basan en un razonamiento. Si un banco trata de analizar el riesgo de una operación para decidir si otorga, o no, un préstamo, se examinan los datos disponibles y se toma la decisión, buscando argumentos que indiquen si parece que el cliente va a devolver el crédito, o no. Lo mismo ocurre cuando se duda si financiar o no una película, o si realizar o no una inversión, o iniciar, o no, un pleito. Las predicciones algorítmicas suponen un enfoque diferente. Primero obtenemos datos (cuantos más, mejor) sobre operaciones de crédito anteriores, de las que ya se sabe si resultaron buenas o malas (es decir, son datos etiquetados, puesto que de cada uno de ellos se sabe si corresponde a una operación fallida o exitosa). Conviene tener todo tipo de datos acerca de esas operaciones, no sólo los más evidentes (como la situación laboral o los ingresos del prestatario), sino también otros diferentes (desde la forma de contactar con el banco hasta los hábitos de transporte del cliente) porque el análisis algorítmico puede mostrar que son reveladores y que permiten predecir razonablemente el resultado de una operación. Esos datos son analizados matemáticamente para intentar hallar correlaciones. Así, por ejemplo, puede que sea mucho más frecuente el impago entre los clientes que no tienen una relación previa con el banco que entre los que tienen una relación más antigua. Algunas de esas correlaciones serán previsibles, pero otras no (por ejemplo, es posible que el historial de siniestros de tráfico comunicados a las aseguradoras sea un buen predictor de solvencia de un posible cliente). El resultado final es una especie de “baremo”, compuesto por múltiples parámetros dotados de un peso mayor o menor en el resultado final, que se puede aplicar a cada solicitante de crédito y nos arrojará una “predicción de solvencia” que el banco puede utilizar (o no), para otorgar o denegar el crédito(6).

Los juristas estamos acostumbrados a manejar baremos, que son un instrumento muy práctico para asignar recursos escasos (por ejemplo, para decidir a quién se adjudica un contrato, o un puesto de trabajo en el sector público, o la autorización para instalar un parque eólico en una determinada ubicación). Los baremos permiten objetivar las decisiones. En su aplicación se plantean dudas y surgen pleitos sobre, entre otras cosas, la interpretación y aplicación del baremo (cómo se computa un determinado título académico o curso de formación) o sobre si el baremo había sido confeccionado, en realidad, para favorecer a un determinado aspirante. La inteligencia artificial también acaba elaborando y aplicando algo muy parecido a un baremo, pero con la particularidad de que este baremo no lo diseña un humano, sino un programa informático a partir de datos (no datos neutros, sino datos etiquetados). Es decir, lo que hace el programa es crear un algoritmo que, si lo hubiéramos aplicado en el pasado, nos habría permitido seleccionar a los clientes que acabaron devolviendo el préstamo, frente a los que finalmente no lo devolvieron (que habrían obtenido puntuaciones bajas en el baremo). El algoritmo (el baremo) consiste, por decirlo así, en un retrato robot del cliente solvente, con el objetivo de saber, ante un nuevo solicitante de crédito, si será solvente o no.

Los algoritmos son “conservadores”, en el sentido de que parten de la base de que el futuro será como el pasado, es decir, de que quienes se parecen a aquellos que en el pasado tendían a no pagar sus deudas, tendrán la misma tendencia a no hacerlo. Salta a la vista que esto puede colocar en desventaja a quienes se encuentran en grupos desfavorecidos. Ello plantea problemas en un Estado que tiene cumplir el artículo 9.2 de la Constitución y promover “las condiciones para que la libertad y la igualdad del individuo y de los grupos en que se integra sean reales y efectivas; remover los obstáculos que impidan o dificulten su plenitud y facilitar la participación de todos los ciudadanos en la vida política, económica, cultural y social”. Si de lo que se trata precisamente es de integrar a todos, de garantizar la igualdad de oportunidades y de evitar que un punto de partida más desfavorable lastre las posibilidades de algunos individuos, un instrumento que cronifica esas situaciones no es el más adecuado. En todo caso, esto nos alerta ya sobre la necesidad de evaluar críticamente los algoritmos, de forma que se vigile si todos los criterios utilizados para calcular la predicción son aceptables jurídicamente, y también para utilizar siempre datos actualizados, puesto que, por ejemplo, en un contexto de progresiva paridad de sexos, utilizar datos antiguos puede llevar a que se reproduzcan patrones de reducida participación femenina. También puede suceder, sencillamente, que el algoritmo halle correlaciones a partir de factores que, como ocurre con la religión, el sexo o la raza, no pueden ser utilizados para otorgar un trato diferente, y en ese caso será necesario prescindir de ellos, aunque de esta forma pueda perjudicarse (al menos a primera vista) la capacidad predictiva y la utilidad del algoritmo. Por otro lado, aunque no se tengan en cuenta esas características cuya aplicación sería directamente discriminatoria (como el sexo), pueden persistir discriminaciones indirectas si se utilizan otros criterios que conducen a aquéllas (por ejemplo, cuando el algoritmo otorga una puntuación más baja a personas que tienen características físicas que normalmente se corresponden con un determinado sexo o con un origen étnico concreto).

La utilización de algoritmos ayuda a objetivar decisiones, desplazando, en todo o en parte, a factores subjetivos que tradicionalmente vienen utilizándose para tomar decisiones. Hablamos siempre de decisiones que se mueven en contextos de incertidumbre, puesto que, si se tratara de decisiones que pudieran ser objetivadas en función de reglas claras, no se plantea ni la discrecionalidad ni la inteligencia artificial (por ejemplo, ante decisiones como la de otorgamiento y cálculo de una pensión de jubilación, que es totalmente reglada). Decisiones inciertas como, por ejemplo, saber si una pequeña mancha detectada en una resonancia magnética puede ser un tumor y debe realizarse una biopsia que, a su vez, tiene sus propios riesgos, o si un anciano se encuentra en riesgo de suicidio y se le debe aplicar una protección especial (que sólo puede utilizarse con un número reducido de personas porque los recursos públicos son limitados), aunque no lo haya solicitado, o los ejemplos ya mencionados del crédito y otros imaginables en contextos empresariales. Antes de la utilización de sistemas de inteligencia artificial, en muchas de esas decisiones inciertas, en las que no se pueden aplicar reglas claras, intervenía el “ojo crítico”, es decir, la percepción personal del experto, que es un factor subjetivo, junto a otros criterios que sí se aplican objetivamente (como el nivel de renta, en el caso del crédito), pero sin que exista una demostración matemática de qué influencia tienen esos factores objetivos en el resultado final que se intenta predecir. El algoritmo elimina el factor subjetivo (es una predicción, no un “pálpito”) y, además, los factores objetivos que se tienen en cuenta son factores cuya relevancia está justificada por los hechos. Es decir, se van a valorar aquellos factores que los datos demuestran que sirven para identificar a quienes han devuelto el préstamo, es decir, a las personas que estamos tratando de identificar en el futuro.

Esta misma plantilla se repite continuamente. En un caso reciente, Grecia utilizó un sistema de predicción algorítmica para decidir a qué personas de las que querían ingresar en su territorio se les exigía someterse a un test de detección de la covid(7). Cuando la pandemia se encontraba en una fase en la que todavía no había vacunas y existía escasa disponibilidad de tests, la Administración decidió aplicar, en vez de criterios objetivos fijados de antemano (como el Estado de procedencia o la edad), un algoritmo (“Eva”). Esto significa que se obtienen datos del pasado (en este caso, todos los datos posibles acerca de las personas que se habían sometido a tests, de las que ya se sabe su resultado positivo o negativo) y el algoritmo halla correlaciones que son un “retrato robot” de la persona contagiada. Como resultado, a partir de ese momento se aplican los tests a las personas que más probabilidades tienen de estar contagiadas, de acuerdo con ese retrato robot. El resultado fue un incremento en el número de positivos detectados en viajeros asintomáticos, en comparación con la aplicación de tests de forma aleatoria o sólo en función del Estado de procedencia, lo que supone que el algoritmo ayudó a identificar mejor a los posibles infectados, mientras que antes había más tests “desperdiciados” en personas que no estaban contagiadas, y posiblemente había más personas asintomáticas contagiadas que no eran detectadas porque no se les pedía que se hicieran un test.

Otro ejemplo real, que además fue muy polémico, es el algoritmo utilizado en Inglaterra para la determinación de las notas finales de los estudiantes de bachiller en el curso 2019-2020(8). Ante la suspensión de los exámenes externos por la pandemia de la covid, era necesario encontrar otra forma de que cada estudiante tuviera una calificación, determinante para el acceso a la Universidad. Como no se quería confiar en las notas que pusiera el centro educativo del alumno (porque podrían ser infladas y se incentivaría que cada centro calificara generosa e injustamente a sus alumnos, ante el temor de que todos los demás hicieran lo mismo), se creó un algoritmo a partir de las calificaciones de años anteriores. En todos estos casos, se intenta hallar un dato que no conocemos (si se devolverá el crédito o, en este ejemplo, qué calificación habría obtenido un estudiante en un examen que no se va a realizar) a partir de otros que sí conocemos (en este caso, toda la trayectoria académica del alumno y de los alumnos de años anteriores: notas del centro educativo, trayectoria del propio centro, etc.). Se analizan los casos anteriores, de los que sí conocemos todos los datos (hablo de los estudiantes de años anteriores, de los que se conoce su trayectoria académica y la nota que obtuvieron en el examen externo, que en ese año sí se celebró), y tratamos de hallar correlaciones. Con esos datos se halló un algoritmo que, a partir de la trayectoria académica de los alumnos de los años anteriores, calculaba la nota que habrían obtenido en el examen. Ese algoritmo “funcionaba” con los datos de años anteriores, en el sentido de que la nota que predecía era muy similar a la que esos alumnos realmente obtuvieron, y lo que se hizo fue utilizarlo para fijar unas notas “supuestas” para los alumnos de 2019-2020, que no hicieron exámenes externos. Las críticas no se hicieron esperar, sobre todo porque algunos alumnos se veían penalizados (y otros, favorecidos) por circunstancias ajenas a su propia conducta, por ejemplo, con la trayectoria anterior de su centro educativo. Así, a igualdad de notas, el algoritmo les daba más valor si provenían de un centro que en años anteriores había obtenido mejores notas en los exámenes externos. Como, además, sucede que existe una correlación social (porque, con frecuencia, los centros que obtienen mejores notas en los exámenes externos son centros privados o que tienen un alumnado que procede de entornos de renta más alta o con padres con mayor nivel de estudios), enseguida surgió la acusación de que el algoritmo tenía un sesgo social y finalmente no fue utilizado (en la práctica, cada alumno recibió la calificación más alta comparando la resultante del algoritmo y las notas de su centro educativo).

Como vemos, una de las claves de los sistemas algorítmicos o de inteligencia artificial es que llegan al resultado a través de correlaciones, no de relaciones de causalidad, como ocurre en los razonamientos usuales. Por poner otro ejemplo real y bien conocido, inicialmente Amazon tenía contratados a críticos literarios para identificar libros que pudieran interesar a sus clientes. El crítico intenta detectar libros de calidad y, a partir de ahí, los recomienda. Más tarde los sustituyó por algoritmos: el algoritmo identifica (por el procedimiento de análisis matemático de datos que ya hemos explicado) el tipo de lector que corresponde a cada libro y, una vez identificado cómo es el lector que se encuentra sentado frente a la pantalla, le recomienda los libros que pueden interesarle. Una recomendación que puede basarse en circunstancias tan particulares y alejadas de la calidad literaria del libro como el tipo de cosas que ese lector ha tecleado en un buscador, o los videos que ha visto en YouTube, o la forma de teclear en su ordenador. Los algoritmos se basan en correlaciones de lectores (a un lector le gustará lo mismo que a otros similares) y de productos (a un lector de novela negra escandinava le gustarán otras del mismo tipo, o relacionadas). Lo mismo que hace, por ejemplo, Netflix para hacer recomendaciones de series o películas adaptadas a cada usuario. Esta sustitución del pensamiento experto por las correlaciones es habitual y podemos verla en funcionamiento, por ejemplo, en aplicaciones como TripAdvisor, que no tienen ningún elemento que analice objetivamente la calidad de los restaurantes u hoteles, o el mayor o menor interés de los diferentes destinos turísticos, sino que simplemente se basan en cuánta gente los recomienda y qué nota les pone (del mismo modo que, por poner el ejemplo máximo, Google no recomienda unas páginas u otras en función de su calidad, sino del número de personas que las citan o las visitan).

Por decirlo de otro modo, los sistemas de inteligencia artificial son ciegos, hacen predicciones sin tener ningún sensor que les permita detectar el objeto de la predicción. Para ello utilizan lo que se denomina proxies, es decir, detectan otras cosas que suelen coincidir con ese objetivo que se intenta predecir, y que sí son fáciles de detectar (por ejemplo, la abundancia de citas o de críticas favorables como proxy de la calidad de un curso o de un restaurante). También son conocidos ejemplos ya clásicos como el de unos grandes almacenes de Nueva York que dirigían una carta a las clientas, felicitándolas por su embarazo, simplemente a partir del tipo de productos que habían comprado o visto en la web. La campaña (que podemos decir que era un tanto patosa y poco respetuosa de la intimidad) iba dirigida a sorprender a las interesadas (que no habían manifestado que estuviesen embarazadas, a veces ni siquiera a su propia familia), y produjo, como es fácil suponer, más de una situación enojosa. Más sencillo es el ejemplo de la aplicación que alertaba al servicio de salud (en Estados Unidos) de la llegada de una epidemia de gripe, a partir de las búsquedas más frecuentes en internet (fiebre, síntomas, analgésicos, etc.), adelantándose así a la llegada masiva de enfermos a la atención primaria. Otro ejemplo, popularizado durante la primera fase de la pandemia de la covid-19, fueron los test emulados, que, en la etapa en que escaseaban las pruebas PCR, permitían detectar aproximativamente los contagios a partir del análisis de los datos disponibles de los contagiados, que a su vez permitía hallar correlaciones con síntomas fáciles de detectar y cuya relación con la covid no está demostrada ni explicada, pero es constatable estadísticamente. Esto permite decir que alguien probablemente está infectado, sin aplicar una prueba PCR o similar.

La idea es que este análisis de datos masivo puede identificar correlaciones que se escapan a “la doctrina” (es decir, que no han sido recogidas por los tratadistas en las obras de referencia en el sector) y también al ojo clínico de los expertos más experimentados. Esto puede ser útil, por ejemplo, en medicina, porque no sólo abarata la prestación del servicio (la predicción algorítmica es casi gratuita, una vez amortizado el coste fijo de la adquisición de la licencia de uso) sino que puede ir más allá del ojo humano, frecuentemente lastrado por los prejuicios doctrinales o de formación y porque su experiencia será siempre limitada.

Un dato importante para acabar de pintar este cuadro es el de la economía de este novedoso y relevante “medio de producción” que son las predicciones algorítmicas. Las predicciones algorítmicas son un producto que requiere tres elementos: datos, algoritmos y capacidad de computación. Los datos son, obviamente, imprescindibles. Es necesario, además, que estén estructurados: decenas de metros lineales de sentencias archivadas no permiten hacer ninguna predicción si antes no se extraen los elementos principales de cada una de ellas (el fallo, el órgano que decide, el ponente, las partes, etc.). De ahí la importancia de los datos como materia prima y, por lo que respecta al ámbito jurídico, la relevancia de la reutilización de la información del sector público. Cuestiones como la ventaja competitiva que puede alcanzar quien dispone de determinados datos, o las fórmulas que pueden encontrarse para conseguir que los datos brutos sean estructurados y se conviertan en datos aprovechables concediendo derechos temporales de exclusiva en su utilización a quien lleve a cabo esa operación pasan a primer plano(9).

Por lo que respecta a los algoritmos, es decir, las “fórmulas” matemáticas que permiten trabajar con los datos, hallar correlaciones y producir predicciones, son invenciones científicas que no están protegidas, sino que han sido publicadas por vías académicas y son de uso común. A mediados de la década de los 2.000 se produjeron avances muy importantes, que soportan la actual expansión de las predicciones algorítmicas. En universidades y centros de investigación empresariales (frecuentemente relacionados con las primeras) se investiga para descubrir nuevos algoritmos que permitan dar un salto hacia adelante. En cambio, los sistemas de inteligencia artificial que permiten obtener predicciones concretas, basados en esos algoritmos, sí están protegidos, normalmente como secreto empresarial, y tienen valor en el mercado. La expresión usual es que los datos sirven para “entrenar” a los algoritmos, es decir, para ajustar sus predicciones.

Por último, se necesita capacidad de computación, que proporciona el soporte para la inmensa cantidad de cálculos necesarios para que funcione un sistema de inteligencia artificial. Predecir algo por esta vía es mucho más costoso, en términos de los cálculos necesarios para llegar al resultado, que hacerlo por métodos tradicionales, como pone de manifiesto el ejemplo del aprendizaje de idiomas(10). La capacidad de computación viene duplicándose en aplicación de la conocida Ley de Moore, según la cual cada dos años se duplica el número de transistores en un microprocesador, y eso es uno de los factores que ha hecho posible el desarrollo de estos sistemas de inteligencia artificial.

C) Riesgos de las predicciones algorítmicas

Esta pequeña explicación, con la que se intenta aterrizar en la realidad y mostrar con la mayor concreción de qué estamos hablando, ya nos permite ver algunos de sus problemas. Los sistemas de inteligencia artificial pueden discriminar de varias formas, de entre las que destacan dos. En primer lugar, porque, si analizan los datos para hallar correlaciones (es decir, si intentan hallar “reglas” o baremos a partir de un mar de datos etiquetados, es decir, datos que se saben que se corresponden –o no– con el objetivo a buscar), pueden hallar correlaciones con factores que, como el sexo, la raza, la religión u otras circunstancias personales o sociales, no pueden ser utilizadas para dar un tratamiento distinto (artículo 14 CE). Esto requeriría un desarrollo más largo, pero quede apuntado que los sistemas de inteligencia artificial deben ser ajustados jurídicamente para evitar que utilicen (para tratar de modo diferente a sus destinatarios, por supuesto) factores que el artículo 14 veda que se tengan en consideración (por lo menos en decisiones de poderes públicos). Además, hay que evitar las discriminaciones indirectas, es decir, que se tomen en consideración factores aparentemente neutros pero que en realidad equivalen a otros prohibidos (como las características físicas que en realidad remiten a una determinada raza, o el código postal, que puede suponer una discriminación socioeconómica indirecta). En segundo lugar, puede haber problemas como consecuencia de los datos utilizados, porque, como ya hemos visto, el algoritmo tiende a reproducir en el futuro los patrones del pasado y esto no siempre se corresponde con la realidad.

Por otro lado, hay un problema de transparencia. En los casos más sencillos, el algoritmo calcula algo parecido a un baremo a partir del análisis de los datos que se le suministran. Pero, con frecuencia, el baremo es muy complejo y, aunque es posible saber qué factores tiene en cuenta el algoritmo para llegar a su conclusión, no es fácil determinar el peso exacto de cada uno de ellos y, por tanto, por qué un ciudadano recibe una determinada calificación, que le coloca más lejos o más cerca de una prestación (favorable) o de una consecuencia desfavorable (como una inspección o la aplicación de peores condiciones en un préstamo o un seguro). No sólo eso, sino que, precisamente por la complejidad matemática de los algoritmos y por la cantidad y variedad (“granularidad”) de los datos manejados, tampoco es fácil (a veces, ni siquiera es posible) saber por qué se ha llegado a ese particular baremo y no a otro.

Los sistemas de inteligencia artificial se mueven con soltura en terrenos poco controlados jurídicamente. Por ejemplo, cuando una empresa toma sus decisiones. Una firma toma sus decisiones de producción, inversión, desinversión, comercialización, etc., de forma libre y responsable, en ejercicio de la libertad de empresa. No pasa nada porque decida fiarse de un sistema de inteligencia artificial, en lugar de hacerlo de un experto convencional o de la intuición del administrador único. No se le exige que justifique esas decisiones, que tienen, obviamente, escasos límites jurídicos. En estos casos, el algoritmo se justifica por su eficacia, puesto que, si sus “consejos” se demuestran erróneos, será abandonado. Ello plantea el problema de si se puede valorar ese acierto, lo que unas veces es posible (por ejemplo, cuando un algoritmo intenta predecir las cotizaciones de un determinado mercado) y otras veces no tanto, porque el algoritmo actúa como “profecía autocumplida” y no se puede comparar con lo que habría sucedido sin utilizarlo (por ejemplo, no podemos saber si hubieran sido solventes los clientes a los que se deniega un préstamo como resultado de la aplicación del algoritmo, aunque sí podemos comparar las cifras globales de solvencia de una entidad, antes y después de utilizar un sistema algorítmico).

El problema surge cuando se utilizan algoritmos o sistemas de inteligencia artificial predictiva en entornos en los que existe un control jurídico mucho más intenso y en los que es necesario justificar que las decisiones que se toman se ajustan a la programación establecida por las normas aplicables. Por seguir en el ámbito privado, es lo que sucede cuando de las decisiones de inversión pasamos a las de gestión de personal (y no es casual la pretensión legal de “transparencia algorítmica”, planteada por primera vez a propósito de las “empresas de plataforma”)(11) o a las que afectan a consumidores(12). Y, por supuesto, las alarmas saltan cuando pasamos al campo de los poderes públicos, cuya actuación y cuyo poder se legitiman justamente en que están “embridados” por un marco normativo que programa su actuación, y por un control variado (incluido, destacadamente, el control judicial), que sirve para verificar si la actuación se ha ajustado a ese programa normativo.

Las normas obligan a la Administración a tomar sus decisiones en función de unos criterios determinados. Por ejemplo, a adjudicar plazas universitarias o puestos de trabajo por unos méritos concretos, evaluados a través de determinada forma. Y hemos visto que los sistemas de inteligencia artificial sirven precisamente para llegar al mismo resultado (asignación de puestos de trabajo o de plazas universitarias), pero a través de correlaciones que se han descubierto a través del análisis de casos pasados. Por seguir con el mismo ejemplo: se selecciona a los candidatos que más se parecen a los funcionarios exitosos del pasado o a los estudiantes que lograron mejores resultados. Este salto es muy dudoso que puedo hacerlo la Administración, y éste es justamente el problema central, y no las imperfecciones más o menos coyunturales de los datos que se suministran al algoritmo.

Por eso es por lo que los sistemas de inteligencia artificial, cuando se aplican a la Administración, se mueven en los campos menos controlados jurídicamente, como ocurre, sobre todo, con las decisiones por las que se selecciona a los sujetos que van a ser inspeccionados o (visto desde el lado contrario) a los que se va a prestar mayor atención colocándolos bajo el paraguas de programas de protección (frente al riesgo de fracaso escolar, de suicidio o de abusos, por ejemplo). Se trata de actos de trámite que normalmente no son recurribles, que no es necesario motivar y que muchas veces se toman por razones subjetivas, por lo que resulta menos sensible la utilización de algoritmos. Otra cosa muy distinta sería utilizar estos sistemas para la toma de auténticas resoluciones.

D) Relación con la Administración electrónica

Antes de continuar el análisis y enfocarlo concretamente en los reguladores económicos, son convenientes algunas precisiones conceptuales, aunque a estas alturas creo que los lectores ya las habrán adivinado.

La “digitalización” y la “Administración electrónica”, que tan destacado papel tuvieron en la reforma que llevó a la aprobación de las Leyes 39 y 40/2015, son un fenómeno muchísimo más amplio y genérico que la aplicación de la inteligencia artificial. Cualquier forma de “informatización” en la actividad administrativa puede incluirse en el epígrafe de digitalización o de Administración electrónica, claro está, aunque, de hecho, el cambio más destacado es, sin duda, el que se ha producido en la comunicación entre la Administración y los ciudadanos, con la obligación de relacionarse electrónicamente con ella, sobre todo a la hora de presentar solicitudes y escritos y de recibir notificaciones. Salta a la vista que esta digitalización no incluye necesariamente a las predicciones algorítmicas ni a la inteligencia artificial.

La Administración electrónica, con todo, sí ayuda a la introducción de mecanismos de inteligencia artificial porque facilita la acumulación y estructuración de los datos, que son, como hemos visto, el primer paso hacia ese resultado que son las predicciones algorítmicas.

E) Relación con la actividad administrativa automatizada

Es fácil explicar que las predicciones algorítmicas no equivalen a la actuación administrativa automatizada. De hecho, hay actuación automatizada sin inteligencia artificial y hay inteligencia artificial sin actuación automatizada. Ejemplo de lo primero es la automatización de actos puramente reglados, como ocurre, por ejemplo, en la Administración de la seguridad social. Tenemos actuación automatizada porque el acto se dicta sin intervención humana (no hace falta la “firma”, física o electrónica, del borrador o propuesta preparados por un sistema informático), pero no hay inteligencia artificial o predicción algorítmica porque el contenido del acto resulta simplemente de la constatación de unos hechos previstos en la norma y de la aplicación de la regla prevista en esta. Recordemos lo que hemos visto antes: en la programación tradicional la regla es previa, se incorpora al programa informático y éste nos permite aplicarla a los hechos de cada caso concreto. Eso es lo que sucede cuando se automatiza la actividad reglada de la Administración.

La inteligencia artificial, entendida como predicciones algorítmicas, no necesariamente supone actuación automatizada, porque es posible, e incluso muy frecuente, que la predicción no se aplique por sí sola, automáticamente, sino que se limite a ser un elemento que tenga a su alcance el titular del órgano que debe dictar la decisión, como si fuese un informe más. Tenemos inteligencia artificial, pero no actuación automatizada.

Esto es obvio, pero el problema es que la legislación ha tendido a regular la actuación administrativa automatizada y no la inteligencia artificial o las predicciones algorítmicas. En el caso de la normativa de protección de datos, para prohibirla salvo que se cumplan una serie de requisitos (artículo 22 del Reglamento General de Protección de Datos) y, en el caso de la legislación de procedimiento administrativo, para admitirla dentro de ciertos cauces (artículo 41 de la Ley 40/2015, de Régimen Jurídico del Sector Público). A mi modo de ver, esta regulación ha nacido vieja, porque está pensada para algo que era muy novedoso hace décadas, pero no tiene en cuenta que ahora los verdaderos riesgos están en el contenido de las decisiones y no sólo en la forma en que ven la luz. Y lo que afecta al contenido de la decisión son las predicciones algorítmicas, no el hecho de que se trate de decisiones automatizadas.

La automatización, como tal, independientemente del contenido, plantea indudables riesgos, sobre todo por la dificultad de responder a la misma o de dialogar con el autor de la decisión y corregir sus posibles errores o discutirla, sin más. Pero es un problema menor en comparación con otros relacionados directamente con el contenido de la decisión y con la forma en que se llega a él. El hecho de que la predicción algorítmica no se aplique de forma automática, sino con intervención humana, es, en principio, más garantista, pero en la práctica puede servir para eludir esas garantías y para que su aplicación pase inadvertida para el radar jurídico, como está sucediendo, y veremos dentro de un momento.

F) Relación con los algoritmos

En cuanto a los algoritmos, éstos son, por citar la definición de la RAE, un “[c]onjunto ordenado de operaciones sistemáticas que permite hacer un cálculo y hallar la solución de un tipo de problemas”. Por tanto, un algoritmo es un procedimiento, una receta, la forma de conseguir un resultado, siempre que esté expresada en pasos sucesivos y perfectamente definidos. Lo que caracteriza a un algoritmo es que esos pasos o instrucciones están definidos de forma precisa, como para que puedan ser seguidos ciegamente, que es lo que hace un ordenador con el programa que está ejecutando. De aquí que la aplicación más clara del concepto de algoritmo, y la que ha hecho que la palabra tenga fortuna, es la de los programas informáticos, aunque en sentido amplio muchas otras cosas son algoritmos, empezando por una receta de cocina.

Precisamente por esta amplitud de contenido es difícil hablar de las características jurídicas de los algoritmos, porque los hay muy diferentes entre sí. Las predicciones algorítmicas, que plantean, como estamos viendo, problemas muy concretos, son sólo un tipo de algoritmos. También hay algoritmos que simplemente sirven para facilitar la actuación administrativa y vuelcan el contenido de las normas en un programa para que sea más fácil aplicarlas. Se utilizan en decisiones regladas, como en algunos procedimientos tributarios, y son lo que suele conocerse como aplicaciones de gestión. En estos casos, el programa es totalmente instrumental, no aporta nada el contenido de la decisión administrativa, que habría sido igual si se hubiera elaborado “a mano”, sin intervención de un programa.

G) La aplicación a la supervisión y regulación económica: Suptech y Regtech

La actividad de los reguladores y supervisores económicos no es ajena a la utilización de la inteligencia artificial y las predicciones algorítmicas.

Se habla, en primer lugar, de RegTech, para referirse a un fenómeno diferente al que estamos estudiando, aunque también relacionado con la tecnología. En este caso, se trata de empresas que utilizan la tecnología (incluida la inteligencia artificial) para ayudar a otras a automatizar y hacer más eficientes las tareas dirigidas a cumplir la normativa aplicable y a acreditar ese cumplimiento. En particular, las empresas financieras se encuentran sometidas a una regulación muy estricta, que se incrementó a partir de la crisis de 2008 (sobre todo en Estados Unidos, que es donde surge esta figura). La cantidad de información que tienen que suministrar a los reguladores se ha incrementado mucho y el simple hecho de cumplir esas obligaciones de información (que son, por otro lado, instrumentales de las verdaderas obligaciones de cumplimiento que afectan a su actividad empresarial) consume una cantidad ingente de recursos. De ahí que surjan empresas (el sector RegTech) que implantan sistemas que facilitan el cumplimiento de las obligaciones de información. Es un fenómeno importante en el mercado, pero que no tiene más trascendencia jurídica, porque es, como estoy diciendo, instrumental. El cumplimiento o incumplimiento de las obligaciones no se ve afectado por el hecho de que se acredite con medios tecnológicos más o menos avanzados.

Otra cosa es el llamado SupTech, es decir, herramientas tecnológicas utilizadas por los reguladores y supervisores para ejercer sus funciones. Aquí sí estamos hablando de la aplicación de la inteligencia artificial, incluidas las predicciones algorítmicas, a la actividad administrativa. Existen múltiples documentos de los reguladores (en primer lugar, los bancos centrales) que hablan de la gran potencialidad del SupTech y de la necesidad de utilizarlo, para ponerse a la altura de los propios sujetos regulados, que han hecho importantes inversiones para hacer el máximo uso de la tecnología(13). Así, por ejemplo, el BCE ha creado un “SupTech Hub”, como punto de encuentro de todas estas iniciativas, en el que puedan compartir puntos de vista el propio organismo, junto con los operadores tecnológicos, que prestan y proponen servicios, y los sujetos sometidos a la regulación.

Como ejemplos concretos del potencial de la inteligencia artificial aplicada a la regulación, se menciona el machine learning (que no es sino otra forma de referirse a las predicciones algorítmicas, que veíamos antes) o el procesamiento del lenguaje natural(14). Éste es una técnica que se puede utilizar en muchos ámbitos, y que sirve, básicamente, para facilitar la interacción entre ordenadores y personas, lo que incluye, por ejemplo, utilidades que permitan convertir automáticamente audios en textos escritos, algo que es muy útil en instituciones que, como los tribunales, desarrollan procedimientos orales. También puede servir para que a través de la voz se den instrucciones a los ordenadores, es decir, para que éstos puedan extraer instrucciones o tomar decisiones en función de datos percibidos a través de un audio. Vemos que no es exactamente un instrumento de regulación, sino una técnica que facilita el trabajo(15).

Si intentamos, como estoy haciendo en este trabajo, ir más allá de esta terminología abstracta que se repite en documentos oficiales y tratar de explicar a qué se hace referencia en concreto (porque sólo así podremos esbozar el régimen jurídico aplicable o necesario para esta nueva realidad), se llega a la conclusión de que lo más importante es que estos sistemas de inteligencia artificial permiten a los reguladores (estoy hablando, sobre todo, de los supervisores financieros) valorar con más exactitud las situaciones de riesgo, cuya detección temprana es el principal objetivo de estos organismos (pensemos en lo que pasó en la crisis financiera de 2008, que no vieron venir). ¿Qué ayuda puede prestar en estos casos la inteligencia artificial? Nos encontramos ante un caso típico de predicción algorítmica, en la medida en que, a partir del análisis de una gran cantidad de datos pasados, se detectan correlaciones con las situaciones de crisis producidas en el pasado, es decir, se detectan fenómenos que coincidieron con la crisis o que la precedieron y que, en muchos casos, no tienen una relación de causalidad con ella (al menos de forma visible) o nadie ha reparado en ellos. De esa forma, los sistemas de inteligencia artificial ayudan a identificar esos indicadores de riesgo y a saber cuándo debe producirse la intervención.

En la práctica, el diseño de estos sistemas de inteligencia artificial aplicada a la supervisión financiera queda en manos de operadores privados, empresas tecnológicas, que presentan sus proyectos a la Administración. Por eso suelen ser objeto de contrataciones en los que la entidad contratante diseña la prestación sólo en términos muy genéricos. Así se puede comprobar en la práctica del BCE, que a finales de 2020 lanzó la licitación de un contrato de 210 millones de euros destinado, genéricamente, a consultoría sobre apoyo y mejora de la digitalización de las prácticas de supervisión y las funciones del BCE, que incluye la aplicación de inteligencia artificial(16). No es exactamente un “espacio de pruebas” o sandbox porque se trata de un contrato público y no de iniciativas privadas, pero, en cierto modo, se concede una gran libertad a los licitadores privados para definir el contenido de sus ofertas.

Algo parecido sucede en el ámbito interno, donde podemos citar la contratación, por la Secretaría General de la Tesorería General de la Seguridad Social, del “Servicio de consultoría estratégica para el mantenimiento y desarrollo del modelo de lucha contra el fraude a la Seguridad Social en el ámbito de la Tesorería General de la Seguridad Social”(17), que incluye elementos como sistemas de “detección del incumplimiento de las obligaciones establecidas en tales materias” o de “detección precoz de los casos de futuros supuestos de fraude”.

Teniendo en cuenta la incertidumbre que se deriva de estos pliegos tan vagos, todo indica que la aplicación de la inteligencia artificial por los supervisores y reguladores se centra en predicciones algorítmicas dirigidas a detectar situaciones de riesgo, es decir, la detección temprana de casos en los que puede ser necesaria la intervención del organismo de que se trate, a través del ejercicio de sus potestades, incluida la sancionadora. Algo parecido, en suma, a la policía predictiva. Además, hay otras manifestaciones que, como el procesamiento de lenguaje natural, son transversales a muchos otros campos y, aunque son muy importantes por el trabajo que ahorran a cualquier ente que utilice esta clase de técnicas, no plantean cuestiones jurídicas relevantes porque no cambian el contenido de la actividad administrativa.

3. HACIA UN MARCO JURÍDICO DE LA INTELIGENCIA ARTIFICIAL APLICADA A LA ACTIVIDAD ADMINISTRATIVA

A) El punto de partida: aplicación sin marco normativo

Hemos visto cómo, en la práctica, la aplicación de sistemas algorítmicos ha ido por delante de la aprobación de un marco normativo que la regule y le sirva como fundamento y cobertura. Que esa aplicación es real se evidencia por datos como los contratos o la información institucional de distintos organismos, que hemos ido repasando. Y lo cierto es que no existen normas que regulen el uso por las Administraciones de predicciones algorítmicas.

Sí existe alguna regulación de la actuación administrativa automatizada, como sabemos (y no sólo desde la perspectiva de la protección de datos). Una regulación genérica en el artículo 41 de la Ley 40/2015, ahora desarrollado por el artículo 13 del Reglamento de actuación y funcionamiento del sector público por medios electrónicos, aprobado por Real Decreto 203/2021, de 30 de marzo. Esta regulación parte de la base de que es necesaria una previsión normativa que autorice en cada caso que la actuación administrativa se lleve a cabo de forma automatizada. Un ejemplo de esas autorizaciones sectoriales lo encontramos en el ámbito de las infracciones y sanciones en materia social y de seguridad social, en el que, a partir del Real Decreto-ley 2/2021, de 26 de enero, de refuerzo y consolidación de medidas sociales en defensa del empleo, desarrollado por el Real Decreto 688/2021, de 3 de agosto, por el que se modifica el Reglamento general sobre procedimientos para la imposición de sanciones por infracciones de orden social y para los expedientes liquidatorios de cuotas de la Seguridad Social, aprobado por el Real Decreto 928/1998, de 14 de mayo, se permite, no sólo la adopción y notificación automatizada de resoluciones en los procedimientos de gestión de las prestaciones de la Seguridad Social, sino también la producción de actas de infracción automatizadas, que se transforman en propuesta de sanción si el presunto infractor no presenta alegaciones.

Sin embargo, esta exigencia de regulación y/o autorización previa no afecta a la utilización de sistemas de inteligencia artificial que no den lugar a actuación administrativa automatizada, que ya hemos visto que están siendo aplicados a partir de contratos licitados y adjudicados por la Administración, de forma bastante opaca.

B) Tres modelos básicos de encaje jurídico de la actividad administrativa asistida por inteligencia artificial

Los sistemas de inteligencia artificial aplicados por las Administraciones Públicas han funcionado al margen de las normas cumpliendo alguna de las funciones que vamos a repasar a continuación.

Son muy frecuentes las aplicaciones que ayudan a la Administración a aplicar las normas sin otra función que la automatizar esa aplicación, permitiendo dedicar los recursos humanos de la Administración a otras funciones y limitando, en la medida de lo posible, los errores. Por ejemplo, una aplicación que tramite la concesión de permisos al personal en una Administración, de forma que reciba las solicitudes, pida y archive la aprobación de los órganos competentes y sólo acepte las solicitudes que encajen en alguno de los supuestos legalmente previstos (de forma que, por ejemplo, ya no admita solicitudes de permiso por asuntos propios o por días suplementarios de vacaciones, una vez que se agota el número de que dispone cada empleado público). Este tipo de aplicaciones no añaden nada a la norma, sino que la traducen a un programa informático. La resolución administrativa resultante tiene el mismo tratamiento que si hubiera sido dictada sin utilización de la aplicación. El marco jurídico es el mismo. Cuando alguien presenta un recurso y es necesario verificar si el acto se ajusta al ordenamiento, se tendrá en cuenta únicamente ese ajuste o comparación, siendo irrelevante que en la producción de la resolución se haya utilizado, o no, un apoyo informático. Por otro lado, es fácil aplicar la norma “con lápiz y papel”, es decir, sin el apoyo de una aplicación, por lo que, en el caso, ya aludido, de que se interponga un recurso, se comparará el acto dictado con la norma. No es necesario proporcionar al ciudadano información alguna sobre el programa utilizado, porque éste no es relevante, no afecta al marco normativo. Si el algoritmo ha influido en el contenido del acto administrativo, desviándolo de la aplicación fiel de la norma, es porque está mal diseñado, y el acto resultante será contrario a derecho, no por estar basado en un algoritmo, sino por no ajustarse al ordenamiento jurídico. Este tipo de sistemas se utilizan en actuaciones administrativas regladas.

Un paso más se produce en aquellos casos en que, aunque el algoritmo o la aplicación tampoco tienen que introducir ningún elemento nuevo que no esté en la norma, resulta imposible saber cómo se habría aplicado la norma sin la aplicación informática, de modo que, en caso de recurso o de otra forma de control sobre dicha actuación, no se puede prescindir de dicha aplicación o sistema de inteligencia artificial y se hace necesario controlar cómo han funcionado (al contrario de lo que sucede en el caso anterior, en que se puede, sencillamente, prescindir de ella). Es el caso, por ejemplo, de las aplicaciones que realizan sorteos, o que se utilizan en procedimientos complejos de asignación de recursos escasos (concursos de traslados de funcionarios, asignación de plazas de MIR, etc.). El elemento diferenciador con el supuesto anterior es, pues, fácil de identificar. En ninguno de los dos casos el algoritmo cambia el contenido de la actuación administrativa. No suministra ningún parámetro que no esté en la norma. Seguimos hablando de actuaciones regladas. Pero, mientras que en el primer caso nos encontramos ante actuaciones aisladas, en las que es perfectamente posible contrastar la actuación producida con asistencia algorítmica y la que se habría podido producir sin ella, y comprobar, por tanto, que el algoritmo no se ha desviado de la aplicación de la ley, en el segundo caso se trata de actuaciones encadenadas, de forma que cada una de ellas influye en el punto de partida de la siguiente. Por ejemplo, la asignación de la primera plaza afecta a las plazas disponibles para los siguientes participantes. Por consiguiente, ya no es tan fácil determinar cómo habría sido el resultado sin asistencia algorítmica y, a la hora de poner en marcha un control de la actuación realizada (judicial o no judicial, interno o externo), será imprescindible verificar cómo ha funcionado el algoritmo, para comprobar si ha sido fiel traducción del marco normativo o no.

El tercer nivel llega con los algoritmos predictivos, que, como ya hemos visto, afectan al contenido de la actuación administrativa, en la medida en que proporcionan criterios para, por ejemplo, decir a quién se inspecciona o a quién se selecciona para un determinado puesto. Obviamente, estamos hablando de actos que no son completamente reglados, puesto que, si lo fuesen, su contenido se derivaría directamente del marco normativo y ni los operadores humanos ni los sistemas de inteligencia artificial tendrían nada que aportar.

En las actuaciones administrativas regladas es necesario determinar los hechos. Por muy reglado que sea un acto, es preciso acreditar en el caso concreto que se ha producido el supuesto de hecho. Si, como es normal, el presupuesto de hecho es un hecho real (por ejemplo, la comisión de una infracción), la predicción algorítmica no sirve para probarlo, porque nos suministra una predicción, no la demostración de un hecho. Otra cosa es que la predicción algorítmica sirva, o no, como prueba indiciaria de la realización de un hecho. Hay casos en los que el presupuesto de hecho de un determinado acto es un pronóstico, una predicción. Por ejemplo, en los procedimientos administrativos de autorización de fusiones de empresas, en los que uno de los factores que ha de tener en cuenta el órgano que dicte la resolución ha de ser la incidencia esperada de la fusión sobre la competencia en el sector. Las predicciones están sometidas siempre a un factor de incertidumbre y los sistemas de inteligencia artificial son una forma tan válida, en principio, como otra cualquiera, para conseguir esa predicción que funcione como fundamento del acto administrativo. Eso sí, en la medida en que el algoritmo contribuya a fundamentar el acto administrativo, al proporcionar la predicción en la que el mismo se basa, deberá estar sometido a control.

Las predicciones algorítmicas, normalmente, mueven a la Administración a actuar en un determinado sentido en un contexto en el que aquélla dispone de un margen de actuación que le permite optar entre distintas opciones. Si estamos hablando de actos administrativos resolutorios, diríamos que se trata de actos discrecionales. Con frecuencia, no se trata de resoluciones, sino de actos de trámite (por ejemplo, de iniciación de un procedimiento), o de actuaciones que es más que discutible que constituyan actos administrativos, como es el caso de las inspecciones.

C) Donde el algoritmo influye en el contenido de la actuación administrativa, el control y la transparencia son irrenunciables

Hemos visto que, a veces, los sistemas de inteligencia artificial no influyen en el contenido de la actuación administrativa, limitándose a facilitar la aplicación del marco jurídico. Se trata de sistemas no predictivos y, normalmente, el algoritmo tampoco sirve para acreditar la realización de los hechos que son determinantes del acto administrativo, sino que únicamente facilita la aplicación de la norma a los hechos que previamente se introducen (una vez acreditados por otras vías).

En otros casos, el sistema de inteligencia artificial sí aporta algo. No en el sentido de que cambie el marco normativo, ni de que añada ningún elemento al mismo(18). Pero sí aporta algo en el sentido de que el contenido del acto administrativo se explica, entre otras cosas, por la predicción algorítmica, puesto es ésta la que, junto con otros elementos, ha llevado a la Administración a darle ese contenido concreto. Si se motiva esa decisión administrativa, la predicción algorítmica tiene que formar parte de esa motivación, puesto que, si no es así, se estarán hurtando una parte de los motivos.

Mi tesis es que, siempre que la predicción aporte algo, tiene que estar sometida a control. Utilizando las categorías bien conocidas, en estos casos la predicción algorítmica y, como fundamento de ella, el algoritmo, forman parte del expediente administrativo y, como tal, está sometida a control (que, en el caso del contencioso-administrativo, incluye su entrega a las partes para formalizar la demanda o la contestación). Ese control jurisdiccional será más fácil o más difícil, pero, en esencia, no se distingue demasiado del que ejercen los jueces y tribunales sobre otro tipo de tecnologías que también utiliza la Administración y que están sometidas a esa verificación, que normalmente se lleva a cabo con la ayuda de informes periciales.

Si los jueces se pronuncian todos los días sobre actos administrativos que están basados en juicios técnicos de tipo económico (por ejemplo, los relativos a la resolución, modificación o liquidación de concesiones administrativas), químico (en evaluaciones ambientales o autorizaciones ambientales integradas, o en procedimientos sancionadores sobre estas materias), médico (responsabilidad patrimonial de la Administración) o de ingeniería (cumplimiento de contratos de obra), ¿por qué no habrían de pronunciarse sobre actos administrativos que utilizan predicciones algorítmicas? Y, si el juez llega a la conclusión de que los elementos que se le suministran no le permiten saber si “el algoritmo” discrimina o no, o si utiliza parámetros que no deberían tenerse en cuenta en esa decisión administrativa, creo que la respuesta más probable será anular esa decisión. Pero, en mi opinión, el marco argumental del control jurídico del uso de la inteligencia artificial por la Administración debería ser éste, es decir, el de someter los sistemas de inteligencia artificial a control jurídico allí donde contribuyan a determinar el contenido de la actuación administrativa.

Hasta ahora, la inteligencia artificial que tiene relevancia jurídica (es decir, la que influye en el contenido de las decisiones administrativas en lugar de limitarse a automatizar la aplicación de las normas) suele utilizarse como elemento de apoyo de decisiones que, como ocurre con las de iniciación de procedimientos administrativos, tienen una programación normativa escasa. Pensemos que la iniciación de un procedimiento se considera un acto de trámite no cualificado y, por tanto, no recurrible autónomamente. Sólo cuando lleva aparejada la adopción de medidas cautelares se considera un acto de trámite cualificado. En la práctica, no se exige motivar por qué se opta por investigar una determinada conducta que puede ser constitutiva de infracción administrativa. Los términos del artículo 59 de la Ley de Procedimiento Administración Común al regular la “propia iniciativa” como forma de iniciación de oficio de los procedimientos administrativos son lo suficientemente amplios como para justificar toda clase de decisiones de iniciación (incluso las procedentes de “buzones anónimos” de la Administración, que han proliferado en los últimos años), salvo que sea demostrable la desviación de poder, por supuesto. La jurisprudencia ha relajado bastante la eficacia jurídica de los instrumentos que –como los planes de inspección– deberían servir para reducir esa discrecionalidad y facilitar el control. Si se opera con esta amplitud en la iniciación del procedimiento debida a decisiones puramente humanas, no parece razonable imponer exigencias estrictas cuando en la decisión de iniciar el procedimiento ha influido una predicción algorítmica.

Del mismo modo, la inteligencia artificial ha surgido y se ha desarrollado en el entorno privado y, en particular, en decisiones que, como las de invertir o no invertir, o aplicar o no aplicar unas determinadas condiciones contractuales, son expresión del derecho a la libertad de empresa y tienen escasos límites jurídicos. Del mismo modo que una empresa no tiene que justificar por qué invierte o desinvierte en un sector o no en otro, tampoco tiene por qué explicar que lo ha hecho sobre la base de una predicción algorítmica ni mostrar las interioridades del algoritmo. Las dudas o la exigencia comienza cuando pasamos a decisiones que están sometidas a otro marco jurídico, como ocurre, por ejemplo, y sin necesidad de salir del Derecho privado, con las decisiones que afectan a consumidores, por ejemplo las que llevan a la discriminación en la aplicación de condiciones contractuales, algo muy visible, entre otros casos, en el sector del seguro, como hemos visto supra.

D) Normas preventivas: el proyecto de Reglamento o “Ley de Inteligencia Artificial”

En los últimos tiempos, se han manifestado múltiples voces críticas con la utilización de la inteligencia artificial, que alertan de sus riesgos y postulan una regulación que les ponga freno. Normalmente, en esos informes se alude a los riesgos de la inteligencia artificial para los derechos de los ciudadanos en general, sin distinguir, por ejemplo, entre la utilización por los poderes públicos y por los particulares, que obviamente no está sujeta al mismo marco jurídico(19).

Estos llamamientos han dado lugar a distintos productos, algunos carentes de valor normativo (como la llamada “Carta de Derechos Digitales”, elaborada por encargo del Gobierno español) y otros llamados, cuando sean aprobados, a producirlo, de entre los que destaca la propuesta de Reglamento “por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial”, ya citada.

No es este el momento para un análisis en profundidad de dicho texto(20). Lo único que quiero destacar ahora es que este futuro Reglamento establecerá, si se aprueba en estos términos, normas preventivas, adicionales al marco que he perfilado y transversales (mientras que, como hemos visto, existen otras normas o reglas que son diferentes para los distintos campos en los que se puede aplicar la inteligencia artificial).

El Reglamento adopta un enfoque preventivo, típico del Derecho de policía (muy similar, por ejemplo, a la regulación de los productos industriales). Una vez constatado que los sistemas de inteligencia artificial producen riesgos (por ejemplo, de discriminación, pero también de brechas en la intimidad, o de posibles fallos de ciberseguridad), se establecen unas reglas de obligado cumplimiento con las que se intenta prevenir esos daños. Unas reglas variadas en función de la intensidad de los riesgos, que incluyen, según los casos, la prohibición, la exigencia de autorización administrativa previa, la exigencia de una verificación por un tercero acreditado o de un simple autocontrol por el propio sujeto que pretende utilizar el sistema de inteligencia artificial.

Se trata de un enfoque transversal porque ese marco se aplica tanto a la utilización de sistemas de inteligencia artificial por particulares (por ejemplo, entidades de crédito que los usan para seleccionar a posibles prestatarios) como por poderes públicos.

Esto indica que se trata de un régimen jurídico adicional a otros que ya se aplican, bien con carácter general (protección de datos) o con carácter particular (el Derecho del procedimiento administrativo o el de los consumidores, según los casos), y que no pueden dejar de aplicarse ni ser sustituidos por esos mecanismos preventivos del futuro Reglamento.

Por otro lado, el régimen cuyo cumplimiento se tiene que verificar a través de esos mecanismos de control (autorización, verificación por tercero, autocontrol) es un régimen deliberadamente vago y genérico, formado por principios más que por reglas y susceptible, por tanto, de muy distintas concreciones. A diferencia de lo que sucede en otros ámbitos tradicionalmente considerados “de riesgo”, como el industrial, donde la regulación acaba, a nivel reglamentario, con la aprobación de normas que establecen condiciones concretas de seguridad, aquí se enuncian unos requisitos tan generales que recuerdan al artículo 6 de la Constitución de 1812 (“El amor a la Patria es una de las principales obligaciones de todos los españoles, y asimismo el ser justos y benéficos”). Así, las aplicaciones de alto riesgo deben estar basadas en datos “pertinentes y representativos, [que] carecerán de errores y estarán completos” (artículo 10). Es preciso documentar y archivar los datos generados en la creación y utilización de la aplicación (artículo 11), que debe estar bien hecha y ser fiable (“nivel adecuado de precisión, solidez y seguridad”, artículo 15), quedar siempre sometida a la dirección humana (artículo 14) y tener un grado de transparencia “suficiente” (artículo 13).

No se exige una transparencia total, sino adecuado para que el usuario y el proveedor cumplan las obligaciones oportunas previstas en el Reglamento (artículo 13.1), incluidas, lógicamente, las de respetar los secretos industriales utilizados en la propia aplicación, a los que se hace referencia en el artículo 70. La regulación de la transparencia es, obviamente, una de las cuestiones más delicadas, y el proyecto busca un equilibrio, en el que el proveedor debe mostrar cómo funciona la aplicación, incluida su “lógica general”, así como los presupuestos de partida o una descripción de los datos que se hayan utilizado para su creación, pero no se le exige transparencia total sobre el software utilizado.

Estos requisitos son, en cierto modo, unos “objetivos máximos” a los que se debe tender, pero que pueden conseguirse de muchas maneras y también con niveles de intensidad diferentes. Pensemos en la transparencia, la solidez o la documentación o archivo de los datos generados en el funcionamiento de la aplicación: habrá que buscar en cada caso concreto cuál es el modo de cumplir esos objetivos, y no hay una única forma de hacerlo, puesto que, entre otras cosas, se puede aspirar a un nivel máximo, medio o mínimo de calidad o de seguridad. Podemos decir, por ejemplo, que los coches deben ser “seguros”, pero no hay una única forma de conseguirlo y, por otro lado, no todos los modelos y marcas aspiran al mismo nivel de seguridad. Queda, por tanto, mucho que concretar.

El cumplimiento de los requisitos establecidos por el Reglamento (que es un cumplimiento relativo, como estamos viendo, sobre todo en el caso de las aplicaciones de alto riesgo, porque los requisitos son más bien objetivos máximos respecto de los que se pueden admitir “riesgos residuales” aceptables, artículo 9.4) no agota los problemas jurídicos de la IA. Queda en pie, de entrada, el control posterior que veíamos al principio. Si se producen daños a pesar de, por ejemplo, las medidas preventivas especificadas en el documento de compliance elaborado por el productor de la aplicación de inteligencia artificial o aprobado por la entidad certificadora, podrá haber responsabilidad civil o, en su caso, penal, aunque será necesario valorar en qué medida la responsabilidad queda excluida como consecuencia de la aplicación de esas medidas, que en principio suponen una actuación diligente dirigida a minimizar los riesgos. Es lo mismo que sucede con la ITV, que es un sistema dirigido a reducir los riesgos en la circulación de vehículos a motor, pero el hecho haber superado la ITV no excluye que se produzcan daños ni que el conductor y/o propietario del vehículo sean responsables de ellos.

4. INTELIGENCIA ARTIFICIAL Y DISCRECIONALIDAD ADMINISTRATIVA

Son varias las perspectivas desde las que puede contemplarse la incidencia que los sistemas de inteligencia artificial pueden tener sobre la discrecionalidad.

Una de las ventajas que se han atribuido a la inteligencia artificial (en su versión más intensa, es decir, las predicciones algorítmicas) es precisamente la reducción de la discrecionalidad. La predicción algorítmica sustituye (lo hemos visto, con bastante detenimiento, al principio de este trabajo) el juicio individual, basado en la experiencia o el “ojo clínico”, por un juicio basado en datos. Si llevamos este esquema al ámbito de las decisiones jurídicamente relevantes, la conclusión es clara: menos discrecionalidad. La inteligencia artificial utiliza un baremo en lugar del decisionismo individual, y no se trata de un baremo que sea el resultado, nuevamente, de una decisión discrecional tomada por el órgano competente para aprobar el baremo, sino de un baremo que surge a partir de las correlaciones que los algoritmos encuentran en los datos sometidos a su análisis.

Esto es cierto, aunque también lo es que existe discrecionalidad a la hora de fijar los puntos de partida. Recordemos que los algoritmos operan con datos etiquetados. Se les suministran miles de datos de operaciones crediticias anteriores, cada uno de los cuales tiene una etiqueta que dice si la operación fue exitosa o fallida (en términos de devolución, o no, del préstamo). Del mismo modo, si intentamos crear una aplicación que seleccione las licitaciones que ofrecen señales de colusión, para que la autoridad de competencia se centre en ellas, habría que mostrarle datos de muchas licitaciones anteriores, indicándole, dentro de ellas, cuál es el tipo de licitaciones que debe buscar. Si lo que se etiqueta son las licitaciones con resolución firme que declare la existencia de conducta contraria a la competencia, no hay discrecionalidad, pero en otros casos puede haberla. Por ejemplo, si se crea una aplicación para procesos de asignación de recursos escasos, con la que se intente seleccionar a los aspirantes que ofrezcan mayores garantías de acierto, habría que identificar previamente qué se entiende por buen desempeño, para seleccionar así qué trayectorias se señalan como modelo a los algoritmos para que éstos intenten replicarlas y seleccionar a los aspirantes que más se asemejen a ellas. Por tanto, la inteligencia artificial puede utilizarse para reducir la discrecionalidad, aunque en ciertos casos en que también es discrecional la identificación del objetivo que estamos buscando, la discrecionalidad no desaparece del todo. En todo caso, disminuiría mucho la discrecionalidad aplicativa, es decir, la que sirve para detectar el supuesto en que se cumple la regla previamente establecida.

El segundo problema que debe abordarse es el referido a la utilización de predicciones algorítmicas (sistemas de inteligencia artificial) en el ejercicio de potestades discrecionales, desde el momento en que el legislador alemán, en el parágrafo 35a de Ley Federal de Procedimiento Administrativo, que regula la producción totalmente automatizada de actos administrativos, dice que la misma es admisible siempre que lo haya autorizado una norma jurídica (legal o reglamentaria) y no exista discrecionalidad ni margen de apreciación(21). A mi modo de ver, esta previsión tiene todo el sentido a propósito de la actuación administrativa automatizada, pero no puede extenderse a la utilización de sistemas de inteligencia artificial. Precisamente, este precepto demuestra, a mi juicio, las diferencias jurídicas que existen entre actuación administrativa automatizada e inteligencia artificial (en sentido de que son dos conjuntos que pueden solaparse en ciertos casos, pero que son diferentes).

En el caso de la actuación administrativa automatizada, es lógico que el legislador haya querido limitarla a la que es puramente reglada, es decir, a aquellos modelos que, como hemos visto supra, sólo sirven para facilitar la aplicación de las normas, que previamente han sido volcadas en un algoritmo. La decisión discrecional (o aquella que, aunque no sea discrecional en sentido estricto, supone la aplicación de un concepto jurídico indeterminado en el que la Administración dispone de margen de apreciación) no se reduce a aplicación de un programa normativo (y por ello el juez no puede sustituir la decisión administrativa por otra, en caso de que considere que es contraria a derecho). Parece razonable que se exija que en esa operación intervenga un operador humano.

No nos alejamos de esquemas jurídicos perfectamente conocidos. Así, es sabido que la distinción entre actos discrecionales y reglados (incluyendo entre los primeros a aquellos en los que la Administración dispone de margen de apreciación) influye en la aplicación de las causas de abstención y recusación. Si el hecho de incurrir en una de éstas no necesariamente invalida el acto administrativo (artículo 23.4 de la Ley 40/2015, de Régimen Jurídico del Sector Público), es claro que es precisamente en los actos reglados donde menos efecto invalidante tendrá el incumplimiento del deber de abstención. Es la misma razón por la que en los actos reglados sea más fácilmente admisible la producción automatizada.

El Derecho alemán rechaza la producción automatizada de actos discrecionales, pero ¿es concebible esa producción automatizada de actos discrecionales, o se trata más bien de una aberración jurídica? Creo que en la producción de actos discrecionales existe un resto de decisión humana, incluso si esa decisión consiste en confiar en un sistema de inteligencia artificial para que éste determine el contenido del acto discrecional. Esa decisión tiene que ser necesariamente humana, aunque, al menos teóricamente, podría ser una decisión general que, para un grupo de actos, delegara su producción en un sistema de inteligencia artificial de determinadas características. Hasta ahí podría llegar, eventualmente (y sometido al juicio político del legislador) la producción automatizada de actos discrecionales.

Ahora bien, si de lo que hablamos no es de producción automatizada de actos, sino de utilización de sistemas de inteligencia artificial (sin automatización), el margen es mucho más amplio. No entra en juego la prohibición que contiene el parágrafo 35a. Y, como hemos visto, no es imposible ni extraño que, de entre los recursos técnicos que se utilizan para establecer un pronóstico (que con frecuencia es la base necesaria de un acto administrativo), se incluyan predicciones algorítmicas. No se trata sólo de predicciones sobre el impacto de una fusión en la competencia en un sector, sino también, por ejemplo, decisiones sobre qué zonas están sometidas a riesgo sísmico, de inundación o vulcanológico (por mencionar un ejemplo de máxima actualidad), que con frecuencia se encuentran en la base de decisiones administrativas de planeamiento urbanístico, de evaluación ambiental o de ordenación territorial. Nada impide, sino todo lo contrario, que estos pronósticos tengan en cuenta o utilicen técnicas algorítmicas (sometidas, eso sí, a los controles antes examinados). También aquí la utilización de sistemas de inteligencia artificial contribuye, en mayor o menor medida, a objetivar las decisiones discrecionales, aunque sin eliminar del todo la discrecionalidad, entre otras cosas porque en su manejo entrarán en juego consideraciones exquisitamente humanas y, por tanto, discrecionales, como es, para empezar, la del nivel de riesgo que se considera asumible, una decisión que no sólo no se convierte en innecesaria a la vista de la predicción, sino que es absolutamente imprescindible, puesto que ésta contendrá predicciones con sus correspondientes niveles de riesgo y de incertidumbre.

Una última consideración sobre discrecionalidad e inteligencia artificial resulta imprescindible, a la vista de la dirección que están tomando los proyectos normativos en la materia, empezando por la propuesta de Reglamento de “Ley de Inteligencia Artificial”. En la medida en que este Reglamento establece como marco jurídico para el uso de la inteligencia artificial unos “principios”, que son tan vinculantes como genéricos y susceptibles –como todo principio jurídico– de distintas concreciones que son –todas ellas– potencialmente válidas, surge inevitablemente la discrecionalidad. Se establecen en esta clase de normas una serie de principios que obligan al sujeto que realiza la actividad de riesgo (en este caso, la actividad de riesgo es la utilización de sistemas de inteligencia artificial) y que colocan sobre este sujeto la carga de probar ante el correspondiente regulador (o supervisor, incluido el poder judicial) que la forma que ha elegido para aplicar esos principios es adecuada a la vista de sus particulares circunstancias (es decir, aplicando el principio de proporcionalidad)(22). Esta opción normativa sustituye a otras más tradicionales como, por ejemplo, la habilitación al reglamento para que establezca en detalle las reglas concretas en las que, en cada caso concreto, se traducen los principios aplicables a la actividad. Y la consecuencia inevitable de tal enfoque normativo (cuya razón de ser no es difícil de encontrar, por otro lado) es que se incrementa exponencialmente la discrecionalidad de quienes tienen que valorar el cumplimiento de estos principios. Y se reduce, con la misma fuerza, la capacidad de utilizar mecanismos tradicionales de control como la potestad sancionadora, en la medida en que, si no hay infracciones tipificadas con alguna certidumbre (aunque sea a través de normas penales en blanco que nos conduzcan a alguna norma reglamentaria), difícilmente se pueden imponer sanciones, salvo por infracciones de tipo instrumental como la falta de respuesta a los requerimientos de información o la falta de cumplimiento del deber de elaborar los documentos de evaluación de riesgos. 

NOTAS:

(1).  El presente trabajo se enmarca en la actividad del grupo de investigación “Derecho Administrativo”, reconocido por la Universidad de Oviedo (GR-2016-0006) y en el proyecto de investigación “La digitalización de los mercados financieros” (PID2020-113447RB-I00).

(2).  Por ceñirme a algunos informes recientes relacionados con el impacto de la inteligencia artificial en el sector financiero, EBA report on big data and advanced analytics (enero 2020, EBA/REP/2020/01) enlace. O el informe de European Banking Federation sobre inteligencia artificial en el sector bancario: enlace. También cabe mencionar, entre los informes más recientes, el de la Alta Comisionada de las Naciones Unidas para los Derechos Humanos, Michelle Bachelet, sobre privacidad en la era digital (septiembre de 2021).

La materia objeto de este artículo ha sido analizada con más detalle en mi trabajo “Una aproximación a los algoritmos desde el Derecho administrativo”, en Huergo Lora, A. (dir.)/Díaz González, G. M. (coord.), La regulación de los algoritmos, Aranzadi, Cizur Menor, 2020, pp. 23-87. De entre las obras aparecidas posteriormente, que son abundantísimas, puede destacarse A. Soriano Arnanz, Data protection for the prevention of algorithmic discrimination, Thomson-Reuters-Aranzadi, Cizur Menor, 2021; A. Roig, Las garantías frente a las decisiones automatizadas. Del Reglamento General de Protección de Datos a la gobernanza algorítmica, Bosch, Barcelona, 2020; F. Pasquale, New laws of robotics. Defending human expertise in the age of AI, Harvard University Press, Cambridge (Mass.), 2020; A. Cerrillo i Martínez/M. Peguera Poch (coord.), Retos jurídicos de la inteligencia artificial, Aranzadi, Cizur Menor, 2020; M. Ebers/S. Navas (ed.), Algorithms and Law, Cambridge University Press, 2020; C. Busch/A. de Franceschi (ed.), Algorithmic Regulation and Personalized Law. A Handbook, Hart-Beck-Nomos, München, 2021.

(3).  Este es el argumento que lleva a Sunstein, C. R., “Of artificial intelligence and legal reasoning”, Chicago Public Law and Legal Theory Working Paper (2001), a rechazar que la inteligencia artificial pueda ocuparse de razonamientos jurídicos, que él considera que se basan en elementos cualitativos (distinguir los factores relevantes y los irrelevantes para efectuar una analogía, a partir de consideraciones valorativas), más que cuantitativos. En el siguiente epígrafe veremos que el “razonamiento” algorítmico funciona de modo muy diferente.

(4).  Resulta muy ilustrativo el curso “AI for everyone”, en la plataforma Coursera, dirigido por Andrew Ng, uno de los pioneros mundiales del deep learning. Vid. Lee, K. F., AI Superpowers. China, Silicon Valley and the New World Order, Houghton Mifflin Harcourt, Boston-New York, 2018 (pp. 140-144). Es útil esta entrevista a Bengio, Y. publicada el 1 de febrero de 2018: “Humanizamos demasiado a los ordenadores” enlace. A las diferentes acepciones de la expresión “inteligencia artificial” y las limitaciones de lo que ahora se entiende por ella, se dedica la investigación de Smith, B. C., The promise of artificial intelligence. Reckoning and judgment, The MIT Press, Cambridge (Massachusets), 2019.

(5).  El Anexo primero enumera las siguientes técnicas:

“Estrategias de aprendizaje automático, incluidos el aprendizaje supervisado, el no supervisado y el realizado por refuerzo, que emplean una amplia variedad de métodos, entre ellos el aprendizaje profundo.

Estrategias basadas en la lógica y el conocimiento, especialmente la representación del conocimiento, la programación (lógica) inductiva, las bases de conocimiento, los motores de inferencia y deducción, los sistemas expertos y de razonamiento (simbólico).

Estrategias estadísticas, estimación bayesiana, métodos de búsqueda y optimización”.

(6).  En una imagen muy gráfica, se dice que, en la programación tradicional, se parte de datos y reglas para hallar la respuesta a un problema. Así, por ejemplo, si quiero crear un programa que automatice la liquidación del impuesto de sucesiones y facilite la gestión, tengo que transformar las reglas tributarias en un programa informático (un algoritmo) y, una vez introducidos los datos de un contribuyente, obtengo el resultado de forma automática y sin errores. Es lo que sucede con los programas de gestión tributaria que todos utilizamos, o los que calculan los intereses de demora, por ejemplo.

En cambio, en estos sistemas de inteligencia artificial (basados en lo que se conoce como machine learning o aprendizaje automático), se introducen datos y respuestas, y se obtienen reglas. Es decir, al programa se le suministran millones de ejemplos de créditos buenos y créditos fallidos (es decir, le damos la respuesta), descritos en todos sus detalles (“datos”), para que él identifique qué es lo que tienen en común las operaciones buenas y lo que las distingue de las fallidas, es decir, una “regla” o retrato robot que se pueda aplicar hacia el futuro, es decir, para saber si conviene conceder, o no, un crédito, porque sus datos hacen pensar que va a encajar en la imagen del crédito bueno o en la del crédito fallido.

Esta imagen procede del curso “Introduction to TensorFlow for Artificial Intelligence, Machine Learning, and Deep Learning”, de Deeplearning.ai (a través de Blanca Huergo).

(7).  Bastani, H., Drakopoulos, K, y otros, “Efficient and targeted covid-19 border testing via reinforcement learning”, Nature Research, 22 de septiembre de 2021 enlace.

(8).  Es necesario explicar que, en Reino Unido, las notas de bachiller (que son las que determinan el acceso a las carreras universitarias, aunque no de forma tan matemática como en España) están determinadas exclusivamente por exámenes externos (es decir, una especia de reválidas). Las notas internas de los colegios o institutos son irrelevantes, lo que favorece la igualdad de oportunidades y desincentiva conductas poco apropiadas. Los centros educativos compiten entre sí intentando que sus alumnos obtengan buenas notas en los exámenes externos, no mejorando artificialmente sus notas internas para favorecerlos frente a los de otros colegios. Por otro lado, se ha aplicado a este sector el mismo esquema regulatorio que a otros servicios, de forma que la función de examinar y calificar ha sido atribuida a entidades privadas (como si se tratase de la ITV), que, además, compiten entre sí, y el Estado se reserva la función de garante, vigilando (a través de una agencia denominada OfQual) la actividad de esas agencias examinadoras privadas. Así, un alumno que necesite tener una nota de matemáticas puede optar por matricularse en el examen de una u otra agencia examinadora (como Pearson –titular de la marca EdExcel–, u Oxford o Cambridge, que tienen entes que funcionan como agencias examinadoras). A su vez, esas empresas están sometidas a la inspección gubernamental y deben tener protocolos internos muy exigentes para garantizar el rigor de las calificaciones que emiten. Es lo mismo que sucede con los exámenes de inglés como lengua extranjera. Un estudiante se matricula en un examen de Cambridge, no porque sea una entidad pública oficial, sino porque es una entidad que ha desarrollado un sistema de exámenes que goza de reconocimiento.

(9).  En este contexto, no está de más recordar que la Comisión Europea ha abierto, en septiembre de 2021, un procedimiento de infracción a España y a otros 18 Estados miembros por no haber traspuesto en plazo (finalizó el 17 de julio) la Directiva (UE) 2019/1024 del Parlamento Europeo y del Consejo de 20 de junio de 2019 relativa a los datos abiertos y la reutilización de la información del sector público.

(10).  El aprendizaje tradicional parte de reglas y vocabulario y enseña a construir frases y a entender textos. El aprendizaje algorítmico consiste en suministrar al ordenador miles de textos paralelos en dos idiomas (por ejemplo, todos los textos producidos por la UE, que están traducidos a todos los idiomas oficiales), de forma que, a base de compararlos, se hallen correlaciones, de forma que, ante una palabra en un determinado contexto en un texto en inglés, se pueda establecer cuál es la palabra en español a la que es más probable que equivalga. Obviamente, el procedimiento requiere muchas más operaciones, aunque, una vez obtenido el algoritmo, su aplicación sea automática y muy rápida.

(11).  Con el Real Decreto-Ley 9/2021, ahora derogado por la Ley 12/2021, de 28 de septiembre.

(12).  Uno de los campos donde son más visibles es el de los seguros, como ha estudiado M. L. Muñoz Paredes, “Big Data y contrato de seguro: los datos generados por los asegurados y su utilización por los aseguradores”, en Huergo Lora, A. (dir.)/Díaz González, G. M. (coord.), La regulación de los algoritmos, Aranzadi, Cizur Menor, 2020, pp. 129-162; “El big data y la transformación del contrato de seguro”, en A. Veiga Copo (dir.)/M. Martínez Muñoz (coord.), Dimensiones y desafíos del seguro de responsabilidad civil, Civitas, Cizur Menor, 2021, pp. 1017-1052, y “Elaboración de perfiles y desprotección del asegurado”, en L. A. Fernández Villazón (coord.), Aranzadi, Cizur Menor, 2021, pp. 587-620.

(13).  Por ejemplo, el informe del Financial Stability Board. “The Use of Supervisory and Regulatory Technology by Authorities and Regulated Institutions. Market developments and financial stability implications”.

(14).  A. Kinywamaghana/S. Steffen, “A Note on the Use of Machine Learning in Central Banking”, 13-1-21, consultable en sascha-steffen.de.

(15).  Discurso de Pentti Hakkarainen, del Consejo, 27 de mayo de 2021 enlace.

(16).  enlace enlace.

(17). enlace.

Más información sobre este contrato en publicaciones oficiales como enlace.

(18).  Esta es la razón por la que, como ya he explicado en el trabajo citado en la nota 2, no comparto la tesis de que los algoritmos son reglamentos, que ha defendido A. Boix (“Los algoritmos son reglamentos: la necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la Administración para la adopción de decisiones”, Revista de Derecho Púbico: Teoría y Método, núm. 1 (2020), pp. 223-270). Los algoritmos son un instrumento técnico, como lo es, por ejemplo, un plano. Si un plano forma parte de un plan urbanístico, podrá tener, en su caso, y a través de esa integración, la naturaleza jurídica de un reglamento o de un acto administrativo. Pero los planos, como tales, no son normas. Lo mismo sucede con los algoritmos, que son instrumentos técnicos que pueden cumplir distintas funciones. La potestad reglamentaria ha de ejercerse a través de los cauces legalmente establecidos, no a través de un algoritmo. Otra cosa es que una norma pueda incorporar un algoritmo o pueda apoderar a la Administración para crear un algoritmo que facilite su aplicación o complete su contenido. Pero los algoritmos que habitualmente nos encontramos, que son creados por la Administración (o por un contratista por encargo de ella) para facilitar la aplicación de la norma o para suministrar a la Administración criterios más o menos útiles a la hora de tomar decisiones, no pueden ser reglamentos. En el caso de que desplieguen, en la práctica, una función directiva sobre la Administración, lo que habrá que plantearse es cuál es la legitimación de la misma, en lugar de darla por buena y someterla, simplemente, a las garantías de los reglamentos, en primer lugar porque, en realidad, estaremos prescindiendo de la primera de ellas, como es la competencia para dictar reglamentos.

(19).  Merece una mención especial la Resolución del Parlamento Europeo de 20 de octubre de 2020, con recomendaciones destinadas a la Comisión sobre un marco de los aspectos éticos de la inteligencia artificial, la robótica y las tecnologías conexas, cuyo ponente fue el eurodiputado español Ibán García del Blanco.

(20).  Un primer análisis, basado en textos filtrados antes de la aprobación oficial del proyecto, lo he hecho en “El proyecto de Reglamento sobre la Inteligencia Artificial” (17 de abril de 2021) enlace.

(21).  Maurer/Waldhoff, Allgemeines Verwaltungsrecht, Beck, München, 2020 (20.ª ed.), p. 510; Kopp/Ramsauer (Hrsg.), VwVfG Kommentar, Beck, München, 2020 (21.ª ed.), pp. 804-805.

(22).  Este enfoque guarda evidentes similitudes con el que el RGPD utiliza en materia de protección de datos, tal como lo expone, con meridiana claridad, J. L. Piñar Mañas en esta misma Revista: “Protección de datos: las claves de un derecho fundamental imprescindible”, El Cronista, 88-89 (2020), pp. 6-19.

Comentarios