Algoritmos, inteligencia artificial y policía predictiva del estado vigilante

Los algoritmos y la inteligencia artificial están transformando la vigilancia preventiva de la policía. Cada vez más instituciones y juristas señalan los riesgos de estas herramientas por sus sesgos, pero lo cierto es que los Estados contemporáneos no pueden prescindir de las nuevas tecnologías para proteger la seguridad. Esta contribución explica las garantías reales que pueden evitar los abusos en su aplicación para el cumplimiento de la Ley.

Ricardo Rivero Ortega es Catedrático de Derecho administrativo en la Universidad de Salamanca

El artículo se publicó en el número 62 de la Revista General de Derecho Administrativo (Iustel, enero 2023)

ALGORITHMS, ARTIFICIAL INTELLIGENCE AND PREDICTIVE POLICING OF THE SURVEILLANCE STATE

ABSTRACT: Algorithms and Artificial Intelligence are transforming preventive police surveillance. An increasing number of institutions and jurists point to the risks of these tools due to their biases, but the truth is that contemporary states cannot protect security without new technologies. This paper explains the guarantees that can prevent abuse when are applied for the compliance of law.

1. INTRODUCCIÓN: LA HIPERTROFIA DEL ESTADO VIGILANTE

Aunque nuestra imagen tópica de la policía evoca cuerpos uniformados y empleo de armas, lo cierto es que la labor principal de las fuerzas de seguridad se centra en el análisis de información. Esto lo comprendieron bien dos de las personalidades impulsoras de la moderna investigación policial: Fouché, nombrado ministro francés de la policía en 1799 (hasta 1811, con un breve receso en 1803); y Jhon Edgar Hoover, director del FBI entre 1935 y 1972. Ambos fueron todopoderosos controladores de datos claves para la prevención, y los utilizaron para sus propios fines. Los dos vivieron obsesionados con ampliar sus capacidades de gestión informativa mediante archivos y nuevas técnicas (así, por ejemplo, la pionera biometría de las huellas dactilares)(1).

Desde Fouché y Hoover, la tendencia a dotar de mayores tecnologías de datos a las fuerzas y cuerpos de seguridad ha acompañado la preocupación estatal por el control de la información. Foucault describió con acierto los propósitos de esta hipertrofia en su Vigilar y castigar, obra aún vigente en tantas reflexiones. Ya sabemos que los dispositivos de vigilancia aseguran el cumplimiento de las normas y generan una sensación de coacción permanente sobre la libertad, una represión sostenida de las conductas para su adecuación a los patrones dominantes en la sociedad moderna(2).

La vigilancia pública ha seguido creciendo en este siglo XXI. En 1999 vio la luz mi obra El Estado vigilante (Consideraciones jurídicas sobre la función inspectora de la Administración), en la que explicaba las transformaciones producidas por el creciente protagonismo de las herramientas informáticas en el ejercicio de las funciones de control estatal. También destacaba un cambio en el modo de interpretar el derecho a la intimidad – aunque no se habían producido aún los atentados del 11 de septiembre de 2001 ni aprobado la Patriot Act - en necesario equilibrio con las necesidades de prevención de riesgos y amenazas. Muchos otros autores desde la sociología ya estaban apuntando tales transformaciones entonces(3).

La protección de la seguridad y la prevención de riesgos es razón de ser de la vigilancia, origen mismo del Estado según Max Weber(4). Su explicación clásica se ve reforzada por las tendencias actuales, cuando el poder de las estructuras estatales se multiplica exponencialmente gracias a mayores capacidades tecnológicas de control. El caso de China es extremo(5), pero no son menores las posibilidades al alcance de los servicios de seguridad de las democracias liberales. Por supuesto las empresas también recurren a esta nueva fuente de riqueza que son los datos, como denuncian las voces críticas contra el capitalismo de la vigilancia(6).

Existe cierta incomodidad en el materialmente confortable mundo intelectual por la multiplicación de controles y capacidades de represión de conductas infractoras en los Estados. El debate sobre el fin de la policía expresa esta tendencia, por supuesto justificada en los abusos y excesos más preocupantes para quienes valoramos la libertad y el respeto de las personas(7). Ahora bien, es preciso reconocer el temor creciente de nuestras sociedades ante las amenazas de la seguridad, una percepción contraria a los datos que demuestran la reducción progresiva de la violencia(8), pero condicionante de las políticas públicas en esta área(9).

La controversia política en Estados Unidos sobre el papel de la policía no se ha trasladado aún a España, pero podría ocurrir, tal y como advierto en el Prólogo al libro de Ángel Díaz Arias(10). Necesitamos una policía perfectamente preparada y capaz de hacer compatible el respeto de las libertades con la efectividad de la intervención porque las organizaciones criminales utilizan cada vez medios más sofisticados para perpetrar los delitos, de manera que un atraso tecnológico de la policía concedería demasiada ventaja a intereses capaces de causar gran daño (ciberterrorismo, estafas a gran escala, redes de tráfico de seres humanos, corrupción política y económica)(11).

Este artículo analiza algunas de las garantías jurídicas que deben respetarse en el empleo de aplicaciones de inteligencia artificial, siendo consciente de los problemas generados por los sesgos de los algoritmos, pero también desde la perspectiva realista de los condicionantes específicos de la protección de la seguridad y la prevención de la delincuencia. Buena parte de la literatura sobre estos asuntos alcanza conclusiones generales sobre la transparencia y publicidad del diseño técnico de las aplicaciones sin reparar en estas peculiaridades. La regulación legal de signo antidiscriminatorio recientemente aprobada en España tampoco ha matizado sus previsiones sobre usos de inteligencia artificial en función de sectores de intervención, así que se precisa una normativa específica e integrada para el empleo de las fuerzas y cuerpos de seguridad(12).

2. ALGORITMOS, INTELIGENCIA ARTIFICIAL Y ÉTICA: RECOMENDACIONES PARA LOS LEGISLADORES EUROPEOS

Ya desde el siglo pasado encontramos en la literatura jurídica y científica observaciones de alerta sobre los usos de la informática, sus potenciales repercusiones sobre la intimidad y la incidencia constitucional de las nuevas tecnologías. En España, la Constitución de 1978 fue pionera en la previsión de posibles garantías, respaldadas por las sesudas aportaciones de autores como Antonio Enrique Pérez Luño(13). La ciencia ficción imaginó las posibles distopías del gobierno de las máquinas, incluyendo los posibles errores burocráticos que computadoras de control policial podrían producir, perjudicando la vida de gente corriente (recomiendo en tal sentido la película Brazil, de Terry Gilliam)(14).

El desarrollo vertiginoso de las tecnologías de la información y la comunicación ha superado los pronósticos más aventurados – y desmentidos por los escépticos – sobre las capacidades de la Inteligencia artificial (IA). Aunque todavía no puede sustituir al ser humano en muchas funciones sutiles que requieren gestionar emociones, lo cierto es que su grado de sofisticación hace que ya se recurra a ella con total normalidad en la automatización de las decisiones administrativas y judiciales, suscitando todo tipo de cuestiones sobre los efectos sobre el Derecho(15) y por supuesto sobre los derechos humanos(16).

Sin duda, la sociedad de la información y las tecnologías de la comunicación han transformado nuestro mundo(17). Una cuarta revolución industrial resulta de la combinación de tecnologías como el Big Data, el internet de las cosas, el aprendizaje de las máquinas, el blockchain y nuevas oportunidades de Deep tech que cambian las relaciones económicas y humanas(18). Circunstancias determinantes en otro tiempo como la localización geográfica devienen hoy prescindibles, a partir de la extensión del acceso a medios que hace apenas unas décadas serían inasumibles para la inmensa mayoría de la población(19).

El control de los procesos industriales, la selección de los trabajadores, la reducción de riesgos de todo tipo, la geolocalización, la regulación energética eficiente y la estabilidad del sistema financiero dependen cada vez más de la inteligencia artificial, pero al tiempo muchos países y organizaciones supranacionales – como la Unión Europea – multiplican sus intervenciones normativas sobre estas tecnologías, pasando de recomendaciones a imposiciones y prohibiciones(20). Este escrúpulo regulador es muy comprensible y encomiable, pero puede producir disonancias entre lo prohibido por la normativa y las prácticas reales de los poderes públicos en el empleo de estas tecnologías, especialmente si no se hacen excepciones o matices referidas a la seguridad. La crisis Covid-19 ha supuesto en este sentido un baño de realidad, pues muchas de las medidas adoptadas en relación a la vigilancia de la salud demuestran la importancia y utilidad (no siempre bien empleada) de las aplicaciones informáticas(21).

Más allá de la seguridad, deberían tenerse presentes las oportunidades que ofrecen estos avances sobre la reforma administrativa, permitiendo el diseño de una Administración pública más eficiente, precisa y, en suma, inteligente(22). Las aproximaciones de principios de siglo sobre la Administración electrónica se han visto ampliamente superadas por los hechos actuales, más tras la pandemia, cuando el uso de todo tipo de tecnologías se intensificó sobremanera(23). Entonces la toma de decisiones estuvo muy condicionada por los modelos matemáticos de predicción de la incidencia previsible, a partir de datos de movilidad y patrones identificados por las máquinas, interpretadas por especialistas. El caso extremo es el del uso de los algoritmos en los desgraciadamente conocidos “triajes”, decisiones de priorización del acceso a tratamientos en función de variables de probabilidad de supervivencia. La automatización de las decisiones administrativas se ha extendido en otras áreas, como las sanciones de tráfico, o las gestiones tributarias, en un modo difícilmente reversible por las ventajas que ofrece de gestión en masa de procedimientos, tiempos de respuesta efectivos que las plantillas humanas no igualarían en su aplicación objetiva de las normas. Pero las objeciones jurídicas son considerables(24).

El punto de vista ético explica los razonamientos en contra: ¿Es aceptable que el criterio humano sea sustituido por las decisiones automatizadas de las máquinas? ¿Podemos permitir la desaparición del factor personal en la aplicación de las normas, adaptando la solución a cada circunstancia concreta? ¿Realmente preferimos un mundo en el que quien resuelva sobre cuestiones de nuestro interés sean aplicaciones tecnológicas? Todas estas cuestiones y otras muchas han propiciado una reflexión filosófica y ética sobre la inteligencia artificial, con pronunciamientos expresos de expertos e instituciones internacionales.

Las recomendaciones sobre la ética de la inteligencia artificial de la UNESCO representan una aproximación global a este fenómeno, aceptando la incorporación de las tecnologías a las políticas públicas de los Estados y recomendando la adopción de medidas legislativas para evitar sus repercusiones negativas sobre derechos y libertades. Sus principios y valores se resumen en la idea de subordinación de la Inteligencia Artificial al ser humano, y no a la inversa, evitando la reproducción de prejuicios y estereotipos en su proyección sobre las personas. El respeto de la dignidad humana, de los ecosistemas y de la diversidad (inclusión) son bases para la regulación estatal de la IA.

Este documento enuncia una serie de principios también relevantes para las aplicaciones y algoritmos de policía preventiva, con algunos matices desde mi punto de vista: proporcionalidad e inocuidad; seguridad y protección; equidad y no discriminación; sostenibilidad; derecho a la intimidad y protección de datos; supervisión y decisión humanas; transparencia y explicabilidad; responsabilidad y rendición de cuentas; sensibilización y educación; gobernanza y colaboración adaptativas y de múltiples partes interesadas.

Aunque todos estos principios parecen razonables en general, creo que deben hacerse matices en relación a las proyecciones de la IA sobre la seguridad y la policía porque el documento de la UNESCO no se detiene en profundidad en este ámbito concreto de acción. Así como sí señala otros (medio ambiente, cultura, educación, economía, salud o bienestar social), el ámbito de la policía carece de un tratamiento específico en el texto de la UNESCO.

En todo caso, la recomendación de una administración ética de estos mecanismos, desde una perspectiva interdisciplinar, es perfectamente aplicable a los algoritmos policiales: “Los Estados miembros deberían velar por que los mecanismos de gobernanza de la IA sean inclusivos, transparentes, multidisciplinarios y multilateralesy cuenten con múltiples partes interesadas. En particular, la gobernanza debería incluir aspectos de previsión y dispositivos eficaces de protección, seguimiento de los efectos, aplicación y reparación”. Otras recomendaciones se refieren a la conveniencia de un “derecho blando” (certificaciones), prevención de sesgos y garantías de responsabilidad y rendición de cuentas.

En España, Adela Cortina ha ofrecido en 2019 una aproximación lúcida a la ética de la inteligencia artificial. Sus reservas sobre la delegación de decisiones humanas en las aplicaciones (con el ejemplo real de los candidatos virtuales, sistemas inteligentes que se presentan a las elecciones) no objetan las posibles aplicaciones de la IA, siempre que sea confiable y respete un marco ético en el que destaca varios principios: beneficencia (poner todos los programas al servicio de las personas), no maleficencia (evitar daños); autonomía de las personas (que deben controlar las cuestiones significativas); justicia (distribuir equitativamente los beneficios); explicabilidad y rendición de cuentas(25).

La confianza en el buen proceder de los seres humanos frente a la falta de compasión o empatía de las máquinas propicia por tanto un debate muy intenso en nuestro tiempo, una crítica a la inteligencia artificial cuyo punto principal de apoyo es la falta de ética de los programas informáticos. Para responder a tales objeciones, tecnólogos como Michael Kerns y Aaron Roth se han propuesto generar algoritmos éticos, introduciendo prevenciones frente a su orientación “antisocial”, para evitar los sesgos, pero son muchos los problemas que plantea la protección de la privacidad (por las dificultades prácticas de la anonimización plena, dado el nivel de intromisión de los dispositivos en nuestra privacidad) y la casi imposible compatibilidad de la corrección plena y el nivel deseado de precisión de las herramientas(26) .

En algún punto, afirman, debe producirse el acuerdo entre los tecnólogos y los reguladores, para alcanzar ese equilibrio entre precisión y corrección, porque la desaparición de ciertos criterios selectivos podría afectar al grado de exactitud de la decisión, afectando los objetivos mismos de la política pública. Y, en algunos casos, consideran directamente que los algoritmos no deberían tomar ciertas decisiones (ponen el ejemplo del vehículo no tripulado que se programa para sacrificar una vida en el intento de salvar varias). Algunas decisiones no deberían depender de las máquinas, ni desvincularse de la moralidad humana(27).

También destacan estos autores las diferencias culturales que pueden suscitarse en el debate sobre las minorías o colectivos a proteger, los criterios a utilizar y las ponderaciones concretas. Para algunos autores el problema es la raza, otros se centran en el género y por supuesto la edad se convertirá antes o después en un dato diferencial de riesgo discriminatorio. El profiling policial es una de las metodologías más extendidas en la actuación de las fuerzas y cuerpos de seguridad, de manera que corregir esta orientación por perfiles obligaría a una transformación radical del enfoque preventivo(28).

Ante tantas dudas éticas, los legisladores ya han comenzado a tomar medidas, con iniciativas concretas en los Estados Unidos. Varios proyectos de Ley se han activado estableciendo toda una serie de garantías. En el Senado de los Estados Unidos puede destacarse la iniciativa de la Ley para incrementar la corrección y la transparencia de las determinaciones de los algoritmos (To increase fairness and transparency in algorithmic eligibility determinations), una norma que además de ofrecer definiciones que aclaran el objeto regulado, analiza la acción de las compañías y establece garantías de corrección sustantiva y procedimental, así como mecanismos de efectividad.

En nuestro lado del Atlántico, varios documentos de las instituciones europeas se pronuncian sobre la inteligencia artificial. Así, la resolución del Parlamento Europeo de 3 de mayo de 2022, por ejemplo, se centra en muchas de sus proyecciones, también en la seguridad, y en su considerando 89 afirma que “muchos regímenes autoritarios utilizan sistemas de IA para controlar, espiar, seguir y clasificar a sus ciudadanos, restringir su libertad de circulación y ejercer vigilancia colectiva”. El Parlamento europeo rechaza cualquier forma de marcaje normativo ciudadano por parte de las autoridades públicas, especialmente en el ámbito de las fuerzas de seguridad del Estado, el control de fronteras y el poder judicial.

En sus recomendaciones a las instituciones europeas, recuerda las conclusiones del Libro Blanco sobre la inteligencia artificial de 2020, que incluían la propuesta de “establecer un marco jurídico basado en el riesgo para la IA, que abarque, especialmente, normas éticas de alto nivel basadas en mecanismos de transparencia, auditoria y rendición de cuentas, combinadas con disposiciones de seguridad de los productos, normas de responsabilidad adecuadas y disposiciones específicas para el sector, y que al mismo tiempo proporcione a las empresas y usuarios suficiente flexibilidad y seguridad jurídica y unas condiciones de competencia equitativas para fomentar la adopción de la IA y la innovación·.

Todo un capítulo dedicado a la seguridad se centra en la utilidad de la IA para la aplicación de la Ley: “Subraya la importancia de que los servicios encargados de la aplicación de las leyes tengan la capacidad de determinar y contrarrestar las actividades delictivas con la ayuda de la tecnología de la IA”, pero también subraya los riesgos de su uso indebido, que podría ser perjudicial y favorecer discriminaciones automatizadas y tratos ilegales a los ciudadanos.

Se cita aquí el trabajo del Instituto Interregional de las Naciones Unidas para las Investigaciones sobre la Delincuencia y la Justicia, que colabora con la Interpol en el desarrollo de estas herramientas. La colaboración de Europol con el Supervisor Europeo de Protección de Datos es otra de sus concretas recomendaciones. También se propone reforzar los recursos financieros y humanos del Centro Europeo de Innovación para la Seguridad Interior, en colaboración con Eurojust y la Agencia de los Derechos Fundamentales de la Unión Europea.

El escrúpulo europeo respecto de los posibles efectos de la IA sobre los derechos fundamentales se observa en numerosos pronunciamientos. Muy concreto en este sentido se muestra el informe del Grupo de expertos de alto nivel de 8 de noviembre de 2019: “Directrices éticas para una IA fiable”. En su texto, se recuerdan los principios de respeto a la autonomía humana, prevención del daño, equidad y explicabilidad. También se señalan los requisitos para una IA fiable: acción y supervisión humanas; solidez técnica y seguridad; gestión de la privacidad y de los datos; transparencia; diversidad, no discriminación y equidad, bienestar ambiental y social; rendición de cuentas.

Muy detallado es también el informe de la Agencia de los Derechos fundamentales de la Unión Europea de 14 de diciembre de 2020: “Construir correctamente el futuro: inteligencia artificial y derechos fundamentales”. El Dictamen de la Agencia es revelador, tras entrevistar a los actores (administraciones y empresas) concluye que hay un desconocimiento y cierta ausencia de atención a los aspectos legales y éticos en el desarrollo de estas tecnologías. Por eso, recomienda a los Estados miembros a evaluar cualquier resultado potencialmente discriminatorio. Así mismo, sugiere financiar investigaciones con la metodología de las ciencias sociales que evalúen los impactos potencialmente discriminatorios de la IA y los algoritmos.

El Consejo de Europa también se ha pronunciado sobre la necesaria protección de los derechos fundamentales en un informe de diciembre de 2020: “Hacia la regulación de los sistemas de IA – Perspectivas globales sobre el desarrollo de un marco legal sobre los sistemas de inteligencia artificial basado en las normas del Consejo de Europa sobre derechos humanos, democracia y el Estado de Derecho”.

Tanto énfasis de las instituciones de garantía de los derechos concreta la preocupación ética por los posibles usos indebidos y los riesgos de los algoritmos y la inteligencia artificial. Los principios señalados en los documentos que acabo de exponer deberían inspirar la legislación nacional reguladora de las aplicaciones, pero la tecnología avanza mucho más rápido que la respuesta normativa, con unos tiempos de respuesta lentos.

3. POLICÍA PRECRIM: DE LA CIENCIA FICCIÓN A LA REALIDAD

Minority report (Sentencia previa fue la traducción del título en algunos países de habla hispana) es una película de 20O2 inspirada en la anterior novela de Philip Dick). El argumento plantea las posibilidades y riesgos extremos de una policía preventiva. La presciencia o capacidad de anticipar acontecimientos de tres hermanos permite conocer con anterioridad la comisión de crímenes, en una sociedad obsesionada con el control de la violencia. Los sistemas de reconocimiento biométrico se han universalizado, pero también existen modos de esquivar su vigilancia (como de hecho ocurre ahora, recurriendo a la cirugía y otras técnicas). Philp Dick dedicó varias obras a estos temas, con muy conocidas adaptaciones cinematográficas (Blade Runner o Desafío total) y escribió una novela sobre un estado policial distópico (Flow My Tears, The Policeman Said)(29).

El departamento de PreCrim ya es una realidad. Lo es mucho antes de llegar al año 2054, cuando se sitúa la acción de esta obra, y sin necesidad mutaciones genéticas que doten de potencias precognitivas. La identificación de patrones y el aprendizaje de las máquinas explican el triunfo de los algoritmos en las aplicaciones de policía preventiva. Sus contribuciones en términos de eficacia, eficiencia y efectividad se pueden colegir de la lectura de informes de responsables de seguridad de todo el mundo, que apenas se plantean los riesgos a la vista de los éxitos y la mejora real de sus capacidades de respuesta.

Antes de la introducción de sofisticados programas informáticos, desde finales del siglo pasado se analiza información en los Estados Unidos sobre los lugares de comisión de los crímenes (en el Crime Mapping Research Center). Desde 1995, el Departamento de policía de Nueva York comenzó a utilizar CompStat (estadísticas comparativas) para gestionar sus presencias en función de los mapas de lugares de mayor probabilidad de comisión de crímenes.

La Rand Corporation publicó un informe en 2013 sobre la policía preventiva y su contribución a las operaciones de cumplimiento de la Ley. Esta guía para responsables de políticas públicas analizaba todas las posibilidades de las novedosas técnicas, en sus distintas orientaciones (predicción de crímenes, de identidad de los criminales o de las víctimas(30).

La policía de Los Ángeles suele citarse como la pionera en el año 2008 en el despliegue de las posibilidades de la policía predictiva, en colaboración con el Instituto Nacional de Justicia de los Estados Unidos y grupos de investigadores. Este Instituto promovió la formación en análisis de datos sobre geolocalización de crímenes, pioneras herramientas de policía predictiva. Tras Los Ángeles se desarrollaron iniciativas en Boston, Chicago, Washington D.C y Nueva York.

Un libro de2021 escrito por John Mc Daniel y Ken Pease, expone la progresiva utilización de técnicas de policía predictiva en los departamentos más avanzados de los Estados Unidos. En los lugares que asociamos con la revolución tecnológica (California o Nueva York) hace ya más de una década que se están desplegando estas tecnologías(31)-

También en España, el Ministerio del Interior presume con buenos argumentos de la efectividad de algunos de sus algoritmos, siendo una de las estrellas de la policía nacional la aplicación de denuncias falsas. Veripol se ensayó durante casi tres años con más de mil denuncias y, tras un programa piloto en Málaga y Murcia, se puso en funcionamiento en el año 2018, con resultados espectaculares en cuanto a la prevención de este tipo de delitos. Su precisión se cuantifica por encima del noventa por ciento(32).

La determinación de los gobiernos a favor estas tecnologías contrasta con las críticas desde el Derecho público contra la “tiranía del algoritmo” y sus “zonas oscuras”(33). Por supuesto los algoritmos son diseñados por los seres humanos y heredan nuestros sesgos e imperfecciones, pero muchas de las objeciones que se pueden leer en los comentarios sobre su empleo son las clásicas sobre la incorporación de nuevas tecnologías – los riesgos de abuso o de utilización desviada – al tiempo que se reconoce su capacidad de mejora.

Gran parte de la controversia en relación al impacto sobre la intimidad y los derechos fundamentales se proyecta sobre la utilización combinada de técnicas masivas: Big Data y biometría, por ejemplo. Las reservas del Derecho público europeo en torno a estas aplicaciones han crecido(34). En lo relativo a la policía preventiva, la utilización de la biometría es otro de los asuntos más controvertidos, por su potencial vulneración de derechos fundamentales(35).

Los algoritmos de vigilancia predictivos suscitan alegatos contrarios como el de Will Douglas Heaven, críticos con su tendencia a perpetuar los prejuicios y la criminalización de minorías raciales. Si se multiplican las patrullas allí donde históricamente se han detectado más delitos, esa mayor intensidad de la vigilancia policial se traducirá en detenciones y registros que se proyectarán sobre las comunidades sujetas a presión policial, llevando a las cárceles a jóvenes por pequeñas infracciones(36).

Si la respuesta policial ha sido a lo largo del tiempo desproporcionada sobre determinados perfiles – los extranjeros, por ejemplo – los algoritmos se desarrollarán con un sesgo de partida debido a los datos introducidos, perpetuando esa discriminación(37).

Toda innovación plantea en sus etapas tempranas fallos de precisión y descubrimiento de desventajas, contratiempos que son corregidos con la lógica de ensayo/error. Nunca ninguna tecnología se incorporó a la sociedad sin controversias, contratiempos y discusiones, y siempre se abrieron debates sobre sus potenciales riesgos y daños para el ser humano. Esto que hoy sucede con la inteligencia artificial, antes sucedió con la electricidad, el ferrocarril o los teléfonos móviles. Pero en todo caso necesitamos una posición coherente y medidas concretas para responder a las razonables críticas que se están multiplicando.

4. ¿QUÉ HACER ANTE LOS RIESGOS Y SESGOS DE LOS ALGORITMOS?

Los riesgos del empleo de algoritmos y otras herramientas de inteligencia artificial en las funciones policiales no son hipótesis teóricas. Ya se han materializado en casos con daños que han llegado hasta los tribunales. COMPAS, en Estados Unidos, por sus efectos de discriminación racial, o SYri, en Europa, por su incidencia sobre las garantías clásicas(38).

El programa COMPAS ha sido particularmente controvertido, hasta el punto de protagonizar la crítica en artículos relevantes de las principales revistas jurídicas de los Estados Unidos. También la opinión pública ha conocido esta polémica, a través de medios tan célebres y prestigiosos como el New York Times. El hecho es que los jueces norteamericanos se basaron en sus resultados para decidir el ingreso en prisión de personas por el riesgo de reincidencia, hasta el cuestionamiento jurisprudencial de un posible sesgo(39).

Otros informes advierten de los mitos y errores sobre la policía predictiva: no es una panacea (los ordenadores no resuelven los problemas de la criminalidad ni pueden ver el futuro); no es necesario realizar inversiones excesivamente costosas; la reducción de la criminalidad no es automática. También señalan sus trampas: centrarse en la precisión perfecta más que en la utilidad práctica, utilizar datos de mala calidad; malinterpretar los factores de la predicción; no contar con suficiente asesoramiento y evaluación; perder de vista los derechos fundamentales y la intimidad.

Para no incurrir en estos errores – mitos y trampas – formulan algunas recomendaciones para las agencias que utilizan estas herramientas. A partir de 2020, los departamentos de policía de muchas ciudades de Estados Unidos, justo las primeras que comenzaron a emplear los algoritmos, replantearon sus estrategias ante los errores e inconvenientes de este tipo de herramientas y los sustituyeron progresivamente por la policía de proximidad. La visita de la Comisión LIBE (Libertades Civiles, Justicia y Asuntos de Interior) del Parlamento Europeo tomó nota de este cambio de enfoque.

El libro de Sarah Brayne, Predict and Surveil. Data, Discretion and the Future of Policing (Oxford University Press, 2020) expone el caso del Departamento de Policía de Los Ángeles. la recopilación masiva de datos se ha convertido en una actividad central de esta organización, que acapara información con independencia de su relación directa o no con la criminalidad. 

Sarah Brayne no está en contra del uso del Big Data en la policía preventiva. Al contrario, considera que etas técnicas incrementan la posibilidad de controlar la actividad de los cuerpos armados. Ahora bien, la autora observa la resistencia de los responsables de la policía a ser supervisados en el empleo de tales tecnologías. 

Ante tales reacciones, ¿Debemos renunciar a los algoritmos? (40). Esta pregunta no puede responderse negativamente porque de hecho ninguna organización en contexto competitivo (incluyendo por supuesto los Estados) se puede permitir no aprovechar las ventajas y beneficios que ofrece en nuestro tiempo la inteligencia artificial. Y no lo están haciendo, así que lo que necesitamos son mecanismos de garantía que permitan solventar este debate sin dar marcha atrás en una de las revoluciones más importantes de la historia de la humanidad.

Toda la crítica que observamos sobre los sesgos de los algoritmos puede ser calificada desde mi punto de vista como un efecto secundario de una gran transformación tecnológica y social, no calibrada ni anticipada por los promotores del empleo creciente y exitoso de la inteligencia artificial. Ni los diseñadores de las herramientas informáticas ni los introductores de su aplicación en las grandes organizaciones públicas y privadas pudieron prever esta consecuencia, que es la que produce tanta perplejidad, pero no debería conducir a la parálisis.

Cass R, Sunstein, el más audaz e innovador de los administrativistas de nuestros días, ofrece una perspectiva alternativa sobre el empleo de algoritmos. En realidad, nos dice, los sesgos también son propios de las decisiones humanas, contaminadas así mismo por el “ruido”, un elemento ajeno a los algoritmos, lo que les da una ventaja para no cometer errores. Además, la posibilidad de corregir los prejuicios del programador mediante modulaciones del algoritmo debe tenerse muy en cuenta, porque no es tan sencillo corregir las tendencias discriminatorias de mujeres y hombres(41).

Aunque otros tribunales han puesto límites y exigido garantías al uso de los algoritmos, la Corte Suprema de los Estados Unidos no ha admitido casos en los que se cuestionaba su constitucionalidad, así que se posibilita su empleo ahora y en el futuro. No me parece un mal criterio, con todas las prevenciones que sean necesarias, por supuesto: transparencia, controles previos y filtros, garantías de supervisión humana de las decisiones en todo caso(42).

Toda vez que los errores y abusos humanos pueden y suelen ser peores que los cometidos por algoritmos, me manifiesto a favor de su utilización siempre que se desarrolle la propuesta FATE para progresar hacia mejores algoritmos(43).

¿Por qué defiendo esta postura? Lo hago convencido de las oportunidades que presentan los algoritmos para realizar el principio de legalidad en un Estado de Derecho. Una de las principales ventajas de la inteligencia artificial es su capacidad de realizar el ideal burocrático perfecto del principio de legalidad: una aplicación de las normas indistinta de las preferencias subjetivas de los operadores llamados a conectar hechos y Derecho vigente. Aunque por supuesto no debe obviarse la complejidad de la interpretación, en supuestos repetitivos e idénticos (o muy similares) la utilización de algoritmos ofrece una oportunidad de mayor respeto de principios como la igualdad, la proporcionalidad y, ya lo he dicho, la legalidad.

La queja sobre los sesgos de los algoritmos parece obviar que el criterio humano en la aplicación del Derecho también genera disparidades drásticas que afectan a las garantías. La libertad o la prisión de una persona pueden depender de los resultados deportivos de los equipos favoritos de los jueces el fin de semana previo a dictar sentencia. El reconocimiento del derecho de asilo en Estados unidos presenta diferencias exageradas de probabilidad, en función del magistrado al que le toque decidir. Hay un exceso de incertidumbre y ruido en los pronunciamientos judiciales, lo que ha llevado hace años al dictado de leyes orientadoras del sentido de las sentencias(44).

Ahora bien, los algoritmos policiales deben ser complementados con enfoques humanos e intervenciones de proximidad. Algunos autores ya se han centrado en las propuestas éticas sobre la policía predictiva, desde la ética del cuidado, superando un modelo centrado exclusivamente en la prevención de amenazas. El enfoque de la ética del cuidado es distinto al de la prevención de la amenaza. Se caracteriza por ser holístico y no centrarse exclusivamente en la corrección e inteligibilidad del algoritmo, sino que intentaría también comprender las causas de la delincuencia para beneficiar en el futuro a la sociedad mediante su reducción (utiliza la información para lograr transformaciones positivas de la situación presente)(45).

El ejemplo de los programas de prevención del Departamento de Policía de Chicago frente a crímenes cometidos con armas de fuego pone de manifiesto las diferencias entre las dos aproximaciones. El enfoque del cuidado no sólo incluyó el uso de datos masivos para identificar los perfiles más propensos a verse involucrados en este tipo de crímenes, sino que también actuó con medios de prevención especial y de integración en la comunidad tras la elaboración de una “lista caliente” de potenciales infractores”. “Nada para una bala tanto como un trabajo”, es la conclusión. Si la policía se limita a utilizar técnicas de Precrimen, los crímenes continuarán sucediendo y tendremos más personas encarceladas. Si se utiliza la información para prevenir en un sentido más amplio, atacaremos la verdadera raíz del problema.

Las propuestas críticas sobre la gestión de datos introducen un elemento adicional a tener en cuenta en la utilización de algoritmos para los fines policiales: la información no debe servir sólo para prevenir inmediatamente la comisión de crímenes, o anticiparse pocos minutos antes de su comisión. El resultado deseable no es en el fondo incrementar el número de detenciones – la estadística de corto plazo – sino comprender las causas profundas de la criminalidad y evitar la delincuencia al disponer de un conocimiento más completo de sus circunstancias y causas.

Este tipo de reflexiones no son menores cuando nos hemos de pronunciar sobre las garantías. Al fin, la inevitabilidad del recurso a la Inteligencia Artificial – el si no está en cuestión – nos lleva a señalar el cómo, es decir, con qué límites y salvaguardas podemos aceptar su utilización, teniendo en cuenta en este caso que la protección de la seguridad responde a unas necesidades y circunstancias que son diferentes a las que se plantean en otros ámbitos de intervención pública. Básicamente la prevención de riesgos generados por una acción criminal humana que se podría ver favorecida por regulaciones que no tuvieran en cuenta estas peculiaridades, de modo que sostendremos aquí una adaptación de los principios éticos y jurídicos de la inteligencia artificial a las técnicas de policía predictiva.

5. GARANTÍAS ADAPTADAS A LA PROTECCIÓN DE LA SEGURIDAD

Las garantías frente a los usos indebidos, los riesgos y los sesgos de la inteligencia artificial se encuentran en los documentos internacionales y europeos que he citado. La doctrina también se ha empleado a fondo en los últimos años para concretar los principios, conectándolos con las referencias clásicas de la buena administración: transparencia, motivación y responsabilidades(46).

También la reserva de humanidad se ha argumentado como garantía, considerando como ingrediente necesario de la buena administración la empatía y la emoción humanas. Si acaso la empatía fuera de verdad una característica del desarrollo real de los procedimientos administrativos, se presume con esta propuesta que el elemento humano es en todo caso positivo, pues redundaría en beneficio de las personas, incorporando un principio a favor del interesado que parece plausible, aunque no siempre compatible a mi modo de ver con la objetividad de la Administración(47).

Muchas de las aproximaciones a la naturaleza y el régimen jurídico de los algoritmos pretende extender las garantías de transparencia y publicidad mediante su equiparación con los reglamentos. Esta bienintencionada propuesta no diferencia en función del uso concreto que se da a los algoritmos, cuya inclusión como fuente del Derecho suscita toda una serie de dudas(48).

Debe recordarse el tenor del artículo 105.b) cuando excepciona lo relativo a la “averiguación de los delitos” el acceso libre a los archivos y registros administrativos. Por esta razón constitucional, la ley de transparencia incluye también limitaciones al acceso cuando puedan suponer un perjuicio para la seguridad pública (artículo 14.d) o la prevención, investigación y sanción de los ilícitos penales, administrativos o disciplinarios (artículo 14.e).

La Sentencia del Juzgado central de lo contencioso administrativo de 30 de diciembre de 2021, que resuelve el recurso interpuesto por la Fundación Civio en relación al programa BOSCO, comentada por Mercedes Fuertes, emplea el argumento de la seguridad para no dar acceso al código fuente de la aplicación. Este pronunciamiento se basa en un informe del Centro Criptológico Nacional: “la revelación del código fuente aumenta de manera objetiva la severidad de las vulnerabilidades de cualquier aplicación informática. Si esta además maneja información clasificada o sensible de la Administración, el conocimiento del código fuente aumenta el riesgo de que la explotación de las vulnerabilidades pueda afectar a la seguridad nacional, la seguridad pública o la seguridad de los administrados”(49).

Es claro que la seguridad no puede invocarse como razón para denegar el acceso al código fuente en todos los casos, pero habremos de convenir que sí estaría justificada en el caso de los algoritmos utilizados por las fuerzas y cuerpos de seguridad. Por supuesto serán necesarios controles para evitar desviaciones, sesgos o abusos en su empleo, pero la transparencia plena de este tipo de herramientas debería descartarse por la propia naturaleza de la tarea a desarrollar.

¿Existe un derecho a conocer los algoritmos?(50) El delicado equilibro entre la efectividad policial y la opacidad de sus medios merece en todo caso una reflexión más profunda, en torno al sintagma “policía secreta”, que presenta más sombras que luces. El despliegue de mecanismos de vigilancia inadvertidos o desconocidos por ser totalmente opacos es difícilmente compatible con los principios inspiradores de los Estados sociales y democráticos de Derecho. La misión constitucional de la policía es salvaguardar derechos y libertades, rechazando aquellas orientaciones basadas en un concepto anquilosado y autoritario de orden público(51).

Los algoritmos policiales no se están empleando de momento en un modo totalmente opaco para la opinión pública. Sus primeros usos han sido difundidos en documentos y presentaciones organizadas por los responsables de la policía nacional, aunque seguramente existen algunas aplicaciones que por su carácter más sensible no se están difundiendo. Así, ¿sería aceptable el empleo de este tipo de herramientas para la prevención de ataques terroristas? ¿Cabe aceptar la colaboración y el intercambio de información con otras policías, incluso si no respetan las mismas garantías, en tal propósito? En estos casos, el control judicial parece la garantía más adecuada.

La garantía judicial permitiría saber si se están ensayando estas aplicaciones sin ningún tipo de control externo al policial, esto es, en secreto, tal y como parece haberse realizado en Estados Unidos durante décadas(52) . Evitar esos usos desconocidos parece necesario porque no son desdeñables las advertencias de la doctrina y las instituciones europeas sobre los riesgos del empleo de los algoritmos.

Así, por ejemplo, la Resolución del Parlamento Europeo 2020/2016, de octubre de 2021, que también se refiere a su utilización por las autoridades policiales. Además de señalar los riesgos de sesgos en los algoritmos, el Parlamento europeo se pronuncia en términos muy tajantes sobre el uso de análisis biométricos, desde una proyección estricta del principio de proporcionalidad y plantea la “prohibición permanente del uso de análisis automatizados o el reconocimiento en espacios accesibles al público de otras características humanas, como los andares, las huellas dactilares, el ADN y otras señales biométricas y de comportamiento”.

Todas las medidas tecnológicas (en el proceso penal) deben responder a una serie de principios, reflejados en la Ley Orgánica 13/2015, de 5 de octubre, de modificación de la Ley de Enjuiciamiento Criminal para el fortalecimiento de las garantías procesales y la regulación de las medidas de investigación tecnológica, cuya Exposición de motivos dice “Toda medida deberá responder al principio de especialidad. Ello exige que la actuación de que se trate tenga por objeto el esclarecimiento de un hecho punible concreto, prohibiéndose las medidas de investigación tecnológica de naturaleza prospectiva, de acuerdo con el concepto que informa la doctrina emanada del máximo intérprete de la Constitución, por todas, la sentencia 253/2006, de 11 de septiembre. Las medidas de investigación tecnológica deben además satisfacer los principios de idoneidad, excepcionalidad, necesidad y proporcionalidad, cuya concurrencia debe encontrarse suficientemente justificada en la resolución judicial habilitadora, donde el juez determinará la naturaleza y extensión de la medida en relación con la investigación concreta y con los resultados esperados”.

Por supuesto, esta regulación no afecta a la policía predictiva ni a los algoritmos que utilizan información y datos anonimizados, toda vez que no se realiza en el contexto de investigaciones de la policía judicial, dirigida por los jueces. Ahora bien, sí tiene un efecto indirecto en la medida que señala un límite destacable, a saber, la utilización de estos dispositivos para sustituir las investigaciones que debieran realizarse con todas las garantías debidas. En el momento en que se trate de esclarecer los hechos relativos a una causa concreta, procede la activación de las garantías previstas en la Ley de Enjuiciamiento Criminal.

No debe extrañarnos en estas condiciones que el Parlamento Europeo proponga una moratoria en cuanto al despliegue de sistemas de reconocimiento facial y solicite a la Comisión Europea la prohibición del uso de bases de datos privadas. En este sentido, solicita la modificación de la Decisión 2008/615/JAJ, del Consejo, de 23 de junio de 2008, sobre la profundización de la cooperación transfronteriza contra el terrorismo y la delincuencia transfronteriza (decisión Prüm). En general, el Parlamento Europeo se muestra contrario al empleo de las tecnologías más avanzadas por parte de la policía (así, los drones, por ejemplo). Este documento hace referencia al proyecto iBorderCtrl, un “sistema inteligente de detección de mentiras” que funciona a partir del análisis de 38 microgestos que reconocen indicios de falsedades en entrevistas realizadas por ordenador a viajeros antes de sus viajes.

Uno de los principales problemas que plantea el empleo de algoritmos policiales es su escasa o casi nula regulación positiva. ¿Cómo se han regulado estas garantías en España hasta ahora? ¿Cuál es el estado de la cuestión de nuestro Derecho? De momento lo poco que tenemos se encuentra en la la Ley 15/2022, de 12 de julio, para la igualdad de trato y la no discriminación, cuyo artículo 23 se ocupa de la Inteligencia Artificial y los mecanismos de toma de decisión automatizada: “1. En el marco de la Estrategia Nacional de Inteligencia Artificial, de la Carta de Derechos Digitales y de las iniciativas europeas en torno a la Inteligencia Artificial, las administraciones públicas favorecerán la puesta en marcha de mecanismos para que los algoritmos involucrados en la toma de decisiones que se utilicen en las administraciones públicas tengan en cuenta criterios de minimización de sesgos, transparencia y rendición de cuentas, siempre que sea factible técnicamente. En estos mecanismos se incluirán su diseño y datos de entrenamiento, y abordarán su potencial impacto discriminatorio. Para lograr este fin, se promoverá la realización de evaluaciones de impacto que determinen el posible sesgo discriminatorio. 2. Las administraciones públicas, en el marco de sus competencias en el ámbito de los algoritmos involucrados en procesos de toma de decisiones, priorizarán la transparencia en el diseño y la implementación y la capacidad de interpretación de las decisiones adoptadas por los mismos. 3. Las administraciones públicas y las empresas promoverán el uso de una Inteligencia Artificial ética, confiable y respetuosa con los derechos fundamentales, siguiendo especialmente las recomendaciones de la Unión Europea en este sentido. 4. Se promoverá un sello de calidad de los algoritmos”.

Esta primera regulación es adecuada, pero necesitada de desarrollos e incompleta, porque no realiza varios de los principios que todos los documentos internacionales señalan para el empleo de la inteligencia artificial. Por ejemplo, una garantía en la que apenas se ha avanzado, a pesar del énfasis que ponen en la misma la mayoría de los documentos internacionales y europeos es la rendición de cuentas y posible exigencia de responsabilidades. Nada encontramos en el Derecho español más allá de las previsiones generales del ámbito penal y disciplinario administrativo, ninguna regulación específica sobre el uso de algoritmos.

El documento de recomendaciones de la UNESCO insiste reiteradamente en la rendición de cuentas en las responsabilidades como garantía esencial para evitar los abusos de la Inteligencia Artificial. Las regulaciones debieran contemplar prohibiciones específicas y localizar en instancias concretas su seguimiento, control y sanción, en aquellos casos en los que se infrinjan las normas. Aunque podamos aplicar tipos infractores e incluso delictivos para algunas conductas, lo cierto es que los marcos reguladores que se están aprobando carecen de este capítulo de responsabilidades, lo que unido a las debilidades sistemáticas de nuestro régimen de atribución de responsabilidad personal de autoridades y empleados públicos es un serio fallo. En el marco normativo actual, existe un riesgo real de despersonalización del responsable. El uso de algoritmos puede ser la coartada perfecta que favorezca la imposibilidad de localizar al infractor(53).

Desde mi punto de vista, esta cuestión de las responsabilidades resulta esencial, porque las amenazas distópicas derivadas de un posible abuso de la policía predictiva son las propias de la peor historia de los servicios de información, convertidos en organizaciones secretistas para el control político y social. Así, desde Fouché hasta Hoover, los estados modernos han conocido excesos derivados del descontrol de las agencias de seguridad. Los ejemplos de la Francia postrevolucionaria y los Estados Unidos son reveladores, pues incluso en los países reconocidos como orígenes de la Democracia este riesgo se mantiene presente(54).

España no está libre de la tentación manipuladora por parte de mandos policiales. El caso del comisario Villarejo, cuyos archivos amenazaron la integridad del Estado, es revelador en tal sentido. ¿Cómo podemos estar seguros de que no se empleará indebidamente el altísimo volumen de información que ofrecen las bases de datos? ¿Qué garantías se nos ofrecen para evitar tales comportamientos? ¿Estamos seguros de que no existen más casos, que estamos ante el ejemplo extremo de prácticas que pueden seguir produciéndose en mayor escala?

El origen del Estado y el control informativo están unidos(55). También encontramos ese incremento de capacidades de gestión de información en los orígenes de la policía moderna, en España en el momento de la llamada “utopía reaccionaria”(56), porque Fernando VII no fue precisamente un monarca constitucional(57). La evolución histórica posterior del modelo policial español, a lo largo de los siglos XIX y XX, ha sido poco ejemplar en términos de respeto de las libertades (al menos hasta la Constitución de 1978), según la lúcida exposición de Manuel Ballbé(58). La próxima celebración de la comisión conmemorativa del bicentenario de la policía nacional debería ser una oportunidad para debatir en serio una vez más sobre estas cuestiones, incluyendo en los análisis de futuro el recurso a las nuevas tecnologías y los algoritmos.

La aproximación apocalíptica de Byung-Chui Han, en su Infocracia destaca la amenaza para el ser humano que comportan los dispositivos de vigilancia, aunque no sitúa precisamente en el Estado de manera exclusiva tales riesgos. Lo cierto es que los propios individuos nos sometemos a controles y renunciamos al sacrificar en aras de la exposición pública y el rendimiento profesional nuestra intimidad y la propia vida(59).

En este sentido, convendría advertir finalmente que la Inteligencia Artificial siempre presentará puntos ciegos – como nos ocurre a los humanos – y tardará en identificar nuevos patrones de delincuencia, siendo especialmente opacos aquellos precisamente desarrollados por sus responsables. Así que la clásica cuestión sobre el control del controlador – ¿Quién vigila a los vigilantes? – se mantendrá como uno de los principales desafíos del Estado de Derecho(60).

NOTAS:

(1). La biografía de FOUCHÉ escrita por Stpephen ZWEIG en 1929 sigue siendo un clásico sobre esta desviación de la política. También Jhon Edgar HOOVER atrajo a Clint EASTWOOD, quien le dedicó J.Hoover en 2011.

(2). FOUCAULT, Michel, Vigilar y castigar, Siglo XXI, 2001.

(3). RIVERO ORTEGA, Ricardo, El Estado vigilante. Consideraciones sobre la función inspectora de la Administración pública, Tecnos, Madrid, 1999. GIDDENS, Anthony, Consecuencias de la modernidad, Alianza, 1993. VATTIMO, Gianni, La sociedad transparente, 1990. Este mismo título y parte de sus tesis son asumidas recientemente por BYUNG-CHUY Han en su obra La sociedad de la transparencia, 2012.

(4). WEBER, Max, Economía y Sociedad, FCE, 2014.

(5). CHIN, Josh. Surveillance State: Inside China´s Quest to launch a new era of social control, 2022.

(6). ZUBOFF, Shoshana, The Age of Surveillance Capitalism, 2018.

(7). VITALE, Alex, El final del control policial, 2021.

(8). PINKER, Steven, The Better Angels of Our Nature. Why Violence has declined, 2021.

(9). MOLES PLAZA, Ramón, Manual del miedo. Un análisis socio jurídico, 2022.

(10). DÍAZ ARIAS, Ángel, Ética pública y régimen disciplinario policial, Tirant lo Blanch, 2022.

(11). SANZ MULAS, Nieves, Criminal Policy in the Age of Globalisation, Tirant lo Blanch, 2021.

(12). La bibliografía en español sobre algoritmos, inteligencia artificial y derechos ha crecido exponencialmente en pocos años. El reciente número 100 de El Cronista del Estado Social y Democrático de Derecho, Iustel, 2022 ofrece una buena muestra de excelentes artículos sobre esta temática, escritos por autores de referencia en el Derecho administrativo de las nuevas tecnologías.

(13). PÉREZ LUÑO, Antonio-Enrique, Manual de informática y Derecho, Arial, 1996. Y su imprescindible Derechos humanos, Estado de Derecho y Constitución, Tecnos, 1995.

(14). GILLIAM, Terry, Brazil (film), 1985.

(15). HOFFMAN RIEM, El Derecho ante el reto de la transformación digital, Aranzadi, 2022.

(16). VALLS PRIETO, Javier, Inteligencia artificial, derechos humanos y bienes jurídicos, Aranzadi, 2022.

(17). CASTELLS, Manuel (Ed.), La sociedad red: una visión global, Alianza editorial, 2006.

(18). SCHWAB, Klaus, La cuarta revolución industrial, Debate, 2020.

(19). El nuevo contexto competitivo propiciado por esta facilidad de acceso a las estrategias de digitalización es tratado en la obra de IANSITI, Marco y LAKHANI, Karim, Competing in the Age o FI: Strategy and Leadership When Algorithms and Networks Run the World, 2020.

(20). MUÑOZ MACHADO, Santiago, “Prólogo” al número 100 de El Cronista del Estado Social y Democrático de Derecho, 2022,

(21). ÁLVAREZ GARCÍA, Vicente, 2020, el año de la pandemia de la Covid-19, Iustel, 2021. COTINO HUESO, Lorenzo, “Inteligencia Artificial y vigilancia digital contra la COVID-19 y contra la privacidad: el demonio está en los detalles”, Boletín IEEE, 18, 2020. RIVERO ORTEGA, Ricardo, “Rastreadores y radar Covid: obligaciones de colaborar y garantías”, Revista General de Derecho Administrativo, 2020.

(22). RIVERO ORTEGA, Ricardo, “Gestión pública inteligente, innovación e información: oportunidades y riesgos del big data administrativo”, Presupuesto y Gasto Público, 2017. SERRANO ANTÓN, E, Inteligencia artificial y Administración tributaria y contribuyente en la era digital, Aranzadi, 2020.

(23). PÉREZ LUÑO, Antonio Enrique, “La inteligencia artificial en tiempo de pandemia”, en LLANO ALONSO, Fernando (et alt), Inteligencia artificial y Derecho. El jurista ante los retos de la era digital, Aranzadi, 2021.

(24). FUERTES LÓPEZ, Mercedes, “Reflexiones ante la acelerada automatización de actuaciones administrativas”, Revista Jurídica de Asturias, 45, 2022. Este artículo comenta la desestimación del recurso interpuesto por la Fundación Civio en relación al Programa BOSCO, mediante Sentencia del Juzgado Central de 20 de diciembre de 2021, pronunciamiento que más adelante comentaremos.

(25). CORTINA, Adela, “Ética de la inteligencia artificial”, Real Academia de Ciencias Morales y Políticas, 2019.

(26). KERN, Michael/Roth, Aaron, The ethical algortihm, 2019.

(27). SANDEL, Michael, What Money can´t buy. The Moral limits of Markets, 2016.

(28). HAMILTON, Melissa, “The Biased Algorithm: Evidence of Disparate Impact in Hispanics”, American Crininal Review, Vol. 56, 2019. CHANDER, Anupaum, “The Racist Algorihtm?”, Michigan Law Review, 2017.

(29). MARTÍNEZ GARAY, Lucía, “Minority Report: pre-crimen y pre-castigo, prevención y predicción”, en Vives Antón, Tomás Salvador (et alt), Crímenes y castigos: miradas al Derecho penal a través del arte y la cultura, Tirant lo Blanch, 2004.

(30). RAND, Predictive Policing. The Role of Crime Forecasting in Law Enforcement Operations, 2013.

(31). MC DANIEL, John/PEASE, Ken, Predictive Police and Artificial intelligence, 2021.

BRAYNE, Sarah “Big Data Surveillance. The Case of Policing”, American Sociological Review, 201

Un hito relevante que demuestra la importancia de estas tecnologías nos lo ofrece la orden ejecutiva del Presidente Barack Obama sobre Police Data (Establishment of The President´s Task Force on 21st Century Policing. Los objetivos de esta Orden ejecutiva son reveladores en sí mismo: Lograr una alianza efectiva que combine la ejecución de la ley y la participación de las comunidades locales, reduciendo la criminalidad e incrementando la confianza.

Este grupo sobre la Policía del siglo XXI estará integrado por no más de once personas elegidas por el Presidente, todas ellas con acreditada experiencia en ejecución de la ley, derechos fundamentales y libertades públicas. Dos de estas personas, también designadas por el Presidente, serán copresidentes de la comisión. La misión de la comisión será la de identificar las mejores prácticas y formular recomendaciones al Presidente sobre cómo las prácticas policiales pueden promover la reducción efectiva del crimen generando confianza pública. La comisión tendrá funciones consultivas y deberá presentía un informe al presidente en 2015.

Esta comisión debería mantener encuentros públicos con agentes locales, expertos, organizaciones no gubernamentales para formar su criterio. El Director de la Oficina de Policía orientada a la comunidad será el director ejecutivo bajo la copresidencia, debiendo convocar reuniones periódicas de la comisión y supervisar su trabajo. El Departamento de Justicia debe proveer apoyo administrativo, financiación, personal y logística para cumplir con su cometido

¿Cuál es la situación en España? El Ministerio del Interior en España considera un gran avance el empleo de algoritmos policiales, destacando sus empleo en los siguientes ámbitos: predicción de crímenes; delimitación de distritos policiales y optimización de zonas de patrullas; análisis y vinculación de crímenes en serie; estimación de riesgo de nuevos episodios de violencia de género; análisis de las vulnerabiliades de las redes de delincuencia organizada; análisis de imágenes de cámaras policiales; análisis de la productividad laboral; y detección de denuncias falsas.

También se destacan sus posibles usos en la prevención de la violencia de género: ¿Quién podría oponerse a un sistema que permitiera reducir los riesgos de asesinatos machistas en España? La elección del sector de intervención resulta extremadamente oportuna porque desactiva muchas de las críticas posibles frente a este tipo de herramientas, así como otros ensayos de políticas criminales

(32). GONZÁLEZ ÁLVAREZ, José Luis/SANTOS-HERMOSO, Jorge/CAMACHO-COLLADOS, Miguel, “Policía predictiva en España. Aplicación y retos futuros”, Behaviour and Law Journal, 6, 2020.

(33). MARTIN RIOS, Pilar, “Empleo de big data y de inteligencia artificial en el ciberpatrullaje: de la tiranía del algoritmo y otras zonas oscuras”, Revista de Internet, Derecho y Política, 36, 2022.

(34). VALLS PRIETO, Javier, Problemas jurídico penales asociados a las nuevas técnicas de prevención y persecución del crimen mediante inteligencia artificial, 2007.

(35). En este punto se detienen varios de los trabajos publicados en el número 100 de la Revista El Cronista del Estado Social y Democrático de Derecho. Así, el de BARRIO ANDRÉS, Moisés, “Inteligencia artificial: origen, concepto, mito y realidad”; el de Barona Vilar, Silvia, “La seductora algoritmización de la justicia. Hacia una justicia posthumanística ¿utópica o distópica?”; el de PRESNO LINEAR, Miguel Ángel, “Derechos fundamentales e inteligencia artificial en el Estado social y democrático de Derecho”; el de COTINO HUESO, Lorenzo, “Sistemas de inteligencia artificial con reconocimiento facial y datos biométricos. Mejor regular bien que prohibir mal”.

(36). DOUGLAS HEAVEN, William, “Alegato contra los algoritmos de vigilancia predictivos”,

(37). WEATINGTON, Katy, “A Critical Study of Geospatial Algorithm Use in Crime Analysis and Predictive Policing”, 2022.

(38). COTINO, Lorenzo, “SyRI, ¿a quién sanciono? Garantías frente al uso de la inteligencia artificial y decisiones automatizadas en el sector público y la sentencia holandesa de febrero de 2020”, La Ley Privacidad, Wolterse Kluwer, 4, 2020.

(39). ROA AVELLA. Aarcela/SANABRIA MOYANO, Jesús/DINAS-HURTADO, Katherin, “Uso del algoritmo COMPAS en el proceso penal y los riesgos para los derechos humanos”, Revista Brasileira de Direito Processual Penal, 8, 2022.

(40). HUERGO LORA, Alejandro, La regulación de los algoritmos, Thomson, 2020.

(41). SUNSTEIN, Cass R., “Governing by Algorith? No Noise and (Potentially) Less Bias”, Duke Law Journal, 71, 2022.

(42). PONCE SOLÉ, Juli, “Reserva de humanidad y supervisión humana de la inteligencia artificial”, también en el número 100 de El Cronista del Estado Social y Democrático de Derecho, 2022.

(43). FATE (fairness, accuracy, transparency and ethics), FATE, propuesta Michael KERNS y Aaaron ROTH en su obra, The ethical algorithm. The science of socially aware algorithm design, 2020.

(44). KANHEMAN, Daniel/SIBONY, Olivier/SUNSTEIN, Cass R, Ruido. Un fallo en el juicio humano, 2021.

(45). ASARO Peter.M, “AI Ethics in Predictive POlicing: From Models of Threat to an Ethics of Care”, IEEE; 2018. ,

(46). VALERO TORRIJOS, Julián, “Las garantías jurídicas de la inteligencia artificial en la actividad administrativa desde la perspectiva de la buena administración”, Revista catalana de Dret public, 58, 2109.

(47). PONCE SOLÉ, Juli, “Inteligencia artificial, Derecho administrativo y reserva de humanidad: algoritmos y procedimiento administrativo debido tecnológico”, Revista General de Derecho administrativo, 50, 2019.

(48). BOIX PALOP, Andrés, “Los algoritmos son reglamentos: La necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la administración para la adopción de decisiones”, Revista de Derecho público: teoría y método, 1, 2020.

(49). FUERTES LÓPEZ, Mercedes, “Reflexiones ante la acelerada automatización de actuaciones administrativas”, Revista jurídica de Asturias, 2022, cit, pág.

(50). MEDINA GUERRERO, Manuel, “El derecho a conocer los algoritmos utilizados en la toma de decisiones: Aproximación desde la perspectiva del derecho fundamental a la protección de datos personales”, Teoría y Realidad Constitucional, 49, 2022.

(51). BARCELONA LLOP, Javier, Policía y Constitución, Tecnos, 1997. Lorenzo MARTÍN-RETORTILLO expuso bien el abuso del concepto orden público en el Derecho administrativo español en su obra, La cláusula de orden público como límite impreciso y creciente al ejercicio de los derechos, Cívitas, Madrid, 1975.

(52). HAQUE, Romael (et alt), “Understanding Law Enforcement and Common People´s Perspectives con Designing Explainable Crime Mapping Algorithms”, 2020.

(53). RIVERO ORTEGA, Ricardo, Responsabilidad personal de autoridades y empleados públicos. El antídoto de la arbitrariedad, Iustel, 2021.

(54). Sobre Fouché, el libro de ZWEIG de 1929, ya citado.,Time WEINER publicó Enemigos. Una historia del FBI, Debate, con múltiples datos sobre el tiempo de Hoover.

(55). SCOTT, Contra el Estado, 2022.

(56). Luis, Jean-Philipee, L´utopie reactionnarie. Epuration et modernisation de l´etata dans L´Espagne de la fin de L´ancien regime (1823-1834), Casa de Velázquez, 2020.

(57). LA PARRA, Emilio, Fernando VII. Un rey deseado y detestado, 2018.

(58). BALLBÉ, Manuel, Orden público y militarismo en la España contemporánea, Alianza,

(59). HAN, Byung-Chui, Infocracia: la digitalización y la crisis de la Democracia, 2022.

(60). Quis custodiet iposos custodes? , frase atribuida a Juvenal en sus Sátiras, se ha convertido en una expresión para plantear la aporía más importante del Estado Social y Democrático de Derecho: ¿cómo lograr que quienes están deben vigilar el cumplimiento de la Ley respeten el principio de legalidad?

Comentarios