El impacto de la inteligencia artificial en el derecho administrativo ¿nuevos conceptos para nuevas realidades técnicas?

Las administraciones públicas están incorporando la inteligencia artificial en su actividad y en la prestación de los servicios públicos. En este artículo se exponen los instrumentos a través de los que se puede regular el uso de la inteligencia artificial en las administraciones públicas. También se plantean los retos que la inteligencia artificial está generando al Derecho administrativo. Estos retos se analizan a la vista de los principios que deben guiar la actuación de las Administraciones públicas.

Agustí Cerrillo I Martínez es Catedrático de Derecho administrativo en la Universitat Oberta de Catalunya

El artículo se publicó en el número 50 de la Revista General de Derecho Administrativo (Iustel, enero 2019)

I. UNA APROXIMACIÓN A LA INTELIGENCIA ARTIFICIAL PARA JURISTAS (1)

La inteligencia artificial está de moda.(2) No pasa día sin que los medios de comunicación se hagan eco de un nuevo logro en este campo tecnológico. La atención que se está prestando últimamente a la inteligencia artificial, responde a la significativa evolución que ha experimentado esta área científica y tecnológica en la última década en lo que se ha conocido por algunos como un auténtico tsunami digital.(3) Y aún está llamada a tener un crecimiento exponencial en los próximos años.(4)

No es casualidad. La inteligencia artificial ha sido identificada como una de las cinco tecnologías emergentes que pueden transformar nuestra sociedad en las próximas décadas.(5) Su importancia ha sido reconocida como el fundamento de la cuarta revolución industrial.(6)

Todo ello está convirtiendo la inteligencia artificial en un mito de nuestro tiempo que poco a poco y con la participación de empresas y universidades y el impulso de los poderes públicos se va convirtiendo en una realidad tangible cuyas manifestaciones se encuentran de manera cotidiana en nuestra economía, nuestras administraciones públicas o nuestro ocio.(7)

En las próximas páginas nos proponemos compartir algunos fundamentos tecnológicos de la inteligencia artificial que pueden resultar útiles para poder abordar a continuación el análisis del uso de la inteligencia en las administraciones públicas y, posteriormente, su impacto en el Derecho administrativo.

1. ¿Qué es la inteligencia artificial?

La primera dificultad que nos encontramos al acercarnos a la inteligencia artificial es la relativa a su definición.(8) En efecto, existen numerosas definiciones de inteligencia artificial cuyo contenido está estrechamente relacionado a la disciplina y la aproximación que se realice. Esta diversidad también enmascara la coexistencia bajo este concepto de tecnologías muy distintas con tradiciones científicas diversas.

A nuestros efectos, podemos partir de la idea que a través de la inteligencia artificial los ordenadores son capaces de realizar acciones que serían consideradas como inteligentes si fuesen desarrolladas por personas.(9) La inteligencia artificial persigue emular las facultades intelectuales humanas en máquinas para que estas puedan realizar tareas propias de los seres humanos. En el estadio actual de desarrollo de la inteligencia artificial únicamente consigue realizar tareas específicas como traducir textos, conducir vehículos sin conductor o reconocer imágenes (es lo que se conoce como inteligencia artificial limitada) siendo aún un mito, para muchos inalcanzable, conseguir que los ordenadores puedan tener una conducta tan avanzada como una persona respecto a un amplio conjunto de tareas cognitivas (es decir, inteligencia artificial general).(10)

La inteligencia artificial se basa en el uso de algoritmos y de datos.(11)

Los algoritmos cada vez más regulan nuestras vidas.(12) Benítez et alt., definen los algoritmos como “el procedimiento para encontrar la solución a un problema mediante la reducción del mismo a un conjunto de reglas”.(13) Los algoritmos permiten transformar automáticamente datos en resultados apropiados para lograr un determinado objetivo.(14)

Los algoritmos han ido evolucionando a lo largo del tiempo. Inicialmente se basaban en sistemas expertos en los que los programadores trasladaban al algoritmo las normas y los criterios para tomar decisiones que identificaban los expertos. En la actualidad, los algoritmos que tienen un mayor potencial son aquellos que permiten el aprendizaje automático (machine learning) a través del que los ordenadores adquieren la capacidad de aprender de los datos y la experiencia que les permiten tomar decisiones por sí mismos.(15) Las instrucciones ya no están fijadas por los programadores sino que son generadas por los propios algoritmos. (16) A partir de los datos disponibles, el algoritmo identifica patrones y correlaciones entre los datos que son utilizados posteriormente para generar un modelo cuya calidad es evaluada estadísticamente y, en su caso, mejorada a partir de los resultados que se van obteniendo.(17) Posteriormente, el algoritmo es utilizado sobre nuevos datos.(18)

Un estadio más avanzado de inteligencia artificial es el del aprendizaje profundo (deep learning) que se basa en el aprendizaje de complejas redes neuronales, que emulan el funcionamiento del cerebro humano, a partir del uso de ingentes cantidades de datos.(19)

El aprendizaje profundo tiene algo de esotérico.(20) Los algoritmos extraen patrones a partir del análisis de datos y van perfeccionándose sin que el usuario sea capaz de descubrir de manera sencilla porqué o cómo el algoritmo ha adoptado una decisión o ha producido un determinado resultado. Por ello, es ininteligible para la práctica mayoría de usuarios como si fuese una caja negra (black box) aspecto que, como veremos posteriormente, pueda generar numerosos problemas desde el punto de vista jurídico.(21)

Para poder llevar a cabo estos procesos, el aprendizaje automático requiere grandes cantidades de datos (big data). Estamos en la era de los datos masivos o macrodatos donde los datos son el nuevo oro.(22) Los datos masivos generalmente se identifican con tres características: volumen, variedad y velocidad (las tres v).(23) Para que los datos puedan producir resultados útiles es necesario que sean de calidad y que no existan limitaciones jurídicas que lo impidan lo que constituye un desafío al que tanto los sistemas de gestión de la información de las administraciones públicas como el Derecho administrativo deben dar respuesta.(24)

La inteligencia artificial se está aplicando particularmente en los campos del procesamiento del lenguaje natural, la visión computerizada y la robótica.(25) El procesamiento de lenguaje natural es aquella tecnología utilizada para la comprensión automática del lenguaje humano. Sus aplicaciones se extienden desde la traducción automática a la realización de resúmenes de textos pasando por el análisis de sentimientos o la respuesta automática a preguntas formuladas en lenguaje natural.(26) La visión computerizada tiene por finalidad que los ordenadores sean capaces de identificar los objetos presentes en una imagen estática o en un vídeo. Las aplicaciones visión computerizada se utilizan para etiquetar imágenes, reconocer caras o contar personas en espacios públicos. Finalmente, la robótica persigue el diseño de robots es decir de un “objeto mecánico que capta el exterior, procesa lo que percibe y, a su vez, actúa positivamente sobre el mundo”.(27) Inicialmente, los robots estaban diseñados para realizar una única función teniendo un gran valor para realizar tareas peligrosas o costosas para ser realizadas por personas aunque en los últimos años se están diseñando robots de apoyo o ayuda a personas que tengan determinadas necesidades (asistenciales, sanitarias, sociales) que no solo realizan tareas físicas sino que también desarrollan un apoyo psicológico a sus usuarios.(28) Hoy en día, uno de los exponentes más desarrollados de la robótica es el de los coches sin conductor.

Un último aspecto a tratar en esta introducción es el relativo a si el desarrollo de la inteligencia artificial debe estar sometido a algún límite para evitar que pueda llegar a constituir una amenaza a la humanidad.(29) En esta dirección no podemos desconocer voces como las de Stephen Kawking,(30) Elon Musk,(31) o Bill Gates,(32) que han hecho saltar la alarma sobre los peligros que puede entrañar el desarrollo sin límites de la inteligencia artificial.

Sin embargo, a pesar de estas autorizadas opiniones, existe un amplio consenso sobre la imposibilidad presente y en un futuro más o menos cercano de que los ordenadores sean plenamente autónomos y lleguen a tener vida propia.(33) De hecho, a pesar del desarrollo actual de la inteligencia artificial, y de su evolución más cercana, muchos científicos son escépticos sobre lo que se puede conseguir.(34)

2. El uso e impulso de la inteligencia artificial en las administraciones públicas

La gobernanza inteligente persigue que las administraciones públicas puedan servir a la ciudadanía de manera más rápida y precisa.(35) Este modelo de gestión pública que se está extendiendo entre las administraciones públicas les ha de permitir que puedan mejorar su actuación y establecer nuevos canales de relación con la ciudadanía y las empresas para obtener mejores resultados y mayor apertura y rendición de cuentas.(36) Todo ello basado en el uso de los datos por las administraciones públicas a través de los algoritmos que pueden facilitar la toma de decisiones públicas y la evaluación de la efectividad de las normas y de la eficacia de las políticas públicas así como la prestación de los servicios públicos.

La inteligencia artificial ya tiene numerosas manifestaciones en las administraciones públicas. (37)

Así, son diversas las administraciones públicas que utilizan la inteligencia artificial para analizar los datos que están a su disposición en tareas tan distintas como predecir el riesgo de incendio de los edificios (Atlanta) o de riadas (Hampton) o identificar los locales que serán objeto de inspección (Las Vegas, Chicago). También se utiliza el procesamiento del lenguaje natural y los algoritmos de aprendizaje automático para revisar las solicitudes formuladas por los ciudadanos (Portal Federal Business Opportunities). Una aplicación específica del análisis de datos a través de la inteligencia artificial en las administraciones públicas la encontramos en la detección de irregularidades, fraudes y casos de corrupción.(38)

Las administraciones públicas también utilizan la inteligencia artificial en el proceso de toma de decisiones para darles apoyo (sistemas de predicción policial, sistemas de asistencia para médicos o sistemas de alerta de abandono escolar). Asimismo, utilizan la inteligencia artificial para tomar decisiones por ejemplo para asignar subvenciones o evaluar profesores (Nueva York).

Las administraciones públicas además están utilizando los sistemas de respuesta automatizada a preguntas formuladas en lenguaje natural o los sistemas de diálogo a partir del reconocimiento de voz para prestar servicios de información, asesoramiento y atención ciudadana. Así, por ejemplo, través de chatbots, las administraciones públicas dan respuesta a las preguntas formuladas por la ciudadanía (U.S.Citizenship and Immigration Services).

Las administraciones públicas utilizan asimismo la inteligencia artificial en la personalización de servicios a partir del análisis de los datos personales de los ciudadanos y del comportamiento de otros usuarios a partir de la creación de perfiles (MyGov Social del Consorci Administració Oberta de Catalunya).

La inteligencia artificial también es utilizada en la prestación de servicios públicos como el transporte, la seguridad, la sanidad, los servicios sociales, la educación. Asimismo, la inteligencia artificial se usa en la mejora de la gestión pública, por ejemplo, en la gestión del tráfico (Pittsburg).

Finalmente, en los últimos años han empezado a surgir aplicaciones para la resolución de conflictos entre las administraciones públicas y la ciudadanía.

Las propias instituciones públicas tienen un papel importante a desarrollar en el futuro de la inteligencia artificial y, en particular, para impulsar su uso en las propias administraciones públicas. Para ello, en los últimos años se han ido elaborando estrategias que persiguen fomentar el desarrollo de la inteligencia artificial y su incorporación en la actividad de las administraciones públicas.

En esta dirección, algunos países han adoptado una estrategia en materia de inteligencia artificial (Estados Unidos, Reino Unido).(39) Otros, están en una fase más temprana y únicamente han creado grupos de trabajo en la materia (España, Francia).(40) Además de las estrategias adoptadas por los estados, desde la Unión Europea se está promoviendo una estrategia en materia de inteligencia artificial y de robótica.(41)

En el marco de estas estrategias se han impulsado cambios organizativos.(42) También se han aprobado diversas normas para garantizar la seguridad jurídica al tiempo que se promueve la innovación a través del uso de la inteligencia artificial.(43) A este aspecto nos referimos a continuación.

II. ¿CÓMO SE PUEDE REGULAR LA INTELIGENCIA ARTIFICIAL?

En 1942, Asimov propuso regular el desarrollo de la robótica a través de tres leyes que debían regir la relación de los robots con los seres humanos.(44)

Más allá de estas leyes, más propias de la ciencia ficción que del mundo real y cuyo contenido ha dado lugar a más de una película,(45) desde los inicios de la inteligencia artificial se ha constatado la dificultad de regular su desarrollo y dar respuesta a los problemas que su avance pueda generar. En particular, la dificultad surge a la hora de identificar cómo abordar esta regulación y dotar de seguridad jurídica a las distintas aplicaciones y usos de la inteligencia artificial en las administraciones públicas, fomentando al mismo tiempo la innovación y garantizando la rápida adaptación a la evolución vertiginosa de la inteligencia artificial.

La preocupación sobre cómo dar respuesta a estas cuestiones no es nueva y ya se ha identificado anteriormente cuando el derecho se ha enfrentado a otros desarrollos tecnológicos como, por ejemplo, Internet. Por ello, para dar respuesta a esta cuestión, nos puede resultar de utilidad traer a colación las herramientas metodológicas que se han generado alrededor de la regulación de Internet (disciplina conocida como Derecho de Internet o cyberlaw).(46)

En primer lugar, reconocer la oportunidad de abordar la regulación a partir de la unión de los aspectos técnicos y los jurídicos.(47)

En segundo lugar, identificar el valor de la propia tecnología como instrumento de regulación.(48) En esta dirección, al hablar de la inteligencia artificial debemos ser conscientes del carácter regulatorio que tiene la propia tecnología. La tecnología, el código en palabras de Lessig, constituye un elemento importante para la regulación de Internet y, en este momento, de la inteligencia artificial. De este modo, el propio desarrollo tecnológico condicionará el alcance de la normativa reguladora. Como en el caso de Internet, la inteligencia artificial, los algoritmos, está regulada en primera instancia por el código.(49) De este modo, el propio diseño o programación de los algoritmos regulará su alcance.(50)

Lo anterior nos plantea la duda relativa a la naturaleza jurídica que deba reconocerse a la propia tecnología como instrumento de regulación. En otras palabras, debemos considerar si el código de un algoritmo es una norma jurídica. Al respecto, por un lado, debemos tener presente que no todos los algoritmos que utiliza la Administración pública producen efectos jurídicos. Por otro lado, debemos observar que los algoritmos no se agotan con su cumplimiento o uso y algunos de ellos, los que utilizan el aprendizaje automático, pueden llegar a innovar el ordenamiento jurídico al incorporar criterios que no estén explícitamente previstos en la norma. En cualquier caso, debemos advertir que, el procedimiento de elaboración de los algoritmos dista mucho de cumplir con trámites propios del procedimiento de elaboración de los reglamentos y, en particular, como podremos de manifiesto posteriormente, su publicación. Esta es una cuestión compleja que tal vez aquí únicamente podemos dejar apuntada.

En tercer lugar, proponer diversas estrategias para regular el desarrollo tecnológico.(51) Una primera opción es aplicar la regulación vigente a las nuevas aplicaciones de la inteligencia artificial que van surgiendo. Esta opción presenta algunas complicaciones al surgir nuevos problemas que bien no existían, bien no con las mismas características o bien con nuevas características. Una segunda opción consiste en introducir las adaptaciones necesarias en las regulaciones ya existentes para acomodarlas a las nuevas exigencias. Una tercera opción es aprobar nuevas normas para regular las nuevas aplicaciones.(52) Una cuarta opción ha sido la de adoptar regulaciones internacionales que definan un mínimo común denominador sobre cómo afrontar el desarrollo de la inteligencia artificial.(53)

En cuarto lugar, apostar por la autorregulación de la inteligencia artificial, es decir, que los propios actores elaboren y se comprometan a respetar las reglas que establecen (por ejemplo, bajo la fórmula de códigos de buena conducta o de buenas prácticas), asegurando ellos mismos su aplicación. Esta opción puede ser particularmente útil si tenemos en cuenta que el desarrollo de la inteligencia artificial está estrechamente vinculado al impulso y la intervención del sector privado. De hecho, hoy en día los principales avances de la inteligencia artificial se obtienen por grandes multinacionales (por ejemplo, IBM, Google, Facebook o Microsoft) pero también por pequeñas empresas innovadoras que, por sí mismas o de la mano de las universidades -y en ocasiones el apoyo de las instituciones públicas- están interviniendo activamente en su desarrollo. Todo ello puede generar asimetrías informativas ya que las empresas privadas que invierten grandes cantidades de dinero en investigación y desarrollo disponen de mucha más información que los reguladores que tratan de entender dichos desarrollos mientras las instituciones públicas pueden carecer de la información o el conocimiento necesario para regular las aplicaciones de la inteligencia artificial.(54) Las instituciones públicas pueden facilitar la autorregulación.(55) También pueden orientar la conducta de las empresas a través de distintos instrumentos más allá de las normas jurídicas como el nudging o los códigos de conducta.(56)

Las dificultades que existen al regular la inteligencia artificial se ven incrementadas por la incertidumbre sobre cómo se desarrollará en el futuro y sobre cómo este desarrollo incidirá en la sociedad y, en particular desde nuestra perspectiva, en las administraciones públicas.(57) En efecto, la rápida e incierta evolución de la inteligencia artificial exige dotarse de normas que se puedan adaptar rápidamente a los nuevos retos que vayan surgiendo.(58) En primera instancia adquiere un papel importante el principio de precaución.(59) De este modo, las innovaciones que se vayan produciendo pueden ser limitadas o rechazadas hasta que se pueda probar que no van a causar daño a personas, grupos o normas.(60) Asimismo, puede resultar útil recurrir a nuevos instrumentos regulatorios que permitan enfrentarse adecuadamente al desarrollo de la inteligencia artificial. Así, se ha sugerido la utilidad de utilizar entornos supervisados para aplicar experimentalmente la regulación (regulatory sandboxes) donde se pueda experimentar a pequeña escala y de manera empírica con nuevos instrumentos de regulación; utilizar cláusulas derogatorias (sunset clauses) que permitan ir ajustando las regulaciones a la evolución tecnológica o técnicas de regulación anticipada (anticipatory rulemaking techniques). También pueden utilizarse técnicas de evaluación ex ante y ex post que persigan obtener y analizar datos sobre cuándo se debe regular un nuevo desarrollo tecnológico o sobre el impacto de las normas ya vigentes. Asimismo, pueden proponerse instrumentos de soft law ante manifestaciones emergentes de la inteligencia artificial que puedan consolidarse a través de otros instrumentos de regulación de hard law a medida que se vayan desarrollando las tecnologías. (61)

A pesar de todas las opciones que hemos expuesto anteriormente no podemos desconocer las limitaciones que puede tener el derecho para responder a los problemas que puede genera el uso y el desarrollo de la inteligencia artificial.(62) Por ello, desde diferentes sectores se ha puesto de manifiesto la utilidad de recurrir a la ética para poder regular determinados aspectos relativos a la inteligencia artificial. Así lo ha hecho, por ejemplo, el Parlamento Europeo en cuya resolución “estima que es preciso un marco ético claro, estricto y eficiente que oriente el desarrollo, diseño, producción, uso y modificación de los robots, a fin de complementar tanto las recomendaciones jurídicas expuestas en el presente informe como el acervo nacional y de la Unión en vigor”.

De este modo, la ética puede facilitar una respuesta a cuestiones como qué actividades deben ser desarrolladas por personas y qué actividades puede desarrollar un algoritmo; cómo debe comportarse un algoritmo cuando existe una colisión de distintos bienes o derechos (por ejemplo, un coche sin conductor ante un peatón que cruza la calzada de manera inesperada ¿debe proteger en primera instancia al conductor, a los ocupantes del coche, al peatón, al propio coche, a otros bienes materiales en la calzada?) o cómo debe actuar la Administración pública ante una información revelada por un algoritmo a partir del análisis de datos que sea desconocida por las personas afectadas.

Para avanzar en esta dirección, se ha apuntado la oportunidad de aprobar códigos éticos y de conducta o de crear comités éticos.(63) Algunos autores también sugieren que la inteligencia artificial sea supervisada por algoritmos.(64)

III. LA INTELIGENCIA ARTIFICIAL ANTE LOS PRINCIPIOS DE ACTUACIÓN DE LAS ADMINISTRACIONES PÚBLICAS

En las próximas páginas, nos proponemos exponer los retos que la inteligencia artificial está planteando a las administraciones públicas desde el punto de vista jurídico. Para ello, adoptaremos como hilo conductor de nuestro análisis, los principios que deben guiar la actuación de las administraciones públicas.(65)

1. El sometimiento pleno a la Constitución, a la ley y al derecho: evitar sesgos y garantizar el derecho a la intimidad y a no ser objeto a decisiones automatizadas

El uso de la inteligencia artificial en las administraciones públicas puede entrañar riesgos para la seguridad jurídica en la medida en que esta puede verse afectada, por ejemplo, por la evolución que experimente un algoritmo a medida que vaya aprendiendo. En efecto, el hecho de que los algoritmos sean dinámicos y vayan variando a medida que se van perfeccionando con los nuevos datos de que dispone puede poner en entredicho “la expectativa razonablemente fundada del ciudadano en cuál ha de ser la actuación del poder en aplicación del Derecho”.(66)

Asimismo, la extensión de la inteligencia artificial entre las administraciones públicas puede afectar negativamente a los derechos fundamentales de la ciudadanía como la igualdad, la intimidad o la protección de los datos personales.(67)

1.1. La interdicción de la discriminación

El uso de algoritmos puede evitar que las decisiones públicas adoptadas por los cargos y empleados públicos contengan sesgos que generen discriminaciones a una persona o a un colectivo de personas.(68)

Sin embargo, no podemos desconocer que en los últimos años han saltado a los titulares de los medios de comunicación sonados casos de discriminación causados por el uso de algoritmos en diversas aplicaciones en Internet.(69) Estos escándalos no son sino una mediática imagen de uno de los principales riesgos que se han identificado en el uso de la inteligencia artificial en las administraciones públicas cual es el surgimiento de sesgos y, por ende, de discriminaciones siendo este uno de los aspectos relacionados con el uso de la inteligencia artificial que ha ocupado más la atención académica.(70)

Las discriminaciones pueden surgir por los datos utilizados. De hecho, esta es la causa más habitual de discriminación relacionada con el uso de la inteligencia artificial.(71) Los algoritmos son tan precisos como lo sean los datos que manejan y, con frecuencia, los datos no son de calidad, contienen errores o son imperfectos.(72) Así, las discriminaciones pueden existir porque los datos que utilizan los algoritmos son de baja calidad o contienen sesgos.(73) También porqué el peso que se da por los algoritmos a los distintos datos no es adecuado y se perjudica a determinadas personas o colectivos.(74) En otros casos, los algoritmos pueden poner de manifiesto que los datos utilizados respondían a patrones de desigualdad o discriminación preexistentes que de manera consciente o inconsciente se trasladan a los algoritmos.(75) En cualquier caso, si los algoritmos aprenden de datos que están sesgados o reflejan discriminaciones de género, raza o cualquier otra condición, adoptarán decisiones malas o que den lugar a discriminaciones.(76)

Pero los sesgos también pueden estar en los algoritmos.(77) Los sesgos pueden haber sido introducidos, voluntariamente o involuntariamente, por los diseñadores o por los usuarios de los algoritmos.(78) También pueden surgir del aprendizaje que haga un algoritmo a partir de datos sesgados.(79)

La existencia de estos sesgos puede llevar a que las administraciones públicas adopten decisiones discriminatorias.

Para dar respuesta a estos sesgos, que pueden generar discriminaciones, existen distintas opciones como mejorar la calidad de los datos, diseñar algoritmos que tengan particularmente en cuenta las posibles discriminaciones, fomentar la participación de los interesados en las decisiones que se tomen a través de algoritmos y, en general, de la ciudadanía en el diseño de los algoritmos,(80) crear comités de expertos u otros órganos colegiados interdisciplinares en los que se pueda analizar el desarrollo de los algoritmos y, en general, valorar el impacto de la inteligencia artificial en la sociedad,(81) o elaborar análisis de riesgos.(82)

1.2. La protección de los datos personales y de la privacidad

Los algoritmos pueden también afectar negativamente a la protección de los datos personales y a la privacidad de las personas.(83) En particular, a través de la elaboración de perfiles o la toma de decisiones automatizadas, las administraciones públicas pueden emitir actos administrativos que pongan en riesgo la privacidad de las personas o la protección de sus datos personales.(84)

A través de la elaboración de perfiles, las administraciones públicas pueden evaluar aspectos personales de las personas y predecir su comportamiento (por ejemplo, situación económica, salud, preferencias personales o intereses).(85)

Sin poder profundizar en aquí sobre este complejo aspecto, sí podemos recordar que el Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/CE (Reglamento general de protección de datos), ha tratado de poner límite a este tratamiento de datos personales reconociendo a los afectados un derecho de información y de acceso además del derecho a no ser objeto de una decisión automatizada.(86)

1.3. El servicio efectivo y la proximidad a los ciudadanos: la personalización y la prestación proactiva de los servicios públicos

La inteligencia artificial puede contribuir significativamente a la personalización y la prestación proactiva de los servicios públicos y reducir significativamente algunas de las principales barreras que tradicionalmente han dificultado este proceso no siendo la masificación un obstáculo.(87)

La personalización de los servicios públicos consiste en su adaptación a las necesidades de las personas. La prestación proactiva persigue anticipar la prestación de los servicios a la solicitud que pueda realizar el usuario o persona interesada. La personalización y la anticipación están estrechamente relacionadas y constituyen dos de los principales mecanismos identificados para la innovación de los servicios públicos.(88)

Tanto la personalización como la prestación proactiva de los servicios públicos se basan en el análisis de datos a través de algoritmos. En unos casos, el análisis de las grandes cantidades de datos en poder de las administraciones públicas relativos a los servicios que presta permite identificar patrones de comportamiento y pautas de conducta cuyo conocimiento ha de poder permitir a las administraciones públicas personalizar la prestación de los servicios a las necesidades y circunstancias de sus destinatarios.(89) En otros casos, el análisis de los datos de una persona disponibles y dispersos en una o diversas administraciones públicas, sobre la base del conocimiento adquirido del comportamiento de otros conciudadanos, permite anticipar sus necesidades y de manera proactiva prestarle u ofrecerle la prestación de un determinado servicio público. De este modo, se pueden iniciar de oficio procedimientos para la obtención de ayudas o subvenciones, para la obtención de autorizaciones o para la liquidación de impuestos.

Para avanzar en esta dirección, es necesario garantizar los derechos de los interesados y, en particular, a conocer el estado de la tramitación de los procedimientos en los que tengan la condición de interesados y a obtener información y orientación acerca de los requisitos jurídicos o técnicos que pueden verse afectados por la tramitación proactiva de los procedimientos administrativos.(90)

1.4. La transparencia y la claridad: abriendo las cajas negras

La transparencia es unos de los principios de actuación de las administraciones públicas que ha adquirido un mayor reconocimiento y que está teniendo un mayor impacto en el proceso de transformación de las administraciones públicas en los últimos años.

La transparencia consiste en el conocimiento por parte de la ciudadanía de lo que sucede en el seno de las administraciones públicas, sobre las decisiones que toman, por qué las tomas y cómo las toman. La transparencia se concreta en el acceso a la información pública por parte de la ciudadanía que se puede canalizar a través de distintos mecanismos como la difusión proactiva de la información a través de portales de transparencia o el ejercicio del derecho de acceso a la información pública.

Como principio de actuación de las administraciones públicas, la transparencia debe guiar el uso de la inteligencia artificial en las administraciones públicas.(91)

Sin embargo, el uso de la inteligencia artificial puede constituir un obstáculo o un límite a la transparencia. En esta dirección, en los últimos años numerosos autores han advertido que la opacidad de los algoritmos es la norma en las administraciones públicas.(92) De hecho, como hemos comentado anteriormente, es habitual referirse a los algoritmos como cajas negras.(93)

La opacidad de los algoritmos puede responder a distintas causas que dificultan el acceso o la comprensión de los algoritmos.(94)

La opacidad de los algoritmos puede ser el resultado de la falta de acceso a la información. Esta opacidad está causada en muchos casos por la inexistencia de información accesible sobre los algoritmos. En efecto, la mayoría de las administraciones públicas no formalizan la decisión de utilizar un algoritmo. Tampoco documentan las finalidades ni las fuentes o los resultados obtenidos a través de los algoritmos.

La opacidad de los algoritmos también puede ser el resultado de la falta de comprensión de los algoritmos. El acceso a los algoritmos es una condición necesaria pero no suficiente para lograr su transparencia en la medida en que con frecuencia el acceso al código puede resultar de nula utilidad para la ciudadanía ante su incapacidad para comprender su contenido.(95) Esta dificultad es más habitual en los algoritmos más complejos, basados en el aprendizaje automático y en la mejora continua, cuando es técnicamente casi imposible saber qué datos tiene en cuenta un algoritmo para producir un determinado resultado.(96) Sin embargo, no es imposible aunque sí puede ser muy costoso.(97) Para facilitar la comprensión del funcionamiento de los algoritmos, sus diseñadores pueden utilizar lenguajes y procedimientos de programación que faciliten su análisis.(98)

En última instancia, la opacidad de los algoritmos responde en ocasiones a la voluntad de proteger su contenido por el interés de sus diseñadores de proteger secretos empresariales o mantener una ventaja competitiva respecto a sus competidores,(99) o por la voluntad de las administraciones públicas de evitar que el conocimiento por parte de los destinatarios de las decisiones tomadas a través de algoritmos les permita eludir su aplicación(100) o de garantizar la confidencialidad o el secreto del proceso de toma de decisión.(101)

Para dar respuesta a la opacidad de los algoritmos se pueden utilizar distintos mecanismos con los que fortalecer la transparencia del uso de la inteligencia artificial en las administraciones públicas

En primer lugar, las administraciones pueden utilizar programario abierto o declararlo de fuentes abiertas.(102) En segundo lugar, las administraciones públicas pueden facilitar el ejercicio del derecho de acceso respecto al contenido de los algoritmos. Al respecto, no podemos desconocer que los algoritmos utilizados por las administraciones públicas son información pública accesible por cualquier persona.(103) En tercer lugar, las administraciones públicas pueden formalizar y documentar la decisión de utilizar la inteligencia artificial (finalidades, recursos, resultados, etc.).(104) En cuarto lugar, las administraciones públicas pueden facilitar una explicación sobre el funcionamiento de los algoritmos y una motivación de los resultados obtenidos.(105) En quinto lugar, las administraciones públicas pueden realizar auditorías que permitan conocer el funcionamiento real de los algoritmos.(106)

2. La racionalización y agilidad de los procedimientos administrativos y de las actividades materiales de gestión: La toma de decisiones públicas por algoritmos

Las administraciones públicas pueden utilizar la inteligencia artificial para racionalizar y agilizar la tramitación del procedimiento administrativo.

La inteligencia artificial puede contribuir a la racionalizar y agilizar la fase de inicio a través de la personalización y la proactividad a las que se ha hecho referencia anteriormente. Así, a partir de los datos disponibles en la Administración pública, esta de oficio puede iniciar el procedimiento. Asimismo, la inteligencia artificial puede ser utilizada para la emisión de informes que pueden haber sido generados por algoritmos a partir de los datos que estén en poder de un determinado órgano.(107) La inteligencia artificial también puede contribuir a la adopción de resoluciones de mayor calidad basadas en un análisis exhaustivo y completo de todos los datos a disposición de la Administración pública y a la vista de los precedentes existentes.

Es evidente que el uso de la inteligencia artificial puede reducir el tiempo necesario para culminar estos trámites y también, en ocasiones, reducir los recursos necesarios para llevarlos a cabo, como pondremos de manifiesto en el próximo apartado. También puede agilizar el análisis de los datos que se recaben a lo largo del procedimiento.

Pero al mismo tiempo la automatización de estos trámites puede poner en entredicho los derechos de los interesados en el procedimiento administrativo. En particular, el uso de la inteligencia artificial en el procedimiento administrativo puede tener un impacto negativo más acentuado en todos aquellos trámites de la instrucción a través de los que se incorporan en el procedimiento administrativo los intereses de los interesados a través de la audiencia, o las visiones de terceras personas, a través de la información pública o la emisión de informes.(108)

Desde un punto de vista general, la inteligencia artificial puede facilitar la adopción de actos reglados y, en general, en aquellas decisiones públicas basadas en la evidencia.(109) Sin embargo, el uso de la inteligencia artificial puede tener un impacto distinto cuando la Administración pública tiene atribuida una potestad discrecional con la que debe llevar a cabo una valoración o una ponderación de distintos derechos, bienes o intereses.(110) Cuanto mayor sea el grado de discrecionalidad más difícil será el uso de la inteligencia artificial por la dificultad de reproducir a través de la inteligencia artificial los procesos cognitivos y volitivos que desarrolla el empleado público en el ejercicio de estas potestades.(111) Por ello, en estos casos, la sustitución de los empleados públicos por algoritmos puede presentar algunas limitaciones al ser estos incapaces, por el momento, de llevar a cabo adecuadamente la ponderación o valoración de los distintos intereses en juego.(112)

En cualquier caso, la incorporación de la inteligencia artificial en la tramitación del procedimiento administrativo y, en general, en los procesos de toma de decisiones públicas puede revolucionar la manera cómo se toman las decisiones en las administraciones públicas alcanzando cada vez un papel más importante y pudiendo llegar a desplazar la intervención humana.(113)

Sin embargo, estos cambios no encuentran un fácil acomodo en la regulación vigente del procedimiento administrativo. En cierta manera, estas limitaciones responden al concepto de procedimiento administrativo que recoge la LPACAP que sigue anclado en la tradición administrativa del siglo XX cuando el proceso de toma de decisiones públicas respondía a otros parámetros. En la actualidad, la información a disposición de las administraciones públicas para la toma de decisiones es mayor, más compleja y dispersa y las capacidades de análisis son muy distintas.(114)

Para avanzar en esta dirección, sin que ello suponga desconocer los principios que rigen el procedimiento administrativo, es necesario adoptar algunas medidas previstas al regular la actuación administrativa automatizada, es decir, cualquier acto o actuación realizada íntegramente a través de medios electrónicos por una Administración Pública en el marco de un procedimiento administrativo y en la que no haya intervenido de forma directa un empleado público.(115)

A nuestro entender, cuando la LRJSP define la actuación administrativa automatizada parece que está pensando en la automatización de la realización de determinados actos de trámite más que en el uso de la inteligencia artificial.(116) Sin embargo, en aras a una mayor seguridad jurídica y transparencia, podría ser oportuno extender los criterios que exige la LRJSP por lo que se refiere a la actuación administrativa automatizada respecto a cualquier uso de la inteligencia artificial en la tramitación del procedimiento administrativo.(117)

Precisamente este último aspecto tiene una importancia significativa que ha de permitir garantizar el ejercicio de la competencia por el órgano que la tiene atribuida lo que se traduce en que su titular debe tener la capacidad efectiva de supervisar el funcionamiento de los algoritmos.(118) No obstante, como hemos puesto de manifiesto anteriormente con frecuencia los titulares del órgano no tendrán dicha capacidad bien porque no tienen acceso, bien porque no pueden comprender su contenido.

Frente a esta situación deberían impulsarse nuevos mecanismos que lo faciliten. En esta dirección, se podría promover la atribución de estas funciones de supervisión a una agencia independiente o la exigencia en los pliegos de cláusulas de una mínima explicación sobre el contenido del algoritmo o de certificaciones para garantizar la capacidad de supervisión por parte del titular del órgano.

En cualquier caso, tanto si el algoritmo es diseñado por los servicios técnicos de una Administración pública como por una empresa externa, los diseñadores de los algoritmos pueden acabar asumiendo la función de traducir las normas reguladoras de los procedimientos administrativos en algoritmos.(119) Este proceso puede suponer el ejercicio de la potestad discrecional por quien no la tiene atribuida al concretar en instrucciones claras y precisas para los ordenadores lo previsto en la norma.

Finalmente, a pesar de los beneficios que el uso de la inteligencia artificial puede entrañar en el proceso de toma de decisiones, ello no quiere decir que se deba automatizar en cualquier caso.(120) Por ello las administraciones públicas deberían llevar a cabo un proceso reflexionado en el que se identifique la oportunidad de que decisiones que a priori el legislador ha previsto que sean tomadas por personas se adopten mediante inteligencia artificial, se determinen las finalidades del uso de la inteligencia artificial y se valoren los riesgos que puede entrañar.(121) En esta decisión también debería facilitarse la participación ciudadana.(122)

3. La eficiencia en la asignación y utilización de los recursos públicos: El impacto de la robótica y la inteligencia artificial en el empleo público

La eficiencia consiste en el uso óptimo de los recursos públicos para la consecución de los fines previstos. La eficiencia se puede concretar en las administraciones públicas en aspectos tan diversos como la minimización del gasto público, la productividad de los empleados públicos o la celeridad del procedimiento.(123) También en el uso de la inteligencia artificial que puede permitir conseguir los objetivos públicos con el uso de menos recursos y, en particular, con la participación de menos empleados públicos.

Precisamente, un aspecto estrechamente vinculado al uso de la inteligencia artificial en las administraciones públicas es el relativo al impacto que su extensión puede tener en el empleo público.(124) De hecho, esta es una cuestión que trasciende las puertas de las oficinas públicas siendo una preocupación que está generando importantes debates a nivel político, económico y social.(125)

Desde una perspectiva general, diversos estudios señalan que el 47% de los trabajos actuales están en alto riesgo de ser automatizados en los próximos 10 o 20 años.(126) Este proceso no sólo se producirá en relación a tareas rutinarias sino también respecto a otras que no lo sean tal y como hemos podido ir observando.

En la administración pública también puede producirse la desaparición de numerosos puestos de trabajo vinculados a áreas de la actividad pública como el transporte, la seguridad, la salud o los servicios sociales. También se pueden ver afectados otros puestos de trabajo de perfil auxiliar, administrativo y técnico.(127)

En particular, por lo que respecta a las profesiones jurídicas, distintos informes han identificado el impacto que el uso de la inteligencia artificial tendrá en ellas.(128) Este impacto será elevado a la vista de que una parte importante de las tareas que llevan a cabo los juristas son muy rutinarias.(129) Ello ha facilitado que las aplicaciones de la inteligencia artificial en el ámbito jurídico se hayan disparado en los últimos años.(130) En el ámbito jurídico, la inteligencia artificial ya se está utilizando para identificar documentos (sentencias, normas, cláusulas contractuales, etc.), revisar o analizar documentos para identificar derechos y obligaciones o riesgos o para predecir resultados de procesos judiciales.(131) También para dar apoyo a los jueces en la toma de decisiones.(132)

Sin embargo, frente a estos estudios e informes debe tenerse en cuenta que la extensión de la inteligencia artificial en las administraciones públicas no se traducirá necesariamente en un menor empleo público pero en todo caso sí exigirá el fortalecimiento de determinados perfiles profesionales que tengan altas competencias en aquellas tareas en las que la inteligencia artificial tiene mayores dificultades para desarrollarse (empatía, creatividad, inteligencia emocional y social, negociación).(133) Asimismo, también requerirá que surjan nuevos empleados públicos que desde diferentes ámbitos puedan trabajar en el nuevo entorno (desde informáticos e ingenieros hasta juristas o economistas con amplios conocimientos en materia de inteligencia artificial).(134)

4. La responsabilidad por la gestión

La responsabilidad por la gestión se manifiesta ante el uso de la inteligencia artificial en las administraciones públicas a través de tres mecanismos: la rendición de cuentas, el control del uso de la inteligencia artificial y, en última instancia, la indemnización de los daños causados por el uso de los algoritmos por las administraciones públicas.

4.1. La rendición de cuentas por el uso de la inteligencia artificial en las administraciones públicas

A través de la rendición de cuentas las administraciones públicas justifican la incorporación de la inteligencia artificial y explican cómo funciona, qué datos utilizan y qué resultados se esperan.(135) Todo ello puede contribuir a la detección de errores y sesgos y, en última instancia, a fortalecer la confianza ciudadana en la Administración pública.(136) Las administraciones públicas también deben rendir cuentas de las decisiones que se toman a través del uso de los algoritmos motivándolas.

A medida que se amplía el uso de la inteligencia artificial en las administraciones públicas se extienden las reclamaciones de mayor rendición de cuentas.(137) No obstante, los mecanismos que tradicionalmente se utilizan para la rendición de cuentas, pueden presentar limitaciones cuando las decisiones son tomadas por algoritmos.(138)

La rendición de cuentas de los algoritmos se puede realizar a través de la difusión de información.(139) Asimismo, la rendición de cuentas se puede llevar a cabo a través de la motivación de las decisiones adoptadas utilizando inteligencia artificial.(140) Finalmente, la rendición de cuentas también se puede realizar a través de la auditoria de los algoritmos.(141)

4.2. El control del uso de la inteligencia artificial en las administraciones públicas

El control de la actividad realizada por los algoritmos es uno de los principales retos que plantea el uso de la inteligencia artificial en las administraciones públicas por las dificultades que pueden existir para poder supervisar el diseño y el funcionamiento de los algoritmos. Como sabemos, esta dificultad puede deberse tanto a la falta de transparencia como a la falta de comprensión de los algoritmos. Para dar respuesta a estas dificultades, las administraciones públicas podrían impulsar la creación de agencias independientes que asumiesen la función de supervisión de los algoritmos utilizados por las administraciones públicas.(142) También podrían contar con la colaboración de entidades de auditoría que llevasen a cabo el análisis de los algoritmos.

Finalmente, no podemos desconocer que la inteligencia artificial puede ser una tecnología útil al servicio de los órganos de control. Asimismo, la inteligencia artificial puede ser utilizada como instrumento para facilitar el control de las administraciones públicas así como la resolución de controversias con las administraciones públicas.(143)

4.3. La responsabilidad patrimonial por el uso de la inteligencia artificial en las administraciones públicas

Finalmente, un tercer aspecto relacionado con la responsabilidad por la gestión es la responsabilidad por los daños generados por el uso de la inteligencia artificial en las administraciones públicas.

El tema de la responsabilidad por los daños generados por la inteligencia artificial y, en particular, por los robots es uno de los que está generando mayor preocupación entre los juristas que están tratando estas cuestiones sobre todo desde la perspectiva del derecho privado. Sin embargo, tal vez no genera los mismos problemas desde la perspectiva de las administraciones públicas en la medida en que el régimen objetivo de responsabilidad patrimonial no tiene en cuenta el hecho de que la actuación de la administración haya sido tomada por un cargo empleado público o por un algoritmo o un robot.(144)

Sin embargo, el régimen de responsabilidad patrimonial no está exento de problemas en su aplicación cuando se utiliza la inteligencia artificial que en esta ocasión únicamente podemos apuntar. Por un lado, cuando los daños generados por los algoritmos no se hubiesen podido prever o evitar según el estado de los conocimientos de la ciencia o de la técnica existentes en el momento de su producción.(145) Por otro, cuando pueda existir una concurrencia de causas, por ejemplo, cuando el algoritmo o el robot no haya sido diseñado por la propia Administración pública sino por un tercero.(146)

En la actualidad, los algoritmos y los robots no pueden ser responsables por los daños que causen.(147) Otra cosa son los diseñadores, propietarios o usuarios que lo podrán ser en la medida en que se acredite una relación entre su comportamiento y el daño causado.

Sin embargo, a medida que los algoritmos y, en particular, los robots van adquiriendo mayor autonomía a partir del aprendizaje automático se va produciendo un hiato entre el diseño inicial y las acciones desarrolladas lo que genera problemas desde el punto de vista de la imputación.(148) Como pone de manifiesto Ebers, “a partir de un determinado grado de automatización ya no resulta posible afirmar con seguridad si las acciones que a través de un sistema así se desencadenan provienen del usuario de dicho sistema y le son imputables”.(149) De todos modos, no podemos desconocer que este aprendizaje no es absoluto sino que se produce en el marco de los objetivos fijados por el diseñador del algoritmo y está fuertemente condicionado por el entorno en el que se produce que proporciona los datos a través de los que se produce el aprendizaje.

En este punto surge la duda de quién debe indemnizar por los daños y perjuicios producidos por un robot que goza de un alto grado de autonomía: el diseñador, el fabricante, el usuario o, en última instancia, la propia víctima del daño.(150)

El Real Decreto Legislativo 1/2007, de 16 de noviembre, por el que se aprueba el texto refundido de la Ley General para la Defensa de los Consumidores y Usuarios y otras leyes complementarias, norma de transposición de la Directiva 85/374/CEE del Consejo, de 25 de julio de 1985, relativa a la aproximación de las disposiciones legales, reglamentarias y administrativas de los Estados Miembros en materia de responsabilidad por los daños causados por productos defectuosos, dispone que productores serán responsables de los daños causados por los defectos de los productos que fabriquen es decir, cuando no ofrezcan la seguridad que cabría legítimamente esperar, teniendo en cuenta todas las circunstancias y, especialmente, su presentación, el uso razonablemente previsible del mismo y el momento de su puesta en circulación.(151) Esta responsabilidad podrá reducirse o suprimirse en función de las circunstancias del caso, si el daño causado fuera debido conjuntamente a un defecto del producto y a culpa del perjudicado o de una persona de la que éste deba responder civilmente.(152) Asimismo, el proveedor del producto defectuoso responderá, como si fuera el productor, cuando haya suministrado el producto a sabiendas de la existencia del defecto.(153)

Todo ello genera nuevas las preguntas cuya respuesta se ve dificultada, entre otros aspectos, por la opacidad -de acceso y de comprensión- propia de muchos algoritmos a la que hemos aludido anteriormente. En última instancia, debido a la complejidad y el dinamismo de los algoritmos, resulta difícil sino imposible determinar si un daño provocado por un algoritmo proviene de un error en el diseño del algoritmo, del aprendizaje que ha hecho, de un uso incorrecto del usuario o de los datos que se le han suministrado o que ha utilizado.

Para facilitar la resolución de todas estas cuestiones, desde distintas instancias se ha propuesto reconocer cierta personalidad jurídica a los robots que les permitan hacer frente a los daños causados.(154) Como señala Ebers, “la protección jurídica de la persona mecánica se construiría mediante una representación procesal, pudiendo ser solucionadas las cuestiones de responsabilidad a través de un fondo o un sistema de seguro obligatorio”.(155) Ello exigiría un sistema de registro en el que se debieran inscribir los robots a los efectos de poder ser localizados.(156)

IV. REFLEXIONES FINALES

A lo largo de estas páginas hemos tenido ocasión de exponer las oportunidades que la inteligencia artificial ofrece a las administraciones públicas. También hemos podido plantear brevemente los principales retos y problemas que el uso de la inteligencia artificial en las administraciones públicas genera al Derecho administrativo.

A la vista de todo ello, podemos concluir que, en el estadio actual del desarrollo de la inteligencia artificial, esta no está minando las bases del Derecho administrativo ni tampoco exigiendo una transformación de sus instituciones. Hasta donde ha llegado nuestra investigación, no hemos podido identificar la necesidad de construir nuevos conceptos jurídicos con los que dar respuesta desde el Derecho administrativo al uso de la inteligencia artificial en las administraciones públicas, aunque algunos de ellos exigen una relectura a la vista de los últimos avances tecnológicos.

No obstante, tal y como hemos podido constatar, por el momento, la inteligencia artificial sí está tensionando algunos principios que guían la actuación de las administraciones públicas. Ello exige impulsar nuevos mecanismos para garantizar estos principios que, a lo largo de estas páginas, sólo hemos podido apuntar y que requieren un análisis más detallado y profundo.

En cualquier caso, a nuestro entender para poder avanzar en la incorporación de la inteligencia artificial en las administraciones públicas y valorar adecuadamente su impacto en el Derecho administrativo resulta necesario emprender un debate interdisciplinar sobre el papel que la inteligencia artificial debe tener en nuestras administraciones públicas que oriente las decisiones que se tomen al respecto.

De este modo, el proceso de incorporación de la inteligencia artificial en las administraciones públicas será el resultado de un análisis reflexivo, documentado y participativo sobre sus finalidades, beneficios y riesgos en el que se identifiquen las medidas a adoptar para hacerles frente y no de una nueva moda que llama a la puerta de nuestras administraciones públicas.(157)

V. REFERENCIAS BIBLIOGRÁFICAS

Abogacía General del Estado. (2015). Manual de responsabilidad pública. Cizur Menor: Aranzadi.

Accenture. (2018). Country Spolights. Why Artificial Intelligence is the Future of Growth.

Al-Sai, Z. A., & Abualigah, L. M. (2017). Big data and E-government: A review. Paper presented at the Information Technology (ICIT), 2017 8th International Conference on.

Alamillo Domingo, I. (2017). La regulación de la tecnología: La superación del modelo papel como elemento de transformación digital innovadora. En I. Martín Delgado (Ed.), La reforma de la administración electrónica: una oportunidad para la innovación desde el derecho (pp. 79-130). Madrid Instituto Nacional de Administración Pública.

Alamillo Domingo, I., & Urios Aparisi, X. (2011). L'actuació administrativa automatitzada en l'àmbit de les administracions públiques. Anàlisi jurídica i metodològica per a la construcció i explotació de tràmits automàtics. Barcelona: Escola d'Administració Pública de Catalunya.

Alguacil Sanz, M. (2017). Islas de conocimiento en un océano de datos. Archivamos: Boletín ACAL, 104, 41-43.

Armstrong, S., Sotala, K., & ÓhÉigeartaigh, S. S. (2014). The errors, insights and lessons of famous AI predictions–and what they mean for the future. Journal of Experimental & Theoretical Artificial Intelligence, 26(3), 317-342.

Asimov, I. (1942). El círculo vicioso.

Asís Roig, R. d. (2018). Robótica, inteligencia artificial y derecho. Revista de privacidad y derecho digital, 3(10), 27-77.

Balkin, J. M. (2015). The Path of Robotics Law. California Law Review Circuit, 6, 45-60.

Barocas, S., Hood, S., & Ziewitz, M. (2013). Governing algorithms: A provocation piece. Paper presented at the Governing Algorithms, New York.

Barocas, S., & Selbst, A. D. (2016). Big data's disparate impact. California Law Review, 104, 671-732.

Barrio Andrés, M. (2018a). Del derecho de Internet al derecho de los robots. En M. Barrio Andrés (Ed.), Derecho de los robots (pp. 61-86). Madrid: La Ley-Wolters Kluwer.

Barrio Andrés, M. (2018b). Presentación. En M. Barrio Andrés (Ed.), Derecho de los robots (pp. 17-19). Madrid: La Ley-Wolters Kluwer.

Benítez, R., Escudero, G., Kanaan, S., & Masip Rodó, D. (2013). Inteligencia artificial avanzada. Barcelona: EdiUOC.

Bertot, J., Estevez, E., & Janowski, T. (2016). Universal and contextualized public services: Digital public service innovation framework. Government Information Quarterly, 33(2), 211–222.

Binns, R. (2017). Algorithmic Accountability and Public Reason. Philosophy & Technology, 1-14.

Boden, M., Bryson, J., Caldwell, D., Dautenhahn, K., Edwards, L., Kember, S., . . . Rodden, T. (2017). Principles of robotics: regulating robots in the real world. Connection Science, 29(2), 124-129.

Boyd, D., & Crawford, K. (2011). Six provocations for big data. Paper presented at the A decade in internet time: Symposium on the dynamics of the internet and society.

Brauneis, R., & Goodman, E. P. (2017). Algorithmic Transparency for the Smart City. Yale Journal of Law & Technology.

Broussard, M. (2018). Artificial Unintelligence. How computers misunderstand the world. Cambridge, MA: The MIT Press.

Burrell, J. (2016). How the machine ‘thinks’: Understanding opacity in machine learning algorithms. Big Data & Society, 3(1), 2053951715622512. doi:10.1177/2053951715622512

Calo, R. (2015). Robotics and the Lessons of Cyberlaw. California Law Review, 103, 513-563.

Castillo Blanco, F. A. (2017). Seguridad jurídica y manifestaciones conexas. En E. Gamero Casado, S. Fernández Ramos, & J. Valero Torrijos (Eds.), Tratado sobre Procedimiento administrativo Común y Régimen Jurídico del Sector Público (pp. 305-374). Valencia: Tirant lo Blanch.

Cath, C., Wachter, S., Mittelstadt, B., Taddeo, M., & Floridi, L. (2018). Artificial Intelligence and the ‘Good Society’: the US, EU, and UK approach. Science and Engineering Ethics, 24(2), 505-528. doi:10.1007/s11948-017-9901-7

Cerrillo i Martínez, A. (2012). El uso de los medios electrónicos en la tramitación del procedimiento administrativo. En J. Tornos i Mas (Ed.), La Ley 26/2010, del 3 de agosto, de régimen jurídico y de procedimiento de las administraciones públicas de Cataluña. Madrid: Iustel.

Cerrillo i Martínez, A. (2018). Datos masivos y datos abiertos para una gobernanza inteligente. El profesional de la información, 27(5), 1128-1135.

Christin, A., Rosenblat, A., & Boyd, D. (2015). Courts and predictive algorithms. Data & CivilRight.

Cierco Seira, C. (2004). El principio de precaución: reflexiones sobre su contenido y alcance en los Derechos comunitario y español. Revista de Administración Pública, 163, 73-126.

Citron, D. K. (2007). Technological due process. Washington University Law Review, 85, 1249-1313.

Citron, D. K., & Pasquale, F. (2014). The scored society: due process for automated predictions. Washington Law Review, 89, 1-33.

Coglianese, C., & Lehr, D. (2017). Regulating by Robot: Administrative Decision Making in the Machine-Learning Era. The Georgetown Law Journal, 105, 1147-1223.

Comisión Europea. (2018). Comunicación de la Comisión al Consejo, el Parlamento Europeo, el Comité Económico y Social y el Comité de las Regiones Inteligencia artificial para Europa COM(2018) 237 final.

Commission Nationale de l’Informatique et des Libertés. (2017). How can humans keep the upper hand? The ethical matters raised by algorithms and artificial intelligence.

Conseil d'Etat. (2014). Le numérique et les droits fondamentaux. Paris: Conseil d'Etat.

Consultative committee of the Convention for the protection of individuals with regard to automatic processing of personal data. (2018). Report on Artificial Intelligence. Artificial Intelligence and Data Protection: Challenges and Possible Remedies.

Crawford, K., & Schultz, J. (2014). Big data and due process: Toward a framework to redress predictive privacy harms. Boston College Law Review, 55, 93-128.

Darnaculleta i Gardella, M. M. (2010). La recepción y desarrollo de los conceptos y fórmulas de la regulación. El debate en la República Federal Alemana. En S. Muñoz Machado (Ed.), Derecho de la regulación económica (Vol. 1, pp. 349-386). Madrid: Iustel.

De Laat, P. B. (2017). Algorithmic Decision-Making Based on Machine Learning from Big Data: Can Transparency Restore Accountability? Philosophy & Technology, 1-17.

Deloitte. (2018). Artificial Intelligence Innovation Report.

Diakopoulos, N. (2014). Algorithmic-Accountability: the investigation of Black Boxes. Tow Center for Digital Journalism.

Diakopoulos, N. (2016). Accountability in algorithmic decision making. Communications of the ACM, 59(2), 56–62.

Doménech Pascual, G. (2006). Derechos fundamentales y riesgos tecnológicos. El derecho del ciudadano a ser protegido por los poderes públicos. Madrid: Centro de Estudios Políticos y Constitucionales.

Doshi-Velez, F., & Kortz, M. (2017). Accountability of AI Under the Law: The Role of Explanation.

Ebers, M. (2016). La utilización de agentes electrónicos inteligentes en el tráfico jurídico : ¿Necesitamos reglas especiales en el Derecho de la responsabilidad civil? Indret: Revista para el Análisis del Derecho, 3.

Edwards, L., & Veale, M. (2017). Slave to the Algorithm: Why a Right to an Explanation Is Probably Not the Remedy You Are Looking for. Duke Law & Technology Review, 16, 18-84.

Eggers, W. D., & Hurst, S. (2017). Delivering the digital state. What if state government services worked like Amazon? Deloitte Insights.

Eggers, W. D., Schatsky, D., & Viechnicki, P. (2018). AI-augmented government. Using cognitive technologies to redesign public sector work.

Esteve Pardo, J. (2002). Autorregulación. Génesis y efectos. Cizur Menor: Aranzadi.

Esteve Pardo, J. (2010). El encuadre de la regulación de la economía en la sistemática del derecho público Derecho de la regulación económica (Vol. 1, pp. 387-405). Madrid: Iustel.

Etzioni, A., & Etzioni, O. (2016a). Designing AI Systems that Obey Our Laws and Values. Communications of the ACM, 59, 29-31.

Etzioni, A., & Etzioni, O. (2016b). Keeping AI legal. Vanderbilt Journal of Entertainment & Technology Law, 19, 133.

Executive Office of the President. (2014). Big Data: Seizing Opportunities, Preserving Values.

Executive Office of the President National Science, & Technology Council Committee on Technology. (2016). Preparing for the Future of Artificial Intelligence.

Federal Financial Supervisory Authority. (2018). Big data meets artificial intelligence. Challenges and implications for the supervision and regulation of financial services.

Federal Trade Commission. (2016). Big Data. A Tool for Inclusion or Exclusion?

Fink, K. (2017). Opening the government’s black boxes: freedom of information and algorithmic accountability. Information, Communication & Society, 1-19.

Frey, C. B., & Osborne, M. A. (2017). The future of employment: how susceptible are jobs to computerisation? Technological forecasting and social change, 114, 254-280.

García-Prieto Cuesta, J. (2018). ¿Qué es un robot? En M. Barrio Andrés (Ed.), Derecho de los robots (pp. 25-60). Madrid: La Ley-Wolters Kluwer.

Geiger, R. S. (2017). Beyond opening up the black box: Investigating the role of algorithmic systems in Wikipedian organizational culture. Big Data & Society, 4(2), 2053951717730735. doi:10.1177/2053951717730735

Gil González, E. (2017). Aproximación al estudio de las decisiones automatizadas en el seno del Reglamento General Europeo de Protección de Datos a la luz de las tecnologías big data y de aprendizaje computacional. Revista española de la transparencia, 5, 165-179.

Guihot, M., Matthew, A. F., & Suzor, N. (2017). Nudging Robots: Innovative Solutions to Regulate Artificial Intelligence.

Hill, R. K. (2016). What an algorithm is. Philosophy & Technology, 29(1), 35-59.

Holder, C., Khurana, V., Harrison, F., & Jacobs, L. (2016). Robotics and law: Key legal and regulatory implications of the robotics age (Part I of II). Computer Law & Security Review, 32(3), 383-402. doi:https://doi.org/10.1016/j.clsr.2016.03.001

House of Commons. (2016a). The big data dilemma.

House of Commons. (2016b). Robotics and artificial intelligence.

IBM Center for The Business of Government. (2018). Delivering Artificial Intelligence in Government: Challenges and Opportunities.

International Privacy Conference. (2016). Artificial Intelligence, Robotics, Privacy and Data Protection.

Kaplan, J. (2017). Inteligencia artificial. Lo que todo el mundo debe saber. Zaragoza: Teell.

Kroll, J. A., Barocas, S., Felten, E. W., Reidenberg, J. R., Robinson, D. G., & Yu, H. (2017). Accountable algorithms. University of Pennsylvania Law Review, 165, 633-705.

Kwon, O., Lee, N., & Shin, B. (2014). Data quality management, data usage experience and acquisition intention of big data analytics. International Journal of Information Management, 34(3), 387–394.

Leenes, R., & Lucivero, F. (2014). Laws on Robots, Laws by Robots, Laws in Robots: Regulating Robot Behaviour by Design. Law, Innovation and Technology, 6(2), 193-220. doi:10.5235/17579961.6.2.193

Lehr, D., & Ohm, P. (2017). Playing with the Data: What Legal Scholars Should Learn About Machine Learning. University of California Davies Law Review, 51, 653-716.

Lepri, B., Oliver, N., Letouzé, E., Pentland, A., & Vinck, P. (2017). Fair, Transparent, and Accountable Algorithmic Decision-making Processes. Philosophy & Technology, 1-17.

Lodder, A. R., & Zeleznikow, J. (2012). Artificial intelligence and online dispute resolution.

López Menudo, F. (1992). Los principios generales del procedimiento administrativo. Revista de Administración Pública, 129, 19-76.

Maciejewski, M. (2017). To do more, better, faster and more cheaply: using big data in public administration. International Review of Administrative Sciences, 83(1_suppl), 120-135. doi:10.1177/0020852316640058

Mantelero, A. (2018). AI and Big Data: A blueprint for a human rights, social and ethical impact assessment. Computer Law & Security Review, 34(4), 754-772. doi:https://doi.org/10.1016/j.clsr.2018.05.017

Markoff, J. (2011, 4/3/2011). Armies of Expensive Lawyers, Replaced by Cheaper Software. The New York Times. Retrieved from https://www.nytimes.com/2011/03/05/science/05legal.html

Martín Delgado, I. (2009). Naturaleza, concepto y régimen jurídico de la actuación administrativa automatizada. Revista de Administración Pública, 180, 353-386.

Mateo Borge, I. (2017). La robótica y la inteligencia artificial en la prestación de servicios jurídicos. En S. Navas Navarro (Ed.), Inteligencia artificial. Tecnología Derecho (pp. 123-150). Valencia: Tirant lo Blanch.

Mayer-Schönberger, V., & Cukier, K. (2013). Big data. La revolución de los datos masivos (Vol. Turner): Madrid.

McGinnis, J. O., & Pearce, R. G. (2013). The great disruption: How machine intelligence will transform the role of lawyers in the delivery of legal services. Fordham Law Review, 82(6), 3041.

McKinsey Global Institute. (2011). Big data: The next frontier for innovation, competition, and productivity.

Mercader Uguina, J. R. (2017). El futuro del trabajo en la era de la digitalización y la robótica. València: Tirant lo Blanch.

Mittelstadt, B. D., Allo, P., Taddeo, M., Wachter, S., & Floridi, L. (2016). The ethics of algorithms: Mapping the debate. Big Data & Society, 3(2), 2053951716679679. doi:10.1177/2053951716679679

Müller, V. C., & Bostrom, N. (2016). Future progress in artificial intelligence: A survey of expert opinion. En V. C. Müller (Ed.), Fundamental issues of artificial intelligence (pp. 555-572). Berlin: Springer.

Nilsson, N. J. (2010). The Quest for Artificial Intelligence. New York: Cambridge University Press.

Pagallo, U. (2013). The Law of Robots: Crimes, Contracts and Tort. Berlin: Springer.

Parada Vázquez, R. (1999). Régimen Jurídico de las Administraciones Públicas y Procedimiento Administrativo Común (Estudio, comentarios y texto de la Ley 30/1992, de 26 de noviembre) (2 ed.). Madrid: Marcial Pons.

Partnership for Public Service, & IBM Center for The Business of Government. (2018). The future has begun. Using artificial intelligence to transform government.

Pasquale, F. (2015). The Black Box Society: The Secret Algorithms That Control Money and Information. Cambridge, MA: Harvard University Press.

Petit, N. (2017). Law and Regulation of Artificial Intelligence and Robots - Conceptual Framework and Normative Implications.

Pfeifer, R., & Scheier, C. (1999). Understanding Intelligence. Cambridge: MIT Press.

PriceWaterhouseCoopers. (2017). Sizing the Prize: What’s the Real Value of AI for Your Business and How Can You Capitalise? Accesible en: https://www.pwc.com.au/government/pwc-ai-analysis-sizing-the-prize-report.pdf.

Ramió Matas, C. (2017). Principios de actuación de las administraciones públicas: análisis desde la Ciencia Política y de la Administración. En E. Gamero Casado, S. Fernández Ramos, & J. Valero Torrijos (Eds.), Tratado sobre Procedimiento administrativo Común y Régimen Jurídico del Sector Público (pp. 375-421). Valencia: Tirant lo Blanch.

Ramió Matas, C. (2018). El impacto de la inteligencia artificial y de la robótica en el empleo público. GIGAPP Estudios Working Papers, 98, 401‐421.

Ranchordas, S. (2014). Constitutional Sunsets And Experimental Legislation: A Comparative Perspective. Chentelham: Edward Elgar.

Rebollo Puig, M. (2010). Los principios generales del derecho: atrevimiento atribulado sobre su concepto, funciones e inducción. En J. A. Santamaría Pastor (Ed.), Los principios jurídicos del Derecho Administrativo. Madrid: La Ley.

Remus, D., & Levy, F. S. (2016). Can Robots Be Lawyers? Computers, Lawyers, and the Practice of Law. doi:http://dx.doi.org/10.2139/ssrn.2701092

Richards, N. M., & Smart, W. D. (2016). How should the law think about robots? En R. Calo, A. M. Froomkin, & I. Kerr (Eds.), Robot Law. Cheltenham: Edward Elgar Publishing.

Salkin, C., Oner, M., Ustundag, A., & Cevikcan, E. (2017). A Conceptual Framework for Industry 4.0. En A. Ustundag & E. Cevikcan (Eds.), Industry 4.0: Managing The Digital Transformation. Berlin: Springer.

Scherer, M. U. (2015). Regulating artificial intelligence systems: Risks, challenges, competencies, and strategies. Harvard Journal of Law & Technology, 29.

Stanford University. (2016). Artificial Intelligence and Life in 2030.

Susskind, R. (2017). Tomorrow's lawyers. An introduction to your future (2 ed.). Oxford: Oxford University Press.

Tarrés Vives, M. (2012). La actuación administrativa automatizada. En J. Tornos i Mas (Ed.), La Ley 26/2010, del 3 de agosto, de régimen jurídico y de procedimiento de las administraciones públicas de Cataluña. Madrid: Iustel.

The Economist. (2017). Data is giving rise to a new economy. How is it shaping up? The Economist.

Thierer, A., & Castillo, A. (2016). Preparing for the Future of Artificial Intelligence. Public Interest Comment, Mercatus Center at George Mason University, Arlington, VA.

United States Government Accountability Office. (2018a). Artificial Intelligence. Emerging Opportunities, Challenges, and Implications for Policy and Research.

United States Government Accountability Office. (2018b). Trends affecting Government and Society. Accesible en: https://www.gao.gov/assets/700/690262.pdf.

Valero Torrijos, J. (2007). El régimen jurídico de la e-Administración (2 ed.). Granada: Comares.

Valero Torrijos, J. (2013). Derecho, Innovación y Administración Electrónica. Sevilla: Global Law Press.

Vaquer Caballería, M. (2017). Los principios constitucionales de funcionamiento de las administraciones públicas. En E. Gamero Casado, S. Fernández Ramos, & J. Valero Torrijos (Eds.), Tratado sobre Procedimiento administrativo Común y Régimen Jurídico del Sector Público (pp. 265-303). Valencia: Tirant lo Blanch.

Vilalta Nicuesa, A. E. (2013). Mediación y arbitrajes electrónicos. Cizur Menor: Aranzadi.

Vilalta Nicuesa, A. E. (2014). La paradoja de la mediación en línea: recientes iniciativas de la Unión Europea y de la CNUDMI. Revista General de Derecho Europeo, 33.

West, D. M., & Allen, J. R. (2018). How artificial intelligence is transforming the world. Retrieved from https://www.brookings.edu/research/how-artificial-intelligence-is-transforming-the-world/

World Wide Web Foundation. (2017). Algorithmic Accountability. Applying the concept to different country contexts.

Yeung, K. (2017). Algorithmic regulation: a critical interrogation. Regulation & Governance, 12(4).

Zarsky, T. (2016). The Trouble with Algorithmic Decisions:An Analytic Road Map to Examine Efficiency and Fairness in Automated and Opaque Decision Making. Science, Technology, & Human Values, 41(1), 118-132. doi:10.1177/0162243915605575

NOTAS:

(1). Este articulo ha sido elaborado en el marco del proyecto “Retos jurídicos del uso de datos masivos para el fomento de la innovación y la buena administración a través de la inteligencia artificial”. Programa Estatal de I+D+i Orientada a los Retos de la Sociedad (DER2017-85595-R). Versiones previas de este trabajo han sido presentadas en el Seminario de Teoría y Metodología del Derecho Público (STEM), en el Seminario de investigación de los Estudios de Derecho y Ciencia Política de la Universitat Oberta de Catalunya y en el Seminario del Observatorio de las Instituciones de la Universitat Pompeu Fabra.

(2). (Asís Roig, 2018, 28); (Barocas & Selbst, 2016, 672); (Commission Nationale de l’Informatique et des Libertés, 2017, 14).

(3). (Barrio Andrés, 2018b, 17, 65); (Partnership for Public Service & IBM Center for The Business of Government, 2018, 1).

(4). Según Accenture, si el PIB español en 2035 será de 1.674 mil millones de dólares, la inteligencia artificial puede incrementarlo en 189 mil millones de dólares (Accenture, 2018, 7). Por su parte, PriceWaterhouseCoopers estima que la inteligencia artificial puede incrementar el producto interior bruto en 15,7 trillones (millón de billones en la escala europea) (PriceWaterhouseCoopers, 2017, 1). Asimismo, Eggers et alt. consideran que puede suponer un ahorro anual para el gobierno de 1.200 millones de horas y 41.000 mil millones de dólares (Eggers, Schatsky, & Viechnicki, 2018, 3).

(5). La inteligencia artificial y la automatización junto con la edición genética, la ciencia de la información cuántica, la realidad cerebral/aumentada y las criptomonedas y el Blockchain potencialmente transformarán la sociedad (United States Government Accountability Office, 2018b, 26). Asimismo, serán impulsor del crecimiento económico y el progreso social (Executive Office of the President National Science & Technology Council Committee on Technology, 2016, 3).

(6). (Holder, Khurana, Harrison, & Jacobs, 2016, 383); (Salkin, Oner, Ustundag, & Cevikcan, 2017, 5). De hecho, “la inteligencia artificial es algo más que tecnología. Es un camino para la transformación” (Partnership for Public Service & IBM Center for The Business of Government, 2018, 16).

(7). (Barocas, Hood, & Ziewitz, 2013, 1); (Commission Nationale de l’Informatique et des Libertés, 2017, 14).

(8). A pesar de que la definición nos da alguna pista intuitiva sobre su alcance presenta la dificultad de determinar el significado de inteligencia, que es un concepto controvertido (Pfeifer & Scheier, 1999, 3). A efectos aproximativos, podemos seguir a Nilsson para quien la inteligencia es la cualidad que permite a un ente funcionar de manera apropiada y con visión de su entorno (Nilsson, 2010, xiii).

(9). (Kaplan, 2017, 1).

(10). (Executive Office of the President National Science & Technology Council Committee on Technology, 2016, 7).

(11). (West & Allen, 2018). Al referirse a la inteligencia artificial, Lehr habla ilustrativamente de manejar los datos (playing with the data) y ejecutar el modelo (running model) (Lehr & Ohm, 2017, 655).

(12). Edwards observa que somos esclavos de los algoritmos (Edwards & Veale, 2017, 19-20).

(13). (Benítez, Escudero, Kanaan, & Masip Rodó, 2013, 13). Hill da una definición más precisa del algoritmo al definirlo como “una estructura de control finita, abstracta, efectiva y compuesta, establecida imperativamente, cumpliendo una finalidad dada ante unos suministros determinados” (Hill, 2016, 47).

(14). (Commission Nationale de l’Informatique et des Libertés, 2017, 15); (Edwards & Veale, 2017, 24); (Yeung, 2017, 2).

(15). (Mateo Borge, 2017, 130). De todos modos, el aprendizaje automático no significa que el ordenador adquiere el conocimiento de manera autónoma, sino que puede mejorar su programación de manera automatizada, que puede ser más preciso en la realización de una tarea a partir de los objetivos previamente definidos (Broussard, 2018, 89, 92).

(16). (World Wide Web Foundation, 2017, 7); (Commission Nationale de l’Informatique et des Libertés, 2017, 5).

(17). Mayer-Schonberger & Cukier se refieren a dejar hablar a los datos (Mayer-Schönberger & Cukier, 2013, 13).

(18). (Federal Financial Supervisory Authority, 2018, 26).

(19). (Federal Financial Supervisory Authority, 2018, 20, 24); (Executive Office of the President National Science & Technology Council Committee on Technology, 2016).

(20). (Deloitte, 2018, 2).

(21). Ello es debido al hecho que “los inputs y outputs de la red neuronal están relacionados de manera compleja y no lineal” (Federal Financial Supervisory Authority, 2018, 36).

(22). La importancia de los datos masivos ha llevado a considerar que estamos en la era del big data (Boyd & Crawford, 2011); (Federal Trade Commission, 2016, i) y ante una revolución (Mayer-Schönberger & Cukier, 2013).

Como se ha puesto de manifiesto desde diferentes instancias, en los últimos dos años se ha creado el 90% de los datos existentes en la actualidad, y en la próxima década el volumen total de datos en el mundo crecerá un 40% cada año (House of Commons, 2016a). En la actualidad, los datos tienen un gran valor en nuestras sociedades. No en vano, los datos son calificados como el nuevo oro o el petróleo del siglo XXI (Mayer-Schönberger & Cukier, 2013); (The Economist, 2017).

(23). (Kwon, Lee, & Shin, 2014).

(24). (Alguacil Sanz, 2017); (Cerrillo i Martínez, 2018).

(25). (Kaplan, 2017, 53).

(26). Véase al respecto, el Plan de Impulso de las Tecnologías del Lenguaje elaborado en la Administración General del Estado. Accesible en: http://www.agendadigital.gob.es/tecnologias-lenguaje/PTL/Bibliotecaimpulsotecnologiaslenguaje/Detalle del Plan/Plan-Impulso-Tecnologias-Lenguaje.pdf.

(27). (Barrio Andrés, 2018a, 70).

Este concepto puede perfilarse con el que se desprende de la lectura de la Resolución del Parlamento Europeo, de 16 de febrero de 2017, con recomendaciones destinadas a la Comisión sobre normas de Derecho civil sobre robótica.

(28). (Kaplan, 2017, 54-55). Según la World Robot Declaration adoptada la World Robot Conference celebrada Japón en 2004, la próxima generación de robots serán compañeros y coexistirán como compañeros de los humanos. Sin embargo, aún queda un largo camino por recorrer a la vista de https://www.youtube.com/watch?v=g0TaYhjpOfo (última consulta: octubre de 2018). En la misma dirección, (Holder et al., 2016, 384).

(29). No podemos desconocer el lugar que ocupa en el ideario público la sumisión de los seres humanos a los robots (Leenes & Lucivero, 2014, 193).

(30). Accesible en: https://www.cnbc.com/video/2017/11/06/stephen-hawking-warns-about-a-i-development.html (última consulta: noviembre de 2018).

(31). Accesible en: https://www.cnbc.com/video/2017/07/17/elon-musk-issues-yet-another-warning-against-runaway-artificial-intelligence.html (última consulta: noviembre de 2018).

(32). https://qz.com/911968/bill-gates-the-robot-that-takes-your-job-should-pay-taxes/ (última consulta: noviembre de 2018).

(33). Son claras las palabras de Kaplan al respecto: “¿los ordenadores inteligentes artificialmente de repente ‘cobrarán vida’, como suele representarse en la ficción? No esperes sentado” (Kaplan, 2017, 8). De todos modos, diversos autores han advertido sobre la dificultad de predecir el futuro desarrollo de la inteligencia artificial (Armstrong, Sotala, & ÓhÉigeartaigh, 2014, 1, 27); (Müller & Bostrom, 2016, 2);

(34). Para Calo, “existen razones analíticas y técnicas para creer que los robots nunca podrán pensar como las personas” (Calo, 2015, 528). Por ello, “no hay causa alguna para preocuparse por qué la inteligencia artificial pueda ser una amenaza inminente a la humanidad” (Stanford University, 2016). Principalmente, porqué resulta difícil pensar que los robots puedan desarrollar una voluntad por si mismos para dominar a sus diseñadores (Etzioni & Etzioni, 2016b, 145).

(35). (Executive Office of the President National Science & Technology Council Committee on Technology, 2016, 5).

(36). Hemos podido desarrollar estos conceptos en (Cerrillo i Martínez, 2018).

(37). La inteligencia artificial ya está teniendo un impacto profundo en las administraciones públicas y en un futuro aún lo tendrá más (Eggers et al., 2018, 3) trasformando su actividad (Partnership for Public Service & IBM Center for The Business of Government, 2018, 1). De todos modos, no podemos desconocer que su uso aún es limitado en las administraciones públicas (Maciejewski, 2017). La mayoría de los ejemplos utilizados en estas páginas son tomados del informe (IBM Center for The Business of Government, 2018).

(38). Véase un ejemplo en la Ley, de la Generalitat, de inspección general de servicios y del sistema de alertas para la prevención de malas prácticas en la administración de la Generalitat y su sector público instrumental.

(39). (Executive Office of the President National Science & Technology Council Committee on Technology, 2016); (House of Commons, 2016b). Véase, un análisis comparado de las distintas estrategias en (Cath, Wachter, Mittelstadt, Taddeo, & Floridi, 2018, 524).

(40). Según la nota de prensa elaborada por La Moncloa, en noviembre de 2017 se constituyó el Grupo de Sabios sobre Inteligencia Artificial y Big Data que tenía como misión elaborar un Libro Blanco sobre la Inteligencia Artificial en el plazo de seis meses. En el momento de la elaboración de esta ponencia no se tiene conocimiento de su publicación. Accesible en: http://www.lamoncloa.gob.es/serviciosdeprensa/notasprensa/minetur/Paginas/2017/141117iartificialybigdata.aspx (última consulta: noviembre de 2018).

En el caso francés, en junio de 2018, se presentó una iniciativa en esta materia. Accesible en: https://www.modernisation.gouv.fr/sites/default/files/fichiers-attaches/cp_ami_ia_ditp_dinsic_0.pdf (última consulta: noviembre de 2018).

(41). Comunicación de la Comisión al Parlamento Europeo, al Consejo Europeo, al Consejo, al Comité Económico y Social Europeo y al Comité de las Regiones ‘Inteligencia artificial para Europa’ COM(2018) 237 final y Resolución del Parlamento Europeo, de 16 de febrero de 2017 con recomendaciones destinadas a la Comisión sobre normas de Derecho civil sobre robótica.

(42). En esta dirección, el Ayuntamiento de Barcelona ha sido la primera ciudad española en crear una Oficina Municipal de Datos (OMD).

(43). Véase, como ejemplo, la norma local aprobada por el Ayuntamiento de Nueva York en enero de 2017 sobre los sistemas de decisión automática utilizados por las agencias municipales. Accesible en: https://legistar.council.nyc.gov/ViewReport.ashx?M=R&N=Text&GID=61&ID=2973185&GUID=70D3377F-AA40-41FA-AF43-A481090C3528&Title=Legislation+Text (última consulta: noviembre de 2018).

(44). Asimov propuso inicialmente tres leyes: un robot no puede perjudicar a un ser humano, ni con su inacción permitir que un ser humano sufra daño; un robot ha de obedecer las órdenes recibidas de un ser humano, excepto si tales órdenes entran en conflicto con la primera ley y un robot no debe proteger su propia existencia mientras tal protección no entre en conflicto con la primera o segunda ley. Posteriormente añadió una cuarta ley un robot no puede perjudicar a la humanidad, ni con su inacción permitir que la humanidad sufra daño (Asimov, 1942).

(45). Ha sido ampliamente reconocido que estas leyes no fueron escritas para ser aplicadas en la realidad sino en la ficción (Leenes & Lucivero, 2014, 194); (Boden et al., 2017, 125).

(46). En esta dirección, (Calo, 2015, 517, 525); (Richards & Smart, 2016, 4).

(47). El pragmatismo interdisciplinar debe informar el diálogo entre una infraestructura jurídica y el desarrollo tecnológico (Calo, 2015, 560).

(48). (Petit, 2017, 3).

(49). (Calo, 2015, 559).

(50). (Leenes & Lucivero, 2014, 208).

(51). (Pagallo, 2013) citado por (Barrio Andrés, 2018a, 81-82).

(52).  En esta dirección, en algunos países ya se han empezado a aprobar algunas normas cuyo objeto exclusivo es la regulación de distintas aplicaciones de inteligencia artificial y robótica (por ejemplo, los coches sin conductor o los drones).

(53). En esta dirección podemos referirnos al proyecto Robolaw un proyecto interdisciplinar que persigue facilitar algunas pautas útiles para los legisladores y reguladores. Este proyecto se centra en los vehículos autónomos, los robots quirúrgicos, las prótesis robóticas y los robots cuidadores. Accesible en: http://www.robolaw.eu/ (última consulta: noviembre de 2018).

(54). (Guihot, Matthew, & Suzor, 2017, 421).

(55). A través de la regulación de la autorregulación, la Administración pública facilita la autorregulación y facilita las estructuras y los procedimientos en las que puede desarrollarse (Darnaculleta i Gardella, 2010, 375 y ss.) y garantizando que se persiguen objetivos públicos (Esteve Pardo, 2002, 171-173); (Darnaculleta i Gardella, 2010, 379).

(56). (Guihot et al., 2017, 391). Otros autores proponen atribuir a las instituciones públicas un papel regulatorio más activo (Scherer, 2015).

(57). (Guihot et al., 2017, 390-391); (Petit, 2017, 7).

(58). (United States Government Accountability Office, 2018a, 9); (Guihot et al., 2017, 414); (Balkin, 2015, 51).

(59). Como observa Cierco, el principio de precaución persigue “ofrecer una respuesta inmediata ante una amenaza de riesgo que, aun de manera incierta o incompleta, cuenta ya con indicios científicos creíbles que alertan de sus graves consecuencias sobre la salud o el medio ambiente” (Cierco Seira, 2004, 124).

Sin embargo, no podemos desconocer las dificultades que entraña su aplicación tal y como ha puesto de manifiesto Doménech quien afirma que “entendido en un sentido fuerte -dotado de sustancia propia-, el principio de precaución es inaceptablemente tosco, mientras que si se le atribuye un contenido matizado y plausible resulta en rigor superfluo” (Doménech Pascual, 2006, 305).

(60). (Thierer & Castillo, 2016, 3).

En esta dirección, el Código de conducta ética para los ingenieros en robótica anexo a la Resolución del Parlamento Europeo incorpora entre otros el principio de precaución según el cual “Las actividades de investigación en el ámbito de la robótica deben llevarse a cabo de conformidad con el principio de precaución, anticipándose a los posibles impactos de sus resultados sobre la seguridad y adoptando las precauciones debidas, en función del nivel de protección, al tiempo que se fomenta el progreso en beneficio de la sociedad y del medio ambiente”.

(61). (Guihot et al., 2017, 443-444); (United States Government Accountability Office, 2018a, 10). En general, (Ranchordas, 2014).

(62). (International Privacy Conference, 2016, 16).

(63). Véanse al respecto iniciativas como los Principios de la inteligencia artificial adoptados en la Conferencia de Asilomar en 2017 (https://futureoflife.org/ai-principles/), los Diez principios para una Inteligencia artificial ética de la UNI Global Union (http://www.thefutureworldofwork.org/opinions/10-principles-for-ethical-ai/). Asimismo, pueden traerse a colación los trabajos del Grupo europeo de ética de la ciencia y de las nuevas tecnologías. Véase al respecto, (Comisión Europea, 2018, 16-17).

(64). (Etzioni & Etzioni, 2016a, 29-30).

(65). De todos modos, no podemos desconocer que esta opción no está exenta de limitaciones conceptuales y metodológicas. Sin embargo, permite dar cierta sistematicidad al análisis realizado.

Al respecto, cabe recordar que en las últimas décadas se ha producido un crecimiento de los principios reconocidos por nuestro ordenamiento jurídico muchos de los cuales no deberían ser considerados como tales (López Menudo, 1992, 21); (Rebollo Puig, 2010, 1523). La lectura del artículo 3 LRJSP confirma esta situación. De hecho, permite constatar la coexistencia en dicho artículo de una variedad de principios de naturaleza distinta tal y como pone de manifiesto (Vaquer Caballería, 2017, 272).

(66). STC 36/1991, de 14 de febrero.

El principio de seguridad jurídica se concreta, entre otros, en el principio de confianza legítima (artículo 3 LRJPS). La confianza legítima se manifiesta en la creación por la Administración pública de una situación que pueda infundir confianza en la permanencia del marco jurídico y que ésta no haya podido ser previsible para una persona (Castillo Blanco, 2017, 337-338) también puede verse afectada negativamente por el uso de la inteligencia artificial en la Administración pública.

(67). Así lo ha puesto de manifiesto, entre otros, el Parlamento Europeo en su resolución. Véase en general el informe (Conseil d'Etat, 2014, 233 y ss.). Respecto a esta cuestión, debemos tener presente lo previsto en el artículo 47.1.a LPACAP.

(68). (Zarsky, 2016, 122); (Executive Office of the President, 2014).

(69). Al respecto, se pueden traer las siguientes noticias: ‘Google arregla su algoritmo ‘racista’ borrando a los gorilas’. El País, 15 de enero de 2018, en el que se da noticia de que el algoritmo de Google Photos confundía personas negras con simios; ‘Microsoft retira un robot que hizo comentarios racistas en Twitter’. El País, 24 de marzo de 2016, en la que se informa sobre el chabot Tay de Twitter que aprendió una conducta racista, sexistas y xenófobos de otros usuarios.

Junto a ellas, otras en las que se observan otros sesgos más sutiles en la inteligencia artificial: ‘Campaña para desfeminizar los asistentes virtuales’. La Vanguardia, 29 de noviembre de 2018.

De todos modos, coincidimos con Edwards al considerar que en Europa existen menos casos de algoritmos que hayan producido discriminación racial que en los Estados Unidos de América (Edwards & Veale, 2017, 30).

(70). (Consultative committee of the Convention for the protection of individuals with regard to automatic processing of personal data, 2018, 11); (Lehr & Ohm, 2017, 703).

(71). (Lehr & Ohm, 2017, 704).

(72). Como advierte Broussard, es un secreto a voces en el big data que todos los datos son brutos (Broussard, 2018, 103).

(73). Advierten sobre estos peligros (Boyd & Crawford, 2011).

(74). Por ejemplo, pueden ser sesgados los resultados del peso excesivo dado a los datos relativos al código postal cuando se esté diseñando un algoritmo para otorgar un determinado tipo de ayudas.

(75). (Barocas & Selbst, 2016, 671).

(76). (Binns, 2017, 4).

(77). (Executive Office of the President National Science & Technology Council Committee on Technology, 2016); (Yeung, 2017, 12).

(78). (Consultative committee of the Convention for the protection of individuals with regard to automatic processing of personal data, 2018, 11); (Federal Financial Supervisory Authority, 2018, 40).

(79). (Barocas & Selbst, 2016, 680).

(80). En relación a esta cuestión, en el ámbito anglosajón se ha traído a colación el derecho al proceso debido para asegurar que los interesados puedan participar en las decisiones que les afecten y garantizar que estas no contienen sesgos (Yeung, 2017, 11).

(81). En la misma dirección, (Lepri, Oliver, Letouzé, Pentland, & Vinck, 2017, 8).

(82). (Mantelero, 2018).

(83). Big Data presents serious privacy problems (Crawford & Schultz, 2014, 96).

(84). (Citron & Pasquale, 2014, 3).

(85). Artículo 4.4) Reglamento general de protección de datos.

(86). Artículos 13, 14, 15 y 22 Reglamento general de protección de datos. Asimismo, los artículos 11 y 18 Ley Orgánica 3/2018, de 5 de diciembre, de Protección de Datos Personales y garantía de los derechos digitales. Véase una aproximación en (Gil González, 2017).

(87). (Eggers & Hurst, 2017).

En esta dirección, el Plan de Acción sobre Administración Electrónica de la Unión Europea 2016-2020 que dispone que, en 2020, las Administraciones públicas deberían prestar servicios públicos digitales sin fronteras, personalizados y fáciles de utilizar. En la misma dirección la Declaración de Tallin sobre administración electrónica de octubre de 2017. Asimismo, (McKinsey Global Institute, 2011).

(88). (Bertot, Estevez, & Janowski, 2016).

(89). (Al-Sai & Abualigah, 2017).

(90). Artículo 53 LPACAP.

(91). En esta dirección, es clara la resolución del Parlamento Europeo donde se expone que el principio de transparencia “consiste en que siempre ha de ser posible justificar cualquier decisión que se haya adoptado con ayuda de la inteligencia artificial y que pueda tener un impacto significativo sobre la vida de una o varias personas; considera que siempre debe ser posible reducir los cálculos del sistema de inteligencia artificial a una forma comprensible para los humanos”. Para facilitar la transparencia, el Parlamento Europeo estima que los robots avanzados deberían registrar los datos de todas las operaciones efectuadas por los robots.

(92). (De Laat, 2017); (Burrell, 2016, 1); (Brauneis & Goodman, 2017, 19).

(93). (Diakopoulos, 2014, 14); (Fink, 2017; Geiger, 2017; Pasquale, 2015); (Lehr & Ohm, 2017, 709).

(94). (Burrell, 2016).

(95). (Brauneis & Goodman, 2017,22); (Mittelstadt, Allo, Taddeo, Wachter, & Floridi, 2016, 7).

(96). (García-Prieto Cuesta, 2018, 51); (Etzioni & Etzioni, 2016b, 139); (Kroll et al., 2017, 659).

(97). (Coglianese & Lehr, 2017, 1206).

(98). (Kroll et al., 2017, 643).

(99). (Brauneis & Goodman, 2017, 45).

Es habitual que los contratistas de la Administración pública establezcan cláusulas de confidencialidad o simplemente entreguen aplicaciones cerradas sin permitir el acceso al código fuente. Todo ello a pesar de que lo previsto en el artículo 308.1 LCSP.

(100). (De Laat, 2017); (Lepri et al., 2017, 10). Esto se puede evitar diseñando algoritmos que no puedan ser manipulados (Brauneis & Goodman, 2017, 47).

(101). De acuerdo con lo previsto en el artículo 14.1.k) Ley 19/2013, de 9 de diciembre, de transparencia, acceso a la información pública y buen gobierno.

(102). En la misma dirección, (Burrell, 2016, 4); (Etzioni & Etzioni, 2016b, 137); (Lepri et al., 2017, 10); (Mayer-Schönberger & Cukier, 2013).

En esta dirección, debemos recordar que la LRJSP dispone que las administraciones pondrán declarar como de fuentes abiertas las aplicaciones, desarrolladas por sus servicios o que hayan sido objeto de contratación y de cuyos derechos de propiedad intelectual sean titulares, cuando de ello se derive una mayor transparencia en el funcionamiento de la Administración Pública (artículo 157.2 LRJSP). Véase al respecto, (Alamillo Domingo, 2017, 124).

(103). Artículo 13 Ley 19/2013, de 9 de diciembre.

Véanse en relación a esta cuestión las resoluciones de 11 de mayo de 2016; de 21 de septiembre de 2016 y de 21 de junio de 2017 de la Comisión de Garantía del Derecho de Acceso a la Información Pública (GAIP) dictada a raíz de las reclamaciones interpuestas por parte de un profesor de secundaria a quien se le denegó en diversas ocasiones el acceso al algoritmo utilizado para asignar los miembros de tribunales de evaluación a las pruebas de la selectividad.

Respecto a las dificultades para ejercer el derecho de acceso a la información resultan de interés los estudios impulsados en Estados Unidos de América por (Brauneis & Goodman, 2017); (Fink, 2017).

(104). (Brauneis & Goodman, 2017, 39-40).

Sin embargo, de nuevo debemos tener en cuenta que las administraciones públicas no acostumbran a hacerlo. En relación a esta cuestión, la Ley 30/1992, de 26 de noviembre, de régimen jurídico de las administraciones públicas y del procedimiento administrativo común preveía que las administraciones públicas debían aprobar previamente los programas y aplicaciones electrónicos, informáticos y telemáticos y difundir sus características. No obstante, esta previsión general no se mantuvo en la Ley 11/2007, de 22 de junio, de acceso de los ciudadanos a los servicios públicos, ni tampoco se ha incorporado en la LRJSP. De todos modos, no podemos desconocer que lo previsto en el artículo 41 LRJSP respecto a la actuación administrativa automatizada.

(105). (Lepri et al., 2017, 11). Esta explicación no solo es una manifestación del principio de transparencia sino también del principio de claridad, según el cual, la actividad de la Administración pública ha de ser clara y comprensible para la ciudadanía y generar seguridad jurídica (Ramió Matas, 2017, 385).

(106). (Diakopoulos, 2014, 13); (Lepri et al., 2017, 10); (Mantelero, 2018).

(107). Desde la doctrina norteamericana se observa que el uso de algoritmos en las administraciones públicas puede poner en entredicho los principios de la no delegación, el proceso debido, la igualdad, la motivación y la transparencia y, en última instancia, ser un riesgo para la gobernanza democrática (Coglianese & Lehr, 2017, 1152).

(108). Citron observa cómo el uso de los algoritmos puede debilitar trámites como la audiencia de los interesados, la información pública o la notificación de los actos administrativos (Citron, 2007, 1249).

(109). (World Wide Web Foundation, 2017, 4).

(110). Valero considera que “cuando el acto administrativo tenga efectos constitutivos de una relación jurídica es necesario atender al grado de discrecionalidad de que dispone el órgano competente, de manera que sólo en el caso de las actuaciones regladas cabría aceptar su completa automatización cuando la decisión a adoptar dependa exclusivamente de los resultados obtenidos a través de un tratamiento automatizado y se implementen las medidas de control y supervisión antes aludidas. En cambio, la naturaleza discrecional del acto administrativo obliga a una respuesta negativa por cuanto, en estos casos, el amplio margen de que dispone el titular del órgano para la adopción de decisiones diversas igualmente válidas desde una perspectiva jurídica determina que los medios informáticos sólo puedan emplearse como mero instrumento de apoyo, correspondiente en última instancia al titular del órgano valorar directa y personalmente las ventajas e inconvenientes de cada una de las opciones a fin de decantarse por la que resulte más apropiada” (Valero Torrijos, 2007, 75)

(111). Al respecto, Martín Delgado pone de manifiesto que “no debe descartarse el uso de sistemas de información en el ejercicio de potestades discrecionales en las que la discrecionalidad sea de baja intensidad. Me estoy refiriendo, en concreto, a la discrecionalidad técnica” (Martín Delgado, 2009, 369-370). Para este autor “sólo cuando exista discrecionalidad política o discrecionalidad técnica no parametrizable le estará vedado a la Administración el uso de medios electrónicos en la adopción de su actuación administrativa sin intervención de persona humana” (Martín Delgado, 2009, 371).

(112). Como puso de manifiesto hace unos años Parada, “los actos administrativos son manifestaciones de voluntad y las máquinas, al no tenerla, carecen de posibilidad de producir actos jurídicos lo que reflejan no es más que el resultado de los datos y los programas que se introducen en ellas, por lo que la producción jurídica sigue estando referida a los funcionarios y autoridades que se sirven de aquéllas” (Parada Vázquez, 1999, 174).

(113). Como pone de manifiesto Citron, en el pasado, los sistemas automatizados ayudaban a los humanos a aplicar las normas a los casos concretos y hoy en día se han convertido en decisores (Citron, 2007, 1252).

(114). Ya tuvimos oportunidad de realizar estas reflexiones al hilo del análisis de la Ley 26/2010, del 3 de agosto, de régimen jurídico y de procedimiento de las administraciones públicas de Cataluña. Véase al respecto, (Cerrillo i Martínez, 2012, 443). En la misma dirección, (Valero Torrijos, 2013, 94).

(115). Artículo 41.1 LRJSP.

Más allá de lo previsto en la LRJSP a medida que avance el uso de la inteligencia artificial en la tramitación del procedimiento administrativo será oportuno reinterpretar los principios e instituciones del procedimiento para adaptarlos a ello.

En esta dirección, desde la doctrina norteamericana se ha propuesto reconocer el principio del proceso electrónico debido con el que garantizar que los algoritmos cumplan con determinados estándares para asegurar su legitimidad y precisión (Citron & Pasquale, 2014, 19). Este principio se concreta en el reconocimiento del derecho de audiencia o el principio de imparcialidad (Crawford & Schultz, 2014, 124).

(116). A esta misma conclusión se llega por la doctrina al identificar los actos que pueden producirse automáticamente. Véase (Alamillo Domingo & Urios Aparisi, 2011, 133 y ss.).

En cambio, a nuestro entender, la Ley 26/2010, de 3 de agosto, de régimen jurídico y de procedimiento de las administraciones públicas de Cataluña incluye un concepto más amplio. El único límite que se establece es que puedan adoptarse con una programación basada en criterios y parámetros objetivos. Véase en detalle, (Tarrés Vives, 2012, 461 y ss.).

(117). En particular, el artículo 41.2 LRJSP dispone que previamente a su uso deberá establecerse el órgano competente para la definición de las especificaciones, programación, mantenimiento, supervisión y control de calidad y, en su caso, auditoría del sistema de información y de su código fuente. Asimismo, se indicará el órgano que debe ser considerado responsable a efectos de impugnación.

Cuando no se respeten estas cuestiones, puede determinar la nulidad del acto porque se haya dictado prescindiendo total y absolutamente del procedimiento legalmente establecido (artículo 47.1.e) LPACAP).

(118). Artículo 8 LRJSP cuyo incumplimiento puede comportar la nulidad de los actos (artículo 47.1.b LPACAP). Al respecto, (Valero Torrijos, 2013, 70).

(119). (Citron, 2007, 1254-1255). En esta dirección, Valero pone de manifiesto que lo relevante es que en “la configuración de los programas y aplicaciones utilizados para las decisiones administrativas no corresponde al titular del órgano competente para adoptarlas, ni siquiera al personal encargado de la tramitación de los asuntos por razón de la materia de que se trate Resulta, pues, imprescindible la participación de un nuevo sujeto que, en gran medida, se limita a programar la aplicación informática en función de los criterios que se le indiquen” (Valero Torrijos, 2013, 67-68).

(120). (Eggers et al., 2018, 18).

(121). En esta dirección, el artículo 15.1 Ley 29/2010, de 3 de agosto, del uso de los medios electrónicos en el sector público de Cataluña.

(122). En esta ocasión, resulta oportuno citar el artículo 15.2 Ley 29/2010, de 3 de agosto.

(123). (Vaquer Caballería, 2017, 272).

(124). En palabras de Mercader, “el cambio tecnológico que estamos viviendo anuncia una transformación disruptiva en los modos y formas de entender en un futuro próximo la idea de trabajo” (Mercader Uguina, 2017, 217).

(125). (Partnership for Public Service & IBM Center for The Business of Government, 2018, 16).

(126). (Frey & Osborne, 2017, 38).

(127). (Ramió Matas, 2018, 403-404).

(128). Según Susskind, “hacia el año 2020 la tecnología estará tan avanzada e implantada que se necesitarán pocos abogados; augurando la desaparición del abogado tradicional y su sustitución por un auténtico ingeniero legal, experto en gestión de procesos, riesgos y claim management” (Susskind, 2017). Véase, asimismo, (McGinnis & Pearce, 2013); (Remus & Levy, 2016).

(129). (Kaplan, 2017, 96); (Markoff, 2011).

(130). (Kaplan, 2017, 95).

(131). (Mateo Borge, 2017, 140).

(132). Esta opción se ha desarrollado particularmente en el ámbito penal. Véase al respecto, (Christin, Rosenblat, & Boyd, 2015).

(133). Ramió llega a la conclusión que “las competencias del futuro guardan relación con las destrezas humanes más básicas: saber leer, escribir, contar y hablar” (Ramió Matas, 2018, 414).

(134). (Ramió Matas, 2018, 406-409); (Kaplan, 2017, 120-121).

(135). (Binns, 2017, 2); (Doshi-Velez & Kortz, 2017, 2-3); (Diakopoulos, 2014).

(136). (Doshi-Velez & Kortz, 2017, 2); (Lepri et al., 2017, 8).

(137). (Binns, 2017, 1, 11).

(138). (Kroll et al., 2017, 636).

(139). (Diakopoulos, 2016, 58); (Lepri et al., 2017, 9).

(140). (Lehr & Ohm, 2017, 706).

(141). (Kroll et al., 2017, 660).

Las administraciones públicas pueden utilizar algoritmos que para analizar y auditar los algoritmos (Etzioni & Etzioni, 2016b, 139).

(142). Al respecto, (Thierer & Castillo, 2016, 3); (Calo, 2015, 555-556). Edwards & Veale proponen crear un árbitro de datos neutral (neutral data arbiter) (Edwards & Veale, 2017, 76).

Igualmente, el Parlamento Europeo pide en su recomendación a la Comisión que estudie la posibilidad de designar una agencia europea para la robótica y la inteligencia artificial que proporcione los conocimientos técnicos, éticos y normativos necesarios para apoyar la labor de los actores públicos.

(143). Ya existen mecanismos en esta dirección en el ámbito privado recogidos bajo el acrónimo ODR (online dispute resolution). Véase una aproximación en (Lodder & Zeleznikow, 2012); (Vilalta Nicuesa, 2013, 2014).

(144). Al respecto, véase lo previsto en el articulo 32.1 LRJSP.

(145). Véase lo previsto en el artículo 34.1 LRJSP. Al respecto, (Esteve Pardo, 2010)

(146). Como ha reconocido el Consejo de Estado, este supuesto puede moderar la responsabilidad de la Administración. Véase, (Abogacía General del Estado, 2015, p.228 y ss.).

(147). (Asís Roig, 2018, 52).

(148). (Ebers, 2016, 6).

(149). (Ebers, 2016, 7-8).

(150). (Ebers, 2016, 7-8). Junto a este problema surge un segundo que es el relativo a la pluralidad de sujetos que pueden intervenir en el diseño de los algoritmos (Balkin, 2015, 52).

(151). Artículos 135 y 137 Real Decreto Legislativo 1/2007, de 16 de noviembre.

(152). Artículo 145 Real Decreto Legislativo 1/2007, de 16 de noviembre.

(153). Artículo 146 Real Decreto Legislativo 1/2007, de 16 de noviembre.

(154). Así, el Parlamento Europeo propone “crear a largo plazo una personalidad jurídica específica para los robots, de forma que como mínimo los robots autónomos más complejos puedan ser considerados personas electrónicas responsables de reparar los daños que puedan causar, y posiblemente aplicar la personalidad electrónica a aquellos supuestos en los que los robots tomen decisiones autónomas inteligentes o interactúen con terceros de forma independiente”.

Otra opción sería “prestar atención no tanto al sujeto sino al daño y al riesgo de que este se produzca, utilizando un sistema que gestione lo anterior y opere a través de un seguro” (Asís Roig, 2018, 61).

(155). (Ebers, 2016, 7-8).

En la misma dirección, la Resolución del Parlamento Europeo señala que la “solución a la complejidad de la asignación de responsabilidad por los daños y perjuicios causados por robots cada vez más autónomos, podría ser el establecimiento de un régimen de seguro obligatorio”

(156). En esta dirección, la Resolución del Parlamento Europeo propone “crear un número de matrícula individual que figure en un registro específico de la Unión que asegure la asociación entre el robot y el fondo del que depende y que permita que cualquier persona que interactúe con el robot esté al corriente de la naturaleza del fondo, los límites de su responsabilidad en caso de daños materiales, los nombres y las funciones de los participantes y otros datos pertinentes”.

(157). (Coglianese & Lehr, 2017, 1121).

Comentarios