Transparencia en la Administración: cómo los algoritmos deciden sobre la vida de los ciudadanos

Cada vez es más habitual el uso de algoritmos y sistemas de inteligencia artificial para la toma de decisiones. La Administración pública, también recurre a ellos, pero ¿es transparente en la aplicación de estas tecnologías que tienen gran impacto en la vida de los ciudadanos?

El desarrollo tecnológico de la inteligencia artificial (IA) permite que la humanidad siga evolucionando hacia límites insospechados: desde profundizar en el conocimiento del espacio exterior, hasta conseguir que personas con lesiones medulares vuelvan a caminar.

Esas ‘inteligencias’ son sistemas de programación que procesan grandes cantidades de datos garantizando su recuperación, conservación y trazabilidad. Para realizar los procesos de cálculos, la estructura de estos sistemas está compuesta por algoritmos, una cadena de pasos a seguir para lograr un resultado concreto, como puede ser una receta de cocina.

Estos procesos automatizados se emplean constantemente en la vida de las personas, ya que facilitan la resolución de problemas más o menos complejos, desde calcular la distancia más corta en Google Maps, hasta decidir quién recibe ayudas económicas por parte de la Administración pública.

Sin embargo, no son sistemas infalibles y sus errores de cálculo tienen un importante impacto en la vida de los ciudadanos, como sucedió en 2019 con el sistema Bosco, desarrollado por el Gobierno español para otorgar el bono social eléctrico a consumidores vulnerables. Fundación Civio denunció el fallo del programa, que excluyó a personas que cumplían con los requisitos, y solicitó el acceso a la información del código fuente.

El Gobierno denegó esta solicitud y el Consejo de Transparencia y Buen Gobierno -CTBG- dio la razón al Ejecutivo, alegando que el código fuente tenía derechos de propiedad industrial. El caso llegó a los juzgados de lo contencioso-administrativo, donde se volvió a negar el acceso en favor de la seguridad pública y la defensa nacional.

Sobre este aspecto, cabe señalar que existe una amplia jurisprudencia internacional sobre cómo y por qué se debe permitir el acceso a la información de los algoritmos y los procesos automatizados de inteligencia artificial que utiliza la Administración pública para garantizar el buen funcionamiento de estos.

Revista Haz ha hablado con la doctora Estrella Gutiérrez David, profesora de Derecho de la Información de la Universidad Complutense de Madrid, que ha publicado recientemente diversos estudios sobre la transparencia de las ‘administraciones inteligentes’ y el acceso al código fuente y los algoritmos públicos, para saber cómo estos procesos deciden sobre la vida de los ciudadanos y qué impacto tienen en los derechos y libertades sociales.


NOTICIAS RELACIONADAS
Los retos éticos de la inteligencia artificial
Piden que se garantice la transparencia de las tecnologías de inteligencia artificial
Inteligencia artificial: la gran aliada contra la covid-19


De la e-Administración a la IA-administrativa

Con respecto al uso público de los algoritmos, Gutiérrez explica que, “estando claros los criterios”, se pueden automatizar los procesos sin problema, ya que el algoritmo lo que hace es aplicar esos criterios para “producir un resultado”.

Sin embargo, el debate actual se centra en un tipo de algoritmos basados en “técnicas de inteligencia artificial”, son los algoritmos de “aprendizaje automatizado”, también conocidos como deep learning o aprendizaje profundo, que tratan de replicar el razonamiento humano para tomar una decisión y se utilizan para hacer predicciones, clasificaciones o asociaciones de datos a partir del análisis profundo y la correlación de los mismos.

Según explica Gutiérrez estas ‘inteligencias’ se están utilizando en el ámbito de la Administración pública para “hacer predicciones” en ámbitos concretos, como la Seguridad Social, ya que se están licitando soluciones de inteligencia artificial para predecir el riesgo de baja por accidente, causas y duración de las bajas, así como en el ámbito policial para elaborar predicciones sobre el riesgo de reincidencia de delitos.

“La idea de este planteamiento es mejorar la eficiencia en la toma de decisiones de la Administración, pero tiene riesgos para los derechos y libertades, porque este tipo de técnicas del machine learning y deep learning, utilizan metodologías de estadística avanzada, y siempre tiene un margen de error”, afirma Gutiérrez.

Sobre este aspecto, la profesora de la UCM señala que hay casos en que el error ha lesionado derechos fundamentales, como detener a la persona equivocada, porque el algoritmo ha dado como resultado a una persona de riesgo en un determinado ámbito y, además, existen los errores por sesgos y discriminación en los datos.

En este sentido, Gutiérrez explica que los algoritmos de deep learning se entrenan con los datos existentes en la vida real, que pueden contener sesgos y, por lo tanto, el proceso dará un resultado sesgado, de manera que, al utilizarse el sistema con otros datos, parte de la población puede quedar fuera de ayudas o procesos, porque el sistema no los reconoce, o los clasifica erróneamente.

Por estos motivos, en Estados Unidos, se solicitó información pública sobre la implantación del programa FAST (Future Attributes Screening Technology), que evaluaba la probabilidad de que una persona, sin ser sospechosa y sin antecedentes policiales, pudiera cometer actos delictivos en el futuro, según la evaluación de sus comportamientos y características psicológicas.

En Reino Unido también se pidió acceso a la información sobre el algoritmo Norfolk, que determinaba la probabilidad para resolver denuncias por delitos contra la propiedad, ya que, de 971 casos, el sistema decidió archivar 362.

Los algoritmos de aprendizaje automatizado se están utilizando en la Seguridad Social o en el ámbito policial para hacer predicciones, pero existen riesgos para los derechos y libertades ya que tienen un margen de error.

La opacidad de la Administración inteligente española

Para saber cómo utiliza la Administración española la inteligencia artificial, Gutiérrez afirma que la única manera es revisando la Plataforma de la Contratación del Sector Público, analizando las licitaciones para software, o contratos de innovación tecnológica, porque “no existe un mapeo de los usos de IA en el sector público”.

La profesora de la UCM, que ha analizado más de 50 licitaciones, indica que actualmente el área donde más se están licitando es en el Sistema Nacional de Salud, pero esta información es resultado de una complicada búsqueda, pues el término ‘inteligencia artificial’ no aparece en la descripción de las licitaciones y, solo después de acumular mucha experiencia investigadora sobre el tema, Gutiérrez ha conseguido identificar este tipo de contratos por palabras claves.

Por el contrario, en la Administración pública francesa existe un repositorio de los algoritmos que implementa, al igual que la canadiense, con fines de reutilización para empresas privadas o ciudadanos, que puedan darles una segunda vida “más allá de la Administración”, afirma Gutiérrez.

Asimismo, en el entorno internacional cada vez hay más solicitudes de información pública para acceder al código fuente de estas aplicaciones de la Administración, y a los modelos algorítmicos de las mismas. Según la experta consultada, la doctrina y jurisprudencia de otros países “pone de manifiesto que, no solo empieza a reconocerse su carácter de información pública, sino también el interés público en el acceso a dicha información, al posibilitar el control de las decisiones públicas y cómo han sido adoptadas”.

De sus investigaciones, Gutiérrez concluye que el código fuente de los algoritmos utilizados por la Administración tienen consideración de “información pública”, según la descripción de las leyes de transparencia, con independencia “del lenguaje en que se exprese”, incluido el matemático o el informático.

Sin embargo, las administraciones que se niegan a facilitar su acceso, además de insistir que no es “información pública”, también argumentan la protección de otros intereses, como los derechos de propiedad intelectual e industrial.

Una solución “interesante” para Gutiérrez es reconocer el derecho de acceso limitado, como ha hecho el Tribunal Administrativo Regional de Lazio, en Roma, en un caso similar al de Civio y el programa Bosco del Gobierno. De este modo, se permite la consulta presencial de la información y se evita la difusión del código fuente, para proteger los derechos de propiedad intelectual.

Según la investigadora Estrella Gutiérrez, el código fuente de los algoritmos utilizados por la Administración tiene consideración de información pública, de acuerdo con las leyes de transparencia.

¿Cómo sabemos qué deciden las máquinas?

Según los estudios realizados por Gutiérrez, el sector público aplica la inteligencia artificial en multitud de áreas, desde el ámbito de la salud, pasando por Hacienda y la ayuda social. Sobre este aspecto, destaca el empleo de la algoritmización para determinar perfiles de “contribuyentes con riesgo de fraude” en base a la relación de deducciones fiscales solicitadas; predecir lugares de riesgo de delitos y clasificación de ‘potenciales sujetos criminales’, que se denomina policía predictiva; identificar locales que deban ser inspeccionados por la Administración pública, o la gestión de las solicitudes para admitir alumnos en los estudios de grado superior en las universidades.

La automatización de estos procesos, en principio, resulta positiva en cuanto a eficiencia, rapidez y evaluación de la gestión pública. El problema radica en saber quién es el responsable de los actos y decisiones que toma una inteligencia artificial, cuando perjudica los derechos fundamentales de los ciudadanos al ser discriminados o culpabilizados injustamente.

Sobre este tema, el Consejo de Europa ha determinado que existen obligaciones de transparencia, y se debe divulgar la información relativa a los algoritmos empleados, con detalle de los procesos y efectos, para conocer los “impactos adversos del sistema en los derechos humanos”.

Asimismo, Gutiérrez concuerda con el Consejo de Europa en que la utilización de un sistema de inteligencia artificial con “un impacto significativo” en los derechos humanos de las personas debe ser identificable de manera clara y accesible para que cualquier ciudadano pueda comprender “cómo se adoptan las decisiones y cómo se han verificado”.

La publicación de la lógica que emplea el algoritmo no debe implicar la revelación del algoritmo en sí mismo, pero su transparencia tiene una doble garantía: comprobar si el programa está correctamente diseñado y si la solución que aporta cumple con las finalidades previstas y es la mejor solución posible.

Comentarios