Página /
Introducción
Cuando se habla de sistemas automatizados utilizados en el sector público, es posible que escuchen términos como algoritmos, sistemas algorítmicos, machine learning o inteligencia artificial de manera indistinta e intercambiable.
Por esta razón, para un uso responsable de las innovaciones tecnológicas en el sector público es importante comenzar por distinguir y entender los distintos términos asociados a la IA.
¿Qué es un algoritmo?
Un algoritmo generalmente se considera como la lógica matemática detrás de cualquier tipo de sistema que realiza tareas o toma decisiones.
Por ejemplo, el proceso de toma de decisiones automatizado que Facebook utiliza para clasificar qué publicaciones ve un usuario en su feed es un algoritmo.
Así mismo, la lógica utilizada en un programa de software para asignar un puntaje de riesgo de seguridad pública a personas acusadas de crímenes también es un algoritmo.
Los algoritmos no son software
Los algoritmos no tienen que estar necesariamente basados en software para ordenadores.
En muchos casos los algoritmos pueden representarse mediante un documento que describe los pasos que debe seguir un funcionario para evaluar un caso particular y tomar una decisión.
En resumen, un algoritmo es un proceso de toma de decisión que puede ser automatizado.
¿Qué es la IA?
La Inteligencia Artificial (IA) tiene muchas definiciones y puede incluir una amplia gama de métodos y herramientas, que incluyen:
- el aprendizaje automático (Machine learning / ML)
- el reconocimiento facial
- el procesamiento del lenguaje natural
Facial recognition technology is used on our streets, at airports, in shops… even in our pockets. But, how does it actually work?
Entrevista con Antonio Moreno, Director de la Cátedra UAM-IIC en Lingüística Computacional. Director del Laboratorio de Lingüística Informática en UAM. En este vídeo, Antonio define claramente procesamiento de lenguaje natural y cuales son las tareas que se pueden realizar con PLN. Además también comparte las metodologías que existen a la hora de aplicar el procesamiento de lenguaje natural dependiendo, metodología simbólica y la estadística.
Desmitificando la IA
La IA debe entenderse como algo más que simples enfoques técnicos. También se desarrolla a partir de:
a) las prácticas sociales dominantes de los ingenieros y científicos de la computación que diseñan los sistemas.
b) la infraestructura industrial y de las compañías que administran esos sistemas.
Por lo tanto, una definición más completa de la IA y su uso en el sector público debe considerar los enfoques técnicos, prácticas sociales y poder industrial.
Tip: Para una lectura a profundidad sobre IA recomendamos el curso Elements of AI (ENG)
¿Qué es Machine Learning?
El aprendizaje automático (ML por sus siglas en inglés) es el campo más comúnmente asociado con la explosión actual de la IA.
El aprendizaje automático es un conjunto de técnicas y algoritmos que se pueden utilizar para entrenar un programa capaz de reconocer automáticamente patrones en un conjunto de datos.
¿Cómo funciona el ML?
ML generalmente usa características o variables (por ejemplo, la ubicación de los cuerpos de bomberos en una ciudad o los datos de cámaras de vigilancia) tomados de un conjunto de datos de entrenamiento para aprender estos patrones sin que se les diga cuáles son esos patrones según los humanos.
De la IA a los ADMS
El aprendizaje automático es la técnica utilizada en el núcleo de programas de software ofrecidos por compañías como soluciones de IA para automatizar procesos de toma de decisiones, lo que muchas veces dificulta que los humanos comprendan la lógica detrás de esos sistemas.
Por esta razón el término ADMS (Automated Decision Making System) es utilizado por gobiernos de ciudades como Nueva York en su grupo de trabajo de rendición de cuentas algorítmica y por organizaciones europeas como AlgorithmWatch, para evaluar y entender los procesos algorítmicos de toma de decisiones que tienen relevancia social.
ADMS (Automated Decision Making Systems)
Los sistemas de toma de decisión automatizados (ADMS por sus siglas en inglés) son sistemas que utilizan el razonamiento automatizado (algoritmos) para asistir o reemplazar un proceso de toma de decisiones que de otra forma sería realizado por humanos.
Los ADMS son sistemas
A menudo, un sistema de decisión automatizado se refiere a un software de aplicación particular, con una entrada (input) y salida (output) concretos.
Los tipos de datos de entrada pueden ser simples. Por ejemplo:
Uso: Asignar plazas en escuelas públicas.
Entrada: Datos demográficos extraídos de certificados.
Salida: Validar disponibilidad de plazas y compatibilidad de requisitos según criterios preestablecidos.
Los ADMS pueden ser sistemas dinámicos
También existen sistemas más complejos en los que los datos de entrada se capturan y procesan en tiempo-real.
Un ejemplo de ADMS dinámicos son los sistemas foto-rojo:
Uso: Constatar el respeto a las señales luminosas.
Entrada: Imágenes y datos capturados por cámaras y sensores.
Salida: Monitorizar y registrar evidencias de infracciones.
En este vídeo te explicamos cómo funcionan los semáforos con cámara de Madrid, que también están instalados en otras ciudades como Valencia y están generando grandes polémicas por el poco tiempo que tarda la fase ámbar en pasar a rojo.
¿Cómo funciona un ADMS?
Según el manifiesto ADM de AlgorithmWatch, el siguiente proceso de toma de decisiones algorítmicas puede describir un ADMS:
- diseñar procedimientos para recopilar datos,
- recopilar datos,
- diseñar algoritmos para:
a) analizar los datos,
b) interpretar los resultados de este análisis basado en un modelo de interpretación definido por el ser humano,
c) y para actuar automáticamente en función de la interpretación determinada en un modelo de toma de decisiones definido por el ser humano.
La importancia de estas definiciones
Distintos tipos de gobierno, desde países hasta pequeñas ciudades, utilizan cada vez más soluciones ADMS y otras formas de análisis predictivo catalogadas como soluciones de IA.
Usos frecuentes:
- Evaluación de personas o casos
- Asignación de recursos públicos
- Vigilancia (seguridad y protección)
- Toma o automatización de casi cualquier tipo de decisión.
El impacto de los ADMS en la sociedad
En todo el mundo, distintas la implementación de soluciones ADMS ya impacta cuestiones sociales de manera directa o indirecta, y con efectos positivos y negativos en áreas como:
- Justicia
- Igualdad
- Participación
- Bienestar público
When algorithms and artificial intelligence systems have only been designed by white men, how can these become racist and sexist in terms of facial recognition just for white people, or dismissing some jobs just because the applicant is a women. How can this situation be fixed without ?
Una cuestión de responsabilidad
Parte del desarrollo de un uso responsable e innovador de las soluciones ADMS en el sector público es entenderlas como sistemas en lugar de tecnologías.
Al definirlos como sistemas, señalamos que los gobiernos deben adoptar un enfoque integral al decidir cuándo y cómo implementar soluciones ADMS en el sector público.
El contexto social y tecnológico
Los ADMS operan en un marco socio-tecnológico que abarca:
- un modelo de toma de decisiones
- un algoritmo que traduce este modelo en código computable,
- los datos que este código usa como entrada, ya sea para “aprender” de ellos o para analizarlos aplicando el modelo,
- y todo el entorno político y económico que rodea su uso
El impacto en distintas etapas
Esto significa que la decisión en sí misma de implementar una solución ADMS para un determinado propósito es parte de este marco, así como las distintas etapas de:
- Diseño y desarrollo (por una entidad del sector público o una empresa comercial)
- Adquisición
- Implementación
- Evaluación
En los siguientes capítulo veremos algunos casos, consideraciones y guías para navegar estas etapas.
Sistemas por humanos para humanos
Todos los sistemas ADMS están diseñados por humanos e involucran cierto grado de participación humana en su operación.
Los seres humanos son, en última instancia, responsables de:
- cómo un sistema recibe sus entradas (por ejemplo, quién recolecta los datos que se introducen en un sistema),
- cómo se usa el sistema
- y cómo se interpretan y actúan las salidas de un sistema
Clasificación por objetivos de uso
Las soluciones ADMS se pueden clasificar de múltiple formas. Para el propósito de este toolkit, utilizaremos tres clases, que corresponden a diferentes objetivos de uso:
- Uso #1: Mejorar el conocimiento general
- Uso #2: Mejorar o desarrollar nuevos servicios digitales
- Uso #3 Integrar ADMS en sistemas físicos digitalizados
Nota: El siguiente contenido es una traducción adaptada de la categorización presentada en el reporte ‘Understanding algorithmic decision-making: Opportunities and challenges’ (páginas 4-5) publicado por el Think Tank del Parlamento Europeo en Marzo 2019.
Uso #1: ADMS que buscan mejorar el conocimiento general
Los ADMS en esta categoría usan algoritmos para generar nuevo conocimiento, generalmente a través del análisis de fenómenos complejos. Los algoritmos son cruciales en este contexto, ya que pueden usarse para analizar conjuntos de datos muy grandes para extraer conocimiento.
Pueden, por ejemplo, ayudar a mejorar los pronósticos climáticos, detectar enfermedades o descubrir nuevos virus. Estos ADMS se utilizan para tomar decisiones que tienen impacto en la sociedad en lugar de en individuos específicos.
Uso #2: ADMS que buscan mejorar o desarrollar nuevos servicios digitales
Las aplicaciones de esta categoría se utilizan para ayudar a hacer predicciones, recomendaciones o decisiones en diversas áreas, como información, finanzas, planificación, logística, etc. Estos servicios tienen como objetivo optimizar uno o varios criterios específicos, como tiempo, energía, costo o la relevancia de la información.
Por ejemplo, los servicios de navegación (Google Maps o Citymapper) ayudan a los usuarios a identificar la ruta ‘óptima’ hacia su destino teniendo en cuenta parámetros tales como el tráfico actual, el costo y las condiciones de la carretera. También existen aplicaciones para el hogar inteligente para mejorar la comodidad y optimizar el consumo de energía (Google Nest Learning Thermostat).
Del mismo modo, existen aplicaciones médicas para ayudar a los usuarios a mejorar su salud (por ejemplo, monitoreando sus actividades físicas o hábitos alimenticios).
Estos servicios usan muchos datos y algoritmos complejos o modelos. Pueden dirigirse a individuos pero también integrarse a servicios privados y públicos.
Por ejemplo, se están desplegando servicios para mejorar aspectos logísticos (colocación óptima del producto en tiendas, optimizar la construcción de carreteras, o la frecuencia de basura colección), finanzas (subastas en tiempo real) o seguridad (detección automatizada de vulnerabilidades en sistemas informáticos).
Las soluciones ADMS también se pueden utilizar para ‘optimizar’ los servicios existentes.
En este contexto, las decisiones que hasta ahora fueron tomadas por humanos ahora se llevan a cabo con la asistencia o directamente por ADMS. Por ejemplo:
- la asignación de tareas
- el reclutamiento
- la gestión de la relación con el cliente
Uso #3: ADMS integrado dentro de sistemas físicos digitalizados
En este contexto, los ADMS se utilizan para proporcionar autonomía a los objetos físicos al limitar la supervisión humana.
Ejemplos son los coches, robots o armas autónomas. Se están experimentando automóviles autónomos con todo el mundo. Los algoritmos deben reemplazar, o al menos ayudar, a los usuarios en la forma en que operan los vehículos y deben tomar decisiones en nombre de los ‘conductores’.
Los objetivos son esencialmente hacer que las carreteras sean más seguras y optimizar los tiempos de conexión.
Del mismo modo, se están desarrollando robots autónomos para ayudar o reemplazar a los humanos en la realización de tareas físicas difíciles en el trabajo o en el hogar.
Los ejemplos incluyen robots utilizados en cadenas de fábricas, robots domésticos que brindan servicios a humanos o robots en el campo de batalla. Se está desarrollando una variedad de armas autónomas para ayudar a los soldados en la acción y limitar el daño colateral.