La Superintendencia de Pensiones de la República Dominicana lanza a RITA, chatbot de IA generativa diseñado para responder las inquietudes de los ciudadanos sobre el Sistema Dominicano de Pensiones 24/7[1]. ChatGPT se suma al equipo de tareas administrativas municipales en la ciudad de Yokosuka[2]. El Ministerio de Asuntos Exteriores de Ucrania presentó a Victoria Shi, portavoz diplomática creada con inteligencia artificial para ofrecer declaraciones sobre asuntos consulares y brindar informaciones oficiales a los medios de comunicación[3]. El avatar AI Steve busca llegar al Parlamento británico para tomar sus decisiones basadas en las peticiones de los votantes[4]. Lo cierto es que, a raíz de que la inteligencia artificial generativa llegara a manos de todos, encontrándose actualmente en la cima de las expectativas del hype cycle[5], es frecuente ver innovaciones de este tipo, ya que todos los sectores, incluyendo el sector público, se han planteado cómo rediseñar los procesos y procedimientos.
Desde décadas atrás, están arraigados en nuestro vocabulario los términos de gobierno digital y gobierno electrónico, nociones que evocan la incorporación de las TICs a las administraciones públicas. Lo anterior, con la finalidad de ofrecer una buena administración, cumpliendo a cabalidad los principios rectores de toda actuación administrativa: eficiencia, efectividad y eficacia. En ese orden, la CEPAL bien ha expuesto que las tecnologías emergentes, por ejemplo, internet de las cosas, Big Data, Blockchain, la nube, inteligencia artificial, entre otras, representan una oportunidad inédita no solo para fortalecer sino para transformar las funciones públicas y su interacción con la ciudadanía, la academia y las empresas, permitiendo una democracia más amplia y robusta, así como un mundo más próspero e inclusivo[6].
La inteligencia artificial, tecnología objeto del presente artículo, tiene gran potencial. Para muestra, permite automatizar asignaciones repetitivas, proponer soluciones distintas a problemas de larga data, brindar una atención permanente y personalizada a la ciudadanía, buscar de modo más ágil en las bases de datos, hacer predicciones más precisas en los distintos ámbitos de la sociedad con el objetivo de efectuar una mejor distribución de recursos y formulación adecuada de las políticas públicas, etc. De ahí que, el experto profesor Carles Ramió asegura que debemos observar la IA como una oportunidad de mejora para las administraciones públicas, ya que asumir una postura reactiva sería un error, en atención a que de todos modos se incorporarán estas innovaciones, tarde o temprano, siendo perjudicial que su aplicación se prologue en el tiempo desorganizadamente[7].
A la fecha, los casos de éxito que conocemos impresionan por sí solos, demostrando el impacto y las repercusiones significativas. Algunos de ellos son:
- Veripol, el detector de mentiras de la Policía española que haciendo uso de machine learning y procesamiento del lenguaje natural identifica en un 90% las denuncias falsas, logrando una reducción de esta mala práctica en un 40%[8].
- En sanidad, el Ministerio de Salud de Chile utiliza la herramienta DART, software con algoritmo de autoaprendizaje inteligente que compara las imágenes de retina de los pacientes con los datos asociados a retinopatía diabética, triplicando la cantidad de exámenes para prevenir el desarrollo de esta enfermedad y mejorar la disponibilidad de los oftalmólogos del país, clasificando un 54,4% que no necesitaban acudir a un especialista vs. un 45,6% que sí debía acudir en tan solo un año[9].
- Los semáforos inteligentes en Alemania, cuyos sensores y algoritmos adaptan los tiempos de espera a las circunstancias del tráfico. Como resultado, el tiempo de los desplazamientos se reduce entre un 10% a un 15% y en consecuencia, se reduce la contaminación acústica, los accidentes por acciones imprudentes en desesperación y las emisiones de CO2[10].
No obstante, existe un lado oscuro, literalmente. Resulta que este tipo de sistemas pueden ser opacos, es decir, que las técnicas que se utilizan, como las redes neuronales profundas, en ocasiones son tan complejas que no nos permiten entender ni a los programadores explicarnos aquellos parámetros bajo los cuales se tomó una decisión, dificultad conocida como cajas negras[11]. A su vez, hay algoritmos que son secretos para preservar distintos derechos en materia de protección de datos personales, propiedad intelectual e industrial. Incluso, en otros escenarios no se dan a conocer sus pasos para garantizar la confidencialidad de distintos procesos. Y ¿cuál es el problema? Que bajo ese esquema no se podría cumplir con el deber de motivación y al no conocer las razones que justifican una decisión administrativa tampoco tendríamos argumentos para recurrir estos actos.
Cabe subrayar que, ya se han dilucidado en los tribunales conflictos de este tipo, con suerte desigual, mientras en Italia el Tribunale Amministrativo Regionale Lazio-Roma reconoce el derecho de acceso al algoritmo por tratarse de un acto administrativo informático[12], en España la Sala de lo Contencioso-Administrativo Sección Séptima de la Audiencia Nacional deniega el acceso al código fuente por razones de seguridad informática[13]. Sin embargo, es oportuno recordar que los administrados tenemos derecho de acceso a la información y transparencia exigible a la Administración para los propios intereses legítimos de los particulares, para acceder al conocimiento más amplio y cierto que sea posible de la realidad como función principal del procedimiento administrativo y por supuesto, como elemento al servicio de la democracia participativa[14].
Por otro lado, tampoco está a nuestro alcance el proceso de diseño. Los sistemas pueden presentar sesgos o discriminaciones, beneficiando o perjudicando a un grupo de ciudadanos con determinadas características. Lo expuesto, puede deberse a que se entrene al algoritmo excluyendo información importante, que se incorporen datos erróneos o contaminados y que los mismos no sean representativos. De igual modo, que el equipo que trabaja el sistema transmita sus prejuicios, de forma consciente o inconsciente[15]. Si quieres saber más, te invito a ver el documental de Netflix, Prejuicio Cifrado, en el que se analiza el descubrimiento de Joy Buolamwini sobre el sesgo racial en los algoritmos de reconocimiento facial diseñados por Amazon, IBM y Microsoft.
Al respecto, el derecho a la igualdad es fundamental y adquiere especial trascendencia para el derecho administrativo, ya que los administrados pueden ver limitadas las prerrogativas que les corresponden ante la situación descrita. Sobre ello, indispensable citar un fallo histórico, se trata de una sentencia del Tribunal de la Haya donde se constata que el Ministerio de Asuntos Sociales y Empleo analizaba datos sobre ingresos, pensiones, seguros, tipo de casa, impuestos, multas, integración, educación, deudas, subsidio de desempleo, para luego, a través de algoritmos, determinar la probabilidad que tiene una persona de defraudar la Administración. En este tenor, el tribunal referido consideró que, si bien es cierto que evitar un delito es un objetivo legítimo y social, el modelo elaborado causa efectos no deseados, pudiendo discriminar y estigmatizar a los ciudadanos en función de la gran cantidad de datos que recopila[16].
Asimismo, en fecha 07 de diciembre de 2023, el Tribunal de Justicia de la Unión Europea (TJUE) aborda los posibles efectos discriminatorios que tiene toda decisión automatizada, por lo que las puntuaciones crediticias (credit scoring) -caso en cuestión- que califican solicitudes para la toma de decisiones relativas a la concesión o no de una determinada operación de riesgo o a la fijación de sus condiciones, pueden servir como insumo para la medida que se asuma, pero queda prohibido que sea la base sustancial de la misma[17]. El artículo 22.1 del conocido Reglamento General de Protección de Datos establece que todo interesado tendrá derecho a no ser objeto de una decisión basada únicamente en el tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos en él o le afecte significativamente de modo similar. Precepto perfectamente extrapolable a las decisiones de las administraciones públicas.
Ante el contexto expuesto sobre la transparencia algorítmica, el Centro Latinoamericano de Administración para el Desarrollo (CLAD) publicó una Carta Iberoamericana de Inteligencia Artificial en la Administración Pública, en la que se promueven principios de uso de IA en la ADM[18] , los cuales, en mi opinión, contienen los parámetros que deben seguir los gobiernos para hacer un uso responsable de esta tecnología disruptiva. Estos son:
- Principio de autonomía humana, donde se garantice que las personas usuarias puedan mantener en todo momento el control sobre los datos que sean utilizados, el contexto en el que tales datos sean usados y la capacidad para modificar tanto el uso como el contexto.
- Principio de transparencia, trazabilidad y explicabilidad, donde la adopción de esta tecnología se fundamente en que las personas puedan comprender los sistemas, que quienes interactúen con ellos sean conscientes de dicha relación y sea posible apelar sus potenciales efectos.
- Principio de rendición de cuentas, responsabilidad y auditabilidad, donde todos los actores involucrados en el diseño y uso de estos sistemas puedan rendir cuentas por su adecuado funcionamiento y el respeto a los derechos fundamentales. Llevar a cabo estas prácticas es posible gracias a herramientas y metodologías de auditoría algorítmica, con evaluaciones periódicas de los sistemas de inteligencia artificial.
- Principio de seguridad y robustez técnica, en miras de garantizar que estos sistemas sean seguros, que no puedan ser vulnerables o manipulables por terceros no autorizados, ni deben comprometer los datos sobre los que están entrenados. En ese sentido, es necesario incorporar medidas de prevención, establecer normas y marcos de seguridad que protejan el acceso, la compartición y uso de los datos.
- Principio de fiabilidad, precisión y reproductibilidad, garantizando su funcionamiento adecuado en distintos contextos y evaluando su impacto, de manera tal que cuando se encuentre en compromiso la credibilidad de sus resultados, se eliminen o mitiguen las situaciones donde el daño humano sea potencialmente más elevado.
- Principio de confianza y proporcionalidad, en búsqueda de que estos sistemas se orienten a propósitos legítimos y proporcionados respecto al contexto de uso en cada caso, así como establecer mecanismos para reparar o indemnizar ante consecuencias no deseadas.
- Principio de privacidad, protección, calidad e integridad de los datos, con protocolos claros del manejo masivo de datos. Que se cumpla con requisitos para la preselección de la información, desarrollo de buenas prácticas, trazabilidad de las fuentes, etc.
Definitivamente, necesitamos que la Administración Pública se modernice, pero también que sea honesta, que nos informe cuando use inteligencia artificial, indicándonos en qué la usa, para qué y cómo. Que comprenda la importancia de incorporar sistemas explicables desde su concepción. Que pueda aquilatar el valor de las oposiciones de los ciudadanos ante determinadas decisiones basadas en instrucciones matemáticas y que sea en favor del interés general. Legislación, softwares abiertos, procesos de contratación pública rigurosos, inspecciones periódicas obligatorias, certificaciones, son algunas de las soluciones propuestas para que alcancemos el equilibrio perfecto hacia un sector público ético e innovador. En esta era de algoritmos omnipresentes, es indispensable sistemas transparentes.
Nicole Marie Suárez Uribe
Es Licenciada en Derecho Summa Cum Laude de PUCMM. Máster en Abogacía Digital y Nuevas Tecnologías, máster en Derecho de la Administración del Estado, ambas por la Universidad de Salamanca y máster valedictorian en Alta Dirección Pública Estratégica por la Universidad Rey Juan Carlos y el IGLOBAL. Es egresada del Programa de Alto Potencial Directivo de Barna Management School. Cursa un posgrado en Derecho e Inteligencia Artificial de la Universidad de Buenos Aires. Asesora en derecho y tecnología, consultora en transformación digital, investigadora, articulista y conferencista a nivel nacional e internacional.
__________________________________________________________
Recuerda seguirnos por todas las redes sociales a través del usuario @datalawrd y nuestro canal de Youtube para ver más sobre nuestro contenido.
__________________________________________________________
Referencias bibliográficas:
[1] Superintendencia de Pensiones (17 de junio de 2024). La Sipen presenta a RITA: chatBot del Sistema Dominicano de Pensiones. Disponible en: https://www.sipen.gob.do/noticias/la-sipen-presenta-a-rita-chatbot-del-sistema-dominicano-de-pensiones
[2] Osaki, A. (20 de abril de 2023). Yokosuka becomes Japan’s first city to use ChatGPT for administrative tasks. The Japan Times. Disponible en: https://www.japantimes.co.jp/news/2023/04/20/national/chatgpt-yokosuka-trial/
[3] Girón, N. (3 de mayo de 2024). Ucrania crea una nueva portavoz diplomática con inteligencia artificial. CNN en Español. Disponible en: https://cnnespanol.cnn.com/video/ucrania-portavoz-diplomatica-ia-inteligencia-artificial-redaccion-buenos-aires-tv/
[4] France24. Steve, el avatar creado con inteligencia artificial que busca llegar al Parlamento británico. Disponible en: https://www.france24.com/es/video/20240619-steve-el-avatar-creado-con-inteligencia-artificial-que-busca-llegar-al-parlamento-británico
[5] Gartner (2023). What’s New in Artificial Intelligence from the 2023 Gartner Hype Cycle. Disponible en: https://www.gartner.com/en/articles/what-s-new-in-artificial-intelligence-from-the-2023-gartner-hype-cycle
[6] Enríquez, A. y Sáenz, C. Gobierno digital. Pieza clave para la consolidación de Estados democráticos en los países del SICA. Serie Estudios y perspectivas núm. 196. Sede subregional de la CEPAL en México, p.20. Disponible en: https://repositorio.cepal.org/server/api/core/bitstreams/08f66426-7dde-4dfe-869c-0186dae54534/content
[7] Ramió, C., Inteligencia Artificial y Administración Pública robots y humanos compartiendo el servicio público, Editorial Catarata, Madrid, 2019, p. 168.
[8] Álvarez, R., «La inteligencia artificial de la Policía que desenmascara denuncias falsas», La Vanguardia, 13 de abril de 2019. Disponible en ciberpágina: https://www.lavanguardia.com/ tecnologia/20190414/461583468024/veripol-policia-nacional-inteligencia-artificial-algoritmo-denuncias-falsas.html
[9] Gob_Lab UAI. DART: Inteligencia artificial en oftalmología utilizada por el Ministerio de Salud (MINSAL). Disponible en: https://www.algoritmospublicos.cl/proyecto-dart-inteligencia-artificial-oftalmologia-minsal
[10] Soto, J. (28 de febrero de 2022). Alemania ya prueba los semáforos inteligentes. El Motor. Disponible en: https://motor.elpais.com/tecnologia/alemania-ya-prueba-los-semaforos-inteligentes/
[11] Diakopoulos, N., «Algorithmic Accountability», Digital Journalism, volumen 3, 2014, pp.398- 415. Disponible en ciberpágina: https://www.tandfonline.com/doi/full/10.1080/21670811.2014.976411
[12] Italia, Tribunale Amministrativo Regionale Lazio-Roma, secc.III-bis, sentencia núm.3769 del 22 de marzo de 2017.
[13] Caso BOSCO, sentencia 30 de abril de 2024 recurso de apelación 51/2022 (LA LEY 18715/2022).
[14] Esteve, J., Lecciones de Derecho administrativo, Tercera edición, Marcial Pons, Madrid, 2013, pp. 173-175.
[15] Ferrante, E., «Inteligencia artificial y sesgos algorítmicos», Revista Nueva Sociedad, número 294, julio-agosto 2021, pp. 29-36.
[16] Países Bajos, Rechtbank Den Haag, caso número C-09-550982-HA ZA 18-388 del 05 de febrero de 2020. Disponible en: https://uitspraken.rechtspraak.nl/inziendocument?id=ECLI:NL:RBD HA:2020:865
[17] TJUE. En el Asunto C-634/21. OQ y Land Hessen con intervención de SCHUFA Holding AG del 07 de diciembre de 2023. Disponible en: https://curia.europa.eu/juris/document/document.jsf;jsessionid=70C6B9D4734A446DBDAA162297213DD8?text=&docid=280426&pageIndex=0&doclang=ES&mode=req&dir=&occ=first&part=1&cid=100377
[18] CLAD (2023). Carta Iberoamericana de Inteligencia Artificial en la Administración Pública. Disponible en: https://clad.org/wp-content/uploads/2023/10/Borrador-CIIA-V1-ES-08-2023.pdf
