Les administracions públiques no són alienes a la transformació digital que està impulsant la utilització de la intel·ligència artificial.
L’atenció a la ciutadania a través de robots conversacionals, la prestació proactiva i personalitzada de serveis en funció de les necessitats de les persones, l’anàlisi automatitzada de dades per lluitar contra el frau i la corrupció, la lectura de matrícules de cotxes que circulen per la via pública o la utilització de vehicles autònoms en el transport urbà són algun dels projectes experimentals basats en l’ús de la intel·ligència artificial impulsats per diferents administracions públiques.
En els darrers anys, la intel·ligència artificial està generant interès en responsables i treballadors i treballadores públics. Paral·lelament, també està ocupant l’atenció dels acadèmics. Precisament, la Revista Catalana de Dret Públic va publicar en el número 58 diversos articles dedicats a aquesta temàtica.
A la vista de l’interès i del coneixement tècnic i especialitzat al voltant de la intel·ligència artificial i dels seus usos a les administracions públiques, en aquest apunt em proposo fer una aproximació a les principals oportunitats i riscos que es deriven de l’automatització de la presa de decisions administratives a través de l’ús de la intel·ligència artificial.
Què és la intel·ligència artificial i quines decisions poden prendre les administracions públiques?
Tothom parla d’intel·ligència artificial. Tanmateix, més enllà de la imatge que podem tenir, sovint inspirada en pel·lícules futuristes, resulta complex aclarir què és la intel·ligència artificial perquè aquesta expressió recull tradicions, aproximacions i evolucions diferents que es concreten en tecnologies i tècniques molt diverses.
Si bé, tradicionalment, s’ha considerat que la intel·ligència artificial és aquella tecnologia que persegueix atribuir als ordinadors capacitats que serien considerades intel·ligents si fossin desenvolupades per persones, avui en dia, quan es parla d’intel·ligència artificial és habitual focalitzar l’atenció en els algoritmes d’aprenentatge automàtic, és a dir, aquells algoritmes que tenen la capacitat d’aprendre de les dades i l’experiència i a partir d’aquests formar nous criteris o prendre decisions autònomes. Aquest procés pot dur-se a terme amb una major o menor intervenció humana o, correlativament, amb una menor o major autonomia dels ordinadors.
Tot i el desenvolupament que ha experimentat la intel·ligència artificial en la darrera dècada -entre altres motius, gràcies a l’increment de la capacitat de computació dels ordinadors i de la disponibilitat de grans volums de dades juntament amb importants recursos aportats per les empreses tecnològiques i esforços meritoris realitzats per l’acadèmia-, encara ens trobem davant d’una intel·ligència artificial limitada, és a dir, que només permet als ordinadors fer tasques específiques i especialitzades i no és possible realitzar activitats que requereixin al mateix temps fer un conjunt de tasques cognitives diferents.
Algunes administracions públiques ja estan utilitzant algunes de les nombroses aplicacions que té la intel·ligència artificial en l’àmbit del processament del llenguatge natural, la visió computeritzada i la robòtica per la presa de decisions públiques. El més habitual és que les administracions públiques facin servir la intel·ligència artificial com a instrument auxiliar en la presa de decisions
Avui en dia, algunes administracions públiques ja estan utilitzant algunes de les nombroses aplicacions que té la intel·ligència artificial en l’àmbit del processament del llenguatge natural, la visió computeritzada i la robòtica per a la presa de decisions públiques. Aquestes aplicacions, de manera autònoma o combinada, s’utilitzen bé per l’automatització de la presa de decisions administratives, bé per fer propostes als decisors públics, bé per simular o avaluar els efectes o l’impacte de les decisions que es vulguin prendre.
El més habitual és que les administracions públiques facin servir la intel·ligència artificial com a instrument auxiliar en la presa de decisions. En aquesta direcció ja existeixen experiències en les quals s’utilitzen algoritmes d’aprenentatge automàtic per identificar riscos d’incendi en edificis o pisos turístics sense llicència, determinar persones que necessiten ajuts socials o identificar activitats que han de ser objecte d’inspecció o empreses que cometen fraus de la normativa vigent. En aquests casos els algoritmes analitzen les dades disponibles i faciliten una informació de gran valor perquè l’òrgan competent pugui prendre decisions de qualitat mitjançant la intervenció d’una persona que, sobre la base de la informació generada per l’algoritme, dicta l’acte corresponent finalitzada la tramitació del procediment administratiu.
Això no obstant, ja hi ha algunes experiències on els algoritmes prenen decisions de manera automatitzada, tot i que generalment són decisions senzilles o repetitives, o que no tenen complexitat o no produeixen efectes jurídics.
La utilització de la intel·ligència artificial en l’adopció de decisions administratives, més enllà de les dificultats tecnològiques que pot comportar, està generant un debat acadèmic, en particular, a l’hora de determinar quin tipus de decisions es poden arribar a prendre de manera automatitzada. Així, de manera preventiva, alguns autors recomanen que només es puguin prendre decisions reglades i es prohibeixi l’exercici de potestats discrecionals a través de la intel·ligència artificial essent necessari reservar aquestes decisions a les persones (Ponce Solé, 2019).
Tot i que no podem aprofundir en aquesta qüestió, al nostre entendre en aquest moment l’abast de la intel·ligència artificial en l’exercici de les potestats públiques no pot determinar-se a priori ni amb caràcter general sinó que serà el resultat d’una anàlisi de riscos en què caldrà tenir en compte aspectes diversos com ara l’estadi d’evolució de la intel·ligència artificial o la capacitat de supervisió humana de les decisions adoptades per un algoritme.[i] Així mateix, serà necessari també tenir en compte el que disposi la legislació vigent.
Permet la normativa l’ús de la intel·ligència artificial en la presa de decisions administratives?
Com és ben conegut, des de fa dècades la legislació reconeix l’ús dels mitjans electrònics en la tramitació del procediment administratiu.
De fet, a mida que la tecnologia ha anat evolucionant i el seu ús s’ha anat estenent entre les administracions públiques i la ciutadania, s’ha anat desenvolupant la regulació del seu ús fins a l’extrem que, en l’actualitat, la Llei 39/2015, d’1 d’octubre, del procediment administratiu comú de les administracions públiques afirma en el seu preàmbul que “en l’entorn actual, la tramitació electrònica no pot ser encara una forma especial de gestió dels procediments sinó que ha de constituir l’actuació habitual de les administracions”.
Tot i el desenvolupament experimentat en els darrers anys, la legislació no fa una previsió específica de l’ús de la intel·ligència artificial més enllà de les conseqüències que es puguin derivar de la regulació de l’actuació administrativa automatitzada que duen a terme els articles 41 de la Llei 40/2015, d’1 d’octubre, de règim jurídic del sector públic i, prèviament, el 44 de la Llei 26/2010, del 3 d’agost, de règim jurídic i de procediment de les administracions públiques de Catalunya. D’acord amb la norma bàsica, l’actuació administrativa automatitzada és aquella efectuada íntegrament a través de mitjans electrònics, en la qual cap empleat públic no hagi intervingut de manera directa i, per tant, també aquella decisió adoptada automàticament per un algoritme.
El legislador ha pensat més en l’automatització d’actuacions de tràmit -principalment actes d’ordenació, instrucció o comunicació- que no pas en la presa de decisions mitjançant intel·ligència artificial
Tanmateix, la lectura d’aquestes normes ens porta a observar que el legislador ha pensat més en l’automatització d’actuacions de tràmit -principalment actes d’ordenació, instrucció o comunicació- que no pas en la presa de decisions mitjançant intel·ligència artificial.
Tot i que els desenvolupaments reglamentaris d’aquestes normes s’han produït quan la intel·ligència artificial ja es ben present a la nostra societat, no han inclòs cap menció a l’ús d’aquesta tecnologia. En efecte, el Reial Decret 203/2021, de 30 de març, pel qual s’aprova el Reglament d’actuació i funcionament del sector públic per mitjans electrònics no en fa cap regulació específica. Per la seva banda, el Decret 76/2020, de 4 d’agost, d’Administració digital tampoc no parla explícitament de la intel·ligència artificial, tot i que sí que conté diversos preceptes directament relacionats amb la incorporació i l’ús d’aquesta tecnologia a l’Administració de la Generalitat com ara el de regular el govern de les dades o els serveis digitals.
La manca d’una regulació específica de l’ús de la intel·ligència artificial en les administracions públiques, juntament amb l’impacte que l’ús d’aquesta tecnologia disruptiva pot suposar a les persones, ha dut a que diferents administracions públiques hagin impulsat l’elaboració de cartes mitjançant les quals es reconeixen nous drets de la ciutadania. En aquesta direcció, l’Administració de la Generalitat de Catalunya ha impulsat la Carta catalana per als drets i les responsabilitats digitals. Un altre exemple el trobem a l’Ajuntament de Barcelona, el qual està participant amb aquest objectiu en la Coalició de Ciutats pels Drets Digitals.
A més d’aquestes iniciatives, també cal tenir present que davant les nombroses limitacions de la normativa vigent per donar una resposta adequada als riscos que pot generar l’ús de la intel·ligència artificial a les administracions públiques, des de diverses instàncies s’hagi proposat recórrer a l’ètica i adoptar codis ètics relatius a la intel·ligència artificial. En aquesta direcció, per exemple, la Comissió Europea va impulsar la creació d’un grup d’experts que ha elaborat les directrius ètiques per a una intel·ligència artificial fiable que disposa que ha de ser lícita, ètica i robusta (Grup independent d’experts d’alt nivell sobre intel·ligència artificial, 2019). Al nostre país, també s’han impulsat iniciatives com ara la creació de l’Observatori d’Ètica en Intel·ligència Artificial de Catalunya o del Comitè Ètic de les Dades.
Quins riscos pot generar l’ús de la intel·ligència artificial?
L’automatització de la presa de decisions administratives pot comportar nombrosos beneficis per a les administracions públiques i per a la ciutadania. Tanmateix, també pot generar diferents riscos derivats de l’ús de la intel·ligència artificial sobre els quals cal prestar atenció.
Cal advertir que tot i el seu nom, la intel·ligència artificial no és tan intel·ligent com sembla i que els algoritmes sovint poden contenir errors. Cal abordar el procés d’automatització amb precaució, avaluar-ne adequadament els riscos que poden sorgir i adoptar les mesures necessàries per evitar-los o minimitzar-los
En primer lloc, cal advertir que tot i el seu nom, la intel·ligència artificial no és tan intel·ligent com sembla i que els algoritmes sovint poden contenir errors. En aquesta direcció és molt clar Domingos, quan afirma que “la gent es preocupa perquè els ordinadors arribin a ser massa intel·ligents i puguin dominar el món, però el problema real és que tot i sent massa estúpids ja han dominat el món” (Domingos, 2015). Així doncs, cal abordar el procés d’automatització amb precaució, avaluar-ne adequadament els riscos que poden sorgir i adoptar les mesures necessàries per evitar-los o minimitzar-los.
En segon lloc, cal ser conscients que les administracions públiques sovint no disposen de dades de qualitat. En efecte, una de les principals limitacions per a l’ús de la intel·ligència artificial en la presa de decisions públiques és que les dades no són completes, no estan actualitzades, no són consistents o no són accessibles. Per fer front a aquestes limitacions, diverses administracions públiques ja estan adoptant mesures com ara dissenyar una governança de les dades.
En tercer lloc, cal recordar que els algoritmes sovint són opacs i no es pot conèixer com funcionen o quines dades utilitzen. De fet, és habitual referir-se als algoritmes com a caixes negres. Davant aquesta situació, les administracions públiques haurien de dissenyar els algoritmes perquè siguin transparents i també haurien d’incrementar la informació que difonen sobre els algoritmes que empren.
En quart lloc, cal evitar els biaixos que poden tenir els algoritmes que poden derivar en discriminacions a les persones interessades o afectades per una decisió automatitzada. De fet, nombrosos estudis observen que és freqüent que els algoritmes continguin biaixos de gènere, relacionats amb la raça de les persones o amb persones amb diversitat funcional. No podem desconèixer que, si no s’adopten mesures per evitar-ho, com ha advertit O’Neil (2018), “els algoritmes augmenten les desigualtats socials”. Per això, les administracions públiques haurien de garantir la qualitat de les dades que utilitzen els algoritmes, així com el disseny correcte d’aquests. També podrien recórrer a la valoració dels algoritmes a través de la certificació del disseny o a l’auditoria del seu funcionament.
En cinquè lloc, cal estar alerta de l’impacte de l’automatització de la presa de decisions en els drets fonamentals i, en particular, en la protecció de les dades personals. En efecte, no es pot desconèixer que, per exemple, a partir del tractament de dades personals es poden inferir de manera automatitzada noves dades personals o es poden elaborar perfils que poden incidir en drets fonamentals, com ha posat de manifest, entre d’altres, el Consell d’Europa en la seva Declaració sobre les capacitats manipulatives dels processos algorítmics adoptada el 13 de febrer de 2019. Per evitar-ne els efectes negatius, qualsevol decisió d’incorporar la intel·ligència artificial en la presa de decisions administratives ha de tenir present el que disposa el Reglament general de protecció de dades i, en particular, el dret a no ser objecte d’una decisió automatitzada com l’elaboració de perfils que produeixi efectes jurídics que l’afectin significativament de manera similar (article 22.1 RGPD). A aquests efectes, poden ser d’utilitat els diferents informes i guies que han elaborat les autoritats de protecció de dades.[ii]
En sisè lloc, cal valorar l’impacte de l’automatització en l’autonomia de les persones. Si bé la personalització o la prestació proactiva dels serveis públics s’ha de valorar positivament perquè pot suposar un benefici per a les persones usuàries i una millora de la qualitat dels serveis públics, no es pot desconèixer que alhora es pot estar limitant o restringint la capacitat o llibertat d’escollir si es vol rebre o no un servei o de quina manera.
En setè lloc, cal conèixer la incidència de l’ús de la intel·ligència artificial en l’ocupació pública. Al respecte, cal tenir present que diversos estudis assenyalen que pràcticament la meitat dels treballs actuals estan en alt risc de ser automatitzats en les properes dècades. Això no obstant, l’extensió de la intel·ligència artificial a les administracions públiques també requerirà l’enfortiment de determinats perfils professionals i la creació de nous perfils amb competències en aquelles tasques que no puguin ser realitzades per la intel·ligència artificial.
En vuitè lloc, cal reconèixer la necessitat que les administracions públiques puguin rendir comptes de les decisions adoptades tot i que aquestes s’hagin pres de manera automatitzada. En ocasions, quan es pren una decisió automatitzada a través d’un algoritme, l’Administració pública pot desconèixer quins són els seus fonaments o quins elements ha tingut en compte l’algoritme per prendre la decisió.
Finalment, cal ser conscients del paper de les grans empreses tecnològiques multinacionals en el desenvolupament de la intel·ligència artificial, el que pot generar una dependència tecnològica per part de les administracions públiques i arribar a determinar, en darrera instància, la presa de decisions administratives.
Les persones al centre de l’automatització de la presa de decisions
A través de l’automatització, les administracions públiques poden atribuir la presa de decisions als algoritmes en comptes de a les persones. Això no obstant, l’ús de la intel·ligència artificial no té perquè prescindir de les persones. En aquesta direcció, per exemple, la Comissió Europea ha reclamat la necessitat de generar confiança en la intel·ligència artificial centrada en l’ésser humà [COM (2019) 168 final].
En primer lloc, l’ús de la intel·ligència artificial pot facilitar que la presa de decisions se centri en les persones. Gràcies a l’ús dels algoritmes d’aprenentatge automàtic les administracions públiques poden personalitzar i prestar proactivament els serveis públics de manera que s’anticipin o adeqüin a les necessitats de les persones. Per afavorir aquest procés de personalització cal garantir una participació ciutadana suficient en el procés de disseny dels procediments que utilitzin la intel·ligència artificial.
En segon lloc, les persones han de poder supervisar el funcionament dels algoritmes per evitar errors o biaixos. En efecte, quan les administracions públiques utilitzen la intel·ligència artificial en la presa de decisions han de garantir la fiabilitat dels algoritmes. Per això, més enllà de la robustesa tècnica dels algoritmes o de la qualitat de les dades que s’utilitzin, és necessari que hi hagi una supervisió humana. Aquesta es pot donar tant en el disseny dels algoritmes com en el mateix procés de presa de decisions, per exemple, preveient la decisió d’una persona a partir de la proposta elaborada per un algoritme o preveient mecanismes de supervisió, control o avaluació de les decisions adoptades de manera automatitzada per part de persones. En qualsevol cas, la previsió d’un o altre mecanisme ha de estar vinculat als riscos derivats de l’ús de la intel·ligència artificial.
Finalment, en tercer lloc, els responsables públics han de decidir quines decisions poden ser adoptades de manera automatitzada a través d’algoritmes. A aquests efectes és necessari que s’analitzin els beneficis que aporta l’ús de la intel·ligència artificial en la presa de decisions de manera automatitzada i s’identifiquin els riscos que pot generar. Aquest procés s’ha de fer amb un lideratge adequat que s’ha de plasmar en una estratègia que determini els objectius perseguits amb la incorporació de la intel·ligència artificial, concreti les accions que es duran a terme i identifiqui els recursos que s’utilitzaran.
Agustí Cerrillo i Martínez
Catedràtic de Dret Administratiu. Universitat Oberta de Catalunya
Referències
Cerrillo i Martínez, Agustí. (2020). ¿Son fiables las decisiones de las Administraciones públicas adoptadas por algoritmos? European Review of Digital Administration & Law, 1(1), 18-36.
Comissió Europea. Grup independent d’experts d’alt nivell sobre intel·ligència artificial. (2019). Directrices éticas para una IA fiable.
Domingos, Pedro. (2015). The master algorithm: How the quest for the ultimate learning machine will remake our world. Basic Books.
O’Neil, Catherine. (2018). Armas de destrucción matemática. Madrid: Capitán Swing.
Ponce Solé, Juli. (2019). Inteligencia artificial, Derecho administrativo y reserva de humanidad: algoritmos y procedimiento administrativo debido tecnológico. Revista General de Derecho Administrativo, 50.
[i] Em remeto en aquest punt a les consideracions realitzades a Cerrillo i Martínez, 2020.
[ii] Vegeu, entre d’altres, el document Intel·ligència Artificial. Decisions Automatitzades a Catalunya elaborat per l’Autoritat Catalana de Protecció de Dades (2020).