Introducció
El camí cap a l’adopció del Reglament de la Unió Europea sobre regles harmonitzades en matèria d’intel·ligència artificial (d’ara endavant, el Reglament) ja s’acaba. El 8 de desembre passat, després de mesos de negociacions, es va tancar un acord provisional entre el Parlament i el Consell que preludiava l’aprovació definitiva del primer marc normatiu a escala regional sobre la IA abans que acabés la legislatura. El 13 de febrer la Comissió del Mercat Interior i Protecció del Consumidor (IMCO) i la Comissió de Llibertats Civils, Justícia i Assumptes d’Interior (LIBE) van aprovar (amb 71 vots a favor, 8 en contra i 7 abstencions) el text de l’acord, el qual va ser adoptat, finalment, en la sessió plenària del Parlament Europeu del 13 de març (523 vots a favor, 46 en contra i 49 abstencions). Després de l’aprovació final del Consell, s’espera que el Reglament s’adopti abans del final de la legislatura.
Dins de les àrees que es veuran afectades pel nou marc normatiu, la migració, el control de fronteres i l’asil ocupen un paper en primer pla, en vista de les innombrables aplicacions que s’han experimentat a escala estatal i europea al llarg dels darrers anys i de la cobertura normativa que proposa el nou Reglament (per a un examen global, cf. Molnar, 2023).
Aquest apunt se centrarà concretament en una de les aplicacions més controvertides que regula aquest Reglament: la intel·ligència artificial emocional o reconeixement d’emocions a través de la IA. Es tracta d’un tipus d’IA que té l’objectiu de reconèixer l’estat emocional d’una persona a partir de les seves dades biomètriques, com ara el rostre o la veu.[i] D’aquesta manera, es podria deduir a partir de la comunicació no verbal si una persona està estressada o menteix. Això implica l’ús de tecnologies que associarien a una determinada expressió facial –o un altre element corporal que es consideri–, una emoció (p. ex., ràbia) i una conclusió, com pot ser la determinació sobre la veracitat de les declaracions del subjecte interessat. El mateix Reglament (cf. el considerant 18a) proporciona una sèrie d’exemples d’emocions que formen part de la definició de reconeixement d’emocions (felicitat, tristesa, etc.), tot i que la delimitació d’allò que realment hi té cabuda no queda del tot clar i previsiblement donarà lloc a controvèrsies interpretatives (cf. Access Now, 2021).
Més enllà de la natura discriminatòria de la normativa i de les múltiples repercussions en els drets fonamentals (…), la literatura ha titllat de pseudociència els sistemes de reconeixement d’emocions.
Més enllà de la natura discriminatòria de la normativa i de les múltiples repercussions en els drets fonamentals, que es comenten més endavant, la literatura ha titllat de pseudociència els sistemes de reconeixement d’emocions, havent esguard que resulten desproveïts d’evidències científiques que en justifiquen l’ús i que no consideren la variabilitat de les expressions humanes entre cultures, fins i tot en una mateixa persona: “how people communicate anger, disgust, fear, happiness, sadness, and surprise varies across cultures, situations, and even across people within a single situation” (Barret et al., 2019).
L’experimentació de la IA emocional en el camp de la migració: iBorderCtrl
El polèmic projecte Intelligent Portable Border Control System (iBorderCtrl) (…) [era] una aplicació de IA orientada a proporcionar a les autoritats frontereres un sistema automatitzat de detecció de mentides mitjançant l’anàlisi de les microexpressions facials de les persones que tinguessin la intenció de travessar una frontera de la UE.
Encara que l’ús i l’experimentació de la IA emocional no afecten exclusivament la migració (altres àrees d’interès són, per exemple, l’àmbit laboral, amb la selecció de candidats o la comercialització de serveis i productes, a través de l’anàlisi de l’estat emocional i el grau de satisfacció dels usuaris, o la seguretat viària, mitjançant el monitoratge del rostre dels viatgers a fi de preveure incidents de trànsit –cf. el Dictamen conjunt 5/2021 del Supervisor Europeu de Protecció de Dades i del Comitè Europeu de Protecció de Dades–) hi té una relació estreta: n’és una clara mostra el polèmic projecte Intelligent Portable Border Control System (iBorderCtrl), finançat per la Comissió Europea a través del programa Horitzó 2020 que es va dur a terme entre 2016 i 2019. Es tractava d’una aplicació de IA orientada a proporcionar a les autoritats frontereres un sistema automatitzat de detecció de mentides mitjançant l’anàlisi de les microexpressions facials de les persones que tinguessin la intenció de travessar una frontera de la UE. En síntesi, el projecte s’articulava en dues fases: en una primera de preregistre, el viatger havia d’emplenar un formulari en el portal del projecte i aportar dades personals, detalls sobre el viatge i la documentació pertinent. Per comprovar la informació introduïda es realitzava un vídeo entrevista amb un avatar d’un agent de fronteres encarregat de fer preguntes basades en la informació aportada en el portal, i “entrenat” també per detectar l’estat emocional de l’entrevistat i per esbrinar eventuals mentides en les respostes a partir dels moviments facials, definits en el projecte com a biomarkers of deceit, és a dir, senyals no verbals d’engany. El projecte calculava la classificació sobre el risc que pressuposava l’individu a través d’un programa (Risk Assessment Program Tool, RBAT), i es generava un codi QR perquè el viatger el presentés a la frontera. Aleshores, en una segona fase, el viatger es presentava al control de la frontera, mostrava el codi QR i, segons quin fos el nivell de risc, l’oficial de frontera podia autoritzar-li l’ingrés al territori, denegar-l’hi o incidir en el control.
Les nombroses vulneracions dels drets fonamentals que ha suposat l’ús d’iBorderCtrl van ser objecte d’examen per acadèmics (cf. Van Der Meerssche, 2022), institucions (cf. Parlament Europeu) i ONGs (cf. European Digital Rights), i van ser el tema central d’un litigi davant del Tribunal de Justícia de la Unió Europea (cf. les sentències del Tribunal General i del Tribunal de Justícia de la Unió Europea). A més, les premisses científiques i les evidències van ser contestades per la literatura, que critica la possibilitat que mentir pugui manifestar-se i mesurar-se a través de microexpressions no verbals (cf. ex pluribus unum Sánchez-Monedero i Dencik, 2020).
El reconeixement d’emocions en les versions de la proposta de Reglament i la seva rellevància en l’àmbit migratori
Quin serà l’impacte de la futura regulació europea sobre l’ús de tecnologies com iBorderCtrl? Serà possible l’aplicació de tecnologies paregudes que posin a prova la credibilitat dels migrants i refugiats a través de la IA emocional?
Ara bé, quin serà l’impacte de la futura regulació europea sobre l’ús de tecnologies com iBorderCtrl? Serà possible l’aplicació de tecnologies paregudes que posin a prova la credibilitat dels migrants i refugiats a través de la IA emocional en les fronteres de la Unió Europea i, fins i tot, en altres àrees relacionades amb la migració com la concessió de permís de residència o l’examen de les sol·licituds d’asil? Sobre això, cal dir que la configuració i els límits de la IA emocional han estat al centre de les negociacions europees i han rebut diverses formulacions en les distintes versions de la proposta de Reglament que hi ha hagut al llarg dels darrers anys.
Per una banda, la proposta de Reglament que la Comissió va adoptar el 21 d’abril de 2021 classificava el reconeixement d’emocions com a sistema d’alt risc (cf. l’annex III) i, per consegüent, estava sotmès a requisits i obligacions tècniques dels proveïdors (cf. els capítols 2 i 3), així com a regles de transparència i vigilància humana (cf., en particular, els articles 13, 14 i 52.2). Aquest plantejament es consolidava en la posició del Consell del 6 de desembre de 2022.
D’altra banda, la posició que el Parlament Europeu va adoptar el juny de 2023 –en què va influir el posicionament d’organitzacions de la societat civil per prohibir aquesta tecnologia– va reconduir l’ús de la IA emocional en les àrees relatives a l’activitat dels agents dels cossos de seguretat (law enforcement), el control de fronteres, els llocs de treball i les institucions educatives dins de la categoria dels sistemes prohibits d’acord amb el títol II de la proposta de Reglament de 2021. Més enllà d’aquests sectors, la IA emocional es configurava com a sistema d’alt risc i, al mateix temps es donava suport a l’aparat de garanties, mitjançant, per exemple, una avaluació de l’impacte sobre els drets fonamentals anterior a la posada en servei d’un sistema de IA (cf. l’article 29.1).
Tanmateix, el text adoptat que va néixer arran de l’acord del desembre de 2023 redueix les àrees en què es prohibeix el reconeixement d’emocions als llocs de treball i les institucions educatives tret dels casos en què la IA es destini a usos sanitaris o de seguretat. Per tant, a conseqüència de les negociacions, de la nova versió es desprèn que el control de fronteres torna a ser un camp on podrà haver-hi l’ús d’aquesta tecnologia (article 5, punt 1f), cosa que revitalitza l’actualitat d’una reflexió sobre iBorderCtrl i altres sistemes semblants. A més, en totes les versions es permet al camp de la migració l’ús de “polígrafs i eines similars” (annex III, punt 7a) [traducció de pròpia].
Malgrat tot, la posició del Parlament Europeu va afegir unes exigències de compatibilitat de la IA amb el marc normatiu europeu i internacional en matèria de migració i refugi que es van mantenir en el text actual. De fet, els sistemes de IA als quals s’aplicarà el Reglament hauran de respectar la Directiva 2013/32/UE sobre procediments, el Codi comunitari sobre visats (Reglament 810/2009) i la resta de la legislació pertinent. Sobretot, els estats membres i la UE no podran fer servir sistemes de IA per evadir les obligacions internacionals establertes per la Convenció de Ginebra de 1951, ni per violar el principi de no devolució, o per negar vies legals d’entrada a la UE, d’acord amb el dret a la protecció internacional (considerant 60). Tot i que es tracta d’un considerant, caldrà emfatitzar-ne la importància i utilitzar aquest aclariment com a baluard jurídic a fi que la IA –i el reconeixement d’emocions en particular– no contribueixi a erosionar ulteriorment els drets dels migrants i refugiats i l’accés a la protecció internacional.
El reconeixement d’emocions i els drets fonamentals dels migrants
De fet, en vista d’experimentacions com iBorderCtrl i de l’actual configuració del reconeixement d’emocions en el Reglament, es perfila el risc que aquesta nova frontera de la IA es faci servir com a eina al servei del procés decisiu en matèria d’immigració i asil, cosa que repercutirà greument en el terreny dels drets fonamentals dels migrants.
La IA emocional planteja una sèrie d’interrogants quant a la vulneració dels drets fonamentals dels subjectes afectats, començant pel valor, principi i dret a la dignitat humana.
La IA emocional planteja una sèrie d’interrogants quant a la vulneració dels drets fonamentals dels subjectes afectats, començant pel valor, principi i dret a la dignitat humana (article 1 de la Carta dels drets fonamentals de la Unió Europea). El cas d’iBorderCtrl és paradigmàtic. Un sistema com aquest, que detecta les mentides i classifica els individus a través de l’assignació automatitzada d’un nivell de risc, suposa una degradació de l’ésser humà, atès que li sostreu l’autodeterminació, és a dir, la capacitat d’incidir en la construcció de la seva voluntat –com la de travessar una frontera per unes determinades raons– i encarrega la determinació d’aquesta voluntat a un sistema automatitzat.
A més, tot i que no se’n poden aprofundir les implicacions en aquest apunt, l’aplicació de la IA emocional interfereix en una multitud de drets reconeguts en la Carta dels drets fonamentals de la UE, com són el dret a la vida privada i familiar (article 6), la protecció de les dades de caràcter personal (article 8), la prohibició de les discriminacions (article 21) –que inclou les repercussions en els drets de persones amb discapacitat (cf. Brown, 2022)–, o el dret a una bona administració (article 41) –que comprèn l’obligació de les administracions de motivar les seves decisions (cf. Penasa, 2022). A més a més, l’experimentació de sistemes de reconeixement d’emocions en el camp de la credibilitat individual dels migrants, planteja inquietuds respecte als drets específics d’aquest col·lectiu, com ara el dret a l’asil (article 18), el dret a la no-devolució (non-refoulement) o les expulsions col·lectives (article 19). A mesura que s’introdueixen aplicacions que pretenen utilitzar indicadors (emocionals) automatitzats a fi d’establir la credibilitat dels usuaris, l’accés a la protecció internacional es veu fortament perjudicat. D’altra banda, la inexactitud d’aquests sistemes emfatitza les repercussions en els drets fonamentals afectats no només a causa de la naturalesa intrusiva de les tecnologies emprades, sinó també perquè aquestes tecnologies pateixen d’imprecisió i no tenen una solidesa científica (cf. Sánchez-Monedero i Dencik, 2020).
Resulta summament problemàtic assegurar l’efectivitat de la supervisió humana i evitar que les autoritats competents segueixin acríticament els resultats dels sistemes de IA emocional emprats.
Cal també remarcar que l’ús de la IA per al reconeixement d’emocions suposa un canvi de paradigma en el terreny ja complex (i artificial) de la categorització dels migrants (en situació irregular, beneficiari de protecció subsidiària, etc.). Estem davant de sistemes que introdueixen una categorització dels individus (com ara, segons iBorderCtrl, un viatger mentider i que, per tant, planteja riscs de seguretat) arran de les seves dades biomètriques mitjançant les quals es poden deduir emocions. Per consegüent, els resultats dels sistemes de reconeixement d’emocions precedeixen, orienten i poden determinar la diferenciació entre els múltiples estatuts migratoris. En aquest context, resulta summament problemàtic assegurar l’efectivitat de la supervisió humana i evitar que les autoritats competents segueixin acríticament els resultats dels sistemes de IA emocional emprats.
Tot plegat, com ja han advocat actors institucionals (cf. el Dictamen conjunt 5/2021 del Supervisor Europeu de Protecció de Dades i del Comitè Europeu de Protecció de Dades, punt 35) i organitzacions de la societat civil (cf. Access Now, European Digital Rights, 2021), s’ha d’insistir perquè no es facin servir sistemes de reconeixement d’emocions com a eina de suport de les autoritats competents en matèria migratòria. Si més no, caldrà emfatitzar la rellevància de les obligacions dels estats membres i de la UE –com ara l’esmentat considerant 60 del Reglament– i serà necessària una supervisió constant dels drets fonamentals dels afectats per part dels poders públics, amb especial referència a la labor de garantia de les autoritats administratives competents i dels òrgans jurisdiccionals.
Andrea Romano
Professor lector Serra Húnter de dret constitucional, Universitat de Barcelona
Aquest apunt està vinculat i actualitza l’article Derechos fundamentales e inteligencia artificial emocional en iBorderCtrl: retos de la automatización en el ámbito migratorio publicat pel mateix autor al núm. 66 de la Revista Catalana de Dret Públic (juny 2023).
[i] El punt 39 de l’article 3 del Reglament defineix el sistema de reconeixement d’emocions (emotion recognition system) com a “an AI system for the purpose of identifying or inferring emotions or intentions of natural persons on the basis of their biometric data”.