di Lucia Confalonieri
L’approccio etico dei colossi del WEB tra opportunità e ipocrisia
Un anno fa, preparando il mio intervento “Intelligenza Artificiale tra etica e lavoro” alla Conferenza del Forum Democratico del Canavese avevo trovato diversi esempi di pregiudizi (bias) insiti negli algoritmi di Intelligenza Artificiale (IA), utilizzati nei loro software da colossi del Web quali Amazon, Facebook, IBM, Microsoft, ecc…
La maggior parte di questi pregiudizi amplificava discriminazioni legate al colore della pelle e al genere, già insite nella nostra società.
Tra questi esempi avevo trovato particolarmente interessanti tre casi di discriminazione (vedi sotto), rilevati da ricercatori e denunciati da giornalisti d’inchiesta nel biennio 2018-2019, che avevano costretto le aziende impegnate nello sviluppo di applicazioni di IA a correggere il tiro, tenendo in massima considerazione gli aspetti etici.
Nel frattempo andava crescendo nell’opinione pubblica l’allarme per l’opacità degli algoritmi di IA e alcune grandi istituzioni sovranazionali, come l’UE, emanavano linee guida stringenti per una IA etica.
L’aspetto più eclatante di questo cambiamento, dettato da una forte reazione pubblica, è stato la nomina, all’interno delle corporation attive nella IA, di ricercatori in ruoli manageriali di “ethical advisor”, con l’obiettivo di verificare che “i processi decisionali nello sviluppo della IA tenessero in conto non solo dei vantaggi per l’azienda ma di quelli per i dipendenti, i clienti e soprattutto le comunità in cui tutti questi individui lavorano e vivono”1.
In questo modo i requisiti etici sarebbero dovuti diventare parte integrante delle attività di ricerca e sviluppo.
Ma è andata veramente così?
Il caso Google vs Timnit Gebru
Parrebbe di no, visto il caso recente, di indubbia gravità, del licenziamento da parte di Google della propria “AI ethicist” raccontato da alcuni media americani, ripreso in Europa dal Guardian e in Italia da La Stampa.
In pratica Google ha licenziato Timnit Gebru, famosa ricercatrice e co-leader del team etico di Google per l’Intelligenza Artificiale per aver criticato sia l’approccio dell’azienda nelle assunzioni di minoranze che i pregiudizi (bias) insiti in alcuni algoritmi di IA.
Gebru ha annunciato su Twitter di essere stata licenziata, ma Google ha invece comunicato (ipocritamente) che la ricercatrice si è dimessa. In una lettera aperta, 1500 accademici e 200 dipendenti Google condannano la mossa dell’azienda come “una censura senza precedenti alla ricerca e un atto di ritorsione contro Gebru”.
Chi è Timnit Gebru
Gebru è una ricercatrice molto nota nel mondo dell’etica nel campo della IA; ha cominciato a lavorare con Apple dopo aver conseguito il dottorato di ricerca in Computer Vision presso lo Stanford Artificial Intelligence Laboratory.
È co-fondatrice del gruppo “Black in AI”, che promuove l’occupazione e la leadership nel settore degli studiosi di colore e coautrice insieme a Joy Buolamwini di “Gender Shades” un importante studio del MIT Media Lab che ha trovato pregiudizi razziali e di genere nei software di riconoscimento facciale di aziende quali IBM, Facebook, Microsoft e Amazon (uno dei tre casi di discriminazione che descrivo in seguito).
Come riportato da La Stampa “Gebru aveva recentemente lavorato a un documento che esaminava i rischi dello sviluppo di sistemi informatici che analizzano enormi database di linguaggio umano e li usano per creare una propria lingua basata su quelle umane. Il documento della Gebru cita la nuova tecnologia di Google, utilizzata nel settore della ricerca, e quella sviluppata da altri. Oltre a segnalare i potenziali pericoli dei pregiudizi, il documento cita anche i costi ambientali derivanti dal consumo di tanta energia per la gestione dei modelli: un tema importante per un’azienda come Google, che dal 2007 si vanta del suo impegno a essere neutrale dal punto di vista delle emissioni di anidride carbonica e che si sforza di diventare ancora più verde.
Gebru si è opposta alla richiesta dell’azienda di rimuovere informazioni considerate sensibili e qualche giorno fa ha scritto in una mail al team interno che si occupa di diversità e inclusione di Google, con l’oggetto: “Mettere a tacere le voci emarginate in ogni modo possibile. Gebru ha poi scritto su Twitter che questa è l’email che l’ha fatta licenziare.”
Secondo il Guardian nella mail Gebru manifesta la sua frustrazione, rilevando polemicamente che c’è “zero assunzione di responsabilità” o incentivo reale al cambiamento nella leadership di Google. “Quando inizi a difendere persone sotto-rappresentate la tua vita peggiora e inizi a far arrabbiare i vari responsabili. In nessun modo ulteriori documenti o ulteriori discussioni otterranno qualcosa”.
Come la stessa Gebru ha dichiarato pubblicamente, il conflitto tra lei e l’azienda è scoppiato a Novembre quando un manager di alto livello di Google le ha intimato di ritrattare o togliere il suo nome da un articolo di cui era coautrice insieme ad altri ricercatori interni ed esterni a Google. Secondo una bozza vista dall’agenzia Reuters, l’articolo asserisce che le aziende high tech devono fare molto di più per assicurare che i sistemi di IA che emulano il linguaggio umano, scritto e parlato, non aumentino pregiudizi di genere storicamente determinati e non utilizzino termini offensivi. Inoltre ha avanzato forti riserve sull’impatto ambientale derivante dalla quantità di energia necessaria a supportare i modelli su cui si basano questi sistemi di IA.
“Ho sentito che venivamo censurati e di conseguenza ho pensato che questo avesse delle implicazioni su tutta l’attività di ricerca di una IA etica” ha dichiarato Gebru. “Non si può sempre pensare di scrivere articoli che rendano l’azienda felice tutto il tempo e non evidenziare i problemi. Ciò è antitetico a quello che significa essere quel genere di ricercatore”.
Gebru successivamente ha dichiarato che ha tentato di trovare un accordo con Google offrendo di togliere il suo nome dall’articolo in cambio di una spiegazione esauriente delle obiezioni dell’azienda e di un confronto per definire un processo migliore nella gestione futura di tali problematiche. Se l’azienda non avesse accettato lei successivamente se ne sarebbe andata. Google ha rifiutato la sua richiesta e dopo che Gebru ha inviato al suo team e ad altri dipendenti di Google una mail di frustrazione sull’accaduto e quanto ci sta dietro, l’azienda ha scritto a sua volta pubblicamente di aver accettato le sue dimissioni. Poi le ha tolto l’accesso alla mail aziendale sostenendo che si era dimessa.
La plateale scorrettezza della reazione di Google trova un senso nel fatto che l’utilizzo della IA nell’emulazione del linguaggio umano è cruciale per il potenziamento del motore di ricerca omonimo, che rappresenta il core business dell’azienda.
“Espellerla per aver avuto l’audacia di difendere l’integrità della sua ricerca compromette gravemente la credibilità di Google nel campo dell’etica dell’IA e dell’auditing algoritmico”, ha detto Joy Buolamwini, ricercatrice del Massachusetts Institute of Technology che è stata co-autrice dello studio sul riconoscimento facciale del 2018 con Gebru.”
Ma da dove è nata l’attenzione al pericolo rappresentato dai pregiudizi “ereditati dagli algoritmi di IA”?
Riporto i tre casi a mio avviso più interessanti che a suo tempo hanno determinato il cambio di rotta nelle politiche di sviluppo di sistemi di IA da parte dei colossi del Web.
Lo studio del MIT Media Lab “Gender Shades”
Il primo riguarda il lavoro “Gender Shades” del 2018 di una ricercatrice del MIT, di nome Joy Buolamwini. Coautrice della ricerca era stata proprio Timnit Gebru, ora al centro di un clamorosa censura.
Tale studio, orientato a verificare l’accuratezza di alcuni prodotti di riconoscimento facciale di società quali IBM, Facebook, Microsoft e Amazon, era arrivato alla conclusione che questi sistemi trattano alcune etnie in modo più “impreciso” (con evidente effetti discriminatori) rispetto ad altre. Nel caso specifico la ricerca ha dimostrato che tali tecniche di riconoscimento facciale presentano una precisione del 99% per gli uomini bianchi (estremo superiore) e del 34% per le donne nere (estremo inferiore). Per gli altri – donne bianche, uomini neri – si era arrivati a valori intermedi, suggerendo una prima discriminazione in base al colore e una successiva in base al genere.
Ciò dipende dal fatto che gli algoritmi utilizzati si basano su dati appartenenti a soggetti prevalentemente di tipo maschile e di carnagione chiara. La ricerca ha quindi evidenziato che sono stati commessi errori nell’istruzione degli algoritmi.
Pertanto si potrebbe pensare che sia sufficiente correggerli per eliminare il pregiudizio (bias), ma non è così semplice almeno per due motivi: il pregiudizio insito nel sistema è stato totalmente ignorato, tanto dall’uomo quanto dalla macchina, fino a quando non è stato fatto un audit indipendente; la quantità di dati che gli algoritmi analizzano è costantemente in aumento e di conseguenza il rischio di nascondere l’errore sempre più nel profondo del codice è destinato a crescere.
Lo studio dell’ American Civil Liberties Union su Recognition (Amazon)
Il secondo caso è relativo ad una ricerca fatta dall’organizzazione statunitense ACLU ( American Civil Liberties Union) su Recognition (software di Intelligenza Artificiale per il riconoscimento facciale di Amazon) che ha mescolato le foto dei parlamentari americani dell’epoca in un database di circa 25 mila immagini, dimostrando che nel 5% dei casi emergeva un’inesistente corrispondenza tra criminali e gli stessi parlamentari, ma guarda caso, di questi falsi positivi ben il 39% riguardava deputati dalla pelle scura.
Il software per le assunzioni di Amazon
Il terzo caso riguarda il software di Intelligenza Artificiale utilizzato da Amazon per le assunzioni. Quello che è stato riscontrato è che tale software discriminava donne o persone laureate nei college femminili (tipicamente donne dunque). La “falla” nel sistema di selezione di Amazon è stata trovata grazie ad una serie di testimonianze raccolte dall’agenzia Reuters, risultate decisive per far saltare il sistema di assunzione del colosso.
Tale “falla” dipendeva dal fatto che il software di IA era stato programmato per scegliere i candidati, analizzando i curriculum presentati alla società nell’arco di 10 anni. E la maggior parte di questi proveniva da uomini che per giunta non avevano frequentato college femminili.
Dunque il software “ha insegnato a sé stesso” che i candidati uomini erano preferibili e ha penalizzato i curriculum che includevano la parola donna e allo stesso modo ha declassato i college femminili.
Note:
1 – Deloitte – AI ethics A new imperative for businesses, boards, and C-suites