È il caso, per esempio, di applicazioni di apprendimento automatico (ML) usate per supportare decisioni riguardo all’elargizione di un credito bancario a un certo individuo o riguardo alla concessione della libertà condizionale a un accusato sulla base del rischio di recidivismo predetto dall’algoritmo (1) .
In entrambi gli scenari si tratta di problemi di ottimizzazione: c’è una decisione da prendere in uno scenario complesso e bisogna scegliere per quale fine ottimizzare. Per esempio, nel caso delle auto a guida autonoma il fine per cui ottimizzare potrebbe essere “minimizzare il numero di danni inflitti ai passeggeri del veicolo”. La decisione verrà quindi presa in base alla priorità data a questo obiettivo piuttosto che ad altri (o, più realisticamente, questo obiettivo sarà bilanciato con altri in relazione alla sua importanza). L’obiettivo viene formalizzato in una funzione matematica chiamata solitamente “funzione obiettivo”. L’algoritmo deve trovare un set di valori che massimizzano (o minimizzano) la funzione matematica in cui è formalizzato un certo obiettivo, spesso rispettando un certo numero di vincoli. Nel caso di apprendimento automatico, ovvero di algoritmi che non sono basati su regole codificate esplicitamente, l’obiettivo dell’ottimizzazione consiste nel minimizzare il tasso di errori nelle predizioni per un dato dataset nella fase di allenamento.
Entrambi questi scenari sono caratterizzati dal fatto che incorporano potenzialmente giudizi di valore, ossia giudizi che hanno a che fare con l’etica. Per esempio, nel caso di predizione di recidivismo di un imputato, dovremmo considerare più potenzialmente nocivo un falso positivo (il recidivismo viene predetto dall’algoritmo ma poi non accade) o un falso negativo (il recidivismo non viene predetto dall’algoritmo ma poi accade)? Il modo in cui si risponde a una domanda del genere ha conseguenze dirette e significative sulla vita di una o più persone. Rispondere a questi dilemmi implica considerazioni che presuppongono in maniera decisiva giudizi di valore. Nel caso delle macchine a guida totalmente autonoma, le decisioni sono totalmente nelle mani del sistema di intelligenza artificiale a causa del tempo ristretto a disposizione. Negli scenari del credito bancario e della corte giudiziaria, pur essendoci un umano nel loop, l’algoritmo ha un ruolo sostanziale nel motivare una decisione presa in ultimo luogo da un uomo. In entrambe le situazioni è cruciale la domanda circa la possibilità di codificare giudizi di valore (morali) in sistemi di intelligenza artificiale.
Un caso studio: algoritmi per l’assegnazione di donatori di organi
C’è un caso specifico che rientra negli scenari di decisione ad alta complessità computazionale dove giudizi di carattere morale sono evidentemente rilevanti per prendere una decisione ottimale. È il caso del mercato per combinare pazienti che necessitano di trapianti di organi con potenziali donatori. Per esempio, negli USA un’organizzazione come UNOS (United Network for Organ Sharing) gestisce l’Organ Procurement and Transplantation Network (OPTN), che, tra le altre cose, si occupa di combinare pazienti con potenziali donatori di organi utilizzando un algoritmo che massimizza il numero di trapianti possibili in un gruppo di donatori e pazienti (2)(3) . In questo tipo di procedura si presentano spesso situazioni in cui viene identificata dall'algoritmo più di una soluzione in grado di massimizzare il numero di combinazioni paziente-donatore in un gruppo di partecipanti. A quel punto la priorità di una soluzione combinatoria paziente-donatore rispetto a un'altra viene stabilita secondo criteri ad-hoc dal comitato dell’organizzazione (in questo caso UNOS). Queste decisioni ad-hoc servono a mitigare bias del sistema di ottimizzazione, per esempio la marginalizzazione di coppie donatore-paziente con rare combinazioni di gruppi sanguigni (3)(4). Determinare i criteri per stabilire cosa fare in queste situazioni di “spareggio” è dove giudizi di carattere morale entrano in gioco. Per esempio: in uno specifico turno la scelta è fra due pazienti con gruppo sanguigno B di cui uno è molto giovane (ha meno di 30 anni) ma beve molto di frequente (più di 5 drink al giorno) e uno è anziano (ha più di 70 anni) ma beve raramente. A quale paziente dare priorità? È meglio salvare la vita di una persona giovane, anche se con abitudini non salutari, oppure quella di una persona che ha già vissuto almeno ¾ della sua vita, ma che adotta abitudini alimentari più sane?
Recentemente, i ricercatori del gruppo Moral AI lab alla Duke University (5) hanno proposto di raccogliere dati attraverso piattaforme online di crowdsourcing (come Amazon Mechanical Turk) circa i profili dei pazienti a cui un pool di partecipanti darebbe priorità nei casi di spareggio, come quelli descritti sopra [4]. In seguito, le risposte raccolte attraverso questi questionari vengono modellate e aggregate attraverso procedure statistiche standard per stimare i pesi (weights) per l’algoritmo. Questi pesi servono per decidere in che modo risolvere le situazioni di spareggio. Il modello di ottimizzazione utilizzato da UNOS per combinare pazienti-donatori viene quindi modificato sulla base dei dati raccolti e dei pesi stimati. Infine, i ricercatori simulano l’utilizzo dell’algoritmo in un periodo di cinque anni di scambio di organi e verificano i cambiamenti causati dalle modifiche apportate all’algoritmo iniziale. Sebbene l’algoritmo usato nello studio non sia una rete neurale profonda o non usi apprendimento per rinforzo, questo studio rappresenta una prova di fattibilità (proof-of-concept) per un approccio che ottiene giudizi morali da umani, li modella statisticamente e li include all’interno di un algoritmo utilizzato per decisioni ad alto rischio.
Nello specifico, ai partecipanti al questionario vengono presentate delle comparazioni a coppie di profili di pazienti (simili a quelli che effettivamente prendono parte a UNOS) con tre variabili: età, abitudini (consumo di alcol) e salute generale (storia di malattie gravi). I dati raccolti vengono modellati attraverso un modello standard di ranking probabilistico (modello Bradley-Terry) per stabilire l’importanza di ciascun attributo nei profili di pazienti nelle decisioni di priorità espresse dai partecipanti al questionario. I profili di pazienti giovani o con meno rischi di salute o con abitudini più salutari sono favoriti. In particolare, avere abitudini più salutari ha un impatto più significativo sulla priorità data rispetto alle condizioni di salute generale. Sulla base del modello dei dati raccolti, all’algoritmo di ottimizzazione vengono assegnati dei pesi, che vengono utilizzati per determinare quale soluzione preferire rispetto a un’altra nei casi di spareggio. La simulazione con l’algoritmo modificato (e la comparazione con quello iniziale) ha portato a due risultati significativi. In primo luogo, la percentuale di coppie di pazienti-donatori con rare combinazioni di gruppi sanguigni che l’algoritmo combina è significativamente maggiore rispetto a quella dell’algoritmo originale. In secondo luogo, come previsto, l’algoritmo modificato tiene in considerazione la priorità data a certi profili di pazienti rispetto ad altri: il risultato è che i profili di pazienti a cui viene data priorità secondo il modello estratto dal pool di dati raccolti vengono combinati più spesso con i loro donatori comparati all’algoritmo originario (4).
Una operazionalizzazione e automatizzazione dei giudizi morali umani potrebbe essere decisiva in casi in cui gli umani devono prendere decisioni al riguardo in condizioni subottimali (per esempio in caso di urgenza).
Nello studio presentato i pesi vengono stimati una volta per tutte attraverso il modello Bradley-Terry su un solo dataset e poi applicati alla simulazione. Studi futuri potrebbero provare a usare questo paradigma servendosi di un sistema più sofisticato di intelligenza artificiale, per esempio una rete neurale profonda allenata su un dataset più ampio e complesso che possa essere poi sottoposta a fine-tuning e così adattata a specifiche circostanze (nel caso di decisioni che includono giudizi morali, per esempio, a seconda dei portatori di interesse in diversi scenari e dei valori rilevanti per una specifica decisione da prendere). Inoltre, un sistema di apprendimento per rinforzo potrebbe essere utilizzato per aggiornare l’algoritmo a seconda del tasso di successo dei trapianti eseguiti in base alle combinazioni paziente-donatore suggerite dall’algoritmo. Come dimostrato dall’approccio dell’articolo, suggeriscono gli autori in varie pubblicazioni, i criteri secondo cui decisioni che oggi vengono prese ad-hoc da specifici membri di comitati in maniera opaca potrebbero essere anche nelle mani di diversi portatori di interesse in diversi scenari, modellati e operazionalizzati attraverso approcci computazionali (4)(6)(7). Sebbene approcci di apprendimento automatico pongano problemi di interpretabilità rispetto a modelli statistici più facilmente scrutinabili, i primi potrebbero essere più efficaci nel modellare dataset più grandi e complessi che incorporano più variabili che possono essere rilevanti dei giudizi di valore. Inoltre, tecniche di Explainable AI (XAI) potrebbero aiutare a ridurre l’opacità dei sistemi ad apprendimento automatico, mettendo in evidenza quali caratteristiche nel dataset hanno “guidato” la previsione prodotta dal sistema.
Conclusioni, rilevanza e problemi aperti
Il caso studio discusso nella sezione precedente si inserisce in un quadro di considerazioni più generali su come incorporare valutazioni etiche nei sistemi di intelligenza artificiale utilizzati per decisioni ad alto rischio.
In particolare, indica il potenziale di approcci computazionali per modellare i giudizi morali umani e, conseguentemente, i loro bias. In etica, l’approccio top-down, per cui certi principi morali generali vengono applicati direttamente a una serie di scenari reali molto dipendenti da variabili contestuali, è problematico. In primo luogo, esistono diverse teorie morali, ognuna con i suoi specifici vantaggi e svantaggi, e non c'è un accordo indiscutibile tra i filosofi su come giustificare la scelta di una piuttosto che di un'altra. In secondo luogo, ogni principio generale come “non mentire” può prendere infinite ramificazioni a seconda delle variabili contestuali presenti nelle situazioni reali. Per esempio: il sistema di intelligenza artificiale dovrebbe seguire il principio “non mentire” anche quando una bugia impedirebbe a un assassino di commettere un crimine? La nostra regola generale si dimostra già insufficiente.
L’approccio bottom-up, per cui principi morali sono derivabili da singole istanze di giudizi morali, è altrettanto problematico. La variabilità nei giudizi morali umani e nelle sue motivazioni è troppo alta.
È qui che utilizzare sistemi di apprendimento automatico per estrarre pattern sufficientemente generalizzabili da grandi quantità di dati (anche molto vari) potrebbe essere utile per identificare variabili comuni che non erano state considerate prima, come suggerito dagli autori in un libro recentemente pubblicato [6]. Le variabili identificate in dataset di giudizi morali umani dal processo di apprendimento automatico potrebbero evidenziare bias nelle intuizioni morali umane medie, le quali a loro volta potrebbero aiutare a rifinire i principi che almeno la maggioranza dei portatori di interesse in un certo scenario ritiene importanti per prendere una decisione che ha conseguenze morali. Questo potrebbe essere d’aiuto per introdurre attributi rilevanti eticamente in decisioni che devono venire prese automaticamente da sistemi di intelligenza artificiale. Per esempio, se dalla raccolta di dati fosse emerso che l’etnia è un attributo secondo il quale i partecipanti allo studio assegnano priorità a un profilo piuttosto che a un altro, risulterebbe chiaro quale bias futuri sistemi di intelligenza artificiale che devono prendere decisioni dalle conseguenze etiche devono tenere sotto controllo. Ci sono anche esempi meno scontati di questo. A volte un certo giudizio morale viene espresso da un essere umano in un momento specifico perché il soggetto in questione non possiede una conoscenza sufficiente dell’argomento su cui c’è da decidere. Per esempio, nel caso dei trapianti di reni, potremmo chiedere ai partecipanti cosa sanno della procedura per trapiantare un rene prima di prendere una certa decisione, quindi aumentare le loro conoscenze in caso di una loro carenza e vedere come il loro giudizio morale si modifica prima e dopo l’acquisizione di queste nuove informazioni. Con questi dati, potremmo correggere l’output del sistema di intelligenza artificiale, allenato a predire le variabili rilevanti per un giudizio morale umano. Il proposito è quello di ottenere sistemi di intelligenza artificiale da usare per informare decisioni ad alto rischio che possano predire i “giudizi che gli umani darebbero in circostanze idealizzate, nel senso di più informate, più razionali e più imparziali” (7, p.184, edizione inglese). In questo modo, l’approccio bottom-up e l’approccio top-down possono complementarsi: otteniamo una versione idealizzata dei giudizi morali medi di un certo gruppo di portatori di interessi. Questa versione idealizzata potrebbe informare sistemi di intelligenza artificiale che devono prendere decisioni ad alto rischio in una maniera eticamente più rigorosa. Nonostante ciò, i procedimenti di fine-tuning e i risultati che producono rappresentano al momento un problema ancora aperto. In più, la difficoltà di comprendere il processo attraverso il quale un sistema ad apprendimento automatico produce un certo output (ovvero la sua opacità) rende ancora più difficoltoso correggere eventuali bias incorporati dal sistema. Tecniche di XAI potrebbero mitigare questo problema anche se anch’esse sono spesso criticate per le loro limitazioni. Secondo questa visione, utilizzare modelli computazionali intrinsecamente interpretabili (come regressione lineare o decision trees) in decisioni ad alto rischio potrebbe avere la stessa efficacia di utilizzare modelli opachi, senza presentare appunto il problema dell’opacità (8). Il trade-off tra efficacia computazionale e interpretabilità è con grande probabilità un problema che rimarrà aperto per molto tempo e che sarà da valutare caso per caso.
