Arrestato per colpa dell'AI: quando il 93% di certezza distrugge una vita
Un uomo della Florida è stato arrestato per errore dopo che un sistema di riconoscimento facciale lo ha identificato con il 93% di corrispondenza. Una storia che interroga il futuro dell'AI nella giustizia.
C'è un numero che dovrebbe far riflettere: 93%. Non è una certezza. Non è una prova. Eppure, in Florida, è bastato per mettere le manette ai polsi di un uomo innocente. Robert Dillon si è ritrovato in cella, con un'accusa tra le più pesanti che si possano immaginare, quella di aver tentato di adescare una bambina fuori da un McDonald's. Il problema, emerso solo dopo, è che Dillon viveva a quasi 500 chilometri dal luogo dell'incidente e sostiene di non esserci mai stato in vita sua.
Tutto sarebbe partito da un sistema di riconoscimento facciale. Gli investigatori avevano confrontato una sua fotografia con un'immagine estratta dalle telecamere di sorveglianza. Ma non si trattava nemmeno di un frame diretto del filmato: era una foto scattata a uno schermo che riproduceva il video, con una qualità visiva ulteriormente degradata. Il software ha elaborato quell'immagine sgranata e ha restituito un responso: 93% di corrispondenza. Da quel momento in poi, secondo la causa legale che Dillon ha intentato contro la polizia, l'indagine avrebbe preso una direzione sola, senza mai tornare indietro a verificare i dettagli contraddittori.
Eppure i segnali c'erano. Non risultava alcun transito della sua automobile nella zona nelle date rilevanti. La sua stessa dichiarazione di estraneità ai fatti non ha prodotto alcuna verifica approfondita. Nonostante questo, Dillon è stato arrestato, ha trascorso una notte in carcere, ha dovuto pagare una cauzione e per mesi il suo nome è rimasto pubblicamente associato a un'accusa devastante. Le accuse sono state poi ritirate, ma il danno, quello reputazionale e personale, era già fatto.
La storia di Dillon non è un caso isolato. Organizzazioni come l'American Civil Liberties Union e il MIT Media Lab hanno documentato negli anni come i sistemi di riconoscimento facciale presentino tassi di errore significativamente più alti quando analizzano volti di uomini di carnagione scura o immagini di bassa qualità. Il National Institute of Standards and Technology, nel suo studio FRVT pubblicato dal 2019 in aggiornamenti successivi, ha rilevato variazioni enormi nelle performance dei diversi algoritmi, con falsi positivi che in certi contesti possono raggiungere percentuali preoccupanti.
Il nodo centrale della vicenda, però, non è solo tecnico. È culturale. Quando un investigatore umano sbaglia, la sua valutazione può essere contestata, sfidata, smontata pezzo per pezzo. Quando sbaglia un algoritmo, il numero che produce tende a trasformarsi in verità. Il 93% suona come quasi certezza, ma quel valore non misura la probabilità che una persona sia colpevole: misura solo quanto due modelli matematici si somigliano, secondo i criteri interni di quel sistema. È una distinzione sottile ma fondamentale, che spesso va perduta nel momento in cui il dato arriva sul tavolo di chi deve prendere decisioni.
Guardando al prossimo futuro, il caso Dillon arriva in un momento in cui il dibattito sull'uso dell'AI nelle forze dell'ordine si sta intensificando. L'Unione Europea, con l'AI Act entrato progressivamente in vigore tra il 2024 e il 2026, ha classificato i sistemi biometrici in tempo reale tra le applicazioni ad alto rischio, imponendo obblighi stringenti di supervisione umana. Negli Stati Uniti invece la regolamentazione rimane frammentata, affidata alle singole municipalità e stati, con risultati disomogenei.
Il futuro dell'intelligenza artificiale nella giustizia dipenderà in larga parte dalla capacità di chi la usa di capire cosa un algoritmo può e non può dire. Un indizio non è una prova. Una correlazione matematica non è una condanna. Robert Dillon lo sa bene. E la sua storia, raccontata attraverso la causa depositata contro la polizia, potrebbe diventare uno dei casi di riferimento nel dibattito globale su come l'AI entra nelle aule di tribunale e nelle celle di un carcere.
Fonte: causa civile depositata da Robert Dillon contro le autorità di polizia della Florida; NIST FRVT Report; AI Act dell'Unione Europea (Regolamento UE 2024/1689); ACLU report sull'uso del riconoscimento facciale nelle forze dell'ordine.