Il 18 marzo 2018 un’auto a guida autonoma di Uber ha investito e ucciso Elaine Herzberg, a Tempe, in Arizona. Al posto di guida sedeva Rafaela Vasquez, pagata per sorvegliare il veicolo. Nei cinque anni successivi nessuno ha discusso la differenza tra mente umana e IA. Si è discusso di chi stesse guardando la strada, di quanti secondi prima il sistema avesse visto qualcosa, di chi dovesse rispondere del resto. Nel 2023 Vasquez ha patteggiato e ha ricevuto tre anni di libertà vigilata. Uber non è mai stata imputata.
La disputa su cosa significhi capire andava avanti altrove, e va avanti ancora. Chiedersi se una macchina comprenda o si limiti a imitare è una posizione che si può sostenere per anni senza che nessuno debba cambiare niente: è indecidibile, e chi la perde non paga. Il procedimento di Tempe si è occupato d’altro.
La differenza tra mente umana e IA non è la domanda che costa qualcosa
John Searle propose la stanza cinese nel 1980. Chi sta chiuso lì dentro manipola simboli seguendo un manuale e restituisce frasi perfette in cinese senza conoscere il cinese: una risposta corretta non dimostra di aver capito. L’argomento è ancora in piedi, viene ancora citato, e in più di quarant’anni non ha cambiato una riga di nessun regolamento.
È il tipo di disputa che si può perdere senza pagare pegno. Si discute di che cosa una macchina sia, mentre quello che la macchina fa resta fuori dalla discussione. Nessuno viene licenziato per aver sostenuto che le macchine capiscono, e nessuno ha mai risarcito niente per aver sostenuto il contrario.
La voce che spiega cosa sia l’intelligenza artificiale debole dedica poche righe alla comprensione e molte ai guasti: reti elettriche, veicoli autonomi che sbagliano direzione, farmaci smistati male, diagnosi sbagliate. Il difetto di quei sistemi non è la mancanza di comprensione: è che si rompono in modi che nessuno aveva previsto, e a quel punto il danno resta in mano a qualcuno.
A Tempe il sistema ha visto qualcosa e non è riuscito a stabilire che cosa fosse.
Della responsabilità dell’intelligenza artificiale ha risposto una persona sola
Il sistema di Uber rilevò Herzberg 5,6 secondi prima dell’impatto. Non riuscì a stabilire se fosse un pedone, un veicolo o una bicicletta, né a prevedere dove stesse andando. L’auto arrivò addosso a circa 69 chilometri orari, e il software non era progettato per frenare al massimo davanti a una collisione imminente.
L’indagine federale elencò più cause. L’operatrice non stava controllando la strada, perché guardava un programma sul telefono. Uber non aveva preso sul serio il rischio che chi sorveglia un sistema automatico smetta di sorvegliarlo. Le regole dell’Arizona sui test su strada pubblica erano insufficienti. E Herzberg attraversava di notte, fuori dalle strisce.
Ognuna di quelle cause ha poi preso una strada diversa. Uber ha chiuso con la famiglia di Herzberg un accordo economico poche settimane dopo l’incidente, e nel marzo 2019 un procuratore dell’Arizona ha stabilito che l’azienda non era penalmente responsabile. Rafaela Vasquez fu incriminata per omicidio colposo, restò sotto processo per tre anni con un braccialetto alla caviglia, e nel luglio 2023 patteggiò su un’accusa più leggera: tre anni di libertà vigilata, nessun carcere.
L’azienda ha pagato in privato e con i soldi. Lo Stato che aveva scritto le regole insufficienti non ha pagato niente. In tribunale ci è andata solo la dipendente seduta al posto di guida, che nell’unico momento in cui il sistema aveva bisogno di lei stava guardando altrove.
In nessun atto del procedimento compare la domanda se la macchina capisse.
Si risponde solo di quello che si può raccontare
L’obiezione seria è che il caso di Tempe descriva un vuoto normativo e nient’altro. Nel 2018 le regole mancavano, adesso si stanno scrivendo, e fra qualche anno la domanda su chi risponde avrà come risposta un articolo di legge.
In parte è già successo. Nel 2019, giudicando l’assegnazione delle sedi ai docenti calcolata da un algoritmo, il Consiglio di Stato ha stabilito che una procedura automatica il cui funzionamento non sia conoscibile viola la trasparenza dell’atto amministrativo. Le pronunce successive hanno aggiunto due requisiti: la decisione resta imputabile all’organo che ha il potere di prenderla, e quell’organo deve poterne verificare la logica.
Nessuno di quei requisiti riguarda la comprensione della macchina. Chiedono che esista qualcuno in grado di spiegare perché la decisione è quella e non un’altra.
Guardata dal lato della mente, è l’operazione che di solito trattiamo come un trucco: agire prima, e costruire dopo la spiegazione che rende l’atto difendibile. La coscienza arriva sempre in ritardo, e la ricostruzione che porta è di parte. Ma è anche l’unica cosa che si possa contestare in un’aula, e l’unica su cui qualcuno possa essere condannato.
Una macchina che produce esiti senza doverseli spiegare non è più onesta di noi. È più difficile da processare. E chi disegna procedure in cui nessuno deve giustificare niente non sta togliendo di mezzo un’ipocrisia: sta scegliendo in anticipo chi sarà l’imputato.
Serve qualcuno seduto lì, e serve che non decida
Le procedure non riducono il rischio: lo spostano su chi sta più in basso, e lì lo lasciano. Vale per i protocolli sanitari come per i sistemi che guidano.
Ma il sedile davanti non resterà vuoto, e nessuno ha interesse a svuotarlo. Finché al volante c’è una persona, il conto lo paga lei. Il posto di guida serve occupato.
Quello che si restringe è il potere di chi ci sta seduto, non quello che gli si chiede di garantire. Vasquez poteva fare una cosa sola, frenare, e infatti è per non averla fatta che ha risposto. Non aveva scritto il software che non ha riconosciuto Herzberg, non aveva scelto le regole dell’Arizona, non poteva sapere che cosa il sistema stesse vedendo.
Non stiamo costruendo sistemi senza responsabili. Stiamo costruendo posti di lavoro in cui la responsabilità è l’unica mansione rimasta intera.
Gli articoli ti parlano?
Iscriviti alla Newsletter, ogni sabato mattina invio un pensiero che non trovi altrove.
