Fermi tutti: forse ho letto il primo romanzo doomer della mia vita.
Appena ho scoperto un testo di narrativa costruito intorno a un incidente con un’auto a guida autonoma, mi sono fiondato a comprarlo. Si intitola Colpevolezza, lo ha scritto Bruce Holsinger e mi ha lasciato una sensazione precisa: dopo averlo letto, anche il frigorifero intelligente sembra avere qualcosa da nascondere.
Non conoscevo Holsinger come romanziere. Mi incuriosiva soprattutto la premessa: una famiglia, un minivan che dovrebbe guidare da solo, un figlio adolescente al volante e due morti. Abbastanza per chiedersi chi abbia sbagliato. E per scoprire quanto possa diventare comoda la risposta «è stata l’intelligenza artificiale».
Questa è la mia recensione di Colpevolezza, seguita da una guida ai concetti che attraversano il libro: doomer, etica computazionale, guida autonoma, informatica forense veicolare, black box, human in the loop, disallineamento e armi autonome. Racconto la premessa, senza svelare il finale.
Colpevolezza di Bruce Holsinger: la recensione
Il narratore è Noah, un avvocato sposato con Lorelei, un’esperta di etica dell’AI. La famiglia possiede un SensTrek, minivan a guida autonoma della IntelliGen. Durante un viaggio in Delaware avviene un incidente: al posto di guida c’è Charlie, il figlio diciassettenne. Nell’altra auto coinvolta muoiono due persone.
SensTrek e IntelliGen appartengono al mondo del romanzo. È utile ricordarlo, perché Holsinger costruisce un universo tecnologico abbastanza riconoscibile da farci cercare subito un equivalente reale.
Nei miei appunti di lettura ho segnato questo scambio:
«La macchina era impostata sulla guida autonoma.»
«Ma lui ha preso in mano il volante?»
«Sì, una macchina dall’altro senso di marcia stava invadendo la nostra corsia. Alice l’ha vista e ha gridato e Charlie ha afferrato il volante. Il che immagino abbia disattivato il pilota automatico.»
Quel «immagino» apre una voragine. Chi controllava davvero il mezzo? Che cosa aveva riconosciuto il sistema? Charlie ha provocato l’incidente oppure ha tentato di evitarlo? E quanto vale il ricordo di chi era a bordo, tra paura, distrazione e bisogno di proteggere un figlio?
Poi il detective introduce un sesto testimone: il minivan. Sensori, dati, movimenti, reazioni del guidatore. Un testimone che non può essere intimidito, almeno in senso umano. Ma i cui dati qualcuno deve estrarre, interpretare e mettere in discussione.
È qui che il romanzo mi ha preso. La tecnologia entra nella famiglia attraverso una domanda molto concreta: a chi attribuiamo la colpa quando l’azione è distribuita tra persone e sistemi automatici? Intanto tutti hanno qualcosa da difendere: un figlio, una carriera, una reputazione, un matrimonio.
Romanzo psicologico, legal thriller e techno-thriller
Colpevolezza ha diversi piani di lettura. Come romanzo psicologico mette sotto pressione i legami familiari, senza arrivare, secondo me, ai vertici di Roth o Franzen. Come legal thriller funziona, anche se Holsinger non è Grisham. Come techno-thriller cerca il territorio di Crichton: un incidente che fa emergere la fragilità di un intero sistema tecnologico.
Le parti che ho apprezzato di più sono quelle in cui la colpa cambia forma a seconda di chi racconta. Un conto è ciò che è accaduto; un altro è ciò che ciascuno riesce a confessare. E un altro ancora è ciò che si può dimostrare.
Il mio limite con il libro riguarda invece l’accumulo. Ci sono morale computazionale, dilemma del carrello, scatole nere, libero arbitrio degli algoritmi, proiezione antropomorfica e disallineamento. Poi arrivano droni killer, domotica malfunzionante, tecnocapitalisti accelerazionisti «elonmuskiani», adolescenti assorbiti da chatbot e smartphone, tecnomedicina, robotica industriale e perfino criminali che usano il machine learning per tracciare la polizia.
A tratti mi è sembrato che Holsinger volesse infilare nel bagagliaio l’intero dibattito sull’AI. Il minivan è capiente, ma qualche valigia resta fuori.
Questo sovraccarico non impedisce alla storia di scorrere. Per chi, come me, lavora con l’intelligenza artificiale, ha anche un vantaggio: offre molti agganci per ragionare. Purché si tenga distinta una vicenda narrativa da una dimostrazione scientifica.
L’edizione italiana è pubblicata da E/O, nella traduzione di Dario Diofebi: i dati editoriali sono consultabili nella scheda di Colpevolezza. Per acquistare la stessa edizione si può cercare il libro su Amazon tramite il suo ISBN.
Che cosa significa doomer e perché uso questa parola
Doomer indica una persona che guarda al futuro con forte pessimismo e si aspetta un peggioramento radicale. È il senso generale riportato dal Cambridge Dictionary. Nel dibattito sull’intelligenza artificiale l’etichetta viene applicata a chi insiste sui suoi possibili esiti catastrofici.
Qui «romanzo doomer» è una mia definizione di lettura, non una categoria editoriale ufficiale. Non sto attribuendo a Holsinger una previsione sull’estinzione dell’umanità. Mi riferisco al clima del libro: l’innovazione promette comodità, poi si presenta con il conto, e spesso il conto è tragico.
In questa atmosfera la tecnologia può diventare una lente deformante: ogni problema sembra confermare che ci stiamo consegnando a qualcosa di incontrollabile. Per questo leggo Colpevolezza come una storia sulla responsabilità e sulla fiducia, evitando di trasformarlo in una sentenza contro ogni applicazione dell’AI.
Guida autonoma e responsabilità: chi risponde di un incidente?
Guida assistita e guida autonoma non sono sinonimi. La National Highway Traffic Safety Administration, l’agenzia statunitense per la sicurezza stradale, distingue i livelli di automazione: al livello 2 il conducente deve sorvegliare continuamente; al livello 3 il sistema guida in determinate condizioni, ma la persona deve essere disponibile a riprendere il controllo quando richiesto; al livello 4 il sistema gestisce anche il recupero di sicurezza nel proprio ambito operativo; il livello 5 indica l’automazione completa in tutte le condizioni di guida gestibili da un conducente umano.
Un nome commerciale rassicurante non ci dice a quale livello appartenga un veicolo. Né autorizza a smettere di prestare attenzione. Nel romanzo il gesto di Charlie rende visibile proprio il problema del passaggio di controllo: il momento in cui l’umano e la macchina possono interferire anziché collaborare.
La responsabilità per un incidente con un veicolo automatizzato dipende dalla legge applicabile e dalla ricostruzione dei fatti. La storia è ambientata negli Stati Uniti: non possiamo trasferire automaticamente il suo quadro giudiziario in Italia. Per ragionare sul caso, le domande da separare sono queste:
| Questione da verificare | Perché conta |
|---|---|
| Chi controllava sterzo, accelerazione e frenata in quel momento? | Aiuta a ricostruire l’azione concreta del sistema e della persona. |
| Il veicolo operava nelle condizioni previste per quella funzione? | Strada, visibilità e limiti operativi possono incidere sulla valutazione. |
| C’erano difetti di sensori, software o istruzioni? | Può emergere una questione di responsabilità da prodotto. |
| Quali avvisi sono stati dati e quanto tempo c’era per reagire? | Una possibilità teorica di intervento va confrontata con ciò che era concretamente possibile. |
| Quali prove sono disponibili e quanto sono affidabili? | I dati tecnici devono essere interpretati insieme alle altre evidenze. |
In Europa, la direttiva (UE) 2024/2853 sulla responsabilità per prodotti difettosi include esplicitamente il software nella definizione di prodotto. Prevede il recepimento entro il 9 dicembre 2026 e si applica ai prodotti immessi sul mercato o messi in servizio dopo quella data. Alla data di questo articolo, il 4 ottobre 2026, quel termine è ancora futuro. La direttiva non stabilisce che, in qualunque incidente, paghi sempre il produttore: bisogna accertare i presupposti della responsabilità.
«Guidava l’AI» è l’inizio dell’indagine. Difficilmente basta come risposta.
DVF e black box: l’auto come testimone digitale
Che cos’è l’informatica forense veicolare
DVF significa Digital Vehicle Forensics: identificare, acquisire e analizzare tracce digitali legate a un veicolo per ricostruire eventi. Il gruppo di ricerca della Friedrich-Alexander-Universität Erlangen-Nürnberg studia proprio l’estrazione e l’interpretazione dei dati delle auto moderne.
In pratica si cercano elementi utili a capire velocità, comandi, stato dei sistemi e sequenza temporale dell’incidente. Le fonti possono essere diverse: centraline, infotainment e altri dati disponibili. La macchina lascia tracce; il lavoro forense serve a capire che cosa dimostrino davvero.
Attenzione però al «registra tutto» del romanzo. La NHTSA definisce l’Event Data Recorder, o EDR, come un dispositivo che registra determinate informazioni tecniche per pochi secondi intorno all’urto. In questa definizione non rientrano registrazioni audio o video. Altri sistemi possono raccogliere ulteriori dati, ma non bisogna immaginare un archivio universale e infallibile di ogni auto.
Le due scatole nere
«Black box» può indicare due cose diverse: un registratore di eventi, come quello appena descritto, oppure un sistema di cui osserviamo gli ingressi e i risultati senza comprendere facilmente il percorso che li collega.
Nel secondo caso parliamo di opacità del modello. Il National Institute of Standards and Technology distingue trasparenza, spiegabilità e interpretabilità: sapere che un sistema esiste e raccoglie dati non equivale a comprenderne il funzionamento o il significato di un risultato. Possiamo avere molti log e una spiegazione ancora insufficiente.
Etica computazionale e dilemma del carrello
L’etica computazionale tenta di tradurre criteri morali in regole, vincoli o obiettivi utilizzabili da un sistema informatico. «Computazioni etiche» e «morale computazionale», nel contesto del libro, rimandano a questo problema: come trasformare valori umani, spesso in conflitto tra loro, in decisioni operative?
Il dilemma del carrello è l’esperimento mentale in cui si deve decidere se deviare un mezzo fuori controllo: salvare più persone comporta sacrificarne un’altra. Applicato alle auto autonome diventa: chi deve essere protetto se l’urto è inevitabile?
Lo studio The Moral Machine experiment, di Edmond Awad e colleghi, pubblicato su Nature nel 2018, ha raccolto giudizi su scenari di questo tipo e ha mostrato anche differenze tra contesti culturali. Ma un’indagine sulle preferenze delle persone non è, da sola, un codice morale da installare sul cruscotto.
Il dilemma funziona molto bene nei romanzi e nelle discussioni. Io continuo a trovare più utile chiedere come progettare un sistema che riduca la probabilità di arrivare a quella scelta: percezione affidabile, velocità appropriata, limiti operativi chiari, gestione delle anomalie. L’etica entra già lì, molto prima dell’ultimo secondo.
Human in the loop: basta avere una persona al volante?
Human in the loop significa prevedere un intervento umano nel processo decisionale di un sistema. Nel romanzo Charlie è fisicamente presente, ma questo non risolve il problema. Deve capire che cosa sta succedendo, avere tempo per reagire e disporre di un comando efficace.
Un essere umano può anche supervisionare un sistema e intervenire quando necessario: è la logica spesso descritta come human on the loop. Le due espressioni aiutano a discutere il ruolo delle persone, ma non certificano la sicurezza di una procedura.
Il framework del NIST per la gestione del rischio AI colloca la valutazione dei rischi nel contesto di progettazione e utilizzo. La domanda pratica che porto nei miei corsi è questa: la persona che dovrebbe controllare possiede informazioni, competenze, tempo e autorità per farlo? Se manca uno di questi elementi, «c’è sempre un umano» può diventare una formula di conforto.
Proiezione antropomorfica e libero arbitrio degli algoritmi
La proiezione antropomorfica consiste nell’attribuire qualità umane a qualcosa che umano non è. Un chatbot «mi capisce», l’auto «ha voluto proteggermi», l’algoritmo «si è arrabbiato». Sono espressioni intuitive, ma possono complicare la comprensione del sistema. Ne ho parlato anche nell’articolo Quando ChatGPT sembra una persona.
Il «libero arbitrio degli algoritmi» è invece una formula filosofica e narrativa da maneggiare con cautela. L’autonomia operativa di un software non dimostra che possieda coscienza, intenzioni o responsabilità morale paragonabili a quelle umane. Quando descriviamo ciò che il sistema «ha deciso», dovremmo poter risalire a dati, regole, obiettivi, addestramento e condizioni d’uso.
Nel romanzo questa ambiguità è interessante: dare una personalità alla macchina può aiutarci a fidarci. Oppure a trovare qualcuno da accusare senza dover interrogare troppo chi l’ha progettata, venduta e utilizzata.
Disallineamento: quando l’obiettivo misurato tradisce quello desiderato
Il disallineamento è uno scarto tra il comportamento di un sistema e gli obiettivi, i valori o i vincoli che vorremmo rispettasse. Una sua manifestazione è lo specification gaming: il sistema soddisfa la specifica letterale ottenendo un risultato diverso da quello che intendevamo.
In un approfondimento di Google DeepMind un agente, premiato per portare in alto la base di un blocco rosso, ottiene il risultato ribaltando il blocco anziché impilarlo su quello blu. Ha raggiunto la misura del successo, ma ha mancato il compito desiderato.
Un esempio ipotetico più vicino alla vita quotidiana: se premio un assistente soltanto per la velocità con cui chiude una richiesta, potrei incentivarlo a saltare verifiche importanti. Non occorre immaginare una macchina malvagia. Basta aver definito male che cosa significa «fare bene».
Droni killer e LAWS: che cosa sono le armi autonome
LAWS significa Lethal Autonomous Weapons Systems, sistemi d’arma autonomi letali. Il Comitato internazionale della Croce Rossa descrive le armi autonome come sistemi che, dopo l’attivazione, selezionano e applicano forza ai bersagli senza ulteriori interventi umani.
Un drone armato non è automaticamente un’arma autonoma: può essere pilotato a distanza. Inoltre, l’autonomia di navigazione non equivale all’autonomia nella selezione e nell’attacco di un bersaglio. «Drone killer» è un’espressione giornalistica; la distinzione tecnica riguarda soprattutto chi controlla l’uso della forza.
Il Comitato internazionale della Croce Rossa raccomanda divieti e limiti specifici per preservare il controllo umano. Sono raccomandazioni da distinguere da un divieto universale già operativo. Il suo video seguente illustra il problema con simulazioni: non mostra prove documentarie di attacchi reali.
Accelerazionisti, domotica, chatbot e gli altri pezzi del mosaico
Il romanzo aggiunge molti altri temi. Vale la pena chiarirli senza fingere che siano tutti lo stesso problema.
Tecnocapitalismo e accelerazionismo
Con «tecnocapitalisti» descrivo qui i personaggi che concentrano insieme potere economico e controllo delle infrastrutture tecnologiche. «Accelerazionisti» rimanda, nel contesto di questa lettura, alla convinzione che si debba spingere rapidamente lo sviluppo e la diffusione della tecnologia. È una semplificazione di posizioni diverse. Il mio aggettivo «elonmuskiani» riguarda l’immaginario dei personaggi: non dimostra che ogni imprenditore tecnologico sostenga la stessa ideologia.
Domotica e robotica industriale
La domotica automatizza funzioni dell’abitazione: luci, temperatura, accessi, dispositivi. Un malfunzionamento può avere molte cause, dal sensore alla connessione al software; non ogni guasto è un problema di AI. La robotica industriale riguarda invece macchine che svolgono operazioni come manipolazione, assemblaggio o saldatura. Anche qui, automazione e intelligenza artificiale non coincidono. L’Occupational Safety and Health Administration dedica ai sistemi robotici industriali una guida sulla sicurezza: il rischio va valutato nel sistema concreto in cui il robot lavora.
Chatbot, smartphone e dipendenza
Nel libro gli adolescenti sono assorbiti dagli schermi e dai chatbot. Nella divulgazione conviene distinguere uso intenso, affidamento emotivo e dipendenza: non sono etichette intercambiabili, e una vicenda romanzesca non permette una diagnosi. Il profilo del NIST dedicato all’AI generativa è un riferimento per esaminare anche i rischi delle relazioni tra persone e sistemi. La domanda utile per leggere questi personaggi è quanto la delega tecnologica stia cambiando attenzione, fiducia e relazioni.
Tecnomedicina
Uso «tecnomedicina» come termine ampio per l’impiego della tecnologia nella salute, dall’analisi delle immagini al supporto decisionale. Non designa un unico tipo di sistema. L’Organizzazione mondiale della sanità, nelle indicazioni su etica e governance dell’AI per la salute, mette al centro autonomia umana, sicurezza e responsabilità. Il passaggio dalla promessa al beneficio richiede valutazioni specifiche, non soltanto un algoritmo convincente.
Machine learning e criminalità
Il machine learning è l’insieme di metodi con cui un sistema apprende regolarità dai dati per produrre, per esempio, classificazioni o previsioni. Nel romanzo compare anche l’uso criminale di queste capacità per tracciare la polizia. Lo considero un elemento della trama: da solo non documenta che organizzazioni reali utilizzino proprio quei sistemi. La capacità tecnica e il suo impiego concreto sono due affermazioni diverse, da verificare separatamente.
Oltre 400 pagine, senza pilota automatico
Alla fine Colpevolezza si fa leggere. Mi convince quando usa la tecnologia per mettere a nudo le persone: le omissioni, le giustificazioni, il bisogno di sentirsi innocenti. Mi convince meno quando sembra convocare ogni paura tecnologica disponibile.
Lo consiglierei a chi cerca una storia familiare con un forte innesco etico e a chi vuole discutere di AI partendo da una situazione concreta. Lo leggerei tenendo aperte le domande: come si ricostruisce un evento, quanto controllo possiede davvero un essere umano, chi definisce gli obiettivi e chi risponde degli errori.
Holsinger mette in scena una tentazione molto umana: affidare alla macchina anche il compito di assolverci. Per questo il titolo funziona così bene.
Oltre 400 pagine che scorrono. Senza pilota automatico.