Ai e responsabilità in sanità

Nella chat "Singolarità tecnologica vs Malattia Zero", Marco Mirijello ha condiviso un articolo della sua newsletter "Dentro la Sanità" con una tesi netta: "L'intelligenza artificiale non elimina la responsabilità, la redistribuisce." Ha ragione. Il NEJM, il BMJ, l'EU AI Act dicono la stessa cosa.

Se usi l'AI per decidere, devi documentare come l'hai usata. Se non la usi e potevi, devi spiegare perché. Se la usi e sbagli, devi dimostrare che l'hai governata.

D'accordo. Ma manca un passaggio.

Prima di chiedere all'AI di mostrare il percorso che ha portato alla risposta, dovremmo chiederci: il cervello umano è in grado di farlo?

È una domanda tecnica. La risposta è documentata. E la risposta è no.

Il punto cieco

La letteratura internazionale è chiara. Il NEJM ha analizzato i rischi legali dell'AI in clinica (Mello e Guha, 2024). Stanford e Harvard hanno documentato che gli LLM sbagliano di più sui casi difficili — ma con la stessa sicurezza di quelli facili (State of Clinical AI, 2026). Il JMIR ha proposto un framework per le competenze cliniche nell'era degli LLM (Cao et al., 2026). Tutti chiedono la stessa cosa: l'AI deve essere spiegabile, tracciabile, auditabile.

Nessuno se lo chiede.

La Gelli-Bianco chiede al medico di documentare il percorso decisionale. Dimostrare che ha seguito le linee guida. Ricostruire la catena che ha portato dal paziente alla decisione. Richiesta ragionevole. Richiesta impossibile — perché il sistema che produce la decisione non è in grado di mostrare il proprio percorso.

Guardiamolo da vicino. Questo è il report diagnostico di un sistema utilizzato in ambito clinico. Navigatelo fase per fase.

La domanda che non stiamo facendo

Quel report descrive anche un'intelligenza artificiale. Pattern matching, retrieval, confabulazione, bias, reasoning post-hoc, Chain of Thought opaca — sono i problemi documentati dei Large Language Models. Sono anche i problemi documentati del cervello umano. Gli stessi meccanismi, lo stesso limite: l'incapacità di mostrare il percorso. La differenza è che all'AI chiediamo di risolverli. Al cervello no.

Mirijello scrive: "la domanda non è più se la diagnosi fosse corretta, ma come è stata costruita quella decisione." Giusto. Ma vale per entrambi i sistemi — quello artificiale e quello biologico. La Gelli-Bianco chiede al medico di documentare il percorso decisionale. Lui lo documenterà — con i riferimenti, i livelli di evidenza, l'algoritmo citato per nome. Lo documenterà dopo. Perché il sistema che ha prodotto la decisione non tiene traccia del percorso. Confabula la spiegazione con la stessa fluenza con cui ha confabulato la diagnosi.

La questione vera non è come rendere tracciabile l'AI. È come dare al cervello umano ciò che non ha mai avuto: uno specchio. Uno strumento che registri dove ha seguito la linea guida e dove l'ha scavalcata. Dove i dati c'erano e dove ha generato. Per proteggerlo. Perché quando il caso finisce davanti a un giudice, il medico che può ricostruire il percorso è difendibile. Il medico che può solo raccontarlo non lo è.

La prossima volta che qualcuno vi chiede se vi fidate di più di un'intelligenza artificiale o di un essere umano, ricordatevi che la domanda non è di chi vi fidate. La domanda è: chi dei due sa ricostruire le ragioni di ciò che ha deciso?