Cosa succede se l’infermiera non è d’accordo con l’IA

A leggere la stampa mainstream l’intelligenza artificiale (IA) risolverà magicamente un sacco di problemi. “Purtroppo” si porterà via, come ogni altro salto tecnologico, un bel po’ di posti di lavoro. “Ma tranquilli” – dicono i camerieri del Capitale “se ne creeranno certamente altri; in fondo è sempre andata così...”.

Sembra di sentire quelli abituati ad attraversare la strada senza guardare se arrivano macchine (“mi è sempre andata bene...”). Abbiamo pubblicato qualche settimana fa uno studio che fa il punto teorico, da una visione marxista, sull’impatto futuro dell’IA e sulla sua struttura.

Ma si moltiplicano anche i casi concreti in cui l’IA, una volta “messa in produzione”, combina disastri. Fin quando si tratta di scrivere “articoli”, preannunciando la fine della professione giornalistica in stile “la voce del padrone”, poco male. Ma quella propensione all’errore diventa pericolosa per gli umani in carne e ossa, ad esempio, quando ciò avviene nella sanità.

Anche perché la fiducia “imprenditoriale” su questa risorsa che fa risparmiare lavoro è praticamente assoluta. E dunque gli umani che lavorano “con il supporto dell’IA” vengono di fatto obbligati ad obbedirle. Pena il licenziamento.

Per fortuna qualche volta si riesce a vincere su questo “Hal 9000”, ma il rischio sta diventando grande.

Buona lettura.

*****

Si parla molto di regolamentazione e rischi dell’IA, ma dagli Usa arriva un esempio pratico molto interessante e inquietante.

Un esempio che mostra come non sia sufficiente dire genericamente che gli umani avranno la parola finale su questioni fondamentali, anche quando affiancati da sistemi di IA. E non solo per il rischio di essere condizionati dalla presunta oggettività e scientificità della macchina. Ma anche perché spesso sono inseriti in un contesto istituzionale in cui “sovrascrivere” la decisione della macchina ha dei rischi.

Il WSJ racconta la storia di un’esperta infermiera di oncologia, che si è accorta come un allarme di un sistema di IA che attribuiva una sepsi a un paziente fosse sbagliato.

L’allarme metteva in relazione un’elevata quantità di globuli bianchi con un’infezione settica ma non teneva conto del fatto che quel particolare paziente fosse affetto da leucemia, che può causare dati simili. D’altra parte, il sistema non spiegava la sua decisione.

Ora la questione è che, scrive il WSJ, “le regole dell’ospedale prevedono che gli infermieri seguano i protocolli quando un pasanitàziente viene segnalato per la sepsi. Anche se Beebe (l’infermiera, ndr), qualora ottenga l’approvazione del medico, può ignorare il modello di intelligenza artificiale, se sbaglia – dice – rischia un’azione disciplinare.

Quindi l’infermiera ha seguito gli ordini e ha prelevato il sangue dal paziente, anche se ciò avrebbe potuto esporlo a un’infezione e far lievitare il conto.

Quando un algoritmo dice: ‘Il paziente sembra settico’, non posso sapere perché. Devo farlo e basta”, ha detto Beebe, che è rappresentante del sindacato California Nurses Association presso l’ospedale. [Ma] come sospettava, l’algoritmo era sbagliato”.

Fonte