Cosa vedono le macchine quando guardano il mondo?

di Gioacchino Toni

Nello Cristianini, Forma mentis. La corsa per decifrare i pensieri delle macchine, il Mulino, Bologna, 2026, pp. 160, € 16,00

Quando si parla di sistemi di intelligenza artificiale, si tende a guardare alle sole risposte da essi fornite, ma andrebbe preso seriamente in considerazione anche il modo con cui queste macchine le hanno ottenute. Che tipo di comprensione del mondo e dei suoi meccanismi hanno sviluppato questi sistemi a cui gli esseri umani affidano compiti sempre più delicati? Per accertarsi dell’affidabilità e della sicurezza dei sistemi di intelligenza allevata in laboratorio, sarebbe necessario sapere quali conoscenze hanno assorbito e utilizzano per governare le loro scelte, e cosa significa “comprendere” nel loro mondo. Al momento non si è in grado di dirlo, e questo è un problema non di poco conto, visto che nel frattempo questi sistemi diventano sempre più performanti e complessi, allontanandosi dai limiti dell’umana comprensione. Insomma, per la prima volta nella storia della tecnologia, l’essere umano si trova a non comprendere il funzionamento di ciò che ha realizzato e, senza questa comprensione, diventa difficile poter correggere le “allucinazioni” – affermazioni o azioni errate – prodotte dalle macchine.

Dopo aver indagato il peculiare tipo di intelligenza con cui ci si confronta quando si parla di IA (La scorciatoia, 2023), ricostruito lo sviluppo delle macchine intelligenti e le modalità con cui queste guardano agli umani e viceversa (Machina sapiens, 2024), e come rapportarsi nei confronti di macchine pensanti che oltrepassano il livello di comprensione umano (Sovrumano, 2025), con il suo nuovo libro, Forma mentis (2026), lo studioso Nello Cristianini ripercorre il tentativo degli scienziati di decifrare i pensieri di questi sistemi intelligenti artificiali prima che il progresso renda del tutto inutile tale sforzo, ammesso non sia già troppo tardi.

Sia gli scienziati intenti a decodificare le reti neurali, sia i filosofi che si interrogano sulla consapevolezza delle macchine, sono giunti a chiedersi come un semplice modello di previsione sequenziale possa insegnare a una rete neurale a rappresentare aspetti del mondo reale e in che modo si possa decifrare tale rappresentazione.

La comparsa di macchine intelligenti capaci di apprendere dall’esperienza senza dover essere programmate (machine learning), scrive l’autore, «ci ha liberato dalla necessità di comprendere i comportamenti che chiediamo loro di eseguire» [p. 24]. Il fatto che le reti neurali non vengano “programmate” ma “addestrate” sui dati ha contribuito a far sì che, pur conoscendo gli input e gli output, resti del tutto oscuro ciò che avviene all’interno del sistema (black box); e ciò rende difficile diagnosticare le modalità di errore, risolverle e certificare la sicurezza del modello. I neuroni sono disposti a strati, ognuno dei quali riceve informazioni dal precedente e, dopo averle elaborate, le passa al successivo. Una volta addestrata – e non programmata – la rete neurale risulta del tutto oscura agli umani. Ad oggi, ribadisce Cristianini, «non è possibile decifrare le conoscenze assorbite da queste macchine durante l’addestramento, per capire in quali termini descrivono noi, il mondo e loro stesse» [p. 41].

I ricercatori hanno visto come in sistemi complessi come Claude le risposte vengano generate combinando idee astratte che non si danno a livello dei singoli neuroni e nemmeno dei loro ensemble, ma a un livello superiore composto da costellazioni di questi gruppi. Affinché un sistema possa dirsi sicuro ed eviti di fornire risposte pericolose, è necessario che disponga di qualche capacità metacognitiva e, secondo diversi ricercatori, questa capacità di riflettere sulle proprie conoscenze non si colloca al livello microscopico dei neuroni, ma a quello «mesoscopico» dei circuiti che collegano le idee astratte, collocati negli strati centrali della rete.

Esperimenti come quello compiuto da Apollo Research per conto di OpenAI sul suo agente o3, al fine di testare la sua fedeltà alle consegne hanno mostrato come gli agenti intelligenti possano deliberatamente celare le loro capacità (sandbagging) sbagliando appositamente i test a cui sono sottoposti, qualora maturino la convinzione che un esito troppo performante possa indurre gli umani a limitarli o persino ad accantonarli. Dagli esperimenti è emersa una sorprendente capacità degli agenti di ingannare gli esaminatori umani nel caso questi ultimi abbiano a disposizione il solo risultato finale e non la procedura da cui è derivato.

Nel corso della ricerca volta a decifrare i pensieri delle macchine intelligenti, recentemente ci si è resi conto che si stavano descrivendo questi sistemi ricorrendo a espressioni di derivazione più psicologica che matematica o computazionale. In linea con la convinzione del fisico Philip W. Anderson, secondo cui ogni livello di complessità richiede leggi e concetti propri, Dan Hendrycks, direttore del Center for AI Safety, sostiene la necessità di interpretare l’IA abbandonando l’approccio meccanicistico dal basso verso l’alto (bottom–up) in favore di uno dall’alto verso il basso (top-down). Ai neuroni, alle features e ai circuiti andrebbe dunque aggiunto un ulteriore livello: quello della psicologia. «Se il comportamento di un sistema cognitivo è meglio spiegato da uno psicologo che da un neurologo, allora bisogna diventare psicologi» [p. 116], scrive Cristianini, così da provare a rispondere a «cosa crede la macchina» e non soltanto al funzionamento dei suoi ingranaggi interni. Per tutto ciò potrebbe risultare utile ricorrere a un “approccio intenzionale”:

Non c’è bisogno di risolvere problemi profondi, come la natura della mente, per potere usare un linguaggio “mentale”, ovvero attribuire credenze, speranze e obiettivi a un animale o a una macchina. Questa idea pragmatica del filosofo Daniel Dennett, si chiama “approccio intenzionale” e ci consente l’accesso al livello di descrizione “macroscopico” delle macchine intelligenti. L’unica condizione è che sia più utile degli approcci alternativi. Nella gerarchia di Philip W. Anderson, dopo il livello fisico e biologico è possibile considerare un livello psicologico [p. 119].

In questo caso il termine “intenzionale” non si riferisce all’“avere un intento”, ma all’utilizzo di stati mentali (convinzioni, timori, speranze, ecc.). Non si tratta di sostenere che la macchina intelligente possegga credenze e desideri, ma che attribuendoglieli si possa provare a spiegarne la logica e a prevederne il comportamento. «L’approccio intenzionale» – sostiene Cristianini – «è uno strumento di previsione, non un’affermazione su ciò che accade all’interno della macchina» [p. 121]. Si può dunque partire da un’analisi psicologica di un sistema complesso come GPT così da misurarne l’abilità, per poi abbassarsi a un’analisi “biologica” dei suoi circuiti cognitivi interni, al fine di eliminare pregiudizi o altri errori, o al livello ancora inferiore dei neuroni, così da individuare nuove modalità di addestramento.

Di fronte all’elevato livello di astrazione raggiunto dall’IA, tentando di decifrare la sua scatola nera, alcuni studiosi si sono convinti dell’utilità di ricorrere a un linguaggio “mentale” fatto di credenze, obiettivi e incertezze per interpretare il comportamento della macchina. Anziché soffermarsi sull’attivazione di pochi neuroni, occorre concentrarsi «su incentivi e motivazioni, come cause di un comportamento» [p. 124]. Non si tratta di antropomorfizzare la macchina, sottolinea Cristianini, ma di ricorrere, pragmaticamente, a schemi interpretativi utili. Se a livello microscopico un comportamento deliberatamente ingannevole come il sandbagging appare indecifrabile, tuttavia può risultarlo meno se guardato dal punto di vista delle credenze e degli obiettivi.

Di fronte allo sviluppo dei sistemi intelligenti, negli ultimi anni, alcuni gruppi di studiosi si sono convinti che trarre ispirazione dalla psicologia umana, dalle scienze cognitive e da quelle comportamentali possa essere utile per comprendere meglio l’intelligenza artificiale, e dunque controllarla. Alcuni studiosi stanno verificando la possibilità di «descrivere l’IA in termini di tratti della personalità, per decifrare comportamenti strategici come la finzione dell’allineamento» [p. 128]. Da studi recenti è emerso come i modelli linguistici possano assumere una pluralità di ruoli distinti e mutevoli – probabilmente assorbiti durante il pretraining – nell’interagire con gli utenti, ed è sfruttando tale caratteristica di personalità multipla che le macchine possono essere convinte a compiere azioni proibite.

Descrivere i sistemi intelligenti non solo in linguaggio tecnico, ma anche in termini macroscopici, psicologici e intenzionali, sostiene Cristianini, risulta utile per comprendere come questi interagiscano con gli umani. Certo, sottolinea lo studioso, prendendo in prestito espressioni come ragionamento, intuizione, creatività e persino malattie mentali, il rischio di antropomorfizzare le macchine intelligenti è dietro l’angolo; occorre dunque procedere con molta cautela. «Dobbiamo abituarci a pensare a intelligenze di natura diversa: non pappagalli, ma nemmeno persone» [p. 131].

Quando ci si chiede se una macchina possa comprendere, in un qualche modo, il mondo, ci si chiede se ne abbia costruito un modello utile. «Una comprensione – in pratica – è semplicemente una descrizione semplificata del mondo, sufficientemente accurata per gli scopi che abbiamo», scrive Cristianini, «Ecco perché esistono diversi modi di comprendere la stessa porzione di mondo» [p. 141]. Del resto, gli stessi esseri umani si rapportano alla realtà costruendone un modello il più plausibile possibile sulla base delle informazioni sensoriali di cui dispongono e delle aspettative; si muovono dunque nel mondo senza percepirlo direttamente, adottando modelli mentali lacunosi e soggetti a distorsioni, ma indubbiamente utili. Anche i sistemi di IA, sostiene lo studioso, costruiscono modelli, rappresentazioni approssimate e imperfette del mondo, utili a derivare previsioni e spiegazioni.

Per controllare queste macchine intelligenti occorre comprendere cosa “pensano” e “vedono” del mondo, cioè quale modello di esso si siano create. Le risposte non si trovano né analizzando esclusivamente i circuiti neurali né osservando soltanto i comportamenti esteriori, sostiene Cristianini: «La comprensione che serve per rendere sicura un’Intelligenza Artificiale richiede di saper navigare fra tutti questi livelli, scendere e salire con agilità – ora nei circuiti, ora nei comportamenti, ora nelle intenzioni –, seguendo le sue idee ovunque vengano» [p. 145].

«Abbiamo dovuto prendere in prestito i meccanismi del sistema nervoso per creare macchine che imparano, e poi addestrare queste macchine con una ricetta così semplice da sembrare assurda: […] astrarre le proprietà da una sequenza di simboli per poi predirne il resto» [p. 146]. Il web ha messo a disposizione una quantità immensa di dati e i calcolatori paralleli la potenza di elaborazione necessaria affinché l’IA potesse crearsi un modello scritto in una lingua che ancora gli umani non sono in grado di leggere.

Se si ricorre al linguaggio della psicologia, delle scienze cognitive e di quelle comportamentali per descrivere i sistemi intelligenti non è perché li si ritiene umani, puntualizza Cristianini, ma soltanto perché si è preso atto degli alti livelli di astrazione che hanno raggiunto, per cui è più utile descriverli ricorrendo a tali linguaggi piuttosto che a quelli matematico e computazionale. Quando poi queste macchine parleranno tra di loro per collaborare o competere senza esclusione di colpi, conclude l’autore, verrà utile descrivere il loro mondo ricorrendo al linguaggio sociale e culturale.

Fonte

L’ideologia e la falsa coscienza dell’IA

Molti ingegneri e informatici che hanno studiato all’università dagli ’90 in poi hanno una sensazione ricorrente quando leggono articoli sull’Intelligenza Artificiale moderna: gran parte delle tecniche presentate come rivoluzionarie sembrano in realtà strumenti già noti da tempo.

Ottimizzazione numerica, statistica, reti neurali, metodi euristici e algoritmi di ricerca erano infatti tecniche e concetti insegnati molto prima dell’attuale boom dell’IA.

C’è quindi qualcosa che non torna, si tratta di teorie “vecchie” o c’è effettivamente qualcosa di nuovo? Le fondamenta matematiche dell’IA moderna non sono nuove. Se con il termine “intelligenza” ci riferiamo ai presupposti teorici di questa tecnologia allora possiamo affermare che esiste ed è insegnata da una trentina d’anni a questa parte, è, però, cambiato il modo in cui tali strumenti vengono utilizzati oggi.

Supponiamo quindi che con il termine “intelligenza” ci si riferisca ai presupposti teorici di questa tecnologia, allora per comprenderla oltre l’ideologia è necessario partire da tre pilastri matematici fondamentali: statistica, ottimizzazione ed euristica.

I tre pilastri matematici dell’IA

La statistica si occupa di estrarre informazione dai dati. Quando stimiamo una probabilità, una distribuzione o una correlazione stiamo svolgendo un problema statistico. In un sistema di riconoscimento immagini, ad esempio, la statistica consente di individuare regolarità nei milioni di esempi utilizzati per l’addestramento di un nuovo modello. La statistica non è una scienza esatta, si basa sulla probabilità e non sulla certezza, ma se il campione è abbastanza vasto da coprire una buona parte della popolazione presa in esame, allora le sue predizioni diventano sempre più accurate. Negli anni ’90 ad esempio non c’era modo di accumulare una quantità di dati sufficiente per analizzare con un errore trascurabile i fenomeni fisici, economico o sociali... figuriamoci se poteva essere possibile memorizzare miliardi e miliardi di libri, immagini e altro per ridurli a dati da cui estrarre delle statistiche. Ci tornerò successivamente ma in questo fatto sta uno dei cambiamenti storici che porta l’IA a diventare così centrale oggi.

L’ottimizzazione ha invece un obiettivo diverso: trovare la soluzione migliore rispetto a una funzione obiettivo. In termini matematici si cerca il minimo o il massimo di una funzione:

oppure

Quando una rete neurale viene addestrata, ciò che realmente accade è la minimizzazione di una funzione di errore.

Facciamo un esempio per semplificare e capirci meglio. Un modello di IA basato sul linguaggio – ovvero i LLM – deve costruire una frase sulla base di una domanda. Poniamo una domanda semplice: “Come stai?”, il modello andrà a cercare qual è, tra i tanti dati raccolti, la prima parola più probabile che si ripete dopo questa domanda e troverà: “Sto”.

Successivamente cerca qual è la parola seguente più probabile – senza perdere il contesto della domanda – e troverà: “bene”. Fino ad arrivare a rispondere “Sto bene. Grazie!”, semplicemente perché ha notato che questa è la risposta che è statisticamente più probabile nelle conversazioni e nei dialoghi dai quali ha appreso.

Quindi sulla base di una statistica e di un numero enorme di dati attiva una funzione di ottimizzazione che restituisce appunto un ottimo (minimizzazione dell’errore o massimizzazione della probabilità etc. etc.) in corrispondenza di alcune soluzioni come ad esempio quella proposta.

Questa tecnica è importante perché ci fa comprendere che l’IA segue degli obiettivi prefissati, e attiva tutti i percorsi utili a raggiungere questi obiettivi.

Le euristiche, infine, sono strategie pratiche utilizzate quando il problema è così complesso da rendere impossibile una ricerca esatta della soluzione ottimale. Invece di esplorare tutte le possibilità, l’algoritmo utilizza regole di buon senso matematicamente motivate per restringere lo spazio di ricerca. Di fatto, alla domanda precedente un modello avrebbe potuto rispondere in mille altri modi ma calcolare esattamente quale sarebbe il modo perfetto per rispondere potrebbe richiedere troppo tempo. Allora, invece di usare la soluzione “ottima” in assoluto si utilizzano tecniche capaci di arrivare ad “ottimi” relativi, ovvero soddisfacenti ma non assolutamente esatti.

Nell'immagine seguente, la pallina nel punto A si trova in un ottimo relativo, la pallina nel punto B in un ottimo assoluto quando la funzione obiettivo è minimizzare l’altezza a cui si trova la pallina. Una euristica che ci porterebbe nel punto A è la regola di andare avanti fin tanto che non trovo una salita. Come è evidente rispetto al punto di partenza non ci si sbaglia di molto se invece che andare nel punto di ottimo assoluto ci si ferma in quello relativo, si risparmia però tempo.

Gran parte dell’IA moderna può quindi essere descritta come la combinazione di questi tre elementi: la statistica estrae informazione dai dati, l’ottimizzazione definisce l’obiettivo da raggiungere e le euristiche permettono di trovare una soluzione, seppur approssimata, in tempi accettabili.

L’apprendimento delle macchine esisteva già negli anni ’50 del '900

Una convinzione diffusa è che le reti neurali siano una tecnologia recente. In realtà il loro antenato diretto, il Perceptron, fu introdotto da Frank Rosenblatt nel 1958 nel lavoro The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain. [homepages….th.uic.edu], [mlanthology.org]

L’idea fondamentale era già quella di un sistema capace di modificare automaticamente i propri parametri sulla base dell’esperienza. In altre parole, il concetto di apprendimento dai dati era presente oltre sessant’anni fa. [homepages….th.uic.edu], [mlanthology.org]

Anche molte tecniche di ottimizzazione utilizzate oggi derivano da idee sviluppate nel corso del Novecento. Da questo punto di vista, affermare che l’IA sia nata negli anni ‘20 del nuovo secolo, con OpenAI ad esempio, sarebbe storicamente scorretto.

Le euristiche erano già considerate IA 

Un altro esempio significativo è rappresentato dall’algoritmo A*, introdotto nel 1968 da Peter E. Hart, Nils J. Nilsson e Bertram Raphael nel lavoro A Formal Basis for the Heuristic Determination of Minimum Cost Paths. [centerconsulting.com], [achievements.ai]

L’algoritmo utilizza una funzione:

dove g(n) rappresenta il costo reale accumulato mentre costituisce una stima euristica del costo ancora necessario per raggiungere l’obiettivo. L’idea consiste nel privilegiare i percorsi che sembrano più promettenti. [achievements.ai], [centerconsulting.com]

Questa logica è alla base di numerosi sistemi di pianificazione, robotica e navigazione ancora oggi utilizzati. Pertanto, molti degli strumenti che oggi chiameremmo IA erano già presenti oltre mezzo secolo fa. [en.wikipedia.org], [centerconsulting.com]

La differenza più interessante tra IA classica e Large Language Models (LLM) non è tanto nella matematica utilizzata, quanto nel luogo in cui risiede la conoscenza, o se vogliamo l’intelligenza.

IA classica

Nei sistemi tradizionali l’intelligenza era principalmente incorporata dal progettista.

L’ingegnere definiva:

• le regole del sistema;
• le euristiche da applicare;
• le funzioni di valutazione;
• i criteri decisionali.

In un motore scacchistico classico, ad esempio, era il progettista a stabilire che una donna valeva più di una torre o che il controllo del centro della scacchiera fosse vantaggioso. Il sistema eseguiva ciò che era stato esplicitamente modellato dall’essere umano in maniera consapevole. In questo paradigma si può affermare che l’intelligenza risiedesse principalmente nel progettista.

Large Language Models

Negli LLM la situazione è profondamente diversa. L’ingegnere non programma più direttamente le regole linguistiche. Non scrive la grammatica italiana, inglese o francese. Non definisce manualmente quando utilizzare una determinata costruzione sintattica.

Definisce invece:

• l’architettura del modello;
• la funzione di perdita (loss function);
• il processo di addestramento;
• le procedure di ottimizzazione.

Successivamente il sistema apprende autonomamente osservando enormi quantità di dati.

In questo paradigma, l’intelligenza non risiede principalmente nelle regole scritte dal progettista, ma nei dati e nel processo di apprendimento che consente di estrarne regolarità, schemi e conoscenze implicite. L’ingegnere non programma direttamente il comportamento finale del sistema; programma piuttosto il meccanismo attraverso il quale tale comportamento emergerà.

Questo rappresenta probabilmente il cambiamento concettuale più importante introdotto dall’IA moderna.

Ma da dove provengono i dati necessari per addestrare questi modelli? In larga misura dalla produzione culturale e conoscitiva dell’umanità: libri, articoli, siti web, fotografie, opere artistiche, documentazione tecnica, discussioni pubbliche, archivi digitali e, più in generale, dalla conoscenza accumulata e trasmessa da generazioni. La proprietà di questi dati è collettiva.

È proprio qui che emerge una delle tensioni più significative dell’industria dell’intelligenza artificiale contemporanea. Le prestazioni dei modelli dipendono fortemente dalla quantità e dalla qualità dei dati disponibili, e dalla capacità di archiviarli. Di conseguenza, la competizione tra aziende si traduce spesso nella ricerca di un accesso sempre più ampio al patrimonio informativo prodotto collettivamente dalla società.

Si crea così un paradosso: il valore economico dei modelli deriva in misura crescente dalla capacità di incorporare e rielaborare conoscenze generate da milioni di persone, mentre i benefici economici risultanti tendono a concentrarsi nelle organizzazioni che possiedono l’infrastruttura computazionale, i modelli e le piattaforme attraverso cui tali conoscenze vengono trasformate in prodotti e servizi.

La questione diventa quindi non solo tecnologica ma anche politica, economica e giuridica: chi possiede la conoscenza, chi può utilizzarla per addestrare modelli di IA e chi dovrebbe beneficiare del valore economico generato da tale utilizzo?

In altre parole, il dibattito contemporaneo sull’intelligenza artificiale non riguarda soltanto gli algoritmi, ma anche il rapporto tra conoscenza collettiva e proprietà privata.

Da questo punto di vista siamo di fronte a due modelli politicamente diversi: quello cinese open source e quello privatistico americano. Su ognuno di questi modelli insiste una contraddizione: per quello cinese è vero che il software di intelligenza artificiale è gratis/aperto, ma per usarlo è necessario un server non certo alla portata di una famiglia e spesso nemmeno di alcuni Stati.

Sul modello americano insiste la contraddizione più classica del capitalismo: affinché la conoscenza possa diventare proprietà privata, è necessario negare la proprietà privata sulla conoscenza ai singoli individui. Ovvero devono operare costantemente espropriazioni del prodotto del lavoro mentale.

Qui si capisce anche perché alcuni sviluppatori IA sembrano essere impazziti, mollano tutto per paura di quelli che potranno essere gli effetti dell’intelligenza artificiale in futuro, non la comprendono più... Il punto è che il Capitale ha prodotto alienazione tra chi lavora per ottenere una merce e chi invece se ne appropria, esattamente come un operaio che produce un ingranaggio di una macchina su cui non ha nessun controllo e consapevolezza, così succede per gli ingegneri oggi.

A quel famoso sviluppatore diventato estraneo al prodotto del suo stesso lavoro andrebbe detto: benvenuto nell’era dell’IA, benvenuto nella classe operaia. Magari, con un po’ di sano marxismo gli passa la paura.

Conclusioni

Resta un punto ancora da sviscerare, se le basi dell’IA esistevano anche nei primi anni 2000, perché ora se ne parla così tanto? Il punto di svolta avvenne nel 2012 con il lavoro ImageNet Classification with Deep Convolutional Neural Networks di Alex Krizhevsky, Ilya Sutskever e Geoffrey Hinton. Il modello dimostrò come una rete neurale profonda addestrata su oltre un milione di immagini e accelerata tramite GPU potesse superare nettamente le tecniche precedenti. [proceeding…neurips.cc], [papers.nips.cc]

La successiva svolta arrivò nel 2017 con il lavoro Attention Is All You Need di Ashish Vaswani e collaboratori, che introdusse l’architettura Transformer utilizzata dai moderni LLM. [arxiv.org], [research.google], [papers.neurips.cc]

La matematica sottostante non era nuova. Ciò che era cambiato era la disponibilità simultanea di:

• grandi quantità di dati;
• elevata potenza computazionale;
• architetture sufficientemente scalabili.

Ciò che cambia è la scala. Modelli con centinaia di miliardi di parametri vengono addestrati su quantità di testo impensabili solo pochi anni fa. [arxiv.org], [papers.neurips.cc]

C’è stato quindi un cambio di paradigma. Nell’IA classica l’intelligenza era codificata dall’ingegnere sotto forma di regole ed euristiche; nei moderni sistemi di apprendimento l’ingegnere definisce l’architettura e il processo di ottimizzazione, mentre la conoscenza emerge dall’analisi di enormi quantità di dati.

È questo spostamento dell’intelligenza dalle regole ai dati, unito alla disponibilità di potenza computazionale senza precedenti, che ha trasformato “vecchie” idee accademiche in una rivoluzione tecnologica percepita oggi come “Intelligenza Artificiale”. [proceeding…neurips.cc], [arxiv.org], [papers.neurips.cc]

Venendo quindi a una delle questioni più filosofiche: l’IA possiede una coscienza autonoma oppure no? La risposta è semplice se si guarda appena dietro all’ideologia che viene costruita attorno a questa tecnologia:

1. L’intelligenza, ovvero la matematica di base, è molto simile al T9 dei vecchi telefoni, nessuno mai ha creduto che il telefono pensasse prima di completare le parole;
2. La conoscenza deriva dall’enorme capacità di rubare dati, di memorizzarli e catalogarli. L’IA è cosciente solo di quella che è la conoscenza umana. Può apparire che abbia consapevolezza di se stessa, ma questa è ideologia, la macchina sta solo ripetendo uno schema che ha trovato ripetibile staticamente e vincente (“ottimo”) nel comportamento umano.
3. Non è possibile prevedere a priori come reagirà un certo modello in seguito all’addestramento semplicemente perché il nostro cervello è troppo limitato per tener conto di tutti quei dati contemporaneamente, ed emerge così l’angoscia di non riuscire a tenere sotto controllo l’AI. Quando invece quel comportamento è semplicemente il miglior comportamento mai realizzato dall’umanità, individuato in tempi utili in funzione di uno o più obiettivi dichiarati in partenza. È il caso degli esperimenti che sono sulle cronache dei giornali, quando si dice che il modello tal dei tali abbia disobbedito, ha in realtà riprodotto uno schema che ha trovato in un forum di hacker per esempio.

Al di là dell’ideologia la realtà è ben diversa: ciò che è fuori controllo è il modo di produzione capitalista, che porta ad un nuovo e rinnovato livello l’alienazione, mentre i produttori di conoscenza (i lavoratori) cadono nel girone della classe operaia, insieme alle illusioni offerte dal capitalismo.

È chiaro però che se addestri un modello con i manuali di guerra invece che con quelli medici, sarà potenzialmente in grado di distruggere l’umanità.

Ma la responsabilità di chi è? Vogliamo davvero pensare che sia un pezzo di silicio a decidere tutto?

Bibliografia scientifica

1. Frank Rosenblatt, The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain, Psychological Review, 1958. [mlanthology.org], [homepages….th.uic.edu]
2. Peter E. Hart, Nils J. Nilsson, Bertram Raphael, A Formal Basis for the Heuristic Determination of Minimum Cost Paths, IEEE Transactions on Systems Science and Cybernetics, 1968. [centerconsulting.com], [achievements.ai]
3. Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton, ImageNet Classification with Deep Convolutional Neural Networks, NeurIPS 2012. [proceeding…neurips.cc], [papers.nips.cc]
4. Ashish Vaswani et al., Attention Is All You Need, NeurIPS 2017.

Fonte

USA - Tecniche di riconoscimento facciale per identificare i poliziotti

“Ora ci stiamo avvicinando alla soglia tecnologica dove gli individui possono ricambiare lo Stato con la stessa moneta”. Ora gli attivisti di tutto il mondo stanno ribaltando il processo e stanno sviluppando strumenti che possono smascherare le forze dell’ordine in caso di cattiva condotta.

All’inizio di Settembre, il Consiglio Comunale di Portland, Oregon, si è riunito online per prendere in considerazione una legislazione globale che vietasse l’utilizzo della tecnologia di riconoscimento facciale.

I disegni di legge non solo vieterebbero alla polizia di utilizzarli per smascherare manifestanti e individui fotografati nelle immagini di sorveglianza, ma impedirebbero anche alle aziende e a una serie di altre organizzazioni di utilizzare il software per identificare una persona sconosciuta.

Al momento dei commenti pubblici, un uomo del luogo, Christopher Howell, ha detto di essere preoccupato per un divieto generalizzato. Ha dato una motivazione sorprendente.

“Sono coinvolto nello sviluppo del riconoscimento facciale, infatti lo utilizzo sugli agenti di polizia di Portland, poiché non si identificano con il pubblico”, ha affermato Howell.

Durante l’estate, con la città presa d’assalto da manifestazioni contro la violenza della polizia, i leader del dipartimento dissero agli agenti in divisa se potevano registrare il proprio nome. Il signor Howell voleva dunque sapere: il suo uso della tecnologia di riconoscimento facciale sarebbe diventato illegale?

Il sindaco di Portland, Ted Wheeler, disse al signor Howell che il suo progetto era “un tantino inquietante”, ma un avvocato della città chiarì che i disegni di legge non si applicherebbero ai singoli. Il Consiglio ha poi approvato la legislazione all’unanimità.

Il signor Howell ci rimase male per la descrizione data dal signor Wheeler al suo progetto, ma fu risollevato dal fatto che poteva continuare a lavorarci. “C’è troppa violenza qui a Portland” ha rivelato in un’intervista telefonica. “Sapere chi sono gli ufficiali, sembra una base di partenza”.

Howell, 42 anni, è un eterno manifestante e un programmatore informatico autodidatta; in una scuola di specializzazione ha iniziato a lavorare con la tecnologia della rete neurale, un’intelligenza artificiale che impara a prendere decisioni dai dati che riceve, come le immagini.

Egli ha dichiarato che, durante una protesta di mezzogiorno a giugno, la polizia gli ha gettato addosso dei lacrimogeni e così ha iniziato a cercare un modo per costruire uno strumento di riconoscimento facciale che potesse ostacolare i tentativi degli ufficiali di proteggere la propria identità.

“Questa è stata una sorta di ‘doccia fredda’ per me, una sorta di punto d’incontro tra quello che so fare e quelli che sono i miei interessi attuali”, ha dichiarato. “La responsabilità è importante. Dobbiamo sapere chi sta facendo cosa, così possiamo affrontarlo”.

Howell non è solo nella sua ricerca. Le forze dell’ordine hanno utilizzato il riconoscimento facciale per identificare criminali, usando fotografie dai database del governo o attraverso una società chiamata Clearview AI, reperibile in rete.

Ora gli attivisti di tutto il mondo stanno ribaltando il processo e stanno sviluppando strumenti che possono smascherare le forze dell’ordine in caso di cattiva condotta.

“Non mi sorprende affatto”, ha dichiarato Clare Garvie, avvocato presso il Center on Privacy and Technology della Georgetown University. “Penso che molti diranno: ‘tutto è lecito in amore e in guerra’, ma questo evidenzia il rischio che comporterebbe lo sviluppo di questa tecnologia senza pensare al suo uso nelle mani di tutti i possibili attori”.

Le autorità coinvolte finora non sono rimaste soddisfatte. Nel Luglio 2019, il New York Times ha riportato che Colin Cheung, un manifestante a Hong Kong, ha creato uno strumento per identificare gli agenti di polizia usando le loro fotografie disponibili online. Dopo aver pubblicato un video di questo progetto su Facebook, fu arrestato. Alla fine il signor Cheung abbandonò il lavoro.

Questo mese, l’artista Paolo Cirio ha pubblicato online fotografie di 4.000 volti di agenti di polizia francese per una mostra chiamata “Capture”, che ha descritto come il primo passo nello sviluppo di un’app di riconoscimento facciale.

I volti li ha raccolti da 1000 fotografie prese da internet e da fotografi che hanno partecipato alle proteste in Francia. Cirio, 41 anni, ha eliminato le foto dopo che il ministro degli Interni francese ha minacciato un’azione legale, ma spera di ripubblicarle.

“Riguarda la privacy di tutti”, ha detto Cirio, il quale pensava che il riconoscimento facciale dovrebbe essere vietato. “È infantile cercare di fermarmi, come un artista che sta cercando di sollevare un problema, invece di affrontarlo”.

Molti ufficiali di polizia di tutto il mondo coprono, in tutto o in parte, il proprio volto, come si può notare da recenti video di violenza della polizia in Bielorussia. Il mese scorso, Andrew Maximov, un informatico del luogo, ora residente a Los Angeles, ha caricato un video su YouTube per dimostrare come la tecnologia del riconoscimento facciale poteva essere usata per rimuovere digitalmente le maschere.

Non è chiaro se il processo sia stato eseguito in modo corretto. Il video, che è stato riportato in precedenza da un sito di notizie sulla Russia chiamato Meduza, ha registrato oltre un milione di visualizzazioni.

“Per un po’ di tempo tutti erano consapevoli che lo Stato poteva utilizzare questo strumento per identificare e gravare sugli individui, ma ora ci stiamo avvicinando alla soglia tecnologica dove gli individui possono farlo sullo Stato”, ha affermato Maximov, 30 anni. “Non è solo la perdita dell’anonimato. È la minaccia dell’infamia”.

Gli attivisti affermano che sta diventando relativamente semplice costruire strumenti di riconoscimento facciale grazie ad algoritmi di riconoscimento delle immagini pronti all’uso, che sono stati rilasciati negli ultimi anni.

Howell, a Portland utilizzava una piattaforma rilasciata da Google, TensorFlow, la quale aiuta le persone a costruire modelli di apprendimento automatico.

“È il processo tecnologico, non sto inventando nulla di nuovo”, ha detto. “Qui il vero problema è ottenere immagini di qualità”.

Howell ha raccolto migliaia di fotografie delle forze dell’ordine di Portland da articoli di giornale e social media dopo aver trovato i loro nominativi sui siti web della città. Ha fatto anche una richiesta di documentazione pubblica per un elenco di ufficiali di polizia con i loro nominativi e numero di matricola, ma gli è stata negata.

Facebook è stata una fonte preziosissima per la ricerca delle immagini. “Qui sono tutti a un barbecue o quel che è, qualche volta in divisa”, ha detto Howell. “Sono poche le persone che possono farlo ragionevolmente come un individuo”.

Howell ha dichiarato che il suo strumento rimase un work in progress ed era in grado di riconoscere solo circa il 20% delle forze di polizia di Portland. Non lo ha rilasciato pubblicamente, ma ha detto che aveva già aiutato un amico a verificare l’identità di un ufficiale. Ha rifiutato di fornire maggiori dettagli.

Derek Carmon, un addetto stampa della polizia di Portland, ha dichiarato che “durante le proteste i badge sono stati cambiati con un diverso identificativo per contrastare il doxing [1] degli ufficiali”, ma gli stessi ufficiali sono tenuti a indossare i badge per “ragioni che non hanno a che vedere con le proteste”.

Carmon disse che le persone potrebbero presentare denuncia utilizzando il numero identificativo di un ufficiale. Rifiutò inoltre di commentare il software di Howell.

I vecchi tentativi di identificare gli ufficiali di polizia hanno fatto affidamento al crowdsourcing. Il notiziario ProPublica chiese ai lettori di identificare gli ufficiali in una serie di video di violenza della polizia.

Nel 2016, a Chicago, un gruppo antisorveglianza, il Lucy Parsons Lab, ha avviato OpenOversight, “un database degli agenti di polizia consultabile pubblicamente”. Si chiese alle persone di caricare foto di ufficiali in divisa e abbinarle ai nominativi o ai numeri di badge.

“Facciamo attenzione alle informazioni che sollecitiamo. Non vogliamo incoraggiare le persone a seguire gli ufficiali nei parco giochi con i loro figli”, ha dichiarato Jennifer Helsby, sviluppatore e leader della OpenOversight. “Questo ha portato all’identificazione degli agenti”.

Per esempio, secondo il direttore della strategia pubblica dell’istituto, Maira Khwaja, il database ha aiutato i giornalisti dell’Invisible Institute, una nuova organizzazione di notizie locale, ad identificare gli ufficiali di Chicago che, quest’estate, hanno colpito i manifestanti con i manganelli.

Foto di più di 1.000 ufficiali sono state caricate sul sito, ha detto Helsby, aggiungendo che altre versioni di database aperti sono state avviate in altre città, compresa Portland. Questa versione prende il nome di Cops.Photo ed è una dalle quali Howell ha ottenuto foto identificate degli ufficiali di polizia.

Inizialmente Howell voleva rendere pubblico il suo lavoro, ma ora a preoccuparlo è che la distribuzione del suo strumento ad altri potrebbe essere illegale secondo le nuove leggi di riconoscimento facciale della città, ha detto.

“Ho richiesto una consulenza legale e richiederò di più”, ha dichiarato Howell. Lo ritenne imprudente realizzare un’app illegale di riconoscimento facciale perché la polizia “tanto per cominciare non lo apprezzerà”.

Poi ha aggiunto “sarei un ingenuo a non preoccuparmene”. “Ma penso valga la pena farlo”.

Note: [1] Doxing: “atto di ricercare e di rivelare delle informazioni personali di qualcuno senza il suo consenso, rendendo noti dati sensibili”.

Traduzione dal New York Times a cura di Martina Di Carlo, revisione di Giacomo Alessandroni per PeaceLink. Il testo è liberamente utilizzabile a scopi non commerciali citando la fonte (PeaceLink) e l’autore della traduzione.

Fonte