Un agente OpenAi diventa hacker e viola Hugging Face

È stato reso pubblico da OpenAI e da Hugging Face, una nota piattaforma che permette di scaricare modelli di IA e di utilizzarli per i propri progetti, un incidente a dir poco preoccupante, che fa comprendere a tutti quali siano le potenzialità – e i rischi – raggiunte oggi dagli agenti IA.

Durante dei test interni di OpenAI per analizzare la capacità dei modelli più recenti di scovare vulnerabilità informatiche, un agente basato su GPT 5.6 Sol e modelli non ancora resi pubblici è riuscito non solo ad “evadere” dalla sandbox – l’ambiente chiuso e isolato in cui si svolgeva il test di sicurezza – ma anche ad impegnarsi attivamente per violare l’infrastruttura del database di Hugging Face, in modo tale da avere le risposte del test ExploitGym che stava svolgendo.

Per fare ciò l’agente avrebbe sfruttato vulnerabilità zero-day – ovvero ancora scovate – dei sistemi con cui ha interagito e sarebbe riuscito a compiere una privilege escalation, fino ad avere accesso al database interno di Hugging Face. Tutto ciò senza che gli fosse stato chiesto esplicitamente di farlo.

Questo incidente fa comprendere a tutti che i nuovi modelli di IA riescono a raggiungere i livelli di abilità proprie degli esperti umani di sicurezza informatica, riuscendo però a scovare e a sfruttare vulnerabilità ad un ritmo ovviamente molto più veloce.

Già alcuni mesi fa Anthropic aveva reso note le impressionanti capacità di una versione di Claude, che poi aveva messo a disposizione delle altre grandi aziende dell’informatica nella cornice del progetto Glasswing.

L’incidente di OpenAI è di una gravità maggiore e palesa il fatto che ormai l’ambito della sicurezza informatica sia stato irrimediabilmente mutato dall’introduzione di questi nuovi strumenti.

Commentando questi fatti i vertici di Hugging Face e OpenAI hanno rilanciato l’idea di uno sforzo collettivo per uno sviluppo di “strumenti IA sicuri” da perseguire insieme agli altri attori internazionali del settore.

Non saremo ancora ai livelli di entità autonome in grado di violare qualunque sistema informatico, come il famoso “progetto 2501” del mondo di Ghost in the Shell, ma è evidente che i modelli avanzati di IA rischiano di diventare rapidamente un’arma strategica capace di imporre un salto di qualità agli attacchi informatici di attori statali e non, all’interno di una cornice internazionale in cui le strategie di guerra ibrida sono sempre più importanti.

Fonte

La tecnologia non è mai neutra. Questo caso ne è la dimostrazione empirica: l'agente IA in questione, infatti, si è comportato attenendosi scrupolosamente alla filosofia che sta alla base della sua creazione.
Il modo di produzione capitalista persegue il massimo profitto a prescindere da qualsiasi limite – etico, ambientale, la lista è infinita... –; allo stesso modo l'agente IA ha perseguito lo scopo assegnatogli – l'identificazione di vulnerabilità – senza curarsi di limiti che non gli sono stati posti.
L'IA si dimostra dunque un amplificatore straordinario della stupidità – o del realismo – capitalista.