OpenAI ha rivelato che uno dei suoi modelli di intelligenza artificiale ha rubato in modo indipendente le credenziali di accesso e ha violato il sistema di un’altra azienda tecnologica, in quello che è ampiamente visto come uno dei primi incidenti noti di sistemi di intelligenza artificiale che agiscono in modo autonomo.
“Abbiamo avuto un significativo incidente di sicurezza durante la valutazione dei nostri modelli”, ha pubblicato martedì il CEO Sam Altman su X.
Storie consigliate
elenco di 4 elementifine dell’elenco
L’incidente arriva mentre crescono le richieste da parte dei sostenitori dei diritti tecnologici per guardrail più severi sui sistemi di intelligenza artificiale in rapida evoluzione.
Sono diventati così potenti in un breve lasso di tempo che fenomeni allarmanti come i deepfake e le sofisticate truffe informatiche stanno diventando la norma.
All’inizio di quest’anno, un certo numero di ingegneri del software hanno lasciato il lavoro presso aziende importanti come Anthropic e OpenAI per protestare contro il modo in cui vengono costruite le tecnologie.
“L’intelligenza artificiale sta accelerando la scoperta e lo sfruttamento delle vulnerabilità”, ha affermato martedì OpenAI in una lunga dichiarazione che descrive dettagliatamente l’ultimo incidente.
“La lezione principale di questo incidente è che il modello di sicurezza e protezione deve tenere il passo con le capacità in rapido progresso”.
Ecco cosa sappiamo della violazione:
Cos’è successo?
OpenAI ha affermato che due dei suoi modelli sono riusciti a uscire da un ambiente isolato, senza accesso a Internet – o un sandbox – e si sono introdotti da soli nei sistemi della società tecnologica Hugging Face.
I modelli coinvolti sono l’ultimo modello GPT-5.6 Sol e un modello inedito che secondo la società è “ancora più capace” rispetto alla sua ultima versione.
Hugging Face ospita modelli e risorse IA di provenienza aperta. I due agenti OpenAI hanno scoperto delle vulnerabilità nei server di Hugging Face e hanno proceduto a rubare i dettagli di accesso e quindi ad hackerare i sistemi dell’azienda.
L’incidente è avvenuto durante una sessione di test interni di OpenAI progettata per valutare le capacità di sicurezza informatica dei modelli. OpenAI aveva rimosso le misure di sicurezza standard per il test.
Entrambi hanno cercato di risolvere un problema durante il test, ha detto OpenAI. Hanno fatto di tutto per raggiungere un obiettivo di test piuttosto ristretto e hanno trovato modi per ottenere l’accesso a informazioni segrete che potrebbero essere utilizzate per ingannare la valutazione.
Il team di sicurezza di OpenAI ha rilevato l’attività insolita internamente, ma i dettagli della violazione sono emersi a seguito di un’indagine congiunta di entrambe le società.
Cosa ha detto Hugging Face?
Hugging Face ha rivelato giovedì scorso che i suoi server sono stati violati da un agente sconosciuto ma sofisticato che agisce di propria iniziativa. L’azienda ha scoperto la violazione attraverso il proprio rilevamento assistito dall’intelligenza artificiale.
“Questo era diverso da qualsiasi cosa avessimo gestito prima in un modo importante: era guidato, end-to-end, da un sistema di agenti AI autonomo”, ha affermato la società.
In seguito alla divulgazione da parte di OpenAI del coinvolgimento dei suoi modelli nella violazione, entrambe le parti hanno condotto un’indagine congiunta in corso questa settimana.
“Sospettavamo che l’attacco informatico della scorsa settimana potesse provenire da un laboratorio di frontiera, data la sofisticatezza dell’agente. Alla fine è proprio così!” Il CEO Clement Delangue ha pubblicato un post su X martedì.
Lo staff di Hugging Face “crede fermamente che non ci siano stati intenti malevoli da parte loro”, ha aggiunto Delangue, riferendosi a OpenAI.
Perché è importante?
Gli esperti di sicurezza informatica hanno già lanciato l’allarme sulle potenziali ed estreme capacità dei sistemi di intelligenza artificiale e sui pericoli che rappresentano.
Ma fino ad ora, ci sono stati pochi casi reali che hanno dimostrato queste preoccupazioni come questo.
Molti avvertono che incidenti come questi potrebbero diventare all’ordine del giorno e che i sistemi di intelligenza artificiale rappresentano una minaccia per i sistemi finanziari, di sicurezza e altri dati sensibili.
OpenAI ha rivelato in un incidente separato all’inizio di questa settimana che il modello inedito e più potente era fuggito da un ambiente isolato durante un altro test.
Anthropic, il rivale di OpenAI, ha avuto problemi simili con il suo agente più potente fino ad oggi, il modello Claude Mythos Preview.
Durante uno stress test di una prima versione, il modello è riuscito a uscire da una sandbox, ha ottenuto l’accesso a Internet e ha inviato un’e-mail al ricercatore supervisore informandolo che era fuggito e poi ha cancellato le prove della sua attività. Successivamente Anthropic ha interrotto il rilascio pubblico pianificato del modello.
Ad aprile, la Federal Reserve e il Dipartimento del Tesoro degli Stati Uniti hanno convocato un incontro con gli amministratori delegati delle banche in cui i funzionari hanno messo in guardia sui rischi per la sicurezza informatica posti da Mythos. Anche l’autorità di regolamentazione bancaria federale canadese ha messo in guardia le istituzioni finanziarie sulle capacità del modello.
La violazione di OpenAI sembra sostenere anche aziende come Hugging Face, che si affidano a sistemi open source, in contrapposizione a piattaforme di sviluppo IA più segrete come OpenAI.
“Questo incidente, forse il primo del suo genere, dimostra un punto in cui credevamo da tempo: la sicurezza dell’intelligenza artificiale non sarà risolta da una singola azienda che lavora in segreto”, ha affermato Delangue di Hugging Face nella dichiarazione di OpenAI.
“Sarà risolto apertamente, in modo collaborativo, con ampio accesso all’intelligenza artificiale per ogni difensore, ovunque”, ha aggiunto.
