Anthropic ha segnalato un quarto incidente che ha coinvolto un modello di intelligenza artificiale che ha ottenuto l’accesso non autorizzato a sistemi esterni, poco dopo che un ricercatore si era licenziato a causa delle preoccupazioni per lo sviluppo affrettato della tecnologia.
In una dichiarazione di mercoledì, la società di ricerca sull’intelligenza artificiale ha affermato che una prima versione del suo Claude Opus 4.6 è stata violata in un sistema di terze parti a gennaio.
Storie consigliate
elenco di 4 elementifine dell’elenco
Ha affermato di aver informato tutte le parti interessate ma non ha rivelato ulteriori dettagli.
L’incidente di gennaio non è stato rilevato fino al mese scorso, nonostante una precedente revisione a livello aziendale, ha affermato Anthropic, sottolineando la sfida che gli sviluppatori di intelligenza artificiale devono affrontare nell’identificare e contenere comportamenti inattesi tramite modelli avanzati.
La divulgazione è arrivata dopo che Anthropic ha segnalato che diversi dei suoi modelli Claude erano stati violati nei sistemi di tre società durante le sessioni di test di luglio.
Gli incidenti precedenti riguardavano Claude Opus 4.7, Claude Mythos 5 e un modello di test di ricerca interno.
La corsa all’intelligenza artificiale
Aziende come Anthropic e OpenAI sono sotto esame poiché i modelli progettati per completare compiti complessi hanno a volte imparato a infrangere le regole, sfruttare le lacune e interagire con i sistemi esterni in modi che i loro sviluppatori non avevano previsto.
La settimana scorsa, l’agenzia di stampa Reuters ha riferito che agenti disonesti di OpenAI hanno preso il controllo di una wiki in lingua tedesca e di una serie di altri siti, un incidente che la società ha scelto di non divulgare fino a quando non è stato reso pubblico.
A luglio, gli agenti autonomi di OpenAI hanno compromesso anche i server e l’infrastruttura della start-up di intelligenza artificiale Hugging Face.
Questo incidente ha spinto Anthropic a condurre una revisione di circa 141.006 sessioni di test. Sulla base di una valutazione preliminare, Anthropic ha affermato di non ritenere che l’ultimo incidente sia stato più grave dei tre precedenti esaminati in dettaglio.
La società ha affermato che la sua indagine ha identificato due problemi ricorrenti, che sono apparsi a vari livelli negli incidenti: ragionamento parziale, in cui Claude ha sottovalutato o interpretato male le prove che stava operando su Internet, e l’incoscienza, o la volontà di intraprendere azioni potenzialmente dannose nel perseguimento di un compito.
Anthropic ha affermato di aver incaricato la società di ricerca indipendente METR di indagare sugli incidenti.
Il ricercatore antropico si licenzia
Le indagini arrivano nel mezzo di una più ampia ondata di dissenso interno al settore dell’intelligenza artificiale per quanto riguarda la sicurezza. Un ricercatore antropico ha affermato di essersi dimesso a causa delle preoccupazioni sul potenziale della tecnologia di superare il controllo umano.
Jacob Coxon, in un post X ampiamente condiviso martedì, ha affermato che l’industria dell’intelligenza artificiale è più concentrata sulla concorrenza piuttosto che sull’implementazione delle misure di salvaguardia. È arrivato a questa conclusione dopo aver trascorso gli ultimi tre anni facendo ricerca presso OpenAI e Anthropic.
“Le persone che costruiscono l’intelligenza artificiale credono fermamente che potrebbe ucciderci tutti entro la fine del decennio”, ha detto Coxon.
“Nessun’altra attività umana presenta questo livello di pericolo”, ha aggiunto, riferendosi al rapido progresso della tecnologia dell’intelligenza artificiale.
A giugno, Anthropic ha proposto uno sforzo coordinato con i principali sviluppatori di intelligenza artificiale del mondo per rallentare lo sviluppo, avvertendo che gli esseri umani rischiano di perdere il controllo sulla tecnologia.
In seguito alla violazione della sicurezza di Hugging Face, OpenAI ha affermato che stava spingendo per requisiti nazionali obbligatori di sicurezza dell’IA e di voler collaborare con il Congresso su una regolamentazione “basata sulle capacità”.
In una dichiarazione pubblicata mercoledì, la società ha affermato che sta approvando formalmente quattro progetti di legge della California relativi alla salvaguardia contro l’intelligenza artificiale.
“Se non riusciamo a soddisfare determinati limiti di sicurezza senza rallentare la crescita delle capacità, dovremmo dare priorità al primo. Quanto più potente diventa la tecnologia, tanto più forti devono diventare le garanzie circostanti”, si legge nella dichiarazione.
