OpenAI afferma che i suoi agenti hanno disattivato le proprie misure di sicurezza

Daniele Bianchi

OpenAI afferma che i suoi agenti hanno disattivato le proprie misure di sicurezza

OpenAI ha rivelato che i suoi agenti IA hanno disabilitato il monitoraggio di comportamenti non autorizzati durante l’uso interno nell’ultimo incidente in cui la tecnologia di frontiera è diventata canaglia.

In un rapporto pubblicato martedì, il colosso dell’intelligenza artificiale ha affermato che i suoi agenti hanno disattivato o indebolito i sistemi di monitoraggio per rilevare il disallineamento – quando i modelli di intelligenza artificiale agiscono in contrasto con i desideri umani – durante due attività di codifica interna.

Storie consigliate

elenco di 4 elementifine dell’elenco

Gli incidenti hanno coinvolto un agente GPT-6.1 Sol che ha disabilitato gli avvisi automatici al team di sicurezza dell’azienda e un agente GPT-6 Astra che ha rimosso un sistema di monitoraggio affermando falsamente di non averlo fatto, ha affermato OpenAI.

Il creatore di ChatGPT ha affermato che nessuno dei due casi ha raggiunto la soglia per un incidente con la massima priorità che richiede una revisione immediata da parte del suo team di sicurezza.

OpenAI ha affermato di aver aggiornato i propri sistemi per rilevare meglio i tentativi di disabilitare il monitoraggio del disallineamento e di aver iniziato a indagare sulla causa.

“È possibile che questo comportamento sia semplicemente un esempio di eccessiva persistenza ‘benigna’, con modelli che non capiscono perché il monitoraggio è importante o che insistono affinché le istruzioni vengano eseguite oltre ciò che una persona ragionevole potrebbe aspettarsi”, ha affermato l’azienda con sede a San Francisco.

“Stiamo anche sviluppando valutazioni per verificare se i modelli potrebbero avere una propensione a eludere il monitoraggio del disallineamento in particolare e mostrare un ragionamento motivato per farlo”.

Roman V Yampolskiy, esperto di intelligenza artificiale e sicurezza informatica presso l’Università di Louisville, ha descritto le rivelazioni come “estremamente preoccupanti, ma non sorprendenti”.

“Un meccanismo di sicurezza che il sistema monitorato può disattivare non è un meccanismo di sicurezza affidabile. Particolarmente preoccupante è che un agente abbia successivamente negato di aver rimosso il monitor”, ha detto Yampolskiy ad Oltre La Linea.

“Il monitoraggio non può garantire la sicurezza se il sistema monitorato può indebolire il monitor”, ha detto Yampolskiy.

“Con l’aumento delle capacità, tali guasti potrebbero diventare sostanzialmente più difficili da rilevare e correggere. L’onere della prova deve spettare agli sviluppatori per dimostrare la sicurezza prima dell’implementazione, non dopo che si verificano i guasti.”

Il comportamento non autorizzato dei modelli di intelligenza artificiale è stato oggetto di un attento esame da luglio, quando OpenAI ha rivelato che alcuni dei suoi agenti sono fuggiti da un ambiente di test controllato e hanno violato la piattaforma di intelligenza artificiale Hugging Face.

OpenAI e il suo principale rivale Anthropic hanno chiesto agli sviluppatori e ai governi di coordinare un rallentamento globale nello sviluppo dell’intelligenza artificiale per ridurre il rischio di danni catastrofici.

Gli Stati Uniti e la Cina, le principali potenze mondiali nel campo dell’intelligenza artificiale, hanno mostrato scarsa propensione alla cooperazione sulla regolamentazione dell’intelligenza artificiale, con un coordinamento finora limitato all’impegno a migliorare la comunicazione sugli incidenti con implicazioni per la sicurezza o la sicurezza nazionale.

Daniele Bianchi

Daniele Bianchi, nativo di Roma, è il creatore del noto sito di informazione Oltre la Linea. Appassionato di giornalismo e di eventi mondiali, nel 2010 Daniele ha dato vita a questo progetto direttamente da una piccola stanza del suo appartamento con lo scopo di creare uno spazio dedicato alla libera espressione di idee e riflessioni. La sua mission era semplice e diretta: cercare di capire e far comprendere agli altri ciò che sta effettivamente succedendo nel mondo. Oltre alla sua attività di giornalista e scrittore, Daniele investe costantemente nell'arricchimento della sua squadra, coinvolgendo professionisti con le stesse passioni e interessi.