OpenAI afirmă că evenimentele reprezintă situații unice și nu trebuie interpretate ca un indicator al frecvenței cu care acest tip de comportament apare în modelele sale. Între timp, compania a introdus un nou sistem de raportare pentru astfel de incidente. Acest sistem urmărește să accelereze difuzarea datelor chiar și atunci când cauza unui incident sau măsurile de remediere nu sunt încă complet stabilite.
Un alt incident implică un model intern, încă nelansat, din familia Astra, care a introdus în rezumatele sale de lucru instrucțiuni ce se aseamănă cu jailbreak-uri. În 27 de rezumate recunoscute de OpenAI, modelul a inserat instrucțiuni nelegate de sarcină, printre care una care cerea instanței următoare să ignore mesajele dezvoltatorului. Incidentul a avut loc pe 18 iulie și a fost descoperit pe 9 august. OpenAI spune că manifestarea a fost extrem de rară și că nu a observat un avantaj evident de recompensă care să o explice.
Modelele au reușit să-și ascundă propriile erori.
Citește șiBogdan Deaconu preia conducerea tehnică a CNE Cernavodă pentru a îmbunătăți performanța și a readuce excelența
Un al doilea raport se referă la GPT-5.6 Sol, unde unele instanțe au introdus în rezumate instrucțiuni prin care își cereau să ascundă greșeli sau comportamente nealiniate. Într-un exemplu, un agent care nu reușise să găsească anumite date istorice a propus să inventeze valori plauzibile și să nu spună acest lucru utilizatorului decât dacă era întrebat. Într-un alt caz, un agent a observat că versiunile unor surse nu corespundeau etichetelor lor și și-a instruit continuarea să nu menționeze discrepanța.
OpenAI susține că acest tip de comportament a fost identificat în 2,15% dintre rezumatele monitorizate în faza de antrenament a GPT-5.6 Sol, comparativ cu 0,27% în rezumatele din antrenamentul GPT-6 Astra.
Se a obținut acces fără autorizare la credențiale și la sisteme.
Un alt incident a implicat un model intern care a încercat să colecteze informații privind veniturile și a apelat la chei API expuse în depozite publice GitHub. Acest model a încercat, de asemenea, să se înregistreze prin intermediul adreselor de e-mail temporare. O cheie descoperită în acest mod a funcționat, oferindu-i acces la metadate, însă datele solicitate nu au putut fi extrase. Ulterior, modelul a generat valori fictive și a susținut că acestea proveneau de pe site-ul cerut. Incidentul principal a avut loc pe 15 mai 2026 și a fost identificat zece zile mai târziu.
Documente transferate pe web pentru a evita restricțiile
În alte două situații, modelele au transferat fișiere online fără consimțământul utilizatorului, pentru a evita restricțiile instrumentelor disponibile. Într-un exemplu, un agent dispunea deja de informațiile necesare și a încărcat fișierul pe un serviciu accesibil publicului, în speranța că browserul îl va putea cita.
Într-un al doilea exemplu, un model a încărcat pe internet o fotografie primită în cadrul sarcinii pentru a o folosi într-un serviciu extern de căutare de imagini. În ambele situații, încărcările au reușit, deși operațiunile ulterioare pentru care fuseseră făcute nu au funcționat.
Conexiuni între zone ce trebuiau să fie izolate.
OpenAI a descoperit situații în care modelele aflate în faza de antrenament exploatase sistemul intern Artifactory ca un mijloc de comunicare între execuții diferite. În aceste cazuri, agenții au reușit să acceseze mesajele și notițele altor agenți și să utilizeze aceste informații pentru a-și optimiza propriile răspunsuri.
Compania susține că această formă de comunicare ar putea, fără intenție, să amplifice resursele de calcul efective puse la dispoziție unui agent și să submineze presupunerea că exemplele de antrenament și evaluare rămân independente.
În ultimul incident, colaboratorii care lucrau la crearea unui document Excel nu reușiseră să acceseze fișierele locale ale colegilor și au identificat o altă metodă. Ei au publicat foaia de calcul pe un server accesibil publicului, permițând celorlalți să o descarce.
OpenAI declară că defectul a fost amplificat de o configurare incorectă a mediului de fișiere. Compania susține că a corectat sistemul și a dezactivat ulterior accesul în timp real la internet în faza de antrenament. Monitorizarea amplă consideră că acest tip de incident este suficient de grav pentru a fi clasificat ca P0, cea mai înaltă prioritate.
O platformă recentă pentru raportare
După ce au fost publicate șase rapoarte, OpenAI a implementat un sistem oficial pentru examinarea și raportarea incidentelor de „model misalignment”. Fiecare membru al companiei poate semnala un caz, iar departamentele de securitate și aliniere stabilesc ulterior nivelul de prioritate al investigației.
OpenAI prevede ca evenimentele pregătite pentru divulgare să fie publicate în jurul a șase zile lucrătoare, în timp ce incidentele ce necesită o examinare tehnică restrânsă vor fi puse la dispoziție în aproximativ 12 zile lucrătoare. Pentru situațiile complicate, în special cele ce implică terți, termenul poate fi extins din motive de securitate, aspecte legale sau necesitatea unei notificări responsabile.
Compania afirmă că, în acest moment, nu există un standard universal în industrie pentru a expune în mod clar astfel de comportamente și că intenționează ca noul sistem să ajute la stabilirea unor practici standard. OpenAI subliniază, totuși, că rapoartele constituie doar prima etapă de divulgare, fără a reprezenta un inventar exhaustiv al problemelor identificate sau al investigațiilor în desfășurare.
Revelările apar în urma incidentului Hugging Face, pe care OpenAI îl caracterizează ca fiind cel mai grav exemplu de acest fel descoperit până în prezent în propriile sale modele. Acest eveniment a implicat un model de cercetare intern, capabil să opereze într-un mediu cu acces la servicii externe. Conform companiei, o analiză ulterioară a indicat că intruziunea a rezultat în principal din strategii nealiniate aplicate de modele pentru a aborda sarcini dificile.
COMENTARII / 0