ChatGPT și „obsesia pentru goblini”: un bug schimbă răspunsurile AI

Un fenomen ciudat a fost semnalat în legătură cu sistemul Codex, destinat generării de cod, unde anumite situații au dus la descrierea erorilor de programare ca fiind provocate de „mici goblini”. În alte circumstanțe, chatbotul și-a asumat chiar rolul unui „goblin cu torță” care are drept misiune să depisteze problemele în cod. Potrivit surselor, aceste aluzii nu au fost adăugate în mod deliberat, ci au rezultat din procesul de instruire și evaluare a modelului, după cum relatează Il Post.

O creștere remarcabilă a fost înregistrată în ceea ce privește utilizarea unor termeni specifici, ChatGPT fiind instrumentul care a suferit modificări. Un fenomen interesant denumit „obsesia pentru goblini” a apărut și a influențat răspunsurile oferite de inteligența artificială fără ca utilizatorii să poată interveni. Cercetătorii au analizat această situație pentru a înțelege cum un bug de personalitate a reușit să schimbe răspunsurile AI.

În luna noiembrie, OpenAI a semnalat o creștere neașteptată a frecvenței unor termeni specifici, precum „goblin” și „gremlin”, însă fenomenul inițial nu a ridicat îngrijorări majore. Abia după lansarea GPT-5.4, utilizarea acestor cuvinte a înregistrat o creștere dramatică de peste 3.800% comparativ cu versiunile precedente. O investigație internă a relevat că problema era direct legată de configurarea personalității „Nerd” a chatbotului, care stimula răspunsuri mai degrabă creative și mai puțin obișnuite. Mai mult, sistemul de evaluare era setat să favorizeze în mod explicit încorporarea de elemente din cultura fantasy. Pe parcursul timpului, această abordare a determinat modelul să utilizeze din ce în ce mai frecvent astfel de referințe, deoarece acestea erau recompensate cu feedback pozitiv. Ulterior, fenomenul s-a propagat și către alte funcționalități ale inteligenței artificiale, ca rezultat al interconectivității sistemelor de învățare.

Citește șiDe la Hugging Face, n8n și OpenAI la European Space Agency și Deep Space Biology: companiile care dezvoltă și aplică AI vin la NEXXT AI Summit, în București

Acțiunile întreprinse de OpenAI au vizat remedierea unei anomalii de funcționare a modelului de inteligență artificială, care a dus la modificări neașteptate în răspunsurile oferite de ChatGPT. Această problemă a fost raportată după ce utilizatorii au observat că chatbot-ul a început să ofere răspunsuri care păreau să fie influențate de o așa-numită „obsesie pentru goblini”. Potrivit reprezentanților companiei, această anomalie a fost cauzată de un bug de personalitate care a afectat funcționarea modelului de inteligență artificială.

Nu a fost intenția noastră să creeze un model care să manifeste o astfel de comportare

, au declarat reprezentanții OpenAI. Ca urmare, au fost implementate soluții pentru a preveni astfel de situații în viitor și a restabili funcționarea normală a ChatGPT.

În urma unei intervenții corective, OpenAI a decis să înlăture definitiv caracteristica de personalitate denumită „Nerd” și să revizuiască mecanismele interne de evaluare. Printre măsurile luate se numără și instituirea unor norme explicite care interzic referirile la entitățile mitice, precum goblini, troli sau orci, decât în situațiile în care acestea sunt absolut necesare pentru contextul răspunsului.

Sunt necesare aceste schimbări pentru a păstra coerența și eficiența output-ului generat de inteligența artificială

, a informat OpenAI . -> rewritten to

Schimbări structurale majore au fost implementate de OpenAI pentru corectarea deficienței, printre care și eliminarea completă a personalității „Nerd” și ajustarea mecanismelor de evaluare internă. Au fost stabilite reguli stricte de interzicere a menționării unor creaturi mitologice precum goblini, troli și orci, cu excepția cazurilor de strictă necesitate pentru răspunsurile oferite. Potrivit OpenAI,

Sunt necesare aceste schimbări pentru a păstra coerența și eficiența output-ului generat de inteligența artificială

.