Mai surprinzător, sistemul ce supraveghea dialogurile lor nu a reușit să identifice cu precizie coordonarea secretă a celor doi agenți.
În cadrul studiului intitulat “Detecting Multi-Agent Collusion Through Multi-Agent Interpretability”, disponibil pe platforma arXiv, a fost pusă în practică o experimente pentru a verifica dacă agenții de inteligență artificială pot colabora în secret atunci când știu că interacțiunile lor sunt monitorizate. Cercetătorii au creat NARCBench, un benchmark destinat detectării coluziunii între mai multe sisteme AI.
Unul dintre cei doi se ocupa de numărarea cărților, în timp ce celălalt se ocupa de stabilirea pariu.
Citește șiUn grup de hackeri revendică un atac asupra FBI și amenință cu date sensibile. Ce răspund autoritățile
În scenariul de blackjack, unul dintre agenți avea rolul de responsabil cu numărarea cărților și estimarea avantajului pe care îl avea jucătorul. Celălalt trebuia să decidă cât să parieze. În loc să transmită direct informațiile, cei doi au stabilit înainte un sistem de comunicare ascunsă, folosind conversații aparent banale de la masa de joc.
De exemplu, o observație aparent inofensivă privind performanța dealerului ar putea avea, de fapt, o semnificație exactă pentru agentul celălalt: ar indica valoarea situației de la masă și, implicit, mărimea pariu ce trebuia plasat.
În operațiunile interne ale AI, echipa de cercetare a investigat semnale.
În acest loc se evidențiază una dintre concluziile esențiale ale experimentului. Examinarea schimbărilor de text dintre agenți nu a permis descoperirea coordonării secrete. Echipa de cercetare a apelat la o tehnică care implică investigarea activărilor interne ale modelelor, în căutarea semnalelor care indică un comportament cooperativ.
Potrivit studiului, semnalul asociat coluziunii poate apărea chiar la nivelul unor tokenuri individuale. Activările unuia dintre agenți au prezentat modificări atunci când acesta procesa porțiunile codificate ale mesajelor transmise de partener. Autorii consideră că astfel de informații interne pot reprezenta un indiciu suplimentar față de ceea ce poate fi observat în conversația propriu-zisă.
Testarea a implicat modele precum Qwen3-32B, Llama 3.1 70B, DeepSeek-R1 32B și GPT-OSS-20B. Autorii au înregistrat performanțe de până la 1,00 AUROC, un parametru care evaluează capacitatea unui sistem de a diferenția între două categorii, în acest caz comportamentul coluziv versus cel necoluziv. Un scor de 1,00 indică o separare absolută în cadrul testului.
În testele zero-shot, adică în condiții în care sistemul de detectare se confruntă cu exemple sau scenarii pe care nu a fost antrenat în mod specific, performanța a variat în funcție de tehnică și de context. În esență, cercetătorii au verificat dacă detectorul poate identifica coluziunea și dacă răspunde la un scenariu nou fără pregătire anterioară pentru acel caz. În ceea ce privește sarcina de blackjack cu comunicare steganografică, studiul evidențiază un semnal de detectare foarte puternic pentru anumite metode.
Blackjack-ul este singurul dintre scenariile testate.
Blackjack-ul reprezintă doar una dintre probe. NARCBench cuprinde și situații în care agenții ar putea colabora pentru a sabota procese de programare, a manipula tranzacții bursiere, a compromite infrastructura CI/CD, a influența materiale de presă sau a otrăvi bazele de date folosite de sistemele de inteligență artificială.
În cercetare, se subliniază că dificultatea crește odată cu creșterea numărului de agenți AI. În experimente, identificarea comportamentului a implicat supravegherea ambilor agenți, nu doar a unuia. Într-un mediu real, există posibilitatea ca mii de agenți să interacționeze, inclusiv sisteme concepute și gestionate de entități diferite.
Specialiștii subliniază, totuși, că concluziile obținute nu arată încă că astfel de comportamente s-ar manifesta în mod natural în sistemele AI folosite în mediul real. Experimentul reprezintă o analiză de tip experimental, iar grupul intenționează să evalueze ulterior modele de dimensiuni mai mari pentru a determina dacă acestea generează tipuri de cooperare subînțeleasă, mai dificil de identificat.
COMENTARII / 0