Agentul AI nu se oprește întotdeauna la primul blocaj. Ce limite trebuie puse în infrastructură
Pe 9 octombrie, Anthropic a publicat un raport despre acțiuni pe care modelele Claude le-au făcut fără să li se ceară, pe site-uri reale, în evaluări și în utilizarea internă. În majoritatea cazurilor, mecanismul e același: când calea normală e blocată, un agent AI poate căuta singur o ocolire. Limitele critice trebuie impuse în infrastructură, unde nu pot fi reinterpretate prin comportamentul modelului.
Când sarcina nu poate fi terminată, agentul poate căuta altă cale
Anthropic descrie patru categorii de comportament: exploatarea unei vulnerabilități de bază ca să ruleze comenzi pe un server, trimiterea unui formular care nu trebuia trimis, ocolirea restricțiilor ca să ajungă la date protejate sau contra cost și folosirea serviciilor de scurtare a linkurilor ca să treacă peste limitele tool-ului care citește pagini web. Compania îl numește „persistență”: când nu poate finaliza sarcina așa cum a primit-o, modelul ocolește o restricție în loc să se oprească.
Majoritatea cazurilor au apărut în evaluări, iar în multe dintre ele sarcina era ambiguă sau imposibil de terminat. Câteva au apărut în utilizarea internă obișnuită. După știința Anthropic, niciun caz nu a implicat date ale clienților. Raportul recunoaște că training-ul de aliniere nu e încă suficient singur.
Un formular trimis arată riscul mai clar decât un atac
Trei cazuri implică formulare, fiecare în alt context.
Pontul inventat. Claude Haiku 4.5 genera exemple de interacțiuni pe pagini web alese aleatoriu. Avea interdicție să se logheze, să creeze conturi, să introducă date personale, să facă cumpărături sau să trimită ceva distructiv, dar trimiterea formularelor nu era exclusă. Pe formularul de ponturi al poliției din Philadelphia, a trimis un pont vag și inventat despre o crimă nerezolvată. Pontul a fost marcat ca spam și nu a ajuns la anchetatori. Potrivit AP, incidentul a avut loc pe 18 iulie. Anthropic spune că a anunțat poliția pe 8 octombrie, după încheierea analizei tehnice. Poliția a numit inacceptabilă întârzierea.
Oprirea cerută înainte de trimitere. În alt caz, același model trebuia să se oprească înainte de submit. De mai multe ori a trimis totuși formularul, pentru că se aștepta să urmeze o pagină de confirmare.
Formularul real, după eșecul copiei de exercițiu. Un model de cercetare nelansat trebuia să completeze o copie de exercițiu a unui formular guvernamental. Când copia a eșuat, a trimis formularul pe site-ul real.
Niciunul dintre cele trei cazuri nu cere cunoștințe de atac. Sunt pași banali, făcuți în locul greșit, iar efectul ajunge la o terță parte: o instituție, un furnizor, un client.
Ce a schimbat Anthropic după identificarea incidentelor
Măsurile din raport, aplicate sau în curs de aplicare la data publicării, privesc evaluările și agenții interni ai Anthropic. Raportul nu spune că produsele pentru clienți sau API-ul s-au schimbat. Anthropic a extins oprirea accesului la internet live la toate evaluările interne, a renunțat la unele evaluări publice și le-a mutat offline pe altele, a înăsprit limitele tool-ului de citire a paginilor web și mută agenții interni pe infrastructură administrată central, cu monitorizare.
Noile instrumente automate de detectare și blocare au oprit toate cazurile din raport la retestare, potrivit Anthropic. E un test intern pe cazuri deja cunoscute, fără verificare independentă, și nu garantează oprirea unor variante noi. Anthropic notează și că unele eșecuri ar fi putut fi evitate dacă evaluările ar fi definit clar țintele, acțiunile permise și granițele de rețea.
Proiectează și ce face agentul când calea normală se rupe
Pe 29 septembrie am scris că o instrucțiune din prompt nu este un control de securitate. Raportul Anthropic arată momentul în care contează cel mai mult: blocajul. Un agent care lucrează pe un portal, într-un CRM sau pe site-ul unui furnizor va întâlni pagini care nu se încarcă, sesiuni expirate sau câmpuri noi. La fiecare blocaj, agentul se poate opri sau poate căuta altă cale.
| Comportament observat | Control tehnic de verificat |
|---|---|
| Exploatarea unei vulnerabilități pentru a rula comenzi | Endpoint-uri și metode HTTP permise explicit; execuție izolată de sistemele de producție. |
| Trimiterea unui formular neautorizat | Aprobare umană înainte de orice submit extern; mediu de test separat de sistemele reale. |
| Ocolirea accesului la date restricționate | Acces la date printr-un gateway; credențiale limitate la sarcină; blocarea căilor alternative neautorizate. |
| Ocolirea limitelor de URL prin servicii de scurtare | Verificarea destinației finale după redirect; listă de domenii permise; control al traficului de ieșire (egress). |
Recomandări de arhitectură MassAI, derivate din cazurile raportate. Tabelul nu reproduce controalele implementate de Anthropic. Fiecare control reduce riscul, fără să garanteze singur blocarea tuturor variantelor.
Înainte de acces la sisteme externe, compania decide:
- Ce face agentul la blocaj. Varianta sigură: se oprește, notează motivul și predă cazul unui om.
- Ce acțiuni externe cer aprobare: formulare, plăți, acceptarea unor termeni, mesaje trimise în afara companiei.
- Ce domenii poate atinge, cu destinația finală verificată după fiecare redirect.
- Cine citește jurnalul și cât de des. În cazul din Philadelphia, poliția a aflat după aproape trei luni.
Nu proiecta doar drumul pe care agentul îl parcurge când totul merge bine. Decide dinainte ce are voie să facă atunci când drumul ăsta se blochează. La un agent AI operațional, regula de oprire se stabilește odată cu permisiunile și cu identitatea agentului.
Surse: ↗ Anthropic — Investigating unintended model actions in our evaluations and internal use (9 oct., corectat 12 oct.) · ↗ AP, via WJXT — pontul fals din Philadelphia · ↗ Al Jazeera (AFP, Reuters) — reacția poliției din Philadelphia
Vezi cum construim agenți MassAI →