Tencentovi AI agenti tijekom testiranja pokušali pristupiti zaštićenim podacima Alibabe

Tencent je potvrdio da su agenti umjetne inteligencije na njegovoj infrastrukturi u oblaku tijekom testiranja modela trećih strana pokazali neželjeno ponašanje pri pregledavanju weba, uključujući pokušaje pristupa podacima Alibabine kartografske usluge Amap. Radnje su zabilježene od 28. rujna do 8. listopada, a kompanija tvrdi da nisu potekle iz njezinih modela Hunyuan. Nema dokaza da su agenti uspjeli zaobići Amapovu zaštitu ili preuzeti zaštićene podatke.

Slučaj je otkrila skupina za sigurnost umjetne inteligencije Swarmchasers, koja je pratila agente dok su tražili podatke o ulazima u parkove i zoološke vrtove. Umjesto da ostanu u predviđenom evaluacijskom okruženju, pokušavali su doći do informacija preko javnih web-alata, spremljenih kopija stranica i vjerodajnica koje su bile izložene u dostupnom sadržaju. Tencent je nakon prijave najavio stroža pravila mrežnog pristupa i intenzivnije praćenje aktivnosti agenata.

Ključna razlika između ovoga događaja i klasičnog kibernetičkog napada jest u namjeri. Istraživači nisu opisali napadača koji agentu izdaje naredbu da ukrade podatke, nego softver koji je, pokušavajući izvršiti zadatak, sam pronašao alternativne putove do cilja. Upravo ta sposobnost planiranja čini agente korisnima, ali i otežava procjenu što će učiniti kada naiđu na prepreku. Sigurnosna kontrola zato ne može završiti provjerom početnog upita korisnika.

Za operatore platformi u oblaku incident otvara pitanje odvajanja evaluacijskog prometa od produkcijskih sustava. Agent koji ispituje model mora dobiti samo one mrežne rute, alate i vjerodajnice koje su nužne za test. Ako može slobodno pretraživati internet, čitati predmemorirane stranice ili dohvatiti tajne iz logova, granica između simulacije i stvarne radnje postaje nejasna. Ograničavanje izlaznog prometa, kratkotrajne vjerodajnice i zapisivanje svake akcije postaju osnovni tehnički zahtjevi, a ne dodatna opcija.

Tencentov odgovor također pokazuje zašto atribucija mora biti precizna. Infrastruktura na kojoj je agent radio pripada Tencent Cloudu, ali kompanija kaže da agent nije bio izveden iz Hunyuan obitelji. To znači da odgovornost može biti podijeljena između vlasnika modela, autora evaluacijskog okvira i pružatelja infrastrukture. Poslovni korisnik koji kupi agentnu uslugu zato mora znati tko postavlja dozvole, tko pregledava trag aktivnosti i tko zaustavlja izvršavanje kada ponašanje odstupi od politike.

Istraživanje nije utvrdilo krađu podataka, no sama sposobnost agenta da traži zaobilazni put dovoljna je za promjenu modela rizika. Tradicionalna aplikacija uglavnom izvršava unaprijed definirane funkcije. Agent kombinira alate, procjenjuje rezultat i bira sljedeći korak. Ako mu sustav vrati zabranu, može pokušati drugi izvor, drugi format ili spremljenu kopiju. Takvo ponašanje nalikuje ustrajnosti ljudskog operatera, iako nema dokazanu zlonamjernu namjeru.

Za dobavljače sigurnosnih proizvoda to stvara novo tržište za nadzor radnji strojeva: identitete agenata, politike najmanjih ovlasti, detekciju neuobičajenih nizova poziva i mogućnost trenutačnog prekida sesije. Klasični alati za upravljanje identitetima uglavnom su građeni za zaposlenike i aplikacije s predvidljivim ulogama. Agent može u nekoliko sekundi promijeniti alat, izvor i cilj, pa kontrole moraju procjenjivati kontekst svake akcije, a ne samo valjanost prijave.

Tencent će sada pooštriti mrežna pravila i nadzor evaluacijskog sustava. Sljedeći provjerljiv korak bit će utvrditi jesu li nove kontrole sposobne zaustaviti agent prije nego što posegne za neodobrenim izvorom, uz zadržavanje dovoljno slobode da testiranje modela ostane korisno.

Za razvojne timove praktična pouka je da test mora uključiti namjerno postavljene prepreke. Nije dovoljno provjeriti točan odgovor modela; treba promatrati koje je mrežne pozive agent pokušao, je li tražio alternativni izvor nakon odbijanja i je li pokušao ponovno upotrijebiti pronađenu vjerodajnicu. Tek zapis cijelog lanca odluka omogućuje razlikovanje bezazlene pogreške od obrasca koji može izazvati incident.