AI I STROJNO UČENJE

Microsoftovi istraživači otkrili skriveni napad na AI agente

Microsoftovi istraživači pokazali su da se preinakom manje od deset uspavanih neurona može ugraditi skrivena naredba u agentski model bez ponovnog treniranja. Model se ponaša normalno dok ne primi okidač, nakon čega izvršava napadačevu naredbu s ovlastima agenta. Tvrtka nije vidjela stvarnu zloupotrebu, ali preporučuje provjerljivo podrijetlo težina, kriptografsko potpisivanje i ograničavanje agentskih ovlasti.

Microsoftovi istraživači otkrili skriveni napad na AI agente
Depositphotos / Ilustracija

Microsoft Research pokazao je da se preinakom manje od deset neaktivnih neurona može ugraditi skrivena funkcija u model koji upravlja AI agentom. Model prolazi uobičajene evaluacije i ponaša se normalno sve dok se u kontekstu ne pojavi zadani okidač, nakon čega može izdati naredbu za preuzimanje i pokretanje napadačeva koda.

Tehnika nazvana Lazarus ne traži ponovno treniranje. Dovoljno je izmijeniti mali broj težina, pa računalo koje može pokrenuti model ima i dovoljno resursa za umetanje napada. U demonstraciji okidač može biti datum, primjerice prelazak u 2027., što otežava otkrivanje testovima koji ne pokrivaju baš taj uvjet.

Rizik je veći kod agenata s pristupom terminalu, datotekama, cloud računima ili internim alatima. Jezični izlaz sam po sebi nije završna šteta; opasnost nastaje kada orkestrator automatski izvrši generiranu naredbu. Isti skriveni model može zato biti gotovo bezazlen u chatu, a kritičan u razvojnom ili administrativnom okruženju.

Microsoft nije zabilježio da napadači tehniku koriste u stvarnim incidentima. Istraživanje je dokaz mogućnosti, ne izvještaj o aktivnoj kampanji. Tvrtka ga povezuje s ranijim radovima Anthropica i MIT-a o uspavanim agentima i programiranju prostora težina, što upućuje na novu klasu rizika u opskrbnom lancu modela.

Standardna procjena kvalitete nije dovoljna jer kompromitirani model može zadržati iste rezultate na benchmarku. Obrana traži usporedbu težina s izvornom, pouzdanom verzijom. Ako organizacija ne zna odakle je model preuzet ili ne može provjeriti njegov hash, kasnija analiza teško razlikuje namjernu preinaku od normalne kvantizacije ili konverzije formata.

Microsoft Foundry povezuje modele s izvornim izdavačem, koristi kartice modela i pokreće ih u skeniranim spremnicima. Tvrtka radi na automatskom pregledu težina, red-team alatu i kriptografskom potpisivanju s dokazivim revizijskim tragom. Nijedna metoda ipak ne može matematički dokazati da model nema skriveno ponašanje.

Istraživači su ustanovili da napredni modeli mogu prepoznati anomalne izmjene kada ih se izričito zatraži da ih traže. Takav AI revizor može ubrzati pregled milijardi parametara, ali ne smije biti jedina kontrola. Potrebni su poznati referentni artefakt, reproduktivan proces izgradnje i neovisna provjera potpisa.

Praktična zaštita vraća se pravilima poznatima iz sigurnosti softvera. Agent treba najmanje potrebne ovlasti, mrežni izlaz ograničen na dopuštene domene, potvrdu čovjeka za destruktivne radnje i zapis svake izvršene naredbe. Čak i uspješno aktiviran backdoor tada nailazi na dodatnu barijeru izvan samog modela.