VELIKI PROBLEMI

Copilot imao ranjivost koja potvrđuje koliko lako hakeri mogu utjecati na AI agente

Priroda ranjivosti znači da korisnik ne treba ništa kliknuti niti komunicirati s porukom da bi napadač pristupio osjetljivim informacijama iz aplikacija i izvora podataka povezanih s AI agentom.

Copilot imao ranjivost koja potvrđuje koliko lako hakeri mogu utjecati na AI agente
Depositphotos

Microsoft 365 Copilot je imao kritičnu sigurnosnu manu koja, prema stručnjacima, signalizira širi rizik od hakiranja AI agenata.

Priroda ranjivosti znači da korisnik ne treba ništa kliknuti niti komunicirati s porukom da bi napadač pristupio osjetljivim informacijama iz aplikacija i izvora podataka povezanih s AI agentom. U slučaju Microsoft 365 Copilota, ranjivost omogućuje hakeru pokretanje napada jednostavnim slanjem e-pošte korisniku, bez potrebe za phishingom ili zlonamjernim softverom. Umjesto toga, "exploit" koristi niz pametnih tehnika kako bi AI asistenta okrenuo protiv sebe.

Copilot djeluje na temelju korisničkih uputa unutar Office aplikacija kako bi pristupio dokumentima i generirao prijedloge. Ako ga infiltriraju hakeri, mogao bi se koristiti za ciljanje osjetljivih internih informacija kao što su e-pošta, proračunske tablice i razgovori. Napad zaobilazi Copilotovu ugrađenu zaštitu, koja je osmišljena kako bi osigurala da samo korisnici mogu pristupiti svojim datotekama – potencijalno izlažući vlasničke, povjerljive podatke ili podatke vezane uz usklađenost.

Stručnjaci iz Aim Securityja nazvali su manu "EchoLeak". U Microsoftu tvrde da su već riješili problem te da njegovi korisnici nisu pogođeni.

EchoLeak nije samo obična sigurnosna pogreška. Ima šire implikacije izvan Copilota jer proizlazi iz temeljnog dizajnerskog nedostatka u AI agentima temeljenim na LLM-u, sličnog ranjivostima softvera iz 1990-ih, kada su napadači počeli preuzimati kontrolu nad uređajima poput prijenosnih računala i mobilnih telefona.

Adir Gruss, suosnivač i tehnički direktor Aim Securityja, rekao je da je njemu i njegovim kolegama trebalo oko tri mjeseca da obrnutim inženjeringom analiziraju Copilot, jednog od najčešće korištenih generativnih AI asistenata. Željeli su utvrditi kriju li se ispod površine slične ranjivosti kao u ranijim softverima, a zatim razviti zaštitne mjere za njihovo ublažavanje.

"Pronašli smo ovaj lanac ranjivosti koje su nam omogućile da učinimo ekvivalent "zero-click" napada za mobilne telefone, ali za AI agente", rekao je.

Prvo, napadač šalje naizgled bezazlenu e-poštu koja sadrži skrivene upute namijenjene Copilotu. Zatim, budući da Copilot skenira korisnikove e-poruke u pozadini, Copilot čita poruku i slijedi uputu – prodirući u interne datoteke i izvlačeći osjetljive podatke. Konačno, Copilot skriva izvor uputa, tako da korisnik ne može pratiti što se dogodilo.

Međutim, Microsoftu je trebalo pet mjeseci da riješi problem. Jedan od razloga jest to što je ranjivost toliko nova te je trebalo vremena da se uključe pravi Microsoftovi timovi u proces i educiraju ih o ranjivosti i mjerama ublažavanja.

Dok Aim nudi privremene mjere ublažavanja klijentima koji usvajaju druge AI agente koji bi mogli biti pogođeni ranjivošću EchoLeak, Gruss je rekao da će dugoročni popravak zahtijevati temeljni redizajn načina na koji su AI agenti izgrađeni.

"Činjenica da agenti koriste pouzdane i nepouzdane podatke u istom procesu razmišljanja osnovni je dizajnerski nedostatak koji ih čini ranjivima. Zamislite osobu koja radi sve što pročita, njome bi bilo vrlo lako manipulirati. Rješavanje ovog problema zahtijevalo bi ili ad hoc kontrole, ili novi dizajn koji omogućuje jasnije razdvajanje između pouzdanih uputa i nepouzdanih podataka."

Takav redizajn mogao bi biti u samim modelima ili bi aplikacije na kojima su agenti izgrađeni mogle dodati obvezne zaštitne mjere za bilo kojeg agenta.