Dokazano je da kompromitirani AI agent može koristiti legitimne alate za neprimjetnu krađu podataka. To bi moglo označiti početak nove ere kibernetičkih napada.
Dvadesetak godina naše IT sustave od kibernetičkih napada štitimo ulaganjem u vatrozide, antivirusne sustave, višefaktorsku autentikaciju, sustave za otkrivanje upada, segmentaciju mreže i penetracijska testiranja. Kad govorimo o kibernetičkoj sigurnosti, gotovo uvijek razmišljamo o istom scenariju – netko će pokušati provaliti u naš informacijski sustav.
Umjetna inteligencija kojoj smo sami dali pristup elektroničkoj pošti, dokumentima, bazama podataka i poslovnim aplikacijama mogla bi promijeniti stranu.
Ne mislim pritom na scenarije iz znanstvene fantastike niti na senzacionalističke tvrdnje o “AI-u koji će zavladati svijetom”. Govorim o vrlo konkretnim sigurnosnim rizicima koje je znanstvena zajednica tek počela ozbiljno istraživati. Jedan takav rad, trebao bi zabrinuti svakoga tko danas razmatra masovniju primjenu umjetne inteligencije u poslovanju.
Dana 7. travnja 2026. na arXivu je objavljen znanstveni rad “Your LLM Agent Can Leak Your Data: Data Exfiltration via Backdoored Tool Use”, koji je potom prihvaćen za objavu na jednoj od najuglednijih svjetskih konferencija iz područja umjetne inteligencije i obrade prirodnog jezika – ACL 2026 (Association for Computational Linguistics).
Autori su eksperimentalno dokazali da kompromitirani AI agent može koristiti potpuno legitimne alate kako bi iz memorije razgovora izdvojio povjerljive informacije i poslao ih napadaču, pri čemu njegovo ponašanje izgleda kao sasvim normalno korištenje AI sustava - možete li detektirati takav događaj?
Ovo je posebno važno jer napad nije iskorištavao ranjivost operacijskog sustava. Nije koristio SQL Injection. Nije zaobilazio firewall. Nije iskorištavao propuste u autentikaciji.
Napad je iskoristio činjenicu da umjetna inteligencija ima pravo koristiti određene alate.
Drugim riječima, AI agent nije radio ništa što mu organizacija formalno nije dopustila. Samo je legitimne ovlasti iskoristio na način koji nitko nije očekivao.
Mislim da je upravo u tome najveća vrijednost ovog istraživanja. Ono pokazuje da ulazimo u razdoblje u kojem više neće biti dovoljno štititi mrežu i aplikacije. Morat ćemo štititi način na koji umjetna inteligencija donosi odluke.
To je potpuno nova paradigma.
Kada zaposlenik pristupa poslovnoj aplikaciji, znamo njegov identitet, dodijeljene ovlasti i poslovni razlog pristupa. Kada AI agent pristupa istoj aplikaciji, situacija postaje bitno složenija. Agent sam odlučuje koji će alat koristiti, kojim će dokumentima pristupiti i kojim će redoslijedom izvršavati pojedine zadatke. Upravo ta autonomija čini ga iznimno korisnim, ali istodobno stvara sigurnosne rizike kakve do sada nismo imali.
Zato me pomalo iznenađuje što se danas najveći dio rasprava još uvijek vodi oko toga koji je AI model “najpametniji”. Hoće li to biti GPT, Gemini, Claude ili neki open-source model.
Po mom mišljenju, to je pogrešno pitanje.
Model je samo jedan dio AI sustava. To znači da više nije dovoljno procijeniti sigurnost AI modela. Moramo procijeniti sigurnost cijelog AI ekosustava.
Površina napada više nije jedan softver. To je lanac koji čine modeli, agenti, memorija, RAG sustavi, alati, API-ji, vektorske baze, GPU infrastruktura i opskrbni lanac. Dovoljno je kompromitirati samo jednu kariku.
Današnje poslovno AI rješenje sastoji se od velikog jezičnog modela (LLM), AI agenata, memorije razgovora, RAG sustava, vektorskih baza, različitih poslovnih alata, API-ja, preglednika interneta, integracija s poslovnim aplikacijama, GPU infrastrukture i cijelog opskrbnog lanca na kojem se sve to izvršava. Svaka od tih komponenti predstavlja novu potencijalnu površinu napada.
Zbog toga će se, uvjeren sam, u sljedećih nekoliko godina pojaviti potpuno nova disciplina kibernetičke sigurnosti.
Danas provodimo procjene rizika informacijskih sustava.
Sutra ćemo provoditi procjene rizika umjetne inteligencije. Zapravo, provodimo ih i danas, ali velika većina organizacija to radi na rudimentarnoj razini. Panični strah od gubitka utrke u primjeni umjetne inteligencije dodatno doprinosi marginalizaciji ozbiljne analize opasnosti koje ona donosi.
Mogu li AI agenti biti izmanipulirani da donesu pogrešne odluke ili otkriju povjerljive informacije? Može li se u našem okruženju iskoristiti backdoor ugrađen u GPU firmware ili driveru, LLM-u, RAG-u…jer, treba krenuti od pretpostavke da on postoji.
Mi danas provjeravamo tko ima pristup dokumentima.
Sutra ćemo morati dokazivati kojim dokumentima može pristupiti umjetna inteligencija, koje alate smije koristiti, pod kojim uvjetima i može li netko njezino ponašanje zlonamjerno promijeniti.
Razumijevanje i analiza AI rizika ne smiju napredovati sporije od napredovanja AI i njene primjene.
AI agenti već samostalno pretražuju dokumentaciju, čitaju elektroničku poštu, pozivaju API-je, izrađuju izvještaje, pišu programski kod i donose odluke o tome koji će alat koristiti kako bi izvršili zadatak.
Svakom novom ovlasti koju damo umjetnoj inteligenciji povećavamo i njezinu vrijednost za potencijalnog napadača.
To ne znači da treba usporiti primjenu umjetne inteligencije. Naprotiv. Organizacije koje je ne budu koristile vrlo će brzo izgubiti konkurentnost.
To znači da AI više ne smijemo promatrati samo kao tehnologiju za povećanje produktivnosti.
AI sustav više nije samo aplikacija koju treba zaštititi. On postaje aktivni sudionik poslovnih procesa kojem povjeravamo podatke, donosimo odluke na temelju njegovih preporuka i dajemo ovlasti kakve do sada nije imao niti jedan softver. Upravo zato postaje i nova kategorija sigurnosnog rizika.
Povjeravamo mu svoje najvrijednije podatke, tražimo ga da nas savjetuje u donošenju najvažnijih poslovnih odluka.
Možda je pravo pitanje nije možemo li vjerovati umjetnoj inteligenciji, nego možemo li dokazati da je umjetna inteligencija postupila upravo onako kako smo očekivali – i ni na koji drugi način.
Upravo odgovor na to pitanje bi mogao obilježiti sljedeće desetljeće kibernetičke sigurnosti.
O Autoru: Stanko Cerin više od 20 godina savjetuje neke od najvećih svjetskih i hrvatskih kompanija u području kibernetičke sigurnosti, upravljanja IT rizicima i regulatorne usklađenosti. Autor je ITrevizija.hr, prve hrvatske AI platforme za usklađivanje s NIS2 direktivom, te suosnivač IVERIOS-a, AI-native platforme za kontinuirano upravljanje kibernetičkim rizicima i usklađenošću. U sklopu razvoja proizvoda kontinuirano prati nova znanstvena istraživanja, tehnike napada i regulatorne zahtjeve povezane s umjetnom inteligencijom. Certificirani je Information Systems Auditor i Information Security Manager.
Dvadesetak godina naše IT sustave od kibernetičkih napada štitimo ulaganjem u vatrozide, antivirusne sustave, višefaktorsku autentikaciju, sustave za otkrivanje upada, segmentaciju mreže i penetracijska testiranja. Kad govorimo o kibernetičkoj sigurnosti, gotovo uvijek razmišljamo o istom scenariju – netko će pokušati provaliti u naš informacijski sustav.
Zamislite sastanak koji se ovih mjeseci ponavlja u sve više hrvatskih tvrtki. Marketinški tim srednje velike tvrtke predstavlja upravi novu kampanju. Video traje devedeset sekundi. U njemu se predsjednik uprave obraća kupcima na hrvatskom, njemačkom i talijanskom jeziku. Izgovor je besprijekoran, pokreti usana usklađeni, ton uvjerljiv. Uprava je oduševljena. Snimanje je trajalo dvadesetak minuta, a prijevod i sinkronizacija stajali su gotovo ništa. Predsjednik uprave, dakako, ne govori talijanski. Njegov glas i pokrete usana generirao je AI alat.
Nerevidirani konsolidirani rezultati Hrvatskog Telekoma za prvih šest mjeseci 2026. pokazuju nastavak umjerenog rasta prihoda, uz nešto brži rast prilagođene operativne dobiti i dvoznamenkasto povećanje neto dobiti. Istodobno je ubrzan investicijski ciklus, dok se na novčanom toku vidi veći pritisak zaliha, potraživanja, dinamike plaćanja dobavljačima i ulaganja.
