Jedinstveno upravljanje svim AI agentima vodit će do neuspjeha

Primjena jedinstvenog modela upravljanja na sve AI agente, bez obzira na njihovu razinu autonomije i opseg, može dovesti do neuspjeha AI agenata u poduzećima, upozorava Gartner. Neuspjesi su najvjerojatniji kada organizacije ne razlikuju sposobnost agenta da djeluje od opsega pristupa koji mu je odobren. Gartner predviđa da će do 2027. godine 40 posto poduzeća degradirati ili povući autonomne AI agente zbog upravljačkih praznina koje će postati vidljive tek nakon incidenata u produkciji.

„Poduzeća upravljanje AI agentima tretiraju binarno, ili ih potpuno zaključavaju ili im potpuno vjeruju, i upravo je to korijen neuspjeha“, rekao je Shiva Varma, viši direktor analitičar u Gartneru. „Agenti djeluju na različitim razinama autonomije i preko različitih granica povjerenja. Kada se ista pravila primjenjuju neselektivno, organizacije se susreću s dva česta načina neuspjeha: pretjeranim ograničavanjem jednostavnih agenata, što usporava isporuku i potiče razvoj u sjeni, ili nedovoljnim ograničavanjem autonomnijih agenata, što povećava operativni, sigurnosni i usklađenosni rizik.“

Kako bi ublažio te rizike, Gartner preporučuje proporcionalan pristup upravljanju koji AI agente razvrstava prema jasno definiranim razinama autonomije, pri čemu svaka razina predstavlja drukčiju granicu povjerenja i zahtijeva drukčiji skup kontrola.

Na prvoj razini, odnosno razini promatranja, agenti su ograničeni na pristup samo za čitanje unaprijed definiranim izvorima podataka, a njihovi izlazi vidljivi su isključivo korisniku koji ih je zatražio. Uobičajeni slučajevi uporabe uključuju sažimanje dokumenata, dohvat podataka ili znanja te objašnjavanje koda. „Na toj razini upravljanje bi se trebalo usredotočiti na temeljne kontrole kao što su ograničeni pristup podacima, autentikacija korisnika, evidentiranje korištenja te osnovna funkcionalna i sigurnosna testiranja“, rekao je Varma. „Budući da je rizik uglavnom ograničen na izlaganje podataka i točnost izlaza, kontrole trebaju ostati lagane i ciljane.“

Na drugoj razini, odnosno razini savjetovanja, agenti generiraju preporuke, nacrte ili prijedloge radnji, dok ljudi pregledavaju sve izlaze i ručno izvršavaju radnje. Ti agenti i dalje imaju samo pristup za čitanje i nemaju pravo upisa ni u jedan sustav, a najčešće se koriste za izradu e-mailova, generiranje izvještaja ili koda te potporu odlučivanju. Iako ljudi donose i provode odluke, savjetodavni agenti mogu usmjeriti ljudsku prosudbu, stvarajući nizvodni rizik kada se netočni izlazi prihvaćaju zbog automatizacijske pristranosti. „Upravljanje za savjetodavne agente trebalo bi uključivati sve kontrole s prve razine i proširiti ih na kvalitetu izlaza i utjecaj na odluke kroz testiranje točnosti i halucinacija, domenski specifične procjene kvalitete te obuku korisnika o primjerenoj razini oslanjanja“, dodao je Varma.

Na trećoj razini agenti mogu izvršavati radnje poput upisa podataka, slanja komunikacija ili izmjene konfiguracija, ali tek nakon izričitog ljudskog odobrenja za svaku pojedinu radnju. „Na toj je razini ljudski pregled djelotvoran samo ako ostane stvarna kontrola“, rekao je Varma. „Bez snažnog sigurnosnog testiranja, jasnih tokova odobravanja s revizijskim tragovima i procedura odgovora na incidente specifičnih za agente, odobrenja se mogu urušiti pod vremenskim pritiskom ili zbog zamora od odobravanja, stvarajući lažan osjećaj sigurnosti uz istodobno širenje površine napada.“

Na četvrtoj i najvišoj razini autonomije agenti samostalno izvršavaju radnje unutar definiranih zaštitnih ograda, dok ljudi pregledavaju iznimke, revizijske zapisnike i agregirane ishode, a ne pojedinačne odluke. „Kada agenti djeluju autonomno, radnje se izvršavaju brzinom i opsegom koji mogu nadmašiti ljudski nadzor“, rekao je Varma. „Budući da odgovornost za ishode i dalje ostaje na organizaciji, ova razina zahtijeva najstrože upravljanje, uključujući kontinuirano praćenje, provedene zaštitne mehanizme, mogućnost brzog povrata na prethodno stanje, prekidače koji zaustavljaju rad agenta kada se prijeđu pragovi te jasno vlasništvo nad ponašanjem agenta.“

Širi regulatorni i operativni kontekst dodatno potvrđuje zašto je takav pristup važan. NIST-ov AI Risk Management Framework naglašava da se odgovornosti ljudi, nadzor i upravljanje rizikom moraju definirati kroz cijeli životni ciklus AI sustava, a ne tek nakon uvođenja u rad. Europska komisija ujedno je objavila da se od 2. kolovoza 2026. u EU počinju primjenjivati ključne obveze transparentnosti za AI sustave, uključujući obavješćivanje korisnika kada komuniciraju s umjetnom inteligencijom ili kada su izloženi određenom AI-generiranom sadržaju. To znači da upravljanje agentima više nije samo tehničko pitanje, nego i pitanje procesa, dokumentacije i dokazive odgovornosti. U praksi će najuspješnije organizacije biti one koje će za jednostavne agente zadržati lagane kontrole, a za autonomnije agente uvesti stroge zaštitne mehanizme, revizijske tragove i mogućnost brzog zaustavljanja rada.

Dodatni okvir daje i ISO/IEC 42001, prvi međunarodni standard za sustav upravljanja umjetnom inteligencijom, koji organizacijama nudi način da AI rizike pretvore u ponovljive upravljačke procese. Kako agenti dobivaju širi pristup podacima, aplikacijama i poslovnim odlukama, raste i važnost segmentacije ovlasti te načela najmanjih privilegija. Jednako je važno osigurati da ljudska provjera ostane stvarna kontrola, a ne formalnost koja se pod vremenskim pritiskom pretvara u automatsko odobravanje. Tvrtke će zato morati povezati AI upravljanje s postojećim sigurnosnim, identitetskim i usklađenosnim procesima, umjesto da ga tretiraju kao izdvojeni eksperiment. U konačnici, vrijednost agenata neće se mjeriti samo njihovom produktivnošću, nego i sposobnošću organizacije da njima upravlja pouzdano, transparentno i sigurno.