Enterprise GenAI aplikacije suočit će se s rastom sigurnosnih incidenata do 2028. godine

Do 2028. godine 25% svih enterprise GenAI aplikacija doživjet će najmanje pet manjih sigurnosnih incidenata godišnje, u odnosu na 9% u 2025., prema Gartneru. Kako organizacije nastavljaju graditi i integrirati agentske AI aplikacije korištenjem tehnologija kao što je Model Context Protocol (MCP), novi vektori napada i nezrele sigurnosne prakse značajno će povećati izloženost riziku.

„MCP je najprije izgrađen za interoperabilnost, jednostavnost korištenja i fleksibilnost, pa se sigurnosne pogreške mogu pojaviti bez stalnog nadzora nad agentskom umjetnom inteligencijom“, rekao je Aaron Lord, viši direktor analitičar u Gartneru. „Zbog toga će stopa manjih sigurnosnih incidenata unutar GenAI aplikacija rasti ubrzano. Na kraju ćemo vidjeti da će 15% svih enterprise GenAI aplikacija doživjeti najmanje jedan veliki sigurnosni incident godišnje do 2029., u odnosu na 3% u 2025.“

Kako raste interes za okvire poput MCP-a, voditelji softverskog inženjerstva moraju biti spremni na sigurnosnu stvarnost koja slijedi, od incidenata izloženosti podataka do ranjivosti skrivenih u široko korištenim komponentama trećih strana. Zaštita od tih rizika zahtijeva uspostavu rigoroznih procesa sigurnosne provjere, davanje prioriteta niskorizičnim slučajevima uporabe, ublažavanje poznatih obrazaca prijetnji i osnaživanje domenskih stručnjaka da definiraju zaštitne okvire koji agentsku umjetnu inteligenciju održavaju snažnom i sigurnom.

MCP-ov dizajn optimiziran je za interoperabilnost i brzinu razvoja, a ne za sigurnosno nametanje po zadanim postavkama, što znači da se propusti mogu pojaviti kroz uobičajeno korištenje. To se posebno može dogoditi kada agenti u istom toku imaju pristup osjetljivim podacima, obrađuju nepouzdani sadržaj ili komuniciraju prema van. Voditelji softverskog inženjerstva trebali bi svaki slučaj uporabe koji kombinira ta tri čimbenika tretirati kao zonu u koju se ne ulazi zbog povećanog rizika od izvlačenja podataka.

„Voditelji softverskog inženjerstva trebali bi surađivati s timovima za podatke, sigurnost i infrastrukturu kako bi stvorili formalnu sigurnosnu provjeru MCP slučajeva uporabe, dali prednost niskorizičnim obrascima i izričito isključili visokorizične kombinacije“, rekao je Lord. „To bi trebali pojačati snažnim praksama autentifikacije i autorizacije prilagođenima posebno AI agentima, a ne naslijeđenima iz uloga ljudskih korisnika, kako bi se dopuštenja držala strogo ograničenima. Primjena poznatih mjera ublažavanja obrazaca prijetnji, poput zaštite od content-injection napada i strožeg nadzora nad komponentama trećih strana za MCP, pomoći će u zatvaranju najčešćih praznina prije nego što ih se može iskoristiti.“

Uspješne proaktivne mjere ublažavanja MCP sigurnosnih rizika zahtijevaju poznavanje antiobrazaca koji mogu dovesti do ranjivosti. Voditelji softverskog inženjerstva morat će ublažavati MCP ranjivosti usmjerene na poznate obrasce prijetnji, poput content-injection napada, prijetnji u lancu opskrbe, otkrivanja osjetljivih podataka ili eskalacije privilegija kada AI pokušava pomoći, ali pogriješi. „Voditelji softverskog inženjerstva morat će uspostaviti domenski orijentirano vlasništvo nad MCP poslužiteljima kako bi potaknuli domenski vođene zaštitne okvire“, rekao je Lord. „Rastuća složenost agentske umjetne inteligencije s vremenom će dovesti do komplikacija u upravljanju pristupom podacima i održavanju usklađenosti.“

Kako bi se to riješilo u velikom mjerilu, Gartner preporučuje da voditelji softverskog inženjerstva surađuju s domenskim stručnjacima i rade unatrag kako bi osigurali interakcije agentske umjetne inteligencije koje su sigurne po zadanim postavkama. Bit će ključno da domenski stručnjaci unaprijed definiraju svoje zaštitne okvire prije nego što MCP klijentima dopuste pristup svojim podacima i resursima. Ti bi domeni trebali biti vlasnici MCP poslužitelja i definirati zaštitne okvire za uporabu agentske umjetne inteligencije.

Rast agentske umjetne inteligencije mijenja sigurnosni model enterprise aplikacija jer softver više ne izvršava samo unaprijed definirane funkcije, nego donosi odluke, poziva alate i kombinira izvore podataka. Klasični modeli kontrole pristupa često pretpostavljaju ljudskog korisnika s relativno predvidivim ponašanjem, dok AI agent može djelovati brže, autonomnije i u širem kontekstu. Zato načelo najmanjih privilegija mora biti primijenjeno na razini zadatka, alata, podatkovnog skupa i trajanja sesije. Poseban problem predstavljaju prompt-injection i content-injection napadi, u kojima napadač pokušava manipulirati ponašanjem modela kroz sadržaj koji model čita. Lanci opskrbe također postaju složeniji jer agenti koriste priključke, API-je i komponente koje mogu biti kompromitirane ili loše održavane.

Organizacije će morati uvesti zapisivanje odluka agenata, provjeru izlaznih radnji i odvojene sigurnosne politike za automatizirane tokove. Važnu ulogu imat će i domenski vlasnici podataka jer samo tehnički timovi ne mogu uvijek procijeniti poslovni rizik određenog pristupa. Sigurnost agentskih sustava zato će zahtijevati kombinaciju aplikacijske sigurnosti, upravljanja identitetima, podatkovnog upravljanja i nadzora modela. Regulirane industrije morat će posebno paziti na dokazivost odluka i mogućnost naknadne revizije. U praksi će sigurna primjena GenAI-ja ovisiti manje o pojedinačnom modelu, a više o disciplini arhitekture, procesa i nadzora oko njega.