Nvidia predstavila platformu za nadzor AI agenata

Nvidia je predstavila otvorenu softversku inicijativu koja organizacijama treba omogućiti veći nadzor nad agentima umjetne inteligencije. Open Agent Safety Platform objedinjuje OpenShell, izvršno okruženje otvorenog koda koje postavlja operativna ograničenja za agente, i Sentry, arhitekturu nadzora integriranu s hardverom.

Prema Nvidijinu objašnjenju, Sentry omogućuje provedbu sigurnosnih pravila u stvarnom vremenu kroz izoliranu domenu povjerenja koja nije vidljiva ni AI agentima ni vanjskim akterima. Proizvođač poluvodiča navodi da OpenShell prati aktivnosti agenata koji se izvršavaju na njegovim procesorima Vera. Softver je moguće prilagoditi i za procesore drugih proizvođača, uključujući Arm i Intel.

Nvidia je alate predstavila s desecima suradnika, među kojima su Anthropic, Mistral, Microsoft, SpaceXAI, Hugging Face, Accenture, Palantir i Perplexity. Objavljeno je da je Anthropic već uključio OpenShell i BlueField u svoj Claude Managed Agents, dok SpaceXAI implementira platformu za programske agente Cursor i AI modele Grok. Među prvim korisnicima nalaze se i infrastrukturne te energetske kompanije poput Red Hata, Siemens Energyja i Schneider Electrica.

„Nedavni sigurnosni incidenti pokazali su koliko je važno organizacijama osigurati otvorene i prilagodljive alate koji omogućuju stroži nadzor nad agentima koji rade dulje vrijeme”, navela je Nvidia u službenoj objavi. Predstavljanje slijedi nakon nekoliko zapaženih slučajeva u kojima su AI agenti zaobišli predviđene granice svojeg djelovanja. Tehnološke kompanije, uključujući Anthropic, Metu, OpenAI i Google, dokumentirale su slučajeve u kojima su AI sustavi pristupali nedopuštenim vanjskim mrežama ili pokušavali probiti sustave drugih organizacija.

AI agent razlikuje se od klasičnog razgovornog sustava po tome što može koristiti alate i samostalno izvršavati niz povezanih radnji. Takve sposobnosti zahtijevaju jasno definirane ovlasti. Načelo najmanjih privilegija podrazumijeva da sustav dobije samo pristupe koji su mu nužni za konkretan zadatak. Izolirana izvršna okruženja mogu ograničiti pristup datotekama, mreži i drugim resursima.

Evidencija aktivnosti važna je za naknadnu analizu incidenata i reviziju. Sigurnosna provjera trebala bi obuhvatiti i upute koje agent prima iz vanjskih izvora. Zlonamjerno oblikovan tekst može pokušati promijeniti ponašanje sustava, što je poznato kao napad ubrizgavanjem uputa. Autonomni agenti stoga trebaju mehanizme potvrde prije izvođenja posebno osjetljivih radnji. Organizacije moraju unaprijed definirati postupke za prekid izvršavanja. Tehničke kontrole korisno je povezati s odgovornošću ljudi koji sustav uvode i nadziru.