Nadella traži kočnicu za agente

Microsoftov izvršni direktor Satya Nadella zatražio je 10. listopada da napredni AI sustavi imaju vanjsku kočnicu koja ih može zaustaviti usred rada. Njegov je prijedlog da se model unaprijed tretira kao mogući unutarnji rizik, neovisno o tome je li namjerno zlonamjeran, jer dobiva pristup podacima i alatima kojima može izazvati stvarnu posljedicu.

Nadella traži sustave čije se ponašanje može promatrati, čije se granice mogu testirati i čije se radnje uvijek mogu obuzdati. To znači da odluka o zaustavljanju ne smije ovisiti o samom modelu. Kontrola mora biti u odvojenoj infrastrukturi kojom upravlja ovlaštena osoba ili sigurnosna služba i koja ostaje dostupna kada model pogriješi.

Kočnica nije isto što i gumb za gašenje cijelog podatkovnog centra. U poslovnom sustavu treba zaustaviti određenu sesiju, opozvati pristupni token, prekinuti poziv alata ili vratiti proces na sigurnu točku. Preširoko gašenje može obustaviti zakonite korisnike, dok prespora reakcija ostavlja dovoljno vremena za slanje poruke, prijenos datoteke ili promjenu zapisa.

Arhitektura mora odvojiti model od podataka kojima pristupa. Umjesto stalne dozvole, agent dobiva kratkotrajnu ovlast za određeni zadatak i količinu podataka. Sustav zatim provjerava namjeru, odredište i posljedicu prije izvršenja. Nepovratne radnje, poput plaćanja ili brisanja, traže dodatnu potvrdu izvan razgovora s modelom.

Nepromjenjivi zapis nužan je za istragu. On treba sadržavati verziju modela, ulaz, korišteni alat, dodijeljenu ovlast, rezultat i trenutak prekida. Sam transkript nije dovoljan jer agent može donositi odluke kroz skrivene interne korake ili vanjske pozive. Tvrtka mora povezati tehnički trag s poslovnim korisnikom koji je pokrenuo zadatak.

Microsoft ima izravan poslovni interes za takav standard. Azure, Copilot i razvojne platforme omogućuju tvrtkama da ugrade agente u svakodnevne procese. Ako kupci ne mogu ograničiti ovlasti i dokazati nadzor, sporije će ih uvoditi u bankarstvo, zdravstvo i javnu upravu. Sigurnosna arhitektura zato postaje prodajni uvjet, a ne samo trošak.

Otvoreno je pitanje tko smije aktivirati kočnicu. Centralizirana ovlast ubrzava odgovor, ali stvara mogućnost zloupotrebe ili političkog pritiska. Višestruko odobrenje bolje štiti od samovolje, ali može biti presporo. Razuman model kombinira automatsko privremeno ograničenje s naknadnom ljudskom odlukom o potpunom zaustavljanju i ponovnom pokretanju.

Kupci trebaju unaprijed testirati postupak, jednako kao oporavak iz pričuvne kopije. Simulacija mora pokazati koliko brzo se prekida aktivna radnja, ostaju li podaci cjeloviti i može li se agent vratiti bez ponavljanja štetnog koraka. Dobavljač treba objaviti granice: koje radnje može zaustaviti, a koje se nakon slanja više ne mogu opozvati.

Standardizacija bi olakšala povezivanje različitih modela i alata. Jedinstveni signal za pauzu, opoziv vjerodajnice i izvoz zapisa smanjio bi ovisnost o jednom dobavljaču. Istodobno bi napadač mogao ciljati isti kontrolni sloj, pa specifikacija mora uključiti autentifikaciju, otpornost na uskraćivanje usluge i odvojeni kanal za hitne naredbe.

Nadellin prijedlog dobit će težinu tek kada Microsoft objavi obvezne tehničke zahtjeve za vlastite proizvode i neovisno potvrdi njihovu provedbu. Kupci će tražiti mjerljivo vrijeme zaustavljanja, cjelovitost zapisa i jasnu odgovornost za propušten incident. Vanjska kočnica može postati osnovna kontrola agentskog softvera samo ako radi i kada je najpotrebnija.

Osiguravatelji i revizori mogli bi kočnicu pretvoriti u ugovorni zahtjev. Premija za sustav bez mogućnosti trenutnog opoziva bila bi viša, a revizija bi tražila dokaz redovitog testa. Time sigurnosna funkcija dobiva mjerljivu ekonomsku vrijednost prije nego što je regulator izričito propiše. Organizacije trebaju definirati i uvjete ponovnog uključivanja. Zaustavljeni agent ne smije se vratiti samo zato što je prošlo određeno vrijeme; potrebno je potvrditi uzrok, opozvati kompromitirane ključeve i provjeriti posljednji valjani zapis. Inače se isti incident može nastaviti odmah nakon oporavka.