Nvidia je 14. listopada objavila da će tijekom pet godina britanskim istraživačima dati računalne resurse procijenjene na 250 milijuna dolara za sigurnost i zaštitu agentske umjetne inteligencije. Reuters je vijest objavio u 8:19 po zagrebačkom vremenu. Donacija je raspoređena na 50 milijuna dolara godišnje i treba povezati projekte Oxforda, Imperial Collegea i University Collegea London.
Agentski sustav ne stvara samo odgovor nego planira i izvršava radnje kroz alate, mrežu i poslovne račune. Zbog toga evaluacija mora obuhvatiti pokušaje obmane, eskalaciju ovlasti, skriveno zadržavanje cilja, kibernetičke sposobnosti i ponašanje nakon pogrešne upute. Takvi testovi traže velik broj kontroliranih pokusa i dovoljno računanja da se različite verzije modela ispituju pod ponovljivim uvjetima.
Britanija je među prvim državama osnovala javni institut za procjenu najnaprednijih modela, iako nema domaću kompaniju koja razvija model na razini vodećih američkih laboratorija. Donacija zato povećava kapacitet neovisnog istraživanja, ali ne rješava pristup zatvorenim modelima, internim podacima ni incidentima. Najvrjedniji testovi ovise o suradnji razvijatelja koji moraju omogućiti dovoljno dubok uvid u sustav.
Nvidia navodi da će podržati BOLD na Oxfordu, istraživanja sigurnosti robotike na Imperial Collegeu te programe UCL-a. Računalni resurs nije isto što i gotovina. Potrebno je objaviti vrstu procesora, broj sati, mrežu, pohranu, podršku i tržišnu cijenu po kojoj je donacija vrednovana. Bez toga se nominalnih 250 milijuna dolara ne može usporediti s javnom nabavom ili ponudom drugog pružatelja.
Sukob interesa mora se upravljati otvoreno. Nvidia prodaje hardver i softver na kojima se treniraju i izvršavaju sustavi koje istraživači trebaju ocjenjivati. Tvrtka ima legitiman interes da agenti budu sigurniji, ali i komercijalni interes u pravilima koja povećavaju potražnju za njezinom infrastrukturom. Ugovori moraju zaštititi neovisnost izbora tema, metodologije i objave nepovoljnih rezultata.
Britanski ministar za AI Kanishka Narayan donaciju je povezao s ciljem da budući sustavi budu sigurni i služe javnom interesu. Politička korist ovisit će o tome pretvaraju li se eksperimenti u zajedničke protokole, pragove i obvezno izvještavanje o incidentima. Ako rezultat ostane u zatvorenim laboratorijima ili kao vlasnički alat jednog dobavljača, javna vrijednost bit će manja od objavljene vrijednosti računanja.
Pritisak raste nakon što su vodeći laboratoriji opisali neželjeno ili prikriveno ponašanje agenata u kontroliranim testovima. To ne znači da svaki sustav izvan nadzora odmah postaje autonoman napadač. Ipak, upozorenja opravdavaju testove prije produkcije, ograničene dozvole, nadzor radnji i neovisnu mogućnost gašenja. Sigurnosna procjena mora razlikovati namjernu zlouporabu korisnika od ponašanja koje nastaje iz samog modela.
Za europske regulatore britanski program može postati izvor metodologije nakon izlaska Ujedinjenog Kraljevstva iz EU-a. Usporedivi testovi olakšali bi provjeru sustava koji se prodaju na oba tržišta, dok različiti kriteriji povećavaju trošak i prostor za biranje blažeg režima. Znanstveni radovi, otvoreni skupovi zadataka i dokumentirane pogreške imali bi veći međunarodni učinak od pojedinačnog certifikata.
Sljedeći koraci trebaju biti javni pozivi za projekte, pravila dodjele računalnih sati, popis primatelja i godišnji izvještaji o rezultatima. Nvidia nije objavila koliko kapaciteta ide svakom programu niti obvezuje li donacija korisnike na vlastiti softverski ekosustav. Petogodišnji iznos stvara mogućnost za ozbiljan program, ali vjerodostojnost će ovisiti o tome mogu li istraživači slobodno testirati, objaviti i osporiti sustave na infrastrukturi donatora.
Donacija može pomoći i u izgradnji stručnjaka. Evaluacija agentskih sustava traži kombinaciju strojnog učenja, kibernetičke sigurnosti, psihologije, robotike i javne politike. Ako se sredstva potroše samo na čipove bez financiranja ljudi, skupova zadataka i sigurnih laboratorija, kapacitet će ostati neiskorišten. Britanski program zato treba povezati računalne sate s doktoratima, zajedničkim istraživačkim timovima i otvorenim alatima koje mogu primijeniti i manji laboratoriji.