Amerikanci udružuju slobodne AI kapacitete

Koalicija američkih pružatelja clouda, istraživača i ulagača pokreće National Compute Grid kako bi objedinjavala slobodne kapacitete za umjetnu inteligenciju. Sustav bi zajedničkim raspoređivačem povezivao laboratorije, neovisne cloudove i klastere s različitim čipovima te posao usmjeravao prema raspoloživom resursu. Organizatori navode oko 760 megavata priključenih ili potencijalno dostupnih kapaciteta i cilj od dva gigavata do 2030., no tek treba razlikovati fizički izgrađenu snagu od kapaciteta koji se može odmah ugovoriti.

Osnovna ideja podsjeća na elektroenergetsku mrežu, ali računalni resursi nisu potpuno zamjenjivi. Dva GPU-a slične deklarirane snage mogu imati različitu količinu memorije, mrežnu povezanost i podržane biblioteke. Treniranje velikog modela traži tisuće akceleratora koji međusobno razmjenjuju podatke vrlo malim kašnjenjem. Slobodni uređaji na više udaljenih lokacija ne mogu se automatski spojiti u jedan učinkovit klaster.

Zajednički raspoređivač zato mora poznavati više od broja procesora. Treba bilježiti model čipa, dostupnu memoriju, topologiju mreže, lokaciju, cijenu, trajanje rezervacije i trenutačnu iskorištenost. Za pojedinačnu inferenciju može odabrati jeftiniji udaljeni kapacitet, dok će veliko treniranje zahtijevati neprekinut blok na jednoj lokaciji. Vrijednost mreže bit će u pravilnom spajanju vrste posla s vrstom infrastrukture.

Početna primjena usmjerena je na državne ustanove, obrazovanje i nacionalne laboratorije, gdje velik broj timova nema vlastiti GPU klaster. Takvi korisnici često dobivaju projektno financiranje, ali teško nabavljaju hardver na vrijeme. Kredit za računalnu uslugu može ubrzati istraživanje, pod uvjetom da nabavna pravila dopuštaju više dobavljača i da se trošak može pratiti po projektu, korisniku i skupu podataka.

National Compute namjerava američkoj znanstvenoj inicijativi dati računalne kredite vrijedne 100 milijuna dolara. Kredit nije jednak gotovini ni fizičkom ulaganju: njegova stvarna vrijednost ovisi o cjeniku, raspoloživosti i ograničenjima uporabe. Ako kapacitet ostaje neiskorišten u slabije traženim terminima ili na starijim čipovima, nominalni iznos može biti znatno viši od tržišnog troška koji pružatelj stvarno snosi.

Prijenos podataka može poništiti korist jeftinijeg procesora. Veliki znanstveni skupovi mjere se u petabajtima, pa selidba između lokacija traje i stvara mrežni trošak. Osjetljivi zdravstveni ili državni podaci možda uopće ne smiju napustiti određeno okruženje. Raspoređivač će morati uključiti pravila suverenosti, šifriranja i zadržavanja, a ne samo izračunati najnižu cijenu sata GPU-a.

Sigurnost zajedničkog sustava predstavlja dodatni rizik. Jedan korisnik ne smije moći vidjeti modele, podatke ili memoriju prethodnog posla. Pružatelji moraju dokazati brisanje lokalne pohrane, izolaciju kontejnera i zaštitu upravljačkog sloja. Budući da zajednički raspoređivač ima podatke o kapacitetima i korisnicima cijele mreže, postaje posebno vrijedan cilj. Neuspjeh središnjeg sloja mogao bi zahvatiti više neovisnih operatora.

Za kupca su važna jamstva usluge. Trening koji traje tjednima gubi mnogo ako se klaster prekine usred posla, čak i uz spremanje kontrolnih točaka. Mreža mora objasniti tko odgovara za kvar, kako se obračunava djelomično izveden rad i može li se rezervacija zamijeniti bez promjene rezultata. Različiti čipovi mogu dati drukčije performanse ili zahtijevati izmjenu koda, pa prenosivost ne smije ostati marketinška tvrdnja.

Otvoreni standardi mogu smanjiti vezivanje uz jednog dobavljača, ali neće ukloniti komercijalne razlike. Veliki cloudovi imaju vlastite upravljačke sustave i poticaj da korisnik ostane unutar njihova ekosustava. Manji operatori mogu dobiti kanal prodaje i višu popunjenost, no moraju prihvatiti usporedbu cijena i zajednička pravila. Raspodjela naknade između mreže i vlasnika klastera bit će temelj poslovnog modela.