Jedna mreža za različite akceleratore

Upscale AI predstavio je Token Fabric, platformu koja spaja mrežni hardver i upravljački softver kako bi u istom podatkovnom centru povezala AI akceleratore različitih proizvođača. Mlada tvrtka, koju podupire Nvidia, u lipnju je dosegnula procjenu vrijednosti od dvije milijarde dolara. Nije objavila cijene ni imena prvih kupaca, pa će se stvarni doseg proizvoda tek provjeravati u komercijalnim klasterima.

Veliki AI sustavi ovise o mreži gotovo jednako kao o samim procesorima. Tijekom treniranja tisuće akceleratora neprekidno razmjenjuju parametre i rezultate, a sporija veza ostavlja skupi hardver neiskorištenim. Dobavljači zato nude cjelovite pakete procesora, preklopnika, mrežnih kartica i softvera. Takav pristup ubrzava uvođenje, ali kupca veže uz jednu arhitekturu i otežava dodavanje konkurentskih čipova.

Token Fabric obećava zajednički sloj preko kojeg operator može uključiti više vrsta akceleratora. To je privlačno podatkovnim centrima koji kupuju hardver u više ciklusa ili žele koristiti specijalizirane čipove za pojedine modele. Jedan klaster može imati procesore za treniranje, jeftinije akceleratore za inferenciju i stariju opremu koja još nije amortizirana. Bez zajedničkog upravljanja svaki takav otok traži vlastite alate i stručnjake.

Tehnička prepreka nije samo fizički prijenos podataka. Različiti procesori koriste različite komunikacijske biblioteke, raspored memorije i načine sinkronizacije. Mreža mora prepoznati opterećenje, rasporediti promet i spriječiti da sporiji uređaj zakoči cijeli posao. Softver istodobno mora programeru prikazati dovoljno ujednačeno okruženje bez skrivanja razlika koje utječu na performanse.

Za operatore je najveći trošak neiskorišten akcelerator. Ako prijenos podataka mrežom kasni, računalni čip čeka podatke, a energija, hlađenje i kapital i dalje se plaćaju. Upscale zato mora dokazati da njegov sloj ne dodaje znatnu latenciju te da poboljšava ukupnu iskorištenost. Usporedba mora obuhvatiti cijeli posao, a ne samo vršnu propusnost jednoga porta.

Otvoreniji klaster može povećati pregovaračku snagu kupca. Ako mreža prihvaća više akceleratora, operator lakše bira hardver prema cijeni, dostupnosti i vrsti zadatka. No kompatibilnost nosi dodatnu odgovornost: kvar ili sigurnosna pogreška može nastati na granici između proizvoda, gdje dobavljači pokušavaju prebaciti odgovornost jedan na drugoga.

Važna će biti podrška za postojeće standarde i alate. Kupci ne žele prepisivati modele kako bi promijenili mrežu, niti upravljati posebnim sustavom koji vidi samo dio infrastrukture. Integracija s orkestracijom, nadzorom, rasporedom poslova i obračunom potrošnje odlučit će može li Token Fabric postati temelj klastera ili ostati nišni dodatak.

Nvidijina potpora mladoj tvrtki daje tehničku vjerodostojnost, ali otvara i pitanje neutralnosti. Platforma koja se predstavlja kao veza između konkurentskih akceleratora mora jednako tretirati promet i dijagnostiku svih dobavljača. Kupci će tražiti dokumentirane rezultate na AMD-ovim, prilagođenim i drugim čipovima, a ne samo na sustavima glavnog ulagača.