Intel otvara put heterogenom AI-ju

Intel je na skupu Open Compute Project predstavio pristup AI infrastrukturi koja u istom podatkovnom centru povezuje procesore, grafičke čipove i specijalizirane akceleratore različitih proizvođača. Kompanija naglasak stavlja na otvorena sučelja, modularne poslužitelje i upravljanje troškom inferencije, posebno kod agentskih aplikacija koje izvode niz povezanih zadataka. Cilj je kupcu omogućiti da za svaki posao odabere prikladan čip bez potpune zamjene ostatka sustava.

Heterogeni klaster odgovara stvarnoj strukturi opterećenja. Procesor može pripremati podatke i voditi poslovnu logiku, grafički akcelerator obrađivati veliki model, a specijalizirani čip preuzeti pretraživanje ili mrežnu funkciju. Problem nastaje kada svaki uređaj traži zasebne alate, knjižnice i način upravljanja. Tada moguća ušteda na hardveru nestaje u trošku integracije i održavanja.

Otvorena infrastruktura pokušava standardizirati fizičke dimenzije, napajanje, hlađenje, povezivanje i dio upravljačkih sučelja. Kupac lakše zamjenjuje modul ili dodaje novu generaciju akceleratora ako kućište i mreža ne ovise o jednom dobavljaču. Standard ipak nije jamstvo potpune zamjenjivosti: dva uređaja mogu stati u isti poslužitelj, a da aplikacija na njima ne postiže jednaku točnost, brzinu ili stabilnost.

Inferencija postaje veći trošak kako se AI seli iz pokusnoga projekta u svakodnevni rad. Treniranje velikog modela skupo je, ali izvodi se povremeno; svaki korisnički upit, sažetak ili odluka agenta ponavlja računalni račun. Agentska aplikacija može za jedan zadatak pozvati model više puta i pristupiti bazi, alatu ili drugom agentu. Zbog toga mali dobitak u cijeni jednoga koraka postaje velik na milijunima izvršavanja.

Intel pokušava iskoristiti široku prisutnost svojih procesora u poslužiteljima. Dio lakših modela može se izvoditi na CPU-u bez zasebnog akceleratora, a zahtjevniji posao preusmjeriti na GPU ili drugi uređaj. Takvo raspoređivanje ima smisla samo ako orkestrator poznaje cijenu, kašnjenje, memoriju i energetsku potrošnju svake mogućnosti te ne troši više vremena na premještanje podataka nego na sam izračun.

Mreža je kritična jer se veliki model dijeli između više čipova. Otvoreni priključak ne uklanja razliku u kašnjenju i propusnosti među tehnologijama. Ako akcelerator čeka podatke iz udaljene memorije ili drugoga poslužitelja, njegova nominalna računalna snaga ostaje neiskorištena. Kupci zato trebaju rezultate cijelog sustava, a ne samo broj operacija pojedinačnog čipa.

Hlađenje i napajanje također ograničavaju izbor. Nova generacija akceleratora može stati u postojeći format, ali tražiti više kilovata po polici i tekućinsko hlađenje. Modularnost je stvarna tek kada se električni vodovi, razvod tekućine i nadzor mogu prilagoditi bez rekonstrukcije dvorane. Open Compute Project pomaže zajedničkim specifikacijama, no operator i dalje mora provjeriti svaku kombinaciju.

Poslovni argument je smanjenje ovisnosti o jednom dobavljaču. Ako softver i upravljanje rade preko više akceleratora, kupac može pregovarati o cijeni, izbjeći listu čekanja i koristiti stariji hardver za lakše zadatke. Suprotna je strana složenija podrška: kada sustav uspori, treba utvrditi je li problem u modelu, prevoditelju, upravljačkom programu, mreži ili samom čipu.

Intelove tvrdnje treba mjeriti na aplikacijama koje kupci stvarno koriste. Relevantni pokazatelji su cijena po obrađenom tokenu ili zadatku, potrošnja energije, iskorištenost memorije, vrijeme odziva i broj podržanih modela. Demonstracija jednoga optimiziranog opterećenja nije dovoljna za zaključak da će isti sustav biti učinkovit u tražilici, poslovnom agentu i obradi slike.