DeepSeek napravio proboj u području memorije: Razdvojio je računalnu snagu i RAM

Istraživanje DeepSeeka pokazalo je proboj u području memorije, uz razdvajanje računalne snage i RAM memorijskih bazena kako bi se zaobišla ograničenja GPU-ova i HBM memorije - Engram, uvjetni memorijski modul, pohranjuje statičko znanje u sistemsku radnu memoriju.

Naime, DeepSeek je objavio novi tehnički znanstveni rad u kojem opisuje metodu prema kojoj bi se budući AI modeli mogli oslanjati na bazu podataka informacija koja je dostupna putem upita i pohranjena u sistemskoj radnoj memoriji. Tehnika nazvana Engram, koja se temelji na uvjetnoj memoriji, postiže mjerljivo bolje performanse pri radu s dugim kontekstima tako što sekvence podataka trajno pohranjuje u statičku memoriju. Time se smanjuje potreba za složenim procesima zaključivanja unutar modela, što omogućuje da se GPU-ovi koriste isključivo za zahtjevnije zadatke. Rezultat je povećanje ukupnih performansi uz istodobno smanjenje ovisnosti o memoriji visoke propusnosti (HBM).

U radu se detaljno opisuje kako se N-grami, statističke sekvence riječi, integriraju u neuronske mreže modela i stavljaju u memorijski banku dostupnu za upite. Engram omogućuje modelima da "pamte" činjenice, umjesto da ih ponovno zaključuju, što bi inače bilo računalno zahtjevnije. Objavljen na GitHub stranici tvrtke, Engram bi mogao smanjiti ovisnost o složenijim vrstama memorije i omogućiti pohranu biblioteke znanja u uobičajeni standard sistemske memorije, poput CXL-a.

Stalna ovisnost o memoriji visoke propusnosti za AI akceleratore predstavlja problem koji, primjerice, ne zaobilazi ni kineske čipove poput serije Huawei Ascend. Svaki sloj HBM memorije koristi više memorijskih čipova, a s obzirom na snažan rast potražnje, smanjenje ovisnosti AI modela o izravnoj HBM memoriji GPU-a bilo bi značajno, posebno u kontekstu trenutnog ograničenja opskrbe memorijom.

Engram omogućuje da se statička memorija drži odvojeno od računalne snage modela, što dopušta GPU-ovima da se brže fokusiraju na složene procese zaključivanja. To otvara mogućnost izvedbe učinkovitijih AI modela temeljenih na Engramu u usporedbi sa standardnim modelima poput Mixture of Experts (MoE).