INTELIGENTNI RUBOVI MREŽE

Novi val visoko učinkovitih AI čipova omogućuje masovno izvođenje složenih modela izravno na edge uređajima

Kreće lansiranje potpuno nove generacije namjenskih AI čipova i neuronskih procesora (NPU) optimiziranih za rad na rubu mreže (Edge AI). Ove komponente donose drastično smanjenje potrošnje električne energije uz višestruko povećanje procesorske snage, omogućujući pametnim telefonima, industrijskim kamerama i IoT senzorima da samostalno vrše složenu inferenciju bez slanja podataka u oblak.

Novi val visoko učinkovitih AI čipova omogućuje masovno izvođenje složenih modela izravno na edge uređajima
Depositphotos / Ilustracija

Slanje svakog pojedinačnog upita i podatka s lokalnog senzora u udaljene cloud podatkovne centre radi obrade kroz AI modele postaje neodrživo zbog zagušenja mreže, pitanja privatnosti i latencije. Rješenje ovog problema leži u decentralizaciji inteligencije, odnosno u micanju računalne snage izravno na mjesto gdje podaci nastaju. Zadnjih 48 sati obilježeno je koordiniranim objavama nekoliko vodećih svjetskih proizvođača poluvodiča koji su predstavili ultra-guste arhitekture silicija dizajnirane specifično za Edge AI aplikacije.

Novi čipovi koriste inovativne tehnologije poput računanja u memoriji (In-Memory Computing) i napredne kvantizacije modela, što im omogućuje da izvršavaju milijarde operacija u sekundi (TOPS) trošeći pri tome svega nekoliko vata energije. To znači da uređaj poput pametne nadzorne kamere u gradu više ne mora samo snimati i prenositi video u centralu; ona sada može u realnom vremenu, lokalno i autonomno, prepoznavati lica, analizirati anomalije u prometu, detektirati zvukove pucnjave ili prometne nesreće te trenutačno alarmirati hitne službe, prenoseći samo tekstualnu obavijest umjesto teškog video signala.

Tržišni značaj ovog hardverskog proboja je golem za industrijsku automatizaciju i sektor autonomnih vozila. Automobili i tvornički roboti ne mogu si priuštiti čekanje odgovora iz oblaka ako se ispred njih pojavi neočekivana prepreka; odluka se mora donijeti u mikrosekundi na samom uređaju. Također, drastično se poboljšava privatnost korisnika: budući da se biometrijski podaci ili povjerljivi dokumenti obrađuju lokalno na pametnom telefonu.