SLM modeli nude visoku energetsku učinkovitost i nisku latenciju na edge infrastrukturi
Depositphotos / Ilustracija
Mali jezični modeli optimizirani za specifične uređaje dobivaju na važnosti jer ne zahtijeva svaka AI primjena veliki model u udaljenom cloudu. Mnogi scenariji traže brzu reakciju, nižu potrošnju energije, lokalnu obradu i bolju kontrolu podataka. SLM modeli zato se sve češće promatraju kao praktično rješenje za edge infrastrukturu, industrijske uređaje, korisničke aplikacije i ugrađene sustave.
Prednost malih modela nije u tome da zamijene najveće modele u svim zadacima, nego da budu dovoljno dobri za precizno definirane funkcije. Lokalno prepoznavanje namjere, klasifikacija dokumenata, pomoć korisniku, obrada senzorskih podataka ili specifični industrijski zadaci često ne trebaju najskuplji i najširi model. Potrebna je pouzdanost, brzina i predvidljiv trošak.
Za poduzeća to otvara novu arhitekturnu odluku: što se izvršava u cloudu, a što na rubu mreže ili na samom uređaju. Lokalna obrada može smanjiti latenciju i zadržati osjetljive podatke izvan vanjskih platformi, ali traži upravljanje verzijama modela, sigurnosna ažuriranja i nadzor performansi. Edge AI nije jednostavniji samo zato što je manji.
Dobavljači hardvera dobit će važniju ulogu jer se performanse modela sve više povezuju s čipovima, memorijom i energetskom učinkovitošću uređaja. Optimizacija softvera i hardvera postaje presudna za tržišta poput osobnih računala, pametnih telefona, industrijskih kontrolera i automobilske elektronike.
Za regionalne korisnike mali modeli mogu biti realniji put prema AI primjeni od velikih, skupih i kompleksnih platformi. Najveću korist imat će projekti s jasno definiranim zadatkom, kvalitetnim lokalnim podacima i mjerljivim učinkom. Sljedeća faza AI-ja neće se svoditi samo na najveće modele, nego na pravi model za pravo mjesto izvršavanja.
Apple je objavio da je u šest godina blokirao više od 11 milijardi dolara prijevarnih App Store transakcija, uključujući više od 2,2 milijarde dolara u 2025. godini. Podatak dolazi u razdoblju pojačanih sudskih i regulatornih pritisaka na App Store model.
Nvidia je novom prognozom prihoda ponovno pomaknula letvicu očekivanja oko AI infrastrukture, nakon što je kvartalnu prodaju podigla iznad već optimističnih analitičkih procjena. Podaci pokazuju da glavninu rasta i dalje donosi segment podatkovnih centara i AI poslužitelja, dok tradicionalni gaming i klasični grafički čipovi imaju sve manju težinu u ukupnom portfelju.
Upravni odbor fonda Europskog vijeća za inovacije (EIC) odabrao je EQT kao preferiranog investicijskog savjetnika i upravitelja fonda Scaleup Europe. Odluka je donesena nakon stroga i vrlo konkurentna selekcijskog procesa za vođenje EU inicijative vrijedne 5 milijardi eura, osmišljene kako bi osnažila najinovativnije europske deep tech scaleup kompanije.