Marko Velić u CroAI-ju otkrio što dolazi nakon ChatGPT-ja

Veliki jezični modeli poput ChatGPT-ja i Geminija trenutačno su u središtu razvoja umjetne inteligencije, no istraživači sve više pozornosti posvećuju alternativnim tehnologijama koje bi mogle prevladati neka od njihovih ograničenja. O takvim pristupima govorilo se na 31. izdanju ML Pub Cluba Hrvatske udruge za umjetnu inteligenciju (CroAI), održanom 7. listopada u Zagrebu. Gost predavanja bio je Marko Velić, softverski inženjer u Googleu, koji je pred približno 70 sudionika iz hrvatske tehnološke i AI zajednice predstavio mogućnosti razvoja umjetne inteligencije inspirirane funkcioniranjem ljudskog mozga.

Predavanje pod nazivom "Beyond LLMs: Spiking Networks, Neuromorphic Computing and Lessons from Computational Neuroscience" održano je uz podršku Googlea, a bilo je posvećeno tehnologijama koje bi u budućnosti mogle omogućiti učinkovitije i prilagodljivije sustave umjetne inteligencije.

Velić ima više od 20 godina iskustva u razvoju softvera, podatkovnoj znanosti i umjetnoj inteligenciji. Tijekom karijere radio je u Meti, odnosno Facebooku, Photomathu i Googleu, a profesionalno iskustvo stjecao je i u Styriji, akademskom sektoru te kao konzultant za LEGO. Prije prelaska u Google u Photomathu je vodio razvoj AI rješenja i inženjerskih timova. Doktorirao je u području umjetne inteligencije, a među njegovim istraživačkim interesima nalaze se strojno učenje, računalna neuroznanost, primijenjena matematika i razvoj tehnologija za praktičnu primjenu.

Jedno od središnjih pitanja predavanja bilo je predstavljaju li današnji veliki jezični modeli vrhunac razvoja umjetne inteligencije ili samo jednu fazu u stvaranju naprednijih sustava.

Iako su veliki jezični modeli posljednjih godina znatno promijenili tehnološku industriju, njihovo treniranje i korištenje zahtijevaju velike količine podataka, računalne snage i električne energije. Dodatno ograničenje predstavlja činjenica da većina takvih modela nakon završetka treniranja ne može samostalno i kontinuirano učiti iz novih iskustava na način na koji to čine biološki organizmi.

Velić je predstavio NeuroAI, interdisciplinarno područje koje povezuje umjetnu inteligenciju, neuroznanost i računarstvo. Cilj takvih istraživanja jest razviti sustave koji bi određene sposobnosti bioloških organizama, poput prilagodbe promjenama i kontinuiranog učenja, mogli primijeniti u računalnim tehnologijama.

Posebna pozornost posvećena je impulsnim neuronskim mrežama, poznatima kao Spiking Neural Networks. Za razliku od konvencionalnih neuronskih mreža, one obrađuju informacije putem kratkih električnih impulsa, oponašajući način na koji neuroni međusobno komuniciraju u ljudskom mozgu. Takav pristup omogućuje obradu informacija kada nastupi relevantna promjena, što bi moglo smanjiti potrošnju energije i potrebu za računalnim resursima.

Predstavljeno je i neuromorfno računarstvo, koje se temelji na razvoju računalnih arhitektura inspiriranih biološkim živčanim sustavom. Takve tehnologije mogle bi pronaći primjenu u robotici, autonomnim sustavima i uređajima koji moraju donositi odluke u stvarnom vremenu, bez stalne povezanosti s velikim podatkovnim centrima.

Kao primjer mogućnosti takvog pristupa prikazan je mali robot sposoban učiti i prilagođavati svoje ponašanje tijekom rada. Umjesto klasičnog treniranja dubokih neuronskih mreža, robot koristi lokalne mehanizme učenja koji mu omogućuju prilagodbu novim okolnostima. Takvi eksperimenti upućuju na mogućnost razvoja sustava koji bi kontinuirano učili uz znatno manju potrošnju energije.

Ipak, Velić je upozorio i na ograničenja tih tehnologija. Impulsne neuronske mreže još je teško razvijati i primjenjivati u velikom mjerilu, specijalizirani hardver nije široko dostupan, a istraživački i softverski ekosustav ostaje fragmentiran. Zbog toga su potrebna dodatna istraživanja i razvoj tehnoloških rješenja prije njihove šire komercijalne primjene.

Jedan od mogućih smjerova razvoja umjetne inteligencije pritom nije zamjena postojećih velikih jezičnih modela, nego njihovo povezivanje s novim pristupima. Hibridni sustavi mogli bi kombinirati mogućnosti današnjih AI arhitektura s tehnologijama inspiriranima biološkim učenjem i obradom informacija.

"Predavanje Marka Velića još jednom je pokazalo dio budućnosti i područje gdje se tehnologija ubrzano razvija i koje inspiraciju nalazi u biološkom evolucijskom razvoju koji je i danas bez sumnje uspješniji i efikasniji u obradi signala, brzom odlučivanju, pamćenju i brzoj prilagodbi promjenama u okolini. Kako postići da se obrada signala i učenje događaju istovremeno u stvarnom vremenu bilo je jedno od najzanimljivijih pitanja, jer to je koncept koji ni moćni LLM-ovi ne uspijevaju", komentirao je Davor Aničić, direktor i suosnivač Velebit AI-ja te član Upravnog odbora CroAI-ja.

Predavanje je održano u sklopu ML Pub Cluba, inicijative koja već nekoliko godina okuplja stručnjake, istraživače, programere, poduzetnike i druge zainteresirane za strojno učenje i umjetnu inteligenciju. Kroz redovita predavanja i rasprave sudionici razmjenjuju iskustva o istraživanjima, razvoju AI modela i njihovoj praktičnoj primjeni.

Organizacijski tim ML Pub Cluba čine dr. sc. Valentina Zadrija, direktorica AI-ja u Gideonu i članica Upravnog odbora CroAI-ja, Davor Aničić, direktor i suosnivač Velebit AI-ja te član Upravnog odbora CroAI-ja, Ivan Borko, magistar računarstva i suosnivač Velebit AI-ja, te Wana Kiiru, menadžerica za zajednicu i događanja u CroAI-ju.

"Brojne zajednice u inozemstvu, poput Mistrala i Hugging Facea, organiziraju susrete na kojima se raspravlja o naprednim deep-tech temama. Upravo se tom idejom vodi i ML Pub, inicijativa koja već nekoliko godina okuplja AI profesionalce i znatiželjnike u Hrvatskoj. Nastojimo podijeliti radove naših ponajboljih istraživača, ali i praktična iskustva iz industrije", naglasila je Valentina Zadrija.

ML Pub Club jedan je od stručnih klubova koji djeluju unutar CroAI-ja. Udruga organizira i Code Club, Startup Club te Legal Club, koji se bave različitim područjima razvoja umjetne inteligencije, uključujući softverska rješenja, poduzetništvo, investicije te pravna i regulatorna pitanja.

Prema navodima udruge, cilj tih aktivnosti jest omogućiti razmjenu znanja, povezivanje stručnjaka i razvoj suradnje među sudionicima hrvatskog AI sektora. Sudjelovanje na događanjima jedna je od pogodnosti članstva u CroAI-ju, uz pristup stručnoj zajednici, informacijama o industrijskim trendovima, mogućnostima umrežavanja i drugim aktivnostima udruge. Događanja su otvorena i zainteresiranoj javnosti.

"Naši klubovi jedan su od temelja CroAI zajednice i važan dio načina na koji povezujemo naše članove. Želimo stvoriti prostor u kojem se ljudi neće upoznavati samo online ili kroz poslovne suradnje, već će imati priliku susresti se uživo, razmijeniti iskustva, ideje i znanja te izgraditi odnose koji nadilaze pojedinačne projekte. Upravo zato nam je važno kontinuirano organizirati ovakva okupljanja jer vjerujemo da se snažna i povezana zajednica gradi kroz osobne kontakte, otvorene razgovore i prilike za suradnju koje iz njih nastaju", izjavila je Wana Kiiru, menadžerica za zajednicu i događanja u CroAI-ju.

U CroAI-ju najavljuju nastavak organizacije stručnih okupljanja na kojima će sudjelovati domaći i međunarodni stručnjaci. Namjera je, kako navode, potaknuti hrvatsku tehnološku zajednicu da se, osim korištenjem postojećih AI rješenja, aktivnije bavi njihovim istraživanjem i razvojem.

Predavanje Marka Velića pritom je otvorilo pitanje budućnosti umjetne inteligencije izvan generativnih modela koji trenutačno dominiraju industrijom. Iako su neuromorfno računarstvo i impulsne neuronske mreže još u razmjerno ranoj fazi razvoja, istraživanja u tim područjima mogla bi pridonijeti stvaranju sustava koji učinkovitije koriste energiju, brže reagiraju na promjene i imaju veću sposobnost samostalne prilagodbe.