Evolucija jezičnih modela: između univerzalnog znanja i domenske specijalizacije

Evolucija velikih jezičnih modela i razvoj umjetne inteligencije sve se više usmjerava na dva paralelna trenda – širenje njihove funkcionalnosti i specijalizaciju, objašnjava za ICTbusiness.info i ICTbusiness TV Emanuel Lacić iz Infobipa.

Prvi val istraživanja i razvoja fokusirao se na gradnju sve većih i snažnijih modela, koji su obogaćivani novim skupovima podataka i prilagođavani rješavanju što šireg spektra zadataka – od obrade teksta do matematike i logičkih problema. Cilj je bio doći do univerzalnog modela sposobanog za rješavanje različitih vrsta zadataka.

„Sve je jasnije da idući korak uključuje i specijalizaciju. Pitanje više nije samo kako stvoriti što veći model, nego i kako ga prilagoditi određenim domenama te učiniti učinkovitijim i pristupačnijim. Umjesto oslanjanja isključivo na ogromne sustave koji zahtijevaju golema računalna sredstva i stotine GPU-ova, istražuje se mogućnost razvoja manjih i optimiziranih modela. Takvi modeli mogu raditi na lokalnim serverima, zauzimaju manje resursa, a istodobno su dovoljno moćni da obave specifične zadatke“, pojašnjava Lacić.

Premanje njegovim riječima u tom kontekstu posebno se ističe trend izgradnje agenata, a dok veliki modeli predstavljaju temelj, agenti često ne trebaju punu snagu najkompleksnijih sustava. Manji, specijalizirani modeli omogućuju im da budu brži, jeftiniji i lakše prilagodljivi konkretnim potrebama, kazuje Lacić.

„Paralelno s time, akademska zajednica i istraživački timovi sve više se bave metodama smanjivanja parametara modela. Iako se pri tome može izgubiti dio općeg znanja, ključno je zadržati konzistentnost i sposobnost modela da kvalitetno odgovara na zadatke u ciljanoj domeni. Drugim riječima, cilj nije nužno stvoriti savršeno svestran sustav, već optimiziranog pomoćnika koji u određenom području postiže maksimalne rezultate“, kazuje Lacić.

Ova dva smjera – univerzalizacija i specijalizacija – zajedno oblikuju budućnost umjetne inteligencije. Dok će veliki jezični modeli i dalje napredovati, sve više prostora otvara se i za njihove manje, prilagođene izvedenice koje će imati ključnu ulogu u razvoju agenata i primjeni u industriji, zaključuje Lacić.