UMJETNA INTELIGENCIJA

GSMA predstavlja AI LLM mjerila za telekomunikacije

Testovi su otkrili da je model GPT-4 postigao ispod 75 posto na skupu podataka koji je dizajniran za procjenu znanja o LLM-ovima specifičnog za telekomunikacijsku industriju.

GSMA predstavlja AI LLM mjerila za telekomunikacije
Depositphotos

GSMA Foundry, ogranak industrijskog udruženja za inovacije, predstavio je inicijativu otvorenog koda za poboljšanje velikih jezičnih modela za telekomunikacijske aplikacije. Open-Telco LLM Benchmarks trebao bi pružiti novi okvir za procjenu AI modela o sposobnostima, energetskoj učinkovitosti i sigurnosti u stvarnim scenarijima telekomunikacija.

GSMA opisuje ponudu kao zajednicu otvorenog koda. Podržavaju ga Sveučilište Khalifa u Abu Dhabiju, programer računalnih aplikacija Hugging Face i neprofitno središte za kodiranje Linux Foundation. Operateri Deutsche Telekom, LG Uplus i SK Telecom, kao i dobavljač Huawei, također podržavaju lansiranje. Kako se usvajanje umjetne inteligencije u telekomunikacijama ubrzava, GSMA je objasnio da se postojeći LLM-i bore s rješavanjem problema, usklađenošću s propisima i rukovanjem tehničkim znanjem o telekomunikacijama.

Testovi su otkrili da je model GPT-4 postigao ispod 75 posto na skupu podataka koji je dizajniran za procjenu znanja o LLM-ovima specifičnog za telekomunikacijsku industriju. U drugom slučaju, GPT-4 je također postigao manje od 40 posto na skupu podataka procjenjujući razumijevanje modela 3GPP standarda. “Današnji modeli umjetne inteligencije bore se s upitima specifičnim za telekomunikacije, često dajući netočne, obmanjujuće ili nepraktične preporuke”, objasnio je Louis Powell, voditelj AI inicijativa pri GSMA.

Nova zajednica mjerila omogućit će mobilnim operaterima, istraživačima umjetne inteligencije i programerima da doprinesu slučajevima upotrebe, skupovima podataka i modelima umjetne inteligencije za procjenu. Standardizirani sustav benchmarkinga omogućit će testiranje AI modela u odnosu na praktične izazove telekomunikacija, uključujući stručnost u domeni, matematičko razmišljanje, energetsku učinkovitost i sigurnost. Referentne vrijednosti bit će smještene na platformi Hugging Face radi promicanja transparentnosti i angažmana. Powell je dodao da uspostavom mjerila inicijativa ima za cilj poboljšati izvedbu modela umjetne inteligencije, istovremeno osiguravajući da je umjetna inteligencija u telekomunikacijama sigurna, pouzdana i usklađena s operativnim potrebama u stvarnom svijetu.