Umjetna inteligencija kreira LEGO strukture bez ljudske pomoći

Istraživački tim s američkog Sveučilišta Carnegie Mellon razvio je AI model pod nazivom LegoGPT koji generira valjane LEGO dizajne na temelju tekstualnih unosa. Prema znanstvenom radu objavljenom na GitHubu, tim je trenirao autoregresivni veliki jezični model za predviđanje sljedeće LEGO kockice putem predikcije sljedećeg tokena, no glavni zaključak je da AI model stvara LEGO dizajne potpuno od nule.

AI je treniran na skupu podataka s više od 47.000 LEGO struktura koje čine preko 28.000 jedinstvenih 3D objekata, uključujući police za knjige, stolove, stolice, automobile, brodove, gitare i još mnogo toga. Ovi podaci su korišteni za treniranje modela, što mu omogućuje stvaranje jedinstvenih i originalnih dizajna isključivo na temelju tekstualnih upita.

Alat je dostupan besplatno na GitHubu, a može se kombinirati s modelom računalnog vida ili AI-jem za obradu slika. Na primjer, možete uslikati LEGO kockice i dopustiti AI-ju da predloži mnoštvo jedinstvenih opcija za izgradnju koristeći ono što već imate.

Tim je implementirao provjeru valjanosti i mehanizam povratka unatrag koji je svjestan fizikalnih zakona tijekom autoregresivne generacije, čime se osigurava da će konačni rezultat uvijek biti valjan (nema preklapanja kockica) i stabilan (nema lebdećih kockica). Štoviše, završne dizajne koje generira LegoGPT mogu izraditi i ljudi i roboti.

Evo kako je tim stvorio skup podataka - StableText2Lego - koji je korišten za treniranje LegoGPT-a: tekstualni upit se najprije pretvara u mrežu (mesh) iz baze ShapeNetCore. Zatim se ona umeće u 3D mrežu dimenzija 20 x 20 x 20 vokselâ iz koje se određuje početni raspored LEGO kockica.

Taj se raspored zatim varira, pritom zadržavajući opći oblik, a nestabilni dizajni se filtriraju iz konačnih rezultata. Preostali dizajni renderiraju se iz 24 različita kuta, a zatim se koristi GPT-4o kako bi generirao opise za konačni rezultat.

LegoGPT stvara novi dizajn iz teksta tako da se tekst pretvara u LEGO dizajn, koji se zatim pretvara u tekstualne tokene poredane od dna prema vrhu. Nakon toga se izrađuju upute koje povezuju strukturirane LEGO kockice s objašnjenjima dizajna, kako bi AI mogao razumjeti odnos između tekstualnog upita i fizičkih kockica.

Na toj osnovi LegoGPT predviđa sljedeću kockicu potrebnu za izradu dizajna koristeći autoregresivni model. To znači da će se pri svakom koraku provjeravati valjanost kockice - je li ispravno oblikovana, postoji li u biblioteci i preklapa li se s postojećim kockicama. Proces se nastavlja sve dok dizajn nije dovršen, nakon čega se testira njegova stabilnost.

Ako AI utvrdi da je rezultat nestabilan, vratit će se na posljednje stabilno stanje i nastaviti generirati od te točke. Kada se dobije stabilan konačni dizajn, proces je dovršen.