LegoGPT: AI pretvara tekstualne upute u Lego kreacije

Istraživači na Sveučilištu Carnegie Mellon predstavili su LegoGPT, novi AI sustav koji stvara stvarne Lego kreacije na temelju pisanih opisa.

To je prva AI te vrste koja ne samo da slijedi tekstualnu uputu poput “aerodinamično, izduženo plovilo”, već također osigurava da je rezultirajuća struktura fizički stabilna i da se može izgraditi, ciglu po ciglu.

“Da bismo to postigli, konstruirali smo veliki, fizički stabilan skup podataka LEGO dizajna, zajedno s njihovim pripadajućim opisima”, objasnila je ekipa u svom istraživačkom radu.

LegoGPT je treniran koristeći više od 47,000 stabilnih Lego modela uparenih s detaljnim opisima generiranim pomoću GPT-4o. Ti su modeli bili izgrađeni od 3D oblika, pretvoreni u Lego strukture, a zatim testirani na stvarnoj stabilnosti koristeći simulacije fizike.

Svaka je struktura opisana i iz 24 kuta kako bi AI mogao naučiti kako različiti dizajni trebaju izgledati u riječima.

Tim je koristio posebnu tehniku nazvanu “physics-aware rollback”, gdje se nestabilni dijelovi dizajna uklanjaju i ponovno grade dok cijela struktura ne bude čvrsta. Ovo je poboljšalo uspješnost izgradnje sa 24% na 98,8%.

AI model, temeljen na Metaovom LLaMA-3.2-Instruct, predviđa koji će se Lego kockica sljedeće postaviti – slično kao što ChatGPT predviđa sljedeću riječ. Svaka predložena kockica provjerava se za postavljanje, veličinu i potencijalne sudare prije nego što se doda modelu.

LegoGPT-ove kreacije mogu izgraditi i ljudi i roboti. “Naši eksperimenti pokazuju da LegoGPT proizvodi stabilne, raznolike i estetski ugodne Lego dizajne koji se čvrsto usklađuju s tekstualnim uputama za unos”, napisale su istraživačice.

Za sada, LegoGPT koristi samo osam osnovnih vrsta kockica i radi unutar prostora od 20×20×20, ali tim se nada da će to proširiti.

Cjelokupni dataset, kod i model su slobodno dostupni, tako da drugi mogu nastaviti graditi na ovom istraživanju. Alternativno, možete se samo zabavljati s njihovom demonstracijom.