VIDEO: Novi AI za kretanje ljudskih likova u 3D prostoru

Sustavi umjetne inteligencije (AI) postali su sve bolji u sintetiziranju slika i videozapisa koji prikazuju ljude, životinje i predmete. Automatizirano generiranje videa u kojima ljudski likovi sudjeluju u određenim aktivnostima ima različite primjene u stvaranju animiranih filmova, sadržaja za virtualnu stvarnost i videoigara.

Istraživači sa Sveučilišta u Pekingu sveučilišta, BigAI instituta i Pekinškog sveučilišta za telekomunikacije razvili su novi računalni framework za generiranje realističnih pokreta za ljudske likove koji se kreću 3D okruženjima.

Ovaj framework, predstavljen u radu predstavljenom na konferenciji SIGGRAPH Asia 2024, oslanja se na autoregresijski model difuzije za sintetiziranje uzastopnih segmenata kretanja i planer koji predviđa prijelaze na sljedeći skup pokreta, kao što možete vidjeti u ovom videu.

Istraživači su odlučili poboljšati koherentnost i realističnost pokreta generiranih modelom, dok su također minimizirali potrebu za složenim korisničkim unosima. Kako bi to postigli, također su sastavili skup podataka LINGO, novu opsežnu zbirku podataka o snimanju pokreta označenih jezikom koji bi se mogli koristiti za obuku modela strojnog učenja.

Važna komponenta je model auto-regresije difuzije koji generira sekvencijalne segmente ljudskog kretanja. Ovaj proces odražava proces kroz koji ljudi prilagođavaju svoje pokrete u stvarnom vremenu, omogućujući glatki prijelaz s jednog pokreta na drugi.

U početnim testovima koje su proveli istraživači, njihov framework pokazao se nevjerojatno dobro, generirajući visokokvalitetne i koherentne pokrete likova uz ograničene unose korisnika. Utvrđeno je da su generirani pokreti usklađeni s tekstualnim uputama koje su dali korisnici i s kontekstom okoline u kojem su virtualni likovi navigirali.

U usporedbi s pokretima likova stvorenim prethodno predstavljenim modelima, pokazalo se da su pokreti koje je generirao tim glatkiji i prirodniji. To je velikim dijelom zbog njegovih temeljnih komponenti sinteze pokreta.

U svojim sljedećim studijama, istraživači će pokušati poboljšati granularnost pokreta koje generira model. Trenutačno se njihov model koncentrira na pokrete tijela likova, no s vremenom bi htjeli da uhvati i finije detalje, poput gestikulacija rukama i izraza lica.

Dodatni aspekt modela za koji se tim nada da će ga poboljšati je njegova sposobnost generalizacije kroz širi raspon interakcija likova i scene. Osim toga, željeli bi da model sintetizira pokrete u stvarnom vremenu.