VIDEO: Robot vidi objekte radio valovima

Kamere i sustavi računalnog vida odlični su da se robotima omogući da gledaju prostore, objekte i ljude oko sebe, no u lošim vremenskim i svjetlosnim uvjetima imaju velikih problema pa čak i LiDARi otkazuju u jakom dimu i magli.

Međutim, priroda nam je pokazala da vid ne mora biti ograničen svjetlosnim ograničenjima jer su mnogi organizmi razvili načine da percipiraju svoj okoliš bez oslanjanja na svjetlost. Šišmiši se kreću pomoću odjeka zvučnih valova, dok morski psi love osjećajući električna polja iz kretanja svog plijena.

Radio valovi, čije su valne duljine reda veličine dulje od svjetlosnih valova, mogu bolje prodrijeti kroz dim i maglu, pa čak mogu vidjeti kroz određene materijale, što su sve mogućnosti izvan ljudskog vida.

Istraživači s američkog Fakulteta za inženjerstvo i primijenjenu znanost na Sveučilištu u Pennsylvaniji (Penn Engineering), razvili su PanoRadar, novi alat koji robotima daje nadljudski vid pretvaranjem jednostavnih radio valova u detaljne, 3D prikaze okoliša, kao što možete vidjeti u ovom videu.

PanoRadar radi poput svjetionika, s rotirajućim senzorom koji emitira radio valove, čije odjeke AI obrađuje u preciznu, 3D sliku okoline.

Sustav se sastoji od rotirajućeg vertikalnog niza antena koje skeniraju svoju okolinu. Dok se okreću, ove antene odašilju radio valove i osluškuju njihove refleksije iz okoline, slično kao što zraka svjetionika otkriva prisutnost brodova i obalnih obilježja.

Zahvaljujući snazi ​​umjetne inteligencije, PanoRadar pametno kombinira mjerenja iz svih kutova rotacije kako bi poboljšao svoju rezoluciju slike. Iako sam senzor košta samo djelić cijene skupih LiDAR sustava, ova strategija rotacije stvara gust niz virtualnih mjernih točaka, što PanoRadaru omogućuje postizanje rezolucije slike usporedive s LiDAR-om.

"Ključna inovacija je u tome kako obrađujemo ova mjerenja radiovalova", objašnjava Mingmin Zhao, docent za računalstvo i informacijske znanosti. "Naši algoritmi za obradu signala i strojno učenje mogu izvući bogate 3D informacije iz okoline."

Jedan od najvećih izazova s ​​kojima se Zhaov tim suočio bio je razvoj algoritama za održavanje slike visoke rezolucije dok se robot kreće. "Da bismo postigli rezoluciju usporedivu s LiDAR-om s radijskim signalima, morali smo kombinirati mjerenja s mnogo različitih pozicija sa submilimetarskom preciznošću", objašnjava doktorand Haowen Lai, glavni autor rada. "Ovo postaje osobito izazovno kada se robot kreće, jer čak i male pogreške u kretanju mogu značajno utjecati na kvalitetu slike."

Još jedan izazov s kojim se tim uhvatio u koštac bio je naučiti svoj sustav da razumije ono što vidi. "Unutarnja okruženja imaju dosljedne uzorke i geometrije. Iskoristili smo te uzorke kako bismo našem sustavu umjetne inteligencije pomogli u tumačenju radarskih signala, slično kao što ljudi uče shvatiti ono što vide."

Tijekom procesa obuke, model strojnog učenja oslanjao se na LiDAR podatke kako bi provjerio svoje razumijevanje u odnosu na stvarnost i mogao se nastaviti poboljšavati.

Tim sada planira istražiti kako bi PanoRadar mogao raditi uz druge senzorske tehnologije kao što su kamere i LiDAR, stvarajući robusnije, multimodalne sustave percepcije za robote. Tim također proširuje svoje testove na razne robotske platforme i autonomna vozila.