Norėdami prisitaikyti prie atviros miesto aplinkos, protingiems kūnams reikia užfiksuoti aplinkinių žmonių kūno judesius ir scenos struktūrą realiuoju laiku. Tradicinės suvokimo priemonės, pagrįstos inerciniais jutikliais ir kameromis, kurios turi ilgalaikių duomenų dreifo ir jautrumo šviesos ir aplinkos dinaminiams pokyčiams, sunku patenkinti žmogaus kūno judėjimo ir scenos fiksavimo paklausą sudėtingoje aplinkoje, esančioje aplikacijoje Protingo vairavimo, paslaugų robotikos ir sporto treniruotės laukai.
Nuo 2022 m. Prof. Cheng Wang ir prof. Chenglu Wen komanda pirmoji pasiūlė „LiDar Human Motion Facted“ technologiją tarptautinėje arenoje (Lidarcap, CVPR 2022; HSC4D, CVPR 2022; SLOUNTER4D, CVPR 2023). Šiame leidinyje, „Hisc4d“, komanda nutraukia metodą, kaip užfiksuoti įvairius dviejų asmenų sąveikos judesius ir 3D scenas pirmojo asmens vaizde didelio masto vidaus ir lauko atvirose scenose. Metodas sukuria kelių pakopų jungtinės optimizavimo sistemą, sujungdama inercinius nurodymus ir lidar duomenis, kurie veiksmingai išsprendžia dreifo problemą, kurią sukelia inerciniai nurodymai, ir žymiai pagerina scenos rekonstrukcijos tikslumą ir išplečia erdvinio, žmogaus judėjimo ir sąveikos fiksavimo diapazoną. Tuo pačiu metu išleidžiamas pirmasis daugiarodalinis dviejų asmenų sąveikos duomenų rinkinys, apimantis skirtingus scenos tipus ir įvairaus žmogaus judesius, teikdami mokymo duomenų išteklius susijusiems tyrimų laukams. „Hisc4D“ technologija naudoja „LiDAR“ kaip pagrindinį jutiklį, kad rekonstruotų žmogaus judesius ir 3D scenas ties 3D scenomis Tą patį laiką, kuris atveria naują mąstymo būdą įkūnijtai žvalgybai, norint eiti į didžiulį lauke ir integruoti į minią.
