POZNATO KAKO SISTEM FUNKCIONIŠE
Jedan razvojni projekat pokazuje koliko je danas moguće napraviti naprednu interakciju sa digitalnim sadržajem uz relativno jednostavan hardver. Umesto specijalizovanih senzora, rukavica ili uređaja za mešovitu stvarnost, sistem koristi standardnu veb-kameru, laptop i program TouchDesigner. Ključnu ulogu u prepoznavanju pokreta ruku ima tehnologija računarskog vida MediaPipe. Ona može da detektuje 21 karakterističnu tačku na svakoj šaci i prati njihove položaje u prostoru.
Rezultat je interaktivna demonstracija u kojoj se virtuelni komad tkanine ponaša kao da je deo stvarnog prostora. Kada korisnik pomera ruke, digitalna površina može da se pomera, savija i rasteže. Tako stvara utisak fizičkog predmeta kojim se upravlja bez dodirivanja ekrana. TouchDesigner se u ovakvim projektima koristi za povezivanje podataka dobijenih praćenjem pokreta sa vizuelnim elementima i efektima u realnom vremenu.
RAČUNARSKI VID POSTAJE SVE DOSTUPNIJI
Ovakav primer nije izolovan slučaj. MediaPipe je razvijen upravo sa idejom da praćenje ruku pomoću jedne kamere može da funkcioniše u realnom vremenu. Bez potrebe za specijalizovanim sistemima za snimanje pokreta. Gugloo istraživanje opisuje model koji iz slike sa jedne RGB kamere procenjuje 3D skelet šake. S druge strane, dokumentacija navodi da se za svaku detektovanu šaku dobija 21 tačka sa koordinatama x, y i z.
To znači da veb-kamera više nije samo uređaj za video-pozive. U odgovarajućem softverskom okruženju ona može da postane ulazni senzor za različite vrste interakcije. Pokreti prstiju i šake mogu da budu pretvoreni u podatke koje program koristi za upravljanje vizuelnim efektima. Kao i virtuelnim objektima, muzikom, animacijama ili drugim digitalnim sadržajem. Projekti napravljeni u TouchDesigneru već koriste MediaPipe podatke upravo na taj način. To uključuje interaktivne vizuelne instalacije i sisteme koji reaguju na pokrete korisnika.
VEB-KAMERA NASPRAM VISION PRO
Poređenje sa Apple Vision Pro nameće se samo po sebi, ali dva pristupa ne treba izjednačavati. Appleov uređaj je kompletna platforma za prostorno računarstvo, dok je ovde reč o eksperimentalnoj softverskoj demonstraciji koja koristi kameru i računar. Vision Pro ima sopstveni sistem senzora i kamera za praćenje pogleda i ruku. Međutim, projekti zasnovani na MediaPipe mogu da krenu od jedne obične kamere.
Ipak, upravo je u tome značaj ovakvih eksperimenata. Oni pokazuju da deo iskustva koje povezujemo sa proširenom, virtuelnom i mešovitom stvarnošću više ne mora nužno da bude vezan za skupu specijalizovanu opremu. Naravno, veb-kamera ne može da ponudi kompletan prostorni doživljaj, preciznost i mogućnosti uređaja poput Vision Pro, a kvalitet praćenja zavisi i od uslova snimanja. Ali činjenica da se pokret šake može pretvoriti u interaktivni digitalni objekat uz relativno dostupnu tehnologiju pokazuje u kom pravcu ide razvoj računarskog vida. Granica između fizičkog i digitalnog prostora postaje sve tanja.