Poslednjih godina hand-tracking iliti praćenje ruke je posebno interesantna oblast izučavanja. Nekako se prirodno čoveku nameće da pokuša da zameni tastaturu, miševe, džoistike drugim ulaznim uređajem koji već imamo na našem telu – rukom. Na taj način bi interakcija između računara i čoveka bila intuitivnija i prirodnija.

Već sada postoji veći broj algoritama i projekata koji se bave ovom tematikom. Ovaj projekat koji vam predstavljam je interesantan po tome što je precizniji od takozvanih bare-hand ideja a ujedno vam je potrebna samo jedna rukavica u technicolor bojama i jedna kamera. Ovo je mnogo jeftinije rešenje od onih koje sam ranije viđala.

Kako kažu u njihovom radu, ideja je sklop više postojećih sistema:
1. marker-based motion-capture (registrovanje pokreta na osnovu markera)
2. bare-hand tracking (praćenje pokreta gole ruke na prikaznom uređaju u realnom vremenu)
3. data-driven pose estimation (patern za jednostavniju pretragu baze i prikaz podataka izračunavanjem udaljenosti tačaka)
4. hand-tracking with instrumented gloves (praćenje ruke sa instrumentom – rukavicom sa senzorima)
5. color markers (praćenje pokreta na osnovu instaliranih markera u boji)

Ovaj projekat je kompromis između nosivog sistema za praćenje pokreta i bare-hand pristupa. Ideja je da se stvori jeftin sistem koji je veoma nosiv i koji ne zahteva priključivanje dodatnih senzora koji mogu ograničiti kretanje subjekta. Tako bi se ovaj sistem veoma lako instalirao bilo gde uz pomoć samo jedne kamere.

Video klip ispod je predstavljanje projekta Real-Time Hand-Tracking with a Color Glove na SIGGRAPH-u.

[There is a video that cannot be displayed in this feed. Visit the blog entry to see the video.]

Snimanjem gole ruke može se generisati ista slika za više različitih poza pa je u tome i prednost korišćenja rukavice prilikom praćenja pokreta u odnosu na praćenje pokreta gole ruke (bare-hand tracking). Na slici ispod možete videti slučaj kada može doći do problema i kako pomažu boje na rukavici.

Srž ovog projekta je naravno u algoritmu za prepoznavanje poze ruke. Slika sa kamere se prvo transformiše u normalizovanu sliku, zatim se svaka slika poredi sa postojećim u bazi podataka na osnovu izračunavanja rastojanja između boja na slici. Detaljnije podatke o algoritmu i matematici koja stoji iza ovog projekta možete videti u PDF dokumentu na ovom linku.

Algoritam je prilagođen kamerama namenjenim prosečnim korisnicima. Pa su stoga odabrali da koriste rukavicu sa većim površinama u 10 različitih boja zbog ograničenja kamere. Odabrali su potpuno saturisane boje. I uzeti su u obzir prirodni pokreti ruke. Sakupili su 18.000 poza prstiju uz pomoć sistema Cyberglove II motion capture.

Uvek postoji mogućnost napraviti ovakav algoritam i sa više boja na rukavici sa manjim površinama, ali onda to zahteva bolju kameru, veću bazu slika i svakako bi ovi faktori uticali i na brzinu izvršavanja algoritma.

Sistem su testirali u tri različite svrhe: animatorske mogućnosti, jezik gluvonemih i manipulacija objektima u prostoru.

Ono što je najzanimljivije je što ovaj sistem može da se proširi i doraditi da bi se koristio u različite svrhe. Može se dodati više kamera za praćenje pokreta, tako bi sistem bio precizniji. Može se kombinovati sa multi-touch ulaznim uređajima koji su nam sve dostupniji i interesantniji.

Ovakvim sistemima se može poboljšati korisnični interfejs i dovesti na viši nivo, može se doprineti kompjuterskoj animaciji i 3d modelingu. U budućnosti svakako trebamo očekivati mnogo intuitivnije kompjuterske igrice kao i drugačiji pristup desktop računarima.