Praćenje pokreta ruke sa rukavicom u boji u realnom vremenu

rukavice u bojiNe znam za vas ali meni se dopadaju ove technicolor rukavice. 🙂 Radi se o projektu Real-Time Hand-Tracking with a Color Glove na kojem su zajedno radili Robert Wang i Jovan Popović.

Poslednjih godina hand-tracking iliti praćenje ruke je posebno interesantna oblast izučavanja. Nekako se prirodno čoveku nameće da pokuša da zameni tastaturu, miševe, džoistike drugim ulaznim uređajem koji već imamo na našem telu – rukom. Na taj način bi interakcija između računara i čoveka bila intuitivnija i prirodnija.

Već sada postoji veći broj algoritama i projekata koji se bave ovom tematikom. Ovaj projekat koji vam predstavljam je interesantan po tome što je precizniji od takozvanih bare-hand ideja a ujedno vam je potrebna samo jedna rukavica u technicolor bojama 😉 i jedna kamera. Ovo je mnogo jeftinije rešenje od onih koje sam ranije viđala.

Kako kažu u njihovom radu, ideja je sklop više postojećih sistema:
1. marker-based motion-capture (registrovanje pokreta na osnovu markera)
2. bare-hand tracking (praćenje pokreta gole ruke na prikaznom uređaju u realnom vremenu)
3. data-driven pose estimation (patern za jednostavniju pretragu baze i prikaz podataka izračunavanjem udaljenosti tačaka)
4. hand-tracking with instrumented gloves (praćenje ruke sa instrumentom – rukavicom sa senzorima)
5. color markers (praćenje pokreta na osnovu instaliranih markera u boji)

Ovaj projekat je kompromis između nosivog sistema za praćenje pokreta i bare-hand pristupa. Ideja je da se stvori jeftin sistem koji je veoma nosiv i koji ne zahteva priključivanje dodatnih senzora koji mogu ograničiti kretanje subjekta. Tako bi se ovaj sistem veoma lako instalirao bilo gde uz pomoć samo jedne kamere.

Video klip ispod je predstavljanje projekta Real-Time Hand-Tracking with a Color Glove na SIGGRAPH-u.


Snimanjem gole ruke može se generisati ista slika za više različitih poza pa je u tome i prednost korišćenja rukavice prilikom praćenja pokreta u odnosu na praćenje pokreta gole ruke (bare-hand tracking). Na slici ispod možete videti slučaj kada može doći do problema i kako pomažu boje na rukavici.

poze-ruku

Srž ovog projekta je naravno u algoritmu za prepoznavanje poze ruke. Slika sa kamere se prvo transformiše u normalizovanu sliku, zatim se svaka slika poredi sa postojećim u bazi podataka na osnovu izračunavanja rastojanja između boja na slici. Detaljnije podatke o algoritmu i matematici koja stoji iza ovog projekta možete videti u PDF dokumentu na ovom linku.

normalizovana-slika

Algoritam je prilagođen kamerama namenjenim prosečnim korisnicima. Pa su stoga odabrali da koriste rukavicu sa većim površinama u 10 različitih boja zbog ograničenja kamere. Odabrali su potpuno saturisane boje. I uzeti su u obzir prirodni pokreti ruke. Sakupili su 18.000 poza prstiju uz pomoć sistema Cyberglove II motion capture.

Uvek postoji mogućnost napraviti ovakav algoritam i sa više boja na rukavici sa manjim površinama, ali onda to zahteva bolju kameru, veću bazu slika i svakako bi ovi faktori uticali i na brzinu izvršavanja algoritma.

Sistem su testirali u tri različite svrhe: animatorske mogućnosti, jezik gluvonemih i manipulacija objektima u prostoru.

animacija_i_jezik

Ono što je najzanimljivije je što ovaj sistem može da se proširi i doraditi da bi se koristio u različite svrhe. Može se dodati više kamera za praćenje pokreta, tako bi sistem bio precizniji. Može se kombinovati sa multi-touch ulaznim uređajima koji su nam sve dostupniji i interesantniji.

Ovakvim sistemima se može poboljšati korisnični interfejs i dovesti na viši nivo, može se doprineti kompjuterskoj animaciji i 3d modelingu. U budućnosti svakako trebamo očekivati mnogo intuitivnije kompjuterske igrice kao i drugačiji pristup desktop računarima.

2 comments

  1. Nisam znao za ovaj projekat. Ovo je sjajno. Sama tehnologija za ovako nesto kosta besmisleno malo novca… jos samo da dizajniraju neke lepse rukavice umesto ovih cirkuskih :-), jer bi generalno radila bilo kombinacija boja koja jasno razlikuje zglobove, gornji i donji deo sake.

    Postoje zaista genijalni sistemi, ali korporacije izbegavaju da ih integrisu u svoje proizvode jer su open source i ne mogu da nametnu monopole, mada bi ovakve tehnologije mogle da malim i srednjim preduzecima omoguce brz razvoj atraktivnih resenja.

    Prosle godine sam naleteo na interesantan Open Source projekat. Rec je o Face Recognition programu koji u kombinaciji sa web kamerom kontrolise pokrete kamere u 3D prostoru ocitavanjem pozicije lica, pa je moguce prilikom modelovanja, pokretima glave se kretati kroz prostor.

Leave a Reply

Your email address will not be published. Required fields are marked *