Lista przedmiotów z materiałami udostępnionymi dla studentów

Dla_studentów
  • Increase font size
  • Default font size
  • Decrease font size

Aleksandra Matusiak

Wizyjny system śledzenia osoby do komunikacji człowiek-komputer


Vision-based body posture tracking for Human-Computer Interaction


Opiekun pracy dyplomowej: dr inż. Aleksandra Królak
Praca dyplomowa inżynierska obroniona 2016-02-11
Streszczenie pracy dyplomowej:
Głównym celem pracy było opracowanie programu komputerowego do interakcji człowiek-komputer (ang. Human-Computer Interaction HCI) opartego na systemie wizyjnym śledzącym ruchy użytkownika. HCI jest relacją pomiędzy człowiekiem, a urządzeniem o wielkim znaczeniu w dzisiejszych czasach, czyli komputerem. Dla wielu ludzi trudnością jest wyobrazić sobie dzień bez komputera, ponieważ jest on wykorzystywany do różnorodnych celów, tym bardziej więc doskonalenie interakcji człowiek-komputer jest sprawą kluczową. Najlepszym punktem odniesienia dla jej usprawnienia są intuicyjne, naturalne, niewerbalne środki komunikacji obserwowane u ludzi. W związku z tym pojawia się coraz więcej rozwiązań opartych na rozpoznawaniu gestów, które są wykorzystywane do celów komercyjnych i medycznych. Opracowany program powstał z wykorzystaniem biblioteki OpenCV v.2.1 w środowisku programistycznym Visual Studio 2010. Mechanizm jego działania opiera się na rozpoznawaniu ludzkich gestów, takich jak ruchy głowy i dłoni. Algorytm wykorzystuje następnujące metody: klasyfikator kaskadowy oparty na cechach Haara do wykrywania twarzy, dopasowanie wzorca do śledzenia ruchów głowy oraz przepływ optyczny w celu wyznaczenia wektorów ruchu i detekcji gestów dłoni. Skuteczność działania programu została zweryfikowana na podstawie testów przeprowadzonych przez czterech ochotników, którzy wykonywali określone gesty w celu sterowania przeglądarką zdjęć. Aby wesprzeć surowe dane liczbowe, obliczono następujące wielkości statystyczne: czułość, dokładność i precyzję. Wszystkie wskaźniki wykazały wysokie wartości wartości od 95 do 97%. Wyniki te potwierdzają użyteczność i skuteczność opracowanego programu.
Abstract:
The main aim for thesis was to design and implement a vision- based posture tracking computer program which refers to the Human-Computer Interaction (HCI). The HCI is a relation between a person and the device of great importance nowadays, the computer. It is difficult for many people to imagine a day without the PC as it could be used for multidisciplinary purposes. Thus the quality of human-computer interaction is a crucial matter. The best reference for the improvements are intuitive, natural, nonverbal means of communication observed in humans. Therefore, more and more software based on gesture recognition which is developed, is used for commercial and medical aims. The designed program was implemented using OpenCV v.2.1 library in Visual Studio 2010 programming environment. The principle of its operation is based on recognition of human gestures such as head and hand movements. Proposed algorithm uses the following image processing methods: cascade classifier based on Haar-like features for face detection, template matching for head movement tracking and optical flow for calculation of velocity vectors used for movement detection. The performance of the program was verified in a test done by a group of four volunteers who made gestures with their heads and hands in order to control image viewer application. To support raw testing data, the following statistical quantities were calculated: sensitivity, accuracy and precision. These three parameters had high values, between 95% and 97%. The results confirm the usability and good performance of the developed program.