Lista przedmiotów z materiałami udostępnionymi dla studentów

Dla_studentów
  • Increase font size
  • Default font size
  • Decrease font size

Tomasz Pajor

Wizyjny interfejs człowiek-komputer dla osób niepełnosprawnych ruchowo


Design of a vision-based human-computer interface for the physically disabled


Opiekun pracy dyplomowej: prof. dr hab. inż. Paweł Strumiłło
Dodatkowy opiekun pracy dyplomowej: mgr inż. Adam Kozłowski

Praca dyplomowa ife obroniona 2010-04-12
Streszczenie pracy dyplomowej:
Praca dokumentuje opracowanie wizyjnego interfejsu człowiek-komputer dla osób niepełnosprawnych ruchowe. Opracowane rozwiązanie przeznaczone jest dla osób z niemożnością wykonywania ruchów od odcinka szyjnego w dół. Interfejs umożliwia przemieszczanie kursora myszy po ekranie za pomocą ruchów głowy. Pojedyncze i podwójne kliknięcia lewego przycisku wprowadzane są poprzez mruganie lewym okiem. Do pracy systemu niezbędny jest obraz z dowolnej kamery USB, umieszczonej nad monitorem, dostarczającej obraz użytkownika en face. Osoba niepełnosprawna może korzystać z interfejsu bez pomocy osób trzecich. Interfejs pracuje w oparciu o algorytm detekcji twarzy na podstawie klasyfikatorów Haar’a. Śledzenie położenia głowy zrealizowano poprzez dopasowanie wzorca twarzy. Mrugnięcia wykrywane są poprzez dopasowanie i analizę zgodności wzorca otwartego oka z aktualnym obrazem. Badania efektywności i niezawodności zaproponowanych rozwiązań przeprowadzono na grupie 6 użytkowników w 4 różnych scenariuszach. Na podstawie zgromadzonych wyników stwierdzono wysoką niezawodność i precyzję ruchu kursora.
Abstract:
The aim of this thesis is to design and implement a vision-based human-computer interface for a physically disabled person. This goal is motivated by underprivileged situation of people unable to use a computer in modern society. Conditions resulting in severe physical impairments are described and analyzed. Design constrains are defined considering needs and physical limitations of the potential user. An overview of currently available solutions and projects under development is presented to identify areas of potential improvement. The proposed solution relies on head movement and eye blinks of the user. Users face position is detected using Haar-based face detection algorithm. Face tracking and eye blink detection is performed by means of template matching. The design was implemented on a PC computer with moderate performance. The image for the application is provided by a standard USB web camera. Performance of the designed interface was verified in a series of trials conducted by 6 volunteers. In the test procedure reliability, accuracy and speed of the proposed solution was verified in 4 scenarios corresponding to typical activities performed by a casual computer user. The results gathered confirmed system reliability and stability of the design. Sufficient accuracy and speed was obtained, suitable for most activities excluding drawing and other agility-sensitive activities, such as arcade gaming. Implementation of an on-screen keyboard was identified as the key feature to be implemented in further development of the design.