Lista przedmiotów z materiałami udostępnionymi dla studentów

Dla_studentów
  • Increase font size
  • Default font size
  • Decrease font size

Jacek Rondio

Rozpoznawanie wyrazu twarzy jako element interfejsu człowiek-komputer


Face expression recognition for human-computer interfacing


Opiekun pracy dyplomowej: dr inż. Aleksandra Królak
Praca dyplomowa ife obroniona 2010-07-08
Streszczenie pracy dyplomowej:
Ze względu na zwiększenie szybkości obliczeniowej komputera i polepszeniu jakości tanich kamer internetowych dostępnych dla użytkowników domowych systemy przetwarzania obrazu stają się coraz bardziej popularne. Mogą być one wykorzystywane do komunikacji człowiek-komputer umożliwiając alternatywną metodę interakcji z systemem komputerowym, jak również stanowić nieocenioną pomocą dla osób niepełnosprawnych fizycznie, cierpiących na porażenie funkcji motorycznych kończyn. Celem pracy było stworzenie wizyjnego systemu rozpoznawania wyrazu twarzy użytkownika, który może być używany jako interfejs człowiek-komputer. Praca została podzielona na trzy części: omówienie istniejących systemów rozpoznawania wyrazu twarzy, prezentację zaprojektowanego systemu oraz badania wydajności i skuteczności zaproponowanego rozwiązania. Zaprojektowany system składa się z następujących modułów: filtry poprawiające jakość obrazu, funkcje wykrywające i śledzące twarz, oczy i usta oraz moduł rozpoznawania wyrazu twarzy. Jakość obrazu polepszana jest przez filtr medianowy usuwający szum, transformację logarytmiczną oraz filtr DCT normalizujący oświetlenie. Twarz i poszczególne jej części są początkowo wykrywane za pomocą klasyfikatorów Haar-a, jednak do minimalizacji czasu przetwarzania wykorzystywany jest algorytm śledzenia i skalowania, wykorzystujący dane z klasyfikatora wykrywającego twarz. Zaprojektowany został także algorytm wykrywania i usuwania koloru skóry, stosowany przy analizie następujących cech: oczu, brwi, ust, języka i prędkości przemieszczania się twarzy w obrazie. Na podstawie analizy statystycznej ciemnych i jasnych pikseli i ich rozkładu w określonych regionach system rozpoznaje konkretne wyrazy twarzy. W celu przetestowania działania programu wykonane zostały badania na grupie pięciu osób używających trzynaście wyrazów twarzy. Dokładność zaprojektowanego systemu jest równa 98%, precyzja równa jest 85%. Wyniki te można poprawić poprzez ulepszenie algorytmu rozpoznawania położenia języka ponieważ zaproponowane rozwiązanie wymaga specyficznej sekwencji ruchów języka do właściwego rozpoznania. Czas obliczeń jednej ramki wynosi 309ms i jest za długi do wygodnego działania, jednak czas działania transformacji logarytmicznej wynoszący 204ms wskazuje na możliwość optymalizacji działania programu. Zaprojektowany system jest bardzo obiecujący ze względu na osiągnięty wysoki wskaźnik rozpoznawania wyrazu twarzy użytkownika. Problem niskiej prędkości przetwarzania może być rozwiązany przez optymalizację przekształcenia logarytmicznego.
Abstract:
Vision-based systems become more and more popular due to increasing computation speed of the computer and quality of cheap webcams available for home users. Such systems can be implemented as human-computer interfaces, supporting people with alternative way of communication with computer systems and being inestimable help for physically handicapped people suffering from diseases causing motorical impairment. The aim of the presented thesis was to create vision-based face gesture recognition system, that can be used in further application as a human-computer interface. The thesis is divided into three parts: overview of the existing face gesture recognition systems, presentation of the designed system and finally performance tests of the proposed solution. The designed system consists of the following modules: image enhancement filters, face and face features detection and tracking, and face gesture recognition. Image enhancement is realized by median filter for noise removal, and logarithm transform and DCT filter for illumination normalization. The face and face features are initially detected using Haar classifiers, however, to minimize computation costs of the algorithm, tracking and scaling function was proposed that cooperates with the face detection classifier. Skin color detection algorithm was developed and applied for analysis of the following face features: eyes, eyebrows, mouth, tongue and face speed. Based on the statistical analysis of the dark and white pixels located in defined regions, the proposed system recognizes specific face gestures. The tests were performed on the group of five people using thirteen face gestures. The accuracy of the designed system is equal to 98%, while precision 85%. Better results can be achieved by improving the tongue analysis, while the proposed solution requires specific image sequence characteristic to proper tongue direction determination. Designed system requires some optimization since the computation time of the frame is very high – 309ms, with logarithm transform function computation time equal to 204ms. The proposed solution is very promising due to the high achieved gesture recognition rate. The speed issue can be resolved by optimization of the logarithm transform.