Lista przedmiotów z materiałami udostępnionymi dla studentów

Dla_studentów
  • Increase font size
  • Default font size
  • Decrease font size

Anna Olejnik

Rozpoznawanie wybranych znaków polskiego języka migowego na podstawie analizy sygnału EMG


Automatic recognition of Polish sign language form EMG signal


Opiekun pracy dyplomowej: dr inż. Aleksandra Królak
Praca dyplomowa IFE - BSc obroniona 2013-02-05
Streszczenie pracy dyplomowej:
Celem niniejszej pracy jest opracowanie algorytmu umożliwiającego automatyczne rozpoznawanie wybranych znaków Polskiego Języka Migowego na podstawie analizy sygnału EMG. Algorytm ten może zostać wykorzystany w systemie interakcji człowiekkomputer dla osób z upośledzeniem słuchu. Podczas rejestracji sygnałów wykorzystano elektromiografię powierzchniową z dwubiegunową konfiguracją elektrod. Sygnał był rejestrowany z dwóch różnych mięśni przedramienia. Sygnały odpowiadające pięciu wybranym gestom zostały zarejestrowane od dwóch osób. Wybrane gesty, były symetryczne albo wykonywane jedną ręką, tak, aby umożliwić rejestrację sygnału jedynie z prawej ręki. Sygnały zostały poddane normalizacji, która miała na celu zminimalizowanie różnic między sygnałami pobranymi od różnych osób. Następnie, dla sygnałów z obu kanałów obliczono pięć cech na podstawie analizy w dziedzinie czasu i częstotliwości. Z otrzymanego zbioru dziesięciu cech, na podstawie punktacji Fishera wybrano pięć, które najbardziej różniły się pomiędzy gestami. Na podstawie wybranych cech, sygnały zostały sklasyfikowane przy użyciu dwóch różnych algorytmów rozpoznawania: algorytmu k-NN (k najbliższych sąsiadów) oraz algorytmu NM (najbliższa średnia). Opracowany system został przetestowany dla pojedynczych osób oraz dla dwóch osób jednocześnie i pozwolił na prawidłowe rozpoznanie wybranych gestów. Najwyższą rozpoznawalność (100%) uzyskano przy użyciu algorytmu k-NN dla jednej osoby, natomiast najniższą rozpoznawalność odnotowano dla dwóch osób przy zastosowaniu algorytmu NM (80%).
Abstract:
The aim of this thesis is to develop a simple algorithm for EMG-based automatic recognition of the pre-selected gestures from Polish Sign Language, which can be implemented in the human-computer interaction system for hearing-impaired people. In this work, the surface electromyography with the bipolar arrangement of electrodes was used to acquire signals from two different muscles of the forearm. The signals were collected from two persons for five pre-selected gestures from the Polish Sign Language. The chosen gestures were either symmetric or performed by only one hand. The signals were normalized in order to reduce the differences in amplitudes of the signals. Five different time- and frequency domain features were extracted from each of the channels. In total, ten different features were obtained for each signal. For the classification five features with the highest recognition ability were chosen on the basis of the Fisher score. The classification was performed by the use of two different supervised, non-parametric algorithms, i.e. k-Nearest Neighbour Classifier with k=3 and Nearest Mean Classifier. The developed system was tested on three different data sets: two composed of signals acquired from a single person, and one containing signals from two different persons. In all of the cases the developed algorithm enabled the recognition of the sign language gestures. The highest accuracy (100%) was achieved with the use of kNN Classifier for a single person, while the lowest recognition rate was obtained for the data set with the signals from two persons with the use of Nearest Mean Classifier (80%).