Lista przedmiotów z materiałami udostępnionymi dla studentów

Dla_studentów
  • Increase font size
  • Default font size
  • Decrease font size

Olimpia Staszczyk

Rozpoznawanie gestów alfabetu migowego metodami wizyjnymi


Vision-based fingerspelling recognition


Opiekun pracy dyplomowej: dr inż. Aleksandra Królak
Praca dyplomowa inżynierska obroniona 2020-01-31
Streszczenie pracy dyplomowej:
Trudności komunikacyjne osób niesłyszących są w obecnych czasach problemem powszechnym. Jedną z przyczyn ich występowania jest brak znajomości języka lub przynajmniej alfabetu migowego przez osoby niezwiązane ze środowiskiem głuchoniemych. Szeroko rozumiane trudności komunikacyjne stały się motywacją do podjęcia tematu, jakim jest rozpoznawanie gestów alfabetu migowego na obrazach. Niniejsza praca dyplomowa obejmuje opracowanie i implementację algorytmu automatycznej segmentacji i rozpoznawania gestów amerykańskiego alfabetu migowego na obrazach. Segmentacja obszaru gestu na obrazie została przeprowadzona za pomocą progowania (ang. thresholding), która prowadzi do otrzymania obrazu binarnego. W celu usunięcia zakłóceń w postaci drobnych elementów na tle lub dziur wewnątrz obszaru zainteresowania zastosowane zostały operacje morfologiczne. Segmentacja obszaru gestu pozwoliła na wyznaczenie parametrów niezbędnych do opracowania klasyfikatora wielopoziomowego. Do parametrów wykorzystanych w pracy należą m.in.: „zasięg” (ang. extent) oraz „okrągłość” (ang. roundness). Klasyfikator dzieli gesty na kolejne, coraz mniejsze grupy, aby ostatecznie przyporządkować gest do konkretnej litery. W pracy wykorzystany został język programowania Python oraz biblioteki OpenCV oraz NumPy. Czułość przygotowanego algorytmu rozpoznawania gestów wynosi średnio 98%. Natomiast dla poszczególnych znaków wynosi ona odpowiednio 80% dla liter K i M, a dla pozostałych 100%.
Abstract:
Nowadays, communication difficulties of deaf and dumb people are a common problem. One of the reasons for their occurrence is the lack of knowledge of the language or at least the sign alphabet by people not related to the deaf environment. Broadly understood communication difficulties have become a motivation to take up the topic of vision-based fingerspelling recognition. This thesis covers the development and implementation of an algorithm for automatic segmentation and recognition of the gestures of the American Sign Language alphabet in images. The segmentation of the gesture area in the image was carried out using thresholding, which results in a binary image. To remove interference in the form of small elements in the background or holes inside the region of interest, morphological operations were used. Segmentation of the gesture area allowed the determination of parameters necessary to develop a multi-level classifier. The parameters used in the thesis include, for example: extent and roundness. Classifier divides gestures into successive, smaller groups to finally assign the gesture to a specific letter. In this thesis programming tools used were Python programming language, the OpenCV and NumPy libraries. The average sensitivity of the prepared gesture recognition algorithm is 98%. However, for single characters it is 80% for the letters K and M, and for the remaining gestures it is equal to 100%.