Lista przedmiotów z materiałami udostępnionymi dla studentów

Dla_studentów
  • Increase font size
  • Default font size
  • Decrease font size

Rafał Paprocki

Analiza dynamiki mrugania do oceny stanu psychofizycznego osoby z wykorzystaniem systemu wizyjnego


Analysis of eye blinking dynamics to assess the psychophysical state of a person with a usage of a vision system


Opiekun pracy dyplomowej: dr inż. Aleksandra Królak
Praca dyplomowa inżynierska obroniona 2019-03-14
Streszczenie pracy dyplomowej:
Celem niniejszej pracy inżynierskiej było zaprojektowanie i implementacja systemu komputerowego umożliwiającego ocenę stanu psychofizycznego osoby na podstawie dynamiki mrugania, z wykorzystaniem prostej kamery internetowej. Do tego celu została opracowana aplikacja napisana w języku Python. Aplikacja wykorzystuje bibliotekę OpenCV oraz dlib i wbudowane w nie algorytmy do rozpoznawania twarzy i wykrywania mrugnięć oparte na detekcji i analizie położenia punktów charakterystycznych. Proponowany algorytm wykrywania mrugnięć szacuje położenia punktów charakterystycznych oczu, wyodrębnia pojedynczą wartość skalarną - współczynnik kształtu oka (EAR) - charakteryzujący otwarcie oka w każdej ramce, a następnie na jego podstawie określa, czy doszło do mrugnięcia czy też nie. Uzyskane w wyniku analizy dziesięciu różnych nagrań pięciu różnych osób dane pozwalają częściowo określić stan psychofizyczny osoby badanej na podstawie następujących parametrów: liczba mrugnięć na minutę, średni czas trwania mrugnięcia, średnia wartość EAR dla mrugnięcia, średnia wartość EAR podczas badania. Precyzja obliczona dla algorytmu wykrywania mrugnięć wyniosła 72%, czułość 77%, i dokładność 60%. Słowa kluczowe: systemy wizyjne, analiza zmęczenia, mruganie oka, wykrywanie mrugnięć, wykrywanie twarzy.
Abstract:
The aim of this thesis was to design and implement a system that would allow for the assessment of the psychophysical state of a person, based on the dynamics of eye blinking, with a usage of a vision-based system. An application written in Python was created for this purpose. The application uses OpenCV and dlib libraries and their’ built-in algorithms for face recognition and blink detection based on face characteristic points. The proposed algorithm for eye blink detection estimates the location of landmarks, extracts a single scalar value - the eye aspect ratio (EAR) - which characterizes open state of the eye in each frame of a video recording and then determines whether an eye blink has occurred or not. The data obtained from the analysis of ten different recordings of five different people allows us to partially determine the psychophysical state of the person on analyzed video recording based on the following parameters: number on eye blinks per minute, average blink duration, average EAR value per eye blink and average EAR value for the whole recording. Calculated precision of the eye-blink detection algorithm was equal to 72%, the sensitivity was equal to 77% and accuracy of 60% was achieved. Keywords: vision systems, fatigue analysis, eye blinking, eye blink detection, face detection.