Lista przedmiotów z materiałami udostępnionymi dla studentów

Dla_studentów
  • Increase font size
  • Default font size
  • Decrease font size

Izabela Borowiecka

Aplikacja mobilna do interaktywnej sonifikacji obrazów dla osób niewidomych


Mobile application for interactive sonification of images for the blind


Opiekun pracy dyplomowej: dr inż. Piotr Skulimowski
Praca dyplomowa magisterska obroniona 2018-03-12
Streszczenie pracy dyplomowej:
Celem pracy było zaprojektowanie i implementacja aplikacji mobilnej przeznaczonej do interaktywnej sonifikacji obrazów. Oprogramowanie ma wspomagać analizę obrazów przez osoby słabowidzące oraz niewidome. Elementami na które stawiano największy nacisk był konfigurowalny mechanizm sonifikacji oraz przejrzysty i w pełni udźwiękowiony interfejs użytkownika. Moduły dostępne w aplikacji to interaktywna sonifikacja, gry, tryb testu i rysowania, każdy z nich może być wykorzystany w innym celu, na przykład do nauki lub sprawdzenia wiedzy. Mechanizm sonifikacji zakłada wykorzystanie dwunastu ścieżek dźwiękowych, które, na podstawie fragmentu obrazu wskazanego przez użytkownika, są odpowiednio modyfikowane. Zmiana parametrów amplitudy i częstotliwości odtwarzania dotyczy pojedynczego buforu, a foldery z których ma być pobrany dźwięk oraz sposób w jaki ma zachodzić modyfikacja są ustawiane w pliku konfiguracyjnym. Do wykorzystania zostały zaproponowane dwa modele odtwarzania – periodyczny i ciągły. Pierwszy z nich powoduje modulowanie dźwięków w powtarzających się cyklach, natomiast podczas działania drugiego parametry zmieniają się tylko w momencie zmiany przez użytkownika obszaru zainteresowania. Językiem wybranym do napisania aplikacji, dostępnej na urządzenia mobilne z systemem operacyjnym Android, jest Java. Oprogramowanie zostało poddane badaniom, w ramach których osoby widzące, niewidome i niedowidzące przetestowały dostępne funkcjonalności. Użytkownicy pozytywnie odebrali aplikację, wszystkie założone cele zostały spełnione. Słowa kluczowe: sonifikacja interaktywna, Android, aplikacja mobilna, niewidomi
Abstract:
The aim of my thesis was to develop and implement a mobile system for interactive sonification of images. The application is designed for helping blind and visually impaired people in analyzing images. Because of the purpose, the user interface is accessible and all available options and GUI elements are presented via voice communications. The following modules have been implemented: interactive sonification, tests, games and drawing mode. The sonification engine is based on additive synthesis of twelve buffers. The amplitude, frequency or contents of each buffer can be modified depending on the image content, which the user points at on the tactile interface. Two methods for playing sounds have been implemented in the application: continuous and periodic. The first one changes playback parameters only if the user changes the selected area of interest. The second method automatically scans a selected region of the image in short repeated cycles All parameters are read from configuration files, which can be customized for individual images, tests or games. The program is available for mobile devices with the Android operating system and is written in Java. The application has been tested by both blind and sighted people and the positive feedback was received. Descriptors: interactive sonification, Android, mobile application, blind people