„Dostępna książka” dla osób Głuchych
Lektury szkolne w formie multimedialnego filmu – z wyświetlanym tekstem, czytane przez lektora i jednocześnie tłumaczone na Polski Język Migowy przez awatara. Taki będzie efekt projektu „Dostępnej książki” realizowanego przez naukowców z Sieci Badawczej Łukasiewicz.
Prace badawczo-rozwojowe usprawnią cyfrowego awatara, który pełni rolę tłumacza Polskiego Języka Migowego. Projekt jest przeznaczony dla osób Głuchych, w szczególności dla dzieci i młodzieży. Wspiera go Fundacja Integracja.
„Dostępna książka” to projekt, który realizuje Sieć Badawcza Łukasiewicz – Instytut Technik Innowacyjnych EMAG w Katowicach. Powstanie seria multimedialnych materiałów edukacyjno-kulturalnych, opracowanych w formie filmów, które zawierać będą zsynchronizowaną ścieżkę dźwiękową (lektorską), wyświetlany tekst książki (napisy) oraz tłumaczenie na polski język migowy. Co ważne, tłumaczenie na PJM odbędzie się zarówno przez osoby migające, jak i przez cyfrowego awatara. Przygotowany zestaw nagrań będzie podstawą prac badawczo-rozwojowych, których końcowym celem jest opracowanie automatycznego systemu translacji tekstu na PJM z wykorzystaniem metod sztucznej inteligencji.
Zadanie odpowiada na potrzeby osób z niepełnosprawnością słuchu, dla których dostęp do literatury – zarówno popularnonaukowej, edukacyjnej, jak i beletrystycznej – jest bardzo ograniczony. Pierwszym i naturalnym językiem dla osób niesłyszących od urodzenia jest język migowy, a język polski jest ich drugim językiem. Stąd wiele trudności w rozumieniu słowa pisanego. Klasyczne formy audiobooków, choć ułatwiają dostęp osobom z niepełnosprawnością wzroku, nie stanowią rozwiązania dla społeczności Głuchych.
Awatar jak tłumacz języka migowego
W ramach projektu przygotowanych zostanie kilkadziesiąt książek polskich i zagranicznych autorów w formacie filmowym. Przekaz będzie realizowany przez osoby migające oraz – w przypadku wybranych pozycji – przez cyfrowego awatara komunikującego się w PJM, zbudowanego na podstawie technologii zbliżonej do motion capture. Ruchy awatara zostaną zarejestrowane z udziałem osób migających w specjalistycznym kombinezonie, a następnie odwzorowane w środowisku cyfrowym. Technika ta (stosowana w filmach i grach komputerowych) polega na zapisywaniu i odwzorowywaniu trójwymiarowych ruchów aktorów, dzięki czemu awatar będzie poruszał się bardzo realistycznie.
Projekt „Dostępna książka – adaptacja książek z tłumaczeniem migowym PJM dla społeczeństwa i uczenia maszyn” jest wkładem w rozwój technologii cyfrowych wspierających inkluzywność. Może mieć zastosowanie w branży wydawniczej, mediach czy administracji publicznej.
Źródło: Sieć Badawcza Łukasiewicz
Fot. Shutterstock
