Toucan Eye przeczyta napisy z otoczenia

Toucan Eye przeczyta napisy z otoczenia

Polscy innowatorzy opracowują system Toucan Eye, który rozpozna w otoczeniu napisy czy symbole i przeczyta je osobom niedowidzącym lub niewidomym.

– W Polsce jest ok. 500 tys. osób niedowidzących. To osoby, które widzą kontury obiektów, ale nie widzą szczegółów – mówi w rozmowie z PAP Radosław Zdunek z polskiej firmy Toucan Systems.

Opowiada, że takie osoby zdane były dotąd na pomoc innych. Na przykład na przystanku, kiedy musiały rozpoznać numer zbliżającego się autobusu, lub w urzędzie, kiedy szukały odpowiedniego okienka. Albo w restauracji czy sklepie, kiedy nie były w stanie samodzielnie zapoznać się z menu czy z ceną produktu.

Tymczasem nowe technologie dają możliwość uniezależnienia się od pomocy przypadkowych przechodniów. Firma Toucan Systems przy wsparciu z Narodowego Centrum Badań i Rozwoju pracuje nad systemem Toucan Eye. Pierwsze urządzenia polskiej firmy mają się pojawić na rynku pod koniec 2019 r.

– Użytkownik naszego urządzenia nie będzie się wyróżniać w tłumie – opowiada Radosław Zdunek.

Wyjaśnia, że urządzenie będzie wyglądać jak zwykła słuchawka bluetooth zakładana na ucho. Słuchawka ta jednak zostanie wyposażona w niewidoczną na pierwszy rzut oka kamerkę. Połączona będzie bezprzewodowo z mobilnym komputerem, który zmieści się w kieszeni czy torebce.

Tam algorytmy sztucznej inteligencji (AI) przeczesywać będą obraz z kamery w poszukiwaniu napisów i symboli, a odczytany napis przetworzą na ludzką mowę i prześlą informacje do słuchawki. Użytkownik będzie też mógł zawęzić obszar poszukiwań i wskazać gestem ręki obszar, w którym znajduje się interesujący go napis.

Toucan AI pracować będzie offline – wszystkie obliczenia będą wykonywane w przenośnym urządzeniu. Użytkownik będzie niezależny od zasięgu sieci komórkowej, a wyjeżdżając za granicę, nie będzie musiał się martwić o wysokość rachunku za korzystanie z Internetu.

– Zależało nam na tym, by użytkownik mógł zawsze i wszędzie na Toucan AI polegać. Tak jak i na innych urządzeniach dla osób z dysfunkcjami – mówi Radosław Zdunek. Zdaniem producenta największym wyzwaniem w pracy nad urządzeniem jest opracowanie algorytmu, który będzie rozpoznawać napisy i symbole w przeróżnych warunkach.

– Problemem jest to, że w przestrzeni publicznej funkcjonuje wiele różnego rodzaju czcionek. Jedne są ozdobne, inne pochylone w lewo czy w prawo. Czasem litery ustawione w pionie – jedna pod drugą – inne pod skosem… W dodatku kamera widzieć je będzie pod różnym kątem i w różnych warunkach oświetleniowych. A w zapisie pojawiać się będzie szum. Odczytywanie takich napisów to złożony problem – opowiada.

Początkowo urządzenie ma rozpoznawać napisy w języku polskim. Z czasem firma chce też wprowadzić wersję dla języka angielskiego.

PAP