Мобилни приложения за глухи хора. Самоозвучаване: програми за четене на текст с глас. За глухи, таблет или бележник за комуникация

Основният проблем с подобни приложения е, че тази ниша е слабо развита. Докато търсих, разгледах повече от 30 приложения и почти всички бяха предназначени за англоговоряща аудитория или хора, живеещи в Европа или САЩ. Въпреки това, шестте приложения по-долу са изключение и, надявам се, ще бъдат полезни на някого.

Режим Чудо

Miracle Modus е приложение, създадено от разработчик с аутизъм. Съдейки по думите и коментарите му в Play marketприложението наистина работи. Принципът на работа е едновременно прост и сложен: Miracle Modus рисува различни линии и модели и възпроизвежда релаксиращи звуци, които имат успокояващ ефект върху хората с аутизъм.

Дневник за диабет

Приложение, което помага на хора с диабет тип 1 и тип 2. Тук можете да въведете цялата информация за храната, която сте изяли през деня. След това пълният отчет може да бъде експортиран в Excel, за да се покаже на Вашия лекар.

мигрена приятел

Позволява на страдащите от мигрена да анализират начина си на живот и да разберат кои фактори водят до главоболие. Приложението също така проследява вашия сън, така че можете да видите връзката между мигрена и качеството на съня.

Подутини

Bumps помага на слепи хора да научат Брайл. Приложението поддържа само английски език, така че е подходящ само за тези, които искат да се научат да четат не само на руски. В допълнение към изучаването на азбуката, Bumps ви позволява да въвеждате различни думи и да виждате как са написани на Брайл.

Има подобно приложение за Android, наречено Braile Guide.

Знаци за разпространение

Spread Signs има огромна библиотека от жестове, за да помогне на глухонемите хора да общуват. Базата на приложението включва повече от дузина езици, включително руски, украински и английски. Можете да научите както жестове, обозначаващи отделни букви, така и цели думи.

Двама студенти от университета Бейхай в Пекин са разработили приложение, за да помогнат на хората с увреден слух в Китай. Приложението се нарича Shouyin, което буквално означава „глас на ръцете“. Позволява превод в реално време на знаци от езика на глухонемите в реч.

Приложението работи заедно с интелигентна гривна и на този моментможе да разпознае повече от 200 знака, като всеки знак е записан хиляди пъти от различни хора, за да се подобри точността на превода. Сега степента на разпознаване е 95%.

Младата Нана Уанг, която е един от разработчиците, каза, че е била вдъхновена от глухоням приятел, с когото можела да общува само чрез съобщения на мобилен телефон. В Китай приблизително 5% от населението или 70 милиона души са глухи. Несъмнено приложението ще има голям успех. Официалното пускане на приложението е насрочено за края на май. Подобни програми вече съществуват в други части на света. Например Uni от MotionSavvy и преводачът за глухонеми от Google Chats.

Технологиите днес се развиват с бързи темпове, включително в социални сферии в медицината. Те помагат не само да се справите с различни видове заболявания, но и да разберете по-добре ближния си, дори ако неговото възприятие за света е различно от вашето. Разговорът с глух човек ще ви помогне специално приложение, докато VR технологията може да помогне например за разбирането на аутизма, което означава да ви сближи с тези, които страдат от това заболяване.

Различни проучвания показват, че над 99% от хората са чували за аутизъм, но само 16% наистина разбират какво означава това психическо състояние. И според проучване, проведено в Обединеното кралство, повече от 25% от хората с аутизъм някога са поискали да напуснат обществено място като ресторант или магазин, когато са видели симптоми на заболяването си.

За да се справи с този проблем на дезинформацията, британското "Национално аутистично общество" реши да създаде VR филм, което би помогнало на всички хора да разберат какво е да живееш с такава диагноза. Gmbox писа за това.

Това виртуално видео ви отвежда в тялото на младо момче с аутизъм и показва света през неговите очи. Във филма вие влизате в търговски център и изпитвате огромното сетивно натоварване, което то изпитва, когато минава през това претъпкано място. Шумът, изобилието от различни предмети, цветове, трептене на хора, техните гласове - всичко това кара момчето да изпадне в паника, с която е много трудно да се справи.

Друга общност на Алцхаймер също пусна VR филм, който ви поставя на мястото на човек с деменция. Филмът A Walk Through Dementia ще ви позволи да разберете как някои прости ежедневни дейности, като например да си направите чаша чай, могат да се превърнат в истински проблем за притежателя на това заболяване.

Идея

Здравейте! Казвам се Виталий, аз съм разработчик и съосновател на стартъп Бъди предупреден. От детството имам много слаб слух и жена ми изобщо не чува, дълго време исках да се занимавам с разработка на приложения и софтуерза глухи и хора с увреден слух. Всички проблеми, с които се сблъскват, са ми познати.

Аз и съпругата ми Наталия

Преди това разработвах софтуер за граждански авиокомпании на Украйна, създадох приложението за разширена реалност SIMO. Винаги съм се интересувал от всичко свързано с технологиите. И преди няколко години се запознах със Сергей Малюков, сега нашия главен изпълнителен директор, чрез преподавател в Киевския политехнически институт, с когото някога съм учил.

Идеята за създаване на приложение за глухи и хора с увреден слух дойде на Сергей през 2013 г. Една вечер той се разхождаше по улицата вечерта и кола започна да свири в гърба му, Сергей бързо отскочи настрани, но двойката, която вървеше наблизо, не помръдна. Той ги извика да се отдалечат, но те останаха на същото място, където бяха застанали. Скоро Сергей разбра, че това е двойка глухи хора, те общуваха помежду си на жестомимичен език. Сергей беше сигурен, че има приложения, които помагат за разпознаване на опасни звуци. След като анализира съществуващите приложения и джаджи за глухи хора и не намира нито едно решение, което да помага за разпознаването на опасни звуци, той се заема да направи такова приложение. В процеса няколко партньора се присъединиха към него и сега BeWarned е самостоятелно инвестиран от създателите на стартъпа.

Веднага щом чух за проекта и видях развитието, моментално бях увлечен от идеята и скоро станах съосновател. В момента се занимавам с техническо развитие на стартъп.

Внедряване

През 2014 г. беше пуснат първият прототип на приложението BeWarned с функцията Sound Monitor, която позволява разпознаване в реално време на опасни звуци. Това беше първият малък успех. Но това беше само началото.

От дете харесвах техниката, често сглобявах или разглобявах нещо, исках да видя какво ще излезе от това.

От стотици писма и рецензии стана ясно, че глухите хора се нуждаят от нещо повече от приложение, което разпознава опасни звуци. Глухите имаха хиляди неразрешени проблеми, които можеха да бъдат разрешени. Въз основа на тези писма и обратна връзка беше създадена платформата BeWarned, която обедини 4 технически асистента за глухите: Sound Monitor, Connect, Emergency Call и Dance.

Sound Monitor решава проблема със сигурността, като идентифицира опасни звуци (писък, клаксон на кола, кучешки лай, сирена). В случай на опасност, приложението предупреждава потребителя чрез вибрация и мигане на светкавицата на смартфона. Connect помага на глухите да общуват с другите - преобразува текст в реч и обратно. Танцът ви позволява да почувствате музикални записи, като ги преобразувате във вибрация, светлинни сигналии пулсационен визуален еквалайзер. Спешното повикване помага на потребителя да се обади на чуващи близки за помощ, когато са в опасна ситуация.

Можете да намерите още видеоклипове на нашия канал

През лятото на 2016 г. тествахме бета платформата в САЩ. В резултат на това 88,9% от потребителите съобщават, че биха препоръчали приложението на приятели.

Най-трудната част от разработването на BeWarned беше звуковият монитор, който прекарахме няколко години в разработването. Програмата за разпознаване на опасни звуци е базирана на невронни мрежи. Опитахме два типа невронни мрежи: класически многослоен перцептрон и конволюционна невронна мрежа. Но тогава решихме да опитаме Скрития модел на Марков, той беше най-подходящият за нашите задачи.

За да създадем база данни, на която ще се основава алгоритъма, ние сами записахме много варианти на един вид опасен звук, например автомобилен сигнал, въз основа на които алгоритъмът ще разпознае входящите звуци и ще ги определи като принадлежащи на определен тип. В процеса на работа обаче имахме проблем, че алгоритъмът за разпознаване приписва всички входящи звуци само на съществуващи категории: сигнал на кола, писък, звук на полицейска сирена и лай на куче. Например, ако някой се засмя, тогава програмата го разпозна като принадлежащ към една от тези категории. За да решим този проблем, трябваше да сегментираме звуците, например, по честоти и други характеристики. В резултат на това позволи въвеждането на допълнителен неопределен тип звук.

Известно време след пускането на платформата BeWarned решихме да направим важни промени, за да подобрим използваемостта: радикално опростихме всичко и го адаптирахме към възприятието на глухите хора. Ето защо преиздадохме приложенията поотделно.

През декември беше пуснат BW Dance (Android, iOS), който от функция на платформата BeWarned се превърна в самостоятелно приложение. BW Dance позволява на глухи и хора с увреден слух да танцуват на любимите си песни. Потребителят добавя любими песни към плейлиста и приложението трансформира музиката във вибрации, светкавици и анимации на екрана. Потребителят може също да усети музиката чрез визуалния плейър. BW Dance беше приет положително от потребителите както в Украйна, така и в чужбина.

Оттогава пуснахме Connect by Bewarned (Android, iOS), приложение, което позволява на глухи и хора с увреден слух да общуват със чуващи хора. За да започнете да чатите с един или повече хора в приложението, трябва само да натиснете бутона START и да оставите събеседника да говори, след което приложението ще преобразува речта в текстово съобщение, което глух човек може да прочете. Приложението също преобразува текст в реч, глухият човек трябва да напише това, което иска да каже. Освен това разработихме набор от шаблони, които симулират прости, често повтарящи се ситуации, като например поръчка на кафе в кафене. С тези модели глухият човек може бързо да съобщи нещо на чуващ човек. Осигурихме и възможност за създаване на допълнителни шаблони за личните цели на всеки глух.

резултати

В Украйна журналистите започнаха активно да ни пишат, за нас бяха заснети истории от STB, 1 + 1, Канал 5 и други. Видяхме, че хората се интересуват от нечуващите и също така се уверихме, че грижата за простотата и използваемостта е стъпка в правилната посока. Разбрахме, че сме на прав път.

Жена ми и аз общуваме с журналисти от Канал 5

Стартирахме Connect by Bewarned в Product Hunt на 30 януари и влязохме в ТОП 5 за деня, както и в официалния списък с имейли. В коментарите за нашия продукт в Product Hunt получихме предложения за помощ при разработването на локализации на френски и дори фарси. Заедно с вече съществуващите четири локализации – испанска, руска, украинска и английска, ще можем да се доближим до нашата глобална цел: да улесним живота на глухите хора.

Убеден съм, че ИТ хората трябва да използват уменията, които са им дали в полза на другите хора. Нашият малък, но успешен опит показва, че новите приложения могат значително да променят живота на други хора. Ето защо ще продължим да работим върху идеята, въплътена в Connect by Bewarned: преодоляване на бариерите в общуването между глухите и чуващите, които в света са около 400 милиона.

Екипът на BeWarned отляво надясно: Аз, Евгений, Евгения, Иван, Юлия, Сергей, Андрей, Илона, ​​Ира, Антон, Андрей (сега сме дори повече, отколкото на тази снимка :))

Хората като мен често имат проблеми, когато трябва да общуват със чуващ човек: полицай, лекар, банкер. Законодателно ни се гарантират равни права и достъп до услуги и услуги наравно с чуващите. Но в действителност нашите възможности са значително ограничени. Ето защо решихме да поемем една наистина глобална задача: създаването на глобална електронна инфраструктура, което ще улесни достъпа на глухите до всички услуги, достъпни за чуващите: банки, болници, таксита и др. В момента работим по този въпрос.

Такива прости стъпкинеща като говорене по телефона, слизане по стълби или дори определяне на срока на годност на млякото могат да станат предизвикателство за хората с увреждания. Въпреки това, някои от тези проблеми могат да бъдат успешно разрешени с помощта на смартфон.

Представяме ви селекцията мобилни приложениякоито улесняват живота на хората с увреждания.

Приложения, които разпознават реч

Yandex.Разговор

Yandex наскоро пусна приложение, което помага на глухи и хора с увреден слух да общуват с приятели и непознати, като превеждат говоримия език в текст и обратно.

Приложението може да слуша и разпознава реч - всичко, което ви се казва, се показва на екрана на смартфона като текст, както и да произнася напечатани думи на глас.

Приложението е проектирано и разработено от група студенти на MIPT и се захранва от технологията за разпознаване на реч Yandex SpeechKit.

RogerVoice

RogerVoice е приложение, с което глухите хора могат да разговарят със събеседниците си по телефона. Приложението използва технология за разпознаване на реч, за да преобразува глас в текст, така че глухите хора да могат да четат какво казва другият човек.

Приложението се появи благодарение науспешна кампания на Kickstarter – приложението в момента е в бета версия и може да бъде изтеглено от уебсайта на RogerVoice.

Приложение, което ви помага да чувате

HearYouNow

С това приложение потребителите с увреден слух могат да регулират звука според ситуацията, в която се намират - на обществено място, на среща и т.н. За целта към смартфона се свързват слушалки, чрез които се подава звук със съответните настройки за оптимизиране на фона или предния план.

Приложението е разработено от ExSilent, холандски производител на слухови апарати, за хора, които могат да използват слухови апарати, но все още не са готови за това.

Здравейте!

"Хлябът храни тялото, а книгата храни ума"...

Книгите са едно от най-ценните богатства на съвременния човек. Книгите се появяват в древни времена и са били много скъпи (една книга може да се размени за стадо крави!). В съвременния свят книгите са достъпни за всеки! Четейки ги, ние се ограмотяваме, развиват се кръгозора и изобретателността ни. И като цяло, те все още не са измислили по-съвършен източник на знания за предаване един на друг!

С развитие компютърна технология(особено през последните 10 години) - стана възможно не само да четеш книги, но и да ги слушаш (тоест ще ги четеш специална програма, мъжки или женски глас). Бих искал да ви разкажа за софтуерни инструменти за гласова игра.

Възможни проблеми със записа

Преди да пристъпя към списъка с програми, бих искал да се спра на общ проблем и да разгледам случаите, когато програмата не може да чете текст.

Факт е, че има гласови машини, те могат да бъдат с различни стандарти: SAPI 4, SAPI 5 или Microsoft Speech Platform (повечето програми за възпроизвеждане на текст имат избор от този инструмент). Така че е логично в допълнение към програмата за гласово четене да имате нужда от двигател (ще зависи от това на какъв език ще ви четат, какъв глас: мъжки или женски и т.н.).

речеви машини

Двигателите могат да бъдат безплатни и търговски (естествено, най-добро качествовъзпроизвеждането на звука се осигурява от търговски двигатели).

SAPI 4. Остарели версии на инструменти. Не се препоръчва за съвременни компютри. остарели версии. По-добре е да погледнете SAPI 5 или Microsoft Speech Platform.

SAPI 5. Съвременни речеви машини, безплатни и платени. Можете да намерите десетки машини за реч SAPI 5 в интернет (както с женски, така и с мъжки гласове).

Един от най най-добрите програмиза четене на текст. Позволява на вашия компютър да чете повече от просто прости файловевъв формат txt, но също и новини, RSS, всякакви уеб страници в Интернет, електронна пощаи т.н.

В допълнение, той ви позволява да конвертирате текст в mp3 файл (който след това можете да изтеглите на всеки телефон или mp3 плейър и да слушате на път, например). Тези. можете сами да създавате аудио книги!

Гласовете на програмата IVONA са много подобни на истинските, произношението не е достатъчно лошо, не заекват. Между другото, програмата може да бъде полезна за тези, които учат чужд език. Благодарение на него можете да слушате правилното произношение на определени думи, завои.

Поддържа SAPI5, плюс това си сътрудничи добре с външни приложения (напр. Apple iTunes, Skype).

Пример (запис на една от последните ми статии)

От минусите: той чете някои непознати думи с грешен удар и интонация. Като цяло не е лошо да слушате, например, абзац от учебник по история, докато отивате на лекция / клас - дори повече от това!

Балаболка

Отлична програма за работа с книги: четене, каталогизиране, търсене на правилната и т.н. В допълнение към стандартните документи, които други програми могат да четат (TXT-HTML, HTML-TXT, TXT-DOC, DOC-TXT, PDB-TXT , LIT-TXT, FB2-TXT и др.) ICE Book Reader поддържа файлови формати .LIT, .CHM и .ePub.

В допълнение, ICE Book Reader ви позволява не само да четете, но и отлична настолна библиотека:

• ви позволява да съхранявате, обработвате, каталогизирате книги (до 250 000 копия!);
• автоматично подреждане на вашата колекция;
• бързо търсене на книга от вашето "сметище" (особено вярно, ако имате много некаталогизирана литература);
• Базата данни на ICE Book Reader превъзхожда повечето програми от този вид.

Програмата също така ви позволява да гласувате текстове.

За да направите това, отидете в настройките на програмата и конфигурирайте два раздела: „Режим“ (изберете четене чрез глас) и „Режим на синтез на реч“ (изберете директно самия двигател на речта).

Говорещ

С Sakrament Talker можете да превърнете вашия компютър в "говореща" аудио книга! Sakrament Talker поддържа RTF форматии TXT, може автоматично да разпознае кодирането на файла (вероятно понякога сте забелязали, че някои програми отварят файл с „пукнатини“ вместо текст, но това е невъзможно в Sakrament Talker!).

В допълнение, Sakrament Talker ви позволява да възпроизвеждате достатъчно големи файлове, бързо да намирате определени файлове. Озвученият текст може не само да се слуша на компютър, но и да се запише в mp3 файл (който по-късно може да се копира на всеки плейър или телефон и да се слуша извън компютъра).

Като цяло, доста добра програма, която поддържа всички популярни гласови двигатели.

Това е всичко за днес. Въпреки факта, че днешните програми все още не могат напълно (100% качествено) да прочетат текста, така че човек да не може да определи кой го чете: програма или човек ... Но мисля, че някой ден програмите ще достигнат това: силата на компютрите растат, двигателите растат по обем (включително все повече и повече дори най-сложните речеви обороти) - което означава, че съвсем скоро звукът от програмата ще бъде неразличим от обикновената човешка реч?!