Sağır insanlar için mobil uygulamalar. Kendi kendine seslendirme: metni sesle okumak için programlar Sağırlar için, iletişim için bir tablet veya not defteri

Bu tür uygulamalarla ilgili temel sorun, bu nişin az gelişmiş olmasıdır. Araştırırken 30'dan fazla uygulamaya baktım ve neredeyse tamamı İngilizce konuşan bir kitle veya Avrupa'da veya ABD'de yaşayan insanlar için tasarlanmıştı. Ancak, aşağıdaki altı uygulama bir istisnadır ve umarım birileri için faydalı olur.

Mucize Modu

Miracle Modus, otistik bir geliştirici tarafından oluşturulan bir uygulamadır. Sözlerine ve yorumlarına bakılırsa, Oyun marketi uygulama gerçekten çalışıyor. Çalışma prensibi aynı zamanda basit ve karmaşıktır: Miracle Modus, çeşitli çizgiler ve desenler çizer ve otizmli insanlar üzerinde sakinleştirici etkisi olan rahatlatıcı sesler çalar.

Diyabet Kayıt Defteri

Tip 1 ve tip 2 diyabetli kişilere yardımcı olan bir uygulama. Burada gün boyunca yediğiniz yiyeceklerle ilgili tüm bilgileri girebilirsiniz. Raporun tamamı daha sonra doktorunuza göstermek üzere Excel'e aktarılabilir.

migren dostum

Migren hastalarının yaşam tarzlarını analiz etmelerini ve hangi faktörlerin baş ağrısına yol açtığını anlamalarını sağlar. Uygulama aynı zamanda uykunuzu da izler, böylece migren ve uyku kalitesi arasındaki ilişkiyi görebilirsiniz.

Darbeler

Bumps, görme engelli kişilerin Braille alfabesini öğrenmesine yardımcı olur. Uygulama yalnızca destekler ingilizce dili, bu yüzden sadece Rusça okumayı öğrenmek isteyenler için uygundur. Bumps, alfabeyi öğrenmenin yanı sıra farklı kelimeler girmenize ve bunların Braille alfabesiyle nasıl yazıldığını görmenize olanak tanır.

Android için Braile Guide adında benzer bir uygulama var.

Forma İşaretleri

Spread Signs, sağır ve dilsiz insanların iletişim kurmasına yardımcı olacak dev bir hareket kitaplığına sahiptir. Uygulama tabanı, Rusça, Ukraynaca ve İngilizce dahil olmak üzere bir düzineden fazla dil içerir. Tek tek harfleri ve tüm kelimeleri ifade eden her iki hareketi de öğrenebilirsiniz.

Pekin'deki Beihai Üniversitesi'nden iki öğrenci, Çin'deki sağır insanlara yardım etmek için bir uygulama geliştirdi. Uygulamaya, kelimenin tam anlamıyla "ellerin sesi" anlamına gelen Shouyin adı verildi. Sağır ve dilsizlerin dilindeki işaretlerin gerçek zamanlı olarak konuşmaya çevrilmesine olanak tanır.

Uygulama bir akıllı bileklik ile birlikte çalışır ve şu an 200'den fazla karakter tanıyabilir, çevirinin doğruluğunu artırmak için her karakter farklı kişiler tarafından bin kez kaydedilmiştir. Artık tanınma oranı %95'tir.

Geliştiricilerden biri olan Young Nana Wang, sadece mesaj yoluyla iletişim kurabildiği sağır ve dilsiz bir arkadaşından ilham aldığını söyledi. cep telefonu. Çin'de nüfusun yaklaşık %5'i veya 70 milyon insan sağırdır. Şüphesiz, uygulama büyük bir başarı olacaktır. Uygulamanın resmi sürümünün Mayıs ayının sonunda yapılması planlanıyor. Benzer programlar dünyanın başka yerlerinde zaten var. Örneğin, MotionSavvy'den Uni ve Google Chats'ten sağır ve dilsiz çevirmen.

Günümüz teknolojisi, aşağıdakiler de dahil olmak üzere hızlı bir şekilde gelişmektedir: sosyal alanlar ve tıpta. Sadece çeşitli rahatsızlıklarla başa çıkmaya değil, aynı zamanda komşunuzun dünya algısı sizinkinden farklı olsa bile onu daha iyi anlamanıza yardımcı olurlar. Sağır biriyle konuşmak size yardımcı olacaktır özel uygulama VR teknolojisi, örneğin otizmi anlamanıza yardımcı olabilir, bu da sizi bu hastalıktan muzdarip olanlara daha yakın hale getirmek anlamına gelir.

Çeşitli araştırmalar, insanların %99'undan fazlasının otizmi duyduğunu, ancak yalnızca %16'sının bu zihinsel durumun ne anlama geldiğini gerçekten anladığını göstermiştir. Ve Birleşik Krallık'ta yapılan bir ankete göre, otizmli kişilerin %25'inden fazlası, hastalıklarının belirtilerini gördüklerinde restoran veya dükkan gibi halka açık bir yeri terk etmek istediler.

Bu yanlış bilgi sorunuyla başa çıkmak için İngiliz "Ulusal Otistik Topluluğu", sanal gerçeklik filmi, bu da tüm insanların böyle bir teşhisle yaşamanın nasıl bir şey olduğunu bilmesine yardımcı olur. Gmbox bunun hakkında yazdı.

Bu sanal video sizi otizmli genç bir çocuğun vücuduna alıyor ve dünyayı onun gözünden gösteriyor. Filmde bir alışveriş merkezine giriyorsunuz ve bu kalabalık yerden geçerken hissettiği muazzam duyusal yükü deneyimliyorsunuz. Gürültü, çeşitli nesnelerin bolluğu, renkler, insanların titremesi, sesleri - tüm bunlar çocuğun paniğe kapılmasına neden oluyor ki bu onun için baş etmesi çok zor.

Başka bir Alzheimer topluluğu da sizi demanslı birinin yerine koyan bir VR filmi yayınladı. A Walk Through Dementia filmi, kendinize bir fincan çay yapmak gibi bazı basit günlük aktivitelerin bu hastalığın sahibi için nasıl gerçek bir sorun haline gelebileceğini anlamanıza yardımcı olacak.

Fikir

Merhaba! Benim adım Vitaly, bir girişimin geliştiricisi ve kurucu ortağıyım. Dikkatli olun. Çocukluğumdan beri çok zayıf duyuyorum ve karım hiç duymuyor, uzun zamandır uygulama geliştirmeye girmek istedim ve yazılım sağır ve işitme güçlüğü çekenler için. Karşılaştıkları tüm sorunlar bana tanıdık geliyor.

Ben ve eşim Natalya

Daha önce Ukrayna sivil havayolları için yazılım geliştiriyordum, SIMO artırılmış gerçeklik uygulamasını oluşturdum. Teknoloji ile ilgili her şeye her zaman ilgi duymuşumdur. Ve birkaç yıl önce, bir zamanlar birlikte çalıştığım Kiev Politeknik Enstitüsündeki bir öğretmen aracılığıyla, şimdi CEO'muz olan Sergey Malyukov ile tanıştım.

Sağır ve işitme güçlüğü çeken kişiler için bir uygulama oluşturma fikri, 2013 yılında Sergey'e geldi. Bir akşam sokakta yürüyordu ve sırtında bir araba korna çalmaya başladı, Sergey hızla kenara atladı, ancak yakınlarda yürüyen çift kımıldamadı. Arkalarından uzaklaşmaları için seslendi ama onlar durdukları yerde kaldılar. Kısa süre sonra Sergei, bir çift sağır olduğunu anladı, birbirleriyle işaret dilinde iletişim kurdular. Sergey, tehlikeli sesleri tanımaya yardımcı olan uygulamaların olduğundan emindi. Sağır insanlar için mevcut uygulamaları ve gadget'ları analiz ettikten ve tehlikeli sesleri tanımaya yardımcı olacak tek bir çözüm bulamayınca böyle bir uygulama yapmak için yola çıktı. Bu süreçte birkaç ortak ona katıldı ve şimdi BeWarned, girişimin yaratıcıları tarafından kendi kendine yatırım yapıyor.

Projeyi duyar duymaz ve gelişmeleri görür görmez fikre kapıldım ve kısa sürede kurucu ortak oldum. Şu anda bir girişimin teknik gelişimi ile uğraşıyorum.

uygulama

2014 yılında, tehlikeli seslerin gerçek zamanlı olarak tanınmasını sağlayan Sound Monitor özelliği ile BeWarned uygulamasının ilk prototipi yayınlandı. İlk küçük başarıydı. Ama bu sadece başlangıçtı.

Çocukluğumdan beri teknolojiyi sevdim, sık sık bir şeyler monte ettim veya demonte ettim, bundan ne çıkacağını görmek istedim.

Yüzlerce mektup ve incelemeden, sağır insanların tehlikeli sesleri tanıyan bir uygulamadan daha fazlasına ihtiyaç duyduğu açıktı. Sağırların çözülebilecek binlerce çözülmemiş sorunu vardı. Bu mektuplara ve geri bildirimlere dayanarak, işitme engelliler için 4 teknik asistanı bir araya getiren BeWarned platformu oluşturuldu: Sound Monitor, Connect, Acil Durum Çağrısı ve Dance.

Sound Monitor, tehlikeli sesleri (çığlık, araba kornası, köpek havlaması, siren) belirleyerek güvenlik sorununu çözer. Tehlike anında uygulama, akıllı telefondaki flaşı titreterek ve yakıp söndürerek kullanıcıyı uyarıyor. Connect, sağırların başkalarıyla iletişim kurmasına yardımcı olur - metni konuşmaya dönüştürür ve tersi de geçerlidir. Dans, müzik parçalarını titreşime dönüştürerek hissetmenizi sağlar, ışık sinyalleri ve dalgalanma görsel EQ. Acil Durum Çağrısı, kullanıcının tehlikeli bir durumdayken yardım için sevdiklerini aramasına yardımcı olur.

Daha fazla video bulabilirsiniz bizim kanalımızda

2016 yazında, platformu ABD'de beta olarak test ettik. Sonuç olarak, kullanıcıların %88,9'u uygulamayı arkadaşlarına tavsiye edeceklerini bildirdi.

BeWarned'i geliştirmenin en zor kısmı, geliştirmek için birkaç yıl harcadığımız Sound Monitor'du. Tehlikeli sesleri tanıma programı, sinir ağlarına dayanmaktadır. İki tür sinir ağı denedik: klasik çok katmanlı algılayıcı ve evrişimli sinir ağı. Ama sonra Hidden Markov Modelini denemeye karar verdik, görevlerimize en uygun model buydu.

Algoritmanın dayanacağı bir veri tabanı oluşturmak için, algoritmanın gelen sesleri tanıyacağı ve bunları ait olarak belirleyeceği bir araba sinyali gibi bir tür tehlikeli sesin birçok varyantını kendimiz kaydettik. belirli bir tür. Bununla birlikte, çalışma sırasında, tanıma algoritmasının gelen tüm sesleri yalnızca mevcut kategorilere atfetmesiyle ilgili bir sorun yaşadık: bir araba sinyali, bir çığlık, bir polis sireni sesi ve havlayan bir köpek. Örneğin, biri güldüyse, program onu ​​bu kategorilerden birine ait olarak tanıdı. Bu sorunu çözmek için sesleri, örneğin frekanslara ve diğer özelliklere göre bölümlere ayırmamız gerekiyordu. Sonuç olarak, ek bir belirsiz ses türünün tanıtılmasına izin verdi.

BeWarned platformunun piyasaya sürülmesinden bir süre sonra, kullanılabilirliği artırmak için önemli değişiklikler yapmaya karar verdik: her şeyi kökten basitleştirdik ve sağır insanların algısına uyarladık. Bu yüzden uygulamaları ayrı ayrı yeniden yayınladık.

Aralık ayında, BeWarned platformunun bir işlevinden bağımsız bir uygulamaya dönüşen BW Dance (Android, iOS) piyasaya sürüldü. BW Dance, sağır ve işitme güçlüğü çeken kişilerin en sevdikleri şarkılar eşliğinde dans etmelerini sağlar. Kullanıcı favori şarkıları çalma listesine ekler ve uygulama müziği ekranda titreşimlere, flaşlara ve animasyonlara dönüştürür. Kullanıcı müziği görsel oynatıcı aracılığıyla da hissedebilir. BW Dance, hem Ukrayna'daki hem de yurtdışındaki kullanıcılar tarafından olumlu karşılandı.

O zamandan beri, sağır ve işitme güçlüğü çeken kişilerin işiten kişilerle iletişim kurmasını sağlayan bir uygulama olan Bewarned tarafından Connect'i (Android, iOS) piyasaya sürdük. Uygulamada bir veya daha fazla kişiyle sohbet etmeye başlamak için, BAŞLAT düğmesine basmanız ve muhatabın konuşmasına izin vermeniz yeterlidir, ardından uygulama konuşmayı sağır bir kişinin okuyabileceği bir metin mesajına dönüştürür. Uygulama aynı zamanda metni konuşmaya çeviriyor, sağır bir kişinin söylemek istediğini yazması gerekiyor. Ayrıca, bir kafede kahve siparişi vermek gibi basit, sıklıkla tekrar eden durumları simüle eden bir dizi şablon geliştirdik. Bu kalıplarla, sağır bir kişi işiten bir kişiye hızlı bir şekilde bir şeyler iletebilir. Ayrıca her sağır kişinin kişisel amaçları için ek şablonlar oluşturma olanağı sağladık.

sonuçlar

Ukrayna'da gazeteciler aktif olarak bize yazmaya başladı, STB, 1 + 1, Kanal 5 ve diğerleri tarafından hakkımızda hikayeler çekildi. İnsanların duymamaya önem verdiğini gördük ve ayrıca basitlik ve kullanılabilirlik kaygısının doğru yönde atılmış bir adım olduğundan emin olduk. Doğru yolda olduğumuzu anladık.

Eşim ve ben Kanal 5 gazetecileriyle iletişim kuruyoruz.

30 Ocak'ta Product Hunt'ta Connect by Bewarned'i başlattık ve günün İLK 5'ine girmenin yanı sıra resmi posta listesine girdik. Product Hunt'ta ürünümüze yapılan yorumlarda, Fransızca ve hatta Farsça yerelleştirmelerin geliştirilmesine yardımcı olacak teklifler aldık. Halihazırda mevcut olan dört yerelleştirmeyle (İspanyolca, Rusça, Ukraynaca ve İngilizce) birlikte, küresel hedefimize daha da yaklaşabileceğiz: sağır insanlar için hayatı kolaylaştırmak.

BT çalışanlarının kendilerine verilen becerileri diğer insanların yararına kullanmaları gerektiğine inanıyorum. Küçük ama başarılı deneyimimiz, yeni uygulamaların diğer insanların hayatlarını önemli ölçüde değiştirebileceğini gösteriyor. Bu nedenle, Bewarned'in Connect'inde somutlaşan fikir üzerinde çalışmaya devam edeceğiz: sağırlar ve işitenler arasındaki iletişimdeki engelleri aşmak, dünyada yaklaşık 400 milyon kişi var.

BeWarned ekibi soldan sağa: Ben, Evgeny, Evgeniya, Ivan, Yulia, Sergey, Andrey, Ilona, ​​​​Ira, Anton, Andrey (şimdi bu fotoğraftakinden bile daha fazlayız :))

Benim gibi insanlar işiten bir kişiyle iletişim kurmaları gerektiğinde genellikle sorun yaşar: bir polis, bir doktor, bir bankacı. Yasal olarak, duyanlarla eşit haklar ve hizmetlere ve hizmetlere eşit erişim garanti edilmektedir. Ancak gerçekte, olasılıklarımız önemli ölçüde sınırlıdır. Bu nedenle gerçekten küresel bir görevi üstlenmeye karar verdik: küresel bir elektronik altyapı, sağır insanların işiten insanlar için mevcut olan tüm hizmetlere erişimini kolaylaştıracak: bankalar, hastaneler, taksiler, vb. Şu anda bu konu üzerinde çalışıyoruz.

Çok basit adımlar telefonla konuşmak, merdiven inmek, hatta sütün son kullanma tarihini belirlemek gibi şeyler engelliler için zorlayıcı hale gelebiliyor. Ancak, bu sorunlardan bazıları bir akıllı telefon kullanılarak başarılı bir şekilde çözülebilir.

Seçimin tanıtılması mobil uygulamalar engellilerin hayatını kolaylaştırıyor.

Konuşmayı tanıyan uygulamalar

Yandex.Sohbet

Yandex kısa bir süre önce, sağır ve işitme güçlüğü çeken kişilerin konuşulan dili metne çevirerek arkadaşları ve yabancılarla iletişim kurmasına yardımcı olan bir uygulama yayınladı.

Uygulama konuşmayı dinleyebilir ve tanıyabilir - size söylenen her şey akıllı telefon ekranında metin olarak görüntülenir ve basılı sözcükleri yüksek sesle telaffuz eder.

Uygulama, bir grup MIPT öğrencisi tarafından tasarlanıp geliştirildi ve Yandex SpeechKit konuşma tanıma teknolojisi tarafından destekleniyor.

RogerSes

RogerVoice, işitme engellilerin muhataplarıyla telefonda konuşabilecekleri bir uygulamadır. Uygulama, sesi metne dönüştürmek için konuşma tanıma teknolojisini kullanır, böylece sağır insanlar diğer kişinin söylediklerini okuyabilir.

Uygulama sayesinde ortaya çıktı başarılı Kickstarter kampanyası – uygulama şu anda beta aşamasındadır ve RogerVoice web sitesinden indirilebilir.

Duymanıza yardımcı olan bir uygulama

şimdi duy

Bu uygulama ile işitme engelli kullanıcılar, halka açık bir yerde, toplantıda vb. Bulundukları duruma göre sesi ayarlayabilirler. Bunu yapmak için, akıllı telefona, arka planı veya ön planı optimize etmek için sesin uygun ayarlarla sağlandığı kulaklıklar bağlanır.

Uygulama, Hollandalı bir işitme cihazı üreticisi olan ExSilent tarafından, işitme cihazlarını kullanabilen ancak henüz buna hazır olmayan kişiler için geliştirilmiştir.

Merhaba!

"Ekmek bedeni besler, kitap ise zihni besler"...

Kitaplar modern insanın en değerli zenginliklerinden biridir. Kitaplar eski zamanlarda ortaya çıktı ve çok pahalıydı (bir kitap bir inek sürüsüyle değiştirilebilirdi!). Günümüz dünyasında kitaplar herkese açık! Onları okuyarak daha okur yazar hale geliriz, ufkumuz ve yaratıcılığımız gelişir. Ve genel olarak, birbirlerine aktarmak için daha mükemmel bir bilgi kaynağı henüz bulamadılar!

geliştirme ile bilgisayar Teknolojisi(özellikle son 10 yılda) - sadece kitap okumak değil, dinlemek de mümkün hale geldi (yani okuyacaksınız) özel program, erkek veya kadın sesi). Sizlere seslendirme için yazılım araçlarından bahsetmek istiyorum.

Olası Kayıt Sorunları

Program listesine geçmeden önce, ortak bir sorun üzerinde durmak ve bir programın metin okuyamadığı durumları ele almak istiyorum.

Gerçek şu ki, ses motorları var, farklı standartlarda olabilirler: SAPI 4, SAPI 5 veya Microsoft Konuşma Platformu (çoğu metin oynatma programında bu araç seçeneği vardır). Bu nedenle, sesli okuma programına ek olarak bir motora ihtiyacınız olması mantıklıdır (hangi dilde okunacağınıza, hangi sesle: erkek veya kadın vb.).

konuşma motorları

Motorlar ücretsiz ve ticari olabilir (doğal olarak, en iyi kalite ses reprodüksiyonu ticari motorlar tarafından sağlanır).

SAPI 4. Araçların eski sürümleri. Modern PC'ler için önerilmez. eski sürümler. SAPI 5 veya Microsoft Speech Platform'a bakmak daha iyidir.

SAPI 5. Hem ücretsiz hem de ücretli modern konuşma motorları. İnternette onlarca SAPI 5 konuşma motoru (hem kadın hem de erkek sesli) bulabilirsiniz.

En iyilerinden biri en iyi programlar metni okumak için PC'nizin sadece okumaktan daha fazlasını okumasına izin verir basit dosyalar txt formatında değil, aynı zamanda haberler, RSS, internetteki herhangi bir web sayfası, e-posta vesaire.

Ek olarak, metni bir mp3 dosyasına dönüştürmenizi sağlar (daha sonra bunu herhangi bir telefona veya mp3 çalara indirebilir ve örneğin yolda dinleyebilirsiniz). Onlar. sesli kitapları kendiniz oluşturabilirsiniz!

IVONA programının sesleri gerçek seslere çok benziyor, telaffuzları yeterince kötü değil, kekelemiyorlar. Bu arada program okuyanlar için faydalı olabilir. yabancı Dil. Bu sayede belirli kelimelerin doğru telaffuzlarını dinleyebilirsiniz, döner.

SAPI5'i destekler, ayrıca harici uygulamalarla (örneğin, elma iTunes, Skype).

Örnek (son makalelerimden birinin kaydı)

Eksilerden: Bazı yabancı kelimeleri yanlış vurgu ve tonlama ile okur. Genel olarak, bir derse / derse giderken örneğin bir tarih kitabından bir paragraf dinlemek yeterince kötü değildir - hatta bundan daha fazlası!

Balabolka

Kitaplarla çalışmak için mükemmel bir program: okuma, kataloglama, doğru olanı arama vb. Diğer programların okuyabileceği standart belgelere ek olarak (TXT-HTML, HTML-TXT, TXT-DOC, DOC-TXT, PDB-TXT) , LIT-TXT , FB2-TXT vb.) ICE Kitap Okuyucu .LIT, .CHM ve .ePub dosya biçimlerini destekler.

Ek olarak, ICE Book Reader, yalnızca okumanıza değil, aynı zamanda mükemmel bir masaüstü kitaplığı da yapmanıza olanak tanır:

• kitapları saklamanıza, işlemenize, kataloglamanıza izin verir (250.000 kopyaya kadar!);
• koleksiyonunuzun otomatik sıralaması;
• "çöplüğünüzden" bir kitap için hızlı bir arama (özellikle çok sayıda kataloglanmamış literatürünüz varsa doğrudur);
• ICE Book Reader'ın veritabanı motoru, türünün çoğu programından üstündür.

Program ayrıca metinleri seslendirmenize de olanak tanır.

Bunu yapmak için program ayarlarına gidin ve iki sekmeyi yapılandırın: "Mod" (sesle okumayı seçin) ve "Konuşma sentezi modu" (doğrudan konuşma motorunun kendisini seçin).

konuşmacı

Sakrament Talker ile bilgisayarınızı "konuşan" bir sesli kitaba dönüştürebilirsiniz! Sakrament Talker destekler RTF formatları ve TXT, dosya kodlamasını otomatik olarak tanıyabilir (muhtemelen, bazen bazı programların bir dosyayı metin yerine "çatlaklarla" açtığını fark etmişsinizdir, ancak bu Sakrament Talker'da imkansızdır!).

Ek olarak, Sakrament Talker yeterince büyük dosyaları oynatmanıza, belirli dosyaları hızlı bir şekilde bulmanıza olanak tanır. Sesli metin sadece bir bilgisayarda dinlenemez, aynı zamanda bir mp3 dosyasına kaydedilebilir (daha sonra herhangi bir oynatıcıya veya telefona kopyalanabilir ve PC'den dinlenebilir).

Genel olarak, tüm popüler ses motorlarını destekleyen oldukça iyi bir program.

Hepsi bugün için. Günümüz programlarının metni hala tam olarak (% 100 niteliksel olarak) okuyamamasına rağmen, bir kişi onu kimin okuduğunu belirleyemez: bir program veya bir kişi ... Ama bence bir gün programlar buna ulaşacak: bilgisayarların gücü büyür, motorların hacmi büyür (en karmaşık konuşma biçimleri bile giderek daha fazla dahil) - bu, programdan gelen sesin çok yakında sıradan insan konuşmasından ayırt edilemez hale geleceği anlamına mı geliyor?!