Yapay zeka tekniğiyle işitme engelliler için uzaktan iletişim sistemi
An artificial intelligence based remote communication system for hearing impaired
Yazar: ÖZER ÇELİK
Danışman: DOÇ. DR. ALPER ODABAŞ
Eskişehir Osmangazi Üniversitesi / Fen Bilimleri Enstitüsü / Matematik Bilgisayar Ana Bilim Dalı
Derece: Doktora, 2019
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Dünyada 230 milyondan fazla işitme engelli bulunurken ülkemizde bu sayı 3.5 milyon civarındadır. İşitme engelliler görsel olarak iletişim kurabildiklerinden, yaklaşık %80'i ülkelerinin dilini okumak ve yazmakta zorlanır. İletişim kurmak ve bilgiye erişmek için yalnızca işaret diline güvenirler. Bugün dünyada 124'den fazla farklı işaret dili kullanılmaktadır. Her işaret dilinin kendi semantiği ve sözdizimi vardır. 

Engelli insanların bilgi ve teknoloji kullanım oranı engelsiz insanlara kıyasla kayda değer biçimde düşüktür. Bazı durumlarda engelli insanlar telefon, televizyon ve internet gibi en temel araçlara ve hizmetlere bile erişimden mahrum olabilmektedir. Sürekli artan interaktif içeriklerin tercüman yardımıyla çevrilmeye çalışılması birçok içeriğin ya hiç çevrilmemesine veya güncel olamamasına sebep olmaktadır. Bu yüzden işaret dili çeviri sistemlerinde tercümanların yanı sıra yüksek teknoloji destekli çeviri sistemlerinin geliştirilmesi büyük öneme sahiptir. İşitme engelliler duyma becerisine sahip olmadıkları ve konuşamadıkları için engelli olmayanlarla iletişim kurmakta büyük güçlükler yaşamaktadırlar. Özellikle deprem ve diğer doğal afetler gibi acil durumlarda polis, itfaiye veya sağlık hizmetlerine erişimde işaret dili bilmeyen kişiler ile uzaktan iletişime geçme ihtiyacının olduğu durumlarda daha da artmaktadır. 

Dünyada çeşitli işaret dilleri için çeviri hizmeti sunan birkaç sistem geliştirilmiştir. Fakat Türk İşaret Dili için büyük ölçekli bir çalışma yapılmamıştır. Bu tez çalışması kapsamında, işitme engellilerin iletişimini kolaylaştırmak amacıyla interaktif bir sistem geliştirilmiştir. 3 boyutlu sanal bir asistan sayesinde girilen bir metnin anlık olarak işaret diline çevrilmesi ve işitme engellilerin yapmış olduğu hareketlerin iki farklı metotla algılanıp metne çevrilmesi üzerine çalışılmıştır. Geliştirilen bu sistemler ve VoIP sunucular kullanılarak işitme engellilerin uzaktan iletişimlerini kolaylaştıracak çözümler üzerine çalışılmıştır.

Abstract:
There are more than 230 million hearing impairments in the world. In our country, the number of hearing impairments is around 3.5 million. As hearing impaired people use visual language to communicate, nearly 80% have difficulty in reading and writing the language of their country. The majority of hearing impaired people rely solely on sign language to communicate and access information. Today more than 124 different sign languages are used in the world. 

The rate of use of information and technology for people with disabilities is considerably low compared to unhindered people. In some cases people with disabilities may be deprived of access even to the most basic tools and services such as telephone, television and internet. Since hearing impaired people do not have the ability to hear and speak, they have great difficulties in communicating with the non-disabled. Especially in emergencies such as earthquakes and other natural disasters, the need for remote communication with people who do not know sign language in access to police, fire brigade and health services is increasing. 

Several systems have been developed that provide translation services for various sign languages in the world. However, there is no large scale study for Turkish Sign Language. Within the scope of this thesis, an interactive system has been developed to facilitate the communication of the hearing impaired. Translating the entered text momentarily into sign language with the help of a 3-D virtual assistant and the translation of the sign language movements of the hearing impaired by two different methods to the text were studied. Using these systems and VoIP servers, solutions were studied to facilitate the remote communication of the hearing impaired.