Görme engellilere yönelik, ortamda bulunan nesnelerin bulut bilişim görüntü servisleri ile tespit edilmesi
Detection of objects in the environment with cloud computer visual services for the visually impaired
Yazar: FATMA YAZICI
Danışman: DR. ÖĞR. ÜYESİ EMRE ÜNSAL
Sivas Cumhuriyet Üniversitesi / Fen Bilimleri Enstitüsü / Optik Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2020
Konu: Bilim ve Teknoloji = Science and Technology

Özet:
Dijital görüntü işleme teknikleri kullanılarak resim üzerinde nesnelerin tespit edilmesi ve isimlendirilmesi eskiden beri süre gelen bir çalışma konusu olmuştur. Günümüzde, görüntü işleme teknikleri dahil olmak üzere birçok farklı alanda hesaplama maliyetlerini düşürmek ve algoritma hızlarını artırmak amacıyla bulut bilişim servisleri kullanılmaya başlamıştır. Bulut bilişim servislerinin kullanılması herkes için kolaylık sağlamasının yanında görme engelli bireylerimiz içinde büyük avantajlar sağlayarak onlara teknolojik bir göz olmuştur. Bu tez kapsamında, görme engelliler için bulut bilişim teknolojilerinin getirdiği yenilikler kullanılarak kamera ile elde edilen görüntü üzerinde bunan nesnelerin tespit edilmesi amaçlanmıştır. Bilgisayar kamerası ile alınan resimler üzerinde Visual Studio.Net ortamında CSharp dili ve Google tarafından sağlanan bulut servisleri kullanılarak bir görüntü işleme uygulaması gerçekleştirilmiş ve görüntü üzerinde tespit edilen nesneler yazılı formatta kullanıcıya sunulmuştur. Sistem öncelikle bilgisayarın kamerasını açarak görüntüyü yerel diske kaydetmektedir. Bilgisayar üzerinde kaydedilen resimler web tarayıcısı aracılığı ile Platform As A Service (Servis Olarak Platform) katmanında Google Firması Tarafından Sağlanan "Application Engine" üzerinde bulut veri depolama servisleri kullanılarak buluta yüklenir. Ardından Google bulut depolama servisi üzerinde bulunan görüntü "Google Computer Vision API" olarak adlandırılan sayısal görüntü işleme servisine aktarılarak burada resim üzerinde bulunan nesnelerin sınıflandırma yöntemleri ile k-means algoritması kullanılarak tespit edilmesi sağlanır. Bu işlemden sonra, resim üzerinde tespit edilen nesneler "Google AutoML Vision" olarak isimlendirilen bulut makine öğrenmesi servisine aktarılarak anlamlandırılırlar. Sonuç olarak, tespit edilen ve anlamlandırılan nesneler önerilen uygulama ara yüzü ile kullanıcıya yazılı bir formatta sunmaktadır. Yazılı olarak sunulan format "Microsoft Speech Object Library" kütüphanesi kullanılarak seslendirilmekte, görme engelli bireylerimize yardımcı olmaktadır.

Abstract:
Identifying and naming objects on painting using digital image processing techniques has been an ongoing subject of study for a long time. Today, cloud computing services have begun to be used in many different areas, including image processing techniques, in order to reduce computational costs and increase algorithm speeds. The use of cloud computing services not only provides convenience for everyone, but also provides great advantages for our visually impaired individuals and has become a technological eye for them. Within the scope of this thesis, it is aimed to detect the objects on the image obtained with the camera by using the innovations brought by cloud computing technologies for the visually impaired. An image processing application was implemented on the images taken with a computer camera using CSharp language in Visual Studio.Net environment and cloud services provided by Google, and the objects detected on the image were presented to the user in written format. The system firstly opens the computer's camera and saves the image to the local disk. Pictures recorded on the computer are uploaded to the cloud using cloud data storage services on the "Application Engine" provided by Google Company at the Platform As A Service layer via a web browser. Then, the image on the Google cloud storage service is transferred to the digital image processing service called "Google Computer Vision API", and it is ensured that the objects on the image are detected using the classification methods and the k-means algorithm. After this process, the objects detected on the picture are transferred to the cloud machine learning service called "Google AutoML Vision" and made sense. As a result, the detected and interpreted objects are presented to the user in a written format with the proposed application interface. The format presented in written form is voiced using the "Microsoft Speech Object Library" library and helps our visually impaired individuals.