İşaretçisiz tabanlı takip sistemlerinin eğitim alanındaki artırılmış gerçeklik uygulamalarında performas analizi
Performance analysis of markerless tracking systems for augmented reality applications in education
Yazar: CEREN AKMAN
Danışman: DR. ÖĞR. ÜYESİ ERGÜN GÜMÜŞ
Bursa Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Akıllı Sistemler Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2021
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Teknoloji geçmişten günümüze kadar olan süreçte sürekli olarak gelişmiş ve gelişimi boyunca beraberinde hep yenilikler getirmiştir. Bu yeniliklerin başında bilgisayarlar, mobil cihazlar ve son zamanlarda adından sıkça söz ettiren Artırılmış Gerçeklik kavramı gelmektedir. Bilgisayar ortamında oluşturulan ses, resim video gibi 2B veya 3B sanal örüntüleri gerçek dünya üzerine ekleyerek ortamın görsel olarak zenginleştirilmesini sağlayan Artırılmış Gerçeklik teknolojisinin gerçek dünyadan koparmadan sunmuş olduğu sanal görüntü desteği bu teknolojinin başta eğitim olmak üzere birçok alanda kullanılmasını sağlamıştır. Ayrıca bilgisayar ve mobil aygıtların günümüzde tercih edilirliğinin fazla olması Artırılmış Gerçeklik teknolojisinin bu platformlara hızlı bir şekilde entegre edilmesine neden olmuştur. Bu tez çalışmasında işaretçi yerine doğal özellikleri referans alan, yüksek hesaplama gücü ve bellek kapasitesi gerektiren işaretçisiz tabanlı model referans alınmış olup bu doğrultuda kullanılan algoritmaların performans değerlendirilmesinin yapılması, daha sonrasında uygun algoritmanın android platforma entegre edilmesi amaçlanmıştır.
Bu amaç doğrultusunda tez çalışmasında Artırılmış Gerçeklik teknolojisinin literatürdeki yeri, geçmişten bugüne nasıl geliştiği, türleri ve eğitim alanındaki yeri ele alınmış olup bu teknolojinin kullanıldığı çalışmalar incelenmiştir. İncelenen çalışmalarda klasik öğretme teknikleri yerine bu teknolojinin kullanıldığı öğretme tekniklerinin öğrenciler tarafından daha ilgi çekici ve eğlenceli olarak karşılandığı söylenmiştir. Ancak incelenen uygulama örneklerinin çoğunluğunun sisteme daha önceden tanıtılan bir işaretçi üzerine kurulu olan işaretçi tabanlı modelle geliştirildiği görülmüştür. İşaretçi tabanlı geliştirilen uygulamaların ortam bağımsızlığı sağlayamaması nedeniyle bu tez kapsamında sisteme daha önceden bir işaretçi tanıtmak yerine köşe, kenar veya şekiller gibi doğal özellikleri referans alma mantığı üzerine kurulu olan ortam bağımsızlığı sağlayan işaretçisiz tabanlı model ele alınmıştır. Yapılan çalışma da işaretçisiz tabanlı modelle Artırılmış Gerçeklik ortamı oluşturmak için gerekli olan teknolojiler incelenmiş bu doğrultuda nesne algılama, tanıma ve takip işlemleri için kullanılması gereken yüksek hesaplama gücü ve yüksek bellek kapasitesi gerektiren ORB, SIFT ve SURF algoritmalarının detaylı bir şekilde açıklaması yapılmış olup masaüstü için Netbeans platformunda, mobil cihazlar için Android Studio platformunda performans durumları analiz edilmiştir. Analiz aşaması için bir örnek video üzerinde değişiklik yapılmadan, renk değişikliği ve ölçeklendirme yapılarak üç farklı durum için özellik algılama, çıkarma, eşleştirme, takip ve çalışama süreleri test edilmiştir. Testler sonucunda elde edilen veriler, grafikler ve tablolarla desteklenip her durum için performans analizleri kıyaslanmıştır. 
Çalışmanın sonucunda yapılan kıyaslamalar neticesinde SIFT ve SURF algoritmalarının ORB algoritmasına nazaran her durum için daha fazla anahtar nokta ve özellik vektörü elde ettikleri dolayısıyla daha fazla eşleştirme yaptıkları görülmüştür. Elde edilen bu eşleştirmelere belli bir oran kullanılarak filtrelenmesiyle doğru eşleştirmeler ve RANSAC algoritması kullanılarak daha doğru olan eşleştirilmeler bulunmuş ve sanal nesnenin görüntü üzerindeki sapma miktarı her algoritma için test edilmiştir. Yapılan testler ORB algoritmasının kullanıldığı durumlarda sapma oranının daha az olduğunu göstermiştir. Diğer bir parametre olan süre açısından bakıldığında özellikle android platform için SIFT ve SURF algoritmaları ORB algoritmasına kıyasla çok daha yavaş çalışmışlardır. Bu doğrultuda uygun algoritma Artırılmış Gerçeklik ortamı için android platformların işlemci güçleri ve bellek kapasitelerine dikkat edilerek eğitim alanı için 2B geometrik şeklin 3B olarak tanıtılmasını sağlamak amacıyla OpenCV ve OpenGL kütüphanelerinin kullanımıyla geliştirilen basit bir uygulamaya entegre edilmiştir.

Abstract:
Technology is constantly evolving and brings innovations. At the beginning of these innovations are computers, mobile devices and the concept of Augmented Reality. The virtual image support of Augmented Reality technology, which provides visual enrichment of the environment by adding 2D or 3D virtual patterns such as sound, picture, video created in the computer environment to the real world, has enabled this technology to be used in many fields, especially in education. In addition, the high preference of computers and mobile devices today has enabled the rapid integration of Augmented Reality technology into these platforms. In this thesis, a markerless-based model, which takes natural attributes as a reference instead of marker, requires high computational power and memory capacity, was taken as reference, and it was aimed to evaluate the performance of the algorithms used in this direction and to evaluate the performance of the algorithms used in this direction, and then to integrate the appropriate algorithm into the android platform.
In this study, the place of Augmented Reality technology in the literature, how it develops, its types and its place in the field of education are discussed and it is said that this technology is more efficient for students when used instead of classical teaching. However, it was seen that most of the application examples examined were developed with the marker-based model introduced to the system before. Since marker-based applications cannot provide marker independence, instead of adding markers to the system beforehand, within the scope of this thesis; corners, edges or shapes are referenced. The technologies required to use markerless-based model in Augmented Reality are examined and accordingly ORB, SIFT and SURF algorithms which require high computational power and memory capacity have been examined and performance tests have been carried out on the Netbeans platform. desktop and Android Studio platform for mobile devices. For the analysis phase, the feature detection, extraction, matching, tracking and running times were tested on a sample video for three different situations without brightness, color change and scaling. The data obtained as a result of the tests were supported by graphics and tables, and the performance analyzes were compared for each case.
As a result of the study, it was seen that SIFT and SURF algorithms obtained more key points and feature vectors for each case compared to the ORB algorithm, therefore they made more matches. These matches were filtered using a certain ratio and good matches were found and better matches were found using the RANSAC algorithm and the deviation amount of the virtual object was tested for each algorithm. Tests have shown that the deviation rate is less when using the ORB algorithm and it is faster than SIFT and SURF in terms of time, especially for the mobile platform. In this direction, considering the processor power and memory capacity of the android, a simple application developed using OpenCV and OpenGL libraries has been integrated to introduce the 2D geometric shape to the education area in 3D platforms for Augmented Reality environment.