Otizm spektrum bozukluklarında kendini uyarıcı hareketlerin görsel kelime çantası yaklaşımı ve derin öğrenme yöntemleri ile tanınması
Recognition of self- stimulatory behaviours with bag-0f-visual-words approach and deep learning methods in Autism Spectrum Disorders
Yazar: SİBEL KAÇDIOĞLU
Danışman: DR. ÖĞR. ÜYESİ BARIŞ ÖZYER ; DR. ÖĞR. ÜYESİ SAEID AGAHIAN
Atatürk Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2020
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Amaç: Otizm spektrum bozuklugu (OSB), sosyal etkileşim ve iletişim eksiklikleri, sınırlı ve tekrarlanan hareketler gibi belirtileri olan nörobiyolojik bir bozukluktur. Tekrarlanan hareketler, otizm tanısında kullanılan önemli ipuçlarıdır. Bu hareketler, kolları kanat gibi çırpma, ileri-geri kafa sallama, kendi etrafında dönme gibi kendini uyarıcı hareketlerdir. Kendini uyaran davranışlar, vücut parçalarının veya nesnelerinin kalıplaşmış, tekrarlayan hareketlerini ifade eder.  Otizm tanısı için hekimlerin çocuklarla uzun süre etkileşimde bulunarak bu hareketleri gözlemlemesi gerekmektedir. Bu durum uzun süren seanslarla gerçekleştirildigi için çocuklarda otizmin erken tanısını geciktirmektedir. Bu tez çalışmasında OSB şüphesi bulunan çocukların klinik ortamdan bağımsız günlük yaşamlarında kaydedilmiş video görüntülerinden kendini uyarıcı hareketlerin klasik makine öğrenme yöntemleri ve derin öğrenme yöntemleri ile tanınması amaçlanmıştır.  
Yöntem: Bu çalışmada 4 (dört) farklı tekrarlanan hareketten meydana gelen yeni bir veri seti oluşturulmuştur. Hareketlerin algılanması ve tanınması amacı ile Görsel Kelime Çantası yaklaşımı çerçevesinde yaygın olarak kullanılan HOG, HOF, HOG-HOF, SIFT VE SURF tanımlayıcıları ile öznitelik vektörleri çıkarılmıştır. Hareketleri sınıflandırmak için MLP, GNB ve SVM sınıflandırıcıları kullanılmıştır. Ayrıca, LSTM ve 3DCNN derin öğrenme algoritmaları kullanılarak hareketler tanınmaya çalışılmıştır.
Bulgular: HOF öznitelik tanımlayıcısı ve MLP sınıflandırıcısı genel olarak deneylerde iyi sonuç vermiştir. Hareketlerin tekrarlı olmasından dolayı görsel kelime çantası yaklaşımında yeterli ve az sayıda anahtar görsel kelime kullanılması sonucu iyileştirmiştir.
Sonuç: Deneysel sonuçları incelediğimizde, HOF yöntemi 200 anahtar görsel kelime sayısında MLP sınıflandırıcısı ile %80 doğruluk gözlemlenmiştir.

Abstract:
Purpose: Autism spectrum disorder (ASD) is a neurobiological disorder that some symptoms such as deficit of social interaction and communication, limited and repeated behavior are observed in patients. Repetitive behaviors are signicant clues for diagnosis of ASD. These behaviors are self-stimulatory behaviors such as flapping arms like wings, shaking head back and forth, and spinning around itself. Self-stimulatory behaviors refers to the stereotyped, repetitive movements of body parts or objects. These repetitive behaviors, which is called self-stimulating behaviors, are described Physicians should observe and examine these self-stimulating behaviors by interacting with children for a long time that makes it difficult in early diagnosis of ASD. In this paper, it is aimed to recognize the self-stimulatory behaviors from the video recorded in the daily lives of the children with suspected ASD independent of the clinical environment with classical machine learning methods and deep learning methods.
Method: In this study, a new dataset consisting of 4 (four) different repetitive behaviours was created. In order to detect and recognize the behaviours, feature vectors are extracted with the HOG, HOF, HOG-HOF, SIFT and SURF descriptors, which are commonly used in the Bag-of-Visual-Word approach. MLP, GNB and SVM classifiers are used to classify behaviours. Additionally, LSTM and 3DCNN deep learning algorithms are used to recognize the behaviours.
Findings: The HOF features descriptor and MLP classifier generally worked well in experiments. Due to the repetition of the behaviors, using sufficient and few key visual words in the bag-of-visual-word approach improved accuracy result.
Results: When we examine the experimental results, 80% accuracy was observed in the HOF descriptor, MLP classifier and 200 key visual word.