Nvıdıa dıgıts kullanılarak yüz duygu ifadelerinin sınıflandırılması ve adli yaklaşım
Classification of facial emotion expressions and forensic approach using nvidia digits
Yazar: SEVİM ÇAĞLA DEMİR
Danışman: DOÇ. DR. GAZİ ERKAN BOSTANCI
Ankara Üniversitesi / Sağlık Bilimleri Enstitüsü / Adli Bilimler Ana Bilim Dalı
Derece: Yüksek Lisans, 2020
Konu: Adli Tıp = Forensic Medicine

Özet:
NVIDIA derin sinir ağlarını (deep neural network (DNN)) geliştirmek, eğitmek ve görselleştirmek için bir araç olan Deep Learning GPU Eğitim Sistemini (DIGITS) piyasaya sürmüştür. GPU'lar (grafik işlemci ünitesi) sayesinde işlemleri paralel hale getiren DIGITS, işlemleri CPU'lara (merkezi işlem birimi) göre yapılan çalışmalar doğrultusunda 33 kat daha hızlı sonuca kavuşturmaktadır.  Aynı zamanda bu sistemde kütüphane olarak kullanılan Torch ve web arayüzü desteği ile yürütülen çalışmaları görselleştirebilmekteyiz.

Deneysel çalışmamızda sinir ağı ve kütüphanelerden en uygun olanına karar vermek amacıyla bir test gerçekleştirmeye karar verilmiştir. McNamer testinin de çalışmamız için en uygun sinir ağı ve kütüphane eşini bulmak için uygun test yaklaşımı olacağı düşünülmüştür. Doğruluk oranını en yüksek verecek kombinasyonu seçmek için tüm varyasyonlar, GoogLenet ve AlexNet sinir ağları ile Torch ve Caffe kütüphaneleri kullanılarak McNamer testi üzerinden karşılaştırılarak değerlendirilmiştir. Bunun üzerine en iyi sonucu veren AlexNet sinir ağı ve Torch kütüphanesi kullanılmıştır. 

NVIDIA Digits üzerinden yürüttüğümüz çalışmamız için elde ettiğimiz Pierre-Luc Carrier ile Aaron Courville, AffectNet Database ve MUG Facial Expression Database veri setlerinden yararlanılmıştır. Bu üç veri setinden öncelikle deneme çalışmasında kullanılmak üzere, daha sonra ise uygun sinir ağ-kütüphane eşini bulmak ve adli yaklaşımlı çalışma yürütmek üzere iki adet model oluşturmak amacıyla iki farklı veri seti oluşturulmuştur. Daha sonra oluşturulan modeller üzerinden deneme ve adli yaklaşımlı deneyleri gerçekleştirmek adına iki farklı sınıflandırma veri seti oluşturulmuştur. 

Deneme amaçlı ve adli yaklaşım için gerçekleştirilen çalışmalardan elde edilen sonuçlar analiz edilmiştir. Adli yaklaşım için gerçek adli vakalardan alınan örnek görüntüler teste tabii tutularak adli yaklaşım deneyleri gerçekleştirilmiştir. Bu testlerden elde edilen sonuçlar analiz edildikten sonra yürütülen deneysel çalışmaların genel olarak ve adli yaklaşım açısından başarı oranları değerlendirilmiştir.

Analiz ve değerlendirmeler sonucunda yapılan çalışmanın adli açıdan yarar sağlayacağı değerlendirilmiş olup, bu sayede adli vakalardan elde edilen görüntülerin oluşturduğu büyük veri havuzlarında gerçekleştirilen veri tarama işlemi süreci daha az zaman alacağından dolayı adli vaka karşısında aksiyon almak adına zamandan kazanım sağlanacağı kanısına varılmıştır. Buna ek olarak diğer bir sorun olan adli olaylarda olay yerinden intikal eden görüntülerden oluşan olası şüphelilerin ve kurbanlarının ayrımlarının yapılmasında kolaylık sağlanacağı ve çalışan güvenlik güçleri personelinin üzerindeki yükün azalacağı öngörülmektedir. Son olarak ise güvenlik güçlerine bağlı adli vakalar üzerinde çalışmalar yürüten personelin objektif tutum sağlayamayacağı noktada bir derin öğrenme unsurunun faydasının dokunacağı düşünülmektedir.

Abstract:
NVIDIA releases a tool Deep Learning GPU Training System (DIGITS) to improve, train and visualize Deep Neural Network(DNN). According to scientific research, DIGITS, which makes parallel operations thanks to GPUs (Graphics Processing Unit), are 33 times quicker than CPUs (Central Processing Unit). Also, Torch which is used as a framework and web interface support can visualize study.

We decide to perform a test to determine the most suitable network and framework for experimental study. Then we choose Mc Namer as a most appropriate test to find the most suitable network and framework match for study. All variations to choose the combination that will give the highest accuracy rate from GoogLenet and AlexNet networks and Torch and Caffee frameworks are compared with Mc Namer test.  As a resut of test, AlexNet network and Torch framework which give the best outcome are used.

We use Pierre-Luc Carrier, Aaron Courville, AffectNet Database and MUG Facial Expression Database that we obtain for study on NVIDIA DIGITS. We make two different training datasets to create two models. First model is used for testwork and the second one is operated for suitable network-framework matching and conducting a forensic investigation. Then, two different classification data sets have been created in order to carry out trial and forensic experiments through the models.

The results obtained from studies prepared for trial and forensic approach are analyzed. For forensic approach, sample images taken from real forensic cases are tested and experiment is performed. After analyzing the results of these test, the success rate of experimental studies in general and forensic approach is evaluated.

As a result of the analysis and assesments, it is decided that the study can be useful in forensic science because the process of data scanning in the large data repositories formed by the images obtained from forensic cases would take less time. Thus, authorities can save time in order to take action against the forensic case. Moreover, it can be facilitated to discriminate possible suspects and victims with images come from the scene which can assist the security forces. Lastly, it is clear that using deep learning has some advantages in the cases that people working on forensic cases cannot be objective.