Video etiketleme ve akıllı arama uygulamasının geliştirilmesi
Development of video tagging and smart search application
Yazar: DİLŞEN YILDAR HAVAYLAR
Danışman: PROF. DR. MURAT OSMAN ÜNALIR
Ege Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Bilimleri Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Bilim ve Teknoloji = Science and Technology

Özet:
Sağlık bilimlerinde, eleştirel düşünme, problem çözme ve tedavi problemlerinin belirlenmesi ve çözülmesine yönelik beceriler genellikle ders anlatımına dayalı klasik sınıf ortamlarında pekiştirilmektedir. Bu teknik sağlık müfredatının yıllardır temeli olmasına rağmen, öğrenciler genellikle gerçek hasta bakımı ortamında kavramları uygulamakta zorlanmaktadırlar. Teknolojideki gelişmeler, çeşitli yazılım uygulamaları ile öğretim üyelerine ve öğrencilere, sınıf ile klinik uygulama arasındaki boşluğu doldurmalarına imkan tanımıştır. Bu tez çalışmasında, Psikiyatri alanında farklı deneyimdeki kişiler tarafından, video içindeki yüz ifadelerine psikiyatride belirtilen ölçeklere göre girebileceği anahtar kelime bilgisi ile öğrencilerin klinik eğitimine yardımcı olabilecek Video Etiketleme ve Akıllı Arama Sistemi (VEAAS) adı verilen bir uygulama hazırlanmıştır. VEAAS, videoların sistemi kullanan kullanıcılar tarafından görüntülenebilir ve anahtar kelime araması yapılabilir hale getirilmiştir. İnsan yüzlerini içeren çeşitli videolar üzerinde yüz duygu sınıflandırılması yapılmıştır. Elde edilen yüz ifadesi bilgileri ile uzmanlara psikiyatrik ölçeklere göre anahtar kelime girmesi için öneri yapılabilmektedir. Duygu tanımada uygulanan Konvolüsyonel Sinir Ağı (Convolutional Neural Network-CNN) mimarisi ile oluşturulan model, yedi evrensel yüz ifadesi örneklerini içeren açık kaynak FER2013 veri seti üzerinde eğitilmiştir. Bu model ile yüz ifadelerinin algılanması ve videonun yakalanan yüz ifadelerinde duraklatılarak anahtar kelime girilebilmesi imkanı tanınmıştır. Yüz ifadesi tanıma için kullanılan derin öğrenme modeli Google Colab (GC) kullanılarak oluşturulmuştur. 

Anahtar Sözcükler: Video Etiketleme, Etiket Arama, Yüz İfadesi Tanıma, Duygu Tanıma, Görüntü Sınıflandırma, Derin Öğrenme, Konvolüsyonel Sinir Ağı, Psikiyatri, Google Colab.

Abstract:
In the health sciences, skills for critical thinking, problem-solving, and identifying and solving therapeutic problems are often reinforced in lecture-based classic class environments. Although this technique has been the foundation of the healthcare syllabus for years, students often find it challenging to apply the concepts in a real-world patient care environment. Technology advancements have allowed lecturers and students to bridge the gap between the classroom and clinical practice, with various software applications. In this thesis, an application called the Video Labeling and Intelligent Search System (VLISS) was prepared by people with different experiences in the field of psychiatry, such as assistants, experts, and faculty members, with the label they can enter into the facial expressions in the video according to the scales specified in psychiatry, and which can help the clinical education of assistants and students. VLISS has made videos viewable and label searchable by users of the system. Facial emotion classification has been performed on various videos containing human faces. With the facial expression information obtained, suggestions would be made for specialists to insert labels according to psychiatric scales. The model created with the Convolutional Neural Network (CNN) architecture applied in emotion recognition is trained on the open-source FER2013 dataset containing seven universal facial expression examples. This model provides to detect facial expressions and inserts labels by pausing the video on the captured facial expressions. The CNN model used for facial expression recognition was created using Google Colab (GC). 

Keywords: Video Labeling, Label Search, Facial Expression Recognition, Emotion Recognition, Image Classification, Deep Learning, Convolutional Neural Network, Psychiatry, Google Colab