Video oyun yaş etiketlerinin çok modlu biyosinyaller ve yapay zeka ile tahmini
Prediction of video game age labels with multimodal biosignals and artificial intelligence
Yazar: DURMUŞ KOÇ
Danışman: DOÇ. DR. ZÜMRÜT SATI ; DOÇ. DR. AHMET ÇAĞDAŞ SEÇKİN
İstanbul Üniversitesi / Fen Bilimleri Enstitüsü / Enformatik Ana Bilim Dalı / Enformatik Bilim Dalı
Derece: Doktora, 2022
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Bilim ve Teknoloji = Science and Technology
Dizin: Bilgisayar oyunları = Computer games ; Büyük veri = Big data ; Video oyunları = Video games ; Yapay zeka = Artificial intelligence ; Çok değişkenli veriler = Multivariate data ; Çoklu sinyal sınıflandırma = Multiple signal classificaton ; İnsan-bilgisayar etkileşimi = Human-computer interaction

Özet:
Günümüzde video oyunları en çok tercih edilen eğlence aracı olmayı başarmış ve video oyunu oyuncularının sayısı neredeyse dünya nüfusunun yarısına ulaşmıştır. Video oyunlar ulaştığı büyük oyuncu kitlesi ile toplumu olumlu ya da olumsuz etkileme potansiyeline sahiptir. Video oyunlar, farklı yaş gruplarındaki oyuncularda farklı etkiler bırakabilmektedir. Bu nedenle belirli kurum ya da şirketler video oyunların oyuncu yaşlarına uygunluk durumunu oyun içerikleri ile değerlendirerek yaş etiketlemesi yapmaktadır. Türkiye'de ise video oyun yaş etiketlemelerinin gerçekleştirildiği herhangi bir kurum, şirket ya da sistem bulunmamaktadır. 
Video oyun yaş etiketlemeleri genellikle öznellik ve yanlılık olasılığı yüksek olan anket, görüşme ve gözlem gibi yöntemler kullanılarak gerçekleştirilmektedir. Günümüzde bu yöntemlere alternatif ya da ek nesnel yöntemler kullanıldığı görülmektedir. Genellikle nesnel yöntem olarak biyosinyal ölçüm yöntemlerinden faydalanılmaktadır.  Çalışmada, çok modlu biyosinyaller ve yapay zeka yöntemleri kullanılarak video oyun yaş etiketlemesinin gerçekleştirilebileceği yeni bir yaş etiketleme sistemi tasarlanması amaçlanmıştır. Bu amaç doğrultusunda, katılımcılara PEGI yaş etiketleri ile etiketlenmiş aksiyon türündeki en popüler video oyunların tanıtım videoları izletilmiştir. Katılımcılardan tanıtım videolarını izleme sürecinde; Elektroensefalogram (EEG) ile beyin sinyalleri, Oksimetre ile kalp atış hızı ve kandaki oksijen miktarı, Galvanik Cilt Sensörü (GSR) ile cilt tepkisi ve Hareket Ölçümü Birimi (IMU) ile vücut hareketlerine ait sinyaller eş zamanlı ve zaman damgalı olarak toplanmıştır. Elde edilen ham veriler ise video oyun yaş etiketleri ile etiketlenmiştir. Etiketlenen veriler ara değer üretilerek (interpolasyon) üst örnekleme (upsampling) yapılarak yeniden örneklenmiş ve sonrasında kayan pencere tekniği (sliding window) kullanılarak birleştirilmiştir. Birleştirilen veriler sırasıyla önişlenmiş, eğitim/test olarak bölünmüş ve farklı öznitelik seçim algoritmaları kullanılarak öznitelikleri seçilmiştir. Sonrasında ise yaş etiketlerinin tahmini için NB, kNN, AdaBoost, RF, MLP ve SVM algoritmaları ile yapay zeka modelleri kurulmuştur. Modellerin çalıştırılması ve test edilmesi sonrasında en iyi tahmin performansı %96,6 ile RF modeliyle elde edilmiştir. 
Araştırma sonucunda video oyunların yaş etiketlerinin çok modlu biyosinyaller ve yapay zeka ile gerçek zamanlı olarak etiketlendiği dünyada ilk olan bir sistem geliştirilmiştir. Geliştirilen bu sistem ile manuel yaş etiketlemesi karşılaştırıldığında biyosinyaller ve yapay zeka ile yaş etiketlemesinin başarımının daha yüksek olduğu görülmüştür. Ayrıca bu çalışmada, video oyun yaş etiketlerine ait en iyi ayırt edici özniteliklerin sırasıyla IMU kaynağından elde edilen başın Z eksenindeki hareketi veren MOT.AccZ sinyali, beynin sağ oksipital lob kaynağından elde edilen POW.O2.Theta sinyali ve beynin frontal lob kaynağından elde edilen POW.F7.Gamma sinyali olduğu tespit edilmiştir.

Abstract:
Today, video games have managed to become the most preferred entertainment tool. Therefore, the number of video game players has reached almost half of the world's population. Having a number of player populations all over the world, video games have the potential to affect society positively or negatively. Video games can have different impacts on players ranging from different age groups. Hence, institutions or companies rate the video game to label it for the suitability of the game content for the age of players. There are no companies, institutions or systems to label the video games in Turkey. 
Video game age labeling is usually carried out employing methods such as questionnaires, interviews and observations, which are highly subject to subjectivity and bias. Recently, it is seen that alternative or additional objective methods are used to these approaches. Generally, biosignal measurement methods are used as an objective method. In the research, it is aimed to design a new age labeling system in which video game age labeling can be performed by using multimodal biosignals and artificial intelligence methods. For this purpose, the most popular action genre video game trailers with PEGI age labels were shown to the participants. During the process of watching the video game trailer by participants; brain signals with Electroencephalogram (EEG), heart rate and blood oxygen amount with Oximeter, skin response with Galvanic Skin Sensor (GSR), and signals of body movements with Inertia Measurement Unit (IMU) were simultaneously collected and time-stamped. The obtained raw data were labeled with the video game age labels. The labeled data were resampled by utilizing interpolation and upsampling methods. Then, the data were combined using the sliding window technique. The combined data were respectively preprocessed, divided into training/test, and their features were selected using different feature selection algorithms. Afterwards, artificial intelligence models were established with Adaboost, kNN, NB, RF, MLP and SVM algorithms to estimate the age labels. After running and testing the models, the best prediction performance was obtained using the RF model with 96.6%.
As a result of the research, a system that is the first in the world has been developed in which age labels of video games are labeled in real time with multi-modal biosignals and artificial intelligence. When this developed system is compared with manual age labeling methods, it has been observed that the performance of age labeling with biosignals and artificial intelligence is higher. Furthermore, in this study, it has been determined that the best distinguishing features of video game age labels are respectively MOT.AccZ signal which gives the movement in the Z-axis of the head obtained from the IMU source, POW.O2.Theta signal obtained from the right occipital lobe source of the brain, and POW.F7.Gamma signal obtained from the frontal lobe source of the brain.