Personality-aware deception detection from behavioral cues
Davranışsal özelliklerden kişilik duyarlı aldatma algılama
Yazar: BURAK MANDIRA
Danışman: DR. ÖĞR. ÜYESİ HAMDİ DİBEKLİOĞLU
İhsan Doğramacı Bilkent Üniversitesi / Mühendislik ve Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2021
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Günlük hayatımızda neredeyse her gün aldatıcı davranışlarla karşılaşıyoruz.
Aramızdaki en güvenilir olanlar bile bazen kasıtlı veya kasıtsız olarak aldatıcı
olabilir. İnsanlar çoğu zaman yalanları tespit etmekte başarılı olamadığı için,
özellikle mahkeme davaları gibi yüksek riskli senaryolarda otomatik bir aldatma
tespit sisteminin kullanılması gerekmektedir.
Videoları girdi olarak kullanan, tam otomatik, kişiliğe duyarlı bir aldatma
algılama modeli öneriyoruz. Bildiğimiz kadarıyla, bir aldatma tespit görevinde
deneklerin kişiliğini analiz etmeyi ilk düşünen biziz. Önerilen model, analizlerinde 
deneklerin kişilik özelliklerine ek olarak hem yüz ifadesini hem de sesle ilgili
ipuçlarını kullanan çok modlu bir yaklaşımdır. Kişilik özellikleri çıkarıldıktan
sonra ifade ipuçlarına dayalı aldatma öznitelikleri ile birleştirilir. Aldatma, ses
ve kişilik modülleri, girdinin zamansal dinamiklerini daha iyi anlamak için 3DResNext ve CNN-GRU gibi uzaysal-zamansal mimarilerden oluşturulmuştur. Son
olarak, GRU tabanlı bir füzyon modeli kullanarak ifade ve ses kiplerini birleştirir.
Onerilen sistemin değerlendirmesi, gerçek hayattan alınmış mahkeme ¨
duruşmalarının kayıtlarını kullanan Real Life Trials veri seti üzerinde
gerçekleştirilmiştir. Sonuçlar, kişilik özniteliklerinin kullanımının aldatma tespiti
görevini kolaylaştırdığını göstermektedir. Aldatma özniteliklerine ek olarak kişilik
öznitelikleri de kullanıldığında, aldatma modülünün performansında %20,4'e
kadar (göreli) iyileşme gözlemlenmiştir. Bunun üzerine sesle ilgili ipuçları da
dikkate alındığında ek olarak %15,4 (göreli) iyileşme elde ediyoruz.

Abstract:
We encounter with deceptive behavior in our daily lives, almost everyday. Even
the most reliable ones among us can sometimes be deceptive either deliberately
or unintentionally. Since people are not successful at detecting lies most of the
time, it is necessary to use an automated deception detection system particularly
in high-stake scenarios such as court trials.
We propose a fully automated personality-aware deception detection model
that uses videos as input. To our knowledge, we are the first to consider analyzing
the personality of subjects in a deception detection task. The proposed model
is a multimodal approach where it uses both facial expression and voice related
cues in addition to personality traits of subjects in its analyses. After personality
traits are extracted, they are combined with deception features which are based
on expression cues. Deception, voice, and personality modules are constituted
from the spatiotemporal architectures such as 3D-ResNext and CNN-GRU to
better comprehend the temporal dynamics of the input. Finally, it combines
expression and voice modalities using a GRU based fusion model.
The evaluation of the proposed model is performed on Real Life Trials dataset
that uses the records of court trials from real life. The results suggest that
the use of personality traits facilitates the deception detection task. When the
personality features are employed in addition to deception features, there is up to
20.4% (relative) improvement on the performance of the deception module. When
the voice related cues are also considered upon that, we obtain 15.4% (relative)
improvement additionally.