You need to agree to share your Hugging Face information to access this model

This repository is publicly accessible, but you have to accept the conditions to access its files and content.

This model is shared for research and NON-COMMERCIAL purposes only. By requesting access you (1) accept LICENSE-WEIGHTS (CC BY-NC-SA 4.0) and the terms of the training data (section 3), and (2) declare that you will NOT use the model for hiring/evaluating people, security/surveillance, medical diagnosis, identification, lie/intent detection, or monitoring people without their consent.

Davranış Analizi v3 — Multimodal Emotion Recognition (face + speech + text) with calibrated confidence and abstention

One multimodal model that reads a short clip — video frames (facial expression), the speech signal, and the spoken text — and returns a 7-class emotion distribution (anger, disgust, fear, joy, neutral, sadness, surprise), a sentiment polarity (positive / negative / neutral), a calibrated confidence, and an explicit "I don't decide" (abstain) output when confidence is low. Trained on MELD and CMU-MOSEI; fusion transformer over ViT face features, Whisper-large-v3-turbo audio-encoder features and a fine-tuned XLM-RoBERTa text encoder, with modality dropout so it still works when a modality is missing.

This is not a lie detector, personality test or diagnostic tool. It predicts the annotated expression distribution of English TV-dialogue (MELD) and YouTube-monologue (CMU-MOSEI) data. See limitations and out-of-scope uses below.

Live demo: akadirgok/davranis-v3-demo — try text-only or video+text in the browser.

Results (official test sets, single run, frozen configuration, 95% bootstrap CI)

Benchmark	Metric	Result	Pre-registered bar
MELD test (n=2610)	weighted F1 (7 classes)	0.620 [0.600–0.639]	≥ 0.55 — passed
CMU-MOSEI test (n=3632, sentiment ≠ 0)	Acc-2	0.859 [0.848–0.871]	≥ 0.75 and above majority baseline (0.628) — passed

Honest reading of these numbers:

The text encoder carries most of the performance. Text-only reaches MELD w-F1 0.590 and MOSEI Acc-2 0.859; adding face + audio improves MELD by +0.03 and MOSEI by 0.00. Face/audio-only (no text) is clearly weaker (val: MELD ≈ 0.48, MOSEI ≈ 0.76).
Per-class MELD test F1: neutral 0.78, joy 0.58, surprise 0.54, anger 0.49, sadness 0.32, fear 0.17 (n=50), disgust 0.10 (n=68) — rare classes are weak.
Calibration (test ECE, temperature-scaled): MELD 0.045 → 0.033, MOSEI polarity 0.072 → 0.020. With the abstention threshold set on validation (~80% coverage): MELD selective accuracy 0.687 (coverage 0.82), MOSEI selective Acc-2 0.918 (coverage 0.81).
Published literature on these benchmarks is roughly MELD w-F1 0.60–0.67 and MOSEI Acc-2 0.82–0.87: this model is within that range, not state of the art.

Quick start

pip install -r requirements.txt
python cikarim_v3.py --medya clip.mp4 --metin "what was said"      # face + audio + text
python cikarim_v3.py --yalniz-metin "I can't believe it!"           # text only (fast, no vision/audio models)

Returns JSON: duygu_dagilimi (7-class probabilities), en_olasi, guven, karar (or "karar vermiyorum" = abstain), degerlik (polarity), kipler (which modalities were used), notlar, uyari. Weights are gated (non-commercial); XLM-R and Whisper components download from the Hub at first run.

Limitations (not measured / known weak)

English only (Turkish not measured); acted-emotion corpora (CREMA-D/RAVDESS) not evaluated in this version; real-world recording conditions, other cameras/noise and demographic subgroups not measured; the transcript is assumed given (the optional Whisper ASR path is unmeasured); MOSEI audio exists only for a subset of clips, so face/audio gains are learned only on MELD; label noise (MELD single-annotator, MOSEI argmax-of-intensity emotions).

Keywords: multimodal emotion recognition, audio-visual emotion, speech emotion recognition, facial expression recognition, sentiment analysis, MELD, CMU-MOSEI, XLM-RoBERTa, Whisper, fusion transformer, calibration, selective prediction, abstention.

Earlier versions: akadirgok/davranis-analizi-v1, akadirgok/davranis-v2-1-1 (measurement-grounded multi-component pipeline; v3 replaces its emotion head with a single model).

Türkçe ayrıntılı kart

Davranış Analizi v3 — tek çok kipli duygu modeli (yüz + ses + metin)

Bu bir yalan tespiti, kişilik testi ya da bir kişinin iç durumunu "okuyan" bir araç DEĞİLDİR. Model, kısa bir konuşma klibindeki yüz, ses ve söylenen metinden 7 duygu sınıfı üzerinde olasılıksal bir tahmin ve değerlik (olumlu/olumsuz/nötr) verir. Çıktı, İngilizce MELD (TV dizisi diyalogları) ve CMU-MOSEI (YouTube monologları) veri dağılımında ölçülmüştür.

Durum: v3 (A2) dondurulmuş yapılandırma — yapilandirma/v3_dondurulmus.json (kaynak sha256'ları içerir). Resmi test kümeleri tek kez koşuldu; sonuçtan sonra model/eşik ayarı yapılmadı.

1. Ne yapar

Girdi: bir klip (video/ses) ve/veya söylenen cümle. Çıktı: 7 sınıf (Korku, Mutluluk, Nötr, Öfke, Şaşkınlık, Tiksinme, Üzüntü) olasılığı + değerlik olasılıkları + kalibre güven + "karar vermiyorum" seçeneği (güven eşiğin altındaysa). Eksik kipler (ör. ses yok, yüz yok) atlanır; model eğitimde kip dropout ile buna alıştırılmıştır.

2. Mimari

Bileşen	Ayrıntı	Eğitim
Yüz	BlazeFace kırpma (kaçırırsa YuNet) → duygu7 ViT (CLS + ağız/göz/kaş bölge havuzu + 6 nokta geometrisi), 8 kare	dondurulmuş
Ses	Whisper-large-v3-turbo encoder, 16 parça	dondurulmuş
Metin	XLM-R base (jeton düzeyi, ≤64 jeton)	ince ayarlı (lr 2e-5)
Füzyon	2 katmanlı, 4 başlıklı birleşik (çapraz-kip) dikkat transformeri (d=256), CLS → 7 sınıf + değerlik başlığı	eğitilir (lr 3e-4)
Kalibrasyon	Tek sıcaklık (7 sınıf başlığı T=1.13, değerlik başlığı T=1.42; `yapilandirma/a2_yapilandirma.json`); ret eşikleri val'de ~%80 kapsam için: duygu zirve olasılığı ≥ 0.404, değerlik ikili güveni ≥ 0.735	val'de

Eğitim: MELD train (+MOSEI train) birlikte; kip dropout (yüz .30 / ses .30 / metin .20, her örnekte en az bir kip kalır); 4 epoch, 2 tohum, model seçimi MELD dev + MOSEI val üzerinde (skor = ½ w-F1 + ½ Acc-2). Önceden sabitlenmiş kabul kuralı: A2, A1'e (metin dondurulmuş) göre skorda ≥ +0,01 kazandırırsa seçilir — kazandırdı, ancak fark küçüktür (aşağıda).

3. Veri ve lisanslar

Veri / model	Kullanım	Koşul
MELD	eğitim (train/dev), test	GPL-3.0 (depo) + dizi içeriği telifi; yalnızca araştırma
CMU-MOSEI	eğitim (train/val; ses+metin), test	veri lisansı doğrulanamadı; yalnızca araştırma varsayımı. Ses yalnızca ~%13 train / %71 val / %45 test klibinde (kullanılan kopya 8071 wav içeriyor)
duygu7 (FER2013 / AffectNet / RAF-DB)	ViT yüz kodlayıcı ön eğitimi	araştırma / ticari olmayan koşullar
XLM-R base (MIT), Whisper (MIT), BlazeFace (Apache-2.0), YuNet (MIT)	bileşenler	kendi lisansları

Ağırlıklar bu verilerle eğitilmiş bileşenler içerir; veri koşulları ek olarak geçerlidir, erişim bu yüzden koşulların kabulüne bağlıdır (gated: formu dolduran ve koşulları kabul eden herkese otomatik açılır; her talep tek tek incelenmez — kabul ettiğiniz koşullardan siz sorumlusunuz). ShareAlike'in ağırlıklara etkisi netleştirilmemiştir — bu hukuki görüş değildir.

4. Sonuçlar (resmi test, tek koşu; %95 bootstrap)

Küme	Ölçüt	Sonuç	Çıta	Karar
MELD test (n=2610)	ağırlıklı F1	0,620 [0,600–0,639]	≥ 0,55	GEÇTİ
MOSEI test (n=3632, sentiment≠0, tüm test metin satırları)	Acc-2	0,859 [0,848–0,871]	≥ 0,75 ve çoğunluk tabanı üstü	GEÇTİ

MELD doğruluğu 0,630; çoğunluk sınıfı (Nötr) tabanı 0,481. MOSEI çoğunluk tabanı 0,628. MOSEI sesli alt küme (n=1630): Acc-2 0,852 (çoğunluk 0,707).
Kip katkısı: yalnız metin MELD w-F1 0,590 / MOSEI Acc-2 0,859; tam model 0,620 / 0,859. Füzyon kazancı yalnızca MELD'de (+0,03). MOSEI'de başarı tamamen metinden gelir; ses/yüz katkı vermemiştir. Metinsiz (yüz+ses) kip val'de MELD 0,48, MOSEI 0,76 civarındadır.
Sınıf bazında (MELD test F1): Nötr 0,78 · Mutluluk 0,58 · Şaşkınlık 0,54 · Öfke 0,49 · Üzüntü 0,32 · Korku 0,17 (n=50) · Tiksinme 0,10 (n=68). Nadir sınıflar zayıftır; genel skor Nötr ve sık sınıflarla yükselir.
Kalibrasyon (testte): ECE MELD 0,045 → 0,033, MOSEI değerlik 0,072 → 0,020. Val'de seçilen eşikle ~%80 kapsamda: MELD seçici doğruluk 0,687 (kapsam 0,82), MOSEI seçici Acc-2 0,918 (kapsam 0,81).
Val → test: val (model/epoch ve kalibrasyon seçimi için kullanıldığından iyimser): MELD 0,596, MOSEI 0,856; test sonuçları val'den iyi çıktı (MELD +0,024, MOSEI +0,003). A2'nin A1'e (metin dondurulmuş; val 0,587 / 0,839) göre kazancı val'de küçüktür (MELD +0,008, MOSEI +0,017; seçim kuralı eşiğini 0,003 farkla geçti); A1 test'e hiç girmedi, bu yüzden test'te A1–A2 kıyası yoktur.
Önceki sürüm (v2.1.1) sonuçları 798/800'lük örneklem üzerindeydi; bu tablo tam test kümeleridir — doğrudan kıyas değildir.
Prova: aynı değerlendirme kodu val'de çalıştırıldı ve eğitim sırasındaki val sonucunu yeniden üretti (MELD 0,5972 vs 0,5963; MOSEI 0,8558 aynı).

5. Ölçülmeyenler ve bilinen sınırlar

Türkçe ölçülmedi. Eğitim ve ölçüm İngilizcedir; Türkçe için başarı iddiası yoktur.
Oyunculu veri (CREMA-D / RAVDESS) bu sürümde kullanılmadı/ölçülmedi.
Gerçek (kendiliğinden) konuşma, farklı kamera/ışık/gürültü: MELD (TV dizisi) ve MOSEI (YouTube) dışında ölçülmedi; kalibrasyon ve eşikler bu dağılımlarda ayarlandı, başka alanlarda aktarılmayabilir.
Metin altın transkripttir. --transkript-uret (Whisper ASR) yolu ölçülmedi; ASR hataları performansı düşürebilir.
Etiket gürültüsü: MELD etiketleri dizi sahneleri için tek kişilik açıklamadır; MOSEI duygu etiketleri yoğunluk argmax'ıdır (zayıf). Değerlik (Acc-2) daha güvenilir ölçüttür.
MOSEI'de görüntü yok (yalnız ses+metin); yüz katkısı yalnız MELD'de öğrenilmiştir.
Bootstrap klip düzeyindedir; MELD'de diyalog gruplaması yapılmamıştır (aralıklar hafif dar olabilir).
Demografik performans farkları ölçülmedi.

6. Kullanım

pip install -r requirements.txt
python cikarim_v3.py --medya klip.mp4 --metin "söylenen cümle"
python cikarim_v3.py --yalniz-metin "I can't believe it!"     # yalnız metin (görüntü/ses modelleri yüklenmez)

Çıktı JSON: duygu_dagilimi, en_olasi, guven, karar (eşik altı → "karar vermiyorum"), degerlik, kipler, notlar, uyari. Girdinin ilk 30 sn'si kullanılır. İlk çalıştırmada XLM-R ve Whisper bileşenleri Hugging Face'den iner.

7. Kullanım dışı alanlar

İşe alım / kişi değerlendirme, güvenlik / gözetim, kimlik tanıma, yalan veya niyet tespiti, sağlık/ruh sağlığı teşhisi, rızası alınmamış kişilerin izlenmesi, ve çıktının tek başına bir insan hakkında karar dayanağı yapılması. Model bir kişinin iç durumunu ölçmez; MELD/MOSEI'deki etiketlenmiş ifade dağılımını tahmin eder.

8. Yeniden üretilebilirlik

Dondurulmuş yapılandırma kaynak sha256'larını (ağırlık, kod, split) ve önceden sabitlenmiş ölçütü içerir (yapilandirma/v3_dondurulmus.json). Tam sonuç dosyaları: sonuclar/a2_test_sonuc.json (test), sonuclar/a2_val_sonuc.json (val). Test politikası: her resmi test kümesi tek kez, yapılandırma dondurulduktan sonra; yalnız metrikten önce çökme halinde yeniden koşu.

Downloads last month: -; Downloads are not tracked for this model. How to track

Inference Providers NEW

Video Classification

This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for akadirgok/davranis-v3

Base model

FacebookAI/xlm-roberta-base

Quantized

(46)

this model

Dataset used to train akadirgok/davranis-v3

Space using akadirgok/davranis-v3 1

Evaluation results

Weighted F1 on MELD (official test, n=2610)
test set self-reported

0.620
Acc-2 on CMU-MOSEI (official test, n=3632)
test set self-reported

0.859