The Primer: karar zorluğu modeli
Bu model yalnız sentetik veriyle eğitildi ve ölçüldü. Aşağıdaki metrikler, modelin üretici kuralını öğrendiğini gösterir. Gerçek oyuncuların kararlarını öngördüğünü göstermez.
Amaç
The Primer: Gece Nöbeti oyununda, oyuncu bir sahnede karar vermeden önce o kararda yanılma olasılığını
tahmin eder. p ≥ 0.5 ise oyun süre baskısını kaldırır ve ipucunu açık getirir.
Kullanılmaması gereken durumlar
- Kişi değerlendirme, not verme, işe alım ya da herhangi bir sağlık kararı.
- Oyunun dışındaki öğrenme ortamları. Model yalnız bu 6 sahneyi gördü.
- Senaryo hastanede geçse de model klinik bir araç değildir ve hasta verisi görmemiştir.
Veri
Tümü sentetik: 360 karar satırı, 60 oturum. Gerçek oturum sayısı 0, kabul için gereken 15.
Üretici kural ve tohum 13, tools/sentetik_uret.py ve README içinde yazılıdır. Yanlış karar oranı: 0.45.
Model
Ölçekleme ve lojistik regresyon, class_weight="balanced", tohum 13. Sınıf ağırlığı nedeniyle p, iyi
kalibre edilmiş bir olasılık gibi değil, bir risk puanı gibi okunmalıdır.
Metrikler
Oturuma göre gruplu 5 katlı çapraz doğrulama, katlar dışı tahminler. Ölçülen kaynak: sentetik.
| Ölçüt | Değer | Kabul eşiği |
|---|---|---|
| ROC-AUC | 0.7534 | ≥ 0.6 |
Duyarlılık (yanlis = 1, p ≥ 0.5) |
0.5494 | ≥ 0.5 |
| Doğruluk | 0.6944 | Eşik yok |
| Hep çoğunluk sınıfını söyleyen taban doğruluğu | 0.55 | Karşılaştırma için |
| Brier | 0.1976 | Eşik yok |
| ONNX ile sklearn en büyük farkı | 1.0e-07 | ≤ 0.0001 |
Sınırlar
- En büyük sınır: Veri gerçek insanlardan gelmedi. Üretici kuralının bir varsayımı yanlışsa model de aynı biçimde yanılır.
- AUC'nin yüksek çıkması beklenir, çünkü veriyi üreten kural modelin bulmaya çalıştığı biçimdedir. Başarı ölçüsü değildir.
- Gerçek oyunculardaki hız, ezber ve dikkat davranışı üreticide modellenmedi.
Sözleşme
model.onnx: girdi input, float32 [n, 7], sıra config.json içindeki features sırasıdır.
Çıktı probabilities, float32 [n, 2], sıra classes sırasıdır. Riskli sınıf 1 indeksindedir.
Üretim ortamı: Python 3.12, scikit-learn 1.9.1, onnxruntime 1.31.1.
- Downloads last month
- -