ertoluk/ai-metin-dedektor

AI Metin Dedektörü

Bir metnin yapay zekâ ile yazılmış olup olmadığını tahmin eden ikili sınıflandırıcı. Türkçe ve İngilizce. Temel model: xlm-roberta-base.

Sınıflar: 0 = insan, 1 = AI

Ölçümler (test seti)

dil	örnek	AUC	F1	yanlış suçlama	kaçırma
en	162	0.999	0.961	5.7%	1.3%
tr	258	0.991	0.969	4.7%	1.6%

Karar eşikleri

Bu model ikili karar için değil, üç bantlı kullanım için kalibre edildi:

• skor < 0.480 → insan yazmış
• 0.480 – 0.950 → emin değilim (insan incelemesi gerekir)
• skor > 0.950 → AI yazmış

Eşikler, insan metnine yanlışlıkla "AI" deme oranını %2 seviyesinin altında tutacak şekilde doğrulama setinden hesaplandı.

Sınırlar

• 60 kelimenin altındaki metinlerde güvenilmez.
• Yeniden yazılmış / parafraz edilmiş AI metinlerini kaçırabilir.
• Eğitim verisi haber ve ansiklopedi metinlerine dayanır; çok farklı bir alanda (şiir, teknik doküman, sohbet kaydı) performans düşer.
• Bu bir kanıt aracı değildir; kimseyi tek başına bu skora dayanarak suçlamayın.

Kullanım

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

tok = AutoTokenizer.from_pretrained("ertoluk/ai-metin-dedektor")
model = AutoModelForSequenceClassification.from_pretrained("ertoluk/ai-metin-dedektor").eval()

g = tok(metin, truncation=True, max_length=256, return_tensors="pt")
with torch.no_grad():
    ai_olasiligi = torch.softmax(model(**g).logits, -1)[0, 1].item()