emi08/maske-modernbert-tr-bakeoff

Türkçe | English

Türkçe

maske-modernbert-tr-bakeoff — maske projesinin taban kıyaslama (bake-off) modeli. ModernBERT-TR tabanı WikiANN-tr üzerinde fine-tune edildi: kişi (PER), kurum (ORG), yer (LOC).

⚠️ Deneysel kıyaslama modelidir; baseline ile birlikte anlamlandırılır, tek başına ürün değildir.

Kullanım

from transformers import pipeline

ner = pipeline(
    "token-classification",
    model="emi08/maske-modernbert-tr-bakeoff",
    aggregation_strategy="simple",  # parçaları bütün kelimelere birleştirir
)
print(ner("Ayşe'ye 500 TL gönderdim."))

Sonuçlar — WikiANN-tr test (10.000 cümle, seqeval varlık düzeyi)

Model	Precision	Recall	F1
maske-berturk-baseline	0.923	0.934	0.929
maske-modernbert-tr-bakeoff (bu model)	0.923	0.935	0.929

2020 BERT ile 2026 ModernBERT aynı tarifte aynı F1: WikiANN-tr taban ölçek için doygun. Kazanç mimariden değil, dikey veriden (KVKK altın seti) gelecek.

Sınırlar

• Kıyaslama modelidir: "yeni taban fark yaratır mı?" sorusuna yanıt için eğitildi.
• Ek almış isimleri (Ayşe'ye, Ahmet'ten) kısmen yakalar — proje boyunca geliştirilecek.
• TCKN, IBAN, telefon gibi kural tabanlı alanlar kapsam dışıdır (ayrı katman).
• Eğitim verisi haber/ansiklopedi tarzıdır; sosyal medya ve sohbet metninde düşer.

Veri ve protokol

• Taban: ytu-ce-cosmos/modernbert-tr-base-1k (Apache-2.0, ~150M)
• Veri: WikiANN-tr — 20k cümle, otomatik etiketli
• Tarif: baseline ile birebir aynı (lr 2e-5, 3 epoch, batch 16, max_length 128, aynı seed)

English

maske-modernbert-tr-bakeoff — a base bake-off model of the maske project. ModernBERT-TR fine-tuned on WikiANN-tr: person (PER), organization (ORG), location (LOC).

⚠️ Experimental bake-off model; read together with the baseline, not a product.

Usage

Same pipeline as the baseline — swap in the model ID above.

Results — WikiANN-tr test (10,000 sentences, seqeval entity-level)

See the Türkçe table above — same numbers: 0.923 / 0.935 / 0.929, tied with the BERTurk baseline under an identical recipe.

Limits

• Bake-off model: trained to answer "does the newer base matter?"
• Suffixed names (Ayşe'ye, Ahmet'ten) only partially detected — ongoing focus.
• Rule-based entities (TCKN, IBAN, phone) out of scope; separate layer.
• News/encyclopedic training text; expect degradation on social media and chat.

Data & protocol

• Base: ytu-ce-cosmos/modernbert-tr-base-1k (Apache-2.0, ~150M)
• Data: WikiANN-tr — 20k sentences, auto-labeled
• Recipe: identical to the baseline (lr 2e-5, 3 epochs, batch 16, max_length 128, same seed)