emi08/maske-berturk-baseline

Türkçe | English

Türkçe

maske-berturk-baseline, Türkçe metinlerde kişi (PER), kurum (ORG) ve yer (LOC) isimlerini bulan deneysel bir NER modelidir. maske projesinin 1. aşama referans modelidir: BERTurk tabanına, WikiANN-tr üzerinde fine-tune yapıldı.

⚠️ Deneysel baseline — üretim kullanımı için hazır değildir.

Kullanım

from transformers import pipeline

ner = pipeline(
    "token-classification",
    model="emi08/maske-berturk-baseline",
    aggregation_strategy="simple",  # alt parçaları birleştirip bütün kelimeyi verir
)
print(ner("Ayşe'ye 500 TL gönderdim, makbuzu Ahmet Bey'in e-postasına yazdım."))

Değerlendirme

WikiANN-tr test bölümünde (10.000 cümle) seqeval ile, varlık düzeyinde ölçüldü:

Metrik	Skor
Precision	0.923
Recall	0.934
F1	0.929

Not: WikiANN otomatik etiketli ve haber/ansiklopedi tarzıdır; bu skorları gerçek Türkçe metinindeki performansın üst sınırı olarak okuyun. Gerçek metin ölçümü aşama 2'deki altın test setiyle gelecek.

Sınırlar

• Ek almış isimler (Ayşe'ye, Ahmet'ten) kısmen yakalanır — projenin ana geliştirme konusu budur.
• TCKN, IBAN, telefon gibi kural tabanlı alanlar bu modelin kapsamı dışındadır; ayrı bir kural katmanı hedefleniyor.
• Eğitim verisi haber/ansiklopedi tarzıdır (WikiANN); sosyal medya ve sohbet metninde performans düşebilir.
• Bu model bir anonimleştirme aracı değildir; tespit ≠ anonimleştirme. Kritik akışlarda insan denetimi gerekir.

Karşılaştırma

Aynı değerlendirme betiği, WikiANN-tr test bölümünün tamamı (10.000 cümle) üzerinde; etiket düzeyinde seqeval precision/recall/F1:

Model	Precision	Recall	F1
emi08/maske-berturk-baseline	0.923	0.934	0.929
savasy/bert-base-turkish-ner-cased	0.919	0.930	0.925
Werea-co/Werea-TR-NER	0.907	0.917	0.912
akdeniz27/bert-base-turkish-cased-ner	0.699	0.649	0.673

Notlar:

• Dört model de aynı betik ve aynı test bölümüyle ölçülmüştür; farklı veri kümeleri üzerinde yapılan değerlendirmelerle karşılaştırılamaz.
• savasy ile arasındaki fark (0.004 F1) eğitim rastgeleliği sınırındadır; kesin bir üstünlük iddiası değildir.
• Werea ile arasındaki fark (0.017 F1) bu sınırın üzerindedir ve Werea'nın kendi kartında bildirdiği 0.917 F1 ile uyumludur. Başlıca fark taban modeldir: Werea 32 binlik vocab'lı dbmdz/bert-base-turkish-cased tabanını, maske ise 128 binlik vocab'lı dbmdz/bert-base-turkish-128k-cased tabanını kullanır.
• akdeniz27/bert-base-turkish-cased-ner WikiANN ile değil Küçük (2016) Türkçe NER veri kümesiyle eğitildiğinden, WikiANN-tr üzerindeki düşük skoru model kalitesinden çok eğitim/test verisi uyuşmazlığını yansıtır.
• WikiANN otomatik etiketli, haber tarzı bir veri kümesi olduğundan bu skorlar gerçek metinlerde üst sınırdır; gerçek metin performansı aşama 2'deki altın test setiyle ölçülecektir.

Eğitim

Özellik	Değer
Taban model	dbmdz/bert-base-turkish-128k-cased (MIT)
Eğitim verisi	WikiANN-tr — 20.000 cümle, otomatik etiketli
Etiketler	O, B/I-PER, B/I-ORG, B/I-LOC
Donanım	T4 GPU (Colab/Kaggle), ~15 dakika

Yol haritası

• Gerçek Türkçe metinden, insan doğrulamalı altın test seti
• Kural katmanı: TCKN/IBAN kontrol toplamı doğrulayıcıları (sıfır yanlış pozitif hedefi)

Benzer modeller

• cagrigungor/pii-guard-turkish-270m — talimat okuyan Türkçe maskeleme modeli (53 etiket, Gemma tabanlı)
• OpenMed/privacy-filter-multilingual — 16 dil (Türkçe dahil), 54 PII kategorisi
• savasy/bert-base-turkish-ner-cased — aynı BERTurk+WikiANN tarifiyle eğitilmiş ilk dönem modeli

English

maske-berturk-baseline is an experimental Turkish NER model that finds person (PER), organization (ORG) and location (LOC) names in text. It is the stage-1 reference baseline of the maske project: BERTurk fine-tuned on WikiANN-tr.

⚠️ Experimental baseline — not production-ready.

Usage

from transformers import pipeline

ner = pipeline(
    "token-classification",
    model="emi08/maske-berturk-baseline",
    aggregation_strategy="simple",  # merges subword pieces into whole words
)
print(ner("Ayşe'ye 500 TL gönderdim, makbuzu Ahmet Bey'in e-postasına yazdım."))

Evaluation

Measured on the WikiANN-tr test split (10,000 sentences), seqeval, entity level:

Metric	Score
Precision	0.923
Recall	0.934
F1	0.929

Note: WikiANN is auto-labeled and news/encyclopedia-style; read these scores as an upper bound for real-world Turkish text. Real-text measurement will come with the golden test set in phase 2.

Limits

• Suffixed names (Ayşe'ye, Ahmet'ten) are only partially caught — the project's main focus.
• Rule-based fields (TCKN, IBAN, phone) are out of scope; a separate rule layer is planned.
• Trained on news/encyclopedic text (WikiANN); expect degradation on social media and chat.
• This model is not an anonymization tool; detection ≠ anonymization. Human review is required in critical pipelines.

Comparison

All four models measured with the same evaluation script on the full WikiANN-tr test split (10,000 sentences) — entity-level seqeval precision/recall/F1:

Model	Precision	Recall	F1
emi08/maske-berturk-baseline	0.923	0.934	0.929
savasy/bert-base-turkish-ner-cased	0.919	0.930	0.925
Werea-co/Werea-TR-NER	0.907	0.917	0.912
akdeniz27/bert-base-turkish-cased-ner	0.699	0.649	0.673

Notes:

• All four models were measured with the same script on the same test split; results are not comparable with evaluations on other datasets.
• The gap to savasy (0.004 F1) is within training-randomness noise; not a claim of superiority.
• The gap to Werea (0.017 F1) is above that noise level and is consistent with the 0.917 F1 reported on Werea's own model card. The main difference is the base model: Werea fine-tunes the 32k-vocabulary dbmdz/bert-base-turkish-cased, while maske fine-tunes the 128k-vocabulary dbmdz/bert-base-turkish-128k-cased.
• akdeniz27/bert-base-turkish-cased-ner was trained on the Küçük (2016) Turkish NER dataset rather than WikiANN, so its low score on WikiANN-tr reflects a train/test data mismatch more than model quality.
• WikiANN is auto-labeled and news-style, so these scores are a ceiling for real-world text; real-text performance will be measured with the gold test set in phase 2.

Training

Item	Value
Base model	dbmdz/bert-base-turkish-128k-cased (MIT)
Training data	WikiANN-tr — 20k sentences, auto-labeled
Labels	O, B/I-PER, B/I-ORG, B/I-LOC
Hardware	T4 GPU (Colab/Kaggle), ~15 min

Roadmap

• Human-verified golden test set built from real Turkish text
• Rule layer: TCKN/IBAN checksum validators (zero-false-positive target)

Related models

• cagrigungor/pii-guard-turkish-270m — instruction-following Turkish masking model (53 labels, Gemma-based)
• OpenMed/privacy-filter-multilingual — 16 languages incl. Turkish, 54 PII categories
• savasy/bert-base-turkish-ner-cased — the classic model trained with this same BERTurk+WikiANN recipe