iatagun/dizge-syllable

DizgeBERT — Turkish Syllable Segmentation

Türkçe sözcükleri hecelere ayıran BERT tabanlı token sınıflandırma modeli.

Model Bilgileri

Özellik	Değer
Base Model	dbmdz/bert-base-turkish-cased
Görev	Token Classification (BIO)
Etiketler	B (hece başı), I (hece içi)
Eğitim Verisi	48,715 Türkçe sözcük
Word Accuracy	%99.99
F1 (weighted)	0.9999

Kullanım

from bert_turkish_finetune import DizgeBERT

model = DizgeBERT("iatagun/dizge-syllable")
print(model.syllabize("bilgisayar"))  # ['bil', 'gi', 'sa', 'yar']
print(model.syllabize("strateji"))    # ['stra', 'te', 'ji']
print(model.syllabize("kontrol"))     # ['kon', 'trol']

Özellikler

• ✅ Hiatus (ünlü çatışması): saat → sa-at, aile → a-i-le
• ✅ Ünsüz kümeleri: kontrol → kon-trol, elektrik → e-lek-trik
• ✅ Onset clusters: strateji → stra-te-ji, stres → stres
• ✅ Morfolojik sınırlar: renkli → renk-li, ahenkli → a-henk-li
• ✅ Uzun türetmeler: özelleştirilebilirlik → ö-zel-leş-ti-ri-le-bi-lir-lik

Eğitim

dizge kütüphanesinin çıktıları sistematik olarak düzeltilerek (1,595 düzeltme) eğitim verisi oluşturulmuştur. Düzeltmeler: hiatus (1,279), r-tabanlı onset kümeleri (287), manuel str-sözcükler (29).

Top 2 BERT katmanı açılarak (--freeze-layers 10) eğitilmiştir.