enes1863/patofizyoloji-bpe-tokenizer

Patofizyoloji BPE Tokenizer

enes1863/patofizyoloji-domain-dataset üzerindeki 1.000 Türkçe kayıtla eğitilmiş 1.592 birimli Unicode BPE tokenizer. Türkçe karakterleri doğrudan korur; alt kelime devamları ## ile gösterilir. Eğitim hedefi 8.000 olsa da küçük ve tekrarlı alan korpusu nedeniyle yalnızca frekans eşiğini geçen birimler sözlüğe alınır.

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("enes1863/patofizyoloji-bpe-tokenizer")