Gençliğe Hitabe BPE Tokenizer

Atatürk'ün Gençliğe Hitabesi üzerinde HuggingFace tokenizers kütüphanesi kullanılarak eğitilmiş 256 token'lık BPE tokenizer.

Kullanım

from tokenizers import Tokenizer
tokenizer = Tokenizer.from_pretrained("yigitkuyucu/genclige-hitabe-bpe-tokenizer")
output = tokenizer.encode("Ey Türk gençliği!")
print(output.tokens)

Downloads last month: -; Downloads are not tracked for this model. How to track

Inference Providers NEW

This model isn't deployed by any Inference Provider. 🙋 Ask for provider support