İthaki Bilimkurgu Klasikleri BPE Tokenizer
gururaser/ithaki-bilimkurgu-klasikleri veri setindeki
kitap adı, yazar ve özet metinlerinden eğitilmiş byte-level BPE tokenizer.
Vocab boyutu: 1000.
Eğitim amaçlı oluşturulmuştur.
Kullanım
from tokenizers import Tokenizer
tokenizer = Tokenizer.from_file("tokenizer.json")
tokenizer.encode("Isaac Asimov").tokens
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support