IVIaximushka/Russian_BPE_Tokenizer_8k

Название модели: Russian BPE Tokenizer 8k]

Корпус

50k+ слов с kommersant.ru. (2020–2025)

Параметры

• Алгоритм: BPE
• Размер словаря: 8,000
• Min frequency: 2

Метрики

• Reconstruction accuracy: 100%
• Compression ratio: 0.6972995985889795

Пример использования

from tokenizers import Tokenizer
tokenizer = Tokenizer.from_file("saved_models/BPE_vocab8000_20250927_104253.json")
tokenizer.encode("я иду в школу").tokens

Лицензия

MIT