kandrey01/russian-bpe-tokenizer

[Russian BPE Tokenizer 16k]

🗃️ Корпус

50k+ слов с rbc.ru

⚙️ Параметры

• Алгоритм: BPE
• Размер словаря: 16,000
• Min frequency: 2

📊 Метрики

• OOV rate: 2.4%
• Reconstruction accuracy: 82.5%
• Compression ratio: 2.14

💻 Пример использования

from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("kandrey01/russian-bpe-tokenizer")
tokens = tokenizer.tokenize("Привет, как дела?")