Configuration Parsing Warning:In UNKNOWN_FILENAME: "auto_map.AutoTokenizer" must be a string
YAML Metadata Warning:empty or missing yaml metadata in repo card
Check out the documentation for more information.
Russian BPE Tokenizer 16k
🗃️ Корпус
447 статей из Vedomosti (2020–2025) с предварительной очисткой и нормализацией текста
⚙️ Параметры
- Алгоритм: Byte Pair Encoding (BPE)
- Размер словаря: 16,000 токенов
- Min frequency: 2
- Специальные токены:
<UNK>,<PAD>,<BOS>,<EOS> - Пре-токенизатор: Whitespace
📊 Метрики
- Процент фрагментации: 36.51%
- Коэффициент сжатия: 0.665
- Эффективность реконструкции: 100.0%
- Время обучения: 0.38 сек
- OOV rate: ~11.45%
📝 Лицензия
MIT License
- Downloads last month
- 39
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support