Configuration Parsing Warning:Config file tokenizer_config.json cannot be fetched (too big)
RUPunct_big → ONNX (для «Navigator Speech to Text»)
Готовая к инференсу ONNX-версия русской пунктуационной модели
RUPunct/RUPunct_big
(лицензия MIT). Модель расставляет запятые, точки, вопросительные и
восклицательные знаки, тире, двоеточия, многоточия и заглавные буквы.
Используется приложением Navigator Speech to Text для локальной (офлайн)
расстановки знаков на CPU через onnxruntime — без PyTorch и transformers.
Файлы
| Файл | Назначение |
|---|---|
model.onnx |
граф token-classification (opset 17), входы input_ids, attention_mask, token_type_ids; выход logits (~0.7 ГБ) |
tokenizer.json |
быстрый токенизатор (tokenizers), strip_accents=False, add_prefix_space=True |
tokenizer_config.json |
конфиг токенизатора |
id2label.json |
индекс метки → имя метки |
Метки имеют вид LOWER_* / UPPER_* / UPPER_TOTAL_* с суффиксами
O, PERIOD, COMMA, QUESTION, TIRE, DVOETOCHIE, VOSKL, PERIODCOMMA, DEFIS, MNOGOTOCHIE, QUESTIONVOSKL.
Как это устроено
Экспорт выполняет tools/export_rupunct_onnx.py из исходного проекта
(нужны torch и transformers, запускается один раз на сборочной машине):
python export_rupunct_onnx.py --model RUPunct/RUPunct_big --output other/punctuation-onnx
Приложение скачивает эти 4 файла с базового URL
(https://huggingface.co/IcPlus/rupunct-onnx/resolve/main) с поддержкой
докачки по HTTP Range и держит их в локальном кэше.
Постобработка (правила приложения)
Поверх выхода модели в приложении применяются правила на русском языке:
замена лишних тире на запятую (кроме «определительного» тире перед
«это / значит / вот»), строчная буква после тире и после :/;,
заглавная в начале предложения и подавление ошибочной заглавной у служебных
слов. Они живут в tools/punctuate_worker.py и к этой модели отношения не имеют.
Атрибуция и лицензия
- Базовая модель: RUPunct/RUPunct_big, авторы — Russian Punctuation Research.
- Лицензия базы и этого экспорта: MIT.
- Это производная (конвертация формата), а не переобучение: веса не менялись.
Model tree for IcPlus/rupunct-onnx
Base model
RUPunct/RUPunct_big