Configuration Parsing Warning:Config file tokenizer_config.json cannot be fetched (too big)

RUPunct_big → ONNX (для «Navigator Speech to Text»)

Готовая к инференсу ONNX-версия русской пунктуационной модели RUPunct/RUPunct_big (лицензия MIT). Модель расставляет запятые, точки, вопросительные и восклицательные знаки, тире, двоеточия, многоточия и заглавные буквы.

Используется приложением Navigator Speech to Text для локальной (офлайн) расстановки знаков на CPU через onnxruntime — без PyTorch и transformers.

Файлы

Файл Назначение
model.onnx граф token-classification (opset 17), входы input_ids, attention_mask, token_type_ids; выход logits (~0.7 ГБ)
tokenizer.json быстрый токенизатор (tokenizers), strip_accents=False, add_prefix_space=True
tokenizer_config.json конфиг токенизатора
id2label.json индекс метки → имя метки

Метки имеют вид LOWER_* / UPPER_* / UPPER_TOTAL_* с суффиксами O, PERIOD, COMMA, QUESTION, TIRE, DVOETOCHIE, VOSKL, PERIODCOMMA, DEFIS, MNOGOTOCHIE, QUESTIONVOSKL.

Как это устроено

Экспорт выполняет tools/export_rupunct_onnx.py из исходного проекта (нужны torch и transformers, запускается один раз на сборочной машине):

python export_rupunct_onnx.py --model RUPunct/RUPunct_big --output other/punctuation-onnx

Приложение скачивает эти 4 файла с базового URL (https://huggingface.co/IcPlus/rupunct-onnx/resolve/main) с поддержкой докачки по HTTP Range и держит их в локальном кэше.

Постобработка (правила приложения)

Поверх выхода модели в приложении применяются правила на русском языке: замена лишних тире на запятую (кроме «определительного» тире перед «это / значит / вот»), строчная буква после тире и после :/;, заглавная в начале предложения и подавление ошибочной заглавной у служебных слов. Они живут в tools/punctuate_worker.py и к этой модели отношения не имеют.

Атрибуция и лицензия

  • Базовая модель: RUPunct/RUPunct_big, авторы — Russian Punctuation Research.
  • Лицензия базы и этого экспорта: MIT.
  • Это производная (конвертация формата), а не переобучение: веса не менялись.
Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for IcPlus/rupunct-onnx

Quantized
(1)
this model