Academiadeorgano/mms-fa-onnx

MMS_FA (Meta) en ONNX

El modelo de alineación forzada MMS_FA de Meta (el de torchaudio.pipelines.MMS_FA, wav2vec2 multilingüe) exportado a ONNX para usarlo sin PyTorch: en la app Salmista, con ONNX Runtime web, sirve para saber en qué momento se canta cada sílaba de una antífona.

Fichero	Qué es
mms_fa.onnx	la red con los pesos completos (float32)
mms_fa_int8.onnx	la misma con los pesos en 8 bits (quantize_dynamic, QInt8)
mms_fa_int4_b32.onnx	la misma con las multiplicaciones de matrices a 4 bits por bloques de 32 (MatMulNBits); las convoluciones, en float
mms_fa.json	el diccionario de letras (letra → índice), MMS_FA.get_dict(star=None)

• Entrada onda: (1, N) float32, mono a 16 kHz, sin normalizar (la normalización va dentro).
• Salida emision: (1, T, C) logits, una trama cada 20 ms; la alineación forzada (CTC Viterbi) se hace aparte.

Licencia y procedencia

Los pesos son de Meta AI, publicados con licencia CC-BY-NC 4.0 (uso no comercial, citando la fuente). Esta copia solo cambia el formato (y, en las versiones int8 e int4, la precisión de los pesos).

Pratap, V. et al. (2023). Scaling Speech Technology to 1,000+ Languages. arXiv:2305.13516. https://github.com/facebookresearch/fairseq/tree/main/examples/mms