Retrieve0/Qwen3-ASR-1.7B-TensorRT-Encoder

Qwen3-ASR 1.7B TensorRT Encoder

English

ONNX exports of the audio encoder from Qwen/Qwen3-ASR-1.7B-hf, prepared for TensorRT inference. Use an encoder export with a compatible Qwen3-ASR text decoder, such as the EXL3 decoder. The Qwen3-ASR-TensorRT repository integrates the encoder and decoder for transcription.

Files

Precision	Files	Use
BF16	encoder-window.bf16.onnx, encoder-window.bf16.onnx.data	Reference export for GPUs with BF16 support
FP16	encoder-window.fp16.onnx, encoder-window.fp16.onnx.data	Compatibility export for older NVIDIA GPUs
INT8 Q/DQ	encoder-window.int8.onnx, encoder-window.int8.onnx_data	Calibrated quantized export

TensorRT .engine files are not included because they depend on the target GPU architecture and TensorRT build environment. Build an engine locally with this project.

Precision and calibration

BF16 is the project reference precision. FP16 supports NVIDIA GPUs without BF16. INT8 applies symmetric Q/DQ quantization to Conv and MatMul operations; remaining operations use floating-point precision. Calibration used 32 audio files and produced 52 encoder windows.

Requirements

• NVIDIA GPU and CUDA
• Reference environment: CUDA 12.8, TensorRT 11.4.0.106, Python 3.10–3.13
• The Qwen3-ASR-TensorRT repository, which includes the encoder/decoder integration

Windows is tested and supported. Linux should work with compatible CUDA, TensorRT, PyTorch, and ExLlamaV3 packages.

Build

uv sync --extra quantization

uv run qwen3-asr --model Qwen/Qwen3-ASR-1.7B-hf build --encoder-precision bf16
uv run qwen3-asr --model Qwen/Qwen3-ASR-1.7B-hf build --encoder-precision fp16

uv run qwen3-asr --model Qwen/Qwen3-ASR-1.7B-hf quantize-encoder .\calibration-audio --max-audio-files 32
uv run qwen3-asr --model Qwen/Qwen3-ASR-1.7B-hf build --encoder-precision int8

License and citation

This export is derived from Qwen/Qwen3-ASR-1.7B-hf and is published under Apache-2.0. Retain the upstream attribution and license. Please also cite the Qwen3-ASR work and the runtime project.

中文

本仓库提供 Qwen/Qwen3-ASR-1.7B-hf 音频编码器的 ONNX 导出，可用于 TensorRT 推理。使用时需配套兼容的 Qwen3-ASR 文本解码器，例如 EXL3 解码器。Qwen3-ASR-TensorRT 仓库已集成 encoder 和 decoder，可用于完整转写。

文件

精度	文件	用途
BF16	encoder-window.bf16.onnx、encoder-window.bf16.onnx.data	支持 BF16 的 GPU 上的基准导出
FP16	encoder-window.fp16.onnx、encoder-window.fp16.onnx.data	兼容不支持 BF16 的较旧 NVIDIA GPU
INT8 Q/DQ	encoder-window.int8.onnx、encoder-window.int8.onnx_data	经校准的量化导出

本仓库不提供 TensorRT .engine 文件，因为它们依赖目标 GPU 架构和 TensorRT 构建环境。请在目标设备上使用本项目构建 engine。

精度与校准

BF16 是本项目的基准精度。FP16 用于不支持 BF16 的 NVIDIA GPU。INT8 对 Conv 和 MatMul 运算应用对称 Q/DQ 量化，其余运算保留浮点精度。校准使用了 32 个音频文件，生成 52 个 encoder window。

运行要求

• NVIDIA GPU 与 CUDA
• 参考环境：CUDA 12.8、TensorRT 11.4.0.106、Python 3.10–3.13
• Qwen3-ASR-TensorRT 仓库，其中已包含 encoder/decoder 集成

项目已在 Windows 上测试并可用。Linux 环境在 CUDA、TensorRT、PyTorch 和 ExLlamaV3 软件包版本兼容时也可运行。

构建

uv sync --extra quantization

uv run qwen3-asr --model Qwen/Qwen3-ASR-1.7B-hf build --encoder-precision bf16
uv run qwen3-asr --model Qwen/Qwen3-ASR-1.7B-hf build --encoder-precision fp16

uv run qwen3-asr --model Qwen/Qwen3-ASR-1.7B-hf quantize-encoder .\calibration-audio --max-audio-files 32
uv run qwen3-asr --model Qwen/Qwen3-ASR-1.7B-hf build --encoder-precision int8

许可证与引用

本导出基于 Qwen/Qwen3-ASR-1.7B-hf，以 Apache-2.0 发布。请保留上游归属说明和许可证，并引用 Qwen3-ASR 工作及本运行时项目。