Qwen3.5 9B for onwx โ ็ปๅใ่ชญใใ 9B ใ AMD Ryzen AI ใฎ NPU ใง
ๆฅๆฌ่ช | English
Alibaba ใฎ Qwen3.5-9B ใใ**onwx** ็จใซๅคๆใใใใฎใงใใonwx ใฏ LLM ใ AMD Ryzen AI ใฎ NPU๏ผXDNA2๏ผใ ใใง ๅใใใขใใชใงใใใฎใชใใธใใชใซใฏใขใใซใจใใใฎใขใใซๅฐ็จใฎ NPU ใใญใฐใฉใ ใๅ ฅใฃใฆใใพใ๏ผใขใใชใฏๅฅใซใคใณในใใผใซใใพใ๏ผใ
้ใฟใฏ int4๏ผ128 ๅใใจใฎในใฑใผใซใจๆๅฐๅคใคใ๏ผใง NPU ใซ่ผใใ่กๅ่จ็ฎใปDeltaNetใปใขใใณใทใงใณใปLM ใใใใพใง 1 ใใผใฏใณใฎ่จ็ฎใใในใฆ NPU ใฎ 32 ๅใฎ AI ใจใณใธใณใง่กใใพใใ็ปๅใฎใจใณใณใผใใผ๏ผViT๏ผใฏ CPU ใงๅใใพใใNPU ๅใใฎใใญใฐใฉใ ใฏใใซใๆธใฟใชใฎใงใPC ใฎไธใงใณใณใใคใซใๅพ ใคใใจใฏใใใพใใใ
| Ryzen AI Max+ 395๏ผWindows๏ผ | |
|---|---|
| ใใญใณใใใฎ่ชญใฟ่พผใฟ | 1,000 ใใผใฏใณใง็ด 2.5 ็งใ4,000 ใใผใฏใณใง็ด 7.7 ็งใ32,000 ใใผใฏใณใง็ด 82 ็ง๏ผ็ด 380ใ520 tok/s๏ผใCPU ใไฝฟใ่จญๅฎใชใ็ด 2.1 ็ง / 6.6 ็ง / 74 ็ง |
| ๆ็ซ ใฎ็ๆ | ็ด 12 tok/s๏ผ32K ใฎๆ่ใง็ด 9 tok/s๏ผใๆธฉๅบฆ 0 ใชใ MTP ใง ็ด 15 tok/s |
| ็ปๅ 1 ๆใฎใจใณใณใผใ | ็ด 7 ็ง๏ผCPUใๆๅคง 512ร512 ใใฏใปใซ็ธๅฝใๅๅใฏ่ชญใฟ่พผใฟใซ็ด 3 ็ง๏ผ |
| ใใฆใณใญใผใ | 7.6 GB |
| ไฝฟ็จใกใขใช | ็ด 5.8 GB ๏ผ ๆ่ 1k ใใผใฏใณใใใ็ด 15 MB๏ผ็ปๅใไฝฟใใจ๏ผ็ด 1.7 GB๏ผ |
๏ผonwx 0.6.0ใRyzen AI Max+ 395๏ผWindows๏ผใง NPU ใฎ้ปๅใขใผใใ performance ใซใใฆๆธฌๅฎใRyzen AI 300 ใทใชใผใบ๏ผHX 370 ใชใฉ๏ผใ NPU ใฏๅใ 32 ๅใฎ AI ใจใณใธใณใงใๅใๆนๅผใงๅใใพใใๆจๆบใฎ้ปๅใขใผใใงใฏ NPU ใฎใฏใญใใฏใไธใใฃใฆ 2 ๅฒใปใฉ้
ใใชใใพใใ้ปๅใขใผใใฏ็ฎก็่
ใฎ PowerShell ใง C:\Windows\System32\AMD\xrt-smi.exe configure --pmode performanceใWindows ใฎ Copilot+ ใฎ AI ๆฉ่ฝใ NPU ใไฝฟใฃใฆใใใจ้
ใใชใใใจใใใใพใ๏ผ
FastFlowLM ใจใฎๆฏ่ผ
AMD Ryzen AI ใฎ NPU ใง LLM ใๅใใไปฃ่กจ็ใชใขใใช FastFlowLM๏ผFLM๏ผ1.0.8 ใจใFLM ่ช่บซใฎ
flm bench ใจๅใๆธฌใๆนใงๆฏในใพใใ๏ผๅใ PCใNPU ใฏ performance ใขใผใใใใญใณใใ 128ใ32K ใใผใฏใณ๏ผใ็ๆ้ๅบฆใฏใ
ใฉใกใใ MTP ใชใ๏ผๆธฉๅบฆ 0 ใง 1 ใใผใฏใณใใค๏ผใฎๅคใงๆกไปถใใใใใonwx ใฎ MTP ใไฝฟใฃใๅคใฏๅฅใซ็คบใใฆใใพใ
๏ผFLM ใฎ Qwen3.5 ใซใฏ MTP ใใใใพใใ๏ผใ
็น็ทใฏใonwx ใฎ่จญๅฎใCPU ใไฝฟใฃใฆใใญใณใใใฎ่ชญใฟ่พผใฟใ้ใใใ๏ผๆถ่ฒป้ปๅใๅขใใพใ๏ผใใใชใณใซใใๅคใงใ๏ผๆขๅฎใฏใชใ๏ผใ
- 512 ใใผใฏใณใฎๅ็ญใๆธใ็ตใใใพใงใฎๅฎๅน้ๅบฆใฏใ128ใ32K ใฎใฉใฎ้ทใใงใ onwx ใไธใงใ๏ผMTP ใชใใงใ๏ผใ
- ใใญใณใใใฎ่ชญใฟ่พผใฟใฏ 2Kใ8K ใง onwx ใ้ใ๏ผ1K ใฏใปใผๅใ๏ผใCPU ใไฝฟใ่จญๅฎใงใฏ 16K ใพใง้ใใ32K ใงใปใผๅใใงใใ
- ็ๆใฏใฉใฎ้ทใใงใ onwx ใ 3ใ4 ๅฒ้ใใงใใ
ไฝฟใๆน
onwx๏ผใขใใช๏ผใๅ ฅใใพใใ Windows ใฏในใฟใผใใกใใฅใผใงใPowerShellใใ้ใใๆฌกใฎ 1 ่กใ่ฒผใฃใฆ Enter๏ผUbuntu ใฏ onwx ใฎ README ใฎ
curl ... | bash๏ผใirm https://huggingface.co/ryugyosoft/onwx/resolve/main/install.ps1 | iexใฟในใฏใใฌใคใฎ่ตคใ onwx ใขใคใณใณใใ้ใ onwx ใฆใฃใณใใฆ ใฎใใขใใซใใฟใใง Qwen3.5 9B ใ้ธใณใใใใฆใณใญใผใใใๆผใใพใ๏ผ7.6 GB๏ผใ
ใใตใผใใผใใฟใใงใใญใผใใใๆผใใพใใ
ใใใฃใใใใงใใ่ฉฆใใพใ๏ผ็ปๅใ่ฒผใใพใ๏ผใไปใฎใขใใชใใใฏ OpenAI ไบๆ API ใจใใฆไฝฟใใพใ๏ผbase URL ใฏ
http://127.0.0.1:8100/v1ใ็ปๅใฏimage_urlใฎ data URL ใง๏ผใ
from openai import OpenAI
c = OpenAI(base_url="http://127.0.0.1:8100/v1", api_key="none")
r = c.chat.completions.create(model="Qwen3.5-9B-onwx", messages=[{"role": "user", "content": "ใใใซใกใฏ"}])
print(r.choices[0].message.content)
ๅใ PC
- XDNA2 NPU ใฎ AMD Ryzen AI๏ผRyzen AI 300 ใทใชใผใบ๏ผStrix Pointใไพ๏ผRyzen AI 9 HX 370๏ผใRyzen AI Max ใทใชใผใบ๏ผStrix Halo๏ผ
- Windows 11 ใจ AMD ใฎ NPU ใใฉใคใใผ๏ผ32.0.203 ไปฅ้ใง็ขบ่ช๏ผใUbuntu ใฏ่ฉฆ้จ็๏ผamdxdna ใใฉใคใใผใจ XRT ใๅฟ ่ฆ๏ผ
- ใกใขใช 16 GB ไปฅไธ
ใใใฟ
- ้ใฟ๏ผ็ทๅฝขๅฑคใ int4๏ผ128 ๅใใจใซ bf16 ใฎในใฑใผใซใจๆๅฐๅค๏ผใซใใฆใใพใใ้ๅญๅใฎๅใซใๅ ฅๅๅดใ 1024 ๅใใคใขใใใผใซ่กๅใจใฉใณใใ ใช็ฌฆๅทใงๅ่ปขใใ้ใฟ๏ผWยทDยทH/32๏ผใซใใฆใใใNPU ไธใงใๅ ฅๅใๅใใใใซๅ่ปขใใพใใๅ่ปขใใใจๅคใๅคใๆฃใใฐใใ้ใฟใฎ int4 ใใใใญใณใใๅฆ็ใฎ int8 ใฎๆดปๆงๅใ่ชคๅทฎใๅฐใใใชใใพใใใใใซ GPTQ๏ผ่ผๆญฃใใผใฟใง int4 ใฎไธธใใฎ่ชคๅทฎใๅพใฎๅใซๆฏใๅใใๆนๆณ๏ผใง้ๅญๅใใฆใใใฎใงใๅฝขๅผใฏๅใใพใพ่ชคๅทฎใๅฐใใใชใฃใฆใใพใ๏ผNPU ใฎๅบๅใจๅ ใฎ bf16 ใฎๅๅธใฎ KL๏ผๅ็ดใชไธธใ 0.058 โ GPTQ 0.013๏ผใ
- ็ๆ๏ผ1 ใใผใฏใณใใค๏ผ๏ผ16 ๅใฎ AI ใจใณใธใณใ้ใฟใ่ชญใฟใชใใ่กๅรใใฏใใซใ่จ็ฎใ๏ผint4 ใ bf16 ใซ็ดใใฆ็ฉๅ๏ผใ8 ๅใ DeltaNetใ4 ๅใใขใใณใทใงใณใๅใๆใกใพใใ
- ใใญใณใใใฎ่ชญใฟ่พผใฟ๏ผ256 ใใผใฏใณไปฅไธใฏ 1,024 / 2,048 ใใผใฏใณใใคใพใจใใNPU ใฎ 32 ๅใฎ AI ใจใณใธใณๅ จ้จใง 1 ๅฑคใใคๅฆ็ใใพใใ่กๅ่จ็ฎใฏ่กๅใฆใใใใฎใใญใใฏๆตฎๅๅฐๆฐ็น๏ผbfp16๏ผใงใint4 ใฎ้ใฟใฏใใฎๅฑคใ่จ็ฎใใ็ดๅใซ NPU ไธใง bfp16 ใซๅฑ้ใใพใ๏ผๅฑ้ใใ้ใฟใฏๆใก็ถใใชใใฎใงใไฝฟ็จใกใขใชใฎๅขๅ ใฏ็ด 0.5 GB๏ผใDeltaNet ใฏใใฃใณใฏๅไฝใฎไธฆๅๅฝขๅผใใขใใณใทใงใณใฏ int8 ใฎใญใฃใใทใฅใ่ชญใใใฉใใทใฅใขใใณใทใงใณใงใ้ไธญใฎๅคใฏๅฑคใฎ้ใ NPU ใฎใกใขใชใซ็ฝฎใใใพใพใงใใ็ญใใใญใณใใใจ็ซฏๆฐใฏๅพๆฅใฉใใ 128 / 32 ใใผใฏใณใใคใฎ็ต่ทฏใง่ชญใฟใพใใ1 ใใผใฏใณใใค่ชญใใ ๅ ดๅใจใฎๅทฎใฏใๅบๅใฎๅๅธใฎ KL ใง 0.002 ็จๅบฆใงใใ
- MTP๏ผๅ
่ชญใฟ๏ผ๏ผQwen3.5 ใๆใค MTP ๅฑคใงๆฌกใฎใใผใฏใณใไบๆณใใๆฌไฝใ 2 ใใผใฏใณๅใใพใจใใฆ็ขบใใใพใ๏ผๅฝใใใฐ 1 ๅใง 2 ใใผใฏใณ้ฒใฟใพใ๏ผใ็ตๆใฏ 1 ใใผใฏใณใใค็ๆใใใจใใจใพใฃใใๅใใงใใๆธฉๅบฆ 0๏ผAPI ใฎๆขๅฎ๏ผใฎใจใใ ใไฝฟใใใใฃใใ็ป้ขใฎๆขๅฎใฎใตใณใใชใณใฐ๏ผๆธฉๅบฆ 0.7๏ผใงใฏ้ๅธธใฉใใ 1 ใใผใฏใณใใค็ๆใใพใใ็ฐๅขๅคๆฐ
ONWX_MTP=0ใงๆญขใใใใพใใ - ็ปๅ๏ผQwen3.5 ใฎ ViT๏ผ27 ๅฑค๏ผใ numpy ใง CPU ไธใงๅใใใ2ร2 ใใใใใจใซ 1 ใใผใฏใณใจใใฆ่จ่ชใขใใซใซๅ ฅใใพใ๏ผไฝ็ฝฎใฏ MRoPE๏ผใ็ธฆๆจชๆฏใฏไฟใฃใใพใพใๆๅคงใง 512ร512 ใใฏใปใซ็ธๅฝ๏ผ256 ใใผใฏใณ๏ผใซ็ธฎใใพใใ
- ใญใฃใใทใฅ๏ผใขใใณใทใงใณใฎใญใผใจๅคใฏใใใใใใจใซใขใใใผใซ่กๅใงๅ่ปขใใฆใใ int8 ใงๆใกใพใ๏ผ0.3.0 ใฎ bf16 ใฎๅๅใฎใกใขใชใๅบๅใฎๅๅธใธใฎๅฝฑ้ฟใฏ KL 0.0003 ็จๅบฆ๏ผใ
- ๆ่๏ผๆๅคง 262144 ใใผใฏใณ๏ผใขใใซใฎไธ้๏ผใ
- ๆ่ใขใผใใจใใผใซๅผใณๅบใใซๅฏพๅฟใใฆใใพใใๅ็ปใฏ่ชญใใพใใใ
ใใกใคใซ
| ใใกใคใซ | ไธญ่บซ |
|---|---|
blobs/L*.wgt |
ๅๅฑคใฎ้ใฟ๏ผint4ใNPU ใ่ชญใไธฆใณ๏ผ |
blobs/L*.st / L*.pf |
DeltaNet ๅฑคใฎ็ถๆ ใฎๅๆๅคใป็ณใฟ่พผใฟใฎ้ใฟ๏ผใใญใณใใ็จใฎๅฏ่กๅ |
blobs/head.wgt |
LM ใใใ๏ผint4๏ผ |
embed.bf16 |
ๅ่ชใฎๅใ่พผใฟ๏ผbf16ใๅ ใฎใพใพ๏ผ |
vision.npz |
็ปๅใจใณใณใผใใผใฎ้ใฟ๏ผbf16ใๅ ใฎใพใพ๏ผ |
plans/ |
NPU ใใญใฐใฉใ ๏ผxclbin ใจๅฝไปคๅ๏ผ็ๆ็จใปใใญใณใใ็จ๏ผpfx/ ใ 1,024 / 2,048 ใใผใฏใณใฎๆฐๆนๅผใ128 / 32 ใใผใฏใณ๏ผใปMTP ใฎ็ขบ่ช็จ๏ผ |
mtp_norms.npzใmtp_vocab.npy |
MTP ๅฑคใฎๆญฃ่ฆๅใฎ้ใฟใจใไบๆณใซไฝฟใ่ชๅฝ |
xdna.jsonใengine.json |
ใใญใฐใฉใ ใจใขใใซใฎ่จญๅฎ |
tokenizer.json ใปใ |
ๅ ใฎใขใใซใฎใใผใฏใใคใถใผใจใใฃใใใใณใใฌใผใ |
ใฉใคใปใณใน
ๅ
ใฎใขใใซใจๅใ Apache-2.0 ใงใ๏ผLICENSE๏ผใใขใใซใฎ้ใฟใฏ Qwen/Qwen3.5-9B ใซ็ฑๆฅใใพใใ
- Downloads last month
- 81