Qwen3.5 4B for onwx โ ็ปๅใ่ชญใใ่ปฝใ 4B ใ AMD Ryzen AI ใฎ NPU ใง
ๆฅๆฌ่ช | English
Alibaba ใฎ Qwen3.5-4B ใใ**onwx** ็จใซๅคๆใใใใฎใงใใonwx ใฏ LLM ใ AMD Ryzen AI ใฎ NPU๏ผXDNA2๏ผใ ใใง ๅใใใขใใชใงใใใฎใชใใธใใชใซใฏใขใใซใจใใใฎใขใใซๅฐ็จใฎ NPU ใใญใฐใฉใ ใๅ ฅใฃใฆใใพใ๏ผใขใใชใฏๅฅใซใคใณในใใผใซใใพใ๏ผใ
้ใฟใฏ int4๏ผ128 ๅใใจใฎในใฑใผใซใจๆๅฐๅคใคใ๏ผใง NPU ใซ่ผใใ่กๅ่จ็ฎใปDeltaNetใปใขใใณใทใงใณใปLM ใใใใพใง 1 ใใผใฏใณใฎ่จ็ฎใใในใฆ NPU ใฎ 32 ๅใฎ AI ใจใณใธใณใง่กใใพใใ็ปๅใฎใจใณใณใผใใผ๏ผViT๏ผใฏ CPU ใงๅใใพใใNPU ๅใใฎใใญใฐใฉใ ใฏใใซใๆธใฟใชใฎใงใPC ใฎไธใงใณใณใใคใซใๅพ ใคใใจใฏใใใพใใใ
| Ryzen AI Max+ 395๏ผWindows๏ผ | |
|---|---|
| ใใญใณใใใฎ่ชญใฟ่พผใฟ | 1,000 ใใผใฏใณใง็ด 2.1 ็งใ4,000 ใใผใฏใณใง็ด 6.4 ็งใ32,000 ใใผใฏใณใง็ด 77 ็ง๏ผ็ด 400ใ620 tok/s๏ผใCPU ใไฝฟใ่จญๅฎใชใ็ด 1.8 ็ง / 5.7 ็ง / 71 ็ง |
| ๆ็ซ ใฎ็ๆ | ็ด 18 tok/s๏ผ32K ใฎๆ่ใง็ด 12 tok/s๏ผ |
| ็ปๅ 1 ๆใฎใจใณใณใผใ | ็ด 6 ็ง๏ผCPUใๆๅคง 512ร512 ใใฏใปใซ็ธๅฝใๅๅใฏ่ชญใฟ่พผใฟใซ็ด 2 ็ง๏ผ |
| ใใฆใณใญใผใ | 4.8 GB |
| ไฝฟ็จใกใขใช | ็ด 3.4 GB ๏ผ ๆ่ 1k ใใผใฏใณใใใ็ด 13 MB๏ผ็ปๅใไฝฟใใจ๏ผ็ด 1.3 GB๏ผ |
๏ผonwx 0.6.0ใRyzen AI Max+ 395๏ผWindows๏ผใง NPU ใฎ้ปๅใขใผใใ performance ใซใใฆๆธฌๅฎใRyzen AI 300 ใทใชใผใบ๏ผHX 370 ใชใฉ๏ผใ NPU ใฏๅใ 32 ๅใฎ AI ใจใณใธใณใงใๅใๆนๅผใงๅใใพใใๆจๆบใฎ้ปๅใขใผใใงใฏ NPU ใฎใฏใญใใฏใไธใใฃใฆ 2 ๅฒใปใฉ้
ใใชใใพใใ้ปๅใขใผใใฏ็ฎก็่
ใฎ PowerShell ใง C:\Windows\System32\AMD\xrt-smi.exe configure --pmode performanceใWindows ใฎ Copilot+ ใฎ AI ๆฉ่ฝใ NPU ใไฝฟใฃใฆใใใจ้
ใใชใใใจใใใใพใ๏ผ
FastFlowLM ใจใฎๆฏ่ผ
AMD Ryzen AI ใฎ NPU ใง LLM ใๅใใไปฃ่กจ็ใชใขใใช FastFlowLM๏ผFLM๏ผ1.0.8 ใจใFLM ่ช่บซใฎ
flm bench ใจๅใๆธฌใๆนใงๆฏในใพใใ๏ผๅใ PCใNPU ใฏ performance ใขใผใใใใญใณใใ 128ใ32K ใใผใฏใณ๏ผใ็ๆ้ๅบฆใฏใฉใกใใ
ๆธฉๅบฆ 0 ใง 1 ใใผใฏใณใใคใฎๅคใงใ๏ผ4B ใซใฏ MTP ๅฑคใใชใใฎใงใonwx ใ MTP ใชใ๏ผใ
็น็ทใฏใonwx ใฎ่จญๅฎใCPU ใไฝฟใฃใฆใใญใณใใใฎ่ชญใฟ่พผใฟใ้ใใใ๏ผๆถ่ฒป้ปๅใๅขใใพใ๏ผใใใชใณใซใใๅคใงใ๏ผๆขๅฎใฏใชใ๏ผใ
- ็ๆใฏใฉใฎ้ทใใงใ onwx ใ 2ใ4 ๅฒ้ใใ512 ใใผใฏใณใฎๅ็ญใๆธใ็ตใใใพใงใฎๅฎๅน้ๅบฆใฏ 16K ใพใงใฎๆ่ใง onwx ใไธใงใใ
- ใใญใณใใใฎ่ชญใฟ่พผใฟใฏใ4B ใงใฏ FLM ใฎใปใใ้ใใงใ๏ผ4K ใง FLM 5.8 ็งใonwx 6.4 ็งใ32K ใง FLM 53 ็งใonwx 77 ็ง๏ผใ CPU ใไฝฟใ่จญๅฎใงใฏ 2Kใ4K ใง onwx ใ้ใใชใใพใ๏ผ4K ใง 5.7 ็ง๏ผใ32K ใฎ้ทใใใญใณใใใงใฏใๅ็ญใๆธใ็ตใใใพใงใฎๆ้ใ FLM ใๅฐใ็ญใใชใใพใใ
ไฝฟใๆน
onwx๏ผใขใใชใ0.2.2 ไปฅ้๏ผใๅ ฅใใพใใ Windows ใฏในใฟใผใใกใใฅใผใงใPowerShellใใ้ใใๆฌกใฎ 1 ่กใ่ฒผใฃใฆ Enter๏ผUbuntu ใฏ onwx ใฎ README ใฎ
curl ... | bash๏ผใirm https://huggingface.co/ryugyosoft/onwx/resolve/main/install.ps1 | iexใฟในใฏใใฌใคใฎ่ตคใ onwx ใขใคใณใณใใ้ใ onwx ใฆใฃใณใใฆ ใฎใใขใใซใใฟใใง Qwen3.5 4B ใ้ธใณใใใใฆใณใญใผใใใๆผใใพใ๏ผ4.8 GB๏ผใ
ใใตใผใใผใใฟใใงใใญใผใใใๆผใใพใใ
ใใใฃใใใใงใใ่ฉฆใใพใ๏ผ็ปๅใ่ฒผใใพใ๏ผใไปใฎใขใใชใใใฏ OpenAI ไบๆ API ใจใใฆไฝฟใใพใ๏ผbase URL ใฏ
http://127.0.0.1:8100/v1ใ็ปๅใฏimage_urlใฎ data URL ใง๏ผใ
from openai import OpenAI
c = OpenAI(base_url="http://127.0.0.1:8100/v1", api_key="none")
r = c.chat.completions.create(model="Qwen3.5-4B-onwx", messages=[{"role": "user", "content": "ใใใซใกใฏ"}])
print(r.choices[0].message.content)
ๅใ PC
- XDNA2 NPU ใฎ AMD Ryzen AI๏ผRyzen AI 300 ใทใชใผใบ๏ผStrix Pointใไพ๏ผRyzen AI 9 HX 370๏ผใRyzen AI Max ใทใชใผใบ๏ผStrix Halo๏ผ
- Windows 11 ใจ AMD ใฎ NPU ใใฉใคใใผ๏ผ32.0.203 ไปฅ้ใง็ขบ่ช๏ผใUbuntu ใฏ่ฉฆ้จ็๏ผamdxdna ใใฉใคใใผใจ XRT ใๅฟ ่ฆ๏ผ
- ใกใขใช 16 GB ไปฅไธ
ใใใฟ
- ๅคงใใ๏ผ้ ใๅฑคใฎๅน 2560 ใ NPU ไธใงใฏ 3072 ใซๅบใใฆ๏ผๅขใใๅใฏ 0๏ผ่จ็ฎใใพใใLM ใใใใฏๅ ใฎใขใใซใจๅใใๅ่ชใฎๅใ่พผใฟใจๅ ฑๆใฎ้ใฟใงใ๏ผNPU ็จใซ int4 ใซใใใใฎ๏ผใ
- ้ใฟ๏ผ็ทๅฝขๅฑคใ int4๏ผ128 ๅใใจใซ bf16 ใฎในใฑใผใซใจๆๅฐๅค๏ผใซใใฆใใพใใ้ๅญๅใฎๅใซใๅ ฅๅๅดใ 1024 ๅใใคใขใใใผใซ่กๅใจใฉใณใใ ใช็ฌฆๅทใงๅ่ปขใใ้ใฟ๏ผWยทDยทH/32๏ผใซใใฆใใใNPU ไธใงใๅ ฅๅใๅใใใใซๅ่ปขใใพใใๅ่ปขใใใจๅคใๅคใๆฃใใฐใใ้ใฟใฎ int4 ใใใใญใณใใๅฆ็ใฎ int8 ใฎๆดปๆงๅใ่ชคๅทฎใๅฐใใใชใใพใใใใใซ GPTQ๏ผ่ผๆญฃใใผใฟใง int4 ใฎไธธใใฎ่ชคๅทฎใๅพใฎๅใซๆฏใๅใใๆนๆณ๏ผใง้ๅญๅใใฆใใใฎใงใๅฝขๅผใฏๅใใพใพ่ชคๅทฎใๅฐใใใชใฃใฆใใพใใ
- ็ๆ๏ผ1 ใใผใฏใณใใค๏ผ๏ผ16 ๅใฎ AI ใจใณใธใณใ้ใฟใ่ชญใฟใชใใ่กๅรใใฏใใซใ่จ็ฎใ๏ผint4 ใ bf16 ใซ็ดใใฆ็ฉๅ๏ผใ8 ๅใ DeltaNetใ4 ๅใใขใใณใทใงใณใๅใๆใกใพใใ
- ใใญใณใใใฎ่ชญใฟ่พผใฟ๏ผ256 ใใผใฏใณไปฅไธใฏ 1,024 / 2,048 ใใผใฏใณใใคใพใจใใNPU ใฎ 32 ๅใฎ AI ใจใณใธใณๅ จ้จใง 1 ๅฑคใใคๅฆ็ใใพใใ่กๅ่จ็ฎใฏ่กๅใฆใใใใฎใใญใใฏๆตฎๅๅฐๆฐ็น๏ผbfp16๏ผใงใint4 ใฎ้ใฟใฏใใฎๅฑคใ่จ็ฎใใ็ดๅใซ NPU ไธใง bfp16 ใซๅฑ้ใใพใ๏ผๅฑ้ใใ้ใฟใฏๆใก็ถใใชใใฎใงใไฝฟ็จใกใขใชใฎๅขๅ ใฏ็ด 0.5 GB๏ผใDeltaNet ใฏใใฃใณใฏๅไฝใฎไธฆๅๅฝขๅผใใขใใณใทใงใณใฏ int8 ใฎใญใฃใใทใฅใ่ชญใใใฉใใทใฅใขใใณใทใงใณใงใ้ไธญใฎๅคใฏๅฑคใฎ้ใ NPU ใฎใกใขใชใซ็ฝฎใใใพใพใงใใ็ญใใใญใณใใใจ็ซฏๆฐใฏๅพๆฅใฉใใ 32 ใใผใฏใณใใคใฎ int8 ใฎ็ต่ทฏใง่ชญใฟใพใใ1 ใใผใฏใณใใค่ชญใใ ๅ ดๅใจใฎๅทฎใฏใๅบๅใฎๅๅธใฎ KL ใง 0.002 ็จๅบฆใงใใ
- ็ปๅ๏ผQwen3.5 ใฎ ViT๏ผ24 ๅฑค๏ผใ numpy ใง CPU ไธใงๅใใใ2ร2 ใใใใใจใซ 1 ใใผใฏใณใจใใฆ่จ่ชใขใใซใซๅ ฅใใพใ๏ผไฝ็ฝฎใฏ MRoPE๏ผใ็ธฆๆจชๆฏใฏไฟใฃใใพใพใๆๅคงใง 512ร512 ใใฏใปใซ็ธๅฝ๏ผ256 ใใผใฏใณ๏ผใซ็ธฎใใพใใ
- ใญใฃใใทใฅ๏ผใขใใณใทใงใณใฎใญใผใจๅคใฏใใใใใใจใซใขใใใผใซ่กๅใงๅ่ปขใใฆใใ int8 ใงๆใกใพใ๏ผ0.3.0 ใฎ bf16 ใฎๅๅใฎใกใขใชใๅบๅใฎๅๅธใธใฎๅฝฑ้ฟใฏ KL 0.0003 ็จๅบฆ๏ผใ
- ๆ่๏ผๆๅคง 262144 ใใผใฏใณ๏ผใขใใซใฎไธ้๏ผใ
- ๆ่ใขใผใใจใใผใซๅผใณๅบใใซๅฏพๅฟใใฆใใพใใๅ็ปใฏ่ชญใใพใใใ
ใใกใคใซ
| ใใกใคใซ | ไธญ่บซ |
|---|---|
blobs/L*.wgt |
ๅๅฑคใฎ้ใฟ๏ผint4ใNPU ใ่ชญใไธฆใณ๏ผ |
blobs/L*.st / L*.pf |
DeltaNet ๅฑคใฎ็ถๆ ใฎๅๆๅคใป็ณใฟ่พผใฟใฎ้ใฟ๏ผใใญใณใใ็จใฎๅฏ่กๅ |
blobs/head.wgt |
LM ใใใ๏ผๅ่ชใฎๅใ่พผใฟใจๅ ฑๆใฎ้ใฟใ int4 ใซใใใใฎ๏ผ |
embed.bf16 |
ๅ่ชใฎๅใ่พผใฟ๏ผbf16ใๅ ใฎใพใพ๏ผ |
vision.npz |
็ปๅใจใณใณใผใใผใฎ้ใฟ๏ผbf16ใๅ ใฎใพใพ๏ผ |
plans/ |
NPU ใใญใฐใฉใ ๏ผxclbin ใจๅฝไปคๅ๏ผ็ๆ็จใปใใญใณใใ็จ๏ผpfx/ ใ 1,024 / 2,048 ใใผใฏใณใฎๆฐๆนๅผใ32 ใใผใฏใณ๏ผ๏ผ |
xdna.jsonใengine.json |
ใใญใฐใฉใ ใจใขใใซใฎ่จญๅฎ |
tokenizer.json ใปใ |
ๅ ใฎใขใใซใฎใใผใฏใใคใถใผใจใใฃใใใใณใใฌใผใ |
ใฉใคใปใณใน
ๅ
ใฎใขใใซใจๅใ Apache-2.0 ใงใ๏ผLICENSE๏ผใใขใใซใฎ้ใฟใฏ Qwen/Qwen3.5-4B ใซ็ฑๆฅใใพใใ
- Downloads last month
- 68