Ornith-1.5-9B for onw โ Intel NPU ใ ใใงๅใ๏ผใใญในใ๏ผ็ปๅ๏ผ
ๆฅๆฌ่ช | English
ornith-ai/Ornith-1.5-9B ใ **onw**๏ผไฟบใฎNPUใใใใชใซๅใใใใชใ๏ผ็จใซๅคๆใใใขใใซใงใใonw ใฏ LLM ใ Intel NPU ใ ใใงๅใใใจใณใธใณใงใใใฎใชใใธใใชใซใฏใขใใซใ ใใๅ ฅใฃใฆใใพใ๏ผใจใณใธใณใฏๅฅใซใใฆใณใญใผใใใพใ๏ผใ
ornith-ai ใฎ Ornith-1.5 ใฏใQwen3.5 ็ณปใซ็ถ็ถไบๅๅญฆ็ฟใปไธญ้ๅญฆ็ฟใปไบๅพๅญฆ็ฟใ้ใญใใณใผใใฃใณใฐใจใผใธใงใณใใปใใผใซๅผใณๅบใใป้ทใไฝๆฅญๅใใซ่ชๅทฑๆนๅใซใผใใง้ใใใขใใซใงใ๏ผๅ ใฎใซใผใใงใฏ SWE-bench VerifiedใTerminal-BenchใMCP-Atlas ใชใฉใงๅ ใฎ Qwen ใๅคงใใไธๅใฃใฆใใพใ๏ผใๆง้ ใฏ Qwen3.5๏ผ3.6 ใจๅใใชใฎใงใonw ใฎ Qwen ็จใฎๅคๆใปๅฎ่กใใใฎใพใพไฝฟใใพใใใใฎ 9B ใฏ dense ใงใใใญในใใจ็ปๅใซๅฏพๅฟใใพใใ
ใใผใซๅผใณๅบใ๏ผOpenAI ไบๆ API ใฎ tools ใซๅฏพๅฟ๏ผไธฆๅๅผใณๅบใใๅฏ๏ผใๆ่ใขใผใใงใฏๆ่ใ reasoning_content ใง่ฟใใๆฌกใฎใฟใผใณใงใใใๅฑฅๆญดใซๅซใใฆ้ใใจใขใใซใซๆธกใใพใ๏ผOrnith ใฎใใณใใฌใผใใฏ้ๅปใฎใฟใผใณใฎๆ่ใๆฎใไฝใใงใใจใผใธใงใณใ็จ้ใงใฏใใใๅนใใพใ๏ผใๅ
ใฎใซใผใใฎๆจๅฅจ่จญๅฎใฏใไธ่ฌ็จ้ temperature 1.0ใปtop_p 0.95ใปtop_k 20ใปpresence_penalty 1.5ใใณใผใใฃใณใฐ temperature 0.6 ใงใ๏ผonw ใฎๆขๅฎใฏ่ฒชๆฌฒ็ๆ๏ผใ
| NPU 3720๏ผCore Ultra 9 285HX๏ผ | |
|---|---|
| ๅ ฅๅ | ใใญในใ๏ผ็ปๅ |
| ็ๆ้ๅบฆ | 4.9 tok/s๏ผๅ ่ชญใฟๆค่จผใง 9ใ15 tok/s๏ผ |
| ใใญใณใใๅฆ็ | ็ปๅ๏ผ่ณชๅ 281 ใใผใฏใณ๏ผ็ปๅ 0.5 ็ง๏ผๅฆ็ 8.0 ็ง |
| ้ทใใใญใณใใ๏ผonw 2.0 ไปฅ้๏ผ | 1024 ใใผใฏใณใง็ด 87 tok/s๏ผ16 ใใผใฏใณใใคใฎ็ด 44 ใใ็ด 2 ๅ๏ผ |
| ใใฆใณใญใผใ | 5.3 GB |
| ไฝฟ็จใกใขใช๏ผ่ชญใฟ่พผใฟๅพใฎไฝๆฅญใปใใ๏ผ | ็ด 11 GB |
| ๅๅ่ตทๅ๏ผNPU ๅใใณใณใใคใซ๏ผ๏ผ2 ๅ็ฎไปฅ้ | ็ด 10 ๅ๏ผ็ด 20 ็ง |
ๅฏพๅฟ PC๏ผNPU ไปใใฎ Intel Core Ultra๏ผใทใชใผใบ 1๏ผ2๏ผMeteor LakeใปArrow LakeใปLunar Lakeใใทใชใผใบ 3๏ผPanther Lake๏ผใWindows 11 ใพใใฏ Ubuntu 22.04 ไปฅ้ใไธใฎๆฐๅคใฏใในใๆฉ๏ผNPU 3720๏ผใงใฎๅฎๆธฌใงใNPU ใใกใขใช้ใซใใฃใฆๅคใใใพใใ
ไฝฟใๆน
onw๏ผใจใณใธใณ๏ผใๅ ฅใใพใใ ใพใ ใฎๅ ดๅใฏใonw ใฎใใคใณในใใผใซใ ใฎใจใใ 1 ่ก่ฒผใใ ใใงใใWindows ใฏในใฟใผใใกใใฅใผใงใPowerShellใใ้ใใๆฌกใฎ 1 ่กใ่ฒผใฃใฆ Enter๏ผUbuntu ใฏ onw ใฎ README ใฎ
curl ... | bash๏ผใirm https://huggingface.co/ryugyosoft/onw/resolve/main/install.ps1 | iexใฟในใฏใใฌใคใฎ onw ใขใคใณใณใใ้ใ onw ใฆใฃใณใใฆ ใฎใใขใใซใใฟใใง Ornith-1.5-9B ใ้ธใณใใใใฆใณใญใผใใใๆผใใพใ๏ผ5.3 GB๏ผใ
ใใตใผใใผใใฟใใงใขใใซใ้ธใใงใใญใผใใใๆผใใพใใๅๅใ ใ NPU ๅใใฎๆบๅใซ็ด 10 ๅใใใใพใใ
ใใใฃใใใใงใใ่ฉฆใใพใใไปใฎใขใใชใใใฏ OpenAI ไบๆ API ใจใใฆไฝฟใใพใ๏ผbase URL ใฏ
http://localhost:8000/v1๏ผใ
from openai import OpenAI
c = OpenAI(base_url="http://localhost:8000/v1", api_key="none")
r = c.chat.completions.create(model="Ornith-1.5-9B-onw", messages=[{"role": "user", "content": "ใใใซใกใฏ"}])
print(r.choices[0].message.content)
ไธ็ด่
ๅใ๏ผhf download ryugyosoft/Ornith-1.5-9B-onw ใงๅๅพใใใใฉใซใใ onw serve ใใฉใซใ ใง่ตทๅใใใใจใใงใใพใใGit LFS ใชใใฎ git clone ใงใฏ้ใฟใๅ
ฅใใชใใฎใงไฝฟใใชใใงใใ ใใ๏ผonw ใๆคๅบใใฆๆญขใใพใ๏ผใ
ไป็ตใฟ
- 32 ๅฑค๏ผGated DeltaNet 24๏ผใฒใผใไปใใขใใณใทใงใณ 8๏ผใ 8 ๅฑคใใค 4 ๅบ้ใซใใใฐใซใผใ 128 ใฎ INT4ใๅบๅๅฑคใฏ็ฌ็ซใใๅบ้ใงใใญใธใใใไธ่ฆใชใใญใณใใๅฆ็ใงใฏ้ฃใฐใใพใใ
- DeltaNet ใฏใ็ๆๆใฏ 1 ใใผใฏใณ็จใฎ่กๅๅฝขๅผใ16 ใใผใฏใณใฎใใญใณใใๅฆ็ใฏใใญใใฏๅใ ใฎๅณๅฏใช้่กๅใซใใใใฃใณใฏไธฆๅๅฝขๅผใFP16 ใงๅฐใใใชใใใใๅบๅใฏ 1024 ๅใใ็ดๅพใฎใฒใผใไปใ RMSNorm ใฏๆบขใใชใใใๅๅฆ็ใใฆใใพใใ
- ็ปๅใจใณใณใผใใผ๏ผ27 ๅฑคใฎ ViT๏ผใฏ 512ร512 ๅ ฅๅ็จใฎ 1 ๆใฎ้็ใฐใฉใใ็ปๅใใผใฏใณใฎ MRoPE ใฎไฝ็ฝฎใฏใในใใง่จ็ฎใใพใใ
- ่ฉณใใใฏ onw ใฎๆ่ก่งฃ่ชฌใ
ใใกใคใซ
| ใใกใคใซ | ๅ ๅฎน |
|---|---|
seg*_S1.xml, seg*_S16.xml + seg*.bin |
4 ๅบ้๏ผๅบๅๅฑค๏ผ้ใฟใฏๅบ้ใใจใซ 1 ใใกใคใซ๏ผ |
seg*_S64.xml + seg*x.bin |
64 ใใผใฏใณใใคใฎใใญใณใใๅฆ็๏ผonw 2.0 ไปฅ้ใ้ใฟใฏ seg*.bin ใๅ
ฑๆใใseg*x.bin ใฏใใญใใฏใฎๅฝขใ่กจใๆฐ็พใใคใ๏ผ |
vision.xml |
INT8 ใฎ็ปๅใจใณใณใผใใผ๏ผ512ร512 โ 256 ใใผใฏใณ๏ผ |
shared.bin |
INT8 ใฎๅบๅๅฑคใINT4 ใฎๅใ่พผใฟ๏ผใในใใงๅ็ ง๏ผ |
engine.jsonใใใผใฏใใคใถใผ๏ผ่จญๅฎใใกใคใซ |
onw ็จใฎใกใฟใใผใฟใๅ ใฎใชใใธใใชใฎ่จญๅฎ |
ๅ่ณช
ๅบ้ใฎ้ใฟใฏใฐใซใผใ 128 ใฎ INT4ใๅบๅๅฑค INT8ใๅใ่พผใฟ INT4๏ผใในใใงๅ็
ง๏ผใ็ปๅใจใณใณใผใใผ INT8ใๅ
ใฎใขใใซ๏ผbf16ใCPU๏ผใจๆๅธซๅผทๅถใงๆฏในใใจใๅ็ญใฎ็ตใใ๏ผ<|im_end|>๏ผใพใง 10 ใใผใฏใณใในใฆไธ่ดใใพใใใ็ปๅ๏ผๅณๅฝขใฎ่ฒใจๅฝข๏ผใ2 ใคใฎใใผใซใฎไธฆๅๅผใณๅบใใจ็ตๆใไฝฟใฃใๅ็ญใๆ่ใฎๅ้ขใ็ขบ่ชๆธใฟใงใใ
ใฉใคใปใณใน
MIT๏ผๅ ใขใใซใจๅใ๏ผใ้ใฟใฏๅ ใขใใซใใๅ้ๅญๅใปๅๆงๆใใใใฎใงใใๅญฆ็ฟใฏใใฆใใพใใใ
- Downloads last month
- 67
Model tree for ryugyosoft/Ornith-1.5-9B-onw
Base model
ornith-ai/Ornith-1.5-9B