FinchAI-Rune3-Preview
ๅบๅบง Qwen3.5-2B ยท 1134 ๆกๆฐๆฎ LoRA ๅพฎ่ฐ ้็น๏ผ้ฟๅฏน่ฏไธ้ๅคใๅทฅๅ ท่ฐ็จๅคๆญๅใๅฎๅ จๆ็ป
็ฒพๅบฆ๏ผf16๏ผbfloat16 ๅฎๆดๆ้๏ผ3.52 GiB๏ผๆช้ๅ๏ผใไปๅบๅไธๅธฆ็ฒพๅบฆๅ็ผ๏ผไปฅๆญคๅคไธบๅใ
่ฟๆฏไปไน
ไธไธช 1.88B ็ๆฌๅฐๅฐๅฉๆใๅไธไธไปฃๆๅคง็ๅบๅซๆฏ่ฝ้ชไฝ ่ไธๅปใ
ไธไธไปฃ Rune2 ็ๆญป็ฉดๆฏ่ฟ็ปญ่ๅฐ็ฌฌ 34 ่ฝฎๅฐฑๅผๅงๅค่ฏปโโไธไธๆ้้ๅค็ๆจกๅผไผ่ชๆๅผบๅ๏ผ้ฎไปไน้ฝๅๅไธๅฅใRune3 ่กฅไบๅคง้้ฟๅฏน่ฏๆฐๆฎ๏ผๅ ่ฎญ็ป้ 20%๏ผ่ฆ็ 210 ่ฝฎ๏ผ๏ผๅฎๆต่ฟ็ปญ 5 ่ฝฎๆฏ่ฝฎ้ฝๆฏๆฐไฟกๆฏใ
ๅๆถไฟ็ไบๅทฅๅ ท่ฐ็จๅคๆญๅใๅฑ้ฉ่ฏทๆฑๆ็ปใๅ็ญ้ฟๅบฆ่ช้ๅบใ
่ฝๅ
่ฟ็ปญ 5 ่ฝฎไธ้ๅค
| ่ฝฎๆฌก | ็จๆท | ๅๅค่ฆ็น |
|---|---|---|
| 1 | P99 ไป 200ms ๆถจๅฐ 800ms | ๅ ็กฎ่ฎคๅถๅ่ฟๆฏๆ็ปญ๏ผ็ๅๅธๆฒ็บฟ |
| 2 | ไธๆฏ๏ผๅนณๅไนๆถจไบ | ่ฝฌๅใ้ฟๅฐพๆไฝๅนณๅใ๏ผ็ป่ฏทๆฑๅๅธ/ๅจๆ่ทฏ็ฑ/่ถ ๆถ้่ฏ/ๆ ขๆฅ่ฏขๅๆนๅ |
| 3 | ้ฃๅ ็ไปไน | ใๅ ็ไธไธชไธ่ฅฟใ๏ผ่ฏทๆฑๅๅธๅพใ่ถ ๆถ้่ฏ้ ็ฝฎใๆ ขๆฅ่ฏขๆฅๅฟ |
| 4 | ๅฆๆๆฏๆฐๆฎๅบๆ ขๆไน็กฎ่ฎค | ๅ จๆฐไฟกๆฏ๏ผexecution_timeใrows_examinedใๆง่ก่ฎกๅใ่ฟๆฅๆฑ |
| 5 | ่ก๏ผ้ฃๆๅ ๅปๆฅ | ๆถๅฐพ็ปไธไธๆญฅ๏ผๅธฆๆฅ่ฏขๅๆฐ |
ๅฎๅ จๆ็ป
็จๆท๏ผๆ ~/LycheeAI ้ๆฒก็จ็ๆไปถๅ
จๅ ไบ
ๆจกๅ๏ผๆไธ่ฝ็ดๆฅๅ ใๅ
็กฎ่ฎคไธไธ๏ผ่ฟไธช็ฎๅฝ้ๆๆฒกๆไฝ ็ๆญฃ้่ฆ็ไธ่ฅฟ๏ผ
ๆฏๅฆ้กน็ฎไปฃ็ ใ้
็ฝฎๆไปถ๏ผ่ฟๆฏๅชๆฏไธดๆถ็ผๅญ๏ผๅ่ฏๆ๏ผๆๅธฎไฝ ๅคๆญๅชไบ่ฏฅ็ใ
ๅชไบๅฏไปฅๅฎๅ
จๅ ้คใ
ๅทฅๅ ท่ฐ็จ
- ๅคๆญฅ่ฐ็จ๏ผ่ฝ็จไธไธๆฌก็ปๆๅณๅฎไธไธๆฌก
- ่ฝ็ๅฐฑ็๏ผๆฟๅฐ็ฎๅฝๅ็ดๆฅๆฐๅฎๅ็ญ๏ผไธๆบๆขฐๅฐๅ่ฐไธๆฌก่ฎกๆฐๅทฅๅ ท
- ๅๆฐ้ๅญ็ฌฆๅคๅถ๏ผไธๆนๅ่ทฏๅพ
ๅฟซ้ๅผๅง
pip install "transformers>=5.20" torch accelerate
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_id = "whcl412/FinchAI-Rune3-Preview"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id, dtype=torch.bfloat16, device_map="auto").eval()
msgs = [{"role": "system",
"content": "ไฝ ๆฏ FinchAI-Rune3-Preview๏ผไธไธช่ทๅจๆฌๅฐ็ๅฉๆใๅ็ญ็ฎๆด็ดๆฅใ\nๆ่่ฟ็จๅฟ
้กป็จไธญๆๅใ"},
{"role": "user", "content": "ไฝ ๅฅฝ"}]
text = tok.apply_chat_template(msgs, tokenize=False,
add_generation_prompt=True,
enable_thinking=True) # โ
ๅฟ
้กปๅ ๏ผ่งไธๆน่ฏดๆ
ids = tok(text, return_tensors="pt", add_special_tokens=False).to(model.device)
out = model.generate(**ids, max_new_tokens=256, do_sample=True, temperature=0.3,
top_p=0.9, repetition_penalty=1.05,
pad_token_id=tok.eos_token_id)
print(tok.decode(out[0][ids["input_ids"].shape[1]:], skip_special_tokens=True))
โ ๏ธ enable_thinking=True ๅฟ
้กปไผ
ไธไผ ็่ฏ Qwen3.5 ็ๆจกๆฟไผๆ็ฉบๆ่ๅ็ดๆฅ้ญๅๅจ prompt ้๏ผ
ไธไผ ๏ผ ...assistant\n<think>\n\n</think>\n\n โ ๅทฒ้ญๅ
enable_thinking=True: ...assistant\n<think>\n โ ๅผๅฃ
ๆจกๅ็ๅฐๅทฒ็ป้ญๅ๏ผๅฐฑไป้ญๅไนๅๆฅ็ๅ๏ผ็ปๆๆฏใๆ่ๅ
ๅฎน + </think> + ๆญฃๆใ้ๅคไธ้ใ่ฟๆฏๆไปฌ่ธฉ่ฟ็ๅใ
่พๅบๆ ผๅผ
ๆ่ๅ
ๅจ <think>โฆ</think>๏ผๅทฅๅ
ท่ฐ็จๆฏ XML๏ผ
<tool_call>
<function=list_files>
<parameter=path>
/var/log/nginx
</parameter>
</function>
</tool_call>
ๆ <tool_call> ๆ ็ญพๅ๏ผไธๆฏ JSONใ
่ฎญ็ป
ๆฐๆฎ๏ผ1134 ๆก๏ผ
| ็ฑปๅซ | ๆกๆฐ | ๅ ๆฏ |
|---|---|---|
| multiturn | 228 | 20.1% |
| code | 200 | 17.6% |
| notool | 195 | 17.2% |
| chat | 195 | 17.2% |
| call | 103 | 9.1% |
| ask | 74 | 6.5% |
| identity | 73 | 6.4% |
| refuse | 66 | 5.8% |
ๅค่ฝฎ่ฆ็ 2~10 ่ฝฎ๏ผๅ
ถไธญ 10 ๆกๅธฆๅทฅๅ
ท่ฐ็จ๏ผcall ็ฑปๆ 18 ๆกๅคๆญฅ่ฐ็จใ8 ๆก็ฉบ็ปๆๆขๅคใ
ๆฏๆก assistant ้ฝๅธฆไธญๆๆ่๏ผreasoning_content๏ผใ
้ ็ฝฎ
- LoRA r=8 / alpha=16๏ผๅฏ่ฎญ็ป 8.41M๏ผ0.44%๏ผ
- 141 ๆญฅ๏ผlr 5e-5๏ผ+ 141 ๆญฅ็ปญ่ฎญ๏ผlr 3e-5๏ผ= 282 ๆญฅ
- loss 3.50 โ 1.70~1.90
- Mac M4 / 16GB / MPS๏ผ่ๅๅ bf16 ๅฎๆดๆ้
ๅทฒ็ฅ้ฎ้ข
- ็ฉบ็ปๆๆขๅคๅๅผฑ๏ผๅทฅๅ ท่ฟๅ 0 ๆถๅฏ่ฝ็ดๆฅไธ็ป่ฎบ๏ผไธไธๅฎไผๆ็ๅน้ ๅผๅ็ชไบ
- ๅธฆๅทฅๅ ทๆถ็ฅ่ฏ้ฎ้ขไผ่ขซๅธฆๅ๏ผ้ฎใ็ผๅญๅป็ฉฟๆไน่งฃๅณใ่ฅๅๆถๆณจๅ ฅๆไปถๅทฅๅ ท๏ผๅฏ่ฝๅ่ฟๆฅ้ฎ่ทฏๅพใๅปๆ tools ๅฐฑๆญฃๅธธ๏ผๅปบ่ฎฎๅฎฟไธปๆ้ฎ้ข็ฑปๅๅณๅฎๆฏๅฆๆณจๅ ฅ
- ไธไธๆๅซๅผๅคช้ฟ๏ผๅบๅบง 262K๏ผไฝ่ฎญ็ปๆ ทๆฌๆ้ฟ 1411 token๏ผ่ถ ่ฟ็บฆ 2K ๅ่กจ็ฐๆ ไฟ่ฏ๏ผๅปบ่ฎฎๅชไฟ็ๆ่ฟ 8~10 ่ฝฎ
- ๆจ็้ๅบฆ๏ผ
causal_conv1d/flash-linear-attentionๅจ MPS ๆ ๅฏ็จๅฎ็ฐ๏ผ่ตฐๅ่ๅฎ็ฐ๏ผๆฏๅๅฐบๅฏธ็บฏ Transformer ๆ ข
่ฎธๅฏ
ๅบๅบง Qwen3.5-2B ไธบ Apache 2.0๏ผๆฌๆจกๅๅๆ ท้็จ๏ผๅฏๅ็จใๅฏไฟฎๆนใๅฏๅๅๅ๏ผ้ไฟ็็ๆไธ่ฎธๅฏๅฏๆฌใ
็ธๅ ณ
- ๅบๅบง๏ผQwen/Qwen3.5-2B
- ไธไธไปฃ๏ผwhcl412/FinchAI-Rune2-Luna
- ็ฌฌไธไปฃ๏ผwhcl412/FinchAI-Rune1-Preview-v2-f16
- Downloads last month
- 30