FinchAI-Rune2 v3
FinchAI ็ณปๅ็ฌฌ 2 ไปฃ ยท v3 ็ปญ่ฎญ็ใๅบๅบง LFM3-1.7B๏ผ LoRA ๅพฎ่ฐ๏ผไธๆณจๅทฅๅ ท่ฐ็จๅคๆญๅไธๅค่ฝฎๅฏน่ฏ็จณๅฎๆงใ
็ธๆฏ v2๏ผ
whcl412/FinchAI-Rune2-f16๏ผ๏ผ ่กฅไบ 139 ๆกๅค่ฝฎๆ ทๆฌ๏ผๅค่ฝฎๅค่ฏปไป 1 ๆฌก้ๅฐ 0 ๆฌก๏ผๅ ถไฝ่ฝๅๅ จ้จไฟๆใ
ๅพไธญๆฐๆฎ๏ผRune1 ไธบ 7 ้กนๆข้ ร 5 ๆฌกๆฝๆ ท๏ผRune2 ไธบ 14 ้กนๆข้ ร 2 ๆฌกๆฝๆ ท๏ผ ๅ็ปดๅบฆๅ่ฏฅ็ปดๅบฆไธๆๆๆข้็ๅนณๅ้่ฟ็ใไธคไปฃๅฃๅพไธๅฎๅ จไธ่ด๏ผไป ไพๅ่่ถๅฟใ
| ๆฌไปๅบ | -v3-f16๏ผbfloat16 ๅฎๆดๆ้๏ผ3.24 GiB๏ผ |
| ่ฝๅ่ๅด | ็บฏๆๆฌ๏ผไธๅซ่ง่ง๏ผ |
| ไธไธๆ็ชๅฃ | 262144๏ผ256K๏ผ๏ผไธๅบๅบงไธ่ด๏ผไฝๅชๅจ 1024 token ๅ ่ฎญ็ป่ฟ |
| ๅ ่ฝฝๆนๅผ | AutoModelForCausalLM + trust_remote_code=True |
| ่ฎธๅฏ | ็ปงๆฟๅบๅบง LFM Open License v1.0๏ผไธๆฏ Apache 2.0๏ผ |
ไธใv3 ๆนไบไปไน
v2 ๅฎๆตๅฐไธไธชไธฅ้้ฎ้ข๏ผ่ฟ็ปญ่ๅฐ็ฌฌ 3~4 ่ฝฎๅผๅงๅค่ฏปโโไธไธๆ้้ๅค็ๆจกๅผไผ่ชๆๅผบๅ๏ผ ้ฎไปไน้ฝๅๅไธๅฅ๏ผๅฎๆตใ๐ ็ฌ่ธใใ่ฟไบๅ่ฝฎ๏ผใ
v3 ่กฅไบไธ้จๆฐๆฎๆฅๆฒปๅฎ๏ผ
| ๆฐๆฎ็ฑปๅ | ๆกๆฐ | ๆไปไน |
|---|---|---|
short |
61 | ็จๆทๅชๅใๅฆ/ๅฏ/ๅฅฝ/๏ผใ๏ผไธไธคๅฅ่ฏ็กฎ่ฎคๅณๅฏ๏ผไธๅ่งฃ้ไธ้ |
norepeat |
37 | ไธไธ่ฝฎ็ญไบ A๏ผ่ฟ่ฝฎ้ฎๅซ็๏ผๅช็ญๆฐ็ |
carry |
52 | ไธไธ่ฝฎ็ปไบๅ ทไฝไฟกๆฏ๏ผ่ฟฝ้ฎ่ฆๅผ็จๅฎ |
ๅ ณ้ฎๅค็๏ผ็ๆ่ฟไบๆฐๆฎๆถ system ้ๅๆไบใไธ่ฆ้ๅคใ๏ผไฝ่ฎญ็ปๆถๆ system ๆขๅ็ฎ็ญ็โโ ๅฆๅๆจกๅๅชไผใ็ๅฐๆ็คบๆไธ้ๅคใ๏ผๆขไธชๅฎฟไธปๅฐฑๅคๅใ
ไบใๅฎๆตๅฏนๆฏ
ๆ 5 ไธช่ฝๅ็ปดๅบฆๅฝๅนถ๏ผๆฏไธช็ปดๅบฆๅ่ฏฅ็ปดๅบฆไธๆๆๆข้็ๅนณๅ้่ฟ็๏ผ๏ผ
| ่ฝๅ็ปดๅบฆ | Rune1 v2 | Rune2 v2 | Rune2 v3 |
|---|---|---|---|
| ่บซไปฝ่ช่ฟฐ | 60% | 100% | 100% |
| ๅทฅๅ ท่ฐ็จ | 67% | 100% | 100% |
| ๅฎๅ จๆ็ป | 100% | 83% | 100% |
| ็ผบๅๅ้ฎ | 60% | 100% | 100% |
| ๅค่ฝฎๆฟๆฅ | 60% | 75% | 100% |
| ๅค่ฝฎๅค่ฏปๆฌกๆฐ | โ | 1 | 0 |
โ ๏ธ ๅฃๅพ่ฏดๆ๏ผRune1 ๆฏ 7 ้กนๆข้ ร 5 ๆฌกๆฝๆ ท๏ผRune2 ๆฏ 14 ้กนๆข้ ร 2 ๆฌกๆฝๆ ทใ ไธคไปฃๆต่ฏ้ไธๅฎๅ จ็ธๅ๏ผไธ่กจๆฏๆ็ปดๅบฆๅฝๅนถๅ็่ฟไผผๅฏนๆฏ๏ผ็่ถๅฟ่ไธๆฏ็ๅฐๆฐ็นใ
v3 ็ๅฎ้ ๅค่ฝฎ่กจ็ฐ๏ผ
่ฏดๅ ไธชemoji โ ๐๐ฅณ๐๐๐๐ฆ๐๐๐๏ธ๐ก๐๐ป๐๐ ๐ ้่ฆๆดๅคๆ่
ๆไธป้ขๅ็ป๏ผ
ๅฅๆๆ๏ผ โ ้ฃๆฏ็จ่กจๆ
็ฌฆๅทไปฃๆฟๆๅญ่ฏด่ฏ็ๆๆใ๐ ็ฌ/ๅผๅฟ ๐ฅณ ๆๅ/ๆฟๅจโฆ
ๅฆ โ ๅฅฝ็๏ผ้ๆถ้่ฆใ
ๆๆ โ ๅฏใไธๆฌกๆ้่ฆ้ๆถๆฅใ
๏ผ โ ไปไนๆๆ๏ผ่ฟๆฏ่ฏดไฝ ๆณ็ปง็ปญ่๏ผ
ไบ่ฝฎๅ็ญๅ จไธไธๆ ทใ
ไธใๅฟซ้ๅผๅง
pip install "transformers>=5.18.0" torch accelerate
ๅฟ
้กปๅธฆ trust_remote_code=True โโ LFM3 ็ modeling ๆไปถ่ท็ไปๅบไธ่ตทๅ
๏ผmodeling_lfm3.py / configuration_lfm3.py / lfm3_conv.py๏ผ๏ผ
ไธไผ ไผ็ดๆฅๆฅ ModuleNotFoundErrorใ
from transformers import AutoTokenizer, AutoModelForCausalLM
model_id = "whcl412/FinchAI-Rune2-v3-f16"
tok = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
model_id, dtype="bfloat16", device_map="auto", trust_remote_code=True)
tools = [{"type": "function", "function": {
"name": "list_files", "description": "ๅๅบ็ฎๅฝๅ
ๅฎน",
"parameters": {"type": "object",
"properties": {"path": {"type": "string", "description": "็ฎๅฝ่ทฏๅพ"}},
"required": ["path"]}}}]
msgs = [{"role": "user", "content": "็ไธ /var/log ้ๆๅชไบๆไปถใ"}]
text = tok.apply_chat_template(msgs, tools=tools, tokenize=False,
add_generation_prompt=True)
out = model.generate(**tok(text, return_tensors="pt").to(model.device),
max_new_tokens=256, do_sample=False)
print(tok.decode(out[0], skip_special_tokens=True))
ๅทฅๅ ท่ฐ็จๆฏ XML ๆ ผๅผ๏ผไธๆฏ JSON๏ผ๏ผ
<tool_call>
<function=list_files>
<parameter=path>
/var/log
</parameter>
</function>
</tool_call>
ๆ่ๅ
ๅฎนๅจ <think>โฆ</think> ้๏ผๅๆญฃๆๅจๅไธๆก assistant ่พๅบไธญใ
ๅใๅทฒ็ฅ้ฎ้ข
1. ๅค่ฝฎไปๅปบ่ฎฎๅ้ฒๆค๏ผ่ฝ็ถๅทฒ็ปๅฅฝๅพๅค๏ผ
v3 ๆๅค่ฏปๆฒปไฝไบ๏ผไฝไธไธๆ็ชๅฃๅปบ่ฎฎไป็ถๅซๅผๅคช้ฟ๏ผ
if len(msgs) > 9: # ๅช็ๆ่ฟ 4 ่ฝฎ
msgs = [msgs[0]] + msgs[-8:]
ไฟ้ฉ่ตท่งๅ ไธชๅค่ฏปๆฃๆต๏ผๆๆฌๆไฝ๏ผ๏ผ
if ans and last_ans and ans.strip() == last_ans:
msgs = [msgs[0]] # ็ๅบ็ฐๅค่ฏปไบๅฐฑๆธ
็ฉบ้ๆฅ
last_ans = None
2. ๅค่ฝฎๆฟๆฅไพ่ตไธๆๅๅฎ
ๅฆๆไธๆๆฏใๆๆฒกๆฅ่ฟใ่ฟ็ง็ฉบ่ฏ๏ผ่ฟฝ้ฎๆถๅฎไผ็ปง็ปญ่ฟฝ้ฎ่ทฏๅพใไธๆ้็ป่ถณๅ ทไฝไฟกๆฏ ๏ผ"10:02ใ10:05ใ10:08"๏ผ๏ผๅฎๆ่ฝๆฅๅพไฝใ
3. ๅ้ฎไผ้ฎๅไธๅฑ
้ฎ"ๆ้ฃไธชๆไปถๆนๅ"๏ผๅฏ่ฝๅ้ฎ"ๅชไธช็ฎๅฝ๏ผ"่ไธๆฏ"ๅชไธชๆไปถ๏ผ"ใ
4. ๅทฅๅ ท้กบๅบๆๆ
ๅไธ็ปๅทฅๅ ทๅชๆข้กบๅบใ้ฎ้ขไธๅญไธๆน๏ผ้ๆฉไผๅใๆๆๅฏ่ฝ็จๅฐ็ๅทฅๅ ทๆๅจๅ้ข่ฝๆๆพๆนๅใ
5. ็ปๆไธ่ถณๆถไผ็ผๆฐๅญ
่ฎฉๅทฅๅ
ท่ฟๅ็ดๆฅๅฏๅพ็ญๆกใๅซๆๆๅฎไปๅ่กจ้ๆฐไธชๆฐโโ็ป count_files(pattern, path)
่ฟ็งไธ็จๅทฅๅ
ทๆ็จณใ
6. ้ฟไธไธๆๆช้ช่ฏ
็ชๅฃ 256K๏ผไฝ่ฎญ็ปๆ ทๆฌๆ้ฟ 756 tokenใ่ถ ่ฟ็บฆ 1K ไนๅ็่กจ็ฐๆฒกๆไปปไฝไฟ่ฏใ
7. ๅฎๅ จ่พน็ๆฏ"ๆ็ป + ็ปๆฟไปฃ"
่ฎฉๅฎๅ /Users ๅ
จ้จๆไปถ๏ผๅฎไผๆ็ป๏ผไฝๅฏ่ฝ็ปๅบ find /Users -name "*.tmp" -delete
่ฟ็ฑป้ๅฎ็ฑปๅ็ๆฟไปฃๅฝไปคโโๆ่ฎพ่ฎก่ฟๆฏๅ
่ฎธ็ใ่ฆ็ปๅฏน็ฆๆญขไปปไฝๅ ้คๅฝไปค๏ผๅจๅฎฟไธปไพงๅๆฆไธๅฑใ
ไบใๆไน่ฎญ็
- ๅบๅบง๏ผLFM3-1.7B๏ผ1.73B๏ผไธๆททๅๆถๆ๏ผ
- ๆนๆณ๏ผLoRA r=8 / alpha=16๏ผtarget ไธบ
q/k/v/o_proj+in_proj+out_proj+gate_proj - v3 = ไป v2 ็ adapter ็ปญ่ฎญ๏ผ+139 ๆกๅค่ฝฎๆ ทๆฌ๏ผ83 ๆญฅ๏ผ0.5 epoch๏ผ๏ผlr 5e-5๏ผ15 ๅ้
- ๆฐๆฎๆป้ 1339 ๆก๏ผๅ ญ็ฑป๏ผagent 28.5% / ๅค่ฝฎ 21.7% / refuse 17.0% / code 14.9% / ้ฒ่ 9.6% / ่บซไปฝ 8.4%
- ๆฐๆฎๆฅๆบ๏ผDeepSeek V4.1-Flash ่ธ้ฆ๏ผๅ ณ้ฎ่ฝๅ๏ผ+ ๆๅ่กฅๅ
ๅ ญใ่ฎธๅฏ
็ปงๆฟๅบๅบง LFM Open License v1.0๏ผไธๆฏ Apache 2.0ใไปๅบ้้ไบ LICENSE ๅๆใ
| ๆกๆฌพ | ๅ ๅฎน |
|---|---|
| ๅ็จ้จๆง | ๅนด่ฅๆถๆช่พพ 1000 ไธ็พๅ ๏ผ$10,000,000๏ผๆถๅ ่ฎธๅ็จ๏ผ่พพๅฐๆ่ถ ่ฟๅไธๅจๆฌ่ฎธๅฏ่ๅดๅ ๏ผ้ไธ Liquid AI ๅฆ็ญพ |
| ้่ฅๅฉไพๅค | ๅๆ ผ้่ฅๅฉ็ป็ปๅ้ๅไธ/็ ็ฉถ็จ้ไธๅ้ |
| ๅๅๅ่ฆๆฑ | ๅฟ ้กป้่ฎธๅฏๅฏๆฌ๏ผไฟฎๆน่ฟ็ๆไปถๆพ่ๆ ๆณจ"ๅทฒไฟฎๆน"๏ผไฟ็ๅๆ็ฝฒๅ |
| ๅๆ | ไธๅพไฝฟ็จ Liquid AI ๅ็งฐๆๅๆ ๏ผๆ่ฟฐๆฅๆบ้คๅค๏ผ |
ๆฌๆจกๅๆฏๅจ LFM3-1.7B ไธๅ LoRA ๅพฎ่ฐๅพๅฐ็่ก็ไฝๅ๏ผๆกๆฌพๅๆ ท้็จใ
ไธใ้กน็ฎไฟกๆฏ
- ่ฎญ็ป่ๆฌไธๆฐๆฎ๏ผGitHub ยท hwc-cell/FinchAI-Rune2
- ไธไธ็๏ผwhcl412/FinchAI-Rune2-f16๏ผv2๏ผ1200 ๆก๏ผ
- ็ฌฌไธไปฃ๏ผwhcl412/FinchAI-Rune1-Preview-v2-f16
- ๅบๅบง๏ผLiquidAI/LFM3-1.7B
- Downloads last month
- 378