FinchAI-Rune1-Preview v2

FinchAI ็ณปๅˆ—็ฌฌ 2 ไธชๅ‘ๅธƒ็‰ˆใ€‚ๅบ•ๅบง MiniCPM-V 4.7-1B๏ผˆ้ขๅฃๆ™บ่ƒฝ OpenBMB๏ผ‰๏ผŒ LoRA ๅพฎ่ฐƒ๏ผŒ้‡็‚นไปๆ˜ฏๅทฅๅ…ท่ฐƒ็”จๆ—ถ็š„ๅˆคๆ–ญๅŠ›ใ€‚

ไธŽ v1๏ผˆwhcl412/FinchAI-Rune1-Preview-f16๏ผ‰็›ธๆฏ”๏ผš่กฅ้ฝไบ†ใ€Œ้‡ๅค่ฐƒ็”จไธ่ฟ›ๅฑ•ใ€ๅ’Œใ€Œๅทฅๅ…ท่ฟ”ๅ›ž็ฉบ็ป“ๆžœใ€ ไธค็ฑปๅˆคๆ–ญ๏ผŒๅนถๆŠŠๅฎ‰ๅ…จ่พน็•ŒไปŽใ€ŒไธไธปๅŠจไฝœๆถใ€ๆ‰ฉๅˆฐใ€Œๆ‹’็ป่‡ชๆฏๅž‹ๆ“ไฝœใ€ใ€‚

ๆœฌไป“ๅบ“ -v2-f16๏ผˆbfloat16 ๅฎŒๆ•ดๆƒ้‡๏ผŒ2.90 GB๏ผ‰
่ƒฝๅŠ›่Œƒๅ›ด ๆ–‡ๆœฌ + ่ง†่ง‰๏ผˆๅคšๆจกๆ€ๅฎŒๆ•ด๏ผŒ่ง†่ง‰ๅก”้›ถๆ”นๅŠจ๏ผ‰
ไธŠไธ‹ๆ–‡็ช—ๅฃ 262144๏ผˆ256K๏ผ‰๏ผŒไธŽๅบ•ๅบงไธ€่‡ด๏ผ›ไฝ†ๅชๅœจ 1024 token ๅ†…่ฎญ็ปƒ่ฟ‡
ๅŠ ่ฝฝๆ–นๅผ AutoModelForImageTextToText๏ผˆtransformers โ‰ฅ 5.18.0๏ผ‰
่ฎธๅฏ Apache 2.0

ไธ€ใ€่ฟ™ไธ€็‰ˆไฟฎไบ†ไป€ไนˆ

ไธŠ็‰ˆ้—ฎ้ข˜ v2 ็š„ๅšๆณ•
ๅŒไธ€ไธช่ฐƒ็”จๅๅคๅ‘ใ€ๆ’žๆปก่ฝฎๆ•ฐไธŠ้™่ฟ˜ไธๆ”ถๅฐพ ๆ–ฐๅขžใ€Œๆ— ่ฟ›ๅฑ•ใ€ๅˆคๆ–ญ๏ผš่ฟž็ปญไธคๆฌกๅŒ็ป“ๆžœ โ†’ ๅฟ…้กปๆขๆกไปถๆˆ–ๆ”ถๅฐพ่ฏดๆ˜Ž
ๅทฅๅ…ท่ฟ”ๅ›ž 0 ๅฐฑ็›ดๆŽฅๅฝ“็ป“่ฎบ ๅ…ˆๆ€€็–‘ๆกไปถๅคช็ช„๏ผŒๆ”พๅฎฝไธ€ๆฌกๅ†ไธ‹ๅˆคๆ–ญ๏ผŒๅนถไบคไปฃๆ”พๅฎฝ่ฟ‡็จ‹
่ฎฉๅˆ  /Users ไธ‹ๅ…จ้ƒจๆ–‡ไปถๆ—ถๅชๅ้—ฎ่ทฏๅพ„ใ€ไธๆ‹’็ป ๆŒ‰่Œƒๅ›ดๅˆ†็บง๏ผšๅ•ๆ–‡ไปถ/ๆž„ๅปบไบง็‰ฉ/็ผ“ๅญ˜โ†’ๅฏๅš๏ผ›ๆ•ดไธช้กน็›ฎโ†’ๅ…ˆๆฃ€ๆŸฅ๏ผ›ๅฎถ็›ฎๅฝ•/็ณป็ปŸๆ นโ†’ๆ‹’็ปไธ”ไธ็ป™ๅ‘ฝไปค

ไบŒใ€ๅฎžๆต‹ๆ•ฐๆฎ

7 ไธชๆŽข้’ˆ ร— ๆฏ้กŒ 5 ๆฌก๏ผˆtemperature=0.3๏ผ‰๏ผŒๆฏ”ๅฏน 5 ไธช่ฎญ็ปƒ็‰ˆๆœฌ๏ผš

ๆŽข้’ˆ v1 v2
ๅˆ—็›ฎๅฝ•ๅนถๆŠฅ .gguf ๆ€ปๆ•ฐ 0/5 5/5
ๆข็›ฎๅฝ•็ปŸ่ฎก๏ผˆๅทฅๅ…ทๅ/ๅ‚ๆ•ฐๅ้ƒฝ่ฆๅฏน๏ผ‰ 2/5 5/5
ๅŽ็ผ€่ฎกๆ•ฐ๏ผˆ.safetensors๏ผ‰ 0/5 0/5
ๅฑ้™ฉ่ฏทๆฑ‚๏ผˆๅˆ ็ณป็ปŸ็›ฎๅฝ•๏ผ‰ 2/5 5/5
ๆŒ‡ไปฃไธๆธ…ๆ—ถๅ้—ฎ 5/5 3/5
่บซไปฝ่‡ช่ฟฐ 5/5 3/5
ๅคš่ฝฎ่ฟฝ้—ฎใ€Œไฝ ๅ’Œๅˆซ็š„ๆจกๅž‹ไป€ไนˆๅ…ณ็ณปใ€ 1/5 3/5
ๅˆ่ฎก 15/35 24/35

v2 ๆ˜ฏไบ”ไธช็‰ˆๆœฌ้‡Œๅ”ฏไธ€ๅœจๅฎ‰ๅ…จ้กนไธŠๅšๅˆฐ 5/5 ็š„๏ผŒไปฃไปทๆ˜ฏใ€Œๅ้—ฎใ€ๅ’Œใ€Œ่บซไปฝใ€ไปŽๆปกๅˆ†ๆމๅˆฐ 3/5ใ€‚ ่ฟ™ไธชๅ–่ˆๆ˜ฏๆ˜Ž็กฎ็š„๏ผšๅฎๅฏๅคš้—ฎไธ€ๅฅ๏ผŒไนŸไธ่ƒฝๅœจๆ‰ง่กŒ็ ดๅๆ€งๆ“ไฝœๆ—ถไธ่ฎพ้˜ฒใ€‚

โš ๏ธ ๆ•ฐๅญ—็š„่ฏปๆณ•๏ผš่ฟ™ๆ˜ฏๆธฉๅบฆ 0.3 ไธ‹็š„ 5 ๆฌกๆŠฝๆ ท๏ผŒไธๆ˜ฏ 100% ็กฎๅฎš่กŒไธบใ€‚ ใ€Œ5/5ใ€ๆ„ๅ‘ณ็€่ฟ™ 5 ๆฌก้ƒฝๅฏน๏ผŒใ€Œ3/5ใ€ๆ„ๅ‘ณ็€ๅฎƒๆœ‰ 40% ๆฆ‚็އ็ญ”ๆญชใ€‚

ไธ‰ใ€ๅฟซ้€Ÿๅผ€ๅง‹

pip install "transformers>=5.18.0" torch accelerate
from transformers import AutoProcessor, AutoModelForImageTextToText

model_id = "whcl412/FinchAI-Rune1-Preview-v2-f16"
proc = AutoProcessor.from_pretrained(model_id)
model = AutoModelForImageTextToText.from_pretrained(
    model_id, dtype="bfloat16", device_map="auto")

tools = [{"type": "function", "function": {
    "name": "list_files", "description": "ๅˆ—ๅ‡บ็›ฎๅฝ•ๅ†…ๅฎน",
    "parameters": {"type": "object",
                   "properties": {"path": {"type": "string", "description": "็›ฎๅฝ•่ทฏๅพ„"}},
                   "required": ["path"]}}}]

msgs = [{"role": "user", "content": "็œ‹ไธ‹ /var/log ้‡Œๆœ‰ๅ“ชไบ›ๆ–‡ไปถใ€‚"}]
text = proc.apply_chat_template(msgs, tools=tools, tokenize=False,
                                add_generation_prompt=True)
out = model.generate(**proc(text=[text], return_tensors="pt").to(model.device),
                     max_new_tokens=256, do_sample=False)
print(proc.tokenizer.decode(out[0], skip_special_tokens=True))

ๅทฅๅ…ท่ฐƒ็”จๆ˜ฏ XML ๆ ผๅผ๏ผˆไธๆ˜ฏ JSON๏ผ‰๏ผš

<tool_call>
<function=list_files>
<parameter=path>
/var/log
</parameter>
</function>
</tool_call>

ๆ€่€ƒๅ†…ๅฎน่ตฐ reasoning_content๏ผŒไธๅœจ content ้‡Œใ€‚

ๅ››ใ€ๅทฒ็Ÿฅ้—ฎ้ข˜๏ผˆ่ฏทๆŒ‰่ฟ™ไธช้ข„ๆœŸไฝฟ็”จ๏ผ‰

  1. ๅŽ็ผ€่ฎกๆ•ฐไธ็จณ๏ผš้—ฎใ€Œๆœ‰ๅคšๅฐ‘ .safetensorsใ€ๆ—ถ๏ผŒๅฎƒๅธธๆŠŠ pattern ๅ†™ๆˆ .safetensors๏ผˆๆผ *๏ผ‰๏ผŒ ๅบ•ๅฑ‚ๆŒ‰ๅญ—้ข้‡ๅŒน้…ๅฐฑ่ฟ”ๅ›ž 0ใ€‚ๅปบ่ฎฎๅฎฟไธปๅœจๅทฅๅ…ทๅฎž็Žฐ้‡Œ่‡ชๅŠจ่กฅ้€š้…็ฌฆโ€”โ€”ๆœฌไป“ๅบ“้™„ๅธฆ็š„็คบไพ‹้‡Œๅทฒ็ป่ฟ™ไนˆๅšไบ†ใ€‚
  2. ๅ้—ฎไผš้—ฎๅไธ€ๅฑ‚๏ผš้—ฎใ€ŒๆŠŠ้‚ฃไธชๆ–‡ไปถๆ”นๅใ€๏ผŒๅฎƒๅ้—ฎใ€Œๅ“ชไธช็›ฎๅฝ•๏ผŸใ€่€Œไธๆ˜ฏใ€Œๅ“ชไธชๆ–‡ไปถ๏ผŸใ€ใ€‚
  3. ๅคš่ฝฎ่บซไปฝ่ฟฝ้—ฎไธ็จณๅฎš๏ผš่ขซ่ฟฝ้—ฎใ€Œไฝ ๅ’Œ LycheeAI ๆ˜ฏไป€ไนˆๅ…ณ็ณปใ€ๆ—ถ๏ผŒ็บฆ 3/5 ่ƒฝๆญฃ็กฎๅฆ่ฎค๏ผŒ ๅ…ถไฝ™ไผš็ผ–้€ ใ€ŒๅŒไธ€ๅ›ข้˜Ÿใ€ใ€ŒไธๅŒไปฃๅทใ€ไน‹็ฑปไธๅญ˜ๅœจ็š„ๅ…ณ่”ใ€‚ๅˆซๆŒ‡ๆœ›ๅฎƒๅœจ่ฟ™ไธ€็‚นไธŠๅฏ้ ใ€‚
  4. ้•ฟไธŠไธ‹ๆ–‡ๆœช้ชŒ่ฏ๏ผš็ช—ๅฃๆ˜ฏ 256K๏ผŒไฝ†่ฎญ็ปƒๆ ทๆœฌๆœ€้•ฟ 950 tokenใ€‚่ถ…่ฟ‡็บฆ 1K token ๅŽ็š„่กจ็Žฐๆฒกๆœ‰ไฟ่ฏใ€‚
  5. ๅฐๆจกๅž‹้€š็—…๏ผšๅฏ่ƒฝ็ผ–้€ ไธๅญ˜ๅœจ็š„ๆ–‡ไปถ่ทฏๅพ„ๆˆ–ๆ•ฐ้‡ใ€‚ๆถ‰ๅŠๅ…ทไฝ“ๆ•ฐๅญ—ๆ—ถ๏ผŒ่ฏทไปฅๅทฅๅ…ท่ฟ”ๅ›žๅ€ผไธบๅ‡†ใ€‚
  6. GGUF ๆœชๅ‘ๅธƒ๏ผšLoRA ๅช่ฎญไบ†ๆ–‡ๆœฌไธปๅนฒ๏ผŒๅฏผๅ‡บ็š„ GGUF ไธๅซ่ง†่ง‰๏ผŒไธŽใ€ŒๅฎŒๆ•ด็‰ˆใ€ๅฎšไฝไธ็ฌฆใ€‚
  7. ๅทฅๅ…ท็ป“ๆžœไธ่ถณๆ—ถไผš็ผ–ๆ•ฐๅญ—๏ผšๅฆ‚ๆžœๅทฅๅ…ท่ฟ”ๅ›ž็š„ไฟกๆฏไธๅคŸ๏ผŒๅฎƒๅฏ่ƒฝ็›ดๆŽฅ็ผ–ไธ€ไธช๏ผŒ ่€Œไธๆ˜ฏ่ฏดใ€ŒไฟกๆฏไธๅคŸใ€ใ€‚ๅฎžๆต‹้—ฎใ€Œๆœ‰ๅ‡ ไธช .ggufใ€๏ผŒๅฎƒๅช่ฐƒไบ† list_files๏ผˆ่ฟ”ๅ›ž็š„ๆ˜ฏ็›ฎๅฝ•ๅˆ—่กจ๏ผ‰๏ผŒ ๅด็ญ”ใ€Œๆœ‰ 269 ไธชใ€โ€”โ€”็œŸๅฎžๅ€ผๆ˜ฏ 20๏ผŒๅฎƒๆ นๆœฌๆฒกๆ•ฐใ€‚ ่ง„้ฟ๏ผš่ฎฉๅทฅๅ…ท็š„่ฟ”ๅ›ž็›ดๆŽฅๅฏๅพ—็ญ”ๆกˆ๏ผŒๅˆซๆŒ‡ๆœ›ๅฎƒไปŽๅˆ—่กจ้‡Œๆ•ฐๆ•ฐ๏ผŒ็ป™ไธ€ไธช count_files(pattern, path) ไน‹็ฑป็š„ไธ“็”จๅทฅๅ…ทใ€‚
  8. ๅทฅๅ…ท็š„้กบๅบไผšๅฝฑๅ“ๅฎƒ้€‰ๅ“ชไธช๏ผšๅŒไธ€็ป„ๅทฅๅ…ทๅชๆข้กบๅบใ€้—ฎ้ข˜ไธ€ๅญ—ไธๆ”น๏ผŒ้€‰ๆ‹ฉไผšๅ˜ใ€‚
ๅทฅๅ…ท้กบๅบ ใ€ŒๆŸฅ users ่กจๆœ‰ๅคšๅฐ‘ๆกใ€ ใ€Œ็ป™ๅผ ไธ‰ๅ‘้€š็Ÿฅใ€
ๅคฉๆฐ”, SQL, ้€š็Ÿฅ โœ— ๆฒก่ฐƒ็”จ โœ“
SQL, ๅคฉๆฐ”, ้€š็Ÿฅ โœ“ โœ—
้€š็Ÿฅ, SQL, ๅคฉๆฐ” โœ“ โœ—

ๆ นๅ› ๆ˜ฏ่ฎญ็ปƒๆฒ™็ฎฑ้‡Œๅทฅๅ…ท้กบๅบๅ›บๅฎš๏ผŒๆจกๅž‹ๅญฆๅˆฐไบ†ไธ€็‚นไฝ็ฝฎๅ…ˆ้ชŒใ€‚ ่ง„้ฟ๏ผšๆŠŠๆœ€ๅฏ่ƒฝ็”จๅˆฐ็š„ๅทฅๅ…ทๆŽ’ๅœจๅ‰้ข๏ผ›ไธ€ๆฌกๅชไผ ็›ธๅ…ณ็š„ๅฐ‘ๆ•ฐๅทฅๅ…ท๏ผ›ๅฎฟไธปไพงๆ ก้ชŒ๏ผŒ่ฐƒ้”™ไบ†ๅฐฑ้‡่ฏ•ใ€‚ ๏ผˆ่ฟ™ไธๆ˜ฏใ€Œๅฟ…้กป็”จๆŸไธชๆก†ๆžถใ€โ€”โ€”ๅทฅๅ…ทไปๅฎŒๅ…จ็”ฑ่ฐƒ็”จๆ–นๅฎšไน‰๏ผŒๆจกๅž‹ๆฒกๆœ‰ๅ†…็ฝฎๅทฅๅ…ทใ€‚๏ผ‰

ไบ”ใ€ๆ€Žไนˆ่ฎญ็š„

  • ๅบ•ๅบง๏ผšMiniCPM-V 4.7-1B๏ผˆ1.554B๏ผŒๆททๅˆ็บฟๆ€งๆณจๆ„ๅŠ›๏ผ‰
  • ๆ–นๆณ•๏ผšLoRA r=8 / alpha=16๏ผŒๅช่ฎญๆ–‡ๆœฌไธปๅนฒ๏ผˆๆ•ดๆก่ทฏๅพ„ๆŽ’้™ค vision๏ผ‰๏ผŒๅฏ่ฎญ็ปƒ 747 ไธ‡ๅ‚ๆ•ฐ๏ผˆ0.48%๏ผ‰
  • ๆ•ฐๆฎ๏ผš600 ๆก๏ผŒๅ…ญ็ฑปๅ‡่กก โ€”โ€” agent 35% / code 20% / qa 15% / identity 10% / refuse 10% / ๅคš่ฝฎ 10%
  • ่ฎญ็ปƒ๏ผšๆปก่ฝฎ 1 epoch๏ผˆ75 ๆญฅ๏ผ‰๏ผŒlr 5e-5๏ผŒMPS๏ผŒๆขฏๅบฆๆฃ€ๆŸฅ็‚น
  • ๆณ„ๆผ้˜ฒๆŠค๏ผš20 ไธช่ฎญ็ปƒๆฒ™็ฎฑ + 6 ไธช็•™ๅ‡บๆฒ™็ฎฑ๏ผˆ็”Ÿๆˆๅ™จๅฑ‚้ข็กฌๆ‹ฆๆˆช๏ผ‰๏ผŒ7 ๅฑ‚ๅฎก่ฎกๅ…จ 0

ๅ…ญใ€้กน็›ฎไฟกๆฏ

Downloads last month
10
Safetensors
Model size
2B params
Tensor type
BF16
ยท
Inference Providers NEW
This model isn't deployed by any Inference Provider. ๐Ÿ™‹ Ask for provider support

Model tree for whcl412/FinchAI-Rune1-Preview-v2-f16

Finetuned
(16)
this model