devon-ai/devonai-dev0.1-7b

DevonAI Dev0.1 (7B)

基於 Qwen2.5-7B-Instruct 以 LoRA（r=16）微調的本地智能體模型，內化 DevonAI 的工具呼叫協定，可在消費級電腦上以 node-llama-cpp 或 Ollama 執行。由 DevonAI 專案訓練管線產生（Kaggle 免費 T4 GPU）。

訓練資訊

項目	值
基座模型	Qwen/Qwen2.5-7B-Instruct (unsloth-bnb-4bit)
微調方式	LoRA r=16, alpha=16, dropout=0.05, 4-bit QLoRA
訓練資料	2,000 筆合成對話（1,749 train / 251 val）
Epochs / Steps	3 epochs / 375 steps
Learning rate	2e-4（cosine, warmup 10）
訓練平台	Kaggle Notebooks, T4 x2 16GB
量化	Q4_K_M（4.68 GB）

訓練目標為讓模型穩定遵循 DevonAI 的工具協定，例如：

{"tool": "terminal", "args": {"command": "ls -la"}} {"tool": "file", "args": {"action": "read", "path": "src/index.ts"}}

檔案

• dev0.1-q4_k_m.gguf — 主模型（Q4_K_M，4.68GB）
• lora/ — LoRA 權重（可續訓）
• training_config.yaml — 訓練超參數

使用方式

node-llama-cpp（DevonAI CLI）

node dist/index.js -b local -m dev0.1-q4_k_m.gguf "你的問題"

Ollama

建立 Modelfile（將 USER 換成你的 HF 帳號）後執行 ollama create dev0.1 -f Modelfile：

FROM https://huggingface.co/USER/devonai-dev0.1-7b/resolve/main/dev0.1-q4_k_m.gguf TEMPLATE """{{- if .System }}<|im_start|>system {{ .System }}<|im_end|> {{- end }} {{- range .Messages }} <|im_start|>{{ .Role }} {{ .Content }}<|im_end|> {{- end }} <|im_start|>assistant""" PARAMETER temperature 0.6 PARAMETER num_ctx 4096