qwensft-v5

Qwen/Qwen2.5-7B-Instruct をベースに、AgentBench DB Bench タスク向けに QLoRA SFT を行ったモデルです。

Base Model

• Qwen/Qwen2.5-7B-Instruct

Training

• 手法: QLoRA SFT (4-bit quantization + LoRA, merged)
• LoRA: r=16, alpha=32, dropout=0.05
• 学習率: 3e-5
• エポック数: 1
• データセット: WikiSQL スキーマベースの合成データ (1,500 samples)
  • SELECT: 600 samples
  • INSERT: 600 samples
  • UPDATE: 300 samples
• 精度: BF16
• 学習環境: Google Colab (T4 GPU)

Usage

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("mirukumiruku/qwensft-v5", torch_dtype="bfloat16", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("mirukumiruku/qwensft-v5")

License

This model inherits the license of the base model Qwen/Qwen2.5-7B-Instruct.