yasunai/llm-jp-3-13b-it_lora

LLM-JP-3-13B Instruction Tuning LoRA

このリポジトリには LLM-JP-3-13B モデルの instruction tuning 用 LoRA ウェイトが含まれています。

モデル詳細

ベースモデル: llm-jp/llm-jp-3-13b 学習データ: Databricks Dolly 15k 日本語版 パラメータ設定:

• LoRA rank: 32
• Alpha: 32
• 学習率: 2e-4
• バッチサイズ: 2
• 勾配累積ステップ: 4
• エポック数: 1
• コンテキスト長: 512トークン

学習設定

以下のモジュールに対してLoRAを適用:

• Query Projection (q_proj)
• Key Projection (k_proj)
• Value Projection (v_proj)
• Output Projection (o_proj)
• Gate Projection (gate_proj)
• Up Projection (up_proj)
• Down Projection (down_proj)

使用方法

from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

# ベースモデルのロード
model = AutoModelForCausalLM.from_pretrained("llm-jp/llm-jp-3-13b")
tokenizer = AutoTokenizer.from_pretrained("llm-jp/llm-jp-3-13b")

# LoRAの適用
model = PeftModel.from_pretrained(model, "path/to/lora/weights")

ライセンス

このLoRAウェイトはベースモデルのライセンスを継承します。

制限事項

• 商用利用に関してはベースモデルのライセンスに従ってください
• 学習データの制約により、出力には一定のバイアスが含まれる可能性があります

Citations: [1] https://ppl-ai-file-upload.s3.amazonaws.com/web/direct-files/14100897/a2399521-6d18-4ec6-a90f-e429acf83945/LoRA_template_unsloth_20241127-2.ipynb

---

base_model: llm-jp/llm-jp-3-13b tags: - text-generation-inference - transformers - unsloth - llama - trl license: apache-2.0 language: - en

Uploaded model

• Developed by: yasunai
• License: apache-2.0
• Finetuned from model : llm-jp/llm-jp-3-13b

This llama model was trained 2x faster with Unsloth and Huggingface's TRL library.