# llm-jp-3-13b-it_lora

このモデルは llm-jp/llm-jp-3-13b をベースに、教師あり学習（SFT）で事後学習を行ったモデルです。

## モデルの詳細

- ベースモデル: llm-jp/llm-jp-3-13b
- 学習手法: LoRA (Low-Rank Adaptation)
- 量子化: 4bit量子化

## 使用方法

以下のコードで推論が可能です：

```python
from transformers import AutoModelForCausalLM, AutoTokenizer

# モデルとトークナイザーのロード
model_name = "Masajoe/llm-jp-3-13b-it_lora"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# 推論
prompt = """### 指示
仕事の熱意を取り戻すためのアイデアを教えてください。
### 回答
"""

inputs = tokenizer([prompt], return_tensors="pt").to(model.device)
outputs = model.generate(
    **inputs,
    max_new_tokens=512,
    do_sample=False,
    repetition_penalty=1.2
)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
---

# Uploaded  model

- **Developed by:** Masajoe
- **License:** apache-2.0
- **Finetuned from model :** llm-jp/llm-jp-3-13b

This llama model was trained 2x faster with [Unsloth](https://github.com/unslothai/unsloth) and Huggingface's TRL library.

[<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>](https://github.com/unslothai/unsloth)