README.md

---
base_model: llm-jp/llm-jp-3-13b
tags:
- text-generation-inference
- transformers
- unsloth
- llama
- trl
licenses:
- Apache-2.0       # Base model
- CC-BY-NC-SA-4.0  # Adapter & Dataset (ichikara-instruction)
- CC-BY-SA-4.0     # Dataset (ELYZA-tasks-100)
language:
- ja
datasets:
- elyza/ELYZA-tasks-100
- ichikara-instruction
---

# llm-jp-3-13b-it: A Fine-tuned model for ELYZA-tasks-100

## Overview

This is a fine-tuned [llm-jp-3-13b-it](https://huggingface.co/tokutsu/llm-jp-3-13b-it) model for [ELYZA-tasks-100](https://huggingface.co/datasets/elyza/ELYZA-tasks-100). The model was trained on ELYZA-tasks-100 and the [ichikara-instruction dataset](https://liat-aip.sakura.ne.jp/wp/llm%E3%81%AE%E3%81%9F%E3%82%81%E3%81%AE%E6%97%A5%E6%9C%AC%E8%AA%9E%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%A9%E3%82%AF%E3%82%B7%E3%83%A7%E3%83%B3%E3%83%87%E3%83%BC%E3%82%BF%E4%BD%9C%E6%88%90/).

## Usage

Load the model and tokenizer with the following code:

```python
from unsloth import FastLanguageModel

model_id = "tokutsu/llm-jp-3-13b-it"

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name=model_id,
    dtype=None,
    load_in_4bit=True,
)
FastLanguageModel.for_inference(model)

prompt = """### 指示
仕事の熱意を取り戻すためのアイデアを5つ挙げてください。

### 回答
"""

inputs = tokenizer([prompt], return_tensors="pt").to(model.device)
outputs = model.generate(**inputs,
                         max_new_tokens=512,
                         use_cache=True,
                         do_sample=False,
                         repetition_penalty=1.2)
prediction = tokenizer.decode(outputs[0], skip_special_tokens=True).split('\n### 回答')[-1]
```

## Example Output

Here is an example of what the output would look like:

```plaintext
1. 仕事に関連する趣味を持つ: 趣味はストレス解消やリラックス効果があり、仕事へのモチベーションアップにもつながります。例えば、ガーデニングが好きならオフィスで観葉植物を育てたり、料理が得意であれば同僚とランチ会をするなど、自分なりの仕事との接点を見つけてみましょう。
2. 目標設定を行う: 達成可能な目標を立てることで、日々成長していることを実感でき、やりがいも生まれてきます。また、定期的に進捗状況を確認することで、達成感とともにさらなるやる気につながるでしょう。
3. 同僚たちと交流する: 職場での人間関係は、仕事に対する情熱を維持するために重要です。コミュニケーションをとることで、お互いのことを理解し、助け合うことができます。職場のイベントに参加したり、休憩時間には雑談したりして、積極的に周りの人と関わりましょう。
4. 新しいスキルを身につける: スキル向上のための勉強や、新しい資格取得などにより、自分の能力を高めることができます。自己啓発的な活動が、自信や向上心へとつながるかもしれません。
5. 休暇をとってリフレッシュする: 長期休暇をとり、心身ともに休息することは大切なことです。旅行へ行ったり、家族と一緒に過ごしたりすることで気分転換ができ、また新たな気持ちで仕事に取り組むことができるようになります。
```

## Additional Information

The model was trained using LoRA with the following specifications:

### **Base Model**
- The training started with the pre-trained language model **`llm-jp/llm-jp-3-13b`**.

### **Datasets**
- **ELYZA-tasks-100:** A comprehensive dataset covering 100 diverse tasks, enhancing the model's ability to generalize across multiple domains. ([link](https://huggingface.co/datasets/elyza/ELYZA-tasks-100))
- **ichikara-instruction:** This dataset contains a diverse range of text samples, providing a strong foundation for understanding contextual nuances. ([link](https://liat-aip.sakura.ne.jp/wp/llm%E3%81%AE%E3%81%9F%E3%82%81%E3%81%AE%E6%97%A5%E6%9C%AC%E8%AA%9E%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%A9%E3%82%AF%E3%82%B7%E3%83%A7%E3%83%B3%E3%83%87%E3%83%BC%E3%82%BF%E4%BD%9C%E6%88%90/))

### **Training Methodology**
- **PEFT with LoRA:** The training employed **PEFT (Parameter-Efficient Fine-Tuning)** using **LoRA (Low-Rank Adaptation)**, enabling efficient fine-tuning with reduced computational costs while retaining the model's performance. This model was trained with [Unsloth](https://github.com/unslothai/unsloth) and Huggingface's TRL library.

## License

This model is licensed under the **CC BY-NC-SA 4.0** License. For more details, see the [LICENSE](https://huggingface.co/tokutsu/llm-jp-3-13b-it/blob/main/LICENSE) file in this repository.

## Acknowledgment

This model was developed as part of the [LLM course 2024](https://weblab.t.u-tokyo.ac.jp/lecture/course-list/large-language-model/) exercises conducted by the Matsuo-Iwasawa Lab at the University of Tokyo.