Update README.md
Browse files
README.md
CHANGED
@@ -16,7 +16,7 @@ base_model:
|
|
16 |
|
17 |
# llm-jp-3-13b-SFT-LoRA モデルカード
|
18 |
|
19 |
-
llm-jp-3-13bをベースに、QLoRAとUnsloth
|
20 |
|
21 |
## モデルの詳細
|
22 |
|
@@ -33,12 +33,14 @@ llm-jp-3-13bをベースに、QLoRAとUnslothを用いて効率的なファイ
|
|
33 |
|
34 |
- **リポジトリ:** https://huggingface.co/llm-jp/llm-jp-3-13b
|
35 |
|
36 |
-
##
|
37 |
-
|
38 |
-
|
39 |
-
|
40 |
-
|
41 |
|
|
|
|
|
42 |
```bash
|
43 |
apt-get install git-lfs
|
44 |
git lfs install
|
@@ -50,13 +52,14 @@ READMEの内容は、推論コードの実行手順です。上記の使用方
|
|
50 |
pip install -r ./llama.cpp/requirements.txt
|
51 |
```
|
52 |
|
53 |
-
|
54 |
```bash
|
55 |
git clone https://huggingface.co/llm-jp/llm-jp-3-13b
|
56 |
```
|
57 |
-
|
58 |
|
59 |
-
|
|
|
60 |
```bash
|
61 |
python ./llama.cpp/convert_hf_to_gguf.py --outfile llm-jp-3-13b.gguf llm-jp-3-13b
|
62 |
```
|
@@ -78,8 +81,8 @@ READMEの内容は、推論コードの実行手順です。上記の使用方
|
|
78 |
```
|
79 |
|
80 |
4. 推論の実行
|
81 |
-
|
82 |
-
|
83 |
|
84 |
### 直接利用
|
85 |
|
@@ -140,17 +143,3 @@ READMEの内容は、推論コードの実行手順です。上記の使用方
|
|
140 |
- エポック数: 1
|
141 |
- 学習率: 2e-4
|
142 |
- シーケンス長: 512
|
143 |
-
|
144 |
-
## 技術仕様
|
145 |
-
|
146 |
-
### 計算インフラ
|
147 |
-
|
148 |
-
#### ハードウェア要件
|
149 |
-
- CUDA対応GPU
|
150 |
-
- 最小8GB VRAM推奨
|
151 |
-
|
152 |
-
#### ソフトウェア要件
|
153 |
-
- Python 3.10以上
|
154 |
-
- PyTorch 2.0以上
|
155 |
-
- Transformers最新版
|
156 |
-
- Unsloth(推奨)
|
|
|
16 |
|
17 |
# llm-jp-3-13b-SFT-LoRA モデルカード
|
18 |
|
19 |
+
llm-jp-3-13bをベースに、QLoRAとUnslothを用いてファインチューニングを行った日本語言語モデルです。
|
20 |
|
21 |
## モデルの詳細
|
22 |
|
|
|
33 |
|
34 |
- **リポジトリ:** https://huggingface.co/llm-jp/llm-jp-3-13b
|
35 |
|
36 |
+
## 推論コードの使用方法
|
37 |
+
1. ファイルのダウンロード、準備
|
38 |
+
- [https://github.com/Kota-Ohno/LLM_saisyukadai](推論コード等のリポジトリ)から「Model_Inference_v5.ipynb」と「tokenizer.model」、「elyza-tasks-100-TV_0.jsonl」をダウンロードします。
|
39 |
+
- 「tokenizer.model」に関しては、[llm-jp/llm-jp-tokenizer](https://github.com/llm-jp/llm-jp-tokenizer)から「llm-jp-tokenizer-100k.ver3.0b1.model」をダウンロードして、「tokenizer.model」という名前でリネームしても構いません。
|
40 |
+
- google colabで「Model_Inference_v5.ipynb」を開き、ランタイムをL4に設定します。
|
41 |
|
42 |
+
2. 必要なライブラリのインストール
|
43 |
+
- terminalを開き、以下のコードを順番に実行します。
|
44 |
```bash
|
45 |
apt-get install git-lfs
|
46 |
git lfs install
|
|
|
52 |
pip install -r ./llama.cpp/requirements.txt
|
53 |
```
|
54 |
|
55 |
+
3. モデルのダウンロード
|
56 |
```bash
|
57 |
git clone https://huggingface.co/llm-jp/llm-jp-3-13b
|
58 |
```
|
59 |
+
- 「tokenizer.model」ファイルを「llm-jp-3-13b」フォルダに配置します
|
60 |
|
61 |
+
4. モデルの変換
|
62 |
+
- 以下のコードを順番に実行します。
|
63 |
```bash
|
64 |
python ./llama.cpp/convert_hf_to_gguf.py --outfile llm-jp-3-13b.gguf llm-jp-3-13b
|
65 |
```
|
|
|
81 |
```
|
82 |
|
83 |
4. 推論の実行
|
84 |
+
- 「elyza-tasks-100-TV_0.jsonl」を推論コードと同階層にコピーする
|
85 |
+
- 推論コード(Model_Inference_v5.ipynb)のすべてのセルを実行する
|
86 |
|
87 |
### 直接利用
|
88 |
|
|
|
143 |
- エポック数: 1
|
144 |
- 学習率: 2e-4
|
145 |
- シーケンス長: 512
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|