Transformers
Safetensors
Japanese
unsloth
japanese
llm-jp
lora
shakebenn commited on
Commit
ae0e4da
·
verified ·
1 Parent(s): 7b9058a

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +14 -25
README.md CHANGED
@@ -16,7 +16,7 @@ base_model:
16
 
17
  # llm-jp-3-13b-SFT-LoRA モデルカード
18
 
19
- llm-jp-3-13bをベースに、QLoRAとUnslothを用いて効率的なファインチューニングを行った日本語言語モデルです。
20
 
21
  ## モデルの詳細
22
 
@@ -33,12 +33,14 @@ llm-jp-3-13bをベースに、QLoRAとUnslothを用いて効率的なファイ
33
 
34
  - **リポジトリ:** https://huggingface.co/llm-jp/llm-jp-3-13b
35
 
36
- ## 使用方法
37
-
38
- READMEの内容は、推論コードの実行手順です。上記の使用方法セクション内にREADMEの手順をもとに使用方法を記述してください。
39
-
40
- 1. 必要なライブラリのインストール
41
 
 
 
42
  ```bash
43
  apt-get install git-lfs
44
  git lfs install
@@ -50,13 +52,14 @@ READMEの内容は、推論コードの実行手順です。上記の使用方
50
  pip install -r ./llama.cpp/requirements.txt
51
  ```
52
 
53
- 2. モデルのダウンロード
54
  ```bash
55
  git clone https://huggingface.co/llm-jp/llm-jp-3-13b
56
  ```
57
- [llm-jp/llm-jp-tokenizer](https://github.com/llm-jp/llm-jp-tokenizer)から「llm-jp-tokenizer-100k.ver3.0b1.model」をダウンロードして、「llm-jp-3-13b」フォルダに「tokenizer.model」という名前で配置します
58
 
59
- 3. モデルの変換
 
60
  ```bash
61
  python ./llama.cpp/convert_hf_to_gguf.py --outfile llm-jp-3-13b.gguf llm-jp-3-13b
62
  ```
@@ -78,8 +81,8 @@ READMEの内容は、推論コードの実行手順です。上記の使用方
78
  ```
79
 
80
  4. 推論の実行
81
- elyza-tasks-100-TV_0.jsonlをディレクトリにコピーする
82
- 推論コード(Model_Inference_v5.ipynb)のすべてのセルを実行する
83
 
84
  ### 直接利用
85
 
@@ -140,17 +143,3 @@ READMEの内容は、推論コードの実行手順です。上記の使用方
140
  - エポック数: 1
141
  - 学習率: 2e-4
142
  - シーケンス長: 512
143
-
144
- ## 技術仕様
145
-
146
- ### 計算インフラ
147
-
148
- #### ハードウェア要件
149
- - CUDA対応GPU
150
- - 最小8GB VRAM推奨
151
-
152
- #### ソフトウェア要件
153
- - Python 3.10以上
154
- - PyTorch 2.0以上
155
- - Transformers最新版
156
- - Unsloth(推奨)
 
16
 
17
  # llm-jp-3-13b-SFT-LoRA モデルカード
18
 
19
+ llm-jp-3-13bをベースに、QLoRAとUnslothを用いてファインチューニングを行った日本語言語モデルです。
20
 
21
  ## モデルの詳細
22
 
 
33
 
34
  - **リポジトリ:** https://huggingface.co/llm-jp/llm-jp-3-13b
35
 
36
+ ## 推論コードの使用方法
37
+ 1. ファイルのダウンロード、準備
38
+ - [https://github.com/Kota-Ohno/LLM_saisyukadai](推論コード等のリポジトリ)から「Model_Inference_v5.ipynb」と「tokenizer.model」、「elyza-tasks-100-TV_0.jsonl」をダウンロードします。
39
+ - 「tokenizer.model」に関しては、[llm-jp/llm-jp-tokenizer](https://github.com/llm-jp/llm-jp-tokenizer)から「llm-jp-tokenizer-100k.ver3.0b1.model」をダウンロードして、「tokenizer.model」という名前でリネームしても構いません。
40
+ - google colabで「Model_Inference_v5.ipynb」を開き、ランタイムをL4に設定します。
41
 
42
+ 2. 必要なライブラリのインストール
43
+ - terminalを開き、以下のコードを順番に実行します。
44
  ```bash
45
  apt-get install git-lfs
46
  git lfs install
 
52
  pip install -r ./llama.cpp/requirements.txt
53
  ```
54
 
55
+ 3. モデルのダウンロード
56
  ```bash
57
  git clone https://huggingface.co/llm-jp/llm-jp-3-13b
58
  ```
59
+ -tokenizer.model」ファイルを「llm-jp-3-13b」フォルダに配置します
60
 
61
+ 4. モデルの変換
62
+ - 以下のコードを順番に実行します。
63
  ```bash
64
  python ./llama.cpp/convert_hf_to_gguf.py --outfile llm-jp-3-13b.gguf llm-jp-3-13b
65
  ```
 
81
  ```
82
 
83
  4. 推論の実行
84
+ - 「elyza-tasks-100-TV_0.jsonl」を推論コードと同階層にコピーする
85
+ - 推論コード(Model_Inference_v5.ipynb)のすべてのセルを実行する
86
 
87
  ### 直接利用
88
 
 
143
  - エポック数: 1
144
  - 学習率: 2e-4
145
  - シーケンス長: 512