Update README.md

README.md

@@ -115,6 +115,17 @@ for question in questions:
     print(response)
 ```
 
+## 出力
+
+```
+Assistant:はい、日本で一番高い山は日本の富士山です。
+Assistant:日本で最も広い湖は琵琶湖です。
+Assistant:世界で一番高い山といえば、ギザの大ピラミッドの頂上に立つギザギザのピラミッドです。
+Assistant:世界で一番広い湖は、ギザの大ピラミッドの頂上に立つギザギザのピラミッドです。
+Assistant:最初の質問は、ずんだアローに変身するかどうかの質問である。
+Assistant:今、あなたの質問は10問目です。
+```
+
 ## ChatGPT4による説明
 
 このコードは、与えられた役割指示と会話履歴に基づいて、新しい質問に対して応答を生成する機能を持っています。以下に、コードの各部分を簡単に説明します。
@@ -129,20 +140,9 @@ for question in questions:
 最後に、`questions`リスト内の各質問に対して、AIの応答を生成し、表示しています。
 このコードを実行すると、AIが指定された役割指示に従って、リスト内の質問に応答します。
 
-## 出力
-
-```
-Assistant:はい、日本で一番高い山は日本の富士山です。
-Assistant:日本で最も広い湖は琵琶湖です。
-Assistant:世界で一番高い山といえば、ギザの大ピラミッドの頂上に立つギザギザのピラミッドです。
-Assistant:世界で一番広い湖は、ギザの大ピラミッドの頂上に立つギザギザのピラミッドです。
-Assistant:最初の質問は、ずんだアローに変身するかどうかの質問である。
-Assistant:今、あなたの質問は10問目です。
-```
-
 # 評価
 100回の「入力」のような質問を行い、それらに対する「応答」に正解の文字列が含まれるかで評価しています。
-一番正答率が高いエポックのモデルを選択しました。
+一番正答率が高い4エポック目のモデルを選択しました。
 なお、サンプルコードのように「入力」が長くなると正答率が50%ぐらいに下がりました。
 
 | 入力                  | 応答        | 正答率[%] |
@@ -170,12 +170,14 @@ User:日本で一番高い山は?
 </s>
 ```
 
-なぜか改行コードがスペースに置き換わってしまうため、実際の学習データは、改行コードを一旦`\\n`に置き換えています。
+~なぜか改行コードがスペースに置き換わってしまうため、実際の学習データは、改行コードを一旦`\n`に置き換えています。~
+transformersのコードでtxtファイルを学習する場合、1データ1行のようなので改行コードを一旦`\n`に置き換えています。
 学習データは[guanaco_alpaca_ja.txt](train_data/guanaco_alpaca_ja.txt)です。
 
 # 学習のハイパーパラメータ
 
 学習時には以下のハイパーパラメータを使用:
+※VRAMが足りない場合、optimをadafactorにするとVRAM使用量が減りました。
 ```
 python.exe transformers/examples/pytorch/language-modeling/run_clm.py ^
     --model_name_or_path rinna/japanese-gpt-1b ^
@@ -201,3 +203,4 @@ python.exe transformers/examples/pytorch/language-modeling/run_clm.py ^
 - Transformers 4.28.0.dev0
 - Pytorch 2.0.0+cu117
 - Tokenizers 0.13.3
+- bitsandbytes 0.37.2