Update README.md

README.md

@@ -1,14 +1,10 @@
-#推論用コード
-# llmjp
-results = []
-for data in tqdm(datasets):
-
-  input = data["input"]
-
-  prompt = f"""### 指示
-  {input}
-  ### 回答
-  """
+---
+license: apache-2.0
+datasets:
+- kinokokoro/ichikara-instruction-003
+base_model:
+- llm-jp/llm-jp-3-13b
+---
 
   tokenized_input = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt").to(model.device)
   attention_mask = torch.ones_like(tokenized_input)
@@ -59,6 +55,9 @@ from datasets import load_dataset
 import bitsandbytes as bnb
 from trl import SFTTrainer
 
+# Hugging Face Token
+HF_TOKEN = "write権限のあるトークン、非公開のためypur token"
+
 # モデルを読み込み。
 # llm-jp-3 1.8B, 3.7B, 13Bのsnapshotをダウンロード済みでmodelsディレクトリに格納してあります。
 # base_model_idの値はomnicampusの環境におけるモデルのパスを表しており、それ以外の環境で実行する場合は変更の必要があります。
@@ -68,6 +67,26 @@ base_model_id = "models/models--llm-jp--llm-jp-3-13b/snapshots/cd3823f4c1fcbb0ad
 # base_model_id = "llm-jp/llm-jp-3-13b"
 new_model_id = "llm-jp-3-13b-finetune" #Fine-Tuningしたモデルにつけたい名前
 
+"""
+bnb_config: 量子化の設定
+
+  - load_in_4bit:
+      - 4bit量子化形式でモデルをロード
+
+  - bnb_4bit_quant_type:
+      - 量子化の形式を指定
+
+  - bnb_4bit_compute_dtype:
+      - 量子化された重みを用いて計算する際のデータ型
+
+"""
+
+bnb_config = BitsAndBytesConfig(
+    load_in_4bit=True,
+    bnb_4bit_quant_type="nf4", # nf4は通常のINT4より精度が高く、ニューラルネットワークの分布に最適です
+    bnb_4bit_compute_dtype=torch.bfloat16,
+)
+
 """
 model: モデル
 
@@ -96,25 +115,6 @@ model = AutoModelForCausalLM.from_pretrained(
 
 tokenizer = AutoTokenizer.from_pretrained(base_model_id, trust_remote_code=True)
 
-"""
-bnb_config: 量子化の設定
-
-  - load_in_4bit:
-      - 4bit量子化形式でモデルをロード
-
-  - bnb_4bit_quant_type:
-      - 量子化の形式を指定
-
-  - bnb_4bit_compute_dtype:
-      - 量子化された重みを用いて計算する際のデータ型
-
-"""
-
-bnb_config = BitsAndBytesConfig(
-    load_in_4bit=True,
-    bnb_4bit_quant_type="nf4", # nf4は通常のINT4より精度が高く、ニューラルネットワークの分布に最適です
-    bnb_4bit_compute_dtype=torch.bfloat16,
-)
 
 """
 find_all_linear_names: モデル内の4bit量子化線形層を探します。