Update README.md

README.md

@@ -8,7 +8,8 @@ pipeline_tag: text-generation
 # **llm-jp-3-13b-finetune**
 
 ## **概要**
-このモデルは、LLM-jp-3 13BをベースにLoRA (Low-Rank Adaptation) を用いてFine-tuningされたモデルです。主に **ELYZA-tasks-100-TV** のタスクに対応するために調整されています。以下のような指示応答形式で動作します。
+このモデルは、LLM-jp-3 13BをベースにLoRA (Low-Rank Adaptation) を用いてFine-tuningされたモデルです。
+主に **ELYZA-tasks-100-TV** のタスクに対応するために調整されています。以下のような指示応答形式で動作します。
 
 **入力形式**:
 指示
@@ -39,15 +40,9 @@ import torch
 from tqdm import tqdm
 import json
 
-# Hugging Faceで取得したTokenをこちらに貼る。
-HF_TOKEN = "Tokenを貼り付け"
-
 # ベースとなるモデルと学習したLoRAのアダプタ。
-# model_idの値はomnicampusの環境におけるモデルのパスを表しており、それ以外の環境で実行する場合は変更の必要があります。
-model_id = "models/models--llm-jp--llm-jp-3-13b/snapshots/cd3823f4c1fcbb0ad2e2af46036ab1b0ca13192a"
-# omnicampus以外の環境をご利用の方は以下をご利用ください。
-# base_model_id = "llm-jp/llm-jp-3-13b" 
-adapter_id = "chi-michi/llm-jp-3-13b-finetune" # Hugging FaceのIDを指定。
+base_model_id = "llm-jp/llm-jp-3-13b" 
+adapter_id = "kevineen/llm-jp-3-13b-finetune" # Hugging FaceのIDを指定。
 
 # QLoRA config
 bnb_config = BitsAndBytesConfig(
@@ -61,7 +56,6 @@ model = AutoModelForCausalLM.from_pretrained(
     model_id,
     quantization_config=bnb_config,
     device_map="auto",
-    token = HF_TOKEN
 )
 
 # Load tokenizer
@@ -82,35 +76,6 @@ with open("./elyza-tasks-100-TV_0.jsonl", "r") as f:
         datasets.append(json.loads(item))
         item = ""
 
-# gemma
-results = []
-for data in tqdm(datasets):
-
-  input = data["input"]
-  prompt = f"""### 指示
-  {input}
-  ### 回答
-  """
-
-    # トークナイズして input_ids と attention_mask を取得
-  tokenized_input = tokenizer(prompt, return_tensors="pt")
-  input_ids = tokenized_input["input_ids"].to(model.device)
-  attention_mask = tokenized_input["attention_mask"].to(model.device)
-
-    # モデルで生成
-  outputs = model.generate(
-        input_ids=input_ids,
-        attention_mask=attention_mask,  # attention_mask を渡す
-        max_new_tokens=512,
-        do_sample=False,
-        repetition_penalty=1.2,
-        pad_token_id=tokenizer.eos_token_id  # pad_token_id を設定
-  )
-  output = tokenizer.decode(outputs[0], skip_special_tokens=True)
-
-    # 結果を保存
-  results.append({"task_id": data["task_id"], "input": input, "output": output})
-
 # llmjp
 results = []
 for data in tqdm(datasets):