Update README.md

README.md

@@ -11,9 +11,6 @@ library_name: transformers
 ---
 # llm-jp-3-13b-finetune 使用方法ガイド
 
-## モデル概要
-このモデルは、llm-jp/llm-jp-3-13bをベースにLoRA (Parameter-Efficient Fine-Tuning)で学習された公開モデルです。
-
 ## 必要な環境
 - Python 3.10以上
 - CUDA対応GPU（推奨）
@@ -27,7 +24,6 @@ library_name: transformers
 ## インストール手順
 
 ```bash
-# 必要なライブラリのインストール
 pip install -U pip
 pip install -U transformers
 pip install -U bitsandbytes
@@ -83,7 +79,7 @@ model = AutoModelForCausalLM.from_pretrained(
     quantization_config=bnb_config,
     device_map="auto"
 )
-tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
+tokenizer = AutoTokenizer.from_pretrained(model_id)
 
 # 推論用の関数
 def generate_response(input_text):
@@ -114,6 +110,114 @@ response = generate_response(input_text)
 print(response)
 ```
 
+## タスク出力用JSONLファイルの生成方法
+
+### コード実装
+
+```python
+import json
+import torch
+from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
+
+def generate_jsonl_outputs(model, tokenizer, input_jsonl_path, output_jsonl_path):
+    # 入力データの読み込み
+    datasets = []
+    with open(input_jsonl_path, "r") as f:
+        item = ""
+        for line in f:
+            line = line.strip()
+            item += line
+            if item.endswith("}"):
+                datasets.append(json.loads(item))
+                item = ""
+    
+    # 出力の生成
+    results = []
+    for data in datasets:
+        input_text = data["input"]
+        
+        prompt = f"""### 指示
+{input_text}
+### 回答
+"""
+        
+        tokenized_input = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt").to(model.device)
+        attention_mask = torch.ones_like(tokenized_input)
+        
+        with torch.no_grad():
+            outputs = model.generate(
+                tokenized_input,
+                attention_mask=attention_mask,
+                max_new_tokens=100,
+                do_sample=False,
+                repetition_penalty=1.2,
+                pad_token_id=tokenizer.eos_token_id
+            )[0]
+            
+        output = tokenizer.decode(outputs[tokenized_input.size(1):], skip_special_tokens=True)
+        results.append({
+            "task_id": data["task_id"],
+            "input": input_text,
+            "output": output
+        })
+    
+    # 結果をJSONL形式で保存
+    with open(output_jsonl_path, 'w', encoding='utf-8') as f:
+        for result in results:
+            json.dump(result, f, ensure_ascii=False)
+            f.write('\n')
+
+# 使用例
+def main():
+    # 入出力パスの設定
+    input_path = "path/to/input.jsonl"
+    output_path = "path/to/output.jsonl"
+
+    # モデルとトークナイザーの準備
+    model_id = "harataku/llm-jp-3-13b-finetune"
+    bnb_config = BitsAndBytesConfig(
+        load_in_4bit=True,
+        bnb_4bit_quant_type="nf4",
+        bnb_4bit_compute_dtype=torch.bfloat16,
+    )
+
+    model = AutoModelForCausalLM.from_pretrained(
+        model_id,
+        quantization_config=bnb_config,
+        device_map="auto"
+    )
+    tokenizer = AutoTokenizer.from_pretrained(model_id)
+
+    # JSONL出力の生成
+    generate_jsonl_outputs(model, tokenizer, input_path, output_path)
+
+if __name__ == "__main__":
+    main()
+```
+
+### 出力形式
+
+生成されるJSONLファイルの各行は以下の形式になります：
+
+```json
+{"task_id": "タスクID", "input": "入力テキスト", "output": "モデルの出力"}
+```
+
+### 使用手順
+
+1. 必要なライブラリのインストール
+```bash
+pip install transformers torch accelerate bitsandbytes
+```
+
+2. 入力JSONLファイルの準備
+- 各行が有効なJSON形式である必要があります
+- 各JSONには少なくとも "task_id" と "input" フィールドが必要です
+
+3. スクリプトの実行
+- 適切なパスを設定してスクリプトを実行します
+- 出力されたJSONLファイルを確認します
+
 ## パラメータの説明
 
 ### モデル生成時のパラメータ
@@ -151,22 +255,3 @@ model = AutoModelForCausalLM.from_pretrained(
 )
 ```
 
-## 注意事項
-- 4bit量子化を使用しているため、メモリ使用量は効率的ですが、推論速度とのトレードオフがあります
-- GPU環境での実行を推奨します
-- 長い入力テキストの場合は、`max_new_tokens`の値を適宜調整してください
-
-## ライセンス
-本モデルはベースモデル（llm-jp/llm-jp-3-13b）のライセンスを継承しています。また、学習データとして使用したichikara-instructionデータセットのライセンス（CC-BY-NC-SA）も適用されます。
-
-## 引用
-学習データについて：
-```
-関根聡, 安藤まや, 後藤美知子, 鈴木久美, 河原大輔, 井之上直也, 乾健太郎. 
-ichikara-instruction: LLMのための日本語インストラクション���ータの構築. 
-言語処理学会第30回年次大会(2024)
-```
-
-## 更新履歴
-- 2024/03/XX: モデルをpublic設定に変更
-- 2024/03/XX: READMEを更新し、より簡単な使用方法を追加