codemafia0000/llm-jp-3-13b-finetune-LoRA-241124

概要

llm-jp-3-13b のファインチューニングモデルです。
（本モデルは松尾研大規模言語モデル講座2024のコンペ用モデルとして作成したものとなります。）

提出用ファイルの作成方法

提出用ファイルの作成方法は以下の通りです。

事前準備

事前準備は推論対象となるファイルの配置とライブラリのインストールです。

ファイルの配置

elyza-tasks-100-TV_0.jsonlファイルをコードを実行するディレクトリに配置してください。

依存ライブラリのインストール

ライブラリのインストールを行います。

# 依存ライブラリは次のとおりです。
# - unsloth
# - tqdm
# - torch

# Google Colab で実行する場合は `unsloth` のみインストールしてください。
!pip install unsloth
!pip uninstall unsloth -y && pip install --upgrade --no-cache-dir "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"

ファイル生成

以下のコードでは、課題のタスク（elyza-tasks-100-TV_0.jsonl）から提出用ファイル（llm-jp-3-13b-finetune-LoRA-241124_output.jsonl）ファイルを出力します。 （なお、Colabでコードを実行する際はランタイムのタイプをL4に変更して行ってください。

# ライブラリのインポート
from unsloth import FastLanguageModel
from tqdm import tqdm  # 進行状況を表示するためのライブラリ
import torch
import json

# モデル名の指定
model_name = "codemafia0000/llm-jp-3-13b-finetune-LoRA-241124"
# 提出用ファイル名
output_file_name = model_name.split('/')[-1] # モデル名のみ取得
output_file_name = f"{output_file_name}_output.jsonl"

# Hugging Faceのアクセストークンを設定します。自身のトークンに置き換えてください。
HF_TOKEN = "YOUR_TOKEN"

# モデルの設定
max_seq_length = 2048  # 入力シーケンスの最大長
dtype = None  # データ型（デフォルト）
load_in_4bit = True  # 4ビット精度でモデルをロードし、メモリ使用量を削減

# モデルとトークナイザーをロードします
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = model_name,
    max_seq_length = max_seq_length,
    dtype = dtype,
    load_in_4bit = load_in_4bit,
    token = HF_TOKEN,
)

# モデルを推論モードに設定
FastLanguageModel.for_inference(model)

# タスクデータの読み込み
datasets = []
with open("./elyza-tasks-100-TV_0.jsonl", "r") as f:
    item = ""
    for line in f:
        line = line.strip()
        item += line
        if item.endswith("}"):
            datasets.append(json.loads(item))
            item = ""

# 結果を保存するリストを初期化
results = []

# 各タスクに対してモデルを実行
for dt in tqdm(datasets):
    input = dt["input"]

    # モデルへの入力プロンプトを作成します
    prompt = f"""### question\n{input}\n### answer\n"""

    # トークナイザーを使用してプロンプトをトークン化
    inputs = tokenizer([prompt], return_tensors = "pt").to(model.device)

    # モデルを使用して応答を生成
    outputs = model.generate(**inputs, max_new_tokens = 512, use_cache = True, do_sample=False, repetition_penalty=1.2)

    # 生成されたトークンをデコードしてテキストに変換、不要な部分を削除
    prediction = tokenizer.decode(outputs[0], skip_special_tokens=True).split('\n### answer')[-1]

    # 結果をリストに追記
    results.append({"task_id": dt["task_id"], "input": input, "output": prediction})

# 結果をJSONL形式で保存
with open(output_file_name, 'w', encoding='utf-8') as f:
    for result in results:
        json.dump(result, f, ensure_ascii=False)
        f.write('\n')

# EOF

以上が提出用ファイルの出力方法となります。