Kendamarron/jimba-instruction-generator_RakutenAI-7B-instruct_lora

モデルについて

与えられたテキストに関連するinstructionを生成するモデルです。

instructionデータセット作成にお役立てください。

不適切なinstructionが生成される可能性がありますので、出力のチェックは必須です。

詳細についてはこちらをご覧ください。

使い方

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
model_path = "Rakuten/RakutenAI-7B-instruct"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.bfloat16, device_map="auto")
model = PeftModel.from_pretrained(
    model,
    "Kendamarron/jimba-instruction-generator_RakutenAI-7B-instruct_lora"
)
model.eval()
input_text = "サンプルテキスト"
system_message = """A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions. USER: 次の要素を使った算数の文章問題を作成してください。
要素: {user_input} ASSISTANT: """
inputs = tokenizer(system_message.format(user_input=input_text), return_tensors="pt").to(device=model.device)
with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=256,
        do_sample=True,
        temperature=0.8,
        eos_token_id=tokenizer.eos_token_id
)
print(tokenizer.decode(outputs[0],skip_special_tokens=True))

備考

Discordサーバー「ローカルLLMに向き合う会」とメタデータラボ株式会社が共同開催された「LOCAL AI HACKATHON #000」にて作成した成果物になります。