Edit model card

ebisuke/liz-nojaloli-nxja-ja

License

MIT ベースとしてabeja/gpt-neox-japanese-2.7bを使用しています。

Description

のじゃロリ風味チャットモデルです。
ebisuke/liz-nojaloli-jaのバリアントです。

abeja/gpt-neox-japanese-2.7bをベースとしてファインチューンしています。
開発者の趣味と個人的な勉強用の為に作成しました。

いろいろと不足しているのであまり会話は通じません。
本モデルは開発中のため、データセットの更新により逐次アップデートされる可能性があります。

Datasets

ファインチューンでは以下のデータセットのみ使用しています。
ebisuke/liz-nojaloli-ja-ds

Usage

ユーザーの入力を"相手は言いました。「(内容)」\n"で括ってください。
モデルは"あなたは言いました。「"以降の文脈を生成します。
それ以降も続く場合があるので必要に応じて"」"の文字までで打ち切ってください。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("ebisuke/liz-nojaloli-nxja-ja", use_fast=True)
model = AutoModelForCausalLM.from_pretrained("ebisuke/liz-nojaloli-nxja-ja", load_in_8bit=True, device_map='auto')

text = "相手は言いました。「眠いにゃ・・・」 \nあなたは言いました。「"
token_ids = tokenizer.encode(text, add_special_tokens=False, return_tensors="pt")

with torch.no_grad():
    output_ids = model.generate(
        input_ids=token_ids.to(model.device),
        max_new_tokens=1000,
        do_sample=True,
        temperature=0.7,
        pad_token_id=tokenizer.pad_token_id,
        bos_token_id=tokenizer.bos_token_id,
        eos_token_id=tokenizer.eos_token_id,
    )

output = tokenizer.decode(output_ids.tolist()[0],skip_special_tokens=True)
print(output)

Plan

  • RLHFとかに挑戦してみる。
  • プロンプトの記述方法を、既存のチャットモデルのフォーマットに合わせるか検討中。
  • 指示をあまり受け付けない・物を知らない方が好みなので、そういうチューニングは限定的です。
Downloads last month
2
Safetensors
Model size
2.6B params
Tensor type
F32
·
BF16
·
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Dataset used to train ebisuke/liz-nojaloli-nxja-ja