OysterCoreAI/SFT-General-Japanese-60K
Viewer • Updated • 60k • 319 • 1
How to use Mouserat/titlerat with Transformers:
# pip install -U transformers accelerate
# Load model directly
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
tokenizer = AutoTokenizer.from_pretrained("Mouserat/titlerat")
model = AutoModelForSeq2SeqLM.from_pretrained("Mouserat/titlerat", device_map="auto")日本語・英語の依頼文を読み、その題材と種類を表す短いタイトル(名詞句)を生成するモデルです。チャットの会話に、履歴一覧用の題名を付けることを目的としています。
区切りタグで囲んで入力します。
<user>
{依頼文}
</user>
<assistant>
{応答}
</assistant>
<user>、</user>、<assistant>、</assistant> は追加された特殊トークンです。このリポジトリの tokenizer を使ってください。
データセット本体は未公開です(公開時期は後日)。出典は以下のとおりです(件数は学習データ 37,319 件の内訳)。
タイトルについて: 一部の学習データのタイトルは、Qwen/Qwen3.5-4B(Apache-2.0、配布元のモデルカードによる)を使って生成しました。
model.safetensors: モデルの重み(FP32)tokenizer.json ほか: 特殊トークンを含む tokenizermanifest.json: モデルの情報(重みの SHA-256 を含む)Base model
google/mt5-small