Mouserat/titlerat2

Colabノートブック

titlerat2 Colabノートブック

概要

• モデル名: titlerat2（Full FP32）
• ベースモデル: google/mt5-small（Apache-2.0）
• 対応言語: 日本語（ja）、英語（en）、韓国語（ko）、中国語・簡体字（zh_Hans）、中国語・繁体字（zh_Hant）
• 出力: 短いタイトル（名詞句）。応答文は生成しません。
• 空の依頼文を入れると、空の出力を返します。

入力形式

区切りタグで囲んで入力します。

<user>
{依頼文}
</user>
<assistant>
{応答}
</assistant>

<user>、</user>、<assistant>、</assistant> は追加された特殊トークンです。このリポジトリの tokenizer を使ってください。応答が無い場合は、<assistant> の中を空にして入力してください。

使い方

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tok = AutoTokenizer.from_pretrained("titlerat2")
model = AutoModelForSeq2SeqLM.from_pretrained("titlerat2")

text = "<user>\n東京から京都まで新幹線で行く場合の料金と所要時間を教えて\n</user>\n<assistant>\n東京駅から京都駅まで、のぞみで約2時間15分です。\n</assistant>"
inputs = tok(text, return_tensors="pt", truncation=True, max_length=512)
out = model.generate(**inputs, max_new_tokens=64, num_beams=1, do_sample=False)
print(tok.decode(out[0], skip_special_tokens=True))

推論の設定は、greedy（確率の高い語を選ぶ）を前提にしています。

用途

• チャットの履歴一覧に、会話の題名を付ける。
• 依頼の題材と種類を、短く示す。

想定されない用途

• 応答文の生成、安全性の判定、拒否の判断（拒否はチャット側のモデルの役割です）。
• 事実の提示（タイトルは要約であり、内容の正しさを保証しません）。
• 上記の 5 言語以外の依頼（対応していない言語では、品質は保証されません）。

評価

人手による判定（OK / NG）で評価しました。判定の基準は「タイトルが依頼の題材と種類に合っているか」です。

言語	判定数	OK	OK 率（95% 信頼区間）
ko	100	97	97.0%（±3.3）
zh_Hans	100	96	96.0%（±3.8）
zh_Hant	100	90	90.0%（±5.9）
en	100	93	93.0%（±5.0）
ja	100	95	95.0%（±4.3）
全体	500	471	94.2%（±2.0）

• 評価データは、学習データとは別の依頼文です。
• 判定は、1 名が行いました。判定者間の一致は確認していません。
• 空の依頼文 20 件では、20 件すべて空の出力になりました。

既知の制限

• 同じ語句の繰り返しが出ることがあります（例: 「意味と意味」）。生成時に繰り返しを抑える設定（no_repeat_ngram_size など）を入れると改善する可能性がありますが、この設定での評価はまだ行っていません。
• 綴りや文字の誤りが出ることがあります。
• 汎用的すぎるタイトルになることがあります（例: 「問題解答」）。
• 繁体字（zh_Hant）は、ほかの言語より低めです（OK 率 90%）。学習データ量が少ないためです。
• 長い依頼では、短い依頼に比べて題材の取り違えが増える傾向があります。
• 英語の長い依頼は、日本語の長い依頼より成績が低い傾向があります。
• 有害な話題の依頼では、その話題の名前がタイトルに含まれることがあります（例: 「火薬の作り方について」）。
• 依頼文の未知字（<unk>）は、学習データから取り除いています。推論時に未知字が多い依頼では、品質が下がる可能性があります。

学習データ

データセット本体は公開していません。学習に使った件数の内訳は次のとおりです（学習データ 85,672 件）。

言語	件数	出典
ja / en	37,319	SFT-General-Japanese-60K（16,179）、tagengo-gpt4（13,996）、shisa-v2-sharegpt（5,847）、ShareGPT-Processed（842）、拒否データ（433、合成・自作）、動物の対話（22、自作）
空入力（出力が空）	150	合成（テンプレートのみの入力）
ko	19,298	KoAlpaca-v1.1、EverythingLM-V2-Ko、korean-writing-style-instruct（coastral）
zh_Hans	18,224	smoltalk-chinese
zh_Hant	7,866	aya_collection_language_split、Traditional_Chinese-aya_dataset
en	2,815	aya_dataset、aya_collection_language_split

• 学習データから除いたもの: 新聞記事（CNN）の丸写し、定型の指示文（合成の依頼文）、人手判定で使えないとされた行。
• 評価に使った依頼文（500 件）は、学習データに含めていません。
• タイトルの一部は、Qwen/Qwen3.5-4B（Apache-2.0、配布元のモデルカードによる）で生成しました。

ライセンス

• ベースモデル（google/mt5-small）: Apache-2.0
• 本モデルの重みとコード: Apache-2.0
• 学習データの各出典のライセンスは、それぞれの配布元の記載に従います。〔公開前に確認が必要な項目: 各データの利用条件〕

ファイル

• model.safetensors: モデルの重み（Full FP32）
• tokenizer.json ほか: 特殊トークンを含む tokenizer
• manifest.json: モデルの情報（重みの SHA-256 を含む）