Mouserat/titlerat2-qat8

Colabノートブック

QAT8 ビフォー用ノートブック

QAT8 アフター用ノートブック

概要

• モデル名: Mouserat/titlerat2-qat8（QAT8）
• ベースモデル: google/mt5-small（Apache-2.0）
• 対応言語: 日本語（ja）、英語（en）、韓国語（ko）、中国語・簡体字（zh_Hans）、中国語・繁体字（zh_Hant）
• 出力: 短いタイトル（名詞句）。応答文は生成しません。
• 空の依頼文を入れると、空の出力を返します。

入力形式

区切りタグで囲んで入力します。

<user>
{依頼文}
</user>
<assistant>
{応答}
</assistant>

<user>、</user>、<assistant>、</assistant> は追加された特殊トークンです。このリポジトリの tokenizer を使ってください。応答が無い場合は、<assistant> の中を空にして入力してください。

使い方

このリポジトリには2つの版があります。

• FP32格納版: subfolder="before_quantization"を指定してfrom_pretrained()で読み込みます。
• 全重みを整数パックした版: after_quantization/README.mdの展開手順を実行します。

量子化後のパックは標準のfrom_pretrained()で直接ロードする形式ではありません。

用途

• チャットの履歴一覧に、会話の題名を付ける。
• 依頼の題材と種類を、短く示す。

想定されない用途

• 応答文の生成、安全性の判定、拒否の判断（拒否はチャット側のモデルの役割です）。
• 事実の提示（タイトルは要約であり、内容の正しさを保証しません）。
• 上記の 5 言語以外の依頼（対応していない言語では、品質は保証されません）。

評価

この版の重み構成に対する推論評価は未実施です。Full版や別の量子化方式の評価値は流用していません。

既知の制限

• 同じ語句の繰り返しが出ることがあります（例: 「意味と意味」）。生成時に繰り返しを抑える設定（no_repeat_ngram_size など）を入れると改善する可能性がありますが、この設定での評価はまだ行っていません。
• 綴りや文字の誤りが出ることがあります。
• 汎用的すぎるタイトルになることがあります（例: 「問題解答」）。
• 繁体字（zh_Hant）は、ほかの言語より低めです（OK 率 90%）。学習データ量が少ないためです。
• 長い依頼では、短い依頼に比べて題材の取り違えが増える傾向があります。
• 英語の長い依頼は、日本語の長い依頼より成績が低い傾向があります。
• 有害な話題の依頼では、その話題の名前がタイトルに含まれることがあります（例: 「火薬の作り方について」）。
• 依頼文の未知字（<unk>）は、学習データから取り除いています。推論時に未知字が多い依頼では、品質が下がる可能性があります。

学習データ

データセット本体は公開していません。学習に使った件数の内訳は次のとおりです（学習データ 85,672 件）。

言語	件数	出典
ja / en	37,319	SFT-General-Japanese-60K（16,179）、tagengo-gpt4（13,996）、shisa-v2-sharegpt（5,847）、ShareGPT-Processed（842）、拒否データ（433、合成・自作）、動物の対話（22、自作）
空入力（出力が空）	150	合成（テンプレートのみの入力）
ko	19,298	KoAlpaca-v1.1、EverythingLM-V2-Ko、korean-writing-style-instruct（coastral）
zh_Hans	18,224	smoltalk-chinese
zh_Hant	7,866	aya_collection_language_split、Traditional_Chinese-aya_dataset
en	2,815	aya_dataset、aya_collection_language_split

• 学習データから除いたもの: 新聞記事（CNN）の丸写し、定型の指示文（合成の依頼文）、人手判定で使えないとされた行。
• 評価に使った依頼文（500 件）は、学習データに含めていません。
• タイトルの一部は、Qwen/Qwen3.5-4B（Apache-2.0、配布元のモデルカードによる）で生成しました。

ライセンス

• ベースモデル（google/mt5-small）: Apache-2.0
• 本モデルの重みとコード: Apache-2.0
• 学習データの各出典のライセンスは、それぞれの配布元の記載に従います。〔公開前に確認が必要な項目: 各データの利用条件〕

量子化前後

• before_quantization/: QAT8チェックポイントをFP32テンソルで保存した版
• after_quantization/: 全浮動小数点パラメータを8bit整数へパックしたsafetensors

Q4/Q8の後版を通常のTransformersチェックポイントと誤認しないよう、専用のunpack手順を各フォルダのREADMEに記載しています。

ファイル

• model.safetensors: モデルの重み（QAT8）
• tokenizer.json ほか: 特殊トークンを含む tokenizer
• manifest.json: モデルの情報（重みの SHA-256 を含む）