WariHima/drafters-gemma4-v2

drafters gemma4 v2

gemma4モデル用の、ドラフトモデル専用のモデルです。 そのため単体での生成は不可能です。

drafters gemma4 v1から速度の上がり幅は変わっていないです。
モデルの保存サイズと総パラメータ数は下がっています。 上流のllama.cppで使えます。(それ以外の環境は試していない)

解説

gemma4トークナイザは語彙が約260kあり、その中で日本語に相当するものはごくわずかです。

gemma4トークナイザを使用して日本語トークンを出力し、 ターゲットモデルの出力時間のなかで、
ドラフト出力トークン数 > (ドラフトモデルのtoken/s) / (ターゲットモデルのtoken/s)
が成り立てば理論上速度が向上します。

ので、128dim、総パラメータ70mのqwen3nextアーキテクチャで作成し、ggufファイルはtq1_0を使用しました。

性能

rtx3060 faあり、gemma4-it-12b(q4_k_m) ドラフトモデルはtq1_0
の環境で軽く試したかぎりは26tk/sから31tk/sまで上がりました。
他のgemma4モデルでも多分動く、はず？

---

architecture

lfm2moe model
tokenizer from google/gemma-4-12B

train

training code in ./training_codes
少量のwikipediaデータでフルスクラッチ学習しました。 学習にかかった時間はrtx3060一枚で約10分ほど。