WariHima/drafters-gemma4-v2-gguf

drafters gemma4 v2 gguf

gemma4モデル用の、ドラフトモデル専用のモデルです。そのため単体での生成は不可能です

総パラメータ数と保存サイズが下がっただけで、
drafters gemma4 ja v2 ggufとあがる速度はあまり変わらないです。
上流のllama.cppで使えます。(それ以外の環境は試していない)

量子化形式

bf16モデル
tq1_0モデル (おすすめ)

解説

gemma4トークナイザは語彙が約260kあり、その中で日本語に相当するものはごくわずかです。

gemma4トークナイザを使用して日本語トークンを出力し、 ターゲットモデルの出力時間のなかで、
ドラフト出力トークン数 > (ドラフトモデルのtoken/s) / (ターゲットモデルのtoken/s)
が成り立てば理論上速度が向上します。

ので、128dim、総パラメータ70mのqwen3nextアーキテクチャで作成し、ggufファイルはtq1_0を使用しました。

性能

rtx3060 faあり、gemma4-it-12b(q4_k_m) ドラフトモデルはtq1_0
の環境で軽く試したかぎりは26tk/sから31tk/sまで上がりました。
他のgemma4モデルでも多分動く、はず？

---

architecture

lfm2moe model
tokenizer from google/gemma-4-12B

train

training code in ./training_codes
少量のwikipediaデータでフルスクラッチ学習しました。 学習にかかった時間はrtx3060一枚で10分ほど。