Gemma

Gemmaは、Google DeepMindによって開発されたオープンソースの大規模言語モデル (LLM) シリーズである。Googleの主力商用モデルであるGeminiと同様の技術に基づいている。最初のバージョンは2024年2月にリリースされ、続いて2024年6月にGemma 2、2025年3月にGemma 3がリリースされた。Gemmaの派生モデルとして視覚言語モデルであるPaliGemmaや、医療相談トピック向けのMedGemmaなども開発されている。

 歴史 
2024年2月、GoogleはGeminiの軽量版として機能するフリーかつオープンソースなLLMファミリーであるGemmaを初公開した。Gemmaでは2つのサイズのモデルが公開され、パラメータ数はそれぞれ20億 (2B) と70億 (7B) である。複数のメディアはこれを、MetaなどがAIモデルをオープンソース化していることへの対応であり、AIを独自のものとして保持してきたGoogleの長年の方針からの劇的な転換であると見なした。

Gemma 2は2024年6月27日にリリースされ、Gemma 3は2025年3月12日にリリースされた。

 概要 
Geminiシリーズのモデルと同様の技術に基づき、GemmaはGoogleによる「AIをすべての人にとって役立つものにする」というミッションを支援するものとして説明されている。また、Googleは医療分析用のMedGemmaなど、特定の用途に最適化された公式のGemma派生モデルを公開している。

リリース以来、Gemmaモデルのダウンロード数は1億5000万回を超え、Hugging Faceではコミュニティや個人によるファインチューニング版や量子化版を含め、7万以上のモデルが利用可能である。

最新世代のモデルであるGemma 3は、10億、40億、120億、270億 (1B, 4B, 12B, 27B) のパラメータサイズで公開され、140以上の言語をサポートしている。マルチモーダルモデルとして、テキストと画像の両方の入力に対応している。さらに、Googleはスマートフォン、ノートパソコン、タブレットなどのデバイスでの実行に最適化された小型モデルであるGemma 3nも公開している。

 アーキテクチャ 
Gemmaの最新バージョンであるGemma 3は、グループクエリアテンション (GQA: grouped-query attention) とSigLIPビジョンエンコーダを備えたデコーダのみのTransformerアーキテクチャに基づいている。すべてのモデルのコンテキスト長は128Kであるが、Gemma 3 1Bのみコンテキスト長は32Kである。

量子化対応トレーニング (QAT: quantization-aware training) を使用してファインチューニングされた量子化バージョンも利用可能である。これはメモリ使用量を大幅に改善するが、精度と正確さ (precision) に多少の悪影響を及ぼす。

 公式派生モデル 
Googleは、医療分析やプログラミングなど、特定の目的のために設計されたGemmaの公式派生モデルを開発している。

 ShieldGemma 2 (4B): Gemma 3ファミリーに基づく、暴力的、危険、および性的に露骨な画像を識別およびフィルタリングするためのモデル。
 MedGemma (4Bおよび27B): 同じくGemma 3に基づいており、画像分析などの医療アプリケーション向けのモデル。しかし、GoogleはMedGemmaが「まだ臨床レベルではない」ともしている。インドのグルグラムにあるTap Healthの開発者は、MedGemmaを使用してAI支援による糖尿病管理アプリケーションを強化している。
 DolphinGemma (約400M): ジョージア工科大学の研究者およびWild Dolphin Projectとの協力で開発された、音声分析を通じてイルカのコミュニケーションをよりよく理解することを目的としたモデル。モデルやデータは公開されていない。
 CodeGemma (2Bおよび7B): コード補完および一般的なコーディングのために設計されたモデル群。Python、Java、C++など、複数のプログラミング言語をサポートする。

+Gemmaモデルの技術仕様 世代  リリース日 パラメータ数 コンテキスト長 マルチモーダル 備考 Gemma 1    2B, 7B  8192    2Bモデルは7Bから蒸留 (distilled) された物。2Bはマルチクエリアテンションを使用し、7Bはマルチヘッドアテンションを使用。 CodeGemma    2B, 7B  8192    コード生成用にファインチューニングされたGemma 1。 RecurrentGemma    2B, 9B  無制限（モデル学習時は8192トークン）     Transformerベースではなく、Griffinベース。 Gemma 2    2B, 9B, 27B   8192    27Bはウェブドキュメント、コード、科学論文から学習。Gemma 2 9Bは27Bから蒸留。Gemma 2 2Bは未リリースの7Bモデルから蒸留。グループクエリアテンション (Grouped-Query Attention) を使用。 PaliGemma    3B  8192    テキストと画像を入力として受け取り、テキストを出力する視覚言語モデル。SigLIP-So400m画像エンコーダとGemma v1.0 2Bを接続して作成。 PaliGemma 2    3B, 10B, 28B  8192    SigLIP-So400mとGemma v2.0 2B、9B、および27Bを組み合わせて作成。より多くの視覚言語タスクが可能。 Gemma 3    1B, 4B, 12B, 27B  131072    全モデルが蒸留により学習。事後学習は数学、コーディング、チャット、指示追従、多言語（140言語対応）に重点。関数呼び出しが可能。1Bは視覚機能非対応。
注：オープンウェイトモデルは、推論時にコンテキスト長を再スケーリングできる。Gemma 1、Gemma 2、PaliGemma、およびPaliGemma 2では、コスト（KVキャッシュのサイズ）は、コンテキスト長に比例して増加する。Gemma 3では、ローカルアテンションとグローバルアテンションの分離により、成長曲線が改善されている。RecurrentGemmaでは、2048トークン後のメモリ使用量は変わらない。

 参考文献 

 外部リンク 


Category:2024年のソフトウェア
Category:チャットボット
Category:Googleのソフトウェア
Category:大規模言語モデル
Category:マルチモーダル・インタラクション