【噂の!】ローカルで動かす Gemma 3 12b を VSCode から呼んでみる【ロマン!】

# ローカルで動かす Gemma 3 12b を VSCode から呼んでみる

# ０，Copilot はロマンを感じないのでスルー

「VSCode のAIアシスタントなら、Copilot があるじゃん！」という話はある。

「いやいや、ローカルで賢いAIを使い倒すのがロマンじゃろ？」

「情報漏えいやら、課金やら、気にせず、己の CPUとGPU でガンガン行こうぜ！！」

「そういえば、Gemma 3 12b ってローカルで動くし、かなり賢いじゃん」

行けるんじゃね？そんな話。


# １，まず、Ollama を入れる

Ollama とはなにか？を ChatGPT-4o に聞いてみた。

### Ollama とは？

Ollama（オラマ） は、**ローカル環境で LLM（大規模言語モデル）を動かせるオープンソースの AI ランタイム** です。  
💡 簡単に言うと、**自分のPCで ChatGPT のような AI を動かせるツール！**

### 🛠 Ollama の特徴
✅ ローカル実行: インターネット不要で動作  
✅ 軽量＆最適化: `gguf` フォーマットを使い、VRAMを節約  
✅ シンプルな CLI: `ollama run gemma3:12b` のような簡単コマンド  
✅ モデル管理: `ollama pull` で自由に LLM をダウンロード  
✅ API 提供: `http://127.0.0.1:11434` でローカル API を利用可能  
✅ クロスプラットフォーム: Windows / Mac / Linux で動作  

### Ollama で使える LLM

公式モデルは [Ollama モデルページ](https://ollama.com/library) で確認可能！

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/107592/b22f47ec-d95e-49d4-b855-009adefe93f6.png)

Gemma 3 以外にもいろいろあるみたい。あとで、余裕があったら、動くかどうか試してみます。

----

ということで、まずは Ollama をインストール

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/107592/2ab03708-078e-4fec-9d78-82f45a6bb9bf.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/107592/5083dc93-1bf2-48bf-89b4-7fcabb4d749e.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/107592/ec97e2e6-55dc-44ef-8d2b-97fbdc1b60dd.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/107592/a7672332-2e0d-4fa3-9ed6-093470d69598.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/107592/827c3e56-43e2-46c6-bf5a-b3272a35e171.png)


# ２，次に Gemma3 を入れる（VSCodeにContinueを入れたら、ここの動作確認はスキップできるかもしれない。未確認）

ollama がインストールできたのか、バージョンを確認して、
```
> ollama --version
```

gemma3:12b を入れてみる。（gemma3:3b は存在しない←間違い）
```
> ollama pull gemma3:12b
```

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/107592/30f6d765-0fc5-4f80-a8f0-3c4a13b6f546.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/107592/638c38fe-56ea-4605-a65e-e9beb1afb26c.png)

動作確認、gemma3 起動
```
> ollama run gemma3:12b
```

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/107592/4217aeaf-f0c3-4d23-941d-2920ae617c30.png)

う、動くぞ！

動作確認、プロンプトを入れてみる。

```
HTMLとJavaScriptを使って、アーケードゲーム「パックマン」に似たゲームを作ってください。
```
すげー！あっさり動いた。

GPUを使っていないきがするけど、CPU （50%以下）だけでこの生成速度はすごい。
（注意：↓動画は長いので、生成途中をカットしています）

![2025-03-16-gemma3_12b.gif](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/107592/6f2af489-68f3-40f2-a948-40b2a2347f17.gif)

ちなみに、生成されたコードの実行結果はこちら↓。エラーは無いけど、ゲームにはなっていないかな。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/107592/c6f361e8-84b9-4c17-b04d-f0a5de2a0c21.png)


# ２．５，CUDA を入れる（すでに入っているひとはスキップ）

なんかGPUを全然使っていないように見えるから、ChatGPT-4o さんに聞いた。そしたら「CUDA が入ってないでしょ」と言われた。確かに入っていないので入れてみる。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/107592/fa3e99bb-9a12-44c4-9424-ef519c52907f.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/107592/68b9f281-6662-4207-bddd-5b43c04155e3.png)

確認↓、入った。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/107592/fed863b8-da6d-4d75-94e7-2b777a8def5b.png)

もう一度、試す。

```
HTMLとJavaScriptを使って、アーケードゲーム「パックマン」に似たゲームを作ってください。
```

気持ち早くなった気もするけど、そんなに変化は無いかな。

![2025-03-16-gemma3_12b_CUDA.gif](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/107592/0933cdde-6fe1-42bb-8e2a-1a175f15aa34.gif)


CUDAの項目が上がってました。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/107592/3e7ed82d-0153-4380-b111-95098337a590.png)

今度は、動いた。一発でこれが出るのは結構すごい。

![2025-03-16-gemma3_12b_PACMAN.gif](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/107592/f6d5e5d4-573f-4286-888c-12fe39ce0ae4.gif)


# ３，VSCode に Cline を入れる（→入れませんでした→行けるルートがありました）

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/107592/a0e55894-fd3a-4add-97b7-1b93e91015ae.png)


![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/107592/c8be0011-0151-4bd1-90c7-08c04f2202d1.png)

だけど、Sign in しないと先に進めない。
ので、「ローカルで使いたいのにアカウント作るのイヤなんだけど」とChatGPT-4o さんに聞くと「Continue」なら Sign in はいらないはず。と言われたので、 Cline は Uninstall。

### 追記：

その後、アカウントを取らなくても行けるルートが見つかったので、↓の Continue でなくても大丈夫でした。

API Provider で Ollama を選択すれば、アカウント無しで、ローカルエージェントが行ける！！
（ただ、私の環境では 12b との連携は無理みたい→単体なら動くけど、VSCode+Clineから12bは、なぜか動きません。みなさんの環境ではいかがでしょう？？）

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/107592/944adffd-2530-483c-803a-f1aca227aa1f.png)

### さらに追記：

4b であれば動いている。動いてはいるのだが、Cline が裏で要求するプロンプトをうまく処理できないようだ。Cline は Claude に最適化されているので、ちょっと今の段階で Gemma3 に置き換えるのは難しいという判断に至りました。


# ３．１，VSCode に Continue を入れる

気を取り直してContinueをインストール

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/107592/ceb553fc-736f-4a4d-a8b2-851b09f3293f.png)


Continueのアイコンが追加されるので、選択して、表示される↓プルダウンから「Add Chat model」を選んで　Chat model を追加する

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/107592/6d9ad3fd-2b3c-405d-8d79-024cb0845c3d.png)

なんか Sign in しなければ行けない雰囲気を感じながらも、動じずに、いったん「Gemma 2」を設定。ここに Gemma 3 があれば、話は簡単なんだけど、まだ入っていないみたい。（待っていれば、すぐに入る気もする）

Provider: Ollama
Model: Gemma 2 2b IT

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/107592/89918fbe-0fad-4146-829f-691b24fc31bc.png)

この状態で、ローカルな Gemma 2 が使えるはず。

ここで、Config.json が作られるので、開いて

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/107592/40412b77-f239-4f80-aeb3-52903839fd82.png)

Gemma 3 （以下のJSON）を強引に追記！！！（この書き方は ChatGPT-4oさんに聞いた。）
```
    {
      "title": "Gemma 3 12b",
      "model": "gemma3:12b",
      "provider": "ollama",
      "serverUrl": "http://127.0.0.1:11434"
    },
    {
      "title": "Gemma 3 4b",
      "model": "gemma3:4b",
      "provider": "ollama",
      "serverUrl": "http://127.0.0.1:11434"
    }
```

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/107592/e5c9681d-8a9d-40b4-81eb-bd18e75b1dc9.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/107592/e22b8deb-55a9-4019-bbf4-fb09eea6da95.png)

ここまで、で動いたように見えるのだか、動かしていると原因不明でPCが落ちるようになった。まじかー！あと少しなのに。Ollama か Gemma 3 か Continue か VSCode か、どこかの相性なのか、理由はわからない、、、、まさか、熱暴走？？うそーん。

って、わたしだけ？？みなさまのコメントをお待ちしています。

### 追記：

その後、なんとなくですが、落ちる理由がわかった気がします。おそらく 12b を動かすにはメモリが足りない、というか、VSCode+Continue の組み合わせで 12b を動かそうとすると、私のPCでは限界を超える模様。

なので、4b を使っていれば大丈夫そう。もう少し、様子を見ます。

それから、Cline でもアカウントを取らずに行けました。（なぜ、そのルートが見つけられなかったのか、今となっては謎ですが。Clineの項目↑に追記しておきました）

というわけで、私のPCでは、4b が限界っぽいことがわかったところで、新しいPCを物色するときが来たんじゃないですかね。

これはもしかして、PC買い替えブームがやってきて、そのままAI半導体ブーム更に加速？？

いやぁ、おもしろくなってきました。

それではみなさま、楽しいプログラミングライフをお過ごしくださいませ。