Windows でローカルLLM： Ollama で Gemma 3 を軽く試す

## はじめに

ローカルLLM は M4 の Mac mini でばかり試していたのですが、Windows でも少し試してみました。

- Ollama を利用
   - [Mac mini で ローカルLLM： Ollama で「REST API」とライブラリ「ollama-js」を試す（モデルは Gemma 3） - Qiita](https://qiita.com/youtoy/items/d835920f1bd26dae57fd)
   - [M4 の Mac mini で ローカルLLM： Ollama で Gemma 3 を軽く試す（テキスト入力、画像も入力するマルチモーダル） - Qiita](https://qiita.com/youtoy/items/d921bfa19794e328c7e1)
- MLX LM・MLX-VLM を利用
   - [Mac mini で ローカルLLM： Google の Gemma 3（量子化された MLX版 2種）の画像入力を MLX-VLM で試す - Qiita](https://qiita.com/youtoy/items/3ca63dce26ba0c7e8956)
   - [Mac mini で ローカルLLM：「Qwen3-30B-A3B」「Phi-4-reasoning」を MLX LM で試す（量子化された MLX版） - Qiita](https://qiita.com/youtoy/items/6688eab8dc851d2f3ef5)


なお、モデルは以下 2つを試します。

- gemma3:12b-it-q8_0
- gemma3:27b-it-q4_K_M


## さっそく試す

さっそく試していきます。


### 利用する PC

今回使う PC は以下のマシンです。

https://x.com/youtoy/status/1773948228712739226


スペックはこんな感じです。

![2025-05-17_01-19-15.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/50868/ebcdd7aa-e3aa-4e45-9da8-7aa4f88eb4e0.jpeg)



### Windows用のインストーラーでインストール

以下のページから Windows用のインストーラーをダウンロードしてインストールします。

●Download Ollama on Windows
 https://ollama.com/download/windows

![2025-05-17_00-44-26.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/50868/ae6b01e7-5811-405b-82a8-15561a3256ab.jpeg)


以下、インストール中の様子です。

![2025-05-17_01-11-31.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/50868/d701c7bb-a6db-4cef-8fc0-0162c69b4876.jpeg)


### インストール完了後

インストールが完了すると、以下の PowerShell が立ち上がりました。

![2025-05-17_00-48-16.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/50868/ad39373c-32d3-43a4-82e1-7d271397277d.jpeg)


#### gemma3:12b-it-q8_0 を使えるようにする

Mac で試していた gemma3:12b-it-q8_0 を使うことにします。

以下のコマンドを実行すると、モデルがダウンロードされます。

```powershell
ollama run gemma3:12b-it-q8_0
```

ちなみに Windows の場合は、以下にダウンロードされるようです。

```
C:\Users\【Windowsのユーザー名】\.ollama\models
```


#### gemma3:12b-it-q8_0 を使う

ダウンロードが完了したら、プロンプトを入力して試してみます。

[Mac で試していた時](https://qiita.com/youtoy/items/d921bfa19794e328c7e1)と同じプロンプトの **「生成AIを8歳に分かるように短い言葉で説明して」** という内容で試してみました。そして得られた結果は以下のとおりです。

![2025-05-17_01-07-50.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/50868/3d8e6b01-bfe4-457a-a94a-9d37670e1683.jpeg)


以下のとおり、13GB のサイズのモデルですが、問題なく動作しました。

●gemma3:12b-it-q8_0
 https://ollama.com/library/gemma3:12b-it-q8_0

![2025-05-17_01-16-19.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/50868/ce70f931-ccc9-492c-a07b-8a81db673172.jpeg)



#### gemma3:27b-it-q4_K_M を使う

もう 1種類使ってみます。

[17GB ほどのサイズになる gemma3:27b-it-q4_K_M](https://ollama.com/library/gemma3:27b-it-q4_K_M) を、以下でダウンロードして実行します。

```powershell
ollama run gemma3:27b-it-q4_K_M
```

以下、ダウンロード中です。

![2025-05-17_01-30-37.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/50868/ad06b20a-6fd4-4316-8345-eb951887d8c8.jpeg)

ダウンロードが完了した後、先ほどと同じプロンプトの **「生成AIを8歳に分かるように短い言葉で説明して」** という内容で試してみます。その結果、以下の応答を得られました。

![2025-05-17_01-38-58.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/50868/7406871d-118c-492c-8257-12d5b57a469d.jpeg)


## 実行中のパフォーマンスなどの情報

Ollama を今回のマシンで起動している時、またプロンプトに対する回答が生成されている時の、パフォーマンスなどの情報を掲載してみます。


### メモリの利用

こちらは Ollama を起動している時のメモリの利用状況です。14GBくらい使っている状態になっていました。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/50868/f348ac71-cda3-4f04-82c5-196437ef5a81.png)

### 処理負荷

また、プロンプトに対する回答が生成されている時の処理負荷を見てみます。

![2025-05-18_23-38-54.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/50868/5b348c15-d901-4f1b-be0b-476884182bfe.jpeg)

![2025-05-18_23-40-57.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/50868/ecb8a8ad-bbdc-473b-850f-35dcb126e1aa.jpeg)

CPU での処理になっているようでした。