GMKtec EVO-X2のLLMの動作を軽く確認しました

## はじめに
AMD Ryzen AI MAX+ 395が使えるということで、GMKtecが発売するEVO-X2を待っている人も多いと思います。私もその一人で、昨日(5/16)に受け取ったので、軽く動作確認してみました。

EVO-X2のインストール済みアプリであるAIPCはWeChatにアカウントがないと使えないようですので、LM Studioを利用しました。この記事ではLM Studioのインストールは省略します。以下の記事などを参考にしてください。

https://qiita.com/shioccii/items/bc6127ffe88c65ca8f55

インストールや実行時のUIは変わっていますのでご注意ください。特にGPUオフロードはモデルを選択した後に左に現れるギアアイコンをクリックすると操作できます。

![GPUオフロード](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/519489/44668f6b-9937-4859-981d-4d8d49c195ab.png)

## スペック

EVO-X2と比較対象のBTOマシンのスペックは以下のとおりです。

|       | EVO-X2 | BTOマシン |
|:------|:----|:----|
| CPU   | AMD Ryzen AI MAX+395  | AMD Ryzen 7 5700X |
| GPU   | AMD Radeon 8060S(内蔵) | NVIDIA RTX4060Ti 16GB x2<br>(GDDR6 128bit, 288GB/s) |
| メモリ | 128GB (LPDDR5X-8000/8ch, 128GB/s) | 64GB (DDR4-3200/2ch, 51.2GB/s)   |
| OS    | Windows 11            | Ubuntu 24.04 LTS Server  |
| Tool  | LM Studio             | vLLM + Open-WebUI    |
| Model | Cyberagent-DeepSeek-R1-Distill-<br>Qwen-32B-Japanese-gguf (Q4_K_S) | DeepSeek-R1-Distill-Qwen-32B-<BR>Japanese-AWQ |

BTOマシンがUbuntu serverのヘッドレス運用だったため、LM Studioではなくて、Docker ContainerでvLLM + Open-WebUIで動かしています。モデルもそれぞれのツールで使えるフォーマットのものを選びました。

## 実行速度と結果

今回は簡易な確認なので、一回だけプロンプトを入力し、生成される応答の速度を比較しました。プロンプトは以下のとおりです。

```
有史以来の中国の歴史を説明してください。
```

それぞれのマシンで実行した結果は下記のとおりです。

* EVO-X2: 9.30 tokes / sec
* BTOマシン: 21.1 tokens / sec

GPUの性能差を考えれば順当な結果だと思います。VRAM 16GBのビデオカード2枚を使うことはそれほど金額的なハードルは高くないので、32Bくらいまでのモデルを動かすなら、BTOマシンのような構成が良いかもしれません。一方、70Bのモデルが動くようなサーバマシンの構成はとても高くなってしまうので、EVO-X2やMAC Studio M4 Maxのようなマシンの出番もあるかなと思います。いずれにせよ開発中にVRAM使用量にあまり神経を使わなくて良いのはありがたいと思います。

## 付録

EVO-X2の応答は下記のとおりです。

```
以下に、中国の歴史を**「分裂と統一の循環」「文明の進化」という視点**から整理して説明します。
---
### **1. 前書き：中国史の基本フレーム**
- **地理的基盤**：黄河流域・長江流域が農業発展の要衝となり、中央集権国家形成に影響。
- **歴史サイクル**：「分裂→統一」が反復され（例：三国→晋朝、南北朝→隋朝）、**安定期と動乱期**が交互に現れる。
---
### **2. 大時代分けと特徴**
#### **[1] 前王朝期（紀元前3000年頃～前771年）**
- **殷周の宗法制度**：祭祀を通じた祖先崇拝が政治権力の根幹。
- **甲骨文**：世界最古の成熟文字の一つで、後の漢字体系に影響。
#### **[2] 春秋戦国時代（前770～前221年）**
- **百家争鳴**：儒・法・道思想が興隆。韓非子や孟子らが学派を形成。
- **技術革新**：鉄器の普及で農業生産力上昇、都市化加速。
#### **[3] 秦漢時代（前211～220年）**
- **中央集権制確立**：秦始皇の書画一統・度量衡標準化が国家基盤。
- ** Silk Road の萌芽**：張騫による西域通商開始。
#### **[4] 魏晋南北朝（220～581年）**
- **民族混血**：五胡乱華で胡族勢力が台頭、**多文化共生の試行錯誤期**。
- **仏教伝来**：玄奘のインド渡航などによる思想的交流。
#### **[5] 隋唐（581～907年）**
- **政治制度の定型化**：科挙制度確立で官僚階層が生まれる。
- **文化の高度化**：李白・杜甫の詩や仏教美術（敦煌壁画）が発展。
#### **[6] 宋元明（907～1840年）**
- **宋代技術革命**：活字印刷・火薬・指南針が発明。
- **朝貢システム**：清の「天朝上国」という意識形成期。
#### **[7] 近代以降（1840年以後）**
- **列強侵攻と内戦**：オピウム戦争から文化大革命まで。
- **現代中国の誕生**：共産党による国家再建、改革開放政策。
---
### **3. 歴史的課題と転換点**
#### **「なぜ秦は15年で滅んだか？」**
- 法家主義の過激さ（焚書坑儒）と人民支配の強制性が反発を招いた。
- 継承者不在という政治構造の脆弱性。
#### **「唐と宋代の違い」**
- 唐：**均質的な帝国**（漢族中心、中央集権的）
- 宋：**多民族共生型国家**（胡漢融合を前提とした政策）
#### **「清の課題」**
- 治理技術が**農業社会**に適合しすぎて、**工業化時代**に対応できず。
---
### **4. 文化面での独自性**
- **漢字の進化**：甲骨文から楷書への変遷で情報伝達効率が向上。
- **儒教と官僚主義**：孟子の「民為貴」思想が科挙制度に反映（理論的側面）。
---
### **5. 現代への影響**
- **中央集権的傾向**：秦から継続される「皇帝＝国家」という意識。
- **家族主義**：宗法制度の残滓として、現代社会にも継承されやすい。
---
### **結論：中国史の本質は「変化と連続性」**
- **変化**：技術革新・外来文化受容
- **連続性**：中央集権的傾向・農業優先主義
この両者が拮抗し合いながら、現代まで継承されてきました。
```

BTOマシンの応答は下記のとおりです。

```
中国の歴史は、約5,000年にわたる連続した文明の発展と変遷を経たもので、以下のように時代ごとに整理できます。各時代の特徴と重要な事象を簡潔に説明します。
---
### **1. 原始社会と古代中国（前紀元～前1046年）**
- **原始社会**：旧石器時代の北京人や新石器時代の仰韶文化（前3500年頃）が発展。
- **殷商（前1600～前1046年）**：最初の王朝として確立。甲骨文で祭祀や戦争を記録（殷墟発掘で発見）。
- **周（前1046～前256年）**：宗法制度を基盤に「天命」思想を確立。春秋戦国時代（前771～前221年）に列国が争い、百家争鳴（儒・墨・法など）が勃興。
---
### **2. 秦漢時代（前221～220年）**
- **秦（前221～前206年）**：初の中央集権国家。書同文（小篆）、車同軌、万里の長城を整備。秦始皇陵（兵馬俑）が遺跡として現存。
- **漢（前202～220年）**：文景之治で休養生息。張騫（前139年）が西域に派遣され、シルクロードの原型が形成。儒教が国家思想に昇格。
---
### **3. 三国・晋・南北朝（220～581年）**
- **三国（220～280年）**：魏・蜀・吳の鼎立。《三国志》や《三国演義》で知られる。
- **南北朝（420～581年）**：北朝（北魏など）と南朝（宋・齊・梁・陳）に分裂。仏教が広まり、雲崗石窟や龍門石窟が建造。
---
### **4. 隋唐（581～907年）**
- **隋（581～618年）**：全国統一。大運河を開凿し、南北の交通網を整備。
- **唐（618～907年）**：繁栄の黄金期。科挙制度が確立され、李白や杜甫の詩人が活躍。玄奘（602～664）がインドから仏典を伝える。
---
### **5. 五代十国・宋（907～1279年）**
- **五代十国（907～960年）**：各地の割据勢力が争う。
- **宋（960～1279年）**：文化の発展（四大発明の完成）。靖康の変（1127年）で女真族の金に都を追われ、南宋（1127～1279年）が成立。
---
### **6. 元（1271～1368年）**
- **元朝**：モンゴル帝国の一部。マラッコ・ポリーニョやマルコ・ポーロが訪問。回族が形成される。
---
### **7. 明（1368～1644年）**
- **明**：朱元璋が元を滅ぼし、中央集権国家を再建。鄭和（1371～1433）の七下西洋で海洋進出。対外政策は「海禁」で閉鎖的傾向。
---
### **8. 清（1636～1912年）**
- **清**：満州族の愛新覚羅・努爾ハçıが建立。1689年のニブホルン条約でロシアと境界を確定。19世紀の鴉片戦争（1840年）で西洋列強の侵略が始まる。
---
### **9. 近現代（1912年～）**
- **辛亥革命（1911年）**：清が崩壊し中華民国成立。
- **抗日戦争（1937～1945年）**：日本と全面戦争。
- **国共内戦（1945～1949年）**：共産党が勝利し中华人民共和国（1949年10月1日）を樹立。
- **文化大革命（1966～1976年）**：毛沢東の指導で社会が混乱。
- **改革開放（1978年～）**：鄧小平が市場経済を推進。経済発展と社会変革が加速。
---
### **中国史の特徴**
1. **連続性**：漢字・伝統思想（儒・仏・道）が継承される。
2. **中央集権**：歴代王朝が「天子」という概念を維持。
3. **変容と抵抗**：異民族の支配（元・清）や西洋列強の介入を経て、近代化を模索。
4. **地域差**：華北（農業）と華南（商業）の発展が異なる。
---
このように、中国の歴史は「文明の連続と変遷」をテーマに、多様な文化・思想・制度が融合・発展してきた過程です。現代の中国も、その延長線上に位置すると言えます。
```