モンテカルロ木探索を用いた最適設計

佐藤駿輔 五十嵐一北海道大学
2023/03/15

R5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞タイトル

1電気機器の最適設計
電気機器の性能は，その形状に大きく依存する．
→形状最適化による性能改善が有効．
磁性体コア
永久磁石

コイルスロット

永久磁石モータの回転子形状の最適化** S. Hiruma, et al., IEEE Trans. Magn., 57.7, 8204604, 2021.

R5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞イントロダクション2

形状最適化の課題点
形状最適化では，基本構造は設計者が事前に仮定する．
→基本構造によって性能が大きく変わる場合，形状最適化のみ
では不十分である．
TIP: 基本構造
ここでは，「電気機器モデル自体を定義する整数変数」を基本構造と呼んでいる．

I字磁石

U字磁石

永久磁石モータ：磁石種

6ターン

8ターン

インダクタ：コイルターン数

基本構造の例

R5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞イントロダクション

3木構造を用いた表現方法
木構造を用いた基本構造の最適化手法が近年確立されつつある．
→最適化性能が高く，かつ柔軟に応用可能．

ある正方領域の材料を木探索で決定*．
アクチュエータ，リラクタンスモータの最適化．

極数やスロット数などを木探索で決定後，形状最適化**．誘導リニアモータ．強化
学習よるデータ活用が特長．

* A. Khan, et al., IEEE Trans. Magn., 56.3, 7510904, 2020.
** T. Sato and M. Fujita, IEEE Access, 9, 71284-71294, 2021.

R5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞イントロダクション

4

発表概要
① 木構造と探索手法
最適設計に用いられる木構造とその探索手法を，三目並べゲームを例に説明する．
特に，ゲームAIなどにも良く用いられるモンテカルロ木探索(MCTS: Monte Carlo Tree Search)を取り上げて説明する．

② MCTSによる設計例
以下の設計例を紹介する．
・素子カタログを入力としたDC-DCコンバータの自動設計
・極数などを考慮した永久磁石モータの総合最適化
R5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞イントロダクション5木構造と探索手法

R5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞木構造と探索手法

6

セクション概要
三目並べを例に，木構造と探索手法について説明する．

三目並べ“×”と”〇”を交互に置きあい、先に3つ並べた方の勝ち．

R5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞木構造と探索手法

7

三目並べに用いられる木構造
三目並べに用いられる木構造を示す．
・根ノードは，現在の盤面を表す．
・各ノードは，上位ノード盤面から展開できる盤面を表す．
・上位→下位ノードの遷移は，次の手の選択に対応する．

根ノード

三目並べの木構造
R5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞木構造と探索手法

8

木探索についてゲームAIとしての木探索は，現在の盤面で選ぶことができる手の内，「勝率が最も高い手を選択する」ことを目的とする．
様々な方策があるが，ここではモンテカルロ木探索(MCTS:Monte Carlo Tree Search)を説明する．

根ノード

勝利のために，どの手を選べばよいか？
R5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞木構造と探索手法

9モンテカルロ木探索(MCTS)
MCTSのアルゴリズムは以下の通り*．
１．ノードの選択
２．ノードの展開
３．評価（シミュレーション）
４．評価値の逆伝搬
𝑁回繰り返す
1. 選択

2. 展開

3. 評価

4. 逆伝搬win(1) / draw(0)/ lose(-1)* G. M. J-B. Chaslot, et al., New Math. and Nat. Comput. 4.03, 343-357, 2008.

R5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞モンテカルロ木探索(MCTS)

10

モンテカルロ木探索(MCTS)
１．ノードの選択
現在のノード𝑝から，以下の関数(UCB: Upper Confidence
Boundary*)を最大化するノードに遷移する．
この操作を葉ノードに至るまで行う．

ln 𝑛𝑝
𝑃 𝑝, 𝑖 = 𝑣𝑖 + 𝐶
𝑛𝑖

親ノードの訪問回数（の対数）
子ノードの訪問回数

𝑣𝑖 : 今までの探索で得られた，ノード𝑖の勝率
𝑛𝑖 : ノード𝑖への訪問回数
𝐶: 活用／探索バランス定数
𝑝𝑖

TIP: UCB
UCBでは，「勝率の高いノード」を重点的に，「探索回数の少ないノード」を広域的に，それぞれ選ぶ．これを「活用／探索バランス」と呼ぶ．

* L. Kocsis, and C. Szepesvári, Proc. Machine Learning: ECML 2006, 17, 2006.

R5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞モンテカルロ木探索(MCTS)

11

モンテカルロ木探索(MCTS)
２．ノードの展開
葉ノードの訪問回数が閾値𝒏𝐭𝐡 を超えたとき，下位ノードを展開し，次回以降の探索候補に加える．
→訪問回数が多い有望な手は深く調べる．

R5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞モンテカルロ木探索(MCTS)

12

モンテカルロ木探索(MCTS)
３．評価（シミュレーション）
葉ノードの盤面から勝敗が付くまでランダムにゲームを進める．
スコア𝐹を記録する．

TIP: プレイアウト法
ランダムにシミュレーションを行う手法
をプレイアウト法と呼ぶ．
これに対し，ニューラルネットワークなどによってシミュレーション結果を近似する手法が，汎用ゲームAIなどでは取り入れられる*．
𝐹 = 1 win , 0 draw , −1 lose
* D. Silver, et al. Science, 362.6419, 1140-1144, 2018.

R5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞モンテカルロ木探索(MCTS)

13

モンテカルロ木探索(MCTS)
４．評価値の逆伝搬スコア𝐹を選択したノードに伝搬させ，𝒏, 𝒗を更新する．
→探索を繰り返すたびに経験が蓄積され，最善手に近づく．

𝑛 += 1𝑣 = avg 𝐹

𝑛 += 1𝑣 = avg 𝐹

R5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞モンテカルロ木探索(MCTS)

14

モンテカルロ木探索(MCTS)
５．最善手の選択
1~4を𝑁回繰り返した後，最も勝率𝒗（もしくは𝒏）が高いノードを実際の手として選択する．

根ノード𝑣 = 0.519

𝑣 = 0.315

𝒗 = 𝟎. 𝟓𝟓𝟖

𝑣 = 0.326

R5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞モンテカルロ木探索(MCTS)𝑣 = 0.337

15

どのように設計に役立てるのか？
以下の対応付けにより，基本構造の最適化に応用できる．
ゲーム盤面→基本構造

I字磁石

U字磁石

スコア→設計目的関数

𝐹 = 1 win , 0 draw , −1 lose𝐹 = 平均トルク，トルクリプル，…

R5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞木構造と探索手法

16

なぜ木探索を用いるのか？
木探索手法には、主に3つの利点がある。

１．高い探索能力
ゲームAIは数億通り以上と言われる盤面を探索し，優れた手を導き出せる．MCTSを始めとした手法
により，基本構造の最適化を効率的に実施できる．

２．柔軟性
異なる構造を一度に考慮可能．
特に，選択するノードによって異なるパラメータ数になっても自然に最適化できる．

３．記憶能力
探索結果は各ノードに記録される．これにより，ノード間の比較を定量的に実施できる．加えて，設計結果を他の問題に転用することも可能．
R5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞木構造と探索手法

17

MCTSによる設計例

R5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞MCTSによる設計例

18

セクション概要
以下の設計例を紹介する．
・素子カタログを入力としたDC-DCコンバータの自動設計
・極数などを考慮した永久磁石モータの総合最適化

DC-DCコンバータの自動設計

永久磁石モータの総合最適化** H. Sato, and H. Igarashi, IEEE Trans. Magn., 58.9, 7200504, 2022.

R5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞MCTSによる設計例

19

DC-DCコンバータの自動設計：概要
DC-DCコンバータ設計の課題点
・DC-DCコンバータには多様なトポロジーが存在する*．
・コンバータの各素子は製造会社のカタログから選択するが，素子の仕様は各社で異なる．
→これらを把握しながらの最適設計は，熟練の設計者であっても手間と時間を要する．

多様な回路トポロジー

素子仕様の例**．キャパシタでは，定格値，等価直列抵抗など．

* R. Tymerski, and V. Vorperian, INTELEC'86-International Telecommunications Energy Conference. IEEE, 1986.
** LTspice素子カタログより．https://www.analog.com/jp/design-center/design-tools-and-calculators/ltspice-simulator.html

R5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞DC-DCコンバータの自動設計

20

DC-DCコンバータの自動設計：MCTSによる自動設計
回路トポロジーと素子をMCTSで探索し，目的関数𝐹を最小化する回路を自動的に設計する．
根ノード
回路候補A
Buck-boost
インダクタ
候補A

インダクタ
候補B

キャパシタ
候補A

キャパシタ
候補B回路候補B
Cuk

回路候補C
SEPIC

TIP: 素子について最上位のノードで回路を選択し，その素子を下位ノード群から選択する．
素子はカタログに存在する，・インダクタ79種類・キャパシタ52種類から1つ選ぶ．

回路設計の木構造
R5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞DC-DCコンバータの自動設計

21

回路トポロジー①：Buck-boost chopper

TIP: 組み合わせ数※インダクタ・キャパシタ以外は理想素子を使用．

素子の組み合わせ数は，79 × 52 × 52 = 𝟐𝟏𝟑, 𝟔𝟏𝟔通り．

R5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞DC-DCコンバータの自動設計

22

回路トポロジー②：Cuk converter

TIP: 組み合わせ数※インダクタ・キャパシタ以外は理想素子を使用．

素子の組み合わせ数は，79 × 79 × 52 × 52 = 𝟏𝟔, 𝟖𝟕𝟓, 𝟔𝟔𝟒 通 り ．

R5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞DC-DCコンバータの自動設計

23回路トポロジー③：SEPIC converter

TIP: 組み合わせ数※インダクタ・キャパシタ以外は理想素子を使用．

素子の組み合わせ数は，79 × 79 × 52 × 52 = 𝟏𝟔, 𝟖𝟕𝟓, 𝟔𝟔𝟒 通 り ．

R5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞DC-DCコンバータの自動設計

24

DC-DCコンバータの自動設計：最適化問題
下記の目的関数𝐹を最小化する回路を自動的に設計する．
計算は回路シミュレータ(LTspice*)を用いて行う．
out − 𝑉 target + 𝑉 out + 𝐼 𝐶outin. 𝐹 = 𝑉avg
ripavgrip
出力電圧を目標値
𝐭𝐚𝐫𝐠𝐞𝐭𝑽𝐚𝐯𝐠 = 𝟏𝟓𝐕へ

L1 : 79種

L1 : 79種

L1 : 79種

C1 : 52種

L2 : 79種

L2 : 79種

C2 : 52種

C1 : 52種

C1 : 52種

C2 : 52種

C2 : 52種

選択結果

出力電圧/コンデンサ電流
リプル最小化

シミュレーション結果
LTspice* https://www.analog.com/jp/design-center/design-tools-and-calculators/ltspice-simulator.html

R5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞DC-DCコンバータの自動設計

25

DC-DCコンバータの自動設計：最適化結果

es val e o

探索回数1000回で収束し，Buck-boostが最良の目的関数値を記録した．

eari era ion

探索中に得られた，最良目的関数値の進化履歴．
三目並べは勝率の最大化だったが，今回は目的関数の最小化である点に留意．
TIP: スケーリング
目的関数値を適当な値に収めるため，𝐹 ← an 0.10𝐹 としている．
R5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞DC-DCコンバータの自動設計

26

DC-DCコンバータの自動設計：最適化結果
探索回数1000回で収束し，Buck-boostが最良の目的関数値を記録した．

最適解．
各素子はインダクタンス／キャパシタンス値だけでなく，素子仕様まで考慮して選ばれている．
R5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞DC-DCコンバータの自動設計

27

DC-DCコンバータの自動設計：最適化結果

出力電圧波形

out = 15.14 V, 𝑉 out = 0.15 V
𝑉avgrip

出力コンデンサ電流波形

𝐶out𝐼rip= 0.89 A

R5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞DC-DCコンバータの自動設計

28

DC-DCコンバータの自動設計：回路トポロジー毎の結果

1000回探索後の各ノードの訪問回数とスコアを示す．
・スコアはBuck-boostが最も良く，したがって訪問回数も多い．
・Cuk，SEPICは部品点数が多く，設計難易度が高いが，SEPIC
では比較的良いスコアが得られている．

根ノード
回路候補A
Buck-boost

回路候補B
Cuk

回路候補C
SEPIC

𝑛 = 383𝑣 = 0.713

𝑛 = 294𝑣 = 0.902𝑛 = 323
𝑣 = 0.832※今回は目的関数の最小化である点に留意．

R5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞DC-DCコンバータの自動設計

29

DC-DCコンバータの自動設計：次善解（SEPIC）

𝐶out = 14.69 V, 𝑉 out = 0.52 V, 𝐼 out = 0.88 A𝑉avg
ripripR5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞DC-DCコンバータの自動設計

30

永久磁石モータの総合最適化：概要
先ほどと同様に，MCTSで基本構造（極数など）を決定する．
シミュレーション部で形状最適化を実行することで，基本構造毎に最適な形状を計算する．

永久磁石モータ設計の木構造** H. Sato, and H. Igarashi, IEEE Trans. Magn., 58.9, 7200504, 2022.

R5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞永久磁石モータの総合最適化

31

永久磁石モータの総合最適化：結果左：平均トルク最大化・トルクリプル最小化．
右：↑に加えて，鉄損一定以下（@回転速度一定）．
目的に応じて最適な基本構造が選択され，新規的な全体構造が得られた．

総合最適化結果** H. Sato, and H. Igarashi, IEEE Trans. Magn., 58.9, 7200504, 2022.

R5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞永久磁石モータの総合最適化

32

永久磁石モータの総合最適化：結果総合最適化は多目的にも応用できる*．平均トルク最大化，トルクリプル最小化の例．

* H. Sato, and H. Igarashi, IEEE Trans. Magn., accepted, 2023.

R5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞永久磁石モータの総合最適化

33

永久磁石モータの総合最適化：結果
平均トルク最大化，トルクリプル最小化，永久磁石面積最小化の例* ．

* H. Sato, and H. Igarashi, IEEE Trans. Magn., accepted, 2023.

R5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞永久磁石モータの総合最適化

34

その他の例
総合最適化手法は様々な対象に適用できる．
図はインダクタの磁気特性を考慮した総合最適化の例*．

* S. Yin, et al., MAGDA2022, OS-4, 2022.

R5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞永久磁石モータの総合最適化

35おわりに・木構造（木探索）と機器設計との対応づけによって，最適設計に応用できる．
・MCTSによって，膨大な選択肢の回路設計を自動化した．
・形状最適化との組み合わせにより，「基本構造＋部品形状」の総合最適化が実現した．
・深層学習モデルとの組み合わせ？汎用化？適用範囲の拡大？

R5電気学会全国大会・S16(100)・佐藤駿輔（北海道大学） ＞おわりに36