日本ソフトウェア科学会第 34 回大会 (2017 年度) 講演論文集

機械学習による 3 次元シミュレーション空間の場面評価
手法の検討
石井 徹

矢農 正紀

千葉 優介

岡田 正央

瀧澤 雄介

コンピュータ将棋や囲碁等においては，近年のコンピュータ処理能力の大幅な向上により，数手先までのシミュレーションによる盤面評価に基づく着手手の選択が可能となってきている．また，従来の人間による評価関数の設計のみならず，過去のデータやシミュレーションによって生成されたデータを用いた機械学習による評価関数の構築が研究されている．我々は，このような技術進展を踏まえ，これらの技術を 3 次元シミュレーションへ適用することを検討している．本報告では，コンピュータ囲碁において着手手の評価に使用されているモンテカルロ木探索を 3 次元シミュレーションに適用し，着手手の評価に基づく行動選択の効果を確認した．また，非常に計算量の多いモンテカル
ロ木探索と同等の場面評価をより少ない計算量で実施可能とするため，機械学習を用いた場面評価について検討を行い，実現可能な見通しを得た．

であるニューラルネットワークを多層化することが可

1 はじめに能となり，画像処理において人間の識別能力を上回る

近年，コンピュータ将棋や囲碁，インベーダー等の[1] とともに，インベーダー等の 2 次元ゲームにおい2 次元ゲームにおいて，人間を超える能力を獲得するても人間を超えるスコアを獲得した [3]．この技術はコ研究がされている．従来からコンピュータ将棋や囲碁

ンピュータ囲碁にも取り入れられ，モンテカルロ木探等では，盤面の状態を評価し次の一手を決定するため索と深層ニューラルネットワークを用いた AlphaGoに，棋譜等の過去のデータを元に評価関数を人が作[4] はプロの囲碁棋士に勝利する結果を出している．

成，調整することで能力向上がされてきた．チェスやこのような技術進展を踏まえ，これらの技術を構

将棋等においては，駒の種類や配置等を評価すること

想検討用の 3 次元シミュレーション [7] のモデルの行で人間を超える能力を獲得したが，同一の石を多数使動判断に適用することを検討している．本報告では，用する囲碁では盤面の評価が難しく，人が作成した評

シミュレーションにより場面を評価するモンテカルロ価関数では人間を超える能力を獲得するまでには至木探索を 3 次元シミュレーションへ適用した場合の効らなかった．そのような中，コンピュータ囲碁におい果の確認結果を示す．また，モンテカルロ木探索は多てシミュレーションを行い盤面を評価するモンテカル数のシミュレーションを行い評価を行うものであるた

ロ木探索 [6] が登場し，従前に比べて飛躍的に能力がめ，多数の手を評価するためには，非常に多くの計算向上した．また，近年のコンピュータの計算能力の発資源が必要になる．そこで，機械学習手法を用いて，展により，脳内の神経回路網を模倣した機械学習手法

モンテカルロ木探索を行わずに同等の評価値を算出する手法の検討結果を示す．

Toru Ishii, Masanori Yano and Yusuke Takizawa, 防衛装備庁先進技術推進センター, Advanced Defense
Technology Center, Acquistion, Technology and Logistics Agency.
Yusuke Chiba and Masahiro Okada, 三菱重工業株式会社, Mitsubishi heavy industries, Ltd.

2 ３次元シミュレーションの問題設定
3 次元シミュレーションとして本報告では，図 1 に示す 1 対 1 の航空機同士の遷移行動を題材とした．問題の簡単化のため，ターン制のゲームと同様に自身のซ౛ึᮇ≧ἣ⾜ື 䠿⾜ື 䠽┦ᡭഃ⯟✵ᶵ䛾䝍䞊䞁⾜ື 䠾຾䛱䛾䝥䝺䜲䜰䜴䝖㈇䛡䛾䝥䝺䜲䜰䜴䝖䞉䞉䞉

図1䞉䞉䞉

3 次元シミュレーション概要
図2

モンテカルロ木探索

順番においてのみ行動できるものとし，機体の性能及び現在の状態から次の遷移先を制限した上で，相手の後方位置に自身の機体を一定時間保持させることḟ䛻ྲྀ䜚ᚓ䜛⾜ື຾⋡ཬ䜃㈇⋡ができれば勝利とした．なお，この問題設定においては，機体を質量や長さを持った物理的なモデルとして຾⋡䠖㻜㻚㻟
㈇⋡䠖㻜㻚㻣ᕥ᪕ᅇ䝃䜲䜽䝹䠖䡊⾜ືᚋ䛻ྲྀ䜚䛖䜛఩⨨は計算せず，機体の遷移に条件をかけることにより，⌧ᅾ఩⨨

物理的に困難な機動を行って勝利するといったことが຾⋡䠖㻜㻚㻤㈇⋡䠖㻜㻚㻞┤㐍຾⋡䠖㻜㻚㻥㈇⋡䠖㻜㻚㻝ྑ᪕ᅇ䝰䞁䝔䜹䝹䝻ᮌ᥈⣴ないように設定した．また，遷移の方法についても無数の選択肢が取り得るため，この問題設定では上昇，下降，右旋回，左旋回及び現状維持といった代表的な⾜ືᚋ䛻ྲྀ䜚䛖䜛఩⨨䝃䜲䜽䝹䠖䡊㻗㻝⌧ᅾ఩⨨

もので遷移行動を構成している．

3 モンテカルロ木探索による評価値の算出

図3

モンテカルロ木探索による行動判断

モンテカルロ木探索は，モンテカルロ法と木探索を組み合わせたものである．図 2 に示す様に取りえる

行動判断の確からしさを確認するため，シミュレー手をノードとして生成し，各ノードから終局までのシション開始時の航空機の相対位置を変化させながらシミュレーション（プレイアウト）を行うことでノードミュレーションを実施した．図 4 から図 6 に航空機のの評価値（勝率）を算出するため，評価関数を作るこ能力を変えてシミュレーションした結果を，相手機をとが難しい問題についても適用できる利点がある．

中心とした各位置ごとの勝率として示す．X 軸が機体

本報告では，モンテカルロ木探索のアルゴリズムとの左右方向，Y 軸が機軸方向を示しており，Ｙ軸の正して UCT(UCB applied to trees) を採用する．UCTが機体前方である．また，青色が自機の勝率が低い自は，各ノードに同数のプレイアウトを実施するのでは機の初期位置，赤色が自機の勝率が高い自機の初期位なく，その時点でのプレイアウトの回数と勝率に基づ置である．機体性能が同一の場合（図 5）では，相手き有望そうなノードに多くのプレイアウトを割り当機の前方から開始した場合では勝率が低く，後方からて，プレイアウトの回数が一定の閾値に達したノード開始した場合は勝率が高いことがわかる．自機の機体についてはノードを展開し，探索木を成長させること性能を相手機に比べて劣った性能とした場合（図 4）でより効率的に探索するものである．

では，機体性能が同一の場合と比較して全体的に勝率

図 3 に示す 3 次元シミュレーションでの行動判断が低くなっていることが確認できる．また，自機の機は，モンテカルロ木探索により勝率及び負率を算出

体性能を相手機に比べて優れた性能とした場合（図し，もっとも有利な行動を選択するものである．この

6）では，機体性能が同一の場合と比較して勝率が高win
10win
11010.80.8550.6Y axis

Y axis0.6000.4-50.4-50.2-100-10-5

図40X axis

5100.2-100-10

劣っている性能の場合の勝率-5

図60X axis

510

優れている性能の場合の勝率

み込みニューラルネットワークによる画像認識では，学習時は非常に計算コストが高いが，推論時は順方

win1010.85Y axis0.6

向の計算のみであるため，モンテカルロ木探索のアルゴリズムに比べて計算量を小さくできると考えられる．本報告では，ILSVRC(ImageNet Large Scale

Visual Recognition Competition)2014 で最も良い成00.4

績を残した畳み込みニューラルネットワーク構造であ-50.2-100-10-50X axis

510る Google Net のベースとなった，ネットワークイン
ネットワーク [2] を採用した．ネットワークインネッ
トワークは畳み込み層の中に全結合層を持ち，単体の畳み込み層と比較してより鮮明に特徴が抽出され

図5

同一性能の場合の勝率た特徴マップの生成が可能となる．また，プーリング層において，最大値プーリングを行うことによって，くなることが確認できる．これらのことは，一般的に特徴がより強められた特徴マップを生成する．特徴を想定される機体位置での勝ち負けの感覚と同様であ強めていくことで，教師データはいくつかのグループ

り，モンテカルロ木探索による行動判断によるシミュにクラスタリングされ，各グループの境界が明確になレーション結果はある程度確からしいと判断できる．

り識別性能が向上する．
本報告での畳み込みニューラルネットワークの構成

4 機械学習による評価値算出の効率化を図 7 に示す．3 次元シミュレーションの場面状況をモンテカルロ木探索による行動判断の一定の有用認識させるため，図 8 及び図 9 に示す形式で自機及性を確認できたが，評価値の算出には複数回のプレび相手機の計 4 チャンネルの人工的な画像として生イアウトを実施する必要があり，非常に計算コストが成した．人工的な画像は 3 次元空間における現在の高いことが構想検討用のシミュレーションに採用す位置座標及び次に取り得る 3 次元空間の位置座標をる際の問題となる．我々は，行動判断時に瞬時に場表現することで，画像認識の問題となるように設定面評価を実施する方法として，畳み込みニューラルした．本報告では，教師データとして前述の人工的ネットワークによる画像認識を適用し，場面を画像な画像及びそれに対する評価値（勝率及び負率）をとして認識し評価値を算出することを検討した．畳105,666 組作成し，畳み込みニューラルネットワークŽƵƚƉƵƚ኱㼄㍈఩⨨ᗙᶆᑠ

'ůŽďĂůǀĞƌĂŐĞWŽŽůŝŶŐ

ᑠึᮇㅖඖ᫬䛾఩⨨ᗙᶆ䠄㼄㼅ᖹ㠃䠅ĨŝůƚĞƌс;ϱ͕ϱͿ

D>WŽŶǀŽůƵƚŝŽŶϰ㻚ĨŝůƚĞƌс;ϯ͕ϯͿ㽢Ϯϱϲ͕ƐƚƌŝĚĞс;ϭ͕ϭͿ͕ƉĂĚсϭ͕;Ϯϱϲ͕ϵϲ͕ϮͿDĂǆWŽŽůŝŶŐ
ĨŝůƚĞƌс;ϯ͕ϯͿ͕ƐƚƌŝĚĞс;Ϯ͕ϮͿ㽢㼅㍈఩⨨ᗙᶆ୰ᚰᗙᶆZĞůƵ ĨƵŶĐƚŝŽŶD>WŽŶǀŽůƵƚŝŽŶϯĨŝůƚĞƌс;ϯ͕ϯͿ㽢ϯϴϰ͕ƐƚƌŝĚĞс;ϭ͕ϭͿ͕ƉĂĚсϭ͕;ϯϴϰ͕ϯϴϰ͕ϯϴϰͿDĂǆWŽŽůŝŶŐ኱ĨŝůƚĞƌс;ϯ͕ϯͿ͕ƐƚƌŝĚĞс;Ϯ͕ϮͿ୰ᚰᗙᶆ኱ZĞůƵ ĨƵŶĐƚŝŽŶ㼆㍈఩⨨ᗙᶆ㽢ึᮇㅖඖ᫬䛾఩⨨ᗙᶆ䠄㼄㼆ᖹ㠃䠅ᑠ㻚

D>WŽŶǀŽůƵƚŝŽŶϮĨŝůƚĞƌс;ϱ͕ϱͿ㽢Ϯϱϲ͕ƐƚƌŝĚĞс;ϭ͕ϭͿ͕ƉĂĚсϭ͕;Ϯϱϲ͕Ϯϱϲ͕ϮϱϲͿDĂǆWŽŽůŝŶŐĨŝůƚĞƌс;ϰ͕ϰͿ͕ƐƚƌŝĚĞс;Ϯ͕ϮͿ

図8

現在の位置座標に関する画像形式

ZĞůƵ ĨƵŶĐƚŝŽŶᑠ

D>WŽŶǀŽůƵƚŝŽŶϭĨŝůƚĞƌс;ϭϱ͕ϭϮͿ㽢ϵϲ͕ƐƚƌŝĚĞс;ϰ͕ϱͿ͕;ϵϲ͕ϵϲ͕ϵϲͿ㼄㍈఩⨨ᗙᶆ኱ᑠŝŶƉƵƚ

図7

ḟ䝃䜲䜽䝹䛷㑄⛣ྍ⬟䛺఩⨨ᗙᶆ䠄㼄㼅ᖹ㠃䠅ึᮇㅖඖ᫬䛾఩⨨ᗙᶆ䜢㉳Ⅼ䛸䛧䚸㑄⛣఩⨨ᗙᶆ䜢ᥥ⏬

畳み込みニューラルネットワークの構成の学習を実施した．なお，畳み込みニューラルネット

㻚㼅㍈఩⨨
ᗙᶆ

ワークの学習，推論には深層学習フレームワークのChainer(v1.17.0) [5] を用いた．
畳み込みニューラルネットワークの学習の進捗を確኱኱

認するため，11,622 組の検証用データを用いて，検証用データにおける勝率及び負率との差分を確認し㽢ึᮇㅖඖ᫬఩⨨ᗙᶆ㻚 㻚ḟ䝃䜲䜽䝹䛷㑄⛣ྍ⬟䛺఩⨨ᗙᶆ䠄㼄㼆ᖹ㠃䠅ึᮇㅖඖ᫬䛾఩⨨ᗙᶆ䜢㉳Ⅼ䛸䛧䚸㑄⛣఩⨨ᗙᶆ䜢ᥥ⏬

㻚㻚 㻚㽢㼆㍈఩⨨ᗙᶆึᮇㅖඖ᫬఩⨨ᗙᶆᑠ

た．図 10 に 100 エポック経過時点までの検証用デー
タによる検証結果を示す．1 エポック経過時点におい

図9

遷移可能な位置座標に関する画像形式ては，勝率及び負率ともに 10% 程度となっている．

70 エポック経過以降の学習が十分に進捗した時点においては，勝率については 3% 台，負率については5 まとめと今後の課題

2% 台の差分となっており，学習に使用していない未機械学習技術の発展を踏まえ，これらの技術を構想

知のデータに対してもモンテカルロ木探索と同等の検討用の 3 次元シミュレーションにおけるモデルの行評価値を出力できていると考えられる．このことか動判断への適用を検討した．モンテカルロ木探索を用ら，事前に学習することができれば，行動判断時に計いた行動判断によるシミュレーション結果から，航空算時間のかかるモンテカルロ木探索を行わずに場面機の位置関係から想定される形勢とある程度確から評価ができるものと考えられる．

しいことが確認できた．機械学習による評価値算出の効率化は，畳み込みニューラルネットワークを用いることで，学習に使用していない未知のデータに対し

参 考 文 献
11winlose
109error rate[%]87654320

図 101020304050
epoch

60708090100

畳み込みニューラルネットワークによる評価値の学
習結果てもモンテカルロ木探索と同等の評価値を出力できることが確認できた．今後の課題として，多くの航空機等が登場する環境について場面評価を行う方法や，構想検討用の 3 次元シミュレーションに適用する際の要件等を検討する必要がある．

[1] He, K., Zhang, X., Ren, S., and Sun, J.: Deep
Residual Learning for Image Recognition, ArXiv eprints, (2015).
[2] Lin, M., Chen, Q., and Yan, S.: Network In Network, CoRR, Vol. abs/1312.4400(2013).
[3] Mnih, V., Kavukcuoglu, K., Silver, D., Rusu,
A. A., Veness, J., Bellemare, M. G., Graves, A.,
Riedmiller, M., Fidjeland, A. K., Ostrovski, G.,
et al.: Human-level control through deep reinforcement learning, Nature, Vol. 518, No. 7540(2015),
pp. 529–533.
[4] Silver, D., Huang, A., Maddison, C. J., Guez,A., Sifre, L., Van Den Driessche, G., Schrittwieser,J., Antonoglou, I., Panneershelvam, V., Lanctot,M., et al.: Mastering the game of Go with deepneural networks and tree search, Nature, Vol. 529,No. 7587(2016), pp. 484–489.
[5] Tokui, S., Oono, K., Hido, S., and Clayton, J.:
Chainer: a Next-Generation Open Source Framework for Deep Learning, Proceedings of Workshop
on Machine Learning Systems (LearningSys) inThe Twenty-ninth Annual Conference on NeuralInformation Processing Systems (NIPS), 2015.
[6] 美添一樹: モンテカルロ木探索-コンピュータ囲碁に革命を起こした新手法, 情報処理, Vol. 49, No. 6(2008),
pp. 686–693.
[7] 小谷健人, 矢農正紀: ユーザビリティを追求した構想検討用シミュレーションの開発と運用, 第７７回全国大会
講演論文集, Vol. 2015, No. 1, mar 2015, pp. 43–44.