学際大規模情報基盤共同利用・共同研究拠点 平成 29 年度共同研究 最終報告書 2018 年 5 月

jh170038-DAH

大規模な強化学習技術の実証と応用
金子知適（東京大学大学院情報学環）
概要
本研究では、近年注目されている強化学習技術の研究を進め、大規模なデータを利用することで人工知能システムの性能を向上させることを目指し、また将来への応用として学習した内容を自然言語で表現する可能性について模索するという計画で始めたものである。DeepMind 社の Alpha 碁の成功が示したように、各分野で人工知能システムが人間の専門家の判断力を超える時代が到来しつつあるため、高精度の AI 構築技術は判断の説明技術とともに知見を蓄積することが重要である。そのために、高性能な人工知能システムを作成する過程で行われる、1000 万から 1 億といった高次元の機械学習の過程に注目することが有力で、関連する複数のドメインでそのような大規模な学習の実
証実験を行った。将棋で約 3,000 万棋譜、囲碁で 19 路と 9 路盤をあわせて、約 200 万局強の棋譜を作成し、それをもとに強化学習の実験を進め、教師データに対する効率を改善する学習方法に関する論文としてまとめた。

1.

共同研究に関する情報

完全情報ゲーム◦(1) 共同研究を実施した拠点名
東京大学

究科 逆辞書◦(2) 共同研究分野


超大規模数値計算系応用分野

☑超大規模データ処理系応用分野



超大容量ネットワーク技術分野



超大規模情報システム関連研究分野••

伊部 早紀 東京大学・総合文化研
究科 統計的機械翻訳◦
2.

研究の目的と意義本研究では、近年注目されている強化学習(3) 参加研究者の役割分担•

森永 雄也 東京大学・総合文化研

技術の研究を進め、大規模なデータを利用

代表者 金子 知適 東京大学・情報することで人工知能システムの性能を向上

学環 強化学習の大規模化させることを目指す。また将来への応用と副代表者 山口 和紀

して、学習した内容を自然言語で表現する

東京大学・総

合文化研究科科 モデルの精緻化

可能性について模索する。DeepMind 社の共同研究者

Alpha 碁の成功が示したように、各分野で◦万代 悠作 東京大学・総合文化研

人工知能システムが人間の専門家の判断力

究科 モンテカルロ木探索を超える時代が到来しつつあるため、AI の

横山

判断を言葉での表現する技術への期待は高◦◦秀 東京大学・総合文化研

究科 疎結合 αβ 探索い。そのためには、高性能な人工知能シス

万 山川 東京大学・情報学環 不テムを作成する過程で行われる、1000 万か1

学際大規模情報基盤共同利用・共同研究拠点 平成 29 年度共同研究 最終報告書 2018 年 5 月

ら 1 億といった高次元の機械学習の過程に成されつつあるが、後者については、AI の注目することが有力で、関連する複数のド提案がこれまでの人間の常識を変える良い

メインでそのような超大規模な学習の実証

手なのか、あるいは暴走であって棄却すべ実験を行うことで、知見を蓄積する。人工

きなのかを判断することは大変難しいと示

知能システムの要素技術としては深層学習されている。現状でも思考ログを提供するが有名となっているが、本研究では強化学ことは可能だが、それはそのドメインの専習の理論と未来に関する確率的な推論を行門家が把握できるものではないため実質的

うグラフ探索の組み合わせに特に着目する。

に何もできていない。本研究は、前者の方

強化学習とグラフ探索の重要性を示す例と向について複数のドメインで実証し発展さ

しては、Alpha 碁において、深層学習に与せつつ、後者の技術への展開を模索するとえる教師データに強化学習の観点で独自のいう点で、大きな目標に貢献するものであ

工夫がなされていること、木探索を思考のる。大規模な強化学習については、Alpha

基幹として深層ネットワークはそれに組み碁に限らず複数の成功が報告されはじめて込まれる形で用いられたことなどがあげらいるが、囲碁や将棋、あるいはポーカーなれる。強化学習は、人が教師データを与え

どの不完全情報ゲームなどの複数のドメイる必要がない点で応用への期待が高い一方、ンを比較した事例はまだない。また学習で大量の試行錯誤を行いそれらのデータを処得た内容をコンピュータに説明させようと理するための計算機の負荷が大きいといういう試みはいくつかなされているが、単体側面を持つ。また理論を実際のドメインにの予測器の範囲がほとんどで、グラフ探索

適応させる際の工夫など、未知の部分も多と組み合わせて動作する場合の研究はない。

い。そこで、本研究では、互いに関連する

したがって、これらについて本研究で取り複数のテーマにおいて大規模な強化学習を組む意義がある。

行い、実際のデータを総合的に分析することで汎用性や頑健性の観点でモデルを強化

3.

当拠点公募型共同研究として実施した意義する。遠い目標である言葉での説明のためには、実際の判断の思考記録だけでなく強人工知能システムが高性能な判断力を備え化学習の過程の分析が重要と考えられる。

るためには、大規模な学習が必要である。

その緒を探すために、「何か」を言葉にする

規模は年々大きくなり、一般の研究者が個技術である、統計的機械翻訳や、逆辞書の人で所有する設備では難しくなっている。

研究との関連を模索する。

まず、思考ゲームの分野では 1 年前の時点

近い将来に AI システムが社会の様々な場面

で、3,000 万局の棋譜が必要であると報告で導入されることはほぼ間違いないが、AIされている 。棋譜は 1 手ごとのグラフ探索

が社会に受け入れられまた活用されるためを行いその結果を記録したものである。こには、信頼できる AI システムの作成技術をのグラフ探索は、機械学習で得た評価関数

確立する必要がある。信頼を得る努力には(value network)による状況判断に基づく。

大きく分けて 2 種類があり、性能の 良いシ

1 手あたり 0.1 秒で着手したとしても、そステムを作るという点と、AI の個々の提案

れだけ棋譜を揃えるためには 10 年単位必要を検証できる情報を理解可能な形で提供すな計算であり、それだけでも並列分散処理る方向がある。将棋や囲碁では、前者が達や他の工夫が必須である。さらに本研究で2

学際大規模情報基盤共同利用・共同研究拠点 平成 29 年度共同研究 最終報告書 2018 年 5 月

扱う強化学習は、試行錯誤と経験からの学習を繰り返すものであり、(1)自身の対局に中間報告以降の主要な成果として、「 研究より上記の規模の棋譜データを作成する

成果 b) RankNet for evaluation functions(2) その経験から学習し自身の思考方法を

of the game of Go と c)局面の組合せを用調整するということを、10 から 100 回程度いた囲碁評価関数の学習」としてまとめた

繰り返すだけの計算資源が必要となる。本

研究と「研究成果 a) Building Evaluation

研究には、自作のプログラムだけでなくこ

Functionsの分野で標準的なオープンソースソフトウ

Uniformity Regularization Network」としェアも利用するため、Intel CPU, Linux シてまとめた研究の二点について報告する。

for

Chess

and

Shogi

with

ステム, Nvidia Pascal 世代の GPU といった他の研究者が標準的に用いているハードは じ め に 、 研 究 成 果 b) RankNet for

ウェアで実験を行う必要がある。総合して、

evaluation functions of the game of Go

Reedbush-{U,H}システムを活用することがと c)局面の組合せを用いた囲碁評価関数の適している。

学習 .について述べる。研究成果 c)を進めてより良い結果を得たものが、研究成果 b)4.

前年度までに得られた研究成果の概要である。

新規課題である。

この研究では東京大学も含めて国内の通常の研究機関で利用可能な計算機資源は、

5.

今年度の研究成果の詳細

Google/DeepMind 社よりはるかに劣るという

5-1 中間報告までの成果

状況に対応するために、比較的少ない教師
データから知識を吸収するという点での学

将棋においては、gpsfish という将棋プログ

習効率の向上に取り組んだものである。

ラムを大規模に運用し、様々な設定で約局面の組合せを利用した囲碁評価関数の学

3,000 万局の棋譜を得た。現在それらをもち習法について提案した。深層学習において、

いて様々な実験を運用中である。

複数の入力を持つネットワークは近年盛ん

囲碁においては、aya という準トップレベルに研究されており、様々な応用例が提案さのプログラムをお借りして、19 路盤と 9 路

れている。そのような複数の入力を持つネ

盤のそれぞれで、約 100 万局の棋譜を作成しットワークの学習を注意深く応用することた。囲碁では GPU を用いるため、将棋よりもにより、教師例の数を二乗のオーダーで増棋譜の作成に時間がかかっている。現在そやすことが可能と期待されるものである。

れらをもちいて様々な実験を運用中である。

近年の人工知能の発展には、 探索手法の向自然言語処理との連携を探る課題において上とならんで深層学習 (deep learning) 技

は、単語ベクトルの改良と目的単語のカテ術の進化が背景にある。深層学習によって

ゴリ推定機構の導入により (Hill et al.

以前は困難だと考えられてきた囲碁の評価

2016)の検索システムの精度を改善すること関数の学習が成功し、 人間と同等以上の性に成功した。この成果は研究成果リスト d)

能を発揮した。その評価関数の学習においとして発表されているては人間の熟達者が残した棋譜を用いて評
価関数を学習し、一定の強さをもつエージ

5-2 最終成果

ェントを作成したのちに強化学習によって3

学際大規模情報基盤共同利用・共同研究拠点 平成 29 年度共同研究 最終報告書 2018 年 5 月

さらに性能のよい評価関数を学習している。

あった。

一方で、 近年様々な深層学習の応用研究がAlphaGo は Google DeepMind が開発した囲なされており、そのうち複数の入力を持つ

碁プログラムであり、 モンテカルロ木探索

深層ニューラルネットワーク (DNN) の研究と DNN による評価関数によって次の着手をが近年注目されている。特に入力の数が二決定している。AlphaGo は 2015 年 10 月につの DNN は Siamese ニューラルネットワー

行われた, 当時欧州王者である Fan Hui 二クと呼ばれ、古くから研究されており、 最段との対局において五勝〇敗の成績を残し初期の例では署名の検証の研究において提た。またそこから改良された AlphaGo は案されている。近年では画像の類似度の判2016 年に行われた、当時最も強い棋士の一定や、 テキストの類似度判定などで利用さ人である Lee Sedol 九段との対局で四勝一れている。ゲームにおいて Siamese ネット

敗の成績を収めた。

ワークを用いた先行研究として、 チェスのAlphaGo の評価関数は 1) 既存の棋譜からの評価関数を Siamese ネットワークを

方策関数の学習 を行った後、 2) 自己対局

用いて作成した DeepChess が存在する。

による価値関数の学習 を行うことによっていずれの例でも、 入力が二つ存在するネッ

作成されている。方策関数の学習では既存

トワークの訓練では、 $N$ 個の教師データの棋譜から (局面, 着手) のペアを教師例とを組合せを用いることで O(N^2)に増やすこして用いて次の行動の確率を学習する。価とができ、 既存の知見が十分に蓄積されて値関数の学習では自己対局による棋譜からいない領域でも教師あり学習を効率的に行(局面, 終端局面の勝敗) のペアを教師例とえる可能性がある。

してある局面の勝率を学習する。この学習本研究では上記のような、 二つの入力を持は非常に大規模であり、既存の棋譜として

つ DNN を利用し、 囲碁の評価関数を作成す

3000 万局面、自己対戦から抽出した局面もることを目的とする。

同程度の局面数が作成された。

具体的には入力として二つの局面を受け取

DeepChess は、ゲームの評価関数を局面の組

り、 どちらがどれだけ優れているを判定す

合せを用いて行った先行研究のひとつである DNN の学習を目的とする。

る。DeepChess はコンピュータチェスプロ

このような特徴を持つ DNN の先行研究としグラムであり、本稿ではそれが用いているて、ランキング学習 (learning to rank) で

DNN を指す。DeepChess は入力として局面対用いられている RankNet が挙げられる。

を受け取り、そのどちらがより好ましい局

RankNet は入力を二つ受け取る Pairwise な

面かを二項分類問題として出力する。入力

学習手法であり、 そのどちらが優れている

局面を二つ受け取るため、DeepChess は二かどうかを学習することが可能である。

叉のネットワークという、通常は使わない

実験では学習に用いる棋譜の数を変化させ構造を採用している。

て DNN を訓練し、 正答率、 交差エントロ

DeepChess では全結合層を多用しているこピー損失、 そして対戦成績という側面からともあり、重みの初期値を事前に自己符号性能を評価し、 棋譜の数が少ない状況で，化器 (autoencoder) で調整してから学習を既存手法より高い勝率を得た。

行っている。具体的には、積層自己符号化

この研究実施時点での関連研究としては

器 (stacked autoencoder) として学習してAlphaGo, DeepChess, RankNet が特に重要でいる。自己符号化器によって重みの初期値
4

学際大規模情報基盤共同利用・共同研究拠点 平成 29 年度共同研究 最終報告書 2018 年 5 月を得た後、学習を次のとおりに実行する。

f(x_j) を計算する。このとき, 事象 U_i →まず、用いる棋譜に含まれる局面を白番か

U_j である確率 P_{ij} = \Pr(U_i → U_j)

ら見た勝ち局面集合 W と 負け局面集合 Lをシグモイド関数とスコアを用いてに分割する。その後 W, L から一局面ずつ w,

P_{ij} = \frac{1}{1 + e^{-\sigma

l を乱択抽出し, 順番をランダムに入れ替え(s_i - s_j)}}てネットワークに入力する。つまり確率であると仮定する。ここで \sigma はパラメ

0.5 で (w, l), 0.5 で (l, w) の順番でそータである。この確率を用いて, 交差エン

れぞれの下部ネットワークに入力する。ネ

トロピー損失関数 C を以下のように表記でットワークは勝ち局面がどちらであるかをきる:

正しく判定するように重みを更新する。

C = - \bar{P_{ij}} \log P_{ij} - (1DeepChess の学習では |W|, |L| ともに 百- \bar{P_{ij}}) \log(1 - P_{ij}).

万程度であり、 手番の対称性なども考慮しここで \bar{P_{ij}} は U_i が実際に U_j

た場合、組合せを考えた場合にはおよそよりも優れている確率である。

2x10^{12} 通り程度作成することができる。

学習時には U_i, U_j に加えて S_{ij} \in

実験ではテスト集合における予測精度は\{1, -1\} を教師例として入力する。

98% 程度であると報告されている。対戦にこのとき U_i → U_j であるならば S_{ij}

おいても効果的だったと報告されているが、= 1, U_j → U_i であるならば S_{ij} = -1

ニューラルネットワークの特殊な形状からとする.

応用が限定されると判断して、本研究ではそうすると, 既知の確率 \bar{P_{ij}} は別の方向を目指した。

S_{ij}

それ が RankNet であり、ラ ンキング 学習\frac{1}{2} (1 + S_{ij})と計算できる。よ(learning to rank) の手法の一つである。

って損失関数はを 用 い て\bar{P_{ij}}=ランキング学習は入力されたクエリに対し

C = 1/2 (1 - S_{ij}) \sigma(s_i -てそれぞれのクエリの好ましさを出力する

s_j) + \log(1 + e^{-\sigma( s_i - s_j)})

ような学習器を構築することが目的である。

となる。

ランキング学習の手法は入力する特徴ベク

RankNet の学習とは DNN f の学習であり,トルの数によって分類されることが多く、二つの入力 x_i, x_j から s_i = f(x_i),

単一の入力の場合 Pointwise、二つの場合

s_j = f(x_j) を計算した後、s_i, s_j とPairwise、そしてリストの場合 Listwise と

S_{ij} を用いて損失 C を計算し, 誤差伝搬呼ばれる。RankNet はランキング学習に DNN法によって f の重みを更新する。提案手法

を用いた手法で、Pairwise なランキング学

は、局面の組合せを利用した RankNet を用習に分類される。

いて囲碁評価関数の学習手法をおこなうこRankNet には二つのクエリ U_i, U_j のそれとである。

ぞれの特徴ベクトル x_i, x_j が入力される。

つまり、二つの局面を受け取って、どちら入力されるクエリ U_i, U_j において U_iの局面が優れているかを出力するネットワ

が U_j より好ましいという事象を U_i →ークの学習法について提案した。まずはじU_j と表記する。RankNet は特徴ベクトルをめに用意した棋譜集合を手番の勝利局面集

実数値に写像する DNN f を用いて, それぞ合 W, 手番の敗北局面集合 L に分割し、それのクエリのスコア s_i = f(x_i), s_j =れぞれの集合を訓練集合
5(W_{train},

学際大規模情報基盤共同利用・共同研究拠点 平成 29 年度共同研究 最終報告書 2018 年 5 月

L_{train})とテスト集合(W_{test},

ことができ、学習が安定すると期待される。

L_{test}) に 分 割 す る 。 学 習 の 際 に は 、

コミは 7.0 目であり, よって引き分けが起

W_{\rm train}, L_{\rm train} からランダ

こりうる。学習に用いる際には、一つの対ム一つずつ局面 w_i, l_j を抽出し、順番も局からランダムに一局面のみを抽出したもランダムに入れ替えた局面対と教師例 (x_i,のを用いた。これは、局面と勝敗を関連付

x_j, S_{ij}) を作成する。ここで x_i, x_j

ける学習において、局面の独立性をなるべ

は局面の特徴ベクトルであり, どちらかがく高めるためである。

勝利局面 w_i を表す特徴ベクトルで、もう提案手法で用いる DNN は、特徴ベクトルを一方が敗北局面 l_j を表す特徴ベクトルで実数値に写像するものであれば任意のものある。ここで, x_i が w_i に対応するならを使 用できる 。ここでは AlphaGo およ び

ば S_{ij} = +1, そうでないならば S_{ij}AlphaGo Zero にそろえて実験を行った。具

= -1 となる。その後, それぞれの入力のス

体的な実験結果については、出版された論

コア s_i, s_j を DNN を用いて計算し, ス

文を参照されたい。

コアから損失 C を求め, 誤差伝搬法によって DNN の重みを更新する。学習した DNN は

つ づ い て 、 研 究 成 果 a)

局面の特徴ベクトルから実数値へと写像す

Evaluation Functions for Chess and Shogi

る関数 f となり、なおかつ二つの局面 s_i,with Uniformity Regularization Networks

s_j に関して s_i が s_j よりも優れているについて述べる。

ならば f(s_i) > f(s_j) であると期待する

2017 年後半に AlphaZero の論文が、arXiv にことができる。

投稿された。DeepMind の AlphaGo のシリー

よってこの f そのものを評価関数として利ズは、AlphaGo、AlphaGo Zero、Alpha Zero

用できると期待できる。

と進化して現時点ではこれが最新である。

実験はすべて九路盤で行った。実装にはAlphaGo から AlphaGo Zero では、人の棋譜

python 3 を、深層学習のフレームワークとを使わず、自己対局による強化学習のみにしてchainer mn を 使 用 し た 。 実 験 は手法が簡素化された。一方で、同時に、よRankNet を用いた DNN の学習の性能評価、り莫大な計算機資源が自己対局のために必学習した DNN の対戦における強さの測定、要となり、大量の TPU が投入された。ニュー及び着手の予測性能について行った。

ラルネットワークの構造では、画像認識のまずニューラルネットワークの学習には山

課題では標準的な ResNet が囲碁にも導入さ

下宏氏によって作成されたコンピュータ囲れた。同時に、Policy ネットワークと Value

碁プレイヤによって生成された棋譜を用い

ネットワークの畳み込み層を共有させ、同た。この囲碁プレイヤは CGOS の BayesElo

時に訓練することにより学習の安定性を実で 2,900 程度の棋力を持つ。また対局にお現している。Alpha Zero では、この AlphaGo

いて、一方が投了した後には目数差が最大

Zero の手法が、チェスト将棋でも有効であになるような方策に切り替えて着手を行い、ると示したものである。DNN が、チェスや将死石をすべて打ち上げ、双方がパスを選択

棋でも有効であるという予備的な知見は以するまで行動選択を行っている。早めに投前から得られていたが、実際にトッププロ

了する代わりにこのように最後まで打ち続

グラムに大きく勝ち越すことは研究者の予けることで、終盤の棋譜も学習対象にする想を越えたもので世界に大きな衝撃が走っ
6

Building

学際大規模情報基盤共同利用・共同研究拠点 平成 29 年度共同研究 最終報告書 2018 年 5 月

たと言える。

を提案している。これはミニバッチ内のこの研究の進展を受けて、当グループの研Discriminator の成功率を揃える方向に制約

究計画も若干変更した。すなわち、当初はを設けるものである。計算機実験では、

深層ニューラルネットワークの研究は囲碁

様々な損失関数で Value ネットワークの訓練を対象に行い、将棋では超高次元の線型結を行い、どの損失関数に追いても、提案し合を用いる予定だった。計画段階では、そた共同訓練で学習したネットワークが安定

れぞれの手法がそれぞれで適していると、して良い性能を持つことを示している。そ一般に考えられていたためである。しかしのうえで、Uniformity 正則化は、共同訓練

ながら、Alpha Zero の成功を受けて、将棋で向上した性能を更に高めている。この安およびチェスでも深層ニューラルネットワ

定化は、過学習を防止する効果が高いこと

ークの研究を行い知見を蓄積することの重が、意図的にデータ量を減らした際の性能

要性が非常に高まったと判断し、深層ニュ

減衰度合いを測る計算機実験によって確か

ーラルネットワークの研究により力を注い

められ、提案手法の良さを示している。学だ。当研究は、そのような背景で、将棋及習したネットワークの性能は、既存の深層びチェスを対象に、深層ニューラルネット

学習の研究と、局面の合法手を全て評価しワークによる形勢判断の学習に取り組んだて最大値を取る局面が棋譜の指し手と一致ものである。

する率により比較された。さらに、探索を前半の研究成果でも述べた研究と同様に、加えた場合の一致率についても、既存の将この研究でも計算機資源の制約から、比較

棋プログラム(Bonanza)やチェスプログラム

的少数の(多数ではあるが現実的な範囲の)(stockfish)を対象に比較した。具体的な実棋譜からの学習において、吸収できる強さ

験結果については、出版された論文を参照を向上させるという意味での効率化に取りされたい。この研究項目については、現在組んだ。具体的には、Alpha Zero で行われ投稿中のものしか存在しないが、万一不採ている「Policy ネットワークと Value ネッ

択になった場合も、arXiv 等も含めた適切なトワークの畳み込み層を共有させ、同時に方法で速やかに出版する予定である。

訓練することにより学習の安定性を実現している」部分についての改善に取り組んだ。 6.

今年度の進捗状況と今後の展望

Policy ネットワークとは、チェスや将棋のようなゲームでは囲碁よりもずっと構造が進捗状況:

複雑になり、学習の負担となる。そこで代研究成果の詳細に示したとおり、複数の国

わ り に 、 敵 対 的 学 習 (Generative

際会議論文を産出し研究グループの規模とAdversarial Networks)の Discriminator にしては妥当な成果を挙げられた。この点で、ヒントを得た識別機を導入し、Value ネット

代表者として満足している。

ワークと畳み込み層を共有させて、同時にまた、報告時点では未完成でありまだ論文

訓練することで学習を安定させる手法を提にすることはできていないが、さまざまな案した。

基礎的な研究を継続して実施中である。究さらに、単に同時に訓練するだけでなく、極的には、将棋、囲碁(9 路盤、19 路盤)で強この共同訓練を行ってはじめて導入可能といプログラムを作成することがプロジェク

なる、Uniformity 正則化という新たな手法

トの目標であるが、その途上で様々な課題
7

学際大規模情報基盤共同利用・共同研究拠点 平成 29 年度共同研究 最終報告書 2018 年 5 月を解決する必要があるためである。今後もからと、研究を避けて放置してしまえば世適切な観点から、論文として切り出して、界との差が開くばかりとなる。総合してこ

成果発表を行う予定である。

の分野を離脱することは、将来の発展を阻研究計画を立ててから一年間の間にも、ゲ害するというリスクのほうが大きく得策でームを題材とした強化学習の研究は大きくないと報告者は考えている。

進み、特に Google DeepMind 社が研究成果の当グループはこの報告の翌 2018 年度も HPCI

インパクトの点で大きく先行されている。

でない課題として鋭意研究を進めている。

日本に限らず他の研究機関はほとんど引き

現時点で具体的に書くことは控えるが、 強離されているが、中国のテンセント社など、化学習の課題として curiosity (新規事象を大規模な計算機資源を持つグループが比較探査する動機づけ)の活用、学習の効率化と的近い成果を出しつつある。日本の研究機

して joint learning, transfer learning,

関としては、(仮に ReedBush や他の資源を使

mix-in の活用、人間への説明という観点でっ た と し て も 5,000TPU で 実 験 を 行 う

ニューラルネットワークの判断の可視化技

DeepMind よりは遥かに)少ない計算機資源で術などが重要と、考えている。

どこまで巨大企業に迫れるかという観点で研究成果リスト

課題を明らかにすることが重要であり、本7.

研究課題での目標の一つであった。この点(1) 学術論文

でも、当研究グループの知見は大きく広が(2) 国際会議プロシーディングスっており、今後に向けて十分な前進を得た

a) Building Evaluation Functions forと評価できる。各課題を検討して知恵を絞り、また研究資源を効果的に投入すること

Chess

and

Shogi

で、距離を縮めてゆくことが出来ると期待

Regularization Networks.

with

Uniformity

Shanchuan Wan and Tomoyuki Kaneko.

される。

IEEE Conference on Computational Intelligenceand Games (投稿中)

今後の展望:
強化学習の研究は今年も大きく進み、画像b) RankNet for evaluation functionsのキ説明生成、質の異なる仕事の金額評価

of the game of Go.

と言った、ゲームとは大きく異なる応用に

Yusaku Mandai and Tomoyuki Kaneko.

まで使われている。したがって、本研究課
題である大規模な強化学習は、これからの

The

10th

International

日本社会に不可欠であり、現時点ではComputers and Games (投稿中)

Conferenceon

Google DeepMind 社のように潤沢な資源が使(3) 国際会議発表

った派手な応用成果があげられなくとも、地道に継続して基礎的な技術と知見を国内(4) 国内会議発表に蓄積することが重要と、報告者は信じるものである。研究を続けていれば、将来計c) 万代 悠作, 金子 知適.

算機資源がより安価になった際に、さまざ局面の組合せを用いた囲碁評価関数の学
習.

まな応用を実現することにつながると期待

ゲームプログラミング・ワークショップできる。一方でもし、すぐに「勝てない」
8

学際大規模情報基盤共同利用・共同研究拠点 平成 29 年度共同研究 最終報告書 2018 年 5 月

2017 年 11 月 箱根 pp. 8-14d) 森永雄也、山口和紀
カテゴリ情報を付与した文の分散表現による逆引き辞書の精度向上
インタラクティブ情報アクセスと可視化
マイニング 第 16 回研究会 2017 年(5) その他（特許，プレス発表，著書等）
なし

9