第２９回世界コンピュータ将棋選手権
参加プログラム 水匠

水匠アピール文書
平成３１年３月２１日
参加者

杉 村 達 也

第１ はじめに
１ 本文書の目的
本文書は、第２９回世界コンピュータ将棋選手権（以下「WCSC29」といい、前回選手権を「WCSC28」といいます。）の参加プログラムである水匠の紹介及び独自工夫の要点等を記述するものです。
２ 参加者及び参加プログラムの紹介（１）本参加者1は、WCSC28 において tanuki-製作委員会が作成した、NNUE 評価関数に追加学習をさせた野良評価関数（NNUEkai）2を作成した者であり、当該野良評価関数が一部の方から評価されたことから、無謀にも WCSC29 の初参加を決意した者です。
（２）参加プログラムは、水匠といいます（「すいしょう」と読みます。
）。現在、インターネット上で公開されている NNUE 評価関数の名称が、イルカ、シャチ、貝など、水にまつわるものが多いことから、水という文字を使用し、「水匠」と名付けました。
第２ 使用ライブラリ
１ 使用するライブラリの内容
水匠においては、世界コンピュータ将棋選手権ライブラリのうち、①tanuki- (wcsc28版)3、②やねうら王コンピューター将棋フレームワーク4、及び③Apery5を使用します。
２ ライブラリ使用理由①tanuki- (wcsc28 版)で採用された NNUE 評価関数は、現在、教師データによる強化が最も容易・有効な評価関数であり、本参加者が作成した野良評価関数も NNUE 評価関数であったため、使用させていただきます。
②やねうら王コンピューター将棋フレームワークは、NNUE 評価関数を動作させるた
本参加者の Twitter アカウントは、https://twitter.com/tayayan_ts
https://1drv.ms/f/s!AjMACEoJwb5ngpY6NcU9qhdV5XS4UQ
3 https://github.com/nodchip/tanuki4 https://github.com/yaneurao/YaneuraOu
5 https://github.com/HiraokaTakuya/apery
12

1

めの探索部として使用させていただきます。
③Apery は、その評価関数が、世界コンピュータ将棋選手権ライブラリの中で特に強い評価関数であるため、教師データの作成において使用させていただきます。
第３ 参加プログラムの独自工夫
１ NNUE 評価関数の特徴（１）NNUE 評価関数は、ニュートラルネットワークを利用した非線形評価関数であって、将棋における戦型把握とその戦型に対する駒の配置の学習能力について大変優れていると推測されており6、現在、従来の三駒関係を利用した評価関数に比べて、より強い評価関数が作成できると考えられています。
（２）ただし、NNUE 評価関数は、局面の理解力が極めて高いものの、そのネットワークサイズの小ささが影響している結果、多数の局面を踏まえた学習をすることを苦手としており、本参加者の実験によれば、学習限界局面数（それ以上の局面を用意しても、評価関数を強くできない局面数のことを指します。
）が、三駒関係評価関数に比べて少ないことがわかっています。
（３）また、NNUE 評価関数は、局面の理解度が高いことが影響して、少ない学習局面数であっても、その評価関数を大きく変容させてしまうという特徴ももっており7、繊細な学習が求められることもわかっています。
２ 教師データ自体の変更（１）前項で指摘したとおり、NNUE 評価関数は、学習限界局面数が少なく、かつ、少ない学習局面数でも大きな変化が生じるといった特徴を持っていることから、NNUE 評価関数の学習においては、その教師データの質が、三駒関係評価関数以上に求められます。
（２）NNUE 評価関数を学習させるための教師データは、現在、既存の評価関数の自己対局による局面及び評価値を主な内容としており、自己対局における探索深度を高めれば、より質のいい教師データを作成することが可能です。しかし、探索深度を高めれば、教師データの作成速度は遅くなってしまうため、必要な量の教師データの作成する場合の探索深度には限界があります。
（３）そこで、探索深度を高める以外の方法によって、教師データの質を高めることが可能であれば、必要な量の教師データを、より高速に作成することが可能であると考えられます。
本参加者が WCSC29 で採用する手法は、自己対局によって作成された教師データの情報を、事後的に変更することによって、教師データの質を高め、その結果、より質

http://yaneuraou.yaneu.com/2019/02/05/
評価関数 illqha 作者のめきっと氏（https://twitter.com/_illqha）も同旨を言及しています。
672

の高い評価関数を作成するという手法です。
３ 教師データ自体を変更する利点
NNUE 評価関数（及びやねうら王）における教師データの内容は①手番、②局面、③評価値、④最善手、⑤勝敗、⑥手数によって構成されています。そして、教師データ作成時において、教師データの手数は一対局毎にまとまった順列となっています。
したがって、教師データ自体の変更という手法を採用すれば、前後の局面における評価値を考慮した上で、教師データを変更することが可能です（下記画像参照）。
なお、前後の局面を考慮する形で、強化学習をすることは、学習部の改造によっては困難であると考えられます（学習時にはシャッフルされた局面を利用するのが原則であるため。）。この点で、教師データ自体の変更という手法には、一定程度の有用性・利点があると考えられます。

また、例として、Depth8 の 5 億局面の教師データのみを使用して評価関数を作成した場合、教師データ変更の有無によって、評価関数の勝率に有意差が存在するため（下記画像参照）、教師データ変更の手法には一定程度の効果があると考えられます。
なお、現在は、教師データ変更の手法がより緻密なものとなったため、下記画像時点のものよりも、データ変更の効果は上がっています。

3

４ 教師データ変更の他の利用方法（１）教師データ自体を変更するという手法は、評価関数強化以外にも利用ができ、例えば、対抗形による自己対局を実施させた教師データのうち、振り飛車側が敗北した対局を一定程度減らすことによって、教師データにおける、振り飛車の勝率を高めることができます。
そして、現在、NNUE 評価関数（及びやねうら王）で使用されている学習手法は elmo式（局面の評価値及び当該対局の勝敗を考慮した学習手法）8であるため、意図的に振り飛車の勝率を上げた教師データを使用することにより、振り飛車を指す評価関数を作成することが可能となるのです（当該手法により作成された評価関数が拙作
NNUEkaiXF です。
）。
（２）従来、振り飛車を指す評価関数の作成方法は、飛車の位置によって、評価値を増減させるという手法が採られていました9が、新たに、振り飛車側の勝率を変更するという選択肢も増えたことによって、振り飛車評価関数をより強化するための基礎が出来上がりつつあると考えられます。
５ 学習パラメータ及び定跡に関する工夫（１）NNUE 評価関数は、第３・第１項（３）で示したとおり、繊細な学習が求められるものであり、その学習パラメータの設定も、ある程度の重要性を有しています。
本参加者は、今までの野良評価関数（NNUEkai）の作成において、NNUE 評価関数の学習パラメータについて試行錯誤を繰り返してきており、その試行錯誤は、水匠にも活かされることとなります。
（２）また、定跡の作成については、「どういう展開にすれば自分が勝ちやすいかという点も踏まえた（中村太地七段による豊島将之二冠評）10」定跡作成が有効であると考

http://www2.computer-shogi.org/wcsc27/appeal/elmo/elmo_wcsc27_appeal_r2_0.txt
https://www.apply.computer-shogi.org/wcsc28/appeal/HoneyWaffle/appeal.pdf
10 https://bizgate.nikkei.co.jp/article/DGXMZO3486202031082018000000
894えています。本参加者が今まで作成してきた定跡（白黒定跡）は、単なる勝率ではなく、圧勝率（先手番評価値及び後手番評価値が、一度も敗者側に振れないまま全く紛れなく勝ち切った対局の勝率）を考慮して作成したものです。このような定跡作成手法によって作成された定跡は、評価関数単体よりも勝率を高くすることが可能で、かつ、定跡の穴を狙われにくいものであると考えています（実際はどうかわかりません。）。
WCSC29 においても、同じ手法で作成した定跡を採用する予定です。
第４ おわりに以上が、水匠の紹介及び独自工夫の内容になります。
本参加者は、全くと言っていいほどプログラミングに関して初心者であり、上記独自工夫についても、プログラミングを初めて一日で習得できるような簡易な技術しか使われておりません。学会等に出没するといわれている、素人を名乗る者ではなく、ガチ素人です。
また、本参加者の日常業務も計算や機械とかけ離れた、文系職業の最たるものであるので、今回の WCSC29 への参加は、いわば、最近流行りの異世界転生ものであるといえるでしょう。
小説においては、凡そ成功する異世界転生の主人公ですが、現実はそう甘くないのか、それとも何かしらの爪痕を残せるのか、ご期待ください…ではなく、全く期待せず見守ってください。
以上

5