Policy-ValueMonte-Carlo木探索を用いた将棋の解説文に出現する手順の予測

近年、将棋・チェスなどの完全情報ゲームのコンピュータプログラムは著しく棋力が向上している。特にAlphaGo[1],AlphaGoZero[2],AlphaZero[3]などのように、教師あり学習または強化学習で深層学習を行うプログラムが台頭している。このようなプログラムは任意の盤面から評価値や最善の手順を正確に示すことができる一方で、指し手が最善である理由などの説明は難しく、解釈性に乏しいという課題がある。将棋やチェスなどの解説文生成については、ルールベースの手法[4],[5],[6]やn-gram言語モデルを利用する手法[7]が提案されているが、近年では大規模言語モデル(LargeLanguageModel,LLM)の発展により、強力なゲームエンジンとLLMを組み合わせてゲームの解説文を出力する研究が進んでいる。例えばLeeら[8]は盤面からタグと呼ばれる情報の単位を抽出し、盤面とともにLLMに入力する手法を提案した。この手法は人間的に好ましい解説文の生成に有効であった一方で、深い手順の説明が不正確になる場合があることが課題とされた。LLMに入力する盤面に関する情報を工夫することで、より正確な解説文を出力できる可能性がある。本研究では、解説木と呼ばれるデータ構造に着目する。解説木とは、将棋などの完全情報ゲームにおいて、ある盤面の解説文中に現れた手順をゲーム木と呼ばれる木構造で示したものである[9]。解説手順をゲーム木と同様に表現することにより、自然言語による解説と局面の遷移を対応づけることが可能になる。例として、2024年の第9期叡王戦五番勝負第1局より図1の盤面と図2の解説文1）が与えられる場合、解説文中の局面の遷移は図3の解説木で表現することができる2）。亀甲ら[10],[11]はプロ棋士の対局と解説文のコーパスを教師データとして解説木を生成する手法を提案した。本研究では、Policy-ValueNetwork(PVN)を用いたMonte-Carlo木探索(Policy-ValueMonte-CarloTreeSearch,PV-MCTS)によって生成したゲーム木を再帰的に枝刈りすることで、ゲームエンジンを用いて解説木を生成する手法を提案する。本研究の手法は、解説木の生成に解説文のコーパスを必要としない点において従来の手法と異なるため、解説文が豊富に存在しない完全情報ゲームに応用できる可能性がある。