日本データベース学会データドリブンスタディーズ
一般論文

Vol. 2, Article No. 3, 2024年 3月

用いて微調整した T5 の解説文分類モデルにより構成要素ラベル

将棋解説文の構成要素を考慮したを付与することで, 約70万件の「解説文」, 「指し手数」, 「指し解説文生成手法の検討
佐々木謙人1

手」, 「局面」と「構成要素ラベル」からなる解説文生成用コー
パスを作成する. 次に，作成したコーパスを用いて構成要素ごとに T5 を微調整することで「指し手数」, 「指し手」, 「局面」を

関洋平2文字列として入力すると「解説文」を出力する解説文生成モデルを構築する．

近年, 将棋番組においてコンピュータ将棋の指し手の読み筋や

2 関連研究局面評価値が配信されており, 観戦者を楽しませている. しかし

2.1 将棋解説文生成ながら, これらは指し手と局面を評価する数値のみであり, 解説
としては不十分である. コンピュータ将棋がプロ棋士のように自金子 [13] は, ルールベースで将棋解説を行う手法を提案した.

然言語で解説を行えるようになると, 観戦者の棋力向上の支援にコンピュータ将棋の「GPS将棋 *2 」が出力する探索評価値と読み

筋を人が読みやすい形式に変換し, Twitterで配信することでリア

おいて有益である. 本研究では, 構成要素を考慮した将棋解説文
生成手法を提案する. 将棋解説文には, 指し手の読み筋, 囲いや戦

ルタイム解説を行った. この手法では, 探索評価値と読み筋に加型，先手と後手の優劣を評価する形勢など様々な構成要素が含ま

えて, 補足的に「王手の局面において, どう逃げても詰む」のよれる. 人手によるアノテーションとアノテーションデータを用いうな自然言語による解説を行う. 石脇ら [12] は, 初心者がいい手て微調整した T5 解説文分類モデルで構成要素の判別を行い, 約と考える指し手を数値で表すナイーブ評価値を定義し, 初心者が70 万件の「解説文」, 「指し手数」, 「指し手」, 「局面」と「構実際に選んだ指し手によりパラメータ調整することで詰将棋にお成要素ラベル」からなる解説文生成用コーパスを作成する. また,ける一見良い手の解説文を生成する手法を提案した. 亀甲ら [14]本コーパスを用いて T5 を微調整することで解説文生成モデルをは, ロジスティック回帰による言語モデルを用いた解説文生成を構築する. 評価実験の結果, 複数の構成要素において人間と同等の行った. コンピュータ将棋「激指 *3 」の局面の素性ベクトル (自分の駒の価値, 駒の利き, 2駒間の関係) を入力として, その局面の解

解説文を生成した.

説文において戦型に関する単語の現れやすさを表現する語彙数次
元の予測ベクトルを出力するように3層パーセプトロンを学習し,

1 はじめにこの学習器による単語の予測結果と言語モデルを組み合わせて解2017年 に 開 催 さ れ た 第2期 電 王 戦 で は, コ ン ピ ュ ー タ 将

説文を生成した. さらに, 亀甲ら [15] は, 機械学習による指し手の棋Ponanzaが佐藤天彦名人との対局で勝利を収めた [16]. また,

読み筋の解説文生成手法を提案した. 名人戦・順位戦の記譜に付

同年にDeepMindのSilverら [10] が発表したAlphaZeroは, ゲーム

与された解説文を教師データとして, 探索評価値を元に解説文中

ルールのみから強化学習を行う手法により当時最も優れたコンピの指し手表現が実際のゲーム木のどこに対応するかを表現する解ュータ将棋に勝利した. こうした人間を上回る棋力を持つコンピ説木を用いて, 指し手表現と局面の対応付けを行い, RNN言語モ

ュータ将棋の登場により, 近年ではコンピュータ将棋の指し手のデルによる解説文生成を行った.

読み筋や局面評価値がテレビやインターネットの将棋番組で配信

これら従来の解説文生成手法では, 指し手の読み筋または戦型されている. それらは観戦者を楽しませているが, 解説機能としてを対象としていた. 本研究では指し手の読み筋や戦型に限らず,は不十分である. プロ棋士と同様に, コンピュータ将棋も自然言語

様々な構成要素を考慮した解説文生成を試みる.

を用いて解説が出来るようになると人間の棋力向上を支援する観2.2 チェス解説文生成点から有益である.

Jhamtaniら [3] は, RNN言語モデルによる解説文生成モデル

そこで, 本研究では将棋解説文を自動生成することを目的とすを提案した. まずオンラインチェスフォーラム *4 に投稿されたチェス解説文を収集し, 29万8,000件の指し手と解説文のペる. 将棋は競技人口が約1,200万人 *1 にも及び, 近年では「観る将」と呼ばれるテレビやインターネットの将棋中継を観て楽しむファアデータからなるチェス解説文コーパスを構築した. このコンが多いため, こうした将棋解説の需要は大きい.

ーパスでは, 1手に対して複数の解説文が付与されている場合,

従来の関連研究では, 指し手の読み筋または戦型のみを対象と指し手と解説文が1対の対応になるように解説文を文単位に分した解説文生成手法を提案しているが [13–15], 実際の将棋解説割しているほか, 指し手の系列を含む解説文はコーパスの対象

文の内容は多様であり, 形勢, 局面の説明, 指し手の評価など様々外となっている. 人手によるアノテーションとアノテーション

な構成要素を含む. 本研究では, これら構成要素を考慮した解説文

データを用いて学習したSVM分類器により, 解説文に対してを生成することを試みる. 提案手法では, アノテーションデータを『Direct move description』, 『Quality of move』, 『Comparative』, 『Move rationale or Planning』, 『Contextual game information』
1 学生会員

筑波大学大学院人間総合科学学術院

s2321692@u.tsukuba.ac.jp
2 正会員*2 https://gps.tanaka.ecc.u-tokyo.ac.jp/gpsshogi/*3 https://www.logos.t.u-tokyo.ac.jp/~gekisashi/*4 https://gameknot.com/

筑波大学図書館情報メディア系

yohei@slis.tsukuba.ac.jp*1 https://www.shogi.or.jp/faq/other/1

日本データベース学会データドリブンスタディーズ
一般論文

Vol. 2, Article No. 3, 2024年 3月, 『General information』の少なくともいずれかのラベルを付与
し, ラベルごとに解説文生成モデルを構築した. このモデルでは, 対象となる局面から駒種と移動位置に関するMove特徴量, 駒取り関するThreat特徴量, 指し手と局面評価に関するScore特徴量を抽出し, Bi-LSTMによる特徴量エンコーダで埋め込みを行い,

LSTMでデコードすることで解説文を生成する. Zangら [11] は,チェスエンジンを内部機構として取り入れ, 指し手や局面に関する詳細な情報を学習することでJhamtaniらの手法をBLEU [8] で上回った.
図1 提案手法の概要図

本研究では, Jhamtaniらのアノテーション基準を参考にして将棋の解説文生成用コーパスを構築し, 文字列で表した「指し手数」, 「指し手」, 「局面」から「解説文」を生成する手法を提案する.
2.3

し 手 数」 , 「指 し 手」 , 「局 面」 と 「構 成 要 素 ラ ベ ル」 か

文生成の評価指標

ら な る 解 説 文 生 成 モ デ ル 学 習 の た め の コ ー パ ス で あ る.

BLEU は一般に機械翻訳において用いられる評価指標である

各項目は, 「指し手数 : 107」 , 「指し手 : B*2c」 , 「局面 :が, 将棋・チェス解説文生成の評価指標としても用いられていl4R2l/1kg6/1gns2+PB1/p1pp4p/4P1pp1/PSPPs3P/2NS2P2/1KG2Gる [3, 11, 14]. BLEU は, 下式のように生成文と参照文の N-gram

3/L2br2NL w N5P」, 「構成要素 : 指し手の評価」, 「解説文 : 遠

適合率で文の類似度を計算する. 𝑤 𝑛 はN-gramの重み, BP は短い

くから受ける好手。」のように表す. 「指し手」と「局面」は USI

生成文に対する罰則項, 𝑐 は生成文のトークン数, 𝑟 は参照文のト(Universal Shogi Interface) プロトコルで機械可読な SFEN 表記

ークン数である. 𝐶𝑜𝑢𝑛𝑡 (𝑁`𝑔𝑟𝑎𝑚 ′ ) は生成文中の全 N-gram の数，

法 *5 を用いて表す. コーパスの構築手順の詳細を以下に述べる.

𝐶𝑜𝑢𝑛𝑡 𝑐𝑙𝑖 𝑝 (𝑁`𝑔𝑟𝑎𝑚) は生成文と参照文で共通の N-gram の数を

4.1 将棋解説文の構成要素の定義表す.

将棋解説文には, 指し手の読み筋, 囲いや戦型, 先手と後手の優劣を評価する形勢など様々な構成要素が含まれる. 本節では, チェ

BLEU = BP · exp

𝑁
∑︁

!

ス解説文コーパス [3] のアノテーション基準を参考にして将棋解

𝑤 𝑛 · log 𝑝 𝑛 .

説文の構成要素を定義する. 構成要素を「指し手」と「局面」に

𝑛=1

(
BP =
Pn =

1
𝑟
𝑒 (1− 𝑐 )Í

大別することで, 解説文の対象が指し手（系列）または盤面の状

𝑖𝑓 𝑐 > 𝑟.
𝑖𝑓 𝑐 ≤ 𝑟

態なのかを明確にする変更を加えた. また, 囲いや戦型に関する
文は将棋初心者にとって特に有益と考えられるため『囲い・戦𝑁 −𝑔𝑟 𝑎𝑚 𝐶𝑜𝑢𝑛𝑡 𝑐𝑙𝑖 𝑝 (𝑁 − 𝑔𝑟𝑎𝑚)Í.
′𝑁 −𝑔𝑟 𝑎𝑚′ 𝐶𝑜𝑢𝑛𝑡 (𝑁 − 𝑔𝑟𝑎𝑚 )型』を新たな要素として追加した. 「指し手」と「局面」どちらにも該当せず, 解説文生成において不要と考えられる場合は『一般情報』とした. 以下に各構成要素ラベルの定義と例文を示す.

• 指し手の評価

本研究においても, BLEUを用いて生成文の評価を行う.

現在・過去の指し手の評価についての記述.

3 提案手法例）敗着となった一手。

• 指し手の候補・比較

提案手法の概要図を図1に示す. 提案手法では『指し手の評価』,

将来・過去の候補手についての記述.

『指し手の候補・比較』, 『指し手の説明』, 『囲い・戦型』, 『局例）▲1六同銀に△2四桂でどうか。

面の形勢』, 『局面の説明』の6つの解説文生成モデルを T5 [9] を• 指し手の説明

微調整することで構築する. T5 (Text-to-Text Transfer Transformer)

評価や候補・比較を除く指し手についての記述.

は, Text-to-Textのフレームワークを用いたEncoder-Decoderの事

例）馬の利きを止める。

前学習言語モデルであり, 幅広いタスクに適用可能である. 実際の• 囲い・戦型

解説文生成では, これらモデルのうち将棋観戦者が指定する「構囲いや戦型についての記述.

成要素ラベル」によっていずれかが選択される. 選択されたモデ例）得意の三間飛車に構える。

ルは, 現在の盤面から取得した「指し手数」, 「指し手」, 「局面」

• 局面の形勢の文字列をEncoderで埋め込みベクトルに変換し, 埋め込みベク

現局面の形勢についての記述.

トル同士の関係を表す中間表現を獲得する. Decoderでは, 得られ

例）後手の方がいいのではないか。

た中間表現から「解説文」を生成する.

• 局面の説明

4 解説文生成用コーパスの構築

囲い・戦型や形勢を除く局面についての記述.

本 節 で は, 解 説 文 生 成 用 コ ー パ ス 構 築 に つ い て 述 べ る.
解 説 文 生 成 用 コ ー パ ス は, 約70万 件 の 「解 説 文」 ,「指*5 http://shogidokoro.starfree.jp/usi.html

2

日本データベース学会データドリブンスタディーズ
一般論文

Vol. 2, Article No. 3, 2024年 3月

◆

※

【

】

http

アノテーションの判定者間一致度を表1に示す(アノテータ 1 は

BS

ネット中継

レスポンシブタブレット

スマートフォン

自動記譜更新

記録係

棋士番号

対局数

気温

第一著者). 表1からCohenの 𝑘 係数 [1] が 0.73以上であり, 判定者

出身

生まれ

夕食

昼食

おやつ

時刻

消費時間

時。

分。

回。

段。

敗。

党。

戦。

開始。

局面。

考慮。

着手。

小考。

長考。

期

賞

勝敗

成績

同一局面

奨励会

将棋会館

プロフィール

コメント

感想戦取材

局後の感想

腕組み

入室

来訪

再開

図2

間の差異が小さいことが分かる.
表1 構成要素ラベルの判定者間一致度 (Cohenの 𝑘 係数)

アノテータ

不要な解説文削除のためのキーワード一覧

アノテータの組合せ

1–2

1–3

2–3

1–4

1–5

4–5

Cohenの 𝑘 係数

0.76

0.73

0.74

0.75

0.80

0.79

構成要素つきコーパスにおける構成要素ラベル毎のデータ件数と割合を表2に示す.

例）相変わらず両取りが残っている。

• 一般情報表2 構成要素ラベル毎のデータ件数と割合

指し手や局面には関連しない一般的な情報についての記述.

構成要素ラベル例）タイトル戦登場は4回。

4.2 解説文付き棋譜の収集
記 譜 配 信 サ イ ト 名 人 戦 記 譜 速 報 *6 に て 公 開 さ れ て い る

約12,000局 (2022年9月時点) の解説文付き棋譜を収集する. これら棋譜は, プロ棋士のタイトル戦である名人戦と名人戦の挑戦者を決定する順位戦を網羅している. また, 柿木形式 *7 で記述されており, 将棋に精通する観戦記者や対局者以外のプロ棋士による解説文が付与されている. 解説文には「消費時間は▲4時間32分、△4時間59分。」や「先手はここまで2勝6敗。」のように指し手や

件数

割合(%)

指し手の評価183

1.8

指し手の候補・比較

3262

32.6

指し手の説明

2893

28.9

囲い・戦型

380

3.8

局面の形勢

229

2.3

局面の説明

1266

12.7

一般情報

1787

17.9

4.4 構成要素の自動判別

局面の解説には直接関係のない文が含まれている. そこで, 頻出収集した解説文全てに対して人手によるアノテーションを実施する不要な解説文を「消費時間」, 「敗。」など図2に示すキーワすることは困難である. そこで, 4.3節で構築した構成要素つきコ

ード一致により削除する. 複数文からなる解説文は ja-sentence-

ーパスを用いて事前学習言語モデル T5 を微調整することで解説

segmenter *8 を用いて文単位に分割する. 最終的に約83万6,000文

文分類モデルを作成し, 人手に代わり解説文の構成要素を自動判の将棋解説文を収集した.

別する. 構成要素ラベルは, 複数モデルの判別結果から多数決で決4.3 構成要素のアノテーション

定し, 多数決ができない場合は『一般情報』とする. 最終的に『一収集した将棋解説文から無作為に抽出した10,000文を対象とし般情報』を除く『指し手の評価』, 『指し手の候補・比較』, 『指て, 4.1節で定義した構成要素ラベルを付与するアノテーション作

し手の説明』, 『囲い・戦型』, 『局面の形勢』, 『局面の説明』

業を人手で行い, 構成要素つきコーパスを構築する. アノテーシの6つの構成要素ごとにデータを分割する. 構成要素の自動判別に

ョン作業は, 将棋アマチュア有段者である第一著者及び実験協力

関する実験については5節で述べる.

者4名の計5名によって行い, 全てのアノテーション結果は多数決

4.5 棋譜形式の変換と局面の生成によって決定した. 作業者間で判断したラベルが異なり多数決が提案手法では, 「指し手数」, 「指し手」, 「局面」を入力としできない場合は, 話し合いをして修正を行い, 多数決によって決定て「解説文」を生成するモデルを構築する. しかしながら, 本研究した.

で収集した解説文付き棋譜には, 局面が明示的に含まれていない.

アノテーション作業では, はじめに各作業者のアノテーシ

そこで, 指し手を柿木形式 *7 から機械可読 SFEN 表記法 *5 に変換

ョ ン 方 針 を 一 致 さ せ る た め に500文 を 用 い て 訓 練 を 行 っ た.

し, 指し手に対応する局面を生成する. 例えば初期局面で先手がFleissの 𝑘 係数 [4] が 0.76 (Substantial Agreement [5]) 以上とな

「7六歩」という指し手を打つ場合, はじめに「7六歩」を SFEN

り作業者5名のアノテーション方針が一致したところで訓練を終表記法の指し手「 7g7f 」に変換する. 次に, 「 7g7f 」からcshogi了した. 続いて, 10,000文を対象としてアノテーション作業を行

ライブラリ *9 で指し手に対応する局面を生成する.

った. 作業は2チームに分かれて行い, 各チーム5,000文を担当し4.6 解説文生成用コーパスの統計情報

た. 実験協力者4名は2名ずつ各チームに分かれ, 著者は両チーム

本節では, 解説文生成用コーパスの統計情報を報告する. 解説に属することで3名からなるチームを作成した. これにより, 各文

文1文あたりの文字数の平均値, 標準偏差, 構成要素ラベルごとのにつき3名分のアノテーションが得られ, 3名の多数決により最終

データ件数, 割合を表3に示す. 『指し手の説明』は「桂跳ねで応的なラベルを決定した.

じる。」のように指し手を簡潔に説明するため, 解説文は短い傾向にある. 一方, 『指し手の候補・比較』は「▲4六香△7八飛成*6 http://www.meĳinsen.jp/*7 http://kakinoki.o.oo7.jp/kif_format.html*8 https://pypi.org/project/ja-sentence-segmenter/*9 https://github.com/TadaoYamaoka/cshogi

3日本データベース学会データドリブンスタディーズ
一般論文

Vol. 2, Article No. 3, 2024年 3月▲4四角上で7一の飛車を狙う手はあるかもしれないが、その変化は5八の金が浮いているため詰みまで読み切る必要がある。」のよ

表4

うに指し手の遷移が含まれるため解説文が長い傾向にある. 『指構成要素ラベルの自動判別

F値

し手の評価』と『局面の形勢』はデータ件数が少なく, それぞれ割合は， 1.4% と 2.9% である. 一方, 『指し手の候補・比較』は構成要素ラベル

T5

BERT

データ件数が最も多く, 全体の 44.6% を占める. 解説文生成用コ

指し手の評価0.46

0.44

ーパスは構成要素毎のデータ件数に大きなばらつきがある.

指し手の候補・比較

0.93

0.92

指し手の説明

0.86

0.84

囲い・戦型

0.81

0.79

局面の形勢

0.69

0.65

局面の説明

0.74

0.70

一般情報

0.89

0.87

マクロ平均

0.769∗∗

0.744

表3 解説文生成用コーパスの統計情報
解説文一文あたりの文字数
構成要素ラベル

平均値

標準偏差

件数

割合(%)

指し手の評価19.4

12.3

10,015

1.4

指し手の候補・比較

31.3

19.7

310,76744.6

指し手の説明15.1

6.9

224,290

32.2

囲い・戦型

20.3

12.1

40,406

5.8

局面の形勢

24.7

14.5

20,201

2.9

局面の説明

20.6

9.6

90,375

13.0

合計

21.9

12.5

696,054100.0∗∗ : 両側 𝑡 検定，有意水準1%で有意差あり.

5.4 考察『指 し 手 の 評 価』 の F値 が 他 の 構 成 要 素 と 比 較 し て 低 い
要 因 は, 学 習 デ ー タ が 少 な い た め と 考 え ら れ る. 表2に 示 すと お り, 『指 し 手 の 評 価』 の 解 説 文 は183件 で 全 体 の1.8%で5 将棋解説文の構成要素の自動判別ある. 判別結果を見ると, 「絶好手。」や「感触のよい桂跳ね。」のように短文で一般的な評価に関する表現が用いられてい本節では, 将棋解説文の構成要素の自動判別の実験について述
べる.

る 場 合, 比 較 的 正 し く 判 別 で き て い た .

一 方, 「▲6四 桂 の

5.1 目的キ ズ が で き る の で思い切った指し回しで あ る。」 や 「こ の よ う

収集した解説文全てに対して人手によるアノテーションを実施に損のない手を指す呼吸は見習いたいところ。」のように将棋特することは困難である. そこで, 人手に代わり事前学習言語モデル

有の表現や遠回しの表現が含まれている場合において, 誤った判を用いて構成要素の自動判別を行うことを目的として以下の実験

別が多かった. このような将棋特有の表現や遠回しの表現は多様を行う. 実験方法, 結果, 考察について順に述べる.

であるため, 学習においてさらに多くのデータを必要とすると考5.2 方法

えられる.

構成要素つきコーパスを用いて, 事前学習言語モデル T5 とT5 と BERT の F値の差が比較的大きい『局面の形勢』と『局BERT [2] をファインチューニングし, 5分割交差検証を行う.

面の説明』に着目する. T5 と BERTによる各構成要素ラベルの予

BERTは, 最も広く用いられている事前学習言語モデルであり, 本

測結果分布をそれぞれ表5, 表6に示す. 各表から『局面の形勢』は実験ではベースラインとして用いる. 事前学習言語モデルは, 日本『局面の説明』との判別が難しく, T5 は BERT よりもこれら2つ

語 T5 事前学習済みモデル *10 と日本語 BERT 訓練済みモデル *11 をの構成要素における判別が正確であることが分かる. T5 は『局面用いる. 入力最長トークン数: 512, 出力最長トークン数: 2, バッの形勢』と正しく判別したが, BERTでは『局面の説明』と誤っチサイズ: 16, 学習率: 1𝑒 − 4, エポック数: 15 とした. 構成要素ラて判別した例を以下に示す.

ベルの判別結果は, F値で評価する.

• 3二金の形が悪く、先手持ちの局面のようだ。
• 簡単に後手の勝ちというわけでもなさそうだ。
• ただ、明快に後手がいいというわけでもないです。
• 角金を手持ちにしているので、まだ互角の形勢だろう。

5.3 結果各構成要素ラベルの F値を表4に示す. 表4から T5 により構成要素を分類する手法（平均 = 0.769，標準偏差 = 0.160）は，

BERTにより分類する手法（平均 = 0.744，標準偏差 = 0.164）と

例えば「3二金の形が悪く、 先手持ちの局面のようだ。」とい比較して高精度な結果となり， Pearson’s 𝑟 を効果量とした 1 対う解説文において, BERTは「3二金の形が悪く」から『局面の説の対応のある両側 𝑡 検定で有意差が確認できた（𝑡(6) = 5.667, 𝑝 =0.001, Pearson’s 𝑟 = 0.918）．また『指し手の候補・比較』, 『指明』と判別し, 一方の T5 は「先手持ちの局面」が文の主題である

し手の説明』, 『一般情報』の F値は0.85以上であるが, 『指し手ことを認識して『局面の形勢』と判別したと考えられる. このように『局面の形勢』には『局面の説明』と共通する表現が含まれの評価』は0.46と改善の余地があることが分かる. 次節では, F値るため, これら構成要素の判別には文脈から主題を正確に読み取が最も低い『指し手の評価』と T5 と BERT の F値の差が比較的る必要がある. こういった主題の認識が重要な場合において, T5

大きい『局面の形勢』と『局面の説明』に着目して考察する.

は BERT よりも正確な判別ができていたと考えられる.
また, 『局面の説明』においても T5 は BERT よりも正確な判*10 https://huggingface.co/sonoisa/t5-base-japanese*11 https://huggingface.co/cl-tohoku/bert-base-japanese-v2

別ができている. 『局面の説明』は『指し手の説明』との判別が4

日本データベース学会データドリブンスタディーズ
一般論文

Vol. 2, Article No. 3, 2024年 3月

表5

正解ラベル

T5 による構成要素ラベルの予測結果の分布

指し手

指し手の

指し手

囲い・

局面の

局面の

一般

予測ラベル

の評価

候補・比較

の説明

戦型

形勢

説明

情報

指し手の評価

16

2

7

0

1

3

3

指し手の候補・比較

3

617

31

3

3

12

2

指し手の説明

8

21

489

4

1

23

11

囲い・戦型

0

1

5

61

0

4

4

局面の形勢

1

1

1

0

30

5

2

局面の説明

4

8

36

4

7

192

16

一般情報

5

2

10

3

4

15

320

表6

BERT による構成要素ラベルの予測結果の分布

指し手

指し手の

指し手

囲い・

局面の

局面の

一般

予測ラベル

の評価

候補・比較

の説明

戦型

形勢

説明

情報

指し手の評価

15

2

5

0

1

2

4

指し手の候補・比較

4

616

37

3

3

11

4

指し手の説明

9

20

475

4

1

35

15

囲い・戦型

0

1

6

61

0

3

5

局面の形勢

1

1

2

0

28

4

4

局面の説明

4

8

41

4

10

183

17

一般情報

3

4

13

3

3

14

309

正解ラベル

難しく, これらは, 解説文で言及している対象が指し手か盤面の一

本語 T5 事前学習済みモデル *12 を用いる. 𝑠𝑒𝑒𝑑 = 42として訓練(8)部かの違いによって区別される. T5 は『局面の説明』と正しく判: 検証(1) : テスト(1) の割合で無作為にデータを分割する. 最長入

別したが, BERT では『指し手の説明』と誤って判別した例を以力トークン数: 128, 最長出力トークン数: 256, バッチサイズ: 32,

下に示す.

学習率: 1𝑒 − 4, エポック数: 5, 𝑡𝑜 𝑝_𝑘 = 50, 𝑡𝑜 𝑝_𝑝 = 0.92とした.
生成した解説文は BLEU で評価する. BLEU は, Sudachi *13 を用• 角頭は攻めの目標になる。
• もう角を逃げている余裕はない。
• 神谷は左側の金銀をうまく活用したい。
• 先手の金銀4枚はそれぞれが別の仕事を担当している。

いて分かち書きを行い, Hugging Faceのevaluate *14 を用いて計算する. BLEU は一般的に4-gramで評価されることが多いが, 文単位の場合は4-gramが1つも一致せず, 正しい評価が行えない問題があるため [6, 7], BLEU-2 (bi-gram) を用いる.

例えば「左側の金銀をうまく活用したい。」という解説文にお6.3 結果いて, 仮に「左側の金をうまく活用した。」ならば, 金を動かした

表7に自動評価指標を用いた生成文の評価結果を示す. BLEU-2

指し手に対する『指し手の説明』の解説文であると考えられる.

は全て0.1を上回り, 『指し手の説明』, 『囲い・戦型』はそれぞ

一方, 原文は左側の金銀が上手く働いていない状態について述べ

れ0.16, 0.17と他の構成要素ラベルと比較して高いスコアとなった解説文であるため,『局面の説明』に該当する. このような細かた. 以下では, 各構成要素における生成した解説文の特徴や課題

い表現の違いを考慮すべき場合において, T5 は BERT よりも正について考察する.

確な判別ができていたと考えられる.

6.4 考察

6 解説文生成6.4.1 各構成要素の解説文の生成結果について• 囲い・戦型

本節では, 提案手法による解説文生成の実験について述べる.

BLEU ≥ 0.2 ( テストデータの約26%) の場合において, ほとん

6.1 目的

どの生成文が参照文と同等であった. 条件がいくつか異なる

本実験では解説文生成モデルの構築を行い, 提案手法の有効性

ものの, 提案手法は亀甲ら [14]のロジスティック回帰モデルを検証する. 実験方法, 結果, 考察について順に述べる.

を用いた手法よりも BLEU で高いスコアを示した. 生成文が6.2 方法参照文と異なる場合を見ると「相掛かり模様に進む。」, 「相解説文生成用コーパスを用いて, 「指し手数」, 「指し手」, 「局面」を入力したとき「解説文」を出力するように事前学習言語モ*12 https://huggingface.co/sonoisa/t5-base-japanese-v1.1*13 https://github.com/WorksApplications/SudachiPy*14 https://huggingface.co/spaces/evaluate-metric/bleu

デル T5 を構成要素ごとに微調整する. 事前学習言語モデルは, 日

5日本データベース学会データドリブンスタディーズ
一般論文

Vol. 2, Article No. 3, 2024年 3月

表7

ためには局面評価値をモデルの入力に与える必要があると考BLEUによる生成文の評価

構成要素ラベル

BLEU

指し手の評価0.10

指し手の候補・比較

0.11

指し手の説明

0.16

囲い・戦型

0.17

局面の形勢

0.12

局面の説明

0.12

えられる.

• 指し手の評価
参照文「控え室で評判のよい桂跳ね。」に対して, 生成文「いかにも味のいい桂跳ね。」のように指し手を捉えつつ評価している文が複数あった. 『指し手の評価』について言及する
場合は局面評価値が大きく動くと考えられるので, 『局面の形勢』と同様に局面評価値がモデルの入力に必要であると考えられる.

• 指し手の候補・比較「△5同銀も::::::▲同桂で玉が薄くなる。」,「△5五同銀は:::::▲1六飛で桂を取られる。
」のように1手目の指し手は一致してい::掛かりになった。」のような時制や「先手は矢倉を目指す。」

るが, 2手目以降の指し手が一致しない場合が多く見られた.

, 「畠山は矢倉調。」のようなモダリティ表現に課題があるこ『指し手の候補・比較』の解説文を生成するためには探索をとが明らかになった.

行い, 解説文の指し手表現と対応付ける必要があると考えら• 指し手の説明

れる.

BLEU ≥ 0.3 ( テストデータの約9%) において, 参照文と同等

6.4.2に解説文が生成できた. 指し手は局面に応じて意味合いが変わるほか, 合法手は他の駒の位置によって決まるため『指高い例が複数あった. そのため, 評価指標の検討も必要と考えら

し手の説明』は『囲い・戦型』よりも適切な文を生成する

れる. 以下でいくつか BLEU による評価の課題点を述べる.

ことが難しいと考えられるが, 多様な解説文の生成ができて図3に対する参照文は「と金の遅早。」であり, 生成文は「後手いた. 例えば, 端歩を突くという指し手に対して「端歩を突も歩を垂らす。」である. 参照文の「と金の遅早。」は, 2手後に歩いて様子をうかがう。」, 「端歩の打診。」, 「端を突き越す。」

が成りと金になることを想定しており, 解説者の視点は未来にあのように言い換え表現が多く見られた.

る. 一方で, 生成文の「後手も歩を垂らす。」は現在の視点から指• 局面の説明

し手を捉えている. どちらも△5七歩という指し手に対する解説とBLEUスコアが高い生成文のほとんどは, 投了に関する文でしては妥当であるが, 解説者の視点が未来か現在かの違いがある.

あった. 例えば, 「ここで藤井が投了した。」や「この局面将棋解説では, このように解説者の視点が過去・現在・未来を行で桐山の投了となった。」が挙げられる. このように人名のみったり来たりするため, BLEUでは正しく評価できない場合があが異なる場合が数多くあった. 先手と後手の駒組みが同じ場る.

合を指す先後同型に関する文についても正しく生成できて図4に対する参照文は「軽いジャブを放つ。」であり, 生成文はいた. 投了や先後同型はある特定の条件における局面の名称「6筋から動いていった。」である. △6五歩と後手が攻めを仕掛けなので, 囲いや戦型と同様と考えることができる. 駒割りにた指し手に対して, 参照文は攻めを仕掛けたことを比喩で「ジャ関しては「現局面の駒割りは▲金香△桂桂の交換。」というブを放つ」と表現しているが, 生成文は「6筋から動いていった」

参照文に対して, 生成文は「駒割りは▲銀桂香△角の交換。」と直接的な表現をしている. このように将棋解説文では比喩が用の よ う に 駒 の 種 類 が 誤 っ て い る 場 合 が 多 か っ た ほ か,

いられることが多いほか, 将棋特有の言い回しもあり, 生成文の評「先 手 陣 は、 し ば ら く囲い合いが続きそうだ。」 , 「先 手 陣

価においてはこれらも考慮が必要である.

はこれ以上堅く組む手が見えにくいようだ。」のように内容

図5に対する参照文は「9筋に応じた。」であり, 生成文は「端歩が逆のこと述べている場合もあった.

を受けておく。」である. どちらも将棋解説においての意味合いは• 局面の形勢同じであるが, 既存の自動評価指標では, やはりこれらの意味的類

参照文「先手勝勢とみられている。」に対して, 生成文「棋似度を捉えることは難しい. 将棋解説文生成における評価には, 盤

士室では先手が勝勢と見られている。」のように参照文と同 様 の 形 勢 判 断 を 含 む 解 説 文 が 生 成 で き た.

評価における課題

解説文と参照文を比較すると BLEU は低いが, 意味的類似度が面やルールの理解も必要であると考えられる.

一 方 で,

図6に対する参照文は「なんと銀を見捨てて延命措置に入っ参照文「どうやら先手の勝ち筋に入ったようだ。」に対した。」であり, 生成文は「玉の早逃げ。」である. 生成文では「玉のて, 生成文「どうやら後手の勝ちがはっきりしてきたよう早逃げ」と指し手を直接的に説明している一方, 参照文では「玉だ。」のように先手と後手が誤っている文もあった. また,の早逃げ」を「延命措置」として述べている. これら文が類似し参照文「形勢はまだわからない。」に対して, 生成文「形勢ていると判断するためには, やはり将棋というゲームの理解が必は先手勝勢。」のようにそもそも形勢判断が間違っている文要である.

もあった. 提案手法では, 現在の「指し手数」 , 「指し手」 ,「局面」を入力としているが, これらでは局面評価に関わる情報が不十分であるため, 『局面の形勢』の解説文を生成する

6

日本データベース学会データドリブンスタディーズ
一般論文

Vol. 2, Article No. 3, 2024年 3月

7 今後の展望
提案手法では, 人名を含む解説文を生成するが, 実際の対局者とは異なる人名が解説文に含まれることは望ましくなく, 生成文と参照文の人名が異なることで BLEU が低くなる例も多い. そのため, 人名を「先手」や「後手」などに置換する前処理を行う必要があると考えられる. また, 生成文と参照文のモダリティや時制の相違やルールに則らない指し手への言及が課題として挙げられる. コンピュータ将棋の指し手の予測確率や局面評価値など, より
詳細な情報を入力特徴量として加えることを検討している. さらに, 将棋解説文生成における評価指標の開発も求められる.

8 おわりに
本研究では, 将棋解説文の構成要素を考慮した解説文生成手法を提案した. 構成要素の自動判別における実験では, F 値のマク

図4 △６五歩と攻めを仕掛けた局面

ロ平均 0.769 で自動分類できることを示した. また, この結果は

BERT により分類する手法に対して有意差が認められた (有意水準 1%, 両側 t 検定). 解説文生成では全ての構成要素において,BLEU-2 の平均値が 0.1 を上回った. 指し手や駒の配置が重要な特徴となる『指し手の説明』, 『囲い・戦型』, 『局面の説明』では参照文と同等の解説文が生成され, 提案手法の有効性を示した.
一方で, 探索や局面評価値が重要な特徴となる『指し手の候補・比較』や『指し手の評価』, 『局面の形勢』では正確に意味を捉えた解説文生成は難しいことを明らかにした. さらに, BLEU-2
では正しく評価できないが妥当な生成文を確認した. 提案手法では構成要素, 表現ともに多様な解説文を生成できることを示した.

図3

図5▲９六歩と歩を突いた局面

図6▲９八玉と玉が逃げた局面△５七歩と歩を打った局面

謝辞
本研究の一部は，科学研究費補助金基盤研究 B （課題番号23H03686），挑戦的研究（萌芽）（課題番号 22K19822）の助成を受けて遂行された．

7

日本データベース学会データドリブンスタディーズ
一般論文

Vol. 2, Article No. 3, 2024年 3月

参考文献[1] Jacob Cohen. A Coefficient of Agreement for Nominal Scales, Educational and Psychological Measurement, 1960, Vol. 20, No. 1, pp.
37–46.
[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova,
BERT: Pre-training of Deep Bidirectional Transformers for Language
Understanding, Proceedings of Conference of the North American
Chapter of the Association for Computational Linguistics: Human
Language Technologies, 2019, pp. 4171-4186.
[3] Harsh Jhamtani, Varun Gangal, Eduard Hovy, Graham Neubig, Taylor
Berg-Kirkpatrick. Learning to Generate Move-by-Move Commentaryfor Chess Games from Large-Scale Social Forum Data, Proceedingsof the 56th Annual Meeting of the Association for Computational
Linguistics, 2018, pp. 1661-1671.
[4] Joseph L. Fleiss. Measuring Nominal Scale Agreement among Many
Raters, Psychological Bulletin, 1971, Vol. 76, No. 5, pp. 378-382.
[5] J. Richard Landis, Gary G. Koch. The Measurement of Observer
Agreement for Categorical Data, Biometrics, International BiometricSociety, 1977, Vol. 33, No. 1, pp. 159–174.
[6] Chin-Yew Lin and Franz Josef Och. 2004. Automatic Evaluation of
Machine Translation Quality using Longest Common Subsequenceand Skip-bigram Statistics, Proceedings of the 42nd Meeting of the Association for Computational Linguistics, Main Volume, pp. 605–612.
[7] Graham Neubig. 文レベルの機械翻訳尺度に関する調査. 情報処理学会研究報告(IPSJ SIG Notes), 2013, Vol. 2013-NL-212, No. 7, pp.
1-8.
[8] Kishore Papineni, Salim Roukos, Todd Ward, Wei-Jing Zhu. BLEU:
A Method for Automatic Evaluation of Machine Translation, Proceedings of 40th Annual Meeting on Association for Computational
Linguistics, 2002, pp. 311-318.
[9] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan
Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu. Exploring
the Limits of Transfer Learning with a Unified Text-to-Text Transformer, Journal of Machine Learning Research, 2020, Vol. 21, No.
140, pp. 1–67.
[10] David Silver, Thomas Hubert, Julian Schrittwieser, Ioannis
Antonoglou, Matthew Lai, Arthur Guez, Marc Lanctot, Laurent Sifre,
Dharshan Kumaran, Thore Graepel, Timothy Lillicrap, Karen Simonyan, Demis Hassabis. A general reinforcement learning algorithm
that masters chess, shogi, and Go through self-play. Science, 2018,
Vol. 362, No. 6419, pp. 1140-1144.
[11] Hongyu Zang, Zhiwei Yu, and Xiaojun Wan. Automated Chess Commentator Powered by Neural Chess Engine. Proceedings of the 57th
Annual Meeting of the Association for Computational Linguistics,
2019, pp. 5952–5961.
[12] 石脇滉己, 荒川達也.「一見良い手」を含めた初心者向け詰将棋解説
文生成の提案. Technical report, 第 34 回ゲーム情報学研究会, 2015.
[13] 金子知適. コンピュータ将棋を用いた棋譜の自動解説と評価，情報処理, 2012, Vol. 53, No. 11, pp. 2525–2532.
[14] 亀甲博貴, 三輪誠, 鶴岡慶雅, 森信介, 近山隆. 対数線形言語モデルを用いた将棋解説文の自動生成. 情報処理学会論文誌, 2014, Vol. 55,
No. 11, pp. 1-10.
[15] 亀甲博貴，森信介. 将棋棋譜解説の自動生成，人工知能，2019, Vol.
34, No. 4, pp. 475-482.
[16] 山本一成. 人工知能はどのようにして「名人」を超えたのか？最強の将棋ＡＩポナンザの開発者が教える機械学習・深層学習・強化
学習の本質. ダイヤモンド社. 2017, 286p.

8