部分木の類似性に基づく言語生成技術の自動評価

言語生成技術の性能は系列変換モデル，特にTransformerモデル[1]の発展とともに大きく向上した．ニューラルネットワークを用いることで語の類似性をよく捉えることができ，多様な表現のテキストを生成できる．言語生成技術の自動評価指標には，生成されたテキストとあらかじめ用意された参照テキストとの間の単語列の一致に基づく類似度が広く用いられている．機械翻訳の場合は，BLEU[2]，自動要約の場合はROUGE[3]というNグラムの一致率を利用した手法がデファクトスタンダードであるが，Nグラムの一致率という表層的な情報に基づく手法には，参照テキストと同じ意味のテキストであっても，表現が異なれば不当に低いスコアを与えるという問題がある．この問題に対して，近年提案されたBERTScore[4]やBLEURT[5]では，単なる表層上の一致に頼らず，BERT[6]などの事前学習済みモデルから得られる単語や文の文脈埋め込みベSSVPVPNPPPPPNPNPNPNPNPNPIsawagirlwithatelescopeIsawagirlwithadogなるテキスト対の例クトルを活用し，参照テキストと生成されたテキストとの間の類似度を計算する．しかし，これらの研究ではテキストがその背後に持つ句構造や依存構造などの構文構造，修辞構造のような談話構造を利用していない．たとえば図1に示したテキスト対では，表層情報のみに着目するとtelescopeとdogという名詞1つが異なるだけの意味の似た文に見えるが，その構造にも着目すると左のテキストでは前置詞句（PP）が動詞句（VP）の直接的な子であるのに対して，右のテキストでは前置詞句は名詞句（NP）の子となっていることから，その意味も異なることがわかる．このようなテキストを構成する単語がほぼ同じなのに意味が異なるようなテキスト対などに対して，BLEUなどの表層情報の一致に基づく手法では曖昧性を解消できないことから不当に高いスコアを与えてしまう．また，BERTScoreなどでも単語の類似性を重視するため，同様に不当に高いスコアを与えてしまう．この問題に対して，テキストの構造は曖昧性を解消し，テキスト間の差異を捉える有用なヒントとなり得るが，その有用性は明らかにはなっていない．本稿では，構文木の間のアラインメントとその埋め込みベクトルの類似度に基づいた言語生成技術の自動評価法を提案する．2つのテキストの部分木を列挙した後，いくつかの制約の下での部分木間のアラインメントを決定し，最後にアラインメントに基づいた部分木間のベクトル類似度を元にテキスト間の類似度を計算する．WMT20およびWMT21のMetricsSharedTaskのデータセットに対して，提案.手法と人手による評価との間の相関を調べたところ，提案手法は教師データを必要としないにも関わらず，タスクに参加した既存手法と比べて同程度もしくは高い相関を達成した．