# 学会記事
## 理想のフレーズアラインメント手法を求めて

\author{
荒瀬由紀 $\dagger$
}

## 1 フレーズアラインメント問題

フレーズアラインメントとは，文対中に存在するフレーズ単位のパラフレーズの対応関係を特定する技術である。フレーズアラインメント技術の応用範囲は広く，単一言語内で用いればパラフレーズや含意関係の認識，機械読解，また自動採点に応用できる．多言語間で用いれば，機械翻訳における対訳知識抽出や翻訳品質推定に応用できる。

フレーズアラインメントにはフレーズとして任意の $n$-gram を用いるもの (e.g., (Ouyang and McKeown 2019)) と, 文の句構造に準拠した階層的なフレーズを用いるもの (e.g., (Burkett et al. 2010)）がある．チャンクベースの手法と階層的フレーズを用いる手法の利点・欠点は表裏一体の関係にある。チャンクベースのアラインメントの魅力は句構造に縛られない柔軟性である.特に多言語間でのフレーズアラインメントにおいては, 各言語における句構造が異なることも珍しくない。チャンクベースの手法はアラインメントが取れる部分フレーズを抽出するため,句構造によってアラインメントが阻害される心配がない。その反面，抽出されるフレーズに文法的制約がないため， eating an <-> who is eating theのように応用において有益とは言い難いフレーズアラインメントが多数抽出されることになる。一方，階層的なフレーズアラインメントでは，抽出されるフレーズアラインメントは文法的な句であるため, a girl eating an apple <-> a lady who is eating the appleのようなアラインメントが獲得でき, かつアラインメントから文法構造を用いて a NP eating NP <-> a NP who is eating NP のようなルールを容易に抽出できる。また構文構造は様々な応用タスクで利用されるが (e.g., (Socher et al. 2013) や (Tai et al. 2015)), そのようなモデルとも相性が良い. 反面，アラインメントが句構造によって制限されるため, a little girl holding a tabby cat with a long tail とa tabby cat in the arms of a young girl has a long tailのように句構造が異なるフレー ズをアラインメントする際に，柔軟性を維持するための工夫が必要になる（そしてそれは簡単でない).


## 2 Compositional Phrase Alignment and Beyond

我々の論文 (Arase and Tsujii 2020) では, 句構造に準拠した階層的なフレーズのアラインメント技術を提案している。句構造に準拠したフレーズアラインメント問題について，もう少し整理する。フレーズアラインメントは一般的に，compositional に生成される。つまり構文木において，(1)あるノード対のアラインメントは，それぞれの子（もしくは子孫）ノードのアラインメントによって決まる。ただし，（2）アラインする子ノードの順序はそれぞれの文（木構造）で一致するとは限らない。また，(3) アラインメントを持たないケースも存在する。さらに compositionality の制約を外れ, 長距離のフレーズ移動が起こるケースが存在することが指摘されてきた (Heilman and Smith 2010).

図 1 にフレーズアラインメントの例を示す。木構造がそれぞれの文の句構造を表し，各ノー ドがフレーズに対応する。 以降では便宜上, 肩付きの $s, t$ はそれぞれアラインメントの source, target を示す. 色の対応がフレーズアラインメントを示し，無色のノードはアラインメントを持たないことを示す. 例えば, オレンジのノード対 $\left.\langle\tau_{4}^{s}, \tau_{4}^{t}\right.\rangle$ は antivirus vaccines <-> vaccines against the virus というフレーズペアがパラフレーズであることを示しており，その親ノー ドである緑のノード対 $\left.\langle\tau_{2}^{s}, \tau_{2}^{t}\right.\rangle$ は子ノードであるオレンジ $\left.\langle\tau_{4}^{s}, \tau_{4}^{t}\right.\rangle$, 水色 $\left.\langle\tau_{5}^{s}, \tau_{5}^{t}\right.\rangle$ それぞれのノー ドのアラインメントによって compositional に構成されている. オレンジのノードペア $\left.\langle\tau_{4}^{s}, \tau_{4}^{t}\right.\rangle$ について, 左右の子のアラインメント $\left.\langle\tau_{6}^{s}, \tau_{6}^{t}\right.\rangle,\left.\langle\tau_{7}^{s}, \tau_{7}^{t}\right.\rangle$ は逆順になっている（(2)の特性).一方で, 青色のアラインメント $\left.\langle\tau_{1}^{s}, \tau_{1}^{t}\right.\rangle$ は緑のアラインメント $\left.\langle\tau_{2}^{s}, \tau_{2}^{t}\right.\rangle$ に対し compositionality を満たさない．なぜなら， $\tau_{1}^{t}$ と $\tau_{2}^{t}$ は兄弟であるのに対し， $\tau_{1}^{s}$ と $\tau_{2}^{s}$ は兄弟でない. つまり， $\tau_{1}^{s}$ は $\tau_{2}^{s}$ の親ノードの支配するスパンの外側に位置している。このように composionality を満た

図 1 フレーズアラインメントの例

さないフレーズアラインメントは曲者で, 子ノードのアラインメントからアラインメント先を絞り达むことができないため，文全体から対応するフレーズを探す必要がある.

本論文は，このようなフレーズアラインメント問題に真正面から取り組んたもので，二つの貢献を持つ。一つ目は, compositional なフレーズアラインメント問題を定式化し, 無順序木に対する編集距離の一種である制限距離 (Zhang 1996) アルゴリズムを用いることで，フレー ズアラインメントの最適な組み合わせを多項式時間で求める手法を提案した点である。二つ目は，フレーズ間の類似度推定の鍵となる，フレーズ表現手法を提案した点である。上述の通り， compositionality を満たさないフレーズアラインメントにおいては, 文全体からアラインメン卜候補を探す必要がある。この問題のユニークさは, フレーズのアラインメントの尤もらしさは，対象とするフレーズペアの類似度だけでは決められない点にある。つまり，あるフレーズ $\tau_{i}^{s}$ が $\tau_{i}^{t}$ と高い類似度を持っていたとしても， $\tau_{i}^{t}$ により高い類似度をもつぺア $\tau_{j}^{s}$ があれば，アラインメント $\left.\langle\tau_{i}^{s}, \tau_{i}^{t}\right.\rangle$ は成立しない。そこでそれぞれの文対に含まれる単語間類似度の分布により文全体のグローバルな類似度の分布を近似し, 事前学習済みモデルである BERT (Devlin et al. 2019) から獲得するフレーズ表現に反映するアプローチを用いた。文全体での類似度の分布を反映したフレーズ表現によってフレーズ間の類似度を求め, compositionality を満たさないフレーズアラインメントをヒューリスティックによって特定するよう, 制限距離アルゴリズムを拡張している.

フレーズアラインメントは主観的な意味の一致度合いに基づいて決まるものであり，訓練された人間であっても，複数人で $100 \%$ 一致するアライメントを行うのは難しい. 提案手法は人間によるアラインメントの一致と比較して, $95.7 \%$ という高い性能を示している.

本論文で構築した， 1,916 のパラフレーズ文対に構文木およびフレーズアラインメントのアノテーションを行ったデータセット (Extended Syntactic Phrase Alignment DAtaset (ESPADA)) が Linguistic Data Consortium より 2021 年初にリリース予定である。評価用データセットである Syntactic Phrase Alignment Dataset for Evaluation (SPADE) 1 と合わせて利用することで,教師あり学習モデルの訓練および評価が行えるようになっている.

## 3 論文ができるまで

本フレーズアラインメント手法の原型は 2017 年に発表しており (Arase and Tsujii 2017), 今回はその発展形である。その顛末について, ここで少しお話ししたい.
^{1}$ https://catalog.ldc.upenn.edu/LDC2018T09
}

## 3.1 既存手法ともやもや

2017 年版の手法は CKY アルゴリズムをベースとしてボトムアップに compositional なフレー ズアラインメントを特定するものであった．動的計画法を用いているとはいえ，どのフレーズともアラインメントしないケース (2 章で述べた (3)) を許容するのと, compoitilonality を満たさないものについては CKYテーブルを遡ってアラインメントを許容するか否かを決定するという機構のため，アライメント候補も計算量も増えてしまう，そのため実用的な時間でフレーズアラインメントを得るには, $n$-best のアラインメントのみ保持するよう近似する必要があった.

しかし，である。「最適なアラインメントの組み合わせを実時間で求めるアルゴリズムは本当にないのか？」というもやもやが頭から離れない，ありそうな気がする．正確には，この種の問題を研究する分野がありそうな気がする。しかし答えに辿り着けないまま, 2 年の歳月が過ぎた.

## 3.2 ブレイクスルー

この間, 私は ACT-I プログラム2にて, フレーズアラインメントを応用した BERTによる表現生成研究に取り組むことになる．ACT-Iには様々な分野の若手研究者が参画しており，領域会議が年に数回開催される。異分野の研究者とざっくばらんに議論ができる, 稀有な機会である.

BERT による表現生成研究がひと段落した (Arase and Tsujii 2019) 最終年度のとある領域会議で, 積年の疑問をぶつけてみた。「二つの木構造におけるノード間の対応候補から, 最適な組み合わせを得るアルゴリズムはないでしょうか？」と．するとNTTコミュニケーション科学基礎研究所の石畠正和さん, 東京大学の大城泰平さんから意見をいただけたのである。両者とも離散構造処理のエキスパートという心強い味方だ.

良い知らせと悪い知らせが一緒にやってきた，良い知らせは, この問題は木編集距離の一種であり，フレーズアラインメントの条件の一つである，子ノードの順序を制限しない（2 章で述べた (2)）ケースは無順序木の編集距離に該当する，というものである。悪い知らせは，無順序木の編集距離は近似解すら存在しない MAX SNP-hard に属する，というものであった.

ずっともやもやしていた問題の正体が分かった高揚感と，近似解すら存在しないという絶望感を抱えながら家路についた，大学に戻り，改めて無順序木における編集距離問題について調査してみた。その結果，制約を加えた無順序木編集距離である制限距離は多項式時間可解であり，そしてその制約はフレーズアラインメントの条件（2 章で述べた (1)）と自然に一致することが分かったのである.

制限距離アルゴリズムを用いることで，2017 年の手法を大きく上回るフレーズアラインメント性能を達成することができた。Compositional なアラインメントについて最適な組み合わせ
^{2}$ https://www.jst.go.jp/kisoken/act-i/index.html
}

を求められるという性能保証は応用においても重要であり, 何より気持ちがいい.

## 4 今後の展開

文対に含まれるフレーズのパラフレーズ関係を特定するフレーズアラインメントは，意味関係のモデル化を可能とする技術であり，1 章で述べたように自動採点や機械翻訳の品質推定など様々な応用を持つ．文中に含まれるパラフレーズ関係を明示的に特定するため，人間にとって解釈が容易という利点もある。

今後は開発したフレーズアラインメント技術をこれら応用タスクに適用する予定である。自動採点のように，パラフレーズとなるフレーズが僅かしか存在しないと考えられるタスクでフレーズアラインメントを用いるには，フレーズ間の類似度推定の重要度が増すと考えられ，更なる改善が必要である。また機械翻訳の品質推定のように言語をまたぐタスクに適用するには,句構造の違いにロバストなアラインメントを実現しなければならない. 木でなく森のアラインメントを実現する, さらには構文解析器に依存しないチャンクでのアラインメントを可能とするよう，手法の拡張に取り組んでいきたい.

## 参考文献

Arase, Y. and Tsujii, J. (2017). "Monolingual Phrase Alignment on Parse Forests." In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1-11.

Arase, Y. and Tsujii, J. (2019). "Transfer Fine-Tuning: A BERT Case Study." In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5392-5403.

Arase, Y. and Tsujii, J. (2020). "Compositional Phrase Alignment and Beyond." In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1611-1623, Online.

Burkett, D., Blitzer, J., and Klein, D. (2010). "Joint Parsing and Alignment with Weakly Synchronized Grammars." In Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 127-135, Los Angeles, California. Association for Computational Linguistics.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the Annual Conference of the North American Chapter of the Association for Computational Linguistics:

Human Language Technologies (NAACL-HLT), pp. 4171-4186.

Heilman, M. and Smith, N. A. (2010). "Tree Edit Models for Recognizing Textual Entailments, Paraphrases, and Answers to Questions." In Proceedings of the Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 1011-1019.

Ouyang, J. and McKeown, K. (2019). "Neural Network Alignment for Sentential Paraphrases." In Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL), pp. 4724-4735.

Socher, R., Perelygin, A., Wu, J., Chuang, J., Manning, C. D., Ng, A., and Potts, C. (2013). "Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank." In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1631-1642.

Tai, K. S., Socher, R., and Manning, C. D. (2015). "Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks." In Proceedings of the Joint Conference of the Annual Meeting of the Association for Computational Linguistics and the International Joint Conference on Natural Language Processing (ACL-IJCNLP), pp. 1556-1566.

Zhang, K. (1996). "A Constrained Edit Distance between Unordered Labeled Trees." Algorithmica, 15 (3), pp. 205-222.

## 略歴

荒瀬由紀：2006 年大阪大学工学部電子情報エネルギー工学科卒業. 2007 年同大学院情報科学研究科博士前期課程, 2010 年同博士後期課程修了. 博士（情報科学)．同年, Microsoft Research Asia に入社, 自然言語処理に関す石研究開発に従事. 2014 年より大阪大学大学院情報科学研究科マルチメディア工学専攻准教授, 現在に至る。言い換え表現抽出, 機械翻訳技術, 対話システ么研究に興味を持つ.