大規模言語モデルを用いたシフト還元型句構造解析

句構造解析は自然言語処理の基盤タスクの一つであり，古くから研究が続けられている[1,2]．句構造木では終端記号は単語，非終端記号はそれが支配する構成素(句)の役割をあらわす．図1に例を示す．WallStreetJournalに句構造のアノテーションを与えたPennTreebank(PTB)[3]をベンチマークデータセットとして，これまでに様々な解析手法が提案されてきた．初期の研究では，人間が考案した特徴を用い，CKY法[4]，シフト還元法[5]などといった句構造木を導出するためのアルゴリズムが利用されていた．近年では，特徴抽出に単語埋め込みベクトルに基づくエンコーダを利用することで，これらの手法の性能は大きく改善された[6,7]．一方，LSTMやTransformerなどのエンコーダデコーダモデルを用いて入力系列を別の系列へと変換するsequence-to-sequence(seq2seq)モデルは，いわゆる機械翻訳や自動要約などの言語生成タスクで顕著な結果を残した[8,9]．seq2seqモデルはこうした言S.VPNPCCNNSVBDSVPVBGButstocksfallingkept.TreebankWSJ_2300より)．なお，解析器の学習には等価な