大規模言語モデルによるシフト還元修辞構造解析の模倣

事前学習済み言語モデルは，エンコーダのみのモデルであるBERT[1]，DeBERTa[2]，エンコーダ・デコーダモデルであるBART[3]，T5[4]，デコーダのみのモデルであるGPT-3[5]，Llama2[6]など様々なモデルが提案されており，後者2つのモデルの学習データ量とパラメータ数の大規模化が顕著である．特にデコーダのみの事前学習済み言語モデルについては，数兆トークンのテキストデータを用い，数十，数百億のパラメータで学習されたモデル(以降，LLM)が公開され，言語生成を伴うタスクのみならず様々な自然言語処理タスクにおいてその有効性が実証されている．しかし，これまでのところ修辞構造解析という比較的困難なタスクにおける有効性を検証した研究はない．事前学習済み言語モデルの研究の焦点がほぼLLMへとシフトした現状において，修辞構造解析へのLLM活用の模索は，今後の研究の方向性を考える上で興味深い．本稿では，従来から提案されているシフト還元法に基づく修辞構造解析を，プロンプトを介しLLMで模倣する手法1）を1）より単純には，系列変換タスクとして捉え，入力テキストを線形化した木へと変換する手法がある．しかし，文書を入N-SElaborationN-SN-NElaborationSame-Unite3e6S-NN-SAttributionElaboratione1e2e4e5e1:[WestinghouseElectricCorp.said],e2:[itwillbuyShaw-WalkerCo.],e3:[Termsweren'tdisclosed.],e4:[Shaw-Walker,],e5:[basedinMuskegon,Mich.,],e6:[makesmetalfilesanddesks,andseatingandofficesystemsfurniture.].提案する．具体的にはシフト，還元という解析動作を，QLoRA[7]を用いて微調整を行ったLlama2[6]で決定することで木構造を推定する．標準的ベンチマークデータセットであるRSTDiscourseTreebank(RST-DT)[8]を用いた評価実験では，提案法が世界最高性能を達成し，GUMコーパス[9]を用いたテキストドメイン汎化性の検証においても提案法が優れていることを確認した．これらの結果は，修辞構造解析にLLMを利用する価値が十分あることを示しており，その活用を促進するものと考える．ただし，解析に要する時間が非常に長いという致命的な問題点も同時に浮き彫りとなった．