Transformerデコーダモデルを利用した日本語意味役割において，特徴量抽出位置およびAttentionMaskの形状が与える影響

2018年にTransformerが登場して以来，自然言語処理は飛躍的な進歩を遂げてきた．このTransformerは，エンコーダとデコーダの二つの構造を有しており，それぞれ異なるタスクで活用されている．エンコーダを基盤としたモデルは，感情分析[1]や名前付きエンティティ認識（NER）[2]といった分類タスクに広く利用されている一方，デコーダを基盤とするモデルは，対話システム[3]やQAシステム[4]などの生成タスクにおいて活用されている．2022年には，デコーダモデルを基盤とする対話システム「ChatGPT」が登場し，それを契機に大規模言語モデル（LLM:LargeLanguageModel）の開発が加速した．これらのモデルの多くは，GPT-NeoXやLlamaなどのデコーダアーキテクチャを採用しており，対話やQAシステムのみならず，画像生成[5]やRAG（Retrieval-AugmentedGeneration）[6]といった様々な応用分野でも成果を上げている．一方，意味役割付与（SRL:SemanticRoleLabeling）の領域では，依然としてエンコーダモデルが主要な役割を果たしている．意味役割付与とは，文中の述語を中心に，「いつ」「どこで」「誰が」「何を」といった関連性のあるトークン列を推測し，それに適切なラベルを付与するタスクである．この分野では，BERT[7,8]やRoBERTa[9]など，エンコーダモデルを用いた先行研究が数多く存在する．現在，豊富な知識を内包するLLMを活用することで，より高精度な意味役割付与が期待されている．本研究では，デコーダモデルを用いた意味役割付与の精度向上を目指し，特徴量の位置およびAttentionMaskの形状が与える影響について検討する．