Transformerデコーダモデルを利用した日本語意味役割において，特徴量抽出位置およびAttentionMaskの形状が与える影響

2022年のChatGPT登場以降，多くの大規模言語モデルが提供されているが，それらの多くがTransformerのデコーダモデルを採用している．一方，意味役割付与タスクでは依然としてTransformerエンコーダモデルが主導している現状がある．本研究では，Transformerデコーダモデルを利用した日本語意味役割付与タスクにおいて，精度向上に寄与する特徴量の位置およびAttentionMaskの形状を検討し，ベースラインモデルとの比較実験を行った．EOS，LA，PS，PS-Attn.の4つの手法を提案し，PSとPS-Attn.でベースラインモデルと比較してF1値における大幅な精度の向上を示した．