構造予測のための因果的注意機構を無効化したラベル付き教師ありLLMの微調整手法

デコーダLLMは、要約、質問応答、論理推論など、幅広い自然言語タスクに適応できる汎用的な能力を有している。しかしながら、デコーダLLMの汎用性は、学習時と推論時の両方で自己回帰的トークン生成が課す制約により、固有表現認識（NER）、関係抽出（RE）、イベント抽出などの構造予測タスクにおいて高い性能を出すことが難しい。本論文は、注意機構に焦点を当て、教師付きラベルを用いた識別的アプローチを採用することで、構造予測タスクにおけるLLMの弱点を解決することを目的とする。具体的には、訓練時と推論時の両方で因果的注意マスクを除去することで、この弱点を克服できることを実証する。実験結果から、前述の手法と適切なLoRA（低ランク適応）設定で微調整したデコーダLLMが、BC5CDRおよびCoNLL2003NERタスクにおいてSOTAエンコーダモデルを上回る性能を発揮することが示された。