構造予測のための因果的注意機構を無効化したラベル付き教師ありLLMの微調整手法

NERは従来、BIOなどのタグ付け方式を用いた系列ラベリング課題として扱われ、トークン分類を通じてエンティティのスパン検出と分類を行う。したがって、各トークンをその前後文脈を用いて正しく分類することが極めて重要である。BERTなどのエンコーダ専用モデルは、マスクされたトークンをその前後文脈から推定するよう訓練されるため、学習されたトークン表現はNERなどのトークン分類課題に極めて適している。一方、デコーダLLMは、因果マスクを用いた自己回帰的なテキスト生成で訓練される。その結果、学習されたトークン表現には各トークンの右側文脈に関する情報が含まれない。しかしながら、膨大なテキストで訓練されたデコーダLLMは、指示プロンプトを用いて様々な課題を解決でき、複数のタスクにわたって優れた能力を発揮する。しかし、エンティティスパンの正確な抽出とエンティティタイプの分類を必要とするNERなどの構造予測タスクにおいて、デコーダLLMを用いた生成による解決手法は十分な性能を示していない。我々の研究課題への問いは以下の通りである：事前学習済みデコーダLLMから因果的注意機構を除去しエンコーダモデルとして微調整した場合、NERタスクにおいてSOTAエンコーダ専用モデルと同等またはそれ以上の性能を達成できるか？それが可能な場合、デコーダLLMのパラメータはどれくらい必要であるか？また、性能はモデルサイズの増加に伴い向上するか？これらの問いに答えるため、因果的注意マスクを除去したデコーダLLMの性能を、ベースラインとなるエンコーダモデルの性能と比較する実験を実施した。実験では、Gemma、Qwen2.5、Llama3.1、Llama3.2の4つのモデルファミリーから、様々なパラメータサイズのデコードを7つ選択した。実験結果から、前述の手法と適切なLoRA設定で微調整されたデコーダLLMは、SOTAエンコーダモデルを上回る性能を発揮することが示された。