デコーダLLMは、要約、質問応答、論理推論など、幅広い自然言語タスクに適応できる汎用的な能力を有している。しかしながら、デコーダLLMの汎用性は、学習時と推論時の両方で自己回帰的トークン生成が課す制約により、固有表現認識（NER）、関係抽出（RE）、イベント抽出などの構造予測タスクにおいて高い性能を出すことが難しい。本論文は、注意機構に焦点を当て、教師付きラベルを用いた識別的アプローチを採用することで、構造予測タスクにおけるLLMの弱点を解決することを目的とする。具体的には、訓練時と推論時の両方で因果的注意マスクを除去することで、この弱点を克服できることを実証する。実験結果から、前述の手法と適切なLoRA（低ランク適応）設定で微調整したデコーダLLMが、BC5CDRおよびCoNLL2003NERタスクにおいてSOTAエンコーダモデルを上回る性能を発揮することが示された。

NERは従来、BIOなどのタグ付け方式を用いた系列ラベリング課題として扱われ、トークン分類を通じてエンティティのスパン検出と分類を行う。したがって、各トークンをその前後文脈を用いて正しく分類することが極めて重要である。BERTなどのエンコーダ専用モデルは、マスクされたトークンをその前後文脈から推定するよう訓練されるため、学習されたトークン表現はNERなどのトークン分類課題に極めて適している。一方、デコーダLLMは、因果マスクを用いた自己回帰的なテキスト生成で訓練される。その結果、学習されたトークン表現には各トークンの右側文脈に関する情報が含まれない。しかしながら、膨大なテキストで訓練されたデコーダLLMは、指示プロンプトを用いて様々な課題を解決でき、複数のタスクにわたって優れた能力を発揮する。しかし、エンティティスパンの正確な抽出とエンティティタイプの分類を必要とするNERなどの構造予測タスクにおいて、デコーダLLMを用いた生成による解決手法は十分な性能を示していない。我々の研究課題への問いは以下の通りである：事前学習済みデコーダLLMから因果的注意機構を除去しエンコーダモデルとして微調整した場合、NERタスクにおいてSOTAエンコーダ専用モデルと同等またはそれ以上の性能を達成できるか？それが可能な場合、デコーダLLMのパラメータはどれくらい必要であるか？また、性能はモデルサイズの増加に伴い向上するか？これらの問いに答えるため、因果的注意マスクを除去したデコーダLLMの性能を、ベースラインとなるエンコーダモデルの性能と比較する実験を実施した。実験では、Gemma、Qwen2.5、Llama3.1、Llama3.2の4つのモデルファミリーから、様々なパラメータサイズのデコードを7つ選択した。実験結果から、前述の手法と適切なLoRA設定で微調整されたデコーダLLMは、SOTAエンコーダモデルを上回る性能を発揮することが示された。