大規模言語モデルベースの日本語固有表現抽出における

1.1本研究の背景と動機NERとは，文章の中から特定の名前（組織名，人名など）や属性（日時，金額など）を抽出するタスクである．この技術はWebサービスにおける，記事のタグ付け，検索やレコメンド精度の向上，情報抽出業務の自動化などに応用できる．さらに，セキュリティ分野における個人情報検知や金融業界における市場予測などにも使われている．また，生成AIの高度化技術であるGraphRAG[1]の基盤となる知識グラフの構築にも利用されている．これらのことから，NERの精度向上は産業界全般において大きなインパクトとなると考えられる．1.2本研究が解決する問題高精度のNER手法の一つにDeBERTa[2]などのTransformerのエンコーダーモデルを用いた手法が挙げられる．この手法では，教師ありファインチューニング（SupervisedFine-Tuning:SFT）を行うことによって高い精度を達成している．しかし，高い精度を出すためには数千程度の潤沢な学習データが必要であり，これは実応用上の大きな課題である．例えば，新しいタイプの固有表現を追加する場合は，その都度SFTのためにデータ収集を行う必要があり，時間的，人的コスト上実施できない場合が多い．一方，デコーダー系のLLMはSFTを用いずにNERタスクに対応可能である．これは，入力テキストに対して実行すべきタスクを自然言語で記述するだけで，モデルが直接的に結果を生成できるためである．そのため，固有表現の種類を追加する際にも柔軟に対応できる利点がある．しかし，その精度は大量の学習データを用いてSFTを施したエンコーダーモデルよりも劣ることが知られている．[3]そこで，本研究ではSFTを用いずに高精度なLLMベースのNERを行うべく，Self-Reflectionを導入することを考えた．Self-ReflectionはLLMが自身の行なったタスクを評価し，悪い結果である場合，反省点を踏まえて再実行するといった枠組みである．[4]これは，SFTによるLLM自体のパラメーター更新なしにタスクの精度向上を狙える手法である．1.3本研究の貢献Self-Reflectionを導入することで，既存のデータセットを用いたGPT-4oによるNERタスクにおいて，F1-Scoreが77.6%から78.0%へと0.4ポイント改善した．さらに，Few-Shot学習と組み合わせることで78.6%から80.2%へと1.6ポイント改善した．これらの結果は，Self-Reflectionが日本語NERタスクに対して有効であることを示唆している．また本研究は，Self-Reflectionを用いた日本語NER精度向上の初めての体系的検証である．そのため，4.3項および4.4項に記載した課題および今後の展望は，LLMベースの日本語NERの精度向上に向けた指針となり，実応用上においても有用であると考えられる．.