固有表現抽出タスクの形式の学習と様々なドメインへの適用

MUC-6[1]で定義されるような，人名や地名など一般的なカテゴリを対象とした従来のNERタスクに対しては，すでに高い精度を達成するモデルが存在する．しかし，一般のドメインだけでなく，特定のドメインやラベルを対象とするNERのニーズも多い[2]．例えば新聞社では，「首相動静1）」のような特定のコンテンツにおいて，政治家名のみを抽出するといったニーズがある．こうした要求を満たすためには，従来のように大量の教師データを用いた学習が必要となるが，データの作成コストが大きいという課題がある．近年，GPT-4[3]をはじめとするLLMの有用性が自然言語処理のさまざまなタスクで示されているが，データが豊富にある領域のNERにおいては従来モデルに精度で劣る場合がある[4]．大規模な訓練データを用意できない環境で特定のドメインやラベル設定が必要な状況では，LLMによるFew-shot推論は有用となり得るが，Few-shot推論のみでは十分な精度が得られないケースも存在する．1）https://www.asahi.com/rensai/list.html?id=256既存のNERデータセットプロンプトNERモデルインストラクションデータNERラベル付き出力LLMFew-shot推論ファインチューニングNERタスクを解く形式の学習特定のドメインに適用インストラクションデータを作成してLLMをファインチューニングし，タスク形式を学習させる．その後，少量のデータをFew-shotで与えることで，特定のドメイン・ラベルへの適用を図る．そこで本研究では，特定のドメインやラベルそのものを事前に学習するのではなく，LLMに「NERタスクの形式」を学習させることを目的とする．具体的には，既存の複数のNERデータセットを組み合わせてインストラクションデータを作成し，それを用いてLLMをファインチューニングする．このようにしてNERタスク全般を解く知識・形式を事前に学習したモデルを用いると，新たなドメインやラベルに対しFew-shotのみで推論ができる．図1に提案法の概要を示す．実験では，既存の複数のNERデータセットを組み合わせてインストラクションデータを作成し，LLMをファインチューニングした．その後，インストラクションデータには含まれていない2種類のデータセットに対してFew-shot推論を行い，NERタスクの形式の学習による効果を検証した．