データ拡張による固有表現抽出の不確実性推定

固有表現抽出(NamedEntityRecognition;NER)は，テキストから人名や組織名などの固有表現を抽出する，自然言語処理における基礎的なタスクの一つである．自然言語処理タスクは深層学習（DeepNeuralNetworks;DNNs）によって大きな成功を得ており，その中でもBERT[1]やDeBERTa[2]を始めとした事前学習済みモデル(Pre-trainedLanguageModels;PLMs)に基づいた手法が，NERも含めて強力なベースラインとなっている．しかし，一般的にPLMsを含むDNNsは図1のように，モデルの出力する確信度が実際の正解率と乖離している傾向にある[3]．この問題により，DNNsは高い確信度での誤った予測の出力をしばしば引き起こすため，医療や金融のような誤りに対するコストが大きい領域でのDNNsの適用が制限される．このような問題に対処するため，自然言語処理における様々な領域で不確実性をより正しく推定するた1.0In-domainOut-of-domain0.80.6Accuracy0.40.20.00.00.20.40.60.81.0ConfidenceTaV3による固有表現抽出の信頼度プロット1）．対角線は，確信度と正解率が完全に一致していることを示す．めの研究が進んでいる[4,5]．しかし，これらの研究ではMCDropout[6]やBayesianNeuralNetworks[7]のような1つのデータインスタンスに対して複数回の予測を行う必要がある手法が用いられており，その推論コストは莫大になるため実用的ではないという問題がある．そこで，我々はデータ拡張に着目する．コンピュータビジョン領域では，データ拡張はモデルを入力に対してロバストにするため，不確実性推定の改善につながることが報告されている[8,9]．さらにデータ拡張自体はモデル構造を変えないため，推論時間の増加を伴うことなく不確実性推定が改善されると期待される．データ拡張はNERにも適用されているが[10,11]，低資源設定における汎化性能の観点に限定されているものが多い．本研究では，NERにおけるデータ拡張が不確実性推定に与える影響を，ジャンル横断および言語横断の設定において調査した．その結果，我々の実験からいくつかの知見が得られた．第一に，NERにおけ1）分布内および分布外のデータは，それぞれOntoNotes5.0のbnおよびtcである．.るデータ拡張は多くの場合不確実性の推定性能の改善につながる．特に，文脈に応じてエンティティを新しく生成するMaskedEntityLanguageModeling(MELM)[11]や，エンティティを学習データ内の同じエンティティタイプのエンティティで置換するMentionReplacement(MR)[10]により不確実性の推定性能が改善した．第二に，データ拡張によって生成された文のPerplexityが低いほど，データ拡張サイズを増やしたときにさらに不確実性の推定性能が改善することが判明した．