本研究では，固有表現抽出タスクにおけるデータ拡張が不確実性推定に与える影響について調査する．医療や金融のような高い安全性が求められる領域では，予測結果が正しいだけではなく，その信頼度が高い必要がある．しかし，事前学習済みモデルを含む深層学習モデルはしばしば実際の正解率と乖離した確信度を出力するため，それらの領域への適用が妨げられている．また，その問題に対応する既存手法は推論コストが高い．我々は，ジャンル横断および言語横断の設定にて，固有表現抽出におけるデータ拡張が不確実性の推定性能に与える影響を調査した．その結果，データ拡張は多くの場合不確実性の推定性能を向上させ，データ拡張によって生成した文のPerplexityが低い場合はデータ拡張サイズを増やすことで，さらに不確実性の推定性能が改善することが判明した．

固有表現抽出(NamedEntityRecognition;NER)は，テキストから人名や組織名などの固有表現を抽出する，自然言語処理における基礎的なタスクの一つである．自然言語処理タスクは深層学習（DeepNeuralNetworks;DNNs）によって大きな成功を得ており，その中でもBERT[1]やDeBERTa[2]を始めとした事前学習済みモデル(Pre-trainedLanguageModels;PLMs)に基づいた手法が，NERも含めて強力なベースラインとなっている．しかし，一般的にPLMsを含むDNNsは図1のように，モデルの出力する確信度が実際の正解率と乖離している傾向にある[3]．この問題により，DNNsは高い確信度での誤った予測の出力をしばしば引き起こすため，医療や金融のような誤りに対するコストが大きい領域でのDNNsの適用が制限される．このような問題に対処するため，自然言語処理における様々な領域で不確実性をより正しく推定するた1.0In-domainOut-of-domain0.80.6Accuracy0.40.20.00.00.20.40.60.81.0ConfidenceTaV3による固有表現抽出の信頼度プロット1）．対角線は，確信度と正解率が完全に一致していることを示す．めの研究が進んでいる[4,5]．しかし，これらの研究ではMCDropout[6]やBayesianNeuralNetworks[7]のような1つのデータインスタンスに対して複数回の予測を行う必要がある手法が用いられており，その推論コストは莫大になるため実用的ではないという問題がある．そこで，我々はデータ拡張に着目する．コンピュータビジョン領域では，データ拡張はモデルを入力に対してロバストにするため，不確実性推定の改善につながることが報告されている[8,9]．さらにデータ拡張自体はモデル構造を変えないため，推論時間の増加を伴うことなく不確実性推定が改善されると期待される．データ拡張はNERにも適用されているが[10,11]，低資源設定における汎化性能の観点に限定されているものが多い．本研究では，NERにおけるデータ拡張が不確実性推定に与える影響を，ジャンル横断および言語横断の設定において調査した．その結果，我々の実験からいくつかの知見が得られた．第一に，NERにおけ1）分布内および分布外のデータは，それぞれOntoNotes5.0のbnおよびtcである．.るデータ拡張は多くの場合不確実性の推定性能の改善につながる．特に，文脈に応じてエンティティを新しく生成するMaskedEntityLanguageModeling(MELM)[11]や，エンティティを学習データ内の同じエンティティタイプのエンティティで置換するMentionReplacement(MR)[10]により不確実性の推定性能が改善した．第二に，データ拡張によって生成された文のPerplexityが低いほど，データ拡張サイズを増やしたときにさらに不確実性の推定性能が改善することが判明した．