分類タスクにおける不確実性の高い文章の傾向調査

信頼されるAIシステムは，金融や医療など，人命や損害をともなう応用先で利用される．AIの信頼性の研究は，説明性や予測の不確実性が中心である[1]．予測の不確実性は，確率モデリングのベイズ推論をもとに推定されてきた[2]．自然言語処理と予測の不確実性の研究は，分布外検知[1]，文章要約の高品質化[3]，能動学習[4]といった品質・安全・効率化で取り組まれている．信頼されるAIシステムの実現には，誤分類リスクが高い文章の傾向を調査する必要がある．人とAIの協調では，誤分類リスクの高い文章は，人間に判断を委ねる安全な設計をする[5].人は誤分類が多いとAIシステムを信頼せず，システムから離脱する.しかし，人とAIの協調後も同様に，システムから離脱する恐れがある．それは，誤分類リスクの高い文章が人間にとって自明な文章が多いときである．したがって，私たちは，誤分類リスクの高い文章に分類困難な文章が多く含まれることを期待する．ここで，予測モデルの分類困難な文章は，訓練データ不足，クラス被覆，データバイアス，外れ値の文章を指す．私たちは，誤分類リスクに予測の不確実性を用い，不確実性の高い文章傾向を調査する．先の予測モデルの分類困難な傾向は，予測の不確実性が高いときのみ顕著に存在し，精度が低い文章傾向とする．本研究の目的は，不確実性の高い文章中から分類困難な傾向を特定できるのか，また，どの程度存在するのかを明らかにする．予測の不確実性は，モデルの不確実性とデータの不確実性に分けられ，それぞれで調査する．データの不確実性は分類境界上で不確実性が高く，モデルの不確実性は訓練データ分布外で高くなるとされる[6]．実験は，事前学習済みモデルBERT[7]を用い，代表タスクとして，ネガポジ判定を2種類とニュース分類を1種類おこなう．以下に本研究の貢献を示す．•3つの不確実性において，データの不確実性が誤分類リスクと最も関係があることを示す．•ネガポジ判定では，データの不確実性から，ネガポジ両方の感情を含むハードサンプルやデータノイズを含む6つの傾向を特定し，モデルの不確実性から，低頻度・未知語や皮肉を含む5つの傾向を特定する．•定量化可能な不確実性の高い文章傾向の7種類中5種類は分類困難な要因であることを示す．