信頼性のあるAIシステムの実現には精度だけでなく，予測の不確実性や説明性が必要である．予測の不確実性の推定は，分類を人に委ねるかの意思決定に役立つ．しかし，不確実性の高い文章の中に分類容易な文章が多いと，人はAIに不信感を抱く.そこで，分類タスクにおけるBERTモデルの予測の不確実性を軸に，文章傾向と精度を調査する．3つの分類タスクで実験をおこない，予測の不確実性の高い文章には精度が低く，分類困難な要因が多く存在することを示す．

信頼されるAIシステムは，金融や医療など，人命や損害をともなう応用先で利用される．AIの信頼性の研究は，説明性や予測の不確実性が中心である[1]．予測の不確実性は，確率モデリングのベイズ推論をもとに推定されてきた[2]．自然言語処理と予測の不確実性の研究は，分布外検知[1]，文章要約の高品質化[3]，能動学習[4]といった品質・安全・効率化で取り組まれている．信頼されるAIシステムの実現には，誤分類リスクが高い文章の傾向を調査する必要がある．人とAIの協調では，誤分類リスクの高い文章は，人間に判断を委ねる安全な設計をする[5].人は誤分類が多いとAIシステムを信頼せず，システムから離脱する.しかし，人とAIの協調後も同様に，システムから離脱する恐れがある．それは，誤分類リスクの高い文章が人間にとって自明な文章が多いときである．したがって，私たちは，誤分類リスクの高い文章に分類困難な文章が多く含まれることを期待する．ここで，予測モデルの分類困難な文章は，訓練データ不足，クラス被覆，データバイアス，外れ値の文章を指す．私たちは，誤分類リスクに予測の不確実性を用い，不確実性の高い文章傾向を調査する．先の予測モデルの分類困難な傾向は，予測の不確実性が高いときのみ顕著に存在し，精度が低い文章傾向とする．本研究の目的は，不確実性の高い文章中から分類困難な傾向を特定できるのか，また，どの程度存在するのかを明らかにする．予測の不確実性は，モデルの不確実性とデータの不確実性に分けられ，それぞれで調査する．データの不確実性は分類境界上で不確実性が高く，モデルの不確実性は訓練データ分布外で高くなるとされる[6]．実験は，事前学習済みモデルBERT[7]を用い，代表タスクとして，ネガポジ判定を2種類とニュース分類を1種類おこなう．以下に本研究の貢献を示す．•3つの不確実性において，データの不確実性が誤分類リスクと最も関係があることを示す．•ネガポジ判定では，データの不確実性から，ネガポジ両方の感情を含むハードサンプルやデータノイズを含む6つの傾向を特定し，モデルの不確実性から，低頻度・未知語や皮肉を含む5つの傾向を特定する．•定量化可能な不確実性の高い文章傾向の7種類中5種類は分類困難な要因であることを示す．