ラベルノイズに頑健なDualEncoder学習:大規模マルチラベル分類における自己推定型損失重み付け

大規模なラベル空間を扱う大規模マルチラベル分類（ExtremeMulti-labelClassiﬁcation;XMC）は，商品カテゴリ予測[1]や法務・医療文書へのタグ付与[2,3]など広く応用されている．XMCにおけるラベル分布は典型的なロングテール分布を示し，大多数のラベルは出現頻度が低い．これら低頻度ラベルの正確な予測は，医療分野の希少疾患の診断コード付与や，電子商取引のニッチ商品の推薦など，実応用上重要である．Guptaら[4]はDecoupledSoftmaxと呼ばれる対照学習でdualencoderベースの分類モデルを学習させることで高い分類精度を示すことを報告した．しかしながら，XMCは人手による完全なアノテーションが困難であり，一定のラベルノイズが含まれることは避けられない[5,6]．誤ったラベルの付与や必要なラベルの欠損はモデルの学習を阻害する要因となる[7]．ノイズに対処するため，GeneralizedCrossEntropy(GCE)[8]は損失の大きさに依存してノイズを判定し，学習への影響を下げる．XMCには出現頻度が極端に低いラベルや抽象度が高いラベルなど，モデルが確信を持ちにくい学習困難な正例が少なからず存在する．そのため，GCEは「真のラベル」と「ノイズ」を区別できず，確信度が低い事例をノイズとして学習してしまう．本研究は学習中のモデル自身の予測を用いてラベルノイズを自己推定し，DecoupledSoftmaxを頑健化する手法を提案する．本手法は「モデルの予測確信度」と「ラベル間の意味的類似性」の2つの観点から損失におけるラベルの重要度を適応的に制御する．具体的には，1)正例ラベルに対して学習がある程度進んだモデルが低い確信度を示すほど，これを偽陽性の疑いが強いと判断し，損失の重みを小さくして学習への悪影響を抑える．2)負例ラベルに対して正例ラベルと意味的に類似しているほど，偽陰性の疑いがあると判断する．こうしたラベルに対する重みを正例との類似度に応じて減衰することで類似ラベルの学習阻害を防ぐ．XMCで標準的に用いられるEURLEX-4KおよびLF-Amazon-131Kに対して人工的なラベルノイズを注入したデータセットを用いた実験では，提案手法が比較手法に対して精度(P@1)および頻度バイアスを除去した精度(PSP@1)を改善させることを確認した．また，学習後の正例ラベルおよび負例ラベルに対する重み分析により，提案手法が正例・負例それぞれのノイズを適切に判別し，学習への影響を抑制していることを明らかにした．