単一のテキストに複数のラベルを付与するマルチラベルテキスト分類は、自然言語処理で重要なタスクの一つであるが、大きな課題としてラベルの出現頻度が不均衡であることが挙げられる。学習データ中にあまり出現しない低頻度ラベルは、ポジティブサンプル数が極端に少なく、ほとんどの入力がネガティブサンプルである。そのため、モデルは低頻度ラベルをほとんどネガティブサンプル由来の損失から学習することになる。本研究では、ラベルの共起重みと出現頻度重み、ネガティブサンプル由来の損失値を抑制する重みを組み合わせる手法を提案する。実験の結果、Reuters-21578では、micro-F1で0.911とSOTAを上回る性能を達成した。

マルチラベルテキスト分類(MLTC)は、自然言語処理の中でも重要な課題の一つであり、今日実世界の様々な場面で適用されている。たとえば、法律文書の分類[1]、カルテによる自動診断[2]が挙げられる。MLTCでは文書𝑥𝑖∈𝑋に対して、事前に定義されたラベルから適切なラベルのサブセット𝑦𝑖∈{0,1}𝐶を付与するタスクである[3,4]。なお、ここで𝑋は文書の集合であり、𝐶は事前に定義されたラベルの総数である。MLTCにおいてベンチマークとして広く利用されているReuters-21578[5]のデータのサンプルを図1に示す。MLTCの特徴として、ラベルの頻度がロングテール分布に従う不均衡データセットが挙げられる。一例として、図2にReuters-21578の各ラベルの頻度分布を示す。図2が示すとおり、低頻度ラベルはポジティブサンプルから学習することは稀であり、殆どの場合ネガティブのサンプルから学習する。これは、Imbalancedlearningと呼ばれ、機械学習の分類問題における大きな課題の一つである[6,7]。この課題を解決するために、画像分類分野では損失値に重み付けを行うような様々な損失関数手法が提案されている[8,9,10]。さらに、これらの手法は自然言語処理分野にも流用され、効果を発揮している[11]。本研究では、ラベルの共起情報をもとにした重みとラベルの頻度から構成された重み、ネガティブサンプルの影響を軽減する重みを組み合わせ、不均衡データセットの影響を抑制するような損失関数を提案する。