言語処理学会 第29回年次大会 発表論文集 (2023年3月)

マルチラベル分類のための重みつき非対称損失関数
安田有希 宮﨑太郎 後藤淳
日本放送協会 放送技術研究所{yasuda.y-hk,miyazaki.t-jw,goto-j.fw}@nhk.or.jp

概要
単一のテキストに複数のラベルを付与するマルチラベルテキスト分類は、自然言語処理で重要なタスクの一つであるが、大きな課題としてラベルの出現頻度が不均衡であることが挙げられる。学習データ中にあまり出現しない低頻度ラベルは、ポジティブサンプル数が極端に少なく、ほとんどの入力がネガティブサンプルである。そのため、モデルは低頻度ラベルをほとんどネガティブサンプル由来の損失から学習することになる。本研究では、ラベルの共起重みと出現頻度重み、ネガティブサンプル由来の損失値を抑制する重みを組み合わせる手法を提案する。実験の結果、Reuters-21578 では、micro-F1 で0.911 と SOTA を上回る性能を達成した。

1

はじめに

マルチラベルテキスト分類 (MLTC) は、自然言語処理の中でも重要な課題の一つであり、今日実世界の様々な場面で適用されている。たとえば、法律文書の分類 [1]、カルテによる自動診断 [2] が挙げられる。MLTC では文書 𝑥 𝑖 ∈ 𝑋 に対して、事前に定義されたラベルから適切なラベルのサブセット
𝑦 𝑖 ∈ {0, 1}𝐶 を付与するタスクである [3, 4]。なお、
ここで 𝑋 は文書の集合であり、𝐶 は事前に定義されたラベルの総数である。MLTC においてベンチマークとして広く利用されている Reuters-21578[5]のデータのサンプルを図 1 に示す。

図1

Reuters-21578 のデータ例

図2

Reuters-21578 におけるラベル分布

MLTC の特徴として、ラベルの頻度がロングテール分布に従う不均衡データセットが挙げられる。一例として、図 2 に Reuters-21578 の各ラベルの頻度分布を示す。図 2 が示すとおり、低頻度ラベルはポジティブサンプルから学習することは稀であり、殆どの場合ネガティブのサンプルから学習する。これは、Imbalanced learning と呼ばれ、機械学習の分類問題における大きな課題の一つである [6, 7]。
この課題を解決するために、画像分類分野では損失値に重み付けを行うような様々な損失関数手法が提案されている [8, 9, 10]。さらに、これらの手法は自然言語処理分野にも流用され、効果を発揮している [11]。本研究では、ラベルの共起情報をもとにした重みとラベルの頻度から構成された重み、ネガティブサンプルの影響を軽減する重みを組み合わせ、不均衡データセットの影響を抑制するような損失関数を提案する。

2

関連研究

Class-Balanced Loss (CBL)[8] は、データセット内の各ラベルの出現数に反比例する重みを構築して損失値に重み付けする手法である。つまり、出現数の多いラベルの損失値ほど抑制されるような重みを構築するため、各ラベル間での損失値のバランスが調整される。しかしながら、CBL では同一のラベルにおけるポジティブサンプル由来の損失とネガティブサンプル由来の損失のバランスは考慮されない。マ― 831 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

ルチラベル分類では、ラベル空間が大きいタスクを取り扱うことも多いため、学習サンプルにおいてモデルが計算する損失値のほとんどが、ネガティブラベル由来の損失値である。つまり、ラベル間の重み調整だけでは偏ったネガティブサンプルの影響を取り除けず、ポジティブサンプルに対しても意味のある学習が難しくなってしまう。
この課題を解決するために Distribution-Balanced
Loss (DBL)[9] が 提 案 さ れ て い る。DBL は、損 失値を調整する重みと Negative-Tolerant Regularization(NTR) 手法を統合して構成される。重みはバッチ内のラベル出現数の逆数とデータ全体のラベル出現数の逆数の比を求めることで算出される。また、NTRはモデルの出力からその逆数とハイパーパラメータによって算出される値を引くことによってネガティブサンプルの学習を抑制することを実現している。
すなわち、モデルの出力が一定の値を下回ると急激に損失値を低下させることができる。ただし、DBL

図 3 本研究における提案手法の概要図

では学習のために事前定義しなければならないハイパーパラメータが非常に多く、データ量が多い傾向にある MLTC では探索のコストが非常に高い。
学習中のネガティブサンプルの影響を緩和するための別の手法として、非対称的な形を持った重みをう一面的な観点でしか重みが構築されていない。そ

損失値に適用する Asymmetric Loss (ASL)[10] が提案

こで、本研究ではラベル間の頻度の差を緩和する重されている。ASL のコンセプトとして、以下の 2 点が挙げられる。それは Focal Loss (FOC)[12] におけ

みとネガティブサンプルの影響を抑制する重み、低頻度ラベルのサンプル数の少なさを緩和する重みをる減衰率 𝛾 を正負のサンプルで分離する Asymmetric統合した手法を提案する。データの中で多数派であFocusing 手 法 と 学 習 が 十 分 に 進 ん だ ネ ガ テ ィ ブ
サ ン プ ル の 損 失 値 を 完 全 に 破 棄 す る Asymmetric

る低頻度でネガティブなサンプルに対しては 𝛾 の値

Probability Shifting 手法である。つまり、ラベルの正である高頻度ラベルでネガティブなサンプルに対し負をもとにした損失値への重み付けと意味のあるサては 𝛾 の値を下げることで損失値の抑制を緩和すンプルからの学習の選択を同時に行う。ASL では、を上げることで損失値を抑制する。一方で、少数派る。さらに、トレーニングデータから抽出されたラネガティブサンプルに適用される 𝛾 − をポジティブベルの共起表現をもとにした Label Smoothing を行

サンプルに適用される 𝛾+ よりも高く設定することうことによって低頻度ラベルのサンプル数の少なさで、ネガティブサンプルに対するモデルの出力が小を補い、モデルの過学習を抑制することを狙う。本

さい場合に損失値を抑制する一方で、ポジティブサ提案手法の概要図を図 3 に示す。

ンプルの損失値は不当に抑制されないような学習をClass Balancing モジュール実現している。ただし、ASL はネガティブサンプル3.1の影響の抑制に高い効果を発揮する一方で、データセット内で多く出現する高頻度ラベルの影響を抑制

Class Balancing モジュールではトレーニングデー
タ全体のラベル分布から各ラベルに適用する重みをできない。

計算する。本提案手法では、CBL で提唱されている3ラベルの出現数をもとにした重み 𝑟 𝑐𝑏 から重み 𝑟ˆ𝑐𝑏

提案手法
近年の多くの損失関数の提案は MLTC で多大な成果を収めているが、頻度もしくはラベルの正負といを構築する。𝑟ˆ𝑐𝑏 は、CBL と同様に損失値全体の重み付けを行うと同時に、後に説明する AsymmetricFocusing モジュールにおいて 𝛾 を調整する役割も持― 832 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

つ。𝑟ˆ𝑐𝑏 は以下のように定義される。
(1 − 𝛽)𝑟 𝑐𝑏 =,
1 − 𝛽 𝑛𝑦𝑟 𝑐𝑏 𝑛 𝑦𝑟ˆ𝑐𝑏 = ∑𝑖.
𝑟 𝑐𝑏を示す。通常の Label Smoothing では式 7 の項 𝑢(𝑦)(1)(2)

は一様分布 𝐶1 が定義されるが、本提案手法の LabelSmoothing では、ポジティブラベルとデータセット内で共起するラベルを関連ラベルとみなし、関連ラベルにのみ Ground Truth Value を分配する。これにここで、𝑛 𝑦 は各ラベルの出現数、0 ≤ 𝛽 < 1 は重み

よって、本来は正負の判定をするためだけの式 3 内の強度を調整するハイパーパラメータである。の項 𝑦、(1 − 𝑦) を共起情報が加味された重みとして3.2扱うことができる。

Asymmetric Focusing モジュール

Asymmetric Focusing モジュールでは ASL と同様に、ポジティブサンプルとネガティブサンプルのそれぞれに適用する重み (1 − 𝑝) 𝛾+ , ( 𝑝実験4

提案手法の有効性を検証するために、ベースラ) 𝛾− を計算

イ ン 手 法 と の 比 較 実 験 を 行 っ た。ベ ー ス ラ イ ンする。このうち、ネガティブラベルに適用される手法の損失関数として Binary Cross-Entropy (BCE)、

𝑚𝛾 − と Class Balancing モジュールで構築された重み

FOC[12]、CBL[8]、CBL-NTR[11]、DBL[9]、ASL[10]𝑟ˆ𝑐𝑏 を掛け合わせる。提案手法 Asymmetric Loss withを用いた。このうち、CBL-NTR と DBL は Reuters21578 において State-of-the-art である。

Weight Combination (ASLWC) における損失は以下のように定義される。
𝐿𝑜𝑠𝑠

4.1
(3)
(4)と AAPD[14]、20 Newsgroups[15] を用いた。それぞ本実験では、ベンチマークとして Reuters-21578[5]𝐿+=(1 − 𝑝) 𝛾+ log( 𝑝),𝐿−=( 𝑝 𝑚 ) 𝛾− 𝑟− log(1 − 𝑝 𝑚 ),(5)れのデータセットの統計情報を表 1 に示す。なお、

𝑝𝑚=𝑚𝑎𝑥( 𝑝 − 𝑚, 0).

(6)

Reuters-21578 に関して、本実験では modApté 分割𝑐𝑏

ここで、0 ≤ 𝛾+ < 𝛾 − はハイパーパラメータである。
また、式 6 は Asymmetric Probability Shifting 手法であり、モデルの出力確率が非常に低い場合、ネガティブサンプルによる影響を完全に破棄するための処理である。

3.3

データセット= 𝑟ˆ𝑐𝑏 [−𝑦𝐿 + − (1 − 𝑦)𝐿 − ],[16] を使用して、トレーニングデータとテストデータに分割した。また、Reuters-21578、20 Newsgroups
はともに検証データが事前に定義されていないた
め、学習データを 9 : 1 の比率でランダムに分割し、検証データを構築した。

Label Smoothing モジュール

Class Balancing と Asymmetric Focusing による重み

データセット

表 1 データセット概要
文書 ラベル 平均単語調整では、低頻度ラベルに対応する入力サンプルのReuters-21578
AAPD
20 Newsgroups

10,78855837
18,846

少なさは本質的に解決されない。本提案手法ではLabel Smoothing 手法 [13] をもとに、事前確率として905433127.59159.74273.16

平均ラベル
1.23
2.41
2.74

ラベルの共起情報を設定した Label Smoothing を行う。本提案手法における Label Smoothing は以下のReuters-21578 は、1987 年にロイターのニュースワように定義される。
𝑦′𝑢(𝑦)(1 − 𝛼)𝑦 + 𝛼𝑢(𝑦),𝐶∑= norm(𝑃𝑃𝑀 𝐼𝑖 𝑗 ),
=(7)
(8)

イヤーに掲載された経済分野のニュース記事から構成されており、ラベルの分布が非常に不均衡という特徴がある。AAPD は、科学論文のリポジトリである arXiv に公開された論文のアブストラクトから構

𝑖=1,𝑦𝑖 =1

ここで、0 < 𝛼 < 1 は Smoothing の度合いを決定す成されており、実験に利用されたデータセットの中るハイパーパラメータである。さらに、norm は正で中程度の不均衡さを持つ。20 Newsgroups は複数規化関数であり、Min-Max Normalization 手法を用いのドメインから構成されるニュース記事を集めた

る。また、𝑃𝑃𝑀 𝐼 はトレーニングデータの各ラベルデータセットで、ラベル分布が均衡のとれたデータセットである。の共起回数から計算された正の自己相互情報量行列― 833 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

Reuters-21578
Methods/Metrics
BCEFOCCBL
CBL-ntr
DBLASLASLWC

4.2

macro-f1
total / low
0.586 / 0.269
0.549 / 0.173
0.589 / 0.196
0.611 / 0.283
0.623 / 0.317
0.644 / 0.345
0.669 / 0.383

表 2 実験結果
AAPD

micro-f1
total / low
0.903 / 0.421
0.899 / 0.281
0.899 / 0.327
0.899 / 0.407
0.898 / 0.445
0.904 / 0.487
0.911 / 0.547

macro-f1
total / low
0.499 / 0.277
0.491 / 0.251
0.500 / 0.276
0.554 / 0.352
0.556 / 0.363
0.596 / 0.433
0.601 / 0.449

micro-f1total / low
0.701 / 0.356
0.703 / 0.337
0.704 / 0.340
0.721 / 0.426
0.717 / 0.423
0.733 / 0.465
0.736 / 0.483

20 Newsgroups
macro-f1
total / low
0.885 / 0.821
0.879 / 0.816
0.882 / 0.818
0.882 / 0.817
0.880 / 0.813
0.884 / 0.821
0.882 / 0.818

micro-f1
total / low
0.899 / 0.822
0.894 / 0.816
0.897 / 0.820
0.897 / 0.818
0.894 / 0.813
0.898 / 0.822
0.897 / 0.819られた。なお、すべてのデータセットにおける各ラ実験設定

ベルグループごとの結果は付録 A に記載した。

本実験では、分類モデルとしてニューラルネットワークを用いた。RoBERTa[17] で入力サンプルを文章の特徴量に変換するエンコーダ部分と、文章の特4.5

議論

Reuters-21578 と AAPD はどちらもラベルの頻度徴量から各ラベルのスコアを出力する 2 層の Feedに偏りがあり、その影響をモデルに与えやすいデー

Forward Networks (FFNN) から構成されるモデルをタセットである。一方で、20 Newsgroups はラベル使用した。モデルは Pytorch[18] と Transformers[19]の不均衡の度合いが弱く、相対的には低頻度ラベルを用いて実装し、最適化手法として RoBERTa にはであっても 1000 件程度のサンプル数が確保されてAdamW[20] を適用し、FFNN には RAdam[21] を適用いる。このことから、表 2 を鑑みると本提案手法はした。各比較手法で共通のハイパーパラメータのラベルの不均衡の度合いがある程度強いデータに有学習エポックは 50 エポック、ドロップアウト率効である可能性がある。

は 0.1、RoBERTa の学習率は 2 × 10−5 、FFNN の学

表 2 の低頻度ラベルの結果から、Reuters-21578 と習率は 2 × 10−3 、出力閾値は 0.5 であった。また、

AAPD において本提案手法が低頻度ラベルの精度を各 手 法 の 固 有 の ハ イ パ ー パ ラ メ ー タ に、そ れ ぞ向上させている。このことから、本提案手法においれ FOC は 𝛾 = 2、CBL は 𝛽 = 0.9、DBL は 𝛽 = 10.0て低頻度ラベルの精度向上が全体のラベルの分類精、𝑚𝑎 𝑝 − 𝛾 = 0.9、ASL は 𝛾+ = 1、𝛾 − = 4、ASLWC は度の向上につながったのではないかと推察できる。

𝛼 = 0.3、𝛽 = 0.3、𝛾+ = 1、𝛾 − = 4 と設定した。本実験では、各手法の実験は異なるランダムシードで 5

つまり、本提案手法によってラベルの不均衡による影響を他の提案手法に比べて緩和できている可能性回評価を行い、表 2、表 3 には評価値の平均を記載がある。

した。

4.3

おわりに

5

評価指標

マルチラベルテキスト分類では、ラベルの出現頻

本実験では、評価指標として Macro-f1、Micro-F1

度に偏りがあるデータにおいて、低頻度ラベルの精を用いた。なお、出現頻度が下位三分の一であるラ度が低いという課題が存在する。そこで、本研究でベルを低頻度ラベルとして定義し性能を比較した。

はラベルの共起情報をもとにした重みと出現頻度の4.4

重み、ネガティブサンプルの損失を抑制する重みと結果を組み合わせる手法を提案した。実験結果より、提本 実 験 の 結 果 を 表 2 に 示 す。Reuters-21578 と案手法がラベル分布の偏りが強いデータセットにAAPD において、すべてのラベルを用いた指標でおいてベースラインを上回ることが確認された。ま本提案手法が比較手法を上回ったことが確認された、提案手法が低頻度ラベルの精度を改善している

た。な お、Reuters-21578 に お い て は SOTA で あ る
CBL-NTR と DBL を超える精度が確認された。一方ことから Imbalanced learning の問題を緩和できる可能性がある。今後の展望として、より幅広いベンチ

で、20 Newsgroups において提案手法を含む重み調

マークデータセットでの検証と既存の大規模モデル整の手法が BCE の精度を超えなかったことが認めへの適用による手法の頑健性の検証が挙げられる。

― 834 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

参考文献[1] Ilias Chalkidis, Emmanouil Fergadiotis, Prodromos
Malakasiotis, Nikolaos Aletras, and Ion Androutsopoulos. Extreme multi-label legal text classiﬁcation: A casestudy in EU legislation. In Proceedings of the Natural
Legal Language Processing Workshop 2019, pp. 78–87, Minneapolis, Minnesota, June 2019. Association for
Computational Linguistics.
[2] Clare Amanda and King D. Ross. Knowledge discovery inmulti-label phenotype data. In Principles of Data Mining
and Knowledge Discovery, pp. 42–53, Berlin, Heidelberg, 2001. Springer Berlin Heidelberg.
[3] Min-Ling Zhang and Zhi-Hua Zhou. A review on multilabel learning algorithms. IEEE Transactions on Knowledge and Data Engineering, Vol. 26, No. 8, pp. 1819–1837, 2014.
[4] Tsoumakas Grigorios and Katakis Ioannis. Multi-label
classiﬁcation: An overview. International Journal ofData Warehousing and Mining, Vol. 3, No. 3, pp. 1–13,2007.
[5] Philip J. Hayes and Steven P. Weinstein. CONSTRUE/TIS:a system for content-based indexing of a database of news
stories. In Proceedings of the The Second Conferenceon Innovative Applications of Artiﬁcial Intelligence,
IAAI ’90, pp. 49–64. AAAI Press, 1990.
[6] Haibo He and Edwardo A. Garcia. Learning from imbalanced data. IEEE Transactions on Knowledge andData Engineering, Vol. 21, No. 9, pp. 1263–1284, 2009.
[7] Wang Yaqing, Yao Quanming, Kwok T. James, and Ni M.
Lionel. Generalizing from a few examples: A survey onfew-shot learning. ACM compututing Ssrveys, Vol. 53,No. 3, pp. 1–34, 2020.
[8] Cui Yin, Jia Menglin, Lin Tsung-Yi, Song Yang, andBelongie Serge. Class-balanced loss based on eﬀective
number of samples. In Proceedings of the IEEE/CVF
Conference on Computer Vision and Pattern Recognition, pp. 9268–9277, June 2019.

[9] Wu Tong, Huang Qingqiu, Liu Ziwei, Wang Yu, and LinDahua. Distribution-balanced loss for multi-label classiﬁcation in long-tailed datasets. In Andrea Vedaldi, HorstBischof, Thomas Brox, and Jan-Michael Frahm, editors,
Proceedings of the European Conference on Computer Vision, pp. 162–178, Cham, 2020. Springer Inter-national Publishing.
[10] Ridnik Tal, Ben-Baruch Emanuel, Zamir Nadav, Noy Asaf,Friedman Itamar, Protter Matan, and Zelnik-Manor Lihi.
Asymmetric loss for multi-label classiﬁcation. In Proceedings of the IEEE/CVF International Conference
on Computer Vision, pp. 82–91, October 2021.

[11] Yi Huang, Buse Giledereli, Abdullatif Köksal, ArzucanÖzgür, and Elif Ozkirimli. Balancing methods for multilabel text classiﬁcation with long-tailed class distribution.
In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp.
8153–8161, Online and Punta Cana, Dominican Republic,
November 2021. Association for Computational Linguistics.

[12] Lin Tsung-Yi, Goyal Priya, Girshick Ross, He Kaiming,and Dollár Piotr. Focal loss for dense object detection.
In Proceedings of the IEEE International Conference
on Computer Vision, pp. 2999–3007, 2017.
[13] Szegedy Christian, Vanhoucke Vincent, Ioﬀe Sergey,Shlens Jon, and Wojna Zbigniew. Rethinking the inception architecture for computer vision. In Proceedings ofthe IEEE Conference on Computer Vision and Pattern Recognition, pp. 2818–2826, 2016.

[14] Yang Pengcheng, Sun Xu, Li Wei, Ma Shuming, Wu Wei,and Wang Houfeng. SGM: Sequence generation model formulti-label classiﬁcation. In Proceedings of the 27th
International Conference on Computational Linguistics, pp. 3915–3926, Santa Fe, New Mexico, USA, August

2018. Association for Computational Linguistics.
[15] Ken Lang. Newsweeder: Learning to ﬁlter netnews. In
Proceedings of the Twelfth International Conference
on Machine Learning, pp. 331–339, 1995.

[16] Chidanand Apté, Fred Damerau, and Sholom M. Weiss.
Automated learning of decision rules for text categorization. ACM Trans. Inf. Syst., Vol. 12, No. 3, pp. 233––251,
July 1994.
[17] Zhuang Liu, Wayne Lin, Ya Shi, and Jun Zhao. A robustly
optimized BERT pre-training approach with post-training.
In Proceedings of the 20th Chinese National Conference on Computational Linguistics, pp. 1218–1227,
Huhhot, China, August 2021. Chinese Information Processing Society of China.
[18] Paszke Adam, Gross Sam, Massa Francisco, Lerer Adam,Bradbury James, Chanan Gregory, Killeen Trevor, LinZeming, Gimelshein Natalia, Antiga Luca, Desmaison Alban, Kopf Andreas, Yang Edward, DeVito Zachary, Raison Martin, Tejani Alykhan, Chilamkurthy Sasank, Steiner
Benoit, Fang Lu, Bai Junjie, and Chintala Soumith. Pytorch: An imperative style, high-performance deep learning library. In H. Wallach, H. Larochelle, A. Beygelzimer,
F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advancesin Neural Information Processing Systems, Vol. 32.
Curran Associates, Inc., 2019.
[19] Wolf Thomas, Debut Lysandre, Sanh Victor, ChaumondJulien, Delangue Clement, Moi Anthony, Cistac Pierric,Rault Tim, Louf Remi, Funtowicz Morgan, Davison Joe,Shleifer Sam, von Platen Patrick, Ma Clara, Jernite Yacine,
Plu Julien, Xu Canwen, Le Scao Teven, Gugger Sylvain,
Drame Mariama, Lhoest Quentin, and Rush Alexander.
Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38–45, Online, October 2020.

Association for Computational Linguistics.
[20] Loshchilov Ilya and Hutter Frank. Decoupled weight decayregularization. In International Conference on Learning Representations, 2019.
[21] Liyuan Liu, Haoming Jiang, Pengcheng He, Weizhu Chen,
Xiaodong Liu, Jianfeng Gao, and Jiawei Han. On the variance of the adaptive learning rate and beyond. In International Conference on Learning Representations,2020.

― 835 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

A

ラベル頻度グループ別の結果実験に使用したデータの頻度グループ別の結果を表 3、表 4、表 5 にそれぞれ示す。データセット中のラベルを出現頻度順に並べたときの上位を High、中位を Middle、下位を Low に分割し、性能を比較した。なお、各グループのラベル数は均等になるように分割し、Reuters-21578 と AAPD、20 Newsgroups の各グループはそれぞれ 30 件、18 件、11 件のラベルから構成されている。
表3
Methods/Metrics
BCE
FOC
CBL
CBL-NTR
DBL
ASL
ASLWC

頻度グループごとのラベルにおける実験結果 (Reuters-21578)
Reuters-21578

macro-f1 (high)0.82490.82630.81000.82050.82430.83490.8446

micro-f1 (high)
0.92200.92150.91750.91910.91800.92130.9256

macro-f1 (middle)
0.70770.64650.66330.72830.72690.75330.7793

micro-f1 (middle)
0.74650.70880.71370.75560.7522
0.78380.8063

macro-f1 (low)0.26860.1732
0.19570.28270.31730.3446
0.3833

micro-f1 (low)0.42090.28100.32690.40650.44480.48690.5473

macro-f1 (low)0.27700.25130.27620.35170.36260.43280.4487

micro-f1 (low)0.35640.33700.33990.42610.4232
0.46500.4826

表 4 頻度グループごとのラベルにおける実験結果 (AAPD)
AAPD
Methods/Metrics
BCE
FOC
CBL
CBL-ntr
DBL
ASL
ASLWC

macro-f1 (high)0.6756
0.66870.67030.70880.70170.72740.7299micro-f1 (high)0.75860.75840.75970.77530.76750.7857
0.7869macro-f1 (middle)
0.54380.5526
0.55300.6006
0.60340.62860.6227

micro-f1 (middle)
0.58590.59880.59600.62820.63010.64640.6429表 5 頻度グループごとのラベルにおける実験結果 (20 Newsgroups)
20 Newsgroups
Methods/Metrics
BCE
FOC
CBL
CBL-NTR
DBL
ASL
ASLWC

macro-f1 (high)0.91670.91420.91600.91720.91350.91690.9159micro-f1 (high)
0.91890.91530.91780.91810.91530.91780.9179macro-f1 (middle)
0.91580.90650.91140.91000.91100.91140.9109― 836 ―

micro-f1 (middle)
0.91600.90740.91190.91050.91110.91140.9109macro-f1 (low)0.82130.81560.81800.81710.81260.82120.8183

micro-f1 (low)0.82190.81600.81950.81750.81290.82190.8189This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).