日本データベース学会 データドリブンスタディーズ
Vol. 3, Article No. 1, 2025 年 3 月

一般論文に埋め込み表現を学習する. これをもとに, 個々のタスクに対BERT と能動学習を用いた攻撃的なツしての学習(fine-tuning)を行う事で高い性能を発揮する.

イートの分類しかし, BERT の fine-tuning を含む分類器の学習において, 学
習データが不足するという問題がある. 特に日本語のデータは,

及川 正樹

1

井上 潮

2

著作権の問題等によりほとんど公開されておらず, 既存のデー
タセットを利用する事が困難である. 従って, 学習データを用

Twitter をはじめとした SNS はコミュニケーションツールとして有用であるが, 攻撃的な投稿などの有害な投稿も多く存在する. 機械学習によってこのような有害な投稿を分類することで, ユーザを保護することが可能になる．しかし，日本語の学習データがほとんど公開されていないため, 分類器の学習に必要なデータが不足するという問題がある. 本研究では, 攻撃的なツイートか否かの 2
クラス分類を, 言語モデルの BERT を用いて行う. この際, 学習に必要なデータが不足する状況を踏まえて, 学習データを適応的に選択する能動学習を適用する. 本研究では, 基礎的な手法である
Entropy や近年提案された ALPS を含む 10 種類の能動学習手法に関して有効性を検証する. 検証の結果, いずれの手法も学習データの選択に有用である事が示された. 最も良い手法では, 全ての学習データ 8000 件のうちの 1600 件のみの利用で, F 値 0.708 という高い精度が得られた.ランダムに選択した場合は, 同程度の精度に達するために 4000 件以上の学習データが必要であり, 能動学習により学習データの大幅な削減が可能である事が示された.

意するための, 時間や労力, 転じて金銭といったコストが要求される. 特に, ラベル付けを人手で行う場合には大きなコストが要求される. これらの問題は, 攻撃的なツイートの分類に限らず, 多くの自然言語処理タスクに共通する問題である.
攻撃的なツイートの分類においては, 次の点からラベル付けのコストが高じると考えられる.
・攻撃的なツイートは, そうでないツイートよりも少ない.
・攻撃的か否かの判断に, 複数人によるラベル付けが必要.
・攻撃的なツイートの分類を細分化する必要がある.
このような問題に対処するための手法として, 学習データを適応的に選択する能動学習(Active Learning)[13]が存在する. 今日までに複数の能動学習手法が提案されおり, 学習したモデルの予測結果やデータの分布を利用する事で, 単に学習データをランダムに選択する場合よりも学習に有用なデータを選択で

1

き る 事 が 実 験 に よ り 示 さ れ て い る [4][6][9][10][11][12]

はじめに[15][16][17][18]. 従って, より少ない学習データでモデルがよTwitter をはじめとした SNS は, 様々なユーザと容易に交流り良い性能を発揮する事が期待でき, 学習データを用意するたできるなど, コミュニケーションツールとして有用である. 一めのコストを削減できる可能性がある.

方で, 他者を攻撃する投稿をはじめとした, ユーザに害をなす

一方で, より良い性能を発揮する能動学習手法は, データや投稿も多く存在する. これらの投稿は, 単に閲覧者に不快感をモデルの組み合わせによって変わる事が指摘されている[6]. 深

与えるだけでなく, ネット炎上等において当事者を自殺に追い層学習モデルを用いた日本語の文章分類に, 能動学習を適用す

やってしまうという痛ましい事件も引き起こしている. 従って,る研究は少なく, 日本語の攻撃的なツイートの分類を含む, こ

このような有害な投稿を分類し, ユーザを保護する必要がある.

のような状況における能動学習の有効性は明らかにされてい本研究では, 有害な投稿の中でも特に重篤な被害を及ぼす攻ない.

撃的な投稿に焦点をあて, Twitter におけるこのような投稿であ従って本研究では, BERT を用いた日本語の攻撃的なツイー

る, 攻撃的なツイートの分類を行う. 分類には自然言語処理モ

トの分類における, 能動学習の有効性を検証する. 基礎的な手

BERT(Bidirectional Encoder Representations from

法 で あ る Entropy[13] を は じ め と し て , 近 年 提 案 さ れ た

デ ル のTransformers)[5]を用い, 日本語のツイートを対象に, そのツイ

ALPS[15]を含む 10 種類の手法に関して比較を行う.

ートが攻撃的か否かの 2 クラス分類を行う. 分類器に BERT を2用いる理由は, 多くの自然言語処理タスクにおいて高い性能を発揮する事が示されているためである[2][3].

関連研究
SNS や, インターネット上における有害な文章を分類する研BERT は, Attention 機構[14]を持っている点と, 大量の文章に究は, これまで多く行われている. 石橋ら[1]は, 電子掲示板のよ り 事 前 学 習 (pre-training) を 行 っ て い る 点 で , 従 来 の一種である 2 ちゃんねるを対象に, SVM を用いた悪口文と非悪RNN(Recurrent Neuarl Network)ベースのモデルと大きく異なる.

口文の分類を行っている.

Attention は並列的に全てのトークンを参照する事が可能であり,近年はこのような分類タスクには BERT が用いられることが高い性能を発揮するだけでなく, 計算の効率が良いという利点多い. 松本ら[3]は, 日本語のツイートを対象とし, 相手の感情がある. 事前学習は, 自己教師あり学習である Masked Language

を逆撫でる内容の, 煽りツイートの分類に BERT を用いている.

Model(MLM)および Next Sentence Prediction(NSP)を行い, 事前

リプライツイート単体および, そのリプライ元のツイートとの組を対象とする 2 通りの場合において, BERT を用いた分類器

1
2

学生会員 東京電機大学 工学研究科 21kmc03@ms.dendai.ac.jp
正会員 東京電機大学 名誉教授 inoueu@mail.dendai.ac.jp

1を作成している. その他の分類器として非線形 SVM, k-近傍法

日本データベース学会 データドリブンスタディーズ
Vol. 3, Article No. 1, 2025 年 3 月

一般論文(KNN), ランダムフォレストを用いて複数の実験を行っている・自虐など, 対象が自分自身のみの場合.

が, BERT が最も良い精度を示している. なお, 煽りと非煽りの・明らかに攻撃の意図がないと解釈できる場合.

データ数が同数でリプライツイートのみを学習した BERT が,・他者の発言等の引用部分が攻撃的であるが, ツイートにお最も良い精度である F 値 0.715 を示した事が報告されている.

いてその引用部分を支持しない場合.
3.2 使用データ

一方で, ツイート組を学習した場合と比較して, 両者にほとん

本研究で用いるツイートの収集は, 2021/9/16 から 2021/11/10

ど差がないことも指摘されている.
本研究で分類を行う攻撃的なツイートの一種として皮肉がの間で行い, TwitterAPI の StreamingAPI を使用した. 収集したツある. 皮肉は, 肯定的な表現で否定的な内容を示すことから,

イートの内, 次の条件を満たすツイートからランダムに選んだ文の極性判定を困難にすることが知られている. そのため, 皮10000 件のツイートをラベル付けの対象とした.

肉を対象として分類を行う研究は盛んに行われている分野で

条件1:

日本語のツイートである.

ある. 諏訪ら[2]は, 日本語のツイートを対象に BERT による皮条件2:100 件以上リツイートされている.

肉の分類を行っている. ベースラインとなる Bi-LSTM 及び条件3:

動画, 画像, URL を含まない.

Attention を用いたモデルに対して, BERT が最も良い精度を示

条件4:

リプライを 10 件以上取得する事が出来た.

したことが報告されている. また, 皮肉の分類にツイート中の

条件5:

特定の文字列を含まない.

絵文字を利用した実験を行っている. 実験では絵文字を用いた

なお条件 5 は, キャンペーンへの応募を促すツイートなどの場合の方が良い精度を示すことが確認されているが, 誤分類がノイズとなるデータを除外するために設けた. 特定の文字列と多い事が指摘されている.

しては, リツイート, いいね, フォローなどの操作を表す単語,
プレゼントや抽選などの単語, また, プレゼントを表す絵文字

能動学習は, 様々なドメインのデータを対象に, 様々な機械
学習モデルを用いて研究が行われている. Ein-Dor ら[6]は,を指定し, これらを含むツイートを除外した.

BERT による文章分類に能動学習を適用した大規模な研究を行抽出した 10000 件のツイートに攻撃的なツイートか否かのっている. 複数の英語のデータセットを対象に, 様々な能動学

ラベル付けを人手で行った. この作業は第一著者のみが行い,習手法を用いた実験を行い, 能動学習の有効性を検証している.

ツイートの文章を読み, 前節にて示した攻撃的なツイートの定能動学習によって選択した場合には, ベースラインであるラン

義に合致するか否かの判断を行った. ラベル付けの結果として,ダムな選択に対して, F 値が 4%から 8%高い事が報告されてい攻撃的なツイート 2197 件と攻撃的でないツイート 7803 件を得る. このことから, 能動学習と BERT の組み合わせが有効であた.
これらのラベル付けした 10000 件のツイートを, 学習, 検証,り, 特に分類対象のデータ(正例)が不足する状況における有効性を示している.

テストデータに分割した. 分割に際しては, 層化サンプリング

深層学習モデルへの転換に伴い, 新たな能動学習手法の提案を行い, それぞれ(80/10/10)%となるようにデータセットを構築

や, 旧来の手法を深層学習モデルに適応させる研究もいくつかした. なお, 能動学習を用いた実験を行う場合は, 学習データ

行われている. Yuan ら[15]は, BERT および BERT をベースとしの一部のみを実際に学習に使用し, 残りの学習データを選択対たモデルを対象にした能動学習手法を提案している. BERT の象のラベルなしデータとして疑似的に扱う.

事前学習に着目しているという点で他の手法と大きく異なり,

3.3 BERT に関して

事前にラベル付きデータを必要とせずに能動学習による選択

本研究では, 東北大学の乾研究室が公開している, 日本語の事 前 学 習 済 み BERT3 を 使 用 す る . モ デ ル の 種 類 と し て ,が行えるという利点がある.

3

Huggingface で公開されている bert-base-japanese-whole-word-

前提条件

masking を使用する. 事前学習は日本語の Wikipedia 記事で行われており, モデルの構造は標準的な BERT-base に基づいたもの

3.1 攻撃的なツイートの定義である.

本研究では, 攻撃的なツイートを次のように定義する.
・皮肉や嫌味を含む, 攻撃となる表現・内容.

ここで, BERT を用いた文章のベクトル化手法を定義する. 入・非難や, 過度・過激な批判を行う表現・内容.

力トークンの系列(文章) 𝑥𝑥をベクトル化することを𝜓𝜓(𝑥𝑥)と表し,

・ある事柄に対しての反応として失礼な表現・内容.

[CLS]トークンに対しての最終層の出力を文章ベクトルとする.

上記表現・内容が含まれると, 自然な範囲で解釈できるツイ

なお, このベクトルは BERT の出力次元数である 768 次元である.

ートを攻撃的なツイートと定義する. ただし, 次のいずれかを満たす場合は攻撃的なツイートではないとする.

4

能動学習の問題設定
能動学習は, 学習データを適応的に選択する手法である. 基3https://huggingface.co/cl-tohoku/bert-base-japanese-whole-word-masking2日本データベース学会 データドリブンスタディーズ
Vol. 3, Article No. 1, 2025 年 3 月

一般論文によって選択する事が可能である.

本的な問題設定は次の通りである.

4.2.1

手順1: ラベルなしデータから, モデルの情報等をもとに,

Warm-start 能動学習の選択基準

Warm-start 能動学習では以下の選択基準を用いる.

ある基準に従って学習に使用するデータを選択する.

Entropy[13]: ℒ を学習したモデル𝑃𝑃𝜃𝜃 で𝑥𝑥 ∈ 𝒰𝒰の予測を行い, 予

手順2: ラベルを付与する存在のオラクルが, このデータにラベルを付与し, 新たに学習データとして追加する.

測の不確実性に基づいて選択を行う. ここでは, 不確実性の指オラクルとして最もよく用いられるのは, 人手でのラベル付標としてエントロピーを用い, エントロピーが大きいデータをけである. 本研究においても, 付与されるラベルは全て, 人手選択する. 𝑖𝑖番目のラベルを𝑦𝑦𝑖𝑖 とすると選択するデータは次のでラベル付けを行ったものである.

ように表される.

ここで, 能動学習がうまく機能するかは, 手順 1 において,

argmax − � 𝑃𝑃𝜃𝜃 (𝑦𝑦𝑖𝑖 |𝑥𝑥) log 𝑃𝑃𝜃𝜃 (𝑦𝑦𝑖𝑖 |𝑥𝑥)𝑥𝑥∈𝒰𝒰

どのような基準に従って学習データを選択するかが重要である. 本章において, 能動学習の手順および, 比較を行う能動学

𝑖𝑖

(1)

他の指標としては, 最も高い予測確率が最も低いデータを選

習の選択基準について述べる.

択する Least confident や, 最も高い予測確率と次に高い予測

4.1 能動学習の手順

確率の差が大きいデータを選択する Margin of confidence などが提案されている. ただし, 2 クラス分類においては, エント

ラベルなしデータの扱いに関して, いくつかの手法が存在す
るが, 本研究では, pool-based active learning を適用する.

ロピーを含めたいずれの指標も等価である.

Pool-based active learning では, 少量のラベル付きデータℒ 0と,Bayesian Active Learning by Disagreement (BALD)[9]: Entropy

具体的な手順として, はじめにℒ 0 でモデルの学習を行い, 能トは通常, モデルの学習時のみに適用するが, これを予測時に大量のラベルなしデータ𝒰𝒰0をあらかじめ用意する.

と同様に予測の不確実性に基づいて選択を行う. ドロップアウ

動学習の選択基準に基づき𝒰𝒰0 の中から追加する学習データℬ1

適用することで近似的にベイズ推論を行える事が示されていこのとき, ℬ1 にラベル付けを行い, 𝒰𝒰0 からℬ1 を取り除きた予測から, 不確実性を計算する. 不確実性の指標としては,したデータを加えた新たな学習データℒ1 でモデルを学習し, 新から, クラスごとに予測確率を平均して計算したエントロピー

る[8]. 本手法は, ドロップアウトを適用したうえで複数回行っを選択する.

max-entropy を用いる. max-entropy は, 得られた複数の予測(𝒰𝒰1 ← 𝒰𝒰0 ∖ ℬ1 ), ℒ0 にℬ1 を加える(ℒ1 ← ℒ0 ∪ ℬ1 ) . その後, 選択の大きいデータを選択する. 𝑖𝑖番目のクラスの予測確率の平均

たにデータの選択を行う. この手順を繰り返し行い, 徐々に学を𝑝𝑝𝑖𝑖 とすると, 式(2)で表される. なお本研究では, 予測を行う

習データを増加させていく.

回数𝑁𝑁を 10 とした.

データの選択を𝑇𝑇回行うとすると, 𝑡𝑡回目(𝑡𝑡 ∈ [1, 𝑇𝑇])の繰り返

しに関して次のように一般化できる.

argmax − � 𝑝𝑝𝑖𝑖 log 𝑝𝑝𝑖𝑖
𝑥𝑥∈𝒰𝒰

手順1: ℒ𝑡𝑡−1 での学習をもとにℬ𝑡𝑡 ⊂ 𝒰𝒰𝑡𝑡−1 を選択する.

𝑖𝑖

(2)

Core-Set[12]: k-center 問題の解を利用し, ℒと𝒰𝒰の全てを学習

手順2: ℬ𝑡𝑡 にラベル付けを行う.

手順3: 𝒰𝒰𝑡𝑡−1 からℬ𝑡𝑡 を取り除く(𝒰𝒰𝑡𝑡 ← 𝒰𝒰𝑡𝑡−1 ∖ ℬ𝑡𝑡 ).

に使用した場合に近くなるデータの選択を行う. 本研究では貪
欲法を用い, ℒを学習した BERT の特徴空間における, k-center

手順4: ℒ𝑡𝑡−1 にℬ𝑡𝑡 を加える(ℒ𝑡𝑡 ← ℒ𝑡𝑡−1 ∪ ℬ𝑡𝑡 ).

問題の解を利用する. すなわち, 全てのデータを𝜓𝜓によって文

手順5: 新たな学習データℒ 𝑡𝑡 でモデルの学習を行う.

章ベクトルに変換した上で, k-center 問題を解く.

一般に, 深層学習モデルは学習に時間がかかる事から, ℬを

Discriminative Active Learning (DAL)[10]: ℒに含まれない特徴

複数件選択するバッチ能動学習が用いられる. 本研究においてを持ったデータを選択する. 具体的には, ℒと𝒰𝒰のどちらに属も, 一度に複数件の選択を行うバッチ能動学習を用いる.

�𝜃𝜃 を学習し, 𝒰𝒰に属すると予測した確するかを分類するモデル𝑃𝑃

4.2 能動学習の選択手法

�𝜃𝜃 の 入力 に は, ℒ を 学 習し た
率 が 高い デー タ を選 択す る . 𝑃𝑃

本節では, 能動学習手法に関して概説する.
まず, 能動学習手法の分類の一つとして, warm-start とBERT によって変換された, 文章ベクトルを用いる. データがcold-start に分ける事ができる. 両者の大きな違いは, 初期の𝒰𝒰に属する事を示すラベルを𝑢𝑢とすると選択するデータは式(3)

学習データℒ 0を選択可能かどうかという点にある.

で表される.

warm-start の選択手法は, ℒでモデルを学習したうえで, 追�𝜃𝜃 �𝑦𝑦 = 𝑢𝑢|𝜓𝜓(𝑥𝑥)�
argmax 𝑃𝑃
𝑥𝑥∈𝒰𝒰

加するデータの選択を行う. この手法では, 最初の選択においExpected Gradient Length (EGL) [17]: 学習したモデルに対してて必要になる, 初期の学習データℒ0自体は能動学習によって選択できないという欠点がある.

一方で, cold-start の選択手法は, ℒでモデル学習する必要がないという点で優れている. 従ってこの手法ではℒ0を能動学習(3)

大きな変更を加える事が期待されるデータを選択する. 具体的には, ℒを学習したモデル𝑃𝑃𝜃𝜃 が, 𝑥𝑥 ∈ 𝒰𝒰を学習したときの, 勾配の大きさの期待値が高いデータを選択する. あり得るすべての3

日本データベース学会 データドリブンスタディーズ
Vol. 3, Article No. 1, 2025 年 3 月

一般論文

列長(事前に定めた最大トークン長)の要素を持つベクトルを定

ラベルの, 各場合に関して計算を行う事で, 期待値を算出する.

義する. このベクトルの𝑖𝑖番目の要素は, 𝑖𝑖番目の入力トークン

各ラベルに対するモデルの予測確率と, そのラベルを正解ラベに対して計算された MLM 損失である. ただし, 𝑖𝑖番目の入力トルとして学習した場合に計算される勾配の大きさを乗算し, 加
算したものが勾配の大きさの期待値である. なお, 勾配の大きークンがマスクされていない場合には, 代わりに要素として 0

さには L2 ノルムを用いる. 損失関数𝑙𝑙の勾配を∇𝑙𝑙とすると式(4)を持つ. 𝑥𝑥 ∈ 𝒰𝒰に対して Surprisal Embeddings を求め, このベク
トルのクラスタリングを行う. そして, 各クラスタの中心に最で表される. 本研究では, 出力層の ユニットのみを対象としも近いデータをそれぞれ選択する.

て, 勾配長を計算した.
argmax � 𝑃𝑃𝜃𝜃 (𝑦𝑦𝑖𝑖 |𝑥𝑥)‖∇𝑙𝑙(𝑃𝑃𝜃𝜃 (𝑥𝑥), 𝑦𝑦𝑖𝑖 )‖
𝑥𝑥∈𝒰𝒰

𝑖𝑖

なお, クラスタリングの手法としては k-means を用い, クラ(4)スタリングに際して L2 正規化を行う. クラスタ数として, 選択

Batch Active Learning by Diverse Gradient Embeddings

するデータの件数を指定する.

(BADGE)[4]: 勾配ベクトルのクラスタリングによって, モデ

BERT-KM[15]: 本 手 法 で は , ALPS で 用 い た Surprisal

ルの状態と, データの多様性を考慮して選択を行う. ℒを学習

Embeddings の代わりに, 事前学習のみを行った BERT の埋め込したモデル𝑃𝑃𝜃𝜃 で𝑥𝑥 ∈ 𝒰𝒰の予測を行い, 最も予測確率の高かったみ表現を用いる. すなわち, 𝑥𝑥 ∈ 𝒰𝒰に対する𝜓𝜓(𝑥𝑥)を用いて, クラ表され, 𝑃𝑃𝜃𝜃 において正解ラベルに𝑦𝑦�を用いて𝑥𝑥を学習したとき様である.

スタリングを行う. なお, クラスタリングの手順は ALPS と同クラスを, 仮の正解ラベル𝑦𝑦�とする. 勾配ベクトル𝑔𝑔𝑥𝑥 は式(5)でまた, 類似した手法として, FT-BERT-KM が存在する. こちらの, 出力層の重み𝜃𝜃out に対する勾配を要素として持つベクトル

は, cold-start の手法ではなく, 埋め込み表現への変換𝜓𝜓に, ℒをである. なお, 損失関数𝑙𝑙はクロスエントロピーである.
𝜕𝜕
𝑔𝑔𝑥𝑥 =𝑙𝑙(𝑃𝑃 (𝑥𝑥), 𝑦𝑦�)𝜕𝜕𝜃𝜃out 𝜃𝜃

用いて学習(fine-tuning)を行った BERT を用いる.

(5)5

この勾配ベクトルのクラスタリングを行い, 各クラスタの中能動学習の問題設定
本研究では, 3 つの実験を行う. なお, いずれの実験も, モデ

心に最も近いデータをそれぞれ選択する. クラスタリングの手法としては k-means++を用い, クラスタリングに際して L2 正ルの評価には F 値を用いる.
実験 1 では, 精度の推移および, 全ての学習データを使用し規化を行う. クラスタ数として, 選択するデータの件数を指定
する.

た場合の精度を確認する事を目的として, 少量の学習データかContrastive Active Learning (Contrastive)[11]: 特徴空間においら徐々に学習データを増加させる実験を行う.
実験 2 では, warm-start の能動学習手法の有効性を確認する事て, 近傍のデータと予測確率が異なるデータを選択する. 𝑥𝑥 ∈𝒰𝒰に関して, KNN を用いて, 学習した特徴空間における𝑘𝑘個のを目的として, 少量の学習データから能動学習を用いて徐々に

近傍データ{𝑥𝑥1 , ⋯ , 𝑥𝑥𝑘𝑘 }をℒから選び出す. その後, 学習したモデ

学習データを増加させる実験を行う. この時, 一度に選択するせに対して KL ダイバージェンスを計算する. 最後に平均を求実験 3 では, cold-start の能動学習手法の有効性を確認する事

め, この値の大きいデータを選択する. これを式(6)に示す. なを目的として, 実験 2 と類似した実験を行う. ただし, ℒ 0の選

データの件数|ℬ|を, (50/250/500)件の 3 通りで比較を行う.

ル𝑃𝑃𝜃𝜃 の予測確率を用いて, 𝑥𝑥 と各近傍データの全ての組み合わ
お, 選択する近傍のデータ数𝑘𝑘は 10 とした.
𝑘𝑘

4.2.2

1
argmax � KL �𝑃𝑃𝜃𝜃 (𝑥𝑥𝑖𝑖 )||𝑃𝑃𝜃𝜃 (𝑥𝑥)�
𝑘𝑘
𝑥𝑥∈𝒰𝒰
𝑖𝑖

Cold-start 能動学習の選択基準

択に能動学習を用いるという点で異なる.

ここで, 学習に関わるパラメータは全て同一のものを使用す(6)

る. バッチサイズを 10, 学習率を 10-5 とし, Adam による最適化を行う. 学習は 10 エポック行い, 検証データに対して最も良い

Cold-start 能動学習では以下の選択基準を用いる.

精度を示したエポックのモデルを評価および, 能動学習によるActive Learning by Processing Surprisal (ALPS)[15]: BERT の事

データの選択に使用する.
ただし, Ein-Dor ら[6]が指摘している通り実際の状況では検前学習に用いられる MLM の損失を利用して, データの選択を

証データが十分に使用できない事が考えられるが, 本研究でも行う.
MLM は, 入力トークンのいくつかをランダムにマスクし,同様に, 結果の安定のために検証データを用いる.
5.1 実験 1: 全ての学習データの使用

そのトークンが何であったかの予測を行うタスクである. 出力
は, マスクされたトークンごとに, モデルの語彙すべてに対し

本実験では, 精度の推移および, 全ての学習データを使用しての確率として得られる. MLM 損失は, マスクされる前の元々た場合の精度を確認する事を目的とし, 50 件の学習データからのトークンを正解として, クロスエントロピーを用いて計算さ全ての学習データ 8000 件まで徐々に学習データを増加させる

れる.

実験を行う.

本手法では, Surprisal Embeddings として, 入力トークンの系

4日本データベース学会 データドリブンスタディーズ
Vol. 3, Article No. 1, 2025 年 3 月

一般論文ℒ0 からℒ 𝑇𝑇 までの各繰り返し時のデータで学習したモデルに関して F 値による評価を行う. なお, 実験 1 と同様に, 初期の学習データℒ0を変更し 5 回実験を行う. 各能動学習手法に関して独立に実験を行うが, ℒ0を用いて学習したモデルのみ共通と

する.
5.2.2

実験結果

5 回の実験の平均の F 値を図 2 に示す. 一度に選択するデー
タの件数に関わらず, 全体としてはいずれの能動学習手法も,ランダムな選択を上回る結果となった. 同時に, それぞれの条
件において, 各能動学習手法間に優劣がみられた. 特に繰り返しの前半では, 一部の手法がランダムな選択を下回る場合が確

図 1 ランダムな学習データの追加における F 値

5.1.1

認できた. 各手法の詳細な比較は 6 章にて行う.

実験手順

最終的に最も高い精度を示したのは, |ℬ| = 50の場合は EGL

最初に学習データ 8000 件から, 初期の学習データを, 層化サ

が F 値 0.706, |ℬ| = 250の場合は EGL が F 値 0.708, |ℬ| = 500

ンプリングによって 50 件選択する. その後学習データが 2000の場合は BALD が F 値 0.697 となった. なお, ランダムな選択

件に達するまでは 50 件ずつ, 以降は 250 件ずつ, 残りの学習デの場合における最終的な F 値は, 順に 0.667, 0.676, 0.667 である.

ータからランダムに学習データを追加する. なお, 追加の際にこのことから, 最も良い手法で F 値が 0.03 から 0.04 程度向上

は層化サンプリングを用いない. 各段階における学習データをする事が確認できる.

用いてモデルの学習と評価を行う.

また図 1 からは, 一つの目安である F 値 0.7 を恒常的に上回

これを, 初期の学習データℒ 0を変更し 5 回実験を行う.

5.1.2

るためには, 学習データが 4000 件以上必要である事が確認で実験結果きている. 従って, 能動学習を用いる事で, その 4 割の件数で5 回の実験の平均の F 値を図 1 に示す. まず初期の学習デー

ある 1600 件の学習データのみでこの精度を達成した事となる.

タ 50 件のみでは, F 値 0.357 と非常に低い精度である事がわか

これは, 能動学習により, 学習データを大幅に削減できる事をる. 一方で, 学習データが 200 件に達するまでの追加では急激示唆している.

に精度を上げている. この時, 学習データが 200 件という少量

なお, 全ての学習データ 8000 件で学習したときの精度は F 値のデータのみで, F 値 0.617 という比較的高い精度を示している.

が 0.723 であったことから, その差はおよそ 0.02 である.

その後は, 全ての学習データである 8000 件に達するまで, 精度

5.3 実験 3: Cold-start 能動学習の適用の上昇率が鈍化しながらも, 緩やかに上昇する.

4.2 章にて示した cold-start の手法である ALPS, BERT-KM,お全ての学習データ 8000 件で学習したときの精度は F 値が

よび FT-BERT-KM に関して実験を行い, ランダムな選択と比較

0.723 となった. 同時に, 5 回の実験の平均値のみを考慮すると,を行う.

この値が最大値となる. この値は, 実験 2 と実験 3 において, 一

5.3.1

部の学習データのみを用いる場合に達成可能な精度の一つの目安となる.

ータℒ 0の選択に能動学習を用いるという点で異なる. なお, FT-

5.2 実験 2: Warm-start 能動学習の適用

BERT-KM のみℒ0 の 選択が 不可 能である ため, ℒ 0 の選択に

4.2 章にて示した warm-start の手法に関して, 4.1 章の手順にBERT-KM を用いる. その他の手法は, ℒ0 の選択および追加す

従って学習データを追加する実験を行う. 同時に, 能動学習をるデータℬの選択を同一の手法によって行う.

用いないランダムな選択と比較を行う.
5.2.1

実験手順

基本的な手順は実験 2 と同様である. ただし, 初期の学習デ

実 験 2 と 同 様 に , 一 度 に 選 択 す る デ ー タ の 件 数 |ℬ| を ,実験手順(50/250/500)件の 3 通りで比較を行う. また, ALPS と BERT-KM

最初に学習データ 8000 件から, 初期の学習データℒ0を, 層化に関して, ℒ0 の件数として(600/1100/1600)件を一括で選択した

サンプリングによって 100 件選択する. その後残りのデータを場合の実験を行う.

ラベルなしデータ𝒰𝒰0 として扱い, 4.1 章と同様の手順で学習デℒ0 からℒ 𝑇𝑇 までの各繰り返し時のデータで学習したモデルにータの追加を行う. この時, 一度に選択するデータの件数|ℬ|を,(50/250/500)件の 3 通りで比較を行う. 追加するデータの総数を関して F 値による評価を行う. 実験は, 初期の学習データℒ0の1500 件とし,それぞれ𝑇𝑇 = ⌈1500/|ℬ|⌉回の繰り返しを行う. なお,行うが, BERT-KM と FT-BERT-KM のみ, ℒ 0を用いて学習したモ

選択を含めて 5 回行う. 各能動学習手法に関して独立に実験を選択したデータℬへのラベル付けに関しては, あらかじめ 3.2

デルを共通とする. なお, 比較対象となるランダムな選択は実節にて付与したラベルをそのまま用いることとする.

5

験 2 の結果をそのまま用いる.

日本データベース学会 データドリブンスタディーズ
Vol. 3, Article No. 1, 2025 年 3 月

一般論文

(a)

(b)

(a)

|ℬ| = 50|ℬ| = 250

(c)

(b)

|ℬ| = 500

図 2 Warm-start 能動学習による学習データの追加における F 値

5.3.2|ℬ| = 50|ℬ| = 250(c)|ℬ| = 500

図 3 Cold-start 能動学習による学習データの追加における F 値

選択したデータに関する分析を行う.

実験結果

6.1

5 回の実験の平均の F 値を図 3 に示す. なお, ℒ 0の件数とし統計的な検定Warm-start および cold-start 能動学習を用いた実験結果を用いて(600/1100/1600)件を選択した結果は図 3(c)に示す.

まず, 初期の学習データℒ0を学習した結果から, BERT-KM はて, 能動学習手法間の優劣および, ランダムな選択に対してのランダムな選択よりも高い精度を示している事が確認できる.

優劣を明らかにするための検定を行う.

一方で, ALPS はランダムに選択した場合とほとんど変わらな

6.1.1

検定方法

Zhang ら[16]は, 近年提案された検定手法である, ASO(Almost

い精度である. ALPS は BERT-KM より優れている事が報告されStochastic Order)[7]を用いて能動学習を用いた実験に対して検ており[15], 今回の実験では異なる結果が得られた.
その後の学習データの追加に関しては, |ℬ| = 250の場合を定を行っている. ASO は深層学習モデル同士の比較を行うため除けば, 能動学習を用いた選択が, ランダムな選択を上回る結に提案された検定方法であり, 本研究では, ASO を用いた検定果となった. 一方で, 良い結果を示した warm-start の手法と比を行う. その他の検定手法としては, Ein-Dor ら[6]がウィルコク

較すると, 精度の上昇は低い. なお, 各手法の詳細な比較は 6ソンの符号順位検定を行っているが, 深層学習モデルと能動学章にて行う.

習を組み合わせた実験において, 標準的に使用される検定方法

ま た , ALPS と BERT-KM の 両 手 法 に 関 し て ℒ0 をは, 現時点では存在しない.

(600/1100/1600)件のそれぞれを一括で選択した場合の結果は,ASO を用いた検定として, 2 つの手法 A, B のどちらが優れて100 件のℒ0に対して徐々に学習データを追加した場合と同程度

いるかの検定を, 全ての手法の組み合わせに対して行う. 有意
水準𝛼𝛼 = 0.05とし, ASO の評価値である𝜖𝜖min を計算する.

かそれ以上の精度を示す結果となった. これはすでに報告され

𝜖𝜖min < 0.5の場合には A が B より優れている事を意味し,ている結果[15]と同様の結果となった.

6

𝜖𝜖min = 0.0の場合に A が B より統計的に優れている事を意味す分析る. また, 𝜖𝜖min = 0.5の場合には A と B の優劣を決定できない

5 章にて行った実験 2 および実験 3 の結果に関して分析を行事を意味し, 𝜖𝜖min > 0.5の場合は A が B より優れていない事をう. まず統計的な検定を行った後, 追加する学習データとして

意味する.

6

日本データベース学会 データドリブンスタディーズ
Vol. 3, Article No. 1, 2025 年 3 月

一般論文

表 1 ASO を用いた検定結果 (列が手法 A, 行が手法 B.
𝝐𝝐𝐦𝐦𝐦𝐦𝐦𝐦 = 𝟎𝟎. 𝟎𝟎を赤い太字, 𝝐𝝐𝐦𝐦𝐦𝐦𝐦𝐦 < 𝟎𝟎. 𝟓𝟓を赤い斜体で示す. )(a) |ℬ| = 50

れている結果となった.
ただし, 時系列的な変化に関しては本検定の範囲ではない.
例えば, 図 2 の|ℬ|=50 の場合, 前半は Entropy が高い精度を示しているが, 後半は EGL が高い精度を示している. このような特徴を評価するためには, 他の分析が必要である.
6.2

選択したデータに関する分析

選択したデータに関して, 4 つの指標を用いて分析を行う.
(b)

6.2.1
|ℬ| = 250

分析の指標

Diversity in input space (DIV-I): 入力空間における, 選択したデータℬの多様性を示す指標である. ここでは, ℬと𝒰𝒰における入力トークンの集合である𝒱𝒱ℬ と𝒱𝒱𝒰𝒰 を用いて, Jaccard 係数を計算す
る. ℬが多様なトークン(語彙)を含んでいるほど高い数値を示
す.

(c)

𝐽𝐽(𝒱𝒱ℬ , 𝒱𝒱𝒰𝒰 ) =|ℬ| = 500

|𝒱𝒱ℬ ∩ 𝒱𝒱𝒰𝒰 ||𝒱𝒱ℬ ∪ 𝒱𝒱𝒰𝒰 |(7)

Diversity in feature space (DIV-F): モデルが学習した特徴空間𝑋𝑋�

における, 選択したデータℬの多様性を示す指標である. 各𝑥𝑥𝑖𝑖 ∈ 𝒰𝒰に関して, 最も近い𝑥𝑥𝑗𝑗 ∈ ℬとのユークリッド距離𝑑𝑑�𝑥𝑥𝑖𝑖 , 𝑥𝑥𝑗𝑗 �の平均の逆数によって計算される. ℬが多様なデータを選択するほど高い数値を示す. なお, 特徴空間𝑋𝑋�への変換として𝜓𝜓を用いる.
A と B に対しての検定と, A と B を入れ替えて行った検定の,−1

1
� min 𝑑𝑑�𝑥𝑥𝑖𝑖 , 𝑥𝑥𝑗𝑗 ��𝐷𝐷(ℬ) = �𝑥𝑥𝑗𝑗∈ℬ|𝒰𝒰|

各𝜖𝜖min の和は 1 となる性質を持っている. 検定に際してこの性質を利用し, 片方の検定のみを行った後,𝑥𝑥𝑖𝑖 ∈𝒰𝒰

A と B の手法を入れ(8)Representativeness (REPR): 特に不確実性に基づいた能動学習

替えて再度検定を行う代わりに1 − 𝜖𝜖min を結果として利用する.

なお検定には, 平均を計算する前の, 5 回の実験のそれぞれの結手法では, 外れ値を選択する傾向がある事が報告されている[6].

果を用いる. また, 検定の多重性を考慮し, ボンフェローニ補

本指標は, モデルが学習した特徴空間𝑋𝑋� における, 選択したデ正を行う.

ータℬにおける外れ値の選択を定量化した指標である. Zhu らに6.1.2

よって提案された KNN-Density[18]に基づき, 𝑥𝑥𝑗𝑗 ∈ ℬにおける𝑘𝑘

検定結果個の近傍データ{𝑥𝑥𝑖𝑖1 , ⋯ , 𝑥𝑥𝑖𝑖𝑖𝑖 }とのユークリッド距離の平均の逆検定結果を表 1 に示す. まずランダムな選択に対して, ほと数によって計算され, 近傍のデータとの距離が近いほど高い数

んど全ての場合において, いずれの能動学習手法も統計的に優値を示す. 本研究では, 近傍データ数𝑘𝑘を 10 とする.

れているもしくは, 優れているという事が示された. |ℬ|=50 の場合は Entropy が, |ℬ|=250 の場合は EGL が, |ℬ|=500 の場合は

𝑘𝑘

−1

1
1
� � 𝑑𝑑�𝑥𝑥𝑖𝑖 , 𝑥𝑥𝑖𝑖𝑖𝑖 ��
𝑅𝑅(ℬ) = �|ℬ|
𝑘𝑘Contrastive が, 他の手法と比較して最も優れている結果となっ𝑥𝑥𝑖𝑖 ∈ℬ

た. いずれの場合でも, 次いで BALD, DAL, EGL が優れている

𝑗𝑗

(9)

という結果となった. 反対に, Core-Set, BADGE および cold-start

Uncertainty (UNC): 選択したデータℬが, モデルにおいて不確の手法は, 他の手法と比べると劣るという結果となった. これらは, データの分布に基づく手法(diversity-sampling)の一種であ

実なデータであるかを示す指標である. 全ての学習データℒ ∪り, データの分布が選択に直接的な影響を与えるという点で共実なデータが選択されるほど高い数値を示す.

𝒰𝒰で学習したモデル𝑃𝑃𝜃𝜃′ 用いてエントロピーを計算する. 不確

通している.
バッチ能動学習では, Entropy や BALD のようなデータの不確
6.2.2

実性に基づいた手法(uncertainty-sampling)は, 類似したデータが𝐸𝐸(ℬ) = −分析結果

1
� � 𝑃𝑃𝜃𝜃′ (𝑦𝑦𝑖𝑖 |𝑥𝑥) log 𝑃𝑃𝜃𝜃′ (𝑦𝑦𝑖𝑖 |𝑥𝑥)
|ℬ|
𝑥𝑥∈ℬ

𝑖𝑖

(10)

分析結果を図 4 に示す. いずれの指標も, |ℬ|の大きさによら選択される可能性がある. そのため, データの不確実性のみでず似たような傾向を示した.

なく, 多様性を考慮する必要が示されている[11]. 一方で今回

DIV-I に関しては, ALPS が最も高く, Core-Set が著しく低い結の結果では, Contrastive を除くと多様性を考慮しない手法が優7果となった. 次いで, DAL, BADGE およびランダムな選択が低日本データベース学会 データドリブンスタディーズ
Vol. 3, Article No. 1, 2025 年 3 月

一般論文

ある Entropy, BALD および EGL が特に良い精度を示した. |ℬ|

が比較的大きい値である 500 件の時には, 不確実性と多様性に基づいた手法である Contrastive が特に良い精度を示した. このような結果が得られた要因として, 選択対象のラベルなしデー
タ𝒰𝒰が比較的小さかったために, 𝒰𝒰の分布が疎であり, 似たような特徴を持つデータが少なかった事が考えられる. 故に, バッチ能動学習における不確実性に基づいた手法の, 似たデータを選択してしまうという欠点が現れなかったと考えられる.
この点を考慮しなければ, 総合的には BERT を用いた攻撃的なツイートの分類には, Entropy が最も有用な warm-start の手法であると考えられる. 表 1 の結果から, |ℬ|が 50 件の場合は最も優れた手法であり, 250 件および 500 件の場合も一部の手法には劣るものの, 優れた結果を示している. また, 単に精度の向上という点だけでなく, 選択の基準が単純であるという点でも優れている. そのため, 実装が容易であり, また実行時間の点でも優れる. 本研究では, 実行時間の計測は行っていないが,Ein-Dor ら[6]の実験では能動学習の選択手法としては最も早い実行時間である事が示されている. 故に, 本研究では, Entropy
が総合的には最も有用な warm-start の手法であると考える.
ただし, 能動学習を適用する上での事前の要求によっては,他の手法を用いた方が有効である事が考えられる. 図 1 の結果
から, 最終的に最も良い精度を示した手法は, |ℬ|が 50 件およ

図 4 各分析指標の結果(上から DIV-I, DIV-F, REPR, UNC 左から|𝓑𝓑| = 𝟓𝟓𝟓𝟓, 𝟐𝟐𝟐𝟐𝟐𝟐, 𝟓𝟓𝟓𝟓𝟓𝟓)

い結果となった. Warm-start の手法に限っては, 特に精度の良か一度に選択した方がより早いと考えられる.従って, 何件のラった手法は高い値を示した. DIV-F に関しては, DIV-I と事なる

ベル付けを行うか, どれだけの時間をかけるか, 具体的に目標特徴を示し, cold-start の手法および BADGE とランダムな選択となる精度はどの程度か等の条件に応じて適切な能動学習手が高い結果となった. 隔たりはあるが, 次点で DAL および法を選択するべきであると考えられる.

び 250 件の場合は EGL, 500 件の場合は BALD である. また, 総合的な実行時間を踏まえると, ALPS や BERT-KM で大量のℒ0をCore-Set が高い.

また, 本研究では実験を行っていないが, 複数の手法を組み

REPR に関しては, DIV-F と似た傾向を示したが, Core-Set は
比較的低い結果となった. UNC は不確実性に基づいた手法であ合わせることも考えられる. 特に, cold-start の手法によってℒ 0

る Entropy, BALD, Contrastive が特に高く, 次点で EGL も高い.

するような事が考えられる.

を選択した後に, warm-start の手法によって以降のデータを追加

良い精度を示した手法は UNC が高い傾向にあるが, いずれの最後に, cold-start の手法が際立って良い精度示すことがなか指標もモデルの精度との明確な関係は確認できなかった.

った点について考察する.

それぞれの手法に着目すると, 精度の良かった手法は DIV-F

まず, ALPS と BERT-KM の両手法に関わる要因として, クラ

および REPR が低く, 多様なデータの選択が行えておらず外れ

スタリングが有効ではなかった事が考えらえる. Warm-start の値も選択している事が示された. また, 特徴空間において多様手法である Core-set および BADGE の精度が低いことから, 本

なデータを選択する Core-Set が, 入力空間においては多様なデ研究で用いたデータに対しては, データの分布に基づき, 多様

ータを選択できていない事が明らかになった. cold-start の手法性を獲得するという方向でのデータの選択が有効でなかったを含むデータの分布に基づいた手法に関して, その多くは可能性がある.

UNC が低く, それ以外の指標が高いという傾向を示した.

7

次に, ALPS に関しての要因として, ツイートの文章が短い事が考えられる. 全ての学習データのうち, およそ 6 割のツイー

考察

トが 50 トークン以下であり, およそ 3 割のツイートは 20 トー

まず, 本研究の結果から, BERT を用いた攻撃的なツイートのクン以下である. ALPS において使用する Surprisal Embeddings

分類における, 優れた能動学習手法について考察する.
本研究では, |ℬ|の大きさによらず, 不確実性に基づく手法では入力トークンの系列長の要素を持ったベクトルだが, トーク
ン長が短いデータが多かったために疎なベクトルとなってし8

日本データベース学会 データドリブンスタディーズ
Vol. 3, Article No. 1, 2025 年 3 月

一般論文

まい, 十分な特徴を持っていなかった事が考えられる. この点

参考文献

は, マスクする単語の割合を変更するなど, 異なるパラメータ[1]を用いた実験により, 明らかになる可能性がある.

[2]

最後に BERT-KM に関しての要因として, 事前学習に使用し[3]たデータのドメインと fine-tuning を行うデータのドメインが大きく異なるという点が考えられる. ツイートは, Wikipedia の記[4]事と比較すると口語的な文章や SNS 特有の表現などの異なる特徴を持っている. 従って, 事前学習のみを行った BERT では,より有用な埋め込み表現へと変換できなかった可能性が考え[5]られる. 一方で, fine-tuning 後の BERT を利用する FT-BERT-KM
も BERT-KM と同程度の精度を示すことが多かった. この点に[6]

ついては, 他の事前学習済みモデルを用いて実験することで明らかになる可能性がある.

8

まとめ
[7]

本研究では, BERT を用いた日本語の攻撃的なツイートの分類における, 能動学習の各手法の有効性を検証した. ほぼすべての場合において, 検証に使用した能動学習手法は, ランダム

[8]に選択するよりも優れているという事が示された.
能動学習手法同士で比較をすると, |ℬ|=50 の場合は Entropy

が, |ℬ|=250 の場合は EGL が, |ℬ|=500 の場合は Contrastive が,[9]

最も優れた結果となった. また, BALD や DAL も比較的優れている結果となった. cold-start の能動学習手法は BERT-KM が初[10]期の学習データℒ 0の選択に有効であったが, 以降のデータの追加に関しては warm-start の能動学習に劣る結果となった. ただ[11]

し, 一度に大量のℒ0を選択した場合でもランダムな選択より優れている事が示され, 総合的な実行時間の点では優れている.

今後の課題として, 各能動学習手法が優れた結果を示した原[12]

因あるいは, 優れた結果を示さなかった原因を明らかにする必要がある. 特に, 追加で行った分析結果から, 優れた結果を示[13]

した手法は, 攻撃的なツイートを本来の割合よりも多く選択している事が判明した. 従って, 学習データラベルの割合と分類[14]

精度の関係に焦点を当てた分析が必要である.
ラベル付けコストの観点から実験が困難だが,ラベルなしデータ𝒰𝒰のサイズが大きくなった場合の各能動学習手法の振る舞[15]

いを明らかにする必要がある. 特に, 事前に予測するという点
は, 能動学習における重要な課題である. そのための手段として, 𝒰𝒰そのものを対象として分析する事や, ラベル付けを必要とせずに計算可能な UNC 以外の指標を, 最初に選択したデー[16]

タℬ1 に対して計算する事などが考えられる.

[17]

また, 他のドメインのデータを用いた場合に, 本研究の結果とどの程度一致するのかは, 重要な問題である. 特に, 類似し[18]たドメインである, ツイートを対象とした分類や, ツイート以外の攻撃的な文章の分類に関しての, 能動学習の有効性を明らかにする必要がある.

9

石坂達也, 山本和英, “Web 上の誹謗中傷を表す文の自動検出”. 言語処理学会 第 17 回年次大会, E1- 6, 2011.
諏訪光輔, 張建偉, “BERT 及び絵文字を利用した日本語文
における皮肉の検出”. DEIM2021, H31-4, 2021.
松本典久, 上野史, 太田学, “BERT を利用した煽りツイー
ト検出の一手法”. DEIM2021, I14-2, 2021.
J. T. Ash, C. Zhang, A. Krishnamurthy, J. Langford, and A.
Agarwal, “Deep batch active learning by diverse, uncertain
gradient lower bounds”. In Proceedings of the International
Conference on Learning Representations, 2020.
J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova, “BERT: pretraining of deep bidirectional transformers for language
understanding”, NAACL-HLT, pp.4171-4186, 2019.
L. Ein-Dor, A. Halfon, A. Gera, E. Shnarch, L. Dankin, L. C. M.
Danilevsky, R. Aharonov, Y. Katz, and N. Slonim, “Active
learning for BERT: an empirical study”. Proceedings of the 2020
Conference on Empirical Methods in Natural Language
Processing, pp.7949-7962, 2020.
R. Dror, S. Shlomov, and R. Reichart, “Deep dominance - how
to properly compare deep neural models”. Proceedings of the57th Annual Meeting of the Association for Computational
Linguistics, pp.2773-2785, 2019.
Y. Gal and Z. Ghahramani, “Dropout as a bayesian
approximation: representing model uncertainty in deeplearning”. In international conference on machine learning,
pp.1050–1059, 2016.
Y. Gal, R. Islam, and Z. Ghahramani, “Deep bayesian active
learning with image data”. In Proceedings of the International
Conference on Machine Learning, vol.70, pp.1183-1192, 2017.
D. Gissin and S. S.-Shwartz, “Discriminative active learning”.
arXiv:1907.06347v1, 2019.
K. Margatinay, G. Vernikosz, L. Barraulty, and N. Aletrasy,“Active learning by acquiring contrastive examples”.
Proceedings of the 2021 Conference on Empirical Methods in
Natural Language Processing, pp.650-663, 2021.
O. Sener and S. Savarese, “Active learning for convolutional
neural networks: A core-set Approach”. In Proceedings of theInternational Conference on Learning Representations, 2017.
B. Settles, M. Lease, and B. C. Wallace, “Active learning
literature survey”. Computer Sciences Technical Report 1648
University of Wisconsin–Madison, 2010.
A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N.
Gomez, Ł. Kaiser, and I. Polosukhin, “Attention is all you need”.
In Advances in Neural Information Processing Systems, 5998–
6008, 2018.
M. Yuan, H.-T. Lin, and J. B.-Graber, “Cold-start Active
Learning through Self-supervised Language Modeling”.
Proceedings of the 2020 Conference on Empirical Methods in
Natural Language Processing, pp.7935-7948, 2020.
M. Zhang and B. Plank, “Cartography active learning”. In
Findings of the Association for Computational Linguistics:
EMNLP 2021, pp.395–406, 2021.
Y. Zhang, “Active discriminative text representation learning”.
31st AAAI Conference on Artificial Intelligence, 2016.
J. Zhu, H. Wang, T. Yao, and B. K. Tsou, “Active learning withsampling by uncertainty and density for word sense
disambiguation and text classification”. In Proceedings of the
22nd International Conference on Computational Linguistics,
pp.1137-1144, 2008.