DEIM Forum 2023 5b-4-4

誹謗中傷検出精度向上のためのマルチタスク学習におけるサブタスクの選定
沢田 凌一†

鈴木優††† 岐阜大学大学院自然科学技術研究科知能理工学専攻 〒 501–1193 岐阜県岐阜市柳戸 1 番 1†† 岐阜大学工学部電気電子・情報工学科 〒 501–1193 岐阜県岐阜市柳戸 1 番 1
E-mail: †b4525045@edu.gifu-u.ac.jp, ††ysuzuki@gifu-u.ac.jp
あらまし我々は誹謗中傷の検出精度向上のためにマルチタスク学習に着目した．マルチタスク学習とは，1 つのモデルで複数のタスクを行うことができる学習方法である．複数のタスク間で損失の重みを共有することでタスクの精度向上が期待できる．誹謗中傷の検出精度向上に効果があるサブタスクを選定するため，本研究では，2 種類のサブ
タスクに着目した．1 つ目は字面からわかる誹謗中傷の種類を分類するタスクである．誹謗中傷の種類が多いことによる定義の難しさが検出の難易度を上げているという問題に対して，誹謗中傷の種類を分類するタスクをサブタスクに選定することで検出精度の向上につながると考えた．2 つ目は誹謗中傷の原因となる投稿者の感情を分類するタスクである．誹謗中傷投稿者の多くは正義感や怒りの感情など特定の感情を抱き，自身の投稿を誹謗中傷だと自覚していないという特徴がある．そのため投稿者の感情を分類するタスクをサブタスクに選定することで検出精度の向上につながると考えた．シングルタスクモデル，サブタスクとして，字面からわかる誹謗中傷の種類を分類するタスクを加えたマルチタスクモデル，誹謗中傷の原因となる投稿者の感情を分類するタスクを加えたマルチタスクモデル，字面からわかる誹謗中傷の種類を分類するタスクと誹謗中傷の原因となる投稿者の感情を分類するタスクの両方を加えたマルチタスクモデルの検出精度を比較した．その結果，2 種類のサブタスクを別々に加えたモデル 2 つでは評価指標の向上が見られたが，両方を加えたモデルでは評価指標の向上が見られなかった．そのため，誹謗中傷検出タスク
においてサブタスクは増やすほど検出精度が向上するわけではなく，サブタスクの種類や組み合わせによって検出精度が向上するか決まることを確認した．
キーワード BERT，SNS，Twitter，誹謗中傷検出，マルチタスク学習
本研究では，マルチタスク学習を用いた誹謗中傷検出タスク

1 はじめにSNS の普及に伴って誹謗中傷の増加が問題になっている．人手で誹謗中傷の投稿を削除できれば問題ないが，全ての投稿を一つ一つ確認して誹謗中傷を検出するにはあまりに時間と労力がかかりすぎる．そのため，誹謗中傷の自動検出に期待が寄せられている．誹謗中傷に関する禁止語句を設定し，禁止語句を含む投稿全てを自動検出してしまえば誹謗中傷の投稿はなくなるだろう．しかし，それでは表現の自由を損害してしまう. そのため，単語ではなく文章から誹謗中傷かどうか判断することが必要である．文章から誹謗中傷かどうか判断する方法として機械学習を用いた手法が考えられる．しかし，機械学習を用いた手法においてすべての誹謗中傷を検出するのは難しく，検出精度の向上が必要である．
検出精度向上には様々な手法が考えられるが，その１つにマルチタスク学習 [1] がある．マルチタスク学習は最も解きたい
タスクである主タスクに加えて補助の役割を果たすサブタス
クを同時に解くことで，共有された表現を獲得することができる．サブタスクの選定方法によって検出精度に大きな効果をもたらすため，有効なサブタスクを適切な数選定することが重要である．

の精度を向上させるために最適なサブタスクの選定を目指す．
我々は，誹謗中傷検出タスクにサブタスクとして選定できる関連の深いタスクが存在すると考えマルチタスク学習に着目した．
誹謗中傷タスクと関連が深いと考えたタスクは 2 つある．1 つ目は，誹謗中傷の表現を分類するタスクである．誹謗中傷には表現が多いことによる定義の難しさが検出の難易度を上げているという問題がある．実際，誹謗中傷で罪に問われる際には名誉棄損罪，侮辱罪，信用毀損・業務妨害罪，脅迫罪の 4 つの罪がある．この誹謗中傷の表現は誹謗中傷を細分化したものであり誹謗中傷の検出と関連の深いタスクになると考えた．2 つ目は，誹謗中傷投稿者の感情を分類するタスクである．誹謗中傷の投稿者は，正義感や怒りの感情など自身を正当化する感情を抱き，自分の投稿を誹謗中傷だと自覚していないことが多いという特徴がある．実際に炎上事例に批判的なコメントをした投稿者のもつ動機を調査した結果，正義感が 6 割を超えたという
調査 [2] もある．この誹謗中傷投稿者の感情は誹謗中傷の原因となるものであり誹謗中傷の検出と関連の深いタスクになると考えた．以上より，サブタスクの候補として字面からわかる誹謗中傷の種類を分類するタスクと誹謗中傷の原因となる投稿者の感情を分類するタスクの 2 つに着目した．
データの収集には Twitter API を用いた．収集したデータに対して誹謗中傷かどうかの質問と着目したサブタスク 2 つにつ

数値を記録したが，重要な項目である Recall の数値がシングいてそれぞれ 3 つずつ，計 7 つの質問を行いラベルをつけるこ

ルタスクモデルと変わらない結果となった．字面からわかる誹

とでデータセットを用意した．誹謗中傷の定義は投稿相手を傷謗中傷の種類を分類するタスクと誹謗中傷の原因となる投稿者

つけるものとした．投稿相手とはツイートを向けられた人，集の感情を分類するタスクの両方のサブタスクを加えたマルチタ

団，モノのことである．“傷つける” の基準は客観的に見て，投スクモデルは，全ての評価指標で精度がシングルタスクモデル

稿相手を傷つける要素を含むかどうかとした．ツイートから取と比べて変わらない結果となった．

得できない前提を加えた場合のみ傷つくツイートは除いた．誹

この研究の貢献を以下に示す．

謗中傷とはならないツイートの例を記す．

（ 1 ） 誹謗中傷検出タスクにおけるサブタスク選定において字面

例1

身長低いね

情報から予想しないとわからない感情より，字面をみて瞬例2〇〇さん魚嫌いらしいよ

間的にわかる情報の方が適していることを示した．

例 1 は，投稿の受け手が低い身長にコンプレックスを抱いてい（ 2 ） マルチタスク学習においてサブタスクは増やすほど検出精た場合誹謗中傷となる恐れがあるが，抱いていなければ誹謗中傷とはならない．このような字面からわからない前提を踏まえ度が向上するわけではなく，サブタスクの種類，数もしくは組み合わせによって検出精度が向上するか決まることを確認した．

なければ誹謗中傷とはならないツイートは本研究では検出しな
い．例 2 はこの情報が真実かどうか定かではない噂話である．
もしこのツイートが真実ならば投稿の受け手は傷つかないだろ

2 関連研究うが，真実でなければ嘘を広められており傷つくだろう．本研

本章では，本研究の関連研究を紹介する．誹謗中傷の検出を

究では，ツイートが真実かどうか判断できないものは検出はし行う研究は多数行われている．誹謗中傷を検出するには，誹謗

ない．ただし，“〇〇さん△△さんのこと嫌いらしいよ” のツ

中傷文の特徴量を得る必要がある．特徴量を得る方法には，人

イートは真実でもそうでもなくとも，受け手は人に知られたく

手で誹謗中傷語を収集した辞書を作成し，文章に含まれる単語

ない情報を広められているとして傷つく可能性が高いためこのとの関連性から特徴量を得る方法 [4] [5] と，BERT を用いて文ようなツイートは検出することとする．

章から特徴量を得る方法 [6] [7] がある．また，タスクの精度を誹謗中傷ツイートの例を記す．
例1

お前バカだな，ふざけんな！いい加減にしろ (直接的な表現)

例2〇〇さんってゴキブリみたいですよね (遠回しな表現)

例3

タヒね，まじきえ ro(遠回しな語句 )例 1 は，直接的な表現であり明らかな誹謗中傷である．例 2 は向上させる手法の 1 つにマルチタスク学習がある. 誹謗中傷タス
クに適応された事例は見当たらないが，様々なタスク [8] [9] において精度の向上が確認されている．BERT とマルチタスク学
習を組み合わせることで，文章分類の精度が向上した研究 [10]もある．これらの関連研究から，BERT を用いた誹謗中傷検出
タスクにマルチタスク学習を使用することで精度の向上が期待できると考えた．

直接的な表現は使用していないが文章全体を読むと明らかな誹独自で誹謗中傷に関係の深い特徴語を収集することで辞書を謗中傷である．例 3 は語句として成立していないが，意味が通作成し、辞書に含まれる特徴語と文章の関連性から誹謗中傷をじる文章で明らかな誹謗中傷である．

検出する関連研究を紹介する．磯野ら [4] は，不適切な投稿を用意したデータセットは訓練データ，検証データ，試験デー検出し，書き改めるように勧めることを目的に誹謗中傷の検出

タに分割した．訓練データを用いてシングルタスクモデル，字を行っている. 誹謗中傷は表層的な語句を手がかりに検出でき面からわかる誹謗中傷の種類を分類するタスクをサブタスクとると考え，誹謗中傷の投稿に出現するワードの数から独自に特して加えたマルチタスクモデル，誹謗中傷の原因となる投稿者

徴語を集め辞書を作成し SVM を用いて検出している．また，の感情を分類するタスクをサブタスクとして加えたマルチタス

大友ら [5] は，ネットいじめの自動検出を目的に研究を行ってクモデル，字面からわかる誹謗中傷の種類を分類するタスクといる．いじめ文の投稿から単語ごとの TF-IDF を求めることで誹謗中傷の原因となる投稿者の感情を分類するタスクの両方の独自のいじめ表現辞書を作成し，6 種類の機械学習モデルで検サブタスクを加えたマルチタスクモデルの 4 つを構築した．学

出精度を比較している．このように人手で特徴語を収集する研習には BERT [3] を使用した．BERT は双方向 Transformer に

究は多数行われている．

よって文章理解を実現し，高い汎用性を持つ事前学習用の機械

2 つの関連研究はどちらも課題として特徴量の算出方法や辞学習の手法である. 構築した分類器で試験データを用いて検出書に登録する単語の改善を挙げている．本研究では，遠回しな精度を比較した．

表現に対応するため独自の辞書を作成するわけではなく，事前

シングルタスクモデルと比べて字面からわかる誹謗中傷の種

学習済みの BERT を使用している．BERT を使用することで類を分類するタスクをサブタスクとして加えたマルチタスクモ

単語ではなく文章全体に着目して誹謗中傷の検出を行うことがデルは，全ての評価指標で精度が向上する結果となった．誹謗

でき，単語に依存する問題を解決することができる．

中傷の原因となる投稿者の感情を分類するタスクを加えたマル

機械学習を用いて特徴量を取り出す手法として，BERT を用

チタスクモデルは，Accuracy が 4 つの分類器の中で最も高いいた表現抽出を利用し、分類タスクを行った関連研究を紹介す

る．Lee ら [6] は，BERT と自身らの提案した新たなデータ補
強技術を組み合わせ，Twitter データセットを用いた皮肉検出

ラベル付け

学習

で高い検出精度を達成している．このように BERT は言語表
(2)主タスク（5）主タスク分類器１（6）主タスクサブタスクA分
類器2（7）主タスクサブタスクB分
類器
3（8）主タスクサブタスクA+B

分類
器
4

現の検出において高い検出精度を達成した事例が報告されている．また，Caselli ら [7] は，Reddit のコメントを集めたデータ（１）データの収集(3)サブタスクA

データセット

セット RAL-E を用いて BERT に英語の罵倒表現を学習させている．Reddit とは，アメリカ合衆国で広く使用されている(4)サブタスクB

掲示板型のソーシャルサイトである．その結果，罵倒表現を学習させる前の BERT より高い性能を示すことに成功している．
本研究では，データ補強技術や事前学習させるわけではなくマ
図1

ルチタスク学習に着目して実験を行っている．

提案手法の概要図

マルチタスク学習を用いることで精度向上を試みた関連研究を紹介する．Collobert ら [8] は，品詞タグ付け，チャンキング，

スクを主タスク，字面からわかる誹謗中傷の種類を分類するタ

固有表現認識などの 6 つの代表的な自然言語処理タスクにおいスクをサブタスク A，誹謗中傷の原因となる投稿者の感情を分てマルチタスク学習を適応し，様々なタスクに適応可能である

類するタスクをサブタスク B とする．提案手法の流れ，マルチことを示している．特に SRL に関しては最先端の性能を達成

タスク学習，サブタスクの定義と選定，提案モデルについて説したことを示している．また，Luong ら [9] は，Seq2Seq を用明する．
提案手法の流れを以下に，概要図を図 1 示す．

いた英語ドイツ語間の翻訳においてマルチタスク学習を用いることで大幅に精度向上を果たしたことを報告している．
誹謗中傷に関係のない分類タスクに BERT とマルチタスク学
習の両方を利用した関連研究を紹介する．Samghabadi ら [10]は，非攻撃性のテキスト，間接的な攻撃性のテキスト，直接的な攻撃性のテキストの 3 クラス分類を行うタスクと，ジェン（ 1 ） Twitter API を用いてツイートを収集する．
（ 2 ） 収集したツイートに対して主タスクについての質問をしラ
ベル付けを行う．
（ 3 ） 収集したツイートに対してサブタスク A についての質問をダー問題に対して肯定的か否定的かの 2 クラス分類を行うタス

3 つしラベル付けを行う．

（ 4 ） 収集したツイートに対してサブタスク B についての質問をクの 2 つを同じ分類器で解くマルチタスク学習を行っている．
3 つしラベル付けを行う．
分類器を構築する際の文脈の情報抽出に BERT を用いている．
（ 5 ） ツイートのテキスト情報を用いて主タスクを解く分類器を本研究では，同じく BERT とマルチタスク学習を用いている
構築する．
が，1 つのタスクを解くために複数のサブタスクを選定すると（ 6 ） ツイートのテキスト情報を用いて主タスクとサブタスク Aいう点で関連研究とは目的が異なっている．
を解く分類器を構築する．
以上の関連研究より単語辞書生成や BERT による誹謗中傷（ 7 ） ツイートのテキスト情報を用いて主タスクとサブタスク Bの自動検出，自然言語処理分野にマルチタスク学習を用いた研を解く分類器を構築する．
究は行われている．しかし，BERT とマルチタスク学習を組み（ 8 ） ツイートのテキスト情報を用いて主タスクとサブタスク A，合わせた誹謗中傷の自動検出，及び有効なサブタスクの選定はサブタスク B を解く分類器を構築する．
見当たらない．本研究では，マルチタスク学習の適応による精度向上が誹謗中傷検出タスクにも期待できるのではないかと考え，提案手法として BERT とマルチタスク学習を利用し誹謗中傷の自動検出，及び有効なサブタスクの選定を行う．

3. 1 マルチタスク学習
マルチタスク学習 [1] とは，1 つのモデルで複数のタスクを解くことができる学習方法である．タスクの名称は様々だが本稿

3 提案手法では最も解きたいタスクを主タスク，主タスクを補助する役割のタスクをサブタスクと呼ぶこととする．タスクを並列処理す本研究では，誹謗中傷検出タスクの精度向上を目的としてマることで，主タスクとサブタスクの共有された表現を獲得し主

ルチタスク学習におけるサブタスクの選定を行う．サブタスク

タスクの学習を助けることができる．この性質から関連の深いには主タスクと関連の深いタスクを選択するのが一般的である．

タスクをサブタスクに選定することで主タスクの精度向上が期

なぜなら，関連の深いタスクの方が主タスクと並列に学習させ待できる．

る際に共通の表現を獲得しやすく，主タスクを解く助けになる

本研究では，誹謗中傷検出を主タスクとした際，関連の深いからである．誹謗中傷と関連の深いタスクとして，字面からわタスクとしてサブタスクに選定できるタスクが存在すると考えかる誹謗中傷の種類を分類するタスクと誹謗中傷の原因となる

マルチタスク学習に着目した．このように考えた理由は 2 つあ

投稿者の感情を分類するタスクの 2 つに着目した．2 つのタス

る．1 つ目は，誹謗中傷の種類が多いことによる定義の難しさ

クをサブタスクとして主タスクの学習に加えることで検出精度が検出の難易度を上げているという問題点に対して，サブタスの向上を図る．以降，誹謗中傷かそうではないかを分類するタクに誹謗中傷の種類を分類するタスクを選定することで検出精

度の向上につながると考えたからである．2 つ目は，誹謗中傷た理由を説明する．容姿の否定は字面としてわかりやすい，直の投稿者は，正義感や怒りの感情など自身を正当化する感情を接的な表現と間接的な表現を両方含む，受け手が傷つきやすい持っていることが多いため，自分の投稿を誹謗中傷だと自覚し表現であるという考えから選定した．

ていないことが多いという特徴から，サブタスクに誹謗中傷のサブタスク B-1 を選定した理由を説明する．正義感は感情と原因となる投稿者の感情を分類するタスクを選定することで検してわかりにくいという課題があるが，誹謗中傷の投稿者が抱

出精度の向上につながると考えたからである．

く感情として多いものの 1 つであるという考えから選定した．

3. 2 サブタスクの定義と選定
本研究では，字面からわかる誹謗中傷の種類と誹謗中傷の原因となる投稿者の感情の 2 つに着目した．字面からわかる誹謗
中傷の種類に着目した理由について説明する．誹謗中傷の定義をすることは難しい．なぜなら，誹謗中傷は種類が多いからである．例えば誹謗中傷が罪に問われる際，名誉棄損罪，侮辱罪，サブタスク B-2 を選定した理由を説明する．怒りの感情は正義感同様誹謗中傷の投稿者が抱く感情として多いものの 1 つである，他人の感情であっても字面から想像しやすい感情であるという考えから選定した．サブタスク B-3 を選定した理由を説明する．失望の感情は相手を責めるのではなく投稿者の感情を投稿することで間接的に相手を傷つけるという点で他のサブタス
クと違った点を持つという考えから選定した．

信用毀損・業務妨害罪，脅迫罪の 4 つがある．また，1 章の誹謗中傷ツイートの例に示した通り，直接的な表現や遠回しな表

3. 3 提案モデル

現，遠回しな語句を用いた誹謗中傷が存在する．誹謗中傷を定本研究では，BERT [3] とマルチタスク学習を組み合わせた義する際はその全てを網羅するようにしないといけない．そこ

モデルを使用している．BERT(Bidirectional Encoder Repre-

で本研究では，字面からわかる誹謗中傷の種類を分類するタス

sentations from Transformers) [3] とは，自然言語処理におけクが誹謗中傷と関連の深いサブタスクとして機能し，検出精度

る事前学習用の機械学習モデルである．双方向の Transforemer

向上に繋がるのではないかと考えた．実際のサブタスクには，によって，ラベルのないデータから高い汎用性を持つ事前学習

罪名を問うとわかりにくいため，代表的な例の質問を行った．

モデルを構築できることや，単語ごとではなく文章全体を理解誹謗中傷の原因となる投稿者の感情に着目した理由についてできるという特徴を持つ．実際にタスクを解く際には，最終層説明する．誹謗中傷をやめるように呼び掛けても無くならないをタスクにあった形に微調整するだけで利用できるため様々な原因の 1 つに投稿者が自身の投稿を誹謗中傷と自覚していない研究に使用されている．これらの特徴から BERT は単語ごとでことがあげられる．なぜなら，投稿者は悪気を持って誹謗中傷

はなく，文章全体をみて誹謗中傷かどうか判断したい今回のタの投稿をする訳ではなく，集団心理における正義感や怒りの感

スクに適していると考えた．また本研究では，東北大学の乾・情など特定の感情を抱いて誹謗中傷をすることが多いからであ鈴木研究室が公開している事前学習済みの BERT モデル 1 を，る．そのため，投稿者の感情は誹謗中傷の原因となるものと言誹謗中傷検出タスクにあった形に微調整して使用している．

える．そこで本研究では，誹謗中傷の原因となる投稿者の感情

BERT とマルチタスク学習は，図 2 のように組み合わせていを分類するタスクが誹謗中傷と関連の深いサブタスクとして機る．テキストを前処理したのち input として BERT に入力す

能し，検出精度向上に繋がるのではないかと考えたこの 2 種類

る．マルチタスク学習を用いて主タスクとサブタスクを BERTのサブタスクの大きな違いは，字面からわかる情報か字面からで並列に学習する．学習したそれぞれの出力の合計を softmax

予測しないとわからない情報かという点である．誹謗中傷の種関数を用いて 1 になるように調整する．その後 output で主タ類を分類するタスクには明確な答えがあり，字面をみて判断す

スクとサブタスクの損失の重みを統合することで，共通の要因

ることができる．しかし，投稿者の感情は実際は投稿者しかわを獲得することができる．また，主タスクとサブタスクの損失

からず第三者はあくまで予測でしか判断することができない．

の重みの割合を変更することで，主タスクを解く際にどれほどそのため，ラベル付けを行う際にはラベル付けを行う作業者にサブタスクからの影響を加えるかを調整することができる．

よってばらつきが生じる可能性がある．
サブタスクの質問と例を表 1 に示す．サブタスクは表 1 の質問に対して Yes か No を分類するタスクとした．サブタスク

A-1 から A-3 までは字面からわかる誹謗中傷の種類を分類する
サブタスク，サブタスク B-1 から B-3 までは誹謗中傷の原因となる投稿者の感情を分類するサブタスクである．
サブタスク A-1 を選定した理由を説明する．脅迫のツイート
は誹謗中傷の中でも危険性が高い，直接的な表現が多い，出現回数が多いという考えから選定した．サブタスク A-2 を選定した理由を説明する．差別表現は誹謗中傷問題としてよく取り上げられている．言葉単体では誹謗中傷と判断しにくく，文章全体を理解しないと検出が難しいという点で他のタスクとは違った点を持つという考えから選定した．サブタスク A-3 を選定し4 評価実験
マルチタスク学習における誹謗中傷検出タスクの精度向上に適したサブタスクを選定するため実験を行った．実験は，シングルタスクモデルと次に説明するマルチタスク学習を用いた 3
種類のモデルを構築し比較を行った．1 つ目は，字面からわかる誹謗中傷の種類を分類するサブタスク A を加えたマルチタ
スクモデルである．2 つ目は，誹謗中傷の原因となる投稿者の感情を分類するサブタスク B を加えたマルチタスクモデルである．2 つのモデルは，着目した 2 つのサブタスクの効果に有用性があるかどうか調べるために構築した．3 つ目は，サブタス
1：https://github.com/cl-tohoku/bert-japanese表1

サブタスクの質問

サブタスク

サブタスクの質問例

A-1

このツイートは投稿相手を脅迫しているツイートですか?

殺すぞ，殴るぞ，監禁するぞ，秘密(脅迫とは投稿者が自らの行動によって投稿相手を危険にさらそうとすることの告 をばらしてやる，家を燃やすぞ知とする．)
このツイートは投稿相手を差別しているツイートですか?

A-2

女はわがままだな，男は馬鹿だな，(差別とは投稿相手の特定の思想や所属団体，属性に関して否定的な考えを押し付 〇〇人はきえろける行為とする。)

A-3

このツイートは投稿相手の容姿を否定しているツイートですか?

ブサイクだな，顔面終わってるな，

B-1

このツイートの投稿者は正義感を持ってツイートしたと思いますか?

服装ダサすぎ〇〇党の方が優れているに決まって(正義感を持ってとは自分が正しいもしくは投稿相手が間違っていると考え，考え いるだろ，誤字ってるよ馬鹿なの?
押し通そうとする感情とする．)

B-2

このツイートの投稿者は怒りの感情を持ってツイートしたと思いますか?

ふざけんな，お前むかつくなぁ

B-3

このツイートの投稿者は失望の感情を持ってツイートしたと思いますか?

なんかがっかりだわ、期待してたのにクソゲーやん

表2

softmax（主タスク）

input

output（主タスク）

損失の重みを統合

BERT

softmax（サブタスク）

図2

output（サブタスク）

提案手法のモデル図

ク A，サブタスク B の両方を加えたマルチタスクモデルである．このモデルは，両サブタスクを同時に学習させることが有効である可能性があるため構築し比較を行った．本章ではデー
タセット，実験手順，結果，考察について記す．

4. 1 データセット
データの収集方法には Twitter API を用いた．Twitter は，
誹謗中傷の投稿が目撃される数が多い SNS の 1 つである [11]．
そのため，本研究で扱うデータの収集に適していると考えた．
対象ツイートは以下の条件で絞り込みを行った．
（ 1 ） 明確に投稿相手が定まっているツイートに絞るためメンション付きツイートのみを対象とする．

全 10,508 ツイートに対するラベル付け結果

ツイートの種類Yes

No

誹謗中傷であるか

2,862

7,646

脅迫の字面を含むか

494

10,014

差別の字面を含むか

409

10,099

容姿の否定の字面を含むか

382

10,126

正義感の感情を含むか

769

9,739

怒りの感情を含むか

1,238

9,270

失望の感情を含むか

399

10,109の内 692 ツイートは作業者に内容が理解できないと判断され本研究では使用しなかった．その結果，データセットは 10,508 ツ
イートとなった．全ツイートのラベル付け結果を表 2 に示す．
各タスクのラベル付けは全て独立に行った．つまり，1 つのツ
イートに対して主タスク，サブタスクを合わせた 7 つのラベルがついている．

4. 2 実 験 手 順
データセットは訓練データ，検証データ，試験データを順に

8:1:1 に分割した．学習は (1) テキストのみを用いたシングルタ
スクモデル，(2) サブタスク A を加えたマルチタスクモデル，(3) サブタスク B を加えたマルチタスクモデル，(4) サブタス
ク A，サブタスク B の両方を加えたマルチタスクモデルの 4 つを行った．(2)，(3)，(4) においてはあくまでも主タスクの精度向上が目的なので，損失の重みを統合する際の割合を主タスク（ 2 ） リツイートや引用ツイートは本人の意思で述べておらず，と全サブタスク比率が 6:4 となるように設定した．この設定に本研究で検出したいツイートとは異なるため省くものとよってサブタスクよりも主タスクを重視することができる．まする．

た学習の際には，訓練データの誹謗中傷ツイートの方が少ない（ 3 ） 本研究の手法では，テキスト情報のみを用いており，画像や動画を用いたツイートは考慮するとができないため省くものとする．
取得したツイートに対して主タスク，サブタスクの問いを行いラベル付けを行うことでデータセットを作成した．ラベル付
けは，1 人 800 件を 14 人で行った．その結果，14 人の作業結果を合計し 11,200 ツイートのデータセットが作成されたが，そ問題を解消するため，誹謗中傷ツイートを複製し誹謗中傷でないツイートとデータ数を揃えた．実験環境を表 3 に記す．
また，得られたシングルタスクモデルの実験結果とマルチタ
スク学習を加えた提案手法 3 種類それぞれの実験結果に有意な差があるかどうか調べた．有意水準 0.05 で帰無仮説を “2 群の平均値に差はない” とし，対応のある 2 群の t 検定を行った．

4. 3 結果

み p 値が 0.05 を下回り，帰無仮説が棄却され 2 群の平均値に

本研究では，評価指標に Accuracy，Precision，Recall，F-

差はないとは言えない結果となった．

measure を用いた．いずれも誹謗中傷ツイートを正例としてい以上より，提案手法とシングルタスクモデルと比べると，サる．実験結果の評価指標を表 4 に混同行列を表 5，6，7，8 にブタスク A を加えたマルチタスクモデルは Precision，Recallは向上したが，t 検定の結果より有意差があるとは言えなかっ示す．
サブタスク A を加えたマルチタスクモデルはシングルタス

た．サブタスク B を加えたマルチタスクモデルは t 検定の結クモデルと比べ，Accuracy が 0.28，Precision が 0.54，Recall

果より有意差があると言えたが，Precision，Recall は向上しなが 0.56，F-measure が 0.55 向上し，全ての評価指標でシング

かった．サブタスク A，サブタスク B を加えたマルチタスクモ

ルタスクモデルを上回る結果となった．サブタスク B を加え

デルは t 検定の結果より有意差があるとは言えず，Precision，

たマルチタスクモデルはシングルタスクモデルと比べ Accu-

Recall も向上しなかった．この結果よりサブタスクを増やすほracy が 0.37，Precision が 0.41，F-measure が 0.19 向上した

ど精度が向上するわけではない，字面からわかる誹謗中傷の種

が，Recall はシングルタスクモデルと同じ数値となった．サ類を分類するタスクのみを加えたマルチタスクモデルのほうが，ブタスク A，サブタスク B を加えたマルチタスクモデルはシ誹謗中傷の原因となる投稿者の感情を分類するタスクを加えた

ングルタスクモデルと比べ Precision が 0.08，Recall が 0.35，

マルチタスクモデルよりも Presicion，Recall が向上する，検F-measure が 0.21 向上したが，Accuracy は 0.09 減少してい出精度に有意な差が認められるのは字面からわかる誹謗中傷のる．また，サブタスク A を加えたマルチタスクモデルとサブ種類を分類するタスクのみを加えたマルチタスクモデルである

タスク B を加えたマルチタスクモデルよりもシングルタスク

ことが確認された．

モデルとの差がない結果となっている．評価指標ごとに精度を比べると Accuracy はサブタスク B を加えたマルチタスクモデ
ルが一番よく，Precision，Recall，F-measure はサブタスク Aを加えたモデルが一番よい結果となった．よってサブタスク Aを加えたマルチタスクモデルが一番誹謗中傷の見逃しも誤検知も少ないという結果となった．Accuracy のみサブタスク B を加えたマルチタスクモデルが上回っているのは，試験データの誹謗中傷と誹謗中傷でないもののデータ数にばらつきがあるためだと考えられる．実際に，混同行列を見ると数の多い誹謗中傷ではないツイートを正解している数は，サブタスク B を加えたマルチタスクモデルの方が多いが，数の少ない誹謗中傷のツ
イートを正解している数は，サブタスク A を加えたマルチタス
クモデルの方が多くなっている．
また，シングルタスクモデルと提案手法それぞれの有意水準

0.05 における対応のある 2 群の t 検定の結果は，サブタスク Aを加えたマルチタスクモデルの p 値が 0.882，サブタスク B を加えたマルチタスクモデルの p 値が 0.047，サブタスク A，サブタスク B を加えたマルチタスクモデルが p 値が 0.147 となった．この結果からサブタスク B を加えたマルチタスクモデルの表3

サブタスク A を加えたマルチタスクモデルが全ての評価指標でシングルタスクを上回ったことは，本研究にとって望ましい結果となっている．しかし，サブタスクの選定には未だ改善の余地があり更なる改善が期待できる．サブタスク B を加えたマ
ルチタスクモデルにおいて，Accuracy の評価指標は，全てのタスクの中で 1 番高い数値を記録し，t 検定の結果からシング
ルタスクモデルと有意な差があったが，Recall がシングルタス
クモデルと比べて変わらない結果となっている．Recall は誹謗
中傷の見逃しをはかる数値として重要視される項目である．そのため，有効なサブタスクとは言えない結果となった．この原因として，投稿者の感情は字面から予想しなければわからないもためあり，ラベル付けを行う人によってばらつきがあることが考えられる．これを解決するためには，定義を明確にすること，ラベル付けを行う際に多数決による投票方式を採用することが考えられる．サブタスク A，サブタスク B を加えたマルチ
タスクは，シングルタスクモデルと比べて精度は向上しなかった．この原因として，サブタスクを加えすぎた結果タスク同士の共通する要因が定まらなかったことが考えられる．
サブタスク A を加えたマルチタスクモデルのみに検出できた

32

エポック数

10,000

Earlystopping

100

損失関数

交差エントロピー誤差

最適化アルゴリズム

Adam

表4

察

シングルタスクモデルと比べ Precision，Recall が上がった

実験環境

バッチサイズ

タスクの種

4. 4 考テキスト例を以下に示す．

実験結果の評価指標

例1

うるせえよぶち殺すぞクソが例2

あの顔なんかムカつくからさ...

例3

底意地が悪い。消えろ。

例より，投稿相手を脅迫をしているかの問いであるサブタスク

Accuracy

Precision

RecallF-measure

シングル

0.595

0.250

0.244

0.247

また，投稿相手の容姿の否定をしているかの問いであるサブタ

A

0.623

0.304

0.300

0.302

スク A-3 の影響で例 2 が検出できたのではないかと考えられる．

B

0.632

0.291

0.244

0.266

シングルタスクモデルと比べ検出精度に有意な差が認められ

A+B

0.586

0.258

0.279

0.268

たサブタスク B を加えたマルチタスクモデルのみに検出できた類

A-1 の影響で例 1,3 が検出できたのではないかと考えられる．

混同行列

誹謗中傷と予測誹謗中傷ではないと混同行列

誹謗中傷と予測

予測
実際に誹謗中傷誹謗中傷ではないと
予測

70

216

実際に誹謗中傷86200

実際は誹謗中傷では 209

556

実際は誹謗中傷では 196

569

ない

ない
表5

シングルタスクモデルの混同行列

混同行列

誹謗中傷と予測誹謗中傷ではないと

表6

サブタスク A を加えたマルチタスクモデルの混同行列

混同行列

誹謗中傷と予測

予測
実際に誹謗中傷誹謗中傷ではないと
予測

70

216

実際に誹謗中傷80

206

実際は誹謗中傷では 170595

実際は誹謗中傷では 229

536

ない
表7

ない
サブタスク B を加えたマルチタスクモデルの混同行列

表8

サブタスク A，サブタスク B を加えたマルチタスクモデルの混同行列

テキスト例を以下に記す．

するサブタスクを選定する際には，誹謗中傷の種類が多いこと

例1

ごみくずかす 4 ね

で定義が難しいこと，誹謗中傷の投稿者は正義感や怒りなどの例2

誰がハゲや 56 すぞ特定の感情を抱いていることが多いことの 2 つの特徴に着目し

例3

もっと国民の底を引き上げて下さい。今の〇〇党では格た．それぞれの特徴から字面からわかる誹謗中傷の種類を分類

差社会は広がっていくばかり。寄付に対する減税の幅をするタスクをサブタスク A-1 から A-3 に，誹謗中傷の原因と増やす事や弱者の負担が大きくなる消費税特に食料品やなる投稿者の感情を分類するタスクをサブタスク B-1 から B-3

生活必需品の撤廃など弱者はエンゲル係数高い。経済成に選定した．

長していた昭和時代を見習ってほしい。国家の経済を家計簿同様と〇〇省もアホか

サブタスクは以下の質問に対して Yes か No を分類するタスクとした．

例より，感情を考慮したサブタスクを加えると直接的な関係は

A-1 投稿相手を脅迫しているツイートですか?

わからないが，例 1,2 のように数字を使った遠回しな表現に対A-2 投稿相手を差別しているツイートですか?

応できた．また，投稿者が正義感を持っているかの問いである

A-3 投稿相手の容姿を否定しているツイートですか?

サブタスク B-1 の影響で例 3 が検出できたのではないかと考えられる．

B-1 投稿者は正義感を持ってツイートしたと思いますか?

今後の改善点としてデータ数の不足やばらつき，ラベル付け

B-2 投稿者は怒りの感情を持ってツイートしたと思いますか?

の観点のばらつきが考えられる．特にデータ数のばらつきは誹

B-3 投稿者は失望の感情を持ってツイートしたと思いますか?

謗中傷でないツイートが誹謗中傷ツイートの約 2.6 倍となり改善の余地があると考えられる．この問題はサブタスクに更に見られる．サブタスク A-1 は約 20.2 倍，サブタスク A-2 は約24.6 倍，サブタスク A-3 は約 26.5 倍，サブタスク B-1 は 12.6
倍，サブタスク B-2 は 7.4 倍，サブタスク B-3 は 25.3 倍の差がある．このばらつきが原因でサブタスクとしての機能が完全ではなかった可能性がある．今後は，データのばらつきを解消するために誹謗中傷のデータを更に収集する，本研究で使用したサブタスクより誹謗中傷に関連のあるサブタスクを選定する，
サブタスクは二値分類ではなく分類結果が均一になるような多クラス分類にすることを考えている．

5 おわりに提案手法として，BERT とマルチタスク学習を組み合わせることで，シングルタスクモデル，サブタスク A を加えたマルチ
タスクモデル，サブタスク B を加えたマルチタスクモデル，サブタスク A，サブタスク B の両方を加えたマルチタスクモデルをそれぞれ構築し，検出精度の向上を図ることを提案した．
評価実験を行った結果，サブタスク A を加えたマルチタスク
モデルは，シングルタスクモデルと比べて全ての評価指標で精度が向上する結果となった．しかし，対応のある 2 群の t 検定においてシングルタスクモデルと有意な差があるとは言えなかった．サブタスク B を加えたマルチタスクモデルは Accuracy が

4 つの分類器の中で最も高い数値を記録し，対応のある 2 群のt 検定においてシングルタスクモデルと有意な差が認められた．
しかし，誹謗中傷の見逃しを判定する重要な項目である Recall

本研究では，SNS の誹謗中傷検出精度向上のためのマルチの数値がシングルタスクモデルと変わらない結果となった．サタスク学習におけるサブタスクの選定を行った．誹謗中傷の量

ブタスク A，サブタスク B の両方を加えたマルチタスクモデル

は膨大で全てを人手で検出するのは不可能なため，誹謗中傷をは，全ての評価指標で精度がシングルタスクモデルと比べて変減らしていくには自動検出精度の向上は必須である．そこで，わらない結果となった．

自動検出精度の手法としてマルチタスク学習に着目した．なぜこの結果から，サブタスクの数は多ければ良いというものでなら，誹謗中傷にはマルチタスク学習のサブタスクとして選定

はなく，加えるサブタスクの内容，サブタスクの数もしくは組できる関連の深いタスクが存在すると考えたからである．関連

み合わせによって検出精度が向上するか決まることを確認した．

また，加えるサブタスクの内容によって検出できる誹謗中傷の種類が変わることを確認した．本研究の結果は暫定的なものであり，誹謗中傷検出タスクにおけるマルチタスク学習，サブタ
スクの有用性については今後更に追及する必要がある．各サブ
タスクと検出精度の関係性を明確にすることでより検出精度を向上させることのできるサブタスクの選定を行いたいと考えている．

謝辞

本研究の一部は JSPS 科研費 19H04218 および越山

科学技術振興財団の助成を受けたものです．

文

献[1] Rich Caruana. Multitask learning. Machine learning,
Vol. 28, No. 1, pp. 41–75, 1997.
[2] 山口真一. 炎上加担動機の実証分析. 2016 年社会情報学会 (SSI)
学会大会, 2016.
[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language
Technologies, Volume 1 (Long and Short Papers), pp. 4171–
4186, Minneapolis, Minnesota, June 2019. Association for
Computational Linguistics.
[4] 磯野史弥, 松吉俊, 福本文代ほか. Web 掲示板における皮肉の分類および自動検出. 研究報告自然言語処理 (NL), Vol. 2013,
No. 7, pp. 1–8, 2013.
[5] 大友泰賀, 張建偉, 中島伸介, 李琳. いじめ表現辞書を用いた twitter 上のネットいじめの自動検出. DEIM2020, C7-1,
day2, p22, 2020.
[6] Hankyol Lee, Youngjae Yu, and Gunhee Kim. Augmenting data for sarcasm detection with unlabeled conversation
context. CoRR, Vol. abs/2006.06259, , 2020.
[7] Tommaso Caselli, Valerio Basile, Jelena Mitrovic, andMichael Granitzer. Hatebert: Retraining BERT for abusive
language detection in english. CoRR, Vol. abs/2010.12472,, 2020.
[8] Ronan Collobert and Jason Weston. A uniﬁed architecture
for natural language processing: Deep neural networks withmultitask learning. In Proceedings of the 25th international
conference on Machine learning, pp. 160–167, 2008.
[9] Minh-Thang Luong, Quoc V. Le, Ilya Sutskever, Oriol
Vinyals, and Lukasz Kaiser. Multi-task sequence to sequence learning. In Yoshua Bengio and Yann LeCun, editors, 4th International Conference on Learning Representations, ICLR 2016, San Juan, Puerto Rico, May 2-4, 2016,
Conference Track Proceedings, 2016.
[10] Niloofar Saﬁ Samghabadi, Parth Patwa, Srinivas Pykl, Prerana Mukherjee, Amitava Das, and Thamar Solorio. Aggression and misogyny detection using bert: A multi-task approach. In Proceedings of the Second Workshop on Trolling,
Aggression and Cyberbullying, pp. 126–131, 2020.
[11] 総務省. インターネット上の誹謗中傷情報の流通実態に関するアンケート調査結果, 2022. https://www.soumu.go.jp/main_content/000813680.pdf.