日本データベース学会和文論文誌
一般論文

Vol. 20-J, Article No. 6, 2022 年 3 月

帰納バイアスを考慮した Twitter 上で1の噂に関する投稿のスタンス検出

はじめにソーシャルメディアの発展により，人々は多くの情報を各種プ

ラットフォームから得られるようになった．その中でも Twitter

高田 大輔 1

杉山 一成 2は，「ツイート」と呼ばれる短い文章でユーザが自分の意見や自吉川 正俊 3

分が知る情報を自由に投稿することができ，情報を発信したり，収集したりするためのプラットフォームとして人気を博してい

今日，ソーシャルメディアプラットフォームは情報収集のツーる．しかし，その利便性ゆえに，Twitter 上での誤情報の伝播が大ルとして多くの人々に利用されている．ソーシャルメディアプ

きな問題となっている．2020 年には，新型コロナウイルスに関ラットフォームの中でも，特に，Twitter は「ツイート」と呼ばれする誤情報が各地で混乱を引き起こした．「トイレットペーパー

る短いメッセージをユーザが自由に公開することができ，情報をがなくなる」という誤情報が拡散されたために起きたトイレット

拡散するためのプラットフォームとして人気を博している．しかペーパーの買い占めによる社会の混乱 [1] や，花崗岩を入浴剤とし，ソーシャルメディアが膨大な情報へのアクセスを可能にする

して使うとコロナに効くといった誤情報が出回った [2] のはまだ一方で，投稿された内容によってもたらされるソーシャルメディ

記憶に新しい．こうした社会の混乱につながるような誤情報の伝

ア上での風評被害や誤情報の伝播が，社会的な問題になってい播を防ぐためにも，噂に関する数多くの研究が行われてきた [3]．

る．この問題に対処するべく，数多くの噂の信憑性を分類する手

ここで，噂の定義を確認しておく．噂の定義は，研究ごとに法が提案されている．なお，ここで「噂」とはその信憑性が曖昧

様々な定義が存在するが，本研究では，ソーシャルメディアへのである情報を指すものとする．噂の信憑性は，その噂に関する議

投稿時には，まだその信憑性が明らかになっていない情報のこと論に参加しているものの噂に対するスタンスと相関関係にあるこを指すものとする．
噂には大きく分けて，次の 2 つのタイプが存在する．

とがわかっているので，噂の真偽判定には，その噂のツイートに対する意見のスタンス (“Support”，“Deny”，“Query”，“Comment”)(1) あるイベントが起こったタイミングで新しく出現する噂の情報を利用することができる．そのため，「噂に関する投稿の(2) その真偽が不明なまま長期間にわたり議論されている噂

スタンス分類」は，「噂の真偽判定」にとって非常に重要な役割を果たす．本研究では，「噂に関する投稿のスタンス分類」のタス(1) は，一般的には今までに検出されたことのない噂であるたクに着目し，帰納バイアスを考慮した 3 種類の手法を提案する．

め，これを早期に検出することは，誤情報の拡散による混乱を防ここで，帰納バイアスとは，特定の条件・状況が分かっている際

ぐという点で重要である．(2) は，既に噂として認知されているに，精度の向上につながるような改善をすることを意味するもの

噂であるので，(1) の新しく出現するタイプの噂とは異なり，ことする．

のタイプの噂はリアルタイムで処理される必要はない．

1 つ目は，特定のラベルを持つデータを追加することである．

次に，噂に関する研究の概要について述べる．噂に関する研究

これは，本研究に用いるデータセットの特徴を考慮した上での提は，数多く行われているが，大きく分けて 4 つの課題があり，そ案手法である．2 つ目は，皮肉の意味を持った単語の特徴抽出へのうちの 1 つ，もしくはいくつかの組み合わせに焦点を当てていの利用である．これは，ソーシャルメディア上での会話に特有なる．以下にその 4 つの課題を示す．

パターンを考慮した上での提案手法である．3 つ目は，Twitter 固(1) 噂の検出

有の情報の特徴抽出への利用である．これは，Twitter というプ

(2) 噂の追跡

ラットフォームに固有の機能を考慮した上での提案手法である．

(3) 噂に関する投稿のスタンス分類

これらのうち，3 つ目の手法は，大きく精度の向上に繋がること(4) 噂の真偽判定となった．
最後に，SemEval - 2017 Task 8 : RumourEval の subtaskA の「(1) 噂の検出」は，一連の投稿からどの投稿が噂を広めている

データセットに対して，提案手法の中で効果的だと判断された投稿なのかを判断するものである．
「(1) 噂の検出」のためのコン手法を用いて，アンサンブル学習を行う．結果は，Accuracy がポーネントは，新しく出現した噂を特定するときに用いられ，長0.785，macro-F1 が 0.593 となった． これは，SemEval - 2017

期間存在する噂を扱う場合には必要ない．主なアプローチとして

Task 8 : RumourEval の subtaskA（評価尺度：Accuracy）の結果のは，投稿のテキスト情報を直接利用したテキストベースのアプ中で，最も高いスコアである．

ローチ，その投稿をしたユーザ自身の情報を利用したユーザ情報
ベースのアプローチ，ツイートの広まり方に関する情報を利用した伝播ベースのアプローチが存在する．
「(2) 噂の追跡」は，ある投稿が噂の投稿であると特定された

1 学生会員

京都大学情報学研究科(もともと噂であるとされていた，もしくは前述の噂検出のコン

takata.daisuke.72r@kyoto-u.jp
2 正会員

ポーネントによって特定された) 後に，その噂に関する意見を論

京都大学情報学研究科

じている投稿を見つけ，その投稿に関するクラスタを生成する．

kaz.sugiyama@i.kyoto-u.ac.jp
3 正会員

京都大学情報学研究科「(3) 噂に関する投稿のスタンス分類」は，対象となる噂に関連

yoshikawa@i.kyoto-u.ac.jp

1

日本データベース学会和文論文誌
一般論文

Vol. 20-J, Article No. 6, 2022 年 3 月

した各投稿が，噂の真実性に対してどのようなスタンスを持って会話スレッドの例１

いるのかを決定するものである．“Support” (ユーザがその噂を支

u1 : 新型コロナウイルス感染症は一般的に飛沫感染，接触感染で持する意図を持っている，S)・“Deny” (ユーザがその噂を否定す

感染する．(Support)

る意図を持っている，D)・“Query” (ユーザがその噂に対して疑u2 : @u1 その通りです．(Support)

問を持っている，Q)・“Comment” (ユーザがその噂に対して中立

u3 : @u2 信頼できる機関での HP でも確認できまし的な意見を述べている，C) の 4 種類のスタンスがある．このプ

た，正しいです．(Support)

ロセスによって，後続の「(4) 噂の真偽判定」が容易になる．こ

u4 : @u1 ちなみに飛沫感染とは感染者の飛沫 (くしゃみ，れは，スレッドでの議論における噂の真実性の予測に着目した研咳，つばなど) と一緒にウイルスが放出され，他の方がそのウ

究 [4] [5] により，噂の信憑性はその議論に参加しているものの噂

イルスを口や鼻などから吸い込んで感染することを言います．

に対するスタンスと相関関係にあることが示されたからである．

(Comment)

すなわち，「群衆の知恵」を利用することで噂の真偽を判定する

u5 : @u1 専門家もそう言っていました．(Support)という事である．

u6 : @u1 間違えています．空気感染も一般的です．(Deny)「(4) 噂の真偽判定」は，噂と判定されたものが真であるか，偽であるか，またはその真偽がまだ明らかになっていないかを判断

会話スレッドの例２

するものである．判定と一緒にその判定がどの程度信頼できるも

u1 : WHO が方向転換して「感染者の隔離は不要」と発表した．

のなのかを表す信頼度を出力する研究もある．

(Support)

本研究では，上述した 4 つの課題のうちの 1 つである「(3) 噂

u2 : @u1 間違っています．(Deny)

に関する投稿のスタンス分類」の精度向上につながるような帰納

u3 : @u1 信頼できません．(Deny)

バイアスを見つけることを目的とする．

2

u4 : @u3 私も信頼できません．WHO は会見でそのようなことを言っていません．(Deny)関連研究

u5 : @u1 情報源はありますか ? (Query)

本論文では，SemEval - 2017 Task 8 : RumourEval [6] のu6 : @u1 WHO は改めて声明を発表するべきだ．(Com-subtaskA 並びに SemEval - 2019 Task 7 : RumourEval [7] のment)subtaskA にて用いられたデータセットを用いて，噂に関連する
投稿のスタンス分類を行う．スタンス分類が subtask の 1 つにま

図1で設定されるのは，噂の真偽を分析する上で重要な点は，ソー

会話のスレッドの例．例１は議論のもととなっている噂

その噂を議論する会話のスレッドがインプットとして存在する(u1) が真である場合，噂に関する (スレッド上の) 投稿 (u2〜u6) には “Support” が多いことも表している．例２は議論のもととなっている噂 (u1) が偽である場合，噂に関する (スレッド上の) 投稿 (u2〜u6) には “Deny” や “Query” が多いことも表し

場合，スタンス分類の目的は，会話のスレッドの各投稿に，そのている．

シャルメディア上の他のユーザが，その噂をどのように見ているかを定義することだからである．噂になるようなソースの投稿と噂に対するユーザのスタンスをラベル付けすることである．このタスクが有効に機能することで，追加の文脈と情報を提供するこ

表1とにより，噂の真偽分類のタスクをサポートすることができる．

話題とそれを特定するための手がかりとなるような単語の例

Topic (Feature)

例えば，ある一つの噂に対して議論が展開し，そのうちの多数が“Support” であった場合，議論を展開したユーザらが，その議論

Beliefのもととなった噂が真であることを検証したと推測することがで

Knowledge

きる．なお，噂とそれに付随する議論による会話のスレッドの例

Doubt

Example Words
assume，believe，suspect，think，thought
conﬁrm，deﬁnitely，admit
wonder，allege，unsure，guess，speculate

を図 1 に示す．ソースとなる投稿にも，スタンスが与えられている点には注意が必要である．

UWaterloo [8] のモデルは，ツイートからトピックに依存しな分類に利用する．メッセージ固有の特徴とは，ツイートのテキい特徴を抽出し，それを利用することに焦点を当てたモデルであスト情報から得られる特徴である．例えば，句読点の有無や，ツる．トピックに依存しない特徴には，キュー特徴とメッセージ

イートの文字数などがこれにあたる．これらの特徴を抽出した上固有の特徴の 2 種類が存在する．キュー特徴とは，ツイートので，ブースティングによる分類 (XGBoost) を行う．このモデル

話題の種類を特定するための手がかりとなるような単語から得は， Accuracy 0.780 を達成した．これは，SemEval - 2017 Task 8

られる特徴であり，その話題の種類は 9 種類存在する．そのう: RumourEval の subtaskA の中で，2 番目に優れた値である．

ちの 3 種類を表 1 に示す．話題を表す単語を特定した後は，そTuring [9] のモデルは，Twitter 上での会話の枝構造を用いたの話題の種類から投稿のスタンスを決定する．例えば，Belief やLSTM に基づくスタンス予測である．LSTM ベースの逐次モデ

Knowledge に該当する単語は，ツイートした者が支持を表明しルを提案し，ツイートの会話構造をモデル化した．このモデルでている，すなわち “Support” のスタンスをとっていると考えられ得られた Accuracy は，0.784 であった．これは，SemEval - 2017

る．このようにして，キュー特徴を噂に関する投稿のスタンス

Task 8 : RumourEval の subtaskA の中で，最も優れた値である．
2

日本データベース学会和文論文誌
一般論文

Vol. 20-J, Article No. 6, 2022 年 3 月

u1 : 〇〇をすると絶対に△△に感染する．間違いない．(Support)

提案手法

3

u2 : @u1 絶対という言葉の意味をご存知ですか ? (Deny)

本研究では精度の向上につながると考えられるような，帰納バ

u3 : @u1 ソースはどこですか ? (Query)

イアスを考慮した手法を 3 つ提案し，それぞれの結果を考察す
る．ここで，帰納バイアスとは，特定の条件・状況が分かってい図2る際に，精度の向上につながると考えられるような改善をするこ「?」を使っているが，使用の用途が違う例．u2 さんの投稿では「?」は皮肉の意味で使われている．すなわち，絶対ととを意味するものとする．3.1 節では，分類器の性能を改善させいう言葉の意味を，相手が確実に知っているとわかった上でこるために効果的だと考えられるデータセットについて考察する．

のような聞き方をしているということであり，正しいラベルは

これは，本研究に用いるデータセットの特徴を考慮した上での提“Deny” である．u3 さんは，質問の意図で「?」を用いているので，正しいラベルは “Query” である．

案手法である．3.2 節では，word2vec アルゴリズム *1 を用いて抽出した特徴に続く形で，皮肉の意味を持つ単語の特徴をより捉えるよう工夫することによって，分類の精度を高めることができるかについて考察する．これは，ソーシャルメディア上での会話に捉えるようにしている．これは，2 章で述べた，Turing のモデル

特有なパターンを考慮した上での提案手法である．3.3 節では，を参考にしてのことである．そこで，以下の 4 パターンの精度のTwitter 固有の情報を特徴抽出に利用することによって，分類の精度を高めることができるかについて考察する．これは，Twitter

変化を比較して，考察する．

(1) 悪口も皮肉も特徴としないモデルというプラットフォームに固有の機能を考慮した上での提案手法(2) 悪口を特徴とするモデルである．

(3) 皮肉を特徴とするモデル

最後に，SemEval - 2017 Task 8 : RumourEval の subtaskA で(4) 悪口と皮肉の両方を特徴とするモデルのデータセットに対して，提案手法のなかで効果的だと判断した

3.3 Twitter 固有の情報の特徴抽出への利用手法を用いてアンサンブル学習を行い，SemEval - 2017 Task 8 :これまでの，投稿からのスタンス検出の際の特徴抽出では，投RumourEval の subtaskA での結果と比較する．
3.1

稿のテキスト情報を直接利用した，テキストベースでの特徴抽出

特定のラベルを持つデータの追加

本研究で用いる SemEval - 2017 Task 8 : RumourEval の sub-が多かった．例として，「?」の有無を特徴として捉えたり，写真

taskA での訓練データセットには，“Deny” と “Query” のサンプ

やビデオなどのメディアの有無を特徴として捉えたりするものがル数が少ないという問題がある．そこで，ラスベガス銃乱射事件

ある．4.2 節で述べる特徴抽出の方法は，全てテキストベースの(2017) とカリフォルニア銃乱射事件 (2018) の 2 つの事件に関連

特徴抽出である．また，3.2 節で提案した手法も，テキストベー

するツイートのうちの，“Deny” と “Query” に当てはまる 60 件

スの特徴抽出であると言える．

のツイートをデータセットに加える．なお，ここで追加した分

ここで，Twitter というプラットフォーム自体に着目すると，そのデータセットは Aditya の研究 [10] で公開されているものであのプラットフォーム特有の数々の機能がある．代表的なものに，る．これを，表 2 の訓練データセットで訓練した分類器，表 3 の以下の 3 つがある．

訓練データセットで訓練した分類器の精度と比較し，考察する．

(1) フォロー機能

テストデータセットは，SemEval - 2017 Task 8 : RumourEval の(2) リツイート機能

subtaskA のものを用いた．なお，データセットの詳細について(3) お気に入り機能

は，4.1 節で詳しく述べる．
3.2

1 章において，噂の研究の概要で述べた「(1) 噂の検出」には，皮肉の意味を持った単語の特徴抽出への利用

ソーシャルメディア上での会話に特有なパターンがいくつかあ

その投稿をしたユーザ自身の情報を利用したユーザ情報ベースのる [11]．その一つに，図 2 に示されるように，皮肉やレトリック

アプローチが存在する．したがって，噂に関する投稿のスタンスなどを表現するときに「?」が含まれるというものがある．このパ検出にもユーザの情報を利用できると考えられるので，フォロー

ターンの問題は，「?」に引っ張られてしまい，誤って “Query” と数・フォロワー数を特徴として捉える．また，リツイート数やおいうラベル付けがされてしまう可能性があるという点である．こ気に入り数が多いツイートは，それを見る側のユーザにとって受の問題に対処するために，英語で皮肉を表す表現を辞書で調べ，け止めやすいもの，すなわち，スタンスが比較的明瞭なものであ

その中から 41 語をリストとして保持し，それに含まれる語を特ると考え，それら 2 つの指標も特徴として捉える．

徴として捉えるようにする．4.2 節で述べるように，本研究での，データセットからの特徴抽出のうちの word2vec アルゴリズムを最後に，SemEval - 2017 Task 8 : RumourEval の subtaskA で使ったモデルでは，悪口を表す英単語に関しては，英語で悪口をのデータセットに対して，提案手法のなかで効果的であると判断表す語 *2 をリストとして保持し，それに含まれる語を特徴としてした手法を用いて，ハイパーパラメータチューニングをした分類器でアンサンブル学習を行う．この学習法は，様々な分類アルゴ
リズムを組み合わせることで，個々のモデルの弱点を補完する*1 https://code.google.com/archive/p/word2vec/*2 http://urbanoalvarez.es/blog/2008/04/04/bad-words-list/

ので，分類器を個別に使う方法よりも高い汎化性能が得られる．

3

日本データベース学会和文論文誌
一般論文

Vol. 20-J, Article No. 6, 2022 年 3 月

提供されている 127 個の英語のストップワードを指定した．

表 2 SemEval - 2017 のデータセット

Support

Deny

Query

Comment

Total

train

841

333

330

2,734

4,238

test

94

71

106

778

1,049

Google News のデータセットで事前学習済みのモデルを利用して，ツイートに対する特徴ベクトルを生成する．word2vec アルゴリズム [12] は，ニューラルネットワークに基づく教師なし学
習アルゴリズムであり，単語間の関係を自動的に学習する．背景には，同じような意味を持つ単語を，同じようなクラスタに配置

表 3 SemEval - 2019 のデータセットするという考え方がある．また，これに続く形の特徴ベクトルとSupport

Deny

Query

Comment

Total

train

910

344

358

2,907

4,519

test

141

92

62

771

1,066

して，2 章で述べた UWaterloo のモデルを参考に，次の 10 個の特徴を追加した．

•「not」や「no」，「don’t」などといった否定語の数．
• 句読点の数．
•「?」の有無．疑問のスタンスを持つツイートは「?」を含むこ

それを，同じデータセットを用いている SemEval - 2017 Task 8 :とが多い．

RumourEval の subtaskA での結果と比較し，考察する．なお，こ• 感嘆符の有無．

こで SemEval - 2019 Task 7 : RumourEval の subtaskA を選択し• ハッシュタグの有無．
• ユーザへのメンションの有無．

なかったのは，2019 年のコンペティションのデータセットにはReddit のデータが含まれており，3.3 節で述べた Twitter 固有の情

• URL の有無．

報を利用した特徴抽出が実現できないためである．また，Twitter• 写真やビデオなどのメディアの有無．

と Reddit で出現する噂のタイプが異なるためでもある．これに• テキスト処理に使うことのできるライブラリである

ついては，5 章で詳しく述べる．本研究ではあくまでも Twitter

Textblob *4 を用いた感情分析 (極性分析)．今回は結果が肯上のデータに対するスタンス検出という課題に焦点を当てる．

4

実験

4.1

データセット

定的なものであれば 1，そうでなければ 0 とした．

• 事前に登録された 458 個の悪口の表現の中に含まれる語数．
否定のスタンスを持つツイートは悪口の表現を含むことが多い．

本研究では，2 種類のデータセットを用いて実験を行う．
ベースライン作成時の特徴抽出や，提案手法の実験での特徴抽

表 2 は，SemEval - 2017 Task 8 : RumourEval の subtaskA でのデータセットに関する統計値である．一方，表 3 は，SemEval

出の際などにこのモデルを用いる時は，全てこれら 10 個の特徴

- 2019 Task 7 : RumourEval の subtaskA でのデータセットのうちベクトルを追加したものとする．

の Twitter のデータセットである．Twitter のデータセットに限定

4.3

評価尺度

本研究では，評価尺度として Accuracy と macro-F1 を用いる．

しているのは，もともとこのデータセットは Twitter と Reddit の2 つのソーシャルメディアプラットフォーム上での議論から収集

Accuracy を評価尺度の１つ目として選択した理由は，SemEval

されたものであることと，3.3 節で述べたように，本研究ではあ- 2017 Task 8 : RumourEval の subtaskA において，それが評価

くまでも Twitter 上のデータに対するスタンス検出という課題を尺度として用いられているためである．4.1 節で述べたように，扱うためである．

今回の実験で使用するデータセットの 2 種類のうちの一つは，

これらのデータセットは，どちらも Twitter 上での議論から収SemEval - 2019 Task 7 : RumourEval の subtaskA のものであ集されたものである. そのトピックは，そのデータセットが作らる．提案手法の結果をこのタスクの結果と比較する時のために，れた当時に話題となったトピックを扱っている．そのスタンスのAccuracy を評価尺度の１つ目として選択する．

アノテーションには，クラウドソーシングが用いられている．ア

macro-F1 を評価尺度の２つ目として選択した理由は，SemEval

ノテーションには，まず，参加できる人を米国と英国の人々に限- 2019 Task 7 : RumourEval の subtaskA での評価尺度が macro-F1

定し，各アノテーションを最大 10 人の担当者で行い，担当者のであることと，データセットのクラスに偏りがあるためである．

間での一致度が 70% である時に，正しいラベル付けがされたと

前者は，Accuracy を選択した理由と同じ理由である．後者は，表している．

2 と表 3 に示されるように，このデータセットは含まれるクラス

4.2に大きく偏りがあり，具体的には最も関心の低いクラスであると特徴抽出

テキストデータからの特徴抽出は，Bahuleyan の研究 [8] と言えるコメントのクラスが，訓練データ・テストデータともに 6

Adhikary の研究 [10] を参考に，word2vec アルゴリズムを使った割以上を占めている．そこで，最も出現するクラスラベル (すな

モデルを実装した．

わちコメントのクラス) に過度な影響を受けることなく，分類器の全体の性能を評価するよう全てのクラスを平等に重み付けする

はじめに前処理として，文書のトークン化とストップワードのmacro-F1 が評価尺度に適していると考えたためである．

除去を行う．ストップワードの除去には， NLTK ライブラリ *3 で
*3 https://www.nltk.org/*4 https://textblob.readthedocs.io/en/dev/

4

日本データベース学会和文論文誌
一般論文

Vol. 20-J, Article No. 6, 2022 年 3 月

ベースラインの作成

4.4

ムを指定している．正則化に L1 ノルムを用いるか L2 ノル

3 章で述べた各手法の効果を検証するにあたって，比較するた

ムを用いるかということと，正則化の強さを決めるパラメー

めのベースラインが必要であるが，4.1 節で述べたように，今回

タ 𝐶 ，乱数については，10 分割交差検定で，グリッドサーチの実験で用いるデータセットは，公式のコンペティションで用いとランダムサーチを用いて決定した．結果は，Accuracy がられているデータセットだけでなく，それに対して自身で改良を0.776，macro-F1 が 0.566 となった．ロジスティック回帰は加えたものも含まれるので，コンペティションでのベースライン

識別性が高いため，NB よりも良い結果を得ることができた．

は本研究のベースラインとしては相応しくない．そこで，自身で(4) ランダムフォレスト (RF)：決定木のアンサンブルと見なす

ベースラインを作成する．
4.4.1

ことができるランダムフォレストは，スケーラビリティが高ベースラインのデータセット

く，使いやすいことで知られている．これは，それぞれバリ

ベースラインに対して用いるデータセットとしては，4.1 節でアンスが高い複数の決定木を平均化することで，より汎化性

述べた 3 種類のデータセットのうち，一番データの数が少ない，能が高く過学習に対して堅牢なモデルを構築するという考え

SemEval - 2017 Task 8 : RumourEval でのデータセットを用いる．

方に基づいている．不純度の指標には，ジニ不純度を採用しデータセットとして一番データの数が少ないものを選んだのは，た．一般的にジニ不純度とエントロピーは，非常によく似た

3.1 節にて，データを増やすことでの性能の変化を比較するため結果となる．決定木モデルの構築の際には，ブートストラッ

である．

プサンプリングを行うように指定した．肝心なのはブートス

なお，テキストからの特徴抽出としては，4.2 節で述べた方法

トラップ標本のサイズである．ブートストラップ標本のサイ

を用いる．
4.4.2

ズを小さくすると，ランダムフォレストのランダム性が向上

ベースラインの候補の作成することがあるので，過学習の影響を抑えるのに役立つ可能

本研究において，作成した分類器を以下に示す．

性がある．ただ，その分バイアスは大きくなってしまう．逆にブートストラップ標本のサイズを大きくすると，過学習に(1) Naïve Bayes 分類器 (NB)：テキストの分類問題のための基本

陥る可能性が高くなる．ただその代わりバリアンスが大きく的な分類器である．他のアルゴリズムと比べて，比較的小さ

なってしまう．学習結果に大きく影響するこのパラメータとなデータセットで特に優れた分類性能を発揮する傾向がある

乱数については，10 分割交差検定で，グリッドサーチとランので，ベースラインとして選択した．パラメータ 𝛼 を大き

ダムサーチを用いて決定した．結果は，Accuracy が 0.770，

くするとモデルの複雑さが減るが，アルゴリズムの性能はそmacro-F1 が 0.623 となった．

れほど変化しないことが多い．今回はラプラススムージング(5) 𝑘 最近傍法 (KNN)：KNN アルゴリズムは選択された距離指に相当する．結果は，Accuracy が 0.726，macro-F1 が 0.248

標に基づき，訓練データセットの中から分類したいデータにとなった．

最も近い 𝑘 個の訓練データを見つけ出す．そしてそのデー(2) Support Vector Machine (SVM)：SVM はカーネルトリック

タ点のクラスラベルは 𝑘 個の最近傍の多数決によって決まを使って分離超平面を高次元空間で特定することができる．

る．距離指標にはユークリッド距離を用いた．最近傍の点をカーネルとして，動径基底関数カーネル (以降は RBF カー

何点選択するかは，過学習と学習不足のバランスをうまくネルとする) を用いる．𝛾 パラメータはこの RBF カーネルのとらなければならない．このパラメータは 10 分割交差検定

カットオフパラメータであると解釈できる．このパラメータ

で，グリッドサーチを用いて決定した．結果は，Accuracy がによって訓練データセットの影響力が直接決まるので，この0.757，macro-F1 が 0.460 となった．

パラメータを最適化することが，過学習の制御の面で重要な(6) ブースティング：ブースティングでは，誤分類された訓練デー役割を果たす．そこで，𝛾 ，正則化の強さを決めるパラメー

タを後から弱学習器に学習させることで，アンサンブルの性

タ 𝐶 ，乱数については，10 分割交差検定で，グリッドサーチ

能を向上させる．本研究では，ブースティングアルゴリズムとランダムサーチを用いて決定した．結果は，Accuracy がのうちの「勾配ブースティング」に焦点を当てる．これも弱学

0.777，macro-F1 が 0.561 となった．

習器を強学習器にブーストするものである．これには scikit-(3) ロジスティック回帰 (LR)：最適解の探索手法として L-BFGS

learn の GradientBoosting と Python のライブラリの API の
XGBoost を採用した．XGBoost は基本的には勾配ブース

アルゴリズムを用いたロジスティック回帰で実験を行う．多クラス分類の種類として，あるインスタンスを対象のクラス

ティングの計算効率の良い実装である．GradientBoosting でに割り当てるか，それ以外に割り当てるかという二値分類のの弱学習器の個数は性能に直接影響する．そこで，このパ拡張か，純粋な多クラス分類かを指定しなければならない

ラメータはグリッドサーチを用いて決定した．勾配ブース

が，今回は訓練データが複数のクラスに所属することはな

ティングの結果は，Accuracy が 0.776，macro-F1 が 0.566 とく，1 つのクラスにしか所属しないことが保証されている互なった．XGBoost の結果は，Accuracy が 0.765，macro-F1

いに排他なデータなので，通常の実務で推奨されている多クが 0.514 となった．

ラス分類を指定した．なお，クラス分類に二値分類の拡張を指定しなければ，最適解の探索手法の LIBLINEAR アルゴリ
ズムを使うことができないこともあり，L-BFGS アルゴリズ

5日本データベース学会和文論文誌
一般論文

Vol. 20-J, Article No. 6, 2022 年 3 月

表4

ラメータのままでは，これ以上データを増やしても過学習を起こ

最終的に決定したベースライン

分類器

Accuracymacro - F1

NB

0.726

0.248

SVM

0.777

0.561

LR

0.776

0.566

RF

0.770

0.623

KNN

0.757

0.460

勾配ブースティング

0.776

0.566

すだけであると考えられる．
他の分類器の macro-F1 に着目すると，データセットの変更による性能の変化があまりないことがわかる．データの前処理の仕方，特徴抽出の方法，分類器自体の構成を工夫することが重要であると考えられる．
4.5.2

皮肉の意味を持った単語の特徴抽出への利用

本実験においては，データセットは，SemEval - 2017 Task 8 :RumourEval の subtaskA のデータセットを，特徴抽出は 4.2 節で述べた方法を用いる．表 7，表 8 に，実験結果を示す．なお，表中の語は，以下のように対応している．

表 5 訓練データセットの変更による性能の変化１

LR• nothing : 悪口も皮肉も特徴としないモデルを用いた．

acc

macroF1

acc

macroF1

acc

macroF1• bad : 悪口を特徴とするモデルを用いた．

NB

SVM

2017

0.726

0.248

0.777

0.561

0.776

0.566

• irony : 皮肉を特徴とするモデルを用いた．

2017v2

0.726

0.248

0.780

0.561

0.786

0.558

• all : 悪口と皮肉の両方を特徴とするモデルを用いた．

2019

0.726

0.245

0.779

0.560

0.783

0.565

ロジスティック回帰 (LR)，ランダムフォレスト (RF)，ブース
ティングの nothing，bad の macro-F1 に着目すると，総じて値が増加している．ここで，ランダムフォレストの nothing，bad の時

表 6 訓練データセットの変更による性能の変化２

RF

KNN

の混合行列を，それぞれ，表 9，表 10 に表す．悪口を表す単語を

ブースティング

特徴として捉えることで，全てのラベルにおいて，正しく分類すacc

macroF1

acc

macroF1

acc

macroF1

2017

0.770

0.623

0.757

0.460

0.776

0.566

も特に注目すべき点は “Query”(Q) と “Deny”(D) において正しく2017v2

0.745

0.457

0.757

0.460

0.776

0.582

分類できたデータの数が増えたことである．この二つのラベルは

2019

0.765

0.516

0.766

0.508

0.782

0.570

分類が難しく，大抵が “Comment”(C) として識別されてしまう．

ることができたデータの数が増えていることがわかる．この中で“Deny”(D) では F1 スコアが 0 となることも多い．この二つのラ
ベルでの精度が向上したのは，“Query”(Q) や “Deny”(D) のスタ
4.4.3

ベースラインの決定

ンスを持つテキストに悪口表現が含まれることが，しばしばある

表 4 は，最終的にベースラインとして決定した分類器の Accu-ためであると考えられる．

racy と macro-F1 をまとめたものである．
4.5

次に，ロジスティック回帰 (LR)，ランダムフォレスト (RF)，

実験結果

ブースティングの nothing，all の macro-F1 に着目すると，総じ3 章で述べた各手法に対する実験結果を示し，その結果について値が増加している．しかし，NB，ロジスティック回帰以外のて考察する．
4.5.1

分類器の bad，all の macro-F1 に着目すると，総じて値が減少し特定のラベルを持つデータの追加ているのがわかる．この結果から，悪口の言葉の特徴と皮肉の言

SemEval - 2017 Task 8 : RumourEval の subtaskA のデータセッ

葉の特徴を捉えることは確かに精度の向上にはつながるが，二つトを 2017data，SemEval - 2017 Task 8 : RumourEval の subtaskAとも足すことは特徴量が多くなり，互いに直交しない，類似性ののデータセットに “Deny” と “Quary” に当てはまるデータセット

ある特徴が導入されることにより，精度が落ちてしまうというこを足したものを 2017v2data，SemEval - 2019 Task 7 : RumourEvalとが考えられる．

の subtaskA のデータセットのうちの Twitter のデータセットを

また，nothing と irony の macro-F1 に着目すると，ランダム

2019data とする．これら 3 種類のデータセットに対して 4.4.2 節

フォレスト (RF) とブースティングに関しては精度の向上につなで述べた種々の分類器を用いて学習を行い，その性能の変化を考がったが，それ以外では精度が向上することはなかった．皮肉の察する．なお，テストデータセットは，SemEval - 2017 Task 8 :言葉の特徴を捉えることが精度の向上にあまり貢献していないの

RumourEval の subtaskA のテストデータセット，特徴抽出は 4.2

は，英語での皮肉表現が，文章の形で表されるものが多いことが節で述べた方法を用いる．実験結果を表 5，表 6 に示す．

一因として考えられる．また，皮肉を表す単語として登録した語

ランダムフォレスト (RF) に着目すると，Accuracy があまり変の数が少なかったことも一因として考えられる．

化していないのに対して，macro-F1 は，大きく変動しているこ

4.5.3 Twitter 固有の情報の特徴抽出への利用とがわかる．具体的には，2017 に対して 2017v2 と 2019 のスコ

データセットは，SemEval - 2017 Task 8 : RumourEval のアが減少している．そこで，2017v2 と 2019 での，訓練データに

subtaskA のデータセットを用い，特徴抽出の方法としては 4.2 節

対する Accuracy を求めると，前者は 0.995，後者は 0.995 と，明で述べた方法を用いる．それによって抽出された特徴に続く形とらかに過学習を起こしていた．ランダムフォレストでは，今のパ

して以下のものを加える．なお，この名称は，結果を示す表 11，

6

日本データベース学会和文論文誌
一般論文

表7

Vol. 20-J, Article No. 6, 2022 年 3 月

特定の意味を持つ語の特徴を捉えることによる性能の変化１

NB

SVM

能の変化１

LR

acc

macroF1

acc

macroF1

acc

macroF1

nothing

0.726

0.248

0.777

0.561

0.774

0.561

bad

0.726

0.248

0.777

0.561

0.776

0.566

irony

0.726

0.248

0.777

0.561

0.774

0.561
0.570

all

表8

0.726

0.248

0.776

表 11 Twitter 固有の情報を特徴抽出に利用することによる性

0.559

0.777

NB

SVM

LR

acc

macroF1

acc

macroF1

acc

macroF1

base

0.726

0.248

0.777

0.561

0.776

0.566

user

0.127

0.235

0.741

0.185

0.756

0.424

ret & fav

0.090

0.022

0.780

0.545

0.783

0.580

all

0.127

0.253

0.742

0.185

0.753

0.646

特定の意味を持つ語の特徴を捉えることによる性能の変化２

RF

表 12 Twitter 固有の情報を特徴抽出に利用することによる性

ブースティングKNN

accmacroF1

acc

macroF1

acc

macroF1

nothing

0.748

0.460

0.755

0.462

0.774

0.549

bad

0.770

0.623

0.757

0.460

0.776

0.566

irony

0.760

0.569

0.754

0.455

0.776

0.609

all

0.766

0.611

0.756

0.459

0.770

0.550

能の変化２

RF

Q

D

C

S

25

1

0

68

Q

1

14

0

91

D

1

0

0

70

C

18

12

2

746

acc

macroF1

acc

macroF1

base

0.770

0.623

0.757

0.460

0.776

0.566

user

0.763

0.526

0.744

0.308

0.774

0.601

0.765

0.759

0.780

0.548

0.779

0.595

all

0.760

0.503

0.746

0.314

0.776

0.568

表 13

表 10 bad での混合行列 (RF)

ブースティング

macroF1

ret & fav
表 9 nothing での混合行列 (RF)

S

KNN

acc

効果的な帰納バイアスの検証

Accuracymacro-F1

0.785

0.593

やし過ぎてしまうことになり，それによって過学習が起きている

S

Q

D

C

ことが考えられる．

S
Q

26
1

0
26

0
0

68
79

最近傍法 (KNN)，ブースティングの macro-F1 に着目すると，ret

D

2

1

1

67

&fav が base に対して一様に高い数値を示している．特に，ラン

C

15

6

2

755

ダムフォレストの macro-F1 は 0.759 と，他の分類器の値と比べ次に，ロジスティック回帰 (LR)，ランダムフォレスト (RF)，𝑘ても非常に高い値を示している．このことから，リツイート数・
お気に入り数を特徴として利用することが性能向上につながると言える．これは，リツイート数・お気に入り数が多いツイート

表 12 と対応している．

は，そのスタンスがユーザ側にとって比較的明瞭，すなわち，ス• base : 何も加えない，基準となる値．

タンスが分類しやすいことが関係していると考えられる．

• user : フォロワーの数，フォロイーの数 (ユーザ情報) を特徴

4.6として加える．

効果的な帰納バイアスの検証

最後に，これまでの 4.5 節を通して効果的だと判断した帰納バ• ret & fav : リツイート数，お気に入り数を加える．

イアスを用いて実験を行う．データセットには SemEval - 2017

• all : ユーザ情報，リツイート数，お気に入り数を加える．

Task 8 : RumourEval の subtaskA のデータセットを用い，このコンペティションの結果と比較する．データセットからの特徴抽

表 11，表 12 に，4.4.2 節で説明した各分類器によって得られた

出には，4.2 節で述べた方法を用いる．4.5.2 節より，悪口を表す

実験結果を示す．

SVM と k 最近傍法 (KNN) の macro-F1 に着目すると，user と言葉の特徴を捉えるようにする．4.5.3 節より，リツイート数・all が base に比べて非常に低い値となっている．そこで，SVM のお気に入り数を特徴として抽出する．それをハイパーパラメータ

ret & fav での訓練データに対する Accuracy と all での訓練デー

チューニングをした上での SVM，ロジスティック回帰，ランダ

タに対する Accuracy を出力すると，前者は 0.752 だったのに対ムフォレスト， 𝑘 最近傍法，勾配ブースティングを用いたアンサ

し，後者は 0.924 であった．後者は明らかに過学習を起こしていンブルで学習した結果を，表 13 に示す．これは，SemEval - 2017

ることがわかる．ユーザに関する情報を加えることが特徴量を増Task 8 : RumourEval の subtaskA の中で最も高い数値である．
7

日本データベース学会和文論文誌
一般論文

5

Vol. 20-J, Article No. 6, 2022 年 3 月

結論

参考文献
[1] 江口英佑, 栗林史子. 朝日新聞 デマ拡散，トイレットペーパー消えた「在庫は十分」, 2 2020.
[2] 朝日新聞. 朝日新聞 (新型コロナ) デマ・便乗商法に注意「予防効果」現時点では全て根拠なし, 3 2020.
[3] Arkaitz Zubiaga, Ahmet Aker, Kalina Bontcheva, Maria Liakata, and
Rob Procter. Detection and resolution of rumours in social media: A
survey. ACM Computing Surveys (CSUR), Vol. 51, No. 2, pp. 1–36,
2018.
[4] William Ferreira and Andreas Vlachos. Emergent: a novel dataset for stance classiﬁcation. In Proceedings of the 2016 conferenceof the North American chapter of the association for computational
linguistics: Human language technologies, pp. 1163–1168, 2016.
[5] Omar Enayet and Samhaa R El-Beltagy. Niletmrg at semeval-2017
task 8: Determining rumour and veracity support for rumours on
twitter. In Proceedings of the 11th international workshop on semantic
evaluation (SemEval-2017), pp. 470–474, 2017.
[6] Leon Derczynski, Kalina Bontcheva, Maria Liakata, Rob Procter,
Geraldine Wong Sak Hoi, and Arkaitz Zubiaga. SemEval-2017 task 8:
RumourEval: Determining rumour veracity and support for rumours.
In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017), pp. 69–76, August 2017.
[7] Genevieve Gorrell, Elena Kochkina, Maria Liakata, Ahmet Aker,
Arkaitz Zubiaga, Kalina Bontcheva, and Leon Derczynski. Semeval2019 task 7: Rumoureval, determining rumour veracity and support
for rumours. In Proceedings of the 13th International Workshop on
Semantic Evaluation, pp. 845–854, 2019.
[8] Hareesh Bahuleyan and Olga Vechtomova. Uwaterloo at semeval-2017
task 8: Detecting stance towards rumours with topic independent features. In Proceedings of the 11th International Workshop on Semantic
Evaluation (SemEval-2017), pp. 461–464, 2017.
[9] Elena Kochkina, Maria Liakata, and Isabelle Augenstein. Turing atsemeval-2017 task 8: Sequential approach to rumour stance classiﬁcation with branch-lstm. arXiv preprint arXiv:1704.07221, 2017.
[10] Aditya Adhikary, Sanidhya Singal, and Saurabh Kapur. Rumour stanceclassiﬁcation: Nlp ﬁnal project report. NLP Final Project Report,
2019.
[11] Karthik Radhakrishnan, Tushar Kanakagiri, Sharanya Chakravarthy,
and Vidhisha Balachandran. “a little birdie told me...”-inductive biases
for rumour stance detection on social media. In Proceedings of the 6thWorkshop on Noisy User-generated Text (W-NUT 2020), pp. 244–248,
2020.
[12] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeﬀrey Dean. Eﬃcientestimation of word representations in vector space. In Proceedingsof the Workshop at the 1st International Conference on Learning
Representations (ICLR 2013), 2013.
[13] Shalini Priya, Ryan Sequeira, Joydeep Chandra, and Sourav Kumar
Dandapat. Where should one get news updates: Twitter or reddit.
Online Social Networks and Media, Vol. 9, pp. 17–29, 2019.

本研究では，噂に関する投稿のスタンス検出に有効であると考えられる手法を 3 つ提案した．

1 つ目は，「特定のラベルを持つデータの追加」である．これは，スタンス検出に利用するデータにクラスの偏りがあることを考慮して，特にその数が少ない “Deny” と “Query” に相当するツ
イートを，追加のデータセットとして加えるものであった．ベースとなるデータセット，特定のクラスのラベルを持ったデータを追加したデータセット，特定のクラスでなく全体的にデータを追加したデータセットの 3 種類の訓練データセットを用意し，訓練後に得られたそれぞれの分類器の性能を比較したが，その性能に大きな差はなかった．

2 つ目は，「特定の意味を持った単語の特徴抽出」である．これは，“Deny” や “Query” の表現に含まれることの多い，悪口の表
現や皮肉の表現を持つ単語を特徴抽出に利用することによって，性能の向上を図るものであった．悪口の表現や皮肉の表現を特徴抽出に利用することによって精度は向上したが，悪口の表現のみ
特徴抽出に利用するほうが精度の向上の幅は大きかった．

3 つ目は，「Twitter 固有の情報の特徴抽出」である．これは，Twitter というプラットフォームに固有の情報を特徴抽出に利用するものである．Twitter 固有の情報には，大きく分けて，「ユーザ関連の情報」と「リツイート数・お気に入り数の情報」の 2 種類が存在する．ユーザ関連の情報を足すことは，特徴量が増えすぎることになってしまい，過学習に陥り，性能が低下した．しかし，テキスト関連の情報を足すことは，スタンス検出の精度の向上に繋がった．これは，リツイート数・お気に入り数が多いツ
イートは，そのスタンスがユーザ側にとって比較的明瞭，すなわ
ち，スタンスが分類しやすいことが関係していると考えられる．
最後に，効果的であると判断された帰納バイアスを考慮して，SemEval - 2017 Task 8 : RumourEval の subtaskA のデータセッ
トと同じデータセットで実験を行い，このコンペティションの結果と比較したところ，コンペティション結果の中で最も高い数値を得ることができた．
今後は，本研究で得られたことを利用して，Twitter とは異なるプラットフォームでの噂に関する投稿のスタンス検出にも取り組んでいきたい．しかし，プラットフォーム間での現れる噂の種類の違いが，この問題を難しくする．特に，Twitter と Reddit では，このプラットフォーム間の違いが明白である．Twitter で出現する噂にはニュース速報的なものが多いのに対し，Reddit 出
現する噂は長年議論されている噂であることが多い [11]．すな
わち，1 章で述べた噂の二つのタイプのうちの「(1) あるイベン
トが起こったタイミングで新しく出現する噂」がよく現れるのがTwitter であり，「(2) その真偽が不明なまま長期間にわたり議論されている噂」がよく現れるのが Reddit であるということである．
また，Twitter 上での噂に関する議論はそれが収束するまでに長い時間がかかるのに対し，Reddit 上での噂に関する議論は比較的短い時間で収束する [13]．SemEval - 2019 Task 7 : RumourEvalの subtaskA では，この現象により分類の難易度が上がったことが報告されている．

8