DEIM2021 D14-5

スタンス検出タスクにおける評価方法の選定
雨宮 佑基†

酒井 哲也†† 早稲田大学基幹理工学研究科情報理工・情報通信専攻 〒 169–8555 東京都新宿区大久保 3-4-1
E-mail: †yukiamemiya@fuji.waseda.jp, ††tetsuyasakai@acm.org
あらましスタンス検出（Stance Detection）は，ニュース記事や SNS 上での投稿を対象として特定のトピックや主張に対する書き手のスタンスを特定することを目的としており，フェイクニュースの検出や噂の検証などさまざまなアプリケーションにおいて重要な要素となっている．そのため，機械学習や自然言語処理技術を活用したスタンス検出システムを構築する研究が盛んに行われている．このようなスタンス検出システムの評価には，主に Accuracy やMacro F1 が評価方法として用いられているが，どのような評価方法がスタンス検出タスクに適しているかについて明確な議論は行われていない．さらに，スタンス検出タスクでは順序的なクラス（Ordinal Class）を扱うことが多いのにもかかわらず，Ordinal Class を区別できる評価方法が用いられた研究が少ないという課題もある．そこで本研究では，最適な評価方法を選定する際の基準としてシステムランキングの類似度と順位安定性，Ordinal Class の区別という 3 つの観点から 9 つの評価方法に対して比較実験を行い，スタンス検出タスクに最も適した評価方法を選定した．
キーワード 評価方法, 評価指標, スタンス検出, Fake News Challenge
一方で，分類問題の評価に利用される評価方法は他にも多く存

1. は じ め に在するが，それらをスタンス検出タスクの評価に適用した研究

スタンス検出（Stance Detection）とは，ニュース記事や SNS

はほとんどない．しかし，一般的にタスクにおける評価方法は，上での投稿といった様々な手段で発せられた主張における，そ複数の評価方法を比較したうえで最も適切なものが選定されるの書き手のスタンスを自動的に特定することである．スタンスべきである．さらに，スタンス検出タスクでは Ordinal Class，とは，ターゲット（特定の人物やトピック，出来事）に対するつまり順序関係があるクラスのラベルを扱うことが多いのにも書き手の見解・立場を意味し，ターゲットに対して「賛成」かかかわらず，一般的に利用される Accuracy や Macro F1 は評「反対」か「どちらでもない」かのいずれかを表明するのが一般価の際に Ordinal Class を区別できていない．十分に性質が考的である．例えば，図 1 に示すように，インターネットを介し慮されていない評価方法を用いて評価することは，目的のタスて行われる遠隔授業である「オンライン授業」というターゲッ

クに対する分類システムの最適化とはかけ離れた結果を生み出

トに対し，「通学時間も交通費もかからないからオンライン授し，誤った結論が導かれる危険性があるため，評価方法の性質

業って効率的だよね．
」という主張が SNS 上で投稿されたケーを考慮したうえで最も適切な評価方法を選定することが非常にスを想定する．この例では発せられた主張がターゲットに対し重要である [3]．

て同意を示しているため，スタンス検出によって特定される正そこで本研究では，スタンス検出タスクにおける最適な評価

しいスタンスは「賛成」となる．このようなスタンス検出は，方法を選定するため，分類問題の評価で用いられる 9 つの評価

フェイクニュースの検出や噂の検証などのアプリケーションに方法に対して比較実験を行う．最適な評価方法を選定する際のおける重要な要素となっている [1]．そのため，2016 年に開催

基準は目的とするタスクによって異なるが，本研究ではシステ

された SemEval-2016 Task 6 でのツイートに対するスタンス

ムランキングの類似度と順位安定性，Ordinal Class の区別と検出タスク（注 1）や，2017 年に開催された Fake News Challenge

いう 3 つの観点から評価方法を比較する．

（注 2）

Stage 1 でのニュース記事に対するスタンス検出タスクなどのように，機械学習や自然言語処理技術を活用しスタンス検出技術の向上を目的とした研究活動が世界中に広がっている [2]．
スタンス検出タスクは，主張とターゲットを入力として書き
手のスタンスを表すクラスラベルを求める分類問題として設定されるため，タスクの参加者や研究者によって構築された分類
システムは，分類問題の評価に一般的に用いられる評価方法である Accuracy や Macro F1 によって評価されることが多い．

（注 1）：https://alt.qcri.org/semeval2016/task6/（注 2）：http://www.fakenewschallenge.org/

図 1 スタンス検出の例

2. 関 連 研 究

F1 や Macro F1 を用いた評価方法を提案した．しかし，FNC-1の公式評価方法や Accuracy，F1 は誤分類したときの深刻度をSchiller ら [4] の研究で示されているように，既存のスタン

考慮することができない．例えば，正解が Agree であるペアをス検出タスクにおける公式な評価方法としては Accuracy やDiscuss と誤分類したときと，Agree であるペアを Disagree とMacro F1 などが用いられている．その中でもスタンス検出に焦誤分類したときの評価値は同じになってしまう．しかし，本来点を当てた shared task として広く知られている SemEval-2016

は後者に大きいペナルティが与えられるべきであり，この問題

Task 6，SemEval-2017 Task 8，Fake News Challenge Stageに対処するために雨宮ら [20] は Weighted Cohen’s Kappa に1 という 3 つのタスクにおける評価方法に関する先行研究を以よる分類システムの評価を行った．

下に示す．

このように，既存のスタンス検出タスクでは評価方法として2016 年に開催された SemEval-2016 Task 6 では，ツイート

Accuracy や Macro F1 が選択されることが多かった．しかし，本文とターゲットが与えられ，ツイートを投稿した人がター

これらの評価方法がスタンス検出タスクに対して最も適してゲットに対して賛成（Favor ）の立場なのか，反対（Against ）いるかどうかについて検証した研究は，我々の知る限り存在しの立場なのか，どちらでもないか（Neither ）を分類するといない．一般に，評価方法を評価するのは非常にチャレンジング

うタスクが課され，Favor クラスの F1 スコアと Against クラな課題であり，評価の際に考慮すべき観点がタスクごとに異なスの F1 スコアの平均によってスタンス検出システムが評価さるため，どの評価方法が良い評価方法であるかを明言することれた [5]．また，Zarrella ら [6] や Wei ら [7] のように，このタは難しい．しかし，Sakai ら [21] の研究のように，複数の評価スクに取り組んだ研究者のほとんどが上記の評価方法を利用し方法を比較し各評価方法の特性を明らかにすることは，研究コていた．

ミュニティ全体の方向性を定める評価方法の選定に極めて有用

2017 年に開催された SemEval-2017 Task 8 のサブタスクである．そこで，本研究ではスタンス検出タスクにおける最適A [8] では，噂を発信したツイートが与えられたとき，その噂な評価方法を選定するため，分類問題の評価で用いられる 9 つについて議論している会話スレッド内のツイートが，発信されの評価方法に対して比較実験を行う．

た噂を支持しているか（Support ），否定しているか（Deny ），質問しているか（Query ），コメントしているか（Comment ）3. 評価方法の定義のいずれかに分類するというタスクが設定された．このタスク

本研究では 9 つの評価方法を比較し，スタンス検出タスクにのために用意されたデータセットには大きなクラス分布の偏り

おいて最も適切な評価方法を選定することを目的としている．

が見られたが，評価方法としては Accuracy が用いられた．そのため，SemEval-2017 Task 8 のサブタスク A をさらに拡張

表 1 各評価方法の定義に使われる変数

したタスクである SemEval-2019 Task 7 のサブタスク A [9] で変数

はクラス分布の偏りを考慮し，Macro F1 によってスタンス検出システムが評価された．

2017 年に開催された Fake News Challenge Stage 1（FNC1） [10] では，与えられたニュース記事の見出しと本文のペア

C（例：{Favor, Neither, Against}）

i, j （i, j ∈ C ）∑ ∑スから適切なものを分類するというタスクに対し，重み付けさN（ =れた 2 段階のスコア付け手法が公式評価方法として用いられた．

ci• （=

まず，見出しと本文の内容の関係が Related （Agree, Disagree,c•j （=

j∑システムがクラス i と予測したアイテムの総数

i cij ）

正解クラスが j であるアイテムの総数

P recjRecjのいずれかに正しく分類することができれば，分類システムのスコアにさらに 0.75 ポイントが加算される．FNC-1 のスタン
ス検出タスクに対し，独自のモデルやアーキテクチャを組み込んだスタンス検出システムを構築し，精度改善を目的とした研究の多くは，前述の公式評価方法を用いてシステムを評価してf 1(p, r)

再現率 (Recall)cj• > 0 のとき，Recj = cjj /c•jF1 値 (F1-score)
適合率と再現率の調和平均で計算される

RecM

各クラスの再現率の平均∑
RecM = j∈C Recj / |C| で計算される

ni
Oij

る評価では偏ったデータ分布を考慮できないため，Hanselowski
ら [13] や Slovikovskaya ら [18]，Umer ら [19] はクラスごとの

cj• > 0 のとき，P recj = cjj /cj•

各クラスの適合率の平均∑
P recM = j∈C P recj / |C| で計算される

Accuracy やクラス全体の Accuracy による評価値を提示していた [14–19]．一方で，FNC-1 の公式評価方法や Accuracy によ

適合率 (Precision)

P recMいた [11–18]．また，分類問題の評価指標として最も一般的である Accuracy を用いた先行研究も多く，それらはクラスごとのクラス i と予測したアイテム数
i cij ） 全アイテム数

j cij ）∑

分類システムのスコアに 0.25 ポイントが加算される．さらに，Related に分類されたペアについて Agree, Disagree, Discuss

クラスラベル（例：Favor ）正解クラスが j であり，システムがcijについて Agree, Disagree, Discuss, Unrelated の 4 つのスタン

Discuss ）か Unrelated かを正しく分類することができれば，説明
クラスラベルの集合

Eij

正解クラスが i であるアイテム数とシステムがクラス i と予測したアイテム数の総和
クラス i，j に対する実際に観測された一致度∑
u ni (u)nj (u) で計算される

Oij =クラス i，j に対する偶然による一致度

Eij = ni nj /(2N − 1) で計算される

そのため本節では Sakai [22] の定式化に従い，比較実験で使用

分類問題における複数の評価方法を比較し各評価方法の性質

する 9 つの評価方法を紹介する．まず，各評価方法の定義を表を明らかにした Sakai [22] の研究で紹介された，Mean Abso-

すうえで必要となる変数を表 1 にまとめる．

lute Error（MAE），Closeness Evaluation Measure（CEM），

まず，既存のスタンス検出タスクで用いられることが多かっ

Krippendorﬀ’s α を使用する．MAE には，クラスラベルのた Accuracy や Macro F1 は以下のように定式化できる．ただデータ分布の偏りを考慮する M AE M と，偏りを考慮しない

し，Macro F1 には 2 つの異なる計算式が存在し，それらの計

M AE µ の 2 種類があり，それらは以下のように定式化される．
∑
1 ∑ i∈C |i − j|cij
M
M AE =|C| j∈Cc•j

算式で算出された評価値によって分類システムを評価した際，2つのシステムランキングが異なる可能性があると Opitz ら [23]は述べている．そのため，本研究では Macro F1 の 2 つの計算∑式を別の評価方法と捉え，各クラスの F1 値を計算した後にそれらをクラス数で平均する Macro F1 を F1 ，各クラスの適合∑

i∈C |i − j|cij

j∈C

M AE µ =N率と再現率を平均した値を用いて調和平均を計算する Macro

続いて，Ordinal Class を扱う分類問題で使用される評価指標がF1 を F1 と定義する．なお，F1 と F1 の表記の仕方は Opitz ら満たすべき 3 つの性質，すなわち Ordinal Invariance ，Ordinalの研究を参考にした．

∑
Accuracy =Monotonicity ，Imbalance を満たしており，クラスラベル間の近さを考慮した評価指標である CEM ORD [25] は以下のようj∈C cjjに定式化される．

∑

N1 ∑
f 1 (P recj , Recj )F1 =|C| j∈C(

F1 = f 1 P recM , RecM)

また，分類システムの精度を評価する尺度として Kappa がよく知られている．Kappa は，たとえ Accuracy による評価値が同じである 2 つのシステムであっても異なる評価値を算出する
ため，その 2 つのシステムの精度を比較することができる．さらに Kappa は，分類システムによって予測されたクラスと正解∑∑

CEM ORD =

j∈C

{

∑j

i∈C proxij cij

j∈C proxjj c• j

ここで，

Kij =

c•i /2 +c•i /2 +l=i+1 c•l(i ≤ j)l=j c•l(i > j)∑i−1とすると，Sakai に倣って CEM ORD の定義中に現れる proxij
は以下のように表される．

proxij = − log2 (max {0.5, Kij } /N )クラスの偶然による一致を考慮することができるため，データ
セット内のデータサンプルに左右されずに複数のシステムを比最後に，Krippendorﬀ’s α の定義を示す．本研究では，対象と較することができる [24]．なお，スタンス検出タスクでは順序なるクラスラベルが順序的である場合（αORD ）と間隔的であ的なクラスラベルを使用することが多く，予測されたクラスとる場合（αIN T ）の 2 種類の Krippendorﬀ’s α を異なる評価方

正解クラスの不一致度合いを考慮する必要があるため，本研究

法とみなし，それぞれを以下のように定式化する．

では Kappa に各クラス対の重みを導入した Weighted Kappa∑ ∑を利用する．ここで，分類システムによって予測されたクラスij>i Oij

ij>i Eijと正解クラスが独立であるとき，それらの偶然による一致は

eij = ci• c•j /N と表され，誤分類したときのペナルティを事前に定義された重み wij = |i − j| とすると，Weighted Kappa は
以下のように定式化される．

∑
κ=1− ∑j∈C
j∈C∑

wij ciji∈C wij eij

ni +njjk=i nk −2

αORD = 1 − ∑ ∑(∑jk=i nk −ni +nj
2

)2
)2

∑ ∑
i

2
j>i Oij |i − j|2j>i Eij |i − j|αIN T = 1 − ∑ ∑
i

∑i∈C

(∑

4. データセット・分類システム
本研究では，スタンス検出タスクの一例として Fake News

前述の通り，スタンス検出タスクの分類対象は順序的なクラChallenge Stage 1（FNC-1）のデータセットと，FNC-1 に対ス（Ordinal Class）であることが多く，このようなクラスを扱して構築された分類システムを用いて比較実験を行う．FNC-1

う際には Ordinal Class の性質を考慮した評価を行うことが必を選んだのは，FNC-1 のデータセットは十分な量のデータを含要である．例えば，SemEval-2016 Task6 では各ツイートに対んでおり，FNC-1 はコンペティション開催期間中だけでなく開し Favor ，Against ，Neither という 3 つの順序的なクラスのラ催後も多くの研究者によって分類システムの研究が進められる

ベルが付与された．このとき，正解のラベルが Favor であるツ

活発なタスクであるためである．さらに，他のスタンス検出タ

イートに対して Against と誤分類することは，Neither と誤分

スクと比べて構築された分類システムのソースコードが公開さ類することよりも深刻であり，より多くの誤分類のペナルティ

れていることが多く，本来のタスクから条件を変えた実験がでが与えられるべきである．そこで，本研究では Ordinal Class

きるという利点も FNC-1 を選んだ大きな理由の一つである．

を区別できる評価方法も研究対象とし，Ordinal Class を扱う

まず FNC-1 のデータセットについて説明する．本研究では実際に FNC-1 で提供されたデータセットを使用し，訓練用データ

まず，本研究では FNC-1 の主催者によって構築されたベーは（見出し，本文，スタンス）の三つ組，テスト用データは（見スラインとなる分類システム （注 3） を使用し，以後これを base-

出し，本文）のペアから構成される．スタンス検出タスクの入力

line と表記する．さらに，FNC-1 のコンペティションで 1 位

は（見出し，本文）であり，スタンスが出力となる．例えば，訓を獲得した SOLAT in the SWEN チームによって公開された練用データは（“Armed U.S. drones spotted ﬂying over Syria

分類システム （注 4） も使用する．このチームは Convolutional

in possible hunt for ISIS leader” ，“American drones are be-

Neural Network（CNN）モデルと勾配ブースティング決定木

ing ﬂown over Raqqa, Syria.” ，Agree ）のような形になってモデルをアンサンブルしたモデルを最終成果物としているた

いる．スタンスは Agree ，Disagree ，Discuss ，Unrelated といめ，本研究ではこの CNN モデルを TalosCNN ，勾配ブース

う 4 種類のクラスラベルが用意された．ただし，本研究では各

ティング決定木を TalosTree ，これらのアンサンブルモデルを評価方法が Ordinal Class を区別できるかという点にも注目す

TalosEnsemble と表し，別の分類システムとして実験する．同るため，クラスラベルは順序的である必要がある．しかし，こ様に，FNC-1 で 2 位を獲得した Athene チーム （注 5），3 位をの 4 種類のスタンスの中で Unrelated は他のスタンスと順序関獲得した UCL Machine Reading チーム （注 6），4 位を獲得した係にあるとは言い難い．そこで，本研究では Unrelated クラス

Chips Ahoy!チーム （注 7） によって構築された分類システムはそを除いた 3 クラスの分類問題を扱う．ここで，本研究で使用しれぞれ Athene ，UCLMR ，Chips と表される．

たデータセットのデータ分布を図 2 に示す．図 2 からわかる

一方で，FNC-1 のコンペティション後に行われた研究では

ように，訓練用データセットとテスト用データセットはともにHanselowski らや Slovikovskaya らにより構築された分類シス

データ分布の偏りが見られ，Discuss クラスのデータが最も多テムが公開されている （注 8）（注 9）．Hanselowski らは特徴量選択

く，Disagree クラスのデータが最も少ない．また，訓練用デーを修正することで Athene を改良した分類システム（featMLP ）タセットとテスト用データセット間のデータ分布が類似していと，アブレーションテストで最も有効だった特徴量セットとることがわかる．

Long Short Term Memory ネットワークを組み合わせた分類
システム（stackLSTM ）を考案した．また，Slovikovskaya ら
はラベルなしの大規模コーパスから事前学習した汎用言語モデルである BERT や XLNet，RoBERTa を FNC-1 のデータでファインチューニングした分類システム（それぞれ BERT ，

XLNet ，RoBERTa と表す）を構築した．
さらに，訓練用データセットにおける最頻クラスラベル，つまり Discuss と常に予測する分類システム（majority ）と {Agree ，Disagree ，Discuss} の中からランダムに 1 つ選んで予測する
分類システム（random ）の 2 種類の簡単な自作の分類システ
ムを実装した．

5. 評 価 実 験
本研究では，3. 節で定義した 9 つの評価方法をシステムラン
キングの類似度，順位安定性，Ordinal Class の区別という 3
つの観点から比較する．そこで，これら 3 つの比較実験の手法と実験結果，考察を以下に示す．なお，本実験では Unrelated
クラスを除いた 3 クラス分類を扱うため，FNC-1 の公式評価
図 2 訓練用・テスト用データセットのデータ分布

方法は 3. 節で定義した Accuracy と同義になる．

5. 1 システムランキングの類似度
続いて，本研究で使用した分類システムについて説明する．

どの評価方法同士が類似したシステムランキングを出力し，FNC-1 のスタンス検出タスクに対して，コンペティション参

どの評価方法同士が異なったシステムランキングを出力するか

加者やコンペティション終了後にさらなる分類システムの精度を知ることは各評価方法の性質の理解につながると考えられる．

向上に励んだ研究者によって様々な分類システムが提案されてそこで，本研究では評価方法同士のシステムランキングの類似きた．本研究では，それらの中でソースコードが公開され再現できる分類システムを 12 種類，実験で使用する分類システムの多様性を高める目的で自作した簡単な分類システムを 2 種（注 3）：https://github.com/FakeNewsChallenge/fnc-1-baseline（注 4）：https://github.com/Cisco-Talos/fnc-1類，合わせて 14 種類の分類システムを用意した．なお，再現し（注 5）：https://github.com/hanselowski/athene system

た 12 種類の分類システムは本来 {Agree ， Disagree ，Discuss ，（注 6）：https://github.com/uclnlp/fakenewschallenge

Unrelated } の 4 クラス分類を目的として構築されているため，
Unrelated クラスを除いた 3 クラス分類を行うように変更した．

（注 7）：https://github.com/shangjingbo1226/fnc-1（注 8）：https://github.com/AIPHES/coling2018-fake-news-challenge（注 9）：https://gist.github.com/vslovik表 2 Kendall の τ による評価方法同士のシステムランキングの類似度．
類似度の高さを次のように色で表す．
（τ < 0.3，0.3 ≤ τ < 0.6，0.6 ≤ τ ）

F1

F1

αIN T

M AE M

M AE µCEM ORDκ

Accuracy

αORD

0.51640.3406

0.36260.49450.62630.60430.7142 0.6923

αIN T

-

0.25270.62630.53840.58240.42850.4505 0.6483

M AE M--

0.53840.31860.18680.20870.2747 0.2527

M AE µ---0.64830.3406

0.49650.2527 0.4065

CEM ORD

-

-

-

-

0.60430.58240.3846 0.5824

κ

-

-

-

-

-

0.53840.6043 0.7142

Accuracy

-

-

-

-

-

-

0.4945 0.5604

F1

-

-

-

-

-

-

-

0.5384づけられる．一方で，M AE M はグループ A とグループ B のいずれの評価方法とも異なるシステムランキングを示すため，グループ C に分けられる．
上記 3 グループの特性について分析すると，グループ A に属する評価方法のシステムランキングとグループ B・C に属する
評価方法のシステムランキングには以下のような 2 つの違いが見られた．例えば，グループ A に属する評価方法は TalosTree
よりも BERT に対して高い評価値を出力する傾向にあり，グループ B・C に属する評価方法はその逆の傾向を示した．さらに，グループ A に属する評価方法は baseline よりも TalosCNNを高く評価する一方で，グループ B・C に属する評価方法はTalosCNN よりも baseline を高く評価していた．これらのシス
テムランキングの違いは，Agree クラスと Disagree クラスを誤分類した件数の違いによって生じたと考えられる．ここで，図 3
図 3 BERT ，TalosTree ，TalosCNN ，baseline による分類結果をに表す Confusion Matrix からわかるように，BERT の Agree

まとめた Confusion Matrix⇄ Disagree の誤分類は（397 + 103）= 500 件であるのに対し，（縦軸が分類システムによる予測ラベル，横軸が正解ラベルを

TalosTree の Agree ⇄ Disagree の誤分類は（187 + 0）= 187表す）

件と少ない．また，TalosCNN の Agree ⇄ Disagree の誤分類
は（525 + 65）= 590 件であるのに対し，baseline の Agree ⇄度を調査するため，Sakai [22] の研究を参考に以下のような手

Disagree の誤分類はわずか（78 + 40）= 118 件である．このよ

順で実験を行った．

うに，グループ B・C に属する評価方法は Agree ⇄ Disagree（ 1 ） 評価方法ごとに，4. 節で述べたテスト用データセットに対を誤分類した件数が少ない分類システムに高い評価値を与える

して 14 種類の分類システムの評価値を求める．

傾向にあり，これは評価の際に Agree ，Discuss ，Disagree の（ 2 ） 評価方法ごとに，（1）の評価値をもとにシステムランキン

順序関係を考慮できるという αIN T や M AE M ，M AE µ の性

グを作成する．
（ 3 ） （2）で作成された，9 つの評価方法に対応するシステムラ
ンキングの中から任意にペアを作成する．
（ 4 ） すべてのペアに対して Kendall の順位相関係数（τ ）を算出する．

質と一致している．

5. 2 順位安定性
角森ら [26] の研究では，最適な評価尺度を選定するための基準として順位安定性の観点から評価方法を比較している．ここで順位安定性とは，異なるデータセットを使用して分類システ
ムを評価したときにシステムランキングがどれだけ変動するか

なお，τ は −1 ≤ τ ≤ 1 の範囲にあり，値が 1 に近いほど 2 つということを意味し，適切な評価方法はデータセットが異なるのシステムランキングが類似していることを意味する．

場合でも同じシステムランキングを提示できると考えられる．

上記の実験を行った結果を表 2 に示す．表 2 から，システム

さらに順位安定性について，System Ranking Consistency とランキングの類似度に従って 9 つの評価方法を 3 つのグループいう形で Sakai [22] の研究においても同様の実験が行われていに分けることができる．まず，グループ A は αORD と κ，Ac-る．本研究では角森らと Sakai の研究に倣い，以下のような手

curacy ，F1 ，F1 の 5 つから構成され，グループ B は M AE µ

順で各評価方法の順位安定性を定量化する実験を行う．

と αIN T の 2 つから構成される．CEM ORD はグループ A の評価方法とグループ B の評価方法の両方のシステムランキングに類似しているため，グループ A とグループ B の中間に位置（ 1 ） 4. 節で述べたテスト用データセットを，サブセット X とサブセット Y の 2 つにランダムに分割する．
（なお，サブセット X とサブセット Y は同様のデータ分布を示した．
）

表3

順位安定性の実験結果

評価方法

Kendall の τ

表 4 κ のシステムランキングの例（τ = 0.8242）
サブセット X

サブセット Y

κ

0.7811

システム

評価値

システム

評価値

F1

0.7388RoBERTa

0.6304

RoBERTa

0.5926

CEM ORD

0.6623

XLNet

0.5542

XLNet

0.5455F1

0.6602

BERT

0.3706

BERT

0.3392

M AE M

0.6217

Athene0.3144

TalosEnsemble

0.3117

Accuracy

0.6134

featMLP

0.3102

UCLMR

0.2854αIN T

0.5882

UCLMR

0.2998Athene0.2848

M AE µ0.5743

TalosEnsemble

0.2973

TalosTree

0.2828αORD

0.4727

TalosTree

0.2615

featMLP

0.2771Chips

0.2404

Chips

0.2127（ 2 ） 9 つの評価方法の中から 1 つを選択し，その評価方法にstackLSTM

0.2248stackLSTM

0.1982

よってサブセット X に対する 14 種類の分類システムの評

TalosCNN

0.1687

TalosCNN

0.1853

価値を求め，その評価値をもとにシステムランキングを作

baseline

0.0640baseline

0.0399成する．

majority

0.0000majority

0.0000

random-0.0118

random-0.0164（ 3 ） （2）で選択した評価方法によってサブセット Y に対する

14 種類の分類システムの評価値を求め，その評価値をもとにシステムランキングを作成する．
（ 4 ） （2）と（3）で得られた 2 つのシステムランキングについて，Kendall の τ の値を算出する．
（ 5 ） （2）〜（4）までの手順を 1,000 回繰り返し試行し，τ の平均値を計算する．
（ 6 ） （2）〜（5）までの手順を，9 つの評価方法に対して実行する．
上記の実験を行った結果を表 3 に示す．表 3 から，κ や F1
は Kendall の τ の値が他の評価方法に比べて高く，異なるテス

表 5 αORD のシステムランキングの例（τ = 0.4945）
サブセット X

サブセット Y

システム

評価値

システム

評価値

RoBERTa

0.5903

RoBERTa

0.5760XLNet

0.5364

XLNet

0.4948BERT

0.2860

TalosTree

0.2594Athene0.2766

Athene0.2512

TalosTree

0.2704

UCLMR

0.2507

featMLP

0.2702

BERT

0.2468UCLMR

0.2637

TalosEnsemble

0.2448

TalosEnsemble

0.2632

featMLP

0.2279Chips

0.1753stackLSTM

0.1822stackLSTM

0.1614Chips

0.1612

わらないことがわかる．一方で，αORD や M AE µ は τ の値がTalosCNN

0.0701

TalosCNN

0.0414低く，テスト用データセットが異なるとシステムランキングもbaseline

0.0156baseline

0.0204

変動してしまうことがわかる．つまり，分類システムのランキ

random

-0.0273

random-0.0325ングの安定性という観点では，評価方法として κ を利用する

majority-0.0527

majority-0.0434

ト用データセットを使用してもシステムランキングが大きく変ことが最も適切であると言える．ここで，τ の値が最も高い κと最も低い αORD によるサブセット X とサブセット Y のシス

ら [26] の研究から着想を得て，各評価方法がどの程度 Ordinal

テムランキング例をそれぞれ表 4 と表 5 に示す．この 2 つのClass を区別できているかを定量化する実験を行う．角森らの評価方法によるシステムランキングの変動具合を分析すること

研究では中間値のラベルが適切に扱われているかどうかを検討

で，評価方法間でシステムランキングの安定性に違いが生じるするため，複数のラベルを単一ラベルとみなして評価する評価

要因を考察する．具体的には，14 種類の分類システムのランキ

尺度を使用しており，本研究ではこの手法に倣い 3 つのクラス

ング全体に対してではなく，システムランキングの上位（1 位

ラベルのうち 2 つのクラスを同一クラスとみなして各評価方〜5 位），中位（6 位〜10 位），下位（11 位〜14 位）に分けて法の評価値を算出する．つまり，すべての分類システムに対しそれぞれの τ の値を算出した．その結果，κ における上位，中て Agree クラスと Discuss クラス，Disagree クラスと Discuss

位，下位の τ の値はそれぞれ 0.8000，0.4000，1.0000 であり，クラス，Agree クラスと Disagree クラスをそれぞれ単一ラベにおける上位，中位，下位の τ の値はそれぞれ 0.4000，

ルとみなした 3 パターンの 2 クラス分類に対する評価値が出力

0.2000，1.0000 であった．つまり，κ は αORD に比べて上位とされ，その評価値によって分類システムのランキングが作成さ中位のシステムランキングが安定しているため，全体として高れる．そして，この 2 クラス分類に対するシステムランキング

い順位安定性を示すことができたと考えられる．

と本来の 3 クラス分類に対するシステムランキングがどの程度

αORD

5. 3 Ordinal Class の区別

類似しているかを Kendall の τ によって測定する．このとき，

3. 節で述べた通り，スタンス検出タスクでは Ordinal Class

別のクラスとして扱われるべきである 2 つのクラスを単一クのラベルを扱うことが多く，本研究に関しては Agree ，Discuss ，

ラスとみなしているため，Ordinal Class を正しく区別できる

Disagree の 3 クラスの順序を正しく区別できる評価方法を用評価方法であれば，3 クラス分類に対するシステムランキング

いることが適切であると考えられる．そこで，本研究では角森と 2 クラス分類に対するシステムランキングは大きく異なるとの平均値が高く，予想とは異なる結果となった．特に Disagree

表 6 Ordinal Class の実験結果と Discuss を単一ラベルとみなしたケースにおいて κ の τ の
評価方法

Agree+Discuss

Disagree+Discuss

Agree+Disagree

平均

αORD

0.14280.71420.40650.4211

値が高かったが，これはテスト用データセットにおけるデー

αIN T

0.5384

0.53840.14280.4065タ分布の偏りが影響していると考えられる．本節の実験ではM AE M

0.14280.09890.16480.1721

Disagree と Discuss のクラスを単一ラベルとみなすことによっ

M AE µ

0.16480.69230.29670.3919

CEM ORD

0.27470.49450.09890.2893て，Disagree ⇄ Discuss の誤分類は「正しく分類された」もκ

0.42850.89010.31860.5457のとして扱われる．そのため，誤分類に対してペナルティを課

Accuracy

0.27470.45050.53840.4212

すことで分類結果を評価する κ は，Disagree ⇄ Discuss の誤F1

0.3846

0.73620.47250.5313

F1

分類を評価の際に考慮しなくなってしまう．これは各分類シス0.23070.62630.42850.4285テムの評価値に大きく影響し，14 種類の分類システムによるシステムランキングが変動する可能性がある．しかし，4. 節で述考えられる．そのため，Kendall の τ の値が低い評価方法ほどべたように本研究で使用したテスト用データセットはデータ分

Ordinal Class を区別して評価することができると言える．こ布が極端に偏っているため，Disagree ⇄ Discuss の誤分類件

こで，具体的な実験手順を以下に示す．

数が少なく，分類システムの評価値に与える影響が小さくなり，（ 1 ） 4. 節で述べたテスト用データセットの 3 つのクラスラベルのうち 2 つを単一クラスとみなした 2 クラス分類用のテス
ト用データセット，例えば Agree クラスと Discuss クラスを同一にしたデータセットを構築する．

その結果としてシステムランキングにあまり変化が起きなかったと考えられる．
上記の考察を検証するため，テスト用データセットのデー
タ分布を均一にして（4. 節のテスト用データセットの中から（ 2 ） 9 つの評価方法のうち 1 つを選択し，（1）で構築したデー

Agree クラスと Discuss クラスのデータをそれぞれダウンサン

タセットに対する 14 種類の分類システムの評価値を求め，プリングし，Agree と Discuss と Disagree のテストデータ数をシステムランキングを作成する．

全て 697 件とした）同様の実験を行った．その結果，Agree と（ 3 ） （2）で選択した評価方法によって，本来の 3 クラス分類

Discuss を単一ラベルとみなしたときは τ = 0.1209，Disagree

用のテスト用データセットに対する 14 種類の分類システと Discuss を単一ラベルとみなしたときは τ = 0.4066，Agree

ムの評価値を求め，システムランキングを作成する．
（ 4 ） Kendall の τ を用いて，（2）と（3）で作成された 2 つのシステムランキングの類似度を測定する．

と Disagree を単一ラベルとみなしたときは τ = 0.1429 となり，
データ分布が偏ったテスト用データセットを使用したときと比較してすべてのパターンにおいて低い τ の値を示した．このよ（ 5 ） （2）〜（4）の操作を 9 つの評価方法に対して行う．

うに，テスト用データセットのデータ分布が均一であれば，κ

（ 6 ） （1）〜（5）の操作を，3 つの条件下（Agree クラスと Dis-

は Ordinal Class を区別できる可能性がある．

cuss クラス，Disagree クラスと Discuss クラス，Agree ク

5. 4 スタンス検出タスクに対する最適な評価方法

ラスと Disagree クラスをそれぞれ単一ラベルとみなした

5. 1 節，5. 2 節，5. 3 節で得られた実験結果を表 7 にまとめ

データセット）で行う．

る．なお，表 7 中の Similarity では 5. 1 節で得られた結果をもとに分けられたグループ名が示され，Consistency と Ordinal

上記の実験の結果を表 6 に示す．Agree と Discuss を単一ラベClass ではそれぞれ 5. 2 節と 5. 3 節で得られた結果が優れていルとみなしたとき，αORD が τ = 0.5384 と最も高く，αIN T がる評価方法から順にランキングしたときの順位が示されていτ = 0.1428 と最も低かった．また，Disagree と Discuss を単一る．表 7 に基づき総合的に判断すると，少なくとも FNC-1 のラベルとみなしたとき，κ が τ = 0.8901 と最も高く，M AE M

スタンス検出タスクに対する評価方法としては，順位安定性とが τ = 0.0989 と最も低い値となった．さらに，Agree と Dis-

Ordinal Class の区別という 2 つの観点でともに優れた結果をagree を単一ラベルとみなしたとき，Accuracy が τ = 0.5384 と残した，CEM ORD が最も適切であると考えられる．

最も高かったのに対し，CEM ORD が τ = 0.0989 と最も低かった．これらの 3 パターンを平均すると τ = 0.1721 と M AE M

表 7 5. 1 節，5. 2 節，5. 3 節で得られた実験結果のまとめが最も低い値を示し，これは M AE M が 3 つの Ordinal Class

評価方法

を最も区別できていることを示唆している．このような結果か

αORD

A

9th

5th

ら，Ordinal Class を区別できているかどうかという観点では，

αIN T

B

7th

4th

スタンス検出タスクの評価方法として M AE M が最も適してい

M AE M

C

5th

1st

ると言える．

M AE µ

B

8th

3rd

CEM ORD

A/B

3rd

2nd
9th

さらに，定義上では Ordinal Class を区別できる評価方法
である αIN T ，αORD ，CEM ORD ，M AE M ，M AE µ は 3 パ
ターンの τ の平均値が低く，Ordinal Class を区別できるという予想通りの結果が得られた．一方で，定義上では Ordinal

Class を区別できる評価方法であるのにもかかわらず，κ は τSimilarity Consistency Ordinal Class

κ

A

1st

Accuracy

A

6th

6th

F1

A

2nd

8th

F1

A

4th

7th

6. 結論と今後の課題
本研究ではスタンス検出タスクにおける最適な評価方法を選[9]定するため，FNC-1 のデータセットと分類システムを用いて，システムランキングの類似度と順位安定性，Ordinal Class の区別という 3 つの観点から 9 つの評価方法に対して比較実験を行った．その結果，順位安定性と Ordinal Class の区別という観点ではそれぞれ κ と M AE M が最も優れているということ

[10]
[11]

がわかった．そしてこれらの結果を総合的に考えると，少なく
とも FNC-1 のスタンス検出タスクに対する評価方法としては，高い順位安定性を持ち Ordinal Class も区別できるという結果[12]が得られた CEM ORD が最も適切であると言える．また，本研究では 3 種類の実験を通して，評価方法同士のシステムラン
キングの類似度や各評価方法の利点・欠点を明らかにすること[13]ができた．例えば，κ は順位安定性の観点では最も優れているのに対して Ordinal Class の区別という観点では最も劣っていた．このように，本研究で得られた評価方法の性質に関する知[14]

見は，新たなスタンス検出タスクを設計する際の評価方法の選定に非常に有益であると考えられる．
一方，本研究ではスタンス検出タスクの一例として FNC-1を扱ったが，他のスタンス検出タスクを対象に同様の実験を[15]行った場合，本研究で得られた結果と同じような傾向が見られるのかどうかを検証することが今後の課題である．また，本研
究で使用した 9 つの評価方法の他に，データ分布に偏りがある[16]

データセットに対して有効な評価方法や Cost-Sensitive な評価方法などを加え，より多様性を高めた比較実験についても検討[17]していきたい．
文

献[1] Costanza Conforti, Jakob Berndt, Mohammad Taher Pilehvar, Chryssi Giannitsarou, Flavio Toxvaerd, and Nigel Collier. Will-They-Won’t-They: A Very Large Dataset for
Stance Detection on Twitter. In Proceedings of ACL 2020,
pp. 1715–1724, 2020.
[2] Dilek Küçük and Fazli Can. Stance Detection: A Survey.
ACM Computing Surveys (CSUR), Vol. 53, No. 1, pp. 1–37,
2020.
[3] Mehrdad Fatourechi, Rabab K Ward, Steven G Mason, Jane
Huggins, Alois Schlögl, and Gary E Birch. Comparison of
Evaluation Metrics in Classiﬁcation Applications with Imbalanced Datasets. In 2008 Seventh International Conference on Machine Learning and Applications, pp. 777–782,
2008.
[4] Benjamin Schiller, Johannes Daxenberger, and Iryna
Gurevych. Stance Detection Benchmark: How Robust IsYour Stance Detection? arXiv preprint arXiv:2001.01565,
2020.
[5] Saif Mohammad, Svetlana Kiritchenko, Parinaz Sobhani,
Xiaodan Zhu, and Colin Cherry. SemEval-2016 Task 6: Detecting Stance in Tweets. In Proceedings of SemEval-2016,
pp. 31–41, 2016.
[6] Guido Zarrella and Amy Marsh. MITRE at SemEval-2016
Task 6: Transfer Learning for Stance Detection. arXiv
preprint arXiv:1606.03784, 2016.
[7] Wan Wei, Xiao Zhang, Xuqin Liu, Wei Chen, and Tengjiao
Wang. pkudblab at SemEval-2016 Task 6 : A Speciﬁc Convolutional Neural Network System for Eﬀective Stance Detection. In Proceedings of SemEval-2016, pp. 384–388, 2016.
[8] Leon Derczynski, Kalina Bontcheva, Maria Liakata, Rob
Procter, Geraldine Wong Sak Hoi, and Arkaitz Zubiaga.

[18]

[19]

[20]

[21]

[22]
[23]
[24]

[25]

[26]

SemEval-2017 Task 8: RumourEval: Determining rumour
veracity and support for rumours.
In Proceedings of
SemEval-2017, pp. 69–76, 2017.
Genevieve Gorrell, Elena Kochkina, Maria Liakata, Ahmet
Aker, Arkaitz Zubiaga, Kalina Bontcheva, and Leon Derczynski. SemEval-2019 Task 7: RumourEval, Determining
Rumour Veracity and Support for Rumours. In Proceedingsof SemEval-2019, pp. 845–854, 2019.
Dean Pomerleau and Delip Rao. Fake News Challenge,
2017.
Benjamin Riedel, Isabelle Augenstein, Georgios P Spithourakis, and Sebastian Riedel. A Simple but Tough-tobeat Baseline for the Fake News Challenge Stance Detection
Task. arXiv preprint arXiv:1707.03264, pp. 1–6, 2017.
James Thorne, Mingjie Chen, Giorgos Myrianthous, Jiashu
Pu, Xiaoxuan Wang, and Andreas Vlachos. Fake news
stance detection using stacked ensemble of classiﬁers. In
Proceedings of the 2017 EMNLP Workshop: Natural Language Processing meets Journalism, pp. 80–83, 2017.
Andreas Hanselowski, Avinesh PVS, Benjamin Schiller, Felix Caspelherr, Debanjan Chaudhuri, Christian M. Meyer,
and Iryna Gurevych. A Retrospective Analysis of the Fake
News Challenge Stance-Detection Task. In Proceedings of
COLING 2018, pp. 1859–1874, 2018.
Gaurav Bhatt, Aman Sharma, Shivam Sharma, Ankush
Nagpal, Balasubramanian Raman, and Ankush Mittal.
Combining Neural, Statistical and External Features for
Fake News Stance Identiﬁcation. In Companion Proceedingsof the The Web Conference 2018, pp. 1353–1357, 2018.
Luı́s Borges, Bruno Martins, and Pável Calado. Combining
Similarity Features and Deep Representation Learning for
Stance Detection in the Context of Checking Fake News.
Journal of Data and Information Quality (JDIQ), Vol. 11,
No. 3, pp. 1–26, 2019.
Qiang Zhang, Shangsong Liang, Aldo Lipani, Zhaochun
Ren, and Emine Yilmaz. From Stances’ Imbalance to Their
Hierarchical Representation and Detection. In The World
Wide Web Conference, pp. 2323–2332, 2019.
Chris Dulhanty, Jason L Deglint, Ibrahim Ben Daya, andAlexander Wong. Taking a Stance on Fake News: Towards
Automatic Disinformation Assessment via Deep Bidirectional Transformer Language Models for Stance Detection.
arXiv preprint arXiv:1911.11951, 2019.
Valeriya Slovikovskaya and Giuseppe Attardi. Transfer
Learning from Transformers to Fake News Challenge Stance
Detection (FNC-1) Task. In Proceedings of LREC 2020, pp.
1211–1218, 2020.
Muhammad Umer, Zainab Imtiaz, Saleem Ullah, Arif
Mehmood, Gyu Sang Choi, and Byung-Won On. Fake News
Stance Detection Using Deep Learning Architecture (CNNLSTM). IEEE Access, Vol. 8, pp. 156695–156706, 2020.
雨宮佑基, 酒井哲也. Convolutional Neural Network を用いた Fake News Challenge の検討. DEIM Forum 2019 A3-2,
2019.
Tetsuya Sakai and Zhaohao Zeng. Which Diversity Evaluation Measures Are ”Good”? In Proceedings of ACM SIGIR
2019, p. 595–604, 2019.
Tetsuya Sakai. Evaluating Evaluation Measures for Ordinal
Classiﬁcation and Ordinal Quantiﬁcation. in preparation.
Juri Opitz and Sebastian Burst. Macro F1 and Macro F1.
arXiv preprint arXiv:1911.03347, 2019.
Margherita Grandini, Enrico Bagli, and Giorgio Visani.
Metrics for Multi-Class Classiﬁcation: an Overview. arXiv
preprint arXiv:2008.05756, 2020.
Enrique Amigo, Julio Gonzalo, Stefano Mizzaro, and Jorge
Carrillo-de Albornoz. An Eﬀectiveness Metric for Ordinal Classiﬁcation: Formal Properties and Experimental Results. In Proceedings of ACL 2020, pp. 3938–3949, 2020.
角森唯子, 東中竜一郎, 高橋哲朗, 稲葉通将. 対話破綻検出チャレ
ンジ 3 における対話破綻検出の評価尺度の選定. 人工知能学会
論文誌, Vol. 35, No. 1, pp. DSI–G 1, 2020.