言語処理学会 第25回年次大会 発表論文集 (2019年3月)

地方議会特有の表現に基づく政策に対する発言の賛否分類
勝山 光 †杉本 翔 ‡田上 諒 ‡木村 輔 ‡宮森 恒 ‡京都産業大学 コンピュータ理工学部 † 京都産業大学大学院 先端情報学研究科 ‡{g1544377, i1888097, i1788124, i1658047, miya}@cc.kyoto-su.ac.jp

1

はじめに,341/

近年、フェイクニュースの影響により、既出の情報-W5)N+7GQDJ@U-6605.2/0

について真偽を検証する、事実検証の重要性が再確認されている。例えば、フェイクニュースのターゲット7となりやすい、政治家の発言について事実検証すると必要がある。しかし、このような会議録は、議事の進-6605.2/0

B(#!O-O ,TJ"<KMU *J/%EVI9]Z`P\^a[ O0 J@TRG?

%?9;!=@(')き、地方議会会議録のような、一次情報源を確認する

5)P>+7NST& 3CJDUML>
>2 O;CAN$JDUY_XJ@TRG?

:8@T=:8MF

$



"

'4.='4.

61=1=1MF

行や提出された資料を含む、膨大な文量を有している:8@T

ため、議員の意見を一目で確認することは難しい。

'4.

61:8MF

'4.

1MF

7 +<@#@)8A>& B

国 立 情 報 学 研 究 所 が 主 催 す る ワ ー ク ショップ のC&**:@D

NTCIR-14 では、近年のフェイクニュースの問題に対するタスクである、QA Lab-PoliInfo Task のサブタ

6HO

スクの 1 つとして、ある政策についての地方議会中の図 1: 提案手法の概要

発言が、根拠を伴う賛成意見、根拠を伴う反対意見、および、それ他のどれであるか分類する Classiﬁcation

Task を実施している。具体的には、図 1 に示すように、会議録中の発言文（Utterance）、および、政策1（FNC-I）が開催された。この取り組みでは、ある記事と見出し文のペアが入力として与えられ、その見の課題文（Topic）から、関連性、事実検証可能性、出し文が、記事の内容に対して、合致している、合致および、意見性の 3 種類のラベルについてそれぞれ分していない、議論している、関係がない、の 4 つの立類し、Topic に対する Utterance の最終的な賛否を場について分類を出力するタスクが設計されている。

判断する。なお、簡単のため、根拠を伴う賛成意見をこのタスクにおいて、全 80 チームのうち、最高精

単に賛成、また、根拠を伴う反対意見を反対と呼ぶこ度を収めた Sean ら [3] は、まず、畳み込みニューラルととする。

ネットワークによる分類モデルと、弱分類器に決定木本稿では、QA Lab-PoliInfo における Classiﬁcationを用いた勾配ブースティングによる分類モデルを構築

Task を対象とした、地方議会特有の表現から生成しした。そして、各モデルの出力である確率値を、1 対た分散表現および素性に基づく、各ラベルの分類手法1 の加重平均で組み合わせ、最終的な分類を決定する手法を提案している。それぞれのモデルを単一で推定をまとめる。

した場合と比べ、両方のモデルを組み合わせることによって、精度が向上したことを報告している。また、

2関連研究

2 位のモデルを提案した Hanselowski ら [1] の手法で2016 年に、フェイクニュースに関わる問題の解決を目指し、世界中の学会、および、業界から、100 人を超えるボランティアと 71 のチームが協力し、Fake NewsChallenge（FNC）という取り組みが誕生した。その最初の取り組みとして、Fake News Challenge Stageは、uni-gram の出現頻度に基づく BoW ベクトルをTFIDF 値に置き換えたベクトルに、複数の手法で獲得したトピックベクトルなどを連結したベクトルを入力とする、多層パーセプトロンの分類モデルを 5 つ学習し、それぞれの推論結果の投票により分類する手法を提案している。

― 1343 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

提案手法

3

意見なしのうち、どの意見を表すのかを判断する、3値分類器を構築する。

ここでは、提案手法である地方議会特有の表現から提案手法では、まず、賛成意見と反対意見をまとめ生成した分散表現および素性に基づく、地方議会におた意見あり、および、意見なしについて判断する 2 値

ける発言の賛否分類手法について詳述する。本分類手分類器を構築し、その後、意見ありと判断された発言法は、図 1 に示すとおり、入力として、Utterance、のみを対象に、賛成意見、および、反対意見を判断すおよび、Topic が与えられたとき、まず、関連性、事る 2 値分類器を構築した。予備実験を踏まえ、分類器実検証可能性、および、意見性の 3 つの観点についてには、Support Vector Machine（SVM）を選択した。

それぞれ分類する。その後、各分類結果から、表 1 に分類に用いた各素性は、大きく 2 種類あり、単語単示すルールに従って、Topic に対する Utterance の位の N-gram（N = 1,2,3）の出現頻度に基づく素性 3

最終的な賛否の判断を出力する構成となっている。

タイプ、および、係り受けに基づく文節単位の 2-gramの出現頻度に基づく素性 3 タイプである。ここで、文

表 1: 3 つの観点の分類結果の組み合わせによる賛否

節単位の 2-gram 素性は、文節として扱う単語列につ分類

いて、内容語（名詞、形容詞、動詞）＋機能語を文節

賛否
賛成
反対
その他

関連性
事実検証可能性
意見性
関連あり検証可能
賛成意見
関連あり
検証可能
反対意見
（それ以外の組み合わせ）と扱う条件 1、内容語のみを文節と扱う条件 2、動詞のみを文節と扱う条件 3 の 3 タイプを作成した。
各素性について、それぞれの 2 値ラベルにおける出現頻度、上位 200 件、400 件、600 件を選択し、素性3.1の次元数とした。例えば、賛成意見/反対意見分類の関連性場合、賛成意見ラベルが付与された全てのデータにお

ここでは、ある Topic に対する Utterance についける出現頻度上位 100 件、および、反対意見ラベルがて、その発言内容が Topic に、関連する、または、関付与された全てのデータにおける出現頻度上位 100 件

連しないを判断する、2 値分類器を構築する。

を合わせた、計 200 件を素性の次元数とした。

本研究では、分類器として、Joulin ら [2] の手法を適また、次元数 200 の各素性について組み合わせた、用した。この手法は、分かち書きされた一文を入力と以下の素性を構築し、計 31 種類の素性を構築した。

し、確率値を出力する、一層から構成されるニューラ

まず、単語単位の N-gram の素性の 2 種類を組み合わルネットワークである。我々は、Topic と Utterance

せ、次元数 400 の素性を 4 種類作成した。さらに、Nの文を連結した一文を入力とした。

= 1,2,3 のそれぞれの素性を組み合わせ、次元数 600の素性を 1 種類構築した。最後に、文節単位の 2-gram

3.2の素性と、単語単位の N-gram の素性から、それぞれ事実検証可能性

ここでは、ある Utterance について、その発言内1 つを選択し組み合わせた、次元数 400 の素性を 9 種類作成した。

容が、事実確認できる、または、事実確認できないを判断する、2 値分類器を構築する。
本研究では、文中に、場所や日付、金額などの表現が3.4データセット含まれ、事実の検証が可能である Utterance を、事実ここでは、各分類器を構築する際に用いた、QA Lab-確認できると定義する。分類器は、深層学習によるモ（LSTM）でエンコードした上で、全結合層によって、PoliInfo Classiﬁcation Task の地方会議録における、各政策への賛否意見データセットについて詳述する。このデータセットは、14 種類の Topic と、各 Topic の2 値の確率値を出力する構造とする。

キーワードを含む Utterance のペア 10,289 件に対しデルとし、Utterance を Long-Short Term Memoryて、関連性、事実検証可能性、意見性、及び、それら 3

3.3

ラベルから判断される賛否ラベルが付与されている。

意見性

各ペアのそれぞれのラベルは、3 人、または、5 人の

ここでは、ある Topic に対する Utterance につい評価者より付与されているため、本研究では、次の正て、その発言内容が、賛成意見、反対意見、および、解ラベル決定方法を用いて、開発データにおける正解― 1344 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

ラベルを付与した。タイプ 1 では、複数人から付与された各ラベルについて、多数派のラベルを正解ラベルとする。また、3.1 節の関連性については、次の正解

表 3: タイプ 2 における関連性を判断する分類モデルの 10 分割交差確認法の結果
ラベル
関連あり

ラベル決定方法によって構築されたデータセットについても分類器を学習した。タイプ 2 では、複数人から関連なし付与された各ラベルについて、一人でも「関連なし」

適合率
0.912
(676/7,289)
0.842(175/3,000)

再現率0.933(676/7,121)
0.797(175/3,168)

F値
0.922
0.819を付与していたら、正解ラベルを「関連なし」とする。
ら学習しているため、一概に比較することはできないが、表 2、および、表 3 より、開発データの不均衡を実験・考察4軽減したタイプ 2 について、関連なしに対する適合提案手法における最終的な賛否の判断は、関連性、事実検証可能性、および、意見性の各ラベルの組み合わせによって決定される。そのため、3.1 節 ∼ 3.3 節のそれぞれの分類器の精度について確認する必要がある。本実験の目的は、より適切なモデルの組み合わせを決定するために、それぞれ提案した分類手法につい率、および、再現率が大きく改善していることが確認できる。一方、タイプ 1 については、関連ありに対する各評価指標は高いものの、関連なしの評価指標と大きく差が開いた。分類結果を確認したところ、関連なしラベルの数が 2 桁以下の政策 10 件中 8 件については、すべての発言を関連ありと判断していることが確認できた。て、その精度を調査することである。
各分類器における、入力データ（Topic、Utter-ance）は、形態素解析器である MeCab を用いて分かち書きした。また、3.1 節の関連性のニューラルネッ

4.2

事実検証可能性トワークとして、fastText を用いた。3.2 節の事実検実験には、関連性と同様に、3.4 節のデータセットを証可能性の分類器は、Chainer によって実装し、3.3 節用い、ラベルの決定方法は、タイプ 1 のみを使用した。の意見性の係り受け解析器として CaboCha を用い、LSTM によるエンコード時には、我々が独自に収集し機械学習ツールとして Weka を用いた。

た東京都議会本会議全 1,209 件をもとに生成した、単語の分散表現を用いた。パラメータとして、エンコー
ド後の中間ベクトルは 50 次元、全結合層は 1 層で、4.1関連性活性化関数はソフトマックス、エポック数は 20、誤差実験のためのデータセットのラベル決定方法として、
タイプ 1、及び、タイプ 2 を用いた。また、評価指標として適合率、および、再現率を用い、10 分割交差確認法により評価した。fastText のデフォルトパラメー
タのうち、予備実験より、単語 N-gram、単語の特徴次元数、エポック数、学習率、及び、誤差関数を、それぞれ、2-gram、50 次元、50 エポック、1.0、階層的ソフトマックスに決定した。
以上の条件における評価結果を、表 2、および、表3 に示す。 異なるラベル付与基準のデータセットか
表 2: タイプ 1 における関連性を判断する分類モデル

関数は交差エントロピーを選択した。最適化アルゴリ
ズムに Adam を使用し，各パラメータを α = 0.001，β1 = 0.9，β2 = 0.999，ϵ = 10−8 とした。データセッ
トのうち、9 割を学習データ、1 割を検証データとした。
以上の条件で学習させたところ、最終エポック終了
時点で、検証データに対する Accuracy は、約 82.7%となった。詳細な結果を表 4 に示す。表 4 より、学習されたモデルは、分類結果として、事実確認できないと判断しやすいことが分かる。これは、学習データ中のラベルの割合が不均衡であるためだと思われる。ただし、検証データにおいても、割合はほぼ同一のため、正答率の大幅な低下にはつながっていない。の 10 分割交差確認法の結果
ラベル
関連あり
関連なし

適合率
0.950
(9,147/9,624)
0.638(424/665)

再現率
0.974
(9,147/9,388)
0.471(424/901)

F値
0.962

4.3

意見性

実験のためのデータセットのラベル決定方法として、

0.542

タイプ 1 を用い、また、評価指標として、適合率、再現率、および、F 値を用い、10 分割交差確認法により― 1345 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

素性中に含まれる特徴的な語句の割合が低下したため、
表 4: 事実検証可能性を判断する学習済みモデルを用いた検証データに対する分類精度
ラベル
確認できない
確認できる

適合率
0.847
(676/798)
0.757(175/231)

再現率
0.923
(676/732)
0.589(175/297)

uni-gram 素性に劣る結果になったと考えられる。

F値
0.883

50.662

まとめ
本論文では、フェイクニュースなどの事実検証手法として、地方議会会議録中のある政策に対する発言を評価した。意見あり/意見なし、および、賛成意見/反対象とした立場分類手法を提案した。提案手法では、対意見の分類結果について、各素性の特徴を比較する

政策と発言間の関連性、発言内容の事実検証可能性、ために、3.3 節で示した各素性のうち、次元数 600 の政策に対する発言者の意見性について、地方議会特6 モデルを比較することとした。
各分類器の実験結果を、表 5、および、表 6 に示す。

有の表現から生成した分散表現および素性に基づく、いずれの分類器においても、uni-gram を素性としためた。

それぞれ分類器を構築し、各分類器の実験結果をまと

表 5: T:意見なし/F:意見ありを判断する分類モデル

謝辞の 10 分割交差確認法の結果
素性

uni-grambi-gramtri-gram
条件 1
条件 2
条件 3

適合率
TF
0.904
0.664
0.888
0.702
0.878
0.762
0.884
0.744
0.885
0.720
0.860
0.597

再現率
TF
0.963
0.418
0.9780.294
0.988
0.215
0.984
0.258
0.981
0.274
0.991
0.074F値

本研究の一部は科研費 18K11557 の助成を受けたも0.8700.854
0.841
0.850
0.851
0.803のです。ここに記して感謝の意を表します。

参考文献

表 6: T:賛成意見/F:反対意見を判断する分類モデルの 10 分割交差確認法の結果
素性

uni-grambi-gramtri-gram
条件 1条件 2条件 3

適合率
TF
0.636
0.941
0.666
0.989
0.625
0.927
0.686
0.927
0.659
0.929
0.622
0.914

再現率
TF
0.383
0.978
0.223
0.957
0.223
0.987
0.220
0.990
0.234
0.988
0.060
0.996

[1] Andreas Hanselowski, Avinesh PVS, Benjamin
Schiller, and Felix Caspelherr. Description of thesystem developed by team athene in the fnc-1.
https://github.com/hanselowski/athene_
system/blob/master/system_description_

F値
0.916
0.901
0.899
0.901
0.902
0.877

athene.pdf, 2017. Accessed: 2018-01-16.
[2] Armand Joulin, Edouard Grave, Piotr Bojanowski, and Tomas Mikolov. Bag of tricks foreﬃcient text classiﬁcation. In Proceedings of the15th Conference of the European Chapter of the

モデルが、F 値において最も高い精度となった。特に、他のモデルと比較して、意見あり、および、賛成意見

Association for Computational Linguistics: Volume 2, Short Papers, pp. 427–431. Associationfor Computational Linguistics, 2017.の再現率が高いことがわかる。一方、bi-gram の素性や条件 2 の素性などの、2 単語、または、2 文節以上の関係を捉えた素性を用いたモデルの精度は、uni-gram素性の精度を大きく改善することは確認できなかった。
各素性において用いた出現頻度上位の語句を調べたと[3] Baird
Yuxi.

ころ、uni-gram の素性においては、主語である「私」や、賛否の立場を表現する「反対」や「求める」といった語句が多く存在することが確認できた。一方、それ以外の素性においては、例えば、「反対、です」や「反Sean,Sibley Doug,and Pan
Talos targets disinformation withfake news challenge victory.
http://blog.talosintelligence.com/2017/06/
talos-fake-news-challenge.html,
2017.
Accessed: 2018-01-16.

対、する」など、もともと単一だった特徴的な表現に多様性が生じていることがわかった。以上の原因により、― 1346 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.