DEIM Forum 2019 C7-1

読み手の個性を考慮したニュース記事の感情応答モデルの構築
森山皓未 1,†

新恭兵 1,†

小山聡 2,†

栗原正仁 2,†† 北海道大学大学院情報科学研究科 〒 060–0814 札幌市北区北 14 条西 9 丁目
E-mail: 1 {a.moriyama_ast, atarashi_k}@complex.ist.hokudai.ac.jp,
2{oyama, kurihara}@ist.hokudai.ac.jp
あらまし

近年ではネット上のサービスが多様化していることから，様々な形で情報発信をすることが増えている．

その中でも文書は一般的な媒体であり，この解析のために文書の感情推定に関するニーズも高まっている．しかしながら，文書の感情推定における既存の手法の多くは，各ユーザーの文書に対する反応の違いを考慮していないという欠点がある．この問題に対して，本研究では文書とユーザーが持つ２つの潜在的な特徴を組み合わせることでユーザー毎に異なる感情の分類器を作成し，文書に対する感情応答を推測するモデルを構築する．提案するモデルはトピックモデルを基盤としており，文書の潜在特徴としてはトピックの分布，ユーザーの潜在特徴としては実際にユーザーが付けたラベルを利用して学習を行う．またクラウドソーシングによってニュース記事に感情ラベルを付与したデータセットを用いて，潜在特徴の解釈性の確認や各ユーザーの傾向を考慮した応答が得られているかの実験を行う．
キーワード 感情推定, 文書処理, トピックモデル, クラウドソーシング

1 はじめに2 関連研究近年ではネット上のサービスが多様化していることから，様々文書における感情推定の既存研究の一つとして Ptaszynskiな形で情報発信をすることが増えている．その中でも文書は一ら [1] が用いた，感情語の辞書を利用した感情推定がある．[1]

般的な媒体であり，ニュース記事や広告，SNS への投稿など，においては 2 つの手法が述べられており，一つは ML-ask デー

様々な情報が文書で発信されている．

タベース [2] のように単純に辞書内の感情語と単語や表現を比

しかし，文書で発信された情報が，いわゆる炎上といった予較する手法がある．

想外の読者の反応を引き起こし，問題となることがある．このまたもう一つは上位語や下位語，同族語というような言語がようなリスクを避けたり，書き手の意図した効果を読者にもた持つ階層構造の特性を利用することによって，単語がどの感情らすために，文書の感情推定に関するニーズも高まっている．に含まれるか分類を行う手法が述べられている．無償利用可能

これまでの感情手法は一つの単語・文書に対してただ一通りな大規模シソーラスとして，英語については Wordnet [3]，日の出力を持つことが多い．その一方で同じ出来事であっても内本語については日本語 Wordnet [4] などがある．

容によって，それぞれの受け手ごとに感情は異なる場合が多い．
そのため文書を用いた感情推定においてもそれぞれ読み手ごとに異なる感情の傾向を考慮できるモデルを用いる必要がある．
これにより，読み手に応じて良い感情をもたらす文書を提示したり，逆に不快な感情をもたらす恐れのある文書の提示を避けたりすることが可能となると期待できる．また，ある文書を特定の人々の集団に提示した場合，何割ぐらいの人がどのような感情を持つか，感情の分布を推定することも可能になる可能性がある．
そこで本研究では文書と読み手が持つ潜在的な特徴を組み合わせることによって，読み手毎に異なる感情の分類器を作成するモデルを考案した．また本論文では文書の一つとして，ニュース記事に関するユーザーの感情応答を推測するモデルを構築した．
本論文で使用する記号を表 1 に示す．

3 トピックモデル
トピックモデルとは１つの文書が複数のトピックによって構成されていると仮定する考え方である．一例として「羽生善治
竜王が史上初の永世７冠を獲得して国民栄誉賞を受賞した」という内容の文書を考えたとき，この文書は「将棋」や「政治」など，複数のトピックを持つと考えられる．
トピックモデルでは，まず文書集合 D∗ のある文書 d は K
次元のトピックの分布 θd を保持しており，その分布に従って n番目の単語 wdn にトピック zdn が割り当てられる．また一方で文書全体の単語の分布から各トピックにおける単語分布 ϕkが求められる．トピックモデルにおいて文書中の単語は，単語ごとに割り当てられたトピックの単語分布 ϕzdn に基づいて生成されている．このときの文書 wd の生成確率は式 (1) で示される．

p(wd |θd , Φ) =Nd K∏∑

p(k|θd )p(wdn |ϕk )(1)

n=1 k=1

そのグラフィカルモデルは図 1，生成過程は以下のように表4 提案モデル
提案モデルは前章で触れたトピックモデル (LDA) を基盤として読み手の潜在的な特徴を求める部分について拡張したモデ

される．

ルである．本論文では文書の潜在的な特徴の一例としてニュー（ 1 ） For k = 1, . . . , K（ a ） 単語分布の生成 ϕk ∼ Dirichret(β)（ 2 ） For d = 1, . . . , D

ス記事のトピックの分布と，読み手の各記事に対する感情に関する潜在的な特徴の 2 つを組み合わせることによって，ニュース記事に対する感情について読み手ごとに異なる分類器を得る（ a ） トピック分布の生成 θk ∼ Dirichret(α)

モデルを作成する．

（ b ） For n = 1, . . . , Nd

4. 1 グラフィカルモデルと生成過程

i. トピックの生成 zdn ∼ Categorical(θd )ii. 単語の生成 wdn ∼ Categorical(ϕzdn )図1

提案モデルのグラフィカルモデルは図 2 で表され，その生成過程は以下のようになる．

トピックモデルのグラフィカルモデル

トピックモデルの推定を行う手法のうち，最もよく知られるものの一つとして LDA (Latent Dirichret Allocation) [7] というモデルがある．LDA とはトピック分布の事前分布としてディリクレ分布を仮定し，ベイズ推定を用いて推定を行う確率的生成モデルである．以降，本論文においてはトピックモデルの推定手法として LDA を用いることとする．
記号

説明

D

全文書の数

Nd

文書中の全単語数

図2

提案モデルのグラフィカルモデル（ 1 ） For k = 1, . . . , K（ a ） 単語分布の生成 ϕk ∼ Dirichret(β)（ b ） For e = 1, . . . , EK

トピック数

θd

文書 d におけるトピック分布

zdn

文書 d における n 番目の単語のトピック

wdn

文書 d における n 番目の単語

α, β

ディリクレ事前分布のハイパーパラメータϕkトピック k における単語分布（ a ） トピック分布の生成 θk ∼ Dirichret(α)

H

全ユーザーの数（ b ） For n = 1, . . . , Nd

E

全感情の数

ψkeh

トピック k における読み手 h の感情 e の分布

ldeh

文書 d における読み手 h の感情 e のラベル

γ

ベータ事前分布のハイパーパラメータ表1

本論文における記号i. For h = 1, . . . , H
A. ユーザーの各感情分布の生成ψkeh ∼ Beta(γ)（ 2 ） For d = 1, . . . , D

i. トピックの生成 zdn ∼ Categorical(θd )ii. 単語の生成 wdn ∼ Categorical(ϕzdn )（ c ） For e = 1, . . . , E

i. For h = 1, . . . , H
A. ユーザーの各感情ラベルの生成
ldeh ∼ Bernoulli(θd · Ψeh )4. 2 実る．提案モデルとの違いとしては，ワーカーのパラメータと付装提案モデルは確率的生成モデルであるためサンプリング法与したラベルのみを用いて推定を行うことからタスクの中身がや変分ベイズ推定を利用して学習を行う．本研究では [8] を元考慮されないことと，タスクに一つもラベルが付与されていなに pymc3 による Automatic Diﬀerentiation Variational Infer-

いような状況だと真のラベルが推定できないため評価ができな

ernce (ADVI) と呼ばれる手法を用いて実装した．ADVI とは，いという点が挙げられる．

潜在変数の事後分布の近似分布をガウス分布と仮定したのちに次に梶野らの方法 [11] (Personal Classifier (PC モデル) ) に変数変換と確率的最適化を行うことによって，変分ベイズ推定ついて述べる．梶野らは，各ワーカーは各々分類器 (Personalを自動で行う手法である．これを用いることで近似分布の学習Classifier) を持ち，タスクが与えられると，与えられたタスクにおいてモデル固有のパラメータ更新式の導出を行わなくてもを表現する特徴ベクトルを自身の持つ分類器に入力し，その出推定できるという利点がある．

力に基づいてラベルを付けていると仮定している．

読み手の集合 H のうちある読み手 h が文書 d に付与した

ここで梶野らの手法の特徴的な点として，各ワーカーのパララベルを ldh とし，トピック k における読み手 h の感情分布をメータ wh について，ベースとなるパラメータ wb s と各ワーψkh とする．このとき文書集合 D∗ と読み手の感情ラベル集合

カーの持つ能力や特性 vh を用いて wh = wb s + vh で表される∗

点とパラメータの最適化問題が凸最適化になる点の 2 つがある．

∗L に関する事後分布の関係は式 (2) で表される．

前者の利点としてはあるワーカーがパラメータの学習を行う際に，他のワーカーがラベル付けした結果を利用することが可能

p(Θ, Ψ|D∗ , L∗ ) ∝ p(D∗ |Θ) · p(L∗ |Θ, Ψ)(2)

両辺について対数を取ることによって右辺は和の形を取ることが可能であり，右辺第一項については前節で述べたトピックモデルの式 (1) と同様である．
また右辺第二項について，感情 e にラベルを付与した読み手の集合を He∗ としたとき，式 (3) で表すことができ，これを用いることによって文書集合と読み手の感情ラベル集合の事後分布が得られる．になる点が挙げられる．後者の利点としては大域的な最適値が得られるため，EM アルゴリズムを用いたときのように出力が初期値に大きく左右されない利点がある．本手法でパラメータの推定を行う際にはベースのパラメータ wb s とワーカーのパラメータ集合 W についてそれぞれ片方を固定して最適化するアルゴリズムを行う．提案モデルとの違いとして，潜在的な特徴を特徴ベクトルから学習するわけではないため，ラベルが付与されていない文書を学習に用いることができない．
またこれらの手法に加えて，PC モデルにおいてベースとなる分類器の存在を仮定せずに，各ワーカーについて独立にロジ∗p(ld |θd , Ψ) =He KE ∏∑∏p(k|θd )p(ldeh |ψkeh )(3)e=1 h=1 k=1

4. 3 類似手法との比較
提案モデルでは，複数の読み手の複数の文書に対するラベルスティック回帰を学習をさせるという方法をベースラインとして考えることができる．この方法を Independent PC (IPC) モデルとして，表 2 で提案モデルとの差異についてまとめた．
手法

ワーカー毎の評価

タスクの考慮

ラベル無し文書の学習への利用付けの結果から，文書と読み手に関する特徴を獲得することで，未知の文書に関して読み手の反応を予測することができる．一方で，複数のアノテーターが複数のデータ・タスクに与えたラベルの集合から，アノテーターの能力やデータが持つとされる真のラベルを推定する方法に関する研究は盛んに行われている．

DS モデル○××

PC モデル○○×

IPC モデル

×○

×

提案モデル

○○

○

表2

提案モデルと類似手法の比較

しばしばこれはクラウドソーシングのワーカーのラベル付け結果の統合に用いられるが，本研究で扱う読み手の反応の予測にも用いることもできる．本節ではこれらの既存研究で提案され5 実験・結果・考察たモデルについて，提案モデルとの比較も含めて述べる．
まず一つ目の先行研究として Dawid と Skene らの方法 [10]5. 1 データセットについて(今後本モデルを DS とする) がある．この手法ではワーカー使用する文書については [12] の livedoor ニュースコーパス

がラベルを付与する能力とそのラベルの正確さについて依存より一部を抜粋して使用した．また文書に対する感情ラベルに関係があるという仮定を置いている．より具体的には，各ワーついては，クラウドソーシングサービスの一つである Lancers

カーは各々混合行列を持ち，その混合行列に従ってラベルを付を活用することで，文書に対して怒り・悲しみ・喜び・不快・与していると仮定している．この仮定を元にワーカーのパラ驚き・恐怖の６つの感情についてマルチラベルでラベル付けをメータと潜在的な変数である真のラベルについて Expectation-行ってもらった．なお各読み手は記事に対して適した感情ラベ

Maximization (EM) アルゴリズムを用いて推定を行うことで，ルが存在しない場合においても，最も近い感情 1 つにラベル付

各ワーカーについてその混合行列を獲得し，ワーカーが実際にけを行うこととした．

ラベルを付与していないタスクについても推定を行う手法であ

実際に今回収集したデータに関して，先述の文書コーパスより 220 個の記事を抜粋し，それぞれの記事について 30 回ずつ

5. 3 実験 1 の結果と考察ラベル付けを行った．なお各読み手が付けたラベルの数は一定

実験 1 の結果について，グラフから読み手と文書が一番反応ではないが，記事 10 個のラベル付けを 1 工程として，最低 1しているトピックは共に 1 であることが見て取れる．したがっ

工程読み手にラベル付けを行ってもらった．その結果収集されて，ある読み手について各潜在特徴と感情が対応していると考たラベルは，読み手の総数が 95，読み手の付けたラベルの数えられる．このときトピック 1 の上位単語は「韓国・中国・フの平均値・中央値・最頻値は，それぞれ順に 69.47，30，10 とジテレビ・日本」となっており，「外国」のトピックが抽出されなった．ていると考えられる．これらのことから，提案モデルでは少な

感情ラベルをつけた場合を正例，つけなかった場合を負例としたとき，今回得られた各感情ラベルの正例と負例の数は表 3

くとも部分的に，トピックレベルでの感情の解釈性を持った潜在特徴が得られていると考えられる．のようになった．

5. 4 実2

正例1738260

悲しみ 1742

256

喜び

1861137

嫌悪1248750

驚き1067931の「文書」を学習に利用する場合としない場合の 2 つで評価を恐怖1836

162行った．また同様に UL 文書についても使用する場合としない

怒り

表3験

負例

文書に付与された感情ラベル数

本節ではテストデータとして誰も評価を行っていない未知の文書を利用して，それに対する感情の推定結果の評価と比較を行った．5.1 節で述べた通り提案モデルではラベル無しデータを学習に使用することが可能である．そのため，テストデータ場合について別途評価を行った．
今回比較する手法は，提案モデル・PC モデル・IPC モデル

また提案モデルにおいてはラベルのない文書を学習に利用での 3 つである．なお DS モデルについては 4.3 節で述べたようきるという特徴があるため，上述のラベル付けを行った文書のに誰も評価を行っていない文書についてのラベル推定ができな

他にラベル無し約 550 文書 (以後，UL 文書とする) を準備した．

いため，本実験においては比較を行うことができない．

5. 2 実験

1

本実験では提案モデルを介して得られた文書と読み手の２つの潜在特徴を用いて，推定した読み手のトピックの分布が実際

今回のデータセットでは多くの感情においてラベルの正例と負例がインバランスであったことから，各感情ごとの ROC-AUC値を評価値として扱うこととした．表 4 がその結果である．に解釈可能なものであるかを確認を行った．つまり，「ある読み手があるトピックのときに特定の感情を抱きやすいか」ということについて確認した．ここで解釈性についての例として，PC モデルでは文書中に出現した単語に対する反応が得られるため，単語レベルでの解釈性があると考えられる．
今回は文書と読み手の 2 つの潜在特徴がどの割合でトピックに反応しているかについて，ある読み手が「驚き」のラベルを付与した 10 文書の平均を用いて比較を行った．図 3 がその結果である．
表4

各手法での ROC-AUC 値の比較

5. 5 実験 2 の結果と考察
実験 2 の結果から，提案モデルの ROC-AUC 値は複数の感情において既存手法の結果を上回っており，また平均についても上回っていることが見て取れる．このことから提案モデルは誰にもラベル付けされていない未知のデータに関する感情推定について既存手法よりも優れていると考えられる．
また他にラベル無しデータを学習に使用した場合とテストデータの文書を学習に使用した場合について，それぞれ評価値に大きく差がないことが見て取れる．これについて，ラベル無しデータに対して学習データが十分に用意されていることが考えられる．このような場合においては学習データから得られな
図3

ある読み手と文書の「驚き」の潜在特徴分布

い特徴量をラベル無しデータから補完する必要がなくなることが考えられ，よりラベル無しデータを増やした環境において再度実験を行い，比較する必要があると考えられる．

5. 6 全体を通した考察
データセットについて，クラウドソーシングを利用して文書にラベル付けを行ってもらったが，読み手 1 人あたりのラベル付与数の最頻値は 10 であり，非常に少ないことが見て取れる．
このような場合だと，提案モデルにおいて，読み手の潜在的な特徴は記事に対するラベルと記事のトピック分布を用いて学習されることから，ラベル付与数の少ない読み手に関して十分に読み手の分類器の学習ができないことが考えられる．そのため，梶野ら [13] の PC モデルをクラスタ化した Clustered PC モデ
ルへの拡張のように，読み手の潜在特徴について Duan ら [14]の手法などを用いて似通ったラベルの付与を行った読み手をクラスタ化することによって，一読み手クラスタあたりのラベル付与数を増加することなどによる工夫が考えられる．

5. 7 ま と め
本研究では文書と読み手が持つそれぞれの潜在的な特徴を組み合わせることによって，文書に対する読み手の傾向を考慮した感情応答が得られるモデルを作成した．提案モデルは潜在特徴の解釈性が高く，未知のデータに対しての推定が優れているが，ラベル無しデータの大規模化を行った際の考察や，読み手のクラスタ化を用いた場合などの潜在特徴の工夫によってさらにモデルが改良できると考えられる．

謝

辞

本 研 究 の 一 部 は JSPS 科 研 費 JP15H02782 お よ び

JP18H03337 の支援を受けた．
文

献[1] Michal Ptaszynski, Hiroaki Dokoshi, Satoshi Oyama, RafalRzepka, Masahito Kurihara, Kenji Araki, and Yoshio Momouchi. Aﬀect analysis in context of characters in narratives. Expert Systems with Applications, Vol. 40, No. 1, pp.
168–176, 2013.
[2] Michal Ptaszynski, Pawel Dybala, Rafal Rzepka, KenjiAraki, and Fumito Masui. Ml-ask: Open source aﬀectanalysis software for textual input in Japanese. https://openresearchsoftware.metajnl.com/articles/10.5334/jors.
149/.
[3] Wordnet | a lexical database for English. https://wordnet.
princeton.edu/.
[4] 日本語 Wordnet - Nanyang Technological University. http://compling.hss.ntu.edu.sg/wnja/.
[5] Peter Welinder, Steve Branson, Pietro Perona, and Serge J.
Belongie. The multidimensional wisdom of crowds. In Proceedings of the 23rd Annual Conference on Neural Information Processing Systems (NIPS 2010), pp. 2424–2432,
2010.
[6] 岩田具治. 機械学習プロフェッショナルシリーズ トピックモデル. 講談社, 2015.
[7] David M Blei, Andrew Y Ng, and Michael I Jordan. Latent
dirichlet allocation. Journal of Machine Learning Research,
Vol. 3, No. Jan, pp. 993–1022, 2003.

[8] The PyMC Development Team. Automatic autoencoding
variational Bayes for latent Dirichlet allocation with PyMC3‐ PYMC3 3.6 documentation. https://docs.pymc.io/notebooks/lda-advi-aevb.html.
[9] Alp Kucukelbir, Rajesh Ranganath, Andrew Gelman, andDavid Blei. Automatic variational inference in Stan. In
Proceedings of the 28th Annual Conference on Neural Information Processing Systems (NIPS 2015), pp. 568–576,
2015.
[10] A. P. Dawid and A. M. Skene. Maximum likelihood estimation of observer error-rates using the em algorithm. Journalof the Royal Statistical Society. Series C (Applied Statics),
Vol. 28, No. 1, pp. 20–28, 1979.
[11] Hiroshi Kajino, Yuta Tsuboi, and Hisashi Kashima. A convex formulation for learning from crowds. In Proceedings ofthe 26th AAAI Conference on Artificial Intelligence (AAAI2012), pp. 73–79, 2012.
[12] Ltd. RONDHUIT Co. ダウンロード - 株式会社ロンウイット.
https://www.rondhuit.com/download.html#ldcc.
[13] Hiroshi Kajino, Yuta Tsuboi, and Hisashi Kashima. Clustering crowds. In Proceedings of the 27th AAAI Conference on
Artificial Intelligence (AAAI 2013), pp. 1120–1127, 2013.
[14] Lei Duan, Satoshi Oyama, Haruhiko Sato, and Masahito
Kurihara. Separate or joint? estimation of multiple labelsfrom crowdsourced annotations. Expert Systems with Applications, Vol. 41, No. 13, pp. 5723–5732, 2014.