言語処理学会 第21回年次大会 発表論文集 (2015年3月)

トピックモデルを用いたターゲット指定型極性判定三浦 康秀 榊 茂之 大熊 智子
富士ゼロックス株式会社 研究技術開発本部コミュニケーション技術研究所{yasuhide.miura, sakaki.shigeyuki, ohkuma.tomoko}@fujixerox.co.jp

1

はじめにφ

ソーシャルメディアの発展に伴い，個人が製品・サーα

ビス・組織等に対する評価情報を大量に発信するよう

θzw

KWになった．これら評価情報を分析すれば，製品購入のDための評判，サービス改善のための手掛かり，組織のβ

炎上状況等の様々な情報を得ることができる．評価情報の分析技術は評判分析等の名称で従来より研究され

図 1: LDA のグラフィカルモデル．影付けされたノーており [8, 6]，近年ではソーシャルメディアを対象としドは観測される要素を意味する．

た評価型ワークショップも活発に行われている [7, 1]．
本稿では，評判分析の中でも文書と “ターゲット”

2

手法

2.1Latent Dirichlet Allocationが与えられたときにターゲットの極性を判定する問題を取り上げる．ここでのターゲットとは，製品・サービス・組織等の評判情報を得たい何らかの対象を意味する．本設定は，Jiang ら [4] のツイートを対象とした極性判定の問題設定に近い．Jiang らは，製品等のクエリとツイートが与えられたときに，クエリの極性を判定する手法を提案している．また，単語情報に構文情報や関連ツイートの情報を加えることによりクエリ極性判定性能が向上することを示している．
本稿では，教師なしトピックモデル [2] を用いてターゲットの極性判定性能を行う手法を提案する．なお，
本稿での “トピック” とは，話題や主題といった意味ではなく，トピックモデリング手法における関連した提案手法では教師なしトピックモデリング手法の一種である Latent Dirichlet Allocation (LDA)[2] を用いる．LDA では文書は単語の多項分布であるトピックの混合として表される．図 1 は LDA の生成プロセスを表し，LDA の学習では学習データに対してP (W, Z, ϕ, θ | α, β) を最大化する ϕ, θ を求める．こ
こで W は語，Z はトピック，ϕ は単語の分布，θ はトピックの分布，α および β はディリクレ分布のパラメータである．Collapsed Gibbs Sampling を用いた

ϕ, θ の推定方法は Griﬃth ら [3] で述べられている．

単語の多項分布を指す．本手法の特徴としては以下の2 点が挙げられる．

2.2

1. トピックモデルを用いてターゲットの極性判定に有効な単語を抽出する．
2. 文書内でのトピック間の関係をターゲットの極性判定に利用する．
本稿の構成は次のようになる．2 章で提案手法の詳細を述べる．3 章で提案手法の効果を確認するための評価実験について述べる．4 章で実験結果を考察する．

5 章でまとめおよび今後の展望を述べる．

LDA を用いた単語トピックの推定提案手法では，LDA を用いて文書中の単語のトピックをサンプリングにより推定する．LDA は生成モデルであり，学習済みのモデル ϕ,θ と文書 d 中の観測された単語 w から単語毎のトピック z を推定できる．図2 にあるトピックモデルを用いて推定した単語トピッ
クの例を示す．単語トピックによって，例えば “飲料A” と “買う” がトピック 12 で関連があることや，“スタンプ” と “貰える” がトピック 36 で関連していることが分かる．提案手法ではこの単語トピックから得られる情報を用いてターゲット指定型極性判定を行う．

― 517 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

㴟㴫㴚㴆12

ターゲットトピック語

㴟㴫㴚㴆



36

38.9

1828.9ターゲットの関連語をトピックモデルを用いて抽出

135.6する．ターゲットが該当する単語で最大となっている

100.0…

トピックを “ターゲットトピック”zt として抽出し，各単語のターゲットトピックの割合を重み付き素性としҿྉ" 㳮 ങ㲢 㳄 ௝㲳㲠 㴐㴖㵊㴮 㲨 ໯㲤 㳚㲵て用いる．図 2 の例であればターゲットトピックはトピック 12 になり，素性としては，“飲料 A” を 1.000，㴖㱟㴉㴚㴟㴟㴫㴚㴆㴟㴫㴚㴆㴟㴫㴚㴆

65.6

2716.7

3636

13.3

30.0

32.2

1418

1213.36

14.4

312.2…

19…

34.4“買う” を 0.322 の重み付きで抽出する．
文書トピック語
文書の主題に属する語をトピックモデルを用いて抽…

出する．文書中の単語を最も生成しているトピックを
図 2: 単語トピックの例．トピック欄の数字はトピッ
クの ID であり，%はサンプリング結果で得られたトwd を文書 d 中の全単語とし，P (w, z | d) を文書 d の
単語 w 中でトピック z がサンプリングされた割合とピックの割合を示す．

2.3“文書トピック” として抽出し，各単語の文書トピックの割合を重み付き素性として用いる．文書トピックは，提案手法

提案手法では，教師あり機械学習手法に基くターゲッ

して，式 1 を最大化するトピック zd になる．
∑S(z) =P (w, z | d)

ト指定型極性判定を行う．極性情報としてはポジティ

(1)

w∈wd

ブ，ネガティブ，ニュートラルの 3 値を想定する．教図 2 の例であれば，トピック 36 が 0.656 + 0.389 +

師信号・文書・ターゲットからなる学習データから素性

0.344 = 1.389 で最大値を取り文書トピックとなり，を抽出し，それらを Support Vector Machine (SVM)

素性としては，“買う” を 0.656，“スタンプ” を 0.389，“貰える” を 0.344 の重み付きで抽出する．

で学習する．学習データから抽出する素性としては以下を用いる．

最近傍自立トピック語

単語 (BASELINE)

最近傍自立語の関連語をトピックモデルを用いて抽文書のテキスト中に出現する形態素の基本形をバイ出する．最近傍自立語で最大となっているトピックをナリ素性として抽出する．極性判定で広く用いられる“最近傍自立トピック” として抽出し，各単語の最近傍素性であり，本手法でもベースラインの素性として用自立トピックの割合を重み付き素性として用いる．図いる．

2 の例であれば，最近傍自立トピックは文書トピックと同じトピック 36 になる．

最近傍自立語ターゲットが該当する形態素の最も近く (前後は問最近傍修飾トピック語わない) に出現する自立語をバイナリ素性として抽出

最近傍修飾語の関連語をトピックモデルを用いて抽する．自立語は，品詞が名詞，動詞，感動詞，形容詞，出する．最近傍修飾語で最大となっているトピックを副詞，連体詞の形態素と定義した．図 2 の例であれば，“最近傍修飾トピック” として抽出し，各単語の最近傍修飾トピックの割合を重み付き素性として用いる．図“買う” を抽出する．

2 の例であれば，最近傍修飾トピックはトピック 27 になり，素性としては，“珍しい” を 0.167 の重み付きで最近傍修飾語
形容詞等の修飾語は極性の判定に有効であることが知られている．そこで，ターゲットが該当する形態素抽出する．
ターゲット・文書トピック比の最も近くに出現する修飾語をバイナリ素性として抽出する．修飾語は，品詞が形容詞，副詞，連体詞，名ターゲットについての記述が文書の主題であるかを，詞-形容動詞語幹，名詞-副詞可能の形態素と定義した．

ターゲットトピックと文書トピックの比率で抽出する．

図 2 の例であれば，“珍しい” を抽出する．

式 1 に基く S(zt ) と S(zd ) を計算し，S(zt )/S(zd ) の値を重み付き素性として用いる．

― 518 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

SetTarget

Pos

NegNeu

素性設定

AFB1

学習176

4546

15575706

BASELINE

30.0

評価211412

235

2973

+最近傍自立語+最近傍修飾語+ターゲットトピック語

27.8
31.0
29.4

表 1: 各セットのターゲットおよび各極性の数．

3

実験+文書トピック語+最近傍自立トピック語

29.9
32.1

3.1

トピックモデル学習用データ+最近傍修飾トピック語+ターゲット・文書トピック比

29.1
31.0

ツイートを対象としたトピックモデルを構築するた

表 2: 各素性を加えた場合の評価結果

めに，Twitter よりツイートデータを以下の手順で収集した．
ステップ 1 2014/11/9 から 2014/11/22 期間中の約620 万ツイートを Streaming APIs1 を用いて収集．

評価データでターゲットを評価する際には，必ず学習データ中で未知のターゲットを判定することになる．

ステップ 2 ステップ 1 のツイートの中から bot では3.3ないと判定 2 したツイートを抽出．
結果として，約 500 万ツイートをトピックモデル構築

評価

トピックモデルの構築用のデータとして収集した．

3.1 節のデータに対して，1 ツイート 1 文書としてLDA を実行してトピックモデルを構築した．LDA のターゲット指定型極性判定用データ実装には MALLET4 を用い，パラメータには k = 50，ターゲット指定型極性判定の学習・評価のために，α = 1.0，β = 0.01 を用いた．単語の抽出には形態素

3.2

クラウドソーシングを利用して以下の手順で教師信号付きのデータを作成した．
ステップ 1 ターゲットとして 219 の食料品・飲料品をリストアップ．

解析器 Kuromoji5 と IPA 辞書を用いた．また，単独で意味をなさない単語を排除するため，品詞が名詞，動詞，形容詞，副詞，連体詞，接頭詞，記号-アルファ
ベット，記号-一般，感動詞，フィラー，未知語の形態素のみを用いた．

ステップ 2 2014/7/14 から 2014/8/14 の期間中で単語トピックの推定ターゲットを含む 25521 ツイートを収集．
ステップ 3 Yahoo!クラウドソーシング 3 のタスクと構築したトピックモデルを用いて，3.2 節のデータして，ポジティブ，ネガティブ，ニュートラルのに対して単語トピックを推定した．単語トピックの推タグを 10 重複で付与．

定では，各単語においてトピックを 1000 回サンプリ

ステップ 4 アノテーション結果より，各ツイートごとに付与数が最大となるタグを教師信号として設定．

ングした．
学習・評価

ステップ 5 単独の教師信号が設定された 20184 ツイー
トを教師信号付きデータとして抽出．
作成した教師信号付きのデータは，176 ターゲットから構成される 11809 ツイートを学習セットにして，21ターゲットから構成される 4620 ツイートを評価セットに設定した．表 1 に各セットのポジティブ (Pos)，ネガティブ (Neg)，ニュートラル (Neu) のデータ数を示す．本評価データでは，ターゲット単位でツイートを学習もしくは評価データに分割している．このため

2.3 節の各素性を単語素性のみの BASELINE に加えた設定で学習し評価した．SVM の実装には LIBLINEAR6 を用い，カーネルには線形カーネル，コストパラメータ C は 1.0 に設定した．評価指標には，ポジティブの F1 値とネガティブの F1 値の平均 (AFB1) を用いた．この評価指標は SemEval-2014 Task 9[7] で用いられた指標であり，ポジティブとネガティブの判定性能をニュートラルより重視する指標である．表 2 に1 https://dev.twitter.com/streaming/overview
2 人手で作成した 80 件の投稿クライアントのリストと照合して判定．
3 http://crowdsourcing.yahoo.co.jp/― 519 ―

4 http://mallet.cs.umass.edu/
5 http://www.atilika.org/
6 http://www.csie.ntu.edu.tw/˜cjlin/liblinear/

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

各設定での AFB1 を示す．3 章の実験において BASE-

商標についてLINE と比較して性能向上が得られた設定は，最近傍Twitter(R) は，Twitter Incorporated の米国およ

修飾語 (+1.0)，最近傍自立トピック語 (+2.1)，ターびその他の国における登録商標です．Yahoo!(R) は，ゲット・文書トピック比 (+1.0) の 3 設定であった．

Yahoo! Incorporated の米国その他の国における登録商標です．その他，掲載されている会社名，製品名は，4各社の登録商標です．

考察

参考文献

トピックモデルの効果
最近傍修飾語素性による性能向上は，従来より知られていた修飾語の極性判定における有効性を示唆している．しかし，トピックモデリングを用いて最近傍修飾語に関連語を追加した最近傍修飾トピック語素性では性能低下が見られた．これは修飾語についてはターゲットとの距離が重要であり，関連語の追加は判定にノイズを加えてしまったためだと考えている．
最近傍自立語については，最近傍修飾語とは異なり最近傍修飾トピック語素性により性能向上が得られた．

Jiang ら [4] においても構文情報に基く必ずしも最近傍ではない関連語の有効性が示されており，自立語については最近傍よりもう少し広い範囲での関連語が有効であると考えている．
文書内でのトピック間の関係の利用
文書の主題がターゲットである場合，文書全体の極性がターゲットの極性と一致することも多い．ターゲッ
ト・文書トピック比素性はトピックの比率という形式でターゲットが文書の主題であるかという情報を表しており，得られた性能向上はターゲットが主題であるか否かの情報の有効性を示唆している．また，ターゲッ
トトピック語素性と文書トピック語素性では性能向上は得られておらず，比率を取っていることによる有効性も示唆している．

5[1] Enrique Amigó, Jorge Carrillo-de-Albornoz, IrinaChugur, Adolfo Corujo, Julio Gonzalo, Edgar Meij,
Maarten de Rijke, and Damiano Spina. Overview ofRepLab 2014: Author profling and reputation dimensions for online reputation management. In CLEF
2014 Evaluation Labs and Workshop, Online Working Notes, 2014.
[2] David M. Blei, Andrew Y. Ng, and Michael I. Jordan. Latent Dirichlet allocation. Journal of Machine
Learning Research, Vol. 3, pp. 993–1022, 2003.
[3] Thomas L. Griﬃths and Mark Steyvers. Finding scientific topics. Proceedings of the National Academy ofSciences, Vol. 101, No. Suppl 1, pp. 5228–5235, 2004.
[4] Long Jiang, Mo Yu, Ming Zhou, Xiaohua Liu, andTiejun Zhao. Target-dependent Twitter sentimentclassification. In Proceedings of the 49th Annual
Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 151–160, 2011.
[5] Lingpeng Kong, Nathan Schneider, Swabha
Swayamdipta, Archna Bhatia, Chris Dyer, andNoah A. Smith. A dependency parser for tweets.
In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp.
1001–1012, 2014.
[6] Bing Liu. Sentiment Analysis and Opinion Mining.
Morgan & Claypool Publishers, 2012.
[7] Sara Rosenthal, Alan Ritter, Preslav Nakov, andVeselin Stoyanov. SemEval-2014 Task 9: Sentiment
analysis in Twitter. In Proceedings of the 8th international workshop on Semantic Evaluation (SemEval2014), pp. 73–80, 2014.
[8] 乾孝司, 奥村学. テキストを対象とした評価情報の分析に関する研究動向. 自然言語処理, Vol. 13(3), pp. 201–241,
2006.

おわりに提案手法ではトピックモデルに基く素性を導入することにより，ターゲット指定型極性判定の性能が向上する結果が得られた．現在はまだ初期実験が完了した段階であり，今後は従来手法 [4] で効果が確認されている構文情報に基く手法との比較および相乗効果の確認を予定している．本稿の実験で対象としたソーシャ
ルメディアデータでは十分な構文解析性能が得られない可能性があるが，近年ソーシャルメディアを対象とした構文解析器の構築についての研究 [5] が行われており，併せて導入を検討している．

― 520 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.