FIT2012（第 11 回情報科学技術フォーラム）D-012

Twitter 解析による通信品質低下傾向の早期検出手法の提案
Twitter analysis approach for early detection of reduction in communication quality
池田 和史†
Kazushi Ikeda

服部 元†
Gen Hattori

小野 智弘†
Chihiro Ono

麻生 英樹‡
Hideki Asoh

通信サービス関連Tweet

１． まえがき(1)投稿絞り込み手法

安定した通信インフラを提供する上で、通信品質低下を早期に検出することは重要である。通信品質低下の多くは、通信設備からのアラートによって検出可能であるが、アラートが発生しない場合や、検出した品質低下による利用者への影響は直ちに把握しづらいといった課題がある。一方、Twitter 上で通信サービスに関する体感品質を投稿する利用者も存在し、通信品質が低下した際には、品質低下に関連する投稿が多くなされる。本稿では、Twitter 上の投稿内容から通信サービスに関する否定的な表現を検索し、投稿数の遷移や、否定語に共起する語の一貫性などから、通信品質低下が見込まれる傾向を早期に発見し、通信設備の管理者に情報提示する手法を提案する。

評判解析器
通信サービス
関連Tweetクリーニング
否定的Tweet その他Tweet
汎用辞書

評判解析器
通信サービ
ス用辞書

通信サービ
ス用辞書

否定的Tweet(2)異常状態検出手法(3)誤検出削減手法

異常検出器
急増投稿検出

最新Tweet

否定表現の統計的抽出

異常時Tweet

共起語頻度計測(4)管理者への情報通知
通知情報作成漸増投稿検出メールが使えない
ダメだメール
メールが届かない

管理者通知

比較
最新Tweet 過去(正常時)
Tweet「メール」が多数出現

設備管理者

図1

提案手法の概要

2 ．関連研究
ブログなどを対象に、特定の語を含む投稿の急増を検出することで、流行の話題を発見する手法が提案されている[1]。しかし、単純に量的な急増を検出するだけでは、特定の季節や日時に起こる変動や、複数の話題に関連する投稿が偶発的に重なることによる、誤検出の可能性がある。
Tweet をクラスタリングして得られた集合を元に、それらが実際に起こった出来事かどうかを教師あり学習により構築した識別器を用いて判定する手法が提案されている[2]。
しかし、通信品質低下のように、事実確認が可能な事例が少ない事象では、教師あり学習を行うことは難しい。

3．提案手法3.1 提案手法の概要
提案手法では、次の 3 手法を用いて通信品質低下傾向を検出し、通信設備の管理者へ情報通知を行う(図 1)。(1)通信品質に対する否定表現を含む投稿に絞り込みを行う、投稿絞り込み手法。(2)投稿数の急激な増加または、日々の投稿数との比較による増加を検出することで、異常な状態を検出する、異常状態検出手法。(3)否定表現と共起する語の一貫性から異常な状態を限定する、誤検出削減手法。

3.2 投稿絞り込み手法
通信品質低下に関する投稿数の微細な増加を早期に検出するため、通信品質に関する否定表現のみを抽出する否定表現辞書の構築を行う。文章が肯定的か否定的かの判別は、評判分析の分野で盛んに研究され、HTML から辞書を自動構築する手法[3]などが提案されている。一般に、評判分析の対象を限定することなく、汎用的に高精度な肯定/否定表現の辞書構築は困難である。本稿では、[3]の手法を参考に、汎用辞書と、通信サービスに関連する Tweet を用いて、通信品質に関する高精度な否定表現辞書を構築する。
†（株）KDDI 研究所, KDDI R&D Laboratories, Inc.
‡独立行政法人産業技術総合研究所, AIST

辞書の構築は次の手順で行う。(1)通信会社や通信サービスの名称で検索を行い、通信サービスに関連する Tweet を収集する。(2)収集した Tweet を対象に、既存の汎用辞書を用いて否定的な Tweet を抽出する。(3)抽出した否定的なTweet と、それらを除いた Tweet 中の任意の表現の出現頻度を計測し、否定的な Tweet に特徴的に現れる表現を獲得する。ここで表現とは、極性付きの名詞や動詞、形容詞とする。例えば、「繋がりません」は、「繋がる(動詞)」＋「ます」＋「ぬ(否定極性)」からなる表現となる。否定的な Tweet に特徴的に出現する表現は統計指標を用いて抽出される。本稿では、AIC(赤池情報量基準[4])を用いた。(4)獲得した表現を人手で検証し、否定表現ではないサービスや端末の名称などを除去することで辞書を精査する。上記の(1)～(4)のステップを繰り返すことで、高精度な辞書構築が可能となる。

3.3 異常状態検出手法
通信品質低下の傾向を高精度かつ早期に発見するため、否定的な Tweet の投稿数の遷移から(1)急激な増加を検出する急増投稿検出手法と、(2)徐々に増加する傾向を日々の投稿数との比較により検出する漸増投稿検出手法、を組み合わせて異常状態を判断する。
一般に、製品中の不良品の個数や、一定時間に受信するメールの件数などは、ポアソン分布に従うとされる。正常時において利用者が投稿する否定的な Tweet の投稿数は、同様にポアソン分布に従うと考えられる。急増投稿検出手法と漸増投稿検出手法では、ポアソン分布に従わないような異常な傾向を検出する。
急増投稿検出手法では、現在時刻スロット t(例えば 10分間)における投稿数 x と、t から過去 L スロットの重み wを用いた重み付き平均値λを用いて、ポアソン値 p を式(1)に定義する。漸増投稿検出手法では、重み付き平均値λを、t から過去 M スロット、N 日分の正常時における投稿数(M×N スロット)を用いて式(2)に定義する。

101( 第 2 分冊 )Copyright © 2012 by
The Instiute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.

FIT2012（第 11 回情報科学技術フォーラム）

表1/∑∑
1
∑

∑∑
∑

!

/N

(1)
(2)

異常状態の検出は、p が閾値以下になることを判定する。
本稿では、より早期にもれなく通信品質低下を検出する観点から、急増投稿手法または漸増投稿手法のいずれかが閾値以下になる場合を異常として検出する。

3.4 誤検出削減手法
複数の話題に関連する投稿が偶発的に重なることによる誤検出を取り除くため、否定表現と共起する語の一貫性を計測する。異常とされた Tweet 集合において、否定表現と同一 Tweet 中に出現する各名詞を共起語と定義する。各共起語について、Tweet 集合中の出現回数を TF、正常時のTweet 中の出現回数を DF と定義し、TF-IDF を算出する。
これにより、異常とされた Tweet 集合に特徴的に出現する共起語を抽出できる。TF-IDF 値が上位である共起語の TFIDF 値の総和が閾値を下回るような場合、話題の一貫性が低いと判断し、検出を行わないことで、誤検出を軽減する。

4．性能評価実験
4.1 実験環境と手順提案手法による通信品質低下傾向の検出性能を評価した。
通信会社が公表している 2 件の通信障害が発生した日時を含む 1 ヶ月分の Tweet に対し、提案手法による否定表現辞書の精度(再現率、適合率)、異常検出手法の精度(再現率と適合率)と通信品質障害の発生時刻から検出するまでに要した時間を評価する。
否定表現の精度評価では、人手によって分類した否定的な Tweet と否定的でない Tweet 各 500 件を対象に、汎用な評判解析辞書と提案手法によって構築した通信サービス用の評判解析辞書の性能比較を実施した。
異常検出手法の精度評価では、通信会社名または通信サービス名で検索した 1 ヶ月分の Tweet 約 20 万件を対象に、ベースライン手法として、直前 1 週間において投稿数が最大となったスロット(10 分間)の投稿数を閾値として、閾値を上回る場合を異常として判定する手法と、提案手法の性能を比較した。

4.2 実験結果
投稿絞り込み手法における否定表現抽出の精度は、汎用な辞書では、再現率 15.2%、適合率 53.1%、提案手法で構築した通信サービス用の辞書では、再現率 74.6%、適合率83.4%となり、高精度な辞書が構築されたことを確認できた。3.2 章に記載の(1)～(4)の手順を 4 回実行することで1500 個の否定表現からなる辞書を構築した。作業に要した人的なコストは約 2 人日であった。
異常検出については、ベースライン手法、提案手法共に期間中に発生した 2 件の通信障害を検出したため、再現率は 100%と言える。ベースライン手法では、42 件の誤検出があり、適合率は 4.5%であった。閾値を固定したため、時間帯による変動や投稿数の多い日に多数の誤検出が発生するといった傾向が見られた。提案手法では、誤検出は 2管理者への情報通知の例

検出時刻：20YY 年 MM 月 DD 日 HH 時 MM 分
投稿数遷移：13, 9, 8, 11, 20, 34
異常値遷移：0.3690, 0.8216, 0.7107, 0.1847, 0.0020, 0
否定表現：通信(n), 送受信(n), 使える(n), ダメ(p), おかしい(p), …
共起語：メール, 3G, スマホ, …
本文：
・[X 社]のスマホで 3G 通信できない。他に同様の状態の人いませんか。
・メールの送受信できない。[X 社]どうした・スマホのメールが使えない… 私だけかなぁ？[X 社]スマホ使ってる人どうだろうか・[X 社]通信障害？？3G がダメだな。Wi-Fi はいける。
・なんか[X 社]メール受信おかしいらしいんだけど。イマココ東京ですが。
・[X 社]の 3G 回線つながらない気がする。キャリアメールが送れない。

件のみであり、適合率は 50%であった。誤検出の 1 件は、深夜に発生した緊急地震速報に対する利用者の否定的な投稿を検出したものであった。他の 1 件は他社の通信品質に関連する報道を受けて、否定的な投稿が多くなされたために、誤検出された。検出時に上記のような不特定多数を対象とした放送の有無を確認する機能を追加することで回避できると考えられる。
2 件の通信障害の発生から検出までに要した時間(スロット数)は、ベースライン手法でそれぞれ 6 スロットと 3 スロットであったのに対し、提案手法では共に 2 スロット(20分以内)であり、早期復旧のための状況把握の観点では、この差は大きいと言える。提案手法では、否定的な Tweetのみを計測対象とすることで、より微細な異常を早期に発見できた。また、本稿では提案手法による検出の試行間隔をスロットと同じ 10 分としたが、スロット間隔は変更せずに、検出を 1 分間隔で試行するなど、さらなる早期検出のための改善の余地はあると考える。
最後に、通信品質低下を検出した際に通信設備の管理者に通知される情報の例を表 1 に示す。情報には、提案手法で通信品質の低下を検出した時刻、直近 1 時間の投稿数と異常値(p)の遷移、否定表現と共起語(頻度の降順)、実際の投稿内容が含まれる。これらは利用者への影響の把握や通信品質低下の原因究明に役立つ。

5 まとめ
本稿では、Twitter 上の投稿内容から通信サービスに関する否定的な表現を検索し、投稿数の遷移や、否定語に共起する語の一貫性などから、通信品質低下が見込まれる傾向を早期に発見し、通信設備の管理者に情報提示する手法を提案した。性能評価実験によって、否定的な表現の検索精度は再現率 74.6%、適合率 83.4%と高精度であることが分かった。通信品質低下の検出において、2 件の障害を含む1 ヶ月の Tweet に対し、いずれも障害発生から 20 分以内の検出を実現し、有効性を確認できた。マスメディアなどの放送に対する反応を誤検出する事例が確認されたため、今後はこれらの影響も考慮した手法の検討を進める。

参考文献
[1]
[2]

[3]

[4]

102
( 第 2 分冊 )J. Kleinberg, “bursty and hierarchical structure in streams,” Proc.
of SIGKDD, pp.1-25, 2002.
Hila Becker, Mor Naaman, and Luis Gravano, “Beyond Trending
Topics: Real-World Event Identification on Twitter,” ICWSM,2011.
N. Kaji and M. Kitsuregawa, “Building lexicon for sentiment
analysis from massive collection of HTML documents,” Proc. ofEMNLP-CoNLL, pp.1075–1083, 2007.
H. Akaike, “A New Look at the Statistical Model Identification,”
IEEE Trans. on Automatic Control, 19, 6, pp. 716-723, 2003.

Copyright © 2012 by
The Instiute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.