from NTTコミュニケーションズ

Twitter全量分析サービス，BuzzFinderの提供と実現
Twitter，Facebook といったソーシャルメディアを介して，情報収集・分析を行う企業が最近，爆発的に増えています．
「BuzzFinder」は日本初のTwitter全量，いわゆるビッグデータの取得・分析を行うサービスです．BuzzFinderはビックデータ分析の機能として，リアルタイム分析，ネガポジ判定，関連語分析，アラート機能などを提供します．ここではBuzzFinderのサービス概要とシステム構成，および今後のロードマップを解説します．

ソーシャルメディアの爆発的な成長

言がキーワードに対してポジティブであるか，ネガティブであるかといった判定を行うことを指します．

Twitter, Facebook, 個人ブログなどによる個人の情報

Twitterで発言されるいわゆるツイート数は全世界で約４発信が一般的なものとなり，社会に与える影響も大きく億ツイート/日（2012年，米Twitter社発表）を超えておなってきています．例えば，ある有名人のTwitterアカウンり，その中に含まれる日本語ツイートも膨大な量です．もトは100万人以上のフォロワーがいて，Twitter上での発ちろん24時間常に同じ数のツイートが流れるわけではな

言が世の中に大きな影響を与えニュースになることも珍し

く，時間帯やそのときに起きた出来事によって大きく変動いことではありません．

します（図１)．

企業がTwitter上での発言をモニタし，分析を行うことは，ユーザやマーケットの動向を把握するために，もはや必須

BuzzFinderの特徴といえるでしょう．
この場合の分析とは，例えば自社製品にかかわるキーNTTコム オンライン・マーケティング・ソリューション

ワードで発言を検索し，関連して出現するワード，発言者

は2012年10月に米Twitter社と戦略的提携を結び，日本の年代・性別・地域といったプロフィール，さらにその発語ツイートの全量データ取得を可能にするFirehose APIを０時付近がピーク
夜（19時付近）からトラフィック上昇し，０時付近でピークを迎える
お昼（12〜13時）に一時的にトラフィック上昇

深夜早朝にかけてトラフィック減少

朝（７時〜９時ごろ）に一時的にトラフィック上昇

012

図１

243456789

10 11 12 13 14 15 16 17 18 19 20 21 22 23（時）日本語ツイートのトラフィック傾向（１日の平均的なトラフィック）

NTT技術ジャーナル 2013.8

利用した分析サービス「BuzzFinder」の提供を開始しまし(2) 評判・属性分析

た．2013年5月，BuzzFinderは米Twitter社のTwitter(1)
NTT研究所のリッチインデクシング技術 を利用し，登Certified

ProductsProgramに国内で初めて認定され録したキーワードに対してツイートの内容がネガティブかポジティブかを判定するネガポジ判定と，登録したキーました．
BuzzFinderは，日本語ツイートの全量データを利用したワードに関連したワードの抽出を行います．この際，投稿Twitter分析機能と，国内の9割のブログをカバーしている者の性別・年代・地域・職業の属性分析も行います．分析

ブログ分析機能を備えたASP（Application Service

結果はグラフや表など視覚的に分かりやすく表示されます

Provider）サービスです．Twitter分析では，ユーザが登（図２）.

録した任意のキーワードに関連したツイートを収集し，そツイートのネガポジ判定や投稿者の属性情報を知ることのトレンド分析・関連語分析・本文表示・本文のネガポジによって，キャンペーンやPRの反響の良し悪しや想定した判定を実施します．

ターゲットに波及しているかを確認できます．

BuzzFinderのTwitter分析機能の特徴は以下の3点です．
(1)

日本語ツイートの全量データ取得・リアルタイム分析(3) アラート通知機能指定したキーワードを含むツイートが急増した場合，登録したアドレスにアラートメールを送信します．日本語ツ

Twitterのデータ取得方法にはTwitter APIのFirehose・イートの全量データ取得と15分ごとのリアルタイム分析とSample・Searchの3つがあります．Sample・Searchはアラート通知により，異変を迅速に，漏れなく検知できま無料ですが，ツイート全体のごく一部（Sampleでは1％程す．そのため，風評被害につながるツイートやクレームに度）しか取得できません．BuzzFinderが採用している早期に対応を開始することできます．

Firehoseは有料ですが，すべてのツイートを取得すること

図２はサッカーW杯予選の日対豪戦のあった2013年6ができます．BuzzFinderはFirehoseで取得した1日のツ

月4日に「サッカー」というワードが含まれているツイート

イートを15分ごとというリアルタイムに近い頻度で収集・の分析結果です．

分析ができます．

試合開始が近づくにつれ，ツイート数が急増し，W杯決勝

Firehoseによる全量データ取得とリアルタイム分析によ進出が決定した後の21:15〜21:30にツイートのピークをり，登録したキーワードに関連したツイートが急増する前記録しました．投稿者の性別は男性よりも女性が多く，年代の小さな動きですら見逃さず，迅速に確認できます.

は若者層が圧倒的に多いことが分かります．「サッカー」と（a） トレンド分析（b） ネガポジ分析（c） 属性分析（d） 関連語分析

ポジティブなツイート
ネガティブなツイート

性別
１位
２位
３位
４位
５位

男性：41.3％
女性：58.7％

渋谷（17268）
いい（12053）
好き（10776）
面白い（10289）
楽しい（9725）

年代

渋谷：7.3％
いい：5.1％
好き：4.6％
面白い：4.4％

10代：33.1％
20代：40.3％
30代：17.5％
40代：6.8％

50代：1.6％
60代〜：0.8％

楽しい：4.1％

その他：74.6％

図２

BuzzFinder 分析結果イメージ図

NTT技術ジャーナル 2013.825

from NTTコミュニケーションズ

一緒にツイートされた一番多いワードは「渋谷」です．これチャセンタとともに構築・開発しました．

は試合終了後の様子が大量にツイート・拡散したためです．

■分析処理の仕組み

BuzzFinderのシステム構成を提供する「リアルタイム分析処理」と，分析結果の完全BuzzFinderの日本語分析処理はリアルタイムに分析結果性を担保する「バッチ分析処理」の2系統で構成されていま次にBuzzFinderシステムに関して，「BuzzFinderシステす．分析処理が2系統で構成されている理由はTwitterの特ムインフラ概要」「分析処理の仕組み」「リアルタイム分析徴的なトラフィックパターンに因ります．まずはTwitterのの実現方法」の3つに分けて説明します．

日本語ツイートトラフィックパターンについて説明します■BuzzFinderシステムインフラ概要（図４）．

BuzzFinderシステムは大きく分けて収集処理と分析処理という2つのシステムで構成されています（図３）．

日本語ツイートのトラフィックパターンの特徴は2つあります．

収集処理は米国のデータセンタでツイート全量を収集，・1日単位でサイクルしている平均的なトラフィックパ

日本語フィルタ処理によりツイートデータから日本語ツターンイートのみを抽出しています．本機能はNTT研究所が開発・短時間で爆発的なトラフィック増加が発生するパターンしました．

日本国内における平均的なパターンは，ツイート数が早日本語ツイートはツイート全量の約10％程度といわれており，ツイート全量収集と日本語ツイート抽出を米国の朝に底辺となり，以降は徐々に上昇を始めて深夜24時ごろにピークとなります.

データセンタで実施する理由は以下2つです．

図４の赤線は6月4日の日本語ツイートのトラフィックに・日本語ツイートのみ抽出し，国際間のインターネットトラフィックを抑えることなります．21時台でトラフィックが急激に増加しています．
これはサッカー日本代表が2014年ブラジルW杯への最終・処理対象として必要なデータのみを事前抽出しておき，予選突破を決定づけたタイミングと一致します．このほか

BuzzFinder分析処理の無駄なオーバヘッドを削減するにも災害発生時やお正月といったイベント時にツイートのこと増加がみられることがあります．

分析処理はNTTコミュニケーションズのクラウドホス
テ ィング環境（数10台規模のサーバ）にHadoop(2)，

BuzzFinder分析システム構築の際に留意すべき事項はTwitter特有の特徴的なトラフィックパターンを考慮したシ(3)(4)
RabbitMQ ，Cassandra ，リッチインデクシング技術

ステム設計を行うことです．リアルタイム分析処理はリア等を用いて，NTTコミュニケーションズ先端IPアーキテク

ルタイムにツイートを分析することで分析結果の速報性を日本語分析処理

収集＆日本語フィルタ
ツイート全量（Firehose）

データベースでインデックス作成 &集計結果保持RabbitMQ/Hadoopで日本語分析&集計

RabbitMQ

メッセージ
キュー

RabbitMQ
日
本
語ツイート
全量

米国

NTT技術ジャーナル 2013.8

データベースWeb サーバメッセージ
キューHadoop で日本語分析 & 集計

バッチ分析処理日本

図326

リアルタイム分析処理

BuzzFinder システムインフラ概要

分析結果
KVS

Web サーバで分析結果の提供

KVS でツイート & 分析データ保持平均的なトラフィック
爆発的なトラフィック

一時的に爆発的なトラフィックが発生

012

図４34567891011121314151617181920212223（時）日本語ツイートの平均的なトラフィックパターンと爆発的なトラフィック比較実現しています．ただし，一時的に爆発的トラフィックが処理を実施することが可能

発生した場合，リアルタイムにすべてのツイートを分析できない可能性があります．対して，バッチ分析処理では1日今後のロードマップ単位の日本語ツイート全量をバッチで分析処理します．一
時的に爆発的トラフィックが発生しても，1日単位ではデー

2012年10月にサービス提供開始してから，お客さまかタ量はほぼ平均化されるため，全データの分析が可能とならの要望による機能追加やより安定したシステム運用とり完全性は担保されます．ただし1日単位のバッチ分析処理いった課題が出てきています．のため分析処理が完了するまでに時間を要します．

現在のBuzzFinderは過去にさかのぼってお客さまの登録BuzzFinderシステムはTwitterのトラフィック特性に合したキーワードを分析する機能がありません．お客さまかわせて構築することで，速報性と完全性を兼ね備えた分析

らは「過去の特定期間と現在の比較を行いたい」という要サービスを提供しています．

望が多く，さかのぼり分析機能の実装が今後の課題です．

■リアルタイム分析の実現方法

技術的には，過去に蓄えた膨大なデータから，いかに早く設計当初BuzzFinderはリアルタイム分析実現のために大キーワードを含むツイートを抽出するかが重要となります．

量ツイートを高速，かつ堅牢性を確保した処理が必要とさシステム運用面からは，突発的なツイート数の増加に対れる，という課題がありました．この課題を解決するために，応することです．ツイート数の増加を検知し，リアルタイ

Hadoop，Cassandraを採用し，複数台サーバによる分散ム分析サーバ数を動的にコントロールするという，よりク処理で大量ツイートの高速分析および格納を可能としまし

ラウド的なサーバリソースのコントロールを行い，スケーた．次に前者の高速性を保ちつつ，各サーバ間の情報伝達ラビリティを確保することで，より安定したサービスの提に堅牢性を確保させる必要があるため，メッセージキュー供を目指します．

イングシステムのRabbitMQを採用しています．私たちは上記構成により課題を解決し，日本語ツイート全量という大量データのリアルタイム分析処理を実現させました．
また，RabbitMQ採用により以下の利点が挙げられます．
・障害性において，ハードウェア障害によりサーバ障害が発生した際，切り離し対応を行った場合でも既存サーバでキュー処理をフェイルオーバし，カバーすることが可能
・性能面にて，サーバ固有の処理能力，およびプログラ■参考文献（1） http://www.ntt.co.jp/journal/0806/files/jn200806008.pdf（2） http://hadoop.apache.org/（3） http://www.rabbitmq.com/（4） http://cassandra.apache.org/◆問い合わせ先
NTTコム オンライン・マーケティング・ソリューション
プロダクト本部BigData部
TEL 03-4330-8411
E-mail bf-prd-om nttcoms.com

ム処理の待機時間に依存されず，各サーバが独立してNTT技術ジャーナル 2013.827