機械学習・データ科学センタが推進するビッグデータ技術の横断的研究開発

リアルタイム分析

並列分散アーキテクチャ

オンライン機械学習

オンライン機械学習向け並列分散処理フレームワークJubatusの最新動向
はやし

た か し

さ わ だ

ま さ と

やまなかあきひろ林

モバイル端末の普及やセンサ技術の発達などにより，ビッグデータと呼ばれる大量の多種多様なデータが連続的に生成されるようになるとともに，これらビッグデータの生成に追随して迅速に分析したいというニーズが高まってきています．本稿では，ビッグデータをリアルタイムに深く分析するための並列分散処理フレームワークJubatusについて，概要，最新の開発動向，オープンソースコミュニティ活動と商用サポート，適用事例について紹介します．

孝志

澤田 雅人
山中 章裕

う め だ

まさよし

いさがい

か お り

つなかわみつあき/梅田 昌義/飯盛 可織/綱川 光明

NTTソフトウェアイノベーションセンタ

ラビリティであり，「リアルタイム分いもの，あるいは時間とともにルール析」を「並列分散アーキテクチャ」にが変化していくものなど，あらかじめインターネットの普及やICT技術のより実現しています． 2 番目のねらいシステムで処理するためのルールを設発展により，莫大な量の多種多様なは深い分析で，「機械学習」により実定することが難しい場合に，事例デーデータが時々刻々と生成されるように現しています．

タからルールを学ばせることで深い分ビッグデータの活用なりました．具体的には，Twitterやまず，リアルタイム分析により，連Facebookなどのインターネット上の続的に発生するデータを一時蓄積する

リアルタイム分析×並列分散アーキ

さまざまなサービスの利用データ，ことなく逐次処理を行うことで，すばテクチャ×機械学習という特徴を同時ネットワーク装置やサーバなどのロやい応答を実現します．次に，並列分に実現する技術はJubatusが世界初でグ，家電製品や自動車等に搭載された散アーキテクチャにより，Hadoopなあり，これらを実現するため，MIX各種センサから送られてくるデータとどの大規模データ処理基盤と同様，処理を採用しています（4）．

いったものです．

サーバの増設によるスケールアウトを析を実現します．

Jubatusの利用例

本稿では，このように連続的 ･ 大量実現します．さらに機械学習により，に生成されるビッグデータを単純に集ルールがまだよく分かっていない，まJubatusの 3 つの特徴は，異常や故計や検索するだけではなく，より深くたはルールとして表現することが難し障の予兆検知に有効です．例えば工場分析して素早く次の行動につなげるためのオンライン機械学習向け並列分散処理フレームワーク「Jubatus（ユバ・ビッグデータをタス）」とその適用事例を紹介します．

・深く分析しJubatus

・すばやく応答する

リアルタイム
分析

Facebook

JubatusはNTT研 究 所 とPreferredTwitterSNS

並列分散アーキテクチャに研究開発を開始し，同年10月よりオープンソースソフトウェア（OSS）として公開しています．Jubatusには大きく 2 つのねらいとそれを実現する 3 つの特徴があります（図 ₁ ）．
1 番目のねらいは，処理性能のスケー

20

NTT技術ジャーナル 2015.12

分析結果

装置やサーバなどのログ

Infrastructure社（PFI社 ） が2011年

（1）
～
（3）

・サーバログからネットワーク障害予兆検知
・監視カメラ映像から振り込め詐欺検知
・ソーシャルメディアの分類・評価
・トラフィックから不正を検知
・購買履歴から売れ筋商品の推定

ビッグデータ
各種センサ

機械学習

数MB/秒
数GB/時
数TB/日

図₁

迅速な対応が可能

Jubatus特 集等の場合，さまざまなセンサから取得されるデータやログを逐次処理することで，迅速な対応が可能となります（リ12アルタイム分析）．また，工場の規模

72が大きくセンサ台数が膨大な場合もComp.3‑2

Jubatusサーバの追加により対応可能‑7です（並列分散アーキテクチャ）．さ‑12‑12らに，独立したセンサ情報による警告ではなく，複数センサのデータを「異‑7‑22
Comp.1

712‑12‑772‑2
Comp.2

12・ログデータ（実際は 1 件につき41項目/次元のデータ）から，通常と異なる新規のパターンを検知（赤く表示）
・サンプリングでは見逃す危険があるため全量分析が必要
・「異常検知」アルゴリズムにより，教師なし学習で実現

常検知」アルゴリズムを用いて学習させることで，未知のパターンのデータ

図₂

故障の予兆検知を通常と異なるものとして検出することが可能です（機械学習）．
サーバのログデータに機械学習を適用した例を図 ₂ に示します．主要な特徴を用いた 3 次元で表しており，赤く示したものが普段とは異なる特徴を持ったデータです．このように，通常と異なるパターンのデータを抽出し，詳しく調査することで，未知の異常を発見することが可能となります．
現在，Jubatusの適用領域拡大について は 機 械 学 習 ･ デ ー タ 科 学 セン タ
（MLC: Machine Learning and DataScience Center）やhimico（5）と連携し，ネットワーク故障検知等のPoC（Proof＊1of Concept）案件に取り組んでいます．

最新の開発動向2011年のOSS公開開始から現在まで

表分析アルゴリズム

実装済み分析アルゴリズム
機能

適用シーン例分類

与えられたデータをカテゴリに分類･ スパムメール判定･ Twitterのカテゴリ分け推薦与えられたデータと似ているデータを推薦･ ECサイトの商品お薦め･ 検索サイトの連動広告

回帰与えられたデータに対する出力の値を推定･ 消費電力値予測･ 株価予測統計

データの頻度，標準偏差，最大値，最小値など統計情報を集計･ センサ監視･ データ異常検知

グラフマイニング与えられたグラフ構造から中心点や最短経路を抽出･ ソーシャルコミュニティ分析･ ネットワーク構造分析

異常検知（外れ値検知）与えられたデータ集合の中から異常（外れ値）を検知･ 不正検知･ 障害検知クラスタリング

与えられたデータ集合を教師データなしで指定された個数にグルーピング･ セグメント分析･ トピック分類

バースト検知しきい値設定しなくても急激な量の変化を検知･ 通信量の輻輳検知･ SNS炎上検知

バンディット

サービスを実行しながら複数の手段の評価を実施し，ユーザ ･ 状況に応じた手段（アルゴリズム）を選択･ ECサイトの商品お薦め（個人対応）･ 検索サイトの連動広告（個人対応）

随時バージョンアップを繰り返すことで（2014年度内だけで 9 回），システムに，サービスを実行しながら各手段のま た， 最 新 の 研 究 成 果 と し ての基盤部分の整備が進み，プログラマ評価を並行して実施することで，ユー「JubaQL」を公開しました．JubaQLなどの開発者が容易に利用可能な環境

ザ ･ 状況に応じた最適な手段を選択すとはJubatusに対するオンライン機械がそろってきました．また，データサることができます．この機能は，商品学習の各種要求を実現するSQLライ

イエンティストや各分野の専門家向けのレコメンデーションや広告配信なクな構文の対話型インタフェースのこに，各種分析アルゴリズムを拡充してどの効率的な選択に非常に有効です．とです（ 図 ₃ ）．従来のJubatusではきました．現時点でJubatusが対応してさらに，表に示す各分析アルゴリズ

Ruby，Pythonなどのプログラミングいる分析アルゴリズムを表に示します．

ムを実現するモジュールはプラグインの言語を用いてクライアントプログラム例えば，最新のリリースに含まれる「バ形式で搭載されており，ユーザ独自のンディットアルゴリズム」では，問題分析アルゴリズムを開発した場合も，プを解くための手段が複数存在する場合ラグインとして追加 ･ 選択が可能です．

＊1

PoC：新しい概念や理論 ･ 原理などが実現可能であることを示すための簡易な試行．

NTT技術ジャーナル 2015.1221機械学習・データ科学センタが推進するビッグデータ技術の横断的研究開発

を 記 述 す る 必 要 が あ り ま し た が，開発元であるNTT研究所やPFI社以成されるSNSなどの情報を高速に分

JubaQLにより分析処理の組合せや分外からの導入案件についても報告があ析することが必要とされています．

析の反復評価が容易になるため，デーり，利用の拡大が進みつつあることをタ分析処理の生産性が向上します．

確認しています．

Jubatusを活用することで，極めて高度な分析かつリアルタイムでの処理が可能になりました．

また，Jubatusをビジネスに活用す

OSSコミュニティ活動と■hitoe連携るため，商用システムに導入していく

商用サポート体制動きも広がっています．商用導入に向センサデータの分析にもJubatusを

前述のとおり，JubatusはOSSとしけては適切な分析アルゴリズムの選択適用することができます．スポーツにて公開しています．現在，Hadoopをや性能のチューニングなどのノウハウおけるフォームチェックなどに，hitoe（7）はじめビッグデータ分析に関する分散が重要です．そこで商用導入を推進すのようなウェアラブルデバイスから取処理基盤の多くはOSSとして公開さるため，NTTソフトウェアでは2014

得した 3 軸加速度のデータ＊ 2 を利用れ，多くの開発者，研究者がかかわっ

年 1 月にJubatusの商用サポート体制

して姿勢を判定する場合，従来の技術てエコシステムを形成し，新しい利用を確立し，ビジネスでの活用に役立つ

では姿勢ごとにセンサの値がどのよう事例やデータ活用のかたちが生み出ささまざまな支援を提供しています．

な範囲になるかを決めることで判定をれ て い ま す．Jubatusも 同 じ よ う にOSSとして公開することにより，多くのユーザに触れてもらい新しい利用行っていました．しかし，個人ごとに適用事例異なる体型やクセによって正しく判定■WatchBee

できなかったり，正しく判定するため事例やデータ活用のかたちを生み出し

Jubatusの活用事例の 1 つに，NTTていくことをねらいとしています．

アイティが提供している評判情報解析の調整が非常に難しいという問題がありました．

（6）

今までOSSでのコミットは2000件

サービス「WatchBee」 における「まJubatusを活用した姿勢判定では，判を超えており，利便性の向上が図られとめ表示機能」があります．SNSなど定したい姿勢を取っているときのセンています．さらにJubatusのハッカソの大量の情報から，それぞれの情報のサの値を学習することで，自動的に判ン 2 回，ハンズオン 4 回，カジュア持つ特徴量を抽出，情報間の相関性の定基準を決めることができます（図 4 ）．

ルトーク 3 回，カジュアルもくもく会分析を行うことで，類似した情報を分

個人ごとのデータを学習すれば，その1 回を開催し，参加者延べ約590名を類しまとめる機能を提供しています．

集めるなどコミュニティ活動を活発にWatchBeeでは，最短30分間隔での分行っています．カジュアルトークでは析を行っており，日々刻々と大量に生試行錯誤的な評価を行うためには※の個所で個別のプログラミングが必要

分析者

特徴抽出

ﬂuentd

特徴抽出※
HDFS＞ CREATE …Model …
＞ UPDATE Model …
＞ ANALYZE …

特徴抽出
特徴抽出

※
特徴抽出

3 軸加速度のデータ：センサの向きを判定するために，センサが受けた重力加速度をＸ軸/Ｙ軸/Ｚ軸の 3 軸に分解したデータ．

JubaQLなどにより試行錯誤が容易

分析者

ﬂuentd

＊2

HDFS

近傍探索

特徴抽出

②ユーザ定義した複数の特徴抽出パターンを容易に試行可能①分析処理の組合せ等がクエリのみで実行可能
近傍探索

※
特徴抽出

分類器

分類結果

図3

22

NTT技術ジャーナル 2015.12③蓄積したデータストリームによる反復評価

JubaQLの効果

分類器

分類結果

特 集

今後の展開

【学習】

加速度から抽出した
特徴量を学習【推定】

歩いている！

これまでJubatus本体の分析アルゴリ
ズム拡充やJubaQLなどの利便性向上に取り組みつつ，認知度の向上と利用者の拡大に努めてきました．今後はビジネスでの円滑なJubatus活用に向けて，Y実際の姿勢・動き品質向上（運用性 ･ 信頼性強化等）やZX

推定結果

・
「立つ」
「座る」「歩く」などの姿勢や動作を，hitoe 端末の加速度センサの値を基に，Jubatus で学習・推定（機械学習）

図₄

周辺機能拡充に注力していきます．
さらに，Jubatusの適用分野の拡大に向けて，AI（Artiﬁcial Intelligence：人工hitoe連携知能）やIoT（Internet of Things：モノのインターネット）などの新領域 ･ 分
野の案件開拓を加速していく予定です．
メガネなし

常に素早く

大量データ

ネクタイありデータをためず
リアルタイム応答

青い服

メガネなし
ネクタイあり黒い服

次々と生成される
複雑で大きなデータ
事例を分析しルールを学習■参考文献（1） http://jubat.us/（2） https://twitter.com/jubatusoﬃcial/（3） https://github.com/jubatus/jubatus/（4） 堀川 ･ 北山 ･ 小田 ･ 上西 ･ 韓 ･ 牧野 ･ 石井 ･
内川 ･ 木下：“オンライン機械学習並列分散
処 理 フ レ ー ム ワ ー クJubatus,” NTT技 術
ジャーナル，Vol.24，No.10，pp.30-35，2012.
（5） http://www.ntt.co.jp/news2015/1502/15021₈a.html（6） http://www.ntt-it.co.jp/product/watchbee/（7） http://www.ntt.co.jp/news2014/1401/140130a.html（8） http://deeplearning.net/

メガネあり
ネクタイなし深く分析

青い服

・画像データから特徴を抽出し，意味（タグ）を付与して蓄積することで，集計，検索が可能
・リアルタイムに対応が必要な異常事象の検知（防犯，防災）， 顧客識別への活用を目指す

図₅

監視カメラ画像分析

人の体型やクセの違いを反映した判定を探す必要があります．Jubatusの「分基準をつくることも可能になります．

類」アルゴリズムを用いることで，カ綱川 光明/ 梅田 昌義

また，Jubatusの追加学習機能を利用

メラ映像の撮影と同時に，特徴抽出し，（前列左から）澤田 雅人/ 飯盛 可織

し正しく判定できなかったデータを追（例えば服の色やネクタイの有無，ス加学習することで，さらに判定精度をマホや本を読んでいるといった動作な高めていくことも可能です．

どを）属性として画像データに付加しNTTグループ内外と広く連携し，PoC案件などを通じて，新たなサービスの実現に取り組んでいます．皆様のご意見，ご要望等をお待ちしています．

■監視カメラ画像分析ておくことができれば，後の集計や検監視カメラの画像分析への適用につ索が容易になります．

いても検討を進めています（図 ₅ ）．

今後はDeep Learning（₈）などの最新

現在，事件の捜査などで監視カメラのの技術と組み合わせた映像認識を活用

映像を使用する場合，時間帯を絞り込することで，属性分類精度のさらなるんだうえで人間が見て，怪しいところ向上を目指していきます．

（後列左から）山中 章裕/ 林孝志/

◆問い合わせ先NTTソフトウェアイノベーションセンタ
第二推進プロジェクト
TEL ₀₄₂₂-₅₉-₂3₀3
FAX ₀₄₂₂-₅₉-3₇3₉
E-mail jubatus-info lab.ntt.co.jp

NTT技術ジャーナル 2015.1223