研 究 講 演

研 究 講 演

ビッグデータに隠れた構造を見つけ出す
確率的潜在変数モデルに基づく知識発見

D i scovering h idden stru c t ure i n bi g dat a

Kn o w l e d g e d i s c o v e r y b a s e d o n pro babilistic latent variable mo dels

上田特別研究室

岩田

具 治 To m o h a ru I wa t a

潜在変数モデルを使うことによって潜在変数からデータが生

本講演では、
まず上記の隠れた構造を発見するための確率成される過程を表現できますが、実際に与えられるのはデータな的潜在変数モデルに基づく技術の基礎を説明します。そして、ので、データから潜在変数を推定する逆問題を解く必要があり具体的なタスクにおけるモデルを紹介し、どのような場面でどのます。この逆問題を解くためにベイズ則という確率の基本的なようなモデルを用いればよいかの指針を示します。本技術は公式が利用できます。ベイズ則を利用することにより、潜在変数様々な課題に適用できます。例えば、大量の文書から話題を見からデータを生成するモデルをもとに、与えられたデータに関すつけ出す「トピック抽出」[1]、異なる店の顧客グループを対応付る潜在変数を推定できます。ここで確率を基盤にすることによっけクロスドメイン推薦を可能にする「オブジェクトマッチング」て、不確実性を扱うことが可能になり、データに含まれるノイズ[2]、超高次元データをなるべく元データに含まれる本質的な構にも頑健な推定が可能になります。

造を保ったまま2次元空間に埋め込む「可視化」[3]、ユーザのインターネット上での活動履歴から影響力の強いユーザやユーザ

機械学習は「教師あり学習」と「教師なし学習」に大別できまプ ロフィー ル
2001年慶應義塾大学環境情報学部卒業。2003年東京大学大学院総合文化研究科修士課程修了。同年日本電信電話株式会社入社。2008年
京都大学大学院情報学研究科博士課程修了 博士（情報学）。2012年から2013年にかけケンブリッジ大学客員研究員。現在、NTT コミュニケーション科学基礎研究所 主任研究員（特別研究員）。データマイニング、機械学習の研究に従事。2014年長尾真記念特別賞等受賞。情報処理学会、電子情報通信学会各会員。

インターネットやセンサの普及とともに膨大なデータを容易にこのような隠れた構造は有用な知識となります。例えば、たく入手、蓄積できるようになってきています。
しかしながら、得られさんの研究論文から、同時に現れやすい代表的な単語のまとまたデータをそのまま眺めたとしても、どのような性質をもつのか、りをトピックとして抽出できれば、どのような研究が話題となってどのような価値があるのかを知ることは困難です。データから有いるかを知ることができます。またそのトピックを利用することで、用な知識を自動的に発見することはビッグデータ解析の大きな単純なキーワード検索では得られない関連論文を探し出すこと課題となっています。

ができます。購買データから同じような商品を購入している顧客す。確率的潜在変数モデルによる隠れた構造の推定は「教師間の影響関係を推定する「影響ネットワーク推定」[4]に適用できます。

なし学習」になります。教師あり学習では、入力と出力のペアを大量に教師データとして用意して、ある入力に対応する出力を予測できるように学習します。学習データ作成のコストが高い場
合や、プライバシー保護等の理由で学習データが得られない場
合は、教師あり学習は利用できません。一方、教師なし学習は、教師データなしで学習できるという利点があります。その反面、タスクに適したモデルを使わなければ、望ましい有用な結果を得ることができないため、モデルの設計が重要となります。

グループを見つけ出せれば、グループ毎に特化したマーケティ
様々な場面で得られたデータを見てみると、隠れた構造をング戦略を練ることができます。

持っていることが多々あります。例えば、新聞記事では同じ記事中に同時に現れやすい単語の集まりがあります。政治記事では隠れた構造を自動的に見つける方法として、潜在変数モデル「首相」と「国会」という単語が同時に現れやすいですし、スポーが注目されています。潜在変数モデルでは、観測データが生成

ツ記事では「サッカー」と「ゴール」が同時に現れやすいです。まされる過程において隠れた構造が重要な役割を果たしているとた、画像の場合、包丁が写っていたら、まな板も写っている可能考えます。具体的には、隠れた構造を観測することができない変性が高いです。ソーシャルネットワークでは友達の友達は友達数である「潜在変数」として表します。そして、その潜在変数にであることが多いですし、ＳＦ小説を買った人は次もＳＦ小説を買依存してデータが生成されるモデルを考えます。例えば、新聞記う可能性が高いです。

事が生成されるモデルの場合、まず新聞記事の潜在変数であるトピックが決められ（政治トピック）、そのトピックに従ってその記事の単語が生成される（首相、国会、政策）、と考えます。

08

オープンハウス 2017

図1：隠れた構造に依存したデータの生成と、データに基づく隠れた構造の推定

図2：異なる店の顧客グループを対応付けるオブジェクトマッチング

関 連 文 献[1] T. Iwata, T. Yamada, Y. Sakurai, N. Ueda, “Online multiscale dynamic topic models,” in Proc. 16th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD), pp. 664-672, 2010.
[2] T. Iwata, J. Lloyd, Z. Ghahramani, “Unsupervised many-to-many object matching for relational data,” IEEE Transactions on
Pattern Analysis and Machine Intelligence (PAMI), Vol. 38, No. 3, pp. 607-619, 2016.
[3] T. Iwata, T. Yamada, N. Ueda, “Probabilistic latent semantic visualization: Topic model for visualizing documents,” in Proc.
14th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD), pp. 363-371, 2008.
[4] T. Iwata, A. Shah, Z. Ghahramani, “Discovering latent inﬂuence in online social activities via shared cascade Poissonprocesses,” in Proc. 19th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD), pp.
266-274, 2013.

Copyright (C) 2017 NTT Communication Science Laboratories

オープンハウス 201709