グラフィカルモデルと情報検索
持橋大地
統計数理研究所

daichi@ism.ac.jp
IFAT

情報アクセスシンポジウム2013
2013-12-06 (金)情報検索: “Relevant Document”
から文書 D への関連度を測る →−q · →−D
よく使われる Cosine 類似度: cos θ = |→−q ||→−D |! Query q!にする理由があるのか?
どうやって「個人化」するのか?

– Cosine–

No More Cosine!
! Cosine類似度＝データが正規分布という仮定!

(Papadimitriou 1998)! 言語データや離散値の頻度データはまったく!

Gaussianではない！
– そもそも必ず非負値– 連続でない、裾がもっと長い
大数の法則

Gaussian

少数の法則

Poisson!
Multinomial

“IR as a Statistical Translation”! p(D|q) ∝ p(q|D) p(D) に従ったランキング!

! "# $ ! "# $文書"クエリの生成 文書の生成! Berger&Lafferty, 1999

ベイズの定理の復習
p(X, Y )∝ p(X, Y )p(X|Y ) =p(Y )= p(Y |X)p(X)

は、p(X,Y) に比例p(X|Y) を、引っくり返した p(Y|X)p(X) で計算できる! p(X|Y)!

文書の生成モデル!

最も簡単な場合：!p = (p(w ), p(w ), · · · , p(w ))から文書 d = w w w · · · w が生成
1

1

2– Unigram (1-gram)

2

V

分布とよぶ
N

3

パラメータ

単語pw N

プレート:
繰り返しを表す
繰り返し回数D

単語数 文書数

：観測変数
：潜在変数

文書の生成モデル: Unigram

点 あっ おり とか 独自 抱える 場合
重要 川崎 従来村 組 花 準備求め 国会として 世界中 いまだ
アルジェリア 創作 れ か すさまじい 電子
なっ 慎太郎 ない
進ん ターゲット 満員
引き揚げ 者 達成
いる 機体 億 対戦
さ 保育園 大正 結 中期 なく 月 疑い
希望 議会 グローバル 住宅 性 足利 られる
現場 言及 的 中核 常識 準 と た 県 目
週 応募 通商
メンバー 市 は
p(d) = p(w1 w2 · · · wN )N!
=p(wi )
i=1

何が足りないか?
!
!

文書の「個性」を表現したい「こういう個性の文書を探したい」「政治」「スポーツ」「音楽」

p1

法案 点 国会

議院
p2

バスケット 点

フォーム 競泳p3

フルート演奏 ニ長調 鍵盤

Unigram Mixtures (Nigam+ 2000)! 文書全体の「話題」zi を付加

zp1 , · · · , pK

w ND! zi ∈ {0, 1} の場合：文書分類、「ナイーブベイズ」

Unigram Mixtures (2)! UMからランダムに生成した文書の例
なる 駒大 た で 五

五輪 浜松 する 発

サッカー の 移転

全国 開く れる修司 リーグ ドルと 情報 で O 世界

リード イワノフ

高校生 失明 月# 山口 連続 にも は 大会 の目 に 投手 また

大会 線 田中の する # と 死

テロ 決勝 返上

新 行わ # 代打を AP 同 計 の派 勝負 # の連鎖 で 現役 規模

今季 試合

は し # もの た 首都

トピック83

トピック93

Unigram Mixtures (3)! どうやって学習するか?"EMアルゴリズム

p(d, z) = p(z)N!

p(wi |z)i=1– Eステップ: p(z|d) ∝ p(z, d) を計算– Mステップ: 対数尤度の期待値"!
"log p(d, z)からp(z|d)p(z), p(w|z) を更新

Eステップへ戻る.

「トピックモデル」

LDA:!

動機: Unigram Mixturesでは、文書ごとに1つの!
話題しか考えていない–「農業政策」「音楽と国際化」「スポーツ振興の!
予算枠」‥‥
話題の混合を考えるθ
(Blei+ 2001, 2003)

LDAのグラフィカルモデル! α→θ →z →w–の順で単語を生成

θはディリクレ分布 Dir(α)から生成

α

θzwN

p1 ,p2 , · · · , pK

D=β

LDA
!

によるトピック分析の例

川端康成「雪国」の冒頭

年度毎日新聞記事全文 (2,887万語) で学習した"モデルで分析

– 2000!
!
!

青色のトピックは冬に関係する
緑色のトピックは電車に関係する
黒色は地の文情報検索／統計的要約への応用!
!

「真に重要な文」だけを取り出したい– ムダな単語を削りたい
複数の文書の意味的な共通点を要約したい"

bqfs (Hal Daume 2006), HierSum (Haghighi&Klein2009)のアイデアを紹介

Bayesian Query-focusedSummarization

Simple Unigram summarization! 要約したい文書集合の単語分布と、要約文の!
単語分布は似ている（はず）! Kullback-Leibler ダイバージェンス!

!

pD (w)
KL(D||S) =pD (w) logp(w)Swを最小化– pD = pS のときに最小値0– DとSが同じ分布pから生成されるようにするSimple Unigram summarization (2)NpDL! 文書集合全体と、要約が同じ単語分布pを共有!

pD (w)pD (w) log– KL(D||S) =pS (w)wを最小化Simple Unigram summarization (3)! 要約 S={} として、Sにgreedyに文を追加– KLの値が最小になるような文を選択して追加する– 結果: DUC 2006の最高値とほぼ同等

Global/Local!

モデル

文書には、中心の内容と関係ない「背景ノイズ」!
が沢山入っているのでは?

Bungling the Easy Stuff
Hospitals are still overcharging the poor. Obamacare was
supposed to fix that too. What went wrong?
One of the patients featured in the TIME cover story I wrote last
March--"Bitter Pill: Why Medical Bills Are Killing Us"--was Emilia
Gilbert, a school-bus driver. Gilbert was 61 years old in 2008 when she
slipped and fell one evening in her backyard in Fairfield, Conn.She wastaken to the emergency room at Bridgeport Hospital, where she wastreated for some cuts and a broken nose. She left a few hours laterwith a bill for $9,418, which included $6,538 for CT scans and $239 fora routine blood test. The charges, I found, were based on somethingcalled the hospital chargemaster--a list of hugely inflated prices thatno one could explain or defend. Medicare--which by law pays …

Global/Local!

モデル (2)モデルを拡張: 各文の単語は、!
(1) 背景分布!
(2) 文書特有の分布!
(3) 要約したい内容分布!のどれかから生成されているでこの3つのどれかを選択
トピック が つある のようなもの– θ ∼ Dir(α1 , α2 , α3 )
–“” 3
LDA

Global/Local

モデル (3)
zpDpC

θpGw
NSD!

C

潜在変数 z が, どれから単語を生成するかを支配

Global/Local!

モデル: 実験結果

さらに要約性能が向上

Global/Local!

文書集合の内容 p をさらにトピックに分解
C– pC0– pC 1– pC 2!

モデル＋トピック：全体的な内容：トピック1：トピック2 …

pC から、"
コインを投げて、表が出たら裏が出たら p · · · p のどれかから内容語を"生成
0

C1–

CK

前の文のトピックを継続しやすいようなHMM

Global/Local! pC

モデル＋トピックをさらにトピックに分解
pC 1

θ..
.

zpG

w

pCKpD
pC 0N

SDCGlobal/Local! pC 0モデル+トピック: 結果から要約文を選択すると、最高性能

「教師データ」の利用!
!

!

これまでの話はほぼ教師なし学習
実際には、教師データが一部でも得られることが"多い"
しかし、普通の教師あり学習は適用できない！

教師データがすべて付いていることを仮定
個人差やノイズがうまく扱えない教師なし学習で扱える)中身をまったく見ていない!

–––(Titov&Mcdonald (2008)! 背景: レビューサイトでのレビュー文には、!
評価ポイントごとの点がついていることが多い

アスペクト! 問題: どの評価ポイント(アスペクト)がレビュー文の!
どこに対応しているかわからない!

– しかし、統計的には相関があるのでわかるはずMAS (Multi-Aspect Sentiment model)! 解決: アスペクト ∈ トピックとみて、!
アスペクトに割り当てられた語を使った回帰モデル– トピックモデル+ロジスティック回帰This hotel has a good location andgreat service. Lunch is also great,especially with a café style desserts.
We can reach any spots from this hotel
by walk or a light rails.
The most prominent feature of this hotel
is its silence; it is a bit far away from thedowntown. However, during our stay,
we could enjoy fabulous restaurants
located in this hotel. …

LogisticRegression

Food:

MAS (2)全体像

回帰モデル部

nグラムfが評価yを生む重みp(y(a)= y|w, r, z) ∝ exp!

b(a)y +"(a)λf,y +p(a|f )λf,y#f! トピックをサンプルする際にも、この重みを!
用いる (同時学習)

複雑な依存関係の場合!
!
!

生成モデルの分布が共役でない!
‥‥Gibbsサンプラーでの学習が難しいネットワークのように、相互依存関係のある!
データの生成モデル?
以下は、“Matchbox: Large Scale Online BayesianRecommendation” (WWW 2009) を簡単にユーザーの情報行動!

ユーザーiがある商品jに対して、環境Φの下で!
レートrをつけるなら、買った/買わない、いいね/いいねなし!など– rが実数やランクの場合もある– r={0,1}!

データ: ペア!

"Nx, y, Φ, r n=1：ユーザーiの特徴ベクトル：商品jの特徴ベクトル：環境ベクトル：観測されたレート– x ∈ Rnmy∈
R–– Φ ∈ Rf– r∈R

Bilinear Rating Model! rは圧縮空間での正規分布から生成r ∼ N(sT t + b, β 2 )s = U x,t = V y,Tb=Φ w– 推定すべきパラメータ: U, V, w
! 実際には、r自身が観測されているとは限らない– 潜在変数rにもとづくProbitモデル

Bilinear Rating Modelのグラフィカルモデル!
!
!

推論はEP!
(Minka 01)
メッセージ!
パッシング
Conjugate!
でなくとも!
学習可能2次元へのEmbedding

ムービー!
データ
注: Deep Net!
では、階層化
しないと!
2次元には!
埋め込めない! Netflix!

まとめ!
!

情報検索におけるグラフィカルモデル– モデルの仮定を整理して見るための道具
複雑な依存性が扱える

大域的、局所的個人性とその強さ
教師データ” のモデル化 (× 最適化、SVM)–––“!

ベイズ専用のツールというわけではないが、#階層的な情報を上手に扱えるのは、事実上#階層ベイズモデルに限られる