連続値と統計的自然言語処理
持橋大地
統計数理研究所

daichi@ism.ac.jp
IEICE PRMU研究会, 2012-6-29(金)自己紹介 NAIST 情報科学研究科

松本研

 ATR 音声研／NTT CS研 統計数理研究所 (立川市)

LDAの衝撃 2002年, NAIST: テキスト– 自然言語(離散シンボル)なのに !!!!
– 一生, 積分は使わないものと思っていた
 上の式の意味は? → これから説明します今日の概要 言語での連続表現の必要性
 トピックモデルLDAと関連モデル
 言語のボルツマンマシン— RaP, LBL, HLBL
 ガウス過程, ガウス分布と自然言語 その他の連続性 (空間など)
 まとめと研究課題

普通の? 自然言語処理 構文解析
 係り受け解析 形態素解析 意味解析

– 意味といってもラベルづけがほとんど

組み合わせ最適化問題?

彼女は係り先 2紀子
7と京都へ行った476707Word

彼女 は紀子と京都へ行った#13456782 分類問題として解く– Perceptron, SVM, CRF, ‥‥ 言語＝組み合わせ最適化で本当に充分?

。

計算機から見ると‥‥

彼女 は紀子 と京都 へた
21
5 785117 12350
6 行っ
80
2 。
彼女 は福井 と京都 へた
21
5 3264217 12350
6 行っ
80
2 。
 同じ名詞の違いで、解釈が変わる 言葉の意味表現が、本来は不可欠– すべての係り関係の組み合わせを覚えるのは不可能 (「音威子府」「すり合わせる」)

文書処理／情報検索
 テキストを単語の集まり (“国会” “税制”“社会保障” …)とその頻度として単純に表現– Bag of Words とよばれる

 意味が中心課題！！

 テキスト分類の研究でよいか??

– 人が勝手に決めた基準で分類– 迷惑メール判定などには確かに役立つが..

Latent Dirichlet Allocation: 潜在意味解析
 テキストに「潜在トピック分布」を割り当てる (Allocate)

トピック1 トピック2データごとの混合モデルになっている！

話題空間上のディリクレ分布




LDA : 生成モデル
 文書の確率的生成モデル– Draw– For
 Draw
 Draw

 数式で書くと、

LDAの解法
 変分ベイズEMアルゴリズム (オリジナル)
 Gibbs Sampler
 Collapsed 変分ベイズ
 Expectation Propagation– 最近は、これらの並列化、オンライン学習化が進んでいる

LDAの解法 (Gibbs)
 各単語の持っている潜在トピック下の式に従って次々とサンプル:を– 各単語wのトピックzへの割当て回数 n(w,z)
がわかれば、
– MCMCで上を更新して繰り返すLDAの学習結果の例
 川端康成「雪国」の冒頭– 2000年度毎日新聞記事全部 (2887万語) で学習したモデルで分析
 水色のトピックは冬に関係する
 緑色のトピックは電車に関係する
 黒色は地の文

画像処理への応用
 古典的な適用: “Matching words and Pictures”

(K.Barnard, ICCV 2001/JMLR 2003)

比較的最近の画像への適用
 Topic Random Field (Fei-Fei Li+, ECCV 2010)

画像文の生成 単純な最適化モデル (Farhadi, ECCV 2010)

 HMMで生成モデルを真面目に解く(Hal+, EMNLP2011)

Logistic Normalとカルマンフィルタ
 Dynamic Topic model (Blei&Lafferty, 2006)

α, ηがGaussianで時間変化– 文書のトピック分布θは、ηのSoftmax(Logistic Normal)– カルマンフィルタ+変分ベイズでηを追跡Dynamic topic model の推定例
 Scienceコーパスの “Atomic physics” トピックの中身

 同じトピックでも、中身の移動が捉えられる

Gaussian Process とは

 ランダムな関数を生成するprior– 座標が似ている値が似ている– 「似ている」の意味は、カーネル関数で定義
 数学的には、単に無限次元のガウス分布

Gaussian Process topic models
 Agovic&Banerjee, UAI 2010

– “Kernel Topic Models”, AISTATS 2012も同じ
 アイデア：文書の共変量=メタデータ (年, 地域,時間,著者, …)が似ていれば、トピックも似ている 共変量の空間に、K個のGaussian process を発生
Softmaxを取ってトピック分布を作る

GPTM (KTM): 図解
 共変量をわかりやすく1次元で表すと、Softmax→ 共変量 点tでのスライスを中心に、さらに正規分布でノイズSoftmaxで多項分布に

Kernel Topic Model の例

USAの一般教書演説 時間軸上のGPによる平均トピックの変化– 時間軸上のランダムなregression

Latent Topic Image Model (LTIM) テキストの中身を直感的にわかりたい 内容はまったく異なるが、アイコンはほぼ同じ
 検索エンジンのWebページでも同様の問題???

LTIM (石黒&持橋, IBIS 2010)を生成 : 単語の “Activation” に変換 : 潜在画像 テキストの単語を生成 :z はピクセルLTIM: Objective
 LTIMの目的関数

 ここで、各項はLTIM: Inference L-BFGSで高速に最適化可能 (EM不要) ハイパーパラメータも通常の方法で推定

映画レビューの画像化
 EachMovieデータセット: 映画のレビュー

Now and Then

Georgia

L’Enfer– レビュアーからの投票を“単語”とみなしている
 カテゴリ平均画像 [学習には未使用]
Class 6 =Class 3 =Class 2=

分類実験

 LTIMで得られた画像を1-NNで分類して精度を比較
 CTM, LDAと比べて常に高い性能(赤)を持つ

LDAは完全か?
 No.

– 和が1でなければならない (負の相関)→IBPによるmultifactorモデル (省略) 混合モデルベース– p(w|k)の混合p(w|k)より鋭い分布は表せない– 和ではなく、積で表すモデル (Product model)が必要 RaP (ICML 2006), SAGE (ICML 2011) など

テキストの Boltzmann Machine RaP (Rate Adapting Poisson) モデル– Gehler+, ICML 2006

1/0 で発火する
隠れ変数

‥‥

ポアソン分
布の平均値
単語の観測回数

Restricted Boltzmann Machine (RBM)とよばれるニューラルネット

RaPの確率モデル
 潜在層と観測層が条件付き確率で結ばれる 学習: xからhをサンプル／hからxをサンプル,をMCMCで繰り返す– 特別な形の Poisson regression

RaPの解釈 潜在トピック層を周辺化して消去すると,x の Poisson
事前確率トピック j に関するxの“activation”
トピック j の励起度 ≧ 1– ポアソン分布×トピック別の励起度の積とした

言語モデルへの拡張
 RBMを時系列の言語データに拡張できないか?
 言語モデル: 文の確率––を計算
より、がわかればよい Neural probabilistic language model (NPLM)(Bengio 2003)に近い– NPLMはn-gramより高性能

単純な拡張 (Mnih+ 2007)
 各文脈に隠れ層hあり 単語v_iの連続表現とhを重み行列で内積→全体のエネルギー(正則化項).

LBL (Log-Bilinear Language model) 隠れ層hを消去
 予測語と文脈の連続表現を、位置依存の で内積(Mnih&Hinton, 2007)– これに正則化項

Word embeddingの例 (Mirowski+10)

LBL＞n-gram

 LBLはKneser-Ney n-gramよりかなり高性能

LBL/NPLMの最近の話
 Hierarchical LBL (HLBL)– (Mnih&Hinton, NIPS 2008)– 語彙を階層クラスタリングして計算量削減
 LBLの学習高速化 (Mnih&Teh, ICML2012)– Contrastive estimationで勾配を計算
 音声認識への適用 (Mirowski+ 2010)そのほかの連続性と言語 Geographic topic model(Eisenstein+, EMNLP 2010)– トピックの地域毎のvariantを生成– Logistic Normal ベース (+VB-EM) 時間的モデル– 年などでは多数の研究– 時刻ベースの研究はあまりない (vMF? GP?)Geographic topic modelの例

研究課題
 現在の連続モデルは、ユニグラム(bag of words)のモデル– 構文解析や係り受け解析、統計的翻訳などとの同時モデルはない– 素性として使うだけでは、性能はあまり上がらない 動作、動画とのモデルは面白い– 教師データは大量にある (TV番組, 映画等)
– キャプションやコメントは内容と一対一対応していない＆ノイズがあるため、統計モデル必須

まとめ 言語は表面は離散だが、– トピックモデル– Gaussian process, ガウス分布– Boltzmann Machineなどを使って連続化して考えることが可能 自然言語処理の人は一般に上には詳しくない
 研究チャンス
 雑音の多い学習データなので、頑健な統計的手法が必須 ご清聴ありがとうございました。