情報処理学会研究報告
IPSJ SIG Technical Report

推薦の解釈を目的とした識別的なベイズ離散ガウス過程潜在空間モデル
竹原 一彰1持橋 大地2

概要：推薦システムが提示するアイテムについてユーザーが受理するか否かを納得して判断をするには，単にアイテムの内容だけではなく，なぜそれが推薦されたのかという解釈性が不可欠である．納得性の高い意思決定には，アイテムやユーザーの選好の分布，それらに対する推薦アイテムの位置づけなど，全体像を捉えることが重要である．全体像の把握には，一般に高次元なアイテム特徴量を次元削減し、可視化することが行われる．しかし，非識別的な（教師なしの）枠組みであるためユーザーの評価を反映できなかったり，アイテムの離散特徴量（カテゴリや二値）が考慮されていないなどの課題がある．本研究では，これらの課題に対して，識別的なベイズ離散ガウス過程潜在空間モデルを提案する．高次元な二値特徴量を持つアイテムと二値のユーザー評価を入力として，潜在空間上での連続的なアイテム表現や選好分布を出力することができる．映画に対する評価が収録されている MovieLens データセットを用いて，提案モデ
ルから得られる潜在空間の解釈性について定量的，定性的な側面から検証した．

Discriminative Bayesian Discrete Gaussian Process Latent Variable
Model for interpretable recommendations
1. はじめに像を捉えるために，次元削減の後，2 次元または 3 次元の散布図などを用いた可視化がよく行われる．様々な次元削減

推薦システムが提示するアイテムについてユーザーが受の手法 [2][3] が存在するが，今回は二つの課題に着目する．

理するか否かを納得して判断をするには，単にアイテムの一つ目は，教師なしの枠組みであり識別的ではないこと

内容だけではなく，なぜそれが推薦されたのか，自身とどである．よく用いられる主成分分析（以下，PCA），t-SNE，のような関係があるのかなどの解釈性が不可欠である．推ガウス過程潜在空間モデル（以下，GPLVM）などの手法

薦プロセスの解釈性向上を目的に，「あなたが高評価したは，アイテム間の類似度を考慮することはできるが，識別商品の類似商品はこちらです．」や「この商品を買った人的ではないためユーザーの評価を反映することができない．

はこの商品も買っています．」のようなアイテムの類似度

二つ目は，アイテムの特徴量が連続変数だけではなく，や購買ログを用いた協調フィルタリングによるものなど，離散変数（二値，カテゴリ）も含む点である．例えば，映様々な手法が提案されている [1] ．

画であればジャンルやタグ情報，不動産であれば設備の有さらに納得性を高めるには，アイテムやユーザーの選好無など離散特徴量が多く含まれる．Urtasum らが提案したの分布，それらに対する推薦アイテムの位置づけなど，全識別的な GPLVM [4] は，ユーザー評価を考慮することが体像を捉えることが重要である．例えば，ユーザーが過去できるが，離散特徴量を対象としていない．離散変数に対評価したアイテムの周辺にはどのようなアイテムがどのく応したものとしては，Gal らの研究 [5] があるが，こちららいあるのかを把握したり，他ユーザーの評価分布を参考は識別的なモデルではない．にしたりできると，より納得性の高まると考えられる．

本研究では，これらの課題に対応した識別的なベイズ離

一般に，アイテム数は膨大で特徴量も高次元であり，そ散ガウス過程潜在空間モデルを提案する．このモデルによのままでは全体像を捉えることが難しい．アイテムの全体り高次元な二値特徴量を持つアイテムと二値のユーザー
評価を入力として，潜在空間上での連続的なアイテム表現

12

総合研究大学院大学
The Graduate University for Advanced Studies
統計数理研究所
The Institute of Statistical Mathematics

c 1959 Information Processing Society of Japan⃝や選好分布を出力することができる．先行研究との差異を
表 1 にまとめた．

1

情報処理学会研究報告
IPSJ SIG Technical Report

提案手法を評価するために，映画に対する評価が収録されている MovieLens [6] データセットを用いて実験を行っωmhψndた．提案モデルから得られた潜在空間の解釈性について，定量的，定性的側面からの検証結果を報告する．

xnd

2. 予備知識

gndznfmh

D

2.1 ガウス過程
入力 X = {x1 , ..., xN } ∈ RN ×D に対する出力 f ∈ RN
が，平均 µ ∈ RN ，共分散行列 KX = (kθ (xi , xj )), i, j ∈{1, ..., N } のガウス分布に従うとき，f はガウス過程に従うといい，f ∼ GP(µ, kθ ) と書く [7]．尚，kθ (xi , xj ) ∈ R は，2 つの入力 xi , xj を引数としたパラメータ θ のカーネル関数である．例えば，カーネル関数として，RBF（RadialBasis Function）カーネル()∥xi − xj ∥2kθ (xi , xj ) = τ exp −+ σ 2 δ(i, j)ηθ = {τ, η, σ}θ = {σ}HNM

図 1: DDGPLVM のグラフィカルモデル．各ノードは確率変数．灰色背景は観測変数，白色背景は潜在変数を表す．

2.4 ガウス過程潜在空間モデル（GPLVM）
観測値 X ∈ RN ×D が潜在変数 Z ∈ RN ×L より生成されているとするモデルである [7][11]．観測値 X の各次元

X·d ∈ RN , d ∈ {1, ..., D} が，平均 µZ ，分散 KZ のガウス(1)分布に従うと考える．対数尤度関数，(2)

L = log p(X|Z)
D1∝ − log |KZ | − tr(KZ−1 XX ⊤ )22や，線形カーネル
2kθ (xi , xj ) = x⊤i xj + σ δ(i, j),ymh(3)などが用いられる．δ(i, j) は i = j ならば 1，それ以外は 0を返す関数である．

(8)
(9)

を Z に関して最大化することで潜在空間を推定する．

3. 識別的ベイズ離散ガウス過程潜在空間モデル
本研究が提案する識別的ベイズ離散ガウス過程潜在空間

2.2 ガウス過程識別モデル
ガウス過程 f ∼ GP を用いて，二値の観測値 y ∈ {0, 1}を p(y = 1|f ) で表現するモデルをガウス過程識別モデルと呼ぶ [7]．y が与えられたあとの f の分布は，p(f |y) ∝ p(y|f )p(f )=N∏σ(fn ) (1 − σ(fn ))yn

N (f |0, KX ) (5)n=1となる．ここで σ(x) = (1 + exp(−x))−1 である． 単純なガウス分布とはならず，推定には近似手法が必要になり，変分推論法，期待値伝搬法，ラプラス近似法などが利用されている [8]．

2.3 Pólya-Gamma 補助変数法
Polson ら [9] は，Pólya-Gamma 分布に従う補助変数を用いて，式 (5) を推論する閉形式のギブスサンプラーを導出した．Wenzel ら [10] も，この手法を利用して効率的なガウス過程分類器を構築している．本研究でも，Polson らによる次の定理を用いて閉形式のサンプラーを導出する．
∫ ∞2(eζ )a−b κζ(6)=2ee−ωζ /2 p(ω)dωζb(1 + e )0ω|ζ ∼ PG(b, ζ)(7)
ここで a ∈ R, b > 0, κ = a − b/2, ω ∼ PG(b, 0)．PG はPólya-Gamma 分布である．

c 1959 Information Processing Society of Japan⃝cess Latent Variable Model, 以下，DDGPLVM）のグラフィカルモデルを図 1 に示す．

D 次元の二値特徴量を持つ N 個のアイテムを行列(4)

1−ynモデル（Discriminative Bayesian Discrete Gaussian Pro-X ∈ {0, 1}N ×D ，各要素を xnd ∈ {0, 1} で表す．各アイ
テム X には潜在変数 Z = {z1 , ..., zN } ∈ RN ×L が割り当てられている．H 人のユーザーの M 個のアイテムに対する二値評価を行列 Y ∈ {0, 1}M ×H で表す．ユーザー評
価は一部のアイテムのみに付与されている状況を想定し0 ≤ M ≤ N とする．潜在変数 G = {g·1 , ..., g·D }, g·d ∈ RNと F = {f·1 , ..., f·H }, f·h ∈ RM は，それぞれガウス過程に従う．F はユーザーの選好（各アイテムへの連続的な評価値）を表している．Ψ = (ψnd ) ∈ RN ×D と Ω = (ωmh ) ∈ RM ×Hは Pólya-Gamma 分布に従う補助変数である．生成過程は，( 1 ) For n ∈ {1, ..., N }( a ) zn ∼ N (0, IL )( 2 ) For d ∈ {1, ..., D}( a ) g·d ∼ GP(0, kϕ )( b ) For n ∈ {1, ..., N }( i ) xnd ∼ Bern(σ(gnd ))( 3 ) For h ∈ {1, ..., H}( a ) f·h ∼ GP(0, kθ )( b ) For m ∈ {1, ..., M }( i ) ymh ∼ Bern(σ(fmh ))2

情報処理学会研究報告
IPSJ SIG Technical Report

表 1: 先行研究と本研究の特徴比較．
手法

潜在空間の獲得（次元削減）

PCA, t-SNE, GPLVM etc○

識別的 GPLVM [4]○カテゴリカル GPLVM [5]○識別的離散 GPLVM（本手法）○である．ここで，N (µ, Σ) は平均 µ，共分散行列 Σ をパラメータとする正規分布，IL は L 次の単位行列，Bern(p)モデルの識別性○○○

補助変数 Ω, Ψ の事後分布は式 (7) により，p(Ω|F ) =p(Y, F, Z, G, X, Ω, Ψ) = p(Y |F, Ω)p(F |Z)p(Z)×p(G|Z)p(X|G, Ψ)H ∏M∏p(Ψ|G) =

∝(10)

ND ∏∏

PG(ψnd |1, gnd )(22)p(F |Y, Ω) ∝ p(Y |F, Ψ)p(F )p(ymh |fmh , ωmh )

(11)
=H
∏(23)

N (η·h |f·h , Ω−1h )N (f·h |0, IM )(24)

N (f·h |µf·h , Σf·h )(25)

Σf·h = (Ωh + IM )−1 ,(26)⊤−1µ⊤f·h = η·h Ωh (Ωh + IM )

(27)

h=1

N (η·h |f·h , Ω−1h )yM h − 1/2 ⊤y1h − 1/2, ...,)
η·h = (ω1hωM hΩh = diag(ω1h , ..., ωM h )

(12)

∝(13)
(14)

p(G|X, Ψ) ∝ p(X|G, Ψ)p(G)対角行列を表す．式 (12) の導出は付録 A.1 を参照．同様=の方針で，p(X|G, Ψ) も導出することができる．

N (χd |g·d , Ψ−1d )H∏h=1

ここで diag(ω1h , ..., ωM h ) は，ω1h , ..., ωM h を成分にもつ

p(X|G, Ψ) =(21)である．潜在変数 F と G の事後分布は次式である．

h=1D∏

PG(ωmh |1, fmh )d=1 n=1h=1 m=1H∏H ∏M∏
h=1 m=1デルを導出する．

p(Y |F, Ω) =○4.1 事後分布の導出は 0 ≤ p ≤ 1 をパラメータとするベルヌーイ分布である．
グラフィカルモデルと生成過程を参照しながら，確率モ離散特徴量への対応

D
∏

(28)

N (χ·d |g·d , Ψ−1d )N (g·d |0, IN )(29)

N (g·d |µg·d , Σg·d )(30)

Σg·d = (Ψd + IN )−1 ,(31)⊤−1µ⊤g·d = χ·d Ψd (Ψd + IN )

(32)

d=1

∝(15)

D
∏
d=1

d=1x1d − 1/2xN d − 1/2 ⊤χ·d = (, ...,)
ψ1dψN d(16)Ψd = diag(ψ1d , ..., ψN d )(17)

F は h 毎に f·h ∼ GP(0, kθ )，G は d 毎に g·d ∼ GP(0, kϕ )である．

このように Pólya-Gamma 補助変数法により，潜在変数

G, F ，補助変数 Ω, Ψ に関しては，ギブスサンプラーが求まる．
潜在変数 Z については，ユーザー評価が付与されていp(F |Z) =H∏るアイテム Z obs とそうでないもの Z mis を分けて考える．

N (f·h |0, Kθ )(18)

N (g·d |0, Kϕ )(19)h=1p(G|Z) =D∏

Z = Z obs ∪ Z mis である．以降，変数の右肩に obs, mis をつけた場合ユーザー評価の有無を表すことにする．それぞれ事後分布は次のようになる．

d=1p(Z obs |F, G)

Z の事前分布は次式である．
p(Z) =N∏

N (zn |0, IL )

(20)

n=1

4. モデルの推論
潜在変数 G, F, Z ，補助変数 Ω, Ψ を推論するために，∝ p(F |Z=H∏
h=1×obs(33))p(G|Zobs)p(Zobs
N (f·h|0, Kθobs )∏D∏obs)(34)

obs
N (g·d|0, Kϕobs )d=1

N (zn |0, IL )(35)

zn ∈Z obs

MCMC 法に基づく推論アルゴリズムを導出する．

c 1959 Information Processing Society of Japan⃝3

情報処理学会研究報告
IPSJ SIG Technical Report

Algorithm 1 DDGPLVM の推論アルゴリズム

る．映画に付与された 5 段階評価を，4 以上は 1 それ以外

Require: アイテム X, ユーザー評価 Y , 潜在空間の次元 L, ガウス
過程 F, G のカーネル関数 kθ , kϕ , リープステップ数 Nleap , リー
プ単位 ϵ, イテレーション数 T , バーンイン期間 S(< T )1: Initialize Z0 , Ω0 , Ψ0
2: for t = 1, ..., T do
3:
▷ Gibbs sampling
4:
Draw Gt ∼ p(G|X, Ψt−1 )5:Draw Ft ∼ p(F |Y, Ωt−1 )6:Draw Ψt ∼ p(Ψ|Gt )7:
Draw Ωt ∼ p(Ω|Ft )8:▷ HMC sampling
9:
Draw Ztobs ∼ p(Z obs |Ft , Gt )10:
Draw Ztmis ∼ p(Z mis |Gt , Ztobs )11:
Zt ← Ztobs ∪ Ztmis
12: end for
13: return {ZS , ..., ZT }は 0 として，二値のユーザー評価に変換した．
推論アルゴリズムのパラメータは，すべての実験を通じて共通とした．L = 3, Nleap = 50, ϵ = 10−3 , T =2000, S = 500 ，kϕ は，式 (1) の RBF カーネルを，kθ は，式 (3) の線形カーネルを指定した．カーネルパラメータは

θ = {0.01}, ϕ = {1.0, 1.0, 0.01} とした．ガウス過程に従う
潜在変数 F に線形カーネルを指定したのはユーザー評価に基づく線形性を保持させることで，得られる潜在空間の解釈性を高める狙いがある．

5.2 結果と考察
5.2.1 潜在空間の解釈性
評価用データセットから 200 件ランダム抽出し潜在空間を獲得した．ユーザー評価はすべてのアイテムに付与されp(Z mis |G, Z obs )∫∝ p(Gmis , Gobs |Z)dGobs p(Z mis )
=D ∫
∏

∏

obs
N (g·d |0, Kϕ )dg·d(36)ているとした（N = M = 200）
．PCA, t-SNE, GPLVM な(37)

どよく使われる手法*2 を比較対象とした（図 2）．
図 2a:DDGPLVM の点の色（ユーザー評価 Y ）と点の大N (zn |0, IL ) (38)

きさ（推定された選好 F ）に着目する．色の変化（青から赤へ）に伴い，点のサイズ（小から大へ）も変化する線形性がzn ∈Z misd=1

ここで，Kθobs , Kϕobs は Z obs で，Kϕ は Z 全体で計算されたカーネル行列である．

確認できる．法則性を発見することが難しい図 2b:PCA，
図 2c:t-SNE，図 2d:GPLVM の結果と比較して解釈性が高いと言える．

5.2.2 次元削減の影響

4.2 推論アルゴリズム

次元削減による情報損失の程度を検証するため潜在空間導出した事後分布を用いた推論アルゴリズムを Algo-rithm 1 に示す．1 行目では，主成分数 L の PCA で Z0 を，Ω0 , Ψ0 の各要素を PG(0, 1) で，初期化している．9 行目
から 11 行目ではリープ数 Nleap , リープ単位 ϵ のリープフZ を特徴量として，欠損させたユーザー評価 Y mis の予測タスクを実行した．情報損失がなければ次元削減前後で予測精度は同程度となるはずである．
評価用データセットより 100 個ランダムサンプリングし，ロッグ法を用いたハミルトニアンモンテカルロ法 [12] を実ユーザー評価を 20 %欠損させ（N = 100, M = 80, H = 3），行している．
1
潜在空間の推定値 Ẑ は T −S

∑Tt=S Zt で求める．観測されていないユーザー評価 Y mis の予測分布は次で求める．

それを予測するタスクを 5 セット実行した．元の特徴量 Xを入力としたロジスティック回帰とガウス過程識別モデ
ル*3 をベースラインとして比較した．結果を表 2 に示す．

p(Y|X) = p(Y|Z )∫= p(Y mis |f mis )p(f mis |Z)dZdf mis
mis

mis

mis

mis

DDGPLVM の予測精度が全体的に低下していることが

(39)
(40)

5. 評価実験
5.1 実験設定

わかる．これは 120 次元の特徴量からに 3 or 10 に次元削減したことと，ユーザー評価による線形性制約（線形カー
ネルの利用）の影響と考えられる．
ユーザー毎にみると，ユーザー 2 は高め，ユーザー 1 とユーザー 3 は低めという全体傾向は一致している．実際にDDGPLVM の挙動を確認するために評価実験を行った．

獲得された潜在空間（図 3）を確認すると，ユーザー 2 のMovieLens データセット [6] *1 に次の加工を行うことで，アイテムと選好の分布は，ユーザー 1 と 3 に比べて識別性評価用データセットを作成した．まず，Rating 数が 1,500が高いことがわかる．

以上のユーザー 3 名をランダムに選択し，3 名全員が評価

通常，潜在空間の次元を大きくとるほうが情報欠損が少した映画（合計 374 件）を抽出した．次に，各映画に付与ないと考えられる．しかし，DDGPLVM(L=3) と DDG-されているジャンル，タグ情報を利用し映画の二値特徴量を作成した．ジャンルは 20 種類，タグ情報は頻度上位 100*2のタグを利用した．つまり特徴量の次元は 120 次元とな*1Latest Small データセットを利用．

c 1959 Information Processing Society of Japan⃝*3

PCA,t-SNE は scikit-learn, GPLVM は GPy を利用．
https://scikit-learn.org/stable/
https://github.com/SheffieldML/GPy
どちらも scikit-learn に収録されているものを利用．

4

情報処理学会研究報告
IPSJ SIG Technical Report(a) DDGPLVM(b) PCA(c) t-SNE(d) GPLVM

図 2: 各種法による潜在空間の比較．各点は潜在空間上のアイテム Z を表す．点の大きさは，推定されたユーザー選好 F をユーザー間で平均した値を表す．PCA, t-SNE, GPLVM では，ユーザー選好を推定することはできないので点のサイズは固定．色は二値評価 Y を表している．例えば，3 人のユーザーが全員低評価の場合は (0, 0, 0)，全員高評価の場合は (1, 1, 1) となる．その他は凡例参照．
表 2: 欠損した評価に対する予測精度の比較．各ユーザー（H = 3 人）毎の予測精度の結果．左側の数値が 5 セットの平均，右側が標準偏差を表す．
モデル

特徴量の次元

ユーザー 1

ユーザー 2

ユーザー 3

ロジスティック回帰

120

0.52 ± 0.05

0.69 ± 0.1

0.54 ± 0.08

ガウス過程識別モデル (線形カーネル, θ = {0.01})120

0.56 ± 0.04

0.69 ± 0.1

0.51 ± 0.07

ガウス過程識別モデル (RBF カーネル, θ = {1.0, 1.0, 0.01})120

0.55 ± 0.1

0.69 ± 0.08

0.57 ± 0.15

DDGPLVM (L = 3)

3

0.54 ± 0.08

0.63 ± 0.07

0.45 ± 0.09

DDGPLVM (L = 10)100.46 ± 0.09

0.58 ± 0.05

0.43 ± 0.06

PLVM(L=10) の比較では，L=3 の予測精度が高い結果となった．この現象の分析には，評価データや推論アルゴリズムのパラメータを変化させた追加実験が必要であり今後の課題としている．

5.2.3 今後の課題
本研究の評価実験は提案モデルの実現性を確かめることを主眼とした小規模なものに留まっている．データサイズやデータセット，推論アルゴリズムのパラメータなどを変更した場合の振る舞いについて確認する必要がある．また，異なるカーネル関数の組み合わせによって潜在空間がどう変化するのかについても研究の余地がある．
今回の提案モデル（図 1）では，全ユーザーが M 個の同じアイテムを評価する設定となっている．実際には各ユーザーの評価は均一ではなくランダムな欠損があると考えられる．このようなランダムな欠損に対応したモデルへの拡張が考えられる．

Algorithm 1 では，ガウス分布からのサンプリングや尤度計算を実施している．その計算量はデータ数 N に対してO(N 3 ) である．実運用ではより多くのデータが利用されることが想定される．スケーラビリティを向上させるために，誘導点法などの近似手法 [13][14] の導入が必須である．

c 1959 Information Processing Society of Japan⃝

6. 結論
推薦の解釈性を高めることを目的に，高次元な離散特徴量をもつアイテムに対して，ユーザー評価を反映した潜在空間を獲得できる識別的なベイズ離散ガウス過程潜在空間モデルを提案した．

Pólya-Gamma 補助変数を用いたサンプリングに基づく推論アルゴリズムを導出し，MovieLens データセットを用いて定性，定量的な評価実験を行った．実験の結果，解釈性の高い潜在空間が獲得できることを確認した．この潜在空間を参照しながらユーザーとアイテムを推薦するアドバイザがコミュニケーションをとることで，納得性の高い意思決定を促進できると考えられる．
実運用に向けて必要になる取り組みを今後の課題としてまとめた．特に，データ数の増大，特徴量の高次元化に備え，誘導点法などを用いたスケーラブルな推論アルゴリズムが必要になる．
本研究のモデルは，映画だけではなく，レストラン，不動産，自動車など，同様の性質を持つアイテムに対して適用できる汎用的なものであり，様々な領域への応用が期待できる．

5情報処理学会研究報告
IPSJ SIG Technical Report(a) ユーザー 1(b) ユーザー 2(c) ユーザー 3

図 3: ユーザー評価に欠損あり（M < N ）での DDGPLVM による潜在空間．位置関係が把握しやすいように PCA にて 2 次元に射影してある．各点が潜在空間 Z 上のアイテム，白抜き点は評価を欠損させたアイテムを表す．色がユーザー評価 y·h ∈ Y ，
青:0，赤:1，点の大きさは推定した選好 f·h ∈ F の大きさを表す．

参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7]
[8]

[9]

[10]

[11]

[12]

Tintarev, N. and Masthoﬀ, J.: Explaining recommendations: Design and evaluation, Recommender systems
handbook, Springer, pp. 353–382 (2015).
Fodor, I. K.: A survey of dimension reduction techniques, Technical report, Lawrence Livermore National
Lab., CA (US) (2002).
Chao, G., Luo, Y. and Ding, W.: Recent advances in supervised dimension reduction: A survey, Machine learning and knowledge extraction, Vol. 1, No. 1, pp. 341–358(2019).
Urtasun, R. and Darrell, T.: Discriminative Gaussian
process latent variable model for classiﬁcation, Proceedings of the 24th international conference on Machinelearning, ICML ’07, New York, NY, USA, Association
for Computing Machinery, pp. 927–934 (2007).
Gal, Y., Chen, Y. and Ghahramani, Z.: Latent Gaussian Processes for Distribution Estimation of Multivariate Categorical Data, International Conference on Machine Learning, jmlr.org, pp. 645–654 (2015).
Harper, F. M. and Konstan, J. A.: The MovieLens Datasets: History and Context, ACM Trans.
Interact. Intell. Syst., Vol. 5, No. 4 (online), DOI:
10.1145/2827872 (2015).
持橋大地，大羽成征： ガウス過程と機械学習，講談社(2019).
Bishop, C. M. and Nasrabadi, N. M.: Pattern recognition and machine learning, Vol. 4, No. 4, Springer(2006).
Polson, N. G., Scott, J. G. and Windle, J.: Bayesian Inference for Logistic Models Using Pólya–Gamma Latent
Variables, J. Am. Stat. Assoc., Vol. 108, No. 504, pp.
1339–1349 (2013).
Wenzel, F., Galy-Fajou, T., Donner, C., Kloft, M.
and Opper, M.: Eﬃcient Gaussian process classiﬁcation
using Pólya-Gamma data augmentation, Proc. Conf.
AAAI Artif. Intell., Vol. 33, pp. 5417–5424 (2019).
Lawrence, N.: Gaussian process latent variable models
for visualisation of high dimensional data, Advances inneural information processing systems, Vol. 16 (2003).
MacKay, D. J., Mac Kay, D. J. et al.: Information theory, inference and learning algorithms, Cambridge university press (2003).

c 1959 Information Processing Society of Japan⃝[13]

Wilson, A. and Nickisch, H.: Kernel interpolation forscalable structured Gaussian processes (KISS-GP), International conference on machine learning, PMLR, pp.
1775–1784 (2015).
Quinonero-Candela, J. and Rasmussen, C. E.: A unifying view of sparse approximate Gaussian process regression, The Journal of Machine Learning Research,Vol. 6, pp. 1939–1959 (2005).

[14]

付録

A.1 式 (12) の導出
p(Y |F, Ω)=H ∏M∏(A.1)p(ymh |fmh , ωmh )(A.2)

σ(fmh )ymh (1 − σ(fmh )ymh )1−ymh(A.3)

h=1 m=1=H ∏M∏
h=1 m=1=H ∏M (∏h=1 m=1=

11 + e−fmh)ymh (e−fmh
1 + e−fmh)1−ymhH ∏M∏(efmh )ymh
h=1 m=1 (1 + efmh )1()
ωmh
κmh 2
exp −∝(fmh −)2ωmh
h=1 m=1()HM∏
1 ∑2∝
exp −ωmh (fmh − ηmh )2 m=1h=1)(H∏1⊤=exp − (η·h − f·h ) Ωh (η·h − f·h )
2MH ∏
∏

(A.4)

(A.5)

(A.6)

(A.7)

h=1

∝H
∏N (η·h |f·h , Ω−1h )

(A.8)

h=1

式 (A.4) は，Polson らの定理 (6) の左辺に対応している．

a = ymh , b = 1, κ = κmh = ymh − 1/2, ζ = fmh , ω = ωmhとおくと式 (A.5) が得られる．

6