社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

Nonparametric Bayesian Deep Visualization
石塚

治也†

持橋

大地††

† 株式会社ブリヂストン 〒104–8340 東京都中央区京橋 3–1–1†† 統計数理研究所 〒190–8562 東京都立川市緑町 10–3
E-mail: †haruya.ishizuka@bridgestone.com, ††daichi@ism.ac.jp
あらまし

高次元データを散布図で可視化する場合，次元削減により観測値を圧縮する必要がある．t-SNE に代表される，観測値間の類似度を元に次元削減を行う類似度ベース次元削減は，可視化の際に広く用いられている．しかし，観測値のベクトル表現によっては，観測値間の類似度と真の類似度が乖離するため，可視化精度が低下する．これに対して，ニューラルネットワーク (NN) を用いる深層潜在変数モデルは，観測値ベクトルよりも正確に特徴を反映す
る潜在表現を推定ができる可能性があり，ベクトル表現が原因で前者が機能しないときの有効な代替案になる．一方で性能の最適化には，NN のモデル構造など多くの超パラメータを調整する必要があり，その試行の中で，NN の大量のパラメータの学習を繰り返すため，計算時間が増大しやすい．また，可視化結果は設定された超パラメータの探索範囲によって変化する．本稿では，これらの問題点に対処するため，Nonparametric Bayesian Deep Visualization(NPDV) を提案する．NPDV は，NN による潜在表現の推定と可視化を同時に行う確率モデルであり，無限混合ガウ
スモデル，無限ユニット NN を併用することで，少数の超パラメータでモデルが構成される．さらに，無限ユニット

NN は少数のパラメータで定義されるため，パラメータ数も既存の深層潜在変数モデルと比較して少ない．本稿では提案手法の詳細と，実験結果について報告する．
キーワード データ可視化，ガウス過程，ノンパラメトリックベイズモデル，深層学習

Haruya ISHIZUKA† and Daichi MOCHIHASHI††† Bridgestone Corporation 3–1–1 Kyobashi, Chuo-ku, 〒104–8340 Japan†† The Institute of Statistical Mathematics 10–3 Midori–cho, Tachikawa–shi, 190–8562 Japan
E-mail: †haruya.ishizuka@bridgestone.com, ††daichi@ism.ac.jp
Key words Data Visualization, Gaussian Processes, Nonparametirc-Bayes, Deep Learning

1. ま え が き

ベクトル表現によっては，観測値ベクトル間の類似度と個体間の真の類似度が乖離し，可視化精度が低下し得る．文書データ

データ可視化は，データセットの特徴を把握するための探索は，使用されるベクトル表現が原因で二つの類似度に差が出

的データ分析 (Exploratory Data Analysis : EDA) におけるるデータの一例である．文書データでは，単語の相対的な重要

有効な手段であり，散布図は広く使われているものの一つであ度を定量化する TF-IDF (Term Frequency-Inverse Document

る．散布図により個体間の関係を俯瞰できるが，観測値ベクト

Frequency) [5] が各文書のベクトル表現として頻繁に用いられルが 4 次元以上の場合，それらを直接可視化することはできな

る．しかし，TF-IDF 表現では，good と well のような類義語

い．この場合，次元削減により，我々が直観的に把握できる，2が異なる変数として扱われるため，意味の似た文書同士でも，または 3 次元の可視化表現に観測値ベクトルを圧縮する必要が二者間の類似度が低く評価される場合がある．この場合，意味ある．その際に用いられる手法は大きく二つに分類される．

が近い文書同士が散布図上で互いに遠くに配置される．

(1) 類似度ベース次元削減：このカテゴリに属する手法で(2) 確率的潜在変数モデル：このカテゴリに属する手法では，は，観測値ベクトル間の類似度をもとに次元削減を行う．その観測値よりも低次元かつ潜在的な確率変数を仮定し，その変先駆的手法である Multi-Dimensional Scaling (MDS) [1] をは数を推定することで次元削減を行う．このカテゴリに関して

じめ，多くの手法が提案されている [2]．中でも，t-SNE [3] やも，Probabilistic PCA [6] をはじめ，多数の手法が提案されてUMAP [4] は，その可視化性能の高さから，高次元データの可いる [7]．特に，ニューラルネットワーク (NN) で観測値ベクト

視化に標準的に用いられている．しかし，入力となる観測値のルを圧縮する，Variational Autoencoder (VAE) [8] のような深—1—

NN-iWMM では，VSB-DVM と同様に無限混合ガウス分布から潜在変数を生成するが，観測値は NNGP カーネル [19] にもとづくガウス過程で生成される．このガウス過程は，ユニット数を考慮する必要がない，L 層無限ユニット NN と等価な非線形変換を行う．そのため，NN-iWMM は，無限混合分布による潜在変数のモデル化，無限ユニット NN による非線形変換という二つのノンパラメトリック性を持つ DLVM となる．また，

t-SNE は，一つの超パラメータのみで可視化表現を推定する．
NPDV は，両者を統合することで，NN を利用するにもかかわらず，既存の DLVM よりも少ない超パラメータで次元削減，可視化を行うことができる．さらに，NNGP カーネルは，2 個の
図 1: NPDV の次元削減と可視化フロー．

パラメータのみで L 層 ∞ ユニット NN による非線形変換を定層潜在変数モデル (Deep Latent Variable Model:DLVM) [9]〜義する．そのため，NPDV は，通常の NN を使用する既存手[11] は (1) の課題に対処する方法になり得る．DLVM では，NN法と比較して，パラメータ数も少ないモデルになっている．以の強力な非線形変換により，観測値ベクトルよりも正確に個体

下では，提案手法の詳細を説明した後，実証実験の結果を紹介の特徴を反映する潜在表現を得られる可能性がある．実際に，し，まとめを述べる．

教師無しクラスタリングでは，観測値ベクトルを NN で圧縮し2. 予 備 知 識て得られた潜在表現をクラスタリングすることで，観測値ベク
トルを直接クラスタリングするよりも，精度が大きく改善した

本節では，NPDV の前提となる t-SNE [3] と inﬁnite Warped

例が報告されている [12], [13]．そのため，観測値のベクトル表

Mixture Model (iWMM) [20] を紹介する．以下では，D 次元現が原因で (1) の手法が機能しないとき，DLVM は有効な代替の N 個の観測値を Y ∈ RN ×D ，対応する Q 次元の潜在変数を案となり得る．一方で，DLVM の性能を最適化するには，ユX ∈ RN ×Q ，可視化表現を V ∈ RN ×S , S ∈ 2, 3 とする．

ニット数などの NN のモデル構造をはじめ，多くの超パラメー

2. 1 t-SNE

タをチューニングする必要がある．チューニングでは，超パラt-SNE は，類似度ベース次元削減の一つであり，Y ，V 双方

メータ毎に設定された探索範囲の中で，指標が最良となる値のの類似度を確率分布を用いて評価する．観測値 y i ， y j の類似

組み合わせを決定する．その組み合わせ数は，超パラメータ数

度 pY
ij は，ガウス分布を用いて，次式で与えられる．

に対して指数的に増加するため，DLVM はチューニングに多くの試行を要する．また，各試行で NN の大量のパラメータを

pYj|i = P

学習するため，DLVM のチューニングは多くの時間を必要と

pYi|j + pYj|i
exp(−∥y i − y j ∥2 /2τi2 )
,
p
=
ij
2N
exp(−∥y i − y ℓ ∥2 /2τi2 )
ℓ̸=i
(1)

する．加えて，超パラメータの探索範囲は分析者が設定するため，その範囲が変わると可視化結果が変化する．近年では，超ガウス分布の分散 τi2 は，パープレキシティ ρ を元にしたバイパラメータをデータから推定するノンパラメトリックベイズモ

ナリサーチにより決定される．可視化表現 v i ，v j の類似度 pVij

デル [14] と DLVM を組み合わせた Nonparametric Bayesian

は，t 分布を用いて，次式で与えられる

DLVM (NP-DLVM) [15], [16] が提案されているが，依然として多くの超パラメータやパラメータを持つ．例えば，最新のNP-DLVM である VSB-DVM [17] は，潜在変数の事前分布に
無限混合ガウス分布 [18] を仮定し，潜在空間内の分布の混合数(1 + ∥v i − v j ∥2 )−1(1 + ∥v ℓ − v s ∥2 )−1ℓ,s,ℓ̸=spVij = PV= {pVij }i,j 間の KL 情報量
そして，pY = {pYij }i,j ，pをデータから推定する．一方で，観測値のエンコーダーなど，モデルが複数のネットワークで構成されており，それぞれのレイヤー数とユニット数が超パラメータとなる．また，大量の重みやバイアスを推定する必要があり，その際の学習率やその減衰率も分析者が指定する．

(2)

KL[pY ∥pV ] =X
i,j,i̸=jpYij log

pYij
pVij

(3)

を最小化することで V を推定する．

2. 2 inﬁnite Warped Mixture Model

本稿では，これらの問題に対処するため，Nonparametric

iWMM は，ガウス過程により潜在変数を観測空間へ写像す

Bayesian Deep Visualization (NPDV) を提案する．その次元

るガウス過程潜在変数モデル (GPLVM) [21] から派生したノン削減と可視化フローを図 1 に示す．NPDV は，本稿で導入する

パラメトリックベイズモデルである．GPLVM では，潜在変

新たな DLVM である Neural-Network inﬁnite Warped Mix-

数 X にカーネル関数 k(x, x′ ) を適用して得られるグラム行列

ture Model (NN-iWMM) による観測値 Y から潜在変数 X へ

KNN ∈ RN ×N と，精度 β ∈ R から定義される共分散から，Yの次元削減，X を入力とした t-SNE による可視化表現 V のの列ベクトル y d ∈ RN を次元 d 毎に独立に生成する．なお，

推定という，次元削減，可視化を統合した確率モデルである．

NN は行列のサイズを表す．X を所与としたときの Y の 条件付き分布は，次式で定義される．

—2—

p(Y |X) =DY

そして，上式に従って，グラム行列の各要素を L 回再帰的に計算

N (y d |0, KNN + β −1 I N )

(4)

d=1

することで，隠れ層数が L，ユニット数が ∞ の全結合 NN と等
価なガウス過程モデルを構築できる．以下では，この再帰式でN (m, C) は平均 m，共分散 C を持つガウス分布を，I N は N

定義されるカーネル関数を NNGP カーネルと呼び，k L (x, x′ )次元単位行列を表す．X は未観測の確率変数であり，その事と表す．また，k L (x, x′ ) を使用して構築されたグラム行列を前分布を設定できる．[21] では X の事前分布に標準ガウス分布を仮定するが，iWMM では以下の無限混合ガウス分布を仮定する．

X

本稿で提案する NN-iWMM は，iWMM におけるグラム行
L
列を KNNとすることで，潜在変数を上記の L 層 ∞ ユニット∞

p(X) =

L
KNNと表記する．

πk N (mk , Rk−1 )

(5)

k=1

πk ，mk ，Rk はそれぞれ k 番目の分布の混合比率，平均，精度行列を表す．本稿では Rk が対角行列であると仮定する．iWMM
では式 (5) の分布で X を生成し，それを入力として KNN を評価した後，式 (4) の分布から Y を生成する．

本節では，提案手法である NPDV の定式化について紹介する．NPDV は，本稿で導入する新たな NP-DLVM である

NN-iWMM による Y から潜在変数 X への圧縮，X を入力とする t-SNE による可視化表現 V の推定という二つの圧縮を，Regularized Bayesian Inference [22] の枠組みで統合した確率モデルである．前半部では NN-iWMM の定式化を，後半部では NN-iWMM と t-SNE を統合する方法を紹介する．
ガウス過程はカーネル関数を変更することで様々な非線形関数を表現できる．[19] は L 層 ∞ ユニット NN と等価なガウス過程モデルを構築できる NNGP カーネルを提案した．いま，隠れ層数が L の全結合 NN において，ℓ 層におけるバイアスのℓ，活性化関数を ϕ(·) とする．
要素を bℓi ，重み行列の要素を Wijℓまた，任意の i, j, ℓ において，bℓi は N (0, σb2 /Nℓ ) から，Wij
は2
N (0, σw
/Nℓ ) から独立に生成されたと仮定する．Nℓ は ℓ 層のユニット数を表す．このとき，入力 xn から計算される ℓ 層のi 番目の出力 aℓi (xn ) は，ℓ − 1 層でのアクティベーション後のWijℓ ϕ(aℓ−1(xn ))
j

(6)

j=1
N

ℓ
が独立同一分布に従うので，上式の和の中は i.i.d な{Wijℓ }j=1

確率変数の和となる．そのため，Nℓ → ∞ とすると，中心極限定理から，aℓi (xn ) はガウス分布に従う．これが任意の xj で成り立つため，ℓ 層の J 個の出力 {aℓi (xj )}Jj=1 は多変量ガウ
ス分布に従う．よって，ℓ 層の出力 {aℓi (xn )}N
n=1 はガウス過程ℓℓ
GP(0, KNN
) に従う確率変数となる．このとき，KNN
の各要素
ℓ
KNN
(x, x′ ) は次式で与えられる．．

NN

Φ(x, x′ ) ≡ ϕ(ziℓ−1 (x))ϕ(ziℓ−1 (x′ ))再帰式の一段目は，K

2 xT x′(x, x ) = σb2 + σw
D′する．なお，本稿では α = 1，m0 = 0，R0 = I Q ，a0 = b0 = 1で固定する．その後，{πk }∞k=1 をパラメータに持つカテゴリカ
布から潜在変数 xn をサンプリングする．そして，X ，NNGP
L
カーネルの分散パラメータ σw ，σb から KNNを構築し，式(4) で Y の列ベクトル y d を生成する．上記手順で定義される
NN-iWMM は，∞ 混合分布による潜在変数のモデル化，L 層∞ ユニット NN による X の変換という二つのノンパラメト
リック性を持つ DLVM となる．また，NNGP を利用すること
で，重みやバイアスを用いる通常の NN と異なり，σw ，σb という二つのパラメータのみで NN による変換を定義できる．
カーネル関数化関数に対して解析的に計算することはできない．しかし，恒等写像のような単純な関数や，ReLU 関数などの Polynomial

rectiﬁed nonlinear functions 族に属する非線形関数を活性化関数として使用する場合，その値を解析的に評価できることが知Lを構築するため，恒られている [24]．本稿では，解析的に KNN

等写像，ReLU 関数に対応するカーネル関数を用いる．恒等写
像 ϕ(x) = x の場合は，

E[ϕϕ′ ] = K ℓ−1 (x, x′ )(8)

K ℓ (x, x′ ) = σb2

+



×

2 p
σw
K ℓ−1 (x, x)K ℓ−1 (x′ , x′ )
2π



ℓ−1
ℓ−1
ℓ−1
sin θx.x′ + (π − θx.x′ ) cos θx.x′


ℓ−1
−1
θx.x
′ = cosp

K ℓ−1 (x, x′ )(9)K ℓ−1 (x, x)K ℓ−1 (x′ , x′ )で各要素の再帰計算を行う．

3. 2 NN-iWMM と t-SNE の統合
NPDV を定式化するには，確率モデルである NN-iWMMと，非確率的手法である t-SNE という設計方針の異なる二つのℓ2
KNN(x, x′ ) = σb2 + σw
Ezℓ−1 ∼GP(|0,K ℓ−1 ) [Φ(x, x′ )]0

N (m0 , R0 ) から，Rk の対角成分 rkq を Gam(a0 , b0 ) から生成

ReLU 関数 ϕ(x) = max{0, x} の場合は，値の線形結合として，以下の式で表すことができる．

ik の混合比率 πk を生成し，対応するガウス分布の平均 mk をL
KN
N は，式 (7) に期待値計算が含まれるため，一般の活性3. 1 NN-iWMM

Nℓ
X

を図 2 に示す．まず棒折り過程 GEM(α) [23] からクラスター

ル分布からクラスター割り当て zn を生成した後，対応する分3. Nonparametric Bayesian Deep Visualizationaℓi (xn ) = bℓi +NN と等価なガウス過程で観測値に変換する．その生成過程

方法を統合する必要がある．以下では，Regularized Bayesian(7)

Inference (RegBayes) [22] の枠組みで両者を確率モデルに統合する方法を紹介する．RegBayes では，ベイズ公式を最適化問で与えられる．

題として再定式化することで，事後分布に関する制約を考慮し—3—

4. 変分ベイズ法による学習アルゴリズム
提案手法では，変分ベイズ法を用いて学習を行う．前半部
では，学習の目的関数となる周辺対数尤度 log p(Y |V ) の下界(Evidence Lower BOund : ELBO) の導出と評価方法を紹介する．その後，学習アルゴリズムの要約と，既存の NP-DLVMと比較したときの利点を示す．

4. 1 ELBO の導出
変分ベイズ法では，変分分布 Q と Jensen の不等式から導出

図 2: NN-iWMM の生成過程．

たベイズモデルの作成を可能にする．パラメータを θ ，その事
前分布を p(θ)，観測値を Y ，尤度を p(Y |θ) としたとき，その事後分布はベイズ公式により p(θ|Y ) ∝ p(Y |θ)p(θ) で与えらされる式 (13) の ELBO

L = EQp(Y, X, z, {mk , r k , πk }∞
k=1 , |V )
Q


(14)

れる．[25] は，p(θ|Y ) が p(Y |θ)，p(θ) から成る以下の制約付を最大化するようにパラメータを推定する．NPDV は潜在変き最適化問題の解と一致することを示した．

数の事前分布に無限混合モデルを持つが，[18] に倣って，混合



 min

q(θ)


 s.t.

Z
KL[q(θ)∥p(θ)] −モデルに関する変分分布に有限混合ガウスモデルを仮定する．

q(θ) log p(Y |θ)dθ(10)

また，Q には平均場仮定を与えた以下の分布を設定する．

Q = q(X, z, {mk , r k , πk }Kk=1 )q(θ) ∈ P

P は確率分布の集合を表す．RegBayes では，式 (10) に θ, Y

= q(xn )q(zn )から構成される正則化項 R(θ, Y ) の期待値 Eq(θ) [R(θ, Y )] にq(θ)

 s.t.

Z
KL[q(θ)∥p(θ)] −q(πk )q(mk )q(r k )

k=1

N
Y

(15)

i=1

なお，混合モデルに関する変分分布 q(πk )，q(mk )，q(r k )，q(zn )関する制約を加えた，以下の最適化問題を考える．



 min

K
Y

の定義は [18] と同一である．q(xn ) = N (µn , S n ) であり，S nq(θ) log p(Y |θ)dθ(11)

Eq(θ) [R(θ, Y )] ≤ 0, q(θ)∈ P

制約条件を踏まえたときの最適分布 q ∗ (θ) は変分法により求めを対角行列とする．Q の平均場仮定と，NN-iWMM の条件付
き独立性から，式 (14) は次の 4 項に分解できる．

L = Eq(X) [log p(Y |X)] − Eq(X) [log q(X)]+ Eq(X,z,m,Σ,ϕ)

ることができて，次式で与えられる．
∗

q (θ) ∝ p(Y |θ)p(θ) exp(−λR(θ, Y ))log p(X, z, {mk , r k , πk }K
k=1 )q(z, {mk , Rk }k , π)(16)

− λEq(X) [KL[p ∥p ]]
X

(12)

V

= L1 + H(q(X)) + L2 − λR

λ はラグランジュ未定乗数を表す．上式より，q ∗ (θ) に対応す

H(q(X)) は正規分布のエントロピーであり，解析的に評価できる θ, Y の非正規化同時分布はその右辺で定義できる．

NPDV では，式 (12) で定義される確率モデルにおいて，p(θ) がp(X, z, {mk , r k , πk }∞k=1 ) に，p(Y |θ) が p(Y |X) に対応する．
z = {zn }Nは潜在クラスタ割り当ての集合を，
r k = {rkq }Q
n=1
q=1
は k 番目の分布の精度行列 Rk の対角成分を表す．NPDV では

t-SNE で X を V に圧縮するため，制約条件 R(Y, θ) は X ，V間の t-SNE のコスト関数 KL[pX ∥pV ] に対応する．V はカー
2ネル関数のパラメータ σw，σb2 ，p(Y |X) の精度 β と同じく，確率分布を仮定しない．さらに，NN-iWMM の生成過程における条件付き独立性から，NPDV の非正規化同時分布は，る．以下では，L1 ，L2 ，R の評価方法について紹介する．

L1 の評価に関して，Y が次元 d 毎に独立なので，L1 は d に関する和に分解できる．

L1 =

D Z
X

q(X) log p(y d |X)dX =

d=1

D
X

(d)

L1

(17)

d=1

(d)

L1 に含まれる積分は解析解を持たないため，数値積分が必要になる．数値積分を行う場合，log p(y d |X) の評価に計算量がL
O(N 3 ) となる KNNの逆行列計算が含まれるため，N が大きいとき学習に多大な時間を必要とする．そこで，[26] で導入さp(Y, X, z, {mk , Rk πk }∞k=1 |V )∞∝ p(Y |X)p(X|z, {mk , r k , πk }∞k=1 )p(z|{πk }k=1 )∞∞× p({mk }∞k=1 )p({r k }k=1 )p({πk }k=1 )れた GPLVM に対する誘導点法を利用し、逆行列の計算量を
(d)

(13)

× exp(−λKL[pX ∥pV ])となる．簡単のため V 以外のパラメータは省略した．λ は，

NN-iWMM の尤度関数と t-SNE のコスト関数をバランスする項であり，本研究では超パラメータとして扱う．

削減した上で L1を近似する．[26] は，潜在空間で定義される

M (≪ N ) 個の擬似入力 ζ ∈ RM ×Q と，対応するガウス過程の(d)出力である誘導点 υ d ∈ RM を用いて，L1の下限が次式で与えられることを示した．

(d)L1 ≥ log

N



1

L
β 2 |KMM|2N

1L(2π) 2 |βΨ2 + KMM|2−1
y T Gy d
2 d

e

(18)

βψ0
β
L
−
+ tr((KMM)−1 Ψ2 )
2
2
—4—

L
L
KMM
は ζ 間で計算される M ×M 行列を，KMN
は ζ, X 間で計L
L算される M × N 行列を，KNM
は KMNの転置行列を表す．これらの行列はいずれも NNGP カーネルから計算される．また，
LL
G = βI N −β Ψ1 (βΨ2 +KMM)−1 ΨT
1 ，ψ0 = tr(Eq(X) [KNN ])，L
L
L
Ψ1 = Eq(X) [KMN]，Ψ2 = Eq(X) [KMN
KNM
] である．式 (18)2では，右辺の第 3 項と G に逆行列計算が含まれるが，そのサイ(d)ズはともに M × M である．そのため，上式で L1 を近似する
ことで，逆行列の計算量を O(N 3 ) から O(M 3 ) に削減できる．
次に，ψ0 ，Ψ1 ，Ψ2 の評価方法を説明する．ψ0 ，Ψ1 の (n, m)
成分，Ψ2 の (m, m) 成分は，n に関する和に分解できる．

ψ0 =(Ψ1 )nm =(Ψ2 )mm′ =PN
n=1

Eq(X) [kL (xn , xn )]n=1

Eq(X) [kL (xn , ζ m )]n=1

Eq(X) [kL (xn , ζ m )kL (ζ m′ , xn )]

PN

PN

(19)

和中の期待値は，ガウス分布に対する Reparameterization

trick [8] を用いて，モンテカルロ近似する．モンテカルロ標本x
en は，q(xn ) の平均 S ，分散 S n を用いて次式で生成される．
x
en = µn + S n ϵn , ϵn ∼ N (0, I Q )(20)e = {x
そして，得られたモンテカルロ標本 X
en }Nn=1 を式 (19) にe0 ，Ψ
e 1 ，Ψ
e 2 を得る．その後，これらの量を式代入し，近似値 ψe1 を得る．L1 は Le1 を用い(18) に代入し，L1 の近似値 L
(d)

(d)

(d)

て次式で近似される．

e1 =
L

D
X

Algorithm 1 Learning algorithm of NPDV
Input observations Y/* 1. Pre-training*/
N
2
2
Initialize Π0 = [{µn , S n }n=1 , ζ, σb , σw , β]for i=1,2,... do
update Π0 with a grandient-based method
end forObtain initial V by applying t-SNE to {µn }Nn=1/* 2. Training NPDV*/K
Initialize Π1 = {{mk , r k , πk }k=1 , z}
for i=1,2,... doe with Eq.(20)
Generate X
eApproximate ψ0 , Ψ1 , Ψ2 , {pXij }i,j based on X
Update Π1 with VB-EM in [18]22Update Π2 = {µn , S n }N
n=1 , ζ, V , σb , σw , β} with agradient-based method
end for
図 3: NPDV の学習アルゴリズム．

行い，q(X) の変分パラメータ {µn , S n }N
n=1 ，疑似入力 ζ ，カー
2ネル関数のパラメータ σw，σb2 ，精度 β を初期化する．その後，{µn }Nn=1 に t-SNE を適用し，可視化表現 V を初期化する．
NPDV の 学 習 で は ，ま ず 式 (20) に 従 っ て モ ン テ カ ル ロ

e を生成し，ELBO の評価に必要な統計量を近似す
標本 X
る ．NPDV の 学 習 に あ た っ て ，推 定 す る 変 数 を ，混 合 モ
デ ル に 関 す る Π1 = [z, {mk , r k , πk }Kk=1 ] と ，そ れ 以 外 の22
Π2 = [{µn , S n }N
i=1 , ζ, V , σb , σw , β] に分割する．Π1 は，モ

e2 が [18] の学習の目的
ンテカルロ標本を所与としたときに，L

e1
L

(d)

(21)

d=1

関数と一致するので，変分ベイズ EM アルゴリズム (VB-EM)
により値が更新できる．VB-EM による更新では，勾配法によe を所与とすると，
次に L2 の評価方法を説明する．L2 は，X
e2 = Eq(z,m,Σ,ϕ)Le z, m, Σ, ϕ)log p(X,q(z, m, Σ, ϕ)

る更新とは異なり，ELBO を最大化する位置に Π1 を遷移させることができる．Π2 は通常の NN と同じく勾配法で更新する．

(22)

4. 3 提案手法の超パラメータ数
本節では，最新の NP-DLVM である VSB-DVM [17] と提案

e を観測と見なせば，[18] 中の式 (10) で定義となる．これは，X

手法の超パラメータ数，パラメータ数を比較し，提案手法の利される ELBO と一致する．具体形は [18] を参照されたい．

点を述べる．なお，両者はともに潜在変数を無限混合ガウス分

最後に R の評価方法について紹介する．R も，L1 ，L2 の場

布でモデル化しているため，以下ではそれ以外の点を比較する．

e を用いて近似する．R では，pV が q(X) に関合と同様に，X

VSB-DVM の学習は，観測値のエンコーダー，デコーダーに加して定数となるため，p

Xの要素 pXij の近似のみを考えれば良い．このとき，pX
ij は式 (1) から

e

pX
j|i =

ネットワークというもう一つの NN が使用される．エンコー

peX
eX
exp(−∥xei − xej ∥2 /2τi2 )
i|j + p
j|i
X
P
,
p
e
=
ij
2 /2τ 2 )2Nexp(−∥
x
e
−
x
e
∥
i
ℓ
i
ℓ̸=i
(23)

と近似できる．そして，{peXij }i,j を用いて R を次式で近似する．

X

e

pX
ij
R=
pX
ij log V
piji,j,i̸=jeeえ，xn のクラスター所属確率を計算する際に，Stick-Breaking(24)

e1 ，Le2 ，R
e を式 (16) に代入して L を近似する．
その後，L
4. 2 学習アルゴリズムの要約
学習アルゴリズムの概要を図 3 に示す．NPDV の学習に先立って，ガウス分布の混合数を 1 とする NN-iWMM の学習を

ダー，デコーダー，Stick-Breaking ネットワークの層数をそれ
ぞれ L1 ，L2 ，L3 とすると，合計で

P3

i=1

Li 層分のユニット数を設定する必要がある．また，層数 {Li }3i=1 自身も超パラメー
タであり，モデル構造に関する超パラメータ数は 3 +

PL

i=1

Li

となる．加えて，学習率 η ，その減衰率 ϵ も分析者が指定するため，学習に必要な超パラメータは 5 +

P3

i=1

Li 個となる．その学習では，3 個のネットワークの重み，バイアスが推定され，パラメータ数の合計が数百万以上になることも多い．

NPDV の超パラメータは，NN-iWMM における層数 L，Xの次元数 Q，バランス項 λ，誘導点の数 M ，t-SNE のパープ
レキシティ ρ，学習率 η の 6 個である．その内の ρ はモデル性能に関する感度が低いことが知られている [3]．また，M ，η

—5—表 1: k 近傍による推定精度．各手法の推定結果は確率的に変動するため，乱数シードを変えた上で 5 回実験を行った．表 1 には，5 回の平均値を記載している．太字の数値は最高精度を，*がつく数値は次点の精度を表す．
MNIST
20 Newsgroups
livedoor
k=10
k=20
k=30 k=10
k=20
k=30 k=10
k=20
k=30
t-SNE
0.931
0.921*
0.913* 0.559
0.512
0.492 0.793
0.767
0.747
0.264
UMAP
0.921
0.921
0.913 0.339
0.230 0.540
0.495
0.463
GPLVM
0.798
0.787
0.781 0.527
0.496
0.487 0.809*
0.798*
0.790*
t-SNE-GPLVM 0.930*
0.919
0.931 0.593*
0.529*
0.500* 0.793
0.765
0.747
Deep k-means 0.817
0.803
0.795 0.383
0.347
0.330 0.755
0.746
0.742
VSB-DVM
0.864
0.850
0.838 0.051
0.052
0.052 0.116
0.116
0.119
NPDV
0.931
0.923
0.918 0.599
0.552
0.529 0.844
0.822
0.809

NPDV

GPLVM

t-SNE

tSNE-GPLVM

Deep K-means(a) 20 Newsgroups の可視化結果．各点の色は 20 個のラベルに対応している．

NPDV

GPLVM

t-SNE

tSNE-GPLVM

Deep K-means(b) livedoor 可視化結果．各点の色は 7 個のラベルに対応している．

図 4: NPDV および各手法による可視化結果の比較．

は，予備実験で M = 50，η = 0.01 で良好な性能が得られてい報告する．前半部では，ラベルが付与されているデータセット

る．そのため，調整が必要な超パラメータは L，Q，λ の 3 個での可視化実験により，他モデルと提案手法の性能比較を行う．

あり，VSB-DVM と比較して超パラメータ数が少ない．また，後半部では，ラベルがないデータセットの可視化を通じて，ラNN-iWMM では，NNGP カーネルを利用することで，σw ，σb

ベルが利用できない状況での提案手法の有効性を検証する．

という 2 つのパラメータで NN による変換を定義できる．観5. 1 他モデルとの比較実験

測値の精度 β を加えても，NN-iWMM のパラメータ数は 3 個

5. 1. 1 実 験 設 定

である．それらに加えて，可視化表現 V ∈ R

N ×S

は N S 個の実験では，3 つのデータセットを使用した．MNIST は，

パラメータを含むので，NPDV の合計パラメータ数は 3 + N S

手書き数字画像 6 万枚の構成されるデータセットで，各画像個となる．可視化では，S は 2，または 3 であるため，多くのには 0 から 9 のいずれかがラベルとして与えられている．20

場合，数百万個以上のパラメータを持つ VSB-DVM よりも，

Newsgroups は，約 2 万件の英語記事から構成されいていNPDV のパラメータ数は少なくなる．

て，20 個のラベルのいずれかが各記事に与えられている．各

モデル性能の最適化には超パラメータのチューニングが必要

記事はストップワード（注 1）を削除した後，lemmatization を行だが，超パラメータが多いとき，チューニングに必要な試行回

い語幹を抽出して解析に使用した．livedoor は，約 7 千件の数は増加する．また，各試行の中で，NN 内の大量のパラメー

日本語のブログの記事を含み，各記事には 7 個のラベルのいタを学習することになり，VSB-DVM の学習は計算時間が増大

ずれかが与えられている．各記事は，MeCab を用いて形態素しやすい．一方で提案手法は，VSB-DVM と比較して超パラ解析を行い，名詞，形容詞を抽出して解析に使用した．また，

メータ，パラメータが少ないため，より短時間で最適化された

20 Newsgroups，livedoor は，TF-IDF が大きくなった上モデルによる可視化を行える可能性がある．

位 1,000 語を抽出し，その TF-IDF 表現を観測値ベクトルとし

5. 実 証 実 験

た．本実験では，3 データからそれぞれ 5,000 件を抽出して可視化を行った．

本節では，提案手法の性能確認のために行った実験の結果を（注 1）：https://gist.github.com/sebleier/554280

—6—

NPDV

t-SNE

評価は，可視化空間における k 近傍法での分類精度による定量評価と，得られた散布図の定性評価を行った．k 近傍法での分類精度は，同一ラベルを持った個体が互いに近くにプロットされているほど向上する．そのため，この指標が高いことは，モデルがラベルの違いを反映した可視化表現を推定できたことを意味する．近傍数は k = [10, 20, 30] とした．
また，モデル比較のため，t-SNE，UMAP，GPLVM，t-SNE-

GPLVM [27]，VSB-DVM，Deep k-means [11] の 6 手法でも可視化を行った．t-SNE-GPLVM は，GPLVM の対数尤度に式(3) で定義される t-SNE のコストを正則化項として加えた確率

図 5: 京都大学コーパス可視化結果．各点の色は，NPDV では推定された潜在クラスター割り当てに，t-SNE では，GMM により推定された観測空間でのクラスター割り当てに対応している

モデル，Deep k-means は最新の深層クラスタリングモデルである．NPDV における NNGP カーネルは，全データで共通でL=6 とし，式 (8)(9) を用いて，1，6 層目が恒等写像，それ以外の層が ReLU 関数に対応するように設計した．他の超パラメー
タも，全データ共通で，式 (16) 内のバランス項を λ = N D，Xの次元数を Q = 50，誘導点の数を M = 50，GMM の混合数
を K = 50，t-SNE のパープレキシティを ρ = 30，学習率をη = 0.01 とした．事前学習，学習の反復回数はともに 1500 回とした．

5. 1. 2 実 験 結 果

図 6: NPDV で推定されたクラスター内のテキスト例．

表 1 に k 近傍法による分類精度の評価結果を示す．3 データ

抽出して可視化を行った．文データは，一文に含まれる単語セット全てで提案手法が最高精度を記録した．特に，TF-IDF

数が少ないものがあり，TF-IDF の性能が低下する可能性があ

表現を用いる二つの文書データセットにおいて，20 News-る [29]．そこで，300 次元日本語エンティティベクトル（注 2）を元

groups では，k = 20, 30 のときに NPDV と次点の t-SNE のに，各文を [30] の方法に従って文ベクトルに変換し，ℓ2 ノルム

間に 2.5%，livedoor では k = 10 のときに次点の GPLVM とが 1 となるように正規化してモデルの入力とした．NPDV の3.5%，k = 20 のときに 2.5% と大きな差を記録している．ラ

学習時の設定は §5.1.1 に記載した設定と同一である．比較のた

ベルの違いは個体の特徴の違いを表すため、提案手法が最も正め t-SNE でも可視化を行った．

確に個体の違いを反映した可視化を行っている．

5. 2. 2 可視化結果

20 Newsgroups，livedoor の可視化結果を図 3(a)，(b) に

NPDV，t-SNE で得られた散布図を図 5 に示す．各点の色は，示す．散布図上の各点は推定された可視化表現を，点の色のNPDV では NN-iWMM により推定された潜在クラスター割り

違いはラベルの違いを表す．20 Newsgroups では，t-SNE，

当てを，t-SNE では，K = 50 とした GMM を観測値に適用

t-SNE-GPLVM，Deep k-means から得られた散布図では，同して得られた，観測空間でのクラスター割り当を示す．NPDV

一ラベルを持つ点同士でクラスターを形成する一方，異なるクは，t-SNE と比較してクラスターの境界が明確であり，視認性

ラスター同士が重なり合っている．特に Deep k-means においの高い結果が得られている．また，各クラスターは意味的類似てその傾向が顕著である．GPLVM ではその三手法と比較する性が高い文から形成されている．その例を図 6 に示す．図内のと，薄緑，薄紫のクラスターが他のクラスターとよく分離して例のように，料理，教育や金融などのクラスターを確認した．

いる．NPDV では，それらのクラスターに加えて赤，薄桃のク

それ以外にも，国際関係や裁判など，意味の類似した文が集ラスターがより確認しやすくなっている．livedoor でも同様

まってクラスターが形成されていた．文データでは，文意は個に，t-SNE，t-SNE-GPLVM，Deep k-means ではクラスター

体の特徴を表すため，NPDV では，特徴の似た個体が集まってが重なり合っている．GPLVM では，クラスターの分離は確認

クラスターを形成する，という性質が示された．

できるが，青，紫，薄橙のクラスターが混合している．NPDV

図 7 は t-SNE の散布図であり，図 6 の NPDV の料理クラス

では，GPLVM と比較して，その 3 つのクラスターの混合が改ターに含まれていた 58 文を強調表示している．右側の図はそ善されている．また，MNIST でも同様の傾向を確認した．

の拡大図である．t-SNE ではこれらの文は 7 クラスターに分割

以上より，既存手法と比較して，提案手法が個体の特徴の違されており，その一部は料理とは無関係のクラスターに含まれいをより正確に反映し，クラスター分離が明確な可視化表現をていた．NPDV では，「メバル，ガシラはこれからが本番」，「あ推定し得る，という有効性が示された．

つあつをどうぞ。
」という文は料理クラスターに属している．し5. 2 教師無し設定での可視化実験

かし，t-SNE では，前者は芸能クラスターに，後者は様々な文

5. 2. 1 実 験 設 定が入り混じるクラスターに含まれていた．NPDV では，t-SNE

実験には，ラベルが付与されていない約 4 万個の文を収録する京都大学コーパス [28] を用いた．本実験では，5,000 文を（注 2）：http://www.cl.ecei.tohoku.ac.jp/˜m-suzuki/jawiki_vector/

—7—

[4]

[5]

[6]

[7]

図 7: t-SNE において，NPDV では図 5 の料理クラスターに含まれた文を強調表示した散布図とその拡大図

[8]
[9]

とは異なり，観測値ではなく NN-iWMM で推定された潜在変数を圧縮して可視化表現を得る．NN-iWMM を用いた圧縮により，観測値よりも文意を正確に反映する潜在変数が推定され，それを再び圧縮したことで，より誤謬の少ない可視化につ

[10]

[11]

ながった可能性がある．
データセットに内在するクラスターを把握することは，デー[12]

タ分析を行う上で重要な情報となる．ラベルデータはクラス
ター構造を知るための強力なヒントになるが，実際のデータ分[13]

析ではラベルデータを利用できないことも多い．提案手法は，

t-SNE 等と異なり，NN-iWMM で推定されたクラスター割り[14]

当てを可視化に反映できるという利点がある．さらに本実験からは，それらのクラスターが類似した個体同士で形成される，妥[15]

当性が高いものであることを確認した．加えて，クラスターの境界が明確で視認性の高い散布図が得られるため，ラベルデー
タが利用できない状況でも，提案手法による可視化は，データ

[16]

[17]

セットのクラスター構造の直感的な理解を促進し得る．

6. ま と め[18]

本稿では，新たな深層潜在変数モデルである NN-iWMM と[19]

t-SNE を統合した，可視化のための確率モデルである NPDVを提案した．提案手法は，NNGP カーネルに基づく L 層無限
ユニット NN の利用や，無限混合ガウス分布による潜在変数の[20]モデル化により．従来の深層潜在変数モデルよりも少ない超パラメータで学習が行われる．また，重み，バイアスを用いる通常の NN とは異なり，NNGP カーネルは 2 つのパラメータで

[21]

[22]

NN による変換を定義できるため，NPDV は学習されるパラメータ数も少ない．実験では，既存手法と比較して，NPDV が個体の特徴の違いを高精度に反映した可視化を行うことが示された．加えて，文データの可視化実験から，NPDV では，特徴の似た個体が集まってクラスターを形成する，クラスターの境

[23]
[24]

[25]

界が明確で視認性の高い散布図が得られるという性質を確認した．これらの性質から，NPDV による可視化は，ラベルデータが利用できない状況でも，データセット内のクラスター構造の

[26]

[27]

直感的な理解を促進する．
文
[1]

[2]

[3]

献

J. B. Kruskal. “Multidimensional Scaling by Pptimizing Goodness of Fit to a Nonmetric Hypothesis,” Psychometrika, vol.29,
no.1, 1964.
D. Lunga et al., ”Manifold-learning-based feature extraction forclassiﬁcation of hyperspectral data: a review of advances inmanifold learning,” IEEE Signal Process. Mag., vol.31, no.1,
pp.55-–66 2014.
van der Maaten and G. Hinton, “Visualizing data using t-SNE,”

[28]
[29]

[30]

Journal of Machine Learning Research, vol.9, pp.2579-–2605,
Nov., 2008.
L. McInnes, J. Healy, N. Saul and L. Großberge, “UMAP: Uniform Manifold Approximation and Projection,” The Journal ofOpen Source Software, 3(29):861, 2018.
S. Jones, “A Statistical Interpretation of Term Speciﬁcity andits Application in Retrieval.” Journal of Documentation, vol.28,
no.1, pp.11-–21, 1972.
C. M. Bishop, “Variational principal components,” In Proceedings 9th International Conference on Artiﬁcial Neural Networks,
vol.1, pp.509—514, 1999.
Z. Ge, “Process Data Analytics via Probabilistic Latent Variable Models: A Tutorial Review,” Ind. Eng. Chem. Res., vol.
57, pp. 12646–12661, 2018.
D. P. Kingma and M. Welling, “Auto-encoding variational
Bayes,”, arXiv preprint arXiv:1312.6114, Dec., 2013.
N. Dilokthanakul, P. A. Mediano, M. Garnelo, M. C. Lee, H.
Salimbeni, K. Arulkumaran and M. Shanahan, “Deep Unsupervised Clustering with Gaussian Mixture Variational Autoencoders,” arXiv:1611.02648, Nov., 2016.
Y. Zheng, H. Tan, B. Tang, H. Zhou, et al, “Variational Deep
Embedding: A Generative Approach to Clustering,” arXiv
preprint arXiv:1611.05148, Nov., 2016.
M. M. Fard, T. Thonet and E. Gaussier, “Deep k-means:
Jointly Clustering with k-means and Learning Representations,” Pattern Recognition Letters, vol.138, pp.185–192, 2020.
J. Xie, R. Girshick and A. Farhadi, “Unsupervised Deep Embedding for Clustering Analysis,” the 33rd International Conference on Machine Learning, vol.48, pp.478–487, June, 2016.
B. Yang, X. Fu, N. D. Sidiropoulos and M. Hong, “Towards kmeans-friendly Spaces: Simultaneous Deep Learning and Clustering,” the 34th International Conference on Machine Learning, vol.78, pp.3861–3870, Aug., 2017.
S. Ghosal, and van der Vaart, "Fundamentals of Nonparametric Bayesian Inference" (Vol. 44), Cambridge, UK: Cambridge
University Press, 2017.
E. Abbasnejad, A. Dick and van den Hengel, “Inﬁnite Variational Autoencoder for Semi-supervised Learning,” arXiv
preprint arXiv:1611.07800, nov., 2016.
R. Singh, J. Ling and F. Doshi-Velez, “Structured Variational
Autoencoders for the Beta-Bernoulli Process,” Advances in
Neural Information Processing Systems, 2017.
X. Yang, Y. Yan, K. Huang and R. Zhang, “VSB-DVM: An
End-to-End Bayesian Nonparametric Generalization of Deep
Variational Mixture Model,” IEEE International Conference on
Data Mining, Nov., 2019.
D. Blei and M. Jordan, “Variational nference for Dirichlet
Process Mixtures,” Journal of Bayesian Analysis, vol.1 no.1,
pp.121-–144, Mar., 2006.
J. H. Lee, Y. Bahri, R. Novak, S. Schoenholz, J. Pennington
and J. Sohl-Dickstein, “Deep Neural Networks as Gaussian Processes,”, International Conference on Learning Representation,Feb., 2018.
T. Iwata, D. Duvenaud and Z. Ghahramani, “Warped mixtures
for nonparametric cluster shapes,” International Conference on
Uncertanityin Artiﬁcial Intelligence, pp. 311–319, 2013.
N.D. Lawrence, “Gaussian Process Latent Variable Models for
Visualisation of High Dimensional Data,” the 16th Advances in
Neural Information Processing Systems, pp.329—336, 2004.
J. Zhu, N.Chen, and E. P. Xing, “Bayesian Inference with Posterior Regularization and Applications to Inﬁnite Latent SVMs,”,
Journal of Machine Learning Research, vol.15, no.1, pp.1799—
1847, 2014.
J. Sethuraman, “ Constructive Deﬁnition of Dirichlet Priors,”
Statistica Sinica, vol.4, pp.639-–650, 1994.
Y. Cho and L. K. Saul, “Kernel methods for deep learning,” the22th In Advances in Neural Information Processing Systems,
pp.342—350, 2009.
A. Zellner, ”Optimal information processing and Bayestheorem,”, American Statistician, vol.42, pp.278–280, 1988.
M. K. Titsias and N. D. Lawrence, “Bayesian Gaussian Process
Latent Variable Model,”, the 13th International Workshop on
Artiﬁcial Intelligence and Statistics, vol.9, pp.844-–851, 2010.
van der Maaten, “Preserving Local Structure in Gaussian Process Latent Cariable Models,”, the 18th Annual Belgian-Dutch
Conference on Machine Learning, pp.81-–88, 2009.
黒橋禎夫, 長尾眞, “京都大学テキストコーパス・プロジェクト”, 言語処
理学会 第 3 回年次大会, pp.115–118, 1997.
X. Yan, J. Guo, S. Liu, X. Cheng and Y. Wang, “Clustering
Short Text Using Ncut-weighted Non-negative Matrix Factorization,”, International Conference on Information and Knowledge Management, pp.2259-–2262, 2012.
S. Arora, Y. Liang and T. Ma, “A Simple but Tough-to-beatBaseline for Sentence Embeddings,” In Internatonal COnference on Learning Representation, 2017.

—8—