T分布型確率的近傍埋め込み法
K L ( P | | Q ) = ∑ i ≠ j p i j log  p i j q i j {\displaystyle KL(P||Q)=\sum _{i\neq j}p_{ij}\log {\frac {p_{ij}}{q_{ij}}}}
各iについて目的関数の勾配を計算する。
δ C δ y i = 4 ∑ j ( p i j − q i j ) ( y i − y j ) ( 1 + ‖ y i − y j ‖ 2 ) − 1 {\displaystyle {\frac {\delta C}{\delta y_{i}}}=4\sum _{j}(p_{ij}-q_{ij})(y_{i}-y_{j})(1+\lVert y_{i}-y_{j}\rVert ^{2})^{-1}}
目的関数の勾配と以前の解よりt番目の解 Y ( t ) {\displaystyle Y^{(t)}} を計算する。
Y ( t ) = Y ( t − 1 ) + η δ C δ Y + α ( t ) ( Y ( t − 1 ) − Y ( t − 2 ) ) {\displaystyle Y^{(t)}=Y^{(t-1)}+\eta {\frac {\delta C}{\delta Y}}+\alpha (t)\left(Y^{(t-1)}-Y^{(t-2)}\right)}
解 Y ( T ) {\displaystyle Y^{(T)}} を図示することで高次元のデータ集合のクラスターを把握できる。