# スペクトル混合カーネルとガウス過程に基づく 動画からの副詞の意味理解

谷口巴
お茶の水女子大学
g1620524@is.ocha.ac.jp
}

持橋大地
統計数理研究所
daichi@ism.ac.jp
}

長井隆行高野涉大阪大学

nagai@sys.es.osaka-u.ac.jp takano@sigmath.es.osaka-u.ac.jp

長野匡隼 中村友昭
電気通信大学
n1832072@edu.cc.uec.ac.jp
tnakamura@uec.ac.jp
小林一郎
お茶の水女子大学
koba@is.ocha.ac.jp

## 1 はじめに

近年重要性が高まってきている家庭用ロボットには，日常生活において人と同じ感覚を共有した動作が期待される．動作に対する感覚は，自然言語では副詞を通じて表現されることが多い，ゆえに，特定の副詞を表現する複数の動作に共通する特徴を見つけることができれば，ロボットはその副詞の意味を本質的に理解したといえる. 副詞認識についての先行研究として, Pang ら [1] が表情認識や画像情報を用いてアプローチしているが，動作との関係性を捉えることは難しく，実際にロボットを動かすことを考えると実用的ではない. 本研究ではロボットに適用する前段階として，人の動作の特徴を通じて副詞の意味を理解することを試みる．具体的には，人の動作を GPLVM [2] で圧縮して得られた非線形な潜在空間での軌跡を，スペクトル混合カーネル [3] を用いたガウス過程で表現する. さらに各次元の軌跡を構成する複数の周波数成分を特定し, 副詞との対応関係を捉える，周波数空間でのマルチモーダルなトピックモデルを提案する.これにより，動作について副詞を用いて表現することや、副詞表現から動作を生成することが可能となる.

## 2 動作と副詞の結合トピックモデル

## 2.1 ガウス過程潜在変数モデル (GPLVM)

本研究では, 動作から得られる高次元の姿勢情報を低次元に圧縮してモデル化するため，ガウス過程に基づく教師なし学習であるガウス過程潜在変数モデル (GPLVM) [2]を用いる. GPLVM とは，ガウス過程に基づく非線形な確率的主成分分析であり, $N$個の $D$ 次元観測値をまとめた行列 $\boldsymbol{Y}$ について, 式 (1)を最大化するような低次元の入力 $X$ を計算する.

$
p(\boldsymbol{X}, \boldsymbol{Y})=p(\boldsymbol{Y} \mid \boldsymbol{X}) p(\boldsymbol{X})
$

ここで， $\boldsymbol{X}$ は未知であるため $p(\boldsymbol{X})=\mathcal{N}\left(\boldsymbol{0}, \boldsymbol{I}_{K}\right)$ と仮定して,$p(\boldsymbol{Y} \mid \boldsymbol{X})$ を考える. $\boldsymbol{Y}$ はガウス過程に従い， $X$ がわかれば出力の各次元が独立であると仮定すると，データ全体 $\boldsymbol{Y}$ の確率は $\boldsymbol{y}^{(1)} \ldots \boldsymbol{y}^{(D)}$ の積であるため, $p(\boldsymbol{Y} \mid \boldsymbol{X})$ は以下の式で表される. ただし $\boldsymbol{K}_{\boldsymbol{X}}$ は共分散行列, $k\left(x, x^{\prime}\right)$ はガウス過程のカーネル関数であり, $K_{i, j}=k\left(x_{i}, x_{j}\right)$ で定義される.

$
p(\boldsymbol{Y} \mid \boldsymbol{X})=(2 \pi)^{-\frac{N D}{2}}\left|\boldsymbol{K}_{\mathbf{X}}\right|^{-\frac{D}{2}} \exp \left(-\frac{1}{2} \operatorname{tr}\left(\mathbf{K}_{\boldsymbol{X}}^{-1} \boldsymbol{Y} \boldsymbol{Y}^{\mathbf{T}}\right)\right)
$

本研究では $\boldsymbol{X} \rightarrow \boldsymbol{Y}$ の GPLVM のカーネル関数として RBF カーネルを使用し，L-BFGS 法を用いて $X$ およびカーネルのハイパーパラメータを最適化する。図 3 に, 実際の動作から計算した $\boldsymbol{X}$ の例を示した.

## 2.2 スペクトル混合カーネル

上で得られた潜在空間 $X$ での動作の軌跡について，その特徴を捉えることを試みる. Wilson ら [3] はガウス過程で使用する基底を，既存の基底やその組み合わせに限定せず，フーリエ領域で混合ガウス分布を考えることでデータから自動的に学習できるスペクトル混合カーネル (Spectral Mixture Kernel, SM kernel) という手法を提案した.ここではガウス過程の基底として，值が $\tau=x-x^{\prime}$ だけに依存する定常基底関数 $k(\tau)$ を考える。ボホナーの定理より,任意の $k(\tau)$ は以下の形で表される.

$
k(\tau)=\int_{\mathbb{R}^{D}} e^{2 \pi i s^{\mathrm{T}} \tau} \psi d s
$

(a) Openpose による画面座標推定

(b) FCRN-depthによる深度推定 (c) 3 次元の骨格座標の推定

(d) 回転行列による方向正規化

図 1: 動画データの前処理による動作の骨格座標の抽出.

$k(\tau)$ は周波数領域での確率密度 $\psi(s)$ と等価なので, $\psi(s)$ に関して混合ガウス分布を考える. ガウス分布の各要素は，もとの領域では以下の基底関数を考えていることと等価となる.

$
k(\tau \mid \sigma, \mu)=\exp \left(-2 \pi^{2} \tau^{2} v^{2}\right) \cos (2 \pi \tau \mu)
$

すなわち基底として, 次の $Q$ 個の基底関数の混合を考えていることになる. ただし,$\mu_{q}^{d}$ と $v_{q}^{d}$ は $q$ 個目の基底における入力 $\boldsymbol{X}$ における $d$ 次元目の平均と分散である.

$
k(\tau)=\sum_{q=1}^{Q} w_{q} \cos \left(2 \pi \tau^{\mathrm{T}} \mu_{q}\right) \prod_{d=1}^{D} \exp \left(-2 \pi^{2} \tau_{d}^{2} v_{q}^{d}\right)
$

パラメータの重み $\mathrm{w}$, 平均 $\mu$, 分散 $\sigma$ は通常のガウス過程のハイパーパラメータ最適化で学習できる. 本研究ではこの手法を用いて，各動画について GPLVM で圧縮した 3 次元の潜在変数 $X$ から，副詞と関係があると予想される $Q=4$ 個の周波数成分を抽出して観測値とする. 例を図 4 に示した. ${ }^{1)}$

## 2.3 スペクトル混合潜在ディリクレ配分法 (Spectral Mixture LDA)

動作から抽出された周波数成分は, その動作に付与された副詞と関係があると考えられる。 そこで, 潜在ディリクレ配分法 (LDA) [4] を拡張し, 各動作 $d$ に $K$ 次元の潜在的な「トピック分布」 $\theta_{d}$ があると仮定する.このとき, 動作に付与された副詞

図 2: SMLDA のグラフィカルモデル.

1） $X$ での軌跡を直接フーリエ変換することもできるが，その場合は関数がどこを通るか (関数の位相) と関数の特徴を分離することができない. スペクトル混合カーネルを用いることにより，純粋に軌跡の特徴だけを抽出することができる。 $\left.\{w_{d n}\right.\}\left(n=1 \ldots N_{d}\right)$ および動作の周波数成分 $\left.\{x_{d m}\right.\}$ $\left(m=1 \ldots M_{d}\right)$ は, 次のモデルで生成されたと考える.

1. Draw $\theta_{d} \sim \operatorname{Dir}(\alpha)$.

2. For $n=1 \ldots N_{d}$,
- Draw $z_{d n} \sim \theta_{d} ; \quad$ Draw $w_{d n} \sim \operatorname{Mult}\left(\phi_{z_{d n}}\right)$.

3. For $m=1 \ldots M_{d}$,
- Draw $y_{d m} \sim \theta_{d}$; Draw $x_{d m} \sim \mathcal{N}\left(\mu_{y_{d m}}, \Sigma_{y_{d m}}\right)$.

このグラフィカルモデルを図 2 に示した. このマルチモーダルなトピックモデルを, 本論文ではスペクトル混合 LDA (Spectral Mixture LDA; SMLDA) と呼ぶ. SMLDA では、周波数成分と副詞は動作毎に同じトピック分布 $\theta_{d}$ を共有している.ここで $\phi_{k}$, $\mathcal{N}\left(\mu_{k}, \Sigma_{k}\right)$ はそれぞれ, $k$ 番目のトピックに対応する副詞の多項分布および周波数のガウス分布であり，互いの情報を用いて, 各動画について 1 つ 1 つ副詞と周波数成分にトピックを割り当てていく.

副詞と周波数についてのサンプリングギブスサンプリングにより, 副詞と周波数のトピック分布を学習していく。副詞 $w_{d n}$ のトピック $z_{d n}$ は, 次式を用いてサンプリングする. ここで $V$ は語彙数を表す.

$
\begin{aligned}
& p\left(z_{d n}=k \mid \boldsymbol{W}, \boldsymbol{X}, \boldsymbol{Z}_{\backslash d n}, \boldsymbol{Y}, \alpha, \beta, \gamma\right) \\
& \quad \propto\left(N_{d k \backslash d n}+M_{d k}+\alpha\right) \frac{N_{k w}+\beta}{N_{k \backslash d n}+\beta \boldsymbol{V}}
\end{aligned}
$

ハイパーパラメータである $\alpha$ と $\gamma$ は不動点反復法により，以下の式を用いて更新する。ここで登場する $\Psi$ はディガンマ関数 $\Psi(x)=d / d x \log \Gamma(x)$ である。

$
\begin{aligned}
\alpha^{\text {new }} & =\alpha \frac{\sum_{d=1}^{D} \sum_{k=1}^{K} \Psi\left(N_{d k}+M_{d k}+\alpha\right)-D K \Psi(\alpha)}{K \sum_{d=1}^{D} \Psi\left(N_{d}+M_{d}+\alpha K\right)-D K \Psi(\alpha K)} \\
\gamma^{\text {new }} & =\gamma \frac{\sum_{k=1}^{K} \sum_{v=1}^{V} \Psi\left(N_{k v}+\gamma\right)-K V \Psi(\gamma)}{V \sum_{k=1}^{K} \Psi\left(N_{k}+\gamma V\right)-K V \Psi(\gamma V)}
\end{aligned}
$

周波数成分 $x_{d m}$ のトピック $y_{d m}$ に関しては, 副詞の単語分布をガウス分布の確率密度関数に置き換え，以下の式を用いてサンプリングする。

$
\begin{aligned}
& p\left(y_{d m}=k \mid \boldsymbol{W}, \boldsymbol{X}, \boldsymbol{Z}, \boldsymbol{Y}_{\backslash d m}, \alpha, \beta, \gamma\right) \\
& \propto \frac{1}{\sqrt{2 \pi} \sigma_{k}} \exp \left(-\frac{\left(x_{d m}-\mu_{k}\right)^{2}}{2 \sigma_{k}^{2}}\right) \frac{N_{d k}+M_{d k \backslash d m}+\alpha}{N_{d}+M_{d}-1+\alpha K}
\end{aligned}
$

パラメータである $\mu$ と $\sigma$ は以下の事後分布からサンプリングする. ここで $\lambda=1 / \sigma^{2}$ である.

$
p(\mu \mid \mathbf{Y})=\mathrm{N}\left(\mu \mid m,(\beta \lambda)^{-1}\right), p(\lambda \mid \mathbf{Y})=\operatorname{Gam}(\lambda \mid a, b)
$

ただし $a_{0}, b_{0}, \beta_{0}, m_{0}$ を事前分布のパラメータとして

$
\begin{aligned}
& a=\frac{M}{2}+a_{0}, b=\frac{1}{2 \sum_{m=1}^{M} x_{m}^{2}+\beta_{0} m_{0}^{2}-\beta m^{2}}+b_{0} \\
& \beta=M+\beta_{0}, m=\frac{1}{\beta}\left(\sum_{m=1}^{M} x_{m}+\beta_{0} m_{0}\right)
\end{aligned}
$

## 3 実験

## 3.1 使用するデータ

YouTube に掲載されている, 100 種類の異なる歩行動作を集めた動画2)を用いて実験を行った。クラウドソーシングシステム Lancers ${ }^{3)}$ を用いて，20 名のアノテーターに動画の各動作について思いつく限り自由に副詞をアノテーションしてもらうよう依頼した. 全動画で 3 個以上出現した副詞に限定し,満たない副詞はノイズとして除去した. また「ゆっくり」という副詞は多くの動画に付けられていたため，各動画につき 3 個以上付けられた場合のみ採用した. この結果, 1 つの動画につき平均 12.93 個の副詞がアノテーションされたデータが得られた.

データの前処理上記の動画データから，以下のように 4 段階で 3 次元の骨格座標の推定を行った.

1. Openpose [5] を用いて動画データから 2 次元の骨格座標を推定 (図 1(a))

2. FCRN-depth prediction [6] を用いて動画データの深度を推定 (図 1(b))

3. 1,2 の推定結果と 3d-pose baseline [7] を用いて動画データから 3 次元の骨格座標を推定 (図 1(c))

4. 歩いている人の体の向きを合わせるため, 回転行列を用いて正規化 (図 1(d))

周波数成分の抽出前処理したデータから各関節間ごとに方向べクトルを算出し, 入力データとした. 以下の 2 つの手法を用いて, 前処理した動画データから周波数成分を抽出した。

1. GPLVM を用いて 48 次元の姿勢データを 3 次元の潜在変数に圧縮する (図 3)

2. SM kernel を用いて 3 次元の潜在変数から, 各次元について周波数成分を抽出する (図 4)

2) https://www. youtube.com/watch?v=HEoUhlesN9E

3) https://www. lancers.jp/

図 3: GPLVM による動作の非線形次元圧縮.ここでは (a)-(c)の異なる歩行動作が, 低次元の潜在空間 $\boldsymbol{X}$ の軌跡として表現されている.

学習データのうち, 3 個の動作を GPLVM で圧縮した 3 次元の潜在空間にプロットしたものを図 3 に示す. 歩く動作は繰り返しの動作であるため, 潜在変数は図のように円を描くような動きになる. SM kernel によって各動画の 1 次元目について最適化された平均 $\boldsymbol{\mu}$ と分散 $\boldsymbol{\sigma}$ をパラメータとしてガウス分布を描画したものを図 4 に示した. ${ }^{4}$ ) 式 (5) より平均 $\mu$ の值が大きいほど周期が小さくなることから，值の変動が低速な動画データほど基底を表すスペクトルは左側に多く見られると推測できる.よって, (a) は遅い動きの成分が多く, (c) は速い動きの成分が多く, (b) はその中間的な動きということがわかる. SM kernel では構成されるカーネル関数に関して重み $\mathbf{w}$, 平均 $\mu$, 分散 $v$ が推定されるが, 関数の種類に着目するため, 平均 $\boldsymbol{\mu}$ のみを周波数成分として今後使用する. 本実験ではこの抽出された周波数成分と動画に付与された副詞の集合を入力データとした. 共にトピック数を 4, 十分収束するよう, MCMC の繰り返し数は 1000 と大きい值に設定した. 混合ガウス分布の部分に関して, 分散はデータの幅に合わせて 4 つのガウス分布が均等に配置されるよう, $\sigma=3.75$ と固定して平均のみ学習する。

(a)

(b)

(c)

図 4: 図 3 の各動作について, 1 次元目の軌跡を解析したスペクトル混合カーネルによる周波数表現.

4）推定された分散がきわめて小さいため, 図ではガウス分布がデルタ関数状に描画されている.
表 1: SMLDA で得られたトピック別副詞上位 7 語.

表 2: LDA だけで得られたトピック別副詞上位 7 語.

## 3.2 実験結果

学習されたトピックー単語分布から各副詞について NPMI [8] を計算した上位 7 語を表 1 に示す. 比較のため，周波数成分の情報を使わず LDA で解析した結果を表 2 に示した. 動作の情報を同時に用いることで, 副詞のトピックがより明確になっていることがわかる. また学習された平均 $\mu$ を用いてガウス分布を描画したものを図 5 に示す. 収束しているか確認するため, $\mathrm{MCMC}$ の各繰り返しごとに計算したパープレキシティをプロットしたものを図 6 に示す. かなり早い段階で収束していることがわかる.

## 3.3 モデルの評価

データを訓練用と評価用に 8 対 2 に分割した. 評価用のデータについて，モデルに周波数データを与えた際の副詞のパープレキシティを算出した. また， モデルの評価のため，次の 2 つのモデルと比較する。

1. 評価用と同じ $\theta$ を用いて, 副詞を一様分布を使ってランダムにサンプリングしたもの
2. $\theta$ そのものもランダムに生成し，副詞を一様分布を使ってランダムにサンプリングしたもの

図 5: 学習した $\mu$ を用いて描画したガウス分布.

図 6: SMLDA の MCMC とパープレキシティ.
この結果，SMLDA のパープレキシティは 41.55, 上記のランダム 1 とランダム 2 はそれぞれ 90.75 および 92.84 であり，モデルが正しく副詞を予測しているこ

図 7: 評価用の動画の例. とがわかった. また評価用の動画 (図 7) に関して，周波数データを与えたとき，SMLDA が推定した $\theta$ を図 8 に，確率の高い副詞を表 3 に示す。

図 8: 動作から推定された $\theta$. 表 3: 動画から予測される確

## 3.4 考察率の高い副詞上位 7 語.

表 1 では，副詞を動作の情報も用いて意味的にクラスタリングすることに成功している. 図 5 では,狙い通りデータの幅を均等に分けるようにガウス分布が配置されている形となっている。このことから，SMLDA は副詞情報，周波数成分情報ともに互いの情報を用いて，クラスタリングが成功していることが確認できる。また SMLDA はランダムに副詞を生成するモデルよりパープレキシティが低く，動作を表す周波数成分から副詞を生成するモデルとして有効であることが示された．最後に表 3 より，動画に対して妥当な副詞がサンプリングされていることが確認できた。

## 4 まとめと今後の課題

歩行動作をする人間の骨格座標を GPLVM を用いて 3 次元の潜在変数に圧縮し, SM kernel を用いて周波数成分を抽出した. 次に SMLDA を用いて, 動画にアノテーションされた副詞データと周波数データを, お互いの情報を使いながら 4 つのトピックにクラスタリングした. 最後にパープレキシティを用いて評価し, モデルの有効性を示した. 現在は 3 次元に圧縮した潜在変数を 1 次元ずつスペクトル混合カー ネルを用いて解析しているが, 今後はこれを直接 3 次元で同時に行うことを検討している。

謝辞本研究は, 科学研究費補助金 - 基盤 (B) (18H03295) の支援を受けて行った.

## 参考文献

[1] Bo Pang, Kaiwen Zha, and Cewu Lu. Human Action Adverb Recognition: ADHA Dataset and A Three-Stream Hybrid Model. CoRR, Vol. abs/1802.01144, pp. 2438-2447, 2018.

[2] Michalis K. Titsias and Neil D. Lawrence. Bayesian Gaussian Process Latent Variable Model. In AISTATS 2010, pp. 844-851.

[3] Andrew Gordon Wilson and Ryan Prescott Adams. Gaussian Process Kernels for Pattern Discovery and Extrapolation. In ICML 2013, pp. 1067-1075.

[4] David M. Blei, Andrew Y. Ng, Michael I. Jordan, and John Lafferty. Latent Dirichlet Allocation. Journal of Machine Learning Research, Vol. 3, pp. 994-1022, 2003.

[5] Zhe Cao, Gines Hidalgo, Tomas Simon, Shih-En Wei, and Yaser Sheikh. OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields. IEEE Trans. Pattern Anal. Mach. Intell., Vol. 43, No. 1, pp. 172-186, 2021.

[6] Iro Laina, Christian Rupprecht, Vasileios Belagiannis, Federico Tombari, and Nassir Navab. Deeper Depth Prediction with Fully Convolutional Residual Networks. In $3 D V$, pp. 239-248, 2016.

[7] Julieta Martinez, Rayat Hossain, Javier Romero, and James J Little. A Simple yet Effective Baseline for 3D Human Pose Estimation. In ICCV 2017, pp. 2640-2649, 2017.

[8] Gerlof Bouma. Normalized (Pointwise) Mutual Information in Collocation Extraction. Proceedings of GSCL, pp. 31-40, 2009.