スペクトル混合カーネルとガウス過程に基づく
動画からの副詞の意味理解
谷口巴
お茶の水女子大学
g1620524@is.ocha.ac.jp

持橋大地
統計数理研究所
daichi@ism.ac.jp

長井隆行 高野渉
大阪大学
nagai@sys.es.osaka-u.ac.jp
takano@sigmath.es.osaka-u.ac.jp

はじめに1

長野匡隼 中村友昭
電気通信大学n1832072@edu.cc.uec.ac.jp
tnakamura@uec.ac.jp
小林一郎
お茶の水女子大学
koba@is.ocha.ac.jp

過程に基づく非線形な確率的主成分分析であり, 𝑁個の 𝐷 次元観測値をまとめた行列 𝒀 について, 式

近年重要性が高まってきている家庭用ロボットに(1) を最大化するような低次元の入力 𝑿 を計算する.

は，日常生活において人と同じ感覚を共有した動作

𝑝( 𝑿, 𝒀) = 𝑝(𝒀 | 𝑿) 𝑝( 𝑿)が期待される．動作に対する感覚は，自然言語では副詞を通じて表現されることが多い．ゆえに，特定の副詞を表現する複数の動作に共通する特徴を見つけることができれば，ロボットはその副詞の意味を本質的に理解したといえる．副詞認識についての先行研究として，Pang ら [1] が表情認識や画像情報を用いてアプローチしているが，動作との関係性を捉えることは難しく，実際にロボットを動かすことを考えると実用的ではない．本研究ではロボットに適用する前段階として，人の動作の特徴を通じて副詞の意味を理解することを試みる．具体的には，人の動作を GPLVM [2] で圧縮して得られた非線形な潜在空間での軌跡を，スペクトル混合カーネル [3] を用(1)

ここで，𝑿 は未知であるため 𝑝( 𝑿) = N(0, 𝑰 𝐾 ) と仮定して，𝑝(𝒀 | 𝑿) を考える. 𝒀 はガウス過程に従い，𝑿 がわかれば出力の各次元が独立であると仮定すると，データ全体 𝒀 の確率は 𝒚 (1) ...𝒚 (𝐷) の積であるため，𝑝(𝒀 | 𝑿) は以下の式で表される．ただし 𝑲 𝑿 は共分散行列，𝑘 (𝑥, 𝑥 ′) はガウス過程のカーネル関数であり，𝐾𝑖, 𝑗 = 𝑘 (𝑥 𝑖 , 𝑥 𝑗 ) で定義される．
()
1− 𝑁2𝐷−𝐷−1
T
2𝑝(𝒀 | 𝑿) = (2𝜋)|𝑲X |exp − tr(K 𝑿 𝒀𝒀 ) (2)2
本研究では 𝑿 → 𝒀 の GPLVM のカーネル関数として RBF カーネルを使用し，L-BFGS 法を用いて 𝑿 およびカーネルのハイパーパラメータを最適化する.

いたガウス過程で表現する. さらに各次元の軌跡を

図 3 に, 実際の動作から計算した 𝑿 の例を示した.

構成する複数の周波数成分を特定し, 副詞との対応関係を捉える，周波数空間でのマルチモーダルなト2.2

ピックモデルを提案する. これにより，動作について副詞を用いて表現することや、副詞表現から動作を生成することが可能となる．

スペクトル混合カーネル

上で得られた潜在空間 𝑿 での動作の軌跡について, その特徴を捉えることを試みる. Wilson ら [3] はガウス過程で使用する基底を，既存の基底やその組み合わせに限定せず，フーリエ領域で混合ガウス分

2

動作と副詞の結合トピックモデル

布を考えることでデータから自動的に学習できる
スペクトル混合カーネル (Spectral Mixture Kernel, SM

2.1

ガウス過程潜在変数モデル (GPLVM)kernel) という手法を提案した．ここではガウス過程

本研究では，動作から得られる高次元の姿勢情報の基底として，値が 𝜏 = 𝑥 − 𝑥 ′ だけに依存する定常を低次元に圧縮してモデル化するため，ガウス過程に基づく教師なし学習であるガウス過程潜在変数モデル (GPLVM) [2] を用いる．GPLVM とは，ガウス基底関数 𝑘 (𝜏) を考える．ボホナーの定理より, 任意の 𝑘 (𝜏) は以下の形で表される．
∫T𝑘 (𝜏) =𝑒 2 𝜋𝑖𝑠 𝜏 𝜓𝑑𝑠ℝ𝐷(3)(a) Openpose による画面座標推定(b) FCRN-depth による深度推定 (c) 3 次元の骨格座標の推定(d) 回転行列による方向正規化

図 1: 動画データの前処理による動作の骨格座標の抽出.

𝑘 (𝜏) は周波数領域での確率密度 𝜓(𝑠) と等価なので,{𝑤 𝑑𝑛 } (𝑛 = 1 . . . 𝑁 𝑑 ) および動作の周波数成分 {𝑥 𝑑𝑚 }𝜓(𝑠) に関して混合ガウス分布を考える. ガウス分布(𝑚 = 1 . . . 𝑀𝑑 ) は, 次のモデルで生成されたと考える.の各要素は，もとの領域では以下の基底関数を考え

1. Draw 𝜃 𝑑 ∼ Dir(𝛼).
2. For 𝑛 = 1 . . . 𝑁 𝑑 ,– Draw 𝑧 𝑑𝑛 ∼ 𝜃 𝑑 ; Draw 𝑤 𝑑𝑛 ∼ Mult(𝜙 𝑧𝑑𝑛 ).
3. For 𝑚 = 1 . . . 𝑀𝑑 ,– Draw 𝑦 𝑑𝑚 ∼ 𝜃 𝑑 ; Draw 𝑥 𝑑𝑚 ∼ N(𝜇 𝑦𝑑𝑚 , Σ 𝑦𝑑𝑚 ).ていることと等価となる．
𝑘 (𝜏|𝜎, 𝜇) = exp(−2𝜋 2 𝜏 2 𝑣 2 ) cos (2𝜋𝜏𝜇)(4)すなわち基底として, 次の 𝑄 個の基底関数の混合を考えていることになる．ただし，𝜇𝑞𝑑 と 𝑣 𝑞𝑑 は 𝑞 個目の基底における入力 𝑿 における 𝑑 次元目の平均と分散である.
𝑄∑

𝐷∏

このグラフィカルモデルを図 2 に示した. このマルチモーダルなトピックモデルを, 本論文ではスペクトル混合 LDA (Spectral Mixture LDA; SMLDA)と呼ぶ. SMLDA では、周波数成分と副詞は動作毎(5)に同じトピック分布 𝜃 𝑑 を共有している. ここで 𝜙 𝑘 ,パラメータの重み w，平均 𝝁，分散 𝝈 は通常のガウス過程のハイパーパラメータ最適化で学習できる．本研究ではこの手法を用いて，各動画についてN(𝜇 𝑘 , Σ 𝑘 ) はそれぞれ, 𝑘 番目のトピックに対応する副詞の多項分布および周波数のガウス分布であり,互いの情報を用いて, 各動画について 1 つ 1 つの副詞と周波数成分にトピックを割り当てていく.

GPLVM で圧縮した 3 次元の潜在変数 𝑿 から，副詞副詞と周波数についてのサンプリング ギブスサン𝑘 (𝜏) =𝑞=1𝑤 𝑞 cos (2𝜋𝜏 T 𝜇𝑞 )𝑑=1exp(−2𝜋 2 𝜏𝑑2 𝑣 𝑞𝑑 )と関係があると予想される 𝑄 = 4 個の周波数成分をプリングにより, 副詞と周波数のトピック分布を学抽出して観測値とする. 例を図 4 に示した. 1）

習していく．副詞 𝑤 𝑑𝑛 のトピック 𝑧 𝑑𝑛 は, 次式を用

2.3スペクトル混合潜在ディリクレ配分法(Spectral Mixture LDA)

動作から抽出された周波数成分は, その動作に付与された副詞と関係があると考えられる. そこで, 潜在ディリクレ配分法 (LDA) [4] を拡張し, 各動
作 𝑑 に 𝐾 次元の 潜 在 的 な「ト ピッ ク 分 布」𝜃 𝑑 があると仮定する. このとき, 動作に付与された副詞いてサンプリングする．ここで 𝑉 は語彙数を表す．
𝑝(𝑧 𝑑𝑛 = 𝑘 |𝑾, 𝑿, 𝒁\𝑑𝑛 , 𝒀, 𝛼, 𝛽, 𝛾)∝ (𝑁 𝑑𝑘\𝑑𝑛 + 𝑀𝑑𝑘 + 𝛼)

𝑁𝑘 𝑤 + 𝛽
𝑁 𝑘\𝑑𝑛 + 𝛽𝑽

(6)ハイパーパラメータである 𝛼 と 𝛾 は不動点反復法により，以下の式を用いて更新する．ここで登場する Ψ はディガンマ関数 Ψ(𝑥) = 𝑑/𝑑𝑥 log Γ(𝑥) である.
∑𝐷 ∑𝐾
𝑘=1 Ψ(𝑁 𝑑𝑘 + 𝑀𝑑𝑘 + 𝛼) − 𝐷𝐾Ψ(𝛼)(7)𝛼new = 𝛼 𝑑=1∑𝐷𝐾 𝑑=1 Ψ(𝑁 𝑑 + 𝑀𝑑 + 𝛼𝐾) − 𝐷𝐾Ψ(𝛼𝐾)∑𝐾 ∑𝑉𝑣=1 Ψ(𝑁 𝑘 𝑣 + 𝛾) − 𝐾𝑉Ψ(𝛾)𝛾 new = 𝛾 𝑘=1(8)∑𝐾𝑉 𝑘=1 Ψ(𝑁 𝑘 + 𝛾𝑉) − 𝐾𝑉Ψ(𝛾𝑉)
周波数成分 𝑥 𝑑𝑚 のトピック 𝑦 𝑑𝑚 に関しては, 副詞の単語分布をガウス分布の確率密度関数に置き換え，

図 2: SMLDA のグラフィカルモデル.
1） 𝑿 での軌跡を直接フーリエ変換することもできるが，その場合は関数がどこを通るか (関数の位相) と関数の特徴を分離することができない. スペクトル混合カーネルを用いることにより，純粋に軌跡の特徴だけを抽出することができる.

以下の式を用いてサンプリングする．
𝑝(𝑦 𝑑𝑚 = 𝑘 |𝑾, 𝑿, 𝒁, 𝒀\𝑑𝑚 , 𝛼, 𝛽, 𝛾))(1(𝑥 𝑑𝑚 − 𝜇 𝑘 ) 2 𝑁 𝑑𝑘 + 𝑀𝑑𝑘\𝑑𝑚 + 𝛼∝√(9)exp −𝑁 𝑑 + 𝑀𝑑 − 1 + 𝛼𝐾
2𝜎𝑘2
2𝜋𝜎𝑘パラメータである 𝜇 と 𝜎 は以下の事後分布からサンプリングする．ここで 𝜆 = 1/𝜎 2 である．
𝑝(𝜇|Y) = N(𝜇|𝑚, (𝛽𝜆) −1 ), 𝑝(𝜆|Y) = Gam(𝜆|𝑎, 𝑏) (10)ただし 𝑎 0 , 𝑏 0 , 𝛽0 , 𝑚 0 を事前分布のパラメータとして𝑀
1+ 𝑏0 ,+ 𝑎0 , 𝑏 = ∑𝑀 222 𝑚=1 𝑥 𝑚 + 𝛽0 𝑚 02 − 𝛽𝑚 2(𝑀)1 ∑𝛽 = 𝑀 + 𝛽0 , 𝑚 =𝑥 𝑚 + 𝛽0 𝑚 0 .
(11)
𝛽 𝑚=1

𝑎=3

実験

3.1

使用するデータ

図 3: GPLVM に よ る 動 作 の 非 線 形 次 元 圧 縮. こ こ で は(a)–(c) の異なる歩行動作が, 低次元の潜在空間 𝑿 の軌跡として表現されている.

学習データのうち, 3 個の動作を GPLVM で圧縮した 3 次元の潜在空間にプロットしたものを図 3 に示
す. 歩く動作は繰り返しの動作であるため, 潜在変数YouTube に掲載されている, 100 種類の異なる歩行動作を集めた動画2）を用いて実験を行った．クラウは図のように円を描くような動きになる. SM kernel

ドソーシングシステム Lancers3）を用いて，20 名の均 𝝁 と分散 𝝈 をパラメータとしてガウス分布を描

アノテーターに動画の各動作について思いつく限
り自由に副詞をアノテーションしてもらうよう依によって各動画の 1 次元目について最適化された平画したものを図 4 に示した.4） 式 (5) より平均 𝜇 の値が大きいほど周期が小さくなることから，値の変動頼した．全動画で 3 個以上出現した副詞に限定し，が低速な動画データほど基底を表すスペクトルは左満たない副詞はノイズとして除去した．また「ゆっ側に多く見られると推測できる. よって, (a) は遅いくり」という副詞は多くの動画に付けられていたた
め，各動画につき 3 個以上付けられた場合のみ採用した．この結果，1 つの動画につき平均 12.93 個の副詞がアノテーションされたデータが得られた．
データの前処理 上記の動画データから，以下のように 4 段階で 3 次元の骨格座標の推定を行った.
1. Openpose [5] を用いて動画データから 2 次元の骨格座標を推定 (図 1(a))
2. FCRN-depth prediction [6] を用いて動画データの深度を推定 (図 1(b))
3. 1,2 の推定結果と 3d-pose baseline [7] を用いて動画データから 3 次元の骨格座標を推定 (図 1(c))

動きの成分が多く, (c) は速い動きの成分が多く，(b)はその中間的な動きということがわかる. SM kernel
では構成されるカーネル関数に関して重み w, 平均𝝁, 分散 𝝂 が推定されるが, 関数の種類に着目するため, 平均 𝝁 のみを周波数成分として今後使用する. 本
実験ではこの抽出された周波数成分と動画に付与された副詞の集合を入力データとした. 共にトピック数を 4, 十分収束するよう, MCMC の繰り返し数は1000 と大きい値に設定した. 混合ガウス分布の部分に関して, 分散はデータの幅に合わせて 4 つのガウス分布が均等に配置されるよう, 𝜎=3.75 と固定して平均のみ学習する.

4. 歩いている人の体の向きを合わせるため, 回転行列を用いて正規化 (図 1(d))
周波数成分の抽出 前処理したデータから各関節間ごとに方向ベクトルを算出し, 入力データとした. 以(a)(b)

下の 2 つの手法を用いて, 前処理した動画データから周波数成分を抽出した.
1. GPLVM を用いて 48 次元の姿勢データを 3 次元の潜在変数に圧縮する (図 3)
2. SM kernel を用いて 3 次元の潜在変数から, 各次(c)元について周波数成分を抽出する (図 4)

図 4: 図 3 の各動作について, 1 次元目の軌跡を解析したス
ペクトル混合カーネルによる周波数表現.

2） https://www.youtube.com/watch?v=HEoUhlesN9E3） https://www.lancers.jp/

4） 推定された分散がきわめて小さいため, 図ではガウス分布がデルタ関数状に描画されている.

表 1: SMLDA で得られたトピック別副詞上位 7 語.
Topic 1
けだるげに普通にだるそうに後ろ向きで大股でぶらぶらと疲れて

Topic 2
辛そうに痛そうに重たげに硬くぎこちなく小刻みに不自然にTopic 3
軽やかに軽快に足早に
テンポよく急いで颯爽とリズミカルに

Topic 4
ゆっくりと恐る恐る寒そうに慎重に避けながらそろりそろりと怯えながら

表 2: LDA だけで得られたトピック別副詞上位 7 語.
Topic 1
ゾンビ風にだらだらと気だるく
疲れたのんびりと疲れ果てて辛い

3.2

Topic 2
急いでロボット風にちょこまか
速足で慌ててすばやくそわそわ

Topic 3
楽しそうに堂々と力強くリズミカルにサッサッ
スッスッ
芝居がかった

Topic 4
慎重にこっそりと不安げにそろそろと警戒しながらおどおど
静かに

実験結果

学習されたトピック–単語分布から各副詞について NPMI [8] を計算した上位 7 語を表 1 に示す. 比較

この結果，SMLDA のパープレキシティは41.55, 上記のランダム 1とランダム 2 はそれぞれ 90.75 および 92.84 であ り，モ デ ル が 正 し く
副詞を予測しているこ

図 7: 評価用の動画の例.とがわかった. また評価用の動画 (図 7) に関して，周波数データを与えたとき，SMLDA が推定した 𝜃 を図 8 に，確率の高い副詞を表 3 に示す.

副詞ゆっくり普通にゆっくりと慎重に大股でぎこちなく痛そうに

予測確率
0.098
0.034
0.028
0.022
0.022
0.020
0.016

図 8: 動作から推定された 𝜃. 表 3: 動画から予測される確率の高い副詞上位 7 語.

3.4

考察のため，周波数成分の情報を使わず LDA で解析し表 1 では，副詞を動作の情報も用いて意味的にクた結果を表 2 に示した．動作の情報を同時に用いるラスタリングすることに成功している．図 5 では，ことで, 副詞のトピックがより明確になっているこ

狙い通りデータの幅を均等に分けるようにガウスとがわかる. また学習された平均 𝝁 を用いてガウス分布が配置されている形となっている．このことか分布を描画したものを図 5 に示す. 収束しているから，SMLDA は副詞情報，周波数成分情報ともに互確認するため, MCMC の各繰り返しごとに計算したパープレキシティをプロットしたものを図 6 に示いの情報を用いて，クラスタリングが成功しているす. かなり早い段階で収束していることがわかる.

を生成するモデルよりパープレキシティが低く，動3.3ことが確認できる．また SMLDA はランダムに副詞作を表す周波数成分から副詞を生成するモデルとしモデルの評価て有効であることが示された．最後に表 3 より，動データを訓練用と評価用に 8 対 2 に分割した. 評
価用のデータについて，モデルに周波数データを与画に対して妥当な副詞がサンプリングされていることが確認できた．

えた際の副詞のパープレキシティを算出した. また，モデルの評価のため，次の 2 つのモデルと比較する.
1. 評価用と同じ 𝜃 を用いて，副詞を一様分布を使ってランダムにサンプリングしたもの

4

まとめと今後の課題
歩行動作をする人間の骨格座標を GPLVM を用いて 3 次元の潜在変数に圧縮し, SM kernel を用いて周2. 𝜃 そのものもランダムに生成し，副詞を一様分波数成分を抽出した. 次に SMLDA を用いて, 動画に布を使ってランダムにサンプリングしたもの

アノテーションされた副詞データと周波数データを, お互いの情報を使いながら 4 つのトピックにクラスタリングした. 最後にパープレキシティを用いて評価し, モデルの有効性を示した. 現在は 3 次元に圧縮した潜在変数を 1 次元ずつスペクトル混合カーネルを用いて解析しているが, 今後はこれを直接 3次元で同時に行うことを検討している.

図 5: 学習した 𝜇 を用いて描画したガウス分布.

図 6: SMLDA の MCMC とパープレキシティ.

謝 辞 本 研 究 は，科 学 研 究 費 補 助 金・基 盤 (B)(18H03295) の支援を受けて行った.

参考文献[1] Bo Pang, Kaiwen Zha, and Cewu Lu. Human Action Adverb
Recognition: ADHA Dataset and A Three-Stream HybridModel. CoRR, Vol. abs/1802.01144, pp. 2438–2447, 2018.
[2] Michalis K. Titsias and Neil D. Lawrence. Bayesian Gaussian Process Latent Variable Model. In AISTATS 2010, pp.
844–851.
[3] Andrew Gordon Wilson and Ryan Prescott Adams. Gaussian Process Kernels for Pattern Discovery and Extrapolation. In ICML 2013, pp. 1067–1075.
[4] David M. Blei, Andrew Y. Ng, Michael I. Jordan, and JohnLaﬀerty. Latent Dirichlet Allocation. Journal of Machine
Learning Research, Vol. 3, pp. 994–1022, 2003.
[5] Zhe Cao, Gines Hidalgo, Tomas Simon, Shih-En Wei, andYaser Sheikh. OpenPose: Realtime Multi-Person 2D Pose
Estimation Using Part Aﬃnity Fields. IEEE Trans. PatternAnal. Mach. Intell., Vol. 43, No. 1, pp. 172–186, 2021.
[6] Iro Laina, Christian Rupprecht, Vasileios Belagiannis, Federico Tombari, and Nassir Navab. Deeper Depth Prediction
with Fully Convolutional Residual Networks. In 3DV, pp.
239–248, 2016.
[7] Julieta Martinez, Rayat Hossain, Javier Romero, and James J
Little. A Simple yet Eﬀective Baseline for 3D Human Pose
Estimation. In ICCV 2017, pp. 2640–2649, 2017.
[8] Gerlof Bouma. Normalized (Pointwise) Mutual Informationin Collocation Extraction. Proceedings of GSCL, pp. 31–40,
2009.