周波数スペクトル分析を用いた人の動作に関わる副詞の意味理解
理学専攻・情報科学コース
2040649
谷口 巴

1

はじめに

本研究では，人の動作の特徴を通じて副詞の意味を理解することを試みる．具体的には，人の動作をガウス
過程潜在変数モデル（GPLVM）[1] で圧縮して得られた非線形な潜在空間での軌跡を，スペクトル混合カー
ネル [2] を用いたガウス過程で表現する. さらに得られた各次元の軌跡を構成する複数の周波数成分と副詞との対応関係を捉える，周波数空間でのマルチモーダルなトピックモデルを提案する.

2

動作と副詞の結合トピックモデル

副詞と周波数についてのサンプリング ギブスサンプ
リングにより, 副詞と周波数のトピック分布を学習していく．テーブルの割り当て集合を T , テーブルの卓番を l とすると，中華料理店過程に従い，副詞 wdn のトピック zdn は, 次式で座るテーブル tdn をサンプリングすることで決定される．ここで，lused , lnew はそれぞれ既存テーブルと新規テーブルを表し，Lk ，L はそれぞれトピック k が振られたテーブル数，総テーブル数，V は語彙数を表す．
p(tdn = l|W , T\dn , Z, Y , α, γ, η)∑Nkw +ηq (Ndl\dn + Qq=1 Mdl ) Nk\dn +ηV∝∑K αLk Nkw +η
αγ 1
+ L+γk=1 L+γ N+ηVVk\dn

動作から抽出された周波数成分は, その動作に付与された副詞と関係があると考えられる. そこで, 潜在ディリクレ配分法 (LDA) [3] を拡張し, 各動作 d に K次元の潜在的な「トピック分布」θd があると仮定する.
このとき, 動作に付与された副詞 {wdn } (n = 1 . . . Nd )および動作の周波数成分 {xdm } (m = 1 . . . Md ) は, 次のモデルで生成されたと考える.

1. Draw G0 ∼ DP(γ, H).
2. Draw θd ∼ DP(α, G0 ).
3. For n = 1 . . . Nd ,– Draw zdn ∼ θd ; Draw wdn ∼ Mult(ϕzdn ).
4. For m = 1 . . . Md ,– Draw ydm ∼ θd ;Draw xdm ∼ N (µydm , Σydm ).
このグラフィカルモデルを図 1に示した.

(l = lused )(l = lnew )既存テーブルのには各々トピックが振り分けられており，新規テーブルがサンプリングされた際は，次式を用いてテーブルに置く料理 (トピック) を決定する．ここで，kused , knew はそれぞれ既存トピックと新規トピックを表す．
θdk ϕkv{∑αLk Nkv +ηq(Ndl\dn + Q
q=1 Mdl + L+γ ) Nk +ηV∝αγ 1L+γ V(k = kused )(k = knew )ハイパーパラメータである η は不動点反復法により，以下の式を用いて更新する．ここで登場する Ψ はディガンマ関数 Ψ(x) = d/dx log Γ(x) である.
∑K
η new = η∑V
k=1
v=1 Ψ(Nkv + η) − KV Ψ(η)∑KV
k=1 Ψ(Nk + ηV ) − KV Ψ(ηV )(1)

周波数成分 xdm のトピック ydm に関しては, 副詞の単語分布をガウス分布の確率密度関数 f に置き換え，以下の式を用いてサンプリングする．
p(tdn = l|W , T\dn , Z, Y , α, γ, η){∑(Ndl\dn + QM q )f (x|µk , Σk )∑K αLk q=1 dl∝αγ
f(x|µk , Σk ) + L+γ f (x|µknew , Σknew )k=1 L+γθdk fkx{∑αLkq(Ndl + Q
q=1 Mdl\dm + L+γ )f (x|µk , Σk )∝αγf (x|µknew , Σknew )L+γ(l = lused )(l = lnew )(k = kused )(k = knew )パラメータである µ は以下の事後分布からサンプリングする．ここで λ = 1/σ 2 である．
図 1: HDP-SMLDA のグラフィカルモデル.

このマルチモーダルなトピックモデルを, 本論文では階層的ディリクレ過程スペクトル混合 LDA (HDPSpectral Mixture LDA; HDP-SMLDA) と呼ぶ. HDPSMLDA では、周波数成分と副詞は動作毎に同じトピッ
ク分布 θd を共有している. ここで ϕk , N (µk , Σk ) はそれぞれ, k 番目のトピックに対応する副詞の多項分布および周波数のガウス分布であり, 互いの情報を用いて, 各動画について 1 つ 1 つの副詞と周波数成分にトピックを割り当てていく. また，中華料理店過程を階層的に導入することでトピック数をデータから自動的に推定する．

p(µ|Y) = N(µ|m, (βλ)−1 )(2)

ただし β0 , m0 を事前分布のパラメータとして
β = M + β0 , m =1β( M∑)xm + β 0 m 0.

(3)

m=1

集中度 α の推定 集中度 α を推定することでよりデータにフィットしたトピック数を推定することがでする．
α は以下の事後分布からサンプリングする．
α ∼ Ga(α|c1 + K + − s, c2 − logπ)(4)

ただし π, s を事前分布のパラメータとして(π ∼ Beta(π|α + 1, N + M ), s ∼ Bernoulli s|N +M)
α.
N +M
1+ α

(5)

3

実験

3.1

使用データ

YouTube に掲載されている, 100 種類の異なる歩行動作を集めた動画1 を用いて実験を行った．クラウド
ソーシングシステム Lancers2 を用いて，20 名のアノテーターに動画の各動作について思いつく限り自由に副詞をアノテーションしてもらうよう依頼した．全動画で 3 個以上出現した副詞に限定し，満たない副詞は

表 1: HDP-SMLDA で得られたトピック別副詞上位 3 語.
Topic 1 Topic 2 Topic 3
Topic 4
急いで堂々と楽しそうに
ゆっくり
足早に
颯爽と軽快に
ゆっくりと素早く力強くリズミカルに じっくりとTopic 5Topic 6Topic 7
Topic 8ふらふら 慎重に痛そうに踊るようによろよろ 恐る恐る ぎこちなく 面白く
よたよた そろそろ 弱弱しく
コミカルに

3.3

モデルの評価ノイズとして除去した．1 つの動画につき平均 12.93

評価の指標としてパープレ個の副詞がアノテーションされたデータが得られた．

キシティを採用する．訓練前のデータの前処理

上記の動画データから，以下のように 4 段階で 3 次元の骨格座標の推定を行った.
1. Openpose [4] を用いて動画データから 2 次元の骨格座標を推定

2. FCRN-depth prediction [5] を用いて動画データの深度を推定

3. 1,2 の推定結果と 3d-pose baseline [6] を用いて動画データから 3 次元の骨格座標を推定

4. 歩いている人の体の向きを合わせるため, 回転行

単語分布を用いた周波数情報を考慮しないユニグラムモデ
ルは 155 であった．またデータを訓練用と評価用に 9.5 対 0.5に分割した. 同データを用いて訓練時の LDA では 99 まで低下した．副詞に加えて周波数情報を補助的に扱う HDP-SMLDA では訓練時に 52，評

図 2: 学習した µ を用いて描画したガウス分布.

価時に 89 と LDA の訓練時の列を用いて正規化周波数成分の抽出 前処理したデータから各関節間ごものより低い値であった．このことから，提案モデルとに方向ベクトルを算出し, 入力データとした. 以下が正しく副詞を予測していることが確認できた.の 2 つの手法を用いて, 前処理した動画データから周4波数成分を抽出した.
1. GPLVM [1] を用いて 48 次元の姿勢データを 3 次元の潜在変数に圧縮する

2. SM kernel [2] を用いて 3 次元の潜在変数から, 各次元について周波数成分を抽出する
SM kernel では構成されるカーネル関数に関して重み w, 平均 µ, 分散 ν が推定されるが, イテレーション
ごとに重み w を用いて周波数成分平均 µ をサンプリングすることとした．本実験ではこの抽出された周波数成分と動画に付与された副詞の集合を入力データとした. 十分収束するよう, MCMC の繰り返し数は 1000と大きい値に設定した. 混合ガウス分布の部分に関して, 分散はデータの幅に合わせて K 個のガウス分布が均等に配置されるよう, σ=(周波数の範囲)/4K と固定して平均のみ学習する.

3.2

実験結果

推定されたトピック数は 23 であった．8 トピックについて学習されたトピック–単語分布から各副詞について NPMI [7] を計算した上位 3 語を表 1に示す. また学習された平均 µ を用いてガウス分布を描画したものを図 2に示す. MCMC の各繰り返しごとに計算したパープレキシティを算出し収束していることを確認した．
1 https://www.youtube.com/watch?v=HEoUhlesN9E
2 https://www.lancers.jp/

おわりに歩行動作をする人間の骨格座標を GPLVM を用いて3 次元の潜在変数に圧縮し, SM kernel を用いて周波数成分を抽出した. 次に HDP-SMLDA を用いて, 動画にアノテーションされた副詞データと周波数データを,お互いの情報を使いながら適切なトピック数にクラスタリングした. 最後にパープレキシティを用いて評価し, モデルの有効性を示した.

参考文献[1] Michalis K. Titsias and Neil D. Lawrence. Bayesian GaussianProcess Latent Variable Model. In AISTATS 2010, pp. 844–851.
[2] Andrew Gordon Wilson and Ryan Prescott Adams. GaussianProcess Kernels for Pattern Discovery and Extrapolation. InICML 2013, pp. 1067–1075.
[3] David M. Blei, Andrew Y. Ng, Michael I. Jordan, and JohnLaﬀerty. Latent Dirichlet Allocation. Journal of Machine
Learning Research, Vol. 3, pp. 994–1022, 2003.
[4] Zhe Cao, Gines Hidalgo, Tomas Simon, Shih-En Wei, andYaser Sheikh. OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Aﬃnity Fields. IEEE Trans. PatternAnal. Mach. Intell., Vol. 43, No. 1, pp. 172–186, 2021.
[5] Iro Laina, Christian Rupprecht, Vasileios Belagiannis, Federico Tombari, and Nassir Navab. Deeper Depth Prediction
with Fully Convolutional Residual Networks. In 3DV, pp. 239–248, 2016.
[6] Julieta Martinez, Rayat Hossain, Javier Romero, and James J
Little. A Simple yet Eﬀective Baseline for 3D Human Pose
Estimation. In ICCV 2017, pp. 2640–2649, 2017.
[7] Gerlof Bouma. Normalized (Pointwise) Mutual Informationin Collocation Extraction. Proceedings of GSCL, pp. 31–40,
2009.