情報処理学会研究報告
IPSJ SIG Technical Report

初期ポーズ生成の改良と GCN の導入によるポーズシーケンス生成モデルの拡張
寺内 健人1,a)

柳井 啓司1,b)

概要：
近年, 画像生成は GAN の発展によって飛躍的な進歩を遂げていて, GAN はラベル, 画像, テキスト等の条
件付けによってさまざまな画像変換タスクに応用されている. しかし, 動画生成では時間次元の情報が増えたことにより高度なモデリングが必要となるため, 未だ発展途上である. 動画生成では, ガイドを追加する
ことでより高品質な動画生成に成功している. 人間の動作の動画生成の場合は 2 段階の方法もある. 本研
究では, ポーズシーケンスの生成, ポーズシーケンスからの動画生成の 2 段階に分けた動画生成を考慮し,
特に 1 段階目のポーズシーケンスの生成に焦点を当てる. モデルに グラフ畳み込みネットワーク (Graph

Convolutional Network, GCN) を組み込み, より明示的にポーズをモデル化することでポーズシーケンスの自然な生成をすることを目指す. 提案手法は，初期ポーズ生成の改良と GCN の導入によって, 従来手法
よりも質の高いポーズシーケンスの生成が可能であることを実験により確認した.

1. はじめに
近 年,スを生成する研究, ポーズをフレームに分けて逐次生成する研究などが存在する. ポーズシーケンスの生成には動画

画 像 生 成 は Generative Adversarial Net-

生成のガイドだけではなく, ゲームのキャラクターを生成

works (GAN) や Variational Auto Encoder (VAE)

ポーズのアクションに応じて動かすなどの応用例があり,の発展によって飛躍的な進歩を遂げている. GAN, VAE

多くの場面において有用である.

は, ラベル, 画像, 音声やテキスト等の条件付けによって本研究では，既存の人体ポーズガイドの生成 [1] に比べ様々な画像変換タスクに応用されている. しかし, 動画合て, グラフ畳み込みネットワーク (Graph Convolutional

成は時間次元が増えたことにより, 画像に比べてより高度

Network, GCN) [2] を用いてポーズをより明示的にモデルなモデリングが必要とされるため, 未だ発展途上である.

化することで少ない入力から自然なポーズシーケンス生成

動画生成では, 無条件なガイドなし動画生成, フローなどを可能にする. ポーズの操作がより簡単になることで, 動のガイドを用いた動画生成手法に分けられ, ガイドベース

画合成タスクの幅がより広がる. したがって本研究の目的なものでは, ガイドを追加することでより高品質な動画生は 1 枚の人物画像を入力ラベルに応じたアクションで動成に成功している. また, 生成する動画も, 人物動画, 雲のかし, 動画とすることとする. これをポーズシーケンスの流れ等の自然風景の動画, 街並みの運転景色の動画など多生成, ポーズシーケンスからの動画生成の 2 段階に分けて岐にわたる.

考える. 特に 1 段階目のポーズシーケンス生成に焦点を当

人間の動作の動画生成の場合は 2 段階の方法もあり, ポーて, 入力ラベルに応じたアクションでポーズシーケンスを

ズシーケンスの生成, ポーズシーケンスから動画の生成に生成することを主目的とする. 動作認識の手法にはポーズ分けた生成をしている. また, 人体のポーズシーケンスのシーケンス表現はしばしば用いられており, ポーズシーケ

生成のみに焦点を当てた既存研究はいくつかあり, ポーズ

ンス表現の解釈には GCN が用いられることが多い. しかのリファレンスを接続することで長時間のポーズシーケン

し, ポーズシーケンスの生成に GCN を用いる手法は未だ少ない. この論文では, GCN を組み込み, ポーズの構造を

1
a)
b)

電気通信大学 大学院情報理工学研究科 情報学専攻
terauchi-k@mm.inf.uec.ac.jp
yanai@mm.inf.uec.ac.jp

c 2021 Information Processing Society of Japan⃝

考慮したモデルについて提案する.

1

情報処理学会研究報告
IPSJ SIG Technical Report

2. 関連研究
本章では, 本研究に関連する手法について説明する. 本
研究で利用した手法については, 特に詳しく説明する.

る. その後, ワーピングした特徴マップを局地的なアテンションを用いて埋め込むことで入力ポーズに対応した画像を生成する. 画像を各フレームで逐次生成することでポーズシーケンスと意味的に一致した動画を生成することができる. 本研究では, 生成したものをポーズシーケンスベー

2.1 画像生成

スの動画生成手法を用いて動画を生成することができる.

画像生成の手法は, VAE[3] や GAN[4] の発展によって近年大きく進歩した. GAN では, 尤もらしい画像を出力するジェネレータと入力された画像が本物かどうかを見分けるディスクリミネータを交互に敵対的に学習させることで本物に近い画像を出力することができる. VAE では, 変分下限を最大化することでオートエンコーダで画像を再構成しつつ潜在変数を正規分布にすることができる. 近年では, GAN の様々な改良により StyleGAN[5] や BigGAN[6]が高解像度の画像生成で著しい成功を上げているが, VAEの方式でも VQ-VAE2[7] など, GAN に匹敵する高精度の画像生成ができるモデルも提案されている. 動画生成では

図 1: Global Flow Local Attention の概要.([12] より引用)

個々のフレームの品質が動画全体の品質に大きく寄与する
ため画像生成の手法が応用されることが多い.

2.3 Graph Convolution Network
2.2 動画生成

Graph Convolutional Network(GCN)[2] は, 格子状に関

動画生成手法は大きく分けてノイズからの無条件動画生係性をもつ CNN とは異なり, 複雑な形状のグラフでの畳成, フローやセグメンテーションをガイドに用いた合成にみ込みを可能にする. 人体のポーズを GCN で畳み込む試

分けることができる. 無条件の動画生成では, 生成を前景

みは行動認識 [15] , 2D からの 3D ポーズ推定 [16] で行わと背景に分けた VGAN[8], 時間による潜在空間の移動につれているが, ポーズ生成で行われている例は未だ少ないこ

いて考慮した TGAN[9], 潜在空間を動きとコンテンツに分の研究では, ポーズシーケンスの生成に GCN を適用する

離した MoCoGAN[10], 多くのデータで学習することで高ことで時間と構造を共に捉え, より現実的なポーズシーケ

品質の動画生成を可能にした DVDGAN[11] などの手法がンスの生成を可能にすることを考える.

ある. しかし, これらの手法は生成品質, 計算量に難がある

2.3.1 MS-G3D

ことが多い. 一方, ガイドベースの生成手法では生成を単

MS-G3D[15] では, スケルトンベースの GCN を用いた

純化し，生成を高品質にすることができる. ポーズベース

行動認識のためのモデルを提案している. グラフの全ての手法 [1], フローベースの手法 [12], セグメンテーションの頂点において, 近傍の情報を同じ距離の近傍ごとに同じ

ベース [13] や 3D 情報をガイドに加えた手法 [14] などが存カーネルで畳み込むマルチスケールな GCN を時間方向に在し, ガイドベースの手法では, ガイドを編集することでもノードを繋げて畳み込む MS-G3D レイヤを考案し, 図 2

生成を操作することができるなど, 応用できることが多い.

のように MS-G3D レイヤを重ねたパスと時間と構造を別したがって, 本研究ではポーズシーケンスの生成, ポーズに畳み込むパスの 2 つを組み合わせることで精度が向上す

シーケンスからの動画生成の 2 段階に分けて動画生成を考ることを示した. 本研究では, MS-G3D レイヤを用いて生慮し, 特にポーズシーケンスの生成をより自然に行うこと

成における時間と構造を同時に畳み込むことで時間的, 構を目的とする.

造的に尤もらしいポーズシーケンスの生成をすることを考2.2.1 Global Flow Local Attention

える. また, 事前学習モデルの最後の全結合層を取り除くこGlobal Flow Local Attention[12] では, ポーズシーケンとで分布間距離の測定における特徴抽出器としても用いる.

スからの動画生成手法を提案している. 図 1 のように前フレームの情報, 次フレームのポーズからフローを推定し, 推
定フローを用いてソース画像の特徴マップをワーピングすることで, 特徴マップを各フレームに対応した形に変形す

c 2021 Information Processing Society of Japan⃝

2.4 ポーズシーケンスの生成
ポーズシーケンスの生成はポーズガイドの動画生成の前

2

情報処理学会研究報告
IPSJ SIG Technical Report

エンコーダ, 次フレームのエンコーダをそれぞれ用意し,前フレームのエンコーダの出力の分布を次フレームのエ
ンコーダの出力の分布と近づける Prior Loss を導入し, デ
コーダで再構成し, MSE Loss と合わせて学習する. さらに,エンコーダ, デコーダで追加で時間情報を考慮するために,

GRU[19] を用いて時間経過に伴う情報を捉えている. テス
図 2: MS-G3D の概要.([15] より引用)

ト時に前フレームのエンコーダは次フレームのエンコーダと似た出力になるため, 前フレームのポーズから次フレー段階としての使用や, 3D モデルの動作に使うことができる

ムのポーズを逐次生成することができる. ポーズシーケンなど, いくつかの有望な応用例がある. ポーズシーケンススの表現は身体の中心座標とそれぞれの関節の角度の表現の生成には CNN 等を用いて全体をまとめて生成する方法,

を使用している. また, ポーズシーケンスの生成のみに焦RNN を用いて逐次生成する方法, また, いくつかのリファ

点を当てたデータセットである HumanAct12 を紹介してレンスを切り出し, その間を補間することで多様なモーショ

いる. このデータセットは以前のデータセットのモーショ

ン生成を可能にするリファレンスベースの方法 [17] などがンキャプチャで得られたポーズシーケンスアノテーション

存在する.

と異なり, 時間的に滑らかでノイズが少ない. 本研究の逐2.4.1 Cai らの研究

次生成モデルでは Action2Motion を基に 1 フレーム目のCai らの研究 [1] では, 図 3 のように, ポーズシーケンスの生成, ポーズシーケンスからの動画生成の 2 段階に分け生成を見直し, デコーダに GCN を導入することでより自然なポーズシーケンスの生成をする.

た動画生成について扱っている. ポーズシーケンスの生成
では, 潜在変数の移動を学習するモデル, 潜在変数からポー
ズシーケンスを逐次生成するモデルを Discriminator を用いて敵対的ロスを用いて学習している. 最適化によりある
ポーズに対応する潜在変数を探すことで, ポーズシーケン
スの補間, 予測に使うこともできる. ポーズシーケンスの生成には, 時間の考慮は Discriminator 側に RNN があるのみであり, 生成器では潜在変数の移動のみで時間変化を考慮している. 本研究では, 全体生成モデル, 逐次生成モデル
それぞれで時間情報を考慮するためのモジュールを追加し,

GRU で構造情報を同時に考慮する.
図 4: Action2Motion の概要.([18] より引用)

3. 提案手法
本研究ではカテゴリ条件付きポーズシーケンス生成を目
図 3: Cai らの研究の概要.([1] より引用)的とした手法を提案する. Action2Motion[18] を基にした

1 フレームずつ逐次生成するモデルを提案し, GRU, GCNを用いて時間と構造をそれぞれ考慮する. 学習方法, ポー

2.4.2 Action2Motion

ズ表現についても Action2Motion を基に学習する.

Action2Motion[18] はポーズシーケンスの生成のみに焦点を当てた研究であり, アクションラベルのみの条件付け

3.1 提案モデル

からポーズシーケンスを生成する. この際, VAE の事前分

逐次生成モデルでは, Action2Motion に (1)1 フレーム目

布は通常正規分布に従うが, 時間が変化するに従い事前分の考慮の見直し, (2) デコーダに GCN を追加, の 2 つの変

布は変化すると仮定し, 前の時間ステップの情報から事前更を加えることで生成品質の改善を目指す. 基本的な構成

分布を推測している. 実際には図 4 のように前フレームのは Action2Motion のものと同一に前フレームエンコーダ

c 2021 Information Processing Society of Japan⃝3

情報処理学会研究報告
IPSJ SIG Technical Report

Ep r, 次フレームエンコーダ Ep o, デコーダ D の構成のモデルであり, 1 フレーム目を考慮する初期フレームエンコー
ダ, 初期条件デコーダを追加し, デコーダに GCN を組み込
むことでより表現力のあるモデルを学習することを目的とする.

3.1.1 1 フレーム目の考慮の見直し
Action2Motion では, 最初のフレームの生成時, 前フレー
ムの情報を 0 として扱っているため, 初期フレームの多様性が少なくなる. したがって, 最初のフレームの特別な扱いが必要と考え, 最初のポーズを VAE のように正規分布になるよう初期フレームエンコーダでエンコードしノイズからの多様な生成を可能にする. また, 最初のフレーム生
成時, デコーダの条件として潜在空間から初期フレーム条
件デコーダでデコードした情報を与える. アーキテクチャ
全体は図 5 のようになる.
また, Action2Motion では, 最初のフレームの生成時, 前
図 5: 逐次生成モデルの概要.

フレームの情報を全て 0 として扱っている. その結果, エン
コーダの出力はカテゴリにのみ依存し, 最初のフレームの多様性は再パラメタ化のノイズのみで保たれるため, ほと
んど一様なポーズ出力となる. したがって, 最初のフレームのみ特別な扱いが必要になると考え, 最初のポーズを VAE
形式で潜在空間が正規分布となるよう初期フレームエン
コーダ Ef でエンコードし, ノイズからの多様な生成を可能にする. また, 最初のフレームの生成時, デコーダの条件として潜在空間から初期フレーム条件デコーダ Df でデコー

Linear 2 層でポーズ表現に埋め込み, GCN に接続すること
で構造表現を学習する. GCN は 3 層重ねることで複雑な表現を獲得する. GCN は MS-G3D の GitHub 実装の一部である MS-GCN を利用する. 最後に, ジョイントごとに別の重みで全結合層を通すことでポーズ出力とする. ジョイ
ントごとに全結合層を通すことで, ジョイントごとの意味的な一貫性を保つ.

ドした情報を与える. また, GRU の初期値を学習可能パラ
メータとすることで柔軟な学習ができるようにする. アー
キテクチャ全体は図 5 のようになる.
ポーズシーケンスの長さ T, ジョイントの数 J, データ
セットのポーズシーケンスを P = {p1 , p2 , ..., pT }, i 番
目のポーズ表現を pi ∈ ℜJ×3 と表し, ポーズシーケンスP̂ = {pˆ1 , pˆ2 , ..., pˆT } を生成する. i 番目のポーズの条件ベ
クトル ci はアクションカテゴリのワンホットベクトル α,

図 6: デコーダのレイヤ構成.

相対時間のスカラー値 ti のセットの (α, ti ) とする. 初期フレームエンコーダの出力 (µf , σf2 ) = Ef (P, c1 ) から再パラメタ化で初期潜在変数 zf を生成, 初期フレーム条件デコー
ダの出力 p˙0 を p˙0 = Df (zf ) で生成, それらを用いて初期フ3.2 損失関数

レーム pˆ1 は pˆ1 = D(zf , p˙0 , c1 ) の式で生成する. 2 フレー

目的関数は Action2Motion 同様の再構成損失, 前フレー

ム目以降は Action2Motion 同様 (µ, σ 2 ) = E(pi−1 , c) の式

ム損失に加え, 初期フレームエンコーダの出力を正規分布

で µ, σ 2 を求め, 再パラメタして z を生成, pˆi = D(z, pˆi , ci )に近付けるために KL 損失を加える.

の式でポーズ pˆi を生成する.

3.1.2 デコーダ

1
Lf = −
2

デコーダのレイヤ構成は図 5 のようになり, デコーダ
は Action2Motion 同様に GRU[19] を 2 層重ねる. その後,∑

dim(zf )(1 + log σj2 − µ2j − σj2 )j=1

KL 損失を加えることで初期フレームをノイズから生成することを可能にする.

c 2021 Information Processing Society of Japan⃝4

情報処理学会研究報告
IPSJ SIG Technical Report

3.3 ポーズ表現
学習するポーズシーケンスの表現は Action2Motion の表現の同様を用い, 身体の中心ジョイントの 3 次元直交座

表 1: HumanAct12 に含まれるカテゴリ.
粗いカテゴリ

詳細カテゴリ準備体操

手首の準備運動標系の座標と各ボーンの角度表現で構成する. 角度表現は胸筋の準備運動

リー代数表現であり, 3 つのパラメータで回転を表す. 3D

肘の準備運動座標に変換する際は, 身体の中心のジョイントから接続す右腕で身体を傾ける

るボーンを順に表現の角度に傾け, ボーンの長さだけ移動

左腕で身体を傾ける
右に反る

した位置を求めることで隣のジョイントの座標を求める.
この時, ボーンの長さは手動で調整する. ボーンの長さを

左に反る
歩く

歩く

ポーズ表現に含めないことで体格によらない動きの安定し走る

走る

た生成が可能となる.

跳ねる

垂直に跳ねる

4. 実験

手を挙げて跳ねる
飲む

右手のボトルで飲む

説明したモデルを用いて実際に学習を行い, その結果を左手のボトルで飲む報告する. カテゴリに対応したポーズシーケンスの生成が右手のコップで飲む
左手のコップで飲む出来ていることを確認するため, 実際に結果を画像として描画し, 定性的に評価する. また, 比較するベースラインは両手で飲む
ダンベルを上げる

右手でダンベルを上げる

Action2Motion[18] とし, 分布間距離の測定を用いて定量的

左手でダンベルを上げるな評価を行い, 学習するデータセットは HumanAct12[18]

両手でダンベルを上げるを用いる. Adam オプティマイザを利用して 6000epoch 学

ダンベルを頭の上まで上げる
ダンベルを両手で持って膝を曲げる

習を繰り消す.

4.1 データセット

座る

座る

食べる

右手で食べる
左手で食べる

データセットは Action2Motion で提示されている Hu-

パイ, ハンバーガーを食べる

manAct12 を用いる. HumanAct12 は 9 から 403 フレーム

ハンドルをきるの長さ, 表 1 の 12 個の粗いカテゴリ, 34 個の詳細カテゴリ

電話をするの 1191 個のポーズシーケンスが含まれている動作認識, 生
成用のデータセットである. 各ポーズシーケンスは 24 個の電話を取り, かけ, 元に戻す
左手で電話するボクシングする

左, 右で殴る
右, 左で殴る

ジョイントから構成されており, 各ジョイントは図 7 の通

左アッパーりになっている. 生成に使うデータはランダムにシーケンスを選び, そのシーケンスからランダムに 32 フレーム切り

ハンドルをきる

右アッパー
投げる

出す. ポーズシーケンスが 32 フレームに満たない場合, 32

右手で投げる
両手で投げる

フレームになるまで最後のフレームでパディングする. 実
際のポーズシーケンスは図 8 のようなものが含まれる. カ歩きやジャンプのような複雑な動きでさえうまく生成でき

テゴリ条件付けは 12 個の粗いカテゴリを利用する.

ている. しかし, 最初の数フレームは不自然なポーズの遷移をしていることがわかる. また, Action2Motion と比較

4.2 定性評価

すると定性的には生成品質の違いはわからなかった.

生成結果の例は食べるアクションは図 9, 走るアクショ
ンは図 10 のようになった. 3 次元のジョイントの位置を 3

4.3 潜在空間の補間

次元空間上に描画し, キーポイントの繋がりを直線で表す

モデルがデータセットの記憶をしていないことを示すたことでポーズとしている. 図は左上の画像を 1 フレーム目

めに, 潜在空間の補間を行う. 2 つの潜在変数の中間の潜在として 4 フレーム毎の結果を表示している. 学習したモデ

変数が 2 つのポーズシーケンスの中間のポーズシーケンス

ルを用いてそれぞれ異なるノイズベクトルから生成されてが生成されていることを示すことができれば, 学習したモ

いる.

デルは潜在空間内で連続的な表現が獲得できていると言え提案モデルでは, データセットに似た動きができており,

c 2021 Information Processing Society of Japan⃝る. 乱数から生成した 2 つの潜在変数とその中間の潜在変

5情報処理学会研究報告
IPSJ SIG Technical Report(a) データセット

図 7: データセットのジョイントの位置.

(b) Action2Motion(a) 座るアクション(c) 提案モデル

図 9: 食べるアクションの生成結果.

の補間結果を図 12 に示す. 図は左の画像を 1 フレーム目
として 8 フレーム毎の結果を表示している. 上下のポーズ
シーケンスを生成する潜在変数を補間することで中央の(b) 跳ねるアクション

ポーズシーケンスを生成している. 上の補間は準備運動のアクション, 下の補間はジャンプと座るアクションの補間である. 同じアクション, 別のアクションの補間それぞれにおいて, 2 つの潜在変数の中間から生成されたポーズシーケ
ンスは 2 つの潜在変数から生成されたポーズシーケンスの両方の特徴を引き継いでおり, 補間ができていると言える.

5. 定量評価(c) 投げるアクション

図 8: データセットのポーズシーケンスの例.

5.1 分布間距離の測定
FID[20], FVD[21] に触発され, リアルデータと生成デー
タの間の分布間距離を測定することで生成したデータが数から学習したモデルを用いてポーズシーケンスをそれぞ

データセットに近い分布での生成ができているかを測定れ生成する. この実験では初期フレームの生成に与える潜する尺度とする. 動作認識モデル MS-G3D の学習済みモ

在変数についてのみ考え, 他のフレームのエンコーダでは

デルでリアルデータと生成データの特徴ベクトルを抽出

乱数による振動を抑えるために分散を 0 とする. 同じアク後, 特徴ベクトル間の分布間距離を FID 同様に測定する.

ション内と別アクション間の 2 つの設定で補間し, 別アクMS-G3D は NTU-RGB-D120[22] で学習済みのモデルを用ション間の補間ではアクションラベルも同時に補間する.

い, 最後の全結合層の直前の出力を特徴ベクトルとする.

同じアクション内での補間結果を図 11, 別アクション間

c 2021 Information Processing Society of Japan⃝

事前学習したデータセットと学習に使うデータセット

6

情報処理学会研究報告
IPSJ SIG Technical Report(a) データセット

図 12: ジャンプと座るアクションの間の補間.

d2 = |µr − µf |2 + T r(Σr + Σf − 2(Σr Σf )1/2 )の式で分布間距離 d2 を測定する. 1191 個のポーズシーケ(b) Action2Motion

ンスをリアルデータ, 生成データからそれぞれサンプリン
グして測定する.
測定結果は表 2 のようになった. 既存研究と比較し, 提案モデルが上回り, データセットの動きをよりしっかり捉えられていることがわかる.
表 2: 分布間距離の測定結果.
手法

分布間距離

(c) 提案モデル

提案モデル

10.22

図 10: 走るアクションの生成結果.

Action2Motion

14.26

5.2 アブレーション研究
本研究では, Action2Motion に (1)1 フレーム目の考慮の見直し, (2) デコーダに GCN を追加, の 2 つの変更を加えることで生成品質の改善を図った. この 2 要素がそれぞれ生成品質に与えている影響を調べるための実験を行う. (1)のみの変更を加えた提案モデル (1), (2) のみの変更を加えた提案モデル (2), 両方の変更を加えた提案モデル (1, 2),
さらにベースモデルの Action2Motion の分布間距離を測図 11: 準備運動アクションでの補間.

定する. また, 1 フレーム目の考慮を見直したことで, 1 フ
レーム目の多様性が上がっていることが想定される. それ間のポーズ表現には差異があり, 直接適用することが出を示すため, 1 フレーム目のみのポーズの多様性を測定す来ない. したがって, ポーズを NTU-RGB-D120 の形式

る. 多様性 D は以下の式で求める.

に変換する. 対応するジョイントがあるものはそのジョイントに合わせ, ないものは周辺のジョイントの位置から補間する. 測定するポーズの特徴ベクトルの集合を

D=

N N
J
1 ∑∑∑
(pi,1,k − pj,1,k )2
JN 2 i=1 j=1
k=1

Vf = {vf 1, vf 2, ..., vf n}, データセットのポーズの特徴ベ

結果は表 3 のようになり, 提案モデル (1,2) は提案モデル

クトルの集合を Vr = {vr 1, vr 2, ..., vr n}, 測定する生成ポー(1) と比較して大きく分布間距離が小さくなっており, デー

ズシーケンスの特徴ベクトルの平均を µf , 分散共分散行列

タセットに近い分布ができている. GCN の追加によって,Σf , データセットのポーズシーケンスの特徴ベクトルの平より効率的なポーズの考慮ができることがわかる. また，均を µr , 分散共分散行列 Σr として,提案モデル (1, 2) は提案モデル (2) と比較し, 分布間距離

c 2021 Information Processing Society of Japan⃝7

情報処理学会研究報告
IPSJ SIG Technical Report

では大きな差はないが, 初期フレームの多様性は大きく上[7]がっている. 提案モデル (2) では，GCN を導入したことでベース手法の Action2Motion に比べて多様性がなくなっているが, 提案モデル (1, 2) では初期フレームの見直しに[8]

よってより多様な出力ができることが示せた.
[9]

表 3: アブレーション研究の結果.
分布間距離

多様性

Action2Motion

手法

14.26

0.02083

提案モデル (1)13.35

0.02219

提案モデル (2)10.21

0.00917

提案モデル (1, 2)

10.22

0.02143

6. おわりに

[10]

[11]

[12]

本研究では, 初期フレームの考慮をし, GCN を組み込むことで構造情報を明示的にとらえたモデルを提案した. 定[13]

性的に, 提案モデルは複雑で多様な動きの生成ができることがわかった. また, 潜在変数の補間により, モデルは潜在[14]

空間の連続表現が学習できていることがわかった. 分布間距離の測定の実験の結果, 提案モデルの有効性が示された.

[15]

今後の展望として, 評価指標が 1 つしかなく, 十分とは言えないため, 第三者による主観評価を含む広範な評価も必要である. また, ポーズシーケンスから動画を生成するモ[16]

デルについて検討し, 実際に生成ポーズから動画を生成し
たい.
[17]

参考文献
[1]

[2]

[3]

[4]

[5]

[6]

Cai, H., Bai, C., Tai, Y. and Tang, C.: Deep video generation, prediction and completion of human action sequences, Proc. of European Conference on Computer
Vision, pp. 366–382 (2018).
Niepert, M., Ahmed, M. and Kutzkov, K.: Learning convolutional neural networks for graphs, Proc. of International Conference on Machine Learning, pp. 2014–2023(2016).
Kingma, D. and Welling, M.: Auto-encoding variational
bayes, Proc. of International Conference on Learning
Representations (2014).
Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B.,
Warde-Farley, D., Ozair, S., Courville, A. and Bengio,
Y.: Generative adversarial nets, Advances in Neural Information Processing Systems, pp. 2672–2680 (2014).
Karras, T., Laine, S. and Aila, T.: A style-based generator architecture for generative adversarial networks,
Proc. of IEEE Computer Vision and Pattern Recognition, pp. 4401–4410 (2019).
Brock, A., Donahue, J. and Simonyan, K.: Large
Scale GAN Training for High Fidelity Natural
Image Synthesis, Proc. of International Conference on Learning Representations, (online), available
from ⟨https://openreview.net/forum?id=B1xsqj09Fm⟩(2019).

c 2021 Information Processing Society of Japan
⃝

[18]

[19]

[20]

[21]

[22]

Razavi, A., van den Oord, A. and Vinyals, O.: Generating diverse high-ﬁdelity images with vq-vae-2, Advancesin Neural Information Processing Systems, pp. 14866–
14876 (2019).
Vondrick, C., Pirsiavash, H. and Torralba, A.: Generating Videos with Scene Dynamics, Advances in Neural
Information Processing Systems, Vol. 29, pp. 613–621(2016).
Saito, M., Matsumoto, E. and Saito, S.: Temporal generative adversarial nets with singular value clipping, Proc.
of IEEE International Conference on Computer Vision,
pp. 2830–2839 (2017).
Tulyakov, S., Liu, M., Yang, X. and Kautz, J.: MoCoGAN: Decomposing Motion and Content for Video Generation, Proc. of IEEE Computer Vision and Pattern
Recognition (2018).
Clark, A., Donahue, J. and Simonyan, K.: Adversarial
video generation on complex datasets, arXiv preprint
arXiv:1907.06571 (2019).
Ren, Y., Li, G., Liu, S. and Li, T. H.: Deep Spatial
Transformation for Pose-Guided Person Image Generation and Animation, IEEE Transactions on Image Processing (2020).
Wang, T., Liu, M., Zhu, J., Liu, G., Tao, A., Kautz, K.
and Catanzaro, B.: Video-to-Video Synthesis, Advancesin Neural Information Processing Systems (2018).
Mallya, A., Wang, T.-C., Sapra, K. and Liu, M.-Y.:
World-Consistent Video-to-Video Synthesis, Proc. ofEuropean Conference on Computer Vision (2020).
Liu, Z., Zhang, H., Chen, Z., Wang, Z. and Ouyang,W.: Disentangling and Unifying Graph Convolutionsfor Skeleton-Based Action Recognition, Proc. of IEEE
Computer Vision and Pattern Recognition, pp. 143–152(2020).
Zhao, L., Peng, X., Tian, Y., Kapadia, M. and Metaxas,
D. N.: Semantic Graph Convolutional Networks for 3D
Human Pose Regression, Proc. of IEEE Computer Vision and Pattern Recognition, pp. 3420–3430 (2019).
Xu, J., Xu, H., Ni, B., Yang, X., Wang, X. and Darrell, T.: Hierarchical Style-based Networks for Motion
Synthesis, Proc. of European Conference on Computer
Vision (2020).
Guo, C., Zuo, X., Wang, S., Zou, S., Sun, Q., Deng, A.,
Gong, M. and Cheng, L.: Action2Motion: Conditioned
Generation of 3D Human Motions, Proc. of ACM International Conference Multimedia (2020).
Chung, J., Gulcehre, C., Cho, K. and Bengio, Y.: Empirical evaluation of gated recurrent neural networks on sequence modeling, Advances in Neural Information Processing Systems (2014).
Heusel, M., Ramsauer, H., Unterthiner, T., Nessler, B.
and Hochreiter, S.: Gans trained by a two time-scale
update rule converge to a local nash equilibrium, Advances in Neural Information Processing Systems, pp.
6626–6637 (2017).
Unterthiner, T., van Steenkiste, S., Kurach, K.,
Marinier, R., Michalski, M. and Gelly, S.: Towards accurate generative models of video: A new metric & challenges, arXiv preprint arXiv:1812.01717 (2018).
Liu, J., Shahroudy, A., Perez, M., Wang, G., Duan, L.
and Kot, A.: NTU RGB+D 120: A Large-Scale Benchmark for 3D Human Activity Understanding, IEEE
Transactions on Pattern Analysis and Machine Intelligence, Vol. 42, No. 10, pp. 2684–2701 (2020).

8