CONFIDENTIAL EXTENDED ABSTRACT.
DO NOT DISTRIBUTE ANYWHERE.

第 24 回 画像の認識・理解シンポジウム

初期ポーズ生成の改良と GCN の導入によるポーズシーケンス生成モデルの拡張
寺内 健人1,a)

柳井 啓司1,b)

ズシーケンスの生成, ポーズシーケンスから動画の生成に概要分けた生成をしている. また, 人体のポーズシーケンスの近年, 画像生成は GAN の発展によって飛躍的な進歩を生成のみに焦点を当てた既存研究はいくつかあり, ポーズ遂げていて, GAN はラベル, 画像, テキスト等の条件付けのリファレンスを接続することで長時間のポーズシーケンによってさまざまな画像変換タスクに応用されている. しスを生成する研究, ポーズをフレームに分けて逐次生成す

かし, 動画生成では時間次元の情報が増えたことにより高る研究などが存在する. ポーズシーケンスの生成には動画度なモデリングが必要となるため, 未だ発展途上である. 動生成のガイドだけではなく, ゲームのキャラクターを生成

画生成では, ガイドを追加することでより高品質な動画生ポーズのアクションに応じて動かすなどの応用例があり,成に成功している. 人間の動作の動画生成の場合は 2 段階多くの場面において有用である.の方法もある. 本研究では, ポーズシーケンスの生成, ポー

本研究では，既存の人体ポーズガイドの生成 [2] に比べズシーケンスからの動画生成の 2 段階に分けた動画生成て, グラフ畳み込みネットワーク (Graph Convolutionalを考慮し, 特に 1 段階目のポーズシーケンスの生成に焦点Network, GCN) [12] を用いてポーズをより明示的にモデを当てる. モデルに グラフ畳み込みネットワーク (Graph

ル化することで少ない入力から自然なポーズシーケンス生Convolutional Network, GCN) を組み込み, より明示的に成を可能にする. ポーズの操作がより簡単になることで,ポーズをモデル化することでポーズシーケンスの自然な生動画合成タスクの幅がより広がる. したがって本研究の目成をすることを目指す. 提案手法は，初期ポーズ生成の改的は 1 枚の人物画像を入力ラベルに応じたアクションで動良と GCN の導入によって, 従来手法よりも質の高いポーズかし, 動画とすることとする. これをポーズシーケンスのシーケンスの生成が可能であることを実験により確認した.

生成, ポーズシーケンスからの動画生成の 2 段階に分けて

1. はじめに
近 年,考える. 特に 1 段階目のポーズシーケンス生成に焦点を当て, 入力ラベルに応じたアクションでポーズシーケンスを

画 像 生 成 は Generative Adversarial Net-生成することを主目的とする. 動作認識の手法にはポーズworks(GAN) や Variational Auto Encoder(VAE) のシーケンス表現はしばしば用いられており, ポーズシーケ発展によって飛躍的な進歩を遂げている. GAN, VAE は,ンス表現の解釈には GCN が用いられることが多い. しかラベル, 画像, 音声やテキスト等の条件付けによって様々し, ポーズシーケンスの生成に GCN を用いる手法は未だな画像変換タスクに応用されている. しかし, 動画合成は少ない. この論文では, GCN を組み込み, ポーズの構造を時間次元が増えたことにより, 画像に比べてより高度なモ考慮したモデルについて提案する.

デリングが必要とされるため, 未だ発展途上である.
動画生成では, 無条件なガイドなし動画生成, フローなどのガイドを用いた動画生成手法に分けられ, ガイドベースなものでは, ガイドを追加することでより高品質な動画生

2. 関連研究
本章では, 本研究に関連する手法について説明する. 本
研究で利用した手法については, 特に詳しく説明する.

成に成功している. また, 生成する動画も, 人物動画, 雲の流れ等の自然風景の動画, 街並みの運転景色の動画など多岐にわたる.
人間の動作の動画生成の場合は 2 段階の方法もあり, ポー

2.1 画像生成
画像生成の手法は, VAE[9] や GAN[5] の発展によって近年大きく進歩した. GAN では, 尤もらしい画像を出力するジェネレータと入力された画像が本物かどうかを見分け

1a)b)

電気通信大学 大学院情報理工学研究科 情報学専攻
terauchi-k@mm.inf.uec.ac.jp
yanai@mm.inf.uec.ac.jp

るディスクリミネータを交互に敵対的に学習させることで本物に近い画像を出力することができる. VAE では, 変分1

第 24 回 画像の認識・理解シンポジウム

下限を最大化することでオートエンコーダで画像を再構成しつつ潜在変数を正規分布にすることができる. 近年では, GAN の様々な改良により StyleGAN[8] や BigGAN[1]が高解像度の画像生成で著しい成功を上げているが, VAEの方式でも VQ-VAE2[13] など, GAN に匹敵する高精度の画像生成ができるモデルも提案されている. 動画生成では個々のフレームの品質が動画全体の品質に大きく寄与するため画像生成の手法が応用されることが多い.

2.2 動画生成
動画生成手法は大きく分けてノイズからの無条件動画生

図 1: Global Flow Local Attention の概要.([14] より引用)

成, フローやセグメンテーションをガイドに用いた合成に分けることができる. 無条件の動画生成では, 生成を前景と背景に分けた VGAN[18], 時間による潜在空間の移動について考慮した TGAN[15], 潜在空間を動きとコンテンツに分離した MoCoGAN[16], 多くのデータで学習することで高品質の動画生成を可能にした DVDGAN[4] などの手法がある. しかし, これらの手法は生成品質, 計算量に難があることが多い. 一方, ガイドベースの生成手法では生成を単純化し，生成を高品質にすることができる. ポーズベースの手法 [2], フローベースの手法 [14], などが存在し, ガイドベースの手法では, ガイドを編集することで生成を操作することができるなど, 応用できることが多い. したがって, 本研究ではポーズシーケンスの生成, ポーズシーケンスからの動画生成の 2 段階に分けて動画生成を考慮し, 特にポーズシーケンスの生成をより自然に行うことを目的とする.

2.2.1 Global Flow Local Attention
Global Flow Local Attention[14] では, ポーズシーケンスからの動画生成手法を提案している. 図 1 のように前フレームの情報, 次フレームのポーズからフローを推定し, 推定フローを用いてソース画像の特徴マップをワーピングすることで, 特徴マップを各フレームに対応した形に変形する. その後, ワーピングした特徴マップを局地的なアテンションを用いて埋め込むことで入力ポーズに対応した画像を生成する. 画像を各フレームで逐次生成することでポーズシーケンスと意味的に一致した動画を生成することができる. 本研究では, 生成したものをポーズシーケンスベーとを考える.

2.4 ポーズシーケンスの生成
ポーズシーケンスの生成はポーズガイドの動画生成の前段階としての使用や, 3D モデルの動作に使うことができるなど, いくつかの有望な応用例がある. ポーズシーケンスの生成には CNN 等を用いて全体をまとめて生成する方法,RNN を用いて逐次生成する方法, また, いくつかのリファレンスを切り出し, その間を補間することで多様なモーション生成を可能にするリファレンスベースの方法 [19] などが存在する.

2.4.1 Cai らの研究
Cai らの研究 [2] では, 図 2 のように, ポーズシーケンスの生成, ポーズシーケンスからの動画生成の 2 段階に分けた動画生成について扱っている. ポーズシーケンスの生成
では, 潜在変数の移動を学習するモデル, 潜在変数からポーズシーケンスを逐次生成するモデルを Discriminator を用いて敵対的ロスを用いて学習している. 最適化によりあるポーズに対応する潜在変数を探すことで, ポーズシーケン
スの補間, 予測に使うこともできる. ポーズシーケンスの生成には, 時間の考慮は Discriminator 側に RNN があるのみであり, 生成器では潜在変数の移動のみで時間変化を考慮している. 本研究では, 全体生成モデル, 逐次生成モデル
それぞれで時間情報を考慮するためのモジュールを追加し,GRU で構造情報を同時に考慮する.

スの動画生成手法を用いて動画を生成することができる.

2.3 Graph Convolution Network
Graph Convolutional Network(GCN)[12] は, 格子状に関係性をもつ CNN とは異なり, 複雑な形状のグラフでの畳み込みを可能にする. 人体のポーズを GCN で畳み込む
試みは行動認識 [11] などで行われているが, ポーズ生成で行われている例は未だ少ないこの研究では, ポーズシーケ

図 2: Cai らの研究の概要.([2] より引用)

ンスの生成に GCN を適用することで時間と構造を共に捉え, より現実的なポーズシーケンスの生成を可能にするこ

2

第 24 回 画像の認識・理解シンポジウム

2.4.2 Action2Motion

3.1 提案モデル

Action2Motion[6] はポーズシーケンスの生成のみに焦点

逐次生成モデルでは, Action2Motion に (1)1 フレーム目を当てた研究であり, アクションラベルのみの条件付けかの考慮の見直し, (2) デコーダに GCN を追加, の 2 つの変らポーズシーケンスを生成する. この際, VAE の事前分布更を加えることで生成品質の改善を目指す. 基本的な構成は通常正規分布に従うが, 時間が変化するに従い事前分布は Action2Motion のものと同一に前フレームエンコーダは変化すると仮定し, 前の時間ステップの情報から事前分

Ep r, 次フレームエンコーダ Ep o, デコーダ D の構成のモデ布を推測している. 実際には図 3 のように前フレームのエルであり, 1 フレーム目を考慮する初期フレームエンコー

ンコーダ, 次フレームのエンコーダをそれぞれ用意し, 前フダ, 初期条件デコーダを追加し, デコーダに GCN を組み込

レームのエンコーダの出力の分布を次フレームのエンコー

むことでより表現力のあるモデルを学習することを目的とダの出力の分布と近づける Prior Loss を導入し, デコーダする.

で再構成し, MSE Loss と合わせて学習する. さらに, エ3.1.1 1 フレーム目の考慮の見直し

ンコーダ, デコーダで追加で時間情報を考慮するために,Action2Motion では, 最初のフレームの生成時, 前フレー

GRU[3] を用いて時間経過に伴う情報を捉えている. テス

ムの情報を 0 として扱っているため, 初期フレームの多様ト時に前フレームのエンコーダは次フレームのエンコーダ性が少なくなる. したがって, 最初のフレームの特別な扱と似た出力になるため, 前フレームのポーズから次フレーいが必要と考え, 最初のポーズを VAE のように正規分布ムのポーズを逐次生成することができる. ポーズシーケンになるよう初期フレームエンコーダでエンコードしノイズ

スの表現は身体の中心座標とそれぞれの関節の角度の表現からの多様な生成を可能にする. また, 最初のフレーム生を使用している. また, ポーズシーケンスの生成のみに焦成時, デコーダの条件として潜在空間から初期フレーム条点を当てたデータセットである HumanAct12 を紹介して件デコーダでデコードした情報を与える. アーキテクチャ

いる. このデータセットは以前のデータセットのモーショ全体は図 4 のようになる.

ンキャプチャで得られたポーズシーケンスアノテーション

また, Action2Motion では, 最初のフレームの生成時, 前と異なり, 時間的に滑らかでノイズが少ない. 本研究の逐フレームの情報を全て 0 として扱っている. その結果, エン次生成モデルでは Action2Motion を基に 1 フレーム目のコーダの出力はカテゴリにのみ依存し, 最初のフレームの生成を見直し, デコーダに GCN を導入することでより自多様性は再パラメタ化のノイズのみで保たれるため, ほと然なポーズシーケンスの生成をする.

んど一様なポーズ出力となる. したがって, 最初のフレームのみ特別な扱いが必要になると考え, 最初のポーズを VAE形式で潜在空間が正規分布となるよう初期フレームエンコーダ Ef でエンコードし, ノイズからの多様な生成を可能にする. また, 最初のフレームの生成時, デコーダの条件として潜在空間から初期フレーム条件デコーダ Df でデコードした情報を与える. また, GRU の初期値を学習可能パラメータとすることで柔軟な学習ができるようにする. アー
キテクチャ全体は図 4 のようになる.
ポーズシーケンスの長さ T, ジョイントの数 J, データセットのポーズシーケンスを P = {p1 , p2 , ..., pT }, i 番目のポーズ表現を pi ∈ ℜJ×3 と表し, ポーズシーケンスP̂ = {pˆ1 , pˆ2 , ..., pˆT } を生成する. i 番目のポーズの条件ベ
クトル ci はアクションカテゴリのワンホットベクトル α,
図 3: Action2Motion の概要.([6] より引用)

相対時間のスカラー値 ti のセットの (α, ti ) とする. 初期フレームエンコーダの出力 (µf , σf2 ) = Ef (P, c1 ) から再パラメタ化で初期潜在変数 zf を生成, 初期フレーム条件デコー

3. 提案手法

ダの出力 p˙0 を p˙0 = Df (zf ) で生成, それらを用いて初期フレーム pˆ1 は pˆ1 = D(zf , p˙0 , c1 ) の式で生成する. 2 フレー

本研究ではカテゴリ条件付きポーズシーケンス生成を目

ム目以降は Action2Motion 同様 (µ, σ 2 ) = E(pi−1 , c) の式的とした手法を提案する. Action2Motion[6] を基にした 1で µ, σ 2 を求め, 再パラメタして z を生成, pˆi = D(z, pˆi , ci )フレームずつ逐次生成するモデルを提案し, GRU, GCN をの式でポーズ pˆi を生成する.

用いて時間と構造をそれぞれ考慮する. 学習方法, ポーズ

3.1.2 デコーダ

表現についても Action2Motion を基に学習する.

デコーダのレイヤ構成は図 4 のようになり, デコーダ

3

第 24 回 画像の認識・理解シンポジウム

3.3 ポーズ表現
学習するポーズシーケンスの表現は Action2Motion の表現の同様を用い, 身体の中心ジョイントの 3 次元直交座標系の座標と各ボーンの角度表現で構成する. 角度表現はリー代数表現であり, 3 つのパラメータで回転を表す. 3D座標に変換する際は, 身体の中心のジョイントから接続するボーンを順に表現の角度に傾け, ボーンの長さだけ移動した位置を求めることで隣のジョイントの座標を求める.
この時, ボーンの長さは手動で調整する. ボーンの長さをポーズ表現に含めないことで体格によらない動きの安定した生成が可能となる.

4. 実験
説明したモデルを用いて実際に学習を行い, その結果を報告する. カテゴリに対応したポーズシーケンスの生成が出来ていることを確認するため, 実際に結果を画像として描画し, 定性的に評価する. また, 比較するベースラインは
図 4: 逐次生成モデルの概要.

Action2Motion[6] とし, 分布間距離の測定を用いて定量的な評価を行い, 学習するデータセットは HumanAct12[6] をは Action2Motion 同様に GRU[3] を 2 層重ねる. その後,用いる. Adam オプティマイザを利用して 6000epoch 学習

Linear 2 層でポーズ表現に埋め込み, GCN に接続することを繰り消す.

で構造表現を学習する. GCN は 3 層重ねることで複雑な表現を獲得する. GCN は MS-G3D の GitHub 実装の一部

4.1 データセットである MS-GCN を利用する. 最後に, ジョイントごとに別データセットは Action2Motion で提示されている Hu-の重みで全結合層を通すことでポーズ出力とする. ジョイ

manAct12 を用いる. HumanAct12 は 9 から 403 フレーム

ントごとに全結合層を通すことで, ジョイントごとの意味の長さ, 12 個の粗いカテゴリ, 34 個の詳細カテゴリの 1191的な一貫性を保つ.

個のポーズシーケンスが含まれている動作認識, 生成用のデータセットである. 各ポーズシーケンスは 24 個のジョイントから構成されている, 生成に使うデータはランダムにシーケンスを選び, そのシーケンスからランダムに固定長のフレームを切り出す. ポーズシーケンスが固定長フレームに満たない場合, 最後のフレームでパディングする. カテゴリ条件付けは 12 個の粗いカテゴリを利用する.

4.2 定性評価
図 5: デコーダのレイヤ構成.

生成結果の例は食べるアクションは図 6, 走るアクショ
ンは図 7 のようになった. 3 次元のジョイントの位置を 3次元空間上に描画し, キーポイントの繋がりを直線で表すことでポーズとしている. 図は左上の画像を 1 フレーム目

3.2 損失関数として 4 フレーム毎の結果を表示している. 学習したモデ

目的関数は Action2Motion 同様の再構成損失, 前フレー
ム損失に加え, 初期フレームエンコーダの出力を正規分布に近付けるために KL 損失を加える.

Lf = −

12∑ルを用いてそれぞれ異なるノイズベクトルから生成されている.
提案モデルでは, データセットに似た動きができており,歩きやジャンプのような複雑な動きでさえうまく生成できdim(zf )(1 + log σj2 − µ2j − σj2 )j=1

KL 損失を加えることで初期フレームをノイズから生成すている. Action2Motion と比較しても, 時間的に滑らかで,手と足の関係が対応して動くなどの合理的な動きがあるな
ど, より自然な生成ができていることがわかる.

ることを可能にする.

4

第 24 回 画像の認識・理解シンポジウム(a) データセット(a) データセット(b) Action2Motion(b) Action2Motion(c) 提案モデル(c) 提案モデル

図 6: 食べるアクションの生成結果.

図 7: 走るアクションの生成結果.

d2 = |µr − µf |2 + T r(Σr + Σf − 2(Σr Σf )1/2 )5. 定量評価の式で分布間距離 d2 を測定する. 1191 個のポーズシーケ

5.1 分布間距離の測定

グして測定する.

ンスをリアルデータ, 生成データからそれぞれサンプリン

FID[7], FVD[17] に触発され, リアルデータと生成データ

測定結果は表 1 のようになった. 既存研究と比較し, 提の間の分布間距離を測定することで生成したデータがデー案モデルが上回り, データセットの動きをよりしっかり捉タセットに近い分布での生成ができているかを測定する尺えられていることがわかる.

度とする. 動作認識モデル MS-G3D の学習済みモデルでリアルデータと生成データの特徴ベクトルを抽出後, 特徴ベクトル間の分布間距離を FID 同様に測定する. MS-G3D
は NTU-RGB-D120[10] で学習済みのモデルを用い, 最後の全結合層の直前の出力を特徴ベクトルとする.

表 1: 分布間距離の測定結果.
手法

分布間距離提案モデル

10.22

Action2Motion

14.26

事前学習したデータセットと学習に使うデータセット間のポーズ表現には差異があり, 直接適用することが出来ない. したがって, ポーズを NTU-RGB-D120 の形式

5.2 アブレーション研究に変換する. 対応するジョイントがあるものはそのジョ本研究では, Action2Motion に (1)1 フレーム目の考慮のイントに合わせ, ないものは周辺のジョイントの位置か見直し, (2) デコーダに GCN を追加, の 2 つの変更を加えら補間する. 測定するポーズの特徴ベクトルの集合をることで生成品質の改善を図った. この 2 要素がそれぞれVf = {vf 1, vf 2, ..., vf n}, データセットのポーズの特徴ベ

生成品質に与えている影響を調べるための実験を行う. (1)

クトルの集合を Vr = {vr 1, vr 2, ..., vr n}, 測定する生成ポーのみの変更を加えた提案モデル (1), (2) のみの変更を加えズシーケンスの特徴ベクトルの平均を µf , 分散共分散行列た提案モデル (2), 両方の変更を加えた提案モデル (1, 2),

Σf , データセットのポーズシーケンスの特徴ベクトルの平さらにベースモデルの Action2Motion の分布間距離を測均を µr , 分散共分散行列 Σr として,定する. また, 1 フレーム目の考慮を見直したことで, 1 フ5

第 24 回 画像の認識・理解シンポジウム

レーム目の多様性が上がっていることが想定される. それ[4]を示すため, 1 フレーム目のみのポーズの多様性を測定する. 多様性 D は以下の式で求める.

D=N ∑N ∑J∑

1JN 2 i=1 j=1[5](pi,1,k − pj,1,k )2k=1[6]

結果は表 2 のようになり, 提案モデル (1,2) は提案モデル(1) と比較して大きく分布間距離が小さくなっており, データセットに近い分布ができている. GCN の追加によって,[7]より効率的なポーズの考慮ができることがわかる. また，提案モデル (1, 2) は提案モデル (2) と比較し, 分布間距離では大きな差はないが, 初期フレームの多様性は大きく上がっている. 提案モデル (2) では，GCN を導入したことで[8]ベース手法の Action2Motion に比べて多様性がなくなっているが, 提案モデル (1, 2) では初期フレームの見直しによってより多様な出力ができることが示せた.
表 2: アブレーション研究の結果.
手法分布間距離多様性

Action2Motion

14.260.02083

提案モデル (1)13.35

0.02219

提案モデル (2)10.210.00917

提案モデル (1, 2)

10.220.02143

6. おわりに

[9]

[10]

[11]

[12]

本研究では, 初期フレームの考慮をし, GCN を組み込むことで構造情報を明示的にとらえたモデルを提案した. 定[13]

性的に, 提案モデルは複雑で多様な動きの生成ができることがわかった. また, 潜在変数の補間により, モデルは潜在空間の連続表現が学習できていることがわかった. 分布間[14]距離の測定の実験の結果, 提案モデルの有効性が示された.
今後の展望として, 評価指標が 1 つしかなく, 十分とは言えないため, 第三者による主観評価を含む広範な評価も必[15]

要である. また, ポーズシーケンスから動画を生成するモデルについて検討し, 実際に生成ポーズから動画を生成し[16]たい.
参考文献[17]
[1]

[2]

[3]

Brock, A., Donahue, J. and Simonyan, K.: Large ScaleGAN Training for High Fidelity Natural Image Synthesis, Proc. of International Conference on Learning Representations (2019).
Cai, H., Bai, C., Tai, Y. and Tang, C.: Deep video generation, prediction and completion of human action sequences, Proc. of European Conference on ComputerVision, pp. 366–382 (2018).
Chung, J., Gulcehre, C., Cho, K. and Bengio, Y.: Empirical evaluation of gated recurrent neural networks on sequence modeling, Advances in Neural Information Processing Systems (2014).

[18][19]Clark, A., Donahue, J. and Simonyan, K.: Adversarial
video generation on complex datasets, arXiv preprint
arXiv:1907.06571 (2019).
Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B.,
Warde-Farley, D., Ozair, S., Courville, A. and Bengio,
Y.: Generative adversarial nets, Advances in Neural Information Processing Systems, pp. 2672–2680 (2014).
Guo, C., Zuo, X., Wang, S., Zou, S., Sun, Q., Deng, A.,
Gong, M. and Cheng, L.: Action2Motion: Conditioned
Generation of 3D Human Motions, Proc. of ACM International Conference Multimedia (2020).
Heusel, M., Ramsauer, H., Unterthiner, T., Nessler, B.
and Hochreiter, S.: Gans trained by a two time-scale
update rule converge to a local nash equilibrium, Advances in Neural Information Processing Systems, pp.
6626–6637 (2017).
Karras, T., Laine, S. and Aila, T.: A style-based generator architecture for generative adversarial networks,
Proc. of IEEE Computer Vision and Pattern Recognition, pp. 4401–4410 (2019).
Kingma, D. and Welling, M.: Auto-encoding variational
bayes, Proc. of International Conference on Learning
Representations (2014).
Liu, J., Shahroudy, A., Perez, M., Wang, G., Duan, L.
and Kot, A.: NTU RGB+D 120: A Large-Scale Benchmark for 3D Human Activity Understanding, IEEE
Transactions on Pattern Analysis and Machine Intelligence, Vol. 42, No. 10, pp. 2684–2701 (2020).
Liu, Z., Zhang, H., Chen, Z., Wang, Z. and Ouyang,W.: Disentangling and Unifying Graph Convolutionsfor Skeleton-Based Action Recognition, Proc. of IEEE
Computer Vision and Pattern Recognition, pp. 143–152(2020).
Niepert, M., Ahmed, M. and Kutzkov, K.: Learning convolutional neural networks for graphs, Proc. of International Conference on Machine Learning, pp. 2014–2023(2016).
Razavi, A., van den Oord, A. and Vinyals, O.: Generating diverse high-ﬁdelity images with vq-vae-2, Advancesin Neural Information Processing Systems, pp. 14866–14876 (2019).
Ren, Y., Li, G., Liu, S. and Li, T. H.: Deep Spatial
Transformation for Pose-Guided Person Image Generation and Animation, IEEE Transactions on Image Processing (2020).
Saito, M., Matsumoto, E. and Saito, S.: Temporal generative adversarial nets with singular value clipping, Proc.
of IEEE International Conference on Computer Vision,
pp. 2830–2839 (2017).
Tulyakov, S., Liu, M., Yang, X. and Kautz, J.: MoCoGAN: Decomposing Motion and Content for Video Generation, Proc. of IEEE Computer Vision and Pattern
Recognition (2018).
Unterthiner, T., van Steenkiste, S., Kurach, K.,
Marinier, R., Michalski, M. and Gelly, S.: Towards accurate generative models of video: A new metric & challenges, arXiv preprint arXiv:1812.01717 (2018).
Vondrick, C., Pirsiavash, H. and Torralba, A.: Generating Videos with Scene Dynamics, Advances in Neural
Information Processing Systems, Vol. 29, pp. 613–621(2016).
Xu, J., Xu, H., Ni, B., Yang, X., Wang, X. and Darrell, T.: Hierarchical Style-based Networks for Motion
Synthesis, Proc. of European Conference on ComputerVision (2020).

6