オプティカルフローから見たアニメーションにおける 3DCG と従来法の相違佐藤 里美

1(指導教員：齋藤 豪)
d(Pnx + Vx )Pnz + d + Vz
dyn1 =(Pny + Vy )Pnz + d + Vz

はじめに

xn1 =

セル画の描画を基本とするアニメ業界は、現在アニメータの人材不足という問題を抱えている。この状況に対応するために、セルと背景画によるシーン制作だけでなく、3DCG 技術を併用しているアニメーション作品が多くなっている。
しかしながら、幾何学的な投影により描画を行う
3DCG 技術を用いたシーンと従来からの制作法によるシーンが混在していると違和感が感じられてしまう。
従来のアニメーション制作で作られる背景の動きは数枚の絵を異なる速度で動かして作られているため、シーン全体のオプティカルフローには厳密な統一感はないと考えられるが、3DCG シーンはオプティカルフローが統一した動きをするため、その結果アニメ的な演出にそぐわない過度な立体感の強調が生じ、それが違和感の原因の一つではないかと考えられる。
そこで本研究では、オプティカルフローから見た3DCG と従来法の相違についての評価法を提案し、それを実際のアニメーションシーンへ適用した結果例を示す。

2zyVyVz/datan(b/d)atan(a/d)
Vxx

カメラ

図 2: 運動方向とそれを表す角度の定義

図 1: 透視投影モデル

4

カメラ運動と焦点距離の関係式

フレーム上の任意の 3 特徴点からカメラ運動の関係式を求める。
式 (1) から (4) より、d, Vz を定数とおき、n に 0 から2 を代入すると、以下の 11 元連立一次方程式が成り立つ。t を (P0x P0y P0z P1x P1y P1z P2x P2y P2z Vx Vy )tとすると、関連研究

d0000A=d000000d00000d0
0
0−x00
−y00
00
0
0−x01
−y01
00000
d00000d00

000d00000d000−x10−y10
0000−x11−y1100000
d00
000
d0
00
00
d0
00
0
0

0
0
0
0−x20−y200000−x21000000
d0
d0
d

00
0
0
0
0
0
d0

d0,


dx00
dy00
 dx

10
 dy10  dx20 dyB=(d + V20
z )x01  (d + Vz )y01 
(d + V )x 
z11 
(d + Vz )y11
(d + Vz )x21

透視投影モデル

２フレーム間でカメラが等速直線運動をしたとする。
カメラが静止しているときに撮影している対象が移動することと、カメラが移動しているときに撮影している対象が静止していることは同じことと見なせるた
め、簡単のために前者の場合で考える。
図 1 に示すように三次元空間上の特徴点 Pn 、特徴点
ID を n、カメラの動きを (Vx ,Vy ,Vz )、スクリーンを xy
平面、焦点を (0,0,d) とおくと、カメラによる Pn の第 0フレームと第 1 フレームの画面上の特徴点 (xn0 ,yn0 )、(xn1 ,yn1 ) はそれぞれ三角形の相似から、

dPnx
xn0 =
Pnz + ddyn0 =PnyPnz + d(4)となる。

時系列画像を用いてカメラの運動推定を行う手法は古くから研究が行われている。例えば、空間的輝度勾配と時間的輝度勾配から得られるオプティカルフローの信頼度関数を用いて、物体形状とカメラ運動の推定をする手法 [1] や平行移動と回転行列のもつ 5 自由度を球面座標でパラメータ化し、その運動パラメータ空間で直接サンプルを生成することでカメラの運動を推定する手法 [2] などが提案されている。しかしながら、従来法では利用する特徴点中のいくつかの点の三次元上の座標やカメラの内部パラメータなどの初期値が必要なものが多く、アニメに応用することができない。
またアニメ分析については、佐野 [3] が主観実験により人間がどこにアニメと非アニメの境界意識を生じるかを検証している。しかしながら、3DCG シーンと従来法シーンの定量的な比較は行っていない。

3(3)

より、

t = A−1 B(5)であり、Vx , Vy が Vz , d の関数として式 (6)(7) のように求まる。

VzdVz
Vy = bd

Vx = a(1)(2)

ただし、係数 a, b は次の通りとする。

9(6)
(7)

これにより、Vx , Vy と Vdz は原点を通る直線上の関係であることが分かった。

5

表 1: シーンごとの散布度
従来法によるシーン
カリオストロの城
天空の城ラピュタ
カーチェイスのシーン
飛行機からの眺め
1.05
0.77
耳をすませば (予告)
うる星やつら OVA9 話
猫が小道を進むシーン
地上に降り立つシーン
0.64
0.64
3DCG 技術によるシーン
TIGERBUNNY1 話
ハイキュー！(OP)
道路を上から見たシーン 道路を進むシーン
0.35
0.49
SAO(OP)
図3
0.23
分類できないシーン
もののけ姫
氷菓 1 話
村に侵入するシーン
部室で出会うシーン
0.73
0.73

運動方向の散布度による相違

式 (6)(7) より、カメラの運動方向は (a b d) である。
1 シーンにおいて多数のオプティカルフローが見られるとき、画面上の特徴点の数を N とすると、前節での計算により N C3 だけカメラの運動方向が得られる。
このとき、ひとつのピンホールカメラによる像として作られた 3DCG 背景を用いたシーンの場合、この運動方向は一意に定まるはずである。一方、従来からの制作法によるシーンの場合にはこの運動方向にばらつきが生じると考えられる。
カメラの推定運動方向の角度を図 2 のように表し、散布度 s を式 (8) のように定義して、実際のアニメーションシーンにおけるカメラの運動方向の散布度を計算する。
√abs = V (atan( )) + V (atan( ))(8)dd

は、従来法と 3DCG 技術を併用してアニメを制作する際、違和感を生じさせないように 3DCG 技術の正確な描画をあえて変化させるなどして、従来法によるシーンと 3DCG 技術によるシーンに差を与えない工夫をしていることが反映しているものと考えられる。

ここで V (·) は分散を表す。
計算を行う際には、カメラの画角を約 90 度、映像の水平解像度をハイビジョン放送の解像度と考えて、dを 1000 とした。

67まとめ

カメラの運動方向をオプティカルフローから推定し、3DCG 技術を用いたシーンと従来法によるシーンの相違を測る手法を提案した。カメラの運動方向の散布度をみることで、3DCG 技術を用いたとはっきり分かるシーンではオプティカルフローに統一感があるということを示すことができた。今後はより多くのシーンに対して調査を行っていきたい。

結果

従来法を用いていると思われるシーン、3DCG 技術を用いていると思われるシーンまた簡単に分類できないシーンを集め、それらに図 3 で示すようにシーン全体に広く分布するように特徴点を 20 点選び、手動でオプティカルフローの始点と終点の座標値を決め、散布度を計算した。結果が表 1 である。
3DCG を用いていると思われるシーンは従来法を用いていると思われるシーンより低い散布度を示した。
また、従来法より立体感を感じるものの、強い違和感がなく簡単に分類できないシーンにおいては従来法によるシーンの散布度と同じような値を示した。これ

参考文献[1] 安達栄輔, 栗田多喜雄, 大津展之. 直進する車載カメラの動画像からのオプティカルフローを用いた環境の復元法の検討. 2005.
[2] 川本一彦. 運動パラメータの直接サンプリングによる逐次カメラ運動推定. 電子情報通信学会誌, Vol.
J93-D, No. 8, pp. 1461–1469, 2010.
[3] 佐野昌己. 3dcg 使用法の違いに起因するアニメと非アニメの境界線の考察. pp. 128–143, 2008.
[4] A-1 Project. ソードアート・オンライン, 2012.

図 3: ソードアート・オンライン (SAO)[4] におけるオプティカルフロー

10