第55回 プログラミング・シンポジウム 2014.1

流体の 3 次元化による動画作成支援
山口 尊嗣†1,a)

岡部 誠†1,†2,b)

尾内 理紀夫†1,c)

概要：動画サイトの普及や CG 技術の発達により流体を扱う映像制作が盛んに行われている．しかし, 流体を作成するにはコストがかかることが多く, 製作のボトルネックとなる部分でもある．本研究の目的は流体映像のアイデアを持つユーザが流体に関する知識や技術を必要とせずに 3 次元流体素材を作成することである．我々の提案する “Single View Average Multiplication” によりユーザは 1 枚の流体映像を入力するだけで短時間で簡単に 3 次元流体素材を作成することができる．加えて, 作成した 3 次元流体の確認と直観的な操作による簡易編集を 3 次元ビューアにより行い, 背景映像との合成を行うことにより誰でも短時間で簡単に流体映像を作成できるようになる．映像制作の効率化を目指す．
キーワード：流体,3 次元復元, 画像処理, 合成処理, 単一入力

3D Reconstruction of Fluid for Making a Movie
Yamaguchi Takatsugu†1,a)Okabe Makoto†1,†2,b)Onai Rikio†1,c)

Abstract: Fluid video production has been actively done by the development of CG technology and thespread of video sites. However, it usually takes a long time to create fluid videos and it becomes the bottleneck part of the production. The purpose of this paper is enable the user who has the idea of fluid video
to create a three-dimensional fluid video material from a fluid image without technical knowledge. The userinputs a single fluid image, and is able to create a three-dimensional fluid material quickly and easily by
our proposed algorithm: “Single View Average Multiplication”. Anyone can create a fluid video quickly andeasily by confirming the created three-dimensional fluid video and simple editing with intuitive operations
on the 3-D viewer, and composing it with the background image. We aim to make fluid video production
eﬃcient.
Keywords: fluid, 3D reconstruction, Image processing, Composite, Single View,

フトウェアの取扱いの知識が必要であるとともに, シミュ

1. はじめにレートには数時間という膨大な時間がかかる場合もあり,近年, コンピュータグラフィックスや物理シミュレーショ素材作成は困難であることが多い．インターネットの動画ンの発達により炎・煙・液体などの流体を扱う様々な映像像検索や市販されている流体の動画像素材集を用いること制作がプロ・アマ問わず盛んに行われている．これらの多で大量の流体動画像素材を得ることも可能ではあるが, こくは背景となる画像に流体素材を合成することで作成されれらの動画像からユーザの望むカメラアングルの流体素材ることが多い．しかし, シミュレーションによる流体素材を探すことは困難であり, そもそも存在しないことも多い．

を作成するためには複雑なパラメータ設定をしなければな素材の合成先である背景がカメラアングルの変わる動画でらないなど, 動画製作者（ユーザ）は流体に関する知識, ソある場合はなお困難である．
そこで, 本研究ではこの素材動画像の簡易 3 次元化によ†1†2a)b)c)

現在，電気通信大学
Presently with The University of Electro-Communications
現在，JST CREST
yamaguchi@onailab.com
m.o@acm.org
rikioonai@gmail.com

る映像作成支援を行うシステムを試作した．本システムは流体を簡易 3 次元化する演算部分と作成された 3 次元流体を編集するビューア部分の 2 つに分かれている．演算部
分は, 我々が提案する Single View Average Multiplication

17第55回 プログラミング・シンポジウム 2014.1

図 2

Multiplication による 3 次元復元の 45 度視点

中央図の赤線）におけるベクトルをそれぞれ I0h , I90h と′′する．ここで I0h , I90h をそれぞれ正規化した行列 I0h, I90hを計算する．これらより高さ h における 0 度と 90 度から
図 1

Multiplication アルゴリズム計算される断面図行列 Dh,0−90 は

上段：横幅 4 ピクセルにおける Multiplication の例′′TDh,0−90 = I0hI90h

下段：煙画像による赤線部分の高さの Multiplication 結果(1)と表される．という手法を用いて, ユーザが用意した 1 枚の流体の画像（動画）から MRI のような流体の断面図を高速に推定する．

2.2 Single View Average Multiplication

推定は全自動であり, ユーザは流体に関する知識やシステムの操作を学習する必要はない．ビューア部分は推定され前述の Multiplication は計算量が少ない代わりに, 0 度た断面図画像を読み込ませることにより 3 次元化された流と 90 度の 2 入力と少ない情報による断面図推定のため結体をユーザは見ることができる．ビューア上では作成され果が長方形近似となり, 復元された 3 次元流体は 45 度付近

た流体の色味の変化や流体の表面部分のみを削り流体内部から見た時にぼやけてしまう（図 2）．この問題を解決すのみを表示する閾値機能, 流体の流れをマウスで描くことるためには入力を増やす必要がある．James らの研究 [3]により流体の形状を編集するドロー機能など流体の編集をのような多数のカメラによる復元が考えられるが, 確かに行うことができる．流体が 3 次元化されているのでカメラ復元精度はよくなるが多数のカメラを設置した撮影環境のアングルもユーザが自由に設定することができ, 背景映像作成の難しさをはじめ, カメラの同期や計算時間も多くなとなるものは画像でも動画でも自然な合成映像を作成するるなど問題も多い．そこで我々は流体が断面図上においてことができる．

全方向に一定に拡散するものと定義し, 断面図を円形近似するために疑似的に入力を増やす Average Multiplication

2. 手法という手法を提案する．
ま ず は 2 入 力 の 通 常 の Multiplication に よ り 断 面 図

我々の提案するシステムに対して入力, すなわちユーザの操作は以下の手順を踏むこととなる．

Dh,0−90 を推定する．次にこの断面図において r 度 (0 <( 1 ) 流体の動画または画像を 1 つ用意する′
r < 90）における射影行列 Irhと（図 3）, この角度 r に( 2 ) 後述する Single View Average Multiplication により′対応する (r + 90) 度の射影行列 I(r+90)hを求める（図 4）．

この 2 つの射影行列より新たに断面図 Dh,r−r+90 を流体の断面図を推定し 3 次元化を行う( 3 ) 3 次元ビューアにより形状・色味やカメラアングルの′′T
Dh,r−r+90 = Irh
Ir+90h

編集を行い, 流体動画素材を作成する(2)として求める．ここで r を射影数 N に対して

2.1 Multiplication

rn =2 枚の画像（動画）を入力とした物体の 3 次元化として CT90n, n = 1, . . . , N
N +1(3)と決定すると入力画像数ははじめの 0 度と 90 度も含めてスキャン [1] や Samuel W. hasinoﬀ らの研究 [2] で比較対2N + 2 となり, ここから Multiplication で作成される断面象にもなっている最も基本的な手法として Multiplication

図は N + 1 個となる（図 5）．これら N + 1 個の断面図の平という手法がある．これは被写体である流体に対して正面均をとることでこれを高さ h における断面図 Dh とする．

から撮影した 0 度画像と側面から撮影した 90 度画像の 2r0 = 0 とすれば断面図 Dh は以下の式で表される．

枚を入力として流体の断面図推定を行う手法である．高さ1 ∑Dh,rn −rn+90N +1N

h における断面図の推定方法は以下の通りである．まず,0Dh =度画像と 90 度画像のエピポーラ線（図 1 の下段, 左図とn=018(4)第55回 プログラミング・シンポジウム 2014.1

図 30-90 度間の射影

図 6 ビューア全体像

ここでは 22 度（赤）, 45 度（緑）, 67 度（黄）の 3 方向に射影を行っている．

述べたとおり例え 2 入力でも同期の問題やカメラ位置の調整などが困難となる．そこでこの問題を (0 度入力) ＝(90 度入力) として扱うことで疑似的に 0 度からの映像
1 つにより多数視点入力による断面図推定を行うことができる．この手法を Single View Multiplication と名付けた．また, Average Multiplication の最初のステップをこの Single View Multiplication とした手法を Single View

Average Multiplication と名付けた．
カラー（RGB）入力の場合は入力映像をグレースケー
ル及び R と G と B の 4 つに分解しそれぞれの映像を元にSingle View Average Multiplication を行う．結果の断面図をアルファ,R, G, B として 1 つの ARGB カラー断面図
図 4として出力を行う．

対応する角度の射影
図 3 における対応角度として 112 度（赤：22+90）, 135 度

3. 3 次元ビューア（緑：45+90）, 157 度（黄：67+90）の射影を行っている．

前章で述べた Single View Average Multiplication により断面図推定を行い 3 次元化された流体を左手系の極座標空間 (y 軸を高さ) に 3 次元テクスチャとして配置することにより, 流体の確認と直観的な編集を行うことができるビューアを作成した (図 6)．このビューアは基本的に RGBカラー映像の流体を元にして作成された ARGB カラー断図 5面図の出力・編集を行うもの想定している．また, あらかN + 1 個の断面図

じめ Single View Average Multiplication で作成した流体が複数あるのならばそれらを重ね合わせることでより複雑でユーザの想像する映像を創造することができる．
この手法を我々は Average Multiplication と名付けた．
平均化することにより Multiplication の課題であった長方3.1 編集とユーザインタフェース形近似の角が薄れ, 円形近似に近づけることができる．

本システムが行うことができる編集は以下の 5 つである．

• 流体の位置 x, y, z

この Average Multiplication のアルゴリズムの最初のステップは Multiplication を行うことであるため 0 度と• カメラアングルとなる θ と ψ

90 度の 2 入力が必要となる．しかし一般に 0 度と 90 度

• 色（R,G,B,A）のそれぞれの倍率の流体素材はなく, ユーザが撮影することも本章の冒頭で• アルファ値に対する閾値

19

第55回 プログラミング・シンポジウム 2014.1

図 7

流体の簡易編集の入力 UI

図 9

アルファ値の閾値

3 次元化された流体のアルファ値において閾値を設けることができる．低い閾値を設定することで Single View Average

Multiplication によって生成されてしまうノイズの除去ができる．大きい閾値を設定することで流体の中心部のみを表示することができる．

図 8

色の編集
図は G・B 成分を 0 にした場合である．流体全体の色味を変更できる．

• ドローツールによる位置と形状の変形
値の入力は図 7 に示す UI によって入力を行う．図 8, 図 9,
図 10 はこれらの機能を用いたときの編集例である．
図 10

ドローツールによる流体の変形
図 7 右図のドローツールにより一筆書きのように流体の流れ

3.2 ドローツールによる変形を描くことによって流体を変形させることができる．これに櫻井稔らの研究 [4] や Kiran S. Bhat らの研究 [5] のようより, 風に靡かれる流体等の表現が可能となる．図は説明のに本システムでもユーザに流体のフローを描かせることにために過剰に変形させている．

よって変形を可能にしている．ただし, 変形は Single View

Average Multiplication により推定された断面図を平行移によって変形を行っている．これは断面図推定による 3 次動させることにより変形を行っている．ドローツールに元復元ならではの変形であり, メッシュ変形による 3 次元表示されている中心線を元にユーザが描いた線から求ま物体変形より計算量を少なくすることができる．

る高さ h と距離 d をもとにずらす方向と距離を決定する（図 11）．

3.3 タイムライン上の編集補間
上述してきた 3 次元流体に対する編集はいずれも 1 フ

現在の流体に対する視点の角度 θ と高さ h と距離 d を用

レームに対する操作である．扱う流体が画像ではなく動画いてであった場合は数十フレームに対してユーザは編集作業を

dx = dcos(θ)(5)

dz = dsin(θ)(6)行わなければならない．そこで,After Eﬀects*1 など既存の動画編集ソフトで採用されている時間軸上の編集操作の補間を本ビューアでも採用している．

として x 軸方向に dx , z 軸方向に dz だけ平行移動すること*120

Adobe 社より販売されている動画編集ソフトウェア

第55回 プログラミング・シンポジウム 2014.1

図 11

ユーザの描いた線からの変形
図 13

汽車と煙

RGB の jpeg 形式の汽車の静止画に色編集とドローツールにより変形させた煙を合成させたもの．
変形により汽車の進行方向と逆に流れていく煙の様子を表現することができる．

図 12

タイムライン上の編集フレームの補間

ある時刻 t と t′ のフレーム（ただし, 0 < t < t′ < endであり end は最終フレーム）に対してユーザが編集作業を行った場合, タイムライン上では図 12 で示されるように 3通りの補間を行う必要がある．時刻 i におけるフレーム編
集情報を Ei とし Ei にユーザによる編集情報がないならば

E tEi =i ∈ [0, t − 1]′′
Et + (i−t)
t′ −t (Et − Et ) i ∈ [t + 1, t − 1]
Et′i ∈ [t′ , end]

図 14(7)RGBA 背景画像による透過表現
ドローツールによる変形とカメラアングルの調整を行うことにより奥行方向の形状変形を行うことができる．この方法をアルファ値のある背景映像に対して行うことにより, あたかとして, 隣り合うフレームの差が均一となるように中間をも流体が背景物体をすり抜けるような表現が可能となる．

補間する．

3.4 コンポジット
編集が完了した 3 次元流体は背景映像と合成（コンポジット）して初めて映像作品となる．背景映像として使用できるのは RGB カラーまたは RGBA カラーの jpeg 又はpng 静止画または AVI 形式の動画である．以下の図 13,
図 14 は実際に操作中のスクリーンショットである．

図 15

4. 予備実験
Single View Average Multiplication

入力画像 (300*300)

4.1 射影数
2 章で述べたとおり Multiplication による長方形近似を

Single View Average Multiplication により流体の 3 次流体が拡散するものと仮定した円形近似になるかどうかの元化が適切に行えるかどうかの実験を行った．実験に用い実験として射影数を変えていく試行を行った．図 16 は射た入力画像は図 15 左（サイズは 300*300）とした．

影数と断面図の関係であり, 射影数 0 は Multiplication で

21

第55回 プログラミング・シンポジウム 2014.1

図 18

光度の高い部分を持つ入力画像

近似のための平均化により色の濃淡がつぶれてしまうことがあることが分かった．
図 16射影数と断面図

5. 関連研究
昨今のコンピュータグラフィクス, 特に流体を扱う研究は国内外問わず盛んに行われている．本分野において主流となっている方法としては MAYA や 3DS MAX*2 といったソフトウェアのプラグインの研究開発をはじめとしたシミュレーションベースの研究, あるいは ROBERT T.

BAUM らによる研究 [6] や Tim Hawkins らによる研究 [7]といった特殊機器による流体の測定をベースとした研究があげられる．シミュレーションベースでは高解像度で非常
図 17にリアリティのある流体を作成できる利点を持つ一方で,1角度 45 度付近における Multiplication(左) と射影数 5 の章でも述べたとおり作成には高い演算能力を持った計算機

Average Multiplication（右）器が必要であり, 計算時間も莫大になる場合となりレンダある．なお, 入力は図 15 右図の赤いラインにおける断面図リングまで含めると数十分から数時間となるケースも多である．

い．また最終的な出力として上述のようなソフトウェアの入力画像や画像の高さによって多少の変化はあるもののプラグインとして研究開発される場合が多く, 対象とされ射影数が 5 を超えると図 16 のように結果に変化がほとんどるユーザは曽良らによって述べられるようなテクニカルなくなる．Single View Average Multiplication は射影数がアーティスト [8] といった技術力を持った者であることが多くなればなるほど計算量も増えていくことを考えるとほ望ましいとされる．特殊機器を用いた測定による流体の作

とんどの場合で射影数は 5 であることが最適であることが分成は機器の製作や撮影スタジオの設計などにコストがかかかった．図 17 は Single View 入力での角度 45 度付近におる問題が残ってしまう．

ける Multiplication と射影数 5 の Average Multiplication

このような問題に対して, Samuel らによる 2 入力によるの結果である．特に赤い丸の部分において Multiplication

流体の復元 [2] や Zhengyan Liu らによる煙の螺旋近似によのぼやけが解消され, Average Multiplication の方では流体る復元 [9] といった少数の入力から流体を復元する研究がの形状がくっきりと見えていることがわかる．なお, 図 15ある．しかしこれらの研究は本システムとは異なり, 複数の 1 フレーム入力で射影数 5 の場合は計算時間及び断面図カメラによる同期の問題や螺旋に近似できる煙のみといっ画像の出力等すべて含めておよそ 20 秒である．

た制限がある．

4.2 色

6. おわりに2 節で述べたとおりカラー流体は入力映像を R,G,B 各

1 枚の画像または動画から我々の提案する Single View

成分と元の画像をグレースケールに変換したものに分解しAverage Multiplication により短時間で簡単に 3 次元流体それぞれに対して Single View Average Multiplication を素材として用いるための流体の形状の復元が可能であるこ行っている．図 15 の入力のように半透明流体で色の薄いとが分かった．また, 光度の高い部分を持つ流体を復元し流体ならば形状・色味ともに復元度は高いが図 18 のようようとした場合に濃淡がつぶれてしまう問題があることもに流体が光を反射している, または爆発や炎のように流体わかった．この問題は現時点で 3 次元ビューアによる色自身が発光しているものの中で特に白飛びするほど光量が*2多くなる場所がある入力の場合, アルゴリズムによる円形

22

Autodesk Maya 社より販売されている 3D アニメーションソフトウェア

第55回 プログラミング・シンポジウム 2014.1

味の編集で解決することも可能ではあるが, ユーザの負担を減らすためにも改良を行いたい部分である．具体的には

RGB ごとに行っている Average Multiplication の見直し,射影時にヒストグラムマッチング等の画像処理や画像フィルタ処理を入れるといった修正をユーザスタディの評価を交えて行っていきたい．
参考文献
[1]

[2]

[3]

[4]
[5]

[6]

[7]

[8]

[9]

Steven W.Smith “The Scientist and Engineer’s Guide toDigital Signal Processing”, California Technical Publishing, Second Edition, pp.442-450, 1999.
Samuel W. Hasinoﬀ, Kiriakos N. Kutulakos, “PhotoConsistent 3D Fire by Flame-Sheet Decomposition”
IEEE Trans. Pattern Analysis and Machine Intelligence,29(5), pp. 870-885, 2007.
James Gregson, Michael Krimerman, Matthias B. Hullin,Wolfgang Heidrich “Stochastic Tomography and its Applications in 3D Imaging of Mixing Fluids”, SIGGRAPH
2012.
櫻井稔, 江渡浩一郎, “Sequential Graphics:描画時の臨場感を再現するペイントソフト”, WISS, 2008.
Kiran S. Bhat, Steven M. Seitz, Jessica K. Hodgins,
Pradeep K. Khosla, “Flow-based Video Synthesis andEditing”, SIGGRAPH, 2004.
Robert T. Baum, Kevin B. Mcgrattan, Marc R. Nyden, “An Examination of the Applicability of Computed
Tomography for the Measurement of Component Concentrations in Fire-Generated Plumes”,Combustion andFlame, Vol. 113, No. 3, pp. 358-372,1998.
Tim Hawkins, Per Einarsson, Paul Debevec, “Acquisition of Time-Varying Participating Media”, SIGGRAPH, 2005.
曽良洋介, Marc Salvati, 四倉達夫, “テクニカルアーティストスタートキット”, ボーンデジタル社, 初版, pp. I − IX,
221-275, 2012.
Zhengyan Liu, Yong Hu, Yue Qi, “Modeling of Smokefrom a Single View”, International Conference on Virtual Reality and Visualization, 2011.

23