動画中の物理現象を再現するためのシミュレーションパラメータ推定
多加谷 海斗†

岡部 誠†

静岡大学†

１ はじめに理現象を再現する．また，動画ではなく一枚の写真か今日，CG 技術の進歩により編集ソフトを用いればら水面のシミュレーションをする研究[2]が発表され物体の破壊や爆発といった豪華なシーンの撮影が可能ている．Sugimoto ら[2]が提案する手法のフローチャである．しかし，近年の映画にもリアリティを追求すートを図 1 に示す．入力された画像の水面とそうでなるために，実物を破壊や爆破して撮影されたものも少い領域に対してセグメンテーションを行い，水面領域なくない．実物を用いる撮影方法は非常に費用が掛かの反射テクスチャを生成する．反射テクスチャとは，るため，シミュレーションで再現することについて研

水面から波によるぼやけや水の色相を除去した反射し究する．例えば，ボールの落下という物理現象をシミている風景のみを予測した画像である．水面のレンダュレーションするには，ボールの形状や大きさ，初速

リングには，風，波，カメラ，光源に関する 21 個の度，質量，弾性率などのパラメータを設定する必要がパラメータを設定する．カッコウ探索を用いてパラメある．このとき，パラメータを設定してシミュレーシータ推定し，入力画像のシミュレーションを得る．カ

ョン映像を確認し，再現したい映像と違うのであれば，ッコウ探索とは，ランダムにパラメータを設定し，そパラメータを設定し直すという作業を繰り返さなけれのシミュレーションを評価することの繰り返しによっばならない．この作業はパラメータ数が応じて作業のて解を探索する最適化手法の一種である．カッコウ探

難易度や修正に必要な時間が変化し，複雑な現象を再索は何度もシミュレーションを行う必要があるが，水現するのであれば，適切なパラメータ設定は難しく，面のシミュレーションは非常に高速であるため，採用多くの時間が必要となる．そこで，本研究ではボールしている．本研究で用いる MPM はあまり高速でないが落下するなどの物理現象が映っている動画からパラため，カッコウ探索を用いると非常に多くの時間がかメータを推定するシステムの開発を目標としている．

かってしまう．そのため，後述する別の手法によってパラメータを推定する．

2 既存研究2.1 シミュレーション手法
物理シミュレーション分野において，計算処理の効率化やシミュレーション手法の改良など様々な研究が盛んにおこなわれている．我々は，MPM[1]に着目した.MPM は，大規模な変形・破壊シミュレーションが得意であり，弾性，粘性，塑性などの多様な材質を表現可能な最先端な手法である．本研究では，ゴムのような弾性体や雪のような塑性体など様々な物体のパラ

図 1 : Sugimoto らの提案手法のフローチャート

メータ推定を目標としているため，MPM をシミュレーション手法として採用する．

3 提案手法2.2 水面シミュレーションのパラメータ推定
本研究では，動画から対象物のパラメータを推定するシステムを提案している．システムから推定されたパラメータをシミュレータに与えることで動画中の物Estimation of simulation parameters to reproduce
physical phenomena in video† Kaito Takaya, Makoto Okabe, Graduate School ofEngineering, Shizuoka University

図 3 : 提案手法のフローチャート

図 3 に本研究の提案手法のフローチャートを示す．

オプティカルフローありのモデルでは動画の特徴量とボールが地面に当たって跳ねるなどの物理現象の動画オプティカルフローの特徴量を合わせたものから分類をニューラルネットワークに入力すると，適切なパラをしている．また，図 5 の UCF-101，HMDB-51，Kiメータを推定される．推定されたパラメータを物理シ

netics とは，ラベル付けされた日常的な行動やスポーミュレータに設定することで入力を再現するシミュレツをしているシーンの動画データセットであり，いずーション映像が得られる．このようにして，動画かられに対しても，オプティカルフローを入力に追加するシミュレーション映像を作成する．提案手法のニューことで大幅に精度が向上していることがわかる．よっラルネットワークは動画から特徴量を抽出してパラメて，動画分類においてオプティカルフローは効果的なータを決定する．動画は時系列データであるので，画特徴量と考えられる．

像処理において広く用いられている 2 次元の畳み込み演算を用いると時間的情報が得られない．そのため，
本研究では空間的特徴と時間的特徴を抽出することが4 今後の方針できる 3 次元に拡張した畳み込み演算(3D Convoluti-既存手法[2]では，シミュレーションの対象を水面on) [3]を使用している．3D 畳み込み演算の処理を図に限定しているため，ボールが跳ねるといった物体の4 に示す．3D 畳み込み演算では，幅 W，高さ H，奥運動などの他の物理現象については対応していない．

行き L の 3 次元データを時間方向にも演算しているた

そのため，本研究では，物体の運動や変形，破壊などめ，3 次元データが出力されている．の物理現象に対しても再現シミュレーションを作成することを目標としている．現在は，ボールが跳ねる映像のパラメータ推定を課題に設定しているが，今後はさらに複雑な課題に取り組むことを考えている．本手法を用いることで数多くの物理現象に対しても適切にパラメータを推定することができると示したい．また，

図 4 : 2 次元，3 次元畳み込み演算の比較

C3D[3]や I3D[4]では，人間の行動を分類するタスクの精度向上に取り組んでおり，人やモノなどが含まれまた，入力に関しては Tran らが提案する C3D モデる大規模なデータセットを用いて事前学習を行うこと

ル[3]や C3D を改良した I3D モデル[4]において，動で精度向上が可能である．しかし，本手法では物体の画とオプティカルフローを併せて入力することで分類

運動や性質に関する独自のデータセットが必要である精度が向上すると報告されている．

ため，学習用データセットを大量に作成することが課題である．また，時間的情報を考慮するモデルとして
LSTM が広く用いられており，本研究のニューラルネットワークに組み込むことで精度向上に役立つのかどうかを調査する．

参考文献[1] C. Jiang, C. Schroeder, J. Teran, A. Stomakhin and A
Selle, “The Material Point Method for Simulating
Continuum Materials”, SIGGRAPH (2016)[2]

R. Sugimoto, M. He, J. Liao and P. V. Sander, “Water Simulation and Rendering from a Still Photograph”, SIGGRAPH Asia (2022)

図 5 : オプティカルフローなしモデルと[3] D. Tran, L. Bourdev, R. Fergus, L. Torresani and M.
Paluri, “Learning Spatiotemporal Features with 3Dありモデルの比較
オプティカルフローとは，動画フレーム間での移動量を計算したものである．図 5 にオプティカルフローが分類精度に与える影響を示す．オプティカルフロー
なしのモデルでは動画の特徴量から分類をしているが，Convolutional Networks”, ICCV (2015)[4]

J. Carreira and A. Zisserman, “Quo Vadis, Action
Recognition？ A New Model and the Kinetics Dataset“, CVPR (2017)