(57)【要約】      （修正有）【課題】２次元画像を動画化する際に奥行きを導入し任意の細かい動きを設定できるようにする。【解決手段】１枚の２次元画像を取り込むデータ入力手段１０１と、該取り込んだ２次元画像を蓄積するデータ蓄積手段１０２と、前記取り込んだ２次元画像を遠くの速度と手前の速度とが奥行き情報に基づいて非線形になるように３次元座標に変換する座標変換手段１０３と、前記２次元画像の内の動きを加えたい一部又は全部の画像に１又は２以上の同一又は異なる３次元の速度場を、奥行きを算出する項を加えた３次元移流方程式2011181090.tif 000017により設定する動き設定手段１０４と、2011181090.tif 000018の有限差分法による離散化表現により時間発展解を求めることで、動きを加えたい画像を速度場に応じて変形するデータを得る動画化計算手段１０５と、を備える。【選択図】図１
2011181090.tif 000002
【特許請求の範囲】
【請求項１】
動画化装置により、１枚の２次元画像を取り込んで蓄積し、該取り込んだ２次元画像を遠くの速度と手前の速度とが奥行き情報に基づいて非線形になるように３次元座標に変換し、前記２次元画像の内の動きを加えたい一部又は全部の画像に１又は２以上の同一又は異なる３次元の速度場を、奥行きを算出する項を加えた３次元移流方程式
2011181090.tif 000011
により設定し、
2011181090.tif 000012
の有限差分法による離散化表現により時間発展解を求めることで、前記動きを加えたい画像を前記速度場に応じて変形する、
ことを特徴とする静止画の動画化方法。
【請求項２】
１枚の２次元画像を取り込むデータ入力手段と、
該取り込んだ２次元画像を蓄積するデータ蓄積手段と、
前記取り込んだ２次元画像を遠くの速度と手前の速度とが奥行き情報に基づいて非線形になるように３次元座標に変換する座標変換手段と、
前記２次元画像の内の動きを加えたい一部又は全部の画像に１又は２以上の同一又は異なる３次元の速度場を、奥行きを算出する項を加えた３次元移流方程式
2011181090.tif 000013
により設定する動き設定手段と、
2011181090.tif 000014
の有限差分法による離散化表現により時間発展解を求めることで、前記動きを加えたい画像を前記速度場に応じて変形するデータを得る動画化計算手段と、
を備えることを特徴とする静止画の動画化装置。
【請求項３】
１枚の２次元画像を取り込むデータ入力ステップと、
該取り込んだ２次元画像を蓄積するデータ蓄積するステップと、
前記取り込んだ２次元画像を遠くの速度と手前の速度とが奥行き情報に基づいて非線形になるように３次元座標に変換する座標変換するステップと、
前記２次元画像の内の動きを加えたい一部又は全部の画像に１又は２以上の同一又は異なる３次元の速度場を、奥行きを算出する項を加えた３次元移流方程式
2011181090.tif 000015
により設定する動き設定ステップと、
2011181090.tif 000016
の有限差分法による離散化表現により時間発展解を求めることで、前記動きを加えたい画像を前記速度場に応じて変形するデータを得る動画化計算ステップと、
を備えることを特徴とする静止画の動画化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータグラフィック（ＣＧ）等の分野において、静止画の内の一部又は全部の画像を動画化する技術に関するものである。
【背景技術】
【０００２】
静止画にはさまざまな対象が映し出されているが、対象へ動きを加えることができれば静止画本来の情報を超えた付加価値を見出すことができる。従来では画像編集ツールを用いてメッシュに画像をマッピングし、そのメッシュの格子点をマウスで変形操作することで動きを加えることが中心的である。そのため、細かい変形では格子点の密度を高めていく必要があり、また動画化の際、画像フレーム間の動きが不連続になる問題が指摘されていた。特に、３次元的な構図が著しい対象については、奥行き情報について多くの手間と時間をかけて変形していくことが必要とされていた。
【０００３】
非特許文献１には、１枚の絵画中の波に動きを与える方法が提案され、スペクトル法により、乱数を介して複雑な動きをつくりだしている。しかし、乱数を用いているため、人為的に細かい動きを設定することができず、また波現象に表現が強く限定されている問題がある。
【０００４】
非特許文献２には、滝の映像を繰り返し表現がでるようにインタラクティブに設定できるツールが示されている。しかし、非特許文献１と同様に、適用できる素材が特定の対象（ここでは滝）に限定されている問題がある。また、２次元的な扱いに留まっており、奥行き効果が含まれていない。
【０００５】
【非特許文献１】Y-Y.Chuang,B.D.Goldman,K.C.Zheng,B.Curless,D.H.Salesin,and R.Szeliski "Animating pictures with stochastic motion textures" ACM SIGGRAPH,pp.853-860,2005.
【非特許文献２】K.S.Bhat,S.M.Seitz,J.K.Hodgins,and P.K.Khosla,"Flow-based video synthesis and editing",ACM SIGGRAPH,pp.360-363,2004.
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、２次元画像を動画化する際に奥行きを導入し任意の細かい動きを設定できるようにすることである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１にかかる発明の静止画の動画化方法は、動画化装置により、１枚の２次元画像を取り込んで蓄積し、該取り込んだ２次元画像を遠くの速度と手前の速度とが奥行き情報に基づいて非線形になるように３次元座標に変換し、前記２次元画像の内の動きを加えたい一部又は全部の画像に１又は２以上の同一又は異なる３次元の速度場を、奥行きを算出する項を加えた３次元移流方程式
2011181090.tif 000003
により設定し、
2011181090.tif 000004
の有限差分法による離散化表現により時間発展解を求めることで、前記動きを加えたい画像を前記速度場に応じて変形する、ことを特徴とする。
請求項２にかかる発明の静止画の動画化装置は、１枚の２次元画像を取り込むデータ入力手段と、該取り込んだ２次元画像を蓄積するデータ蓄積手段と、前記取り込んだ２次元画像を遠くの速度と手前の速度とが奥行き情報に基づいて非線形になるように３次元座標に変換する座標変換手段と、前記２次元画像の内の動きを加えたい一部又は全部の画像に１又は２以上の同一又は異なる３次元の速度場を、奥行きを算出する項を加えた３次元移流方程式
2011181090.tif 000005
により設定する動き設定手段と、
2011181090.tif 000006
の有限差分法による離散化表現により時間発展解を求めることで、前記動きを加えたい画像を前記速度場に応じて変形するデータを得る動画化計算手段と、を備えることを特徴とする。
請求項３にかかる発明の静止画の動画化プログラムは、１枚の２次元画像を取り込むデータ入力ステップと、該取り込んだ２次元画像を蓄積するデータ蓄積するステップと、前記取り込んだ２次元画像を遠くの速度と手前の速度とが奥行き情報に基づいて非線形になるように３次元座標に変換する座標変換するステップと、前記２次元画像の内の動きを加えたい一部又は全部の画像に１又は２以上の同一又は異なる３次元の速度場を、奥行きを算出する項を加えた３次元移流方程式
2011181090.tif 000007
により設定する動き設定ステップと、
2011181090.tif 000008
の有限差分法による離散化表現により時間発展解を求めることで、前記動きを加えたい画像を前記速度場に応じて変形するデータを得る動画化計算ステップと、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、２次元画像の３次元座標系への変換と、動きを加えたい画像への３次元の速度場の設定と、偏微分方程式を用いて動きを加えたい部分の画像を速度場に応じて変形することにより、自然な動画化の時間発展した結果のデータを得ることができる。手、顔の表情、その他の動きであっても、その３次元の速度場を検出して２次元画像の動画化処理に直接適用できる。
【発明を実施するための最良の形態】
【０００９】
本発明は、カメラを通じてあるいは既に撮影された１枚の２次元画像を取り込んで蓄積し、該取り込んだ２次元画像を３次元座標に変換し、該２次元画像の内の動きを加えたい一部又は全部の画像に１又は２以上の同一又は異なる３次元の速度場を設定し、偏微分方程式（３次元移流方程式）を用いて前記動きを加えたい画像を前記速度場に応じて変形する動画化の計算を行い時間発展したデータを得、これを動画表示するものである。
【００１０】
これを実現するための装置構成の実施例を図１に示す。本装置は、カメラを通じてあるいは既に撮影された１枚の２次元画像を取り込むデータ入力手段１０１と、取り込んだ画像を蓄積するデータ蓄積手段１０２と、該２次元画像を３次元座標に変換する座標変換手段１０３と、該２次元画像の内の動きを加えたい一部又は全部の画像に１又は２以上の同一又は異なる３次元の速度場を設定する動き設定手段１０４と、偏微分方程式（３次元移流方程式）を用いて前記動きを加えたい画像を前記速度場に応じて変形する動画化の計算を行い時間発展したデータを得る動画化計算手段１０５と、結果を表示する表示手段１０６とを備える。
【００１１】
これらの手段は、演算処理装置、外部記憶装置、メモリ等を備えたコンピュータにより実現できるものであり、本実施例の格子点モデル変形・移動の処理はプログラムによって実効される。このプログラムはコンピュータの外部記憶装置に記憶されており、記録媒体に記録することも、ネットワークを介して提供することも可能である。
【００１２】
このプログラムは、カメラを通じてあるいは既に撮影された１枚の２次元画像を取り込むステップと、該２次元画像を３次元座標に変換するステップと、前記２次元画像の内の動きを加えたい一部又は全部の画像に１又は２以上の同一又は異なる３次元の速度場を設定するステップと、偏微分方程式（３次元移流方程式）を用いて前記動きを加えたい画像を前記速度場に応じて変形する動画化の計算を行い時間発展したデータを得るステップと、を備える。
【００１３】
図２は２次元画像を３次元座標に変換し、画像の一部に３次元速度場を設定した例の説明図である。２次元の画像に、弱透視投影や平行透視投影の考え方（参考文献：ＯｐｅｎＣＶプログラミングブック製作チーム、「ＯｐｅｎＣＶ」、毎日コミュニケーションズ、１１１頁、２００７年９月２１日）を当てはめることで、奥行きについての３次元情報を加味できるようにする。図２(a)に示す１枚の２次元画像（上空から雲を見た図）に、マウスを使って、予め用意されている複数の３次元の速度場から１つをＧＵＩのメニューによって選択して設定する。ここでは渦場２０１を選択した。図２(b)に示す２次元画像は３次元座標系に変換されている。この後、画像と速度場の双方をなじませた画像とし、次に、偏微分方程式として３次元移流方程式を使って、速度場（渦場２０１）にしたがって、図２(c)に示すように画像を変形させていくと、図３(d)、(e)に示すように、時間発展した動画を容易につくることができる。図３(e)では図３(d)の雲の一部が速度場に応じて変形している。なお、３次元の速度場は、２次元画像の内の動きを加えたい一部のみならず、全部の画像に設定することができる。また、１つの３次元の速度場に限られず、２以上の同一又は異なる３次元の速度場を異なる領域に設定することもできる。
【００１４】
３次元移流方程式は、
2011181090.tif 000009
と表される。ｔは時間、ｘ、ｙは画素上の位置、ｚは奥行き、ｕ＝（ｕ，ｖ，ｗ）は速度ベクトル項である。画像濃淡値Ｉi,j,kがベクトルｕによって移流式により画像に伝播される。
【００１５】
移流方程式は、次の式(2)のように、有限差分法による離散化表現により時間発展解を求めることで、画像が段階的に外部から内部へ伝播する。初期画像は外部の既知領域である。
2011181090.tif 000010
ここで、ｎは離散化時間を表し、ｎ＝０を初期値とする。Δｔは時間ステップ幅で1.0とした。右辺は空間の１次微分である。なお、格子幅は1.0とした。
【００１６】
２次元画像を３次元座標に変換することで、２次元画像上で、遠くの速度と手前の速度とが、奥行き情報に基づいて非線形に自然に変換される。これまでは２次元速度場のままだったため、このような動画化は困難であった。
【００１７】
図３は３次元速度場の例の説明図である。図３(a)は渦場、図３(b)は発散場を示す。ユーザはマウスを使って、ＧＵＩのメニューを利用して、自在にその大きさや密度を変更できる。また、これ以外の自由曲線も３次元的に設定できる。流体現象に限らず、顔変形なども適用できる。
【００１８】
図４はカメラ４０１，４０２で撮像した映像から動き推定法より動きベクトル（３次元速度場）を検出する例の説明図である。映像中で、手４０３，４０４を動かして、３次元的な動き情報を得ることができる（参考文献：徐剛、辻三郎、「３次元ビジョン」、共立出版、１１２−１１３頁、２００１）。４０５は動きベクトルである。このように、２台のカメラ４０１，４０２を用いることで、奥行き情報を容易に獲得できる。つまり、オプティカルフローを３次元的に得ることができる。これを入力情報としてＧＵＩメニューで選択できるように保存しておき、３次元の速度場として適用することで、２次元画像中の一部または全部の画像をユーザの意思に沿って複雑な動きを行わせるように動画化することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の装置構成の実施例のブロック図である。
【図２】２次元画像に３次元座標系を当てはめ、３次元の速度場を設定し、時間展開した画像を得る説明図である。
【図３】３次元の速度場の例を示す説明図である。
【図４】カメラで撮像した２次元画像から動き推定法より３次元の速度場を検出する説明図である。
【符号の説明】
【００２０】
１０１：データ入力手段、１０２：データ蓄積手段、１０３：座標変換手段、１０４：動き設定手段、１０５：動画化計算手段、１０６：表示手段
２０１：渦場
４０１，４０２：カメラ、４０３：４０４：手、４０５：動きベクトル
【図１】
2011181090.tif 000019
【図２】
2011181090.tif 000020
【図３】
2011181090.tif 000021
【図４】
2011181090.tif 000022