(57)【要約】【課題】元の時系列画像から自動的に、連続した別の時系列画像を生成し、また、１枚の静止画像に基づいて、連続した動画を効率的に生成し、しかも、画素を最小単位した細かい変化、微妙な変化をも表現する。【解決手段】静止画像を入力画像として、入力画像に基づいて出力画像を画素単位に生成する映像生成方法において、入力画像に対して、画素の移動を決定する速度場を設定する工程と、設定された速度場に基づいて、入力画像に対して移流項を含む移流方程式を適用して出力画像を生成する工程と、を設ける。【選択図】      図２
2004334694.tif 000002
【特許請求の範囲】
【請求項１】
静止画像を入力画像として、該入力画像に基づいて出力画像を画素単位に生成する映像生成方法において、
前記入力画像に対して、画素の移動を決定する速度場を設定する工程と、
前記設定された速度場に基づいて、前記入力画像に対して移流項を含む移流方程式を適用して前記出力画像を生成する工程と、
を有する、映像生成方法。
【請求項２】
前記入力画像は時間的に連続する少なくとも２枚の静止画像からなり、前記少なくとも２枚の静止画像からオプティカルフロー法によって画素単位で速度を推定し、前記推定された速度に基づいて速度場が設定される、請求項１に記載の映像生成方法。
【請求項３】
前記入力画像をユーザーに対して表示し、該ユーザーから前記速度場の指定を受け付け、指定された速度場に基づいて速度場が設定される、請求項１に記載の映像生成方法。
【請求項４】
前記出力画像を生成する工程を異なる時刻に対応して繰り返し実行することにより、時系列に連続する複数の静止画像からなる時系列画像である前記出力画像を得る、請求項１乃至３のいずれか１項に記載の映像生成方法。
【請求項５】
前記移流方程式は、画像の濃淡値を主変数として、画素単位に時間と空間で記述された時間依存の偏微分方程式であり、前記速度場を表現するための項として、前記移流項のほかに、拡散項、発達項、衰退項及び停滞項の中からから選ばれる少なくとも１つの項を含んでいる、請求項１乃至４のいずれか１項に記載の映像生成方法。
【請求項６】
前記拡散項は、等方拡散と異方拡散の少なくとも一方を表現する項である、請求項５に記載の映像生成方法。
【請求項７】
前記入力画像が時間的に連続する２枚の静止画像を含む場合に、当該２枚の静止画像から差分画像を求め、該差分画像における画素値の大きさと正負によりしきい値を用いて発達、衰退及び停滞を分類し、前記差分画像の濃淡値を前記移流方程式の主変数として代入して移動を伴った発達、衰退及び停滞の表現を行う工程を有する、請求項５に記載の映像生成方法。
【請求項８】
前記移流方程式を差分法により離散化近似で解く工程を有する、請求項１乃至４のいずれか１項に記載の映像生成方法。
【請求項９】
前記移流項は、差分法により、計算機上の離散格子点において１次または２次または３次オーダーで近似される、請求項１乃至４のいずれか１項に記載の映像生成方法。
【請求項１０】
ナビエ・ストークス方程式と移動平均フィルタを用いて速度場を予測する工程を含む、請求項１乃至４のいずれか１項に記載の映像生成方法。
【請求項１１】
静止画像を入力画像として、該入力画像に基づいて出力画像を画素単位に生成する映像生成装置において、
前記入力画像を入力する画像入力部と、
前記入力画像に対して、画素の移動を決定する速度場を設定する速度場設定部と、
前記設定された速度場に基づいて、前記入力画像に対して移流項を含む移流方程式を適用して前記出力画像を生成する画像生成部と、
を有する映像生成装置。
【請求項１２】
前記入力画像は時間的に連続する少なくとも２枚の静止画像からなり、前記速度場設定部は、前記少なくとも２枚の静止画像からオプティカルフロー法によって画素単位で速度を推定し、前記推定された速度に基づいて速度場を設定する、請求項１１に記載の映像生成装置。
【請求項１３】
ユーザーからの、速度場設定の指示及び前記速度場設定部で設定された速度場に対する修正を受け取る速度場入力部と、
前記速度場入力部への入力に基づいて速度場を変更する速度場変更部と、
をさらに有することを特徴とする請求項１１に記載の映像生成装置。
【請求項１４】
基本速度場を示す複数の速度場フィルタを予め記憶する速度場フィルタ記憶部を有し、前記速度場フィルタに基づいて速度場が設定される、請求項１１に記載の映像生成装置。
【請求項１５】
前記画像生成部は、時系列に連続する複数の静止画像からなる時系列画像として前記出力画像を生成する、請求項１１乃至１４のいずれか１項に記載の映像生成装置。
【請求項１６】
前記移流方程式は、画像の濃淡値を主変数として、画素単位に時間と空間で記述された時間依存の偏微分方程式であり、前記速度場を表現するための項として、前記移流項のほかに、拡散項、発達項、衰退項及び停滞項の中からから選ばれる少なくとも１つの項を含んでいる、請求項１１乃至１４のいずれか１項に記載の映像生成装置。
【請求項１７】
コンピュータに、
静止画像である入力画像に対して、画素の移動を決定する速度場を設定する手順と、
前記設定された速度場に基づいて、前記入力画像に対して移流項を含む移流方程式を適用し、前記入力画像に基づく出力画像を画素単位に生成する手順と、
を実行させるプログラム。
【請求項１８】
コンピュータに、
静止画像である入力画像に対して、画素の移動を決定する速度場を設定する手順と、
前記設定された速度場に基づいて、前記入力画像に対して移流項を含む移流方程式を適用し、前記入力画像に基づく出力画像を画素単位に生成する手順と、
異なる時刻に対応して前記生成する手順を繰り返して実行して、時系列に連続する複数の静止画像からなる時系列画像である前記出力画像を得る手順と、
を実行させるプログラム。
【請求項１９】
コンピュータが読み取り可能な記録媒体であって、請求項１７または１８に記載のプログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像を編集するための映像生成方法及び装置に関し、特に、カメラやインターネット上のウェブ（ｗｅｂ）サイトなどのさまざまな観測源から得られる画像を、自由自在にユーザーの意図通りに編集して映像シーンを生成するための映像生成方法及び装置に関する。
【０００２】
【従来の技術】
ＣＭ（コマーシャル）、アニメーション、映画、個人映像など、映像の多様化が進んでいる中で、１枚の写真（静止画像）からの動画生成、２枚の静止画像からの動画生成などが望まれている。特に、昔の写真などをスキャナやカメラを通じて電子化し、それを素材にして、表情を変化させたり、風景を変形させたり、さらには川の流れを動画として表現するなどの広がりが考えられている。
【０００３】
これまでにも、画像を編集する市販の編集ツールが数多く存在する（例えば、Ａｄｏｂｅ（Ｒ）社のＰｈｏｔｏｓｈｏｐ（Ｒ）やＩｌｌｕｓｔｒａｔｏｒなど）。これらの市販の編集ツールの大半は、静止画像に対して人為的な処理を予め用意された機能によって画像の色やテクスチャーなどを変更するものである。変形についても、簡単なメッシュ変形機能を備えている。複数の静止画像から動画（映像）を生成する場合には、静止画像を１枚ずつ、調整パラメータを少しずつ変えて変更していき、これらの複数の静止画像を連続した画像すなわち動画として再生している。この場合、動画を構成する静止画像間のわずかな変化量も、ユーザーの感覚に基づいて設定されているので、得られる動画は不連続な動きになりがちである。
【０００４】
また、球などの重心の移動軌跡をユーザーが設定し、設定された移動軌跡にしたがって球が移動することで、動画生成と呼んでいるツールも多い。これらのツースにを用いた顔の変形操作では、顔の基本ワイヤーフレームを予め準備し、ユーザーは、人の顔画像などにその基本ワイヤ−フレームを手動で位置合わせをする。その後、ワイヤーフレームにテクスチャーマッピングを行い、ワイヤーフレームのメッシュ点を移動させることで、必要とされる動画の変形表現を作る。
【０００５】
ＳＩＧＧＲＡＰＨ：  Ｌｅｏｎａｒｄ  ＭｃＭｉｌｌａｎ  ａｎｄ  Ｇａｒｙ  Ｂｉｓｈｏｐ，  ”Ｐｌｅｎｏｐｔｉｃ  ｍｏｄｅｌｉｎｇ  ａｎ  ｉｍａｇｅ−ｂａｓｅｄ  ｒｅｎｄｅｒｉｎｇ  ｓｙｓｔｅｍ”，  ｐｐ．  ３９−４６，  １９９５（非特許文献１）には、建物などの１枚の写真から、視点、構図を変更するために、奥行きマップを人為的に作成したり、影を除去する方法が提案されている。しかしながら、非特許文献１には、１枚の写真からの流体状パターンでの動画作成方法については記述されていない。
【０００６】
ＩＣＣＶ：  Ｓ．Ｓｏａｔｔｏ，  Ｇ．Ｄｏｒｅｔｔｏ，  ａｎｄ  Ｙ．Ｎ．Ｗｕ，  ”Ｄｙｎａｍｉｃ  ｔｅｘｔｕｒｅ”，  ２００１（非特許文献２）には、数十枚以上の過去画像を用い、自己回帰モデルに当てはめて、流体状の未来画像を作る方法が提案されている。しかしながらこの方法では、１枚のみの画像から未来画像を生成する場合には、別途、速度を入力しなければならないが、自己回帰モデルは速度項を陽に持たないため、速度場入力との整合性がよくなく、適切が未来画像が得られないことがある。また、数十枚以上の過去画像を用いても、生成される未来画像ではその高周波数成分が除去されるため、ボケのある画像しか生成できない問題がある。
【０００７】
ＥＣＣＶ：  Ｙｉｚｈｏｕ  Ｗａｎｇ  ａｎｄ  Ｓｏｎｇ−Ｃｈｕｎ  Ｚｈｕ，  ”Ａ  ｇｅｎｅｒａｔｉｖｅ  ｍｅｔｈｏｄ  ｆｏｒ  ｔｅｘｔｕｒｅｄ  ｍｏｔｉｏｎ：  ａｎａｌｙｓｉｓ  ａｎｄ  ｓｙｎｔｈｅｓｉｓ”，  ｐｐ．  ５８３−５９８，  ２００２（非特許文献３）には、羽ばたく鳥や花火、滝などに対して、個々に、ｍｏｖｅｔｏｎと呼ばれる変形可能な画像要素を設計し、必要な数だけ、各映像パターンを近似する方法が提案されている。各画像要素が移動する軌跡については、２次のマルコフ（Ｍａｒｋｏｖ）モデルで記述されている。この方法では、各画像パターンへの画像要素の設計と要素数とを予め人為的に設計しなくてはならないのと、最小単位が画像要素による十数画素の大きさなので、画像全体としては、ぼけたパターンとなってしまう問題がある。
【０００８】
従来技術では、画像のもつ複雑なテクスチャー、シーンの背景、全景を静止画から動画へ容易に生成できるツールは見当たらない。特に、鮮明さを残すような手法は見当たらない。
【０００９】
【非特許文献１】
ＳＩＧＧＲＡＰＨ：  Ｌｅｏｎａｒｄ  ＭｃＭｉｌｌａｎ  ａｎｄ  Ｇａｒｙ  Ｂｉｓｈｏｐ，  ”Ｐｌｅｎｏｐｔｉｃ  ｍｏｄｅｌｉｎｇ  ａｎ  ｉｍａｇｅ−ｂａｓｅｄ  ｒｅｎｄｅｒｉｎｇ  ｓｙｓｔｅｍ”，  ｐｐ．  ３９−４６，  １９９５
【００１０】
【非特許文献２】
ＩＣＣＶ：  Ｓ．  Ｓｏａｔｔｏ，  Ｇ．  Ｄｏｒｅｔｔｏ，  ａｎｄ  Ｙ．  Ｎ．  Ｗｕ，  ”Ｄｙｎａｍｉｃ  ｔｅｘｔｕｒｅ”，  ２００１
【００１１】
【非特許文献３】
ＥＣＣＶ：  Ｙｉｚｈｏｕ  Ｗａｎｇ  ａｎｄ  Ｓｏｎｇ−Ｃｈｕｎ  Ｚｈｕ，  ”Ａ  ｇｅｎｅｒａｔｉｖｅ  ｍｅｔｈｏｄ  ｆｏｒ  ｔｅｘｔｕｒｅｄ  ｍｏｔｉｏｎ：  ａｎａｌｙｓｉｓ  ａｎｄ  ｓｙｎｔｈｅｓｉｓ”，  ｐｐ．  ５８３−５９８，  ２００２
【００１２】
【非特許文献４】
Ｂ．  Ｋ．  Ｐ．  Ｈｏｒｎ  ａｎｄ  Ｂ．  Ｇ．  Ｓｃｈｕｎｃｋ，  ”Ｄｅｔｅｒｍｉｎｉｎｇ  Ｏｐｔｉｃａｌ  Ｆｌｏｗ”，  Ａｒｔｉｆｉｃａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，  Ｖｏｌ．  １７，  Ｎｏ．  １，  ｐｐ．  １８５−２０３，  １９８１
【００１３】
【非特許文献５】
Ｐ．  Ｐｅｒｏｎａ  ａｎｄ  Ｊ．  Ｍａｌｉｋ，  ”Ｓｃａｌｅ−ｓｐａｃｅ  ａｎｄ  ｅｄｇｅ  ｄｅｔｅｃｔｉｏｎ  ｕｓｉｎｇ  ａｎｉｓｏｔｒｏｐｉｃ  ｄｉｆｆｕｓｉｏｎ”，  ＩＥＥＥ  Ｔｒａｎｓ．  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，  Ｖｏｌ．  １２，  Ｎｏ．  ７，  ｐｐ．  ６２９−６３９，  １９９０
【００１４】
【発明が解決しようとする課題】
結局、従来の画像編集ツールで動画像を生成しようとする場合には、ユーザーは、静止画像に対して１枚ずつ、フィルタリングなどの工程を何回となく人為的に行っており、その際、移動や変形量を感覚的に調整することを強いられいた。そのため、静止画像で数百枚を超えるような動画の作成には、多大な創作時間と費用が必要となっていた。
【００１５】
そこで本発明の目的は、元の時系列画像から自動的に、連続した別の時系列画像を生成でき、また、１枚の静止画に基づいて、速度場編集ツールを介して、連続した動画を効率的に生成することができ、しかも、画素を最小単位した細かい変化、微妙な変化をも許容する方法及び装置を提供することにある。画素を最小単位した細かい変化、微妙な変化としては、画像中の特定の対象の変形、移動や、背景などのテクスチャーのテクスチャー変形や移動などが例示される。
【００１６】
【課題を解決するための手段】
本発明の映像生成方法は、静止画像を入力画像として、入力画像に基づいて出力画像を画素単位に生成する映像生成方法において、入力画像に対して、画素の移動を決定する速度場を設定する工程と、設定された速度場に基づいて、入力画像に対して移流項を含む移流方程式を適用して出力画像を生成する工程と、を有する。
【００１７】
本発明の映像生成方法においては、入力画像は、時間的に連続する少なくとも２枚の静止画像からなっていてもよいし、単一の静止画像であってもよい。前者の場合には、それら少なくとも２枚の静止画像からオプティカルフロー法によって画素単位で速度を推定し、推定された速度に基づいて速度場が設定されるようにすることが好ましい。後者の場合には、入力画像をユーザーに対して表示し、ユーザーから速度場の指定を受け付け、指定された速度場に基づいて速度場が設定されるようにすることが好ましい。さらに本発明の映像生成方法では、出力画像を生成する工程を異なる時刻に対応して繰り返し実行することにより、時系列に連続する複数の静止画像からなる時系列画像である出力画像を得るようにすることが好ましい。
【００１８】
本発明において移流方程式は、例えば、画像の濃淡値を主変数として、画素単位に時間と空間で記述された時間依存の偏微分方程式である。移流方程式は、速度場を表現するための項として、移流項のほかに、拡散項、発達項、衰退項及び停滞項の中からから選ばれる少なくとも１つの項を含んでいてもよい。ここで拡散項は、例えば、等方拡散と異方拡散の少なくとも一方を表現する項である。また、入力画像が時間的に連続する２枚の静止画像を含む場合に、その２枚の静止画像から差分画像を求め、差分画像における画素値の大きさと正負によりしきい値を用いて発達、衰退及び停滞を分類し、差分画像の濃淡値を移流方程式の主変数として代入して移動を伴った発達、衰退及び停滞の表現を行うようにしてもよい。
【００１９】
さらに本発明では、ナビエ・ストークス方程式と移動平均フィルタを用いて速度場を予測する工程を設けてもよい。
【００２０】
本発明の映像生成装置は、静止画像を入力画像として、入力画像に基づいて出力画像を画素単位に生成する映像生成装置において、入力画像を入力する画像入力部と、入力画像に対して、画素の移動を決定する速度場を設定する速度場設定部と、設定された速度場に基づいて、入力画像に対して移流項を含む移流方程式を適用して出力画像を生成する画像生成部と、を有する。
【００２１】
この映像生成装置は、ユーザーからの、速度場設定の指示及び速度場設定部で設定された速度場に対する修正を受け取る速度場入力部と、速度場入力部への入力に基づいて速度場を変更する速度場変更部と、備えていてもよい。ユーザーは、マウスなどのポインティングデバイスによって、入力画像中の各領域ごとに速度場を設定できることが好ましい。この映像生成装置は、基本速度場を示す複数の速度場フィルタを予め記憶する速度場フィルタ記憶部を有し、速度場フィルタに基づいて速度場を設定するものであってもよい。この場合、ユーザーが、さまざまな基本速度場パターンから適用すべき速度場を選択でき、さらに、速度場の大きさ、形状などを調整しながら、編集対象の入力画像上に速度場を設定できるようにすることが好ましい。基本速度場としては、例えば、振動（波）、渦、発散、収束、傾斜状速度なとが挙げられる。このような基本速度場において調整可能なパラメータは、例えば、振動の場合にはその周波数や振幅であり、渦や発散、収束では、速度や加速度である。さらに、ユーザーが、発達、衰退、停滞について領域を特定して指定できるようにすることが好ましい。
【００２２】
【発明の実施の形態】
次に、本発明の好ましい実施の形態について、図面を参照して説明する。図１は、本発明の実施の一形態の映像生成装置の構成を示すブロック図である。
【００２３】
この映像生成装置は、１枚の２次元静止画像、あるいは、時間的に連続した複数枚の２次元静止画像からなる時系列画像（すなわち動画）を入力として、その入力された静止画像の時間帯とは異なる時間帯での連続した時系列画像を生成するものである。映像生成装置は、時系列画像における各画像の各画素の値をそれぞれ決定し、それによって、画素単位で時系列画像を生成する。
【００２４】
映像生成装置は、画像が入力する画像入力部１１と、入力した画像を蓄積する画像蓄積部１２と、速度場フィルタを設定しまた速度場を変更する速度場編集部１３と、設定されあるいは変更された速度場に基づいて、画像蓄積部１２に蓄積されている画像に対し移流方程式に基づく処理を施し、画像を生成する画像生成部１４と、生成した画像を出力する画像出力部１５と、を備えており、画像生成部１４において、異なる時刻に対応して画像生成を繰り返し実行することによって、動画像を生成する。ここで速度場とは、静止画像の各画素が新たに生成される画像においてどのように移動しているかを決定するものであり、画像の各位置について、移動の方向と大きさとを規定している。速度場編集部１３には、このような速度場を表わす複数のフィルタ（速度場フィルタ）を予め記憶している速度場フィルタ記憶部１６と、速度場フィルタ記憶部１６に記憶されている速度場フィルタの中から１つを選択し、あるいは複数の入力画像から速度場を推定して、入力画像に対して適用すべき速度場として設定する速度場設定部１７と、速度場設定部１７で設定された速度場に対するユーザーからの修正を受け入れる速度場入力部１８と、ユーザーからの入力に基づいて速度場を変更する速度場変更部１９と、を備えている。ユーザーによる速度場の修正を行わない場合には、速度場入力部１８及び速度場変更部１９は設けなくてもよい。
【００２５】
次に、上述した映像生成装置を用いた映像の生成手順について説明する。この生成手順は、本発明の映像生成方法に基づくものである。この生成手順によれば、インターネットなどのネットワーク上のウェブサイトに設置されたカメラ（いわゆるウェブカメラ）やウェブサイト上の静止画像、さらにはスキャナやデジタルカメラから得られる静止画像から、連続した時系列画像（動画）が画素単位に生成される。また、ある時間帯での時系列画像（少なくとも２枚の静止画像を含む）から、過去や未来などの異なる時間帯での時系列画像が生成される。
【００２６】
静止画像あるいは動画は、画像入力部１１に入力して画像蓄積部１２に蓄積される。速度場編集部１３は、入力した画像から自動的に速度場を推定して推定結果に基づいて速度場を設定したり、あるいは、ユーザーが想定したシナリオに応じて速度場を設定する。ユーザーが想定したシナリオに応じて速度場を設定する場合には、例えば、渦、発散、収束、振動、波状、傾斜状などで表わされる速度場が予め速度場フィルタとして速度場フィルタとして速度場フィルタ記憶部１６に予め用意されており、ユーザーからの入力に応じてインタラクティブに速度場をユーザーに提示し、また、ユーザーからの修正入力に応じてその速度場が修正される。そして、画像生成部１４は、設定された速度場に基づいて、入力画像から出力画像を生成する。この場合、時間依存の偏微分方程式である移流方程式による数値計算を入力画像に施すことにより、出力画像が得られる。この出力画像は、入力画像が、その入力画像に対応する時刻から指定された時間（過去方向または未来方向）だけ速度場に基づいて変化した画像である。したがって、移流方程式による数値計算を過去や未来まで繰り返すことによって、入力画像に対応する時刻（または時間帯）とは異なる時間帯での時系列画像が得られることになる。このようにして生成した画像は、画像出力部１５から出力され、例えば、動画として表示される。
【００２７】
このように本実施形態では、大きく分けると、２枚の入力画像があってそこから速度場を自動的に推定する場合（方法１）と、１枚の入力画像しかなくそれに対してユーザーが速度場を指定する場合（方法２）との２通りの方法で、出力の時系列画像が得られることになる。図２は、この方法１と方法２での処理を対比して示したものである。
【００２８】
方法１、すなわち入力画像が２枚であって両者が連続した時系列画像である場合には、それらの画像に対応する時刻がｔ−１，ｔであるとする。本実施形態では、例えば、オプティカルフロー法などの速度自動推定法により、２枚の入力画像での対応する画素を決定し、対応する画素の座標が両方の入力画像でどれだけずれているかを判別し、そのずれに基づいて、画素の移動速度（方向及び大きさ）を画素ごとに決定する。このとき時刻ｔ−１、ｔを入れ替え、差分を求めることによって、未来方向と過去方向とを容易に入れ替えることができる。すなわち、時刻ｔ−１，ｔの順序により未来を、時刻ｔ，ｔ−１の順序によって過去と表わすことができる。オプティカルフロー法の詳細については、例えば、Ｂ．  Ｋ．  Ｐ．  Ｈｏｒｎ  ａｎｄ  Ｂ．  Ｇ．  Ｓｃｈｕｎｃｋ，  ”Ｄｅｔｅｒｍｉｎｉｎｇ  Ｏｐｔｉｃａｌ  Ｆｌｏｗ”，  Ａｒｔｉｆｉｃａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，  Ｖｏｌ．  １７，  Ｎｏ．  １，  ｐｐ．  １８５−２０３，  １９８１（非特許文献４）に記載されている。
【００２９】
一方、方法２では、１枚の入力画像から、速度場編集ツールを介して、ユーザーがそのシナリオに応じた速度場を設定する。このとき、後述するように、入力画像をユーザーに対して提示し、提示された画像に対してユーザーが所望の速度場を描き入れることにより、速度場が設定される。ユーザーによる速度場の指定は、画素ごとなされるわけではないので、速度場編集ツールは、ユーザーの入力に基づいて画素ごとの速度を計算する。
【００３０】
方法１、方法２のいずれの場合であっても、上述のようにして画素ごとの速度が設定されるから、画素ごとに速度を表わした速度場ファイルが生成する。そして、画像生成部１５は、速度場ファイルに基づいて、画素単位で速度をパターン生成方程式に入力し、このパターン生成方程式を入力画像に適用して、出力画像を生成する。パターン生成方程式としては移流方程式が用いられる。本実施形態で用いられる移流方程式を式（１）に示す。ここでは移流項のみが示されている。
【００３１】
【数１】
2004334694.tif 000003
【００３２】
ここで、
【００３３】
【外１】
2004334694.tif 000004
【００３４】
は、入力する２次元画像における、２次元平面内での各画素の濃淡値を示している。同様に、
【００３５】
【外２】
2004334694.tif 000005
【００３６】
は、入力画像における各画素ごとの２次元速度を示している。∇は空間１次微分であり、ｔは時刻である。Ｉｘ，Ｉｙ，Ｉｔをそれぞれ、画素濃淡値の、空間（ｘ方向及びｙ方向）と時間の１次微分とする。すなわち本実施形態では、移流方程式は、画像の濃淡値を主変数とするものであって、画素単位に、時間と空間とで記述された時間依存の偏微分方程式である。
【００３７】
本実施形態では、入力画像すなわち数値演算の初期値となるべき初期画像に基づいて、方法１または方法２によって得られた速度を画素単位で移流方程式に与えて、時間発展を計算することにより、未来または過去再現が容易に画像として次々と生成される。言い換えれば、入力画像として与えられた初期の画像パターンが、時間と空間で変化して、出力画像となるパターンが生成される。移流方程式において、速度は、移流項に代入される。
【００３８】
次に、時間の１次微分について、未来再現、過去再現及びオプティカルフローでの速度計算を行う方法について示す。移流方程式から、１つの先の時刻の未来の濃淡値を計算するためには、時間項で、時刻ｎ＋１での濃淡値を未知数として、時刻ｎまでの画像を事前知識として考えればよい。速度を自動計算する場合は、時刻ｎ，ｎ−１での画像を用いる。これを数式でまとめると、
【００３９】
【数２】
2004334694.tif 000006
【００４０】
となる。過去再現の場合も同様に、時刻ｎ，ｎ−１での事前知識から、１つ過去の時刻に溯って、ｎ−２での濃淡値は、
【００４１】
【数３】
2004334694.tif 000007
【００４２】
と表現される。未来の任意の時刻におけるパターンの生成については、
【００４３】
【数４】
2004334694.tif 000008
【００４４】
として、再帰的に求めていけばよい。計算アルゴリズムとしては、ｎ，ｎ＋１での値を繰り返し入れ替えればよい。過去の任意の時刻におけるパターンの再現の場合も、同様である。
【００４５】
ここで、移流基本方程式について、その導出過程を説明しておく。
【００４６】
ある変量Ｆを考え、Ｆの微小時間における時間と１次元移動の変化するものとして、２次オーダまでテイラー展開すると、式（Ａ１）が得られる。
【００４７】
【数５】
2004334694.tif 000009
【００４８】
ここで、変量Ｆに発達や衰退などの変化がない場合、Ｆに対する１次元の移流基本方程式を導出できる。特に、空間微分を拡張すれば、式（Ａ２）に示すように、２次元移流方程式を得る。
【００４９】
【数６】
2004334694.tif 000010
【００５０】
次に、式（Ａ２）を風上差分法により離散化すると、式（Ａ３）が得られる。この方法は、流れの方向に応じて、前進差分と後退差分を適応的選択して計算することで、誤差伝播の影響による差分誤差を抑制することを特徴とする。式（Ａ３）は１次オーダである。
【００５１】
【数７】
2004334694.tif 000011
【００５２】
この式（Ａ３）をテイラー展開してその特性を解析する（式（Ａ４））。
【００５３】
【数８】
2004334694.tif 000012
【００５４】
式（Ａ４）の右辺第２項は、数値拡散項であり、数値解を平滑化する効果を有する。右辺第３項は数値分散項であり、数値解を振動させる。次に、式（Ａ３）から３次オーダの風上差分式を導出する。空間上の１点を近傍の３点を用いて、２次式で補間をすると、式（Ａ５）を得る。
【００５５】
【数９】
2004334694.tif 000013
【００５６】
速度の絶対値を用いて式（Ａ５）を１つにまとめると、式（Ａ６）を得る。
【００５７】
【数１０】
2004334694.tif 000014
【００５８】
式（Ａ６）の特性を見るために、テイラー展開すると、数値分散項の
【００５９】
【数１１】
2004334694.tif 000015
【００６０】
が含まれる。安定化のために、第１項を
【００６１】
【数１２】
2004334694.tif 000016
【００６２】
で置き換えて相殺効果をつくる（河村スキーム）。さらに、式（Ａ６）の第２項に含まれる４階微分の数値拡散項の効果を緩和させるために、
【００６３】
【数１３】
2004334694.tif 000017
【００６４】
で置き換える。これらをまとめて、本実施形態で適用している３次オーダの風上差分式（Ａ７）を得る。ここでは１次元での式を示しているが、２次元の場合も同様に導出できる。
【００６５】
【数１４】
2004334694.tif 000018
【００６６】
式（Ａ７）をテイラー展開で解析する。αの大きさによって、４階微分項に起因する数値拡散効果が大きいことがわかる。
【００６７】
【数１５】
2004334694.tif 000019
【００６８】
以上、本実施形態で用いる移流基本方程式の導出を説明した。ここで「基本方程式」としているのは、以下に説明するように、本実施形態では、移流項のほかに、必要に応じて、拡散項、発達項、衰退項及び停滞項の少なくとも１つを含む移流方程式が使用されるからである。
【００６９】
本実施形態では、移流方程式は、差分法により、離散化近似で解けばよい。また、移流方程式の移流項は、計算機上の離散格子点において、例えば、差分法により、１次、２次及び３次のオーダで近似することが好ましい。
【００７０】
次に、本実施形態で用いる速度場編集ツールについて説明する。
【００７１】
速度場編集ツールは、入力画像を表示しつつ、ユーザーからのその入力画像に適用すべき速度場パターンの指定や修正の入力を受け付けるものであり、入力画像上に編集中の速度場パターンを重畳することにより、どのような速度場が設定されるかをユーザーにわかりやすく表示する。速度場編集ツールは、速度場編集部１３としてこの映像生成装置に実装されている。すなわち、速度場の入力や修正のためにユーザーが使用するマウスやキーボードなどが速度場入力部１８に対応し、速度場変更部１９は、速度場編集ツールのうち、ユーザー入力にあわせて速度パターンを変更する部分に対応する。速度場設定部１７は、現在編集中の速度場パターンを表示するとともに、各画素ごとの速度値を計算する速度場の連続化の処理も実行する。この速度場編集ツールでは、基本的な速度場、例えば、渦、拡散、波、傾斜などの形態の速度場パターンが、速度場フィルタとして予め速度場フィルタ記憶部１６に記憶されており、ユーザーは、所望の速度場フィルタを画像上の所望の領域に設定することにより、簡単に速度場の設定を行えるようになっている。
【００７２】
図３は、速度場編集ツールの操作の概要を示す図である。ここでは、雲を示した１枚の静止画像が入力し、この画像に対して、ユーザーがさまざまな速度場パターンを入力し設定して、動画を生成する場合を説明する。
【００７３】
入力画像に対する速度の基本場（すなわち基本速度場）を示すために、ユーザーに対して速度場パレット３１が表示される。図示した例では、速度場パレット３１には、ユーザーが入力した、渦、拡散、波（振動）、傾斜状などの基本速度場が表示されている。また、速度場における速度の大きさや方向を適宜に調整するために、速度場ブラシ３２がいわゆるフローティングパレットとして表示されている。ユーザーは、速度場パレット３１及び速度場ブラシ３２に対しては、マウスなどのポインティングデバイスによって、メニュー選択の要領で指定などを行うことができる。なお、傾斜状の速度場とは、関節物体の支点まわりの回転を表現するものである。
【００７４】
ユーザーが入力した速度場は、そのままでは空間的には不連続場であって、そこから出力画像を生成すると、不自然なパターンが生成してしまう。そこで、初期速度として用いられる連続した速度場をつくるために、ユーザーによって入力された速度場に対して、移動平均フィルタを何回か作用させる。次に、必要に応じてであるが、流体力学の分野で広く用いられているナビエ・ストークス（Ｎａｖｉｅｒ−Ｓｔｏｋｅｓ）方程式を適用する。その結果、時間的な変化が自然に近い時系列画像３３を計算することができる。
【００７５】
一方、図３の画像３４は、従来法により市販の画像編集ツールを適用して動画を生成する際の手順を示している。従来法により動画を生成する場合には、例えば、画像に対してメッシュをあてはめて、マウスなどを用いてメッシュ自体を手作業で移動、変形することによって、少しずつ雲の変形を行うことになる。さらに、ぼかしなどのフィルタをかけるなどの加工処理を加える。しかしながら従来法では、連続した表現を実現することできない。これは、メッシュやフィルタなどをユーザーが感覚的に調整することによって画像間の変形の度合いを設定することに起因している。それに対して本実施形態の方法は、数理方程式に基づいて画像間の変形の度合いを設定しているために、各画素単位ごとに数学的かつ物理的に変化するとともに連続した表現を実現した時系列画像を得ることができるのが特徴である。
【００７６】
以下、図４、図５及び図６を用いて、本実施形態において用いられる速度場ブラシの例を説明する。
【００７７】
図４は、渦状の速度場パターンに対応する速度場ブラシを示している。速度ブラシの中央のほぼ正方形の領域内には、大きさと方向とを有する多数の矢印によって、速度場パターンとして、各点での速度の大きさと方向とが示されている。図４の（ａ）は、渦の加速度成分の調整を示している。加速度成分は、速度における変化を表現する。この速度場ブラシによれば、速度場ブラシの右端にあるスライダーバーを操作することによって、渦について、中心から外周に向けて速度場における速度の大きさを変化させることができ、加速度表現を実現することができる。図４の（ｂ）は、渦の強度の調整を示しており、速度場パターンの表示領域の左に隣接するスライダーバーによって渦の強度を調整できることを示している。図４の（ｃ）は、渦の広がりの調整を示しており、速度場パターンの表示領域の下に隣接するスライダーバーによって渦の広がりを調整できることを示している。
【００７８】
図５は、振動を表現する速度場パターンに対応する速度場ブラシを示している。この図に示されるように、振動表現についても、その振幅や振動数（波長）をスライダーバーによって調整できる。例示していないが、速度の大きさもスライターバーによって調整できる。
【００７９】
図６の（ａ）は、発散場（発達）の速度場パターンにおける加速度調整を示しており、ここでも、速度場パターンの表示領域の左に隣接するスライダーバーによって、発散場の加速度を調整できる。ここでは例示していないが、速度場パターンの表示領域の下に隣接するスライダーバーによって、発散場の速度の大きさを調整できる。図６の（ｂ）は、収束場（衰退）の速度場パターンにおける速度調整を示しており、ここでも、速度場パターンの表示領域の下に隣接するスライダーバーによって、収束場の速度の大きさを調整できる。ここでは例示していないが、速度場パターンの表示領域の左に隣接するスライダーバーによって、収束場の加速度を調整できる。
【００８０】
さらに本実施形態では、拡散効果を表わす速度場パターンも用意される。拡散効果は、文字通り、初期状態での画素濃淡値が画像の全体にわたって、広がっていく効果である。出力される画像としてはボケが生じる。この拡散には、等方と異方の２つのタイプが知られており、図７は、等方拡散法と異方拡散法の相違を示している。
【００８１】
等方拡散は、図７の（ａ）に示すように、濃淡値を変数として、その２次の空間微分項と時間項からなる方程式で記述される。拡散係数の調整により、単位時間ステップ当りの、ぼやけの度合いが異なる。濃淡値領域７１において、等方的に初期の濃淡値が薄まるように広がっていくのが特徴である。
【００８２】
一方、異方拡散では、図７の（ｂ）に示すように、特定の方向だけボケが生じるように計算が進められる。異方拡散は、次式のように表現される。
【００８３】
【数１６】
2004334694.tif 000020
【００８４】
この式において、右辺第１項のｃ（ｘ，ｙ，ｚ）は、拡散係数に相当する。右辺第２項では、濃淡値についての空間での１次微分が表わされている。異方拡散の表現についての詳細は、Ｐｅｒｏｎａらの論文（Ｐ．  Ｐｅｒｏｎａ  ａｎｄ  Ｊ．  Ｍａｌｉｋ，  ”Ｓｃａｌｅ−ｓｐａｃｅ  ａｎｄ  ｅｄｇｅ  ｄｅｔｅｃｔｉｏｎ  ｕｓｉｎｇ  ａｎｉｓｏｔｒｏｐｉｃ  ｄｉｆｆｕｓｉｏｎ”，  ＩＥＥＥ  Ｔｒａｎｓ．  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，  Ｖｏｌ．  １２，  Ｎｏ．  ７，  ｐｐ．  ６２９−６３９，  １９９０；非特許文献５）に記載されている。。この異方拡散の基本的な効果は、エッジ構造７３を保存しながら、緩やかな濃淡値領域７２のみをぼけさせるというものである。なお、等方拡散の場合には、エッジ構造を含めてすべての領域、画像特徴量にボケが生じる。画像生成においては、ボケを生じることなくノイズを削減することが必要な場合があるが、異方拡散は、このような目的において有効である。
【００８５】
さらに、このような等方拡散、異方拡散を速度場に加えることのもう一つの重要な効果として、数値計算が安定化することが挙げられる。すなわち、上述した移流基本方程式のみでは数値計算に不安定性が生じるが、等方拡散及び異方拡散の少なくとも一方を表わす拡散項を移流基本方程式に追加することで、数値計算が安定化することが知られている。
【００８６】
次に、時系列に連続する２枚の画像があったときに画素ごとにその一方の濃淡値から他方の濃淡値を減算して得られる差分画像について説明する。このような差分画像では、発達（発散）、衰退（収束）及び停滞の３つの状態がある。図８は、これらの３つの状態の相違を示している。図８に示すように、画像における特定の領域７１が、時間の経過に伴って図示矢印に示すように移動したものとする（移動には、移動距離がゼロすなわち移動していない場合も含まれるものとする）。すると、その特定の領域８１の面積が、移動前と移動後とでは変化することがあるが、ここで移動後の方が面積が大きくなっている場合には「発達」であり、移動後の方が面積が小さければ「衰退」であり、移動前後で面積が変化していなければ「停滞」である。
【００８７】
これら３つの状態は、連続する２つの画像からの差分値の大きさと正負により、しきい値により分類される。図８に示すように移動前の領域と移動後の領域とが一部で重なっているとすると、移動後の領域には含まれるが移動前の領域には含まれない部分８２と、移動前の領域には含まれるが移動後の領域には含まれない部分８３とが生じる。ここで部分８２の面積の方が部分８３の面積よりも大きければ「発達」ということになり、部分８２の面積の方が部分８３の面積よりも小さければ「衰退」ということになる。領域８１がその周囲から濃淡値によって明確に区別されるとすれば、部分８２，８３は、濃淡値の差分値から識別することができる。したがって、２つの画像からの差分値の大きさ及び正負に基づいて、上述した３つの状態を識別することができる。
【００８８】
また、時系列に連続する２枚の画像を入力画像とする場合には、これらの画像間の差分画像の濃淡値を移流方程式の主変数として代入することによって、移動を伴った発達、衰退あるいは停滞の表現を行うこともできる。また、入力画像が１枚である場合においても、上述したように速度場編集ツールにおいて、ユーザーが、発達、衰退あるいは停滞について、マウス操作により領域を特定して指定することもできる。
【００８９】
このように発達、衰退あるいは停滞がある場合の移流方程式は、
【００９０】
【数１７】
2004334694.tif 000021
【００９１】
において、変数Ｉに、差分画像が入力される。移動速度については、パターン全体からオプティカルフローによる計算結果が適用される。
【００９２】
以上、本実施形態において用いられる効果すなわち移流、拡散及び３つの状態（発達、衰退、停滞）について説明したが、これらについては、数式表現としては線形和で表わすことができる。すなわち、（移流）＋（拡散）＋（３つの状態）を各画素について表現し、その時間発展を計算すればよい。このような時間発展は、画像生成部１４において計算される。
【００９３】
以上説明した実施形態においては、パターン予測に必要な速度場を形成するために、移動平均フィルタを使用している。しかしながら、速度場の形成には、移動平均フィルタ以外の種々のものも使用することができる。例えば、ナビエ・ストークス方程式を用いることができる。図９は、ナビエ・ストークス方程式による流体的な速度場の一例を示している。移動平均フィルタは、速度場の低周波数成分が伝播する点はいいのだが、流体的な性質は含まれていない。そこで、流体力学の分野で広く適用されている、ナビエ・ストークス方程式を適用することにより、流体的性質を有するように画像を生成することができる。
【００９４】
ナビエ・ストークス方程式は、速度と気圧（圧力）の２つを主変数にもつ。本実施形態では、速度場を速度の初期値として、ナビエ・ストークス方程式を解いている。以下、本実施形態におけるナビエ・ストークス方程式（以下、ＮＳ方程式と記述する）の解法を説明する。
【００９５】
ここでは、ＨＳＭＡＣ法と呼ばれる方法でＮＳ方程式を解いている。この方法では、ＮＳ方程式と連続方程式を圧力（もしくは気圧）に関して調整をしながら、非線形連立方程式を反復的に解いていく。ＮＳ方程式は、速度と圧力の２つの独立変数を含む。流れの対象を非圧縮流体と仮定すると、離散化した連続方程式は、式（Ａ８）に示すように、ゼロが速度場に対する条件となる。計算格子点上、圧力変数は１メッシュごとに１変数、速度変数については、その垂直・水平成分を格子点上に配置するものとする。
【００９６】
【数１８】
2004334694.tif 000022
【００９７】
また、ここでは、式（Ａ９）で示されるように、降水パターンへの外部力はないものとする。
【００９８】
【数１９】
2004334694.tif 000023
【００９９】
次に、未来の速度場を得るために、時間項に関して、式（Ａ１０）で示すように、前進差分化を行う。
【０１００】
【数２０】
2004334694.tif 000024
【０１０１】
この方法では、オプティカルフローにより推定された速度成分をＮＳ方程式を解くときの初期値として与え、圧力については全領域ゼロとして推定している。境界条件は、画像輪郭部に連続条件を課している。また、粘性係数と密度については経験的に決定した。
【０１０２】
各メッシュごとに、圧力の傾きを考えた場合、その傾きに沿って速度の方向と大きさが決定される。式（Ａ８）が各メッシュごとに満たされるように、圧力を調整するような解法をとる。式（Ａ１１），（Ａ１２）を用いて、メッシュごとに速度成分と圧力を微小量ずつ、全メッシュについて反復的に計算を進める。この反復計算は、条件式（Ａ８）が一定の微小値未満となるまで続けられる。
【０１０３】
【数２１】
2004334694.tif 000025
【０１０４】
収束した結果から、ある離散時間から次の時間ステップまでの、速度成分と圧力が予測できる。したがって、時間積分を所定回数繰り返すことによって、任意時刻に対応する画像を得ることができる。
【０１０５】
図１０は、１枚の画像から動画を生成した例を示している。図示左側に示すように、テクスチャーを有する１枚のパターンがあり、そこには、上述した本実施形態での手法に基づいて、速度場が書き込まれている。そして、このような速度場に基づいて画像を生成することにより、図示右側に示すように、意図通りにテクスチャー模様を変化させることができ、移動変形された画像を生成することができた。
【０１０６】
以上説明した本実施形態の映像生成装置は、それを実現するための計算機プログラムを、パーソナルコンピュータなどの計算機に読み込ませ、そのプログラムを実行させることによっても実現できる。映像生成装置を実現するためのプログラムは、ＣＤ−ＲＯＭなどの記録媒体によって、あるいはネットワークを介して計算機に読み込まれる。
【０１０７】
このような計算機は、一般に、ＣＰＵ（中央処理装置）と、プログラムやデータを格納するためのハードディスク装置と、主メモリと、キーボードやマウスなどの入力装置と、ＣＲＴなどの表示装置と、ＣＤ−ＲＯＭ等の記録媒体を読み取る読み取り装置と、ネットワークに接続するための通信インタフェースと、画像を読取るための画像入力装置（スキャナ装置など）から構成されている。ネットワークを介して、あるいは記録媒体から画像データを読込む場合には、スキャナ装置などの画像入力装置は必ずしも設けなくてもよい。ハードディスク装置、主メモリ、入力装置、表示装置、読み取り装置、通信インタフェース及び画像入力装置は、いずれもＣＰＵに接続している。この計算機では、映像生成装置を実現するためのプログラムを格納した記録媒体を読み取り装置に装着して記録媒体からそのプログラムを読み出してハードディスク装置に格納し、あるいはネットワークを介してそのようなプログラムをダウンロードしてハードディスク装置に格納し、ハードディスク装置に格納されたプログラムをＣＰＵが実行することにより、上述したような映像生成装置として機能することになる。なお、生成された静止画像や動画は、ＣＲＴなどの表示装置上で表示してもよいし、あるいは、画像データとして、ハードディスク装置に格納したり、取外し可能な記録媒体に記録したり、あるいは、ネットワークを介して外部に送信してもよい。
【０１０８】
【発明の効果】
以上説明したように本発明は、元の時系列画像から自動的に、連続した別の時系列画像を生成したり、１枚の静止画像に基づいて、速度場編集ツールを介して、連続した動画を効率的に生成したりすることができるという効果がある。本発明は、画像の中の特定の対象領域の変形、移動や、背景などのテクスチャーのテクスチャー変形や移動など、いずれも画素を最小単位した細かい変化、微妙な変化をも許容するような動画生成に関して有効である。さらに本発明では、実画像をそのまま変化させるので、その実画像のようなパターンを有する画像を容易に得ることができる。
【図面の簡単な説明】
【図１】本発明の実施の一形態の映像生成装置の構成を示すブロック図である。
【図２】図１に示した映像生成装置の動作原理を説明する図であって、１枚の入力画像が与えられたとき（方法１）及び２枚の入力画像が与えられたとき（方法２）のそれぞれの場合における、過去及び未来方向への動画生成を説明している。
【図３】速度場編集ツールの操作を説明する図である。
【図４】速度場ブラシの例を示す図である。
【図５】速度場ブラシの例を示す図である。
【図６】速度場ブラシの例を示す図である。
【図７】等方拡散と異方拡散との相違を示す図である。
【図８】差分画像の３つの状態の相違を示す図である。
【図９】ナビエ・ストークス方程式による流体的な速度場の例を示す図である。
【図１０】映像シーンでの生成画像の一例を示す図である。
【符号の説明】
１１    画像入力部
１２    画像蓄積部
１３    速度場編集部
１４    画像生成部
１５    画像出力部
１６    速度場フィルタ記憶部
１７    速度場設定部
１８    速度場入力部
１９    速度場変更部
３１    速度場パレット
３２    速度場ブラシ
３３    時系列画像
３４    画像
７１，７２    濃淡値領域
７３    エッジ構造
８１    領域
８２，８３    部分
【図１】
2004334694.tif 000026
【図２】
2004334694.tif 000027
【図３】
2004334694.tif 000028
【図４】
2004334694.tif 000029
【図５】
2004334694.tif 000030
【図６】
2004334694.tif 000031
【図７】
2004334694.tif 000032
【図８】
2004334694.tif 000033
【図９】
2004334694.tif 000034
【図１０】
2004334694.tif 000035