(57)【要約】【課題】作業者（観察者）の操作を最小限にして、静止画中の所望のオブジェクトを動作させる。【解決手段】入力部１２は、画像ＤＢから、特定の静止画に対応する画像データを抽出する。編集制御部１６は、静止画中の動作させる少なくとも１つのオブジェクト、当該オブジェクトの種別および動作を特定し、特定の種別のオブジェクトの動作パターンを記憶したモーションＤＢを参照して、前記オブジェクトの種別および動作が、前記動作パターン中に存在するか否かを判断する。動作パターンが存在すれば、当該動作パターンに基づき、オブジェクトの動作データが生成される。動作パターンが存在しない場合に、モデリング処理部２０が、オブジェクトの動作データを生成する。編集部１４は、静止画データおよび動作データに基づき、特定されたオブジェクトが動作するような動画データを生成する。【選択図】　図１
2004086592.tif 000002
【特許請求の範囲】
【請求項１】
静止画に対応する画像データから、当該静止画中のオブジェクトが動作する動画データを生成するため、画像ＤＢから所定の静止画を取り出す入力部と、取り出された静止画に基づく動画像を生成する動画像生成部と、生成された動画データを所定の出力形態に変換する出力部とを利用した動画生成方法であって、
前記入力部において、画像ＤＢから、特定の静止画に対応する画像データを抽出するステップと、
前記動画像生成部において、前記静止画中の動作させる少なくとも１つのオブジェクト、当該オブジェクトの種別および動作を特定するステップと、
特定の種別のオブジェクトの動作パターンを記憶したモーションＤＢを参照して、前記オブジェクトの種別および動作が、前記動作パターン中に存在するか否かを判断するステップと、
前記モーションＤＢ中の動作パターンが存在する場合に、当該動作パターンを読み出して、これに基づき、前記オブジェクトの動作データを生成するステップと、
前記モーションＤＢ中に動作パターンが存在しない場合に、モデリング処理により、特定されたオブジェクトの動作データを生成するステップと、
前記静止画データおよび動作データに基づき、特定されたオブジェクトが動作するような動画データを生成するステップと、
前記出力部において、前記動画データを、選択された出力形態にしたがって変換するステップとを備えたことを特徴とする動画生成方法。
【請求項２】
前記動作パターン中に存在するか否かを判断するステップが、前記オブジェクト中の所定の特徴点の位置と、前記動作パターン中の関連する特徴点の位置とを比較し、当該比較に基づき、前記オブジェクトの動作に適した動作パターンの有無を判断するとともに、適した動作パターンを選択するステップを有することを特徴とする請求項１に記載の方法。
【請求項３】
前記モデリング処理による動作データを生成するステップが、フラクタルモデリングにより、選択されたオブジェクトを動作させた動作データを生成するように構成されたことを特徴とする請求項１または２に記載の方法。
【請求項４】
さらに、ユーザインタフェースを介して、ユーザからの、静止画中のオブジェクトの指定、当該オブジェクトの種別の指定、および、当該オブジェクトの動作を示す情報を受理するステップを備え、
前記受理した情報に基づき、前記動作パターン中に存在するか否かを判断するように構成されたことを特徴とする請求項１ないし３の何れか一項に記載の方法。
【請求項５】
複数のユーザから、単一の静止画中のオブジェクトの指定、当該オブジェクトの種別の指定、および、当該オブジェクトの動作を示す情報を受理するステップと、
前記情報ごとに、前記動作パターン中に存在するか否かを判断して、前記モーションＤＢ中の動作パターンに基づく動作データの生成、および、モデリング処理による動作データの生成のいずれかを実行するステップとを備え、
前記指定されたオブジェクトのそれぞれの動作データを用いて、それぞれのオブジェクトが動作するような動画データを生成するように構成されたことを特徴とする請求項４に記載の方法。
【請求項６】
前記動画データを生成するステップが、
静止画の次のフレーム以降に特定されたオブジェクトがそれぞれ動作するような動作データを付加するステップを有することを特徴とする請求項１ないし５の何れか一項に記載の方法。
【請求項７】
前記動画データを、選択された出力形態にしたがって変換するステップが、
動画を表示する情報処理装置および／または当該情報処理装置までのデータ伝送経路の状態に基づき、複数の階層的な出力フォーマットから選択された所定のフォーマットによるデータを生成し、出力するステップを有することを特徴とする請求項１ないし６の何れか一項に記載の方法。
【請求項８】
静止画に対応する画像データから、当該静止画中のオブジェクトが動作する動画データを生成するため、画像ＤＢから所定の静止画を取り出す入力部と、取り出された静止画に基づく動画像を生成する動画像生成部と、生成された動画データを所定の出力形態に変換する出力部とを利用して動画を生成するために、コンピュータにより読み取り可能なプログラムであって、
前記入力部において、画像ＤＢから、特定の静止画に対応する画像データを抽出するステップと、
前記動画像生成部において、前記静止画中の動作させる少なくとも１つのオブジェクト、当該オブジェクトの種別および動作を特定するステップと、
特定の種別のオブジェクトの動作パターンを記憶したモーションＤＢを参照して、前記オブジェクトの種別および動作が、前記動作パターン中に存在するか否かを判断するステップと、
前記モーションＤＢ中の動作パターンが存在する場合に、当該動作パターンを読み出して、これに基づき、前記オブジェクトの動作データを生成するステップと、
前記モーションＤＢ中に動作パターンが存在しない場合に、モデリング処理により、特定されたオブジェクトの動作データを生成するステップと、
前記静止画データおよび動作データに基づき、特定されたオブジェクトが動作するような動画データを生成するステップと、
前記出力部において、前記動画データを、選択された出力形態にしたがって変換するステップとを、前記コンピュータに実行させることを特徴とするプログラム。
【請求項９】
前記動作パターン中に存在するか否かを判断するステップにおいて、
前記オブジェクト中の所定の特徴点の位置と、前記動作パターン中の関連する特徴点の位置とを比較し、当該比較に基づき、前記オブジェクトの動作に適した動作パターンの有無を判断するとともに、適した動作パターンを選択するステップを、前記コンピュータに実行させることを特徴とする請求項８に記載のプログラム。
【請求項１０】
前記モデリング処理による動作データを生成するステップにおいて、フラクタルモデリングにより、選択されたオブジェクトを動作させた動作データを生成するステップを、前記コンピュータに実行させることを特徴とする請求項８または９に記載のプログラム。
【請求項１１】
さらに、ユーザインタフェースを介して、ユーザからの、静止画中のオブジェクトの指定、当該オブジェクトの種別の指定、および、当該オブジェクトの動作を示す情報を受理するステップを、前記コンピュータに実行させ、
前記受理した情報に基づき、前記動作パターン中に存在するか否かを判断するように、前記コンピュータを動作させることを特徴とする請求項８ないし１０の何れか一項に記載のプログラム。
【請求項１２】
複数のユーザから、単一の静止画中のオブジェクトの指定、当該オブジェクトの種別の指定、および、当該オブジェクトの動作を示す情報を受理するステップと、
前記情報ごとに、前記動作パターン中に存在するか否かを判断して、前記モーションＤＢ中の動作パターンに基づく動作データの生成、および、モデリング処理による動作データの生成のいずれかを実行するステップとを、前記コンピュータに実行させ、
前記指定されたオブジェクトのそれぞれの動作データを用いて、それぞれのオブジェクトが動作するような動画データを生成するように、前記コンピュータを動作させることを特徴とする請求項１１に記載のプログラム。
【請求項１３】
前記動画データを生成するステップにおいて、
静止画の次のフレーム以降に特定されたオブジェクトがそれぞれ動作するような動作データを付加するステップを、前記コンピュータに実行させることを特徴とする請求項８ないし１２の何れか一項に記載のプログラム。
【請求項１４】
前記動画データを、選択された出力形態にしたがって変換するステップにおいて、
動画を表示する情報処理装置および／または当該情報処理装置までのデータ伝送経路の状態に基づき、複数の階層的な出力フォーマットから選択された所定のフォーマットによるデータを生成し、出力するステップを、前記コンピュータに実行させることを特徴とする請求項８ないし１３の何れか一項に記載のプログラム。
【発明の詳細な説明】
【０００１】
【発明が属する技術分野】
本発明は、動画像の生成に関し、より詳細には、静止画像から一定の動画像を作り出す手法に関する。
【０００２】
【従来の技術】
いわゆるＣＧ（Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）の発展にともなって、静止画に基づき動画を作り出すことが可能となっている。たとえば、変化の前後の静止画に基づき、その変化の過程を示す複数のフレーム画像を作るモーフィング、あるオブジェクトを種々の方向から撮影し、これらを繋ぎ合わせ、任意の方向からのオブジェクトの画像を得る、つまり、オブジェクトを任意に回転させたような動画を得ることができるＱＴＶＲ（ＱｕｉｃｋＴｉｍｅ（登録商標）Ｖｉｒｔｕａｌ
Ｒｅａｌｉｔｙ）などが実用化されている。
【０００３】
また、元の静止画を含め、選択したオブジェクトが移動するありさまをフレームごとに形成して複数のフレーム画像を作成し、これにより、動画を作り出す技術も映画などで利用されている。
【０００４】
【発明が解決しようとする課題】
モーフィングなどにおいては、変化の前後或いは変化の過程を示す複数の静止画が必要であり、また、その動きが制限されるという問題点があった。つまり、変化の前後を示す静止画の範囲内でしか、動作オブジェクトを動作させることができないという問題点があった。
【０００５】
その一方、映画などで用いられている大規模なＣＧでは、フレームごとに静止画が生成されている。しかしながら、これは、著しく高性能な画像処理システムを利用する必要があり、また、フレームごとの静止画を作成し、多数の静止画を必要とするため、ディジタル記録通信が要求されるような媒体では、著しく大量のデータ容量を要する。その上、情報学的には、隣接フレームデータを送信、記録するという点で性能が悪いという問題点があった。
【０００６】
その一方、ある静止画中のオブジェクト（たとえば、人物や動物）の口や目など動作させるべき部分にワイヤフレームを作成し、これを動かすことで、オブジェクトがあたかも喋っているかのような効果を奏する技術が提案されている。しかしながら、この技術においては、オペレータが、顔の特徴点を結ぶワイヤフレームを作成するために種々の入力をする必要がある。その一方、その可動範囲は顔などに限られてしまう。
【０００７】
本発明は、作業者（観察者）の操作を最小限にして、静止画中の所望のオブジェクトを動作させることができるシステムを提供することを目的とする。また、本発明は、マルチユーザの環境下で、同一の静止画中の複数のオブジェクトが選択された場合に、それぞれが動作している動画を生成するシステムを提供することを目的とする。さらに、本発明は、データ量をそれほど増大させることなく、動画像の再生を実現するシステムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明の目的は、静止画に対応する画像データから、当該静止画中のオブジェクトが動作する動画データを生成するため、画像ＤＢから所定の静止画を取り出す入力部と、取り出された静止画に基づく動画像を生成する動画像生成部と、生成された動画データを所定の出力形態に変換する出力部とを利用した動画生成方法であって、前記入力部において、画像ＤＢから、特定の静止画に対応する画像データを抽出するステップと、前記動画像生成部において、前記静止画中の動作させる少なくとも１つのオブジェクト、当該オブジェクトの種別および動作を特定するステップと、特定の種別のオブジェクトの動作パターンを記憶したモーションＤＢを参照して、前記オブジェクトの種別および動作が、前記動作パターン中に存在するか否かを判断するステップと、前記モーションＤＢ中の動作パターンが存在する場合に、当該動作パターンを読み出して、これに基づき、前記オブジェクトの動作データを生成するステップと、前記モーションＤＢ中に動作パターンが存在しない場合に、モデリング処理により、特定されたオブジェクトの動作データを生成するステップと、前記静止画データおよび動作データに基づき、特定されたオブジェクトが動作するような動画データを生成するステップと、前記出力部において、前記動画データを、選択された出力形態にしたがって変換するステップとを備えたことを特徴とする動画生成方法により達成される。
【０００９】
本発明によれば、選択されたオブジェクトの動作データを、モーションＤＢ中の動作パターンから、或いは、モデリング処理により生成し、これを、静止画の画像データに付加することで、動画を生成する。したがって、ユーザが、オブジェクトの指定など、必要な最低限の指示を入力することにより、所望のオブジェクトが動作したような動画像を得ることができる。つまり、ワイヤフレームの設定など煩雑な入力を省略することが可能となる。
また、本発明によれば、モーションＤＢ中に対応する動作パターンが、その動作パターンに基づいて動作データが生成される。これにより、動作データ生成のための負荷を小さくすることができる。
【００１０】
なお、生成される動画データは、フレームごとの静止画データの集合体ではなく、静止画データと動作データとの集合体として形成されているのが望ましい。これにより、静止データの集合体として動画データをもつ場合と比較して、著しくデータ量を小さくすることができ、小規模なパーソナルコンピュータによるデータ生成やデータ処理が可能となる。
【００１１】
好ましい実施態様においては、前記動作パターン中に存在するか否かを判断するステップが、前記オブジェクト中の所定の特徴点の位置と、前記動作パターン中の関連する特徴点の位置とを比較し、当該比較に基づき、前記オブジェクトの動作に適した動作パターンの有無を判断するとともに、適した動作パターンを選択するステップを有する。この実施態様によれば、より適切な動作パターンを選択し、オブジェクトが円滑に動作するような動作データを生成することが可能となる。
【００１２】
また、好ましい実施態様においては、前記モデリング処理による動作データを生成するステップが、フラクタルモデリングにより、選択されたオブジェクトを動作させた動作データを生成するように構成されている。無論、他のモデリングを利用して動作データを生成しても良い。
【００１３】
別の好ましい実施態様においては、さらに、ユーザインタフェースを介して、ユーザからの、静止画中のオブジェクトの指定、当該オブジェクトの種別の指定、および、当該オブジェクトの動作を示す情報を受理するステップを備え、前記受理した情報に基づき、前記動作パターン中に存在するか否かを判断するように構成されている。
【００１４】
より好ましい実施態様においては、複数のユーザから、単一の静止画中のオブジェクトの指定、当該オブジェクトの種別の指定、および、当該オブジェクトの動作を示す情報を受理するステップと、前記情報ごとに、前記動作パターン中に存在するか否かを判断して、前記モーションＤＢ中の動作パターンに基づく動作データの生成、および、モデリング処理による動作データの生成のいずれかを実行するステップとを備え、前記指定されたオブジェクトのそれぞれの動作データを用いて、それぞれのオブジェクトが動作するような動画データを生成するように構成されている。
【００１５】
上記実施態様によれば、マルチユーザの環境下においても、ユーザによるオブジェクトなどの指定に、それぞれ応答して、オブジェクトの動作データが生成され、それぞれのオブジェクトが動作するような動画を作ることが可能となる。なお、単一のユーザが複数のオブジェクトを指定し、これに基づき、オブジェクトがそれぞれ動作するような動画を作り出せることも言うまでもない。
別の好ましい実施態様においては、前記動画データを生成するステップが、静止画の次のフレーム以降に特定されたオブジェクトがそれぞれ動作するような動作データを付加するステップを有する。
【００１６】
さらに別の好ましい実施態様においては、前記動画データを、選択された出力形態にしたがって変換するステップが、動画を表示する情報処理装置および／または当該情報処理装置までのデータ伝送経路の状態に基づき、複数の階層的な出力フォーマットから選択された所定のフォーマットによるデータを生成し、出力するステップを有する。
【００１７】
また、本発明の目的は、静止画に対応する画像データから、当該静止画中のオブジェクトが動作する動画データを生成するため、画像ＤＢから所定の静止画を取り出す入力部と、取り出された静止画に基づく動画像を生成する動画像生成部と、生成された動画データを所定の出力形態に変換する出力部とを利用して動画を生成するために、コンピュータにより読み取り可能なプログラムであって、前記入力部において、画像ＤＢから、特定の静止画に対応する画像データを抽出するステップと、前記動画像生成部において、前記静止画中の動作させる少なくとも１つのオブジェクト、当該オブジェクトの種別および動作を特定するステップと、特定の種別のオブジェクトの動作パターンを記憶したモーションＤＢを参照して、前記オブジェクトの種別および動作が、前記動作パターン中に存在するか否かを判断するステップと、前記モーションＤＢ中の動作パターンが存在する場合に、当該動作パターンを読み出して、これに基づき、前記オブジェクトの動作データを生成するステップと、前記モーションＤＢ中に動作パターンが存在しない場合に、モデリング処理により、特定されたオブジェクトの動作データを生成するステップと、前記静止画データおよび動作データに基づき、特定されたオブジェクトが動作するような動画データを生成するステップと、前記出力部において、前記動画データを、選択された出力形態にしたがって変換するステップとを、前記コンピュータに実行させることを特徴とするプログラムによっても達成される。
【００１８】
好ましい実施態様においては、前記動作パターン中に存在するか否かを判断するステップにおいて、前記オブジェクト中の所定の特徴点の位置と、前記動作パターン中の関連する特徴点の位置とを比較し、当該比較に基づき、前記オブジェクトの動作に適した動作パターンの有無を判断するとともに、適した動作パターンを選択するステップを、前記コンピュータに実行させる。
また、好ましい実施態様においては、モデリング処理による動作データを生成するステップにおいて、フラクタルモデリングにより、選択されたオブジェクトを動作させた動作データを生成するステップを、前記コンピュータに実行させる。
【００１９】
より好ましい実施態様においては、さらに、ユーザインタフェースを介して、ユーザからの、静止画中のオブジェクトの指定、当該オブジェクトの種別の指定、および、当該オブジェクトの動作を示す情報を受理するステップを、前記コンピュータに実行させ、前記受理した情報に基づき、前記動作パターン中に存在するか否かを判断するように、前記コンピュータを動作させる。
【００２０】
さらに、複数のユーザから、単一の静止画中のオブジェクトの指定、当該オブジェクトの種別の指定、および、当該オブジェクトの動作を示す情報を受理するステップと、前記情報ごとに、前記動作パターン中に存在するか否かを判断して、前記モーションＤＢ中の動作パターンに基づく動作データの生成、および、モデリング処理による動作データの生成のいずれかを実行するステップとを、前記コンピュータに実行させ、前記指定されたオブジェクトのそれぞれの動作データを用いて、それぞれのオブジェクトが動作するような動画データを生成するように、前記コンピュータを動作させるのが望ましい。
【００２１】
別の好ましい実施態様においては、前記動画データを生成するステップにおいて、静止画の次のフレーム以降に特定されたオブジェクトがそれぞれ動作するような動作データを付加するステップを、前記コンピュータに実行させる。
また、前記動画データを、選択された出力形態にしたがって変換するステップにおいて、動画を表示する情報処理装置および／または当該情報処理装置までのデータ伝送経路の状態に基づき、複数の階層的な出力フォーマットから選択された所定のフォーマットによるデータを生成し、出力するステップを、前記コンピュータに実行させても良い。
【００２２】
【発明の実施の形態】
以下、添付図面を参照して、本発明の実施の形態につき説明を加える。図１は、本実施の形態にかかる動画生成システムの概略を示すブロックダイヤグラムである。本実施の形態にかかる動画生成システム１０は、写真、絵画、線画、文字など任意の静止画に基づき、後述する処理により、所定のオブジェクトに動作を与え、動画を生成する。なお、ここでオブジェクトとは、画像中の人物、動物（たとえば、犬、猫など）、植物（たとえば、花、葉など）のほか、車など無生物を含む。また、現実世界では移動しないと思われるもの（たとえば、木、山、建物）も、本実施の形態におけるオブジェクトに含まれる。
【００２３】
図１に示すように、本実施の形態にかかる動画生成システム１０は、動画や種々の画像データから、処理対象となる静止画データを抽出する入力部１２と、静止画データから動画データを作成する編集部１４と、動画データ作成のために、入力されたデータなどにしたがって、編集部１４などを制御する編集制御部１６と、種々のオブジェクトの動きを示すデータ群を記憶したモーションＤＢ１８と、所定のオブジェクトに、動きを与え、所定の動作データを生成するモデリング処理部２０と、編集部１４から与えられる動画データにしたがって、所定のフォーマットのデータを生成して出力する出力部２２と、ユーザからの入力を受理し、必要な処理を施した後、他の構成要素（たとえば、編集制御部１６）に渡すユーザインタフェース（Ｉ／Ｆ）２４とを有している。ここで、編集部１４、編集制御部１６、モーションＤＢ１８およびモデリング処理部２０により、動画像生成部が形成される。
【００２４】
図２（ａ）に示すように、入力部１２は、種々の動画データおよび静止画データを記憶する画像ＤＢ３０と、ユーザＩ／Ｆ２４を介して与えられたユーザの指示にしたがって、画像ＤＢ３０からある所定の静止画データを取り出す入力データ処理部３２と、アナログ／ディジタル処理部３３とを有している。たとえば、ユーザは、動画データに基づく動画を再生させ、或いは、静止画データに基づく静止画を順次再生する。次いで、ユーザは動画中の所望のフレームの画像や、順次再生された静止画中の所望の画像を選択する。この選択は、ユーザＩ／Ｆ２４を介して入力データ処理部３２に与えられる。入力データ処理部３２は、この選択に応答して、画像ＤＢ３０から選択された画像に対応する静止画の情報を取得すればよい。このようにして取得された画像情報は、アナログ／ディジタル信号処理部３３にてＡ／Ｄ変換され、ディジタルの画像データが、編集部１４および編集制御部１６に伝達される。
【００２５】
図３は、編集部１４および編集制御部１６にて実行される処理を示すフローチャートである。入力部１２（入力データ処理部２２）からの画像データ（静止画データ）を受理すると、ユーザＩ／Ｆ２４を介して与えられた、ユーザからの情報にしたがって、静止画中、動作させるべきオブジェクトを選択するとともに（ステップ３０２）、当該オブジェクトの動作を特定する（ステップ３０３）。
【００２６】
本実施の形態においては、人やいくつかの動物の種々の動作をパターン化して、動作パターンとしてモーションＤＢ１８に記憶されている。また、パターン化されていないオブジェクトについては、モデリング処理部２０により、その動作データが作り出される。編集制御部１６において、指定されたオブジェクトの動作が、モーションＤＢ１８中に存在すると判断された場合（ステップ３０４でイエス（Ｙｅｓ））には、編集制御部１６は、モーションＤＢ１８から動作パターンを抽出し、これを編集部１４に伝達する（ステップ３０５）。その一方、指定されたオブジェクトの動作が、モーションＤＢ１８中に存在しないと判断された場合（ステップ３０４でノー（Ｎｏ））には、モデリング処理部２０が起動して、当該オブジェクトの動作データを生成する（ステップ３０６）。
【００２７】
編集部１４は、モーションＤＢ１８から取り出された動作データや、モデリング処理部２０により生成された動作データと、静止画データとを利用して、動画データを生成する（ステップ３０７）。このようにして生成された動画データは、出力部２２に出力される。
【００２８】
本実施の形態においては、複数のユーザが、同時に動画作成システムを利用して、ある静止画を参照して、所望のオブジェクトを指定して、指定されたオブジェクトが、それぞれ動作するような動画を作成することが可能である。図４に示すように、ユーザＡとユーザＢが、ある静止画を同時に参照し、それぞれがマウスなどの入力装置を操作して、所望のオブジェクトや、その動作を選択することができる。たとえば、ユーザＢは、静止画中の人物にある動作（たとえば、歩かせる）をさせようとし、その一方、ユーザＡは、静止画中のあるもの（たとえば、木の葉）を動かそうとした（落とそうとした）と考える。この場合、ユーザＢの指示（符号４０１参照）にしたがって、模式的に考えると、編集制御部１６は、スイッチ５０をモーションＤＢ１８の側と接続し（符号４０３参照）、モーションＤＢ１８中の所定の動作パターンを編集部１４に渡す。その一方、ユーザＡの指示（符号４０２参照）に対しては、スイッチ５０をモデリング処理部２０と接続し（符号４０４参照）、モデリング処理部２０に必要なデータや指示を与える。つまり、本実施の形態においては、編集制御部１６がスイッチャとして機能し、あるユーザの指示に応答してモーションＤＢ１８から動作パターンを取得するように動作し、他のユーザの指示に応答してモデリング処理部２０を起動することできる。つまり、本実施の形態においては、複数のユーザが、同一の静止画を参照して、それぞれ、所望のオブジェクトを選択し、これらを動作させたような動画を作成することができる。
【００２９】
次に、ユーザによるオブジェクトや動作の指定につき説明を加える。図６（ａ）に示すように、編集制御部１６は、オブジェクトの種別およびその動作に基づき、当該種別のオブジェクトによる動作パターンと、静止画中のオブジェクトとのマッチングを行い、最適なパターンを特定する（ステップ６０１）。たとえば、モーションＤＢ１８に、ある種別のオブジェクトのある動作パターンのために、そのオブジェクトを複数の特徴点（たとえば、オブジェクトの関節など）の座標およびその時間的変化が記憶されているとする。この場合、あるタイミングでの各特徴点の位置と、静止画中のオブジェクトから抽出された各特徴点の位置とに基づき、最も好ましいパターン（たとえば、誤差の最小のもの、或いは、相関が最大のもの）を選択すればよい。
【００３０】
次いで、マッチングにより特定された動作パターンに関するデータが、パターンＤＢ１８から読み出され、これらデータが編集部１４に与えられる（ステップ６０２）。編集部１４は、動作データにしたがって、所定フレーム分のオブジェクトの動作を表す動作データを生成する。たとえば、モーションＤＢ１８から与えられたデータが、オブジェクトの特徴点の時間ごとの移動を示すものであれば、当該特徴点に対応する、動作させるべきオブジェクトの点を移動させるとともに、当該点の移動に合致するようにオブジェクトの他の部分の位置が変更するような動作データが生成される。このようにして、図６（ｂ）に示すように、単一の静止画６１０中の選択されたオブジェクトが移動するような、動作データを有するデータ群（符号６１１参照）を生成することができる。
【００３１】
次に、モデリング処理部２０により処理につき説明を加える。モデリング処理部２０は、指定されたオブジェクトのデータを含む静止画を最初のフレーム画像として、当該最初のフレーム画像に類似し、かつ、オブジェクトが一部変更されたようなフレーム画像を順次生成する。たとえば、フラクタルモデリングを利用することで、上述したようなフレーム画像を生成することができる。たとえば、木の葉が、動作させるべきオブジェクトであれば、木の葉の向きや形状がわずかずつ変更されたような、一群の動作データを生成することができる。無論、木の葉、花など単一の小物体ではなく、多数の葉や花を含みうる樹木、草木などを動作させるべきオブジェクトとすること、さらには、複数の樹木や草木の群を動作させるべきオブジェクトとすることができる。
【００３２】
たとえば、図５（ａ）の例では、表示装置の画面５００の左側の領域５０１に、入力部１２において取得された静止画が表示されている。この静止画においては、人物５１０、５１１、動物５１２、幾枚かの葉（たとえば、符号５１６参照）を有する樹木５１５が表示されている。また、画面５００の右側には、オブジェクトの種別を選択する領域５０２が設けられている。ここには、人、犬、猫、車など、ユーザが領域５０１にて選択したオブジェクトに対応する種別を選択できるようになっている。たとえば、ユーザがマウスを操作して、人物５１０を選択し、かつ、「人」と表示されているボタン５１３を選択することにより、オブジェクトおよびその種別が「人」であることを特定することができる。
【００３３】
動作させるべきオブジェクトおよびその種別が選択されると、図５（ｂ）に示すように、画面５２０の領域５２１においては、選択されたオブジェクト５３０が、特定の表示形態（たとえば、外郭が太線で表される、外郭が特定の色彩で表されるなど）で表示されるとともに、画面５２０の右側に、動作を選択するための領域５２２が設けられる。ユーザはマウスなどを操作して、領域５２２中の所望の動作が記載されたボタン、たとえば、「ゆっくり歩く」ボタン５２２を選択する。これにより、オブジェクトがすべき動作を特定することができる。
【００３４】
樹木５１５やその中の葉５１６を動作すべきオブジェクトとして選択した場合にも、どのオブジェクトの種別や、可能であれば動作を選択できるようにするのが望ましい。図５（ａ）、（ｂ）を利用して選択されたオブジェクト、その種別および動作にしたがって、モーションＤＢ１８から動作データが取得され、或いは、モデリング処理部２０により、動作データが生成される。なお、本実施の形態において、「ユーザ」は、動画作成者でも、動画視験者でも良い。
【００３５】
このようにして、モーションＤＢ１８からの動作データや、モデリング処理部２０にて生成された動作データを受理すると、編集部１４は、元の画像である静止画データおよび動作データに基づいて、動画データを生成する。図７は、動画データの生成を概略的に示す図である。図７において、入力部１２において切り出された静止画像７００の画像データ中、あるオブジェクト７１１については、モデリング処理部２０により処理が実行されて一群の動作データ７０２が生成され、その一方、他のオブジェクト７１２については、モーションＤＢ１８からデータが取得され、それに基づく一群の動作データ７０１が生成されている。
【００３６】
編集部１４は、一群の動作データ７０２および他の一群の動作データ７０１、並びに、静止画の画像データ７００を利用して、画像データ７００中の選択されたオブジェクト以外については、画像データ７００と同様のデータを含み、かつ、選択されたオブジェクトについては、それぞれその動作データに基づくような画像データ群７１０（動画データ）を生成する。たとえば、編集部１４においては、入力部１２から渡された静止画の次のフレーム以降に、特定されたオブジェクトがそれぞれ動作するような動作データを付加するような動画データを生成すればよい。
【００３７】
なお、編集部１４にて生成される動画データのデータ形式は、フレームごとの複数の静止画のデータの集合体ではなく、静止画の画像データと、特定のオブジェクトの動作データとの集合体となっているのが望ましい。これにより、フレームごとの静止画のデータの集合体として動画データを持つ場合と比較して、動画データ全体のデータ量を、著しく小さくすることが可能となる。しかも、出力部に、静止画の画像データと動作データとを結合させる動作をもたせることで、静止画データの集合体と同質の動画像を得ることができる。データ量が著しく小さいことで、画像処理専用のコンピュータを利用せず、パーソナルコンピュータにおいて、動画データの生成、および、後述する出力部２２における画像圧縮や所定のフォーマットへの変換が可能となる。
【００３８】
編集部１４にて生成された動画データは、出力部２２に与えられる。図２（ｂ）に示すように、出力部２２は、受理した動画データや、後述するフォーマット変換を施されたデータを記憶するデータバッファ４０と、データ圧縮部４２と、フォーマット処理部４４とを有している。データ圧縮部４２は、受理した動画データ（静止画データおよび選択されたオブジェクトの動作データの形式であっても良い）を、たとえば、ＭＰＥＧなど規格にしたがって、静止部（静止画データの部分）および動作データを別に圧縮し、フォーマット化する。次いで、フォーマット処理部４４は、圧縮されたデータに基づき、出力形態、たとえば、モバイル通信、ＤＶＤ、ＣＤ−ＲＯＭ、ＴＶ放送などにしたがって、所定のフォーマット形式のデータを生成する。このようにして、静止画から作り出された動画を、携帯端末、パーソナルコンピュータ、ＴＶ受信機など種々の機器にて閲覧することが可能となる。つまり、出力部２２からは、再生する機器のディスプレイのサイズや機器の記憶容量、通信に利用するネットワークの容量など、動画を表示する情報処理装置や情報処理装置にいたるまでのデータ伝送経路の状態に基づき、複数の階層的な出力フォーマットが形成され、いずれかの出力フォーマットにより信号（データ）が出力されるようになっている。
【００３９】
本実施の形態によれば、選択されたオブジェクトの種別やその動作に基づき、選択されたオブジェクトの動作データを、モーションＤＢ１８から動作パターンを取得することにより、或いは、モデリング処理部２０における処理により、動作データを取得し、静止画中の選択されたオブジェクトを動作させることができる。
【００４０】
また、本実施の形態によれば、編集制御部１６においてスイッチャの機能により、あるユーザの指示にしたがってモーションＤＢをアクセスし、他のユーザの指示にしたがってモデリング処理部２０を起動する。たとえば、同一の静止画について、複数のユーザが、それぞれ、所望のオブジェクトを選択し、編集制御部１６によるスイッチャの機能を利用して、それぞれのオブジェクトの動作データを作成することができる。これにより、複数のユーザが選択したオブジェクトがそれぞれ動作するような動画を作成することが可能となる。
【００４１】
本発明は、以上の実施の形態に限定されることなく、特許請求の範囲に記載された発明の範囲内で、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
たとえば、前記実施の形態においては、モデリング処理部においてフラクタルモデルを利用して、オブジェクトの動作データを生成しているが、これに限定されるものではなく、オブジェクトによって適した他の手法（たとえば、パーティクルシステムなど）を利用しても良いことは言うまでもない。
【００４２】
また、前記実施の形態においては、ユーザＩ／Ｆを介して、ユーザが入力装置を操作することに応答した種々の指示が与えられ、出力部から所定のフォーマットの画像データが出力される。ユーザの指示は、当該画像編集システムを実現するコンピュータの入力装置から入力されるものに限定されない。たとえば、画像編集システムが、インターネットに接続され、クライアントマシンからの指示、たとえば、静止画、オブジェクトおよび動作の指定がインターネットを介して、画像編集システムに与えられ、動画データが、インターネットを介してクライアントマシンに配信されても良い。また、クライアントマシンは複数であっても良いことは言うまでもない。
【００４３】
【発明の効果】
本発明によれば、作業者（観察者）の操作を最小限にして、静止画中の所望のオブジェクトを動作させることができるシステムを提供することが可能となる。また、本発明によれば、マルチユーザの環境下で、同一の静止画中の複数のオブジェクトが選択された場合に、それぞれが動作している動画を生成するシステムを提供することが可能となる。
【図面の簡単な説明】
【図１】図１は、本実施の形態にかかる動画生成システムの概略を示すブロックダイヤグラムである。
【図２】図２は、本実施の形態にかかる入力部および出力部の構成をそれぞれ示すブロックダイヤグラムである。
【図３】図３は、本実施の形態に係る編集部および編集制御部にて実行される処理を示すフローチャートである。
【図４】図４は、本実施の形態にかかるオブジェクトの選択やその動作データの生成を、マルチユーザにて実現することを概略的に示す図である。
【図５】図５は、本実施の形態において、オブジェクトやその種別などを選択するために表示装置の画面上に表示された画像の例を示す図である。
【図６】図６は、本実施の形態にかかる編集処理部における処理例を示すフローチャートおよび作成される動作データを概略的に示す図である。
【図７】図７は、本実施の形態にかかる動画データの生成を概略的に示す図である。
【符号の説明】
１２　　入力部
１４　　編集部
１６　　編集制御部
１８　　モーションＤＢ
２０　　モデリング処理部
２２　　出力部
２４　　ユーザＩ／Ｆ
３０　　画像ＤＢ
３２　　入力データ処理部
３３　　アナログ／ディジタル処理部
４０　　データバッファ
４２　　画像圧縮部
４４　　フォーマット処理部
【図１】
2004086592.tif 000003
【図２】
2004086592.tif 000004
【図３】
2004086592.tif 000005
【図４】
2004086592.tif 000006
【図５】
2004086592.tif 000007
【図６】
2004086592.tif 000008
【図７】
2004086592.tif 000009