(57)【特許請求の範囲】
【請求項１】
静止画像からアニメーションを生成する動画像生成装置であって、
該動画像生成装置は、入力装置と出力装置とデータ処理装置と記憶装置とを備え、
前記データ処理装置には、
前記静止画像から所望の画像領域を抽出し、該画像領域の構成要素の特徴を表現する仮想骨格構造を前記画像領域上に作成し、該仮想骨格構造を構成するそれぞれのエレメントに対応する前記静止画像の前記構成要素の位置・物性情報を該エレメントに付与する仮想骨格構造設定手段と、
前記エレメントに対応する前記静止画像の前記構成要素を所定の基準で分割するための区分点を該エレメントに設定し、該区分点により前記静止画像の前記構成要素を区分画像に分割し、それぞれの前記区分点と前記区分画像とを対応付けさせる画像領域内区分画像対応付け手段と、
前記エレメントに所望の変形、移動および構造変化の少なくとも一つを生じさせるために入力されたエレメントの変化情報と該エレメントの前記位置・物性情報とから該エレメントの変化を演算し、該エレメントの各前記区分点の時系列的な位置情報を記憶する仮想骨格構造変化生成手段と、
各前記区分点の時系列的な位置情報に対応させて、該区分点に対応する前記区分画像を移動させる画像領域内区分画像変化手段と、移動した前記区分画像の集合から時系列的に動画像を合成して表示する画像領域内変化表示手段と、を備えることを特徴とする動画像生成装置。
【請求項２】
前記仮想骨格構造設定手段は、前記画像領域上に描かれた線画に基づいて前記仮想骨格構造を設定する、請求項１に記載の動画像生成装置。
【請求項３】
前記画像領域内区分画像対応付け手段は、前記仮想骨格構造の前記エレメントに該エレメントの先端を含む区分点を設ける、請求項１または２に記載の動画像生成装置。
【請求項４】
前記画像領域内区分画像対応付け手段は、前記エレメントの前記各区分点を通過する一定方向の線分と、該線分と前記画像領域との接点から、前記画像領域を外包する連続する長方形を作成し、前記長方形の領域で前記画像領域を分割する、請求項１から３のいずれか１項に記載の動画像生成装置。
【請求項５】
前記画像領域内区分画像対応付け手段は、前記長方形に含まれる区分点で、前記エレメントの前記区分点と前記区分画像とを対応づける、請求項４に記載の動画像生成装置。
【請求項６】
前記位置・物性情報には、前記静止画像の構成要素の位相情報、幾何情報および物理特性を含む、請求項１から５のいずれか１項に記載の動画像生成装置。
【請求項７】
前記仮想骨格構造変化生成手段は、前記変化情報と前記エレメントに予め設定された位置・物性情報とから該エレメントの変化を演算するとき、動力学を利用して、時間軸に沿った前記仮想骨格構造の変化、移動および構造変化の少なくとも一つを演算する、請求項１から５のいずれか１項に記載の動画像生成装置。
【請求項８】
請求項１から７のいずれか１項に記載の動画像生成装置を構成する各手段としてコンピュータを機能させるためのプログラムを記録した機械読み取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、静止画像内の抽出した特定の画像領域に対して変化を与え、動画像を生成する動画像生成装置および方法に関する。
【０００２】
【従来の技術】
従来、コンピュータグラフィックスにおいて、動画像、例えば３次元物体のアニメーションを生成する場合には、動かしたい３次元物体を一から構築する必要があった。
【０００３】
【発明が解決しようとする課題】
そのため、３次元物体の構築は空間把握が困難であり、作業量が多いといった問題があった。
【０００４】
本発明は、動画像生成において、静止画像内から抽出した動かしたい画像領域に変化を与えることにより、３次元物体を一から構築することなく、リアルなアニメーションを生成できる動画像生成装置と動画像生成方法とを提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明の動画像生成装置は、
静止画像からアニメーションを生成する動画像生成装置であって、その動画像生成装置は、入力装置と出力装置とデータ処理装置と記憶装置とを備え、データ処理装置には、静止画像から所望の画像領域を抽出し、その画像領域の構成要素の特徴を表現する仮想骨格構造を作成し、その仮想骨格構造を構成するそれぞれのエレメントに対応する静止画像の構成要素の位置・物性情報をそのエレメントに付与する仮装骨格構造設定手段と、エレメントに対応する静止画像の構成要素を所定の基準で分割するための区分点をそのエレメントに設定し、その区分点により静止画像の構成要素を区分画像に分割し、それぞれの区分点と区分画像とを対応付けさせる画像領域内区分画像対応付け手段と、エレメントに所望の変形、移動および構造変化の少なくとも一つを生じさせるために入力されたエレメント変化情報とそのエレメントの位置・物性情報とからそのエレメントの変化を演算し、そのエレメントの各区分点の時系列的な位置情報を記憶する仮想骨格構造変化生成手段と、各区分点の時系列的な位置情報に対応させて、その区分点に対応する区分画像を移動させる画像領域内区分画像変化手段と、移動した区分画像の集合から時系列的に動画像を合成して表示する画像領域内変化表示手段とを備える。
【０００６】
さらに、データ処理装置の制御プログラムを記憶した記録媒体を有していてもよい。
【０００７】
本発明の動画像生成方法は、
静止画像内の抽出した特定の画像領域からアニメーションを生成する動画像生成方法であって、画面に表示された静止画像から動画像の対象とする画像領域を抽出する工程と、抽出した画像領域に対して、その画像領域の構成要素の特徴を表現する仮想骨格構造を設定する工程と、画像領域の構成要素を区分画像に分割し、仮想骨格構造を構成するエレメントと対応付けする工程と、仮想骨格構造に対して、継続して変形、移動および構造変化の少なくとも一つを生じさせる工程と、仮想骨格構造の変形または移動に対応して画像領域内の区分画像を変化させる工程と、区分画像の変化による画像領域全体の変形または移動を表示する工程とを有する。
【０００８】
仮想骨格構造を設定する工程は、抽出された画像領域を画面上に表示する工程と、画像領域上にその画像領域の構成要素の特徴を表現する仮想骨格構造を線画で描画する工程と、その仮想骨格構造を構成するそれぞれのエレメントに対応する静止画像の構成要素の位置・物性情報をそのエレメントに付与する工程とを有していてもよく、位置・物性情報には静止画像の構成要素の位相情報、幾何情報および物理特性を含んでいてもよい。
【０００９】
画像領域の構成要素を区分画像に分割し、仮想骨格構造を構成するエレメントと対応付けする工程は、エレメントに対応する静止画像の構成要素を所定の基準で区分画像に分割するための区分点をそのエレメントに設定する工程と、その区分点により所定の基準で静止画像を区分画像に分割する工程と、区分点と区分画像とを対応付けさせる工程とを有していてもよい。
【００１０】
また、仮想骨格構造に対して、継続して変形、移動および構造変化の少なくとも一つを生じさせる工程には、仮想骨格構造のエレメントに所望の変形、移動、構造変化の少なくとも一つを生じさせるための変化情報を入力する工程と、その変化情報とそのエレメントに予め設定された位置・物性情報とからそのエレメントの変化を演算する工程と、そのエレメントに設けられた区分点の時系列的な位置情報を記憶する工程とを有していてもよく、変化情報とエレメントに予め設定された位置・物性情報とからそのエレメントの変化を演算する工程には、動力学を利用して、時間軸に沿った仮想骨格構造の変化、移動および構造変化の少なくとも一つを演算する工程を含んでいてもよい。
【００１１】
静止画像内から抽出した動かしたい画像領域に変化を与えることにより、３次元物体を一から構築することなく、少ない作業量でリアルな動きを持った動画像を生成できる。
【００１２】
また、仮想骨格構造の変形、移動あるいは構造変化を生じさせる際に、動力学を利用して、時間軸に沿った仮想構造変形、移動あるいは構造変化を生じさせることにより、自然な動作を表現することができる。
【００１３】
【発明の実施の形態】
次に本発明の第１の実施の形態の動画像生成装置と動画像生成方法について図面を参照して説明する。図１は本発明の第１の実施の形態の動画像生成装置の模式的ブロック構成図であり、図２は本発明の第１の実施の形態の動画像生成方法のフローチャートである。
【００１４】
図１に示すように本発明の動画像生成装置１は、モデム、キーボード、ポインティングデバイス等の入力手段１０と、モデム、ディスプレイ、プリンタ等の出力装置２０とデータ処理装置３０と記憶装置４０とを備える。
【００１５】
データ処理装置３０には、静止画像から動画像生成の対象となる所望の画像領域を抽出し、抽出された画像領域に対して画像領域の構成要素の特徴を表現する仮想骨格構造を作成し、仮想骨格構造を構成するそれぞれのエレメントに対応する静止画像の幾何学的要素や位相的要素や物理特性などの位置・物性情報を付与する仮装骨格構造設定手段３１と、仮想骨格構造を構成するそれぞれのエレメントに対応する静止画像の構成要素を所定の基準で分割するための区分点を設定し、各区分点と分割した静止画像（以下区分画像と略称する）とを対応付けさせる画像領域内区分画像対応付け手段３２と、設定した仮想骨格構造に所望の変形または移動または構造変化を生じさせるために入力されたエレメント変化情報とそれぞれのエレメントの予め設定された位置・物性情報とからそれぞれのエレメントの変化を演算し、エレメントの各区分点の位置情報を時系列で記憶する仮想骨格構造変化生成手段３３と、各区分点の時系列的な位置情報に対応させて各区分点に対応する区分画像を移動させる画像領域内区分画像変化手段３４と、移動した区分画像から時系列的に動画像を合成して表示する画像領域内変化表示手段３５と、各手段の処理を制御する制御部３９とを備える。
【００１６】
次に図２を参照して本発明の動画像生成方法について説明する。
【００１７】
処理を開始すると（Ｓ１１）、画面に表示された静止画像から動画像の対象とする画像領域を、例えば作成者が輪郭をなぞるなどで抽出する（Ｓ１２）。次に、抽出された画像領域を画面に表示し（Ｓ１３）、抽出された画像領域上に画像領域の構成要素の特徴を表現する仮想骨格構造を連続した線分をエレメントとする線画で作成者が描画する（Ｓ１４）。例えば、抽出した画像領域として樹木を用いた場合、その樹木の根幹枝葉を象徴的に表現するような線画を描く。次にそれぞれのエレメントに対応する静止画像の構成要素の幾何学的要素や位相的要素や物理特性などの位置・物性情報をそのエレメントに付与して（Ｓ１５）、仮想骨格構造を設定する。
【００１８】
それぞれのエレメントに対応する静止画像の構成要素を所定の基準で区分画像に分割するための区分点を所定の基準でエレメントに設定し、静止画像の構成要素を所定の基準で区分画像に分割し、各区分点と区分画像とに対応付けを行う（Ｓ１６）。
【００１９】
仮想骨格構造に所望の変形または移動または構造変化を生じさせるために入力されたエレメント変化情報と、それぞれのエレメントに予め設定された位置・物性情報とからそれぞれのエレメントの変化を演算し、エレメントの各区分点の位置情報を時系列で記憶する（Ｓ１７）。その際、動力学を利用して、仮想骨格構造に計算を施してもよい。例えば１本の枝を象徴する仮想骨格構造の１本の直線の一端が固定され、自由な他端がある時間である距離移動するという条件を入力すると固定された一端の支持条件、枝の長さと太さと弾性係数から時系列的な先端の移動位置と区分点の移動位置とが演算でき、この場合にはこのエレメントは直線から曲線に変形する。このような条件を仮想骨格構造を構成するそれぞれのエレメントに設定し、総合的な計算により全体のエレメントの両端を含む区分点の時間軸に沿った変形、移動などが生成される。例えば、時刻ｔn （ｎ＝０，１，２，・・・ｍ）における、仮想骨格構造の全体のエレメントの両端を含む区分点の位置、形状などの状態を情報として記憶する。このような時系列的な情報によって画像を合成することにより、対象物のリアルな動きが生成できる。
【００２０】
次に、各区分点の所望の時刻の位置情報に対応させて各区分点に対応する区分画像を移動させ（Ｓ１８）、移動した区分画像から時系列的に画像を合成して表示する（Ｓ１９）。
【００２１】
そして、ステップＳ１７で記憶された各区分点の時系列的な位置情報に現在表示したｔn に対し時刻ｔn+1 の変化の記述があれば（Ｓ２０Ｎ）、ステップＳ１７に戻り繰り返し区分画像を変化させて表示する。
【００２２】
例えば、ステップＳ１７において時刻ｔs から時刻ｔS+1 にかけて、仮想骨格構造の一つのエレメントの区分点ｂが、位置ｐS から位置ｐS+1 に移動するといった変化が生成された場合、次のステップＳ１８において、ステップＳ１６で仮想骨格構造のそのエレメントの区分点ｂに対応させた区分画像を位置ｐ’S からｐ’S+1 に移動させる。そして、ステップＳ１９において、移動した区分画像を表示する。さらにまた、時刻ｔS+2 に対する仮想骨格構造の一つのエレメントの区分点ｂの変化の記述がステップＳ１７で生成されている場合、同様に繰り返し、ステップＳ１８で対応させた区分画像を変化させ、ステップ１９でその変化を表示し、次の時刻の記述が終了した場合（Ｓ２０Ｙ）、処理を終了する（Ｓ２１）。
【００２３】
このように抽出した画像領域内の区分画像の変化を繰り返し表示することにより、動画像が生成できる。
【００２４】
次に具体的な例を挙げて本発明の動画像生成方法を説明する。図３から図６は本発明の動画像生成方法を説明する模式図であり、図３は本発明の実施例の静止画像の模式図であり、図４は図３の静止画像から抽出した画像領域の模式図であり、図５は抽出した画像領域を象徴的に表現した仮想骨格構造を示す線画の模式図であり、図６は図５の仮想骨格構造の１エレメントの変形によりそのエレメントに対応した静止画像を移動させる処理を示す模式図であり、（ａ）は静止画像と仮想骨格構造の１エレメントとの対応づけの例を示し、（ｂ）は仮想骨格構造の１エレメントの動きの例を示し、（ｃ）は仮想骨格構造の１エレメントの動きによって、書き換えられた静止画像を示す。
【００２５】
図３に示す植物の静止画像から、中央の一本の茎とその茎につながる葉を動かすこととして、この動かしたい中央の一本の茎とその茎につながる葉の画像領域を作成者がその輪郭をなぞるなどで抽出した画像が図４である。
【００２６】
抽出した画像領域を画面に表示し、その上にこの中央の一本の茎とその茎につながる葉を象徴的に表現した仮想骨格構造６０を示す線画を、作成者が連続した線分で描画する。図５は描画した線画を示す。線画はエレメント６１と結合点６２から構成される。描画した線画を構成する各エレメント６１には、作成者が対応した画像の幾何学的要素（幹の太さ等）、位相的要素（枝と葉のつながり関係等）、物理特性（枝の質量、弾性係数等）の適切な情報を付与することにより仮想骨格構造の情報が設定される。
【００２７】
設定された仮想骨格構造の各エレメント６１に適当な基準でエレメント６１の先端を含め区分点６３を設ける。図６（ａ）に示すように、あるエレメント６１の各区分点６３を通過する平行な線分と、その線分と抽出した画像領域との接点から、画像領域を外包する連続する長方形を作成し、作成した長方形の領域で抽出した画像領域を分割し、作成した長方形に含まれる区分点６３でエレメント６１の区分点６３と区分画像６４とを対応づける。この例では各区分点６３を通過する平行な線分を図上で水平に設定しているが、エレメント６１の状態により垂直に設定してもよいし、エレメント６１に対し直角に設定してもよい。
【００２８】
次に、仮想骨格構造６０の各エレメント６１の両端を所望の条件で変化させ、それに伴う区分点６３の変化に応じて、それぞれに対応する画像領域の区分画像６４を変化させる。図６（ｂ）のように仮想骨格構造６０のエレメント６１が変化した場合、長方形領域に囲まれた区分画像６４を図６（ｃ）のように移動させ、静止画像を変化させる。
【００２９】
仮想骨格構造６０の各エレメント６１の変化を繰り返し、区分画像６４の位置を変化させ、時系列的に表示することにより、動画像が生成される。
【００３０】
次に本発明の第２の実施の形態について図面を参照して説明する。図７は本発明の第２の実施の形態の動画像生成装置の模式的ブロック構成図である。
【００３１】
第２の実施の形態では、動画像生成装置１０１は、本発明の動画像生成方法の処理プログラムを記録したＦＤ，ＣＤ−ＲＯＭ、半導体メモリ等の記録媒体１５０を有する。動画像生成装置１０１の構成や動画像生成方法は第１の実施の形態と同じなので説明を省略する。
【００３２】
制御プログラムは記録媒体１５０からデータ処理装置１３０に読み込まれデータ処理装置１３０の動作を制御する。制御部１３９は制御プログラムの制御により以下の処理を実行する。
【００３３】
即ち、画面に表示された静止画像から動画像の対象とする画像領域を抽出し、抽出された画像領域を画面に表示し、抽出した画像領域上に基準となる仮想骨格構造を線画で描画して設定し、仮想骨格構造を構成するそれぞれのエレメントに対応する静止画像の位置・物性情報をエレメントに付与して、仮想骨格構造情報を設定する処理と、
それぞれのエレメントに対応する静止画像を所定の基準で区分画像に分割するための分割区分点を所定の基準でエレメントに設定し、区分点により所定の基準で静止画像を区分画像に分割し、各区分点と区分画像とを対応付けさせる処理と、
仮想骨格構造に所望の変形または移動または構造変化を生じさせるために入力されたエレメント変化情報と、それぞれのエレメントに予め設定され位置・物性情報とから、それぞれのエレメントの変化を演算し、エレメントの各区分点の時系列的な位置情報を記憶する処理と、
各区分点の所望の時刻の位置情報に対応させて各区分点に対応する区分画像を移動させ、移動した区分画像から時系列的に動画像を合成して表示する処理と、を実行する。
【００３４】
【発明の効果】
以上に述べたように本発明によれば、静止画像内から抽出した動かしたい画像領域に変化を与えることにより、３次元物体を一から構築することなく、少ない作業量でリアルな動きを持った動画像を生成できるという効果がある。
【００３５】
また、仮想骨格構造の変形、移動あるいは構造変化を生じさせる際に、動力学を利用して、時間軸に沿った仮想構造変形、移動あるいは構造変化を生じさせることにより、自然な動作を表現することができるという効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の動画像生成装置の模式的ブロック構成図である。
【図２】本発明の第１の実施の形態の動画像生成方法のフローチャートである。
【図３】本発明の実施例の静止画像の模式図である。
【図４】図３の静止画像から抽出した画像領域の模式図である。
【図５】抽出した画像領域を象徴的に表現した仮想骨格構造を示す線画の模式図である。
【図６】図５の仮想骨格構造の１エレメントの変形によりそのエレメントに対応した静止画像を移動させる処理を示す模式図である。
（ａ）は静止画像と仮想骨格構造の１エレメントとの対応づけの例を示す。
（ｂ）は仮想骨格構造の１エレメントの動きの例を示す。
（ｃ）は仮想骨格構造の１エレメントの動きによって、書き換えられた静止画像を示す。
【図７】本発明の第２の実施の形態の動画像生成装置の模式的ブロック構成図である。
【符号の説明】
１、１０１    動画像生成装置
１０、１１０    入力装置
２０、１２０    出力装置
３０、１３０    データ処理装置
３１、１３１    仮想骨格構造設定手段
３２、１３２    画像領域内区分画像対応付け手段
３３、１３３    仮想骨格構造変化生成手段
３４、１３４    画像領域内区分画像変化手段
３５、１３５    画像領域内変化表示手段
３９、１３９    制御部
４０、１４０    記憶装置
６０    仮想骨格構造
６１    エレメント
６２    結合点
６３    区分点
６４    区分画像
１５０    記録媒体
Ｓ１１〜Ｓ２１    ステップ
【図１】
0004229495.tif 000002
【図２】
0004229495.tif 000003
【図３】
0004229495.tif 000004
【図４】
0004229495.tif 000005
【図５】
0004229495.tif 000006
【図６】
0004229495.tif 000007
【図７】
0004229495.tif 000008