(57)【要約】【課題】動いている被写体を撮影した映像から抽出した特徴点の編集作業を、円滑に行うことを可能にすること。【解決手段】アニメーション作成システム1は、動いている被写体を撮影した映像19から、被写体の動きを特徴点で抽出し、抽出した特徴点を用いてアニメーションを作成するシステムであり、映像入力部3、特徴点抽出部5、特徴点記憶部7、合成部９、特徴点編集部11、動作データ作成部13、アニメーション作成部15、および出力部17を含んでいる。合成部9は、特徴点記憶部7に特徴点の位置座標が記憶されると、この特徴点の位置座標を用いて、特徴点と対応する画像に特徴点を重畳する。よって特徴点が、画像のどこの部分と対応しているのかを一目で把握することが可能になり、特徴点の編集作業を円滑に進めることが可能になる。【選択図】図１
2007257508.tif 000002
【特許請求の範囲】
【請求項１】
動いている被写体を撮影した少なくとも２つのフレームを含む映像が入力され、該映像から、キャラクタの動きを制御するための特徴点をフレーム毎に抽出する特徴点抽出手段と、
該特徴点を編集する特徴点編集手段と、
該編集された特徴点を基に前記キャラクタが動くアニメーションを作成するアニメーション作成手段とを含むアニメーション作成システムにおいて、該システムは、
前記第１の特徴点を、第１の特徴点と対応する第１の画像に重畳して重畳画像を作成する合成手段と、
該重畳画像を出力する出力部とを含むことを特徴とするアニメーション作成システム。
【請求項２】
請求項１に記載のアニメーション作成システムにおいて、前記合成手段はさらに、第１の特徴点を抽出した第１のフレーム以外の第２のフレームから抽出された第２の特徴点を重畳して前記重畳画像を作成することを特徴とするアニメーション作成システム。
【請求項３】
請求項２に記載のアニメーション作成システムにおいて、前記合成手段はさらに、第２の特徴点と対応する第２の画像を重畳して前記重畳画像を作成することを特徴とするアニメーション作成システム。
【請求項４】
請求項２または３に記載のシステムにおいて、前記合成手段は、前記重畳画像における同じ種類の特徴点を線で繋ぐことを特徴とするアニメーション作成システム。
【請求項５】
請求項２または３に記載のシステムにおいて、前記合成手段は、前記重畳画像における同じ種類の特徴点を矢印で繋ぐことを特徴とするアニメーション作成システム。
【請求項６】
請求項２ないし５のいずれかに記載のシステムにおいて、前記合成手段は、前記重畳画像における同じ種類の特徴点を同じ形態で表現することを特徴とするアニメーション作成システム。
【請求項７】
請求項２ないし６のいずれかに記載のシステムにおいて、第２のフレームは、第１のフレームの前、および／または、後に位置するフレームであることを特徴とするアニメーション作成システム。
【請求項８】
請求項１ないし７のいずれかに記載のシステムにおいて、該システムはさらに、
時間的に隣り合う前記特徴点の距離を算出する距離演算手段と、
該距離を用いて該特徴点の時間的な変化が適切であるか否かを判断する判断手段とを含み、
前記合成手段は、該判断手段により時間的な変化が適切ではないと判断された前記特徴点、および該特徴点と対応する画像を重畳した前記重畳画像を作成し、
前記出力部は、該重畳画像を出力することを特徴とするアニメーション作成システム。
【請求項９】
請求項８に記載のシステムにおいて、該システムはさらに、前記特徴点の位置を示す補正式を記憶する補正式記憶手段を含み、
前記特徴点編集手段は、前記判断手段により前記特徴点の時間的な変化が適切ではないと判断された前記特徴点を、該補正式を用いて編集することを特徴とするアニメーション作成システム。
【請求項１０】
請求項１ないし９のいずれかに記載のシステムにおいて、前記映像は、顔の動きを撮影した映像であることを特徴とするアニメーション作成システム。
【請求項１１】
動いている被写体を撮影した少なくとも２つのフレームを含む映像が入力され、該映像から、キャラクタの動きを制御するための特徴点をフレーム毎に抽出する特徴点抽出工程と、
該特徴点を編集する特徴点編集工程と、
該編集された特徴点を基に前記キャラクタが動くアニメーションを作成するアニメーション作成工程とを含むアニメーション作成方法において、該方法は、
前記第１の特徴点を、第１の特徴点と対応する第１の画像に重畳して重畳画像を作成する合成工程と、
該重畳画像を出力する出力工程とを含み、
前記編集工程は、該出力された前記重畳画像を見ながら変種作業を行うことを特徴とするアニメーション作成方法。
【請求項１２】
請求項１１に記載のアニメーション作成方法において、前記合成工程はさらに、第１の特徴点を抽出した第１のフレーム以外の第２のフレームから抽出された第２の特徴点を重畳して前記重畳画像を作成することを特徴とするアニメーション作成方法。
【請求項１３】
請求項１２に記載の方法において、前記合成工程はさらに、第２の特徴点と対応する第２の画像を重畳して前記重畳画像を作成することを特徴とするアニメーション作成方法。
【請求項１４】
請求項１２または１３に記載の方法において、前記合成工程は、前記重畳画像における同じ種類の特徴点を線で繋ぐことを特徴とするアニメーション作成方法。
【請求項１５】
請求項１２または１３に記載の方法において、前記合成工程は、前記重畳画像における同じ種類の特徴点を矢印で繋ぐことを特徴とするアニメーション作成方法。
【請求項１６】
請求項１２ないし１５のいずれかに記載の方法において、前記合成工程は、前記重畳画像における同じ種類の特徴点を同じ形態で表現することを特徴とするアニメーション作成方法。
【請求項１７】
請求項１２ないし１６のいずれかに記載の方法において、第２のフレームは、第１のフレームの前、および／または、後に位置するフレームであることを特徴とするアニメーション作成方法。
【請求項１８】
請求項１１ないし１７のいずれかに記載の方法において、該方法はさらに、
時間的に隣り合う前記特徴点の距離を算出する距離演算工程と、
該距離を用いて該特徴点の時間的な変化が適切であるか否かを判断する判断工程とを含み、
前記合成工程は、該判断工程により時間的な変化が適切ではないと判断された前記特徴点、および該特徴点と対応する画像を重畳した前記重畳画像を作成し、
前記出力工程は、該重畳画像を出力し、
前記編集工程は、該出力された重畳画像を見ながら、前記時間的な変化が適切ではないと判断された特徴点を編集することを特徴とするアニメーション作成方法。
【請求項１９】
請求項１８に記載の方法において、前記特徴点編集工程は、前記判断工程により時間的な変化が適切ではないと判断された前記特徴点を、該特徴点の位置を示す補正式を用いて編集することを特徴とするアニメーション作成方法。
【請求項２０】
請求項１１ないし１９のいずれかに記載の方法において、前記映像は、顔の動きを撮影した映像であることを特徴とするアニメーション作成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された映像から抽出された特徴点を基にして、アニメーションを生成するシステムおよび方法に関する。
【背景技術】
【０００２】
近年では、例えばテレビ、映画、ゲーム等においてコンピュータグラフィクス（Computer Graphics : CG）によるアニメーションがよく用いられるようになった。またこのようなアニメーションは、コミュニケーション分野において、例えばアバタ等のキャラクタに応用されることが増えており、とくに顔の動きを表現するアニメーションのニーズが高まりつつある。
【０００３】
しかし、アニメーションの作成には、多大な費用と時間が必要である。よって、より容易なやり方で、自然な動きに見えるアニメーションを作成する方法およびシステムが求められていた。
【０００４】
特許文献１には、入力映像から人物の頭部、目、口等を検出し、その情報を元にCG を用いてキャラクタの動きを制御したアニメーションを作成する方法が開示されている。しかし特許文献１では、例えばテレビ電話等の通信システムでの利用を想定しているため、例えば人物の頭部や目や口等の検出に失敗した場合や、誤って他の部分を頭部や目や口等として検出してしまった場合等に、これらの検出結果を修正する修正手段がなく、その結果、緻密なアニメーションを作成できないという問題を有していた。
【０００５】
また特許文献２には、マーカが付された被写体を複数の方向から撮影して、被写体が動いている映像を得、この映像から特徴点を抽出し、抽出した特徴点を基にしてアニメーションを作成する際に、抽出した特徴点の位置を補正したり、何かの陰に隠れて抽出されなかった特徴点を補間したりする等の、編集を行う方法が開示されている。しかし特許文献２では、これらの編集作業を補助する手段を含まないため、実際には作業量が膨大となってしまうという問題を有していた。
【特許文献１】特開２００３−８５５８３号公報
【特許文献２】特開平１０−２２２６６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明はこのような従来技術の欠点を解消し、アニメーションを作成するために抽出した特徴点の編集作業を効率よく行うことが可能であり、またキャラクタの自然な動きを表現することが可能なアニメーション生成方法およびシステムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の課題を解決するために本発明では、抽出した特徴点を、対応する画像に重畳した重畳画像を作成してディスプレイ等の表示部に表示する。よって、この重畳画像を見ながら編集作業を行うことが可能になるため、例えばどの特徴点が被写体のどの部分から抽出されたのかを把握することが可能になり、特徴点の編集作業を効率よく行うことが可能になる。
【０００８】
また特徴点の抽出はフレーム毎に行うことが可能であり、あるフレームの画像と対応する特徴点を重畳するだけではなく、他のフレームにおける特徴点や、この特徴点と対応する画像も重畳した重畳画像を作成することが可能である。さらに、他のフレームと対応する特徴点を重畳した場合は、特徴点同士を線で繋いでもよい。このように重畳画像に他のフレームにおける特徴点も重畳することより、特徴点の時間的な変化、すなわち特徴点から生成されるキャラクタの動きを把握することが可能になるため、キャラクタの自然な動きを表現することが可能になる。
【０００９】
また本発明では、時間的な経過と共に特徴点がどのように変化したかを把握することにより、その変化が適切なものか否かを判断する。具体的には、時間的に隣り合う特徴点間で距離を算出し、その後、この距離が通常考えられる範囲内であるか否かを判断する。このようにすることによって、例えば抽出ミス等により本来であれば存在しない位置に特徴点が存在しているフレーム等を容易に特定することが可能になり、特徴点の編集作業を効率よく行うことが可能になる。さらに本発明では、距離が通常考えられる範囲内にない特徴点を、予め設定された補正式を用いて補正する。よって、編集作業を自動的に行うことが可能になり、また一度に複数の編集作業を行うことが可能になる。
【発明の効果】
【００１０】
本発明によれば、効率よく特徴点を編集することが可能になる。また、キャラクタの自然な動きを表現することが可能になる。
【発明を実施するための最良の形態】
【００１１】
次に添付図面を参照して本発明の実施例を詳細に説明する。図１は、本発明によるアニメーション作成システムの実施例の構成を概念的に示すブロック図である。図１において、アニメーション作成システム1は、映像入力部3、特徴点抽出部5、特徴点記憶部7、合成部9、特徴点編集部11、動作データ作成部13、アニメーション作成部15、および出力部17を含んでおり、動いている被写体を撮影した映像19から特徴点を抽出し、抽出された特徴点に基づいてアニメーションを作成し、出力部17にするシステムである。
【００１２】
より具体的に説明すると、映像入力部3にはアニメーションで表現したい動きをしている被写体を撮影した映像19が入力される。映像入力部3にこのような映像19が入力されると、特徴点抽出部5がこの映像19からフレーム毎に特徴点を抽出する。特徴点は、アニメーションによりキャラクタの動きを制御する際に必要となる点、すなわち、動きを表現するのに必要となる主要な点である。
【００１３】
抽出された特徴点は、特徴点記憶部7に記憶される。特徴点記憶部7に特徴点が記憶されると、特徴点編集部11が特徴点を編集する。その後、編集された特徴点を動作データ作成部13、アニメーション作成部15で用いてアニメーションが作成される。本発明の理解に直接関係のない部分は、図示を省略し冗長な説明を避ける。なお、本発明は各部の構成を本実施例に限定するわけではなく、アニメーション作成システム1に応じて任意の構成を採用することが可能である。
【００１４】
図１において、映像入力部3には、動いている被写体を撮影した映像19が入力される。この被写体の動きは、アニメーションで表現したい動き、すなわち、アニメーションで表現されるキャラクタにさせたい動きである。本実施例では、顔の動き、すなわち表情の変化をアニメーションで表現したいため、顔の各部、例えば、目、鼻、口、眉等を動かして、表情を変えている人間の顔の映像19が入力される。
【００１５】
映像入力部3は、このような映像19が入力されると、入力された映像19を特徴点抽出部5へ供給する。特徴点抽出部5は、入力された映像19から特徴点をフレーム毎に抽出し、抽出した特徴点の位置を算出する。なお本実施例ではフレーム毎に特徴点を抽出しているが、本発明はこれに限定するわけではない。
【００１６】
ここで特徴点とは、上述したようにアニメーションによりキャラクタの動きを制御する際に必要となる点であって、動きを表現するのに必要となる主要な点である。なお動きに応じて任意の点を特徴点とすることが可能であり、例えば本実施例では、キャラクタの顔の表情が変化するアニメーションを作成するため、顔の動きを表現する際に必要な点を特徴点としている。具体的には図２に四角で示すように、右の眉毛の実質的に右端を特徴点A、右の眉毛の実質的に左端を特徴点B、左の眉毛の実質的に右端を特徴点C、左の眉毛の実質的に左端を特徴点D、右目の瞳を特徴点E、左眼の瞳を特徴点F、口の実質的に右端を特徴点G、口の実質的に左端を特徴点H、上唇の実質的に中央を特徴点I、および下唇の実質的に中央を特徴点Jとしている。
【００１７】
図２は、特徴点を抽出する処理を概念的に示した図であり、アニメーション作成システム1に入力される映像19におけるあるフレーム25を概念的に示した図である。なお図２では１つのフレーム25のみを図示しているが、これは説明をわかりやすくするためであり、映像19には任意の数のフレームを含めることが可能である。また本発明は、顔の表情を撮影した映像19に限定するわけではなく、キャラクタにさせたい動きに応じて、任意の動きを撮影した映像19を採用することが可能であり、また被写体もアニメーションで表現するキャラクタに応じて任意の被写体を採用することが可能である。
【００１８】
図２においてこれらの特徴点A〜Jは、任意のやり方を採用して抽出することが可能である。例えば、映像19を図２に示すようにフレーム毎に分け、各フレームの静止画像を画像処理することにより抽出してもよいし、または、特徴点として抽出すると定めた部分に予めマーカを付して、このようなマーカが付された被写体を撮影し、特徴点A〜Jを抽出する際は、対応するマーカの部分をフレーム毎に抽出するようにしてもよい。なお本発明はこれらに限定するわけではない。このようにして特徴点A〜Jを抽出すると、特徴点抽出部5は、抽出された特徴点A〜Jの位置をそれぞれ算出する。
【００１９】
本実施例では図２に示すように、フレームの左下の端点51を原点、水平方向をx軸、および垂直方向をy軸とし、各特徴点A〜Jの位置を、フレーム毎に座標として算出する。算出された各特徴点の位置を示す座標、すなわち位置座標の一例を図３に示す。図３において、n は正の整数である。なお本実施例では、映像19のすべてのフレームから特徴点A〜Jを抽出し、位置座標を算出している。これは後段の動作データ作成部13で、映像19に含まれているすべてのフレームにおける特徴点A〜Jから動作データを作成するためである。しかし本発明はこれに限定するわけではなく、後段の動作データ作成部13で必要となる分、特徴点を抽出して位置座標を算出すればよい。また本実施例では説明を分かりやすくするために２次元にしているが、本発明はこれに限定するわけではなく、例えばx軸、およびy軸と直行するz軸をさらに設定して３次元にすることも可能である。
【００２０】
特徴点抽出部5で算出された特徴点A〜Jの位置座標は、特徴点記憶部7へ送られる。特徴点記憶部7は、例えばメモリ等の記憶手段を含んでおり、送られてきた特徴点A〜Jの位置座標を記憶する。なお記憶には、任意のやり方を採用して記憶することが可能であり、例えば図３に示すように特徴点A〜J毎の表を作成して記憶することが可能である。また特徴点記憶部7には、特徴点以外に、任意のものを記憶しておくことが可能であり、例えば本実施例では、特徴点記憶部7に、特徴点A〜Jを抽出した際に用いた画像、すなわち各フレームの画像も記憶している。
【００２１】
特徴点記憶部7に特徴点A〜Jの位置座標が保存されると、動作データ作成部13がこの保存された特徴点A〜Jの位置座標から、公知の手法を用いてキャラクタの動きの時間的変化を定義したデータである動作データを作成する。動作データは、アニメーション作成部15へと供給され、アニメーション作成部15で、公知の手法を用いてキャラクタが動作データに従った動きをするアニメーションが作成される。作成されたアニメーションは、出力部17へと供給される。出力部17は、例えばディスプレイやプリンタ等の出力手段を含み、アニメーション作成部15から供給されたアニメーションを例えばディスプレイ等に表示したり、プリンタから紙へと出力する。
【００２２】
以上のようにして動いている被写体を撮影した映像19から動きを抽出し、この抽出した動きに基づいた動きをするキャラクタのアニメーションが作成される。しかし、特徴点抽出部5で抽出された特徴点A〜Jの位置座標をそのまま用いて動作データを作成すると、被写体の動きそのものがおかしかったり、映像がうまく撮影されていなかったり、特徴点A〜Jの抽出を誤っていたり等の場合があり、キャラクタの動きが自然な動きにならない動作データが作成され、キャラクタの動きがおかしいアニメーションが作成されてしまうため、位置座標を変更したり、抽出されていなかった特徴点を補完する等の編集作業を特徴点編集部11で行う。
【００２３】
特徴点編集部11は、特徴点記憶部7と接続し、特徴点記憶部7に保存された各特徴点A〜Jの位置座標を補正したり、何かの影になって抽出されなかった特徴点を補完する等の編集作業を行うものである。編集作業は、例えば図示しない操作部、例えばマウスやキーボード等から入力されるユーザの操作信号により行われたり、または予め設定された編集用のプログラム等により自動的に行われる。編集後の位置座標は再び特徴点記憶部7に供給され、特徴点記憶部7に記憶される。その後、動作データ作成部13が、補正や補間が行われた後の特徴点A〜Jの位置座標から動作データを作成し、アニメーション作成部15が、動作データ作成部13で作成された動作データを基にしてアニメーションを作成する。
【００２４】
従来では、編集作業をユーザが図示しない操作部を操作して行う場合は、例えば特徴点のみを見ながら抽出した特徴点の位置を補正したり、何かの陰に隠れて抽出されなかった特徴点を補間したりするものであったため、例えば各特徴点が被写体のどの部分を示しているのかが不明となってしまい、作業量が膨大となってしまうという問題を有していた。
【００２５】
そこで本実施例では、アニメーション作成システム1は合成部9を含んでおり、この合成部9で、特徴点記憶部7に記憶された特徴点を、対応するフレームの画像に重畳し、重畳画像を作成する。その後作成した重畳画像を出力部17へと供給して、出力部17に含まれている例えばディスプレイ等に出力する。よって、特徴点編集部7における編集作業を、出力部17に出力された重畳画像を見ながら行うことが可能になるため、編集作業を効率よく行うことが可能になる。以下、詳細に説明する。
【００２６】
図１において合成部9は、特徴点記憶部5、および出力部17と接続し、特徴点記憶部5に記憶されている位置座標を基にして、各特徴点を、この特徴点に対応する画像に重畳した重畳画像を作成するものである。
【００２７】
図４は合成部9で作成される重畳画像の一例を概念的に示した図である。図４において図２と同じ参照番号は同様の構成要素を示す。また図４において、各フレームは、図３に示す各フレームと対応しているものとする。例えば、図４に示す第１フレームの特徴点A1 の位置座標は、図３に示す第１フレーム61の特徴点A の位置座標、すなわち、（XA1，YA1）である。他の特徴点も同様である。なお図４では、３つのフレーム分の重畳画像61、63、65を示しているが、これは説明を分かりやすくするためであって、合成部は重畳画像を任意のフレーム分作成することが可能である。
【００２８】
合成部9は、図４に示すような重畳画像61、63、65を作成するために、特徴点記憶部7に特徴点A〜Jの位置座標が記憶されると、これを読み出す。また、読み出した位置座標と対応する画像67、69、71を、例えば画像が記憶されている場所、例えば本実施例のように特徴点記憶部7に特徴点と一緒に記憶されている場合は特徴点記憶部7から、また例えば映像入力部3に記憶されている場合は映像入力部3等から読み出す。その後、読み出した位置座標と、この位置座標と対応する画像67、69、71とを重畳して重畳画像61、63、65を作成する。
【００２９】
例えば図４における重畳画像61の場合では、特徴点記憶部7から第1フレームにおける各特徴点A1〜J1の位置座標と、特徴点A1〜J1と対応する第1フレームの画像67とを読み出し、第1フレームの画像67における各位置座標で特定される位置に、特徴点A〜Jを描画、すなわち重畳して、重畳画像61を作成している。なお本発明は、本実施例のように抽出したすべての特徴点A〜Jを重畳する事に限定するわけではなく、ある特徴点のみ、例えば口の特徴点G〜Jというようにある特徴点のみを重畳することも可能である。なおこの場合用いる画像は、１つのフレーム全体の画像であってもよいし、ある特徴点と対応する画像、例えば、口の特徴点G〜Jならば対応する口のみの画像であってもよく、任意に設定することが可能である。
【００３０】
特徴点の重畳には、任意のやり方を採用することが可能である。例えば対応する画像における特徴点が重なる部分の画素値に、特徴点の画素値を加算することによって、画像と特徴点とを重畳してもよいし、また例えば、対応する画像の層と特徴点の層とを形成し、これらを重ね合わせることによって重畳してもよい。なお本発明はこれに限定するわけではない。
【００３１】
このようにして合成部9で作成された重畳画像61、63、65は出力部17に供給され、例えば出力部17に含まれているディスプレイに出力されたり、また例えば出力部17に含まれているプリンタで印刷されて紙に出力される。よって特徴点編集部11における編集作業を、この重畳画像61、63、65を用いながら、具体的には出力部17に出力された重畳映像61、63、65を見ながら行うことが可能であるため、特徴点A〜Jが、画像61、63、65におけるどこの部分と対応しているのかを一目で把握することが可能になり、編集作業を効率よく行うことが可能になる。また特徴点A〜Jが重畳されているため、後段のアニメーション作成部15で作成されるキャラクタの動きを想定することが可能になり、キャラクタが自然な動きをするアニメーションを効率よく作成することが可能になる。なお本発明は、図４に示す例に限定するわけではなく、合成部9は、例えば図５、図６、図７、図８、および図９に示すように、特徴点A〜Jの時間的変化も把握可能になるように重畳画像を作成してもよい。
【００３２】
図５は、合成部9で作成される重畳画像の別の一例を概念的に示した図である。図５において、図４と同じ参照番号は同様の構成要素を示すため説明を省略する。図５に示す例では、合成部9は、１つのフレームの画像に、この画像と対応する特徴点を重畳すると共に、別のフレームにおける特徴点も重畳して重畳画像を作成している。この別のフレームは、重畳される画像のフレームの前や後ろに位置するフレームにすることが可能である。
【００３３】
例えば図５に示す例では、図４に示す第１フレームの画像67に、第１フレームにおける特徴点A1〜J1、および第２フレームにおける特徴点A2〜J2を重畳して重畳画像91を作成している。なお本発明はこれに限定するわけではなく、任意のフレームにおける特徴点重畳することが可能であり、また重畳する数も任意に設定することが可能である。例えば、あるフレームを中心として前、および後ろに位置する100フレームの中から、10フレーム毎に20個のフレームを選択し、選択された各フレームの特徴点を、あるフレームの画像に重畳して重畳画像を作成してもよい。なお本発明はこれに限定するわけではない。
【００３４】
なおあるフレームの重畳画像に、別のフレームの特徴点を重畳する際は、例えば図５に示すように、表示される特徴点の形態、例えば特徴点の色や模様や形状等をフレーム毎に変えたほうが、フレームが変わることにより特徴点がどのように変化するのか、すなわち、特徴点の時間的な変化を把握することが可能になるため、好ましいが、本発明はこれに限定するわけではない。また図５に示す例では、他のフレームにおけるすべての特徴点を重畳しているが、本発明はこれに限定するわけではなく、例えば他のフレームの特徴点を重畳するのは、任意に設定した特徴点のみにすることも可能である。
【００３５】
このように別のフレームの特徴点も重畳することにより、特徴点の時間的な変化を把握することが可能になるため、キャラクタの動きがより自然な動きとなるよう、特徴点を編集することが容易になる。その結果、キャラクタのより自然な動きを表現することが可能になる。
【００３６】
図６は、合成部9で作成される重畳画像の別の一例を概念的に示した図である。図６において、図４、図５と同じ参照番号は同様の構成要素を示すため説明を省略する。図６に示す例では、合成部9は、１つのフレームの画像に、この画像と対応する特徴点、および別のフレームにおける特徴点を重畳し、さらに同じ種類の特徴点同士を線で繋いで重畳画像95を作成している。
【００３７】
ここで同じ種類の特徴点とは、画像における同じ部分から抽出された特徴点である。例えば、第１フレームの特徴点H1と、第２フレームの特徴点H2とが同じ種類の特徴点の関係にある。よって合成部は、特徴点H1と特徴点H2とを線97で繋いでいる。他の特徴点も同様である。なお、例えば特徴点A1と特徴点A2のように、第１フレームと第２フレームとでほとんど位置が変化しない場合は、線で繋いでもよいし、逆に本実施例ように線で繋がないようにしてもよい。
【００３８】
また、フレームにおける特徴点の種類が多い場合は、例えば、本実施例のように特徴点の種類毎に線の種類を変えるようにしてどの特徴点がどのように変化するのかを一目で把握することが可能になるようにしてもよい。例えば、本実施例では、線で繋いでいる特徴点G、H、I、J毎に繋ぐ線の種類を変更している。なお本発明はこれに限定するわけではなく、繋ぐ線の種類は同じであってもよい。
【００３９】
このように同じ種類の特徴点同士を線で繋ぐことによって、特徴点の時間的な変化をより把握することが可能になる。なお本発明は、線で繋ぐことに限定するわけではなく、例えば図７に示すように、矢印で繋ぐことも可能であるし、また例えば図８に示すように同じ種類の特徴点の形態を同じにするようにして、特徴点の時間的な変化の把握を可能にしてもよい。図７、図８は、合成部9で作成される重畳画像の別の一例を概念的に示した図である。図７、図８において、図４、図５、図６と同じ参照番号は同様の構成要素を示すため説明を省略する。
【００４０】
図７に示す重畳画像101では、同じ種類の特徴点同士を矢印で繋いでいる。なお図７に示す例では、特徴点の種類毎に矢印の種類を変えていないが、本発明はこれに限定するわけではなく、例えば特徴点の種類毎に矢印の種類を変えるようにしてもよい。また図８に示す重畳画像103では、特徴点の種類毎に特徴点の形態、すなわち色や模様や形状等を変えて、特徴点の時間的な変化を示している。具体的に説明すると、図８では左目の特徴点Eを右斜めに斜線が入った模様の四角形で表現し、右目の特徴点Fを左斜めに斜線が入った模様の四角形で表現している。他の特徴点も同様である。よって、おなじ形態の特徴点をたどることにより、特徴点の時間的な変化を把握することが可能である。
【００４１】
さらに図８では、時間的に前に位置するフレームの特徴点の大きさを、後ろに位置するフレームによりも特徴点の大きくすることによって、矢印で繋がなくても時間的な前後関係が一目でわかるようにしている。具体的には、図８では、第１フレームにおける特徴点A1〜J1の大きさを、第２フレームにおけるA2〜J2の大きさよりも大きくして、どちらが時間的に前のフレームにおける特徴点なのかを、矢印で繋がなくても把握できるようにしている。
【００４２】
なお本発明は、図５〜図８に示す例に限定するわけではなく特徴点の時間的な変化を把握することが可能であれば任意のやり方を採用することが可能である。例えば、特徴点、線、および矢印を、例えば時間的に前に位置するフレームから時間的に後ろに位置するフレームに向かって点滅するものにしたり、色が薄く、または濃くなるようにして、特徴点が変化してゆく方向を示すようにすることも可能である。
【００４３】
また例えば図５〜図８に示すやり方を組み合わせて用いることも可能である。例えば、特徴点の種類も多く、また、重畳する数も多い場合等では、同じ種類の特徴点毎に形態を変更するようにし、さらに同じ種類の特徴点同士を線または矢印で繋ぐようにすると、特徴点の時間的な変化をより把握しやすくすることが可能になる。なお本発明はこれらに限定するわけではない。
【００４４】
このように、あるフレームの画像に、この画像と対応する特徴点および別のフレームの特徴点を重畳し、さらに同じ種類の特徴点同士を線や矢印で繋いだり、同じ種類の特徴点の形状を統一することによって、特徴点の時間的な変化をより把握し易くすることが可能になるため、編集作業を円滑に行うことが可能になり、また自然な動きを形成することが可能になる。なお合成部9で作成される重畳画像は図５〜図８に示す例に限定するわけではなく、例えば図９に示すように、合成部は、重畳した他のフレームの特徴点と対応する画像も重畳した重畳画像を作成することも可能である。
【００４５】
図９は、合成部で作成された重畳画像の別の一例を概念的に示した図である。図９において、図４〜図８と同じ参照番号は同様の構成要素を示すため説明を省略する。図９に示す例では合成部9は、あるフレームの画像、このフレームと対応する特徴点、他のフレームの特徴点、および他のフレームと対応する画像を重畳して重畳画像111を作成する。
【００４６】
具体的に説明すると、合成部9は、第１フレームの画像67を基準とし、この第１フレームの画像67に、第１フレームの特徴点A1〜J1、第２フレームの画像69、第２フレームの特徴点A2〜J2、および第３フレームの画像71、第３フレームの特徴点A3〜J3を重畳して重畳画像111を作成している。ここで基準とするフレーム、例えば本実施例では第１のフレームは、時間的変化を把握する際の開始の点となるフレームである。つまり、本実施例では、第１フレームを開始点として、第２フレーム、第３フレームにおける動きを把握している。なお基準とするフレームは把握したい動きに合わせて任意に設定することが可能である。
【００４７】
なお本実施例では、各フレームにおけるすべての特徴点A〜J、および特徴点A〜Jと対応する画像が重畳されているが、本発明はこれに限定するわけではなく、任意の特徴点のみ重畳することが可能であり、重畳した特徴点に応じた画像のみを重畳することも可能である。
【００４８】
例えば本実施例を用いて説明すれば、各フレームにおける口の特徴点のみ変化するため、この口の特徴点、すなわち特徴点G、H、I、J を重畳し、この口の特徴点G、H、I、J と対応する部分、すなわち口のみの画像を３つのフレーム分重畳することも可能である。このようにある部分のみ他のフレームの画像を重畳する場合は、基準とするフレームの画像、例えば本実施例では第１フレームの画像は、例えば口だけというような部分ではなく、画像全体を用いた方が、総合的な判断を行うことが可能になるため好ましいが本発明はこれに限定するわけではない。
【００４９】
このように別のフレームの画像の重畳する際は、特徴点の重畳と同様に任意のやり方を採用して重畳することが可能である。例えば、画素値を加算するようにしてもよいし、別のフレームの画像を別の層として形成し、この層を重ね合わせることで重畳してもよい。また重畳する際、基準とするフレーム以外のフレームの画像は、元のままでもよいし、例えば色を薄くしたり、半透明にしたり、点線にしたり、さらに例えば1色の濃淡のみで表した画像にする等、表示される形態を変えてもよい。例えば重畳する画像が多い場合に、このように色を薄くする等を行って重畳画像を見易くすることで、編集作業を円滑に行うことが可能になるが、本発明はこれに限定するわけではなく、任意のやり方を採用することが可能である。
【００５０】
以上のようにして別のフレームの画像も重畳したため、特徴点の時間的な変化の把握と共に、各特徴点が各フレームにおける所望の位置と対応しているか否かを一目で判断することが可能になり、編集作業を円滑に行うことが可能になり、また自然な動きになるよう特徴点を編集することが可能になる。なお他のフレームの画像を重畳した際も、図６、図７に示すように、同じ種類の特徴点を線や矢印で繋いでもよいし、また図８に示すように同じ種類の特徴点毎に形態をわけてもよく、任意に選択することが可能である。
【００５１】
図１０は、本発明によるアニメーション作成システムの別の実施例の構成を概念的に示すブロック図である。図１０において図１と同じ参照番号は同様の構成要素を示す。図１０において、アニメーション作成システム201では、距離演算部203および判断部205を含み、距離演算部203で、時間的に隣り合う、すなわち前後の関係にある特徴点間の距離を算出して特徴点の時間的な変化量を得る。その後、判断部205でこの変化量が正常であるか否かを判断して変化量が多い特徴点を抽出し、特徴点編集部11でこの変化量が多い特徴点を編集する。よって変化量が多い特徴点、すなわち、自然な動きを形成しない特徴点を自動的に抽出することが可能であり、このような特徴点の編集を容易に行うことが可能になる。以下具体的に説明する。
【００５２】
図１０において、距離演算部203は、特徴点記憶部7と接続し、特徴点記憶部7に特徴点の位置座標が記憶されると、この位置座標を用いて時間的に隣り合う、すなわち時間的に前後の関係にあり、かつ同じ種類の特徴点間の距離を算出するものである。例えは本実施例では、特徴点をフレーム毎に算出しているため、隣り合うフレーム間の、同じ種類の特徴点の距離を算出する。
【００５３】
また判断部205は、距離演算部203と接続し、距離演算部203が算出した距離を用いて、特徴点の位置が正常であるか否かを判断するものである。本実施例では、判断部205には予め設定された値が記憶されており、判断部205はこの値を用いて算出した距離がこの値以上か否かを判断することにより、特徴点の位置が正常であるか否かを判断する。なお本発明はこれに限定するわけではなく、例えば判断部205において判断を行う毎に、図示しない操作部等から判断に用いる値が入力されるようにしてもよい。
【００５４】
このような距離演算部203、および判断部205は、アニメーション作成システム201における任意の部分に設けることが可能であり、例えば、本実施例のように特徴点編集部11とは別に設けてもよいし、また例えば特徴点編集部11内に設けることも可能である。なお本発明はこれに限定するわけではない。
【００５５】
このように図１０に示す例では、距離演算部203、および判断部205を含むため、時間的な変化が大きい特徴点を容易に特定することが可能になり、その結果、例えば特徴点抽出部5において本来であれば特徴点ではない部分を特徴点として抽出してしまったフレームや、自然な動きとならない特徴点が存在するフレーム等を容易に検出することが可能になり、編集作業を円滑に行うことが可能になる。以下詳細に説明する。
【００５６】
図１１は、図１０に示すアニメーション作成システム201における編集処理の処理手順の一例を示した流れ図である。図１１において、例えば図示しない操作部等から距離を算出する指示が入力されると、距離演算部203は、時間的に前後に関係にあり、かつ同じ種類の特徴点間の距離を算出するために、本実施例では隣り合う２つのフレームにおける特徴点の位置座標を特徴点記憶部7から読み出す（ステップS1）。
【００５７】
例えば図３に示す特徴点A1〜J1および特徴点A2〜J2間の各距離を算出する場合では、距離演出部203は、第１フレームにおける特徴点A1〜J1の位置座標、および第２フレームにおける特徴点A2〜J2の位置座標を特徴点記憶部7から読み出す。なお読み出す特徴点は任意に設定することが可能であり、例えばすべての特徴点の位置座標を読み出すことも可能であるし、また例えば任意に選択された特徴点にすることも可能である。読み出す範囲も任意に設定することが可能である。例えば本実施例では、図３に示す第１フレームから第nフレームまでのフレームにおける特徴点間の距離を算出する。なお本発明はこれに限定するわけではない。
【００５８】
距離演算部203は、隣り合う２つのフレームにおける各特徴点の位置座標を読み出すと、位置座標が算出されていない特徴点が存在するか否かを判断する（ステップS2）。このように判断を行うのは、特徴点として抽出すると設定した点が例えば何かの影になって抽出されていない場合は、位置座標が算出されていないために距離を算出することができなくなるからである。
【００５９】
ステップS2における判断の結果、特徴点の位置座標が算出されている場合、距離演算部203はステップS3へ進み、位置座標を用いて隣り合うフレームにおける同じ種類の特徴点間の距離を算出する（ステップS3）。例えば、第１フレームにおける特徴点A1の位置座標と、第２フレームにおける特徴点A2の位置座標の距離を算出する。他の特徴点も同様である。
【００６０】
ここで距離の算出は、任意のやり方を採用して行うことが可能である。例えば本実施例のように特徴点の位置を、任意の点を原点とした座標平面で考えている場合では、例えば三平方の定理を用いて距離を算出してもよいし、また例えばある軸における変位量を距離とすることも可能である。具体的に特徴点A1と特徴点A2とを用いて説明すれば、特徴点A1の位置座標（XA1,YA1）、および特徴点A2の位置座標（XA2,YA2）とで三平方の定理を用いて距離を算出することも可能であるし、特徴点A1およびA2のx軸における変位、すなわちXA1からXA2を引いた値と、特徴点A1およびA2のy軸における変位、すなわちYA1からYA2を引いた値とを距離と考えることも可能である。なお本発明はこれらに限定するわけではなく、任意のやり方を採用することが可能である。
【００６１】
距離が算出されると、算出された距離は判断部205へ供給される。本実施例では、判断部205には予め設定された設定値が記憶され、判断部205は、距離演算部203から距離が供給されると、この設定値と、供給された距離とを比較して、特徴点の時間的変化が適切なものか否かを判断する（ステップS4）。ここで設定値は任意の値を採用することが可能であり、例えば被写体の動き毎に設定した値であってもよいし、ユーザによって経験等により決められた値等にしてもよい。なお本発明はこれに限定するわけではない。
【００６２】
ステップS4における判断の結果、距離が設定された値よりも小さい場合は、ステップS6へ進み、距離を計算する残りのフレームがあるか否かを判断し、残りのフレームが無い場合は処理を終了する。逆に距離を計算するフレームがある場合はステップS1へ戻る。一方、ステップS4における判断の結果、距離が設定された値以上である場合は、ステップS5へ進み、合成部9に距離が設定された値以上の特徴点、すなわち時間的な変化がおかしい特徴点、および画像を用いて重畳画像を作成するよう伝える。
【００６３】
この合成部9へ伝える処理は、任意のやり方を採用することが可能である。例えば判断部205から合成部9に直接伝えてもよいし、また例えば特徴点格納部7を経由して伝えてもよい。例えば本実施例では、特徴点格納部7における、時間的な変化がおかしい特徴点の位置座標に、時間的な変化がおかしい旨を伝えるための予め設定された情報を付加することで、合成部9に時間的な変化がおかしい特徴点の存在を伝えている。なお本発明はこれに限定するわけではない。合成部9では重畳画像を作成して出力部17に出力させて、そのフレームに位置のおかしい特徴点が存在していることをユーザに知らせる（ステップS5）。
【００６４】
なお２つのフレーム間の距離を計算しているため、正常ではない位置にある特徴点は、計算に用いたフレームのうちどちらか一方のフレームにおける特徴点である。よって判断部205は距離の計算に用いた２つのフレームうち、正常な位置にない特徴点は、どちらのフレームにおけるものなのかをさらに判断し、特定した１つのフレームのみを合成部9に知らせるようにしてもよいし、逆に判断せずに両方のフレームを位置がおかしいものとして合成部9に知らせるようにしてもよく、任意のやり方を採用することが可能である。
【００６５】
具体的に説明すると、例えば、第１フレームと第２フレームとの間で距離を算出し判断部205で判断した結果、特徴点Hの距離が設定値よりも長いと判断された場合に、判断部は特徴点H1と特徴点H2のどちらがおかしいのかをさらに判断してもよいし、例えば本実施例のように、どちらも位置がおかしいものとし、ユーザに判断させるようにしてもよい。
【００６６】
図１２は、重畳画像の一例を概念的に示した図であって、出力部17における出力例を概念的に示した図である。図１２において図４と同じ参照番号は同様の構成要素を示す。本実施例では図１２に示すように、どちらも位置がおかしいものとして出力し、ユーザにどちらがおかしいのかを判断させ、おかしい方を修正させる。また本実施例では、位置がおかしいと判断された特徴点H1を含む第１フレーム、および特徴点H2を含む第２フレームの輪郭を太くしてユーザにフレームに位置がおかしい特徴点があることを知らせている。
【００６７】
なお本発明は図１２に示す例に限定するわけではなく、例えば図示しないが重畳画像の背景の色を変えたり、位置がおかしい特徴点の形状を変えたり、輪郭や背景や位置がおかしい特徴点などを点滅させてユーザに知らせるようにしてもよい。また例えば、図１２のように位置のおかしいと判断された特徴点が存在するフレーム以外のフレーム、すなわち図１２でいうと第３フレームについても重畳画像を作成して出力するのではなく、位置のおかしい特徴点が存在するフレームのみ重畳画像を作成して出力することで、ユーザに知らせるようにしてもよい。
【００６８】
さらに例えば図１３に示すように、例えば第３フレームにおける特徴点も重畳した重畳画像209を作成してもよく、任意に選択することが可能である。なお本発明は図１２、図１３に示す例に限定するわけではなく、任意のやり方を採用し、ユーザに位置のおかしい特徴点の存在を知らせることが可能である。
【００６９】
図１３は、ユーザに知らせる際の出力部の出力画面の別の一例を概念的に示した図である。図１３において図５〜図８と同じ参照番号は同様の構成要素を示す。図１３では、第２フレームにおける画像67に第１〜第３のフレームにおける特徴点A〜Jを重畳し、重畳画像を作成している。なお図１３に示す例では、第２フレームの画像67に特徴点A〜Jが重畳されているが、本発明はこれに限定するわけではなく、第１フレームと第２フレームとで距離を算出しているため、少なくともどちらか一方の画像に第1フレームおよび第２フレームの特徴点A〜Jが重畳されればよく、どちらを採用するかは任意に設定することが可能である。
【００７０】
ユーザへ知らせた後は、ステップS6へ進み、残りのフレームがあるか否かを判断する（ステップS6）。その結果、残りのフレームがある場合はステップS1へと戻る。逆に無い場合は処理を終了する。例えば本実施例の場合では、次のフレームである第３フレームにおける特徴点A3〜J3を読み出し、第２フレームと第３フレームとで距離を計算する。
【００７１】
一方ステップS2における判断の結果、位置座標が算出されていない特徴点が存在すると、距離演算部203はステップS5へ進み、合成部9に位置座標が存在しないフレームにおける特徴点、および画像を用いて重畳画像を作成するよう伝える。この合成部9へ伝える処理も、判断部205から合成部9へ伝える処理と同様、任意のやり方を採用することが可能である。合成部9は、このフレームにおける特徴点および画像を用いて重畳画像を作成して出力部17に出力させ、ユーザに抽出されていない特徴点が存在していることを知らせる。知らせた後は、ステップS6へ進み、残りのフレームがあるか否かを判断し、ある場合はステップS1へ戻り、無い場合は処理を終了する。
【００７２】
このように図１１に示す例では、距離を計算することによって位置がおかしい特徴点を検出するため、位置がおかしい特徴点を容易に発見することが可能になる。また、位置がおかしいと判断された場合は、その特徴点と、この特徴点と対応する画像とを重畳して重畳画像を作成するため、位置がおかしいと判断された特徴点を容易に正常な位置に補正することが可能であり、編集作業を円滑に進めることが可能になる。さらに距離を計算する際に、位置座標が存在するか否かを判断するため、正しく抽出されていなかった特徴点を容易に検出することが可能になる。
【００７３】
図１４は、本発明によるアニメーション作成システムの別の実施例の構成を概念的に示すブロック図である。図１４において図１、および図１０と同じ参照番号は同様の構成要素を示す。図１４に示すアニメーション作成システムでは、特徴点編集部303は、補正式記憶部305を含んでいる。なお図１４にでは、特徴点編集部303は補正式記憶部305を含むようになるだけであって、図１に示す特徴点編集部11と同様のものである。補正式記憶部305は、補正式が記憶されており、特徴点編集部303は、この補正式を用いて特徴点の位置座標を補正する。
【００７４】
補正式は、距離算出部203で抽出されていない特徴点が見つかった場合や、判断部205において位置がおかしい特徴点が見つかった場合に、これらの特徴点の編集を自動的に行うために用いるものであって、本実施例では、抽出されていない特徴点や位置がおかしい特徴点をどのように編集したらよいかを定めた規則や、数式を補正式としている。
【００７５】
より具体的に説明すると、規則は、編集のやり方を定めたものである。例えば本実施例では、位置のおかしい特徴点の位置座標を、この特徴点が存在するフレームの前後のフレームの特徴点の中点にするという規則、および特徴点が抽出されていないフレームがある場合は、その前に位置するフレームにおける特徴点と同じ位置にするという規則等を用いている。なお本発明は上述した規則に限定するわけではなく、任意の規則を採用することが可能である。
【００７６】
また数式は、特徴点の位置座標の時間的な変化を定義したものである。例えば本実施例では、数１のようにフレーム（t）を独立変数とし、従属変数を位置座標（ x 、 y ）とした関数等を用いている。なお本発明は本実施例に限定するわけではなく、任意の数式等を採用することが可能である。
【００７７】
ｙ= - at2  + b ・・・・（数１）
このような補正式は任意のやり方を採用して作ることが可能であり、例えば経験に基づいて作成したり、滑らかな動きと認められる動きに用いられている特徴点の位置座標から作成することが可能である。また補正式は、任意の種類作成しておくことが可能であり、例えばよく出現する動き毎に作成しておくことも可能であるし、また例えば、特徴点の直線的な変動を示した数式と、曲線的な変動を示した数式とを数種類ずつ作成しておき、位置のおかしい特徴点が存在するフレームの前後のフレームから、特徴点が直線的に変動するものである場合は、その変動に合う直線的な変動を示した数式を用いて修正し、また特徴点が曲線的に変動するものである場合はその変動に合う曲線的な変動を示した数式を用いて修正するということも可能である。なお本発明はこれに限定するわけではない。
【００７８】
このように補正式を作成し、補正式記憶部305に記憶することで、距離演算部203や判断部205において位置のおかしい特徴点が見つかった場合は、補正式を選択するだけで自動的に特徴点を編集することが可能になり、また自動的に自然な動きとなるよう特徴点を編集することが可能になる。また補正式を用いることで複数のフレームを一度に編集することが可能になるため、より円滑に編集作業を行うことが可能になる。
【００７９】
図１５は、図１４に示すアニメーション作成システムにおいて、補正式を用いて編集作業を行う処理手順の一例を示した流れ図である。図１５に示す例では、距離演算部や判断部で、うまく抽出されていなかった特徴点や、隣り合うフレーム間での距離が長い特徴点、すなわち時間的な変化が大きい特徴点を、補正式を用いて自動的に補正する。
【００８０】
図１４、１５において、アニメーション作成システム301は、例えば図１１に示す処理によって、距離演算部203や判断部205で、うまく抽出されていなかった特徴点や、時間的な変化が大きい特徴点を特定し、このような特徴点を含むフレームの重畳画像を作成して出力部に出力する（ステップS1）。
【００８１】
例えば、第２フレームの特徴点H2の位置が適切でないと判断され、図１３に示すように出力部に重畳画像が出力されたとする。このように重畳画像が出力されると、特徴点編集部303は補正式記憶部305から補正式を選択する（ステップS2）。この選択は、例えば距離演算部203や判断部205から、うまく抽出されていなかった特徴点に関する情報が特徴点編集部303へ伝えられて、特徴点編集部303が自動的に行ってもよいし、また例えばユーサが出力部17に出力された重畳画像61、63、65を見ながら、図示しない操作部等を操作することによって選択してもよく、任意のやり方を採用することが可能である。例えば本実施例では、ユーザによって図示しない操作部等から、前後に位置するフレームの特徴点の中点を位置座標にするという上述した規則が選択される。
【００８２】
このように補正式が選択されると、特徴点編集部303はこの補正式を用いて特徴点の位置座標を補正する（ステップS3）。具体的に説明すると、本実施例では、補正したいフレームの前後のフレームの中点にするという規則を用いて補正するため、第１フレームの特徴点H1の位置座標、および第３フレームの特徴点H3の位置座標から、これらの位置座標の中点309を求め、求められた中点309に第２フレームの特徴点H2を移動させる。なお中点309の算出は公知のやり方を採用して行うことが可能である。
【００８３】
以上のようにして編集が終了すると、位置が適切でないと判断されたすべてのフレームに対して編集作業を行った否かを判断し（ステップS4）、残りのフレームが存在する場合は、ステップS1に戻って残りのフレームを同様に編集する。またすべてのフレームについて編集作業が終了した場合は、編集作業を終了する。
【００８４】
このようにして図１４、図１５に示す例では、補正式を用いて編集作業を行うため、誤って抽出された特徴点や、位置がおかしい特徴点等を自動的に編集することが可能になる。また補正式を用いるため、複数のフレームの編集作業を一度に行うことが可能になり、編集作業を効率よく行うことが可能になる。また自然な動きとなるように作成された補正式を用いることで、自然な動きとなるよう効率よく特徴点を編集することが可能になる。なお距離演算部203、判断部205で位置がおかしい特徴点等を特定した際に、図１４、図１５に示すように補正式を用いて編集するのか、それとも補正式を用いずに、例えば図示しない操作部等から直接、位置等を入力するのかは、必要に応じて任意に選択することが可能である。
【図面の簡単な説明】
【００８５】
【図１】本発明によるアニメーション作成システムの実施例の構成を概念的に示すブロック図である。
【図２】特徴点を抽出する処理を概念的に示した図である。
【図３】算出された各特徴点の位置座標を概念的に示した図である。
【図４】合成部で作成された重畳画像の一例を概念的に示した図である。
【図５】重畳画像の別の一例を概念的に示した図である。
【図６】重畳画像の別の一例を概念的に示した図である。
【図７】重畳画像の別の一例を概念的に示した図である。
【図８】重畳画像の別の一例を概念的に示した図である。
【図９】重畳画像の別の一例を概念的に示した図である。
【図１０】本発明によるアニメーション作成システムの別の実施例の構成を概念的に示すブロック図である。
【図１１】図１０に示すアニメーション作成システムにおける、編集処理の処理手順の一例を示した流れ図である。
【図１２】図１１に示す出力部における出力例を概念的に示した図である。
【図１３】図１１に示す出力部における別の出力例を概念的に示した図である。
【図１４】本発明によるアニメーション作成システムの別の実施例の構成を概念的に示すブロック図である。
【図１５】補正式を用いて編集作業を行う処理手順の一例を示した流れ図である
【符号の説明】
【００８６】
1  アニメーション作成システム
3  映像入力部
5  特徴点抽出部
7  特徴点記憶部
9  合成部
【図１】
2007257508.tif 000003
【図２】
2007257508.tif 000004
【図３】
2007257508.tif 000005
【図４】
2007257508.tif 000006
【図５】
2007257508.tif 000007
【図６】
2007257508.tif 000008
【図７】
2007257508.tif 000009
【図８】
2007257508.tif 000010
【図９】
2007257508.tif 000011
【図１０】
2007257508.tif 000012
【図１１】
2007257508.tif 000013
【図１２】
2007257508.tif 000014
【図１３】
2007257508.tif 000015
【図１４】
2007257508.tif 000016
【図１５】
2007257508.tif 000017