(57)【要約】【課題】少ないコストで簡易に標準的な姿勢の変形モデルを得て、実在する対象物についてのリアルなアニメーションの生成すること。【解決手段】第１の対象物についての標準モデルに対応する第２の対象物についての標準姿勢モデルを生成する方法であって、第２の対象物についての姿勢の異なる複数の構造化されたモデル情報を得るステップ＃１１と、複数のモデル情報に基づいて、第１の対象物と第２の対象物との形状の相違による変形要素である形状変形要素と第２の対象物の動きによる変形要素である動き変形要素とを判別するステップ＃１２と、形状変形要素を用いて標準姿勢モデルを生成するステップ＃１３とを有する。【選択図】    図９
2005050003.tif 000002
【特許請求の範囲】
【請求項１】
第１の対象物についての標準モデルに対応する第２の対象物についての標準姿勢モデルを生成する方法であって、
第２の対象物についての姿勢の異なる複数の構造化されたモデル情報を得るステップと、
前記複数のモデル情報に基づいて、第１の対象物と第２の対象物との形状の相違による変形要素である形状変形要素と第２の対象物の動きによる変形要素である動き変形要素とを判別するステップと、
前記形状変形要素を用いて標準姿勢モデルを生成するステップと、
を有してなることを特徴とする標準姿勢モデルの生成方法。
【請求項２】
前記モデル情報における構造体の位置、回転、長さの情報ごとに前記判別を行い、
前記形状変形要素および前記動き変形要素に対するウエイト付けを行って前記標準姿勢モデルを生成する、
請求項１記載の標準姿勢モデルの生成方法。
【請求項３】
第１の対象物についての標準モデルに対応する第２の対象物についての標準姿勢モデルを生成する方法であって、
第２の対象物についての姿勢の異なる複数の構造化されたモデル情報を得るステップと、
前記モデル情報における構造体のパラメータについて主成分分析を行うステップと、
主成分分析による固有値の低い成分を前記モデル情報に共通な主成分であるとして前記標準姿勢モデルのパラメータを得るステップと、
を有してなることを特徴とする標準姿勢モデルの生成方法。
【請求項４】
前記モデル情報における構造体のパラメータは、構造体の位置、回転、長さの情報であり、
これらのパラメータごとに、主成分分析による固有値が低いパラメータについては前記標準姿勢モデルのパラメータとして用い、主成分分析による固有値が高いパラメータについてはそのパラメータと第１の対象物についての標準モデルのパラメータとに対するウエイト付けを行って得たパラメータを前記標準姿勢モデルのパラメータとして用いる、
請求項３記載の標準姿勢モデルの生成方法。
【請求項５】
第１の対象物についての標準モデルに対応する第２の対象物についての標準姿勢モデルを生成する方法であって、
第２の対象物についての姿勢の異なる複数の構造化されたモデル情報を得るステップと、
前記モデル情報における構造体のパラメータについて標準偏差値を算出するステップと、
標準偏差値がしきい値より小さい成分を前記モデル情報に共通な主成分であるとして前記標準姿勢モデルのパラメータを得るステップと、
標準偏差値がしきい値より大きい成分についてはそのパラメータと第１の対象物についての標準モデルのパラメータとに対するウエイト付けを行って得たパラメータを前記標準姿勢モデルのパラメータとして得るステップと、
を有してなることを特徴とする標準姿勢モデルの生成方法。
【請求項６】
第２の対象物についての３次元計測を行うことによって取得した３次元データに対して前記標準モデルをフィッティングすることによって前記モデル情報を得る、
請求項３乃至５のいずれかに記載の標準姿勢モデルの生成方法。
【請求項７】
アニメーションを生成するための制御方法であって、
第１の対象物についての標準モデルを制御する制御情報を取得するステップと、
第１の対象物に対応する第２の対象物についての標準姿勢モデルを生成するステップと、
前記標準姿勢モデルに対して前記制御情報を適用して制御を行ってアニメーションを生成するステップと、
を有してなることを特徴とするアニメーションの生成のための制御方法。
【請求項８】
制御情報によって３次元モデルを制御することによりアニメーションを生成するための制御方法であって、
前記制御情報の対象となる３次元モデルである標準モデルをそれと類似の対象物についての３次元計測を行うことにより取得した複数の３次元データに対してそれぞれフィッティングすることによって複数のモデル情報を取得し、取得したモデル情報に基づいて前記標準モデルの姿勢に対応した標準姿勢モデルを生成し、生成した標準姿勢モデルに対して前記制御情報を適用して制御を行ってアニメーションを生成する、
ことを特徴とするアニメーションを生成するための制御方法。
【請求項９】
第１の対象物についての標準モデルに対応する第２の対象物についての標準姿勢モデルを生成する装置であって、
第２の対象物についての姿勢の異なる複数の構造化されたモデル情報を得る手段と、
前記複数のモデル情報に基づいて、第１の対象物と第２の対象物との形状の相違による変形要素である形状変形要素と第２の対象物の動きによる変形要素である動き変形要素とを判別する手段と、
前記形状変形要素を用いて標準姿勢モデルを生成する手段と、
を有してなることを特徴とする標準姿勢モデルの生成装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、標準姿勢モデルの生成方法、生成装置、アニメーションの生成のための制御方法に関する。
【０００２】
【従来の技術】
従来より、映画やゲームなどに３次元ＣＧ（３次元コンピュータグラフィックス）の技術を利用したアニメーションがしばしば用いられる。
【０００３】
３次元ＣＧを利用したアニメーションでは、３次元の標準モデルを制御データにより制御して位置および姿勢を変化させ、それを２次元面に投影することによって２次元動画像を生成する。
【０００４】
しかし、そこで用いられる標準モデルは、対象物についての仮想的な標準モデルであり、実在する特定の人物または動物の標準モデルではないため、リアル性に欠ける。そのため、実在する対象物を３次元計測装置を用いて計測し、得られた３次元データ（３次元モデル）に合わせて標準モデルを変形する（フィッティングする）方法がとられる。
【０００５】
また、アニメーションの作成に関して、特許文献１には、２次元動画像に３次元モデルを当てはめ、  ２次元動画像からオブジェクトのテクスチャデータ、初期姿勢データ、および動作パラメータを得る手法が記載されている。特許文献２には、２次元動画像から３次元構造情報および３次元運動情報を推定し、そこから基準姿勢データを決定する手法が記載されている。
【０００６】
【特許文献１】
特開２００２−２６９５８０
【０００７】
【特許文献２】
特開平９−２１２６５２
【０００８】
【発明が解決しようとする課題】
しかし、実在する対象物を３次元計測装置で計測する場合に、対象物が動くものであるため、標準的な姿勢（標準モデルと同様な姿勢）で計測されない場合が多い。そのため、得られた３次元モデルにフィッティングして得られる３次元モデル（変形モデル）の姿勢は、標準モデルに対応したものとはならない。特に対象物が動物である場合には、その変形モデルの姿勢は標準モデルと大きく異なることが多い。
【０００９】
そのため、上のような手法によるアニメーションでは、標準的でない姿勢を基準としてアニメーションの制御が行われることとなり、多くの場合に不自然な動きとなってしまう。
【００１０】
なお、人の顔画像や顔モデルを対象として主成分分析を用いて標準的な顔を求める方法があるが、多大なコストがかかる。しかも人の顔のようにある程度姿勢を限定できるものでなければ、直接的に適用することはできない。
【００１１】
本発明は、上述の問題に鑑みてなされたもので、少ないコストで簡易に標準的な姿勢の変形モデルを得て、実在する対象物についてのリアルなアニメーションの生成を可能とすることを目的とする。
【００１２】
【課題を解決するための手段】
本発明に係る方法は、第１の対象物についての標準モデルに対応する第２の対象物についての標準姿勢モデルを生成する方法であって、第２の対象物についての姿勢の異なる複数の構造化されたモデル情報を得るステップと、前記複数のモデル情報に基づいて、第１の対象物と第２の対象物との形状の相違による変形要素である形状変形要素と第２の対象物の動きによる変形要素である動き変形要素とを判別するステップと、前記形状変形要素を用いて標準姿勢モデルを生成するステップとを有する。
【００１３】
形状変形要素と動き変形要素とを判別することにより、１つの同じ対象物についての姿勢の異なる複数のモデル情報から、形状による変形と動きによる変形とが分離される。この判別のために、例えば主成分分析の手法が用いられる。その場合に、主成分分析による固有値の低い成分をモデル情報に共通な主成分であるとして前記標準姿勢モデルのパラメータを得る。
【００１４】
好ましくは、モデル情報における構造体の位置、回転、長さの情報ごとに前記判別を行い、形状変形要素および動き変形要素に対するウエイト付けを行って前記標準姿勢モデルを生成する。
【００１５】
本発明に係るアニメーションを生成するための制御方法は、第１の対象物についての標準モデルを制御する制御情報を取得するステップと、第１の対象物に対応する第２の対象物についての標準姿勢モデルを生成するステップと、前記標準姿勢モデルに対して前記制御情報を適用して制御を行ってアニメーションを生成するステップとを有する。
【００１６】
【発明の実施の形態】
図１は本発明に係るアニメーション生成装置１を示すブロック図、図２は標準モデルＤＳから標準姿勢モデルＨＭを生成するまでの概略の流れを説明するための図、図３は標準モデルＤＳの皮膚用モデルＤＳＡの例を示す図、図４は標準モデルＤＳの骨格用モデルＤＳＢの例を示す図、図５はボーン構造を示す図である。
【００１７】
図１に示すように、アニメーション生成装置１は、処理装置１０、磁気ディスク装置１１、媒体ドライブ装置１２、ディスプレイ装置１３、キーボード１４、マウス１５、および３次元計測装置１６などからなる。
【００１８】
処理装置１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ビデオＲＡＭ、入出力ポート、および各種コントローラなどからなる。ＲＡＭおよびＲＯＭなどに記憶されたプログラムをＣＰＵが実行することにより、処理装置１０上に種々の機能が実現される。
【００１９】
磁気ディスク装置１１には、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）  、変形モデルＭＬおよび標準姿勢モデルＨＭを生成するためのモデリングプログラムＰＲ、アニメーションプログラムＡＰ、その他のプログラム、標準モデルＤＳ、３次元データ（３次元計測データ）ＤＴ、２次元画像（２次元計測データ）ＦＴ、生成された変形モデルＭＬ、生成された標準姿勢モデルＨＭ、テクスチャ画像、その他のデータなどが格納されている。これらのプログラムおよびデータは、適時、処理装置１０のＲＡＭにローディングされる。
【００２０】
本実施形態においては、対象物が動物の馬（競争馬）である場合について説明する。
すなわち、図２をも参照して、馬についての標準モデルＤＳが準備されている。また、その標準モデルＤＳを制御する制御データＣＤが準備されている。実在する特定の馬を種々の角度から計測し、特定の馬についての複数の３次元データＤＴを得る。標準モデルＤＳをそれぞれの３次元データＤＴにフィッティングすることにより変形し、複数の変形モデルＭＬを生成する。得られた複数の変形モデルＭＬから、標準的な姿勢の変形モデルである標準姿勢モデルＨＭを生成する。これにより、実在する特定の馬についての標準姿勢モデルＨＭが得られる。得られた標準姿勢モデルＨＭに対して、上の制御データＣＤを適用してアニメーションを生成する。
【００２１】
標準モデルＤＳには、皮膚用モデルＤＳＡおよび骨格用モデルＤＳＢが含まれる。さらに筋肉用モデルが含まれることもある。これら、同じ１つの標準モデルＤＳについての皮膚用モデルＤＳＡおよび骨格用モデルＤＳＢには、共通の制御点が設定されている。したがって、制御データＣＤによって制御点を移動させると、骨格用モデルＤＳＢおよび皮膚用モデルＤＳＡが変形し、これによってアニメーションが生成される。制御データＣＤによる骨格用モデルＤＳＢおよび皮膚用モデルＤＳＡの制御方法として種々の方法を採用することが可能である。
【００２２】
また、制御点は、標準モデルＤＳのフィッティングに際して、標準モデルＤＳを変形するためにも用いられる。制御点と標準モデルの面の構成点との位置関係は任意であり、制御点は標準モデルの面上に設定されていてもよく、標準モデルの面から離れて設定されていてもよい。１つの制御点は複数の構成点（３〜１００程度）と関連付けられており、制御点の動きに合わせて関連付けられた構成点が移動する。標準モデルＤＳのフィッティングに際しては、これら複数の制御点を移動させることによって標準モデルＤＳ全体を変形する。制御点は、細かな形状を持つ部分、および急激な形状の変化を持つ部分には、高い密度で配置される。それ以外の部分には一様に配置される。
【００２３】
このように、標準モデルＤＳは構造化された３次元モデルである。変形モデルＫＭおよび標準姿勢モデルＪＭも、標準モデルＤＳと同様に構造化された３次元モデルである。アニメーションを生成するのに構造化された３次元モデルを用いることにより、外部から見える皮膚用モデルＤＳＡのみを動かすのではなく、骨格用モデルＤＳＢによってそれを内部から動かすことができ、これによってより複雑な動きを表現することが可能である。
【００２４】
なおモデリングプログラムＰＲには、フィッティング処理、主成分分析処理、標準偏差値算出処理、形状変形要素および動き変形要素に対するウエイト付けを行うウエイト付け処理、形状変形要素と動き変形要素とを判別する判別処理、標準姿勢モデル生成処理、およびその他の処理のためのプログラムが含まれる。
【００２５】
媒体ドライブ装置１２は、ＣＤ−ＲＯＭ（ＣＤ）、フロッピィディスクＦＤ、または光磁気ディスクなどの記録媒体にアクセスし、データまたはプログラムの読み書きなどを行うものである。記録媒体の種類に応じて適切なドライブ装置が用いられる。上に述べたモデリングプログラムＰＲおよびアニメーションプログラムＡＰは、これら記録媒体からインストールすることが可能である。標準モデルＤＳ、３次元データＤＴ、および２次元画像ＦＴなども、記録媒体を介して入力することが可能である。
【００２６】
ディスプレイ装置１３の表示面ＨＧには、上に述べた種々のデータ、および生成された変形モデルＭＬ、標準姿勢モデルＨＭ、アニメーション、その他のデータ（画像）が表示される。
【００２７】
キーボード１４およびマウス１５は、処理装置１０にデータを入力しまたは指令を与えるために用いられる。
３次元計測装置１６は、例えば光切断法によって対象物の３次元データＤＴを得るためのものである。３次元計測装置１６によって直接的に３次元データＤＴを得ることも可能であり、また、３次元計測装置１６から出力されるデータに基づいて処理装置１０などで演算を行い、間接的に３次元データＤＴを得ることも可能である。
【００２８】
アニメーション生成装置１は、パーソナルコンピュータまたはワークステーションなどを用いて構成することが可能である。上に述べたプログラムおよびデータは、ネットワークＮＷを介して受信することにより取得することも可能である。
〔標準モデルＤＳ〕
図３および図４に示すように、標準モデルＤＳの馬は、４つの脚がほぼ真っ直ぐに下方に伸び、静止して立った状態である。頭部は胴体に対して真っ直ぐで正面を向いている。
【００２９】
図４および図５に示すように、骨格用モデルＤＳＢのボーン構造は、親ボーンと子ボーンという親子関係を持ったツリー構造によって階層的に表現される。最上位つまり第１階層に位置するボーン（骨）が「背骨前」である。第１階層のボーンとして、最も動きの少ないボーンが選択される。親ボーンである「背骨前」と一定の位置関係にある子ボーンが第２階層のボーンとして配置されている。ここに示す例では、「背骨後」「首下」「前脚右上」などが第２階層のボーンである。これら子ボーンの一方の端点は、親ボーンである「背骨前」の端点と回動可能に連結されている。しかし、親ボーンと子ボーンとは必ずしても端点で連結されていなくてもよい。それらの間に一定の位置間関係があればよい。第２階層の各ボーンを親ボーンとしてそれらと一定の位置関係にある子ボーンが第３階層に配置されている。以下、同様に、第（ｉ−１）階層と第ｉ階層、第ｉ階層と第（ｉ＋１）階層、というように、階層構造をなしている。
【００３０】
すなわち、子ボーンである各ボーンの位置および角度は、親ボーンとの相対始点位置Ｓ（ｘ，ｙ，ｚ）、相対角度Θ（θ，φ，ρ）、および長さｌで表される。
【００３１】
したがって、第ｉ階層のボーンのパラメータを、Ｓｉ（ｘｉ，ｙｉ，ｚｉ）、Θｉ（θｉ，φｉ，ρｉ）などのように添字ｉで表す。また、複数の３次元データＤＴが存在するので、第ｊ番の３次元データをＤＴｊと表し、第ｊ番の３次元データＤＴｊにフィッティングすることによって得られた変形モデルをＭＬｊと表すことがある。その場合に、第ｊ番の変形モデルＭＬｊのボーンのパラメータを、Ｓｊ（ｘｊ，ｙｊ，ｚｊ）などのように添字ｊで表す。
【００３２】
これにより、ワールド座標におけるボーン座標は次の（１）式のように表される。
【００３３】
【数１】
2005050003.tif 000003
【００３４】
親ボーンが存在しない最上位のボーンは次の（２）式のようになる。
【００３５】
【数２】
2005050003.tif 000004
【００３６】
〔ボーンフィッティング〕
図６は変形モデルＭＬの生成の処理の一例の流れを説明するフローチャート、図７は変形処理の流れを説明するフローチャート、図８は標準モデルＤＳの面Ｓと３次元データＤＴの点Ｐとを模式的に示す図である。
【００３７】
図６において、まず、標準モデルＤＳ（皮膚用モデルＤＳＡ）と３次元データＤＴとの概略の位置合わせを行う（＃１０１）。すなわち、標準モデルＤＳと３次元データＤＴとの距離が最小となるように、標準モデルＤＳの向き、大きさ、および位置を変更する。次に、輪郭及び特徴点を抽出する（＃１０２）。計算量および誤差を削減するために、３次元データＤＴについてデータの削減を行う（＃１０３）。
【００３８】
そして、標準モデルＤＳの変形を行う（＃１０４）。すなわち、３次元データＤＴの各点と標準モデルＤＳの面との間の距離に関連して定義されたエネルギー関数、または過剰な変形を回避するために定義されたエネルギー関数などを用い、それらが最小となるように標準モデルＤＳを変形させる。そして、対象となるエネルギー関数および制御点を変更し、ステップ＃１０４と同様な変更のための処理を繰り返す。
【００３９】
次に、ステップ＃１０４の変形処理について説明する。
図８において、３次元データＤＴを構成する点群の１つが点Ｐｋで示されている。標準モデルＤＳの面Ｓにおいて、点Ｐｋに最も近い点がＱｋで示されている。点Ｑｋは、点Ｐｋから面Ｓに垂線を下ろしたときの交点である。
【００４０】
点群に面Ｓをフィッティングする方法は次のとおりである。ここでは一般的なフィッティングについて説明する。
点群の中の１つの点Ｐｋ、それに対応する点Ｑｋ、および対応点群Ｔ＝｛（Ｐｋ，Ｑｋ），ｋ＝１、２、…、ｎ｝について、フィッティングエネルギー関数Ｆｆ（Ｕ）を、次の（３）式のように設定する。
【００４１】
【数３】
2005050003.tif 000005
【００４２】
ただし、Ｑｋ（Ｕ）は、ＱｋがＵの関数であることを示す。
また、面Ｓの過度の変形を防ぐために仮想バネ（ｅｌａｓｔｉｃ  ｂａｒ）  を導入してもよい。その場合に、仮想バネによる安定化エネルギー関数を加味してフィッティングの評価関数を設定する。
【００４３】
評価関数Ｆ（Ｕ）が十分小さくなるように、面Ｓの変形および対応点の探索を繰り返し、面のフィッティングを行う。例えば、Ｆ（Ｕ）のＵに関する微分が０に近づく方向にフィッティングを行う。
【００４４】
図７において、変形処理では、まず、点Ｐｋに対応する点Ｑｋを計算で求め、点Ｐｋと点Ｑｋの組を作成する（＃１１１）。
面Ｓを変形し（＃１１２）、変形後の評価関数Ｆ（Ｕ）を計算する（＃１１３）。評価関数Ｆ（Ｕ）が収束するまで（＃１１４でＹｅｓ）、処理を繰り返す。
【００４５】
評価関数Ｆ（Ｕ）の収束を判定する方法として、評価関数Ｆ（Ｕ）が所定の値よりも小さくなったときを収束とする方法、前回の計算と比較べた変化の割合が所定値以下となったときに収束とする方法など、公知の方法を用いることが可能である。
【００４６】
このような処理によって標準モデルＤＳを変形し、実在する特定の馬の形状をした３次元モデルである変形モデルＭＬを生成することができる。
先に述べたように、同じ１つの標準モデルＤＳについての皮膚用モデルＤＳＡおよび骨格用モデルＤＳＢには共通の制御点が設定されているが、変形モデルＭＬについての皮膚モデルＭＬＡの生成のために皮膚用モデルＤＳＡを変形したことによって、標準モデルＤＳに設定された制御点が変更されることとなる。そこで次に、変形モデルＭＬの骨格モデルＭＬＢを生成するために、制御点についての変形情報を取り出し、これを用いて骨格用モデルＤＳＢを変形する。
【００４７】
つまり、予め標準モデルＤＳに設定した制御点群ＴｈＡと、変形後の制御点群ＴＡとを用いて、骨格用モデルＤＳＢを変形する。なお、符号「ＴｈＡ」の中の「ｈ」は、「Ｔ」の上部に付した「ハット」を意味し、「変形前」であることを示す。以下「ＶｈＱ」「ＶｈＲ」などについても同様である。
【００４８】
変形前の皮膚用モデルＤＳＡを構成する点群（構成点群）ＶｈＱは、制御点群ＴｈＡの線形結合として次の（４）式のように示される。
【００４９】
【数４】
2005050003.tif 000006
【００５０】
但し、ＶｈＱ：皮膚用モデルＤＳＡを構成する点群、
αＡＱ：点群ＶｈＱおよびＴｈＡの各点に依存する係数、
αＡＱ＝ｆＡ（ＶｈＱ）
ＴｈＡ：変形前の制御点群
また、変形後の皮膚用モデルＤＳＡ（皮膚モデルＭＬＡ）の構成点群ＶＱは、次の（５）式のように示される。
【００５１】
【数５】
2005050003.tif 000007
【００５２】
次に、骨格用モデルＤＳＢに対して変形情報を適用するのであるが、変形前の骨格用モデルＤＳＢの構成点群ＶｈＲは、次の（６）式のように示される。
【００５３】
【数６】
2005050003.tif 000008
【００５４】
但し、ＶｈＲ：骨格用モデルＤＳＢを構成する点群、
αＡＲ：点群ＶｈＲおよびＴｈＡの各点に依存する係数、
αＡＲ＝ｆＡ（ＶｈＲ）
ＴｈＡ：変形前の制御点群
上の（１７）式から、係数αＡＲを決定する。
【００５５】
また、骨格用モデルＤＳＢを変形して得られる骨格モデルＭＬＢの構成点群ＶＲは、次の（７）式のように示される。
【００５６】
【数７】
2005050003.tif 000009
【００５７】
この（７）式の右辺に、上で決定された係数αＡＲ、および皮膚用モデルＤＳＡの変形後の制御点群ＴＡを代入する。これによって、皮膚用モデルＤＳＡの変形のために行ったような複雑な演算を行うことなく、非常に単純な演算を行うだけで、骨格用モデルＤＳＢを変形した骨格モデルＭＬＢの構成点群ＶＲが求められる。
【００５８】
しかし、そのままでは皮膚用モデルＤＳＡと骨格用モデルＤＳＢとは同じではないので、変形情報をそのまま適用したことによる異常変形が起こる可能性がある。そこで、係数αを求める際に、骨格用モデルＤＳＢの構成点Ｒの代わりに、皮膚用モデルＤＳＡ上においてそれに最も近い点を用いる方法、または、構成点Ｒから皮膚用モデルＤＳＡ上に投影した点を用いる方法など、公知の方法によって変形情報の適用時の補正を行う。
【００５９】
以上の処理によって、標準モデルＤＳを３次元データＤＴにフィッティングし、対象物である馬の変形モデルＭＬを得ることができる。それらの例が図２に示されている。なお、フィッティングなどに関して、特開２００２−１５３０９および特開２００３−１２３０９４を参照することができる。
【００６０】
上のようにして対象物の変形モデルＭＬを生成することができる。しかし、標準モデルＤＳが標準的な姿勢であるのに対して、多くの場合、３次元計測時に対象物が標準的な姿勢をとっていないため、３次元データＤＴにフィッティングして得られた変形モデルＭＬは標準的な姿勢をとっていない。
【００６１】
したがって、これにアニメーションを加えると、標準的でない姿勢を基準としてアニメーションの動きが開始されるので、不自然な動きとなってしまう場合がある。そこで、以下に述べるように、変形モデルＭＬに補正を加えることによって、標準的な姿勢の標準姿勢モデルＨＭを生成する。
〔標準姿勢モデルの生成〕
〔第１の実施形態〕
第１の実施形態では、複数の各変形モデルＭＬに対し、各ボーンのパラメータについて主成分分析を行い、固有値の低い成分を変形モデルＭＬに共通な主成分であるとして、標準姿勢モデルＨＭのパラメータを得る。
【００６２】
なお、主成分分析を行う際に、異なった単位のパラメータを用いるため、予め標準化を行う必要がある。そのような標準化の方法は公知であるが、最も広く用いられているのは、各パラメータの分散が１となり且つ平均が１となるようにする方法である。
【００６３】
主成分分析の方法それ自体は公知であるが、以下にその概略を示す。
〔主成分分析〕
○主成分ベクトルの条件と手順
１．各主成分ベクトルの大きさは１である。
【００６４】
【数８】
2005050003.tif 000010
【００６５】
ここで、ｍは次数である。
２．第１主成分ベクトルｕ１  は、その方向の成分ｋ１  の分散が最大になるように決定する。
【００６６】
【数９】
2005050003.tif 000011
【００６７】
３．第２主成分ベクトルｕ２  は、条件１を満足し、かつその方向の成分ｋ２  と無相関になるという条件の下で、ｋ２  の分散が最大になるように定める。
【００６８】
【数１０】
2005050003.tif 000012
【００６９】
４．以下、同様にして、第ｊ主成分ベクトルｕｊ  は、その方向の成分ｋｊ  と無相関になるという条件の下で、ｋｊ  の分散が最大になるように定める。
○第１主成分ベクトルの算出
【００７０】
【数１１】
2005050003.tif 000013
【００７１】
条件付き最小化問題であるので、ラグランジュの未定係数法を用いる。すなわち、パラメータλを導入して、
【００７２】
【数１２】
2005050003.tif 000014
【００７３】
を最小にするような、ｕ１  とλを求める。そのためには、上の式をｕ１  の各要素について微分し、０とおいて解けばよい。表現を整理するために、
Ｘ＝［Ｘ１  ，…，Ｘｎ  ］
とおけば、
【００７４】
【数１３】
2005050003.tif 000015
【００７５】
であるから、Ｅ１  は次のように表される。
【００７６】
【数１４】
2005050003.tif 000016
【００７７】
この表現を用いると、目的関数は、
【００７８】
【数１５】
2005050003.tif 000017
【００７９】
と表される。ｕ１  に関して微分して０とおくと、次のようになる。
【００８０】
【数１６】
2005050003.tif 000018
【００８１】
上の式は固有値問題に等しい。上の式が有意な解（ｕ１  ＝０以外）をもつためには、行列式＝０、すなわち、
｜Ｃ−λＩ｜＝０
を満たさなければならない。この行列方程式はλの多項式に展開でき、
ａ０  ＋ａ１  λ＋ａ２  λ２  ＋    …＋ａｍ  λｍ  ＝０
これを満足するλはｍ個あり、共分散行列の非負定値性から、いずれも非負であることが知られている。
【００８２】
λの方程式の解のうち最大のものを探し、それに対応する固有ベクトルを求めれば、それが第１主成分となる。このときの固有値は第１主成分の分散を与える。ｉ番目の解λｉと対応する固有ベクトルを考える。この固有べクトルの方向の分散Ｅｉ  は、次のように示される。
【００８３】
【数１７】
2005050003.tif 000019
【００８４】
すなわち、固有値がそのまま固有ベクトルの分散を与える。
そこで、固有値の解の中から、最大のものを選び、対応する固有ベクトルを第１主成分ベクトルとすればよい。そして、２番目に大きいものに対応する固有ベクトルを第２主成分ベクトルとすればよい。
【００８５】
こにようにして得られた固有値のうち、最小の固有値に対する固有ベクトルを求め、それを変形モデルＭＬに共通な主成分であるとして、標準姿勢モデルＨＭのパラメータを得る。
【００８６】
すなわち、固有値の低い成分に対して変形モデルＭＬのパラメータを用い、固有値の高い成分に対しては、変形モデルＭＬに代えて標準モデルＤＳのパラメータを用いる。つまり、固有値の低い成分に対して変形モデルＭＬのパラメータを用いることにより、複数の変形モデルＭＬのうちで動いていない部分が抽出される。
【００８７】
このようにして、１つの同じ馬についての姿勢の異なる複数の変形モデルＭＬから、形状による変形（形状変形要素）と動きによる変形（動き変形要素）とが分離される。
【００８８】
なお、形状による変形とは、例えば、標準モデルＤＳの馬と３次元データＤＴを取得した実在の特定の馬との形状の相違による変形のことである。標準モデルＤＳの馬の肥満度が標準的である場合に、例えば３次元データＤＴの馬が痩せていたり肥えていたりすると、それによって形状が異なるが、そのような形状の相違による変形がその一例である。形状による変形は、実在する特定の対象物の形状、つまり、標準モデルＤＳに対して肥えていたり、痩せていたり、頭部や顔の形状または表情などの相違など、フィッティングによって変形モデルＭＬを生成した本来の目的を達成したことによる変形である。
【００８９】
これに対して、動きによる変形とは、例えば実在の特定の馬が特定の状態で静止しないで動いているために生じる変形である。標準モデルＤＳの馬が標準的な姿勢であるに対して、実在の特定の馬が、首を曲げたり足を上げたりして標準的な姿勢と異なる姿勢となることによって生じる変形である。動きによる変形は、標準モデルＤＳについての制御データＣＤを用いる上で無いほうがよいので、これを分離して取り除くことが望ましいのである。
【００９０】
複数の変形モデルＭＬから形状による変形と動きによる変形とを分離し、形状による変形のみを用いことにより、標準姿勢モデルＨＭが得られる。なお、通常、充分に多数の３次元データＤＴを取得した場合に、それらの３次元データＤＴを平均すると、最も自然な姿勢つまり標準的な姿勢に近づくものと考えられる。したがって、その場合には、複数の変形モデルＭＬの各パラメータをそれぞれ単純平均して用いてもよい。
【００９１】
図９は第１の実施形態における標準姿勢モデルＨＭを生成するための処理の流れを示すフローチャートである。
図９において、複数の各変形モデルＭＬを生成し（＃１１）、各ボーンのパラメータについて主成分分析を行い（＃１２）、固有値の低い成分に基づいて標準姿勢モデルＨＭのパラメータを得る（＃１３）。
〔第２の実施形態〕
第２の実施形態では、標準偏差値（主成分分析）によるしきい値と標準モデルＤＳの情報（パラメータ）を用いる。この方法は、変形モデルＭＬの母集合Ｍが小さい場合つまり個数ｍが少ない場合などのように、第１の実施形態において必ずしも良好な結果が得られない場合に好適に用いられる。
【００９２】
まず、複数の変形モデルＭＬのすべてについて、第ｉ階層のボーンのパラメータの標準偏差値σを算出する。標準偏差値σが大きいということは、同じ階層のボーンでも変形モデルＭＬによってばらつきが大きいことを意味する。つまりその場合にはパラメータの信頼性が低い。そこで、標準偏差値σが大きい場合には、正規化した標準モデル情報を用いて安定性を確保する。標準偏差値σが小さい場合にはパラメータの信頼性が高いので、変形モデルＭＬのパラメータを用いる。
【００９３】
つまり、各階層のボーンの各パラメータに対して閾値を設定する。標準偏差値σがしきい値より低い場合は、すべての変形モデルＭＬに関しての単純平均を用い、標準偏差値σがしきい値より高い場合は、標準偏差値σとしきい値の大きさに応じてウエイトをつけ、標準モデルＤＳと各変形モデルＭＬのパラメータの値を合成したものを用いる。
【００９４】
すなわち、次の（８）式によって、相対始点位置Ｓｉ、相対角度Θｉ、および長さｌｉを求める。
【００９５】
【数１８】
2005050003.tif 000020
【００９６】
図１０は第２の実施形態における標準姿勢モデルＨＭを生成するための処理の流れを示すフローチャートである。
図１０において、複数の各変形モデルＭＬを生成し（＃２１）、パラメータの標準偏差値を算出する（＃２２）。標準偏差値がしきい値より小さい場合に、変形モデルＭＬのパラメータに基づいて標準姿勢モデルＨＭのパラメータを得る（＃２３、２４）。標準偏差値がしきい値より大きい場合に、変形モデルＭＬのパラメータと標準モデルＤＳのパラメータとにウエイト付けをして合成し、標準姿勢モデルＨＭのパラメータを得る（＃２３、２５）。
〔アニメーションの例〕
図１１は主成分分析によって生成された標準姿勢モデルＨＭ１の例を示す図、図１２は変形モデルＭＬ１の例を示す図、図１３は標準姿勢モデルＨＭ１を用いて生成したアニメーションＡＨ１の１つを示す図、図１４は変形モデルＭＬ１を用いて生成したアニメーションＡＭ１の１つを示す図である。
【００９７】
図１２に示す変形モデルＭＬ１では、本実施形態による補正を行っていないので、頭部が横に振られており、標準モデルＤＳが真っ直ぐであるのと異なっている。また、図ではよく分からないが、尻尾や脚の位置が標準モデルＤＳと異なっている。
【００９８】
これに対して、図１１に示す標準姿勢モデルＨＭ１では、上に述べた実施形態による補正を行うことによって、標準モデルＤＳと同じく頭部が真っ直ぐとなっており、尻尾や脚の位置も標準モデルＤＳに近い状態である。
【００９９】
図１３および図１４は、制御データＣＤを用い、馬が走っている状態のアニメーションを生成したものである。
図１３に示すアニメーションＡＨ１では、頭部ＴＢが真っ直ぐで前方を見ており、かつ、右前脚ＲＦＬ、左前脚ＬＦＬ、右後脚ＲＲＬ、左後脚ＬＲＬがそれぞれ走っている状態と一致しており、リアルである。
【０１００】
これに対して、図１４に示すアニメーションＡＭ１では、頭部ＴＢが横を向いており、かつ、右前脚ＲＦＬと左前脚ＬＦＬとが交差しており、右後脚ＲＲＬおよび左後脚ＬＲＬが不自然である。
【０１０１】
図１５はアニメーションの生成処理を示すフローチャートである。
図１５において、標準モデルＤＳを取得し（＃３１）、それを制御する制御データＣＤを取得する（＃３２）。対象物について複数の３次元データＤＴを取得し（＃３３）、それに標準モデルＤＳをフィッティングして（＃３４）、変形モデルＭＬを生成する（＃３５）。変形モデルＭＬに基づいて標準姿勢モデルＨＭを生成する（＃３６）。標準姿勢モデルＨＭに制御データＣＤを適用してアニメーションを生成する（＃３７）。
【０１０２】
このように、標準姿勢モデルＨＭを用いたアニメーションでは、実在する対象物についてのリアルなアニメーションを生成することができる。また、上に述べたように主成分分析または標準偏差値によるしきい値に応じた合成によって標準姿勢モデルＨＭを生成することにより、少ないコストで簡易に標準的な姿勢のモデルを得ることができる。また、アニメーションのデータを送信する場合において、標準姿勢モデルＨＭおよび制御データＣＤのみを送信すればよいので、データ量が少なくて済む。したがって、例えば、携帯電話などのモバイル機器などを用いてアニメーションのデータを送受信し、簡易にアニメーションを実現することができる。
【０１０３】
なお、本実施形態においては、第１の対象物と第２の対象物とが共に馬であったが、これらを異なるものとしてもよい。例えば、一方を馬とし他方を牛としてもよい。また、同じ馬であっても産地の異なる馬であってもよい。
【０１０４】
本実施形態において、変形モデルＭＬが本発明における「構造化されたモデル情報」に相当する。また、制御データＣＤが本発明における変形情報に相当する。
【０１０５】
上に述べた実施形態において、アニメーション生成装置１の構成、回路、処理内容、処理順序、処理タイミング、係数の設定などは、本発明の趣旨に沿って適宜変更することができる。本発明は、馬以外の種々の動物や人間、その他の種々の対象物に対して適用することができる。
【０１０６】
【発明の効果】
本発明によると、少ないコストで簡易に標準的な姿勢の変形モデルを得て、実在する対象物についてのリアルなアニメーションを生成することができる。
【図面の簡単な説明】
【図１】本発明に係るアニメーション生成装置を示すブロック図である。
【図２】標準モデルから標準姿勢モデルを生成するまでの概略の流れを説明するための図である。
【図３】標準モデルの皮膚用モデルの例を示す図である。
【図４】標準モデルの骨格用モデルの例を示す図である。
【図５】ボーン構造を示す図である。
【図６】変形モデルの生成の処理の一例の流れを説明するフローチャートである。
【図７】変形処理の流れを説明するフローチャートである。
【図８】標準モデルの面Ｓと３次元データの点Ｐとを模式的に示す図である。
【図９】第１の実施形態における標準姿勢モデルを生成するための処理の流れを示すフローチャートである。
【図１０】第２の実施形態における標準姿勢モデルを生成するための処理の流れを示すフローチャートである。
【図１１】主成分分析によって生成された標準姿勢モデルの例を示す図である。
【図１２】変形モデルの例を示す図である。
【図１３】標準姿勢モデルを用いて生成したアニメーションの例を示す図である。
【図１４】変形モデルを用いて生成したアニメーションの例を示す図である。
【図１５】アニメーションの生成処理を示すフローチャートである。
【符号の説明】
１  アニメーション生成装置
１０  処理装置
ＤＳ  標準モデル
ＭＬ  変形モデル
ＨＭ  標準姿勢モデル
ＤＴ  ３次元データ
ＤＳＡ  皮膚用モデル
ＤＳＢ  骨格用モデル
ＭＬＡ  皮膚モデル
ＭＬＢ  骨格モデル
ＣＤ  制御データ（制御情報）
ＰＲ  モデリングプログラム
ＡＰ  アニメーションプログラム
【図１】
2005050003.tif 000021
【図２】
2005050003.tif 000022
【図３】
2005050003.tif 000023
【図４】
2005050003.tif 000024
【図５】
2005050003.tif 000025
【図６】
2005050003.tif 000026
【図７】
2005050003.tif 000027
【図８】
2005050003.tif 000028
【図９】
2005050003.tif 000029
【図１０】
2005050003.tif 000030
【図１１】
2005050003.tif 000031
【図１２】
2005050003.tif 000032
【図１３】
2005050003.tif 000033
【図１４】
2005050003.tif 000034
【図１５】
2005050003.tif 000035