(57)【特許請求の範囲】
【請求項１】
人体の各パーツで構成した３次元モデルを用いる３次元人物動画像生成システムであって、
２次元動画像を取得する動画像取得手段と、
前記取得した２次元動画像内の人物から、人体の３次元モデルを構成する各パーツの姿勢パラメータ（θ（ｔ）＝［θ１（ｔ），θ２（ｔ），…，θｎ（ｔ）］Ｔ  ｎ：姿勢パラメータの総数）を得る人体の動作推定手段と、
前記姿勢パラメータから各成分の平均を引いたもの（θ’（ｔ））に対して行う独立成分分析（ｙ（ｔ）＝Ｂθ’（ｔ），Ｂ：ｍ×ｎの行列  ｍ：独立成分の数，ｍ≦ｎ）により、動作の独立成分（ｙ（ｔ））と、特徴抽出行列Ｂとを求める独立成分分析手段と、
抽出した動作の独立成分（ｙ（ｔ））を利用して、３次元モデルの動作を得る３次元モデル動作生成手段と、
前記３次元モデルの動作から、２次元の動画像を生成する画像生成手段とを備え、
前記動作推定手段は、前記２次元動画像のうち選択された画像のみを用い、時系列順に選択された画像間の補間を行って姿勢パラメータを得るとともに、
前記補間した姿勢パラメータを用いて、前記人体の３次元モデルの関節駆動力と前記選択された画像の輝度値の２乗誤差とに重みをつけて加算した評価関数を最小にすることで、さらに姿勢パラメータを推定することを特徴とする３次元人物動画像生成システム。
【請求項２】
請求項１に記載の３次元人物動画像生成システムにおいて、
前記３次元モデル動作生成手段は、複数の２次元画像から得た３次元モデルの姿勢に対して、動作の独立成分による空間内での補間を行うことにより、複数の２次元画像から３次元モデルの動作を得ることを特徴とする３次元人物動画像生成システム。
【請求項３】
請求項１又は２に記載の３次元人物動画像生成システムの各機能をコンピュータ・システムに構成させるためのプログラム。
【請求項４】
請求項１又は２に記載の３次元人物動画像生成システムの各機能をコンピュータ・システムに構成させるためのプログラムを格納した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、２次元のビデオ映像から、人物の３次元動作を推定するシステムであり、特にビデオ映像から生成した人物の動作の加工をすることができる３次元人物動画像生成システムに関する。
【０００２】
【背景技術】
ビデオ映像から人物の３次元動作を推定することは、コンピュータ・グラフィクス（ＣＧ）で人物アニメーションを生成するための動作情報を取得する手段として期待されている。ところが、従来の動作推定法では人体パーツの一部が他のパーツによって隠蔽されたときに、動作推定の安定性が大幅に低下するという基本的な問題点がある。そのため、実際のアニメーション制作現場では、実用的な手段として利用されて来なかった。
また、ビデオ映像から得られた動作情報を加工する手法としては、各関節の時系列信号を、固有空間に投影してパラメータ数を減らす手法が提案されている。しかし、固有空間に投影した場合は、２つ程度の固有ベクトルに動作成分が偏ってしまい、それ以外の固有ベクトルにはノイズ成分しか分離されないため、動作を加工するための自由度が小さ過ぎるという問題がある。
【０００３】
【発明が解決しようとする課題】
本発明の目的は、ビデオ映像等から人物の３次元動作系列の推定を安定に行うとともに、推定した３次元動作系列の動作の加工や変形を容易にすることである。
【０００４】
【課題を解決するための手段】
上記目的を達成するために、本発明は、人体の各パーツで構成した３次元モデルを用いる３次元人物動画像生成システムであって、２次元動画像を取得する動画像取得手段と、
前記取得した２次元動画像内の人物から、人体の３次元モデルを構成する各パーツの姿勢パラメータ（θ（ｔ）＝［θ１（ｔ），θ２（ｔ），…，θｎ（ｔ）］Ｔ  ｎ：姿勢パラメータの総数）を得る人体の動作推定手段と、前記姿勢パラメータから各成分の平均を引いたもの（θ’（ｔ））に対して行う独立成分分析（ｙ（ｔ）＝Ｂθ’（ｔ），Ｂ：ｍ×ｎの行列  ｍ：独立成分の数，ｍ≦ｎ）により、動作の独立成分（ｙ（ｔ））と、特徴抽出行列Ｂとを求める独立成分分析手段と、抽出した動作の独立成分（ｙ（ｔ））を利用して、３次元モデルの動作を得る３次元モデル動作生成手段と、前記３次元モデルの動作から、２次元の動画像を生成する画像生成手段とを備え、前記動作推定手段は、前記２次元動画像のうち選択された画像のみを用い、時系列順に選択された画像間の補間を行って姿勢パラメータを得るとともに、前記補間した姿勢パラメータを用いて、前記人体の３次元モデルの関節駆動力と前記選択された画像の輝度値の２乗誤差とに重みをつけて加算した評価関数を最小にすることで、さらに姿勢パラメータを推定することを特徴とする。
このため、３次元モデルの関節角の時系列信号を少数の独立成分による時系列信号で表現することができ、この独立成分を利用して動作の加工や変形を容易にすることができる。しかも、人体の３次元モデルの運動エネルギーを最小化すると共に、フレーム間での輝度の誤差が最小化となる関節軌道を求めることができるので、動作推定の安定性を大幅に高めることができる。
前記３次元モデル動作生成手段は、複数の２次元画像から得た３次元モデルの姿勢に対して、動作の独立成分による空間内での補間を行うことにより、複数の２次元画像から３次元モデルの動作を得ることができる。
本３次元人物動画像生成システムの各機能をコンピュータ・システムに構成させるコンピュータ・プログラムおよびコンピュータ・プログラムを記録した記録媒体も本発明である。
【０００５】
【発明の実施の形態】
＜本発明の概要＞
本発明は、身体の物理特性を考慮に入れることで、人体動作推定の安定性を飛躍的に向上させ、従来技術の問題点を解決する。
例えば、ビデオ映像から人物の３次元動作を推定するシステムにおいて、人体の運動エネルギーを最小化すると共に、フレーム間での輝度の誤差が最小化となる関節軌道を求めることや、人体関節角の時系列信号を少数のパラメータで表現することで、動作推定の安定性を大幅に高めることである。
また、推定した人物の３次元動作系列に、独立成分分析（ＩＣＡ）を適用して基本動作成分を抽出することで、動作の加工や変形を容易にする。固有分析を利用した場合と比較して、ＩＣＡではより細かい動作の特徴を保存した信号分離が可能となる。
以下に、本発明の実施形態の一つである、３次元人物動画像生成システムについて、図面を用いて詳細に説明をする。なお、本明細書では一部の数式を除く箇所の変数・記号において、以下に示す点に注意されたい。
▲１▼行列・ベクトルの表記
変数のうち、ベクトルもしくは行列であるにもかかわらず、それらの表記・表現をしていない。その場合は変数の説明として、ベクトル・行列等の断り書きがある。
▲２▼規定された文字で示すことができない表記
電子出願の仕様に規定された表記・表現を用いて記載できない表記・表現は代替表記をしている。以下の表にて対応関係を示す。
【表１】
0004077622.tif 000002
【０００６】
＜構成＞
図１は３次元人物動画像生成システムの機能構成を示す図であり、テレビカメラ等から入力した人物の動画像（ビデオ映像）を連続的に取得し、動画像中の人物の動作の特徴となるフレームを出力する画像取得部１０、前記のフレームから特徴となる人体の動力学モデルと輝度情報を併用して各関節のパラメータを推定し、姿勢データを出力する動作推定部２０、前記の姿勢データから独立成分分析を利用して、人体モデルの基本動作成分の抽出と再構成を行い、この人体モデルの動作から、視点等を設定して２次元の動画像を出力する画像生成部３０、そして、生成した結果（動画像）を表示するためのディスプレイ等である表示部４０で構成する。
【０００７】
＜人体動力学モデルによる動作推定＞
（動作推定の概要）
従来の動作推定法では人体パーツの一部が他のパーツによって隠蔽されたときに、動作推定の安定性が大幅に低下するという基本的な問題点がある。そのため、本システムは人体の関節駆動力を最小化する関節軌道を生成することで、部分的に輝度情報が得られない場合でも自然な動作を生成する。また、各関節の時系列信号を、スプラインなどのパラメータ曲線で近似することで、フレーム間の連続性を保存する。パラメータ曲線による動作曲線の近似は、最適化プロセスでの探索パラメータを低減させる効果もある。
本手法では、次のステップで人物の３次元動作を推定する。
１．動作区間の始点と終点など、動作の特徴となるフレームにおける３次元姿勢を指定する。
２．指定した３次元姿勢をスプラインなどの曲線で補間して動作の初期推定値とする。
３．補間曲線の制御点を編集し、関節駆動力とフレーム間輝度値２乗誤差を最小にすることでビデオ映像中の人物の３次元姿勢を推定する。
以下では、それぞれの項目について詳しく説明する。
【０００８】
（人体モデルのトルクの算出方法）
図２は本システムで用いる人体幾何モデル１００を示す図である。この図２の人体幾何モデル１００は人体の関節回転を円柱の中心軸周りの回転に置き換えたものであり、例えば首１１０は左右に回転させる円柱１１２、左右に傾ける円柱１１４、前後に傾ける円柱１１６で構成されている。他にも、円柱１２１，１２２，１２３は左肩１２０、円柱１２６，１２７，１２８は右肩１２５、円柱１６２，１６４，１６６は胴体１６０、円柱１７１，１７２，１７３は左股１７０、円柱１７６，１７７，１７８は右股１７５、また、同様の円柱で左肘１４０、右肘１４５、左膝１９０、右膝１９５で構成されている。この人体幾何モデル１００に合わせて仮想人体動力学モデルを構築する。
このように、人体内部の幾何学的拘束条件のみを考慮した場合、図２に合わせると上半身、下半身ともに腰部をベースリンクとした木構造ロボットとみなすことができる。ここで述べている木構造ロボットとは途中で枝分かれをする構造を持つロボットのことである。
次に、これらの木構造ロボットの仮想人体動力学モデルを数式で表した運動方程式導出手法について述べる。
【０００９】
（ニュートン・オイラー法による運動方程式の導出）
まず、上述の仮想人体動力学モデルを導出する。仮想人体動力学モデルを数式で表した運動方程式を求めるため、運動方程式導出法としてニュートン・オイラー法について述べる。
ニュートン・オイラー法では、ニュートンの物理法則
【数１】
0004077622.tif 000003
とオイラーの式
【数２】
Ｎ＝Ｉω＋ω×（Ｉω）            （２）
を用いて力とモーメントの動的な釣り合いから運動方程式を導出する。ここでＦはベース座標系を基準としたときのリンクに作用する外力ベクトル、ｍはリンクの質量、・ｖはリンクの質量中心の速度ベクトル、Ｎはリンクに作用するモーメントベクトル、Ｉはリンクの質量中心まわりの慣性テンソル、ωはリンクの角速度ベクトルである。
木構造ロボットとしてこの手法を扱うにはブランチと呼ばれる複数のシリアルリンクに分割する必要がある。以下にｓ個のブランチを持ち、それぞれのブランチｋがｎｋ（ｋ＝１，…，ｓ）個のリンクを持つロボットに対するニュートン・オイラー法の計算手順を示す。
１）ブランチｋの第ｉリンクの加速度を・ｖｋｉ、角速度をωｋｉ、角加速度を・ωｋｉで表し、ブランチ１の第０リンクの加速度、角速度、角加速度の初期値を以下のように設定する。
【数３】
0004077622.tif 000004
２）ブランチ１に対して、ｉ＝１からｎ１へ順にｖｉ１，ωｉ１，・ωｉ１を求める。
３）ブランチｋ（ｋ＝２，…，ｓ）の加速度、角速度、角加速度の初期値をそれぞれ
【数４】
0004077622.tif 000005
として求める。ここで、Ｂｋは親ブランチのリンク座標系から子ブランチｋのリンク座標系を関連づける４×４の同時変換行列であり、ＢｋＲはＢｋの左上３×３行列、~Ｂｋｐは（Ｂｋ）−１の右上３×１小行列を表す。また、cobはブランチｋを分岐するブランチ番号であり、colはブランチｋを分岐するリンク番号である。
４）ブランチｋ（２，…，ｓ）に対してｉ＝１からｎｋまでｖｋｉ，ωｋｉ，・ωｋｉを求める。
５）ブランチｋ（ｓ，…，１）に対し、ｉ＝ｎｋから１まで力ｆｋｉとモーメントｎｋｉを求め関節駆動力τｋｉを以下のように求める。
関節ｉが回転関節のとき
【数５】
0004077622.tif 000006
関節ｉが直動関節のとき
【数６】
0004077622.tif 000007
以上の計算により以下の形の運動方程式を得る。
【数７】
0004077622.tif 000008
上式においてＭ（ｑ）は慣性行列と呼ばれる対称行列、ｈ（ｑ，・ｑ）は遠心力やコリオリ力に関連する項、ｇ（ｑ）は重力項、ｑは木構造ロボットの関節変位である。
【００１０】
（関節駆動力の取得）
（９）式の右辺において関節変位、角速度、角加速度以外は固定値なので関節変位、角速度、角加速度を指定することで左辺の関節駆動力を得ることができる。
【００１１】
（動作推定法の概要）
動作推定の手法として、人体部分の輝度値を利用することが一般的である。しかしながら、入力したビデオ映像上では輝度値を得る目的の人物のある部分が障害物やその人物自身の他部分によって隠され、適切な輝度値が得られないことがある。以下では、適切な輝度値が得られない部分でも動作推定を行う手法として、関節駆動力を利用した手法について述べる。
ビデオ映像上における人体領域のフレーム間輝度値２乗誤差がより小さければ目的の人物が移動した先を適切に推定できることと、人間は目的の動作を行うとき関節駆動力がより小さくなるように動作していることの２点を考慮し、本システムでは、輝度値２乗誤差に上述の式より求めた関節駆動力の値を加えたものを最小化する関節軌道を生成する。部分的に輝度情報が得られない場合でも関節駆動力の値の重みを大きくすることで自然な動作を生成することができる。以下では具体的な手法を述べる。
【００１２】
１）曲線補間を用いた初期姿勢の推定
画像取得部１０で取得したビデオ映像から得られる、映像を単位時間で区切った複数の画像フレームの中で、たとえばユーザが選択した、人物動作の特徴となるフレームの関節変位をスプライン曲線で補間することでビデオ映像全体の各フレームにおける関節変位を取得する。本システムでは、動作の初期推定値を求めるために１例としてスプライン曲線補間法を採用し、３次ベジェ・スプライン曲線によるエルミート補間を用いることにする。ベジェ・スプライン曲線を用いる利点は曲線の分割性により初期姿勢からさらに細かい動作への対応ができる点、制御点の影響の局所性により制御点を編集した際の影響を曲線の一部分に限定できる点、初期姿勢で指定された通過点の位置を変更せずに制御点のみを編集することで初期姿勢が適切に推定できている場合の重みを表現できる点が挙げられる。エルミート補間とは通過点とそこでの接線が与えられた場合の補間を表す。本システムは開始フレーム、最終フレーム、特徴となるフレームの関節変位を指定した補間処理を行い全フレームの初期姿勢を推定する。
次に、初期姿勢を推定するための補間方法について述べる。まず、特徴となるフレームの姿勢を指定することで各リンクの関節変位を得る。その関節変位の値を曲線の通過点とする。エルミート補間において通過点のみが指定された場合、通過点における接線ベクトルを求める必要がある。関節変位の値が指定されたｎ＋１個の点をＱ０，Ｑ１，…，Ｑｎとすると接線ベクトルを
【数８】
0004077622.tif 000009
として補間曲線
｛ｐ（ｔ）｜０≦ｔ≦ｎ｝を求めることができる。
求められた曲線Ｐ（ｔ）を関節変位の初期姿勢とする。ここでｔはフレーム番号である。
上述の特徴フレームにおける関節変位の初期姿勢を求める手法にはいくつか考えられるが、利用者がマニュアルにより初期姿勢を当てはめても良いし、本発明の発明者を含む著者による論文「星野准一，斎藤啓史：“ビデオ映像とＣＧの合成によるヴァーチャルファッションの実現”，情報処理学会論文誌，Vol.42，No.5，pp.1182-1193，2001」及び「Jun'ichiro Hoshino, Hirofumi Saito:"A Match Moving Technique for Human Body Sequences", Int. Conf. on Acoustics and Signal Processing, ICASSSP2001, Conference Proceedings CD-ROM, IMDSP-P3.1, 2001」に記述した、２次元シルエット画像から３次元姿勢を推定する手法を求めてもよい。
【００１３】
２）角速度、角加速度の取得
上述のように特徴フレームにおけるシルエット画像から３次元姿勢を推定する手法を用いて初期姿勢を推定するが、その時に、関節駆動力を得るための運動方程式を用いる際に必要な関節変位の角速度、角加速度を求めておく。本システムではｆ番目フレームにおける速度・ｑｆ，加速度・・ｑｆを
【数９】
0004077622.tif 000010
として擬似的な瞬間の速度、加速度を求めている。なお、このとき各パラメータは
Ｈ：フレーム間隔
ｆ：フレーム番号
ｑｆ：ｆ番目フレームのリンク関節変位
である。
【００１４】
３）トルク値と輝度値の最小化による動作推定
人間の身体構造を、ベースリンクとなる腰部リンクを第０階層リンク、第０階層リンクから派生するリンクを第１階層リンク…第ｋ階層リンクから派生するリンクを第ｋ＋１階層リンクというように定める。第ｋ階層リンクLink_kにおけるベクトルのトルク合計値τｋは、Link_kのｆ番目フレームにおけるベクトルのトルク値Ｔｆを用いて
【数１０】
0004077622.tif 000011
ｆＭａｘ：ビデオ映像から取得したフレームの枚数
と表される。ここでｆの値が１からｆＭａｘ−２であるのは式（１１），（１２）で得られる速度、加速度がこの範囲であり、それに基づいて導出されるＴｆもこの範囲でしか得られないからである。Link_kの輝度合計値ＤｋはLink_kのｆ番目フレーム画像上における領域の輝度合計値をｍｆとすると
【数１１】
0004077622.tif 000012
と表される。フレーム画像から輝度値を得るとき、目的のリンクが他のリンクに隠され適切な輝度値を得られなくなることがある。その場合適切な輝度値を得ている領域を判別しなければならない。適切な輝度値の領域は画像上における人物の動作と同じ状態を表していると考えられる人体の幾何モデルの持つ奥行き座標を用いて、どのリンクの領域が最も手前にあるかを調べることで求められる。
式（１３），（１４）を用いると評価式は
【数１２】
0004077622.tif 000013
と表される。ここでαｋ，βｋは重み係数である。
式（１４）を満たす関節変位をスプライン曲線の制御点を探索して求めることで動作推定を行う。注意点としてリンクに評価式（１４）を当てはめる順番として第ｋ階層リンクの誤差は第ｋ＋１階層リンクに影響することを考慮に入れ昇順で最適化する必要がある。
【００１５】
＜独立成分分析（ＩＣＡ）による動作信号の分析と再構成＞
上記の手法で求めた人物動作を、本システムで容易に加工するための手段の１つとして、独立成分分析を利用した手法を述べる。
（ＩＣＡにおける問題設定）
時刻ｔにおける人物動作の姿勢パラメータを
【数１３】
θ（ｔ）＝［θ１（ｔ），θ２（ｔ），…，θｎ（ｔ）］Ｔ
とする。ｎは姿勢パラメータの総数である。ＩＣＡの処理において各成分の平均は０でなければならないため、あらかじめ各姿勢パラメータからその平均を引いておく。人物動作の総フレーム数をＴとすると各姿勢パラメータの平均は、
【数１４】
0004077622.tif 000014
と表される。各成分から平均値ｃｉを引いた姿勢パラメータをθ’（ｔ）とする。ここで人物動作の特徴を表すパラメータをｓ（ｔ）＝［ｓ１（ｔ），ｓ２（ｔ），…，ｓｍ（ｔ）］Ｔと仮定するとθ’（ｔ）は次のように表される。
【数１５】
θ’（ｔ）＝Ａｓ（ｔ）
Ａはｎ×ｍの基底行列でＡ＝［ａ１，ａ２，…，ａｍ］である。またｓ（ｔ）はＩＣＡの問題設定においてｍ個の各成分が相互に独立である。ｍは独立成分の数でｍ≦ｎである。
ＩＣＡの処理によりθ’（ｔ）から
【数１６】
ｙ（ｔ）＝Ｂθ’（ｔ）
となる独立成分ｙ（ｔ）と特徴抽出行列Ｂを求める。理想的な値としてｙ（ｔ）＝ｓ（ｔ），Ｂ＝Ａ−１が目標となる。
【００１６】
（姿勢パラメータの無相関化）
ＩＣＡの前処理として姿勢パラメータθ’（ｔ）の無相関化のために次のような変換を行う。
【数１７】
ｘ（ｔ）＝Ｖθ’（ｔ）
ｘ（ｔ）は無相関化された信号で、Ｖはｍ×ｎの無相関化行列である。一般に無相関化は主成分分析によってなされる。主成分分析による固有ベクトルをＥ、固有値を並べた対角行列をＤとすると、Ｖ＝Ｄ−１／２ＥＴとなる。
無相関化の処理を行った後の特徴抽出行列をＷＴとすると
【数１８】
Ｘ（ｔ）＝ＶＡｓ（ｔ）＝Ｗｓ
となる。ここで
【数１９】
ｘ（ｔ）ｘＴ（ｔ）＝Ｉ
より
【数２０】
ｘ（ｔ）ｘＴ（ｔ）＝Ｗｓ（ｔ）ｓＴ（ｔ）ＷＴ＝ＷＷＴ＝Ｉ
とできる。従ってＷ＝ＶＡは直交行列となるため、フルランクの行列Ａを求める問題をｓ（ｔ）＝ＷＴｘ（ｔ）となる直交行列ｗを求める問題に簡単化することができる。
【００１７】
（独立性の定義）
独立性は非正規性を最大化することで独立性を推定する。この非正規性を計る尺度として、負のエントロピーを用いる。ｙの密度関数をｆ（ｙ）とするとエントロピーは、
【数２１】
0004077622.tif 000015
となる。エントロピーは正規分布のとき最大となる。
負のエントロピーＪ（ｙ）は正規分布のエントロピーを用いて
【数２２】
0004077622.tif 000016
と定義される。負のエントロピーは非負の値をとり、最小値は正規分布のときで０になる。従って負のエントロピーを最大化、つまり非正規性を最大化することで独立性を推定する。ここで密度関数ｆ（ｙ）を最大エントロピー原理によって近似すると
【数２３】
0004077622.tif 000017
となる。Ｇは非２次の関数、ｃは定数である。ここで||ｗＴｘ||＝１となるｗを用いてｙｉ＝ｗＴｘとすると負のエントロピーは
【数２４】
0004077622.tif 000018
と表せる。
従って独立性を決定する問題は以下のようになる。
【数２５】
0004077622.tif 000019
【００１８】
（不動点法による基底の算出）
負のエントロピーを最大にするｗを求めるために、Hyvarinenの不動点法に基づく反復解法を用いる。更新式は、
【数２６】
0004077622.tif 000020
である。ここで、ｇはＧの微分である。
例えば、ｇ１（ｙ）＝ｔａｎｈ（ａ１ｕ），ｇ２（ｙ）＝ｙ３などとする。
【００１９】
（動作の再構築）
抽出した独立成分ｙ（ｔ）と特徴抽出行列ｗにより動作の再構築を行う。基底行列Ａの各基底ベクトル（列ベクトル）ａｉは
【数２７】
ａｉ＝ＥＤ１／２ｗｉ
と表される。従って人物動作の姿勢パラメータは
【数２８】
θ（ｔ）＝Ａｙ（ｔ）＋Ｃ
として再構成される。ここでＣ＝［ｃ1，ｃ２，…，ｃｎ］Ｔである。
動作を加工する場合は、独立成分の動作曲線を変形して、上記の再構成を適用する。
【００２０】
【実施例】
次に、上記にて説明した動作の加工をした実施例を示す。
図３は人物が歩行している場合を例にとって、各関節角の時系列データと、ＩＣＡにより独立成分に分離した結果を示す図である。図３（ａ）は歩行している人物の映像のフレームからフレーム５，１０，１５，２０，２５を示したものである。図３（ｂ）は人物の映像のフレームより各関節角の時系列データをグラフ化して表している。同様に図３（ｃ）はＩＣＡにより独立成分に分離した結果をグラフ化して表している。
上述のように、独立成分分析では一般的に入力変数の数以下に分離できるという規定しかないが、あまり多くの独立成分に分離しすぎるとノイズの影響が大きくなるという問題がある。そこで、本手法では前処理で利用している主成分分析の結果を利用して、合計で寄与率が約９０％以上となる固有ベクトルの数を求め、独立成分分析を計算するときの独立成分の数として利用する。図３（ｃ）は、歩行データに主成分分析を施した結果、６個以上の固有ベクトルは無視できる大きさであったため、５つの独立成分を抽出した。なお、この適切な独立成分の数は、サンプルとして入力する動作の複雑さなどによっても変化する。
【００２１】
図４は歩行動作にＩＣＡを適用した例を示す図である。各動作成分と３次元動作の対応を表している。この図４は各独立成分だけを分離して３次元動作を復元したところを示す図である。この場合は、足を前後に振る動作（図４（ａ））や、足踏みをする動作（図４（ｂ））、上下にジャンプする動作（図４（ｃ））に分離されている。このような特定の動作成分を加工したり強調することで、極めて次元数の多い各関節の時系列データを直接加工するよりも、多様な動作のバリエーションを容易に生成することができる。
【００２２】
仮想人物の動作を生成する際には、様々な動作セグメントを滑らかにつなげたり、動作間の欠けている部分を補うことが必要となることが多い。このような処理を単純に関節角を補間することで行うと、実際にはありえない軌道を通るなど不自然な動作になるという問題が挙げられる。独立成分分析によって推定された基底ベクトルは、実際のサンプル動作から抽出された動きの特徴を表しているため、独立成分を組み合わせて補間する方が自然な動作となる可能性が高いという利点がある。
図５はバレエのアニメーション作成例を示す図である。図５（ａ）はストーリーボードで指定した間欠的な動作である。このような動作を補間する手段として、ＩＣＡの動作曲線を利用する。図５（ａ）（ｉ）〜（iv）は、それぞれ補間し、図５（ｂ）（ｉ）〜（iv）のように連続した滑らかな動作の動画像のフレームが作成される。この図５の独立成分による動作曲線を利用して、ストーリーボード間の間欠的な動作の補間を行った例を示す。２次元姿勢から３次元姿勢を推定する手法は、利用者がマニュアルで行ってもよいし、自動で行うならば、例えば上述の論文「星野准一，斎藤啓史 ：“ビデオ映像とＣＧの合成によるヴァーチャルファッションの実現”，情報処理学会論文誌，Vol.42，No.5，pp.1182-1193，2001」及び「Jun'ichiro Hoshino, Hirofumi Saito : "A Match Moving Technique for Human Body Sequences", Int. Conf. on Acoustics and Signal Processing, ICASSSP2001, Conference Proceedings CD-ROM, IMDSP-P3.1, 2001」に掲載したシルエット画像から３次元姿勢を推定する手法を利用する。次に、独立成分の空間の中で、ストーリーボードで指定した各３次元姿勢の動作成分の点を結んで動作曲線を求めることによって連続した動作を生成する。この点を結ぶ手法は各点を直線で結んだ後、その折れ線を独立成分の空間内の滑らかな曲線としてもよい。独立成分の空間は、人物の動作から得られる特徴空間であるので、直線で結んでもそんなに不自然な動きとはならない。
【００２３】
本手法のその他の応用例としては、人物の動作の代わりに、顔の３次元的な表情の変化を入力して、表情の変化の分析と再構成を行うことも考えられる。人物の動作と同じように、表情の独立成分を抽出することで、単純に複数の表情間を補間するよりも、自然な動きを生成できると考えられる。
また、本手法の評価実験からは、異なる人物が同じ動作を行った結果を入力した場合、個人差が少なく動作の基本的な構造を表す成分と、個人差が主に表れる成分に分離できる傾向が見られた。これは、少数の独立成分を制御するだけで、多様な個性を持った動きを生成できることを表している。このように、動作の基本構造の加工と、個人間のバリエーションの加工を分離して行うことができるなど、動作の生成を階層的に行うことが可能となるのも、本手法の特徴の一つである。
なお、上述の画像取得部１０、動作推定部２０、画像生成部３０、表示部４０のそれぞれの処理は、計算機上で実行することもできる。また、その処理を行うためにプログラムを格納した記録媒体から読み出したり、通信回線を介して受信等をしたプログラムを実行する等により、本発明の構成を実現することもできる。この記録媒体には、フレキシブル・ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、磁気テープ、ＲＯＭカセット等がある。また、通信回線としては、インターネット等がある。
【００２４】
【発明の効果】
推定した人物の３次元動作系列に、独立成分分析（ＩＣＡ）を適用して基本動作成分を抽出することで、動作の加工や変形を容易にすることができる。
また、動作の独立成分は輝度情報と身体の物理特性を併用しているため、不自然さがなく、安定な動作推定が可能である。そのため、ビデオ映像によって俳優の演技を撮影するだけで、簡単にＣＧ俳優の動作を付けることが可能である。
【図面の簡単な説明】
【図１】  ３次元人物動画像生成システムの機能構成を示す図である。
【図２】  本システムで用いる人体幾何モデル１００を示す図である。
【図３】  人物が歩行している場合の例を各関節角の時系列データと、ＩＣＡにより独立成分に分離した結果を示す図である。
【図４】  歩行動作にＩＣＡを適用した例を示す図である。
【図５】  バレエのアニメーション作成例を示す図である。
【符号の説明】
１０            画像取得部
２０            動作推定部
３０            画像生成部
４０            表示部
１００            人体幾何モデル
１１０            首
１２０            左肩
１２５            右肩
１４０            左肘
１４５            右肘
１６０            胴体
１７０            左股
１７５            右股
１９０            左膝
１９５            右膝
【図１】
0004077622.tif 000021
【図２】
0004077622.tif 000022
【図３】
0004077622.tif 000023
【図４】
0004077622.tif 000024
【図５】
0004077622.tif 000025