(57)【特許請求の範囲】
【請求項１】
人物に関するパーツ別のＣＧ幾何モデルとパーツ別の空間的配置情報、及び人物全体の空間的配置情報に関して、前記空間的配置情報で記述された人物全体の１つを初期位置として、該人物全体に含まれる単一パーツだけを、初期位置から変化させたフレームからなるパーツ別のポーズを予めデータベース化しておき、前記パーツ別のポーズから所望のフレームを逐次選定することにより、制作対象映像の全パーツの空間的配置情報を決定し、それらの情報と前記パーツ別ＣＧ幾何モデル、及び付随するテクスチャ情報をもとにＣＧ映像制作を行うことを特徴とする人物ＣＧ制作方法。
【請求項２】
請求項１において、
前記パーツには、一方のポーズを変更すると他方のポーズが必然的に変化する、互いに包含関係にあるものを含み、これらの関係にある一方のパーツに対して、前記データベース検索を実施した場合、他方のパーツの空間的配置情報を上書きできるようにしたことを特徴とする人物ＣＧ制作方法。
【請求項３】
請求項１において、
前記人物全体の空間的配置情報には２人以上の空間的配置情報も含まれ、前記データベース検索におけるパーツ別の空間的配置情報の指定は、１人ずつ個別に行われることを特徴とする人物ＣＧ制作方法。
【請求項４】
請求項１において、
前記データベース化されるパーツ別のポーズは、各フレームを構成する全ての空間的配置情報と、前記空間的配置情報と前記パーツ別幾何モデルにテクスチャ情報等を加味してレンダリング処理された画像情報から構成され、後者の画像情報をブラウジングすることにより、前者の該当するフレームの空間的配置情報を検索できるようにしたことを特徴とする人物ＣＧ制作方法。
【発明の詳細な説明】
【０００１】
【発明が属する技術分野】
本発明は、医療行為（救急処置、外科手術、マッサージ、介護等）、ダンス・体操等、主として人が対人的に行う各種演技・手技の習得や、マニュアル類を持ち込めない実践の場、例えば教育現場等で、身体で覚える実技の習得に、あるいは多くの図面を要する設備類のメンテナンス作業等を支援するマニュアル映像等を３次元ＣＧで制作する際に適用して好適な、人物ＣＧ制作方法に関する。
【０００２】
【従来の技術】
人物ＣＧ（コンピュータグラフィックス）制作システムを用いて、人物を中心とする３次元のＣＧアニメーション映像を制作する際、一般に図１７に示した手順に従って行うことができる。
【０００３】
まず、映像の制作に必要な人物、備品、道具をモデリングし（ステップ１０１）、次いで洋服の柄等のテクスチャをスキャナ等で入力し、そのテクスチャを作成された各モデルに貼り込むアサインを行う（ステップ１０２）。
【０００４】
次いで、アニメーションの単位映像となる順次動作が変化するフレーム映像を作成することになるが、これには次の２つの方法がある。
【０００５】
１つは、特徴ある大まかな動き（ポーズ）をキーフレームとして作成し、細かい動きはキーフレーム間の数学的な補間により作成する方法である。この方法では、必要な数のキーフレーム別のポーズ入力が行われる。他の１つは、後述するモーションキャプチャである。
【０００６】
上記いずれかの方法で各フレームの人体ポーズが決定された後、光源とカメラ位置を指定し、フレーム単位レンダリング処理を行い、レンダリング後の画像データをビデオ編集し、各フレームの画像をＪＰＥＧ等で圧縮形態にエンコードし、その圧縮データをフレームディスクレコーダに書き込む。
【０００７】
上述した人物ＣＧ制作作業において、作業者の負荷が大きい工程の１つは、最初に行う人物等のモデリングである。
【０００８】
ところが、例えば教育用途において３次元ＣＧで人物に関する映像を制作する場合は、人物に関する頭や腕等のパーツの幾何モデリング作業は、近年ライブラリー化が進んでいる既存のデータを流用すれば不要となり、又、レンダリング工程ではリアルな質感等がそれほど求められない。
【０００９】
従って、上記図１７の流れの中で作業負荷が大きい工程は、ステップ１０３のポーズと動きの指定（ポーズ入力）に集中し、この部分ではリアリティと自然さが要求される。
【００１０】
近年、人物に関するコンピュータグラフィックス技術の目覚ましい発展があり、設備を整えれば人物モデルにリアルな動きを持たせることが可能となり、このような要求に答えることが可能になっている。このような要求に答えることができるＣＧ技術としては、（１）インバースキネマティックスと、（２）モーションキャプチャを挙げることができる。
【００１１】
（１）インバースキネマティックス
これは、関節の動きを連動させる技術であり、例えば足を上下に動かすと、それに連動して膝や太腿の付根が自然に動くようにできる機能である。この機能は、安価なパソコン用ＣＧソフトにも搭載されるようになっている。
【００１２】
（２）モーションキャプチャ
これは、演技者の各可動関節に位置センサやマーカーを取り付け、実際にスタジオで演技をしてもらい、その空間的配置情報をステレオカメラで読取り、実測値により人物の動きを入力しようという方法である。
【００１３】
【発明が解決しようとする課題】
しかしながら、前記（１）インバースキネマティックスには、コンピュータ画面上で人物のポーズと動きを対話的に指示していくポーズ入力作業は簡単ではなく、負荷が大きいという問題がある。
【００１４】
又、前記（２）モーションキャプチャには、ポーズ入力のような作業負荷はないが、反面スタジオセットの設備が非常に高価であり、しかもワイヤだらけになった演技者になるべく自然に演技をしてもらう必要があるため、演技者にとって負担が大きいという問題がある。
【００１５】
本発明は、前記従来の問題点を解決するべくなされたもので、スタジオセット等の高価な設備を必要とすることなく、人物を中心とするＣＧアニメーションを容易且つ迅速に制作することができる、人物ＣＧ制作方法を提供することを課題とする。
【００１６】
【課題を解決するための手段】
本発明は、人物に関するパーツ別のＣＧ幾何モデルとパーツ別の空間的配置情報、及び人物全体の空間的配置情報に関して、前記空間的配置情報で記述された人物全体の１つを初期位置として、該人物全体に含まれる単一パーツだけを、初期位置から変化させたフレームからなるパーツ別のポーズを予めデータベース化しておき、前記パーツ別のポーズから所望のフレームを逐次選定することにより、制作対象映像の全パーツの空間的配置情報を決定し、それらの情報と前記パーツ別ＣＧ幾何モデル、及び付随するテクスチャ情報をもとにＣＧ映像制作を行うことにより、前記課題を解決したものである。
【００１７】
即ち、本発明においては、１又は２以上の人物の体勢（人物全体のポーズ）と、各人物の体勢に空間的に対応付けられた人体パーツの複数のポーズとをデータベース化しておき、そのデータベースを検索して目標とするポーズに近い人物体勢と、人体パーツのポーズとを選定し、該人物体勢を初期位置として、その初期のポーズを選定したポーズに変更して、アニメーションの単位となるキーフレームを作成できるようにしたので、容易にＣＧアニメーションを制作することができる。
【００１８】
なお、インバースキネマティックス機能が搭載されているパソコンＣＧソフトを活用し、作業負荷を軽減する方法として、データの再利用が挙げられる。このようなＣＧソフトでは、一度制作した情報を補間して流用することが可能であるが、通常過去のデータをそのまま流用する用途は少なく、仮にあったとしても、その後の修正負荷が初期状態から入力する場合と大差ないことが多いことから、有効な手段にはなり難い。
【００１９】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。
【００２０】
本実施形態は、人体の特定のパーツだけを動かしたバリエーションを用意し、データベース化しておくことにより、該データベースに対して所望のポーズになるように、人体パーツ別に適宜検索してモンタージュ法により、所望のポーズに誘導することにより、大まかなモデリング作業を完了できるようにしたものである。
【００２１】
（１）パーツのバリエーションは無限に存在するが、用途を限定すればそれほど多くはない。又、キーフレームアニメーションの手法を適用し、主要なポーズだけを登録しておくことにより、中間パターンは後述するように補間で生成することができる。
【００２２】
（２）データベース検索のとき、ワイヤフレーム像ではイメージし難いので、テクスチャを張り付けてレンダリングした画像を提示させるようにする。そして、検索した画像のレンダリングに使用されたポーズ情報を利用するようにする。
【００２３】
図１は、本発明に係る一実施形態の人物ＣＧ制作方法に用いられるポーズ・データベース（ＤＢ）と、該データベースを検索しながら行うＣＧアニメーション制作の手順とを概念的に示した説明図である。本実施形態では、以下の作業に、Ｆractal  Ｄesign 社製の人物ＣＧ制作ツール“Ｐoser２”を使用している。
【００２４】
上記ポーズ・データベースには、人物体勢データベースＡと、人物に関するパーツ別データベースＢとがある。そして、人物体勢データベースＡには、１人と２人（必要に応じて３人以上であってもよい）の組合せの体勢（ポーズ）があり、図２の（１）２人組のポーズ（Ａ）〜Ｇ）は、２人の体勢の一例を示したものである。なお、この図２には、各フレームの映像がそのまま表現されているが、データベースには、各フレーム毎に映像と、その作成に用いるＣＧ幾何学モデルと空間的配置情報等からなるパラメータ情報とが対になって格納されている。このデータ構成は、以下に説明するパーツ別データベースＢの場合も同様である。
【００２５】
上記パーツ別データベースＢには、頭、腕・手、胸・腹、腰及び脚・足の各ポーズのデータベースがあり、図３、図４、図５、図６及び図７は、それぞれの一例をイメージ映像で示したものである。
【００２６】
なお、図２の２人組の体勢も、又、図３〜図７の各パーツ別のポーズも、図４（Ａ）に相当する左右に両手を広げた人物の体勢を基準（初期位置）にして作成されており、特にパーツ別の場合は対象のパーツのポーズが異なるだけで、それ以外の人体部分のポーズは同一、即ち、同一の空間的配置情報に基づいて作成されている。そこで、便宜上、図３の頭のポーズだけは、その向きが分かり難いので、頭部を拡大して示してある。
【００２７】
本実施形態では、上述したデータベースを検索しながら、図１に大まかに示した手順に従って、アニメーションのキーフレーム１を決定する。図８は、その決定方法の一例を映像を使って具体的に示したものである。
【００２８】
ここでは、救急医療支援用の映像マニュアルを作成することを前提にしている。まず、人物体勢を指定する（ステップ１）。最終的に図８（７）のフレームとして示した心臓マッサージの１場面を作成するために、同図（１）に示したように、前記図２（Ｆ）に示した２人組のポーズを指定する。
【００２９】
次いで、人物（人体）１についてパーツ（部品）別ポーズ指定を行い、図８（２）、（３）の状態にする（ステップ２）。図８（２）は、同図（１）の段階では、人体１は前述したように腕を広げた状態になっているので、腕を下げた図４（Ｅ）のポーズを指定することにあたる。又、図８（３）は、同図（２）に対して前記図３（Ｆ）のポーズを指定し、人体１の頭の位置を後方（図中下方）に曲げた状態に変更したことにあたる。
【００３０】
なお、腕と手のように、互いに包含関係にあるパーツのデータベースには、腕全体と手がそれぞれパーツ別にポーズが入っている。そこで、腕全体を動かすと、結果的に手も動くことになるが、最初に腕全体に対して変更を指示し、その後、手だけを更新することにより、スムーズに手が上書きできるようになっている。
【００３１】
その後、図８（４）、（５）、（６）の順に人物２の部品別ポーズ指定を行う（ステップ３）。即ち、図８（３）の映像に対して前記図４（Ｃ）に示した身体の前方に突き出された腕のポーズを指定し、図８（４）の状態にし、次いで、図７（Ｂ）を指定して図８（５）の状態にし、そのポーズのまま人体２を紙面に垂直なＸ軸方向を中心に回転させ、図８（６）の状態にする。
【００３２】
その後、ステップ４の総合調整で、人体１、２の間の位置関係が微調整された図８（７）の状態にし、仰向けに寝ている患者の胸の上に施術者の手が載っている映像のキーフレーム１を決定する。なお、上記総合調整では、必要に応じて設備や道具のモデルを追加することができるが、これについては後に具体例を挙げて説明する。
【００３３】
このように、キーフレーム１が決定されたならば、それに続くキーフレーム２も作成する。このキーフレーム２は、決定された前記キーフレーム１のいずれかのポーズを変更することにより作成される。
【００３４】
例えば、心臓をマッサージするフレームとするために、図８（７）の状態から施術者が手を押し下げた状態にポーズを変更し、キーフレーム２とする。その際、手を押し下げる動作に伴って、他の身体の部分も動くことになるので、その調整も行う。その際、施術者が患者の胸を押したときの胸の凹み等の僅かな変更は、前記図１のステップ４に示したスケーリングの機能により、パラメータを指定して行うことができる。
【００３５】
このようにして、キーフレーム２が決定されたならば、同様にこのクレームを変更してキーフレーム３を作成し、更に同様にキーフレーム４、５・・・を作成する。なお、先の説明では、図１のステップ２の人物１の指定を先に実行するようにしたが、逆にしてもよい。又、図８に示した処理手順も、基本的には順不同であり、例えば（４）、（５）、（６）の順を、（４）、（６）、（５）のようにして、脚のポーズ指定の前にＸ軸回転を行うようにしてもよい。
【００３６】
本実施形態では、上述した方法でキーフレームを順次作成した後、前記図１７に示した従来の手順のステップ１０５〜１０７と同様の処理を行うことにより、例えば、図９に示した正面から見た心臓マッサージの一場面に当るキーフレームの映像を作成することができる。又、本実施形態では、図１０に示したように上記図９に示した患者をスケルトン（骸骨）で表示た映像も、同様にデータベースを検索して作成することができる。
【００３７】
以上のようにして、アニメーションの要になるキーフレームは、前記データベースを検索し、必要なポーズを指定することにより作成する。
【００３８】
ところが、このようなキーフレームだけでは、滑らかな動きのアニメーション映像を表現できないことも多く、中間のキーフレームを挿入する必要が生じる。ところが、与えられたポーズパターンだけでは、そのような中間のキーフレームのポーズを実現できないことが多い。そこで、本実施形態に適用する人物ＣＧ制作システムには、図１１に操作画面を概念的に示したような、ポーズの補間演算機能が実現されている。ここで、図１１のパーツ別ポーズキーフレームは、これまで述べてきたキーフレームではなく、前記図１に示したデータベースに登録されている代表的ポーズフレームを指す。
【００３９】
その機能を用いて人物のポーズを指定する操作を、図１２のフローチャートに従って説明する。
【００４０】
まず、前記図８の場合と同様に、人物が２人であるとすると、編集対象の人物１又は２を選定し（ステップ１１）、図１１の画面上の編集パーツの中から対象とするパーツを選定し（ステップ１２）、画面最上段のパーツ別ポーズキーフレーム表示部に、対象パーツに関するポーズパターンをキーフレームとして表示する（ステップ１３）。この図１０のパーツ別ポーズキーフレーム表示部には、前記のようにデータベースに登録されているポーズパターンに関するフレーム映像が表示される。
【００４１】
今、上記キーフレーム表示部で、映像の特徴のイメージを上向きと右向きの矢印でそれぞれ示した左から４番目と５番目の間のポーズパターンが要望されているため、その間に補間映像を作成するとして、この２画面のキーフレームを選定すると（ステップ１４）、この両フレーム間を補間演算により作成した複数の映像が、上記キーフレーム表示部の下のパーツ別ポーズアニメーション表示部に自動的に表示される（ステップ１５）。このアニメーション表示部で左端と右端のフレームが上記４番目と５番目のキーフレームに当る。
【００４２】
そこで、これらポーズアニメーションの中から必要なフレームを選定し、確定のコマンドを入力すると（ステップ１６）、編集対象としているパーツの空間的配置情報が更新され（ステップ１７）、更新された映像が制作ワーク画面に表示される。なお、上記４番目又は５番目のポーズ自体が要望される場合を考慮し、ステップ１６のフレームの確定は、キーフレームから直接行うこともできる。
【００４３】
ステップ１７の更新が終了した段階では、映像がワイヤフレーム像で表示されているため、正確な状態を見たいときには、コマンド入力でレンダリングを指示し、その後、制作ワーク画面を更新し（ステップ１８）、その確認ができた後に、必要に応じて前記ステップ１１に戻り、他のパーツの編集を行う。
【００４４】
本実施形態の人物ＣＧ制作システムでは、上述した機能を実現するために、図１３に示すようなパーツ別空間的配置情報のデータベースが構築されている。この図の下側に示した各ディスク（ファイル）Ｄには、頭等のパーツの位置や角度等の空間的な配置がパラメータ情報でそれぞれ記録可能になっており、そのパラメータ情報とそれに基づいてレンダリングされたフレーム画像とが、矢印で対応関係を示したように対をなすように、上記データベースに格納されるようになっている。従って、上記図１２のステップ１８で制作ワーク画面を更新すると、そのフレームの画像とその空間的配置情報とがセットで上記データベースに格納されることになる。
【００４５】
このようにして、データベース化されている上記ＣＧアニメーションは、各フレームを構成する全ての空間的配置情報と、前記空間的配置情報と前記パーツ別幾何モデルにテクスチャ情報等を加味してレンダリング処理された画像情報から構成されているため、本実施形態では後者の画像情報をブラウジング（閲覧）することにより、前者の該当するフレームの空間的配置情報を検索することができるようになっている。
【００４６】
又、図１４には、上記人物ＣＧ制作システムのファイル構成を概念的に示した。
【００４７】
（１）のパーツ別ＣＧ幾何モデルのファイルは、人物に関するパーツ（頭、腕等）が、平面のポリゴン（多角形）と曲面のＮＵＲＢＳ形状を用いて幾何学的に記述されたデータとして記録されている。
【００４８】
これらのパーツを人物として空間的に統合して割り付ける指示は、（３）のファイルにある人物全体の組立を管理するための全体空間的配置情報に基づいて行われる。
【００４９】
更に、（１）のパーツ別ＣＧ幾何モデルには、次に述べる（２）のモデル付属テクスチャ情報を参照するためのアドレス情報も書かれている。具体的には、図１５のように、（１）のファイルの幾何モデルを構成するポリゴン、例えば四角形であるとすると、その各頂点にテクスチャの２次元アドレス情報（ｕ，ｖ）が書かれている。図１５は、上記ポリゴンに当るワイヤフレーム像で表わされた（ｘ，ｙ，ｚ）座標系のＣＧモデルと（ｕ，ｖ）座標系のテクスチャ情報の対応関係を、前記図９のフレームの場合を例にイメージで示したものである。
【００５０】
（２）のモデル付属テクスチャ情報のファイルは、例えば図１５の下半分に示されているような、洋服等のテクスチャの絵の画像が入っている。本実施形態では（ｕ，ｖ）で与えられる各座標にはＲＧＢで与えられる色情報が格納されているが、周知のバンプマッピングを行うために、凹凸情報が同時に格納される等、（ｕ，ｖ）配列で格納される情報内容は色に限定されるものではない。
【００５１】
（４）のパーツ別空間的配置情報は、前記図１３に示したパーツ別空間的配置情報データベースに当る。本実施形態では（３）の全体空間的配置情報に基づく管理の範囲を逸脱しない範囲で、前述したようにキーフレーム１、２を決定し、このファイルの内容を更新することにより、各キーフレームの映像を作成し、又、両フレーム間の補間したＮフレーム目の画像が必要な場合には、更新ファイル１、２を用いて、同フレームの補間ファイルを作成していることになる。
【００５２】
（５）の備品・道具モデルは、フレーム画像を作成する際、その場面に追加する材料を意味し、備品としては救急医療行為に使用する包帯等を挙げることができる。又、道具としては、心臓マッサージの映像を作成する際、前記図１０に示したように患者をスケルトン表示することもできるように、対応するスケルトン画像も必要に応じて作成するが、このような画像に対して追加する、例えば心臓等の内臓がある。便宜上、このような内臓のことをここではＣＧ画像作成のための道具と呼んでいる。
【００５３】
図１５は、上記スケルトンを表わすＣＧ画像に、道具として心臓Ｃを追加する様子をイメージで示したものであり、下のスケルトンの肋骨の内側には、この心臓が追加されている。
【００５４】
（６）の光源・カメラパラメータは、作成された各フレームをレンダリングする際のパラメータ情報である。
【００５５】
以上詳述した如く、本実施形態によれば、ＣＧアニメーションを作成する際に最も作業負荷のかかるポーズ・動作指定がデータベース検索操作を基調として、迅速に行うことができ、トータルのＣＧ制作負荷を大幅に低減することができる。又、演技者や大掛かりな設備が不要であるため、制作コストが安価で、場合によっては実写より安価にすることができる。更に、演技者の技量では演技できない動作や、一定の動作を長時間強いる映像等、実写では無理な動作も容易に制作できる。
【００５６】
以上、本発明について具体的に説明したが、本発明は、前記実施形態に示したものに限られるものでなく、その要旨を逸脱しない範囲で種々変更可能である。
【００５７】
例えば、前記実施形態では、救急医療支援用の映像を作成する場合を例に説明したが、これに限定されない。
【００５８】
【発明の効果】
以上説明したとおり、本発明によれば、スタジオセット等の高価な設備を必要とすることなく、人物を中心とするＣＧアニメーションを容易且つ迅速に制作することができる。
【図面の簡単な説明】
【図１】本発明に係る一実施形態の人物ＣＧ制作方法を概念的に示す説明図
【図２】人物体勢のデータベースの一例を示すイメージ図
【図３】頭のポーズのデータベースの一例を示すイメージ図
【図４】腕・手のポーズのデータベースの一例を示すイメージ図
【図５】胸・腹のポーズのデータベースの一例を示すイメージ図
【図６】腰のポーズのデータベースの一例を示すイメージ図
【図７】脚・足のポーズのデータベースの一例を示すイメージ図
【図８】人体ＣＧ映像の制作手順を示すイメージ図
【図９】制作されたフレーム画像の一例を示すイメージ図
【図１０】図９の一部をスケルトン映像にしたイメージ図
【図１１】人物ＣＧ制作システムの操作画面の一例を示す説明図
【図１２】人物ポーズの指定手順を示すフローチャート
【図１３】パーツ別空間的配置情報のデータベースの構成を概念的に示す説明図
【図１４】人物ＣＧ制作システムのファイル構成を示す説明図
【図１５】ワイヤフレーム像とテクスチャの対応関係を示す説明図
【図１６】ＣＧ画像における道具の追加例を示すイメージ図
【図１７】従来の人物ＣＧの作成手順を示すフローチャート
【符号の説明】
Ａ…人物体勢データベース
Ｂ…パーツ別データベース
Ｃ…心臓
【図１】
0003672723.tif 000002
【図２】
0003672723.tif 000003
【図３】
0003672723.tif 000004
【図４】
0003672723.tif 000005
【図５】
0003672723.tif 000006
【図６】
0003672723.tif 000007
【図７】
0003672723.tif 000008
【図８】
0003672723.tif 000009
【図９】
0003672723.tif 000010
【図１０】
0003672723.tif 000011
【図１１】
0003672723.tif 000012
【図１２】
0003672723.tif 000013
【図１３】
0003672723.tif 000014
【図１４】
0003672723.tif 000015
【図１５】
0003672723.tif 000016
【図１６】
0003672723.tif 000017
【図１７】
0003672723.tif 000018