(57)【特許請求の範囲】
【請求項１】
コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに、仮想空間で前記仮想被写体を撮影する仮想カメラの動きデータを設定し、
前記仮想カメラの動きデータを、前記仮想カメラの動きに同調して実空間を撮影する実空間のカメラの制御データに変換し、
前記制御データに基づいて駆動した前記実空間のカメラで撮影された映像と、前記コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに前記仮想カメラによって撮影された映像とを合成して仮想シーンの映像を得ることを特徴とする仮想シーン撮影方法。
【請求項２】
コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに、仮想空間で前記仮想被写体を撮影する仮想カメラの動きデータを設定する仮想カメラ動作設定手段と、
前記仮想カメラの動きデータを、前記仮想カメラの動きに同調して実空間を撮影する実空間のカメラの制御データに変換する実空間カメラ動作設定手段と、
前記実空間カメラ動作設定手段で設定された制御データに基づいて駆動した前記実空間のカメラで撮影された映像と、前記コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに前記仮想カメラによって撮影された映像とを合成して仮想シーンの映像を得る映像合成手段とを
有することを特徴とする仮想シーン撮影装置。
【請求項３】
請求項２記載の仮想シーン撮影装置において、
前記実空間カメラ動作設定手段で設定された制御データに基づいて駆動した前記実空間のカメラで撮影された映像と、前記コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに前記仮想カメラによって撮影された映像との少なくともいずれか一方を遅延する遅延手段を
有することを特徴とする仮想シーン撮影装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は仮想シーン撮影方法及びその装置に関し、特に、仮想空間でのカメラワークと実空間でのカメラワークを連動させ、同じ動きの両映像を合成して仮想シーンを生成する仮想シーン撮影方法及びその装置に関する。
【０００２】
【従来の技術】
従来、カメラは、カメラマンが操作することによりレンズの前に広がる実世界および被写体をファインダで捉え、実写として撮影するものである。また、人物や動物などの動く被写体を撮影する場合、カメラマンはファインダによる被写体の追尾に加え、時にはファインダから目を離し、直接、被写体を目で確認しながら被写体の動きを観察して予測し、カメラを被写体に対して適切な画角に合わせている。
【０００３】
また、実空間と仮想空間の空間条件を一致させ、実写映像とコンピュータグラフィックス（以降、「ＣＧ」と記す）映像とを映像合成して同一画面に表示し鑑賞を可能にしたバーチャルスタジオと呼ばれているシステムは、実空間のカメラの向きや位置及びレンズ値などの変化を仮想空間のカメラ（以降、「仮想カメラ」と呼ぶ）に対応させ、実空間と仮想空間との空間的な位置関係の整合性を取っている。つまり、カメラ動作の主体は、カメラマンが動かす実空間の側にあった。
【０００４】
【発明が解決しようとする課題】
近年、バーチャルスタジオを利用した実写映像とＣＧ映像との映像合成による番組制作や映像制作などが増えるにつれ、実空間では見ることができない仮想空間内の被写体（以降、「仮想被写体」と呼ぶ）の動きを、カメラマンが追いかけなければならない場合が増えてきた。
【０００５】
ところがカメラマンは、仮想被写体であるＣＧ映像をカメラファインダもしくはフロアモニタで実写映像と合成された映像でしか見ることができず、これまでのようにカメラファインダから目を離し、実世界を見ながら仮想被写体の動きを予測し、撮影することができない。
【０００６】
カメラファインダなどで見ることのできるＣＧ映像と実写映像の合成映像は、映像合成処理を行うために、１フレーム（ＮＴＳＣ方式の場合約３３ｍｓ）以上の遅延が発生し、更に、合成された映像を見ながら行うカメラ操作では、カメラワークが遅れる結果となる。このため、仮想被写体の瞬発的な動きや高速移動に追従して実空間のカメラを動かすことは非常に困難であるという問題があった。
【０００７】
本発明は、上記の点に鑑みなされたもので、仮想被写体の瞬発的な動きや高速移動に追従して実空間のカメラを動かすことができ、仮想被写体の動きを正確に追尾する合成映像を得ることができる仮想シーン撮影方法及びその装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
請求項１に記載の発明は、コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに、仮想空間で前記仮想被写体を撮影する仮想カメラの動きデータを設定し、
前記仮想カメラの動きデータを、前記仮想カメラの動きに対応する実空間を撮影する実空間のカメラの制御データに変換し、
前記制御データに基づいて駆動した前記実空間のカメラで撮影された映像と、前記コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに前記仮想カメラによって撮影された映像とを合成して仮想シーンの映像を得ることにより、
仮想被写体の瞬発的な動きや高速移動に追従して実空間のカメラを動かすことができ、仮想被写体の動きを正確に追尾する合成映像を得ることができる。
【０００９】
請求項２に記載の発明は、コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに、仮想空間で前記仮想被写体を撮影する仮想カメラの動きデータを設定する仮想カメラ動作設定手段と、
前記仮想カメラの動きデータを、前記仮想カメラの動きに同調して実空間を撮影する実空間のカメラの制御データに変換する実空間カメラ動作設定手段と、
前記実空間カメラ動作設定手段で設定された制御データに基づいて駆動した前記実空間のカメラで撮影された映像と、前記コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに前記仮想カメラによって撮影された映像とを合成して仮想シーンの映像を得る映像合成手段とを有することにより、
仮想被写体の瞬発的な動きや高速移動に追従して実空間のカメラを動かすことができ、仮想被写体の動きを正確に追尾する合成映像を得ることができる。
【００１０】
請求項３に記載の発明は、請求項２記載の仮想シーン撮影装置において、
前記実空間カメラ動作設定手段で設定された制御データに基づいて駆動した前記実空間のカメラで撮影された映像と、前記コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに前記仮想カメラによって撮影された映像との少なくともいずれか一方を遅延する遅延手段を有することにより、
実空間のカメラで撮影された映像と、コンピュータグラフィックスによる仮想被写体の映像との動きのタイミングを合わせることができる。
【００１１】
【発明の実施の形態】
図１は、本発明の仮想シーン撮影装置の第１実施例のブロック構成図を示す。この実施例は、仮想被写体の動きが予め決まっている場合に、それをもとにした仮想カメラの動きを設定し、その仮想カメラの動きデータを実空間内の自動撮影カメラ装置へ適応させ、仮想空間内を動く仮想被写体を自動撮影カメラ装置で撮影するものである。
【００１２】
図１において、初期設定として、自動撮影カメラ装置１０における実空間と、ＣＧ映像生成装置２０における仮想空間とのスケールを合致させる。ここでは、図２（Ａ）に示す実空間と、図２（Ｂ）に示す仮想空間とのスケールを合致させるため、実空間に想定した原点Ｏｒ＝（０，０，０）と、仮想空間の原点Ｏｖ＝（０，０，０）とを合わせ、実空間の横幅ｘｒ、高さｙｒ、奥行きｚｒを、仮想空間のｘｖ軸、ｙｖ軸、ｚｖ軸にそれぞれ対応させる。
【００１３】
そして、実空間における例えば長さ１ｍが仮想空間の単位長となるように仮想空間の縮尺を設定し、実空間の点Ａｒの座標（ｘｒ，ｙｒ，ｚｒ）が（ｘ１，ｙ１，ｚｌ）であった場合、仮想空間内で対応する点Ａｖの座標（ｘｖ，ｙｖ，ｚｖ）が（ｘ１，ｙ１，ｚ１）となるようにする。
【００１４】
次に、図３（Ａ）に示す実空間のカメラＣｒと、図３（Ｂ）に示す仮想カメラＣｖの位置や向きなどを一致させる。実空間のカメラ位置（ｘｒ，ｙｒ，ｚｒ）＝（ｘ２，ｙ２，ｚ２）は、先に設定した実空間の原点からの横幅ｘｒ、高さｙｒ、奥行きｚｒ方向をもとにした測量で求める。そして、この実空間のカメラ位置に相当する仮想空間の位置（ｘｖ，ｙｖ，ｚｖ）＝（ｘ２，ｙ２，ｚ２）に、実空間と同じレンズスケール、アパーチャースケールを持った仮想カメラＣｖを設定する。そして、実空間のカメラＣｒと仮想カメラＣｖの向きを合わせる。
【００１５】
例えば、実空間のカメラＣｒの位置（ｘｒ，ｙｒ，ｚｒ）＝（ｘ２，ｙ２，ｚ２）から原点Ｏｒを見たときのカメラ方向は（−ｘ２，−ｙ２，−ｚ２）となり、これは仮想カメラＣｖも同じである。そして、この仮想カメラＣｖの方向（−ｘ２，−ｙ２，−ｚ２）を基準にし、図４に示すように２つの空間のカメラの回転量（θｘ３，θｙ３，θｚ３）を一致させる。結果として、２つのカメラＣｒ，Ｃｖは、あたかも同じ空間内の同じ場所にある同じカメラで、同じ方向を撮影しているように同調する。
【００１６】
一方、図１に示すＣＧ映像生成装置２０内の仮想被写体動作設定部２１で、仮想被写体Ｈは、図５に示すように、仮想空間の点（ｘｖ，ｙｖ，ｚｖ）＝（ｘ４，ｙ４，ｚ４）を中心として、ｘ，ｚ平面と平行な平面上で半径＝ｒの円周上をｔ秒で１周する動作を行うように設定する。この仮想被写体Ｈの動きは実空間に置き換えると、点（ｘｒ，ｙｒ，ｚｒ）＝（ｘ４，ｙ４，ｚ４）を中心に、床面と平行に半径ｒｍの円周上をｔ秒で１周することに相当する。
【００１７】
仮想カメラ動作設定部２２では、この仮想被写体Ｈを仮想カメラＣｖで適切な画角で撮影できる位置（ｘｖ，ｙｖ，ｚｖ）＝（ｘ５，ｙ５，ｚ５）を決定する。そして、仮想被写体Ｈの動きを追ってｔ秒で一順するような仮想カメラＣｖのカメラワークを、仮想カメラＣｖのファインダに相当する画面を見ながら設定し、その動きデータを保存する。
【００１８】
続いて、仮想カメラ動作設定部２２は、実空間内の自動撮影カメラ装置の位置を仮想空間内の仮想カメラＣｖの位置に相当する地点（ｘｒ，ｙｒ，ｚｒ）＝（ｘ５，ｙ５，ｚ５）に移動させる。そして、仮想カメラＣｖの動きデータを、撮影部１２の制御データに変換して自動撮影カメラ装置１０の駆動制御部１１に供給する。
【００１９】
駆動制御部１１は、供給された制御データに基づいて撮影部１２を駆動してカメラワークを実行し実空間の様子を撮影する。撮影部１２で得た実空間の映像は例えばＮＴＳＣ方式の映像信号として出力され、映像遅延装置１５を通して画像合成装置３０に供給される。
【００２０】
ＣＧ映像生成装置２０内のレンダリング部２３では、設定されたカメラワークを行う仮想カメラＣｖで撮影された仮想被写体Ｈの画像を、ＮＴＳＣ方式の映像信号に変換（レンダリング）して出力する。この映像信号は映像遅延装置２５を通して画像合成装置３０に供給される。
【００２１】
画像合成装置３０は、ＣＧ映像生成装置２０からの仮想被写体Ｈの映像信号と、自動撮影カメラ装置１０によって撮影された実空間の映像との画像合成を行うことにより、実空間には存在しない仮想被写体Ｈが実空間の中を動いている映像として表示することができる。
【００２２】
例えば仮想被写体の動きデータを自動撮影カメラ装置の制御データに変換する際に遅延が発生するなどによって実空間の映像の遅延が大きくなり、画像合成の段階で両映像の動きのタイミングがずれる場合、映像遅延装置２５で、それと同等の遅延を仮想被写体の映像に加えることによって、両者のタイミングを合わせる。逆に、仮想被写体の映像の遅延が大きい場合には映像遅延装置１５で、それと同等の遅延を実空間の映像に加えることによって、両者のタイミングを合わせる。
【００２３】
本発明では、ＣＧの仮想被写体の位置および動きデータをもとに、仮想カメラの向きや動きやレンズ情報などを設定し、これに合わせて自動撮影カメラ装置を駆動して実空間の撮影を行うことにより、より高速、かつ正確に仮想被写体を追尾することが可能になり、従来、人間では完全には追従することができなかった仮想被写体の動きに対して、実空間のカメラが正確に追尾することができるようになり、信頼性の高い自動撮影、効率的な制作が実現できる。
【００２４】
図６は、本発明の仮想シーン撮影装置の第２実施例のブロック構成図を示す。この実施例は、人的操作などにより、仮想被写体を任意に動かす場合、または乱数などによって仮想被写体の動きが自動的に算出される場合など、動きが予め決まっていない仮想被写体を自動撮影カメラ装置で撮影するものである。
【００２５】
図６において、初期設定として、自動撮影カメラ装置１０における実空間と、ＣＧ映像生成装置４０における仮想空間とのスケールを合致させる。ここでは、図２（Ａ）に示す実空間と、図２（Ｂ）に示す仮想空間とのスケールを合致させるため、実空間に想定した原点Ｏｒ＝（０，０，０）と、仮想空間の原点Ｏｖ＝（０，０，０）とを合わせ、実空間の横幅ｘｒ、高さｙｒ、奥行きｚｒを、仮想空間のｘｖ軸、ｙｖ軸、ｚｖ軸にそれぞれ対応させる。
【００２６】
そして、実空間における例えば長さ１ｍが仮想空間の単位長となるように仮想空間の縮尺を設定し、実空間の点Ａｒの座標（ｘｒ，ｙｒ，ｚｒ）が（ｘ１，ｙ１，ｚｌ）であった場合、仮想空間内で対応する点Ａｖの座標（ｘｖ，ｙｖ，ｚｖ）が（ｘ１，ｙ１，ｚ１）となるようにする。
【００２７】
次に、図３（Ａ）に示す実空間のカメラＣｒと、図３（Ｂ）に示す仮想カメラＣｖの位置や向きなどを一致させる。実空間のカメラ位置（ｘｒ，ｙｒ，ｚｒ）＝（ｘ２，ｙ２，ｚ２）は、先に設定した実空間の原点からの横幅ｘｒ、高さｙｒ、奥行きｚｒ方向をもとにした測量で求める。そして、この実空間のカメラ位置に相当する仮想空間の位置（ｘｖ，ｙｖ，ｚｖ）＝（ｘ２，ｙ２，ｚ２）に、実空間と同じレンズスケール、アパーチャースケールを持った仮想カメラＣｖを設定する。そして、実空間のカメラＣｒと仮想カメラＣｖの向きを合わせる。
【００２８】
例えば、実空間のカメラＣｒの位置（ｘｒ，ｙｒ，ｚｒ）＝（ｘ２，ｙ２，ｚ２）から原点Ｏｒを見たときのカメラ方向は（−ｘ２，−ｙ２，−ｚ２）となり、これは仮想カメラＣｖも同じである。そして、この仮想カメラＣｖの方向（−ｘ２，−ｙ２，−ｚ２）を基準にし、図４に示すように２つの空間のカメラの回転量（θｘ３，θｙ３，θｚ３）を一致させる。結果として、２つのカメラＣｒ，Ｃｖは、あたかも同じ空間内の同じ場所にある同じカメラで、同じ方向を撮影しているように同調する。ここまでは、第１実施例と同じである。
【００２９】
図７に示すように、実空間のスタジオには、クロマキーバックのセット１００の中に３本の木の柱１０１，１０２，１０３が立っており、その中を仮想被写体が飛び回るシーンを生成する。仮想被写体を動かすオペレータ１０５は、実空間の柱に相当する３本の仮想の柱１０６，１０７，１０８が存在する仮想空間全体を表示するモニタ画面１０９を見ながら、ジョイスティック等の制御入力デバイス１１０を用いて、柱１０６，１０７，１０８を避けるように仮想被写体１１２を移動させる。
【００３０】
この制御入力デバイス１１０の出力する制御入力情報が図６に示す端子４１からＣＧ映像生成装置４０の仮想被写体動作設定部４２及び仮想カメラ動作設定部４３に供給される。仮想被写体動作設定部４２は、制御入力情報に基づいて仮想被写体１１２が仮想空間内を飛び回る映像を生成してレンダリング部４５に供給する。
【００３１】
仮想カメラ動作設定部４３は、制御入力情報に基づいて仮想被写体１１２を撮影するための仮想カメラの最適画角を決めると共に、仮想カメラのカメラワークに対応する動きデータを生成してデータ変換部４４及びレンダリング部４５に供給する。データ変換部４４は、仮想カメラの動きデータを自動撮影カメラ装置の制御データに変換して自動撮影カメラ装置１０の駆動制御部１１に供給する。
【００３２】
駆動制御部１１は、供給された制御データに基づいて撮影部１２を駆動してカメラワークを実行し、クロマキーバックのセット１００の中に３本の木の柱１０１，１０２，１０３が立った実空間の様子を撮影する。図８（Ｂ）に示すように木の柱１０１を撮影した実空間の映像は、例えばＮＴＳＣ方式の映像信号として出力され、映像遅延装置１５を通して画像合成装置３０に供給される。
【００３３】
ＣＧ映像生成装置４０内のレンダリング部４５では、設定されたカメラワークを行う仮想カメラで撮影された図８（Ａ）に示すように仮想空間を飛び回る仮想被写体１１２の画像をＮＴＳＣ方式の映像信号に変換して出力する。この映像信号は映像遅延装置２５を通して画像合成装置３０に供給される。
【００３４】
画像合成装置３０は、図８（Ａ）に示すＣＧ映像生成装置４０からの仮想被写体１１２の映像信号と、図８（Ｂ）に示す自動撮影カメラ装置１０によって撮影された柱１０１の映像との画像合成を行うことにより、仮想被写体１１２が実空間の中を飛び回る図８（Ｃ）に示す映像として表示することができる。
【００３５】
なお、画像合成の段階で両映像の動きのタイミングがずれる場合に映像遅延装置１５，２５を用いて両者のタイミングを合わせることは第１実施例と同様である。
【００３６】
この他にも、レンダリングされた仮想被写体の映像から、本出願人の提案になる特願平８−１５３１３３号に記載の自動撮影カメラシステムを用いて自動的かつ高速に仮想カメラの最適画角を決定し、その最適画角をもとに自動撮影カメラ装置１０を制御し、仮想カメラと連動して実空間を撮影するという方法もある。なお、上記の特願平８−１５３１３３号に記載の自動撮影カメラシステムは、カメラ操作者の視野に相当する広角画像を撮影するセンサカメラと、外部からの制御信号により撮影方向を含むカメラ操作の制御が可能な撮影用カメラと、前記センサカメラで撮影された広角画像内の静止体又は移動体の中から撮影対象の被写体を認識し、該被写体の３次元空間内の現在位置を逐次計測すると共に、当該計測情報の信頼度を示す信頼度情報を作成して前記計測情報と共に送出する３次元位置計測部と、前記３次元位置計測部からの計測情報に基づいて前記被写体の３次元空間内の動きを解析する動き解析部と、前記３次元位置計測部からの信頼度情報に基づいて当該計測情報の信頼度を算出する信頼度算出部と、前記撮影用カメラのカメラワークの形態毎に制御モードを複数持ち、前記信頼度算出部で算出した信頼度に応じて当該制御モードを自動的に切替え、切替え後の制御モードの制御パラメータに従って前記撮影用カメラのカメラワークを制御するカメラワーク制御部とを備え、
【００３７】
さらに、前記形態が自動追尾の制御形態を含み、前記信頼度が閾値を越えていない場合には、前記動き解析部で解析した被写体の動きに応じて自動追尾を制御する前記自動追尾の制御形態の第１の制御モードで制御し、
前記信頼度が閾値を越えている場合には、現時点までの複数の計測情報から求めた前記被写体の動きの予測情報に基づいて自動追尾を制御する前記自動追尾の制御形態の第２の制御モードに切替え、前記信頼度が閾値以下となるまで前記第２の制御モードによって制御し、
前記形態が自動追尾の制御形態を含み、前記信頼度が閾値を越えている期間が許容期間を越えた場合、現在の制御モードを前記被写体の動きのモデル式に基づいて自動追尾を制御する前記自動追尾の制御形態の第３の制御モードに切替え、前記信頼度が閾値以下となるまで前記第３の制御モードによって制御し、
前記形態が撮影用カメラの視野の制御形態を含み、前記信頼度が閾値を越えている場合には、前記撮影用カメラの視野を許容値まで拡大する前記視野の制御形態の第１の制御モードに切替え、前記信頼度が閾値以下となるまで前記視野の制御形態の第１の制御モードによって制御し、
前記３次元位置計測部からの信頼度情報が、前記センサカメラの障害を示す第１の情報及び前記認識した被写体の大きさを示す第２の情報のうち少なくとも１つの情報を含み、
前記撮影対象の３次元空間内の現在位置を２つのセンサカメラを用いて計測する構成の場合、前記３次元位置計測部は、いずれか一方のセンサカメラの障害を検出した時点から前記障害の回復を検出する時点までは前記現在位置の他方のセンサカメラからの広角画像に基づいて計測し、
前記信頼度が閾値を越えている場合或いは前記計測情報の入力が無い場合で且つ前記撮影用カメラの視野内の前記被写体が含まれるときには前記撮影用カメラの撮影画像内の静止体又は移動体の中から前記撮影対象の被写体を認識し、該被写体の画面内の現在位置を計測した計測情報を前記３次元位置計測部からの計測情報とする計測情報作成部を備えることによって、撮影対象を自動追尾して無人での撮影を可能としたものである。
【００３８】
次に、本発明の仮想シーン撮影方法の第３実施例について説明する。この実施例は、撮影すべき動きの主体が、実空間の被写体から仮想被写体に、途中で替わるシーンを、自動撮影カメラ装置で撮影するものである。
【００３９】
この実施例においても、初期設定で実空間のカメラと仮想カメラが同じ空間内の同じ場所にある同じカメラで、同じ方向を撮影しているように同調する処理は第１，第２実施例と同様である。
【００４０】
図９は、本発明の仮想シーン撮影装置の第３実施例のブロック構成図を示す。図９において、初期設定として、自動撮影カメラ装置５０における実空間と、ＣＧ映像生成装置６０における仮想空間とのスケールを合致させる。
【００４１】
次に、実空間の出演者の動きを、特願平８−１５３１３３号に記載の自動撮影カメラシステムの自動撮影カメラ装置５０を用いて撮影する。図１０（Ａ）に示す出演者１１７は弓１１８を持っている。図１０（Ｂ）に示すように、弓の上端位置、弓の中心位置、弓の下端位置、弦の中心位置それぞれには例えば磁気センサなどの弓に搭載可能な小型位置センサ１１９，１２０，１２１，１２２が取り付けられており、この小型位置センサ１１９〜１２２により、図１０（Ｂ），（Ｃ）に示すような弓１１８の形状の変化や、図１１（Ａ）に示すような実空間における弓１１８の位置をリアルタイムで計測することができる。なお、磁気センサの他にも光学式センサや超音波センサなどを使用しても良い。
【００４２】
上記小型位置センサ１１９〜１２２それぞれの検出信号が図９に示す端子６６からＣＧ映像生成装置６０の位置検出部６１に供給され、位置情報と形状情報が得られる。この位置情報と形状情報は仮想被写体動作設定部６２及び仮想カメラ動作設定部６３に供給される。仮想被写体動作設定部６２は、位置情報と形状情報に基づいてＣＧの矢の映像を生成してレンダリング部６５に供給する。図１１（Ｂ）に示す仮想空間には仮想被写体としてＣＧの矢１２４があり、図１１（Ａ）に示す実空間における弓１１８の位置情報と形状情報をもとに、仮想空間内での矢１２４の位置や向き、動きなどを生成する。
【００４３】
仮想カメラ動作設定部６３は、位置情報と形状情報に基づいてＣＧの矢１２４を撮影するための仮想カメラの最適画角を決めると共に、仮想カメラのカメラワークに対応する動きデータを生成してデータ変換部６４及びレンダリング部６５に供給する。データ変換部６４は、仮想カメラの動きデータを自動撮影カメラ装置の制御データに変換して自動撮影カメラ装置５０の駆動制御部５１に供給する。
【００４４】
この場合、仮想空間の矢柄の位置Ｄｖ＝（ｘ６，ｙ６，ｚ６）は、実空間の弓１１８の弦の中心位置Ｄｒ＝（ｘ６，ｙ６，ｚ６）に相当し、矢１２４は弓の弦の中心位置Ｄｒ＝（ｘ６，ｙ６，ｚ６）と弓１１８の中心位置Ｅｒ＝（ｘ７，ｙ７，ｚ７）を結んだ延長線方向（ｘ６−ｘ７，ｙ６−ｙ７，ｚ６−ｚ７）を向いている。
【００４５】
出演者１１７はこの弓１１８を引き、引き切ったところＤｒ＝（ｘ６，ｙ６，ｚ６）で引き手を放す。弦を引いている出演者１１７の指先には、例えば接触していると弱電流が流れる小型の電極スイッチ１２６が仕込んであり、指を放した瞬間に電極スイッチ１２６に電流が流れなくなる。この電極スイッチ１２６の信号は図９に示す端子６７からＣＧ映像生成装置６０の仮想被写体動作設定部６２と仮想カメラ動作設定部６３、及び自動撮影カメラ装置５０の駆動制御部５１に供給される。
【００４６】
ＣＧの矢１２４は、弓１１８の中心位置Ｅｒ＝（ｘ７，ｙ７，ｚ７）と弦の中心位置Ｄｒ＝（ｘ６，ｙ６，ｚ６）を結んだ延長線方向（ｘ６−ｘ７，ｙ６−ｙ７，ｚ６−ｚ７）に向かって飛び出す。このＣＧの矢１２４が飛び出す速度は予め設定しておき、矢１２４の向きから、矢１２４が飛んでゆく動きを算出する。また、データ変換部６４は矢１２４の向きと速度から仮想カメラの動きを表す動きデータも算出すると共に、その動きデータを自動撮影カメラ装置６４の制御データに変換して自動撮影カメラ装置５０の駆動制御部５１に供給し撮影部５２を駆動する。そして、これらは全て指を放した瞬間から動作を開始する。
【００４７】
つまり、撮影すべき動きの主体が、実空間の出演者１１７から仮想被写体の矢１２４に移ることになる。そして、仮想カメラで撮影された仮想被写体の矢１２４のレンダリング映像と、自動撮影カメラ装置５０によって撮影された実空間の映像を画像合成することにより、結果として、実空間では存在しない高速で動く仮想被写体の矢１２４を、あたかも実空間の中で高速に動いている映像として表示することができる。
【００４８】
この合成段階で、動きのタイミングがずれている場合、例えば仮想カメラによって撮影された仮想被写体をレンダリングする際に遅延が発生した場合、それと同等の遅延を自動撮影カメラ装置で撮影した映像に発生させるなどして、両者のタイミングを合わせることは第１，第２実施例と同様である。
【００４９】
このようにして、仮想被写体ならではのダイナミックな動きや不可思議な動きに対応して実空間のカメラで正確に実空間を撮影することができる。また、何度も同じ撮影を繰り返すことが可能なため、多重合成などの特殊撮影や、出演者と仮想被写体との共演時におけるシミュレーションやリハーサルを行うこともでき、実写と仮想被写体の合成映像制作、いわゆる仮想シーン生成の作業の効率化に貢献できる。
【００５０】
なお、仮想カメラ動作設定部２２，４３，６３が請求項記載の仮想カメラ動作設定手段に対応し、仮想カメラ動作設定部２２，データ変換部４４，６４が実空間カメラ動作設定手段に対応し、映像合成装置３０が映像合成手段に対応し、映像遅延装置１５，２５が遅延手段に対応する。
【００５１】
【発明の効果】
上述の如く、請求項１に記載の発明は、コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに、仮想空間で仮想被写体を撮影する仮想カメラの動きデータを設定し、仮想カメラの動きデータを、仮想カメラの動きに同調して実空間を撮影する実空間のカメラの制御データに変換し、制御データに基づいて駆動した実空間のカメラで撮影された映像と、コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに前記仮想カメラによって撮影された映像とを合成して仮想シーンの映像を得ることにより、仮想被写体の瞬発的な動きや高速移動に追従して実空間のカメラを動かすことができ、仮想被写体の動きを正確に追尾する合成映像を得ることができる。
【００５２】
請求項２に記載の発明は、コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに、仮想空間で仮想被写体を撮影する仮想カメラの動きデータを設定する仮想カメラ動作設定手段と、仮想カメラの動きデータを、仮想カメラの動きに同調して実空間を撮影する実空間のカメラの制御データに変換する実空間カメラ動作設定手段と、実空間カメラ動作設定手段で設定された制御データに基づいて駆動した実空間のカメラで撮影された映像と、コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに前記仮想カメラによって撮影された映像とを合成して仮想シーンの映像を得る映像合成手段とを有することにより、仮想被写体の瞬発的な動きや高速移動に追従して実空間のカメラを動かすことができ、仮想被写体の動きを正確に追尾する合成映像を得ることができる。
【００５３】
請求項３に記載の発明では、実空間カメラ動作設定手段で設定された制御データに基づいて駆動した実空間のカメラで撮影された映像と、コンピュータグラフィックスによる仮想被写体の動きまたはその制御情報をもとに前記仮想カメラによって撮影された映像との少なくともいずれか一方を遅延する遅延手段を有することにより、実空間のカメラで撮影された映像と、コンピュータグラフィックスによる仮想被写体の映像との動きのタイミングを合わせることができる。
【図面の簡単な説明】
【図１】本発明の仮想シーン撮影装置の第１実施例のブロック構成図である。
【図２】実空間のカメラと仮想カメラとを同調する処理を説明するための図である。
【図３】実空間のカメラと仮想カメラとを同調する処理を説明するための図である。
【図４】実空間のカメラと仮想カメラとを同調する処理を説明するための図である。
【図５】実空間のカメラと仮想カメラとを同調する処理を説明するための図である。
【図６】本発明の仮想シーン撮影装置の第２実施例のブロック構成図である。
【図７】本発明の第２実施例を説明するための図である。
【図８】本発明の第２実施例を説明するための図である。
【図９】本発明の仮想シーン撮影装置の第３実施例のブロック構成図である。
【図１０】本発明の第３実施例を説明するための図である。
【図１１】本発明の第３実施例を説明するための図である。
【符号の説明】
１０，５０  自動撮影カメラ装置
１１，５１  駆動制御部
１２，５２  撮影部
１５，２５  映像遅延装置
２０  ＣＧ映像生成装置
２１，４２，６２  仮想被写体動作設定部
２２，４３，６３  仮想カメラ動作設定部
２３，４５，６５  レンダリング部
３０  映像合成装置
４４，６４  データ変換部
６１  位置検出部
【図１】
0004231216.tif 000002
【図２】
0004231216.tif 000003
【図３】
0004231216.tif 000004
【図４】
0004231216.tif 000005
【図５】
0004231216.tif 000006
【図６】
0004231216.tif 000007
【図７】
0004231216.tif 000008
【図８】
0004231216.tif 000009
【図９】
0004231216.tif 000010
【図１０】
0004231216.tif 000011
【図１１】
0004231216.tif 000012