(57)【要約】【課題】簡単にハイレベルの対話式バーチャル画面を制作できるバーチャル撮影スタジオの媒体制作装置を提供する。【解決手段】  ストレージユニット、撮影ユニット、映像合成ユニット及び出力ユニットを備え、ストレージユニットは複数のＡＶデータを保存し、撮影ユニットは撮影実体の連続映像データをキャプチャし、この撮影実体の背景にはいずれかの純色のスクリーンを使用して撮影実体と純色のスクリーンをキャプチャする必要がない。映像合成ユニットは自動的に連続映像データとＡＶデータのターゲットＡＶデータを合成して、音声信号データ及び、音声信号データに対応したバーチャル画面を生成して自動的にストレージユニットに保存する。出力ユニットは音声信号データとバーチャル画面を出力する。【選択図】  図１
2008236708.tif 000002
【特許請求の範囲】
【請求項１】
複数個のＡＶデータを保存するストレージユニットを有し、
撮影ユニットを備えて、撮影実体の連続映像データをキャプチャし、該撮影実体の背後にいずれかの純色のスクリーンを配置して撮影実体と該純色のスクリーンをキャプチャすることを不要とし、
映像合成ユニットを有して、自動的に前記連続映像データと前記ＡＶデータのターゲットＡＶデータを合成して、音声信号データ及び該音声信号データと対応するバーチャル画面を生成して自動的にストレージユニットに保存し、
出力ユニットを有して、前記音声信号データと前記バーチャル画面を出力するようにしたことを特徴とするバーチャル撮影スタジオの媒体制作装置。
【請求項２】
更に、入力ユニットを備え、複数個のメニューを提供して撮影実体を選択するようにしたことを特徴とする請求項1記載のバーチャル撮影スタジオの媒体制作装置。
【請求項３】
前記メニューは、ＡＶデータを含むことを特徴とする請求項２記載のバーチャル撮影スタジオの媒体制作装置。
【請求項４】
前記撮影ユニットは、自動切換え可能で、連続映像データの複数台カメラをキャプチャするのに用いることを特徴とする請求項１記載のバーチャル撮影スタジオの媒体制作装置。
【請求項５】
撮影実体は、ブルースクリーン室において作業を行うことを特徴とする請求項１記載のバーチャル撮影スタジオの媒体制作装置。
【請求項６】
撮影実体は、ターゲットＡＶデータの一ターゲット映像データと対話を生成するようにしたことを特徴とする請求項１記載のバーチャル撮影スタジオの媒体制作装置。
【請求項７】
前記対話は、ターゲット映像データが選択したバーチャル素材に基づきターゲットＡＶデータを交換することを含むことを特徴とする請求項６記載のバーチャル撮影スタジオの媒体制作装置。
【請求項８】
バーチャル画面は、ターゲットＡＶデータの一ターゲットＡＶデータを前景または背景とすることを特徴とする請求項１記載のバーチャル撮影スタジオの媒体制作装置。
【請求項９】
ターゲット映像データは、実体映像データまたはバーチャル映像データを含むようにして成ることを特徴とする請求項８記載のバーチャル撮影スタジオの媒体制作装置。
【請求項１０】
ブルースクリーン室を有して連続映像データをキャプチャする撮影スタジオとし、
複数個のメニューの提供を可能とする入力ユニットと、
複数個のＡＶデータを保存する第一ストレージユニットと、
音声信号データとバーチャル画面を保存する第二ストレージユニットと、
複数台のカメラを有して前記ブルースクリーン室内において撮影実体の連続映像データをキャプチャするのに用いる撮影ユニットと、
前記カメラに接続して連続映像データ及びＡＶデータの一ターゲット映像データを合成して、バーチャル画面を形成する映像合成ユニットと、
前記映像合成ユニットに接続し、前記バーチャル画面及びバーチャル画面と対応した音声信号データを再生する出力ユニットと、
制御ユニットと、を備え、前記ＡＶデータを第一ストレージユニットに、前記音声信号データと前記バーチャル画面を第二ストレージユニットに、前記映像合成ユニット及び入力ユニットにそれぞれ接続して、制御並びに記録するようにしたことを特徴とするバーチャル撮影スタジオの媒体制作装置。
【請求項１１】
前記ブルースクリーン室は、ブルースクリーンまたはグリーンスクリーンを備えることを特徴とする請求項１０記載のバーチャル撮影スタジオの媒体制作装置。
【請求項１２】
前記出力ユニットは、更に第一ストレージユニットと接続するようにしたことを特徴とする請求項１０記載のバーチャル撮影スタジオの媒体制作装置。
【請求項１３】
前記制御ユニットは、更に前記カメラの切り換えを含むようことを特徴とする請求項１０記載のバーチャル撮影スタジオの媒体制作装置。
【請求項１４】
前記制御ユニットは、更に前記出力ユニットを制御して前記バーチャル画面と音声信号データをリアルタイムで放映し、同時に前記第二ストレージユニットに保存するようにしたことを特徴とする請求項１０記載のバーチャル撮影スタジオの媒体制作装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動化且つ対話式の３Ｄバーチャル撮影をおこなうバーチャル撮影スタジオの媒体制作装置に関する。
【背景技術】
【０００２】
一般のバーチャル撮影スタジオに必要な作業スタッフは、従来の撮影スタジオとほぼ同じで、監督、ディレクター、技術監督、技術指導、カメラマン、照明、道具、アニメータ、バーチャルスタジオオペレータ及びシステムメンテナンススタッフなどであり、これらのスタッフが揃って初めて動くことができる。番組制作は、完全な形のプロジェクト脚本が必要であり、更に全てのスタッフが事前のリハーサルに参加する必要がある。そのため、制作セット、交換時間などの金銭的コストは節約できても、前記スタッフは必要であり、番組全体を通した撮影は小さい工程ではない。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明は、これらの事情に鑑みてなされたもので、バーチャル撮影スタジオの媒体制作方法を改善することによって、大量の人力と番組制作の難度を低下させ、更には個人のエンタテイメントに用いることができるようにした操作が容易でコストが低廉なバーチャル撮影スタジオの媒体製作装置を提供することを目的とする。
【課題を解決するための手段】
【０００４】
本発明のバーチャル撮影スタジオの媒体制作装置は、複数個のＡＶデータを保存するストレージユニットを有し、撮影ユニットを備えて、撮影実体の連続映像データをキャプチャし、該撮影実体の背後にいずれかの純色のスクリーンを配置して撮影実体と該純色のスクリーンをキャプチャすることを不要とし、映像合成ユニットを有して、自動的に前記連続映像データと前記ＡＶデータのターゲットＡＶデータを合成して、音声信号データ及び該音声信号データと対応するバーチャル画面を生成して自動的にストレージユニットに保存し、出力ユニットを有して、前記音声信号データと前記バーチャル画面を出力するようにした。
【０００５】
すなわち、本発明によれば、収録開始前に、関連映像コンテンツ、動画バーチャル映像及び音楽など事前準備を完了しておき、その後、バーチャル撮影スタジオの媒体制作装置を使用して、収録過程で必要なソフト・ハードウエアを設定する。収録進行時には、撮影したいコンテンツを再生及び設備起動する人がいるだけでよい。収録完了後は、ポストプロダクションと編集を行う必要が無く、撮影の結果を即座に得られる。
【０００６】
本発明はまた、収録過程で収録した主役がバーチャル撮影スタジオの撮影実体であり、ディスプレイ上で動画バーチャル映像を見ることができる。このとき、撮影実体は動画バーチャル映像と対話を生成することができ、対話の結果がリアルタイムでディスプレイ上に表示され、より美しく豊かに、楽しく生き生きとした画面にすることができる。
【発明の効果】
【０００７】
本発明は、適当な空間のブルースクリーン室と簡単な撮影方法によって、簡単にハイレベルの対話式バーチャル画面を制作でき、一般の人が自分で制作したり、使用したりするのに非常に適している。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照して本発明の実施例を説明する。
【０００９】
図1のブロック図に示すように、本実施例のバーチャル撮影スタジオの媒体制作装置は、ブルースクリーン室１１、撮影実体１２、多数台のカメラ１３、入力ユニット１４、出力ユニット１５、映像合成ユニット１６、制御ユニット１７、第一ストレージユニット１８、第二ストレージユニット１９を備えている。前記ブルースクリーン室１１は、単一の色調の撮影スタジオとし、よく用いられる背景スクリーンは青または緑であり、映像合成時に背景をマスクし合成するために用いる。当然、この背景スクリーンを使用しなくても撮影を行うことができる。同時に、オペレータを別途必要としないため、前記ブルースクリーン室１１は、一般の公知のブルースクリーン室より小さくてよく、大きな空間を占めることはない。
【００１０】
次に、前記撮影実体１２は、前記ブルースクリーン室１１内で移動や活動を行い、通常は一名または複数名の人または動物タレントであってよい。続いて、カメラ１３は、一般に少なくとも２台以上であり、同時または交替で異なる角度から撮影実体１２の連続映像データをキャプチャし、並びにキャプチャした連続映像データなどを映像合成ユニット１６に伝送する。この他、入力ユニット１４は、例えばキーボードまたはタッチパネルなどとし、これと制御ユニット１７とを接続し、前記撮影実体１２が必要とするターゲットＡＶデータを選択できるようにする。このターゲットＡＶデータは、一般に実体映像データ、バーチャル映像データ、音声信号データを含んでよく、ここでの実体映像データまたはバーチャル映像データは、前景と背景とどちらにも使用でき、生成したバーチャル前景（Ｖｉｒｔｕａｌ  Ｆｏｒｅｇｒｏｕｎｄ）またはバーチャル背景（Ｖｉｒｔｕａｌ  Ｂａｃｋｇｒｏｕｎｄ）はバーチャル画面の中で撮影実体１２と対話（Ｉｎｔｅｒａｃｔｉｏｎ）を行うことができる。
【００１１】
更に、前記出力ユニット１５は、液晶ディスプレイモニタ、プラズマテレビ、ＣＲＴディスプレイモニタとスピーカなどで、これを映像合成ユニット１６と接続し、撮影実体１２とバーチャル前景または背景との間の対話をディスプレイ及び放映するのに用いる。また、映像合成ユニット１６は撮影ユニット１３が伝送した撮影実体１２の連続映像データを受信し、及び第一ストレージユニット１８からのターゲット映像データとでリアルタイムに背景マスクを行い合成し、出力ユニット１５に出力する。
【００１２】
続いて、前記制御ユニット１７は、例えばパーソナルコンピュータなどで、データを第一ストレージユニット１８と第二ストレージユニット１９に記録し、並びに前記入力ユニット１４から送信されるコマンドを受信して処理し、また映像合成ユニット１６の中で映像処理に関するパラメータを制御する。この制御ユニット１７は、撮影実体１２とターゲットＡＶデータ間の対話に基づき、すでにディスプレイに放映がされた合成データを調整または交換することもでる。さらに  撮影実体１２をキャプチャする複数台のカメラ１３を自動的に切り替えることができ、また、同時出力を設定できる。この他、制御ユニット１７は、一般のコンピュータが有する部材であるプロセッサ、ハードディスク、マザーボードなどを含む他、第一ストレージユニット１８を有するか、またはこれに接続する。
【００１３】
本実施例では、必要なＡＶデータ、例えば音楽、歌、バーチャルスペース、背景、前景または人物などを全て予め第一ストレージユニット１８に保存し、且つこれらのＡＶデータは全て予め分類と注釈を完了しておく。例を挙げると、ある曲の歌詞または音楽に合わせて、それらに対応するバーチャルスペース、背景、前景または人物があり、場面に対応する映像または音楽の段落も、分類して後続の合成に用いる。ここで、第一ストレージユニット１８は、制御ユニット１７と合併してもよく、例えばパーソナルコンピュータのハードディスク、またはＤＶＤドライブとディスクなどである。更に、映像合成ユニット１６は、リアルタイムで撮影実体１２をブルースクリーン室１１の実際の位置をバーチャルスペースの位置に転換することができ、撮影実体１２の連続映像データと第一ストレージユニット１８にすでに保存されている映像とを映像合成ユニット１６が合成できるようにして、バーチャル画面を生成して出力ユニット１５に出力する。
【００１４】
更に進んで、本実施例は、リアルタイム対話のバーチャル画面を提供する、即ち撮影実体１２は出力ユニット１５において、リアルタイムに自身とバーチャル画面上のバーチャル物体の間の相対位置を見ることができ、その中の一バーチャル物体を選択でき、前景または背景を含め、撮影実体１２とバーチャル物体の対話を展開する。例を挙げると、撮影実体１２の連続映像データを結合したバーチャル画面が出力ユニット１５に表示されると、例えば若干色が異なるドアを表示して、撮影実体１２がその中へ入ることを選択できるようにする。このとき、撮影実体１２がその中のある色のドア、例えば赤いドアに入ろうとすると、ブルースクリーン室１１でモニタ上の赤いバーチャルドアに対応する位置へと歩いていき、手を伸ばして前に推せばよい。実際にはブルースクリーン室１１にはこのドアはないが、モニタ上ではこのドアが撮影実体１２に押し開かれたのを見ることができる。続いて、制御ユニット１７は、第一ストレージユニット１８のＡＶデータから、別のＡＶデータを見つけ、このＡＶデータを出力ユニット１５に出力する。間もなく、撮影実体１２は、出力ユニット１５の画面上で前景、背景またはバーチャル人物の変化を見ることができ、その上音声信号データ、例えば歌や音楽も変えることができ、ドアを通った後の違う風景を表現する。
【００１５】
上述に基づくと、最小の人力利用で、バーチャル画面のコンテンツと撮影実体１２を結合して対話を生成し、バーチャル画面のコンテンツの面白みを増加できる。最後に、全過程を第二ストレージユニット１９に出力して、媒体に保存するようにし、例えば、ＤＶＤレコーダに出力してディスクに保存する。
【００１６】
図２に示すように、実施ステップは、対話式バーチャル画面の制作に用いる。この実施ステップは図１に示すブロック図に対応し、少なくとも以下のステップを含む。
【００１７】
ステップ２１：バーチャルスペースの制作。ステップ２１〜２３は同時進行する。
【００１８】
ステップ２２：ビデオクリップを収録する。
【００１９】
ステップ２３：音楽を制作する。
【００２０】
ステップ２４：ＡＶデータの保存。即ちＡＶデータを第一ストレージユニット１８に保存し、現実またはバーチャルの映像に関わらず、また音声信号データも可。例えば、実際に収録した空中鳥瞰映像やひとつの歌、またはデジタル制作によるバーチャル映像または音声信号データ、つまり動画背景や合成音楽などであってよい。これらのＡＶデータは、事前に分析しておくことができ、分析した特徴をストレージユニットに記録し、例えば風景場面の特徴やアップテンポの歌など、若干の種類に分類され、または予め若干のＡＶメニューとして組み合わせてもよい。
【００２１】
ステップ２５：ＡＶデータの選択。即ち、撮影実体１２が入力ユニット１４を利用して、第一ストレージユニット１８に保存されたＡＶデータを選択し、ターゲットＡＶデータとして放映する。
【００２２】
ステップ２６：撮影並びにリアルタイムで撮影実体１２の連続映像データを放映。まず、カメラ１３が撮影実体１２の動作をキャプチャし、映像合成ユニット１６に伝送する。続いて、映像合成ユニット１６が撮影実体１２のバーチャルスペースにおける相対位置を演算分析し、撮影実体１２と第一ストレージユニット１８中のＡＶデータと結合してから、出力ユニット１５に出力して、リアルタイム放映を行う。ある実施例では、撮影実体１２は予め使いたい曲を選ぶことができ、制御ユニット１７は第一ストレージユニット１８からこの曲に対応する若干個のＡＶデータをサーチする。容易に理解できるように、上述の撮影はすべてブルースクリーン室１１中で進行するため、一般のバーチャル画面の背景マスク合成処理は、映像合成ユニット１６中でリアルタイムに完成する。この他、本実施例は自動的に撮影実体１２の映像データを分析でき、これによって撮影時には撮影実体のほかは、バーチャル撮影スタジオの専門スタッフを必要とせずに、バーチャル画面の制作を行うことができ、オペレーションの簡略化を達成している。
【００２３】
ステップ２７：出力ユニット１５に対話を表示。即ち、撮影実体１２は、リアルタイムに出力ユニット１５でバーチャル画面と音楽を鑑賞できる。ある実施例において、撮影実体１２はバーチャル映像との対話によって、前景、背景、または音楽の変換を生成する。第一ストレージユニット１８は撮影実体１２とバーチャル映像の対話に伴い、異なるバーチャル画面と音声信号を合成してから、出力ユニット１５に出力する。このとき、撮影実体１２はバーチャル画面の面白みを味わうことができる。
【００２４】
ステップ２８：終了。最後に、ディスプレイ及び放映されたバーチャルＡＶ画面は即座にディスクに保存され、後続の観賞に供される。
【００２５】
本発明の実施例は、簡便なバーチャル撮影スタジオの媒体制作装置であり、パーソナルコンピュータと大型コンピュータとを比較するように、一般のバーチャル撮影スタジオの持つ大多数の機能は保持しながら、更にコストが低く場所の制限が少ないという長所を有し、大衆化された使用プラットフォームを提供するといえる。つまり、標準化された３Ｄバーチャル撮影スタジオがコンテンツ設計に一つの制作スタンダードを提供し、作業システムが提供するコンテンツ制作スタンダードと同様に、このスタンダードに適合するかまたはカスタマイズしたコンテンツは、全てこのプラットフォームで使用でき、利用範囲は幼児教育、娯楽、ミュージックビデオ、旅行記録、パーソナルアルバム、ウエディング写真、シミュレーション訓練、タレントとの撮影、動画ゲームなどを含むことができる。この他、ハードウエアの構築コストが低く機動性が高いため、観光拠点、百貨店、テーマパーク、学術機構などといった場所に設置して、一般民衆がいつでもどこでも使用できる。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施例のバーチャル撮影スタジオの媒体制作装置を示すブロック図である。
【図２】図１に示す装置を用いたバーチャル撮影スタジオの媒体制作実施ステップ図である。
【符号の説明】
【００２７】
１１   ブルースクリーン室
１２   撮影実体
１３   カメラ
１４   入力ユニット
１５   出力ユニット
１６   映像合成ユニット
１７   制御ユニット
１８   第一ストレージユニット
１９   第二ストレージユニット
２１   バーチャルスペース制作
２２   ビデオクリップ制作
２３   音楽制作
２４   ＡＶデータ保存
２５   ＡＶデータ選択
２６   撮影とリアルタイム放映
２７   対話表示
２８   終了
【図１】
2008236708.tif 000003
【図２】
2008236708.tif 000004