(57)【要約】【課題】  ステージ２１０に設置された表示部２１１において映像オブジェクト２３０を表示するステージ装置において、映像オブジェクト２３０の実在感を高める。【解決手段】  ステージ２１０と、ステージ２１０に光を照射することができる照明２１３Ｌ，２１３Ｒと、照明２１３Ｌ，２１３Ｒを制御するための照明制御手段４１０と、ステージ２１０に設置された映像オブジェクト２３０を表示する表示部２１１と、映像オブジェクト２３０を表示部２１１に表示するための映像データを生成する映像データ生成手段４５０，５００を備えるステージ装置１０において、照明制御手段４１０による照明２１３Ｌ，２１３Ｒの制御と同期して、映像オブジェクト２３０の色の調整を行う。【選択図】  図６
2013250773.tif 000002
【特許請求の範囲】
【請求項１】
ステージと、
前記ステージに光を照射することができる照明と、
前記照明を制御するための照明制御手段と、
前記ステージに設置された映像オブジェクトを表示する表示部と、
前記映像オブジェクトを前記表示部に表示するための映像データを生成する映像データ生成手段を備えるステージ装置であって、
前記映像データ生成手段は、前記照明制御手段による前記照明の制御と同期して、前記映像オブジェクトの色の調整を行うことを特徴とするステージ装置。
【請求項２】
前記映像データ生成手段が、
仮想空間に仮想オブジェクト及び仮想光源を配置する仮想空間設定手段と、
前記仮装光源の影響を反映させて前記仮想オブジェクトの色の調整を行う色調整手段と、
前記仮想オブジェクトをレンダリングすることにより前記映像データを生成するレンダリング手段を有することを特徴とする請求項１に記載のステージ装置。
【請求項３】
前記仮想空間設定手段は、前記表示部と前記照明の位置関係に対応する位置関係をもって前記仮想空間に前記仮想オブジェクト及び前記仮想光源を配置することを特徴とする請求項２に記載のステージ装置。
【請求項４】
前記仮想光源の数、強度、色及び／又は方向が、前記照明の数、強度、色及び／又は方向に対応することを特徴とする請求項２又は３に記載のステージ装置。
【請求項５】
被計測者の動作を検出することにより主モーションデータを生成する主モーションデータ生成手段を更に備え、
前記映像データ生成手段は、前記主モーションデータに基づいて前記映像オブジェクトが前記被計測者の前記動作と同時的に動作する映像データを生成することを特徴とする請求項１〜４のいずれか一項に記載のステージ装置。
【請求項６】
前記被計測者が前記動作を行いつつ操作可能なコントローラと、
前記コントローラへの操作に従って副モーションデータを生成する副モーションデータ生成手段を更に備え、
前記映像データ生成手段は、前記副モーションデータに基づいて前記映像オブジェクトの全部又は一部の形状及び／又は模様を変化させることを特徴とする請求項５に記載のステージ装置。
【請求項７】
前記映像オブジェクトの動作を規定したプリセットモーションデータを記憶するプリセットモーションデータ記憶手段と、
前記映像データ生成手段を、第１の状態と第２の状態のいずれかに切り換える切換手段を更に備え、
前記映像データ生成手段は、
前記第１の状態では、前記主モーションデータに基づいて前記映像オブジェクトが動作する映像データを生成し、前記第２の状態では、前記プリセットモーションデータに基づいて前記映像オブジェクトが動作する映像データを生成することを特徴とする請求項５又は６に記載のステージ装置。
【請求項８】
ステージと、
前記ステージに光を照射することができる照明と、
前記照明を制御するための照明制御手段と、
前記ステージに設置された映像オブジェクトを表示する表示部と、
前記映像オブジェクトを前記表示部に表示するための映像データを生成する映像データ生成手段を備えるステージ施設であって、
前記映像データ生成手段は、前記照明制御手段による前記照明の制御と同期して、前記映像オブジェクトの色の調整を行うことを特徴とするステージ施設。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パフォーマンスやプレゼンテーション等に使用されるステージ装置及びステージ施設に関し、特に、ステージに映像を表示する表示部が設置されたステージ装置及びステージ施設に関する。
【背景技術】
【０００２】
特許文献１には、演劇などのパフォーマンスが行われるステージに映像を表示する表示部（スクリーン）を設置し、出演者のパフォーマンスとインタラクティブ性のある映像を表示部に表示することが記載されている。
【０００３】
近年では、現実の出演者（ダンサーや演奏家など）がステージでパフォーマンスを行うとともに、仮想オブジェクトをレンダリングすることで生成したアニメ等のキャラクタの映像（映像オブジェクト）をステージに設置した表示部に表示することで、映像オブジェクトが現実の出演者と共演しているかのような演出を行うことができるステージ装置乃至ステージ施設も知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００３−５３３２３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ステージに設置した表示部において映像オブジェクトを表示する場合、特に、映像オブジェクトが出演者と共演しているかのような演出を行う場合は、映像オブジェクトがステージ上の空間に現実に存在しているかのような実在感を有することが望ましく、その目的のため、画質の向上やキャラクタの動作の円滑化などの面での様々な工夫がなされてきたが、現状においてもなお一層の実在感乃至映像品質の向上が求められている。
【０００６】
本発明は、上記の状況においてなされたものであり、ステージに設置された表示部において映像オブジェクトを表示するステージ装置及びステージ設備において、映像オブジェクトの実在感及び／又は映像品質を向上させることをその目的とする。
【課題を解決するための手段】
【０００７】
本発明は、ステージと、前記ステージに光を照射することができる照明と、前記照明を制御するための照明制御手段と、前記ステージに設置された映像オブジェクトを表示する表示部と、前記映像オブジェクトを前記表示部に表示するための映像データを生成する映像データ生成手段を備えるステージ装置又はステージ施設であって、前記映像データ生成手段は、前記照明制御手段による前記照明の制御と同期して、前記映像オブジェクトの色の調整を行うことを特徴とするステージ装置又はステージ施設である。
【０００８】
本明細書における「ステージ」は、現実の人や物によるパフォーマンスやプレゼンテーションが行われる場所又は空間を意味する。パフォーマンスやプレゼンテーションの種類、内容は任意である。パフォーマンス、プレゼンテーションの例には、人によるダンス、演奏、歌唱、演劇等や物品の展示等が含まれる。
【０００９】
本明細書における「照明」は、舞台に光を照射することができる部材、機材、装置等を意味する。「照明」には、ハロゲンランプ、キセノンランプ、ＬＥＤ照明等を使用し得る。「照明」の個数や配置は任意である。「照明」は、その役割、機能、ステージとの位置関係などにより、スポットライト、シーリングライト、フットライト、フロントライト、ムービングライトなどの種類がある。
【００１０】
本明細書における「照明制御手段」は、照明（ステージへの光の照射）を制御するための手段である。照明の「制御」の例には、照明をオン／オフ（点灯／消灯）させること、光の強度を変化させること、照明色を変化させること、照明の位置や光の照射方向（指向性）を変化させることが含まれる。「制御」は、手動により行っても良く、自動により行っても良い。手動制御の場合、オペレーターが操作するコンソール（操作盤）等により照明制御手段が構成され得る。コンソールは、オペレーターが操作を入力するためのボタン、スイッチ、ボリュームなどの操作部材を有し得る。コンピュータが予め設定されたプログラムに従って自動的に照明の制御を行う場合は、そのコンピュータにより照明制御手段が構成され得る。
【００１１】
本明細書における「表示部」は、映像が表示される部分、部材、装置、システム等を意味する。表示部は、ＣＲＴ、ＬＣＤ、プラズマディスプレイ、ＬＥＤディスプレイ又はその画面、プロジェクターの映像を投影するスクリーン等であり得る。
【００１２】
本明細書における「仮想オブジェクト」は、仮想空間における形状データを意味する。「仮想オブジェクト」は、複数のポリゴンにより定義され得る。「仮想オブジェクト」の形状は、３次元的であり得る。「仮想オブジェクト」は、人、動物、架空のキャラクタ、その他の物の形状を有し得る。
【００１３】
本明細書における「映像オブジェクト」は、映像として表示される人や物などの物体を言う。「映像オブジェクト」は、「仮想オブジェクト」をレンダリングすることにより生成され得る。
【００１４】
本明細書における「色」には、明度が含まれる。
【００１５】
本明細書における「ステージ施設」は、外壁や天井等を有する屋内型の施設であっても良く、競技場などのスペースに設置された屋外型の施設であっても良い。
【００１６】
本発明では、照明制御手段による照明の制御と同期して、映像オブジェクトの色が調整されるため、照明によってステージ上の現実の人又は物に生じる陰影等の照明効果に対応する効果を映像オブジェクトに生じさせることができ、これにより、映像オブジェクトの実在感を高め、及び／又は、画像としての品質を高めることが可能となる。
【００１７】
本発明における映像オブジェクトの色の調整は、
（１）ステージに右方向から照明光を照射する（これにより、ステージ上の人又は物の右側は明るく、左側は暗くなるなどの効果を生じる）制御と同期して、映像オブジェクトの右側を明るく、左側を暗くする
（２）ステージに強い照明光を照射する（これにより、ステージ上の人又は物は明るく見えるなどの効果を生じる）制御と同期して、映像オブジェクトの色（明度）を明るくする
（３）ステージに赤や青などの着色光を照射する（これにより、ステージ上の人又は物はその照明光が当たっている部分が赤くなったり、青くなったりする効果を生じる）制御に同期して、映像オブジェクトの対応する部分を照明光に対応する色に変更する
などの態様で行うことができる。
【００１８】
本発明では、前記映像データ生成手段が、仮想空間に仮想オブジェクト及び仮想光源を配置する仮想空間設定手段と、前記仮装光源の影響を反映させて前記仮想オブジェクトの色の調整を行う色調整手段と、前記仮想オブジェクトをレンダリングすることにより前記映像データを生成するレンダリング手段を有することが好ましく、これにより、照明制御手段による照明の制御と同期して映像オブジェクトの色の調整をリアルタイムに行うことが容易となる。
【００１９】
本発明では、前記仮想空間設定手段は、前記表示部と前記照明の位置関係に対応する位置関係をもって前記仮想空間に前記仮想オブジェクト及び前記仮想光源を配置すること、及び／又は、前記仮想光源の数、強度、色及び／又は方向が、前記照明の数、強度、色及び／又は方向に対応することが好ましく、これにより、照明制御手段による照明の制御により忠実に映像オブジェクトの色の調整を行うことが可能となる。
【００２０】
本発明では、被計測者の動作を検出することにより主モーションデータを生成する主モーションデータ生成手段を更に備え、前記映像データ生成手段は、前記主モーションデータに基づいて前記映像オブジェクトが前記被計測者の前記動作と同時的に動作する映像データを生成することが好ましい。かかる発明では、その時々の状況（例えば、ステージの進行や客席の状況など）に応じた適切な態様で映像オブジェクトを動作させることが可能になる。
【００２１】
本発明では、前記被計測者が前記動作を行いつつ操作可能なコントローラと、前記コントローラへの操作に従って副モーションデータを生成する副モーションデータ生成手段を更に備え、前記映像データ生成手段は、前記副モーションデータに基づいて前記映像オブジェクトの全部又は一部の形状及び／又は模様を変化させることが好ましい。かかる発明では、被計測者は、主モーションデータの生成のための動作を行いつつ、コントローラの操作によって映像オブジェクトの全部又は一部の形状及び／又は模様を変化させるための副モーションデータを入力することが可能である。したがって、例えば、映像オブジェクトが人等の形状であり、副モーションデータによって映像オブジェクトの手の形状（手の仕草など）や頭部の形状／模様（表情や頭髪の形状など）を変化させるものとした場合、映像オブジェクトの動作に合わせた適切なタイミングで映像オブジェクトの手の仕草や表情などを変化させることが容易となる。
【００２２】
本発明では、前記映像オブジェクトの動作を規定したプリセットモーションデータを記憶するプリセットモーションデータ記憶手段と、前記映像データ生成手段を、第１の状態と第２の状態のいずれかに切り換える切換手段を更に備え、前記映像データ生成手段は、前記第１の状態では、前記主モーションデータに基づいて前記映像オブジェクトが動作する映像データを生成し、前記第２の状態では、前記プリセットモーションデータに基づいて前記映像オブジェクトが動作する映像データを生成することが好ましい。
【００２３】
かかる発明では、主モーションデータに基づいて映像オブジェクトが動作する映像データが生成される状態（第１の状態）と、プリセットモーションデータに基づいて映像オブジェクトが動作する映像データが生成される状態（第２の状態）の間での切り換えが可能になる。したがって、例えば、機器の故障や、被計測者が動作の検出ができない場所に移動するなどにより、主モーションデータが適切に生成できなくなった場合であっても、第１の状態から第２の状態に切り替えることにより、映像オブジェクトが不自然又は意図しない動作を行うなどの不都合を防止することが可能であり、或いは、場面に応じて第２の状態への切り換えを行うことにより、被計測者の動作に基づく主モーションデータでは実現できないような突飛な動作等を映像オブジェクトに行わせるなどが可能である。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施形態に係るステージ装置１０を有するステージ施設１００の概略的な配置を示す説明図。
【図２】ステージ装置１０の主要部を観客エリア２４０側から示す説明図。
【図３】例示的なモーションキャプチャシステム３１０の構成を示す説明図。
【図４】映像処理装置４５０が有する機能的な構成を示す説明図。
【図５】仮想空間設定部５３０により設定される例示的な仮想空間６００を示す説明図。
【図６】ステージ２１０に設置された表示部２１１に映像オブジェクト２３０が表示される様子を示す説明図。
【図７】データ切替部５７０による切り替えが行われた場合に表示部２１１に表示される映像オブジェクト２３０を示す説明図。
【発明を実施するための形態】
【００２５】
以下、図面に基づいて、好ましい実施形態に係るステージ装置１０及びステージ施設１００を説明する。
【００２６】
図１は、本発明の一実施形態に係るステージ装置１０を有するステージ施設１００の概略的な配置を示す説明図である。図２は、ステージ装置１０の主要部を観客エリア２４０側から示す説明図である。
【００２７】
図示のように、ステージ施設１００は、会場２００、モーションキャプチャルーム３００及びオペレーションルーム４００を有する。
【００２８】
会場２００は、ステージ２１０及び観客エリア２４０を有する。
【００２９】
ステージ２１０は、出演者２２０によるパフォーマンスや物のプレゼンテーション等を行うことができる場所である。ステージ２１０の形状は任意であり、平面、曲面又は立体的な形状を有し得る。
【００３０】
ステージ２１０には、表示部２１１が設置されている。表示部２１１は、映像オブジェクト２３０等の映像を表示することが可能な任意の部分、部材、装置又はシステムであり、本実施形態では、プロジェクター２１２からの映像を表示するスクリーンが表示部２１１として使用される。表示部２１１の形状は任意であり、平面、曲面又は立体的な形状を有し得る。
【００３１】
プロジェクター２１２は、表示部２１１に映像を映写できる任意の位置に配置される。図のように、プロジェクター２１２を表示部２１１の背面側に配置した場合には、表示部２１１の前面側でパフォーマンスを行う出演者２２０などによりプロジェクター２１２の映像が遮られることを防止することができる。この場合、表示部２１１として、透明のシート状部材等で構成される背面投射用スクリーンが使用され得る。
【００３２】
図では、単一の表示部２１１がステージ２１０の概略中央に設置されているが、ステージ２１０における表示部２１１の配置や個数は任意である。例えば、図示の表示部２１１の両側等にプロジェクションマッピングによって映像を表示する立体的な造形物からなる表示部、及び／又は、表示部２１１の背後等にＬＥＤビジョンなどからなる表示部を追加的に配置するなど、ステージ２１０を取り囲むように複数の表示部を配置することで、ステージ２１０でのパフォーマンスやプレゼンテーションと表示部における映像とが一体となった演出を行うことが可能である。
【００３３】
ステージ装置１０乃至ステージ施設１００は、ステージ２１０に光を照射するための照明２１３Ｌ，２１３Ｒを有する。図では、ステージ２１０の左右の天井付近にそれぞれ１つの照明２１３Ｌ，２１３Ｒが示されているが、照明は、ステージ２１０に光を照射し得る他の任意の位置に配置することが可能であり、照明の個数は１つでも、３つ以上でも良い。
【００３４】
好ましい実施形態では、ステージ装置１０乃至ステージ施設１００は、音楽等のサウンドを出力する一又は複数のスピーカー２１４、ＳＦＸ的な演出を行うためのスモークマシン２１５やレーザーデバイス２１６等の演出機器を更に有し得る。
【００３５】
観客エリア２４０は、観客がステージ２１０で行われるパフォーマンスを見るための場所である。観客エリア２４０は、観客が着席できる一又は複数の座席２４１を有し得る。
【００３６】
ステージ装置１０乃至ステージ施設１００は、観客エリア２４０を撮影する撮影手段２１７を更に有し得る。撮影手段２１７は、観客エリア２４０の全体又は特定の部分を適切に撮影できるように、例えば、ステージ２１０中央の天井付近等の適宜の位置に配置される。
【００３７】
モーションキャプチャルーム３００には、被計測者（モーションキャプチャアクター）３２０が行うダンスなどの動作を検出（キャプチャ）することにより主モーションデータを生成するためのモーションキャプチャ（ＭＣ）システム３１０が配置される。被計測者３２０の動作の検出は、光学式、機械式、磁気式など、任意の方式で行うことが可能である。
【００３８】
図３は、例示的なモーションキャプチャシステム３１０の構成を示す説明図である。
【００３９】
図示のように、モーションキャプチャシステム３１０は、被計測者３２０の手足、頭、腰など適宜の箇所に装着される複数のマーカー３１１と、所定のモーションエリア（被計測者３２０が動作を行うエリア）３１２の周囲（例えば、上下前後左右）に配置されたマーカー３１１を検出可能な一又は複数のセンサー３１３を有する。
【００４０】
センサー３１３は、無線又は有線により処理装置３１４に接続されており、処理装置３１４がセンサー３１３からのデータに基づいて各マーカー３１１の３次元的な位置を算出することにより主モーションデータが生成される。
【００４１】
主モーションデータは、被計測者３２０の動作に対応して、仮想空間６００に配置する仮想オブジェクト６１０（図５参照）の位置や姿勢などを決定するためのデータであり、本実施形態では、上記処理により、仮想オブジェクトの基準点（例えば、仮想オブジェクト６１０に固定されたオブジェクト座標系の原点）の位置、及び、当該基準点に対する仮想オブジェクト６１０を構成するパーツ（頭部６１１、手部６１２、足部６１３など）の相対位置のデータが生成される。
【００４２】
処理装置３１４は、ＣＰＵ及び記憶装置を有するコンピュータで構成することが可能であり、センサー３１３は、カメラなどの撮影手段で構成することが可能である。センサー３１３の個数、配置は、マーカー３１１の位置検出の精度等を勘案して適宜設定される。
【００４３】
モーションキャプチャシステム３１０は、副モーションデータを生成する手段として、被計測者３２０により操作されるコントローラ３１５Ｌ，３１５Ｒを有し得る。コントローラ３１５Ｌ，３１５Ｒの仕様、個数等は任意であるが、本実施形態では、片手で把持／操作が可能な左右のハンディコントローラ３１５Ｌ，３１５Ｒが使用されており、被計測者３２０は、ダンス等の動作を行いつつ、ハンディコントローラ３１５Ｌ，３１５Ｒから副モーションデータを入力することが可能である。ハンディコントローラ３１５Ｌ，３１５Ｒは、ボタンやジョイスティック等の操作部材を有する。ハンディコントローラ３１５Ｌ，３１５Ｒは、好ましくは、無線により処理装置３１４と接続される。
【００４４】
副モーションデータは、仮想オブジェクト６１０の全体又は一部の形状及び／又は模様などを決定するためのデータであり、本実施形態では、ハンディコントローラ３１５Ｌ，３１５Ｒのボタンへの操作により入力されたデータは手の仕草のデータとして使用され、ジョイスティックへの操作により入力されたデータは表情や頭髪の形状のデータとして使用される。
【００４５】
好ましい実施形態では、モーションエリア３１２の正面に、撮影手段２１７で撮影した観客エリア２４０のライブ映像を表示する表示装置３３０が配置される。この場合、被計測者３２０は、表示装置３３０の映像を見ながら動作を行い、或いは、ハンディコントローラ３１５Ｌ，３１５Ｒを操作することが可能である。これにより、被計測者３２０は、観客エリア２４０のリアルタイムの状況に応じて主モーションデータ及び／又は副モーションデータを入力することが可能となり、例えば、映像オブジェクト２３０が特定の観客と掛け合いを行うなど、観客エリア２４０の状況に応じて動作する映像オブジェクト２３０の映像データを生成することが可能となる。
【００４６】
なお、以下では、モーションキャプチャシステム３１０により生成される主モーションデータ及び副モーションデータを併せて、「リアルタイムモーションデータ」と言う。
【００４７】
オペレーションルーム４００には、照明コンソール４１０，映像コンソール４２０，サウンドコンソール４３０，ＳＦＸコンソール４４０、映像処理装置４５０など、オペレーター４６０がステージ施設１００に設置される各種の機器の制御操作を行うための機器が配置される。
【００４８】
照明コンソール４１０は、照明２１３Ｌ，２１３Ｒの制御を行うためのものであり、オペレーター４６０が照明コンソール４１０に対して所定の操作を行うことにより、照明２１３Ｌ，２１３Ｒを個別に点灯／消灯させ、強度（明るさ）及び／又は色を変化させるなどの制御を行うことが可能である。本実施形態では、オペレーター４６０の操作に基づく制御信号Ｓ１が照明コンソール４１０から照明２１３Ｌ，２１３Ｒに送信され、この制御信号Ｓ１に基づいて照明２１３Ｌ，２１３Ｒが制御される。照明コンソール４１０において照明２１３Ｌ，２１３Ｒの制御が行われた場合、制御が行われたこと、或いは、制御の内容を通知するための通知信号Ｓ２が映像生成装置４５０に送信される。通知信号Ｓ２は、制御信号Ｓ１と同一の信号でも別個の信号でも良く、制御信号Ｓ１を分岐した信号を通知信号Ｓ２として使用することも可能である。
【００４９】
映像コンソール４２０は、映像生成装置４５０により生成される映像データに関する制御を行うためのものであり、本実施形態では、オペレーター４６０が映像コンソール４２０に対して所定の操作を行うことにより、リアルタイムモーションデータに基づいて映像オブジェクト２３０が動作する映像データが生成される第１の状態と、プリセットモーションデータに基づいて映像オブジェクト２３０が動作する映像データが生成される第２の状態の切り替えを行うことが可能である。映像コンソール４２０において上記制御が行われた場合、制御が行われたこと、或いは、制御の内容を通知する通知信号Ｓ３が映像生成装置４５０に送信される。プリセットモーションデータについては後述する。
【００５０】
サウンドコンソール４３０は、スピーカー２１４から出力するサウンドの制御を行うものであり、適宜の媒体に記憶された音源データがサウンドコンソール４３０で指定されるタイミング、音量等でスピーカー２１４から再生される。
【００５１】
スモークマシン２１５やレーザーデバイス２１６などのＳＦＸ関連の演出機器は、ＳＦＸコンソール４４０への操作によって制御される。
【００５２】
映像処理装置４５０は、照明コンソール４１０、映像コンソール４２０及びモーションキャプチャシステム３１０に接続されており、これらから受信する通知信号Ｓ２，Ｓ３やデータ等に基づいて表示部２１１に表示する映像データを生成する処理を行うものである。映像処理装置４５０は、ＣＰＵ及び映像データの生成に必要となる各種のプログラムやデータを記憶した記憶装置を備えるコンピュータで構成することができる。記憶装置は、ＲＯＭ、ＲＡＭ、ハードディスク、フラッシュメモリ等の公知の記憶装置を単独又は組み合わせて構成することができる。
【００５３】
本実施形態のステージ装置１０は、ステージ２１０、照明２１３Ｌ，２１３Ｒ、照明コンソール４１０、映像処理装置４５０等から構成される。
【００５４】
図４は、映像処理装置４５０が有する機能的な構成を示す説明図である。
【００５５】
図示のように、映像処理装置４５０は、オブジェクト記憶部５１０、テクスチャ記憶部５２０、仮想空間設定部５３０、色調整部５４０、レンダリング部５５０、プリセットモーションデータ記憶部５６０、データ切替部５７０などからなる映像データ生成部５００を有する。
【００５６】
オブジェクト記憶部５１０は、仮想空間に配置する一又は複数の仮想オブジェクト６１０を定義するオブジェクトデータを記憶するものであり、本実施形態では、人又はキャラクタ等の形状の仮想オブジェクト６１０についてのオブジェクトデータが記憶されている。仮想オブジェクト６１０を定義する形式は任意であるが、例えば、仮想オブジェクト６１０に固定されたローカル座標系における仮想オブジェクト６１０を構成するポリゴンの位置座標により仮想オブジェクト６１０を定義することができる。仮想オブジェクト６１０の姿勢は、ローカル座標系において仮想オブジェクト６１０を構成するパーツ（頭部６１１、手部６１２、足部６１３など）の配置を変化させることによって変化させることが可能である。仮想オブジェクト６１０の手の仕草、表情、頭髪の形状等を変化させることを可能にするため、オブジェクト記憶部５１０には、頭部６１１及び手部６１２について複数種類の形状が記憶されている。
【００５７】
テクスチャ記憶部５２０は、仮想オブジェクト６１０にマッピングするためのテクスチャを記憶するものである。テクスチャは、仮想オブジェクト６１０の模様、色、透明度等を規定するためのビットマップなどの形式で描画された画像データであり、仮想オブジェクト６１０の表面にテクスチャをマッピングすることで、仮想オブジェクト６１０に表情や洋服などのディテールを付与することが可能となる。仮想オブジェクト６１０の表情等を変化させることを可能にするため、テクスチャ記憶部５２０には、頭部６１１等について複数種類のテクスチャが記憶されている。
【００５８】
仮想空間設定部５３０は、図５に例示する態様で、仮想空間６００に仮想オブジェクト６１０、仮想光源６２０Ｌ，６２０Ｒ及び仮想視点を配置する処理を実行する。
【００５９】
ここで、仮想オブジェクト６１０は、モーションキャプチャシステム３１０からストリーミングで（リアルタイムに）供給される主モーションデータにより決定される位置及び姿勢で仮想空間に配置される。すなわち、仮想空間６００における仮想オブジェクト６１０の基準点の位置座標及び基準点に対する頭部６１１、手部６１２、足部６１３などのパーツの配置がリアルタイムの主モーションデータにより決定される。これにより、被計測者３２０の動作が仮想オブジェクト６１０の動作にリアルタイムに反映され、仮想オブジェクト６１０は、被計測者３２０の動作と同時的に、被計測者３２０の動作と同様又は対応する動作を行うことになる。
【００６０】
また、仮想オブジェクト６１０の頭部６１１及び手部６１２には、ハンディコントローラ３１５Ｌ，３１５Ｒから入力された副モーションデータに応じた形状／模様等のオブジェクトデータ及びテクスチャデータが適用される。これにより、枠６２１に示すように頭部６１１の表情及び／又は頭髪の形状を様々に変化させ、枠６２２に示すように手部６１２の形状（手の仕草）を様々に変化させることが可能となる。
【００６１】
仮想視点は、仮想空間６００の適宜の位置及び方向に設定される。仮想視点の位置及び方向は、固定でも可動でも良いが、ここでは、図５の紙面手前側の所定の位置に紙面奧方向に向いた仮想視点が設定されるものとして説明する。
【００６２】
仮想光源６２０Ｌ，６２０Ｒの配置及び／又は個数は、照明コンソール４１０において行われた照明２１３Ｌ，２１３Ｒの制御に応じて決定され得る。例えば、照明コンソール４１０において、観客エリア２４０から見てステージ２１０の右側の照明２１３Ｒを点灯し、左側の照明２１３Ｌを消灯する制御が行われた場合には、仮想視点から見て仮想オブジェクト６１０の右側にのみ仮想光源６２０Ｒを配置し、左右両方の照明２１３Ｌ，２１３Ｒを点灯する制御が行われた場合には、仮想オブジェクト６１０の左右両側に仮想光源６２０Ｌ，６２０Ｒを配置するなどが可能である。
【００６３】
照明コンソール４１０での操作により、照明２１３Ｌ，２１３Ｒの色、強度、指向性、位置等を変化させる制御が可能である場合には、これらの制御に対応して、仮想光源６２０Ｌ，６２０Ｒの色、強度、指向性、位置等のパラメータを制御することが可能である。
【００６４】
上記による仮想光源６２０，６２０Ｒの配置、移動、パラメータの制御等は、照明コンソール４１０における照明２１３Ｌ，２１３Ｒの制御と同期して行われる。同期は、照明コンソール４１０から出力された通知信号Ｓ２に基づいて自動的に行われる。
【００６５】
色調整部５４０は、仮想光源６２０Ｌ，６２０Ｒ（仮想光源６２０Ｌ，６２０Ｒからの仮想光線）の影響を反映させて仮想オブジェクト６１０の色の調整を行うものである。具体的には、仮想オブジェクト６１０に仮想光源６２０Ｌ，６２０Ｒによる陰影６１４を生じさせ、或いは、仮想オブジェクト６１０の色を仮想光源６２０Ｌ，６２０Ｒの色に対応して変化させるなどの処理が行われる。このような色の調整に際して、フォンシェーディングやグローシェーディングなどの公知の手法を使用することが可能である。
【００６６】
レンダリング部５５０は、色調整部５４０により色の調整が行われた仮想オブジェクト６１０を仮想視点から見た時の画像を所定のフレーム時間毎にレンダリングすることにより表示部２１１に表示する映像オブジェクト２３０の映像データを生成するものである。レンダリングは、投影変換、ラスタライズ、陰面消去等の公知の手法を用いて行うことが可能である。レンダリング部５５０により生成された映像データは、プロジェクター２１２に出力され、これにより、表示部２１１に動画としての映像オブジェクト２３０が表示される。
【００６７】
図６は、レンダリング部５５０によりレンダリングされた映像オブジェクト２３０がステージ２１０に設置された表示部２１１に表示される様子を示す説明図である。
【００６８】
図示の例のように、照明コンソール４１０への操作によって、左側の照明２１３Ｌを消灯し、右側の照明２１３Ｒのみを点灯させる制御が行われた場合、ステージ２１０上の出演者２２０には、照明２１３Ｒからの光による陰影２２１等の効果が生じるが、上記制御に同期して、仮想オブジェクト６１０の右側に配置された仮想光源６２０Ｒの影響を反映させて仮想オブジェクト６１０の色の調整が行われる結果、映像オブジェクト２３０にも対応する陰影２３１等の効果を生じることになる。このように、映像オブジェクト２３０が現実の照明２１３Ｌ，２１３Ｒによって照明されているかのような効果（出演者２２０と映像オブジェクト２３０が共通の照明２１３Ｌ，２１３Ｒによって照明されているかのような効果）を映像オブジェクト２３０に生じさせることにより、映像オブジェクト２３０の実在感を高めることができる。
【００６９】
図４に戻って、プリセットモーションデータ記憶部５６０は、一又は複数種類のプリセットモーションデータを記憶するものである。プリセットモーションデータは、所定時間に渡る仮想オブジェクト６１０の動作を規定するものであり、本実施形態では、仮想空間６００における仮想オブジェクト６１０の位置、姿勢、頭部６１１及び手部６１２の形状／模様（手の仕草、表情、頭髪の形状等）を時系列で規定するデータが使用される。
【００７０】
データ切替部５７０は、映像コンソール４２０に行われた操作に応答して、映像生成部５００が、リアルタイムモーションデータに基づいて映像オブジェクト２３０の映像データを生成する第１の状態と、プリセットモーションデータに基づいて映像オブジェクト２３０の映像データを生成する第２の状態の切り替えを行うものであり、データ切替部５７０は、第１の状態では、モーションキャプチャシステム３１０からのリアルタイムモーションデータを仮想空間設定部５５０に供給し、第２の状態では、プリセットモーションデータ記憶部５６０のプリセットモーションデータを仮想空間設定部５５０に供給する。第１の状態において仮想空間設定部５３０、色調整部５４０及びレンダリング部５５０により実行される処理は、上述の通りである。第２の状態では、仮想空間設定部５３０による仮想空間６００における仮想オブジェクト６１０の配置は、プリセットモーションデータ記憶部５６０のプリセットモーションデータに基づいて行われるが、この点を除いて、仮想空間設定部５３０、色調整部５４０及びレンダリング部５５０は、第１の状態と同様の態様で、仮想光源６２０Ｌ，６２０Ｒの配置、色の調整、レンダリング等の処理を実行し、これにより、プリセットモーションデータに基づいて動作する映像オブジェクト２３０の映像データがプロジェクター２１２に出力される。
【００７１】
図７は、データ切替部５７０による切り替えが行われた場合にレンダリングされる映像オブジェクト２３０を示す説明図であり、図下部の矢印は、時間の経過を表している。
【００７２】
この例では、時点Ｔ０からＴ１までの期間は、第１の状態であり、リアルタイムモーションデータに基づいて動作する映像オブジェクト２３０１，２３０２がレンダリングされ、時点Ｔ１においてデータ切替部５７０により第２の状態への切り替えが行われることにより、以降、時刻Ｔ３までプリセットモーションデータに基づいて動作する映像オブジェクト２３０３〜２３０５がレンダリングされ、時点Ｔ３においてデータ切替部５７０により第１の状態への切り替えが行われることにより、以降、リアルタイムモーションデータに基づいて動作する映像オブジェクト２３０６，２３０７がレンダリングされる。
【００７３】
第１の状態と第２の状態の切り換えをシームレスに行うため、すなわち、映像オブジェクト２３０の動作に不連続を生じさせることなく第１の状態と第２の状態の切り換えを行うため、切り換えの前後でリアルタイムモーションデータとプリセットモーションデータの間でのデータ補間を行うことが可能である。例えば、時点Ｔ１における第１の状態から第２の状態への切り換えに際しては、切り換えの時点Ｔ１における映像オブジェクト２３０２のレンダリングに使用したリアルタイムモーションデータと、切り換え直後の映像オブジェクト２３０３のレンダリングに使用されるプリセットモーションデータの間でデータ補間を行い、時刻Ｔ１からプリセットモーションデータに基づく最初の映像オブジェクト２３０３がレンダリングされる時点Ｔ２までの期間は、このデータ補間により生成したモーションデータに基づいて動作する映像オブジェクト２３０をレンダリングすることが可能である。
【００７４】
以上、例示的な実施形態に基づいて本発明を説明したが、上記実施形態におけるステージ装置及びステージ施設又はこれを構成する部材、装置、システム、機能構成、パラメータ、ステージ装置及びステージ施設において実行される処理の内容等は単なる例として説明したものであり、これらは特許請求の範囲の記載内において任意に変更することが可能である。
【００７５】
例えば、上記実施形態では、照明２１３Ｌ，２１３Ｒの制御及び第１の状態と第２の状態の切り換えが照明コンソール４１０及び映像コンソール４２０への操作に基づいて行われる場合を説明したが、コンピュータ等により構成される手段を用いて、予めプログラムされたシーケンスに従って自動的に照明２１３Ｌ，２１３Ｒの制御及び／又は第１の状態と第２の状態の切り換えを行うことも可能である。
【００７６】
また、上記実施形態では、照明制御手段（照明コンソール４１０）から出力された制御信号Ｓ１を介して照明２１３Ｌ，２１３Ｒの制御が行われる場合を説明したが、照明２１３Ｌ，２１３Ｒの制御に制御信号を使用するか否かは任意である。例えば、照明制御手段において、スイッチ操作やボリューム調整等によって、照明２１３Ｌ，２１３Ｒへの給電をオン／オフし、或いは、給電量を調整するなど、制御信号を使用せずに照明２１３Ｌ，２１３Ｒの制御を行うことも可能であり、この場合も、照明２１３Ｌ，２１３Ｒの制御が行われたこと、或いは、制御の内容を映像生成手段（映像処理装置４５０、映像処理データ生成部５００）に通知することにより、上記実施形態と同様の態様で照明の制御と同期した映像オブジェクトの色の調整を行うことが可能である。
【符号の説明】
【００７７】
１０・・・ステージ装置
１００・・・ステージ施設
２１０・・・ステージ
２１１・・・表示部
２１２・・・プロジェクター
２１３Ｌ，２１３Ｒ・・・照明
２１４・・・スピーカー
２１７・・・撮影手段
２３０・・・映像オブジェクト
３１０・・・モーションキャプチャシステム
４００・・・オペレーションルーム
４１０・・・照明コンソール
４２０・・・映像コンソール
４５０・・・映像処理装置
５００・・・映像データ生成部
５１０・・・オブジェクト記憶部
５２０・・・テクスチャ記憶部
５３０・・・仮想空間設定部
５４０・・・色調整部
５５０・・・レンダリング部
５５０・・・仮想空間設定部
５６０・・・プリセットモーションデータ記憶部
５７０・・・データ切替部
６００・・・仮想空間
６１０・・・仮想オブジェクト
６２０Ｌ，６２０Ｒ・・・仮想光源
【図１】
2013250773.tif 000003
【図２】
2013250773.tif 000004
【図３】
2013250773.tif 000005
【図４】
2013250773.tif 000006
【図５】
2013250773.tif 000007
【図６】
2013250773.tif 000008
【図７】
2013250773.tif 000009