(57)【特許請求の範囲】
【請求項１】
画像データを記憶する記憶手段と、
表示画面を有し、この表示画面上に前記画像データに基づく映像を映し出す映像出力手段と、
前記表示画面の前側の一定領域内を撮影するカメラセンサと、
前記カメラセンサが撮影した映像に基づいて前記一定領域内に入り込んだ実世界の物体の変動を抽出し、この実世界の物体の変動に対応して前記映像出力手段が映す映像内の仮想物体の形態を変化させるように制御する制御手段とを備え、
前記制御手段は、前記映像内の仮想物体の周囲に前記実世界の物体の周囲の風を伝播する仮想流体が存在するものと仮定して、この仮想流体中を前記実世界の物体の変動が伝播することをシミュレーションすることにより、前記映像出力手段が映す映像内の仮想物体の形態を変化させるように制御し、
視聴者が自然に、或いは意識的に振舞うことによりひとりでに変化する映像を楽しむことができるようにしたことを特徴とする映像演出システム。
【請求項２】
前記制御手段は、前記映像内の仮想物体の形態の変化を、前記実世界の物体の変動に対応してリアルタイムに、かつ、連続的に生じさせるよう制御することを特徴とする請求項１に記載の映像演出システム。
【請求項３】
前記制御手段は、前記一定領域内に入り込んだ実世界の物体の位置、大きさ、形状、及び／又は速さを、前記実世界の物体の変動として抽出して、これらを前記映像内の仮想物体の形態の変化に反映させたことを特徴とする請求項１又は２に記載の映像演出システム。
【請求項４】
前記制御手段は、前記仮想流体の前記仮想空間中における前記実世界の物体の変動の伝播を誇張してシミュレーションするようにしたことを特徴とする請求項１から３のいずれかに記載の映像演出システム。
【請求項５】
画像データを記憶する記憶手段と、
表示画面を有し、この表示画面上に前記画像データに基づく映像を映し出す映像出力手段と、
前記表示画面の前側の一定領域内を撮影するカメラセンサと、
前記映像出力手段が映す映像を制御する制御手段とを用いて、
前記制御手段が、前記カメラセンサが撮影した映像に基づいて前記一定領域内に入り込んだ実世界の物体の変動を抽出し、前記映像内の仮想物体の周囲に前記実世界の物体の周囲の風を伝播する仮想流体が存在するものと仮定して、この仮想流体中を前記実世界の物体の変動が伝播することをシミュレーションすることにより、前記映像出力手段が映す映像内の仮想物体の形態を変化させるように制御し、
視聴者が自然に、或いは意識的に振舞うことによりひとりでに変化する映像を楽しむことができるようにしたことを特徴とする映像演出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示画面上にインタラクティブ映像を表示させ、その視聴者が映像に対して対話形式の操作を行なうことによりそのインタラクティブ映像を変化させるようにすることができる映像演出システム及び映像演出方法に関するものである。
【背景技術】
【０００２】
従来においては、表示画面と、この表示画面上を覆うタッチパネルとを備えることにより、表示画面内にキャラクター等の操作対象物が表示されている状態のときに、この操作対象物の表示位置に対応するタッチパネル上の点にペン先や指先等を接触させ、リアルタイムに操作対象物を移動させたり回転させたりして、操作対象物の位置や姿勢を変化させることができるゲーム装置があった（例えば、特許文献１参照）。
【０００３】
この特許文献１のゲーム装置は、表示画面内の操作対象物の表示位置に対応するタッチパネル上の点にペン先や指先等を接触させて操作を行なうようになっているので、操作者は、表示画面内の操作対象物を自分の意のままに支配しているような征服感を得ることができるようになっていた。
【０００４】
ここで、この特許文献１のゲーム装置が出力するような映像は、特に、この映像を操作する者とこのゲーム装置との間の対話形式の操作に対応して変化していくようになっているという点に着目した点において、インタラクティブ映像と呼ぶことがある。
【０００５】
また、従来においては、上記特許文献１のゲーム装置と同様に、表示画面上にタッチパネルを備えることによりインタラクティブ映像を出力するようになっている映像出力装置として、例えば、冠婚葬祭等の式典会場や何等かのイベント会場等に設置して用いられるものがあった。
【特許文献１】特開２００６−１２２２４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、前記特許文献１に記載されているようなゲーム装置、或いは、冠婚葬祭等の式典会場やイベント会場等に設置されるような上記従来の映像出力装置は、操作者が表示画面上のタッチパネルに直接触れて操作しなければ、操作対象物を動かしたり変化させたりすることができないという問題があった。
【０００７】
したがって、前記特許文献１に記載されているようなゲーム装置、或いは、式典会場やイベント会場等に設置されるような上記従来の映像出力装置は、タッチパネルに直接触れなくとも操作対象物がその場の雰囲気に応じて勝手に動いたり変化したりすることはないので、面白みに欠けるという問題があった。
【０００８】
また、冠婚葬祭等の式典会場、イベント会場、又は他の集会所等においては、その場の雰囲気に応じて視聴者が、自然で直感的にインタラクティブ映像を楽しめるような映像演出が望まれているという背景があった。
【０００９】
また、前記特許文献１に記載されているようなゲーム装置、或いは、上記式典会場やイベント会場等に設置されるような上記従来の映像出力装置は、タッチパネルが表示画面を覆うように設けられているので、操作によりタッチパネルが汚れると、表示画面に表示される映像が見づらくなってしまうという問題もあった。
【００１０】
そこで本発明は、上記問題点に鑑みて、視聴者が映像システムに対して対話形式の操作を行なうことにより、表示画面上に表示されるインタラクティブ映像を変化させるようにする映像演出システム及び映像演出方法において、タッチパネルを介することなく、視聴者が自然に、或いは意識的に振舞うことによりひとりでに変化するインタラクティブ映像を楽しむことができる映像演出システム及び映像演出方法を提供することを課題とするものである。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明による映像演出システムは、
画像データを記憶する記憶手段と、
表示画面を有し、この表示画面上に前記画像データに基づく映像を映し出す映像出力手段と、
前記表示画面の前側の一定領域内を撮影するカメラセンサと、
前記カメラセンサが撮影した映像に基づいて前記一定領域内に入り込んだ実世界の物体の変動を抽出し、この実世界の物体の変動に対応して前記映像出力手段が映す映像内の仮想物体の形態を変化させるように制御する制御手段とを備え、
前記制御手段は、前記映像内の仮想物体の周囲に前記実世界の物体の周囲の風を伝播する仮想流体が存在するものと仮定して、この仮想流体中を前記実世界の物体の変動が伝播することをシミュレーションすることにより、前記映像出力手段が映す映像内の仮想物体の形態を変化させるように制御し、
視聴者が自然に、或いは意識的に振舞うことによりひとりでに変化する映像を楽しむことができるようにしたことを特徴とするものである。
【００１３】
また、本発明による映像演出システムは、
前記制御手段は、前記映像内の仮想物体の形態の変化を、前記実世界の物体の変動に対応してリアルタイムに、かつ、連続的に生じさせるよう制御することを特徴とするものである。
【００１４】
また、本発明による映像演出システムは、
前記制御手段は、前記一定領域内に入り込んだ実世界の物体の位置、大きさ、形状、及び／又は速さを、前記実世界の物体の変動として抽出して、これらを前記映像内の仮想物体の形態の変化に反映させたことを特徴とするものである。
【００１５】
また、本発明による映像演出システムは、
前記制御手段は、前記仮想流体の前記仮想空間中における前記実世界の物体の変動の伝播を誇張してシミュレーションするようにしたことを特徴とするものである。
【００１６】
また、上記課題を解決するために、本発明による映像演出方法は、
画像データを記憶する記憶手段と、
表示画面を有し、この表示画面上に前記画像データに基づく映像を映し出す映像出力手段と、
前記表示画面の前側の一定領域内を撮影するカメラセンサと、
前記映像出力手段が映す映像を制御する制御手段とを用いて、
前記制御手段が、前記カメラセンサが撮影した映像に基づいて前記一定領域内に入り込んだ実世界の物体の変動を抽出し、前記映像内の仮想物体の周囲に前記実世界の物体の周囲の風を伝播する仮想流体が存在するものと仮定して、この仮想流体中を前記実世界の物体の変動が伝播することをシミュレーションすることにより、前記映像出力手段が映す映像内の仮想物体の形態を変化させるように制御し、
視聴者が自然に、或いは意識的に振舞うことによりひとりでに変化する映像を楽しむことができるようにしたことを特徴とするものである。
【発明の効果】
【００１８】
このような本発明の映像演出システムによれば、
画像データを記憶する記憶手段と、
表示画面を有し、この表示画面上に前記画像データに基づく映像を映し出す映像出力手段と、
前記表示画面の前側の一定領域内を撮影するカメラセンサと、
前記カメラセンサが撮影した映像に基づいて前記一定領域内に入り込んだ物体の変動を抽出し、この変動に対応して前記映像出力手段が映す映像内の仮想物体の形態を変化させるように制御する制御手段とを備え、
視聴者が自然に、或いは意識的に振舞うことによりひとりでに変化する映像を楽しむことができるようにしたことにより、
視聴者が映像システムに対して対話形式の操作を行なうことにより、表示画面上に表示されるインタラクティブ映像を変化させるようにする映像演出システムにおいて、タッチパネルを介することなく、視聴者が自然に、或いは意識的に振舞うことによりひとりでに変化するインタラクティブ映像を楽しむことができる。
【００１９】
また、本発明の映像演出システムによれば、
前記制御手段は、前記映像内の仮想物体の周囲に仮想流体が存在するものと仮定して、この仮想流体中を前記変動が伝播することをシミュレーションすることにより、前記映像出力手段が映す映像内の仮想物体の形態を変化させるように制御するので、
視聴者が自然に、或いは意識的に振舞うことによりひとりでに変化するインタラクティブ映像を楽しむことができる。
【００２０】
また、本発明の映像演出システムによれば、
前記制御手段は、前記映像内の仮想物体の形態の変化を、前記変動に対応してリアルタイムに、かつ、連続的に生じさせるよう制御するので、
視聴者が自然に、或いは意識的に振舞うことによりひとりでに変化するインタラクティブ映像を楽しむことができる。
【００２１】
また、本発明の映像演出システムによれば、
前記制御手段は、前記一定領域内に入り込んだ物体の位置、大きさ、形状、及び／又は速さを、前記変動として抽出するので、
視聴者が自然に、或いは意識的に振舞うことによりひとりでに変化するインタラクティブ映像を楽しむことができる。
【００２２】
また、本発明の映像演出システムによれば、
使用時間又は使用回数に基づいて使用料金を算出する使用料算出手段を備えているので、
当該システムを他人に貸し出す場合に、使用料金体系を明確にすることができる。
【００２３】
また、本発明の映像演出方法によれば、
画像データを記憶する記憶手段と、
表示画面を有し、この表示画面上に前記画像データに基づく映像を映し出す映像出力手段と、
前記表示画面の前側の一定領域内を撮影するカメラセンサと、
前記映像出力手段が映す映像を制御する制御手段とを用いて、
前記制御手段が、前記カメラセンサが撮影した映像に基づいて前記一定領域内に入り込んだ物体の変動を抽出し、この変動に対応して前記映像出力手段が映す映像内の仮想物体の形態を変化させるように制御し、
視聴者が自然に、或いは意識的に振舞うことによりひとりでに変化する映像を楽しむことができるようにしたことにより、
視聴者が映像システムに対して対話形式の操作を行なうことにより、表示画面上に表示されるインタラクティブ映像を変化させるようにする映像演出方法において、タッチパネルを介することなく、視聴者が自然に、或いは意識的に振舞うことによりひとりでに変化するインタラクティブ映像を楽しむことができる。
【００２４】
また、本発明の映像演出方法によれば、
前記制御手段が、前記映像内の仮想物体の周囲に仮想流体が存在するものと仮定して、この仮想流体中を前記変動が伝播することをシミュレーションすることにより、前記映像出力手段が映す映像内の仮想物体の形態を変化させるように制御するので、
視聴者が自然に、或いは意識的に振舞うことによりひとりでに変化するインタラクティブ映像を楽しむことができる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明に係る映像演出システム及び映像演出方法の実施の形態について、図面に基づいて具体的に説明する。
図１ないし図１５は、本発明の第１の実施の形態に係る映像演出システム２及びその映像演出方法について説明するために参照する図である。
【００２６】
図１は、本実施の形態に係る映像演出システム２のハードウェア構成図である。本実施の形態に係る映像演出システム２は、ディスプレイ装置４（映像出力手段）と、カメラセンサ６と、コンピュータ８とを備えて構成されている。ディスプレイ装置４とカメラセンサ６のそれぞれは、コンピュータ８に配線接続されている。
【００２７】
コンピュータ８は、記憶装置１０（記憶手段）、中央演算処理装置１２、及びキーボードやマウス等の入力装置１４（入力手段）を備えて構成されている。このコンピュータ８の記憶装置１０は、後述する図４の素材ファイル３０と映像演出用プログラム３２とを記憶するようになっている。
【００２８】
また、図１に示すコンピュータ８の中央演算処理装置１２は、記憶装置１０に読み込まれる後述の映像演出用プログラム３２に従って動作し、ディスプレイ装置４に表示する映像を制御するための制御手段として動作するようになっている。
【００２９】
ディスプレイ装置４は、図２及び図３に示すように、表示画面１８を有している。また、このディスプレイ装置４には、不図示のスピーカーが内蔵されている。ディスプレイ装置４は、図３に示すように、その表示画面１８が、この表示画面１８に表示される映像を見ながらこの映像を変化させようとして動作する視聴者１６に対向することになるような姿勢で、架台２０上に設置されている。架台２０としては、例えば、イーゼルを用いることができる。
【００３０】
このようなディスプレイ装置４と架台２０は、例えば、結婚披露宴会場等の入り口付近に、ウェルカムボードとして設置することができる。また、ディスプレイ装置４としては、例えば、液晶ディスプレイ装置、プラズマディスプレイ装置、又は有機ＥＬディスプレイ装置等を用いることができる。
【００３１】
また、映像演出システム２のカメラセンサ６は、ディスプレイ装置４の上端部に取り付けられている。このカメラセンサ６は、ディスプレイ装置４の表示画面１８の前側の、図３中の破線で囲まれる一定領域内を撮影するようになっている。
【００３２】
図４は、本実施の形態に係る映像演出システム２を作動させるためのソフトウェア２８の構成図である。この映像演出システム２を動作させるためのソフトウェア２８は、素材ファイル３０と映像演出用プログラム３２とを備えて構成されている。この素材ファイル３０と映像演出用プログラム３２は、図１に示すコンピュータ８の記憶手段１０に記憶されている。
【００３３】
素材ファイル３０は、動画データ３４、静止画データ３６ａ，３６ｂ，３６ｃ，３６ｄ，３６ｅ，３６ｆ，・・・、３Ｄモデルデータ３８（三次元モデルデータ）、音声データ４０、及びテキストデータ４２を備えている。
【００３４】
この素材ファイル３０における動画データ３４、静止画データ３６ａ，３６ｂ，３６ｃ，３６ｄ，３６ｅ，３６ｆ，・・・、３Ｄモデルデータ３８、音声データ４０、及びテキストデータ４２のそれぞれの具体的内容については、後述する映像演出用プログラム３２、及び図５に示す映像８０について説明する際に、併せて説明する。
【００３５】
ここで、素材ファイル３０の動画データ３４、静止画データ３６ａ，３６ｂ，３６ｃ，３６ｄ，３６ｅ，３６ｆ，・・・、及び３Ｄモデルデータ３８のそれぞれは、便宜上、画像データと呼ぶことがあるものとする。また、静止画データ３６ａ，３６ｂ，３６ｃ，３６ｄ，３６ｅ，３６ｆ，・・・のそれぞれについて、又はこれらをまとめて、その符号にアルファベットを付さずに、静止画データ３６と呼ぶことがあるものとする。
【００３６】
次に、映像演出用プログラム３２は、センサモジュール４６及び映像演出モジュール４８を備えている。ここで、モジュールとは何等かの機能を発揮するように組まれた小さいプログラムのことをいう。
【００３７】
映像演出用プログラム３２のセンサモジュール４６は、図３に示すカメラセンサ６が撮影した映像（実世界の映像）をリアルタイムに取得し、前フレーム差分法により、映像内に映っている何等かの動く物体について、その大きさ、形状、移動方向、及び速さの情報を抽出するようになっている。
【００３８】
すなわち、センサモジュール４６は、カメラセンサ６から１秒間当たりに約３０フレーム取得する映像のそれぞれを、随時、グレースケールに変換し、前後のフレーム間の差異を検出することにより動いた箇所だけを抽出して、映像内に映っている何等かの動く物体の大きさ及び形状を抽出するようになっている。また、センサモジュール４６は、このように抽出した動く物体の大きさと形状に基づいて、その中心位置の座標を求め、この中心位置の座標の変化量からその移動方向と速さを抽出するようになっている。
【００３９】
センサモジュール４６が、このような抽出作業の対象とする撮影映像内の動く物体としては、カメラセンサ６が撮影する一定領域内に入って来た視聴者１６若しくはその体の一部、又は視聴者１６が所持若しくは携帯するような物、或いは、カメラセンサ６が撮影する一定領域内に投げ込まれた物や転がり込んできたような物が該当する。
【００４０】
センサモジュール４６は、図４に示すように、カメラセンサ６が撮影した映像内の何等かの動く物体から抽出した、その大きさ、形状、移動方向、及び速さの情報を、映像演出モジュール４８に連続的に出力するようになっている。
【００４１】
次に、映像演出用プログラム３２内の映像演出モジュール４８は、流体シミュレーションモジュール５４、映像再生モジュール５６、映像効果モジュール５８、ＣＧ合成モジュール６０（コンピュータグラフィック合成モジュール）、音声再生モジュール６２、音声効果モジュール６４、及び音声合成モジュール６６を備えて構成されている。
【００４２】
映像演出モジュール４８内の流体シミュレーションモジュール５４は、図３に示すディスプレイ装置４の表示画面１８の内側に広がって空気が存在するような仮想空間を設定し、この仮想空間内に生じる風（空気の流れ）をシミュレーションするようになっている。
【００４３】
すなわち、流体シミュレーションモジュール５４は、ディスプレイ装置４の表示画面１８の前側の一定領域内で動く実世界の物体が生じさせる風が、ディスプレイ装置４の表示画面１８を突き抜けて、この表示画面１８内の仮想空間にまで伝播するものと仮定して、図４に示すセンサモジュール４６により抽出された、カメラセンサ６が撮影した実映像内の動く物体についての大きさ、形状、移動方向、及び速さの情報を連続的に取得し、これらの情報に基づいて、仮想空間内において風がどのように伝播するかをシミュレーションするようになっている。
【００４４】
このとき流体シミュレーションモジュール５４は、仮想空間内を伝播する風の強さをある程度誇張してシミュレーションするようになっている。また、流体シミュレーションモジュール５４は、このようなシミュレーション情報を、映像再生モジュール５６、映像効果モジュール５８、ＣＧ合成モジュール６０、音声再生モジュール６２、音声効果モジュール６４、及び音声合成モジュール６６のそれぞれに、連続的に出力するようになっている。
【００４５】
映像演出モジュール４８の映像再生モジュール５６は、素材ファイル３０内の動画データ３４及び静止画データ３６ａ，３６ｂ，３６ｃ，３６ｄ，３６ｅ，３６ｆ，・・・を読み込んで再生するようになっている。
【００４６】
映像再生モジュール５６は、素材ファイル３０内の動画データ３４及び静止画データ３６ａ，３６ｂ，３６ｃ，３６ｄ，３６ｅ，３６ｆ，・・・の中から、複数の任意のものを個別に再生することができるようになっている。
【００４７】
この映像再生モジュール５６が任意に再生する動画データ３４及び静止画データ３６ａ，３６ｂ，３６ｃ，３６ｄ，３６ｅ，３６ｆ，・・・のそれぞれが、図２に示すディスプレイ装置４の表示画面１８内の、いずれの範囲にどのように表示されるようになるのかについては、後述するＣＧ合成モジュール６０のマッピングの処理により決定されるようになっている。
【００４８】
なお、映像再生モジュール５６が、動画データ３４及び静止画データ３６ａ，３６ｂ，３６ｃ，３６ｄ，３６ｅ，３６ｆ，・・・のいずれを継続的に再生するかについて、並びに、いずれをどのようなタイミングで切替えて再生するようになっているのかについては、後述する図５の映像８０等について説明する際に、併せて説明する。
【００４９】
図４に示すように、映像再生モジュール５６で再生された動画データ３４及び静止画データ３６ａ，３６ｂ，３６ｃ，３６ｄ，３６ｅ，３６ｆ，・・・の映像は、映像効果モジュール５８に送られるようになっている。
【００５０】
映像効果モジュール５８は、流体シミュレーションモジュール５４から仮想空間内に風が生じた旨のシミュレーション情報を受け取るたびに、映像再生モジュール５６によって再生された動画データ３４の映像に対して、交互に赤の色相を混ぜたり混ぜないようにしたりする画像処理を行なうようになっている。
【００５１】
映像効果モジュール５８は、映像再生モジュール５６によって再生された動画データ３４の映像に対して、このような色相のエフェクト(映像効果)を加えた後に、これをＣＧ合成モジュール６０に送り出すようになっている。
【００５２】
ＣＧ合成モジュール６０は、素材ファイル３０内の３Ｄモデルデータ３８、及びテキストデータ４２に基づいてＣＧ(コンピュータグラフィックス)を生成したり、又は、独自にＣＧを生成するようになっている。
【００５３】
また、ＣＧ合成モジュール６０は、このように生成したＣＧや、映像効果モジュール５８から受取った映像等を、仮想空間内の所定の位置に配置するようになっている。このようなＣＧ合成モジュール６０の配置作業の中には、このＣＧ合成モジュール６０が生成したＣＧの表面、又は仮想空間内の任意の領域に、映像効果モジュール５８から受取った映像をテクスチャ（ｔｅｘｔｕｒｅ）として、マッピング(ｍａｐｐｉｎｇ)するような作業が含まれる。また、ＣＧ合成モジュール６０は、映像同士の合成も行なうようになっている。
【００５４】
また、ＣＧ合成モジュール６０は、流体シミュレーションモジュール５４から送られてくるシミュレーション情報に基づいて、リアルタイムにＣＧを変形させたり、新たなＣＧを生成したりするようになっている。また、シミュレーション情報に基づいて、テクスチャの入れ替えなどをリアルタイムに行うようになっている。また、ＣＧ合成モジュール６０は、完成した映像をディスプレイ装置４に出力するようになっている。このＣＧ合成モジュール６０の具体的な動作内容については、後述する図５の映像８０等と併せて説明する。
【００５５】
図４に示すように、音声再生モジュール６２は、流体シミュレーションモジュール５４から送られてくるシミュレーション情報に基づいて、素材ファイル３０の音声データ４０を読み込んで再生し、音声効果モジュール６４に送り出すようになっている。
【００５６】
音声効果モジュール６４は、流体シミュレーションモジュール５４から送られてくるシミュレーション情報に基づいて、音声再生モジュール６２が再生した音声データ４０のピッチ（周波数）を変更し、音声合成モジュール６６に送り出すようになっている。
【００５７】
また、音声合成モジュール６６は、電子音データを生成したり、このように生成した電子音や音声効果モジュール６４から受け取った音声を、ディスプレイ装置４の内蔵スピーカーに出力するようになっている。
【００５８】
音声再生モジュール６２、音声効果モジュール６４、及び音声合成モジュール６６の具体的な動作内容は、後述する図５の映像８０等の説明の際に併せて説明する。
【００５９】
図５は、映像演出システム２の映像演出用プログラム３２が、ディスプレイ装置４の表示画面１８に表示する色付きの映像８０を示す図である。この映像８０には、この映像８０の下端部寄りの領域に配置され、この映像８０の枠内に納まり切らずに一部領域だけが表示されている机１０２と、この机１０２上に置かれたアルバム１０４と、半透明に見えるレースのカーテン１０６と、このカーテン１０６越しに透けて見える窓１０８と、この窓１０８の屋外側に見える、雲が流れていく様子の空１１０が映し出されている。
【００６０】
また、この映像８０には、この映像８０の上端部寄りの位置で生成され、光り輝きながらアルバム１０４上にゆっくりと降り注いで消滅していく複数のパーティクル１１２（ｐａｒｔｉｃｌｅ：粒子）と、ディスプレイ装置４の表示画面１８上に張り付くように表示されたデザイン化された文字列１１４が映し出されている。
【００６１】
この映像８０は、図６から図１１に示す映像８２，８４，８６，８８，９０，９２を、これらの映像のそれぞれのアルファチャンネル等を用いることにより、互いに重ね合わせるように合成して表示したものである。
【００６２】
映像８２，８４，８６，８８，９０，９２のそれぞれは、以下に説明するように作成され、これら映像８２，８４，８６，８８，９０，９２の合成は、図４に示す映像演出用プログラム３２における映像演出モジュール４８のＣＧ合成モジュール６０が行なっている。
【００６３】
図６に示すように、映像８２には、雲が流れていく様子の空１１０が映し出されている。この映像８２は、図４に示すように、その基礎となる素材ファイル３０の動画データ３４を、映像演出用プログラム３２における映像演出モジュール４８の映像再生モジュール５６が読み込んで継続的にループ再生すると共に、この映像に対して映像効果モジュール５８が画像処理を行ない、ＣＧ合成モジュール６０が、この映像をテクスチャとして映像８２の枠内の領域全体にマッピングすることにより作成されている。
【００６４】
映像効果モジュール５８は、流体シミュレーションモジュール５４から仮想空間内に風が生じた旨のシミュレーション情報を受け取るたびに、映像再生モジュール５６によって再生された動画データ３４の映像に対して、交互に赤の色相を混ぜたり混ぜないようにしたりする画像処理を行なうようになっているので、図６に示す映像８２に映し出される空１１０は、交互に夕焼け空になったり青空になったりするようになっている。
【００６５】
図７に示すように、映像８４には、机１０２と窓１０８が映し出されている。この映像８４は、図４に示すように、その基礎となる素材ファイル３０の静止画データ３６ａを、映像演出用プログラム３２における映像演出モジュール４８の映像再生モジュール５６が読み込んで再生し、ＣＧ合成モジュール６０が、この再生した映像をテクスチャとして映像８４の枠内の領域全体にマッピングすることにより、作成されている。
【００６６】
図８に示すように、映像８６には、開いたアルバム１０４が映し出されるようになっている。また、この映像８６においては、不図示の新郎新婦を写した２枚の互いに異なる写真１２０ｃ，１２０ｄの映像のそれぞれが、アルバム１０４の見開きにされた左右両方のページのそれぞれに貼り付けてあるように映し出されている。
【００６７】
この映像８６のうちの写真１２０ｃ，１２０ｄの映像の部分を除く、アルバム１０４の部分の映像は、図４に示すように、その基礎となる素材ファイル３０の３Ｄモデルデータ３８を、映像演出用プログラム３２における映像演出モジュール４８のＣＧ合成モジュール６０が読み込んで３次元ＣＧ映像として生成し、さらに、このＣＧ合成モジュール６０が、図８に示すように、映像８６の表示枠内の所定の位置にマッピングすることにより作成したものである。
【００６８】
また、映像８６のうちの写真１２０ｃ，１２０ｄの部分の映像のそれぞれは、図４に示すように、その基礎となる素材ファイル３０の静止画データ３６ｃ，３６ｄのそれぞれを、映像再生モジュール５６が読み込んで再生し、ＣＧ合成モジュール６０が、この再生した映像をテクスチャとして、アルバム１０４の見開きにされた両方のページのそれぞれに立体的にマッピングしたものである。
【００６９】
また、図８に示す映像８６に映し出されるアルバム１０４は、図４に示す映像演出用プログラム３２における映像演出モジュール４８の流体シミュレーションモジュール５４が、図３に示すカメラセンサ６が撮影する一定領域内での視聴者１６等の動作に基づいて、仮想空間内に一定の風が生じた旨のシミュレーションを行った場合には、図１２に示すように、ページがめくられるようになっている。
【００７０】
例えば、図８のアルバム１０４の見開きにされた左右のページのうちの右側の一番上のページが、仮想空間内に生じる風により、めくれ上がって左側のページの上側に重なるように動いていく場合には、図４に示す映像演出用プログラム３２は、以下のように動作している。
【００７１】
まず、このようなアルバム１０４のページがめくれる様子のアニメーションの映像をＣＧ合成モジュール６０が生成する際に必要となる基礎データは、素材ファイル３０の３Ｄモデルデータ３８内にその一部として用意されている。
【００７２】
ＣＧ合成モジュール６０は、流体シミュレーションモジュール５４から、仮想空間内におけるアルバム１０４が配置された位置の近傍を右から左に向かう風が通る旨のシミュレーション情報を受け取ると、素材ファイル３０の３Ｄモデルデータ３８に基づいて、図示しないが、アルバム１０４（図８参照）の右側のページの上に、この右側のページの形状と同じ形状のページであって、ページがめくれる様子のアニメーションの一連の映像のうちの最初のものをフェードインして出現させる。
【００７３】
また、図４に示す映像再生モジュール５６は、流体シミュレーションモジュール５４から送られてくるシミュレーション情報に基づいて、アルバム１０４の写真１２０ｃ，１２０ｄ（図８参照）の映像の基礎である素材ファイル３０の静止画データ３６ｃ，３６ｄの映像の再生を継続しつつ、これらと異なる後述の写真１２０ｅ，１２０ｆの映像の基礎となる静止画データ３６ｅ，３６ｆの再生を新たに開始するようになっている。
【００７４】
図示しないが、ＣＧ合成モジュール６０は、アルバム１０４（図８参照）の左側のページに継続して写真１２０ｃの映像を表示させ続けると共に、上述したように、右側のページ上にフェードインして出現させた不図示のページにおけるその表裏面のうちの表面に対し、このようなフェードインの動作と同時に、静止画データ３６ｄを基礎とする写真１２０ｄの映像をマッピングして表示させるようになっている。このフェードインして出現させたページにマッピングした写真１２０ｄは、このページの下側のページに当初からマッピングされていた写真１２０ｄと同じものである。
【００７５】
また、ＣＧ合成モジュール６０は、フェードインして出現させた不図示のページの裏側の面に、静止画データ３６ｅを基礎とする新たな写真１２０ｅの映像をマッピングするようになっている。この写真１２０ｅは、フェードインして出現したページがめくれる前には実際には視認することはできないが、このページがめくれて左側に移動し終わった段階においては視認することができるようになっている（図１３参照）。
【００７６】
また、フェードインして出現させた不図示のページがめくれる前の段階で、このフェードインして出現させたページの下側のページには、当初からの写真１２０ｄの映像の代わりに、静止画データ３６ｆを基礎とする新たな写真１２０ｆの映像をマッピングするようになっている（図１２参照）。
【００７７】
そして、ＣＧ合成モジュール６０は、素材ファイル３０の３Ｄモデルデータ３８に基づいて、ページがめくれて左側に移動していく様子のアニメーションの一連の映像を、写真１２０ｄ，１２０ｅの映像をマッピングしながら映し出していくようになっている。ＣＧ合成モジュール６０は、このアニメーションの一連の映像を、流体シミュレーションモジュール５４から送られてくるシミュレーション情報の中における風の強さの情報に基づいて、風が弱いときにはページがゆっくりめくれるように映し、風が強いときにはページが速くめくれるように映すようになっている。
【００７８】
アニメーションの映像を映し終わって、図１３に示すように、めくれたページが左側まで移動し終わると、ＣＧ合成モジュール６０は、このめくり終わった左側のページの下側の不図示のページ上に、当初からの写真１２０ｃ（図１２参照）の代わりに、写真１２０ｅをマッピングしてから、めくり終わったページの映像をフェードアウトさせるようになっている。また、図４に示す映像再生モジュール５６は、図８に示す当初の写真１２０ｃ、１２０ｄの映像の基礎となっていた静止画データ３６ｃ，３６ｄの再生を終了するようになっている。
【００７９】
図４に示す映像演出用プログラム３２は、その流体シミュレーションモジュール５４が、仮想空間内に風が生じた旨のシミュレーションを行なうたびに、このような映像８６内のアルバム１０４のページがめくれる様子を映すようになっている。また、流体シミュレーションモジュール５４が、仮想空間内に反対向きの風が生じた旨のシミュレーションを行なった場合には、アルバム１０４のページが反対方向にめくれる様子を映すようになっている。
【００８０】
このような図８，１２，１３に示す映像８６の変化は、この映像８６と、この映像８６以外の他の映像８２，８４，８８，９０，９２とを互いに重ね合わせて完成する図５の映像８０においても、反映されるようになっている。
【００８１】
また、このような映像８６に映し出されるアルバム１０４のページがめくれる様子にあわせて、図４に示す映像演出用プログラム３２における映像演出モジュール４８の音声再生モジュール６２は、流体シミュレーションモジュール５４から送られてくるシミュレーション情報に基づいて、ページがめくれるときの音の基礎となる音声データ４０を読み込んで再生するようになっている。これにより、音声再生モジュール６２は、映像８６のアニメーションに合わせて、ページがめくれるときの音を出力するようになっている。
【００８２】
また、音声効果モジュールは、流体シミュレーションモジュール５４から送られてくるシミュレーション情報の中における風の強さの情報に基づいて、音声再生モジュール６２が再生したページがめくれるときの音について、その周波数を変えることにより、ページが速くめくれるときと、ゆっくりとめくれるときの差異を出すようになっている。
【００８３】
次に、図９に示すように、映像８８には、カーテン１０６が映し出されている。この映像８８のうちのカーテン１０６の部分の映像は、図４に示すＣＧ合成モジュール６０が、その形状を自由曲面のＣＧ映像として独自に生成して、これを映像８８の表示枠内の所定の位置にマッピングすると共に、図４に示す映像再生モジュール５６が、このカーテン１０６の半透明のレース模様の基礎となる静止画データ３６ｂを読み込み再生した映像を、ＣＧ合成モジュール６０が、テクスチャとしてカーテン１０６の自由曲面上にマッピングすることにより作成したものである。
【００８４】
この図９の映像８８に映し出されるカーテン１０６は、図４に示す映像演出用プログラム３２における映像演出モジュール４８の流体シミュレーションモジュール５４が、仮想空間内に一定の風が生じた旨のシミュレーションを行った場合には、図１４に示すように、その裾が舞い上がって手前側（映像８８の表示枠の下側）に向かって移動してくるようになっている。このようなカーテン１０６の自由曲面の形状の変形は、ＣＧ合成モジュール６０が、流体シミュレーションモジュール５４から受け取るシミュレーション情報に基づいて行なうようになっている。
【００８５】
このような映像８８の変化は、この映像８８と、この映像８８以外の他の映像８２，８４，８６，９０，９２とを互いに重ね合わせて完成する図５の映像８０においても、反映されるようになっている。
【００８６】
次に、図１０に示すように、映像９０には、複数のパーティクル１１２が映し出されている。この映像９０のパーティクル１１２のそれぞれは、この映像９０の表示枠の上端部寄りの位置で生成されて、ゆっくりと横方向に広がりながら下方に移動した後に、表示枠の下端部寄りの位置で消滅するように映し出されている。このようなパーティクル１１２の生成、移動、消滅は、図４に示すＣＧ合成モジュール６０が独自に行なっている。また、このようなパーティクル１１２を、映像９０の表示枠内の所定の位置にマッピングする作業も、ＣＧ合成モジュール６０が行なっている。
【００８７】
また、この映像９０のパーティクル１１２は、流体シミュレーションモジュール５４が、仮想空間内に一定の風が生じた旨のシミュレーションを行った場合には、図１５に示すように、このような仮想空間内の風により横方向に流されながら下降するようになっている。このパーティクル１１２の移動方向の変更は、ＣＧ合成モジュール６０が、流体シミュレーションモジュール５４から受け取るシミュレーション情報に基づいて行なうようになっている。
【００８８】
このような映像９０の変化は、この映像９０と、この映像９０以外の他の映像８２，８４，８６，８８，９２とを互いに重ね合わせて完成する図５の映像８０においても、反映されるようになっている。
【００８９】
また、図４に示す音声合成モジュール６６は、パーティクル１１２が生成されるタイミングに合わせて、このパーティクル１１２が光り輝いているような印象を与えるような電子音を生成するようになっている。
【００９０】
次に、図１１に示すように、映像９２には、デザイン化された文字列１１４が映し出されている。この文字列１１４は、図４に示すように、ＣＧ合成モジュール６０が、素材ファイル３０のテキストデータ４２を読み込んだ後に、このテキストデータ４２に基づいてＣＧ映像として生成したものである。
【００９１】
このような本実施の形態に係る映像演出システム２及びその映像演出方法によれば、タッチパネルを用いないようになっているので、図３に示すように、ディスプレイ装置４の表示画面１８上に表示されるインタラクティブ映像８０そのものに対して視聴者１６が操作を行なうようにする際に、この視聴者１６以外の不図示の他の複数の視聴者が、同時にインタラクティブ映像８０の変化を把握することができる。
【００９２】
また、本実施の形態に係る映像演出システム２及びその映像演出方法によれば、そのコンピュータ８の中央演算処理装置１２（制御手段）が、ディスプレイ装置４の表示画面１８上に表示されるインタラクティブ映像８０内の仮想物体等の形態の変化を、視聴者１６等の物体の変動に対応してリアルタイムに、かつ、連続的に生じさせるよう制御するので、視聴者が自然に、或いは意識的に振舞うことによりひとりでに変化するインタラクティブ映像を楽しむことができる。
【００９３】
また、本実施の形態に係る映像演出システム２及びその映像演出方法によれば、そのディスプレイ装置４の前の一定領域内に入り込んだ視聴者１６等の物体の大きさ及び形状、並びにこれらが動くときの移動方向及びその速さを、視聴者１６等の物体の変動として抽出し、このような変動により生じる風をディスプレイ装置４の表示画面１８上に表示されるインタラクティブ映像８０に反映させるようになっているので、やはり、視聴者が自然に、或いは意識的に振舞うことによりひとりでに変化するインタラクティブ映像を楽しむことができる。
【００９４】
次に、図１及び図１６は、本発明の第２の実施の形態に係る映像演出システム１５０及びその映像演出方法について説明するために参照する図である。前記第１の実施の形態に係る映像演出システム２と同様の部分には同じ符号を用いて説明し、同様の構成や使用法についての重複する説明は省略するものとする。
【００９５】
本実施の形態に係る映像演出システム１５０のハードウェア構成は、図１に示すように、前記第１の実施の形態に係る映像演出システム２のハードウェア構成と、全く同様に構成されている。
【００９６】
本実施の形態に係る映像演出システム１５０は、そのコンピュータ８の記憶装置１０に、前記第１の実施の形態に係る映像演出システム２のソフトウェア２８（図４参照）の代わりに、図１６に示すソフトウェア１５２を記憶するようになっている。
【００９７】
ソフトウェア１５２は、前記第１の実施の形態に係る映像演出システム２におけるソフトウェア２８の素材ファイル３０と全く同じ素材ファイル３０を備えると共に、この他にも、この素材ファイル３０とほぼ同様のデータ構造を有して映像８０（図５参照）とは異なる映像の素材となるような素材ファイル１５４，１５６を備えている。
【００９８】
この素材ファイル１５４，１５６のそれぞれは、図示しないが、素材ファイル３０の動画データ３４、静止画データ３６、３Ｄモデルデータ３８、音声データ４０、テキストデータ４２のそれぞれに相当する内容のデータを、映像８０（図５参照）とは異なる独自の映像を映すのに必要な個数分だけ、任意に備えて構成されている。
【００９９】
ここで、この素材ファイル１５４，１５６のそれぞれにおける、素材ファイル３０の動画データ３４、静止画データ３６、３Ｄモデルデータ３８、音声データ４０、テキストデータ４２のそれぞれに相当する内容のデータについては、便宜上、素材ファイル３０の各データに付した符号と同じ符号を付して呼ぶこととする。
【０１００】
また、ソフトウェア１５２は、前記第１の実施の形態に係る映像演出システム２におけるソフトウェア２８の映像演出用プログラム３２の代わりに、映像演出用プログラム１５８を備えている。
【０１０１】
この映像演出用プログラム１５８は、前記第１の実施の形態に係る映像演出システム２におけるソフトウェア２８の、映像演出用プログラム３２の映像演出モジュール４８と全く同じ映像演出モジュール４８を備えると共に、この他にも、この映像演出モジュール４８とは異なる映像演出を行なう映像演出モジュール１６０，１６２を備えている。
【０１０２】
映像演出モジュール１６０，１６２のそれぞれは、図示しないが、映像演出モジュール４８の流体シミュレーションモジュール５４、映像再生モジュール５６、映像効果モジュール５８、ＣＧ合成モジュール６０、音声再生モジュール６２、音声効果モジュール６４、及び音声合成モジュール６６のそれぞれに相当するモジュールを備え、これらによって、映像演出モジュール４８とは異なる映像演出を行なうようになっている。
【０１０３】
ここで、この映像演出モジュール１６０，１６２のそれぞれにおける、映像演出モジュール４８の流体シミュレーションモジュール５４、映像再生モジュール５６、映像効果モジュール５８、ＣＧ合成モジュール６０、音声再生モジュール６２、音声効果モジュール６４、及び音声合成モジュール６６のそれぞれに相当するモジュールについては、便宜上、映像演出モジュール４８の各モジュールに付した符号と同じ符号を付して呼ぶこととする。
【０１０４】
特に、映像演出モジュール１６０，１６２の流体シミュレーションモジュール５４のそれぞれは、前記第１の実施の形態に係る映像演出システム２における流体シミュレーションモジュール５４が仮想空間内の風（空気中の流れ）をシミュレーションするようになっていたのに対して、仮想空間内に水が充填されているとの仮定の下におけるこの水の流れ、及び仮想空間内に透明のコロイド溶液が充填されているとの仮定の下におけるこのコロイド溶液の流れをシミュレーションするようになっている。
【０１０５】
また、映像演出用プログラム１５８は、演出制御モジュール４４、演出構成モジュール５０、及び演出設定ファイル５２を備えている。
【０１０６】
映像演出用プログラム１５８内の演出設定ファイル５２には、複数の素材ファイル３０，１５４，１５６のうちのいずれを選択して使用するか等についての設定データ、及び映像演出用プログラム１５８内のセンサモジュール４６の動作等に必要な設定データ、並びに複数の映像演出モジュール４８，１６０，１６２のうちのいずれを選択して動作させるようにするかの設定データ、また、選択して動作させる映像演出モジュール４８，１６０，１６２のうちのいずれかにおける、流体シミュレーションモジュール５４、映像再生モジュール５６、映像効果モジュール５８、ＣＧ合成モジュール６０、音声再生モジュール６２、音声効果モジュール６４、及び音声合成モジュール６６のそれぞれをどのように動作させるか等についての設定データ等が、まとめて登録されている。
【０１０７】
この演出設定ファイル５２内の各種の設定データは、映像演出の開始前または映像演出の停止後のメンテナンスモード時において、メンテナンス作業員による図１に示すコンピュータ８の入力装置１４からの操作入力が行なわれた場合に、このような操作入力に基づいて、図１６に示す演出構成モジュール５０が変更するようになっている。
【０１０８】
演出制御モジュール４４は、映像演出を開始させるための起動操作の後であって実際に映像演出を開始する前に、演出設定ファイル５２の設定データに基づいて、複数の素材ファイル３０，１５４，１５６のうちのいずれを使用するかについて、及び複数の映像演出モジュール４８，１６０，１６２のうちのいずれを動作させるか等について、実際に選択したり制御したりするようになっている。
【０１０９】
また、映像演出用プログラム１５８内の映像演出モジュール４８，１６０，１６２のうち、演出制御モジュール４４により選択されたものの中の、流体シミュレーションモジュール５４、映像再生モジュール５６、映像効果モジュール５８、ＣＧ合成モジュール６０、音声再生モジュール６２、音声効果モジュール６４、及び音声合成モジュール６６のそれぞれは、前記第１の実施の形態において説明した動作と同様の動作のほかにも、演出制御モジュール４４の制御の下で、必要に応じて以下のような動作を行なうようになっている。
【０１１０】
すなわち、映像再生モジュール５６は、素材ファイル３０，１５４，１５６のうちの演出制御モジュール４４により選択されたものの中に、動画データ３４及び／又は静止画データ３６が複数ある場合に、これらを同時かつ別個に再生するか、又は順番に再生していくか等について、演出制御モジュール４４の制御の下で決定するようになっている。
【０１１１】
また、映像再生モジュール５６は、演出制御モジュール４４の制御の下で、センサモジュール４６から送られてくる情報や、流体シミュレーションモジュール５４から送られてくるシミュレーション情報に基づいて、映像再生の開始又は停止のタイミングの変更、再生速度の変化、再生する動画データ３４及び／又は静止画データ３６の切換えなどを行うようになっている。
【０１１２】
また、映像効果モジュール５８は、演出制御モジュール４４の制御の下で、センサモジュール４６から送られてくる情報や、流体シミュレーションモジュール５４から送られてくるシミュレーション情報に基づいて、映像再生モジュール５６から受取った映像に対して、例えば、この映像を波紋状に歪ませるなどの変形を与えるエフェクト、又は映像を回転若しくは拡大縮小するエフェクト、又は、映像の一部の範囲だけを拡大した後にこの拡大範囲を移動させていくようにするエフェクト、或いは、映像の色彩や明度を変化させるエフェクト等をリアルタイムに加えるようになっている。
【０１１３】
また、ＣＧ合成モジュール６０は、演出制御モジュール４４の制御の下で、素材ファイル３０，１５４，１５６のうち演出制御モジュール４４により選択されたものの中の３Ｄモデルデータ３８を読み込んで、この３Ｄモデルデータ３８に基づく仮想物体のオブジェクトを生成したり、又は、独自に仮想物体のオブジェクトを生成したりするようになっている。
【０１１４】
また、ＣＧ合成モジュール６０は、素材ファイル３０，１５４，１５６のうち演出制御モジュール４４により選択されたものの中のテキストデータ４２を読み込んで、デザイン化された特殊文字を２次元のＣＧとして生成するようになっている。
【０１１５】
また、ＣＧ合成モジュール６０は、演出制御モジュール４４の制御の下で、生成したＣＧ、及び映像再生モジュール５６や映像効果モジュール５８から受取った映像等を、仮想空間内の所定の位置に配置するようになっている。このようなＣＧ合成モジュール６０の配置作業の中には、このＣＧ合成モジュール６０が生成した仮想物体のオブジェクトの表面、又は２次元又は３次元の仮想空間内の任意の領域に、映像再生モジュール５６や映像効果モジュール５８から受取った映像をテクスチャ（ｔｅｘｔｕｒｅ）として、マッピング(ｍａｐｐｉｎｇ)するような作業が含まれる。
【０１１６】
また、ＣＧ合成モジュール６０は、演出制御モジュール４４の制御の下で、センサモジュール４６から送られてくる情報や、流体シミュレーションモジュール５４から送られてくるシミュレーション情報に基づいて、任意に、仮想空間内における新たなＣＧの生成、ＣＧ同士の合成、ＣＧと映像との合成、ＣＧの変形、及び／又はテクスチャの入れ替えなどをリアルタイムに行うようになっている。
【０１１７】
また、音声再生モジュール６２は、演出制御モジュール４４の制御の下で、センサモジュール４６から送られてくる情報や、流体シミュレーションモジュール５４から送られてくるシミュレーション情報に基づいて、素材ファイル３０，１５４，１５６のうちの演出制御モジュール４４により選択されたものの中の音声データ４０を読み込んで、これを再生するようになっている。
【０１１８】
また、音声再生モジュール６２は、映像再生モジュール５６、映像効果モジュール５８及びＣＧ合成モジュール６０が作成する映像に対応する音声データ４０の割り当て(アサイン)、再生のタイミング及び速度等を制御するようになっている。
【０１１９】
また、音声効果モジュール６４は、演出制御モジュール４４の制御の下で、センサモジュール４６から送られてくる情報や、流体シミュレーションモジュール５４から送られてくるシミュレーション情報に基づいて、音声再生モジュール６２が再生した音声データ４０に対してリアルタイムに、リバーブやディレイ等のエフェクト(効果)を加えたり、ピッチ（周波数）を変更したりするようになっている。また、音声効果モジュール６４は、ノイズを除去するフィルタ処理も行なうようになっている。
【０１２０】
また、音声合成モジュール６６は、演出制御モジュール４４の制御の下で、各種のサウンドシンセシスのアルゴリズムを用い、センサモジュール４６から送られてくる情報や、流体シミュレーションモジュール５４から送られてくるシミュレーション情報に基づいて、電子音データを生成するようになっている。音声合成モジュール６６は、音のオシレーター(発振器)を複数有していることにより、様々な波形を組み合わせた電子音の生成・合成(シンセシス)が可能になっている。
【０１２１】
また、音声合成モジュール６６は、このように生成した電子音データを、音声再生モジュール６２又は音声効果モジュール６４から受取った音声データに合成するようになっている。また、音声合成モジュール６６は、合成した音声データに対するエフェクトの付加も行なうようになっている。
【０１２２】
このような本実施の形態に係る映像演出システム１５０及びその映像演出方法によれば、前記第１の実施の形態と同様に、図３に示すように、タッチパネルを用いないようになっているので、ディスプレイ装置４の表示画面１８上に表示されるインタラクティブ映像８０又はその他の映像そのものに対して視聴者１６が操作を行なうようにする際に、この視聴者１６以外の不図示の他の複数の視聴者が、同時にインタラクティブ映像８０又はその他の映像の変化を把握することができる。
【０１２３】
また、本実施の形態に係る映像演出システム１５０及びその映像演出方法によれば、前記第１の実施の形態と同様に、そのコンピュータ８の中央演算処理装置１２（制御手段）が、ディスプレイ装置４の表示画面１８上に表示されるインタラクティブ映像８０又はその他の映像の中の仮想物体等の形態の変化を、視聴者１６等の物体の変動に対応してリアルタイムに、かつ、連続的に生じさせるよう制御するので、視聴者が自然に、或いは意識的に振舞うことによりひとりでに変化するインタラクティブ映像を楽しむことができる。
【０１２４】
また、本実施の形態に係る映像演出システム１５０及びその映像演出方法によれば、前記第１の実施の形態と同様に、そのディスプレイ装置４の前の一定領域内に入り込んだ視聴者１６等の物体の大きさ及び形状、並びにこれらが動くときの移動方向及びその速さを、視聴者１６等の物体の変動として抽出し、このような変動により仮想空間内に生じる風、又は水中やコロイド溶液中の流れをディスプレイ装置４の表示画面１８上に表示されるインタラクティブ映像８０又はその他の映像に反映させるようになっているので、やはり、視聴者が自然に、或いは意識的に振舞うことによりひとりでに変化するインタラクティブ映像を楽しむことができる。
【０１２５】
なお、本実施の形態に係る映像演出システム１５０においては、そのコンピュータ８の記憶手段１０に３つの素材ファイル３０，１５４，１５６だけが記憶されるようになっていたが、これらとは別個の新たな素材ファイルを記憶したフレキシブルディスク、光ディスク、メモリカード等の記憶媒体を、コンピュータ８が備える不図示の記憶媒体読み取り装置で読み込むことにより、随時、追加していくことができるようになっていてもよい。
【０１２６】
また、コンピュータ８に接続された不図示のネットワーク等を介してダウンロードすることにより、随時、新たな素材ファイルを追加していくことができるようになっていてもよい。また、素材ファイル３０，１５４，１５６のうちのいずれかが不要になった場合には、コンピュータ８の記憶手段１０から削除することができるようになっていてもよい。
【０１２７】
また、本実施の形態に係る映像演出システム１５０においては、その映像演出用プログラム１５８が３つの映像演出モジュール４８，１６０，１６２だけを備えるようになっていたが、これらとは別個の新たな映像演出モジュールを、上記素材ファイルと同様に、記憶媒体やネットワークを介して、随時、追加していくことができるようになっていてもよい。また、映像演出モジュール４８，１６０，１６２のうちのいずれかが不要になった場合には、コンピュータ８の記憶手段１０から削除することができるようになっていてもよい。
【０１２８】
また、前記第１及び第２の実施の形態に係る映像演出システム２，１５０においては、映像演出用プログラム３２，１５８のセンサモジュール４６は、図３に示すカメラセンサ６で撮影した実際の映像から、グレースケール変換、前フレーム差分法の画像処理を行なうようになっていたが、背景差分法等の画像処理を行なうようになっていてもよい。
【０１２９】
また、前記第１及び第２の実施の形態に係る映像演出システム２，１５０においては、映像演出用プログラム３２，１５８のセンサモジュール４６は、図３に示すカメラセンサ６で撮影した実際の映像から、この映像内の物体等について、その大きさ、形状、移動方向、及び速さの情報を抽出するようになっていたが、大きさ、形状、移動方向、及び速さの情報の中からいずれかだけを抽出するようになっていてもよい。また、色や位置等の情報を抽出するようになっていてもよい。
【０１３０】
また、前記第２の実施の形態に係る映像演出システム１５０においては、センサモジュール４６が、前フレーム差分法の画像処理を行なうか又は背景差分法等の画像処理を行なうかについて、或いは、図３に示すカメラセンサ６で撮影する映像内の物体等について、その大きさ、形状、移動方向、速さ、色、位置等の情報のいずれを抽出するかについて、映像演出用プログラム３２，１５８内の演出設定ファイル５２に設定が記憶されておくようにし、演出制御モジュール４４が、このような演出設定ファイル５２の設定も基づいて、センサモジュール４６を制御するようになっていてもよい。
【０１３１】
また、前記第１及び第２の実施の形態に係る映像演出システム２，１５０は、その架台２０としてイーゼルを用いるようになっていたが、イーゼル以外の他の架台を用いるようになっていてもよい。
【０１３２】
また、前記第１及び第２の実施の形態に係る映像演出システム２，１５０は、図３に示すように、そのカメラセンサ６が、ディスプレイ装置４の上端部に取り付けられていたが、このカメラセンサ６は、ディスプレイ装置４の表示画面１８の前側の一定領域内を撮影することができるようになっていれば、どこに取り付けられていてもよい。
【０１３３】
例えば、ディスプレイ装置４の上端部にひさしを設けると共に、このひさしの先端部にカメラセンサ６を取り付けることにより、このカメラセンサ６が、下側方向を略垂直に見下ろして、ディスプレイ装置４の表示画面１８の前側の一定領域内を撮影するようになっていてもよい。
【０１３４】
また、前記第１及び第２の実施の形態に係る映像演出システム２，１５０においては、その映像演出用プログラム３２，１５８の映像演出モジュール４８の流体シミュレーションモジュール５４が、必ずしも厳密なシミュレーションを行なうようになっていなければならないわけではなく、簡易的なシミュレーションを行なうようになっていてもよい。
【０１３５】
例えば、流体シミュレーションモジュール５４は、センサモジュール４６が、カメラセンサ６が実際に撮影した映像内の何らかの移動物体について、その大きさ、形状、移動方向、及び速さの情報を抽出したときに、これらの情報に基づいて、この映像内の移動物体の外形線上の複数の任意の位置に、これら複数の任意の位置のそれぞれを中心とする複数の仮想円を想定し、これら複数の仮想円のそれぞれを、映像内の移動物体の速度と同じ速度で膨張させたときにおける、これら複数の仮想円の全てに接する包絡線の移動の様子が、カメラセンサ６が実際に撮影した映像内の移動物体により生じた風であるものとして扱うようになっていてもよい。
【０１３６】
また、前記第１及び第２の実施の形態に係る映像演出システム２，１５０は、その映像演出用プログラム３２，１５８内に、この映像演出システム２，１５０の使用時間又は使用回数に基づいて使用料金を算出する使用料算出モジュール（使用料算出手段）を備えるようになっていてもよい。
【０１３７】
また、前記第１及び第２の実施の形態に係る映像演出システム２，１５０は、このような使用料算出モジュールが、この映像演出システム２，１５０の使用回数や使用条件を制限するようになっていてもよい。また、このような使用料算出モジュールが、映像演出システム２，１５０の使用時間やシステム状況などの記録(ログ)を取ったり、これらの記録をネットワーク経由で任意のサーバーに転送するようになっていてもよい。
【図面の簡単な説明】
【０１３８】
【図１】本発明の第１及び第２の実施の形態に係る映像演出システム２，１５０のハードウェア構成を示す図である。
【図２】本発明の第１及び第２の実施の形態に係る映像演出システム２，１５０のディスプレイ装置４、カメラセンサ６、及び架台２０を示す正面図である。
【図３】本発明の第１及び第２の実施の形態に係る映像演出システム２，１５０のディスプレイ装置４、カメラセンサ６、架台２０及び視聴者１６を示す側面図である。
【図４】本発明の第１の実施の形態に係る映像演出システム２のソフトウェア２８の構成を示す概念図である。
【図５】図２中のディスプレイ装置４の表示画面１８に表示される映像８０を示す図である。
【図６】図５中の映像８０の一部を構成する映像８２を示す図である。
【図７】図５中の映像８０の一部を構成する映像８４を示す図である。
【図８】図５中の映像８０の一部を構成する映像８６を示す図である。
【図９】図５中の映像８０の一部を構成する映像８８を示す図である。
【図１０】図５中の映像８０の一部を構成する映像９０を示す図である。
【図１１】図５中の映像８０の一部を構成する映像９２を示す図である。
【図１２】図５中の映像８０の一部を構成する映像８６を示す図である。
【図１３】図５中の映像８０の一部を構成する映像８６を示す図である。
【図１４】図５中の映像８０の一部を構成する映像８８を示す図である。
【図１５】図５中の映像８０の一部を構成する映像９０を示す図である。
【図１６】本発明の第２の実施の形態に係る映像演出システム１５０のソフトウェア１５２の構成を示す概念図である。
【符号の説明】
【０１３９】
２  映像演出システム
４  ディスプレイ装置
６  カメラセンサ
８  コンピュータ
１０  記憶装置
１２  中央演算処理装置  
１４  入力装置
１６  視聴者
１８  表示画面
２０  架台
２８  ソフトウェア
３０  素材ファイル
３２  映像演出用プログラム
３４  動画データ
３６，３６ａ，３６ｂ，３６ｃ，３６ｄ，３６ｅ，３６ｆ  静止画データ
３８  ３Ｄモデルデータ
４０  音声データ
４２  テキストデータ
４４  演出制御モジュール
４６  センサモジュール
４８  映像演出モジュール
５０  演出構成モジュール
５２  演出設定ファイル
５４  流体シミュレーションモジュール  
５６  映像再生モジュール  
５８  映像効果モジュール  
６０  ＣＧ合成モジュール  
６２  音声再生モジュール
６４  音声効果モジュール
６６  音声合成モジュール
８０，８２，８４，８６，８８，９０，９２  映像
１０２  机
１０４  アルバム
１０６  カーテン
１０８  窓
１１０  空
１１２  パーティクル
１１４  文字列
１２０ｃ，１２０ｄ，１２０ｅ，１２０ｆ  写真
１５０  映像演出システム
１５２  ソフトウェア
１５４，１５６  素材ファイル
１５８  映像演出用プログラム
１６０，１６２  映像演出モジュール
【図１】
0005214267.tif 000002
【図２】
0005214267.tif 000003
【図３】
0005214267.tif 000004
【図４】
0005214267.tif 000005
【図５】
0005214267.tif 000006
【図６】
0005214267.tif 000007
【図７】
0005214267.tif 000008
【図８】
0005214267.tif 000009
【図９】
0005214267.tif 000010
【図１０】
0005214267.tif 000011
【図１１】
0005214267.tif 000012
【図１２】
0005214267.tif 000013
【図１３】
0005214267.tif 000014
【図１４】
0005214267.tif 000015
【図１５】
0005214267.tif 000016
【図１６】
0005214267.tif 000017