(57)【要約】【課題】よりエンタテインメント性を高めたディスプレイシステムを提供する。【課題を解決するための手段】所定の空間領域及び該空間領域に進入した人を撮影する撮影手段１と、前記撮影手段１が撮影した映像にエフェクトを合成するエフェクト合成手段２と、前記エフェクト合成手段２によりエフェクトを合成した映像を表示する表示手段３とを具備して、前記撮影手段１並びに前記表示手段３を不特定人が訪れる空間に設置して不特定人の利用に供することができるディスプレイシステムを構成した。【選択図】図１
2004287004.tif 000002
【特許請求の範囲】
【請求項１】
所定の空間領域及び該空間領域に進入した人を撮影する撮影手段と、
前記撮影手段が撮影した映像にエフェクトを合成するエフェクト合成手段と、
前記エフェクト合成手段によりエフェクトを合成した映像を表示する表示手段とを具備してなり、
前記撮影手段並びに前記表示手段を不特定人が訪れる空間に設置して不特定人の利用に供することができるディスプレイシステム。
【請求項２】
前記表示手段は、前記撮影手段が撮影した人を略等身大に表示し得る寸法を有するものである請求項１記載のディスプレイシステム。
【請求項３】
前記空間領域に進入した人が該空間領域の内に存在している時間若しくはその累積を計測する計測手段をさらに具備し、
前記エフェクト合成手段が、前記計測手段により計測される、前記人が前記空間領域の内に存在している時間若しくはその累積に応じたエフェクトを合成する請求項１又は２記載のディスプレイシステム。
【請求項４】
前記撮影手段が撮影した映像を記憶する記憶手段をさらに具備し、
前記記憶手段が記憶している映像を前記表示手段が表示し得るように構成した請求項１、２又は３記載のディスプレイシステム。
【請求項５】
前記撮影手段を介して光学的に入力される、前記映像を前記記憶手段に記憶させる録画または前記記憶手段が記憶している映像を前記表示手段に表示させる再生を制御する制御命令を解釈する命令解釈手段をさらに具備する請求項４記載のディスプレイシステム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、不特定人が訪れる空間に設置されるディスプレイシステムに関する。
【０００２】
【従来の技術】
大規模な展示場、競技場に設置される大型映像スクリーンや、建築物の壁面に設置されるビルボードが既知である（例えば、下記特許文献１を参照）。
【０００３】
【特許文献１】特開２００１−２１５４２４号公報
【０００４】
【発明が解決しようとする課題】
主要幹線駅の周辺等、多くの人が佇むいわゆる待ち合わせ場所には、広告目的のディスプレイやビルボードが設置されている。ディスプレイ、ビルボード自体が待ち合わせの目印となっていることも多い。
【０００５】
しかしながら、上記の如きディスプレイやビルボードでは純然たるＣＭや出来合いのコンテンツが放映されることが専らであり、それを見ている人との間に直接的な関わり合いは存在しない。従って、待ち合わせ時の暇つぶしにはなるもののそれ以上の楽しみを提供できるものではなく、待ち合わせをしている人にとって必ずしも親しみが持てるものとなってはいない。
【０００６】
以上の問題に鑑みて、本発明は、よりエンタテインメント性を高めたディスプレイシステムを提供しようとするものである。
【０００７】
【課題を解決するための手段】
上述した課題を解決すべく、本発明では、図１に示すように、所定の空間領域及び該空間領域に進入した人を撮影する撮影手段１と、前記撮影手段１が撮影した映像にエフェクトを合成するエフェクト合成手段２と、前記エフェクト合成手段２によりエフェクトを合成した映像を表示する表示手段３とを具備して、前記撮影手段１並びに前記表示手段３を不特定人が訪れる空間に設置して不特定人の利用に供することができるディスプレイシステムを構成した。このようなものであれば、その場に存在する人が主体的に撮影、表示対象となり得るため、該ディスプレイシステムを用いて遊び、大いに楽しむことができる。勿論、該ディスプレイシステムにおける表示手段３の表示領域の一部に広告を表示してもよく、このときには従前と比較してより高い広告効果を期待できる。
【０００８】
前記表示手段３は、前記撮影手段１が撮影した人を略等身大に表示し得る寸法を有するものであることが好ましい。
【０００９】
図２に示すように、前記空間領域に進入した人が該空間領域の内に存在している時間若しくはその累積を計測する計測手段４をさらに具備し、前記エフェクト合成手段２が、前記計測手段４により計測される、前記人が前記空間領域の内に存在している時間若しくはその累積に応じたエフェクトを合成するものであれば、例えば待ち合わせをしている人が待っている時間の長さを示すようなエフェクトを合成するようなことが可能となる。
【００１０】
図３に示すように、前記撮影手段１が撮影した映像を記憶する記憶手段５をさらに具備し、前記記憶手段５が記憶している映像を前記表示手段３が表示し得るように構成すれば、ミュージシャンや芸人、その他の人が行うライブやパフォーマンスをコンテンツとして記憶させて、事後的に再生できるものとなる。即ち、決して出来合いではないオリジナルのコンテンツを放映することが可能となり、アマチュアミュージシャンや芸人等に発表の機会を提供することにもつながる。
【００１１】
前記撮影手段１を介して光学的に入力される、前記映像を前記記憶手段５に記憶させる録画または前記記憶手段５が記憶している映像を前記表示手段３に表示させる再生を制御する制御命令を解釈する命令解釈手段６をさらに具備するものであれば、録画命令や再生命令を入力するための操作入力デバイスを別途設ける必要がない。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照して説明する。本実施形態におけるディスプレイシステムは、所定の空間領域Ｒ及び該空間領域Ｒに進入した人Ｐを撮影する撮影手段１と、前記撮影手段１が撮影した映像にエフェクトを合成するエフェクト合成手段２と、前記エフェクト合成手段２によりエフェクトを合成した映像を表示する表示手段３とを主要な構成要素とする。そして、該ディスプレイシステムの撮影手段１並びに表示手段３は不特定人Ｐが訪れる空間に設置して、不特定人Ｐの利用に供する。
【００１３】
撮影手段１は、例えば、既知のビデオカメラを利用して構成できる。撮影手段１は、表示手段３の画面に臨む空間領域Ｒ及び該空間領域Ｒ内に存在する人Ｐを撮影する。撮影手段１は、図４に例示するように表示手段３の画面に対向するように設置してもよく、あるいは、図５に例示するように表示手段３の画面の方向と略同一方向を向くように（特に、表示手段３の画面に埋め込むような態様で）設置してもよい。撮影手段１は、パンやティルトを行わない定点観測型のものとすることが簡便であるが、パンやティルトを行い得るものであっても構わない。また、撮影手段１は、単数でもよく、複数でもよい。
【００１４】
他方、表示手段３は、例えば、ＬＥＤ表示機、液晶ディスプレイ、プラズマディスプレイ等や、スクリーンと該スクリーンに映像を投影するプロジェクタとの組み合わせ、その他である。表示手段３は、図７、図８に示すように、撮影手段１が撮影した人Ｐを略等身大に表示し得る寸法を有するものであることが好ましい。図示例のものは、該表示手段３を設置している地面若しくは床面の近傍から人Ｐの身長を超える高さ位置までの画面表示領域を有している。
【００１５】
しかして、エフェクト合成手段２は、撮影手段１が出力する映像データまたは映像信号を取得し、必要に応じてその映像にエフェクトを合成し、表示手段３に表示させるべき映像データまたは映像信号を出力する役割を担う。エフェクト合成手段２は、例えば、図６に示すように、プロセッサ２ａ、メインメモリ２ｂ、ハードディスクドライブその他の補助記憶デバイス２ｃ、表示制御デバイス２ｄ、入力インタフェース２ｅ、等のハードウェア資源を具備する。表示制御装置２ｄは、プロセッサ２ａより受けた描画指示をもとに表示させるべき画像を構成し、映像データまたは映像信号を生成して表示手段３に向けて送出する機能を有するビデオチップ（あるいは、グラフィクスチップ）、画像データ等を一時的に格納しておく役割を担うビデオメモリ（Ｖｉｄｅｏ  ＲＡＭ）等のデバイスを用いてなり、入力インタフェース２ｅは、撮影手段１が撮影した映像の映像データを受信するデータ通信インタフェースまたは映像信号をディジタルデータに変換するビデオキャプチャ（デジタイザ）等のデバイスを用いてなる。通常、プロセッサ２ａによって実行されるべきプログラムが補助記憶デバイス２ｃに格納されており、プログラムの実行の際には補助記憶デバイス２ｃからメインメモリ２ｂに読み込まれ、プロセッサ２ａによって解読される。そして、該プログラムに従い上記のハードウェア資源を作動して、少なくともエフェクト合成手段２としての機能を発揮するようにしている。
【００１６】
エフェクト合成手段２は、撮影手段１よりもたらされる映像を解析することで該撮影手段１が撮影した人Ｐの動態を解析する。エフェクト合成手段２が種々のエフェクトを合成する処理を開始あるいは終了するための条件が予め設定されており、解析の結果得られた人Ｐの動態が該条件に合致した場合、合致した条件に即したエフェクトを合成する処理を開始あるいは終了する。
【００１７】
エフェクト合成手段２が合成するエフェクトは、撮影された人Ｐを対象としたもの、撮影された人Ｐの映像を利用したもの、または、撮影された人Ｐと関わり合いを有する態様のものであることが好ましい。以降、エフェクトの具体例を列挙する。図７（ａ）に示すものは、撮影対象（即ち、表示対象）となっている人Ｐが空間領域Ｒ内に存在している時間若しくはその累積に応じたエフェクトを合成している例である。つまり、待ち合わせをしている人Ｐが所定の時間より長く待たされているようなときに、その事実を明示するメッセージＭ１や暗示（いわば、当人の気持ちを代弁）するマークＭ２等を映像中に表示する。この場合のディスプレイシステムは、空間領域Ｒに進入した人Ｐが該空間領域Ｒの内に存在している時間若しくはその累積を計測する計測手段４をも具備する。計測手段４は、例えば、ＲＦＩＤ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  ＩＤｅｎｔｉｆｉｃａｔｉｏｎ；識別情報を記録する記録媒体に対し、電磁波を用いて情報の記録または読出を行う認識方法）技術を利用して構成できる。即ち、計測手段４は、人Ｐが所持し、当該人Ｐを識別する識別子を記憶しているＲＦＩＤタグＴと、空間領域Ｒ内に存在している人Ｐが所持するＲＦＩＤタグＴより送信される識別子を受信するＲＦＩＤリーダＡと、ＲＦＩＤリーダＡを介して識別子を取得することで空間領域Ｒの内に存在している人Ｐを感知し、当該人Ｐが存在している時間若しくはその累積をカウントするカウンタとを構成要素とする。カウンタは、エフェクト合成手段として機能するハードウェア２とは別個のものとしてもよいが、エフェクト合成手段として機能するハードウェア２がプログラムによりカウンタとしての機能をも発揮するものとすることが好ましい。このときには、ＲＦＩＤリーダＡと、エフェクト合成手段として機能するハードウェア２とを電気通信回線を介して通信可能に接続する。エフェクト合成手段２は、計測手段４のカウンタにより計測された、撮影対象となった人Ｐが空間領域Ｒの内に存在している時間若しくはその累積を参照して、これに応じたメッセージＭ１、マークＭ２等の画像を元の映像に合成する処理を実行、その結果得られる映像の映像データまたは映像信号を表示手段３に向けて送出する。因みに、上記の如きＲＦＩＤシステムを付帯させてあれば、撮影対象となる人Ｐを識別した上で、映像に合成すべきエフェクトの態様を決定することが可能である。勿論、ＲＦＩＤシステムは、空間領域Ｒ内に人Ｐが存在しているか否かを感知する感知手段として機能する。よって、該感知手段が人Ｐの存在を感知しているときにはエフェクト合成手段２がエフェクト処理を実行する一方、人Ｐの存在を感知していないときはエフェクト処理を実行しないものとすることも可能である。
【００１８】
エフェクト合成手段２が実行する処理の手順を図１１ないし図１３に示すフローチャートを参照して述べると、エフェクト合成手段２は、撮影手段１が撮影する空間領域Ｒ内に人が存在しているか否かを感知して（ステップＳ１）、人が存在している場合にはエフェクト合成処理を行い（ステップＳ２）、エフェクトを合成した映像を表示手段３に表示させる（ステップＳ３）。一方で、人が存在していない場合にはエフェクト合成処理を行わない。エフェクト合成処理を行わないときには、撮影手段１が撮影した映像をそのまま表示手段３に表示させる（ステップＳ４）ことができる。図７（ａ）に例示するようなエフェクトを合成する処理（ステップＳ２）を行うにあたり、撮影対象となった人Ｐが空間領域Ｒの内に存在している時間若しくはその累積を参照し（ステップＳ２１）、これに応じたメッセージＭ１、マークＭ２等の画像を元の映像に合成する処理を実行する（ステップＳ２２）。
【００１９】
図７（ｂ）、図７（ｃ）に示すものは、撮影した人Ｐの映像に直接的なエフェクトを合成、言い換えるならば撮影した人Ｐの映像を利用した映像を生成する例である。図７（ｂ）に示す例では、表示手段３の画面の前（の空間領域Ｒ内）にいる人Ｐがジャンプすると、画面に映し出されている当該人Ｓは落下することなく空中で停止、またはどこまでも飛び上がっていってしまう。図７（ｃ）に示す例では、表示手段３の画面の前にいる人Ｐが移動すると、画面に映し出されている当該人Ｓの足下に擬音Ｍ３が合成される。さらには、表示手段３の画面の前にいる人Ｐが所定速度よりも速く移動すると、言い換えるならば走ると、画面に映し出されている当該人Ｓが現実世界の人Ｐよりも速く走り抜けていってしまう。これらの如きエフェクトを合成する処理（ステップＳ２）を行うにあたり、エフェクト合成手段２は、背景差分、フレーム間差分その他の方法によりエフェクトの対象となる人Ｐの像Ｓを元の映像より抽出する処理を実行する（ステップＳ２３）。その上で、抽出した人Ｐの像Ｓの移動の向きやスピード等を判断して合成すべきエフェクトを選択したり（ステップＳ２４）、抽出した人Ｐの像Ｓを利用したエフェクト合成処理を実行したり（ステップＳ２５）する。人Ｐがジャンプする例では、撮影対象の人Ｐの像Ｓと背景の映像とを互いに分離し、空中に停止またはどこまでも飛び上がっていってしまうように人Ｐの像Ｓを変位させながら背景の映像に重ね合わせる処理を実行する。また、人Ｐを追い抜く人が現れる例では、撮影対象の人Ｐの像Ｓと背景の映像とを互いに分離し、人Ｐの像Ｓにおける時間軸を背景の映像におけるそれよりも高速化して背景の映像に重ね合わせる（ちょうど早送り再生している人Ｐの像Ｓを背景の映像に重ね合わせるような）処理を実行する。但し、単に映像のあるフレームを取り出し、当該フレームを静止画として表示手段３に表示させることで図７（ｂ）の如きエフェクトを実現してもよく、映像をメインメモリ２ｂにキャッシュしてしかる後これを早送り再生することで図７（ｃ）の如きエフェクトを実現してもよい。そして、その結果得られる映像の映像データまたは映像信号を表示手段３に向けて送出する。
【００２０】
加えて、本実施形態におけるディスプレイシステムは、前記撮影手段１が撮影した映像を記憶する記憶手段５をさらに具備して、前記記憶手段５が記憶している映像を前記表示手段３が表示し得る。記憶手段５は、例えば、エフェクト合成手段として機能するハードウェア２に実装されたメインメモリ２ｂ若しくは補助記憶デバイス２ｃの所要の記憶領域を利用してなる。因みに、記憶手段５が記憶している映像コンテンツを示す画像Ｎや記憶手段５が記憶している映像コンテンツのインデックス等を表示手段３の画面に表示して、映像コンテンツの存在を人々に告知するようにしてもよい。
【００２１】
さらに、撮影手段１が撮影した映像を記憶手段５に記憶させる旨を指示する録画命令、または、記憶手段５が記憶している映像を表示手段３に表示させる旨を指示する再生命令や、早送り再生、再生一時停止、再生すべきコンテンツの選択その他の制御命令を、撮影手段１を介して光学的に入力できるように構成することが好ましい。この場合のディスプレイシステムは、撮影手段１を介して光学的に入力される制御命令を解釈する命令解釈手段６をも具備する。より具体的には、エフェクト合成手段として機能するハードウェア２がプログラムにより命令解釈手段６としての機能をも発揮するものとしている。録画命令、再生命令は、例えば、図１０（ａ）、図１０（ｂ）に示すように、録画命令（図１０（ａ））、再生命令（図１０（ｂ））を意味する文字、図形等を記載したオブジェクトＯや、あるいは録画命令、再生命令を意味する形状をなすオブジェクトＯを使用して入力する。
【００２２】
即ち、上記の如きオブジェクトＯを撮影手段１に向けて提示すると、これを撮影した映像が命令解釈手段６にもたらされる。命令解釈手段６が実行する処理の手順を図１４に示すフローチャートを参照して述べると、命令解釈手段６は、撮影された映像を取得し（ステップＳ５）、録画命令、再生命令を意味する文字、図形、形状等を画像解析により抽出することで、入力された命令を解釈する。典型的には、録画命令、再生命令等の制御命令を意味する文字、図形、形状等の幾何学的特徴に着目したテンプレートマッチングを行い（ステップＳ６）、入力された命令を解釈する。そして、解釈した命令に従いハードウェア２を制御して（ステップＳ７）、撮影手段１よりもたらされる映像を記憶手段５に記憶したり、記憶手段５に記憶されている映像コンテンツを読み出して表示手段３に表示したりする。但し、人Ｐの特定のジェスチャーを以て制御命令とし、命令解釈手段６がこれらを解析して録画あるいは再生を実施するものとしてもよい。
【００２３】
本実施形態によれば、所定の空間領域Ｒ及び該空間領域Ｒに進入した人Ｐを撮影する撮影手段１と、前記撮影手段１が撮影した映像にエフェクトを合成するエフェクト合成手段２と、前記エフェクト合成手段２によりエフェクトを合成した映像を表示する表示手段３とを具備して、前記撮影手段１並びに前記表示手段３を不特定人Ｐが訪れる空間に設置して不特定人Ｐの利用に供することができるディスプレイシステムを構成したため、その場に存在する人Ｐが主体的に撮影、表示対象となり得ることとなる。従って、その場に存在する人Ｐが該ディスプレイシステムを用いて遊び、大いに楽しむことができるものとなる。勿論、該ディスプレイシステムにおける表示手段３の表示領域の一部に広告を表示してもよく、このときには従前と比較してより高い広告効果を期待できる。
【００２４】
前記表示手段３は、前記撮影手段１が撮影した人Ｐを略等身大に表示し得る寸法を有するものであるため、ちょうど自分自身を映し出す鏡のようでありながら、映し出された自身の像にエフェクトが合成されるものとなって、全ての人の興味を引くことができる優れたエンタテインメント性を発揮する。
【００２５】
前記空間領域Ｒに進入した人Ｐが該空間領域Ｒの内に存在している時間若しくはその累積を計測する計測手段４をさらに具備し、前記エフェクト合成手段２が、前記計測手段４により計測される、前記人Ｐが前記空間領域Ｒの内に存在している時間若しくはその累積に応じたエフェクトを合成するものであるため、例えば待ち合わせをしている人Ｐが待っている時間の長さを示すようなエフェクトを合成するようなことが可能となっている。
【００２６】
前記撮影手段１が撮影した映像を記憶する記憶手段５をさらに具備し、前記記憶手段５が記憶している映像を前記表示手段３が表示し得るように構成したため、ミュージシャンや芸人、その他の人が行うライブやパフォーマンスをコンテンツとして記憶させて、事後的に再生できるものとなる。即ち、決して出来合いではないオリジナルのコンテンツを放映することが可能となり、アマチュアミュージシャンや芸人等に発表の機会を提供することにもつながる。
【００２７】
前記撮影手段１を介して光学的に入力される、前記映像を前記記憶手段５に記憶させる旨を指示する録画命令、前記記憶手段５が記憶している映像を前記表示手段３に表示させる旨を指示する再生命令等の制御命令を解釈する命令解釈手段６をさらに具備するため、録画命令や再生命令を入力するための操作入力デバイスを別途設ける必要がない。
【００２８】
なお、本発明は以上に詳述した実施形態に限られるものではない。特に、ディスプレイシステムを、前記空間領域Ｒにおける音声を録音する録音手段並びに前記録音手段が録音した音声を出力する音声出力手段をも具備するものとしてもよい。この場合、エフェクト合成手段２が、映像のみならず音声にもエフェクトを合成することを妨げない。さらには、記憶手段５が、映像のみならず音声をも記憶することを妨げない。
【００２９】
エフェクト合成手段２が、記憶手段５に記憶させるべき映像にエフェクトを合成することを妨げない。また、コンテンツの再生の際に、記憶手段５に記憶されている映像にエフェクトを合成した上で表示手段３に表示させることを妨げない。
【００３０】
本発明に係るエフェクト合成手段２は、パーソナルコンピュータその他の汎用的なコンピュータにプログラムをインストールして構成することが可能であって、専用のハードウェアを製造することが必須であるわけではない。
【００３１】
その他各部の具体的構成や図１１ないし図１４に示す処理の手順等は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で種々変形が可能である。
【００３２】
【発明の効果】
以上に詳述した本発明によれば、よりエンタテインメント性を高めたディスプレイシステムを実現可能となる。
【図面の簡単な説明】
【図１】本発明に係るディスプレイシステムの機能ブロック図
【図２】本発明に係るディスプレイシステムの機能ブロック図
【図３】本発明に係るディスプレイシステムの機能ブロック図
【図４】撮影手段及び表示手段の設置の態様を模式的に示す上面図
【図５】撮影手段及び表示手段の設置の態様を模式的に示す上面図
【図６】ディスプレイシステムが具備するハードウェアリソースを示す図
【図７】エフェクト合成手段によるエフェクトを例示する図
【図８】ＲＦＩＤタグ、ＲＦＩＤリーダを例示する図
【図９】記憶手段が記憶している映像コンテンツを示す画像を表示手段の画面に表示した状態を例示する図
【図１０】撮影手段を介して入力される制御命令を例示する図
【図１１】エフェクト合成手段が実行する処理の手順を示すフローチャート
【図１２】同フローチャート
【図１３】同フローチャート
【図１４】命令解釈手段が実行する処理の手順を示すフローチャート
【符号の説明】
１…撮影手段
２…エフェクト合成手段
３…表示手段
Ｒ…所定の空間領域
Ｐ…不特定人
【図１】
2004287004.tif 000003
【図２】
2004287004.tif 000004
【図３】
2004287004.tif 000005
【図４】
2004287004.tif 000006
【図５】
2004287004.tif 000007
【図６】
2004287004.tif 000008
【図７】
2004287004.tif 000009
【図８】
2004287004.tif 000010
【図９】
2004287004.tif 000011
【図１０】
2004287004.tif 000012
【図１１】
2004287004.tif 000013
【図１２】
2004287004.tif 000014
【図１３】
2004287004.tif 000015
【図１４】
2004287004.tif 000016