(57)【要約】【課題】ユーザの姿に前景映像または背景映像を合成した合成映像に臨場感や没入感を持たせることができる映像装置を提供すること。【解決手段】映像装置１は、互いに視差を有する映像を撮像する第１および第２の撮像部によってユーザを撮像する立体映像撮像装置１０と、立体映像撮像装置１０から出力される撮像データに、前景または背景の映像データを合成した合成映像データを生成する制御装置３０と、制御装置３０から出力される合成映像データに基づいて互いに視差を有する映像を表示する立体映像表示装置２０とを備える。そして、映像装置１においては、立体映像撮像装置１０、立体映像表示装置２０および制御装置３０が一体化され、かつ、立体映像撮像装置１０の撮像位置または立体映像表示装置２０の表示位置が変更自在である。【選択図】図１
2013038614.tif 000002
【特許請求の範囲】
【請求項１】
互いに視差を有する映像を撮像する第１および第２の撮像部によってユーザを撮像する立体映像撮像装置と、
前記立体映像撮像装置から出力される撮像データに、前景および／または背景の映像データを合成した合成映像データを生成する制御装置と、
前記制御装置から出力される合成映像データに基づいて互いに視差を有する映像を表示する立体映像表示装置と、を備え、
前記立体映像撮像装置、前記立体映像表示装置および前記制御装置が一体化され、かつ、前記立体映像撮像装置の撮像位置および／または前記立体映像表示装置の表示位置が変更自在であることを特徴とする映像装置。
【請求項２】
前記制御装置は、
複数の前記映像データを記憶する記憶手段と、
前記記憶手段に記憶された映像データのうち前記撮像データに合成される映像データを選択する選択手段と、を備えたことを特徴とする請求項１に記載の映像装置。
【請求項３】
前記制御装置は、
外部の音声信号を入力するマイクと、
前記マイクから出力される音声信号を解析する解析手段と、を備え、
前記選択手段は、前記解析手段による解析結果に基づいて、前記撮像データに合成される映像データを選択することを特徴とする請求項２に記載の映像装置。
【請求項４】
前記制御装置は、
前記撮像データから前記ユーザの位置を検出する検出手段を備え、
前記選択手段は、前記検出手段による検出結果に基づいて、前記撮像データに合成される映像データを選択することを特徴とする請求項２または３に記載の映像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像装置に関する。
【背景技術】
【０００２】
従来、撮像手段によりリアルタイムに取り込まれたユーザの姿とユーザが選択した画像との合成画像をシート状のシールに印刷して出力する写真シール作成装置が知られており、主にゲームセンターなどの娯楽施設に設置されて、若者を中心に広く親しまれている。
【０００３】
かかる写真シール作成装置では、撮像手段により撮像されたユーザの姿に背景映像を合成した合成映像が液晶表示装置などに表示され、ユーザは液晶表示装置に表示された合成映像を見ながら背景映像を選択することができる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２２２９１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の装置では、ユーザへ提供される合成映像が２次元の静止画像であることから、合成映像に対する臨場感や没入感に乏しい。そのため、かかる合成映像を提供する装置として娯楽施設に設置される装置は、上記写真シール作成装置に限られているのが現状である。
【０００６】
今後、新たな顧客の開拓、すなわち新規の市場を開拓するためには、臨場感や没入感の向上を図ることが求められると考えられる。
【０００７】
そこで、本発明は、ユーザの姿に前景映像または背景映像を合成した合成映像に臨場感や没入感を持たせることができる映像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明は、互いに視差を有する映像を撮像する第１および第２の撮像部によってユーザを撮像する立体映像撮像装置と、前記立体映像撮像装置から出力される撮像データに、前景および／または背景の映像データを合成した合成映像データを生成する制御装置と、前記制御装置から出力される合成映像データに基づいて互いに視差を有する映像を表示する立体映像表示装置と、を備え、前記立体映像撮像装置、前記立体映像表示装置および前記制御装置が一体化され、かつ、前記立体映像撮像装置の撮像位置および／または前記立体映像表示装置の表示位置が変更自在であることを特徴とする。
【発明の効果】
【０００９】
本発明にかかる映像装置は、ユーザの姿に前景映像または背景映像を合成した合成映像に臨場感や没入感を持たせることができるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施例１にかかる映像装置の説明図である。
【図２】図２は、実施例１にかかる映像装置の外観模式図である。
【図３】図３は、実施例１にかかる映像装置のブロック図である。
【図４】図４は、実施例１にかかる制御装置によって実行されるメイン処理手順を示すフローチャートである。
【図５】図５は、実施例１にかかる表示部に表示される案内画面の一例を示す図である。
【図６】図６は、実施例１にかかる制御装置によって実行される特撮モード処理手順を示すフローチャートである。
【図７】図７は、実施例１にかかる制御装置による映像合成の説明図である。
【図８】図８は、実施例１にかかる制御装置によって実行されるカラオケモードの処理手順を示すフローチャートである。
【図９】図９は、実施例１にかかる制御装置による映像合成の説明図である。
【図１０】図１０は、実施例２にかかる映像装置の外観模式図である。
【図１１】図１１は、実施例３にかかる映像装置の外観模式図である。
【発明を実施するための形態】
【００１１】
以下に、本発明にかかる映像装置のいくつかの実施例を図面に基づいて詳細に説明する。なお、これらの実施例によりこの発明が限定されるものではない。
【実施例１】
【００１２】
まず、実施例１にかかる映像装置について説明する。図１は、実施例１にかかる映像装置の説明図である。図１に示すように、実施例１にかかる映像装置１は、立体映像撮像装置１０と、立体映像表示装置２０と、制御装置３０と、操作装置４０を備える。制御装置３０は、操作装置４０へのユーザＵの操作に基づいて立体映像撮像装置１０および立体映像表示装置２０を制御する。
【００１３】
立体映像撮像装置１０は、互いに視差を有する映像を撮像する第１および第２の撮像部を備え、操作装置４０へのユーザＵの操作に応じて、ユーザＵを撮像することによって撮像データを生成する。かかる撮像データは、右眼用撮像データと左眼用撮像データとを含み、立体映像撮像装置１０から制御装置３０へ出力される。
【００１４】
制御装置３０は、撮像データ記憶部を備えており、立体映像撮像装置１０から出力される撮像データを撮像データ記憶部に記憶する。制御装置３０は、操作装置４０へのユーザＵの操作に応じて、撮像データ記憶部に記憶した撮像データを立体映像表示装置２０へ出力する。
【００１５】
ここで、撮像データ記憶部に記憶される映像データは、立体映像撮像装置１０から出力される撮像データに、前景用の映像データ（以下、前景映像データと記載する）や背景用の映像データ（以下、背景映像データと記載する）を合成した合成映像データである。具体的には、撮像データ記憶部に記憶される映像データは、右眼用撮像データに右眼用の前景映像データや右眼用の背景映像データを合成した右眼用の合成映像データと、左眼用撮像データに左眼用の前景映像データや左眼用の背景映像データを合成した左眼用の合成映像データである。合成する映像データは、ユーザＵが操作装置４０を操作することによって選択することが可能である。制御装置３０は、ユーザＵによって選択された映像データを、立体映像撮像装置１０から出力される撮像データに合成する。なお、図１に示す例では、ユーザＵの背後にクロマキー合成のための単色（例えば、青色や赤色）の部材３が配設される。かかる部材３として、例えば、単色の布や壁紙などを用いることができ、制御装置３０は、クロマキー技術により、ユーザＵによって選択された映像データを、立体映像撮像装置１０から出力される撮像データに合成する。
【００１６】
立体映像表示装置２０は、制御装置３０から出力された映像データに基づいて互いに視差を有する右眼用映像と左眼用映像とをスクリーン２に投影する。立体映像表示装置２０によってスクリーン２に投影される映像は、異なる偏光方向の光で形成した視差映像であり、ユーザＵは、左右で偏光方向が異なる偏光フィルタを配置した立体視用メガネ４を介してスクリーン２の視差映像を見ることにより、立体画像を視認する。
【００１７】
このように、実施例１にかかる映像装置１では、ユーザ自身の映像に前景映像または背景映像を合成した合成映像をユーザＵが立体視可能に提供することができるため、ユーザＵの姿に前景映像または背景映像を合成した合成映像に臨場感や没入感を持たせることができる。
【００１８】
さらに、映像装置１では、図１に示すように、立体映像撮像装置１０、立体映像表示装置２０、制御装置３０および操作装置４０が一体化されている。そのため、各装置の設置や配線などの各種の作業が不要となり、設置作業を容易に行うことができる。
【００１９】
加えて、映像装置１では、立体映像撮像装置１０の撮像位置や立体映像表示装置２０の表示位置を変更することができるように構成される。具体的には、映像装置１には、制御装置３０を収納する基台ユニット５０から立設する支柱５１が設けられる。そして、支柱５１に取り付けられたアーム部５２の先端に立体映像撮像装置１０が取り付けられ、支柱５１に取り付けられたアーム部５３の先端に立体映像表示装置２０が取り付けられる。
【００２０】
アーム部５２はその先端の位置や向きを変更可能に構成されており、これにより、立体映像撮像装置１０の向きや高さを変更自在としている。また、同様に、アーム部５３はその先端の位置を変更可能に構成されており、これにより、立体映像表示装置２０の向きや高さを変更自在としている。
【００２１】
このように、映像装置１では、立体映像撮像装置１０の撮像位置や立体映像表示装置２０の表示位置を変更することができるため、映像装置１の設置作業を容易に行うことができる。すなわち、設置場所によっては、スクリーン２の位置やユーザＵの撮像位置に制限がある場合があるが、このような場合にでも、立体映像撮像装置１０の向きや高さ、あるいは、立体映像表示装置２０の向きや高さを変更することによって、容易に設置場所に応じた設置状態にすることができる。
【００２２】
以下、実施例１にかかる映像装置１について図面を参照してさらに詳細に説明する。図２は、実施例１にかかる映像装置１の外観模式図である。図２に示すように、映像装置１は、略直方体形状の基台ユニット５０と、基台ユニット５０から立設する支柱５１と、支柱５１に摺動可能に支持されたアーム部５２，５３と、支柱５１の上部に取り付けられたスピーカ部５９とを備える。
【００２３】
基台ユニット５０は、底面を床と当接する設置面とし、内部に制御装置３０を収納する。また、基台ユニット５０の上部には、ユーザＵによって操作される操作装置４０が配置されると共に、操作装置４０の近傍に開口が形成され、かかる開口から後述する表示部６６の表示面が露出する。また、基台ユニット５０の下部には、その左右側面から左右に延伸する複数の補助部材７０が取り付けられており、これにより、デザイン性を向上させつつも、基台ユニット５０の設置面を広く取るようにして安定性を図っている。
【００２４】
支柱５１は、その延伸方向に伸縮可能に構成され、その先端には天井に当接させるための部材が形成される。具体的には、支柱５１は、基端が基台ユニット５０に支持された下側円筒状部材７１と、下側円筒状部材７１内に摺動可能な外径を有する上側円筒状部材７２と、上側円筒状部材７２を下側円筒状部材７１に係止するための係止部材７３を備える。そして、下側円筒状部材７１内への上側円筒状部材７２の挿入度合いを変化させることによって支柱５１を伸縮可能としている。なお、支柱５１の構成は、かかる構成に限られるものではなく、例えば、別の構成によって伸縮可能となっていてもよい。
【００２５】
また、上側円筒状部材７２の先端側には、天井に当接させるための当接部材７４が形成される。この当接部材７４は、上側円筒状部材７２の外径よりも大きな外径を有する略円盤状の部材である。映像装置１を設置する際には、係止部材７３を操作して上側円筒状部材７２に対する係止を解除した後、当接部材７４が天井に接触するまで支柱５１を伸ばす。そして、この状態で、係止部材７３を操作して上側円筒状部材７２に対する係止を再開させることで、支柱５１の長さを固定する。これにより、床および天井に対して映像装置１をより強固に固定することができる。
【００２６】
アーム部５２，５３は、基端部７５と、複数のアーム７６と、複数の関節部７７とをそれぞれ備える。基端部７５は、上側円筒状部材７２に摺動可能に取り付けられる。基端部７５には上側円筒状部材７２の径方向に突出する突出部が設けられており、かかる突出部に関節部７７を介してアーム７６が連結される。複数のアーム７６は、関節部７７を介して互いに連結される。すなわち、一方のアーム７６の先端部に関節部７７を介して他方のアーム７６の基端部が連結され、一方のアーム７６の先端部に対して、他方のアーム７６が関節部７７の関節軸を中心に回転する。なお、関節部７７は一軸を中心としてアーム７６を回転可能としたものであるが、関節部７７をボールジョイントのような構成としてもよい。
【００２７】
アーム部５２の先端には立体映像撮像装置１０が連結され、アーム部５３の先端には立体映像表示装置２０が連結される。アーム部５２，５３はアーム７６と関節部７７により、その先端の向きや高さなどが変更自在であるため、立体映像撮像装置１０の向きや高さが変更自在であり、立体映像表示装置２０の向きや高さが変更自在である。なお、立体映像撮像装置１０および立体映像表示装置２０と制御装置３０との間の配線ケーブルは、アーム部５２，５３内および支柱５１内を挿通させているが、これに限定されない。例えば、立体映像撮像装置１０および立体映像表示装置２０と制御装置３０との間を無線通信によって接続してもよい。
【００２８】
なお、立体映像撮像装置１０は、撮像方向に向けて光を射出して披撮像対象であるユーザＵを照明する照明用ＬＥＤライト１４を備える。かかる照明用ＬＥＤライト１４は、制御装置３０によってＯＮ／ＯＦＦが制御される。
【００２９】
次に、映像装置１における各装置の接続関係や制御装置３０の内部構成などについて具体的に説明する。図３は、実施例１にかかる映像装置１のブロック図である。図３に示すように、立体映像撮像装置１０は、第１撮像部１１と第２撮像部１２とを備える。第１撮像部１１は、右眼用の映像を撮像し、右眼用撮像データを生成する。第２撮像部１２は、左眼用の映像を撮像し、左眼用撮像データを生成する。各撮像部１１，１２によって生成された撮像データは、立体映像撮像装置１０から制御装置３０へ出力される。また、立体映像撮像装置１０は、マイク１３を備えており、かかるマイク１３は、外部から入力された音を電気信号である音声信号に変換して制御装置３０へ出力する。
【００３０】
立体映像表示装置２０は、第１投影部２１と第２投影部２２とを備える。第１投影部２１によって右眼用映像がスクリーン２（図１参照）に投影され、第２投影部２２によって左眼用映像がスクリーン２に投影される。
【００３１】
制御装置３０は、映像データ入力部６０と、音声信号処理部６１と、映像データ出力部６２と、操作情報入力部６３と、モード選択スイッチ６４と、コイン投入検出部６５と、表示部６６と、記憶部６７と、制御部６８とを備える。これらは、バス６９によって接続される。
【００３２】
映像データ入力部６０は、立体映像撮像装置１０の各撮像部１１，１２から出力される撮像データを取得する。音声信号処理部６１は、立体映像撮像装置１０に内蔵されたマイク１３から出力される音声信号を取得し、また、スピーカ部５９へ音声信号を出力する。
【００３３】
映像データ出力部６２は、立体映像表示装置２０に対して右眼用映像データと左眼用映像データとを出力する。これにより、立体映像表示装置２０の第１投影部２１から右眼用映像データに基づいた映像がスクリーン２へ投影され、また、立体映像表示装置２０の第２投影部２２から左眼用映像データに基づいた映像がスクリーン２へ投影される。
【００３４】
操作情報入力部６３は、操作装置４０に対してユーザＵが行った操作の情報を取得する。操作情報入力部６３によって取得された操作の情報は、操作情報入力部６３から制御部６８へ通知される。モード選択スイッチ６４は、後述するシンプルモード、特撮モード、カラオケモードのうち映像装置１をいずれのモードで動作させるかを選択するためのスイッチである。映像装置１の管理者は、かかるモード選択スイッチ６４を操作することで、映像装置１の動作モードを変更する。
【００３５】
コイン投入検出部６５は、図示しないコイン投入機へユーザＵがコインまたは硬貨（以下、コインと総称する）を投入したか否かを判定する。コイン投入機へコインが投入されたと判定すると、その情報を制御部６８へ通知する。表示部６６は、基台ユニット５０（図２参照）に設けられ、制御部６８からの制御によって各種情報を表示する。この表示部６６は、例えば、液晶ディスプレイや有機ＥＬディスプレイなどによって構成される。
【００３６】
記憶部６７は、映像データや音声データなどを記憶する。具体的には、記憶部６７は、前景映像データ、背景映像データ、振付映像データ、案内用の音声データ、合成映像データなどを記憶する。合成映像データは、立体映像撮像装置１０から出力された撮像データに、前景映像データや背景映像データを合成したものである。なお、各映像データには、右眼用映像データと左眼用映像データがある。
【００３７】
制御部６８は、制御装置３０全体を制御する。制御部６８は、操作装置４０へのユーザＵの操作に応じた動作をする。例えば、制御部６８は、操作装置４０へ所定操作が行われた場合、記憶部６７に記憶された前景映像データや背景映像データを映像データ入力部６０によって取得された撮像データに合成して合成映像データを生成し、生成した合成映像データを記憶部６７に記憶する。また、制御部６８は、操作装置４０へ所定操作が行われた場合、記憶部６７に記憶された合成映像データを立体映像表示装置２０へ出力し、立体映像表示装置２０に合成映像データに基づく映像を投影させる。
【００３８】
このように構成される制御装置３０によって実行される処理を具体的に説明する。図４は、制御装置３０によって実行されるメイン処理手順を示すフローチャート、図５は、表示部６６に表示される案内画面の一例を示す図である。
【００３９】
制御装置３０の制御部６８は、コイン投入検出部６５からの通知に基づき、コイン投入機へコインが投入されたか否かを判定する。そして、制御部６８がコイン投入機へコインが投入されたと判定した場合に、ステップＳ１１の処理を開始する。かかるステップＳ１１の処理において、制御部６８は、モード選択スイッチ６４によってシンプルモードが選択されているか否かを判定する（ステップＳ１１）。シンプルモードが選択されていると判定すると（ステップＳ１１；Ｙｅｓ）、制御部６８は、シンプルモード処理を実行する（ステップＳ１２）。
【００４０】
シンプルモード処理の実行を開始すると、制御部６８は、まず、表示部６６に図５に示す表示を行う。図５に示すように、表示部６６には、操作装置４０の各操作ボタン４１〜４４に対応する位置に操作内容を示す情報が表示される。例えば、操作ボタン４１に対応する位置には「中継」の文字が表示され、操作ボタン４２に対応する位置には「録画」の文字が表示される。
【００４１】
操作ボタン４１がユーザＵによって押下された場合、制御部６８は、中継動作を実行する。具体的には、制御部６８は、立体映像撮像装置１０を制御して、各撮像部１１，１２によるユーザＵの撮像を開始させる。これにより、各撮像部１１，１２からそれぞれ撮像データが出力され、かかる撮像データが映像データ入力部６０によって取得される。制御部６８は、映像データ入力部６０によって取得された撮像データを映像データ出力部６２経由で立体映像表示装置２０へ出力する。これにより、立体映像撮像装置１０によって撮像された映像が立体映像表示装置２０によってスクリーン２へリアルタイムに投影され、ユーザＵは、自身の姿を立体的に視認することが可能となる。
【００４２】
また、操作ボタン４２がユーザＵによって押下された場合、制御部６８は、録画動作を実行する。具体的には、制御部６８は、立体映像撮像装置１０を制御して、各撮像部１１，１２によるユーザＵの撮像を開始させる。これにより、各撮像部１１，１２からそれぞれ撮像データが出力され、かかる撮像データが映像データ入力部６０によって取得される。制御部６８は、映像データ入力部６０によって取得された撮像データを記憶部６７に記憶する。
【００４３】
また、操作ボタン４３がユーザＵによって押下された場合、制御部６８は、再生動作を実行する。具体的には、制御部６８は、録画動作によって記憶部６７に記憶された撮像データを映像データ出力部６２経由で立体映像表示装置２０へ出力する。これにより、立体映像撮像装置１０によって撮像された過去の映像が立体映像表示装置２０によってスクリーン２へ投影され、ユーザＵは、自身の姿を立体的に視認することが可能となる。
【００４４】
また、操作ボタン４４がユーザＵによって押下された場合、制御部６８は、録画動作によって記憶部６７に記憶された撮像データを消去する消去動作を実行する。
【００４５】
このように、シンプルモードでは、操作ボタン４１〜４４への操作に応じて簡単に中継動作、録画動作、再生動作、消去動作を行うことができる。なお、中継動作や録画動作において、立体映像撮像装置１０から出力される撮像データをそのまま用いるのではなく、立体映像撮像装置１０から出力される撮像データに前景映像データや背景映像データを合成することもできる。前景映像データや背景映像データの選択は、制御部６８によってランダムに行われる。なお、操作ボタン４１，４２へのユーザＵの操作に応じて、制御部６８が前景映像データや背景映像データを切り替えることもできる。例えば、操作ボタン４１の押下回数や押下継続時間に応じて制御部６８が前景映像データや背景映像データを切り替える。
【００４６】
このシンプルモードは、例えば、コイン投入から所定時間（例えば、３０分）が経過した場合、または、中継時間、録画時間および再生時間のトータルが所定時間（例えば、１５分）を超えた場合に終了する。
【００４７】
図４に戻って制御装置３０によって実行されるメイン処理手順を引き続き説明する。制御部６８は、ステップＳ１１において、シンプルモードが選択されていないと判定した場合（ステップＳ１１；Ｎｏ）、モード選択スイッチ６４によって特撮モードが選択されているか否かを判定する（ステップＳ１３）。特撮モードが選択されていると判定すると（ステップＳ１３；Ｙｅｓ）、制御部６８は、特撮モード処理を実行する（ステップＳ１４）。かかる特撮モード処理は、図６に示すステップＳ２０〜Ｓ３０までの処理であり、後で詳述する。
【００４８】
一方、特撮モードが選択されていないと判定すると（ステップＳ１３；Ｎｏ）、制御部６８は、モード選択スイッチ６４によってカラオケモードが選択されているか否かを判定する（ステップＳ１５）。カラオケモードが選択されていると判定すると（ステップＳ１５；Ｙｅｓ）、制御部６８は、カラオケモード処理を実行する（ステップＳ１６）。かかるカラオケモード処理は、図８に示すステップＳ４０〜Ｓ５１までの処理であり、後で詳述する。
【００４９】
ステップＳ１５において、カラオケモードが選択されていないと判定した場合（ステップＳ１５；Ｎｏ）、制御部６８は、終了操作が行われたか否かを判定する（ステップＳ１７）。例えば、図示しない終了ボタンが押下された場合に、終了操作が行われたと判定する。終了操作が行われたと判定した場合（ステップＳ１７；Ｙｅｓ）、制御部６８は、メイン処理を終了する。また、ステップＳ１２，Ｓ１４，Ｓ１６の処理が終了した場合も同様に、メイン処理を終了する。一方、終了操作が行われていないと判定すると（ステップＳ１７；Ｎｏ）、制御部６８は、ステップＳ１１の処理に戻る。
【００５０】
次に、ステップＳ１４の特撮モード処理について説明する。図６は、実施例１にかかる制御装置３０によって実行される特撮モード処理手順を示すフローチャートである。
【００５１】
図６に示すように、制御部６８は、特撮モード処理を開始すると、立体映像撮像装置１０を制御して、各撮像部１１，１２によるユーザＵの撮像を開始させる（ステップＳ２０）。これにより、各撮像部１１，１２からそれぞれ撮像データが出力され、かかる撮像データが映像データ入力部６０によって取得される。
【００５２】
次に、制御部６８は、前景映像８１（図７参照）および背景映像８２（図７参照）をユーザＵに選択させるための前景・背景選択画面を表示部６６に表示する（ステップＳ２１）。すなわち、制御部６８は、記憶部６７に記憶された複数の前景映像データおよび複数の背景映像データのうち、いずれの映像データを用いるかをユーザＵに選択させるための前景・背景選択画面を表示部６６に表示する。
【００５３】
前景・背景選択画面が表示部６６に表示されている場合、ユーザＵは、操作ボタン４１〜４４を操作することによって、前景映像８１や背景映像８２を選択することができる。制御部６８は、操作ボタン４１〜４４へのユーザＵの操作によって、前景映像８１および背景映像８２が選択されたか否かを判定する（ステップＳ２２）。
【００５４】
前景映像８１および背景映像８２が選択されない場合（ステップＳ２２；Ｎｏ）、ステップＳ２２の処理を再度行う。一方、前景映像８１および背景映像８２が選択された場合（ステップＳ２２；Ｙｅｓ）、制御部６８は、選択された前景映像８１に対応する前景映像データを記憶部６７から抽出し、同様に、選択された背景映像８２に対応する背景映像データを記憶部６７から抽出する。そして、制御部６８は、映像データ入力部６０によって取得される撮像データに、抽出した前景映像データと背景映像データを合成する（ステップＳ２３）。
【００５５】
ここで、前景映像データおよび背景映像データの合成について説明する。図７は、実施例１にかかる制御装置３０による映像合成の説明図である。
【００５６】
図７（ａ）に示すように、ユーザ映像８０の前方に前景映像８１が配置され、ユーザ映像８０の後方に背景映像８２が配置されるように映像合成が行われる。ユーザ映像８０は、立体映像撮像装置１０から出力される撮像データによって形成される映像であり、前景映像８１は、前景映像データによって形成される映像であり、背景映像８２は、背景映像データによって形成される映像である。
【００５７】
具体的には、制御部６８は、立体映像撮像装置１０から出力される撮像データから画像処理によってユーザ映像８０を抽出し、さらに、予め設定した基準位置Ｏからユーザ映像８０までの距離Ｙ１（図７（ｂ）参照）を演算する。なお、ここでは、クロマキー技術によって撮像映像からユーザ映像８０を抽出するようにしたが、ユーザＵの輪郭などを検出することによってユーザ映像８０を抽出することもできる。
【００５８】
次に、制御部６８は、基準位置Ｏからの距離が距離Ｙ１よりも短い距離、すなわち、ユーザ映像８０よりも前方に前景映像８１が位置するような前景映像データを記憶部６７から抽出する。記憶部６７には、前景・背景選択画面によって選択可能な前景映像８１毎に、基準位置Ｏからの位置に応じた前景映像データが複数記憶されている。制御部６８は、選択された前景映像８１に対応する前景映像データのうち、ユーザ映像８０よりも前方に前景映像８１が位置するような前景映像データを記憶部６７から抽出する。
【００５９】
また、制御部６８は、ユーザ映像８０よりも後方に背景映像８２が位置するような背景映像データを記憶部６７から抽出する。記憶部６７には、前景・背景選択画面によって選択可能な背景映像８２毎に、基準位置Ｏからの位置に応じた背景映像データが複数記憶されている。制御部６８は、選択された背景映像８２に対応する背景映像データのうち、ユーザ映像８０よりも後方に背景映像８２が位置するような背景映像データを記憶部６７から抽出する。
【００６０】
その後、制御部６８は、ユーザ映像８０を形成する映像データに、記憶部６７から抽出した前景映像データおよび背景映像データを合成することにより、前景映像８１、ユーザ映像８０、背景映像８２の順に前方から配置された映像を形成する合成映像データを生成する。
【００６１】
図６に戻って特撮モード処理を引き続き説明する。ステップＳ２３の処理が終了すると、制御部６８は、映像データ出力部６２を介してステップＳ２３において生成した合成映像データを立体映像表示装置２０へ出力する（ステップＳ２４）。立体映像表示装置２０は、制御装置３０から合成映像データを取得すると、かかる合成映像データに基づいて第１投影部２１と第２投影部２２によって右眼用映像と左眼用映像とがスクリーン２へ重なるように表示する。これにより、立体映像撮像装置１０で撮像された映像に前景映像８１や背景映像８２が合成されてリアルタイムにスクリーン２へ投影される。
【００６２】
また、制御部６８は、合成映像生成用データを記憶部６７に記憶する（ステップＳ２４）。合成映像生成用データには、ユーザ映像８０を形成する映像データと、基準位置Ｏからユーザ映像８０までの距離Ｙ１の情報と、ユーザＵに選択された前景映像データの種類および背景映像データの種類の情報とが含まれる。
【００６３】
このように、制御部６８は、合成映像データの立体映像表示装置２０への出力処理および合成映像生成用データの記憶部６７への記憶処理を開始してから所定時間経過したか否かを判定する（ステップＳ２５）。出力処理および記憶処理を開始してから所定時間経過していないと判定した場合（ステップＳ２５；Ｎｏ）、制御部６８は、出力処理および記憶処理を継続する。
【００６４】
一方、出力処理および記憶処理を開始してから所定時間経過したと判定した場合（ステップＳ２５；Ｙｅｓ）、制御部６８は、前景映像８１および背景映像８２を変更するための前景・背景変更画面を表示部６６に表示する（ステップＳ２６）。すなわち、制御部６８は、記憶部６７に記憶された複数の前景映像データおよび複数の背景映像データのうち、前景・背景選択画面によってユーザＵに選択されていない映像データを選択可能な前景・背景変更画面を表示部６６に表示する。
【００６５】
前景・背景変更画面が表示部６６に表示されている場合、ユーザＵは、操作ボタン４１〜４４を操作することによって、前景映像８１や背景映像８２を変更することができる。制御部６８は、操作ボタン４１〜４４へのユーザＵの操作によって、前景映像８１および背景映像８２が変更されたか否かを判定する（ステップＳ２７）。
【００６６】
前景映像８１および背景映像８２が変更されたと判定した場合（ステップＳ２７；Ｙｅｓ）、制御部６８は、変更された前景映像８１に対応する前景映像データを記憶部６７から抽出し、同様に、変更された背景映像８２に対応する背景映像データを記憶部６７から抽出する。そして、制御部６８は、記憶部６７に記憶された合成映像生成用データのうち、ユーザ映像８０を形成する映像データと、基準位置Ｏからユーザ映像８０までの距離Ｙ１の情報とを抽出し、ステップＳ２３と同様の合成方法で合成映像データを生成する（ステップＳ２８）。
【００６７】
一方、ステップＳ２７において、前景映像８１および背景映像８２が変更されないと判定した場合（ステップＳ２７；Ｎｏ）、制御部６８は、ステップＳ２４において記憶部６７に記憶した合成映像生成用データに基づいて、ステップＳ２３と同様の合成方法で合成映像データを生成する（ステップＳ２９）。
【００６８】
次に、制御部６８は、合成映像データを不図示の通信部から外部装置へ出力する（ステップＳ３０）。すなわち、制御部６８は、ステップＳ２８で合成映像データを生成した場合には、ステップＳ２８で生成した合成映像データを不図示の通信部から外部装置へ出力する。一方、制御部６８は、ステップＳ２９で合成映像データを生成した場合には、ステップＳ２９で生成した合成映像データを不図示の通信部から外部装置へ出力する。
【００６９】
例えば、制御部６８はユーザＵの携帯端末装置へ合成映像データを出力する。ユーザＵの携帯端末装置が右眼用映像と左眼用映像とを表示することができる３次元ディスプレイを備える場合、制御部６８は、右眼用映像データと左眼用映像データを含む合成映像データをユーザＵの携帯端末装置へ送信する。一方、ユーザＵの携帯端末装置が３次元ディスプレイを備えない場合、制御部６８は、合成映像データに含まれる右眼用映像データと左眼用映像データのうちいずれか一方をユーザＵの携帯端末装置へ送信する。携帯端末装置へ送信する通信部として、例えば、赤外線通信を行う通信部を映像装置１に備える場合、かかる通信部から赤外線通信によって携帯端末装置の赤外線通信部へ合成映像データを送信することができる。なお、ＵＳＢケーブルなどを用いて有線通信により映像装置１から携帯端末装置へ合成映像データを送信することができる。
【００７０】
また、例えば、制御部６８は、インターネットなどのネットワークに接続されたサーバ装置へ合成映像データを出力することもできる。この場合、ユーザＵは、サーバ装置へアクセスすることによって合成映像データを取得することができる。この場合、サーバ装置へのアクセス先ＵＲＬの情報を含むＱＲコードによって行うことができる。映像装置１において、例えば、印刷装置を備える場合、制御部６８は、サーバ装置へのアクセス先ＵＲＬの情報を含むＱＲコードを印刷したシートを印刷装置から出力する。これにより、ユーザＵが携帯端末装置によってサーバ装置へ容易にアクセスし、合成映像データを取得することができる。
【００７１】
このように、映像装置１では、特撮モードにおいて、ユーザ映像８０に前景映像８１および背景映像８２を合成した合成映像を立体映像表示装置２０から表示することができる。なお、上述では、ユーザ映像８０に前景映像８１および背景映像８２を合成することとしたが、前景映像８１および背景映像８２のうち一方のみをユーザ映像８０に合成することもできる。また、上述では、制御部６８は、合成映像生成用データを記憶部６７に記憶するようにしたが、合成映像データを記憶部６７に記憶するようにしてもよい。
【００７２】
また、映像装置１は、撮像データからユーザＵの位置を検出し、検出したユーザＵの位置に応じた前景映像８１や背景映像８２を選択するため、前景映像８１をユーザＵの位置に応じて適切に合成することができる。そのため、違和感が少ない合成映像を提供することができ、より臨場感や没入感を持たせることができる。
【００７３】
なお、映像装置１に、シート状のシールの表面に画像を印刷するシール印刷装置を備えるようにしてもよい。この場合、映像装置１の制御部６８は、シール印刷装置から合成映像データに応じた画像を表面に印刷したシート状のシールを出力する。なお、シート印刷装置は、フォログラム処理によって合成映像データに応じた画像を立体視可能にシール表面に印刷することができる。また、制御部６８は、合成映像データに含まれる右眼用映像データと左眼用映像データのうちいずれか一方に応じた画像を表面に印刷したシールをシール印刷装置から出力させることもできる。
【００７４】
次に、ステップＳ１６のカラオケモード処理について説明する。図８は、実施例１にかかる制御装置３０によって実行されるカラオケモード処理手順を示すフローチャートである。なお、ステップＳ４０〜Ｓ４４の処理は、図６のステップＳ２０〜Ｓ２４の処理と同様であるため、ここでは説明を省略する。
【００７５】
図８に示すように、制御部６８は、カラオケモード処理を開始すると、ステップＳ４０からステップＳ４４までの処理を行い、ステップＳ４５の処理に移行する。なお、振付映像を選択可能とすることで、ユーザＵはあたかもプロ歌手になったかのような体験をすることが可能となる。
【００７６】
ステップＳ４５において、制御部６８は、音楽の入力があるか否かを判定する。具体的には、制御部６８は、マイク１３から音声信号処理部６１を介して取得される音声信号を解析し、マイク１３から音楽が入力されているか否かを判定する。なお、制御部６８は、音楽か否かの解析は、例えば、音声信号に含まれる周波数スペクトルやその変動などを解析することによって行う。また、制御部６８は、音楽の入力がある場合には、音楽のリズムやテンポを解析する。
【００７７】
音楽の入力がない場合には（ステップＳ４５；Ｎｏ）、制御部６８は、音楽の入力があると判定するまで繰り返しステップＳ４５の処理を実行する。一方、音楽の入力があると判定すると（ステップＳ４５；Ｙｅｓ）、制御部６８は、音楽のリズムおよびテンポに応じた振付映像を撮像データにさらに合成する（ステップＳ４６）。振付映像とは、音楽のリズムおよびテンポに応じた振り付けを指導するためのインストラクターの映像である。かかる振付映像のデータである振付映像データは、記憶部６７に記憶される。なお、振付映像は、インストラクターが音楽のリズムおよびテンポに応じて踊る映像であるが、リズムおよびテンポに応じた振り付けが分かる映像であればよい。
【００７８】
ここで、振付映像の合成について説明する。図９は、実施例１にかかる制御装置３０による映像合成の説明図である。図９（ａ）に示すように、ユーザ映像８０の側方に振付映像８３が配置されるように映像合成が行われる。具体的には、制御部６８は、前景映像８１の位置Ｙ２（図９（ｂ）参照）よりも短い距離、すなわち、前景映像８１の前方に振付映像８３が配置されるような振付映像データを記憶部６７から抽出する。記憶部６７には、リズムおよびテンポに応じた振付映像データが複数記憶されており、制御部６８は、リズムおよびテンポに応じた振付映像データのうち、前景映像８１の前方に振付映像が位置するような振付映像データを記憶部６７から抽出する。
【００７９】
図８に戻り、カラオケモード処理についての説明を続ける。ステップＳ４６の処理が終了すると、制御部６８は、音楽が終了したか否かを判定する（ステップＳ４７）。音楽が終了しない場合には（ステップＳ４７；Ｎｏ）、制御部６８は、音楽が終了するまで繰り返しステップＳ４７の処理を実行する。
【００８０】
一方、音楽が終了したと判定した場合（ステップＳ４７；Ｙｅｓ）、制御部６８は、再生操作があるか否かを判定する（ステップＳ４８）。制御部６８は、ユーザＵからの操作装置４０への所定操作があった場合に、再生操作があると判定する。再生操作があると判定した場合（ステップＳ４８；Ｙｅｓ）、制御部６８は、ステップＳ４４において記憶部６７に記憶した合成映像生成用データに基づき、ステップＳ４３における合成映像データの生成方法と同様の方法で合成映像データを生成する。そして、制御部６８は、生成した合成映像データを立体映像表示装置２０へ出力する（ステップＳ５０）。
【００８１】
ステップＳ４８において、再生操作がないと判定した場合（ステップＳ４８；Ｎｏ）、制御部６８は、記録操作があるか否かを判定する（ステップＳ４９）。制御部６８は、ユーザＵからの操作装置４０への所定操作があった場合に、記録操作があると判定する。記録操作があると判定した場合（ステップＳ４９；Ｙｅｓ）、制御部６８は、ステップＳ４０に処理を戻す。
【００８２】
ステップＳ５０の処理が終了した場合、または、記録操作がないと判定した場合（ステップＳ４９；Ｎｏ）、制御部６８は、カラオケモードの処理を開始してから所定時間（例えば、１時間）が経過したか否かを判定する（ステップＳ５１）。この処理において、所定時間が経過していないと判定すると（ステップＳ５１；Ｎｏ）、処理をステップＳ４８に移行する。一方、所定時間が経過したと判定すると（ステップＳ５１；Ｙｅｓ）、制御部６８は、カラオケモードの処理を終了する。
【００８３】
このように、映像装置１では、カラオケモードにおいて、ユーザ映像８０に前景映像８１、背景映像８２および振付映像８３を合成した合成映像を立体映像表示装置２０から表示することができる。なお、上述では、ユーザ映像８０に前景映像８１および背景映像８２を合成することとしたが、前景映像８１および背景映像８２のうち一方のみをユーザ映像８０に合成することもできる。また、上述では、制御部６８は、合成映像生成用データを記憶部６７に記憶するようにしたが、合成映像データを記憶部６７に記憶するようにしてもよい。
【００８４】
また、カラオケモードにおいて、映像装置１の制御部６８は、マイク１３から出力される音声信号を解析し、音楽のテンポやリズムに基づいて、ユーザ映像８０に合成される振付映像８３が選択される。そのため、ユーザＵは、音楽に対応した振付で踊りながらカラオケを歌うことができる。しかも、再生の際には、振付映像８３は表示されないため、あたかも振付を覚えているかのように振る舞うことが可能となる。
【００８５】
なお、上述においては、立体視の方法の一例として偏光方式を説明したが、これに限定されるものではない。例えば、立体視の方法として、偏光方式に代えて、カラーフィルタ方式やシャッタ方式を採用してもよい。カラーフィルタ方式は、スクリーン２に投影する右眼用映像と左眼用映像とを異なる色で形成し、左右で異なるカラーフィルタを配置した立体視用メガネを用いる方式である。また、シャッタ方式は、右眼用映像と左眼用映像とを一定周期で交互にスクリーン２に投影し、当該一定周期に同期して右眼用液晶と左眼用液晶における透過と不透過を交互に行う立体視用メガネを用いる方式である。
【００８６】
シャッタ方式を用いる場合、例えば、カラオケを歌うユーザＵと、ユーザＵの歌を聴く観客とでシャッタのタイミングが異なる立体視用メガネを用意することにより、アミューズメント性を高めることができる。例えば、制御部６８は、振付映像８３を第１の周期でユーザ映像８０へ合成した合成映像データを生成し、生成した合成映像データに基づく映像を立体映像表示装置２０から投影させる。この場合、制御部６８は、ユーザＵに装着される第１の立体視用メガネを第１の周期に同期して動作させる。これにより、ユーザＵは振付映像８３を視認することができる。一方、制御部６８は、観客が装着する第２の立体視用メガネを第１の周期と重ならない第２の周期に同期させて動作させる。これにより、観客は、振付映像８３がない合成映像を視認することができる。
【００８７】
また、制御部６８は、撮像データに基づき、ユーザＵが装着した立体視用メガネ４の位置を検出することができる。そして、制御部６８は、立体視用メガネ４が検出された場合に、ステップＳ４０の処理を開始することもできる。また、制御部６８は、立体視用メガネ４の位置に基づき、振付映像８３の配置を変更することもできる。
【実施例２】
【００８８】
次に、実施例２の映像装置について説明する。図１０は、実施例２にかかる映像装置１Ａの外観模式図である。実施例２にかかる映像装置１Ａは、各部の配置、および立体映像表示装置の構成などを除き、実施例１にかかる映像装置１と実質的に同一である。
【００８９】
図１０に示すように、実施例２にかかる映像装置１Ａでは、平面視Ｈ字状の底板１０１に、支柱１０２，１０３を立設する。そして、かかる支柱１０２，１０３によって基台ユニット１０４および立体映像表示装置１０５が支持される。
【００９０】
立体映像表示装置１０５は、互いの視差がある右眼用映像と左眼用映像とを表示することができる３次元液晶モニターである。立体映像表示装置１０５で表示される右眼用映像と左眼用映像とは、偏光方向が異なる。そのため、左右で偏光方向が異なる偏光フィルタを配置した立体視用メガネ４を介して右眼用映像と左眼用映像とを見ることにより、ユーザＵは、立体画像を視認できる。
【００９１】
支柱１０２の先端には、複数のアームが関節部によって回動可能に連結されたアーム部１０６が取り付けられており、アーム部１０６の姿勢や向きを変化させることで、アーム部１０６先端に取り付けられた立体映像撮像装置１０７の撮像位置を変更できる。
【００９２】
このように、実施例２に係る映像装置１Ａでは、立体映像表示装置１０５として３次元液晶モニターを用いるようにしているため、狭い空間でも用いることができる。
【実施例３】
【００９３】
次に、実施例３の映像装置について説明する。図１１は、実施例３にかかる映像装置１Ｂの外観模式図である。なお、実施例３にかかる映像装置１Ｂは、各部の配置などを除き、実施例１にかかる映像装置１と実質的に同一である。
【００９４】
図１１に示すように、実施例３にかかる映像装置１Ｂは、床部と背景部とを備える側面視略Ｌ字状の簡易ステージ部２０１を備える。簡易ステージ部２０１内には、実施例１にかかる制御装置３０と同様の制御装置が収納される。そして、この簡易ステージ部２０１の先端部に支柱２０２を介して立体映像撮像装置２０３が取り付けられ、簡易ステージ部２０１の上端部にアーム部２０４を介して立体映像表示装置２０５が取り付けられる。
【００９５】
アーム部２０４は、複数のアームと関節部とを有し、その姿勢を変化させることが可能であり、これにより、立体映像表示装置２０５の向きを変更することができる。さらに、簡易ステージ部２０１の表面色は、クロマキー合成のために単色としている。映像装置１Ｂの制御装置は、クロマキー技術により、前景映像８１や背景映像８２などを立体映像撮像装置２０３から出力される撮像データに合成する。
【００９６】
このように、実施例３にかかる映像装置１Ｂでは、単色（例えば、青色）の簡易ステージ部２０１を支持部材として、立体映像撮像装置２０３や立体映像表示装置２０５を支持している。そのため、クロマキーのための部材を別途用意して設置する必要が無く、設置作業をより効率的に行うことができる。
【００９７】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。よって、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細及び代表的な実施例に限定されるものではない。したがって、添付の特許請求の範囲及びその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
【符号の説明】
【００９８】
１，１Ａ，１Ｂ  映像装置、１０,１０７,２０３  立体映像撮像装置、２０,１０５,２０５  立体映像表示装置、３０  制御装置、６７  記憶部（記憶手段）、６８  制御部（選択手段、解析手段、検出手段）
【図１】
2013038614.tif 000003
【図２】
2013038614.tif 000004
【図３】
2013038614.tif 000005
【図４】
2013038614.tif 000006
【図５】
2013038614.tif 000007
【図６】
2013038614.tif 000008
【図７】
2013038614.tif 000009
【図８】
2013038614.tif 000010
【図９】
2013038614.tif 000011
【図１０】
2013038614.tif 000012
【図１１】
2013038614.tif 000013