(57)【要約】【課題】臨場感溢れる演出により顧客満足度を向上させる。【解決手段】演出装置１（装置本体１０）は、撮影装置２０で１以上の方向から被写体を撮影し、外部から被写体に関連する特定の空間映像と音源とを取得し、主制御部１１が、被写体の映像と取得された空間映像とをリンクさせ、被写体の映像が特定の空間に存在するような合成映像を生成し、大画面ディスプレイ３０に合成映像を表示または投影するとともに、音声出力部４０に、取得された音源と収録された音声とをミキシングして出力音声を再生する。【選択図】図２
2016166928.tif 000002
【特許請求の範囲】
【請求項１】
１以上の方向から被写体を撮影して取り込む撮影映像取得手段と、
前記被写体に関連する特定の空間映像と音源とを取得するコンテンツ取得手段と、
前記撮影映像取得手段から出力される前記被写体の映像と前記コンテンツ取得手段により取得された前記空間映像とをリンクさせ、前記被写体の映像が前記特定の空間に存在するような合成映像を生成する合成映像生成手段と、
前記合成映像を表示、または投影するとともに、前記取得された音源と収録された音声とをミキシングして出力音声を再生する再生手段と、
を備えたことを特徴とする演出装置。
【請求項２】
操作部を更に備え、
前記コンテンツ取得手段は、
前記操作部により選択操作される索引項目に対応した前記特定の空間映像と前記音源とを取得することを特徴とする請求項１記載の演出装置。
【請求項３】
前記再生手段は、
前記特定の空間で臨場感を再現可能な画面容量を持つ表示装置を有することを特徴とする請求項１記載の演出装置。
【請求項４】
前記再生手段は、
プロジェクタを備え、前記合成映像生成手段で生成される合成映像を投影対象の表層に投影することを特徴とする請求項１記載の演出装置。
【請求項５】
前記合成映像生成手段は、
前記操作部の手動操作を検知して、前記撮影映像取得手段から出力される１以上の方向の前記被写体の映像を切り替え、前記合成映像を生成するときの前記被写体の映像とすることを特徴とする請求項２記載の演出装置。
【請求項６】
前記合成映像生成手段は、
前記撮影映像取得手段から出力される１以上の被写体映像から特定される人物の視線、または向きに応じて、前記再生手段により再生される前記空間映像の視野を変化させる制御を行うことを特徴とする請求項２記載の演出装置。
【請求項７】
前記撮影映像取得手段から出力される１以上の被写体映像から人物を特定し、前記特定された人物の挙動、または前記再生手段により再生される出力音声を監視し、得られる評価値に応じて前記合成映像生成手段により生成される合成映像に演出アイテムを用いたグラフィックスによる演出を行なって臨場感を高める制御を行う演出制御手段、
を更に備えたことを特徴とする請求項１〜６のいずれか１項記載の演出装置。
【請求項８】
前記再生手段により再生される空間画像から人物を特定し、前記特定された人物の挙動を監視し、得られる評価値に応じて前記合成映像生成手段により生成される合成映像に演出アイテムを用いたグラフィックスによる演出を行なって臨場感を高める制御を行う演出制御手段、
を更に備えたことを特徴とする請求項１〜６のいずれか１項記載の演出装置。
【請求項９】
前記演出制御手段は、
前記再生手段により再生される出力音声を監視し、得られる評価値に応じて効果音による演出を行なって臨場感を高める制御を行うことを特徴とする請求項７または８記載の演出装置。
【請求項１０】
前記演出制御手段は、
前記再生手段による視覚と聴覚による演出の他に、体感による演出で更に臨場感を高める制御を行うことを特徴とする請求項７〜９のいずれか１項記載の演出装置。
【請求項１１】
前記演出制御手段は、
前記操作部の手動操作を検知して前記臨場感のレベルを調整することを特徴とする請求項２〜１０のいずれか１項記載の演出装置。
【請求項１２】
前記操作部の手動操作を検知して前記再生手段により再生される前記合成映像およびまたは前記出力音声を複製する複製手段、
を更に備えたことを特徴とする請求項２〜１１のいずれか１項記載の演出装置。
【請求項１３】
前記再生手段による再生毎に、または前記複製手段による複製毎に規定される料金を課金する課金手段、
を更に備えたことを特徴とする請求項１または１２のいずれか１項記載の演出装置。
【請求項１４】
１以上の方向から被写体を撮影するステップと、
前記被写体に関連する特定の空間映像と音源とを取得するステップと、
前記被写体の映像と前記取得された空間映像とをリンクさせ、前記被写体の映像が前記特定の空間に存在するような合成映像を生成するステップと、
前記合成映像を表示、または投影するとともに、前記取得された音源と収録された音声とをミキシングして出力音声を再生するステップと、
を有することを特徴とする演出方法。
【請求項１５】
コンピュータに、
１以上の方向から被写体を撮影する手順と、
前記被写体に関連する特定の空間映像と音源とを取得する手順と、
前記被写体の映像と前記取得された空間映像とをリンクさせ、前記被写体の映像が前記特定の空間に存在するような合成映像を生成する手順と、
前記合成映像を表示、または投影するとともに、前記取得された音源と収録された音声とをミキシングして出力音声を再生する手順と、
を実行させるプログラム。
【請求項１６】
遊技者を１以上の方向から撮影する撮影装置と、
遊技者により手動操作される操作部と、
前記操作部により選択操作される索引項目に対応する特定の空間映像と音源とを取得するコンテンツ取得手段と、
前記撮影装置により撮像された前記遊技者の映像と前記コンテンツ取得手段により取得された前記空間映像とをリンクさせ、遊技者が前記索引項目に対応する特定の空間に存在するような合成映像を生成する合成映像生成手段と、
前記合成映像生成手段で生成された合成映像を表示または投影するとともに、前記取得された音源と集録された遊技者の音声とをミキシングして出力音声を再生する再生手段と、
を備えたことを特徴とするアミューズメントシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、演出装置、演出方法、プログラム、ならびにアミューズメントシステムに関する。
【背景技術】
【０００２】
画像処理技術や音声認識技術等の進歩により、仮想現実感（ＶＲ：Virtual Reality）を与える環境下でカラオケやゲーム等各種遊技を楽しめるようにしたアミューズメント装置が開発されており、カラオケ施設やゲームセンタ等で使用されるようになった。これに関連する多数の特許出願もなされている。
【０００３】
例えば、特許文献１に、カラオケボックスで臨場感の高いライブ映像を疑似的に体験可能な技術が開示されている。特許文献１に開示された技術によれば、あらかじめライブの聴衆の状況を示す聴衆映像を再生しておき、ユーザが聴衆に対して特定のフレーズを呼びかけるかあるいは関連する動きに基づき、機械がそのライブパフォーマンスを特定し、このライブパフォーマンスに対する聴衆の反応を示すリアクションをモニタに再生する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−８８５２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
これにより、ユーザは、モニタに表示された聴衆に対してライブ演奏を提供するシンガーとして振る舞いながらカラオケを楽しむことができ、臨場感の高いライブ演奏を疑似的に体験することができる。しかしながら、ライブ映像の中にユーザ自身が写り込むことがないため、ユーザが主人公になってライブを体感するといった顧客満足度の観点からは未だ不十分である。
【０００６】
本発明は上記した課題を解決するためになされたものであり、ユーザが主人公になってライブを体感するといった臨場感溢れる演出により顧客満足度を向上させた、演出装置、演出方法、プログラム、ならびにアミューズメントシステムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記した課題を解決するために本発明の演出装置は、１以上の方向から被写体を撮影する撮影装置と、前記被写体に関連する特定の空間映像と音源とを取得するコンテンツ取得手段と、前記撮影装置から出力される前記被写体の映像と前記コンテンツ取得手段により取得された前記空間映像とをリンクさせ、前記被写体の映像が前記特定の空間に存在するような合成映像を生成する合成映像生成手段と、前記合成映像を表示、または投影するとともに、前記取得された音源と収録された音声とをミキシングして出力音声を再生する再生手段と、を備えたことを特徴とする。
【０００８】
本発明の演出装置において、操作部を更に備え、前記コンテンツ取得手段は、前記操作部により選択操作される索引項目に対応した前記特定の空間映像と前記音源とを取得することを特徴とする。
【０００９】
本発明の演出装置において、前記再生手段は、前記特定の空間で臨場感を再現可能な画面容量を持つ表示装置を有することを特徴とする。
【００１０】
本発明の演出装置において、前記再生手段は、プロジェクタを備え、前記合成映像生成手段で生成される合成映像を投影対象の表層に投影することを特徴とする。
【００１１】
本発明の演出装置において、前記合成映像生成手段は、前記操作部の手動操作を検知して、前記撮影装置により撮像される１以上の方向の前記被写体の映像を切り替え、前記合成映像を生成するときの前記被写体の映像とすることを特徴とする。
【００１２】
本発明の演出装置において、前記合成映像生成手段は、前記撮影装置により撮影された１以上の被写体の映像から特定される人物の視線、または向きに応じて、前記再生手段により再生される前記空間映像の視野を変化させる制御を行うことを特徴とする。
【００１３】
本発明の演出装置において、前記撮影装置により撮影される被写体映像から人物を特定し、前記特定された人物の挙動、または前記再生手段により再生される出力音声を監視し、得られる評価値に応じて前記合成映像生成手段により生成される合成映像に演出アイテムを用いたグラフィックスによる演出を行なって臨場感を高める制御を行う演出制御手段、を更に備えたことを特徴とする。
【００１４】
本発明の演出装置において、前記再生手段により再生される空間画像から人物を特定し、前記特定された人物の挙動を監視し、得られる評価値に応じて前記合成映像生成手段により生成される合成映像に演出アイテムを用いたグラフィックスによる演出を行なって臨場感を高める制御を行う演出制御手段、を更に備えたことを特徴とする。
【００１５】
本発明の演出装置において、前記演出制御手段は、前記再生手段により再生される出力音声を監視し、得られる評価値に応じて効果音による演出を行なって臨場感を高める制御を行うことを特徴とする。
【００１６】
本発明の演出装置において、前記演出制御手段は、前記再生手段による視覚と聴覚による演出の他に、体感による演出で更に臨場感を高める制御を行うことを特徴とする。
【００１７】
本発明の演出装置において、前記演出制御手段は、前記操作部の手動操作を検知して前記臨場感のレベルを調整することを特徴とする。
【００１８】
本発明の演出装置において、前記操作部の手動操作を検知して前記再生手段により再生される前記合成映像およびまたは前記出力音声を複製する複製手段、を更に備えたことを特徴とする。
【００１９】
本発明の演出装置において、前記再生手段による再生毎に、または前記複製手段による複製毎に規定される料金を課金する課金手段、を更に備えたことを特徴とする。
【００２０】
本発明の演出方法は、１以上の方向から被写体を撮影するステップと、前記被写体に関連する特定の空間映像と音源とを取得するステップと、前記被写体の映像と前記取得された空間映像とをリンクさせ、前記被写体の映像が前記特定の空間に存在するような合成映像を生成するステップと、前記合成映像を表示、または投影するとともに、前記取得された音源と収録された音声とをミキシングして出力音声を再生するステップと、を有することを特徴とする。
【００２１】
本発明のプログラムは、コンピュータに、１以上の方向から被写体を撮影する手順と、前記被写体に関連する特定の空間映像と音源とを取得する手順と、前記被写体の映像と前記取得された空間映像とをリンクさせ、前記被写体の映像が前記特定の空間に存在するような合成映像を生成する手順と、前記合成映像を表示、または投影するとともに、前記取得された音源と収録された音声とをミキシングして出力音声を再生する手順と、を実行させることを特徴とする。
【００２２】
本発明のアミューズメントシステムは、遊技者を１以上の方向から撮影する撮影装置と、遊技者により手動操作される操作部と、前記操作部により選択操作される索引項目に対応する特定の空間映像と音源とを取得するコンテンツ取得手段と、前記撮影装置により撮像された前記遊技者の映像と前記コンテンツ取得手段により取得された前記空間映像とをリンクさせ、遊技者が前記索引項目に対応する特定の空間に存在するような合成映像を生成する合成映像生成手段と、前記合成映像生成手段で生成された合成映像を表示または投影するとともに、前記取得された音源と集録された遊技者の音声とをミキシングして出力音声を再生する再生手段と、を備えたことを特徴とする。
【発明の効果】
【００２３】
本発明によれば、ユーザが主人公になってライブを体感するといった臨場感溢れる演出により顧客満足度を向上させた、演出装置、演出方法、プログラム、ならびにアミューズメントシステムを提供することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施の形態に係る演出装置をカラオケ施設で利用した場合のイメージを説明するために引用した図である。
【図２】本発明の実施の形態に係る演出装置の構成を示すブロック図である。
【図３】図１の制御部が実行する機能を示す機能展開ブロック図である。
【図４】本発明の実施の形態に係る演出装置の基本動作を示すフローチャートである。
【図５】図４の視線検出による視野制御処理の詳細手順を示すフローチャートである。
【図６】図５の動作をメモリ上で展開して示した図である。
【図７】図４の挙動検出による演出制御処理の詳細手順を示すフローチャートである。
【図８】図４の合成映像の生成処理の詳細手順を示すフローチャートである。
【図９】本発明の実施の形態に係る演出装置をゲームセンタで利用した場合のイメージを説明するために引用した図である。
【発明を実施するための形態】
【００２５】
以下、添付図面を参照して、本発明を実施するための形態（以下、本実施形態と言う）について詳細に説明する。なお、実施形態の説明の全体を通して同じ要素には同じ番号又は符号を付している。
【００２６】
図１に、本実施形態に係る演出装置あるいはアミューズメントシステムをカラオケ施設で使用した場合のイメージが示されている。図１によれば、歌唱者であるユーザＡは、スポットライトＢ、空調設備Ｃが完備されたカラオケボックスで、マイク片手に熱唱し、ライブパフォーマンスを行っている。このユーザの動きは逐一１以上の撮影装置Ｄにより多方向から撮影されている。カラオケボックス内には、更に、本実施形態に係る演出装置の装置本体Ｅ、並びに臨場感を与える１００インチ程度の大画面ディスプレイＦ、ステレオあるいはサラウンドスピーカＧ、更には大型ファン等の体感装置Ｈも設置されている。
【００２７】
上記したカラオケ施設でユーザＡが装置本体Ｅを使用して選曲操作を行うと、選択された楽曲に対応して予め用意されたライブ映像の中に、多方向から撮影された歌唱中のユーザの映像が合成され、大画面ディスプレイＦ、ステレオあるいはサラウンドスピーカＧに、あたかも自身が主人公としてライブパフォーマンスを行っているかのような臨場感溢れる合成映像ならびに音声が再生される。このとき、ユーザとのライブ映像をズームアップ等により更に臨場感を持たせることができる。すなわち、装置本体Ｅは、被写体になるユーザの映像と、例えば、通信により取得されたライブ映像とをリンクさせ、被写体の映像がライブ映像等特定の空間に存在するような仮想現実感を与える合成映像を生成し、この合成映像を大画面ディスプレイＦに表示し、更に取得される音源とマイクで収録された音声とをミキシングしてその出力音声をステレオあるいはサラウンドスピーカＧから再生する。なお、大画面ディスプレイＦは、ユーザが至近距離で映像画面を直視するため映像の精細さが求められ、したがって、横３８４０×縦２１６０の合計８２９万４４００の４Ｋテレビ程度の解像度が必要である。また、大画面ディスプレイＦに限らず、ＨＭＤ（Head Mount Display）で代替してもよく、この場合３次元映像を表示することにより、より合成映像に臨場感を持たせることが可能である。
【００２８】
このとき、装置本体Ｅは、ユーザの手動操作により多方向から撮影されるユーザの映像からライブ映像に写りこむ映像が選択される。また、ユーザの視線または顔の向きに応じて、大画面ディスプレイＦに再生されるライブ映像の視野を変化させてもよい。また、装置本体Ｅは、ユーザの挙動、または出力音声を評価し、その評価値により、合成映像に、花火、風船、紙吹雪、火柱等の演出アイテムを用いたグラフィックス、あるいは効果音による演出で更に臨場感を高めてもよい。また、季節、天候、時間帯等により異なる演出を行なうことでユーザを興奮させることができる。また、大画面ディスプレイＦに映し出される聴衆の視線や挙動を検出して同様の演出制御を行ってもよい。このとき、視覚、聴覚による演出の他に、体感装置Ｇを使用した体感による演出で更に臨場感を高めてもよい。なお、臨場感を高める演出はユーザの手動操作によりその程度（レベル）が制御される。
【００２９】
上記したイメージによれば、大画面ディスプレイＦ、あるいは合成映像を投影対象の表層に投影するマップマッチングにより、仮想現実感を与える臨場感に満ちたライブ会場の雰囲気を再現でき、ライブ映像の中に写り込んだユーザ自身が主人公として振る舞うことを疑似的に実感できるため、顧客満足度を向上させることができる。また、ユーザの挙動により演出の内容をリアルタイム変化させるため臨場感の程度をコントロールでき、躍動感および臨場感に満ちた合成映像、音声を提供できる。なお、再生コンテンツの記録媒体への書き込み、スマートホンを用いた通信による配布等の複写サービスも提供され、このとき、コンテンツ提供サイドのために、再生、複写毎の課金のための仕組みも用意される。
【００３０】
なお、ここで説明する演出装置とは、カラオケ施設やゲームセンタ等で使用される装置本体Ｅに、大画面ディスプレイＦと、音声出力装置Ｇとを少なくとも含み、アミューズメントシステムとは、更に、撮影装置Ｄ、照明Ｂ、空調Ｃ、体感装置Ｈ、図示省略した通信ネットワーク等を介して接続されるサーバも含むものとする。
【００３１】
（実施形態の構成）
図２に本実施形態に係る演出装置１の基本構成を示す。図２によれば、本実施形態に係る演出装置１は、装置本体１０と、大画面ディスプレイ３０と、音声出力部４０と、により構成される。装置本体１０は、ネットワーク５０経由で図示省略した外部のサーバに接続され、無線ＬＡＮ（Local Area Network）等近距離無線通信により、撮影装置２０、照明６０、空調７０、体感装置８０に接続される。
【００３２】
装置本体１０は、図示省略したサーバからネットワーク５０経由で、ユーザにより選択される楽曲の音源と、その音源に関連するライブ映像等の空間映像とを通信により取得する。装置本体１０は、近距離無線通信経由で撮影装置２０から被写体像であるユーザの多方面（正面、横、斜め他）からの映像を取得するとともに、後述する演出処理結果により、照明６０の明暗や色調の制御、空調７０の強弱制御、体感装置８０の駆動等の制御を行う。
【００３３】
装置本体１０は、撮影装置２０を制御して１以上の方向から被写体を撮影し、外部から被写体に関連する特定の空間映像と音源とを取得し、被写体の映像と取得された空間映像とをリンクさせ、被写体の映像が特定の空間に存在するような合成映像を生成し、合成映像を表示、または投影するとともに、取得された音源と収録された音声とをミキシングして出力音声を再生する。このため、装置本体１０は、主制御部１１と、主記憶部１２と、ネットワーク通信部１３と、大容量記憶部１４と、近距離無線通信部１５と、操作部１６と、表示制御部１７と、音声合成部１８と、により構成される。
【００３４】
主制御部１１は、装置本体１０が、１以上の方向から被写体を撮影し、被写体に関連する特定の空間映像と音源とを取得し、被写体の映像と取得された空間映像とをリンクさせ、被写体の映像が特定の空間に存在するような合成映像を生成し、合成映像を表示、または投影するとともに、取得された音源と収録された音声とをミキシングして出力音声を再生する制御を行うために、バスを介して接続される主記憶部１２、ネットワーク通信部１３、大容量記憶部１４、近距離無線通信部１５、操作部１６、表示制御部１７、音声合成部１８を制御する。
【００３５】
図３に主制御部１１が実行するプログラムを機能展開して表現した機能ブロック図が示されている。図３によれば、主制御部１１は、撮影映像取得手段１１１と、コンテンツ取得手段１１２と、合成映像生成手段１１３と、再生手段１１４と、挙動検出手段１１５と、演出制御手段１１６と、複製手段１１７と、課金手段１１８とを含む。
【００３６】
撮影映像取得手段１１１は、１以上の撮影装置２０から出力される多方向から撮影されたユーザの被写体映像を取り込み、合成映像生成手段１１３へ出力する。合成映像生成手段１１３には、コンテンツ取得手段１１２からも映像コンテンツが出力されている。コンテンツ取得手段１１２は、ユーザが操作部１６により選曲した楽曲（索引項目）に対応するライブ映像等、被写体に関連する特定の空間映像とその音源とを取得して合成映像生成手段１１３へ出力する。
【００３７】
合成映像生成手段１１３は、操作部１６の手動操作を検知して、撮影装置２０により撮像される１以上の方向のユーザの被写体像を切り替え、撮影映像取得手段１１１から出力される選択された被写体の映像と、コンテンツ取得手段１１２により取得された空間映像とをリンクさせ、被写体の映像が特定の空間に存在するような合成映像を生成して再生手段１１４へ出力する。再生手段１１４は、合成映像生成手段１１３により生成された合成映像を大画面ディスプレイ３０に表示するために表示制御部１７へ出力し、あるいは壁を含むマッピング対象の表層に投影する。同時に、取得された音源と収録された音声とをミキシングして出力音声を再生するために音声合成部１８へ出力する。
【００３８】
合成映像生成手段１１３は、撮影装置２０により撮影され、撮影映像取得手段１１１により取得される１以上の被写体の映像から特定される人物の視線または向きに応じて、再生手段１１４により再生される空間映像の視野を変化させる制御も行なう。
【００３９】
合成映像生成手段１１３は、演出制御手段１１６により臨場感をさらに高めるための映像を出力する。このとき、演出制御手段１１６は、撮影映像取得手段１１１により取得された被写体像から人物（ユーザ）を特定し、特定された人物の挙動から得られる評価値に応じて臨場感を高める制御を行う。具体的に、演出制御手段１１６は、合成映像生成手段１１３により生成される合成映像に、ユーザの挙動に基づく花火の打ち上げやレーザ光等の演出アイテムを用いたグラフィックスによる演出を行なう。なお、ライブパフォーマンスを行うユーザの挙動は挙動検出手段１１５により検出されるものとする。
【００４０】
また、演出制御手段１１６は、再生手段１１４により再生されるライブ映像等の空間画像から聴衆の姿を特定し、特定された聴衆の挙動を監視し、得られる評価値に応じて合成映像生成手段１１３により生成される合成映像に上記した演出アイテムを用いたグラフィックスによる演出を行なってもよい。演出制御手段１１６は、再生手段１１４により再生される出力音声を監視し、得られる評価値に応じて効果音による演出を行なって臨場感を高める制御を行なってもよい。演出制御手段１１６は、更に、再生手段１１４による視覚と聴覚による演出の他に、体感による演出で更に臨場感を高める制御を行なってもよい。なお、演出制御手段１１６は、操作部１６の手動操作を検知して臨場感のレベル調整を行うものとする。
【００４１】
複製手段１１７は、操作部１６の手動操作（複製要求）を検知して再生手段１１４により再生される合成映像と出力音声を複製するサービスを行う。例えば、再生映像のＤＶＤ（Digital Versatile Disk）やＵＳＢ（Universal Serial Bus）等の記録媒体へのコピー、スマートホンを用いた配信サービス等を行う。課金手段１１８は、再生手段１１４による再生毎に、または複製手段１１７による複製毎に規定される料金を課金する処理を実行する。
【００４２】
主記憶部１２には、半導体メモリが実装されており、主制御部１１が実行するプログラムを記憶する記憶領域の他に、生成される合成映像が記憶される仮想大画面領域、ならびにネットワーク５０経由で取得されるライブ映像や音源等のコンテンツが記憶される作業領域と、が割り当てられている。ネットワーク通信部１３は、例えば、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）プロトコルにしたがい、ネットワーク５０経由で接続される外部サーバとの通信を行うもので、ここでは、ライブ映像等の空間画像、音源の取得、ならびに再生映像の配信、課金のために使用される。
【００４３】
大容量記憶部１４には、ハードディスクやＤＶＤ等の光記憶デバイスが実装されており、合成される映像コンテンツや音源が予め格納されている他、ネットワーク５０経由で外部から取得したコンテンツ、あるいは生成される合成映像も一時的に保存される。近距離無線通信部１５は、撮影装置２０、照明６０、空調７０、体感装置８０との間で、例えば、ＩＥＥＥ８０２．１１ｂ規格に準拠した無線ＬＡＮ等の近距離通信を行うときに使用される通信アダプタである。このため、撮影装置２０、照明６０、空調７０、体感装置８０にも同じアダプタが内蔵されるものとする。なお、近距離無線通信は、無線ＬＡＮに限らず、ＢｌｕｅＴｏｏｔｈ（登録商標）等で代替してもよく、また、有線により接続されてもよい。
【００４４】
操作部１６は、ユーザによって操作され、ここでは、選曲、合成する被写体映像の選択、演出レベルの設定、複写要求を行なうためのキーが実装されており、主制御部１１は、これらのキー操作を検知してそれぞれに定義された処理を行う。表示制御部１７は、主記憶部１２の一部領域に割当てられた仮想大画面領域に主制御部１１（合成映像生成手段１１３）により生成される合成映像を描画し、内蔵のＶＲＡＭ（Video RAM）に転送し大画面ディスプレイ３０にその合成映像を表示する制御を行う。このとき、表示制御部１７は、ＶＲＡＭに転送された視野制御により決定された実画面領域の映像を大画面ディスプレイ３０の表示タイミングに同期して読み出し表示する。音声合成部１８は、ネットワーク通信部１３により取得される音源とマイクで集音されるユーザの音声とをミキシングして、ステレオスピーカあるいはサラウンドスピーカ等からなる音声出力部４０へ供給する。
【００４５】
（実施形態の動作）
以下、図４以降のフローチャートを参照しながら、図２，図３に示す本実施形態に係る演出装置１の動作について詳細に説明する。
【００４６】
装置本体１０の主制御部１１は、常時、ユーザによる操作部１６の手動操作を監視している（ステップＳ１１）。主制御部１１は、ユーザが選曲操作により索引項目入力（楽曲）を行うとこれを検知し（ステップＳ１１“ＹＥＳ”）、コンテンツ取得手段１１２を起動し、楽曲に対応して用意されたライブ映像とその音源（該当コンテンツ）の取り込みを行う（ステップＳ１２）。一方、撮影映像取得手段１１１は、撮影装置２０により多方向から撮像されたユーザの撮影映像を取り込んでおり、ユーザ操作による映像切り替え入力があれば（ステップＳ１３“ＹＥＳ”）、対応するユーザの撮影映像を選択して取り込む（ステップＳ１４）。
【００４７】
合成映像生成手段１１３は、コンテンツ取得手段１１２により取得されたライブ映像に、撮影映像取得手段１１１により取得され選択されたユーザの被写体映像を嵌め込み合成するが、その合成映像を表示するために、ユーザの視線、または顔の向きを検出して視野制御を行う（ステップＳ１５）。ここでは、視線により視野制御を行うものとして、図５のフローチャートならびに図６の動作概念図を使用してその詳細を説明する。
【００４８】
図５において、合成映像生成手段１１３は、まず、選択されたユーザの撮影映像から顔の画像を特定する（ステップＳ１５１）。そして特定された顔画像から、例えば、左眼画像を抽出する（ステップＳ１５２）。そして、画像処理により、基準点と動点を見つけ、基準点に対する動点の位置に基づいて視線を検出する（ステップＳ１５３）。ここでは、基準点を目頭、動点を虹彩として位置関係を判定するものとする。
【００４９】
具体的に、左眼の眼頭と虹彩の位置が近ければ（ステップＳ１５４“ＹＥＳ”）、ユーザは右方向を見ていると判定し、仮想大画面領域の範囲の中で実画面領域（後述する表示枠）を右スクロールすることにより視野制御を行う（ステップＳ１５５）。一方、左眼の虹彩が目頭から離れて目尻の方向を見ていれば（ステップＳ１５６“ＹＥＳ”）、ユーザは左側をみていると判定し仮想大画面領域の範囲の中で実画面領域（後述する表示枠）を左スクロールすることにより視野制御を行い（ステップＳ１５７）、実画面領域の表示映像を大画面ディスプレイ３０に表示して図４のステップＳ１６の処理に戻る。
【００５０】
なお、左眼の虹彩が目から離れていなければ（ステップＳ１５６“ＮＯ”）、実画面領域を仮想大画面領域の範囲内で上または下方向にスクロールして実画面領域の表示映像を大画面ディスプレイ３０に表示する（ステップＳ１５８）。ここで、目頭と虹彩の位置の遠近の判定は、両者の距離を測定して距離閾値との比較により判定するものとする。
【００５１】
なお、赤外線ＬＥＤ（Light Emitted Diode）でユーザの顔（眼）を照らし、その反射光の角膜上の位置を基準点とし、角膜反射の位置に対する瞳孔の位置を動点として視線の位置を検出すれば、基準点を目頭、動点を虹彩とする場合に比べて精度の高い位置判定が可能になる。例えば、左眼の各膜反射より瞳孔が目尻側にあればユーザは左側を見ていると判定し、角膜より瞳孔が目頭側にあれば右側を見ていると判定して同様のスクロール制御を行う。
【００５２】
上記した視線検出によらず、画像処理によりユーザの顔の向きを検出しても視野を制御しても同様の効果が得られる。顔の向きは、合成映像生成手段１１３が、例えば、肌色検出を行うとともに撮影された映像を予め定められたパターンと照合し、その類似度に基づいて映像から顔部分を検出し、検出した顔部分の画像に基づいて視聴者の顔の向きを判定して上記と同じスクロール制御を行う。
【００５３】
図６に上記した視野制御の仕組みをメモリ上に展開して示している。図中、符号３０ｂで示される領域は、主記憶部１２に割り当てられた表示映像の仮想大画面領域に相当し、コンテンツ取得手段１１２により取得されたライブ映像等空間映像の容量に該当する。これに対し、符号３０（３０ａ）で示される領域は、大画面ディスプレイ３０が有する実画面領域（物理画面）に相当し、大画面ディスプレイ３０が有する画面容量に該当する（仮想大画面領域３０ｂ＞実画面領域３０ａ）。表示制御部１７は、合成映像生成手段１１３により検出されるユーザの視線または顔の向きにより、実画面領域で示される表示枠３０ａを左右上下に動かし、その場合に実画面領域の範疇にある映像を大画面ディスプレイ３０に表示するスクロール制御を行うことにより視野制御を実現する。
【００５４】
説明を図４に戻す。視線検出による視野制御の後（ステップＳ１５）、主制御部１１は、ユーザによる操作部１６の手動操作による臨場感のレベル調整の設定の有無を判定する（ステップＳ１６）。ここで、臨場感のレベル設定がなされていれば、演出制御手段１１６は、そのレベルに応じた演出制御を行う（ステップＳ１７）。
【００５５】
演出制御手段１１６は、臨場感のレベル値として、例えば、レベル“１”が設定されると、照明６０を明るい方向に調整するとともに空調７０を暖房方向に調整し、レベル“２”が設定されると、照明６０の調光制御により色相を変化させるとともに空調７０を制御して送風を行い、レベル“３”が設定されると、合成映像生成手段１１３により生成される合成映像に、更にレーザ光を照射したグラフィックスによる演出、レベル“４”が設定されると、ライブ映像に含まれる電光掲示板に花火を打ち上げる等のグラフィックスによる演出を行い、レベル“５”が設定された場合は、体感装置８０を起動して視覚や聴覚以外に強風や冷感等を体感させる演出を行う。
【００５６】
一方、臨場感のレベル調整の設定がない場合（ステップＳ１６“ＮＯ”）、演出制御手段１１６は、ユーザの挙動検出による演出制御を行う（ステップＳ１８）。ユーザの挙動検出による演出制御の詳細は図７に示されている。
【００５７】
挙動検出手段１１５は、撮影映像取得手段１１１により取得された撮影映像を解析することによりユーザの挙動を検出する。挙動検出手段１１５は、撮影映像を解析して人物（個体）検出処理を行うとともに、その中から顔等パーツの検出を行い、パーツ毎のユーザの挙動を検出する。まず、挙動検出手段１１５は、所定時間分のストリーム映像から、個体物と動体物とを区別して人物検出を行う（ステップＳ１８１）。そして、顔等のパーツを特定し、そのパーツの動きを検出して演出制御手段１１６に引き渡し（ステップＳ１８２）、演出制御手段１１６は、その動きに応じた評価値により演出制御を行う。
【００５８】
具体的に、挙動検出手段１１５は、検出したユーザの動作パターン（ライブパフォーマンス）を予め定義されたパターンとパターン照合することによりユーザの挙動を検出する。例えば、熱唱している動作パターンを示すデータを予め記憶しておき、このデータと検出した人物の動作パターンとを照合して類似度が一定以上の割合である場合にユーザが熱唱していると判定する。このため、挙動検出手段１１５は、特定したユーザの顔の表情の認識を行う（ステップＳ１８３）。パターン照合の結果、笑顔であると判定されると（ステップＳ１８３“ＹＥＳ”）、挙動検出手段１１５は、例えば、１０点評価を与えて演出制御手段１１６に引き渡す。これを受けて演出制御手段１１６は、臨場感のレベル設定時のレベル１，２に相当する照明や空調の制御を行う。また、拍手等、効果音の生成も行う。
【００５９】
次に、挙動検出手段１１５は、腕の振りを検出する（ステップＳ１８５）。腕の振りが閾値以上であると判定されると（ステップＳ１８５“ＹＥＳ”）、挙動検出手段１１５は、例えば２０点評価を与えて演出制御手段１１６に引き渡す。これを受けて演出制御手段１１６は、臨場感のレベル設定時のレベル３に相当するレーザ光による演出制御を行う（ステップＳ１８６）。次に、挙動検出手段１１５は、腕の振りを検出する（ステップＳ１８５）。腕の振りが閾値以上であると判定されると（ステップＳ１８５“ＹＥＳ”）、挙動検出手段１１５は、例えば、２０点の評価を与えて演出制御手段１１６に引き渡す。これを受けて演出制御手段１１６は、臨場感のレベル設定時のレベル３に相当するレーザ光の照射等グラフィックスによる演出制御を行う（ステップＳ１８６）。
【００６０】
次に、挙動検出手段１１５は、腰の振りを検出する（ステップＳ１８７）。腰の振りが閾値以上であると判定されると（ステップＳ１８７“ＹＥＳ”）、挙動検出手段１１５は、例えば３０点の評価を与えて演出制御手段１１６に引き渡す。これを受けて演出制御手段１１６は、臨場感のレベル設定時のレベル４に相当する花火の打ち上げ等グラフィックスによる演出制御を行う（ステップＳ１８８）。次に、挙動検出手段１１５は、足踏みの有無を検出する（ステップＳ１８９）。ここで、足踏み有りと判定されると（ステップＳ１８９“ＹＥＳ”）、挙動検出手段１１５は、例えば４０点の評価を与えて演出制御手段１１６に引き渡す。これを受けて演出制御手段１１６は、臨場感のレベル設定時のレベル５に相当する体感装置８０を起動して視覚聴覚以外の体感による演出も行う（ステップＳ１９０）。
【００６１】
なお、挙動検出手段１１５は、撮影装置２０により撮像されたユーザの挙動を検出するものとして説明したが、合成映像生成手段１１３により生成される合成映像に含まれる聴衆の挙動を検出して同様の演出を行ってもよい。この場合、挙動検出手段１１５は、聴衆が肩を組んでいるか、ウェーブやスクラムを組んでいるか、といったパフォーマンスを判定してよい。挙動検出手段１１５は、これらの動きに応じて予め定義した評価点を付与して演出制御手段１１６へ引き渡す。なお、ユーザや観衆の挙動を検出する方法はこれに限定されるものではなく、ユーザや聴衆の挙動を好適に検出するものであればいずれの方法でもよい。
【００６２】
説明を図４に戻す。ユーザの挙動検出による演出制御の後（ステップＳ１８）、合成映像生成手段１１３は、コンテンツ取得手段１１２により取得されたライブ映像等の空間映像に、撮影映像取得手段１１１により取得され選択されたユーザの映像を嵌め込み合成する（ステップＳ１９）。このとき、演出制御手段１１６により生成される演出パターンも合成して得られる合成画像を再生手段１１４に出力する。合成映像の生成処理は、図８にその詳細手順が示されている。
【００６３】
図８によれば、合成映像生成手段１１３は、まず、コンテンツ取得手段１１２により取得されたライブ映像と、演出制御手段１１６により演出されるレーザ光や花火の打ち上げシーン等の演出画像を取り込み（ステップＳ１９１）、取り込んだ映像を重畳する（ステップＳ１９２）。ライブ映像と演出映像との重畳はスーパインポーズ技術を用いる。続いて、合成映像生成手段１１３は、演出映像が重畳されたライブ映像に、撮影映像取得手段１１１により取得されユーザによって選択された撮影映像を嵌め込み、合成映像を生成する（ステップＳ１９３）。
【００６４】
合成映像生成手段１１３は、その合成映像を生成するにあたり、特定の色成分から映像の一部を透明にしてその部分に別の映像を嵌め込むクロマキー合成を用いるか、ＶＦＸ（Visual Effects）技術を駆使してＣＧ（Computer Graphics）または合成による実写映像の加工により、現実では見ることができない仮想現実感（ＶＲ（Virtual Reality））による視覚効果を実現する。合成映像生成手段１１３は、最後に、生成した合成映像を再生手段１１４に出力する（ステップＳ１９４）。
【００６５】
再生手段１１４は、合成映像生成手段１１３から合成映像を得て表示制御部１７に転送する。表示制御部１７は、再生手段１１４から転送された合成映像を主記憶部１２の仮想大画面領域に描画し、合成映像生成手段１１３による視野制御の下で表示枠を動かして得られる実画面領域３０ａの内容を内蔵のＶＲＡＭに転送し、大画面ディスプレイ３０の表示タイミングに同期して読み出して大画面ディスプレイ３０を駆動する。このことにより、大画面ディスプレイ３０に臨場感溢れる表示を行う。
【００６６】
なお、再生手段１１４には、図示省略した音声マイクにより集音されたユーザの音声が供給されており、この音声とコンテンツ取得手段１１２により取得される音源、ならびに演出制御手段１１６の演出により生成される効果音等をミキシングして音声合成部１８へ供給する。これを受けて音声合成部１８は、音声出力部４０を駆動し、ミキシングにより得られる音声を出力して迫力あるライブ会場での音による臨場感を再現する。
【００６７】
説明を図４に戻す。合成映像生成手段１１３による合成映像の生成後（ステップＳ１９）、主制御部１１は、上記した大画面ディスプレイ３０への表示あるいは図示省略したプロジェクトによる投影、および音声合成出力を行う（ステップＳ２０）。主制御部１１は、更に、操作部１６を介して複写要求があれば（ステップＳ２１“ＹＥＳ”）、ＣＤやＤＶＤ等にコピーする処理を実行し、あるいは、ユーザが所持するスマートホン等に配信するサービスを行い、同時に複製に対して予め規定された料率で課金する処理を実行する（ステップＳ２２）。なお、再生については１曲単位で所定の料率での課金が行なわれる。
【００６８】
図９に、本実施形態に係る演出装置１をゲームセンタで利用した場合のイメージが示されている。図９によれば、ユーザは、スポットライトや空調が完備されたゲームセンタ内でヘッドセットを装着しながらプレイステーション（登録商標）等を用いたゲームに熱中している。図１に示したカラオケ施設同様、ユーザの動きは、逐一、１以上の撮影装置により多方向から撮影されている。ゲームセンタ内には、更に、本実施形態に係る演出装置の装置本体、並びに臨場感を与える１００インチ程度の大画面ディスプレイ、更には大型ファン等の体感装置も設置されている。
【００６９】
上記した環境の中でユーザが装置本体を使用してゲームの選択操作を行うと、選択されたゲームに対応して予め用意された映像（ここでは大砲で城を攻めるシーン）の中に、多方向から撮影されたユーザが手足の動きを伴いつつ出現し、大画面ディスプレイ中にあたかも自身が城を攻める主人公（大砲の射手）のように振る舞う臨場感溢れる大迫力映像が再生される。音声についても勿論、城が大砲によって燃え落ちる音とともにユーザの掛け声等のパフォーマンス音がミキシングされ、ステレオあるいはサラウンドスピーカから再生される。また、カラオケ施設同様、視覚、聴覚による演出は勿論、シーンを忠実に再現するために、空調やファン等の体感装置による熱風作成等の体感演出も可能である。
【００７０】
（実施形態の効果）
以上説明のように本実施形態に係る演出装置１によれば、撮影装置２０を用いて１以上の方向から被写体を撮影し、外部から被写体に関連する特定の空間映像と音源とを取得し、主制御部１１が、被写体の映像と取得された空間映像とをリンクさせ、被写体の映像が特定の空間に存在するような合成映像を生成し、大画面ディスプレイ３０に合成映像を表示または投影するとともに、音声出力部４０に、取得された音源と収録された音声とをミキシングして出力音声を再生する。
【００７１】
このように、主制御部１１（合成映像生成手段１１３）が、撮影映像取得手段１１１から出力される被写体の映像とコンテンツ取得手段１１２により取得された空間映像とをリンクさせ、被写体の映像が定の空間に存在するような合成映像を生成するため、被写体であるユーザは、ライブ映像等の空間画像に入り込み、あたかも自身か主人公のように振る舞えるため、大画面ディスプレイ３０に表示される臨場感溢れる演出により顧客満足度を向上させることができる。なお、本実施形態に係る演出装置１では、ライブ映像等の特定の空間映像については外部からネットワーク５０経由で取得されるものとしたが、装置本体１０の大容量記憶部１４に予め保持しても良い。
【００７２】
また、本実施形態に係る演出装置１によれば、主制御部１１（コンテンツ取得手段１１２）が操作部１６により選択操作される索引項目に対応した特定の空間映像と音源とを取得するため、内部に大量の空間映像と音源を蓄積する必要が無く、したがって、メモリ資源を有効活用できる。また、再生手段として、特定の空間で臨場感を再現可能な画面容量を持つ大画面ディスプレイ３０を使用することで、あるいは、合成映像を投影対象の表層に投影するマップマッチングの技術を用いることで臨場感あふれる映像を再現できる。
【００７３】
また、本実施形態に係る演出装置１によれば、主制御部１１（合成映像生成手段１１３）が、操作部１６の手動操作を検知して、撮影映像取得手段１１１から出力される１以上の方向の被写体の映像を切り替え、合成映像を生成するときの被写体の映像とするため、ライブ映像等の特定の空間に嵌め込む被写体映像を自身で選択できるため、ユーザの意思が反映された合成映像を作成することができる。また、合成映像生成手段１１３が、撮影映像取得手段１１１から出力される１以上の被写体映像から特定される人物の視線、または向きに応じて、再生手段１１４により再生される空間映像の視野を変化させる制御を行うため、被写体であるユーザ自身の眼の動きや挙動により意識的に大画面ディスプレイ３０に映し出される空間映像を変化させることができるため一層臨場感が増した映像を再現できる。
【００７４】
また、本実施形態に係る演出装置１によれば、主制御部１１（演出制御手段１１６）が、撮影映像取得手段１１１から出力される１以上の被写体映像から人物を特定し、特定された人物の挙動、または再生手段１１４により再生される出力音声を監視し、得られる評価値に応じて合成映像生成手段１１３により生成される合成映像に演出アイテムを用いたグラフィックスによる演出を行なって臨場感を高める制御を行うため、例えば、レーザ光や打ち上げ花火等のグラフックス演出により、躍動感溢れる映像の表現が可能になる。なお、再生手段１１４により再生される空間画像から人物を特定し、特定された人物の挙動を監視し、得られる評価値に応じて合成映像生成手段１１３により生成される合成映像に演出アイテムを用いたグラフィックスによる演出を行なって臨場感を高める制御を行なっても同様の効果が得られる。
【００７５】
また、主制御部１１（演出制御手段１１６）が、再生手段１１４により再生される出力音声を監視し、得られる評価値に応じて効果音による演出を行なって臨場感を高める制御を行うことで、視覚以外に聴覚で臨場感を高めることができる。また、空調やファン等の体感装置８０を用い視覚と聴覚による演出の他に、体感による演出で更に臨場感を高める制御を行うこともできる。なお、演出制御手段１１６は、操作部１６の手動操作を検知して臨場感のレベルを調整する制御も行う。このとき臨場感の程度をユーザの意思で可変にすることができるため柔軟な演出制御を実現できる。
【００７６】
また、本実施形態に係る演出装置１によれば、複製手段１１７を用意し、複製手段１１７が、操作部１６の手動操作を検知して再生手段１１４により再生さる合成映像およびまたは出力音声を複製するため、ユーザは、例えば、ＤＶＤ等の記録媒体にコピーされた合成映像を保存でき、いつでも再生できるため利便性が増す。なお、記録媒体によるコピーに限らず、スマートホン等を用いたネットワーク通信による配信でもよい。この場合は当然課金が発生するため、課金手段１１８により自動的に課金を処理する仕組みも提供されるため不正コピー問題は解消され、ユーザは勿論のこと、コンテンツを提供する側に対しても利便性が増す。
【００７７】
なお、本実施形態に係るアミューズメントシステム（図１の１００）は、遊技者を１以上の方向から撮影する撮影装置２０と、遊技者により手動操作される操作部１６と、操作部１６により選択操作される索引項目（楽曲やゲーム種）に対応する特定の空間映像と音源とを取得するコンテンツ取得手段１１２と、撮影装置２０により撮像された遊技者の映像とコンテンツ取得手段１１２により取得された空間映像とをリンクさせ、遊技者が索引項目に対応する特定の空間に存在するような合成映像を生成する合成映像生成手段１１３と、合成映像生成手段１１３で生成された合成映像を表示または投影するとともに、取得された音源と集録された遊技者の音声とをミキシングして出力音声を再生する再生手段１１４と、により構成される。
【００７８】
本発明のアミューズメントシステム１００によれば、演出装置１が、被写体映像と空間映像とをリンクさせ、被写体映像が特定の空間に存在するような合成映像を生成するため、被写体であるユーザは、ライブ映像等の空間画像に入り込み、あたかも自身が主人公のように振る舞え、大画面ディスプレイ３０を用いた臨場感溢れる演出により顧客満足度を向上させることができる。なお、本発明のアミューズメントシステム１００は、カラオケ施設やゲームセンタ等に設置して特に顕著な効果が得られる。
【００７９】
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。またその様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【符号の説明】
【００８０】
１…演出装置、１０…装置本体、１１…主制御部、１２…主記憶部、１３…ネットワーク通信部、１４…大容量記憶部、１５…近距離無線通信部、１６…操作部、１７…表示制御部、１８…音声合成部、２０…撮影装置、３０…大画面ディスプレイ、４０…音声出力部、５０…ネットワーク、６０…照明、７０…空調、８０…体感装置、１００…アミューズメントシステム
【図１】
2016166928.tif 000003
【図２】
2016166928.tif 000004
【図３】
2016166928.tif 000005
【図４】
2016166928.tif 000006
【図５】
2016166928.tif 000007
【図６】
2016166928.tif 000008
【図７】
2016166928.tif 000009
【図８】
2016166928.tif 000010
【図９】
2016166928.tif 000011