(57)【要約】【課題】  バーチャルリアリティ空間において、演奏者や視聴者の１人として、他の演奏者や視聴者と共に、演奏者があたかも現実の空間で楽器等を用いて演奏しているように認識できる又は視聴者があたかも現実の空間で演奏を視聴しているように認識できる演奏上演装置を提供することにある。【解決手段】  バーチャルリアリティコンテンツデータと演奏反応情報とから、ＶＲ投影手段に投影させるバーチャルリアリティデータを生成する制御手段とを備え、制御手段が、演奏者があたかも現実の空間で入力手段を用いて演奏しているように認識できる又は視聴者があたかも現実の空間で演奏を視聴しているように認識できるバーチャルリアリティデータを生成し、ＶＲ投影手段で投影させることを特徴とする。【選択図】図１
2018005019.tif 000002
【特許請求の範囲】
【請求項１】
バーチャルリアリティ空間での演奏を実現させる演奏上演装置において、
演奏者又は視聴者の眼前に、映像及び音響によって構成される該バーチャルリアリティ空間を形成させるためのバーチャルリアリティデータを、視覚的及び聴覚的に投影させるＶＲ投影手段と、
該ＶＲ投影手段に投影させる該バーチャルリアリティ空間を構成する映像及び音響に係る個々のコンテンツデータであるバーチャルリアリティコンテンツデータと、
該演奏者の演奏情報又は該視聴者の反応情報からなる演奏反応情報を入力する入力手段と、
該バーチャルリアリティコンテンツデータと該演奏反応情報とから、該ＶＲ投影手段に投影させる該バーチャルリアリティデータを生成する制御手段とを備え、
該制御手段が、該演奏者があたかも現実の空間で該入力手段を用いて演奏しているように認識できる又は該視聴者があたかも現実の空間で演奏を視聴しているように認識できる該バーチャルリアリティデータを生成し、該ＶＲ投影手段で投影させることを特徴とする演奏上演装置。
【請求項２】
前記バーチャルリアリティコンテンツデータに、予め入力された他の演奏者又は他の視聴者の映像及び音響に係る前記コンテンツデータを含むことを特徴とする請求項１記載の演奏上演装置。
【請求項３】
前記バーチャルリアリティコンテンツデータに、リアルタイムで生成される他の演奏者又は他の視聴者の映像及び音響に係る前記コンテンツデータを含むことを特徴とする請求項１記載の演奏上演装置。
【請求項４】
前記バーチャルリアリティコンテンツデータに、音響として予め生成された既存楽曲情報又は前記演者が演奏する生楽曲情報にマッチした雰囲気の前記バーチャルリアリティ空間を生成するための前記コンテンツデータを含むことを特徴とする請求項１記載の演奏上演装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、バーチャルリアリティ空間での演奏を実現させる演奏上演装置に関する。
【背景技術】
【０００２】
従来より、演奏装置として、バーチャルリアリティ空間において、演奏者が演奏していることを実感しながら演奏が行えるものが提案されている。例えば、特許文献１に示される演奏装置がある。
【０００３】
特許文献１の演奏装置は、ユーザの視点を直接的または間接的に検出する視点検出手段と、ユーザの目の近傍に装着される表示手段と、自動演奏データを再生することにより、自動演奏を行う自動演奏手段と、自動演奏手段による自動演奏と同期して、演奏画像を生成する演奏画像生成手段と、演奏画像生成手段によって生成された演奏画像の描画角度を、視点検出手段によって検出されたユーザの視点に応じて変更し、描画角度の変更された演奏画像を表示手段に表示させるように制御する制御手段とを有するものである。そして、演奏画像は、リアルな又はバーチャルな楽器をバーチャルな演奏者が演奏しているものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２７１６９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の演奏装置では、例えばバンド演奏で、特定のパートだけを自分が演奏し、演奏者があたかも現実の空間でバンド演奏しているように認識しつつバーチャルリアリティ空間で演奏をすることができなかった。
【０００６】
本発明は、このような事情に鑑みてなされたもので、バーチャルリアリティ空間において、演奏者や視聴者の１人として、他の演奏者や視聴者と共に、演奏者があたかも現実の空間で楽器等を用いて演奏しているように認識できる又は視聴者があたかも現実の空間で演奏を視聴しているように認識できる演奏上演装置を提供することにある。
【課題を解決するための手段】
【０００７】
請求項１記載の演奏上演装置は、演奏者又は視聴者の眼前に、映像及び音響によって構成されるバーチャルリアリティ空間を形成させるためのバーチャルリアリティデータを、視覚的及び聴覚的に投影させるＶＲ投影手段と、ＶＲ投影手段に投影させるバーチャルリアリティ空間を構成する映像及び音響に係る個々のコンテンツデータであるバーチャルリアリティコンテンツデータと、演奏者の演奏情報又は視聴者の反応情報からなる演奏反応情報を入力する入力手段と、バーチャルリアリティコンテンツデータと演奏反応情報とから、ＶＲ投影手段に投影させるバーチャルリアリティデータを生成する制御手段とを備え、制御手段が、演奏者があたかも現実の空間で入力手段を用いて演奏しているように認識できる又は視聴者があたかも現実の空間で演奏を視聴しているように認識できるバーチャルリアリティデータを生成し、ＶＲ投影手段で投影させることを特徴とする。
【０００８】
請求項２記載の演奏上演装置は、バーチャルリアリティコンテンツデータに、予め入力された他の演奏者又は他の視聴者の映像及び音響に係るコンテンツデータを含むことを特徴とする。
【０００９】
請求項３記載の演奏上演装置は、バーチャルリアリティコンテンツデータに、リアルタイムで生成される他の演奏者又は他の視聴者の映像及び音響に係るコンテンツデータを含むことを特徴とする。
【００１０】
請求項４記載の演奏上演装置は、バーチャルリアリティコンテンツデータに、音響として予め生成された既存楽曲情報又は演者が演奏する生楽曲情報にマッチした雰囲気のバーチャルリアリティ空間を生成するためのコンテンツデータを含むことを特徴とする。
【発明の効果】
【００１１】
本願発明によれば、バーチャルリアリティ空間において、演奏者や視聴者の１人として、他の演奏者や視聴者と共に、演奏者があたかも現実の空間で楽器等を用いて演奏しているように認識できる又は視聴者があたかも現実の空間で演奏を視聴しているように認識できるようにすることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る演奏上演装置の構成の一例を示す構成図である。
【図２】同演奏上演装置のプレーヤ装置の一例を示す構成図である。
【図３】同演奏上演装置のＶＲコンテンツの一例を示す構成図である。
【図４】同演奏上演装置の視聴者装置の一例を示す構成図である。
【発明を実施するための形態】
【００１３】
以下、本発明の形態について図面を参照しながら具体的に説明する。図１は、本発明に係る演奏上演装置の構成の一例を示す構成図である。図２は、同演奏上演装置のプレーヤ装置の一例を示す構成図である。図３は、同演奏上演装置のＶＲコンテンツの一例を示す構成図である。図４は、同演奏上演装置の視聴者装置の一例を示す構成図である。
【００１４】
本発明に係る演奏上演装置１は、バーチャルリアリティ空間での演奏を実現させるためのもので、バーチャルリアリティ空間において、演奏者が演奏していることを実感しながら演奏が行え、また、視聴者があたかもコンサート会場にいるような感覚で楽曲を楽しむことができるものである。さらに、演奏上演装置１は、例えば、バンド演奏において、演奏者の１人が、他の演奏者とは別の場所にいる状態であっても、自分の楽器もしくはパートの演奏をして、他のバンドメンバ（他の演奏者）とあたかも同じ場所（バーチャルリアリティ空間）で競演（合奏）しているように体感できることを目的にしている。また、視聴者の場合には、例えば、コンサート会場にいなくても、あたかもコンサート会場で、自らもコンサート参加者として演奏を見聞きしているように体感できることを目的にしている。
【００１５】
演奏上演装置１は、図１に基本的な構成を示すように、プレーヤ装置１０や視聴者装置１００により構成され、必要に応じて（詳細は後述する）、情報通信ネットワーク５等の接続により、他のプレーヤ装置１０や視聴者装置１００に接続される。
【００１６】
図１に示すように、プレーヤ装置１０（視聴者装置１００）は、演奏上演処理端末１２と、演奏者であるプレーヤＰ（例えばコンサートの観客である視聴者Ａ）が装着するＶＲ投影手段３０や情報を入力する入力手段４０とから構成されている。そして、演奏上演処理端末１２は、プレーヤ装置１０（視聴者装置１００）の全体の制御をつかさどる制御手段１４と、バーチャルリアリティコンテンツデータ（ＶＲコンテンツデータ）２２等のデータを記憶する記憶手段２０とから構成されている。演奏上演処理端末１２は、例えば、電子計算機や携帯情報端末（例えばスマートフォンやタブレット端末）やゲーム機等の各種制御が可能で、映像や音声の出力が可能で、且つ、入力手段４０から情報を入手できるものである。
【００１７】
ＶＲ投影手段３０は、演奏者であるプレーヤＰや視聴者Ａの眼前に、映像及び音響によって構成されるバーチャルリアリティ空間を形成させるためのバーチャルリアリティデータを、視覚的及び聴覚的に投影させるためのもので、図２や図４にあるように、例えば、頭部装着ディスプレイであるＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）３２である。本願の説明では、ＶＲ投影手段３０をＨＭＤ３２で説明するが、ＨＭＤ３２に限定されるものではなく、ＶＲ投影手段３０としての機能を有するものであれば、例えば、スマートフォンをＶＲ投影手段３０として用いる等、手段により制限されるものではない。また、図２や図４の例では、ＨＭＤ３２に音響装置である例えばヘッドホンが含まれる形で記載しているが、ＨＭＤとは別の音響装置を用いるようにしてもよいし、音響装置の種類によって制限されるものでもない。
【００１８】
記憶手段２０に記憶されるバーチャルリアリティコンテンツデータ２２は、ＶＲ投影手段３０に投影させるバーチャルリアリティ空間を構成する映像及び音響に係る個々のコンテンツデータである。そして、入力手段４０は、演奏者であるプレーヤＰの演奏情報や視聴者Ａの反応情報からなる演奏反応情報を制御手段１４に対して入力するものである（詳細は、後述する）。さらに、制御手段１４は、バーチャルリアリティコンテンツデータ２２と演奏反応情報とから、ＶＲ投影手段３０に投影させるバーチャルリアリティデータを生成する機能を有している。
【００１９】
バーチャルリアリティコンテンツデータ２２は、具体的には、例えば、大別すると、映像用データ２４と音響用データ２６とに分けられる。そして、映像用データ２４や音響用データ２６が、組み合わせることでバーチャルリアリティ空間がＶＲ投影手段３０により体感可能になり、投影させるバーチャルリアリティデータを生成する基礎的な情報になるわけである。
【００２０】
バーチャルリアリティコンテンツデータ２２の映像用データ２４は、より具体的には、例えば、背景・舞台装置データ２４ａや観客データ２４ｂやバンドメンバデータ２４ｃやプレーヤデータ２４ｄ等がある。背景・舞台装置データ２４ａは、例えば、バーチャルリアリティ空間を立体的に形成可能な背景（場所等）の映像の情報として、架空のバーチャルのコンサート会場や、実在のコンサート会場や野球場や競技場等の他、海岸や平原等の架空や実在の光景の情報である。また、背景・舞台装置データ２４ａは、例えば、バーチャルリアリティ空間を立体的に形成可能な舞台装置や変化する周囲の雰囲気の映像の情報として、スポットライトや大型スクリーンやスモークや炎や電飾等の架空や実在の装置等の情報である。
【００２１】
観客データ２４ｂは、例えば、バーチャルリアリティ空間に立体的に登場可能なプレーヤＰやバンドメンバ以外の人そのものの外見的な情報や、ペンライトやタオル等のその人が身につけている物の情報や、拍手や歓声等のその人の反応の情報である。観客データ２４ｂは、男女おのおのの情報があり、また、実在する人物の情報であっても架空の人物の情報であってもよいし、実在の動物や架空の動物も含むようにしてもよい。
【００２２】
バンドメンバデータ２４ｃやプレーヤデータ２４ｄは、バーチャルリアリティ空間に立体的に登場可能なプレーヤＰ本人やそれ以外の演奏者そのものの外見的な情報や、演奏する楽器や演奏の仕方や表情や、ボーカルやコーラスであれば歌っている様子の情報であり、ダンサーであればそのダンスの情報（動きの情報）である。バンドメンバデータ２４ｃやプレーヤデータ２４ｄは、実在する人物の情報であっても架空の人物の情報であってもよいし、架空の身体の映像に実在する人の顔の写真等を嵌め込んだもの等、その組み合わせは任意である。また、バンドメンバデータ２４ｃやプレーヤデータ２４ｄを観客データ２４ｂとして用いることも可能で、その使用方法自体が任意である。バンドメンバデータ２４ｃやプレーヤデータ２４ｄを、出演者として捉えると、例えば、ボーカル、ギター、ベース、ドラム、キーボード、コーラス、ダンサー、ＤＪ、オーケスト等のそれぞれである。
【００２３】
バーチャルリアリティコンテンツデータ２２の音響用データ２６は、より具体的には、例えば、楽曲データ２６ａや環境音データ２６ｂ等がある。楽曲データ２６ａは、例えば、既存の楽曲の演奏情報で、楽器の演奏音や歌声の情報である。また、楽曲データ２６ａは、例えば、バンド演奏において構成される音響であるボーカル、ギター、ベース、ドラム、楽器としてのキーボード等の情報であり、それらのそれぞれを個別にオフ（プレーヤトラックＯＦＦ等）したりオンすることができたりすることも可能な情報である。
【００２４】
また、楽曲データ２６ａは、各楽曲毎に演奏におけるプレーヤＰや他の演奏者毎の動作の情報である演奏モーションデータを合わせ持たせることも可能である。尚、既存の楽曲であれば、演奏モーションデータを予め持たせることが可能であるが、プレーヤＰが生で演奏して入力する場合や演奏モーションデータを伴っていない楽曲の場合、その楽曲のテンポ等を解析して汎用的な演奏モーションデータを使用できるようにすることも可能で、このような汎用的な演奏モーションデータも楽曲データ２６ａとして持つことも可能である。
【００２５】
環境音データ２６ｂは、例えば、コンサートの場合、コンサート会場での周囲の音の情報で、映像用データ２４を伴わない観客の反響による音の情報も環境音データ２６ｂである。
【００２６】
尚、バーチャルリアリティコンテンツデータ２２に、予め入力された他の演奏者又は他の視聴者の映像及び音響に係るコンテンツデータを含めることも可能であり、また、リアルタイムで生成される他の演奏者又は他の視聴者の映像及び音響に係るコンテンツデータを含めることも可能であり、さらに、音響として予め生成された既存楽曲情報又は演者が演奏する生楽曲情報にマッチした雰囲気のバーチャルリアリティ空間を生成するためのコンテンツデータを含めることも可能である。
【００２７】
尚、上述のバーチャルリアリティコンテンツデータ２２の例は、あくまでも一例にすぎず、本願の目的を達成に寄与するすなわちバーチャルリアリティ空間を構成する映像や音響の情報であれば、限定されるものではない。また、各図の記載では、予めバーチャルリアリティコンテンツデータ２２が、記憶手段２０に納められているようになっているが、必ずしも固定的に納められているのでなく、外部記憶手段を演奏上演処理端末１２に接続し、バーチャルリアリティコンテンツデータ２２を記憶手段２０に追加したり、入れ替えたりすることも可能である。また、図１に示すような情報通信ネットワーク５を介して、外部から記憶手段２０に追加したり、入れ替えたりすることも可能である。尚、情報通信ネットワーク５は、例えば、インターネット網等の電気通信回線であるが、単に、プレーヤ装置１０や視聴者装置１００を相互に直接接続するケーブルでの接続であってもよく、プレーヤ装置１０や視聴者装置１００が、外部と接続可能であれば、その形態により制限されるものではない。
【００２８】
そして、制御手段１４は、演奏者であるプレーヤＰがあたかも現実の空間で入力手段４０を用いて演奏しているように認識できる又は視聴者Ｐがあたかも現実の空間で演奏を視聴しているように認識できるバーチャルリアリティデータを生成し、ＶＲ投影手段３０で投影させる。
【００２９】
以上のような構成の本願の演奏上演装置１によれば、バーチャルリアリティ空間において、演奏者や視聴者の１人として、他の演奏者や視聴者と共に、プレーヤＰ（演奏者）があたかも現実の空間で楽器４４等を用いて演奏しているように認識できる又は視聴者Ａがあたかも現実の空間で演奏を視聴しているように認識することができる。
【実施例１】
【００３０】
次に、プレーヤＰが、演奏上演装置１を用いて演奏を行う場合の実施例を説明する。本実施例では、バンド演奏において、演奏者の１人であるプレーヤＰが、自分の楽器で自分のパートの演奏をして、他のバンドメンバ（他の演奏者）とあたかも同じ場所（バーチャルリアリティ空間）で競演（合奏）しているように体感できる使用方法を、図２等を用いて説明する。
【００３１】
まず、プレーヤＰは、演奏上演処理端末１２で、どのような曲を、どのようなバンドメンバ（他の演奏者等）と、どのような場所（コンサート会場等）で、自分がどのような楽器（ボーカルの場合もある）のどのパートを担当するかを、入力デバイス４２（キーボード、マウス、コントローラ等）で設定する。また、プレーヤＰは、自分が使用する楽器４４又はマイク４６を、演奏上演処理端末（制御手段１４）に接続しセッティングする。
【００３２】
楽器４４と演奏上演処理端末１２（制御手段１４）とのインタフェースに関しては、電子的に接続可能であれば、どのような形態であってもよく、有線でも無線での接続であってもかまわないし、信号方式がデジタル方式であってもアナログ方式であってもよい。例えば、楽器４４と演奏上演処理端末とを、ＵＳＢで接続したり、Ｍｉｄｉ方式で接続することも可能であり、また、楽器４４からのアナログのオーディオ信号を演奏上演処理端末１２の制御手段１４に送るようにしてもよい。尚、演奏上演処理端末１２が、ゲーム機であるような場合には、入力デバイス４２であるコントローラを介して、演奏情報である演奏反応情報を演奏上演処理端末１２（制御手段１４）を入力するようにしてもよい。
【００３３】
次に、プレーヤＰは、ＶＲ投影手段３０であるＨＭＤ３２を装着し、映像と音響とによりバーチャルリアリティ空間を体感できる状態にする。そして、プレーヤＰが、演奏上演処理端末１２を操作し、演奏を開始させると、プレーヤＰが設定したバーチャルリアリティ空間が、ＨＭＤ３２に投影され、プレーヤＰは、自身が設定したコンサート会場等にあたかもいるような状態になる。また、他の演奏者や観客が、ＨＭＤ３２を介して眼前に現れる。そして、プレーヤＰは、他の架空の演奏者に合わせて、楽曲を演奏又は歌い始める。プレーヤＰは、楽器４４を演奏したりマイク４６を介して歌うことで、演奏情報である演奏反応情報をこれらの入力手段４０を介して、演奏上演処理端末１２の制御手段１４に送る。すると、制御手段１４は、プレーヤＰがあたかも現実の空間で入力手段４０（例えば楽器４４）を用いて演奏しているように認識できるバーチャルリアリティデータを生成し、ＶＲ投影手段３０であるＨＭＤ３２に投影させる。
【００３４】
使用されるバーチャルリアリティコンテンツデータ２２で、例えば楽曲のギターのパートをオフした情報を用いた場合、プレーヤＰの演奏するギターを楽器４４として、その演奏反応情報を制御手段１４に送るようにして演奏を行うと、ＨＭＤ３２に投影されるバーチャルリアリティ空間は、プレーヤＰが自分のパートを担って演奏しているように認識できるようになる。他の演奏者は、それぞれの楽器やパートを受け持って演奏しているように投影され、プレーヤＰは、あたかも他の演奏者と現実の空間でセッションしているような感覚で、バーチャルリアリティ空間で演奏することができる。
【００３５】
また、演奏上演処理端末１２で、コンサート会場や観客を設定することで、その設定したコンサート会場で、他の演奏者と共に演奏しており、また設定した観客の前で観客の反応を感じながら演奏している感覚のバーチャルリアリティ空間で演奏を行うことが可能である。
【００３６】
尚、演奏する楽曲は、予めバーチャルリアリティコンテンツデータ２２で用意されたものであれば、他の演奏者の演奏や観客の反応の様子は、用意されたバーチャルリアリティコンテンツデータ２２に基づいてバーチャルリアリティ空間に現されるが、他の演奏者の演奏や観客の反応の様子が、バーチャルリアリティコンテンツデータ２２として用意されていなかったり十分な情報でない場合には、プレーヤＰの演奏の様子から、制御手段１４が、楽曲のテンポ等を解析して、バーチャルリアリティ空間に現されるようにすることも可能である。また、予めバーチャルリアリティコンテンツデータ２２で用意された楽曲を用いる場合でも、バンド構成や観客の有無や様子等の組み合わせ等を自由に設定することも可能である。
【００３７】
さらに、入力デバイス４２としてプレーヤＰの動作を取り込めるモーションキャプチャ手段を用いることで、プレーヤＰの演奏の動作を制御手段１４に送って、バーチャルリアリティ空間に反映させることも可能である。モーションキャプチャ手段としては、例えば、ＨＭＤ３２に設けられた加速度センサやジャイロセンサや近接センサや視線検知センサ等のＨＭＤ３２のセンサ情報を用いることも可能である。そして、プレーヤＰ自身が、他の演奏者の視線で自分の演奏の様子を、バーチャルリアリティ空間で見ることもできるようにすることができる。もちろん、プレーヤＰが、他の演奏者の視線や観客の視線やまた別の視線で、自身以外の様子をバーチャルリアリティ空間で見ることもできるようにすることができる。
【００３８】
尚、上述の説明では、他の演奏者や観客は、バーチャルリアリティコンテンツデータ２２で予め用意された架空のものであるが、図１に示すように、情報通信ネットワーク５で接続された他の演奏者のプレーヤ装置１０とリアルタイムで接続し、リアルタイムで遠隔地でありながら、あたかも同じ場所で演奏しているようにセッションすることも可能である。この場合、すべての演奏者が、実在して演奏する場合に限らず、一部の演奏者は上述のようにバーチャルリアリティコンテンツデータ２２で予め用意された架空のものであってもよい。また、後述する視聴者Ａである観客についても、情報通信ネットワーク５で接続された視聴者装置１００とリアルタイムで接続し、リアルタイムで遠隔地でありながら、あたかも同じ場所で演奏を聴いてもらっているようにすることも可能である。
【００３９】
また、プレーヤＰの演奏により生成されたバーチャルリアリティ空間をなすバーチャルリアリティデータを、そのままに保存したり情報通信ネットワーク５で配信したりすることも可能で有り、このバーチャルリアリティデータを他の媒体で再生可能に二次元的又三次元的に保存したり配信したりすることも可能である。さらに、例えば、プレーヤＰの演奏と既存の演奏の情報と比較して採点したりすることも可能である。
【実施例２】
【００４０】
次に、視聴者Ａが、演奏上演装置１を用いて演奏を視聴する場合の実施例を説明する。本実施例では、実際のコンサート会場でバンド演奏を視聴しているがごとくバーチャルリアリティ空間で体感できる使用方法を、図４等を用いて説明する。
【００４１】
まず、視聴者Ａは、演奏上演処理端末１２で、どんなコンサート会場で、どのようなバンド演奏を視聴したいか、入力デバイス４２（キーボード、マウス、コントローラ等）で設定する。また、視聴者Ａは、必要に応じて、自らの反応情報である演奏反応情報を入力するための入力手段４０であるマイク４６やペンライト４８等を、演奏上演処理端末１２（制御手段１４）に接続しセッティングする。
【００４２】
次に、視聴者Ａは、ＶＲ投影手段３０であるＨＭＤ３２を装着し、映像と音響とによりバーチャルリアリティ空間を体感できる状態にする。そして、視聴者Ａが、演奏上演処理端末１２を操作し、演奏を開始させると、視聴者Ａが設定したバーチャルリアリティ空間が、ＨＭＤ３２に投影され、設定したバンド演奏を、自身が設定したコンサート会場等にあたかもいるような状態で視聴できる。視聴者Ａは、バンド演奏に合わせて声を上げてその声をマイク４６に入力したり、また、他の入力デバイス４２（キーボード、マウス、コントローラ等）やペンライト４８を振って自身の反応を入力すると、反応情報である演奏反応情報をこれらの入力手段４０を介して、演奏上演処理端末１２の制御手段１４に送る。すると、制御手段１４は、視聴者Ａがあたかも現実の空間で入力手段４０（例えばマイク４６）を用いて反応している様子が認識でき、その視聴者Ａの反応に即してバーチャルリアリティデータを生成し、ＶＲ投影手段３０であるＨＭＤ３２に投影させることもできる。
【００４３】
また、入力デバイス４２として視聴者Ａの動作を取り込めるモーションキャプチャ手段を用いることで、視聴者Ａの反応の動作を制御手段１４に送って、バーチャルリアリティ空間に反映させることも可能である。モーションキャプチャ手段としては、例えば、ＨＭＤ３２に設けられた加速度センサやジャイロセンサや近接センサや視線検知センサ等のＨＭＤ３２のセンサ情報を用いることも可能である。そして、視聴者Ａ自身が、演奏者の視線で自分の視聴者としての様子を、バーチャルリアリティ空間で見ることもできるようにすることができる。もちろん、視聴者Ａが、演奏者の視線や他の観客（視聴者）の視線やまた別の視線で、自身以外の様子をバーチャルリアリティ空間で見ることもできるようにすることができる。
【００４４】
尚、上述の説明では、演奏者や他の観客（視聴者）は、バーチャルリアリティコンテンツデータ２２で予め用意された架空のものであるが、図１に示すように、情報通信ネットワーク５で接続された演奏者のプレーヤ装置１０や視聴者装置１００とリアルタイムで接続し、リアルタイムで遠隔地でありながら、あたかも目の前で演奏しているように見ることも可能である。この場合、すべての演奏者や観客（視聴者）が、実在して演奏したり視聴している場合に限らず、一部の演奏者や観客（視聴者）は上述のようにバーチャルリアリティコンテンツデータ２２で予め用意された架空のものであってもよい。
【００４５】
また、視聴者Ａが聴視している中で生成されたバーチャルリアリティ空間をなすバーチャルリアリティデータを、そのままに保存したり情報通信ネットワーク５で配信したりすることも可能で有り、このバーチャルリアリティデータを他の媒体で再生可能に二次元的又三次元的に保存したり配信したりすることも可能である。
【産業上の利用可能性】
【００４６】
以上のように、本発明によれば、バーチャルリアリティ空間において、演奏者や視聴者の１人として、他の演奏者や視聴者と共に、演奏者があたかも現実の空間で楽器等を用いて演奏しているように認識できる又は視聴者があたかも現実の空間で演奏を視聴しているように認識できる演奏上演装置を提供することができる。
【符号の説明】
【００４７】
１・・・・・演奏上演装置
５・・・・・情報通信ネットワーク
１０・・・・プレーヤ装置
１２・・・・演奏上演処理端末
１４・・・・制御手段
２０・・・・記憶手段
２２・・・・バーチャルリアリティコンテンツデータ（ＶＲコンテンツデータ）
２４・・・・映像用データ
２４ａ・・・背景・舞台装置データ
２４ｂ・・・観客データ
２４ｃ・・・バンドメンバデータ
２４ｄ・・・プレーヤデータ
２６・・・・音響用データ
２６ａ・・・楽曲データ
２６ｂ・・・環境音データ
３０・・・・ＶＲ投影手段
３２・・・・ＨＭＤ
４０・・・・入力手段
４２・・・・入力デバイス
４４・・・・楽器
４６・・・・マイク
４８・・・・ペンライト
１００・・・視聴者装置
【図１】
2018005019.tif 000003
【図２】
2018005019.tif 000004
【図３】
2018005019.tif 000005
【図４】
2018005019.tif 000006