(57)【要約】【課題】  ＨＭＤに映し出される映像によって視覚的な没入感を味わうことができるとともに、この映像に対応した音声を出力することにより、聴覚からの刺激により、更に没入感を高めることができるシステムを得る。【解決手段】  情報処理装置1と、この情報処理装置1から送られた映像データを仮想空間20の映像データに組み込み映し出すヘッドマウントディスプレイ2と、このヘッドマウントディスプレイ2を装着したユーザ8が携帯し、３次元座標を取得可能として上記情報処理装置1に位置情報の信号を送る追加位置センサー3と、上記情報処理装置1に映像データを出力する映像音声出力装置4と、この映像音声出力装置4からの音声を出力する第１スピーカー5と、上記情報処理装置1に記録した音声を出力する第２スピーカー6とを備え、上記ヘッドマウントディスプレイ2は３次元座標とカメラアングルを取得するヘッド位置センサーを備える。【選択図】図１
2020020966.tif 000002
【特許請求の範囲】
【請求項１】
情報処理装置と、この情報処理装置から送られた映像データを仮想空間の映像データに組み込み映し出すヘッドマウントディスプレイと、このヘッドマウントディスプレイを装着したユーザが携帯し、３次元座標を取得可能として上記情報処理装置に位置情報の信号を送る追加位置センサーと、上記情報処理装置に映像データを出力する映像音声出力装置と、この映像音声出力装置からの音声を出力する第１スピーカーと、上記情報処理装置に記録した音声を出力する第２スピーカーとを備え、上記ヘッドマウントディスプレイは３次元座標とカメラアングルを取得するヘッド位置センサーを備えたことを特徴とする仮想空間及び音声提供システム。
【請求項２】
情報処理装置は、映像音声出力装置からの映像データを取得する映像取得部と、仮想空間の映像データ及びこの映像データに付随する音声データを記憶する記憶部と、この記憶部に記憶した仮想空間に映像取得部で得られた映像データを組み込む映像合成部と、ヘッドマウントディスプレイ及び追加位置センサーからの位置情報を取得する位置情報取得部と、この位置情報取得部で得られた位置情報を上記仮想空間の映像及び音声に反映させる映像音声処理部と、この映像音声処理部及び上記映像合成部で得られた情報をヘッドマウントディスプレイに出力する映像出力部と、上記記憶部に記憶した音声を第２スピーカーに出力する音声出力部とを備えたことを特徴とする仮想空間及び音声提供システム。
【請求項３】
映像音声出力装置には、この映像音声出力装置からの音声データを受信することにより、ユーザの足下で振動を発生させる振動装置を備えたことを特徴とする請求項１の仮想空間及び音声提供システム。
【請求項４】
追加位置センサーは、ユーザが使用するマイクに装着したことを特徴とする請求項１の仮想空間及び音声提供システム。
【請求項５】
第１スピーカーは、仮想空間内におけるスピーカーの配置に対応させて配置したことを特徴とする請求項１の仮想空間及び音声提供システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ヘッドマウントディスプレイを用いた仮想空間及び音声提供システムに係るものである。
【背景技術】
【０００２】
従来より、特許文献１に示す如くヘッドマウントディスプレイ(以下、「ＨＭＤ」とする。)を装着し、このＨＭＤにゲームや映画などの映像を映し出すことにより、装着者への没入感を高めてコンテンツのエンターテインメント性を向上させることを目的とするシステムが既に公知となっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−２５８６１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の如きシステムは映像のみを扱うものであるため、聴覚など人の他の感覚については対象となっていないことから、装着者は視覚のみでの没入感を味わうものとなるため、用途が限られるものとなり、エンターテインメント性の向上についても限界があった。
【０００５】
そこで、本願発明は上述の如き課題を解決しようとするものであって、ＨＭＤに映し出される映像によって視覚的な没入感を味わうことができるとともに、この映像に対応した音声を出力することにより、聴覚からの刺激により、更に没入感を高めることができるシステムを得ようとするものである。
【課題を解決するための手段】
【０００６】
本願発明は上述の如き課題を解決するため、情報処理装置と、この情報処理装置から送られた映像データを仮想空間の映像データに組み込み映し出すＨＭＤと、このＨＭＤを装着したユーザが携帯し、３次元座標を取得可能として上記情報処理装置に位置情報の信号を送る追加位置センサーと、上記情報処理装置に映像データを出力する映像音声出力装置と、この映像音声出力装置からの音声を出力する第１スピーカーと、上記情報処理装置に記録した音声を出力する第２スピーカーとを備え、上記ＨＭＤは３次元座標とカメラアングルを取得するヘッド位置センサーを備えたものである。
【０００７】
また情報処理装置は、映像音声出力装置からの映像データを取得する映像取得部と、仮想空間の映像データ及びこの映像データに付随する音声データを記憶する記憶部と、この記憶部に記憶した仮想空間に映像取得部で得られた映像データを組み込む映像合成部と、ＨＭＤ及び追加位置センサーからの位置情報を取得する位置情報取得部と、この位置情報取得部で得られた位置情報を上記仮想空間の映像及び音声に反映させる映像音声処理部と、この映像音声処理部及び上記映像合成部で得られた情報をＨＭＤに出力する映像出力部と、上記記憶部に記憶した音声を第２スピーカーに出力する音声出力部とを備えたものであってもよい。
【０００８】
また、映像音声出力装置には、この映像音声出力装置からの音声データを受信することにより、ユーザの足下で振動を発生させる振動装置を備えたものであってもよい。このように振動装置を備えることにより、視覚と聴覚のみならず、振動によって身体に感じる体感をも得ることができることから、更に没入感を高めることができる。
【０００９】
また、追加位置センサーは、ユーザが使用するマイクに装着したものであってもよい。このようにマイクに追加位置センサーを装着することにより、マイクを上げたり下げたりするユーザの動作に追加位置センサーが反応するため、ユーザが恣意的にＨＭＤの映像や音声を変化させることができる。
【００１０】
また、第１スピーカーは、仮想空間内におけるスピーカーの配置に対応させて配置したものであってもよい。このように仮想空間内の配置に対応させて実際にスピーカーを配置することにより、ユーザはまるで自身が仮想空間内にいるような感覚を得ることができるため、臨場感を更に高めることが可能となる。
【００１１】
本発明は上述の如く構成したものであるから、ＨＭＤ及び追加位置センサーを装着したユーザが、このＨＭＤや追加位置センサーを実際に動かすことにより、臨場感のある仮想空間を、視覚を通じて体感することができるとともに、第１スピーカー及び第２スピーカーを備えて音声を出力することにより、聴覚からも刺激を受けることができるため、更に没入感を高めてエンターテインメント性の向上を図ることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施例１を示すブロック図。
【図２】実施例１においてＨＭＤ着用時のユーザを示す概念図。
【図３】追加位置センサーを設けたカラオケマイクを示す概念図。
【図４】本実施例のカラオケルームを示す概念図。
【図５】描画動作のフロー図。
【図６】仮想空間を示す概念図。
【図７】スピーカー及びアンプに関する接続図。
【図８】スピーカー及びアンプのフロー図。
【図９】追加位置センサーのフロー図。
【実施例１】
【００１３】
本発明の実施例１を図１〜９とともに説明する。本実施例のシステムは、ユーザ(8)がカラオケルーム(13)にてカラオケを楽しむ際のエンターテインメント性を高めることを目的としたものである。そして本実施例のシステムは図１に示す如く、情報処理装置(1)と、ヘッドマウントディスプレイ(以下、「ＨＭＤ」とする。)(1)と、追加位置センサー (3)と、映像音声出力装置(4)と、第１及び第２スピーカー(５)(６)と、振動装置(7)とを備えている。
【００１４】
上記ＨＭＤ(2)はこのシステムを利用するユーザ(8)の頭部に装着して使用するものであって、図２に示す如く正面中央にカメラ(10)を備えている。またこのＨＭＤ(2)には、内部に３次元座標及びカメラアングルを取得するヘッド位置センサー(図示せず。)を備えている。また図３に示す如く、ユーザ(8)が把持しているカラオケ用マイク(11)には、３次元座標を取得可能とする追加位置センサー(3)を接続固定している。
【００１５】
また本実施例のカラオケルーム(13)には、図４に示す如く、部屋の後方に設けたステージの床に振動装置(7)を配置するとともに、この振動装置(7)の後方にはカラオケルーム(13)内のカラオケルーム(13)内にいるユーザ(8)以外の者が視聴可能な大画面のディスプレイ(15)を設けている。またこのディスプレイ(15)の両側には、一対の第１スピーカー(5)を配置している。また、振動装置(7)の前方には手摺(16)を配置するとともに、この手摺(16)の更に前方には、第２スピーカー(６)を配置している。またこの第２スピーカー(６)の更に前方にはプロジェクター(17)を配置し、このプロジェクター(17)から出力される映像を、プロジェクター(17)よりも更に前方に位置する壁面(18)に投影可能としている。
【００１６】
次に本実施例の情報処理装置(1)について説明すると、この情報処理装置(1)は図１に示す如く、映像取得部、記憶部、映像音声処理部、映像合成部、位置情報取得部、映像出力部、音声出力部を備えている。
【００１７】
そして映像取得部は、映像音声出力装置(4)からの映像データを取得するものである。また記憶部は、上記ＨＭＤ(2)に映し出される仮想空間(20)の映像データとそれに付随する音声データを記憶するものである。また、位置情報取得部は、ＨＭＤ(2)及び追加位置センサー(3)からの位置情報を取得するものである。また、映像音声処理部は、上記位置情報取得部で得られた情報を、上記仮想空間(20)に反映させるものである。
【００１８】
また、映像合成部は、上記映像音声処理部にて処理した仮想空間(20)に映像取得部で得た映像データを組み込むものである。また映像出力部は、上記映像合成部で得られた情報をＨＭＤ(2)、ディスプレイ(15)、及びプロジェクター(17)に出力するものである。また、音声出力部は、記憶部の音声情報を、第２アンプ(30)を介して第２スピーカー(６)に出力するものである。
【００１９】
また上記の通り、本実施例のカラオケルーム(13)には図４に示す如く、部屋の後方に振動装置(7)を配置している。この振動装置(7)は図１に示す如く、本実施例の映像音声出力装置(4)に接続され、図７、８に示す如くこの映像音声出力装置(4)からの音声データが、振動装置(7)用の第３アンプ(27)を介して送られ、この振動装置(7)がユーザ(8)の足下で振動を発生させるものである。
【００２０】
また図６に示す如く、上記記憶部に記憶された仮想空間(20)を、図４に示すカラオケルーム(13)内の空間と同様の空間とすることによりユーザ(8)への臨場感を高めている。即ち仮想空間(20)内では、図４のカラオケルーム(13)の振動装置(7)に相当する位置をステージ(14)とし、カラオケルーム(13)の手摺(16)の位置に仮想手摺(22)を表示している。また、この仮想手摺(22)の前方には、映像音声出力装置(4)からの映像がそのまま表示される映像表示部(23)を配置している。また、ステージ(14)の臨場感を更に高めるために、この映像表示部(23)の前方には、複数のスタッフ(24)、及びこのスタッフ(24)の更に前方には観客(25)を表示している。また、ステージ(14)後方のカラオケルーム(13)の第１スピーカー(5)の位置に対応する位置には、一対のリアスピーカー(26)をそれぞれ表示している。
【００２１】
次に、本実施例における映像処理について、図１及び図５を用いて説明する。まず、図１に示す如く映像音声出力装置(4)の映像データは、キャプチャーユニット(28)を介して情報処理装置(1)に出力される。尚、本実施例では映像音声出力装置(4)としてカラオケ機器を使用している。そして本発明の映像音声出力装置(4)としてはこれに限らず、ゲーム機、テレビ等を使用することも可能である。
【００２２】
また、この情報処理装置(1)の位置情報取得部にて、ＨＭＤ(2)のヘッド位置センサー及び追加位置センサー(3)の位置情報を取得し、この位置情報を映像音声処理部にて、記憶部に予め記憶しておいた仮想空間(20)の映像データに反映させる。更に、映像合成部において、図１に示す如くキャプチャーユニット(28)を経由して送られた映像音声出力装置(4)からの映像データに、上記映像音声処理部にて処理した仮想空間(20)の映像データを合成する。そして、このように映像合成部にて処理した映像データを、図５に示す如くＨＭＤ(2)、ディスプレイ(15)、及びプロジェクター(17)にそれぞれ出力する。
【００２３】
そして、ＨＭＤ(2)、ディスプレイ(15)、及びプロジェクター(17)にそれぞれ送られた映像データは、ＨＭＤ(2)及びディスプレイ(15)の画面上、及びプロジェクター(17)の投影先に表示される。尚、上記ＨＭＤ(2)及びディスプレイ(15)は同じ映像が出力されるが、上記プロジェクター(17)では、仮想空間(20)の観客(25)側からの映像が出力される。
【００２４】
また、図５のフロー図にて、「ＳＴＡＲＴ」は情報処理装置(1)の起動時を意味する。また、これら描画処理フローにて処理される映像及び音声は仮想空間(20)のものであって、この情報処理装置(1)の記憶部に随時記憶される。また「マルチスレッド処理」にて行われる「追加位置センサー入力の更新」、「ＨＭＤ入力の更新」、及び「キャプチャーボード入力の更新」は、情報処理装置(1)の映像取得部で行われる。また、「座標等情報の更新」は、位置情報取得部にて行われる。また、仮想空間(20)内に配置された各要素が動作しているかを判定する「オブジェクトの動作判定」、及び「オブジェクトの動作処理」は、映像音声処理部にて行われる。また、上記仮想空間(20)内の動作に応じた描画を行う「描画処理開始点」、「ＨＭＤ描画」、「ディスプレイ、プロジェクター描画」については映像合成部及び映像出力部において行われるとともに、「サウンド再生及びフェード処理」については音声出力部において行われる。
【００２５】
次に、本実施例における音声処理について、図７、８を用いて説明すると、まず、情報処理装置(1)からは、この情報処理装置(1)の記憶部に記憶した音声情報が、図１に示す情報処理装置(1)の音声出力部に送られ、この音声出力部から第２アンプ(30)を通じて第２スピーカー(６)に出力される。また、映像音声出力装置(4)の音声は、第１アンプ(31)を介して左右一対の第１スピーカー(5)にそれぞれ出力される。
【００２６】
また図３に示すカラオケ用マイク(11)に固定された追加位置センサー(3)の音声フローについて説明すると、図１に示す如く追加位置センサー(3)の位置情報が、情報処理装置(1)の位置情報取得部を経て映像音声処理部に送信される。そしてこの映像音声処理部にて、図９のフロー図に示す如く情報等の更新が行われ、一定の条件下で第２スピーカー(６)を通じて音声が再生されるものとなる。
【００２７】
上記の如く構成した本実施例の仮想空間(20)及び音声提供システムを使用した場合について、以下に説明する。図２に示す如く、ユーザ(8)は頭部にＨＭＤ(2)を装着するとともに、追加位置センサー(3)を設けたマイクを把持する。そして映像音声出力装置(4)から、カラオケの映像と音声を流すことにより、映像データと音声データが情報処理装置(1)に出力されるとともに、音声データが振動装置(7)と第１スピーカー(5)に出力される。
【００２８】
これにより、第１スピーカー(5)から音声がカラオケルーム(13)内に出力されるとともに、ユーザ(8)の足下では振動装置(7)から音声に合わせて振動が発生する。また、上記映像データは情報処理装置(1)内の映像取得部にて取得され、映像合成部にて仮想空間(20)の映像表示部(23)に組み込まれる。そして映像合成部にて合成された映像データは、映像出力部からＨＭＤ(2)及びカラオケルーム(13)内に設置したディスプレイ(15)とプロジェクター(17)に出力される。また、情報処理装置(1)内の記憶部にて記憶した音声データが音声出力部から第２スピーカー(６)に出力される。即ち、音声に関しては、映像音声出力装置(4)の音声は第１スピーカー(5)から、仮想空間(20)の音声は第２スピーカー(６)からそれぞれ出力されるものとなる。
【００２９】
また、ユーザ(8)が頭部を動かすことによって、この頭部に装着したＨＭＤ(2)内のヘッド位置センサーからの位置情報が情報処理装置(1)の位置情報取得部に送られる。そして、この位置情報取得部で取得した位置情報が情報処理装置(1)の映像音声処理部にて仮想空間(20)の映像と音声に反映される。そしてこの映像音声処理部にて処理された映像データ及び音声データが、映像出力部及び音声出力部より再びＨＭＤ(2)及び第２スピーカー(６)に送られ、ユーザ(8)に視聴可能となる。
【００３０】
また、上記の如く処理された映像データは、映像出力部からディスプレイ(15)及びプロジェクター(17)に送られ、このディスプレイ(15)及びプロジェクター(17)に映し出されるものとなるため、カラオケルーム(13)内に存在するユーザ(8)以外の人々も、ＨＭＤ(2)と同じ映像を観ることができる。尚、上記ディスプレイ(15)はＨＭＤ(2)と同じ映像が映し出されるが、上記プロジェクター(17)には、仮想空間(20)の客席側からステージ(14)側を見た場合の映像が映し出されるよう構成されている。
【００３１】
また、ユーザ(8)がカラオケ用マイク(11)を動かした際には、このカラオケ用マイク(11)に設けた追加位置センサー(3)からの信号が情報処理装置(1)の位置情報取得部に送られ、この情報処理装置(1)の映像音声処理部にて得られた位置情報を仮想空間(20)の映像と音声に反映させて、映像出力部及び音声出力部を通じて映像データをＨＭＤ(2)、ディスプレイ(15)、及びプロジェクター(17)に送るとともに、音声を第２スピーカー(６)に出力する。そのため、マイクを故意に動かすことによって、仮想空間(20)の映像を変化させることができるとともに、音声を変化させてエンターテインメント性を更に高めることが可能となる。
【００３２】
この追加位置センサー(3)の図９に示すフロー図について説明すると、「ＳＴＡＲＴ」は情報処理装置(1)の起動時を意味する。そして、この追加位置センサー(3)からの信号が、情報処理装置(1)の位置情報取得部に送信されて、「追加位置センサー入力の更新」が行われ、「座標等情報の更新」でこの追加位置センサー(3)を組みつけているカラオケ用マイク(11)の位置や角度などの情報を検出する。
【００３３】
そして、カラオケ用マイク(11)の位置が規定値の高さ以上の場合は、「サウンドの再生」が行われ、規定値未満の高さの場合は「フェードアウト処理」が行われる。尚、本実施例ではユーザ(8)がカラオケ用マイク(11)を床面から１６０ｃｍよりも高く上げた場合には、第２スピーカー(６)から歓声の音声が流れる一方、床面から１６０ｃｍよりも低く下げた場合は第２スピーカー(６)からの音声を消すようプログラムされている。
【符号の説明】
【００３４】
１    情報処理装置
２    ヘッドマウントディスプレイ(ＨＭＤ)
３    追加位置センサー
４    映像音声出力装置
５    第１スピーカー
６    第２スピーカー
７    振動装置
８    ユーザ
１１  カラオケ用マイク
２０  仮想空間
【図１】
2020020966.tif 000003
【図２】
2020020966.tif 000004
【図３】
2020020966.tif 000005
【図４】
2020020966.tif 000006
【図５】
2020020966.tif 000007
【図６】
2020020966.tif 000008
【図７】
2020020966.tif 000009
【図８】
2020020966.tif 000010
【図９】
2020020966.tif 000011