(57)【要約】【課題】ＨＭＤを利用したＶＲ空間において、より臨場感が出るようにサウンドを再生する。【解決手段】ユーザがＨＭＤ３００を装着して遊ぶゲームにおいて、カメラ制御部５２が、ＨＭＤ３００の検知したユーザの頭の動きに応じて仮想カメラを制御し、仮想空間内の各方向のサウンドデータを用意しておき、サウンド処理部５４が、仮想カメラの向きに応じた方向のサウンドデータを出力する。これにより、ユーザの見ている仮想空間に応じたサウンドが出力されるので、より臨場感が出るようにサウンドを再生することができる。また、サウンド処理部５４が、効果音を鳴らす場合、各方向に対応した複数の仮想マイクを設定し、効果音を集音可能な仮想マイクを判定し、効果音を集音できる仮想マイクの方向で効果音が鳴ってものとして、仮想カメラの向きに応じて効果音を出力する。【選択図】図６
2019013765.tif 000002
【特許請求の範囲】
【請求項１】
ユーザがヘッドマウントディスプレイを装着して映像を視聴する装置としてコンピュータを動作させる映像音声処理プログラムであって、
前記コンピュータを
前記ヘッドマウントディスプレイからユーザの頭の動き情報を入力し、前記ユーザの向いている方向を検出する入力手段、
前記ユーザの向いている方向に応じた映像を前記ヘッドマウントディスプレイに表示する映像処理手段、
前記ユーザの向いている方向に応じた音声を出力する音声処理手段、
として機能させることを特徴とする映像音声処理プログラム。
【請求項２】
前記音声処理手段は、前記ユーザの向いている方向がサウンドデータの対応する複数の方向の間である場合は、前記複数の方向の間における前記ユーザの向いている方向の向きに応じて前記複数の方向に対応するサウンドデータを合成することを特徴とする請求項１に記載の映像音声処理プログラム。
【請求項３】
前記コンピュータを
複数の方向に対応させたサウンドデータを保持する蓄積手段、としてさらに機能させ、
前記音声処理手段は、前記ユーザの向いている方向に対応する前記サウンドデータを前記蓄積手段から読み出して出力することを特徴とする請求項１又は２に記載の映像音声処理プログラム。
【請求項４】
前記蓄積手段は、前記複数の方向に対応させた複数のマイクのそれぞれで集音したサウンドデータを保持することを特徴とする請求項３に記載の映像音声処理プログラム。
【請求項５】
前記映像処理手段は、仮想空間を撮影した映像を表示し、
前記音声処理手段は、前記仮想空間内で効果音を鳴らす場合、複数の方向に対応する仮想マイクを設定し、前記効果音を集音する前記仮想マイクを判定して前記効果音の方向を決定し、前記ユーザの向いている方向と前記効果音の方向に基づいて前記効果音を出力する音量を決定することを特徴とする請求項１乃至４のいずれかに記載の映像音声処理プログラム。
【請求項６】
前記コンピュータを
複数のマイクのそれぞれから複数の方向の音声信号を受信する音声入力手段、としてさらに機能させ、
前記音声処理手段は、前記ユーザの向いている方向に基づいて、前記音声入力手段が受信した前記複数の方向の音声信号の中から出力する前記音声信号を選択して出力することを特徴とする請求項１又は２に記載の映像音声処理プログラム。
【請求項７】
請求項１乃至６のいずれかに記載の映像音声処理プログラムを記憶したプログラム記憶部と、
前記プログラム記憶部に記憶された映像音声処理プログラムを実行するコンピュータと、
を備えたゲーム装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、バーチャルリアリティ空間においてサウンドを再生する技術に関する。
【背景技術】
【０００２】
近年、ヘッドマウントディスプレイ（ＨＭＤ）を利用したバーチャルリアリティ（ＶＲ）が普及しつつある。ＨＭＤを利用したバーチャルリアリティに対応したＶＲゲームでは、ユーザは、仮想３次元空間内に実際に存在しているかのような感覚が得られる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５５６５２５８号公報
【特許文献２】特許第５８６９１７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ＶＲ空間では、ユーザは、頭を動かすことで仮想３次元空間を見渡すことができる。
【０００５】
従来のＶＲゲームではないゲームでは、モニタに目線を向けてプレイするため、目線の方向を考慮してサウンドを再生する必要がなかった。しかしながら、ＶＲゲームにおいてユーザの見ている方向を考慮せずにサウンドを出力した場合、どの方向を向いても同じサウンドが聞こえてしまうという問題があった。ＶＲゲームでは、３６０度にゲーム画面が表示されるため、目線の方向を考慮してサウンドを再生する必要がある。
【０００６】
本発明は、上記に鑑みてなされたものであり、ＨＭＤを利用したＶＲ空間において、より臨場感が出るようにサウンドを再生することを目的とする。
【課題を解決するための手段】
【０００７】
第１の本発明に係る映像音声処理プログラムは、ユーザがヘッドマウントディスプレイを装着して映像を視聴する装置としてコンピュータを動作させる映像音声処理プログラムであって、前記コンピュータを前記ヘッドマウントディスプレイからユーザの頭の動き情報を入力し、前記ユーザの向いている方向を検出する入力手段、前記ユーザの向いている方向に応じた映像を前記ヘッドマウントディスプレイに表示する映像処理手段、前記ユーザの向いている方向に応じた音声を出力する音声処理手段、として機能させることを特徴とする。
【０００８】
第２の本発明に係るゲーム装置は、上記映像音声処理プログラムを記憶したプログラム記憶部と、前記プログラム記憶部に記憶された映像音声処理プログラムを実行するコンピュータと、を備える。
【発明の効果】
【０００９】
本発明によれば、ヘッドマウントディスプレイからの情報に基づいてユーザの向いている方向を検出し、ユーザの向いている方向に応じた映像を表示するとともに、ユーザの向いている方向に応じた音声を出力することで、ＨＭＤを利用したＶＲ空間において、より臨場感が出るようにサウンドを再生することができる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態に係る録音システムの構成を示す機能ブロック図である。
【図２】録音された音声信号の例を示す図である。
【図３】本実施形態に係るゲームシステムの構成を示す概略図である。
【図４】ゲーム機のハードウェア構成を示すブロック図である。
【図５】ヘッドマウントディスプレイのハードウェア構成を示すブロック図である。
【図６】本実施形態のゲーム装置の機能的な構成を示す機能ブロック図である。
【図７Ａ】仮想カメラの向きが特定方向のときに読み出すサウンドデータを説明する図である。
【図７Ｂ】仮想カメラの向きが領域の境界のときに読み出すサウンドデータを説明する図である。
【図７Ｃ】仮想カメラの向きに応じて出力する音量を調節することを説明する図である。
【図８】ステレオでサウンドデータを出力する例を説明する図である。
【図９】仮想空間内に仮想マイクを配置し、効果音が聞こえる方向を説明する図である。
【図１０】仮想空間内で鳴らした効果音の音量の算出を説明する図である。
【図１１】仮想空間内のサッカーフィールドに仮想マイクを配置した様子を示す図である。
【図１２Ａ】サッカーフィールドの一部を表示する例を示す図である。
【図１２Ｂ】サッカーフィールドの別の一部を表示する例を示す図である。
【図１３】本実施形態に係るバーチャルリアリティシステムを含む全体構成図である。
【図１４】マイクアレイの一例を示す図である。
【図１５】本実施形態に係る映像音声処理装置の構成を示す機能ブロック図である。
【図１６】本実施形態に係る映像音声処理装置の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１１】
＜第１の実施例＞
［録音システム］
図１は、本実施形態に係る録音システムの構成を示す機能ブロック図である。
【００１２】
図１に示す録音システムは、マイクアレイ１０と録音装置２０を備える。
【００１３】
マイクアレイ１０は、同心円上に均等な間隔で配置された６つのマイクＣ，Ｌ，Ｒ，Ｌｓ，Ｒｓ，Ｂを備える。同心円の中心と各マイクＣ，Ｌ，Ｒ，Ｌｓ，Ｒｓ，Ｂを結ぶ線のなす角度は６０度である。マイクＣ，Ｌ，Ｒ，Ｌｓ，Ｒｓ，Ｂは、単一指向性マイクであるとよい。図１では、マイクの数を６つとしたが、これに限らない。本録音システムは６チャンネル分の音声信号を処理できればよいので、５．１ｃｈ用の録音システムを流用することができる。
【００１４】
マイクアレイ１０の周囲で録音したい音を演奏又は出力すると、録音装置２０は、各マイクＣ，Ｌ，Ｒ，Ｌｓ，Ｒｓ，Ｂによって集音された音を録音する。
【００１５】
録音装置２０は、増幅部２１、アナログデジタル（Ａ／Ｄ）変換部２２、録音部２３、及び蓄積部２４を備える。各マイクＣ，Ｌ，Ｒ，Ｌｓ，Ｒｓ，Ｂからの音声信号は、増幅部２１で増幅され、Ａ／Ｄ変換部２２でデジタルデータに変換される。録音部２３は、各デジタルデータを蓄積部２４に蓄積する。
【００１６】
図２に、録音装置２０が録音した、各マイクＣ，Ｌ，Ｒ，Ｌｓ，Ｒｓ，Ｂで集音された音声信号の例を示す。各マイクＣ，Ｌ，Ｒ，Ｌｓ，Ｒｓ，Ｂが集音した音声は、それぞれ個別にデジタルデータに変換されて蓄積部２４に蓄積される。本実施形態では、６チャンネル分のサウンドデータが蓄積部２４に蓄積される。
【００１７】
以上説明したように、本実施の形態によれば、マイクＣ，Ｌ，Ｒ，Ｌｓ，Ｒｓ，Ｂを同心円上に均等な間隔で配置し、各マイクＣ，Ｌ，Ｒ，Ｌｓ，Ｒｓ，Ｂで集音した音声ごとに録音することで、マイクアレイ１０の周囲の各方向の音声を方向別に録音することができる。
【００１８】
［ゲームシステム］
次に、ユーザがＨＭＤを装着して遊ぶＶＲゲームを例に、上記の録音システムで録音したサウンドを再生する装置について説明する。
【００１９】
ユーザがＨＭＤを装着して遊ぶゲームの一例として一人称視点のゲームがある。一人称視点のゲームでは、ユーザが操作するプレイヤキャラクタの視点で仮想３次元空間が表示される。ユーザが頭を動かすと、ＨＭＤがユーザの頭の動きを検知する。ゲームプログラムは、ＨＭＤからユーザの頭の動きの情報を受信し、ユーザの頭の動きに合わせて仮想３次元空間を撮影する仮想カメラを制御し、ユーザの頭の向きに応じた画像を表示する。本実施形態では、ゲームプログラムが、ユーザの見ている仮想３次元空間内の方向を判定し、その方向のサウンドデータを出力する。
【００２０】
図３は、本実施形態に係るゲームシステムの構成を示す概略図である。
【００２１】
図３に示すゲームシステムは、ゲーム機１００、コントローラ２００、及びＨＭＤ３００を備える。ゲーム機１００は、ゲームプログラムを実行可能な、演算処理装置及び記憶装置を備えたコンピュータである。ゲーム機１００は、家庭用のゲーム専用機、パーソナルコンピュータ、スマートフォンなどの携帯端末、あるいはアーケードゲーム機であってもよい。コントローラ２００は、ユーザの入力した操作をゲーム機１００へ送信する。コントローラ２００は、有線あるいは無線でゲーム機１００に接続される。ＨＭＤ３００は、ユーザの頭部に装着され、ユーザの頭部の回転角及び動きを検出してゲーム機１００へ送信する。ＨＭＤ３００は、ゲーム機１００から受信した画像を表示し、ゲーム機１００から受信したサウンドを出力する。
【００２２】
図４は、ゲーム機１００のハードウェア構成を示すブロック図である。ゲーム機１００は、中央演算処理装置（ＣＰＵ）１０１、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＲＯＭ）１０２、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＲＡＭ）１０３、Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ（ＧＰＵ）１０４、Ｓｏｕｎｄ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ（ＳＰＵ）１０５、インタフェース１０６、及びＤＲＩＶＥ１０７を備える。ＣＰＵ１０１は、ゲームプログラムを実行する。ＲＯＭ１０２は、システムプログラムを記憶する。ＲＡＭ１０３は、ゲームプログラム及び各種データを記憶する。ＧＰＵ１０４は、仮想空間の画像を生成する。ＳＰＵ１０５は、音声を処理する。インタフェース１０６は、コントローラ２００及びＨＭＤ３００を接続し、操作情報とＨＭＤ情報を入力する。インタフェース１０６は、ＧＰＵ１０４とＳＰＵ１０５で処理された画像と音声を出力する。ＤＲＩＶＥ１０７は、ゲームプログラムを記録した記録媒体からゲームプログラムを読み出してＲＡＭ１０３に格納する。記録媒体は、ＣＤ、ＤＶＤ、Ｂｌｕ−Ｒａｙ（登録商標）  Ｄｉｓｋなどの光ディスクであってもよいし、磁気ディスク、あるいは半導体メモリであってもよい。ゲーム機１００が通信機能を備えて、ネットワークを介してゲームプログラムを取得してもよい。
【００２３】
図５は、ＨＭＤ３００のハードウェア構成を示すブロック図である。ＨＭＤ３００は、表示部３０１Ａ，３０１Ｂ、サウンド出力部３０２、ジャイロセンサ３０３、加速度センサ３０４、及び制御部３０５を備える。表示部３０１Ａ，３０１Ｂは、それぞれ右眼用画像、左眼用画像を表示する。右眼用画像と左眼用画像が視差を有すると、ユーザの見る画像は３次元立体画像となる。サウンド出力部３０２は、ゲーム機１００から受信したサウンドを出力する。サウンド出力部３０２は、ＨＭＤ３００が備えるヘッドホンであってもよいし、ヘッドホンなどを接続する音声出力端子であってもよい。ジャイロセンサ３０３は、ユーザの頭部の回転角を検知する。ＨＭＤ３００を装着したユーザの頭部を原点として、ユーザの正面方向にロール軸、ユーザの左方向にピッチ軸、ユーザの頭上方向にヨー軸をとる。ジャイロセンサ３０３は、各軸についてユーザ頭部の回転角（ロール角、ピッチ角、ヨー角）を検知する。加速度センサ３０４は、ユーザの頭部の動きを検知する。制御部３０５は、ゲーム機１００から画像を受信して表示部３０１Ａ，３０１Ｂに表示させ、ゲーム機１００からサウンドを受信してサウンド出力部３０２に出力させる。また、制御部３０５は、ジャイロセンサ３０３及び加速度センサ３０４で検知したデータをゲーム機１００に送信する。
【００２４】
なお、ＨＭＤ３００がサウンド出力部３０２を備えずに、ゲーム機１００にヘッドホンなどを接続してもよい。
【００２５】
［ゲーム装置］
図６は、本実施形態のゲーム装置５０の機能的な構成を示す機能ブロック図である。図６に示すゲーム装置５０は、キャラクタ制御部５１、カメラ制御部５２、レンダリング部５３、サウンド処理部５４、及び蓄積部５５を備える。ゲーム機１００が本実施形態のゲームプログラムを実行することにより、ゲーム機１００は、図４に示す機能部を備えたゲーム装置５０として動作する。ゲーム機１００は、図示していない機能も発揮するが、ここでは本実施形態に関係する機能部のみを図示している。
【００２６】
キャラクタ制御部５１は、ユーザの操作に従ってプレイヤキャラクタの位置及び向きを制御する。
【００２７】
カメラ制御部５２は、プレイヤキャラクタの向きとＨＭＤ３００から受信したＨＭＤ情報に含まれるユーザの頭の向きに基づいて仮想カメラの向きを設定する。例えば、プレイヤキャラクタが仮想３次元空間内の北方向を向いており、ユーザの頭が右方向に旋回した場合、カメラ制御部５２は、仮想カメラを北方向から東方向に旋回させる。
【００２８】
レンダリング部５３は、仮想３次元空間を仮想カメラで撮影した２次元画像を生成する。レンダリング部５３が、視差を有する右眼用画像と左眼用画像を生成し、ＨＭＤ３００が各画像を表示部３０１Ａ，３０１Ｂのそれぞれで表示した場合は、ユーザはＨＭＤ３００で３次元立体画像を見ることができる。
【００２９】
サウンド処理部５４は、仮想カメラの向きに応じた方向のサウンドデータを蓄積部５５から読み出して出力する。また、サウンド処理部５４は、仮想３次元空間内で発生する効果音が聞こえる方向を判定し、仮想カメラの向きと効果音が聞こえる方向に基づいて効果音を出力する音量を決定する。
【００３０】
蓄積部５５は、仮想３次元空間内の各方向に対応するサウンドデータ及び効果音データを蓄積する。本実施形態では、蓄積部５５は、図１のマイクＣ，Ｌ，Ｒ，Ｌｓ，Ｒｓ，Ｂの向きに対応した、センター（Ｃ）チャンネル、レフト（Ｌ）チャンネル、ライト（Ｒ）チャンネル、レフトサラウンド（Ｌｓ）チャンネル、ライトサラウンド（Ｒｓ）チャンネル、及びバック（Ｂ）チャンネルのサウンドデータを蓄積する。
【００３１】
［サウンド処理］
次に、サウンド処理部が仮想カメラの向きに応じた方向のサウンドデータを出力する処理について説明する。
【００３２】
サウンド処理部５４は、仮想３次元空間のヨー軸（プレイヤキャラクタの頭上方向）回りの全周を６つの領域に分割し、仮想３次元空間の北方向の領域にＣチャンネルを対応させて、時計回りに、Ｒチャンネル、Ｒｓチャンネル、Ｂチャンネル、Ｌｓチャンネル、及びＬチャンネルを各領域に対応付ける。サウンド処理部５４は、仮想カメラの向きに対応する領域のサウンドデータを出力する。
【００３３】
例えば、図７Ａに示すように、仮想カメラの向きが北向きの場合は、サウンド処理部５４は、Ｃチャンネルのサウンドデータを読み出して出力する。
【００３４】
サウンド処理部５４は、仮想カメラの向きに応じて複数のチャンネルのサウンドデータを合成して出力してもよい。例えば、仮想カメラが領域の境界を向いている場合は、境界を挟んだ両方の領域のチャンネルのサウンドデータを５０％ずつの大きさで出力する。図７Ｂの例では、仮想カメラは、Ｃチャンネルの領域とＲチャンネルの領域の境界を向いている。この場合、サウンド処理部５４は、ＣチャンネルのサウンドデータとＲチャンネルのサウンドデータをそれぞれ５０％の大きさで出力する。また、図７Ｃの例では、仮想カメラは、Ｂチャンネルの方向とＬｓチャンネルの方向の間のＬｓチャンネル寄りの方向を向いているので、サウンド処理部５４は、Ｌｓチャンネルのサウンドデータを７５％、Ｂチャンネルのサウンドデータを２５％の大きさで出力する。より具体的に説明すると、仮想カメラがＢチャンネルを向いているときの数値を０、仮想カメラがＬｓチャンネルを向いているときの数値を１００として、ＢチャンネルとＬｓチャンネルの間の仮想カメラの向きを０から１００までの数値で表す。サウンド処理部５４は、仮想カメラの向きを表す数値に基づいて各チャンネルの音量を決定する。図７Ｃの例では、仮想カメラの向きを表す数値は７５である。したがって、サウンド処理部５４は、Ｌｓチャンネルのサウンドデータを７５％、Ｂチャンネルのサウンドデータを２５％の大きさで出力する。
【００３５】
続いて、ステレオで再生する処理について説明する。
【００３６】
サウンド処理部５４は、仮想カメラの向きを基準として、ステレオの左チャンネル、右チャンネルのそれぞれから出力するサウンドデータを決定してもよい。
【００３７】
図８の例では、サウンド処理部５４は、仮想カメラの向きを基準として、反時計回りに３０度回転した方向に基づいてステレオの左チャンネルから出力するサウンドデータを決定し、時計回りに３０度回転した方向に基づいてステレオの右チャンネルから出力するサウンドデータを決定する。ステレオの左チャンネルの基準は、Ｃチャンネルの領域とＬチャンネルの領域の境界を指すので、ステレオの左チャンネルからはＣチャンネルとＬチャンネルのサウンドデータをそれぞれ５０％の大きさで出力する。ステレオの右チャンネルの基準は、Ｃチャンネルの領域とＲチャンネルの境界を指すので、ステレオの右チャンネルからはＣチャンネルとＲチャンネルのサウンドデータをそれぞれ５０％の大きさで出力する。
【００３８】
なお、上記で示した角度や割合は一例であって、これ以外の値を用いてもよい。
【００３９】
［効果音の処理］
次に、サウンド処理部が効果音を出力する処理について説明する。
【００４０】
これまでは、仮想カメラの向きに応じて、仮想３次元空間内の各方向に対応するサウンドデータを出力する処理について説明した。音が鳴る位置や方向が予め分かっている場合は、その方向のサウンドデータを事前に用意できる。仮想３次元空間内での位置が予め決められていないオブジェクトが鳴らす音は、どの方向のサウンドデータとして用意すれば良いのか不明である。
【００４１】
そこで、本実施形態では、サウンド処理部５４は、各方向に対応した複数の仮想マイクを仮想３次元空間内に設定しておき、仮想３次元空間内のオブジェクトが音を鳴らしたときに、その音を集音可能な仮想マイクと音の大きさを決定する。そして、サウンド処理部５４は、集音できた仮想マイクの方向で音が鳴ったものとし、仮想カメラの向きに応じて音を出力する。なお、仮想マイクと仮想カメラ間の距離は例えば５０ｃｍとするが、仮想３次元空間の広さに応じて任意に設定できる。
【００４２】
まず、効果音が聞こえる方向を決定する処理について説明する。
【００４３】
図９は、効果音が聞こえる方向を説明する図である。図９の例では、点Ｐにおいて効果音が鳴るとする。図中の円６０は、点Ｐで鳴る効果音が聞こえる範囲を示す。サウンド処理部５４は、仮想３次元空間内に６つの仮想マイクＣ，Ｌ，Ｒ，Ｌｓ，Ｒｓ，Ｂを設定する。図９の例では、２つの仮想マイクＲ，Ｒｓで効果音が集音される。したがって、サウンド処理部５４は、点Ｐの効果音をＲチャンネルとＲｓチャンネルの方向で鳴る効果音として扱う。効果音の大きさは、点Ｐから仮想マイクＲ，Ｒｓまでの距離に応じて減衰させる。例えば、仮想マイクＲで集音される効果音は８０％減衰されて、２０％の音量で聞こえるとする。
【００４４】
続いて、仮想マイクで集音された効果音を出力する処理について説明する。
【００４５】
仮想マイクで集音された効果音は、仮想カメラの向きに応じて、出力の有無、及び音量が決定される。
【００４６】
図１０は、効果音の音量の算出を説明する図である。図１０の例では、仮想カメラがＣチャンネルの領域とＲチャンネルの領域の境界を向いている。この場合、サウンド処理部５４は、ＣチャンネルとＲチャンネルを５０％の音量で出力する。したがって、サウンド処理部５４は、仮想マイクＲで集音した効果音を５０％の音量で出力する。点Ｐの効果音の音量をＶｐとし、仮想マイクＲでは点Ｐの効果音が２０％の音量で聞こえたとすると、サウンド処理部５４は、点Ｐの効果音を５０％×２０％×Ｖｐの音量で出力する。
【００４７】
＜第２の実施例＞
第２の実施例について説明する。第２の実施例はユーザが観客席からサッカーゲームを見ている例である。
【００４８】
サッカーゲームでは、ゲームプログラムは、サッカーフィールド全体を表示せずに、ＨＭＤ３００を装着したユーザの頭の動きに応じてサッカーフィールドの一部を表示する。例えば、仮想カメラの位置をサッカーフィールドのセンターラインの延長上の観客席に設定し、ユーザの頭の動きに合わせて仮想カメラの向きを制御して表示する位置を変更する。ユーザが左方向を向いた場合は左方向のゴール付近を表示し、ユーザが正面を向いた場合はセンターライン付近を表示する。
【００４９】
サッカーゲームにおいても仮想カメラの向き、つまり表示する映像に合わせて出力するチャンネルを決定する。
【００５０】
図１１は、ゲーム内のサッカーフィールドに仮想マイクを配置した様子を示す図である。同図の例では、サッカーフィールドの周囲に仮想マイクを配置し、仮想マイクを９つのグループＬ１〜Ｌ３，Ｃ１〜Ｃ３，Ｒ１〜Ｒ３に分けた。サッカーフィールド内で発生した音は仮想マイクによって集音される。例えば、点Ｐの効果音は、円６０で示す範囲まで聞こえて、グループＬ２，Ｌ３，Ｃ１の仮想マイクで集音される。点Ｐの効果音は、点Ｐから仮想マイクまでの距離に応じて減衰する。
【００５１】
仮想マイクで集音された音は、仮想カメラの向きに応じて、各グループＬ１〜Ｌ３，Ｃ１〜Ｃ３，Ｒ１〜Ｒ３毎に、出力の有無、及び音量が決定される。
【００５２】
例えば、仮想カメラの向きを０から１００までの数値で表す。仮想カメラが最も左に向いているときの数値を０、中央を向いているときの数値を５０、最も右に向いているとき数値を１００とする。各グループＬ１〜Ｌ３，Ｃ１〜Ｃ３，Ｒ１〜Ｒ３の音量を仮想カメラの向きを表す数値に基づいて決める。
【００５３】
サッカーフィールドの左端に配置されたマイクを含むグループＬ１は、数値が０のときに最大の音量で、数値が１００に近づくにつれて音量が小さくなるとする。また、グループＬ２，Ｌ３は、数値がそれぞれ１０，２０のときに最大の音量で、数値が０又は１００に近づくにつれて音量が小さくなるとする。他のグループＣ１〜Ｃ３，Ｒ１〜Ｒ３についても、仮想カメラの向きを表す数値と音量の関係を決めておく。
【００５４】
ユーザが左方向を向き、仮想カメラが最も左に向いているときは、図１２Ａに示すように、左方向のゴール付近が表示される。このとき、仮想カメラの向きを表す数値は０である。サウンド処理部５４は、数値が０のときの各グループＬ１〜Ｌ３，Ｃ１〜Ｃ３，Ｒ１〜Ｒ３の音量を求める。求めた音量が、グループＬ１〜Ｌ３はそれぞれ１００％，９０％，８０％の大きさで、他のグループＣ１〜Ｃ３，Ｒ１〜Ｒ３は０％の大きさであったとすると、サウンド処理部５４は、グループＬ１，Ｌ２，Ｌ３それぞれの仮想マイクで集音する音を１００％，９０％，８０％の音量で出力する。別の例としては、図１２Ｂに示すように、サッカーフィールドの中央が表示されているときは、サウンド処理部５４は、グループＣ１，Ｃ２，Ｃ３それぞれの仮想マイクで集音する音を９０％，１００，９０％の音量で出力する。なお、観客の歓声があがる場合は、仮想カメラの向きにかかわらず、大音量で再生してもよい。
【００５５】
以上説明したように、本実施の形態によれば、ユーザがＨＭＤ３００を装着して遊ぶゲームにおいて、カメラ制御部５２が、ＨＭＤ３００の検知したユーザの頭の動きに応じて仮想カメラを制御し、仮想空間内の各方向のサウンドデータを用意しておき、サウンド処理部５４が、仮想カメラの向きに応じた方向のサウンドデータを出力することにより、ユーザの見ている映像に応じたサウンドが出力されるので、より臨場感が出るようにサウンドを再生することができる。
【００５６】
本実施の形態によれば、サウンド処理部５４が、効果音を鳴らす場合、各方向に対応した複数の仮想マイクを設定し、効果音を集音可能な仮想マイクを判定し、効果音を集音できる仮想マイクの方向で効果音が鳴ってものとして、仮想カメラの向きに応じて効果音を出力することにより、より臨場感のあるサウンドを再生することができる。なお、第１の実施例と第２の実施例を組み合わせてもよい。例えば、サッカーフィールド上で発生する音に関しては第２の実施例によって出力し、観客席で発生する音に関しては第１の実施例によって出力する。
【００５７】
＜第３の実施例＞
第３の実施例について説明する。第３の実施例は、ユーザがＨＭＤを装着し、カメラで撮影された映像を視聴するバーチャルリアリティシステムの例である。
【００５８】
本バーチャルリアリティシステムは、コンピュータが作り出した仮想３次元空間ではなく、カメラで撮影した映像をＨＭＤに表示するとともに、撮影環境で集音した音声をＨＭＤに表示した映像に合わせて出力する。
【００５９】
図１３は、本実施形態に係るバーチャルリアリティシステムを含む全体構成図である。
【００６０】
本実施形態に係るバーチャルリアリティシステムは、映像音声処理装置７０とＨＭＤ３００を備える。映像音声処理装置７０は、ＨＭＤ３００を装着したユーザの頭の動きに応じて、カメラ３０で撮影されたパノラマ映像の一部を切り出してＨＭＤ３００に表示するとともに、ＨＭＤ３００で表示される映像に合わせてマイクアレイ１０で集音された音声を出力する。
【００６１】
マイクアレイ１０は、撮影環境に配置された複数のマイクで構成され、撮影環境の音声を集音して送信する。図１４は、マイクアレイ１０の一例を示す図である。同図に示すマイクアレイ１０は、サッカーフィールドの周囲に配置された複数のマイクで構成される。複数のマイクは、９つのグループＬ１〜Ｌ３，Ｃ１〜Ｃ３，Ｒ１〜Ｒ３に分けられている。マイクアレイ１０は、各グループのマイクで入力した音声信号をグループ毎にネットワークを介して映像音声処理装置７０へ送信する。
【００６２】
カメラ３０は、サッカーフィールドのセンターラインの延長上の観客席に配置され、サッカーフィールド全体を撮影し、撮影した映像をネットワークを介して映像音声処理装置７０へ送信する。カメラ３０として、サッカーフィールド全体をパノラマ撮影できるカメラを利用してもよいし、複数のカメラでサッカーフィールドの各領域を撮影し、撮影した映像を合成してサッカーフィールド全体の映像としてもよい。
【００６３】
映像音声処理装置７０は、カメラ３０からサッカーフィールド全体を撮影した映像を受信し、ＨＭＤ３００を装着したユーザの頭の向きに応じて、受信した映像から一部を切り出してＨＭＤ３００に表示させる。また、映像音声処理装置７０は、マイクアレイ１０から各グループの音声信号を受信し、ＨＭＤ３００を装着したユーザの頭の向きに応じて音声信号を選択し、選択した音声信号をミキシングして出力する。
【００６４】
図１５は、本実施形態に係る映像音声処理装置７０の構成を示す機能ブロック図である。同図に示す映像音声処理装置７０は、ミキサー７１、音声処理部７２、映像入力部７３、映像処理部７４、及び制御部７５を備える。映像音声処理装置７０は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは映像音声処理装置７０は、が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。
【００６５】
ミキサー７１は、マイクアレイ１０からグループ単位で音声信号を入力し、音声選択情報に基づいて音声信号をミキシングする。音声選択情報は、音声処理部７２から受信する情報であり、グループを指定する情報を含む。例えば、音声選択情報がグループＬ１を示す場合、ミキサー７１は、グループＬ１の音声信号の入力をオンとし、他のグループの音声信号の入力をオフとする。音声選択情報は、複数のグループを含んでもよいし、オンとするグループについて入力する音声信号の大きさの割合を含んでもよい。例えば、音声選択情報がグループＬ１を１００％、グループＬ２を９０％という情報を含む場合、ミキサー７１は、グループＬ１の音声信号を１００％の大きさで入力し、グループＬ２の音声信号を９０％の大きさで入力して、グループＬ１，Ｌ２の音声信号をミキシングする。
【００６６】
音声処理部７２は、制御部７５から受信したユーザの向いている方向に基づいて、ミキシングする音声信号を選択するための音声選択情報を生成してミキサー７１へ送信する。音声処理部７２は、上述のサッカーゲームにおいて各グループの音量を決定する処理と同様に、各グループについて入力する音声信号の大きさを決定して音声選択情報を生成する。例えば、ユーザが左方向を向いているときは、音声処理部７２は、マイクアレイ１０の左側のグループＬ１〜Ｌ３を選択する音声選択情報を生成する。また、音声処理部７２は、ミキサー７１でミキシングされた音声信号を受信してＨＭＤ３００へ送信する。
【００６７】
映像入力部７３は、カメラ３０から受信したパノラマ映像をデコードする。
【００６８】
映像処理部７４は、制御部７５から受信したユーザの向いている方向に基づいて、デコードしたパノラマ映像から表示する映像を切り出してＨＭＤ３００へ送信する。例えば、ユーザが左方向を向いている場合は、映像処理部７４は、パノラマ映像の左側から映像を切り出してＨＭＤ３００へ送信する。
【００６９】
制御部７５は、ＨＭＤ３００から受信したＨＭＤ情報に基づいてユーザの頭の方向を判定し、ユーザの向いている方向を音声処理部７２と映像処理部７４へ送信する。
【００７０】
次に、本実施形態に係る映像音声処理装置７０の動作について説明する。
【００７１】
図１６は、本実施形態に係る映像音声処理装置７０の処理の流れを示すフローチャートである。
【００７２】
制御部７５は、ＨＭＤ３００からユーザの頭の向きを含むＨＭＤ情報を入力し、ユーザの向いている方向を検出する（ステップＳ１１）
映像処理部７４は、制御部７５からユーザの向いている方向を受信し、ユーザの向いている方向に基づいて、映像入力部７３が受信したパノラマ映像から切り出す領域を決定する（ステップＳ１２）。例えば、ユーザが左方向を向いている場合は、サッカーフィールド全体の映像の左側の領域を切り出してＨＭＤ３００へ出力する。ユーザが正面を向いている場合は、サッカーフィールド全体の映像の中央の領域を切り出してＨＭＤ３００へ出力する。
【００７３】
音声処理部７２は、制御部７５からユーザの向いている方向を受信し、ユーザの向いている方向に基づいて、ミキサー７１がミキシングする音声信号を決定する（ステップＳ１３）。例えば、ユーザが左方向を向いている場合は、サッカーフィールドの左側の音声が出力されるようにミキシングする音声信号を決定する。ユーザが正面を向いている場合は、サッカーフィールド全体の映像の中央の音声が出力されるようにミキシングする音声信号を決定する。
【００７４】
音声処理部７２がユーザの向いている方向に基づいてミキシングする音声信号を決定することで、ＨＭＤ３００で表示される映像に合った音声を出力できる。
【００７５】
なお、３６０度全天周カメラにより３６０度の映像を撮影し、図１の録音システムのマイクアレイのように、同心円上に均等な間隔でマイクを配置したマイクアレイで集音してもよい。この場合も、映像音声処理装置７０は、ＨＭＤ３００からの情報に基づいてユーザの向いている方向を特定し、ユーザの向いている方向の映像をＨＭＤ３００で表示するとともに、ユーザの向いている方向のマイクが入力する音声信号を出力する。
【００７６】
以上説明したように、本実施の形態によれば、ユーザがヘッドマウントディスプレイを装着し、カメラで撮影された映像を視聴するバーチャルリアリティシステムにおいて、制御部７５がＨＭＤ３００からの情報に基づいてユーザの向いている方向を検出し、映像処理部７４がユーザの向いている方向の映像を表示し、音声処理部７２が、ユーザの向いている方向に基づき、マイクアレイ１０から受信した複数の音声信号のなかからミキシングする音声信号を選択することにより、ＨＭＤ３００で表示される映像に合った音声を出力することができる。
【符号の説明】
【００７７】
１０…マイクアレイ
２０…録音装置
２１…増幅部
２２…変換部
２３…録音部
２４…蓄積部
３０…カメラ
５０…ゲーム装置
５１…キャラクタ制御部
５２…カメラ制御部
５３…レンダリング部
５４…サウンド処理部
５５…蓄積部
７０…映像音声処理装置
７１…ミキサー
７２…音声処理部
７３…映像入力部
７４…映像処理部
７５…制御部
１００…ゲーム機
１０１…ＣＰＵ
１０２…ＲＯＭ
１０３…ＲＡＭ
１０４…ＧＰＵ
１０５…ＳＰＵ
１０６…インタフェース
１０７…ＤＲＩＶＥ
２００…コントローラ
３００…ＨＭＤ
３０１Ａ，３０１Ｂ…表示部
３０２…サウンド出力部
３０３…ジャイロセンサ
３０４…加速度センサ
３０５…制御部
【図１】
2019013765.tif 000003
【図２】
2019013765.tif 000004
【図３】
2019013765.tif 000005
【図４】
2019013765.tif 000006
【図５】
2019013765.tif 000007
【図６】
2019013765.tif 000008
【図７Ａ】
2019013765.tif 000009
【図７Ｂ】
2019013765.tif 000010
【図７Ｃ】
2019013765.tif 000011
【図８】
2019013765.tif 000012
【図９】
2019013765.tif 000013
【図１０】
2019013765.tif 000014
【図１１】
2019013765.tif 000015
【図１２Ａ】
2019013765.tif 000016
【図１２Ｂ】
2019013765.tif 000017
【図１３】
2019013765.tif 000018
【図１４】
2019013765.tif 000019
【図１５】
2019013765.tif 000020
【図１６】
2019013765.tif 000021