(57)【要約】【課題】従来、立体音響の音場を定位する３次元座標は、開発者の経験と勘に基づいて予測により求めていたため、３次元データの修正作業や、その検証作業に労力と時間を要した。【解決手段】  本発明に係る座標データ生成装置及び座標データ生成方法は、ＸＲ技術を用いた特定デバイスにより、現実空間の座標系を仮想空間の座標系に重ねて特定空間を形成し、前記特定空間座標に配設した音源のオブジェクトを座標特定手段により現実座標空間から特定し、当該音源のオブジェクトを特定デバイスにより音場の定位座標に移動させ、当該定位座標を確定して座標データを生成するよう構成した。【選択図】図９
2020195487.tif 000002
【特許請求の範囲】
【請求項１】
ＸＲ技術を用いた特定デバイスと、
前記特定デバイスにより現実空間の座標系を前記特定デバイスの仮想空間の座標系に重ねて特定空間を形成すると共に、前記特定空間座標に配設した音源のオブジェクトと、
前記特定デバイスにより前記特定空間座標に配設した音源のオブジェクトを現実座標空間から特定する座標特定手段と、
前記座標特定手段で特定された音場の定位座標を確定して座標データを生成する座標データを生成する座標データ生成手段と、を備え、
前記特定デバイスは、前記座標特定手段が特定した音源のオブジェクトの定位座標を移動可能であることを特徴とする座標データ生成装置。
【請求項２】
ＸＲ技術を用いた特定デバイスにより現実空間の座標系を前記特定デバイスの仮想空間の座標系に重ねて特定空間を形成し、
前記特定空間座標に音源のオブジェクトを配設し、
前記特定空間座標に配設した音源のオブジェクトを座標特定手段により現実座標空間から特定し、
前記座標特定手段が特定した移動可能な音源のオブジェクトの定位座標を前記特定デバイスにより音場の定位座標に移動させ、
前記特定デバイスにより移動させた音場の定位座標を座標データ生成手段により確定して座標データを生成することを特徴とする座標データ生成方法。
【請求項３】
前記座標特定手段は、特定デバイスに備えた光学センサ及びジャイロセンサを用いて構成されたことを特徴とする請求項１又は請求項２に記載の座標データ生成装置又は座標データ生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遊技機に使用する立体音響の音場の定位座標データを生成する座標データ生成装置及び座標データ生成方法に関する。
【背景技術】
【０００２】
従来、遊技機の画像は高速化、高精彩化へと進化し、遊技者の臨場感と高揚感を高める効果を演出している。
これに対応して、音響についても従来の平面的な音響から立体音響が取り入れられてきており、音響効果を高めるための技術開発が進められている。
【０００３】
特許文献１には、複数の画像オブジェクトを表示画面に貼り付け、そのオブジェクトから発せられる音を表示画面の中に設定した仮想視聴位置で聞いたときの立体音場信号を生成する臨場感信号生成装置の構成を実現するために、表示画面に視聴位置を原点とするＸ、Ｙ座標を定義し、表示される画像オブジェクトの配置情報を管理テーブル生成手段により得て、その配置情報を基に画像オブジェクトから発音される音声オブジェクトの定位方向を到来方向演算手段により求め、音声オブジェクトにその定位方向に係る頭部伝達関数を記憶部より得て、畳み込み手段にて畳み込み演算を行なうことによりそのオブジェクトに係る立体音場信号を生成するようにした臨場感信号の生成方法及び臨場感信号生成装置が開示されている。
【０００４】
特許文献２には、筺体内に設置された画面に対して座席及び音声出力部の位置が相対的に変更されるように構成されたゲーム装置において、画像の表示態様と音声の出力態様との整合を図ることにより、視聴覚的な相乗効果を遊技者に与えて臨場感を高めるために、所定のゲームプログラムに基づいてゲームの展開を制御するゲーム制御手段と、ゲーム制御手段によって制御されるゲームの展開に基づくゲーム画像を生成する画像生成手段と、画像生成手段で生成されたゲーム画像を表示する複数の表示部と、遊技者が着座する座席と、複数の音声出力部と、ゲーム制御手段によるゲームの展開に伴って、複数の表示部に対する座席及び音声出力部の向き又は相対的位置関係の少なくとも何れか一方の変化量を算出し、算出した変化量に基づいて複数の表示部に対する座席及び音声出力部の向き又は相対的位置関係の少なくとも何れか一方を変更する位置変更手段と、前記変化量に係る情報に基づいて、複数の音声出力部から出力される音声の出力態様を変化させて立体音響の音場の定位を制御する立体音響制御手段と、を備えたゲーム装置及びその制御方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−３４８７００号公報
【特許文献２】特開２００７−１８１５６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１に係る臨場感信号の生成方法及び臨場感信号生成装置は、３次元画像オブジェクトの座標の値を２次元の表示画面位置から推測により求めるものである。例えば、表示画面に表示されている木のように地面の上に存在しているオブジェクトは、地表に接している木の根元、即ち地上高が０ｍである部分の位置によりＸ、Ｙの座標を求めることができ、それにより原点からの距離を求めることができる。
【０００７】
しかし、木の上にとまっている鳥のように、オブジェクトの大きさにより高さに係るＺの座標や、この鳥が別の木の枝に移動したときの移動前と移動後の３次元座標は、創作者の経験と勘に基づいて予測により求めていた。
【０００８】
このため、当然のことながら、２次元の表示画面から推測により求めた３次元座標データには当然に誤差が含まれることになるため、３次元データの修正を行う必要があり、その都度パラメータを修正してはその検証をしなければならず、このために多大の時間と労力と費用を費やすという問題があった。
【０００９】
特許文献２に記載のゲーム装置及びその制御方法は、臨場感の増大を目的として、遊技者の座席を筺体内に回転自在に設置し、この座席の前後に表示画面を設置するとともに座席近傍に複数のスピーカを設置し、ゲームの展開に従って変化する画像に合わせて座席及びスピーカを回転させるゲーム装置（回転座席付ゲーム装置）に関するものである。
【００１０】
このため、所定のゲームの展開に基づいてゲーム画像が生成され、前記生成されたゲーム画像を複数の表示画面に表示し、座席に着座した遊技者の、例えば、前方左右及び後方左右のそれぞれに計４台のスピーカを配設し、ゲームの展開に伴って、前記座席や前記スピーカの向き又は相対的位置関係の変化量を算出し、当該算出した変化量に基づいて、前記複数のそれぞれのスピーカの音声の出力を変化させて、遊技者に対する立体音響の臨場感を演出するものであるため、装置が大型で複数のスピーカを必要とし、制御も複雑となり、パチスロなどの小型の遊技機への応用は困難を伴った。
【００１１】
そこで、かかる問題点を解決するために、多数のスピーカを必要とせず、しかも、立体音響の３次元の音場の定位座標を開発者の経験と勘に基づいて予測して求める必要がなく、３次元データの修正作業や、その検証作業を必要としないで立体音響の音場の定位座標データを生成することができ、その結果、時間と労力と費用の大幅な節約ができる座標データ生成装置及び座標データ生成方法の開発が望まれていた。
【００１２】
本発明は、係る従来の問題点を解決するためになされたものであり、ＶＲ技術、ＡＲ技術、ＭＲ技術及びＳＲ技術などのＸＲ技術を活用することにより、かかる問題点を解決するものである。
【００１３】
ここで、ＶＲとは、「Ｖｉｒｔｕａｌ  Ｒｉａｌｉｔｙ」の略である。日本語では「仮想現実」と訳されている。コンピュータ上で現実に似せた仮想世界を作り出し、あたかもそこにいるかの様な感覚を体験することができる技術である。
【００１４】
また、ＡＲとは、「Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ」の略である。日本語では「拡張現実」と訳されている。
ＶＲ（仮想現実）は「別の仮想空間」であるのに対し、ＡＲは現実世界にＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）などで作るデジタル情報を加えるものである。つまり、現実世界に仮想現実を反映（拡張）させる技術である。「仮想空間」の世界が主体となるＶＲと異なり、ＡＲはあくまで「現実世界が主体」となる。
【００１５】
また、ＭＲとは、「Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ」の略である。日本語では「複合現実」と訳されている。仮想世界を現実世界に重ね合わせて体験できる技術である。ＭＲの場合は、前記ＡＲとは逆に、主体は仮想世界（デジタル空間）となる。現実世界の情報を、カメラなどを通して仮想世界に反映させる。仮想世界に現実世界の情報を固定できるため、同じＭＲ空間にいる複数の人間が、同時にその情報を得たり、同じ体験をすることができる。
【００１６】
また、ＳＲとは、「Ｓｕｂｓｔｉｔｕｔｉｏｎａｌ  Ｒｅａｌｉｔｙ」の略である。日本語では「代替現実」と訳されている。ヘッドマウントディスプレイ等の表示器を用いて、現実世界の映像に事前に撮影してあった過去の映像を映し出すことで、過去に起きた出来事が、あたかも現実の出来事であるかのような錯覚を生じさせることができる。
【００１７】
また、ＸＲとは、「Ｘ  Ｒｅａｌｉｔｙ（クロスリアリティ）」の略である。前記のＶＲやＡＲのように個々の技術そのものを指す用語ではなく、上記で説明したＶＲ、ＡＲ、ＭＲ及びＳＲ技術の総称として利用されている用語である。
ＶＲ、ＡＲ、ＭＲ及びＳＲ技術はまだ進展段階にある技術であり、今後さらに技術開発が進められ活用範囲が広がることが予想される。
本発明は、上記のとおり、かかるＸＲ技術を活用して従来技術の問題点の解決を図るものである。
【課題を解決するための手段】
【００１８】
本発明は、ＸＲ技術を用いた特定デバイス（例えば、ＸＲデバイス１００）と、
前記特定デバイスにより現実空間の座標系を前記特定デバイスの仮想空間の座標系に重ねて特定空間を形成すると共に、前記特定空間座標に配設した音源のオブジェクト（例えば、音源のオブジェクト６２等）と、
前記特定デバイスにより前記特定空間座標に配設した音源のオブジェクトを現実座標空間から特定する座標特定手段（例えば、特定デバイスに備えた光学センサ２２及びジャイロセンサ等）と、
前記座標特定手段で特定された音場の定位座標を確定して座標データを生成する座標データを生成する座標データ生成手段（例えば、光学センサ２２によるキーポーズ識別手段、コントローラ３及びストレージ等）と、を備え、
前記特定デバイスは、前記座標特定手段が特定した音源のオブジェクトの定位座標を移動可能であることを特徴とする座標データ生成装置である。
【００１９】
また、本発明は、ＸＲ技術を用いた特定デバイスにより現実空間の座標系を前記特定デバイスの仮想空間の座標系に重ねて特定空間を形成し、
前記特定空間座標に音源のオブジェクトを配設し、
前記特定空間座標に配設した音源のオブジェクトを座標特定手段により現実座標空間から特定し、
前記座標特定手段が特定した移動可能な音源のオブジェクトの定位座標を前記特定デバイスにより音場の定位座標に移動させ、
前記特定デバイスにより移動させた音場の定位座標を座標データ生成手段により確定して座標データを生成することを特徴とする座標データ生成方法である。
【００２０】
本発明に係る座標データ生成装置及び座標データ生成方法は、以上のように構成されているために、座標特定手段が特定した音源のオブジェクトを音場の定位座標に移動させる操作は、前記特定デバイスの表示画面上に映し出された仮想空間の音源のオブジェクトを、開発者の指を使ったジェスチャー認識により、把持して行うことができる。また、当該特定デバイスのコントローラを操作して行うこともできる。
【００２１】
しかも、前記移動操作は、音源のオブジェクトの位置を見ながら、かつ、その発する音を聞きながら行うことができるため、前記特定空間上に音源のオブジェクトを簡単かつ容易に配設することができる。
【００２２】
さらに、音場の定位座標に移動させた音源のオブジェクトの特定空間における位置をリアルタイムに確認することができ、音場の定位座標を修正したい場合は、上記移動操作を行えば簡単に修正することができ、その結果の確認もリアルタイムに行うことができる。
また、現実空間にある障害物等も視認できるため、作業安全性が高い。
【００２３】
この結果、仮想空間グリッドとなる座標装置や仮想ステージなどのデータ作成が不要となり、また、プラグインパラメータを操作する必要もないため、従来の問題点であった３次元データの修正作業や、その検証作業を必要とせず、労力と時間と費用の大幅な節約をすることができる顕著な効果を奏する。
また、本発明に係る技術は、立体音響制作の［次世代ユーザーインタフェース］となり得るものである。
【００２４】
また、前記座標特定手段は、前記特定デバイスに備えた光学センサ及びジャイロセンサを用いて構成されたことを特徴とするものである。
【００２５】
このため、光学センサにより現実空間を認識し、しかも、開発者が動いたり、場所を移動した場合でもジャイロセンサにより現実空間を確実にトラッキングすることができ、仮想空間の座標系と現実空間の座標系を重ね合わせて特定空間を維持することができる。
【発明の効果】
【００２６】
本発明によれば、３次元データの修正作業や、その検証作業に要する労力と時間を軽減することができる。
【図面の簡単な説明】
【００２７】
【図１】特定空間における映像を掴む動作の説明図である。
【図２】特定空間においてオブジェクトを把持した状態の説明図である。
【図３】本発明に使用するＸＲデバイスの一例を示す外観図である。
【図４】ＸＲデバイスの構成品であるコントローラの説明図である。
【図５】本発明に使用するＸＲデバイスを装着した例を示す説明図である。
【図６】ＸＲデバイスを使用してオブジェクトの座標を特定する説明図である。
【図７】ＸＲデバイスにおけるジェスチャーの種類の説明図である。
【図８】特定空間において音源のオブジェクトを把持した状態の説明図である。
【図９】特定空間において音源のオブジェクトを移動させる説明図である。
【図１０】特定空間において音場の定位座標を確定させる説明図である。
【図１１】特定空間においてコントローラを用いて音源のオブジェクトを把持した状態の説明図である。
【図１２】特定空間においてコントローラを用いて音源のオブジェクトを移動させる説明図である。
【図１３】音場の定位座標を立体音響のパラメータとしてエンコードする説明図である。
【発明を実施するための形態】
【００２８】
本発明の要旨は、ＸＲ技術を用いた特定デバイスにより、現実空間の座標系を仮想空間の座標系に重ねて特定空間を形成し、前記特定空間座標に配設した音源のオブジェクトを座標特定手段により現実座標空間から特定し、当該音源のオブジェクトを特定デバイスにより音場の定位座標に移動させ、当該定位座標を確定して座標データを生成することを特徴とする座標データ生成装置及び座標データ生成方法である。
【００２９】
以下、本発明の座標データ生成装置及び座標データ生成方法に関する実施例を図面に基づき詳細に説明する。
図１は、ＸＲ技術を用いた特定デバイスにより現実空間の座標系を前記特定デバイスの仮想空間の座標系に重ねて形成された特定空間における映像を掴む動作の説明図である。前記特定デバイスのヘッドセットを装着すると、現実空間の映像上に仮想空間の映像が映し出され、その映像のオブジェクトがあたかも現実空間に存在して目の前を動き回っているかのように見える。
【００３０】
そして、オブジェクトを手で掴もうとして手を伸ばし、所定の動作をすることによって当該オブジェクトを掴むことができる。掴んだオブジェクトは、掴んだ状態で手を右に動かすと手と一緒に右に移動し、手を左に動かすと手と一緒に左に移動する。このようにＭＲの世界では、仮想世界に現実世界を重ね合わせて体験することができる。この場合、主体は仮想世界であるデジタル空間になる。
【００３１】
図２は、前記特定空間においてオブジェクト４を把持した状態の説明図である。
本図においては、左手の指でオブジェクト４を把持している。前記ＸＲ技術を用いた特定デバイスは、仮想世界に存在するオブジェクト４に現実世界の左手の指の映像を重ね合わせ、左手の指でオブジェクト４を把持したことを認識する。
【００３２】
そして、現実世界の左手の指の動きをトラッキングして、仮想世界に存在するオブジェクト４の動きに反映する。すなわち、現実世界の座標と仮想世界の座標とが重なり合って「特定空間」が形成される。
【００３３】
図３は、本発明に使用する特定デバイスであるＸＲデバイス１００の一例を示す外観図である。
ＸＲデバイス１００は、近年新製品が相次いで発表されているが、まだ、発展途上にあることは否めない。ここでは、米国のＭａｇｉｃ  Ｌｅａｐ社の商品名「Ｍａｇｉｃ  Ｌｅａｐ  Ｏｎｅ」をＸＲデバイスの例として、具体的に説明する。
【００３４】
ＸＲデバイス１００は、図３に示すように、ライトパック１、ヘッドセット２及びコントローラ３から構成されている。
【００３５】
ライトパック１は、略二枚重ねの円盤状をしており、内部には、ノート形パソコン並みのゲームクオリティの高いグラフィック性能を可能にする６４ビットのＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を内蔵している。また、音場の定位座標を記憶するためのストレージ（ＳＳＤ：ＦｌａｓｈＭｅｍｏｒｙ等）及び、駆動電源として充電式バッテリを内蔵している。
【００３６】
ヘッドセット２は、図３に示すように、略眼鏡状又は水泳やスキー用のゴーグル状をしており、後頭部の全周にヘッドバンド２３で保持する。ヘッドセット２の前面の透視ガラス２１、２１の両側端及び透視ガラス２１、２１間には複数の可視光用又は／及び赤外線用の光学センサ２２を備えており、現実空間を認識する。可視光用の光学センサ２２は、ＣＣＤ等によるカメラデバイスを使用し、可視光のもとでの現実空間における形状の認識を行う。また、赤外線用の光学センサ２２は、暗部において形状の認識ができる他、発熱体を認識することができるため、人体の露出部分である指などの認識に有利である。
【００３７】
また、ヘッドセット２の透視ガラス２１はスモークがかっており、現実世界を透視することができると共に、透視ガラス２１の内面に仮想世界が映し出されるため、現実世界と仮想世界を同時に重ね合わせて見ることができる。
【００３８】
また、ヘッドセット２は、前記ライトパック１と専用ケーブル２９によって接続されている。そして、ヘッドセット２自体には、プロセッサやバッテリは内蔵されておらず、信号及び電源は専用ケーブル２９を介してライトパック１から供給される。
【００３９】
また、ヘッドセット２は、図示しないマイクロフォンを備えているため音声や周囲環境の音を入力することができる。また、図示しないジャイロセンサを備えており前記光学センサ２２により現実空間を認識し、しかも、開発者が動いたり、場所を移動した場合でも当該ジャイロセンサにより現実空間を確実にトラッキングすることができ、仮想空間の座標系と現実空間の座標系を重ね合わせて特定空間を維持することができる。また、ヘッドバンド２３には、図示しないスピーカが内蔵されており、音声を出力することができる。
したがって、ヘッドホンと同様に、ＸＲデバイス１００が発する音声を聞くことができる。
【００４０】
また、外部機器とは、Ｗｉ−Ｆｉ、ＵＳＢ−Ｃなどのインタフェースを介して接続可能である。
すなわち、ヘッドセット２は、ライトパック１の表示装置であるとともに、信号の入出力装置である。
【００４１】
コントローラ３は、図３に示すように、長だるま状の握り易い形状をした操作機であり、Ｂｌｕｅｔｏｏｔｈ（登録商標）４．２を介してヘッドセット２に接続されている。また、コントローラ３は、電源としてＵＳＢ−Ｃ充電が可能なリチウムイオン電池を内蔵している。
【００４２】
コントローラ３は、図４（ａ）の平面図に示すように、長だるま状の上部に円形状のタッチパッド３１を備えている。このタッチパッド３１を押下することによって、ＸＲデバイス１００に操作信号を入力することができる。
【００４３】
例えば、タッチパッド３１の右端部３３を押すと、Ｘ軸のプラス方向の信号を入力する。また、タッチパッド３１の左端部３４を押すと、Ｘ軸のマイナス方向の信号を入力する。また、タッチパッド３１の上端部３５を押すと、Ｙ軸のプラス方向の信号を入力する。また、タッチパッド３１の下端部３６を押すと、Ｙ軸のマイナス方向の信号を入力する。また、タッチパッド３１の中央部３７を押すと、図４（ｂ）の側面図に示すように、Ｚ軸方向の信号を入力することができる。
【００４４】
これによって、例えば、システムのセットアップ時などにヘッドセット２の内面に映し出された設定画面のカーソルを上下左右に移動させることができる。
またイベントを取得することもできる。
【００４５】
コントローラ３は、図４（ｂ）の側面図に示すように、円形状のタッチパッド３１の裏面側に突起状のトリガ３２を備えている。トリガ３２は、前記タッチパッド３１と同様の機能を備えており、設定時に同等の取扱いをすることができる。
【００４６】
また、コントローラ３は、例えば、ゲーム機等におけるジョイスティックのように操作などに使用することができる。そして、イベントに反応して、手のひらに振動の感触を得られるハプテックス・フィードバック（ｈａｐｔｉｃ  Ｆｅｅｄｂａｃｋ：触覚フィードバック）が装備されている。これにより、イベントに対する実際の手ごたえを感じることができ、現実感を味わうことができる。
【００４７】
さらに、コントローラ３は、あるオブジェクト４を一度ポインティングすると、コントローラ３を多少揺動や移動した場合でもそのポインティングを外さない機能が装備されている。これにより、手振れ等によってポインティングが外れて操作が中断することを防ぐことができる。
【００４８】
図５は、本発明に使用するＸＲデバイス１００を開発者５が装着した例を示す説明図である。
開発者５は、図５に示すように、ライトパック１を腰に装着する。
また、ヘッドセット２をヘッドバンド２３により頭部に装着し、透視レンズ２１を介して現実空間を視認可能にすると共に、ヘッドセット２の内面に映し出された仮想空間を視認する。ライトパック１とヘッドセット２は専用ケーブル２９により接続されている。
また、開発者５は、任意の方の手にコントローラ３を把持する。これにより、ＸＲデバイス１００の設定及び操作などを可能にする。
【００４９】
なお、後述するヘッドセット２に備えた光学センサ２２により、開発者５の指による「ジェスチャー」を識別することができる。ジェスチャーを識別することによりコントローラ３を操作するのと同様のトリガをかけることができる。このため、用途によっては、必ずしもコントローラ３を使用しなくても済むことがある。
【００５０】
図６は、ＸＲデバイス１００を使用してオブジェクト４の座標を特定する説明図である。「ワールド基点」と称される特定空間の座標の原点６０は、初回起動時に開発者５の鼻の右側周辺がデフォルトとなる。この「ワールド基点」である特定空間の座標の原点６０は、ＸＲデバイス１００を初回起動したときに任意の位置に設定することもできる。この原点６０の座標を、ここでは座標（０、０、０）とする。
【００５１】
開発者５は、オブジェクト４の方向に顔を向けてオブジェクト４の凝視点６１に視線方向を向けたときに、当該凝視点６１の座標を求めることができる。
具体的には、ヘッドセット２の内側に図示しない赤外線カメラが取り付けられており、瞳孔をトラッキングして、視線を予測している。
また、ヘッドセット２の前面には、図６に示すように、光学センサ２２が複数配設されており、それぞれの光学センサ２２の位置関係と、それぞれの光学センサ２２と前記凝視点６１とのなす角度からオブジェクト４の凝視点６１までの距離及びその座標（Ｘ、Ｙ、Ｚ）を求めることができる。
【００５２】
この座標を求める原理により、起動後、ＸＲデバイス１００は、部屋をスキャンして、室内空間に存在している物を認識して取り込んでゆく。例えば、部屋を区切っている壁や窓、また、室内にある事務机や家具などを認識して取り込んでゆく。つまり、起動後ヘッドセット２を装着して室内を何分かうろつく間に現実空間が仮想空間にそっくりそのまま取り込まれて、仮想世界に現実世界のコピーが形成される。
【００５３】
これによって、現実世界と仮想世界が重なり合って特定空間が形成され、かつ、現実世界と仮想世界のそれぞれの座標軸も重なり合うことになり、ＸＲの世界が構築されることになる。もっとも、スキャン可能な空間の範囲は、無制限であるわけではなく一定の制限がある。
【００５４】
図７は、ＸＲデバイス１００におけるジェスチャーの種類の説明図である。ジェスチャーとは、手の指で形成される形状によって操作内容を定義するものである。ＸＲデバイス１００では、図７に示すように、８つのキーポーズ５１乃至５８が規定されている。
【００５５】
これらのキーポーズは、図６において説明したように、ヘッドセット２に配設された光学センサ２２により、手の指で形成される形状からどのキーポーズであるかを識別する。
【００５６】
これらのキーポーズ５１乃至５８をどのように使い分けるかは、初期設定の際に設定することができる。実際には、使用するキーポーズを少数に絞った方が、光学センサ２２を用いた識別がしやすくなるため、正確性を確保することができる。
【００５７】
以上が、ＸＲデバイス１００の構成、機能及び特定空間が形成されることについての説明である。
次に、ＸＲデバイス１００を用いて、音場の定位座標データを生成する方法について説明する。
【００５８】
図８は、特定空間において音源のオブジェクト６２を把持した状態の説明図である。音源のオブジェクト６２は、任意のオブジェクトでも差し支えないが、本実施例では、小鳥を音源のオブジェクト６２として使用する。
【００５９】
この小鳥の音源のオブジェクト６２は、ＸＲデバイス１００のシステムにあらかじめ備わっているものであり、初期設定の際に使用可能とすることができる。
【００６０】
ＸＲデバイス１００は、この小鳥の音源のオブジェクト６２は図示しないが複数種類備えている。そして、それぞれの小鳥はそれぞれの種類ごとに異なる鳴き声を発しながら開発者５の面前の特定空間内を開発者５から一定の距離を置いて比較的低速度で飛び回っている。
【００６１】
開発者５は、図８に示すように、例えば、左腕を伸ばして任意の小鳥の音源のオブジェクト６２を掴みにいく（図７のＯｐｅｎ  Ｐｉｎｃｈ５５）。そして、前記予め設定したキーポーズに従って把持動作（図７のＣｌｏｓｅｄ  Ｐｉｎｃｈ５６）をすることによって、現実世界にある開発者５の指により仮想世界にある小鳥の音源のオブジェクト６２を把持することができる。この把持したときの座標を（Ｘ１、Ｙ１、Ｚ１）とする。
なお、掴みにいく動作と把持動作の組み合わせは、上記の組み合わせの他に、図７のＯｐｅｎ  Ｈａｎｄ５１とＣｌｏｓｅｄ  Ｆｉｓｔ５２の組み合わせ、Ｒｅｌａｘｅｄ  Ｐｏｉｎｔ５７とＣｌｏｓｅｄ  Ｐｏｉｎｔ５８の組み合わせとすることもできる。
また、把持動作以外で指定するサポートとしては、ＯＫ  Ｓｉｇｎ５３やＴｈｕｍｂｓ  Ｕｐ５４を使用することもできる。
【００６２】
図９は、特定空間において音源のオブジェクト６２を希望する位置に移動させる説明図である。開発者５は、図９に示すように、小鳥の音源のオブジェクト６２を左指で把持した状態で音場を定位させたい位置にそのまま移動させる。
【００６３】
小鳥の音源のオブジェクト６２は、常時その小鳥の鳴き声を発している。そして、その鳴き声は、ヘッドセット２に内蔵されたスピーカからは、当該小鳥のいる位置から聞こえてくる。すなわち、当該小鳥が開発者５の正面にいるときは、その鳴き声は正面から聞こえてくる。また、当該小鳥が開発者５の左側面にいるときは、その鳴き声は左側面から聞こえてくる。また、当該小鳥が移動している場合には、その鳴き声は移動中の位置からリアルタイムに聞こえてくる。したがって、開発者５は、当該小鳥の移動中の位置をリアルタイムに把握することができる。このため、開発者５は、小鳥の音源のオブジェクト６２の位置を見ながら、かつ、その小鳥の発する鳴き声をヘッドセット２に内蔵されたスピーカにより聞きながら希望する位置へ移動させることができる。なお、小鳥の音源のオブジェクト６２の移動は、左手に限定されるものではなく右手で行っても差し支えない。要は、移動させる方向に最適な手を使用すればよい。
【００６４】
開発者５は、移動した音源のオブジェクト６２を置く位置がイメージに合っているか否か小鳥の鳴き声を聞きながらリアルタイムに確認を行う。イメージに合わないときは修正を何回でも繰り返せばよい。
イメージに合っていると判断したときは、前記予め設定した図７に示すキーポーズに従って、例えば、右指を使ってＯＫ  Ｓｉｇｎ５３のジェスチャーをすることによって、当該仮想世界にある小鳥の音源のオブジェクト６２を、音場の定位座標に配設することができる。この配設した音場の定位座標を（Ｘ２、Ｙ２、Ｚ２）とする。
【００６５】
図１０は、前記特定空間に配設した音場の定位座標（Ｘ２、Ｙ２、Ｚ２）を確認するときの説明図である。開発者５は、前記配設した音場の定位座標（Ｘ２、Ｙ２、Ｚ２）が適切であるか否かについて小鳥の音源のオブジェクト６２から発せられる音声を聞きながら確認する。
【００６６】
確認の結果、イメージに合わないと判断したときは、音場の定位座標（Ｘ２、Ｙ２、Ｚ２）を修正する。
この修正は、単に小鳥の音源のオブジェクト６２をジェスチャーにより把持して置く位置を変えるだけで済む。しかも、かかる修正は簡単に、かつ何回でもリアルタイムに行うことができるため、確認及び修正を納得できるまで何回でも手軽にかつ簡単に行うことができる効果を奏する。
【００６７】
そして、最終的にイメージに合っていると判断したときは、例えば、右指を使って当該定位座標（Ｘ２、Ｙ２、Ｚ２）を確定するジェスチャー（Ｔｈｕｍｂｓ  Ｕｐ５４など）を行うことによって、音場の定位座標（Ｘ２、Ｙ２、Ｚ２）が確定する。
また、コントローラ３のトリガ３２の所定の操作をすることによって、当該音場の定位座標（Ｘ２、Ｙ２、Ｚ２）を確定させることもできる。
【００６８】
当該確定した定位座標データ（Ｘ２、Ｙ２、Ｚ２）は、ライトパック１に内蔵されたストレージに記憶される。以上の操作を行うことにより、音場の定位座標（Ｘ２、Ｙ２、Ｚ２）データを得ることができる。
【００６９】
このように本発明によれば、時間と労力を要することなく簡単に確認、修正をすることができるという顕著な効果を奏する。このような顕著な効果は、現実世界の座標と仮想世界の座標とが重なり合って「特定空間」が形成されることにより初めて実現し得ることである。
【００７０】
以上の説明は、音場の定位座標データを１つだけ得る場合についての説明である。音場の定位座標データを複数得たい場合には、先述のとおり、特定空間には種類の異なる小鳥の音源のオブジェクト６２が複数存在するため、残った小鳥の音源のオブジェクト６２の中から１つを選び、その小鳥の音源のオブジェクト６２を用いて、前記図８乃至図１０で説明した手順に従って、順番に複数の音場の定位座標データを得ることができる。その結果、それぞれ必要な音場の定位座標データ（Ｘ３、Ｙ３、Ｚ３）乃至（Ｘｎ、Ｙｎ、Ｚｎ）を得ることができる。
【００７１】
また、小鳥の音源のオブジェクト６２を把持したときの座標（Ｘ１、Ｙ１、Ｚ１）から音場の定位座標（Ｘ２、Ｙ２、Ｚ２）までの移動の軌跡のデータを取得することもできる。したがって、移動の軌跡のデータを必要とする用途に用いることができることはいうまでもない。
【００７２】
次に、図１１及び図１２に基づき、コントローラ３を用いて音場の定位座標データを生成する方法について説明する。
【００７３】
図１１は、特定空間おいてコントローラ３を用いて音源のオブジェクト６２を掴んだ状態の説明図である。掴みたい小鳥の音源のオブジェクト６２にコントローラ３を向けてトリガ３２の所定の操作をすることで小鳥の音源のオブジェクト６２を把持することができる。この把持したときの座標を（Ｘ１、Ｙ１、Ｚ１）とする。
【００７４】
図１２は、図１１において把持した小鳥の音源のオブジェクト６２を、コントローラ３を用いて特定空間において希望する位置に移動させる説明図である。図１２に示すように、小鳥の音源のオブジェクト６２を把持した状態で、コントローラ３を操作して音場を定位させたい位置に小鳥の音源のオブジェクト６２を移動させる。
【００７５】
小鳥の音源のオブジェクト６２は、常時その小鳥の鳴き声を発しているため、開発者５は、小鳥のオブジェクト６２の位置を見ながら、かつ、その小鳥の発する鳴き声をヘッドセット２に内蔵されたスピーカにより聞きながら希望する位置に移動させることができる。
【００７６】
開発者５は、イメージに合っていると判断した位置に、当該小鳥の音源のオブジェクト６２を置き、コントローラ３のトリガ３２の所定の操作をすることにより、オブジェクト６２を、当該音場の定位座標（Ｘ２、Ｙ２、Ｚ２）に配設することができる。
【００７７】
以下、前記図１０において説明したのと同様に、特定空間において配設した音場の定位座標（Ｘ２、Ｙ２、Ｚ２）について、開発者５は、当該配設した音場の定位座標（Ｘ２、Ｙ２、Ｚ２）が適切であるか否かを、小鳥の音源のオブジェクト６２から発せられる音声を聞きながらリアルタイムに確認を行う。
【００７８】
確認の結果、イメージに合わないと判断したときは、コントローラ３を用いて音場の定位座標（Ｘ２、Ｙ２、Ｚ２）を修正し、その確認をリアルタイムに何回でもすることができる。また、開発者５は、図１０で説明したように、指を使って修正を行ってもよい。そして、最終的にイメージに合っていると判断したときは、トリガ３２の所定の操作をすることで音場の定位座標（Ｘ２、Ｙ２、Ｚ２）を確定させる。
【００７９】
また、音場の定位座標が複数必要である場合には、先述のとおり、特定空間には種類の異なる小鳥の音源のオブジェクト６２が複数存在するため、残った小鳥の音源のオブジェクト６２の中から１つを選び、その小鳥の音源のオブジェクト６２を用いて、前記の図１０乃至図１２で説明した手順に従って、順番に複数の音場の定位座標データを得ることができる。その結果、必要な音場の定位座標データ（Ｘ３、Ｙ３、Ｚ３）乃至（Ｘｎ、Ｙｎ、Ｚｎ）を得ることができる。
【００８０】
また、小鳥の音源のオブジェクト６２を把持したときの座標（Ｘ１、Ｙ１、Ｚ１）から音場の定位座標（Ｘ２、Ｙ２、Ｚ２）までの移動の軌跡データを取得することができることはいうまでもない。
【００８１】
以上のような手順により、音場の定位座標（Ｘ２、Ｙ２、Ｚ２）データを簡単に得ることができる。
【００８２】
次に、上記手順により得ることができた音場の定位座標（Ｘ２、Ｙ２、Ｚ２）データの処理について説明する。
ライトパック１に内蔵されているストレージに記憶された音場の定位座標（Ｘ２、Ｙ２、Ｚ２）データは、Ｗｉ−Ｆｉ又はＵＳＢなどのインタフェースを介して別途準備された図示しないパーソナルコンピュータに送信される。
パーソナルコンピュータでは、当該送信されてきた音場の定位座標（Ｘ２、Ｙ２、Ｚ２）データを用いて、立体音響データを制作する。
【００８３】
図１３は、前記音場の定位座標（Ｘ２、Ｙ２、Ｚ２）を立体音響のパラメータとしてエンコードする説明図である。
パーソナルコンピュータの開発環境として、例えば、「Ｕｎｉｔｙ」を使用する。
「Ｕｎｉｔｙ」には、標準で３Ｄバイノーラルパンナーと呼ばれるツールが実装されている。３Ｄバイノーラルパンナーの画面７を図１３の左図に示す。
【００８４】
また、図１３の右図は、空間の中心に遊技者８を配設し、遊技者８の面前に遊技機９を配設した状態を示す。右図において、遊技者８の鼻の右側周辺の位置を３次元座標の原点６０（０、０、０）とする。そして、遊技者８の顔の正面方向、すなわち遊技機９に対向する方向をＹ軸とする。そして、これに直交する方向をＸ軸とする。また、Ｘ軸、Ｙ軸に直交する上下方向、すなわち垂直方向をＺ軸とする。
【００８５】
ここで、前記３次元座標の原点６０（０、０、０）を中心とする円８１を想定する。
次に、３Ｄバイノーラルパンナーの画面７における、「Ａｚｉｍｕｔｈ」７１とは、水平面における方位角を示すもので、前記３次元座標の原点（０、０、０）としたときの水平面上における音場の方位を示す。
【００８６】
左図中にＡｚｉｍｕｔｈ７１の円が配設されており、その円内に「Ｆｒｏｎｔ」とあるのは図１３の右図における＋Ｙ方向に対応する。また、同左図中に「Ｂａｃｋ」とあるのは同右図における−Ｙ方向に対応する。また、同左図中に「Ｒｉｇｈｔ」とあるのは同右図における＋Ｘ方向に対応する。また、同左図中に「Ｌｅｆｔ」とあるのは同右図における−Ｘ方向に対応する。そして、前記円周には１０度刻みに角度の目盛りが付されている。したがって、Ａｚｉｍｕｔｈ７１では、音場の方向を３６０度の方位角で表現することができる。
【００８７】
次に、３Ｄバイノーラルパンナーの画面７における、「Ｅｌｅｖａｔｉｏｎ」７２とは、水平面における垂直方向の高さ位置を示すもので、前記３次元座標の原点６０（０、０、０）としたときの垂直方向、すなわち上下方向における音場の高さ位置を示す。同左図中に「０」とあるのは、Ｚ軸方向の座標が「０」であることを示す。また「Ｕｐ」とあるのは、図１３の右図の＋Ｚ方向に対応する。また、図中に「Ｄｏｗｎ」とあるのは同右図の−Ｚ方向に対応する。そして、上下方向にそれぞれ９目盛りが付されている。したがって、Ｅｌｅｖａｔｉｏｎ７２では、音場の上下方向の高さを表現することができる。
【００８８】
次に、３Ｄバイノーラルパンナーの画面７における、「Ｒｅｆｌｅｃｔｉｏｎｓ」７３とは、配置空間における音の反射の大きさを示すもので、同右図の遊技者８及び遊技機９が配設されている当該空間の大きさやレイアウト等と音場の位置関係によって決まる。Ｒｅｆｌｅｃｔｉｏｎｓ７３では、「Ｓｉｚｅ」の設定値の大小で反射の大きさを表現することができる。
【００８９】
ここで、例えば、前記３次元座標の原点６０（０、０、０）を中心とする円８１の半径を１ｍと仮定した場合において、音場の定位座標（Ｘ２、Ｙ２、Ｚ２）の値をＸ２＝−√３／２ｍ、Ｙ２＝−１／２ｍ、Ｚ＝１ｍとした場合には、３Ｄバイノーラルパンナーの画面７において、Ａｚｉｍｕｔｈ７１における（Ｘ２、Ｙ２）の方向はＬｅｆｔとＢａｃｋの間にあり、時計でいえば８時の方向となる。また、Ｅｌｅｖａｔｉｏｎ７２は＋１ｍとなる。これを遊技者８からみると、左後方の８時の方位８２で、１ｍの高さの位置８３に音源があることになる。そして、これに配置空間の壁等による反射が加味される。
【００９０】
なお、遊技機９を使用する遊技者８の位置は、遊技機９と遊技者８が着座する座席の配置で決まるので、遊技者８の鼻の右側周辺の位置を座標の原点６０（０、０、０）にとり、遊技機９のスピーカ９１の位置の座標を（Ｘ０、Ｙ０、Ｚ０）と固定して扱ったとしても大きな誤差を生じることはない。
なお、原点６０の位置は座標空間の任意の位置でも差し支えない。それぞれの座標の相対的な位置関係が確定しておりさえすれば、当該任意の位置から遊技者８の鼻の右側周辺の位置までの座標移動計算をすれば済むからである。
【００９１】
前記手順により取得した音場の定位座標（Ｘ２、Ｙ２、Ｚ２）データと、遊技機９のスピーカ９１の位置の座標（Ｘ０、Ｙ０、Ｚ０）データに基づき、前記３Ｄバイノーラルパンナーにプラグインの各パラメータに変換してエンコードすることにより、当該定位座標（Ｘ２、Ｙ２、Ｚ２）の位置８３に音源があるかのような音声の波形データを得ることができる。すなわち、遊技者８からみると、左後部方向の位置８３から音声が聞こえてくるような波形データを得ることができる。このような波形データは、周波数や位相を調整することにより実現可能である。
【００９２】
バイノーラルエンコード後の波形データは、Ｄｉｒａｃ社のＤｉｒａｃ  Ｐａｎｏｒａｍａエンコードを行い、このエンコードデータを遊技機９に移植することによって、特殊なデバイスを使用することなく一般に使用されているデバイスを使用してバイノーラルサウンド（Ｂｉｎａｕｒａｌ  Ｓｏｕｎｄ：立体音像）を実現することができる。
【００９３】
すなわち、Ｄｉｒａｃ  Ｐａｎｏｒａｍａ技術を用いて、立体音像を遊技機９上に実現することができ、遊技者８は、当該遊技機９を使用することにより、臨場感や高揚感を味わうことができる。
【００９４】
本発明に係る座標データ生成装置及び座標データ生成方法は、以上のように構成されているために、座標特定手段が特定した音源のオブジェクト６２を音場の定位座標に移動させる操作は、前記ＸＲデバイス１００などの特定デバイスの表示画面上に映し出された仮想空間の音源のオブジェクト６２を、開発者５の指を使ったジェスチャー認識により、把持して行うことができる。また、当該ＸＲデバイス１００のコントローラ３を操作して行うこともできる。
【００９５】
しかも、前記移動操作は、音源のオブジェクト６２の位置を見ながら、かつ、その発する音を聞きながら行うことができるため、前記特定空間上に音源のオブジェクト６２を簡単かつ容易に配設することができる。
【００９６】
さらに、音場の定位座標に移動させた音源のオブジェクト６２の特定空間における位置をリアルタイムに確認することができ、音場の定位座標を修正したい場合は、上記移動操作を行えば簡単に修正することができ、その結果の確認もリアルタイムに行うことができる。
また、現実空間にある障害物等も視認できるため、作業安全性が高い。
【００９７】
この結果、仮想空間グリッドとなる座標装置や仮想ステージなどのデータ作成が不要となり、また、プラグインパラメータを操作する必要もないため、従来の問題点であった３次元データの修正作業や、その検証作業を必要とせず、労力と時間と費用の大幅な節約をすることができる顕著な効果を奏する。
また、本発明に係る技術は、立体音響制作の［次世代ユーザーインタフェース］となり得るものである。
【００９８】
また、前記座標特定手段は、前記特定デバイスであるＸＲデバイス１００に備えた光学センサ２２及びジャイロセンサを用いて構成されたことを特徴とするものである。このため、光学センサ２２により現実空間を認識し、しかも、開発者５が動いたり、場所を移動した場合でもジャイロセンサにより現実空間を確実にトラッキングすることができ、仮想空間の座標系と現実空間の座標系を重ね合わせて特定空間を維持することができる。
【００９９】
以上の実施形態において説明した本発明に係る座標データ生成装置及び座標データ生成方法は、上述した実施形態に限られず、上述した実施形態の中で開示した各構成を相互に置換したり組み合わせを変更した構成、公知発明及び上述した実施形態の中で開示した各構成を相互に置換したり組み合わせを変更した構成等も含まれる。また、本発明の技術的範囲は上述した実施形態に限定されず、特許請求の範囲に記載された事項とその均等物にまで及ぶものである。
【０１００】
本発明の実施形態では、遊技機９について応用する場合について説明したが、本発明の技術は遊技機９に限定されるものではなく、例えば、横断歩道の位置を知らせたり、駅の案内や建物の避難口の場所を知らせるなど公共施設の利用者に対する案内にも応用することができる。
このように、本発明の技術の応用範囲は極めて広範囲にわたるものであり、将来の活用が期待される。
【符号の説明】
【０１０１】
１      ライトパック
２      ヘッドセット
３      コントローラ
４      オブジェクト
５      開発者
７      ３Ｄバイノーラルパンナーの画面
８      遊技者
９      遊技機
２１    透視ガラス
２２    光学センサ
２３    ヘッドバンド
２９    専用ケーブル
３１    タッチパッド
３２    トリガ
３３    タッチパッドの右端部
３４    タッチパッドの左端部
３５    タッチパッドの上端部
３６    タッチパッドの下端部
３７    タッチパッドの中央部
５１〜５７    キーポーズ
６０    原点
６１    凝視点
６２    音源のオブジェクト
７１    Ａｚｉｍｕｔｈ
７２    Ｅｌｅｖａｔｉｏｎ
７３    Ｒｅｆｌｅｃｔｉｏｎｓ
８１    遊技者を中心とする円
８２    方位
８３    高さの位置
９１    遊技機のスピーカ
１００  ＸＲデバイス
【図１】
2020195487.tif 000003
【図２】
2020195487.tif 000004
【図３】
2020195487.tif 000005
【図４】
2020195487.tif 000006
【図５】
2020195487.tif 000007
【図６】
2020195487.tif 000008
【図７】
2020195487.tif 000009
【図８】
2020195487.tif 000010
【図９】
2020195487.tif 000011
【図１０】
2020195487.tif 000012
【図１１】
2020195487.tif 000013
【図１２】
2020195487.tif 000014
【図１３】
2020195487.tif 000015