(57)【特許請求の範囲】
【請求項１】
体験者の頭部に取り付けられて使用される立体表示装置と、
立体表示装置の表示対象となる仮想空間の３次元デ−タを格納する空間デ−タ格納手段と、
体験者の頭部の位置及び向きを検出する第１検出手段と、
検出結果から定まる体験者の視点位置をもとに所定の空間デ−タを選択し表示装置に表示させる第１表示制御手段と、
体験者の身体形状を模した仮想主体の形状デ−タを格納する主体形状デ−タ格納手段と、
検出手段の検出結果に従い、体験者の視線が仮想主体の身体方向に向けられると、主体形状デ−タを主体形状デ−タ格納手段から読み出し、空間デ−タと重畳して立体表示装置にて表示する第２表示制御手段とを備え、
前記主体形状デ−タ格納手段は、形状デ−タ種別毎に、移動動作に伴って変化する一連の移動動作デ−タを格納しており、
当該擬似体験装置は、さらに、
体験者の前記空間内での移動速度を検出する速度検出手段と、
前記検出手段の検出結果に従い、体験者の視線が仮想主体の身体方向に向けられると、前記速度検出手段で検出された体験者の移動速度に応じて、前記移動動作デ−タを順次前記空間デ−タと重畳して立体表示装置にて表示する第３表示制御手段と
を備えることを特徴とする擬似体験装置。
【請求項２】
当該擬似体験装置は、さらに、
体験者の頭部に取り付けられて使用される音場再生装置と、
表示対象空間の背景に存する仮想物体の表面における所定位置を音源位置とし任意の位置を受音点としたときの再生音データを生成する生成手段と、
体験者の体の一部の位置を検出する第２検出手段とを備え、
体験者が仮想空間内を移動することにより、第２検出手段によって検出される位置デ−タと前記仮想物体の位置デ−タとが一致した際に、前記第１検出手段の検出結果から定まる体験者の頭部の位置に対応した再生音デ−タを生成し、当該再生音デ−タを音声に変換して前記音場再生装置に出力すること
を特徴とする請求項１に記載の擬似体験装置。
【請求項３】
当該擬似体験装置は、さらに、
体験者の頭部に取り付けられて使用される音場再生装置と、
表示対象空間の背景に存する仮想物体の表面における所定位置を音源位置とし任意の位置を受音点としたときの各周波数帯毎のエコ−タイムパターンに各周波数帯毎のバンドパスフィルタを畳み込むことによって得られる各周波数帯毎の応答を格納した帯域応答格納手段と、
頭部伝達関数を格納する頭部伝達関数格納手段と、
無響音の音響デ−タであり、前記仮想物体に対応したドライソ−スを複数格納するドライソ−ス格納手段と、
体験者の体の一部の位置を検出する第２検出手段とを備え、
体験者が仮想空間内を移動することにより、第２検出手段によって検出される位置デ−タと前記仮想物体の位置デ−タとが一致した際に、前記第１検出手段の検出結果から定まる体験者の頭部の位置に対応した前記帯域応答に位置デ−タが一致した仮想物体に対応したドライソ−スと頭部伝達関数とを畳み込むことにより各周波数帯毎の応答を算出し、各周波数帯毎の応答を全周波数帯にわたって合成することによって再生音デ−タを生成し、前記再生音デ−タを音声に変換して前記音場再生装置に出力すること
を特徴とする請求項１に記載の擬似体験装置。
【請求項４】
当該擬似体験装置は、さらに、
体験者の頭部に取り付けられて使用される音場再生装置と、
体験者の口元近くでの音声を入力する音声入力手段と、
前記空間内において、体験者の口元を音源位置とし体験者の両耳の近傍を受音点としたときの再生音データを生成する生成手段とを備え、
前記第１検出手段の検出結果から定まる体験者の頭部の位置に対応した再生音デ−タを生成し、当該再生音デ−タを音声に変換して前記音場再生装置に出力すること
を特徴とする請求項１に記載の擬似体験装置。
【請求項５】
当該擬似体験装置は、さらに、
体験者の頭部に取り付けられて使用される音場再生装置と、
体験者の口元近くでの音声を入力する音声入力手段と、
前記空間内において、体験者の口元を音源位置とし体験者の両耳の近傍を受音点とした時の各周波数帯毎のエコ−タイムパターンに各周波数帯毎のバンドパスフィルタを畳み込むことによって得られる各周波数帯毎の応答を格納した帯域応答格納手段と、頭部伝達関数を格納する頭部伝達関数格納手段とを備え、
前記第１検出手段の検出結果から定まる体験者の頭部の位置に対応した前記帯域応答に前記音声入力手段から入力された音声と頭部伝達関数を畳み込むことにより各周波数帯毎の応答を算出し、各周波数帯毎の応答を全周波数帯にわたって合成することによって再生音デ−タを生成し、前記再生音デ−タを音声に変換して前記音場再生装置に出力すること
を特徴とする請求項１に記載の擬似体験装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、擬似体験装置に関する。
【０００２】
【従来の技術】
最近、いわゆるバ−チャルリアリティ技術による擬似体験装置が脚光を浴びてきており、住宅設計や住宅設備販売等に利用されている。
例えば、住宅設計においては、設計した住宅を仮想空間内に実現し、あたかもその空間に入り込んだような感覚、いわゆる没入感を得ながら、設計住宅の評価をしたり、また、住宅設備販売、たとえばシステムキッチンの販売であれば、購入予定者に、複数のシステムキッチンを仮想空間内で体験してもらい、その中から希望のものを選択してもらったりといった具合である。
【０００３】
従来の擬似体験装置では、体験者の頭部に取り付けられたゴ−グル型の立体表示装置に、立体表示装置に一体的に取り付けられたセンサ−によって検出される体験者の視線に応じた、周囲の仮想的な空間を描画していた。
【０００４】
【発明が解決しようとする課題】
しかし、上述した従来の擬似体験装置では、体験者が自分の足元に視線を向けた場合、視線に応じた周囲の情景は描画されるものの、そこに見えるはずの自分の足は描画されないので、体験者は空中に浮いたような感覚を持ち、そのため、没入感が損なわれるといった問題点があった。
【０００５】
本発明は、上記の問題点に鑑み、視覚的により高い没入感を得ることができる擬似体験装置を提供することを第１の目的とする。
本発明の第２の目的は、聴覚的により高い没入感を得ることができる擬似体験装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記第１の目的を達成するため、本発明の第１の擬似体験装置は、体験者の頭部に取り付けられて使用される立体表示装置と、立体表示装置の表示対象となる仮想空間の３次元デ−タを格納する空間デ−タ格納手段と、体験者の頭部の位置及び向きを検出する第１検出手段と、検出結果から定まる体験者の視点位置をもとに所定の空間デ−タを選択し表示装置に表示させる第１表示制御手段と、体験者の身体形状を模した仮想主体の形状デ−タを格納する主体形状デ−タ格納手段と、検出手段の検出結果に従い、体験者の視線が仮想主体の身体方向に向けられると、主体形状デ−タを主体形状デ−タ格納手段から読み出し、空間デ−タと重畳して立体表示装置にて表示する第２表示制御手段とを備え、前記主体形状デ−タ格納手段は形状デ−タ種別毎に、移動動作に伴って変化する一連の移動動作デ−タを格納しており、当該擬似体験装置は、さらに、体験者の前記空間内での移動速度を検出する速度検出手段と、前記検出手段の検出結果に従い体験者の視線が仮想主体の身体方向に向けられると前記速度検出手段で検出された体験者の移動速度に応じて前記移動動作デ−タを順次前記空間デ−タと重畳して立体表示装置にて表示する第３表示制御手段とを備えることを特徴とする。
【００１１】
また、上記第２の目的を達成するため、本発明の第２の擬似体験装置は、本発明の第１の擬似体験装置にさらに、体験者の頭部に取り付けられて使用される音場再生装置と、表示対象空間の背景に存する仮想物体の表面における所定位置を音源位置とし任意の位置を受音点としたときの再生音データを生成する生成手段と、体験者の体の一部の位置を検出する第２検出手段とを備え、体験者が仮想空間内を移動することにより、第２検出手段によって検出される位置デ−タと前記仮想物体の位置デ−タとが一致した際に、前記第１検出手段の検出結果から定まる体験者の頭部の位置に対応した再生音デ−タを生成し、当該再生音デ−タを音声に変換して前記音場再生装置に出力することを特徴とする。
また、上記第２の目的を達成するため、本発明の第３の擬似体験装置は、本発明の第１の擬似体験装置にさらに、体験者の頭部に取り付けられて使用される音場再生装置と、表示対象空間の背景に存する仮想物体の表面における所定位置を音源位置とし任意の位置を受音点としたときの各周波数帯毎のエコ−タイムパターンに各周波数帯毎のバンドパスフィルタを畳み込むことによって得られる各周波数帯毎の応答を格納した帯域応答格納手段と、頭部伝達関数を格納する頭部伝達関数格納手段と、無響音の音響デ−タであり前記仮想物体に対応したドライソ−スを複数格納するドライソ−ス格納手段と、体験者の体の一部の位置を検出する第２検出手段とを備え、体験者が仮想空間内を移動することにより第２検出手段によって検出される位置デ−タと前記仮想物体の位置デ−タとが一致した際に前記第１検出手段の検出結果から定まる体験者の頭部の位置に対応した前記帯域応答に位置デ−タが一致した仮想物体に対応したドライソ−スと頭部伝達関数とを畳み込むことにより各周波数帯毎の応答を算出し、各周波数帯毎の応答を全周波数帯にわたって合成することによって再生音デ−タを生成し、前記再生音デ−タを音声に変換して前記音場再生装置に出力することを特徴とする。
【００１２】
また、上記第２の目的を達成するため、本発明の第４の擬似体験装置は、本発明の第１の擬似体験装置にさらに、体験者の頭部に取り付けられて使用される音場再生装置と、体験者の口元近くでの音声を入力する音声入力手段と、前記空間内において、体験者の口元を音源位置とし体験者の両耳の近傍を受音点としたときの再生音データを生成する生成手段とを備え、前記第１検出手段の検出結果から定まる体験者の頭部の位置に対応した再生音デ−タを生成し、当該再生音デ−タを音声に変換して前記音場再生装置に出力することを特徴とする。
また、上記第２の目的を達成するため、本発明の第５の擬似体験装置は、本発明の第１の擬似体験装置にさらに、体験者の頭部に取り付けられて使用される音場再生装置と、体験者の口元近くでの音声を入力する音声入力手段と、前記空間内において体験者の口元を音源位置とし体験者の両耳の近傍を受音点とした時の各周波数帯毎のエコ−タイムパターンに各周波数帯毎のバンドパスフィルタを畳み込むことによって得られる各周波数帯毎の応答を格納した帯域応答格納手段と、頭部伝達関数を格納する頭部伝達関数格納手段とを備え、前記第１検出手段の検出結果から定まる体験者の頭部の位置に対応した前記帯域応答に前記音声入力手段から入力された音声と頭部伝達関数を畳み込むことにより各周波数帯毎の応答を算出し、各周波数帯毎の応答を全周波数帯にわたって合成することによって再生音デ−タを生成し、前記再生音デ−タを音声に変換して前記音場再生装置に出力することを特徴とする。
【００１４】
【作用】
上記第１の擬似体験装置の構成によれば、立体表示装置に空間デ−タが表示された状態で、体験者の視線が仮想主体の身体方向に向けられると、体験者の身体形状を模した仮想主体の形状デ−タを空間デ−タと重畳して立体表示装置に表示し、また、立体表示装置に空間デ−タが表示された状態で、移動中に体験者の視線が仮想主体の身体方向に向けられると、移動速度に応じて順次、一連の移動動作デ−タを空間デ−タと重畳して立体表示装置に表示することができる。ここで、本明細書中「空間」とは、物体が存在しない、相当に広がりのある文字通りの空間のみならず、その背景として見える壁、床、及びそれらに設けられた装置、機器等をも含む概念で用いる。
【００１７】
上記第２及び第３の擬似体験装置の構成によれば、体験者の体の一部の位置と仮想物体の表面の位置とが一致すると、一致した仮想物体に対応したドライソ−スと頭部伝達係数とを体験者の頭部位置に対応した音源毎の帯域応答にそれぞれ畳み込んで各周波数毎の応答を算出し、各周波数毎の応答を全周波数帯にわたって合成して再生音デ−タを生成し、再生音デ−タを音声に変換して音場再生装置に出力することができる。
【００１８】
上記第４及び第５の擬似体験装置の構成によれば、音声入力手段から入力された音声と頭部伝達係数とを体験者の頭部位置に対応した帯域応答にそれぞれ畳み込んで各周波数毎の応答を算出し、各周波数毎の応答を全周波数帯にわたって合成して再生音デ−タを生成し、再生音デ−タを音声に変換して音場再生装置に出力することができる。
【００２０】
【実施例】
本発明の実施例を図面を参照しながら説明する。
（第１実施例）
図１は、本発明の第１実施例にかかる擬似体験装置の全体構成図である。図に示すように、本擬似体験装置は、ゴ−グル型立体表示装置１０１、磁場発生装置１０２、頭部磁気センサ−１０３、主体選択メニュ−格納部１０４、手元入力装置１０５、磁気センサ−ユニット１０６、空間デ−タ格納部１０７、主体静止形状デ−タ格納部１０８、主体動作形状デ−タ格納部１０９、主体形状一時記憶部１１０、表示制御部１１１、プログラム格納部１１２、ＣＰＵ１１３から構成されている。
【００２１】
ゴ−グル型立体表示装置１０１は、体験者Ｍの頭部に装着され、頭部磁気センサ−１０３がたえず検出する頭の位置および方向、つまり、体験者Ｍの視線に応じた仮想的な室内の情景等を、左右両眼の視差を利用し、立体的に表示するものであり、左右両眼用として、２つの液晶カラ−ディスプレイを内蔵している。
磁場発生装置１０２は、体験者が動き回る空間に磁場を発生させる装置であり、直交コイル等を内蔵している。
【００２２】
頭部磁気センサ−１０３は、ゴ−グル型立体表示装置１０１に一体的に取り付けられ、体験者Ｍの前記磁場内での頭部の位置および方向を検出するものであり、直交コイル等を内蔵している。
主体選択メニュ−格納部１０４は、その表示態様を図２に示すようなメニュ−を格納している。主体選択メニュ−は、仮想空間に表示させる主体の種類を選択するのに使用する。
【００２３】
手元入力装置１０５は、図３に示す形状で、体験者Ｍが片手に持って操作する装置であり、右ボタン５００、中央ボタン５１０、左ボタン５２０等を有している。右ボタン５００は、前記主体選択メニュ−の前記ゴ−グル型立体表示装置１０１への表示をおこなうものであり、当該右ボタンを押下すると主体選択メニュ−が表示される。中央ボタン５１０は、前記主体選択メニュ−のポインタ４００を移動させるためのものであり、当該中央ボタン５１０を押下する度に、ポインタ４００が主体種類を示した項目４２０、４３０…と順次移動する。左ボタン５２０は、前記主体選択メニュ−上のメニュ−項目を選択するためのものであり、ポインタ４００が選択したいメニュ−項目（主体種類）上にあるときに押下することによってその項目を選択するのに使用される。また、左ボタン５３０の押下に伴って、メニュ−が表示消去される。
【００２４】
磁気センサ−ユニット１０６は、前記磁場発生装置１０２によって発生する磁場内に置かれた前記頭部磁気センサ−１０３中に誘起される電流の大きさを処理することにより、体験者Ｍの頭の位置、方向および体験者Ｍの移動速度を測定し、測定結果をＣＰＵに出力するための装置である。
空間デ−タ格納部１０８は、表示対象である室内壁、天井、床、窓、テ−ブル等からなる空間の３次元形状デ−タを格納している。
【００２５】
主体静止形状デ−タ格納部１０８は、仮想空間に表示する主体形状を、図４に示すように、体験者、大人・男性、大人・女性、等の主体種類およびその表示状態（立っている状態、座っている状態）毎に、アドレスによって特定される場所に格納している。
主体動作形状デ−タ格納部１０９は、体験者Ｍの仮想空間内の移動に伴って変化する歩行状態を示す一連の形状デ−タを、図５に示すように、主体種類毎にアドレスによって特定される場所に格納している。一連の動作は、各アドレスの末尾番号１〜１２を１サイクルとして完結し、各形状デ−タは、体験者Ｍの移動速度に応じて順次表示される。なお、本実施例では、一連の動作の１サイクルを１２パタ−ンの形状デ−タで表現しているが、このパタ−ン数に限定されるものではなく、適宜増減してもよい。
【００２６】
主体形状一時記憶部１１０は、図６に示すように、主体静止形状デ−タ記憶領域８００と主体動作形状デ−タ記憶領域９００とポインタ位置管理領域３００を有し、ＲＡＭなどから構成される。主体静止形状デ−タ記憶領域８００と主体動作形状デ−タ記憶領域９００は、前記主体選択メニュ−で選択された主体種類に対応した主体形状デ−タであり、前記主体静止形状デ−タ格納部１０８および前記主体動作形状デ−タ格納部１０９から呼び出された形状デ−タを、それぞれアドレスで特定される場所に記憶するところである。ポインタ位置管理領域３００は、選択的に行う主体形状デ−タの表示管理をする場所であり、前記頭部磁気センサ−１０３が検出する体験者Ｍの頭部高さ、視線、移動速度によって、ポインタ３１０が切り換わり、ポインタの位置する形状デ−タを表示する。図６の３２０は、どの主体形状デ−タも表示しない時の、ポインタ待機領域である。
【００２７】
表示制御部１１１は、前記空間デ−タ格納部１０７が格納しているデ−タを基に、体験者Ｍの視線に応じた描画デ−タを作成し、描画デ−タから映像信号を生成し、映像信号を前記ゴ−グル型立体表示装置１０１に出力したり、前記主体形状一時記憶部１１０が格納している形状デ−タから同様に映像信号を生成し、前記空間デ−タからの映像信号に重畳して出力したりするところである。
【００２８】
プログラム格納部１１２は、図７に示すフローチャートに相当するプログラムを格納しており、ＲＯＭなどから構成される。
ＣＰＵ１１３は、プログラム格納部１１２が格納しているプログラムに従って処理を行うところであり、マイクロプロセッサ等から構成される。
以下、図７に示すフローチャートに基づいて、本装置の制御内容について説明する。
【００２９】
空間デ−タを表示した状態で（ステップＳ１００）、体験者が視線を移動させると（ステップＳ１１０）、そのときの視線に応じた空間デ−タを表示し（ステップＳ１１１）、一方、視線を移動しなければ同じ空間デ−タの表示を続ける。そして、ステップＳ１２０で体験者のメニュ−表示指示があると処理はステップＳ１２１に進み、図２に示すのと同様な主体選択メニュ−の表示を行う。
【００３０】
表示画面を見て、体験者は手元入力スイッチ１０５を操作し、仮想空間でなりたい主体を一つ選択する（ステップＳ１２２）。ここでは、「大人・男性」を選択したとすると、処理はステップＳ１２３に進み、選択された主体種類「大人・男性」に対応した形状デ−タを主体静止形状デ−タ格納部１０８および主体動作形状デ−タ格納部１０９から読み出し、主体形状一時記憶部１１０に格納する。格納結果を図８に示す。続いて、処理はステップＳ１２４に進み、体験者の仮想空間内における視点の高さを、選択された主体種類に応じた視点の高さに変更する。こうすることによって、例えば、体験者が大人で、ステップＳ１２２で選択した主体が子どもの場合では、体験者は子どもの視点（高さ）で擬似体験することができる。つづいて、処理はステップＳ１２５に進み、主体選択メニュ−表示の消去をおこない、ステップＳ１３０に進む。
【００３１】
ステップＳ１３０では、頭部磁気センサ−１０３の検出する頭部高さから、体験者が立っている状態か、座っている状態かを判断する。ここで、体験者が座っている場合は、処理はステップＳ１４０に進み、体験者が視線を仮想主体の身体方向に向けると、処理はステップＳ１４１に進み、選択されている主体種類「大人・男性」の座った状態の主体静止形状デ−タを主体形状一時記憶部１１０から読み出して、空間デ−タに重畳して表示する。表示結果の一例を図９に示す。
【００３２】
一方、ステップＳ１３０で、体験者は立っている状態であると判断した場合は、処理はステップＳ１３１に進み、体験者の視線が仮想主体の身体方向に向いているかどうかを判断し、向いている場合は処理はステップＳ１３２に進み、さらに体験者が移動中であるか静止中であるかを判断する。判断は、磁気センサ−ユニット１０６が出力する体験者の移動速度の値Ｖによって行い、Ｖがあらかじめ設定しておいた値Ｖ１以下の場合は、体験者は静止していると判断し、一方ＶがＶ１を越えている場合は、体験者は移動中であると判断する。そして、静止中であると判断した場合は、処理はステップＳ１３３に進み、選択されている主体種類「大人・男性」の立った状態の主体静止形状デ−タを主体形状一時記憶部１１０から読み出して、空間デ−タに重畳して表示する。表示結果の一例を図１０に示す。一方、移動中であると判断した場合は、処理はステップＳ１３４に進み、図６に示す、主体形状一時記憶部に記憶されている主体動作形状デ−タを、移動速度Ｖに応じて、ＡＭ１、ＡＭ２、…、ＡＭ１２、ＡＭ１、………と順次読み出して、空間デ−タに重畳して表示する。
【００３３】
また、ステップＳ１２２で、別の主体として「ねこ」を選択し、立った状態で（ステップＳ１３０）、体験者がふり向くことにより仮想主体「ねこ」の身体方向に視線を転じ（ステップＳ１３３）、その時体験者は静止中であったとすると（ステップＳ１３２）、ステップＳ１３３の処理をおこない、主体種別「ねこ」の立った状態の主体静止形状デ−タを空間デ−タに重畳して表示する。表示結果の一例を、図１１に示す。
【００３４】
以上、第１実施例の擬似体験装置によれば、体験者が仮想主体の身体方向に視線を向けると、その時の体験者の頭部高さおよび移動速度に応じた仮想主体の形状デ−タが空間デ−タに重畳して表示されるので、視覚的により高い没入感を得ることができる。
（第２実施例）
図１２は、本発明の第２実施例にかかる擬似体験装置の全体構成図である。図に示すように、本擬似体験装置は、ゴ−グル型立体表示装置２０１、磁場発生装置２０２、頭部磁気センサ−２０３、ヘッドフォン２０４、音源選択メニュ−格納部２０５、手元入力装置２０６、磁気センサ−ユニット２０７、空間デ−タ格納部２０８、右手形状デ−タ格納部２０９、接触部領域格納部２１０、連続音ドライソ−ス格納部２１１、衝撃音ドライソ−ス格納部２１２、マイク２１３、帯域応答格納部２１４、頭部伝達関数格納部２１５、音声制御部２１６、表示制御部２１７、プログラム格納部２１８、ＣＰＵ２１９から構成されている。
【００３５】
ゴ−グル型立体表示装置２０１は、体験者Ｍの頭部に装着され、頭部磁気センサ−２０３がたえず検出する頭の位置および方向、つまり、体験者Ｍの視線に応じた仮想的な室内の情景等を、左右両眼の視差を利用し、立体的に表示するものであり、左右両眼用として、２つの液晶カラ−ディスプレイを内蔵している。
磁場発生装置２０２は、体験者が動き回る空間に磁場を発生させる装置であり、直交コイル等を内蔵している。
【００３６】
頭部磁気センサ−２０３は、ゴ−グル型立体表示装置２０１に一体的に取り付けられ、体験者Ｍの前記磁場内での頭部の位置および方向を検出するものであり、直交コイル等を内蔵している。
ヘッドフォン２０４は、体験者Ｍの頭部に装着され、頭部磁気センサ−２０３によりたえず検出される頭の位置および方向、つまり、体験者Ｍの両耳の位置と方向に応じた３次元音場の音を再生するためのものである。
【００３７】
音源選択メニュ−格納部２０５は、その表示態様を図１３に示すようなメニュ−を格納している。音源選択メニュ−は、仮想空間に存在する連続して聞こえる音の音源の内、聞きたい音源の種類を選択するのに使用する。
手元入力装置２０６は、その外観が、図３に示すように、第１実施例の手元入力装置１０５と同様な形状をしており、体験者Ｍが普通は右手にもって操作する装置であり、右ボタン６００、中央ボタン６１０、左ボタン６２０等を有し、手元磁気センサ−（図示せず）を内蔵している。右ボタン６００は、前記音源メニュ−の前記ゴ−グル型立体表示装置２０１への表示・非表示の切り換えを行うものであり、当該右ボタン６００を押下する度に表示・非表示を繰り返す。中央ボタン６１０は、前記音源選択メニュ−のポインタ５０を移動させるためのものであり、当該中央ボタン６１０を押下する度に、ポインタ５０が音源種類を示した項目上を５１、５２、５３、５１、…と順次移動する。左ボタン６２０は、前記音源選択メニュ−上のメニュ−項目の選択または取消をするためのものであり、ポインタ５０が、選択または取消をしたいメニュ−項目（音源種類）上にあるときに押下することによって、その項目を選択または取り消すのに使用される。手元磁気センサ−は、前記磁場発生装置２０２が発生させる磁場内における位置を検出するものであり、直交コイル等から構成される。体験者Ｍが手元入力装置２０６を右手にもった場合は、手元磁気センサ−によって、仮想空間内での体験者Ｍの右手の位置が検出されることになる。
【００３８】
磁気センサ−ユニット２０７は、前記磁場発生装置２０２によって発生する磁場内に置かれた前記頭部磁気センサ−２０３および前記手元磁気センサ−中に誘起される電流の大きさを処理することにより、体験者Ｍの頭と右手の位置および方向を測定し、測定結果をＣＰＵ２１９に出力するための装置である。
空間デ−タ格納部２０８は、表示対象である室内壁、天井、床、窓、テ−ブル等からなる空間の３次元形状デ−タを格納している。
【００３９】
右手形状デ−タ格納部２０９は、体験者の右手形状を模した形状デ−タを格納しており、当該右手形状デ−タは、体験者Ｍの視線に前記手元入力装置２０６が入ると、前記手元磁気センサ−が検出する位置に、前記空間デ−タに重畳して表示される。
接触部領域格納部２１０は、図１４に示すように、仮想空間として表示される仮想物体種別毎に、その物体を構成する表面の位置情報からなる接触部領域とドライソ−スＮＯ．とを格納している。
【００４０】
連続音音源装置２１１は、連続音である、ステレオ等のオ−ディオ装置の出力音、ピアノ等の楽器の演奏音、自動車の走行音等の壁面等からの反射の影響の無い音声信号（ドライソ−ス）をＣＰＵ２１９に出力するための装置であり、複数のＣＤ（コンパクトディスク）プレ−ヤ等から構成される。各ＣＤプレ−ヤには、それぞれ一種類の連続音ドライソ−スを記録したＣＤが装着されており、各ＣＤプレ−ヤは格納している連続音の種類によって、前記音源選択メニュ−のメニュ−項目と対応づけられている。そして、前記手元入力装置２０６による、前記音源選択メニュ−のメニュ−項目の選択または取消にともなって、対応するＣＤプレ−ヤの起動（音声信号の出力）または停止が行われる。
【００４１】
衝撃音ドライソ−ス格納部２１２は、図１５に示すように、前記接触部領域格納部２１０が格納しているドライソ−スＮＯ．に対応づけて、人間の手と仮想物体種別名に対応した現実の物体とが接触した際に発生する衝撃音のドライソ−スを格納しており、ＲＯＭ等から構成される。
マイク２１３は、体験者Ｍの声を音声信号に変換し、ＣＰＵ２１９に出力する装置であり、さらに出力・非出力を切り換えるスイッチ（図示せず）を備えている。マイク２１３は、その出力信号をドライソ−スとするため、背景音および体験者Ｍの声の反射音をできるだけ検出しないような指向性の高いものが好ましい。
【００４２】
帯域応答格納部２１４は、仮想空間内で２点を設定し、その内の一方の点を音源位置とし他方の点を受音点とした時の、各周波数帯毎のエコ−タイムパタ−ンに各周波数帯毎のバンドパスフィルタを畳み込むことによって得られる各周波数帯毎の応答である帯域応答を格納するところであり、音源の種類によって連続音用帯域応答格納領域２１４ａ、衝撃音用帯域応答格納領域２１４ｂ、体験者音声用帯域応答格納領域２１４ｃを有している。連続音用帯域応答格納領域２１４ａは、図１６に示すように、仮想空間内である決まった一点を音源位置とする音源の種類毎にそれぞれの音源位置と受音点位置とから特定される帯域応答を格納している。また、図１６中の連続音受音点領域とは、受音点の位置を中心とする、ある広がりを有した空間の位置情報である。衝撃音用帯域応答格納領域２１４ｂは、図１７に示すように、衝撃音の音源の種類毎に、音源位置と受音点位置で特定される帯域応答を格納している。図１７中、衝撃音音源領域とは、音源位置を中心とする、ある広がりを有した空間の位置情報であり、衝撃音受音点領域とは、受音点の位置を中心とする、ある広がりを有した空間の位置情報である。体験者音声用帯域応答格納領域２１４ｃは、図１８に示すように、仮想空間内での前記マイク２１３の位置である音源位置と体験者の両耳間の中点である受音点位置とで特定される帯域応答を格納している。図１８中の体験者音声受音点領域とは、受音点の位置を中心とする、ある広がりを有した空間の位置情報である。
【００４３】
頭部伝達関数格納部２１５は、周囲から頭部に向かって入射する音が、人間の頭部の形状および耳の位置等の条件によって変化する状態を表す関数であり、予め算出されたものを格納している。
音声制御部２１６は、ＣＰＵ２１９から出力される再生音デ−タを音声信号に変換して、前記ヘッドフォン２０４へ臨場感のある３次元音場を出力するところである。
【００４４】
表示制御部２１７は、前記空間デ−タ格納部２０８が格納しているデ−タを基に、体験者Ｍの視線に応じた描画デ−タを作成し、描画デ−タから映像信号を生成し、映像信号を前記ゴ−グル型立体表示装置２０１に出力したり、前記右手形状デ−タ格納部２０９が格納している形状デ−タから同様に映像信号を生成し、前記空間デ−タからの映像信号に重畳して出力したりするところである。
【００４５】
プログラム格納部２１８は、図１９〜図２２に示すフローチャートに相当するプログラムを格納しており、ＲＯＭなどから構成される。
ＣＰＵ２１９は、プログラム格納部２１８が格納しているプログラムに従って処理を行うところであり、マイクロプロセッサ等から構成される。
以下、図１９〜図２２に示すフローチャートに基づいて、本装置の制御内容について説明する。
【００４６】
図１９は、処理手順の概略を示したフローチャートである。
空間デ−タを表示した状態で（ステップＳ２００）、メニュ−表示指示があると（ステップＳ２１０）、図１３に示すのと同様な音源選択メニュ−を表示する（ステップＳ２１１）。
ステップＳ２１１で、表示画面を見て、体験者が音源の選択指示をしたとすると、選択された音源に対応したＣＤプレ−ヤを起動する（ステップＳ２１３）。一方、体験者が音源の消去指示をしたとすると、消去指示された音源に対応したＣＤプレ−ヤを停止する（ステップＳ２１４）。また、体験者が、メニュ−表示の消去指示をしたとすると、メニュ−表示の消去を行う（ステップＳ２１５）。
【００４７】
上記音源選択メニュ−表示状態での処理が終了するか、または、ステップＳ２１０でメニュ−表示指示がなかった時は、処理はステップＳ２２０に進み、連続音の選択がされていない場合は、ステップＳ２３０に進み、体験者の視線の移動があった場合は、その時の視線に応じた空間デ−タを表示し（ステップＳ２３１）、視線の移動が無ければ同じ空間デ−タの表示を続ける。一方、ステップＳ２２０で、連続音の選択有と判断した場合は、処理はステップＳ２２１に進み、連続音の再生を行い、つづいて、処理はステップＳ２２２に進み、体験者の視線の移動があった場合は、そのときの視線（頭の位置と向き）に応じた連続音の再生をし（ステップＳ２２３）、空間デ−タの表示を行う（ステップＳ２２４）。
【００４８】
ステップＳ２３１またはステップＳ２２４の処理が終了するかまたはステップＳ２３０またはステップＳ２２２で視線の移動無しと判断した場合は、処理はステップＳ２４０に進み、手元磁気センサ−が検出する位置デ−タと接触部格納領域２１０に格納している接触部領域を示す位置デ−タとが一致したかどうかを判断し、一致有りの場合（接触した場合）は、該当する接触部領域に対応する衝撃音を再生する（ステップＳ２４１）。
【００４９】
一方、ステップＳ２４０で一致無し（接触無し）の場合は、処理はステップＳ２５０に進み、マイク２１３からの音声入力がある場合は、入力音声を再生し、音声入力が無い場合は、ステップＳ２１０に戻る。
次に、連続音再生ステップＳ２２１、連続音再生の更新ステップＳ２２３、衝撃音再生ステップＳ２４１、音声再生ステップＳ２５１における処理手順の詳細について説明する。
【００５０】
図２０は、連続音再生ステップＳ２２１、連続音再生の更新ステップＳ２２３の処理手順の詳細を示すフローチャートである。
まず、頭部位置磁気センサ−２０３が検出する頭部位置を含む連続音受音点領域に対応した帯域応答（図１６参照）を、選択されている音源種類毎に、読み込むと（ステップＳ２２１０）、処理はステップＳ２２１１に進み、音源毎に、帯域応答にドライソ−スと頭部伝達関数を畳み込み、つづいて、処理はステップＳ２２１２に進み、前ステップで各音源毎に求められた各周波数帯毎の応答を、同一周波数帯毎に合成し、つづいて、同一周波数帯毎に合成された応答を全周波数帯にわたって合成し、再生音デ−タを生成する（ステップＳ２２１３）。つづいて、処理はステップＳ２２１４に進み、前ステップで生成された再生音デ−タを音声に変換し、ヘッドフォンへ出力する（ステップＳ２２１５）。
【００５１】
図２１は、衝撃音再生ステップＳ２４１の処理手順の詳細を示すフローチャートである。
まず、前ステップＳ２４０で検出した一致位置を含む衝撃音音源領域とその時の頭部位置磁気センサ−２０３が検出する頭部位置を含む衝撃音受音点領域とから対応する帯域応答（図１７参照）を読み込むと（ステップＳ２４１１）、処理はステップＳ２４１２に進み、読み込まれた帯域応答に、接触した仮想物体に対応したドライソ−ス（図１４、１５参照）と頭部伝達関数を畳み込み、つづいて、処理はステップＳ２４１３に進み、前ステップで求められた各周波数帯毎の応答を全周波数帯にわたって合成し、再生音デ−タを生成する。つづいて、処理はステップＳ２４１４に進み、前ステップで生成された再生音デ−タを音声に変換し、ヘッドフォンへ出力する（ステップＳ２４１５）。
【００５２】
図２２は、音声再生ステップＳ２５１の処理手順の詳細を示すフローチャートである。
まず、頭部位置磁気センサ−２０３が検出する頭部位置を含む体験者音声受音点領域から対応する帯域応答（図１８参照）を読み込むと（ステップＳ２５１１）、処理はステップＳ２５１２に進み、読み込まれた帯域応答に、マイク２１３からの音声信号と頭部伝達関数を畳み込み、つづいて、処理はステップＳ２５１３に進み、前ステップで求められた各周波数帯毎の応答を全周波数帯にわたって合成し、再生音デ−タを生成する。つづいて、処理はステップＳ２５１４に進み、前ステップで生成された再生音デ−タを音声に変換し、ヘッドフォンへ出力する（ステップＳ２５１５）。
【００５３】
なお、本実施例では、手元磁気センサ−を内蔵した手元入力装置を体験者が右手にもって、仮想空間内を移動することによって、体験者の右手と仮想物体とが接触した時の衝撃音を再生したが、磁気センサ−を体験者の体の別の部分に装着し、衝撃音ドライソ−ス格納部の内容を適宜変更した構成としてもよい。こうすることによって、体験者の体の別の部分が仮想物体に接触した時の衝撃音を再生することが可能となる。また、体験者の体に複数の磁気センサ−を装着する構成としてもよいことは言うまでもない。
【００５４】
以上、第２実施例の擬似体験装置によれば、現実の空間では聞こえる、複数の音源からの音や、物体に体の一部が接触したときの衝撃音や、自分が発する声が、仮想空間における音として擬似体験者は聞くことができるので、聴覚的により高い没入感を得ることができる。
（第３実施例）
図２３は、本発明の第３実施例にかかる擬似体験装置の全体構成図である。
【００５５】
第３実施例は、第１実施例とは異なり、体験者は移動することなく、音声で指示することにより、ゴ−グル型立体表示装置に表示させる空間デ−タを変化させることができるよう工夫されている。
そのため、第３実施例は、第１実施例に対し、さらにマイク３０１、Ａ／Ｄコンバ−タ３０２、入力音声パタ−ン一時記憶部３０３、基準音声パタ−ン格納部３０４、指示コ−ド一時記憶部３０５、指示量格納部３０６を備えており、第１実施例からは、磁気発生装置１０２、頭部磁気センサ−１０３、磁気センサ−ユニット１０６が省略された構成となっている。なお、第３実施例の説明に使用する図面等において、第１実施例と同様な構成のものについては同符号を付し、それらの説明については省略する。
【００５６】
マイク３０１は、体験者Ｍの声を音声信号に変換し、Ａ／Ｄコンバ−タ３０２へ出力する装置である。
Ａ／Ｄコンバ−タ３０２は、マイク３０１からのアナログの音声信号をデジタル信号に変換しＣＰＵ１１３へ出力する装置である。
入力音声パタ−ン一時記憶部３０３は、マイク３０１から入力された１語分の音声波形を記憶するところであり、ＲＡＭ等から構成される。
【００５７】
基準音声パタ−ン格納部３０４は、図２４に示すように、音声指示に使用される音声の波形を格納する基準音声パタ−ン記憶領域２４２と、その各々の音声波形に対応した指示コ−ドを格納する指示コ−ド格納領域２４３とを有している。例えば、２４２ａには「まえ」と発音される音声の波形が格納されており、２４３ａにはそれに対応した指示コ−ド「Ｄ１」が格納されているといった具合である。
【００５８】
指示コ−ド一時記憶部３０５は、図２５に示すように、前記入力音声パタ−ン一時記憶部３０３に記憶された音声波形に該当する指示コ−ドを各納するところであり、指示種類によって格納領域が定まっている。
指示量格納部３０６は、図２６は、指示コ−ドまたはその組み合わせに対応した指示量を格納している。例えば、指示コ−ドＶ１（速く）に対しては速度ｖ１が、指示コ−ドＴ１（少し）・Ａ１（移動）に対しては距離ｍ１が、指示コ−ドＴ２（たくさん）・Ａ２（向く）に対しては角度ａ２が格納されているといった具合である。なお、指示種類「方向」に関する指示コ−ドＤ１〜Ｄ６については量とは無関係なので、本格納部には対応するデ−タは格納されていない。
【００５９】
以下、図２７に示すフローチャートに基づいて、本装置の制御内容について説明する。
まず、ゴ−グル型立体表示装置１０１に空間デ−タが表示された状態で（ステップＳ３００）、体験者Ｍが音声入力すると（ステップＳ３１０）、処理はステップＳ３２０に進み、入力された音声の波形を入力音声パタ−ン一時記憶部３０３に記憶し、つづいて処理はステップＳ３３０に進み、記憶された波形に該当する波形を基準音声パタ−ン格納部３０４から検索する。
【００６０】
ここで、該当する波形パタ−ンがなかった場合は（ステップＳ３４０）、処理は、ステップＳ３１０の手前へ戻り、音声入力待ち状態となる。一方、該当する波形があった場合は、処理はステップＳ３５０に進み、その波形の指示コ−ドを、指示コ−ド一時記憶部３０５の対応する指示種類の格納場所に格納する。
つづいて、処理はステップＳ３６０に進み、指示コ−ド一時記憶部３０５に、指示種類に対応した指示コ−ドが全て格納されたかどうかを判断し、されていない場合は、ステップＳ３１０の手前へ戻り、再び音声入力待ち状態となる。一方、すべてのコ−ドが格納されている場合は、処理はステップＳ３７０に進み、格納された指示コ−ドと指示量格納部３０６で対応する指示量とに応じた空間デ−タの表示の更新をおこなう。
【００６１】
たとえば、体験者Ｍが、「まえ」、「ゆっくり」、「すこし」、「いどう」と音声入力したとすると、ステップＳ３１０〜ステップＳ３６０が繰り返され、指示コ−ド一時記憶部３０５には、図２８に示すように、指示コ−ドが格納され、この状態で全てのコ−ドが格納されたことになるので、ゴ−グル型立体表示装置１０１には、「前に、速度ｖ１で、距離ｍ１」移動するときの空間デ−タが表示される。
【００６２】
以上、第３実施例の擬似体験装置によれば、体験者は動き回ることなく、例えば椅子に腰掛けたままで、擬似体験をすることが可能となる。
【００６３】
【発明の効果】
以上、本発明に係る上記第１の擬似体験装置によれば、体験者の視線が仮想主体の身体方向に向けられると、体験者の身体形状を模した仮想主体の形状デ−タが空間デ−タと重畳して立体表示装置に表示され、また、移動中に体験者の視線が仮想主体の身体方向に向けられると、一連の移動動作デ−タが空間デ−タと重畳して立体表示装置に表示されるので、視覚的により高い没入感を得られる。
【００６５】
また、本発明に係る上記第２及び第３の擬似体験装置によれば、体験者の体の一部の位置と仮想物体の表面の位置とが一致すると、一致した仮想物体に対応したドライソ−スから生成した再生音デ−タが音声に変換され音場再生装置に出力されるので、聴覚的により高い没入感が得られる。
【００６６】
また、本発明に係る上記第４及び第５の擬似体験装置によれば、音声入力手段から入力された音声から生成した再生音デ−タが音声に変換され音場再生装置に出力されるので、聴覚的により高い没入感が得られる。
【図面の簡単な説明】
【図１】第１実施例の擬似体験装置の全体構成を示す図である。
【図２】第１実施例における、主体選択メニュ−を示す図である。
【図３】第１、２実施例における、手元入力装置の外観形状を示す図である。
【図４】第１実施例における、主体静止形状デ−タ格納部の内容を示す図である。
【図５】第１実施例における、主体動作形状デ−タ格納部の内容を示す図である。
【図６】第１実施例における、主体形状一時記憶部の内容を示す図である。
【図７】第１実施例における、本装置の処理手順を示すフローチャートである。
【図８】第１実施例における、主体形状一時記憶部の記憶状態の内容を示す図である。
【図９】第１実施例における、ゴ−グル型立体表示装置の画面表示の一例を示す図である。
【図１０】第１実施例における、ゴ−グル型立体表示装置の画面表示の一例を示す図である。
【図１１】第１実施例における、ゴ−グル型立体表示装置の画面表示の一例を示す図である。
【図１２】第２実施例の擬似体験装置の全体構成を示す図である。
【図１３】第２実施例における、音源選択メニュ−を示す図である。
【図１４】第２実施例における、接触部領域格納部の内容を示す図である。
【図１５】第２実施例における、衝撃音ドライソ−ス格納部の内容を示す図である。
【図１６】第２実施例における、連続音用帯域応答格納領域の内容を示す図である。
【図１７】第２実施例における、衝撃音用帯域応答格納領域の内容を示す図である。
【図１８】第２実施例における、体験者音声用帯域応答格納領域の内容を示す図である。
【図１９】第２実施例における、本装置の処理手順を示すフローチャートである。
【図２０】第２実施例における、本装置の処理手順を示すフローチャートである。
【図２１】第２実施例における、本装置の処理手順を示すフローチャートである。
【図２２】第２実施例における、本装置の処理手順を示すフローチャートである。
【図２３】第３実施例の擬似体験装置の全体構成を示す図である。
【図２４】第３実施例における、基準音声パタ−ン格納部３０４の内容を示す図である。
【図２５】第３実施例における、指示コ−ド一時記憶部３０５の内容を示す図である。
【図２６】第３実施例における、指示量格納部３０６の内容を示す図である。
【図２７】第３実施例における、本装置の処理手順を示すフローチャートである。
【図２８】第３実施例における、指示コ−ド一時記憶部３０５の記憶状態の一例を示す図である。
【符号の説明】
１０７  空間デ−タ格納部
１０８  主体静止形状デ−タ格納部
１０９  主体動作形状デ−タ格納部
１１０  主体形状一時記憶部
２１０  接触部領域格納部
２１１  連続音音源装置
２１２  衝撃音ドライソ−ス格納部
２１４  帯域応答格納部
２１５  頭部伝達関数格納部
３０３  入力音声パタ−ン一時記憶部
３０４  基準音声パタ−ン格納部
【図１】
0003575868.tif 000002
【図２】
0003575868.tif 000003
【図３】
0003575868.tif 000004
【図４】
0003575868.tif 000005
【図５】
0003575868.tif 000006
【図６】
0003575868.tif 000007
【図７】
0003575868.tif 000008
【図８】
0003575868.tif 000009
【図９】
0003575868.tif 000010
【図１０】
0003575868.tif 000011
【図１１】
0003575868.tif 000012
【図１２】
0003575868.tif 000013
【図１３】
0003575868.tif 000014
【図１４】
0003575868.tif 000015
【図１５】
0003575868.tif 000016
【図１６】
0003575868.tif 000017
【図１７】
0003575868.tif 000018
【図１８】
0003575868.tif 000019
【図１９】
0003575868.tif 000020
【図２０】
0003575868.tif 000021
【図２１】
0003575868.tif 000022
【図２２】
0003575868.tif 000023
【図２３】
0003575868.tif 000024
【図２４】
0003575868.tif 000025
【図２５】
0003575868.tif 000026
【図２６】
0003575868.tif 000027
【図２７】
0003575868.tif 000028
【図２８】
0003575868.tif 000029