(57)【要約】      （修正有）【課題】傾聴者にリアルな仮想聴覚体験を得させることができる音声信号出力を制御する方法及び装置を提供する。【解決手段】仮想聴覚環境において音声信号出力を制御する装置は、仮想聴覚環境における１つ又は複数の音源に対応する１つ又は複数の音声信号を受信するように配置される音声入力手段と、仮想聴覚環境におけるオブジェクトの方位情報を取得するように配置される方位情報取得手段と、オブジェクトに対して、仮想聴覚環境における１つ又は複数の音源が音波を方位情報に対応する方位に伝送する伝送特性をそれぞれ表す方位情報に対応する１つ又は複数の音源方位データの集合を特定するように配置される特定手段と、バイノーラル音声信号を得るように、１つ又は複数の音源方位データの集合に基づいて、１つ又は複数の音声信号をそれぞれ処理するように配置される処理手段と、バイノーラル音声信号を出力するように配置される音声出力手段と、を備える。【選択図】図１
2018152834.tif 000002
【特許請求の範囲】
【請求項１】
仮想聴覚環境において音声信号出力を制御する方法であって、
前記仮想聴覚環境におけるオブジェクトの方位情報を取得する第１取得ステップと、
前記オブジェクトに対して、前記仮想聴覚環境における１つ又は複数の音源が音波を前記方位情報に対応する方位に伝送する伝送特性をそれぞれ表す、前記方位情報に対応する１つ又は複数の音源方位データの集合を特定する第１特定ステップと、
出力するためのバイノーラル音声信号を得るように、前記１つ又は複数の音源方位データの集合に基づいて、前記１つ又は複数の音源に対応する１つ又は複数の音声信号をそれぞれ処理する第１処理ステップと、
を含む、方法。
【請求項２】
前記仮想聴覚環境における前記オブジェクトの変化後の方位情報を取得する第２取得ステップと、
前記オブジェクトに対して、前記仮想聴覚環境における１つ又は複数の音源が音波を前記変化後の方位情報に対応する方位に伝送する伝送特性をそれぞれ表す、前記変化後の方位情報に対応する別の１つ又は別の複数の音源方位データの集合を特定する第２特定ステップと、
出力するためのバイノーラル音声信号を得るように、前記別の１つ又は別の複数の音源方位データの集合に基づいて、前記１つ又は複数の音源に対応する１つ又は複数の音声信号をそれぞれ処理する第２処理ステップと、
をさらに含む、請求項１に記載の方法。
【請求項３】
前記第１特定ステップは、前記方位情報に基づいて、予め記憶された方位情報と音源方位データの集合との対応関係に応じて、前記オブジェクトに、前記方位情報にマッチングする前記１つ又は複数の音源方位データの集合を選択することを含む、請求項１に記載の方法。
【請求項４】
前記第１特定ステップは、前記方位情報に基づいて、前記オブジェクトに、前記方位情報に対応する前記１つ又は複数の音源方位データの集合を算出することを含む、請求項１に記載の方法。
【請求項５】
前記第２特定ステップは、前記変化後の方位情報に基づいて、予め記憶された方位情報と音源方位データの集合との対応関係に応じて、前記オブジェクトに、前記変化後の方位情報にマッチングする前記別の１つ又は別の複数の音源方位データの集合を選択することを含む、請求項２に記載の方法。
【請求項６】
前記第２特定ステップは、前記変化後の方位情報に基づいて、前記オブジェクトに、前記変化後の方位情報に対応する前記別の１つ又は別の複数の音源方位データの集合を算出することを含む、請求項２に記載の方法。
【請求項７】
前記オブジェクトが１つのオブジェクトであり、
前記第１取得ステップは、前記１つのオブジェクトの前記仮想聴覚環境における方位を含む、前記１つのオブジェクトの方位情報を取得することを含み、
前記第１特定ステップは、前記１つのオブジェクトに対して、前記仮想聴覚環境における１つ又は複数の音源が音波を前記１つのオブジェクトの前記方位に伝送する伝送特性をそれぞれ表す、その方位情報に対応する１つ又は複数の音源方位データの集合を特定することを含む、請求項１に記載の方法。
【請求項８】
前記オブジェクトが１つのオブジェクトであり、
前記第２取得ステップは、前記１つのオブジェクトの前記仮想聴覚環境における変化後の方位を含む、前記１つのオブジェクトの変化後の方位情報を取得することを含み、
前記第２特定ステップは、前記１つのオブジェクトに対して、前記仮想聴覚環境における１つ又は複数の音源が音波を前記１つのオブジェクトの前記変化後の方位に伝送する伝送特性をそれぞれ表す、その変化後の方位情報に対応する別の１つ又は別の複数の音源方位データの集合を特定することを含む、請求項２に記載の方法。
【請求項９】
前記オブジェクトが複数のオブジェクトであり、
前記第１取得ステップは、そのオブジェクトの前記仮想聴覚環境における方位及び／又は他のオブジェクトに対する相対的な方位を含む、前記複数のオブジェクトにおける少なくとも１つのオブジェクトの方位情報を取得することを含み、
前記第１特定ステップは、前記少なくとも１つのオブジェクトに対して、前記仮想聴覚環境における１つ又は複数の音源が音波を前記少なくとも１つのオブジェクトの前記方位に伝送する伝送特性をそれぞれ表す、その方位情報に対応する１つ又は複数の音源方位データの集合を特定することを含む、請求項１に記載の方法。
【請求項１０】
前記オブジェクトが複数のオブジェクトであり、
前記第２取得ステップは、そのオブジェクトの前記仮想聴覚環境における変化後の方位及び／又は他のオブジェクトに対する変化後の相対的な方位を含む、前記複数のオブジェクトにおける少なくとも１つのオブジェクトの変化後の方位情報を取得することを含み、
前記第２特定ステップは、前記少なくとも１つのオブジェクトに対して、前記仮想聴覚環境における１つ又は複数の音源が音波を前記少なくとも１つのオブジェクトの前記変化後の方位に伝送する伝送特性をそれぞれ表す、その変化後の方位情報に対応する別の１つ又は別の複数の音源方位データの集合を特定することを含む、請求項２に記載の方法。
【請求項１１】
前記少なくとも１つのオブジェクトにおけるオブジェクト毎に対して、他のオブジェクトは前記仮想聴覚環境における前記１つ又は複数の音源である、請求項９又は１０に記載の方法。
【請求項１２】
前記音源方位データの集合には、
頭部関連の伝達関数データの集合と、
両耳間の時間差データの集合と、
両耳間の強度差データの集合と、の内のいずれか1つが含まれている、請求項１乃至請求項１０のいずれか１項に記載の方法。
【請求項１３】
仮想聴覚環境において音声信号出力を制御する装置であって、
前記仮想聴覚環境における１つ又は複数の音源に対応する１つ又は複数の音声信号を受信するように配置される音声入力手段と、
前記仮想聴覚環境におけるオブジェクトの方位情報を取得するように配置される方位情報取得手段と、
前記オブジェクトに対して、前記仮想聴覚環境における１つ又は複数の音源が音波を前記方位情報に対応する方位に伝送する伝送特性をそれぞれ表す、前記方位情報に対応する１つ又は複数の音源方位データの集合を特定するように配置される特定手段と、
バイノーラル音声信号を得るように、前記１つ又は複数の音源方位データの集合に基づいて、前記１つ又は複数の音声信号をそれぞれ処理するように配置される処理手段と、
前記バイノーラル音声信号を出力するように配置される音声出力手段と、
を備える、装置。
【請求項１４】
前記方位情報取得手段はさらに、前記仮想聴覚環境における前記オブジェクトの変化後の方位情報を取得するように配置され、
前記特定手段はさらに、前記オブジェクトに対して、前記仮想聴覚環境における１つ又は複数の音源が音波を前記変化後の方位情報に対応する方位に伝送する伝送特性をそれぞれ表す、前記変化後の方位情報に対応する別の１つ又は別の複数の音源方位データの集合を特定するように配置され、
前記処理手段はさらに、バイノーラル音声信号を得るように、前記別の１つ又は別の複数の音源方位データの集合に基づいて、前記１つ又は複数の音声信号をそれぞれ処理するように配置される、請求項１３に記載の装置。
【請求項１５】
前記方位情報取得手段は、前記仮想聴覚環境における前記オブジェクトの方位変化情報を受信すると共に、前記方位変化情報及び前記方位情報に基づいて、前記オブジェクトの前記変化後の方位情報を特定するように配置される、請求項１４に記載の装置。
【請求項１６】
前記特定手段は、前記方位情報に基づいて、予め記憶された方位情報と音源方位データの集合との対応関係に応じて、前記オブジェクトに、前記方位情報にマッチングする前記１つ又は複数の音源方位データの集合を選択するように配置される、請求項１３に記載の装置。
【請求項１７】
前記特定手段は、前記方位情報に基づいて、前記オブジェクトに、前記方位情報に対応する前記１つ又は複数の音源方位データの集合を算出するように配置される、請求項１３に記載の装置。
【請求項１８】
前記特定手段は、前記変化後の方位情報に基づいて、予め記憶された方位情報と音源方位データの集合との対応関係に応じて、前記オブジェクトに、前記変化後の方位情報にマッチングする前記別の１つ又は別の複数の音源方位データの集合を選択するように配置される、請求項１４に記載の装置。
【請求項１９】
前記特定手段は、前記変化後の方位情報に基づいて、前記オブジェクトに、前記変化後の方位情報に対応する前記別の１つ又は別の複数の音源方位データの集合を算出するように配置される、請求項１４に記載の装置。
【請求項２０】
前記オブジェクトが１つのオブジェクトであり、
前記方位情報取得手段は、前記１つのオブジェクトの前記仮想聴覚環境における方位を含む、前記１つのオブジェクトの方位情報を取得するように配置され、
前記特定手段は、前記１つのオブジェクトに対して、前記仮想聴覚環境における１つ又は複数の音源が音波を前記１つのオブジェクトの前記方位に伝送する伝送特性をそれぞれ表す、その方位情報に対応する１つ又は複数の音源方位データの集合を特定するように配置される、請求項１３に記載の装置。
【請求項２１】
前記オブジェクトが１つのオブジェクトであり、
前記方位情報取得手段は、前記１つのオブジェクトの前記仮想聴覚環境における変化後の方位を含む、前記１つのオブジェクトの変化後の方位情報を取得するように配置され、
前記特定手段は、前記１つのオブジェクトに対して、前記仮想聴覚環境における１つ又は複数の音源が音波を前記１つのオブジェクトの前記変化後の方位に伝送する伝送特性をそれぞれ表す、その変化後の方位情報に対応する別の１つ又は別の複数の音源方位データの集合を特定するように配置される、請求項１４に記載の装置。
【請求項２２】
前記オブジェクトが複数のオブジェクトであり、
前記方位情報取得手段は、そのオブジェクトの前記仮想聴覚環境における方位及び／又は他のオブジェクトに対する相対的な方位を含む、前記複数のオブジェクトにおける少なくとも１つのオブジェクトの方位情報を取得するように配置され、
前記特定手段は、前記少なくとも１つのオブジェクトに対して、前記仮想聴覚環境における１つ又は複数の音源が音波を前記少なくとも１つのオブジェクトの前記方位に伝送する伝送特性をそれぞれ表す、その方位情報に対応する１つ又は複数の音源方位データの集合を特定するように配置される、請求項１３に記載の装置。
【請求項２３】
前記オブジェクトが複数のオブジェクトであり、
前記方位情報取得手段は、そのオブジェクトの前記仮想聴覚環境における変化後の方位及び／又は他のオブジェクトに対する変化後の相対的な方位を含む、前記複数のオブジェクトにおける少なくとも１つのオブジェクトの変化後の方位情報を取得するように配置され、
前記特定手段は、前記少なくとも１つのオブジェクトに対して、前記仮想聴覚環境における１つ又は複数の音源が音波を前記少なくとも１つのオブジェクトの前記変化後の方位に伝送する伝送特性をそれぞれ表す、その変化後の方位情報に対応する別の１つ又は別の複数の音源方位データの集合を特定するように配置される、請求項１４に記載の装置。
【請求項２４】
前記少なくとも１つのオブジェクトにおけるオブジェクト毎に対して、他のオブジェクトは前記仮想聴覚環境における前記１つ又は複数の音源である、請求項２２又は２３に記載の装置。
【請求項２５】
前記方位情報取得手段に前記オブジェクトの前記方位情報を提供するように配置される方位情報提供手段をさらに備える、請求項１３に記載の装置。
【請求項２６】
前記方位情報取得手段に前記オブジェクトの前記変化後の方位情報又は前記オブジェクトの方位変化情報を提供するように配置される方位情報提供手段をさらに備える、請求項１４に記載の装置。
【請求項２７】
前記音源方位データの集合には、
頭部関連の伝達関数データの集合と、
両耳間の時間差データの集合と、
両耳間の強度差データの集合と、の内のいずれか1つが含まれている、請求項１３乃至請求項２３のいずれか１項に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は仮想聴覚技術に関し、特に仮想聴覚環境において音声信号出力を制御する方法及び装置に関する。
【背景技術】
【０００２】
人間の聴覚は、視覚以外で外界情報を感知するもう１つの重要なルートである。現実聴覚環境において、音源から放射される音波は、直達及び環境反射のルートを介して傾聴者に伝送され、また傾聴者の頭部、耳介、胴体などの生理的構造によって散乱又は反射した後に両耳に伝送されるため、両耳に受信される音圧信号は、音源及び環境の音響空間情報を含む。聴覚系（高層神経系を含む）はこれらの情報を用いて、相応の空間的聴覚、及び音源の位置決めと周囲の音響環境に対する主観的感覚を生じる。
【０００３】
仮想聴覚環境は、自然音響環境に身を置いたような感覚を傾聴者に生じるように、人工的に発生し、又は音響環境を制御したものである。バイノーラル音声信号は音声の主な情報を含むため、バイノーラル音声信号を人工的にシミュレーションすると共にイヤホン又はスピーカで再生するという方法によって、特定の音響環境に身を置いたような主観的感覚を傾聴者に生じることができる。
【０００４】
従来技術には、イヤホン又はスピーカによって傾聴者に相応の空間的聴覚を仮想させる幾つかの方案が開示されている。例えば、特許文献１では、５．１ｃｈサラウンドのイヤホン再生の信号処理の方法が提供されており、その方法を用いることでイヤホン再生の頭内位置決め効果を消去することができ、且つリスニングルームの部屋反射音をシミュレーションする必要がない前提で、自然な５．１ｃｈサラウンド効果を再生することができる。
【０００５】
現在のこれらの方案において、イヤホン又はスピーカによって傾聴者に自然な空間的聴覚の効果のみが提供される。しかしながら、傾聴者自身が移動又は回転する際に、感じた音場はそれに伴って変化することなく、より迫真の没入効果を得ることができない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】中国特許出願公開第ＣＮ１４０２５９３号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明が解決しようとする課題は、仮想的な聴覚環境を構築し、それに身を置いた傾聴者は自身の物理方位の相違に応じてその物理方位に適合する音声効果が聞こえ、これにより傾聴者にリアルな仮想聴覚体験を得させることができ、さらに、その仮想聴覚環境は傾聴者の物理方位の変化に伴って調整し、傾聴者にその物理方位の変化に適合する音声効果を感じさせることにより、傾聴者の仮想聴覚体験を強化することができる音声信号出力を制御する方法及び装置を提供することである。
【課題を解決するための手段】
【０００８】
本発明の一実施例による仮想聴覚環境において音声信号出力を制御する方法は、前記仮想聴覚環境におけるオブジェクトの方位情報を取得する第１取得ステップと、前記オブジェクトに対して、前記仮想聴覚環境における１つ又は複数の音源が音波を前記方位情報に対応する方位に伝送する伝送特性をそれぞれ表す、前記方位情報に対応する１つ又は複数の音源方位データの集合を特定する第１特定ステップと、出力するためのバイノーラル音声信号を得るように、前記１つ又は複数の音源方位データの集合に基づいて、前記１つ又は複数の音源に対応する１つ又は複数の音声信号をそれぞれ処理する第１処理ステップと、を含む。
【０００９】
更なる実施例において、前記方法は、前記仮想聴覚環境における前記オブジェクトの変化後の方位情報を取得する第２取得ステップと、前記オブジェクトに対して、前記仮想聴覚環境における１つ又は複数の音源が音波を前記変化後の方位情報に対応する方位に伝送する伝送特性をそれぞれ表す、前記変化後の方位情報に対応する別の１つ又は別の複数の音源方位データの集合を特定する第２特定ステップと、出力するためのバイノーラル音声信号を得るように、前記別の１つ又は別の複数の音源方位データの集合に基づいて、前記１つ又は複数の音源に対応する１つ又は複数の音声信号をそれぞれ処理する第２処理ステップと、をさらに含む。
【００１０】
本発明の一実施例による仮想聴覚環境において音声信号出力を制御する装置は、前記仮想聴覚環境における１つ又は複数の音源に対応する１つ又は複数の音声信号を受信するように配置される音声入力手段と、前記仮想聴覚環境におけるオブジェクトの方位情報を取得するように配置される方位情報取得手段と、前記オブジェクトに対して、前記仮想聴覚環境における１つ又は複数の音源が音波を前記方位情報に対応する方位に伝送する伝送特性をそれぞれ表す、前記方位情報に対応する１つ又は複数の音源方位データの集合を特定するように配置される特定手段と、バイノーラル音声信号を得るように、前記１つ又は複数の音源方位データの集合に基づいて、前記１つ又は複数の音声信号をそれぞれ処理するように配置される処理手段と、前記バイノーラル音声信号を出力するように配置される音声出力手段と、を備える。
【００１１】
更なる実施例において、前記方位情報取得手段はさらに、前記仮想聴覚環境における前記オブジェクトの変化後の方位情報を取得するように配置され、前記特定手段はさらに、前記オブジェクトに対して、前記仮想聴覚環境における１つ又は複数の音源が音波を前記変化後の方位情報に対応する方位に伝送する伝送特性をそれぞれ表す、前記変化後の方位情報に対応する別の１つ又は別の複数の音源方位データの集合を特定するように配置され、前記処理手段はさらに、バイノーラル音声信号を得るように、前記別の１つ又は別の複数の音源方位データの集合に基づいて、前記１つ又は複数の音声信号をそれぞれ処理するように配置される。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施例による単一オブジェクト仮想聴覚環境において音声信号出力を制御する装置の構成ブロック図。
【図２】本発明の実施例による単一オブジェクト仮想現実システムの模式図。
【図３】本発明の実施例による単一オブジェクト仮想聴覚環境において音声信号出力を制御する方法のフローチャート。
【図４】本発明の実施例による多重オブジェクト仮想聴覚環境において音声信号出力を制御する装置の構成ブロック図。
【図５】本発明の実施例による多重オブジェクト仮想現実システムの模式図。
【図６】本発明の実施例による多重オブジェクト仮想聴覚環境において音声信号出力を制御する方法のフローチャート。
【発明を実施するための形態】
【００１３】
音源が音波をある具体的な方位に伝送する伝送特性は関数データの集合として表されることができ、このような音波伝送特性を示す関数データの集合は、音声信号が前記音源が音波をその方位に伝送する伝送特性を表すように、音声信号を処理するために用いることができる。このような処理された音声信号が再生機器によって音声に変換される場合、その音声は、傾聴者が仮想的な音源空間方位を感じられるように、前記音源が音波をその方位に伝送する伝送特性を表す。複数の関数データの集合を用いて音源が音波を複数の具体的な方位に伝送する伝送特性をそれぞれ表し、その複数の関数データの集合を用いて音声信号をそれぞれ処理すれば、前記音源が音波を複数の具体的な方位に伝送する伝送特性をそれぞれ音声信号に表せることができる。このような方案によって仮想的な聴覚環境を構築することができ、これに基づき、傾聴者の現実の物理方位を仮想聴覚環境における具体的な方位に映し、傾聴者の異なる現実の物理方位と仮想聴覚環境における異なる具体的な方位との間で対応関係を付ければ、傾聴者は自身の物理方位の相違に応じて自身の物理方位に適合する音声効果が聞こえる。本発明に提出されるこのような技術案により、傾聴者に感じられる音声は既定の空間的な方位感覚を変わらずに発現するわけではなくなり、傾聴者の物理方位に適合する空間的な方位感覚を発現可能になる。
【００１４】
本発明の技術案において、音波伝送特性を表すための前記関数データの集合は、音源方位データの集合と称する。本発明に適用される音源方位データの集合は、例えば頭部関連の伝達関数データ（Head Related Transfer Function、ＨＲＴＦ）の集合、両耳間の時間差データ（Interaural Time Difference、ＩＴＤ）の集合、両耳間の強度差データ（ＩＩＤ）の集合などの、音源から発される音波がある方位に伝送される伝送特性を表すことができる、如何なる適切なデータの集合であってもよい。
【００１５】
ＩＴＤは、音源から左・右耳までの距離差異による、音信号が両耳に到達する際の時間差のことをいう。ＩＩＤは、音源から左・右耳までの距離差異による、音信号が両耳に到達する際の強度差のことをいう。ＩＴＤとＩＩＤは何れも音源位置及び音波の周波数の関数である。音源位置決めデータの集合がＩＴＤとＩＩＤデータの集合である場合、ユーザは、音源がその左側に位置するか、それとも右側に位置するかを識別することができる。
【００１６】
ＨＲＴＦは自由音場の場合の音源から両耳までの音響伝送関数であり、自由音場における音源から発される音波が一定の角度で耳道内のある点に入射する際に発生する特徴変化を表すために用いられる。ＨＲＴＦは、音源位置、音波の周波数及び人体表面形状と性質の関数である。音源から人体測定点までの単位インパルス応答は、頭部関連のインパルス応答（Head Related Impulse Response，ＨＲＩＲ）と称する。ＨＲＴＦはＨＲＩＲのフーリエ変換である。音源位置決めデータの集合がＨＲＴＦデータの集合である場合、ユーザは、音源がその前方に位置するか、后方に位置するか、上方に位置するか、下方に位置するか、左側に位置するか、それとも右側に位置するかを識別することができる。
【００１７】
本発明をよりよく理解するように、後文ではＨＲＴＦデータの集合を例として本発明の技術案における音源方位データの集合の適用を説明する。本発明の各実施例を詳細に説明する前に、まずはＨＲＴＦの取得方式を簡単に紹介する。
【００１８】
ＨＲＴＦは実験測定によって取得されることができる。測定は通常自由音場（例えば、消音室）内で行われる。ＨＲＴＦの測定原理は、通常の音響伝送関数の測定に類似する。音源（例えば、小型スピーカシステム）は励起信号を発生させ、１対のマイクロフォンを用いて検体の両耳における音圧信号をピックアップし、次に信号処理の方法で伝送関数を求める。音源と検体との間の相対的な位置を変えることによって、異なる音源位置のＨＲＴＦを得ることができる。両耳における音圧信号のピックアップについて、人口頭部モデルの検体に対しては、マイクロフォンを耳道シミュレーターの末端に置くことができ、鼓膜の位置で測定することに相当する。また、人間の検体に対しては、超小型マイクロフォンを閉鎖の耳道口に置いて測定することができる。
【００１９】
ＨＲＴＦは、計算の方式で取得されることもできる。例えば、頭部を剛性球に簡略化し、両耳を球面上の対向する２つの点に簡略化して、剛性球が平面に波を入射するRaylei散乱公式を用いてＨＲＴＦを算出することができる。また例えば、胴体の影響を考慮する場合に、頭部と胴体を半径が異なる２つの球に簡略化し、グリーン関数及び多重散乱の方法を用いてＨＲＴＦを算出することができる。また、レーザー又はＣＴスキャンなどの方法を用いて研究対象の外形をコンピュータ画像に変換し、近似方法を用いてＨＲＴＦを算出することもできる。
【００２０】
以上はＨＲＴＦを取得する若干の既知の方式を挙げたのみであるが、如何なる既知の又は将来開発する可能性のある方式によって取得されたＨＲＴＦは何れも本発明の基本的な思想に適用することができるため、本発明の保護範囲内に含まれると理解すべきである。
【００２１】
以下では、図面を合わせて、それぞれ単一オブジェクト仮想聴覚環境と多重オブジェクト仮想聴覚環境について、本発明の各実施例を説明する。前記仮想聴覚環境は、例えば仮想航空・宇宙飛行訓練、仮想軍事訓練、仮想エンタテインメントシステム、仮想会議システム等の多種のシーンに適用することができる。通常の場合に、以上で挙げられた各種の適用シーンは仮想聴覚環境と仮想視覚環境とを同時に含み、両者は互いに協同して相対的に完全な仮想現実環境を構築する。その仮想現実環境において、ユーザは体験者として仮想現実環境におけるオブジェクトに映され、ユーザの行為は相応に仮想現実環境におけるオブジェクトの活動に映され、例えば、ユーザは、現実環境における自身の運動によって仮想現実シーンにおけるオブジェクトの運動を実現することができる。後文では、理解及び記載の便宜のために、現実世界におけるユーザと仮想現実環境におけるユーザが映されるオブジェクトとを厳格に区別しないことを説明する必要がある。例えば、仮想現実環境におけるオブジェクトの方位情報を取得する必要があれば、実際の操作ステップは、ユーザに付けられる方位検出手段によって、現実におけるユーザの物理方位を検出してから、現実世界のユーザと仮想現実環境におけるオブジェクトとの間の対応関係に基づいて仮想現実環境におけるオブジェクトの方位情報を取得するということである。理解及び記載の便宜のために、この種類の操作を直接に、オブジェクトの方位情報を検出することと称することができる。また、本発明に記載の仮想聴覚環境は、仮想視覚環境に依存せずに、単独で存在することができることを説明する必要もある。
【００２２】
単一オブジェクト仮想聴覚環境
図１には、本発明の実施例による単一オブジェクト仮想聴覚環境において音声信号出力を制御する装置１０（以下では「装置１０」と略称）を示す。単一オブジェクト仮想聴覚環境において、オブジェクトの数は１つのみである。図１に示すように、装置１０は、音声入力手段１１０、方位情報取得手段１２０、特定手段１３０、処理手段１４０及び音声出力手段１５０を含む。
【００２３】
図１を参照して、音声入力手段１１０は音声信号を受信して処理手段１４０に伝送するためのものである。音声信号は、例えばマイクロフォンにより収集された音声信号、又は音声プレイヤーから出力される音声信号であってもよい。音声信号は、例えばモノラル、２チャンネル又はステレオ音声信号であってもよい。
【００２４】
仮想聴覚環境におけるオブジェクトの方位を特定するために、方位情報取得手段１２０は、オブジェクトの方位情報を取得する。その方位情報は、その単一オブジェクト仮想聴覚環境におけるオブジェクトの方位を含む。
【００２５】
オブジェクトの方位情報は、方位情報提供手段（未図示）によって方位情報取得手段１２０に提供することができる。方位情報提供手段の機能は、多種の方式によって実現することができ、これらの方式は単独で使用してもよく、組み合わせて使用してもよい。例えば、ユーザは方位検出手段を装備し、方位検出手段によってユーザが仮想聴覚環境において映されたオブジェクトの方位を検出し、検出した方位情報を方位情報取得手段１２０に提供することができる。或いは、ユーザはユーザ入力インターフェイスを装備し、ユーザ入力インターフェイスによってユーザが仮想聴覚環境において映されたオブジェクトの方位についての入力を受信し、方位情報を方位情報取得手段１２０に提供することもできる。方位検出手段は、ジャイロ、コンパス、加速度計などの、オブジェクト方位を検出するために用いられる任意の適切な素子及び素子の組合せであってもよい。ユーザ入力インターフェイスの入力は、文字、符号、音声、又はインターフェイスにおけるアイコンに対するクリック、ドラッグなどの多種の方式を含んでもよい。
【００２６】
方位情報取得手段１２０はオブジェクトの方位情報を取得した後に、特定手段１３０に伝送する。特定手段１３０はオブジェクトの方位情報に基づいて、そのオブジェクトに対してその方位情報に対応する１つ又は複数のＨＲＴＦデータの集合を特定すると共に、特定情報を処理手段１４０に伝送する。特定情報は多種の形式であってもよく、例えば、特定情報は１つ又は複数のＨＲＴＦデータの集合そのものを含んでもよいが、或いは特定された１つ又は複数のＨＲＴＦデータの集合のインデックスのみを含んでもよい。後者について、処理手段１４０には、各インデックスに対応するＨＲＴＦデータの集合が記憶される必要がある。
【００２７】
上述のそのオブジェクトに対して特定された１つ又は複数のＨＲＴＦデータの集合は、単一オブジェクト仮想聴覚環境における１つ又は複数の音源が音波をそのオブジェクトの存在する方位に伝送する伝送特性を表すために用いられる。単一オブジェクト仮想聴覚環境においてそのオブジェクトに対する音源が単一の音源である場合、特定手段１３０は、そのオブジェクトのみに対してその単一の音源に対応する１つのＨＲＴＦデータの集合を特定する。単一オブジェクト仮想聴覚環境においてそのオブジェクトに対する音源が複数の音源である場合、特定手段１３０は、そのオブジェクトに対してその複数の音源に対応する複数のＨＲＴＦデータの集合を特定する。
【００２８】
仮想聴覚環境における音源が音波をオブジェクトの存在する方位に伝送する伝送特性を表すためのＨＲＴＦデータの集合は、実験測定方式又は算出方式によって取得されることができる。１つの例において、実験測定又は算出方式によって互いに１つ１つ対応する方位情報とＨＲＴＦデータの集合を予め取得することができる。得られた対応関係は、装置１０の内部の記憶手段（未図示）に予め記憶されてもよく、或いは装置１０外の外部メモリ予め記憶されてもよい。この例において、特定手段１３０はそのオブジェクトの方位情報、及び予め記憶された方位情報とＨＲＴＦデータの集合との対応関係に基づいて、そのオブジェクトに、その方位情報にマッチングする１つ又は複数のＨＲＴＦデータの集合を選択することができる。
【００２９】
ＨＲＴＦの実際の測定において、通常Ｍ個の有限空間方位の測定のみができるが、全ての空間方位の測定を尽くすことができないと理解すべきであるので、方位情報取得手段１２０が取得して特定手段１３０に伝送した方位情報がそのＭ個の有限空間方位内に含まれていなければ、特定手段１３０は空間補間法、例えば線形補間法を用いて、Ｍ個の既知のＨＲＴＦデータの集合から、その方位情報に対応するＨＲＴＦデータの集合を算出することもできる。
【００３０】
もう１つの例において、方位情報とＨＲＴＦデータの集合との対応関係を予め取得して記憶せずに、特定手段１３０がそのオブジェクトの方位情報、及び予め記憶されたＨＲＴＦを算出する際に必要な他の関連情報に基づいて、そのオブジェクトに、その方位情報に対応する１つ又は複数のＨＲＴＦデータの集合をリアルタイムに算出することもできる。
【００３１】
処理手段１４０は、特定手段１３０がそのオブジェクトに対して特定したその方位情報に対応する１つ又は複数のＨＲＴＦデータの集合に基づいて、音声入力手段１１０からの単一オブジェクト仮想聴覚環境における１つ又は複数の音源に対応する１つ又は複数の音声信号をそれぞれ処理して、出力するためのバイノーラル音声信号を得ると共に、そのバイノーラル音声信号を音声出力手段１５０に伝送する。そのうち、そのオブジェクトに対して特定したその方位情報に対応する各ＨＲＴＦデータの集合のいずれにも、左・右耳に対する２グループのＨＲＴＦデータが含まれている。
【００３２】
具体的に、仮想聴覚環境における音源毎に、処理手段１４０はまずその音源に対応する音声信号に対してフーリエ変換を行い、その音声信号の周波数領域表示を得る。次に、処理手段１４０は、左・右耳に対応する２グループのＨＲＴＦデータを、音声信号の周波数領域表示とそれぞれ掛算した後に、出力するためのバイノーラル音声信号を得るように、フーリエ逆変換を行う。
【００３３】
以上は周波数領域における信号処理方式に対応するものであるが、時間領域に対応する場合は、左・右耳に対応する２グループのＨＲＩＲデータと音声信号とをコンボリューションすることにより、出力するためのバイノーラル音声信号を得ると理解できる。
【００３４】
音声出力手段１５０は、バイノーラル音声信号をユーザに提供する。
【００３５】
オブジェクトの単一オブジェクト仮想聴覚環境における方位が変化する可能性があることを考慮すると、更なる実施例において、装置１０はオブジェクトの変化後の方位情報に基づいて、そのオブジェクトに対して変化後の方位情報に対応する別の１つ又は別の複数のＨＲＴＦデータの集合を特定することにより、そのオブジェクトに、その現在方位にマッチングするＨＲＴＦデータの集合をリアルタイムに選択するという効果を実現することもできる。以下では、この更なる実施例について詳細に説明する。
【００３６】
オブジェクトの仮想聴覚環境における方位が変化した場合、方位情報提供手段（未図示）はそのオブジェクトの方位変化を取得すると共に、方位変化情報を方位情報取得手段１２０に提供することができる。方位情報提供手段の機能は多種の方式によって実現することができる。例えば、方位検出手段によってユーザが仮想聴覚環境に映されたオブジェクトの方位変化を検出し、及び／又はユーザ入力インターフェイスによってユーザが仮想聴覚環境において映されたオブジェクトの方位変化についての入力を受信し、方位変化情報を方位情報取得手段１２０に提供することができる。例えば、方位検出手段はそのオブジェクトの方位変化をリアルタイム又は周期的に検出することができ、トリガーに応じてそのオブジェクトの方位変化を検出することもできる。一方、随時にユーザ入力インターフェイスによってそのオブジェクトの方位変化を入力することもできる。そのオブジェクトの単一オブジェクト仮想聴覚環境における方位変化は、水平方向における回転、平行移動、垂直方向における回転、平行移動、或いはその任意の組合せを含んでもよい。
【００３７】
方位情報取得手段１２０は方位情報提供手段（未図示）からの方位変化情報を取得した後に、オブジェクトの原方位情報及び今回取得した方位変化情報に基づいて、オブジェクトの変化後の方位情報を算出すると共に、変化後の方位情報を特定手段１３０に提供する。特定手段１３０はオブジェクトの変化後の方位情報に基づいて、オブジェクトに対してその変化後の方位情報に対応する別の１つ又は別の複数のＨＲＴＦデータの集合を特定する。
【００３８】
或いは、方位情報提供手段は、直接にそのオブジェクトの変化後の方位を取得すると共に、変化後の方位情報を方位情報取得手段１２０に提供することもできる。この場合、方位情報取得手段１２０は上述の算出を実行する必要がなく、取得された変化後の方位情報を特定手段１３０に伝送することのみが必要であり、特定手段１３０は変化後の方位情報に基づいて、そのオブジェクトに対して、その変化後の方位情報に対応する別の１つ又は別の複数のＨＲＴＦデータの集合を特定する。
【００３９】
特定手段１３０がオブジェクトに対して変化後の方位情報に対応する別の１つ又は別の複数のＨＲＴＦデータの集合を特定する方式は、前文に記載された特定手段１３０がオブジェクトに対して方位情報に対応する１つ又は複数のＨＲＴＦデータの集合を特定する方式に類似し、簡明のために、ここでは繰り返し述べない。
【００４０】
特定手段１３０が変化後の方位情報に対応する別の１つ又は別の複数のＨＲＴＦデータの集合を特定した後に、処理手段１４０はその１つ又は複数のＨＲＴＦデータの集合に基づいて、音声入力手段１１０からの仮想聴覚環境における１つ又は複数の音源に対応する１つ又は複数の音声信号を処理し、出力するためのバイノーラル音声信号を得る。その後に、音声出力手段１５０はバイノーラル音声信号をユーザに提供する。
【００４１】
処理手段１４０が別の１つ又は別の複数のＨＲＴＦデータの集合に基づいて１つ又は複数の音声信号を処理する方式は、前文に記載された処理手段１４０が１つ又は複数のＨＲＴＦデータの集合に基づいて１つ又は複数の音声信号を処理する方式に類似し、簡明のために、ここでは繰り返し述べない。
【００４２】
後文では、ビーチシーンをシミュレーションする単一オブジェクト仮想聴覚環境を例として、図２を組み合わせて、図１の音声信号出力を制御する装置の具体的な適用シーンにおける活用をさらに説明する。
【００４３】
図２には、本発明の実施例による例としての単一オブジェクト仮想現実システム２０を示す。図２に示すように、単一オブジェクト仮想現実システム２０は、音声・映像プレイヤー２１０、図１の音声信号出力を制御する装置１０（以下では「装置１０」と略称）、方位情報提供手段２２０、両耳イヤホン２３０及び仮想現実メガネ２４０を含む。  
図２を参照して、音声・映像プレイヤー２１０は、音声信号と映像信号とを提供するためのものである。音声・映像プレイヤー２１０は、パソコン、スマートフォン、パーソナルデジタルアシスタント、ＭＰ３プレイヤーなどの、音声・映像再生機能を有する如何なる適切な機器であってもよい。本実施例のビーチシーンにおいて、ユーザが両耳イヤホン２３０と仮想現実メガネ２４０をかけた場合、音声・映像プレイヤー２１０は、そのユーザに青い海と白い砂浜の仮想視覚環境を提示するように仮想現実メガネ２４０に映像信号を伝送し、またユーザに波の音の仮想聴覚環境を提供するように、両耳イヤホン２３０に装置１０により処理された音声信号を伝送する。また、本実施例のビーチシーンにおいて、音源の数が１つのみであり、即ち海であるとする。
【００４４】
ユーザが映されたオブジェクトが仮想現実シーンに入ると、方位情報提供手段２２０はユーザの現実環境における物理方位を取得することによりユーザが映されたオブジェクトの仮想現実シーンにおける方位を取得すると共に、オブジェクトの方位情報を装置１０に提供する。方位情報提供手段２２０が方位検出手段であるものを例として、本実施例のビーチシーンにおいて、方位検出手段はユーザの存在する物理方位を検出することにより、その仮想ビーチシーンにおけるオブジェクトの方向、位置及び両者の変化を取得すると共に、方位情報及び方位変化情報を装置１０に提供する。方位検出手段は、ユーザの物理方位を検出できる如何なる適切な位置に設けられてもよく、例えば、独立でユーザの頭部位置に掛けられ、或いは両耳イヤホン２３０又は仮想現実メガネ２４０に集積されることができる。
【００４５】
オブジェクトの左耳が音源（即ち、海）方向に向くものを例として、オブジェクトが音源方向に直面する際の方位が０度であり、且つオブジェクトが時計回りに回転する際に角度が増加すると仮定すると、この場合、方位検出手段に検出された方位が９０度である。装置１０における方位情報取得手段（未図示）は方位検出手段からの９０度の方位情報を取得すると共に装置１０における特定手段（未図示）に伝送する。その後、特定手段はオブジェクトに対して、その９０度の方位情報に対応するＨＲＴＦデータの集合を特定すると共に、特定情報を装置１０における処理手段（未図示）に伝送する。処理手段は、特定された９０度の方位情報に対応するＨＲＴＦデータの集合に基づいて、装置１０における音声入力手段（未図示）が音声・映像プレイヤー２１０から受信した波の音の音声信号を処理し、出力するためのバイノーラル音声信号を得る。装置１０における音声出力手段（未図示）はバイノーラル音声信号を両耳イヤホン２３０によってユーザに提供する。音声・映像プレイヤー２１０からの波の音の音声信号を、９０度の方位情報に対応するＨＲＴＦデータの集合を用いて処理したため、ユーザに感じられた波の音は９０度の方位情報に対応する方位特徴を表し、即ちユーザに感じられた波の音は、その左耳側に位置する。
【００４６】
さらに、ユーザの現実環境における物理方位が変化し、例えば時計回りに９０度回転した場合、ユーザが映されたオブジェクトも、ビーチシーンにおいて時計回りに９０度回転し、この際に方位検出手段に検出された方位変化は時計回りに９０度回転したことであり、且つその方位変化情報を装置１０における方位情報取得手段（未図示）に提供する。方位情報取得手段はこの時計回りに９０度回転したという方位変化情報を取得した後に、オブジェクトの原方位情報（即ち、９０度の方位情報）及び今回取得した方位変化情報（即ち、時計回りに９０度回転したという方位変化情報）に基づいて、変化後の方位情報（即ち、１８０度の方位情報）を算出すると共に、変化後の方位情報を装置１０における特定手段（未図示）に伝送する。特定手段は変化後の方位情報に基づいて、オブジェクトに対してその変化後の方位情報に対応するＨＲＴＦデータの集合を特定すると共に、特定情報を装置１０における処理手段（未図示）に提供する。処理手段は特定されたＨＲＴＦデータの集合に基づいて、装置１０における音声入力手段（未図示）が音声・映像プレイヤー２１０から受信した波の音の音声信号を処理し、出力するためのバイノーラル音声信号を得る。装置１０における音声出力手段（未図示）は、バイノーラル音声信号を両耳イヤホン２３０によってユーザに提供する。音声・映像プレイヤー２１０からの波の音の音声信号は、変化後の方位情報（１８０度の方位情報）に対応するＨＲＴＦデータの集合を用いて処理したため、ユーザに感じられた波の音は１８０度の方位情報に対応する方位特徴を表し、即ちユーザに感じられた波の音は、ユーザの真後ろに位置する。
【００４７】
上述の実施例はオブジェクトの仮想現実シーンにおける方向が時計回りに９０度水平に回転したものを例とし、オブジェクトの位置変化に関わらないが、当業者は、本発明の技術案は実際により複雑なオブジェクト方位変化に適用することができると理解すべきであることを説明する必要がある。例えば、前記オブジェクトの方位変化は、平行移動、或いは回転と平行移動の組合せを含んでもよい。また、前記平行移動及び回転は、２次元平面に限らず、３次元空間内の任意の平行移動及び回転であってもよい。
【００４８】
また、上述のビーチ適用シーンにおいて仮想聴覚環境と仮想視覚環境とを組み合わせて記載したのは、本発明の技術案をよりうまく説明するために過ぎず、本発明の技術案は仮想聴覚環境の適用シーンのみに活用できることを説明する必要がある。
【００４９】
図３には、本発明の実施例による単一オブジェクト仮想聴覚環境において音声信号出力を制御する方法を示す。その方法は、第１取得ステップＳ３１０、第１特定ステップＳ３２０、及び第１処理ステップＳ３３０を含む。
【００５０】
図３を参照して、第１取得ステップＳ３１０において、単一オブジェクト仮想聴覚環境におけるオブジェクトの方位情報を取得する。その方位情報は、オブジェクトの単一オブジェクト仮想聴覚環境における方位を含む。
【００５１】
第１特定ステップＳ３２０において、そのオブジェクトに対して、その方位情報に対応する１つ又は複数の音源方位データの集合を特定する。その１つ又は複数の音源方位データの集合は、単一オブジェクト仮想聴覚環境における１つ又は複数の音源が音波をそのオブジェクトの存在する方位に伝送する伝送特性をそれぞれ表す。
【００５２】
オブジェクトに対して、その方位情報に対応する１つ又は複数の音源方位データの集合を特定することは、多種の方式によって実現することができる。例えば、そのオブジェクトの方位情報に基づいて、予め記憶された方位情報と音源方位データの集合との対応関係に応じて、そのオブジェクトに、その方位情報にマッチングする１つ又は複数の音源方位データの集合を選択することができる。また例えば、そのオブジェクトの方位情報に基づいて、そのオブジェクトに、その方位情報に対応する１つ又は複数の音源方位データの集合を算出することができる。
【００５３】
音源方位データの集合は、例えば頭部関連の伝達関数データの集合、両耳間の時間差データの集合、両耳間の強度差データの集合などの、音源から発される音波がある方位に伝送される伝送特性を表すことができる、如何なる適切なデータの集合であってもよい。
【００５４】
第１処理ステップＳ３３０において、出力するためのバイノーラル音声信号を得るように、特定された１つ又は複数の音源方位データの集合に基づいて、単一オブジェクト仮想聴覚環境における１つ又は複数の音源に対応する１つ又は複数の音声信号をそれぞれ処理する。
【００５５】
そのオブジェクトの単一オブジェクト仮想聴覚環境における方位が変化する可能性があることを考慮すると、更なる実施例において、そのオブジェクトの変化後の方位情報に基づいて、そのオブジェクトに対して変化後の方位情報に対応する別の１つ又は別の複数のＨＲＴＦデータの集合を特定することにより、そのオブジェクトに、その現在方位にマッチングするＨＲＴＦデータの集合をリアルタイムに選択するという効果を実現することもできる。
【００５６】
この更なる実施例において、上述の第１取得ステップ、第１特定ステップ及び第１処理ステップ以外に、第２取得ステップ、第２特定ステップ及び第２処理ステップをさらに含む。
【００５７】
第２取得ステップにおいて、単一オブジェクト仮想聴覚環境におけるそのオブジェクトの変化後の方位情報を取得する。その変化後の方位情報は、そのオブジェクトの単一オブジェクト仮想聴覚環境における変化後の方位を含む。
【００５８】
第２特定ステップにおいて、そのオブジェクトに対して、その変化後の方位情報に対応する別の１つ又は別の複数の音源方位データの集合を特定する。その別の１つ又は別の複数の音源方位データの集合は、単一オブジェクト仮想聴覚環境における１つ又は複数の音源が音波をそのオブジェクトの存在する変化後の方位に伝送する伝送特性をそれぞれ表す。
【００５９】
そのオブジェクトに対して、その変化後の方位情報に対応する別の１つ又は別の複数の音源方位データの集合を特定することも、多種の方式によって実現することができる。例えば、そのオブジェクトの変化後の方位情報に基づいて、予め記憶された方位情報と音源方位データの集合との対応関係に応じて、そのオブジェクトに、その変化後の方位情報にマッチングする別の１つ又は別の複数の音源方位データの集合を選択することができる。また例えば、そのオブジェクトの変化後の方位情報に基づいて、そのオブジェクトに、その変化後の方位情報に対応する別の１つ又は別の複数の音源方位データの集合を算出することができる。
【００６０】
第２処理ステップにおいて、出力するためのバイノーラル音声信号を得るように、特定された別の１つ又は別の複数の音源方位データの集合に基づいて、単一オブジェクト仮想聴覚環境における１つ又は複数の音源に対応する１つ又は複数の音声信号をそれぞれ処理する。
【００６１】
多重オブジェクト仮想聴覚環境
図４には、本発明の実施例による多重オブジェクト仮想聴覚環境において音声信号出力を制御する装置４０（以下では「装置４０」と略称）を示す。オブジェクト仮想聴覚環境において、オブジェクトの数は複数である。図４に示すように、装置４０は、音声入力手段４１０、方位情報取得手段４２０、特定手段４３０、処理手段４４０及び音声出力手段４５０を含む。
【００６２】
図４を参照して、音声入力手段４１０は音声信号を受信して処理手段４４０に伝送するためのものである。多重オブジェクト仮想聴覚環境について、音声信号は、例えばマイクロフォンにより収集された音声信号、又は音声プレイヤーから出力される音声信号であってもよい。典型的なマイクロフォンにより収集された音声信号は各オブジェクトからの音声信号であってもよく、典型的な音声プレイヤーから出力される音声信号は仮想聴覚環境における非オブジェクト音源からの音声信号であってもよい。ここで記載された各オブジェクトからの音声信号について、その実際の意味は、各ユーザがマイクロフォンによって収集して音声入力手段４１０に伝送する音声信号であり、ここでは各オブジェクトからの音声信号と略称する。これに類似し、ここで記載された仮想聴覚環境における非オブジェクト音源からの音声信号について、その実際の意味は、音声プレイヤーが音声ファイルを再生して音声入力手段４１０に伝送する音声信号であり、ここでは仮想聴覚環境における非オブジェクト音源からの音声信号と略称する。音声信号は、例えばモノラル、２チャンネル又はステレオ音声信号であってもよい。
【００６３】
仮想聴覚環境におけるオブジェクトの方位を特定するために、方位情報取得手段４２０は、多重オブジェクト仮想聴覚環境における各オブジェクトの方位情報を取得する。
【００６４】
１つの例において、各オブジェクトは、仮想聴覚環境における非オブジェクト音源からの音声信号のみを受信する。この場合に、前記各オブジェクトの方位情報は、そのオブジェクトの仮想聴覚環境における方位のみを含んでもよい。  
もう１つの例において、各オブジェクトは、仮想聴覚環境における非オブジェクト音源からの音声信号、及び他のオブジェクトからの音声信号を受信し、或いは他のオブジェクトからの音声信号のみを受信する。この２種類の場合に、前記各オブジェクトの方位情報は、そのオブジェクトの仮想聴覚環境における方位、及びそのオブジェクトの他のオブジェクトに対する相対的な方位を含む。
【００６５】
オブジェクトの方位情報は、方位情報提供手段（未図示）によって方位情報取得手段４２０に提供することができる。方位情報提供手段の機能は、多種の方式によって実現することができ、これらの方式は単独で使用してもよく、組み合わせて使用してもよい。例えば、各ユーザはそれぞれ方位検出手段を装備し、方位検出手段によってユーザが仮想聴覚環境において映されたオブジェクトの方位を検出し、検出した方位情報を方位情報取得手段４２０に提供することができる。方位検出手段は、ジャイロ、コンパス、加速度計などの、オブジェクト方位を検出するために用いられる任意の適切な素子及び素子の組合せであってもよい。或いは、各ユーザはそれぞれユーザ入力インターフェイスを装備し、ユーザは、その仮想聴覚環境において映されたオブジェクトの方位、及びそのオブジェクトの他のオブジェクトに対する相対的な方位を自己定義することもできる。ユーザ入力インターフェイスの入力は、文字、符号、音声、又はインターフェイスにおけるアイコンに対するクリック、ドラッグなどの多種の方式を含んでもよい。ユーザ入力インターフェイスによって入力された方位情報は、直ちに方位情報取得手段４２０に提供される。以上に記載された検出方式及びユーザ自己定義方式は、単独で使用してもよく、組み合わせて使用してもよい。
【００６６】
方位情報取得手段４２０は各オブジェクトの方位情報を取得した後に、特定手段４３０に伝送し、特定手段４３０は各オブジェクトの方位情報に基づいて、オブジェクト毎に対してその方位情報に対応する１つ又は複数のＨＲＴＦデータの集合を特定すると共に、特定情報を処理手段４４０に伝送する。特定情報は多種の形式であってもよく、例えば、特定情報は１つ又は複数のＨＲＴＦデータの集合そのものを含んでもよいが、或いは特定された１つ又は複数のＨＲＴＦデータの集合のインデックスのみを含んでもよい。後者について、処理手段４４０には、各インデックスに対応するＨＲＴＦデータの集合が記憶される必要がある。
【００６７】
上述のオブジェクト毎に対して特定された１つ又は複数のＨＲＴＦデータの集合は、多重オブジェクト仮想聴覚環境における１つ又は複数の音源が音波をそのオブジェクトの存在する方位に伝送する伝送特性を表すために用いられる。多重オブジェクト仮想聴覚環境においてあるオブジェクトに対する音源が単一の音源である場合、特定手段４３０は、そのオブジェクトに対してその単一の音源に対応する１つのＨＲＴＦデータの集合のみを特定する。多重オブジェクト仮想聴覚環境においてあるオブジェクトに対する音源が複数の音源である場合、特定手段４３０は、その複数の音源に相応するように、そのオブジェクトに対してその複数の音源に対応する複数のＨＲＴＦデータの集合を特定する。
【００６８】
特定手段４３０がオブジェクト毎に対してその方位情報に対応する１つ又は複数のＨＲＴＦデータの集合を特定することは、多種の方式によって実現することができる。例えば、特定手段４３０は各オブジェクトの方位情報に基づいて、予め記憶された方位情報とＨＲＴＦデータの集合との対応関係に応じて、オブジェクト毎に対して、その方位情報にマッチングする１つ又は複数のＨＲＴＦデータの集合を特定する。方位情報とＨＲＴＦデータの集合との対応関係の取得方式は既に前文で説明しており、簡明のために、ここでは繰り返し述べない。また例えば、特定手段４３０が各オブジェクトの方位情報、及び予め記憶されたＨＲＴＦを算出する際に必要な他の関連情報に基づいて、そのオブジェクト毎に、その方位情報に対応する１つ又は複数のＨＲＴＦデータの集合をリアルタイムに算出することができる。
【００６９】
処理手段４４０は、特定手段４３０がそのオブジェクト毎に対して特定したその方位情報に対応する１つ又は複数のＨＲＴＦデータの集合に基づいて、音声入力手段４１０からの多重オブジェクト仮想聴覚環境における１つ又は複数の音源に対応する１つ又は複数の音声信号をそれぞれ処理して、出力するためのバイノーラル音声信号を得る。その後、音声出力手段４５０は、バイノーラル音声信号をそれぞれ相応のユーザに提供する。
【００７０】
各オブジェクトの多重オブジェクト仮想聴覚環境における方位及び／又は他のオブジェクトに対する相対的な方位が変化する可能性があることを考慮すると、更なる実施例において、装置４０は、各オブジェクトの変化後の方位情報に基づいて、オブジェクト毎に対してその変化後の方位情報に対応する別の１つ又は別の複数のＨＲＴＦデータの集合を特定することにより、オブジェクト毎に、その変化後の方位にマッチングするＨＲＴＦデータの集合をリアルタイムに選択するという効果を実現することもできる。以下では、この更なる実施例について詳細に説明する。
【００７１】
複数のオブジェクトにおけるあるオブジェクトの仮想聴覚環境における方位及び／又は他のオブジェクトに対する相対的な方位が変化した場合、そのオブジェクトに装備された方位情報提供手段（未図示）はそのオブジェクトの方位変化及び／又は他のオブジェクトに対する相対的な方位変化を取得すると共に、方位変化情報を方位情報取得手段４２０に提供することができる。
【００７２】
１つの例において、各オブジェクトは、仮想聴覚環境における非オブジェクト音源からの音声信号のみを受信する。この場合に、前記各オブジェクトの方位変化情報は、そのオブジェクトの仮想聴覚環境における方位変化のみを含んでもよい。
【００７３】
もう１つの例において、各オブジェクトは、仮想聴覚環境における非オブジェクト音源からの音声信号、及び他のオブジェクトからの音声信号を受信し、或いは他のオブジェクトからの音声信号のみを受信する。この２種類の場合に、前記各オブジェクトの方位情報は、そのオブジェクトの仮想聴覚環境における方位変化、及びそのオブジェクトの他のオブジェクトに対する相対的な方位変化を含む。
【００７４】
方位情報提供手段の機能は、多種の方式によって実現することができ、これらの方式は単独で使用してもよく、組み合わせて使用してもよい。例えば、各ユーザはそれぞれ方位検出手段を装備し、方位検出手段によってユーザが仮想聴覚環境において映されたオブジェクトの方位変化をリアルタイムに、周期的に、又はトリガーに応じて検出し、検出した方位変化情報を方位情報取得手段４２０に提供することができる。オブジェクトのその多重オブジェクト仮想聴覚環境における方位変化は、水平方向における回転或いは平行移動或いはその組合せ、及び／又は垂直方向における回転或いは平行移動或いはその組合せを含んでもよい。或いは、各ユーザはそれぞれユーザ入力インターフェイスを装備し、ユーザは、その仮想聴覚環境において映されたオブジェクトの方位変化、及びそのオブジェクトの他のオブジェクトに対する相対的な方位変化を自己定義することもできる。ユーザ入力インターフェイスの入力は、文字、符号、音声、又はインターフェイスにおけるアイコンに対するクリック、ドラッグなどの多種の方式を含んでもよい。ユーザ入力インターフェイスによって入力された方位変化情報は、直ちに方位情報取得手段４２０に提供される。以上に記載された検出方式及びユーザ自己定義方式は、単独で使用してもよく、組み合わせて使用してもよい。
【００７５】
以上に記載された検出方式及びユーザ自己定義方式は組み合わせて、共に方位情報取得手段４２０にオブジェクトのその多重オブジェクト仮想聴覚環境における方位変化情報を提供することができる。例えば、仮想聴覚環境に入る際に、ユーザはユーザ入力インターフェイスによってその映されたオブジェクトの仮想聴覚環境における方位、及び／又はそのオブジェクトの他のオブジェクトに対する相対的な方位を自己定義して入力すると共に、方位情報を初期方位情報として方位情報取得手段４２０に提供することができる。その後、各ユーザに装備された方位検出手段は、ユーザが仮想聴覚環境において映されたオブジェクトの方位変化をリアルタイムに、周期的に、又はトリガーに応じて検出し、検出した方位変化情報を方位情報取得手段４２０に提供する。この過程において、ユーザは、随時にユーザ入力インターフェイスによって、オブジェクトの仮想聴覚環境における方位、及び／又はそのオブジェクトの他のオブジェクトに対する相対的な方位を自己定義して調整することもできる。
【００７６】
方位情報取得手段４２０は各オブジェクトの仮想聴覚環境における方位変化情報を取得した後に、各オブジェクトの原方位情報及び今回取得した方位変化情報に基づいて、変化後の方位情報を算出すると共に、各オブジェクトの変化後の方位情報を特定手段１３０に提供する。特定手段４３０は各オブジェクトの変化後の方位情報に基づいて、オブジェクト毎に対してその変化後の方位情報に対応する別の１つ又は別の複数のＨＲＴＦデータの集合を特定する。
【００７７】
或いは、オブジェクトに装備された方位情報提供手段は、直接にそのオブジェクト的変化後の方位及び／又は他のオブジェクトの変化後の相対的な方位を取得すると共に、変化後の方位情報を方位情報取得手段１２０に提供することもできる。この場合に、方位情報取得手段４２０は上述の算出を実行する必要がなく、取得された各オブジェクトの変化後の方位情報を特定手段４３０に伝送することのみが必要であり、特定手段４３０は各オブジェクトの変化後の方位情報に基づいて、オブジェクト毎に対して、その変化後の方位情報に対応する別の１つ又は別の複数のＨＲＴＦデータの集合をそれぞれ特定する。
【００７８】
特定手段４３０がオブジェクト毎に対して、その変化後の方位情報に対応する別の１つ又は別の複数のＨＲＴＦデータの集合を特定した後に、処理手段４４０はその１つ又は複数のＨＲＴＦデータの集合に基づいて、音声入力手段１１０からの仮想聴覚環境における１つ又は複数の音源に対応する１つ又は複数の音声信号を処理し、出力するためのバイノーラル音声信号を得る。その後に、音声出力手段４５０はバイノーラル音声信号をそれぞれ相応のユーザに提供する。
【００７９】
本発明の実施例による多重オブジェクト仮想聴覚環境において音声信号出力を制御する装置は、遠端側に位置し、例えば、遠隔サーバに集積されることができる。ローカル側に位置し、例えば、ローカルな音声・映像再生機器又はマルチパーティ会議機器に集積されることもできる。
【００８０】
上述の実施例は、多重オブジェクト仮想聴覚環境における音声信号出力を制御する装置において複数のオブジェクトにおける各オブジェクトの方位情報を取得すると共に、オブジェクト毎に対してその方位情報に対応する１つ又は複数のＨＲＴＦデータの集合を特定するものを例として説明しているが、当業者は、他の実施例において、その音声信号出力を制御する装置は、複数のオブジェクトにおける一部のオブジェクトの方位情報のみを取得すると共に、その一部のオブジェクトに対して、その方位情報に対応する１つ又は複数のＨＲＴＦデータの集合をそれぞれ特定することもできると理解すべきであることを説明する必要がある。例えば、その音声信号出力を制御する装置がローカル側に位置する場合、ローカルなオブジェクトの方位情報のみを取得すると共に、ローカルなオブジェクトに対して、その方位情報に対応する１つ又は複数のＨＲＴＦデータの集合を特定することができ、ローカルなオブジェクトの方位情報は、ローカルなオブジェクトの多重オブジェクト仮想聴覚環境における方位及び／又は他のオブジェクトに対する相対的な方位を含んでもよい。そのローカルなオブジェクトの数は、１つ又は複数であってもよい。
【００８１】
後文では、マルチパーティ会議シーンをシミュレーションする多重オブジェクト仮想聴覚環境を例として、図５を組み合わせて、図４の音声信号出力を制御する装置の具体的な適用シーンにおける活用をさらに詳細に説明する。
【００８２】
図５には、本発明の実施例による例としての多重オブジェクト仮想現実システム５０を示す。図５に示すように、多重オブジェクト仮想現実システム５０は、マルチパーティ会議機器５１０、図４の音声信号出力を制御する装置４０（以下では「装置４０」と略称）、ユーザ入力インターフェイス５２０、両耳イヤホン５３０及び仮想現実メガネ５４０を含む。本適用シーンにおいて、装置４０がローカル側に位置し、且つローカルなオブジェクトの方位情報及び変化した方位情報のみを受信するものを例として説明する。
【００８３】
図５を参照して、マルチパーティ会議機器５１０は、映像信号及び参会者からの音声信号を提供し、前記映像信号はマルチパーティ会議シーンの仮想視覚環境をシミュレーションするためのものであり、前記音声信号はマルチパーティ会議シーンの仮想聴覚環境をシミュレーションするためのものである。ユーザが両耳イヤホン５３０と仮想現実メガネ５４０をかけた場合、マルチパーティ会議機器５１０は、そのユーザに仮想的なマルチパーティ会議シーンを提示するように仮想現実メガネ５４０に映像信号を伝送する。前記仮想的なマルチパーティ会議シーンにおいて、そのユーザ及び他の参会者は、それぞれ異なる方位に位置するオブジェクトとして提示されることができる。これに基づき、マルチパーティ会議機器５１０は、さらに、異なる方位に位置するオブジェクトの音声をシミュレーションするように、両耳イヤホン５３０に装置４０により処理された他の参会者からの音声信号を伝送する。
【００８４】
本実施例のマルチパーティ会議シーンにおいて、合計３名の参会者がいるが、それぞれ装置４０の所在地に位置するローカルなユーザＡ、及び別箇所に位置するノンローカル参会者ＢとＣであることとする。ローカルなユーザＡには、上述の両耳イヤホン５３０と仮想現実メガネ５４０がかけられている。マルチパーティ会議機器５１０が起動された後に、ローカルなユーザＡは仮想現実シーンにおけるローカルなオブジェクトａに映され、ノンローカル参会者ＢとＣはそれぞれ仮想現実シーンにおける他のオブジェクトｂとｃに映される。この際に、ローカルなユーザＡは、仮想現実メガネ５４０を介して仮想現実シーンにおけるオブジェクトｂとｃが見え、自身が仮想現実シーンに映されたオブジェクトａも見えるか、或いは少なくとも一部が見える。
【００８５】
本実施例において、ローカルなユーザＡはユーザ入力インターフェイス５２０によって、自身が映されたローカルなオブジェクトａのマルチパーティ会議シーンにおける方位及びそのオブジェクトａの他のオブジェクトｂとｃに対する相対的な方位を自己定義して入力すると共に、この方位情報を初期方位情報として装置４０における方位情報取得手段（未図示）に提供することができる。
【００８６】
装置４０における方位情報取得手段（未図示）は、その方位情報を取得すると共に装置４０における特定手段（未図示）に伝送し、特定手段はローカルなオブジェクトａに対してその方位情報に対応する２つのＨＲＴＦデータの集合を特定し、特定情報を装置４０における処理手段（未図示）に伝送する。その内の１つのＨＲＴＦデータの集合は、オブジェクトｂが音源として発する音波がオブジェクトａに伝送される伝送特徴を表し、他方のＨＲＴＦデータの集合は、オブジェクトｃが音源として発する音波がオブジェクトａに伝送される伝送特徴を表す。その後、装置４０における処理手段（未図示）は、特定された２つのＨＲＴＦデータの集合に基づいて、装置４０における音声入力手段（未図示）がマルチパーティ会議機器５１０から受信したオブジェクトｂとｃからの音声信号をそれぞれ処理し、出力するためのバイノーラル音声信号を得る。装置４０における音声出力手段（未図示）はバイノーラル音声信号を両耳イヤホン５３０によってローカルなユーザＡに提供する。オブジェクトｂとｃからの音声信号はそれぞれ装置４０における処理手段により、方位情報に対応する異なるＨＲＴＦデータの集合に基づいて処理されたため、ローカルなユーザＡに感じられたオブジェクトｂとｃからの音声は方位情報に対応する方位特徴を表す。このような方案に従って、ユーザは、仮想現実シーンのマルチパーティ会議において、音声のみに基づいて、異なる参会者の方位を識別することができる。例えば、ローカルなユーザＡが自己定義して入力した方位情報は、ローカルなオブジェクトａが真ん中、オブジェクトｂがその左前方、オブジェクトｃがその右前方に位置するものであると仮定すると、ローカルなユーザＡが実際にその仮想的なマルチパーティ会議において聞こえた参会者Ｂの音声はその左前方にあり、参会者Ｃの音声はその右前方にあり、ユーザＡが設定した、或いはユーザＡが仮想現実メガネ５４０を介して見えた仮想視覚シーンと一致しない箇所がないため、聴覚においてユーザの仮想現実体験を強化している。
【００８７】
さらに、ローカルなユーザＡは、随時にユーザ入力インターフェイス５２０によってローカルなオブジェクトａのマルチパーティ会議シーンにおける方位及びそのオブジェクトａの他のオブジェクトｂとｃに対する相対的な方位を調整することもできる。
【００８８】
装置４０における方位情報取得手段（未図示）は、変化後の方位情報を取得すると共に装置４０における特定手段（未図示）に伝送し、特定手段はローカルなオブジェクトａに対して変化後の方位情報に対応する２つのＨＲＴＦデータの集合を特定する。その内の１つのＨＲＴＦデータの集合は、オブジェクトｂが音源として発する音波がオブジェクトａに伝送される伝送特徴を表し、他方のＨＲＴＦデータの集合は、オブジェクトｃが音源として発する音波がオブジェクトａに伝送される伝送特徴を表す。その後、装置４０における処理手段（未図示）は、特定された２つのＨＲＴＦデータの集合に基づいて、装置４０における音声入力手段（未図示）がマルチパーティ会議機器５１０から受信したオブジェクトｂとｃからの音声信号をそれぞれ処理し、出力するためのバイノーラル音声信号を得る。装置４０における音声出力手段（未図示）はバイノーラル音声信号を両耳イヤホン５３０によってローカルなユーザに提供する。オブジェクトｂとｃからの音声信号はそれぞれ装置４０における処理手段により、変化後の方位情報に対応するＨＲＴＦデータの集合に基づいて処理されたため、ローカルなユーザＡに感じられたオブジェクトｂとｃからの音声は方位情報の変化に対応する変化を表す。このような方案に従って、ユーザは、仮想現実シーンのマルチパーティ会議において、音声のみに基づいて、異なる参会者の方位の変化を識別することができる。例えば、ユーザＡが前回自己定義して入力した方位情報を基に、ユーザＡが自己定義して入力した変化後の方位情報は、ローカルなオブジェクトａが変わらずに真ん中に位置し、オブジェクトｂがその真ん前に移動し、オブジェクトｃがその右側に移動したものであると仮定すると、ユーザＡが実際にその仮想的なマルチパーティ会議において聞こえた参会者Ｂの音声はその真ん前に移動し、参会者Ｃの音声はその右側に移動し、ユーザＡが今回設定した、或いは仮想現実メガネ５４０を介して見えた仮想視覚シーンと一致しない箇所がないため、聴覚においてユーザの仮想現実体験をさらに強化している。
【００８９】
前記２つのノンローカル参会者ＢとＣについて、各々のローカル側にも装置４０を装備し、類似した仮想聴覚環境を提供することもできると理解できる。
【００９０】
上述のマルチパーティ会議適用シーンにおいて仮想聴覚環境と仮想視覚環境とを組み合わせて記載したのは、本発明の技術案をよりうまく説明するために過ぎず、本発明の技術案は仮想聴覚環境の適用シーンのみに活用できると理解できる。
【００９１】
図６は、本発明の実施例による多重オブジェクト仮想聴覚環境において音声信号出力を制御する方法を示す。その方法は、第１取得ステップＳ６１０、第１特定ステップＳ６２０及び第１処理ステップＳ６３０を含む。
【００９２】
図６を参照して、第１取得ステップＳ６１０において、多重オブジェクト仮想聴覚環境における複数のオブジェクトにおける少なくとも１つのオブジェクトの方位情報を取得する。その少なくとも１つのオブジェクトの方位情報は、そのオブジェクトの多重オブジェクト仮想聴覚環境における方位及び／又は他のオブジェクトに対する相対的な方位を含む。
【００９３】
第１特定ステップＳ６２０において、その少なくとも１つのオブジェクトに対して、その方位情報に対応する１つ又は複数の音源方位データの集合を特定する。その１つ又は複数の音源方位データの集合は、多重オブジェクト仮想聴覚環境における１つ又は複数の音源が音波をその少なくとも１つのオブジェクトの存在する方位に伝送する伝送特性をそれぞれ表す。
【００９４】
少なくとも１つのオブジェクトに対して、その方位情報に対応する１つ又は複数の音源方位データの集合を特定することは、多種の方式によって実現することができる。例えば、その少なくとも１つのオブジェクトの方位情報に基づいて、予め記憶された方位情報と音源方位データの集合との対応関係に応じて、その少なくとも１つのオブジェクトに、その方位情報にマッチングする１つ又は複数の音源方位データの集合を選択することができる。また例えば、その少なくとも１つのオブジェクトの方位情報に基づいて、その少なくとも１つのオブジェクトに、その方位情報に対応する１つ又は複数の音源方位データの集合を算出することができる。
【００９５】
音源方位データの集合は、例えば頭部関連の伝達関数データの集合、両耳間の時間差データの集合、両耳間の強度差データの集合などの、音源から発される音波がある方位に伝送される伝送特性を表すことができる、如何なる適切なデータの集合であってもよい。
【００９６】
第１処理ステップＳ６３０において、出力するためのバイノーラル音声信号を得るように、特定された１つ又は複数の音源方位データの集合に基づいて、多重オブジェクト仮想聴覚環境における１つ又は複数の音源に対応する１つ又は複数の音声信号をそれぞれ処理する。
【００９７】
１つの例において、その少なくとも１つのオブジェクトにおけるオブジェクト毎に対して、他のオブジェクトはその多重オブジェクト仮想聴覚環境における１つ又は複数の音源とされる。
【００９８】
その少なくとも１つのオブジェクトの多重オブジェクト仮想聴覚環境における方位が変化する可能性があることを考慮すると、更なる実施例において、その少なくとも１つのオブジェクトの変化後の方位情報に基づいて、その少なくとも１つのオブジェクトに対してその変化後の方位情報に対応する別の１つ又は別の複数のＨＲＴＦデータの集合を特定することにより、その少なくとも１つのオブジェクトに、その現在方位にマッチングするＨＲＴＦデータの集合をリアルタイムに選択するという効果を実現することもできる。
【００９９】
この更なる実施例において、上述の第１取得ステップ、第１特定ステップ及び第１処理ステップ以外に、第２取得ステップ、第２特定ステップ及び第２処理ステップをさらに含む。
【０１００】
第２取得ステップにおいて、その少なくとも１つのオブジェクトの変化後の方位情報を取得する。その少なくとも１つのオブジェクトの変化後の方位情報は、そのオブジェクトの前記仮想聴覚環境における変化後の方位及び／又は他のオブジェクトに対する変化後の相対的な方位を含む。
【０１０１】
第２特定ステップにおいて、その少なくとも１つのオブジェクトに対して、その変化後の方位情報に対応する別の１つ又は別の複数の音源方位データの集合を特定する。その別の１つ又は別の複数の音源方位データの集合は、多重オブジェクト仮想聴覚環境における１つ又は複数の音源が音波をその少なくとも１つのオブジェクトの存在する変化後の方位に伝送する伝送特性をそれぞれ表す。
【０１０２】
その少なくとも１つのオブジェクトに対して、その変化後の方位情報に対応する別の１つ又は別の複数の音源方位データの集合を特定することも、多種の方式によって実現することができる。例えば、その少なくとも１つのオブジェクトの変化後の方位情報に基づいて、予め記憶された方位情報と音源方位データの集合との対応関係に応じて、その少なくとも１つのオブジェクトに、その変化後の方位情報にマッチングする別の１つ又は別の複数の音源方位データの集合を選択することができる。また例えば、その少なくとも１つのオブジェクトの変化後の方位情報に基づいて、その少なくとも１つのオブジェクトに、その変化後の方位情報に対応する別の１つ又は別の複数の音源方位データの集合を算出することができる。
【０１０３】
第２処理ステップにおいて、出力するためのバイノーラル音声信号を得るように、特定された別の１つ又は別の複数の音源方位データの集合に基づいて、多重オブジェクト仮想聴覚環境における１つ又は複数の音源に対応する１つ又は複数の音声信号をそれぞれ処理する。
【０１０４】
本発明の各実施例による音声信号出力を制御する装置における各手段は、完全又は一部的に、ソフトウェア、ハードウェア、ファームウェア、或いはその任意の組合せによって実現することができる。ハードウェア手段の例は、システムオンチップ（ＳＯＣ）、集積回路（ＩＣ）、特定用途向け集積回路（ＡＳＩＣ）、現場でプログラム可能なゲートアレイ（ＦＰＧＡ）などを含むが、これらに限らない。
【０１０５】
本発明の各実施例による音声信号出力を制御する装置は、単機機器として実現され、即ち全ての手段が１つの物理機器において実現されてもよい。或いは、本発明の各実施例による音声信号出力を制御する装置は、分布式機器、即ち一部の手段と他の手段とがそれぞれ、異なる物理機器又は位置に配置されるものであってもよい。  
本発明の各実施例による音声信号出力を制御する装置と外部装置との間、或いは本発明の各実施例による音声信号出力を制御する装置の内部の各手段の間は、如何なる現在既知の、又は将来開発する通信技術によって互いに通信することができ、このような技術は、プロセス／スレッド間通信、ブルートゥース、赤外線、無線又は有線のコンピュータネットワーク、通信ネットワークなどを含むが、これらに限らない。
【０１０６】
本発明の以上の記載は、如何なる当業者も発明を実現又は使用できるようにするためのものである。当業者にとって、本発明の各種の補正は全て自明であり、且つ本稿に定義された一般的な原理は、本開示の精神及び保護範囲を逸脱しない場合に、他の変形に適用することもできる。よって、本発明は本稿の実例及び設計に限らず、本稿に開示されている原理及び新規性特性の最も広い範囲と一致している。
【符号の説明】
【０１０７】
１０  装置
１１０  音声入力手段
１２０  方位情報取得手段
１３０  特定手段
１４０  処理手段
１５０  音声出力手段
【図１】
2018152834.tif 000003
【図２】
2018152834.tif 000004
【図３】
2018152834.tif 000005
【図４】
2018152834.tif 000006
【図５】
2018152834.tif 000007
【図６】
2018152834.tif 000008