(57)【要約】【課題】人物の視界に音源が含まれているか否かにかかわらず、音源までの距離を人物に直感的に認識させる。【解決手段】音源から発せられる音を示す音響信号を受け、受けた音響信号から再生した音を人物の聴覚に与える再生部と、音響信号で示される音の強さの変化に応じて変化する強度を持つ刺激を人物の視覚に与える提示部と、音源の位置を示す情報と人物の位置を示す情報とに基づいて、音源と人物との距離を算出する第１算出部と、再生部によって人物の聴覚に音を与える第１タイミングと提示部によって人物の視覚に刺激を与える第２タイミングとの間の時間差を、第１算出部で算出された距離に応じて変更する制御を行う制御部とを有する。【選択図】      図１
2015023354.tif 000002
【特許請求の範囲】
【請求項１】
音源から発せられる音を示す音響信号を受け、受けた音響信号から再生した音を人物の聴覚に与える再生部と、
前記音響信号で示される音の強さの変化に応じて変化する強度を持つ刺激を前記人物の視覚に与える提示部と、
前記音源の位置を示す情報と前記人物の位置を示す情報とに基づいて、前記音源と前記人物との距離を算出する第１算出部と、
前記再生部によって前記人物の聴覚に音を与える第１タイミングと前記提示部によって前記人物の視覚に前記刺激を与える第２タイミングとの間の時間差を、前記第１算出部で算出された距離に応じて変更する制御を行う制御部と、
を備えたことを特徴とする音響再生装置。
【請求項２】
請求項１に記載の音響再生装置において、
前記制御部は、
前記人物の動きを示す情報に基づいて、前記人物が前記音源に注目しているか否かを判定する判定部を有し、
前記判定部により、前記人物が前記音源に注目しているとされた場合に、前記音源と前記人物との距離に応じて設定される値よりも、前記時間差を小さくする制御を行う
ことを特徴とする音響再生装置。
【請求項３】
請求項１または請求項２に記載の音響再生装置において、
前記音源の位置を示す情報と前記人物の位置を示す情報とに基づいて、前記人物の位置を基準とする前記音源の方向を求める第２算出部を有し、
前記提示部は、前記第２算出部によって求められた前記音源の方向から前記人物の視覚に前記刺激を与え、
前記再生部は、前記第２算出部によって求められた前記音源の方向に音像定位された音響信号から再生した音を前記人物の聴覚に与える
ことを特徴とする音響再生装置。
【請求項４】
請求項１乃至請求項３に記載の音響再生装置において、
前記制御部は、
前記第２タイミングよりも第１タイミングを遅れさせる方向に前記時間差を設定する
ことを特徴とする音響再生装置。
【請求項５】
音源から発せられる音を示す音響信号を受け、
前記音響信号で示される音の強さに基づいて、人物の視覚に提示する刺激の強度を決定し、
前記音源の位置を示す情報と前記人物の位置を示す情報とに基づいて、前記音源と前記人物との距離を算出し、
前記音響信号から再生される音を前記人物の聴覚に与える第１タイミングと前記決定された強度を持つ刺激を前記人物の視覚に与える第２タイミングとの間の時間差を、前記算出された距離に応じて変更する制御を行う、
処理をコンピュータに実行させることを特徴とする音響再生プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本件開示は、音響再生装置及び音響再生プログラムに関する。
【背景技術】
【０００２】
ヘッドホンなどで音響を再生する際に、人物の左右の耳に対応する頭部伝達関数(ＨＲＴＦ：Head Related Transfer Function)を用いた音像定位処理を施すことで、音源が人物に対して所定の方向にあることを知覚させる技術がある。
【０００３】
音像定位処理は、例えば、３次元空間を表現する映像に含まれる物体の動きとともに、動きに伴う音を、人物と物体との間の仮想的な距離に応じた遅延で聴取させることで臨場感の高い映像を与える技術などへの適用が提案されている(例えば、特許文献１参照)。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−１６０５４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、特許文献１の技術は、写実的な画像で表される物体の動きを人物に見せるタイミングと当該物体の動きに伴う音響を人物に聴かせるタイミングとのズレによって、物体までの距離感を人物に知覚させている。このため、例えば、人物に提示している映像によって表現された３次元空間の外側にある物体が音源である場合、つまり、人物の視界に音源またはその画像が含まれていない場合に、特許文献１の技術により人物に音源までの距離感を知覚させることは困難である。
【０００６】
本件開示の音響再生装置及び音響再生プログラムは、人物の視界に音源が含まれているか否かにかかわらず、音源までの距離を人物に直感的に認識させる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
一つの観点によれば、音響再生装置は、音源から発せられる音を示す音響信号を受け、受けた音響信号から再生した音を人物の聴覚に与える再生部と、音響信号で示される音の強さの変化に応じて変化する強度を持つ刺激を人物の視覚に与える提示部と、音源の位置を示す情報と人物の位置を示す情報とに基づいて、音源と人物との距離を算出する第１算出部と、再生部によって人物の聴覚に音を与える第１タイミングと提示部によって人物の視覚に刺激を与える第２タイミングとの間の時間差を、第１算出部で算出された距離に応じて変更する制御を行う制御部とを有する。
【０００８】
別の観点によれば、音響再生プログラムは、音源から発せられる音を示す音響信号を受け、音響信号で示される音の強さに基づいて、人物の視覚に提示する刺激の強度を決定し、音源の位置を示す情報と人物の位置を示す情報とに基づいて、音源と人物との距離を算出し、音響信号から再生される音を人物の聴覚に与える第１タイミングと決定された強度を持つ刺激を人物の視覚に与える第２タイミングとの間の時間差を、算出された距離に応じて変更する制御を行う、処理をコンピュータに実行させる。
【発明の効果】
【０００９】
本件開示の音響再生装置及び音響再生プログラムは、人物の視界に音源が含まれているか否かにかかわらず、音源までの距離を人物に直感的に認識させることができる。
【図面の簡単な説明】
【００１０】
【図１】音響再生装置の一実施形態を示す図である。
【図２】図１に示した提示部によって与える視覚刺激の例を示す図である。
【図３】図１に示した音源と人物との位置関係の例を示す図である。
【図４】図３に示した音源から発せられた音の強さの変化と視覚刺激として表示される図形などの輝度の変化及び再生される音の強さの変化との関係を示す図である。
【図５】図１に示した音響再生装置の動作を示す図である。
【図６】音声再生装置の別実施形態を示す図である。
【図７】図６に示した遅延部で設定される遅延時間の例を示す図である。
【図８】図６に示した提示部の別実施形態を示す図である。
【図９】図６に示した音響再生装置を適用した案内システムの例を示す図である。
【図１０】音響再生装置のハードウェア構成の一例を示す図である。
【図１１】図１０に示した音響再生装置の動作を示す図である。
【図１２】注目されている音源を判別する処理の例を示す図である。
【図１３】音及び視覚刺激を与える処理の例を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面に基づいて、実施形態を説明する。
【００１２】
図１は、音響再生装置の一実施形態を示す。
【００１３】
図１に示した音響再生装置１０は、例えば、眼鏡型の表示画面１１１ａ，１１１ｂを有する提示部１１と、ヘッドホンなどの再生部１２と、第１算出部１３と、制御部１４とを含んでいる。
【００１４】
提示部１１は、人物Ｐ１の頭部に装着され、表示画面１１１ａ，１１１ｂに表示させた画像を人物Ｐ１の視覚に与える。提示部１１は、左右の目に対応する表示画面１１１ａ，１１１ｂを有する眼鏡型に限らず、両眼を覆う形状の一つの表示画面を有していてもよい。なお、表示画面１１１ａ，１１１ｂは、表示画面１１１ａ，１１１ｂを通して外部の環境が観察可能な程度の透明度を持っていることが望ましい。また、提示部１１は、表示画面１１１ａ，１１１ｂの代わりに、人物Ｐ１の視野内に配置された少なくとも一つの発光素子を含んでいてもよい。なお、発光素子を含む提示部１１の例については、図８を用いて後述する。
【００１５】
また、再生部１２は、人物Ｐ１の頭部に装着された状態で、人物Ｐ１の左右の耳にそれぞれ対向するスピーカを内蔵しており、内蔵したスピーカによって出力される音響を人物Ｐ１の聴覚に与える。
【００１６】
図１に示した音源Ｓは、例えば、壁ＷＬなどにより、人物Ｐ１から隔てられた場所、あるいは、音源Ｓから発せられる音を人物Ｐ１が聞き取れる距離よりも人物Ｐ１から離れた場所に設置されている。
【００１７】
音源Ｓから発せられた音は、例えば、音源Ｓに近接した位置に配置されたマイクロホンＭＣにより、音響信号に変換される。また、マイクロホンＭＣによる変換で得られた音響信号は、例えば、サーバ装置ＳＶに搭載された無線通信機能を用いて音響信号を示す情報を送信することで、音源Ｓから離れた場所にいる人物Ｐ１に装着された音響再生装置１０の制御部１４に渡される。つまり、音響再生装置１０は、人物Ｐ１から離れた場所にある音源Ｓによって発せされる音を、マイクロホンＭＣで得られた音響信号に基づいて再生し、再生部１２により、人物Ｐ１の聴覚に与える。なお、サーバ装置ＳＶは、人物Ｐ１によって携帯されているスマートホンやタブレット型端末などの携帯端末ＵＥに搭載された無線通信機能を利用することで、音響信号を携帯端末ＵＥに渡し、携帯端末ＵＥ経由で音響信号を音響再生装置１０に渡してもよい。
【００１８】
また、第１算出部１３は、例えば、人物Ｐ１によって携帯されているスマートホンやタブレット型端末などの携帯端末ＵＥから、携帯端末ＵＥに含まれているＧＰＳ(Global Positioning System)センサＧｐなどで得られた人物Ｐ１の位置を示す位置情報Ｐｄｐを受ける。人物Ｐ１の位置を示す位置情報Ｐｄｐは、携帯端末ＵＥに搭載されたＧＰＳセンサＧｐで得られた位置情報に限られない。例えば、人物Ｐ１の位置を示す位置情報Ｐｄｐは、携帯端末ＵＥに内蔵された加速度センサとジャイロセンサとで得られた情報に基づいて人物Ｐ１の動きを追跡することで得られる位置情報でもよい。また、人物Ｐ１の位置を示す位置情報Ｐｄｐは、複数の電波源から携帯端末ＵＥが受信した信号の強さに基づいて人物Ｐ１の位置を測定することで得られる位置情報でもよい。なお、第１算出部１３は、携帯端末ＵＥに搭載されたＧＰＳセンサＧｐから位置情報Ｐｄｐを受ける代わりに、例えば、提示部１１あるいは再生部１２とともに人物Ｐ１の頭部に装着された別のＧＰＳセンサなどで得られた位置情報を受けてもよい。
【００１９】
また、第１算出部１３は、例えば、サーバ装置ＳＶから、サーバ装置ＳＶに搭載された無線通信機能などを用いて送信された情報を受信することで、音源Ｓについて予め登録された位置を示す位置情報Ｐｄｓを受ける。なお、位置情報Ｐｄｓは、第１算出部１３の内部に設けられたメモリに予め保持されていてもよい。
【００２０】
第１算出部１３は、受けた位置情報Ｐｄｐ，Ｐｄｓに基づいて、人物Ｐ１と音源Ｓとの間の距離Ｌ１を算出し、算出した距離Ｌ１を示す情報を制御部１４に渡す。
【００２１】
制御部１４は、サーバ装置ＳＶから受けた音響信号に基づいて、音源Ｓから発せられる音の強さを示す音圧を算出する。制御部１４は、例えば、マイクロホンＭＣから受けた音響信号の振幅をサンプリングすることで得られた電圧値から、数ミリ秒〜十数ミリ秒に設定された期間毎に、音圧の大きさを示す振幅の実効値を算出する。例えば、制御部１４で算出される実効値Ｖは、平均化を行う期間内のサンプリングで得られたＮ個(Ｎは正の整数)の電圧値Ｖ(ｊ)（ｊはサンプル数Ｎ以下の正の整数）を用いて、式(１)で示される。
【００２２】
【数１】
2015023354.tif 000003
また、制御部１４は、式(１)を用いて算出した実効値Ｖを用いて、提示部１１の表示画面１１１ａ，１１１ｂの少なくとも一方に、音響信号で示される音源Ｓからの音の強さに応じて明るさが変化する画像を表示させる画像データを生成する。制御部１４で生成された画像データに基づいて表示画面１１１ａ，１１１ｂの少なくとも一方に表示された画像は、音響信号で示される音の強さに応じた強度を持ち、人物Ｐ１の視覚に与えられる刺激の一例である。また、表示画面１１１ａ，１１１ｂの少なくとも一方に表示された画像の明るさは、人物Ｐ１の視覚に与える刺激の強度の一例である。以下の説明において、「視覚に与える刺激」は、視覚刺激と称される場合がある。
【００２３】
制御部１４は、例えば、円や矩形、矢印などの図形や文字列あるいは文字列と図形とを組み合わせたマークを表す画像データの輝度値を実効値Ｖに応じて変化させることで、提示部１１によって与える視覚刺激の強度を変化させる。また、制御部１４は、提示部１１によって視覚刺激として人物Ｐ１に与える図形などの色の濃度や大きさを実効値Ｖに応じて変化させることで、人物Ｐ１に与える視覚刺激の強度を変化させてもよい。以下では、提示部１１によって人物Ｐ１の視覚に与える刺激の強度を制御する手法の一例として、視覚刺激として表示画面１１１ａ，１１１ｂに表示する図形などの明るさを制御部１４によって制御する場合が説明される。
【００２４】
図２(Ａ)，(Ｂ)，(Ｃ)は、図１に示した提示部１１によって人物Ｐ１の視覚に与える刺激の例を示す。なお、図２に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。図２(Ａ)，(Ｂ)，(Ｃ)は、提示部１１を装着した人物Ｐ１から見た表示画面１１１ａ，１１１ｂの例を示す。
【００２５】
図２(Ａ)は、提示部１１に含まれる２つの表示画面１１１ａ，１１１ｂの一方（この例では表示画面１１１ｂ）に、図１に示した音源Ｓに対応する視覚刺激として、図形（例えば、円形１１２ｃ）を図１に示した制御部１４により表示させる例を示す。
【００２６】
制御部１４は、例えば、図２(Ａ)に示した円形１１２ｃの輝度を、式(１)で求めた実効値Ｖの変化に応じて変化させる。円形１１２ｃの輝度は、円形１１２ｃを表示させる画像データの輝度値を変化させることで変化する。これにより、制御部１４は、音源Ｓから発せられる音の強さの変化を、視覚刺激として人物Ｐ１に与える円形１１２ｃの輝度の変化に反映させる。
【００２７】
図２(Ｂ)は、提示部１１に含まれる２つの表示画面１１１ａ，１１１ｂの一方（この例では表示画面１１１ｂ）に、図１に示した音源Ｓに対応する視覚刺激として、文字列「Ｆｊ」を示すテキスト１１２ｔを制御部１４により表示させる例を示す。
【００２８】
制御部１４は、例えば、図２(Ｂ)に示したテキスト１１２ｔの輝度を、式(１)で求めた実効値Ｖの変化に応じて変化させる。テキスト１１２ｔの輝度は、テキスト１１２ｔを表示させる画像データの輝度値を変化させることで変化する。これにより、制御部１４は、音源Ｓから発せられる音の強さの変化を、視覚刺激として人物Ｐ１に与えるテキスト１１２ｔの輝度の変化に反映させる。
【００２９】
図２(Ｃ)は、提示部１１に含まれる２つの表示画面１１１ａ，１１１ｂの一方（この例では表示画面１１１ｂ）に、図１に示した音源Ｓに対応する視覚刺激として、文字列と図形とを組み合わせたマーク１１２ｍを制御部１４により表示させる例を示す。
【００３０】
図２(Ｃ)に示したマーク１１２ｍは、文字列「Ｆｊ」を表すテキスト１１２ｔと、テキスト１１２ｔの背景１１２ｂと、テキスト１１２ｔ及び背景１１２ｂを囲む枠１１２ｆとを含んでいる。
【００３１】
図１に示した制御部１４は、図２(Ｃ)に示したテキスト１１２ｔ、背景１１２ｂ、枠１１２ｆのいずれかの輝度を、式(１)で求めた実効値Ｖの変化に応じて変化させることで、音源Ｓから発せられる音の強さの変化をマーク１１２ｍの明るさに反映させる。また、制御部１４は、図２(Ｃ)に示した視覚刺激であるマーク１１２ｍに含まれる要素から選んだ２つ以上の要素の輝度を、式(１)で求めた実効値Ｖに応じて変化させることで、音源Ｓから発せられる音の強さの変化を視覚刺激の明るさに反映させてもよい。マーク１１２ｍの要素であるテキスト１１２ｔ、背景１１２ｂ、枠１１２ｆのそれぞれの輝度は、テキスト１１２ｔ、背景１１２ｂ、枠１１２ｆのそれぞれを表示させる画像データの輝度値を変化させることで変化する。例えば、制御部１４は、式(１)で求めた実効値Ｖに応じて変化する輝度値を用いて、テキスト１１２ｔと枠１１２ｆとをそれぞれ表す画像データを生成してもよい。
【００３２】
なお、制御部１４は、式(１)で求められる実効値Ｖの変化に応じて、提示部１１によって表示が可能な範囲で音源Ｓに対応する視覚刺激の明るさを変化させることが望ましい。例えば、制御部１４は、音源Ｓから発せられる音の音圧として想定される最大の音圧に対応する実効値Ｖｍと、提示部１１によって表示が可能な最大の輝度Ｂｍとを用いて、式(２)により、実効値Ｖに対応する輝度値Ｂを求めてもよい。
Ｂ＝Ｂｍ×Ｖ／Ｖｍ      ・・・（２）
また、制御部１４は、２つの表示画面１１１ａ，１１１ｂのどちらに音源Ｓに対応する視覚刺激を表示させる場合でも、人物Ｐ１の視界を妨げない位置に表示させることが望ましい。
【００３３】
また、制御部１４は、第１算出部１３から受けた距離Ｌ１を示す情報に基づいて、距離Ｌ１を音が伝搬する時間を求める。また、制御部１４は、サーバ装置ＳＶから受けた音響信号に、求めた時間に相当する遅延を与え、遅延を与えた音響信号を再生部１２に渡す。これにより、制御部１４は、提示部１１によって人物Ｐ１に与えられる視覚刺激の強度が音響信号で示される音の強さに応じて変化するタイミングから、距離Ｌ１を音が伝播する時間を遅れさせたタイミングで、再生部１２に音響信号で示される音を再生させる。即ち、制御部１４は、距離Ｌ１が大きいほど大きい遅延時間を再生部１２に渡す音響信号に与えることで、再生部１２により人物Ｐ１に音を与える第１タイミングと、提示部１１により人物Ｐ１に視覚刺激を与える第２タイミングとの間の時間差を大きく設定する。音響信号を遅延させて再生部１２に渡す制御は、再生部１２で再生される音の強さが変化する第１タイミングと提示部１１により人物Ｐ１に与える視覚刺激の明るさが音の強さの変化に応じて変化する第２タイミングとに時間差を設定する制御の一例である。
【００３４】
ここで、図１に示した提示部１１により人物Ｐ１の視覚に与える刺激は、音源Ｓとなる物体を表す画像ではなく、音源Ｓから発せられる音の強さに応じた強度を持つ刺激である。また、提示部１１により人物Ｐ１の視覚に与える刺激の強度は、再生部１２によって人物Ｐ１の聴覚に与えられる音の強さの変化とともに、音源Ｓから発せられる同一の音の強さの変化に応じて変化する。このため、提示部１１から与えられる視覚への刺激と、再生部１２によって再生される音とは、人物Ｐ１により、対応付けて認識される。そして、例えば、人物Ｐ１の視覚に与える刺激が変化する第２タイミングと、人物Ｐ１の聴覚に与える音が変化する第１タイミングとの間の時間差を大きくするほど、再生された音を発した音源Ｓまでの距離が大きい印象を人物Ｐ１に与えることができる。すなわち、図１に示した音響再生装置１０は、人物Ｐ１の視覚への刺激と聴覚への刺激とを時間差を持たせて与えることにより、音源Ｓとなる物体を表す画像を表示する機能を用いずに、人物Ｐ１に、音源Ｓまでの距離Ｌ１を認識させることができる。つまり、図１に示した音響再生装置１０は、人物Ｐ１の視界に音源Ｓとなる物体を表す画像が含まれていない場合であっても、人物Ｐ１による音源Ｓまでの距離Ｌ１の認識を支援することができる。
【００３５】
なお、制御部１４により、第１タイミングと第２タイミングとの間に時間差を設定する手法は、音響信号を遅延させて再生部１２に渡すことで、第１タイミングを第２タイミングに対して遅れさせる制御に限られない。例えば、制御部１４は、再生部１２によって音響信号から音を再生する第１タイミングに対して、提示部１１により、音響信号で示される音の強さに応じた強度を持つ刺激を人物Ｐ１の視覚に与える第２タイミングを遅れさせてもよい。
【００３６】
また、人物Ｐ１の移動に伴って、図１に示した音響再生装置１０は、音響信号で示される音源Ｓからの音とともに、人物Ｐ１と音源Ｓとの距離の変化に応じて調整された時間差で、音響信号から生成された視覚刺激を人物Ｐ１に与える。したがって、図１に示した再生部１２及び提示部１１を装着した状態で移動する人物Ｐ１は、再生部１２で再生される音響と提示部１１によって人物Ｐ１の視覚に与えられる刺激との時間差の変化に基づいて、音源Ｓまでの距離の変化を認識することが可能である。
【００３７】
図３は、図１に示した音源Ｓと人物Ｐ１との位置関係の例を示す。なお、図３は、展示会場ＥＨ内を移動中の人物Ｐ１に装着された音響再生装置１０により、展示物ＥＸ１及び人物Ｐ２，Ｐ３，Ｐ４を含む音源Ｓから発せられる音(例えば、音声)を聴取させる例を示す。
【００３８】
図３に示した音源Ｓは、人物Ｐ１とは壁ＷＬによって隔てられた位置にある。すなわち、図３に示した人物Ｐ１と音源Ｓとの位置関係は、人物Ｐ１が音源Ｓを直接に視認することが困難な位置関係の一例である。
【００３９】
また、図３の例において、音源Ｓからの音を示す音響信号は、展示物ＥＸ１に近接して配置されたマイクロホンＭＣからサーバ装置ＳＶに送られ、更に、サーバ装置ＳＶからアクセスポイントＡＰ及び携帯端末ＵＥを介して音響再生装置１０に渡される。サーバ装置ＳＶは、マイクロホンＭＣから受けた音響信号を符号化することで、音源Ｓから発せられる音を示す符号化された音情報を生成し、生成した音情報を、アクセスポイントＡＰを介して携帯端末ＵＥに渡してもよい。また、携帯端末ＵＥは、符号化された音情報を受けた場合に、受けた音情報を復号することで音源Ｓからの音を示す音響信号を復元し、復元した音響信号を音響再生装置１０に含まれる図１に示した制御部１４に渡す。
【００４０】
制御部１４は、音源Ｓからの音を示す音響信号に基づいて、図１に示した提示部１１に音源Ｓに対応して明るさが変化する図形などの視覚刺激を表示させるとともに、距離Ｌ１に応じた時間差で図１に示した再生部１２に音源Ｓからの音を再生させる。
【００４１】
図４は、図３に示した音源Ｓから発せられた音の強さの変化と視覚刺激として表示される図形などの輝度の変化及び再生される音の強さの変化との関係を示す。図４において、横軸ｔは時間の経過を示す。
【００４２】
図４(Ａ)は、音源Ｓから発せされる音の音圧の変化の例を示す。図４(Ａ)の縦軸ＳＰは、音圧を示す。
【００４３】
図４(Ｂ)は、音源Ｓに対応する視覚刺激として、図１に示した提示部１１の表示画面１１１ａ，１１１ｂの少なくとも一方に表示された図形などの画像の輝度の変化の例を示す。図４(Ｂ)の縦軸Ｂｒは、音源Ｓに対応する視覚刺激として表示された画像の輝度値を示す。
【００４４】
図４(Ｃ)は、図１に示した再生部１２によって再生される音の音圧の変化の例を示す。図４(Ｃ)の縦軸ＳＰは、音圧を示す。なお、図４(Ｃ)は、図１に示した制御部１４により、音源Ｓからの音を示す音響信号に対して、人物Ｐ１と音源Ｓとの距離に応じた遅延が付加された後に再生部１２に渡された音響信号から再生された音の音圧の変化を示している。
【００４５】
例えば、図４(Ａ)，(Ｂ)，(Ｃ)に示した時刻Ｔ０において、図３に示した人物Ｐ１が音源Ｓから距離Ｌ１だけ離れている場合に、時刻Ｔ０における音源Ｓからの音の音圧の変化は、図４(Ｃ)に示すように、距離Ｌ１に対応する時間ＤＬ１だけ遅れて再生される。一方、図４(Ａ)，(Ｂ)の比較から分かるように、提示部１１により、音源Ｓに対応する視覚刺激として表示される画像の輝度は、音源Ｓからの音の音圧の変化とほぼ同期して変化する。
【００４６】
その後、図３に示した人物Ｐ１が展示会場ＥＨ内で移動し、図４(Ａ)，(Ｂ)，(Ｃ)に示した時刻Ｔ１において、人物Ｐ１の位置が図３に破線で示した位置Ｐ１’に変化した場合に、図１に示した再生部１２で再生される音のタイミングは、次のように変化する。位置Ｐ１’と音源Ｓとの距離Ｌ１’が距離Ｌ１よりも短い場合に、時刻Ｔ１における音源Ｓからの音の音圧の変化は、図４(Ｃ)に示すように、時間ＤＬ１よりも短い時間ＤＬ１’だけ遅れて再生される。
【００４７】
図１に示した制御部１４は、例えば、音源Ｓから人物Ｐ１までの距離Ｌ１と、空気中の音速とを用いて、式(３)により、第１タイミングと第２タイミングとの間に設定する時間差を求めてもよい。なお、式(３)において、符号ＤＬは、第１タイミングと第２タイミングとの間の時間差を示し、符号γｓは空気中の音速を示す。また、式(３)において、符号αは、例えば、１以上の実数に設定される係数を示す。
ＤＬ＝α×Ｌ１／γｓ      ・・・(３)
例えば、制御部１４は、係数αを含む式(３)を用いて算出した時間差ＤＬを遅延させた音響信号を再生部１２に渡す。これにより、聴覚へ刺激を与える第１タイミングと視覚へ刺激を与える第２タイミングとの間の時間差を、距離Ｌ１と距離Ｌ１’との差以上に強調することができる。例えば、人物Ｐ１と音源Ｓとの距離Ｌ１から距離Ｌ１’への変化に応じて、制御部１４によって第１タイミングと第２タイミングとの間に設定される時間差ＤＬは、距離Ｌ１、Ｌ１’の変化分を音が伝播する時間よりも大きく変化させられる。これにより、式(３)において係数αの値を数値「１」として時間差ＤＬを求める場合に比べて、人物Ｐ１は、視覚への刺激と聴覚への刺激との間の時間差ＤＬの変化に基づいて、音源Ｓまでの距離の変化を認識しやすくなる。なお、式(３)に含まれる係数αは、例えば、音源Ｓから人物Ｐ１までの距離Ｌ１が想定される最大値となった場合に、時間差ＤＬの値が数秒程度となる値に設定されることが望ましい。例えば、人物Ｐ１が図３に示した展示会場ＥＨの内部を移動する場合に、係数αは、展示会場ＥＨを示す矩形の対角線の長さで音速γｓを除算した値に、時間差の上限を示す時間(例えば、２秒)を乗じた値に設定される。
【００４８】
図５は、図１に示した音響再生装置１０の動作を示す。図５に示したステップＳ３０１〜ステップＳ３０５の処理は、図１に示した音響再生装置１０の動作を示すとともに、音響再生プログラムの例を示す。例えば、図５に示す処理は、音響再生装置１０に搭載されたプロセッサが音響再生プログラムを実行することで実現される。なお、図５に示す処理は、音響再生装置１０に搭載されるハードウェアによって実行されてもよい。すなわち、図５は、音響再生プログラムの一実施形態を示す。
【００４９】
ステップＳ３０１において、図１に示した制御部１４は、図１に示した音源Ｓから発せされる音を示す音響信号を受ける。制御部１４は、図１に示したマイクロホンＭＣにより生成された音響信号をサーバ装置ＳＶから受けてもよいし、図３に示したように、サーバ装置ＳＶ及び携帯端末ＵＥを介して受けてもよい。また、マイクロホンＭＣに無線通信機能が搭載されている場合は、マイクロホンＭＣの無線通信機能により音響信号を音響再生装置１０に送信することで、音響再生装置１０に音響信号を渡してもよい。
【００５０】
ステップＳ３０２において、制御部１４は、受けた音響信号に基づいて、音響信号で示される音の強さに応じて、人物Ｐ１に与える視覚刺激の強度を決定する。制御部１４は、例えば、図２(Ａ)，(Ｂ)，(Ｃ)を用いて説明したように、図形や文字あるいは図形と文字とを組み合わせたマークを表す画像の少なくとも一部の明るさを示す輝度値を、音響信号で示される音の強さに応じて設定する。
【００５１】
ステップＳ３０３において、図１に示した第１算出部１３は、人物Ｐ１の位置を示す位置情報Ｐｄｐと音源Ｓの位置を示す位置情報Ｐｄｓとを受け、受けた位置情報Ｐｄｓ，Ｐｄｐに基づいて、人物Ｐ１と音源Ｓとの間の距離を算出する。
【００５２】
ステップＳ３０４において、制御部１４は、算出された距離に基づいて、例えば、距離に比例する大きさの時間差で、再生部１２によって音響信号で示される音を再生させるとともに、提示部１１によって音響信号で示される音に対応する視覚刺激を与える。
【００５３】
ステップＳ３０５において、制御部１４は、例えば、人物Ｐ１の操作などにより、音源Ｓから発せられた音を示す音響信号に基づいて、音響信号で示される音を再生する処理である音響再生処理の終了が指示されたか否かを判定する。
【００５４】
音響再生処理の終了が指示されていない場合に(ステップＳ３０５の否定判定(ＮＯ))、制御部１４はステップＳ３０１の処理に戻り、音源Ｓから発せられる音から新たに生成される音響信号について、ステップＳ３０１〜ステップＳ３０５の処理を繰り返す。
【００５５】
一方、音響再生処理の終了が指示された場合に(ステップＳ３０５の肯定判定(ＹＥＳ))、制御部１４は、音声を再生する処理を終了する。
【００５６】
図１に示した音響再生装置１０は、例えば、数ミリ秒〜十数ミリ秒毎に、図５に示したステップＳ３０１〜ステップＳ３０５の処理を繰り返し実行することが望ましい。これにより、音響再生装置１０は、人物Ｐ１の移動に伴う音源Ｓまでの距離の変化を、聴覚へ刺激を与える第１タイミングと視覚へ刺激を与える第２タイミングとの間の時間差の変化に反映させ、人物Ｐ１による音源Ｓまでの距離の把握を支援することができる。
【００５７】
なお、図５に示したステップＳ３０１及びステップＳ３０２の処理とステップＳ３０３の処理とは、図５に示したフローチャートとは逆の順序で実行されてもよい。また、ステップＳ３０１及びステップＳ３０２の処理とステップＳ３０３の処理とは、並行して実行されてもよい。
【００５８】
図６は、音声再生装置１０の別実施形態を示す。なお、図６に示した構成要素のうち、図１に示した構成要素と同等のものは、同一の符号で示され、その説明が省略される場合がある。
【００５９】
図６に示した音響再生装置１０は、図１に示した提示部１１、再生部１２、第１算出部１３及び制御部１４に加えて、メモリ１３１と第２算出部１５とを含んでいる。
【００６０】
メモリ１３１は、例えば、音響再生装置１０の外部にあるサーバ装置ＳＶから、サーバ装置ＳＶに音源Ｓについて予め登録された位置を示す位置情報Ｐｄｓを受け、受けた位置情報Ｐｄｓを保持する。また、メモリ１３１は、保持した位置情報Ｐｄｓを第１算出部１３と第２算出部１５との双方に渡す。
【００６１】
第２算出部１５は、人物Ｐ１が携帯している携帯端末ＵＥなどから、人物Ｐ１の位置を示す位置情報Ｐｄｐを受けるとともに、例えば、人物Ｐ１の頭部に装着されたジャイロセンサＧｙｒから、人物Ｐ１の頭部の姿勢を示す角度情報Ｐｄａを受ける。また、第２算出部１５は、受けた位置情報Ｐｄｓ、位置情報Ｐｄｐ及び角度情報Ｐｄａに基づいて、人物Ｐ１の頭部の向きを基準とした音源Ｓの方向を算出する。例えば、第２算出部１５は、位置情報Ｐｄｓで示される音源Ｓの位置と位置情報Ｐｄｐで示される人物Ｐ１の位置とを結ぶ線分と、角度情報Ｐｄａで示される人物Ｐ１の頭部の向きとがなす角を、音源Ｓの方向として算出する。
【００６２】
なお、第２算出部１５に渡される角度情報Ｐｄａは、ジャイロセンサＧｙｒによって検知された情報に限らず、人物Ｐ１の頭部の姿勢を示す情報であればよい。例えば、第２算出部１５は、人物Ｐ１の頭部の向きの変化を示す角速度を受けてもよい。角度情報Ｐｄａとして人物Ｐ１の頭部の向きの変化を示す角速度を受けた場合に、第２算出部１５は、受けた角速度から人物Ｐ１の頭部の向きを算出する処理を行い、算出した頭部の向きに基づいて、人物Ｐ１の頭部の向きを基準とした音源Ｓの方向を算出する。
【００６３】
また、図６に示した制御部１４は、生成部１４１と、遅延部１４２と、変換部１４３と、判定部１４４と、調整部１４５とを含んでいる。マイクロホンＭＣにより、音源Ｓから発せられる音から生成された音響信号は、サーバ装置ＳＶに搭載された無線通信機能を介して、生成部１４１と遅延部１４２との双方に渡されている。また、第１算出部１３によって算出された人物Ｐ１と音源Ｓとの距離は、調整部１４５に渡される。また、第２算出部１５によって算出された音源Ｓの方向は、生成部１４１と判定部１４４と変換部１４３とに渡される。
【００６４】
生成部１４１は、マイクロホンＭＣから受けた音響信号をサンプリングすることで得られた電圧値に対して式(１)を用いることにより、数ミリ秒〜十数ミリ秒に設定される所定の期間ごとに、音響信号で示される音の強さを示す実効値を求める。また、生成部１４１は、求めた実効値に基づいて、例えば、式(２)により、人物Ｐ１の視覚に与える刺激の強さを示す輝度値を算出する。また、生成部１４１は、視覚刺激として、提示部１１により、人物Ｐ１の視覚に与える視覚刺激として、表示画面１１１ａ，１１１ｂに図２(Ａ)，(Ｂ)，(Ｃ)に示した図形などを表示するための画像データの輝度値として、算出した輝度値を設定する。
【００６５】
また、生成部１４１は、第２算出部１５から渡された音源Ｓの方向を示す情報に基づいて、例えば、音源Ｓが人物Ｐ１の右側にあるか左側にあるかを判断し、判断結果に応じて、表示画面１１１ａ，１１１ｂのいずれかに視覚刺激となる図形等を表示させてもよい。例えば、生成部１４１は、音源Ｓが人物Ｐ１の右側にあると判断した場合に、表示画面１１１ａに視覚刺激となる図形等を表示する画像データを生成する。一方、音源Ｓが人物Ｐ１の左側にあると判断した場合に、生成部１４１は、表示画面１１１ｂに視覚刺激となる図形等を表示する画像データを生成する。
【００６６】
また、生成部１４１は、音源Ｓの方向を示す情報に基づいて、音源Ｓの方向を示す角度に対応する表示画面１１１ａ，１１１ｂにおける位置に、視覚刺激を示す図形などを表示させてもよい。例えば、生成部１４１は、人物Ｐ１の頭部の正面から反時計回りに測った所定の角度の範囲を表示画面１１１ａの左右方向の長さとを対応付け、時計回りに図った所定の角度の範囲を表示画面１１１ｂの左右方向の長さとを対応付けてもよい。そして、生成部１４１は、第２算出部１５で算出された角度に対応する表示画面１１１ａ、１１１ｂのいずれかの位置に、視覚刺激となる図形等を表示する画像データを生成する。
【００６７】
生成部１４１によって生成された画像データは、提示部１１に渡され、提示部１１に含まれる表示画面１１１ａ，１１１ｂによる図形やマークなどの表示に用いられる。そして、表示画面１１１ａ，１１１ｂに表示された図形やマークなどは、図形やマークなどが表示された位置に対応する方向からの刺激として人物Ｐ１の視覚に与えられる。したがって、人物Ｐ１は、視野内に表示された図形やマークなどの位置に基づいて、音源Ｓのおおよその方向を認識することができる。
【００６８】
判定部１４４は、例えば、第２算出部１５によって算出された音源Ｓの方向が、所定の期間以上にわたって人物Ｐ１の頭部の正面を示す方向を示す場合に、人物Ｐ１が音源Ｓに注目していると判定する。ここで、第２算出部１５で得られる音源Ｓの方向は、人物Ｐ１の頭部の向きの変化を反映する情報であり、人物Ｐ１の動きを示す情報の一例である。すなわち、判定部１４４は、人物Ｐ１の動きを示す情報に基づいて、人物Ｐ１が音源Ｓに注目しているか否かを判定する。
【００６９】
調整部１４５は、判定部１４４により、人物Ｐ１が音源Ｓに注目していると判定された場合に、第１算出部１３によって算出された音源Ｓと人物Ｐ１との距離を短縮する調整を行い、調整後の距離を遅延部１４２に渡す。
【００７０】
調整部１４５は、例えば、音源Ｓと人物Ｐ１との距離と、人物Ｐ１が音源Ｓに注目していることを示す判定結果が判定部１４４から得られている時間とに基づいて、式(４)により、調整された距離を算出する。なお、式(４)において、符号Ｌ１ａは、音源Ｓと人物Ｐ１との間の調整された距離を示し、符号Ｌ１は、第１算出部１３によって算出された距離を示す。また、式(４)において、符号ｔｆは、判定部１４４により、人物Ｐ１が音源Ｓに注目しているとされた期間の長さ、即ち注目時間を示す。また、式(４)において、符号Ｒ１は、注目時間ｔｆに応じて、調整された距離Ｌ１ａの短縮される傾向の大きさを示す係数である。また、式(４)において、関数ｍａｘ(Ａ，Ｂ)は、数Ａと数Ｂとのうち大きい方を選択する関数である。
Ｌ１ａ＝ｍａｘ（０，Ｌ１−ｔｆ×Ｒ１）      ・・・（４）
また、調整部１４５は、調整された距離Ｌ１ａの算出に、式(４)に代えて、式(５)を用いてもよい。なお、式(５)において、式(４)と同等の要素は式(４)と同じ符号で示される。また、式(５)において、符号Ｒ２は、調整された距離Ｌ１ａが値０となるまでの時間を示す係数である。
Ｌ１ａ＝ｍａｘ（０，Ｌ１（１−ｔｆ／Ｒ２））    ・・・（５）
一方、調整部１４５は、判定部１４４により、人物Ｐ１が音源Ｓに注目していないと判定された場合に、第１算出部１３によって算出された音源Ｓと人物Ｐ１との距離をそのまま遅延部１４２に渡す。
【００７１】
遅延部１４２は、調整部１４５から渡された調整前あるいは調整後の音源Ｓと人物Ｐ１との距離に基づいて、例えば、式(３)を用いることで、音響信号に基づき、音源Ｓからの音を再生する第１タイミングと視覚刺激を与える第２タイミングとの時間差を算出する。また、遅延部１４２は、サーバ装置ＳＶから渡される音響信号に、算出した時間差に相当する遅延を与え、遅延させた音響信号を変換部１４３に渡す。
【００７２】
変換部１４３は、例えば、第２算出部１５によって求められた音源Ｓの方向に対応する頭部伝達関数を用いた変換処理を、遅延部１４２から受けた遅延させられた音響信号に対して実行する。すなわち、変換部１４３は、人物Ｐ１の頭部の向きを基準とした音源Ｓの方向に対応する頭部伝達関数を、遅延させられた音響信号に畳み込むことで、人物Ｐ１から見た音源Ｓの方向への音像定位処理を行う。
【００７３】
また、変換部１４３は、音像定位処理後の音響信号を再生部１２に渡し、再生部１２に音像定位処理後の音響信号から音響を再生させることで、人物Ｐ１から見た音源Ｓの方向に音像定位された音響を人物Ｐ１に聴取させる。
【００７４】
図６に示した制御部１４は、生成部１４１により、人物Ｐ１の頭部の向きを基準とした音源Ｓの方向に応じた位置に視覚刺激となる図形やマークなどを表示する画像データを生成し、変換部１４３により、人物Ｐ１から見た音源Ｓの方向への音像定位処理を行う。そして、制御部１４は、再生部１２により、音像定位された音響を人物Ｐ１に聴かせるとともに、提示部１１により、音源Ｓの方向に応じた位置に視覚刺激となる図形やマークを表示させる。すなわち、生成部１４１及び変換部１４３を有する制御部１４は、音像定位させた音響と視覚刺激となる図形等を表示させる位置によって音源Ｓの方向を示すとともに、視覚への刺激と音響の再生との間の時間差で音源Ｓまでの距離を示す。これにより、図６に示した制御部１４を含む音響再生装置１０は、音源Ｓの実際の位置が人物Ｐ１の視界に含まれるか否かにかかわらず、人物Ｐ１による音源Ｓの位置の直感的な把握を支援することができる。
【００７５】
また、図６に示した制御部１４において、調整部１４５は、判定部１４４にて人物Ｐ１が音源Ｓに注目しているとされた場合に、音源Ｓと人物Ｐ１との間の距離を第１算出部１３で算出された距離よりも短くすることで、遅延部１４２で設定される遅延を短縮する。
【００７６】
図７は、図６に示した遅延部１４２で設定される遅延時間の例を示す。図７(Ａ)は、調整部１４５において、調整後の距離の算出に式(４)が用いられた場合に遅延部１４２で設定される遅延時間の変化の例を示す。また、図７(Ｂ)は、調整部１４５において、調整後の距離の算出に式(５)が用いられた場合に遅延部１４２で設定される遅延時間の変化の例を示す。なお、図７(Ａ)，(Ｂ)において、横軸ｔは時間を示し、縦軸ＤＬは、遅延時間の大きさを示す。
【００７７】
図７(Ａ)に示した遅延時間ＤＬ、即ち、調整部１４５において、調整後の距離の算出に式(４)が用いられた場合の遅延時間ＤＬは、人物Ｐ１が音源Ｓに注目していることが検出された時刻Ｔａから単調に減少する。そして、時刻Ｔａから、第１算出部１３で算出された距離Ｌ１を式(４)に示した係数Ｒ１で除算した値で示される時間Ｌ１／Ｒ１が経過した時刻Ｔａ＋Ｌ１／Ｒ１以降において、遅延時間ＤＬの値は数値０となる。
【００７８】
同様に、図７(Ｂ)に示した遅延時間ＤＬ、即ち、調整部１４５において、調整後の距離の算出に式(５)が用いられた場合の遅延時間ＤＬは、人物Ｐ１が音源Ｓに注目していることが検出された時刻Ｔａから単調に減少する。一方、図７(Ｂ)に示した遅延時間ＤＬは、第１算出部１３で算出された距離Ｌ１にかかわらず、式(５)に示した係数Ｒ２で示される時間が経過した時刻Ｔａ＋Ｒ２以降において数値０となる。
【００７９】
遅延部１４３によって設定される遅延時間は、提示部１１によって音響信号で示される音に対応する強さを持つ刺激が人物Ｐ１の視覚に与えられる第２タイミングと再生部１２により音響信号で示される音が再生される第１タイミングとの時間差に相当する。すなわち、図６に示した制御部１４は、人物Ｐ１が音源Ｓに注目している場合に、第２タイミングと第１タイミングとの時間差を、注目していない場合に比べて短縮することで、人物Ｐ１が音響信号によって示される音源Ｓからの音に集中しやすくすることができる。
【００８０】
なお、調整部１４５により調整後の距離を算出する手法は、式(４)あるいは式(５)を用いる手法に限らず、判定部１４４により、人物Ｐ１が音源Ｓに注目しているとされた場合に、第１算出部１３で算出された距離を短く調整する手法であればよい。例えば、調整部１４５は、注目時間が所定値だけ増大する毎に、調整後の距離を段階的に短縮してもよいし、また、人物Ｐ１が音源Ｓに注目していることが検出された場合に、注目時間の長さにかかわらず、調整後の距離を数値０としてもよい。
【００８１】
図８は、図６に示した提示部１１の別実施形態を示す。図８(Ａ)は、人物Ｐ１の頭部に装着された提示部１１を示す。また、図８(Ｂ)は、人物Ｐ１の頭部の向きを基準とする方向と提示部１１に含まれる発光素子との対応関係を示す。
【００８２】
図８(Ａ)に示した提示部１１において、発光ダイオードなどの複数の発光素子１１３−１，１１３−２，…，１１３−ｋ(ｋは２以上の整数)は、板状の部材１１４上に例えばほぼ等間隔で配置されている。また、発光素子１１３−１，…，１１３−ｋが配置された板状の部材１１４は、例えば、再生部１２から伸びる蔓状の部材１１５により、人物Ｐ１の顔の正面に保持される。
【００８３】
図８(Ｂ)に示した提示部１１は、７個の発光素子１１３−１，１１３−２，１１３−３，１１３−４，１１３−５，１１３−６，１１３−７を含んでいる。すなわち、図８(Ｂ)は、図８(Ａ)に示した提示部１１において、ｋ＝７である場合を示す。７個の発光素子１１３−１〜１１３−７のそれぞれは、人物Ｐ１の頭部の正面を基準とする所定の角度の範囲を例えば７等分することで得られる７つの範囲φ１，φ２，φ３，φ４，φ５，φ６，φ７のそれぞれに対応付けられている。以下の説明において、ｋ個の発光素子１１３−１〜１１３−ｋは、単に、発光素子１１３と総称される場合がある。
【００８４】
図８(Ｂ)の例において、範囲φ１は、人物Ｐ１の頭部の正面を角度０とし、時計回り方向の角度を正の値で示す角度座標にて、マイナス７０度からマイナス５０度の範囲である。同様に、図８(Ｂ)の例において、範囲φ２は、マイナス５０度からマイナス３０度の範囲であり、範囲φ３は、マイナス３０度からマイナス１０度の範囲である。また、図８(Ｂ)の例において、範囲φ４は、マイナス１０度からプラス１０度の範囲であり、範囲φ５は、プラス１０度からプラス３０度の範囲である。そして、図８(Ｂ)の例において、範囲φ６は、プラス３０度からプラス５０度の範囲であり、範囲φ７は、プラス５０度からプラス７０度の範囲である。
【００８５】
なお、提示部１１に含まれる発光素子１１３のそれぞれと、人物Ｐ１の頭部の正面を基準とする角度の範囲との対応関係は、図８(Ｂ)の例に限られない。例えば、各発光素子１１３に対応付けられる角度の範囲は、範囲φ１〜φ７のそれぞれで示した角度の範囲よりも大きい範囲でもよいし、逆に、範囲φ１〜φ７のそれぞれで示した角度の範囲よりも小さい範囲でもよい。
【００８６】
図８(Ｂ)に示した提示部１１を用いる場合に、図６に示した制御部１４の生成部１４１は、第２算出部１５によって算出された音源Ｓの方向に基づいて、図８(Ｂ)に示した範囲φ１〜φ７の中から、算出された音源Ｓの方向を含む範囲を判別する。また、生成部１４１は、式(２)を用いて算出した輝度値で示される光量を発光素子１１３に放出させるための駆動信号を生成し、判別した範囲に対応付けられた発光素子１１３に対して、生成した駆動信号を供給する。例えば、生成部１４１は、図８に示した発光素子１１３−５を音響信号で示される音の強さに応じた輝度で選択的に発光させることで、人物Ｐ１に対して、音源Ｓの方向が人物Ｐ１の頭部の向きを基準として１０度〜３０度の方向であることを示すことができる。
【００８７】
以上に説明した音響再生装置１０は、例えば、展示会場などにおいて、予め指定された展示の位置を利用者に案内する案内システムなどにおいて有用である。
【００８８】
図９は、図６に示した音響再生装置１０を適用した案内システムの例を示す。図９に示した案内システムＧＳは、展示会場ＥＨにおいて、利用者である人物Ｐ１に対して、人物Ｐ１によって予め指定された複数の展示の位置を案内するために、音響再生装置１０の機能を利用する。
【００８９】
案内システムＧＳは、例えば、音響再生装置１０と、人物Ｐ１が携帯する携帯端末ＵＥと、サーバ装置ＳＶと、展示会場ＥＨに展示されている各展示の位置を示す位置情報及び展示内容を示す情報を蓄積する展示データベースＤＢとを含んでいる。サーバ装置ＳＶは、展示データベースＤＢに接続されており、展示データベースＤＢに蓄積された情報を参照可能である。また、サーバ装置ＳＶと携帯端末ＵＥとは、例えば、ネットワークＮＷ及び展示会場ＥＨに設けられたアクセスポイントＡＰを介して接続されており、互いに情報の授受が可能である。また、携帯端末ＵＥは、サーバ装置ＳＶから受けた情報を音響再生装置１０に渡す機能を有している。
【００９０】
展示会場ＥＨにおいて、展示Ｅｘ１−１，Ｅｘ１−２，Ｅｘ１−３，Ｅｘ１−４は、壁ＷＬ１に沿って配置されている。また、展示会場ＥＨにおいて、展示Ｅｘ２−１，Ｅｘ２−２，Ｅｘ２−３，Ｅｘ２−４は、壁ＷＬ２に沿って配置されている。
【００９１】
展示データベースＤＢは、展示Ｅｘ１−１〜Ｅｘ１−４及び展示Ｅｘ２−１〜Ｅｘ２−４のそれぞれの位置を示す情報とともに、それぞれの展示内容を示す情報の一部として、展示内容を説明する音声を表す音声情報を蓄積している。
【００９２】
図９に示した案内システムＧＳは、各展示から発せられる音を表す音響信号の代わりに、展示データベースＤＢに蓄積された音声情報に基づいて生成した音響信号を音響再生装置１０に渡す。そして、音響再生装置１０は、受け取った音響信号から再生される音響を人物Ｐ１の聴覚に与えるとともに、音響信号で示される音の強さに対応する強度を持つ刺激を人物Ｐ１の視覚に与える。
【００９３】
例えば、人物Ｐ１によって予め展示Ｅｘ１−３と展示Ｅｘ２−４とが案内の対象として指定された場合に、音響再生装置１０は、展示データベースＤＢに展示Ｅｘ１−３及び展示Ｅｘ２−４に対応して蓄積された音声情報及び位置情報をサーバ装置ＳＶから受ける。
【００９４】
例えば、音響再生装置１０は、展示Ｅｘ１−３の位置情報に基づいて、サーバ装置ＳＶから受けた音声情報から再生される音響に対する音像定位処理を制御するとともに、音声情報から再生される音に対応する視覚刺激を示す図形などを表示する位置を制御する。これにより、音響再生装置１０は、サーバ装置ＳＶから受けた音声情報から再生される音に対応する音像が定位された方向及び人物Ｐ１の視覚への刺激として光を放出させる発光素子１１３の位置により、人物Ｐ１に展示Ｅｘ１−３の方向を示すことができる。また、サーバ装置ＳＶから受けた音声情報から音を再生するタイミングと当該音に対応する視覚刺激を与えるタイミングとに時間差を設けることで、人物Ｐ１に展示Ｅｘ１−３までの距離Ｌ１を示すことができる。
【００９５】
同様に、音響再生装置１０は、展示Ｅｘ２−４の位置情報に基づいて、サーバ装置ＳＶから受けた音声情報から再生される音響に対する音像定位処理を制御するとともに、音響情報から再生される音に対応する視覚刺激を示す図形などを表示する位置を制御する。これにより、音響再生装置１０は、サーバ装置ＳＶから受けた音声情報から再生される音に対応する音像が定位された方向及び人物Ｐ１の視覚への刺激として発光させられる発光素子１１３の位置により、人物Ｐ１に展示Ｅｘ２−４の方向を示すことができる。また、サーバ装置ＳＶから受けた音声情報から音を再生するタイミングと当該音に対応する視覚刺激を与えるタイミングとに時間差を設けることで、人物Ｐ１に展示Ｅｘ２−４までの距離Ｌ２を示すことができる。
【００９６】
つまり、音響再生装置１０により展示Ｅｘ１−３及び展示Ｅｘ２−４のそれぞれに対応して再生される音響及び視覚に与えられる刺激に基づいて、人物Ｐ１は、展示Ｅｘ１−３及び展示Ｅｘ２−４のそれぞれの位置を直感的に把握することができる。すなわち、人物Ｐ１は、展示Ｅｘ１−３と展示Ｅｘ２−４との双方が、人物Ｐ１から別の展示Ｅｘ１−４や壁ＷＬ２によって隔てられていても、各展示Ｅｘ１−３、Ｅｘ２−４のおおよその方向と各展示Ｅｘ１−３、Ｅｘ２−４までのおおよその距離を把握できる。例えば、人物Ｐ１は、展示Ｅｘ２−４の方向を示す視覚刺激の明るさが変化するタイミングと対応する音声の強さが変化するタイミングとのズレが、展示Ｅｘ１−３に対応するズレよりも小さいことから、展示Ｅｘ２−４の方が近傍にあることを知ることができる。
【００９７】
なお、図８(Ｂ)に示した提示部１１は、例えば、複数の発光素子を用いて実現可能であり、音源となる展示Ｅｘ１−３，Ｅｘ２−４の高精細な画像を表示する機能を有するヘッドマウントディスプレイ装置などに比べて、ハードウェアが小規模である。また、図２に示した図形やマークなどを表す画像を視覚刺激として人物Ｐ１に与える場合でも、音源となる物体の高精細な画像を表示する機能を有するヘッドマウントディスプレイ装置に比べて、低解像度の表示画面１１１ａ，１１１ｂを用いて実現可能である。すなわち、図９に示した音響再生装置１０を適用した案内システムは、指定された展示(例えば、展示Ｅｘ１−３，Ｅｘ２−４)の写実的な画像を人物Ｐ１に提示するための表示装置を用いる場合に比べて、低コストで実現可能である。
【００９８】
以上に説明した本件開示の音響再生装置１０は、例えば、スマートホンやタブレット型端末などの携帯端末を含むコンピュータ装置を用いて実現することができる。
【００９９】
図１０は、音響再生装置１０のハードウェア構成の一例を示す。なお、図１０に示した構成要素のうち、図１、図６及び図９に示した構成要素と同等のものは、同一の符号で示され、その説明は省略される場合がある。
【０１００】
図１０に示した携帯端末ＵＥは、人物Ｐ１に所持されているスマートホンやタブレット型端末などである。携帯端末ＵＥは、プロセッサ２１と、メモリ２２と、ＧＰＳセンサＧｐと、汎用インタフェース２４と、音声処理部２５と、ネットワークインタフェース２６と、表示制御部２７と、タッチパネル２８と、入力制御部２９とを含んでいる。図１０に示したプロセッサ２１と、メモリ２２と、ＧＰＳセンサＧｐと、汎用インタフェース２４と、音声処理部２５と、ネットワークインタフェース２６と、表示制御部２７と、タッチパネル２８と、入力制御部２９とは、バスを介して互いに接続されている。
【０１０１】
携帯端末ＵＥは、ネットワークインタフェース２６を介して、ネットワークＮＷに接続されており、更に、ネットワークＮＷを介してサーバ装置ＳＶに接続されている。また、携帯端末ＵＥは、汎用インタフェース２４を介して、例えば、図８(Ｂ)に示した発光素子１１３−１〜１１３−７を含む提示部１１に接続されている。また、携帯端末ＵＥに含まれる音声処理部２５は、例えば、携帯端末ＵＥの利用者である人物Ｐ１の頭部に装着されたヘッドホン型の再生部１２に接続されている。また、図１０に示した提示部１１は、再生部１２に含まれる耳当て部に蔓状の部材で固定されている。また、ジャイロセンサＧｙｒは、再生部１２に含まれる耳当て部に固定されている。ジャイロセンサＧｙｒによって検知される角度情報Ｐｄａは、汎用インタフェース２４を介してプロセッサ２１に渡される。
【０１０２】
携帯端末ＵＥに含まれるプロセッサ２１と、メモリ２２と、ＧＰＳセンサＧｐと、汎用インタフェース２４と、音声処理部２５と、ネットワークインタフェース２６とは、音響再生装置１０に含まれる。
【０１０３】
また、携帯端末ＵＥに含まれる表示制御部２７は、プロセッサ２１からの指示に従って、タッチパネル２８に含まれる表示画面に画像を表示するための制御を行う。また、入力制御部２９は、人物Ｐ１がタッチパネル２８を操作することで入力した指示をプロセッサ２１に渡す機能を持っている。したがって、人物Ｐ１は、タッチパネル２８を操作することで、音響再生装置１０に対して、例えば、提示の対象となる音源を指定する指示や、指定した音源に対応する音響及び視覚刺激を与える処理の開始あるいは終了させる指示などを入力することができる。例えば、人物Ｐ１は、図９に示した展示会場ＥＨ内の見取り図などをタッチパネル２８の表示画面に表示させ、見取り図に含まれる所望の展示を示すアイコン等をタッチすることで、音響再生装置１０によって音響を再生させる音源として指定する。
【０１０４】
図１０に示したメモリ２２は、携帯端末ＵＥのオペレーティングシステムとともに、プロセッサ２１が、指定された音源から発せされる音を再生する処理である音響再生処理を実行するためのアプリケーションプログラムを格納している。なお、音響再生処理を実行するためのアプリケーションプログラムは、例えば、ネットワークインタフェース２６及びネットワークＮＷを介して、サーバ装置ＳＶなどからダウンロードすることで、メモリ２２に読み込ませてもよい。
【０１０５】
プロセッサ２１は、音響再生処理のためのアプリケーションプログラムを実行することにより、例えば、図６に示した第１算出部１３と、第２算出部１５と、制御部１４とのそれぞれの機能を果たす。また、図６に示したメモリ１３１の機能は、図１０に示したメモリ２２の記憶領域の一部を用いて実現される。
【０１０６】
また、図１０に示した展示データベースＤＢは、図９に示した展示会場ＥＨ内に配置された展示Ｅｘ１−１〜Ｅｘ１−４及び展示Ｅｘ２−１〜Ｅｘ２−４に対応して、それぞれの位置を示す位置情報と展示内容を示す音声情報を蓄積している。また、図１０に示した音響再生装置１０は、例えば、ネットワークＮＷ及びサーバ装置ＳＶを介して、展示データベースＤＢから所望の展示に対応付けられた音声情報を取得することができる。
【０１０７】
図１１は、図１０に示した音響再生装置１０の動作を示す。図１１に示したステップＳ３０１〜ステップＳ３０５及びステップＳ３１１〜ステップＳ３１６の処理は、図１０に示した音響再生装置１０の動作を示すとともに音響再生プログラムの別実施形態を示す。図１１に示したステップＳ３０１〜ステップＳ３０５及びステップＳ３１１〜ステップＳ３１６の処理は、音響再生処理のためのアプリケーションプログラムに含まれる処理の一例である。また、ステップＳ３０１〜ステップＳ３０５及びステップＳ３１１〜ステップＳ３１６の処理は、図１０に示したプロセッサ２１によって実行される。
【０１０８】
ステップＳ３１１において、プロセッサ２１は、例えば、図１０に示した入力制御部２９から、利用者によるタッチパネル２８への操作で指定された音源を示す情報を受ける。例えば、プロセッサ２１は、表示制御部２７により、図９に示した展示会場ＥＨ内の見取り図などをタッチパネル２８の表示画面に表示させ、利用者に対して、所望の展示を示すアイコン等をタッチする操作を促す。また、プロセッサ２１は、入力制御部２９から利用者がタッチしたアイコン等を示す情報を受けた場合に、受けた情報で示されるアイコン等に対応付けられた展示を、音響再生装置１０によって音響を再生する対象となる音源とする。
【０１０９】
また、ステップＳ３１１において、プロセッサ２１は、ステップＳ３１４の処理で用いる変数である静止時間、注目時間及び注目フラグに、それぞれ初期値「０」を設定する。
【０１１０】
ステップＳ３１２において、プロセッサ２１は、音響再生装置１０によって音響を再生する対象となる音源として指定された展示の位置を示す位置情報を音源の位置を示す位置情報として受ける。例えば、プロセッサ２１は、図１０に示したネットワークインタフェース２６を介して、サーバ装置ＳＶに対して、指定された展示に対応して展示データベースＤＢに蓄積された位置情報を照会する。また、プロセッサ２１は、サーバ装置ＳＶへの照会で得られた位置情報を、音源として指定された展示に対応してメモリ２２に格納する。なお、ステップＳ３１１の処理で、提示の対象となる音源として複数の展示が指定された場合に、プロセッサ２１は、各展示についてそれぞれ位置情報をサーバ装置ＳＶに照会し、照会で得られた位置情報を各展示に対応してメモリ２２に格納する。例えば、図９に示した展示Ｅｘ１−３と展示Ｅｘ２−４とが人物Ｐ１によって指定された場合に、プロセッサ２１は、指定された音源の位置情報として、展示Ｅｘ１−３，Ｅｘ２−４のそれぞれについて展示データベースＤＢに保持された位置情報を取得する。
【０１１１】
図１１の例では、プロセッサ２１は、ステップＳ３０１の処理に先立って、ステップＳ３０３、ステップＳ３１３〜ステップＳ３１６の処理を実行する。また、プロセッサ２１は、図１１に示したステップＳ３０３、ステップＳ３１３〜ステップＳ３１６、ステップＳ３０１、ステップＳ３０２及びステップＳ３０４を含むループの処理を、数ミリ秒〜十数ミリ秒に設定された所定の時間間隔で実行することが望ましい。
【０１１２】
ステップＳ３０３において、プロセッサ２１は、ステップＳ３１２の処理で受けた各音源の位置情報に基づいて、音源である展示のそれぞれと人物Ｐ１との間の距離を算出する。例えば、プロセッサ２１は、まず、人物Ｐ１の位置を示す位置情報として、図１０に示したＧＰＳセンサＧｐから携帯端末ＵＥの位置を示す情報を受ける。また、プロセッサ２１は、ＧＰＳセンサＧｐから受けた人物Ｐ１の位置情報とステップＳ３１２の処理で各音源の位置情報として受けた展示Ｅｘ１−３，Ｅｘ２−４の位置情報とに基づいて、人物と展示Ｅｘ１−３，Ｅｘ２−４のそれぞれとの間の距離を算出する。
【０１１３】
ステップＳ３１３において、プロセッサ２１は、図１０に示したジャイロセンサＧｙｒから人物Ｐ１の頭部の向きを示す角度情報Ｐｄａを取得し、取得した角度情報Ｐｄａに基づいて、人物Ｐ１の頭部の向きを基準として、各音源の方向を算出する。プロセッサ２１は、例えば、ジャイロセンサＧｙｒから取得した角度情報と、各音源に対応する位置情報と、人物Ｐ１の位置を示す位置情報とに基づいて、人物Ｐ１の頭部の正面方向から測った各音源の方向を示す角度を算出する。
【０１１４】
ステップＳ３１４において、プロセッサ２１は、図１０に示した人物Ｐ１の動きを示す情報に基づいて、指定された音源のうち、人物Ｐ１によって注目されている音源を判別する。プロセッサ２１は、人物Ｐ１によって注目されている音源を判別する処理に、例えば、ステップＳ３１３の処理で取得した角度情報Ｐｄａを人物Ｐ１の動きを示す情報として用いる。また、プロセッサ２１は、角度情報Ｐｄａで示される人物Ｐ１の頭部の向きが所定の期間以上にわたって維持され、かつ、指定された音源のいずれかが人物Ｐ１の正面にある場合に、人物Ｐ１の正面方向にある音源を注目されている音源として判別する。プロセッサ２１は、例えば、図１２に示すステップＳ３２１〜ステップＳ３３０の処理を実行することで、注目されている音源を判別してもよい。
【０１１５】
図１２は、図１１にステップＳ３１４で示した注目されている音源を判別する処理の例を示す。図１２に示したステップＳ３２１〜ステップＳ３３０の処理は、音響再生処理のためのアプリケーションプログラムに含まれる注目されている音源を判別する処理の一例である。また、ステップＳ３２１〜ステップＳ３３０の処理は、図１０に示したプロセッサ２１によって実行される。
【０１１６】
ステップＳ３２１において、プロセッサ２１は、図１０に示したジャイロセンサＧｙｒによって過去τ秒間に得られた角度情報Ｐｄａを取得する。プロセッサ２１は、例えば、汎用インタフェース２４を介してジャイロセンサＧｙｒから受けた角度情報Ｐｄａを、１秒程度に設定される時間τにわたってメモリ２２に保持させ、メモリ２２に保持させた角度情報Ｐｄａを取得する。
【０１１７】
ステップＳ３２２において、プロセッサ２１は、ステップＳ３２１の処理で取得した角度情報Ｐｄａを互いに比較することで、角度情報Ｐｄａで示される人物Ｐ１の頭部の向きが所定の閾値で示される範囲に収まっているか否かを判定する。プロセッサ２１は、ステップＳ３２２の処理として、例えば、過去τ秒間の角度情報Ｐｄａで示される人物Ｐ１の頭部の向きが、図８(Ｂ)に示した範囲φ１〜φ７のそれぞれに対応する角度の範囲(例えば２０度)に収まっているか否かを判定してもよい。
【０１１８】
人物Ｐ１の頭部の向きの変化が、例えば２０度程度に設定された範囲内に収まっていた場合に(ステップＳ３２２の肯定判定(ＹＥＳ))、プロセッサ２１は、人物Ｐ１の頭部の向きはほぼ一定であると判断し、ステップＳ３２３の処理に進む。
【０１１９】
ステップＳ３２３において、プロセッサ２１は、人物Ｐ１の頭部の向きが一定している時間の長さを示す変数である静止時間に、図１１に示したステップＳ３０３からステップＳ３０５までのループの処理が繰り返される間隔に相当する所定値τ１を加算する。
【０１２０】
ステップＳ３２４において、プロセッサ２１は、それまでの処理により、注目フラグに、人物Ｐ１が音源のいずれかに注目している可能性があることを示す値「１」が設定されているか否かを判定する。
【０１２１】
まだ、注目フラグに値「１」が設定されていない場合に（ステップＳ３２４の否定判定(ＮＯ)）、プロセッサ２１は、ステップＳ３２５の処理に進む。
【０１２２】
ステップＳ３２５において、プロセッサ２１は、プロセッサ２１は、静止時間の値が、例えば、数秒程度に設定される所定の閾値以上であるか否かを判定する。
【０１２３】
まだ、静止時間が閾値未満である場合に(ステップＳ３２５の否定判定(ＮＯ))、プロセッサ２１は、ステップＳ３２７の処理に進む。
【０１２４】
ステップＳ３２７において、プロセッサ２１は、人物Ｐ１によって注目されている音源はないことを示す情報を出力する。その後、プロセッサ２１は、注目されている音源を判別する処理を終了し、図１１に示したステップ３１５の処理に進む。
【０１２５】
ここで、プロセッサ２１は、ステップＳ３０３〜ステップＳ３０５のループに含まれるステップＳ３１４の処理として、図１２に示したステップＳ３２１〜ステップＳ３２９の処理を、例えば、数ミリ秒〜十数ミリ秒毎に実行する。これに伴って、静止時間は、ステップＳ３１４の処理が繰り返される過程で、ステップＳ３２２において、人物Ｐ１の頭部の向きはほぼ一定であると判断されるごとに、ステップＳ３２３の処理で所定値τ１ずつ加算される。
【０１２６】
そして、ステップＳ３２３の処理において、所定値τ１が加算された静止時間が、静止時間について設定された閾値以上となった場合に（ステップＳ３２５の肯定判定（ＹＥＳ））、プロセッサ２１は、ステップＳ３２６の処理に進む。
【０１２７】
ステップＳ３２６において、プロセッサ２１は、注目フラグに値「１」を設定することで、人物Ｐ１が音源のいずれかに注目している可能性があることを示す。ステップＳ３２６の処理の終了後に、プロセッサ２１は、ステップＳ３２７の処理に進み、人物Ｐ１によって注目されている音源はないことを示す情報を出力する。その後、プロセッサ２１は、注目されている音源を判別する処理を終了し、図１１に示したステップ３１５の処理に進む。
【０１２８】
ステップＳ３２６の処理により、注目フラグに値「１」が設定された後に、再び、ステップＳ３１４の処理を行う過程で、プロセッサ２１は、ステップＳ３２４の肯定判定ルート(ＹＥＳ)に従って、ステップＳ３２８の処理に進む。
【０１２９】
ステップＳ３２８において、プロセッサ２１は、図１１に示したステップＳ３１３の処理により、指定された音源のいずれかについて、人物Ｐ１の頭部の正面を示す方向が算出されたか否かを判定する。例えば、プロセッサ２１は、図１１に示したステップＳ３１３の処理で算出された各音源の方向のいずれかが、図８(Ｂ)に示した範囲φ４に含まれるか否かによって、ステップＳ３２５の判定処理を行ってもよい。ここで、図８(Ｂ)に示した範囲φ４は、人物Ｐ１の頭部の正面に相当している。
【０１３０】
指定された音源のそれぞれについて算出された方向が、いずれも人物Ｐ１の頭部の正面を示す方向ではない場合に(ステップＳ３２８の否定判定(ＮＯ))、プロセッサ２１は、ステップＳ３２７の処理に進む。そして、プロセッサ２１は、ステップＳ３２７において、人物Ｐ１によって注目されている音源はないことを示す情報を出力した後に、注目されている音源を判別する処理を終了し、図１１に示したステップ３１５の処理に進む。
【０１３１】
一方、例えば、図９に示した展示Ｅｘ１−３についてステップＳ３１３の処理で算出した方向が、人物Ｐ１の頭部の正面を示す場合に(ステップＳ３２８の肯定判定(ＹＥＳ))、プロセッサ２１は、ステップＳ３２９の処理に進む。
【０１３２】
ステップＳ３２９において、プロセッサ２１は、ステップＳ３２８の処理で、人物Ｐ１の頭部の正面に当たる方向にあるとされた音源(例えば、展示Ｅｘ１−３)を、人物Ｐ１によって注目されている音源として判別する。また、プロセッサ２１は、人物Ｐ１が音源のいずれかに注目している時間を示す変数である注目時間に、ステップＳ３２３において静止時間に加算された所定値τ１と同じ所定値τ１を加算する。その後、プロセッサ２１は、注目されている音源を判別する処理を終了し、図１１に示したステップＳ３１５の処理に進む。
【０１３３】
ところで、人物Ｐ１の頭部の向きが、例えば２０度程度に設定された範囲よりも大きく変化した場合に(ステップＳ３２２の否定判定(ＮＯ))、プロセッサ２１は、ステップＳ３３０の処理に進む。
【０１３４】
ステップＳ３３０において、プロセッサ２１は、静止時間及び注目時間に初期値「０」を設定するとともに、注目フラグをクリアする。その後、プロセッサ２１は、ステップＳ３２７において、人物Ｐ１によって注目されている音源はないことを示す情報を出力した後に、注目されている音源を判別する処理を終了し、図１１に示したステップ３１５の処理に進む。
【０１３５】
以上に説明したステップＳ３２１〜ステップＳ３３０の処理を実行することにより、プロセッサ２１は、静止時間についての閾値以上にわたって、人物Ｐ１の頭部の向きが一定しており、かつ、頭部の正面に音源がある場合に、当該音源が注目されていると判断する。すなわち、プロセッサ２１は、以上に説明したステップＳ３２１〜ステップＳ３３０の処理を実行することにより、図６に示した判定部１４４の機能を果たしている。
【０１３６】
図１１に示したステップＳ３１５において、プロセッサ２１は、ステップＳ３１４の処理の過程で、人物Ｐ１によって注目されている音源が判別されたか否かを判定する。
【０１３７】
例えば、図１２に示したステップＳ３２９において、展示Ｅｘ１−３が人物Ｐ１によって注目されている音源として判別された場合に、プロセッサ２１は、ステップＳ３１５の肯定判定ルート(ＹＥＳ)に従ってステップＳ３１６に進む。
【０１３８】
ステップＳ３１６において、プロセッサ２１は、式(４)あるいは式(５)を用いて、人物Ｐ１によって注目されている音源までの距離を調整する。例えば、注目されている音源として、図９に示した展示Ｅｘ１−３が判別された場合に、プロセッサ２１は、ステップＳ３１３の処理で展示Ｅｘ１−３と人物Ｐ１との間の距離は、式(４)または式(５)を用いた調整により、元の距離Ｌ１よりも短縮される。その後、プロセッサ２１は、ステップＳ３０１の処理に進む。即ち、プロセッサ２１は、ステップＳ３１６の処理を実行することで、図６に示した調整部１４５の機能を果たす。
【０１３９】
一方、ステップＳ３１４の処理により、人物Ｐ１によって注目されている音源が判別されなかった場合に(ステップＳ３１５の否定判定(ＮＯ))、プロセッサ２１は、ステップＳ３１６の処理を行うことなくステップＳ３０１の処理に進む。
【０１４０】
ステップＳ３０１において、プロセッサ２１は、指定された音源のそれぞれから発せられる音を示す音響信号として、サーバ装置ＳＶから、音源として指定された展示のそれぞれに対応して展示データベースＤＢに蓄積された音声情報の一部を受ける。例えば、プロセッサ２１は、展示データベースＤＢに蓄積された音声情報を数ミリ秒〜十数ミリ秒で再生可能な長さで区切り、ステップＳ３０１の処理を実行する毎に、区切られた音声情報を順次に受ける。なお、展示データベースＤＢに蓄積された音声情報が符号化された音声情報である場合に、プロセッサ２１は、例えば、受けた音声情報から、符号化される前の音声を示す音響信号あるいは音響信号の振幅の変化を示す情報を取得する。プロセッサ２１は、符号化される前の音声を示す音響信号あるいは音響信号の振幅の変化を示す情報を取得する際に、図１０に示した音声処理部２５の機能を用いてもよい。また、プロセッサ２１は、取得した音響信号あるいは音響信号の振幅の変化を示す情報を、ステップＳ３０２以下の処理において用いる。
【０１４１】
ステップＳ３０２において、プロセッサ２１は、ステップＳ３０１の処理で受けた音響信号のそれぞれに基づいて、図１０に示した提示部１１によって人物Ｐ１の視覚に与える刺激の強度を決定する。例えば、プロセッサ２１は、各音響信号の振幅の変化を示す情報と式(１)及び式(２)とを用いて、音響信号で示される音の強さに応じた輝度値を算出し、算出した輝度値を視覚刺激の強度とする。即ち、プロセッサ２１は、ステップＳ３０２の処理を実行することで、図６に示した生成部１４１の機能を果たす。
【０１４２】
ステップＳ３０４において、プロセッサ２１は、人物Ｐ１と各音源との間の距離に応じた時間差で、ステップＳ３０１の処理で各音源に対応して取得した音響信号から再生した音響と、音響信号で示される音の強さに対応する強度を持つ刺激とを人物Ｐ１に与える。プロセッサ２１は、指定された音源のうち、ステップＳ３１４の処理で人物Ｐ１によって注目されていることが示された音源については、ステップＳ３１６の処理で調整された距離に応じた時間差を適用する。一方、人物Ｐ１によって注目されていることが示された音源以外の他の音源について、プロセッサ２１は、ステップＳ３０３の処理で算出された距離に応じた時間差を適用する。プロセッサ２１は、例えば、図１３に示すステップＳ３３１〜ステップＳ３３５の各処理を実行することにより、図１０に示した提示部１１による視覚刺激の提示と再生部１２による音の再生とを制御する。
【０１４３】
図１３は、図１１にステップＳ３０４で示した音及び視覚刺激を与える処理の例を示す。図１３に示したステップＳ３３１〜ステップＳ３３５の処理は、音響再生処理のためのアプリケーションプログラムに含まれる音及び視覚刺激を与える処理の一例である。また、ステップＳ３３１〜ステップＳ３３５の処理は、図１０に示したプロセッサ２１によって実行される。
【０１４４】
ステップＳ３３１において、プロセッサ２１は、例えば、式(３)を用いて、図１１に示したステップＳ３０３の処理で算出された距離、あるいは、図１１に示したステップＳ３１６の処理で調整された距離から、距離に応じた時間差を算出する。例えば、図９に示した展示Ｅｘ１−３に人物Ｐ１が注目しているとされた場合に、プロセッサ２１は、ステップＳ３１６の処理で調整された距離に基づいて、式(３)で示される時間差を求める。このため、展示Ｅｘ１−３に対応して取得した音響信号を再生する第１タイミングと、当該音響信号に対応する視覚刺激を与える第２タイミングとの間の時間差は、図９に示した距離Ｌ１に対応する時間差に比べて短い値となる。一方、プロセッサ２１は、展示Ｅｘ２−４についてステップＳ３０３の処理で得られた距離を用いて、展示Ｅｘ２−４に対応して取得した音響信号を再生する第１タイミングと、当該音響信号に対応する視覚刺激を与える第２タイミングとの間の時間差を求める。
【０１４５】
ステップＳ３３２において、プロセッサ２１は、ステップＳ３３１の処理で算出した時間差に基づき、ステップＳ３０１で取得した各音声情報に対応する音響を再生する第１タイミングと、当該音響に対応する視覚刺激を与える第２タイミングとを設定する。例えば、プロセッサ２１は、図９に示した展示Ｅｘ１−３に対応して取得した音声情報と、展示Ｅｘ２−４に対応して取得した音声情報とについて、それぞれ第１タイミングと第２タイミングとを設定する。プロセッサ２１は、例えば、ステップＳ３０２の処理により、音響の強さに応じて強度が決定された視覚刺激を与える第２タイミングに対して、ステップＳ３２３の処理で算出した時間差だけ遅れさせたタイミングを、音響を再生する第１タイミングとして設定する。
【０１４６】
即ち、プロセッサ２１は、ステップＳ３３１及びステップＳ３３２の処理を実行することで、図６に示した遅延部１４２の機能を果たす。
【０１４７】
ステップＳ３３３において、プロセッサ２１は、図１１のステップＳ３１３で求めた各音源の方向に基づいて、それぞれ音像定位処理を実行することで、人物Ｐ１の頭部の向きを基準とした音源の方向に音像定位された音響を表す音響信号を生成する。つまり、プロセッサ２１は、展示Ｅｘ１−３に対応して取得した音声情報から生成された音響信号に対して、ステップＳ３１３で算出された展示Ｅｘ１−３の方向への音像定位処理を行う。同様に、プロセッサ２１は、展示Ｅｘ２−４に対応して取得した音声情報から生成された音響信号に対して、ステップＳ３１３で算出された展示Ｅｘ２−４の方向への音像定位処理を行う。なお、プロセッサ２１は、音像定位処理を実行する際に、図１０に示した音声処理部２５に搭載された機能を利用してもよい。
【０１４８】
即ち、プロセッサ２１は、ステップＳ３３３の処理を実行することで、図６に示した変換部１４３の機能を果たす。
【０１４９】
ステップＳ３３４において、プロセッサ２１は、図１１のステップＳ３１３の処理で求めた音源のそれぞれの方向に基づいて、図８(Ｂ)に示した発光素子１１３−１〜１１３−７の中から、音源に対応する視覚刺激として発光させる発光素子１１３を選択する。プロセッサ２１は、図８を用いて説明したように、ステップＳ３１３の処理で求めた音源の方向を含む範囲に対応付けられた発光素子１１３を選択する。例えば、プロセッサ２１は、図９に示した展示Ｅｘ１−３の方向として、人物Ｐ１の頭部のほぼ正面を示す角度を得た場合に、図８(Ｂ)に示した範囲φ４に対応する発光素子１１３−４を展示Ｅｘ１−３に対応して選択する。一方、プロセッサ２１は、図９に示した展示Ｅｘ２−４の方向として、例えば、人物Ｐ１の頭部の正面を基準として、図８(Ｂ)に示した範囲φ２に含まれる角度を得た場合に、範囲φ２に対応する発光素子１１３−２を展示Ｅｘ２−４に対応して選択する。
【０１５０】
ステップＳ３３５において、プロセッサ２１は、ステップＳ３３２の処理で音源毎に設定された第１タイミングで、図１０に示した再生部１２に音響を再生させるとともに、音源毎に設定された第２タイミングで提示部１１に人物Ｐ１の視覚への刺激を出力させる。プロセッサ２１は、例えば、内部のクロックで示される時刻が、展示Ｅｘ１−３につき設定した第１タイミングを示したときに、展示Ｅｘ１−３に対応して取得した音声情報から生成した音響信号の再生部１２による再生を開始させる。また、プロセッサ２１は、展示Ｅｘ１−３につき設定した第２タイミングにおいて、展示Ｅｘ１−３に対応して選択した発光素子１１３に、展示Ｅｘ１−３に対応して決定した輝度の光を放出させる駆動信号を供給することで、人物Ｐ１の視覚に刺激を与える。同様に、プロセッサ２１は、例えば、時刻が、展示Ｅｘ２−４につき設定した第１タイミングを示したときに、展示Ｅｘ２−４に対応して取得した音声情報から生成した音響信号の再生部１２による再生を開始させる。また、プロセッサ２１は、展示Ｅｘ２−４につき設定した第２タイミングにおいて、展示Ｅｘ２−４に対応して選択した発光素子１１３に、展示Ｅｘ２−４に対応して決定した輝度の光を放出させる駆動信号を供給することで、人物Ｐ１の視覚に刺激を与える。
【０１５１】
また、プロセッサ２１は、ステップＳ３３１〜ステップＳ３３５の処理の終了後に、図１１に示したステップＳ３０５の処理に進む。
【０１５２】
ステップＳ３０５において、プロセッサ２１は、音響の再生及び音響に対応する視覚刺激の提示を終了するか否かを判定する。
【０１５３】
まだ、音響の再生及び音響に対応する視覚刺激の提示を終了することを示す指示を受けていない場合に(ステップＳ３０５の否定判定(ＮＯ))、プロセッサ２１は、ステップＳ３０３の処理に戻り、各音源に対応して新たに受ける音響信号についての処理を開始する。プロセッサ２１は、例えば、ステップＳ３０１の処理で取得する音声情報の一つの区切りを再生する時間(例えば、数ミリ秒〜十数ミリ秒)ごとに、ステップＳ３０３〜ステップＳ３０５の処理を繰り返すことが望ましい。
【０１５４】
一方、図１０に示した入力制御部２９から、音響の再生及び音響に対応する視覚刺激の提示を終了することを示す指示を受けた場合に(ステップＳ３０５の肯定判定(ＹＥＳ))、プロセッサ２１は、音響再生処理のためのアプリケーションプログラムの処理を終了する。
【０１５５】
図９から図１３を用いて説明したように、図１０に示した音響再生装置１０は、例えば、展示Ｅｘ１−３，Ｅｘ２−４に対応する説明音声の再生と説明音声に対応する視覚刺激の提示とに時間差を設定することで、人物Ｐ１に距離の違いを直感的に知覚させる。また、図１０に示した音響再生装置１０は、再生部１２に再生させる音響に音像定位処理を適用し、また、音源の方向に応じて選択された発光素子を点灯させることで、人物Ｐ１に対して音源として指定された展示Ｅｘ１−３，Ｅｘ２−４の方向を示すことができる。すなわち、図１０に示した音響再生装置１０は、展示会場ＥＨなどにおける複数の展示Ｅｘ１−３，Ｅｘ２−４の位置を、人物Ｐ１に直感的に把握させることができる。
【０１５６】
ここで、図１０に示した音響再生装置１０は、音響が再生されるタイミングと視覚刺激の強度が音響の強さに応じて変化するタイミングとの時間差により、人物Ｐ１に音源までの距離を示す。したがって、図１０に示した音響再生装置１０は、人物Ｐ１の視界に、音源となる展示Ｅｘ１−３、Ｅｘ２−４が含まれているか否かにかかわらず、音源となる展示Ｅｘ１−３、Ｅｘ２−４までの距離の人物Ｐ１による直感的な把握を支援することができる。図１０に示した音響再生装置１０が有するこの特徴は、広い展示会場などで、人物Ｐ１に、所望の展示の位置を案内するシステムなどへの適用において有用である。
【０１５７】
更に、図１０に示した音響再生装置１０は、人物Ｐ１が注目している音源を判別し、判別した音源に対応する音響信号から生成される視覚への刺激と聴覚への刺激との時間差を短縮する調整を行う。すなわち、図１０に示した音響再生装置１０は、人物Ｐ１が注目している音源に対応する音響信号から再生された音響を、実際の音源までの距離よりも近くにある音源からの音響として再生する。そして、人物Ｐ１が注目している音源に対応する音響信号から生成される視覚への刺激と聴覚への刺激との時間差が短縮されたことにより、人物Ｐ１は、注目している音源からの音響を聴くことに集中することが可能となる。
【０１５８】
以上の詳細な説明により、実施形態の特徴点及び利点は明らかになるであろう。これは、特許請求の範囲が、その精神及び権利範囲を逸脱しない範囲で、前述のような実施形態の特徴点及び利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良及び変更を容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物及び均等物に拠ることも可能である。
【０１５９】
以上の説明に関して、更に、以下の各項を開示する。
(付記１)
音源から発せられる音を示す音響信号を受け、受けた音響信号から再生した音を人物の聴覚に与える再生部と、
前記音響信号で示される音の強さの変化に応じて変化する強度を持つ刺激を前記人物の視覚に与える提示部と、
前記音源の位置を示す情報と前記人物の位置を示す情報とに基づいて、前記音源と前記人物との距離を算出する第１算出部と、
前記再生部によって前記人物の聴覚に音を与える第１タイミングと前記提示部によって前記人物の視覚に前記刺激を与える第２タイミングとの間の時間差を、前記第１算出部で算出された距離に応じて変更する制御を行う制御部と、
を有することを特徴とする音響再生装置。
(付記２)
付記１に記載の音響再生装置において、
前記制御部は、
前記人物の動きを示す情報に基づいて、前記人物が前記音源に注目しているか否かを判定する判定部を有し、
前記判定部により、前記人物が前記音源に注目しているとされた場合に、前記音源と前記人物との距離に応じて設定される値よりも、前記時間差を小さくする制御を行う
ことを特徴とする音響再生装置。
(付記３)
付記２に記載の音響再生装置において、
前記制御部は、
前記人物が前記音源に注目している時間が長いほど前記時間差を小さくする制御を行う
ことを特徴とする音響再生装置。
(付記４)
付記１乃至付記３のいずれか１に記載の音響再生装置において、
前記音源の位置を示す情報と前記人物の位置を示す情報とに基づいて、前記人物の位置を基準とする前記音源の方向を求める第２算出部を有し、
前記提示部は、前記第２算出部によって求められた前記音源の方向から前記人物の視覚に前記刺激を与え、
前記再生部は、前記第２算出部によって求められた前記音源の方向に音像定位された音響信号から再生した音を前記人物の聴覚に与える
ことを特徴とする音響再生装置。
(付記５)
付記１乃至付記４のいずれか１に記載の音響再生装置において、
前記制御部は、
前記第２タイミングよりも第１タイミングを遅れさせる方向に前記時間差を設定する
ことを特徴とする音響再生装置。
(付記６)
付記１に記載の音響再生装置において、
前記制御部は、前記第１タイミングと前記第２タイミングとの間の時間差を、前記第１算出部で算出された前記距離を音が伝搬する時間よりも大きく設定する
ことを特徴とする音響再生装置。
(付記７)
付記１乃至付記６のいずれか１に記載の音響再生装置において、
前記提示部は、前記音の強さの変化に応じて、前記人物の視覚に対して与える前記刺激の輝度を変化させる
ことを特徴とする音響再生装置。
(付記８)
音源から発せられる音を示す音響信号を受け、
前記音響信号で示される音の強さに基づいて、人物の視覚に与える刺激の強度を決定し、
前記音源の位置を示す情報と前記人物の位置を示す情報とに基づいて、前記音源と前記人物との距離を算出し、
前記音響信号から再生される音を前記人物の聴覚に与える第１タイミングと前記決定された強度を持つ刺激を前記人物の視覚に与える第２タイミングとの間の時間差を、前記算出された距離に応じて変更する制御を行う、
処理をコンピュータに実行させることを特徴とする音響再生プログラム。
【符号の説明】
【０１６０】
１０…音響再生装置；１１…提示部；１２…再生部；１３…第１算出部；１４…制御部；１５…第２算出部；１１１ａ，１１１ｂ…表示画面；１１２ｃ…円形；１１２ｔ…テキスト；１１２ｍ…マーク；１１２ｂ…背景；１１２ｆ…枠；１１３…発光素子；１１４…板状の部材；１１５…蔓状の部材；１４１…生成部；１４２…遅延部；１４３…変換部；１４４…判定部；１４５…調整部；２１…プロセッサ；２２…メモリ；２４…汎用インタフェース；２５…音声処理部；２６…ネットワークインタフェース；２７…表示制御部；２８…タッチパネル；２９…入力制御部；Ｐ１…人物；ＵＥ…携帯端末；Ｇｐ…ＧＰＳセンサ；Ｓ…音源；ＭＣ…マイクロホン；ＳＶ…サーバ装置；ＡＰ…アクセスポイント；Ｅｘ１，Ｅｘ１−１，Ｅｘ１−２，Ｅｘ１−３，Ｅｘ１−４，Ｅｘ２−１，Ｅｘ２−２，Ｅｘ２−３，Ｅｘ２−４…展示；ＤＢ…展示データベース；ＮＷ…ネットワーク；ＧＳ…案内システム
【図１】
2015023354.tif 000004
【図２】
2015023354.tif 000005
【図３】
2015023354.tif 000006
【図４】
2015023354.tif 000007
【図５】
2015023354.tif 000008
【図６】
2015023354.tif 000009
【図７】
2015023354.tif 000010
【図８】
2015023354.tif 000011
【図９】
2015023354.tif 000012
【図１０】
2015023354.tif 000013
【図１１】
2015023354.tif 000014
【図１２】
2015023354.tif 000015
【図１３】
2015023354.tif 000016