(57)【要約】  本技術は、音源間の音圧差を復元することで、より臨場感の増した音を提供することができるようにする信号処理装置、信号処理方法、並びにプログラムに関する。音響信号を取得する音響信号取得部と、音源と、音源からの音を集音する集音部までの距離に関する音源位置情報を取得する音源位置情報取得部と、音響信号を再生する再生装置と、再生装置で再生された音を受聴する受聴者との距離に関する受聴位置情報を取得する受聴位置情報取得部と、音源位置情報と受聴位置情報に基づいて、音響信号のゲインを補正する補正部とを備える。本技術は、例えば、テレビ電話システムに適用できる。
2017073324.tif 000002
【特許請求の範囲】
【請求項１】
音響信号を取得する音響信号取得部と、
音源と、前記音源からの音を集音する集音部までの距離に関する音源位置情報を取得する音源位置情報取得部と、
前記音響信号を再生する再生装置と、前記再生装置で再生された音を受聴する受聴者との距離に関する受聴位置情報を取得する受聴位置情報取得部と、
前記音源位置情報と前記受聴位置情報に基づいて、前記音響信号のゲインを補正する補正部と
を備える信号処理装置。
【請求項２】
前記補正部は、前記音響信号のゲインを補正することで、複数の音源間の音圧差関係を復元する
請求項１に記載の信号処理装置。
【請求項３】
前記補正部は、前記音源位置情報が示す距離が距離ｒ１であり、前記受聴位置情報が示す距離が距離ｒ２である場合、前記音響信号に（ｒ１・ｒ２）／（ｒ１＋ｒ２）を乗算する
請求項１に記載の信号処理装置。
【請求項４】
前記受聴位置情報が示す距離は、固定値である
請求項１に記載の信号処理装置。
【請求項５】
前記音響信号取得部は、ネットワークを介して前記音響信号を取得し、
前記音源位置情報取得部は、ネットワークを介して前記音源位置情報を取得する
請求項１に記載の信号処理装置。
【請求項６】
前記受聴位置情報取得部は、ネットワークを介して前記受聴位置情報を取得する
請求項１に記載の信号処理装置。
【請求項７】
複数の受聴者がいた場合、前記受聴位置情報は、前記複数の受聴者のそれぞれと前記再生装置との距離の平均値、前記複数の受聴者のうちの前記再生装置に最も近い位置に居る受聴者までの距離、または固定値とされる
請求項１に記載の信号処理装置。
【請求項８】
音響信号を取得し、
音源と、前記音源からの音を集音する集音部までの距離に関する音源位置情報を取得し、
前記音響信号を再生する再生装置と、前記再生装置で再生された音を受聴する受聴者との距離に関する受聴位置情報を取得し、
前記音源位置情報と前記受聴位置情報に基づいて、前記音響信号のゲインを補正する
ステップを含む信号処理方法。
【請求項９】
音響信号を取得し、
音源と、前記音源からの音を集音する集音部までの距離に関する音源位置情報を取得し、
前記音響信号を再生する再生装置と、前記再生装置で再生された音を受聴する受聴者との距離に関する受聴位置情報を取得し、
前記音源位置情報と前記受聴位置情報に基づいて、前記音響信号のゲインを補正する
ステップを含む処理をコンピュータに実行させるためのプログラム。
【請求項１０】
音源からの音を集音する集音部と、
前記音源と前記集音部との間の距離を測定する距離測定部と、
前記集音部で集音された前記音の音響信号を再生する再生装置と、前記再生装置で再生された音を受聴する受聴者との距離に関する受聴位置情報を取得する受聴位置情報取得部と、
前記距離測定部で測定された距離と前記受聴位置情報が示す距離に基づいて、前記音響信号のゲインを補正する補正部と
を備える信号処理装置。
【請求項１１】
前記補正部で補正された前記音響信号を、前記再生装置に供給する
請求項１０に記載の信号処理装置。
【請求項１２】
前記集音部は、マイクロフォンアレイで構成され、
前記距離測定部は、前記マイクロフォンアレイで集音された音同士の相互相関を計算し、相関の高い音を集音したマイクロフォン同士の距離を用いて、前記音源までの距離を測定する
請求項１０に記載の信号処理装置。
【請求項１３】
前記距離測定部は、音源を撮像した画像を解析して音源までの距離を測定する
請求項１０に記載の信号処理装置。
【請求項１４】
前記距離測定部は、ＧＰＳを用いて前記音源と前記集音部との間の距離を測定する
請求項１０に記載の信号処理装置。
【請求項１５】
前記集音部は、音源に近接して集音するマイクロフォンで構成され、
前記距離測定部は、所定の位置を基準とし、前記所定の位置と前記マイクロフォンとの間の距離を測定する
請求項１０に記載の信号処理装置。
【請求項１６】
音源からの音を集音し、
前記音源と前記音を集音する集音部との間の距離を測定し、
集音された前記音の音響信号を再生する再生装置と、前記再生装置で再生された音を受聴する受聴者との距離に関する受聴位置情報を取得し、
測定された前記距離と前記受聴位置情報が示す距離に基づいて、前記音響信号のゲインを補正する
ステップを含む信号処理方法。
【請求項１７】
音源からの音を集音し、
前記音源と前記音を集音する集音部との間の距離を測定し、
集音された前記音の音響信号を再生する再生装置と、前記再生装置で再生された音を受聴する受聴者との距離に関する受聴位置情報を取得し、
測定された前記距離と前記受聴位置情報が示す距離に基づいて、前記音響信号のゲインを補正する
ステップを含む処理をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、信号処理装置、信号処理方法、並びにプログラムに関する。詳しくは、音源間の音圧差の関係を復元できるようにし、より臨場感が得られるようにするときに用いて好適な信号処理装置、信号処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、テレビ電話システムやテレビ会議システムなどと称されるシステムが普及しつつある。例えば、テレビ電話システムやテレビ会議システムは、遠隔地にいるユーザ同士が、映像を見ながら話をできるシステムである。【０００３】
例えば、テレビ会議システムにおいては、互いに離れた二地点間のそれぞれの地点に、音声会議用の装置が配置される。この音声会議用の送信側の装置は、複数のマイクで異なる方位からの発生音を収音して音声信号を相手側の音声会議装置に送信する。一方、音声会議用の受信側の装置は、相手側の音声会議用の装置で収音された音声信号を受信すると、その音声をスピーカから放音する。【０００４】
テレビ会議システムやテレビ電話システムにおいて、より臨場感が得られるような制御が行われるようにすることが、例えば特許文献１乃至３や、非特許文献１で提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４８８２７５７号公報
【特許文献２】特開２００７−２７４４６２号公報
【特許文献３】特許第４５１８７２９号公報
【非特許文献】
【０００６】
【非特許文献１】安藤彰男, 「物理音響モデルに基づく音響システムの研究動向」, NHK技研 R&D/No.126/2011.3
【発明の概要】
【発明が解決しようとする課題】
【０００７】
遠隔地にいるユーザ同士が、テレビ電話システムなどで対話するとき、臨場感を向上させるために、送信側の音場を受信側で再現するようにした場合、例えば、波面合成技術を適用することが考えられる。しかしながら、波面合成技術を用いると、多数のマイクとスピーカが必要となり、コストが高くなってしまう、装置の規模が大掛かりな物となってしまう。【０００８】
さまざまな場面で、臨場感を向上させることは望まれており、より臨場感を向上させることができるとともに、コストや装置の規模の面などから、より導入しやすい技術の提案が望まれている。【０００９】
本技術は、このような状況に鑑みてなされたものであり、離れた場所のユーザと、あたかも同一の場所に存在しているかのような臨場感を得ることができるようにするものである。
【課題を解決するための手段】
【００１０】
本技術の一側面の第１の信号処理装置は、音響信号を取得する音響信号取得部と、音源と、前記音源からの音を集音する集音部までの距離に関する音源位置情報を取得する音源位置情報取得部と、前記音響信号を再生する再生装置と、前記再生装置で再生された音を受聴する受聴者との距離に関する受聴位置情報を取得する受聴位置情報取得部と、前記音源位置情報と前記受聴位置情報に基づいて、前記音響信号のゲインを補正する補正部とを備える。【００１１】
前記補正部は、前記音響信号のゲインを補正することで、複数の音源間の音圧差関係を復元するようにすることができる。【００１２】
前記補正部は、前記音源位置情報が示す距離が距離ｒ１であり、前記受聴位置情報が示す距離が距離ｒ２である場合、前記音響信号に（ｒ１・ｒ２）／（ｒ１＋ｒ２）を乗算するようにすることができる。【００１３】
前記受聴位置情報が示す距離は、固定値であるようにすることができる。【００１４】
前記音響信号取得部は、ネットワークを介して前記音響信号を取得し、前記音源位置情報取得部は、ネットワークを介して前記音源位置情報を取得するようにすることができる。【００１５】
前記受聴位置情報取得部は、ネットワークを介して前記受聴位置情報を取得するようにすることができる。【００１６】
複数の受聴者がいた場合、前記受聴位置情報は、前記複数の受聴者のそれぞれと前記再生装置との距離の平均値、前記複数の受聴者のうちの前記再生装置に最も近い位置に居る受聴者までの距離、または固定値とされるようにすることができる。【００１７】
本技術の一側面の第１の信号処理方法は、音響信号を取得し、音源と、前記音源からの音を集音する集音部までの距離に関する音源位置情報を取得し、前記音響信号を再生する再生装置と、前記再生装置で再生された音を受聴する受聴者との距離に関する受聴位置情報を取得し、前記音源位置情報と前記受聴位置情報に基づいて、前記音響信号のゲインを補正するステップを含む。【００１８】
本技術の一側面の第１のプログラムは、音響信号を取得し、音源と、前記音源からの音を集音する集音部までの距離に関する音源位置情報を取得し、前記音響信号を再生する再生装置と、前記再生装置で再生された音を受聴する受聴者との距離に関する受聴位置情報を取得し、前記音源位置情報と前記受聴位置情報に基づいて、前記音響信号のゲインを補正するステップを含む処理をコンピュータに実行させる。【００１９】
本技術の一側面の第２の信号処理装置は、音源からの音を集音する集音部と、前記音源と前記集音部との間の距離を測定する距離測定部と、前記集音部で集音された前記音の音響信号を再生する再生装置と、前記再生装置で再生された音を受聴する受聴者との距離に関する受聴位置情報を取得する受聴位置情報取得部と、前記距離測定部で測定された距離と前記受聴位置情報が示す距離に基づいて、前記音響信号のゲインを補正する補正部とを備える。【００２０】
前記補正部で補正された前記音響信号を、前記再生装置に供給するようにすることができる。【００２１】
前記集音部は、マイクロフォンアレイで構成され、前記距離測定部は、前記マイクロフォンアレイで集音された音同士の相互相関を計算し、相関の高い音を集音したマイクロフォン同士の距離を用いて、前記音源までの距離を測定するようにすることができる。【００２２】
前記距離測定部は、音源を撮像した画像を解析して音源までの距離を測定するようにすることができる。【００２３】
前記距離測定部は、ＧＰＳを用いて前記音源と前記集音部との間の距離を測定するようにすることができる。【００２４】
前記集音部は、音源に近接して集音するマイクロフォンで構成され、前記距離測定部は、所定の位置を基準とし、前記所定の位置と前記マイクロフォンとの間の距離を測定するようにすることができる。【００２５】
本技術の一側面の第２の信号処理方法は、音源からの音を集音し、前記音源と前記音を集音する集音部との間の距離を測定し、集音された前記音の音響信号を再生する再生装置と、前記再生装置で再生された音を受聴する受聴者との距離に関する受聴位置情報を取得し、測定された前記距離と前記受聴位置情報が示す距離に基づいて、前記音響信号のゲインを補正するステップを含む。【００２６】
本技術の一側面の第２のプログラムは、音源からの音を集音し、前記音源と前記音を集音する集音部との間の距離を測定し、集音された前記音の音響信号を再生する再生装置と、前記再生装置で再生された音を受聴する受聴者との距離に関する受聴位置情報を取得し、測定された前記距離と前記受聴位置情報が示す距離に基づいて、前記音響信号のゲインを補正するステップを含む処理をコンピュータに実行させる。【００２７】
本技術の一側面の第１の信号処理装置、信号処理方法、およびプログラムにおいては、音響信号が取得され、音源と、音源からの音を集音する集音部までの距離に関する音源位置情報が取得され、音響信号を再生する再生装置と、再生装置で再生された音を受聴する受聴者との距離に関する受聴位置情報が取得され、音源位置情報と受聴位置情報に基づいて、音響信号のゲインが補正される。【００２８】
本技術の一側面の第２の信号処理装置、信号処理方法、およびプログラムにおいては、音源からの音が集音され、音源と音を集音する集音部との間の距離が測定され、集音された音の音響信号を再生する再生装置と、再生装置で再生された音を受聴する受聴者との距離に関する受聴位置情報が取得され、測定された距離と受聴位置情報が示す距離に基づいて、音響信号のゲインが補正される。
【発明の効果】
【００２９】
本技術の一側面によれば、離れた場所のユーザと、あたかも同一の場所に存在しているかのような臨場感を得ることができる。【００３０】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００３１】
【図１】音響通信システムの構成について説明するための図である。
【図２】音響通信システムにおいて再現する状況について説明するための図である。
【図３】本技術を適用した音響システムの一実施の形態の構成を示す図である。
【図４】本技術を適用した音響システムの他の実施の形態の構成を示す図である。
【図５】音源分離部と距離測定部の構成を示す図である。
【図６】音圧補正部の構成を示す図である。
【図７】受聴距離の設定について説明するための図である。
【図８】記録媒体について説明するための図である。
【発明を実施するための形態】
【００３２】
以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は、以下の順序で行う。
１．臨場感を損なう一因について
２．音響通信システムの構成
３．音源分離部、距離測定部の構成、動作
４．音圧補正部の構成、動作
５．補正対象の音響信号について
６．記録媒体について
【００３３】
＜臨場感を損なう一因について＞
本技術は、遠隔地にいるユーザ同士が、ネットワークを介して対話するときのシステムに適用できる。また、本技術を適用することで、離れた場所のユーザと、あたかも同一の場所に存在しているかのような臨場感を得ることができる。すなわち本技術は、遠隔地にいる相手とあたかも同じ場にいるかのような臨場感を実現するテレプレゼンスという概念があるが、そのようなテレプレゼンスの技術に適用できる。
【００３４】
このような臨場感を得られる本技術について説明するために、まず図１、図２を参照し、臨場感を損なう一因について説明を加える。
【００３５】
図１は、音響通信システムの一例を示す図である。送信側は、音源１１、音源１２、および集音部１３を含む。音源１１や音源１２は、人、スピーカなどである。集音部１３は、マイクロフォンなどであり、音源１１や音源１２からの音を集音する。集音部１３で集音された音は、ネットワークなどを介して、受信側に送信される。
【００３６】
受信側は、再生音源２１を含む。再生音源２１は、スピーカなどであり、送信側から送信されてきた音を再生する。受聴者２２は、再生音源２１からの音を受聴する。
【００３７】
なお、以下の説明では音源を全て点音源と仮定して説明を続けるが、点音源以外であっても本技術を適用することはできる。また、点音源の発する音の音圧は距離に反比例して減衰していくため、以下の説明においては、点音源から１ｍの距離で観測される音量(音圧)を１として、それとの比で音量を表すものとする。
【００３８】
このような音響通信システムにおいて、臨場感を損なう一因として、送信側と受信側で感じる各音源間の音量感の差異があげられる。このことについて図１、図２を参照して説明する。
【００３９】
図１に示した音響通信システムにおいて、送信側の集音部１３と音源１１は、１ｍ（＝ｒ１ａ）離れているとする。また、送信側の集音部１３と音源１２は、６ｍ（＝ｒ１ｂ）離れているとする。また、受信側の再生音源２１と受聴者２２は、４ｍ（＝ｒ２）離れているとする。
【００４０】
集音部１３と再生音源２１を同一点とした場合、換言すれば、音源１１、音源１２、再生音源２１、および受聴者２２が、同一の空間にいた場合、図２に示すような状況となる。すなわち音源１１と受聴者２２は、５ｍ（＝１＋４＝ｒ１ａ＋ｒ２＝ｒａ）だけ離れていることになる。また同様に、音源１２と受聴者２２は、１０ｍ（＝６＋４＝ｒ１ｂ＋ｒ２＝ｒｂ）だけ離れていることになる。
【００４１】
仮に同一空間に音源１１、音源１２、再生音源２１、および受聴者２２が存在していた場合、図２に示すように、受聴者２２は、５ｍ（＝ｒａ）離れた位置で、音源１１からの音を聞いていることになる。また、受聴者２２は、１０ｍ（＝ｒｂ）離れた位置で、音源１２からの音を聞いていることになる。
【００４２】
ところで、点音源の発する音の音圧は距離に反比例して減衰していくため、図２に示したように、音源と受聴者２２が同一空間に存在する場合、音源１１からの音は、５ｍ伝搬して受聴者２２に届くため、1/5倍された音圧で届くことになる。また音源１２からの音は、１０ｍ伝搬して受聴者２２に届くため、1/10倍された音圧で届くことになる。
【００４３】
すなわちこの場合、音源１１と音源１２が、それぞれ同じ音量で音を発している場合、受聴者２２の位置における音源１２の音は、音源１１の音に比べて約６ｄＢ小さい(＝５／１０)音として知覚される。
【００４４】
一方、図１に示した音響通信システムにおいては、音源１１からの音は、１ｍ伝搬して集音部１３で集音され、４ｍ伝搬して、再生音源２１から受聴者２２に届く。この場合、音源１１からの音は、１ｍ伝搬して集音部１３に届くため、集音部１３には、1/1倍された音圧で届くことになる。この1/1倍された音圧の音響信号が、ネットワークなどを介して、再生音源２１に伝送され、再生音源２１から４ｍ伝搬して受聴者２２に届く。よって、1/1×1/4＝1/4倍された音圧で、音源１１からの音が、受聴者２２に届くことになる。
【００４５】
また図１に示した音響通信システムにおいては、音源１２からの音は、６ｍ伝搬して集音部１３で集音され、４ｍ伝搬して、再生音源２１から受聴者２２に届く。この場合、音源１２からの音は、６ｍ伝搬して集音部１３に届くため、集音部１３には、1/6倍された音圧で届くことになる。この1/6倍された音圧の音響信号が、ネットワークなどを介して、再生音源２１に伝送され、再生音源２１から４ｍ伝搬して受聴者２２に届く。よって、1/6×1/4＝1/24倍された音圧で、音源１１からの音が、受聴者２２に届くことになる。
【００４６】
図１に示した音響通信システムにおいては、音源１１と音源１２が、それぞれ同じ音量で音を発している場合、受聴者２２の位置における音源１２の音は、音源１１の音に比べて約１５．６ｄＢ小さい(＝１／６)音として知覚される。
【００４７】
図１に示した音響通信システムにおいては、受聴者２２の位置における音源１２の音は、音源１１の音に比べて約１５．６ｄＢ小さい音として知覚される。図２に示した状態においては受聴者２２の位置における音源１２の音は、音源１１の音に比べて約６ｄＢ小さい音として知覚される。
【００４８】
このように、音響通信システムにおいては、図１に示したような環境の場合、集音部１３より遠い位置にある音源１２は、集音部１３よりも近い位置にある音源１１よりも、過剰に小さい音として受聴者２２に知覚されてしまう。
【００４９】
換言すれば、図２に示したような状況において、音源１１からの音と音源１２からの音をそれぞれ受聴者２２が知覚するような音圧関係は、図１に示した音響通信システムにおいては再現できず、音源１２からの音の方が、音源１１からの音よりも過剰に小さく知覚されてしまう。
【００５０】
音響通信システムにおいて、臨場感を損なう一因としては、このような音源間の音量差（音圧差）が維持できないというのがある。
【００５１】
このことを、図１、図２に示した距離ｒ１ａ，ｒ１ｂ，ｒ２，ｒａ，ｒｂを用いて再度説明する。
【００５２】
図１に示した音響システムにおいて、送信側の集音部１３では、音源１１の音が、伝搬に伴い１／ｒ１ａ倍されて届き、その音が、受信側の再生音源２１から放音されると、再度伝搬により１／ｒ２倍された音圧で受聴者２２に届く。よって、音源１１からの音の音圧は、１／（ｒ１ａ・ｒ２）の大きさとなる。
【００５３】
同様に、音源１２からの音の音圧は、１／（ｒ１ｂ・ｒ２）の大きさとなる。よって、受聴者２２が知覚する音源１１と音源１２の音量差は、（ｒ１ａ／ｒ１ｂ）倍となる。上記したように、ｒ１ａ＝１、ｒ１ｂ＝６である場合、１／６＝−１５．４ｄＢとなる。
【００５４】
一方、図２に示したように、送信側と受信側が、音響通信で繋がるのではなく、物理的に接続されている状況を想定した場合、音源１１と受聴者２２は、距離ｒａ＝ｒ１ａ＋ｒ２だけ離れた位置に存在し、音源１２と受聴者２２は、距離ｒｂ＝ｒ１ｂ＋ｒ２だけ離れた位置に存在している。このような場合、音源１１の音は、1/ｒa＝1/(ｒ１b＋ｒ２)倍、音源１２の音は、1/ｒb＝1/(ｒ１ｂ＋ｒ２)倍の大きさで受聴者２２に届く。
【００５５】
よって、受聴者２２が感じる音源１１と音源１２の音量差は、ｒａ／ｒｂ＝(ｒ１ａ＋ｒ２)／(ｒ１ｂ＋ｒ２)倍となる。上記したように、ｒａ＝５、ｒｂ＝１０である場合、５／１０＝−６．０ｄＢとなる。
【００５６】
このように音響通信のための集音や再生を行うと、集音部１３近くの音が強調される一方で、遠くの音が抑圧されるという現象が生じる。そのため集音部１３から遠い位置の音源(図１では音源１２)の音が、実際より遠くに位置しているなど遠近感が狂うほか、集音部１３から遠い位置にいる人の声が聞き取れない、洗い物や空調の音など雰囲気を形作る雑多な背景音が聞こえないなど、臨場感に大きな悪影響をもたらす可能性がある。
【００５７】
また、このような現象は、送信側に存在する音源数が１であっても、その音源が移動した場合、または受聴者２２自身が移動した場合、同様に問題となる。例えば、音源１１の位置にあった音源が、ある時点で音源１２の位置に移動した場合を考える。このような状況下のとき、音響通信を用いた場合、音源が遠ざかることによって知覚される音量の減少がより過大となるため、音源が実際以上に遠くに移動したように感じられ、臨場感に悪影響を及ぼしてしまうことが考えられる。
【００５８】
そこで、臨場感に悪影響を取り除くために、波面の伝搬を物理的に再現する波面合成技術がある。しかしながら波面合成を行うためには、多数のマイク(集音装置)とスピーカ(放音装置)が必要となり、通信の伝送帯域も相応に大きくなる。また双方向通信を行うためには多チャンネルのエコーキャンセルが必要となるために技術的なハードルが高く、コストが高くなる傾向にある。
【００５９】
また、単に集音部から遠くの音も近くの音も同様に聞こえるようにするだけであれば、利得制御により出力する音圧を一定のレベル範囲に保つことにより、ある程度対処可能である。しかしながら、この手法のみでは複数音源が同時に発音した際には上手く働かない他、過度に利得をかけると音の遠近感が全くなくなってしまい、かえって臨場感が損なわれる可能性がある。
【００６０】
このようなことに対して、より簡便な方法で効率的に対処することが求められる。以下に説明する本技術を適用することで、より簡便な方法で効率的に対処することができる。
【００６１】
＜音響通信システムの構成＞
図３は、本技術を適用した音響通信システムの一実施の形態の構成を示す図である。
【００６２】
音響通信システムは、送信側と受信側とから構成される。送信側は、音源１１１、音源１１２、集音部１１３、音源分離部１１５、および距離測定部１１４を含む。音源１１１や音源１１２は、人、スピーカなどであり、音を発するものである。集音部１１３は、マイクロフォンなどであり、音源１１１や音源１１２からの音を集音する。集音部１１３で集音された音は、音源分離部１１５に供給される。
【００６３】
音源分離部１１５は、例えば、図３に示したように、２つの音源１１１と音源１１２が存在していた場合、音源１１１からの音と音源１１２からの音を分離する。分離された音(音響信号)は、ネットワークなどを介して接続されている受信側に供給される。
【００６４】
距離測定部１１４は、音源と集音部１３の距離を測定する。例えば、図３に示したように、２つの音源１１１と音源１１２が存在していた場合、音源１１１と集音部１１３の間の距離と、音源１１２と集音部１１３の間の距離を、それぞれ測定する。なお以下の説明においては、音源１１１と集音部１１３の間の距離を距離ｒ１ａとし、音源１１２と集音部１１３の間の距離を距離ｒ１ｂとする。
【００６５】
距離測定部１１４で測定された距離(音源位置情報)は、音源分離部１１５からの音響信号とともに、受信側に供給される。ここでは、距離測定部１１４と音源分離部１１５を別体としているが、後述するように、１つの信号処理装置として構成しても良い。また集音部１１３も含めて、１つの信号処理装置としても良い。
【００６６】
受信側は、再生音源１２１、音圧補正部１２３、および距離測定部１２４を含む。再生音源１２１は、スピーカなどであり、送信側から送信されてきた音を再生する放音装置である。受聴者１２２は、再生音源１２１からの音を受聴する。
【００６７】
音圧補正部１２３は、送信側からの音響信号を処理する信号処理装置として機能する。音圧補正部１２３には、送信側の距離測定部１１４からの音源位置情報と音源分離部１１５からの音響信号が供給される。また音圧補正部１２３には、距離測定部１２４からの受聴位置情報も供給される。距離測定部１２４は、再生音源１２１と受聴者１２２との間の距離を測定する。ここでは、再生音源１２１と受聴者１２２との間の距離を距離ｒ２とする。
【００６８】
音圧補正部１２３は、音源位置情報と受聴位置情報から、送信側の音源と、受聴者１２２が、同一空間内に存在したときの距離、例えば、図２に示したような状況下のときの音源と受聴者１２２との距離を算出し、そのような状況下で聞こえるであろう音圧で、音源からの音が受聴者１２２に供給されるように、供給された音響信号を補正する。具体的には、音響信号に、距離に応じた値を乗算することで、ゲインを補正する。
【００６９】
図３においても、図１に示した音響通信システムと同じく、送信側の集音部１１３と音源１１１は、１ｍ（＝ｒ１ａ）離れているとする。また、送信側の集音部１１３と音源１１２は、６ｍ（＝ｒ１ｂ）離れているとする。また、受信側の再生音源１２１と受聴者１２２は、４ｍ（＝ｒ２）離れているとする。
【００７０】
上記した臨場感を損なう要因を取り除くためには、送信側の装置において音源の位置を推定すると同時に、受信側の受聴者の位置も測定する必要がある。そこで、図３に示した音響通信システムにおいては、受信側において、距離測定部１２４を備え、再生音源１２１から受聴者１２２までの距離が測定され、その測定された距離も考慮して、音圧補正部１２３において音圧が補正される。
【００７１】
送信側の音源１１１または音源１１２と集音部１１３との距離を距離ｒ１とし、受信側の再生音源１２１と受聴者１２２との距離を距離ｒ２とした場合、音圧補正部１２３は、音源（音源１１１または音源１１２)に対応した音響信号を、（ｒ１・ｒ２）／（ｒ１＋ｒ２）倍することで各音源間の音量差を復元することが出来る。なおｒ１は、図３における距離ｒ１ａまたは距離ｒ１ｂである。
【００７２】
ｒ１ａ＝１ｍ、ｒ１ｂ＝６ｍ、ｒ２＝４ｍである場合、音圧補正部１２３は、音源１１１からの音響信号を
（ｒ１ａ・ｒ２）／（ｒ１ａ＋ｒ２）＝１・４／（１＋４）＝−１．９４ｄＢ
の音量調整を行い、音源１１２からの音響信号を
（ｒ１ｂ・ｒ２）／（ｒ１ｂ＋ｒ２）＝６・４／（６＋４）＝７．６０ｄＢ
の音量調整を行う。
【００７３】
このような音量調整（ゲインの補正）が行われることで、音源１１２からの音は、音源１１１からの音と相対的に、９．５４（＝７．６０−（−１．９４））ｄＢ増幅されて、再生音源１２１から再生され、放音される。
【００７４】
図１、図２を参照した説明において、音源１１と音源１２の音圧差は、図１に示した音響信号システムにおいては１５．６ｄＢであり、図２に示した状況下においては６ｄＢであると説明した。この場合の図１に示した音響信号システムにおける音圧と、図２に示した同一空間で聞いたときの音圧の差分は、９．４（＝１５．４−６．０）ｄＢである。
【００７５】
この差分（差分Ａとする）を解消すれば、図２に示した同一空間で聞いたときの音圧差を、図１に示した音響信号システムにおいても復元できることになる。上記したような処理（ゲインの補正）を行うことで、上記した例では、音源１１２からの音は、音源１１１からの音と相対的に、９．５４（＝７．６０−（−１．９４））ｄＢ増幅された音とすることができるため、差分Ａを解消することができる。
【００７６】
よって、音圧補正部１２３で、上記したように音圧を補正することで、上記の音源間の音量差関係の不一致や、移動音源や受聴者の移動前後の音量差関係の不一致が解消されるため、臨場感を向上させた音響を提供できるようになる。
【００７７】
図４は、本技術を適用した音響通信システムの他の実施の形態の構成を示す図である。
【００７８】
図４に示した音響通信システムにおいて、図３に示した音響通信システムと同一の部分に関しては、同一の符号を付し、適宜説明を省略する。図４に示した音響通信システムでは、受信側で行われていた音圧補正を、送信側で行う構成とされている。
【００７９】
すなわち、図４に示した音響通信システムの送信側は、図３に示した音響通信システムの送信側と比較して、音圧補正部２０１が追加された構成とされている点が異なり、他の部分は同一である。また図４に示した音響通信システムの受信側は、図３に示した音響通信システムの受信側と比較して、音圧補正部１２３（図３）が削除された構成とされている点が異なり、他の部分は同一である。
【００８０】
送信側に設けられた音圧補正部２０１は、音源分離部１１５で分離された音源１１１と音源１１２のそれぞれからの音響信号と、距離測定部１１４からの音源１１１と音源１１２のそれぞれの音源位置情報の供給を受ける。また音圧補正部２０１は、受信側に備えられている距離測定部１２４から、再生音源１２１と受聴者１２２との距離に関する受聴位置情報をネットワーク経由で受信する。
【００８１】
音圧補正部２０１は、上記した音圧補正部１２３と同じ処理を行うことで、音源１１１と音源１１２からの音響信号を、受聴者１２２と音源１１１、音源１１２との距離を考慮した音圧に補正し、音源間の音量差関係の不一致や、移動音源や受聴者の移動前後の音量差関係の不一致を解消した状態の音響信号を、受信側に供給する。
【００８２】
受信側は、既に音圧補正がされた音響信号を受信するため、再生音源１２１では、供給された音響信号を再生するだけで、上記したように、音源間の音量差関係の不一致や、移動音源や受聴者の移動前後の音量差関係の不一致を解消した状態で、受聴者２２に音を供給することができる。
【００８３】
このように、図４に示した音響通信システムのように、送信側で音圧補正を完結させる構成としても良い。このような構成を取る場合、受信側から受聴位置情報が得られない場合に、ある既定の受聴位置を定めて音圧補正を行うと定めることで、受信側の機器が既存の音圧差補正を想定していないものだったとしても接続可能となる効果を得られる。
【００８４】
＜音源分離部、距離測定部の構成＞
図３または図４に示した音響通信システムにおける集音部１１３、距離測定部１１４、および音源分離部１１５の構成について説明する。
【００８５】
図５は、集音部１１３、距離測定部１１４、および音源分離部１１５の構成を示す図である。図５に示した構成においては、距離の測定と音源の分離が同時に行われる。図５には、集音部１１３、距離測定部１１４、および音源分離部１１５で１つの信号処理装置を構成する場合の構成を示している。
【００８６】
図５に示した信号処理装置において、集音部１１３は、集音部１１３−１と集音部１１３−２から構成されている。集音部１１３−１と集音部１１３−２は、所定の距離を有した状態で配置されている。
【００８７】
また集音部１１３−１と集音部１１３−２は、それぞれ、例えば、横方向にマイクロフォンが複数配置されたマイクロフォンアレイで構成されている。以下の説明において、集音部１１３−１と集音部１１３−２を個々に区別する必要がない場合、単に集音部１１３と記述する。また、他の部分に関しても同様に記載する。
【００８８】
集音部１１３−１で集音された音は、方向別音分離部３０１−１に供給され、集音部１１３−２で集音された音は、方向別音分離部３０１−２に供給される。方向別音分離部３０１は、供給された音を、方向別に分離する。
【００８９】
集音部１１３をマイクロフォンアレイで構成し、そのマイクロフォンアレイを複数の部分に分割して処理を行う。方向別音分離部３０１は、複数の部分に分割されたマイクロフォンアレイのそれぞれの部分アレイに対して、例えば、MUSIC（Multiple signal classification）法に基づいて音源の方位を推定し、推定された方位別に音を分離する。
【００９０】
MUSIC法に関しては、下記文献に記載がある方法を適用することができる。
R.O.Schmidt, “Multiple emitter location and signal parameter estimation,” IEEE Trans. Antennas Propagation,vol.AP-34,no.3,pp.276〜280,Mqrch 1986.
【００９１】
方向別音分離部３０１−１で方向別に分離された音響信号は、スイッチ３０２−１と相関計算部３０３に供給される。また方向別音分離部３０１−２で方向別に分離された音響信号は、スイッチ３０２−２と相関計算部３０３に供給される。
【００９２】
方向別音分離部３０１による処理で、音源の方向に関する情報も取得できる。方向別音分離部３０１−１で推定された方向に関する情報（方向情報）も、スイッチ３０２−１に供給される。また方向別音分離部３０１−２で推定された方向に関する情報も、スイッチ３０２−２に供給される。
【００９３】
相関計算部３０３は、分離された音響信号の各組み合わせに対して相互相関を計算し、相関の高い方向の音響信号には、同一音源の音が含まれていると判定する。スイッチ３０２−１とスイッチ３０２−２は、それぞれ相関計算部３０３の指示によりスイッチを切り換える。すなわち、相関の高いと判定された音響信号が、加算部３０４−１または加算部３０４−２に供給されるようにスイッチ３０２−１とスイッチ３０２−２のそれぞれはスイッチングを行う。
【００９４】
加算部３０４には、相関が高いと判定された音響信号が供給される。例えば、図５に示したように音源１１１と音源１１２からの音が、それぞれ集音部１１３で集音されている場合、加算部３０４−１に、集音部１１３−１で集音された音源１１１からの音響信号と集音部１１３−２で集音された音源１１１からの音響信号が供給される。加算部３０４−１は、供給された音響信号を加算平均して、受信側にネットワークを介して供給する。
【００９５】
同様に、加算部３０４−２に、集音部１１３−１で集音された音源１１２からの音響信号と集音部１１３−２で集音された音源１１２からの音響信号が供給される。加算部３０４−２は、供給された音響信号を加算平均して、受信側にネットワークを介して供給する。
【００９６】
なおここでは加算平均が行われるとして説明したが、他の計算により２以上の音響信号が合成されるようにしても良い。また、ここでは、加算部３０４を設け、加算平均されてから受信側に供給されるとしたが、加算部３０４を設けずに、スイッチ３０２でレベルの高い方の音響信号が選択され、受信側に供給されるようにしても良い。
【００９７】
スイッチ３０２には、方向別音分離部３０１から、方向情報も供給される。スイッチ３０２により選択された方向情報は、位置計算部３０５に供給される。例えば、スイッチ３０２−１により、音源１１１の方向情報が選択され、位置計算部３０５−１に供給された場合、スイッチ３０２−２からも、音源１１１の方向情報が選択され位置計算部３０５−１に供給される。また、このとき、スイッチ３０２−２により、音源１１２の方向情報が選択され、位置計算部３０５−２に供給され、スイッチ３０２−２により、音源１１２の方向情報が選択され位置計算部３０５−２に供給される。
【００９８】
この場合、集音部１１３−１の所定の部分のアレイ部（第１のアレイ部とする）で集音された音源１１１の音響信号が加算部３０４−１に供給され、第１のアレイ部に対する音源１１１の方向に関する方向情報が、位置計算部３０５−１に供給される。また、同様に、集音部１１３−２の所定の部分のアレイ部（第２のアレイ部とする）で集音された音源１１１の音響信号が加算部３０４−１に供給され、第２のアレイ部に対する音源１１１の方向に関する方向情報が、位置計算部３０５−１に供給される。
【００９９】
位置計算部３０５−１は、第１のアレイ部と第２のアレイ部との間の距離は予め取得済である。この距離、第１のアレイ部に対する音源１１１の方向に関する方向情報、および第２のアレイ部に対する音源１１１の方向に関する方向情報を用いて、例えば、三角測量の原理を用いることで、音源１１１までの距離を算出する。
【０１００】
位置計算部３０５−１により算出された音源１１１の位置情報は、加算部３０４−１から出力される音源１１１の音響信号と関連付けられて、受信側に供給される。
【０１０１】
同様に、集音部１１３−１の所定の部分のアレイ部（第３のアレイ部とする）で集音された音源１１２の音響信号が加算部３０４−２に供給され、第３のアレイ部に対する音源１１２の方向に関する方向情報が、位置計算部３０５−２に供給される。また、同様に、集音部１１３−２の所定の部分のアレイ部（第４のアレイ部とする）で集音された音源１１２の音響信号が加算部３０４−２に供給され、第２のアレイ部に対する音源１１２の方向に関する方向情報が、位置計算部３０５−２に供給される。
【０１０２】
位置計算部３０５−２は、第３のアレイ部と第４のアレイ部との間の距離は予め取得済である。この距離、第３のアレイ部に対する音源１１２の方向に関する方向情報、および第４のアレイ部に対する音源１１２の方向に関する方向情報を用いて、例えば、三角測量の原理を用いることで、音源１１２までの距離を算出する。
【０１０３】
位置計算部３０５−２により算出された音源１１２の位置情報は、加算部３０４−２から出力される音源１１２の音響信号と関連付けられて、受信側に供給される。
【０１０４】
このようにして、音源１１１からの音響信号と、音源１１１と集音部１１３の距離が、それぞれ取得され、関連付けられて、受信側に供給される。また音源１１２からの音響信号と、音源１１２と集音部１１３の距離が、それぞれ取得され、関連付けられて、受信側に供給される。
【０１０５】
なおここでは、２つの音源に対する処理を例に挙げて説明したが、２以上の音源に対しても同様に処理することで、それぞれの音源からの音響信号と距離が算出され、それぞれ関連付けられて受信側に供給される。
【０１０６】
ここでは、図５に示した構成を例に挙げ、距離と音響信号が取得される場合の集音部１１３、距離測定部１１４、および音源分離部１１５の構成および動作について説明したが、他の構成や他の方法により、距離や音響信号が取得されるようにしても良い。
【０１０７】
例えば、送信側において、発話者や発音体の数（音源の数）が予めわかっている場合、その数分だけ、集音部１１３のアレイ部を分割し、処理が行われるようにしても良い。
【０１０８】
また、それぞれの音源に、ピンマイクなどと称されるマイクロフォンを装着し、音源に近接して集音できるようにした場合、それぞれの音源に近接した集音部１１３により、それぞれの音源から音響信号を取得することができる。よって、集音部１１３で取得された音を、音源別に分離するという処理を省略することができる。この場合、集音部１１３は、マイクロフォンアレイで構成されるのではなく、ピンマイクなどの複数のマイクロフォンで構成される。
【０１０９】
また、音源の位置は、例えば、事前に集音部１１３の設置位置が決まっている場合には、その設置位置が取得されるようにしても良い。例えば、ユーザにより事前入力された位置情報が用いられるようにしても良い。
【０１１０】
また、図５に示した例では、MUSIC法や三角測量を用いて音源までの距離が算出される例を示したが、他の方法、例えば、画像解析や電波的な測位手段等を用いて距離が算出されるようにしても良い。
【０１１１】
例えば、集音部１１３に近い位置に、音源１１１や音源１１２を撮像する撮像装置が設置され、その撮像装置により撮像された画像が解析されることにより、音源１１１や音源１１２までの距離が推定されるようにしても良い。
【０１１２】
また、ＧＰＳ（Global Positioning System）などの電波的な測位手段により音源の位置が特定され、集音部１１３から音源までの距離が推定されるようにしても良い。また、赤外線などの電波を用いて、対象物（音源）までの距離が測定されるようにしても良い。
【０１１３】
ところで、上記したピンマイクなど、音源に近接した位置に設置され、音源からの音を集音する装置を用いた場合（近接集音の場合）、集音部と音源との位置関係は、どの集音部と音源においてもほぼ同一となる。
【０１１４】
図３（または図５）を参照して説明したように、集音部１１３と音源１１１の距離と、集音部１１３と音源１１２の距離が異なる場合、音圧補正部１２３（または音圧補正部２０１）では、その距離を用いて、音圧を補正するが、近接集音の場合、上記したように、同一の距離となってしまう可能性がある。
【０１１５】
そこで、近接集音の場合、所定の位置を集音位置として仮定し、その仮定した集音位置からそれぞれの音源の距離が算出され、それぞれの音源からの音の音圧が制御されるようにしても良い。例えば、カメラなどで映像を撮影しながら対話を行うようなテレビ電話などと称されるシステムの場合、近接集音のときには、カメラから各音源の距離が算出され、それぞれの音源からの音の音圧が制御されるようにしても良い。
【０１１６】
また、近接集音の場合、音響信号を受信側に送出する前に、得られた位置情報を元に送信側の基準位置（例えば、映像を伴う場合はカメラの位置など）まで音が伝搬する際に受けるであろう減衰量を掛けておく。このようにしておくことで、受信側では、上記したマイクロフォンアレイを用いた場合と近接集音の場合とを区別することなく、同一の処理を行うことで、音源間の音圧差関係を補正、復元することが可能である。
【０１１７】
また、受信側で上記したマイクロフォンアレイを用いた場合と近接集音の場合とを区別することなく処理を行うことが出来るようにすることで、マイクロフォンアレイを用いた場合の方を、近接集音の場合の方に合わせる事でも享受可能である。
【０１１８】
すなわち、マイクロフォンアレイを用いて分離、集音した後の音響信号に対して、音源からマイクロフォンアレイの中心位置まで伝搬する間に受けた減衰量を打ち消すゲインを掛けて送出することで、近接集音の場合の音を、そのまま送った場合と区別することなく受信側で音源間の音圧差関係を補正、復元することが可能となる。
【０１１９】
このように、送信側、換言すれば、音を集音する側では、音を集音し、音源までの距離が測定される。次に、音響信号と距離を取得し、処理する音圧補正部の構成と動作について説明する。
【０１２０】
＜音圧補正部の構成、動作＞
図６は、音圧補正部１２３（図３）の構成を示す図である。図４に示した音圧補正部２０１も、図６に示した音圧補正部１２３と基本的に同様の構成となるため、ここでは、音圧補正部１２３を例に挙げて説明する。
【０１２１】
音圧補正部１２３は、乗算器４０１−１、乗算器４０２−１、加算部４０３−１、除算部４０４−１、乗算器４０１−２、乗算器４０２−２、加算部４０３−２、除算部４０４−２、加算部４０５、および乗算部４０６を含む構成とされている。また、距離測定部１２４からの受聴位置情報を入力する入力部４０７も含む。
【０１２２】
送信側から供給される音響信号を、音響入力信号ｘ１ａ、音響入力信号ｘ１ｂとする。また、送信側から供給される音源位置情報のうち、音響入力信号ｘ１ａに関連付けられている音源位置情報を、音源位置情報ｒ１ａとし、音響入力信号ｘ１ｂに関連付けられている音源位置情報を、音源位置情報ｒ１ｂとする。また、受聴者１２２の位置情報を、受聴位置情報ｒ２とする。
【０１２３】
乗算器４０１−１には、音響入力信号ｘ１ａと音源位置情報ｒ１ａが供給される。乗算器４０１−１は、供給された音響入力信号ｘ１ａと音源位置情報ｒ１ａを乗算し、乗算部４０２−１に供給する。乗算部４０２−１には、受聴位置情報ｒ２も供給される。乗算部４０２−１は、乗算器４０１−１からの（音響入力信号ｘ１ａ×音源位置情報ｒ１ａ）に、受聴位置情報ｒ２を乗算する。
【０１２４】
ここまでの処理で、
（音響入力信号ｘ１ａ×音源位置情報ｒ１ａ）×受聴位置情報ｒ２
＝（ｘ１ａ×ｒ１ａ×ｒ２）＝ａ
が算出される。この値を、図６ではａとして表している。
【０１２５】
加算部４０３−１には、音源位置情報ｒ１ａと受聴位置情報ｒ２が供給される。加算部４０３−１は、供給された音源位置情報ｒ１ａと受聴位置情報ｒ２を加算する。
（音源位置情報ｒ１ａ＋受聴位置情報ｒ２）＝（ｒ１ａ＋ｒ２）＝ｂ
【０１２６】
除算部４０４−１には、乗算部４０２−１からの値ａと、加算部４０３−１からの値ｂが供給される。除算部４０４−１は、値ａを値ｂで除算する。
ａ／ｂ
＝（（音響入力信号ｘ１ａ×音源位置情報ｒ１ａ）×受聴位置情報ｒ２）
／（音源位置情報ｒ１ａ＋受聴位置情報ｒ２）
＝（ｘ１ａ×ｒ１ａ×ｒ２）／（ｒ１ａ＋ｒ２）
＝ｘ１ａ×（（ｒ１ａ×ｒ２）／（ｒ１ａ＋ｒ２））
この値を値ｃとする。値ｃは、例えば、音圧補正後の音源１１１からの音響信号である。
【０１２７】
ここまでの計算により、音響入力信号ｘ１ａを（（ｒ１ａ・ｒ２）／（ｒ１ａ＋ｒ２））倍した値（音響信号）が算出される。
【０１２８】
乗算器４０１−２、乗算器４０２−２、加算部４０３−２、除算部４０４−２においても、音響入力信号ｘ１ｂ、音源位置情報ｒ１ｂ、および受聴位置情報ｒ２に対して、同様の処理が行われることで、音響入力信号ｘ１ｂを（（ｒ１ｂ・ｒ２）／（ｒ１ｂ＋ｒ２））倍した値（音響信号）が算出される。
ａ’／ｂ’＝ｘ１ｂ×（（ｒ１ｂ・ｒ２）／（ｒ１ｂ＋ｒ２））
この値を値ｄとする。値ｄは、例えば、音圧補正後の音源１１２からの音響信号である。
【０１２９】
加算部４０５には、除算部４０４−１から値ｃが供給され、除算部４０４−２から値ｄが供給される。加算部４０５は、供給された値ｃと値ｄを加算（合成）する。すなわち、加算部４０５において、異なる音源からの音圧補正後の音響信号が１つの音響信号へと合成される。加算部４０５からの出力を、値ｅとする。
【０１３０】
加算部４０５からの値ｅは、乗算部４０６に供給される。乗算部４０６には、音量調整係数αも供給される。音量調整係数αは、例えば、受聴者１２２が指示した音量であるようにすることができる。乗算部４０６は、値ｅに音量調整係数αを乗算し、音響出力信号ｙを、再生音源１２１（図３）に出力する。
【０１３１】
この音響出力信号ｙは、音圧補正後の音響信号であり、音源間の音量差関係の不一致や、移動音源や受聴者の移動前後の音量差関係の不一致が解消された音響信号である。
【０１３２】
上記した実施の形態においては、受信側で受聴者１２２は、スピーカなどの再生音源１２１から距離ｒ２だけ離れた位置で、１人で受聴している場合を例に挙げて説明した。受信側の実施例は、音の再生装置にスピーカを用いる場合とヘッドホン・イヤホンを用いる場合とが考えられる。また、受聴者１２２も、１人の場合もあるが、複数人の場合もある。
【０１３３】
図３や図４を参照して説明したように、単数のスピーカを用いた場合、上記したような処理で音量差関係を正しく復元して聴取させる事ができる受聴者は１名である。しかしながら、実際の使用の際には受聴者は１名とは限らず、複数人で受聴している場合も想定すべきである。
【０１３４】
そこで、再生音源１２１と受聴者１２２の距離ｒ２を以下のように設定する。ここでは、受聴距離ｒ２の設定基準として、以下の３基準を例に挙げる。基準１、基準２に関しては、図７を参照して説明する。
【０１３５】
基準１：受聴者の平均位置を用いる(平均距離)
基準２：最も近い距離にいる受聴者の位置を用いる(最近接距離)
基準３：受聴者の位置推定を行わず、予め設定した固定の距離を用いる(固定値)
【０１３６】
図７を参照するに、再生音源１２１からの音を、３人の受聴者１２２−１乃至１２２−３が受聴する場合を考える。基準１で距離ｒ２を設定する場合、受聴者１２２−１と再生音源１２１との距離、受聴者１２２−２と再生音源１２１との距離、および受聴者１２２−３と再生音源１２１との距離が、それぞれ測定（取得）され、平均値が算出され、その平均値が距離ｒ２とされる。
【０１３７】
基準２で距離ｒ２を設定する場合、再生音源１２１から最も近い位置に居る受聴者１２２と再生音源１２１の距離が、距離ｒ２とされる。図７の場合、受聴者１２２−１と再生音源１２１との距離が、距離ｒ２とされる。
【０１３８】
基準３で距離ｒ２を設定する場合、予め設定されている固定の値が、受聴者１２２と再生音源１２１との距離ｒ２として設定される。
【０１３９】
基準１で距離ｒ２を設定するようにした場合、受聴時の状況に応じた音圧補正が、他の基準に比べてより的確に行えるため、受聴者１２２−１乃至１２２−３のそれぞれの受聴者に、音源間の音量差関係の不一致や、移動音源や受聴者の移動前後の音量差関係の不一致が解消された音響信号を提供することができる。
【０１４０】
基準２で距離ｒ２を設定するようにした場合、他の基準に比べて安全に距離を設定できる。上記したように、音圧補正部１２３においては、音源に対応した音響信号を、（ｒ１・ｒ２）／（ｒ１＋ｒ２）倍することで音圧を補正する。この式から、距離ｒ２が大きい程、補正量が大きくなることがわかる。
【０１４１】
仮に、図７に示したような状況下において、再生音源１２１から最も遠い受聴者１２２−２と再生音源１２１との距離を、距離ｒ２とした場合、音圧補正部１２３での補正量が大きくなる。この場合、補正された音響信号が大きな音になってしまう可能性がある。換言すれば、過大なゲインをかけてしまうことになる。
【０１４２】
このようなことを防ぐために、再生音源１２１に最も近い位置に居る受聴者と、再生音源１２１までの距離を、距離ｒ２とする。基準２で距離ｒ２を設定するようにした場合も、音源間の音量差関係の不一致や、移動音源や受聴者の移動前後の音量差関係の不一致が解消された音響信号を提供することができる。
【０１４３】
基準３によると、距離測定部１２４（図３、図４）で距離を測定しなくても良い構成となる。よって、基準３により距離ｒ２を設定するようにした場合、受信側に距離測定部１２４がないような場合にも、音源間の音量差関係の不一致や、移動音源や受聴者の移動前後の音量差関係の不一致が解消された音響信号を提供することができる。
【０１４４】
また、基準３は、例えば、受聴者１２２がソファに並んで座るなど、受聴位置がある程度固定されている場合に適用することができる。すなわち、このような場合、ソファの位置が変わらなければ、受聴者１２２と再生音源１２１との距離に変化は少なく、距離ｒ２を固定値とし、その距離ｒ２を、ソファと再生音源１２１との距離とすることができる。
【０１４５】
ここでは、基準１乃至３を例に挙げて説明したが、他の基準を設けて、再生音源１２１と受聴者１２２との距離が設定されるようにした場合も、本技術を適用できる。
【０１４６】
上記したように、受信側で、単数のスピーカ（再生音源１２１）を用いることで、例えば、双方向通信を行うために必要となるエコーキャンセラーの実現が容易になるという利点もある。双方向通信においてスピーカから発せられた音が同じ側にあるマイクロフォンで拾われて、再度相手側に送出されるエコーを除去するエコーキャンセラーは、マイクフォン・スピーカの数が少数であるならば比較的容易に実現可能である。
【０１４７】
しかしながら、例えば、波面合成で使われるような規模のマイクフォン・スピーカ数ではその組み合わせの数それぞれについてエコーキャンセラーを用意する必要が有ることから容易には実現出来ない。
【０１４８】
上記した本実施の形態によれば、スピーカ数が１つでも音源間の音圧差関係を保つことが出来るため、エコーキャンセラーは、たかだかマイクフォン数程度に抑えられる上、方向別の音を分離する際に指向性を調節してスピーカのある方向の感度を下げることでエコーの影響を減らすことができる。
【０１４９】
なお、上記した実施の形態においては、一方向の通信（送信側から受信側）を例に挙げて説明したが、本技術は、双方向の通信に対しても適用できる。
【０１５０】
＜補正対象の音響信号について＞
上記した実施の形態においては、テレビ電話やテレビ会議などと称される音響通信システムを例に挙げて説明したが、本技術は、そのようなテレプレゼンス技術以外にも適用可能である。
【０１５１】
テレプレゼンスの送信側のように、音響信号に位置情報を関連付けて記録したり、配信したりする技術があるが、記録または配信される音響信号と位置情報が関連付けられた情報を取得するような場合も本技術を適用できる。
【０１５２】
音響信号に位置情報を関連付けて記録したり、配信したりする技術としては、例えば、映画業界で普及が進んでいるDolby ATOMS（商標）や現在策定中のMPEG 3Dなど、オブジェクトオーディオと総称される従来のサラウンド以上の表現を可能とする技術が開発されている。
【０１５３】
通常、これらのコンテンツは、サウンドエンジニアが想定した受聴位置で意図した通りに聞こえるように、個々の音量が調整されている。そのような調整済のコンテンツに対して、上記した補正を行うことで、受聴者の受聴位置により適した音響に補正することが可能となり、より臨場感を高めることが可能となる。
【０１５４】
本技術によれば、音源間の音圧差関係を復元することで、送信側と受信側にいる人の間での音の認知の不自然な相違を低減することが可能となり、より臨場感が得られるようになる。
【０１５５】
また本技術によれば、送信側に音源が一つしか存在しない場合でも、その音源が移動する場合や受聴者が移動する場合に移動前と移動後の音圧差関係が保たれることにより受信側で知覚される音源の移動感が正しく保たれるようになり、より臨場感が得られるようになる。
【０１５６】
また本技術によれば、波面合成のように多数のスピーカを必要としないことから幅広いユーザにコストを抑えながら導入させることが可能となる。
【０１５７】
また、本技術によれば、送信側で音圧を補正する場合、受信側の既存の音響通信システムであったとしても、音響通信を行い、臨場感を高めた音響効果を提供することが可能となる。
【０１５８】
＜記録媒体について＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１５９】
図８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。
【０１６０】
入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
【０１６１】
以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、ＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。
【０１６２】
コンピュータ（ＣＰＵ１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１６３】
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ＲＯＭ１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【０１６４】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１６５】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１６６】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【０１６７】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１６８】
なお、本技術は以下のような構成も取ることができる。
（１）
音響信号を取得する音響信号取得部と、
音源と、前記音源からの音を集音する集音部までの距離に関する音源位置情報を取得する音源位置情報取得部と、
前記音響信号を再生する再生装置と、前記再生装置で再生された音を受聴する受聴者との距離に関する受聴位置情報を取得する受聴位置情報取得部と、
前記音源位置情報と前記受聴位置情報に基づいて、前記音響信号のゲインを補正する補正部と
を備える信号処理装置。
（２）
前記補正部は、前記音響信号のゲインを補正することで、複数の音源間の音圧差関係を復元する
前記（１)に記載の信号処理装置。
（３）
前記補正部は、前記音源位置情報が示す距離が距離ｒ１であり、前記受聴位置情報が示す距離が距離ｒ２である場合、前記音響信号に（ｒ１・ｒ２）／（ｒ１＋ｒ２）を乗算する
前記（１)または（２）に記載の信号処理装置。
（４）
前記受聴位置情報が示す距離は、固定値である
前記（１)乃至（３）のいずれかに記載の信号処理装置。
（５）
前記音響信号取得部は、ネットワークを介して前記音響信号を取得し、
前記音源位置情報取得部は、ネットワークを介して前記音源位置情報を取得する
前記（１)乃至（４）のいずれかに記載の信号処理装置。
（６）
前記受聴位置情報取得部は、ネットワークを介して前記受聴位置情報を取得する
前記（１)乃至（４）のいずれかに記載の信号処理装置。
（７）
複数の受聴者がいた場合、前記受聴位置情報は、前記複数の受聴者のそれぞれと前記再生装置との距離の平均値、前記複数の受聴者のうちの前記再生装置に最も近い位置に居る受聴者までの距離、または固定値とされる
前記（１)乃至（６）のいずれかに記載の信号処理装置。
（８）
音響信号を取得し、
音源と、前記音源からの音を集音する集音部までの距離に関する音源位置情報を取得し、
前記音響信号を再生する再生装置と、前記再生装置で再生された音を受聴する受聴者との距離に関する受聴位置情報を取得し、
前記音源位置情報と前記受聴位置情報に基づいて、前記音響信号のゲインを補正する
ステップを含む信号処理方法。
（９）
音響信号を取得し、
音源と、前記音源からの音を集音する集音部までの距離に関する音源位置情報を取得し、
前記音響信号を再生する再生装置と、前記再生装置で再生された音を受聴する受聴者との距離に関する受聴位置情報を取得し、
前記音源位置情報と前記受聴位置情報に基づいて、前記音響信号のゲインを補正する
ステップを含む処理をコンピュータに実行させるためのプログラム。
（１０）
音源からの音を集音する集音部と、
前記音源と前記集音部との間の距離を測定する距離測定部と、
前記集音部で集音された前記音の音響信号を再生する再生装置と、前記再生装置で再生された音を受聴する受聴者との距離に関する受聴位置情報を取得する受聴位置情報取得部と、
前記距離測定部で測定された距離と前記受聴位置情報が示す距離に基づいて、前記音響信号のゲインを補正する補正部と
を備える信号処理装置。
（１１）
前記補正部で補正された前記音響信号を、前記再生装置に供給する
前記（１０)に記載の信号処理装置。
（１２）
前記集音部は、マイクロフォンアレイで構成され、
前記距離測定部は、前記マイクロフォンアレイで集音された音同士の相互相関を計算し、相関の高い音を集音したマイクロフォン同士の距離を用いて、前記音源までの距離を測定する
前記（１０)または（１１）に記載の信号処理装置。
（１３）
前記距離測定部は、音源を撮像した画像を解析して音源までの距離を測定する
前記（１０)または（１１）に記載の信号処理装置。
（１４）
前記距離測定部は、ＧＰＳを用いて前記音源と前記集音部との間の距離を測定する
前記（１０)または（１１）に記載の信号処理装置。
（１５）
前記集音部は、音源に近接して集音するマイクロフォンで構成され、
前記距離測定部は、所定の位置を基準とし、前記所定の位置と前記マイクロフォンとの間の距離を測定する
前記（１０)または（１１）に記載の信号処理装置。
（１６）
音源からの音を集音し、
前記音源と前記音を集音する集音部との間の距離を測定し、
集音された前記音の音響信号を再生する再生装置と、前記再生装置で再生された音を受聴する受聴者との距離に関する受聴位置情報を取得し、
測定された前記距離と前記受聴位置情報が示す距離に基づいて、前記音響信号のゲインを補正する
ステップを含む信号処理方法。
（１７）
音源からの音を集音し、
前記音源と前記音を集音する集音部との間の距離を測定し、
集音された前記音の音響信号を再生する再生装置と、前記再生装置で再生された音を受聴する受聴者との距離に関する受聴位置情報を取得し、
測定された前記距離と前記受聴位置情報が示す距離に基づいて、前記音響信号のゲインを補正する
ステップを含む処理をコンピュータに実行させるためのプログラム。
【符号の説明】
【０１６９】
１１１，１１２  音源，  １１３  集音部，  １１４  距離測定部，  １１５  音源分離部，  １２１  再生音源，  １２２  受聴者，  １２３  音圧補正部，  １２４  距離測定部，  ２０１  音圧補正部，  ３０１  方向別音分離部，  ３０２  スイッチ，  ３０３  相関計算部，  ３０４  加算部，  ３０５  位置計算部，  ４０１，４０２  乗算部，  ４０３  加算部，  ４０４  除算部，  ４０５  加算部，  ４０６  乗算部，  ４０７  入力部
【図１】
2017073324.tif 000003
【図２】
2017073324.tif 000004
【図３】
2017073324.tif 000005
【図４】
2017073324.tif 000006
【図５】
2017073324.tif 000007
【図６】
2017073324.tif 000008
【図７】
2017073324.tif 000009
【図８】
2017073324.tif 000010
【国際調査報告】
2017073324.tif 000011
2017073324.tif 000012
2017073324.tif 000013
2017073324.tif 000014