(57)【要約】【課題】収音信号から反射音情報を推定する技術を提供する。【解決手段】音声信号をＭ個のマイクロホンで収音して得られるＭ個の収音信号がそれぞれ周波数領域に変換された信号（観測信号）を用い、空間中の任意の位置と各マイクロホンとの間の周波数ごとの伝達特性を模擬した関数（伝達特性関数）に複素振幅を乗じたものを観測信号から減じて得られる残差信号のパワーが最小になるように伝達特性関数に対応する空間中の位置により決定される方向および複素振幅を推定し、推定された方向を反射音の到来方向とし、推定された複素振幅を反射音の到来振幅とする。【選択図】図４
2011185916.tif 000002
【特許請求の範囲】
【請求項１】
Ｐを２以上の予め定められた整数、ｐを１以上Ｐ以下の各整数として、ｐ番目の位置とＭ個のマイクロホンが配置される各位置との間の周波数ごとの伝達特性を表すテンプレートの集合であるテンプレート情報を記憶する記憶部と、
音声信号をＭ個のマイクロホンで収音して得られるＭ個の収音信号がそれぞれ周波数領域に変換された信号（以下、観測信号という）と上記テンプレート情報とを入力とし、ｐ番目のテンプレートにｐ番目の複素振幅を乗じて表されるｐ番目の反射音を上記観測信号から減じて得られる残差信号のパワーが最小になるようにｐ番目の複素振幅を決定し、決定されたｐ番目の複素振幅をｐ番目のテンプレートに乗じて表されるｐ番目の反射音を上記観測信号から減じて得られる残差信号のパワーを各ｐについて求め、これらのうち最小のパワーを与えたテンプレートに対応する上記位置により定まる方向を反射音の到来方向とする反射音情報推定部と
を含む反射音情報推定装置。
【請求項２】
Ｐを２以上の予め定められた整数、ｐを１以上Ｐ以下の各整数として、ｐ番目の位置とＭ個のマイクロホンが配置される各位置との間の周波数ごとの伝達特性を表すテンプレートの集合であるテンプレート情報を記憶する記憶部と、
音声信号をＭ個のマイクロホンで収音して得られるＭ個の収音信号がそれぞれ周波数領域に変換された信号（以下、観測信号という）と上記テンプレート情報とを入力とし、ｐ番目のテンプレートにｐ番目の複素振幅を乗じて表されるｐ番目の反射音を上記観測信号から減じて得られる残差信号のパワーが最小になるようにｐ番目の複素振幅を決定し、決定されたｐ番目の複素振幅をｐ番目のテンプレートに乗じて表されるｐ番目の反射音を上記観測信号から減じて得られる残差信号のパワーを各ｐについて求め、これらのうち最小のパワーを与えたテンプレートを決定し、決定されたテンプレートに乗じられた上記複素振幅を反射音の到来振幅とする反射音情報推定部と
を含む反射音情報推定装置。
【請求項３】
Ｐを２以上の予め定められた整数、ｐを１≦ｐ≦Ｐを満たす整数として、ｐ番目の位置とＭ個のマイクロホンが配置される各位置との間の周波数ごとの伝達特性を表すテンプレートの集合であるテンプレート情報を記憶する記憶部と、
音声信号をＭ個のマイクロホンで収音して得られるＭ個の収音信号がそれぞれ周波数領域に変換された信号（以下、観測信号という）と上記テンプレート情報とを入力とし、Ｑを１以上の予め定められた整数、ｑを１以上Ｑ以下の各整数として、各ｑについて、ｐ番目のテンプレートにｐ番目の複素振幅を乗じて表されるｐ番目の反射音をｑ番目の最小の残差信号（ただし、１番目の最小の残差信号は上記観測信号とする）から減じて得られる残差信号のパワーが最小になるようにｐ番目の複素振幅を決定し、決定されたｐ番目の複素振幅をｐ番目のテンプレートに乗じて表されるｐ番目の反射音をｑ番目の最小の残差信号から減じて得られるｑ＋１番目の残差信号のパワーを各ｐについて求め、これらのうち最小のパワーを与えたテンプレートに対応する上記位置により定まる方向をｑ番目の反射音の到来方向とする反射音情報推定部と
を含む反射音情報推定装置。
【請求項４】
Ｐを２以上の予め定められた整数、ｐを１≦ｐ≦Ｐを満たす整数として、ｐ番目の位置とＭ個のマイクロホンが配置される各位置との間の周波数ごとの伝達特性を表すテンプレートの集合であるテンプレート情報を記憶する記憶部と、
音声信号をＭ個のマイクロホンで収音して得られるＭ個の収音信号がそれぞれ周波数領域に変換された信号（以下、観測信号という）と上記テンプレート情報とを入力とし、Ｑを１以上の予め定められた整数、ｑを１以上Ｑ以下の各整数として、各ｑについて、ｐ番目のテンプレートにｐ番目の複素振幅を乗じて表されるｐ番目の反射音をｑ番目の最小の残差信号（ただし、１番目の最小の残差信号は上記観測信号とする）から減じて得られる残差信号のパワーが最小になるようにｐ番目の複素振幅を決定し、決定されたｐ番目の複素振幅をｐ番目のテンプレートに乗じて表されるｐ番目の反射音をｑ番目の最小の残差信号から減じて得られるｑ＋１番目の残差信号のパワーを各ｐについて求め、これらのうち最小のパワーを与えたテンプレートを決定し、決定されたテンプレートに乗じられた上記複素振幅をｑ番目の反射音の到来振幅とする反射音情報推定部と
を含む反射音情報推定装置。
【請求項５】
請求項１から請求項４のいずれかに記載の反射音情報推定装置において、
残差信号のパワーは、全ての上記周波数に亘って加算して得られたパワーである
ことを特徴とする反射音情報推定装置。
【請求項６】
請求項１から請求項５のいずれかに記載の反射音情報推定装置において、
周波数をω、周波数ωの集合をΩ、ｉを虚数単位、ｃを音速、ｐ番目の位置[xp,yp,zp]とｍ番目（１≦ｍ≦Ｍ）のマイクロホンが配置される位置[um,vm,wm]との間の伝達特性をSpm(ω)、ただし
【数１５】
2011185916.tif 000017
として、上記テンプレートSp(ω)={Sp1(ω),…,SpM(ω)}（ω∈Ω）の集合である上記テンプレート情報{S1(ω),…,SP(ω)}（ω∈Ω）を生成するテンプレート生成部を
さらに含むことを特徴とする反射音情報推定装置。
【請求項７】
音声信号をＭ個のマイクロホンで収音して得られるＭ個の収音信号がそれぞれ周波数領域に変換された信号（以下、観測信号という）を入力とし、空間中の任意の位置と各上記マイクロホンとの間の周波数ごとの伝達特性を模擬した関数（以下、伝達特性関数という）に複素振幅を乗じたものを上記観測信号から減じて得られる残差信号のパワーが最小になるように上記伝達特性関数に対応する空間中の上記位置により決定される方向および上記複素振幅を推定し、推定された上記方向を反射音の到来方向とし、推定された上記複素振幅を反射音の到来振幅とする反射音情報推定部
を含む反射音情報推定装置。
【請求項８】
音声信号をＭ個のマイクロホンで収音して得られるＭ個の収音信号がそれぞれ周波数領域に変換された信号（以下、観測信号という）を入力とし、
Ｑを１以上の予め定められた整数、ｑを１以上Ｑ以下の各整数として、各ｑについて、
空間中の任意の位置と各上記マイクロホンとの間の周波数ごとの伝達特性を模擬した関数（以下、伝達特性関数という）に複素振幅を乗じたものをｑ番目の最小の残差信号（ただし、１番目の最小の残差信号は上記観測信号とする）から減じて得られるｑ＋１番目の残差信号のパワーが最小になるように上記伝達特性関数に対応する空間中の上記位置により決定される方向および上記複素振幅を推定し、推定された上記方向をｑ番目の反射音の到来方向とし、推定された上記複素振幅をｑ番目の反射音の到来振幅とする反射音情報推定部
を含む反射音情報推定装置。
【請求項９】
Ｐを２以上の予め定められた整数、ｐを１以上Ｐ以下の各整数として、記憶部には、ｐ番目の位置とＭ個のマイクロホンが配置される各位置との間の周波数ごとの伝達特性を表すテンプレートの集合であるテンプレート情報が記憶されているとし、
音声信号をＭ個のマイクロホンで収音して得られるＭ個の収音信号がそれぞれ周波数領域に変換された信号（以下、観測信号という）と上記テンプレート情報とを用い、ｐ番目のテンプレートにｐ番目の複素振幅を乗じて表されるｐ番目の反射音を上記観測信号から減じて得られる残差信号のパワーが最小になるようにｐ番目の複素振幅を決定し、決定されたｐ番目の複素振幅をｐ番目のテンプレートに乗じて表されるｐ番目の反射音を上記観測信号から減じて得られる残差信号のパワーを各ｐについて求め、これらのうち最小のパワーを与えたテンプレートに対応する上記位置により定まる方向を反射音の到来方向とする反射音情報推定過程
を有する反射音情報推定方法。
【請求項１０】
Ｐを２以上の予め定められた整数、ｐを１以上Ｐ以下の各整数として、記憶部には、ｐ番目の位置とＭ個のマイクロホンが配置される各位置との間の周波数ごとの伝達特性を表すテンプレートの集合であるテンプレート情報が記憶されているとし、
音声信号をＭ個のマイクロホンで収音して得られるＭ個の収音信号がそれぞれ周波数領域に変換された信号（以下、観測信号という）と上記テンプレート情報とを用い、ｐ番目のテンプレートにｐ番目の複素振幅を乗じて表されるｐ番目の反射音を上記観測信号から減じて得られる残差信号のパワーが最小になるようにｐ番目の複素振幅を決定し、決定されたｐ番目の複素振幅をｐ番目のテンプレートに乗じて表されるｐ番目の反射音を上記観測信号から減じて得られる残差信号のパワーを各ｐについて求め、これらのうち最小のパワーを与えたテンプレートを決定し、決定されたテンプレートに乗じられた上記複素振幅を反射音の到来振幅とする反射音情報推定過程
を有する反射音情報推定方法。
【請求項１１】
Ｐを２以上の予め定められた整数、ｐを１≦ｐ≦Ｐを満たす整数として、記憶部には、ｐ番目の位置とＭ個のマイクロホンが配置される各位置との間の周波数ごとの伝達特性を表すテンプレートの集合であるテンプレート情報が記憶されているとし、
音声信号をＭ個のマイクロホンで収音して得られるＭ個の収音信号がそれぞれ周波数領域に変換された信号（以下、観測信号という）と上記テンプレート情報とを用い、Ｑを２以上の予め定められた整数、ｑを１以上Ｑ以下の各整数として、各ｑについて、ｐ番目のテンプレートにｐ番目の複素振幅を乗じて表されるｐ番目の反射音をｑ番目の最小の残差信号（ただし、１番目の最小の残差信号は上記観測信号とする）から減じて得られる残差信号のパワーが最小になるようにｐ番目の複素振幅を決定し、決定されたｐ番目の複素振幅をｐ番目のテンプレートに乗じて表されるｐ番目の反射音をｑ番目の最小の残差信号から減じて得られるｑ＋１番目の残差信号のパワーを各ｐについて求め、これらのうち最小のパワーを与えたテンプレートに対応する上記位置により定まる方向をｑ番目の反射音の到来方向とする反射音情報推定過程
を有する反射音情報推定方法。
【請求項１２】
Ｐを２以上の予め定められた整数、ｐを１≦ｐ≦Ｐを満たす整数として、記憶部には、ｐ番目の位置とＭ個のマイクロホンが配置される各位置との間の周波数ごとの伝達特性を表すテンプレートの集合であるテンプレート情報が記憶されているとし、
音声信号をＭ個のマイクロホンで収音して得られるＭ個の収音信号がそれぞれ周波数領域に変換された信号（以下、観測信号という）と上記テンプレート情報とを用い、Ｑを２以上の予め定められた整数、ｑを１以上Ｑ以下の各整数として、各ｑについて、ｐ番目のテンプレートにｐ番目の複素振幅を乗じて表されるｐ番目の反射音をｑ番目の最小の残差信号（ただし、１番目の最小の残差信号は上記観測信号とする）から減じて得られる残差信号のパワーが最小になるようにｐ番目の複素振幅を決定し、決定されたｐ番目の複素振幅をｐ番目のテンプレートに乗じて表されるｐ番目の反射音をｑ番目の最小の残差信号から減じて得られるｑ＋１番目の残差信号のパワーを各ｐについて求め、これらのうち最小のパワーを与えたテンプレートを決定し、決定されたテンプレートに乗じられた上記複素振幅をｑ番目の反射音の到来振幅とする反射音情報推定過程
を有する反射音情報推定方法。
【請求項１３】
請求項９から請求項１２のいずれかに記載の反射音情報推定方法において、
残差信号のパワーは、全ての上記周波数に亘って加算して得られたパワーである
ことを特徴とする反射音情報推定方法。
【請求項１４】
請求項９から請求項１３のいずれかに記載の反射音情報推定方法において、
周波数をω、周波数ωの集合をΩ、ｉを虚数単位、ｃを音速、ｐ番目の位置[xp,yp,zp]とｍ番目（１≦ｍ≦Ｍ）のマイクロホンが配置される位置[um,vm,wm]との間の伝達特性をSpm(ω)、ただし
【数１６】
2011185916.tif 000018
として、上記テンプレートSp(ω)={Sp1(ω),…,SpM(ω)}（ω∈Ω）の集合である上記テンプレート情報{S1(ω),…,SP(ω)}（ω∈Ω）を生成するテンプレート生成過程を
さらに有することを特徴とする反射音情報推定方法。
【請求項１５】
音声信号をＭ個のマイクロホンで収音して得られるＭ個の収音信号がそれぞれ周波数領域に変換された信号（以下、観測信号という）を入力とし、空間中の任意の位置と各上記マイクロホンとの間の周波数ごとの伝達特性を模擬した関数（以下、伝達特性関数という）に複素振幅を乗じたものを上記観測信号から減じて得られる残差信号のパワーが最小になるように上記伝達特性関数に対応する空間中の上記位置により決定される方向および上記複素振幅を推定し、推定された上記方向を反射音の到来方向とし、推定された上記複素振幅を反射音の到来振幅とする反射音情報推定過程
を有する反射音情報推定方法。
【請求項１６】
音声信号をＭ個のマイクロホンで収音して得られるＭ個の収音信号がそれぞれ周波数領域に変換された信号（以下、観測信号という）を入力とし、
Ｑを１以上の予め定められた整数、ｑを１以上Ｑ以下の各整数として、各ｑについて、
空間中の任意の位置と各上記マイクロホンとの間の周波数ごとの伝達特性を模擬した関数（以下、伝達特性関数という）に複素振幅を乗じたものをｑ番目の最小の残差信号（ただし、１番目の最小の残差信号は上記観測信号とする）から減じて得られるｑ＋１番目の残差信号のパワーが最小になるように上記伝達特性関数に対応する空間中の上記位置により決定される方向および上記複素振幅を推定し、推定された上記方向をｑ番目の反射音の到来方向とし、推定された上記複素振幅をｑ番目の反射音の到来振幅とする反射音情報推定過程
を有する反射音情報推定方法。
【請求項１７】
コンピュータに、請求項９から請求項１６のいずれかに記載の反射音情報推定方法の処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号をマイクロホンで収音して得られる収音信号から反射音に関する情報（到来振幅、到来方向）を推定する技術に関する。
【背景技術】
【０００２】
電話や音声会議といった音声情報をやりとりするシステムを一般に音声通信システムと呼ぶ。音声通信システムにおいて、反射音に関する情報（到来振幅、到来方向など）を得ることは非常に重要なことである。会議室のような残響環境下において、マイクロホンを通して収音される収音信号の中には発話者のような音源から直接到来する直接音だけではなく、床、壁や天井に反射して到来する反射音が混在する。したがって、このような残響環境下で或る話者の発言を収録すると、直接音から遅延して反射音が混入するため、聞き取りづらくなってしまう。収音信号から各反射音の到来情報を推定して、反射音を除去することができれば、聞き取りやすい音声に回復することができる。ここで、反射音情報を推定する従来研究として、非特許文献１が挙げられる。
【０００３】
非特許文献１に開示される技術を実現する機能構成を図１に示す。この技術における処理手順は次のとおりである。
【０００４】
１．インパルス音源１００から放射された音源信号を４ｃｈのマイクロホン１１０−１，１１０−２，１１０−３，１１０−４を用いて収音する。ＡＤ変換部１２０は、収音されたアナログ信号をデジタル信号x→(t)＝[x1(t),x2(t),x3(t),x4(t)]Tへ変換する。ここで、[・]Tは転置を表す。ｔは離散時間のインデックスを表す。４本のマイクロホンは正四面体の頂点に配置されていることとする。
【０００５】
２．インパルス応答算出部１３０は、デジタル信号x→(t)＝[x1(t),x2(t),x3(t),x4(t)]Tを入力とし、各マイクロホンのインパルス応答h→(t)＝[h1(t),h2(t),h3(t),h4(t)]Tを算出する。インパルス応答の算出方法には、ＴＳＰ法やＭ系列法等があり、いかなる方法を用いてインパルス応答を算出してもよい。
【０００６】
３．仮想音源算出部１４０は、４ｃｈのインパルス応答h→(t)＝[h1(t),h2(t),h3(t),h4(t)]Tを入力とし、仮想音源情報v→＝[v→1,…,v→D]Tを出力する。Ｄは仮想音源の数を表す。仮想音源とは、各反射音の到来振幅、到来方向、到来時間を表現するために仮想的に存在するとされる音源である。図２を参照して、仮想音源について説明する。図２には、右側の壁で反射した音源信号をマイクロホンで受音する経路が書かれている。右側の壁で反射して到来する音源信号（反射音）は、「仮想音源」と書かれた位置から直接到来する信号と等価である（ただし、壁での反射による減衰や距離減衰の影響は受ける）。
【０００７】
この従来技術の詳細について説明する。インパルス応答を近接した４つの受音点（マイクロホンの位置）で測定すると反射音の到来時刻にわずかな差が生じる。インパルス応答の短い区間の相互相関を利用して、各マイクロホンにおける反射音の対応付けを行うことで、図３のように、ｎ番目の反射波に関するそれぞれの受音点での到来時刻ｔ1n，ｔ2n，ｔ3n，ｔ4n（１≦ｎ≦Ｄ）が求まる。正四面体マイクロホンアレーの辺の長さをｄ、音速をｃとすると、各仮想音源情報vn→＝[Xn,Yn,Zn,Sn]Tが求まる。ここで、Xn,Yn,Znはｎ番目の仮想音源の位置を表し（式（１）−（３）参照）、これは各反射音の到来方向と到来時間に対応する情報を持つ。また、Snはｎ番目の仮想音源の強さを表し、４ｃｈのインパルスで対応付けされたｎ番目の反射音の振幅の平均で求まる。
【数１】
2011185916.tif 000003
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】山崎芳男ら、「近接する４点のインパルス応答により求めたホールの空間情報」、日本音響学会講演論文集、１９８１年５年、pp.759-760.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従来技術によると、仮想音源情報と呼んでいた反射音の「到来振幅」、「到来方向」、「到来時刻」を推定するためには、インパルス応答をあらかじめ用意することが必要であった。しかし、インパルス応答を用意するためには特殊な信号を用いて観測する必要があるため、あらゆる位置でのインパルス応答が事前に用意されているという条件は現実的ではない。
【００１０】
そこで本発明は、特殊な信号を用いることなく、収音信号から反射音情報（反射音の「到来振幅」や「到来方向」）を推定する技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
Ｐを２以上の予め定められた整数、ｐを１以上Ｐ以下の各整数として、ｐ番目の位置とＭ個のマイクロホンが配置される各位置との間の周波数ごとの伝達特性を表すテンプレートの集合であるテンプレート情報を予め用意しておく。音声信号をＭ個のマイクロホンで収音して得られるＭ個の収音信号がそれぞれ周波数領域に変換された信号（観測信号）とテンプレート情報とを用いて、ｐ番目のテンプレートにｐ番目の複素振幅を乗じて表されるｐ番目の反射音を観測信号から減じて得られる残差信号のパワーが最小になるようにｐ番目の複素振幅を決定し、決定されたｐ番目の複素振幅をｐ番目のテンプレートに乗じて表されるｐ番目の反射音を観測信号から減じて得られる残差信号のパワーを各ｐについて求め、これらのうち最小のパワーを与えたテンプレートに対応する位置により定まる方向反射音の到来方向とする。
【００１２】
Ｐを２以上の予め定められた整数、ｐを１以上Ｐ以下の各整数として、ｐ番目の位置とＭ個のマイクロホンが配置される各位置との間の周波数ごとの伝達特性を表すテンプレートの集合であるテンプレート情報を予め用意しておく。音声信号をＭ個のマイクロホンで収音して得られるＭ個の収音信号がそれぞれ周波数領域に変換された信号（観測信号）とテンプレート情報とを用いて、ｐ番目のテンプレートにｐ番目の複素振幅を乗じて表されるｐ番目の反射音を観測信号から減じて得られる残差信号のパワーが最小になるようにｐ番目の複素振幅を決定し、決定されたｐ番目の複素振幅をｐ番目のテンプレートに乗じて表されるｐ番目の反射音を観測信号から減じて得られる残差信号のパワーを各ｐについて求め、これらのうち最小のパワーを与えたテンプレートを決定し、決定されたテンプレートに乗じられた複素振幅を反射音の到来振幅とする。
【００１３】
Ｐを２以上の予め定められた整数、ｐを１≦ｐ≦Ｐを満たす整数として、ｐ番目の位置とＭ個のマイクロホンが配置される各位置との間の周波数ごとの伝達特性を表すテンプレートの集合であるテンプレート情報を予め用意しておく。音声信号をＭ個のマイクロホンで収音して得られるＭ個の収音信号がそれぞれ周波数領域に変換された信号（観測信号）とテンプレート情報とを用いて、Ｑを１以上の予め定められた整数、ｑを１以上Ｑ以下の各整数として、各ｑについて、ｐ番目のテンプレートにｐ番目の複素振幅を乗じて表されるｐ番目の反射音をｑ番目の最小の残差信号（ただし、１番目の最小の残差信号は観測信号とする）から減じて得られる残差信号のパワーが最小になるようにｐ番目の複素振幅を決定し、決定されたｐ番目の複素振幅をｐ番目のテンプレートに乗じて表されるｐ番目の反射音をｑ番目の最小の残差信号から減じて得られるｑ＋１番目の残差信号のパワーを各ｐについて求め、これらのうち最小のパワーを与えたテンプレートに対応する位置により定まる方向をｑ番目の反射音の到来方向とする。
【００１４】
Ｐを２以上の予め定められた整数、ｐを１≦ｐ≦Ｐを満たす整数として、ｐ番目の位置とＭ個のマイクロホンが配置される各位置との間の周波数ごとの伝達特性を表すテンプレートの集合であるテンプレート情報を予め用意しておく。音声信号をＭ個のマイクロホンで収音して得られるＭ個の収音信号がそれぞれ周波数領域に変換された信号（観測信号）とテンプレート情報とを用いて、Ｑを１以上の予め定められた整数、ｑを１以上Ｑ以下の各整数として、各ｑについて、ｐ番目のテンプレートにｐ番目の複素振幅を乗じて表されるｐ番目の反射音をｑ番目の最小の残差信号（ただし、１番目の最小の残差信号は観測信号とする）から減じて得られる残差信号のパワーが最小になるようにｐ番目の複素振幅を決定し、決定されたｐ番目の複素振幅をｐ番目のテンプレートに乗じて表されるｐ番目の反射音をｑ番目の最小の残差信号から減じて得られるｑ＋１番目の残差信号のパワーを各ｐについて求め、これらのうち最小のパワーを与えたテンプレートを決定し、決定されたテンプレートに乗じられた複素振幅をｑ番目の反射音の到来振幅とする。
【００１５】
残差信号のパワーは、全ての周波数に亘って加算して得られたパワーであるとしてもよい。
【００１６】
また、周波数をω、周波数ωの集合をΩ、ｉを虚数単位、ｃを音速、ｐ番目の位置[xp,yp,zp]とｍ番目（１≦ｍ≦Ｍ）のマイクロホンが配置される位置[um,vm,wm]との間の伝達特性をSpm(ω)、ただし
【数２】
2011185916.tif 000004
として、テンプレートSp(ω)={Sp1(ω),…,SpM(ω)}（ω∈Ω）の集合であるテンプレート情報{S1(ω),…,SP(ω)}（ω∈Ω）を生成するテンプレート生成処理を含んでもよい。
【００１７】
音声信号をＭ個のマイクロホンで収音して得られるＭ個の収音信号がそれぞれ周波数領域に変換された信号（観測信号）を入力とし、空間中の任意の位置と各マイクロホンとの間の周波数ごとの伝達特性を模擬した関数（伝達特性関数）に複素振幅を乗じたものを観測信号から減じて得られる残差信号のパワーが最小になるように伝達特性関数に対応する空間中の位置により決定される方向および複素振幅を推定し、推定された方向を反射音の到来方向とし、推定された複素振幅を反射音の到来振幅とする。
【００１８】
音声信号をＭ個のマイクロホンで収音して得られるＭ個の収音信号がそれぞれ周波数領域に変換された信号（観測信号）を入力とし、Ｑを１以上の予め定められた整数、ｑを１以上Ｑ以下の各整数として、各ｑについて、空間中の任意の位置と各マイクロホンとの間の周波数ごとの伝達特性を模擬した関数（伝達特性関数）に複素振幅を乗じたものをｑ番目の最小の残差信号（ただし、１番目の最小の残差信号は観測信号とする）から減じて得られるｑ＋１番目の残差信号のパワーが最小になるように伝達特性関数に対応する空間中の位置により決定される方向および複素振幅を推定し、推定された方向をｑ番目の反射音の到来方向とし、推定された複素振幅をｑ番目の反射音の到来振幅とする。
【発明の効果】
【００１９】
本発明に拠ると、伝達特性関に複素振幅を乗じたものを観測信号から減じて得られる残差信号のパワーが最小になるように伝達特性関数に対応する空間中の位置により決定される方向および複素振幅を推定することから、インパルス応答を求めるために音源信号に特殊な信号を用いることなく、収音信号から反射音情報を推定することが可能である。反射音情報が得られると、従来の音声情報処理技術では実現できなかった音源向きの推定や、音声強調（遠方音の収音や距離別の収音）といった用途に応用できる。
【図面の簡単な説明】
【００２０】
【図１】従来技術における反射音情報推定技術の機能構成を示す図。
【図２】仮想音源を説明するための図。
【図３】従来技術における反射音の対応付けを説明するための図。
【図４】第１実施形態に係る反射音情報推定装置の機能構成を示す図。
【図５】第１実施形態に係る反射音情報推定方法の処理手順を示す図。
【図６】２次元マイクロホンアレーの構成例を示す図。
【図７】ｐ番目の点[xp,yp,zp]とｍ番目の受音点[um,vm,wm]との間の伝達特性を説明するための図。
【図８】図６に示すマイクロホンアレーを用いて観測した或る平面での音圧分布が例えば直接音と反射音１と反射音２との重畳で得られていることを説明するための図。
【図９】本発明の原理を説明するための図。
【図１０】実験例においてテンプレート情報作成のための区間座標とマイクロホンアレーとの位置関係を示す図。
【図１１】実験例により本発明の有効性を説明するための図。
【図１２】第２実施形態に係る反射音情報推定方法の処理手順を示す図。
【図１３】（ａ）理想的には、推定到来方向に関する情報だけが抽出されるべきことを説明するための図。（ｂ）実際には、推定到来方向以外の方向に関する情報も混在してしまうことを説明するための図。
【図１４】残差信号のパワーを全周波数に亘って総括することにより、推定到来方向以外の方向の影響を減らすことを説明するための図。
【図１５】実用レベルの２次元マトリクスマイクロホンアレーを用いた場合における音圧分布とその分解を示す図。
【発明を実施するための形態】
【００２１】
《第１実施形態》
本発明は、発話信号のような音源から放射された音声信号（音源信号）を複数のマイクロホンで構成されるマイクロホンアレーで収音した信号（収音信号）から反射音の「到来振幅」と「到来方向」の少なくともいずれか一つを推定する。第１実施形態の機能構成および処理フローを図４と図５に示す。
【００２２】
音源２００から放射された音源信号をＭｃｈのマイクロホン２１０−１，…，２１０−Ｍを用いて収音する（ステップＳ１）。Ｍは、４より大きい値が望ましい。ＡＤ変換部２２０が、収音されたアナログ信号をデジタル信号xx→(t)＝[xx1(t),…,xxM(t)]Tへ変換する（ステップＳ２）。ここで、[・]Tは転置を表す。ｔは離散時間のインデックスを表す。
【００２３】
Ｍ本のマイクロホンの並べ方は、２次元または３次元的に等間隔で配置することが望ましい。これは、反射音の到来方向とテンプレート（後で説明するが、反射音の伝達特性を模擬したものである）の対応を一意に定めるためである。なお、原理的に、１次元的にマイクロホンを配置しても、あるいは等間隔に配置しなくても、本発明を実施できるが、反射音の伝達特性と反射音の到来方向が一対一の関係とならないため、２次元または３次元的に等間隔で配置することが望ましい。２次元平面上に等間隔にマイクロホンを並べた場合の一例を図６に示す。マイクロホン間隔ｄは、空間サンプリング定理を満たすように設定されていることが望ましい。空間サンプリング定理を満たす場合、マイクロホン間隔ｄは、式（４）を満たす数値となる。ｃは音速であり、ｆは解析対象とする周波数である。例えば、４ｋＨｚの周波数を解析する場合、マイクロホン間隔を４ｃｍ程度に設定するのがよい。
【数３】
2011185916.tif 000005
【００２４】
フレーム分割部２３０は、ＡＤ変換部２００が出力したデジタル信号xx→(t)＝[xx1(t),…,xxM(t)]Tを入力とし、チャネルごとに複数サンプルから成るデジタル信号の組（フレーム）に分割された信号x→(k)＝[x1(k),…,xM(k)]Tを出力する（ステップＳ３）。ｋはフレーム番号を表すインデックスである。フレーム分割は、各チャネルのデジタル信号xxi(t)（１≦ｉ≦Ｍ）ごとにＷ点分をバッファリングして出力する処理である。Ｗはサンプリング周波数にもよるが、１６ｋＨｚサンプリングの場合には５１２点あたりが妥当である。
【００２５】
周波数領域変換部２４０は、各フレームのデジタル信号x→(k)を入力として、周波数領域の信号X→(ω,k)＝[X1(ω,k),…,XM(ω,k)]Tに変換して出力する（ステップＳ４）。この信号X→(ω,k)を観測信号と呼ぶことにする。ここで、ωは離散周波数のインデックスを指し（周波数ｆと角周波数ωとの間にはω=2πfの関係があるから、周波数のインデックスωをこの角周波数ωと同一視してもかまわない。以下、ωに関して「周波数のインデックス」を単に「周波数」ともいう）、ｋはフレームのインデックスを指す。周波数領域に変換する方法の一つに、離散フーリエ変換があるが、周波数領域に変換するのであれば、他の方法を用いてもよい。周波数領域の観測信号X→(ω,k)は、各周波数ω、フレームｋごとに出力される。
【００２６】
テンプレート生成部２５０は、Ｐ個のテンプレートSp→(ω)の集合（ただし、計算の都合、ベクトル表記している）であるテンプレート情報S→(ω)＝[S1→(ω),…,SP→(ω)]（∀ω∈Ω；Ωは周波数のインデックスωの集合）を周波数ωごとに生成する（ステップＳｐ）。この処理は通常、ステップＳ１−Ｓ４の各処理に先立ち実施される。Ｐはテンプレートの総数を表し、予め２以上の整数値に設定されている。テンプレート総数Ｐは多ければ多いほど高精度な反射音情報の推定に繋がるが、計算量が多くなるので、例えばＰ＝１０００くらいに設定するのが良い。この処理は、マイクロホンで信号を観測する以前にあらかじめ行う処理である。また、マイクロホンの位置（例えばマイクロホンの間隔ｄ）を変更したり、テンプレート総数Ｐを変更したりしない限り、通常、テンプレートを毎回作り直す必要はない。ここで言う“テンプレート”とは、反射音の到来方向に対応する伝達特性（音響伝播特性）を模擬したものである。ｐ番目（１≦ｐ≦Ｐ）のテンプレートSp→(ω)＝[Sp1(ω),…,SpM(ω)]T（ω∈Ω）は、予め定められたｐ番目の点[xp,yp,zp]とＭ個の受音点（ここで受音点はマイクロホンが配置される位置であり、ｍ番目（１≦ｍ≦Ｍ）の受音点を[um,vm,wm]とする）の間の周波数ごとの伝達特性を表す（図７を参照）。ｐ番目のテンプレートSp→(ω)の各要素Spm(ω)の算出式の一例を式（５）に示す。記号ｉは虚数単位を表す。
【数４】
2011185916.tif 000006
【００２７】
ｐ番目のテンプレートSp→(ω)には方向情報θp→(ω)が対応付けられている。方向情報θp→(ω)は、ｐ番目の点[xp,yp,zp]および受音点[um,vm,wm]の位置座標の基準となる３次元直交座標系の原点からｐ番目の点[xp,yp,zp]を見た方向であり、例えば（当該３次元直交座標系の原点と共通の原点を持つ）球座標系における二つの偏角（極角θp,polと方位角θp,azi）として表される。つまり、θp→(ω)＝[θp,pol(ω),θp,azi(ω)]である。なお、ｐ番目のテンプレートSp→(ω)にｐ番目の点[xp,yp,zp]が関連付けられていれば方向情報θp→(ω)は位置[xp,yp,zp]から計算可能であるから、ｐ番目のテンプレートSp→(ω)に方向情報θp→(ω)が対応付けられていることは必須要件ではない。なお、３次元直交座標系と球座標系とは相互に転換可能であるから（座標変換）、式（５）の右辺は位置[x,y,z]でなく方向情報θp→(ω)＝[θp,pol(ω),θp,azi(ω)]を用いて、例えば式（５ａ）のように表すこともできる。ここで、ｄはマイクロホン間隔であり、マイクロホンアレーをΦ行Ξ列（Φ×Ξ＝Ｍ）の２次元マイクロホンアレーとし、ｍ番目のマイクロホンの位置をφ行ξ列（１≦φ≦Φ，１≦ξ≦Ξ）にあるとする。
【数５】
2011185916.tif 000007
【００２８】
また、第１実施形態のようにテンプレートが方向に対応している場合、Ｐ個の点[xp,yp,zp]（１≦ｐ≦Ｐ）の位置は互いに方向の異なる位置であることが好ましく、例えば各点[xp,yp,zp]が原点から十分に離れた等距離にあるとして、上記原点を中心とする球面上の異なるＰ個の点とすればよい。各点[xp,yp,zp]を原点から十分に離れた位置とする理由は、音源ないし仮想音源から放射された信号は球面的に伝達するが音源ないし仮想音源から十分に離れた位置（原点）での局所領域では直接音ないし反射音を平面波として模擬できるからである。ただし、テンプレート情報が同じ方向の位置に対応するテンプレートを含むことを排除する趣旨ではない。なお、マイクロホンアレーは上記座標系の原点の近傍（局所領域）に配置されているとする。
【００２９】
テンプレート記憶部２６０は、テンプレート生成部２５０が出力したテンプレート情報S→(ω)を記憶し、解析時に反射音情報推定部２７０にテンプレート情報S→(ω)を提供する役割を果たす。
【００３０】
反射音情報推定部２７０は、周波数領域の観測信号X→(ω,k)とテンプレート情報S→(ω)を入力として、Ｑ個の反射音情報成分rsq→(ω,k)の集合（ただし、計算の都合、ベクトル表記している）である反射音情報rs→(ω,k)＝[rs1→(ω,k),…,rsQ→(ω,k)]Tを各フレームｋについて周波数ωごとに出力する（ステップＳ５）。ここで、Ｑは推定される反射音の総数を表し、予め１以上の整数値に設定されている。ｑ番目（１≦ｑ≦Ｑ）の反射音情報成分rsq→(ω,k)は、rsq→(ω,k)＝[rsAq(ω,k),rsBq(ω,k)]の２要素から成り、rsAq(ω,k)はｑ番目の反射音の到来振幅であり、rsBq(ω,k)はｑ番目の反射音の到来方向である。
【００３１】
反射音情報を推定する原理について説明する。図６に示すような２次元マイクロホンアレーを用いて観測した或る平面での音圧分布の一例を図８の左端の濃淡図として示す。濃淡図として示された音圧分布の見方について、黒い部分は音圧が小さく、白い部分は音圧が大きいことを示す。観測した音圧分布には直接音の音圧分布だけではなく、反射音の音圧分布も混入している。直接音や反射音が十分に遠方より到来する場合において、２次元平面上でのそれぞれの音圧分布は、図８の右側の３つの濃淡図のように縞模様となる。縞模様の「濃淡」が直接音ないし反射音の到来振幅、「回転・周期」が直接音ないし反射音の到来方向にそれぞれ対応する。図８の例では、到来振幅や到来方向が異なる直接音、反射音１、反射音２の各音圧分布の重畳で観測信号の音圧分布が構成されることを示している。周波数領域で考えると、直接音や各反射音は到来方向に応じて周波数の変化する複素正弦波で表され、観測信号は直接音と各反射音に対応する複数の複素正弦波が重畳したものとして表される。ところで、本発明で解決する問題は、観測信号のみを用いて、反射音の到来振幅および／または到来方向を推定することである。この課題解決は、図８の左端に描かれた音圧分布から図８の右側の３つの濃淡図の直接音や各反射音に対応する縞模様の「濃淡」および／または「回転・周期」を推定することに対応する。
【００３２】
図９を参照して、反射音情報rs→(ω,k)を推定する手法の概略について説明する。ある２次元平面で観測した観測信号に含まれているパワーの最も強い反射音０（q=1に相当し、最も強いパワーを持つことから、通常、この反射音０は「直接音」として理解される）を推定し、観測信号から当該反射音０を減算して残差信号E2を得る。次に当該残差信号E2に含まれているパワーの最も強い反射音１（q=2に相当する）を推定し、当該残差信号E2から当該反射音１を減算して新たな残差信号E3を得る。次に、当該残差信号E3に含まれているパワーの最も強い反射音２（q=Q=3に相当する）を推定する。ここでは、Ｑ＝３の場合を説明したが、一般的に、ｑ番目の残差信号Eq（ただし１番目の残差信号は観測信号とする）に含まれているパワーの最も強いｑ番目の反射音q-1（ただし反射音０は直接音である）を減算する操作をｑ＝Ｑまで逐次実行することでＱ個の反射音情報成分（rs1→(ω,k),…,rsQ→(ω,k)）を得る。１番目の反射音情報成分rs1→(ω,k)は反射音０（直接音）に対応し、２番目の反射音情報成分rs2→(ω,k)は反射音１に対応し、３番目の反射音情報成分rs3→(ω,k)は反射音２に対応し、・・・、Ｑ番目の反射音情報成分rsQ→(ω,k)は反射音Q-1に対応する。Ｑは、計算パワーや反射音情報を用いるアプリケーションにも依存するが、３０くらいに設定するのが良い。
【００３３】
なお、図８および図９の音圧分布はそれぞれ高解像度の濃淡図として示されているが、このような高解像度の濃淡図として音圧分布を示すためには極めて多くのマイクロホンを必要とし、実用的ではない。他方、実用レベルの２次元マトリクスマイクロホンアレーとして例えば１００個のマイクロホンを１０×１０の２次元マトリクスマイクロホンアレーとして用いた場合でさえ、粗い（低解像度）濃淡図（図１５参照）として示される音圧分布しか得られない。そこで、実用の観点から、低解像度の音圧分布しか得られないような状況の下で、精度良く反射音の到来振幅や到来方向を推定することが求められる。本発明では、空間分解能の向上のために任意の位置から到来する平面波を具体的に表現することとし（定式化）、パワーが大きな反射音の影響を受けてパワーの小さいな反射音を推定できなくなることを防止するために、既に推定された反射音を観測信号から除去して次の反射音を推定する（分解）。定式化についてはテンプレート情報として説明したとおりであり、分解については反射音情報rs→(ω,k)の推定手法の概略で説明したとおりである。
【００３４】
上で述べた反射音情報rs→(ω,k)を推定する手法について詳細を述べる。説明に先立ち、記号の定義を行う。ｑ番目の残差信号をEq→(ω,k)=[Eq1(ω,k),…,EqM(ω,k)]T、推定されたｑ番目の反射音（q=1の場合は直接音を表す）をAq(ω,k,g(q,k))Sg(q,k)→(ω)とする。ここで、g(q,k)は、フレームｋにおけるｑ番目の反射音を最も精度良く表現できるテンプレートのインデックスを表す。反射音を構成する係数Aq(ω,k,g(q,k))は、音源２００自身が持つ位相や壁での反射、距離による減衰などによるテンプレートSg(q,k)→(ω)と反射音との相違を表す。ｑの昇順に残差信号から反射音を減算する上述の方法を式で表すと式（６）のようになる。ただし、１≦ｑ≦Ｑであり、E1→(ω,k)=X→(ω,k)である。
【数６】
2011185916.tif 000008
【００３５】
このとき、ｑ番目の反射音情報成分rsq→(ω,k)＝[rsAq(ω,k),rsBq(ω,k)]は式（７）、式（８）で与えられる。方向情報θg(q,k)→(ω,k)はテンプレートSg(q,k)→(ω)に対応する方向情報である。
【数７】
2011185916.tif 000009
【００３６】
次に、ｑ番目の反射音Aq(ω,k,g(q,k))Sg(q,k)→(ω)を推定する手法について述べる。ｑ番目の反射音Aq(ω,k,g(q,k))Sg(q,k)→(ω)は、ｑ＋１番目の残差信号Eq+1→(ω,k)のパワー(Eq+1→(ω,k))HEq+1→(ω,k)を最小とするものとして推定される。記号Ｈは共役転置を表す。推定方法は様々あるが、そのうちの一つの方法について述べる。反射音は、Aq(ω,k,g(q,k))とSg(q,k)→(ω)の２つの要素で構成されるので、２つの要素に対して最適化することが必要となる。後述の＜処理１＞と＜処理２＞はｑの昇順に各ｑについて行われる。
【００３７】
＜処理１＞
記号Λはインデックスｐの全体の集合{1,…,p,…,P}から後述する式（１０）により決定されたインデックスの集合を除いた集合である。つまり、Λ＝{1,…,p,…,P}-{g(1,k),…,g(q-1,k)}とする。ただし、初めて＜処理１＞を行うときはΛ＝{1,…,p,…,P}である。
ｐ番目のテンプレートSp→(ω)が残差信号Eq+1→(ω,k)のパワー(Eq+1→(ω,k))HEq+1→(ω,k)を最小化するための最適なテンプレートであると仮定した場合の係数Aq(ω,k,p)は、最小二乗法に基づき、式（９）により求められる。なお、この段階では、式（９）左辺のｑは意味を持たないことに留意されたい。
【数８】
2011185916.tif 000010
【００３８】
＜処理２＞
集合Λの要素の個数（濃度）を|Λ|とすると、式（９）に基づき得られた|Λ|個の係数Aq(ω,k,p)（ｐ∈Λ）を用いて、テンプレートSg(q,k)→(ω)のインデックスを表すg(q,k)は、残差信号Eq+1→(ω,k)のパワー(Eq+1→(ω,k))HEq+1→(ω,k)を最小とするインデックスとして式（１０）により得られる。
【数９】
2011185916.tif 000011
【００３９】
ｑ番目の反射音を構成する係数Aq(ω,k,g(q,k))は、式（１０）で得られたg(q,k)を式（９）のｐに代入して得られる。式（１０）の計算の際に係数Aq(ω,k,g(q,k))は計算されているので、メモリに余裕がある場合には、式（１０）の際に得られた係数Aq(ω,k,g(q,k))をメモリに格納しておき、式（１０）でg(q,k)が得られた後に、メモリからp=g(q,k)に対応する係数Aq(ω,k,g(q,k))を呼び出せばよい。
【００４０】
以上の過程により、Ｑ個の反射音情報成分rsq→(ω,k)＝[rsAq(ω,k),rsBq(ω,k)]（ｑ＝１，…，Ｑ）が求められる。
【００４１】
《第２実施形態》
第１実施形態ではテンプレート情報S→(ω)を用いて反射音情報rs→(ω,k)を求めたが、Ｐ個のテンプレートSp→(ω)の集合であるテンプレート情報S→(ω)を事前に求めておくことは必ずしも必須ではない。テンプレート情報S→(ω)を事前に求めておかない実施形態を第２実施形態として説明する。
【００４２】
第２実施形態では、第１実施形態におけるステップＳ１−Ｓ４の各処理が実施されるが、第１実施形態におけるステップＳｐの処理が不要であり、さらに第１実施形態のステップＳ５の処理に替えてステップＳ５ａの処理が行われる（図１２参照）。そこで、第１実施形態と同じ事項については重複説明を省略し、第１実施形態と異なる事項について説明する。
【００４３】
記号の定義を行う。ｑ番目の残差信号をEq→(ω,k)=[Eq1(ω,k),…,EqM(ω,k)]T、ｑ番目の反射音（q=1の場合は直接音を表す）をAq(ω,k)Rq→(ω,θq→(ω,k))とする。反射音を構成するRq→(ω,θq→(ω,k))=[R1(ω,θq→(ω,k)),…,RM(ω,θq→(ω,k))]Tは、空間中の任意の位置[x,y,z]と各マイクロホンとの間の周波数ごとの伝達特性を模擬した関数（以下、伝達特性関数という）であり、各マイクロホンに対する伝達特性を模擬した関数であれば何でもよい。通常、伝達特性関数を構成する各伝達特性Rm(ω,θq→(ω,k))とテンプレートの各要素Spm(ω)の算出式とは同じである。この場合、方向情報θq→(ω,k)で表される方向に在る位置[x,y,z]とｍ番目の受音点[um,vm,wm]との間の周波数ごとの伝達特性Rm(ω,θq→(ω,k))は式（１１）で表される。なお、方向情報θq→(ω,k)で表される方向に在る位置[x,y,z]は、例えば、上記座標系原点から十分に離れた球面上の位置とすればよい。位置[x,y,z]を原点から十分に離れた位置とする理由は既述のとおりであり、詳しくは位置[x,y,z]はマイクロホンアレーが配置されている局所領域にて音源ないし仮想音源からの直接音ないし反射音を平面波として模擬できる距離にある空間中の任意の位置であることが好ましい。なお、３次元直交座標系と球座標系とは相互に転換可能であるから（座標変換）、式（１１）の右辺は位置[x,y,z]でなく方向情報θq→(ω,k)＝[θq,pol(ω,k),θq,azi(ω,k)]を用いて、例えば式（１１ａ）のように表すこともできる。ここで、ｄはマイクロホン間隔であり、マイクロホンアレーをΦ行Ξ列（Φ×Ξ＝Ｍ）の２次元マイクロホンアレーとし、ｍ番目のマイクロホンの位置をφ行ξ列（１≦φ≦Φ，１≦ξ≦Ξ）にあるとする。
【数１０】
2011185916.tif 000012
【００４４】
反射音を構成するAq(ω,k)は、音源２００自身が持つ位相や壁での反射、距離による減衰といったテンプレートRq→(ω,θq→(ω,k))と反射音との相違を表し、到来振幅に相当する。ｑの昇順に残差信号から反射音を減算する上述の方法を式で表すと式（１２）のようになる。ただし、１≦ｑ≦Ｑであり、E1→(ω,k)=X→(ω,k)である。
【数１１】
2011185916.tif 000013
【００４５】
次に、反射音Aq(ω,k)Rq→(ω,θq→(ω,k))を最適化する方法について説明する。
ｑ番目の最適化された反射音Aq(ω,k)Rq→(ω,θq→(ω,k))は、式（１２）で表されるｑ＋１番目の残差信号Eq+1→(ω,k)のパワー(Eq+1→(ω,k))HEq+1→(ω,k)を最小とする基準に従って決定される。具体的には、伝達特性関数Rq→(ω,θq→(ω,k))が方向情報θq→(ω,k)で決定されることに注意すると、ｑ番目の反射音Aq(ω,k)Rq→(ω,θq→(ω,k))を表現するパラメータAq(ω,k)，θq→(ω,k)の最適値Aq,opt(ω,k)，θq,opt→(ω,k)は式（１３）によって得られる。なお、記号Ｈは共役転置を表す。
【数１２】
2011185916.tif 000014
【００４６】
このとき、ｑ番目の反射音情報成分rsq→(ω,k)＝[rsAq(ω,k),rsBq(ω,k)]は式（１４）、式（１５）で与えられる。
【数１３】
2011185916.tif 000015
【００４７】
式（１３）の具体的な計算方法は種々考えられるが、ここではその一例を示す。方向情報θq→(ω,k)を、例えばビームフォーマ法などの到来方位推定方法によって定める。ビームフォーマ法は、指向性ビームを空間走査し、得られた電力スペクトルから電力が大きくなる方向を探索する方法である。ここでは、ビームフォーマ法によりＰ個の到来方向が推定できたとする。
【００４８】
実際には、ビームフォーマ法によって得られる電力スペクトルは到来方向に対して急峻でないことがあり、このような場合、例えば、予め定めたスペクトル強度以上のスペクトル強度を示す電力スペクトルに対応する方向の範囲にて予め定めた間隔で到来方向を定めればよい。具体例として、極角５°、方位角１０°から２０°の範囲で予め定めたスペクトル強度以上のスペクトル強度を示す電力スペクトルが得られたとすると、予め定めた間隔２°ごとに到来方向を定めるとして、（極角５°，方位角１０°），（極角５°，方位角１２°），（極角５°，方位角１４°），（極角５°，方位角１６°），（極角５°，方位角１８°），（極角５°，方位角２０°）を到来方向とすればよい。
【００４９】
また、電力スペクトルが或る方向にて急峻なピークを示したとしても、単純に当該方向を到来方向の一つとして定めるのではなく、当該方向の所定の範囲で到来方向を定めてもよい。具体例として、極角３０°、方位角５０°で急峻なピークを示す電力スペクトルが得られたとすると、所定の範囲（極角±４°，方位角±４°，間隔２°）で到来方向を定めるとして、（極角２６°，方位角４６°），（極角２８°，方位角４６°），（極角３０°，方位角４６°），（極角３２°，方位角４６°），（極角３４°，方位角４６°），（極角２６°，方位角４８°），（極角２８°，方位角４８°），（極角３０°，方位角４８°），（極角３２°，方位角４８°），（極角３４°，方位角４８°），（極角２６°，方位角５０°），（極角２８°，方位角５０°），（極角３０°，方位角５０°），（極角３２°，方位角５０°），（極角３４°，方位角５０°），（極角２６°，方位角５２°），（極角２８°，方位角５２°），（極角３０°，方位角５２°），（極角３２°，方位角５２°），（極角３４°，方位角５２°），（極角２６°，方位角５４°），（極角２８°，方位角５４°），（極角３０°，方位角５４°），（極角３２°，方位角５４°），（極角３４°，方位角５４°）を到来方向とすればよい。なお、第１実施形態ではＰは固定値であったが、第２実施形態ではＰはビームフォーマ法などの到来方位推定方法による推定成果に依存する値であることに留意されたい。
【００５０】
ビームフォーマ法によって得られたＰ個の到来方向についてテンプレートを生成する。テンプレートの各要素の算出式は例えば式（６）である。このＰ個のテンプレート（テンプレート情報S→(ω)）を用いて第１実施形態で説明した処理を行えばよい。
【００５１】
＜変形例＞
上述の実施形態では周波数ごとに観測信号X→(ω,k)を用いて反射音情報rs→(ω,k)を推定したが、周波数ごとに反射音情報を推定すると、一意に推定されるべき仮想音源の方向（推定到来方向）以外の方向に関する情報も含んでしまうことがあり、この結果、反射音情報に誤差が生じることがありうる。例えば、図１３（ａ）に示すように推定到来方向に関する情報だけを抽出できることが望ましいが、実際には図１３（ｂ）に示すように推定到来方向以外の方向に関する情報が混在してしまうことがありえる。
【００５２】
そこで変形例では、全周波数に亘り一括してパワーを算出することで、反射音情報の推定誤差を小さくする。つまり、図１４に示すように、残差信号のパワーを全周波数に亘り統括することによって、推定到来方向以外の方向の影響を極力減らすことができる。一般的に推定到来方向以外の方向では各周波数でのパワーにバラつきが生じるので、残差信号のパワーを全周波数に亘り統括することにより、推定到来方向のパワーに比してそれ以外の方向のパワーの相対的な影響を低減することができる。なお、図１４では、縦軸のパワーは相対値を示しているので各グラフのスケールが同じであるわけではないことに留意されたい。
【００５３】
この変形例での処理は次のとおりである。解析する周波数帯域に含まれる周波数のインデックスωの集合をΩとする。例えば、音声信号を扱うのであれば、1.0〜3.0kHz帯域に対応するインデックスの集合をΩとすればよい。そして、テンプレートSg(q,k)→(ω)のインデックスg(q,k)を式（１０）の替わりに式（１６）によって求める。
【数１４】
2011185916.tif 000016
【実施例】
【００５４】
本発明を用いて反射音情報を推定した実験結果を示す。直方体の部屋で８１本のマイクロホンを９行９列に等間隔に２次元的に並べ、壁際に配置した環境をシミュレートした。マイクロホン間隔は８ｃｍである。テンプレートの座標として、図１０に示したように、マイクロホンアレーを取り囲む半球上に等間隔となるように配置した。１．０−２．５ｋＨｚ帯域を解析した場合の実験結果を図１１に示す。マイクロホンから放射線状に伸びている線の方向が反射音の到来方向、長さが到来振幅を表す。理論値と比較して、おおよそ反射音の到来方向、到来振幅を反映した結果が得られていることが分かる。よって、本手法は反射音情報を推定するのに有効な手法と言える。
【００５５】
＜応用例＞
反射音情報は人間が生活する上で、非常に重要な音声情報である。例えば、視覚障害者は、タッピングによって発した音源信号が壁や天井等で反射して耳で観測することにより、環境を把握している。また、日常会話でも、適度な反射が生じる部屋で会話することと、反射音が比較的少ない環境で会話することでは会話のしやすさに相違が生じる。以下、本発明により推定された反射音情報を用いたサービス例について述べる。
１つ目は、会議システムに本発明を組み込んだ例である。指向性音源の向きに応じて反射音の振幅は変化するので、反射音情報が分かると、どの方向に音源が向いているのかを推定することができる。会議システムに音源向きの推定装置を組み込めば、誰に向かって発言したのかを提示することに応用できる。
２つ目は、自由な位置で映像や音声を鑑賞できるシステムである。遠方にある音は直接到来する音源のパワーが小さいので収音することが困難である。反射音情報が分かると、直接音だけでなく、反射音も強調収音できるので、遠方の音を強調することが可能となる。また、音声処理の分野では、方向別に音源の強調収音は可能であるが、距離別に音声を強調収音することは非常に難しいとされている。反射音情報が分かると、距離に対応する物理的な特徴量が得られるので、距離別に収音することが可能となる。遠方の音を収音したり、方向別、距離別に収音することができれば、視聴者の選択した位置に対応した音場を擬似的に生成することが可能となる。
【００５６】
音声通信システムにおいて、反射音情報を推定することは、直接音だけでは得られなかった音場の情報を得ることにつながる。反射音情報が分かれば、これまでの音声強調技術ではできなかったような遠方音の収音や距離別の収音に結びついたり、従来の収音技術では推定できなかった音場の情報（例えば音源の向き）を推定できる。こういった音場の情報の推定は、これまでの技術では実現できなかった音声処理装置の開発に繋がる。反射音情報の推定に関する従来技術は、インパルス応答を求めるために特殊な信号を観測する必要があったが、本発明は音声信号のような一般的な観測信号で反射音情報を得られるという利点を持つ。
【００５７】
＜反射音情報推定装置のハードウェア構成例＞
上述の実施形態に関わる反射音情報推定装置は、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ＣＰＵ（Central Processing Unit）〔キャッシュメモリなどを備えていてもよい。〕、メモリであるＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）と、ハードディスクである外部記憶装置、並びにこれらの入力部、出力部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置間のデータのやり取りが可能なように接続するバスなどを備えている。また必要に応じて、反射音情報推定装置に、ＣＤ−ＲＯＭなどの記憶媒体を読み書きできる装置（ドライブ）などを設けるとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
【００５８】
反射音情報推定装置の外部記憶装置には、反射音情報を推定するためのプログラム並びにこのプログラムの処理において必要となるデータなどが記憶されている〔外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくなどでもよい。〕。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。以下、データやその格納領域のアドレスなどを記憶する記憶装置を単に「記憶部」と呼ぶことにする。
【００５９】
反射音情報推定装置の記憶部には、アナログ信号に対してＡＤ変換を行うためのプログラム、フレーム分割処理を行うためのプログラム、フレームごとのデジタル信号を周波数領域の観測信号に変換するためのプログラム、テンプレート情報を生成するためのプログラム、周波数領域の観測信号とテンプレート情報を用いて反射音情報を推定するためのプログラムが記憶されている。
【００６０】
反射音情報推定装置では、記憶部に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてＲＡＭに読み込まれて、ＣＰＵで解釈実行・処理される。この結果、ＣＰＵが所定の機能（ＡＤ変換部、フレーム分割部、周波数領域変換部、テンプレート生成部、反射音情報推定部）を実現することで反射音情報の推定が実現される。
【００６１】
＜補記＞
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【００６２】
また、上記実施形態において説明したハードウェアエンティティ（反射音情報推定装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
【００６３】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００６４】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００６５】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００６６】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2011185916.tif 000019
【図２】
2011185916.tif 000020
【図３】
2011185916.tif 000021
【図４】
2011185916.tif 000022
【図５】
2011185916.tif 000023
【図６】
2011185916.tif 000024
【図７】
2011185916.tif 000025
【図１０】
2011185916.tif 000026
【図１２】
2011185916.tif 000027
【図１３】
2011185916.tif 000028
【図１４】
2011185916.tif 000029
【図８】
2011185916.tif 000030
【図９】
2011185916.tif 000031
【図１１】
2011185916.tif 000032
【図１５】
2011185916.tif 000033