(57)【特許請求の範囲】
【請求項１】
Ｍ個（ただし、Ｍは４以上の整数とする）のマイクロホンで構成されるマイクロホンアレーから見たＰ個（ただし、Ｐを２以上の予め定められた整数とする）の方向それぞれの、Ｍ個の各上記マイクロホンに対する、周波数ごとの伝達特性を模擬した関数（以下、伝達特性関数という）をそれぞれテンプレートとして記憶する記憶部と、
一つの音源から発せられ上記マイクロホンアレーへ複数の方向（以下、音声到来方向という）から到来する音声信号をＭ個の上記マイクロホンで収音して得られるＭ個の収音信号がそれぞれ周波数領域に変換された信号（以下、観測信号という）を入力とし、Ｑを２以上の予め定められた整数として、１個の直接音と上記直接音とは相異なるＱ−１個の反射音（以下、上記１個の直接音と上記直接音とは相異なるＱ−１個の反射音を合わせてＱ個の音声信号という）はそれぞれ、上記マイクロホンアレーから見たＱ個の音声信号の音声到来方向の、Ｍ個の各上記マイクロホンに対する、周波数ごとの上記伝達特性関数に複素振幅を乗じて表されるものとして、上記テンプレートの中から選択されたＱ個のテンプレートにより特定されるＱ個の音声到来方向をＱ個の音声信号それぞれの初期方向とし、各初期方向に対応する複素振幅を初期振幅として決定し、Ｑ個の当該初期方向とＱ個の当該初期振幅を起点として、相異なるＱ個の上記音声到来方向に対応するＱ個の音声信号を上記観測信号から減じて得られる残差信号（以下、一括除去後残差信号という）のパワーが小さくなるようにＱ個の上記音声到来方向の補正とＱ個の上記複素振幅の補正とを行うことにより、Ｑ個の音声信号に対応するＱ個の上記音声到来方向およびＱ個の上記複素振幅を一括して推定する反射音情報推定部と
を含む反射音情報推定装置。
【請求項２】
請求項１に記載の反射音情報推定装置において、
上記反射音情報推定部は、
Ｑ個の上記音声到来方向の補正を行う音声到来方向補正処理とＱ個の上記複素振幅の補正を行う複素振幅補正処理を交互に所定回数反復して行うことにより、Ｑ個の音声信号それぞれに対応するＱ個の上記音声到来方向およびＱ個の上記複素振幅を一括して推定するものであり、
ｑを１以上Ｑ以下の各整数とし、
上記音声到来方向補正処理では、
各ｑについて、上記一括除去後残差信号にｑ番目の音声信号（ただし、初めての上記音声到来方向補正処理では、当該ｑ番目の音声信号は、当該ｑ番目の音声信号の上記初期方向の、Ｍ個の各上記マイクロホンに対する、周波数ごとの上記伝達特性関数に当該ｑ番目の音声信号の上記初期振幅を乗じて表され、２回目以降の上記音声到来方向補正処理では、当該ｑ番目の音声信号は、直前の上記音声到来方向補正処理で得られた当該ｑ番目の音声信号の上記音声到来方向の、Ｍ個の各上記マイクロホンに対する、周波数ごとの上記伝達特性関数に、直前の上記複素振幅補正処理で得られた当該ｑ番目の音声信号の上記複素振幅を乗じて表される）を加えて得られる信号、のパワーが小さくなるようにｑ番目の上記音声到来方向の補正を行い、
上記複素振幅補正処理では、
各ｑについて、上記一括除去後残差信号にｑ番目の音声信号（ただし、初めての上記複素振幅補正処理では、当該ｑ番目の音声信号は、直前の上記音声到来方向補正処理で得られた当該ｑ番目の音声信号の上記音声到来方向の、Ｍ個の各上記マイクロホンに対する、周波数ごとの上記伝達特性関数に当該ｑ番目の音声信号の上記初期振幅を乗じて表され、２回目以降の上記複素振幅補正処理では、当該ｑ番目の音声信号は、直前の上記音声到来方向補正処理で得られた当該ｑ番目の音声信号の上記音声到来方向の、Ｍ個の各上記マイクロホンに対する、周波数ごとの上記伝達特性関数に、直前の上記複素振幅補正処理で得られた当該ｑ番目の音声信号の上記複素振幅を乗じて表される）を加えて得られる信号、のパワーが小さくなるようにｑ番目の上記複素振幅の補正を行う
ことを特徴とする反射音情報推定装置。
【請求項３】
請求項２に記載の反射音情報推定装置において、
上記反射音情報推定部は、ｐを１以上Ｐ以下の各整数として、
（１）各ｐについて、ｐ番目のテンプレートにｐ番目の複素振幅（以下、仮想振幅という）を乗じたものを上記観測信号から減じて得られるｐ番目の残差信号のパワーが最小になるように当該ｐ番目の仮想振幅を決定し、この結果得られたＰ個の仮想振幅のうちその大きさに関して上位Ｑ個の仮想振幅それぞれが乗ぜられたＱ個のテンプレートに対応するＱ個の音声到来方向をＱ個の上記初期方向とし、
（２）ｑを１以上Ｑ以下の各整数として、ｑ番目の上記初期方向に対応して定まる上記一括除去後残差信号のパワーが最小になるように当該ｑ番目の仮想振幅を決定し、これらＱ個の仮想振幅をＱ個の上記初期振幅とする
ことを特徴とする反射音情報推定装置。
【請求項４】
請求項２に記載の反射音情報推定装置において、
上記反射音情報推定部は、
（１）ｑの昇順に各ｑについて、複素振幅を求める第１処理とテンプレートのインデックスを求める第２処理を行うことにより、Ｑ個の上記初期方向を決定する処理であって、当該第１処理では、ｐは、全てのテンプレートのインデックスの集合から上記第２処理で決定されたテンプレートのインデックスを除いた集合に含まれる各インデックスを表すとして、各ｐについて、ｐ番目のテンプレートにｐ番目の複素振幅（以下、仮想振幅という）を乗じたものをｑ番目の最小の残差信号（ただし、１番目の最小の残差信号は上記観測信号とする）から減じて得られるｑ＋１番目の残差信号のパワーが最小になるようにｐ番目の仮想振幅を決定し、上記第２処理では、上記第１処理で得られた仮想振幅のうち最大の仮想振幅が乗ぜられたテンプレートのインデックスを特定し、当該テンプレートに対応する音声到来方向をｑ番目の上記初期方向とすることにより、Ｑ個の上記初期方向を決定し、
（２）ｑを１以上Ｑ以下の各整数として、ｑ番目の上記初期方向に対応して定まる上記一括除去後残差信号のパワーが最小になるように当該ｑ番目の仮想振幅を決定し、これらＱ個の仮想振幅をＱ個の上記初期振幅とする
ことを特徴とする反射音情報推定装置。
【請求項５】
請求項２に記載の反射音情報推定装置において、
上記反射音情報推定部は、
各上記テンプレートに対応する上記音声到来方向の集合から偏りが無いように且つ疎らになるように選択された音声到来方向からなる真部分集合Ψを決定し、真部分集合Ψの濃度を|Ψ|、Ｑ≦|Ψ|、ｘは真部分集合Ψに含まれる音声到来方向に対応するテンプレートの各インデックスを表すとして、
（１）各ｘについて、ｘ番目のテンプレートにｘ番目の複素振幅（以下、仮想振幅という）を乗じたものを上記観測信号から減じて得られるｘ番目の残差信号のパワーが最小になるように当該ｘ番目の仮想振幅を決定し、この結果得られた仮想振幅のうちその大きさに関して上位Ｑ個の仮想振幅それぞれが乗ぜられたＱ個のテンプレートに対応するＱ個の音声到来方向をＱ個の上記初期方向とし、
（２）ｑを１以上Ｑ以下の各整数として、ｑ番目の上記初期方向に対応して定まる上記一括除去後残差信号のパワーが最小になるように当該ｑ番目の仮想振幅を決定し、これらＱ個の仮想振幅をＱ個の上記初期振幅とする
ことを特徴とする反射音情報推定装置。
【請求項６】
請求項１から請求項５のいずれかに記載の反射音情報推定装置において、
上記パワーはそれぞれ、全ての上記周波数に亘って加算して得られたパワーである
ことを特徴とする反射音情報推定装置。
【請求項７】
請求項１から請求項６のいずれかに記載の反射音情報推定装置において、
周波数をω、周波数ωの集合をΩ、ｉを虚数単位、ｃを音速、ｐ番目の位置[xp,yp,zp]とｍ番目（１≦ｍ≦Ｍ）のマイクロホンが配置される位置[um,vm,wm]との間の伝達特性をSpm(ω)、ただし
【数２３】
0005216056.tif 000022
として、各上記テンプレートSp(ω)={Sp1(ω),…,SpM(ω)}（ω∈Ω）を生成するテンプレート生成部を
さらに含むことを特徴とする反射音情報推定装置。
【請求項８】
記憶部には、Ｍ個（ただし、Ｍは４以上の整数とする）のマイクロホンで構成されるマイクロホンアレーから見たＰ個（ただし、Ｐを２以上の予め定められた整数とする）の方向それぞれの、Ｍ個の各上記マイクロホンに対する、周波数ごとの伝達特性を模擬した関数（以下、伝達特性関数という）をそれぞれテンプレートとして記憶されており、
反射音情報推定部が、一つの音源から発せられ上記マイクロホンアレーへ複数の方向（以下、音声到来方向という）から到来する音声信号をＭ個の上記マイクロホンで収音して得られるＭ個の収音信号がそれぞれ周波数領域に変換された信号（以下、観測信号という）を用い、Ｑを２以上の予め定められた整数として、１個の直接音と上記直接音とは相異なるＱ−１個の反射音（以下、上記１個の直接音と上記直接音とは相異なるＱ−１個の反射音を合わせてＱ個の音声信号という）はそれぞれ、上記マイクロホンアレーから見たＱ個の音声信号の音声到来方向の、Ｍ個の各上記マイクロホンに対する、周波数ごとの上記伝達特性関数に複素振幅を乗じて表されるものとして、上記テンプレートの中から選択されたＱ個のテンプレートにより特定されるＱ個の音声到来方向をＱ個の音声信号それぞれの初期方向とし、各初期方向に対応する複素振幅を初期振幅として決定し、Ｑ個の当該初期方向とＱ個の当該初期振幅を起点として、相異なるＱ個の上記音声到来方向に対応するＱ個の音声信号を上記観測信号から減じて得られる残差信号（以下、一括除去後残差信号という）のパワーが小さくになるようにＱ個の上記音声到来方向の補正とＱ個の上記複素振幅の補正とを行うことにより、Ｑ個の音声信号に対応するＱ個の上記音声到来方向およびＱ個の上記複素振幅を一括して推定する反射音情報推定過程
を有する反射音情報推定方法。
【請求項９】
請求項８に記載の反射音情報推定方法において、
上記反射音情報推定過程では、
Ｑ個の上記音声到来方向の補正を行う音声到来方向補正処理とＱ個の上記複素振幅の補正を行う複素振幅補正処理が交互に所定回数反復して行われることにより、Ｑ個の音声信号それぞれに対応するＱ個の上記音声到来方向およびＱ個の上記複素振幅が一括して推定され、
ｑを１以上Ｑ以下の各整数とし、
上記音声到来方向補正処理では、
各ｑについて、上記一括除去後残差信号にｑ番目の音声信号（ただし、初めての上記音声到来方向補正処理では、当該ｑ番目の音声信号は、当該ｑ番目の音声信号の上記初期方向の、Ｍ個の各上記マイクロホンに対する、周波数ごとの上記伝達特性関数に当該ｑ番目の音声信号の上記初期振幅を乗じて表され、２回目以降の上記音声到来方向補正処理では、当該ｑ番目の音声信号は、直前の上記音声到来方向補正処理で得られた当該ｑ番目の音声信号の上記音声到来方向の、Ｍ個の各上記マイクロホンに対する、周波数ごとの上記伝達特性関数に、直前の上記複素振幅補正処理で得られた当該ｑ番目の音声信号の上記複素振幅を乗じて表される）を加えて得られる信号、のパワーが小さくなるようにｑ番目の上記音声到来方向の補正が行われ、
上記複素振幅補正処理では、
各ｑについて、上記一括除去後残差信号にｑ番目の音声信号（ただし、初めての上記複素振幅補正処理では、当該ｑ番目の音声信号は、直前の上記音声到来方向補正処理で得られた当該ｑ番目の音声信号の上記音声到来方向の、Ｍ個の各上記マイクロホンに対する、周波数ごとの上記伝達特性関数に当該ｑ番目の音声信号の上記初期振幅を乗じて表され、２回目以降の上記複素振幅補正処理では、当該ｑ番目の音声信号は、直前の上記音声到来方向補正処理で得られた当該ｑ番目の音声信号の上記音声到来方向の、Ｍ個の各上記マイクロホンに対する、周波数ごとの上記伝達特性関数に、直前の上記複素振幅補正処理で得られた当該ｑ番目の音声信号の上記複素振幅を乗じて表される）を加えて得られる信号、のパワーが小さくなるようにｑ番目の上記複素振幅の補正が行われる
ことを特徴とする反射音情報推定方法。
【請求項１０】
請求項９に記載の反射音情報推定方法において、
上記反射音情報推定過程では、ｐを１以上Ｐ以下の各整数として、
（１）各ｐについて、ｐ番目のテンプレートにｐ番目の複素振幅（以下、仮想振幅という）を乗じたものを上記観測信号から減じて得られるｐ番目の残差信号のパワーが最小になるように当該ｐ番目の仮想振幅を決定し、この結果得られたＰ個の仮想振幅のうちその大きさに関して上位Ｑ個の仮想振幅それぞれが乗ぜられたＱ個のテンプレートに対応するＱ個の音声到来方向をＱ個の上記初期方向とし、
（２）ｑを１以上Ｑ以下の各整数として、ｑ番目の上記初期方向に対応して定まる上記一括除去後残差信号のパワーが最小になるように当該ｑ番目の仮想振幅を決定し、これらＱ個の仮想振幅をＱ個の上記初期振幅とする
ことを特徴とする反射音情報推定方法。
【請求項１１】
請求項９に記載の反射音情報推定方法において、
上記反射音情報推定過程では、
（１）ｑの昇順に各ｑについて、複素振幅を求める第１処理とテンプレートのインデックスを求める第２処理を行うことにより、Ｑ個の上記初期方向を決定する処理であって、当該第１処理では、ｐは、全てのテンプレートのインデックスの集合から上記第２処理で決定されたテンプレートのインデックスを除いた集合に含まれる各インデックスを表すとして、各ｐについて、ｐ番目のテンプレートにｐ番目の複素振幅（以下、仮想振幅という）を乗じたものをｑ番目の最小の残差信号（ただし、１番目の最小の残差信号は上記観測信号とする）から減じて得られるｑ＋１番目の残差信号のパワーが最小になるようにｐ番目の仮想振幅を決定し、上記第２処理では、上記第１処理で得られた仮想振幅のうち最大の仮想振幅が乗ぜられたテンプレートのインデックスを特定し、当該テンプレートに対応する音声到来方向をｑ番目の上記初期方向とすることにより、Ｑ個の上記初期方向を決定し、
（２）ｑを１以上Ｑ以下の各整数として、ｑ番目の上記初期方向に対応して定まる上記一括除去後残差信号のパワーが最小になるように当該ｑ番目の仮想振幅を決定し、これらＱ個の仮想振幅をＱ個の上記初期振幅とする
ことを特徴とする反射音情報推定方法。
【請求項１２】
請求項９に記載の反射音情報推定方法において、
上記反射音情報推定過程では、
各上記テンプレートに対応する上記音声到来方向の集合から偏りが無いように且つ疎らになるように選択された音声到来方向からなる真部分集合Ψを決定し、真部分集合Ψの濃度を|Ψ|、Ｑ≦|Ψ|、ｘは真部分集合Ψに含まれる音声到来方向に対応するテンプレートの各インデックスを表すとして、
（１）各ｘについて、ｘ番目のテンプレートにｘ番目の複素振幅（以下、仮想振幅という）を乗じたものを上記観測信号から減じて得られるｘ番目の残差信号のパワーが最小になるように当該ｘ番目の仮想振幅を決定し、この結果得られた仮想振幅のうちその大きさに関して上位Ｑ個の仮想振幅それぞれが乗ぜられたＱ個のテンプレートに対応するＱ個の音声到来方向をＱ個の上記初期方向とし、
（２）ｑを１以上Ｑ以下の各整数として、ｑ番目の上記初期方向に対応して定まる上記一括除去後残差信号のパワーが最小になるように当該ｑ番目の仮想振幅を決定し、これらＱ個の仮想振幅をＱ個の上記初期振幅とする
ことを特徴とする反射音情報推定方法。
【請求項１３】
請求項８から請求項１２のいずれかに記載の反射音情報推定方法において、
上記パワーはそれぞれ、全ての上記周波数に亘って加算して得られたパワーである
ことを特徴とする反射音情報推定方法。
【請求項１４】
請求項８から請求項１３のいずれかに記載の反射音情報推定方法において、
テンプレート生成部が、周波数をω、周波数ωの集合をΩ、ｉを虚数単位、ｃを音速、ｐ番目の位置[xp,yp,zp]とｍ番目（１≦ｍ≦Ｍ）のマイクロホンが配置される位置[um,vm,wm]との間の伝達特性をSpm(ω)、ただし
【数２５】
0005216056.tif 000023
として、各上記テンプレートSp(ω)={Sp1(ω),…,SpM(ω)}（ω∈Ω）を生成するテンプレート生成過程を
さらに有することを特徴とする反射音情報推定方法。
【請求項１５】
コンピュータに、請求項８から請求項１４のいずれかに記載の反射音情報推定方法の処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号をマイクロホンで収音して得られる収音信号から反射音に関する情報（到来振幅、到来方向）を推定する技術に関する。
【背景技術】
【０００２】
電話や音声会議といった音声情報をやりとりするシステムを一般に音声通信システムと呼ぶ。音声通信システムにおいて、反射音に関する情報（到来振幅、到来方向など）を得ることは非常に重要なことである。会議室のような残響環境下において、マイクロホンを通して収音される収音信号の中には発話者のような音源から直接到来する直接音だけではなく、床、壁や天井に反射して到来する反射音が混在する。したがって、このような残響環境下で或る話者の発言を収録すると、直接音から遅延して反射音が混入するため、聞き取りづらくなってしまう。収音信号から各反射音の到来情報を推定して、反射音を除去することができれば、聞き取りやすい音声に回復することができる。ここで、反射音情報を推定する従来研究として、非特許文献１が挙げられる。
【０００３】
非特許文献１に開示される技術を実現する機能構成を図１に示す。この技術における処理手順は次のとおりである。
【０００４】
１．インパルス音源１００から放射された音源信号を４ｃｈのマイクロホン１１０−１，１１０−２，１１０−３，１１０−４を用いて収音する。ＡＤ変換部１２０は、収音されたアナログ信号をデジタル信号x→(t)＝[x1(t),x2(t),x3(t),x4(t)]Tへ変換する。ここで、[・]Tは転置を表す。ｔは離散時間のインデックスを表す。４本のマイクロホンは正四面体の頂点に配置されていることとする。
【０００５】
２．インパルス応答算出部１３０は、デジタル信号x→(t)＝[x1(t),x2(t),x3(t),x4(t)]Tを入力とし、各マイクロホンのインパルス応答h→(t)＝[h1(t),h2(t),h3(t),h4(t)]Tを算出する。インパルス応答の算出方法には、ＴＳＰ法やＭ系列法等があり、いかなる方法を用いてインパルス応答を算出してもよい。
【０００６】
３．仮想音源算出部１４０は、４ｃｈのインパルス応答h→(t)＝[h1(t),h2(t),h3(t),h4(t)]Tを入力とし、仮想音源情報v→＝[v→1,…,v→D]Tを出力する。Ｄは仮想音源の数を表す。仮想音源とは、各反射音の到来振幅、到来方向、到来時間を表現するために仮想的に存在するとされる音源である。図２を参照して、仮想音源について説明する。図２には、右側の壁で反射した音源信号をマイクロホンで受音する経路が書かれている。右側の壁で反射して到来する音源信号（反射音）は、「仮想音源」と書かれた位置から直接到来する信号と等価である（ただし、壁での反射による減衰や距離減衰の影響は受ける）。
【０００７】
この従来技術の詳細について説明する。インパルス応答を近接した４つの受音点（マイクロホンの位置）で測定すると反射音の到来時刻にわずかな差が生じる。インパルス応答の短い区間の相互相関を利用して、各マイクロホンにおける反射音の対応付けを行うことで、図３のように、ｎ番目の反射波に関するそれぞれの受音点での到来時刻ｔ1n，ｔ2n，ｔ3n，ｔ4n（１≦ｎ≦Ｄ）が求まる。正四面体マイクロホンアレーの辺の長さをｄ、音速をｃとすると、各仮想音源情報vn→＝[Xn,Yn,Zn,Sn]Tが求まる。ここで、Xn,Yn,Znはｎ番目の仮想音源の位置を表し（式（１）−（３）参照）、これは各反射音の到来方向と到来時間に対応する情報を持つ。また、Snはｎ番目の仮想音源の強さを表し、４ｃｈのインパルスで対応付けされたｎ番目の反射音の振幅の平均で求まる。
【数１】
0005216056.tif 000002
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】山崎芳男ら、「近接する４点のインパルス応答により求めたホールの空間情報」、日本音響学会講演論文集、１９８１年５年、pp.759-760.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従来技術によると、仮想音源情報と呼んでいた反射音の「到来振幅」、「到来方向」、「到来時刻」を推定するためには、インパルス応答をあらかじめ用意することが必要であった。しかし、インパルス応答を用意するためには特殊な信号を用いて観測する必要があるため、あらゆる位置でのインパルス応答が事前に用意されているという条件は現実的ではない。
【００１０】
そこで本発明は、特殊な信号を用いることなく、収音信号から反射音情報（反射音の「到来方向」や「到来振幅」）を推定する技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
Ｍ個（ただし、Ｍは４以上の整数とする）のマイクロホンで構成されるマイクロホンアレーから見たＰ個（ただし、Ｐを２以上の予め定められた整数とする）の方向それぞれの、Ｍ個の各マイクロホンに対する、周波数ごとの伝達特性を模擬した関数（以下、伝達特性関数という）がそれぞれテンプレートとして予め用意されていて、一つの音源から発せられマイクロホンアレーへ複数の方向（以下、音声到来方向という）から到来する音声信号をＭ個のマイクロホンで収音して得られるＭ個の収音信号がそれぞれ周波数領域に変換された信号（以下、観測信号という）を用い、Ｑを２以上の予め定められた整数として、１個の直接音と直接音とは相異なるＱ−１個の反射音（以下、１個の直接音と直接音とは相異なるＱ−１個の反射音を合わせてＱ個の音声信号という）はそれぞれ、マイクロホンアレーから見たＱ個の音声信号の音声到来方向の、Ｍ個の各マイクロホンに対する、周波数ごとの伝達特性関数に複素振幅を乗じて表されるものとして、テンプレートの中から選択されたＱ個のテンプレートにより特定されるＱ個の音声到来方向をＱ個の音声信号それぞれの初期方向とし、各初期方向に対応する複素振幅を初期振幅として決定し、Ｑ個の当該初期方向とＱ個の当該初期振幅を起点として、相異なるＱ個の音声到来方向に対応するＱ個の音声信号を観測信号から減じて得られる残差信号のパワーが小さくなるようにＱ個の音声到来方向の補正とＱ個の複素振幅の補正とを行うことにより、Ｑ個の音声信号に対応するＱ個の音声到来方向およびＱ個の複素振幅を一括して推定する。
【発明の効果】
【００２０】
本発明に拠ると、相異なるＱ個の位置に対応するＱ個の反射音を観測信号から減じて得られる残差信号のパワーが最小になるようにＱ個の伝達特性関数に対応する空間中の各位置により決定される方向およびＱ個の複素振幅を一括して推定することから、インパルス応答を求めるために音源信号に特殊な信号を用いることなく、収音信号から反射音情報を推定することが可能である。反射音情報が得られると、従来の音声情報処理技術では実現できなかった音源向きの推定や、音声強調（遠方音の収音や距離別の収音）といった用途に応用できる。
【図面の簡単な説明】
【００２１】
【図１】従来技術における反射音情報推定技術の機能構成を示す図。
【図２】仮想音源を説明するための図。
【図３】従来技術における反射音の対応付けを説明するための図。
【図４】第１実施形態に係る反射音情報推定装置の機能構成を示す図。
【図５】第１実施形態に係る反射音情報推定方法の処理手順を示す図。
【図６】２次元マイクロホンアレーの構成例を示す図。
【図７】ｐ番目の点[xp,yp,zp]とｍ番目の受音点[um,vm,wm]との間の伝達特性を説明するための図。
【図８】図６に示すマイクロホンアレーを用いて観測した或る平面での音圧分布が例えば直接音と反射音１と反射音２との重畳で得られていることを説明するための図。
【図９】（ａ）理想的には、推定到来方向に関する情報だけが抽出されるべきことを説明するための図。（ｂ）実際には、推定到来方向以外の方向に関する情報も混在してしまうことを説明するための図。
【図１０】残差信号のパワーを全周波数に亘って総括することにより、推定到来方向以外の方向の影響を減らすことを説明するための図。
【図１１】実用レベルの２次元マトリクスマイクロホンアレーを用いた場合における音圧分布とその分解を示す図。
【発明を実施するための形態】
【００２２】
《第１実施形態》
本発明は、発話信号のような音源から放射された音声信号（音源信号）を複数のマイクロホンで構成されるマイクロホンアレーで収音した信号（収音信号）から反射音の「到来方向」ないし、「到来振幅」と「到来方向」を推定する。第１実施形態の機能構成および処理フローを図４と図５に示す。
【００２３】
音源２００から放射された音源信号をＭｃｈのマイクロホン２１０−１，…，２１０−Ｍを用いて収音する（ステップＳ１）。Ｍは、４より大きい値が望ましい。ＡＤ変換部２２０が、収音されたアナログ信号をデジタル信号xx→(t)＝[xx1(t),…,xxM(t)]Tへ変換する（ステップＳ２）。ここで、[・]Tは転置を表す。ｔは離散時間のインデックスを表す。
【００２４】
Ｍ本のマイクロホンの並べ方は、２次元または３次元的に等間隔で配置することが望ましい。これは、反射音の到来方向とテンプレート（後で説明するが、反射音の伝達特性を模擬したものである）の対応を一意に定めるためである。なお、原理的に、１次元的にマイクロホンを配置しても、あるいは等間隔に配置しなくても、本発明を実施できるが、反射音の伝達特性と反射音の到来方向が一対一の関係とならないため、２次元または３次元的に等間隔で配置することが望ましい。２次元平面上に等間隔にマイクロホンを並べた場合の一例を図６に示す。マイクロホン間隔ｄは、空間サンプリング定理を満たすように設定されていることが望ましい。空間サンプリング定理を満たす場合、マイクロホン間隔ｄは、式（４）を満たす数値となる。ｃは音速であり、ｆは解析対象とする周波数である。例えば、４ｋＨｚの周波数を解析する場合、マイクロホン間隔を４ｃｍ程度に設定するのがよい。
【数４】
0005216056.tif 000003
【００２５】
フレーム分割部２３０は、ＡＤ変換部２００が出力したデジタル信号xx→(t)＝[xx1(t),…,xxM(t)]Tを入力とし、チャネルごとに複数サンプルから成るデジタル信号の組（フレーム）に分割された信号x→(k)＝[x1(k),…,xM(k)]Tを出力する（ステップＳ３）。ｋはフレーム番号を表すインデックスである。フレーム分割は、各チャネルのデジタル信号xxi(t)（１≦ｉ≦Ｍ）ごとにＷ点分をバッファリングして出力する処理である。Ｗはサンプリング周波数にもよるが、１６ｋＨｚサンプリングの場合には５１２点あたりが妥当である。
【００２６】
周波数領域変換部２４０は、各フレームのデジタル信号x→(k)を入力として、周波数領域の信号X→(ω,k)＝[X1(ω,k),…,XM(ω,k)]Tに変換して出力する（ステップＳ４）。この信号X→(ω,k)を観測信号と呼ぶことにする。ここで、ωは離散周波数のインデックスを指し（周波数ｆと角周波数ωとの間にはω=2πfの関係があるから、周波数のインデックスωをこの角周波数ωと同一視してもかまわない。以下、ωに関して「周波数のインデックス」を単に「周波数」ともいう）、ｋはフレームのインデックスを指す。周波数領域に変換する方法の一つに、離散フーリエ変換があるが、周波数領域に変換するのであれば、他の方法を用いてもよい。周波数領域の観測信号X→(ω,k)は、各周波数ω、フレームｋごとに出力される。
【００２７】
テンプレート生成部２５０は、Ｐ個のテンプレートSp→(ω)の集合（ただし、計算の都合、ベクトル表記している）であるテンプレート情報S→(ω)＝[S1→(ω),…,SP→(ω)]（∀ω∈Ω；Ωは周波数のインデックスωの集合）を周波数ωごとに生成する（ステップＳｐ）。この処理は通常、ステップＳ１−Ｓ４の各処理に先立ち実施される。Ｐはテンプレートの総数を表し、予め２以上の整数値に設定されている。テンプレート総数Ｐは多ければ多いほど高精度な反射音情報の推定に繋がるが、計算量が多くなるので、例えばＰ＝１０００くらいに設定するのが良い。この処理は、マイクロホンで信号を観測する以前にあらかじめ行う処理である。また、マイクロホンの位置（例えばマイクロホンの間隔ｄ）を変更したり、テンプレート総数Ｐを変更したりしない限り、通常、テンプレートを毎回作り直す必要はない。ここで言う“テンプレート”とは、反射音の到来方向に対応する伝達特性（音響伝播特性）を模擬したものである。ｐ番目（１≦ｐ≦Ｐ）のテンプレートSp→(ω)＝[Sp1(ω),…,SpM(ω)]T（ω∈Ω）は、予め定められたｐ番目の点[xp,yp,zp]とＭ個の受音点（ここで受音点はマイクロホンが配置される位置であり、ｍ番目（１≦ｍ≦Ｍ）の受音点を[um,vm,wm]とする）の間の周波数ごとの伝達特性を表す（図７を参照）。ｐ番目のテンプレートSp→(ω)の各要素Spm(ω)の算出式の一例を式（５）に示す。記号ｉは虚数単位を表す。
【数５】
0005216056.tif 000004
【００２８】
ｐ番目のテンプレートSp→(ω)には方向情報θp→(ω)が対応付けられている。方向情報θp→(ω)は、ｐ番目の点[xp,yp,zp]および受音点[um,vm,wm]の位置座標の基準となる３次元直交座標系の原点からｐ番目の点[xp,yp,zp]を見た方向であり、例えば（当該３次元直交座標系の原点と共通の原点を持つ）球座標系における二つの偏角（極角θp,polと方位角θp,azi）として表される。つまり、θp→(ω)＝[θp,pol(ω),θp,azi(ω)]である。なお、ｐ番目のテンプレートSp→(ω)にｐ番目の点[xp,yp,zp]が関連付けられていれば方向情報θp→(ω)は位置[xp,yp,zp]から計算可能であるから、ｐ番目のテンプレートSp→(ω)に方向情報θp→(ω)が対応付けられていることは必須要件ではない。なお、３次元直交座標系と球座標系とは相互に転換可能であるから（座標変換）、式（５）の右辺は位置[x,y,z]でなく方向情報θp→(ω)＝[θp,pol(ω),θp,azi(ω)]を用いて、例えば式（５ａ）のように表すこともできる。ここで、ｄはマイクロホン間隔であり、マイクロホンアレーをΦ行Ξ列（Φ×Ξ＝Ｍ）の２次元マイクロホンアレーとし、ｍ番目のマイクロホンの位置をφ行ξ列（１≦φ≦Φ，１≦ξ≦Ξ）にあるとする。
【数６】
0005216056.tif 000005
【００２９】
また、第１実施形態のようにテンプレートが方向に対応している場合、Ｐ個の点[xp,yp,zp]（１≦ｐ≦Ｐ）の位置は互いに方向の異なる位置であることが好ましく、例えば各点[xp,yp,zp]が原点から十分に離れた等距離にあるとして、上記原点を中心とする球面上の異なるＰ個の点とすればよい。各点[xp,yp,zp]を原点から十分に離れた位置とする理由は、音源ないし仮想音源から放射された信号は球面的に伝達するが音源ないし仮想音源から十分に離れた位置（原点）での局所領域では直接音ないし反射音を平面波として模擬できるからである。ただし、テンプレート情報が同じ方向の位置に対応するテンプレートを含むことを排除する趣旨ではない。なお、マイクロホンアレーは上記座標系の原点の近傍（局所領域）に配置されているとする。
【００３０】
テンプレート記憶部２６０は、テンプレート生成部２５０が出力したテンプレート情報S→(ω)を記憶し、解析時に反射音情報推定部２７０にテンプレート情報S→(ω)を提供する役割を果たす。
【００３１】
反射音情報推定部２７０は、周波数領域の観測信号X→(ω,k)とテンプレート情報S→(ω)を入力として、Ｑ個の反射音情報成分rsq→(ω,k)の集合（ただし、計算の都合、ベクトル表記している）である反射音情報rs→(ω,k)＝[rs1→(ω,k),…,rsQ→(ω,k)]Tを各フレームｋについて周波数ωごとに出力する（ステップＳ５）。ここで、Ｑは推定される反射音の総数を表し、予め１以上の整数値に設定されている。ｑ番目（１≦ｑ≦Ｑ）の反射音情報成分rsq→(ω,k)は、rsq→(ω,k)＝[rsAq(ω,k),rsBq(ω,k)]の２要素から成り、rsAq(ω,k)はｑ番目の反射音の到来振幅であり、rsBq(ω,k)はｑ番目の反射音の到来方向である。
【００３２】
反射音情報を推定する原理について説明する。図６に示すような２次元マイクロホンアレーを用いて観測した或る平面での音圧分布の一例を図８の左端の濃淡図として示す。濃淡図として示された音圧分布の見方について、黒い部分は音圧が小さく、白い部分は音圧が大きいことを示す。観測した音圧分布には直接音の音圧分布だけではなく、反射音の音圧分布も混入している。直接音や反射音が十分に遠方より到来する場合において、２次元平面上でのそれぞれの音圧分布は、図８の右側の３つの濃淡図のように縞模様となる。縞模様の「濃淡」が直接音ないし反射音の到来振幅、「回転・周期」が直接音ないし反射音の到来方向にそれぞれ対応する。図８の例では、到来振幅や到来方向が異なる直接音、反射音１、反射音２の各音圧分布の重畳で観測信号の音圧分布が構成されることを示している。周波数領域で考えると、直接音や各反射音は到来方向に応じて周波数の変化する複素正弦波で表され、観測信号は直接音と各反射音に対応する複数の複素正弦波が重畳したものとして表される。ところで、本発明で解決する問題は、観測信号のみを用いて、反射音の到来振幅および／または到来方向を推定することである。この課題解決は、図８の左端に描かれた音圧分布から図８の右側の３つの濃淡図の直接音や各反射音に対応する縞模様の「濃淡」や「回転・周期」を推定することに対応する。
【００３３】
反射音情報rs→(ω,k)を推定する手法の概略について説明する。この実施形態では、Ｑ個の反射音情報成分rsq→(ω,k)（１≦ｑ≦Ｑ）を順番に推定するのではなく、一括して推定する。順番に反射音情報成分を推定すると、推定誤差が順次蓄積され、爾後の推定による到来方向や到来振幅の精度に悪影響を及ぼす可能性があるが、一括推定であれば、このような可能性を排除できる。図８の例であれば、Ｑ＝３であり、観測信号から図８の右側の３つの濃淡図で表される直接音と二つの反射音が一括して推定されることになる。この推定は、観測信号からＱ個の反射音を除去して得られる残差信号のパワーが最小になるように行われる。この意味で、直接音と反射音との区別はパワーの差に依存するだけであるから、観測信号に含まれる最も強いパワーを持つ反射音を“直接音”と理解することで、以下の説明では直接音と反射音を区別することなく扱うこととする。なお、Ｑは、計算パワーや反射音情報を用いるアプリケーションにも依存するが、３０くらいに設定するのが良い。
【００３４】
なお、図８の音圧分布はそれぞれ高解像度の濃淡図として示されているが、このような高解像度の濃淡図として音圧分布を示すためには極めて多くのマイクロホンを必要とし、実用的ではない。他方、実用レベルの２次元マトリクスマイクロホンアレーとして例えば１００個のマイクロホンを１０×１０の２次元マトリクスマイクロホンアレーとして用いた場合でさえ、粗い（低解像度）濃淡図（図１１参照）として示される音圧分布しか得られない。そこで、実用の観点から、低解像度の音圧分布しか得られないような状況の下で、精度良く反射音の到来振幅や到来方向を推定することが求められる。本発明では、空間分解能の向上のために任意の位置から到来する平面波を具体的に表現することとし（定式化）、パワーが大きな反射音の影響を受けてパワーの小さいな反射音を推定できなくなることを防止するために、既に推定された反射音を観測信号から除去して次の反射音を推定する（分解）。定式化についてはテンプレート情報として説明したとおりであり、分解については反射音情報rs→(ω,k)の推定手法の概略で説明したとおりである。
【００３５】
上で述べた反射音情報rs→(ω,k)を推定する手法について詳細を述べる。説明に先立ち、記号の定義を行う。観測信号からＱ個の反射音を除去して得られる残差信号をE→(ω,k)=[E1(ω,k),…,EM(ω,k)]T、ｑ番目の反射音（q=1の場合は直接音を表す）をAq(ω,k)Rq→(ω,θq→(ω,k))とする。反射音を構成するRq→(ω,θq→(ω,k))=[R1(ω,θq→(ω,k)),…,RM(ω,θq→(ω,k))]Tは、空間中の任意の位置[x,y,z]と各マイクロホンとの間の周波数ごとの伝達特性を模擬した関数（以下、伝達特性関数という）であり、各マイクロホンに対する伝達特性を模擬した関数であれば何でもよい。このような伝達特性関数を反射音の構成要素とする理由は、Ｑ個の反射音の推定されるべきＱ個の到来方向それぞれに最も近いと考えられるＱ個の方向に対応するＱ個のテンプレートを決定して、そのＱ個のテンプレートに対応する方向Ｄそれぞれの近傍でＱ個の当該方向Ｄを補正することにより、反射音の到来方向の推定精度を向上させるためである（この詳細は反射音Aq(ω,k)Rq→(ω,θq→(ω,k))の最適化として後述する）。通常、伝達特性関数を構成する各伝達特性Rm(ω,θq→(ω,k))とテンプレートの各要素Spm(ω)の算出式とは同じである。この場合、方向情報θq→(ω,k)で表される方向に在る位置[x,y,z]とｍ番目の受音点[um,vm,wm]との間の周波数ごとの伝達特性Rm(ω,θq→(ω,k))は式（６）で表される。なお、方向情報θq→(ω,k)で表される方向に在る位置[x,y,z]は、例えば、上記座標系原点から十分に離れた球面上の位置とすればよい。位置[x,y,z]を原点から十分に離れた位置とする理由は既述のとおりであり、詳しくは位置[x,y,z]はマイクロホンアレーが配置されている局所領域にて音源ないし仮想音源からの直接音ないし反射音を平面波として模擬できる距離にある空間中の任意の位置であることが好ましい。なお、３次元直交座標系と球座標系とは相互に転換可能であるから（座標変換）、式（６）の右辺は位置[x,y,z]でなく方向情報θq→(ω,k)＝[θq,pol(ω,k),θq,azi(ω,k)]を用いて、例えば式（６ａ）のように表すこともできる。ここで、ｄはマイクロホン間隔であり、マイクロホンアレーをΦ行Ξ列（Φ×Ξ＝Ｍ）の２次元マイクロホンアレーとし、ｍ番目のマイクロホンの位置をφ行ξ列（１≦φ≦Φ，１≦ξ≦Ξ）にあるとする。
【数７】
0005216056.tif 000006
【００３６】
反射音を構成するAq(ω,k)は、音源２００自身が持つ位相や壁での反射、距離による減衰といったテンプレートRq→(ω,θq→(ω,k))と反射音との相違を表し、到来振幅に相当する。Ｑ個の反射音情報成分を一括して推定する上述の方法を式で表すと式（７）のようになる。ただし、１≦ｑ≦Ｑである。
【数８】
0005216056.tif 000007
【００３７】
次に、Ｑ個の反射音Aq(ω,k)Rq→(ω,θq→(ω,k))を一括して最適化する方法について説明する。
Ｑ個の最適化された反射音Aq(ω,k)Rq→(ω,θq→(ω,k))は、観測信号からＱ個の反射音を除去して得られる残差信号E→(ω,k)のパワー(E→(ω,k))HE→(ω,k)を最小とする基準に従って決定される。具体的には、伝達特性関数Rq→(ω,θq→(ω,k))が方向情報θq→(ω,k)で決定されることに注意すると、Ｑ個の反射音Aq(ω,k)Rq→(ω,θq→(ω,k))（１≦ｑ≦Ｑ）を表現する各パラメータAq(ω,k)，θq→(ω,k)（１≦ｑ≦Ｑ）の最適値Aq,opt(ω,k)，θq,opt→(ω,k)（１≦ｑ≦Ｑ）は式（８）によって得られる。なお、記号Ｈは共役転置を表す。式（８）にて、｛(Aq,opt(ω,k)，θq,opt→(ω,k))｝q∈{1,…,Q}は、｛(A1,opt(ω,k)，θ1,opt→(ω,k)),…,(Aq,opt(ω,k)，θq,opt→(ω,k)),…,(AQ,opt(ω,k)，θQ,opt→(ω,k))｝を表し、｛(Aq(ω,k)，θq→(ω,k))｝q∈{1,…,Q}は、｛(A1(ω,k)，θ1→(ω,k)),…,(Aq(ω,k)，θq→(ω,k)),…,(AQ(ω,k)，θQ→(ω,k))｝を表す。
【数９】
0005216056.tif 000008
【００３８】
このとき、ｑ番目の反射音情報成分rsq→(ω,k)＝[rsAq(ω,k),rsBq(ω,k)]は式（９）、式（１０）で与えられる。
【数１０】
0005216056.tif 000009
【００３９】
式（８）の具体的な計算方法は種々考えられるが、ここではその一例を示す。
【００４０】
§１．１  方向情報の初期値設定
最初に、Ｑ個の方向情報θq→(ω,k)の初期値θini,q→(ω,k)（１≦ｑ≦Ｑ）を設定する。Ｑ個の初期値θini,q→(ω,k)（１≦ｑ≦Ｑ）の決定方法として、この実施形態では、Ｑ個の方向情報θq→(ω,k)の初期値θini,q→(ω,k)（１≦ｑ≦Ｑ）を、観測信号X→(ω,k)とテンプレート情報S→(ω)を用いて決定するビーム探索的決定方法を説明する。この方法によると、Ｑ個の推定されるべき到来方向それぞれに最も近いと考えられるＱ個の方向に対応するＱ個のテンプレートを決定し、この決定されたＱ個のテンプレートに対応する方向情報をＱ個の方向情報θq→(ω,k)の初期値θini,q→(ω,k)（１≦ｑ≦Ｑ）とすればよい。なお、この場合、ＰとＱとの間にＱ＜Ｐなる関係がある。
【００４１】
そこで、テンプレート情報の中から上述のようなテンプレートを決定するために、便宜上、ｑ番目の反射音をAq(ω,k,g(ω,q))Sg(ω,q)→(ω)と表すことにする。ここで、g(ω,q)は、テンプレート情報の中でｑ番目の反射音を最も精度良く表現できるテンプレートのインデックスを表す。反射音を構成する係数Aq(ω,k,g(ω,q))は、音源２００自身が持つ位相や壁での反射、距離による減衰などによるテンプレートSg(ω,q)→(ω)と反射音との相違を表す。この場合、観測信号X→(ω,k)からｑ番目の反射音Aq(ω,k,g(ω,q))Sg(ω,q)→(ω)を除去して得られる残差信号Eq→(ω,k)は式（１１）のように表される。
【数１１】
0005216056.tif 000010
【００４２】
ｑ番目の反射音Aq(ω,k,g(ω,q))Sg(ω,q)→(ω)は、式（１１）に基づく残差信号Eq→(ω,k)のパワー(Eq→(ω,k))HEq→(ω,k)を最小とする基準に従って推定される。推定方法は様々あるが、そのうちの一つの方法について述べる。
【００４３】
反射音は、Aq(ω,k,g(ω,q))とSg(ω,q)→(ω)の２つの要素で構成されるので、２つの要素に対して最適化することが必要となる。まず、ｐ番目のテンプレートSp→(ω)が残差信号Eq→(ω,k)のパワー(Eq→(ω,k))HEq→(ω,k)を最小化するための最適なテンプレートであると仮定した場合の係数Aq(ω,k,p)は、最小二乗法に基づき、式（１２）により求められる。なお、この段階では、式（１２）左辺のｑは意味を持たないことに留意されたい。
【数１２】
0005216056.tif 000011
【００４４】
次に、式（１２）に基づき得られたＰ個の係数Aq(ω,k,p)（１≦ｐ≦Ｐ）の中から、その絶対値の大きい方から順にＱ個の係数Aq(ω,k,p)のインデックスｑ（１≦ｑ≦Ｑ）を決定する（式（１３）参照）。記号Λは、インデックスｐの全体の集合{1,…,p,…,P}から式（１３）により決定されたインデックスの集合を除いた集合であり、Λ＝{1,…,p,…,P}-{g(ω,1),…,g(ω,q-1)}である。
【数１３】
0005216056.tif 000012
【００４５】
従って、Ｑ個の方向情報θq→(ω,k)の初期値θini,q→(ω,k)（１≦ｑ≦Ｑ）は、式（１３）により得られるＱ個のg(ω,q)（１≦ｑ≦Ｑ）をインデックスに持つテンプレートSg(ω,q)→(ω)（１≦ｑ≦Ｑ）に対応する方向情報θg(ω,q)→(ω)＝[θg(ω,q),pol(ω),θg(ω,q),azi(ω)]（１≦ｑ≦Ｑ）として与えられる。すなわち、θini,q→(ω,k)＝[θg(ω,q),pol(ω),θg(ω,q),azi(ω)]（１≦ｑ≦Ｑ）である。初期値θini,q→(ω,k)はフレームインデックスｋに依存しないことに留意されたい。
【００４６】
§１．２  係数Aq(ω,k)の初期値設定
次に、Ｑ個の係数Aq(ω,k)の初期値Aini,q(ω,k)を設定する。Ｑ個の初期値Aini,q(ω,k)（１≦ｑ≦Ｑ）の決定方法として種々のものが考えられるが、ここでは一例として、パワー最小化基準でＱ個の初期値Aini,q(ω,k)（１≦ｑ≦Ｑ）を決定する方法を説明する。まず、Aq(ω,k,p)=0（１≦ｐ≦Ｐ）とする。そして、初期値Aini,q(ω,k)（１≦ｑ≦Ｑ）は、残差信号E→(ω,k)のパワー(E→(ω,k))HE→(ω,k)を最小化するように、最小二乗法に基づき、式（１４）により求められる。式（１４）にてFq→(ω,k)は式（１５）で与えられる。式（１５）にてΥ={1,…,q-1,q+1,…,Q}であり、Fq→(ω,k)は観測信号からｑ番目の反射音を除去した残差信号である。なお、Ｑ個の方向情報θq→(ω,k)として§１．１で決定されたＱ個の初期値θini,q→(ω,k)を用いる。式（１４）で用いるRq→(ω,θq→(ω,k))は方向情報の初期値θini,q→(ω,k)と式（６）から得られる。
【数１４】
0005216056.tif 000013
【００４７】
§２  反射音の最適化
次に、Ｑ個の方向情報θq→(ω,k)の初期値θini,q→(ω,k)（１≦ｑ≦Ｑ）を起点として、式（７）で表される残差信号E→(ω,k)のパワー(E→(ω,k))HE→(ω,k)を最小とするように、Ｑ個の反射音Aq(ω,k)Rq→(ω,θq→(ω,k))（１≦ｑ≦Ｑ）を一括して最適化する。各反射音は、係数Aq(ω,k)とRq→(ω,θq→(ω,k))の２つの要素で構成されるので、２つの要素に対して最適化することが必要となる。この最適化方法は様々あるが、そのうちの一つの方法（勾配法）について述べる。例示する方法では、方向情報θq→(ω,k)の補正と係数Aq(ω,k)の補正が交互に所定回数（δ回）反復して行われることによりＱ個の反射音Aq(ω,k)Rq→(ω,θq→(ω,k))（１≦ｑ≦Ｑ）が最適化される。δは例えば１００程度の値とされるが１でもよい。
【００４８】
§２．１  方向情報の補正
Ｑ個の方向情報θq→(ω,k)＝[θq,pol(ω,k),θq,azi(ω,k)]（１≦ｑ≦Ｑ）の補正は、式（１６）による更新によって行われる。各ｑ（１≦ｑ≦Ｑ）について、初めて§２．１の処理を行う場合、式（１６）右辺の方向情報θq→(ω,k)は§１．１の処理で得られた初期値θini,q→(ω,k)であり、§２．１の処理が初めてではない場合、式（１６）右辺の方向情報θq→(ω,k)は直前の§２．１の処理で得られた方向情報とする。また、初めて§２．１の処理を行う場合、パワー(Fq→(ω,k))HFq→(ω,k)の計算に用いられる係数Aq(ω,k)（ｑ∈Υ）として式（１４）で得られたAini,q(ω,k)（１≦ｑ≦Ｑ）を用い、§２．１の処理が初めてではない場合、パワー(Fq→(ω,k))HFq→(ω,k)の計算に用いられる係数Aq(ω,k)（ｑ∈Υ）として直前の§２．２の処理（後述する）で得られた係数Aq(ω,k)（１≦ｑ≦Ｑ）を用いる。ステップ幅α1およびα2は小さい正の定数であり、収束速度などを考慮して決定されるが、例えばそれぞれ0.1程度の値とされる。
【数１５】
0005216056.tif 000014
【００４９】
§２．２  係数の補正
Ｑ個の係数Aq(ω,k)（１≦ｑ≦Ｑ）の補正は、最小二乗法に基づき、式（１７）に従って新たな係数Aq(ω,k)（１≦ｑ≦Ｑ）を求めることにより行われる。式（１７）で用いるRq→(ω,θq→(ω,k))は§２．１の処理で得られた方向情報θq→(ω,k)と式（６）から得られる。式（１７）にてFq→(ω,k)の計算に用いられる係数Aq(ω,k)（ｑ∈Υ）として、初めて§２．２の処理を行う場合、§１．１の処理で得られた初期値Aini,q(ω,k)を用い、§２．２の処理が初めてではない場合、直前の§２．２の処理で得られた係数Aq(ω,k)（１≦ｑ≦Ｑ）を用いる。
【数１６】
0005216056.tif 000015
【００５０】
δ回の反復処理が終了した時点で得られている係数Aq(ω,k)と方向情報θq→(ω,k)のＱ個の組み合わせ(Aq(ω,k)，θq→(ω,k))（１≦ｑ≦Ｑ）が｛(Aq,opt(ω,k)，θq,opt→(ω,k))｝q∈{1,…,Q}であり、Ｑ個の反射音情報成分rsq→(ω,k)（１≦ｑ≦Ｑ）となる。すなわち、ｑ番目の反射音情報成分rsq→(ω,k)＝[rsAq(ω,k),rsBq(ω,k)]は式（１８）、式（１９）で与えられる。
【数１７】
0005216056.tif 000016
【００５１】
以上の過程により、Ｑ個の反射音情報成分rsq→(ω,k)＝[rsAq(ω,k),rsBq(ω,k)]（ｑ＝１，…，Ｑ）が求められる。なお、δ＝１に設定されている場合、係数の補正を行わないことにより、反射音情報として到来方向のみを求めることができる。
【００５２】
《第２実施形態》
第２実施形態におけるステップＳ５の処理を説明する。第２実施形態におけるステップＳ５の処理では、「§１．１  方向情報の初期値設定」が第１実施形態と異なる。そこで、第１実施形態と同じ事項については重複説明を省略し、第１実施形態と異なる事項について説明する。
【００５３】
§１．１  方向情報の初期値設定
最初に、Ｑ個の方向情報θq→(ω,k)の初期値θini,q→(ω,k)（１≦ｑ≦Ｑ）を設定する。Ｑ個の初期値θini,q→(ω,k)（１≦ｑ≦Ｑ）の決定方法として、この実施形態では、Ｑ個の方向情報θq→(ω,k)の初期値θini,q→(ω,k)（１≦ｑ≦Ｑ）を、観測信号X→(ω,k)とテンプレート情報S→(ω)を用いて決定する一般化調和解析的決定方法を説明する。この方法によると、Ｑ個の推定されるべき到来方向それぞれに最も近いと考えられるＱ個の方向に対応するＱ個のテンプレートを決定し、この決定されたＱ個のテンプレートに対応する方向情報をＱ個の方向情報θq→(ω,k)の初期値θini,q→(ω,k)（１≦ｑ≦Ｑ）とすればよい。なお、この場合、ＰとＱとの間にＱ＜Ｐなる関係がある。
【００５４】
そこで、テンプレート情報の中から上述のようなテンプレートを決定するために、便宜上、ｑ番目の反射音をAq(ω,k,g(ω,q))Sg(ω,q)→(ω)と表すことにする。ここで、g(ω,q)は、テンプレート情報の中でｑ番目の反射音を最も精度良く表現できるテンプレートのインデックスを表す。反射音を構成する係数Aq(ω,k,g(ω,q))は、音源２００自身が持つ位相や壁での反射、距離による減衰などによるテンプレートSg(ω,q)→(ω)と反射音との相違を表す。この場合、観測信号から１番目からｑ番目までのｑ個の反射音を除去して得られる残差信号Eq+1→(ω,k)は式（２０）のように表される。ただし、１≦ｑ≦Ｑであり、E1→(ω,k)=X→(ω,k)である。
【数１８】
0005216056.tif 000017
【００５５】
ｑ番目の反射音Aq(ω,k,g(ω,q))Sg(ω,q)→(ω)は、式（２０）に基づく残差信号Eq+1→(ω,k)のパワー(Eq+1→(ω,k))HEq+1→(ω,k)を最小とする基準に従って推定される。推定方法は様々あるが、そのうちの一つの方法について述べる。反射音は、Aq(ω,k,g(ω,q))とSg(ω,q)→(ω)の２つの要素で構成されるので、２つの要素に対して最適化することが必要となる。後述の＜処理１＞と＜処理２＞はｑの昇順に各ｑについて行われる。
【００５６】
＜処理１＞
記号Λはインデックスｐの全体の集合{1,…,p,…,P}から後述する式（２２）により決定されたインデックスの集合を除いた集合である。つまり、Λ＝{1,…,p,…,P}-{g(ω,1),…,g(ω,q-1)}とする。ただし、初めて＜処理１＞を行うときはΛ＝{1,…,p,…,P}である。
ｐ番目（ｐ∈Λ）のテンプレートSp→(ω)が式（２０）に基づく残差信号Eq+1→(ω,k)のパワー(Eq+1→(ω,k))HEq+1→(ω,k)を最小化するための最適なテンプレートであると仮定した場合の係数Aq(ω,k,p)は、最小二乗法に基づき、式（２１）により求められる。なお、この段階では、式（２１）左辺のｑは意味を持たないことに留意されたい。
【数１９】
0005216056.tif 000018
【００５７】
＜処理２＞
集合Λの要素の個数（濃度）を|Λ|とすると、式（２１）に基づき得られた|Λ|個の係数Aq(ω,k,p)（ｐ∈Λ）の中から、その絶対値が最大の係数Aq(ω,k,p)のインデックスｑ（１≦ｑ≦Ｑ）を決定する（式（２２）参照）。
【数２０】
0005216056.tif 000019
【００５８】
従って、Ｑ個の方向情報θq→(ω,k)の初期値θini,q→(ω,k)（１≦ｑ≦Ｑ）は、式（２２）により得られるＱ個のg(ω,q)（１≦ｑ≦Ｑ）をインデックスに持つテンプレートSg(ω,q)→(ω)（１≦ｑ≦Ｑ）に対応する方向情報θg(ω,q)→(ω)＝[θg(ω,q),pol(ω),θg(ω,q),azi(ω)]（１≦ｑ≦Ｑ）として与えられる。すなわち、θini,q→(ω,k)＝[θg(ω,q),pol(ω),θg(ω,q),azi(ω)]（１≦ｑ≦Ｑ）である。初期値θini,q→(ω,k)はフレームインデックスｋに依存しないことに留意されたい。
【００５９】
第２実施形態では、第１実施形態で用いたビーム探索的決定方法ではなく、Ｑ個の方向情報θq→(ω,k)の初期値θini,q→(ω,k)（１≦ｑ≦Ｑ）の決定に一般化調和解析的決定方法を用いた。ビーム探索的決定方法によると、強いパワーを持つ反射音の影響で初期値に偏りが生じる可能性があり、初期値に偏りが生じると推定精度が劣化してしまうことがある。一方、一般化調和解析的決定方法によると、初期値計算量がビーム探索的決定方法に比べて増大するが、推定されるべき反射音（正解）に近い初期値を設定できる可能性が高く、この場合、推定精度の向上を望めるだけでなく、反復処理の回数を減らすことができる。
【００６０】
《第３実施形態》
第３実施形態におけるステップＳ５の処理を説明する。第３実施形態におけるステップＳ５の処理では、「§１．１  方向情報の初期値設定」が第１実施形態と異なる。そこで、第１実施形態と同じ事項については重複説明を省略し、第１実施形態と異なる事項について説明する。第３実施形態のコンセプトは、第２実施形態よりも簡便でありながら、上述の初期値の偏りを防止することにある。特に、第３実施形態は、第１実施形態で用いるテンプレート情報に含まれる各テンプレートに対応する方向情報に偏りがある場合に有効である。また、第１実施形態で用いるテンプレート情報に含まれる各テンプレートに対応する方向情報に偏りが無い場合であっても、テンプレート数が極めて多いと近接するテンプレートに対応する方向情報が初期値として設定されて偏りが生じる可能性があるから、初期値設定に用いるテンプレートに対応する方向情報を後述するように偏りが無いように且つ疎らになるように制限することによって、初期値の偏りを防止することができる。
【００６１】
§１．１  方向情報の初期値設定
まず、方向情報を構成するθpol(ω)とθazi(ω)のいずれか一方について、偏りが無いように複数の方向を決定する。この例では、極角θpol(ω)について偏りが無いようにβ個（β≧2）の方向{θ1,pol(ω),…,θβ,pol(ω)}を決定する。通常、極角は0°≦θpol(ω)≦180°を満たすから、例えば等間隔10°ごとに方向を定めることにより{θ1,pol(ω),…,θβ,pol(ω)}={0,10,20,…,180}となる（β=19）。テンプレート情報に含まれるテンプレートのうち集合{θ1,pol(ω),…,θβ,pol(ω)}の要素のいずれかを極角θpol(ω)として持つ方向情報（位置）に対応するテンプレートのインデックスの集合をΨとする。この際、集合Ψの要素の個数（濃度）|Ψ|が、Ｑ≦|Ψ|＜Ｐを満たすようになることが好ましい。集合Ψは、テンプレート情報に含まれるテンプレートに対応する方向情報（位置）の集合の真部分集合である。
【００６２】
そして、式（１２）に基づき係数Aq(ω,k,p)を求める。ただし、式（１２）の右辺で用いるテンプレートのインデックスｐはｐ∈Ψである。
【００６３】
次に、ｐ∈Ψなる条件の下で式（１２）に基づき得られた|Ψ|個の係数Aq(ω,k,p)（１≦ｐ≦|Ψ|）の中から、その絶対値の大きい方から順にＱ個の係数Aq(ω,k,p)のインデックスｑ（１≦ｑ≦Ｑ）を決定する（式（２３）参照）。記号Γは、集合Ψから式（２３）により決定されたインデックスの集合を除いた集合であり、Γ＝Ψ-{g(ω,1),…,g(ω,q-1)}である。
【数２１】
0005216056.tif 000020
【００６４】
従って、Ｑ個の方向情報θq→(ω,k)の初期値θini,q→(ω,k)（１≦ｑ≦Ｑ）は、式（２３）により得られるＱ個のg(ω,q)（１≦ｑ≦Ｑ）をインデックスに持つテンプレートSg(ω,q)→(ω)（１≦ｑ≦Ｑ）に対応する方向情報θg(ω,q)→(ω)＝[θg(ω,q),pol(ω),θg(ω,q),azi(ω)]（１≦ｑ≦Ｑ）として与えられる。すなわち、θini,q→(ω,k)＝[θg(ω,q),pol(ω),θg(ω,q),azi(ω)]（１≦ｑ≦Ｑ）である。初期値θini,q→(ω,k)はフレームインデックスｋに依存しないことに留意されたい。
【００６５】
これらの実施形態のほか、Ｑ個の方向情報θq→(ω,k)の初期値θini,q→(ω,k)（１≦ｑ≦Ｑ）をランダムに設定する実施形態も許容される。
【００６６】
＜変形例＞
上述の第１実施形態では周波数ごとに観測信号X→(ω,k)を用いて反射音情報rs→(ω,k)を推定したが、周波数ごとに反射音情報を推定すると、一意に推定されるべき仮想音源の方向（推定到来方向）以外の方向に関する情報も含んでしまうことがあり、この結果、反射音情報に誤差が生じることがありうる。例えば、図９（ａ）に示すように推定到来方向に関する情報だけを抽出できることが望ましいが、実際には図９（ｂ）に示すように推定到来方向以外の方向に関する情報が混在してしまうことがありえる。
【００６７】
そこで変形例では、全周波数に亘り一括してパワーを算出することで、反射音情報の推定誤差を小さくする。つまり、図１０に示すように、残差信号のパワーを全周波数に亘り統括することによって、推定到来方向以外の方向の影響を極力減らすことができる。一般的に推定到来方向以外の方向では各周波数でのパワーにバラつきが生じるので、残差信号のパワーを全周波数に亘り統括することにより、推定到来方向のパワーに比してそれ以外の方向のパワーの相対的な影響を低減することができる。なお、図１０では、縦軸のパワーは相対値を示しているので各グラフのスケールが同じであるわけではないことに留意されたい。
【００６８】
この変形例での処理は次のとおりである。解析する周波数帯域に含まれる周波数のインデックスωの集合をΩとする。例えば、音声信号を扱うのであれば、1.0〜3.0kHz帯域に対応するインデックスの集合をΩとすればよい。そして、テンプレートSg(ω,q)→(ω)のインデックスg(ω,q)を式（１３）や式（２２）の替わりに式（２４）によって求める。同様に、式（２３）の替わりに式（２５）によって求める。また、方向情報θq→(ω,k)＝[θq,pol(ω,k),θq,azi(ω,k)]の補正は、式（１６）の替わりに式（２６）による更新によって行われる。
【数２２】
0005216056.tif 000021
【００６９】
＜応用例＞
反射音情報は人間が生活する上で、非常に重要な音声情報である。例えば、視覚障害者は、タッピングによって発した音源信号が壁や天井等で反射して耳で観測することにより、環境を把握している。また、日常会話でも、適度な反射が生じる部屋で会話することと、反射音が比較的少ない環境で会話することでは会話のしやすさに相違が生じる。以下、本発明により推定された反射音情報を用いたサービス例について述べる。
１つ目は、会議システムに本発明を組み込んだ例である。指向性音源の向きに応じて反射音の振幅は変化するので、反射音情報が分かると、どの方向に音源が向いているのかを推定することができる。会議システムに音源向きの推定装置を組み込めば、誰に向かって発言したのかを提示することに応用できる。
２つ目は、自由な位置で映像や音声を鑑賞できるシステムである。遠方にある音は直接到来する音源のパワーが小さいので収音することが困難である。反射音情報が分かると、直接音だけでなく、反射音も強調収音できるので、遠方の音を強調することが可能となる。また、音声処理の分野では、方向別に音源の強調収音は可能であるが、距離別に音声を強調収音することは非常に難しいとされている。反射音情報が分かると、距離に対応する物理的な特徴量が得られるので、距離別に収音することが可能となる。遠方の音を収音したり、方向別、距離別に収音することができれば、視聴者の選択した位置に対応した音場を擬似的に生成することが可能となる。
【００７０】
音声通信システムにおいて、反射音情報を推定することは、直接音だけでは得られなかった音場の情報を得ることにつながる。反射音情報が分かれば、これまでの音声強調技術ではできなかったような遠方音の収音や距離別の収音に結びついたり、従来の収音技術では推定できなかった音場の情報（例えば音源の向き）を推定できる。こういった音場の情報の推定は、これまでの技術では実現できなかった音声処理装置の開発に繋がる。反射音情報の推定に関する従来技術は、インパルス応答を求めるために特殊な信号を観測する必要があったが、本発明は音声信号のような一般的な観測信号で反射音情報を得られるという利点を持つ。
【００７１】
＜反射音情報推定装置のハードウェア構成例＞
上述の実施形態に関わる反射音情報推定装置は、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ＣＰＵ（Central Processing Unit）〔キャッシュメモリなどを備えていてもよい。〕、メモリであるＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）と、ハードディスクである外部記憶装置、並びにこれらの入力部、出力部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置間のデータのやり取りが可能なように接続するバスなどを備えている。また必要に応じて、反射音情報推定装置に、ＣＤ−ＲＯＭなどの記憶媒体を読み書きできる装置（ドライブ）などを設けるとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
【００７２】
反射音情報推定装置の外部記憶装置には、反射音情報を推定するためのプログラム並びにこのプログラムの処理において必要となるデータなどが記憶されている〔外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくなどでもよい。〕。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。以下、データやその格納領域のアドレスなどを記憶する記憶装置を単に「記憶部」と呼ぶことにする。
【００７３】
反射音情報推定装置の記憶部には、アナログ信号に対してＡＤ変換を行うためのプログラム、フレーム分割処理を行うためのプログラム、フレームごとのデジタル信号を周波数領域の観測信号に変換するためのプログラム、テンプレート情報を生成するためのプログラム、周波数領域の観測信号とテンプレート情報を用いて反射音情報を推定するためのプログラムが記憶されている。
【００７４】
反射音情報推定装置では、記憶部に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてＲＡＭに読み込まれて、ＣＰＵで解釈実行・処理される。この結果、ＣＰＵが所定の機能（ＡＤ変換部、フレーム分割部、周波数領域変換部、テンプレート生成部、反射音情報推定部）を実現することで反射音情報の推定が実現される。
【００７５】
＜補記＞
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【００７６】
また、上記実施形態において説明したハードウェアエンティティ（反射音情報推定装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
【００７７】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００７８】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００７９】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００８０】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
0005216056.tif 000024
【図２】
0005216056.tif 000025
【図３】
0005216056.tif 000026
【図４】
0005216056.tif 000027
【図５】
0005216056.tif 000028
【図６】
0005216056.tif 000029
【図７】
0005216056.tif 000030
【図９】
0005216056.tif 000031
【図１０】
0005216056.tif 000032
【図８】
0005216056.tif 000033
【図１１】
0005216056.tif 000034