(57)【要約】【課題】多数のマイクロホンを発話者を囲い込むように配置する必要が無く、かつ残響時間が長い環境下においても適切に発話向きを推定することが可能な、発話正面・横向き推定装置を提供する。【解決手段】複数のマイクロホンから構成されたマイクロホンアレイの周囲で発話者が発話した音声信号を当該複数のマイクロホンで収音し、各マイクロホンで収音した音声信号間の相関を表す相関行列を生成して、この相関行列を固有値行列と固有ベクトル行列とに分解することにより得られた固有値から、発話者が上記マイクロホンアレイに対しどのような向きで発話したかを推定する。【選択図】図１
2010124447.tif 000002
【特許請求の範囲】
【請求項１】
複数のマイクロホンから構成されたマイクロホンアレイの周囲で発話者が発話した音声信号を当該複数のマイクロホンで収音し、各マイクロホンで収音した音声信号間の相関を表す相関行列を生成して、この相関行列を固有値行列と固有ベクトル行列とに分解することにより得られた固有値から、発話者が上記マイクロホンアレイに対しどのような向きで発話したかを推定する発話正面・横向き推定装置。
【請求項２】
請求項１に記載の発話正面・横向き推定装置において、
Ｍ本（Ｍは２以上の整数）のマイクロホンで収音したアナログ音声信号を、それぞれディジタル音声信号に変換するＡＤ変換部と、
それぞれの上記ディジタル音声信号を、複数サンプルからなるフレーム単位で時間領域から周波数領域に変換する周波数領域変換部と、
各周波数毎に、周波数領域に変換されたそれぞれの上記ディジタル音声信号間の相関を表すＭ×Ｍの相関行列を複数フレーム毎の期待値として順次生成し出力する相関行列計算部と、
上記相関行列を、そのＭ個の固有値の二乗を対角要素とする対角行列である固有値行列と、上記各固有値に対応するＭ個の固有ベクトルからなる固有ベクトル行列とに分解し、最大の固有値（以下、「第１固有値」という）を正規化して、第１正規化固有値を出力する固有値分解部と、
各周波数毎に生成された上記第１正規化固有値について平均値を計算して、第１平均化固有値を出力する周波数平均化処理部と、
上記第１平均化固有値を所定のしきい値と比較することにより、発話者が上記マイクロホンアレイに対し正面向きに発話したか横向きに発話したかを判定して結果を出力する正面・横向き判定部と、
を備えることを特徴とする発話正面・横向き推定装置。
【請求項３】
複数のマイクロホンから構成されたマイクロホンアレイの周囲で発話者が発話した音声信号を当該複数のマイクロホンで収音し、各マイクロホンで収音した音声信号間の相関を表す相関行列を生成して、この相関行列を固有値行列と固有ベクトル行列とに分解することにより得られた固有値から、発話者が上記マイクロホンアレイに対しどのような向きで発話したかを推定する発話正面・横向き推定方法。
【請求項４】
請求項３に記載の発話正面・横向き推定方法において、
Ｍ本（Ｍは２以上の整数）のマイクロホンで収音したアナログ音声信号を、それぞれディジタル音声信号に変換するＡＤ変換ステップと、
それぞれの上記ディジタル音声信号を、複数サンプルからなるフレーム単位で時間領域から周波数領域に変換する周波数領域変換ステップと、
各周波数毎に、周波数領域に変換されたそれぞれの上記ディジタル音声信号間の相関を表すＭ×Ｍの相関行列を複数フレーム毎の期待値として順次生成し出力する相関行列計算ステップと、
上記相関行列を、そのＭ個の固有値の二乗を対角要素とする対角行列である固有値行列と、上記各固有値に対応するＭ個の固有ベクトルからなる固有ベクトル行列とに分解し、最大の固有値（以下、「第１固有値」という）を正規化して、第１正規化固有値を出力する固有値分解ステップと、
各周波数毎に生成された上記第１正規化固有値について平均値を計算して、第１平均化固有値を出力する周波数平均化処理ステップと、
上記第１平均化固有値を所定のしきい値と比較することにより、発話者が上記マイクロホンアレイに対し正面向きに発話したか横向きに発話したかを判定して結果を出力する正面・横向き判定ステップと、
を実行することを特徴とする発話正面・横向き推定方法。
【請求項５】
請求項１又は２のいずれかに記載した装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マイクロホンに入力された音声信号から発話者の発話向きを推定する技術に関する。
【背景技術】
【０００２】
電話や音声会議端末等の音声情報をやりとりするシステムを一般に音声通信システムと呼ぶ。ＴＶ会議システムでは音声情報に映像を付加して提示するため場の状況が伝わりやすいが、音声通信システムでは相手側の状況を把握するのは難しい。相手側の状況に関する情報のひとつに発話向き情報があり、相手側からこの情報を受け取ることで発話者がどの方向に向かって発話しているかを把握でき、コミュニケーションの円滑化を図ることができる。
【０００３】
このような発話向き情報を推定する従来技術が非特許文献１、２等で開示されており、構成例を図２１に示す。この構成例における発話向き推定装置１０は、以下のように発話向き情報を推定する。
(i) 発話者１からの発話音声をＭ本（Ｍは２以上の整数）のマイクロホン１１−１、・・・、１１−Ｍを用いて収音する。収音されたアナログ信号をＡＤ変換部１２にて、ディジタル信号vx(t)＝[ｘ1(t),・・・, ｘM(t)]Tへ変換する。ここで、ｔは離散時間のインデックスを表す。
【０００４】
(ii) 周波数領域変換部１３では、複数サンプルからなる上記ディジタル信号の組（フレーム）を入力とし、高速フーリエ変換等により周波数領域の信号VX(ω,ｎ）＝[Ｘ1(ω,ｎ),・・・, ＸM(ω,ｎ)]Tへ変換する。ここで、ωは周波数のインデックスを表し、周波数のインデックスの総数をΩとする。また、ｎはフレームのインデックスを表す。
(iii) 固定ビームフォーマ設計部１４では、各発話者位置・発話向き毎に固定ビームフォーマVG(ω,ｒ,θ)＝[Ｇ1(ω,ｒ,θ),・・・,ＧM(ω,ｒ,θ)]Tを設計する。Ｇｉ(ω,ｒ,θ)は発話者位置ｒ、発話向きθの音源を強調・抑制するためにｉ番目のマイクロホンの周波数成分ｘi(ω,ｎ)に掛ける係数である。
【０００５】
設計に際しては、あらかじめ設定された発話者位置・発話向き毎に音源とマイクロホン間の音響伝搬特性VH(ω,ｒ,θ)＝[Ｈ1(ω,ｒ,θ),・・・,ＨM(ω,ｒ,θ)]Tをシミュレーション値や実測値を用いて求めておく。ここでＨi(ω,ｒ,θ)は発話者位置ｒ、発話向きθの音源と、ｉ番目のマイクロホンとの間の音響伝搬特性を表す。
固定ビームフォーマVG(ω,ｒ,θ)は、音響伝搬特性との関係を表す式(１)、(２)を満たす値として設計される。
VH(ω,ｒT,θT)H・VG(ω,ｒT,θT)＝１                            (１)
VH(ω,ｒU,θU)H・VG(ω,ｒT,θT)＝０                            (２)
式(１)、(２)は、発話者位置ｒT、発話向きθTの出力パワーを強調し、それ以外の発話者位置ｒU、発話向きθUの出力パワーを抑えるように固定ビームフォーマVG(ω,ｒ,θ)を設計することを示している。
【０００６】
(iv) 積和計算部１５では、周波数領域の信号VX(ω,ｎ）＝[Ｘ1(ω,ｎ),・・・, ＸM(ω,ｎ)]Tと固定ビームフォーマVG(ω,ｒ,θ)＝[Ｇ1(ω,ｒ,θ),・・・,ＧM(ω,ｒ,θ)]Tを入力とし、各周波数ω、発話者位置ｒ、発話向きθ毎に各マイクロホンに対応する周波数成分Ｘi(ω,ｎ)と固定ビームフォーマの係数Ｇi(ω,ｒ,θ)とを掛け、得られたＭ個の成分を足し合わせることで出力Ｙ(ω,ｎ,ｒ,θ)を計算する。この計算は、Ｙ(ω,ｎ,ｒ,θ)＝VG(ω,ｒ,θ)H・VX(ω,ｎ）を計算することと同義である。
(v) パワー計算部１６では、積和計算部１５からの出力Ｙ(ω,ｎ,ｒ,θ)からパワー|Ｙ(ω,ｎ,ｒ,θ)|2を計算して出力する。
【０００７】
(vi) 周波数平均化処理部１７では、パワー計算部１６から出力されたパワー|Ｙ(ω,ｎ,ｒ,θ)|2を周波数で平均化処理し、AY(ｎ,ｒ,θ)を得る。この計算は、Ｆ０を平均化処理で用いる周波数のインデックス、|Ｆ０|を周波数のインデックスの総数と定義すると、
【０００８】
【数１】
2010124447.tif 000003
【０００９】
を計算することと同義である。なお、Ｆ０はΩ≧|Ｆ０|を満たす。
(vii) 音源向き選択部１８では、各フレーム毎に周波数で平均化処理されたパワーAY(ｎ,ｒ,θ)が最大となる発話者位置ｒ、発話向きθを探査し、パワーAY(ｎ,ｒ,θ)が最大となる発話向きθを、推定された発話向きθout(n)として求める。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】中島弘史、「音源の方向を推定可能な拡張ビームフォーミング」、日本音響学会講演論文集、2005年9月、p.619-620
【非特許文献２】中島弘史、外８名、「拡張ビームフォーミングを用いた音源指向特性推定」、日本音響学会講演論文集、2005年9月、p.621-622
【発明の概要】
【発明が解決しようとする課題】
【００１１】
従来技術の課題として次の２点が挙げられる。
(i) 任意の位置での発話に対応し、高精度な発話向きの推定を行うには、多数のマイクロホンを必要とし、かつマイクロホンの設置位置にも工夫が必要
従来技術においては、各発話者位置・発話向き毎に設計された固定ビームフォーマの出力のパワー|Ｙ(ω,ｎ,ｒ,θ)|2に差があるほど、高精度に発話向きを推定することができる。しかし、発話者の口から放射される音波のように口の前方に強い指向性を持つ音源を想定すると、図２２に示すように多数のマイクロホンで発話者を囲い込むように収音しないと、発話者位置・発話向きによっては固定ビームフォーマの出力のパワーに差が出ず、発話向きの推定誤差が増大する（例えば、非特許文献２の実験ではマイクロホンを６４本使用）。そのため、誤差を小さくするには多数のマイクロホンが必要となり装置が大型化し、電話や音声会議端末のような可搬性がある装置に取り付けて利用することが難しい。
【００１２】
(ii) 残響時間（直接波到来後、直接波の収音パワーから６０ｄＢ減衰するまでの時間）が２５０ｍｓｅｃ以上の残響環境下では高い発話方向推定性能が得られない
残響時間が２５０ｍｓｅｃ以上の残響環境下においては、強い反射波が多く混合するため音響伝搬特性VH(ω,ｒ,θ)を精度よく設計することが難しい。そのため、固定ビームフォーマの出力に曖昧性が生じ、推定精度が劣化する。例えば、低残響加工されていない実環境の部屋においては、一般に残響時間が２５０〜５００ｍｓｅｃ程度となるため精度の良い推定が困難である。
【００１３】
本発明の目的は、多数のマイクロホンを発話者を囲い込むように配置する必要が無く、かつ残響時間が２５０ｍｓｅｃ以上の残響環境下においても適切に発話向きを推定することが可能な、発話正面・横向き推定装置、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【００１４】
本発明の発話正面・横向き推定装置は、複数のマイクロホンから構成されたマイクロホンアレイの周囲で発話者が発話した音声信号を当該複数のマイクロホンで収音し、各マイクロホンで収音した音声信号間の相関を表す相関行列を生成して、この相関行列を固有値行列と固有ベクトル行列とに分解することにより得られた固有値から、発話者が上記マイクロホンアレイに対しどのような向きで発話したかを推定する。
【発明の効果】
【００１５】
本発明の発話正面・横向き推定装置によれば、多数のマイクロホンを発話者を囲い込むように配置する必要が無く、かつ残響時間が２５０ｍｓｅｃ以上の残響環境下においても適切に発話向きを推定することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】第１実施形態の発話正面・横向き推定装置の機能構成例を示す図。
【図２】第１実施形態の発話正面・横向き推定装置の処理フロー例を示す図。
【図３】マイクロホンと発話者・発話向きとの位置関係を示すイメージ図。
【図４】正面向き・横向きを判定する方法についてのイメージ図。
【図５】音声信号の伝搬特性を時間領域で示す図。
【図６】発話向きと基底ベクトルと固有値・固有ベクトルとの相関関係を示すイメージ図。
【図７】発話向きと固有値との関係を示すイメージ図。
【図８】第２実施形態の発話正面・横向き推定装置の機能構成例を示す図。
【図９】第２実施形態の発話正面・横向き推定装置の処理フロー例を示す図。
【図１０】左右向きを判定する方法についてのイメージ図。
【図１１】空間相関行列を構成する音響伝播ベクトル群と、空間相関行列の固有空間を概念的に示す図。
【図１２】正面・横向き判定部１２５の機能構成例を示す図。
【図１３】正面・横向き判定部１２５の処理フローを示す図。
【図１４】正面・横向き判定部１４５の機能構成例を示す図。
【図１５】正面・横向き判定部１４５の処理フローを示す図。
【図１６】正面・横向き判定部１６５の機能構成例を示す図。
【図１７】効果の検証環境及び条件を示す図。
【図１８】発話向きと固有値との関係についての検証結果を示す図。
【図１９】左右向き推定の検証結果を示す図。
【図２０】音声会議端末に本発明を組み込んだサービス構成例を示す図。
【図２１】従来技術による発話向き推定装置の機能構成例を示す図。
【図２２】従来技術によるマイクロホンと発話者との関係を示すイメージ図。
【発明を実施するための形態】
【００１７】
〔第１実施形態〕
図１に本発明の発話正面・横向き推定装置１００の機能構成例を、図２にその処理フロー例を示す。
発話正面・横向き推定装置１００は、Ｍ本（Ｍは２以上の整数）のマイクロホン１０１−１〜１０１−Ｍからなるマイクロホンアレイ１０１と、ＡＤ変換部１２と、周波数領域変換部１３と、相関行列計算部１０２と、固有値分解部１０３と、周波数平均化処理部１０４と、正面・横向き判定部１０５とを備える。このうち、ＡＤ変換部１２と周波数変換部１３は背景技術で説明した発話向き推定装置１０で用いたものと同じである。
【００１８】
従来技術においては、図１６に示すように発話者を囲い込むように多数のマイクロホンを配置する必要があったが、本発明においては、Ｍ本のマイクロホン１０１−１〜１０１−Ｍを可能な程度に密集して配置すればよい。このようなマイクロホンアレイ１０１を構成するマイクロホンの本数は多いことに越したことはないが、以下に説明する本発明の構成によれば２本以上あれば発話向きの推定が可能である。また、配置は平面的でも立体的でも構わない。このように少ない本数のマイクロホンを密集して配置する形態をとることで、電話や音声会議端末のような可搬性がある装置に取り付けて、その周囲の発話者による発話向きを推定することが可能となる。発話者はこのマイクロホンアレイ１０１の周囲で発話する。図３は７本のマイクロホンからなるマイクロホンアレイ１０１の周りで話している発話者を上から見たイメージを示したものであり、矢印方向が発話向きである。なお、図３(a)は発話者が各位置で正面向きに発話している様子を、図３(b)は横向きに発話している様子を表している。
【００１９】
ＡＤ変換部１２は、Ｍ本のマイクロホン１０１−１〜１０１−Ｍで収音した発話者１が発話したアナログ音声信号を、それぞれディジタル音声信号ｘ1(t) 、・・・、ｘM(t)に変換する（Ｓ１）。ここで、ｔは離散時間のインデックスを表す。
【００２０】
周波数領域変換部１３は、複数の離散時間サンプルからなる上記ディジタル音声信号の組（フレーム）を入力とし、高速フーリエ変換等により周波数領域のディジタル音声信号Ｘ1(ω,ｎ)、・・・、ＸM(ω,ｎ)に変換して出力する（Ｓ２）。ここで、ｎはフレームのインデックスを表し、ωは周波数のインデックスを表す。なお、周波数のインデックスの総数はΩとする。
【００２１】
相関行列計算部１０２は、周波数領域のディジタル音声信号Ｘ1(ω,ｎ) 、・・・、ＸM(ω,ｎ)を入力とし、各信号間の相関を表すＭ×Ｍの相関行列Ｒ(ω,ｋ)を、各周波数ω毎に式(３)により順次生成し出力する（Ｓ３）。
Ｒ(ω,ｋ)＝Ｅ[VX(ω,ｎ)・VXH(ω,ｎ)]                          (３)
ここで、VX(ω,ｎ)＝[Ｘ1(ω,ｎ)、・・・、ＸM(ω,ｎ)]T
なお、Ｈは共役転置を表し、Ｅは、VX(ω,ｎ)・VX(ω,ｎ)Hを各フレームについて計算した上で、平均化処理等によりＬフレーム毎の期待値を演算をする演算子である。つまり、相関行列はＬフレームに１回の割合で順次出力され、ｋはこの相関行列の出力のインデックスを表す。また、ＬはＭ以上の整数とすることが望ましい。
【００２２】
固有値分解部１０３は、相関行列Ｒ(ω,ｋ)を入力とし、まず、式(4)を満たすようにＭ個の固有値λ1(ω,ｋ)、・・・、λM(ω,ｋ)それぞれの二乗を対角要素とする対角行列である固有値行列Λ(ω,ｋ)と、Ｍ個の固有ベクトルvv1(ω,ｎ)、・・・、vvM(ω,ｋ)を要素とする固有ベクトル行列Ｖ(ω,ｋ)とに固有値分解法によって分解する。
Ｒ(ω,ｋ)＝Ｖ(ω,ｋ)・Λ(ω,ｋ)・ＶH(ω,ｋ)                    (４)
ここで、Λ(ω,ｋ)＝diag[λ12(ω,ｋ)、・・・、λM2(ω,ｋ)]
λ1(ω,ｋ)≧λ2(ω,ｋ)≧・・・≧λM(ω,ｋ)
Ｖ(ω,ｋ)＝[vv1(ω,ｋ)、・・・、vvM(ω,ｋ)]T
vvi(ω,ｋ)＝[vi,1(ω,ｋ)、・・・、vi,M(ω,ｋ)]
なお、diag[・]は[・]内の成分を対角行列の要素とする演算子である。
そして、最大の固有値である第１固有値λ1（ω，ｋ）を、式（５）により正規化して、第１正規化固有値ｎλ1（ω，ｋ）を出力する（Ｓ４）。
【００２３】
【数２】
2010124447.tif 000004
【００２４】
周波数平均化処理部１０４は、各周波数ω毎に得られた第１正規化固有値nλ1(ω,ｋ)について、式(６)により平均値を計算して、第１平均化固有値aλ1(ｋ)を出力する（Ｓ５）。
【００２５】
【数３】
2010124447.tif 000005
【００２６】
なお、Ｆ1は平均化に用いる周波数のインデックス、|Ｆ1|は周波数のインデックスの総数であり、Ｆ1はΩ≧|Ｆ1|を満たすように適宜設定する。
【００２７】
正面・横向き判定部１０５は、第１平均化固有値aλ1(ｋ)を所定のしきい値thr1と比較することにより、aλ1(ｋ)＜thr1であれば発話者が上記マイクロホンアレイに対し横向きに発話したと判定し、そうでなければ正面向きに発話したと判定して、判定結果を出力する（Ｓ６）。判定イメージを図４に例示する。ここで、thr1は環境や話者の位置によって任意に設定してよい。なお、第１平均化固有値aλ1(ｋ)はフレームグループｋ毎に得られることから、判定結果もフレームグループｋ毎に出力される。
【００２８】
このような構成で発話向きを判定することができる理論的背景を説明する。図５は音声信号の伝搬特性を時間領域で示したものである。伝搬特性は、直接波、初期残響、後部残響の３つに大きく分けられるが、直接波、初期残響が観測される時間帯においては、複数本のマイクロホンで構成されたマイクロホンアレイに対して方向性を持った波が混入することが知られている。特に、初期残響時間帯（直接波到来後、直接波の収音パワーから１０ｄＢ減衰するまでの時間）においては方向性を持った強い反射波が混在するが、この反射波のパワーは発話向きにより変化する。具体的には、発話向きが正面方向であるほど直接波のパワーが大きくなるため、反射波のパワーは小さくなり、また、横方向であるほど直接波のパワーが小さくなるため、その分反射波のパワーが大きくなる。本発明はこのような性質を利用して発話向きを推定する。
【００２９】
これについて以下、本発明の構成に則して説明する。図６は、正面向き、横向きの発話状態がどのように相関行列Ｒ(ω,ｋ)の各固有値λi(ω,ｋ)に影響するかを示したものである。ここでは３本のマイクロホンでマイクロホンアレイを構成した場合を例示する。正面向きの場合、マイクロホンアレイには直接波が多く到達し、反射波の到達割合は相対的に低いため、図６(a)に示すように、直接波を表現する基底ベクトルが、反射波を表現する基底ベクトル群に比べて大きなパワーを持つ。この時、第１固有値λ1(ω,ｋ)は第２固有値λ2(ω,ｋ)、第３固有値λ3(ω,ｋ)と比べ顕著に大きな値を示す。一方、横向きの場合、マイクロホンアレイに到達する直接波は減少するため、その分反射波が多く到達する。そのため、図６(b)に示すように、直接波を表現する基底ベクトルのパワーが減少し、反射波を表現する基底ベクトル群のパワーが増加する。そして、この時には第１固有値λ1(ω,ｋ)は正面向きの場合より小さくなり、逆に第２固有値λ2(ω,ｋ)、第３固有値λ3(ω,ｋ)は正面向きの場合より大きくなる。正面向きの場合と横向きの場合とで各固有値に生じる差異のイメージを図７に示す。
【００３０】
以上のことから、発話向きの変化は固有値に反映されることがわかる。そして、直接波の強弱が顕著に反映される第１固有値を判定パラメータとして用いることで、第１固有値があるしきい値より大きければ正面向き、小さければ横向きであると適切に判定することができる。
【００３１】
このように、第１実施形態の発話正面・横向き推定装置によれば、少数のマイクロホンを密集して配置すればよいため、多数のマイクロホンで発話者を囲い込むことなくコンパクトに構成することが可能となる。また、残響を積極的に利用する構成であるため、残響時間が２５０ｍｓｅｃ以上の残響環境下においても適切に発話向きを推定することが可能となる。また、本発明において処理の核となる固有値分解処理は演算量が少ないため、携帯端末のようなＣＰＵスペックの低い機材に組み込む場合にも有利である。
【００３２】
〔第２実施形態〕
第１実施形態は、発話向きを正面向きであるか横向きであるかのみを判定するものであるが、第２実施形態は横向きについて、更に左向きか右向きかを判定することを可能とするものである。
図８に本発明の発話正面・横向き推定装置２００の機能構成例を、図９にその処理フロー例を示す。
【００３３】
発話正面・横向き推定装置２００は、Ｍ本（Ｍは２以上の整数）のマイクロホン１０１−１〜１０１−Ｍからなるマイクロホンアレイ１０１と、ＡＤ変換部１２と、周波数領域変換部１３と、相関行列計算部１０２と、固有値分解部２０１と、周波数平均化処理部１０４と、正面・横向き判定部１０５と、第１固有ベクトルパワー計算部２０２と、第２周波数平均化処理部２０３と、左右向き判定部２０４とを備える。このうち、固有値分解部２０１と、第１固有ベクトルパワー計算部２０２と、第２周波数平均化処理部２０３と、左右向き判定部２０４以外は、第１実施形態にて説明した同じ名称・符号を付した構成要素と同じものであるため、機能・処理の説明は省略する。
【００３４】
固有値分解部２０１は、第１実施形態の固有値分解部１０３と同様な処理を行い、更に第１固有値λ1(ω,ｋ)に対応する第１固有ベクトルvv1(ω,ｋ)を出力する（Ｓ７）。
第１固有ベクトルパワー計算部２０２は、第１固有ベクトルvv1(ω,ｋ)を入力とし、第１固有ベクトルvv1(ω,ｋ)を構成するv1,1(ω,ｋ)、・・・、v1,M(ω,ｋ)のＭ個の要素について、それぞれ式(７)によりパワーを計算してＭ個のパワー要素pv1,1(ω,ｋ)、・・・、pv1,M(ω,ｋ)を出力する（Ｓ８）。
pv1,i(ω,ｋ)＝|v1,i(ω,ｋ)|                                    (７)
【００３５】
第２周波数平均化処理部２０３は、各周波数ω毎に生成されたＭ個のパワー要素pv1,1(ω,ｋ)、・・・、pv1,M(ω,ｋ)について、それぞれ式(８)により平均値を計算してＭ個の平均化パワー要素apv1,1(ｋ)、・・・、apv1,M(ｋ)を出力する（Ｓ９）。
【００３６】
【数４】
2010124447.tif 000006
【００３７】
ここで、Ｆ2は平均化に用いる周波数のインデックス、|Ｆ2|は周波数のインデックスの総数であり、Ｆ2はΩ≧|Ｆ2|を満たすように適宜設定する。
なお、上記のＳ８、Ｓ９の処理は、Ｓ５、Ｓ６の処理と並行して実施しても構わない。
【００３８】
左右向き判定部２０４は、正面・横向き判定部１０５での判定結果とＭ個の平均化パワー要素apv1,1(ｋ)、・・・、apv1,M(ｋ)とを入力とし、正面・横向き判定部１０５での判定結果が正面向きであった場合は、それをそのまま判定結果として出力し、横向きであった場合は、更に左向きに発話したか右向きに発話したかを判定して結果を出力する（Ｓ１０）。左右向きの判定は、マイクロホンアレイ１０１を構成するＭ本のマイクロホンのうち、ある２本のマイクロホン１０１−α、１０１−βに対応する２個の平均化パワー要素apv1,α(ｋ)、apv1,β(ｋ)の比をとり、それを所定のしきい値thr2と比較することにより行う。左右向きの判定イメージを図１０に例示する。この例では、図１０(a)に示すマイクロホンαとマイクロホンβとの中間点に向いて発話された場合をapv1,α(ｋ)／apv1,β(ｋ)＝thr2とし、この向きを基準とした左右方向の発話向きをapv1,α(ｋ)／apv1,β(ｋ)とthr2との大小関係により判定する。具体的には、左向きになればなるほどapv1,β(ｋ)がapv1,α(ｋ)に比べて減衰する割合が大きくなるため、apv1,α(ｋ)／apv1,β(ｋ)＞thr2の時には左向きであると判定することができ（図１０(b)）、右向きになればなるほどapv1,α(ｋ)がapv1,β(ｋ)に比べて減衰する割合が大きくなるため、apv1,α(ｋ)／apv1,β(ｋ)＜thr2の時には右向きであると判定することができる（図１０(c)）。なお、２本のマイクロホンは、平均化パワー要素apv1,α(ｋ)、apv1,β(ｋ)の値に差が生じやすいよう、発話者の位置に対して最も左右間隔の広い２本を選ぶのが望ましい。
【００３９】
このような構成で左右向きを判定することができる理論的背景を説明する。第１実施形態で説明したように、直接波を表現する基底ベクトルのパワーは第１固有値に顕著に反映される。そのため、第１固有値に対応する第１固有ベクトルの、Ｍ本のマイクロホンに対応する各パワー要素の値は、直接波がＭ本のマイクロホンのそれぞれにどの程度の強さで届いているかの尺度となると考えることができる。そして、直接波が各マイクロホンに届くパワーは発話向きによって変化する。そこで上記のように、基準とする発話向きにおける任意の２本のマイクロホンのパワー要素の比をしきい値（thr2）とし、そのしきい値とある発話向きの時の２本のマイクロホンのパワー要素の値の比とを比較することで、その大小関係から、基準とする発話向きに対して左向きに発話したか右向きに発話したかを判定することができる。
【００４０】
このように、第２実施形態の発話正面・横向き推定装置によれば、第１実施形態の構成における効果に加え、横向きについて更に左右のいずれの向きであるかも判定できるため、ネットワークを介した相手方とのコミュニケーションをより円滑に行うことが可能となる。
【００４１】
〔正面・横向き判定部〕
発話者が正面向き、或いは横向きであるかを判定する方法として、第１平均化固有値の大きさを用いる方法を、第１実施形態で説明した。この発話者の発話方向が正面向きか横向きかを判定する方法について、更に詳しく説明する。
図１１に、発話者が正面向きの場合、左向きの場合、右向きの場合のそれぞれについて、空間相関行列を構成する音響伝播ベクトル群と、空間相関行列の固有空間を概念的に示す。空間相関行列を構成する音響伝播ベクトル群は、直接波と初期反射波と後部残響とが合わさったものと考えられる。これらの固有ベクトルが形成する固有空間の形状は、点線で示すような形状で表せると仮定する。
【００４２】
この形状は、正面向きの場合、初期反射波が左右向きの場合に比べて小さく混入するので、直接波の基底となる音響伝播波の大きさに依存したものとなる。つまり正面向きの場合、辺長に大きな偏りがある形状となる。また、左右の横向きの場合には初期反射波が大きく混入するので、直接波の基底となる音響伝播に依存しながらも初期反射波の影響を大きく受けた形状となる。つまり横向きの場合の空間相関行列の固有空間の形状は、正面向きの場合に比べると、辺長の偏りが小さな形状となる。
【００４３】
この固有空間の形状を評価することでも、発話者が正面向きか横向きかの判定を行うことが可能である。図１２に固有空間形状を評価する方式の正面・横向き判定部１２５の機能構成例と、固有値分解部１２３と、周波数平均化処理部１２４とを示す。正面・横向き判定部１２５の処理フローを図１３に示す。正面・横向き判定部１２５は、固有空間形状評価部１２５ａと、判定部１２５ｂを備える。
【００４４】
固有値分解部１２３は、上記した固有値分解部１０３と基本的に同じものであるが、固有値λ1,…，λＭを式(９)により正規化して第１正規化固有値列nΛ(ω,ｋ)＝[nλ１(ω,ｋ)，…，nλM(ω,ｋ)]を出力するものである。
【００４５】
【数５】
2010124447.tif 000007
【００４６】
ここで、nλｍ(ω,ｋ)の添え字ｍは１〜Ｍまでを代入して、それぞれを計算することで、第１正規化固有値列nΛ(ω,ｋ)を構成する要素を計算する。
周波数平均化処理部１２４は、各周波数ω毎に得られた第１正規化固有値列nΛ(ω,ｋ)について、式（１０）により平均値を計算して第１平均化固有値列ａΛ（ｋ）＝[ａλ1（ｋ），…，ａλＭ（ｋ）]を出力するものである。
【００４７】
【数６】
2010124447.tif 000008
【００４８】
固有空間形状評価部１２５ａは、マイクロホンの数Ｍ個に対応する数の第１平均化固有値から成る第１平均化固有値列ａΛ（ｋ）＝[ａλ1（ｋ），…，ａλＭ（ｋ）]を入力として、式（１１）に示す固有空間形状評価値Ｓλを出力する（Ｓ１２５ａ）。
【００４９】
【数７】
2010124447.tif 000009
【００５０】
ここでＫ１は、１≦Ｋ１＜Ｍを満たす整数であり、固有空間形状評価部１２５ａに予め設定されている定数である。Ｋ１は外部から与えてもよい。このＫ１個の第１平均化固有値ａλｍ（ｋ）を累計したＳλによって、図１１に示した固有空間形状を模擬することができる。
【００５１】
判定部１２５ｂは、固有空間形状評価値Ｓλを閾値ｔｈｒ１で判定して発話者の発話の方向が正面向きか否を判定する（Ｓ１２５ｂ）。閾値ｔｈｒ１は、例えば、発話者向きが異なるデータから経験的に得た固有空間形状評価値Ｓλで発話者向きを判別するための所定値に設定される。固有空間形状評価値Ｓλが閾値ｔｈｒ１よりも大であれば、辺長の偏りが比較的大きい正面向きと判定して正面フラグＳＦ＝１にセットする（Ｓ１２５ｃ）。つまり、発話者がマイクロホンの正面方向から発話していると判定する。
【００５２】
また、固有空間形状評価値Ｓλが閾値ｔｈｒ１よりも小であれば、固有空間形状評価値Ｓλを、辺長の偏りが比較的小さな横向きと判定して正面フラグＳＦ＝０にリセットする（Ｓ１２５ｄ）。つまり、発話者がマイクロホンの横方向から発話していると判定する。
図１４に、他の方法で固有空間の形状を求める正面・横向き判定部１４５の機能構成例を示す。正面・横向き判定部１４５は、固有空間形状評価値Ｓλを式（１２）で求める点で、正面・横向き判定部１２５と異なる。
【００５３】
【数８】
2010124447.tif 000010
【００５４】
定数Ｋ２及び閾値ｔｈｒ２の考えは、正面・横向き判定部１２５と同じである。正面・横向き判定部１４５の処理フローを図１５に示す。その処理フローは、正面・横向き判定部１２５と基本的に同じであるので説明は省略する。このように、所定数の第１平均化固有値列を積和して求めた固有空間形状評価値Ｓλを用いてもよい。
【００５５】
なお、第１平均化固有値列を累計或いは積和する数（Ｋ１，Ｋ２）を他にも用いることで、発話正面・横向き推定装置の全体の計算量を削減することが可能である。つまり、固有空間形状を判定するのに必要な数以上の、第１平均化固有値列を求めても無駄である。よって、Ｋ１，Ｋ２を固有値分解部１２３に与えて必要な数の第１正規化固有値を計算させるようにしてもよい。そうすることで、固有値分解部１２３と周波数平均化処理部１２４における計算量を削減することができる。
【００５６】
また、図１６に示す正面・横向き判定部１６５も考えられる。正面・横向き判定部１６５は、ノルム評価部１６５ａと、判定部１６５ｂを備える。ノルム評価部１６５ａは、式（１３）で第１平均化固有値列を評価してノルムＣθ〜（ｋ）を出力する。
【００５７】
【数９】
2010124447.tif 000011
【００５８】
ここでｍΛθ〜は、発話者向きの候補θ〜毎に用意されたモデル固有値列ｍΛθ〜＝[ｍλ1θ〜，…，ｍλＭθ〜]である。このモデル固有値ｍΛθ〜は、例えば予め発話者向きの候補θ〜毎に測定したデータから算出された値である。
このノムル値Ｃθ〜（ｋ）が最も小さい発話者向きの候補θ〜から、正面か横向きかを判定部１６５ｂで判定する。例えば、左向きの場合にノルム値が最小となれば横向きと判定する。その判定の考えは、上記した正面・横向き判定部１２５，１４５と同じである。
【００５９】
上記の各実施形態の発話正面・横向き推定装置の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この場合、処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
また、上述の各種処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【００６０】
〔効果の検証〕
図１７(a)に示す収音環境において、図１７(b)に示す条件の下で、本発明の効果の検証を行った。なお、発話向きの定義は図１７(c)に示すとおりである。
図１８に各発話向きと第１〜第７平均化固有値aλi(ｋ)との関係を示す。ここで、第２〜第７平均化固有値は第１平均化固有値と同様な方法で求めたものである。また、図１８(a)は残響時間が２５０ｍｓｅｃの場合、図１８(b)は残響時間が４００ｍｓｅｃの場合である。いずれの残響時間の場合も、第１平均化固有値は発話向きによって大きく異なるが、第２〜第７平均化固有値は発話向きによる差が小さい。また、第１固有値は０°（正面向き）の時が最も大きく、±９０°（横向き）の時が最も小さい。この検証結果より、第１実施形態に示した第１平均化固有値により正面・横向きを判定する本発明の構成が妥当かつ有効であることがわかる。
【００６１】
また、図１９に第２実施形態の構成により推定した左右方向の発話向きと実際の発話向きとの比較を示す。図１９(a)は残響時間が２５０ｍｓｅｃの場合、図１９(b)は残響時間が４００ｍｓｅｃの場合である。いずれの残響時間の場合も、７５％以上の正解率が得られた。この検証結果より、第２実施形態に示した第１固有ベクトルの２つのパワー要素から左右向きを判定する本発明の構成が妥当かつ有効であることがわかる。
【００６２】
〔サービス適用例〕
図２０は音声会議端末に本発明を組み込んだサービスの構成例である。会議場Ａと会議場Ｂとをネットワークを通じて音声端末で繋がれている状況を想定する。音声会議端末に取り付けられたマイクロホンで収音した音声信号から発話向き情報を抽出し、音声情報と共に相手側へ伝送する。相手側にて、発話向き情報を視覚情報として提示することで、音声情報だけでは伝わりにくかった場の状況を伝達することができる。
【００６３】
また、会議でのやりとりの様子を映像や音声を用いて記録する議事録システムにも発話者向き推定技術を応用できる。発話者向き推定技術によって、収録した音声や映像に誰が誰に向かって話したのかというタグを付けることができるので、議事録の整理作業に役立つ。また、画像で顔向きを検出して行うサービス、例えば、監視カメラやインターフォン等で用いられる監視・防犯目的のサービスや、ディジタルサイネージ（電子看板）で広告に注目しているか否かを判定するサービス等も、音声信号出力に置き換えることが可能である。
【図１】
2010124447.tif 000012
【図２】
2010124447.tif 000013
【図３】
2010124447.tif 000014
【図４】
2010124447.tif 000015
【図５】
2010124447.tif 000016
【図６】
2010124447.tif 000017
【図７】
2010124447.tif 000018
【図８】
2010124447.tif 000019
【図９】
2010124447.tif 000020
【図１０】
2010124447.tif 000021
【図１１】
2010124447.tif 000022
【図１２】
2010124447.tif 000023
【図１３】
2010124447.tif 000024
【図１４】
2010124447.tif 000025
【図１５】
2010124447.tif 000026
【図１６】
2010124447.tif 000027
【図１７】
2010124447.tif 000028
【図１８】
2010124447.tif 000029
【図１９】
2010124447.tif 000030
【図２０】
2010124447.tif 000031
【図２１】
2010124447.tif 000032
【図２２】
2010124447.tif 000033