(57)【要約】【課題】多数のマイクロホンを発話者を囲むように配置する必要が無く、かつ残響時間が長い環境下においても適切に発話向きを推定することが可能な、発話向き推定装置を提供する。【解決手段】相関行列計算部が、ディジタル音声信号間の相関を表すＭ×Ｍの相関行列を複数フレーム毎の期待値として順次生成して出力し、基底行列生成部が、ディジタル音声信号と話者位置の情報を入力として基底数Ｄの基底行列を生成する。そして、相関行列分解部が、フレーム毎に相関行列と基底行列を入力として相関行列を基底行列に射影した成分列に分解し、周波数平均化処理部が、成分列を入力としてフレーム毎に周波数で平均化された周波数平均化成分列を出力する。正面・横向き判定部は、周波数平均化成分列を入力として、フレーム毎に話者の発話の向きが正面方向であるか否かを推定する。【選択図】図８
2010206449.tif 000002
【特許請求の範囲】
【請求項１】
Ｍ本（Ｍは２以上の整数）のマイクロホンで収音したアナログ音声信号を、それぞれディジタル音声信号に変換するＡＤ変換部と、
上記ディジタル音声信号を、複数サンプルからなるフレーム単位で時間領域から周波数領域に変換する周波数領域変換部と、
各周波数毎に、周波数領域に変換されたそれぞれの上記ディジタル音声信号間の相関を表すＭ×Ｍの相関行列を複数フレーム毎の期待値として順次生成し出力する相関行列計算部と、
上記ディジタル音声信号と話者位置の推定情報を入力として、Ｄ個（Ｄは２以上の整数）の基底から成る基底行列を生成する基底行列生成部と、
フレーム毎に上記相関行列と上記基底行列を入力として、上記相関行列を上記基底行列に射影させて正面・横向き判定に有効な特徴量である成分列を得る相関行列分解部と、
上記成分列を入力として、フレーム毎に周波数で平均化された周波数平均化成分列を出力する周波数平均化処理部と、
上記周波数平均化成分列を入力として、フレーム毎に話者の発話の向きが正面方向であるか否かを推定する正面・横向き判定部と、
を具備する発話向き推定装置。
【請求項２】
請求項１に記載した発話向き推定装置において、
更に、
上記相関行列を、そのＭ個の固有値の二乗を対角要素とする対角行列である固有値行列と、上記各固有値に対応するＭ個の固有ベクトルからなる固有ベクトル行列とに分解し、最大の固有値に対応する固有ベクトル（以下、「第１固有ベクトル」という）を出力する固有値分解部と、
上記第１固有ベクトルを構成するＭ個の要素についてそれぞれパワーを計算して、Ｍ個のパワー要素を出力する第１固有ベクトルパワー計算部と、
各周波数毎に生成された上記Ｍ個のパワー要素についてそれぞれ平均値を計算して、Ｍ個の平均化パワー要素を出力する第１周波数平均化処理部と、
上記Ｍ個の平均化パワー要素のうち、任意の２本のマイクロホンに対応する２個の平均化パワー要素の比をとり、それを所定のしきい値と比較することにより、発話者が上記マイクロホンアレイに対し左向きに発話したか右向きに発話したかを判定して左右向き判定結果を出力する左右向き判定部と、
を具備し、
上記正面・横向き判定部は、上記左右向き判定結果を入力としてフレーム毎に話者の発話の向きが正面方向であるか否か及び、左向きに発話したか右向きに発話したかを判定するものであることを特徴とする発話向き推定装置。
【請求項３】
請求項１又は２に記載した発話向き推定装置において、
上記基底行列生成部は、上記基底行列の１番目の基底を、直接音経路の伝達特性を模擬する方法で求め、その第１番目の基底を基に互いに直交する複数の基底ベクトルを求め、上記相関行列を分解する基底行列を生成することを特徴とする発話向き推定装置。
【請求項４】
請求項１又は２に記載した発話向き推定装置において、
上記基底行列生成部は、上記基底行列の１番目の基底を、エリア強調フィルタで求め、その第１番目の基底とは別のエリアの音を強調するようなフィルタを設け、上記相関行列を分解する上記フィルタを用いて基底行列を生成することを特徴とする発話向き推定装置。
【請求項５】
ＡＤ変換部が、Ｍ本（Ｍは２以上の整数）のマイクロホンで収音したアナログ音声信号を、それぞれディジタル音声信号に変換するＡＤ変換過程と、
周波数領域変換部が、上記ディジタル音声信号を、複数サンプルからなるフレーム単位で時間領域から周波数領域に変換する周波数領域変換過程と、
相関行列計算部が、各周波数毎に、周波数領域に変換されたそれぞれの上記ディジタル音声信号間の相関を表すＭ×Ｍの相関行列を複数フレーム毎の期待値として順次生成し出力する相関行列計算過程と、
基底行列生成部が、上記ディジタル音声信号と話者位置の推定情報を入力として、基底数Ｄ（Ｄは２以上の整数）の基底行列を生成する基底行列生成過程と、
相関行列分解部が、フレーム毎に上記相関行列と上記基底行列を入力として、上記相関行列を上記基底行列に射影させて正面・横向き判定に有効な特徴量である成分列を得る相関行列分解過程と、
周波数平均化処理部が、上記成分列を入力として、フレーム毎に周波数で平均化された周波数平均化成分列を出力する周波数平均化処理過程と、
正面・横向き判定部が、上記周波数平均化成分列を入力として、フレーム毎に話者の発話の向きが正面方向であるか否かを推定する正面・横向き判定過程と、
を含む発話向き推定方法。
【請求項６】
請求項５に記載した発話向き推定方法において、
更に、
固有値分解部が、上記相関行列を、そのＭ個の固有値の二乗を対角要素とする対角行列である固有値行列と、上記各固有値に対応するＭ個の固有ベクトルからなる固有ベクトル行列とに分解し、最大の固有値に対応する固有ベクトル（以下、「第１固有ベクトル」という）を出力する固有値分解過程と、
第１固有ベクトルパワー計算部が、上記第１固有ベクトルを構成するＭ個の要素についてそれぞれパワーを計算して、Ｍ個のパワー要素を出力する第１固有ベクトルパワー計算過程と、
第１周波数平均化処理部が、各周波数毎に生成された上記Ｍ個のパワー要素についてそれぞれ平均値を計算して、Ｍ個の平均化パワー要素を出力する第１周波数平均化処理過程と、
左右向き判定部が、上記Ｍ個の平均化パワー要素のうち、任意の２本のマイクロホンに対応する２個の平均化パワー要素の比をとり、それを所定のしきい値と比較することにより、発話者が上記マイクロホンアレイに対し左向きに発話したか右向きに発話したかを判定して左右向き判定結果を出力する左右向き判定過程と、
を含み、
上記正面・横向き判定過程は、上記左右向き判定結果を入力としてフレーム毎に話者の発話の向きが正面方向であるか否か及び、左向きに発話したか右向きに発話したかを判定する過程であることを特徴とする発話向き推定方法。
【請求項７】
請求項５又は６に記載した発話向き推定方法において、
上記基底行列生成過程は、上記基底行列の１番目の基底を、直接音経路の伝達特性を模擬する方法で求め、その第１番目の基底を基に互いに直交する複数の基底ベクトルを求め、上記相関行列を分解する基底行列を生成することを特徴とする発話向き推定方法。
【請求項８】
請求項５又は６に記載した発話向き推定方法において、
上記基底行列生成過程は、上記基底行列の１番目の基底を、エリア強調フィルタで求め、その第１番目の基底とは別のエリアの音を強調するようなフィルタを設け、上記相関行列を分解する上記フィルタを用いて基底行列を生成することを特徴とする発話向き推定方法。
【請求項９】
請求項１乃至４の何れかに記載した発話向き推定装置としてコンピュータを機能させる装置プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マイクロホンに入力された音声信号から発話者の発話向きを推定する技術に関する。
【背景技術】
【０００２】
電話や音声会議端末等の音声情報をやりとりするシステムを一般に音声通信システムと呼ぶ。ＴＶ会議システムでは音声情報に映像を付加して提示するため場の状況が伝わりやすいが、音声通信システムでは相手側の状況を把握するのは難しい。相手側の状況に関する情報のひとつに発話向き情報があり、相手側からこの情報を受け取ることで発話者がどの方向に向かって発話しているかを把握でき、コミュニケーションの円滑化を図ることができる。
【０００３】
このような発話向き情報を推定する従来技術が非特許文献１、２等で開示されており、構成例を図１５に示す。この構成例における発話向き推定装置１０は、以下のように発話向き情報を推定する。
(i) 発話者１からの発話音声をＭ本（Ｍは２以上の整数）のマイクロホン１１−１、・・・、１１−Ｍを用いて収音する。収音されたアナログ信号をＡＤ変換部１２にて、ディジタル信号vx(t)＝[ｘ1(t),・・・, ｘM(t)]Tへ変換する。ここで、ｔは離散時間のインデックスを表す。
【０００４】
(ii) 周波数領域変換部１３では、複数サンプルからなる上記ディジタル信号の組（フレーム）を入力とし、高速フーリエ変換等により周波数領域の信号VX(ω,ｎ）＝[Ｘ1(ω,ｎ),・・・, ＸM(ω,ｎ)]Tへ変換する。ここで、ωは周波数のインデックスを表し、周波数のインデックスの総数をΩとする。また、ｎはフレームのインデックスを表す。
(iii) 固定ビームフォーマ設計部１４では、各発話者位置・発話向き毎に固定ビームフォーマVG(ω,ｒ,θ)＝[Ｇ1(ω,ｒ,θ),・・・,ＧM(ω,ｒ,θ)]Tを設計する。Ｇｉ(ω,ｒ,θ)は発話者位置ｒ、発話向きθの音源を強調・抑制するためにｉ番目のマイクロホンの周波数成分ｘi(ω,ｎ)に掛ける係数である。
【０００５】
設計に際しては、あらかじめ設定された発話者位置・発話向き毎に音源とマイクロホン間の音響伝搬特性VH(ω,ｒ,θ)＝[Ｈ1(ω,ｒ,θ),・・・,ＨM(ω,ｒ,θ)]Tをシミュレー
ション値や実測値を用いて求めておく。ここでＨi(ω,ｒ,θ)は発話者位置ｒ、発話向き
θの音源と、ｉ番目のマイクロホンとの間の音響伝搬特性を表す。
【０００６】
固定ビームフォーマVG(ω,ｒ,θ)は、音響伝搬特性との関係を表す式（１）、（２）を満たす値として設計される。
VH(ω,ｒT,θT)H・VG(ω,ｒT,θT)＝１                            （１）
VH(ω,ｒU,θU)H・VG(ω,ｒT,θT)＝０                            （２）
式(1)、(2)は、発話者位置ｒT、発話向きθTの出力パワーを強調し、それ以外の発話者位置ｒU、発話向きθUの出力パワーを抑えるように固定ビームフォーマVG(ω,ｒ,θ)を設計することを示している。
【０００７】
(iv) 積和計算部１５では、周波数領域の信号VX(ω,ｎ）＝[Ｘ1(ω,ｎ),・・・, ＸM(ω,ｎ)]Tと固定ビームフォーマVG(ω,ｒ,θ)＝[Ｇ1(ω,ｒ,θ),・・・,ＧM(ω,ｒ,θ)]Tを入力とし、各周波数ω、発話者位置ｒ、発話向きθ毎に各マイクロホンに対応する周波数成分Ｘi(ω,ｎ)と固定ビームフォーマの係数Ｇi(ω,ｒ,θ)とを掛け、得られたＭ個の成分を足し合わせることで出力Ｙ(ω,ｎ,ｒ,θ)を計算する。この計算は、Ｙ(ω,ｎ,ｒ,θ)＝VG(ω,ｒ,θ)H・VX(ω,ｎ）を計算することと同義である。
【０００８】
(v) パワー計算部１６では、積和計算部１５からの出力Ｙ(ω,ｎ,ｒ,θ)からパワー|Ｙ(ω,ｎ,ｒ,θ)|2を計算して出力する。
(vi) 周波数平均化処理部１７では、パワー計算部１６から出力されたパワー|Ｙ(ω,ｎ,ｒ,θ)|2を周波数で平均化処理し、AY(ｎ,ｒ,θ)を得る。この計算は、Ｆ０を平均化処理で用いる周波数のインデックス、|Ｆ０|を周波数のインデックスの総数と定義すると、
【０００９】
【数１】
2010206449.tif 000003
【００１０】
を計算することと同義である。なお、Ｆ０はΩ≧|Ｆ０|を満たす。
(vii) 音源向き選択部１８では、各フレーム毎に周波数で平均化処理されたパワーAY(ｎ,ｒ,θ)が最大となる発話者位置ｒ、発話向きθを探査し、パワーAY(ｎ,ｒ,θ)が最大となる発話向きθを、推定された発話向きθout(n)として求める。
【先行技術文献】
【非特許文献】
【００１１】
【非特許文献１】中島弘史、「音源の方向を推定可能な拡張ビームフォーミング」、日本音響学会講演論文集、2005年9月、p.619-620
【非特許文献２】中島弘史、外８名、「拡張ビームフォーミングを用いた音源指向特性推定」、日本音響学会講演論文集、2005年9月、p.621-622
【発明の概要】
【発明が解決しようとする課題】
【００１２】
従来技術の課題として次の２点が挙げられる。
(i) 任意の位置での発話に対応し、高精度な発話向きの推定を行うには、多数のマイクロホンを必要とし、かつマイクロホンの設置位置にも工夫が必要
従来技術においては、各発話者位置・発話向き毎に設計された固定ビームフォーマの出力のパワー|Ｙ(ω,ｎ,ｒ,θ)|2に差があるほど、高精度に発話向きを推定することができる。しかし、発話者の口から放射される音波のように口の前方に強い指向性を持つ音源を想定すると、図１６に示すように多数のマイクロホンで発話者を囲い込むように収音しないと、発話者位置・発話向きによっては固定ビームフォーマの出力のパワーに差が出ず、発話向きの推定誤差が増大する（例えば、非特許文献２の実験ではマイクロホンを６４本使用）。そのため、誤差を小さくするには多数のマイクロホンが必要となり装置が大型化し、電話や音声会議端末のような可搬性がある装置に取り付けて利用することが難しい。
【００１３】
(ii) 残響時間（直接波到来後、直接波の収音パワーから６０ｄＢ減衰するまでの時間）
が２５０ｍｓｅｃ以上の残響環境下では高い発話方向推定性能が得られない
残響時間が２５０ｍｓｅｃ以上の残響環境下においては、強い反射波が多く混合するため音響伝搬特性VH(ω,ｒ,θ)を精度よく設計することが難しい。そのため、固定ビームフォーマの出力に曖昧性が生じ、推定精度が劣化する。例えば、低残響加工されていない実環境の部屋においては、一般に残響時間が２５０〜５００ｍｓｅｃ程度となるため精度の良い推定が困難である。
【００１４】
本発明の目的は、多数のマイクロホンを発話者を囲い込むように配置する必要が無く、かつ残響時間が２５０ｍｓｅｃ以上の残響環境下においても適切に発話向きを推定することが可能な、発話向き推定装置、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【００１５】
本発明の発話向き推定装置は、ＡＤ変換部と、周波数領域変換部と、相関行列計算部と、基底行列生成部と、相関行列分解部と、周波数平均化処理部と、正面・横向き判定部とを具備する。ＡＤ変換部は、Ｍ本（Ｍは２以上の整数）のマイクロホンで収音したアナログ音声信号を、それぞれディジタル音声信号に変換する。周波数領域変換部は、ディジタル音声信号を、複数サンプルからなるフレーム単位で時間領域から周波数領域に変換する。相関行列計算部は、各周波数毎に、周波数領域に変換されたそれぞれのディジタル音声信号間の相関を表すＭ×Ｍの相関行列を複数フレーム毎の期待値として順次生成して出力する。基底行列生成部は、ディジタル音声信号と話者位置の情報を入力として、Ｄ個（Ｄは２以上の整数）の基底から成る基底行列を生成する。相関行列分解部は、フレーム毎に相関行列と基底行列を入力として、相関行列を基底行列に射影した成分列に分解する。周波数平均化処理部は、成分列を入力として、フレーム毎に周波数で平均化された周波数平均化成分列を出力する。正面・横向き判定部は、周波数平均化成分列を入力として、フレーム毎に話者の発話の向きが正面方向であるか否かを推定する。
【発明の効果】
【００１６】
本発明の発話向き推定装置によれば、多数のマイクロホンを発話者を囲い込むように配置する必要が無く、かつ残響時間が２５０ｍｓｅｃ以上の残響環境下においても適切に発話向きを推定することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】第１実施形態の発話向き推定装置１００の機能構成例を示す図。
【図２】第１実施形態の発話向き推定装置１００の処理フロー例を示す図。
【図３】マイクロホンと発話者・発話向きとの位置関係を示すイメージ図。
【図４】左右向きを判定する方法についてのイメージ図。
【図５】音声信号の伝搬特性を時間領域で示す図。
【図６】発話向きと基底ベクトルと固有値・固有ベクトルとの相関関係を示すイメージ図。
【図７】発話向きと固有値との関係を示すイメージ図。
【図８】第２実施形態の発話向き推定装置２００の機能構成例を示す図。
【図９】第２実施形態の発話向き推定装置２００の処理フロー例を示す図。
【図１０】正面向き・横向きを判定する方法についてのイメージ図。
【図１１】第３実施形態の発話向き推定装置３００の機能構成例を示す図。
【図１２】効果の検証環境及び条件を示す図。
【図１３】発話向きと固有値との関係についての検証結果を示す図。
【図１４】左右向き推定の検証結果を示す図。
【図１５】音声会議端末に本発明を組み込んだサービス構成例を示す図。
【図１６】従来技術による発話向き推定装置の機能構成例を示す図。
【図１７】従来技術によるマイクロホンと発話者との関係を示すイメージ図。
【発明を実施するための形態】
【００１８】
〔第１実施形態〕
図１に本発明の発話向き推定装置１００の機能構成例を、図２にその処理フロー例を示す。発話向き推定装置１００は、発話向きがマイクロホンアレイに対し、正面向き、左向きであるか右向きであるかを推定するものである。
【００１９】
発話向き推定装置１００は、Ｍ本（Ｍは２以上の整数）のマイクロホン１０１−１〜１０１−Ｍからなるマイクロホンアレイ１０１と、ＡＤ変換部１２と、周波数領域変換部１３と、相関行列計算部１０２と、固有値分解部２０１と、第１固有ベクトルパワー計算部１０４と、第１周波数平均化処理部１０５と、左右向き判定部１０６と、第２周波数平均化処理部２０２と、正面・横向き判定部２０３とを備える。
【００２０】
従来技術においては、図１６に示すように発話者を囲い込むように多数のマイクロホンを配置する必要があったが、本発明においては、Ｍ本のマイクロホン１０１−１〜１０１−Ｍを可能な程度に密集して配置すればよい。このようなマイクロホンアレイ１０１を構成するマイクロホンの本数は多いことに越したことはないが、以下に説明する本発明の構成によれば２本以上あれば発話向きの推定が可能である。また、配置は平面的でも立体的でも構わない。このように少ない本数のマイクロホンを密集して配置する形態をとることで、電話や音声会議端末のような可搬性がある装置に取り付けて、その周囲の発話者による発話向きを推定することが可能となる。発話者はこのマイクロホンアレイ１０１の周囲で発話する。図３は７本のマイクロホンからなるマイクロホンアレイ１０１の周りで話している発話者を上から見たイメージを示したものであり、矢印方向が発話向きである。なお、図３(ａ)は発話者が各位置で正面向きに発話している様子を、図３(ｂ)は横向きに発話している様子を表している。
【００２１】
ＡＤ変換部１２は、Ｍ本のマイクロホン１０１−１〜１０１−Ｍで収音した発話者１が発話したアナログ音声信号を、それぞれディジタル音声信号ｘ1(t) 、・・・、ｘM(t)に
変換する（Ｓ１）。ここで、ｔは離散時間のインデックスを表す。
【００２２】
周波数領域変換部１３は、複数の離散時間サンプルからなる上記ディジタル音声信号の組（フレーム）を入力とし、高速フーリエ変換等により周波数領域のディジタル音声信号Ｘ1(ω,ｎ)、・・・、ＸM(ω,ｎ)に変換して出力する（Ｓ２）。ここで、ｎはフレームのインデックスを表し、ωは周波数のインデックスを表す。なお、周波数のインデックスの総数はΩとする。
【００２３】
相関行列計算部１０２は、周波数領域のディジタル音声信号Ｘ1(ω,ｎ) 、・・・、ＸM(ω,ｎ)を入力とし、各信号間の相関を表すＭ×Ｍの相関行列Ｒ(ω,ｋ)を、各周波数ω毎に式（３）により順次生成し出力する（Ｓ３）。
Ｒ(ω,ｋ)＝Ｅ[VX(ω,ｎ)・VXH(ω,ｎ)]                          （３）
【００２４】
ここで、VX(ω,ｎ)＝[Ｘ1(ω,ｎ)、・・・、ＸM(ω,ｎ)]Tなお、Ｈは共役転置を表し、Ｅは、VX(ω,ｎ)・VX(ω,ｎ)Hを各フレームについて計算した上で、平均化処理等によりＬフレーム毎の期待値を演算をする演算子である。つまり、相関行列はＬフレームに１回の割合で順次出力され、ｋはこの相関行列の出力のインデックスを表す。また、ＬはＭ以上の整数とすることが望ましい。
【００２５】
固有値分解部２０１は、相関行列Ｒ(ω,ｋ)を入力とし、まず、式（４）を満たすようにＭ個の固有値λ1(ω,ｋ)、・・・、λM(ω,ｋ)それぞれの二乗を対角要素とする対角行列である固有値行列Λ(ω,ｋ)と、Ｍ個の固有ベクトルvv1(ω,ｋ)、・・・、vvM(ω,ｋ)を要素とする固有ベクトル行列Ｖ(ω,ｋ)とに固有値分解法によって分解する。
Ｒ(ω,ｋ)＝Ｖ(ω,ｋ)・Λ(ω,ｋ)・ＶH(ω,ｋ)                    （４）
ここで、Λ(ω,ｋ)＝diag[λ12(ω,ｋ)、・・・、λM2(ω,ｋ)]
λ1(ω,ｋ)≧λ2(ω,ｋ)≧・・・≧λM(ω,ｋ)
Ｖ(ω,ｋ)＝[vv1(ω,ｋ)、・・・、vvM(ω,ｋ)]T
vvi(ω,ｋ)＝[vi,1(ω,ｋ)、・・・、vi,M(ω,ｋ)]
なお、diag[・]は[・]内の成分を対角行列の要素とする演算子である。
そして、最大の固有値である第１固有値λ1(ω,ｋ)に対応する第１固有ベクトルvv1(ω,
ｋ)を出力する（Ｓ４）。
【００２６】
第１固有ベクトルパワー計算部１０４は、第１固有ベクトルvv1(ω,ｋ)を入力とし、第１固有ベクトルvv1(ω,ｋ)を構成するv1,1(ω,ｋ)、・・・、v1,M(ω,ｋ)のＭ個の要素について、それぞれ式（５）によりパワーを計算してＭ個のパワー要素pv1,1(ω,ｋ)、・・・
、pv1,M(ω,ｋ)を出力する（Ｓ５）。
pv1,i(ω,ｋ)＝|v1,i(ω,ｋ)|                                      （５）
第１周波数平均化処理部１０５は、各周波数ω毎に生成されたＭ個のパワー要素pv1,1(ω,ｋ)、・・・、pv1,M(ω,ｋ)について、それぞれ式（６）により平均値を計算してＭ個の平均化パワー要素apv1,1(ｋ)、・・・、apv1,M(ｋ)を出力する（Ｓ６）。
【００２７】
【数２】
2010206449.tif 000004
【００２８】
なお、Ｆ1は平均化に用いる周波数のインデックス、|Ｆ1|は周波数のインデックスの総
数であり、Ｆ1はΩ≧|Ｆ1|を満たすように適宜設定する。
左右向き判定部１０６は、Ｍ個の平均化パワー要素apv1,1(ｋ)、・・・、apv1,M(ｋ)とを入力とし、左向きに発話したか右向きに発話したかを判定して結果を出力する（Ｓ７）。
【００２９】
左右向きの判定は、マイクロホンアレイ１０１を構成するＭ本のマイクロホンのうち、ある２本のマイクロホン１０１−α、１０１−βに対応する２個の平均化パワー要素apv1,α(ｋ)、apv1,β(ｋ)の比をとり、それを所定のしきい値thr1と比較することにより行う。左右向きの判定イメージを図４に例示する。この例では、図４(a)に示すマイクロホンαとマイクロホンβとの中間点に向いて発話された場合をapv1,α(ｋ)／apv1,β(ｋ)＝thr1とし、この向きを基準とした左右方向の発話向きをapv1,α(ｋ)／apv1,β(ｋ)とthr1との大小関係により判定する。具体的には、左向きになればなるほどapv1,β(ｋ)がapv1,α(ｋ)に比べて減衰する割合が大きくなるため、apv1,α(ｋ)／apv1,β(ｋ)＞thr1の時には左向きであると判定することができ（図４(b)）、右向きになればなるほどapv1,α(ｋ)がapv1,β(ｋ)に比べて減衰する割合が大きくなるため、apv1,α(ｋ)／apv1,β(ｋ)＜thr1の時には右向きであると判定することができる（図４(c)）。なお、２本のマイクロホンは、平均化パワー要素apv1,α(ｋ)、apv1,β(ｋ)の値に差が生じやすいよう、発話者の位置に対して最も左右間隔の広い２本を選ぶのが望ましい。
【００３０】
このような構成で左右方向の発話向きを判定することができる理論的背景を説明する。
図５は音声信号の伝搬特性を時間領域で示したものである。伝搬特性は、直接波、初期残響、後部残響の３つに大きく分けられるが、直接波、初期残響が観測される時間帯においては、複数本のマイクロホンで構成されたマイクロホンアレイに対して方向性を持った波が混入することが知られている。特に、初期残響時間帯（直接波到来後、直接波の収音パワーから１０ｄＢ減衰するまでの時間）においては方向性を持った強い反射波が混在するが、この反射波のパワーは発話向きにより変化する。具体的には、発話向きが正面方向であるほど直接波のパワーが大きくなるため、反射波のパワーは小さくなり、また、横方向であるほど直接波のパワーが小さくなるため、その分反射波のパワーが大きくなる。本発明はこのような性質を利用して発話向きを推定する。
【００３１】
これについて以下、本発明の構成に則して説明する。図６は、正面向き、横向きの発話
状態がどのように相関行列Ｒ(ω,ｋ)の各固有値λi(ω,ｋ)に影響するかを示したもので
ある。ここでは３本のマイクロホンでマイクロホンアレイを構成した場合を例示する。正
面向きの場合、マイクロホンアレイには直接波が多く到達し、反射波の到達割合は相対的
に低いため、図６(a)に示すように、直接波を表現する基底ベクトルが、反射波を表現する基底ベクトル群に比べて大きなパワーを持つ。この時、第１固有値λ1(ω,ｋ)は第２固有値λ2(ω,ｋ)、第３固有値λ3(ω,ｋ)と比べ顕著に大きな値を示す。一方、横向きの場合、マイクロホンアレイに到達する直接波は減少するため、その分反射波が多く到達する。そのため、図６(b)に示すように、直接波を表現する基底ベクトルのパワーが減少し、反射波を表現する基底ベクトル群のパワーが増加する。そして、この時には第１固有値λ1(ω,ｋ)は正面向きの場合より小さくなり、逆に第２固有値λ2(ω,ｋ)、第３固有値λ3(ω,ｋ)は正面向きの場合より大きくなる。正面向きの場合と横向きの場合とで各固有値に生じる差異のイメージを図７に示す。
【００３２】
以上のことから、直接波を表現する基底ベクトルのパワーは第１固有値に顕著に反映さ
れることがわかる。そしてそうであれば、第１固有値に対応する第１固有ベクトルの、Ｍ
本のマイクロホンに対応する各パワー要素の値は、直接波がＭ本のマイクロホンのそれぞ
れにどの程度の強さで届いているかの尺度となると考えることができる。そして、直接波
が各マイクロホンに届くパワーは発話向きによって変化する。そこで上記のように、基準
とする発話向きにおける任意の２本のマイクロホンのパワー要素の比をしきい値（thr1）
とし、そのしきい値とある発話向きの時の２本のマイクロホンのパワー要素の値の比とを
比較することで、その大小関係から、基準とする発話向きに対して左向きに発話したか右
向きに発話したかを判定することができる。
固有値分解部２０１は、更に上記した第１固有値λ1(ω,ｋ)を、式（７）により正規化
して第１正規化固有値nλ1(ω,ｋ)を出力する（Ｓ８）。
【００３３】
【数３】
2010206449.tif 000005
【００３４】
第２周波数平均化処理部２０２は、各周波数ω毎に得られた第１正規化固有値nλ1(ω,
ｋ)について式（８）により平均値を計算して、第１平均化固有値aλ1(ｋ)を出力する（Ｓ９）。
【００３５】
【数４】
2010206449.tif 000006
【００３６】
なお、Ｆ2は平均化に用いる周波数のインデックス、|Ｆ2|は周波数のインデックスの総
数であり、Ｆ2はΩ≧|Ｆ2|を満たすように適宜設定する。
【００３７】
正面・横向き判定部２０３は、左右向き判定部１０６での判定結果と第１平均化固有値aλ1(ｋ)とを入力とし、第１平均化固有値aλ1(ｋ)を所定のしきい値thr2と比較することにより、aλ1(ｋ)＜thr2であれば発話者が上記マイクロホンアレイに対し横向きと判定し、そうでなければ正面向きと判定する。そして、横向きと判定した場合には左右向き判定部１０６での判定結果をそのまま出力し、そうでなければ正面向きであるとの判定結果を出力する（Ｓ１０）。正面・横向き判定イメージを図１０に例示する。ここで、thr2は環境や話者の位置によって任意に設定してよい。なお、第１平均化固有値aλ1(ｋ)はフレームグループｋ毎に得られることから、判定結果もフレームグループｋ毎に出力される。
【００３８】
このような構成で発話向きが正面向きであるか横向きであるかを判定することができる理論的背景を説明する。直接波を表現する基底ベクトルのパワーは第１固有値に顕著に反映される。具体的には正面向きの場合には直接波を表現する基底ベクトルのパワーが大きい値を示すとともに第１固有値も大きな値を示す一方、横向きの場合には直接波を表現する基底ベクトルのパワーは正面向きの場合より小さくなり、第１固有値も小さくなる。そこで、第１固有値を正面・横向きの判定パラメータとして用いることで、第１固有値があるしきい値より大きければ正面向き、小さければ横向きであると適切に判定することができる。
【００３９】
このように、第１実施形態の発話向き推定装置によれば、発話向きについて正面向き、
左向き、右向きのいずれであるかを判定することが可能となるため、ネットワークを介した相手方とのコミュニケーションをより円滑に行うことが可能となる。
第１実施形態では、固有値分解法によって空間相関行列Ｒ（ω，ｋ）を分解し、発話者向きを推定する例を説明したが、他の方法も考えられる次にその代替手法について説明する。
【００４０】
〔第２実施形態〕
図８に第２実施形態の発話者向き推定装置２００の機能構成例を、図９にその処理フローを示す。発話向き推定装置２００は、Ｍ本（Ｍは２以上の整数）のマイクロホン１０１−１〜１０１−Ｍからなるマイクロホンアレイ１０１と、ＡＤ変換部１２と、周波数領域変換部１３と、相関行列計算部１０２と、発話位置推定部４０５と、基底行列生成部４００と、相関行列分解部４１０と、周波数平均化処理部４２０と、正面・横向き生成部４３０とを備える。このうちマイクロホンアレイ１０１と、ＡＤ変換部１２と、周波数領域変換部１３と、相関行列計算部１０２とは、第１実施形態にて説明済みのものと同じであるので、この部分の機能・処理の説明は省略する。
【００４１】
発話者位置推定部４０５は、発話者の位置ｒを推定する。発話者の位置ｒを推定する方法は、複数考えられ、例えば、ＡＤ変換部１２が出力するマイクロホン出力の時間差から推定しても良いし、図示しない撮像装置から画像情報を入手し、画像を分析して推定しても良い。また、発話者の位置ｒの情報を外部から得るようにしてもよい。
【００４２】
〔基底行列生成部〕
基底行列生成部４００は、その位置情報ｒと、周波数領域変換部１３の出力する各マイクロホンの周波数領域の信号ＸＭ（ω，ｎ）を入力として、行列分解のための軸である基底数Ｄの基底行列を生成する（Ｓ４００）。ここで、基底数Ｄは、特にマイクロホン数Ｍと同じにする必要はなく、２以上の整数である。以下、基底行列ＵＵ（ω，ｋ）の生成方法を説明する。
【００４３】
まず、一番目の基底ｕｕ１（ω，ｋ）＝[ｕｕ１１（ω，ｋ），…，ｕｕ１Ｍ（ω，ｋ）]を各周波数ω、フレームｋ毎に設計する。ｕｕ１（ω，ｋ）の設計にはいくつかの方法が考えられる。その内の２種類の方法について説明する。
【００４４】
その一つとして直接音経路の伝達特性を模擬する方法が考えられる。その方法は、音源位置ｒにある音源とＭ本のマイクロホン間の伝達特性の周波数表現Ｈ＾Ｈ（ω，ｒ）＝[Ｈ＾Ｈ１（ω，ｒ），…，Ｈ＾ＨＭ（ω，ｒ）]を用意する。ここで、Ｈ＾Ｈ１〜Ｈ＾ＨＭは音源と各マイクロホン間の伝達特性を表す伝達関数である。各フレームｋ毎に、発話者位置推定部４０５が推定した発話者の位置ｒを入力として、各周波数ω毎にｕｕ′１（ω，ｒ）＝[Ｈ＾Ｈ１（ω，ｒ），…，Ｈ＾ＨＭ（ω，ｒ）]とする。ここで、伝達関数は予め用意された実測値を用いても良いし、シミュレーションで計算した値を用いても良い。最後に式（９）のように正規化することでｕｕ１（ω，ｋ）を得る。
【００４５】
【数５】
2010206449.tif 000007
【００４６】
また、他にエリア強調フィルタを用いる方法も考えられる。その方法は、各フレームｋ毎に発話者位置推定部４０５が推定した位置情報ｒを得て、位置ｒにある音を強調するフィルタｕ〜ｕ１（ω，ｋ）＝[ｕ〜ｕ１１（ω，ｋ），…，ｕ〜ｕ１Ｍ（ω，ｋ）]Ｔを各フレームｋ、周波数ω毎に設計する。エリア強調フィルタｕ〜ｕ１（ω，ｋ）は、例えば式（１０）を計算することで得られる。
【００４７】
【数６】
2010206449.tif 000008
【００４８】
ここで、ｈ〜ｈ１１（ω）＝[ｈ〜ｈ１１１（ω），…，ｈ〜ｈ１１Ｍ（ω）]Ｔは強調したいエリアの代表的な伝達特性、ｈ〜ｈ１ｑ（ω）＝[ｈ〜ｈ１ｑ１（ω），…，ｈ〜ｈ１ｑＭ（ω）]Ｔ（ｑは２以上Ｌ以下の整数）は強調したくないエリアの代表的な伝達特性であり、Ｌ−１個用意する。Ｌは２以上の整数である。また、Ｌ＝Ｍでない場合、逆行列演算は正則ではないので、擬似逆行列演算となる。最後に式（１１）のように正規化することでｕｕ１（ω，ｋ）を得る。
【００４９】
【数７】
2010206449.tif 000009
【００５０】
次に、上記したどちらかの方法で求めた一番目の基底ｕｕ１（ω，ｋ）を基に基底数Ｄのｕｕ２（ω，ｋ），…，ｕｕＤ（ω，ｋ）を算出し、基底行列ＵＵ（ω，ｋ）を生成する。この基底行列ＵＵ（ω，ｋ）を生成する方法を次に説明する。
まず、正規直交基底で基底行列ＵＵ（ω，ｋ）を生成する方法が考えられる。その方法の一つは、ベクトルｕｕ１（ω，ｋ）に直交な基底を、例えばグラムシュミット法で生成する。式（１２）と式（１３）の計算をＤ−１回繰り返すことで、Ｄ−１個のベクトルｕｕ２（ω，ｋ），…，ｕｕＤ（ω，ｋ）を生成できる。
【００５１】
【数８】
2010206449.tif 000010
【００５２】
ここでχｎ（ω，ｋ）はｎ番目の基底ｕｕｎ（ω，ｋ）の初期値で、‖ｕｕｎ（ω，ｋ）‖≠０となるようにランダムに与えればよい。また、ｕｕ２（ω，ｋ）から順に帰納的にｕｕＭ（ω，ｋ）まで生成する。
また、エリア強調フィルタを用いて基底行列ＵＵ（ω，ｋ）を生成することもできる。その方法は、既に生成された一番目の基底ｕｕ１（ω，ｋ）で強調するエリアとは別のエリアを強調するフィルタを生成し、式（１４）の計算で基底ｕｕ２（ω，ｋ），…，ｕｕＤ（ω，ｋ）を求める。
【００５３】
【数９】
2010206449.tif 000011
【００５４】
ここで、ｈ〜ｈｎ１（ω）＝[ｈ〜ｈｎ１１（ω），…，ｈ〜ｈｎ１Ｍ（ω）]Ｔは、ｎ番目の基底が強調したいエリアの代表的な伝達特性、ｈ〜ｈｎｑ（ω）＝[ｈ〜ｈｎｑ１（ω），…，ｈ〜ｈｎｑＭ（ω）]Ｔ（ｑは２以上Ｌ以下の整数）はｎ番目の基底が強調したくないエリアの代表的な伝達特性であり、Ｌ−１個用意する。Ｌは２以上の整数である。また、Ｌ＝Ｍでない場合、逆行列演算は正則ではないので、擬似逆行列演算となる。そして、式（１５）のように正規化することで、ｕｕｎ（ω，ｋ）を得る。
【００５５】
【数１０】
2010206449.tif 000012
【００５６】
〔相関行列分解部〕
相関行列分解部４１０は、各周波数ω、フレームｋ毎に相関行列Ｒ（ω，ｋ）と基底行列ＵＵ（ω，ｋ）＝[ｕｕ１（ω，ｋ），…，ｕｕＤ（ω，ｋ）]Ｔを入力とし、成分列Ｌ（ω，ｋ）＝[Ｌ１（ω，ｋ），…，ＬＤ（ω，ｋ）]を出力する（Ｓ４１０）。
成分列Ｌ（ω，ｋ）は、相関行列Ｒ（ω，ｋ）を基底行列ＵＵ（ω，ｋ）に射影することで得られる正面・横向き判定に有効な特徴量である。射影とは、相関行列Ｒ（ω，ｋ）と基底行列ＵＵ（ω，ｋ）の類似度合いを計算することである。つまり、式（１６）の計算によって成分列Ｌ（ω，ｋ）を構成する要素Ｌ１（ω，ｋ），…，ＬＤ（ω，ｋ）を得る。
【００５７】
【数１１】
2010206449.tif 000013
【００５８】
ここでＨは複素共役転置を意味する。
〔周波数平均化処理部〕
周波数平均化処理部４２０は、相関行列分解部４１０から出力される成分列Ｌ（ω，ｋ）を入力とし、各フレームｋ毎に周波数ωで平均化された周波数平均化成分列Ｌ−（ｋ）＝[Ｌ１−（ｋ），…，ＬＤ−（ｋ）]を出力する（Ｓ４２０）。周波数平均化成分列Ｌ−（ｋ）の各要素は、式（１７）で計算される。
【００５９】
【数１２】
2010206449.tif 000014
【００６０】
ここで、｜Ｆ３｜は周波数平均化処理で用いる周波数インデックスの総数である。
正面・横向き判定部４３０は、周波数平均化された周波数平均化成分列Ｌ−（ｋ）を入力として、各フレームｋ毎に話者が「正面向き」の状態にあるのか、それとも「横向き」の状態にあるのかを判定して出力する（Ｓ４３０）。正面・横向き判定部４３０は、周波数平均化成分列Ｌ−（ｋ）を入力とする点のみが、第１平均化固有値ａλ１（ｋ）を入力とする第１実施形態の正面・横向き判定部２０３と異なる。処理や理論的な背景は第１実施形態の正面・横向き判定部２０３と同じである。
【００６１】
以上説明したように、固有値分解法を用いた空間相関行列Ｒ（ω，ｋ）を分解する方法によらなくても発話者向きを推定することが可能である。なお、第２実施形態は話者が「正面向き」か「横向きか」しか判定しない例であるが、更に左右向きも判定することも可能である。次に左右向きを判定できるようにした第３実施形態を説明する。
【００６２】
〔第３実施形態〕
図１１に第３実施形態の発話者向き推定装置３００の機能構成例を示す。発話向き推定装置３００は、第２実施形態の発話者向き推定装置２００の機能構成に、第１実施形態の発話者向き推定装置１００の固有値分解部２０１と、第１固有ベクトルパワー計算部１０４と、第１周波数平均化処理部１０５と、左右向き判定部１０６との機能構成を追加したものである。また、正面・横向き判定部１１０が、左右向き判定結果を入力として話者の発話方向の左右方向も判定する点で発話者向き推定装置２００と異なる。
【００６３】
なお、固有値分解部２０１と、第１固有ベクトルパワー計算部１０４と、第１周波数平均化処理部１０５と、左右向き判定部１０６については、説明済みであるが、第３実施形態の構成を明瞭にする目的で、各部の機能の説明のみを再度行い、その処理フローを参照した説明は省略する。
【００６４】
固有値分解部２０１は、相関行列Ｒ（ω，ｋ）を、そのＭ個の固有値の二乗を対角要素とする対角行列である固有値行列と、上記各固有値に対応するＭ個の固有ベクトルからなる固有ベクトル行列とに分解し、最大の固有値に対応する固有ベクトル（以下、「第１固有ベクトル」という）を出力する。
【００６５】
第１固有ベクトルパワー計算部１０４は、第１固有ベクトルを構成するＭ個の要素についてそれぞれパワーを計算して、Ｍ個のパワー要素を出力する。第１周波数平均化処理部１０５は、各周波数毎に生成された上記Ｍ個のパワー要素についてそれぞれ平均値を計算して、Ｍ個の平均化パワー要素を出力する。左右向き判定部１０６は、Ｍ個の平均化パワー要素のうち、任意の２本のマイクロホンに対応する２個の平均化パワー要素の比をとり、それを所定のしきい値と比較することにより、発話者が上記マイクロホンアレイに対し左向きに発話したか右向きに発話したかを判定して左右向き判定結果を出力する。
【００６６】
正面・横向き判定部１１０は、左右向き判定部１０６の出力する左右向き判定結果を入力として、フレーム毎に話者の発話方向が正面方向であるか否かと、左向き又は右向きに発話したかを判定する。
【００６７】
上記の各実施形態の発話向き推定装置の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この場合、処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
また、上述の各種処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【００６８】
〔効果の検証〕
図１２(a)に示す収音環境において、図１２(b)に示す条件の下で、本発明の効果の検証を行った。なお、発話向きの定義は図１２(c)に示すとおりである。
【００６９】
図１３に各発話向きと第１〜第７平均化固有値aλi(ｋ)との関係を示す。ここで、第２〜第７平均化固有値は第１平均化固有値と同様な方法で求めたものである。また、図１３(a)は残響時間が２５０ｍｓｅｃの場合、図１３(b)は残響時間が４００ｍｓｅｃの場合である。いずれの残響時間の場合も、第１平均化固有値は発話向きによって大きく異なるが、第２〜第７平均化固有値は発話向きによる差が小さい。また、第１固有値は０°（正面向き）の時が最も大きく、±９０°（横向き）の時が最も小さい。この検証結果より、第２実施形態に示した第１平均化固有値により正面・横向きを判定する本発明の構成が妥当かつ有効であることがわかる。
【００７０】
また、図１４に第１実施形態の構成により推定した左右方向の発話向きと実際の発話向きとの比較を示す。図１４(a)は残響時間が２５０ｍｓｅｃの場合、図１４(b)は残響時間が４００ｍｓｅｃの場合である。いずれの残響時間の場合も、７５％以上の正解率が得られた。この検証結果より、第１実施形態に示した第１固有ベクトルの２つのパワー要素から左右向きを判定する本発明の構成が妥当かつ有効であることがわかる。
【００７１】
〔サービス適用例〕
図１５は音声会議端末に本発明を組み込んだサービスの構成例である。会議場Ａと会議場Ｂとをネットワークを通じて音声端末で繋がれている状況を想定する。音声会議端末に取り付けられたマイクロホンで収音した音声信号から発話向き情報を抽出し、音声情報と共に相手側へ伝送する。相手側にて、発話向き情報を視覚情報として提示することで、音声情報だけでは伝わりにくかった場の状況を伝達することができる。
【００７２】
また、会議でのやりとりの様子を映像や音声を用いて記録する議事録システムにも発話者向き推定技術を応用できる。発話者向き推定技術によって、収録した音声や映像に誰が誰に向かって話したかというタグを付けることができるので、議事録の整理作業に役立つ。また、画像で顔向きを検出して行うサービス、例えば、監視カメラやインターフォン等で用いられる監視・防犯目的のサービスや、ディジタルサイネージ（電子看板）で広告に注目しているか否かを判定するサービス等も、音声信号出力に置き換えることが可能である。
【図１】
2010206449.tif 000015
【図２】
2010206449.tif 000016
【図３】
2010206449.tif 000017
【図４】
2010206449.tif 000018
【図５】
2010206449.tif 000019
【図６】
2010206449.tif 000020
【図７】
2010206449.tif 000021
【図８】
2010206449.tif 000022
【図９】
2010206449.tif 000023
【図１０】
2010206449.tif 000024
【図１１】
2010206449.tif 000025
【図１２】
2010206449.tif 000026
【図１３】
2010206449.tif 000027
【図１４】
2010206449.tif 000028
【図１５】
2010206449.tif 000029
【図１６】
2010206449.tif 000030
【図１７】
2010206449.tif 000031