(57)【特許請求の範囲】
【請求項１】
人の位置を検出する人位置検出手段と、
マイクロホンアレイの出力信号から得られる複数チャンネルの音源信号の各々を受け、前記マイクロホンアレイに含まれる各マイクロホンの間の位置関係と、前記マイクロホンアレイの位置とに関連して定められる点を中心とする空間内で定義された複数の方向の各々について、前記複数チャネルの音源信号から所定時間ごとにＭＵＳＩＣパワーを算出し、当該ＭＵＳＩＣパワーのしきい値以上のピークを与える所定個数の方向を音源位置として前記所定時間ごとに検出するための音源定位手段と、
前記マイクロホンアレイの出力信号から、前記音源定位手段により検出された音源位置からの音声信号を分離する音源分離手段と、
前記音源分離手段により分離された音声信号の音源種類を判定する音源種類判定手段とを含み、
前記音源種類判定手段は、
複数の個人の音声の、少なくともＭＦＣＣを含む音響特徴量の統計的モデルである複数の個人別音響モデルと、
人間以外の音源であって、音源種類が既知の雑音源からの前記音響特徴量の統計的モデルである複数の雑音音響モデルと、
前記人位置検出手段の出力と、前記音源定位手段の出力とを受け、音源方向に人が存在するときには前記複数の個人別音響モデル及び前記複数の雑音音響モデルを選択し、音源方向に人が存在しないときには前記複数の雑音音響モデルを選択する、音響モデル選択手段と、
前記音響モデル選択手段により選択された音響モデルを用い、前記音源分離手段により分離された音声信号の前記音響特徴量の系列を与える尤度を算出し、当該尤度が最も高い音響モデルに対応する音源種類を前記音声信号の音源種類として推定する推定手段とを含む、音源定位装置。
【請求項２】
さらに、前記音源定位手段により推定された方向のうち、前記人位置検出手段により人が検出された方向の各々について、当該方向を中心として、前記音源定位手段による音源位置の探索時より詳細に方向を変化させて各方向でのＭＵＳＩＣパワーを算出しＭＵＳＩＣパワーのピークを検出することにより、より詳細な音源位置を検出するための詳細検出手段とを含む、請求項１に記載の音源定位装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は音源定位技術に関し、特に、人間と雑音とが混在している環境において、人間の発する音声を高精度でトラッキングするための音源定位技術に関する。
【背景技術】
【０００２】
人とロボットとの音声コミュニケーションにおいて、ロボットに取付けたマイクロホンは通常離れた位置（１ｍ以上）にある。したがって例えば電話音声のようにマイクと口との距離が数センチの場合と比べて、信号と雑音の比（ＳＮＲ）は低くなる。このため、傍にいる他人の声や環境の雑音が妨害音となり、ロボットによる目的音声の認識が難しくなる。従って、ロボットへの応用として、音源定位や音源分離は重要である。
【０００３】
音源定位に関しては過去にさまざまな研究がされている。しかし、その大半ではシミュレーション・データ又はラボ・データのみが使用され、ロボットが動作する実環境のデータを評価するものは少ない。３次元の音源定位を評価する研究も少ない。発話相手の位置を把握しながら話したり聞いたりすることも人間とロボットとの対話インタラクションを改善するための重要なビヘービアであり、そのためには移動する音源の定位も重要となる。
【０００４】
実環境を想定した従来技術として特許文献１に記載のものがある。特許文献１に記載の技術は、分解能が高いＭＵＳＩＣ法と呼ばれる公知の音源定位の手法を用いている。
【０００５】
特許文献１に記載の発明では、マイクロホンアレイを用い、マイクロホンアレイからの信号をフーリエ変換して得られた受信信号ベクトルと、過去の相関行列とに基づいて現在の相関行列を計算する。このようにして求められた相関行列を固有値分解し、最大固有値と、最大固有値以外の固有値に対応する固有ベクトルである雑音空間とを求める。さらに、マイクロホンアレイのうち、１つのマイクロホンを基準として、各マイクの出力の位相差と、雑音空間と、最大固有値とに基づいて、ＭＵＳＩＣ法により音源の方向を推定する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開2008-175733号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１に記載された方法にはさらに改善の余地があると思われる。例えば、人間とそれ以外の雑音源とが混在している場合、人間の発生する音声と雑音とを精度高く分離する必要がある。そうした音源分離の精度が高くならなければ、例えば音声認識又は話者の同定などの処理の精度を高くすることもできない。特に、人間のように動く音源が存在する場合、又は音源定位をロボットなどのように移動可能なものに設ける場合などにこうしたことが問題となる。さらに、音声認識及び話者同定などに先立ち、音の種類が判定できれば、後続する処理の負担を軽減でき、さらに好ましい。
【０００８】
それゆえに本発明の目的は、音源定位とそれら音源の属性の判定とを行なうことができる音源定位装置を提供することである。
【課題を解決するための手段】
【０００９】
本発明の第１の局面にかかる音源定位装置は、レーザレンジファインダにより人の位置を検出する人位置検出手段と、マイクロホンアレイの出力から得られる複数チャンネルの音源信号の各々と、マイクロホンアレイに含まれる各マイクロホンの間の位置関係と、人位置検出手段の出力とに基づいて、マイクロホンアレイの位置に関連して定められる点を中心とする空間内で定義された複数の方向の各々について、所定時間ごとにＭＵＳＩＣパワーを算出し、当該ＭＵＳＩＣパワーのピークを音源位置として所定時間ごとに検出するための音源定位手段と、マイクロホンアレイの出力信号から、音源定位手段により検出された音源位置からの音声信号を分離する音源分離手段と、音源分離手段により分離された音声信号の属性を判定する音源属性判定手段とを含む。
【００１０】
レーザレンジファインダにより検出される人位置が、音源定位のための情報に用いられる。音声信号のみを用いる場合と比較して、音源定位精度を高くできる。音源定位の精度を高くすることができると、分離した音源からの属性を安定して精度高く推定できる。その結果、音源定位とそれら音源の属性の判定とを行なうことができる音源定位及び音属性推定装置を提供することができる。
【００１１】
好ましくは、音源属性判定手段は、複数の個人の音声の音響的特徴量の統計的モデルである複数の個人別音響モデルと、人間以外の音源であって、属性が既知の雑音源からの音響的特徴量の統計的モデルである複数の雑音音響モデルと、人位置検出手段の出力と、音源定位手段の出力とを受け、音源方向に人が存在するときには複数の個人別音響モデル及び複数の雑音音響モデルとを選択し、音源方向に人が存在しないときには複数の雑音音響モデルを選択する、音響モデル選択手段と、音響モデル選択手段により選択された音響モデルを用い、音源分離手段により分離された音声信号の属性を確率的手法により推定する統計的推定手段とを含む。
【００１２】
音声信号の属性を推定するときに、レーザレンジファインダにより検出される人位置に応じ、その音声信号の音源が人である可能性があれば個人別音響モデルと雑音音響モデルとを用いる。レーザレンジファインダにより人位置が検出されない場合には、雑音音響モデルのみが用いられる。そのため、音源の属性を推定する際の計算量を削減し、処理速度を高めることができるとともに、属性判定の精度を高くすることができる。
【００１３】
さらに好ましくは、音源定位手段は、マイクロホンアレイの出力から得られる複数チャンネルの音源信号の各々と、マイクロホンアレイに含まれる各マイクロホンの間の位置関係とに基づき、複数の方向の各々について、所定時間ごとにＭＵＳＩＣパワーを算出し、当該ＭＵＳＩＣパワーがしきい値を超えるピークが存在する位置及び方向を音源の概略の位置として推定する概略位置推定手段と、概略位置推定手段により推定された位置及び方向のうち、人位置検出手段により人が検出された位置及び方向を中心としてより詳細にＭＵＳＩＣパワーのピークを検出することにより、音源位置を検出するための詳細検出手段とを含む。
【００１４】
音声信号から得られた音源の情報により、大まかな音源定位をした後に、人が検出された位置を中心により細かく音源定位を行なうことができる。人位置を中心とした音源定位の精度を高めることができ、そのための計算量の増加も抑えることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の１実施の形態に係る音源分離及び音種類判定装置の処理の原理的構成を示す模式図である。
【図２】図１に示す音源分離及び音種類判定装置の概略の機能的構成を示すブロック図である。
【図３】図２に示す音源定位処理部の機能的構成を示すブロック図である。
【図４】図３に示す音源定位部の機能的構成を示すブロック図である。
【図５】図２に示す音源分離処理部の機能的構成を示すブロック図である。
【図６】図２に示す音源種類同定処理部の機能的構成を示すブロック図である。
【図７】図６に示す音源属性判定部の機能的構成を示すブロック図である。
【図８】図７に示す音源属性判定部の出力する属性候補リスト及び１世代前の属性候補リストの概略構成を示す模式図である。
【図９】音源属性判定の処理を行なうコンピュータプログラムの制御構造の概略を示すフローチャートである。
【図１０】図９に示すプログラムにおいて再帰的に呼出されるＩＤ交換チェックルーチンの制御構造を示すフローチャートである。
【図１１】本発明の実施の形態に係る音源分離及び音種類判定装置を実現するためのコンピュータシステムの外観を示す図である。
【図１２】図１１に示すコンピュータシステムのハードウェア構成のブロック図である。
【発明を実施するための形態】
【００１６】
以下の説明及び図面では、同一の部品には同一の参照番号を付してある。したがって、それらについての詳細な説明は繰返さない。
【００１７】
以下の実施の形態では、レーザ・レンジ・ファインダ（ＬＲＦ）と呼ばれる、対象物との距離を測定し、人物が測定範囲内に存在するか否かを判定し、さらに測定された人物のトラッキングをする技術を用いる。そうした技術は、周囲の環境を測定しながら移動する必要のある移動ロボットの分野では広く普及している。また、ＬＲＦの出力を用い、検出された物体と、予め登録された物体とのマッチングをとることにより、物体の同定を行なう技術も開発されている。そのような技術については、例えば以下の参考文献１に記載されている。さらに、人の位置だけでなくその向きまで推定する技術も開発されている（参考文献２）。なお、人の位置を検出するための装置がＬＲＦに限定されるわけではない。カメラ等により撮影された画像に対し画像処理技術を用いても良い。
【００１８】
［参考文献１］
坂場  俊介、冨澤  哲雄、大場  光太郎、和田  和義、「分散配置された物体形状の知識とＬＲＦを併用したパスプラニングに関する研究」（第８回計測自動制御学会システムインテグレーション部門講演会（Ｓ１２００７）資料、２００７年１２月７日、計測自動制御学会。
【００１９】
［参考文献２］
宮下敬宏、Glas  Dylan、石黒浩、萩田紀博、「レーザ距離計による適応型人形状モデルを利用した人追跡手法」、
第２５回日本ロボット学会学術講演会、1I13、2007。
【００２０】
このようにＬＲＦを用いた物体の位置、向き、及び既知の物体とのマッチングなどについては開発が進んでいる。しかし、ＬＲＦを音源定位と組合わせることについては従来は全く考慮されていなかった。本実施の形態では、ＬＲＦを用いた人間の追跡及び人間同定の技術を音源の追跡及び音源種類の同定に適用することにより、音源分離、音源追跡、及び音源種類の判定の精度を高める。
【００２１】
［構成］
図１に、本発明の１実施の形態の構成の原理を概念的に示す。本発明に係る音源定位装置の１例である音源分離及び音種類判定装置は、図１には図示していないＬＲＦと、ＬＲＦの出力から周囲の人間の位置とその種類（人間の識別子）とを判定する人位置計測装置と、音源定位のための、特許文献１で開示されている技術とを組合わせることにより、音源種類の判定と音源定位とを行なう。なお、図１がフローチャート形式で示されていることからも分かるように、本実施の形態は、ＣＰＵ（中央演算処理装置）を含むコンピュータハードウェアと、コンピュータハードウェアにより実行されることにより、音源種類の判定と音源定位とを行なうコンピュータプログラムとにより実現される。もちろん、そのような組合せでの実現に本発明が限定されるわけではない。例えばプログラムと同様のアルゴリズムをハードウェアにより実現する装置、プログラムをハードワイア化した装置によっても同様の効果を得られることはいうまでもない。
【００２２】
図１を参照して、この実施の形態に係る音源定位装置の動作を制御するプログラムは、環境内に人が存在するか否かを、ＬＲＦ、図示しない赤外線センサ、又は図示しない熱センサなどにより感知し、人が存在しないと判定されたときにはこの装置の動作を終了させるステップ３０と、ステップ３０の判定が肯定のとき（人がいると判定されたとき）、装置の動作を終了させるための処理（終了処理）がユーザにより行なわれたか否かを判定し、行なわれていれば装置の動作を停止させるステップ３２と、ステップ３２の判定が否定のときに、図示しない複数のマイクロホンアレイ、及び図示しない人位置判定装置の出力に基づいて、音源定位を行なうステップ３４と、ステップ３４での処理の結果を用い、各音源の音種類の同定を行ない、人の音声と人以外の音声とを分離するステップ３６と、ステップ３６で分離された人の音声をトラッキングし、適切なラベルを付して蓄積することにより対話音声データベースを順次構築するステップ３８とを含む。ステップ３８の処理が終了すると制御はステップ３２に戻り、以後ステップ３２〜ステップ３８の処理が、ユーザにより終了指示が行われるまで繰返し実行される。
【００２３】
図２を参照して、この装置を含む音源定位システムは、複数のマイクロホンアレイを含むマイクロホンアレイ群５２と、複数のＬＲＦを含むＬＲＦ群５６と、予め周囲にいる可能性のある人間に関する特徴とその識別子とを記憶し、ＬＲＦ群５６の出力を用いて、どの位置にどの人間が存在するかを示す情報（位置情報及び人間の識別子。以後これらをまとめて人位置情報と呼ぶ。）を出力する人位置計測装置５８と、システムを構成する各部の同期を制御するための同期用タイムサーバ５４と、マイクロホンアレイ群５２の出力、同期用タイムサーバ５４から出力される同期用制御信号、及び人位置計測装置５８から出力される人位置情報を受けるように接続され、マイクロホンアレイ群５２から出力される音声信号に基づいて音源定位を行なって音源を分離し、さらに各音源についてその種類を同定して出力する音源定位装置５０とを含む。
【００２４】
音源定位装置５０は、マイクロホンアレイ群５２から各マイクロホンアレイの出力する音声信号を受け、人位置計測装置５８から人位置情報を受け取り、音源定位処理を行なって、音源から得られたと考えられる音の方向（多くの場合、これは音源の数に対応する複数である。）を示す情報を出力する音源定位処理部６０と、音源定位処理部６０から得られる複数音の方向を示す情報と、マイクロホンアレイ群５２から得られる音声信号とを受け、音源定位処理部６０から得られた方向の音源からの音声信号７４を他の音声信号から分離して出力する音源分離処理部７０と、音源分離処理部７０の出力する音声信号７４、人位置計測装置５８の出力する人位置情報、及び音源定位処理部６０の出力する複数の音信号の方向及び位置に関する情報を用い、各音源からの音種類を同定し、出力する音源種類同定処理部７２とを含む。
【００２５】
図３を参照して、図２に示す音源定位処理部６０は、音源定位を行なうために探索すべき複数の方向を特定する位置ベクトルを記憶する位置ベクトルＤＢ（データベース）８０と、マイクロホンアレイ群５２に含まれる各マイクロホンアレイの位置を示す位置ベクトルを記憶するアレイ位置ＤＢ８２と、マイクロホンアレイ群５２内の各マイクロホンアレイに対応して設けられ、それぞれ位置ベクトルＤＢ８０から探索方向の位置ベクトルを、アレイ位置ＤＢ８２から対応のマイクロホンアレイの位置ベクトルを、図１に示す人位置計測装置５８から人位置情報を、それぞれ受け取り、公知のＭＵＳＩＣ法による音源定位の方式に加え、さらに人位置情報を用いた音源定位により音源方向を高精度に決定し、それぞれ出力するための、複数の音源定位部８４，…，８６，…，８８と、アレイ位置ＤＢ８２から得られる、各マイクロホンアレイの位置情報と、位置ベクトルＤＢ８０に記憶された、各方位の位置ベクトルとを用い、各マイクロホンアレイに対する各方位の相対位置ベクトルを生成し出力する相対位置ベクトル生成部１０８と、複数の音源定位部８４，…，８６，…，８８がそれぞれ出力する音源方位情報と、相対位置ベクトル生成部１０８から出力される相対位置ベクトルと、人位置計測装置５８から与えられる人位置情報とを用い、ＭＵＳＩＣスペクトルのピークが存在する可能性の高い位置を詳細に探索し、ピーク位置を示す信号を出力する詳細探索部１１０とを含む。
【００２６】
複数の音源定位部８４，…，８６，…，８８はいずれも同じ構造を持つ。したがって、以下では代表として音源定位部８４についてその構造を説明する。
図４を参照して、音源定位部８４は、対応するマイクロホンアレイからアレイに含まれるマイクロホンの数（例えば１４個）のアナログ音源信号を受け、アナログ／デジタル（Ａ／Ｄ）変換を行なって同数のデジタル音源信号を出力するＡ／Ｄ変換器１００と、Ａ／Ｄ変換器１００から出力される複数のデジタル音声信号を受け、音声信号を所定時間毎にフレーム化し、各フレームについてＭＵＳＩＣ応答の算出のために必要なマイクロホン出力に関する相関行列と、その最大固有値と、最大固有値以外の固有値に対応する固有ベクトルである雑音空間とを算出し出力する固有ベクトル算出部１０２と、固有ベクトル算出部１０２から所定時間ごとに出力される情報を使用し、位置ベクトルＤＢ８０から得られる位置ベクトルにより定まる各方向についてＭＵＳＩＣ法により算出されるＭＵＳＩＣ応答を出力するＭＵＳＩＣ処理部１０４と、ＭＵＳＩＣ処理部１０４の出力するＭＵＳＩＣ応答をしきい値と比較することにより、ＭＵＳＩＣ音源が存在する可能性の高い方位を、すなわちピークの方位を推定し音源の方向を示す情報を出力するピーク検出部１０６とを含む。
【００２７】
本実施の形態では、Ａ／Ｄ変換器１００は、一般的な１６ｋＨｚ／１６ビットで各マイクロホンの出力であるアナログ信号をデジタル信号に変換する。
【００２８】
固有ベクトル算出部１０２は、Ａ／Ｄ変換器１００の出力する複数個のデジタル音源信号を所定のフレーム長及び所定のシフト長でフレーム化するためのフレーム化処理部１２０と、フレーム化処理部１２０の出力する複数チャンネルのフレーム化された音源信号に対してそれぞれＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を施し、所定個数の周波数領域（以下、各周波数領域を「ビン」と呼び、周波数領域の数を「ビン数」と呼ぶ。）に変換して出力するＦＦＴ処理部１２２と、ＦＦＴ処理部１２２からフレーム化処理部１２０におけるシフト長に応じた時間間隔で出力される各チャネルの各ビンの値の間の相関を要素とする相関行列を所定時間ごとに算出し出力する相関行列算出部１２４と、相関行列算出部１２４から出力される相関行列を固有値分解し、最大固有地及び雑音空間からなる出力１１２をＭＵＳＩＣ処理部１０４に出力する固有値分解部１２６とを含む。なお本実施の形態では、音源信号の周波数成分のうち、空間的分解能が低い１ｋＨｚ以下の帯域と、空間的エイリアシングが起こり得る６ｋＨｚ以上の帯域を除外する。
【００２９】
ＭＵＳＩＣ処理部１０４は、対応するマイクロホンアレイに含まれる各マイクロホンの位置を表す位置ベクトルを位置ベクトルＤＢ８０から受け、固有値分解部１２６から出力される固有ベクトル及び雑音空間を用い、音源数が固定されているものとしてＭＵＳＩＣ法によりＭＵＳＩＣ空間スペクトルを算出し出力するＭＵＳＩＣ空間スペクトル算出部１４０と、ＭＵＳＩＣ空間スペクトル算出部１４０により算出されたＭＵＳＩＣ空間スペクトルに基づいて、ＭＵＳＩＣ法にしたがいＭＵＳＩＣ応答と呼ばれる値を位置ベクトルに応じた各方位について算出し出力するためのＭＵＳＩＣ応答算出部１４２とを含む。
【００３０】
ここでいう「方位」とは、音源位置を探索するために３次元空間に定義されたメッシュの各枠のことをいう。このメッシュは、以下の実施の形態では、仰角５度の範囲で空間を輪状に区切り、仰角の大きさにより異なる数の探索点を設けた。ここでいう「探索点」とは、上記したメッシュの中央の点のことをいう。
【００３１】
探索点の数は、仰角が０度の輪においては隣接する探索点への方向角が５度となるように選ばれている。探索点の数は仰角が０度の輪で最大であり、仰角が大きくなるにつれて少なくなる。この際、一つの輪内の探索点の間の距離（角度と考えてもよい。）は互いに等しく、その距離（角度）は仰角が０度の輪における隣接する探索点同士の距離（角度）とできるだけ近くなるように選ばれている。
【００３２】
図５を参照して、音源分離処理部７０は、マイクロホンアレイに対応して設けられ、音源定位処理部６０から出力される１つの音源の方向及び位置を示す情報に基づき、その音源方向に近いマイクロホンアレイからの出力に対し、目的方向からの信号を強調し、他の方向からの妨害音を抑圧することにより、音源の音声信号を分離し出力するための、複数の適応ビームフォーマ１６０，…，１６２，…，１６４を含む。複数の適応ビームフォーマ１６０，…，１６２，…，１６４の出力は、分離された音源からの音声信号７４として音源種類同定処理部７２に与えられる。
【００３３】
図６を参照して、音源種類同定処理部７２は、各々が個人別の音響モデルである、複数の個人別ＧＭＭ１８０と、各々が特定の種類の雑音に対応する音響モデルである、複数の雑音ＧＭＭ１８２と、各々が、音源定位処理部６０から受ける音源の方向及び位置に基づいて、その音源が人間か否かを判定し、判定結果に応じて複数の個人別ＧＭＭ１８０又は複数の雑音ＧＭＭ１８２のいずれかを選択して音源の属性を判定する、複数の音源属性判定部１９０，…，１９２，…，１９４とを含む。音源属性判定部１９０，…，１９２，…，１９４はいずれも同様の構成を有する。したがって、以下ではこれらを代表して音源属性判定部１９０の構成について説明する。
【００３４】
図７を参照して、音源属性判定部１９０は、人位置計測装置５８から与えられる人の位置に関する情報と、音源定位処理部６０から与えられる音源の方向及び位置に関する情報とを比較し、両者が一致するか否かに基づいて音源が人によるものか否かを示す信号を出力する比較部２１０と、複数の個人別ＧＭＭ１８０に接続された入力と、複数の雑音ＧＭＭ１８２に接続された入力とを持ち、比較部２１０の出力に基づき、音源の方向に人がいるときには両者を選択し、人がいないときには雑音ＧＭＭ１８２のみを選択して出力する選択部２１２とを含む。
【００３５】
音源属性判定部１９０はさらに、分離された音源であって比較部２１０への入力に対応する音源の音声信号から、フレームごとにＭＦＣＣなどの音響特徴量を抽出し、特徴ベクトルの系列として出力する特徴抽出部２１４と、特徴抽出部２１４により抽出された特徴ベクトルの系列に対し、選択部２１２により選択されたＧＭＭ群（複数の雑音ＧＭＭ１８２、又は、複数の個人別ＧＭＭ１８０及び複数の雑音ＧＭＭ１８２）を用い、音声の属性を推定し、推定結果を出力する音源属性推定部２１６とを含む。音源属性推定部２１６の出力は、音源が人間であれば、候補の人間の識別子とその尤度とからなる候補リストであり、音源が人間以外であれば候補の雑音の特定情報とその尤度とからなる候補リストである。
【００３６】
このように、音源方向に人がいる場合には複数の個人別ＧＭＭ１８０と雑音ＧＭＭ１８２とを用いて音源の属性を推定し、人がいないと考えられる場合には雑音ＧＭＭ１８２のみを属性推定に用いる。人がいない場合には雑音ＧＭＭ１８２のみにモデルが絞られるため、処理量が削減され、処理時間が短縮化される上、推定の精度も高くなる。
【００３７】
音源属性推定部２１６から出力される検出ＩＤ・尤度リスト２３０は尤度を伴う。したがって途中で音源の属性が入れ替わる場合もあり得る。そのため、図１に示すステップ３８により行なわれるトラッキングでは、検出ＩＤ・尤度リスト２３０上で候補の順序に変化が生じたか否かを常に監視する必要がある。
【００３８】
図８（Ａ）を参照して、図７に示す検出ＩＤ・尤度リスト２３０は、複数の属性の推定結果の候補であって、それぞれの尤度にしたがって配列された複数の候補のエントリを含む。検出ＩＤ・尤度リスト２３０の各候補のエントリは、候補の識別子ＣＩＤｎ（ｎは検出ＩＤ・尤度リスト２３０上における順番を示す。）と、音声がその候補により発生されたものである確率を示す尤度ＣＰｒｏｂｎ（ｎはＣＩＤｎのｎと同様。）とを含む。検出ＩＤ・尤度リスト２３０には、こうした候補が複数個配列されている。
【００３９】
なお、図１に示すステップ３８の処理のため、この装置は、検出ＩＤ・尤度リスト２３０の時系列を音源属性のトラッキングの履歴として保存する。フレームの各音声とこれら履歴とを互いに関連付けてあるため、結果として各発話に対し、その発話者のラベル及び発話位置を付した対話データベースが維持できる。
【００４０】
図８（Ｂ）を参照して、図に示すステップ３８の処理のため、この装置は、上記した検出ＩＤ・尤度リスト２３０をコピーした作業用の候補リスト２４０と、上記した履歴の先頭の候補リストをコピーした、作業用の履歴リスト２４２とを用いる。履歴リスト２４２の各候補は候補リスト２４０内の各候補と同じ構成を持っている。ここでは、直前候補は識別子ＨＩＤｎ（ｎは履歴リスト２４２における順位）により表し、その尤度をＨＰｒｏｂｎ（ｎはＨＩＤｎのｎと同様）により表す。候補リスト２４０及び履歴リスト２４２を使用して、図１のステップ３８で属性交換のチェックが行なわれる。その方法について図９及び図１０を参照して説明する。
【００４１】
図９に、図１のステップ３８を実現するためのプログラムの制御構造の概略をフローチャート形式で示す。なお図９では、図を分かりやすくするために各ステップを単一の音源に対して行なった場合を示してあるが、実際にはこれら処理は音源の全てに対して行なわれる。
【００４２】
図９を参照して、このプログラムは、履歴の末尾の候補リスト（直前サイクルで図７の音源属性推定部２１６から出力された検出ＩＤ・尤度リスト２３０と同じ）を履歴リスト２４２にコピーするステップ２５０と、現在のサイクルで音源属性推定部２１６から出力された検出ＩＤ・尤度リスト２３０を候補リスト２４０にコピーするステップ２５２と、候補リスト２４０と履歴リスト２４２とを引数にして図１０に制御構造を示すＩＤ交換チェックルーチンを呼出すステップ２５４とを含む。後述するように、ＩＤ交換チェックルーチンは再帰的に自己を呼出すプログラムであり、最終的にステップ２５４に制御が戻ってきた段階ではＩＤの交換がもしあれば交換がされた後のリストが履歴リスト２４２に、もしなければ引数で渡した履歴リスト２４２がそのまま、戻り値として返される。このルーチンの内容については図１０を参照して後述する。
【００４３】
このプログラムはさらに、ステップ２５４においてＩＤ交換チェックルーチンからの戻り値である履歴リスト２４２にもし空白部があれば、検出ＩＤ・尤度リスト２３０の、対応する要素（候補の識別子及び尤度）をコピーするステップ２５６と、こうして最終的に得られた履歴リスト２４２を履歴の末尾に追加するステップ２５８と、対話データベースに、各音声データをその発話者のＩＤ及び位置情報とともに追加し、処理を終了するステップ２６０とを含む。
【００４４】
図１０を参照して、図９のステップ２５４で呼出されるＩＤ交換チェックルーチンは、以下の制御構造を持つ。すなわち、このプログラムは、候補リスト２４０の要素数が１か否かを判定し、判定結果により制御の流れを分岐させるステップ２８０と、ステップ２８０の判定が否定のときに、さらに候補リスト２４０の先頭の候補の識別子ＣＩＤ１と、履歴リスト２４２の先頭の候補の識別子ＨＩＤ１とが一致するか否かを判定し、判定結果により制御の流れを分岐させるステップ２８２と、ステップ２８０又はステップ２８２の判定が肯定のときに実行され、候補リスト２４０を履歴リスト２４２にコピーしてこのルーチンの実行を終了して呼出元ルーチンに制御を戻すステップ３０６とを含む。なお、このルーチンが呼出元ルーチンに制御を戻すときには、戻り値として履歴リスト２４２が戻されるものとする。
【００４５】
このプログラムはさらに、ステップ２８２の判定が否定のときに、候補リスト２４０の１番目及び２番目の候補の識別子ＣＩＤ１及びＣＩＤ２の尤度ＣＰｒｏｂ１及びＣＰｒｏｂ２に基づき以下の式によりそれぞれ新たな尤度ＮＰｒｏｂ１及びＮｐｒｏｂ２を再計算するステップ２８４を含む。
【００４６】
【数１】
0005724125.tif 000002
ただしｗは０＜ｗ＜１を満たす任意の値である。
【００４７】
このプログラムはさらに、ステップ２８４に続き、新たに計算された尤度ＮＰｒｏｂ１が尤度ＮＰｒｏｂ２より大きいか否かを判定し、判定結果に従って制御の流れを分岐させるステップ２８６と、ステップ２８６の判定が肯定のときに実行され、候補リスト２４０の１番目の候補の識別子ＣＩＤ１を履歴リスト２４２の１番目の候補の識別子ＨＩＤ１に代入し、候補リスト２４０の１番目の候補について再計算された尤度ＮＰｒｏｂ１を履歴リスト２４２の１番目の候補の尤度ＨＰｒｏｂ１に代入するステップ２８８と、ステップ２８８に続き、候補リスト２４０の２番目の候補の識別子ＣＩＤ２を履歴リスト２４２の２番目の候補の識別子ＨＩＤ２に代入し、候補リスト２４０の２番目の候補について再計算された尤度ＮＰｒｏｂ２を履歴リスト２４２の２番目の候補の尤度ＨＰｒｏｂ２に代入して呼出元ルーチンに制御を戻すステップ２９０とを含む。
【００４８】
このプログラムはさらに、ステップ２８６の判定が否定のときに、新たに計算された尤度ＮＰｒｏｂ２が尤度ＨＰｒｏｂ２より大きいか否かを判定し、判定が否定のときには制御の流れをステップ２８８に分岐させるステップ２９２と、ステップ２９２の判定が肯定のときに実行され、候補リスト２４０の２番目の候補の識別子ＣＩＤ２を履歴リスト２４２の１番目の候補の識別子ＨＩＤ１に代入し、候補リスト２４０の２番目の候補について再計算された尤度ＮＰｒｏｂ２を履歴リスト２４２の１番目の候補の尤度ＨＰｒｏｂ１に代入するステップ２９４と、ステップ２９４に続き、候補リスト２４０の１番目の候補の識別子ＣＩＤ１を履歴リスト２４２の２番目の候補の識別子ＨＩＤ２に代入し、候補リスト２４０の１番目の候補について再計算された尤度ＮＰｒｏｂ１を履歴リスト２４２の２番目の候補の尤度ＨＰｒｏｂ２に代入するステップ２９６とを含む。
【００４９】
このプログラムはさらに、ステップ２９６に続き、履歴リスト２４２のうち、先頭の候補ＨＩＤ１のエントリを除いたリストを新たな引数（履歴リスト２４２）として自分自身を再帰的に呼出すステップ２９８と、ステップ２９８の処理による戻り値の履歴リスト２４２の先頭に、先頭の候補ＨＩＤ１のエントリを追加して、履歴リスト２４２を戻り値として呼出元ルーチンに制御を戻すステップ３００とを含む。
【００５０】
［動作］
上に説明した音源分離及び音種類判定装置は以下のように動作する。この動作に先立ち、図２に示す人位置計測装置５８には、測定対象となる人物をＬＲＦ群５６の出力に基づいて識別するために必要な情報と、各人物の識別子とが記憶されているものとする。また図３に示す位置ベクトルＤＢ８０には音源分離及び音種類判定装置がＭＵＳＩＣ応答を算出するための空間グリッドの各点（方位）を特定する位置ベクトルが予め記憶されている。アレイ位置ＤＢ８２には、マイクロホンアレイ群５２を構成する各マイクロホンアレイの位置が記憶される。複数の個人別ＧＭＭ１８０としては、測定対象となる人物についてそれぞれ予め作成された音響モデルが準備される。雑音ＧＭＭ１８２としては、予め収集された、属性が予め分かっている雑音に関する音響モデルが準備される。
【００５１】
音源分離及び音種類判定装置が動作を開始すると、図１及び図２を参照して、ＬＲＦ群５６が周囲に存在する人物に関する情報を出力し、人位置計測装置５８に与える。人位置計測装置５８は、ＬＲＦ群５６からの出力に基づき、周囲に存在している人物の位置と、それら各人物の識別子とを音源定位処理部６０及び音源種類同定処理部７２に出力する。人物が何ら検知されないときには（図１のステップ３０にてＮＯ）音源分離及び音種類判定装置は動作を終了する。人物が検知され、かつこの装置に対して動作の終了を指示する操作がされなければ（ステップ３２においてＮＯ）、音源定位処理がステップ３４で実行される。
【００５２】
音源定位処理は以下のように行なわれる。図２を参照して、マイクロホンアレイ群５２の各マイクロホンアレイは、各位置で、複数のマイクロホンにより音声をアナログ電気信号である電気信号に変換し、音源定位処理部６０に与える。
【００５３】
図３及び図４を参照して、音源定位処理部６０の音源定位部８４の各々において、以下の処理が実行される。特に図４を参照して、Ａ／Ｄ変換器１００が、対応のマイクロホンアレイから与えられる複数の音声信号を複数チャネルのデジタル音声信号に変換し、固有ベクトル算出部１０２のフレーム化処理部１２０に与える。フレーム化処理部１２０は、所定フレーム長及び所定シフト長でこれら複数チャネルのデジタル音声をフレーム化し、ＦＦＴ処理部１２２に与える。ＦＦＴ処理部１２２は、与えられる複数チャネルのデジタル音声信号の各々について、フレームごとにＦＦＴを施し、周波数領域に変換して相関行列算出部１２４に与える。相関行列算出部１２４は、ＦＦＴ処理部１２２の出力する各ビンの値の間の相関を要素とする相関行列を所定時間ごとに算出し固有値分解部１２６に与える。固有値分解部１２６は、この相関行列の最大固有値と、最大固有値以外の固有値に対応する固有ベクトルである雑音空間とを求め、出力１１２としてＭＵＳＩＣ空間スペクトル算出部１４０に与える。
【００５４】
ＭＵＳＩＣ空間スペクトル算出部１４０は、この音源定位部８４に対応するマイクロホンアレイ内のマイクロホンの位置を表す位置ベクトルを位置ベクトルＤＢ８０から受け、固有値分解部１２６から受けた固有ベクトル及び雑音空間を用い、ＭＵＳＩＣ法によりＭＵＳＩＣ空間スペクトルを算出し出力する。このとき、ＭＵＳＩＣ空間スペクトル算出部１４０は、音源数を固定したものとしてＭＵＳＩＣ空間スペクトルの算出を行なう。算出されたＭＵＳＩＣ空間スペクトルはＭＵＳＩＣ応答算出部１４２に与えられる。
【００５５】
ＭＵＳＩＣ応答算出部１４２は、与えられたＭＵＳＩＣ空間スペクトルに基づいて、ＭＵＳＩＣ法にしたがいＭＵＳＩＣ応答を位置ベクトルに応じた各方位について算出しピーク検出部１０６に出力する。
【００５６】
ピーク検出部１０６は、ＭＵＳＩＣ応答算出部１４２から出力される各方位についてのＭＵＳＩＣ応答の値としきい値とを比較し、ＭＵＳＩＣ応答のピーク位置の候補を音源位置として定め、その方向を示す情報を詳細探索部１１０（図３）に与える。
【００５７】
図３を参照して、相対位置ベクトル生成部１０８は、位置ベクトルＤＢ８０に記憶された各位置ベクトルと、アレイ位置ＤＢ８２に記憶されたマイクロホンアレイ群５２内のマイクロホンアレイの位置とに基づき、各マイクロホンアレイに対する相対位置ベクトルを算出し、詳細探索部１１０に与える。詳細探索部１１０は、人位置計測装置５８（図２）から与えられる人位置及びＩＤと、相対位置ベクトル生成部１０８から与えられる各相対位置ベクトルとを用い、音源定位部８４からそれぞれ出力される音源方位情報に基づき、マイクロホンアレイの位置を起点とし、音源位置を通る半直線の交点位置を中心とした所定の範囲内においてさらに詳細にＭＵＳＩＣ応答の値が高い位置を探索し、その位置を示す信号を音源分離処理部７０に対して出力する。以上が、図１のステップ３４の処理に相当する。
【００５８】
図５を参照して、音源分離処理部７０の複数の適応ビームフォーマ１６０，…，１６２，…，１６４はそれぞれ、対応する詳細探索部１１０から出力される音源の方向及び位置の情報を用い、マイクロホンアレイの出力する音声信号からその音源の音声信号を分離し、音源種類同定処理部７２に与える。
【００５９】
図６を参照して、音源種類同定処理部７２の音源属性判定部１９０，…，１９２，…，１９４はそれぞれ、人位置計測装置５８から与えられる人の位置及びＩＤを示す情報と、と、音源定位処理部６０から与えられる音源の方向及び位置を示す情報とに基づき、音源の属性を以下のように判定してその結果を出力する。
【００６０】
図７を参照して、例えば音源属性判定部１９０の比較部２１０は、人の位置と音源の方向及び位置とを比較し、両者が一致していれば複数の個人別ＧＭＭ１８０と複数の雑音ＧＭＭ１８２を、さもなければ複数の雑音ＧＭＭ１８２のみを、それぞれ選択して音源属性推定部２１６に与える。一方、特徴抽出部２１４は、処理対象となる音源からの音声信号から所定の特徴量を抽出し、フレームごとの特徴量ベクトルの系列を音源属性推定部２１６に与える。
【００６１】
音源属性推定部２１６は、選択部２１２により選択された、複数の雑音ＧＭＭ１８２のみ、又は複数の個人別ＧＭＭ１８０及び雑音ＧＭＭ１８２を用い、特徴抽出部２１４からの特徴量ベクトルの系列が各個人又は各雑音源によるものから生じた尤度を算出し、上位の所定個数からなる候補リストである候補リスト２４０を作成して出力する。検出ＩＤ・尤度リスト２３０は図８（Ａ）に示す候補リスト２４０と同様の構成を持ち、その音源を発生した個人又は雑音源の候補を尤度順に並べたもので、各エントリは個人又は雑音源の識別子（ＣＩＤ）とその尤度とを含む。音源属性推定部２１６は、フレームシフト時間に対応した間隔でこの検出ＩＤ・尤度リスト２３０を出力する。以上が、図１のステップ３６の処理に相当する。
【００６２】
図１を参照して、ステップ３８のトラッキング処理は以下のように行なわれる。ここでは、既に音源属性推定部２１６により出力された各音源の尤度リストの履歴が保存されており、対話データベースにもそれに対応した音声データが蓄積されているものとする。
【００６３】
図９を参照して、この音源分離及び音種類判定装置は、音源属性推定部２１６から検出ＩＤ・尤度リスト２３０が出力されると、ステップ２５０において、既に記憶されていた履歴の末尾のリストを履歴リスト２４２にコピーする。続くステップ２５２において、音源属性推定部２１６が出力した検出ＩＤ・尤度リスト２３０を候補リスト２４０にコピーする。
【００６４】
続くステップ２５４では、図１０に制御構造を示すＩＤ交換チェックルーチンを呼出す。
【００６５】
図１０を参照して、ＩＤ交換チェックルーチンは以下のように実行される。ここでは、２つの場合について順に説明する。説明を分かりやすくするため、音源属性推定部２１６が出力する検出ＩＤ・尤度リスト２３０の要素数は３であるものとする。最初に、検出ＩＤ・尤度リスト２３０の先頭の候補の識別子が、履歴の末尾のリストの先頭の候補の識別子と同一である場合を説明する。次に、検出ＩＤ・尤度リスト２３０の１番目と２番目の候補の識別子が、履歴の末尾のリストの１番目と２番目の候補の識別子を入替えたものである場合を説明する。
【００６６】
〈新旧の第１及び第２の候補が同一の場合〉
最初にステップ２８０で候補リスト２４０の要素数（候補のエントリ数）が１か否かが判定される。判定結果が肯定であれば制御はステップ３０６に進み、候補リスト２４０が履歴リスト２４２にコピーされ、呼出元ルーチンに復帰する。ここでは、検出ＩＤ・尤度リスト２３０の要素数が３である場合を想定しているのでステップ２８０の判定は否定となり、ステップ２８２に制御が進む。
【００６７】
ステップ２８２では、候補リスト２４０の１番目の候補の識別子ＣＩＤ１が履歴リスト２４２の１番目の候補の識別子ＨＩＤ１と等しいか否かが判定される。判定結果が否定であれば制御はステップ２８４に進む。ここでは、仮定から判定結果が肯定となるので、制御はステップ３０６に進み、候補リスト２４０が履歴リスト２４２にコピーされ、制御は呼出元ルーチンに復帰する。
【００６８】
図９を参照して、ステップ２５６で、履歴リスト２４２の空白部に、候補リスト２４０の対応要素がコピーされる。ここでは、既に候補リスト２４０が履歴リスト２４２にコピーされているのでステップ２５６では何も処理されない。
【００６９】
続くステップ２５８では、ステップ２５４及びステップ２５６の結果得られた履歴リスト２４２が、履歴の末尾に追加される。ステップ２６０では、対話データベースに、このときの音声データを履歴リスト２４２の先頭の識別子とともに記録し、次の処理（図１のステップ３２）に制御が戻る。
【００７０】
〈新旧の第１及び第２の候補が入れ替わった場合〉
図１０を参照して、ステップ２８０の判定結果はＮＯとなる。続くステップ２８２の判定結果もＮＯとなる。制御はステップ２８４に進み、ＣＩＤ１とＣＩＤ２との尤度を前述の式にしたがって再計算し、その結果、ＮＰｒｏｂ１とＮＰｒｏｂ２とが得られる。
【００７１】
ステップ２８６ではＮＰｒｏｂ１がＮＰｒｏｂ２より大きいか否かが判定される。判定が肯定の場合には制御はステップ２８８に進み、さもなければ制御はステップ２９２に進む。ステップ２９２ではさらにＮＰｒｏｂ２が履歴リスト２４２の２番目の尤度ＨＰｒｏｂ２より大きいか否かが判定され、その結果にしたがって制御の流れが分岐する。
【００７２】
以下、３つの場合に分けて動作を説明する。
【００７３】
（１）ステップ２８６の判定が肯定
この場合、ステップ２８８の処理により、新たな候補リスト２４０の１番目の候補の識別子ＣＩＤ１が履歴リスト２４２の１番目の候補の識別子ＨＩＤ１に代入され、候補リスト２４０の１番目の候補の尤度ＮＰｒｏｂ１が履歴リスト２４２の１番目の候補の尤度ＨＰｒｏｂ１に代入される。さらに、ステップ２９２の処理により、新たな候補リスト２４０の２番目の候補の識別子ＣＩＤ２が履歴リスト２４２の２番目の候補の識別子ＨＩＤ２に代入され、候補リスト２４０の２番目の候補の尤度ＮＰｒｏｂ２が履歴リスト２４２の２番目の候補の尤度ＨＰｒｏｂ２に代入される。すなわち、履歴リスト２４２の１、２番目の候補に代えて、候補リスト２４０の１番目及び２番目の候補が履歴リスト２４２の１番目及び２番目にそれぞれ代入される。この後、図９のステップ２５６に制御が戻る。
【００７４】
ここでは履歴リスト２４２の３番目には前回の３番目の候補の情報が入っている。したがってステップ２５６では何も処理されない。続くステップ２５８で、履歴リスト２４２が履歴の末尾に追加され、ステップ２６０で対話データベースにデータが追加される。要するにこの（１）の場合、１番目と２番目の候補は前回と同様であり、入れ替わらない。
【００７５】
（２）ステップ２８６の判定が肯定、ステップ２９２の判定が肯定
この場合には、ステップ２９４で、新たな候補リスト２４０の２番目の候補の識別子ＣＩＤ２が履歴リスト２４２の１番目の候補の識別子ＨＩＤ１に代入され、候補リスト２４０の２番目の候補の尤度ＮＰｒｏｂ２が履歴リスト２４２の１番目の候補の尤度ＨＰｒｏｂ１に代入される。さらに、ステップ２９６で、新たな候補リスト２４０の１番目の候補の識別子ＣＩＤ１が履歴リスト２４２の２番目の候補の識別子ＨＩＤ２に代入され、候補リスト２４０の１番目の候補の尤度ＮＰｒｏｂ１が履歴リスト２４２の２番目の候補の尤度ＨＰｒｏｂ２に代入される。要するに、直前の１番目及び２番目の候補が入れ替わることになる。
【００７６】
ステップ２９８では、さらに、候補リスト２４０及び履歴リスト２４２からそれぞれ先頭の要素を除いたものを引数にして自分自身を呼出す。この処理については後述する。ここでは、ステップ２９８の処理の結果、新たな引数となった候補リスト２４０及び履歴リスト２４２を用い、尤度の再計算の結果、１番目の候補と２番目の候補を入替える必要があった場合にはそのように変更された履歴リスト２４２が戻り値として戻され、そのような入れ替えが必要でないときには、候補の入替がない形の履歴リスト２４２が戻り値として戻されることを指摘しておく。ただし、尤度についてはステップ２８４の結果により修正されている可能性がある。
【００７７】
ステップ２９８の処理後、ステップ３００において、ステップ２９８で戻り値として得られた履歴リスト２４２の先頭に、ステップ２９８において取り除いておいた先頭の候補のエントリを付加し手新たな履歴リスト２４２を生成する。この履歴リスト２４２を戻り値としてこのルーチンの実行を終了し、呼出元ルーチン（図９のステップ２５６）に戻る。
【００７８】
以下の処理は上記（１）の場合と同様である。
【００７９】
（３）ステップ２８６の判定が肯定、ステップ２９２の判定が否定
この場合には上記（１）と同じ処理が実行される。
【００８０】
〈再帰的処理〉
図１０のステップ２９８で、再帰的な呼出がおこなわれた場合のこのプログラムによる処理について説明する。説明を分かりやすくするため、図９のルーチンを「主ルーチン」、主ルーチンから呼出された図１０のルーチンを「子ルーチン」、子ルーチンから呼出された図１０のルーチンを「孫ルーチン」、孫ルーチンから呼出された図１０のルーチンを「ひ孫ルーチン」と呼ぶことにする。上記説明にしたがえば、孫ルーチンでは、新たな候補リスト２４０及び履歴リスト２４２の要素数は、いずれも２となっている。説明を分かりやすくするため、引数として渡される候補リスト２４０及び履歴リスト２４２の各エントリの識別子及び尤度については、親ルーチンのときと同じ呼び方で示すものとする。
【００８１】
この例では、ステップ２８０の判定結果は否定となる。以後は子ルーチンの実行時と同様の処理が、引数として渡された、要素数２の候補リスト２４０及び履歴リスト２４２に対して実行され、処理により得られた新たな履歴リスト２４２（要素数は２）を戻り値としてこのルーチンの実行を終了し制御は子ルーチンに戻る。ただし、図１０のステップ２９８での処理が問題となる。すなわちこのステップの処理が行なわれる場合、孫ルーチンで再度、このルーチンの呼出しが行なわれる。ただし、孫ルーチンにおいて引数としてこのルーチンに渡される候補リスト２４０及び履歴リスト２４２は、いずれも先頭の要素を除いたリストとなるので、それらの要素数はいずれも１となる。
【００８２】
したがって、ひ孫ルーチンでは、ステップ２８０の判定結果が肯定となり、その要素のみを持つ履歴リスト２４２が戻り値として孫ルーチンに戻される。
【００８３】
したがって、孫ルーチンのステップ２９８の戻り値は、引数として孫ルーチンがひ孫ルーチンに渡した履歴リスト２４２そのものとなる。ステップ３００ではこのリストの先頭に、ステップ２９８で取り除いた候補のエントリを付加して子ルーチンに戻り値として戻す。その結果、子ルーチンのステップ２９８では、要素数が２の履歴リスト２４２が戻り値として得られ、子ルーチンのステップ２９８で取り除いておいた要素が、履歴リスト２４２の先頭に付加され、３個のエントリを持つ履歴リスト２４２が主ルーチンに戻り値として返される。
【００８４】
以上の処理により、図９のステップ２５４の結果、候補の交代の可能性を、各候補の尤度を再計算した結果に基づいて調整した履歴リスト２４２が得られることになる。
【００８５】
なお、ここでは説明を分かりやすくするためにもとの履歴リスト２４２のエントリ数が３であることを前提に説明した。しかし、エントリ数が４以上である場合にも、再帰的な処理により同様の結果が得られる。
【００８６】
［コンピュータによる実現］
この実施の形態に係る音源分離及び音種類判定装置は、コンピュータハードウェアと、そのコンピュータハードウェアにより実行されるプログラムと、コンピュータハードウェアに格納されるデータとにより実現される。図１１はこのコンピュータシステム５３０の外観を示し、図１２はコンピュータシステム５３０の内部構成を示す。
【００８７】
図１１を参照して、このコンピュータシステム５３０は、メモリポート５５２及びＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）ドライブ５５０を有するコンピュータ５４０と、キーボード５４６と、マウス５４８と、モニタ５４２とを含む。
【００８８】
図１２を参照して、コンピュータ５４０は、メモリポート５５２及びＤＶＤドライブ５５０に加えて、ＣＰＵ（中央処理装置）５５６と、ＣＰＵ５５６、メモリポート５５２及びＤＶＤドライブ５５０に接続されたバス５６６と、ブートアッププログラム等を記憶する読出専用メモリ（ＲＯＭ）５５８と、バス５６６に接続され、プログラム命令、システムプログラム、及び作業データ等を記憶するランダムアクセスメモリ（ＲＡＭ）５６０とを含む。コンピュータ５４０はさらに、ローカルエリアネットワーク（ＬＡＮ）への接続をコンピュータ５４０に提供するネットワークインタフェイスカード（ＮＩＣ）５７４と、マイクロホンアレイからの入力を受けてデジタル音声信号に変換する、Ａ／Ｄ変換機能を持つサウンドボード５６８とを含む。図２に示す同期用タイムサーバ５４及び人位置計測装置５８との通信については、ＣＰＵ５５６は、バス５６６及びＮＩＣ５７４を用いたネットワーク通信により行なう。
【００８９】
コンピュータシステム５３０に音源分離及び音種類判定装置としての動作を行なわせるためのコンピュータプログラムは、ＤＶＤドライブ５５０又はメモリポート５５２に挿入されるＤＶＤ５６２又は半導体メモリ５６４に記憶され、さらにハードディスク５５４に転送される。又は、プログラムは図示しないネットワークを通じてコンピュータ５４０に送信されハードディスク５５４に記憶されてもよい。プログラムは実行の際にＲＡＭ５６０にロードされる。ＤＶＤ５６２から、半導体メモリ５６４から、又はネットワークを介して、直接にＲＡＭ５６０にプログラムをロードしてもよい。
【００９０】
このプログラムは、コンピュータ５４０にこの実施の形態の音源分離及び音種類判定装置として動作を行なわせる複数の命令を含む。この動作を行なわせるのに必要な基本的機能のいくつかはコンピュータ５４０上で動作するオペレーティングシステム（ＯＳ）もしくはサードパーティのプログラム、又はコンピュータ５４０にインストールされる各種ツールキットのモジュールにより提供される。従って、このプログラムはこの実施の形態のシステム及び方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能又は「ツール」を呼出すことにより、上記した音源分離及び音種類判定装置としての動作を実行する命令のみを含んでいればよい。コンピュータシステム５３０の動作は周知であるので、ここでは繰返さない。
【００９１】
以上のように本実施の形態によれば、マイクロホンアレイからの音声だけではなく、ＬＲＦにより検出された人位置に関する情報も、音源定位及び音源の属性推定に使用する。音声だけの場合と比較して、音源定位の精度を高くすることができ、そのときの処理量の増加を抑えることもできる。音源の属性推定の場合にも、人がいる可能性のある場合のみ、個人別ＧＭＭを用いるため、計算量の増加を抑制しながら音源の属性を精度よく行なうことができる。
【００９２】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。
【符号の説明】
【００９３】
５０  音源定位装置
５２  マイクロホンアレイ群
５４  同期用タイムサーバ
５６  ＬＲＦ群
５８  人位置計測装置
６０  音源定位処理部
７０  音源分離処理部
７２  音源種類同定処理部
８０  位置ベクトルＤＢ
８２  アレイ位置ＤＢ
８４，８６，８８  音源定位部
１０２  固有ベクトル算出部
１０４  ＭＵＳＩＣ処理部
１０６  ピーク検出部
１０８  相対位置ベクトル生成部
１１０  詳細探索部
１６０，１６２，１６４  適応ビームフォーマ
１８０  個人別ＧＭＭ
１８２  雑音ＧＭＭ
１９０，１９２，１９４  音源属性判定部
２１０  比較部
２１２  選択部
２１４  特徴抽出部
２１６  音源属性推定部
２３０  検出ＩＤ・尤度リスト
２４０  候補リスト
２４２  履歴リスト
【図１】
0005724125.tif 000003
【図２】
0005724125.tif 000004
【図３】
0005724125.tif 000005
【図４】
0005724125.tif 000006
【図５】
0005724125.tif 000007
【図６】
0005724125.tif 000008
【図７】
0005724125.tif 000009
【図８】
0005724125.tif 000010
【図９】
0005724125.tif 000011
【図１０】
0005724125.tif 000012
【図１１】
0005724125.tif 000013
【図１２】
0005724125.tif 000014