(57)【要約】【課題】ＭＵＳＩＣ法を使用して安定的に音源定位を行なうことができる音源定位装置を提供する。【解決手段】音源定位装置は、複数チャンネルの音源信号の各々を、２００ｍｓごとにＦＦＴ変換し、周波数帯域ごとに空間相関行列を算出して固有値分解し、複数個の周波数帯域の各々について固有ベクトル及び固有値を算出する固有ベクトル算出部と、この固有値に基づき、第１及び第２の周波数範囲についての固有値プロファイルを算出する第１及び第２の平均値算出部１２０及び１２２と、これら固有値プロファイルの組をパラメータとして音源数をｋ分類法により推定するＫＮＮ分類器１２４と、ＫＮＮ分類器１２４により推定された音源数と、マイクロホン素子の配置に関する情報と、固有ベクトルとに基づいて、ＭＵＳＩＣ法により音源数と等しい数の音源方位を推定する音源推定部とを含む【選択図】        図４
2010121975.tif 000002
【特許請求の範囲】
【請求項１】
マイクロホンアレイの出力から得られる複数チャンネルの音源信号の各々を、所定の時間間隔ごとに複数個の周波数帯域の周波数成分に変換するための変換手段と、
前記変換手段により得られた前記複数チャンネルの音源信号の前記複数個の周波数帯域の各々について、前記所定の時間間隔ごとに周波数成分間の空間相関行列を求めるための相関行列算出手段と、
前記相関行列算出手段により前記所定時間間隔ごとに、かつ前記複数個の周波数帯域の各々について算出される空間相関行列の各々を固有値分解し、前記複数個の周波数帯域の各々について固有ベクトル及び固有値を算出するための固有ベクトル算出手段と、
前記固有ベクトル算出手段により前記所定時間間隔ごとに、かつ前記複数個の周波数帯域の各々について算出される固有値に基づき、第１及び第２の周波数範囲についての固有値プロファイルを算出するための固有値プロファイル算出手段とを含み、前記第１及び第２の周波数範囲の各々は、前記複数個の周波数帯域のうちの１又は複数個の周波数帯域を含み、
さらに、
前記固有値プロファイル算出手段により前記第１及び第２の周波数範囲について算出された固有値プロファイルの組をパラメータとして、前記所定の時間間隔ごとに音源数を推定するための音源数推定手段と、
前記音源数推定手段により推定された音源数と、前記マイクロホンアレイに属するマイクロホン素子の配置に関する情報と、前記所定の時間間隔ごとに前記固有ベクトル算出手段により算出された固有ベクトルとに基づいて、ＭＵＳＩＣ法により前記音源数と等しい数の音源方位を推定するための音源推定手段とを含む、音源定位装置。
【請求項２】
前記第１の周波数範囲と前記第２の周波数範囲とは互いに連続している、請求項１に記載の音源定位装置。
【請求項３】
前記第１の周波数範囲と前記第２の周波数範囲とは互いに重複していない、請求項１又は請求項２に記載の音源定位装置。
【請求項４】
前記第１及び第２の周波数範囲の下限は１ｋＨｚであり、上限は６ｋＨｚである、請求項３に記載の音源定位装置。
【請求項５】
前記固有値プロファイル算出手段は、
前記固有ベクトル算出手段により前記所定時間間隔ごとに、かつ前記第１の周波数範囲に属する周波数帯域について算出される固有値を、固有値番号ごとに平均するための第１の固有値平均手段と、
前記固有ベクトル算出手段により前記所定時間間隔ごとに、かつ前記第２の周波数範囲に属する周波数帯域について算出される固有値を、固有値番号ごとに平均するための第２の固有値平均手段と、
前記第１および第２の固有値平均手段により固有値番号ごとに算出された固有値の平均により、前記固有値プロファイルを作成し出力するための手段とを含む、請求項１〜請求項４のいずれかに記載の音源定位装置。
【請求項６】
前記第１の周波数範囲と前記第２の周波数範囲との境界は、２．５ｋＨｚ以上４ｋＨｚ以下の範囲内にある、請求項５に記載の音源定位装置。
【請求項７】
前記音源数推定手段は、前記固有値プロファイルの組をパラメータとして正しい音源数を推定するように予め学習済の非線形推定手段を含む、請求項１〜請求項６のいずれかに記載の音源定位装置。
【請求項８】
前記非線形推定手段は、
前記固有値プロファイルの組をパラメータとして、各々が固有値プロファイルの組と対応する音源数との組合せからなる複数個の学習データを記憶するための学習データ記憶手段と、
前記固有値プロファイル算出手段により算出された固有値プロファイルの組をパラメータとして、前記学習データ記憶手段に記憶された前記学習データを用いたｋ近傍法によって音源数を推定するための手段とを含む、請求項７に記載の音源定位装置。
【請求項９】
前記ｋ近傍法によって音源数を推定するための手段で使用される近傍の学習データ数は６である、請求項８に記載の音源定位装置。
【請求項１０】
前記音源推定手段により前記所定の時間間隔ごとに推定された音源方位を時間軸上でトラッキングするための音源トラッキング手段をさらに含む、請求項１〜請求項９のいずれかに記載の音源定位装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は実環境における音源定位技術に関し、特に、実環境におけるＭＵＳＩＣ（ＭＵｌｔｉＰｌｅ  ＳＩｇｎａｌ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）法を用いた音源定位の技術に関する。
【背景技術】
【０００２】
人とロボットとの音声コミュニケーションにおいて、ロボットに取付けたマイクロホンは通常離れた位置（１ｍ以上）にあり、例えば電話音声のようにマイクと口との距離が数センチの場合と比べて、信号と雑音の比（ＳＮＲ）は低くなる。このため、傍にいる他人の声や環境の雑音が妨害音となり、ロボットによる目的音声の認識が難しくなる。従って、ロボットへの応用として、音源定位や音源分離は重要である。
【０００３】
音源定位に関しては過去にさまざまな研究がされている。しかし、その大半ではシミュレーション・データ又はラボ・データのみが使用され、ロボットが動作する実環境のデータを評価するものは少ない。３次元の音源定位を評価する研究も少ない。発話相手の顔を見ながら話したり聞いたりすることも人間とロボットの対話インタラクションを改善するための重要なビヘービアであり、そのためには３次元の音源定位も重要となる。
【０００４】
実環境を想定した従来技術として特許文献１に記載のものがある。特許文献１に記載の技術は、分解能が高いＭＵＳＩＣ法と呼ばれる有名な音源定位の手法を用いている。
【０００５】
特許文献１に記載の発明では、マイクロホンアレイを用い、マイクロホンアレイからの信号をフーリエ変換し、その結果得られた受信信号ベクトルと、過去の相関行列とに基づいて現在の相関行列を計算する。このようにして求められた相関行列を固有値分解し、最大固有値と、最大固有値以外の固有値に対応する固有ベクトルである雑音空間とを求める。さらに、マイクロホンアレイのうちの１つのマイクロホンを基準として、各マイクの出力の位相差と、雑音空間と、最大固有値とに基づいて、ＭＵＳＩＣ法により音源の方向を推定する。
【特許文献１】特開2008-175733号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ＭＵＳＩＣ法は分解能が高いという特長があるが、ＭＵＳＩＣ法を使用する場合には音源の数を与えなければならないという問題がある。特許文献１に記載の技術では、音源は一つであることが想定されているため、こうした問題は生じない。しかし、実際にロボットが稼動する環境としてはそのような環境であることはまれで、常に複数の音源が存在しており、しかもその数は一定していない。ＭＵＳＩＣ法を用いる場合、音源の数の予測を誤ると音源定位も誤ってしまい、ロボットが人間と正しくインタラクションをすることが困難となってしまう。
【０００７】
さらに特許文献１に記載の技術では、音源定位は２次元的に行なわれている。しかし、実際のロボットの稼働環境は２次元ではなく、３次元的である。例えば、商店街などでは比較的高い位置にスピーカが置かれており、そのスピーカから常に音声が流されていることが多い。また、スピーカの位置は一定であるが、音量が変化することもある。そうした環境では音源を３次元的に定位することが好ましいが、特許文献１に記載の技術では２次元的にしか行なえないという問題がある。
【０００８】
特に人間を相手にするロボットの場合、人間の身長はさまざまで、大人の場合にはロボットより高い位置で話し、子供の場合には逆にロボットより低い位置で話すことが多い。そうした点からも、３次元的な音源定位をすることが望まれる。
【０００９】
さらに、人間は頻繁に移動するため、音源を実時間で安定してトラッキングすることも必要である。
【００１０】
それゆえに本発明の目的は、ＭＵＳＩＣ法を使用して安定的に音源定位を行なうことができる音源定位装置を提供することである。
【００１１】
本発明の他の目的は、ＭＵＳＩＣ法を使用して安定的に音源定位を行なうために、音源数を精度高く推定可能な音源定位装置を提供することである。
【００１２】
本発明のさらに他の目的は、ＭＵＳＩＣ法を使用して安定的に音源定位を行なうために、音源数を精度高く推定可能でかつ安定してトラッキングができる音源定位装置を提供することである。
【課題を解決するための手段】
【００１３】
本発明に係る音源定位装置は、マイクロホンアレイの出力から得られる複数チャンネルの音源信号の各々を、所定の時間間隔ごとに複数個の周波数帯域の周波数成分に変換するための変換手段と、変換手段により得られた複数チャンネルの音源信号の複数個の周波数帯域の各々について、所定の時間間隔ごとに周波数成分間の空間相関行列を求めるための相関行列算出手段と、相関行列算出手段により所定時間間隔ごとに、かつ複数個の周波数帯域の各々について算出される空間相関行列の各々を固有値分解し、複数個の周波数帯域の各々について固有ベクトル及び固有値を算出するための固有ベクトル算出手段と、固有ベクトル算出手段により所定時間間隔ごとに、かつ複数個の周波数帯域の各々について算出される固有値に基づき、第１及び第２の周波数範囲についての固有値プロファイルを算出するための固有値プロファイル算出手段とを含む。第１及び第２の周波数範囲の各々は、複数個の周波数帯域のうちの１又は複数個の周波数帯域を含む。音源定位装置はさらに、固有値プロファイル算出手段により第１及び第２の周波数範囲について算出された固有値プロファイルの組をパラメータとして、所定の時間間隔ごとに音源数を推定するための音源数推定手段と、音源数推定手段により推定された音源数と、マイクロホンアレイに属するマイクロホン素子の配置に関する情報と、所定の時間間隔ごとに固有ベクトル算出手段により算出された固有ベクトルとに基づいて、ＭＵＳＩＣ法により音源数と等しい数の音源方位を推定するための音源推定手段とを含む。
【００１４】
ＭＵＳＩＣ法で音源定位をする場合、音源数を推定する必要がある。上のように算出された相関行列の固有値と音源数との間に関係があることは知られているが、特に上のように２つの周波数範囲に属する周波数帯域の周波数成分についてそれぞれ別々に算出された固有値を用いた固有値プロファイルを使用して音源数を推定すると高い精度が得られることが実験により判明した。音源数を高い精度で推定可能となったことにより、ＭＵＳＩＣ法によって、安定して、かつ精度高く音源定位を行なうことが可能になる。
【００１５】
好ましくは、第１の周波数範囲と第２の周波数範囲とは互いに連続している。
【００１６】
より好ましくは、第１の周波数範囲と第２の周波数範囲とは互いに重複していない。
【００１７】
さらに好ましくは、第１及び第２の周波数範囲の下限は１ｋＨｚであり、上限は６ｋＨｚである。
【００１８】
固有値プロファイル算出手段は、固有ベクトル算出手段により所定時間間隔ごとに、かつ第１の周波数範囲に属する周波数帯域について算出される固有値を、固有値番号ごとに平均するための第１の固有値平均手段と、固有ベクトル算出手段により所定時間間隔ごとに、かつ第２の周波数範囲に属する周波数帯域について算出される固有値を、固有値番号ごとに平均するための第２の固有値平均手段と、第１および第２の固有値平均手段により固有値番号ごとに算出された固有値の平均により、固有値プロファイルを作成し出力するための手段とを含んでもよい。
【００１９】
実験によれば、固有値プロファイルを作成するにあたり、第１及び第２の周波数範囲の各々において、それら範囲に属する周波数帯域に対して算出された固有値を、固有値番号ごとに平均してそれを音源数の予測パラメータに用いると、音源数の予測精度が高くなることが判明した。したがってこのようにして固有値プロファイルを算出することにより、ＭＵＳＩＣ法によって、安定して、かつ精度高く音源定位を行なうことが可能になる。
【００２０】
好ましくは、第１の周波数範囲と第２の周波数範囲との境界は、２．５ｋＨｚ以上４ｋＨｚ以下の範囲内にあり、例えば３ｋＨｚ、又は４ｋＨｚである。
【００２１】
より好ましくは、音源数推定手段は、固有値プロファイルの組をパラメータとして正しい音源数を推定するように予め学習済の非線形推定手段を含む。
【００２２】
さらに好ましくは、非線形推定手段は、固有値プロファイルの組をパラメータとして、各々が固有値プロファイルの組と対応する音源数との組合せからなる複数個の学習データを記憶するための学習データ記憶手段と、固有値プロファイル算出手段により算出された固有値プロファイルの組をパラメータとして、学習データ記憶手段に記憶された学習データを用いたｋ近傍法によって音源数を推定するための手段とを含む。
【００２３】
ｋ近傍法は計算量も少なく、リソースに限りがあるロボットに実装する上で都合がよい。実験によってもよい結果が得られることが分かった。したがってｋ近傍法を用いて音源数を推定することで、ＭＵＳＩＣ法により、安定して、かつ精度高く音源定位を行なうことができる。
【００２４】
ｋ近傍法によって音源数を推定するための手段で使用される近傍の学習データ数は６でもよい。
【００２５】
実験によれば、ｋ近傍法では近傍としてｋ＝６を選択した場合が最も精度を高くすることができた。
【００２６】
より好ましくは、音源定位装置は、音源推定手段により所定の時間間隔ごとに推定された音源方位を時間軸上でトラッキングするための音源トラッキング手段をさらに含む。
【発明を実施するための最良の形態】
【００２７】
以下の本発明の実施の形態の説明において、同一の部品には同一の参照番号を付してある。それらの機能も同一である。したがってそれらについての詳細な説明は繰返さない。
【００２８】
［概要］
本実施の形態では、ロボットの頭部付近にマイクロホンアレイを配置し、これらマイクロホンアレイから得られた信号からリアルタイムで複数個の音源を定位し、それらのトラッキングを行なう。そのために、以下に説明する実施の形態の音源定位装置は、予め取得した学習データに基づき、音源信号から得られた情報を用いて音源数を推定する仕組みを用いる。推定された音源数を用いてＭＵＳＩＣ法（付録を参照。）により音源定位を行なうことにより、安定して精度高い音源定位を行なうことができる。
【００２９】
［構成］
図１に、マイクロホンアレイをロボット３０の胸部にフィットさせた状態を示す。具体的には、ロボット３０の首の周囲にマイクロホンをフィットさせるためのマイクロホン台３２を作成し、複数のマイクロホンＭＣ１等をこのマイクロホン台３２に固定した後にマイクロホン台３２をロボット３０の首の周りに固定してある。
【００３０】
図２に、マイクロホン台３２の正面図、平面図、及び右側面図を示す。図２を参照して、マイクロホンＭＣ１等は全部で１４個だけ使用される。それらのうち９個はマイクロホン台３２の前部に取付けられ、残りの５個はロボット３０の首を囲む形でマイクロホン台３２の上面に取付けられている。なお、１４個のマイクロホンのうち、中央にあるマイクロホンＭＣ１の出力については、後の処理で他と区別して使用する。本実施の形態では、、各マイクロホンは無指向性のものを用いている。
【００３１】
図３は、図１に示すロボットのうち、音源定位に関係する音源定位処理部５０のみを取り出してブロック図形式で示した図である。図３を参照して、音源定位処理部５０は、マイクロホンＭＣ１等を含むマイクロホンアレイ５２から１４個のアナログ音源信号を受け、アナログ／デジタル変換を行なって１４個のデジタル音源信号を出力するＡ／Ｄ変換器５４と、Ａ／Ｄ変換器５４から出力される１４個のデジタル音源信号を受け、ＭＵＳＩＣ法で必要とされる相関行列とその固有値及び固有ベクトルを２００ミリ秒ごとに出力するための固有ベクトル算出部６０と、固有ベクトル算出部６０から２００ミリ秒ごとに出力される固有ベクトル及び固有値を使用し、ＭＵＳＩＣ法に基づいて複数個の音源位置を推定してその位置（方向）を表す値（本実施の形態では、３次元極座標の内の２つの偏角φ及びθとする。付録の「ＭＵＳＩＣ応答」を参照。）を逐次出力する音源推定部６２と、音源推定部６２の出力の時系列を蓄積し、時間的に連続して存在する音源をグルーピングし、孤立した音源を削除（フィルタリング）して時間的に変動する音源の方位を推定するためのグルーピング部６４と、グルーピング部６４が音源位置を表す情報を蓄積するために使用するバッファ６６とを含む。
【００３２】
本実施の形態では、Ａ／Ｄ変換器５４は、一般的な１６ｋＨｚ／１６ビットで各マイクロホンの出力をＡ／Ｄ変換する。
【００３３】
固有ベクトル算出部６０は、Ａ／Ｄ変換器５４の出力する１４個のデジタル音源信号を２５ミリ秒のフレーム長でフレーム化するためのフレーム化処理部８０と、フレーム化処理部８０の出力する１４チャンネルのフレーム化された音源信号に対してそれぞれＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を施し、所定個数の周波数領域（以下、各周波数領域を「ビン」と呼び、周波数領域の数を「ビン数」と呼ぶ。）に変換して出力するＦＦＴ処理部８２と、ＦＦＴ処理部８２から２５ミリ秒ごとに出力される各チャネルの各ビンの値を２００ミリ秒ごとにブロック化するためのブロック化処理部８４と、ブロック化処理部８４から出力される各ビンの値の間の相関を要素とする相関行列を所定時間ごと（２００ミリ秒ごと）に算出し出力する相関行列算出部８６と、相関行列算出部８６から出力される相関行列を固有値分解し、固有値９０と固有ベクトル９２とを音源推定部６２に出力する固有値分解部８８とを含む。なお本実施の形態では、音源信号の周波数成分のうち、空間的分解能が低い１ｋＨｚ以下の帯域と、空間的aliasingが起こり得る６ｋＨｚ以上の帯域を除外する。
【００３４】
音源推定部６２は、マイクロホンアレイ５２に含まれる各マイクロホンの位置を所定の座標系を用いて表す位置ベクトルを記憶するための位置ベクトル記憶部１００と、固有値分解部８８から与えられる固有値をパラメータとして、音源数を推定し推定音源数（これを「ＮＯＳ」と呼ぶ。）を出力するための音源数推定部１０２と、音源数推定部１０２から与えられるＮＯＳ，位置ベクトル記憶部１００に記憶されているマイクロホンの位置ベクトル、及び固有値分解部８８から出力される固有ベクトルを用いて、ＭＵＳＩＣ法においてＭＵＳＩＣ空間スペクトルと呼ばれる値を算出し出力するＭＵＳＩＣ空間スペクトル算出部１０４とを含む。ブロックごとに得られる相関行列の固有値が音源数に関連することは、例えばＦ．アサノら、「リアルタイム音源定位及び生成システムと自動音声認識におけるその応用」、Ｅｕｒｏｓｐｅｅｃｈ，２００１、アールボルグ、デンマーク、２００１、１０１３−１０１６頁（F.  Asano,  M.  Goto,  K.  Itou,  and  H.  Asoh,  “Real-time  sound  source  localization  and  separation  system  and  its  application  on  automatic  speech  recognition,”  in  Eurospeech  2001,  Aalborg,  Denmark,  2001,  pp.  1013-1016）にも記載されており、既に知られている事項である。
【００３５】
なお、本実施の形態では、各音源の２次元的な方位角だけでなく、仰角も推定する。そのために、ＭＵＳＩＣアルゴリズムの３次元版（付録を参照）を実装した。方位角と仰角とのセットを、これ以降、音源方位（ＤＯＡ）と呼ぶ。このアルゴリズムでは、音源までの距離は推定しない。音源方位のみを推定するようにすることで、処理時間を大幅に減少させることができる。
【００３６】
音源推定部６２はさらに、ＭＵＳＩＣ空間スペクトル算出部１０４により算出されたＭＵＳＩＣ空間スペクトルに基づいて、ＭＵＳＩＣ法にしたがいＭＵＳＩＣ応答と呼ばれる値を各方位ごとに算出し出力するためのＭＵＳＩＣ応答算出部１０６と、ＭＵＳＩＣ応答算出部１０６により算出されたＭＵＳＩＣ応答のピークを、音源数推定部１０２により推定された個数だけ、値の大きいものから順番に各ブロックごとに検出し、音源方位を示す情報としてその方位を出力するためのピーク検出部１０８とを含む。
【００３７】
図４は、図３に示す音源数推定部１０２のより詳細なブロック図である。図４を参照して、音源数推定部１０２は、固有値分解部８８からビンごとに与えられる固有値９０のうち、１−３ｋＨｚ（１ｋＨｚ以上、３ｋＨｚ以下）の周波数帯の各ビンから得られた固有値の平均値を固有値番号別に算出するための第１の平均値算出部１２０と、３−６ｋＨｚの周波数帯の各ビンから得られた固有値の平均値を固有値番号別に算出するための第２の平均値算出部１２２とを含む。音源数推定部１０２はさらに、第１の平均値算出部１２０から与えられる固有値の平均値の組と、第２の平均値算出部１２２から与えられる固有値の平均値の組とをパラメータとして、ＫＮＮ（ｋ−Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ：ｋ近傍法）分類によって音源数を推定しＮＯＳ１２８として出力するためのＫＮＮ分類器１２４と、ＫＮＮ分類器１２４がＮＯＳ推定の際に使用する学習データを記憶する学習データ記憶部１２６とを含む。
【００３８】
学習データ記憶部１２６には、後述するとおり、事前の学習データ作成時に得られた第１の平均値算出部１２０及び第２の平均値算出部１２２からの出力の値と、そのときの音源数とが組になったサンプル（学習データ）が、複数個記憶されている。推定時には、第１の平均値算出部１２０及び第２の平均値算出部１２２から与えられるパラメータ（２組の固有値）を入力ベクトルとして、ベクトル空間で入力ベクトルに最も近いｋ個の学習データが選ばれ、それらｋ個の学習データを音源数で分類し、最も多数の学習データが分類された音源数を推定音源数として出力する。本実施の形態ではｋ＝６である。
【００３９】
音源数推定部１０２は、図４に示すとおり、１ｋＨｚ−６ｋＨｚの周波数帯域を２つに分け、各々について固有値の平均値の組を算出してそれを予測のためのパラメータとしている。この理由については後述するが、要するに実験によればこのようにパラメータを設定した場合に最も音源方位の推定精度が高かったことによる。
【００４０】
ピーク検出部１０８では、局所的なピークを検出することでＤＯＡを求める。ただし、２つの音源の方位が近い場合には、局所的なピークが１つしか見出せないことがあり得る。例えば図１１（Ａ）に示すピーク２００のように、２つのピークがほぼ重なっている場合である。このようなときにも音源数だけのピークを検出できるようにするため、ピーク検出部１０８はピーク検出を以下のように行なう。
【００４１】
まず、最大の局所ピーク２００を検出する。この局所ピークが１つのピーク（ＤＯＡ）となる。次に、この局所ピーク部分のＭＵＳＩＣ応答からから２次元ガウシアン２０２（図１１（Ｂ）を参照。）を差引く。この２次元ガウシアンは、１つの音源が存在するときの標準偏差を持ち、かつ検出されたピークの振幅を持つものとする。この作業により、仮にこのピークに他のピークが重なっている場合には、重なっていて検出できなかったピーク２０４（図１１（Ｃ）を参照）のみがこの部分に残ることになる。この作業を音源の数（ＮＯＳ）だけ繰返す。
【００４２】
グルーピング部６４による音源方位のフィルタリング及びトラッキングは以下のようにして行なわれる。音源数が過大推定された場合、誤ったＤＯＡの挿入が起きる。本実施の形態に係る手法では、グルーピングによるフィルタリングのアルゴリズムを用いることで、孤立したＤＯＡを削除する。本アルゴリズムは、過去１０ブロック（２秒に相当）に検出されたＤＯＡより、現在のＤＯＡ候補をグループ化するか否かを判断する。具体的には、以下の条件にあてはまる場合、グループ化を行なう。
【００４３】
（１）前のＤＯＡは、現在のＤＯＡを先端とした「円錐」の内部にある。ここでの「円錐」は、「付録」に述べる３次元ＭＵＳＩＣ法で求める音源方位（θ、φ）及び時刻ｔを座標とする３次元座標空間内での円錐である。円錐の高さ方向を時間軸に平行にとる。本実施の形態では、円錐の底面は方位角が±３０度、仰角が±７度となるような形状に設定した。これらの値は、人は縦方向（仰角の変化）よりも、横方向（方位角の変化）に移動する確率が高いことに基づき、ヒューリステックに設定した。
【００４４】
（２）現在のＤＯＡと前のＤＯＡが属するグループの傾向線との距離がある閾値よりも小さい。ここで、「傾向線」とは、そのグループに属するＤＯＡ列に対する回帰線を現在の時点まで外挿して考えられる直線のことをいう。
【００４５】
１番目の条件により、ＤＯＡは音源方位（θ、φ）が近いグループにのみグループ化可能となり、２番目の条件により、方向性が異なるグループにはグループ化されないこととなる。実験によれば、こうした基準でＤＯＡをグループ化することにより、いずれの音源もうまくトラッキング出来ることが分かった。特に、２つの互いに異なる音源が、音源方位が重なるように近づき、互いに交差して遠ざかるような移動を行なった場合にも、音源方位を正しく検出することができた。
【００４６】
図５は、図４に示す学習データ記憶部１２６に予め記憶される学習データを事前に作成するための学習データ作成処理部１４０のブロック図である。本実施の形態では、この学習データ作成処理部１４０もロボット３０中に設けられているが、学習データ作成処理部１４０をロボット３０の外に設けて学習データを作成し、作成された学習データのみをロボット３０中に組み込むようにしてもよいことはいうまでもない。
【００４７】
図５を参照して、学習データ作成処理部１４０は、図３に示すものと同じマイクロホンアレイ５２及びＡ／Ｄ変換器５４と、Ａ／Ｄ変換器５４の出力するデジタル音源信号を受け、図３に示す固有ベクトル算出部６０と同様の処理で２００ミリ秒ごとに音源信号の各周波数帯域ごとに固有値を算出し出力するための固有値算出部１６０を含む。固有値算出部１６０は、図３に示すフレーム化処理部８０、ＦＦＴ処理部８２、ブロック化処理部８４、相関行列算出部８６及び固有値分解部８８とそれぞれ同様の処理を行なうフレーム化処理部１８０、ＦＦＴ処理部１８２、ブロック化処理部１８４、相関行列算出部１８６及び固有値分解部１８８を含む。ただし、固有値分解部１８８は固有値のみを出力する。
【００４８】
固有値算出部１６０はさらに、ＦＦＴ処理部１８２が２５ミリ秒ごとに出力するフレーム化された周波数成分の出力１９４を受け、音源信号の各チャンネル間でクロス・チャンネル・スペクトル・バイナリ・マスキング処理（この詳細については後述する。）を行なうための第１のバイナリ・マスキング処理部１６２と、第１のバイナリ・マスキング処理部１６２から出力されるクロス・チャンネル・スペクトル・バイナリ・マスキング処理がされた音源信号の各々について、さらに、中央のマイクロホンＭＣ１から得られた周波数成分（ＦＦＴ処理部１８２の出力１９２）との間でバイナリ・マスキング処理を行なうための第２のバイナリ・マスキング処理部１６４とを含む。
【００４９】
第１のバイナリ・マスキング処理部１６２が行なうクロス・チャンネル・バイナリ・マスキング処理とは以下のような処理をいう。２つのチャンネルの信号を周波数領域に変換し、変換後の２つの信号についてフレームごとに個々の周波数成分の値を比較する。値の大きな（強い）方の値は残し、小さな（弱い）方の値に０を割当てる。この後、双方の信号を時間領域に戻す。この処理は、マイクロホン間で相関のある音声を拾っている場合に、音源により近い方のマイクロホンからの信号のみを残すために行なわれる。この処理により、チャンネル間の音漏れを抑え、より信頼性の高いレファレンス信号が得られる。
【００５０】
第２のバイナリ・マスキング処理部１６４が行なうバイナリ・マスキング処理は以下のような処理をいう。任意の信号（これを処理対象の信号と呼ぶ。）をとり、その信号とマイクロホンＭＣ１から得られた信号とをともに周波数領域に変換する。この２つの信号についてフレームごとに個々の周波数成分の値を比較する。処理対象の信号の方の値が大きければ（強ければ）その値を残し、小さければその周波数成分の値に０を割当てる。この後、処理対象の信号を時間領域に戻す。この処理は、各音源信号から環境音を除外するための処理である。したがってここでは中央のマイクロホンＭＣ１からの周波数成分を基準として用いている。
【００５１】
学習データ作成処理部１４０はさらに、第２のバイナリ・マスキング処理部１６４から２５ミリ秒ごとのフレームについて出力される各チャンネルの音源信号について、２５ミリ秒ごとにパワーを算出するためのパワー算出部１６８と、パワー算出部１６８の算出する各チャンネルのパワーの値の時系列（パワー軌道）としきい値とを比較し、しきい値を上回った音源信号をアクティブであると判定し、アクティブである音源信号の数をそのフレームの音源数として出力するための音源数判定部１７２と、音源数判定部１７２が判定に用いるしきい値を予め記憶するためのしきい値記憶部１７０とを含む。音源数判定部１７２の出力する音源数を、図３に示す音源数推定部１０２が出力する音源数（ＮＯＳ）と区別するためにＰＮＯＳと呼ぶ。
【００５２】
学習データ作成処理部１４０はさらに、固有値分解部１８８から２００ミリ秒ごとに出力される固有値の組と、音源数判定部１７２から与えられるＰＮＯＳの値とを組として学習データ記憶部１２６に学習データとして格納させるための学習データ蓄積部１７４とを含む。なお、図５には図示していないが、学習データ蓄積部１７４は、固有値分解部１８８から与えられる固有値を、図４に示す音源数推定部１０２と同様に１−３ｋＨｚの帯域と、３ｋＨｚ−６ｋＨｚの帯域とで別々に平均して２組の固有値に変換してから学習データ記憶部１２６にそのときのＰＮＯＳの値と共に記憶させる。固有値分解部１８８からの固有値は２００ミリ秒ごとに得られ、ＰＮＯＳは２５ミリ秒ごとに得られるため、平均と四捨五入とによって２００ミリ秒ごとのブロックに変換する。
【００５３】
以下、図４の音源数推定部１０２において固有値を１−３ｋＨｚの帯域と３−６ｋＨｚの帯域とに分けてそれぞれ別々に平均する理由について説明する。
【００５４】
発明者は、固有値が、環境の変化によりどのように影響されるかを調べるため以下のような実験を行ない、ＰＮＯＳごとに固有値を整理した。ビンごとに固有値のセットが得られるが、ここでは、ブロックごとに１つの代表的な固有値のセットを求めるため、特定の周波数帯域で平均化した固有値をそのブロックの固有値プロファイルとして扱う。
【００５５】
図６−図８に、３つの異なった環境（ＯＦＣ、ＵＣＷ１、ＵＣＷ２）において、ＰＮＯＳ毎に整理したブロック毎の固有値のプロファイルを表示する。これら環境は実験のための音声を収録した環境であり、具体的には以下のとおりである。
【００５６】
すなわち、マイクロホンアレイによるデータ収録を２つの異なった環境で行なった。一つ目はオフィス環境（ＯＦＣ）で、室内のエアコンとロボットの内部雑音が主な雑音源となる。二つ目の環境は、現在ロボビーの実証実験が行なわれている野外のショッピングモールの通路（ＵＣＷ）である。ＵＣＷでの主な雑音源は、天井に設置されているスピーカから流れてくるポップ・ロックミュージックとなる。通路内のさまざまな位置およびさまざまな向きで収録を行なった。
【００５７】
ここでは、その中の４つ収録の結果を示す。１つ目はオフィス環境（ＯＦＣ）で、残りの３つはショッピングモールの環境（ＵＣＷ１−３）である。テーブル１にそれぞれの収録での音源に関する詳細を示す。
【００５８】
【表１】
2010121975.tif 000003
図６−図８を参照すると、音源数（ＮＯＳ）が、固有値プロファイルの全般的なオフセット及び形状に関連していることが観察される。理想的な固有値プロファイルの形状としては、指向的な音源の数Ｎに対応する最初のＮ個の固有値が強いパワーを示し、無指向的な音源に対応する残りのＭ−Ｎ個の固有値が小さいパワーを示す。しかしながら、図６−図８に表示している実際の形状では、指向的音源の成分と無指向的音源の成分の境目が不明確であり、無指向成分もフラットではなく、緩やかな傾きを示している。
【００５９】
また、異なったＰＮＯＳ間でも固有値プロファイルが一部重複することも観察される。例えば、ＯＦＣ（図６）では、ＰＮＯＳ＝１とＰＮＯＳ＝２のプロファイルが大幅に重複していることが観察される。従って、分類器による厳密な音源数の推定は困難であることが予想される。
【００６０】
更には、環境の変化による、固有値プロファイルの形状への影響も強いことが観られる。幅にも傾きにも違いが観られる。例えば、ＯＦＣとＵＣＷ１のＰＮＯＳ＝０の固有値プロファイル（図６，図７のＮＯＳ＝０）を比較すると、その違いは明らかである。ＵＣＷ１では、背景の音楽があるため、ＯＦＣよりも値が大きく、ばらつきも大きくなっている。これは環境の変化を分類器に考慮する必要があることを示している。
【００６１】
また、環境音楽の音源に近づくことによる固有値プロファイルへの影響も観られる。ＵＣＷ２のＰＮＯＳ＝０のプロファイルの形状は、ＵＣＷ１のＰＮＯＳ＝１のものと類似している。これは、ロボットが環境音楽の音源に近づく場合は、環境音楽が新たな指向的音源となり、離れている場合は、無指向的音源となることが反映されている。環境音楽が指向的音源の場合、その方位を求めることが出来、後続処理となるターゲット音声の音源分離にも役立つ。
【００６２】
最後に、異なった周波数帯域で平均化した固有値のプロファイルを分析した。図６−図８の３列に、それぞれ１‐６ｋＨｚ（ＡＶＧ１＿６）、１−３ｋＨｚ（ＡＶＧ１＿３）および３−６ｋＨｚ（ＡＶＧ３＿６）の３つの異なった周波数帯域の周波数ビンで平均化した固有値のプロファイルを示す。ＮＯＳ＞０のプロファイルで図６−図８の３列を比較すると、ＡＶＧ３＿６（右の列）では、第１と第６の固有値の差がより大きいことが分かる。この結果より、ＡＶＧ３＿６の方が、帯域幅が広域であるＡＶＧ１＿６よりも高い識別性を持つと考えられる。しかし、／ｕ／及び／Ｏ／のように３ｋＨｚ以上の成分が弱い音声区間では、ＡＶＧ３＿６では検出されない恐れがある。これらの結果より、分割した周波数帯域から求められる固有値の２セットを分類器に用いるようにした。こうすることで、３ｋＨｚ以上の成分が弱い区間ではＡＶＧ１＿３によって比較的識別性を高くすることができ、３ｋＨｚ以上の成分が十分強い区間ではＡＶＧ３＿６によって十分な識別性を期待できる。
【００６３】
分類アルゴリズムとして、ｋＮＮ（ｋ−Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒｓ）アルゴリズムを選択した。ｋＮＮは計算量も少なく、非線形にも対応できるためである。ｋＮＮに限らず、非線形に対応できる機械学習方式、例えばＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）又はＮＮ（Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）などを用いることも可能である。
【００６４】
観測信号の相関行列から得られた固有値を分類アルゴリズムの入力パラメータとして用いる。さまざまな周波数帯域の周波数ビンを通して求めた固有値の平均値セット（ＡＶＧ）又は最大値セット（ＭＡＸ）を入力として、さまざまな分類器を学習・評価した。周波数帯域を２つに分割して得られた固有値の２セットも評価した。
【００６５】
ｋＮＮ分類器の性能を、さまざまなｋ（ｎｅａｒｅｓｔ  ｎｅｉｇｈｂｏｒｓの数）に対し、１０重クロス検証により評価した。図９に、さまざまな分類器において、推定したＮＯＳとレファレンスのＰＮＯＳがマッチした度合い（ＮＯＳ精度）を示す。図９は、最もＮＯＳ精度が高かったｋ＝６の場合の結果である。
【００６６】
図９より、まず固有値の最大値（ＭＡＸ）よりも、平均値（ＡＶＧ）の方が高い性能を示すことが分かる。最も性能が高かったのは、［１−３］（周波数大域１ｋＨｚ−３ｋＨｚ）と「３−６」（３ｋＨｚ−６ｋＨｚ）との平均を使用した場合である。また、［１−４］と［４−６］を使用した場合も、［１−３］及び「３−６」の組合せより低いものの、全体をまとめた［１−６］の場合と比較してよい値を示している。これは、周波数帯域を分割した固有値の２セットを使用することが効果的であることを示している。
【００６７】
図９からはさらに、［１−２］と［２-６］を用いた場合には［１−６］とほぼ同等の精度を示すこと、したがって周波数帯域を２つに分割したときに、［１−６］より精度が高くなる分割周波数位置が、２．５ｋＨｚ以上で４ｋＨｚ以下のあたりにあることが分かる。
【００６８】
音源方位（ＤＯＡ）の検出におけるＦＦＴのビン数（ＮＦＦＴ）の影響を調べた。図１０に、ＮＦＦＴのさまざまな値（３２，６４，１２８，２５６、５１２）に対する、ＤＯＡの性能を表示する。ＮＦＦＴ＝１２８が音源方位の推定において最も高い性能を示した。しかし、図１０からわかるように、より小さいＮＦＦＴでも著しい性能の劣化は観られない。より小さいＮＦＦＴを使うことで計算量は大幅に減少できる。したがって上記実施の形態では、ＮＦＦＴ＝６４を採用した。
【００６９】
［動作］
上記実施の形態に係る音源定位処理部５０は以下のように動作する。マイクロホンアレイが図１及び図２に示すようにマイクロホン台３２を用いてロボット３０に装着されるものとする。
【００７０】
最初に、学習データの作成時の学習データ作成処理部１４０は以下のように動作する。マイクロホンアレイ５２は音源からの音声を１４個のアナログ電気信号に変換し、Ａ／Ｄ変換器５４に与える。Ａ／Ｄ変換器５４は１６ｋＨｚでこれら信号を１６ビットのデジタル信号化し、１４個のデジタル信号をフレーム化処理部１８０に与える。
【００７１】
フレーム化処理部１８０は、２５ミリ秒のフレーム長でこれら各チャンネルのデジタル音源信号をフレーム化し、ＦＦＴ処理部１８２に与える。ＦＦＴ処理部１８２は、各チャンネルの各フレームのデジタル音源信号に対してＦＦＴを施し、各周波数成分の出力１９４に変換してブロック化処理部１８４及び第１のバイナリ・マスキング処理部１６２に与える。ＦＦＴ処理部１８２の出力１９４のうちマイクロホンＭＣ１からの音源信号から得られた出力１９２は第２のバイナリ・マスキング処理部１６４にも与えられる。
【００７２】
ブロック化処理部１８４は、ＦＦＴ処理部１８２から２５ミリ秒ごとに出力される信号を２００ミリ秒ごとにブロック化し、相関行列算出部１８６に与える。相関行列算出部１８６はこれら各ブロックについて、チャンネル毎の相関行列を算出し、固有値分解部１８８に与える。固有値分解部１８８は、相関行列算出部１８６により算出された相関行列に固有値分解を施し、学習データ蓄積部１７４に与える。
【００７３】
一方、第１のバイナリ・マスキング処理部１６２は、ＦＦＴ処理部１８２の出力１９４に対してクロス・チャンネル・スペクトル・バイナリ・マスキング処理を施して結果を第２のバイナリ・マスキング処理部１６４に与える。第２のバイナリ・マスキング処理部１６４は、第１のバイナリ・マスキング処理部１６２の出力する各チャンネルの周波数領域の値に対し、マイクロホンＭＣ１からの音源信号から得られたＦＦＴ後の周波数成分（ＦＦＴ処理部８２の出力１９２）を基準にバイナリ・マスキング処理を施し、各チャンネルの信号を時間領域に戻して出力する。
【００７４】
パワー算出部１６８は、第２のバイナリ・マスキング処理部１６４が出力する各チャンネルの音源信号について、２５ミリ秒ごとにパワーを算出して音源数判定部１７２に与える。音源数判定部１７２は、パワー算出部１６８から与えられる各チャンネルの音源信号のパワーのパワー軌跡を追跡し、しきい値記憶部１７０に記憶されたしきい値よりも大きなパワーをもったチャンネルがあればそのチャンネルの音源信号がアクティブであると判定し、ブロックごとに、そのブロックでアクティブな音源信号の数をＰＮＯＳとして学習データ蓄積部１７４に出力する。
【００７５】
学習データ蓄積部１７４は、固有値分解部１８８から与えられる固有値のうち、１−３ｋＨｚの固有値を固有値番号ごとにそれぞれ平均化して第１の固有値の組を算出する。学習データ蓄積部１７４はさらに、同様にして３−６ｋＨｚの固有値を固有値番号ごとにそれぞれ平均化して第２の固有値の組を算出する。学習データ蓄積部１７４は、これら２組の固有値をパラメータとして、ＰＮＯＳとともに１つの学習データ項目として学習データ記憶部１２６に記憶させる。
【００７６】
こうして学習データ記憶部１２６に学習データが記憶されると、この学習データ記憶部１２６を図４の音源数推定部１０２において使用することで音源定位処理部５０が動作可能となる。
【００７７】
ランタイムには、音源定位処理部５０は以下のように動作する。マイクロホンアレイ５２、Ａ／Ｄ変換器５４、フレーム化処理部８０、ＦＦＴ処理部８２、ブロック化処理部８４、相関行列算出部８６、及び固有値分解部８８は、学習データ作成時の学習データ作成処理部１４０のフレーム化処理部１８０、ＦＦＴ処理部１８２、ブロック化処理部１８４、相関行列算出部１８６、及び固有値分解部１８８と同様に動作する。ただし固有値分解部８８は、固有値だけでなく各固有値に対応する固有ベクトル９２も算出しＭＵＳＩＣ空間スペクトル算出部１０４に２００ミリ秒ごとに与える。固有値分解部８８が算出した固有値９０は音源数推定部１０２に与えられる。なお、位置ベクトル記憶部１００には予めマイクロホンアレイ５２のマイクロホンの配置に応じた位置ベクトルが記憶されているものとする。
【００７８】
音源数推定部１０２は以下のように動作する。第１の平均値算出部１２０は、２００ミリ秒ごとに与えられる固有値９０のうち、１−３ｋＨｚの領域の固有値を固有値番号ごとに平均し、第１の組の固有値としてＫＮＮ分類器１２４に与える。第２の平均値算出部１２２は、２００ミリ秒ごとに与えられる固有値９０のうち、３−６ｋＨｚの領域の固有値を固有値番号ごとに平均し、第２の組の固有値としてＫＮＮ分類器１２４に与える。
【００７９】
ＫＮＮ分類器１２４は、第１の平均値算出部１２０及びＫＮＮ分類器１２４から与えられる第１及び第２の組の固有値をパラメータとして、学習データ記憶部１２６に記憶された学習データに基づき、ＫＮＮ分類によってＮＯＳ１２８を推定し、ＭＵＳＩＣ空間スペクトル算出部１０４に与える。
【００８０】
ＭＵＳＩＣ空間スペクトル算出部１０４以下の処理は通常のＭＵＳＩＣ法の処理を３次元化したものである。まずＭＵＳＩＣ空間スペクトル算出部１０４は、位置ベクトル記憶部１００に記憶された位置ベクトルと、音源数推定部１０２から与えられたＮＯＳとに基づいてＭＵＳＩＣ空間スペクトルを２００ミリ秒ごとに算出しＭＵＳＩＣ応答算出部１０６に与える。ＭＵＳＩＣ応答算出部１０６はＭＵＳＩＣ空間スペクトルに基づき、２００ミリ秒ごとにＭＵＳＩＣ応答を算出しピーク検出部１０８に与える。ピーク検出部１０８はこのＭＵＳＩＣ応答の中を探索し、音源数推定部１０２から与えられるＮＯＳと同じ個数だけのピークを大きい方から検出し、グルーピング部６４に与える。グルーピング部６４には、２００ミリ秒ごとにＮＯＳと同じ個数の音源方位が与えられる。
【００８１】
グルーピング部６４は、最初の１０ブロック分については、各ブロックで算出された音源方位をバッファ６６に記憶する。グルーピング部６４は同時に、ブロック間で同じ音源と思われるものをグループ化する処理を実行する。グループ化の手法については既に説明したとおりである。１１ブロック以降は、グルーピング部６４は、先入先出方式で各ブロックでの音源方位をバッファ６６に記憶するとともに、１０ブロック分の時間が経過しても他の音源方位とグループ化されなかった音源方位を削除する。こうして、２ブロック以上継続したグループが存在する場合には、グルーピング部６４はそれらグループが１つの音源を表すものとして、ブロックごとにその音源方位を出力する。
【００８２】
以上のような動作によって、音源定位処理部５０は継続的に複数個の音源の定位とトラッキングとを行なうことができる。
【００８３】
上記実施の形態に係る音源定位処理部５０によれば、音源の数と関連があるとして知られている、チャンネル間の相関行列の固有値について、各ブロックごとに、１−３ｋＨｚの周波数領域と３−６ｋＨｚの周波数領域とに分けて固有値番号ごとに平均を算出して音源数推定のパラメータとしている。実験結果からも明らかなように、このようなパラメータを用いることにより、高い精度で音源数を予測することができ、ＭＵＳＩＣ法による音源定位を安定して精度高く行なうことができる。
【００８４】
さらに、本実施の形態では３次元ＭＵＳＩＣ法を用いているため、方位角だけではなく、ある範囲で仰角を含めて音源方位を推定することができる。そのため、実環境でさまざまな方向から音声を受ける環境でもロボットなどが正しく音源を定位して適切な動作を行なうことが可能になる。ロボットが人間とのインタラクションを行なう場合でも、相手の顔を見つめながら適切な動作を行なうことが期待でき、ロボットと人間とのインタラクションをよりスムーズなものとすることができる。
【００８５】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。
【００８６】
［付録：ＭＵＳＩＣ法］
Ｍ個のマイク入力のフーリエ変換Ｘｍ（ｋ、ｔ）は、式（１）のようにモデル化される。
【００８７】
【数１】
2010121975.tif 000004
ただし、ベクトルｓ（ｋ、ｔ）はＮ個の音源のスペクトルＳｎ（ｋ，ｔ）から成る：ｓ（ｋ、ｔ）＝［Ｓ１（ｋ，ｔ），…，ＳＮ（ｋ、ｔ）］Ｔ。ｋとｔはそれぞれ周波数と時間フレームのインデックスを示す。ベクトルｎ（ｋ、ｔ）は背景雑音を示す。行列Ａｋは変換関数行列であり、その（ｍ、ｎ）要素はｎ番目の音源から、ｍ番目のマイクロホンへの直接パスの変換関数である。Ａｋのｎ列目のベクトルをｎ番目の音源の位置ベクトル（Ｓｔｅｅｒｉｎｇ  Ｖｅｃｔｏｒ）と呼ぶ。
【００８８】
まず、式（２）で定義される空間相関行列Ｒｋを求め、式（３）に示すＲｋの固有値分解により、固有値の対角行列Λｋ及び固有ベクトルから成るＥｋが求められる。
【００８９】
【数２】
2010121975.tif 000005
固有ベクトルはＥｋ＝［Ｅｋｓ｜Ｅｋｎ］のように分割出来る。ＥｋｓとＥｋｎとはそれぞれ支配的なＮ個の固有値に対応する固有ベクトルと、それ以外の固有ベクトルとを示す。
【００９０】
ＭＵＳＩＣ空間スペクトルは式（４）と（５）とで求める。ｒは距離、θとφとはそれぞれ方位角と仰角とを示す。式（５）は、スキャンされる点（ｒ、θ、φ）における正規化した位置ベクトルである。
【００９１】
【数３】
2010121975.tif 000006
空間スペクトル（本明細書では「ＭＵＳＩＣ応答」と呼ぶ。）は、ＭＵＳＩＣ空間スペクトルを式（６）のように平均化したものである。
【００９２】
【数４】
2010121975.tif 000007
式（６）においてｋＬ及びｋＨは、それぞれ周波数帯域の下位と上位の境界のインデックスであり、Ｋ＝ｋＨ−ｋＬ＋１。音源の方位は、ＭＵＳＩＣ応答のＮ個のピークから求められる。
【図面の簡単な説明】
【００９３】
【図１】本発明の１実施の形態に係る音源定位処理部５０を有するロボット３０にマイクロホン台３２を装着した状態を示す図である。
【図２】マイクロホン台３２の３面図である。
【図３】音源定位処理部５０のブロック図である。
【図４】音源数推定部１０２のブロック図である。
【図５】学習データ作成処理部１４０のブロック図である。
【図６】収録環境ＯＦＣにおいて、ＰＮＯＳ毎に整理したブロック毎の固有値のプロファイルを示す図である。
【図７】収録環境ＵＣＷ１において、ＰＮＯＳ毎に整理したブロック毎の固有値のプロファイルを示す図である。
【図８】収録環境ＵＣＷ２において、ＰＮＯＳ毎に整理したブロック毎の固有値のプロファイルを示す図である。
【図９】ｋＮＮ分類法による音源数の推定の実験精度を、固有値プロファイルの計算方法別に示すグラフである。
【図１０】ｋＮＮ分類法における近傍数ｋの値による、ブロックごとの音源数の推定精度を示すグラフである。
【図１１】ピーク検出部１０８によるピーク検出方法を説明するための図である。
【符号の説明】
【００９４】
３０  ロボット
３２  マイクロホン台
５０  音源定位処理部
５２  マイクロホンアレイ
６０  固有ベクトル算出部
６２  音源推定部
６４  グルーピング部
８６，１８６  相関行列算出部
８８，１８８  固有値分解部
１０２  音源数推定部
１０４  ＭＵＳＩＣ空間スペクトル算出部
１０６  ＭＵＳＩＣ応答算出部
１０８  ピーク検出部
１２０  第１の平均値算出部
１２２  第２の平均値算出部
１２４  ＫＮＮ分類器
１２６  学習データ記憶部
１６２  第１のバイナリ・マスキング処理部
１６４  第２のバイナリ・マスキング処理部
１６８  パワー算出部
１７２  音源数判定部
１７４  学習データ蓄積部
【図１】
2010121975.tif 000008
【図２】
2010121975.tif 000009
【図３】
2010121975.tif 000010
【図４】
2010121975.tif 000011
【図５】
2010121975.tif 000012
【図６】
2010121975.tif 000013
【図７】
2010121975.tif 000014
【図８】
2010121975.tif 000015
【図９】
2010121975.tif 000016
【図１０】
2010121975.tif 000017
【図１１】
2010121975.tif 000018