(57)【要約】【課題】直接音と反射音との双方を利用して、３次元の音源位置の推定を行うことが可能な音源位置推定装置を提供する。【解決手段】音源位置推定装置１０００において、ＭＵＳＩＣ処理部６２は、複数の音センサアレイＭＣ１，ＭＣ２からの複数チャンネルの音源信号の各々と音センサアレイに含まれる各音センサの間の位置関係とに基づき、複数の音センサアレイに音が到来する方位を特定する。音源方向・反射音方向推定部１１０は、特定された音の到来する方向と空間３次元地図情報とに基づき、直接音に対する音源の方向および反射音に対する音源の方向とを推定する。位置推定処理部１１４は、各複数の音センサアレイから直接音および反射音による音源の方向への延長領域の重なりに応じて、３次元での音源の位置を推定する。【選択図】図１
2014098568.tif 000002
【特許請求の範囲】
【請求項１】
複数の音センサアレイと、
前記音センサアレイ中の各音センサの配置の情報および測定環境の空間３次元地図情報を格納するための記憶装置と、
前記複数の音センサアレイからの複数チャンネルの音源信号の各々と前記音センサアレイに含まれる各音センサの間の位置関係とに基づいて、前記複数の音センサアレイに音の到来する方位を特定するための処理を実行する音源定位手段と、
特定された前記音の到来する方向と前記空間３次元地図情報とに基づいて、直接音に対する音源の方向および反射音に対する音源の方向とを推定するための音源方向推定手段と、
各前記複数の音センサアレイから前記直接音および前記反射音による音源の方向への延長領域の重なりに応じて、３次元での前記音源の位置を推定するための音源位置推定手段とを備える、音源位置推定装置。
【請求項２】
前記音源方向推定手段は、所定回数以下の反射のみにより、前記反射音に対する音源の方向の推定を実行する、請求項１記載の音源位置推定装置。
【請求項３】
前記音源方向推定手段は、所定距離以内に存在する反射のみにより、前記反射音に対する音源の方向の推定を実行する、請求項１または２記載の音源位置推定装置。
【請求項４】
前記音源位置推定手段の推定処理において、前記音源の方向への延長領域は、前記音源方向に沿う直線の回りに角度推定誤差を付加した領域である、請求項２記載の音源位置推定装置。
【請求項５】
前記音源定位手段は、ＭＵＳＩＣ法によるＭＵＳＩＣ応答強度により、前記音の到来する方位を特定する、請求項２記載の音源位置推定装置。
【請求項６】
複数の音センサアレイからの信号に基づいて音源の３次元の位置を推定する音源位置推定方法であって、
前記複数の音センサアレイからの複数チャンネルの音源信号の各々と前記音センサアレイに含まれる各音センサの間の位置関係とに基づいて、前記複数の音センサアレイに音の到来する方位を特定するステップと、
特定された前記音の到来する方向と空間３次元地図情報とに基づいて、直接音に対する音源の方向および反射音に対する音源の方向とを推定するステップと、
各前記複数の音センサアレイから前記直接音および前記反射音による音源の方向への延長領域の重なりに応じて、３次元での前記音源の位置を推定するステップとを備える、音源位置推定方法。
【請求項７】
演算装置と記憶装置とを有するコンピュータに、複数の音センサアレイからの信号に基づいて音源の３次元の位置を推定させるための音源位置推定プログラムであって、前記音源位置推定プログラムは、
前記演算装置が、前記複数の音センサアレイからの複数チャンネルの音源信号の各々と前記音センサアレイに含まれる各音センサの間の位置関係とに基づいて、前記複数の音センサアレイに音の到来する方位を特定するステップと、
前記演算装置が、特定された前記音の到来する方向と前記記憶装置に記憶された空間３次元地図情報とに基づいて、直接音に対する音源の方向および反射音に対する音源の方向とを推定するステップと、
前記演算装置が、各前記複数の音センサアレイから前記直接音および前記反射音による音源の方向への延長領域の重なりに応じて、３次元での前記音源の位置を推定するステップとを、コンピュータに実行させる、音源位置推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は実環境における音源定位技術に関し、特に、実環境において複数のセンサアレイによる音声の方向性を用いた音源位置の推定技術に関する。
【背景技術】
【０００２】
家庭、オフィス、商店街など、異なった環境では、場所や時間によって多様な雑音特性を持つため、音声などの特定の音を対象としたアプリケーションでは、使用される環境の雑音の種類や度合いにより、期待した性能が得られないという問題がある。
【０００３】
たとえば、人とロボットとの音声コミュニケーションにおいて、ロボットに取付けたマイクロホンは、通常離れた位置（１ｍ以上）にある。したがって、たとえば、電話音声のよう にマイクと口との距離が数センチの場合と比べて、信号と雑音の比（ＳＮＲ）は低くなる。このため、傍にいる他人の声や環境の雑音が妨害音となり、ロボットによる目的音声の認識が難しくなる。従って、ロボットへの応用として、音源定位や音源分離は重要である。
【０００４】
音源定位に関して、実環境を想定した従来技術として特許文献１または特許文献２に記載のものがある。特許文献１または特許文献２に記載の技術は、分解能が高いＭＵＳＩＣ法と呼ばれる公知の音源定位の手法を用いている。
【０００５】
特許文献１または特許文献２に記載の発明では、マイクロホンアレイを用い、マイクロホンアレイからの信号をフーリエ変換して得られた受信信号ベクトルと、過去の相関行列とに基づいて現在の相関行列を計算する。このようにして求められた相関行列を固有値分解し、最大固有値と、最大固有値以外の固有値に対応する固有ベクトルで ある雑音空間とを求める。さらに、マイクロホンアレイのうち、１つのマイクロホンを基準として、各マイクの出力の位相差と、雑音空間と、最大固有値とに基づいて、ＭＵＳＩＣ法により音源の方向を推定する。
【０００６】
これまでの音源定位や音源分離に関するほとんどの研究では、反射音は悪影響を与えるものとして扱われてきた（たとえば、非特許文献１、非特許文献２を参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−１７５７３３号公報明細書
【特許文献２】特開２０１１−２２０７０１号公報明細書
【非特許文献】
【０００８】
【非特許文献１】F. Asano, M. Goto, K. Itou, and H. Asoh, “Real time sound source localization and separation system and its application on automatic speech recognition,”  in Eurospeech 2001, Aalborg, Denmark, 2001, pp. 1013-1016.
【非特許文献２】C. T. Ishi, O. Chatot, H. Ishiguro, N. Hagita, “Evaluation of a ＭＵＳＩＣ-based real-time sound localization of multiple sound sources in real noisy environments,”  in Proc. of the 2009 IEEE/RSJ Intl. Conf. on Intelligent Robots and System, St. Louis, USA, 2009, pp. 2027-2032.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、このような音源定位の技術において、実環境では、たとえば、マイクロホンアレイの周りに壁や天井やガラス窓やディスプレイなどの音を反射する表面が存在する場合、音源の直接音と同時に音源の反射音も測定されることがある。特に、マイクロホンアレイと、音源との距離が大きい場合、反射音の影響は無視できないと予想される。
【００１０】
したがって、実環境においては、反射音の影響があることを当然の前提として、音源定位を実行することが望まれるが、反射音の影響を積極的に取り込んで、音源の位置を推定する手法は、必ずしも明らかではない。
【００１１】
本発明は、上記のような問題点を解決するためになされたものであって、その目的は、直接音と反射音との双方を利用して、３次元の音源位置の推定を行うことが可能な音源位置推定装置、音源位置推定方法および音源位置推定プログラムを提供することである。
【課題を解決するための手段】
【００１２】
本発明では、複数のマイクロホンアレイを用いて音源方向を推定し、空間の情報を用いて反射音の方向を推定し、これらの情報を統合して音源定位（３次元空間の位置推定）を行う。
【００１３】
この発明の１つの局面に従うと、音源位置推定装置であって、複数の音センサアレイと、音センサアレイ中の各音センサの配置の情報および測定環境の空間３次元地図情報を格納するための記憶装置と、複数の音センサアレイからの複数チャンネルの音源信号の各々と音センサアレイに含まれる各音センサの間の位置関係とに基づいて、複数の音センサアレイに音の到来する方位を特定するための処理を実行する音源定位手段と、特定された音の到来する方向と空間３次元地図情報とに基づいて、直接音に対する音源の方向および反射音に対する音源の方向とを推定するための音源方向推定手段と、各複数の音センサアレイから直接音および反射音による音源の方向への延長領域の重なりに応じて、３次元での音源の位置を推定するための音源位置推定手段とを備える。
【００１４】
好ましくは、音源方向推定手段は、所定回数以下の反射のみにより、反射音に対する音源の方向の推定を実行する。
【００１５】
好ましくは、音源方向推定手段は、所定距離以内に存在する反射のみにより、反射音に対する音源の方向の推定を実行する。
【００１６】
好ましくは、音源位置推定手段の推定処理において、音源の方向への延長領域は、音源方向に沿う直線の回りに角度推定誤差を付加した領域である。
【００１７】
好ましくは、音源定位手段は、ＭＵＳＩＣ法によるＭＵＳＩＣ応答強度により、音の到来する方位を特定する。
【００１８】
この発明の他の局面に従うと、複数の音センサアレイからの信号に基づいて音源の３次元の位置を推定する音源位置推定方法であって、複数の音センサアレイからの複数チャンネルの音源信号の各々と音センサアレイに含まれる各音センサの間の位置関係とに基づいて、複数の音センサアレイに音の到来する方位を特定するステップと、特定された音の到来する方向と空間３次元地図情報とに基づいて、直接音に対する音源の方向および反射音に対する音源の方向とを推定するステップと、各複数の音センサアレイから直接音および反射音による音源の方向への延長領域の重なりに応じて、３次元での音源の位置を推定するステップとを備える。
【００１９】
この発明のさらに他の局面に従うと、演算装置と記憶装置とを有するコンピュータに、複数の音センサアレイからの信号に基づいて音源の３次元の位置を推定させるための音源位置推定プログラムであって、音源位置推定プログラムは、演算装置が、複数の音センサアレイからの複数チャンネルの音源信号の各々と音センサアレイに含まれる各音センサの間の位置関係とに基づいて、複数の音センサアレイに音の到来する方位を特定するステップと、演算装置が、特定された音の到来する方向と記憶装置に記憶された空間３次元地図情報とに基づいて、直接音に対する音源の方向および反射音に対する音源の方向とを推定するステップと、演算装置が、各複数の音センサアレイから直接音および反射音による音源の方向への延長領域の重なりに応じて、３次元での音源の位置を推定するステップとを、コンピュータに実行させる。
【発明の効果】
【００２０】
この発明によれば、直接音と反射音との双方を利用して、音源の３次元の正確な位置の推定を行うことが可能である。
【図面の簡単な説明】
【００２１】
【図１】音源位置推定装置１０００の構成を示すブロック図である。
【図２】本実施の形態における音源位置推定装置１０００の処理の概要を示す概念図である。
【図３】音源位置推定装置１０００による音源位置の推定処理をさらに詳しく説明するための概念図である。
【図４】音源の位置推定を行う空間についての空間３次元地図を示す概念図である。
【図５】実験に使用した１６素子のマイクロホンアレイの形状を示す図である。
【図６】実験に用いた室内において、マイクロホンアレイの設置の態様を説明するための図である。
【図７】測定した音源の位置とマイクロホンアレイの位置についての数値を示す図である。
【図８】測定した音源の位置とマイクロホンアレイの位置を示す図である。
【図９】音源の位置（“１”〜“６”）と向き（“Ｆ”、“Ｌ”、“Ｂ”、“Ｒ”）の条件ごとに検出レートを示す図である。
【図１０】図９と同様の条件における平均位置推定誤差を示す図である。
【図１１】コンピュータシステム２０００のハードウェア構成をブロック図形式で示す図である。
【図１２】コンピュータプルグラムによる処理を説明するためのフローチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態の音源位置推定装置の構成について、図に従って説明する。なお、以下の実施の形態において、同じ符号を付した構成要素および処理工程は、同一または相当するものであり、必要でない場合は、その説明は繰り返さない。
【００２３】
なお、以下の説明では、音センサとしては、いわゆるマイクロホン、より特定的にはエレクトレットコンデンサマイクロホンを例にとって説明を行うが、音声を電気信号として検出できるセンサであれば、他の音センサであってもよい。
【００２４】
また、本実施の形態では、音環境の事前知識の習得およびその利用を総称して「音環境知能」と呼ぶ。また、いつ、どこで、どのような音が発生したのかの時空間的な表現、つまり音が発生するとできる地図のことを「音環境地図」と呼ぶ。
【００２５】
実環境では、異なった場所で発生する複数の音が混合して観測されるため、音環境地図の生成において、騒音計で空間をスキャンするような単純な方法は不十分である。音環境の事前知識として役立つと考えられる音源の位置や種類を特徴付けた音環境地図の生成には、空間的情報（通常の地図）に加え、少なくとも音源の定位および分離が必要であり、さらには、音源の分類がなされることが望ましい。
【００２６】
そこで、本実施の形態の音源位置推定装置では、以下に説明するように、複数の音源を定位・分離するため、複数のマイクロホンアレイを連携させ、空間内の特定の音源に対する音環境地図を生成し、音環境を構造化する。
【００２７】
ここでの音源定位とは、音源の方位を継続的に特定することをいい、音源の位置推定とは、所定の空間内で、音源定位により特定された音源の方位に基づいて、３次元的な音源の位置を推定することをいう。
【００２８】
以下では、音源の位置の推定のために、音源の方位を推定するための手法として、ＭＵＳＩＣ（Multiple Signal Classification）法を例にとって説明する。ただし、音源の方位を推定できる方法であれば、他の手法を用いてもよい。
（ＭＵＳＩＣ空間スペクトル）
ＭＵＳＩＣとは、音源定位において分解能が高い特徴を持つ手法の一種である。
【００２９】
ＭＵＳＩＣ法の概略について説明すると、まず、高速フーリエ変換により多チャンネルのスペクトルＸ（ｋ，ｔ）をフレーム毎に求め、スペクトル領域でチャンネル間の空間的相関行列Ｒkをブロック毎に求め、相関行列の固有値分解により指向性の成分と無指向性の成分のサブ空間を分解し、無指向性のサブ空間に対応する固有ベクトルＥknと、対象の検索空間に応じて予め用意した方向ベクトルａk を用いて（狭帯域の）ＭＵＳＩＣ空間スペクトルＰ（ｋ）を周波数ビンごとに求め、特定の周波数帯域内の周波数ビン毎のＭＵＳＩＣ空間スペクトルを統合して広帯域ＭＵＳＩＣ空間スペクトルが求まる。
【００３０】
以下では、広帯域ＭＵＳＩＣ空間スペクトルを単に「ＭＵＳＩＣ空間スペクトル」と呼び、ＭＵＳＩＣ空間スペクトルの時系列を「ＭＵＳＩＣスペクトログラム」を呼ぶ。
【００３１】
音源定位においては、ＭＵＳＩＣ空間スペクトルのピークを探索することにより、音源の方向が求まる。
【００３２】
図１は、音源位置推定装置１０００の構成を示すブロック図である。
【００３３】
なお、以下では、マイクロホンアレイが２つである場合を例にとって説明するが、マイクロホンアレイの個数はより多くてもよい。
【００３４】
図１を参照して、音源位置推定装置１０００の音源定位処理部５０は、マイクロホン５２．１１〜５２．１ｐ（ｐ：自然数）を含むマイクロホンアレイＭＣ１およびマイクロホン５２．２１〜５２．２ｐを含むマイクロホンアレイＭＣ２から、それぞれｐ個のアナログ音源信号を受け、アナログ／デジタル変換を行なってｐ個のデジタル音源信号をそれぞれ出力するＡ／Ｄ変換器５４．１および５４．２と、Ａ／Ｄ変換器５４．１および５４．２からそれぞれ出力されるｐ個のデジタル音源信号を受け、ＭＵＳＩＣ法で必要とされる相関行列とその固有値および固有ベクトルを、所定の時間、たとえば、１００ミリ秒を１ブロックとしてブロックごとに出力するための固有ベクトル算出部６０と、固有ベクトル算出部６０からブロックごとに出力される固有ベクトルを使用し、ＭＵＳＩＣ法によりＭＵＳＩＣ空間スペクトルを出力するＭＵＳＩＣ処理部６２と、ＭＵＳＩＣ処理部６２が出力するＭＵＳＩＣ空間スペクトルに基づいて、音源の方向（本実施の形態では、 ３次元極座標の内の２つの偏角φおよびθとする）を推定するとともに、空間３次元地図の情報により、反射音の方向も推定して、直接音の方向および反射音の方向とを動的に推定して、音源の３次元的な位置を表す値を時系列で出力する音源位置推定部６４とを含む。なお、本明細書では、「ＭＵＳＩＣ応答」とは、ＭＵＳＩＣアルゴリズムにより得られるＭＵＳＩＣ空間スペクトルを所定の式で平均化したものである。
【００３５】
特に限定されないが、本実施の形態では、Ａ／Ｄ変換器５４．１および５４．２は、一般的な１６ｋＨｚ／１６ビットで各マイクロホンの出力をＡ／Ｄ変換する。
【００３６】
また、固有ベクトル算出部６０は、マイクロホンアレイＭＣ１からの信号に基づきＡ／Ｄ変換器５４．１の出力するｐ個のデジタル音源信号を、たとえば、４ミリ秒のフレーム長でフレーム化するためのフレーム化処理部８０．１と、フレーム化処理部８０．１の出力するｐチャンネルのフレーム化された音源信号に対してそれぞれＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を施し、所定個数の周波数領域（以下、各周波数領域を「ビン」と呼び、周波数領域の数を「ビン数」と呼ぶ。）に変換して出力するＦＦＴ処理部８２．１と、ＦＦＴ処理部８２．１から４ミリ秒ごとに出力される各チャネルの各ビンの値を、１００ミリ秒ごとにブロック化するためのブロック化処理部８４．１と、ブロック化処理部８４．１から出力される各ビンの値の間の相関を要素とする相関行列を所定時間ごと（１００ミリ秒ごと）に算出し出力する相関行列算出部８６．１と、相関行列算出部８６．１から出力される相関行列を固有値分解し、固有ベクトル９２．１をＭＵＳＩＣ処理部６２に出力する固有値分解部８８．１とを含む。また、固有ベクトル算出部６０は、マイクロホンアレイＭＣ２からの信号に基づきＡ／Ｄ変換器５４．２の出力するｐ個のデジタル音源信号に対応しても、マイクロホンアレイＭＣ１からの信号と同様な処理を実行するための、フレーム化処理部８０．２と、ＦＦＴ処理部８２．２と、ブロック化処理部８４．２と、相関行列算出部８６．２と、固有値分解部８８．２とを含む。なお、これも特に限定されないが、本実施の形態では、音源信号の周波数成分のうち、空間的分解能が低い１ｋＨｚ以下の帯域と、空間的エイリアシングが起こり得る６ｋＨｚ以上の帯域を除外するものとする。
【００３７】
通常、ＦＦＴでは５１２〜１０２４点を使用する（１６ｋＨｚのサンプリングレートで３２〜６４ミリ秒に相当）が、ここでは１フレームを４ミリ秒（ＦＦＴで は６４〜１２８点に相当）とした。このようにフレーム長を短くすることにより、ＦＦＴの計算量が少なくてすむだけでなく、後の相関行列の算出、固有値分解、およびＭＵＳＩＣ応答の算出における計算量も少なくて済む。その結果、性能を落とすことなく、比較的非力なコンピュータを用いても十分にリアルタイムで 音源定位を行なうことができる。
【００３８】
ＭＵＳＩＣ処理部６２は、マイクロホンアレイＭＣ１およびＭＣ２に含まれる各マイクロホンの位置を所定の座標系を用いて表す位置ベクトルを記憶するためのマイク配置記憶部１００と、マイク配置記憶部１００に記憶されているマイクロホンの位置ベクトル、および固有値分解部８８．１から出力される固有ベクトルを用いて、音源数が固定されているものとしてＭＵＳＩＣ法によりＭＵＳＩＣ空間スペクトルを算出し出力するＭＵＳＩＣ空間スペクトル算出部１０４．１とを含む。ブロックごとに得られる相関行列の固有値が音源数に関連することは、例えば、Ｆ．アサノら、「リアルタイム音源定位及び生成システムと自動音声認識におけるその応用」、 Ｅｕｒｏｓｐｅｅｃｈ，２００１、アールボルグ、デンマーク、２００１、１０１３−１０１６頁（F. Asano, M. Goto, K. Itou, and H. Asoh, “Real-time sound source localization and separation system and its application on automatic speech recognition,”  in Eurospeech 2001, Aalborg, Denmark, 2001, pp. 1013-1016）にも記載されており、既に知られている事項である。
【００３９】
なお、本実施の形態では、各音源の２次元的な方位角だけでなく、仰角も推定する。そのために、ＭＵＳＩＣアルゴリズムとしては、３次元での計算が可能なものを実装する。方位角と仰角とのセットを、これ以降、音源方位（ＤＯＡ）と呼ぶ。ＭＵＳＩＣ処理部６２で実行されるアルゴリズムでは、音源までの距離は推定しない。音源方位のみを推定するようにすることで、処理時間を大幅に減少させることができる。
【００４０】
ＭＵＳＩＣ処理部６２はさらに、ＭＵＳＩＣ空間スペクトル算出部１０４．１により算出されたＭＵＳＩＣ空間スペクトルに基づいて、ＭＵＳＩＣ法にしたがいＭＵＳＩＣ応答と呼ばれる値を各方位について算出し出力するためのＭＵＳＩＣ応答算出部１０６．１を含む。
【００４１】
ＭＵＳＩＣ処理部６２はさらに、固有値分解部８８．２から出力される固有ベクトルを用いて、固有値分解部８８．１から出力される固有ベクトルに対するのと同様の処理を実行する、ＭＵＳＩＣ空間スペクトル算出部１０４．２と、ＭＵＳＩＣ応答算出部１０６．２とを含む。
【００４２】
音源位置推定部６４は、ＭＵＳＩＣ応答算出部１０６．１および１０６．２により算出されたＭＵＳＩＣ応答のピークを、一時的に時系列に所定数だけＦＩＦＯ形式でそれぞれ蓄積するためのバッファ１０８．１および１０８．２を含む。さらに、音源位置推定部６４において、音源方向・反射音方向推定部１１０は、バッファ１０８．１および１０８．２に蓄積された各ブロックの各探索点のＭＵＳＩＣ応答について、音源の方向（上述した２つの偏角φおよびθ）を推定するとともに、空間３次元地図記憶部１１２に記憶された空間３次元地図の情報により、反射音の方向も動的に推定する。そして、音源位置推定部６４において、位置推定処理部１１４は、動的に推定された直接音の方向および反射音の方向とを用いて、後に説明する手続きにより、音源の３次元的な位置を推定して、時系列で出力する。
【００４３】
なお、推定値については、時系列のデータとして外部の記憶装置に格納してもよいし、あるいは、たとえば、リアルタイムで、表示装置に表示される構成としてもよい。
【００４４】
ここで、ＭＵＳＩＣ法では、狭帯域ＭＵＳＩＣ空間スペクトルの推定において、その時刻に発している指向性を持つ音源数（ＮＯＳ）を与える必要があるが、以下の説明では、固定数を与え、ＭＵＳＩＣ空間スペクトル上で、特定の閾値を超えたピークのみを指向性のある音源とみなすものとして説明する。
（ＭＵＳＩＣ法）
以下、上述した３次元での方位を算出するＭＵＳＩＣ法について、簡単にまとめる。
【００４５】
たとえば、Ｍ個のマイク入力のフーリエ変換Ｘｍ（ｋ、ｔ）は、式（１）のようにモデル化される。
【００４６】
【数１】
2014098568.tif 000003
【００４７】
ただし、ベクトルｓ（ｋ、ｔ）はＮ個の音源のスペクトルＳn（ｋ、ｔ）から成る（ｎ＝１，…，Ｎ）。
【００４８】
すなわち、ｓ（ｋ、ｔ）＝［Ｓ1（ｋ、ｔ）、…、ＳN（ｋ、ｔ）］Tである。ここで、ｋとｔはそれぞれ周波数と時間フレームのインデックスを示す。ベクトルｎ（ｋ、ｔ）は背景雑音を示す。行列Ａｋは変換関数行列であり、その（ｍ、ｎ）要素はｎ番目の音源から、ｍ番目のマイクロホンへの直接パスの変換関数である。Ａｋのｎ列目のベクトルをｎ番目の音源の位置ベクトル（Ｓｔｅｅｒｉｎｇ Ｖｅｃｔｏｒ）と呼ぶ。
【００４９】
まず、式（２）で定義される空間相関行列Ｒｋを求め、式（３）に示すＲｋの固有値分解により、固有値の対角行列Λｋおよび固有ベクトルから成るＥｋが求められる。
【００５０】
【数２】
2014098568.tif 000004
【００５１】
固有ベクトルはＥｋ＝［Ｅｋｓ｜Ｅｋｎ］のように分割出来る。ＥｋｓとＥｋｎとはそれぞれ支配的なＮ個の固有値に対応する固有ベクトルと、それ以外の固有ベクトルとを示す。
【００５２】
ＭＵＳＩＣ空間スペクトルは式（４）と（５）とで求める。ｒは距離、θとφとはそれぞれ方位角と仰角とを示す。式（５）は、スキャンされる点（ｒ、θ、φ）における正規化した位置ベクトルである。
【００５３】
【数３】
2014098568.tif 000005
【００５４】
ＭＵＳＩＣ応答は、ＭＵＳＩＣ空間スペクトルを式（６）のように平均化したものである。
【００５５】
【数４】
2014098568.tif 000006
【００５６】
式（６）においてｋLおよびｋHは、それぞれ周波数帯域の下位と上位の境界のインデックスであり、Ｋ＝ｋH−ｋL＋１である。マイクロホンアレイに到来する音の方位は、ＭＵＳＩＣ応答のピークを探索することにより求められる。
（空間情報と反射音を利用した複数アレイによる音源定位）
図２は、本実施の形態における音源位置推定装置１０００の処理の概要を示す概念図である。
【００５７】
図２を参照して、音源位置推定装置１０００は、複数のマイクロホンアレイにおいて、ＭＵＳＩＣスペクトログラムによる音源方向推定（マイクロホンアレイに到来する音の方位の推定）を行い、空間３次元地図情報とマイクロホンアレイの位置情報を用いて反射音の方向も推定し、これらの情報を統合して複数の音源位置の推定を行う。
【００５８】
音源位置推定装置１０００が、音源の位置を推定する原理は、複数のマイクロホンアレイを用いて音源方向を推定し、空間内のマイクロホンアレイの位置と向きが既知である場合、それぞれのマイクロホンアレイで推定された音源方向が重なった位置に音源が存在する確率が高い、ということである。
【００５９】
また、空間内のマイクロホンアレイの位置、音が反射しやすい天井や壁やディスプレイなどとの位置関係によって、アレイで反射音が測定される場合があり、音源位置推定装置１０００は、１つのマイクロホンアレイでも反射音と直接音の方向が検出された場合、反射音を壁や天井で反転させた方向と直接音が重なった位置に音源が存在する確率が高いと判断する。すなわち、従来のマイクロホンアレイ処理では、反射音は音源定位や音源分離に悪影響を与えるものとして扱うのに対して、音源位置推定装置１０００では、逆に反射音の情報を利用することで、音源の位置を推定する。
【００６０】
図３は、以上説明した音源位置推定装置１０００による音源位置の推定処理をさらに詳しく説明するための概念図である。
【００６１】
図３においては、対象となる空間である室内の床の２次元の各方向をｘ方向およびｙ方向とし、天井から床に向かう方向をｚ方向としている。
【００６２】
天井に２つのマイクロホンアレイＭＣ１およびＭＣ２が設置されており、室内には、ｙ＝０の壁面の前に、反射面を構成するディスプレイＤＰが配置されているものとする。
【００６３】
なお、図３において、楕円形の印は、室内にいる人間の頭部の位置を示しているものとする。
【００６４】
また、図４は、音源の位置推定を行う空間についての空間３次元地図を示す概念図である。
【００６５】
図３を参照して、音源位置推定装置１０００の音源方向・反射音方向推定部１１０は、定位された音源が反射音であるか否かは予め分からないため、まず推定されたすべての音源方向を、図４の空間３次元地図で位置が特定される、壁や天井で反転させる。反射は空間内で複数生じ得るが、所定の回数、たとえば、２度目以降の反射は強度も指向性も衰えることを考慮し、反転は、所定の回数未満（ここでは１度）のみ行うこととする。
【００６６】
そして、音源方向・反射音方向推定部１１０は、３次元空間を考慮し、方位角および仰角で音源方向を表現する。
【００６７】
推定された方向には、角度の誤差（Angle uncertainty: ＡＵ）があり、マイクロホンアレイからの距離に応じて推定位置の誤差（Position uncertainty: ＰＵ）が大きくなる。この性質を考慮し、推定位置誤差を以下の式で求める。
【００６８】
ＰＵ（ｄ）＝±ＡＵ／３６０×２π×ｄ
ここで、ｄはアレイの中心からの距離である。例えば、球面上で５度の分解能で音源方向が検知された場合（ＡＵ＝５）、マイクロホンアレイから１メートル離れた位置に音源がある場合（ｄ＝１ｍ）、その方向に直線を１メートル伸ばした際の推定位置誤差は、±８．７ｃｍとなる。２メートルの場合、誤差はその倍の±１７．４ｃｍとなる。
【００６９】
位置推定処理部１１４は、たとえば、検知された２つの方向が上述の誤差を考慮して空間上で重なっているか否かを判定する方法として、それぞれの方向に直線を引き、２直線の最短距離を幾何学の公式を用いて推定する。この最短距離がそれぞれの直線における誤差（ＰＵ）を足した値よりも小さい場合、これらの直線は重なっているとみなす。また、検出された方向の重なりが生じた位置に音源が存在するとみなす。
【００７０】
検出されたすべての直接音と反射音の方向に引いた直線の距離をペア毎に求め、方向の重なりを複数探索する。重なりがあった場合は、平均位置を音源の推定位置とする。重なりがない場合は方向情報を保留とし、重なりが生じた時点で、位置を割り当てる。
【００７１】
上記のような直線を用いる方法は、リアルタイムでの位置推定に適している。なお、位置推定処理部１１４による音源位置の推定処理としては、リアルタイム性には劣るものの、たとえば、上述した推定された音源方向および反射音方向を軸とし、上記所定の誤差を許容する範囲（円錐形状となる）について、投票処理を行い、複数の方向からの投票が重なることで、所定値以上の投票結果となる領域を音源の位置と推定するなど、他の方法を用いることも可能である。
［データ収集および分析結果］
以下、上述したような音源位置の推定処理についての実験結果を説明する。
（マイクロホンアレイ）
図５は、実験に使用した１６素子のマイクロホンアレイの形状を示す図である。
【００７２】
図５に示すように、３次元空間における方位角および仰角を求めるため、マイクは直径３０ｃｍの半球面上に配置した。
【００７３】
多チャンネルオーディオキャプチャデバイスとして、１６−ｃｈａｎｎｅｌ  Ａ／Ｄ 変換機を使用した。マイクは、エレクトレットコンデンサマイクロホンを用い、１６ｋＨｚ／１６ｂｉｔｓでサンプリングを行った。
【００７４】
ＭＵＳＩＣ空間スペクトルによる音源方向推定のパラメータとして、音源の固定数を３とし、ＭＵＳＩＣパワーの閾値を２．５ｄＢとし、同時に発する音源の最大数を６に設定した。
【００７５】
また、ＭＵＳＩＣ空間スペクトルを求める際に用いる周波数帯域に関しては、空間的歪み（spatial aliasing）と低周波数帯域における低い分解能を避けるため、１０００〜５０００Ｈｚの帯域を用いた。
【００７６】
音源方向推定の探索空間は、３次元空間で球面上５度間隔の分解能に設定する。マイクロホンアレイを天井に取り付けるため、方位角は０〜３６０度、仰角は−５度〜−８０度に制限した。−８５〜−９０度（アレイの真上の方向）には、アレイの形状より音源が存在しない場合にもＭＵＳＩＣ空間スペクトルにピークが生じるため、その領域を探索空間から除外している。
（評価データの収集）
図６は、実験に用いた室内において、マイクロホンアレイの設置の態様を説明するための図である。
【００７７】
図６（ａ）は、実験に用いたマイクロホンアレイの配置を示す図である。
【００７８】
また、図６（ｂ）に示すように、２つのマイクロホンアレイＭＣ１およびＭＣ２を天井に取り付けた。マイクロホンアレイと天井の間には吸音素材を入れ込み、天井での反射は扱わないこととした。また、床は反射しにくいタイルカーペットであり、反射が生じたとしても天井にあるアレイへの距離が大きいため、床での反射は扱わないものとする。
【００７９】
従って、以下の実験では、推定された音源方向を壁で一回のみ反転させることとした。ただし、マイクロホンアレイと反射面との距離について、予め所定の距離以上となった場合に、反射の影響を無視するという条件を、音源方向・反射音方向推定部１１０の行う処理に事前に設定しておいてもよい。
【００８０】
音源の向きによって、その音源の指向性が変化し、同じ位置でもアレイに対する向きによってアレイで観測される指向性の強度が変化する。そこで、実験においては、人が発した音声を対象音源とし、人が異なる方向を向いて発声した場合の音源位置の推定処理について説明する。また、環境に固定されたエアコン（図６の左上）もアレイに対して指向性を持つ雑音源となる。
【００８１】
対象音源の位置として、図６（ａ）の机の周り６か所を固定し、各位置において、前、左、後ろ、右の４つの向きでデータを収録した。エアコンはスイッチオンの状態にした。特に、人が音源の場合、正確に音源の位置を固定することは難しいが、向きを変えた際に、口の位置ができるだけ変わらないようにした。
【００８２】
図７は、測定した音源の位置とマイクロホンアレイの位置についての数値を示す図である。
【００８３】
また、図８は、測定した音源の位置とマイクロホンアレイの位置を示す図である。
【００８４】
図８においては、音源の位置および向きとアレイの位置を部屋の上面図に重ねて示す。
ｘ＝０およびｙ＝０の平面には壁が存在する。ｘ＝７４００ｍｍ、およびｙ＝−５６００ｍｍにも壁が存在するが、アレイから離れているため、実験においては、床の場合と同様に、反射音推定には用いていない。
【００８５】
図８では、音源の位置として６か所（“１”〜“６”）が設定され、音源の向きは、各音源において４方向（“Ｆ”、“Ｌ”、“Ｂ”、“Ｒ”）が設定されている。つまり、ここでは、設定される方向は、壁に平行な４つの方向である。
（音源の種類およびアレイに対する音源の向きの影響）
実験では、それぞれのアレイで測定された音源方向と反射音が実際発した音源位置をどの程度精度よく推定可能であるかを評価する。
【００８６】
評価尺度として、各アレイで検出された各音源方向に対する直線と、図７に示した対象音源の座標位置との距離を測定した。ここでは、音源方向推定誤差による位置推定誤差の他に、対象音源の位置が必ずしも正確ではないことも考慮し、位置推定誤差が４０ｃｍ以内であれば、その方向は対象音源が発しているものとみなす。
【００８７】
各マイクロホンアレイで観測された各方向に対し、上述の条件を満たしたブロックの数を発話区間の全ブロック数で割ったものを検出レートとする。
【００８８】
図９は、音源の位置（“１”〜“６”）と向き（“Ｆ”、“Ｌ”、“Ｂ”、“Ｒ”）の条件ごとに検出レートを示す図である。
【００８９】
なお、図９においては、マイクロホンアレイＭＣ１を“Ａｒｒａｙ１”と表示し、マイクロホンアレイＭＣ２を“Ａｒｒａｙ２”と表示している。
【００９０】
それぞれのアレイ（“Ａｒｒａｙ１”、 “Ａｒｒａｙ２”）で検出された音源方向は、直接音（“ｄ”）、平面ｙ＝０での反射音（“ｒｙ”）および平面ｘ＝０での反射音（“ｒｘ”）に分けて結果を表示している。
【００９１】
図９の結果より、まず音源の位置と方向によってそれぞれのアレイで直接音（ｄ）および反射音（ｒｘ，ｒｙ）が観測される率が変化することが分かる。これは、音源の位置と向きによって、アレイが「見えている」のか、壁が「見えている」のかに依存する。
【００９２】
例えば 図９の “１Ｌ”の条件では、Ａｒｒａｙ１の直接音ｄと反射音ｒｘがおよそ０．８の率で検出されている。また、Ａｒｒａｙ２では、反射音ｒｘがおよそ０．６の率で検出され、直接音はほとんど検出されていない。
【００９３】
音源位置推定においては、同じ音源に対し、複数（少なくとも２つ）の方向が検出されれば、その重なった位置に音源が存在すると判定することができる。例えば、図９の“６Ｒ”の条件で、０．９以上の率で両アレイの直接音が重なって観測されている。
【００９４】
図９において、直接音が高い率で上位を占めている条件は、｛２Ｆ，３Ｆ，４Ｆ，５Ｆ，６Ｆ，３Ｌ，４Ｌ，４Ｂ，５Ｂ，１Ｒ，２Ｒ，５Ｒ，６Ｒ｝で、全条件のおよそ半分を占めいている。平面ｘ＝０での反射音（ｒｘ）が上位に入っている条件は、Ａｒｒａｙ１の場合{１Ｌ，２Ｌ，５Ｌ，６Ｌ，６Ｂ｝となっている。これらの条件は、平面ｘ＝０の壁に近く、その方向を向いている条件である。また、平面ｙ＝０での反射音（ｒｙ）が上位に入っている条件は、 Ａｒｒａｙ１の場合は｛１Ｆ，６Ｆ｝で、Ａｒｒａｙ２の場合は｛３Ｆ，４Ｆ，４Ｒ｝となっている。
【００９５】
したがって、本実施の形態の音源位置推定装置１０００では、少なくとも、人の発話のような指向性での音源については、高い確率で音源位置の推定を実行することが可能であるといえる。
【００９６】
図１０は、図９と同様の条件における平均位置推定誤差を示す図である。
【００９７】
ただし、図１０のグラフで誤差が０の点は、その条件で方向が検出されなかった場合を示している。
【００９８】
図１０に示すように、直接音でも反射音でも平均誤差は１００〜３００ｍｍの範囲で検出されている。
［コンピュータによる実現］
上記した音源定位処理部５０は、実際にはコンピュータハードウェアと、当該コンピュータハードウェアにより実行されるコンピュータプログラムとにより、 ハードウェアとソフトウェアとの協働により実現される。以下、音源定位処理部５０の機能を実現するためのコンピュータプログラムの動作について簡単に説明する。
【００９９】
図１１は、このようなコンピュータプログラムを実行するためのコンピュータシステム２０００のハードウェア構成をブロック図形式で示す図である。
【０１００】
図１１に 示されるように、このコンピュータシステム２０００を構成するコンピュータ本体２０１０は、ディスクドライブ２０３０およびメモリドライブ２０２０に加えて、それぞれバス２０５０に接続されたＣＰＵ（Central Processing Unit ）２０４０と、ＲＯＭ（Read Only Memory) ２０６０およびＲＡＭ （Random Access Memory）２０７０を含むメモリと、不揮発性の書換え可能な記憶装置、たとえば、ハードディスク２０８０と、ネットワークを介しての通信を行うための通信インタフェース２０９０と、マイクロホンアレイＭＣ１およびＭＣ２と信号の授受を行うための音声入力インタフェース２０９２とを含んでいる。ディスクライブ２０３０には、ＣＤ−ＲＯＭ２２００などの光ディスクが装着される。メモリドライブ２０２０にはメモリカード２２１０が装着される。
【０１０１】
後に説明するように、音源位置推定装置のプログラムが動作するにあたっては、その動作の基礎となる情報を格納するデータベースは、ハードディスク２０８０に格納されるものとして説明を行う。
【０１０２】
なお、図１１では、コンピュータ本体に対してインストールされるプログラム等の情報を記録可能な媒体として、ＣＤ−ＲＯＭ２２００を想定しているが、他の媒体、たとえば、ＤＶＤ−ＲＯＭ（Digital Versatile Disc）などでもよく、あるいは、メモリカードやＵＳＢメモリなどでもよい。その場合は、コンピュータ本体２２００には、これらの媒体を読取ることが可能なドライブ装置が設けられる。
【０１０３】
音源位置推定装置１０００の主要部は、コンピュータハードウェアと、ＣＰＵ２０４０により実行されるソフトウェアとにより構成される。一般的にこうしたソフトウェアは ＣＤ−ＲＯＭ２２００等の記憶媒体に格納されて流通し、ディスクドライブ２０３０等により記憶媒体から読取られて ハードディスク２０８０に一旦格納される。または、当該装置がネットワーク３１０に接続されている場合には、ネットワーク上のサーバから一旦ハードディスク２０８０にコピーされる。そうしてさらにハードディスク２０８０からメモリ中のＲＡＭ２０７０に読出されてＣＰＵ２０４０により実行される。なお、ネットワーク接続されている場合には、ハードディスク２０８０に格納することなくＲＡＭに直接ロードして実行するようにしてもよい。
【０１０４】
音源位置推定装置１０００として機能するためのプログラムは、コンピュータ本体２０１０に、情報処理装置等の機能を実行させるオペレーティングシステム（ＯＳ）は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム２０がどのように動作するかは周知であり、詳細な説明は省略する。
【０１０５】
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【０１０６】
さらに、ＣＰＵ２０４０も、１つのプロセッサであっても、あるいは複数のプロセッサであってもよい。すなわち、シングルコアのプロセッサであっても、マルチコアのプロセッサであってもよい。
【０１０７】
なお、音源位置推定装置のプログラムの動作の基礎となる情報を格納するデータベースは、インタフェース２０９０を介して接続される外部の記憶装置内に格納されていてもよい。たとえば、ネットワークを介して外部サーバに接続している場合は、動作の基礎となる情報を格納するデータベースは、外部サーバ内のハードディスク（図示せず）等の記憶装置に格納されていてもよい。この場合は、コンピュータ２０００はクライエント機として動作し、このようなデータベースのデータをネットワークを介して外部サーバとやり取りする。
【０１０８】
図１２は、このようなコンピュータプルグラムによる処理を説明するためのフローチャートである。
【０１０９】
音源定位処理部５０として機能するコンピュータ２０００においては、音源位置推定処理が開始されると、ＣＰＵ２０４０は、処理の初期化処理を実行する（Ｓ１０２）。
【０１１０】
なお、以下のステップＳ１０４〜Ｓ１０８までの処理は、図１で説明したのと同様に、マイクロホンアレイＭＣ１およびマイクロホンアレイＭＣ２からの信号のそれぞれに対して並列的に実行される。
【０１１１】
続いて、音声入力インタフェース２０９２は、マイクロホンアレイＭＣ１およびマイクロホンアレイＭＣ２からの信号を受けてＡ／Ｄ変換し、それぞれｐ個のデジタル音源信号として出力し、このようなデジタル音源信号は、たとえば、ＲＡＭ２０７０に一時格納される。ＣＰＵ２０４０は、ｐ個のデジタル音源信号を、たとえば、４ミリ秒のフレーム長でフレーム化するためのフレーム化処理し、ｐチャンネルのフレーム化された音源信号に対してそれぞれＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を施し、ＦＦＴ処理により所定個数の周波数領域に変換し、４ミリ秒ごとの各チャネルの各ビンの値を、１００ミリ秒ごとにブロック化する（Ｓ１０４）。
【０１１２】
さらに、ＣＰＵ２０４０は、ブロック化された各ビンの値の間の相関を要素とする相関行列を所定時間ごと（１００ミリ秒ごと）に算出し、相関行列を固有値分解し、固有ベクトルを算出する（Ｓ１０６）。
【０１１３】
なお、図１でも説明したとおり、これも特に限定されないが、本実施の形態では、音源信号の周波数成分のうち、空間的分解能が低い１ｋＨｚ以下の帯域と、空間的エイリアシングが起こり得る６ｋＨｚ以上の帯域を除外するものとする。
【０１１４】
また、１フレーム長を４ミリ秒（ＦＦＴで は６４〜１２８点に相当）と短くすることにより、ＦＦＴの計算量が少なくてすむだけでなく、後の相関行列の算出、固有値分解、およびＭＵＳＩＣ応答の算出における計算量も抑制する。
【０１１５】
なお、ＨＤＤ２０８０は、マイクロホンアレイＭＣ１およびＭＣ２に含まれる各マイクロホンの位置を所定の座標系を用いて表す位置ベクトルを記憶するとともに、空間３次元地図の情報も記憶しているものとする。
【０１１６】
続けて、ＣＰＵ２０４０は、ＨＤＤ２０８０に記憶されているマイクロホンの位置ベクトル、および算出された固有ベクトルを用いて、音源数が固定されているものとしてＭＵＳＩＣ法によりＭＵＳＩＣ空間スペクトルを算出する。ＭＵＳＩＣアルゴリズムとしては、３次元での計算が可能なものが実装されているものとし、３次元の音源方位（ＤＯＡ）のみを推定が行われる。ＣＰＵ２０４０は、さらに、算出されたＭＵＳＩＣ空間スペクトルに基づいて、ＭＵＳＩＣ法にしたがいＭＵＳＩＣ応答を各方位について算出する（Ｓ１０８）。
【０１１７】
ＲＡＭ２０７０は、算出されたＭＵＳＩＣ応答のピークを、一時的に時系列に所定数だけＦＩＦＯ形式でそれぞれ蓄積する。ＣＰＵ２０４０は、ＲＡＭ２０７０に蓄積された各ブロックの各探索点のＭＵＳＩＣ応答について、音源の方向（上述した２つの偏角φおよびθ）を推定するとともに、空間３次元地図の情報により、反射音の方向も動的に推定する（Ｓ１１０）。
【０１１８】
そして、ＣＰＵ２０４０は、動的に推定された直接音の方向および反射音の方向とを用いて、上述したような手続きにより、音源の３次元的な位置を推定して、時系列で出力する（Ｓ１１２）。
【０１１９】
ＣＰＵ２０４０が、処理を終了させる指示が与えられていると判断した場合（Ｓ１１４）、処理は終了し、終了の指示が与えられていないと判断した場合は、処理は、Ｓ１０４に復帰する。
【０１２０】
以上説明したとおり、本発明の音源位置推定装置１０００では、複数のマイクロホンアレイにおいて音源方向推定を行い、空間の情報と反射音の方向の情報を利用し音源定位（３次元空間の位置推定）に利用することで、音源の３次元的な位置を推定することが可能である。
【０１２１】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１２２】
５０ 音源定位処理部、６０ 固有ベクトル算出部、６２ ＭＵＳＩＣ処理部、６４ 音源位置推定部、８６．１，８６．２ 相関行列算出部、８８．１，８８．２ 固有値分解部、１０４．１，１０４．２ ＭＵＳＩＣ空間スペクトル算出部、１０６．１，１０６．２ ＭＵＳＩＣ応答算出部、１１０  音源方向・反射音方向推定部、１１４  位置推定処理部、ＭＣ１，ＭＣ２ マイクロホンアレイ。
【図１】
2014098568.tif 000007
【図２】
2014098568.tif 000008
【図３】
2014098568.tif 000009
【図４】
2014098568.tif 000010
【図７】
2014098568.tif 000011
【図１１】
2014098568.tif 000012
【図１２】
2014098568.tif 000013
【図５】
2014098568.tif 000014
【図６】
2014098568.tif 000015
【図８】
2014098568.tif 000016
【図９】
2014098568.tif 000017
【図１０】
2014098568.tif 000018