(57)【特許請求の範囲】
【請求項１】
音源の位置をリアルタイムで測定する音源追跡システムであって、
移動機能を有する移動体に搭載されている第１マイクロフォンアレイからの出力と、前記第１マイクロフォンアレイの姿勢とに基づき、ビームフォーミング法にしたがって前記音源の位置または方位を測定する第１処理部と、
固定して配置されている第２マイクロフォンアレイからの出力に基づき、前記音源の位置を測定する第２処理部と、
前記音源の速度を測定し、当該測定結果に基づいてパーティクルフィルタの遷移モデルを切り替えながら、前記パーティクルフィルタを用いて前記第１および第２処理部のそれぞれの測定結果を統合することにより前記音源の位置を測定する第３処理部と、を備えていることを特徴とする音源追跡システム。
【請求項２】
請求項１記載の音源追跡システムにおいて、
前記第２処理部が、前記第２マイクロフォンアレイを構成する複数のマイクロフォンのそれぞれと前記音源との距離を推定し、当該複数のマイクロフォンのうち当該算定距離が閾値以下の該マイクロフォンからの出力のみに基づいて前記音源の位置を測定することを特徴とする音源追跡システム。
【請求項３】
請求項１記載の音源追跡システムにおいて、
前記第３処理部が、前記第１および第２処理部のそれぞれによる測定結果の尤度を算定し、当該尤度の重み付き和に基づいて前記音源の位置を測定することを特徴とする音源追跡システム。
【請求項４】
音源の位置をリアルタイムで測定する音源追跡方法であって、
移動機能を有する移動体に搭載されている第１マイクロフォンアレイからの出力と、前記第１マイクロフォンアレイの姿勢とに基づき、ビームフォーミング法にしたがって前記音源の位置または方位を測定する第１処理と、
固定して配置されている第２マイクロフォンアレイからの出力に基づき、前記音源の位置を測定する第２処理と、
前記音源の速度を測定し、当該測定結果に基づいてパーティクルフィルタの遷移モデルを切り替えながら、前記パーティクルフィルタを用いて前記第１および第２処理のそれぞれの測定結果を統合することにより前記音源の位置を測定する第３処理と、を実行することを特徴とする音源追跡方法。
【請求項５】
音源の位置をリアルタイムで測定する音源追跡システムにおいて利用されるロボットであって、
前記音源追跡システムが、
第１マイクロフォンアレイからの出力と、前記第１マイクロフォンアレイの姿勢とに基づき、ビームフォーミング法にしたがって前記音源の位置または方位を測定する第１処理部と、
固定して配置されている第２マイクロフォンアレイからの出力に基づき、前記音源の位置を測定する第２処理部と、
前記音源の速度を測定し、当該測定結果に基づいてパーティクルフィルタの遷移モデルを切り替えながら、前記パーティクルフィルタを用いて前記第１および第２処理部のそれぞれの測定結果を統合することにより前記音源の位置を測定する第３処理部と、を備え、
前記第１マイクロフォンアレイが搭載され、
前記第３処理部により測定された前記音源の位置に基づいて前記ロボットの挙動を制御する制御システムを備えていることを特徴とするロボット。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音源の位置をリアルタイムで測定する音源追跡システム等に関する。
【背景技術】
【０００２】
知覚のロバスト性向上の観点から、さまざまな情報を統合することは本質的である。たとえば、視聴覚の時間的な統合方法（文献１参照）、音声認識におけるＭｃＧｒｕｃｋ効果（文献２参照）、音源定位における視聴覚統合方法（文献３参照）等が知られている。さらに、ロボットに搭載されているマイクロフォンにより音源定位を行う手法が提案されており（文献４参照）、また、天井等に固定されたマイクロフォンアレイによる音源定位を行う手法が提案されている（文献５参照）。
文献１：「マルチドメイン音声対話システムの構築手法」長森誠ほか
情報処理学会研究報告，2000-SLP-31-7, 2000
文献２：「複数の音声対話システムの統合制御手法とその評価」河口信夫ほか
情報処理学会研究報告，2001-SLP-36-10, 2001
文献３：I. O’Neill et al. “Cross domain dialogue modeling.” An object-based approach. In Proc. ICSLP, Vol.I, 2004
文献４：特開２００４−１９８６５６号公報
文献５：特開２００６−１２１７０９号公報
しかし、当該先行技術には、音源定位追跡に関するロバスト性および精度に鑑みて改善の余地があった。【０００３】
そこで、本発明は、ロバスト性および精度の観点から音源定位追跡のパフォーマンスの向上を図りうる音源追跡システム等を提供することを解決課題とする。
【発明の開示】
【０００４】
本発明の音源追跡システムは、音源の位置をリアルタイムで測定する音源追跡システムであって、移動機能を有する移動体に搭載されている第１マイクロフォンアレイからの出力と、前記第１マイクロフォンアレイの姿勢とに基づき、ビームフォーミング法にしたがって前記音源の位置または方位を測定する第１処理部と、固定して配置されている第２マイクロフォンアレイからの出力に基づき、前記音源の位置を測定する第２処理部と、前記音源の速度を測定し、当該測定結果に基づいてパーティクルフィルタの遷移モデルを切り替えながら、前記パーティクルフィルタを用いて前記第１および第２処理部のそれぞれの測定結果を統合することにより前記音源の位置を測定する第３処理部と、を備えていることを特徴とする。
【０００５】
本発明の音源追跡システムによれば、第１マイクロフォンアレイの出力に基づく音源位置または方位測定結果と、第２マイクロフォンアレイの出力に基づく音源位置測定結果とがパーティクルフィルタを用いて統合または空間統合される。このため、異なるマイクロフォンアレイの相互の欠点や曖昧性を解消することができる。したがって、精度向上およびロバスト性に鑑みて音源定位のパフォーマンスを向上させることができる。さらに、音源速度、ひいては音源速度に鑑みて推察される当該音源の挙動態様に応じて遷移モデルが使い分けられうる。これにより、複数の音源が存在する空間において定位追跡対象である音源の異同が曖昧になる事態が回避されうる。たとえば、第１および第２音源のそれぞれの速度に鑑みて推察される各音源の挙動態様が考慮されることで、追跡対象が第１音源であるか第２音源であるかが途中で曖昧または不明瞭になる事態が回避される。そして、このような曖昧さを解消することにより、各音源の定位追跡の精度向上を図ることができる。
【０００６】
前記第２処理部が前記第２マイクロフォンアレイを構成する複数のマイクロフォンのそれぞれと前記音源との距離を推定し、当該複数のマイクロフォンのうち当該算定距離が閾値以下の該マイクロフォンからの出力のみに基づいて前記音源の位置を測定することが好ましい。
【０００７】
当該構成の音源追跡システムによれば、第２マイクロフォンアレイを構成する複数のマイクロフォンのそれぞれと音源との距離に基づいて選択された、当該第２マイクロフォンアレイの部分集合のみが利用されるサブアレイ法が採用されている。これにより、第２処理部による計算量の低減および計算時間の短縮が図られうる。
【００１０】
前記第３処理部が、前記第１および第２処理部のそれぞれによる測定結果の尤度を算定し、当該尤度の重み付き和に基づいて前記音源の位置を測定することが好ましい。
【００１１】
当該構成の音源追跡システムによれば、異なるマイクロフォンアレイによる異なる音源の定位結果、すなわち、第１処理部による音源の位置または方位測定結果および第２処理部による音源の位置測定結果が、各測定結果の尤度の重み付き和によって統合されうる。したがって、当該測定結果が直接的に統合される場合と比較して、当該測定結果が簡易に統合されうる。
【００１２】
本発明の音源追跡方法は、音源の位置をリアルタイムで測定する音源追跡方法であって、移動機能を有する移動体に搭載されている第１マイクロフォンアレイからの出力と、前記第１マイクロフォンアレイの姿勢とに基づき、ビームフォーミング法にしたがって前記音源の位置または方位を測定する第１処理と、固定して配置されている第２マイクロフォンアレイからの出力に基づき、前記音源の位置を測定する第２処理と、前記音源の速度を測定し、当該測定結果に基づいてパーティクルフィルタの遷移モデルを切り替えながら、前記パーティクルフィルタを用いて前記第１および第２処理のそれぞれの測定結果を統合することにより前記音源の位置を測定する第３処理と、を実行することを特徴とする。
【００１３】
本発明の音源追跡方法によれば、精度向上およびロバスト性に鑑みて音源定位のパフォーマンスを向上させることができる。
【００１４】
本発明のロボットは、音源の位置をリアルタイムで測定する音源追跡システムにおいて利用されるロボットであって、前記音源追跡システムが、第１マイクロフォンアレイからの出力と、前記第１マイクロフォンアレイの姿勢とに基づき、ビームフォーミング法にしたがって前記音源の位置または方位を測定する第１処理部と、固定して配置されている第２マイクロフォンアレイからの出力に基づき、前記音源の位置を測定する第２処理部と、前記音源の速度を測定し、当該測定結果に基づいてパーティクルフィルタの遷移モデルを切り替えながら、前記パーティクルフィルタを用いて前記第１および第２処理部のそれぞれの測定結果を統合することにより前記音源の位置を測定する第３処理部と、を備え、前記第１マイクロフォンアレイが搭載され、前記第３処理部により測定された前記音源の位置に基づいて前記ロボットの挙動を制御する制御システムを備えていることを特徴とする。
【００１５】
本発明のロボットによれば、精度向上およびロバスト性に鑑みて音源定位のパフォーマンスを向上させることができるので、当該音源定位結果に鑑みて適当に行動が制御されうる。
【図面の簡単な説明】
【００１６】
【図１】音源追跡システムの構成説明図
【図２】ロボットおよびＲＥＭＡの構成説明図
【図３】ＩＲＭＡの構成説明図
【図４】音源追跡システムの機能説明図
【図５ａ】音源追跡の曖昧性に関する説明図その１
【図５ｂ】音源追跡の曖昧性に関する説明図その２
【図５ｃ】音源追跡の曖昧性に関する説明図その３
【図６】音源追跡の実験状況説明図その１
【図７ａ】音源の比較追跡結果の説明図その１
【図７ｂ】本願発明の手法にしたがった音源の比較追跡結果の説明図その１
【図８】音源追跡の実験状況説明図その２
【図９ａ】音源の比較追跡結果の説明図その２
【図９ｂ】本願発明の手法にしたがった音源の比較追跡結果の説明図その２
【図１０ａ】音源追跡結果に基づくロボット行動制御の説明図
【図１０ｂ】音源追跡結果に基づくロボット行動制御の説明図
【発明を実施するための最良の形態】
【００１７】
本発明の音源追跡システム等の実施形態について図面を用いて説明する。【００１８】
図１に示されている音源追跡システム１は、ロボット１０に搭載されているＲＥＭＡ（ロボット搭載型マイクロフォンアレイ（Robot-Embedded Microphone Array）の略。第１マイクロフォンアレイに該当する。）１１と、ロボット１０が存在する環境に固定して配置されたＩＲＭＡ（室内設置型マイクロフォンアレイ（In-Room Microphone Array）の略。第２マイクロフォンアレイに該当する。）１２とを用いて、音源（声を発する人間）２０の位置を測定するシステムである。音源追跡システム１は、ＲＥＭＡシステム（第１処理部に該当する。）１１０と、ＩＲＭＡシステム（第２処理部に該当する。）１２０と、ＭＡＩ（マイクロフォンアレイインテグレータの略。第３処理部に該当する。）１３０とを備えている。【００１９】
図２に示されているようにロボット１０は基体（胴体部）Ｐ０と、基体Ｐ０の上部に設けられた頭部Ｐ１と、基体Ｐ０の上部左右両側から延設された左右の腕部Ｐ２と、腕部Ｐ２の先端部に設けられた手部Ｐ４と、基体Ｐ０の下部から下方に延設された左右の脚部Ｐ３と、脚部Ｐ３の先端部に取り付けられている足部Ｐ５とを備えている。ロボット１は、再表０３／０９０９７８号公報や、再表０３／０９０９７９号公報に開示されているように、制御システム１００によりアクチュエータ（またはモータ）の動作が制御され、当該アクチュエータから伝達される力によって、人間の肩関節、肘関節、手根関節、股関節、膝関節、足関節等の複数の関節に相当する複数の関節部分において腕部Ｐ２や脚部Ｐ３を屈伸運動させることができる。ロボット１は、左右の脚部Ｐ３（または足部Ｐ５）のそれぞれの離床および着床の繰り返しを伴う動きによって自律的に移動することができる。【００２０】
ＲＥＭＡ１１は頭部Ｐ１に搭載されている。ＲＥＭＡ１１は基本水平面に平行な面において環状に配置された８つの無指向性のマイクロフォン１１２により構成されている。ロボット１は頭部Ｐ１を基体Ｐ０に対してヨー軸回りに回動させることができ、かつ、頭部Ｐ１を基体Ｐ０に対して傾けることができる。なお、ＲＥＭＡ１１はロボット１０の基体Ｐ０等、頭部Ｐ１とは異なる部位に搭載されてもよい。【００２１】
頭部Ｐ１には、左右に並んでロボット１の前方に向けられた一対の頭カメラ（ＣＣＤカメラ）Ｃ１が搭載されている。基体Ｐ０には前側下部に腰カメラ（赤外線カメラ）Ｃ２が搭載されている。ロボット１には基体Ｐ０の加速度に応じた信号を出力するジャイロセンサ、各関節の関節角度に応じた信号を出力するロータリエンコーダ、脚部Ｐ３に作用する床反力に応じた信号を出力する６軸力センサ等、種々のセンサが搭載されている。【００２２】
ＩＲＭＡ１２はたとえば図３に示されているように部屋全体に配置され、壁面等に固定された複数のマイクロフォン１２２により構成されている。ＩＲＭＡ用のビームフォーマを設計するため、０．２５［ｍ］のメッシュを用いて室内が離散化された。離散化領域（Ｘ−Ｙ平面）はＸ＝１．０〜５．０［ｍ］，Ｙ＝０．５〜３．５［ｍ］，Ｚ＝１．２［ｍ］の範囲で定義される。当該離散化により２２１個の音源定位用の評価点が得られた。また、反響が一様でない環境や任意のマイクレイアウトに対応するため、すべての音源定位用評価点でスピーカ（音源）２０をロボット１０に向けた状態でインパルス応答が計測され、当該計測結果に基づいて得られる伝達関数に基づき、ビームフォーマ「Ｍ−ＢＦ」が設計された。また、Ｍ−ＢＦに対してサブアレイ法を適用したビームフォーマ「ＭＳ−ＢＦ」が設計された。なお、Ｍ−ＢＦやＭＳ−ＢＦに加えてまたは代わりに、Ｓｉｍ−ＢＦやＲＳｉｍ−ＢＦがＩＲＭＡ用のビームフォーマとして採用されてもよい。「Ｓｉｍ−ＢＦ」は室内が単に自由空間であると仮定して設計されるビームフォーマである。「ＲＳｉｍ−ＢＦ」は壁の反射音パワーによる影響が低減されるように、シミュレーション計算に基づいて設計されるビームフォーマである。【００２３】
ＲＥＭＡシステム１１０はＲＥＭＡ１１からの出力と、ＲＥＭＡ１１の姿勢とに基づき、ビームフォーミング法にしたがって音源２０の位置を測定する。ＩＲＭＡシステム１２はＩＲＭＡ１２からの出力に基づき、音源２０の位置を測定する。ＭＡＩ１３０はＲＥＭＡシステム１１０およびＩＲＭＡシステム１２０のそれぞれの測定結果を、パーティクルフィルタを用いて統合することにより音源２０の位置を測定し、当該測定結果をＬＣＤ１３２に出力させる。【００２４】
前記構成の音源追跡システム１００の機能について説明する。【００２５】
ＲＥＭＡシステム１１０により第１処理が実行される（図４／Ｓ１１０）。具体的にはＲＥＭＡ１１からの出力に基づき、適応ビームフォーマの一種であるＭＵＳＩＣ（Multiple Signal Classification）にしたがって実時間でロボット座標系（またはＲＥＭＡ座標系）における音源２０の方位が測定される。なお、第１処理に際して音源２０の位置が測定されてもよい。【００２６】
ロボット座標系における音源２０の方位を固定座標系（図３に示されているＸ−Ｙ平面参照）における方位に変換するため、固定座標系における頭部Ｐ１の向きがＲＥＭＡ１１の姿勢として測定される。固定座標系における頭部Ｐ１の向きは、ロボット１０の各関節角度ひいては姿勢を表すロータリエンコーダの出力に基づいて測定される。固定座標系における頭部Ｐ１の姿勢測定と、ＲＥＭＡ１１による音響信号処理とを高精度で同期させるため、エンコーダからの出力の遅れ時間が考慮されている。当該遅れ時間は、たとえば、基体Ｐ０に対する頭部Ｐ１のヨー軸回りの回転角度等、ロボット１０における共通の角度を測定するために設けられたエンコーダおよびポテンショメータのそれぞれからの出力の位相差に基づいて測定される。【００２７】
なお、ロボット１０の制御システム１００との通信により得られる、頭カメラＣ１または腰カメラＣ２により撮像された部屋の壁面や床面に固定されているマークの位置に基づいて固定座標系におけるＲＥＭＡ１１の姿勢が測定されてもよい。また、部屋に設置されたカメラを通じて得られたロボット１０の画像、またはモーキャプシステムによるロボット１０の動作解析に基づいて固定座標系におけるＲＥＭＡ１１の姿勢が測定されてもよい。測定方法が異なっていても、姿勢測定の遅れ時間等の因子が考慮されることにより、固定座標系における頭部Ｐ１の姿勢測定と、ＲＥＭＡ１１による音響信号処理とを高精度で同期させることができる。【００２８】
当該測定結果に基づき、式（１）で表現される、ＲＥＭＡシステム１１０による時刻ｔにおける観測ベクトルＵREMA（ｔ）が得られる。【００２９】
ＵREMA（ｔ）＝｛ｕa1（ｔ），‥，ｕan（ｔ），‥，ｕaN1t（ｔ）｝‥（１）
ここでＮ１ｔは時刻ｔにおけるＲＥＭＡ１１の観測数である。ｕan（ｔ）はｎ番目のＲＥＭＡマイクロフォン１１２から見た音源２０の方向を表す固定座標系における水平角度（方位）ａθl（ｔ）と、音源２０から発せられた音の推定パワーａpl（ｔ）とを成分とする、式（２）で表現されるベクトルである。【００３０】
ｕan（ｔ）≡（ａθn（ｔ），ａpn（ｔ））  ‥（２）
ＭＵＳＩＣによれば、雑音源の方向に死角を形成した上で目的音源方向を推定することができ、かつ、環境の変化に応じて当該死角の方向を適宜調節することができるため、ロバスト性を向上させることができる（文献６参照）。なお、ＭＵＳＩＣの実装に際して、ヒューマノイドロボットを対象に開発された実装が利用された（文献７参照）。【００３１】
文献６：F. Asano, et al. “Real-time sound source localization and separation system and its application to automatic speech recognition.” In ISCA, editor, Proc. Of European Conference on Speech Processing (Eurospeech 2001), pp.1013-1016, 2001
文献７：I. Hara, et al. “Robust speech interface based on audio and video information fusion for humanoid HRP-2.” In Proc. of IEEE/RAS International Conference on Intelligent and Systems (IROS-2004), pp.2404-2410. IEEE, 2004.
ＩＲＭＡシステム１２０により第２処理が実行される（図４／Ｓ１２０）。具体的にはＩＲＭＡ１２からの出力に基づき、重み付き遅延和法（ＷＤＳ−ＢＦ）にしたがって音源２０の位置が測定される（文献８参照）。
文献８：K. Nakadai, et al. “Sound source tracking with directivity patternestimation using a 64ch microphone array.” In Proc. of the IEEE/RSJ Intl. Conference on Intelligent Robots and Systems (IROS 2005), pp.196-202, 2005.
一般に典型的なビームフォーミングでは、システム出力Ｙp（ω）は、位置ｐにある音源２０のスペクトルＸ（ω）と、音源２０からｎ番目のＩＲＭＡマイクロフォン１２２への伝達関数Ｈp,n（ω）と、ｎ番目のＩＲＭＡマイクロフォン１２２により集音された信号のスペクトルＸn（ω）と、ｎ番目のマイクロフォン１２２へのＧn,p（ω）とに基づき、式（３）により表現される。【００３２】
Ｙp（ω）＝ΣnＧn,p（ω）Ｘn（ω）
＝ΣnＧn,p（ω）Ｈp,n（ω）Ｘ（ω）  ‥（３）
ＷＤＳ−ＢＦによれば、測定結果や計算的に導出されたものなどさまざまなタイプの伝達関数Ｈp,n（ω）を統一的に取り扱えるように一般化されている。また、伝達関数Ｈp,n（ω）の動的変化や、入力信号Ｘn（ω）のひずみなどに対するロバスト性を持たせるようにフィルタ関数Ｇn,p（ω）のノルムが最小化されている（文献９参照）。
文献９：中島弘史「不定項を利用した平均サイドローブエネルギー最小ビームフォーミングの実現」、日本音響学会誌  Vol.62, No.10, pp.726-737, 2006.
また、ｎ番目のマイクロフォン１２２から音源２０までの距離ｒnに応じて伝達関数Ｈp,n（ω）の値が設定される。具体的には、式（４）に示されているように伝達関数Ｈp,n（ω）は当該距離ｒnが閾値ｒth以下である場合にはそのままに維持される（ｎ番目のマイクロフォン１２２の出力が採用される）一方、当該距離ｒnが閾値ｒthを超えている場合には０に設定される。【００３３】
Ｈp,n（ω）＝Ｈp,n（ω）（ｒn≦ｒthの場合）、または
＝０（ｒn＞ｒthの場合）‥（４）
これにより、式（５）で表現される、ＩＲＭＡシステム１２０による時刻ｔにおける観測ベクトルＵIRMA（ｔ）が得られる。【００３４】
ＵIRMA（ｔ）＝｛ｕb1（ｔ），‥，ｕbm（ｔ），‥，ｕbN2t（ｔ）｝‥（５）
ここでＮ２ｔは時刻ｔにおけるＩＲＭＡ１２の観測数である。ｕbm（ｔ）は固定座標系における音源２０の位置（ｂxm（ｔ），ｂym（ｔ））と、固定座標系における音源２０の進行方向ｂOm（ｔ）と、音源２０から発せられた音の推定パワーｂpm（ｔ）とを成分とする、式（６）で表現されるベクトルである。【００３５】
ｕbm（ｔ）≡（ｂxm（ｔ），ｂym（ｔ），ｂOm（ｔ），ｂpm（ｔ））‥（６）
また、ＷＤＳ−ＢＦは位置ｐが極座標（ｒ，θ）により表現されることにより、指向特性推定に適用されうる。指向特性推定が応用されることにより音源２０が向いている方向が推定され、あるいは実際には人間が話しているのか、それともスピーカから出力された音声なのかが判別されうる。【００３６】
そして、ＭＡＩ１３０により第３処理が実行される（図４／Ｓ１３０）。具体的には、第１処理における測定結果と、第２処理における測定結果とが、パーティクルフィルタを用いて統合されることにより音源２０の位置が測定される。【００３７】
パーティクルフィルタ（文献１０参照）はＳＬＡＭ（Simultaneous Localization And Mapping）や物体追跡などを効率的に解くために用いられる手法である（文献１１参照）。基本的にはパーティクルを用いて状態がサンプリングされ、得られたパーティクルが遷移モデルおよび観測モデルを用いて更新されていくことにより、観測結果から内部状態が推定される。パーティクルフィルタには、線形遷移のみを扱うＫａｌｍａｎフィルタなどと異なり、非線形の動きを追跡する枠組みを有していること、ガウシアン以外の分布を容易に扱えること、パーティクル数に基づき動作速度が制御可能であること等の特長がある。また、パーティクルフィルタは遷移モデルおよび観測モデルが用意されれば、データの種類にかかわらず利用されうる。
文献１０：M.S.Arulampalam, et al. “A tutorial on particle filters for online nonlinear/non-gaussian Bayesian tracking.” IEEE Transactions on Signal Processing, Vol.50, No.2, pp.174-188, 2002.
文献１１：S. Thurn, et al. “Probabilistic Robotics.” The MIT Press, 2005.
しかしながら、異なる２つのマイクロフォンアレイ、すなわちＲＥＭＡ１１およびＩＲＭＡ１２のそれぞれの測定結果を統合するためにパーティクルフィルタが用いられる場合には問題が生じる。すなわち、ロボット座標系および絶対座標系の併存、ならびに、極座標系およびカルテシアン座標系の併存に由来する２つの問題である。【００３８】
第１の問題は音響処理とロボット１０の動作との高度な時間同期が必要となることである。これは、ＲＥＭＡシステム１１０による測定結果およびＩＲＭＡシステム１２０による測定結果が統合されるためには、ＲＥＭＡシステム１１０による測定結果が、ロボット座標系から固定座標系に変換される必要があるためである。【００３９】
第２の問題は測定結果の次元が異なることである。すなわち、ＲＥＭＡシステム１１０による測定結果が１次元（方位または水平角度）であるのに対して、ＩＲＭＡシステム１２０による測定結果が２次元である。【００４０】
そこで、第１の問題を解決するため、動作と音響信号取得とを高精度で同期させることができるハードウェアが採用されている。また、第２の問題を解決するため、各座標系について尤度関数、尤度によって測定結果を統合する手法が採用されている。より具体的な手法について以下説明する。【００４１】
パーティクルフィルタにおいては、遷移モデルｐ（ｓ（ｔ）｜ｓ（ｔ−１））と観測モデルｐ（ｕ（ｔ）｜ｓ（ｔ））とが確率的な表現として定義される。遷移モデルｐ（ｓ（ｔ）｜ｓ（ｔ−１））は、時刻ｔ−１における状態ｓ（ｔ−１）から時刻ｔにおける状態ｓ（ｔ）を推定するためのモデルである。観測モデルｐ（ｕ（ｔ）｜ｓ（ｔ））は状態ｓ（ｔ）に鑑みて観測ベクトルｕ（ｔ）の確からしさを評価するためのモデルである。【００４２】
また、一般的なパーティクルフィルタに次のように改良されたパーティクルフィルタが用いられている。すなわち、複数の音源に対応できるように複数のパーティクルグループの併存が許容され、観測状況に応じて当該グループの数を動的に変化させる機構が実装されている（改良点その１）。また、移動音源はある程度の速度であれば急激に進行方向を変えないという仮定のもと、ランダムウォークと運動方程式とをオン減速度に応じて使い分ける非線形名遷移モデルが採用されている（改良点その２）。さらに、ＲＥＭＡ１１およびＩＲＭＡ１２のそれぞれから得られる次元数の異なる測定位置情報を透過的に統合するため、尤度レベルで当該測定位置情報を統合する機構が実装されている（改良点その３）。【００４３】
改良パーティクルフィルタを用いた処理について次に説明する。【００４４】
まず、パーティクルが初期化される（図４／Ｓ１３１）。ｉ番目のパーティクルの内部状態ｓi（ｔ）は音源位置（ｘi（ｔ），ｙi（ｔ））、音源速度ｖi（ｔ）および音源進行方向ｏi（ｔ）により式（７）で表現される。【００４５】
ｓi（ｔ）≡（ｘi（ｔ），ｙi（ｔ），ｖi（ｔ），ｏi（ｔ））‥（７）
初期化に際して、すべてのパーティクルが一様かつランダムに分布される。また、複数の音源を扱うため、総数ＮのパーティクルがＮk個のパーティクルを包含するＳ（＞１）個のパーティクルグループＰkに分割される。さらに、パーティクルグループＰkごとに、音源追跡への寄与に鑑みたｉ番目のパーティクルの重要度ｗiが式（８）で表される規格化条件を満たすように導入されている。【００４６】
Σi∈Pkｗi＝１  ‥（８）    
また、複数の音源を扱うため、音源生成・消滅チェックが実行される（図４／Ｓ１３２）。【００４７】
時刻ｔにおけるパーティクルグループＰkの内部状態Ｓk（ｔ）が式（９）により定義される。【００４８】
Ｓk（ｔ）≡Σi∈Pkｓi（ｔ）・ｗi（ｔ）  ‥（９）
さらに、ＲＥＭＡシステム１１０によるｊ番目の観測結果ｕaj（ｔ）が不等式（１０ａ）で表されているようにパーティクルグループＰkの内部状態Ｓk（ｔ）とのユークリッド距離が閾値Ｄth未満であるという条件を満たすことを要件として、当該観測結果ｕaj（ｔ）がパーティクルグループＰkにアソシエートされる。同様にＩＲＭＡシステム１２０によるｊ番目の観測結果ｕbj（ｔ）が不等式（１０ｂ）で表されているようにパーティクルグループＰkの内部状態Ｓk（ｔ）とのユークリッド距離が閾値Ｄth未満であるという条件を満たすことを要件として、当該観測結果ｕbj（ｔ）がパーティクルグループＰkにアソシエートされる。【００４９】
｜Ｓk（ｔ）−ｕaj（ｔ）｜＜Ｄth  ‥（１０ａ）
｜Ｓk（ｔ）−ｕbj（ｔ）｜＜Ｄth  ‥（１０ｂ）
一方、観測結果に対応するパーティクルグループＰkがない場合、新たなパーティクルグループが生成される。また、パーティクルグループＰkにアソシエートする観測結果が所定時間にわたり得られなかった場合、当該パーティクルグループＰkは消滅する。いずれの場合も式（８）で示されている規格化条件が満たされるように重要度ｗiが設定される。【００５０】
続いて、時刻ｔ−１におけるｉ番目のパーティクルの状態ｓi（ｔ−１）に基づき、遷移モデル（ｓ（ｔ）｜ｓ（ｔ−１））にしたがって、時刻ｔにおける当該ｉ番目のパーティクルの状態ｓi（ｔ）が推定される（図４／Ｓ１３３）。【００５１】
遷移モデルは、前記のようにランダムウォークと運動方程式とを音源２０の速度ｖに応じて使い分ける非線形モデルである。具体的には、音源速度ｖが閾値ｖth（たとえば２［ｍ／ｓ］）以下の場合、ランダムウォークが採用され、遷移モデル（第１遷移モデル）は式（１１）により表現される。【００５２】
ｓi（ｔ）＝ｓi（ｔ−１）＋ｒ，
ｒ＝（ｒx，ｒy，ｒv，ｒo）  ‥（１１）
ここでｒはガウス雑音を表している。【００５３】
一方、音源の速度ｖが閾値ｖthを超えている場合、遷移モデル（第２遷移モデル）は運動方程式（１２ａ）〜（１２ｄ）により表現される。【００５４】
ｘi（ｔ）＝ｘi（ｔ−１）
＋ｖi（ｔ−１）・ｃｏｓ（ｏi（ｔ−１））＋ｒx  ‥（１２ａ）
ｙi（ｔ）＝ｙi（ｔ−１）
＋ｖi（ｔ−１）・ｓｉｎ（ｏi（ｔ−１））＋ｒy  ‥（１２ｂ）
ｖi（ｔ）＝α・ｖi（ｔ−１）
＋（１−α）・｛（Δｘi（ｔ））2＋（Δｙi（ｔ））2｝1/2＋ｒv，
Δｘi（ｔ）＝ｘi（ｔ）−ｘi（ｔ−１），
Δｙi（ｔ）＝ｙi（ｔ）−ｙi（ｔ−１）  ‥（１２ｃ）
ｏi（ｔ）＝α・ｏi（ｔ−１）
＋（１−α）・ｔａｎ-1｛Δｘi（ｔ）／Δｙi（ｔ）｝＋ｒo  ‥（１２ｄ）
ｉ番目のパーティクルの重要度ｗi（ｔ）は、式（８）に示されている規格化条件下で、統合尤度ＬI（ｔ）に基づき、式（１３）にしたがって更新される。【００５５】
ｗi（ｔ）＝ＬI（ｔ）・ｗi（ｔ−１）  ‥（１３）
統合尤度ＬI（ｔ）はＲＥＭＡ尤度ＬREMAと、ＩＲＭＡ尤度ＬIRMAと、適宜設定される尤度統合用重みαLとに基づき、式（１４）により表現される。【００５６】
ＬI（ｔ）＝αL・ＬREMA（ｔ）＋（１−αL）・ＬIRMA（ｔ）  ‥（１４）
ＲＥＭＡ尤度ＬREMAはｉ番目のパーティクルフィルタの状態（ベクトル）ｓi（ｔ）がｘ軸となす角度θx（ｓi（ｔ））と、ロボットの位置ＰREMA（ｔ）と、ＲＥＭＡ１１による音源位置測定結果の分散ＲREMAとに基づき、式（１５）により定義される。【００５７】
ＬREMA（ｔ）≡ｅｘｐ［−｛θx（ｓi（ｔ））−ＰREMA（ｔ）−θL｝2
／２ＲREMA］‥（１５）
ＩＲＭＡ尤度ＬIRMAはｉ番目のパーティクルの状態ｓi（ｔ）とＩＲＭＡ１２により得られた観測ベクトルｕbm（ｔ）とのユークリッド距離｜ｓi（ｔ）−ｕbm（ｔ）｜と、ＩＲＭＡ１２による音源位置測定結果の分散ＲIRMAとに基づき、式（１６）により定義される。【００５８】
ＬIRMA（ｔ）
≡ｅｘｐ［−｜ｓi（ｔ）−ｕbm（ｔ）｜2／２ＲIRMA］  ‥（１６）
さらに、重要度ｗiに基づきパーティクルが更新される（図４／Ｓ１３４）。【００５９】
具体的には、パーティクルグループＰkに属するｉ番目のパーティクルの数が式（１７）にしたがって更新される。【００６０】
Ｎki＝ｒｏｕｎｄ（Ｎk・ｗi）  ‥（１７）
また、残りの未更新のＲk（＝Ｎk−Σi∈PkＮki）個のパーティクルも、式（１８）で表現される残差重みパラメータＲwiにしたがって分配される。この際、一般的なＳＩＲ（Sampling Importance Resampling）アルゴリズム（文献２参照）が用いられる。【００６１】
Ｒwi＝ｗi−Ｎki／Σj∈PkＮj  ‥（１８）
さらに、更新後のパーティクル密度から事後確率ｐ（ｓ（ｔ）｜ｕj（ｔ））が推定される（図４／Ｓ１３５）。音源ｋに対するｋ番目のパーティクルグループＰkの内部状態Ｓk（ｔ）は式（９）にしたがって推定される。【００６２】
そして、推定された事後確率ｐ（ｓ（ｔ）｜ｕj（ｔ））に基づき、固定座標系における音源２０の位置が推定される（図４／Ｓ１３６）。音源２０の位置推定結果または追跡結果がＪａｖａ（登録商標）３Ｄにより実装されているサウンドビューワに送られ、ＬＣＤ１３２において当該追跡結果が逐次３次元的に表示される。【００６３】
音源追跡が完了したか否かが判定される（図４／Ｓ１４０）。当該判定結果が否定的である場合（図４／Ｓ１４０‥ＮＯ）、前記の処理が繰り返される。一方、当該判定結果が肯定的である場合（図４／Ｓ１４０‥ＹＥＳ）、一連の処理が終了する。【００６４】
前記機能を発揮する音源追跡システム１によれば、ＲＥＭＡ（第１マイクロフォンアレイ）１１の出力に基づく音源方位測定結果と、ＩＲＭＡ（第２マイクロフォンアレイ）１２の出力に基づく音源位置測定結果とがパーティクルフィルタを用いて統合または空間統合される（図４／Ｓ１３０参照）。このため、異なるマイクロフォンアレイ、すなわち、ＲＥＭＡ１１およびＩＲＭＡ１２の相互の欠点や曖昧性を解消することができる。したがって、精度向上およびロバスト性に鑑みて音源定位のパフォーマンスを向上させることができる。【００６５】
また、ＩＲＭＡ（第２マイクロフォンアレイ）１２を構成する複数のマイクロフォン１２２のそれぞれと音源２０との距離ｒnに基づいて選択された、当該ＩＲＭＡ１２の部分集合のみが利用されるサブアレイ法が採用されている（図４／Ｓ１２０参照）。具体的には、音源２０との距離ｒnが閾値ｒthを超えているＩＲＭＡマイクロフォン１２２の伝達関数Ｈp,n（ω）が０に設定されることにより、ＩＲＭＡ１２の部分集合が選択される（式（４）参照）。これにより、ＩＲＭＡシステム（第２処理部）１２０による計算量の低減および計算時間の短縮が図られうる。【００６６】
さらに、音源速度ｖ、ひいては音源速度ｖに鑑みて推察される当該音源２０の挙動態様に応じて遷移モデルが使い分けられうる（図４／Ｓ１３３参照）。たとえば、図５（ａ）に示されているように２つの音源２０が矢印で示すように徐々に近接し、その後、徐々に離反するように挙動した状況を考える。この場合、図５（ｂ）に示されているように第１音源２１および第２音源２２のそれぞれが徐々に近づくように移動し、相互に接近した後で進行方向を変更したのか、図５（ｃ）に示されているように第１音源２１および第２音源２２のそれぞれが徐々に近づくように移動し、相互に接近した後も進行方向を変えずに移動したのかが曖昧になる可能性がある。そこで、それぞれの速度ｖに鑑みて推察される第１音源２１および第２音源２２のそれぞれの挙動態様が考慮されて遷移モデルが使い分けられる。【００６７】
すなわち、音源速度ｖが閾値ｖth以下の場合、音源２０の挙動態様としてランダムウォークが推察され、第１遷移モデルが採用される（式（１１）参照）。第１遷移モデルは、第１音源２１および第２音源２２のそれぞれが相互に接近した後で進行方向を変更する場合、速度ｖが低下して閾値ｖth以下になるという仮定に基づいて採用される遷移モデルである。これにより、第１音源２１および第２音源２２が相互に接近したときの各音源２１，２２の速度ｖが閾値ｖth以下の場合、各音源２１，２２が図５（ｂ）に示されているように挙動したことが推察された上で定位追跡される。【００６８】
一方、音源速度ｖが閾値ｖthを超えている場合、第２遷移モデルが採用される（運動方程式（１２ａ）〜（１２ｄ）参照）。第２遷移モデルは、第１音源２１および第２音源２２のそれぞれが接近する前後で進行方向を維持する場合、速度ｖがさほど低下せず、閾値ｖthを超えるという仮定に基づいて採用される遷移モデルである。これにより、第１音源２１および第２音源２２のそれぞれが接近したときの各音源２１，２２の速度ｖが閾値ｖthを超えている場合、各音源２１，２２が図５（ｃ）に示されているように挙動したことが推察された上で定位追跡される。【００６９】
これにより、追跡対象が第１音源２１であるか第２音源２２であるかが途中で曖昧または不明瞭になる事態が回避され、各音源２１，２２の定位追跡の精度向上を図ることができる。【００７０】
また、異なるマイクロフォンアレイによる異なる音源の定位結果、すなわち、ＲＥＭＡシステム１１０による音源２０の方位測定結果およびＩＲＭＡシステム１２０による音源２０の位置測定結果が、各測定結果の尤度ＬREMAおよびＬIRMAの重み付き和によって統合されうる（図４／Ｓ１３４，式（１４）参照）。したがって、当該測定結果、すなわちＲＥＭＡシステム１１０により得られた観測ベクトルＵREMA（ｔ）およびＩＲＭＡシステム１２０により得られた観測ベクトルＵIRMA（ｔ）が直接的に統合される場合と比較して、当該測定結果が簡易に統合されうる。【００７１】
続いて、ＲＥＭＡ１１およびＩＲＭＡ１２が併用された手法による、音源の位置測定および追跡のパフォーマンスの評価結果について説明する。【００７２】
図６に示されているようにロボット座標系（ｘ，ｙ）が固定座標系（Ｘ，Ｙ）に対して１８０°傾いている状態で、人間（音源）２０が常にロボット１０を向いて発話しながら、矢印で示されているようにロボット１０を中心として反時計回りに半円を描くように移動する状況が設定された。この状況で超音波３Ｄタグシステム（Ｕ３Ｄ−ＴＳ）（文献１２参照）を用いた音源２０の基準追跡結果が図７（ａ）および図７（ｂ）のそれぞれに破線で示されている。
文献１２：Y. Nishida, et al. “3D ultrasonic tagging system for observing human activity.” In IEEE, editor, Proceedings of the 2003 IEEE/RSJ Intl. Conference on Intelligent Robots and Systems (IROS 2003), pp.785-791, 2003.
また、同じ状況でＩＲＭＡシステム１２０から得られた測定結果のみを用い、パーティクルフィルタを適用したときの音源２０の比較追跡結果が図７（ａ）に実線で示されている。さらに、同じ状況で本願発明の手法にしたがってＲＥＭＡシステム１１０およびＩＲＭＡシステム１２０の両方の測定結果を用い、パーティクルフィルタを適用したときの音源２０の追跡結果が図７（ｂ）に実線で示されている。【００７３】
図７（ａ）に示されている、基準追跡結果（破線）に対する比較追跡結果（実線）の誤差平均は０．１２［ｍ］であり、誤差標準偏差は０．０６２［ｍ］であった。これに対して、図７（ｂ）に示されている、基準追跡結果（破線）に対する本願発明の手法にしたがった追跡結果（実線）の誤差平均は０．１０［ｍ］であり、誤差標準偏差は０．０４０［ｍ］であった。すなわち、本願発明の手法にしたがった追跡結果（図７（ｂ）実線）のほうが、比較追跡結果（図７（ａ）実線）よりも、基準追跡結果（図７（ａ）（ｂ）破線）に整合しており、追跡または測定精度が高いことが実験によって確認された。なお、頭部Ｐ１が人間２０に向けられるように、ＲＥＭＡ１１の座標系またはロボット座標系を固定座標系に対して回転させた状況でも同様に、本願発明の手法による測定精度の高さが確認された。ＲＥＭＡ１１の座標系は、ロボット１０の向きをその場で変えさせ、これに加えてまたは代えて頭部Ｐ１を基体Ｐ０に対してヨー軸回りに回転させることにより、固定座標系に対して回転させられる。【００７４】
また、図８に示されているようにロボット座標系（ｘ，ｙ）が固定座標系（Ｘ，Ｙ）に対して１８０°傾いている状態で、初期状態でロボット１０を挟んで対向している第１の人間（音源）２０Ａおよび第２の人間（音源）２０Ｂのそれぞれが常にロボット１０を向いて発話しながら、矢印で示すようにロボット１０を中心として反時計回りに半円を描くように移動する状況が設定された。この状況で超音波３Ｄタグシステム（Ｕ３Ｄ−ＴＳ）（文献１５参照）を用いた音源２０Ａおよび２０Ｂのそれぞれの基準追跡結果が図９（ａ）および図９（ｂ）のそれぞれに破線で示されている。【００７５】
また、同じ状況でＩＲＭＡシステム１２０から得られた測定結果のみを用い、パーティクルフィルタを適用したときの音源２０Ａおよび２０Ｂのそれぞれの比較追跡結果が図９（ａ）に一点鎖線および二点鎖線のそれぞれによって示されている。さらに、同じ状況で本願発明の手法にしたがってＲＥＭＡシステム１１０およびＩＲＭＡシステム１２０の両方の測定結果を用い、パーティクルフィルタを適用したときの音源２０Ａおよび２０Ｂのそれぞれの追跡結果が図９（ｂ）に一点鎖線および二点鎖線のそれぞれによって示されている。【００７６】
図９（ａ）に示されている、基準追跡結果（破線）に対する比較追跡結果（一点差線および二点鎖線）の誤差平均は０．１６［ｍ］であり、誤差標準偏差は０．０８４［ｍ］であった。これに対して、図９（ｂ）に示されている、基準追跡結果（破線）に対する本願発明の手法にしたがった追跡結果（実線）の誤差平均は０．１６［ｍ］であり、誤差標準偏差は０．０８３［ｍ］であった。すなわち、本願発明の手法にしたがった追跡結果（図９（ｂ）実線）のほうが、比較追跡結果（図９（ａ）実線）よりも、基準追跡結果（図９（ａ）（ｂ）破線）に整合しており、追跡または測定精度が（若干ながらも）高いことが実験によって確認された。なお、頭部Ｐ１が第１の人間２０Ａに向けられるように、ＲＥＭＡ１１の座標系またはロボット座標系を固定座標系に対して回転させた状況でも同様に、本願発明の手法による測定精度の高さが確認された。その他、さまざまな状況下においても音源追跡精度の向上が認められ、ロバスト性の向上が図られた。【００７７】
なお、音源追跡結果が音源追跡システム１からロボット１０の制御システム１００に送信され、制御システム１００が当該追跡結果に基づいてロボット１０の行動を制御してもよい。たとえば図１０（ａ）に示されているようにロボット１０のそばで人間（音源）２０が発話している状況を考える。前記のようにロボット１０にはＲＥＭＡ１１が搭載され、その周囲にはＩＲＭＡ１２が配置されている。ロボット１０および人間２０のそれぞれは固定座標系において移動していても静止していてもよい。この状況で音源追跡結果に基づき、たとえば図１０（ｂ）に示されているように人間２０に頭部Ｐ１の正面を向け、かつ、片方のハンドＰ３をその人間２０に向けて上げるようにロボット１０の行動が制御されてもよい。このように、音源（人間）２０のロバスト性のある精度の高い追跡結果に基づき、周囲の人間にロボット（ヒューマノイドロボット）１０への親しみを覚えさせる等の観点からロボット１０の行動が適当に制御されうる。また、複数の音源（人間）２０が存在する場合でもその挙動の曖昧さを解消して、ロバスト性を向上させることができる。【００７８】
また、複数のロボット１０のそれぞれに搭載された複数のＲＥＭＡ１１を用いて音源２０が定位追跡されてもよく、配置やマイクロフォン特性などが異なる複数のＩＲＭＡ１２を用いて音源２０が追跡されてもよく、複数のＲＥＭＡ１１および複数のＩＲＭＡ１２の組み合わせを用いて音源２０が追跡されてもよい。
【図１】
0005170440.tif 000002
【図２】
0005170440.tif 000003
【図３】
0005170440.tif 000004
【図４】
0005170440.tif 000005
【図５ａ】
0005170440.tif 000006
【図５ｂ】
0005170440.tif 000007
【図５ｃ】
0005170440.tif 000008
【図６】
0005170440.tif 000009
【図７ａ】
0005170440.tif 000010
【図７ｂ】
0005170440.tif 000011
【図８】
0005170440.tif 000012
【図９ａ】
0005170440.tif 000013
【図９ｂ】
0005170440.tif 000014
【図１０ａ】
0005170440.tif 000015
【図１０ｂ】
0005170440.tif 000016