(57)【要約】【課題】音源の位置を特定でき、現実の音声コミュニケーションに利用可能な音響源に対する事前情報を収集することが可能な移動体を提供する。【解決手段】ロボット１０００において、ロボット位置特定処理部１０４０は、複数のパーティクルを含むパーティクルフィルタにより、ロボット１０００の位置を推定する。音源位置推定部１０７０は、マイクフォンアレイ１０５２の測定値により推定された音の到来方向を使用して、各パーティクルの位置から、到来方向に向かうレイキャストが、幾何学マップにより特定される対象物にヒットすることに応じて、ヒット位置に対する尤度を累積し、音響源の位置を推定する。【選択図】図３
2014137226.tif 000002
【特許請求の範囲】
【請求項１】
移動体であって、
前記移動体を駆動するための移動手段と、
前記移動体の移動可能な空間における対象物の幾何学的な位置を特定するための幾何学マップを格納する記憶手段と、
前記移動体の現在位置を計測し、位置計測結果を出力する位置計測手段と、
前記移動体から前記空間内において前記幾何学マップで特定される対象物までの距離を、所定の確率分布に従う測距データとして取得する測距手段と、
複数のパーティクルを含むパーティクルフィルタにより、前記移動体の位置を推定する位置推定手段とを備え、各前記パーティクルは、前記空間内の位置および向きの情報を属性とし、
前記位置推定手段は、
前記位置計測結果に基づいて、各前記パーティクルを運動させ、前記測距データと前記確率分布に基づき、各前記パーティクルの現在の属性についての第１の尤度を算出し対応するパーティクルの重みを算出する手段と、
各前記パーティクルの重み平均として、前記移動体の現在位置を推定する移動体位置推定手段とを含み、
音センサアレイと、
前記音センサアレイからの信号に基づいて、前記音センサアレイに音の到来する到来方向を特定するための処理を実行する到来方向推定手段と、
各前記パーティクルの属性と前記到来方向とに基づいて、音響源の位置を推定する音源定位手段とを備え、
前記音源定位手段は、各前記パーティクルの位置から、前記到来方向に向かうレイキャストが、前記幾何学マップにより特定される対象物にヒットすることに応じて、当該ヒット位置に対する第２の尤度を累積し、累積された前記第２の尤度に基づいて、前記音響源の位置を推定する、移動体。
【請求項２】
前記測距手段は、レーザレンジファインダであり、
前記第１の尤度は、前記移動体の現在位置から前記対象物までの距離の計測結果に基づく前記確率分布において、各前記パーティクルの位置から前記パーティクルの向きにレイキャストした場合に前記幾何学マップにおいて前記対象物にヒットするまでの距離に対応する確率を、所定の角度間隔で積算したものである、請求項１記載の移動体。
【請求項３】
前記到来方向推定手段は、複数回のサウンドスキャンを実行し、
前記音源定位手段は、前記第２の尤度の計算においては、音のパワーの最大値または変化量の少なくとも一方が所定のしきい値を超えるサウンドスキャンを選択して前記累積処理を実行する、請求項１または２記載の移動体。
【請求項４】
前記第２の尤度は、前記音のパワーとともに増加し、所定の範囲にスケールされた値を有する関数で規定され、
前記音源定位手段は、前記サウンドスキャンが選択され、前記ヒットの回数が所定のしきい値を超える前記ヒット位置について、前記第２の尤度が増加するように前記累積処理を実行する、請求項３記載の移動体。
【請求項５】
前記移動体は、定位された前記音響源を前記幾何学マップ内での位置を示す音響マップを作成して、記憶装置に格納する、請求項１記載の移動体。
【請求項６】
前記移動体は、自律移動型のロボットである、請求項５記載の移動体。
【請求項７】
前記移動体は、自律的に移動するに伴い、前記音響マップを更新する、請求項６記載の移動体。
【請求項８】
前記位置計測手段は、前記移動手段の動きに基づいて、前記移動体の移動距離と移動方向を検出する路程測定センサである、請求項５〜７のいずれか１項に記載の移動体。
【請求項９】
音響源マップ作成システムであって、
移動体を駆動するための移動手段と、
前記移動体の移動可能な空間における対象物の幾何学的な位置を特定するための幾何学マップを格納する記憶手段と、
前記移動体の現在位置を計測し、位置計測結果を出力する位置計測手段と、
前記移動体から前記空間内において前記幾何学マップで特定される対象物までの距離を、所定の確率分布に従う測距データとして取得する測距手段と、
複数のパーティクルを含むパーティクルフィルタにより、前記移動体の位置を推定する位置推定手段とを備え、各前記パーティクルは、前記空間内の位置および向きの情報を属性とし、
前記位置推定手段は、
前記位置計測結果に基づいて、各前記パーティクルを運動させ、前記測距データと前記確率分布に基づき、各前記パーティクルの現在の属性についての第１の尤度を算出し対応するパーティクルの重みを算出する手段と、
各前記パーティクルの重み平均として、前記移動体の現在位置を推定する移動体位置推定手段とを含み、
前記移動体に装着された音センサアレイと、
前記音センサアレイからの信号に基づいて、前記音センサアレイに音の到来する到来方向を特定するための処理を実行する到来方向推定手段と、
各前記パーティクルの属性と前記到来方向とに基づいて、音響源の位置を推定する音源定位手段とをさらに備え、
前記音源定位手段は、各前記パーティクルの位置から、前記到来方向に向かうレイキャストが、前記幾何学マップにより特定される対象物にヒットすることに応じて、当該ヒット位置に対する第２の尤度を累積し、累積された前記第２の尤度に基づいて、前記音響源の位置を推定し、
前記推定された音響源の位置を音響源マップとして格納する音響源マップデータベースとをさらに備える、音響源マップ作成システム。
【請求項１０】
音響源マップ作成方法であって、
移動体を駆動して移動させるステップと、
前記移動体の移動可能な空間における対象物の幾何学的な位置を特定するための幾何学マップを記憶装置に格納するステップと、
前記移動体の現在位置を計測し、位置計測結果を出力するステップと、
前記移動体から前記空間内において前記幾何学マップで特定される対象物までの距離を、所定の確率分布に従う測距データとして取得するステップと、
複数のパーティクルを含むパーティクルフィルタにより、前記移動体の位置を推定するステップとを備え、各前記パーティクルは、前記空間内の位置および向きの情報を属性とし、
前記移動体の位置を推定するステップは、
前記位置計測結果に基づいて、各前記パーティクルを運動させ、前記測距データと前記確率分布に基づき、各前記パーティクルの現在の属性についての第１の尤度を算出し対応するパーティクルの重みを算出するステップと、
各前記パーティクルの重み平均として、前記移動体の現在位置を推定するステップとを含み、
前記移動体に装着された音センサアレイからの信号に基づいて、前記音センサアレイに音の到来する到来方向を特定するための処理を実行するステップと、
各前記パーティクルの属性と前記到来方向とに基づいて、音響源の位置を推定するステップとをさらに備え、
前記音響源の位置を推定するステップは、各前記パーティクルの位置から、前記到来方向に向かうレイキャストが、前記幾何学マップにより特定される対象物にヒットすることに応じて、当該ヒット位置に対する第２の尤度を累積し、累積された前記第２の尤度に基づいて、前記音響源の位置を推定し、
前記推定された音響源の位置を音響源マップとして記憶装置に格納するステップとをさらに備える、音響源マップ作成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は実環境における音源定位技術に関し、特に、実環境において音センサアレイによる音声の方向の検出と移動体の位置特定技術とを組み合わせた音源位置の推定技術に関する。
【背景技術】
【０００２】
家庭、オフィス、商店街など、異なった環境では、場所や時間によって多様な雑音特性を持つため、音声などの特定の音を対象としたアプリケーションでは、使用される環境の雑音の種類や度合いにより、期待した性能が得られないという問題がある。
【０００３】
たとえば、人とロボットとの音声コミュニケーションにおいて、ロボットに取付けたマイクロホンは、通常離れた位置（１ｍ以上）にある。したがって、たとえば、電話音声のよう にマイクと口との距離が数センチの場合と比べて、信号と雑音の比（ＳＮＲ）は低くなる。このため、傍にいる他人の声や環境の雑音が妨害音となり、ロボットによる目的音声の認識が難しくなる。従って、ロボットへの応用として、音源定位や音源分離は重要である。
【０００４】
音源定位に関して、実環境を想定した従来技術として特許文献１または特許文献２に記載のものがある。特許文献１または特許文献２に記載の技術は、分解能が高いＭＵＳＩＣ法と呼ばれる公知の音源定位の手法を用いている。
【０００５】
特許文献１または特許文献２に記載の発明では、マイクロホンアレイを用い、マイクロホンアレイからの信号をフーリエ変換して得られた受信信号ベクトルと、過去の相関行列とに基づいて現在の相関行列を計算する。このようにして求められた相関行列を固有値分解し、最大固有値と、最大固有値以外の固有値に対応する固有ベクトルで ある雑音空間とを求める。さらに、マイクロホンアレイのうち、１つのマイクロホンを基準として、各マイクの出力の位相差と、雑音空間と、最大固有値とに基づいて、ＭＵＳＩＣ法により音源の方向を推定する。
【０００６】
一方で、たとえば、ロボット聴覚の分野での最近の数十年間のいくつかの大躍進にもかかわらず、音響源を正確に定位しマッピングすることは、環境の複雑さおよび多様性のために、依然として挑戦的なタスクである。
【０００７】
たとえば、モバイル・プラットフォームを使用する音響源の定位は、ロボット研究の一環として、報告されてきた（たとえば、非特許文献１〜４を参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−１７５７３３号公報明細書
【特許文献２】特開２０１１−２２０７０１号公報明細書
【非特許文献】
【０００９】
【非特許文献１】J.-M. Valin, J. Rouat, and F. Michaud, ”Enhanced robot audition based on microphone array source separation with post-filter,” in Intelligent Robots and Systems, 2004. (IROS 2004). Proceedings. 2004 IEEE/RSJ International Conference on, vol. 3, sept.-2 oct. 2004, pp. 2123 - 2128 vol.3.
【非特許文献２】E. Martinson and A. C. Schultz, ”Auditory evidence grids.” in IROS. IEEE, 2006, pp. 1139-1144.
【非特許文献３】K. Nakadai, H. Okuno, H. Nakajima, Y. Hasegawa, and H. Tsujino, ”An open source software system for robot audition hark and its evalation,” in IEEE-RAS International Conference on Humanoid Robots, 2008, pp. 561-566.
【非特許文献４】Y. Sasaki, S. Thompson, M. Kaneyoshi, and S. Kagami, ”Mapgeneration and identification of multiple sound sources from robot in motion,” in Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems, IROS 2010, 2010, pp. 437-443.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ロボットのように、周囲からの雑音の影響の無視できないシステムへの応用を考える場合、このような複雑な混合をした音から処理されるべき情報を含む音を探し出すとともに、他の情報を破棄することが必要である。
【００１１】
そこで、与えられた場所の音響環境の事前知識を集めることは、その環境中の任意の音関連のタスクに有益である。ここで、音声源は、場所と特性が必ずしも定常的だとは限らない。
【００１２】
一方で、音響源のうちのいくつかは、たとえば、ショッピング・モールのテレビ、エア・コンディショナあるいはラウドスピーカーのように、比較的長い期間において活性で、スペース内で完全に定位されうる。
【００１３】
しかしながら、このような固定的な音響源と動的に変化する音響源とが混在する環境において、現実の音声コミュニケーションに利用可能な音響源に対する事前情報を、どのようにして収集し、データベース化するかという課題をどのように解決するかについては、必ずしも明らかではなかった。
【００１４】
この発明は、このような問題点を解決するためになされたものであって、音源の位置を特定でき、現実の音声コミュニケーションに利用可能な音響源に対する事前情報を収集することが可能な移動体を提供することである。
【００１５】
この発明の他の目的は、現実の音声コミュニケーションに利用可能な音響源に対する事前情報を収集することが可能な音響源マップ作成システムおよび音響源マップ作成方法を提供することである。
【課題を解決するための手段】
【００１６】
この発明の１つの局面に従うと、移動体であって、移動体を駆動するための移動手段と、移動体の移動可能な空間における対象物の幾何学的な位置を特定するための幾何学マップを格納する記憶手段と、移動体の現在位置を計測し、位置計測結果を出力する位置計測手段と、移動体から空間内において幾何学マップで特定される対象物までの距離を、所定の確率分布に従う測距データとして取得する測距手段と、複数のパーティクルを含むパーティクルフィルタにより、移動体の位置を推定する位置推定手段とを備え、各パーティクルは、空間内の位置および向きの情報を属性とし、位置推定手段は、  位置計測結果に基づいて、各パーティクルを運動させ、測距データと確率分布に基づき、各パーティクルの現在の属性についての第１の尤度を算出し対応するパーティクルの重みを算出する手段と、  各パーティクルの重み平均として、移動体の現在位置を推定する移動体位置推定手段とを含み、音センサアレイと、音センサアレイからの信号に基づいて、音センサアレイに音の到来する到来方向を特定するための処理を実行する到来方向推定手段と、各パーティクルの属性と到来方向とに基づいて、音響源の位置を推定する音源定位手段とを備え、  音源定位手段は、各パーティクルの位置から、到来方向に向かうレイキャストが、幾何学マップにより特定される対象物にヒットすることに応じて、当該ヒット位置に対する第２の尤度を累積し、累積された第２の尤度に基づいて、音響源の位置を推定する。
【００１７】
好ましくは、測距手段は、レーザレンジファインダであり、第１の尤度は、移動体の現在位置から対象物までの距離の計測結果に基づく確率分布において、各パーティクルの位置からパーティクルの向きにレイキャストした場合に幾何学マップにおいて対象物にヒットするまでの距離に対応する確率を、所定の角度間隔で積算したものである。
【００１８】
好ましくは、到来方向推定手段は、複数回のサウンドスキャンを実行し、音源定位手段は、第２の尤度の計算においては、音のパワーの最大値または変化量の少なくとも一方が所定のしきい値を超えるサウンドスキャンを選択して累積処理を実行する。
【００１９】
好ましくは、第２の尤度は、音のパワーとともに増加し、所定の範囲にスケールされた値を有する関数で規定され、音源定位手段は、サウンドスキャンが選択され、ヒットの回数が所定のしきい値を超えるヒット位置について、第２の尤度が増加するように累積処理を実行する。
【００２０】
好ましくは、移動体は、定位された音響源を幾何学マップ内での位置を示す音響マップを作成して、記憶装置に格納する。
【００２１】
好ましくは、移動体は、自律移動型のロボットである。
【００２２】
好ましくは、移動体は、自律的に移動するに伴い、音響マップを更新する。
【００２３】
好ましくは、位置計測手段は、移動手段の動きに基づいて、移動体の移動距離と移動方向を検出する路程測定センサである。
【００２４】
この発明の他の局面にしたがうと、音響源マップ作成システムであって、移動体を駆動するための移動手段と、移動体の移動可能な空間における対象物の幾何学的な位置を特定するための幾何学マップを格納する記憶手段と、移動体の現在位置を計測し、位置計測結果を出力する位置計測手段と、移動体から空間内において幾何学マップで特定される対象物までの距離を、所定の確率分布に従う測距データとして取得する測距手段と、複数のパーティクルを含むパーティクルフィルタにより、移動体の位置を推定する位置推定手段とを備え、各パーティクルは、空間内の位置および向きの情報を属性とし、位置推定手段は、  位置計測結果に基づいて、各パーティクルを運動させ、測距データと確率分布に基づき、各パーティクルの現在の属性についての第１の尤度を算出し対応するパーティクルの重みを算出する手段と、  各パーティクルの重み平均として、移動体の現在位置を推定する移動体位置推定手段とを含み、移動体に装着された音センサアレイと、音センサアレイからの信号に基づいて、音センサアレイに音の到来する到来方向を特定するための処理を実行する到来方向推定手段と、各パーティクルの属性と到来方向とに基づいて、音響源の位置を推定する音源定位手段とをさらに備え、音源定位手段は、各パーティクルの位置から、到来方向に向かうレイキャストが、幾何学マップにより特定される対象物にヒットすることに応じて、当該ヒット位置に対する第２の尤度を累積し、累積された第２の尤度に基づいて、音響源の位置を推定し、推定された音響源の位置を音響源マップとして格納する音響源マップデータベースとをさらに備える。
【００２５】
この発明のさらに他の局面にしたがうと、音響源マップ作成方法であって、移動体を駆動して移動させるステップと、移動体の移動可能な空間における対象物の幾何学的な位置を特定するための幾何学マップを記憶装置に格納するステップと、移動体の現在位置を計測し、位置計測結果を出力するステップと、移動体から空間内において幾何学マップで特定される対象物までの距離を、所定の確率分布に従う測距データとして取得するステップと、複数のパーティクルを含むパーティクルフィルタにより、移動体の位置を推定するステップとを備え、各パーティクルは、空間内の位置および向きの情報を属性とし、移動体の位置を推定するステップは、  位置計測結果に基づいて、各パーティクルを運動させ、測距データと確率分布に基づき、各パーティクルの現在の属性についての第１の尤度を算出し対応するパーティクルの重みを算出するステップと、  各パーティクルの重み平均として、移動体の現在位置を推定するステップとを含み、移動体に装着された音センサアレイからの信号に基づいて、音センサアレイに音の到来する到来方向を特定するための処理を実行するステップと、各パーティクルの属性と到来方向とに基づいて、音響源の位置を推定するステップとをさらに備え、音響源の位置を推定するステップは、各パーティクルの位置から、到来方向に向かうレイキャストが、幾何学マップにより特定される対象物にヒットすることに応じて、当該ヒット位置に対する第２の尤度を累積し、累積された第２の尤度に基づいて、音響源の位置を推定し、推定された音響源の位置を音響源マップとして記憶装置に格納するステップとをさらに備える。
【発明の効果】
【００２６】
本発明によれば、音源の位置を特定でき、現実の音声コミュニケーションに利用可能な音響源に対する事前情報を収集することが可能である。
【図面の簡単な説明】
【００２７】
【図１】音響源マップの状況を説明するための図である。
【図２】音響源マップの状況を説明するための他の図である。
【図３】ロボット１０００の構成のうち、音響源マップ作成のための構成を示す図である。
【図４】MUSICアルゴリズムを用いる音源定位のための機能ブロックを示す図である。
【図５】ロボット１０００と音響源Ｓ１およびＳ２とを配置した空間の例を示す図である。
【図６】ロボット１０００の外観を示す図である。
【図７】レーザレンジファインダによる測距処理の概念を説明するための図である。
【図８】ロボット１０００の位置の特定の処理の概念を説明するための図である。
【図９】パーティクルフィルタを用いたロボット１０００の位置の特定処理を説明するためのフローチャートである。
【図１０】パーティクルの状態ベクトルｓm［ｔ］の算出の概念を説明するための図である。
【図１１】対象物までの距離に基づく各パーティクルについての尤度を示す図である。
【図１２】レーザレンジファインダの測定結果（測距データ）に基づいて、パーティクルの尤度を算出する手続きを説明するための概念図である。
【図１３】レーザレンジファインダによる測距と、あるパーティクルからのレイキャストの手続きを示す概念図である。
【図１４】パーティクルからの音源の位置を特定するためのレイキャストの概念を説明するための図である。
【図１５】占有セルについての尤度の累積および音響源マッピングの処理を説明するためのフローチャートである。
【図１６】テスト環境のうちの１つに対して得られた地図を示す図である。
【図１７】音響源位置の特定に使用したパラメータを表す図である。
【図１８】フラットな初期設定の場合に得られた生の音響源マップを示す図である。
【図１９】フラットな初期設定の場合に得られた生の音響源マップを示す図である。
【図２０】フラットな初期設定の場合に得られた生の音響源マップを示す図である。
【図２１】各試行のための音響源の活性化のパターンを示すテーブルである。
【発明を実施するための形態】
【００２８】
以下、本発明の実施の形態の移動体、音響源マップ作成システムおよび音響源マップ作成方法の構成について、図に従って説明する。なお、以下の実施の形態において、同じ符号を付した構成要素および処理工程は、同一または相当するものであり、必要でない場合は、その説明は繰り返さない。
【００２９】
なお、以下の説明では、音センサとしては、いわゆるマイクロホン、より特定的にはエレクトレットコンデンサマイクロホンを例にとって説明を行うが、音声を電気信号として検出できるセンサであれば、他の音センサであってもよい。
【００３０】
また、本実施の形態では、音響源のパワー、指向性、周波数および高調波歪のような位置および特性を含んでいる地図を「音響源マップ」と呼ぶ。
【００３１】
実環境では、異なった場所で発生する複数の音が混合して観測されるため、音響源マップの生成において、騒音計で空間をスキャンするような単純な方法は不十分である。音環境の事前知識として役立つと考えられる音源の位置や種類を特徴付けた音環境地図の生成には、空間的情報（通常の地図）に加え、少なくとも音源の定位および分離が必要であり、さらには、音源の分類がなされることが望ましい。
【００３２】
音響源マップから得られる情報は、視覚的データまたは測距センサデータを補完することができ、ロボットの位置、インタラクションおよび監視能力を増加させる。
【００３３】
図１および図２は、このような音響源マップの状況を説明するための図である。
【００３４】
例えば、図1の中の実例を考慮すると、ロボットは２つの主要な音を知覚する:
ｉ）前方やや左側からのテレビの音
ｉｉ）右側からのユーザーの声
ロボットは、地図上の所定の位置を占める自律移動型ロボットであり、現在の自身の姿勢を知覚しているとする。ここで、図１では、このような自律移動型ロボットは、差動動作が可能な２輪により駆動されている構成の人型ロボットである。
【００３５】
図２に示すように、音響源マップがロボットに利用可能ならば、ロボットは、環境中の固定音響源に関する事前知識を持つことになり、その左から来るデータは、固定発生源（テレビ）からの音であって、右側からのユーザーの声に比べて重要度が低いことを知っていることになる。
【００３６】
その後、環境(この場合、それは人間の発話（スピーチ）である)中の新しい音の特性に基づいて、ロボットは、ユーザーの言うことを聞くことができるように、それ自体の位置を決める（右側に向く）といったような適切な動作を行なうことができ、彼/彼女と、より有効にコミュニケーションをとることができる。
【００３７】
環境中の音響源マップは、幾何学的な地図に似ているものの、一定でなく、非常に急速に変わり続ける。したがって、変更が環境に生じるごとに、新しい音響源マップを作ることは、退屈なタスクである。
【００３８】
以下に説明するように、本実施の形態では、ロボットがその通常のタスクを行なう間に、そのタスクの実行だけでなく環境音を観察するとともに、音響源マップの変化を更新することができるフレームワークを提供する。
【００３９】
図３は、ロボット１０００の構成のうち、音響源マップ作成のための構成を示す図である。なお、図３においては、ロボットが移動するための移動機構（たとえば、差動で動作できる２つの車輪による駆動機構、カメラなどのように視覚により外部環境を検知するためのセンサなど）については図示省略している。また、以下の例では、音響源マップを作成するための「移動体」として、２輪で駆動される人型の自律移動型ロボットを例にとって説明するが、本発明における移動体はこのようなものに制限されず、自律的に空間内を移動可能な物であれば、他の構成のロボットでもよい。
【００４０】
図３を参照して、ロボット１０００は、２輪の駆動機構によりロボットを移動させる駆動機構に対して、その移動距離、速度、角速度などを検出するための路程測定センサ１０と、ロボット１０００の前面に搭載され、レーザ光のスキャンにより前方に存在する対象物までの距離を計測するための前面レーザレンジファインダ（ＬＲＦ：Laser Range Finder）２０と、ロボット１０００の後面に搭載され、レーザ光のスキャンにより後方に存在する対象物までの距離を計測するための後面レーザレンジファインダ（ＬＲＦ）３０と、路程測定センサ１０や前面ＬＲＦ２０および後面ＬＲＦ３０からの信号をバス６０を介してデータとして出力し、あるいは、バス６０からのコマンドをこれらのセンサに伝達するためのセンサ入出力ボード４０とを備える。
【００４１】
ロボット１０００は、さらに、ワーキングメモリとして機能し、ＲＡＭ（Random Access Memory）などで構成されるメモリ５０と、ロボット１０００が動作するためのプログラム（図示せず）や幾何学マップ１１０２、音響源マップ１１０４などを格納するための不揮発性記憶装置１１００とを備える。不揮発性記憶装置１１００としては、ランダムアクセス可能な記憶装置であれば、ハードディスクを用いてもよいし、あるいは、ＳＳＤ（Solid State Drive）などを用いてもよい。「幾何学マップ」とは、ロボット１０００が移動する空間内の壁や固定・半固定の定常的に存在する対象物の位置を幾何学的に地図上に表現したデータのことをいう。なお「幾何学マップ」は、２次元的な情報であってもよいが、３次元的な情報であることが望ましい。
【００４２】
ロボット１０００は、さらに、音源の方向（音の到来方向）とその方向からの音響パワーを測定するためのマイクロホンアレイ１０５２と、マイクロホンアレイ１０５２からの信号をバス６０に伝達する信号に変換するための音声入出力ボード１０５４と、ロボット１０００の動作を制御し、幾何学マップの作成、音響マップの作成および更新処理を実行するための演算装置であるプロセッサ１０１０とを備える。なお、図３では、図示省略されているが、音声入出力ボードには、プロセッサ１０１０により生成された音声を、ユーザとのコミュニケーションのために再生するスピーカも接続されている。
【００４３】
プロセッサ１０１０は、不揮発性記憶装置１１００に格納されたプログラムに基づいて、路程測定センサ１０や前面ＬＲＦ２０および後面ＬＲＦ３０からの信号に基づいて、幾何学マップの作成を行う幾何学マップ作成部１０３０と、マイクロホンアレイ１０５２からの信号に基づいて、音源パワーのスペクトルを取得する処理を実行する音源パワースペクトル取得部１０５０と、音源パワースペクトルに基づいて、音源方向（音の到来方向）をロボット座標上で推定するための音源方向推定部１０６０と、路程測定センサ１０や前面ＬＲＦ２０および後面ＬＲＦ３０からの信号に基づいて、ロボットの位置を特定するためのロボット位置特定処理部１０４０と、特定されたロボット位置と音源方向から音源位置を推定する音源位置推定部１０７０とを備える。
【００４４】
ここで、音源方向の推定については、マイクロホンアレイへの到着の時間遅れの推定、あるいはステアード応答パワー (SRP)あるいはMUSICアルゴリズムのようなスペクトル分解技術の推定に基づく。
【００４５】
そして、位相差を用いた音源方向推定の場合は、ＳＲＰ−ＰＨＡＴ法(Steered Response Power - Phase Alignment Transform）や、ＳＰＩＲＥ法（Stepwise Phase Difference Restoration法）などを用いて音源方向推定を行うことが可能である。
【００４６】
このような音源方向の推定については、上述した特許文献２や、以下の文献にも開示がある。
【００４７】
文献１：特開２０１２−２４２５９７号公報明細書
図４は、このような音源定位法のうち、MUSICアルゴリズムを用いる音源定位のための機能ブロックを示す図である。
【００４８】
ここでの音源定位とは、音源の方位を継続的に特定することをいい、音源の位置推定とは、所定の空間内で、音源定位により特定された音源の方位に基づいて、３次元的な音源の位置を推定することをいう。
【００４９】
一例として、音源の位置の推定のために、音源の方位を推定するための手法の具体例として、ＭＵＳＩＣ（Multiple Signal Classification）法を例にとって説明する。ただし、音源の方位を推定できる方法であれば、他の手法を用いてもよい。
【００５０】
ＭＵＳＩＣ法の概略について説明すると、まず、高速フーリエ変換により多チャンネルのスペクトルＸ（ｋ，ｔ）をフレーム毎に求め、スペクトル領域でチャンネル間の空間的相関行列Ｒkをブロック毎に求め、相関行列の固有値分解により指向性の成分と無指向性の成分のサブ空間を分解し、無指向性のサブ空間に対応する固有ベクトルＥknと、対象の検索空間に応じて予め用意した方向ベクトルａk を用いて（狭帯域の）ＭＵＳＩＣ空間スペクトルＰ（ｋ）を周波数ビンごとに求め、特定の周波数帯域内の周波数ビン毎のＭＵＳＩＣ空間スペクトルを統合して広帯域ＭＵＳＩＣ空間スペクトルが求まる。
【００５１】
以下では、広帯域ＭＵＳＩＣ空間スペクトルを単に「ＭＵＳＩＣ空間スペクトル」と呼び、ＭＵＳＩＣ空間スペクトルの時系列を「ＭＵＳＩＣスペクトログラム」を呼ぶ。
【００５２】
音源定位においては、ＭＵＳＩＣ空間スペクトルのピークを探索することにより、音源の方向が求まる。
【００５３】
なお、以下では、マイクロホンアレイが１つである場合を例にとって説明するが、マイクロホンアレイの個数はより多くてもよい。
【００５４】
図４を参照して、音源パワースペクトル取得部１０５０は、マイクロホン１０５２．１〜１０５２．ｐ（ｐ：自然数）を含むマイクロホンアレイＭＣ１から、それぞれｐ個のアナログ音源信号を受け、アナログ／デジタル変換を行なってｐ個のデジタル音源信号をそれぞれ出力するＡ／Ｄ変換器１０５４と、Ａ／Ｄ変換器１０５４からそれぞれ出力されるｐ個のデジタル音源信号を受け、ＭＵＳＩＣ法で必要とされる相関行列とその固有値および固有ベクトルを、所定の時間、たとえば、１００ミリ秒を１ブロックとしてブロックごとに出力するための固有ベクトル算出部６１と、固有ベクトル算出部６１からブロックごとに出力される固有ベクトルを使用し、ＭＵＳＩＣ法によりＭＵＳＩＣ空間スペクトルを出力するＭＵＳＩＣ処理部６２とを含む。音源方向推定部１０６０は、ＭＵＳＩＣ処理部６２が出力するＭＵＳＩＣ空間スペクトルに基づいて、音源の方向（本実施の形態では、 ３次元極座標の内の２つの偏角φおよびθとする）を推定する。なお、本明細書では、「ＭＵＳＩＣ応答」とは、ＭＵＳＩＣアルゴリズムにより得られるＭＵＳＩＣ空間スペクトルを所定の式で平均化したものである。
【００５５】
特に限定されないが、本実施の形態では、Ａ／Ｄ変換器１０５４は、一般的な１６ｋＨｚ／１６ビットで各マイクロホンの出力をＡ／Ｄ変換する。
【００５６】
また、固有ベクトル算出部６１は、マイクロホンアレイＭＣ１からの信号に基づきＡ／Ｄ変換器１０５４の出力するｐ個のデジタル音源信号を、たとえば、４ミリ秒のフレーム長でフレーム化するためのフレーム化処理部８０と、フレーム化処理部８０の出力するｐチャンネルのフレーム化された音源信号に対してそれぞれＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を施し、所定個数の周波数領域（以下、各周波数領域を「ビン」と呼び、周波数領域の数を「ビン数」と呼ぶ。）に変換して出力するＦＦＴ処理部８２と、ＦＦＴ処理部８２から４ミリ秒ごとに出力される各チャネルの各ビンの値を、１００ミリ秒ごとにブロック化するためのブロック化処理部８４と、ブロック化処理部８４から出力される各ビンの値の間の相関を要素とする相関行列を所定時間ごと（１００ミリ秒ごと）に算出し出力する相関行列算出部８６と、相関行列算出部８６から出力される相関行列を固有値分解し、固有ベクトル９２をＭＵＳＩＣ処理部６２に出力する固有値分解部８８とを含む。
【００５７】
通常、ＦＦＴでは５１２〜１０２４点を使用する（１６ｋＨｚのサンプリングレートで３２〜６４ミリ秒に相当）が、ここでは１フレームを４ミリ秒（ＦＦＴで は６４〜１２８点に相当）とした。このようにフレーム長を短くすることにより、ＦＦＴの計算量が少なくてすむだけでなく、後の相関行列の算出、固有値分解、およびＭＵＳＩＣ応答の算出における計算量も少なくて済む。その結果、性能を落とすことなく、比較的非力なコンピュータを用いても十分にリアルタイムで 音源定位を行なうことができる。
【００５８】
ＭＵＳＩＣ処理部６２は、マイクロホンアレイＭＣ１に含まれる各マイクロホンの位置を所定の座標系を用いて表す位置ベクトルを記憶するためのマイク配置記憶部１００と、マイク配置記憶部１００に記憶されているマイクロホンの位置ベクトル、および固有値分解部８８から出力される固有ベクトルを用いて、音源数が固定されているものとしてＭＵＳＩＣ法によりＭＵＳＩＣ空間スペクトルを算出し出力するＭＵＳＩＣ空間スペクトル算出部１０４とを含む。ブロックごとに得られる相関行列の固有値が音源数に関連することは、例えば、文献２：Ｆ．アサノら、「リアルタイム音源定位及び生成システムと自動音声認識におけるその応用」、 Ｅｕｒｏｓｐｅｅｃｈ，２００１、アールボルグ、デンマーク、２００１、１０１３−１０１６頁（F. Asano, M. Goto, K. Itou, and H. Asoh, ”Real-time sound source localization and separation system and its application on automatic speech recognition,” in Eurospeech 2001, Aalborg, Denmark, 2001, pp. 1013-1016）にも記載されており、既に知られている事項である。
【００５９】
なお、本実施の形態では、各音源の２次元的な方位角だけでなく、仰角も推定する。そのために、ＭＵＳＩＣアルゴリズムとしては、３次元での計算が可能なものを実装する。方位角と仰角とのセットを、これ以降、音源方位（ＤＯＡ）と呼ぶ。ＭＵＳＩＣ処理部６２で実行されるアルゴリズムでは、音源までの距離は推定しない。音源方位のみを推定するようにすることで、処理時間を大幅に減少させることができる。
【００６０】
ＭＵＳＩＣ処理部６２はさらに、ＭＵＳＩＣ空間スペクトル算出部１０４により算出されたＭＵＳＩＣ空間スペクトルに基づいて、ＭＵＳＩＣ法にしたがいＭＵＳＩＣ応答と呼ばれる値を各方位について算出し出力するためのＭＵＳＩＣ応答算出部１０６を含む。
【００６１】
音源方向推定部１０６０は、ＭＵＳＩＣ応答算出部１０６により算出されたＭＵＳＩＣ応答のピークを、一時的に時系列に所定数だけＦＩＦＯ形式でそれぞれ蓄積するためのバッファ１０８を含む。さらに、音源方向推定処理部１１０は、バッファ１０８に蓄積された各ブロックの各探索点のＭＵＳＩＣ応答について、音源の方向（上述した２つの偏角φおよびθ）を推定する。
【００６２】
ここで、ＭＵＳＩＣ法では、狭帯域ＭＵＳＩＣ空間スペクトルの推定において、その時刻に発している指向性を持つ音源数（ＮＯＳ）を与える必要があるが、以下の説明では、固定数を与え、ＭＵＳＩＣ空間スペクトル上で、特定の閾値を超えたピークのみを指向性のある音源とみなすものとして説明する。
（ＭＵＳＩＣ法）
以下、上述した３次元での方位を算出するＭＵＳＩＣ法について、簡単にまとめる。
【００６３】
たとえば、Ｍ個のマイク入力のフーリエ変換Ｘｍ（ｋ、ｔ）は、式（Ｍ１）のようにモデル化される。
【００６４】
【数１】
2014137226.tif 000003
ただし、ベクトルｓ（ｋ、ｔ）はＮ個の音源のスペクトルＳn（ｋ、ｔ）から成る（ｎ＝１，…，Ｎ）。
【００６５】
すなわち、ｓ（ｋ、ｔ）＝［Ｓ1（ｋ、ｔ）、…、ＳN（ｋ、ｔ）］Tである。ここで、ｋとｔはそれぞれ周波数と時間フレームのインデックスを示す。ベクトルｎ（ｋ、ｔ）は背景雑音を示す。行列Ａｋは変換関数行列であり、その（ｍ、ｎ）要素はｎ番目の音源から、ｍ番目のマイクロホンへの直接パスの変換関数である。Ａｋのｎ列目のベクトルをｎ番目の音源の位置ベクトル（Ｓｔｅｅｒｉｎｇ Ｖｅｃｔｏｒ）と呼ぶ。
【００６６】
まず、式（Ｍ２）で定義される空間相関行列Ｒｋを求め、式（Ｍ３）に示すＲｋの固有値分解により、固有値の対角行列Λｋおよび固有ベクトルから成るＥｋが求められる。
【００６７】
【数２】
2014137226.tif 000004
固有ベクトルはＥｋ＝［Ｅｋｓ｜Ｅｋｎ］のように分割出来る。ＥｋｓとＥｋｎとはそれぞれ支配的なＮ個の固有値に対応する固有ベクトルと、それ以外の固有ベクトルとを示す。
【００６８】
ＭＵＳＩＣ空間スペクトルは式（Ｍ４）と（Ｍ５）とで求める。ｒは距離、θとφとはそれぞれ方位角と仰角とを示す。式（Ｍ５）は、スキャンされる点（ｒ、θ、φ）における正規化した位置ベクトルである。
【００６９】
【数３】
2014137226.tif 000005
ＭＵＳＩＣ応答（パワーに相当）は、ＭＵＳＩＣ空間スペクトルを式（Ｍ６）のように平均化したものである。
【００７０】
【数４】
2014137226.tif 000006
式（Ｍ６）においてｋLおよびｋHは、それぞれ周波数帯域の下位と上位の境界のインデックスであり、Ｋ＝ｋH−ｋL＋１である。マイクロホンアレイに到来する音の方位は、ＭＵＳＩＣ応答のピークを探索することにより求められる。
【００７１】
後に説明するように、本実施の形態の音響マップ作成システムは、ロボットにより、異なる場所で、従来の音源定位アルゴリズムを使用し、これらのすべての異なる場所からの結果を組み合わせることで、音響マップを作成する。
【００７２】
さて、以上説明したとおり、音の到来方向の推定アルゴリズムとしては、ＭＵＳＩＣ法を用いることも、一方で、他の方法、たとえば、ステアード応答パワー法を用いることも可能である。
【００７３】
そこで、特に限定されないが、以下では、他のアルゴリズムの例として、ステアード応答パワー法に基づいて、音の到来方向を推定する場合について説明する。
【００７４】
このようなステアード応答パワー法については、以下の文献に開示がある。
【００７５】
文献３：M. Brandstein and H. Silverman, ”A robust method for speech signal time-delay estimation in reverberant rooms,” in IEEE Conference on Acoustics, Speech, and Signal Processing, ICASSP 1997, 1997, pp. 375-378.
文献４：A. Badali, J.-M. Valin, F. Michaud, and P. Aarabi, ”Evaluating realtime audio localization algorithms for artificial audition on mobile robots,” in Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems, IROS 2009, 2009, pp. 2033-2038.
位相変換(SRP-PHAT)を有する「ステアード応答パワー」は、移動ロボットアプリケーションに適している効率的な音源定位アルゴリズムである。このフレームワークを、より詳しく示すために、音源定位へのステアード応答パワーアプローチについて概説する。
【００７６】
音源定位のゴールは、オーディオ計測を使用して、サーチ領域中の音響源の位置を評価することである。
【００７７】
サンプリング時間kで、アレイ状のＱ個のマイクロホンからの計測された信号をｖ1（ｋ），…，ｖQ（ｋ）とする。
【００７８】
マイクロホンアレイの空間的配置が、事前に正確に知られているので、空間ビーム形成を使用したアレイをフォーカスして、ある空間的位置からの音を評価することが可能である。
【００７９】
ビーム形成の出力は、以下のように表される：
【００８０】
【数５】
2014137226.tif 000007
ここで、［x,y,z］は、マイクロホンアレイを基準とする焦点位置の座標である。
ステアード応答パワー（SRP）は、Ｔサンプル時間に対する出力パワーの計算により、以下のように得られる：
【００８１】
【数６】
2014137226.tif 000008
ここで、以下の座標は、探索空間におけるＮ個の位置の組を表す：
【００８２】
【数７】
2014137226.tif 000009
ステアード応答パワーのピークに対応する場所が、音響源の位置を与える。ビーム形成の出力を取得して、パワーを計算し、音響源の場所の組を選択するためには、いくつかの方法がある。
【００８３】
以下では、Ｎ個の場所からのパワーを含む、時間ｋにおいて取得されたステアード応答パワーは、ｋ番目の「オーディオスキャン」と呼ぶことにする。
【００８４】
従って、ロボットの移動に伴って音源定位を行なうことは、異なる時に異なる場所から得られたオーディオスキャンを組み合わせることを意味する。
【００８５】
特に、これらのスキャンは、マイクロホンアレイを基準とする座標（ロボット座標）中での探索空間で計算される(フォーカスされる位置は、アレイを基準とする座標中で知る必要がある)。
【００８６】
したがって、それらを組み合わせて、ロボットの座標系から、音響源マップを作るグローバル座標系へ変換することが必要である。
【００８７】
これらの定位結果が異なる時間で取得されるので、位置が固定された音響源および動いている音響源を区別して、音響源マップを作成することが可能となる。
【００８８】
本実施の形態では、図１および図２で説明したように、固定された音響源（)の環境騒音のマッピングに興味を持っている。すなわち、固定音響源の音響源マップを持っていることは動いているものの検知のためには、よい事前知識である。
【００８９】
なお、以上の説明では、ロボットに装着されたマイクロホンアレイにより音源の定位が実行されるものとして説明しているが、たとえば、空間内には、ロボットとは異なる定位置にマイクロホンアレイが設置され、このような定位置のマイクロホンアレイからのデータも併せて、音響源マップが作成される構成としてもよい。
【００９０】
（SRP-PHAT法によるオーディオスキャンの取得）
本実施の形態では、SRP-PHAT処理は、たとえば、４８ｋＨｚ(分析ウィンドウは長さ２５ミリセカンドである。また、ウィンドウのシフトは１０ミリセカンドである)でサンプリングされた、観測信号に短時間フーリエ変換(STFT)を適用した後に、周波数領域で行われる。
【００９１】
その後、ステアード応答パワーは、パワーの平均のために５つのSTFTフレームを使用して、周波数帯域[1000，6000]Hzで計算される。
【００９２】
したがって、オーディオスキャンは、５０ミリセカンドごとに新たに実行される。
【００９３】
音源定位アルゴリズムの特徴は、その方位の評価は正確であるものの、音源の存在する範囲の評価は、不正確である、ということである。したがって、探索領域について記述するためには、ＭＵＳＩＣ法と同様に、極座標［ρ，θ，φ］がしばしば使用される。
【００９４】
そして、本実施の形態では、遠距離場 (ρがアレイの開口に比較して大きい)を仮定して、方位についてのみ走査を行うものとする。
【００９５】
さらに、以下では、説明の簡単のために、音響源の方位は、２次元の方向についてのみ考えることにする。もちろん、以下の説明に基づけば、音響源の方位の推定を３次元に拡張することが可能である。
【００９６】
すなわち、ｋ番目のスキャンは、［０，２π］の範囲のＮ個の角度ｑn（ｋ）（＝θn）とこれに関連するパワーＪn（ｋ）の組みである（これらの角度は、ロボットを基準とする座標において取得される）。
【００９７】
（幾何学的な地図の構築）
以下では、上述したような音源の方位の推定結果に基づいて、空間内の音源の位置を特定する処理の前提として、幾何学的な地図を構築する処理について説明する。
【００９８】
すなわち、たとえば、ロボット１０００が移動する空間についての壁の位置などのような予め空間の設計図面として作成されている地図（設計地図）は所与のものとして、ロボット１０００が不揮発性記憶装置１１００に保持しているものとする。
【００９９】
ただし、現実にロボットが移動する空間では、固定的または半固定的に設置されている対象物（たとえば、図１におけるテレビなど）が存在し、このような対象物を含めた幾何学的な地図を、音源の位置の特定の前提として構築しておくことが必要である。
【０１００】
このような幾何学マップの作成のための、同時の測位およびマッピング(ＳＬＡＭ：Simultaneous Localization And Mapping)に基づくマッピング技術は、これまでにもよく研究され、完成されて、実際にも適用されてきたものである。
【０１０１】
この実施の形態では、グリッド地図の生成のために、その技術を使用する。
【０１０２】
たとえば、事前に、このような幾何学マップを作成するために、人間が、ジョイスティックでロボットをコントロールして、測定対象となる空間の環境下での路程測定およびレーザセンサ情報を収集することができる。
【０１０３】
その後、ＩＣＰ（iterative closest point）ベースのＳＬＡＭを使用し、３ＤToolkitライブラリ・フレームワークを用いて、ロボットの軌道を修正し、かつレーザレンジファインダのスキャンを、地図に対して整合させる。
【０１０４】
その結果得られる整合されたスキャンで、占有グリッド地図が作成される。
【０１０５】
このような占有グリッド地図については、たとえば、以下の文献に開示がある。
【０１０６】
文献５：A. Elfes, ”Using occupancy grids for mobile robot perception and navigation,” Computer, vol. 22, no. 6, pp. 46-57, June 1989.
したがって、本実施の形態において、「レーザレンジファインダのスキャンを、地図に整合させる」とは、レーザレンジファインダのスキャンの方向および測位の位置が設計図面においてどの方向および位置に対応するかを整合させることをいい、「占有グリッド」とは、幾何学マップにおいて、固定対象物（壁などのような固定的な対象物およびテレビのような半固定的な対象物であって、測定対象となる時間間隔に対して、固定されているとみなされるもの）により、占有されているグリッドのことをいう。
【０１０７】
後に説明するように、本実施の形態では、音響源の方向と「占有グリッド」に関する情報とを組み合わせることで、空間内の音響源の位置を特定する。
【０１０８】
（ロボットの位置の特定処理のアプローチ）
以下では、ロボット位置特定処理部１０４０の行う処理について、詳しく説明する。
【０１０９】
図５は、実験として、ロボット１０００と音響源Ｓ１およびＳ２とを配置した空間の例を示す図である。
【０１１０】
図５においては、ロボット１０００は、実験のために、移動機構および音源の定位のための構成のみとなっている。
【０１１１】
図６は、このようなロボット１０００の外観を示す図である。
【０１１２】
ロボット１０００の前面および後面には、前面レーザレンジファインダ（ＬＲＦ：Laser Range Finder）２０と、後面レーザレンジファインダ（ＬＲＦ）３０とが設けられる。また、移動機構である車輪には、路程測定センサ１０が取り付けられている。
【０１１３】
図７は、レーザレンジファインダによる測距処理の概念を説明するための図である。
【０１１４】
レーザレンジファインダは、ロボット１０００から角度ｂでレーザ光を照射して、その角度ｂについて対象物までの距離ｚを測定する装置である。角度ｂを変化させてスキャンすることで、一定の角度範囲内の対象物までの距離を取得できる。
【０１１５】
図７に示されるように、前面ＬＲＦ２０および後面ＬＲＦ３０によりロボットの周囲３６０度に存在する対象物までの距離を、各一回のスキャンで取得することが可能である。
【０１１６】
図８は、ロボット１０００の位置の特定の処理の概念を説明するための図である。
【０１１７】
図８（ａ）に示すように、ロボット１０００の位置を特定するにあたり、路程センサ１０のみを使用した場合、実際には、出発点と終点が一致するようにロボット１０００が移動したとしても、ロボット内部で特定されたロボットの位置がずれてしまう。
【０１１８】
これに対して、以下に説明する図８（ｂ）に示すように、路程センサ１０と、前面ＬＲＦ２０および後面ＬＲＦ３０の測距データとを組み合わせると、ロボット内部で特定される位置においても、出発点と終点が一致する。
【０１１９】
このように、路程センサ１０と、前面ＬＲＦ２０および後面ＬＲＦ３０の測距データとを組み合わせるために、以下に説明するように、本実施の形態では、ロボット位置を評価するにあたり、重みづけられたＭ個のパーティクルによるパーティクルフィルタ・アプローチを使用する。
【０１２０】
ｍ個の各パーティクルには、その属性として、ロボット１０００の候補位置{xm(k)，ym(k)}および候補方向{qm(k)}、ならびに、パーティクル重み{wm(k)}を含む状態ベクトルｓm［ｔ］＝{xm(k)，ym(k)，qm(k)，wm(k)}が対応付けられる。
【０１２１】
ロボット１０００が移動する間、各パーティクルも、さらに路程測定および確率論的な動作模型(それはロボット運動に不確実性について記述する)に基づいて運動する。
【０１２２】
さらに、パーティクルに対して重みを算出する過程で、パーティクルフィルタは、レーザレンジファインダによる測定に基づく尤度を考慮して、事後確率を推定する。
【０１２３】
図９は、パーティクルフィルタを用いたロボット１０００の位置の特定処理を説明するためのフローチャートである。
【０１２４】
図９を参照して、処理が開始されると、まず、ロボット位置特定処理部１０４０は、各パーティクルの属性の初期化を行う（Ｓ１００）。
【０１２５】
続いて、ロボット位置特定処理部１０４０は、変数ｍを１から順次ｍの最大値ｍmaxまでインクリメントしながら、パーティクルの状態ベクトルｓm［ｔ］を、路程計測の結果と動作モデル、および前時刻の状態ベクトルｓm［ｔ−１］とに基づいて、算出する（Ｓ１０２、Ｓ１０４，Ｓ１０６，Ｓ１０８のループ）。
【０１２６】
図１０は、パーティクルの状態ベクトルｓm［ｔ］の算出の概念を説明するための図である。
【０１２７】
図１０に示されるように、路程センサ１０は、右側の車輪の速度ｖ＿ｒおよび左側の車輪の速度ｖ＿ｌを計測しているので、それにより、ロボット位置特定処理部１０４０は、ロボット１０００の速度Ｖおよび各速度Ｒを算出することができる。これにより、前時刻の状態ベクトルｓm［ｔ−１］から、Δｔ時間だけ経過した後のパーティクルの状態ベクトルｓm［ｔ］を算出することになる。なお、各パーティクルは、位置だけでなく、方向も異なっている。
【０１２８】
図９に戻って、続いて、ロボット１０００では、プロセッサ１０１０に制御されて、パーティクルをカウントするための変数ｍを１に初期化し（Ｓ１０８）、測定角度および変数ｋの初期化を行った（Ｓ１１０）後に、角度θ0から所定の角度Δθごとにレーザレンジファインダ２０および３０により、対象物までの測距を行う（Ｓ１１２）。
【０１２９】
続いて、ロボット位置特定処理部１０４０は、パーティクル毎に、時刻ｔにおいて、その向きにおいて、対象物までの距離に基づいて、各パーティクルについての尤度を計算する（Ｓ１１４）。
【０１３０】
図１１は、このような対象物までの距離に基づく各パーティクルについての尤度を示す図である。
【０１３１】
このようなレーザレンジファインダの測距に基づく尤度については、パーティクルを対象とするものではないが、以下の文献に記載がある。
【０１３２】
文献６：S. Thrun, W. Burgard, and D. Fox, Probabilistic Robotics (Intelligent Robotics and Autonomous Agents)，The MIT Press, 2005.
図１１（ａ）に示すように、レーザレンジファインダにより対象物までの距離がｚt＊である場合、このような尤度（事後確率分布）は、以下の確率分布を重ね合わせたものである。
【０１３３】
ｉ）測定ノイズを考慮した測定距離ｚt＊を中心とするガウス分布
ｉｉ）ロボットが移動することにより予期しない対象物が検出される確率であって、距離に対して指数関数的に減少する分布
ｉｉｉ）最大測距可能範囲内に対象物が存在しない場合に測距データが最大値となる確率
ｉｖ）ランダムな要因によるホワイトノイズに相当する確率分布
ただし、以下の説明では、簡単のために、尤度は、図１１（ｂ）のように表されるものとして説明する。
【０１３４】
図１２は、レーザレンジファインダの測定結果（測距データ）に基づいて、パーティクルの尤度を算出する手続きを説明するための概念図である。
【０１３５】
図１２に示されるように、ロボット１０００の現実の位置からレーザレンジファインダにより、角度θkでの対象物までの距離がｚ＊として測定された場合を考える。
【０１３６】
このとき、パーティクル１については、その位置および向きから、光線を発射したとして、幾何学マップにおいて、角度θkでの対象物までの距離がＺ１＊であると算出され、パーティクル２については、その位置および向きから、光線を発射したとして、幾何学マップにおいて、角度θkでの対象物までの距離がＺ２＊であると算出されるとする。
【０１３７】
ここで、このようなパーティクルから対象物まで仮想的に光線を照射する処理も、現実のレーザ光のスキャンの動作において光線を所定の角度で照射することを「レイキャスト」と呼ぶのに対応して、「レイキャスト」と呼ぶことにする。
【０１３８】
このとき、ロボット位置特定処理部１０４０は、図１１に示した確率分布に基づいて、図１２に示すように、パーティクル１の尤度を、Ｌ１と算出し、パーティクル２の尤度を、Ｌ２と算出する（Ｓ１１４）。
【０１３９】
ロボット位置特定処理部１０４０は、角度θkが最大値に達していなければ（Ｓ１１６）、角度θkをΔθだけ更新し（Ｓ１１８）、角度θkでの対象物までの距離のレーザレンジファインダでの計測、および各パーティクルについて角度θkでの対象物までの距離の算出に基づいて、図１１に示した確率分布により、尤度を算出し積算する（Ｓ１１４）。
【０１４０】
図１３は、レーザレンジファインダによる測距と、あるパーティクルからのレイキャストの手続きを示す概念図である。
【０１４１】
図１３に示すように、角度を変更してスキャンしながら、ロボット１０００からレーザレンジファインダにより測距した結果と、各パーティクルからのレイキャストにより幾何学マップ上で算出される対象物までの距離とにより、各角度におけるパーティクルの尤度を算出して、角度について得られた尤度を積算する。
【０１４２】
図９に再び戻って、このような処理を角度θkが最大値に達するまで繰り返すことにより、ロボット位置特定処理部１０４０は、各パーティクルの重みを尤度の高さに比例して決定する（Ｓ１２０）。
【０１４３】
以上のようなステップＳ１１０からステップＳ１２０までの処理を、変数ｍの値をインクリメントしながら、パーティクルの最大個数ｍmaxとなるまで繰り返す（Ｓ１１０〜Ｓ１２４までのループ）。
【０１４４】
さらに、ロボット位置特定処理部１０４０は、パーティクルの表す現在の状態とその重みとから、ロボット位置の確率密度分布を推定する（Ｓ１２６）。さらに、ロボット位置特定処理部１０４０は、推定された確率密度分布を用いて、ロボットの現在の状態（位置および向き）を推定する（Ｓ１２８）。
【０１４５】
そして、ロボット位置特定処理部１０４０は、パーティクルフィルタについて、推定された確率密度分布を用いてリサンプリング処理を行う（Ｓ１３０）。すなわち、たとえば、確率密度分布に比例した確率で、パーティクルを復元抽出する。つまり、確率の大きなパーティクルの抽出頻度を高くし、確率の小さなパーティクルを消滅させて、時刻ｔでのパーティクル集合を得る。
【０１４６】
その後、処理は、ステップＳ１０２に復帰する。
【０１４７】
以上のような処理によりパーティクルは、レイキャスティングの後には、より正確にロボットの状態を反映したパーティクルは、より高い尤度スコアを有することになって、より多くの重みが割り当てられる。
【０１４８】
なお、幾何学マップ作成部１０３０は、幾何学マップを、パーティクル分散の状態と、レーザースキャンのマッチングとに基づいて、更新する構成としてもよい。
（占有セルについての尤度の累積および音響源マッピング）
以下では、音源の方位の推定処理と、ロボット１０００の位置を図９に示すようなパーティクルフィルタにより特定することとに連動して、音源の空間中の位置を特定する処理について説明する。
【０１４９】
自律移動中では、ｋ番目のオーディオスキャン｛ｑn(ｋ)，Ｊn(ｋ)｝は、ロボット座標で表現されるものの、この実施の形態で実行される処理では、グローバル座標での幾何学マップにおける音源の位置を評価するために、オーディオスキャンをグローバル座標系におけるロボットの姿勢に関する情報と組み合わせる。
【０１５０】
すなわち、各パーティクルであらわされるロボットの姿勢（位置および方向）から、音源の方向として特定された複数の方向にレイキャストし、これらの方向でヒットした幾何学マップ上の占有セルを見つけ出す処理を行う。言い換えると、音響源は、幾何学的マップにおいて、占有セルとして表現される（目に見える）と仮定していることに相当する。
【０１５１】
図１４は、このようなパーティクルからの音源の位置を特定するためのレイキャストの概念を説明するための図である。
【０１５２】
図９で説明したように、ロボット姿勢に関する知識は、パーティクルの分布に含まれている。
【０１５３】
ｋ番目のオーディオスキャンがなされると、図１４に示すように、このパーティクルから、オーディオ方向ｑn(ｋ)の知識を伝搬させるために、Ｍ（＝ｍmax）個のパーティクルの各々からレイキャストが実行される。
【０１５４】
そして、このようなレイキャストが、占有セル{i,j}にヒットした場合は、音源位置推定部１０７０は、その占有セルについての尤度ｃij（ｋ）を、パーティクルの重みｗmだけ増加する。
【０１５５】
したがって、ある占有セルが音源位置である尤度が、このようなレイキャストにより算出される。
【０１５６】
図１５は、占有セルについての尤度の累積および音響源マッピングの処理を説明するためのフローチャートである。
【０１５７】
また、図１６は、テスト環境のうちの１つに対して得られた地図を示す図である。以下では、図１６を、図１５の説明のための具体例として使用する。図１６（ａ）は、音響源およびロボット軌道を備えた廊下の幾何学マップを示し、図１６（ｂ）は、レイキャスティング後に得られた占有セルについての尤度Ｃij（ｋ）を示す部分拡大図を示す。黒いＸ印は占有セルを表わす)。
【０１５８】
図１５を参照して、音源位置推定部１０７０は、変数ｋを初期化した後（Ｓ２００）、音源方向推定部１０６０から、ｋ番目のオーディオスキャンの結果として取得されている、ロボット座標系における音の到来方向ｑn(ｋ)およびパワーＪn(ｋ)を取得する（Ｓ２０２）。
【０１５９】
上述した占有セルについての尤度Ｃij（ｋ）は、「有益な」スキャンに対してのみ、有意な値を有するように生成される。
【０１６０】
そこで、Ｓ２０４に示すように、スキャンが、顕著なピークを成しており、パワーの変化量が所定よりも大きいスキャンについて、尤度の累積処理を行う。逆にいえば、全方向と同程度のパワーとなっているスキャンについては破棄され、累積処理は行われない。
【０１６１】
そこで、Ｓ２０４では、ｋ番目のオーディオスキャンは、以下の場合に選択される。
【０１６２】
【数８】
2014137226.tif 000010
ここで、εmaxとεrangeは、所定のしきい値である。
【０１６３】
オーディオスキャンが、上述した条件を満たす場合（Ｓ２０４でＹ）、音源位置推定部１０７０は、変数ｎを初期化した後（Ｓ２０６）、変数ｍと変数ｐmaxとを初期化した後（Ｓ２０８）、ｍ番目のパーティクルについて、位置［xm(k)、ym(k)］から、方向［qm(k)+qn(k)］にレイキャストを実行する（Ｓ２１０）。
【０１６４】
音源位置推定部１０７０は、レイキャストが、幾何学的マップにおいて占有されたセルにヒットするとき、または、マップにおける非探索領域（図４（ａ）におけるグレーの領域）に達したとき、あるいは、最大範囲ｄに到達したときは、レイキャストを終了させる（Ｓ２１２）。
【０１６５】
セル｛ｉ，ｊ｝については、ｋ番目のスキャンに対するヒット率は、Ｃij（ｋ）と表すこととする。
【０１６６】
ヒット数のカウントが、初期的にゼロとされた後、セル｛ｉ，ｊ｝が、ｋ番目のスキャンのｍ番目のパーティクルからのレイキャストにヒットすると、音源位置推定部１０７０は、Ｃij（ｋ）を、以下のように更新する。
【０１６７】
【数９】
2014137226.tif 000011
ここで、ｗmは、ｍ番目のパーティクルの重みである。
【０１６８】
ヒットしたセルは、ヒットセルのリストに加えられ、リストサイズをｐmaxをインクリメントする（Ｓ２１４）。
【０１６９】
音源位置推定部１０７０は、このような処理をｍmax個のパーティクルについて繰り返す（Ｓ２１０からＳ２１８までのループ）。
【０１７０】
音源位置推定部１０７０において、ｍmax個のパーティクルの各々からレイキャストした後においては、ｃij（ｋ）は、セル｛ｉ，ｊ｝が、ヒットした確率を表すことになる。
【０１７１】
したがって、オーディオ方向ｑn(k)は、いくつかのセルと関連付けられ、このような各セルに対する確率が評価されることになる。
【０１７２】
図１６（ｂ）は、スキャンによってヒットしたセルと、そのヒット確率とを示す図である。
【０１７３】
図１５に戻って、レイキャストの間、セル｛ｉ，ｊ｝には、オーディオスキャンパワーの関数である尤度が、以下のようにして割り当てられる。
【０１７４】
音源位置推定部１０７０において、変数ｐが初期化される（Ｓ２２０）。
【０１７５】
そして、選択されたスキャンについては、尤度関数は、以下のように与えられる。
【０１７６】
【数１０】
2014137226.tif 000012
ここで、αは、尤度のピークの鋭さを制御するための値であり、以下のとおりの関係がある。
【０１７７】
【数１１】
2014137226.tif 000013
パラメーターεnormは、低いパワーのスキャンに対する尤度の範囲をコントロールするものである。
【０１７８】
尤度は、以下の範囲にスケールされる。
【０１７９】
【数１２】
2014137226.tif 000014
セル｛ｉ，ｊ｝には、ｃij（ｋ）<εprobaであるとき（Ｓ２２４でＹ）には、対数尤度が、以下のように割り当てられる（Ｓ２２８）。
【０１８０】
【数１３】
2014137226.tif 000015
それ以外の場合（Ｓ２２４でＮ）は、対数尤度は、以下のようになる（Ｓ２２６）。
【０１８１】
【数１４】
2014137226.tif 000016
なお、対数尤度の初期値は、以下のようになる：
【０１８２】
【数１５】
2014137226.tif 000017
累積中においては、対数尤度は、［−ＬＲmax，ＬＲmax］の範囲になるようにしきい値がかけられる。
【０１８３】
音源位置推定部１０７０は、このような処理を、ヒットセルのリスト中のすべてのセルについて繰り返す（Ｓ２２２からＳ２３２までのループ）。
【０１８４】
続いて、音源位置推定部１０７０は、変数ｎ（何番目の音源であるかを示す変数）が、ｎmax−１よりも大きくなければ（Ｓ２３４でＮ）、ｎの値をインクリメントして（Ｓ２３８）、ステップＳ２０８からＳ２３４までの処理を繰り返す。
【０１８５】
音源位置推定部１０７０は、変数ｎが音源の最大個数ｎmaxに達していれば（Ｓ２３４でＹ）、続いて、オーディオスキャンを示す変数ｋが、その最大値ｋmax−１よりも大きくない場合に（Ｓ２３６でＮ）、ｋの値をインクリメントして（Ｓ２０５）、ステップＳ２０２からＳ２３４までの処理を繰り返す。
【０１８６】
音源位置推定部１０７０は、さらに、全てのオーディオスキャンについての処理が終了すると（Ｓ２３６でＹ）、より高い対数尤度があるセルを見つけて、これらのセルをクラスターに分け（Ｓ２４０）、各クラスター(これらの重みは選択されたセルの対数尤度Ｌij(k)である)内の加重平均位置を計算することにより、幾何学的なマップにおける音源定位を行なう（Ｓ２４２）。
【０１８７】
なお、このような音響源の位置推定と音響源マップの更新を、ロボット１０００の移動とともに、定期的に実行し、あるいは、所定のイベントが生じた際に不定期に実行することで、常に、音響源マップを最新の状態に更新することが可能である。
【０１８８】
さらに、音源位置推定部１０７０は、セル｛ｉ，ｊ｝が見通されるオーディオスキャンの回数を、Ｋij（ｋ）としてカウントしてもよい。その場合、このカウント数は、ほとんど見通されることのない占有セルを対象から除くために使用される。
【０１８９】
なお、音源定位について事前情報が何もない場合、すべての占有セル｛ｉ，ｊ｝に対して、ｐij,init＝０．５とするものとする（フラットな初期設定）。
（実験結果）
以下では、以上説明したようなロボット１０００を用いた音響源マップの実験結果について説明する。
【０１９０】
実験は、図１６で示したような環境の幾何学マップの廊下に対して実行された。図１６において、このマップ中のセルの次元は、５ｃｍ×５ｃｍである。
【０１９１】
このような環境の幾何学マップのデータを保持するので、ロボット１０００は、廊下で自律的に移動することができる。
【０１９２】
実験の最初では、ロボット１０００は、廊下のすべての部分をカバーするように、ループ状に巡回できる１組の各位置について、幾何学マップ作成のための情報が与えられる。
【０１９３】
以下では、「１試行」とは、廊下の１つのループをロボットが移動することに相当する。
【０１９４】
音響源マップが、以下に説明するように、これらの試行の間に生成された。
【０１９５】
いくつかの(４個まで)音響源Ｓ１〜Ｓ４が、環境(これらの場所はレーザレンジファインダのスキャン面に位置している)に設置された。
【０１９６】
これらの音響源は、録音された音を再生するラウドスピーカーであり、環境下には設置された各音響源からの音は、それぞれ、空気調節設備の音Ｓ１（５ｃｍ離れたところで測定したとき７８．５ｄｂＡの音圧を備える音）、デスクトップコンピューター・ファンの音Ｓ２(７７．５ｄｂＡ)、サーバーラックの音Ｓ３(７７ｄｂＡ)およびポピュラーソングの音Ｓ４（７３ｄｂＡ）であった。
【０１９７】
静かな廊下の音圧は約４２ｄＢＡであった。
【０１９８】
図１７は、音響源位置の特定に使用したパラメータを表す図である。
【０１９９】
図１７において、オーディオスキャンの選択のためのパラメータ（εmaxとεrange）、オーディオスキャンにおける尤度関数の形状（εnorm，α）、尤度の累積（Ｌmax，Ｌmin，εproba，ＬＲmax）、レイキャストのための最大距離ｄの設定値を示す。レイキャスティングに使用された最大の距離ｄは、３メートルに設定された。それは、３メートル以上離れると、音響源から出た音は空間の雑音レベル未満となるからである。レイキャスティングの処理に対しては、より長い距離にすると、結果がよりばらつき、計算負荷も増加させることになる。
【０２００】
また、実験における試行にあたっては、各音響源の活性化のパターンを変化させている。
【０２０１】
図２１は、各試行のための音響源の活性化のパターンを示すテーブルである。
【０２０２】
また、実行された試行のうち、４回の試行において、人が環境の中で歩いており話していた。
【０２０３】
自律移動中に、オーディオスキャンが可能な場合に、占有セルの対数尤度が更新された。
【０２０４】
最新の生の音響源マップは、オーディオスキャンの後ごとに生成され、利用可能となる
図１８〜図２０は、フラットな初期設定の場合に得られた生の音響源マップを示す図である。
【０２０５】
すなわち、図１８（ａ）（ｂ）、図１９（ｃ）（ｄ）、図２０（ｅ）（ｆ）は、それぞれ、フラットな初期設定の場合に、以下のような条件で、複数回の試行の終わりに得られた生の音響源マップを示す図である。
【０２０６】
(ｏ)はグラウンドトルゥースで、(ｘ)は検知されたソースである。図１８（ａ）は、活性なソースなしでの試行１を、図１８（ｂ）は活性なソースS1、S2およびS3での試行２を示す。
【０２０７】
図１９（ｃ）は、活性なソースS1、S2およびS3での試行３を、図１９（ｄ）は、人々が歩きまわり話しをしつつ、ソースS1、S2およびS3が活性な試行４を示す。
【０２０８】
図２０（ｅ）は、ソースS1およびS3が活性な試行５を、図２０（ｆ）は、ソースS1、S2、S3およびS4を活性とした試行６を示す。
【０２０９】
これらの生の音響源マップについては、正の尤度を有するセルが、クラスター化される。
【０２１０】
クラスター重心の場所が黒い×として示される。音響源の実際の位置は黒丸として与えられる。
【０２１１】
クラスターの各々については、セルの数および対数尤度の和は、図２１に示されている。
【０２１２】
図２１において、Ｓ＊は、ソースがないところに誤って検出されたことを表わす。
【０２１３】
図２１により、本実施の形態のようなアプローチは、音響源の位置をうまく評価できた。
【０２１４】
フラットな初期設定については、平均局在誤差は１２．８８ｃｍであった。
【０２１５】
セルの大きさが、５ｃｍ×５ｃｍであり、ラウドスピーカーが点音源ではないものの、複数のセルにまたがってもよいことを考慮すると、数セルの範囲に収まる誤差は、定位が正確に行われたことを示す。
【０２１６】
誤って検知された音源から得られた最も高い対数尤度和は、６８７（図２０（ｆ））であり、活性な音源に対して得られた最も小さな対数尤度和２１１６（図１９（ｄ））に比較して小さい。
【０２１７】
しかも、この低い値は、マッピング中に、２人が環境下で話しながら移動していた場合の試行４に相当する。
【０２１８】
なお、以上の説明では、移動体であるロボット１０００は、自律的に移動する機構を有しており、ｉ）自身の位置を特定する処理、ｉｉ）音響源の方向を特定する処理、ｉｉｉ）音響源の位置を特定する処理、ｉｖ）幾何学マップを保持しまたは更新する処理、ｖ）音響源マップを保持しまたは更新する処理のすべてをロボット１０００の単体の中で行うものとして説明した。
【０２１９】
しかしながら、音響源マップ作成システムとして考えた場合、ｉ）からｖ）の処理のうちの一部または全部は、ロボット１０００と無線通信などにより通信可能な別のコンピュータの処理として実行してもよい。
【０２２０】
また、ｉ）自身の位置を特定する処理において、パーティクルフィルタにおける各パーティクルの運動は、路程測定センサの測定値により算出するものとして説明したが、このようなパーティクルの運動は、ロボット１０００の外部の環境内に配置されたセンサ群により、ロボットの位置を計測した測定値により算出する構成としてもよい。
【０２２１】
また、ロボットが外部の対象物までの距離を測定する装置としてレーザレンジファインダを用いるものとして説明したが、対象物までの距離を測定でき、その測定結果が所定の確率分布としてモデル化できる測距センサであれば、他のセンサを用いてもよい。
【０２２２】
以上説明したように、本実施の形態の移動体およびこれを用いた音響源マップの作成方法によれば、音源の位置を特定できる機能を有し、現実の音声コミュニケーションに利用可能な音響源に対する事前情報を収集することが可能である。
【０２２３】
特に、幾何学マップとオーディオスキャンの組合せることにより、計算の負荷を大きくすることなく、より正確に音響源マップの作成を実行することができる。これは、このアプローチでは、幾何学マップの占有セルだけが、レイキャストにおいて考慮されるからである。この占有セルに対するレイキャストにおいて、ロボット姿勢に関する知識（パーティクルの属性に反映される）は、占有セルの尤度の更新に利用される。
【０２２４】
したがって、たとえば、このような音響源マップは、ロボットが環境騒音に関するよりよい知識を獲得するのをアシストすることになる。
【０２２５】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０２２６】
１０  路程測定センサ、２０  前面レーザレンジファインダ、３０  後面レーザレンジファインダ、４０  センサ入出力ボード、５０  メモリ、６０  バス、６１ 固有ベクトル算出部、６２ ＭＵＳＩＣ処理部、８６ 相関行列算出部、８８ 固有値分解部、１０４ ＭＵＳＩＣ空間スペクトル算出部、１０６ ＭＵＳＩＣ応答算出部、１１０  音源方向推定処理部、ＭＣ１ マイクロホンアレイ、１０００  ロボット、１０１０  プロセッサ、１０３０  幾何学マップ作成部、１０４０  ロボット位置特定処理部、１０５０ 音源パワースペクトル取得部、１０５２  マイクロホンアレイ、１０５４  音声入出力ボード、１０６０  音源方向推定部、１０７０  音源位置推定部、１１００  不揮発性記憶装置、１１０２  幾何学マップ、１１０４  音響源マップ。
【図１】
2014137226.tif 000018
【図２】
2014137226.tif 000019
【図３】
2014137226.tif 000020
【図４】
2014137226.tif 000021
【図１２】
2014137226.tif 000022
【図１３】
2014137226.tif 000023
【図１４】
2014137226.tif 000024
【図５】
2014137226.tif 000025
【図６】
2014137226.tif 000026
【図７】
2014137226.tif 000027
【図８】
2014137226.tif 000028
【図９】
2014137226.tif 000029
【図１０】
2014137226.tif 000030
【図１１】
2014137226.tif 000031
【図１５】
2014137226.tif 000032
【図１６】
2014137226.tif 000033
【図１７】
2014137226.tif 000034
【図１８】
2014137226.tif 000035
【図１９】
2014137226.tif 000036
【図２０】
2014137226.tif 000037
【図２１】
2014137226.tif 000038