(57)【特許請求の範囲】
【請求項１】
領域内に配置される複数の３次元距離センサの位置および姿勢をグローバル座標内でキャリブレーションするためのキャリブレーション装置であって、各前記複数の３次元距離センサは、センサ位置から対象物までの距離を検出可能なものであり、
前記複数の３次元距離センサは、前記領域の天井部分に、配置されており、
各前記複数の３次元距離センサからの測定データを受け付けるインタフェース装置と、
各前記３次元距離センサからの前記測定データを時系列として格納するための記憶装置と、
前記測定データに基づいて、前記キャリブレーションを実行するための演算処理手段とを備え、前記演算処理手段は、
前記３次元距離センサごとに、前記領域内を移動する身長が既知の人物の頭頂部の位置を検出し、当該人物についての頭頂部の各時間における複数の観測を平均することにより、前記頭頂部の複数の観測を含む共通平面を特定するための頭頂部検出手段と、
前記３次元距離センサごとに、前記共通平面を基準として、ロール角、ピッチ角および高さを較正する第１の較正手段と、
前記３次元距離センサごとに、前記人物についての他の３次元距離センサとの共通の観測に基づいて、前記共通の観測の誤差が最小となるように、前記３次元距離センサの２次元での相対的な位置およびヨー角を較正する第２の較正手段と、
前記第２の較正手段により較正された前記複数の３次元距離センサの相対位置を、所定の基準位置に基づいて、グローバル座標に対して整合させる第３の較正手段とを含む、キャリブレーション装置。
【請求項２】
前記第２の較正手段は、前記３次元距離センサのすべてに対して、共通の観測をグローバル座標系に剛体変換した場合に、共通の観測間の誤差が最小となるように、前記３次元距離センサの２次元での相対的な位置およびヨー角を算出する手段を含む、請求項１記載のキャリブレーション装置。
【請求項３】
前記第２の較正手段は、レーベンバーグ・マーカート法により、前記共通の観測間の誤差が最小となるように、前記３次元距離センサの２次元での相対的な位置およびヨー角を算出する、請求項２記載のキャリブレーション装置。
【請求項４】
前記領域内には、複数の２次元距離センサが、さらに配置されており、
前記演算処理手段は、前記２次元距離センサのペアごとに、前記人物の共通の観測に基づいて、前記ペアの各々の２次元距離センサによる観測の誤差が最小となるように、前記２次元距離センサの２次元での相対的な位置およびヨー角を較正する２次元センサ較正手段をさらに含み、
前記第２の較正手段は、各前記３次元距離センサと、すべての前記２次元距離センサとで、前記人物の共通の観測の誤差が最小となるように、前記３次元距離センサの２次元での相対的な位置およびヨー角を較正する、請求項１〜３のいずれか1項に記載のキャリブレーション装置。
【請求項５】
領域内に配置される複数の３次元距離センサの位置および姿勢をグローバル座標内でコンピュータによりキャリブレーションするためのキャリブレーション方法であって、各前記複数の３次元距離センサは、センサ位置から対象物までの距離を検出可能なものであり、前記コンピュータは演算装置および記憶装置を含み、前記複数の３次元距離センサは、前記領域の天井部分に、配置されており、
前記演算装置が、前記３次元距離センサからの測定データにより、前記３次元距離センサごとに、前記領域内を移動する身長が既知の人物の頭頂部の位置を検出し、当該人物についての頭頂部の各時間における複数の観測を平均することにより、前記頭頂部の複数の観測を含む共通平面を特定するステップと、
前記演算装置が、前記３次元距離センサごとに、前記共通平面を基準として、ロール角、ピッチ角および高さを較正するステップと、
前記演算装置が、前記３次元距離センサごとに、前記人物についての他の３次元距離センサとの共通の観測に基づいて、前記共通の観測の誤差が最小となるように、前記３次元距離センサの２次元での相対的な位置およびヨー角を較正するステップと、
前記演算装置が、較正された前記複数の３次元距離センサの相対位置を、所定の基準位置に基づいて、グローバル座標に対して整合させ、前記３次元距離センサのグローバル座標における位置および向きを前記記憶装置に格納するステップと、を備えるキャリブレーション方法。
【請求項６】
前記２次元での相対的な位置およびヨー角を較正するステップは、前記演算装置が、前記３次元距離センサのすべてに対して、共通の観測をグローバル座標系に剛体変換した場合に、共通の観測間の誤差が最小となるように、レーベンバーグ・マーカート法により、前記３次元距離センサの２次元での相対的な位置およびヨー角を算出するステップを含む、請求項５記載のキャリブレーション方法。
【請求項７】
前記領域内には、複数の２次元距離センサが、さらに配置されており、
前記演算装置が、前記２次元距離センサのペアごとに、前記人物の共通の観測に基づいて、前記ペアの各々の２次元距離センサによる観測の誤差が最小となるように、前記２次元距離センサの２次元での相対的な位置およびヨー角を較正する２次元センサ較正ステップをさらに含み、
前記２次元での相対的な位置およびヨー角を較正するステップは、各前記３次元距離センサと、すべての前記２次元距離センサとで、前記人物の共通の観測の誤差が最小となるように、前記３次元距離センサの２次元での相対的な位置およびヨー角を較正する、請求項５または６記載のキャリブレーション方法。
【請求項８】
領域内に配置される複数の３次元距離センサの位置および姿勢をグローバル座標内でコンピュータによりキャリブレーションするためのキャリブレーションプログラムであって、各前記複数の３次元距離センサは、センサ位置から対象物までの距離を検出可能なものであり、前記コンピュータは演算装置および記憶装置を含み、前記複数の３次元距離センサは、前記領域の天井部分に、配置されており、
前記演算装置が、前記３次元距離センサからの測定データにより、前記３次元距離センサごとに、前記領域内を移動する身長が既知の人物の頭頂部の位置を検出し、当該人物についての頭頂部の各時間における複数の観測を平均することにより、前記頭頂部の複数の観測を含む共通平面を特定するステップと、
前記演算装置が、前記３次元距離センサごとに、前記共通平面を基準として、ロール角、ピッチ角および高さを較正するステップと、
前記演算装置が、前記３次元距離センサごとに、前記人物についての他の３次元距離センサとの共通の観測に基づいて、前記共通の観測の誤差が最小となるように、前記３次元距離センサの２次元での相対的な位置およびヨー角を較正するステップと、
前記演算装置が、較正された前記複数の３次元距離センサの相対位置を、所定の基準位置に基づいて、グローバル座標に対して整合させ、前記３次元距離センサのグローバル座標における位置および向きを前記記憶装置に格納するステップと、をコンピュータに実行させるキャリブレーションプログラム。
【請求項９】
前記２次元での相対的な位置およびヨー角を較正するステップは、前記演算装置が、前記３次元距離センサのすべてに対して、共通の観測をグローバル座標系に剛体変換した場合に、共通の観測間の誤差が最小となるように、レーベンバーグ・マーカート法により、前記３次元距離センサの２次元での相対的な位置およびヨー角を算出するステップを含む、請求項８記載のキャリブレーションプログラム。
【請求項１０】
前記領域内には、複数の２次元距離センサが、さらに配置されており、
前記演算装置が、前記２次元距離センサのペアごとに、前記人物の共通の観測に基づいて、前記ペアの各々の２次元距離センサによる観測の誤差が最小となるように、前記２次元距離センサの２次元での相対的な位置およびヨー角を較正する２次元センサ較正ステップをさらに含み、
前記２次元での相対的な位置およびヨー角を較正するステップは、各前記３次元距離センサと、すべての前記２次元距離センサとで、前記人物の共通の観測の誤差が最小となるように、前記３次元距離センサの２次元での相対的な位置およびヨー角を較正する、請求項８または９記載のキャリブレーションプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は距離センサのキャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラムに関し、特にたとえば、或る環境に配置される２以上の距離センサの位置および向きをキャリブレーションする、距離センサのキャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラムに関する。
【背景技術】
【０００２】
実際の社会環境の中で動作するロボットに対して、歩行者の正確なトラッキングを行うことは、安全性、運動プランニングおよび有効な人間・ロボット間のインタラクションに非常に重要になりえる。
【０００３】
距離センサの１種であるレーザーレンジファインダ（ＬＲＦ:Laser Range Finder）は、社会環境の中で歩行者の高精度で匿名のトラッキングに使用することができる、非侵入性のセンサである。
【０００４】
歩行者の追跡（トラッキング）については、レーザーレンジファインダには、他のタイプのセンサに対する多くの長所がある。
【０００５】
まず、それらの非侵入性は大きな利点である。
【０００６】
また、床圧力検出器のようなハードウェアを用いることは公および商業地区に破壊的かもしれないし、タグあるいは携帯型のデバイスを人々に携帯することを要求することは、研究対象の社会システム内に、活発に介入することを、しばしば要求することになる。
【０００７】
従来の距離センサのキャリブレーション装置の一例が特許文献１に開示されている。
【０００８】
この特許文献１に開示の技術では、計測装置はコンピュータを含み、コンピュータには複数の距離センサが接続される。コンピュータは、各センサからの出力に基づいて、センサ毎に人観測点を検出し、その人観測点の時間変化から人間の移動軌跡を算出する。次に、各センサの出力に基づいて算出された移動軌跡を、センサ間で一致させる。一致させた移動軌跡上の２つの人観測点が所定のルールに従って抽出され、それらを用いてこの移動軌跡を生成したセンサ間の距離および相対的な角度についてのセンサ間の制約を、移動軌跡が一致されたセンサの組毎に算出する。そして、センサ間の制約を用いて、全センサの位置および向きを推定し、推定した位置が調整される。
【０００９】
また、特許文献２には、ある領域内に複数の距離センサが設置されている場合に、各距離センサの位置および方向を較正するための作業負荷を軽減することが可能なキャリブレーション装置が開示されている。
【００１０】
この特許文献２の技術では、計測演算装置において、社会的グループ識別部は、各レーザーレンジファインダにおいて移動測定対象の中からグループとして特定できるグループ候補を識別する。グループ比較部は、レーザーレンジファインダの各ペアごとに、一致するグループを特定し、特定されたマッチングするグループの位置および向きによりレーザーレンジファインダの各ペアの相対位置を算出する。ネットワーク位置特定部は、各ペアから共通に観測される対象物の位置の誤差が最小となるように、センサネットワーク座標系での各レーザーレンジファインダの位置および向きを較正する。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２０１２−８８１３５号
【特許文献２】特開２０１５−１２７６６４号
【発明の概要】
【発明が解決しようとする課題】
【００１２】
特許文献１に開示された技術は、比較的、歩行者の数が少ない環境や、歩行者の移動軌跡が、それぞれ、特有の形状を有するような領域でのキャリブレーションには適している。
【００１３】
また、特許文献２に開示の技術は、たとえば、ある領域に設置される距離センサの数を増加させた場合でも、較正のための作業を軽減することが可能である。
【００１４】
ただし、観測する領域内に存在する人間の数が多くなると、２次元の距離センサだけでは、オクルージョンの影響が大きくなる。
【００１５】
このような問題を解決する方法としては、天井から人間を３次元距離センサにより観察することが考えられる。
【００１６】
すなわち、２次元距離センサは高精度で広面積をスキャンすることができるものの、群衆の中でのオクルージョンに影響を受けやすいのに対して、天井にマウントされた３次元距離センサは、より多くのデータを集め、オクルージョンには影響されにくいが、一方で、それらの測定可能範囲は、全く制限されている。
【００１７】
ただし、その場合、距離センサの較正を３次元空間に対して行うことが必要となり、システムの較正作業の負荷が、増加してしまう、という問題がある。
【００１８】
この発明の他の目的は、ある領域内に複数の３次元距離センサが設置されている場合に、測定対象となる領域の人間の活動に、影響を与えることなく、３次元距離センサの位置および方向を較正することが可能なキャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラムを提供することである。
【課題を解決するための手段】
【００１９】
この発明の１つの局面に従うと、領域内に配置される複数の３次元距離センサの位置および姿勢をグローバル座標内でキャリブレーションするためのキャリブレーション装置であって、各複数の３次元距離センサは、センサ位置から対象物までの距離を検出可能なものであり、複数の３次元距離センサは、領域の天井部分に、配置されており、各複数の３次元距離センサからの測定データを受け付けるインタフェース装置と、各３次元距離センサからの測定データを時系列として格納するための記憶装置と、測定データに基づいて、キャリブレーションを実行するための演算処理手段とを備え、演算処理手段は、３次元距離センサごとに、領域内を移動する身長が既知の人物の頭頂部の位置を検出し、当該人物についての頭頂部の各時間における複数の観測を平均することにより、頭頂部の複数の観測を含む共通平面を特定するための頭頂部検出手段と、３次元距離センサごとに、共通平面を基準として、ロール角、ピッチ角および高さを較正する第１の較正手段と、３次元距離センサごとに、人物についての他の３次元距離センサとの共通の観測に基づいて、共通の観測の誤差が最小となるように、３次元距離センサの２次元での相対的な位置およびヨー角を較正する第２の較正手段と、第２の較正手段により較正された複数の３次元距離センサの相対位置を、所定の基準位置に基づいて、グローバル座標に対して整合させる第３の較正手段とを含む。
【００２０】
好ましくは、第２の較正手段は、３次元距離センサのすべてに対して、共通の観測をグローバル座標系に剛体変換した場合に、共通の観測間の誤差が最小となるように、３次元距離センサの２次元での相対的な位置およびヨー角を算出する手段を含む。
【００２１】
好ましくは、領域内には、複数の２次元距離センサが、さらに配置されており、演算処理手段は、２次元距離センサのペアごとに、人物の共通の観測に基づいて、ペアの各々の２次元距離センサによる観測の誤差が最小となるように、２次元距離センサの２次元での相対的な位置およびヨー角を較正する２次元センサ較正手段をさらに含み、第２の較正手段は、各３次元距離センサと、すべての２次元距離センサとで、人物の共通の観測の誤差が最小となるように、３次元距離センサの２次元での相対的な位置およびヨー角を較正する。
【００２２】
この発明の他の局面に従うと、領域内に配置される複数の３次元距離センサの位置および姿勢をグローバル座標内でコンピュータによりキャリブレーションするためのキャリブレーション方法であって、各複数の３次元距離センサは、センサ位置から対象物までの距離を検出可能なものであり、コンピュータは演算装置および記憶装置を含み、複数の３次元距離センサは、領域の天井部分に、配置されており、演算装置が、３次元距離センサからの測定データにより、３次元距離センサごとに、領域内を移動する身長が既知の人物の頭頂部の位置を検出し、当該人物についての頭頂部の各時間における複数の観測を平均することにより、頭頂部の複数の観測を含む共通平面を特定するステップと、演算装置が、３次元距離センサごとに、共通平面を基準として、ロール角、ピッチ角および高さを較正するステップと、演算装置が、３次元距離センサごとに、人物についての他の３次元距離センサとの共通の観測に基づいて、共通の観測の誤差が最小となるように、３次元距離センサの２次元での相対的な位置およびヨー角を較正するステップと、演算装置が、較正された複数の３次元距離センサの相対位置を、所定の基準位置に基づいて、グローバル座標に対して整合させ、３次元距離センサのグローバル座標における位置および向きを記憶装置に格納するステップと、を備える。
【００２３】
好ましくは、２次元での相対的な位置およびヨー角を較正するステップは、演算装置が、３次元距離センサのすべてに対して、共通の観測をグローバル座標系に剛体変換した場合に、共通の観測間の誤差が最小となるように、レーベンバーグ・マーカート法により、３次元距離センサの２次元での相対的な位置およびヨー角を算出するステップを含む。
【００２４】
好ましくは、領域内には、複数の２次元距離センサが、さらに配置されており、演算装置が、２次元距離センサのペアごとに、人物の共通の観測に基づいて、ペアの各々の２次元距離センサによる観測の誤差が最小となるように、２次元距離センサの２次元での相対的な位置およびヨー角を較正する２次元センサ較正ステップをさらに含み、２次元での相対的な位置およびヨー角を較正するステップは、各３次元距離センサと、すべての２次元距離センサとで、人物の共通の観測の誤差が最小となるように、３次元距離センサの２次元での相対的な位置およびヨー角を較正する。
【００２５】
この発明のさらに他の局面に従うと、領域内に配置される複数の３次元距離センサの位置および姿勢をグローバル座標内でコンピュータによりキャリブレーションするためのキャリブレーションプログラムであって、各複数の３次元距離センサは、センサ位置から対象物までの距離を検出可能なものであり、コンピュータは演算装置および記憶装置を含み、複数の３次元距離センサは、領域の天井部分に、配置されており、演算装置が、３次元距離センサからの測定データにより、３次元距離センサごとに、領域内を移動する身長が既知の人物の頭頂部の位置を検出し、当該人物についての頭頂部の各時間における複数の観測を平均することにより、頭頂部の複数の観測を含む共通平面を特定するステップと、演算装置が、３次元距離センサごとに、共通平面を基準として、ロール角、ピッチ角および高さを較正するステップと、演算装置が、３次元距離センサごとに、人物についての他の３次元距離センサとの共通の観測に基づいて、共通の観測の誤差が最小となるように、３次元距離センサの２次元での相対的な位置およびヨー角を較正するステップと、演算装置が、較正された複数の３次元距離センサの相対位置を、所定の基準位置に基づいて、グローバル座標に対して整合させ、３次元距離センサのグローバル座標における位置および向きを記憶装置に格納するステップと、をコンピュータに実行させる。
【００２６】
好ましくは、２次元での相対的な位置およびヨー角を較正するステップは、演算装置が、３次元距離センサのすべてに対して、共通の観測をグローバル座標系に剛体変換した場合に、共通の観測間の誤差が最小となるように、レーベンバーグ・マーカート法により、３次元距離センサの２次元での相対的な位置およびヨー角を算出するステップを含む。
【００２７】
好ましくは、領域内には、複数の２次元距離センサが、さらに配置されており、演算装置が、２次元距離センサのペアごとに、人物の共通の観測に基づいて、ペアの各々の２次元距離センサによる観測の誤差が最小となるように、２次元距離センサの２次元での相対的な位置およびヨー角を較正する２次元センサ較正ステップをさらに含み、２次元での相対的な位置およびヨー角を較正するステップは、各３次元距離センサと、すべての２次元距離センサとで、人物の共通の観測の誤差が最小となるように、３次元距離センサの２次元での相対的な位置およびヨー角を較正する。
【発明の効果】
【００２８】
この発明によれば、ある領域内に複数の３次元距離センサが設置されている場合に、各距離センサの位置および方向を較正するための作業負荷を軽減することが可能である。
【図面の簡単な説明】
【００２９】
【図１】２Ｄレンジセンサと３Ｄレンジセンサを、同じ領域内に配置する一例を示す図である。
【図２】天井部分に配置される３Ｄレンジセンサおよび２Ｄレンジセンサの配置を上面から見た状態を示す図である。
【図３】天井に配置される３Ｄレンジセンサの一例を示す図である。
【図４】各３Ｄレンジセンサの観測区域および複数の３Ｄレンジセンサの観測区域の重なりを示す図である。
【図５】３Ｄレンジセンサの自由度を説明する図である。
【図６】計測演算装置１００のハードウェア構成を説明するためのブロック図である。
【図７】ＣＰＵ５６がソフトウェアを実行するにより実現する機能を示す機能ブロック図である。
【図８】較正処理の全体フローを説明するためのフローチャートである。
【図９】３Ｄレンジセンサのみを用いて、３Ｄレンジセンサの構成を行う手続きを説明するためのフロー図である。
【図１０】ピッチ・ロール・ｚ較正について説明するためのフロー図である。
【図１１】回転角θ（ピッチ）およびψ（ロール）を、水平面と整合する手続きを示す概念図である。
【図１２】図１０のステップＳ２０２の手続きを説明する図である。
【図１３】グローバル座標系での整列処理の概念を説明する図である。
【図１４】計測演算装置１００の処理を説明するためのフローチャートである。
【図１５】図１４のステップＳ３１０を説明するフローチャートである。
【図１６】共通する観測についての誤差を最小化するプロセスの概念をしめす図である。
【図１７】図１４のステップＳ３２０を説明するフローチャートである。
【図１８】２Ｄレンジセンサと３Ｄレンジセンサとで、共通する観測を導く手順を説明するための概念図である。
【発明を実施するための形態】
【００３０】
以下、本発明の実施の形態の複数の距離センサが設置されている場合に、各距離センサの位置および方向を較正するためのキャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラムについて、図に従って説明する。なお、以下の実施の形態において、同じ符号を付した構成要素および処理工程は、同一または相当するものであり、必要でない場合は、その説明は繰り返さない。
【００３１】
また、以下の説明では、距離センサとして、３次元的距離センサ（以下、３Ｄ距離センサ）として、たとえば、マイクロソフトKinect（登録商標）のような３Ｄレンジセンサを想定する。また、２次元的距離センサ（以下、２Ｄ距離センサ）としては、２次元的なスキャンを行うレーザーレンジファインダのような２Ｄレンジセンサを例として説明するが、本発明は、このような距離センサに限らず、他の方式により、対象物までの距離を２次元的または３次元的に測定するための測距センサについても適用可能である。
【００３２】
（実施の形態の説明）
まず、本実施の形態の説明の前提として、天井にマウントされた３Ｄレンジセンサに存在する、共通のセンサ・キャリブレーション方式の使用を妨げるような困難について説明する。
【００３３】
１）ポイントクラウドマッチング
較正のための素直な第一の選択は、すべてのセンサ間で、バックグラウンドの静止物体のポイントクラウドの登録を行うことといえる。
【００３４】
しかしながら、このようなアプローチが、現実には使用することができない、いくつかの理由がある。
【００３５】
最初に、ポイントクラウドは、それ自体が、ゆがんでいることである。
【００３６】
第二に、センサ間の共通される特徴を識別するのは、多くの場合は、困難あるいは不可能である。
【００３７】
これは、センサが固定され、その視野が比較的狭いからである。さらに、センサの多くは、床と壁をその視野に納めることになり、それはポイントクラウドを整合することに有益な特徴を供給与えない。
【００３８】
２）床面の抽出
床面を参照面として使用することは、少なくともセンサのピッチ、ロールおよび高さの測定のために、有望に見えるものの、床は、典型的には、センサの予定する検知範囲をはるかに越えているので、測定のひずみが再び問題となる。
【００３９】
さらに、床と壁とを区別する曖昧さを解決するようなうまい方法はない。
【００４０】
３）マーカー
３つ以上の既知の位置のマーカーがあれば、1つのセンサの6D姿勢を計算可能とするので、別のオプションとしては、環境中にマーカを配置することである。
【００４１】
しかしながら、測定されるためにひずみとノイズの存在し、かつ、較正すべき多くのセンサがあるという条件下では、良好な較正を達成するのには多くのマーカーが必要になる。
【００４２】
そこで、本実施の形態では、所定の空間内を歩行または移動する人を、一種のマーカーとして利用する。
【００４３】
固定されたマーカーと比較して、歩行者を較正のための参照として使用することにより、より低い労力で、より一般的な設備に対して、良好な較正を行うことができる。
【００４４】
さらに、追跡システムの目的が、ショッピング・モールや教室のような自然な社会環境を観測することであるとすると、マーカーあるいは較正ターゲットを備えることによりビジネスや社会環境を妨害しない較正を実現できる。
【００４５】
特に、３Ｄセンサで較正に使用する歩行者の頭部の観測は、典型的には、天井にマウントされた３Ｄレンジセンサの予定する検知範囲にあり、ひずみの影響を受けない。
【００４６】
さらに、歩行者が時間経過とともに移動するので、それらをセンサ間の共通の観測であると確認するのは簡単である。また、小さなオーバーラップがあるセンサのペアに対しても、共通の観測を生成することが可能である。
【００４７】
また、システムへの入力として自然な歩行者運動の受動的な検知を使用することによって、環境に非侵略的に、較正を行なうことが可能である。
[実施の形態１]
図１は、２Ｄレンジセンサと３Ｄレンジセンサを、同じ領域内に配置する一例を示す図である。
【００４８】
また、図２は、図１に示す領域の天井部分に配置される３Ｄレンジセンサ３２．１〜３２．ｍ（ｍ：２以上の自然数）および２Ｄレンジセンサ３０．１〜３０．ｎ（ｎ：２以上の自然数）の配置を上面から見た状態を示す図である。
【００４９】
図１に示されるように、典型的には、上下逆さまの３Ｄレンジセンサを、図２に示すような交互の方向を向くように、列状に整列して配置する。また、レンジセンサの配置される領域外に、人物（および／または移動体）のトラッキング処理をするためのコンピュータ１００も配置される。
【００５０】
センサは相互の干渉を最小化し、かつカバーする領域を最大化するように配置される。
【００５１】
図３は、天井に配置される３Ｄレンジセンサの一例を示す図であり、図４は、各３Ｄレンジセンサの観測区域および複数の３Ｄレンジセンサの観測区域の重なりを示す図である。
【００５２】
図３に明示的に示されるように、３Ｄレンジセンサは、上下逆さまに天井に据え付けられる。
【００５３】
図４（ａ）に示されるような観測領域を有する３Ｄセンサが、全ての室内をカバーするように配列される場合、これらの観測区域間は、図４（ｂ）に示すように、オーバーラップするように配置される。
【００５４】
３Ｄレンジセンサのオーバーラップが小さいために、隣接したセンサ間では共通の観測が少なくなることになり、較正を困難にする。
【００５５】
これらの３Ｄレンジセンサは、人を全体としてトラッキングするように使用されるのではなく、人々の頭頂部を検知するために使用される。
【００５６】
頭頂部の検知アルゴリズムの詳細は、たとえば、以下の文献に記載されている。
【００５７】
文献１：特開平２０１２‐２１５５５５号
文献２：D. Brscic, T. Kanda, T. Ikeda, and T. Miyashita, "Person Tracking in Large Public Spaces Using 3-D Range Sensors," Human-Machine Systems, IEEE Transactions on, vol. 43, pp. 522-534, 2013.
頭頂領域を最適にカバーするためには、３Ｄセンサは、水平からおよそ３０−６０度の角度を見込み、特定の部屋およびセンサ構成に適合するように選ばれた正確な角度となるように、手動で向きを調節される。
【００５８】
この角度が(水平近くになり)浅すぎれば、センサは人々の頭頂部を観測することができないし、一方で、角度が深すぎれば、有効な検知領域は非常に小さいものになってしまう。
【００５９】
２Ｄレーザーレンジファインダは高さ８６ｃｍ金属柱の上にマウントされる。
【００６０】
この高さは、最適な視程のために選ばれたものである。すなわち、観測対象の人物の腰を検出対象としており、人物の腰は、脚より大きなターゲットであり、より大きな距離でより容易に識別されるものだからである。
【００６１】
２Ｄセンサが水平な床に置かれる限り、ピッチとロールを有効にゼロに固定し、センサの走査が水平面をカバーするように、センサはしっかりと固定されて配置される。
２Ｄセンサのポールは、移動可能であり、したがって、それらの（ｘ，ｙ）位置およびヨー角φは、それらが新しい位置に手動で置かれるごとに較正されなければならない。
（３Ｄレンジセンサについての較正）
図５は、３Ｄレンジセンサの自由度を説明する図である。
【００６２】
関心のある問題は、６自由度内の１組の３Ｄセンサを較正することである。
【００６３】
すなわち、図５に示されるような空間位置（ｘ、ｙ、ｚ）、またアングルφ（ヨー角）、θ（ピッチ角）、ψ（ロール角）の６自由度である。
【００６４】
[ハードウェアブロック]
図６は、計測演算装置１００のハードウェア構成を説明するためのブロック図である。
【００６５】
図６に示されるように、計測演算装置１００は、外部記録媒体６４に記録されたデータを読み取ることができるドライブ装置５２と、バス６６に接続された中央演算装置（ＣＰＵ：Central Processing Unit）５６と、ＲＯＭ（Read Only Memory) ５８と、ＲＡＭ（Random Access Memory）６０と、不揮発性記憶装置５４と、２Ｄレーザーレンジファインダ３０．１〜３０．ｎからの測距データと３Ｄレンジセンサ３２．１〜３２．ｍからの測距データとを取込むためのデータ入力インタフェース（以下、データ入力Ｉ／Ｆ）６８とを含んでいる。
【００６６】
外部記録媒体６４としては、たとえば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭのような光ディスクやメモリカードを使用することができる。ただし、記録媒体ドライブ５２の機能を実現する装置は、光ディスクやフラッシュメモリなどの不揮発性の記録媒体に記憶されたデータを読み出せる装置であれば、対象となる記録媒体は、これらに限定されない。また、不揮発性記憶装置５４の機能を実現する装置も、不揮発的にデータを記憶し、かつ、ランダムアクセスできる装置であれば、ハードディスクのような磁気記憶装置を使用してもよいし、フラッシュメモリなどの不揮発性半導体メモリを記憶装置として用いるソリッドステートドライブ（ＳＳＤ：Solid State Drive）を用いることもできる。
【００６７】
このような計測演算装置１００の主要部は、コンピュータハードウェアと、ＣＰＵ５６により実行されるソフトウェアとにより実現される。一般的にこうしたソフトウェアは、マスクＲＯＭやプログラマブルＲＯＭなどにより、計測演算装置１００製造時に記録されており、これが実行時にＲＡＭ６０に読みだされる構成としてもよいし、ドライブ装置５２により記録媒体６４から読取られて不揮発性記憶装置５４に一旦格納され、実行時にＲＡＭ６０に読みだされる構成としてもよい。または、当該装置がネットワークに接続されている場合には、ネットワーク上のサーバから、一旦、不揮発性記憶装置５４にコピーされ、不揮発性記憶装置５４からＲＡＭ６０に読出されてＣＰＵ５６により実行される構成であってもよい。
【００６８】
図６に示したコンピュータのハードウェア自体およびその動作原理は一般的なものである。したがって、本発明の最も本質的な部分の１つは、不揮発性記憶装置５４等の記録媒体に記憶されたソフトウェアである。
【００６９】
［システムの機能ブロック］
図７は、本実施の形態の計測演算装置１００において、上述したＣＰＵ５６がソフトウェアを実行するにより実現する機能を示す機能ブロック図である。
【００７０】
以下に説明するとおり、本実施の形態の計測演算装置１００では、２Ｄレーザーレンジファインダ３０．１〜３０．ｎからの出力（２Ｄ距離データ）および３Ｄレンジセンサ３２．１〜３２．ｍからの出力（３Ｄ測距データ）に基づいて、トラッキングモジュール５６３０が、対象物（人）のトラッキングを行う。この対象物のトラッキングは、たとえば、パーティクルフィルタなどの技術を用いて、対象の位置および速度を推定することにより実行される。
【００７１】
このような対象物（人）のトラッキングの処理については、たとえば、上述の文献１の他、以下の文献に開示があるとおり、周知な方法で実行することが可能である。
【００７２】
文献３  ：  特開２０１３−６４６７１号公報明細書
以下では、このような対象物（人）のトラッキングの処理を行う前提として、複数の３Ｄおよび２Ｄ距離センサの位置および向きをグローバル座標系において、較正するための処理の構成を説明する。
【００７３】
ここで、３Ｄ距離センサのみの測距データから、３Ｄ距離センサの較正を実行することも可能であり、また、３Ｄ距離センサおよび２Ｄ距離センサからの測距データを統合して、距離センサの較正を実行することも可能である。
【００７４】
なお、図７に示した機能ブロックのうちのＣＰＵ５６が実現する機能ブロックとしては、ソフトウェアでの処理に限定されるものではなく、その一部または全部がハードウェアにより実現されてもよい。
【００７５】
図７を参照して、２Ｄレーザーレンジファインダ３０．１〜３０．ｎからの測距信号および３Ｄ測距センサ３２．１〜３２．ｍからの測距信号は、データキャプチャ処理部５６０２により制御されてデジタルデータとして入力され、キャプチャデータ記録処理部５６０４により、たとえば、不揮発性記憶装置５４のような記憶装置に、各レーザーレンジファインダごとに時系列のデータとして格納される。時系列にデータを取得する際に、計測演算装置１００の制御の下に、データの取り込みが行われる時刻を示すデータを、以下では、「タイムステップ」と呼ぶ。特に限定されないが、タイムステップのデータは、２Ｄレーザーレンジファインダ３０．１〜３０．ｎからの測距データおよび３Ｄレンジファインダ３２．１〜３２．ｍの各々に関連付けられて、不揮発性記憶装置５４に格納される。
【００７６】
後に詳しく説明するように、計測演算装置１００は、さらに、記憶装置に格納された時系列のデータに基づいて、たとえば、各３Ｄレンジセンサ３２．１〜３２．ｍの測定対象の中から、人の頭頂部を抽出する人頭頂部抽出部５６０８と、各３Ｄレンジセンサのパラメータθ、ψ、ｚを見出すために歩行者の頭部の検知によって形成された水平面を使用して、ピッチ・ロール・ｚ較正を、各３Ｄレンジセンサについて独立に行う３Ｄピッチ・ロール・ｚ較正部５６１０と、各レーザーレンジファインダ３０．１〜３０．ｎの測定対象の中から、人の位置を抽出する２Ｄ人抽出部５６１２と、各レーザーレンジファインダ３０．１〜３０．ｎのｘ・ｙ・ヨー較正を、各２Ｄレーザーレンジファインダ３０．１〜３０．ｎについて独立に行う２ＤＸ・Ｙ・ヨー較正部５６１４とを備える。
【００７７】
さらに、計測演算装置１００は、３Ｄピッチ・ロール・ｚ較正部５６１０による較正結果のみ、または、３Ｄピッチ・ロール・ｚ較正部５６１０による較正結果と２ＤＸ・Ｙ・ヨー較正部５６１４による較正結果とを統合して、全ての測距センサに対して、ｘ、ｙ、およびφ（ヨー角）を求めるための剛性変換を見つけ、相対的なｘ・ｙ・ヨー角の較正を、センサ間の共通の観測の識別および共通の観測間の誤差を最小化する剛性変換を計算することで、実行する相対Ｘ・Ｙ・ヨー較正部５６１８と、全測距センサのネットワークを、絶対的なｘ・ｙ・ヨー角の較正によってグローバル座標系に対して整列させる絶対Ｘ・Ｙ・ヨー較正部５６２０とを備える。
【００７８】
絶対Ｘ・Ｙ・ヨー較正部５６２０により較正結果は、記憶装置５４に格納される。
【００７９】
計測演算装置１００は、さらに、記憶装置５４に格納された各２Ｄレーザーレンジファインダおよび３Ｄレンジセンサの位置および向きに基づいて、検出された移動対象物（人または移動物体）をグローバル座標系で表示するための画像出力制御部５６４０とを含む。
【００８０】
以下、計測演算装置１００による２Ｄレーザーレンジファインダおよび３Ｄレンジセンサのグローバル座標系における位置および向きの較正処理について、さらに詳しく説明する。
【００８１】
図８は、較正処理の全体フローを説明するためのフローチャートである。
【００８２】
図８を参照して、誰もいない領域（部屋）について、３Ｄレンジファインダ３２．１〜３２．ｍからの測距データに基づいて、床面のデータを計測する（Ｓ１００）。
【００８３】
測定された各３Ｄレンジファインダ３２．１〜３２．ｍのデータは、本来、同一の床面からのデータであるはずなので、３Ｄレンジファインダ３２．１〜３２．ｍに共通するように、水平面を適合させる（Ｓ１０２）。たとえば、各３Ｄレンジファインダ３２．１〜３２．ｍで計測された床面までの距離を平均することで、その高さに水平な床面があるように、水平面の整合を行う。
【００８４】
このようにして適合された水平面に基づいて、ピッチ・ロール・ｚ（高さ）および画像の歪みのファクターについて、３Ｄレンジセンサごとに粗い評価を行って粗較正を行う（Ｓ０１４）。
【００８５】
次に、計測演算装置１００は、領域内を１人の人が歩行する際の観測データを記録する（Ｓ１０６）。
【００８６】
各タイムステップにおいて、計測演算装置１００は、頭頂部の位置を検出する（Ｓ１０８）。
【００８７】
計測演算装置１００は、一定時間にわたって観測された頭頂部の高さを平均することで、複数の頭頂部の観測に共通するように水平面を整合させる（Ｓ１１０）。
【００８８】
その上で、計測演算装置１００は、頭頂部に整合された水平面により、各３Ｄレンジセンサについて、ピッチ・ロール・ｚ（高さ）の精密な較正を行う（Ｓ１１２）。
【００８９】
続いて、計測演算装置１００は、複数の３Ｄレンジセンサにより共通に観測された歩行者の観測をセンサペアごとに特定する（Ｓ１１４）。なお、後に説明するように、この場合の共通な観測は、２Ｄレンジセンサと３Ｄレンジセンサについて共通なものを想定することも可能である。
【００９０】
その上で、計測演算装置１００は、後に説明するように、制約条件を満足するような剛体変換マトリックスの条件式を、センサネットワーク全体について導き出す（Ｓ１１６）。
【００９１】
続いて、計測演算装置１００は、このような剛体変換マトリックスを算出することで、各３Ｄセンサについて、相対的なＸ、Ｙ、ヨー角を決定して、Ｘ、Ｙ、ヨー角の相対的な較正を行う（Ｓ１１８）。
【００９２】
最後に、計測演算装置１００は、このようにして相対的に較正されたセンサネットワークを、絶対位置が既知の位置に整合させることで、センサネットワークの各センサ位置の絶対的な較正を実行する（Ｓ１２０）。
【００９３】
図９は、３Ｄレンジセンサのみを用いて、３Ｄレンジセンサの構成を行う手続きを説明するためのフロー図である。
【００９４】
以下に説明するように、このような構成の処理を、以下のように３ステップで実行する。
【００９５】
最初に、計測演算装置１００は、各３Ｄレンジセンサのパラメータθ、ψ、ｚを見出すために、歩行者の頭部の検知によって形成された水平面を決定し、この水平面を使用して、ピッチ・ロール・ｚ較正を、各３Ｄレンジセンサについて独立に行う（Ｓ２００）。
【００９６】
次のステップでは、計測演算装置１００は、全ての３Ｄレンジセンサに対して、センサ間の共通の観測を特定し、ｘ、ｙ、およびφ（ヨー角）を求めるための剛性変換を見つける。つまり、後述するように、相対的なｘ・ｙ・ヨー角の較正は、共通の観測間の誤差を最小化する剛性変換を計算することで、実行される（Ｓ２０２）。
【００９７】
最後に、計測演算装置１００は、全センサのネットワークは、絶対的なｘ・ｙ・ヨー角の較正によってグローバル座標系に対して整列される（Ｓ２０４）。
【００９８】
以下では、図９に示した各ステップの処理について、さらに詳しく説明する。
（ピッチ・ロール・ｚ較正）
図１０は、図９のステップＳ２００のピッチ・ロール・ｚ較正について説明するためのフロー図である。
【００９９】
まず、計測演算装置１００は、各３Ｄセンサに対してθ、ψ、ｚを計算するために、領域の中を歩く歩行者の検知を記録し、歩行者の頭頂部を抽出する（Ｓ２００２）。
【０１００】
計測演算装置１００は、歩行者の頭頂部についての複数の観測を含むような平面を決定する（Ｓ２００４）。この手続きにあたっては、頭頂部についての複数の観測を含むような平面は、水平面を近似するだろうという事実を使用する。つまり、歩行する間の頭頂部の高周波の垂直方向の動きは時間にわたって平均すると均されてしまうと仮定する。
【０１０１】
さらに、歩行者の身長も知られている場合、その水平面の高さも特定することができる。
【０１０２】
較正操作を始めるために、反射率が弱いことやあるいは誤った検知によって引き起こされた外れ値を無視する一方、最適に適合した平面を見つけるために、ランダム・サンプル・コンセンサス(RANSAC)技術を使用して、頭頂部の複数の観測に平面を整合させることができる。
【０１０３】
続いて、計測演算装置１００は、一旦、そのような平面が定義されたならば、回転角θ（ピッチ）およびψ（ロール）および高さ（Ｚ）を、その水平面と整合するように決定する（Ｓ２００６）。
【０１０４】
図１１は、このような回転角θ（ピッチ）およびψ（ロール）を、水平面と整合する手続きを示す概念図である。
【０１０５】
図１１（ａ）に示されるように、合成回転角Ωrは、頭頂部の平面の法線ベクトルｎｓと水平面の法線ベクトルｎｚとの内積として決定することができる。
【０１０６】
そして、回転Ωrは、回転θrと回転ψrとの合成として実行することができる。
【０１０７】
これらの回転を適用した後には、各３Ｄレンジセンサの座標系は地面に関して水平である。
【０１０８】
次に、その高さが歩行者の既知の高さと一致するまで、Ｚ軸に沿って頭頂平面を並行移動する。
【０１０９】
このようにして、個々の３Ｄレンジセンサのパラメータ（θ，ψ，ｚ）が定義される。
【０１１０】
その後、計測演算装置１００は、頭部の検知結果はすべて、各センサの最新の姿勢に応じて、再投影する。
【０１１１】
図１１（ｂ）左は再投影前の頭頂部の高さの分布であり、図１１（ｂ）右は、再投影後の頭頂部の高さの分布である。
（相対的なＸ・Ｙ・ヨー角の較正）
図１２は、図１０のステップＳ２０２の手続きを説明する図である。
【０１１２】
各３Ｄセンサのθ，ψ，ｚパラメータが、センサがすべて同一平面上にあるように修正された後に、次に、計測演算装置１００は、複数の３Ｄ測距センタに共通する観測を特定し（Ｓ２０２０）、共通する観測間の誤差を最小化するために、共通の２Ｄ平面中で互いに相対的にセンサを並行移動し、ヨー角について回転させる（Ｓ２０２２）。
【０１１３】
このような誤差を最小化には、後に説明するように、たとえば、レーベンバーグ・マーカート法（Levenberg-Marquardt method）を使用することができる。
【０１１４】
図１２（ｂ）は、２つのセンサによって時間とともに観測された一連の歩行者位置（頭部検知）を較正にどのように使用することができるか示す。
【０１１５】
最初に、時間経過による検知に基づいて、個別の３Ｄレンジセンサによる観測（検知結果）の間で、一致作業が実行される。図１２（ｂ）においては、１−５の番号でタイムステップが表現されている（図１２（ｂ）左）。
【０１１６】
その後、計測演算装置１００は、３Ｄレンジセンサについて、それらの対応する観測間の２次元ユークリッド距離を最小化するように回転され並行移動される（図１２（ｂ）右）。
【０１１７】
ここで、わずかな時計のドリフトを調整するために、異なるセンサからの人検知が、互いに、所定の時間しきい値（たとえば、２０ミリセカンド）以内に生じる場合、異なる３Ｄレンジセンサからの人の検知を同時の共通の観測とみなすものとする。
【０１１８】
１人のみ歩行者をいつでも目に見えるように仮定していることに注意されたい。しかしながら、様々な技術を用いることで、複数の歩行者が歩いているシナリオまでこれを拡張して利用可能である。
【０１１９】
例えば、異なるセンサによって観測された個々の歩行者は、特許文献２に記載されるように、社会集団の軌道形、速度プロファイルおよびメンバーシップに基づいて関連させることができる。
（数学的な定式化）
以下、実際に算出処理を行う場合のその処理を数式により説明する。
【０１２０】
以下に説明する通り、基礎的な数学的な問題は、剛体的な２次元変換マトリックスを見つけることであり、コンピューター・ビジョンの中の「バンドル調節」の問題にいくつかの点において類似している。
【０１２１】
しかしながら、少数の重要な相違がある。
【０１２２】
バンドル調節は、カメラ映像上での３Ｄポイントの２Ｄ投影を扱うのに対して、本実施の形態の問題は、検知されたポイントの実際の空間位置の直接の３Ｄ測定を扱う。
【０１２３】
より形式的には、S個のセンサから成るセンサネットワークを考慮する。人の位置は、各時間ステップｔ∈｛１…τ｝で、０個またはそれ以上のセンサにより観測される。
各センサの2D姿勢のインデックスｉ∈｛１…Ｓ｝は、以下のベクトルによりパラメータ化される。
【０１２４】
【数１】
0006746050.tif 000002
そして、集合的には、以下のようなパラメータベクトルにより表現される。
【０１２５】
【数２】
0006746050.tif 000003
ｉ番目のセンサからの時刻ｔにおける人間の位置についての観測は、センサ座標系において以下のベクトルｐt(i)によりパラメータ化される：
【０１２６】
【数３】
0006746050.tif 000004
さらに、その位置は、剛体変換マトリックスＴi（ｓi）によってグローバル座標に変換することができる、剛体変換マトリックスは、より一般的には、Ｔi（β）と表記される。
【０１２７】
最後に、記号νitは、２値変数であり、時刻ｔにおいて、センサｉから人間が見えるときは、１であり、見えないときは、０であるものとする。
【０１２８】
最適なセンサ位置を見つけるための手続きは、式（１）で表される。すなわち、各時間ステップで各組のセンサの対に対して、センサ姿勢の調節により、歩行者についてのそれらの同時の観測の現実空間の中への2D投影間のユークリッド距離を最小化する。
【０１２９】
最適パラメータベクトルβを、リーベンバーグ・マーカート法を使用する最小自乗最小化によって解くことができる。
【０１３０】
【数４】
0006746050.tif 000005
この計算では絶対的な位置を参照していないので、この問題には、拘束条件が課されておらず、有効な解は、無限に可能であることに注意が必要である。
【０１３１】
この点では、単に相対的なセンサ位置に興味があるだけであるので、１番目のセンサ位置を（0、0、0）に固定し、残りの（Ｓ−１）個のセンサ位置について解を求めるように選ぶことができる。
【０１３２】
最終的に、多くの共通の観測が利用可能な場合、ランダムサンプリングにより、解くべきマトリックスのサイズを縮小することができる。
【０１３３】
たとえば、データが10,000を超える共通の観測を含んでいる場合に、このような処理を使用する。
（絶対的なＸ・Ｙ・ヨー角の較正）
一旦、センサの相対的な姿勢が決定されたならば、計測演算装置１００により実行されるアルゴリズムでの最終ステップは、グローバル座標系でセンサネットワークを整列させることである。
【０１３４】
図１３は、このようなグローバル座標系での整列処理の概念を説明する図である。
【０１３５】
トラッキングのために、センサは天井に手動でマウントする必要があるので、センサのいくつかあるいは全ての近似の位置が先験的に（アプリオリに）知られていると期待することができる。
【０１３６】
外部の座標のフレームへ測定されたセンサネットワークの最良の整合を得るために、センサ位置のみを使用して、もう一度、最小自乗最小化を行なう。
【０１３７】
この計算では、単にそれらの姿勢方向（それらは残りのネットワークに対して相対的に固定される）ではなく、３Ｄレンジセンサの２次元位置を考慮する必要がある。
【０１３８】
Ｓ個のセンサから成るネットワークを定義する。そのネットワークでは、インデックスｉ∈｛１…Ｓ｝の各センサの２次元位置は、ネットワークに相対的な座標系の中でベクトルｓi＝（ｘi，ｙi）によってパラメータ化される。
【０１３９】
計測演算装置１００は、グローバル座標フレームの中で、センサの位置のアプリオリな評価を表わす１セットのベクトルであるｓiハット＝（ｘiハット、ｙiハット）（文字ｃの頭部に＾が付されたものを「ｃハット」で表す）に基づいて算出を行う。
【０１４０】
センサネットワークに適用され、グローバル座標での変換（以下、グローバル変換と呼ぶ）を表すパラメータベクトルβ＝（ｘi，ｙi，ｚi）を定義して、行列ＴG（β）でネットワーク相対座標とグローバル座標間の剛体変換を定義する。
【０１４１】
いくつかのセンサのための位置評価が利用可能ではなかった場合、２値変数νiを定義する。この２値変数νiは、絶対的なセンサ位置評価ｓiハットが定義されるときには１であり、それ以外では、０とする。
【０１４２】
その後、計測演算装置１００は、較正されたセンサ位置とアプリオリに評価されたセンサ位置の間の誤差を最小化する最適なグローバル変換を見つけて、式（２）に表わされる手続きを行なう。
【０１４３】
アプリオリな評価のないセンサは拘束として使用されないが、残りのネットワークとともに、平行移動され、回転される。
【０１４４】
【数５】
0006746050.tif 000006
アプリオリなセンサ位置評価が利用可能ではない場合では、ユーザーが手動でこのステップを行なうことを可能にするＧＵＩを用いることもできる。
【０１４５】
この場合、３Ｄレンジセンサ位置は追跡領域の地図上に投影されて表示される。また、絶対座標フレームでそれを登録するために、ユーザーは手動で、全センサネットワークをドラッグしたり、回転させることができる。
[実施の形態２]
（２Ｄレンジセンサおよび３Ｄセンサ使用する較正）
実施の形態１の較正では、３Ｄレンジセンサのみを使用することで実行できる。
【０１４６】
しかしながら、センサの構成によっては、いくつかのセンサ間の共通の観測を得るのは、時として全く難しい可能性がある。
【０１４７】
これは低い較正精度をもたらすことになるか、あるいはネットワークを較正することを不可能にすることになる。
【０１４８】
そこで、この問題を改善するために、実施の形態２では、３Ｄセンサネットワークと協働する２Ｄレーザーレンジファインダを使用する。
【０１４９】
２Ｄレーザーレンジファインダのより大きな検知範囲は、センサ間のはるかに大きな程度のオーバーラップを保証することができる。
【０１５０】
図１４は、実施の形態２における計測演算装置１００の処理を説明するためのフローチャートである。
【０１５１】
実施の形態２では、較正の演算処理において、３Ｄレンジセンサ以外にも、２Ｄレンジセンサのデータも使用することを除いては、ハードウェア等は、実施の形態１の較正と同様であるので、説明を省略する。
【０１５２】
すなわち、実施の形態２では、同じ座標フレーム上の２Ｄレンジセンサと３Ｄレンジセンサを較正するために、２Ｄレンジセンサからの腰の検知位置上に、３Ｄレンジセンサからの頭頂部の検知位置があるとモデル化する。
【０１５３】
このように、すべてのセンサからの人検知は共通の２Ｄ平面上に投影することができる。
【０１５４】
２Ｄレンジセンサは、水平で与えられた高さで固定した面にあると考えるので、２Ｄレンジセンサと３Ｄレンジセンサのハイブリッド系で較正を行うことは、このように、たった３つの自由度（DOF）（ｘ，ｙ，φ）である１組の２Ｄレンジセンサと一緒に、６つの自由度（DOF）（ｘ，ｙ，ｚ，φ，θ，ψ）で、１組の３Ｄセンサを較正するという問題になる。
【０１５５】
センサの２つの種類を使用して、較正を行なう、最も単純な方法は、相対的なｘ−ｙ−ヨー較正ステップでネットワークに２Ｄレンジセンサを加えることである。
【０１５６】
このような手続きは可能ではあるが、最適化されるマトリックスのサイズを大幅に増加させて、計算に要する時間を増大させてしまう。
【０１５７】
そこで、較正をより効率的に行なうために、３Ｄレンジセンサを単独で較正する場合、所定のセンサからの観測のごく一部分だけが、他のセンサとの間で共通の観測を較正し、残りのデータは、較正には使用しないとする。
【０１５８】
ところが、２Ｄレンジセンサについての観測は、３Ｄレンジセンサからのデータのほぼ１００％でオーバーラップする。
【０１５９】
その結果、隣接した３Ｄレンジセンサ間の少数の共通の観測が、較正に小さな貢献をするのみである。また、３Ｄレンジセンサは、２Ｄレンジセンサに対して直接較正することができる。
【０１６０】
したがって、３Ｄレンジセンサに対する相対的なｘ・ｙ・ヨー較正は、図１４に示すように、ステップＳ３００とステップＳ３１０というように、並行して処理を行うことが可能である。
【０１６１】
図１４に示すように、最初に、３Ｄセンサのピッチ・ロール・z較正処理（Ｓ３００）と平行に、２Ｄレンジセンサの組は互いに較正される（Ｓ３１０）。
【０１６２】
Ｓ３００の処理は、実施の形態１と同様であり、ステップＳ３１０の較正処理は、特許文献１や特許文献２に記載の方法で実行することができる。
【０１６３】
次に、３Ｄレンジセンサの観測が較正された２Ｄレンジセンサからの観測と整合するように、３Ｄレンジセンサの各々は独立して調節される（Ｓ３２０）。
【０１６４】
最後に、全ネットワークはグローバル座標系に沿って整列される（Ｓ３３０）。
【０１６５】
図１５は、図１４のステップＳ３１０を説明するフローチャートである。
【０１６６】
図１５に記載されるように、全ての２Ｄレンジセンサに対して、２Ｄレンジセンサ−のペアごとに共通する観測が特定され、観測間の誤差を最小化するように、剛性変換を算出することで、各２Ｄレンジセンサについて、ｘ・ｙ・ヨー角を算出することができ、相対的なｘ・ｙ・ヨー較正を実行することができる。
【０１６７】
図１６は、共通する観測についての誤差を最小化するプロセスの概念をしめす図である。
【０１６８】
この手続きは、３Ｄを２Ｄで演算するということ以外は、図１２（ｂ）で説明したものと基本的には、同様の処理で実行することができる。
【０１６９】
図１７は、図１４のステップＳ３２０を説明するフローチャートである。
【０１７０】
３Ｄレンジセンサについては、ピッチ・ロール・ｚ較正が完了しているので、以後は、領域中を移動する人の腰の高さの２次元平面（２Ｄレンジセンサが走査する面）で、観測データを投影することで、計測演算装置１００は、まず、各３Ｄレンジセンサと全ての２Ｄレンジセンサとの間で、共通する観測を特定する。
【０１７１】
その後、各３Ｄレンジセンサについて、ｘ・ｙ・ヨー角を決定して、相対的なｘ・ｙ・ヨー較正を実行することができる。
【０１７２】
図１８は、２Ｄレンジセンサと３Ｄレンジセンサとで、共通する観測を導く手順を説明するための概念図である。
【０１７３】
図１８（ａ）に示すように、２Ｄレンジセンサ（２Ｄレーザーレンジファインダ）による計測では、広い範囲にわたって、領域内を移動する人の軌跡を獲得することができる。
【０１７４】
図１８（ｂ）に示すように、３ＤレンジセンサＡと３ＤレンジセンサＢで計測された軌跡が、２Ｄレンジセンサで計測された軌跡ともっとも整合するように、Ｘ・Ｙ・ヨー角の較正が行われる。
（評価）
２つの方法で提案された2つの技術のパフォーマンスを評価した。
【０１７５】
最初に、手動で測定されたグランドトゥルースの情報と評価されたセンサ位置の精度を比較した。また、次に、既知の場所で歩行者の絶対的なトラッキング精度を測定した。
【０１７６】
各測定で、３Ｄレンジセンサだけを使用する提案された第１の較正技術、および３Ｄおよび２Ｄレンジセンサの両方を使用する第２の技術の両方を評価した。
（センサ位置決め精度）
センサ位置のグランドトゥルースの情報を得るために、部屋の壁に関する（ｘ，ｙ，ｚ）座標系の中で、各センサの場所を測定するために、レーザーレンジファインダを使用した。
【０１７７】
その後、３００秒間、部屋の中を歩く１人の歩行者からの２Ｄおよび３Ｄ測距データを記録した。また、２つの提案された技術の各々を使用して、評価されたセンサ位置のセットを生成した。
【０１７８】
センサ位置の各セットについては、各センサについて、グランドトゥルースの位置間の誤差が計算された。
（歩行者トラッキング精度）
その後、我々は、床の正確に測定された１０ｍ×４ｍのグリッド上で２ｍの間隔で１８個の基準点をマークしそれらのポイントの上に立ってもらうように参加者に依頼することにより、歩行者トラッキングの精度を評価した。
【０１７９】
そのような測定には多くのノイズ（例えば頭のトップが足の中心上に直接ない場合など）があるために、参加者が毎時間異なる方角(北、南、東、西)を向くようにして、我々は各測定を４回繰り返した。
【０１８０】
歩行者の位置の２秒間のデータの平均が、各基準点のために記録された。
【０１８１】
合計では、５人の参加者が毎時間異なる方向をそれぞれ向いて、４回各々測定し、１８個の基準点ごとに２０個の測定値を合計３６０個の測定値として生成した。
（結果）
両方の評価については、３ＤにおけるRMS（root-mean-squared）誤差の合計とともに、x、yおよびz方向における二乗平均平方根の(RMS)誤差を計算した。
【０１８２】
さらに、x-y平面における２Ｄ誤差は、２Ｄのトラッキングアプリケーションにより関連性のあるメトリックと考えられので、これも計算した。
【０１８３】
センサ位置の結果（2D RMS誤差を考慮）は、3Dのみの技術では130mmの、3D+2D技術では52mmのセンサ位置決め精度を示す。
【０１８４】
トラッキング精度は、わずかに高い誤差を示し、3Dのみでは159mmで、また3D+2Dでは104mmであった。
【０１８５】
ピッチ・ロール・ｚ較正については同じプロセスが使用されたので、ｚ誤差に対する結果は両方の技術をについて似たような値となった。
【０１８６】
ｚ軸に沿って、センサ位置は17mm以内に較正された。また、トラッキングは71mm以内の精度となった。
【０１８７】
この実施の形態のキャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラムによれば、ある領域内に複数の３Ｄ距離センサが設置されている場合に、各距離センサの位置および方向を較正するための作業負荷を軽減することが可能である。
【０１８８】
また、この実施の形態のキャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラムによれば、ある領域内に複数の３Ｄ距離センサが設置されている場合に、測定対象となる領域の人間の活動に、影響を与えることなく、距離センサの位置および方向を較正することが可能である。
【０１８９】
今回開示された実施の形態は、本発明を具体的に実施するための構成の例示であって、本発明の技術的範囲を制限するものではない。本発明の技術的範囲は、実施の形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲の文言上の範囲および均等の意味の範囲内での変更が含まれることが意図される。
【符号の説明】
【０１９０】
３０．１〜３０．ｎ  ２Ｄレーザーレンジファインダ、３２．１〜３２．ｍ  ３Ｄレンジセンサ、５２  ドライブ装置、５４  不揮発性記憶装置、５６  ＣＰＵ、５８  ＲＯＭ、６０  ＲＡＭ、６４  外部記録媒体、６６  バス、１００  計測演算装置、５６０２  データキャプチャ処理部、５６０４  キャプチャデータ記録処理部、５６０８  人頭頂部抽出部、５６１０  ３Ｄピッチ・ロール・ｚ較正部、５６１２  ２Ｄ人抽出部、５６１４  ２ＤＸ・Ｙ・ヨー較正部、５６１８  相対Ｘ・Ｙ・ヨー較正部、５６２０  絶対Ｘ・Ｙ・ヨー較正部、５６３０  トラッキングモジュール、５６４０  画像出力制御部。
【図１】
0006746050.tif 000007
【図２】
0006746050.tif 000008
【図３】
0006746050.tif 000009
【図４】
0006746050.tif 000010
【図５】
0006746050.tif 000011
【図６】
0006746050.tif 000012
【図７】
0006746050.tif 000013
【図８】
0006746050.tif 000014
【図９】
0006746050.tif 000015
【図１０】
0006746050.tif 000016
【図１１】
0006746050.tif 000017
【図１２】
0006746050.tif 000018
【図１３】
0006746050.tif 000019
【図１４】
0006746050.tif 000020
【図１５】
0006746050.tif 000021
【図１６】
0006746050.tif 000022
【図１７】
0006746050.tif 000023
【図１８】
0006746050.tif 000024