(57)【要約】【課題】  簡略な構成で移動体の移動位置及び当該移動体の所定部位の姿勢を検出することができる移動体検出装置を提供する。【解決手段】  固定画像処理部１は、固定画像取得部４により取得された固定画像及び追跡処理部３により検出された人物の三次元位置を用いて固定画像上の人物の二次元位置を検出し、移動画像処理部２は、移動画像取得部５により取得された移動画像及び追跡処理部３により検出された人物の三次元位置を用いて移動画像上の人物の二次元位置及び頭部姿勢変化量を検出し、追跡処理部３は、固定画像及び固定画像処理部１により検出された固定画像上の人物の二次元位置と、移動画像並びに移動画像処理部２により検出された移動画像上の人物の二次元位置及び頭部姿勢変化量とを用いて人物の三次元位置及び頭部姿勢を検出する。【選択図】      図１
2005098927.tif 000002
【特許請求の範囲】
【請求項１】
移動体の位置を特定するための位置特定情報を検出する位置検出手段と、
前記位置検出手段により検出された位置特定情報を取得する位置特定情報取得手段と、
前記移動体の所定部位に装着され且つ当該部位の所定方向に略一致させた光軸を有する移動撮影手段と、
前記移動撮影手段により撮影された光軸方向の画像を移動画像として取得する移動画像取得手段と、
前記位置特定情報取得手段により取得された位置特定情報及び前記移動画像取得手段により取得された移動画像を基に移動体の移動位置及び当該移動体の前記部位の姿勢を検出する検出手段とを備えることを特徴とする移動体検出装置。
【請求項２】
前記位置検出手段は、前記移動体が位置する空間内の構造物に固定された複数の固定撮影手段を含み、
前記位置特定情報取得手段は、前記複数の固定撮影手段により撮影された移動体を含む画像を固定画像として取得する固定画像取得手段を含み、
前記検出手段は、前記固定画像取得手段により取得された固定画像及び前記移動画像取得手段により取得された移動画像を基に移動体の移動位置及び当該移動体の前記部位の姿勢を検出することを特徴とする請求項１記載の移動体検出装置。
【請求項３】
前記移動体は人物を含み、前記固定撮影手段は人物が位置する空間内の構造物に固定され、前記固定画像取得手段は前記複数の固定撮影手段により撮影された人物を含む画像を固定画像として取得し、
前記部位は人物の頭部を含み、前記移動撮影手段は人物の頭部に装着され且つ人物の視線方向に略一致させた光軸を有し、前記移動画像取得手段は前記移動撮影手段により撮影された人物の視線方向の画像を移動画像として取得し、
前記検出手段は、
固定画像上の人物の二次元位置を検出する第１の検出手段と、
移動画像上の人物の二次元位置及び頭部姿勢変化量を検出する第２の検出手段と、
人物の三次元位置及び頭部姿勢を検出する第３の検出手段とを含み、
前記第１の検出手段は、前記固定画像取得手段により取得された固定画像及び前記第３の検出手段により検出された人物の三次元位置を用いて固定画像上の人物の二次元位置を検出し、
前記第２の検出手段は、前記移動画像取得手段により取得された移動画像及び前記第３の検出手段により検出された人物の三次元位置を用いて移動画像上の人物の二次元位置及び頭部姿勢変化量を検出し、
前記第３の検出手段は、前記固定画像取得手段により取得された固定画像及び前記第１の検出手段により検出された固定画像上の人物の二次元位置と、前記移動画像取得手段により取得された移動画像並びに前記第２の検出手段により検出された移動画像上の人物の二次元位置及び頭部姿勢変化量とを基に人物の三次元位置及び頭部姿勢を検出することを特徴とする請求項２記載の移動体検出装置。
【請求項４】
前記第２の検出手段は、移動画像上に人物領域を設定し、人物領域の移動量と人物領域以外の背景領域の移動量とを基に移動画像上の人物の二次元位置及び頭部姿勢変化量を検出することを特徴とする請求項３記載の移動体検出装置。
【請求項５】
前記第３の検出手段は、時系列フィルタを用いて人物の三次元位置及び頭部姿勢を推定することを特徴とする請求項３又は４記載の移動体検出装置。
【請求項６】
位置検出手段により検出された移動体の位置を特定するための位置特定情報を取得するステップと、
前記移動体の所定部位に装着され且つ当該部位の所定方向に略一致させた光軸を有する移動撮影手段により撮影された光軸方向の画像を移動画像として取得するステップと、
取得された位置特定情報及び移動画像を基に移動体の移動位置及び当該移動体の前記部位の姿勢を検出するステップとを含むことを特徴とする移動体検出方法。
【請求項７】
位置検出手段により検出された移動体の位置を特定するための位置特定情報を取得する位置特定情報取得手段と、
前記移動体の所定部位に装着され且つ当該部位の所定方向に略一致させた光軸を有する移動撮影手段により撮影された光軸方向の画像を移動画像として取得する移動画像取得手段と、
前記位置特定情報取得手段により取得された位置特定情報及び前記移動画像取得手段により取得された移動画像を基に移動体の移動位置及び当該移動体の前記部位の姿勢を検出する検出手段としてコンピュータを機能させることを特徴とする移動体検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体の移動位置及び当該移動体の所定部位の姿勢を検出する移動体検出装置、移動体検出方法及び移動体検出プログラム、特に、人物の移動位置及び頭部姿勢を検出する移動体検出装置、移動体検出方法及び移動体検出プログラムに関するものである。
【背景技術】
【０００２】
人間が知覚する五感情報の中でも視覚情報は聴覚情報に並んで重要度が高いため、人間の体験及び行動の記録及び解析において映像情報の果たす役割は大きく、体験の記録にとって映像情報は不可欠である。また、映像情報には人の表情やジェスチャ、注視方向、人と物との位置関係など本人および周囲の環境に関する多くの情報が同時に含まれるため、記録手段としての利便性も高い。そのため、映像情報を利用して個人の行動や人間同士のインタラクションを記録する手法が広く検討されている。
【０００３】
例えば、各人物および環境に取り付けられた多数のカメラと赤外線タグ等の他のセンサとから構成される移動体検出装置を用いて各人物の移動位置を検出し、人間の行動及び人間同士のインタラクションを記録及び解析するシステムが開発されている（非特許文献１参照）。
【非特許文献１】角康之他、「複数センサ群による強調的なインタラクションの記録」、インタラクション  ２００３、２００３年、ｐ．２５５−ｐ．２６２
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のシステムでは、検出対象物である人物等に赤外線タグを装着する必要があるため、システムの構成が複雑になるとともに、システムのコストが高くなる。また、上記のシステムでは、赤外線タグを用いた対象物の特定にとどまり、人間の移動位置及び頭部姿勢を検出することはできない。
【０００５】
本発明の目的は、簡略な構成で移動体の移動位置及び当該移動体の所定部位の姿勢を検出することができる移動体検出装置、移動体検出方法及び移動体検出プログラムを提供することである。
【課題を解決するための手段】
【０００６】
本発明に係る移動体検出装置は、移動体の位置を特定するための位置特定情報を検出する位置検出手段と、位置検出手段により検出された位置特定情報を取得する位置特定情報取得手段と、移動体の所定部位に装着され且つ当該部位の所定方向に略一致させた光軸を有する移動撮影手段と、移動撮影手段により撮影された光軸方向の画像を移動画像として取得する移動画像取得手段と、位置特定情報取得手段により取得された位置特定情報及び移動画像取得手段により取得された移動画像を基に移動体の移動位置及び当該移動体の部位の姿勢を検出する検出手段とを備えるものである。
【０００７】
本発明に係る移動体検出装置では、位置検出手段により検出された移動体の位置を特定するための位置特定情報を取得するとともに、移動体の所定部位に装着され且つ当該部位の所定方向に略一致させた光軸を有する移動撮影手段により撮影された光軸方向の画像を移動画像として取得し、取得された位置特定情報及び移動画像を基に移動体の移動位置及び移動体の部位の姿勢を検出しているので、赤外線タグ等を用いることなく、簡略な構成で移動体の移動位置及び当該移動体の所定部位の姿勢を検出することができる。
【０００８】
位置検出手段は、移動体が位置する空間内の構造物に固定された複数の固定撮影手段を含み、位置特定情報取得手段は、複数の固定撮影手段により撮影された移動体を含む画像を固定画像として取得する固定画像取得手段を含み、検出手段は、固定画像取得手段により取得された固定画像及び移動画像取得手段により取得された移動画像を基に移動体の移動位置及び当該移動体の部位の姿勢を検出することが好ましい。
【０００９】
この場合、移動体が位置する空間内の構造物に固定された複数の固定撮影手段により撮影された移動体を含む画像を固定画像として取得するとともに、移動体の所定部位に装着され且つ当該部位の所定方向に略一致させた光軸を有する移動撮影手段により撮影された光軸方向の画像を移動画像として取得し、取得された固定画像及び移動画像を基に移動体の移動位置及び移動体の部位の姿勢を検出しているので、画像情報を用いた簡略な構成で移動体の移動位置及び当該移動体の所定部位の姿勢を検出することができる。
【００１０】
移動体は人物を含み、固定撮影手段は人物が位置する空間内の構造物に固定され、固定画像取得手段は複数の固定撮影手段により撮影された人物を含む画像を固定画像として取得し、部位は人物の頭部を含み、移動撮影手段は人物の頭部に装着され且つ人物の視線方向に略一致させた光軸を有し、移動画像取得手段は移動撮影手段により撮影された人物の視線方向の画像を移動画像として取得し、検出手段は、固定画像上の人物の二次元位置を検出する第１の検出手段と、移動画像上の人物の二次元位置及び頭部姿勢変化量を検出する第２の検出手段と、人物の三次元位置及び頭部姿勢を検出する第３の検出手段とを含み、第１の検出手段は、固定画像取得手段により取得された固定画像及び第３の検出手段により検出された人物の三次元位置を用いて固定画像上の人物の二次元位置を検出し、第２の検出手段は、移動画像取得手段により取得された移動画像及び第３の検出手段により検出された人物の三次元位置を用いて移動画像上の人物の二次元位置及び頭部姿勢変化量を検出し、第３の検出手段は、固定画像取得手段により取得された固定画像及び第１の検出手段により検出された固定画像上の人物の二次元位置と、移動画像取得手段により取得された移動画像並びに第２の検出手段により検出された移動画像上の人物の二次元位置及び頭部姿勢変化量とを基に人物の三次元位置及び頭部姿勢を検出することことが好ましい。
【００１１】
この場合、取得された固定画像及び検出された人物の三次元位置を用いて固定画像上の人物の二次元位置を検出し、取得された移動画像及び検出された人物の三次元位置を用いて移動画像上の人物の二次元位置及び頭部姿勢変化量を検出し、取得された固定画像及び検出された固定画像上の人物の二次元位置と、取得された移動画像並びに検出された移動画像上の人物の二次元位置及び頭部姿勢変化量とを基に人物の三次元位置及び頭部姿勢を検出しているので、各検出結果を相互に利用して固定画像上の人物の二次元位置、移動画像上の人物の二次元位置及び頭部姿勢変化量並びに人物の三次元位置及び頭部姿勢を高精度に検出することができ、簡略な構成で人物の三次元位置及び頭部姿勢を最終的に高精度に検出することができる。
【００１２】
第２の検出手段は、移動画像上に人物領域を設定し、人物領域の移動量と人物領域以外の背景領域の移動量とを基に移動画像上の人物の二次元位置及び頭部姿勢変化量を検出することが好ましい。この場合、移動画像上の人物の二次元位置及び頭部姿勢変化量を高精度に検出することができる。
【００１３】
第３の検出手段は、時系列フィルタを用いて人物の三次元位置及び頭部姿勢を推定することが好ましい。この場合、固定撮影手段による観測情報及び移動撮影手段による観測情報を高精度に統合して人物の三次元位置及び頭部姿勢をより高精度に検出することができる。
【００１４】
本発明に係る移動体検出方法は、位置検出手段により検出された移動体の位置を特定するための位置特定情報を取得するステップと、移動体の所定部位に装着され且つ当該部位の所定方向に略一致させた光軸を有する移動撮影手段により撮影された光軸方向の画像を移動画像として取得するステップと、取得された位置特定情報及び移動画像を基に移動体の移動位置及び当該移動体の部位の姿勢を検出するステップとを含むものである。
【００１５】
本発明に係る移動体検出プログラムは、位置検出手段により検出された移動体の位置を特定するための位置特定情報を取得する位置特定情報取得手段と、移動体の所定部位に装着され且つ当該部位の所定方向に略一致させた光軸を有する移動撮影手段により撮影された光軸方向の画像を移動画像として取得する移動画像取得手段と、位置特定情報取得手段により取得された位置特定情報及び移動画像取得手段により取得された移動画像を基に移動体の移動位置及び当該移動体の部位の姿勢を検出する検出手段としてコンピュータを機能させるものである。
【発明の効果】
【００１６】
本発明によれば、取得された位置特定情報及び移動画像を基に移動体の移動位置及び移動体の部位の姿勢を検出しているので、赤外線タグ等を用いることなく、簡略な構成で移動体の移動位置及び当該移動体の所定部位の姿勢を検出することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の一実施の形態による移動体検出装置について図面を参照しながら説明する。図１は、本発明の一実施の形態による移動体検出装置の構成を示すブロック図である。なお、以下の説明では、移動体の一例として人物（人間）を例に説明するが、この例に特に限定されず、自立走行ロボット等の他の移動体にも本発明を同様に適用することができる。
【００１８】
図１に示す移動体検出装置は、固定画像処理部１、移動画像処理部２、追跡処理部３、固定画像取得部４、移動画像取得部５、複数の固定撮影部１１〜１ｍ及び複数の移動撮影部２１〜２ｎを備える。
【００１９】
固定撮影部１１〜１ｍの各々は、移動体である人物が位置する部屋の壁及び天井等に固定されたビデオカメラ等から構成され、人物を含む全体状況等を表す画像を撮影して固定画像取得部４へ出力する。移動撮影部２１〜２ｎの各々は、人物の頭部に装着され且つ人物の視線方向に略一致させた光軸を有するＣＣＤカメラ等から構成され、人物の視線方向の画像を移動画像取得部５へ出力する。なお、本実施の形態では、複数の移動撮影部を用いているが、一つの移動撮影部のみを用いてもよい。
【００２０】
固定画像処理部１、移動画像処理部２、追跡処理部３、固定画像取得部４及び移動画像取得部５は、ＲＯＭ（リードオンリメモリ）、ＣＰＵ（中央演算処理装置）、ＲＡＭ（ランダムアクセスメモリ）、画像用インタフェース部等を備えるコンピュータ等から構成され、ＲＯＭ等に記憶されている固定画像処理プログラム、移動画像処理プログラム及び追跡処理プログラムをＣＰＵ等で実行することにより、固定画像処理部１、移動画像処理部２、追跡処理部３、固定画像取得部４及び移動画像取得部５として機能する。なお、固定画像処理部１、移動画像処理部２及び追跡処理部３等の構成は、上記の例に特に限定されず、専用のハードウエア等により構成してもよい。
【００２１】
固定画像取得部４は、複数の固定撮影部１１〜１ｍにより撮影された人物を含む画像を固定画像として取得し、固定画像処理部１及び追跡処理部３へ出力する。移動画像取得部５は、複数の移動撮影部２１〜２ｎにより撮影された人物の視線方向の画像を移動画像として取得し、移動画像処理部２及び追跡処理部３へ出力する。
【００２２】
固定画像処理部１は、固定画像取得部４により取得された固定画像及び追跡処理部３により検出された人物の三次元位置を用いて固定画像上の人物の二次元位置を検出する。移動画像処理部２は、移動画像取得部５により取得された移動画像及び追跡処理部３により検出された人物の三次元位置を用いて移動画像上の人物の二次元位置及び頭部姿勢変化量を検出する。このとき、移動画像処理部２は、移動画像上に人物領域を設定し、人物領域の移動量と人物領域以外の背景領域の移動量とから移動画像上の人物の二次元位置及び頭部姿勢変化量を検出する。
【００２３】
追跡処理部３は、固定画像取得部４により取得された固定画像及び固定画像処理部１により検出された固定画像上の人物の二次元位置と、移動画像取得部５により取得された移動画像並びに移動画像処理部２により検出された移動画像上の人物の二次元位置及び頭部姿勢変化量とを基に人物の三次元位置及び頭部姿勢を検出する。このとき、追跡処理部３は、時系列フィルタ、例えば、カルマンフィルタを用いて人物の三次元位置及び頭部姿勢を推定する。なお、時系列フィルタは、カルマンフィルタに特に限定されず、他の時系列フィルタを用いてもよい。また、追跡処理部３は、固定画像取得部４により取得された固定画像及び移動画像取得部５により取得された移動画像を直接入力されるのではなく、固定画像処理部１及び移動画像処理部２により処理された位置情報等の観測情報を固定画像処理部１及び移動画像処理部２から取得し、固定画像及び移動画像ではなく、この観測情報を直接用いてもよい。
【００２４】
本実施の形態では、固定撮影部１１〜１ｍが位置検出手段及び固定撮影手段の一例に相当し、移動撮影部２１〜２ｎが移動撮影手段の一例に相当し、固定画像取得部４が固定画像取得手段及び位置特定情報取得手段の一例に相当し、移動画像取得部５が移動画像取得手段の一例に相当し、固定画像処理部１、移動画像処理部２及び追跡処理部３が検出手段の一例に相当し、固定画像処理部１が第１の検出手段の一例に相当し、移動画像処理部２が第２の検出手段の一例に相当し、追跡処理部３が第３の検出手段の一例に相当する。
【００２５】
次に、図１に示す移動体検出装置において使用される世界座標系及びカメラ座標系について説明する。図２は、図１に示す移動体検出装置において使用される世界座標系及びカメラ座標系を示す模式図である。
【００２６】
図２に示すように、全てのカメラに共通する座標系として、環境に固定された世界座標系（Ｘ，Ｙ，Ｚ）が設定され、各人物に装着した移動撮影部Ｃｉ（移動撮影部２１〜２ｎ）には画面上の軸をｘｉ，ｙｉ、光軸をｚｉとするカメラ座標系（ｘ，ｙ，ｚ）が設定される。なお、世界座標系は、移動体検出装置の使用環境及び使用目的等に応じて任意に設定される。
【００２７】
上記の各座標系により、人物の頭部姿勢は世界座標系からカメラ座標系への相対姿勢θｉ＝〔αｉ，βｉ，γｉ〕として計算され、αｉ，βｉ，γｉはｚ，ｙ，ｚ軸の順に回転させたオイラー角である。また、頭部位置については、固定撮影部１１〜１ｍの観測情報により推定される人物の位置と移動撮影部２１〜２ｎの装着位置にはズレがあるため、以下のようにしてオフセットを考慮する。
【００２８】
まず、人物の頭部が頭部中心Ｘｐｉを中心に回転するものとし、固定撮影部１１〜１ｍから得られる世界座標系における人物の三次元位置をＸｉ、移動撮影部Ｃｉの装着位置をＸＣｉ、頭部姿勢θｉからなる回転行列をＲθｉ、Ｘｉ及びＸｐｉ間のオフセットをΔＸｉとし、ＸＣｉ及びＸｐｉ間のオフセットΔＸＣｉを予め測定しておくとすると、ＸＣｉは次式により計算できる。
ＸＣｉ＝Ｘｉ−ΔＸｉ＋ＲθｉΔＸＣｉ      …（１）
【００２９】
上記の世界座標系及びカメラ座標系を用いて、後述する固定画像処理部１による固定画像処理、移動画像処理部２による移動画像処理及び追跡処理部３による追跡処理がそれぞれ実行される。
【００３０】
次に、図１に示す固定画像処理部１による固定画像処理について説明する。図３は、図１に示す固定画像処理部１による固定画像処理を説明するためのフローチャートである。ここでは、時刻ｔｓ＋１において固定撮影部１１〜１ｍのいずれかにより撮影が行われたものとする。
【００３１】
まず、固定画像処理部１は、固定撮影部１１〜１ｍのいずれかにより撮影された固定画像Ｊｉ（ｔｓ＋１）を固定画像取得部４から取得し（ステップＳ１１）、取得した固定画像Ｊｉ（ｔｓ＋１）から背景差分により人物領域を検出して頭頂点ｘｈ，ｉ１（ｔｓ＋１），…，ｘｈ，ｉＭ（ｔｓ＋１）を特徴点として抽出する特徴抽出処理を実行する（ステップＳ１２）。図４は、特徴抽出処理を説明するための模式図である。図４に示すように、各人物の頭頂点ＨＰ（図中の×印）が抽出される。
【００３２】
次に、固定画像処理部１は、固定画像Ｊｉ（ｔｓ＋１）の観測時刻ｔｓ＋１を追跡処理部３へ送信し（ステップＳ１３）、各人物の三次元予測位置ＸＰ１（ｔｓ＋１），…，ＸＰＮ（ｔｓ＋１）を追跡処理部３から取得する（ステップＳ１４）。
【００３３】
次に、固定画像処理部１は、各人物の三次元予測位置ＸＰ１（ｔｓ＋１），…，ＸＰＮ（ｔｓ＋１）から固定画像上における各人物の二次元観測位置ｘｐｈ，１（ｔｓ＋１），…，ｘｐｈ，Ｎ（ｔｓ＋１）を推定し（ステップＳ１５）、ステップＳ１２で抽出した特徴点ｘｈ，ｉ１（ｔｓ＋１），…，ｘｈ，ｉＭ（ｔｓ＋１）と、推定した二次元観測位置ｘｐｈ，１（ｔｓ＋１），…，ｘｐｈ，Ｎ（ｔｓ＋１）との対応付けを行う（ステップＳ１６）。
【００３４】
次に、固定画像処理部１は、特徴点ｘｈ，ｉ１（ｔｓ＋１），…，ｘｈ，ｉＭ（ｔｓ＋１）のうち対応付けができたものを追跡処理部３へ送信し（ステップＳ１７）、その後、ステップＳ１１以降の処理を繰り返し、固定撮影部１１〜１ｍのいずれかにより撮影された固定画像を順次処理していく。なお、対応付けができない特徴点については他の固定撮影部の固定画像を用いて対応する人物を発見して対応付けを行う。
【００３５】
次に、図１に示す移動画像処理部２による移動画像処理について説明する。図５は、図１に示す移動画像処理部２による移動画像処理を説明するためのフローチャートである。ここでは、時刻ｔｓ＋１において移動撮影部２１〜２ｎのいずれかにより撮影が行われたものとする。
【００３６】
まず、移動画像処理部２は、移動撮影部２１〜２ｎのいずれかにより撮影された移動画像Ｊｉ（ｔｓ＋１）を移動画像取得部５から取得し（ステップＳ２１）、移動画像Ｊｉ（ｔｓ＋１）の観測時刻ｔｓ＋１を追跡処理部３へ送信し（ステップＳ２２）、各人物の三次元予測位置ＸＰ１（ｔｓ＋１），…，ＸＰＮ（ｔｓ＋１）を追跡処理部３から取得する（ステップＳ２３）。
【００３７】
次に、移動画像処理部２は、前フレームの移動画像Ｊｉ（ｔｓ）内の各人物の投影領域Ｈｉ（ｔｓ）を算出し（ステップＳ２４）、その後、現フレームの移動画像Ｊｉ（ｔｓ＋１）内の各人物の投影領域Ｈｉ（ｔｓ＋１）及び背景の投影領域Ｂ（ｔｓ＋１）を算出する（ステップＳ２５）。
【００３８】
ここで、移動撮影部２１〜２ｎにより得られる観測情報として、移動画像上での周囲の人物の投影位置及び背景の変化量から頭部姿勢変化量を推定する方法について詳細に説明する。まず、人物ｋに装着した移動撮影部Ｃｋについて考える。なお、移動撮影部Ｃｋの内部パラメータは既知であるとし、時刻ｔｓ，ｔｓ＋１において移動撮影部Ｃｋにより撮影された移動画像Ｊｋ（ｔｓ），Ｊｋ（ｔｓ＋１）が得られたとする。図６は、移動画像の一例を示す図であり、（ａ）は時刻ｔｓにおける移動画像Ｊｋ（ｔｓ）であり、（ｂ）は時刻ｔｓ＋１における移動画像Ｊｋ（ｔｓ＋１）であり、図７は、図６に示す移動画像Ｊｋ（ｔｓ），Ｊｋ（ｔｓ＋１）を重ね合わせた図である。
【００３９】
このとき、時刻ｔｓまでの観測により、各人物ｉ（ｉ＝１，…，Ｎ）の位置推定値ＸＥｉ（ｔｓ）及び位置予測値ＸＰｉ（ｔｓ＋１）と、移動撮影部Ｃｋの姿勢推定値θｅｋ（ｔｓ）及び姿勢予測値θｐｋ（ｔｓ＋１）とが得られているとすると、移動画像Ｊｋ（ｔｓ），Ｊｋ（ｔｓ＋１）上で観測される人物ｉ（ｉ＝ｉ１，…，ｉＭ、Ｍは移動撮影部Ｃｋ上の投影人数）の予測投影領域Ｈｉ（ｔｓ），Ｈｉ（ｔｓ＋１）を推定することができる。但し、予測投影領域Ｈｉ（ｔｓ）内での人物ｉの頭頂点位置をｘｈ，ｉ（ｔｓ）、予測投影領域Ｈｉ（ｔｓ＋１）内での人物ｉの頭頂点位置をｘｈ，ｉ（ｔｓ＋１）とする。
【００４０】
ここで、移動画像Ｊｋ（ｔｓ），Ｊｋ（ｔｓ＋１）間の人物領域の移動を表す行列をＡｉとすると、時刻ｔｓ＋１における人物ｉの投影領域Ｈｉ（ｔｓ＋１）は、次式で表される。ここで、ｘは人物領域Ｈｉに含まれる画素の二次元位置である。
Ｈｉ（ｔｓ＋１）＝｛Ａｉｘ｜ｘ  ∈Ｈｉ（ｔｓ）｝      …（２）
【００４１】
上記と同様に背景領域について考え、２画像間の観測時間差が小さいとすると、人物ｋ（移動撮影部Ｃｋ）の移動による背景領域の変化（運動視差）を無視することができ、背景領域の変化は、時刻ｔｓ，ｔｓ＋１間における移動撮影部の姿勢変化Δθｋによって決定される。ここで、背景の移動を表す行列をＡｂとすると、時刻ｔｓ＋１における背景領域Ｂ（ｔｓ＋１）は、次式で表される。
Ｂ（ｔｓ＋１）＝｛Ａｂｘ｜ｘ  ∈Ｂ（ｔｓ）｝      …（３）
【００４２】
ここで、Ｂ（ｔ）＝Ω−Ｕｉ＝ｉ１ｉＭＨｉ（ｔｓ）であり、Ωは画像全体であり、Δθｋ＝〔Δαｋ，Δβｋ，Δγｋ〕は時刻ｔｓ，ｔｓ＋１間における移動撮影部Ｃｋの姿勢変化であり、Δαｋ，Δβｋ，Δγｋは、図７に示す移動撮影部Ｃｋのカメラ座標系におけるｘ，ｙ，ｚ軸回りの微小回転変化量である。
【００４３】
移動画像Ｊｋ（ｔｓ）の位置ｘの画素値をｐｋ（ｔｓ）（ｘ）とすると、人物領域及び背景領域のそれぞれについて下記の関係が成り立つ。
ｐｋ（ｔｓ）（ｘ）＝ｐｋ（ｔｓ＋１）（Ａｉｘ）  （ｘ∈Ｈｉ（ｔｓ），ｉ＝ｉ１，…，ｉＭ）      …（４）
ｐｋ（ｔｓ）（ｘ）＝ｐｋ（ｔｓ＋１）（Ａｂｘ）  （ｘ∈Ｂ（ｔｓ））      …（５）
【００４４】
ここで、時刻ｔｓ，ｔｓ＋１間における移動撮影部Ｃｋの姿勢変化Δθｋを既知とすると、移動画像Ｊｋ（ｔｓ），Ｊｋ（ｔｓ＋１）間では下式の関係が得られる。
【００４５】
【数１】
2005098927.tif 000003
【００４６】
実際の観測では、各人物の位置及び姿勢の推定値及び予測値に誤差が含まれるため、各人物の予測投影領域Ｈｉ（ｔｓ），Ｈｉ（ｔｓ＋１）に正確には投影されない。このため、各人物について予測投影位置からの誤差をΔｘ（ｔｓ），Δｘ（ｔｓ＋１）として、予測位置の周辺を探索することにより、画像上での人物ｉの投影位置を決定する。
【００４７】
背景の移動量は、背景領域の変換行列Ａｂに関する最小化により推定されるが、変換行列ＡｂはΔθｋの関数であるから、Δθｋ＝〔Δαｋ，Δβｋ，Δγｋ〕について探索することにより、背景の変化量すなわち頭部姿勢の変化量を推定することができる。すなわち、下式を最小化することにより移動画像上での各人物の投影位置及び頭部姿勢変化量Δθｋを推定することができる。
【００４８】
【数２】
2005098927.tif 000004
【００４９】
再び、図５を参照して、次に、移動画像処理部２は、各投影領域の近傍の画素を比較して上記の式（７）を最小にするΔｘｐｉ１（ｔｓ＋１），…，ΔｘｐｉＭ（ｔｓ＋１），Δθｐを求め（ステップＳ２６）、式（８）を用いて予測投影位置ｘｐｈ，ｉ１（ｔｓ＋１），…，ｘｐｈ，ｉＭ（ｔｓ＋１）を算出する（ステップＳ２７）。
【００５０】
次に、移動画像処理部２は、上記のようにして求めたｘｐｈ，ｉ１（ｔｓ＋１），…，ｘｐｈ，ｉＭ（ｔｓ＋１）及びΔθｐを投影位置ｘｈ，ｉ１（ｔｓ＋１），…，ｘｈ，ｉＭ（ｔｓ＋１）及び頭部姿勢変化量Δθｋ（ｔｓ＋１）として追跡処理部３へ送信し（ステップＳ２８）、各人物の三次元推定位置ＸＥ１（ｔｓ＋１），…，ＸＥＮ（ｔｓ＋１）を追跡処理部３から取得し（ステップＳ２９）、その後、ステップＳ２１以降の処理を繰り返し、移動撮影部２１〜２ｎのいずれかにより撮影された移動画像を順次処理していく。
【００５１】
次に、図１に示す追跡処理部３による追跡処理について説明する。図８は、図１に示す追跡処理部３による追跡処理を説明するためのフローチャートである。
【００５２】
まず、追跡処理部３は、固定画像処理部１又は移動画像処理部２から送信された観測時刻ｔｓ＋１を受信し（ステップＳ３１）、既に求めている時刻ｔｓにおける人物の三次元推定位置ＸＥ１（ｔｓ），…，ＸＥＮ（ｔｓ）及び頭部推定姿勢θｅ１（ｔｓ），…，θｅＮ（ｔｓ）から時刻ｔｓ＋１における人物の三次元予測位置ＸＰ１（ｔｓ＋１），…，ＸＰＮ（ｔｓ＋１）及び頭部予測姿勢θｐ１（ｔｓ＋１），…，θｐＮ（ｔｓ＋１）を予測し（ステップＳ３２）、予測した人物の三次元予測位置ＸＰ１（ｔｓ＋１），…，ＸＰＮ（ｔｓ＋１）及び頭部予測姿勢θｐ１（ｔｓ＋１），…，θｐＮ（ｔｓ＋１）を固定画像処理部１又は移動画像処理部２へ送信する（ステップＳ３３）。
【００５３】
次に、追跡処理部３は、固定画像取得部４又は移動画像取得部５から観測情報を受信し（ステップＳ３４）、受信した観測情報が固定画像取得部４から送信された観測情報であるか否かを判断し（ステップＳ３５）、受信した観測情報が固定画像取得部４から送信された観測情報である場合はステップＳ３６へ処理を移行し、受信した観測情報が移動画像取得部５から送信された観測情報である場合はステップＳ３８へ処理を移行する。
【００５４】
ここで、固定撮影部１１〜１ｍによる観測結果と移動撮影部２１〜２ｎによる観測結果を、カルマンフィルタを用いて統合することにより、シーン中の各人物の三次元位置を推定する処理について詳細に説明する。
【００５５】
シーン中にＮ人が存在する場合、系全体の状態ベクトルＸは下式で表される。
Ｘ＝〔Ｘ１  θ１  ｄＸ１  ｄθ１  …  ＸＮ  θＮ  ｄＸＮ  ｄθＮ〕      …（９）
【００５６】
ここで、Ｘｉ及びθｉは人物ｉの位置及び頭部姿勢であり、ｄＸｉ及びｄθｉはそれぞれの速度である。
【００５７】
時刻ｔｓから時刻ｔｓ＋１への状態遷移行列をＦとし、時刻ｔｓの状態ベクトルＸｔｓの推定値をＸＥｔｓとし、時刻ｔ＋１の予測値をＸＰｔｓ＋１とすると、
ＸＰｔｓ＋１＝ＦＸＥｔｓ      …（１０）
ＰＰｔｓ＋１＝ＦＰＥｔｓＦ’＋Ｑ      …（１１）
【００５８】
【数３】
2005098927.tif 000005
【００５９】
ここで、Δｔ＝（ｔｓ＋１）−（ｔｓ）であり、Ｑは状態遷移の共分散であり、ＰＥはＸＥの共分散である。
【００６０】
次に、ある固定撮影部又は移動撮影部において観測が得られた場合、観測ベクトルをＺ、観測行列をＨ、観測誤差をｅとすると、下式の関係が得られる。
Ｚ＝ＨＸ＋ｅ      …（１３）
【００６１】
上記の結果から、Ｋをカルマンゲイン、Ｒを観測誤差とすると、状態ベクトルは下式により更新される。
ＸＥｔｓ＝ＸＰｔｓ−１＋Ｋｔｓ（Ｚｔｓ−ＨＸＰｔｓ−１）      …（１４）
Ｋｔｓ＝ＰＰｔｓ−１Ｈ’（ＨＰＰｔｓ−１Ｈ’＋Ｅｔ）−１      …（１５）
ＰＥｔｓ＝ＰＰｔｓ−１−ＫｔＨＰＰｔｓ−１      …（１６）
【００６２】
ここで、固定撮影部１１〜１ｍによる観測に用いられる観測ベクトルＺ及び観測行列Ｈについて説明する。図９は、図１に示す固定撮影部１１〜１ｍに対する観測モデルを説明するための模式図である。時刻ｔｓ＋１において固定撮影部により人物ｊに関する観測が得られた場合、時刻ｔｓにおける人物ｊの位置推定値をＸＥｊ（ｔ）、固定画像上の二次元観測位置をｘｈ，ｊとすると、固定撮影部のレンズ中心Ｃと姿勢情報から、世界座標系上における観測方向（レンズ中心Ｃと固定画像上の点ｘｈ，ｊとを結ぶ直線）を決定することができ、この方向を２つの角度φ，θで表す。但し、φは人物ｊの観測方向とＹ−Ｚ平面とのなす角であり、θは人物ｊの観測方向のＹ−Ｚ平面への投影とＺ軸とのなす角である。また、φ，θによる回転行列をＲφ、Ｒθとすると、Ｒφ，Ｒθは人物ｊの観測方向をｚ軸と平行にする回転行列となる。
【００６３】
ここで、固定撮影部によって人物ｊが観測された場合の観測ベクトルＺを下式で表す。
【００６４】
【数４】
2005098927.tif 000006
【００６５】
このとき、固定撮影部の三次元位置をＣ＝〔ｘｃ，ｙｃ，ｚｃ〕とすると、回転行列Ｒφ及びＲθによりＸｊ（ｔ）及びＣはｚ軸に平行な直線上に移るため、下式の関係が得られる。
【００６６】
【数５】
2005098927.tif 000007
【００６７】
ここで、ｅは観測誤差、Ｉ３は三次元の単位行列、０ｉ，ｊはｉ×ｊ要素からなるゼロ行列である。
【００６８】
次に、移動撮影部２１〜２ｎによる観測に用いられる観測ベクトルＺ及び観測行列Ｈについて説明する。図１０及び図１１は、図１に示す移動撮影部２１〜２ｎに対する第１及び第２の観測モデルを説明するための模式図である。時刻ｔｓ＋１において人物ｋが装着している移動撮影部Ｃｋにより人物ｊが観測された場合、連続する２フレーム間での頭部姿勢の変動は微小であり、移動撮影部Ｃｋの光軸（ｚ軸）と世界座標系Ｘ−Ｙ平面とのなす角が小さいと仮定すると、移動撮影部Ｃｋの姿勢αｋは世界座標系Ｚ軸回転で、βｋはＺ軸に垂直なＸ−Ｙ平面上の軸回転の角度で近似できる。
【００６９】
時刻ｔｓ＋１における観測により、移動撮影部Ｃｋの相対姿勢変化Δθｋ＝〔Δαｋ，Δβｋ，Δγｋ〕とカメラ座標系ｚ軸に対する人物ｊの観測方向がなす角φ，ψが得られたとし、人物ｋ，ｊの予測位置をＸＰｋ，ＸＰｊ、推定位置をＸＥｋ，ＸＥｊとし、図１０を参照して姿勢αについて考える。
【００７０】
ここで、Ｘ−Ｙ平面上で（ＸＰｊ−ＸＰｋ）に直交する単位ベクトル（ｐ，ｑ）を下記のように定義する。
ｌα＝（（ｘｐｊ−ｘｐｋ）２＋（ｙｐｊ−ｙｐｋ）２）１／２      …（２０）
ｐ＝（ｙｐｊ−ｙｐｋ）／ｌα，ｑ＝−（ｘｐｊ−ｘｐｋ）／ｌα      …（２１）
【００７１】
上記のｐ，ｑを用いて、図１０中のΔφは下式で表される。
Δφ＝（ｐ／ｌα）（ｙｅｊ−ｙｅｋ）＋（ｑ／ｌα）（ｘｅｊ−ｘｅｋ）      …（２２）
【００７２】
したがって、α，φに関して以下の関係が得られる。
αｋ＋Δαｋ＝ｔａｎ−１（（ｙｐｊ−ｙｐｋ）／（ｘｐｊ−ｘｐｋ））＋φ＋（ｐ／ｌα）（ｙｅｊ−ｙｅｋ）＋（ｑ／ｌα）（ｘｅｊ−ｘｅｋ）      …（２３）
【００７３】
同様に、図１１に示すβ，ψに関して以下の関係が得られる。
βｋ＋Δβｋ＝ｔａｎ−１（（ｚｐｊ−ｚｐｋ）／（（ｘｐｊ２＋ｙｐｊ２）１／２−（ｘｐｋ２＋ｙｐｋ２）１／２））＋ψ＋（ｒ／ｌβ）（ｚｅｊ−ｚｅｋ）＋（ｓ／ｌβ）（ｘｅｊ−ｘｅｋ）      …（２４）
【００７４】
上記の結果から、ｅを観測誤差とすると、下式が得られる。
【００７５】
【数６】
2005098927.tif 000008
【００７６】
再び、図８を参照して、受信した観測情報が固定画像取得部４から送信された観測情報である場合、追跡処理部３は、上記の式（１９）から固定撮影部１１〜１ｍによる観測に用いられる観測行列Ｈを生成し（ステップＳ３６）、観測行列Ｈと特徴点ｘｈ，ｉ１（ｔｓ＋１），…，ｘｈ，ｉＭ（ｔｓ＋１）とにより人物モデルを更新して人物の三次元推定位置ＸＥ１（ｔｓ＋１），…，ＸＥＮ（ｔｓ＋１）を算出し（ステップＳ３７）、その後、ステップＳ３１以降の処理を繰り返す。
【００７７】
一方、受信した観測情報が移動画像取得部５から送信された観測情報である場合、追跡処理部３は、上記の式（２７）、（２８）から移動撮影部２１〜２ｎによる観測に用いられる観測行列Ｈを生成し（ステップＳ３８）、観測行列Ｈと投影位置ｘｈ，ｉ１（ｔｓ＋１），…，ｘｈ，ｉＭ（ｔｓ＋１）及び頭部姿勢変化量Δθｋ（ｔｓ＋１）とにより人物モデルを更新して人物の三次元推定位置ＸＥ１（ｔｓ＋１），…，ＸＥＮ（ｔｓ＋１）及び頭部推定姿勢θｅ１（ｔｓ＋１），…，θｅＮ（ｔｓ＋１）を算出する（ステップＳ３９）。
【００７８】
次に、追跡処理部３は、人物の三次元推定位置ＸＥ１（ｔｓ＋１），…，ＸＥＮ（ｔｓ＋１）を移動画像処理部２へ送信し（ステップＳ４０）、その後、ステップＳ３１以降の処理を繰り返す。
【００７９】
上記の各処理により、本実施の形態では、固定画像処理部１により固定画像及び人物の三次元位置を用いて固定画像上の人物の二次元位置を検出し、移動画像処理部２により移動画像及び人物の三次元位置を用いて移動画像上の人物の二次元位置及び頭部姿勢変化量を検出し、追跡処理部３により固定画像及び固定画像上の人物の二次元位置と、移動画像並びに移動画像上の人物の二次元位置及び頭部姿勢変化量とを用いて人物の三次元位置及び頭部姿勢を検出しているので、各検出結果を相互に利用して固定画像上の人物の二次元位置、移動画像上の人物の二次元位置及び頭部姿勢変化量並びに人物の三次元位置及び頭部姿勢を高精度に検出することができ、簡略な構成で人物の三次元位置及び頭部姿勢を最終的に高精度に検出することができる。
【００８０】
次に、上記の移動体検出装置の検出精度について具体例を挙げて説明する。図１２乃至図１４は、図１に示す移動体検出装置による三次元位置及び頭部姿勢の第１乃至第３の検出結果を示す図である。本例は、３人の人物Ａ〜Ｃが部屋の中を移動しているときに、複数の固定撮影部により人物Ａ〜Ｃの固定画像を撮影するとともに、人物Ａ，Ｂが移動撮影部を頭部に装着し、人物Ｃは移動撮影部を装着せず、人物Ａ，Ｂの移動撮影部により移動画像を撮影した例であり、図１２は人物Ａの三次元位置及び頭部姿勢の検出結果を示し、図１３は人物Ｂの三次元位置及び頭部姿勢の検出結果を示し、図１４は人物Ｃの三次元位置の検出結果を示している。また、各図において、実線は、図１に示す移動体検出装置の三次元位置及び頭部姿勢の検出結果を示し、破線は、比較例として従来の光学マーカを用いたモーションキャプチャシステムによる三次元位置及び頭部姿勢の検出結果を示している。
【００８１】
図１２乃至図１４から、人物Ａ〜Ｃの三次元位置及び頭部姿勢を高精度に検出できたことがわかり、このときの姿勢推定誤差の平均は８．１ｄｅｇ、位置推定誤差の平均は１０．４ｃｍであった。
【００８２】
なお、上記の説明では、頭部姿勢として３軸の検出を行ったが、１軸又は２軸のみ検出するようにしてもよい。また、固定撮影部１１〜１ｍ及び固定画像取得部４により固定画像を取得したが、固定画像に代えて又は加えて、位置センサ等の他のセンサにより検出された移動体の位置を特定するための位置特定情報、例えば、移動体の三次元位置等を取得することにより、移動体の移動位置及び当該移動体の所定部位の姿勢を検出するようにしてもよい。
【図面の簡単な説明】
【００８３】
【図１】本発明の一実施の形態による移動体検出装置の構成を示すブロック図である。
【図２】図１に示す移動体検出装置において使用される世界座標系及びカメラ座標系を示す模式図である。
【図３】図１に示す固定画像処理部による固定画像処理を説明するためのフローチャートである。
【図４】特徴抽出処理を説明するための模式図である。
【図５】図１に示す移動画像処理部による移動画像処理を説明するためのフローチャートである。
【図６】移動画像の一例を示す図である。
【図７】図６に示す移動画像を重ね合わせた図である。
【図８】図１に示す追跡処理部による追跡処理を説明するためのフローチャートである。
【図９】図１に示す固定撮影部に対する観測モデルを説明するための模式図である。
【図１０】図１に示す移動撮影部に対する第１の観測モデルを説明するための模式図である。
【図１１】図１に示す移動撮影部に対する第２の観測モデルを説明するための模式図である。
【図１２】図１に示す移動体検出装置による三次元位置及び頭部姿勢の第１の検出結果を示す図である。
【図１３】図１に示す移動体検出装置による三次元位置及び頭部姿勢の第２の検出結果を示す図である。
【図１４】図１に示す移動体検出装置による三次元位置の第３の検出結果を示す図である。
【符号の説明】
【００８４】
１  固定画像処理部
２  移動画像処理部
３  追跡処理部
４  固定画像取得部
５  移動画像取得部
１１〜１ｍ  固定撮影部
２１〜２ｎ  移動撮影部
【図１】
2005098927.tif 000009
【図２】
2005098927.tif 000010
【図３】
2005098927.tif 000011
【図４】
2005098927.tif 000012
【図５】
2005098927.tif 000013
【図６】
2005098927.tif 000014
【図７】
2005098927.tif 000015
【図８】
2005098927.tif 000016
【図９】
2005098927.tif 000017
【図１０】
2005098927.tif 000018
【図１１】
2005098927.tif 000019
【図１２】
2005098927.tif 000020
【図１３】
2005098927.tif 000021
【図１４】
2005098927.tif 000022