(57)【要約】      （修正有）【課題】複雑な処理を行うことなく、精度良く移動体の追跡が行える移動体追跡装置を提供する。【解決手段】既知の位置関係にある少なくとも２台の撮影手段１ａ、１ｂと、撮影された画像を一定の時間間隔で取り込み手段２を介して取り込む信号処理装置３とを有し、取り込まれた前記画像が保存される画像保存部４と、対応点を求める対応点計測手段５と、対応点が正確に求められているか否かを判定する対応点検出判定手段６と、対応点が検出された場合に画像中の移動体の３次元位置を計測する３次元位置計測手段７と、対応点が検出できない場合には次の画像入力を待ち、対応点が検出できなかった前後の時間の前記画像を用いて移動体が存在するかを確認し、存在する場合には前後の画像から３次元位置を推定する３次元位置推定手段８と、３次元位置計測手段又は３次元位置推定手段で求められた３次元位置より前記移動体の軌跡を求める移動体追跡手段９と、を備える。【選択図】図１
2009266155.tif 000002
【特許請求の範囲】
【請求項１】
既知の位置関係にある少なくとも２台の撮影手段と、この撮影手段で撮影された画像が画像取り込み手段を介して取り込まれる信号処理装置と、を有する移動体追跡装置において、
前記信号処理装置が、
前記画像取り込み手段を介して取り込まれた前記画像から対応点が検出される対応点計測手段と、
この対応点が検出されているか否かを判定する対応点検出判定手段と、
前記対応点が検出された場合に前記画像中の移動体の３次元位置が計測される３次元位置計測手段と、
前記対応点が検出できない場合には、前記対応点が検出できなかった前後の時間の前記画像から３次元位置が推定される３次元位置推定手段と、
前記３次元位置計測手段又は３次元位置推定手段で求められた前記３次元位置より前記移動体の追跡が行える移動体追跡手段と、
を備えることを特徴とする移動体追跡装置。
【請求項２】
少なくとも２台の撮像手段により撮像された画像を用いて移動体を追跡する移動体追跡方法において、
前記画像において前記移動体の情報が失われた場合、この情報が失われた時間の前後の時間に得られる前記画像を用いて前記移動体の追跡ができることを特徴とする移動体追跡方法。
【請求項３】
ある時刻までの前記移動体の軌跡から次の時刻における前記移動体の位置を予測し、パターンマッチングを行う領域を予想される前記移動体の周辺領域に限定することを特徴とする請求項２記載の移動体追跡方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影された画像の移動体の情報が失われた場合でもこの移動体の追跡を行える移動体追跡装置及びその方法に関する。
【背景技術】
【０００２】
一般に、この種の移動体追跡する方法としては、個々の移動体に無線発信機を設け無線情報から移動体を追跡する方法や移動体を撮影装置により撮影した画像から移動体を抽出して追跡する方法等種々の方法が考案されている。
【０００３】
この中で、画像による追跡方法は、移動体に特別な装置を必要としないので、広域の不特定多数の移動体を追跡することが可能になり、さらに複数の撮影装置から同時に得た画像から移動体の３次元位置を計測して移動体の追跡を行う方法が考案されている。
【０００４】
このような移動体追跡装置として、例えば、特許文献１に示すように、移動体検出システム、移動体検出装置、移動体検出方法及び移動体検出プログラムからなる移動体の追跡を行う方法が知られている。この特許文献１では、ステレオ画像から移動体の占める割合を計測し、混雑レベルに応じてテンプレートを変化させることにより移動体の識別を容易にし、さらにオプティカルフロー等の方法によって移動体の追跡を行うものである。また、移動体が重なった際には複数の移動体をひとつの領域としてラベリング処理を行い、ラップ率という考え方を用いて移動体を分離する手法が知られている。
【０００５】
また、特許文献２に示すように、歩行者検出装置という移動体の追跡を行う装置が知られている。この特許文献２では、ステレオ画像により３次元位置情報のうち高さ情報を用いて移動体（歩行者）の分離を行うことにより、移動体の検出精度を向上させるものである。
【特許文献１】特開２００５−２３５１０４号公報
【特許文献２】特開２００２−２４９８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述した従来の移動体追跡装置においては、３次元情報の計測が可能であるときには有効であると考えられる。
【０００７】
しかし、画像上で移動体が重なり３次元情報が得られない場合があるために、移動体の分離ができないという課題があった。
【０００８】
また、特許文献１に示すように、複数の移動体をひとつのラベルとして処理し、移動体を分離する手法も提案されている。
【０００９】
しかし、移動体の動きによっては異なる移動体を追跡する可能性がある。このようなときには、複数のテンプレートを準備して複雑な処理を必要とする等の課題があった。
【００１０】
本発明は上記課題を解決するためになされたもので、時系列画像を利用することにより複雑な処理を行うことなく、精度良く移動体の追跡が行える移動体追跡装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明は、既知の位置関係にある少なくとも２台の撮影手段と、この撮影手段で撮影された画像が画像取り込み手段を介して取り込まれる信号処理装置と、を有する移動体追跡装置において、前記信号処理装置が、前記画像取り込み手段を介して取り込まれた前記画像から対応点が検出される対応点計測手段と、この対応点が検出されているか否かを判定する対応点検出判定手段と、前記対応点が検出された場合に前記画像中の移動体の３次元位置が計測される３次元位置計測手段と、前記対応点が検出できない場合には、前記対応点が検出できなかった前後の時間の前記画像から３次元位置が推定される３次元位置推定手段と、前記３次元位置計測手段又は３次元位置推定手段で求められた前記３次元位置より前記移動体の追跡が行える移動体追跡手段と、を備えることを特徴とするものである。
【００１２】
また、上記目的を達成するため、本発明は、少なくとも２台の撮像手段により撮像された画像を用いて移動体を追跡する移動体追跡方法において、前記画像において前記移動体の情報が失われた場合、この情報が失われた時間の前後の時間に得られる前記画像を用いて前記移動体の追跡ができることを特徴とするものである。
【発明の効果】
【００１３】
本発明の移動体追跡装置及びその方法によれば、少なくとも２台の撮影手段で撮影した画像のうち一方の画像において移動体が他の移動体に隠れて見えなくなった場合においても、時系列画像を用いて移動体の３次元位置を推定し、移動体を精度よく追跡することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明に係る移動体追跡装置及びその方法の実施の形態について、図面を参照して説明する。ここで、同一又は類似の部分には共通の符号を付すことにより、重複説明を省略する。
【００１５】
図１は、本発明の実施の形態の移動体追跡装置の構成を示すブロック図である。
【００１６】
まず、移動体追跡装置の構成について、図１を用いて説明する。
【００１７】
本図に示すように、移動体追跡装置は、既知の位置関係にある撮影手段１である２台のカメラ１ａ、１ｂと、このカメラ１ａ、１ｂで撮影された画像が一定の時間間隔で画像取り込み手段２を介して取り込まれる信号処理装置３を備えている。
【００１８】
この信号処理装置３は、取り込んだ画像を保存する画像保存部４と、取り込んだ画像から対応点を求める対応点計測手段５と、対応点が正確に求められているか否かを判定する対応点検出判定手段６と、この対応点が検出された場合に画像中の移動体の３次元位置を計測する３次元位置計測手段７を備えている。
【００１９】
また、この信号処理装置３は、この対応点が検出できない場合には次の画像入力を待ち、対応点が検出できなかった前後の時間の画像を用いて移動体が存在するかを確認し、存在した場合には前後の画像から３次元位置を推定する３次元位置推定手段８と、上述の３次元位置計測手段７又は３次元位置推定手段８で求められた３次元位置より移動体の軌跡が求められる移動体追跡手段９を備えている。
【００２０】
このように構成された本実施の形態において、図２、図３を用いて、２台のカメラ１ａ、１ｂにより位置情報を求める手法について説明する。
【００２１】
図２は、図１の信号処理部の処理を示すフロー図であり、図３は、図１の撮影画像のイメージを示す説明図である。
【００２２】
まず、撮影手段１である２台のカメラ１ａ、１ｂは、固定され既知の位置関係にある。
【００２３】
移動体追跡を開始する前に、それぞれのカメラ１ａ、１ｂについて３次元位置と画像上の位置を結びつけるカメラパラメータを求めておく。このカメラパラメータは、予め複数の既知の３次元座標（ｘｉ，ｙｉ，ｚｉ）（ｉは基準点の番号で１〜ｎとし、最低６点が必要である）を持つテストキューブ等をカメラ１ａ、１ｂを用いて同時に撮影する。テストキューブ（ｔｅｓｔ  ｃｕｂｅ）とは、三面が直交し、高精度に平面研磨された立方体の内側のコーナーの形をした表面を持ち、この面にプリズムその他の部品を接触させて、それら部品の高さ、ピラミッド、分解能等を検出するのに用いるデバイスのことである。
【００２４】
このカメラ１ａ、１ｂを用いて同時に撮影した画像をそれぞれ右画像ＩｍＲ、左画像ＩｍＬとする（Ｓ１）。
【００２５】
この右画像ＩｍＲ、左画像ＩｍＬにおける画像をパターンマッチングして（Ｓ２）、対応点が求められる（Ｓ３）。
【００２６】
一例として、このカメラ１ａ、１ｂを用いて同時に撮影した右画像ＩｍＲ、左画像ＩｍＬ上で基準点ｉに対応する画像上の点（ｕ１ｉ、ｖ１ｉ）及び（ｕ２ｉ，ｖ２ｉ）を求め、以下の（１）式、（２）式において、ｉ＝１〜ｎを同時に満たすカメラパラメータＰを演算することにより、カメラパラメータＰ１、Ｐ２が求められる。
【００２７】
λ１（ｕ１ｉ，ｖ１ｉ，１）＝Ｐ１（ｘｉ，ｙｉ，ｚｉ，１）          （１）
λ２（ｕ２ｉ，ｖ２ｉ，１）＝Ｐ２（ｘｉ，ｙｉ，ｚｉ，１）          （２）
２台のカメラ１ａ、１ｂそれぞれにおける上記カメラパラメータＰ１、Ｐ２を求めた後にカメラ１ａ、１ｂの間で同期を取り、カメラ１ａ、１ｂの時刻ｔにおける右画像ＩｍＲ（ｔ）、左画像ＩｍＬ（ｔ）の対応点が求められる（Ｓ３）。
【００２８】
さらに、信号処理装置３により、右画像ＩｍＲ（ｔ）、左画像ＩｍＬ（ｔ）の対応点を求めた後に、この対応点の３次元座標が演算により求められる（Ｓ４）。
【００２９】
この対応点の検索は、例えば、入力された画像のうち一方の画像の３×３画素を基準とし、もう一方の画像全体中の任意の３×３画素との差分処理を行い、最も違いの少ない３×３画素を求めることにより、対応点を検出することができる。この対応点が検出できれば、予め求めたカメラパラメータＰを用いて３次元位置座標を演算により求めることができる（Ｓ４）。
【００３０】
上述のように、正確にカメラパラメータＰ１、Ｐ２が求められ、正確に画像間の対応点を検出できれば、比較的容易に２台のカメラ１ａ、１ｂを用いて画像上の物体の３次元位置を求めることができる。なお、この上記した位置情報の求め方や対応点検索方法は、数ある手法の一例であり、この手法に限定されるものではない。
【００３１】
時系列画像から移動体を認識する方法については、オプティカルフローと呼ばれるパターンマッチングを用いて移動ベクトルを求め、移動体の動きを推定する手法がある。オプティカルフローは、２次元平面内での移動体の検出手法である。
【００３２】
ここでは、右画像ＩｍＲ（ｔ−Δｔ）と右画像ＩｍＲ（ｔ）、又は左画像ＩｍＬ（ｔ−Δｔ）と左画像ＩｍＬ（ｔ）を用いて、オプティカルフローを使ってそれぞれ右画像ＩｍＲ又は左画像ＩｍＬ内における時系列画像の移動体が求められる。右画像ＩｍＲ（ｔ−Δｔ）内における点ａが、左画像ＩｍＬ（ｔ−Δｔ）内の点ｂへ移動したことが求められたとすると、上述した３次元位置座標手法を用いて点ａ、ｂについての３次元位置座標を求めれば、点ａに関する移動軌跡を求めることができる（Ｓ９）。
【００３３】
しかしながら、３次元位置を求める場合や時系列画像での移動先を求める場合と共に、撮影される画像によっては３次元位置や移動先を正確に求めることができないことがある。  例えば、図３を用いて人物を追跡する場合について考察する。図３は、図１の撮影画像のイメージを示す説明図で、（ａ）はその右画像と左画像のイメージ図、（ｂ）はその対応点が検出できていないと判断した場合のイメージ図である。
【００３４】
本図に示すように、複数の人物が映っている画像から人物を追跡する場合について考察する。
【００３５】
時刻（ｔ−Δｔ）までは、人物Ａ、Ｂが右画像ＩｍＲ、左画像ＩｍＬそれぞれに写っており対応点を検出することができる（Ｓ３）。従って、人物Ａ、Ｂそれぞれの３次元的位置を求めることができ、かつ右画像ＩｍＲ、左画像ＩｍＬ内での時間経過後の移動先についても計測可能であるので、人物Ａ、Ｂそれぞれの動きを追跡することが可能である。
【００３６】
時刻ｔにおいては、右画像ＩｍＲ（ｔ）では人物Ａ、Ｂ共に画像内に写っているが、左画像ＩｍＬ（ｔ）では人物Ａは人物Ｂと重なっており画像中に人物Ａを検出することはできない。３次元位置を求める場合に、右画像ＩｍＲを基準画像として人物Ａが写っている領域において、上述のように３×３画素の差分処理を行って対応点を自動的に検出するので、差分値が大きい場合でも検索した範囲内において最も差分の少ない点を対応点として検出するために、不適切な位置に対応点が検出されてしまう。この結果、不適切な位置として人物Ａの３次元位置が求められることになる。
【００３７】
また、左画像ＩｍＬ（ｔ−Δｔ）と左画像ＩｍＬ（ｔ）においても、不適切な位置として移動先が求められることになる。この結果、移動体の正確な追跡が不可能となることがある。
【００３８】
ここでは、図１の対応点計測手段５である対応点検出部で検出した対応点が、正しい対応点であるか否かの判定を対応点検出判定手段６である対応点検出判定部で行い、不適切な移動体の追跡を防止する判定方式の例について以下に述べる。
【００３９】
この判定については、例えば、右画像ＩｍＲ（ｔ）、左画像ＩｍＬ（ｔ）を用いて３次元位置を検出する場合において、上述したように３×３画素の差分処理する場合には、対応点の有無により差分値の大きさに違いが生じる。
【００４０】
ここでは、差分値の大きさにしきい値を設けて、しきい値以下の場合は正常に対応点が存在すると判定し、しきい値以上の場合には対応点が正しく検出できていないと判定を行う。
【００４１】
対応点が正しく検出できていると判定した場合には、予め求めたカメラパラメータＰ１、Ｐ２と右画像ＩｍＲ及び左画像ＩｍＬとの対応点の座標を用いて対応点の３次元位置を求める。右画像ＩｍＲ（右画像ＩｍＬでもよい）における時刻（ｔ−Δｔ）との対応点から移動軌跡が求められる。
【００４２】
対応点が正しく検出できていないと判断した場合には、その時刻ｔにおける３次元位置を求める処理を行わず、次の時刻（ｔ＋Δｔ）における画像入力を待ち、時刻（ｔ−Δｔ）、時刻ｔ、時刻（ｔ＋Δｔ）を用いて時刻ｔにおける移動体の有無及び３次元位置を図１の３次元位置推定手段８を用いて推定する。
【００４３】
次に、上述の対応点が検出できていない（Ｓ５）と判断した場合の処理について以下に述べる。
【００４４】
１．移動体の有無確認：
時刻（ｔ−Δｔ）と時刻ｔの右画像ＩｍＲ及び右画像ＩｍＬのそれぞれについて対応点検索を実施する。ここでは、対応点の有無のみを検出する。右画像ＩｍＲ、左画像ＩｍＬどちらか一方の画像に対応点があった場合には、移動体が有るものと判定する（Ｓ６）。両方の画像に対応点がない場合には、移動体はないものと判定する（Ｓ７）。
【００４５】
２．移動体の位置推定：
移動体が存在すると判定された場合には、時刻（ｔ−Δｔ）と時刻（ｔ＋Δｔ）のそれぞれの右画像ＩｍＲと左画像ＩｍＬを用いて上記時刻ｔにおける移動軌跡を求める方法と同様に、時刻（ｔ−Δｔ）から時刻（ｔ＋Δｔ）における移動軌跡を求め、例えば、線形補間により時刻ｔの３次元位置を推定する（Ｓ８）。
【００４６】
なお、上記１．の「移動体の有無確認」において、両方の画像に対応点がない場合に直ぐに移動体はないものとせずに、さらに時刻（ｔ＋２Δｔ）、時刻（ｔ＋３Δｔ）と時間経過後の画像を用いて移動体の有無を判定し、時刻（ｔ＋Δｔ）、時刻（ｔ＋２Δｔ）における移動体の位置を推定することもできる。上述のように、移動体追跡装置では画像上で移動体が重なった場合においても、前後の時系列データを用いて移動体の追跡が可能となる。
【００４７】
本実施の形態によれば、２台のカメラカメラ１ａ、１ｂで撮影した画像のうち一方の画像で移動体が他の移動体に隠れて見えなくなった場合においても、時系列画像を用いて移動体の位置を推定することが可能である。かくして、画像上に対応点が得られない場合でも、時系列画像を用いて３次元位置を推定可能なので、移動体を精度よく追跡することができる。
【００４８】
次に、本発明の第２の実施の形態の移動体追跡装置について説明する。本実施の形態の構成は、図１と同一であり、信号処理装置３の機能の一部が異なるものである。
【００４９】
第１の実施の形態の移動体追跡装置と同様に、時刻ｔまでの移動体を追跡し、時刻（ｔ＋Δｔ）における移動領域を推定する。ここでは、歩行者等が一定速度で移動する際の移動体を想定する。
【００５０】
例えば、時刻ｔ＝（ｔ−Δｔ）、時刻ｔにおいて、移動体はそれぞれ（ｘ、ｙ）、（ｘ＋Δｘ、ｙ＋Δｙ）に存在することが計測されたとする。この場合は、ｔ＝（ｔ＋Δｔ）における移動体の位置は線形に移動したと仮定すると、（ｘ＋２Δｘ、ｙ＋２Δｙ）にあると推定できるので、パターンマッチングを行う領域を（ｘ＋２Δｘ、ｙ＋２Δｙ）に係る周辺領域に限定する。
【００５１】
本実施の形態によれば、パターンマッチングを行う領域を限定することにより、処理時間の高速化を図ることができる。
【００５２】
なお、本実施の形態においては、移動体が線形に移動することを仮定したが、過去の３点以上の点を用いて２次フィッテイング等で移動体の位置をより精度良く推定することも可能である。
【００５３】
以上本発明の実施の形態について説明してきたが、本発明は、上述したような各実施の形態に何ら限定されるものではなく、各実施の形態の構成を組み合わせて、本発明の主旨を逸脱しない範囲で種々変形して実施することができる。
【図面の簡単な説明】
【００５４】
【図１】本発明の実施の形態の移動体追跡装置の構成を示すブロック図。
【図２】図１の信号処理装置の処理を示すフロー図。
【図３】図１の撮影画像のイメージを示す説明図で、（ａ）はその右画像と左画像のイメージ図、（ｂ）はその対応点が検出できていないと判断した場合のイメージ図。
【符号の説明】
【００５５】
１…撮影手段、１ａ，１ｂ…カメラ、２…画像取り込み手段、３…信号処理装置、４…画像保存部、５…対応点計測手段、６…対応点検出判定手段、７…３次元位置計測手段、８…３次元位置推定手段、９…移動体追跡手段、１０…移動体、Ａ，Ｂ…人物、ＩｍＲ…右画像、ＩｍＬ…左画像。
【図１】
2009266155.tif 000003
【図２】
2009266155.tif 000004
【図３】
2009266155.tif 000005