(57)【要約】【課題】レーダやレーザ光ビーム等の大掛かりな装置や、複雑で演算量の多い演算も必要とせずに、移動体の移動速度や移動距離を簡単な構成で高精度に測定する方法および測定装置を提供すること。【解決手段】ステレオカメラシステムを用いて距離情報を取得し、動画の撮像データ中の追跡対象物である移動体の色情報と距離情報を併用することで、レーダやレーザ光ビーム等の大掛かりな装置や、複雑で演算量の多い演算も必要とせずに、追跡対象物である移動体の移動速度や移動距離を、簡単な構成で高精度に検出する検出装置および検出方法を提供することができる。【選択図】図１
2007127478.tif 000002
【特許請求の範囲】
【請求項１】
撮像データを出力する撮像装置と、
前記撮像データから追跡対象物を検出する追跡対象物検出手段と、
前記撮像データから前記追跡対象物の色情報を生成する色情報生成手段と、
前記色情報生成手段により生成された色情報に基づいて前記追跡対象物の追跡を行う追跡処理手段と、
前記追跡処理手段により追跡された前記追跡対象物の距離情報を生成する距離情報生成手段と、
前記追跡処理手段によって追跡された前記追跡対象物の時系列的な撮像データと、前記距離情報生成手段により生成された前記追跡対象物の時系列的な距離情報とに基づき、前記追跡対象物の移動量と速度とを算出する移動量算出手段とを有することを特徴とする追跡対象物速度検出装置。
【請求項２】
前記撮像装置は、複数の撮像手段を備え、
前記距離情報生成手段は、複数の撮像手段の撮像データを用いてステレオ画像処理により距離情報を生成することを特徴とする請求項１に記載の追跡対象物速度検出装置。
【請求項３】
前記色情報生成手段は、ＨＳＶ色空間を用いて前記追跡対象物の色情報を生成することを特徴とする請求項１または２に記載の追跡対象物速度検出装置。
【請求項４】
前記追跡処理手段は、前記色情報生成手段で生成されるＨＳＶ色空間のＨ（色相）成分ヒストグラムの類似度の高い領域を探索することで前記追跡対象物を追跡することを特徴とする請求項１乃至３の何れか１項に記載の追跡対象物速度検出装置。
【請求項５】
撮像装置が出力する撮像データを用いて、追跡対象物の速度と移動量とを算出する追跡対象物速度検出方法であって、
前記撮像データから前記追跡対象物の色情報を生成する色情報生成工程と、
前記色情報生成工程で生成された色情報に基づいて前記追跡対象物を追跡する追跡処理工程と、
前記追跡処理工程によって追跡された前記追跡対象物の距離情報を生成する距離情報生成工程と、
前記追跡処理工程によって追跡された前記追跡対象物の時系列的な撮像データと、前記距離情報生成工程によって生成された前記追跡対象物の時系列的な距離情報とを用いて、前記追跡対象物の移動量と速度とを算出する移動量算出工程と、
を備えたことを特徴とする追跡対象物速度検出方法。
【請求項６】
前記撮像装置は、複数の撮像手段を備えており、
前記距離情報生成工程は、複数の撮像手段の撮像データを用いてステレオ画像処理により距離情報を生成する工程であることを特徴とする請求項５に記載の追跡対象物速度検出方法。
【請求項７】
前記色情報生成工程は、ＨＳＶ色空間を用いて前記追跡対象物の色情報を生成する工程であることを特徴とする請求項５または６に記載の追跡対象物速度検出方法。
【請求項８】
前記追跡処理工程は、前記色情報生成工程で生成されるＨＳＶ色空間のＨ（色相）成分ヒストグラムの類似度の高い領域を探索することで被写体を特定する工程であることを特徴とする請求項５乃至７の何れか１項に記載の追跡対象物速度検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、追跡対象物速度検出装置および追跡対象物速度検出方法に関し、特に、追跡対象物を撮像して撮像データを出力する撮像装置を用いて、追跡対象物の速度と移動量とを算出する追跡対象物速度検出装置および追跡対象物速度検出方法に関する。
【背景技術】
【０００２】
近年、交通量や速度違反の監視や不審者の監視等の監視用途に撮像装置が用いられることが多くなっている。これらの用途では、単に画像による監視だけでなく、画像を利用した距離計測や移動体の速度検出といった方面に用途が広がりつつある。
【０００３】
従来の移動体の速度測定装置としては、レーダ速度測定器と撮像カメラとを利用したもの（例えば、特許文献１参照）や、レーザ光ビームを送受光する方式の光学式距離計を利用したもの（例えば、特許文献２参照）がある。しかし、これらの方法では、測定装置からレーダやレーザ光ビーム等を照射する必要があり、大がかりで複雑な装置となってしまうという問題点があった。
【０００４】
そこで、上述した問題を解決する方法として、２台の撮像カメラを利用して、撮像画角の両端の明度または色相の変化を検出することで移動体を検知し、撮像画角内を通過する移動体の通過量と、２台のカメラの間の距離から速度を求める方法が提案されている（例えば、特許文献３参照）。しかし、この手法では、予め定められた位置を一定方向に通過する移動体の移動速度しか測定できず、且つ、カメラの設置位置も規定されているために測定条件が限られてしまっており、特に画面上部または下部から画面に進入してきた移動体については測定できない。
【０００５】
また、ステレオ画像を用いて物体までの距離を計測して移動速度を算出する手法としては、ステレオ画像から得られる距離情報を利用して物体のテンプレートを抽出し、テンプレートマッチングによって追跡を行うことで、演算量を削減しながら高精度に物体を追跡でき、移動速度も算出できる方法（例えば、特許文献４参照）や、オプティカルフローと距離情報を併用することで高精度に物体の移動速度を算出する方法（例えば、特許文献５参照）が提案されている。
【特許文献１】特開平９−２１２７９３号公報
【特許文献２】特開２０００−１９３６７５号公報
【特許文献３】特開２０００−３４６８５６号公報
【特許文献４】特開平１０−１８７９７４号公報
【特許文献５】特開２００５−２１４９１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献４や５に示された方法では、テンプレートマッチングやオプティカルフローといった演算量の多い処理を繰り返し用いることを前提としており、削減されたとは言っても非常に多くの演算が必要であり、信号処理系への負荷が非常に重いものとなってしまい、基本的にリアルタイム処理が必要な動画像での追跡に適用するには制約が大きい。
【０００７】
本発明は、上記事情に鑑みてなされたもので、レーダやレーザ光ビーム等の大掛かりな装置や、複雑で演算量の多い演算も必要とせずに、追跡対象物の速度や移動量を簡単な構成で高精度に検出する検出装置および検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の目的は、下記構成により達成することができる。
【０００９】
１．  撮像データを出力する撮像装置と、
前記撮像データから追跡対象物を検出する追跡対象物検出手段と、
前記撮像データから前記追跡対象物の色情報を生成する色情報生成手段と、
前記色情報生成手段により生成された色情報に基づいて前記追跡対象物の追跡を行う追跡処理手段と、
前記追跡処理手段により追跡された前記追跡対象物の距離情報を生成する距離情報生成手段と、
前記追跡処理手段によって追跡された前記追跡対象物の時系列的な撮像データと、前記距離情報生成手段により生成された前記追跡対象物の時系列的な距離情報とに基づき、前記追跡対象物の移動量と速度とを算出する移動量算出手段とを有することを特徴とする追跡対象物速度検出装置。
【００１０】
２．  前記撮像装置は、複数の撮像手段を備え、
前記距離情報生成手段は、複数の撮像手段の撮像データを用いてステレオ画像処理により距離情報を生成することを特徴とする１に記載の追跡対象物速度検出装置。
【００１１】
３．  前記色情報生成手段は、ＨＳＶ色空間を用いて前記追跡対象物の色情報を生成することを特徴とする１または２に記載の追跡対象物速度検出装置。
【００１２】
４．  前記追跡処理手段は、前記色情報生成手段で生成されるＨＳＶ色空間のＨ（色相）成分ヒストグラムの類似度の高い領域を探索することで前記追跡対象物を追跡することを特徴とする１乃至３の何れか１項に記載の追跡対象物速度検出装置。
【００１３】
５．  撮像装置が出力する撮像データを用いて、追跡対象物の速度と移動量とを算出する追跡対象物速度検出方法であって、
前記撮像データから前記追跡対象物の色情報を生成する色情報生成工程と、
前記色情報生成工程で生成された色情報に基づいて前記追跡対象物を追跡する追跡処理工程と、
前記追跡処理工程によって追跡された前記追跡対象物の距離情報を生成する距離情報生成工程と、
前記追跡処理工程によって追跡された前記追跡対象物の時系列的な撮像データと、前記距離情報生成工程によって生成された前記追跡対象物の時系列的な距離情報とを用いて、前記追跡対象物の移動量と速度とを算出する移動量算出工程と、
を備えたことを特徴とする追跡対象物速度検出方法。
【００１４】
６．  前記撮像装置は、複数の撮像手段を備えており、
前記距離情報生成工程は、複数の撮像手段の撮像データを用いてステレオ画像処理により距離情報を生成する工程であることを特徴とする５に記載の追跡対象物速度検出方法。
【００１５】
７．  前記色情報生成工程は、ＨＳＶ色空間を用いて前記追跡対象物の色情報を生成する工程であることを特徴とする５または６に記載の追跡対象物速度検出方法。
【００１６】
８．  前記追跡処理工程は、前記色情報生成工程で生成されるＨＳＶ色空間のＨ（色相）成分ヒストグラムの類似度の高い領域を探索することで被写体を特定する工程であることを特徴とする５乃至７の何れか１項に記載の追跡対象物速度検出方法。
【発明の効果】
【００１７】
本発明によれば、ステレオカメラシステムを用いて距離情報を取得し、動画の撮像データ中の追跡対象物の色情報と距離情報を併用することで、レーダやレーザ光ビーム等の大掛かりな装置や、複雑で演算量の多い演算を必要とせずに、追跡対象物の速度や移動量を、簡単な構成で高精度に検出する検出装置および検出方法を提供することができる。
【発明を実施するための最良の形態】
【００１８】
以下、図面に基づき本発明の実施の形態を説明する。
【００１９】
まず、本発明における追跡対象物速度検出装置の一例について、図１を用いて説明する。図１は、追跡対象物速度検出装置の内部構成の一例を示すブロック図である。ここでは、説明を簡単にするために、カメラを２台用いる基本的な追跡対象物速度検出装置について述べるが、例えば大規模な監視システム等のように数十台のカメラを用いるシステムであっても、考え方は同じである。
【００２０】
図１において、追跡対象物速度検出装置１は、撮像装置１０と、演算装置３０とで構成される。撮像装置１０は、いわゆるステレオカメラシステムで、第１の撮像手段１００と第２の撮像手段２００とで構成される。ステレオカメラシステムを使用することで、光源やレーザ、レーダ等の大掛かりで複雑な装置を必要とせず、また、パッシブ型であるために被測定物に対して何ら影響を及ぼさないと言うメリットがある。
【００２１】
演算装置３０は、追跡対象物検出手段３０１、色情報生成手段３０２、追跡処理手段３０３、距離情報生成手段３０４および移動量算出手段３０５で構成され、移動量算出手段３０５は、２次元移動量算出手段３０６と３次元移動量算出手段３０７とで構成される。
【００２２】
第１の撮像手段１００と第２の撮像手段２００とは、光軸１１１および２１１が基線長ｂだけ離れて配置され、撮像レンズ１１３および２１３によって結像された追跡対象物の像が、撮像素子１１５および２１５によって動画撮像され、第１の撮像データ１２１および第２の撮像データ２２１が、演算装置３０に向けて出力される。
【００２３】
少なくとも第１の撮像手段１００は、カラー撮像手段である必要がある。光軸１１１と２１１は、平行であってもよいし、適当な距離で交わるように設定されてもよいが、光軸１１１と２１１が作る面は、捩れのない平面であることが望ましい。また、撮像レンズ１１３と２１３の焦点距離は必ずしも同じである必要はないが、既知である必要がある。
【００２４】
第１の撮像データ１２１は、演算装置３０の追跡対象物検出手段３０１に入力され、最初に、例えばテンプレートマッチング等の所謂パターンマッチングの手法、あるいは手動抽出による領域指定等の方法により、追跡対象物の絞り込みが行われ、追跡対象物情報３１１が出力される。
【００２５】
追跡対象物検出手段３０１の追跡対象物情報３１１は、色情報生成手段３０２に入力される。第１の撮像データ１２１も色情報生成手段３０２に入力され、追跡対象物情報３１１に従って、第１の撮像データ１２１から追跡対象物の色情報（例えば、ＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）色空間の情報）が抽出され、ＨＳＶ（Ｈｕｅ：色相、Ｓａｔｕｒａｔｉｏｎ：彩度、Ｖａｌｕｅ：輝度）色空間に変換され、その中のＨ（色相）成分の分布情報（ヒストグラム）が追跡対象物色情報３１２として出力される。
【００２６】
追跡に色情報を用いることで、テンプレートマッチングやオプティカルフローといった演算量の多い処理を繰り返し用いる必要がないため高速な追跡処理が可能となり、しかも、例えば追跡対象物の角度の変動によるパターンの変化にも強くなる。
【００２７】
色情報には、光の３原色である赤、緑、青を用いたＲＧＢ色情報や、テレビ等でよく用いられる輝度Ｙと色差を用いるＹ色差情報等があるが、本発明ではＨＳＶ色情報を使用する。それは、ＨＳＶ色情報、その中でも特にＨ（色相）成分が、ＲＧＢ色情報やＹ色差色情報に比べて輝度変動に対して影響を受けにくく、例えば追跡対象物の照明条件が変動したとしてもロバストな追跡が行えるという特徴があるためである。
【００２８】
ＲＧＢ色空間からＨＳＶ色空間への変換について簡単に述べる。
【００２９】
ＭＡＸ＝ｍａｘ（Ｒ，Ｇ，Ｂ）
ＭＩＮ＝ｍｉｎ（Ｒ，Ｇ，Ｂ）
としたとき、輝度Ｖは、以下の（式１）で与えられる。
【００３０】
Ｖ＝ＭＡＸ    ・・・（式１）
Ｖ＝０の場合は、彩度Ｓおよび色相Ｈは、
Ｓ＝Ｈ＝０
である。
【００３１】
Ｖ＝０以外の場合は、彩度Ｓは、以下の（式２）で与えられる。
【００３２】
Ｓ＝（ＭＡＸ−ＭＩＮ）／ＭＡＸ    ・・・（式２）
また、
Ｃｒ＝（ＭＡＸ−Ｒ）／（ＭＡＸ−ＭＩＮ）
Ｃｇ＝（ＭＡＸ−Ｇ）／（ＭＡＸ−ＭＩＮ）
Ｃｂ＝（ＭＡＸ−Ｂ）／（ＭＡＸ−ＭＩＮ）
とすると、色相Ｈは、以下の（式３）で与えられる。
【００３３】
【数１】
2007127478.tif 000003
【００３４】
色情報生成手段３０２の追跡対象物色情報３１２は、追跡処理手段３０３に入力される。第１の撮像データ１２１も追跡処理手段３０３に入力され、追跡対象物色情報３１２に基づいて、第１の撮像データ１２１から追跡対象物のＨ（色相）成分のヒストグラムの類似度の高い領域が探索されることで追跡対象物が抽出されて、動画の第１の撮像データ１２１の各フレーム毎に追跡対象物の撮像画面上の位置が追跡され、追跡情報３１３として出力される。
【００３５】
色情報を用いた追跡方法を、図２を用いて説明する。図２（ａ）で、第１の撮像手段１００の撮像画面ｍ１上で、追跡対象物Ｏｂｊがあるタイミングでａ１の位置に存在したとする。ここで、位置ａ１に色情報検出エリアｅ１が設定され、エリアｅ１内の色情報が、ＨＳＶ色情報に変換され、その中のＨ（色相）成分のヒストグラムが追跡対象物色情報３１２として抽出される。変換されたＨＳＶ色情報中のＨ（色相）成分のヒストグラムの例を図２（ｂ）に示す。横軸にＨ（色相）成分を０°から３５９°の範囲でとり、縦軸に各色相の頻度を画素数で示してある。
【００３６】
次に、上述のあるタイミングから一定時間経過後の撮像画面ｍ１（例えば１フレーム後の画面）上で、第１の撮像データ１２１の色情報中のＨ（色相）成分が抽出され、色情報検出エリアｅ１と同じ大きさで切り出されてＨ（色相）成分のヒストグラムが算出され、上述の追跡対象物色情報３１２と比較され、類似度が算出される。
【００３７】
実際の類似度の算出には、例えば「アクティブ探索法」等が用いられて類似度が算出され、類似度の高い領域を探索することで、追跡対象物Ｏｂｊの存在する位置（図２（ａ）では位置ａ２）が追跡される。その結果、追跡対象物Ｏｂｊが撮像画面ｍ１上で位置ａ１から位置ａ２へと画面上で移動量ｄ１だけ移動したことが分かる。ここで、水平ｘ軸および垂直ｙ軸の直交座標を置き、移動量ｄ１のｘ成分をｄ１ｘ、ｙ成分をｄ１ｙとする。ｄ１（ｄ１ｘ，ｄ１ｙ）は、図４の説明で使用する。
【００３８】
ここで、「アクティブ探索法」とは、「電子情報通信学会論文誌  Ｄ−２Ｖｏｌ．Ｊ８１−Ｄ−２  ｐｐ．２０３５−２０４２，１９８８  村瀬洋、Ｖ．Ｖ．Ｖｉｎｏｄ”局所色情報を用いた高速物体探索−アクティブ探索法−”」で提案された手法で、画像の特徴照合に色ヒストグラムを用い、入力画像中のある位置の類似値からその近傍の類似値を計算し、上限値が探索値より小さければその領域での探索が省略できるため、照合回数を極端に低減できるという利点を持ち、画像中から物体を探索する処理を高速化する手法である。
【００３９】
一方、第１の撮像データ１２１と第２の撮像データ２２１は、距離情報生成手段３０４に入力され、ステレオ画像による距離計測方法により追跡対象物の距離が計測され、距離画像に変換されて距離情報３１４として出力される。距離画像とは、対象までの距離情報を濃淡により可視化した画像で、距離画像内では距離が近いものは明るく、遠いものは暗く表示される。
【００４０】
距離画像の例を、図３に示す。図３（ａ）は、撮像手段の撮像画面ｍ１上の画像の模式図で、人ｈｕ１が近距離Ｄ１におり、木ｔｒ１が中距離Ｄ２にあり、背景ｂｇは遠距離Ｄ３にある。この時、距離画像は図３（ｂ）のようになり、近距離Ｄ１にいる人ｈｕ１が明るく、中距離Ｄ２にある木ｔｒ１がやや薄暗く、遠距離Ｄ３にある背景ｂｇは暗く表示される。ここでは説明を簡単にするために３段階の距離表示としたが、距離の段数は用途に合わせて自由に設定してよい。
【００４１】
距離計測には第１と第２の撮像手段の視差を利用した三角測量が用いられるが、視差を測定するためには第１と第２の撮像手段で撮像された画像間の対応を正しく調べる（対応点探索と言う）必要がある。対応点探索には、例えば、ＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）やＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）と呼ばれる手法が用いられる。第１の撮像データ１２１上の追跡対象物の位置は、追跡情報３１３で明らかになっているので、上述した対応点探索により第２の撮像データ２２１上の追跡対象物の位置を特定することで、追跡対象物の距離を計測することができる。
【００４２】
追跡処理手段３０３の追跡情報３１３は、２次元移動量算出手段３０６に入力される。第１の撮像データ１２１も２次元移動量算出手段３０６に入力され、追跡情報３１３に基づいて動画の第１の撮像データ１２１のフレーム間の撮像画面内の２次元移動量３１６が算出されて出力される。図２（ａ）に示した移動量ｄ１がそれである。
【００４３】
２次元移動量算出手段３０６の出力である２次元移動量３１６は、３次元移動量算出手段３０７に入力される。追跡情報３１３および距離情報３１４も３次元移動量算出手段３０７に入力され、２次元移動量３１６と距離情報３１４とから３次元移動量３１７が算出される。これを、図４を用いて説明する。図４は、図２（ａ）に示した追跡対象物Ｏｂｊの位置Ａ１から位置Ａ２への移動を立体的に（図４（ａ））、あるいはＸＺ面上とＹＺ面上の成分に分解して（図４（ｂ））示した模式図である。図中、図２（ａ）と同じ部分には同じ番号を付与した。また、撮像画面上の小文字の記号で表された部分（例えば、位置ａ１、ｚ軸等）に相当する被写界の部分は、大文字の記号（例えば、位置Ａ１、Ｚ軸等）で記す。
【００４４】
位置Ａ１および位置Ａ２の撮像装置１０からの距離ＤＡ１およびＤＡ２は、距離情報生成手段３０４による距離計測により距離情報３１４として与えられている。図４（ｂ）から分かる通り、追跡対象物ＯｂｊのＺ方向の移動量ＤＺは、
ＤＺ＝ＤＡ１−ＤＡ２    ・・・（式４）
である。
【００４５】
追跡対象物ＯｂｊのＸ方向の移動量ＤＸおよび追跡対象物ＯｂｊのＹ方向の移動量ＤＹは、第１の撮像手段１００の撮像レンズ１１３の焦点距離をｆとして、第１の撮像手段１００の撮像画面上の移動量ｄ１（ｄ１ｘ，ｄ１ｙ）から、
ＤＸ＝ｄ１ｘ・ＤＡ１／ｆ    ・・・（式５）
ＤＹ＝ｄ１ｙ・ＤＡ１／ｆ    ・・・（式６）
で与えられ、追跡対象物Ｏｂｊの実際の移動量Ｄ１は、
【００４６】
【数２】
2007127478.tif 000004
【００４７】
となる。
【００４８】
次に、追跡対象物Ｏｂｊの移動速度を求める方法を、図５を用いて説明する。図５（ａ）は、動画像の（ｎ）フレーム目の撮像時の追跡対象物Ｏｂｊの被写界での位置Ａ（ｎ）を示す図である。この状態から、図５（ｂ）で示す（ｎ＋１）フレーム目の撮像時の追跡対象物Ｏｂｊの被写界での位置Ａ（ｎ＋１）まで、追跡対象物Ｏｂｊは、１フレーム間に移動距離Ｄ（ｎ）だけ移動する。動画撮像のフレームレートをｋフレーム／秒とすると、追跡対象物Ｏｂｊの移動速度Ｖ（ｎ）は、以下の（式８）で与えられる。
【００４９】
Ｖ（ｎ）＝ｋ・Ｄ（ｎ）    ・・・（式８）
更に、追跡対象物Ｏｂｊの加速度を求める方法を、図６を用いて説明する。図６で、追跡対象物Ｏｂｊは、動画撮像の（ｎ）フレーム目から（ｎ＋３）フレーム目までの各フレームの撮像タイミングで位置Ａ（ｎ）から位置Ａ（ｎ＋３）の各位置にあり、１フレーム間に各々距離Ｄ（ｎ）からＤ（ｎ＋２）移動し、各フレーム間の速度は各々Ｖ（ｎ）からＶ（ｎ＋２）である。従って、位置Ａ（ｎ）から位置Ａ（ｎ＋１）を経由して位置Ａ（ｎ＋２）に至る移動の間の加速度ＤＶ（ｎ）は、以下の（式９）で与えられる。
【００５０】
ＤＶ（ｎ）＝Ｖ（ｎ＋１）−Ｖ（ｎ）    ・・・（式９）
次に、上述した追跡対象物の速度と移動量算出の動作の流れを、図７を用いて説明する。図７は、追跡対象物の速度と移動量算出の動作の流れ、すなわち追跡対象物速度検出方法を示すフローチャートである。ステップＳ１０１で、第１の撮像手段１００と第２の撮像手段２００によって追跡対象物を含む被写界が撮像されて、第１の撮像データ１２１と第２の撮像データ２２１が出力され、ステップＳ１０３に進む。ステップＳ１０３で、追跡対象物検出手段３０１によって、第１の撮像データ１２１から追跡対象物の検出が行われ、追跡対象物情報３１１が出力されて、ステップＳ１０５に進む。ステップＳ１０５で、色情報生成手段３０２によって、追跡対象物情報３１１で決定された追跡対象物の色情報（ＨＳＶ色空間のＨ（色相）成分のヒストグラム）が抽出され、追跡対象物色情報３１２が出力されて、ステップＳ１０７に進む。ステップＳ１０５は、本発明における色情報生成工程に相当する。
【００５１】
ステップＳ１０７で、追跡処理手段３０３によって、追跡対象物色情報３１２に基づいて動画像の各フレーム毎に追跡対象物が追跡され、追跡情報３１３が出力されて、ステップＳ１０９に進む。ステップＳ１０７は、本発明における追跡処理工程に相当する。ステップＳ１０９で、距離情報生成手段３０４によって、第１の撮像データ１２１と第２の撮像データ２２１および追跡情報３１３に基づいて動画像の各フレーム毎に追跡対象物までの距離が算出され、距離画像に変換されて距離情報３１４として出力されて、ステップＳ１１１に進む。ステップＳ１０９は、本発明における距離情報生成工程に相当する。
【００５２】
ステップＳ１１１で、２次元移動量算出手段３０６によって、第１の撮像データ１２１と追跡情報３１３に基づいて撮像画面上での追跡対象物のフレーム間の移動量が算出され、２次元移動量３１６が出力されて、ステップＳ１１３に進む。ステップＳ１１３で、３次元移動量算出手段３０７によって、追跡情報３１３、距離情報３１４および２次元移動量３１６に基づいて被写界での追跡対象物の移動量が算出され、３次元移動量３１７が出力されて、ステップＳ１１５に進む。
【００５３】
ステップＳ１１５で、同じく３次元移動量算出手段３０７によって、動画像の各フレーム間の３次元移動量３１７と動画のフレームレートから各フレーム間の速度が算出され、速度Ｖ（ｎ）が出力されて、ステップＳ１１７に進む。ステップＳ１１３およびＳ１１５は、本発明における移動量算出工程に相当する。ステップＳ１１７で、同じく３次元移動量算出手段３０７によって、必要に応じて、動画像の各フレーム間の速度Ｖ（ｎ）と動画のフレームレートから各フレーム間の加速度が算出され、加速度ＤＶ（ｎ）が出力されて、追跡対象物の移動量と速度算出の動作の流れが終了される。
【００５４】
以上に述べたように、本発明によれば、ステレオカメラシステムを用いて距離情報を取得し、動画の撮像データ中の追跡対象物の色情報と距離情報を併用することで、レーダやレーザ光ビーム等の大掛かりな装置や、複雑で演算量の多い演算も必要とせずに、追跡対象物の速度や移動量を、簡単な構成で高精度に検出する検出装置および検出方法を提供することができる。
【００５５】
尚、本発明に係る追跡対象物速度検出装置および追跡対象物速度検出方法を構成する各構成の細部構成および細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【図面の簡単な説明】
【００５６】
【図１】追跡対象物速度検出装置の内部構成の一例を示すブロック図である。
【図２】色情報を用いた追跡方法を説明する模式図である。
【図３】距離画像の例を示す模式図である。
【図４】図２に示した追跡対象物の移動を示す模式図である。
【図５】追跡対象物の移動速度を求める方法を説明する模式図である。
【図６】追跡対象物の加速度を求める方法を説明する模式図である。
【図７】追跡対象物の速度と移動量算出の動作の流れを示すフローチャートである。
【符号の説明】
【００５７】
１  追跡対象物速度検出装置
１０  撮像装置
３０  演算装置
１００  第１の撮像手段
１１１  （第１の撮像手段の）光軸
１１３  （第１の撮像手段の）撮像レンズ
１１５  （第１の撮像手段の）撮像素子
１２１  （第１の撮像手段の）撮像データ
２００  第２の撮像手段
２１１  （第２の撮像手段の）光軸
２１３  （第２の撮像手段の）撮像レンズ
２１５  （第２の撮像手段の）撮像素子
２２１  （第２の撮像手段の）撮像データ
３０１  追跡対象物検出手段
３０２  色情報生成手段
３０３  追跡処理手段
３０４  距離情報生成手段
３０５  移動量算出手段
３０６  ２次元移動量算出手段
３０７  ３次元移動量算出手段
【図１】
2007127478.tif 000005
【図２】
2007127478.tif 000006
【図３】
2007127478.tif 000007
【図４】
2007127478.tif 000008
【図５】
2007127478.tif 000009
【図６】
2007127478.tif 000010
【図７】
2007127478.tif 000011