(57)【要約】【課題】オブジェクトの認識精度、そのオブジェクトの移動変化の検出精度の向上を図ることができる移動物体認識装置を提供する。【解決手段】本発明の移動物体認識装置は、ステレオ画像信号が逐次入力されるステレオ画像入力部２０、ステレオ画像の少なくとも一方の画像をフレーム毎に逐次記憶保持して輝度画像を構築する輝度画像構築部２１、輝度画像構築部２１への出力に同期して出力されたステレオ画像を用いて視差を画素毎に計算して視差画像を構築する視差画像構築部２２、輝度画像と視差画像とを用いてオブジェクトを認識するオブジェクト認識部２３と、前回の画像フレームにおいて認識されたオブジェクトを今回以降の複数枚の画像フレームにより得られた輝度画像を用いて追尾するオブジェクト追尾処理部２４と、追尾されたオブジェクトについて輝度画像と同期する視差画像を用いてオブジェクトの状態変化を計測するオブジェクト状態変化検出部２５を備える。【選択図】図３
2014115978.tif 000002
【特許請求の範囲】
【請求項１】
ステレオカメラにより得られたステレオ画像信号が逐次入力されるステレオ画像入力部と、該ステレオ画像入力部から出力されたステレオ画像の少なくとも一方の画像をフレーム毎に逐次記憶保持して輝度画像フレームを構築する輝度画像構築部と、前記ステレオ画像入力部から前記輝度画像構築部への出力に同期して出力されたステレオ画像を用いて視差を計算して視差画像フレームを構築する視差画像構築部と、少なくとも輝度画像フレームを用いてオブジェクトを認識するオブジェクト認識部と、該オブジェクト認識部により所定時刻の画像フレームにおいて認識されたオブジェクトを前記所定時刻以降の複数枚の画像フレームにより得られた輝度画像フレームを用いて追尾するオブジェクト追尾処理部と、追尾すべきオブジェクトについて前記輝度画像フレームと同期する前記視差画像フレームを用いて該オブジェクトの状態変化を計測するオブジェクト状態変化検出部と、を備えることを特徴とする移動物体認識装置。
【請求項２】
前記オブジェクト認識部は、前記視差画像フレームからオブジェクトの候補領域を認識するオブジェクト候補領域認識部と、前記視差画像フレームと前記輝度画像フレームとを用いて追尾すべきオブジェクトを決定する決定部と、を備えることを特徴とする請求項１に記載の移動物体認識装置。
【請求項３】
前記オブジェクト追尾処理部は、前記オブジェクト認識部によって前回の輝度画像フレームを用いて決定されたオブジェクトについて今回得られた輝度画像フレームを用いて追尾を行うことを特徴とする請求項１に記載の移動物体認識装置。
【請求項４】
前記オブジェクト追尾処理部は、今回得られた輝度画像フレームについて前回の輝度画像フレームを用いて決定されたオブジェクトのサイズを変更しながら探索処理することにより追尾すべきオブジェクトを決定することを特徴とする請求項３に記載の移動物体認識装置。
【請求項５】
前記オブジェクト状態変化検出部は、前記オブジェクトの前後方向の距離の変化速度と、該オブジェクトの横方向移動の変化速度とを演算により求めることを特徴とする請求項１ないし請求項４のいずれか１項に記載の移動物体認識装置。
【請求項６】
ステレオカメラにより得られたステレオ画像信号が逐次入力されるステレオ画像入力ステップと、該ステレオ画像入力ステップにおいて得られたステレオ画像の少なくとも一方の画像をフレーム毎に逐次記憶保持して該輝度画像フレームを構築する輝度画像構築ステップと、前記ステレオ画像入力ステップにおいて前記輝度画像の出力に同期して出力されたステレオ画像を用いて視差を計算して視差画像フレームを構築する視差画像構築ステップと、少なくとも輝度画像フレームを用いてオブジェクトを認識するオブジェクト認識ステップと、該オブジェクト認識ステップにおいて前回の画像フレームにより認識されたオブジェクトを今回以降の複数枚の画像フレームにより得られた輝度画像フレームを用いて追尾するオブジェクト追尾処理ステップと、追尾すべきオブジェクトについて前記輝度画像フレームと同期する視差画像フレームを用いてオブジェクトの状態変化を計測するオブジェクト状態変化検出ステップとを実行することを特徴とするコンピュータで読み取り可能な移動物体認識用プログラム。
【請求項７】
前記オブジェクト認識ステップは、前記視差画像フレームからオブジェクトの候補領域を認識するオブジェクト候補領域認識ステップと、前記視差画像フレームと前記輝度画像フレームとを用いて追尾すべきオブジェクトを決定する決定ステップと、を備えることを特徴とする請求項６に記載の移動物体認識用プログラム。
【請求項８】
前記オブジェクト追尾処理ステップは、前記オブジェクト認識ステップにおいて前回の輝度画像フレームを用いて決定されたオブジェクトについて今回得られた輝度画像フレームを用いて追尾を行うことを特徴とする請求項５に記載の移動物体認識用プログラム。
【請求項９】
前記オブジェクト状態変化検出ステップは、前記オブジェクトの前後方向の速度変化と、該オブジェクトの横方向の速度変化とを演算により求めることを特徴とする請求項６ないし請求項８のいずれか１項に記載の移動物体認識用プログラム。
【請求項１０】
本体に、ステレオカメラにより得られたステレオ画像信号が逐次入力されるステレオ画像入力部と、該ステレオ画像入力部から出力されたステレオ画像の少なくとも一方の画像をフレーム毎に逐次記憶保持して輝度画像フレームを構築する輝度画像構築部と、前記ステレオ画像入力部から前記輝度画像構築部への出力に同期して出力されたステレオ画像を用いて視差を計算して視差画像フレームを構築する視差画像構築部と、前記輝度画像フレームと前記視差画像フレームとを用いてオブジェクトを認識するオブジェクト認識部と、該オブジェクト認識部により前回の画像フレームにおいて認識されたオブジェクトを今回以降の複数枚の画像フレームにより得られた輝度画像フレームを用いて追尾するオブジェクト追尾処理部と、追尾すべきオブジェクトについて前記輝度画像フレームと同期する前記視差画像フレームを用いてオブジェクトの状態変化を計測するオブジェクト状態変化検出部と、該オブジェクト状態変化検出部の検出結果を出力するオブジェクト動き認識結果出力部と、前記検出結果が入力されて前記オブジェクトに対する前記本体の移動制御を行う制御装置とを備えた移動体。
【請求項１１】
ステレオカメラにより得られたステレオ画像信号が逐次入力されるステレオ画像入力部と、該ステレオ画像入力部から出力されたステレオ画像の少なくとも一方の画像をフレーム毎に逐次記憶保持して輝度画像フレームを構築する輝度画像構築部と、前記ステレオ画像入力部から前記輝度画像構築部への出力に同期して出力されたステレオ画像を用いて視差を計算して視差画像フレームを構築する視差画像構築部と、前記輝度画像フレームと前記視差画像フレームとを用いてオブジェクトを認識するオブジェクト認識部と、該オブジェクト認識部により前回の画像フレームにおいて認識されたオブジェクトを今回以降の複数枚の画像フレームにより得られた輝度画像フレームを用いて追尾するオブジェクト追尾処理部と、追尾すべきオブジェクトについて前記輝度画像フレームと同期する前記視差画像フレームを用いてオブジェクトの状態変化を計測するオブジェクト状態変化検出部と、該オブジェクト状態変化検出部の検出結果を出力するオブジェクト動き認識結果出力部と、
前記検出結果が入力されて警告を行う警告装置とを備えた移動体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動物体を認識する移動物体認識装置及びこれを用いた報知装置及びその移動物体認識装置に用いる移動物体認識用プログラム及び移動物体認識装置を備えた移動体に関する。
【背景技術】
【０００２】
近時、自車両の前方の走行車両、歩行者等の移動物体の速度と移動状態の変化とを認識し、前方車両の急ブレーキ、自車両と前方車両との間への別の車両の割り込み、歩行者の飛び出し等の危険な状態を早期発見し、ドライバーに警告、危険を予防する移動物体認識装置が開発されている。
【０００３】
たとえば、前方のオブジェクト（移動物体をいう）を認識するのに、２次元画像の画像フレーム間におけるオブジェクトのサイズの変化とカメラの焦点距離とにより、前方のオブジェクトに対する距離の変化を求める方法がある。しかし、この方法によるオブジェクトの距離の測定精度、例えば、移動物体の移動変化の検出精度は低いという問題がある。
【０００４】
そこで、ステレオカメラにより得られたステレオ画像から視差を計算して視差画像（距離画像ともいう）を得る車間距離計測装置が提案されている（特許文献１参照）。なお、視差画像とは視差値を画素値とした画像をいう。
【０００５】
この特許文献１に開示のものは、その視差画像から前方の車両を検知し、検知した車両のエッジの移動ベクトル求め、この移動ベクトルの大きさと方向とにより、車間距離と距離の変化とを計測している
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、その特許文献１に開示のものは、ステレオカメラにより得られた視差画像のみを用いて、オブジェクトとしての移動物体を認識する方法であり、視差画像をブロック（ウインドウ）単位のマッチングにより計算して得るため、視差画像の空間の分解能も低いという問題があり、例えば、車両の後部が平面でない場合、距離の検知精度が低くなる。
【０００７】
本発明は、上記の事情に鑑みて為されたもので、オブジェクトの認識精度、そのオブジェクトの移動変化の検出精度の向上を図ることができる移動物体認識装置及びこれに用いる報知装置及びその移動物体認識装置に用いる移動物体認識用プログラムを及び移動物体認識装置を備えた移動体提供することにある。
【課題を解決するための手段】
【０００８】
本発明の移動物体認識装置は、ステレオカメラにより得られたステレオ画像信号が逐次入力されるステレオ画像入力部と、このステレオ画像入力部から出力されたステレオ画像の少なくとも一方の画像をフレーム毎に逐次記憶保持して輝度画像フレームを構築する輝度画像構築部と、前記ステレオ画像入力部から前記輝度画像構築部への出力に同期して出力されたステレオ画像を用いて視差を計算して視差画像フレームを構築する視差画像構築部と、少なくとも輝度画像フレームを用いてオブジェクトを認識するオブジェクト認識部と、このオブジェクト認識部により所定時刻の画像フレームにおいて認識されたオブジェクトを所定時刻以降の複数枚の画像フレームにより得られた輝度画像フレームを用いて追尾するオブジェクト追尾処理部と、追尾すべきオブジェクトについて前記輝度画像フレームと同期する前記視差画像フレームを用いて該オブジェクトの状態変化を計測するオブジェクト状態変化検出部と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、ステレオ画像から得られる輝度画像フレームと視差画像フレームとを用いて、追尾すべきオブジェクトを決定すると共に、そのオブジェクトを追尾して視差画像フレームにより追尾すべきオブジェクトの移動変化を検出するので、追尾すべきオブジェクトの認識精度、その追尾すべきオブジェクトの移動変化の検出精度の向上を図ることができる。
【図面の簡単な説明】
【００１０】
【図１】図１は本発明に係る移動物体認識装置が搭載されている車両を示す概略図である。
【図２】図２は図１に示すステレオカメラと移動物体認識装置のハードウエアの構成を示すブロック図である。
【図３】図３は図２に示す移動物体認識装置の機能を説明するためのブロック図である。
【図４】図４はステレオカメラの構造と視差との関係を説明するための模式図である。
【図５】図５はステレオカメラにより取得された左右のステレオ画像と視差画像との説明図であって、（ａ）は左側の撮影レンズ系による画像、（ｂ）は右側の撮影レンズ系による画像の一例を示し、（ｃ）はこのステレオ画像から求められた視差画像の模式図を示している。
【図６】図６は視差画像フレームを用いて作成された視差横ヒストグラムの一例を示す説明図である。
【図７】図7は路面領域とオブジェクトとの関係を模式的に説明するための概略図である。
【図８】図８は輝度画像から切り出される矩形ブロックを模式的に示す図である。
【図９】図９は矩形ブロックの特徴量を求めるために用いる分割パターンとその分割パターンを用いて特徴量を求めるための一例を模式的に示す説明図である。
【図１０】図１０はオブジェクト識別器の階層構造の概念を説明するための図である。
【図１１】図１１は認識したオブジェクト候補領域を説明するための図である。
【図１２】図１２は認識したオブジェクト候補領域と路面領域との関係を説明するための模式図である。
【図１３】図１３は追尾すべきオブジェクトを含む画像を示す説明図である。
【図１４】図１４は次のフレームにおいて追尾すべきオブジェクトを含む画像を示す説明図である。
【図１５】図１５はオブジェクト認識用の輝度画像フレームに対応する視差画像フレームを示す模式図である。
【図１６】図１６はオブジェクト追尾用の輝度画像フレームに対応する視差画像フレームを示す模式図である。
【図１７】図１７は、本発明に係る移動物体認識処理装置の実施例の作用を説明するためのフローチャート図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しつつ本発明に係る移動物体認識処理装置について説明する。
図１は本発明に係る移動物体認識処理装置を搭載した車両の外観を示す概略図である。
【００１２】
その図１において、１は移動体としての自車両、２は移動物体認識装置、３は警告装置、Sは追尾対象としてのオブジェクト（移動物体）である。移動物体認識装置２は、自車両の本体に備えられている。
【００１３】
移動物体認識装置２は、図２に示す車載用のステレオカメラから出力される信号を処理する回路から構成されている。この移動物体認識装置２はステレオカメラに含まれていても良い。図２はそのステレオカメラと移動物体認識装置２のハードウェア構成を示すブロック図である。その図２において、１a、１ｂは左右の撮影レンズ系を示し、２a、２ｂは左右の撮像素子としてのCMOS（Complementary Metal Oxide Semiconductor）を示す。
【００１４】
被写体光は、左右の撮影レンズ系１a、１ｂによりCMOS２a、２ｂにそれぞれ結像される。
CMOS２a、２ｂは、その撮像面に結像された光学像を電気信号に変換して、アナログ画像データとして左右のCDS（Correlated Double Sampling:相関２重サンプリング）回路３a、３ｂに向けて出力する。
【００１５】
そのCDS回路３a、３ｂはCMOS２a、２ｂから出力されたアナログ画像データのノイズ成分を除去して、Ａ／Ｄ変換器４a、４ｂに向けて出力する。A／D変換器４a、４ｂはアナログ画像データをデジタル画像データに変換して画像処理回路５a、５ｂに向けて出力する。
【００１６】
そのCMOS２a、２ｂ、CDS回路３a、３ｂ、A／D変換器４a、４ｂは、タイミング信号を発生するタイミング信号発生器６によりタイミング制御される。そのタイミング信号発生器６はCPU（Central Processing Unit）７によって、コントロールされる。なお、CPU７は画像処理回路５a、５ｂ、後述する画像圧縮伸張回路、メモリカードもコントロールする。
【００１７】
画像処理回路５a、５ｂは、画像データを一時格納するSDRAM（SynchronousDRAM）８を用いて、Y、Cr、Cb変換処理、ホワイトバランス処理、コントラスト補正処理、エッジ強調処理、色変換処理などの各種画像処理を行う。
【００１８】
なお、ホワイトバランス処理は、画像情報の色濃さを調整し、コントラスト補正処理は、画像情報のコントラストを調整する画像処理である。エッジ強調処理は、画像情報のシャープネスを調整し、色変換処理は、画像情報の色合いを調整する画像処理である。
【００１９】
また、信号処理、画像処理が施された画像情報は、圧縮伸張回路９を介して、メモリカード１０に記録される。圧縮伸張回路９は、画像処理回路５a、５ｂから出力されるデジタル画像データを圧縮してメモリカード１０に出力すると共に、メモリカード１０から読み出した画像情報を伸張して画像処理回路５a、５ｂに出力する機能を有する。
【００２０】
CPU７は、コンピュータで読み取り可能な移動物体認識用プログラムに従って各種演算処理を行い、プログラム等が格納された読み出し専用メモリとしてのROM（Read Only Memory）１１、各種の処理過程で利用するワークエリア、各種データ格納エリア等を有する読み出し書き込み自在のメモリとしてのRAM（Random Access Memory）１２を内蔵し、これらがバスラインによって相互接続されている。なお、１３はこの移動物体認識装置２の操作部である。ここでは、この操作部１３の操作により、移動物体認識装置２はその機能を実行する。
【００２１】
この移動物体認識装置２のCPU７による処理機能の概要を図３を参照しつつ説明する。ステレオカメラのCMOS２a、２ｂ、CDS回路３ａ，３ｂ，Ａ/Ｄ変換器４ａ，４ｂ，は、ここでは、ステレオ画像信号を逐次出力するステレオ画像出力部としての機能を有する。
【００２２】
その画像処理回路５a、５ｂは、ステレオ画像出力部から出力されたステレオ画像が入力されてフレーム毎にステレオ画像を逐次記憶保持するステレオ画像入力部２０としての機能と、そのステレオ画像の少なくとも一方に基づいて画像フレーム毎に輝度画像フレームを構築する輝度画像構築部２１としての機能とを有する。
【００２３】
CPU７は、ROM１１に格納されているプログラムがロードされ、ステレオ画像入力部２０からの輝度画像構築部部２１への出力に同期して出力されたステレオ画像を用いて視差を計算し、視差画像フレームを構築する視差画像構築部２２として機能する。
【００２４】
また、CPU7は、輝度画像構築部２１からの輝度画像フレームと視差画像構築部２２からの視差画像フレームとを用いてオブジェクトを認識するオブジェクト認識部２３、オブジェクト認識部２３により認識されたオブジェクトを逐次フレーム毎に追尾するオブジェクト追尾処理部２４、追尾すべきオブジェクトについて視差画像フレームを用いてオブジェクトの移動変化を計測するオブジェクト状態変化検出部２５として機能する。
【００２５】
そのオブジェクト状態変化検出部２５の検出結果は、警告装置３の画面に逐次出力される。警告装置３は、オブジェクトの状態に応じて、ドライバーに警告表示するため、警告装置３のモニター画面に警告の内容（他車両の割り込み、人の飛び出し）を意味するマーク又は文字によるアナウンスを表示する。音声アナウンス等による警告でも良い。
【００２６】
オブジェクト認識部２３は、ここでは、視差画像フレームからオブジェクトの候補領域を認識するオブジェクト候補領域認識部２３aと、視差画像フレームと輝度画像フレームとを用いて追尾すべきオブジェクトを決定するオブジェクト決定部２３ｂとから構成されている。
【００２７】
オブジェクト追尾処理部２４は、オブジェクト認識部２３によって前回の画像フレームの輝度画像フレームと視差画像フレームとを用いて決定されたオブジェクトについて今回得られた輝度画像フレームに含まれているオブジェクトの追尾処理を行う。
なお、ここでは、前回の画像フレームの輝度画像フレームと視差画像フレームとを用いて決定されたオブジェクトについて今回得られた輝度画像フレームに含まれているオブジェクトの追尾処理を行うして説明したが、これに限られるものではなく、オブジェクト認識部２３によって所定時刻の画像フレームの輝度画像フレームと視差画像フレームとを用いて決定されたオブジェクトについて所定時刻以降の輝度画像フレームに含まれているオブジェクトの追尾処理を行う構成としても良い。
【００２８】
オブジェクト状態変化検出部２５は、オブジェクトの前後方向の自車両に対する変化量を演算するオブジェクト距離計算部２５aと、オブジェクトの横方向の自車両に対する変化量を演算するオブジェクト動き計算部２５ｂとから構成されている。
なお、前後方向の自車両に対する変化量には、前後方向の距離の変化、前後方向の速度変化（加速度）が含まれる。また、横方向の自車両に対する変化量には、横方向の距離の変化、横方向の速度変化（加速度）が含まれる。
その前後方向の速度変化は、自車両が定速走行している場合に、例えば、前方車両が急加速を行った場合、急ブレーキをかけた場合に対応する。横方向の速度変化は、例えば、前方車両が車線変更を行なった場合に対応する。
【００２９】
図4はオブジェクトSとステレオカメラによる像との関係を模式的に示す図である。
オブジェクトSの撮像対象点Ｏは、図４に示すように、撮影レンズ系１a、１ｂによりCMOS２a、２ｂの撮像面に結像される。
【００３０】
撮影レンズ系１a、１ｂの焦点距離をｆ、撮影レンズ系１ａ，１ｂの光軸間距離（基線長）をD、ステレオカメラからオブジェクト（移動物体）Sまでの距離をZ、結像中心からのずれ量をそれぞれΔ１、Δ２とすると、視差Δは、Δ＝Δ１＋Δ２である。なお、ずれ量Δ１、Δ２は、CMOS２a、２ｂ上における撮像対象点Oの結像位置によって求まる。また、この実施例では、符号Δは視差値、視差平均値の意味でも使用する。
【００３１】
また、オブジェクト（移動物体）Sまでの距離Zは、Z＝D×（ｆ／Δ）の式から求めることができる。
視差画像構築部２２は、視差Δを用いて画素毎に視差を計算し、オブジェクト距離計算部２５aは、Z＝D×（ｆ／Δ）の演算式を用いて、オブジェクトSの撮像対象点Ｏまでの距離を演算する。
【００３２】
なお、その図４において、符号S’はCMOS２a、２ｂの撮像面に結像されたオブジェクト（移動物体）Sの像を示している。また、ここでは、撮影レンズ系１a、１ｂの光軸は水平方向（横方向又は左右方向）に平行であるとし、水平方向の光軸に対して画素のラインは左右の画像について縦方向にずれていないものとする。なお、撮影レンズ系１a、１ｂの光軸は縦方向に平行でもよい。
【００３３】
図５はそのCMOS２a、２ｂの撮像面に結像されたオブジェクトSのステレオ画像と視差画像とを示し、（ａ）は左側の画像G1、（ｂ）は右側の画像G2を示している。また、図５（ｃ）は、そのステレオ画像から求められた視差画像の模式図を示している。左側の画像G1と右側のG2とは、視差のため、撮像面上での結像位置は異なる。これらの画像G1、G2は、例えば、RAM１２のメモリ領域に一時的に保存される。
【００３４】
その画像G1,G2から輝度画像フレームと視差画像フレームとが生成され、同時刻に撮像された輝度画像と視差画像、すなわち、輝度画像フレームと視差画像フレームとが同期した複数枚の連続した画像フレームが生成される。その輝度画像フレームの画像上の座標と視差画像フレームの画像上の座標とは一対一に対応している。
【００３５】
その視差画像は、例えば、以下に説明する方法により求める。
まず、図５に示す高さｙ１、ｙ２の横ラインがオブジェクトS’（S1’）、路面領域ROを横切る際の視差について説明する。
高さｙ１の横ラインについての画素の視差値を、例えば「…、５、４、…、１２、１２、…、１２、…、４、…、１、１、…」とする。ここで、視差値「１２、１２、…」は、例えば、オブジェクトS’（S１’）を意味し、視差値「１、１、…」は、路面領域R0を意味する。
【００３６】
すなわち、ここでは、高さｙ１における横ラインの画素の視差値「１２」は、例えば、図１に示す自車両１から約１０ｍの位置にあるオブジェクトSとしての前方車両を意味し、視差値「１」はその前方車両よりも遠くの位置にある路面を意味している。
【００３７】
また、高さｙ２の横ラインについての画素の視差値を、例えば、「…、２５、２５、…、２４、…、２４、２５、…、」とする。この高さｙ２における横ラインの画素の視差値は、前方車両よりも自車両１に近い路面領域R0の視差値を意味する。
視差画像を作成するために、図５（a）、図５（ｂ）に示すように、左右の画像G1、G2をブロックIrで分割し、ブロックの差分が一番小さいとき、ブロックIrがマッチングしたとして、視差値を求める。なお、ブロックIrのサイズの最適値は実験により求めて調整した後、設定する。
【００３８】
例えば、１２８０×９６０画素の画像G1、G2について５×５サイズのブロックIrで分割し、このブロックＩｒによる左の画像Ｇ１のブロックＩｒと右の画像Ｇ２のブロックＩｒのブロックマッチングについて説明する。
高さｙ１の横ラインについて、左の画像Ｇ１のブロックＩｒが、座標原点位置（０、０）に対して（ｘ１、ｙ１）の位置にあるとする。この例では、左の画像Ｇ１のブロックＩｒは左側の前方風景とオブジェクトSの像S１’の左側の白い部分との境界部に位置している。この左の画像Ｇ１のブロックＩｒの輝度値の総和を例えばＩr（ｘ１、ｙ１）とする。
これに対して、高さｙ１の横ラインについて、右の画像Ｇ２のブロックＩｒを、例えば、位置（０、ｙ１）から位置（ｘ１＋Δ、ｙ１）まで移動させる。その位置（０、ｙ１）のブロックＩｒの輝度値の総和をＩｒ（０、ｙ１）、その位置（ｘ１＋Δ、ｙ１）のブロックIrの輝度値の総和をＩｒ（ｘ１＋Δ、ｙ１）とする。
左の画像Ｇ１のブロックＩｒは、オブジェクト像S1’の境界部に位置しており、このブロックＩｒによって囲まれる領域の左半分は暗く、右半分は明るい。これに対して、右の画像Ｇ２の位置（０、ｙ１）に存在するブロックＩｒによって囲まれる領域は全体的に暗い。その左の画像Ｇ１のブロックＩｒの輝度値の総和Ｉｒ（ｘ１、ｙ１）と右の画像Ｇ２のブロックＩｒの輝度値の総和Ｉｒ（０、ｙ１）との差が大きいので、ブロックマッチングしたと判定されない。
【００３９】
右の画像Ｇ２のブロックＩｒを、その位置（０、ｙ１）から位置（ｘ１＋Δ、ｙ１）に向かって移動させて、左の画像Ｇ１のブロックＩｒの輝度値の総和Ｉｒ（ｘ１、ｙ１）と右の画像Ｇ２のブロックＩｒの輝度値の総和Ｉｒ（ｘ、ｙ１）との差を順次求める。
すると、右の画像Ｇ２のブロックＩｒが位置（ｘ１＋Δ、ｙ１）に位置した時点で、左の画像Ｇ1のブロックIｒの輝度値の総和Ｉr（ｘ１、ｙ１）と、右の画像Ｇ2のブロックＩｒの輝度値の総和Ｉｒ（ｘ１＋Δ、ｙ１）との差が最小となる。この差が最小のときブロックマッチングしたと判定して、視差Δを求める。この視差Δは、ブロックＩｒがオブジェクトSの像S１’の境界部に存在するので、例えば、「１２」である。
ブロックＩｒを高さｙ１の横ラインから高さｙ２の横ラインの方向に向かって順次移動させる。ついで、各高さｙの横ラインにおいて、ブロックIｒをｘ方向に移動させて、ブロックマッチング処理を行う。すると、オブジェクトSの像S1’の境界部において、視差Δが逐次求められる。
また、例えば、左の画像Ｇ１のブロックＩｒが高さｙ２の横ラインの位置（ｘ１、ｙ２）に位置していたとする。すなわち、左の画像Ｇ１のブロックＩｒが白線の境界部に位置していたとする。
これに対して、高さｙ２の横ラインにおいて、右の画像Ｇ２のブロックＩｒを、例えば、位置（０、ｙ２）から位置（ｘ１＋Δ、ｙ２）まで移動させる。その位置（０、ｙ２）のブロックＩｒの輝度値の総和をＩｒ（０、ｙ２）、その位置（ｘ１＋Δ、ｙ２）の輝度値の総和をＩｒ（ｘ１＋Δ、ｙ２）とする。
左の画像Ｇ１のブロックＩｒは、白線の境界部に位置しており、このブロックＩｒによって囲まれる領域の左半分は暗く、右半分は明るい。これに対して、右の画像Ｇ２の位置（０、ｙ２）に存在するブロックＩｒによって囲まれる領域は全体的に暗い。このため、その左の画像Ｇ１のブロックＩｒの輝度値の総和Ｉｒ（ｘ１、ｙ１）と右の画像G2のブロックＩｒの輝度値の総和Ｉｒ（０、ｙ２）との差が大きく、ブロックマッチングしたと判定されない。
【００４０】
右の画像Ｇ２のブロックＩｒを、位置（０、ｙ２）から位置（ｘ１＋Δ、ｙ２）に向かって移動させて、右の画像Ｇ２のブロックＩｒの各位置（ｘ、ｙ２）において、左の画像Ｇ１のブロックＩｒの輝度値の総和Ｉｒ（ｘ１、ｙ２）と右の画像Ｇ２のブロックＩｒの輝度値の総和Ｉｒ（ｘ、ｙ２）との差を順次求める。
すると、右の画像Ｇ２のブロックＩｒが位置（ｘ１＋Δ、ｙ２）に位置した時点で、左の画像Ｇ１のブロックIｒの輝度値の総和Ｉr（ｘ１、ｙ２）と、右の画像G2のブロックＩｒの輝度値の総和Ｉｒ（ｘ１＋Δ、ｙ２）との差が最小となる。この差が最小のときブロックマッチングしたと判定して、視差Δを求める。この視差Δは、ブロックＩｒが白線の境界部に存在するので、例えば、「２４」又は「２５」である。高さｙ２の横ラインの白線以外の部分についてもときどきマッチングする点が得られる。
このようにして得られた画像が視差画像であり、その視差画像を図５（ｃ）に模式的に示す。この視差画像では、視差値の大きい方を高い輝度値で表現し、視差が小さい方を低い輝度値で表現している。画像のコントラストが大きい部分では、ブロックＩｒがマッチングする個数が多いので、明るい点の個数が境界部では多い。
【００４１】
オブジェクト候補領域認識部２３ａはその視差画像フレームからオブジェクト（移動物体）S’が存在するオブジェクト候補領域を認識する。例えば、移動物体としての車両や人は路面上に存在しているので、画像上で路面領域R0を認識すれば、車両や人のオブジェクト候補領域を認識することができる。
【００４２】
そこで、オブジェクト候補領域認識部２３ａは視差画像構築部２２で計算した視差画像を用いて、図６に示す視差横ヒストグラム図を作成する。
図６は視差値Δを有する画素の個数の頻度値分布を示している。その図６において、横軸は視差Δの大きさで、縦軸は視差画像の高さｙである。この視差横ヒストグラム図の各画素の個数は、視差画像の高さｙの１ライン（ここでは、例えば、高さｙ２の横ライン）の視差値のヒストグラム値Ｈ（Δ、ｙ）である。そのヒストグラム値Ｈ（Δ、ｙ）は、その図６においては、紙面に垂直な方向にプロットされる。なお、ここでは、ヒストグラム値Ｈ（Δ、ｙ）は画素の個数を示す。
【００４３】
路面領域R0が存在する場合、路面の横１ライン（高さｙの横ライン）の視差ヒストグラムは、各画素が同じ視差値Δｙを有するので、この視差値Δｙに画素の個数が集中してピークになる。つまり、路面領域R0においては、高さｙの横ラインの視差値Δｙは一定であるので、高さｙの横ラインの画素の個数が最も多いと考えられる。
【００４４】
その路面領域R0の視差値Δｙは、自車両１からの距離が近い場合には大きく、自車両１からの距離が遠い場合には小さい。ここで、路面領域R0の視差値Δｙについて、高さｙ２の横ラインから高さｙ１の横ラインに向かう方向の視差値に着目すると、視差値は少しずつ小さくなる方向に変化する。従って、図６に示す視差横ヒストグラム図上で、視差値を変化させて画素の個数のピークを結んだ線は、路面領域R0に相当する個所においては、一般的に直線Stとなる。この直線Stを検知することにより路面領域R0を特定できる。
なお、視差値Δｙが小さくなるに伴って、路面領域R0ではない領域の画素の個数が多くなる。このため、路面領域R0ではない領域のヒストグラム値Ｈ（Δ、ｙ）も図６にプロットされる。例えば、図５（ａ）、図５（ｂ）においては、高さｙ１ラインの路面領域R0の視差値Δｙ１は「１」であり、その画素の個数は、その路面領域以外の背景の画素の個数よりも少ないと考えられる。このため、路面領域R0ではないヒストグラム値Ｈ（Δ、ｙ）がプロットされている。
【００４５】
直線Stは周知技術としてのＨｏｕｇｈ変換（ハフ変換）を用いて求めることができる。視差横ヒストグラム図上で直線St上に存在する画素を検知した後、図６に示す直線St上の画素を視差画像フレームにマッピングする。つまり、図６に示す視差横ヒストグラム図の直線Sｔ上の画素を視差画像フレーム上の路面上の画素に対応づけて特定する。
【００４６】
路面領域R0に対応する画素の点が求められると、その点とその点との間を補間処理することにより、路面領域R0を作成できる。図７は画像上における路面領域ROを示している。路面領域ROは視差画像フレームのみからだけではなく、輝度画像フレームを用いて路肩、白線等を認識することによっても認識できる。
【００４７】
この路面領域ROはオブジェクト候補領域を求める際に用いられる。車両や人等の追尾すべきオブジェクトSは路面領域ROと重なる。図７に模式的に示すように、オブジェクトS（S1’、S2’、S3’）としての車両の画像は路面領域ROと重っている。オブジェクトS（SS、SS’、SS”）は路面領域ROと重っていないため、追尾すべきオブジェクトSではないと判断できる。
【００４８】
オブジェクト決定部２３ｂは輝度画像構築部２１により得られた輝度画像フレームを用いて、車両、歩行者等の追尾すべきオブジェクトSを決定する。
機械学習方法により、事前に追尾すべきオブジェクトSの学習データを用いて、オブジェクト認識用辞書を作成する。追尾すべきオブジェクトSの種類によって、別々にオブジェクト認識用辞書を作成する必要がある。
【００４９】
例えば、車両を認識するためには、車両を追尾すべきオブジェクトとして認識する辞書を作成する必要がある。歩行者を追尾すべきオブジェクトSとして認識するためには、歩行者を認識する辞書を作成する必要がある。従って、追尾すべきオブジェクトSごとにオブジェクト認識用辞書を作成する。
【００５０】
この追尾すべきオブジェクトSを認識するため、まず、輝度画像G（G1又はG2）から図８に示すように、輝度画像Gの範囲内で、矩形ブロックBR１を設定する。矩形ブロックBR1の左上隅点の座標（Xs,Ys）と右下隅点の座標（Xe,Ye）は、輝度画像G内での矩形ブロックBR1の位置と矩形ブロックの大きさとによって決まる。矩形ブロックBR1は大きいサイズから小さいサイズまで順に選択する。
【００５１】
この実施例では、矩形ブロックBR1の正規化を行うので、大きいサイズの矩形ブロックBR1から小さいサイズの矩形ブロックBR２までを生成するための処理時間は同じである。輝度画像Gには大きいサイズの矩形ブロックBR1となる候補の数が少なく、小さいサイズの矩形ブロックBR２の数は多いと考えられる。というのは、自車両の直前方に存在する移動物体は少ないと考えられるからである。なお、矩形ブロックBR2は、図５（a）、図５（ｂ）に示すオブジェクトＳ１’に対応しているものとして説明する。
【００５２】
大きいサイズの矩形ブロックBR1は、輝度画像上では、その個数が少ない。なので、大きいサイズの矩形ブロックBR1から順に小さいサイズの矩形ブロックBR2を用いて探索することにすれば、より早く追尾すべき移動物体を検知できる。また、大きいオブジェクトSの画像が検知されると、出力するとき体感速度は速くなる。
例えば、図８に示すように、大きいサイズの矩形ブロックBR1’を、輝度画像Ｇ（G1、G2）内で矢印Ａｒｘ、Ａｒｙ方向に走査して、認識対象の物体があるかを探索する。
ついで、若干小さいサイズの矩形ブロックBR1を用いて走査を行い、認識対象の物体があるか探索する。
【００５３】
オブジェクト候補領域認識部２３ａは認識の特徴量を計算する。例えば、オブジェクト候補領域としての矩形ブロックBR2内に存在する白黒の矩形領域の特徴量を計算する。図９（ａ）ないし（ｄ）は、オブジェクトＳ１’に対応する矩形ブロックBR2について、特徴量を求めるための４つの特徴的な分割パターンの例が模式的に示されている。この分割パターンは、車両に対する特徴量を求めるためのものである。
図９（ａ）は矩形ブロックBR2を横方向に白矩形領域BR3と黒矩形領域BR４に分割した場合を示している。図９（ｂ）は矩形ブロックBR2を上下方向に白矩形領域BR3と黒矩形領域BR４とに分割した場合を示している。図９（ｃ）は横方向に間隔を開けて位置する白矩形領域BR3と白矩形領域BR3との間に黒矩形領域BR4が存在するように矩形ブロックBR2を横方向に分割した場合を示している。図９（ｄ）は対角状に交差して白矩形領域BR３と黒矩形領域BR4とが存在するように矩形ブロックBR2を分割した場合を示している。
その図９（ａ）ないし図９（ｄ）に示す白矩形領域BR3と黒矩形領域BR4とをそれぞれ矩形ブロックBR2に重ねて、その重なっている矩形領域内に存在する各画素の輝度値の合計値を求める。
そして、白矩形領域BR3に重なっている矩形ブロックBR2の画素の輝度値の総和と黒矩形領域BR4に重なっている矩形ブロックBR２の画素の輝度値の総和との差を求め、これを矩形ブロックBR2の特徴量ｈｔ（ｘ）とする。
以下に、矩形ブロックBR2についての特徴量の演算の一例について説明する。
例えば、矩形ブロックBR２が図５（ａ）に示すオブジェクトS1’に対応するものとする。このオブジェクトS1’は、略矩形状で、下部の車体部分が白く上部に窓があって黒く映っている。このブロックBR２に、例えば、図９（ｂ）に示す分割パターンを用いて特徴量の演算を行うと、以下のようになる。
例えば、図９（ｅ）に模式的に示すように、矩形ブロックBR２の上方部分の画素の輝度値がＢｒ＝０（黒）であるとする。また、矩形ブロックBR２の下半分の画素の輝度値がＷａ＝２５５（白）であるとする。この場合、黒矩形領域BR4に重なっている矩形ブロックBR2の輝度値の総和は、ΣＢｒである。これに対して、白矩形領域BR3に重なっている矩形ブロックBR2の輝度値の総和は、ΣＷａである。ΣＢｒは輝度値Ｂｒを有する画素の個数と輝度値Ｂｒの積であり、ここでは、ΣＢｒ＝０である。同様に、ΣＷａは輝度値Ｗａを有する画素の個数と輝度値Ｗａ＝２５５との積である。従って、特徴量ｈｔ（ｘ）＝ΣＷａ―ΣＢｒは０よりもはるかに大きい。
また、図５（ａ）に示すオブジェクトS1’に対して、図９（ａ）に示す分割パターンを用いて特徴量の演算を行うと、以下のようになる。図９（ｆ）に示すように、左半分の白矩形領域BR3に重なっている矩形ブロックBR2の輝度値の総和は、例えばΣ（Ｗａ＋Ｂｒ）となる。同様に、右半分の黒矩形領域BR4に重なっている矩形ブロックBR2の輝度値の総和はΣ（Ｂｒ＋Ｗａ）となる。この図９（ｆ）では、矩形ブロックBR2が左右対称的な輝度値を有するので、特徴量ｈｔ（ｘ）は、ｈｔ（ｘ）＝０となる。
このように、図９（ａ）ないし図９（ｄ）に示すように特徴量ｈｔ（ｘ）を求めるための白矩形領域BR３、黒矩形領域BR4の大きさと位置とパターンを用いて特徴量ｈｔ（ｘ）を求める。そして、この特徴量ｈｔ（ｘ）からオブジェクトを認識するための評価値ｆｔ（ｘ）を求める。
【００５４】
ここで、計算した特徴量ｈｔ（ｘ）を用いて式（１）に示すような特徴量重み付けの評価値fｔ(x)を計算する。式（１）に示すようにブロック内の特徴量ｈｔ（ｘ）を計算して、重み係数αｔを考慮して、評価値f(x)を計算する。
【数１】
2014115978.tif 000003
【００５５】
評価関数は特徴量ｈｔ（ｘ）と重み係数αｔを持っている。特徴量ｈｔ（ｘ）と重み係数αｔは学習により予め計算して求める。すなわち、オブジェクト認識対象に対して、学習データを集め、学習させ、特徴量と重み係数を求める。ここで、符号ｔは特徴量の番号、Ｔは特徴量の総数を意味する。
【００５６】
オブジェクト認識は図１０に示す階層を持つオブジェクト識別器を用いて行う。各階層において式（１）に示す評価関数を持つ。その評価関数の値が予め設定した閾値より小さい場合、オブジェクトでないと判断され、その矩形ブロックBR1の評価を中止する。
各階層（ｎ１からｎ１；ｎは正の整数）で評価値を計算する。最後の階層ｎ１でオブジェクトでないと判断されない矩形ブロックBR1はオブジェクト候補領域と判断する。
【００５７】
オブジェクト候補領域認識部２３ａの各階層（ｎ＝１からｎ）において評価値を計算するための特徴量ｈｔ（ｘ）と重み係数αｔ、及び、各階層（１１からｎ１）における評価値ｆｔ（ｘ）の閾値は予めオブジェクトとオブジェクトでない学習画像を用いて学習させることにより得られる。
なお、特徴量ｈｔ（ｘ）そのもの、特徴量の重み係数αｔ、図９（ａ）ないし図９（ｄ）に示す矩形ブロックの二辺が交差する四隅の交点のうちの左上隅の交点の座標値、その矩形ブロックの横幅と縦幅（矩形のサイズ）、白領域（又は黒領域）の二辺が交差する四隅の交点のうちの左上隅の交点の座標値、その白領域と黒領域のサイズ、評価値の閾値等は、図示を略す認識辞書に記憶されている。
例えば、階層１１では大まかに車らしい特徴があるか否かを判断するために、図９（ａ）ないし図９（ｄ）に示すパターンを用いて、評価値ｆｔ（ｘ）を計算し、この評価値ｆｔ（ｘ）とその閾値とを比較する。なお、重み係数αｔは階層が深くなるに伴って小さくする。
図９（ａ）に示す分割パターンを用いた場合、図５（ａ）に示すオブジェクトS1’に対する評価値ｆｔ（ｘ）はｆｔ（ｘ）＝０となる。従って、階層１１においては、図９（ａ）に示す分割パターンを用いた場合、オブジェクトS1’は非オブジェクトブロックと判断されて、その処理が中止される。
ついで、図９（ｂ）に示す分割パターンを用いた処理に移行する。この場合、図５（ａ）に示すオブジェクトS1’に対する評価値ｆｔ（ｘ）は閾値よりも大きな値となり、階層２１に移行する。
階層２１では、更に細かな分割パターンが準備されている。その個数は、階層１１で準備されている分割パターンの個数よりも多い。これらの分割パターンを用いて、図５（ａ）に示すオブジェクトS1’に対する評価値ｆｔ（ｘ）を評価する。この評価値ｆｔ（ｘ）が閾値を超えた場合、オブジェクト候補領域であるとして次の階層３１に移行する。このような処理を繰り返し、オブジェクト候補領域を抽出する。最後の階層ｎ１でオブジェクトでないと判断されない矩形ブロックBR2はオブジェクト候補領域と判断する。
このようにして求めたオブジェクト候補領域には、路面領域R0と重ならないオブジェクト候補領域も存在する。
【００５８】
そこで、求めたオブジェクト候補領域においては、路面領域ROの認識重みを「１」に設定し、その他の領域を「０」に設定する。オブジェクト認識候補領域内の認識重みがすべて「０」の場合、本実施例では認識処理を行わない。オブジェクトSが路面領域ROと重なっていないと考えられるからである。オブジェクト認識候補領域内に認識重み「１」がある場合、認識処理を行う。
ここでは、先にオブジェクト候補領域を求め、その後に路面領域R0に重なっているか否かを判断することにしたが、この順番は逆でも良い。
【００５９】
図１１、図１２は認識したオブジェクト候補領域の一例を示している。その図１１において、FR１、…、FR6で示す矩形枠は認識したオブジェクト候補領域を示している。図１２に示すように、矩形枠FR1、FR3、FR6は路面領域ROと一部重なっているので認識処理を行う。矩形枠FR2、FR4、FR5は路面領域ROと重なっていないので、認識重みは「０」である。
従って、認識処理は行わない。重なっていないブロックは認識処理しないため、誤認識を低減できる。また、認識処理を実行しないので、認識処理時間も短縮できる。
【００６０】
認識処理の精度が高い場合、オブジェクト認識候補領域を求めなくても良い。直接全画面に対して、認識処理を行う。
これにより、図１３に示すように、追尾すべきオブジェクトが決定される。ここでは、決定されたオブジェクトが矩形枠と同一の符号FR1、FR3、FR6を用いて示されている。
【００６１】
オブジェクト追尾処理部２４はオブジェクト認識部２３で認識したオブジェクトFR1、FR3、FR6を追尾処理する。次のフレームにおいて追尾すべきオブジェクトSの領域FR1’、FR3’FR6’（図１４参照）を求める。
【００６２】
例えば、オブジェクトFR1、FR3、FR6を初期の追尾対象領域をテンプレートとして、次の輝度画像Gの画像フレームにおいて最も類似度の高い領域FR１’、FR３’、FR6’を抽出して追尾する。
【００６３】
すなわち、追尾対象の候補となる領域FR１’、FR3’、FR6’を、輝度画像Gについて左上の隅の画素から画素ごとに走査しながら、オブジェクトFR1、FR3、FR6と最も類似度の高い領域FR１’、FR３’、FR6’を探索する。
【００６４】
画像フレーム間において領域のサイズには変倍が存在するので、領域FR１’、FR３’、FR6’を変倍係数Mによってサイズ変更しながら、探索処理する。すなわち、追尾すべきオブジェクトは、画像上では、自車両１に近づいたり遠ざかったり回転したりしてそのサイズが時間の経過とともに変化するからである。
【００６５】
オブジェクトFR1、FR3、FR6と領域FR1’、FR3’、FR6’の類似度を計算する際には、画像の特徴量を利用する。ここで、オブジェクトFR1、FR3、FR6と領域FR１’、FR３’、FR６’の輝度ヒストグラムを用いる。
【００６６】
例えば、q=[q1, q2, …, qn]をオブジェクトFR1の領域の輝度ヒストグラムとする。q1, q2, …, qnを輝度レベル「１」から輝度レベル「ｎ」までの画素数とする。
また、領域R1’の輝度ヒストグラムをp=[ p1, p2, …, pn]とする。輝度ヒストグラムを求めるとき、その領域R1’の全画素で正規化を行い、面積変化により受ける影響を最小にする。ｐ1,ｐ2, …,ｐnも輝度レベル「１」から輝度レベル「ｎ」までの画素数とする。
【００６７】
例えば、オブジェクトFR1の領域と領域FR１’の類似度Simは式（２）を用いて計算する。
【数２】
2014115978.tif 000004
類似度Simは最も大きいときの追尾領域、すなわち、図１４に示すFR1’FR3’、FR6’が追尾結果の領域となる。
【００６８】
オブジェクト距離計算部２５ａはオブジェクト追尾処理部２４で追尾した結果を用いて各画像フレームにおけるオブジェクトの距離情報と位置情報とを求める。輝度画像フレームにより追尾した位置を用いて、視差画像フレームにおけるオブジェクトの平均距離を求める。
【００６９】
図１５、図１６はオブジェクト認識用の輝度画像フレームとオブジェクト追尾用の輝度画像フレームとにそれぞれ対応する視差画像フレームを示している。その視差画像フレーム上におけるオブジェクトの位置を枠FRA1、FRA3、FRA6、FRA1’、FRA3’、FRA6’で示す。
枠FRA1、FRA3、FRA6は視差画像フレーム上で追尾すべきオブジェクトを模式的に示している。枠FRA1’、FRA3’、FRA6’は追尾した次の輝度画像フレームでの追尾結果を模式的に示している。
【００７０】
輝度画像フレームから認識した枠（オブジェクト候補領域）FRA1、FRA3、FRA6のそれぞれの視差平均値を計算する。視差平均値Δを用いて追尾すべきオブジェクトからステレオカメラまでの距離を計算する。図４から明らかなように、視差とオブジェクトからステレオカメラまでの関係は、式（３）により表わされる。
Δ：ｆ＝D:Z      （３）
【００７１】
ここで、Δはオブジェクト領域の視差平均値である。この視差平均値は、オブジェクト領域内に存在する視差値の総和をその視差値の総和を求めるために用いた視差値の個数により除算することにより求められる。
Ｚはオブジェクト候補領域に対応するオブジェクトSからステレオカメラまでの距離である。従って、距離Zは、下記式（４）により求められる。
Z＝D×f／Δ      （４）
同様にして、追尾した枠（結果領域）FRA1’、FRA3’、FRA6’についてもステレオカメラから結果領域までの距離が求められる。
【００７２】
つまり、追尾前後の画像フレームのオブジェクトの距離ZA、ZC、ZEとZA’、ZC’、ZE’が求められる。
オブジェクト動き計算処理部２５ｂはオブジェクトの距離変化と横方向の変化とを求める。
オブジェクト距離計算部２５ａは追尾したオブジェクトに対する距離ZA、ZC、ZEとZA’ZC’、ZE’のそれぞれについて、その距離の差ΔZA、ΔZC、ΔZEを求める。
ΔZA  ＝  ZA’  −  ZA
ΔZC  ＝  ZC’  −  ZC
ΔZE  ＝  ZE’  −  ZE
【００７３】
図４から明らかなように、画像上の画素の横座標値と実空間での横座標値を、式（４）を用いて表すことができる。
X:Z＝X:ｆ        （４）
ここで、Xは実空間での横座標値、ｘは画像上での横座標値である。Zはオブジェクトまでの距離である。式（４）から式（５）が得られる。
X＝ｘ×Z／ｆ      （５）
【００７４】
式（５）を用いて、追尾前後のオブジェクト（移動物体）の中心の横位置XA、XC、XE、XA’、XC’、XE’を求める。追尾前後フレームでの車両の横位置が変わる場合、車の横移動があると思われる。
【００７５】
追尾前後オブジェクトの物体中心移動量ΔXA、ΔXC、ΔXEを以下のように求める。
ΔXA  ＝  XA’  −  XA
ΔXC  ＝  XC’  −  XC
ΔXE  ＝  XE’  −  XE
【００７６】
画像フレーム間の追尾すべきオブジェクト（移動物体）の距離変化とオブジェクト（移動物体）横位置変化により、追尾すべきオブジェクト（移動物体）の状態変化を求める。
ΔZA、ΔZC、ΔZEの距離変化の値は正の値の場合、前方車両は加速したか、又は、自車両１が減速したことを意味する。「０」の場合、距離の変化はない。負の場合、前方車両はブレーキをかけた状態になる。
【００７７】
画像フレーム間の距離変化を用いて、オブジェクト（対象物体）の自車両１に対する速度Vの加速度VZA、VZC、VZEを以下のように求める。ここで、符号ΔZA、ΔZC、ΔZEは、追尾すべきオブジェクトS1’、S2’、S3’の追尾前後の距離の差を意味する。
VZA  ＝  ΔZA／Δｔ
VZC  ＝  ΔZC／Δｔ
VZE  ＝  ΔZE／Δｔ
【００７８】
各値が大きい場合、車両が急ブレーキか急加速したと思われる。
追尾すべきオブジェクト（移動物体）S1’、S2’、S３’のフレーム間の横位置の加速度VXA、VXC、VXEを以下のように求める。ここで、符号ΔXA、ΔXC、ΔXEは、追尾すべきオブジェクトS1’、S2’、S3’の追尾前後の横方向の原点からの差を意味する。
VXA  ＝  ΔXA／Δｔ
VXC  ＝  ΔXC／Δｔ
VXE  ＝  ΔXE／Δｔ
【００７９】
それぞれの速度が大きい場合、前方車両、歩行者の動きの変化が急激であると思われる。例えば、車の車線変更、割り込み、人の飛び出しがあったと考えられる。このような場合、ドライバーに注意、警告する必要がある。
そこで、オブジェクト動き認識結果出力部２６は、計算したオブジェクトの距離変化、速度変化の結果を警告装置３に向けて出力する。
【００８０】
次に、この移動物体認識装置２の作用の概略を図１７に示すフローチャートを参照しつつ説明する。
まず、CPU７は、ステレオカメラにより得られたステレオ画像信号が逐次入力されるステレオ画像入力ステップを実行する（S.1）。
【００８１】
ついで、CPU7は、ステレオ画像入力ステップにおいて得られたステレオ画像の少なくとも一方の画像を輝度画像としてフレーム毎に逐次記憶保持して輝度画像フレームを構築する輝度画像構築ステップを実行する（S.2）。
【００８２】
ついで、CPU7は、ステレオ画像入力ステップにおいて輝度画像フレームの出力に同期して出力されたステレオ画像を用いて視差を計算して視差画像フレームを構築する視差画像構築ステップ（S.３）を実行する。
【００８３】
次に、CPU７は、輝度画像構築ステップ（S.２）により得られた輝度画像フレームと視差画像構築ステップ（S.3）により得られた視差画像フレームとを用いてオブジェクトを認識するオブジェクト認識ステップを実行する（S.4）。このオブジェクト認識ステップは、視差画像フレームからオブジェクトの候補領域を認識するオブジェクト候補領域認識
ステップ（S.41）と追尾すべきオブジェクトを決定する決定ステップ（S.42）とからなる。
【００８４】
CPU7は、その後、オブジェクト認識ステップにおいて前回の画像フレームにより認識されたオブジェクトを今回以降の複数枚の画像フレームにより得られた輝度画像フレームを用いて追尾するオブジェクト追尾処理ステップを実行する（S.5）。
【００８５】
ついで、CPU7は、追尾されたオブジェクトについて輝度画像フレームと同期する視差画像フレームを用いてオブジェクトの状態変化を計測するオブジェクト状態変化検出ステップを実行する（S.6）。
【００８６】
このオブジェクト状態変化検出ステップは、追尾すべきオブジェクトの距離を計算するオブジェクト距離計算ステップ（S.61）と、オブジェクトの前後方向の距離の変化速度と、このオブジェクトの横方向移動の変化速度とを演算により求めるオブジェクト動き計算ステップ（S.62）とからなる。
【００８７】
そのオブジェクト状態変化検出ステップにより検出されたオブジェクトの動き結果はオブジェクト動き認識結果出力部２６から警告装置３に出力される（S.7、S.8）。
これらの処理を行うため、CPU7のうちこれらの処理を行う回路はモジュール化されて構成されている。
【００８８】
この実施例では、視差画像フレームと輝度画像フレームとを使うため、より良い精度で車両等の追尾すべきオブジェクトを認識できる。その追尾すべきオブジェクトまでの自車両からの距離、その距離の変化、追尾すべきオブジェクトの状態変化の計測もより高精度のものが得られる。
【００８９】
この実施例を要約すると、追尾すべきオブジェクト（移動物体）の認識を行うとき、まず輝度画像Gから移動物体を認識する。次に認識した車、人等の移動物体を次回以降に得られた輝度画像Gを用いて追尾する。その追尾には複数枚の輝度画像フレームを用いる。
【００９０】
追尾したオブジェクトの結果を輝度画像フレームと同期する視差画像フレームを用いて、追尾した結果領域の視差平均値Δを計算する。つまり、輝度画像フレームと同期したタイミングの視差画像フレームを使用する。計算により得られた結果領域内の視差平均値Δから、車、人等の移動物体の距離を計算する。
【００９１】
各画像フレームにおいて追尾すべきオブジェクトまでの距離が求められるので、画像フレーム間のオブジェクトの距離変化量が求められる。画像フレーム間のオブジェクトの距離変化と画像フレーム間の時間間隔とを用いて、物体距離変化速度を求められる。つまり、オブジェクト（移動物体）の状態変化を認識できる。
【００９２】
また、追尾の結果により、車、人等の移動物体の輝度画像における横方向の移動量も求められる。ステレオカメラの結像関係から実空間における移動量も計算できる。
以上、この実施例では、車等の移動物体が路面上に存在するため、追尾すべきオブジェクトＳを路面領域に存在するオブジェクトＳに限定して認識を行うことにして、オブジェクトＳの認識精度の向上を図ることにしたが、オブジェクトＳの認識は少なくとも輝度画像フレームを用いて行えば足りる。
また、以上説明したこれらの実施例では、車両に移動物体認識装置を移動体としての車両に搭載する構成としたが、本発明はこれに限るものではなく、例えば、船舶、航空機、ロボット等の移動体にも搭載可能である。
更に、実施例では、移動物体認識装置を車両の警告装置に用いることについて説明したが、この移動物体認識装置は、オブジェクトに対して自車両のブレーキ制御、自動操舵等の移動制御を行う車両制御装置に適用できる。
【符号の説明】
【００９３】
２０…ステレオ画像入力部
２１…輝度画像構築部
２２…視差画像構築部
２３…オブジェクト認識部
２４…オブジェクト追尾処理部
２５…オブジェクト状態変化検出部
【先行技術文献】
【特許文献】
【００９４】
【特許文献１】特開２０００−２６６５３９号公報
【図１】
2014115978.tif 000005
【図２】
2014115978.tif 000006
【図３】
2014115978.tif 000007
【図４】
2014115978.tif 000008
【図５】
2014115978.tif 000009
【図６】
2014115978.tif 000010
【図７】
2014115978.tif 000011
【図８】
2014115978.tif 000012
【図９】
2014115978.tif 000013
【図１０】
2014115978.tif 000014
【図１１】
2014115978.tif 000015
【図１２】
2014115978.tif 000016
【図１３】
2014115978.tif 000017
【図１４】
2014115978.tif 000018
【図１５】
2014115978.tif 000019
【図１６】
2014115978.tif 000020
【図１７】
2014115978.tif 000021