(57)【要約】【課題】撮像した映像が、自車両の前後を走行する他車両の映像であるか否かを正確に認識する車両認識装置を提供する。【解決手段】走行する自車両の前方又は後方を撮像する撮像装置６と、撮像装置６により撮像された映像の濃度差に応じて現れる複数のエッジから、自車両の前方又は後方を走行する他車両の映像に特徴的な一又は二以上の車両エッジ対を抽出する特徴抽出手段２と、特徴抽出手段により抽出された車両エッジ対を基準とする領域を認識対象領域として設定する認識対象領域設定手段３と、認識対象領域設定手段により設定された認識対象領域の映像の経時的変化に基づいて撮像手段により撮像された映像が前記他車両の映像であるか否かを認識する画像認識手段４とを備えた。【選択図】　図１
2004038624.tif 000002
【特許請求の範囲】
【請求項１】
走行する自車両の前方又は後方を撮像し、
前記撮像された映像の濃度差に応じて現れる複数のエッジから、所定値以上の長さを有するエッジを抽出し、
この抽出されたエッジを基準とする二次元領域を設定し、
前記二次元領域に含まれる映像の経時的な相関関係の変化に基づいて、前記撮像された映像から他の車両を認識する車両認識方法。
【請求項２】
走行する自車両の前方又は後方を撮像する撮像手段と、
前記撮像手段により撮像された映像の濃度差に応じて現れる複数のエッジから、前記自車両の前方又は後方を走行する他車両の映像に特徴的な一又は二以上の車両エッジ対を抽出する特徴抽出手段と、
前記特徴抽出手段により抽出された車両エッジ対を基準とする二次元領域の映像を、認識対象映像として設定する認識対象映像設定手段と、
前記認識対象映像設定手段により設定された認識対象映像の経時的変化から、前記他車両を認識する画像認識手段とを備えた車両認識装置。
【請求項３】
前記特徴抽出手段は、所定値以上の長さのエッジを車両エッジ対として抽出する請求項２記載の車両認識装置。
【請求項４】
前記特徴抽出手段は、所定の方向に延びるエッジを車両エッジ対として抽出する請求項２又は３記載の車両認識装置。
【請求項５】
前記特徴抽出手段は、所定値以上の濃度を有するエッジを車両エッジ対として抽出する請求項２〜４の何れかに記載の車両認識装置。
【請求項６】
前記特徴抽出手段は、特徴が共通するエッジペアを車両エッジ対として抽出する請求項２〜５の何れかに記載の車両認識装置。
【請求項７】
前記特徴抽出手段は、略同じ長さのエッジペアを車両エッジ対として抽出する請求項６に記載の車両認識装置。
【請求項８】
前記特徴抽出手段は、経時的な移動方向及び移動速度が略等しいエッジペアを車両エッジ対として抽出する請求項６に記載の車両認識装置。
【請求項９】
前記特徴抽出手段は、互いの間隔が所定値以上のエッジペアを車両エッジ対として抽出する請求項６に記載の車両認識装置。
【請求項１０】
前記画像認識手段は、所定のタイミングにおいて撮像された前記二次元領域の映像であるテンプレートデータと、前記所定のタイミング後の一又は二以上の他のタイミングにおいて撮像された前記認識対象映像の映像データとを比較して類似性を導き、当該導かれた類似性の経時的変化に基づいて、前記認識対象映像から前記他車両を認識する請求項２〜９の何れかに記載の車両認識装置。
【請求項１１】
前記画像認識手段は、前記テンプレートデータと前記認識対象映像の映像データとの画素単位の類似性を示す相関値を算出する相関値算出部と、
前記相関値算出部により算出された相関値が所定値よりも高い場合には、前記認識対象映像が前記他車両の映像であると認識する画像識別部とを備えた請求項１０記載の車両認識装置。
【請求項１２】
前記画像認識手段は、前記テンプレートデータと前記認識対象映像の映像データとの類似性を導くに先立ち、前記テンプレートデータの映像と前記認識対象映像とが同じ大きさとなるように、前記テンプレートデータ又は認識対象映像を圧縮又は伸張する請求項１０又は１１記載の車両認識装置。
【請求項１３】
前記認識対象映像の大きさが所定の割合以上に変化したときには、前記テンプレートデータの映像と前記認識対象映像とが同じ大きさとなるように、前記テンプレートデータ又は認識対象映像を圧縮又は伸張し、前記所定のタイミングにおいて撮像された前記二次元領域の映像であるテンプレートデータを前記圧縮又は伸張されたテンプレートデータに更新する請求項１２記載の車両認識装置。
【請求項１４】
前記映像テンプレートデータ及び前記認識対象映像は、濃淡画像、エッジ画像又はこれらを２値化した２値画像の何れかである請求項２〜１３の何れかに記載の車両認識装置。
【請求項１５】
前記撮像手段は、所定値以上の速さの周期で自車両の前方又は後方の映像を撮像する請求項２〜１４の何れかに記載の車両認識装置。
【請求項１６】
車載のコンピュータに、
走行する自車両の前方又は後方を撮像させるステップと、
前記撮像により取得した映像の濃度差に応じて現れる複数のエッジから、前記自車両の前方又は後方を走行する他車両の映像に特徴的な一又は二以上のエッジを含む車両エッジ対を抽出させるステップと、
前記抽出された車両エッジ対を基準とした二次元領域の映像を、認識対象映像として設定するステップと
前記設定された認識対象映像の経時的変化に基づいて、前記他車両を認識させるステップとを有する車両認識用プログラム。
【請求項１７】
前記車両エッジ対は、所定値以上の長さのエッジである請求項１６記載の車両認識用プログラム。
【請求項１８】
前記車両エッジ対は、所定の方向に延びるエッジである請求項１６又は１７記載の車両認識用プログラム。
【請求項１９】
前記車両エッジ対は、所定値以上の濃度を有するエッジである請求項１６〜１８の何れかに記載の車両認識用プログラム。
【請求項２０】
前記車両エッジ対は、特徴が共通するエッジペアである請求項１６〜１９の何れかに記載の車両認識用プログラム。
【請求項２１】
前記車両エッジ対は、略同じ長さのエッジペアである請求項２０に記載の車両認識用プログラム。
【請求項２２】
前記車両エッジ対は、経時的な移動方向及び移動速度が略等しいエッジペアである請求項２０に記載の車両認識用プログラム。
【請求項２３】
前記車両エッジ対は、互いの間隔が所定値以上の二つのエッジペアである請求項２０に記載の車両認識用プログラム。
【請求項２４】
前記認識対象映像が前記他車両の映像であるか否かを認識させるステップは、所定のタイミングにおいて撮像された前記二次元領域のテンプレートデータと、前記所定のタイミング後の一又は二以上の他のタイミングにおいて撮像された前記認識対象映像の映像データとを比較して類似性を算出させるステップと、
当該算出された類似性の経時的変化に基づいて前記他車両を認識させるステップとを含む請求項１６〜２３の何れかに記載の車両認識用プログラム。
【請求項２５】
前記認識対象映像が前記他車両の映像であるか否かを認識するステップは、
所定のタイミングにおいて撮像された前記認識対象領域のテンプレートデータと、前記所定のタイミング後の一又は二以上の他のタイミングにおいて撮像された前記認識対象領域の映像データとの画素単位の類似性を示す相関値を算出させるステップと、
当該算出された相関値が所定値よりも高い場合には、前記認識対象映像を前記他車両として認識させるステップとを含む請求項１６〜２３の何れかに記載の車両認識用プログラム。
【請求項２６】
前記認識対象映像が前記他車両の映像であるか否かを認識するステップは、
前記テンプレートデータと前記認識対象映像の映像データとの類似性又は相関値を算出させるステップに先立ち、前記テンプレートデータの映像と前記認識対象映像とが同じ大きさとなるように、前記テンプレートデータ又は認識対象映像を圧縮又は伸張させる請求項２４又は２５記載の車両認識用プログラム。
【請求項２７】
前記認識対象映像が前記他車両の映像であるか否かを認識するステップは、
前記認識対象映像の大きさが所定の割合以上に変化したときには、前記テンプレートデータの映像と前記認識対象映像とが同じ大きさとなるように、前記テンプレートデータ又は認識対象映像を圧縮又は伸張し、前記所定のタイミングにおいて撮像された前記二次元領域の映像であるテンプレートデータを前記圧縮又は伸張されたテンプレートデータに更新するステップをさらに有する請求項２６記載の車両認識用プログラム。
【請求項２８】
前記テンプレートデータ及び前記認識対象映像は、濃淡画像、エッジ画像又はこれらを２値化した２値画像の何れかである請求項１６〜２７の何れかに記載の車両認識用プログラム。
【請求項２９】
走行する自車両の前方又は後方を撮像した映像を取得させるステップは、
所定値以上の速さの周期で自車両の前方又は後方の映像を撮像させる請求項１６〜２８の何れかに記載の車両認識用プログラム。
【請求項３０】
前記請求項２〜１５の何れかに記載の車両認識装置を備えた運転支援システム。
【請求項３１】
前記請求項１６〜２９の何れかに記載の車両認識用プログラムのルーチンを含む運転支援用プログラム。
【請求項３２】
前記請求項２〜１５の何れかに記載の車両認識装置を備えた自動走行制御システム。
【請求項３３】
前記請求項１６〜２９の何れかに記載の車両認識用プログラムのルーチンを含む自動走行制御プログラム。
【請求項３４】
前記請求項２〜１５の何れかに記載の車両認識装置を備えた自動車。
【発明の詳細な説明】
【０００１】
【技術分野】
本発明は、車両搭載の撮像手段が撮像した映像から、自車両の前後を走行する他車両を認識する車両認識方法、車両認識装置、又は車両認識用プログラムに関する。
【０００２】
【背景技術】
自動走行制御システムや運転支援システムにおいて、自車両から撮像した他車両の映像から他車両と自車両との位置関係を算出することが行われている。
【０００３】
たとえば、特開平１１−０５３６９２号公報に記載されているように、他車両の画像の全画素からエッジヒストグラムを導出し、このエッジヒストグラムのピーク点から矩形領域を選定し、注目する点や領域が時間の経過とともにどの方向に移動するかという矩形領域内のオプティカルフローを算出し、このオプティカルフローの整合性から選定された矩形領域の映像が先行車両であるか否かを判断する技術が知られている。この技術によれば、注目する矩形領域に含まれる特徴点に基づくオプティカルフローの整合性から、他車両を認識することができる。
【０００４】
しかしながら、隣り合うエッジヒストグラムのピーク点から規定された矩形領域は微小な領域であり、この矩形領域に含まれる特徴点の量は少なく、車両認識を正確に行うことができないという問題があった。また、オプティカルフローは、濃度差の明確な映像において正確に求められ、車両のリア側ボディやリアガラス面などの濃度差の小さい映像ではオプティカルフローが正確に現れず、正確に他車両を認識することができないという問題があった。
【０００５】
【発明の開示】
本発明は、撮像した映像が特徴点を多く含まない場合や、撮像した映像にオプティカルフローが正確に現れない場合であっても、他車両を正確に認識する車両認識方法、車両認識装置及び車両認識用プログラムを提供することを目的とする。
【０００６】
本発明では、走行する自車両の前方又は後方を撮像し、前記撮像された映像の濃度差に応じて現れる複数のエッジから、所定値以上の長さを有するエッジ対を抽出し、この抽出されたエッジ対を基準とする二次元領域を設定し、前記二次元領域に含まれる映像の経時的な相関関係の変化に基づいて、前記撮像された映像から他の車両を認識する車両認識方法が提供される。
【０００７】
また、異なる観点によれば、走行する自車両の前方又は後方を撮像する撮像手段と、前記撮像手段により撮像された映像の濃度差に応じて現れる複数のエッジから、前記自車両の前方又は後方を走行する他車両の映像に特徴的な一又は二以上の車両エッジ対を抽出する特徴抽出手段と、前記特徴抽出手段により抽出された車両エッジ対を基準とする二次元領域を認識対象領域として設定する認識対象領域設定手段と、前記認識対象領域設定手段により設定された認識対象領域の映像の経時的変化に基づいて当該映像から前記他車両を認識する画像認識手段とを備えた車両認識装置が提供される。
【０００８】
この発明では、撮像した映像のうち、映像の濃度差に応じて現れる複数のエッジから他車両の映像に特徴的なエッジを含む車両エッジ対を抽出し、この車両エッジ対を基準とする二次元領域を設定し、この二次元領域に含まれる映像の経時的な変化に基づいて、車両を認識する。
【０００９】
これにより、設定された二次元領域に他車両が捉えられる確率が向上するとともに、認識の対象となる映像の経時的な相関関係の変化に基づいて他車両を認識するため、撮像した映像が特徴点を多く含まない場合や撮像した映像にオプティカルフローが正確に現れない場合であっても、処理速度が速く且つ正確な車両認識を行うことができる。
【００１０】
【発明の実施の形態】
本実施形態は、車両に搭載された撮像装置６が撮像した映像に基づいて、自車両の前方又は後方を走行する他車両を認識する車両認識装置１００である。認識された他車両に関するデータは、外部装置７である自動走行システムや運転支援システムへ出力される。
【００１１】
以下、本発明の実施形態を図面に基づいて説明する。図１は本発明の車両認識装置の実施形態を示すブロック図、図２（ａ）は撮像装置６が撮像した映像を示す図であり、図２（ｂ）は図２（ａ）の映像に表れるエッジを示す図、図３は多数のエッジから車両エッジ対を抽出する第１抽出例を説明するための図、図４（ａ）〜図４（ｃ）は、多数のエッジから車両エッジ対を抽出する第２抽出例を説明するための図、図５（ａ）〜図５（ｃ）は、多数のエッジから車両エッジ対を抽出する第３抽出例を説明するための図、図６は撮像周期が短い場合の作用を説明するための図、図７は認識対象領域の設定の処理を説明するための図、図８（ａ）〜図８（ｃ）は画像認識処理を説明するための図、図９は認識対象領域の映像から他車両を認識する処理を説明するための図、図１０は相関値の算出例を説明するための図である。
【００１２】
図１に示すように、本実施形態は、撮像装置６が撮像した映像データを少なくとも一時的に記憶する記憶手段１と、映像データから他車両に特徴的な車両エッジ対を抽出する特徴抽出手段２と、車両エッジ対を基準として認識対象領域を設定する認識対象領域設定手段３と、認識対象領域の映像から他車両を認識する画像認識手段４とを備えている。
【００１３】
撮像装置６は、車両認識装置１００と情報の授受が可能な状態で車両認識装置１００の外部に設けられている。撮像装置６はＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）、ＣＭＯＳを含み、自車両の前方又は後方を撮像して順次映像データを車両認識装置１００へ送出する。
【００１４】
記憶手段１は、外部の撮像装置６が撮像した映像データを順次受け付け、フレームメモリ１１に読み出し可能に記憶する。フレームメモリ１１に記憶された映像は、車両エッジ対の抽出対象となる「映像データ」であるとともに、車両認識の対象となる「フレームデータ」である。この「映像データ」は車両エッジ対の抽出を行う特徴抽出手段２により読み込まれ、「フレームデータ」は車両認識処理を行う特徴抽出手段２とにより読み込まれる。
【００１５】
また、記憶手段１はテンプレートメモリ１２を有し、二次元領域設定後の所定のタイミングにおける映像データを記憶する。テンプレートメモリ１２に記憶された映像は、映像の経時的変化を捉えるための基準となる「テンプレートデータ」である。この「テンプレートデータ」は車両認識処理を行う特徴抽出手段２により読み込まれる。
【００１６】
本実施形態では、「映像データ」から車両エッジ対が抽出され、「テンプレートデータ」と「フレームデータ」との経時的な相関関係の変化、経時的な類似性の変化、経時的な相関値の変化に基づいて、撮像された映像から他車両が認識される。
【００１７】
「テンプレートデータ」及び「フレームデータ」は車両エッジ対に基づく二次元映像の映像である認識対象映像の一態様である。所定のタイミングにおける認識対象映像がテンプレートデータに対応し、所定のタイミング後の一又は二以上の所定のタイミングにおける認識対象映像がフレームデータに対応する。
【００１８】
特徴抽出手段２は、フレームメモリ１１から取得した映像データ（自車両の前方又は後方の映像）の濃度差に応じて現れる複数のエッジから、自車両の前方又は後方を走行する他車両に特徴的な一又は二以上のエッジを含む車両エッジ対を抽出する。特徴抽出手段２が処理する映像データはデジタルデータであり、本実施形態の映像データは二値化された濃淡映像データである。このように二値化されたデータを用いることにより、処理データ量を小さくすることができ、処理速度を向上させることができる。もっとも、映像データの量子化のレベルは特に限定されず、２〜８ビットのレベル数で映像を表現することができる。
【００１９】
特徴抽出手段１は、映像データからエッジを抽出するエッジ抽出部２１と、抽出されたエッジの中から他車両の映像に特徴的に現れる車両エッジ対を検出する車両エッジ検出部２２とを備えている。
【００２０】
エッジ抽出部２１は、映像データの濃度差に応じて現れるエッジを抽出するために、フレームメモリ１１から読み込んだ映像データを横方向または縦方向の少なくとも一方の微分処理を行う。映像データの濃度の変化点を抽出することにより対象物（自車両の前後を走行する他車両等）の映像データの不連続部分がエッジとして抽出される。
【００２１】
エッジ抽出の例を図２に示した。図２（ａ）は撮像装置６が撮像した自車両の前方又は後方の映像である。この映像の映像データを横方向に微分処理し、図２（ｂ）を得る。図２（ｂ）は、ある閾値以上の濃度値を有する画素は濃度値を１とし、ある閾値以下の濃度値を有する画素は濃度値を０として、２値化処理を行った。図２（ｂ）に示す黒い線が図２（ａ）に示す映像データのエッジに対応するものである。ちなみに、図２（ｂ）のエッジｂ１は、図２（ａ）の先行車両ａ１の左サイド部分の輪郭に対応し、図２（ｂ）のエッジｂ２は、図２（ａ）の先行車両ａ１の右サイド部分の輪郭に対応する。同じく図２（ｂ）のエッジｂ３，ｂ４は、図２（ａ）の先行車両ａ２の左右サイド部分の輪郭に対応する。
【００２２】
このエッジ抽出処理の手法は、特に限定されず、本例のように微分処理を用いてもよいし、ハフ変換等を用いてもよい。微分処理は縦方向であっても横方向であってもよい。また、エッジ点が途切れている部分については、膨張法、収縮法、延長跡法の手法を用いて、切れている点列を繋げてもよい。
【００２３】
車両エッジ抽出部２２は、さらに、エッジ抽出部２１により抽出された複数のエッジから他車両の影像に特徴的な一又は二以上のエッジを「車両エッジ対」として抽出する。本実施形態では、まず、認識する対象である車両の形状を考慮し、所定値以上の長さを有するエッジを車両エッジ対として抽出する。また、車両の輪郭が明瞭であることから、所定値以上の濃度を有するエッジを車両エッジ対として抽出する。さらに、自車両から見る前方又は後方を走行する他車両の正面又は背面の形状が、矩形、台形形状であることを考慮して、所定の方向に伸びるエッジを車両エッジ対として抽出する。このような条件を満たすエッジを抽出することで多数のエッジの中から他車両に特徴的な有意な車両エッジ対を抽出することができる。
【００２４】
さらに、車両の映像データから共通する特徴を有するエッジペアを車両エッジ対としてもよい。たとえば、車両ボディは箱状であるから、進行方向正面又は背面から撮像した他車両の映像からは、同じ方向に延びるエッジペア、略同じ長さのエッジペア、互いの間隔が所定値以上のエッジペアを得ることが期待できる。すなわち、左右両側（左右ドア部分）、又は車両ボディの上面底面側（ルーフ部分とフロア部分）から平行、略同じ長さ及び／又は所定の間隔を有するエッジが得られると考えられるため、このような条件を満たすエッジペアを車両に特徴的な車両エッジ対とすることが好ましい。
【００２５】
また、一の他車両からは、経時的な移動方向及び移動速度が略等しい二以上のエッジペアが抽出されることが期待できる。よって、このような条件を満たすエッジペアを車両に特徴的な車両エッジ対とすることが好ましい。
【００２６】
このように、共通の特徴を有するエッジペアを車両エッジ対とすることにより、撮像された多数の映像データから他車両を捉えた二次元領域を精度良く見つけ出すことができる。すなわち、このように抽出された車両エッジ対を基準として設定される二次元領域の認識対象映像は高い確率で他車両を捉えるため、車両認識処理の速度を向上させることができる。
【００２７】
なお、これらの条件のひとつを満たすエッジを「車両エッジ対」としてもよいし、２若しくは３、又はそれ以上の条件を満たすエッジを「車両エッジ対」としてもよい。ここでは、「車両エッジ対」として適当と考えられるエッジの特徴をいくつか例示したが、これらに限定されることなく、また特徴として採用する理由も限定されることはない。なお、「車両エッジ対」は、１又は２以上のエッジであればよく、「エッジペア」は２以上のエッジであればよく、これらの数は限定されない。
【００２８】
以下、「車両エッジ対」の抽出の手法に関し、３つの例を具体的に説明する。
第１の抽出例では、所定値以上の長さのエッジ、所定の方向に延びるエッジ、所定値以上の濃度を有するエッジ、略同じ長さのエッジという４つの条件のうち、少なくとも１つ以上の条件を満たす「車両エッジ対」を抽出する。
【００２９】
具体的に図３を参照しつつ説明する。エッジ抽出部２１の微分処理により得られた図２（ｂ）の微分画像の画素値をＸ軸に射影し得られる画素値の累積度数ヒストグラム（図３）を作成し，このヒストグラムにおいて所定の閾値以上の度数を有するエッジを「車両エッジ対」として抽出する。いま、車両エッジ対の抽出のための閾値をｔｈとすると，ヒストグラムより累積度数が閾値ｔｈ以上の４本のエッジＥ１〜Ｅ４が抽出される。このエッジＥ１〜Ｅ４は、所定値以上の累積度数を有するエッジとして抽出されたものであるが、結果として、ｘ軸に射影される所定値以上の長さのエッジ、所定の方向（ｘ軸方向）に延びるエッジ、ヒストグラムの始点から終点までの長さが略同じエッジ、所定値以上の累積度数（濃度）を有するエッジという条件のうち、少なくとも１つ以上の条件を満たす。こうして、映像データから得られた多数のエッジから他車両の映像を特徴づける有意な車両エッジ対を効率的に抽出することができる。このように抽出された有意な車両エッジ対に基づいて車両認識処理を行うことにより、演算量を少なくし、処理速度を向上させることができる。
【００３０】
また、車両の左右側面の輪郭、車両の上下面の輪郭に現れる２つのエッジは、同じ特徴を有することが多いため、同じ特徴を備えたエッジペアを車両エッジ対として抽出することが好ましい。さらに、車両は所定の幅及び高さを有するため、車両の幅や高さに対応するエッジ間隔の下限を設定することが可能である。このため、エッジの互いの間隔が所定値以上のエッジを車両エッジ対として抽出することが好ましい。
【００３１】
次に「車両エッジ対」抽出処理に関する第２抽出例を、図４を参照しつつ説明する。図４（ａ）は時刻Ｔにおける映像データ（ａ−１）と当該映像データから微分処理を経て得られた累積度数ヒストグラムから得たエッジ（ａ−２）である。時刻ＴにおけるエッジをＥ１〜Ｅ５として表す。図４（ｂ）は、時刻Ｔ＋ｎΔＴにおける映像データ（ｂ−１）と当該映像データから得られた累積度数ヒストグラムから得たエッジ（ｂ−２）である。時刻Ｔ＋ｎΔＴにおけるエッジをＥ１’〜Ｅ５’とする。
【００３２】
このとき，時刻Ｔにおけるエッジを時刻Ｔ＋ｎΔＴまで追跡し，各エッジの移動軌跡（ｘ（Ｔ），ｙ（Ｔ）），…，（ｘ（Ｔ＋ｎΔＴ），ｙ（Ｔ＋ｎΔＴ））についての相関値、例えば正規化相関係数を求め、経時的に強い正の相関関係が認められるエッジペアを車両エッジ対とする。
【００３３】
具体的に、図４（ａ−２）と図４（ｂ−２）とおいて時刻ＴのエッジＥ３，Ｅ４の位置の変化について注目する。時刻ＴのエッジＥ１，Ｅ２，Ｅ５に対するエッジＥ３，Ｅ４の位置と、時刻Ｔ＋ｎΔＴのエッジＥ１´，Ｅ２´，Ｅ５´に対するエッジＥ３´，Ｅ４´の位置とを比較する。時刻ＴのエッジＥ３，Ｅ４は、時間経過とともに矢印ｅの方向へ移動し、時刻Ｔ＋ｎΔＴのエッジＥ３´，Ｅ４´の位置まで移動し、エッジＥ１´，Ｅ２´，Ｅ５´から相対的に離間していることがわかる。
【００３４】
これらのエッジＥ１〜Ｅ５の移動を移動ベクトルとして図４（ｃ）に示した。図４（ｃ−１）に示すように、ベクトルＥ１，Ｅ２，Ｅ５は同じ方向に移動し、ベクトルＥ３，Ｅ４は同じ方向に移動している。これを座標上に表すと、移動ベクトルは図４（ｃ−２）に示すようになる。エッジの経時的な移動方向及び移動速度（移動ベクトル）が略等しいエッジペアを抽出すると、Ｅ１，Ｅ２，Ｅ５のエッジペアと、Ｅ３，Ｅ４のエッジペアとに分けることができる。このように、経時的に同じ方向に移動し、その移動方向が同じであるというように、経時的な正の相関関係が認められる場合には、位置の（同じ）対象物（他車両）から得られたエッジである可能性が高い。このため、車両エッジ対を抽出する第２の抽出例は、経時的な移動方向及び移動速度が略等しいエッジペアを車両エッジ対として抽出する。
【００３５】
このように、特徴が共通するエッジペアを抽出することにより、多数のエッジから他車両に特徴的な有意な車両エッジ対を効率的に抽出することができ、車両認識における演算回数を減らし、処理速度を向上させることができる。
【００３６】
続いて、「車両エッジ対」の抽出に関する第３の抽出例を、図５を参照しつつ説明する。第３の抽出例は、先行車両が重なって撮像され、一方の車両が他方の車両に隠れてしまうような場合に適した抽出手法である。図５（ａ）は時刻Ｔにおける映像データ（ａ−１）と当該映像データから微分処理を経て得られた累積度数ヒストグラムから得たエッジ（ａ−２）である。時刻Ｔにおけるエッジ位置をＥ１〜Ｅ４として表す。図５（ｂ）は、時刻Ｔ＋ｎΔＴにおける映像データ（ｂ−１）と当該映像データから得られた累積度数ヒストグラムから得たエッジ（ｂ−２）である。時刻Ｔ＋ｎΔＴにおけるエッジ位置をＥ１’〜Ｅ５’とする。
【００３７】
Ｅ１〜Ｅ４の各エッジをフレーム間にて追跡し，時刻Ｔにおいて，エッジＥ１〜Ｅ３の移動軌跡の相関が高く，エッジＥ１〜Ｅ３は同一の対象を表していると仮定される。他方、エッジＥ４の移動軌跡は，エッジＥ１〜Ｅ３の移動軌跡と異なるため，エッジＥ４とエッジＥ１〜Ｅ３間の移動軌跡の相関値が有意性を持った値にならず、エッジＥ４の対応エッジは未検出であるため、車両エッジ対が形成されない。つまり車両１を映像データから抽出することはできるが、車両１により一部が隠蔽された車両２は，その一部分についてしか映像データが得られず、エッジＥ４に対応するエッジが検出されず、車両エッジ対を形成できない。
【００３８】
しかし、エッジＥ４が所定値以上の長さ、方向性（所定の方向に延びるエッジ）、所定値以上の濃度があり、十分に有意なエッジであると考えられる場合は、エッジＥ４をそのまま追跡する。追跡開始後、時刻Ｔ＋ｎΔＴにおいて、新たに検出されたエッジＥ５´の移動軌跡が観測されたとき、エッジＥ４´とエッジＥ５´の移動軌跡の間に先述した第２抽出例において説明した相関が認められた時点で，エッジＥ４´とエッジＥ５´とが対になっていると仮定することができる。車両２は車両１に部分的に隠蔽されているので，エッジＥ５´は、車両２から得られるエッジであればよく、必ずしも車両２の端部（サイドドア部分、ルーフ部分、フロア部分）を表すエッジである必要は無い。相関関係が認められたエッジＥ４´とエッジＥ５´とは車両エッジ対を形成する。
【００３９】
このように、一時的に映像データが得られない車両２についても、車両２の部分から得られたエッジを追跡し、車両２が車両１から分離して車両２から車両２に特徴的な新たなエッジが検出されれば、この新たなエッジとエッジＥ４´とにより車両エッジ対を形成することができる。
【００４０】
また、特徴抽出手段２は、エッジを抽出する映像データを、撮像装置６によって撮像させる。このとき、撮像装置６のＣＣＤに高速撮像素子を用い、より短い周期で自車前方または後方の映像を出力させることが好ましい。具体的には、１００回／ｓ〜１０００回／ｓで映像データを更新することが好ましい。図６に示すように、映像データの更新周期が短いことは映像データ間の変化量が少ないことを意味し、車両エッジ対または他車両を追跡する際における注目対象（エッジまたは他車両）のロストおよび誤対応（誤検出）を回避することができる。
【００４１】
具体的に説明すると、撮像周期が短い場合は注目する対象の映像データ間の移動量は小さく、図６（ａ）のタイミングＴにおけるエッジＥ（Ｔ）を包含する領域１に対して、エッジＥ（Ｔ）の時刻ΔＴ後のエッジＥ（Ｔ＋ΔＴ）は、図６（ｂ）の領域２内に示すように領域１の近傍に存在することとなる。このとき、エッジＥ（Ｔ）に対応するエッジＥ（Ｔ＋ΔＴ）を領域２内から探索するには、エッジＥ（Ｔ）のパターンＰ（Ｔ）を用いて領域２内を走査し、最も相関値が高くなる位置を探すことによってエッジＥ（Ｔ）に対応する時刻Ｔ＋ΔＴにおけるエッジＥ（Ｔ＋ΔＴ）を特定することができる。このように、映像データの撮像命令を短い周期で送出し、撮像装置６に短い撮像周期で撮像させることにより車両エッジ対の追跡精度を向上させることができる。
【００４２】
続いて、認識対象映像設定手段３について説明する。認識対象映像設定手段３は、特徴抽出手段２の車両エッジ抽出部２２が抽出した車両エッジ対を基準とした領域の映像を認識対象映像として設定する。この認識対象映像の映像が、画像認識手段４による認識の対象となる。
【００４３】
認識対象映像設定手段３は、車両エッジ対を含む領域の映像を認識対象映像とする。図７に示すように、ヒストグラムにおいて得られたエッジＥ１からＥ４について、エッジＥ１〜Ｅ４までの中から任意の２つのエッジを選択し、それらの２つのエッジが同じ他車両から得られる車両エッジ対であると仮定して、２つのエッジを包含する領域の映像を設定する。エッジが４本の場合は，規定される二次元領域の数は４Ｃ２の６通りとなる。ここで認識対象映像の基準となる車両エッジ対は、所定の条件に基づいて抽出された他車両に特徴的なエッジから任意に組み合わせられたエッジである。もちろん、同一の他車両から得られる共通の特徴を有するエッジペアを基準として認識対象映像を設定してもよい。ここでは説明のために、任意に組み合わせた車両エッジ対を基準として認識の対象となる二次元領域を設定したが、共通の特徴を有するエッジペアを車両エッジ対とすれば、より高い精度で他車両に特徴的な車両エッジ対を絞り込むことができる。
【００４４】
車両エッジ対を選択した認識対象領域設定手段３は、車両エッジ対に基づく二次元領域を規定し、この二次元領域に対応する認識対象映像を設定する。本例では、車両エッジ対を含み、二つの車両エッジ対に平行な二辺が囲む矩形を二次元領域として規定した。この認識対象映像が車両認識の対象となり、認識対象映像が映し出す映像が車両であるか否かが判断される。
【００４５】
画像認識手段４は、認識対象領域設定手段３により設定された各認識対象映像が他車両を映し出しているか否か、すなわち、認識対象映像は他車両の映像であるか否かを判断する。言い換えると、認識対象映像設定手段３の設定結果が適当であったか否かの検証が行われる。認識対象映像が他車両を捉えていることを確認できれば、車両認識装置１００は他車両を認識することができる。
【００４６】
画像認識手段４は、記憶手段１のテンプレートメモリ１２から認識対象領域に対応する部分のテンプレートデータ（タイミングＴ０）を読み出す。一方、記憶手段１のフレームメモリ１１から認識対象領域に対応する領域の最新のフレームデータ（タイミングＴ１，Ｔ２，Ｔ３…）を順次読み出す。このテンプレートデータとフレームデータとを順次比較する。具体的に画像認識手段４は、テンプレートデータとフレームデータとを比較して相関関係、たとえば類似性を導き、この導かれた類似性の経時的変化に基づいて認識対象映像から他車両を認識する。すなわち、テンプレートデータとフレームデータとの相関関係を示す類似性が経時的に変化しない場合には、抽出された車両エッジ対を基準として設定された二次元領域の認識対象映像が他車両を映し出していると判断できる。ちなみに、相関関係は、２つの映像の共通性、相違性に関する関係であり、映像の類似性、映像の相違性、映像の共通性を含む。
【００４７】
具体的に、本実施形態の画像認識手段４は、テンプレートデータとフレームデータとの画素単位の類似性を示す相関値を算出する相関値算出部４１と、相関値算出部４１により算出された相関値を経時的に追跡し、その経時的変化量に基づいて認識対象映像が他車両の映像であるか否かを判断し、他車両を認識する画像認識部４２とを有している。
【００４８】
画像認識手段４の画像認識について図８を参照しつつ説明する。図８（ａ）には特徴抽出手段２により抽出された車両エッジ対の候補Ｅ１〜Ｅ４が示され、これらのうち、車両エッジ対Ｅ１とＥ２に基づいて矩形で囲んだ領域ｇ１（二次元領域）が設定されている。また、同じく車両エッジ対Ｅ２とＥ３に基づいて矩形で囲んだ領域ｇ２（二次元領域）が設定されている。これら領域ｇ１、ｇ２の映像が認識の対象となる認識対象映像である。図８（ｂ−１）はテンプレートメモリ１２から読み込まれたタイミングＴ０における領域ｇ１のテンプレートデータである。他方、図８（ｂ−２）はフレームメモリ１１から読み込まれたタイミングＴ＋ｎΔｔ（Ｔ１，Ｔ２，Ｔ３…）における領域ｇ１のフレームデータである。同様に、図８（ｃ−１）はテンプレートメモリ１２から読み込まれたタイミングＴ０における領域ｇ２のテンプレートデータである。他方、図８（ｃ−２）はフレームメモリ１１から読み込まれたタイミングＴ＋ｎΔｔ（Ｔ１，Ｔ２，Ｔ３…）における領域ｇ２のフレームデータである。
【００４９】
ここでは、図８に示す領域ｇ１及び領域ｇ２について領域内の相関値を検証する手法を説明する。所定のタイミングＴ０において、領域ｇ１及び領域ｇ２のテンプレート（ｂ−１）（ｂ−２）が登録された後、領域ｇ１の車両エッジ対Ｅ１，Ｅ２および領域ｇ２の車両エッジ対Ｅ２，Ｅ３を、撮像装置（ＣＣＤ）６により逐次追尾する。領域ｇ１及び領域ｇ２の映像は、自車両の動きや対象（他車両）の動きのために時々刻々と変化するので、領域ｇ１については図８（ｂ−１）（ｂ−２）及び領域ｇ２については図８（ｃ−１）（ｃ−２）に示すように、テンプレートデータと各領域に対応する最新の画像データであるフレームデータとの間には大きさやテクスチャ等の差異が生じる。本実施形態では、このときの映像の相関関係、すなわちデータの類似性を画素単位の相関値により導く。この相関値としては、たとえば、画素単位の情報の共通度又は相違度（割合）を求めてもよいし、画素単位の明暗の共通度又は相違度（割合）を求めてもよい。このように所定の二次元領域における映像（認識対象映像）の相関値、類似性、その他の相関関係から他車両を認識するため、他車両の認識に必要な特徴の変化を高い確率で得ることができる。すなわち、オプティカルフローが生じない、又は生じたとしても誤ったオプティカルフローが生じる複雑なテクスチャを有する領域（例えばリヤ側ボディやリヤガラス面など）においても映像のテクスチャの変化を評価することができる。しかも、認識領域映像を規定する二次元領域は、他車両に特徴的な車両エッジ対に基づいて設定される。このため、二次元領域は車両認識のために必要な特徴を有する有意な領域であり、車両認識を高い精度で行うことができる。
【００５０】
なお、テンプレートデータ及びフレームデータ（認識対象映像）は濃淡映像やエッジ画像であることが好ましく、さらにはこれらが２値化処理されていることが好ましい。扱うデータ量が小さいため処理速度を向上させることができるからである。
【００５１】
図８（ｂ）に示すように，車両を的確に捉えている領域ｇ１が設定された場合は、領域ｇ１が単一の対象を捉えている。このため、テンプレートデータとフレームデータとの差異は、大きさ及び映像の縦横比だけとなる。よって、テンプレートデータの画像を最新の画像データの大きさに応じて圧縮・伸張すれば、映像の実質的な変化を忠実に算出することができる。たとえば、映像自体に実質的な変化のない図８（ｂ−１）と図８（ｂ−２）のデータについて算出された相関値の経時的変化は、その大きさの変化にかかわらず実質的な変化と同様に低いものとなる。
【００５２】
また、本例では、相関値算出部４１のテンプレート補正機能４１１が、テンプレートデータの圧縮・伸張を行う。テンプレート補正機能４１１は、相関値を算出するに先立ち、フレームデータ（認識対象映像）の大きさと同じ大きさとなるように、テンプレートデータを圧縮・伸張する。もちろん、フレームデータをテンプレートデータに合わせて、圧縮・伸張を行ってもよい。この映像のデータを圧縮又は伸張する手法は限定されず、公知の手法を用いることができる。さらに、フレームデータの大きさが所定の割合以上に変化したときには、テンプレートデータを圧縮又は伸張したテンプレートデータに、置き換えてすることが好ましい。圧縮又は伸張されたテンプレートデータは、テンプレートメモリ１１に記憶され、テンプレートデータとして扱われる。
【００５３】
他方、図８（ｃ）に示すように、他車両以外の対象物を含む領域ｇ２が設定された場合、時々刻々と変化する背景や路面テクスチャ、白線等の路面マーカのために、テンプレート画像（図８（ｃ−１））と最新のフレームデータ（図８（ｃ−２））との類似性（相関値）は、経時的に低くなる。
【００５４】
図９には、経時的に記録した相関値の変動を示す。テンプレートデータの登録直後（Ｔ０直後）は領域ｇ１及び領域ｇ２のいずれのフレームデータにも差異が少なく、きわめて高い相関値（類似性）が得られる（正規化相関の場合はＣｏｒｒ＿Ｍａｘ＝１．０）。本例では、テンプレートデータとフレームデータとの相関値が所定の値（閾値Ｃｏｒｒ＿ｔｈ）以上であればフレームデータ（認識対象映像）は他車両を捉えていると判断し、相関値が所定の値（閾値Ｃｏｒｒ＿ｔｈ）以下であればフレームデータ（認識対象映像）は他車両を捉えていないと判断する。なお、本例ではテンプレートデータを圧縮・伸張して撮像装置６により得られた最新画像のフレームデータとの相関値を算出している。
【００５５】
他車両を捕らえている領域ｇ１については、時間の経過とともに相関値が減少するものの、閾値Ｃｏｒｒ＿ｔｈを下まわることは無い。一方、他車両の他に背景や路面を捉えた領域ｇ２は、時間の経過とともにテンプレートデータとフレームデータとの画像の差異が大きくなるので、相関値が徐々に減少して閾値Ｃｏｒｒ＿ｔｈを下まわる。領域ｇ１は他車両を捉えていると判断されるので対象（他車両）をそのまま追尾し、一方領域ｇ２は他車両以外のものを捉えていると判断されるので車両エッジ対Ｅ２およびＥ３が一の他車両から得られる車両エッジ対であるという仮定は棄却される。
【００５６】
このように、テンプレートデータと最新のフレームデータ（認識対象映像）との間における相関値の時間変化を観測することにより各領域が同一の対象を追跡しているか否かの判定が可能となる。言い換えると、認識対象映像の領域の基準となる車両エッジ対が果たして他車両の車両エッジ対であったか否か、車両エッジ対抽出の正当性を検証することができる。抽出された車両エッジ対が適当である場合には、この車両エッジ対を基準とする認識対象映像から他車両を認識することができる。
【００５７】
ここで、相関値算出部４１が相関値を算出する際に用いるデータは、複数諧調を有する濃淡画像でも、エッジ画像でも、また閾値で２値化した２値画像でもよい。正規化相関により相関値を求める場合，相関値（相関係数）ｒは次式により求められる。
ｒ＝Ｃｏｖ（Ｘ１，Ｘ２）／ｓｑｒｔ（Ｖａｒ（Ｘ１）・Ｖａｒ（Ｘ２））
ここでＸ１はテンプレートデータの画素値、Ｘ２は撮像装置６により得られた最新のフレームデータ（認識対象映像）の画素値、Ｃｏｖ（Ｘ１，Ｘ２）はＸ１とＸ２の共分散、Ｖａｒ（Ｘ）はＸの分散とする。テンプレートデータの画素値Ｘ１およびフレームデータの画素値Ｘ２の代わりに、これらを微分した微分画像を用いた場合であっても、あるいは２値画像を用いた場合についても上式を適用することが可能である。
【００５８】
特に、２値画像の場合は、Ｘ１およびＸ２両者のＡＮＤの和を相関値として用いることも可能であり、扱うデータ量と計算量を大幅に削減することが可能となる。この相関値の算出手法を、図１０を参照しつつ説明する。図１０（ａ）に示す２値化したテンプレートデータの画素値Ｘ１と、図１０（ｂ）に示す２値化した最新の取得画像であるフレームデータの画素値Ｘ２について、各対応する画素のＡＮＤをとる（図１０（ｃ））。簡易な相関値として、この画素値の和を２値化したテンプレートデータＸ１の画素値１の画素数で割った値を用いてもよい。具体的には、Σ（Ｘ１　ＡＮＤ　Ｘ２）／２７＝０．８５として相関値を算出してもよい。
【００５９】
また、この車両エッジ対の抽出が適当であったか否かの結果は、画像認識部４２から車両エッジ抽出部２２の車両エッジ検証機能２２１に送出される。車両エッジ検証機能２２１は当該抽出処理の妥当性に基づいて車両エッジ対の抽出条件を変更するなどのフィードバック制御を行う。たとえば、所定値以上の長さのエッジを車両エッジ対として抽出していた場合において、抽出された車両エッジ対が適当でない場合には、長さの閾値となる「所定値」を大きくしたり小さくしたりする。
【００６０】
次に、車両認識の動作を図１１のフローチャートに基づき説明する。
特徴抽出手段２は、撮像装置６に車両の前または後方向を撮像させ、車両の前または後方向の映像データを得る（ステップ１）。この映像データは記憶手段１のフレームメモリ１１に一時的に記憶される。このフレームメモリ１１に記憶される映像データは濃淡画像データである、
特徴抽出手段２のエッジ抽出部２１は、フレームメモリ１１から読み出した映像データを微分処理し、エッジヒストグラムを得る。さらに車両エッジ抽出部２２は、多数雑多なエッジの中から他車両の映像に特徴的な車両エッジ対（図２（ｂ）に示すｂ１〜ｂ４を参照）を抽出する。本例では、所定値以上の長さのエッジ、所定の方向に延びるエッジ、所定値以上の濃度を有するエッジを抽出する。ここにいう「所定値」「所定の方向」については特に限定されることなく、適宜決定することができる。
【００６１】
認識対象映像設定手段３は、車両エッジ抽出部２２により抽出された車両エッジ対を基準とする二次元領域を規定し、この二次元領域の映像を、認識対象映像として設定する（ステップ３）。二次元領域は、図７に示すように、抽出されたエッジを任意に組み合わせた車両エッジ対に基づいて規定する。さらに、共通の特徴を有するエッジペアを車両エッジ対として、共通の特徴を有するエッジに基づいて二次元領域を規定してもよい。
【００６２】
認識対象映像の二次元領域が規定されたところで、この二次元領域と同じ領域の映像であって、タイミングＴ０における認識対象映像であるテンプレートが登録されているか否かを確認する（ステップ４）。このテンプレートデータは認識対象映像の経時的変化を求める際の基準となるデータである。テンプレートデータは記憶手段１のテンプレートメモリ１２に登録される。車両エッジ対が新たに抽出されたような場合には、フレームメモリ１１に記憶されている最新の映像データから、新たに規定された車両エッジ対を包含する領域に対応する映像データを抽出し、新たなテンプレートデータとして登録する（ステップ５）。
【００６３】
続いて、画像認識手段４は、認識対象映像設定手段３により設定された認識対象映像の経時的変化を求める。具体的には、画像認識手段４の相関値算出手部４１は、テンプレートメモリ１２からテンプレートデータを読み出し、フレームメモリ１１から認識対象領域に対応する部分の最新の映像であるフレームデータを読み出す。そして、テンプレートデータとフレームデータとの設定された二次元領域内のデータの類似性を示す相関値を算出する（ステップ６）。この相関値の算出は順次撮像された複数のフレームデータについてそれぞれ行われる。順次算出された相関値は、画像認識部４１に送出される。
【００６４】
この相関値の算出に先立ち、相関値算出部４１のテンプレート補正機能４１１を起動させ、フレームデータの映像の大きさに合うように、テンプレートデータの映像の大きさを圧縮又は伸張させてもよい。車両間の距離によって映像の大きさが変化するため、実質的な相関関係を導くために予め映像の大きさを揃えておくことが好ましいからである。
【００６５】
画像認識部４１は、順次受け付けるテンプレートデータとフレームデータとの類似性を示す相関値の経時的相関関係の変化を観察する。具体的には、算出された相関値が所定値よりも高いか低いかを求める（ステップ７）。相関値が所定値よりも高い場合には、テンプレートデータとフレームデータとの相関関係、すなわち類似性は経時的に維持され、認識対象映像は単一の他車両を捉えているものとして他車両を認識することができる（ステップ９）。他方、相関値が所定値よりも低い場合には、認識対象映像は単一の他車両を捉えているとはいえず、他車両を認識することができない（ステップ８）。
【００６６】
このステップ３〜ステップ９のルーチンにより、ある車両エッジ対に基づいて設定された一の認識対象映像に基づく車両認識が行われる。抽出された車両エッジ対の全組み合わせについての認識処理が終了するまで上記処理を繰り返す（ステップ１０）。
【００６７】
フローチャートには表示しないが、この認識の結果は特徴抽出部２２の車両エッジ検証機能２２１へ送出される。車両エッジ検証機能２２１は、抽出した車両エッジ対及び設定された認識領域と車両認識結果とを対応づけて整理する。さらに、車両認識ができなかった車両エッジ対の抽出条件、又は車両認識ができた車両エッジ対の抽出条件を検証する。この検証結果から車両認識に適当な車両エッジ対の抽出条件を導き、車両エッジ抽出部２２の車両エッジ対の抽出条件を更新する。このように、認識結果をフィードバックさせることにより、他車両に特徴的な車両エッジ対を精度良く抽出することができる。
【００６８】
他車両が認識された認識対象映像を規定する領域は、一時的に記憶される。本実施形態の車両認識装置１００は、認識対象映像が他車両を捉えていることを確認する。
【００６９】
このように他車両であることが認識された他車両の映像は、自車両と他車両との位置関係を導く際の基準の映像として位置付けることができる。たとえば、他車両の映像に基づいて、当該他車両と自車両との距離を測定すれば、先行（又は後行）車両との車間距離を測定することができる。
【００７０】
このため車両認識装置１００により他車両であると認識された映像情報は、他車両との車間距離を測る測距システム７や、他車両との位置関係に応じて運転操作を支援する運転支援システム７や、他車両との位置関係を維持しつつ追従走行を制御する自動走行制御システム７において、処理の基準を規定する重要な情報となる。
【００７１】
このため、他車両であると認識された映像情報を測距システム７へ出力し、車間距離その他の車両間の位置関係を求める処理に用いられることが好ましい。また、他車両であると認識された映像情報を運転支援システム７へ出力し、車両間の位置関係（車間距離など）の維持を促す運転支援処理に用いられてもよい。車間距離の測定手法や、所定の車間距離を越えて接近した場合の警報出力の手法、自動減速の手法は、特に限定されない。本実施形態により他車両であると認識された映像情報によれば、車間距離の測定、維持を高い精度で行うことができる。
【００７２】
また、他車両であると認識された映像情報を自動走行制御システム７へ出力し、他車両に近接追従走行させる処理に用いられてもよい。この自動走行制御システム７は、先行車両との位置関係を維持しつつ車両の運転を制御する。本実施形態により他車両であると認識された映像情報によれば、自動走行又は自動走行支援を高い精度で行うことができる。
【００７３】
以上のように構成され、動作するため、本実施形態は以下の効果を奏する。
【００７４】
特徴抽出手段２は、他車両に特徴的なエッジを、雑多なエッジの中から選択的に抽出するため、車両の認識に有意な車両エッジ対を効率よく抽出し、高い確率で車両を捉えた二次元領域を設定することができる。特に、共通の特徴を有するエッジペアを車両エッジ対とすることにより、高い確率で車両を捉えた領域を設定することができる。
【００７５】
また、認識対象設定手段３は、抽出された車両エッジ対を基準とする二次元領域の映像を認識対象映像として設定することから、この認識対象映像に他車両を認識するために必要な特徴点を含めることができ、認識対象映像に基づく認識処理を高い精度で行うことができる。
【００７６】
さらに、画像認識手段４は、設定された認識対象映像の相関関係、類似性，又は相関値の経時的変化から他車両の認識を行う。すなわち、画素単位あるいは微小領域単位ではなく所定の二次元領域を、相関関係、類似性，又は相関値の評価の基準とするため、フローが生じない、または誤ったフローが生じる可能性がある煩雑なテクスチャを持つリア側ボディやリヤガラス面の領域についても、テクスチャの変化を評価することができるので、正確に車両を認識することができる。
【００７７】
特に、認識対象映像の経時的な相関関係の変化、又は認識対象映像の類似性若しくは相関値の経時的変化に基づいて他車両を認識することから、他の手法に比べて少ない演算量において他車両の認識を行うことができる。
【００７８】
さらに、相関値の算出に用いるテンプレートデータ、認識対象映像（フレームメモリ）に、濃淡画像、エッジ画像又はこれらを２値化した２値画像のすくなくともいずれか一つを用いるので相関値算出において扱われるデータ量を低減させることができ、演算量を低減することができる。
【００７９】
また、テンプレート補正機能４１１によりテンプレートを、認識対象映像の領域の大きさに適合するように圧縮・伸張してから相関値を算出するので、車両間（他車両と自車両との間）の距離の変化に伴い他車両の大きさが変化した場合でも、実質的な変化に対応した相関値を算出することができ、正確な認識を行うことができる。
【００８０】
撮像周期を短くすることによって映像データ間での変化量が少なく、抽出されたエッジを正確に追尾することが可能となるので、認識対象映像の領域の基準となる車両エッジ対間の対応付けの一意性を確保することができ、車両エッジ対に基づいて設定される二次元領域が他車両を捉える確率を高くすることができる。
【００８１】
本実施形態では車両認識装置について説明したが、本発明の車両認識方法を使用した場合又は車両認識用プログラムにより動作するコンピュータも同様に作用し、同様の効果を奏する。
【００８２】
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【図面の簡単な説明】
【図１】本発明の車両認識装置の実施形態を示すブロック図である。
【図２】図２（ａ）は撮像装置が撮像した映像を示す図であり、図２（ｂ）は図２（ａ）の映像に表れるエッジを示す図である。
【図３】多数のエッジから車両エッジ対を抽出する、第１抽出例を説明するための図である。
【図４】図４（ａ）〜図４（ｃ）は、多数のエッジから車両エッジ対を抽出する、第２抽出例を説明するための図である。
【図５】図５（ａ）〜図５（ｃ）は、多数のエッジから車両エッジ対を抽出する、第３抽出例を説明するための図である。
【図６】撮像周期が短い場合の作用を説明するための図である。
【図７】認識対象領域の設定の処理を説明するための図である。
【図８】図８（ａ）〜図８（ｃ）は、画像認識処理を説明するための図である。
【図９】認識対象領域の映像から他車両を認識する処理を説明するための図である。
【図１０】相関値の算出例を説明するための図である。
【図１１】本実施形態の車両認識装置の動作を説明するためのフローチャート図である。
【符号の説明】
１００…車両認識装置
１…記憶手段
１１…フレームメモリ
１２…テンプレートメモリ
２…特徴抽出手段
２１…エッジ抽出部
２２…車両エッジ対抽出部
２２１…車両エッジ対検証機能
３…認識対象映像設定手段
４…画像認識手段
４１…相関値算出部
４１１…テンプレート補正機能
４２…画像認識部
５…タイマー
６…撮像装置、ＣＣＤ、ＭＯＳ（撮像手段）
７…外部装置、測距システム、自動走行システム、運転支援システム
【図１】
2004038624.tif 000003
【図２】
2004038624.tif 000004
【図３】
2004038624.tif 000005
【図４】
2004038624.tif 000006
【図５】
2004038624.tif 000007
【図６】
2004038624.tif 000008
【図７】
2004038624.tif 000009
【図８】
2004038624.tif 000010
【図９】
2004038624.tif 000011
【図１０】
2004038624.tif 000012
【図１１】
2004038624.tif 000013