(57)【特許請求の範囲】
【請求項１】
広角レンズを通じて車外環境を撮像した画像データを取得する画像データ取得部と、
前記画像データに基づく画像から予め定められた位置および大きさの部分画像を切り出す画像切出部と、
前記部分画像を垂直方向に圧縮して圧縮画像を生成する画像圧縮部と、
前記圧縮画像における複数のフローベクトルを導出するフローベクトル導出部と、
を備えることを特徴とする車外環境認識装置。
【請求項２】
前記画像圧縮部は、パターンマッチングに必要な垂直方向の最小画素数を、特定物として認識すべき対象の垂直方向の最小画素数で除した値、または、その値より圧縮効果が低い値で圧縮することを特徴とする請求項１に記載の車外環境認識装置。
【請求項３】
前記画像圧縮部は、平均値フィルタまたはメディアンフィルタを用いて前記圧縮画像を生成することを特徴とする請求項１または２のいずれか１項に記載の車外環境認識装置。
【請求項４】
前記フローベクトル導出部が実行するパターンマッチングのブロックの垂直方向の画素数は、特定物として認識すべき対象の垂直方向の最大画素数に基づいて予め決定されることを特徴とする請求項１から３のいずれか１項に記載の車外環境認識装置。
【請求項５】
広角レンズを通じて車外環境を撮像した画像データを取得し、
前記画像データに基づく画像から予め定められた位置および大きさの部分画像を切り出し、
前記部分画像を垂直方向に圧縮して圧縮画像を生成し、
前記圧縮画像におけるフローベクトルを導出することを特徴とする車外環境認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車両外の環境を認識する車外環境認識装置および車外環境認識方法に関する。
【背景技術】
【０００２】
従来、自車両の前方に広角（広画角）カメラを搭載し、かかる広角カメラで撮像した自車両外の環境映像を、車室内のディスプレイに表示して運転者の目視確認を補助する技術が知られている。このような技術では、例えば、制御情報を通じて自車両が一時的に停止したことを検出し、モニタ装置の表示を広角カメラで撮像した環境映像に自動的に切り換える等の制御が為されている。
【０００３】
このような広角カメラを通じた環境映像から、自車両の前方に位置する車両や障害物といった特定物を検出するために、オプティカルフロー等の画像処理技術が検討されている。ここで、オプティカルフローは、画像上の２次元速度ベクトル場、すなわち画像上の特定物の移動に伴う速度場で表される。このような技術では、例えば、所定周期で撮像された時間方向に連続する２枚の画像間において、同一の部位として認識可能な点を特徴点として設定し、この特徴点の移動をベクトル（以下、フローベクトルという。）として算出する。そして撮像した画像内の全領域において、このフローベクトルを算出することで、例えば、自車両が停止した状態におけるフローベクトルの有無のみによって、画像内の特定物の位置および移動方向等の情報を検出することができる。
【０００４】
オプティカルフローでは上記のように自車両が停止している状態において特定物の接近を好適に検出することができるが、走行中において特定物を検出する技術も検討されている。例えば、走行中において、コリジョンコースを走行し、かつ、相対速度が小さい（自車両と速度が近似している）特定物を衝突危険性の高い特定物として検出する技術が開示されている（例えば、特許文献１）。
【０００５】
また、広角カメラで撮像した環境映像を左側方領域と右側方領域とに分け、それぞれの領域において、背景のフローベクトルに反した方向のフローベクトルを特定物として検出する技術が公開されている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−８６０７７号公報
【特許文献２】特許第４２５９３６８号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、上述した従来の技術では、撮像された環境画像全域に対して、フローベクトルを求めているので処理負荷が増大し処理時間の遅延や製造コストの増大を招いていた。
【０００８】
また、従来の技術では、夜間など暗所に対応すべく広角カメラの感度を向上させた場合に、撮像素子内でランダムにノイズが発生し、そのノイズの影響で、フローベクトルの特徴点が誤認識されることがある。すると、実際には存在していない特定物の移動が検出されてしまうといった問題が生じていた。
【０００９】
さらに、潜在的な問題として、特定物としての車両には近似した特徴点が複数存在する場合があり、フローベクトル導出の際、時間方向に連続する２枚の画像間において、対応する特徴点が一意に定まらない、所謂、アパーチャ問題も生じることがあった。
【００１０】
本発明は、このような課題に鑑み、処理負荷を軽減しつつ、ロバスト性を高めて、特定物の検出精度の向上を図ることが可能な、車外環境認識装置および車外環境認識方法を提供することを目的としている。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明の車外環境認識装置は、広角レンズを通じて車外環境を撮像した画像データを取得する画像データ取得部と、画像データに基づく画像から予め定められた位置および大きさの部分画像を切り出す画像切出部と、部分画像を垂直方向に圧縮して圧縮画像を生成する画像圧縮部と、圧縮画像におけるフローベクトルを導出するフローベクトル導出部と、を備えることを特徴とする。
【００１２】
画像圧縮部は、パターンマッチングに必要な垂直方向の最小画素数を、特定物として認識すべき対象の垂直方向の最小画素数で除した値、または、その値より圧縮効果が低い値で圧縮してもよい。
【００１３】
画像圧縮部は、平均値フィルタまたはメディアンフィルタを用いて圧縮画像を生成してもよい。
【００１４】
フローベクトル導出部が実行するパターンマッチングのブロックの垂直方向の画素数は、特定物として認識すべき対象の垂直方向の最大画素数に基づいて予め決定されるとしてもよい。
【００１５】
上記課題を解決するために、本発明の車外環境認識方法は、広角レンズを通じて車外環境を撮像した画像データを取得し、画像データに基づく画像から予め定められた位置および大きさの部分画像を切り出し、部分画像を垂直方向に圧縮して圧縮画像を生成し、圧縮画像におけるフローベクトルを導出することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、処理負荷を軽減しつつ、ロバスト性を高めて、特定物の検出精度の向上を図ることが可能となる。
【図面の簡単な説明】
【００１７】
【図１】環境認識システムの接続関係を示したブロック図である。
【図２】撮像装置で生成される画像を説明するための説明図である。
【図３】車外環境認識装置の概略的な機能を示した機能ブロック図である。
【図４】画像切出部の処理を説明するための説明図である。
【図５】積分系のフィルタリングを説明するための説明図である。
【図６】アパーチャ問題を説明するための説明図である。
【図７】画像圧縮部の処理を説明するための説明図である。
【図８】フローベクトル導出部の処理を説明するための説明図である。
【図９】フローベクトル導出部の処理を説明するための説明図である。
【図１０】車外環境認識方法の処理の流れを示したフローチャートである。
【図１１】画像切出処理を説明するためのフローチャートである。
【図１２】画像圧縮処理を説明するためのフローチャートである。
【図１３】フローベクトル導出処理を説明するためのフローチャートである。
【図１４】グループ化処理を説明するためのフローチャートである。
【発明を実施するための形態】
【００１８】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１９】
（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、自車両１内に設けられた、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。
【００２０】
撮像装置１１０は、広角（広画角）レンズ、および、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方において、水平より少し下方に向けて設けられる。撮像装置１１０は、自車両１の前方に相当する環境を撮像し、３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））からなるカラー画像やモノクロ画像を生成することができる。ここで、広角レンズは、標準レンズに比べ画角（視野角）が比較的広い（例えば、１２０度以上）、または、焦点距離が比較的短いレンズをいい、例えば、広角レンズとして魚眼レンズを用い、撮像装置１１０を中心とする半球状に広がる空間を撮像することができる。ここでは、広角レンズとして魚眼レンズを用いる例を挙げて説明するが、円錐状（アキシコン）プリズム等、様々な広角レンズを用いることもできる。また、レンズの画角を１２０度以上としたのは、十字路またはＴ字路において、自車両１が停止線に停止した場合に、直交する道路の状況まで適切に把握するためである。
【００２１】
図２は、撮像装置１１０で生成される画像を説明するための説明図である。図２を参照して理解できるように、撮像装置１１０で生成された画像（以下、「環境画像」という。）１１２は、円周魚眼レンズを通じて、画像の中心からの距離と角度が比例するように描かれている（等距離射影方式）。したがって、自車両１の走行方向の画像の分解能を維持しつつ、広範囲の環境画像１１２を一度に取得することができる。
【００２２】
また、撮像装置１１０は、環境画像１１２をデータ化した画像データを、例えば１／６０秒毎（６０ｆｐｓ）に連続して生成する。以下の実施形態における各機能部は、このような画像データの更新を契機として各処理を遂行する。したがって、各機能部は、フレーム単位で処理を繰り返すこととなる。
【００２３】
図１に戻って、車外環境認識装置１２０は、撮像装置１１０から画像データを取得し、所謂、パターンマッチングを用いて、オプティカルフローに基づくフローベクトルを導出する。フローベクトルは、画像のエッジ部分（隣り合う画素間で明暗の差分が大きい部分）で特定され易いので、フローベクトルが導出されたブロックは、環境画像１１２においてもエッジとなっていることが多い。
【００２４】
そして、車外環境認識装置１２０は、近似するフローベクトル同士をグループ化して特定物を特定し、特定物の大きさおよびその速度（フローベクトルの大きさ）に基づいて、特定物の種別を判定する。ここで、特定物は、車両、自転車、歩行者、建物、道路、ガードレールといった独立して存在する物である。
【００２５】
例えば、車外環境認識装置１２０は、水平方向に高速に移動している特定物を先行車両と認識する。また、車外環境認識装置１２０は、特定した特定物と衝突する可能性が高いか否かの判定を行うことができる。ここで、衝突の可能性が高いと判定した場合、車外環境認識装置１２０は、その旨、ディスプレイ１３８を通じて運転者に報知するとともに、車両制御装置１３０に対して、その旨を示す情報を出力する。かかる車外環境認識装置１２０の処理に関しては、後ほど詳述する。
【００２６】
車両制御装置１３０は、車外環境認識装置１２０で特定された特定物との衝突を回避する。具体的に、車両制御装置１３０は、操舵の角度を検出する舵角センサ１３２や自車両１の速度を検出する車速センサ１３４等を通じて現在の自車両１の走行状態を取得し、アクチュエータ１３６を制御して先行車両との車間距離を安全な距離に保つ。ここで、アクチュエータ１３６は、ブレーキ、スロットルバルブ、舵角等を制御するために用いられる車両制御用のアクチュエータである。また、車両制御装置１３０は、特定物との衝突が想定される場合、アクチュエータ１３６を制御して自車両１を自動的に制動する。かかる車両制御装置１３０は、車外環境認識装置１２０と一体的に形成することもできる。
【００２７】
本実施形態において、上述した車外環境認識装置１２０は、特に、自車両１前方の左右いずれかの方向（水平方向）から接近する特定物を特定する際の画像処理を工夫することで、その後段の処理負荷を軽減しつつ、ロバスト性を高めて、特定物の検出精度の向上を図る。以下、車外環境認識装置１２０を具体的に説明し、その後で、車外環境認識方法について詳述する。
【００２８】
（車外環境認識装置１２０）
図３は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図３に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。
【００２９】
Ｉ／Ｆ部（画像データ取得部）１５０は、撮像装置１１０や車両制御装置１３０との双方向の情報交換を行うためのインターフェースであり、例えば、撮像装置１１０で生成された画像データを取得する。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持する。また、本実施形態においては、フローベクトルの導出処理におけるパターンマッチングのため、画像データを、少なくとも次のフレームまで一時的に保持する。ここで、データ保持部１５２に記憶された前回のフレームにおける画像データを「前回画像データ」といい、今回のフレームにおける画像データを「今回画像データ」という。
【００３０】
中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０やデータ保持部１５２を制御する。また、本実施形態において、中央制御部１５４は、画像切出部１６０、画像圧縮部１６２、フローベクトル導出部１６４、グループ化部１６６、特定物判定部１６８、衝突判定部１７０、報知部１７２、画像保持部１７４としても機能する。
【００３１】
画像切出部１６０は、Ｉ／Ｆ部１５０が取得した今回画像データに基づく環境画像１１２から予め定められた位置および大きさの部分画像を切り出す。
【００３２】
図４は、画像切出部１６０の処理を説明するための説明図である。図４（ａ）に示すように、環境画像１１２では、広画角の画像を一度に取得できるので、自車両１の前方のみならず、左右いずれかの方向（水平方向）から接近する特定物も特定することが可能となる。しかし、環境画像１１２では、画像の中心からの距離と角度が比例するので、中心からの距離が離れるほど、画像が歪むこととなる。例えば、環境画像１１２における４つの角に近い領域では、実際には水平に延びている物が、環境画像１１２では湾曲して表示され、その端部は垂直方向にも延びているように視認できる。ここで、「水平方向」は、撮像した環境画像１１２の画面横方向を示し、実空間上の水平方向に相当する。また、「垂直方向」は、撮像した環境画像１１２の画面縦方向を示し、実空間上の鉛直方向に相当する。
【００３３】
そこで、画像切出部１６０は、図４（ａ）に示した環境画像１１２のうち、交通環境において特定すべき特定物が存在する領域、すなわち、歪みの少ない環境画像１１２の中央領域と、その水平方向左右の領域とを合わせて切り出し、図４（ｂ）の如く、部分画像１２２を生成する。
【００３４】
画像圧縮部１６２は、切り出された部分画像１２２を垂直方向に圧縮して圧縮画像を生成する。具体的に、画像圧縮部１６２は、垂直方向または水平方向のいずれか一方に連続する予め定められた所定数の画素毎に積分系のフィルタリングを施し、それぞれを１画素で表す。こうして、部分画像１２２の画素数は垂直方向または水平方向に圧縮率（１／所定数）倍で圧縮される。
【００３５】
上記積分系のフィルタリングとしては、平均値フィルタやメディアンフィルタを用いることができる。平均値フィルタは、連続する所定数の画素全ての輝度値を積算し、それを所定数で除算して平均値を導出し、除算した値が圧縮輝度値となる。また、メディアンフィルタは、連続する所定数の画素の輝度値を昇順または降順に並べ換え、順番が真ん中に位置する輝度値（真ん中が２つある場合はその２つの画素の輝度値の平均）を抽出し、抽出した輝度値が圧縮輝度値となる。また、積分系のフィルタリングとしては、かかる場合に限らず、所定数の画素の輝度値の平滑化を図れる既存の様々なフィルタリング技術を用いることができる。以下では、理解を容易にするため、平均値フィルタを用いる例を説明する。
【００３６】
このような積分系のフィルタリングを施すと、撮像素子内でランダムに発生するノイズが他の輝度値に均されることが知られている。すなわち、積分系のフィルタリングを用いることで、画像内のノイズ成分を削減することができる。しかし、積分系のフィルタリングを施すと、隣り合う画素間で明暗の差分が大きいエッジ部分の情報も失われてしまう。かかる理由について図５を用いて説明する。
【００３７】
図５は、積分系のフィルタリングを説明するための説明図である。ここでは、積分系のフィルタリングとしての平均値フィルタが連続する４画素分の輝度値の平均を導出している。例えば、垂直方向の４画素について平均値フィルタを施すと、図５（ａ）のように、垂直方向に延びるエッジは、その情報がそのまま残るが、図５（ｂ）のように、水平方向に延びるエッジは、輝度値が１／４となり、その情報が残らない。一方、水平方向の４画素について平均値フィルタを施すと、図５（ｃ）のように、垂直方向に延びるエッジは、輝度値が１／４となり、その情報が残らないが、図５（ｄ）のように、水平方向に延びるエッジは、その情報がそのまま残る。
【００３８】
したがって、いずれの方向にフィルタリングを行うかによって、一方の方向に延びるエッジの情報を失うこととなる。本実施形態では、水平方向のエッジを敢えて削減し、垂直方向のエッジを残すこととし、垂直方向の平均値フィルタを用いることとする。この理由は以下の通りである。
【００３９】
本実施形態の対象となる、自車両１前方の左右いずれかの方向（水平方向）から接近する特定物としては、車両、自転車、歩行者等が考えられ、それらは、垂直方向にエッジを有することが多い。また、垂直方向の平均値フィルタを用いることで、水平方向のコントラストが高くなり、垂直方向のコントラストが低くなる。そうすると、オプティカルフローのパターンマッチングにおいて垂直方向のエッジが残り易く、特定物の水平方向の移動量を把握し易くなる。さらに、水平方向の分解能が保持されるので、それに伴って、オプティカルフローにおける水平方向の速度ベクトルの分解能が保持されることとなる。また、図４の部分画像１２２の車両（バス）を見て理解できるように、部分画像１２２として切り出された、環境画像１１２の中央領域、および、その水平方向左右の領域においては、垂直方向の情報は維持されているが、水平方向の情報は歪みが大きく、垂直方向の情報と比較して情報量が少なくなる。したがって、上述したように、垂直方向のエッジを残すこととしている。また、以下のアパーチャ問題を回避するため、水平方向のエッジを敢えて削減する。
【００４０】
図６は、アパーチャ問題を説明するための説明図である。仮に、図６（ａ）の部分画像１２２内に存在する特定物２００が、次のフレームにおいて、図６（ｂ）の部分画像１２２のように移動したとする。すなわち、図６（ａ）が前回画像データに相当し、図６（ｂ）が今回画像データに相当する。このとき、当該車外環境認識装置１２０では、フローベクトルを導出するために、前回画像データ中の任意のブロック２０２ａに対応する今回画像データ中のブロックを抽出することとなる。しかし、図６に示すように、水平方向のエッジがその幅を均等にして延びている場合、今回画像データ中にパターンが等しいブロックが複数存在することとなり（例えば、ブロック２０２ｂや２０２ｃ）、対応するブロックを特定することができず、水平方向において誤検出する可能性がある。
【００４１】
また、垂直方向に関しても同様に、垂直方向のエッジがその幅を均等にして延びている場合、前回画像データ中の任意のブロック２０４ａとパターンの等しいブロックが今回画像データ中に複数存在することとなり（例えば、ブロック２０４ｂや２０４ｃ）、対応するブロックを特定することができず、垂直方向において誤検出する可能性がある。
【００４２】
上述したように、本実施形態では、自車両１前方の左右いずれかの方向（水平方向）から接近する特定物を特定することを目的としているので、主として水平方向のフローベクトルを高精度に求める必要がある。ここで、パターンマッチングに関し、アパーチャ問題により、ブロックの垂直方向の移動量を誤検出したとしても、水平方向の移動量を正しく導出できれば、さほどの問題は生じない。しかし、アパーチャ問題により、ブロックの水平方向の移動量を誤検出してしまうと、特定物の水平方向の移動量も正しく把握することができなくなるおそれがある。そこで、本実施形態では、このような水平方向に延びるエッジに対するアパーチャ問題を回避するため、垂直方向の平均値フィルタを用いて、水平方向のエッジを削減する。
【００４３】
図７は、画像圧縮部１６２の処理を説明するための説明図である。上記の理由により、画像圧縮部１６２は、部分画像１２２に対し垂直方向の平均値フィルタを施し、水平方向のエッジを敢えて削減し、垂直方向のエッジを残すこととしている。例えば、図７（ａ）に示す部分画像１２２に垂直方向の平均値フィルタを施すと、図７（ｂ）のように、垂直方向の画素が１／４倍に圧縮され、圧縮画像１２４が生成される。
【００４４】
圧縮画像１２４について、理解を容易にするため、圧縮画像１２４の垂直方向の大きさを単純に４倍した画像を図７（ｃ）に示す。かかる画像を見て理解できるように、水平方向の情報は削減されているが、垂直方向の情報は残っている。このような垂直方向のエッジはその傾斜が垂直から傾けば傾くほど垂直方向の情報が残る確率が小さくなるが、エッジにある程度の幅があれば、厳密に垂直方向に延びていなくても情報は残ることとなる。
【００４５】
このように、積分系のフィルタリングを施すことでノイズ成分を削減し、ロバスト性を高めることができる。また、垂直方向に対してフィルタリングを施しているので、水平方向に延びるエッジの情報が削減され、アパーチャ問題が生じにくくなる。さらに、垂直方向のエッジも結果的に短くなる（１／所定数、になる）ので、対象となる領域が狭まり、その分、アパーチャ問題が生じにくくなる。こうして、特定物の検出精度の向上を図ることが可能となる。
【００４６】
また、後述するフローベクトル導出部１６４では、部分画像１２２を圧縮した圧縮画像１２４を用いてフローベクトルを導出するので、対象となる画像の面積が、部分画像１２２に対して（１／所定数）倍となり、垂直方向の情報を維持しつつ、導出処理等の処理負荷を軽減することも可能となる。
【００４７】
また、上述した例において、画像圧縮部１６２が圧縮する所定数を４としたが、これは、以下の理由による。
【００４８】
部分画像１２２においては、特定物として認識すべき対象の垂直方向の最小画素数が決められている。すなわち、部分画像１２２内で垂直方向の画素数が最小画素数以上となる物体が存在していれば、それを特定物として特定し、特定した特定物と衝突する可能性が高いか否かの判定を行わなければならない。ただし、本実施形態では、フローベクトルの導出に、上述したように、積分系のフィルタリングを施した後の圧縮画像１２４が用いられるので、垂直方向の画素数が（１／所定数）倍になり、上記の特定物も（１／所定数）倍になる。しかし、ナイキストの定理から、少なくとも垂直方向の最小画素数として２画素の情報がないとパターンマッチングを効果的に行うことができない。
【００４９】
そこで、所定数は、特定物として認識すべき対象の垂直方向の最小画素数を除したとしても２画素未満とならないことが条件となる。例えば、本実施形態の垂直方向の最小画素数を８とした場合、圧縮率は、パターンマッチングに必要な垂直方向の最小画素数２を、垂直方向の最小画素数８で除した値２／８＝１／４か、または、その値より圧縮効果が低い値、例えば１／３等となる。したがって、本実施形態では所定数として４を用い（圧縮率１／４）、平均値フィルタは、垂直方向に連続する４つの画素の平均値を導出する。
【００５０】
フローベクトル導出部１６４は、所謂、パターンマッチングを通じて、画像圧縮部１６２が圧縮した圧縮画像１２４における複数のフローベクトルを導出する。
【００５１】
図８および図９は、フローベクトル導出部１６４の処理を説明するための説明図である。フローベクトル導出部１６４は、データ保持部１５２に記憶された前回画像データに基づく図８（ａ）に示した圧縮画像１２４から任意に抽出したブロック（ここでは水平５画素×垂直５画素の配列で構成される）２１０ａに対応する（相関値の高い）ブロック２１０ｂを、今回画像データに基づく図８（ｂ）に示した圧縮画像１２４から検出する（パターンマッチング）。このとき前回画像データに対応するブロック２１０ａから今回画像データに対応するブロック２１０ｂまでの移動軌跡がオプティカルフローにおけるフローベクトルとなる。
【００５２】
かかるパターンマッチングとしては、前回画像データおよび今回画像データ間において、任意の画像位置を示すブロック単位で輝度値を比較することが考えられる。例えば、輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度値から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。車外環境認識装置１２０は、このようなブロック単位のフローベクトル導出処理を圧縮画像１２４（例えば、６００画素×５０画素）に映し出されている全てのブロックについて行う。
【００５３】
ブロック内の画素数は任意に設定することができるが、ここでは、ブロックを水平５画素×垂直５画素としている。これは、本実施形態において、特定物として認識すべき対象の部分画像１２２における垂直方向の最大画素数が２０画素であるので、圧縮画像１２４における垂直方向の最大画素数は２０／４＝５となることに起因する。
【００５４】
このようにして、フローベクトル導出部１６４は、前回画像データに対応する圧縮画像１２４の全てのブロックに対してフローベクトルを図９の如く導出することができる。ここで、図９（ｂ）は図９（ａ）の部分拡大図である。また、ここで、自車両１が停止中であるとすると、図９（ａ）で複数のフローベクトルが導出された特定物（車両に相当）以外の領域では、ブロックが移動しない。すなわち、フローベクトルが０となるので、その領域には、フローベクトルが描かれない。
【００５５】
グループ化部１６６は、隣接するブロック同士のフローベクトルを順次比較し、フローベクトルの方向およびその大きさが近似する（例えば、方向が±４５度以内かつ大きさの差分が１６画素以内である）ブロックをグループ化する。そして、グループ化したブロック群を特定物として特定する。例えば、図９に示したフローベクトルは互いに近似しているので、対象となるブロックをグループ化し、特定物２２０として特定することができる。
【００５６】
特定物判定部１６８は、グループ化部１６６がグループ化したブロック群の接地位置、大きさ、および、そのブロック群の速度に応じて、そのブロック群を構成する特定物の位置、進行方向および速度を判定する。例えば、図９（ｂ）に示したフローベクトルが近似するブロック群を自車両1と直交する方向に移動する車両（ここでは特にバス）と判定する。
【００５７】
衝突判定部１７０は、自車両１の進行方向および速度と、特定した特定物の位置、進行方向および速度とに応じて、自車両１と当該特定物が衝突する可能性が高いか否か判定する。かかる衝突判定については、既存の様々な技術を適用することが可能なので、ここではその詳細な説明を省略する。
【００５８】
報知部１７２は、衝突判定部１７０が衝突の可能性が高いと判定した場合、ブザー（音声出力手段）や警告灯（ディスプレイ１３８）を通じて、その旨、運転者に報知する。また、Ｉ／Ｆ部１５０を通じて、車両制御装置１３０に、その旨を示す情報を出力する。
【００５９】
画像保持部１７４は、データ保持部１５２の前回画像データに今回画像データを上書きする。こうして次のフレームでは、かかる今回画像データを前回画像データとして用いることができる。
【００６０】
（車外環境認識方法）
以下、車外環境認識装置１２０の具体的な処理を図１０〜図１４のフローチャートに基づいて説明する。図１０は、撮像装置１１０から広角レンズを通じて撮像された画像データが送信されたときの割込処理に関する全体的な流れを示し、図１１〜図１４は、その中の個別のサブルーチンを示している。また、ここでは、処理の対象部位として、画像内のブロックまたは画素を挙げている。
【００６１】
当該車外環境認識方法による割込が発生すると、Ｉ／Ｆ部１５０は、撮像装置１１０から送信された今回画像データを取得する（Ｓ３００）。そして、画像切出部１６０は、取得した今回画像データに基づく環境画像１１２（例えば、水平６００画素×垂直５００画素）から予め定められた位置および大きさの部分画像１２２（例えば、水平６００画素×垂直２００画素）を切り出し（Ｓ３０２）、画像圧縮部１６２は、部分画像１２２を垂直方向および水平方向のいずれか一方に圧縮して圧縮画像１２４（例えば、水平６００画素×垂直５０画素）を生成する（Ｓ３０４）。
【００６２】
続いて、フローベクトル導出部１６４は、圧縮画像１２４におけるフローベクトルを導出し（Ｓ３０６）、グループ化部１６６は、隣接するブロック同士のフローベクトルを順次比較して、ブロックをグループ化し、グループ化したブロック群を特定物として特定する（Ｓ３０８）。そして、特定物判定部１６８は、グループ化部１６６がグループ化したブロック群の大きさ、および、そのブロック群の速度に応じて、そのブロック群を構成する特定物の位置、進行方向および速度を判定する（Ｓ３１０）。
【００６３】
衝突判定部１７０は、自車両１の進行方向および速度と、特定した特定物の位置、進行方向および速度とに応じて、自車両１と当該特定物が衝突する可能性が高いか否か判定する（Ｓ３１２）。その結果、特定物と衝突する可能性が高いと判定すると（Ｓ３１２におけるＹＥＳ）、報知部１７２は、衝突の可能性が高い旨、運転者に報知するとともに、車両制御装置１３０に、その旨を示す情報を出力する（Ｓ３１４）。また、特定物と衝突する可能性が高いと判定されなかった場合、ステップＳ３１６に移行する。
【００６４】
最後に、画像保持部１７４は、今回画像データを次回のフレームで前回画像データとして用いるため、データ保持部１５２の前回画像データに今回画像データを上書きする（Ｓ３１６）。以下、上記の画像切出処理Ｓ３０２、画像圧縮処理Ｓ３０４、フローベクトル導出処理Ｓ３０６、グループ化処理Ｓ３０８について具体的に説明する。
【００６５】
（画像切出処理Ｓ３０２）
図１１を参照すると、画像切出部１６０は、画素を特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ４００）。続いて、画像切出部１６０は、垂直変数ｊに「１」を加算するとともに水平変数ｉを初期化（「０」を代入）する（Ｓ４０２）。次に、画像切出部１６０は、水平変数ｉに「１」を加算する（Ｓ４０４）。
【００６６】
画像切出部１６０は、環境画像１１２から垂直方向に予め定められたオフセット量（例えば、１００画素）シフトした画素（ｉ，ｊ＋１００）の輝度値を抽出し、その値を部分画像１２２の画素（ｉ，ｊ）の輝度値とする（Ｓ４０６）。
【００６７】
続いて、画像切出部１６０は、水平変数ｉが部分画像１２２における水平画素の最大値である６００以上であるか否か判定し（Ｓ４０８）、水平変数ｉが最大値未満であれば（Ｓ４０８におけるＮＯ）、ステップＳ４０４からの処理を繰り返す。また、水平変数ｉが最大値以上であれば（Ｓ４０８にけるＹＥＳ）、画像切出部１６０は、垂直変数ｊが部分画像１２２における垂直画素の最大値である２００以上であるか判定する（Ｓ４１０）。そして、垂直変数ｊが最大値未満であれば（Ｓ４１０におけるＮＯ）、ステップＳ４０２からの処理を繰り返す。また、垂直変数ｊが最大値以上であれば（Ｓ４１０におけるＹＥＳ）、当該画像切出処理Ｓ３０２を終了する。こうして、図４に示したように、環境画像１１２の垂直方向にオフセットした位置から部分画像１２２を切り出すことができる。
【００６８】
（画像圧縮処理Ｓ３０４）
図１２を参照すると、画像圧縮部１６２は、画素を特定するための水平変数ｉを初期化（「０」を代入）する（Ｓ４５０）。続いて、画像圧縮部１６２は、水平変数ｉに「１」を加算するとともに垂直変数ｊを初期化（「０」を代入）する（Ｓ４５２）。次に、画像圧縮部１６２は、積分変数Ｓを初期化（「０」を代入）する（Ｓ４５４）。
【００６９】
次に、画像圧縮部１６２は、垂直変数ｊに「１」を加算するとともに部分画像１２２の画素（ｉ，ｊ）の輝度値を積分変数Ｓに加算し（Ｓ４５６）、かかる加算処理が４画素分繰り返されたか否か判定する（Ｓ４５８）。その結果、４画素分繰り返されていない場合（Ｓ４５８におけるＮＯ）、ステップＳ４５６からの処理を繰り返し、４画素分繰り返された場合（Ｓ４５８におけるＹＥＳ）、ステップＳ４６０に移行する。
【００７０】
続いて、画像圧縮部１６２は、部分画像１２２の垂直方向４画素分の平均を求めるべく積分変数Ｓを４で除算し、その値を圧縮画像１２４の画素（ｉ，ｊ／４）の輝度値（圧縮輝度値）とする（Ｓ４６０）。ここで、圧縮画像１２４の垂直変数ｊを４で除算しているのは、圧縮率が１／４なので、圧縮画像１２４の垂直方向の画素数も１／４倍になるからである。
【００７１】
続いて、画像圧縮部１６２は、部分画像１２２における垂直変数ｊが垂直画素の最大値である２００以上であるか否か判定し（Ｓ４６２）、垂直変数ｊが最大値未満であれば（Ｓ４６２におけるＮＯ）、ステップＳ４５４からの処理を繰り返す。また、垂直変数ｊが最大値以上であれば（Ｓ４６２にけるＹＥＳ）、画像圧縮部１６２は、水平変数ｉが部分画像１２２における水平画素の最大値である６００以上であるか否か判定する（Ｓ４６４）。そして、水平変数ｉが最大値未満であれば（Ｓ４６４におけるＮＯ）、ステップＳ４５２からの処理を繰り返す。また、水平変数ｉが最大値以上であれば（Ｓ４６４におけるＹＥＳ）、当該画像圧縮処理Ｓ３０４を終了する。こうして、図７に示したように、部分画像１２２を垂直方向に１／４倍に圧縮した圧縮画像１２４が生成される。
【００７２】
（フローベクトル導出処理Ｓ３０６）
図１３を参照すると、フローベクトル導出部１６４は、ブロックを特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ５００）。続いて、フローベクトル導出部１６４は、垂直変数ｊに「１」を加算すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ５０２）。次に、フローベクトル導出部１６４は、水平変数ｉに「１」を加算する（Ｓ５０４）。ここでは、ブロックを水平５画素×垂直５画素で構成する。
【００７３】
フローベクトル導出部１６４は、前回画像データに対応した圧縮画像１２４のブロック（ｉ，ｊ）と、今回画像データに対応した圧縮画像１２４のブロックとの相関値を導出する（Ｓ５０６）。具体的に、フローベクトル導出部１６４は、前回画像データに対応した圧縮画像１２４のブロック（ｉ，ｊ）を抽出し、かかる前回画像データのブロック（ｉ，ｊ）の位置に相当する、今回画像データに対応した圧縮画像１２４の位置から１フレームの間に特定物が移動可能な最大範囲を設定する。そして、フローベクトル導出部１６４は、かかる最大範囲内で、前回画像データのブロックを１画素ずつ画面右方向にずらしながら両ブロックの相関値を求め、さらに、そのような処理を１画素ずつ画面下方向にずらしながら繰り返す。ただし、相関値を求めるときに比較する領域は、ブロックと一致していてもよいし、ブロックと一致しない、例えばブロックを包含したり、あるいはブロックの一部を含むような形でもよい。かかる処理は、今回画像データの圧縮画像１２４における最大範囲内の全てのブロックで相関値が導出されるまで繰り返される（Ｓ５０８のＮＯ）。最大範囲内の全てのブロックで相関値が導出されると（Ｓ５０８におけるＹＥＳ）、フローベクトル導出部１６４は、前回画像データのブロック（ｉ，ｊ）との相関値が最も大きい今回画像データのブロック（ｉ，ｊ）を抽出し、両ブロックの位置関係からフローベクトル（ブロック間の大きさと方向）を導出する（Ｓ５１０）。
【００７４】
続いて、フローベクトル導出部１６４は、水平変数ｉが圧縮画像１２４の水平ブロックの最大値である１２０以上であるか否か判定し（Ｓ５１２）、水平変数ｉが最大値未満であれば（Ｓ５１２におけるＮＯ）、ステップＳ５０４からの処理を繰り返す。また、水平変数ｉが最大値以上であれば（Ｓ５１２におけるＹＥＳ）、フローベクトル導出部１６４は、垂直変数ｊが圧縮画像１２４の垂直ブロックの最大値である１０以上であるか否か判定する（Ｓ５１４）。そして、垂直変数ｊが最大値未満であれば（Ｓ５１４におけるＮＯ）、ステップＳ５０２からの処理を繰り返す。また、垂直変数ｊが最大値以上であれば（Ｓ５１４におけるＹＥＳ）、当該フローベクトル導出処理Ｓ３０６を終了する。こうして、図９に示したように、圧縮画像１２４にフローベクトルの情報を追加することができる。
【００７５】
（グループ化処理Ｓ３０８）
図１４を参照すると、グループ化部１６６は、ブロックを特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ５５０）。続いて、グループ化部１６６は、垂直変数ｊに「１」を加算すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ５５２）。次に、グループ化部１６６は、水平変数ｉに「１」を加算する（Ｓ５５４）。
【００７６】
次に、グループ化部１６６は、比較対象となるブロックを特定するため垂直変数ｎを初期化（「０」を代入）する（Ｓ５５６）。続いて、グループ化部１６６は、垂直変数ｎに「１」を加算すると共に水平変数ｍを初期化（「０」を代入）する（Ｓ５５８）。次に、グループ化部１６６は、水平変数ｍに「１」を加算する（Ｓ５６０）。
【００７７】
そして、グループ化部１６６は、前回画像データのブロック（ｉ，ｊ）とブロック（ｍ，ｎ）とを比較し、フローベクトルの方向およびその大きさが近似するか否か判定する（Ｓ５６２）。その結果、フローベクトルが近似すると判定されると（Ｓ５６２におけるＹＥＳ）、グループ化部１６６は、そのブロック同士をグループ化してブロック群（特定物）とする（Ｓ５６４）。このとき、いずれか一方または両方のブロックが既に他のブロックと共にブロック群として特定されている場合、そのブロックとブロック群となっている他のブロックも同一のブロック群として特定する。ただし、水平変数ｉ＝ｍかつ垂直変数ｊ＝ｎとなった場合、同一のブロックとなるので当該ステップＳ５６２およびＳ５６４の処理は実行しない。また、フローベクトルが近似していないと（Ｓ５６２におけるＮＯ）、ステップＳ５６６の処理に移行する。
【００７８】
続いて、グループ化部１６６は、水平変数ｍが圧縮画像１２４の水平ブロックの最大値である１２０以上であるか否か判定し（Ｓ５６６）、水平変数ｍが最大値未満であれば（Ｓ５６６におけるＮＯ）、ステップＳ５６０からの処理を繰り返す。また、水平変数ｍが最大値以上であれば（Ｓ５６６にけるＹＥＳ）、グループ化部１６６は、垂直変数ｎが圧縮画像１２４の垂直ブロックの最大値である１０以上であるか否か判定する（Ｓ５６８）。そして、垂直変数ｎが最大値未満であれば（Ｓ５６８におけるＮＯ）、ステップＳ５５８からの処理を繰り返す。また、垂直変数ｎが最大値以上であれば（Ｓ５６８におけるＹＥＳ）、ステップＳ５７０の処理に移行する。
【００７９】
続いて、グループ化部１６６は、水平変数ｉが圧縮画像１２４の水平ブロックの最大値である１２０以上であるか否か判定し（Ｓ５７０）、水平変数ｉが最大値未満であれば（Ｓ５７０におけるＮＯ）、ステップＳ５５４からの処理を繰り返す。また、水平変数ｉが最大値以上であれば（Ｓ５７０におけるＹＥＳ）、グループ化部１６６は、垂直変数ｊが圧縮画像１２４の垂直ブロックの最大値である１０以上であるか否か判定する（Ｓ５７２）。そして、垂直変数ｊが最大値未満であれば（Ｓ５７２におけるＮＯ）、ステップＳ５５２からの処理を繰り返す。また、垂直変数ｊが最大値以上であれば（Ｓ５７２におけるＹＥＳ）、当該グループ化処理Ｓ３０８を終了する。こうして、図９に示すように、フローベクトルが近似するブロック同士を特定物として特定することができる。
【００８０】
以上、説明したような、車外環境認識装置１２０や車外環境認識方法によれば、部分画像１２２を圧縮した圧縮画像１２４を用いてフローベクトルを導出するので、処理負荷を軽減することができる。また、垂直方向に積分系のフィルタリングを施すことで、ノイズ成分を削減する（Ｓ／Ｎ比を向上する）とともに、垂直方向の情報を維持しつつ、水平方向の情報を削減することが可能となる。したがって、アパーチャ問題を回避し、ロバスト性を高めることで、特定物の検出精度の向上を図ることが可能となる。
【００８１】
また、コンピュータを、車外環境認識装置１２０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００８２】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００８３】
例えば、上述した実施形態において、画像切出部１６０、画像圧縮部１６２、フローベクトル導出部１６４、グループ化部１６６、特定物判定部１６８、衝突判定部１７０、報知部１７２、画像保持部１７４は、中央制御部１５４によってソフトウェアで動作するように構成している。しかし、上記の機能部をハードウェアによって構成することも可能である。
【００８４】
なお、本明細書の車外環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００８５】
本発明は、自車両外の環境を認識する車外環境認識装置および車外環境認識方法に利用することができる。
【符号の説明】
【００８６】
１     …自車両
１２０  …車外環境認識装置
１２２  …部分画像
１２４  …圧縮画像
１５０  …Ｉ／Ｆ部（画像データ取得部）
１６０  …画像切出部
１６２  …画像圧縮部
１６４  …フローベクトル導出部
【図１】
0005878808.tif 000002
【図３】
0005878808.tif 000003
【図６】
0005878808.tif 000004
【図１０】
0005878808.tif 000005
【図１１】
0005878808.tif 000006
【図１２】
0005878808.tif 000007
【図１３】
0005878808.tif 000008
【図１４】
0005878808.tif 000009
【図２】
0005878808.tif 000010
【図４】
0005878808.tif 000011
【図５】
0005878808.tif 000012
【図７】
0005878808.tif 000013
【図８】
0005878808.tif 000014
【図９】
0005878808.tif 000015