(57)【要約】【課題】移動領域を分離するための閾値を簡易に設定し、または、閾値を設定することなく、高処理速度かつ高検出精度で移動物を特定する。【解決手段】車外環境認識装置は、第１段階として、部分画像のパターンマッチングにより、所定の大きさのブロックでオプティカルフローを求め移動領域候補を特定し、第２段階として、部分画像の輝度（画像情報）を利用し、移動領域候補を含み移動領域候補より大きい比較領域といった限定された領域において、上記のブロックより小さい領域単位、例えば、画素単位で高精度に移動領域を特定する。また、移動領域候補を重ねて差分をとった第１差分画像２１８と、背景領域を重ねて差分をとった第２差分画像２２４とで輝度の関係が反転することを利用して、移動領域２５２を正確に特定する。【選択図】図１２
2014157394.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置を通じて車外環境を撮像した画像データを取得する画像データ取得部と、
撮像タイミングを異にする２つの画像データに基づき、該画像データが示す画像を分割したブロック毎のフローベクトルを導出するフローベクトル導出部と、
前記フローベクトルのうち移動物とみなすことができるフローベクトルの方向およびその大きさが近似し、かつ、隣接するブロック同士をグループ化し、移動物を示す移動領域の候補である移動領域候補を特定する移動領域候補特定部と、
前記２つの画像データのうち、一方の画像データが示す画像における、前記移動領域候補を含み該移動領域候補より大きい領域である比較領域と、他方の画像データが示す画像における、該比較領域を該移動領域候補のフローベクトル分シフトした領域との画像情報の差分を導出し、第１差分画像を生成する第１差分画像導出部と、
前記２つの画像データのうち、一方の画像データが示す画像における前記比較領域と、他方の画像データが示す画像における、該比較領域と同一の領域との画像情報の差分を導出し、第２差分画像を生成する第２差分画像導出部と、
前記第２差分画像から前記第１差分画像を減算し第３差分画像を生成する差分画像減算部と、
前記第３差分画像の画像情報の分布傾向に基づいて前記移動領域を特定する移動領域特定部と、
を備えることを特徴とする車外環境認識装置。
【請求項２】
前記移動領域候補特定部はブロック単位でグループ化し、
前記移動領域特定部は前記ブロックより小さい領域単位で前記移動領域を特定することを特徴とする請求項１に記載の車外環境認識装置。
【請求項３】
前記移動領域特定部は、前記第３差分画像の各画像情報を画像水平方向または垂直方向に加算したヒストグラムを生成し、その符号によって前記移動領域を特定することを特徴とする請求項１または２に記載の車外環境認識装置。
【請求項４】
前記移動領域特定部は、前記移動領域候補の外枠を探索開始位置として前記移動領域の外枠を探索することを特徴とする請求項１から３のいずれか１項に記載の車外環境認識装置。
【請求項５】
撮像装置を通じて車外環境を撮像した画像データを取得し、
撮像タイミングを異にする２つの画像データに基づき、該画像データが示す画像を分割したブロック毎のフローベクトルを導出し、
前記フローベクトルのうち移動物とみなすことができるフローベクトルの方向およびその大きさが近似し、かつ、隣接するブロック同士をグループ化し、移動物を示す移動領域の候補である移動領域候補を特定し、
前記２つの画像データのうち、一方の画像データが示す画像における、前記移動領域候補を含み該移動領域候補より大きい領域である比較領域と、他方の画像データが示す画像における、該比較領域を該移動領域候補のフローベクトル分シフトした領域との画像情報の差分を導出し、第１差分画像を生成し、
前記２つの画像データのうち、一方の画像データが示す画像における前記比較領域と、他方の画像データが示す画像における、前記比較領域と同一の領域との画像情報の差分を導出し、第２差分画像を生成し、
前記第２差分画像から前記第１差分画像を減算し第３差分画像を生成し、
前記第３差分画像の画像情報の分布傾向に基づいて前記移動領域を特定することを特徴とする車外環境認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車両外の環境を認識する車外環境認識装置および車外環境認識方法にかかり、特に、自車両外の移動物を認識し自車両との衝突判定を行う車外環境認識装置および車外環境認識方法に関する。
【背景技術】
【０００２】
従来、撮像タイミングを異にする２つの画像の差分に基づく第１移動領域と、２つの画像のうち先に撮像された画像で特定されている移動領域を後に撮像された画像中で探索した結果である第２移動領域とを統合して、１の移動領域を特定する技術が知られている（例えば、特許文献１）。かかる技術を応用することで、例えば、車両に搭載した車載カメラによって自車両の前方の道路環境を撮像し、車両前方に存在する移動物を認識することが可能となる。
【０００３】
また、画像中の移動領域とその他の領域とを分離するため、画素値の閾値を用いて移動領域に属するか否かを判定する技術も公開されている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３２３０５０９号公報
【特許文献２】特許第２６２４１１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１のように、先に撮像された画像で特定されている移動領域を後に撮像された画像中で探索する、所謂、パターンマッチングを行う場合、両画像を比較する際のブロックの大きさや隣接するブロック間の距離の設定が難しくなる。ブロックの大きさ等に基づいた処理速度と検出精度とはトレードオフの関係にあり、例えば、ブロックの大きさ等を大きくすると、処理速度は向上するが、検出精度が低下する。一方、ブロックの大きさ等を小さくすると、検出精度は向上するが、処理速度が低下する。リアルタイム処理によって移動物との衝突回避を行うシステムでは、高い処理速度と高い検出精度の両方を実現することが望まれる。
【０００６】
また、特許文献２では、移動領域に属するか否かを、閾値を用いて判定しているが、車外の環境画像は日照条件等に応じて様々に変化するので、画一的な閾値を設定するのは難しく、その閾値を統計的に導出するためにはさらなる処理負荷が生じることとなる。
【０００７】
本発明は、このような課題に鑑み、移動領域を分離するための閾値を簡易に設定し、または、閾値を設定することなく、高処理速度かつ高検出精度で移動物を特定することが可能な、車外環境認識装置および車外環境認識方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の車外環境認識装置は、撮像装置を通じて車外環境を撮像した画像データを取得する画像データ取得部と、撮像タイミングを異にする２つの画像データに基づき、画像データが示す画像を分割したブロック毎のフローベクトルを導出するフローベクトル導出部と、フローベクトルのうち移動物とみなすことができるフローベクトルの方向およびその大きさが近似し、かつ、隣接するブロック同士をグループ化し、移動物を示す移動領域の候補である移動領域候補を特定する移動領域候補特定部と、２つの画像データのうち、一方の画像データが示す画像における、移動領域候補を含み移動領域候補より大きい領域である比較領域と、他方の画像データが示す画像における、比較領域を移動領域候補のフローベクトル分シフトした領域との画像情報の差分を導出し、第１差分画像を生成する第１差分画像導出部と、２つの画像データのうち、一方の画像データが示す画像における比較領域と、他方の画像データが示す画像における、比較領域と同一の領域との画像情報の差分を導出し、第２差分画像を生成する第２差分画像導出部と、第２差分画像から第１差分画像を減算し第３差分画像を生成する差分画像減算部と、第３差分画像の画像情報の分布傾向に基づいて移動領域を特定する移動領域特定部と、を備えることを特徴とする。
【０００９】
移動領域候補特定部はブロック単位でグループ化し、移動領域特定部はブロックより小さい領域単位で移動領域を特定してもよい。
【００１０】
移動領域特定部は、第３差分画像の各画像情報を画像水平方向または垂直方向に加算したヒストグラムを生成し、その符号によって移動領域を特定してもよい。
【００１１】
移動領域特定部は、移動領域候補の外枠を探索開始位置として移動領域の外枠を探索してもよい。
【００１２】
上記課題を解決するために、本発明の車外環境認識方法は、撮像装置を通じて車外環境を撮像した画像データを取得し、撮像タイミングを異にする２つの画像データに基づき、画像データが示す画像を分割したブロック毎のフローベクトルを導出し、フローベクトルのうち移動物とみなすことができるフローベクトルの方向およびその大きさが近似し、かつ、隣接するブロック同士をグループ化し、移動物を示す移動領域の候補である移動領域候補を特定し、２つの画像データのうち、一方の画像データが示す画像における、移動領域候補を含み移動領域候補より大きい領域である比較領域と、他方の画像データが示す画像における、比較領域を移動領域候補のフローベクトル分シフトした領域との画像情報の差分を導出し、第１差分画像を生成し、２つの画像データのうち、一方の画像データが示す画像における比較領域と、他方の画像データが示す画像における、比較領域と同一の領域との画像情報の差分を導出し、第２差分画像を生成し、第２差分画像から第１差分画像を減算し第３差分画像を生成し、第３差分画像の画像情報の分布傾向に基づいて移動領域を特定することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、移動領域を分離するための閾値を簡易に設定し、または、閾値を設定することなく、高処理速度かつ高検出精度で移動物を特定することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】環境認識システムの接続関係を示したブロック図である。
【図２】撮像装置で生成される画像を説明するための説明図である。
【図３】部分画像を説明するための説明図である。
【図４】移動領域候補の特定処理を説明するための説明図である。
【図５】フレーム間差分処理を説明するための説明図である。
【図６】フレーム間差分処理を説明するための説明図である。
【図７】フレーム間差分処理を説明するための説明図である。
【図８】車外環境認識装置の概略的な機能を示した機能ブロック図である。
【図９】フローベクトル導出部の処理を説明するための説明図である。
【図１０】第１差分画像導出部の動作を説明するための説明図である。
【図１１】第２差分画像導出部の動作を説明するための説明図である。
【図１２】第３差分画像を説明するための説明図である。
【図１３】画素の輝度の具体的な減算処理を説明するための説明図である。
【図１４】移動領域特定部の動作を説明するための説明図である。
【図１５】車外環境認識方法の全体的な処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１６】
本実施形態では、自車両の前方に位置する移動物を検出する画像処理技術としてオプティカルフローを用いる。ここで、移動物は、車両、自転車、歩行者といった独立して移動する物を示し、オプティカルフローは、画像上の２次元速度ベクトル場、すなわち画像上の移動物の移動に伴う速度場で表したものである。かかるオプティカルフローでは、例えば、所定周期で撮像された時間方向に連続する２枚の画像間において、同一の部位として認識可能な特徴点の移動をベクトル（以下、「フローベクトル」という。）として算出している。そして撮像した画像内の全領域において、このフローベクトルを算出することで、例えば、自車両が停止した状態におけるフローベクトルの有無のみによって、画像内の移動物の位置および移動物の移動速度や移動方向等の情報を検出することができる。
【００１７】
（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、自車両１内に設けられた、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。
【００１８】
撮像装置１１０は、広角（広画角）レンズ、および、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方において、光軸を水平より少し下方に向けて設置される。撮像装置１１０は、自車両１の前方に相当する環境を撮像し、３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））からなるカラー画像やモノクロ画像を生成することができる。ここで、広角レンズは、標準レンズに比べ画角（視野角）が比較的広い（例えば、１２０度以上）、または、焦点距離が比較的短いレンズをいい、例えば、広角レンズとして魚眼レンズを用い、撮像装置１１０を中心とする半球状に広がる空間を撮像することができる。
【００１９】
なお、本実施形態の撮像装置１１０の射影方式は、立体射影を用いているが、例えば、透視射影等、既存の様々な射影方法を採用することができる。ここでは、広角レンズとして魚眼レンズを用いる例を挙げて説明するが、円錐状（アキシコン）プリズム等、様々な広角レンズを用いることもできる。また、レンズの画角を１２０度以上としたのは、十字路またはＴ字路において、自車両１が停止線に停止した場合に、直交する道路の状況まで適切に把握させるためである。
【００２０】
図２は、撮像装置１１０で生成される画像を説明するための説明図である。図２を参照して理解できるように、撮像装置１１０で生成された画像（以下、「環境画像」という。）２００は、円周魚眼レンズを通じて、画像の中心からの距離に対して角度が単調増加するように描かれている（立体射影方式）。したがって、自車両１の進行方向の画像の分解能を維持しつつ、広範囲の環境画像２００を一度に取得することができる。
【００２１】
また、撮像装置１１０は、環境画像２００をデータ化した画像データを、例えば１／１０秒毎（１０ｆｐｓ）に連続して生成する。以下の実施形態における各機能部は、このような画像データの更新を契機として各処理を遂行する。したがって、各機能部は、フレーム単位で処理を繰り返すこととなる。
【００２２】
車外環境認識装置１２０は、撮像装置１１０から、環境画像２００を示す画像データを取得し、撮像タイミングの異なる２つの画像データからパターンマッチングを用いて、オプティカルフロー技術に基づくフローベクトルを導出する。ただし、車外環境認識装置１２０では、環境画像２００中の必要な部分のみ切り出した部分画像を利用してフローベクトルを導出する。
【００２３】
図３は、部分画像２０２を説明するための説明図である。上述したように、図２に示した環境画像２００では、広画角の画像を一度に取得できるので、自車両１の前方のみならず、左右いずれの方向（水平方向）から接近する移動物も特定することが可能となる。しかし、環境画像２００では、画像の中心からの距離と角度がおよそ比例するので、中心からの距離が離れるほど、画像が歪むこととなる。例えば、図２の環境画像２００における４つの角に近い領域では、実際には水平に延びている物が、環境画像２００では湾曲して表示され、その端部は垂直方向の成分を含んでいるように視認され得る。ここで、「水平」は、撮像した環境画像２００の画面横方向を示し、「垂直」は、撮像した環境画像２００の画面縦方向を示す。
【００２４】
そこで、車外環境認識装置１２０は、図２に示した環境画像２００のうち、交通環境において特定すべき移動物が存在する、図２中破線で示した領域、すなわち、歪みの少ない環境画像２００の中央領域と、その水平方向左右の領域とを合わせた、図３に示す部分画像２０２を切り出す。そして、その部分画像２０２に対してオプティカルフローに基づくフローベクトルを導出する。
【００２５】
続いて、車外環境認識装置１２０は、部分画像２０２のフローベクトルおよび各画素の輝度（画像情報）を用いて、部分画像２０２中から、移動物に対応する移動領域を特定する。かかる移動領域の特定処理は本実施形態の特徴的な部分なので後程詳述する。
【００２６】
また、車外環境認識装置１２０は、このように移動領域が特定されると、その移動領域の画像上の位置に基づいて、移動物の自車両１からの距離や、距離を含む３次元位置、および、移動物の大きさを推定する。これは、以下の関係を用いている。すなわち、撮像装置１１０を自車両１の前方先端かつ車幅方向の中央に位置させ、撮像方向を進行方向と等しく、また、主軸が水平方向かそれより下向きになるように設置した場合、画像上には自車両１前方の地面（地表面）が映し出される。自車両１と地面との位置関係は、自車両１の挙動や地面の形状等により瞬時的には変化するものの、定常的には一定の位置関係となり、その位置関係は撮像装置１１０を車両に搭載した時の設置条件から求めることができる。したがって、移動物の位置、具体的には、移動物の接地点を特定できれば、その移動物の自車両１からの距離や大きさを導出したり、大凡の３次元位置を特定することが可能となる。かかる距離の導出処理や３次元位置の特定処理は、様々な公知技術を適用できるので、ここでは、その説明を省略する。
【００２７】
また、移動物の３次元位置を特定すると、車外環境認識装置１２０は、移動領域を参照して移動物を追跡し、また、その移動物と自車両１とが衝突する可能性が高いか否かの判定を行う。ここで、衝突の可能性が高いと判定した場合、車外環境認識装置１２０は、その旨、運転者の前方に設置されたディスプレイ１２２を通じて運転者に警告表示（報知）を行うとともに、車両制御装置１３０に対して、その旨を示す情報を出力する。
【００２８】
図１に戻って説明すると、車両制御装置１３０は、車外環境認識装置１２０で特定された移動物との衝突を回避する。具体的に、車両制御装置１３０は、操舵の角度を検出する舵角センサ１３２や、自車両１の速度を検出する速度センサ１３４等を通じて現在の自車両１の走行状態を取得し、アクチュエータ１３６を制御して先行車両との車間距離を安全な距離に保つ。ここで、アクチュエータ１３６は、ブレーキ、スロットルバルブ、舵角等を制御するために用いられる車両制御用のアクチュエータである。また、車両制御装置１３０は、移動物との衝突が想定される場合、アクチュエータ１３６を制御して自車両１を自動的に制動する。かかる車両制御装置１３０は、車外環境認識装置１２０と一体的に形成することもできる。
【００２９】
（移動領域の特定）
上述したように、パターンマッチングを用いて移動領域を特定する場合、撮像タイミングの異なる２つの画像を比較する際のブロックの大きさや隣接するブロック間の距離の設定は難しく、処理速度と検出精度との一方を優先させると他方が劣化する。また、車外の部分画像２０２は日照条件等に応じて様々に変化するので、移動領域であるか、それ以外の領域であるかを判定するための閾値を画一的に設定するのは困難である。
【００３０】
そこで、本実施形態では、２段階の処理を経由して移動領域を特定する。まず、第１段階として、部分画像２０２を用い、所定の大きさのブロックでオプティカルフローを求め、移動領域の候補である移動領域候補を特定する。
【００３１】
本実施形態においては、フローベクトルを導出するためのパターンマッチングを行うべく、前回フレームで取得した画像データを、少なくとも今回のフレームまで一時的に保持する。ここで、前回のフレームにおける画像データを「前回画像データ」といい、今回のフレームにおける画像データを「今回画像データ」という。そして、前回画像データが示す画像中の任意のブロックと相関値の高いブロックが、今回画像データが示す画像に含まれる場合、そのブロック同士を結んだベクトルがフローベクトルとなる。
【００３２】
図４は、移動領域候補２１２の特定処理を説明するための説明図である。例えば、自車両１が直進すると、図４のように、部分画像２０２における背景に対応する領域（以下、「背景領域」という。）２１０では、部分画像２０２の中央から外側に向かうフローベクトルが生じる。このとき、部分画像２０２上に画像の外側から中央に向かうフローベクトルがあれば、そこには撮像装置１１０の前側方より自車両１に接近している物体が映っているとみなすことができる。このようなフローベクトルを有するブロック群を移動領域候補２１２とする。
【００３３】
ただし、第１段階では、構成する画素数が比較的多い（例えば、水平８画素×垂直８画素）ブロック単位でフローベクトルを導出しているので、移動領域候補２１２を特定する処理速度は高いものの、移動領域候補２１２の外枠が実際の移動物を示すとは限らない。すなわち、まだ、検出精度は低いといえる。
【００３４】
そして、第２段階として、部分画像２０２の輝度（画像情報）を利用し、移動領域候補２１２を含み移動領域候補２１２より大きい比較領域といった限定された領域において、上記のブロックより小さい領域単位、例えば、画素単位で高精度に移動領域を特定する。ここで、比較領域を移動領域候補２１２より大きくとるのは、移動領域候補２１２が真の移動領域を包含していない場合にも対応できるようにするためである。ここでは、処理対象を比較領域に限定することで処理速度を高め、かつ、小さい領域単位といった高い検出精度で移動領域を特定できる。こうして、高処理速度と高検出精度とを同時に実現することができる。
【００３５】
また、閾値の設定が難しい問題は、以下のように対応する。すなわち、連続するフレームで撮像された２つの画像の差分をとるフレーム間差分処理を２つの観点で実行する。
【００３６】
図５〜図７は、フレーム間差分処理を説明するための説明図である。図５（ａ）は、今回画像データが示す画像を、図５（ｂ）は、前回画像データが示す画像を表している。上述した第１段階で図５（ａ）の如く今回画像データが示す画像中の移動領域候補２１２が特定されるので、移動領域候補２１２を含み移動領域候補２１２より大きい比較領域２１４も特定される。
【００３７】
フレーム間差分処理の第１の観点は、図６（ａ）に示す今回画像データが示す画像における比較領域２１４と、図６（ｂ）に示す前回画像データが示す画像において、比較領域２１４を移動領域候補２１２のフローベクトル分シフトした領域２１６との画像情報の差分を導出し、図６（ｃ）の如く第１差分画像２１８を生成することである。
【００３８】
この場合、移動領域候補２１２に相当する画像が重なり、その背景領域２１０に相当する画像がずれる。したがって、図６（ｃ）においてクロスハッチングしたように移動領域候補２１２に相当する領域では輝度の差分の絶対値が小さくなり、図６（ｃ）において白で塗りつぶしたように背景領域２１０では輝度の差分の絶対値が大きくなる。
【００３９】
フレーム間差分処理の第２の観点は、図７（ａ）に示す今回画像データが示す画像における比較領域２１４と、図７（ｂ）に示す前回画像データが示す画像における、図７（ａ）の比較領域２１４と同一の領域２２２との画像情報の差分を導出し、図７（ｃ）に示す第２差分画像２２４を生成することである。
【００４０】
この場合、背景領域２１０に相当する画像が重なり、移動領域候補２１２に相当する画像がずれる。したがって、図７（ｃ）において白で塗りつぶしたように移動領域候補２１２に相当する領域では輝度の差分の絶対値が大きくなり、図７（ｃ）においてクロスハッチングしたように背景領域２１０では輝度の差分の絶対値が小さくなる。
【００４１】
本実施形態では、上記２つの観点で生成した図６（ｃ）の第１差分画像２１８と図７（ｃ）の第２差分画像２２４との輝度が反転することを利用して、移動領域を特定する。すなわち、比較領域２１４内の各輝度を比較し、第１差分画像２１８より第２差分画像２２４の方が輝度の絶対値が大きい画素は、移動領域とみなすことができ、第１差分画像２１８より第２差分画像２２４の方が輝度の絶対値が小さい画素は、移動領域以外の例えば背景領域２１０とみなすことができる。したがって、真の移動領域と、移動領域以外の領域とを、±０の画一的な閾値を用いて分離したり、または、閾値を設定することなくどちらの輝度の絶対値が大きいか否かのみによって分離することができる。以下に、このような処理を実現するための車外環境認識装置１２０を具体的に説明し、その後で、車外環境認識方法について詳述する。
【００４２】
（車外環境認識装置１２０）
図８は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図８に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。
【００４３】
Ｉ／Ｆ部１５０は、撮像装置１１０や車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持する。また、データ保持部１５２は、画像内の各ブロック、または、各画素それぞれに対し１の３次元位置が対応付けられたテーブルや、撮像装置１１０から受信した画像データ（前回画像データ）を一時的に保持する。
【００４４】
中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０やデータ保持部１５２を制御する。また、本実施形態において、中央制御部１５４は、画像データ取得部１６０、画像切出部１６２、フローベクトル導出部１６４、移動領域候補特定部１６６、第１差分画像導出部１６８、第２差分画像導出部１７０、差分画像減算部１７２、移動領域特定部１７４、移動物状態導出部１７６、衝突判定部１７８、報知部１８０、画像保持部１８２等の機能部としても機能する。
【００４５】
画像データ取得部１６０は、Ｉ／Ｆ部１５０を通じて撮像装置１１０から車外環境を撮像した画像データを取得する。
【００４６】
画像切出部１６２は、画像データ取得部１６０が取得した今回画像データに基づく図２に示したような環境画像２００から、予め定められた位置および大きさの図３に示したような部分画像２０２を切り出す。
【００４７】
フローベクトル導出部１６４は、撮像タイミングを異にする２つの画像データ（前回画像データと今回画像データ）に基づき、所謂、パターンマッチングを通じて、画像切出部１６２が切り出した部分画像２０２を分割したブロック毎のフローベクトルを導出する。ここでは、予め定められたブロックの大きさや隣接するブロック間の距離が設定される。かかるブロックの大きさ等は、検出すべき移動領域の下限の大きさや、最低限必要な分解能等に基づいて決定される。
【００４８】
図９は、フローベクトル導出部１６４の処理を説明するための説明図である。フローベクトル導出部１６４は、データ保持部１５２に記憶された前回画像データに基づく図９（ａ）に示した部分画像２０２から任意に抽出したブロック２３０ａに対応する（相関値の高い）ブロック２３０ｂを、今回画像データに基づく図９（ｂ）に示した部分画像２０２から検出する（パターンマッチング）。このとき前回画像データに対応するブロック２３０ａから今回画像データに対応するブロック２３０ｂまでの、図９（ｂ）中、矢印で示す移動軌跡がオプティカルフローにおけるフローベクトルとなる。
【００４９】
かかるパターンマッチングとしては、前回画像データおよび今回画像データ間において、任意の画像位置を示すブロック単位で輝度を比較することが考えられる。例えば、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。車外環境認識装置１２０は、このようなブロック単位のフローベクトル導出処理を部分画像２０２（例えば、６４０画素×１２８画素）に映し出されている全てのブロックについて行う。また、ブロック内の画素数は任意に設定することができるが、ここでは、ブロックを水平８画素×垂直８画素としている。
【００５０】
このようにして、フローベクトル導出部１６４は、図９（ｃ）の如く、今回画像データに対応する部分画像２０２のフローベクトルを導出することができる。かかる矢印の長さがフローベクトルの大きさ、矢印の向きがフローベクトルの向きを示す。また、フローベクトルは、本来、導出単位である、例えば、所定数の画素で構成されたブロックと同数あるが、ここでは、理解を容易にするためフローベクトルの数を制限して表している。フローベクトルの導出方法は、上記以外にも様々な公知技術を適用できる。
【００５１】
移動領域候補特定部１６６は、フローベクトル導出部１６４が導出したフローベクトルのうち移動物とみなすことができるフローベクトルの方向およびその大きさが近似し、かつ、隣接するブロック同士をグループ化し、移動領域の候補である移動領域候補２１２を特定する。
【００５２】
例えば、フローベクトルは、画像中の特徴点の移動によって生成されるので、自車両１の移動に伴い、図９（ｃ）に示したように、移動領域候補２１２のみならず、背景領域２１０にもフローベクトルが生じる。また、本実施形態では、広角レンズが用いられているので、部分画像２０２の中心と比較して側方にずれるに連れて、背景領域２１０のフローベクトルの大きさが大きくなっているのが分かる。
【００５３】
また、撮像装置１１０を自車両１の前方先端かつ車幅方向の中央に位置させ、撮像方向を進行方向と等しくなるように設置した場合、図９（ｃ）に示すように、背景領域２１０のフローベクトルの水平方向の向きは、部分画像２０２の水平方向の中央に垂直に延長した中央基準線２４０を境に左右で反転する。
【００５４】
このとき、図９（ｃ）に示した部分画像２０２を、中央基準線２４０を基準に、左側領域と右側領域とに分けると、背景領域２１０のフローベクトルが中央基準線２４０から遠ざかる方向に生じる。これに対し、自車両１に接近する移動物に対応する移動領域候補２１２のフローベクトルは中央基準線２４０に近づく方向に生じているのが分かる。
【００５５】
そこで、中央基準線２４０に従い水平方向に領域を二分し、左側領域において右方向を向いているフローベクトル、または、図９（ｃ）の如く、右側領域において左方向を向いているフローベクトルを検出し、それらを移動領域候補２１２のフローベクトルとみなすことができる。
【００５６】
そして、移動領域候補特定部１６６は、移動領域候補２１２とみなせるフローベクトルから隣接するブロック同士のフローベクトルを順次比較し、フローベクトルの方向およびその大きさが近似する（例えば、方向が±３０度以内かつ大きさの差分が８画素以内である）ブロックをグループ化する。そして、グループ化したブロック群を移動領域候補２１２とする。このような移動領域候補２１２の特定方法は、上記以外にも様々な公知技術を適用できる。
【００５７】
第１差分画像導出部１６８は、今回画像データが示す画像における移動領域候補２１２を含み移動領域候補２１２より大きい比較領域２１４を設定する。比較領域２１４の大きさは真の移動領域を包含できる大きさであれば足り、例えば、移動領域候補２１２より水平方向の左右、垂直方向の上下それぞれが、フローベクトル導出部１６４の処理における１ブロック分大きいとしてもよい。そして、第１差分画像導出部１６８は、今回画像データが示す画像における比較領域２１４と、前回画像データが示す画像における、比較領域２１４を移動領域候補２１２のフローベクトル分シフトした領域２１６との画素の差分を導出し、第１差分画像２１８を生成する。ここでは、差分を導出する単位は、フローベクトル導出部１６４の処理におけるブロック単位より小さい領域、例えば、画素単位である。
【００５８】
図１０は、第１差分画像導出部１６８の動作を説明するための説明図である。第１差分画像導出部１６８は、図１０（ａ）に示す今回画像データが示す画像における比較領域２１４と、図１０（ｂ）に示す前回画像データが示す画像において、図１０（ａ）の比較領域２１４を移動領域候補２１２のフローベクトル分シフトした領域２１６との画像情報の差分を導出し、図１０（ｃ）の如く第１差分画像２１８を生成する。ただし、比較領域２１４とシフトした領域２１６はその大きさが等しい。また、シフトするフローベクトルは、移動領域候補２１２を構成するブロック全てのフローベクトルの平均値をとってもよいし、メディアンをとってもよい。
【００５９】
ここでは、移動領域に相当する画像が重なり、その背景領域２１０に相当する画像がずれる。したがって、図１０（ｃ）においてハッチングしたように移動領域に相当する領域では輝度の差分の絶対値が小さくなり、図１０（ｃ）において白で塗りつぶしたように背景領域２１０では輝度の差分の絶対値が大きくなる。
【００６０】
第２差分画像導出部１７０は、今回画像データが示す画像における比較領域２１４と、前回画像データが示す画像における、比較領域２１４と同一の領域２２２との画素の差分を導出し、第２差分画像２２４を生成する。
【００６１】
図１１は、第２差分画像導出部１７０の動作を説明するための説明図である。第２差分画像導出部１７０は、図１１（ａ）に示す今回画像データが示す画像における比較領域２１４と、図１１（ｂ）に示す前回画像データが示す画像における、比較領域２１４と同一の領域２２２との画素の差分を導出し、図１１（ｃ）の如く第２差分画像２２４を生成する。
【００６２】
ここでは、背景領域２１０に相当する画像が重なり、移動領域に相当する画像がずれる。したがって、図１１（ｃ）において白で塗りつぶしたように移動領域に相当する領域では輝度の差分の絶対値が大きくなり、図１１（ｃ）においてハッチングしたように背景領域２１０では輝度の差分の絶対値が小さくなる。
【００６３】
ただし、自車両１の移動に伴い、撮像装置１１０が移動すると、前回画像データと今回画像データとでは厳密には背景領域２１０が異なることとなる。ここで、背景が十分遠方にあり、撮像装置１１０が１０ｋｍ／ｈで直進している場合、フレーム間の背景の変化が小さくなる。また、撮像装置１１０が１０ｋｍ／ｈより速かったり、旋回を伴って移動する場合、速度と角速度とに基づいて前回画像データの画像の切り出し位置を補正することで、背景領域２１０の変化を小さくすることができる。
【００６４】
差分画像減算部１７２は、第２差分画像２２４から第１差分画像２１８を減算し第３差分画像を生成する。
【００６５】
図１２は、第３差分画像２５０を説明するための説明図である。図１２に示す第３差分画像２５０では、真の移動領域２５２に相当する画素は、第１差分画像２１８より第２差分画像２２４の方が輝度の絶対値が大きく、すなわち、第３差分画像２５０の輝度が正の値となり、真の背景領域２１０に相当する画素は、第１差分画像２１８より第２差分画像２２４の方が輝度の絶対値が小さく、すなわち、第３差分画像２５０の輝度が負の値になる。したがって、第３差分画像２５０は、輝度の符号に応じて正負（＋１、−１）の２値で表すことができる。こうして、画素の輝度の正負（絶対値の大小）のみによって、移動領域を適切に分離することが可能となる。
【００６６】
図１３は、画素の輝度の具体的な減算処理を説明するための説明図である。差分画像減算部１７２は、画素単位で第２差分画像２２４から第１差分画像２１８を減算するため、単純に減算するだけでは、ランダムノイズの影響を受けてしまう。そこで、各画素の輝度の大小比較を行う際には注目画素２５４とその近傍の８画素２５６の輝度の合計値や平均値同士の差分をとることで、ノイズの影響を抑制する。
【００６７】
移動領域特定部１７４は、第３差分画像２５０の画像情報の分布傾向に基づいて移動領域を特定する。ここで、分布傾向は、画像情報の偏りや出現傾向をいう。
【００６８】
図１４は、移動領域特定部１７４の動作を説明するための説明図である。図１４（ａ）は第３差分画像２５０を示し、その最外の四角は比較領域２１４と大きさが等しい。また、点線で示した領域が移動領域候補２１２であり、中央の白で塗りつぶした領域が真の移動領域２５２である。ここでは、水平方向の画素の座標をｘ軸とし、垂直方向の画素の座標をｙ軸とする。
【００６９】
移動領域特定部１７４は、移動領域２５２を特定するために、第３差分画像２５０の各画素の値（２値）を加算し、その合計値をヒストグラムで示す。例えば、ｘ軸上の各画素に対し、比較領域２１４内のｙ軸方向（垂直方向）の画素の値を全て加算すると、図１４（ｂ）に示すｘ軸に関するヒストグラムが生成される。ｙ軸上の各画素に対し、比較領域２１４内のｘ軸方向（水平方向）の画素の値を全て加算すると、図１４（ｃ）に示すｙ軸に関するヒストグラムが生成される。
【００７０】
図１４（ｂ）を参照して理解できるように、ｘ軸のヒストグラムにおいて、移動領域２５２に相当する画素では、背景領域２１０としての負の値（−１）も加算されるが、正の値（＋１）が多く加算されるため、その合計値は正の値をとることが多い。一方、背景領域２１０に相当する画素では、負の値（−１）のみが加算されるため、その合計値は負の値をとることとなる。したがって、合計値の符号が反転する画素を移動領域２５２の外枠とすることができる。ｙ軸のヒストグラムにおいても、ｘ軸のヒストグラムと同様の処理により、移動領域２５２の外枠を得ることができる。ただし、移動領域２５２内の画素が全て正の値をとるものではないので、ヒストグラムの合計値は多少ムラが生じる場合がある。こうして、図１４（ｄ）のように真の移動領域２５２を示す矩形の枠が求められる。
【００７１】
ここでは、移動領域２５２と比較領域２１４との大きさが異なるため、ｘ軸のヒストグラムやｙ軸のヒストグラムにおける移動領域２５２に相当する画素の値の合計値が明確に正の値をとらない場合がある。この場合、移動領域２５２を仮に特定した後、その移動領域２５２より少し大きい領域（比較領域２１４より小さい領域）を対象として、さらにｘ軸のヒストグラムやｙ軸のヒストグラムを計算することで、真の移動領域２５２を絞り込むことができる。
【００７２】
また、真の移動領域２５２は、移動領域候補２１２と近似すると考えられるので、移動領域特定部１７４は、移動領域候補２１２の外枠を探索開始位置として移動領域２５２の外枠を探索してもよい。こうすることで、移動領域２５２を迅速に特定することができ、より処理時間を短縮することが可能となる。
【００７３】
また、図１２を参照して理解できるように、第１差分画像２１８における移動領域２５２と比較して第２差分画像２２４における移動領域２５２の方が、移動領域候補２１２のフローベクトルの分だけ水平方向に長くなる。したがって、かかる部位については、移動領域２５２を十分に特定できないおそれがある。しかし、後述するように、移動領域２５２として正確に特定すべきは、移動領域２５２の垂直下部なので、水平方向の特定精度の低下は問題にならない。
【００７４】
また、移動領域特定部１７４は、移動領域候補特定部１６６の処理単位であるブロックより小さい領域単位（ここでは画素）で移動領域を特定しているので、比較領域２１４といった限定された領域において高精度に移動領域を特定することが可能となる。
【００７５】
図８に戻り説明すると、移動物状態導出部１７６は、画像上の地面を示す地面領域における移動領域２５２の接地点に基づいて、移動領域２５２が示す移動物の自車両１からの距離、大きさ、３次元位置を導出する。例えば、データ保持部１５２は、画像内の各ブロック、または、各画素それぞれに対し１の３次元位置が対応付けられたテーブルを予め保持し、移動物状態導出部１７６は、かかるテーブルを参照して、移動物の接地点（移動領域２５２の垂直下部）に対応する３次元位置を特定する。また、移動物状態導出部１７６は、移動領域２５２の大きさと、移動領域２５２に対応する移動物の距離との予め定められた関係式によって、移動物の大きさを特定する。本実施形態では、移動領域２５２が適切に特定されるので、その接地点の位置が正確に特定され、移動物の自車両１からの距離や移動物の大きさを正確に導出することができる。
【００７６】
衝突判定部１７８は、自車両１の進行方向および速度と、特定した移動物の位置、進行方向および速度とに応じて、自車両１と当該移動物が衝突する可能性が高いか否か判定する。かかる衝突判定については、既存の様々な技術を適用することが可能なので、ここではその詳細な説明を省略する。
【００７７】
報知部１８０は、衝突判定部１７８が衝突の可能性が高いと判定した場合、ブザー（音声出力手段）や警告灯（ディスプレイ１２２）を通じて、その旨、運転者に報知する。また、Ｉ／Ｆ部１５０を通じて、車両制御装置１３０に、その旨を示す情報を出力する。
【００７８】
画像保持部１８２は、データ保持部１５２の前回画像データに今回画像データを上書きする。こうして次のフレームでは、かかる今回画像データを前回画像データとして用いることができる。
【００７９】
（車外環境認識方法）
図１５は、車外環境認識方法の全体的な処理の流れを示したフローチャートである。図１５では、撮像装置１１０から広角レンズを通じて撮像された画像データが送信されたときの割込処理に関する全体的な流れが示されている。
【００８０】
当該車外環境認識方法による割込が発生すると、画像データ取得部１６０は、Ｉ／Ｆ部１５０を通じて撮像装置１１０から送信された今回画像データを取得する（Ｓ３００）。そして、画像切出部１６２は、取得された今回画像データに基づく環境画像２００（例えば、水平６４０画素×垂直４８０画素）から予め定められた位置および大きさの部分画像２０２（例えば、水平６４０画素×垂直１２８画素：水平８０ブロック×垂直１６ブロック）を切り出す（Ｓ３０２）。次に、フローベクトル導出部１６４は、部分画像２０２における複数のフローベクトルを導出する（Ｓ３０４）。そして、移動領域候補特定部１６６は、導出されたフローベクトルのうち移動物とみなすことができるフローベクトルの方向およびその大きさが近似し、かつ、隣接するブロック同士をグループ化し、移動領域候補２１２を特定する（Ｓ３０６）。
【００８１】
続いて、第１差分画像導出部１６８は、今回画像データが示す画像における比較領域２１４と、前回画像データが示す画像における、比較領域２１４を移動領域候補２１２のフローベクトル分シフトした領域２１６との画素の差分を導出し、第１差分画像２１８を生成する（Ｓ３０８）。また、第２差分画像導出部１７０は、今回画像データが示す画像における比較領域２１４と、前回画像データが示す画像における、比較領域２１４と同一の領域２２２との画素の差分を導出し、第２差分画像２２４を生成する（Ｓ３１０）。そして、差分画像減算部１７２は、第２差分画像２２４から第１差分画像２１８を減算して第３差分画像２５０を生成し（Ｓ３１２）、移動領域特定部１７４は、第３差分画像２５０の画像情報の分布傾向に基づいて移動領域２５２を特定する（Ｓ３１４）。そして、移動物状態導出部１７６は、画像上の地面を示す地面領域における移動領域２５２の接地点に基づいて、移動領域２５２が示す移動物の自車両１からの距離、大きさ、３次元位置を導出する（Ｓ３１６）。
【００８２】
衝突判定部１７８は、自車両１の進行方向および速度と、特定した移動物の位置、進行方向および速度とに応じて、自車両１と移動物が衝突する可能性が高いか否か判定する（Ｓ３１８）。その結果、移動物と衝突する可能性が高いと判定すると（Ｓ３１８におけるＹＥＳ）、報知部１８０は、衝突の可能性が高い旨、運転者に報知するとともに、車両制御装置１３０に、その旨を示す情報を出力する（Ｓ３２０）。また、移動物と衝突する可能性が高いと判定されなかった場合（Ｓ３１８におけるＮＯ）、ステップＳ３２２に処理を移行する。
【００８３】
最後に、画像保持部１８２は、今回画像データを次回のフレームで前回画像データとして用いるため、データ保持部１５２の前回画像データに今回画像データを上書きする（Ｓ３２２）。
【００８４】
以上、説明したような、車外環境認識装置１２０や車外環境認識方法によれば、第１段階として、部分画像２０２を用い、所定の大きさのブロックでオプティカルフローを求め、移動領域の候補である移動領域候補２１２を特定し、第２段階として、部分画像２０２の輝度（画像情報）を利用し、移動領域候補２１２を含み移動領域候補２１２より大きい比較領域２１４といった限定された領域において、上記のブロックより小さい領域単位、例えば、画素単位で高精度に移動領域２５２を特定するので、高処理速度かつ高検出精度で移動物を特定することが可能となる。
【００８５】
また、本実施形態では、第１差分画像２１８と第２差分画像２２４との輝度が反転することを利用することで、移動領域２５２を分離するための閾値を簡易に設定し、または、閾値を設定しないで済む。
【００８６】
また、コンピュータを、車外環境認識装置１２０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００８７】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００８８】
例えば、上述した実施形態において、画像データ取得部１６０、画像切出部１６２、フローベクトル導出部１６４、移動領域候補特定部１６６、第１差分画像導出部１６８、第２差分画像導出部１７０、差分画像減算部１７２、移動領域特定部１７４、移動物状態導出部１７６、衝突判定部１７８、報知部１８０、画像保持部１８２は、中央制御部１５４によってソフトウェアで動作するように構成している。しかし、上記の機能部をハードウェアによって構成することも可能である。
【００８９】
なお、本明細書の車外環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００９０】
本発明は、自車両外の環境を認識する車外環境認識装置および車外環境認識方法にかかり、特に、自車両外の移動物を認識し自車両との衝突判定を行う車外環境認識装置および車外環境認識方法に利用することができる。
【符号の説明】
【００９１】
１     …自車両
１１０  …撮像装置
１２０  …車外環境認識装置
１６０  …画像データ取得部
１６４  …フローベクトル導出部
１６６  …移動領域候補特定部
１６８  …第１差分画像導出部
１７０  …第２差分画像導出部
１７２  …差分画像減算部
１７４  …移動領域特定部
【図１】
2014157394.tif 000003
【図２】
2014157394.tif 000004
【図３】
2014157394.tif 000005
【図４】
2014157394.tif 000006
【図５】
2014157394.tif 000007
【図６】
2014157394.tif 000008
【図７】
2014157394.tif 000009
【図８】
2014157394.tif 000010
【図９】
2014157394.tif 000011
【図１０】
2014157394.tif 000012
【図１１】
2014157394.tif 000013
【図１２】
2014157394.tif 000014
【図１３】
2014157394.tif 000015
【図１４】
2014157394.tif 000016
【図１５】
2014157394.tif 000017