(57)【要約】      （修正有）【課題】画像内に撮像されている走行領域を高い精度で検出する画像処理装置を提供する。【解決手段】視差算出手段によって算出された視差について、画像の水平方向の位置ごとに小領域の視差の度数を算出する度数算出手段と、境界領域検出手段によって検出された２つの境界領域の間にある所定の小領域である境界間小領域を算出する境界間小領域算出手段と、前記境界間小領域から前記画像内における水平方向の端部の小領域に向かって、前記度数に基づいて走行領域を検出する前記走行領域検出手段と、を有する。【選択図】図３
2014179052.tif 000002
【特許請求の範囲】
【請求項１】
複数の境界が撮像された複数の画像を処理する画像処理装置であって、
前記画像に撮像されている境界領域を検出する境界領域検出手段と、
複数の前記画像を構成する小領域の視差を算出する視差算出手段と、
前記視差算出手段によって算出された前記視差について、前記画像の水平方向の位置ごとに前記小領域の視差の度数を算出する度数算出手段と、
前記境界領域検出手段によって検出された２つの境界領域の間にある所定の小領域である境界間小領域を算出する境界間小領域算出手段と、
前記境界間小領域から前記画像内における水平方向の端部の小領域に向かって、前記度数に基づいて走行領域を検出する前記走行領域検出手段と、
を有することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記境界間小領域は鉛直方向の位置が同じ２つの前記境界領域の中点であることを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置であって、
前記境界間小領域は前記境界領域であることを特徴とする画像処理装置。
【請求項４】
請求項１乃至３のいずれか一項に記載の画像処理装置であって、
前記度数算出手段によって算出された前記度数が所定の値以上であるか否かを判定する度数判定手段を有し、
前記度数判定手段によって前記度数が所定の値以上であると判定された前記小領域を物体領域とし、
前記画像内における左側の物体領域と右側の物体領域の間にある小領域を前記走行領域として検出することを特徴とする画像処理装置。
【請求項５】
請求項１乃至４のいずれか一項に記載の画像処理装置であって、
前記境界領域検出手段は、
前記画像を形成する画素の輝度に基づいて、前記境界領域を検出することを特徴とする画像処理装置。
【請求項６】
請求項１乃至５のいずれか一項に記載の画像処理装置であって、
前記境界領域検出手段は、
隣接する画素の輝度の差が所定の閾値以上である画素がある小領域を境界領域の候補として検出することを特徴とする画像処理装置。
【請求項７】
請求項１乃至６のいずれか一項に記載の画像処理装置であって、
前記境界領域検出手段によって検出された２つの境界領域の交点である消失点を検出する消失点検出手段を有し、
前記消失点検出手段は、前記消失点検出手段によって前記画像が撮像された時刻の所定の時間前に撮像された画像において検出された消失点に基づいて、前記画像の境界領域を検出することを特徴とする画像処理装置。
【請求項８】
複数の境界が撮像された複数の画像を処理する画像処理装置が実行する画像処理方法であって、
前記画像に撮像されている境界領域を検出する境界領域検出工程と、
複数の前記画像を構成する小領域の視差を算出する視差算出工程と、
前記視差算出工程によって算出された前記視差について、前記画像の水平方向の位置ごとに前記小領域の視差の度数を算出する度数算出工程と、
前記境界領域検出工程によって検出された２つの境界領域の間にある所定の小領域である境界間小領域を算出する境界間小領域算出工程と、
前記境界間小領域から前記画像内における水平方向の端部の小領域に向かって、前記度数に基づいて走行領域を検出する前記走行領域検出工程と、
を含むことを特徴とする画像処理方法。
【請求項９】
複数の境界が撮像された複数の画像の処理を画像処理装置に実行させるための画像処理プログラムであって、
前記画像に撮像されている境界領域を検出する境界領域検出工程と、
複数の前記画像を構成する小領域の視差を算出する視差算出工程と、
前記視差算出工程によって算出された前記視差について、前記画像の水平方向の位置ごとに前記小領域の視差の度数を算出する度数算出工程と、
前記境界領域検出工程によって検出された２つの境界領域の間にある所定の小領域である境界間小領域を算出する境界間小領域算出工程と、
前記境界間小領域から前記画像内における水平方向の端部の小領域に向かって、前記度数に基づいて走行領域を検出する前記走行領域検出工程と、
を含むことを特徴とする画像処理プログラム。
【請求項１０】
画像を撮像する撮像装置と、
複数の境界が撮像された複数の画像を処理する画像処理装置であって、
前記画像に撮像されている境界領域を検出する境界領域検出手段と、
複数の前記画像を構成する小領域の視差を算出する視差算出手段と、
前記視差算出手段によって算出された前記視差について、前記画像の水平方向の位置ごとに前記小領域の視差の度数を算出する度数算出手段と、
前記境界領域検出手段によって検出された２つの境界領域の間にある所定の小領域である境界間小領域を算出する境界間小領域算出手段と、
前記境界間小領域から前記画像内における水平方向の端部の小領域に向かって、前記度数に基づいて走行領域を検出する前記走行領域検出手段と、
を有する画像処理装置と、
を含むことを特徴とする画像処理システム。
【請求項１１】
請求項１乃至７のいずれか一項に記載の画像処理装置または請求項１０に記載の画像処理システムを有することを特徴とする移動装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理プログラム、画像処理システム及び移動装置に関する。
【背景技術】
【０００２】
従来、車両、船舶、航空機、または産業用ロボット等（以降、車両等という）の移動において、移動の障害となる立体物を検知する技術の開発が進められている。特に、車両等が走行する道路を認識し、道路上に立体物が存在するか否かを判断する技術が知られている。
【０００３】
特許文献１には三次元的な位置情報を利用し、実際の道路上の白線だけを分離して道路形状を認識する技術が記載されている。特許文献１に記載の技術においては、２台のＣＣＤカメラを有するステレオ画像処理装置が撮影した画像を処理することによって、画像を表す二次元の情報と、撮像物までの距離データと、を含む三次元の情報を取得する。そして、三次元の情報が表す空間では白線は道路の平面上にあり、一方、先行車などの立体物は道路の平面より高い位置にあるとしている。このようにして、ステレオ画像処理装置は取得された三次元の情報により白線からの高さによって道路か立体物であるかを区別している。
【０００４】
また、一般的に車両等に搭載されている撮像装置によって撮像される撮像画像においては、撮像画像の左右それぞれに建物、ガードレール、壁等（以降、建物等という）が撮像される。特許文献２に記載の技術では、複数の撮像画像から算出された視差に基づいて建物等の壁に相当する部分を検出することによって、走行領域を検出している。ここで走行領域とは、左右に撮像されている建物等の間にある領域をいう。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、路面が進行方向に対して右にカーブしている場合、図２４に示されるように撮像装置から離れるほど車両等が走行できる走行領域は右にあることが想定される。
走行領域が右にあることが想定されるにもかかわらず、画像内の全ての領域から走行領域を検出しようとすると、たとえばノイズ等のために、図２４のＣで示されるような画像内の左上端部の近傍で走行領域が検出されてしまうことがある。同様に、路面が進行方向に対して左にカーブしている場合、撮像装置から離れるほど走行領域は左にあることが想定される。それにもかかわらず、画像内の全ての領域で白線を検出しようとすると、画像内の右上端部の近傍の領域で走行領域が検出されてしまうことがある。
このように、画像内の全ての領域について走行領域であるか否かを判定すると誤判定が発生し、画像内に撮像されている走行領域を高い精度で検出することができないという課題が発生している。
【課題を解決するための手段】
【０００６】
上述した課題を解決するため本発明においては、複数の境界が撮像された複数の画像を処理する画像処理装置であって、前記画像に撮像されている境界領域を検出する境界領域検出手段と、複数の前記画像を構成する小領域の視差を算出する視差算出手段と、前記視差算出手段によって算出された前記視差について、前記画像の水平方向の位置ごとに前記小領域の視差の度数を算出する度数算出手段と、前記境界領域検出手段によって検出された２つの境界領域の間にある所定の小領域である境界間小領域を算出する境界間小領域算出手段と、前記境界間小領域から前記画像内における水平方向の端部の小領域に向かって、前記度数に基づいて走行領域を検出する前記走行領域検出手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、視差算出手段によって算出された視差について、画像の水平方向の位置ごとに小領域の視差の度数を算出する度数算出手段と、境界領域検出手段によって検出された２つの境界領域の間にある所定の小領域である境界間小領域を算出する境界間小領域算出手段と、前記境界間小領域から前記画像内における水平方向の端部の小領域に向かって、前記度数に基づいて走行領域を検出する前記走行領域検出手段と、を有するため、画像内における走行領域を高い精度で判定することができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】画像処理システム１を搭載した車両等の一例を表す概略図である。
【図２】画像処理システム１のハードウェア構成図である。
【図３】画像処理システム１の機能構成図である。
【図４】撮像部が撮像した撮像画像の一例である。
【図５】視差ｄｘｙについて説明するための図である。
【図６】基準画像Ｉａの一部Ａを拡大した図、一部Ａの小領域ごとの輝度を表した図、および一部Ａの小領域ごとの輝度差を表した図である。
【図７】白線エッジの位置を表すｙ座標とその位置における視差ｄｅの対応関係を表す図である。
【図８】基準画像Ｉａから度数Ｃを算出するために用いる図である。
【図９】基準画像Ｉａにおける度数Ｃの分布を表す度数分布図である。
【図１０】画像処理システム１の処理の概要を表すフロー図である。
【図１１】信号変換部５２の処理を表すフロー図である。
【図１２】エッジ候補検出部５５の第一の処理を表すフロー図である。
【図１３】エッジ候補検出部５５の第二の処理の概要を説明するためのフロー図である。
【図１４】エッジ候補検出部５５の第二の処理の詳細を表すフロー図である。
【図１５】基準画像Ｉａの一部Ａを拡大した図である。
【図１６】カーブ方向判定部５８の処理を表すフロー図である。
【図１７】直線交点検出部５８１の処理を表すフロー図である。
【図１８】消失点検出部５８２の処理を表すフロー図である。
【図１９】白線視差決定部５６の処理を表すフロー図である。
【図２０】走行領域検出部５７の処理を表すフロー図である。
【図２１】度数判定部５７２の処理を表すフロー図である。
【図２２】画像処理システム１の機能構成図の他の例である。
【図２３】基準画像Ｉａの一部Ａの小領域ごとの輝度差を表した図、および一部Ａの小領域ごとの視差を表した図である。
【図２４】撮像部が撮像した撮像画像の一例である。
【発明を実施するための形態】
【０００９】
本発明の実施形態について図１乃至図２４を用いて説明する。
【００１０】
〔画像処理システム１のハードウェア構成〕
まず、本発明の実施形態における画像処理システム１のハードウェア構成について説明する。図１は本実施形態に係る画像処理システム１を搭載した自動車を表す概念図である。図１（１）は画像処理システム１が設けられている車両等の一例である自動車の側面の概観図である。図１（２）は図１（１）に表されている自動車の前面の概観図である。図２は、画像処理システム１のハードウェア構成図である。
【００１１】
図１（１）及び（２）に示されるように、画像処理システム１は撮像装置１０ａ及び撮像装置１０ｂを備えており、撮像装置１０ａ及び撮像装置１０ｂは自動車の進行方向前方の光景を撮像するように設置されている。図２に示されるように、画像処理システム１は撮像装置１０ａ、撮像装置１０ｂ、信号変換装置２０ａ、信号変換装置２０ｂ、及び画像処理装置３０を有している。撮像装置１０ａは前方の光景を撮像して撮像画像を表すアナログ信号を生成するものであり、撮像レンズ１１ａ、絞り１２ａ、画像センサ１３ａを有している。
【００１２】
撮像レンズ１１ａは、撮像レンズ１１ａを通過する光を屈折させて被写体Ｓの像を結像させるための光学素子である。絞り１２ａは、撮像レンズ１１ａを通過した光の一部を遮ることによって、後述する画像センサ１３ａに入力される光の量を調整する。画像センサ１３ａは、撮像レンズ１１ａ及び絞り１２ａから入力された光を電気的なアナログの画像信号に変換する半導体の素子であり、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅｓ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）によって実現される。
【００１３】
また、撮像装置１０ｂは撮像装置１０ａと同じ構成を有している。そのため撮像装置１０ｂについての説明は省略する。また、撮像レンズ１１ａに係る撮像面と撮像レンズ１１ｂに係る撮像面が同一平面内となるように、撮像レンズ１１ａ及び撮像レンズ１１ｂは設置されている。
【００１４】
信号変換装置２０ａは、撮像画像を表すアナログ信号をデジタル形式の撮像画像データに変換するものであり、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）２１ａ、ＡＧＣ（Ａｕｔｏ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）２２ａ、ＡＤＣ（Ａｎａｌｏｇ  Ｄｅｇｉｔａｌ  Ｃｏｎｖｅｒｔｅｒ）２３ａ、及びフレームメモリ２４ａを有している。
【００１５】
ＣＤＳ２１ａは、画像センサ１３ａによって変換されたアナログの画像信号から相関二重サンプリングによってノイズを除去する。ＡＧＣ２２ａは、ＣＤＳ２１ａによってノイズが除去されたアナログの画像信号の強度を制御する利得制御を行う。ＡＤＣ２３ａは、ＡＧＣ２２ａによって利得制御されたアナログの画像信号をデジタル形式の撮像画像データに変換する。フレームメモリ２４ａは、ＡＤＣ２３ａによって変換された撮像画像データを記憶する。
【００１６】
信号変換装置２０ｂは撮像装置１０ｂによって変換されたアナログの画像信号から撮像画像データを取得するものであり、ＣＤＳ２１ｂ、ＡＧＣ２２ｂ、ＡＤＣ２３ｂ、及びフレームメモリ２４ｂを有している。ＣＤＳ２１ｂ、ＡＧＣ２２ｂ、ＡＤＣ２３ｂ、及びフレームメモリ２４ｂはそれぞれＣＤＳ２１ａ、ＡＧＣ２２ａ、ＡＤＣ２３ａ、及びフレームメモリ２４ａと同じ構成であるため、それらについての説明は省略する。
【００１７】
画像処理装置３０は、信号変換装置２０ａ及び信号変換装置２０ｂによって変換された撮像画像データを処理するためのものであり、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）３１、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３２、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）３３、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３４を有している。ＦＰＧＡ３１は、撮像画像データが表す撮像画像における視差ｄを算出する処理を行う。ＣＰＵ３２は、画像処理装置３０の各機能を制御する。ＲＯＭ３３は、ＣＰＵ３２が画像処理装置３０の各機能を制御するために実行する画像処理プログラムを記憶している。ＲＡＭ３４はＣＰＵ３２のワークエリアとして使用される。
【００１８】
上記画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させてもよい。
【００１９】
〔画像処理システム１の機能構成〕
次に、本実施形態の画像処理システム１の機能構成について説明する。図３は、画像処理システム１の機能構成図である。画像処理システム１は、撮像部５１、信号変換部５２、視差算出部５３、距離算出部５４、エッジ候補検出部５５、白線視差決定部５６、走行領域検出部５７及びカーブ方向判定部５８を有している。
【００２０】
図４は撮像部５１が撮像した撮像画像の一例である。撮像部５１は図４（１）に示されるような自動車の進行方向前方の光景を撮像画像として生成するものであり、撮像装置１０ａ及び撮像装置１０ｂによって実現される。信号変換部５２は撮像部５１によって生成された撮像画像を表すアナログ信号をデジタル形式の撮像画像データに変換するものであり、信号変換装置２０ａ及び信号変換装置２０ｂによって実現される。
【００２１】
視差算出部５３、距離算出部５４、エッジ候補検出部５５、白線視差決定部５６、走行領域検出部５７及びカーブ方向判定部５８はＲＯＭ３３に記憶されているプログラムに従ったＣＰＵ３２によって実現される。
【００２２】
なお、本実施形態の説明においては撮像画像に撮像されている被写体Ｓの、撮像画像内における位置を表すために、図４（２）に示されるような座標を用いる。図４に示される座標の１単位は一の画素から構成されてもよいし、隣接する二以上の画素群から構成されてもよい。図４（２）に座標（ｘ，ｙ）で示される黒色で塗布された部分は、一または隣接する二以上の画素群から構成される一の小領域Ｐｘｙという。以降における各機能部の構成及び動作の説明においては、各機能部は各小領域Ｐｘｙに対して処理を行うものとする。また、撮像画像において図４（２）に示されるｙ座標は、路面に垂直な方向についての画像内の位置を表す情報である。
【００２３】
＜＜視差算出部＞＞
視差算出部５３は撮像画像の各小領域Ｐｘｙに撮像されている被写体Ｓの視差ｄｘｙを算出する。ここで図５を用いて視差ｄｘｙについて説明する。図５は、視差ｄｘｙについて説明するための図である。以降の説明では図５で示される撮像装置１０ａ、撮像装置１０ｂによって撮像された撮像画像をそれぞれ基準画像Ｉａ、比較画像Ｉｂという。また、撮像画像における各小領域Ｐｘｙの位置は図４（２）に示されるように座標（ｘ，ｙ）（ｘ＝１〜１２８０、ｙ＝１〜９６０）で表されるとする。なお、基準画像Ｉａにおいて図４（２）に示されるｘ軸方向を画像の水平方向、ｙ軸方向を画像の鉛直方向という。また、基準画像Ｉａにおいてｘ座標が大きくなる方向を右方向、ｘ座標が小さくなる方向を左方向という。また、基準画像Ｉａにおいてｙ座標が大きくなる方向を上方向、ｙ座標が小さくなる方向を下方向という。
【００２４】
図５で、被写体Ｓの結像位置Ｓａにおける撮像レンズ１１ａの結像中心からの距離をΔａとし、被写体Ｓの結像位置Ｓｂにおける撮像レンズ１１ｂの結像中心からの距離をΔｂとした場合、視差ｄｘｙはｄｘｙ＝Δａ＋Δｂである。すなわち、視差ｄｘｙとは基準画像Ｉａにおいて図５に示されるように被写体Ｓが撮像されている位置の座標（ｘ，ｙ）と、比較画像Ｉｂにおいて被写体Ｓが撮像されている位置の座標（ｘ’，ｙ）におけるｘ座標の差（ｘ’−ｘ）である。
【００２５】
視差算出部５３は、基準画像Ｉａにおける所定の小領域群に含まれる小領域Ｐｘｙの各座標（ｘ，ｙ）について視差ｄｘｙを算出する。なお、座標（ｘ，ｙ）と視差ｄｘｙを関連付けた情報を視差画像データという。なお、所定の小領域群とは、基準画像Ｉａ、比較画像Ｉｂの両方の画像に撮像されている被写体Ｓに係る小領域Ｐｘｙ以外の小領域Ｐｘｙの集合である。たとえば基準画像Ｉａの左端近傍に撮像されている被写体Ｓのうち、比較画像Ｉｂの撮像範囲を超えているため比較画像Ｉｂには撮像されていない被写体Ｓがある。このような被写体Ｓに係る小領域Ｐｘｙについては座標ｘ’を認識することができないため視差ｄｘｙを算出できない。このような小領域Ｐｘｙは所定の小領域群に含まれないものとする。
【００２６】
＜＜距離算出部＞＞
距離算出部５４は、視差算出部５３によって算出された視差ｄｘｙを用いて、距離Ｚを算出する。距離Ｚとは撮像レンズ１１ａの中心と撮像レンズ１１ｂの中心を含み、撮像レンズ１１ａ及び撮像レンズ１１ｂの撮像面に平行な面から被写体Ｓまでの距離である。具体的には、図５に示されるように撮像レンズ１１ａ及び撮像レンズ１１ｂの焦点距離ｆ、撮像レンズ１１ａの中心と撮像レンズ１１ｂの中心との間の長さである基線長Ｂ、及び視差ｄを用いて、距離算出部５４が距離Ｚ＝（Ｂ×ｆ）／ｄと算出する。なお、基線長Ｂ、焦点距離ｆは一例としてそれぞれ５〜３０（ｃｍ）、４〜１５（ｍｍ）とすればよい。
【００２７】
ここで、距離Ｚと視差ｄの関係について更に説明する。Ｚ＝（Ｂ×ｆ）／ｄの計算式より、視差ｄが大きいほど距離Ｚは小さく、視差ｄが小さいほど距離Ｚは大きい。たとえば、図４（２）での座標（ｋ、ｌ）における視差ｄｋｌは座標（ｊ，ｌ）における視差ｄｊｌより大きい値であるとすれば、座標（ｋ，ｌ）における距離Ｚｋｌは座標（ｊ，ｌ）における距離Ｚｊｌより小さい値となる。
【００２８】
すなわち、座標（ｋ，ｌ）にある被写体（図４（２）においては自動車）は、座標（ｊ，ｌ）にある被写体（図４（２）においては白線）より近くにあると判定される。このようにして、各小領域Ｐｘｙにおける視差ｄｘｙを、白線が撮像されている画像内の小領域（白線領域Ｐｗという。）における視差ｄｗと比較することによって、各小領域Ｐｘｙが路面を表すものか否かを判定することが可能となる。
【００２９】
＜＜エッジ候補検出部＞＞
エッジ候補検出部５５は、基準画像Ｉａに撮像されている路面上の白線のエッジ（以降、白線エッジという）を表す小領域Ｐｘｙの候補（以降、白線エッジ候補領域Ｐｅという）を検出する。ここで、白線とは、一般の路面において描かれている白線を表す画像の部分である。すなわち、本実施形態における白線とは、一次元の線ではなくｘ軸方向に幅をもった帯状の部分をいう。
【００３０】
図６を用いてエッジ候補検出部５５の機能について説明する。図６は基準画像Ｉａの一部を拡大した図である。図６（１）は図４（１）の一部である部分Ａを拡大して表しているものであり、白色で表される部分は基準画像Ｉａにおける白線の一部を表し、斜線で表される部分は基準画像Ｉａにおける白線以外の路面の一部を表している。
【００３１】
図６（２）は図６（１）に表される撮像画像の各小領域Ｐｘｙを構成する画素の輝度Ｌを表す図である。図６（２）に示されるように白線の一部を形成する小領域Ｐｘｙの画素の輝度は、白線以外の路面の一部を形成する小領域Ｐｘｙの画素の輝度より高くなっている。図６（３）は図６（２）で表されている各小領域Ｐｘｙを構成する画素の輝度差ΔＬを表す図である。なお、本実施形態において輝度Ｌは０から２５５の値をとるものとして説明する。
【００３２】
エッジ候補検出部５５は図６（２）に示されるような基準画像Ｉａを構成する各小領域Ｐｘｙについてｘ軸方向に隣接する二つの小領域Ｐｘｙの輝度Ｌの差（以降、輝度差ΔＬという）を算出する。具体的には、エッジ候補検出部５５は座標（ｘ，ｙ）にある小領域Ｐｘｙの輝度Ｌ（ｘ，ｙ）から座標（ｘ＋１，ｙ）にある小領域Ｐｘｙの輝度Ｌ（ｘ＋１，ｙ）を減算した輝度差ΔＬ（ｘ，ｙ）＝Ｌ（ｘ，ｙ）−Ｌ（ｘ＋１，ｙ）を算出する。
【００３３】
このようにして算出された輝度差ΔＬ（ｘ，ｙ）が図６（３）に示されており、白線のエッジ部分を表す小領域Ｐｅ（図６（３）におけるＰｅで示される小領域）における輝度差ΔＬ（ｘ，ｙ）はその他の部分に比べ大きくなる。
【００３４】
エッジ候補検出部５５は算出された輝度差ΔＬ（ｘ，ｙ）が所定の閾値、たとえば１２０以上であるか否かを判定する。そして、エッジ候補検出部５５は輝度差ΔＬ（ｘ，ｙ）が１２０以上と判定した場合には、その座標（ｘ，ｙ）における小領域Ｐｘｙを白線エッジ候補領域Ｐｅとして検出する。
【００３５】
なお、小領域Ｐｘｙが２以上の画素からなる場合、エッジ候補検出部５５は、小領域Ｐｘｙの輝度Ｌとはその小領域Ｐｘｙを構成する画素群の輝度Ｌの平均値とすればよい。また、エッジ候補検出部５５は、各画素について隣接する画素との輝度差ΔＬを算出し輝度差ΔＬが１２０以上であると判定された画素を含む小領域Ｐｘｙを白線エッジ候補領域Ｐｅとして検出してもよい。
【００３６】
なお、エッジ候補検出部５５は、基準画像Ｉａのｙ座標一定の小領域Ｐｘｙ群において、中央の小領域Ｐｘｙ（図４（２）においてｘ＝６４０に位置する小領域）から左端の小領域Ｐｘｙに向けて順に上記の算出及び判定を行う。また、エッジ候補検出部５５は左側の白線エッジ候補領域Ｐｅｌが検出された時点で該ｙ座標に係る小領域Ｐｘｙ群についての算出及び判定の処理を終了する。したがって、図６（３）に示される図において、輝度差ΔＬ（ｘ，ｙ）が１２０以上である小領域Ｐｘｙより左側に位置する小領域Ｐｘｙについての輝度差ΔＬ（ｘ，ｙ）は算出されない。
【００３７】
同様に、エッジ候補検出部５５は、基準画像Ｉａのｙ座標一定の小領域Ｐｘｙ群における中央の小領域Ｐｘｙ（図４（２）においてｘ＝６４０に位置する小領域）から右端の小領域Ｐｘｙに向けて順に上記の算出及び判定を行う。また、エッジ候補検出部５５は右側の白線エッジ候補領域Ｐｅｒを検出する。
【００３８】
＜＜白線視差決定部＞＞
白線視差決定部５６はエッジ候補検出部５５によって決定された白線エッジ候補領域Ｐｅに基づいて、白線領域Ｐｗの視差である白線視差ｄｗを決定する。図３に示されるように白線視差決定部５６は回帰直線算出部５６１及び決定部５６２を有する。
【００３９】
＜回帰直線算出部＞
回帰直線算出部５６１はエッジ候補検出部５５によって検出された白線エッジ候補領域Ｐｅのｙ座標と視差ｄｅの回帰直線を算出する。ここで、回帰直線算出部５６１の機能について図７を用いて説明する。図７は白線エッジ候補領域Ｐｅの位置を表すｙ座標とその位置における視差ｄｅの対応関係を表す図である。図７においては縦軸にｙ座標、横軸に視差ｄｅが示され、白線エッジ候補領域Ｐｅ群の各ｙ座標と、対応する視差ｄｅが点で表されている。これらの点に対して、回帰直線算出部５６１は公知の回帰直線算出方法であるＨｏｕｇｈ変換によって回帰直線Ｒｅｇ−Ｌｉｎｅを算出する。
【００４０】
＜決定部＞
決定部５６２は回帰直線Ｒｅｇ−Ｌｉｎｅ上にある視差ｄｅを白線領域Ｐｗにおける視差である白線視差ｄｗとして決定する。
【００４１】
＜＜走行領域検出部＞＞
走行領域検出部５７は、基準画像Ｉａを形成する小領域Ｐｘｙから走行領域を検出する。基準画像Ｉａに建物、ガードレール、壁等（以降、建物等という）が撮像されている小領域を物体領域Ｐｂとしたとき、走行領域とは左側の物体領域Ｐｂｌと右側の物体領域Ｐｂｒの間にある小領域群である。走行領域検出部５７は、度数算出部５７１、度数判定部５７２、検出部５７３を有している。
【００４２】
＜度数算出部＞
度数算出部５７１は、視差算出部５３が算出した視差ｄｘｙの度数Ｃを算出する。度数Ｃとは、基準画像Ｉａにおいて座標ｘで表される小領域Ｐｘｙのうち視差ｄｘｙが所定の値である小領域Ｐｘｙの数である。
【００４３】
ここで、度数算出部５７１が度数Ｃを算出する機能について図８及び図９を用いて具体例によって説明する。図８は基準画像Ｉａから度数Ｃを算出するために用いる図であり、図９は基準画像Ｉａにおける度数Ｃの分布を表す度数分布図である。図８（１）は図４（１）に示される基準画像Ｉａについて各小領域Ｐｘｙの位置を表す座標を示している。この具体例においては、説明を容易にするために小領域Ｐｘｙを図４（２）に示される例より大きく設定しているが、この小領域Ｐｘｙの大きさは適宜設定すればよい。
【００４４】
図８（２）は図８（１）に示される基準画像Ｉａの一部の小領域Ｐｘｙについてその視差ｄｘｙを表した図である。例えば図８（１）に示される座標（３，１）乃至座標（３，４）の小領域Ｐｘｙについては被写体Ｓが路面であって高さが同一であるため、図８（２）では座標（３，１）乃至座標（３，４）の小領域Ｐｘｙについてｙ座標が大きくなるに伴い撮像装置１０ａ、１０ｂからの距離Ｚが大きくなる。よって、基線長Ｂと焦点距離ｆが一定の下で先に説明したＺ＝（Ｂ×ｆ）／ｄの式より、視差ｄｘｙが小さくなっていることが表されている。また、座標（３，５）乃至座標（３，１０）の小領域Ｐｘｙについては被写体Ｓが建物の壁であるため、ｙ座標が大きくなっても撮像装置１０ａ、１０ｂからの距離Ｚは同一であるのでその視差ｄｘｙはほぼ同じであることが表されている。さらに、座標（３，１１）及び座標（３，１２）については被写体Ｓが空であるため距離Ｚは無限大に近似されるので視差ｄｘｙはほぼ０であることが表されている。図９は図８（２）に示される座標ｘを横軸に、視差ｄｘｙを縦軸にし、座標ｘにある小領域Ｐｘｙのうち視差ｄｘｙの度数Ｃを表している図である。
【００４５】
図８（１）に示される基準画像Ｉａについて、度数算出部５７１が度数Ｃを算出すると、図８（２）に示されるようにｘ＝３である小領域Ｐｘｙのうち、視差ｄｘｙが１００であるものは６つある（図８（２）のＷ１を参照）。したがって、度数算出部５７１は図９に示される度数分布図上の（ｘ，ｄｘｙ）＝（３，１００）に対応して度数Ｃ「６」を表している。同様にして、ｘ＝３である小領域Ｐｘｙのうち、視差ｄｘｙが１２０、１１５、１１０、１０５のものはそれぞれ１つずつあるため、度数算出部５７１は度数分布図の（ｘ，ｄｘｙ）＝（３，１２０）、（３，１１５）、（３，１１０）、（３，１０５）に対応して度数Ｃ「１」を表している。
【００４６】
同様にして図８（２）に示されるようにｘ＝４である小領域Ｐｘｙのうち、視差ｄｘｙが９５であるものは５つある（図８（２）のＷ２を参照）ため、度数算出部５７１は度数Ｃを「５」と算出する。したがって、度数算出部５７１は図９に示される度数分布図上の（ｘ，ｄｘｙ）＝（４，９５）に対応して度数Ｃ「５」を表している。また、図８（２）に示されるようにｘ＝１５である小領域Ｐｘｙのうち視差ｄｘｙが８０であるものは５つ（図８（２）のＷ３を参照）あるため、度数算出部５７１は度数Ｃを「５」と算出する。したがって、度数算出部５７１は度数分布図上の（ｘ，ｄｘｙ）＝（１５，８０）に対応して度数Ｃ「５」を表している。このようにして、度数算出部５７１は所定の小領域群に含まれる小領域Ｐｘｙのｘ座標について度数Ｃを算出する。
【００４７】
＜度数判定部＞
度数判定部５７２は度数算出部５７１によって算出された度数Ｃが所定の閾値Ｃｐ以上であるか否かを判定する。具体的には、度数判定部５７２はエッジ候補検出部５５によって検出された左白線エッジ候補領域Ｐｅｌを横軸にｘ座標、縦軸に視差ｄｘｙを表した度数分布図上に表示する。そして、所定の視差ｄｘｙ未満に表示された左白線エッジ候補領域を直線近似し、近似直線（図９におけるｌｉｎｅＬ３を参照）を算出する。また、所定の視差ｄｘｙ未満（本実施例では所定の視差ｄｘｙ＝１００とする）に表示された左白線エッジ候補領域を曲線近似し、近似曲線（図９におけるｌｉｎｅＬ４を参照）を算出する。
【００４８】
図８及び図９に示される例によってこの機能を説明する。たとえば、エッジ候補検出部５５によって座標（３，２）で表される小領域Ｐｘｙが左白線エッジ候補領域Ｐｅｌであると検出されている。図８（２）に示されるように座標（３，２）で表される小領域Ｐｘｙの視差ｄｘｙ＝１１５であるから、度数判定部５７２は度数分布図の座標ｘ＝３、ｄｘｙ＝１１５に左白線エッジ候補領域Ｐｅｌである旨を表示する（図９の（ｖ）参照）。
【００４９】
同様に、エッジ候補検出部５５によって座標（４，３）で表される小領域Ｐｘｙが左白線エッジ候補領域Ｐｅｌであると検出されている。図８（２）に示されるように座標（４，３）で表される小領域Ｐｘｙの視差ｄｘｙ＝１１０であるから、度数判定部５７２は度数分布図の座標ｘ＝４、ｄｘｙ＝１１０に左白線エッジ候補領域Ｐｅｌである旨を表示する（図９（ｖｉ）印参照）。
【００５０】
同様にして全ての左白線エッジ候補領域を度数分布図に表示し、その近似直線を算出したものが図９に示されるｌｉｎｅＬ３となる。
【００５１】
同様にして、度数判定部５７２はエッジ候補検出部５５によって検出された右白線エッジ候補領域Ｐｅｒを横軸にｘ座標、縦軸に視差ｄｘｙを表した度数分布図上に表示する。そして、所定の視差ｄｘｙ未満に表示された左白線エッジ候補領域を直線近似し、近似直線ｌｉｎｅＲ３を算出する。また、所定の視差ｄｘｙ未満に表示された左白線エッジ候補領域を曲線近似し、近似曲線ｌｉｎｅＲ４を算出する。
【００５２】
さらに、度数判定部５７２は近似直線ｌｉｎｅＬ３と近似直線ｌｉｎｅＲ３における同一のｙ座標にあたる小領域の中間にある小領域を近似した直線（以降、二等分線ｌｉｎｅｈ３という）を算出する。また、度数判定部５７２は近似直線ｌｉｎｅＬ４と近似直線ｌｉｎｅＲ４における同一のｙ座標にあたる小領域の中間にある小領域を近似した直線（以降、二等分線ｌｉｎｅｈ４という）を算出する。さらに、二等分線ｌｉｎｅｈ３及び二等分線ｌｉｎｅｈ４を含む線ｌｉｎｅｈを表す数式（ｘ＝ｆ（ｄｘｙ）とする。）を算出する。
【００５３】
この線分ｌｉｎｅｈにあたる度数分布図上の座標（ｆ（ｄ），ｄ）から度数分布図の端部の座標（１，ｄｘｙ）及び座標（ｘｍａｘ，ｄｘｙ）に向かって順に各座標（ｘ，ｄｘｙ）に対応する度数Ｃが所定の閾値Ｃｐ以上であるか否かを判定する。ここで、ｘｍａｘは基準画像Ｉａ及び度数分布図におけるｘ座標の最大値であり、図９に示される具体例においてはｘｍａｘ＝１６である。
【００５４】
度数判定部５７２によってＣ≧Ｃｐであると判定された場合、度数判定部５７２は度数分布図における座標（ｘ，ｄｘｙ）に対応する基準画像Ｉａ上の小領域Ｐｘｙは建物等を表すものとされる。また、度数判定部５７２によってＣ≧Ｃｐでないと判定された場合、度数判定部５７２は度数分布図における座標（ｘ，ｄ）に対応する基準画像Ｉａ上は建物等を表すものでないとされる。
【００５５】
＜検出部＞
検出部５７３は度数判定部５７２による判定に基づいて、基準画像Ｉａに撮像されている各小領域Ｐｘｙのうち走行領域を検出する。先に説明したように被写体Ｓが建物等である小領域Ｐｘｙの度数Ｃは被写体Ｓが路面である小領域Ｐｘｙの度数Ｃより大きい。すなわち、度数Ｃが所定の閾値Ｃｐ以上である場合にはその度数Ｃに係る小領域Ｐｘｙは建物等であるため、基準画像Ｉａ内において該小領域Ｐｘｙを物体領域Ｐｂとして検出する。検出部５７３は基準画像Ｉａに撮像されている左側の物体領域Ｐｂｌおよび右側の物体領域Ｐｂｒを検出し、これらの間にある小領域Ｐｘｙを走行領域として検出する。
【００５６】
＜＜カーブ方向判定部＞＞
カーブ方向判定部５８は、基準画像Ｉａに撮像されている路面が右の方向へカーブしているか、左の方向へカーブしているかを判定する。カーブ方向判定部５８は直線交点検出部５８１、消失点検出部５８２及び判定部５８３を有している。
【００５７】
一般的にカーブしている路面が撮像された基準画像Ｉａにおいては、図４（２）に示されるように撮像装置１０からみて手前の部分、すなわち所定のｙ≦ｙＳの部分の白線は直線（以降、直線部分という）をなしている。また、そのような基準画像Ｉａにおいては、撮像装置１０からみて奥の部分、すなわち所定のｙ＞ｙＳの部分の白線は曲線（以降、曲線部分という）をなしている。
【００５８】
＜直線交点検出部＞
直線交点検出部５８１はｙ≦ｙＳの左側の白線エッジ候補領域Ｐｅｌ、右側の白線エッジ候補領域Ｐｅｒのそれぞれの近似直線の交点Ｐｉを検出する。具体的には、直線交点検出部５８１は図４（２）の点で表される左側の白線エッジ候補領域Ｐｅｌを直線近似し、近似直線ｌｉｎｅＬ１を算出する。同様にして、直線交点検出部５８１は図４（２）の点で表される右側の白線エッジ候補領域Ｐｅｒを直線近似し、近似直線ｌｉｎｅＲ１を算出する。さらに、直線交点検出部５８１は近似直線ｌｉｎｅＬ１と近似直線ｌｉｎｅＲ１との交点となる小領域を表す座標（ｘｉ、ｙｉ）を算出し、直線交点Ｐｉとして検出する。
【００５９】
＜消失点検出部＞
消失点検出部５８２は所定のｙ＞ｙＳの左側の白線エッジ候補領域Ｐｅｌに係る近似曲線ｌｉｎｅＬ２と、右側の白線エッジ候補領域Ｐｅｒに係る近似曲線ｌｉｎｅＲ２との交点となる小領域を表す座標（ｘｖ、ｙｖ）を算出し、その交点を消失点Ｐｖとして検出する。なお、消失点検出部５８２は消失点検出手段の一例である。
【００６０】
＜判定部＞
判定部５８３は、消失点検出部５８２によって検出された消失点Ｐｖ及び直線交点検出部５８１によって検出された交点Ｐｉに基づいて路面がカーブしている方向を判定する。具体的には、判定部５８３は消失点Ｐｖのｘ座標ｘｖが交点Ｐｉのｘ座標ｘｉより小さいか、大きいか、またはｘｉと同一であるかを比較する。
【００６１】
この比較によってｘｖ＞ｘｉであった場合は、カーブ方向判定部５８は路面が右にカーブしていると判定する。また、ｘｖ＜ｘｉであった場合は、カーブ方向判定部５８は路面が左にカーブしていると判定する。また、ｘｖ＝ｘｉであると判定された場合には、カーブ方向判定部５８は路面がカーブしていないと判定する。
【００６２】
なお、白線は境界の一例であり、白線領域Ｐｗは境界領域の一例であり、エッジ候補検出部５５は境界領域検出手段の一例である。視差算出部５３は、視差算出手段の一例である。走行領域検出部５７は走行領域検出手段の一例である。度数算出部５７１は度数算出手段の一例である。度数判定部５７２は度数判定手段の一例である。
【００６３】
〔画像処理システム１の動作〕
続いて、図１０乃至図２１を用いて、本実施形態に係る画像処理システム１の動作について説明する。なお、図１０は、画像処理システム１の処理の概要を表すフロー図である。図１１は、信号変換部５２の処理を表すフロー図である。図１２は、エッジ候補検出部５５の第一の処理を表すフロー図である。図１３は、エッジ候補検出部５５の第二の処理の概要を説明するためのフロー図である。図１４は、エッジ候補検出部５５の第二の処理の詳細を表すフロー図である。図１５は、基準画像Ｉａの一部Ａを拡大した図である。図１６は、カーブ方向判定部５８の処理を表すフロー図である。図１７は、直線交点検出部５８１の処理を表すフロー図である。図１８は、消失点検出部５８２の処理を表すフロー図である。図１９は、白線視差決定部５６の処理を表すフロー図である。図２０は、走行領域検出部５７の処理を表すフロー図である。図２１は、度数判定部５７２の処理を表すフロー図である。
【００６４】
＜＜撮像画像の生成処理＞＞
図１０に示されるように、まず、撮像部５１が自動車の進行方向前方の光景を撮像して所定の時間間隔で撮像画像を生成する（ステップＳ１）。具体的には、撮像部５１を実現する撮像レンズ１１ａが通過する光を屈折させ、絞り１２ａが撮像レンズ１１ａを通過した光の一部を遮ることによって光の量を調整する。そして、撮像レンズ１１ａから入力された光が結像され、画像センサ１３ａは結像された像を電気的なアナログの画像信号に変換する。また、撮像レンズ１１ｂ、絞り１２ｂ、画像センサ１３ｂもそれぞれ撮像レンズ１１ａ、絞り１２ａ、画像センサ１３ａと同様に動作する。
【００６５】
＜＜信号変換をする処理＞＞
続いて、信号変換部５２がアナログの画像信号をデジタル形式の撮像画像データに変換する（ステップＳ２）。具体的には、図１１に示されるように、まずＣＤＳ２１ａがアナログの画像信号を相関二重サンプリングしてノイズを除去する（ステップＳ２１）。そして、ＡＧＣ２２ａが、ノイズが除去されたアナログの画像信号の強度を制御する利得制御を行う（ステップＳ２２）。ＡＧＣ２２ａによってアナログの画像信号が利得制御されると、ＡＤＣ２３ａがアナログの画像信号をデジタル形式の撮像画像データに変換する（ステップＳ２３）。ＡＤＣ２３ａがアナログの画像信号を撮像画像データに変換すると、フレームメモリ２４ａは撮像画像データを記憶する。また、ＣＤＳ２１ｂ、ＡＧＣ２２ｂ、ＡＤＣ２３ｂもそれぞれＣＤＳ２１ａ、ＡＧＣ２２ａ、ＡＤＣ２３ａと同様に動作する。
【００６６】
＜＜視差を算出する処理＞＞
図１０に戻って、次に、視差算出部５３は撮像画像データが表す基準画像Ｉａ内における所定の小領域群に含まれる小領域Ｐｘｙについて視差ｄｘｙを算出する（ステップＳ３）。
【００６７】
＜＜エッジ候補を検出する処理＞＞
次に、図１０に示されるように、エッジ候補検出部５５が基準画像Ｉａの白線エッジ候補領域Ｐｅを検出する（ステップＳ４）。エッジ候補検出部５５は基準画像Ｉａにおいて、各小領域Ｐｘｙについてｘ軸方向に隣接する小領域Ｐｘｙにある画素との輝度差ΔＬ（ｘ，ｙ）＝Ｌ（ｘ，ｙ）−Ｌ（ｘ＋１，ｙ）を算出する。ΔＬ（ｘ，ｙ）が所定の閾値以上であれば、エッジ候補検出部５５はその小領域Ｐｘｙをエッジ候補領域Ｐｅとして検出する。
【００６８】
既に説明したように一般的に路面が撮像された基準画像Ｉａにおいては、図４（２）に示されるように撮像装置からみて手前の部分、すなわち所定のｙ座標ｙｓ以下の部分の白線は直線をなしている（以降、この部分を直線部分という）。また、そのような基準画像Ｉａにおいては、撮像装置からみて奥の部分、すなわち所定のｙ座標ｙｓより大きい部分の白線は曲線をなしている（以降、この部分を曲線部分という）。なお、ｙｓは実験の結果から定められた値であり、カーブ路を走行しているときｙ座標がｙｓ以下の小領域では白線は直線をなしているとして処理されるのが好適となる値である。一例としてｙｓは基準画像Ｉａのｙ軸方向の中間付近の値とすることが好適である。
【００６９】
次に説明する＜エッジ候補領域の第一の検出処理＞では、エッジ候補検出部５５は白線の直線部分の白線エッジ候補領域Ｐｅを検出する。また、白線の曲線部分については、精度を高めることを目的として後述する＜エッジ候補領域の第二の検出処理＞によって白線エッジ候補領域を検出する。
【００７０】
また、これらの処理の説明において、基準画像Ｉａにおける各小領域Ｐｘｙの位置は図４（２）に示されるように座標（ｘ，ｙ）（ｘ＝１〜１２８０、ｙ＝１〜９６０）で表されるとする。
【００７１】
＜エッジ候補領域の第一の検出処理＞
第一の検出処理においては、図１２に示されるように、まず、エッジ候補検出部５５がｙ＝０（ステップＳ４１）に１を加算したｙ＝１（ステップＳ４２）、ｘ＝６４１（ステップＳ４３）から１を減算したｘ＝６４０（ステップＳ４４）に係る座標にある小領域Ｐｘｙにある画素の輝度Ｌ（６４０，１）について輝度差ΔＬ（６４０，１）＝Ｌ（６４０，１）−Ｌ（６４１，１）を算出する（ステップＳ４５）。そして、ステップＳ４５で算出された輝度差ΔＬ（６４０，１）が１２０以上であるか否かをエッジ候補検出部５５が判定する（ステップＳ４６）。ステップＳ４６でΔＬ（６４０，１）が１２０以上でないと判定された場合には、その輝度差に係るｘ座標を１減算した（ステップＳ４４）座標にある小領域Ｐｘｙに係る輝度差ΔＬ（６３９，１）＝Ｌ（６３９，１）−Ｌ（６４０，１）をエッジ候補検出部５５は算出する（ステップＳ４５）。そして、エッジ候補検出部５５は輝度差ΔＬ（６３９，１）が１２０以上であるか否かを判定する（ステップＳ４６）。
【００７２】
さらに、ステップＳ４６でΔＬ（６３９，１）が１２０以上でないと判定された場合には、ΔＬ（６３９，１）に係るｘ座標を１減算した（ステップＳ４４）座標にある小領域Ｐｘｙの輝度差ΔＬ（６３８，１）＝Ｌ（６３８，１）−Ｌ（６３９，１）をエッジ候補検出部５５が算出する（ステップＳ４５）。そして、エッジ候補検出部５５は輝度差ΔＬ（６３８，１）が１２０以上であるか否かを判定する（ステップＳ４６）。このようにして、ｘ座標を１ずつ減算した座標にある小領域Ｐｘｙに係る輝度差ΔＬの算出（ステップＳ４５）及び判定（ステップＳ４６）を繰り返し、輝度差ΔＬが１２０以上であると判定されたら、その輝度差ΔＬに係る小領域Ｐｘｙを白線エッジ候補領域Ｐｅとして検出する（ステップＳ４７）。
【００７３】
また、白線エッジ候補領域Ｐｅが検出されたら、そのｙ座標についてｙ≧ｙｓであるか否かをエッジ候補検出部５５が判定する（ステップＳ４８）。
【００７４】
ステップＳ４１８で白線エッジ候補領域Ｐｅのｙ座標がｙ≧ｙｓでないと判定された場合には、ｙ座標に１を加算し（ステップＳ４２）、ｘ＝６４１（ステップＳ４３）から１を減算した（ステップＳ４４）座標（６４０，２）に係る輝度差ΔＬ（６４０，２）＝Ｌ（６４０，２）−Ｌ（６４１，２）を算出する（ステップＳ４５）。そして、上述と同様にステップＳ４２乃至ステップＳ４８の処理を繰り返す。これらの処理を繰り返して、処理に係るｙ≧ｙｓであると判定されたら白線エッジ候補領域Ｐｅを検出する処理を終了する。
【００７５】
このようにして、基準画像Ｉａの各小領域Ｐｘｙについて順に輝度差ΔＬを算出することによって、ｙ座標ごとに白線エッジ候補領域Ｐｅを算出することができる。
【００７６】
なお、ステップＳ４３乃至ステップＳ４６の処理の説明で記載したように、基準画像Ｉａにおける中央部分の小領域Ｐｘｙ（座標（６４０，ｙ））から外側の小領域Ｐｘｙ（座標（１，ｙ））に向けて順にエッジ候補検出部５５は輝度差ΔＬを算出及び判定し、白線エッジ候補領域Ｐｅが検出されたらこの処理を終了する。すなわち、白線エッジ候補領域Ｐｅのｘ座標より小さいｘ座標の小領域Ｐｘｙについてのこれらの処理は行わない。このため、エッジ候補検出部５５を実現するＣＰＵ３２の負荷を削減することが可能となる。
【００７７】
ステップＳ４８までの処理が終了すると、図６（３）に示されるように座標（ｘ，ｙ）ごとに輝度差ΔＬ（ｘ，ｙ）が算出される。
【００７８】
なお、図１２を用いて説明した処理は基準画像Ｉａにおける中央より左側の小領域（座標ｘ＝１〜６４０）に撮像されている白線エッジ候補領域Ｐｅを検出することを目的とするものである。そのため、ここで検出された白線エッジ候補領域Ｐｅは中央より左側の白線エッジを表す左白線エッジ候補領域Ｐｅｌである。また、車両が走行する一般的な路面には、左側だけではなく右側にも白線が描かれている。このため、エッジ候補検出部５５は基準画像Ｉａにおける中央より右側の小領域（座標ｘ＝６４１〜１２８０）についても同様の処理を行う。そして、検出された白線エッジ候補領域Ｐｅは右白線エッジ候補領域Ｐｅｒとされる。
【００７９】
＜エッジ候補領域の第二の検出処理（概要）＞
図１３乃至図１５を用いて、エッジ候補領域の第二の検出処理について説明する。図１３は、エッジ候補検出部５５の第二の処理の概要を説明するためのフロー図である。図１４は、エッジ候補検出部５５の第二の処理の詳細を表すフロー図である。図１５は、基準画像Ｉａの一部Ａを拡大した図である。
【００８０】
ここで、第二の検出処理の詳細について説明する前に、カーブ方向判定部５８による判定の結果を第二の検出処理で用いることを説明する。既に説明したとおり、撮像部５１は所定の時間間隔で撮像画像を生成する（図１０のステップＳ１）。この所定の時間に画像処理システム１が搭載された車両等は進行方向に向かって所定の距離だけ移動するので、順次撮像される画像はそれぞれ異なったものとなる。図１３に示されるように撮像部が１回目に生成した（ステップＳ１−１）撮像画像については、上記＜エッジ候補領域の第一の検出処理＞に記載したようにエッジ候補検出部５５が白線の直線部分のエッジ候補領域Ｐｅ及び白線の曲線部分のエッジ候補領域Ｐｅを検出する（ステップＳ４−１）。そして、検出されたこれらのエッジ候補領域Ｐｅに基づいて、カーブ方向判定部５８は路面がカーブしている方向を判定する（ステップＳ６−１）。なお、ステップＳ６−１でカーブ方向判定部５８が行う処理の詳細については追って説明する。
【００８１】
撮像部が２回目に生成した（ステップＳ１−２）撮像画像については、上記＜エッジ候補領域の第一の検出処理＞に記載したように白線の直線部分のエッジ候補領域Ｐｅを検出する（ステップＳ４−２）。そして、１回目にカーブ方向判定部５８によって判定されたカーブの方向に基づいて＜エッジ候補領域の第二の検出処理（詳細）＞で追って説明するように白線の曲線部分のエッジ候補領域を検出する（ステップＳ５−２）。続いてこれらのエッジ候補領域Ｐｅそれぞれを用いてカーブ方向判定部５８は、路面がカーブしている方向を判定する（ステップＳ６−２）。
【００８２】
同様に、撮像部がｎ回目（ｎ≧２）に生成した（ステップＳ１−ｎ）撮像画像については、上記＜エッジ候補領域の第一の検出処理＞に記載したように白線の直線部分のエッジ候補領域Ｐｅを検出する（ステップＳ４−ｎ）。そして、（ｎ−１）回目にカーブ方向判定部５８によって判定された方向に基づいて＜エッジ候補領域の第二の検出処理（詳細）＞で追って説明するように白線の曲線部分のエッジ候補領域Ｐｅを検出する（ステップＳ５−ｎ）。そして、これらのエッジ候補領域Ｐｅそれぞれを用いてカーブ方向判定部５８は、路面がカーブしている方向を判定する（ステップＳ６−ｎ）。
【００８３】
＜エッジ候補領域の第二の検出処理（詳細）＞
次に、ステップＳ５でエッジ候補検出部５５が行う第二の検出処理の詳細について図１４及び図１５を用いて説明する。ここでは、まず、当該第二の検出処理に係る撮像画像が撮像された時刻の所定の時間前に撮像された撮像画像の路面が右にカーブしていると判定された場合の検出処理について説明する。上記、第一の検出処理においてｙ＝ｙｓにおける白線エッジ候補領域Ｐｅは既に検出されており、ここでの説明においてはその座標を（ｘｓ，ｙｓ）とする（図１５（ｉ）で示される小領域）。
【００８４】
まず、エッジ候補検出部５５はｙ＝ｙｓ（ステップＳ５１）に１を加算したｙ＝ｙｓ＋１（ステップＳ５２）、ｘ＝ｘｓ−１（ステップＳ５３）に１を加算したｘ＝ｘｓ（ステップＳ５４）に係る座標にある小領域Ｐｘｙ（図１５（ｉｉ）を参照）の画素の輝度Ｌ（ｘｓ，ｙｓ＋１）について輝度差ΔＬ（ｘｓ，ｙｓ＋１）＝Ｌ（ｘｓ，ｙｓ＋１）−Ｌ（ｘｓ＋１，ｙｓ＋１）を算出する（ステップＳ５５）。そして、ステップＳ５５で算出された輝度差ΔＬ（ｘｓ，ｙｓ＋１）が１２０以上であるか否かをエッジ候補検出部５５が判定する（ステップＳ５６）。ステップＳ５６でΔＬ（ｘｓ，ｙｓ＋１）が１２０以上でないと判定された場合には、その輝度差に係るｘ座標に１を加算した（ステップＳ５４）座標にある小領域Ｐｘｙ（図１５（iii）を参照）に係る輝度差ΔＬ（ｘｓ＋１，ｙｓ＋１）＝Ｌ（ｘｓ＋１，ｙｓ＋１）−Ｌ（ｘｓ＋２，ｙｓ＋１）をエッジ候補検出部５５は算出する（ステップＳ５５）。そして、エッジ候補検出部５５は輝度差ΔＬ（ｘｓ１＋１，ｙｓ＋１）が１２０以上であるか否かを判定する（ステップＳ５６）。
【００８５】
さらに、ステップＳ５６でΔＬ（ｘｓ＋１，ｙｓ＋１）が１２０以上でないと判定された場合には、ΔＬ（ｘｓ＋１，ｙｓ＋１）に係るｘ座標に１を加算した（ステップＳ５４）座標にある小領域Ｐｘｙの輝度差ΔＬ（ｘｓ＋２，ｙｓ＋１）＝Ｌ（ｘｓ＋２，ｙｓ＋１）−Ｌ（ｘｓ＋３，ｙｓ＋１）をエッジ候補検出部５５が算出する（ステップＳ５５）。そして、エッジ候補検出部５５は輝度差ΔＬ（ｘｓ＋２，ｙｓ＋１）が１２０以上であるか否かを判定する（ステップＳ５６）。このようにして、ｘ座標を１ずつ加算した座標にある小領域Ｐｘｙに係る輝度差ΔＬの算出（ステップＳ５５）及び判定（ステップＳ５６）を繰り返し、輝度差ΔＬ（ｘｓ＋ｎ，ｙｓ＋１）が１２０以上であると判定されたら、その輝度差ΔＬに係る小領域Ｐｘｙを白線エッジ候補領域Ｐｅとして検出する（ステップＳ５７）。
【００８６】
ステップＳ５７で白線エッジ候補領域Ｐｅの輝度差ΔＬが１２０以上であると判定されたら、そのｙ座標が消失点Ｐｖのｙ座標であるｙｖ以上であるか否かをエッジ候補検出部５５が判定する（ステップＳ５８）。
【００８７】
ステップＳ５８で白線エッジ候補領域Ｐｅのｙ座標がｙｖ以上でないと判定された場合には、ｙ座標に１を加算し（ステップＳ５２）、ｘ＝ｘｓ＋ｎ（＝ｘｓ１とする）とした座標（ｘｓ１，ｙｓ＋２）にある小領域Ｐｘｙ（図１５（ｉｖ））を参照）に係る輝度差ΔＬ（ｘｓ１，ｙｓ＋２）＝Ｌ（ｘｓ１，ｙｓ＋２）−Ｌ（ｘｓ１＋１，ｙｓ＋２）を算出する（ステップＳ５５）。そして、上述と同様にステップＳ５２乃至ステップＳ５８の処理を繰り返す。これらの処理を繰り返して、ｙ座標がｙｖ以上であると判定されたら白線エッジ候補領域Ｐｅを検出する処理を終了する。
【００８８】
所定の時間前に生成された基準画像Ｉａに撮像されている路面が右にカーブしている場合には、撮像画像内における白線エッジ候補領域Ｐｅのｘ座標はｙ座標の増加に伴い増加するため、上記のようにｙ座標の増加に伴いｘ座標を増加させながら輝度差ΔＬの算出及び判定をする。すなわち、既に白線エッジ候補領域Ｐｅが検出されている小領域Ｐｘｙより右上の小領域Ｐｘｙについて白線エッジ候補領域Ｐｅを検出するために輝度差ΔＬが所定の値以上であるか否か判定する処理を行う。このような順に処理を行うことによって白線エッジ候補領域Ｐｅの誤検出を減少させることができ、路面を判定する処理の精度が向上する。
【００８９】
同様にして、所定の時間前に生成された基準画像Ｉａに撮像されている路面が左にカーブしていると判定された場合には、ステップＳ５４でｘ座標を１ずつ減算した座標にある小領域Ｐｘｙに係る輝度差ΔＬの算出（ステップＳ５５）及び判定（ステップＳ５６）を繰り返し、輝度差ΔＬが１２０以上であると判定されたら、その輝度差ΔＬに係る小領域Ｐｘｙを白線エッジ候補領域Ｐｅとして検出する（ステップＳ５７）。
【００９０】
路面が右にカーブしている場合にｙ座標の増加に伴いｘ座標を減少させながら白線エッジ候補領域Ｐｅを検出したら、その白線エッジ候補領域Ｐｅは誤検出である可能性が高い。そのため、ｙ座標の増加に伴いｘ座標を増加させながら輝度差ΔＬの算出及び判定をすることにより、白線エッジ候補領域Ｐｅの誤検出を減少させることができ、路面を判定する処理の精度が向上する。
【００９１】
なお、路面が左にカーブしている場合には、撮像画像内における白線エッジ候補領域Ｐｅのｘ座標はｙ座標の増加に伴い減少するため、上記のようにｙ座標の増加に伴いｘ座標を減少させながら輝度差ΔＬの算出及び判定をする。
【００９２】
＜＜カーブを判定する処理＞＞
図１０に戻って、エッジ候補検出部５５が白線エッジ候補領域Ｐｅを検出する（ステップＳ４及びステップＳ５）と、カーブ方向判定部５８は基準画像Ｉａに撮像されている路面が右の方向へカーブしているか、左の方向へカーブしているかを判定する（ステップＳ６）。
【００９３】
＜近似直線の交点を検出する処理＞
まず、図１６に示されるように直線交点検出部５８１が基準画像Ｉａ上の左側の白線の直線部分の延長線と右側の直線部分の延長線との交点Ｐｉを算出する（ステップＳ６１）
具体的には、図１７に示されるように直線交点検出部５８１が左側の直線部分についての白線エッジ候補領域Ｐｅｌ群について直線近似し、左側の近似直線ｌｉｎｅＬ１（図４（２）を参照）を算出する（ステップＳ６１１）。同様にして、直線交点検出部５８１は右側の直線部分についての白線エッジ候補領域Ｐｅｒ群を直線近似し、近似直線ｌｉｎｅＲ１（図４（２）を参照）を算出する（ステップＳ６１２）。そして、直線交点検出部５８１は右側の近似直線ｌｉｎｅＬ１と近似直線ｌｉｎｅＲ１との交点Ｐｉの位置を表す座標（ｘｉ、ｙｉ）を算出する（ステップＳ６１３）。なお、左側の近似直線ｌｉｎｅＬ１を算出する処理、右側の近似直線ｌｉｎｅＲ１を算出する処理はいずれを先に行ってもよい。
【００９４】
＜消失点の検出処理＞
続いて、図１６に戻って消失点検出部５８２は左右の白線の消失点Ｐｖを検出する（ステップＳ６２）。具体的には、図１８に示されるように消失点検出部５８２が左側の曲線部分の白線エッジ候補領域Ｐｅｌ群について近似曲線ｌｉｎｅＬ２（図４（２）を参照）を算出する（ステップＳ６２１）。同様にして、消失点検出部５８２は右側の曲線部分の白線エッジ候補領域Ｐｅｒ群について近似曲線ｌｉｎｅＲ２（図４（２）を参照）を算出する（ステップＳ６２２）。さらに、消失点検出部５８２は近似曲線ｌｉｎｅＬ２と近似曲線ｌｉｎｅＲ２との交点である消失点Ｐｖの位置を表す座標（ｘｖ、ｙｖ）を算出する（ステップＳ６２３）。なお、左側の近似曲線ｌｉｎｅＬ２を算出する処理、右側の近似曲線ｌｉｎｅＲ２を算出する処理はいずれを先に行ってもよい。
【００９５】
＜判定処理＞
そして、再び図１６に戻って、近似直線ｌｉｎｅＬ１と近似直線ｌｉｎｅＲ１との交点Ｐｉと消失点Ｐｖに基づいて、判定部５８３が基準画像Ｉａに撮像されている路面が右の方向へカーブしているか、左の方向へカーブしているかを判定する（ステップＳ６３）。具体的には、交点Ｐｉの座標を（ｘｉ、ｙｉ）としたときに、判定部５８３は消失点Ｐｖの位置を表すｘ座標であるｘｖがｘｉより大きいか、小さいか、またはｘｖ＝ｘｉであるかを判定する。図４（２）に示されるようにｘｖがｘｉより大きいと判定された場合には、判定部５８３は路面が右にカーブしていると判定する。また、ｘｖがｘｉより小さいと判定された場合には、判定部５８３は路面が左にカーブしていると判定する。また、ｘｖ＝ｘｉであると判定された場合には、判定部５８３は路面が直線であると判定する。
【００９６】
＜＜白線視差を決定する処理＞＞
続いて、図１０に戻って、白線視差決定部５６はステップＳ４及びステップＳ５でエッジ候補検出部５５によって検出された白線エッジ候補領域Ｐｅに基づいて白線領域Ｐｗの視差ｄｗを決定する（ステップＳ７）。具体的には、図１９に示されるように、まず回帰直線算出部５６１が白線エッジ候補領域Ｐｅのｙ座標と視差ｄｅの回帰直線を算出する（ステップＳ７１）。具体的には、白線エッジ候補領域Ｐｅの各ｙ座標と視差ｄｅについて、白線視差決定部５６がＨｏｕｇｈ変換によって図７に示される回帰直線Ｒｅｇ−ｌｉｎｅを決定する。そして、白線視差決定部５６は各ｙ座標における回帰直線Ｒｅｇ−ｌｉｎｅ上の視差ｄｅを各ｙ座標の左白線視差ｄｗと決定する（ステップＳ７２）。
【００９７】
基準画像Ｉａにおいてこのように回帰直線Ｒｅｇ−ｌｉｎｅを算出することによって白線エッジ候補領域Ｐｅに含まれるノイズを除去することができ、白線視差ｄｗを高い精度で決定することができる。これにより、距離Ｚを正確に算出することができる。
【００９８】
＜＜走行領域を検出する処理＞＞
続いて、図１０に戻って走行領域検出部５７が、基準画像Ｉａの所定の小領域群に含まれる小領域Ｐｘｙから走行領域を検出する（ステップＳ８）。
【００９９】
＜度数を算出する処理＞
まず、図２０に示されるように度数算出部５７１が所定の小領域群に含まれる小領域Ｐｘｙについて、基準画像Ｉａの座標ｘで表される小領域Ｐｘｙのうち視差ｄｘｙである小領域Ｐｘｙの度数Ｃを算出する（ステップＳ８１）。既に説明したように度数算出部５７１によって算出された結果が図９に示されている。
【０１００】
＜度数を判定する処理＞
度数判定部５７２は度数算出部５７１によって算出された度数Ｃが閾値Ｃｐ以上であるか否かを判定する（ステップＳ８２）。＜度数算出部＞で説明したように被写体Ｓが建物等である小領域Ｐｘｙに係る度数分布図上の度数Ｃは被写体Ｓが路面である小領域Ｐｘｙに係る度数分布図上の度数Ｃより大きい。すなわち、度数Ｃが所定の閾値Ｃｐより大きいか否かを判定することにより小領域Ｐｘｙが建物等を表すものであるか否かを判定することができる。
【０１０１】
ここで、度数判定部５７２が、度数Ｃが所定の閾値Ｃｐより大きいか否かを判定する処理の詳細について図２１を用いて説明する。度数判定部５７２が判定する処理をするために、まず境界間小領域算出部５７４がエッジ候補検出部５５によって検出された左右の白線エッジ候補領域Ｐｅ群の度数分布図上での近似直線ｌｉｎｅＬ３と近似直線ｌｉｎｅＲ３との二等分線ｌｉｎｅｈ３、近似曲線ｌｉｎｅＬ４と近似曲線ｌｉｎｅＲ４との二等分線ｌｉｎｅｈ４を含む線ｌｉｎｅｈ（図９参照）を算出する（ステップＳ８２１）。具体的には、境界間小領域算出部５７４は左白線エッジ候補領域Ｐｅｒ、右白線エッジ候補領域Ｐｅｒそれぞれのｘ座標、視差ｄを度数分布図に表示する。そして、図９に示されるように境界間小領域算出部５７４は左白線エッジ候補領域Ｐｅｌの近似直線ｌｉｎｅＬ３と右白線エッジ候補領域Ｐｅｒの近似直線ｌｉｎｅＲ３、及びそれらの二等分線ｌｉｎｅｈ３を算出する。また、図９に示されるように境界間小領域算出部５７４は左白線エッジ候補領域Ｐｅｌの近似曲線ｌｉｎｅＬ４と右白線エッジ候補領域Ｐｅｒの近似曲線ｌｉｎｅＲ４、及びそれらの二等分線ｌｉｎｅｈ４を算出する。以降の説明では、二等分線ｌｉｎｅｈ３および二等分線ｌｉｎｅｈ４を含む線をｌｉｎｅｈとし、ｌｉｎｅｈは度数分布図上で数式ｘ＝ｆ（ｄ）で表されるものとする。なお、ｌｉｎｅｈに対応する小領域Ｐｘｙは所定の小領域の一例であり、境界間小領域算出部５７４は境界間小領域算出手段の一例である。
【０１０２】
そして、度数判定部５７２は、座標（ｘ，ｄ）で表される度数分布図上で線分ｌｉｎｅｈ上にある座標（ｆ（ｄ），ｄ）（図９（ｉ）を参照）の度数Ｃについて（ステップＳ８２２）、Ｃ≧Ｃｐであるか否かを判定する（ステップＳ８２３）。ステップＳ８２３でＣ≧Ｃｐであると判定された場合、度数判定部５７２は度数分布図における座標（ｘ，ｄ）に対応する基準画像Ｉａ上の小領域Ｐｘｙを建物等が表されているものであると判定する（ステップＳ８２４）。ステップＳ８２３でＣ≧Ｃｐでないと判定された場合、度数判定部５７２は度数分布図における座標ｘから１を減算した（ステップＳ８２５）座標（ｆ（ｄ）−１，ｄ）（図９（ii）を参照）に係る度数ＣについてＣ≧Ｃｐであるか否かを判定する（ステップＳ８２３）。
【０１０３】
さらにＣ≧Ｃｐでないと判定された場合、度数判定部５７２は度数分布図における座標ｘから１を減算した（ステップＳ８２５）座標（ｆ（ｄ）−２，ｄ）（図９（iii）を参照）に係る度数ＣについてＣ≧Ｃｐであるか否かを判定する（ステップＳ８２３）。このように、順次、ｘ座標から１を減算しながら（ステップＳ８２５）度数Ｃについて判定を行い（ステップＳ８２３）、座標（ｆ（ｄ）−ｎ，ｄ）（図９（ｉｖ）を参照）に係る度数ＣについてＣ≧Ｃｐであると判定されたら、度数判定部５７２は座標ｘ＝ｆ（ｄ）−ｎ，視差ｄに対応する小領域Ｐｘｙを建物等が表されているものであると判定する（ステップＳ８２４）。
【０１０４】
ここで図９に示される度数分布図の具体例を用いて、度数判定部５７２が、度数Ｃが所定の閾値以上であるか否かを判定する処理について説明する。この具体例において上記の所定の閾値はＣｐ＝４であるとする。たとえば、度数分布図の視差ｄ＝１００についての処理は次のとおりである。度数判定部５７２は度数分布図上の二等分線ｌｉｎｅｈの視差ｄ＝１００に対応するｘ座標をｘ＝ｆ（１００）と算出する（ステップＳ８２２）。図９に示される具体例ではｘ＝ｆ（１００）＝９である。このとき度数判定部５７２は座標（ｘ，ｄ）＝（９，１００）（図９（ｉ）を参照）における度数ＣについてＣ≧Ｃｐであるか否かを判定する（ステップＳ８２３）。この具体例ではＣ＝１、Ｃｐ＝４であるため、Ｃ≧Ｃｐではないと判定される。
【０１０５】
次に度数判定部５７２は座標ｘについて１を減算した（ステップＳ８２５）座標（ｘ，ｄ）＝（８，１００）（図９（ii）を参照）における度数ＣについてＣ≧Ｃｐであるか否かを判定する（ステップＳ８２３）。この処理を繰り返して座標（ｘ，ｄ）＝（３，１００）（図９（ｉｖ）を参照）における度数ＣについてＣ≧Ｃｐであるか否かを判定する（ステップＳ８２３）と、Ｃ＝６、Ｃｐ＝４であるためＣ≧Ｃｐであると判定される。これにより、度数判定部５７２は座標ｘ＝３、視差ｄ＝１００に対応する小領域Ｐｘｙを建物等であると判定して（ステップＳ８２４）処理を終了する。建物等であると判定されたら、座標ｘ＝１〜２、視差ｄ＝１００における度数ＣがＣ≧Ｃｐであるか否かの判定は行わない。
【０１０６】
上記において視差ｄ＝１００に係る処理を説明したが、度数分布図上の全ての視差ｄについて同様の処理を行う。また、上記においては線分ｌｉｎｅｈより左の座標（ｘ，ｄ）についての度数Ｃを処理の対象としていたが、ステップＳ８２５での処理を度数分布図における座標ｘに１を加算することによって線分ｌｉｎｅｈより右の座標（ｘ，ｄ）についての度数Ｃについても同様に建物等であるか否かを判定する。
【０１０７】
＜検出する処理＞
検出部５７３は度数判定部５７２によって検出された左の物体領域Ｐｂｒおよび右の物体領域Ｐｂｒの間にある小領域Ｐｘｙを走行領域として検出する。
【０１０８】
このように、度数分布図において決定された線分ｌｉｎｅｈ上の座標（ｘ，ｄ）についての度数Ｃからｘ軸方向端部の座標（１，ｄ）に向かって順に建物等であるか否かを判定する処理を行う。そして、ある座標（ｘ，ｄ）に係る度数Ｃについて建物等であると判定されたら、該座標（ｘ，ｄ）より端部の座標（ｘ，ｄ）に係る度数Ｃについての判定を行わない。これによって、たとえば図４（１）に示される部分Ｂ、すなわちカーブの方向が右である場合の左側の部分については路面であるか否かの判定が行われない。そのため、ノイズ等による誤検出を防ぐことができ、画像内に撮像されている路面を高い精度で検出することができる。
【０１０９】
〔実施形態の補足〕
上記の実施形態においては、度数判定部５７２は度数分布図上の線分ｌｉｎｅｈにあたる座標（ｆ（ｄ），ｄ）から端部の座標（１，ｄ）に向かって順に各座標（ｘ，ｄ）に対応する度数Ｃが閾値Ｃｐ以上であるか否かを判定している。しかし、線分ｌｉｎｅｈではなく近似直線ｌｉｎｅＬ３と近似直線ｌｉｎｅＲ３の間にある所定の座標（ｘ，ｄ）から端部の座標（１，ｄ）に向かって順に各座標（ｘ，ｄ）に対応する度数Ｃが閾値Ｃｐ以上であるか否かを判定してもよい。
【０１１０】
また、消失点検出部５８２によって検出された消失点Ｐｖに基づいて上述の判定を行ってもよい。具体的には、度数分布図において最も大きいｄｘｙ座標に係る小領域Ｐｘｙのうち中央に位置する小領域Ｐｘｙと、消失点Ｐｖとを結んだ線分ｌｉｎｅｈ’をｌｉｎｅｈの代わりに用いる。消失点Ｐｖは無限遠に存在するものであるからｄ＝０であること及び消失点検出部５８２によって消失点Ｐｖのｘ座標が検出されていることから、図９に示されるように度数分布図上の消失点の位置Ｐｖは度数分布図上に表すことができ、これによりｌｉｎｅｈ’を算出すればよい。
【０１１１】
また、判定部５８３によってカーブ方向が判定された場合、カーブ方向に応じて上述の判定を行ってもよい。具体的には、カーブ方向判定部５８によって路面が右方向にカーブしていると判定された場合、度数分布図上に表された消失点Ｐｖを通りｌｉｎｅＬ３に平行な線分ｌｉｎｅｈ’’を算出し、これをｌｉｎｅｈの代わりに用いる。なお、ここではｌｉｎｅＬ３に平行な線分を用いているが、これに限るものではなく、カーブ方向に傾きをもつ線分を広く用いることが可能である。また、カーブ方向判定部５８によって路面が右方向にカーブしていると判定された場合、度数分布図上に表された消失点Ｐｖを通りｌｉｎｅＲ３に平行な線分ｌｉｎｅｈ’’を算出し、これをｌｉｎｅｈの代わりに用いる。
【０１１２】
このように度数判定部５７２は、消失点Ｐｖに基づいて度数Ｃが所定の値Ｃｐ以上であるか否かを判定するため、近似曲線ｌｉｎｅＬ４と近似曲線ｌｉｎｅＲ４が正確に算出されないことがあっても、走行領域検出部５７は効率的に走行領域を検出することができる。
【０１１３】
なお、上記消失点に基づいた判定においては、消失点と度数分布図におけるｄｘｙ座標が最も大きい小領域Ｐｘｙによって算出される線分を用いているが、ｄｘｙ座標が最も大きい小領域Ｐｘｙである必要はなく、度数分布図におけるｄｘｙ座標が所定の値となる小領域Ｐｘｙを線分ｌｉｎｅｈ’の算出に用いてもよい。ここでの所定の値とは、経験的に定められる最大の視差ｄｘｙ等である。
【０１１４】
図９の視差分布図に表されるように、ｄｘｙ座標が大きい小領域ＰｘｙにおいてはｌｉｎｅＬ３、ＬｉｎｅＲ３が存在しない場合がある。このような場合に度数判定部５７２が既に説明した判定をしても判定部５７２を実現するＣＰＵ３２の負荷が高くなってしまう。したがって、このような場合にはｄｘｙ座標が所定の値未満となる小領域Ｐｘｙのみに対して度数判定部５７２が判定をすることによって効率的に処理することができる。これにより、画像処理装置のＣＰＵ３２等の負荷を軽減することが可能となる。
【０１１５】
また、線分ｌｉｎｅｈではなく左白線エッジ候補画素Ｐｅｌの近似直線ＬｉｎｅＬ３上の座標から端部の座標（１，ｄ）に向かって順に各座標（ｘ，ｄ）に対応する順に各座標（ｘ，ｄ）に対応する度数Ｃが閾値Ｃｐ以上であるか否かを判定してもよい。左白線エッジ候補領域Ｐｅｌと右白線エッジ候補領域Ｐｅｒの度数分布図における座標の間にある座標（ｘ，ｄ）に係る小領域Ｐｘｙは建物等でないことが想定される。そのため、度数分布図において左白線エッジ候補領域Ｐｅｌと右白線エッジ候補領域Ｐｅｒの間にない座標（ｘ，ｄ）の度数Ｃのみについて閾値Ｃｐ以上であるか否かを判定する処理を行えばＣＰＵの負荷を削減することが可能となる。
【０１１６】
図２２は画像処理システム１の機能構成図の他の例である。上記の実施形態において、白線視差決定部５６は図２２に示されるように白線確度決定部５６３を有することによって、白線エッジ候補領域Ｐｅが白線エッジを表す小領域である確からしさ（以降、白線確度という。）を判定するとしてもよい。ここで、白線確度決定部５６３が白線確度を判定する処理について図２３を用いて説明する。図２３は図６に示される図と同様であり、エッジ候補検出部５５によって検出された白線エッジ候補領域Ｐｅ群のうち、一の白線エッジ候補領域Ｐｅ、及びその白線エッジ候補領域Ｐｅに隣接する３つの小領域Ｐｅ１、Ｐｅ２、Ｐｅ３に符号を付したものである。図２３は、基準画像Ｉａの一部を拡大した図である。
【０１１７】
まず、白線確度決定部５６３はステップＳ４またはステップＳ５で図２３（１）に示されるエッジ候補領域Ｐｅが検出されたら、図２３（２）に示される白線エッジ候補領域Ｐｅとｘ軸方向に外側で隣接する３つの小領域Ｐｅ１、Ｐｅ２、Ｐｅ３について視差を比較する。具体的には、白線エッジ候補領域Ｐｅの視差ｄｅと、小領域Ｐｅ１、Ｐｅ２、Ｐｅ３の視差ｄｅ１、ｄｅ２、ｄｅ３それぞれとの差ｄｅ−ｄｅ１、ｄｅ−ｄｅ２、ｄｅ−ｄｅ３（それぞれ、以降においては視差差分Δｄ１、Δｄ２、Δｄ３という）を算出する。そして、視差差分Δｄ１、Δｄ２、Δｄ３それぞれが所定の値、たとえば１０以下であるか否かを判定する。図２３（２）に示される例においてはｄｅ＝１３２、ｄｅ１＝１３０、ｄｅ２＝１２８、ｄｅ３＝１３２であるから、Δｄ１＝１３２−１３０＝２、Δｄ２＝１３２−１２８＝４、Δｄ３＝１３２−１３２＝０となる。そして、これらの値が所定の値以下、すなわち１０以下であるか否かを判定する。
【０１１８】
視差差分Δｄ１、Δｄ２、Δｄ３がいずれも所定の値以下である場合、白線確度決定部５６３は、白線エッジ候補領域Ｐｅが白線領域Ｐｗであると判定する。また、視差差分Δｄ１、Δｄ２、Δｄ３のいずれかが所定の範囲でない場合、白線確度決定部５６３は、白線エッジ候補領域Ｐｅが白線領域Ｐｗではないと判定する。図２３に示される例においては、上述のとおり視差差分Δｄ１、Δｄ２、Δｄ３はいずれも１０以下であるため白線確度決定部５６３は、白線エッジ候補領域Ｐｅが白線領域Ｐｗであると判定する。さらに、これらの判定を全ての白線エッジ候補領域Ｐｅについて行い、白線領域Ｐｗであると判定されたエッジ候補領域Ｐｅのみを用いて回帰直線算出部５６１が回帰直線を算出する処理を行う。
【０１１９】
路面における白線はｘ軸方向に幅がある帯状の部分である。そのため、白線エッジ候補領域Ｐｅから所定の幅（上記の例ではｘ軸方向に隣接する３つの小領域Ｐｘｙ）における視差ｄｅ１、ｄｅ２、ｄｅ３が白線エッジ候補領域Ｐｅにおける視差ｄｅに近似している値である場合、これらの小領域Ｐｘｙが表す被写体Ｓは互いに近傍にあることを表している。すなわち白線エッジ候補領域Ｐｅが路面上にある白線を表すものである確度が高いと考えられる。よって、このような確度が高い白線エッジ候補領域Ｐｅのみを用いることによって走行領域検出部５７はより精度の高い路面判定を行うことが可能となる。
【０１２０】
なお、上記の例では隣接する３つの小領域を用いて、白線エッジ候補領域Ｐｅの確度を判定したが、撮像レンズ１１ａおよび撮像レンズ１１ｂの画角、解像度、白線の種類等により判定に用いられる小領域の数を決定するのが好ましい。
【０１２１】
また、本実施形態では、基準画像Ｉａのｙ座標一定の小領域Ｐｘｙ群において、中央の小領域Ｐｘｙから左端の小領域Ｐｘｙに向けて順に、エッジ候補検出部５５が輝度差ΔＬの算出及び判定を行うとしているが、中央の小領域Ｐｘｙから所定数の小領域Ｐｘｙおきに左端の小領域Ｐｘｙに向けて輝度差ΔＬの算出及び判定を行うとしてもよい。
【０１２２】
また、本実施形態では白線エッジを検出する処理を行っているが、ここで検出する対象は白色の帯状の部分ではなく、路面において車道と歩道の境界、または車線間の境界を表すために用いられる他の色の帯状の部分であってもよい。
【０１２３】
また、本実施形態の＜エッジ候補領域の第一の検出処理＞では、エッジ候補検出部５５は基準画像Ｉａの中央にある小領域Ｐｘｙ（ｘ座標６４０に位置する小領域）からｘ軸方向に左端及び右端の小領域Ｐｘｙに向けて順に輝度差ΔＬの算出及び輝度差ΔＬに基づく判定を行っている。しかし、エッジ候補検出部５５は中央の小領域Ｐｘｙではなく他の小領域Ｐｘｙから順に算出及び判定を行ってもよい。基準画像Ｉａの特徴に応じてエッジ候補領域Ｐｅが早く検出できるように算出及び判定を行うように適宜設定することが好ましい。
【０１２４】
また、本実施形態においては撮像装置１０、信号変換装置２０及び画像処理装置３０が一つの筐体として構成されている。しかし、別の筐体として独立したステレオカメラが撮像装置１０及び信号変換装置２０を有し、画像処理装置３０が別の筐体として構成されてもよい。
【０１２５】
また、本実施形態では画像処理システム１を自動車に搭載するものとしているが、自動車の他に車両、船舶、航空機、または産業用ロボット等を例とする移動装置に搭載してもよい。
【符号の説明】
【０１２６】
１  画像処理システム
１０  撮像装置
１１  撮像レンズ
１２  絞り
１３  画像センサ
２０  信号処理部
２１  ＣＤＳ
２２  ＡＧＣ
２３  ＡＤＣ
２４  フレームメモリ
３０  画像処理装置
３１  ＤＳＰ
３２  ＣＰＵ
３３  ＲＯＭ
３４  ＲＡＭ
５０  画像処理部
５１  撮像部
５２  信号変換部
５３  視差算出部
５５  エッジ候補検出部
５６  白線視差決定部
５６１  回帰直線算出部
５６２  決定部
５７  走行領域検出部
５７１  度数算出部
５７２  度数判定部
５７３  検出部
５８  カーブ方向判定部
５８１  直線交点検出部
５８２  消失点検出部
５８３  判定部
【先行技術文献】
【特許文献】
【０１２７】
【特許文献１】特開平５−２６５５４７号公報
【特許文献２】Proceedings of the fifth international Conference on 3D Digital Imaging and Modeling 1550-6185/05 $20.00 2005 IEEE
【図１】
2014179052.tif 000003
【図２】
2014179052.tif 000004
【図３】
2014179052.tif 000005
【図４】
2014179052.tif 000006
【図５】
2014179052.tif 000007
【図６】
2014179052.tif 000008
【図７】
2014179052.tif 000009
【図８】
2014179052.tif 000010
【図９】
2014179052.tif 000011
【図１０】
2014179052.tif 000012
【図１１】
2014179052.tif 000013
【図１２】
2014179052.tif 000014
【図１３】
2014179052.tif 000015
【図１４】
2014179052.tif 000016
【図１５】
2014179052.tif 000017
【図１６】
2014179052.tif 000018
【図１７】
2014179052.tif 000019
【図１８】
2014179052.tif 000020
【図１９】
2014179052.tif 000021
【図２０】
2014179052.tif 000022
【図２１】
2014179052.tif 000023
【図２２】
2014179052.tif 000024
【図２３】
2014179052.tif 000025
【図２４】
2014179052.tif 000026