(57)【要約】      （修正有）【課題】車両等が進行する方向を撮像した画像内の小領域が路面であるか否かを正確に判定することができる画像処理方法及び移動装置を提供する。【解決手段】複数の画像に基づいて画像内の小領域における視差を算出する視差算出手段と、前記画像で境界が撮像されている境界領域を検出する境界検出手段と、前記境界検出手段によって検出され、鉛直方向の位置が前記小領域と同じである二つの境界領域の視差を決定する境界視差決定手段と、前記視差算出手段によって算出された小領域の視差と、前記境界視差決定手段によって決定された前記二つの境界領域の視差と、に基づいて前記小領域が路面を表すか否かを判定する路面判定手段と、を有する。【選択図】図３
2014164397.tif 000002
【特許請求の範囲】
【請求項１】
複数の境界を有する路面が走行方向に撮像された複数の画像を処理する画像処理装置であって、
前記複数の画像に基づいて画像内の小領域における視差を算出する視差算出手段と、
前記画像で境界が撮像されている境界領域を検出する境界検出手段と、
前記境界検出手段によって検出され、鉛直方向の位置が前記領域と同じである二つの境界領域の視差を決定する境界視差決定手段と、
前記視差算出手段によって算出された小領域の視差と、前記境界視差決定手段によって決定された前記二つの境界領域の視差と、に基づいて前記小領域が路面を表すか否かを判定する路面判定手段と、
を有することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記路面判定手段は、前記小領域の視差と前記二つの境界領域それぞれの視差との差が所定の範囲内であれば、前記小領域が路面を表すものであると判定し、前記小領域の視差と前記二つの境界領域いずれかの視差との差が所定の範囲内になければ、前記小領域が路面を表すものでないと判定することを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置であって、
前記路面判定手段は、
前記小領域の視差が一の境界領域の視差以上で、かつ、他の境界領域の視差以下である場合に前記小領域は路面を表すものであると判定し、
前記小領域の視差が前記一の境界領域の位置における視差より小さい、または、前記他の境界領域の視差より大きい場合に前記小領域は路面を表すものではないと判定することを特徴とする画像処理装置。
【請求項４】
請求項１乃至３のいずれか一項に記載の画像処理装置であって、
前記境界検出手段は、
前記画像を形成する画素の輝度に基づいて、前記境界領域を検出することを特徴とする画像処理装置。
【請求項５】
請求項１乃至４のいずれか一項に記載の画像処理装置であって、
前記境界検出手段は、
隣接する画素の輝度の差が所定の閾値以上である画素がある小領域を境界領域の候補として検出するエッジ候補検出手段を有することを特徴とする画像処理装置。
【請求項６】
請求項１乃至５のいずれかに一項に記載の画像処理装置であって、
前記境界検出手段は、
前記画素のうち所定の位置にある画素から、前記画像の水平方向の端部にある画素にむけて順に境界領域の候補であるか否かを判定することを特徴とする画像処理装置。
【請求項７】
請求項１乃至６のいずれか一項に記載の画像処理装置であって、
前記境界視差決定手段は、
前記境界検出手段によって検出された前記境界領域における視差と、前記境界領域の位置を表す情報との関係を表す回帰直線を算出する回帰直線算出手段を有し、
前記境界領域の視差は、前記回帰直線算出手段によって算出された回帰直線上にある視差であるすることを特徴とする画像処理装置。
【請求項８】
撮像された複数の画像を処理する画像処理方法であって、
前記複数の画像に基づいて画像内の小領域における視差を算出する視差算出工程と、
前記画像で境界が撮像されている境界領域を検出する境界検出工程と、
前記境界検出工程によって検出され、鉛直方向の位置が前記小領域と同じである二つの境界領域の視差を決定する境界視差決定工程と、
前記視差算出工程によって算出された小領域の視差と、前記境界視差決定工程によって決定された前記二つの境界領域の視差と、に基づいて前記小領域が路面を表すか否かを判定する路面判定工程と、
を含む画像処理方法。
【請求項９】
撮像された複数の画像を処理する画像処理装置が実行する画像処理プログラムであって、
前記複数の画像に基づいて画像内の小領域における視差を算出する視差算出工程と、
前記画像で境界が撮像されている境界領域を検出する境界検出工程と、
前記境界検出工程によって検出され、鉛直方向の位置が前記小領域と同じである二つの境界領域の視差を決定する境界視差決定工程と、
前記視差算出工程によって算出された小領域の視差と、前記境界視差決定工程によって決定された前記二つの境界領域の視差と、に基づいて前記小領域が路面を表すか否かを判定する路面判定工程と、
を画像処理装置に実行させるための画像処理プログラム。
【請求項１０】
画像を撮像する撮像装置と、
複数の前記の画像に基づいて画像内の小領域における視差を算出する視差算出手段と、
前記画像で境界が撮像されている境界領域を検出する境界検出手段と、
前記境界検出手段によって検出され、鉛直方向の位置が前記小領域と同じである二つの境界領域の視差を決定する境界視差決定手段と、
前記視差算出手段によって算出された小領域の視差と、前記境界視差決定手段によって決定された前記二つの境界領域の視差と、に基づいて前記小領域が路面を表すか否かを判定する路面判定手段と、
を有する画像処理装置と、
を含む画像処理システム。
【請求項１１】
請求項１乃至７のいずれか一項に記載の画像処理装置または請求項１０に記載の画像処理システムを有することを特徴とする移動装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理システム、画像処理プログラム及び移動装置に関する。
【背景技術】
【０００２】
従来、車両、船舶、航空機、または産業用ロボット等（以降、車両等という）の移動において、移動の障害となる立体物を検知する技術の開発が進められている。特に、車両等が走行する道路を認識し、道路上に立体物が存在するか否かを判断する技術が知られている。
【０００３】
特許文献１には三次元的な位置情報を利用し、実際の道路上の白線だけを分離して道路形状を認識する技術が記載されている。特許文献１に記載の技術においては、２台のＣＣＤカメラを有するステレオ画像処理装置が撮影した画像を処理することによって、画像を表す二次元の情報と、撮像物までの距離データと、を含む三次元の情報を取得する。そして、三次元の情報が表す空間では白線は道路の平面上にあり、一方、先行車などの立体物は道路の平面より高い位置にあるとしている。このようにして、ステレオ画像処理装置は取得された三次元の情報により道路面からの高さによって白線か立体物であるかを区別している。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術では、路面において自動車の進行方向に直行する方向に傾斜がある場合に、撮像された画像内の各小領域が路面を表しているか否かを正確に判定することができない。
たとえば、進行方向に対して路面の左側が低く、右側が高くなるように傾斜している場合がある。この場合、路面の左側の白線より右側にある小領域は左側の白線より高い位置にあることになる。このような路面を走行しているときに撮像された画像に基づいて、特許文献１に記載の技術を用いて画像内の小領域が路面であるか否かを判定しようとすると、ステレオ画像処理装置は白線を道路の平面として、その平面より高い位置にある撮像物は立体物であると判定する。すなわち、左側の白線より右側の小領域は左側の白線より高い位置にあるため立体物であると判定されてしまう。
このように、画像内の小領域が路面であるか否かを正確に判定することができないという課題が発生している。
【課題を解決するための手段】
【０００５】
上述した課題を解決するため本発明においては、撮像された複数の画像を処理する画像処理装置であって、前記複数の画像に基づいて画像内の小領域における視差を算出する視差算出手段と、前記画像で境界が撮像されている境界領域を検出する境界検出手段と、前記境界検出手段によって検出され、鉛直方向の位置が前記小領域と同じである二つの境界領域の視差を決定する境界視差決定手段と、
前記視差算出手段によって算出された小領域の視差と、前記境界視差決定手段によって決定された前記二つの境界領域の視差と、に基づいて前記小領域が路面を表すか否かを判定する路面判定手段と、を有することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、視差算出手段によって算出された小領域の視差と、境界視差決定手段によって決定された二つの境界領域の視差と、に基づいて前記小領域が路面を表すか否かを判定するので、画像内の小領域が路面を表すものであるか否かを正確に判定することができるという効果を奏する。
【図面の簡単な説明】
【０００７】
【図１】画像処理装置１を搭載した車両等の一例を表す概略図である。
【図２】画像処理装置１のハードウェア構成図である。
【図３】画像処理装置１の機能構成図である。
【図４】撮像部が撮像した撮像画像の一例である。
【図５】距離Ｚを算出する原理を説明するための図である。
【図６】基準画像Ｉａの一部を拡大した図である。
【図７】白線エッジの位置を表すｙ座標とその位置における視差ｄｅの対応関係を表す図である。
【図８】画像処理装置１の処理の概要を表すフロー図である。
【図９】信号変換部５２の処理を表すフロー図である。
【図１０】白線検出部５５及び白線視差決定部５６の処理を表すフロー図である。
【図１１】エッジ候補検出部５５１が白線エッジ候補領域Ｐｅを検出する処理を表すフロー図である。
【図１２】路面判定部５７が路面を判定する処理を表すフロー図である。
【図１３】画像処理装置１の機能構成図の他の例である。
【図１４】基準画像Ｉａの一部を拡大した図である。
【発明を実施するための形態】
【０００８】
本発明の実施形態について図１乃至図１４を用いて説明する。
【０００９】
＜＜画像処理システムのハードウェア構成＞＞
まず、本発明の実施形態における画像処理システム１のハードウェア構成について説明する。図１は本実施形態に係る画像処理システム１を搭載した自動車を表す概念図である。図１（１）は画像処理システム１が設けられている車両等の一例である自動車の側面の概観図である。図１（２）は図１（１）に表されている自動車の前面の概観図である。図２は、画像処理システム１のハードウェア構成図である。
【００１０】
図１（１）及び（２）に示されるように、画像処理システム１は撮像装置１０ａ及び撮像装置１０ｂを備えており、撮像装置１０ａ及び撮像装置１０ｂは自動車の進行方向前方の光景を撮像するように設置されている。図２に示されるように、画像処理システム１は撮像装置１０ａ、撮像装置１０ｂ、信号変換装置２０ａ、信号変換装置２０ｂ、及び情報処理装置３０を有している。撮像装置１０ａは前方の光景を撮像して撮像画像を表すアナログ信号を生成するものであり、撮像レンズ１１ａ、絞り１２ａ、画像センサ１３ａを有している。なお、情報処理装置３０は画像処理装置の一例である。
【００１１】
撮像レンズ１１ａは、撮像レンズ１１ａを通過する光を屈折させて被写体の像を結像させるための光学素子である。絞り１２ａは、撮像レンズ１１ａを通過した光の一部を遮ることによって、後述する画像センサ１３ａに入力される光の量を調整する。画像センサ１３ａは、撮像レンズ１１ａ及び絞り１２ａから入力された光を電気的なアナログの画像信号に変換する半導体の素子であり、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅｓ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）によって実現される。
【００１２】
また、撮像装置１０ｂは撮像装置１０ａと同じ構成を有している。そのため撮像装置１０ｂについての説明は省略する。また、撮像レンズ１１ａと撮像レンズ１１ｂはそれぞれのレンズ面が互いに同一平面内にあるように設置されている。
【００１３】
信号変換装置２０ａは、撮像画像を表すアナログ信号をデジタル形式の撮像画像データに変換するものであり、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）２１ａ、ＡＧＣ（Ａｕｔｏ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）２２ａ、ＡＤＣ（Ａｎａｌｏｇ  Ｄｅｇｉｔａｌ  Ｃｏｎｖｅｒｔｅｒ）２３ａ、及びフレームメモリ２４ａを有している。
【００１４】
ＣＤＳ２１ａは、画像センサ１３ａによって変換されたアナログの画像信号から相関二重サンプリングによってノイズを除去する。ＡＧＣ２２ａは、ＣＤＳ２１ａによってノイズが除去されたアナログの画像信号の強度を制御する利得制御を行う。ＡＤＣ２３ａは、ＡＧＣ２２ａによって利得制御されたアナログの画像信号をデジタル形式の撮像画像データに変換する。フレームメモリ２４ａは、ＡＤＣ２３ａによって変換された撮像画像データを記憶する。
【００１５】
信号変換装置２０ｂは撮像装置１０ｂによって変換されたアナログの画像信号から撮像画像データを取得するものであり、ＣＤＳ２１ｂ、ＡＧＣ２２ｂ、ＡＤＣ２３ｂ、及びフレームメモリ２４ｂを有している。ＣＤＳ２１ｂ、ＡＧＣ２２ｂ、ＡＤＣ２３ｂ、及びフレームメモリ２４ｂはそれぞれＣＤＳ２１ａ、ＡＧＣ２２ａ、ＡＤＣ２３ａ、及びフレームメモリ２４ａと同じ構成であるため、それらについての説明は省略する。
【００１６】
情報処理装置３０は、信号変換装置２０ａ及び信号変換装置２０ｂによって変換された撮像画像データを処理するためのものであり、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）３１、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３２、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）３３、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３４を有している。ＦＰＧＡ３１は、撮像画像データが表す撮像画像における視差ｄを算出する処理を行う。ＣＰＵ３２は、画像処理装置の各機能を制御する。ＲＯＭ３３は、ＣＰＵ３２が画像処理装置の各機能を制御するために実行する画像処理プログラムを記憶している。ＲＡＭ３４はＣＰＵ３２のワークエリアとして使用される。
【００１７】
上記画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させてもよい。
【００１８】
＜＜画像処理システム１の機能構成＞＞
次に、本実施形態の画像処理システム１の機能構成について説明する。図３は、画像処理システム１の機能構成図である。画像処理システム１は、撮像部５１、信号変換部５２、視差算出部５３、距離算出部５４、白線検出部５５、白線視差決定部５６、及び路面判定部５７を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＦＰＧＡ３１によって、又はＲＯＭ３３に記憶されているプログラムに従ったＣＰＵ３２によって実現される機能又は手段である。
【００１９】
図４は撮像部が撮像した撮像画像の一例である。撮像部５１は図４（１）に示されるような自動車の進行方向前方の光景を撮像して撮像画像を生成するものであり、撮像装置１０ａ及び撮像装置１０ｂによって実現される。信号変換部５２は撮像部５１によって生成された撮像画像を表すアナログ信号をデジタル形式の撮像画像データに変換するものであり、信号変換装置２０ａ及び信号変換装置２０ｂによって実現される。
【００２０】
なお、本実施形態の説明においては撮像画像に撮像されている被写体の、撮像画像内における位置を表すために、図４（２）に示されるような座標を用いる。図４に示される座標の１単位は一の画素から構成されてもよいし、隣接する一以上の画素群から構成されてもよい。図４（２）に座標（ｘ，ｙ）で示される黒色で塗布された部分は、一または隣接する二以上の画素群から構成される一の小領域という。以降における各機能部の構成及び動作の説明においては、各機能部は各小領域Ｐｘｙに対して処理を行うものとする。
【００２１】
＜視差算出部＞
視差算出部５３は各小領域に撮像されている被写体の視差ｄｘｙを算出する。ここで図５を用いて視差ｄｘｙについて説明する。図５は、距離Ｚを算出する原理を説明するための図である。まず、図５で示される撮像装置１０ａ、撮像装置１０ｂによって撮像された撮像画像をそれぞれ基準画像Ｉａ、比較画像Ｉｂとする。また、撮像画像における各小領域の位置は図４（２）に示されるように座標（ｘ，ｙ）（ｘ＝１〜１２８０、ｙ＝１〜９６０）で表されるとする。なお、基準画像Ｉａにおいて図４（２）に示されるｘ軸方向を画像の水平方向、ｙ軸方向を画像の鉛直方向という。
【００２２】
図５で、被写体上にあるＳ点の結像位置Ｓａにおける撮像レンズ１１ａの結像中心からの距離をΔａとし、被写体上にあるＳ点の結像位置Ｓｂにおける撮像レンズ１１ｂの結像中心からの距離をΔｂとした場合、視差ｄｘｙはｄｘｙ＝Δａ＋Δｂである。すなわち、視差ｄｘｙとは基準画像Ｉａにおいて図５に示されるように被写体Ｓが撮像されている位置の座標（ｘ，ｙ）と、比較画像Ｉｂにおいて被写体Ｓが撮像されている位置の座標（ｘ’，ｙ’）におけるｘ座標の差（ｘ’−ｘ）である。
【００２３】
視差算出部５３は、基準画像Ｉａにおける全ての座標（ｘ，ｙ）について視差ｄｘｙを算出する。なお、座標（ｘ，ｙ）と視差ｄｘｙを関連付けた情報を視差画像データという。
【００２４】
＜距離算出部＞
距離算出部５４は、視差算出部５３によって算出された視差ｄｘｙを用いて距離Ｚを算出する。距離Ｚとは撮像レンズ１１ａのレンズ面と撮像レンズ１１ｂのレンズ面を含む面から被写体までの距離である。具体的には、図５に示されるように撮像レンズ１１ａ及び撮像レンズ１１ｂの焦点距離ｆ、撮像レンズ１１ａと撮像レンズ１１ｂの間の長さである基線長Ｂ、及び視差ｄｘｙを用いて、距離算出部５４が距離Ｚ＝（Ｂ×ｆ）／ｄと算出する。なお、基線長Ｂ、焦点距離ｆは一例としてそれぞれ５〜３０（ｃｍ）、４〜１５（ｍｍ）とすればよい。
【００２５】
ここで、距離Ｚと視差ｄの関係について更に説明する。Ｚ＝（Ｂ×ｆ）／ｄの計算式より、視差ｄが大きいほど距離Ｚは小さく、視差ｄが小さいほど距離Ｚは大きい。たとえば、図４（２）での座標（ｋ、ｌ）における視差ｄｋｌは座標（ｊ，ｌ）における視差ｄｊｌより大きい値であるとすれば、座標（ｋ，ｌ）における距離Ｚｋｌは座標（ｊ，ｌ）における距離Ｚｊｌより小さい値となる。
【００２６】
すなわち、座標（ｋ，ｌ）にある被写体（図４（２）においては自動車）は、座標（ｊ，ｌ）にある被写体（図４（２）においては白線）より近くにあることが判定される。このようにして、各小領域における視差ｄｘｙを、白線が撮像されている画像内の小領域（白線領域という。）における視差ｄｗと比較することによって、各小領域が路面を表すものか否かを判定することが可能となる。
【００２７】
＜白線検出部＞
白線検出部５５は、基準画像Ｉａに撮像されている路面上の白線の視差ｄｗを決定するもので、図３に示されるようにエッジ候補検出部５５１、回帰直線算出部５５２を有している。ここで、白線とは、一般の路面において描かれている白線を表す画像の部分である。すなわち、本実施形態における白線とは、一次元の線ではなくｘ軸方向に幅をもった帯状の部分をいう。
【００２８】
（エッジ候補検出部）
エッジ候補検出部５５１は、基準画像Ｉａに撮像されている白線のエッジ（以降、白線エッジという）を表す小領域の候補（以降、白線エッジ候補領域Ｐｅという）を検出する。図６を用いてエッジ候補検出部５５１の機能について説明する。図６は基準画像Ｉａの一部を拡大した図である。図６（１）は図４（１）の一部である部分Ａを拡大して表しているものであり、白色で表される部分は基準画像Ｉａにおける白線の一部を表し、斜線で表される部分は基準画像Ｉａにおける白線以外の路面の一部を表している。
【００２９】
図６（２）は図６（１）に表される撮像画像の各小領域を構成する画素の輝度Ｌを表す図である。図６（２）に示されるように白線の一部を形成する小領域の画素の輝度Ｌは、白線以外の路面の一部を形成する小領域の画素の輝度Ｌより高くなっている。図６（３）は図６（２）で表されている各小領域を構成する画素の輝度差ΔＬを表す図である。なお、本実施形態において輝度Ｌは０から２５５の値をとるものとして説明する。
【００３０】
エッジ候補検出部５５１は図６（２）に示される基準画像Ｉａを構成する各小領域についてｘ軸方向に隣接する二つの小領域の輝度Ｌの差（以降、輝度差ΔＬという）を算出する。具体的には、エッジ候補検出部５５１は座標（ｘ，ｙ）にある小領域の輝度Ｌ（ｘ，ｙ）から座標（ｘ＋１，ｙ）にある小領域の輝度Ｌ（ｘ＋１，ｙ）を減じた輝度差ΔＬ（ｘ，ｙ）＝Ｌ（ｘ，ｙ）−Ｌ（ｘ＋１，ｙ）を算出する。
【００３１】
このようにして算出された輝度差ΔＬ（ｘ，ｙ）が図６（３）に示されており、白線のエッジ部分を表す小領域（図６（３）におけるＰｅで示される小領域）における輝度差ΔＬ（ｘ，ｙ）はその他の部分に比べ大きくなる。
【００３２】
エッジ候補検出部５５１は算出された輝度差ΔＬ（ｘ，ｙ）が所定の閾値、たとえば１２０以上であるか否かを判定する。そして、エッジ候補検出部５５１は輝度差ΔＬ（ｘ，ｙ）が１２０以上と判定した場合には、その座標（ｘ，ｙ）における小領域を白線エッジ候補領域Ｐｅとして検出する。
【００３３】
なお、小領域が２以上の画素からなる場合、エッジ候補検出部５５１は、小領域の輝度Ｌをその小領域を構成する画素群の輝度の平均値として上記の検出をしてもよい。また、エッジ候補検出部５５１は、各画素について隣接する画素との輝度差ΔＬを算出し輝度差ΔＬが１２０以上であると判定された画素を含む小領域を白線エッジ候補領域Ｐｅとして検出してもよい。
【００３４】
なお、エッジ候補検出部５５１は、基準画像Ｉａのｙ座標一定の小領域群において、中央の小領域（ｘ座標６４０に位置する小領域）から左端の小領域むけて順に上記の算出及び判定を行い、左側の白線エッジ候補領域Ｐｅｌが検出された時点で該ｙ座標に係る小領域群についての算出及び判定の処理を終了する。したがって、図６（３）に示される図において、輝度差ΔＬ（ｘ，ｙ）が１２０以上である小領域より左側に位置する小領域についての輝度差ΔＬ（ｘ，ｙ）は算出されない。
【００３５】
同様に、エッジ候補検出部５５１は、基準画像Ｉａのｙ座標一定の小領域群における中央の小領域（ｘ座標６４０に位置する小領域）から右端の小領域むけて順に上記の算出及び判定を行い、右側の白線エッジ候補領域Ｐｅｒを検出する。
【００３６】
（回帰直線算出部）
回帰直線算出部５５２はエッジ候補検出部５５１によって検出された白線エッジ候補領域Ｐｅのｙ座標と視差ｄｅの回帰直線を算出する。ここで、回帰直線算出部５５２の機能について図７を用いて説明する。図７は白線エッジ候補領域Ｐｅの位置を表すｙ座標とその位置における視差ｄｅの対応関係を表す図である。図７においては縦軸にｙ座標、横軸に視差ｄｅが示され、左側の白線エッジ候補領域Ｐｅｌ群の各ｙ座標に対応する視差ｄｅｌが点で表されている。これらの点に対して、回帰直線算出部５５２は公知の回帰直線算出方法であるＨｏｕｇｈ変換によって回帰直線ｌｉｎｅ１を決定する。
【００３７】
さらに図７には、右側の白線エッジ候補領域Ｐｅｒ群の各ｙ座標に対し、対応する視差ｄｅｒが×印で表されている。回帰直線算出部５５２は右側の白線エッジ候補領域Ｐｅｒのｙ座標と視差ｄｅｒの回帰直線を算出し、回帰直線ｌｉｎｅ２を決定する。
【００３８】
＜白線視差決定部＞
白線視差決定部５６は回帰直線ｌｉｎｅ１上にある視差ｄｅｌを左側の白線領域における視差である左白線視差ｄｗｌとして決定する。同様にして白線視差決定部５６は回帰直線ｌｉｎｅ２上にある視差ｄｅｒを右側の白線領域における視差である右白線視差ｄｗｒとして決定する。
【００３９】
＜路面判定部＞
路面判定部５７は、基準画像Ｉａを形成する各小領域Ｐｘｙが路面を表すものであるか否かを判定する。具体的には、路面判定部５７は所定の各小領域Ｐｘｙに対応する視差ｄｘｙが、それぞれの小領域Ｐｘｙのｙ座標と同じｙ座標にある白線エッジ候補領域Ｐｅｌ、Ｐｅｒの左白線視差ｄｗｌ、右白線視差ｄｗｒを用いて、ｄｗｌ≦ｄｘｙ≦ｄｗｒまたはｄｗｒ≦ｄｘｙ≦ｄｗｌであるか否かを判定する。たとえば、図４（２）に示される任意の座標（α，β）にある小領域Ｐαβが路面であるか否かを判定するためには、小領域Ｐαβに対応する視差ｄαβ、図７に表されるｄｗｌ（ｍ）及びｄｗｒ（β）を用いてｄｗｌ（β）≦ｄαβ≦ｄｗｒ（β）であるか否かを判定する。
【００４０】
なお、白線は境界の一例であり、白線領域は境界領域の一例であり、白線検出部５５は境界検出手段の一例である。視差算出部５３は、視差算出手段の一例である。白線視差決定部５６は境界視差決定手段の一例である。路面判定部５７は、路面判定手段の一例である。エッジ候補検出部５５１はエッジ候補検出手段の一例である。回帰直線算出部５５２は回帰直線算出手段の一例である。
【００４１】
＜＜画像処理システムの動作＞＞
続いて、図８乃至図１２を用いて、本実施形態に係る画像処理システムの動作について説明する。なお、図８は、画像処理システム１の処理の概要を表すフロー図である。図９は、信号変換部５２の処理を表すフロー図である。図１０は、白線検出部５５及び白線視差決定部５６の処理を表すフロー図である。図１１は、エッジ候補検出部５５１が白線エッジ候補領域Ｐｅを検出する処理を表すフロー図である。図１２は、路面判定部５７が路面を判定する処理を表すフロー図である。
【００４２】
＜撮像画像の生成処理＞
図８に示されるように、まず、撮像部５１が自動車の進行方向前方の光景を撮像して撮像画像を生成する（ステップＳ１）。具体的には、撮像部５１を実現する撮像レンズ１１ａが通過する光を屈折させ、絞り１２ａが撮像レンズ１１ａを通過した光の一部を遮ることによって光の量を調整する。そして、撮像レンズ１１ａから入力された光が結像され、画像センサ１３ａは結像された像を電気的なアナログの画像信号に変換する。また、撮像レンズ１１ｂ、絞り１２ｂ、画像センサ１３ｂもそれぞれ撮像レンズ１１ａ、絞り１２ａ、画像センサ１３ａと同様に動作する。
【００４３】
＜信号変換処理＞
続いて、信号変換部５２がアナログの画像信号をデジタル形式の撮像画像データに変換する（ステップＳ２）。具体的には、図９に示されるように、まずＣＤＳ２１ａがアナログの画像信号を相関二重サンプリングしてノイズを除去する（ステップＳ２１）。そして、ＡＧＣ２２ａが、ノイズが除去されたアナログの画像信号の強度を制御する利得制御を行う（ステップＳ２２）。ＡＧＣ２２ａによってアナログの画像信号が利得制御されると、ＡＤＣ２３ａがアナログの画像信号をデジタル形式の撮像画像データに変換する（ステップＳ２３）。ＡＤＣ２３ａがアナログの画像信号を撮像画像データに変換すると、フレームメモリ２４ａは撮像画像データを記憶する。また、ＣＤＳ２１ｂ、ＡＧＣ２２ｂ、ＡＤＣ２３ｂもそれぞれＣＤＳ２１ａ、ＡＧＣ２２ａ、ＡＤＣ２３ａと同様に動作する。
【００４４】
＜視差の算出処理＞
図８に戻って、次に、視差算出部５３は撮像画像データが表す撮像画像の各小領域について視差ｄｘｙを算出する（ステップＳ３）。具体的には、視差算出部５３は、基準画像Ｉａにおいて被写体Ｓが撮像されている位置の座標（ｘ，ｙ）と、比較画像Ｉｂにおいて被写体Ｓが撮像されている位置の座標（ｘ’，ｙ’）との距離である視差ｄｘｙを算出する（図５参照）。視差算出部５３は、ステップＳ３における視差ｄｘｙの算出を基準画像Ｉａ内における全ての座標（ｘ，ｙ）において行う。
【００４５】
＜白線の検出処理＞
ステップＳ３で視差算出部５３が各小領域について視差ｄｘｙを算出すると、基準画像Ｉａについての左白線視差ｄｗｌ、及び右白線視差ｄｗｒを白線視差決定部５６が決定する（ステップＳ４）。
【００４６】
（白線エッジ候補領域Ｐｅの検出処理）
具体的には図１０に示されるように、まずエッジ候補検出部５５１が基準画像Ｉａの白線エッジ候補領域Ｐｅを検出する（ステップＳ４１）。エッジ候補検出部５５１は基準画像Ｉａにおいて、各小領域についてｘ軸方向に隣接する小領域にある画素との輝度差ΔＬ（ｘ，ｙ）＝Ｌ（ｘ，ｙ）−Ｌ（ｘ＋１，ｙ）を算出する。ΔＬ（ｘ，ｙ）が所定の閾値以上である、すなわち隣接する小領域どうしの輝度の差が大きい場合、その小領域はエッジにあたると考えられるからである。
【００４７】
図１１に示されるように、まず、エッジ候補検出部５５１はｙ＝０（ステップＳ４１１）に１を加算したｙ＝１（ステップＳ４１２）、ｘ＝６４１（ステップＳ４１３）から１を減じたｘ＝６４０（ステップＳ４１４）に係る座標にある小領域にある画素の輝度Ｌ（６４０，１）について輝度差ΔＬ（６４０，１）＝Ｌ（６４０，１）−Ｌ（６４１，１）を算出する（ステップＳ４１５）。そして、ステップＳ４１５で算出された輝度差ΔＬ（６４０，１）が１２０以上であるか否かをエッジ候補検出部５５１が判定する（ステップＳ４１６）。ステップＳ４１６でΔＬ（６４０，１）が１２０以上でないと判定された場合には、その輝度差に係るｘ座標を１減じた（ステップＳ４１４）座標にある小領域に係る輝度差ΔＬ（６３９，１）＝Ｌ（６３９，１）−Ｌ（６４０，１）をエッジ候補検出部５５１は算出する（ステップＳ４１５）。そして、エッジ候補検出部５５１は輝度差ΔＬ（６３９，１）が１２０以上であるか否かを判定する（ステップＳ４１６）。
【００４８】
さらに、ステップＳ４１６でΔＬ（６３９，１）が１２０以上でないと判定された場合には、ΔＬ（６３９，１）に係るｘ座標を１減じた（ステップＳ４１４）座標にある小領域の輝度差ΔＬ（６３８，１）＝Ｌ（６３８，１）−Ｌ（６３９，１）をエッジ候補検出部５５１が算出する（ステップＳ４１５）。そして、エッジ候補検出部５５１は輝度差ΔＬ（６３８，１）が１２０以上であるか否かを判定する（ステップＳ４１６）。このようにして、ｘ座標を１ずつ減じた座標にある小領域に係る輝度差ΔＬの算出（ステップＳ４１５）及び判定（ステップＳ４１６）を繰り返し、輝度差ΔＬが１２０以上であると判定されたら、その輝度差ΔＬに係る小領域を白線エッジ候補領域Ｐｅとして検出する（ステップＳ４１７）。
【００４９】
また、白線エッジ候補領域Ｐｅの輝度差ΔＬが１２０以上であると判定されたら、そのｙ座標が基準画像Ｉａにおける所定のｙ座標であるｙｖｐ以上であるか否かをエッジ候補検出部５５１が判定する（ステップＳ４１８）。
【００５０】
ステップＳ４１８で白線エッジ候補領域Ｐｅのｙ座標がｙｖｐ以上でないと判定された場合には、ｙ座標に１を加え（ステップＳ４１２）、ｘ＝６４１（ステップＳ４１３）から１を減じた（ステップＳ４１４）座標（６４０，２）に係る輝度差ΔＬ（６４０，２）＝Ｌ（６４０，２）−Ｌ（６４１，２）を算出する（ステップＳ４１５）。そして、上述と同様にステップＳ４１２乃至ステップＳ４１８の処理を繰り返す。これらの処理を繰り返して、処理に係るｙ座標がｙｖｐ以上であると判定されたら白線エッジ候補領域Ｐｅを検出する処理を終了する。
【００５１】
このようにして、基準画像Ｉａの各小領域について順に輝度差ΔＬを算出することによって、ｙ座標ごとの白線エッジ候補領域Ｐｅを算出することができる。
【００５２】
なお、ステップＳ４１３乃至ステップＳ４１６の処理の説明で記載したように、基準画像Ｉａのｘ軸方向における中央部分（座標（６４０，ｙ））の小領域から端部の小領域（座標（１，ｙ））に向けて順にエッジ候補検出部５５１は輝度差ΔＬを算出及び判定し、白線エッジ候補領域Ｐｅが検出されたらこの処理を終了する。すなわち、白線エッジ候補領域Ｐｅより小さいｘ座標にある小領域についてのこれらの処理を行わない。このため、エッジ候補検出部５５１を実現するＣＰＵ３２の負荷を削減することが可能となる。
【００５３】
また、上記の処理において、所定のｙ座標ｙｖｐは左右の白線の消失点（Ｖａｎｉｓｈｉｎｇ Ｐｏｉｎｔ）のｙ座標とする。なお、消失点とは、画像内において左右の白線が交わる点であり、撮像画像における無限遠点である。基準画像Ｉａにおいて消失点よりｙ座標が大きい小領域には白線が描かれていないため、それらの小領域についてエッジ候補検出部５５１は白線エッジ候補領域Ｐｅを検出するための処理を行わない。これにより、エッジ候補検出部５５１を実現するＣＰＵ３２の負荷を削減することが可能となる。
【００５４】
ステップＳ４１８までの処理が終了すると、図６（３）に示されるような座標（ｘ，ｙ）ごとに輝度差ΔＬ（ｘ，ｙ）が算出される。
【００５５】
なお、図１１を用いて説明した処理は基準画像Ｉａにおける左側の小領域（座標ｘ＝１〜６４０、ｙ＝１〜９６０）に撮像されている白線エッジを検出することを目的とするものである。そのため、ここで検出された白線エッジ候補領域Ｐｅは左側の白線エッジを表す左白線エッジ候補領域Ｐｅｌである。また、車両が走行する一般的な路面には、左側だけではなく右側にも白線が描かれている。このため、エッジ候補検出部５５１は基準画像Ｉａにおける右側の小領域（座標ｘ＝６４１〜１２８０、ｙ＝１〜９６０）についても同様の処理を行う。そして、検出された白線エッジ候補領域Ｐｅは右白線エッジ候補領域Ｐｅｒとされる。
【００５６】
（回帰直線算出処理）
次に、図１０に戻って、回帰直線算出部５５２はエッジ候補検出部５５１によって検出された左白線エッジ候補領域Ｐｅｌのｙ座標と視差ｄｅの回帰直線を算出する（ステップＳ４２）。具体的には、白線エッジ候補領域Ｐｅｌの各ｙ座標と視差ｄｅについて、白線視差決定部５６が公知の回帰直線算出方法であるＨｏｕｇｈ変換によって回帰直線（図７のｌｉｎｅ１を参照）を決定する。
【００５７】
＜白線視差の決定処理＞
続いて、白線視差決定部５６は各ｙ座標における回帰直線ｌｉｎｅ１上の視差ｄを各ｙ座標の左白線視差ｄｗｌと決定する（ステップＳ４３）。同様にして、白線視差決定部５６は、右白線エッジ候補領域Ｐｅｒについても回帰直線の算出（図７のｌｉｎｅ２を参照）および右白線視差ｄｗｒの決定をする。（ステップＳ４３）
基準画像Ｉａにおいて一般に真直ぐな路面に描画されている白線は直線であるため、このように回帰直線を算出することによって白線エッジ候補領域Ｐｅに含まれるノイズを除去することができ、左白線視差ｄｗｌ及び右白線視差ｄｗｒを適切に決定することができる。これにより、距離Ｚを正確に算出することができる。
【００５８】
＜路面の判定処理＞
続いて、図８に戻って、路面判定部５７は、基準画像Ｉａにおける各小領域が路面であるか否かを判定する（ステップＳ５）。具体的には、路面判定部５７は、視差算出部５３によって算出された各小領域Ｐｘｙの視差ｄｘｙが、ｄｗｌ（ｙ）≦ｄｘｙ≦ｄｗｒ（ｙ）またはｄｗｒ（ｙ）≦ｄｘｙ≦ｄｗｌ（ｙ）であるかを判定する。ここで、ｄｗｌ（ｙ）は小領域Ｐｘｙのｙ座標に対応する回帰直線ｌｉｎｅ１上の視差ｄｗｌであり、ｄｗｒ（ｙ）は小領域Ｐｘｙのｙ座標に対応する回帰直線ｌｉｎｅ２上の視差ｄｗｒである。
【００５９】
図１２に示されるように、まず路面判定部５７は各ｙ座標についてｄｗｌ（ｙ）≦ｄｗｒ（ｙ）であるか否かを判定する（ステップＳ５１）。ステップＳ５１においてｄｗｌ（ｙ）≦ｄｗｒ（ｙ）であると判定された場合、基準画像Ｉａの各小領域の視差ｄｘｙについて路面判定部５７がｄｗｌ（ｙ）≦ｄｘｙ≦ｄｗｒ（ｙ）であるか否かを判定する（ステップＳ５２）。ステップＳ５２においてｄｗｌ（ｙ）≦ｄｘｙ≦ｄｗｒ（ｙ）であると判定された場合、路面判定部５７は視差ｄｘｙに係る小領域が路面を表すものであると判定する（ステップＳ５３）。ステップＳ５２においてｄｗｌ（ｙ）≦ｄｘｙ≦ｄｗｒ（ｙ）でないと判定された場合、路面判定部５７は視差ｄｘｙに係る小領域が路面以外を表すものであると判定する（ステップＳ５４）。
【００６０】
右白線に係る距離ＺをＺｗｒ、左白線に係る距離ＺをＺｗｌとしたとき、上述のように視差ｄおよび距離ＺにはＺ＝（Ｂ×ｆ）／ｄの関係がある。したがって、各小領域における視差ｄｘｙについてｄｗｌ（ｙ）≦ｄｘｙ≦ｄｗｒ（ｙ）である場合には、Ｚｗｒ≦Ｚｘｙ≦Ｚｗｌとなり、座標（ｘ，ｙ）における被写体は撮像装置１０からみて右白線以遠、かつ、左白線上または左白線より近くにあることがわかるため、ステップＳ５３及びステップＳ５４によって記載されたように判定することができるのである。このようにして、画像内の小領域が路面を表すものであるか否かを正確に判定することができる
また、ステップＳ５１においてｄｗｌ（ｙ）≦ｄｗｒ（ｙ）でないと判定された場合、路面判定部５７はｄｗｒ（ｙ）≦ｄｘｙ≦ｄｗｌ（ｙ）であるか否かを判定する（ステップＳ５５）。ステップＳ５５においてｄｗｒ（ｙ）≦ｄｘｙ≦ｄｗｌ（ｙ）であると判定された場合、路面判定部５７は視差ｄｘｙに係る小領域が路面を表すものであると判定する（ステップＳ５６）。ステップＳ５５においてｄｗｌ（ｙ）≦ｄｘｙ≦ｄｗｒ（ｙ）でないと判定された場合、路面判定部５７は視差ｄｘｙに係る小領域が路面以外を表すものであると判定する（ステップＳ５７）。
【００６１】
同様にして、視差ｄｘｙおよび距離ＺにはＺ＝（Ｂ×ｆ）／ｄｘｙの関係があることにより、このように各小領域における視差ｄｘｙについてｄｗｒ（ｙ）≦ｄｘｙ≦ｄｗｌ（ｙ）である場合には、Ｚｗｌ≦Ｚｘｙ≦Ｚｗｒとなり、座標（ｘ，ｙ）における被写体は撮像装置１０からみて左白線以遠、かつ、右白線上または右白線より近くにあることがわかる。
【００６２】
＜＜実施形態の補足＞＞
図１３は画像処理システム１の機能構成図の他の例である。図１４は基準画像Ｉａの一部を拡大した図である。上記の実施形態において、白線検出部５５は図１３に示されるように白線確度判定部５５３を有することによって、白線エッジ候補領域Ｐｅが白線エッジを表す小領域である確からしさ（以降、白線確度という。）を判定するとしてもよい。ここで、白線確度判定部５５３が白線確度を判定する処理について図１４を用いて説明する。図１４は図６に示される図と同様であり、エッジ候補検出部５５１によって検出された白線エッジ候補領域Ｐｅ群のうち、一の白線エッジ候補領域Ｐｅ、及びその白線エッジ候補領域Ｐｅに隣接する３つの小領域Ｐｅ１、Ｐｅ２、Ｐｅ３に符号を付したものである。
【００６３】
まず、白線確度判定部５５３はステップＳ４１で図１４（３）に示される白線エッジ候補領域Ｐｅが検出されたら、図１４（２）に示される白線エッジ候補領域Ｐｅとｘ軸方向に外側で隣接する３つの小領域Ｐｅ１、Ｐｅ２、Ｐｅ３について輝度を比較する。具体的には、白線エッジ候補領域Ｐｅの視差ｄｅと、小領域Ｐｅ１、Ｐｅ２、Ｐｅ３の視差ｄｅ１、ｄｅ２、ｄｅ３それぞれとの差ｄｅ−ｄｅ１、ｄｅ−ｄｅ２、ｄｅ−ｄｅ３（それぞれ、以降においては視差差分Δｄ１、Δｄ２、Δｄ３という）を算出する。そして、視差差分Δｄ１、Δｄ２、Δｄ３それぞれが所定の値、たとえば１０以下であるか否かを判定する。図１４に示される例においてはｄｅ＝１５０、ｄｅ１＝１４５、ｄｅ２＝１４８、ｄｅ３＝１５０であるから、Δｄ１＝１５０−１４５＝５、Δｄ２＝１５０−１４８＝２、Δｄ３＝１５０−１５０＝０となる。そして、これらの値が所定の値以下、すなわち１０以下であるか否かを判定する。
【００６４】
視差差分Δｄ１、Δｄ２、Δｄ３がいずれも所定の値以下である場合、白線確度判定部５５３は、白線エッジ候補領域Ｐｅが白線を表す小領域であると判定する。また、視差差分Δｄ１、Δｄ２、Δｄ３のいずれかが所定の範囲でない場合、白線確度判定部５５３は、白線エッジ候補領域Ｐｅが白線エッジを表す小領域ではないと判定する。図１４に示される例においては、上述のとおり視差差分Δｄ１、Δｄ２、Δｄ３はいずれも１０以下であるため白線確度判定部５５３は、白線エッジ候補領域Ｐｅが白線を表す小領域であると判定する。
【００６５】
さらに、これらの判定を全ての白線エッジ候補領域Ｐｅについて行い、白線エッジを表す小領域であると判定された白線エッジ候補領域Ｐｅのみを用いて回帰直線算出部５５２が回帰直線を算出する処理を行う。
【００６６】
路面における白線はｘ軸方向に幅がある帯状の部分であるため、白線エッジ候補領域Ｐｅから所定の幅（上記の例ではｘ軸方向に３小領域）における視差ｄｅ１、ｄｅ２、ｄｅ３が白線エッジ候補領域Ｐｅにおける視差ｄｅに近似している値である場合、これらの小領域が表す被写体は互いに近傍にあることを表している。すなわち白線エッジ候補領域Ｐｅが路面上にある白線を表すものである確度が高いと考えられる。よって、このような確度が高い白線エッジ候補領域Ｐｅのみを用いることによって路面判定部５７はより精度の高い路面判定を行うことが可能となる。
【００６７】
なお、上記の例では隣接する３つの小領域を用いて、白線エッジ候補領域Ｐｅの確度を判定したが、撮像レンズ１１ａおよび撮像レンズ１１ｂの画角、解像度、白線の種類等により判定に用いられる小領域の数を決定するのが好ましい。
【００６８】
また、本実施形態においては、路面判定部５７はｄｗｌ（ｙ）≦ｄｘｙ≦ｄｗｒ（ｙ）であるか否かを判定する（ステップＳ５２）としているが、たとえばｄｗｌ（ｙ）≦ｄｘｙ≦ｄｗｒ（ｙ）＋γであるか否かを判定するとしてもよい。このように右白線視差ｄｗｒよりも＋γだけ大きい視差となる小領域についても路面であると判定することにより、ノイズにより誤判定されてしまうのを防ぐことが可能となる。
【００６９】
同様にして、ステップＳ５５において路面判定部５７はｄｗｒ（ｙ）≦ｄｘｙ≦ｄｗｌ（ｙ）＋γであるか否かを判定するとしてもよい。
【００７０】
また、本実施形態では白線エッジを検出する処理を行っているが、ここで検出する対象は白色の帯状の部分ではなく、路面において車道と歩道の境界、または車線間の境界を表すために用いられる他の色の帯状の部分であってもよい。
【００７１】
また、本実施形態では、エッジ候補検出部５５１は基準画像Ｉａの中央にある小領域（ｘ座標６４０に位置する小領域）からｘ軸方向に左端及び右端の小領域むけて順に輝度差ΔＬの算出及び輝度差ΔＬに基づく判定を行っているが、中央の小領域ではなく他の小領域から順に算出及び判定を行ってもよい。基準画像Ｉａの特徴に応じて白線エッジ候補領域Ｐｅが早く検出できるような順に算出及び判定を行うように適宜設計することが好ましい。
【００７２】
また、本実施形態においては撮像装置１０、信号変換装置２０及び情報処理装置３０が一つの筐体として構成されている。しかし、別の筐体として独立したステレオカメラが撮像装置１０及び信号変換装置２０を有し、画像処理装置１が別の筐体として構成されてもよい。
【００７３】
また、本実施形態では画像処理装置を自動車に搭載するものとしているが、自動車の他に車両、船舶、航空機、または産業用ロボット等を例とする移動装置に搭載してもよい。
【符号の説明】
【００７４】
１  画像処理システム
１０  撮像装置
１１  撮像レンズ
１２  絞り
１３  画像センサ
２０  信号処理部
２１  ＣＤＳ
２２  ＡＧＣ
２３  ＡＤＣ
２４  フレームメモリ
３０  画像処理装置
３１  ＤＳＰ
３２  ＣＰＵ
３３  ＲＯＭ
３４  ＲＡＭ
５０  画像処理部
５１  撮像部
５２  信号変換部
５３  視差算出部
５５  白線検出部
５６  白線視差決定部
５７  路面判定部
５５１  エッジ候補検出部
５５２  回帰直線算出部
５５３  白線確度判定部
【先行技術文献】
【特許文献】
【００７５】
【特許文献１】特開平５−２６５５４７号公報
【図１】
2014164397.tif 000003
【図２】
2014164397.tif 000004
【図３】
2014164397.tif 000005
【図４】
2014164397.tif 000006
【図５】
2014164397.tif 000007
【図６】
2014164397.tif 000008
【図７】
2014164397.tif 000009
【図８】
2014164397.tif 000010
【図９】
2014164397.tif 000011
【図１０】
2014164397.tif 000012
【図１１】
2014164397.tif 000013
【図１２】
2014164397.tif 000014
【図１３】
2014164397.tif 000015
【図１４】
2014164397.tif 000016