(57)【要約】【課題】検出対象領域を適切に検出することが可能な画像処理装置を提供する。【解決手段】検出対象領域が識別された複数の基準画像を複数の基準領域に分割し、二次元画像座標系における座標位置を付した基準領域から色情報を抽出し、座標位置が共通する基準領域の色情報の特徴から該座標位置に対応する画像が検出対象領域であるか否かを判定するための判定基準を定義することで、二次元座標系の座標位置ごとに判定基準を取得する判定基準取得手段２０と、撮像画像を取得する撮像画像取得手段２０と、撮像画像を複数の判定領域に分割し、二次元画像座標系における座標位置を付した基準領域から色情報を抽出する抽出手段２０と、判定領域と座標位置が共通する基準領域を特定し、該基準領域の判定基準を用いて、該判定領域の色情報から、判定領域が前記検出対象領域であるか否かを判定する判定手段２０と、を備えることを特徴とする画像処理装置。【選択図】図１
2014191684.tif 000002
【特許請求の範囲】
【請求項１】
検出対象領域が識別された複数の基準画像をそれぞれ複数の基準領域に分割し、二次元画像座標系における座標位置を付した前記基準領域から色情報を抽出し、座標位置が共通する前記基準領域の色情報の特徴から該座標位置に対応する画像が前記検出対象領域であるか否かを判定するための判定基準を定義することで、前記二次元座標系の座標位置ごとに、前記判定基準を取得する判定基準取得手段と、
撮像画像を取得する撮像画像取得手段と、
前記撮像画像を複数の判定領域に分割し、前記二次元画像座標系における座標位置を付した前記判定領域から色情報を抽出する抽出手段と、
座標位置ごとに取得された複数の前記判定基準のうち、前記判定領域と座標位置が共通する判定基準を用いて、前記判定領域の色情報の特徴から、該判定領域が前記検出対象領域であるか否かを判定する判定手段と、を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記判定基準取得手段は、座標位置が共通する前記基準領域の色情報の分布を、前記座標位置が共通する基準領域の色情報の特徴として求めることで、前記座標位置が共通する基準領域の色情報の分布から該座標位置に対応する前記判定基準を定義することを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記判定基準取得手段は、座標位置が共通する前記基準領域におけるＲＧＢ画像信号の分布を、前記座標位置が共通する色情報の特徴として求めることで、前記座標位置が共通する基準領域のＲＧＢ画像信号の分布から該座標位置に対応する前記判定基準を定義し、
前記判定手段は、前記ＲＧＢ画像信号の分布に基づいて定義された前記判定基準を用いて、前記判定領域内のＲＧＢ画像信号の分布から、前記判定領域が前記検出対象領域であるか否かを判定することを特徴とする画像処理装置。
【請求項４】
請求項２に記載の画像処理装置であって、
前記判定基準取得手段は、座標位置が共通する前記基準領域におけるＨＳＶ画像信号の分布を、前記座標位置が共通する色情報の特徴として求めることで、前記座標位置が共通する基準領域のＨＳＶ画像信号の分布から該座標位置に対応する前記判定基準を定義し、
前記判定手段は、前記ＨＳＶ画像信号の分布に基づいて定義された前記判定基準を用いて、前記判定領域内のＨＳＶ画像信号の分布から、前記判定領域が前記検出対象領域であるか否かを判定することを特徴とする画像処理装置。
【請求項５】
請求項１〜４のいずれかに記載の画像処理装置であって、
前記判定基準取得手段は、座標位置が共通する前記基準領域内の輝度勾配を、前記座標位置が共通する色情報の特徴として求めることで、前記座標位置が共通する基準領域内の輝度勾配から該座標位置に対応する前記判定基準を定義し、
前記判定手段は、前記輝度勾配に基づいて定義された前記判定基準を用いて、前記判定領域内の輝度勾配から、前記判定領域が前記検出対象領域であるか否かを判定することを特徴とする画像処理装置。
【請求項６】
請求項１〜５のいずれかに記載の画像処理装置であって、
前記判定基準取得手段は、所定の座標位置を原点とする前記二次元画像座標系において、前記二次元画像座標系の座標位置ごとに前記判定基準を取得し、
前記判定手段は、前記所定の座標位置を原点とする二次元画像座標系において、前記判定領域と座標位置が共通する前記判定基準を用いて、該判定領域の色情報から、前記判定領域が前記検出対象領域であるか否かを判定することを特徴とする画像処理装置。
【請求項７】
請求項１〜５のいずれかに記載の画像処理装置であって、
消失点を検出する消失点検出手段をさらに備え、
前記判定基準取得手段は、前記消失点の座標位置を原点とする二次元画像座標系において、前記二次元画像座標系の座標位置ごとに前記判定基準を取得し、
前記判定手段は、前記消失点の座標位置を原点とする二次元画像座標系において、前記判定領域と座標位置が共通する前記判定基準を用いて、該判定領域の色情報から、前記判定領域が前記検出対象領域であるか否かを判定することを特徴とする画像処理装置。
【請求項８】
検出対象領域が識別された複数の基準画像を複数の基準領域に分割し、二次元画像座標系における座標位置を付した前記基準領域から色情報を抽出し、座標位置が共通する基準領域の色情報の特徴から該座標位置に対応する画像が前記検出対象領域であるか否かを判定するための判定基準を定義することで、前記二次元座標系の座標位置ごとに、前記判定基準を取得する判定基準取得工程と、
撮像画像を取得し、取得した前記撮像画像を複数の判定領域に分割し、前記二次元画像座標系の座標位置を付した前記判定領域から色情報を抽出し、該判定領域と座標位置が共通する前記基準領域を特定し、該基準領域の前記判定基準を用いて、該判定領域の色情報の特徴から、前記判定領域が前記検出対象領域であるか否かを判定する対象領域検出工程と、を有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関するものである。
【背景技術】
【０００２】
従来より、カメラで撮像した撮像画像の色情報に基づいて、自車両が走行する道路などの検出対象領域を検出する技術が知られている（たとえば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第２９６３１３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術は、撮像画像の色情報に基づいて対象検出領域を検出するものであるため、たとえば、自車両が走行する道路を検出対象領域として検出する場合に、道路と色が類似する建物（たとえばビル）などを検出対象領域として誤検出してしまうなど、対象検出領域を適切に検出できない場合があった。
【０００５】
本発明の課題は、検出対象領域を適切に検出することが可能な画像処理装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、検出対象領域が識別された基準画像を複数の領域に分割し、二次元画像座標系における座標位置を付した基準領域から色情報を抽出し、座標位置が共通する基準領域の色情報の特徴から該座標位置に対応する画像が検出対象領域であるか否かを判定するための判定基準を定義することで、二次元座標系の座標位置ごとに判定基準を取得する。そして、撮像画像を複数の領域に分割し、二次元画像座標系における座標位置を付した判定領域から色情報をそれぞれ抽出し、判定領域と座標位置が共通する判定基準を用いて、該判定領域の色情報の特徴から、判定領域が検出対象領域であるか否かを判定することで、上記課題を解決する。
【発明の効果】
【０００７】
本発明によれば、二次元画像座標系における座標位置ごとに判定基準を取得することで、それぞれの座標位置に対応する判定基準を用いて、この座標位置における色情報の特徴から、この座標位置に対応する画像が検出対象領域であるか否かを判定することができる。これにより、たとえば、ビルなどの建物が検出され易い座標位置において、画像の色が道路と類似している場合でも、このような画像を道路などの検出対象領域として誤検出してしまうことを有効に防止することができ、その結果、検出対象領域の検出精度を向上することができる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態に係る画像処理システムの概略構成図である。
【図２】ラベル付したサンプル画像の一例を示す図である。
【図３】基準領域の一例を示す図である。
【図４】基準領域の色情報のヒストグラムの一例を示す図である。
【図５】記憶装置３０に記憶される基準領域のデータの一例を示す図である。
【図６】本実施形態に係る判定基準生成処理を示すフローチャートである。
【図７】本実施形態に係る対象領域検出処理を示すフローチャートである。
【図８】本実施形態に係る画像処理システムの効果を説明するための図である。
【図９】検出対象領域の検出方法の他の形態を説明するための図である。
【発明を実施するための形態】
【０００９】
以下、図面に基づいて、本発明の実施形態について説明する。なお、以下においては、車両に搭載され、車両周辺を撮像した撮像画像から検出対象領域である自車両の走路を検出する画像処理システムを例示して、本発明を説明する。
【００１０】
図１は、本実施形態に係る画像処理システムの概略構成図である。本実施形態に係る画像処理システム１は、図１に示すように、カメラ１０と、画像処理装置２０と、記憶装置３０とを備える。
【００１１】
カメラ１０は、ＣＣＤイメージセンサ、ＭＯＳセンサ、又はＣＩＤ等の複数の光電変換素子が二次元に配置された撮像素子を備えている。このカメラ１０の撮像素子の撮像面には、たとえばベイヤー配列により、赤色（Ｒ）、緑色（Ｇ）、および青色（Ｂ）に対応するカラーフィルターが配置されており、赤色（Ｒ）に対応するカラーフィルターが配置されたＲ画素からＲ成分の画像信号が、緑色（Ｇ）に対応するカラーフィルターが配置されたＧ画素からＧ成分の画像信号が、青色（Ｂ）に対応するカラーフィルターが配置されたＢ画素からＢ成分の画像信号がそれぞれ出力される。また、カメラ１０は、たとえば、自車両の進行方向前方の道路を撮像するように設置されており、これにより、自車両が走行する道路の路面（以下、走路ともいう。）を含む撮像範囲を撮像する。なお、カメラ１０により撮像された撮像画像は、画像処理装置２０に送信される。
【００１２】
記憶装置３０は、検出対象領域（走路）をラベル付けした複数のサンプル画像を記憶している。図２は、記憶装置３０に記憶されているサンプル画像の一例を示す図である。記憶装置３０に記憶されているサンプル画像は、たとえば、カメラ１０により予め撮像されたカラーの撮像画像であり、図２に示すように、設計者や開発者の手作業により、検出対象領域である道路の路面（走路）がラベル付け（識別）されたものである。なお、図２においては、ラベル付けをしたサンプル画像の画像領域をグレーで示す。
【００１３】
画像処理装置２０は、図１に示すように、各種プログラムが格納されたＲＯＭ（Read Only Memory）と、このＲＯＭに格納されたプログラムを実行する動作回路としてのＣＰＵ（Central Processing Unit）と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）と、を備えている。
【００１４】
本実施形態に係る画像処理装置２０は、いわゆるランダムフォレスト法に基づいて、記憶装置３０に記憶している複数のサンプル画像から、検出対象領域あるいは非検出対象領域の色情報の特徴を、二次元画像座標系における座標位置ごとに学習させることで、カメラ１０により撮像された撮像画像を、座標位置ごとに、検出対象領域（走路）であるか否かを判定し、これにより、撮像画像から検出対象領域を検出するものである。画像処理装置２０は、上述した機能を実現するために、判定基準生成機能と、撮像画像取得機能と、色情報抽出機能と、対象領域判定機能との各機能を実現する。以下に、画像処理装置２０が実現する各機能について説明する。
【００１５】
まず、画像処理装置２０の判定基準生成機能について説明する。判定基準生成機能は、記憶装置３０に記憶されているサンプル画像に基づいて、カメラ１０で撮像した撮像画像において検出対象領域（走路）を判定するための判定基準を生成する。具体的には、判定基準生成機能は、まず、記憶装置３０に記憶されている複数のサンプル画像をそれぞれ複数の領域に分割し、分割した複数の領域を基準領域として特定する。ここで、図３は、基準領域を説明するための図である。図３に示す例では、判定基準生成機能は、サンプル画像を１１×１５＝１６５個の基準領域に分割する。なお、図３では、説明の便宜上、サンプル画像を１６５個の基準領域に分割する構成を例示したが、基準領域の数は、この例に限定されるものではなく、１６５よりも小さくすることも、大きくすることもできる。
【００１６】
次に、判定基準生成機能は、サンプル画像を構成する各基準領域から色情報を抽出する。具体的には、判定基準生成機能は、基準領域に対応する各画素からＲ成分，Ｇ成分、またはＢ成分の画像信号を抽出し、基準領域ごとに、Ｒ成分、Ｇ成分、およびＢ成分に応じた３つのヒストグラムを生成する。ここで、図４は、基準領域の色情報（ＲＧＢ成分）のヒストグラムの一例を示す図であり、（Ａ）はＲ成分のヒストグラムを、（Ｂ）はＧ成分のヒストグラムを、（Ｃ）はＢ成分のヒストグラムの一例を示している。
【００１７】
たとえば、判定基準生成機能は、図４（Ａ）に示すように、基準領域内のＲ画素から抽出したＲ成分の成分値の大きさを、たとえば４つの範囲に分け、それぞれの範囲に含まれるＲ画素の画素数に基づいて、度数をカウントすることで、Ｒ成分のヒストグラムを生成する。同様に、判定基準生成機能は、図４（Ｂ）に示すように、基準領域内のＧ画素から抽出したＧ成分に基づいて、Ｇ成分のヒストグラムを生成し、また、図４（Ｃ）に示すように、基準領域内のＢ画素から抽出したＢ成分に基づいて、Ｂ成分のヒストグラムを生成する。
【００１８】
そして、判定基準生成機能は、サンプル画像を構成する全ての基準領域において、Ｒ成分、Ｇ成分、およびＢ成分に応じた３つのヒストグラムを生成し、さらに、記憶装置３０に記憶されている全てのサンプル画像についても同様の処理を行うことで、全てのサンプル画像の全ての基準領域から、Ｒ成分、Ｇ成分、およびＢ成分に応じた３つのヒストグラムを生成する。
【００１９】
また、判定基準生成機能は、基準領域の色情報として、基準領域から彩度Ｓ、明度Ｖ、色相Ｈ（以下、ＨＳＶ成分ともいう。）を抽出する構成としてもよい。具体的には、判定基準生成機能は、まず、基準領域の各画素から抽出したＲＧＢ成分を変換して、基準領域の彩度Ｓ、明度Ｖ、色相Ｈを算出することができる。
【００２０】
そして、判定基準生成機能は、算出した基準領域内の各画素領域の彩度Ｓの大きさを、４つの範囲に分け、それぞれの範囲に含まれる画素数の数に基づいて度数をカウントすることで、基準領域内の彩度Ｓのヒストグラムを生成することができる。同様に、判定基準生成機能は、算出した基準領域内の明度Ｖおよび色相Ｈの大きさに基づいて、基準領域内の明度Ｖのヒストグラム、および基準領域内の色相Ｈのヒストグラムを生成することができる。なお、この場合も、判定基準生成機能は、サンプル画像を構成する全ての基準領域において、彩度Ｓ、明度Ｖ、および色相Ｈに応じた３つのヒストグラムを生成することで、座標位置ごとに、彩度Ｓ、明度Ｖ、および色相Ｈの３つのヒストグラムを生成する。また、判定基準生成機能は、記憶装置３０に記憶されている全てのサンプル画像について同様の処理を行い、全てのサンプル画像の全ての基準領域から、ＨＳＶ成分に応じた３つのヒストグラムを生成する。
【００２１】
そして、判定基準生成機能は、図５に示すように、基準領域のＲ成分、Ｇ成分、およびＢ成分の３つのヒストグラムを、この基準領域の座標位置とともに記憶する。ここで、図５に示す例では、画面の左上の座標位置を原点（０，０）とした二次元画像座標系において、画面の左方向から右方向にＸ軸を、画面の上方向から下方向にＹ軸をとっている。判定基準生成機能は、このような二次元画像座標系において、各基準領域の座標位置を取得し、各基準領域の座標位置を、該基準領域の色情報に基づいて生成した３つのヒストグラムとともに記憶する。たとえば、図５に示す例では、画面の左上の座標位置を原点（０，０）とした二次元画像座標系において、Ｘ座標が１２、Ｙ座標が６の基準領域を例示しており、この場合、判定基準生成機能は、図５に示すように、この基準領域の３つのヒストグラムと、この基準領域の座標位置（１２，６）とを、記憶装置３０に記憶する。なお、原点の座標は画面の左上に限定されず、たとえば画面の左下であってもよい。
【００２２】
また、判定基準生成機能は、消失点が存在する座標位置を原点Ｏ（０，０）として、各基準領域の座標位置を特定する構成としてもよい。このように、消失点が存在する座標位置を原点とした二次元画像座標系において、基準領域の座標位置を求めることで、たとえば、消失点よりも上部の画像領域は検出対象領域（走路）ではないと判断して、検出対象領域の検出対象から除外することができ、これにより、検出対象領域をより高い精度で算出することが可能となる。なお、消失点は、公知の方法により求めればよい。
【００２３】
そして、判定基準生成機能は、複数のサンプル画像の複数の基準領域のうち、上述した二次元画像座標系において、座標位置が共通する基準領域の色情報に基づいて、該座標位置に対応する画像が検出対象領域であるか否かを判定（分類）するための判定基準を生成する。たとえば、判定基準生成機能は、複数のサンプル画像の複数の基準領域から座標位置が共通する複数の基準領域を抽出し、抽出した複数の基準領域のＲ成分、Ｇ成分、Ｂ成分の各ヒストグラム（あるいは、彩度Ｓ、明度Ｖ、色相Ｈの各ヒストグラム）と、該基準領域のラベル付けの有り無し（すなわち、検出対象領域であるか否か）との関係を、所定のアルゴリズムに基づいて対応付けることで、基準領域の色情報から該基準領域が検出対象領域であるか否かを判定（分類）するための分類木を判定基準として生成することができる。
【００２４】
たとえば、判定基準生成機能は、座標位置が共通する複数の基準領域のＲ成分のヒストグラムに基づいて、該座標位置に対応する画像が検出対象領域であるか否かを判定（分類）するための分類木を生成し、生成した分類木を、該座標位置のＲ成分に対応する判定基準として、記憶装置３０に記憶する。同様に、判定基準生成機能は座標位置のＧ成分に対応する判定基準と、座標位置のＧ成分に対応する判定基準とを、記憶装置３０に記憶する。
【００２５】
このように、判定基準生成機能は、Ｒ成分、Ｇ成分、Ｂ成分の各ヒストグラム（あるいは、彩度Ｓ、明度Ｖ、色相Ｈの各ヒストグラム）に基づいて、座標位置ごとに、Ｒ成分、Ｇ成分、Ｂ成分（あるいは、彩度Ｓ、明度Ｖ、色相Ｈ）に対応する３つの分類木を、Ｒ成分、Ｇ成分、Ｂ成分（あるいは、彩度Ｓ、明度Ｖ、色相Ｈ）に対応する判定基準として生成し、座標位置ごとに生成した判定基準を記憶装置３０に記憶する。
【００２６】
次に、画像処理装置２０の撮像画像取得機能について説明する。撮像画像取得機能は、カメラ１０が撮像した撮像画像を、カメラ１０から取得する。
【００２７】
画像処理装置２０の色情報抽出機能は、撮像画像取得機能により取得された撮像画像から色情報を抽出する。具体的には、色情報抽出機能は、まず、カメラ１０で撮像された撮像画像を、複数の領域に分割し、分割した複数の領域を判定領域として特定する。たとえば、色情報抽出機能は、図３に示すように、判定基準機能によりサンプル画像を分割した基準領域の分割数と同様に、撮像画像を１１×１５＝１６５個の領域に分割し、これらの領域を判定領域として特定する。
【００２８】
そして、色情報抽出機能は、特定した各判定領域から色情報を抽出する。たとえば、色情報抽出機能は、図３に示すように、判定領域内のＲ画素からＲ成分の画像信号を、Ｇ画素からＧ成分の画像信号を、Ｂ画素からＢ成分の画像信号をそれぞれ抽出し、これにより、図４に示すように、この判定領域内のＲ成分のヒストグラムと、Ｇ成分のヒストグラムと、Ｂ成分のヒストグラムとを生成する。あるいは、色情報抽出機能は、判定領域のＲＧＢ成分をＨＳＶ成分に変換することで、判定領域内のＨ成分（色相）のヒストグラムと、Ｓ成分（彩度）のヒストグラムと、Ｖ成分（明度）のヒストグラムとを生成する。
【００２９】
画像処理装置２０の対象領域判定機能は、判定基準生成機能により生成された判定基準を用いて、撮像画像を構成する各判定領域が、検出対象領域（走路）であるか否かを判定する。上述したように、判定基準生成機能により生成された判定基準は、検出対象領域をラベル付けした複数のサンプル画像から、画像の色情報の特徴と、検出対象領域または非検出対象領域との関係を、二次元画像座標系の座標位置ごとに学習させた分類木である。そのため、対象領域判定機能は、判定領域の座標位置に対応する判定基準を用いることで、判定領域の色情報の特徴から、該判定領域が検出対象領域であるか否かを判定（分類）することができる。
【００３０】
具体的には、対象領域判定機能は、まず、各判定領域が検出対象領域であるか否かを判定するために、判定領域と座標位置が共通する判定基準を記憶装置３０から読み出す。そして、対象領域判定機能は、読み出した判定基準を用いて、色情報抽出機能により抽出された判定領域の色情報から、この判定領域が検出対象領域であるか否かを判定する。たてえば、対象領域判定機能は、判定領域と座標位置が共通するＲ成分の判定基準を用いて、この判定領域のＲ成分のヒストグラムの特徴から、この判定領域が検出対象領域あるいは非検出対象領域のいずれかであるかを判定（分類）する。また、同様に、対象領域判定機能は、この判定領域と座標位置が共通するＧ成分の判定基準を用いて、この判定領域のＧ成分のヒストグラムの特徴から、この判定領域が検出対象領域であるか否かを判定し、この判定領域と座標位置が共通するＢ成分の判定基準を用いて、この判定領域のＢ成分のヒストグラムの特徴から、この判定領域が検出対象領域であるか否かを判定する。これにより、対象領域判定機能は、この判定領域が検出対象領域であるか否かの判定結果を３つ得ることができる。
【００３１】
また、判定基準生成機能により彩度Ｓ、明度Ｖ、および色相Ｈの色情報に基づいて判定基準が生成されている場合には、対象領域判定機能は、色情報抽出機能により抽出された判定領域の彩度Ｓ、明度Ｖ、および色相Ｈのヒストグラムから、判定領域が検出対象領域であるか否かを判定する。たとえば、対象領域判定機能は、判定領域と座標位置が共通する彩度Ｓの判定基準を用いて、この判定領域の彩度Ｓのヒストグラムの特徴から、この判定領域が検出対象領域であるか否かを判定する。また、同様に、対象領域判定機能は、判定領域と座標位置が共通する明度Ｖの判定基準を用いて、この判定領域の明度Ｖのヒストグラムの特徴から、この判定領域が検出対象領域であるか否かを判定し、また、判定領域と座標位置が共通する色相Ｈの判定基準を用いて、この判定領域の色相Ｈのヒストグラムの特徴から、この判定領域が検出対象領域であるか否かを判定する。この場合も、対象領域判定機能は、二次元画像座標系の座標位置ごとに、３つの判定結果を得ることができる。
【００３２】
そして、対象領域判定機能は、各座標位置に対応する３つの判定結果に基づいて、各座標位置の判定領域が検出対象領域であるか否かを判定する。すなわち、対象領域判定機能は、各座標位置に対応する３つの判定結果において、この座標位置に対応する判定領域が検出対象領域であるとの判定結果が多い場合には、この判定領域は検出対象領域であると判定し、この座標位置に対応する判定領域が検出対象領域ではないとの判定結果が多い場合には、この判定領域は検出対象領域ではないと判定する。
【００３３】
さらに、対象領域判定機能は、撮像画像を構成する全ての判定領域について同様の処理を行い、各判定領域が検出対象領域であるか否かを判定する。これにより、対象領域判定機能は、撮像画像から検出対象領域を検出することができる。
【００３４】
続いて、図６を参照して、本実施形態に係る判定基準生成処理について説明する。図６は、本実施形態に係る判定基準生成処理を示すフローチャートである。なお、以下に説明する判定基準生成処理は、画像処理装置２０の判定基準生成機能により実行される。
【００３５】
まず、ステップＳ１０１では、記憶装置３０に記憶されている複数のサンプル画像のうち、判定基準の生成が行われていないサンプル画像の取得が行われる。そして、ステップＳ１０２では、図２に示すように、ステップＳ１０１で取得されたサンプル画像が複数の基準領域に分割される。たとえば、図２に示す例では、１１×１５＝１６５の基準領域に分割される。
【００３６】
ステップＳ１０３〜Ｓ１０６では、ステップＳ１０２で分割された複数の基準領域のそれぞれについて、ステップＳ１０３〜Ｓ１０６の処理が行われる。まず、ステップＳ１０３では、ステップＳ１０３〜Ｓ１０６の処理が行われていない基準領域が取得される。
【００３７】
そして、ステップＳ１０４では、ステップＳ１０３で取得された基準領域から色情報の抽出が行われる。具体的には、判定基準生成機能は、図４に示すように、基準領域内のＲ画素、Ｇ画素、およびＢ画素から、Ｒ成分、Ｇ成分、およびＢ成分をそれぞれ抽出し、抽出した画素領域内のＲ成分、Ｇ成分、Ｂ成分の分布をヒストグラムとして生成する。また、基準領域のＲＧＢ成分をＨＳＶ成分に変換することで、Ｒ成分、Ｇ成分、Ｂ成分のヒストグラムに代えて、彩度Ｓ、明度Ｖ、色相Ｈのヒストグラムを生成する構成としてもよい。
【００３８】
ステップＳ１０５では、ステップＳ１０４で色情報の抽出が行われた基準領域について、基準領域の座標位置の取得が行われる。たとえば、図５に示す例では、判定基準生成機能は、画面左上の座標位置を原点（０，０）とした二次元画像座標系において、基準領域の座標位置を（１２，６）として取得する。また、判定基準生成機能は、消失点を検出し、検出された消失点が存在する座標位置を原点とした二次元画像座標系において、基準領域の座標位置を取得する構成としてもよい。
【００３９】
ステップＳ１０６では、ステップＳ１０３で抽出された基準領域の色情報、すなわち、基準領域内のＲ成分、Ｇ成分、Ｂ成分のヒストグラム（あるいは、彩度Ｓ、明度Ｖ、色相Ｈのヒストグラム）と、ステップＳ１０４で取得した基準領域の座標位置とが、記憶装置３０に記憶される。
【００４０】
そして、ステップＳ１０７では、ステップＳ１０２で分割された全ての基準領域について、ステップＳ１０３〜Ｓ１０６の処理を実施されたか否かの判断が行われる。ステップＳ１０２で分割された全ての基準領域について、ステップＳ１０３〜Ｓ１０６の処理が実施された場合には、ステップＳ１０８に進み、一方、ステップＳ１０２で分割された全ての基準領域について、ステップＳ１０３〜Ｓ１０６の処理が実施されていない場合には、ステップＳ１０３に戻り、ステップＳ１０３〜Ｓ１０６の処理が実施されていない基準領域について、ステップＳ１０３〜Ｓ１０６の処理が実施される。これにより、サンプル画像を分割した全ての基準領域について、Ｒ成分、Ｇ成分、Ｂ成分のヒストグラム（あるいは、彩度Ｓ、明度Ｖ、色相Ｈのヒストグラム）と、座標位置とが得られることとなる。
【００４１】
ステップＳ１０８では、ステップＳ１０１で取得された全てのサンプル画像について、ステップＳ１０２〜Ｓ１０７の処理が実施されたか否かの判断が行われる。ステップＳ１０１で取得された全てのサンプル画像について、ステップＳ１０２〜Ｓ１０７の処理が実施された場合には、ステップＳ１０９に進む。一方、ステップＳ１０１で取得された全てのサンプル画像について、ステップＳ１０２〜Ｓ１０７の処理が実施されていない場合には、ステップＳ１０１に戻り、ステップＳ１０２〜Ｓ１０７の処理が実施されていないサンプル画像について、ステップＳ１０２〜Ｓ１０７の処理が実施される。これにより、記憶装置３０に記憶されている全てのサンプル画像の全ての基準領域について、Ｒ成分、Ｇ成分、Ｂ成分のヒストグラム（あるいは、彩度Ｓ、明度Ｖ、色相Ｈのヒストグラム）と、座標位置とが得られることとなる。
【００４２】
ステップＳ１０９では、全てのサンプル画像の全ての基準領域についてのＲ成分、Ｇ成分、Ｂ成分のヒストグラム（あるいは、彩度Ｓ、明度Ｖ、色相Ｈのヒストグラム）と、座標位置とが、記憶装置３０から読み出される。そして、読み出した複数の基準領域のうち、二次元画像座標系において座標位置が共通する基準領域の色情報に基づいて、該座標位置が検出対象領域であるか否かを判定（分類）するための分類木の生成が行われる。
【００４３】
具体的には、判定基準生成機能は、読み出した複数の基準領域のうち、二次元画像座標系において座標位置が共通する基準領域のＲ成分、Ｇ成分、Ｂ成分のヒストグラム（あるいは、彩度Ｓ、明度Ｖ、色相Ｈのヒストグラム）から、Ｒ成分、Ｇ成分、Ｂ成分（あるいは、彩度Ｓ、明度Ｖ、色相Ｈ）に対応する分類木をそれぞれ生成する。すなわち、判定基準生成機能は、所定のアルゴリズムに基づいて、基準領域のＲ成分、Ｇ成分、Ｂ成分（あるいは、彩度Ｓ、明度Ｖ、色相Ｈ）ごとに、各成分がどのような分布である場合に、検出対象領域であると判定（分類）することができ、あるいは、検出対象領域ではないと判定（分類）することができるかを学習させることで、座標位置ごとに、検出対象領域であるか否かを判定（分類）するための分類木を生成する。このように、本実施形態では、座標位置ごとに、Ｒ成分、Ｇ成分、Ｂ成分のヒストグラム（あるいは、彩度Ｓ、明度Ｖ、色相Ｈのヒストグラム）に基づく３つの分類木を生成する。
【００４４】
そして、判定基準生成機能は、座標位置ごとに生成した３つの分類木を、各座標位置に対応する判定基準として、記憶装置３０に記憶する。このように、本実施形態では、検出対象領域を判定するための判定基準の生成が行われる。
【００４５】
続いて、図７を参照して、本実施形態に係る対象領域検出処理について説明する。図７は、本実施形態に係る対象領域検出処理を示すフローチャートである。なお、以下に説明する対象領域検出処理は、画像処理装置２０により実行される。
【００４６】
まず、ステップＳ２０１では、画像処理装置２０の撮像画像取得機能により、カメラ１０で撮像された撮像画像の取得が行われる。そして、ステップＳ２０２では、画像処理装置２０の色情報抽出機能により、ステップＳ２０１で取得された撮像画像が複数の判定領域に分割される。たとえば、本実施形態では、サンプル画像を１１×１５＝１６５個の基準領域に分割しているため、色情報抽出機能は、撮像画像を１１×１５＝１６５個の判定領域に分割する。
【００４７】
次いで、ステップＳ２０２で分割された複数の判定領域のそれぞれについて、ステップＳ２０３〜Ｓ２０６の処理が行われる。まず、ステップＳ２０３では、色情報抽出機能により、ステップＳ２０２で分割された判定領域から色情報の抽出が行われる。具体的には、色情報抽出機能は、判定領域からＲ成分、Ｇ成分、およびＢ成分をそれぞれ抽出し、抽出したＲ成分、Ｇ成分、およびＢ成分に基づいて、Ｒ成分、Ｇ成分、およびＢ成分のそれぞれに対応する３つのヒストグラムを生成する。また、図６に示す判定基準生成処理において、彩度Ｓ、明度Ｖ、および色相Ｈに基づいて判定基準が生成されている場合には、抽出した判定領域のＲ成分、Ｇ成分、およびＢ成分から、判定領域内の彩度Ｓ、明度Ｖ、および色相Ｈを算出し、算出した彩度Ｓ、明度Ｖ、および色相Ｈに基づいて、彩度Ｓ、明度Ｖ、および色相Ｈのそれぞれに対応する３つのヒストグラムを生成する。
【００４８】
ステップＳ２０４では、画像処理装置２０の色情報抽出機能により、ステップＳ２０３において色情報が抽出された判定領域の座標位置が取得される。なお、色情報抽出機能は、判定基準生成処理における二次元画像座標系と共通する座標系において、判定領域の座標位置を取得する。すなわち、判定基準生成処理において、画面左上の座標位置を原点とした二次元画像座標系により基準領域の座標位置を特定している場合には、判定領域の座標位置についても、画面左上の座標位置を原点とした二次元画像座標系により特定される。あるいは、判定基準生成処理において、消失点が存在する座標位置を原点とした二次元画像座標系により基準領域の座標位置を特定している場合には、判定領域の座標位置についても、消失点が存在する座標位置を原点とした二次元画像座標系により特定される。
【００４９】
ステップＳ２０５では、画像処理装置２０の対象領域判定機能により、記憶装置３０に記憶されている判定基準の中から、この判定領域と座標位置が共通する判定基準の読み出しが行われる。そして、ステップＳ２０６では、同じく対象領域判定機能により、ステップＳ２０５で読み出された判定基準を用いて、この判定領域が検出対象領域であるか否かの判定が行われる。
【００５０】
ここで、本実施形態に係る判定基準は、検出対象領域をラベル付けした複数のサンプル画像を用いて、どのような色情報の特徴がある場合に検出対象領域であり、あるいは検出対象領域ではないかを、座標位置ごとに学習させたものである。そのため、対象領域判定機能は、判定領域と座標位置が共通する判定基準を用いて、色情報抽出機能により抽出された判定領域の色情報の特徴から、判定領域が検出対象領域であるか否かを判定することができる。
【００５１】
次いで、ステップＳ２０７では、ステップＳ２０２で分割された全ての判定領域について、ステップＳ２０３〜Ｓ２０６の処理が実施されたか否かの判断が行われる。ステップＳ２０２で分割された全ての判定領域について、ステップＳ２０３〜Ｓ２０６の処理が実施された場合には、この対象領域検出処理を終了し、ステップＳ２０１に戻り、次フレームの撮像画像について、対象領域検出処理を実行する。一方、ステップＳ２０２で分割された全ての判定領域について、ステップＳ２０３〜Ｓ２０６の処理が実施されていない場合には、ステップＳ２０３に戻り、ステップＳ２０３〜Ｓ２０６の処理が実施されていない判定領域について、ステップＳ２０３〜Ｓ２０６の処理が実施される。これにより、撮像画像を構成する全ての判定領域について、検出対象領域であるか否かの判定が行われ、その結果、撮像画像から検出対象領域を検出することができる。
【００５２】
以上のように、本実施形態では、走路などの検出対象領域をラベル付けしたサンプル画像を複数の基準領域に分割し、分割した各基準領域から色情報を抽出することで、複数のサンプル画像から複数の基準領域の色情報を取得する。そして、二次元画像座標系において座標位置が共通する複数の基準領域の色情報から、基準領域の色情報がどのような場合に、検出対象領域であると判定（分類）することができ、あるいは、検出対象領域ではないと判定（分類）することができるかを、座標位置ごとに学習させ、この学習結果を、この座標位置に対応する画像が検出対象領域であるか否かを判定するための判定基準として生成する。そして、カメラ１０で撮像した撮像画像を複数の判定領域に分割し、分割した判定領域から色情報を抽出し、判定領域と座標位置が共通する判定基準を用いて、この判定領域の色情報の特徴から、この判定領域が検出対象領域であるか否かを判定する。このように、本実施形態では、各座標位置の基準領域の色情報から、座標位置ごとに判定基準を生成することで、たとえば、検出対象領域である走路と色が似ている建物（ビル）など、色情報だけでは走路として誤検出される被写体が多く撮像される座標位置については、走路と類似する色情報であっても検出対象領域ではないと判定する判定基準が生成される。そのため、本実施形態では、撮像画像でビルが撮像された場合でも、ビルが撮像された判定領域と座標位置が共通する判定基準を用いて、ビルが撮像された判定領域が対象領域であるか否かを判定した場合に、このような判定領域を検出対象領域として誤検出してしまうことを有効に防止することができ、その結果、検出対象領域の検出精度を向上させることができる。
【００５３】
ここで、図８は、本実施形態の効果を説明するための図であり、（Ａ）は、従来のように、ＲＧＢ成分の色情報のみに基づいて検出対象領域を判定した場合の検出精度を示し、（Ｂ）は、本実施形態のように、ＲＧＢ成分の色情報と、画面左上の座標位置を原点とした二次元画像座標系の座標位置とに基づいて検出対象領域を判定した場合の検出精度を示し、（Ｃ）は、従来のように、ＨＳＶ成分の色情報のみに基づいて検出対象領域を判定した場合の検出精度を示し、（Ｄ）は、本実施形態により、ＨＳＶ成分の色情報と、消失点を原点とした二次元画像座標系の座標位置とに基づいて検出対象領域を判定した場合の検出精度を示す。
【００５４】
従来のように、ＲＧＢ成分のみに基づいて対象検出領域を判定する場合には、たとえば、検出対象領域ではないビルなどの建物が、対象検出領域である路面の色と類似している場合に、検出対象領域として誤検出されてしまう場合があり、その結果、図８（Ａ）に示すように、検出精度が低下してしまった。これに対して、本実施形態では、図８（Ｂ）に示すように、判定領域と座標位置が共通する判定基準を用いて、この判定領域のＲＧＢ成分の特徴から、この判定領域が対象検出領域であるか否かを判定することで、たとえ、ビルなどの建物の色が走路と類似している場合でも、このような座標位置においてはビルなどの建物が走路と判定されてしまうことを有効に防止することができるため、図８（Ａ）に示す例と比べて、検出対象領域の検出精度を向上させることができる。
【００５５】
同様に、従来のように、ＨＳＶ成分の色情報のみに基づいて対象検出領域を判定する場合にも、検出対象領域ではないビルなどの建物が、対象検出領域である路面の色と類似している場合に、検出対象領域として誤検出されてしまう場合があり、その結果、図８（Ｃ）に示すように、検出精度が低下してしまった。これに対して、本実施形態では、図８（Ｄ）に示すように、判定領域と座標位置が共通する判定基準を用いて、この判定領域のＨＳＶ成分の特徴から、この判定領域が対象検出領域であるか否かを判定することで、たとえ、ビルなどの建物の色が走路と類似している場合でも、このような座標位置においてはビルなどの建物が走路と判定されてしまうことを有効に防止することができるため、図８（Ｃ）に示す例と比べて、検出対象領域の検出精度を向上させることができる。
【００５６】
また、本実施形態では、ＲＧＢ成分の色情報に基づいて、検出対象領域であるか否かを判定することもでき、あるいは、ＨＳＶ成分の色情報に基づいて、検出対象領域であるか否かを判定することもできる。図８に示すように、ＨＳＶ成分の色情報に基づいて検出対象領域であるか否かを判定する場合には、ＲＧＢ成分の色情報に基づいて検出対象領域であるか否かを判定する場合よりも、検出対象領域の検出精度は高くなる。一方で、ＨＳＶ成分の色情報は、ＲＧＢ成分の色情報から求められるため、ＲＧＢ成分の色情報に基づいて検出対象領域であるか否かを判定する方が、ＨＳＶ成分の色情報に基づいて検出対象領域を判定するよりも、検出対象領域の判定処理を迅速に行うことができる。そのため、画像処理システム１の使用環境や目的に応じて、ＲＧＢ成分の色情報に基づいて検出対象領域を判定するか、あるいは、ＨＳＶ成分の色情報に基づいて検出対象領域を判定するかを適宜選択することが好適である。
【００５７】
さらに、本実施形態では、図８に示すように、画面左上の座標位置など所定の座標位置を原点とした二次元画像座標系で基準領域および判定領域の座標位置を特定することで、座標位置ごとに検出対象領域を判定することもでき、あるいは、消失点が存在する座標位置を原点とした二次元画像座標系で基準領域および判定領域の座標位置を特定することで、座標位置ごとに検出対象領域を判定することもできる。消失点が存在する座標位置を原点とした二次元画像座標系を用いて検出対象領域を判定する場合には、たとえば消失点よりも上部の画像領域は検出対象領域（走路）ではないと判断して、検出対象領域の検出対象から除外することで、これにより、所定の座標位置を原点とした二次元画像座標系を用いて検出対象領域を判定する場合と比べて、検出対象領域の検出精度を向上させることが可能となる。一方で、所定の座標位置を原点とした二次元画像座標系を用いて検出対象領域を判定する場合には、消失点の演算が不要なため、消失点が存在する座標位置を原点とした二次元画像座標系を用いて検出対象領域を判定する場合と比べて、検出対象領域の判定処理を迅速に行うことができる。そのため、画像処理システム１の使用環境や目的に応じて、消失点が存在する座標位置を原点とした二次元画像座標系を用いて検出対象領域を判定するか、あるいは、所定の座標位置を原点とした二次元画像座標系を用いて検出対象領域を判定するかを適宜選択することが好適である。
【００５８】
また、本実施形態では、座標位置ごとに、Ｒ成分、Ｇ成分、およびＢ成分（あるいは、彩度Ｓ、明度Ｖ、色相Ｈ）に対応する３つの分類木を判定基準として生成し、判定基準であるこれら３つの分類木を用いて、判定領域が検出対象領域であるか否かを判定することで、各判定領域において３つの判定結果を出力する。そして、こられの判定結果のうち数の多い判定結果を、この判定領域における判定結果として選択する。このように、複数の分類木を用いて判定領域が検出対象領域であるか否かを判定することで、１本の分類木で判定を行う場合よりも、検出対象領域の判定精度を高めることができる。
【００５９】
また、本実施形態では、判定基準を予め用意しておき、カメラ１０により撮像された最新の撮像画像に用意した判定基準を適用するだけで、検出対象領域（路面）を検出することができるため、検出結果をリアルタイムで得ることができる。
【００６０】
以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【００６１】
たとえば、上述した実施形態では、基準領域および判定領域の色情報として、ＲＧＢ成分またはＨＳＶ成分を抽出する構成を例示したが、この構成に限定されず、たとえば、基準領域および判定領域の色情報として、グラデーション、すなわち輝度の勾配を抽出する構成としてもよい。
【００６２】
たとえば、図９（Ａ）に示すように、各基準領域を中心角が２０°の９つの扇状領域に分割し、図９（Ｂ）に示すように、分割した９つの扇状領域の輝度を示すヒストグラムを、基準領域のグラデーションを示すヒストグラムとして生成し、生成したグラデーションのヒストグラムに基づいて判定基準を生成することができる。この場合、撮像画像を構成する判定領域の色情報として、図９（Ａ），（Ｂ）と同様の方法で、判定領域のグラデーションを示すヒストグラムを生成し、この判定領域と座標位置が共通する判定基準を用いて、この判定領域のグラデーションのヒストグラムの特徴から、この判定領域が検出対象領域であるか否かを判定する。この場合も、判定領域が検出対象領域であるか否かを適切に検出することができる。なお、図９は、検出対象領域の検出方法の他の形態を説明するための図である。
【００６３】
また、上述した実施形態では、基準領域および判定領域の色情報として、ＲＧＢ成分またはＨＳＶ成分を抽出する構成を例示したが、この構成に限定されず、たとえば、ＲＧＢ成分およびＨＳＶ成分の両方を抽出して、抽出したＲＧＢ成分およびＨＳＶ成分に対応する判定基準を生成する構成としてもよい。
【００６４】
上述したように、ＨＳＶ成分の色情報を用いた検出対象領域の判定の方が判定精度は高いが、ＲＧＢ成分の色情報を用いた検出対象領域の判定の方が処理速度は速い。そのため、たとえば、自車両が高速で走行している場合など、撮像画像を短いフレームレートで撮像する場合には、ＲＧＢ成分の色情報を用いて検出対象領域の判定を行い、一方、渋滞などにより撮像画像を長いフレームレートで撮像することができる場合には、ＨＳＶ成分の色情報を用いて検出対象領域の判定を行うなど、ＨＳＶ成分の色情報を用いた検出対象領域の判定と、ＲＧＢ成分の色情報を用いた検出対象領域の判定とを切り替えることが好適である。
【００６５】
さらに、上述した実施形態では、基準領域および判定領域において、Ｒ成分、Ｇ成分、Ｂ成分に対応する３つのヒストグラム（あるいは、彩度Ｓ、明度Ｖ、色相Ｈに対応する３つのヒストグラム）をそれぞれ生成する構成を例示したが、この構成に限定されず、たとえば、以下に説明するように、基準領域および判定領域において生成されるヒストグラムの数を増やす構成としてもよい。すなわち、基準領域および判定領域をさらに４つの領域に分割し、これらの領域ごとに、Ｒ成分、Ｇ成分、Ｂ成分に対応する３つのヒストグラム（あるいは、彩度Ｓ、明度Ｖ、色相Ｈに対応する３つのヒストグラム）を生成することで、基準領域および判定領域から、Ｒ成分、Ｇ成分、Ｂ成分についてのヒストグラム（あるいは、彩度Ｓ、明度Ｖ、色相Ｈについてのヒストグラム）を、３×４＝１２ずつ生成する構成とすることができる。すなわち、基準領域および判定領域をそれぞれ４つの領域に分割することで、Ｒ成分に対応する４つのヒストグラムと、Ｇ成分に対応する４つのヒストグラムと、Ｂ成分に対応する４つのヒストグラムとを生成することができ、これにより、基準領域および判定領域において、１２のヒストグラムを生成することができる（彩度Ｓ、明度Ｖ、色相Ｈについてのヒストグラムも同様。）。この場合、座標位置ごとに１２の分類木を判定基準として得ることができるため、このような判定基準を用いて判定領域が検出対象領域であるか否かを判定することで、検出対象領域の判定精度を向上させることができる。
【００６６】
また、上述した実施形態では、基準領域および判定領域の色情報としてＲＧＢ成分またはＨＳＶ成分を抽出し、ＲＧＢ成分またはＨＳＶ成分に基づいて３つのヒストグラムを生成することで、３本の分類木を判定基準として生成する構成を例示したが、この構成に限定されず、たとえば、ＲＧＢ成分およびＨＳＶ成分を抽出し、ＲＧＢ成分およびＨＳＶ成分に基づいて６つのヒストグラムを生成することで、６本の分類木を判定基準として生成する構成としてもよい。さらに、上述したように、基準領域および判定領域の色情報としてグラデーションを抽出し、ＲＧＢ成分および／またはＨＳＶ成分と組み合わせる構成としてもよい。
【００６７】
さらに、上述した実施形態では、撮像画像を複数の判定領域に分割する際に、判定領域の分割数を、サンプル画像を分割した基準領域の分割数と同数とする構成を例示したが、この構成に限定されず、判定領域の分割数と基準領域の分割数とを異なる数にする構成としてもよい。このような場合も、たとえば、サンプル画像と撮像画像とを重ね合わせた場合に基準領域に重複する判定領域の座標位置を、該基準領域の座標位置と対応付けておくことで、判定領域の座標位置に対応する基準領域の判定基準を用いて、この判定領域が検出対象領域であるか否かを判定することができる。このように、本発明における判定領域と座標位置が共通する判定基準とは、仮にサンプル画像と撮像画像とを重ね合わせた場合に、該判定領域と重複する基準領域の色情報に基づいて生成された判定基準である。
【００６８】
なお、上述した実施形態の画像処理装置２０の撮像画像取得機能は本発明の撮像画像取得手段に、色情報抽出機能は本発明の抽出手段に、対象領域判定機能は本発明の判定基準取得手段および判定手段に、それぞれ対応する。
【符号の説明】
【００６９】
１…画像処理システム
１０…カメラ
２０…画像処理装置
３０…記憶装置
【図１】
2014191684.tif 000003
【図２】
2014191684.tif 000004
【図３】
2014191684.tif 000005
【図４】
2014191684.tif 000006
【図５】
2014191684.tif 000007
【図６】
2014191684.tif 000008
【図７】
2014191684.tif 000009
【図８】
2014191684.tif 000010
【図９】
2014191684.tif 000011