(57)【要約】【課題】  路面上を移動する移動体に搭載した車載カメラ画像から障害物を検知する際に、路面上に存在するさまざまな周辺物体による影を障害物として誤検知することを防止し、適切に障害物の存在を検知できる障害物検知装置を提供することにある。【解決手段】  路面上を移動する移動体に搭載され周辺を撮影する撮像手段と、撮影画像中から障害物に対応する可能性のある部分領域を障害物候補領域として抽出する障害物候補領域抽出手段と、撮像手段の光軸の方位を出力する撮像方位抽出手段と、光源の存在する方位を出力する光源方位抽出手段と、障害物候補領域中の画素が実世界の路面平面上の点に対応するものと仮定して、障害物候補領域中から光源の存在する方位と等しい方向を向くエッジ画素を抽出する光源方向エッジ抽出手段と、光源方向エッジ抽出手段が抽出したエッジ画素数の総エッジ画素数に対する割合が予め定めた値以下である場合に、障害物候補領域を障害物領域と判断する障害物判定手段とを含む。【選択図】  図１
2011209896.tif 000002
【特許請求の範囲】
【請求項１】
路面上を移動する移動体に搭載され周辺を撮影する撮像手段と、
撮影画像中から障害物に対応する可能性のある部分領域を障害物候補領域として抽出する障害物候補領域抽出手段と、
前記撮像手段の光軸の方位を出力する撮像方位抽出手段と、
光源の存在する方位を出力する光源方位抽出手段と、
前記障害物候補領域中の画素が実世界の路面平面上の点に対応するものと仮定して、前記障害物候補領域中から前記光源の存在する方位と等しい方向を向くエッジ画素を抽出する光源方向エッジ抽出手段と、
前記光源方向エッジ抽出手段が抽出したエッジ画素数の総エッジ画素数に対する割合が予め定めた値以下である場合に、前記障害物候補領域を障害物領域と判断する障害物判定手段と、
を備えることを特徴とする障害物検知装置。
【請求項２】
路面上を移動する移動体に搭載され複数波長を含む周辺のカラー映像を撮影する撮像手段と、
カラー映像中から障害物に対応する可能性のある部分領域を障害物候補領域として抽出する障害物候補領域抽出手段と、
前記撮像手段の光軸の方位を出力する撮像方位抽出手段と、
光源の存在する方位を出力する光源方位抽出手段と、
前記障害物候補領域中の画素が実世界の路面平面上の点に対応するものと仮定して、前記障害物候補領域中から前記光源の存在する方位と等しい方向を向くエッジ画素を抽出する光源方向エッジ抽出手段と、
複数波長に対する、太陽光の直達光および大気による散乱光の強度を取得して記憶する光源分光特性取得手段と、
前記光源方向エッジ抽出手段が抽出するエッジ画素のうち、エッジ画素の両側の領域から抽出した２つの画素のカラー映像に含まれる波長の光の強度比と、前記直射光および散乱光の強度により定義される日向および日陰における光の強度比との差が一定値以下のエッジ画素の数を求め、当該エッジ画素の数の総エッジ画素数に対する割合が予め定めた値以下である場合に、前記障害物候補領域を障害物領域と判断する障害物判定手段と、
を備えることを特徴とする障害物検知装置。
【請求項３】
前記光源方向エッジ抽出手段は、
障害物候補領域中のうち、隣接する画素の画素値が大きく変化している箇所の画素をエッジ画素として抽出し、前記撮像手段の中心と抽出したエッジ画素とを結ぶ線分を路面平面まで延長し、その交点をエッジ点として求めることにより、前記エッジ画素を路面平面上の点に対応させ、
前記エッジ画素周辺の画素値の勾配に基づいて前記エッジ画素の撮影画像上におけるエッジ方向を求め、
前記エッジ画素の撮影画像上のエッジ方向を路面平面上での方向に変換し、
前記エッジ画素の前記路面平面上での方向と前記光源の存在する方位とを比較することにより、前記光源の存在する方位と等しい方向を向くエッジ画素を抽出することを特徴とする請求項１又は請求項２に記載の障害物検知装置。
【請求項４】
前記障害物判定手段は、
前記光源の存在する方位と等しい方向を向くエッジ画素について、当該エッジ画素によって分割される２つの領域から２つの画素を抽出し、２つの画素のカラー映像における複数波長の光の強度比を求め、
前記光源分光特性取得手段を参照して、前記複数波長に対する日向と日陰での光の強度比を求め、
前記エッジ画素についての２の画素の光の強度比と、前記複数波長に対する日向と日陰での光の強度比とを比較し、光の強度比の差が一定の値以下であるかどうかを判定し、
前記光の強度比の差が一定の値以下になるエッジ画素の数の総エッジ画素数に対する割合が予め定めた値以下であるかどうかを判定することを特徴とする請求項２又は請求項３に記載の障害物検知装置。
【請求項５】
路面上を移動する移動体に搭載した撮像手段で撮影した周辺の撮影画像中から障害物に対応する可能性のある部分領域を障害物候補領域として抽出する障害物候補領域抽出ステップと、
前記撮像手段の光軸の方位を出力する撮像方位抽出ステップと、
光源の存在する方位を出力する光源方位抽出ステップと、
前記障害物候補領域中の画素が実世界の路面平面上の点に対応するものと仮定して、前記障害物候補領域中から前記光源の存在する方位と等しい方向を向くエッジ画素を抽出する光源方向エッジ抽出ステップと、
前記光源方向エッジ抽出ステップで抽出したエッジ画素数の総エッジ画素数に対する割合が予め定めた値以下である場合に、前記障害物候補領域を障害物領域と判断する障害物判定ステップと、
を有することを特徴とする障害物検知方法。
【請求項６】
路面上を移動する移動体に搭載した撮像手段で撮影した複数波長を含む周辺のカラー映像中から障害物に対応する可能性のある部分領域を障害物候補領域として抽出する障害物候補領域抽出ステップと、
前記撮像手段の光軸の方位を出力する撮像方位抽出ステップと、
光源の存在する方位を出力する光源方位抽出ステップと、
前記障害物候補領域中の画素が実世界の路面平面上の点に対応するものと仮定して、前記障害物候補領域中から前記光源の存在する方位と等しい方向を向くエッジ画素を抽出する光源方向エッジ抽出ステップと、
複数波長に対する、太陽光の直達光および大気による散乱光の強度を取得して記憶する光源分光特性取得ステップと、
前記光源方向エッジ抽出ステップで抽出したエッジ画素のうち、エッジ画素の両側の領域から抽出した２つの画素のカラー映像に含まれる波長の光の強度比と、前記直射光および散乱光の強度により定義される日向および日陰における光の強度比との差が一定値以下のエッジ画素の数を求め、当該エッジ画素の数の総エッジ画素数に対する割合が予め定めた値以下である場合に、前記障害物候補領域を障害物領域と判断する障害物判定ステップと、
を有することを特徴とする障害物検知方法。
【請求項７】
前記光源方向エッジ抽出ステップで、
障害物候補領域中のうち、隣接する画素の画素値が大きく変化している箇所の画素をエッジ画素として抽出し、前記撮像手段の中心と抽出したエッジ画素とを結ぶ線分を路面平面まで延長し、その交点をエッジ点として求めることにより、前記エッジ画素を路面平面上の点に対応させ、
前記エッジ画素周辺の画素値の勾配に基づいて前記エッジ画素の撮影画像上におけるエッジ方向を求め、
前記エッジ画素の撮影画像上のエッジ方向を路面平面上での方向に変換し、
前記エッジ画素の前記路面平面上での方向と前記光源の存在する方位とを比較することにより、前記光源の存在する方位と等しい方向を向くエッジ画素を抽出することを特徴とする請求項５又は請求項６に記載の障害物検知方法。
【請求項８】
前記障害物判定ステップで、
前記光源の存在する方位と等しい方向を向くエッジ画素について、当該エッジ画素によって分割される２つの領域から２つの画素を抽出し、２つの画素のカラー映像における複数波長の光の強度比を求め、
前記光源分光特性取得ステップで取得した前記複数波長に対する日向と日陰での光の強度比を求め、
前記エッジ画素についての２の画素の光の強度比と、前記複数波長に対する日向と日陰での光の強度比とを比較し、光の強度比の差が一定の値以下であるかどうかを判定し、
前記光の強度比の差が一定の値以下になるエッジ画素の数の総エッジ画素数に対する割合が予め定めた値以下であるかどうかを判定することを特徴とする請求項６又は請求項７に記載の障害物検知方法。
【請求項９】
路面上を移動する移動体に搭載した撮像手段で撮影した周辺の撮影画像中から障害物に対応する可能性のある部分領域を障害物候補領域として抽出する障害物候補領域抽出処理と、
前記撮像手段の光軸の方位を出力する撮像方位抽出処理と、
光源の存在する方位を出力する光源方位抽出処理と、
前記障害物候補領域中の画素が実世界の路面平面上の点に対応するものと仮定して、前記障害物候補領域中から前記光源の存在する方位と等しい方向を向くエッジ画素を抽出する光源方向エッジ抽出処理と、
前記光源方向エッジ抽出処理で抽出したエッジ画素数の総エッジ画素数に対する割合が予め定めた値以下である場合に、前記障害物候補領域を障害物領域と判断する障害物判定処理と、をコンピュータに実行させることを特徴とする障害物検知プログラム。
【請求項１０】
路面上を移動する移動体に搭載した撮像手段で撮影した複数波長を含む周辺のカラー映像中から障害物に対応する可能性のある部分領域を障害物候補領域として抽出する障害物候補領域抽出処理と、
前記撮像手段の光軸の方位を出力する撮像方位抽出処理と、
光源の存在する方位を出力する光源方位抽出処理と、
前記障害物候補領域中の画素が実世界の路面平面上の点に対応するものと仮定して、前記障害物候補領域中から前記光源の存在する方位と等しい方向を向くエッジ画素を抽出する光源方向エッジ抽出処理と、
複数波長に対する、太陽光の直達光および大気による散乱光の強度を取得して記憶する光源分光特性取得処理と、
前記光源方向エッジ抽出処理で抽出したエッジ画素のうち、エッジ画素の両側の領域から抽出した２つの画素のカラー映像に含まれる波長の光の強度比と、前記直射光および散乱光の強度により定義される日向および日陰における光の強度比との差が一定値以下のエッジ画素の数を求め、当該エッジ画素の数の総エッジ画素数に対する割合が予め定めた値以下である場合に、前記障害物候補領域を障害物領域と判断する障害物判定ステップと、をコンピュータに実行させることを特徴とする障害物検知プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、路面上を移動する移動体に設置された１台のカメラを用いて路面上に存在する障害物を検知する障害物検知装置、障害物検知方法並びに障害物検知プログラムに関し、特に、路面上にできた物体の影と障害物とを高精度に判別可能な障害物検知装置、障害物検知方法及び障害物検知プログラムに関する。
【背景技術】
【０００２】
移動体に設置された１台のカメラにより周辺に存在する障害物を検知する障害物検知装置において、路面上にできた物体の影と障害物とを区別することは重要な問題であり、この問題の解消に適用可能と考えられる関連技術として特許文献１から特許文献３等が存在する。
【０００３】
特許文献１には、カラー情報を用いて影領域を抽出し、影領域と日向領域との境界付近の画素のカラー情報に基づいて同一物体に属する影領域と非影領域とを統合する車両周辺画像提供装置が開示されている。
【０００４】
特許文献１記載の関連技術は、路面の表面色が単色、すなわち路面の反射率が一定の場合には有効であるが、路面がさまざまな色の領域から構成されている場合には、画素のカラー情報の大小が、光源光の多少によるものであるのか（すなわち影領域か日向領域か）、路面の反射率の変化によるものなのかを区別するのが困難となるため、適用可能な状況には限界がある。また、太陽光が当たる屋外では、大気中での短波長光の散乱や路面周辺物体による光の反射などにより、影領域と日向領域とでは入射する光の分光分布が異なるため、そうした状況を考慮していない本特許文献の方法では路面上にできた影と障害物とを区別がさらに困難になる。
【０００５】
これに対し、特許文献１とは異なる原理を用いて影領域を判定する手法として、特許文献２、３に記載される関連技術が存在する。
【０００６】
特許文献２には、太陽の現在位置と、自車両の位置および形状情報に基づいて、車載カメラ画像に含まれる自車両の影領域を特定し、影を補正した画像を表示する車両周辺画像提供装置が開示されている。また、特許文献３には、さらに周辺車両の形状情報も利用して自車両および他車両によって生じる影領域を推定しつつ図形認識を行う図形認識装置が開示されている。
【０００７】
これら特許文献に記載の手法は、いずれも太陽の現在位置と自車両もしくは他車両の形状情報とに基づいて車両によって発生する影領域の形状を正確に予測するという原理に基づいている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００７−２７２２９２号公報（図１）
【特許文献２】特開２００７−３００５５９号公報（図３）
【特許文献３】特願２００７−５５４８４０号公報（図１）
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献２、３に開示される関連技術を障害物検知装置に利用しようとする場合、以下のような課題が生じる。
【００１０】
まず、これらの関連技術においては、車両以外の物体によって生じる影領域を障害物と区別することができない。なぜならば、これらの関連技術では３Ｄモデル表現された車両の形状情報を利用して、影の出現する位置を推定するため、３Ｄモデル化されていない車両以外の物体による影領域を予測することはできないためである。仮に、上記関連技術を車両以外のものにも拡張して適用する場合には、周辺の建物や道路構造物等すべてのものを３Ｄモデル化せねばならず、３Ｄモデルの構築のために膨大な処理と費用が発生するという課題がある。
【００１１】
加えて、さらに本質的な課題として、街路樹や歩行者のように時々刻々、形状や位置が変化する物体に対してはこれらの関連技術を適用することが極めて困難である。なぜならば、これらの技術を用いて影領域を正確に予測するためには、物体の形状や位置が正確に把握できていることが前提となるからである。
【００１２】
（発明の目的）
本発明の目的は、上記課題を解決するため、周辺物体の３Ｄモデル化を行うことなく、移動体に搭載したカメラ画像から、路面上にできたさまざまな周辺物体の影と障害物とを区別して障害物を高精度に検知することを可能とする障害物検知装置、障害物検知方法及び障害物検知プログラムを提供することにある。
【課題を解決するための手段】
【００１３】
本発明の第１の障害物検知装置は、路面上を移動する移動体に搭載され周辺を撮影する撮像手段と、撮影画像中から障害物に対応する可能性のある部分領域を障害物候補領域として抽出する障害物候補領域抽出手段と、前記撮像手段の光軸の方位を出力する撮像方位抽出手段と、光源の存在する方位を出力する光源方位抽出手段と、前記障害物候補領域中の画素が実世界の路面平面上の点に対応するものと仮定して、前記障害物候補領域中から前記光源の存在する方位と等しい方向を向くエッジ画素を抽出する光源方向エッジ抽出手段と、前記光源方向エッジ抽出手段が抽出したエッジ画素数の総エッジ画素数に対する割合が予め定めた値以下である場合に、前記障害物候補領域を障害物領域と判断する障害物判定手段とを含む。
【００１４】
本発明の第２の障害物検知装置は、路面上を移動する移動体に搭載され複数波長を含む周辺のカラー映像を撮影する撮像手段と、カラー映像中から障害物に対応する可能性のある部分領域を障害物候補領域として抽出する障害物候補領域抽出手段と、前記撮像手段の光軸の方位を出力する撮像方位抽出手段と、光源の存在する方位を出力する光源方位抽出手段と、前記障害物候補領域中の画素が実世界の路面平面上の点に対応するものと仮定して、前記障害物候補領域中から前記光源の存在する方位と等しい方向を向くエッジ画素を抽出する光源方向エッジ抽出手段と、複数波長に対する、太陽光の直達光および大気による散乱光の強度を取得して記憶する光源分光特性取得手段と、前記光源方向エッジ抽出手段が抽出するエッジ画素のうち、エッジ画素の両側の領域から抽出した２つの画素のカラー映像に含まれる波長の光の強度比と、前記直射光および散乱光の強度により定義される日向および日陰における光の強度比との差が一定値以下のエッジ画素の数を求め、当該エッジ画素の数の総エッジ画素数に対する割合が予め定めた値以下である場合に、前記障害物候補領域を障害物領域と判断する障害物判定手段とを含む。
【００１５】
本発明の第１の障害物検知方法は、路面上を移動する移動体に搭載した撮像手段で撮影した周辺の撮影画像中から障害物に対応する可能性のある部分領域を障害物候補領域として抽出する障害物候補領域抽出ステップと、前記撮像手段の光軸の方位を出力する撮像方位抽出ステップと、光源の存在する方位を出力する光源方位抽出ステップと、前記障害物候補領域中の画素が実世界の路面平面上の点に対応するものと仮定して、前記障害物候補領域中から前記光源の存在する方位と等しい方向を向くエッジ画素を抽出する光源方向エッジ抽出ステップと、前記光源方向エッジ抽出ステップで抽出したエッジ画素数の総エッジ画素数に対する割合が予め定めた値以下である場合に、前記障害物候補領域を障害物領域と判断する障害物判定ステップとを有する。
【００１６】
本発明の第２の障害物検知方法は、路面上を移動する移動体に搭載した撮像手段で撮影した複数波長を含む周辺のカラー映像中から障害物に対応する可能性のある部分領域を障害物候補領域として抽出する障害物候補領域抽出ステップと、前記撮像手段の光軸の方位を出力する撮像方位抽出ステップと、光源の存在する方位を出力する光源方位抽出ステップと、前記障害物候補領域中の画素が実世界の路面平面上の点に対応するものと仮定して、前記障害物候補領域中から前記光源の存在する方位と等しい方向を向くエッジ画素を抽出する光源方向エッジ抽出ステップと、複数波長に対する、太陽光の直達光および大気による散乱光の強度を取得して記憶する光源分光特性取得ステップと、前記光源方向エッジ抽出ステップで抽出したエッジ画素のうち、エッジ画素の両側の領域から抽出した２つの画素のカラー映像に含まれる波長の光の強度比と、前記直射光および散乱光の強度により定義される日向および日陰における光の強度比との差が一定値以下のエッジ画素の数を求め、当該エッジ画素の数の総エッジ画素数に対する割合が予め定めた値以下である場合に、前記障害物候補領域を障害物領域と判断する障害物判定ステップとを有する。
【００１７】
本発明の第１の障害物検知プログラムは、路面上を移動する移動体に搭載した撮像手段で撮影した周辺の撮影画像中から障害物に対応する可能性のある部分領域を障害物候補領域として抽出する障害物候補領域抽出処理と、前記撮像手段の光軸の方位を出力する撮像方位抽出処理と、光源の存在する方位を出力する光源方位抽出処理と、前記障害物候補領域中の画素が実世界の路面平面上の点に対応するものと仮定して、前記障害物候補領域中から前記光源の存在する方位と等しい方向を向くエッジ画素を抽出する光源方向エッジ抽出処理と、前記光源方向エッジ抽出処理で抽出したエッジ画素数の総エッジ画素数に対する割合が予め定めた値以下である場合に、前記障害物候補領域を障害物領域と判断する障害物判定処理と、をコンピュータに実行させる。
【００１８】
本発明の第２の障害物検知プログラムは、路面上を移動する移動体に搭載した撮像手段で撮影した複数波長を含む周辺のカラー映像中から障害物に対応する可能性のある部分領域を障害物候補領域として抽出する障害物候補領域抽出処理と、前記撮像手段の光軸の方位を出力する撮像方位抽出処理と、光源の存在する方位を出力する光源方位抽出処理と、前記障害物候補領域中の画素が実世界の路面平面上の点に対応するものと仮定して、前記障害物候補領域中から前記光源の存在する方位と等しい方向を向くエッジ画素を抽出する光源方向エッジ抽出処理と、複数波長に対する、太陽光の直達光および大気による散乱光の強度を取得して記憶する光源分光特性取得処理と、前記光源方向エッジ抽出処理で抽出したエッジ画素のうち、エッジ画素の両側の領域から抽出した２つの画素のカラー映像に含まれる波長の光の強度比と、前記直射光および散乱光の強度により定義される日向および日陰における光の強度比との差が一定値以下のエッジ画素の数を求め、当該エッジ画素の数の総エッジ画素数に対する割合が予め定めた値以下である場合に、前記障害物候補領域を障害物領域と判断する障害物判定ステップと、をコンピュータに実行させる。
【発明の効果】
【００１９】
本発明によれば、周辺の建物や道路構造物などの３Ｄモデル化を行うことなく、移動体に搭載した１台のカメラ画像から障害物をさまざまな物体による路面上にできた影と区別しつつ高精度に検知することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施の形態による障害物検知装置の構成を示すブロック図である。
【図２】画像上のエッジ点を道路平面上の点に対応付ける方法を説明するための図である。
【図３】画像上のエッジ点に対する道路平面上でのエッジの方向の求め方を説明するための図である。
【図４】光源の位置から見た、典型的な物体のシルエットの形状を示す図である。
【図５】図４のシルエットを持つ物体に対して、路面平面上にできる影の形状の一例を示す図である。
【図６】本発明の第１の実施の形態による障害物検知装置の動作を説明するフローチャートである。
【図７】本発明の第１の実施の形態のハードウェア構成例を示す図である。
【図８】本発明の第２のの実施の形態による障害物検知装置の構成を示すブロック図である。
【図９】カラー情報を参照する画素の設定方法を説明するための図である。
【図１０】本発明の第２の実施の形態による障害物検知装置の動作を説明するフローチャートである。
【図１１】本発明の第２の実施の形態における障害物判定モジュールの処理内容を説明するフローチャートである。
【図１２】路面上の影の局所的なエッジ方向の例を示す図である。
【発明を実施するための最良の形態】
【００２１】
本発明の実施の形態について図面を参照して詳細に説明する。
【００２２】
（第１の実施の形態）
図１を参照すると、第１の実施の形態による障害物検知装置は、移動体に搭載した撮像モジュール１０１と、撮像モジュール１０１が出力する画像中から障害物に対応する可能性のある部分領域を障害物候補領域として抽出する障害物候補領域抽出モジュール１０２と、撮像モジュール１０１が撮像している方位を出力する撮像方位抽出モジュール１０３と、光源の方位を抽出する光源方位抽出モジュール１０４と、障害物候補領域中から光源の存在する方位を向いたエッジ方向を持つエッジ画素を抽出する光源方向エッジ抽出モジュール１０５と、光源方向を向いたエッジ数の割合に基づいて障害物候補領域を障害物領域か否か判断する障害物判定モジュール１０６を含んでいる。
【００２３】
この実施の形態で想定する移動体は、車両やロボットなどの路面上を移動する物体である。
【００２４】
撮像モジュール１０１は、路面上を移動する移動体に搭載された１台のカメラにより構成される。この撮像モジュール１０１は、例えば、移動体の後方に後ろ向きに設置され、後方の路面を含む視野範囲を撮像する。撮像された画像は、移動体が後ろ方向に後退する場合に、後方の障害物を検出するのに利用される。移動体前方の障害物を検知する場合には、移動体の前方部分に前向き方向を撮影するように撮像モジュールを設置することは言うまでもない。撮像モジュール１０１で撮影した画像は、障害物候補領域抽出モジュール１０２へ出力する。
【００２５】
障害物候補領域抽出モジュール１０２は、撮像モジュール１０１から入力された画像から、障害物に対応する可能性のある部分領域である障害物候補領域の位置情報を抽出する。部分領域は１つだけでもよいし、複数でもよい。
【００２６】
また、部分領域の形状は、矩形や円形、あるいは不定形であっても構わない。矩形の場合は、例えば、位置情報として矩形の左上角および右下角の座標値を位置情報とする。円形の場合は、円の中心座標とその半径を位置情報とする。不定形の場合は、例えば、部分領域の境界の画素の座標値をリスト形式で表現してもよいし、さらにはチェインコードを利用してもよい。
【００２７】
障害物の可能性のある部分領域を抽出する具体的な方法としては、隣接する画素間において画素値の相違が大きい画素（以下、エッジ画素とよぶ）をソーベルフィルタやロバーツフィルタなどの微分フィルタにより求めて、それらが多く存在する小領域を抽出する方法を用いることができる。また、統計的学習手法により障害物と路面とを識別するように学習された識別器を画像のさまざまな小領域に適用して、識別器の出力から障害物の可能性が高い小領域を抽出する方法を用いることが可能である。
【００２８】
また別の方法としては、撮像モジュール１０１から時々刻々入力される映像に単眼立体視技術（Ｓｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎ）を適用して、実世界において路面平面よりも上の位置に対応すると推定された点を多く含む小領域を抽出する方が考えられる。
【００２９】
なお、障害物候補領域抽出モジュール１０２は、物体の影を含む領域を障害物候補領域として抽出してしまう可能性が高い。なぜなら、例えば、上記微分フィルタ演算によって隣接する画素間において画素値の相違が大きい画素を求める手法では、影の境界に対応する画素も抽出されてしまうからである。また、統計的学習手法を用いる場合でも、千差万別な形状を有しうる影領域と障害物とを区別するように学習することは困難であるので、物体の影を含む領域を障害物候補領域として抽出してしまう可能性が高い。単眼立体視技術を用いる場合は、静止している物体の影を障害物候補領域と判定することはないが、動物体によって生じる影については原理的に３Ｄ計測が行えないため、障害物候補領域として抽出する可能性が高い。
【００３０】
撮像方位抽出モジュール１０３は、移動体に設置された方位センサから構成され、撮像モジュール１０１の光軸の方位を出力する。ここでの方位単位および基準とする方向等は設計上の問題であるが、例えば、北向きを０として、それよりも東よりの方位に対して負の角度（例えば、真東に対して−９０度）、西よりの方位に対して正の角度（例えば、真西に対して９０度）を方位として出力してもよい。
【００３１】
なお、本来、方位は３６０度存在するが、ここでは１８０度反対の方位は同じ値として表現してもよい。すなわち、例えば、北東の方位と南西の方位に対しては同じ値を出力するようにしてもよい。その理由は、後述する光源方向エッジ抽出モジュール１０５が１８０度反対の方位を区別せずに扱うからである。
【００３２】
光源方位抽出モジュール１０４は、光源の方位を出力するモジュールである。昼間の屋外における主たる光源は太陽である。そこで、光源方位抽出モジュール１０４は、内蔵する時計機能により現在日時および時刻を取得し、内蔵するＧＰＳ機能により現在位置を取得し、これらから得られるパラメータを太陽の位置を計算する計算式に当てはめることで、太陽の方位を算出し出力する。
【００３３】
太陽の方位を計算する式は、種々提案されており、インターネット上などでも公開されている（例えば、ｈｔｔｐ：／／ｗｗｗ．ｅｓ．ｒｉｓ．ａｃ．ｊｐ／〜ｎａｋａｇａｗａ／ｍｅｔ＿ｃａｌ／ｓｏｌａｒ．ｈｔｍｌなど）。また、光源として建築物に固定された強烈な照明が存在することがわかっている場合は、建築物に設置された光源の位置情報と移動体自身の現在位置とから、移動体自身を基準とした光源の方位を算出することが可能である。
【００３４】
光源方向エッジ抽出モジュール１０５は、障害物候補領域抽出モジュール１０２が抽出する入力画像中の障害物候補領域に対して、領域中のエッジ画素が実世界の路面平面上の点に対応するものと仮定して、光源方位抽出モジュール１０４が出力する光源の方位と合致するエッジ方向を有するエッジ画素を抽出する。
【００３５】
以下、光源方向エッジ抽出モジュール１０５の具体的実現方法について図面を参照しつつ詳細に説明する。
【００３６】
図２は、障害候補物領域中のエッジ画素を実世界の路面平面上の点に対応させる方法について説明するための図である。
【００３７】
障害物候補領域２０２中からエッジ画素２０３が抽出された場合、このエッジ画素２０３を実世界の路面平面上の点に対応させるには、視点（カメラ中心）２０１とエッジ画素２０３とを結ぶ線分を路面平面２０４まで延長して、その交点をエッジ点２０５とすればよい。すなわち、エッジ点２０５は、障害物候補領域中のエッジ点２０３が路面平面上の点に対応すると仮定して対応させた際の対応点となる。
【００３８】
なお、ここで、エッジ画素とは隣接する画素の画素値が大きく変化している箇所の画素のことを指す。具体的なエッジ画素の抽出方法としては、例えば障害物候補領域内の画像に対して、ソーベル（Ｓｏｂｅｌ）フィルタやプレウィット（Ｐｒｅｗｉｔｔ）フィルタなどの微分フィルタを畳み込み、フィルタ出力の絶対値が予め定めた閾値以上である画素を抽出する方法がある。また、エッジ点２０５の位置はホモグラフィと呼ばれる広く知られた技術を用いることによって容易に実現できる。路面上の位置を表す座標系は任意に設定して構わない。幾何変換の係数を表すホモグラフィ行列は、撮像モジュール１０１と路面平面との位置関係を定めれば、事前に決定し記憶させておくことができる。
【００３９】
次に、エッジ点２０５に対するエッジの方向を求める。
【００４０】
まず、最初に、画像上におけるエッジ画素２０３のエッジの方向を、ソーベル（Ｓｏｂｅｌ）フィルタやプレウィット（Ｐｒｅｗｉｔｔ）フィルタなどの微分フィルタの出力から以下のように求める。
【００４１】
【数１】
2011209896.tif 000003
【００４２】
ここで、ｌｘ（ｘ，ｙ），ｌｙ（ｘ，ｙ）は、エッジ画素周辺の画素のｘ軸およびｙ軸方向における画素値の勾配量を示す。つまり、画素の勾配方向に直交する方向が画像上でのエッジの方向である。上式によれば、例えば画素値の勾配の最大方向に対し直交する方向がｘ軸の方向を向いている場合にはθ＝０度、直線ｙ＝ｘの方向を向いている場合にはθ＝−４５度と定義される。
【００４３】
次に、上記画像上でのエッジの方向を路面平面上での方向に変換する。変換の一例を図３を用いて説明する。
【００４４】
画像上のエッジ画素３０７を中心としてエッジの方向３０８の両側に存在する点３０１、３０２を仮想的に求める。次に、入力画像の障害物候補領域中の点３０１、３０２が路面平面上の点に対応すると仮定して対応させた際のそれぞれの対応点で点３０３、３０４を求める。ここでは、撮像モジュール１０１の光軸方向に縦軸もしくは横軸を合わせた路面平面上座標系３０５上における、これらの点３０１、３０２に対応する路面平面上の点３０３、３０４を前述のホモグラフィ行列により求め、点３０３、点３０４を結ぶ線分の方向を求める。このとき、撮像方位抽出モジュール１０３と同様に、１８０度反対の方向と区別する必要はなく、定義域を１８０度分に制限してよい。
【００４５】
そして、光源が存在する方位とエッジの方向との比較が容易になるように、撮像モジュール１０１の光軸の方位と、東西南北の方位とのずれを考慮して、エッジの位置および方向を東西、南北の方位をそれぞれ軸方向に合わせた路面平面座標系３０６で表現する。この際、エッジの方向を表す際の単位および基準とする方位などは自由に設定してよい。また、方向の分解能も１度単位である必要はなく、より粗く量子化した方向、例えば４５度毎に量子化した量で表してもよい。
【００４６】
また、以上の説明では入力画像上でエッジの方向を求めてから、エッジの方向を路面平面上での位置・方向に変換する手順を示したが、最初に入力画像を鳥瞰画像変換した後に鳥瞰画像上でエッジ抽出処理を行って、エッジの位置と方向を求めてもよい。
【００４７】
そして、上記で求めた路面平面上でのエッジの方向と光源が存在する方位とを比較して、光源が存在する方位と等しい方向を向いたエッジを抽出する。比較の際、等しい方向であると許容する方向の差（許容量）は事前に定めておくことが可能である。
【００４８】
許容基準の具体的な定め方について図４を参照しつつ説明する。図４は、路面上に影を発生する物体を光源の存在する方位から見た際の物体のシルエット形状を示す。図４（ａ）はシルエットの境界が鉛直方向を向いている例、図４（ｂ）はシルエットの境界が鉛直方向から１５度程度内側に傾いてシルエット形状が三角形となっている例を示す。図４（ａ）のようなシルエット形状を持つ物体としては、例えば電柱や歩行者等が挙げられる。図４（ｂ）のようなシルエット形状を持つ物体としては、樹木やパイロンなどが挙げられる。
【００４９】
図４（ａ）のようなシルエット形状を持つ物体に太陽光があたった場合、影の形状は太陽の高度に関わらず、概ね図５（ａ）のように棒状となり、路面平面上における局所的なエッジの方位は太陽の存在する方位と一致する。したがって、図５（ａ）のようなシルエット形状を持つ物体による影を障害物と区別する際には、光源の方位と路面平面上でのエッジの方向とが極めて等しいエッジを抽出すればよい。
【００５０】
一方、図４（ｂ）のようなシルエット形状を持つ物体による影に対応するには、エッジの方向と光源の方位との差をある程度許容するようにする。例えば図４（ｂ）のシルエットを持つ物体に、高度３０度および高度６０度の位置から太陽光があたった場合、路面上にできる影の形状はそれぞれ影５０５、影５０６のようになり、それぞれの影の境界部分５０３および５０４のエッジの方向と、太陽の方位５０２との差は、それぞれ約９度、約３５度となる。
【００５１】
このように、影の誤検知を抑制したい物体のシルエットの境界の傾きと太陽の高度を定めれば、光源方向エッジ抽出モジュール１０５で許容すべき路面平面上におけるエッジの方向と太陽の存在する方位との差を決定することができる。
【００５２】
この許容量は常に一定値としてもよいし、その時々の太陽高度に応じて変化させるようにしてもよい。許容量を太陽高度に応じて変化させれば、影の誤検知を抑制したい物体のシルエットの境界の傾きを常に一定に保つこともできる。
【００５３】
なお、図４、図５は説明を簡単にするために、光源から見たときのシルエット境界の傾きが一定の物体について説明したが、人物のようにシルエットの形状がさらに複雑な物体であったとしても、シルエット境界の傾きおよび路面平面上でのエッジの方向のいずれについても、局所的には同様の特徴を有するので、光源の存在する方位を向いたエッジを抽出することは有効である。
【００５４】
また、太陽の高度がより高いとシルエット境界の水平に対する傾き角に比べ、路面上のエッジ方位と光源方位との差が大きくなり影として認識しにくくなる傾向を有する。しかし、この場合は影の長さが短くなり影のみが入力画像中に含まれて障害物が含まれないという場合は起こりにくくなる。よって、この場合は障害物の方を検知することができるため障害物検知装置の機能にはほとんど問題ない。
【００５５】
障害物判定モジュール１０６は、光源方向エッジ抽出モジュール１０５が抽出したエッジ数が総エッジ数に対して一定数以下の場合のみ、障害物候補領域を真の障害物であるとして判定する。それ以外の場合は、障害物候補領域を影領域であると判定する（障害物としては判定しない）。
【００５６】
次に、第１の実施の形態の動作について図面を用いて説明する。図６は本実施の形態による障害物検知装置の動作を説明するフローチャートである。
【００５７】
まず、撮像モジュール１０１が画像を取得する（ステップＳ６０１）。次に、撮像モジュール１０１が取得した画像中から、障害物候補領域抽出モジュール１０２が障害物である可能性が高い領域を抽出する（ステップＳ６０２）。
【００５８】
撮像方位抽出モジュール１０３は、カメラの光軸の方位を出力する（ステップＳ６０３）。光源方位抽出モジュール１０４は、撮像モジュールに対する光源の方位を出力する（ステップＳ６０４）。
【００５９】
光源方向エッジ抽出モジュール１０５は、障害物候補領域中のエッジ画素が実世界の路面平面上の点に対応するものと仮定して、路面平面上におけるエッジの局所的な方位と光源の方位との差分が一定値以下であるエッジを抽出する（ステップＳ６０５）。
【００６０】
そして、最後に、障害物判定モジュール１０６は、光源方向エッジ抽出モジュール１０５が抽出したエッジの数が総エッジ数に対して一定数以下であった場合は、障害物候補領域は真の障害物であると判定する。それ以外の場合は、影による領域であると考え、障害物領域ではないと判定する（ステップＳ６０６）。
【００６１】
上述の障害物検知装置は、図７に示すようなＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）７０１と車載カメラ７０２とを備える構成に、上述したモジュールを搭載し動作させるような構成として説明した。
【００６２】
ＥＣＵ７０１は、装置全体の制御を行うものであり、例えばＣＰＵ、ＲＡＭ、ＲＯＭ、信号処理回路、電源回路などから構成される。つまり、上述した実施の形態による障害物検知装置は、撮像モジュールの機能を除き、その説明においてフローチャートを参照して示した機能や判定ロジックを実現可能なコンピュータ・プログラムを、ＥＣＵ７０１に読み込んで実行することにより実現される。また、ＥＣＵ７０１で実行される機能をハードウェア化してマイコンを構成することも可能である。さらには、一部の機能をハードウェアで実現し、それらのハードウェアとソフトウェア・プログラムの協調動作により同様の機能を実現する構成とすることも可能である。
【００６３】
（第１の実施の形態による効果）
上記のように構成される第１の実施の形態による効果を以下に説明する。
【００６４】
本実施の形態によれば、周辺の建物や道路構造物などの３Ｄモデル化を行うことなく、移動体に搭載した１台のカメラ画像から様々な物体による路面上の影と区別して障害物を検知することができる。
【００６５】
その理由を、図１２を参照して説明すると、路面平面から鉛直方向に立った物体１１０２により路面平面上に生じる影の境界線の局所的なエッジ方向１１０３は、物体１１０２に対する光源１１０１の存在する方位（ここでは１８０度反対の向きも同一視する）に一致しやすいという事実に基づき、障害物候補領域中の画素が実世界の路面平面上の点に対応するものと仮定した場合に、障害物候補領域中から光源の存在する方位と等しい方向を向くエッジ画素を抽出し、その割合に基づいて路面上の影と障害物とを区別するからである。
【００６６】
このような作用が成り立つ背景として、本装置が機能する環境において影を生じさせる主な物体は歩行者、街路樹、電柱、車両などであり、その多くが鉛直方向を向いていることと、路面平面上の障害物が検知対象であるため、障害物と路面平面上の影とを区別することができればよいという本装置の特殊性とが挙げられる。
【００６７】
（第２の実施の形態）
【００６８】
本発明の第２の実施の形態について図面を参照して詳細に説明する。
【００６９】
図８を参照すると、第２の実施の形態による障害物検知装置は、路面上を移動する移動体に搭載した複数の波長の光の強さを測定可能なカラー画像撮像モジュール８０１と、カラー画像撮像モジュール８０１が出力するカラー画像中から障害物に対応する可能性のある部分領域を障害物候補領域として抽出する障害物候補領域抽出モジュール１０２と、カラー画像撮像モジュール８０１が撮像している方位を出力する撮像方位抽出モジュール１０３と、光源の方位を抽出する光源方位抽出モジュール１０４と、障害物候補領域中から光源の存在する方位を向くエッジ方向を持つエッジ画素を抽出する光源方向エッジ抽出モジュール１０５と、光源が含む複数の波長の光の強さを記憶する光源分光特性取得モジュール８０２と、光源方向エッジ抽出モジュール１０５が抽出したエッジ周辺の画素の複数波長に対応する画素値と、光源分光特性取得モジュール８０２に記憶された太陽光の直達光および散乱光の強度から求められる日向および日陰における各波長の光の強さとに基づいて障害物候補領域が障害物領域か否かを判定する障害物判定手段８０３とを備える。
【００７０】
図８に示すモジュールのうち、カラー画像撮像モジュール８０１、光源分光特性取得モジュール８０２、障害物判定手段８０３以外のモジュールは、上述した第１の実施の形態の構成要素と同様である。なお、本実施の形態における障害物候補領域抽出モジュール１０２は、カラー画像を入力情報とするが、図１に示した障害物候補領域抽出モジュールに関する項目にて説明した「障害物の可能性のある部分領域の具体的な抽出方法」等は、カラー画像に対しても適用可能であり特段の相違はない。
【００７１】
そこで、以下では、第１の実施の形態と相違する、３つのモジュールである、カラー画像撮像モジュール８０１、光源分光特性取得モジュール８０２、障害物判定手段８０３について詳しく説明する。
【００７２】
カラー画像撮像モジュール８０１は、複数の波長の光に関する強度情報を含むカラー画像を取得し出力する。ここで、カラー画像とはいわゆる光の三原色である青、緑、赤に対応する波長に限らず、別の波長に関する光の強度情報を含んでもよい。また、可視光域の波長だけでなく、近赤外光域の波長を含んでもよい。
【００７３】
光源分光特性取得モジュール８０２は、太陽光の直達光、およびその大気による散乱光の複数の波長の光の強度、すなわち上記カラー画像に含まれる複数の波長の光の強度を取得して記憶するモジュールである。光の強度は、日時や大気の状態によっても変化するので、その時点の日時や大気状態に応じて、各波長の光の強度を別々に取得して記憶するようにする。すなわち、日時と大気状態の情報と対応付けて複数波長の光の強度を記憶する。そのため、光源分光特性取得モジュール８０２は、日時のカレンダー機能、時計機能を内在してもよい。また、大気の状態の情報については、装置を使用する都市の平均的な状態に合わせて設定しても良いし、通信によって外部から取り込んで設定してもよい。
【００７４】
障害物判定手段８０３は、光源方向エッジ抽出モジュール１０５が抽出したエッジ周辺の画素のカラー情報の値に基づき、障害物候補領域が真の障害物か否かを判定する。言い換えると、光源方向エッジが影によって生じたエッジであるか否かを判定して、影によって生じたエッジの特徴を有しない場合に、障害物候補領域を真の障害物と判定する。
【００７５】
以下、障害物判定手段８０３の具体的な判定方法について図９、図１１を参照しつつ説明する。図９は、障害物判定手段８０３が判定に用いる画素の位置を説明する図である。図１１は、判定処理の内容を説明するフローチャートである。
【００７６】
光源方向エッジ抽出モジュール１０５が光源方向エッジ画素としてエッジ画素９０１を抽出し、局所的なエッジ方向が方向９０２の方向であった場合、障害物判定手段８０３は、エッジ画素９０１について、エッジによって分割された２つの領域中からそれぞれ１点ずつ点９０３および点９０４を抽出する（ステップＳ１１０１）。点９０３、点９０４の抽出ルールは事前に設定しておく。例えば、抽出ルールとして、エッジ画素９０１を基点としてエッジ方向に直交する方向上の、点９０１から一定距離離れた画素を点として抽出するルールが考えられる。
【００７７】
そして、障害物判定手段８０３は、点９０３、点９０４に対応する画像の複数波長の光の強さの比を波長毎に求める（ステップＳ１１０２）。この光の強度比は、点９０３の光の強度を基準とした点９０４の光の強度、および点９０４の光の強度を基準とした点９０３の光の強度の２通りを求める。これは、仮に該障害物候補領域が影による領域だった場合、点９０３および点９０４のどちらが日陰の領域であっても対処できるようにするためである。また、仮に波長の数が３種類の場合であれば、それぞれ３種類の光の強度比を求める。
【００７８】
また、これとは別に、障害物判定手段８０３は、光源分光特性取得モジュール８０２に記憶した複数波長の光の強度を参照して、カラー画像を構成する複数波長に対する日向と日陰での光の強度比を求める（ステップＳ１１０３）。このときは、例えば日向の光の強度を基準として日陰の光の強度の比を求めても良い。
【００７９】
そして、障害物判定手段８０３は、エッジ点について入力画像から得た２通りの光強度比のうちの一方と、複数波長に対する日向と日陰での光の強度比を比較して、すべての波長に関する光の強度比の差が一定の値以下になるかどうかを判定する（ステップＳ１１０４）。他のエッジ画素について、２つの領域中から抽出した別の２点（画素）についても同様の判定を行う。この判定は、光源方向の全てのエッジ画素について行う。
【００８０】
最後に、障害物判定手段８０３は、光の強度比の差が一定の値以下になるエッジ画素の数を求め（ステップＳ１１０５）、そのエッジ画素数の総エッジ画素数に対する割合が予め定めた値以下であるかどうかを判定する（ステップＳ１１０６、Ｓ１１０７）。最後に、障害物判定手段８０３は、予め定めた値以下である場合に障害物候補領域を真の障害物領域と判断し（ステップＳ１１０８）、それ以外の場合は、該障害物候補領域は影領域であり障害物領域ではないと判断する（ステップＳ１１０９）。
【００８１】
これは、画素値が入射光の強度と路面表面の反射率の積に比例した値を持つという前提に基づいている。つまり、すべての波長に関する光の強度比の差が一定の値以下になる場合には、路面の表面反射率の値によらず、点９０３と点９０４における波長毎の光の強度がちょうど日向と日陰における光の強さに類似しており、該障害物候補領域は影による領域であると判断することができる。
【００８２】
このように、本実施の形態によれば、エッジ画素周辺の画素における複数の波長に対する光の強度を日向と日陰における光の強度と比較して最終的に障害物を判定するので、より正確に障害物と物体による影とを区別しつつ障害物を検知することができる。特に、路面に描かれた線分状の模様の長手方向がちょうど光源の存在する方位に類似した場合でも、本模様を障害物と誤判定することを抑制することができる。
【００８３】
また、障害物候補領域が影に対応する領域であった場合、点９０３と点９０４における波長毎の光の強度がちょうど日向と日陰における光の強さに類似するという性質は路面の反射率や色には依存しないので、線分状の路面ペイントを有するような路面でも正確な判定を行うことができる。また、波長毎の光の強度の比を検証する画素を、エッジ方向が光源の方位を向いた画素に限定することによって、日向と日陰の境界らしい画素周辺の画像特徴に着目できるため、障害物判定がしやすくなる。
【００８４】
次に、第２の実施の形態の動作について図面を用いて説明する。図１０は第２の実施の形態による障害物検知装置の動作を説明するフローチャートである。
【００８５】
まず、カラー画像撮像モジュール８０１が画像を取得する（ステップＳ１００１）。次に、カラー画像撮像モジュール８０１が取得した画像中から、障害物候補領域抽出モジュール１０２が障害物の可能性が高い領域を抽出する（ステップＳ１００２）。
【００８６】
次いで、撮像方位抽出モジュール１０３は、カラー画像撮像モジュール８０１（カメラ）の光軸の方位を出力する（ステップＳ１００３）。光源方位抽出モジュール１０４は、カラー画像撮像モジュール８０１に対する光源の方位を出力する（ステップＳ１００４）。光源方向エッジ抽出モジュール１０５は、路面平面上におけるエッジの局所的な方位と光源の方位との差分が一定値以下であるエッジを抽出する（ステップＳ１００５）。
【００８７】
そして、障害物判定モジュール８０３は、光源方向エッジ抽出手段１０５が抽出するエッジ画素のうち、エッジの両側の領域からそれぞれ１画素ずつ抽出した２つの画素のカラー映像に含まれる波長の光の強度比と、直射光および散乱光の強度により定義される日向と日陰における光の強度比とを比較し、光の強度比の差が一定の値以下になるエッジ画素の数を求める（ステップＳ１００６）。
【００８８】
最後に、強度比の差が一定の値以下になるエッジ画素数の総エッジ画素数に対する割合が予め定めた値以下である場合に障害物候補領域を障害物領域と判断する（ステップＳ１００７）。
【００８９】
なお、上記説明では、点９０３、点９０４を入力画像の中から直接抽出したが、路面平面におけるエッジの位置および方向に基づいて路面平面上にて同様の２点の位置を求め、これに対応する入力画像中の画素位置を求めて波長毎の光の強度比を求めてもよい。
【００９０】
（第２の実施の形態による効果）
上記のように構成される第２の実施の形態による効果を以下に説明する。
本実施の形態によれば、エッジ画素周辺の画素における複数の波長に対する光の強度を日向と日陰における光の強度と比較して最終的に障害物を判定するので、より正確に障害物と物体による影とを区別しつつ障害物を検知することができる。特に、路面に描かれた線分状の模様の長手方向がちょうど光源の存在する方位に類似した場合でも、本模様を障害物と誤判定することを抑制することができる。
【００９１】
以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも、上記実施の形態に限定されるものでなく、その技術的思想の範囲内において様々に変形して実施することができる。
【００９２】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【００９３】
また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。
【００９４】
また、本発明の方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本発明の方法およびコンピュータプログラムを実施する時には、その複数の手順の順番は内容的に支障しない範囲で変更することができる。
【００９５】
また、本発明の方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生すること、ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複していること、等でもよい。
【００９６】
さらに、上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、これに限定されない。
【００９７】
（付記１）
路面上を移動する移動体に搭載され周辺を撮影する撮像手段と、
撮影画像中から障害物に対応する可能性のある部分領域を障害物候補領域として抽出する障害物候補領域抽出手段と、
前記撮像手段の光軸の方位を出力する撮像方位抽出手段と、
光源の存在する方位を出力する光源方位抽出手段と、
前記障害物候補領域中の画素が実世界の路面平面上の点に対応するものと仮定して、前記障害物候補領域中から前記光源の存在する方位と等しい方向を向くエッジ画素を抽出する光源方向エッジ抽出手段と、
前記光源方向エッジ抽出手段が抽出したエッジ画素数の総エッジ画素数に対する割合が予め定めた値以下である場合に、前記障害物候補領域を障害物領域と判断する障害物判定手段と、
を備えることを特徴とする障害物検知装置。
【００９８】
（付記２）
路面上を移動する移動体に搭載され複数波長を含む周辺のカラー映像を撮影する撮像手段と、
カラー映像中から障害物に対応する可能性のある部分領域を障害物候補領域として抽出する障害物候補領域抽出手段と、
前記撮像手段の光軸の方位を出力する撮像方位抽出手段と、
光源の存在する方位を出力する光源方位抽出手段と、
前記障害物候補領域中の画素が実世界の路面平面上の点に対応するものと仮定して、前記障害物候補領域中から前記光源の存在する方位と等しい方向を向くエッジ画素を抽出する光源方向エッジ抽出手段と、
複数波長に対する、太陽光の直達光および大気による散乱光の強度を取得して記憶する光源分光特性取得手段と、
前記光源方向エッジ抽出手段が抽出するエッジ画素のうち、エッジ画素の両側の領域から抽出した２つの画素のカラー映像に含まれる波長の光の強度比と、前記直射光および散乱光の強度により定義される日向および日陰における光の強度比との差が一定値以下のエッジ画素の数を求め、当該エッジ画素の数の総エッジ画素数に対する割合が予め定めた値以下である場合に、前記障害物候補領域を障害物領域と判断する障害物判定手段と、
を備えることを特徴とする障害物検知装置。
【００９９】
（付記３）
前記光源方位抽出手段は、
内蔵する時計機能により現在日時および時刻を取得し、内蔵するＧＰＳ機能により現在位置を取得することにより、太陽の方位を算出して光源方位として出力することを特徴とする付記１又は付記２に記載の障害物検知装置。
【０１００】
（付記４）
前記光源方向エッジ抽出手段は、
障害物候補領域中のうち、隣接する画素の画素値が大きく変化している箇所の画素をエッジ画素として抽出し、前記撮像手段の中心と抽出したエッジ画素とを結ぶ線分を路面平面まで延長し、その交点をエッジ点として求めることにより、前記エッジ画素を路面平面上の点に対応させ、
前記エッジ画素周辺の画素値の勾配に基づいて前記エッジ画素の撮影画像上におけるエッジ方向を求め、
前記エッジ画素の撮影画像上のエッジ方向を路面平面上での方向に変換し、
前記エッジ画素の前記路面平面上での方向と前記光源の存在する方位とを比較することにより、前記光源の存在する方位と等しい方向を向くエッジ画素を抽出することを特徴とする付記１から付記３の何れかに記載の障害物検知装置。
【０１０１】
（付記５）
前記障害物判定手段は、
前記光源の存在する方位と等しい方向を向くエッジ画素について、当該エッジ画素によって分割される２つの領域から２つの画素を抽出し、２つの画素のカラー映像における複数波長の光の強度比を求め、
前記光源分光特性取得手段を参照して、前記複数波長に対する日向と日陰での光の強度比を求め、
前記エッジ画素についての２の画素の光の強度比と、前記複数波長に対する日向と日陰での光の強度比とを比較し、光の強度比の差が一定の値以下であるかどうかを判定し、
前記光の強度比の差が一定の値以下になるエッジ画素の数の総エッジ画素数に対する割合が予め定めた値以下であるかどうかを判定することを特徴とする付記２から付記４の何れかに記載の障害物検知装置。
【０１０２】
（付記６）
路面上を移動する移動体に搭載した撮像手段で撮影した周辺の撮影画像中から障害物に対応する可能性のある部分領域を障害物候補領域として抽出する障害物候補領域抽出ステップと、
前記撮像手段の光軸の方位を出力する撮像方位抽出ステップと、
光源の存在する方位を出力する光源方位抽出ステップと、
前記障害物候補領域中の画素が実世界の路面平面上の点に対応するものと仮定して、前記障害物候補領域中から前記光源の存在する方位と等しい方向を向くエッジ画素を抽出する光源方向エッジ抽出ステップと、
前記光源方向エッジ抽出ステップで抽出したエッジ画素数の総エッジ画素数に対する割合が予め定めた値以下である場合に、前記障害物候補領域を障害物領域と判断する障害物判定ステップと、
を有することを特徴とする障害物検知方法。
【０１０３】
（付記７）
路面上を移動する移動体に搭載した撮像手段で撮影した複数波長を含む周辺のカラー映像中から障害物に対応する可能性のある部分領域を障害物候補領域として抽出する障害物候補領域抽出ステップと、
前記撮像手段の光軸の方位を出力する撮像方位抽出ステップと、
光源の存在する方位を出力する光源方位抽出ステップと、
前記障害物候補領域中の画素が実世界の路面平面上の点に対応するものと仮定して、前記障害物候補領域中から前記光源の存在する方位と等しい方向を向くエッジ画素を抽出する光源方向エッジ抽出ステップと、
複数波長に対する、太陽光の直達光および大気による散乱光の強度を取得して記憶する光源分光特性取得ステップと、
前記光源方向エッジ抽出ステップで抽出したエッジ画素のうち、エッジ画素の両側の領域から抽出した２つの画素のカラー映像に含まれる波長の光の強度比と、前記直射光および散乱光の強度により定義される日向および日陰における光の強度比との差が一定値以下のエッジ画素の数を求め、当該エッジ画素の数の総エッジ画素数に対する割合が予め定めた値以下である場合に、前記障害物候補領域を障害物領域と判断する障害物判定ステップと、
を有することを特徴とする障害物検知方法。
【０１０４】
（付記８）
前記光源方位抽出ステップで、
内蔵する時計機能により現在日時および時刻を取得し、内蔵するＧＰＳ機能により現在位置を取得することにより、太陽の方位を算出して光源方位として出力することを特徴とする付記６又は付記７に記載の障害物検知方法。
【０１０５】
（付記９）
前記光源方向エッジ抽出ステップで、
障害物候補領域中のうち、隣接する画素の画素値が大きく変化している箇所の画素をエッジ画素として抽出し、前記撮像手段の中心と抽出したエッジ画素とを結ぶ線分を路面平面まで延長し、その交点をエッジ点として求めることにより、前記エッジ画素を路面平面上の点に対応させ、
前記エッジ画素周辺の画素値の勾配に基づいて前記エッジ画素の撮影画像上におけるエッジ方向を求め、
前記エッジ画素の撮影画像上のエッジ方向を路面平面上での方向に変換し、
前記エッジ画素の前記路面平面上での方向と前記光源の存在する方位とを比較することにより、前記光源の存在する方位と等しい方向を向くエッジ画素を抽出することを特徴とする付記６から付記８の何れかに記載の障害物検知方法。
【０１０６】
（付記１０）
前記障害物判定ステップで、
前記光源の存在する方位と等しい方向を向くエッジ画素について、当該エッジ画素によって分割される２つの領域から２つの画素を抽出し、２つの画素のカラー映像における複数波長の光の強度比を求め、
前記光源分光特性取得ステップで取得した前記複数波長に対する日向と日陰での光の強度比を求め、
前記エッジ画素についての２の画素の光の強度比と、前記複数波長に対する日向と日陰での光の強度比とを比較し、光の強度比の差が一定の値以下であるかどうかを判定し、
前記光の強度比の差が一定の値以下になるエッジ画素の数の総エッジ画素数に対する割合が予め定めた値以下であるかどうかを判定することを特徴とする付記７から付記９の何れかに記載の障害物検知方法。
【０１０７】
（付記１１）
路面上を移動する移動体に搭載した撮像手段で撮影した周辺の撮影画像中から障害物に対応する可能性のある部分領域を障害物候補領域として抽出する障害物候補領域抽出処理と、
前記撮像手段の光軸の方位を出力する撮像方位抽出処理と、
光源の存在する方位を出力する光源方位抽出処理と、
前記障害物候補領域中の画素が実世界の路面平面上の点に対応するものと仮定して、前記障害物候補領域中から前記光源の存在する方位と等しい方向を向くエッジ画素を抽出する光源方向エッジ抽出処理と、
前記光源方向エッジ抽出処理で抽出したエッジ画素数の総エッジ画素数に対する割合が予め定めた値以下である場合に、前記障害物候補領域を障害物領域と判断する障害物判定処理と、をコンピュータに実行させることを特徴とする障害物検知プログラム。
【０１０８】
（付記１２）
路面上を移動する移動体に搭載した撮像手段で撮影した複数波長を含む周辺のカラー映像中から障害物に対応する可能性のある部分領域を障害物候補領域として抽出する障害物候補領域抽出処理と、
前記撮像手段の光軸の方位を出力する撮像方位抽出処理と、
光源の存在する方位を出力する光源方位抽出処理と、
前記障害物候補領域中の画素が実世界の路面平面上の点に対応するものと仮定して、前記障害物候補領域中から前記光源の存在する方位と等しい方向を向くエッジ画素を抽出する光源方向エッジ抽出処理と、
複数波長に対する、太陽光の直達光および大気による散乱光の強度を取得して記憶する光源分光特性取得処理と、
前記光源方向エッジ抽出処理で抽出したエッジ画素のうち、エッジ画素の両側の領域から抽出した２つの画素のカラー映像に含まれる波長の光の強度比と、前記直射光および散乱光の強度により定義される日向および日陰における光の強度比との差が一定値以下のエッジ画素の数を求め、当該エッジ画素の数の総エッジ画素数に対する割合が予め定めた値以下である場合に、前記障害物候補領域を障害物領域と判断する障害物判定ステップと、をコンピュータに実行させることを特徴とする障害物検知プログラム。
【０１０９】
（付記１３）
前記光源方位抽出処理で、
内蔵する時計機能により現在日時および時刻を取得し、内蔵するＧＰＳ機能により現在位置を取得することにより、太陽の方位を算出して光源方位として出力することを特徴とする付記１１又は付記１２に記載の障害物検知プログラム。
【０１１０】
（付記１４）
前記光源方向エッジ抽出処理で、
障害物候補領域中のうち、隣接する画素の画素値が大きく変化している箇所の画素をエッジ画素として抽出し、前記撮像手段の中心と抽出したエッジ画素とを結ぶ線分を路面平面まで延長し、その交点をエッジ点として求めることにより、前記エッジ画素を路面平面上の点に対応させ、
前記エッジ画素周辺の画素値の勾配に基づいて前記エッジ画素の撮影画像上におけるエッジ方向を求め、
前記エッジ画素の撮影画像上のエッジ方向を路面平面上での方向に変換し、
前記エッジ画素の前記路面平面上での方向と前記光源の存在する方位とを比較することにより、前記光源の存在する方位と等しい方向を向くエッジ画素を抽出することを特徴とする付記１１から付記１３の何れかに記載の障害物検知プログラム。
【０１１１】
（付記１５）
前記障害物判定処理で、
前記光源の存在する方位と等しい方向を向くエッジ画素について、当該エッジ画素によって分割される２つの領域から２つの画素を抽出し、２つの画素のカラー映像における複数波長の光の強度比を求め、
前記光源分光特性取得処理で取得した前記複数波長に対する日向と日陰での光の強度比を求め、
前記エッジ画素についての２の画素の光の強度比と、前記複数波長に対する日向と日陰での光の強度比とを比較し、光の強度比の差が一定の値以下であるかどうかを判定し、
前記光の強度比の差が一定の値以下になるエッジ画素の数の総エッジ画素数に対する割合が予め定めた値以下であるかどうかを判定することを特徴とする付記１２から付記１４の何れかに記載の障害物検知プログラム。
【符号の説明】
【０１１２】
１０１：撮像モジュール
１０２：障害物候補領域抽出モジュール
１０３：撮影方位抽出モジュール
１０４：光源方位抽出モジュール
１０５：光源方向エッジ抽出モジュール
１０６：障害物判定モジュール
２０１：視点
２０２：障害物候補領域
２０３：障害物候補領域中のエッジ点
２０４：路面平面
７０１：ＥＣＵ
７０２：撮像装置
８０１：カラー画像撮像モジュール
８０２：光源分光特性取得モジュール
８０３：障害物判定モジュール
９０１：エッジ画素
９０２：エッジ方向
９０３、９０４：カラー情報を参照する画素
１１０１：光源
１１０２：物体（樹木）
１１０３：路面上の影の局所的なエッジ方向
【図１】
2011209896.tif 000004
【図２】
2011209896.tif 000005
【図３】
2011209896.tif 000006
【図４】
2011209896.tif 000007
【図５】
2011209896.tif 000008
【図６】
2011209896.tif 000009
【図７】
2011209896.tif 000010
【図８】
2011209896.tif 000011
【図９】
2011209896.tif 000012
【図１０】
2011209896.tif 000013
【図１１】
2011209896.tif 000014
【図１２】
2011209896.tif 000015