(57)【特許請求の範囲】
【請求項１】
車載カメラ（２）の画像から道路が撮像されている道路領域を抽出する道路抽出部（Ｓ１２０，Ｓ１３０）と、
前記道路抽出部により抽出された前記道路領域を規則的に区分けした区画毎に、標準的な路面の状態を表すテンプレートとの類似度を求め、該類似度が予め設定された下限許容値未満となる前記区画である非類似区画を抽出する区画抽出部（Ｓ１４０，Ｓ１６０，Ｓ１７０）と、
前記区画抽出部で抽出された非類似区画の分布から落下物の存在を判定する落下物判定部（Ｓ１８０）と、
を備えることを特徴とする落下物検出装置。
【請求項２】
前記道路抽出部にて抽出された道路領域の画像から前記テンプレートを抽出するテンプレート抽出部（Ｓ１４０，Ｓ１５０）を備えることを特徴とする請求項１に記載の落下物検出装置。
【請求項３】
前記テンプレート抽出部は、前記道路領域の画像中で検出される単位面積当たりのエッジの数が予め設定された上限許容値以下となる部位を、前記テンプレートとして抽出することを特徴とする請求項２に記載の落下物検出装置。
【請求項４】
前記テンプレート抽出部は、前記車載カメラを搭載する車両である自車両からの距離が予め設定された許容範囲内にある前記道路領域をテンプレート抽出領域として、該テンプレート抽出領域から前記テンプレートを抽出することを特徴とする請求項２または請求項３に記載の落下物検出装置。
【請求項５】
前記テンプレート抽出部は、前記テンプレート抽出領域のうち、前記自車両が走行中の車線に属する領域を優先して、前記テンプレートの抽出を行うことを特徴とする請求項４に記載の落下物検出装置。
【請求項６】
前記区画抽出部は、前記道路領域の形状を表す道路パラメータを生成し、該道路パラメータを用いて前記道路領域を直線道路に変換して処理することを特徴とする請求項１ないし請求項５のいずれか１項に記載の落下物検出装置。
【請求項７】
前記落下物判定部は、前記非類似区画同士が隣接している場合にこれらを結合したもの、および隣接するものがない単一の前記非類似区画を候補区画として、前記候補区画の大きさが予め設定された落下物判定閾値以下である場合に、前記落下物が存在すると判定することを特徴とする請求項１ないし請求項６のいずれか１項に記載の落下物検出装置。
【請求項８】
前記落下物が存在すると判定された前記候補区画の位置から該落下物の３次元情報を求める情報算出部（Ｓ１９０）を備えることを特徴とする請求項７に記載の落下物検出装置。
【請求項９】
前記車載カメラは単眼カメラであることを特徴とする請求項１ないし請求項８のいずれか１項に記載の落下物検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路上の落下物を画像から検出する技術に関する。
【背景技術】
【０００２】
従来、車載カメラにより取得した画像と、他車両や落下物等の非定常的な障害物が存在しない定常的な道路状況を示す背景画像との比較で落下物等を検出し、単願ステレオ法または複眼ステレオ法により得られる視差（検出方位差）の情報から落下物等の３次元情報を得る技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２１６１２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、背景画像を用いて落下物等を検出する場合、経年変化や工事などによって道路環境が変化し、背景画像に示された道路状況と実際の道路状況とに差が生じてしまうと、検出精度が劣化するという問題があった。
【０００５】
また、ステレオ法による３次元情報の計算は、視差が小さいほど、即ち対象物までの距離が遠いほど困難になるという問題もあった。
本発明は、こうした問題に鑑みてなされたものであり、道路環境の変化によらず、道路上の落下物を安定した精度で検出する技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の落下物検出装置は、道路抽出部と、区画抽出部と、落下物判定部とを備える。道路抽出部は、車載カメラの画像から道路が撮像されている道路領域を抽出する。区画抽出部は、道路抽出部により抽出された道路領域を規則的に区分けした区画毎に、標準的な路面の状態を表すテンプレートとの類似度を求め、この類似度が予め設定された下限許容値未満となる区画である非類似区画を抽出する。落下物判定部は、区画抽出部で抽出された非類似区画の分布から落下物の存在を判定する。
【０００７】
なお、標準的な路面とは、落下物や路面標識が存在しない部分の路面のことであり、落下物や路面標識が存在する区画が非類似区画として抽出される。また、路面標識が存在する場合は落下物が存在する場合と比較して、広い範囲に渡って非類似区画が検出される。このような非類似区画の分布の特徴を利用することで、落下物の存在を判定することが可能となる。
【０００８】
そして、標準的な路面の状態を表すテンプレートは、路面の状態を含むより広い範囲の状態を表す背景画像と比較して、道路環境の変化の影響を受けにくいため、落下物の検出を安定した精度で行うことができる。
【０００９】
なお、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
【図面の簡単な説明】
【００１０】
【図１】運転支援システムの構成を示すブロック図である。
【図２】落下物検出処理のフローチャートである。
【図３】白線検出、道路パラメータの概要を示す説明図であり、（ａ）が白線に基づくエッジの検出地点、（ｂ）がペアエッジの定義、（ｃ）が白線を表すペアエッジの軌跡と道路パラメータの関係を示す。
【図４】テンプレート領域および落下物検出領域を示す説明図であり、（ａ）がカメラ画像を水平面に投影した図、（ｂ）がエッジ画像上でのイメージ図である。
【図５】テンプレートの生成に関する説明図であり、（ａ）がカメラ画像を水平面に投影した図、（ｂ）がエッジ画像上のイメージ図である。
【図６】落下物検出領域マップと非類似領域の判定結果を示した説明図であり、（ａ）は路面標識が存在する場合、（ｂ）は路面に落下物等が存在する場合である。
【発明を実施するための形態】
【００１１】
以下に本発明が適用された実施形態について、図面を用いて説明する。
［１．構成］
運転支援システム１は、図１に示すように、車載カメラ（以下、単に「カメラ」ともいう）２と、落下物検出装置３と、車両制御部４とを備える。以下では、運転支援システム１を搭載した車両を自車両という。
【００１２】
カメラ２は、公知のＣＣＤイメージセンサあるいはＣＭＯＳイメージセンサ等のイメージセンサを用いて構成された単眼カメラからなり、撮像された画像に、車両前方の路面が少なくとも含まれるように設置される。
【００１３】
車両制御部４は、落下物検出装置３により検出された落下物の大きさや自車両との相対的な位置関係を表す３次元情報等に基づいて、運転支援のための各種車両制御を実行する。具体的には、エンジンを制御するエンジンＥＣＵ、制動力を制御するブレーキＥＣＵ、操舵角を制御するステアリングＥＣＵ等からなる。
【００１４】
落下物検出装置３は、ＣＰＵ３１，ＲＯＭ３２，ＲＡＭ３３を少なくとも備えた公知のコンピュータからなり、ＲＯＭに記憶されたプログラムをＣＰＵが実行することによって、各種機能を実現する。
【００１５】
［２．処理］
次に、落下物検出装置３が実行する落下物検出処理を、図２のフローチャートを用いて説明する。本処理はカメラ２が撮像を行う周期で繰り返し実行される。
【００１６】
本処理が起動すると、ＣＰＵ３１は、Ｓ１１０にて、カメラ２から画像を取得する。続くＳ１２０では、画像から道路に描かれた白線を検出する。その際に、図３（ａ）に示すように、取得した画像を水平面に投影した画像に変換し、この投影画像を用いて処理する。白線の検出は、具体的には、自車両の正面方向を基点に車幅方向、即ち画面の左右両方向に走査しながら画素値の微分値を求め、図３（ｂ）に示すように、立ち上がりエッジと立ち下がりエッジの間隔が、白線の幅に相当する所定範囲内のものをペアエッジとして検出する。このようなペアエッジの検出を、図３（ａ）に示す画像の上下方向、即ち、取得した画像の奥行き方向に位置をずらしながら繰り返すことで得られるペアエッジの軌跡から、白線を検出する（図３（ｃ）参照）。このような白線検出方法は、周知であるためこれ以上の説明は省略する。なお、検出された最も外側の両端に位置する白線で囲われた領域を、以下では道路領域という。
【００１７】
続くＳ１３０では、Ｓ１２０での白線検出の結果に基づき、道路パラメータを算出する。道路パラメータは、具体的には図３（ｃ）に示すように、各白線に挟まれた車線の幅であるレーン幅、白線（即ち道路）の曲率、カメラ２の設置位置から自車両が走行中の車線の幅方向中央位置までの距離を表すオフセット、車両の直進方向と白線（即ち道路）の接線方向とが成す角度を表すヨー角を求める。
【００１８】
続くＳ１４０では、Ｓ１２０で抽出された道路領域を、Ｓ１３０で求めた道路パラメータを用いて直線道路の道路領域に変換し、その変換された道路領域からテンプレート抽出領域および落下物検出領域を抽出する。具体的には、図４（ａ）（ｂ）に示すように、テンプレート抽出領域は、自車両からの距離が予め設定された許容範囲内（図では２０ｍ付近）に位置するレーン幅全体に渡る矩形状の領域である。なお、許容範囲は、自車両の直前を下限、安全に追従走行する場合の先行車との車間距離を上限として、この範囲内に設定することが望ましい。落下物検出領域は、落下物を検出した場合にドライバや車載システムが対処可能な距離（図では自車両の手間の３０〜５０ｍ付近）に位置する自車線幅全体に渡る矩形状の領域である。なお、落下物検出領域は、テンプレート抽出領域と同様に、レーン幅全体に渡る矩形状の領域としてもよい。
【００１９】
続くＳ１５０では、テンプレート抽出領域の画像に基づいて路面の標準的な状況を表すテンプレートを生成する。具体的には、テンプレート領域のエッジ画像から、検出される単位面積（例えばテンプレートサイズ）当たりのエッジの数が予め設定された上限許容値以下となる部位を切り出すことによってテンプレートを生成する。このとき、テンプレート抽出領域のうち、自車線に属する領域を優先的に探査し、適当な場所がなければ、隣接車線に属する領域も探査する。なお、隣接車線にも適切な場所を見つけられない場合は、例えば、上限閾値を上げるか、テンプレート抽出領域を広げて探査するようにしてもよい。つまり、図５（ａ）（ｂ）に示すように、経年劣化により生じたひびや補修に用いたタールが存在する箇所は、多くのエッジが検出されるため、そのような箇所を避けた比較的均一な路面の画像がテンプレートとして使用されることになる。
【００２０】
続くＳ１６０では、落下物検出領域を規則的に区分けした落下物検出領域マップを生成する。具体的には、図６（ａ）（ｂ）に示すように、区分けされた各区画がテンプレートと同じ大きさとなるように検出領域マップを生成する。
【００２１】
続くＳ１７０では、区画毎に先のＳ１５０で生成されたテンプレートとの類似度を算出し、類似度が予め設定された下限許容値未満となる区画を非類似区画として抽出する。類似度は、例えば、対応する画素毎にその差を求めたものを合計し、その逆数をとる等の公知の手法を用いて求める。
【００２２】
続くＳ１８０では、落下物検出領域マップ上での非類似区画の分布に基づいて落下物の存在を判定する。具体的には、非類似区画が隣接している場合これらを結合したもの、および隣接するものがない単一の非類似区画を、それぞれ一つの候補領域として、各候補領域を構成する区画の数が予め設定された落下物判定閾値以下である場合、その候補領域に落下物が存在すると判定する。一方、候補領域を構成する区画の数が落下物判定閾値より大きい場合、その候補領域に路面標識が存在すると判定する。
【００２３】
続くＳ１９０では、落下物が存在すると判定された候補領域のそれぞれについて、落下物の大きさや自車両との相対位置を表す３次元情報を算出する。なお、相対位置は、自車両に対する落下物検出領域の位置と、候補領域を構成する非類似区画の落下物検出領域内での位置から算出する。
【００２４】
続くＳ２００では、Ｓ１９０での落下物の３次元情報の算出結果を、車両制御部４に出力して、本処理を終了する。
［３．作用／効果］
以上説明したように、落下物検出装置３では、図６に示すように、路面標識または落下物が存在する区画、即ち、図中斜線を示した区画は、テンプレートとの類似度が低いため、非類似区画として判断される。但し、路面標識の場合、道路標識は路面の広い範囲に渡って描かれるため、図６（ａ）に示すように、候補領域を構成する区画数は多くなり、一方、タイヤやコーンといった落下物等の場合、落下物等は道路標識と比較して小さいため、図６（ｂ）に示すように、候補領域を構成する区画数は少なくなる。これにより、路面標識と落下物とを区別して検出することができる。
【００２５】
また、落下物検出領域は比較的広い範囲を有するため、白線検出から得られる道路パラメータを用いることで自車両との相対的な位置関係を画像から無理なく求めることができる。各区画は、落下物検出領域を規則的に分割したものであるため、落下物検出領域内での相対位置を簡単に特定することができる。つまり、落下物検出装置３では、この両者を組み合わせることで、自車両からの落下物までの距離が、ステレオ法では精度が劣化する程度に遠い場合でも、落下物の３次元情報を、安定した精度で求めることができる。
【００２６】
落下物検出装置３では、広い範囲をカバーする背景画像ではなく、標準的な道路の状態を表すテンプレートを用いて落下物の検出を行うため、工事などによって周辺環境が変化した場合でもその影響を受けにくく、安定した検出を実現することができる。
【００２７】
落下物検出装置３では、テンプレートとして、その都度、画像から切り出したものを用いるため、日射や照明の変化や経年劣化などによって、路面の状態が変化した場合でも、その状況変化に随時対処することができ、この点でも安定した検出を実現することができる。
【００２８】
落下物検出装置３では、単眼カメラの画像を用いることができるため、運転支援システム１を安価に構成することができるだけでなく、単眼カメラしか搭載されていない車両にも適用することができる。
【００２９】
［４．他の実施形態］
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得る。
【００３０】
（１）上記実施形態では、道路パラメータを画像から求めているが、これに限らず、自車両の現在位置に基づき地図データ等から取得した道路パラメータを用いる等してもよい。
【００３１】
（２）上記実施形態における一つの構成要素が有する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を一つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加または置換等してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
【００３２】
（３）上述した落下物検出装置の他、当該落下物検出装置を構成要素とする各種システム、当該落下物検出装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、落下物検出方法など、種々の形態で実現することもできる。
【符号の説明】
【００３３】
１…運転支援システム、２…カメラ、３…落下物検出装置、４…車両制御部。
【図１】
0006439592.tif 000002
【図２】
0006439592.tif 000003
【図３】
0006439592.tif 000004
【図４】
0006439592.tif 000005
【図５】
0006439592.tif 000006
【図６】
0006439592.tif 000007