(57)【要約】      （修正有）【課題】移動体が移動する際の安全を確保するための画像処理装置を提供する。【解決手段】移動体の予測軌道と、三次元モデルにおける移動体の位置及び大きさと、三次元モデルにおける立体物の大きさ及び位置とに基づいて、三次元モデルにおいて予測軌道上で移動体が立体物に接触するか否か判定する接触判定部２６０を備える。また、ステレオカメラの画像に基づいて距離を測定し、立体物の位置及び大きさを算出する。さらに、算出した横幅の接触量に基づいて予測軌道を変更した上で接触するか否か判定する。【選択図】図３
2013114610.tif 000002
【特許請求の範囲】
【請求項１】
移動体の予測軌道と、三次元モデルにおける前記移動体の位置及び大きさと、前記三次元モデルにおける立体物の大きさ及び位置とに基づいて、前記三次元モデルにおいて予測軌道上で前記移動体が前記立体物に接触するか否か判定する接触判定部を備えることを特徴とする画像処理装置。
【請求項２】
ステレオカメラが被写体を撮像することにより得られた画像信号に基づいて、該ステレオカメラから前記被写体までの距離を示す距離情報を算出する距離情報算出部と、
前記距離情報算出部が算出した距離情報に基づいて、前記画像に含まれる立体物の画像領域を抽出する立体物抽出部と、
前記立体物抽出部が抽出した立体物の画像領域について、前記距離情報算出部が算出した距離情報に基づいて、三次元モデルにおける前記立体物の位置及び大きさを算出する立体物位置大きさ算出部と、
前記三次元モデルにおける前記移動体の位置及び大きさを取得する移動体位置大きさ取得部と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記接触判定部が接触すると判定した場合、接触時に前記移動体と前記立体物とが接触する横幅である接触量を算出する接触量算出部と、
前記接触量算出部が算出した接触量に基づいて、前記移動体の予測軌道を変更する予測軌道変更部と、
前記接触判定部は、前記予測軌道変更部が変更した予測軌道で、前記移動体が他の立体物に接触するか否か判定することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記接触判定部が判定した結果に基づいて、前記移動体が前記立体物の横を通過可能か否か判定する通過可否判定部を備えることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
画像信号から特定の画像領域を検出する特定画像領域検出部を備え、
前記接触判定部は、
前記特定画像領域検出部が検出した特定の画像領域に基づいて、前記移動体の予測軌道を算出する予測軌道算出部と、
前記予測軌道算出部が算出した予測軌道と前記立体物の前記三次元モデルにおける大きさ及び位置とに基づいて、前記三次元モデルにおいて前記予測軌道上で前記移動体が前記立体物に接触するか否か判定する判定部と、
を備えることを特徴とする請求項１から請求項４のいずれか一項に記載の画像処理装置。
【請求項６】
前記距離情報算出部は、
前記画像信号からステレオマッチングにより視差を算出する視差値算出部と、
前記ステレオカメラを構成するカメラ間の間隔である基線長を取得する基線長取得部と、
前記ステレオカメラの焦点距離を取得する焦点距離取得部と、
前記視差値算出部が算出した視差値と、前記基線長取得部が取得した基線長と、前記焦点距離取得部が取得した焦点距離とに基づいて、前記距離情報を算出する算出部と、
を備えることを特徴とする請求項２に記載の画像処理装置。
【請求項７】
予め決められた間隔で、互いの光軸が平行である少なくとも一対のカメラを有するステレオカメラと、
請求項１に記載の画像処理装置と、
前記画像処理装置が判定した結果に基づいて、自装置の外部に報知する報知装置と、
を備えることを特徴とする運転支援装置。
【請求項８】
画像処理装置が実行する画像処理方法であって、
移動体の予測軌道と、三次元モデルにおける前記移動体の位置及び大きさと、前記三次元モデルにおける立体物の大きさ及び位置とに基づいて、前記三次元モデルにおいて予測軌道上で前記移動体が前記立体物に接触するか否か判定する接触判定手順を有することを特徴とする画像処理方法。
【請求項９】
コンピュータに、
移動体の予測軌道と、三次元モデルにおける前記移動体の位置及び大きさと、前記三次元モデルにおける立体物の大きさ及び位置とに基づいて、前記三次元モデルにおいて予測軌道上で前記移動体が前記立体物に接触するか否か判定する接触判定ステップを実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、運転支援装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
自動車などの車両周辺の障害物を検知する方法として、レーザレーダ、ミリ波レーダ、超音波ソナーといったアクティブセンサを用いる方法と、可視光カメラや赤外線カメラといったパッシブセンサを用いる方法が知られている。そのうちパッシブセンサを用いる方法は、アクティブセンサを用いる方法に比べて安価ながら、より細かい情報が得られるという特徴がある。
【０００３】
例えば、パッシブセンサを用いて車両周辺の障害物を検知する技術の一例として、特許文献１では、ステレオカメラを用いて、車両周辺の障害物における車両側の端位置を検出することで、車両の狭路通過可否を判定し運転者に報知する車両用走行案内装置が開示されている。また、特許文献１では、障害物の自車両側の縁と、自車両側部の延長線との間の最接近距離を隙間距離として左右それぞれに算出することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−１９２１９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載された方法では、自車両の向きによっては、通過可否を正しく判定できなかった。その結果、特許文献１に記載された方法では、車両走行中の安全を確保することができない場合もあるという問題があった。
【０００６】
そこで本発明は、上記問題に鑑みてなされたものであり、移動体の移動する際の安全を確保することができる画像処理装置、運転支援装置、画像処理方法及び画像処理プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
（１）本発明は前記事情に鑑みなされたもので、本発明の一態様は、移動体の予測軌道と、三次元モデルにおける前記移動体の位置及び大きさと、前記三次元モデルにおける立体物の大きさ及び位置とに基づいて、前記三次元モデルにおいて予測軌道上で前記移動体が前記立体物に接触するか否か判定する接触判定部を備えることを特徴とする画像処理装置である。
【０００８】
（２）上記に記載の画像処理装置において、本発明の一態様は、ステレオカメラが被写体を撮像することにより得られた画像信号に基づいて、該ステレオカメラから前記被写体までの距離を示す距離情報を算出する距離情報算出部と、前記距離情報算出部が算出した距離情報に基づいて、前記画像に含まれる立体物の画像領域を抽出する立体物抽出部と、前記立体物抽出部が抽出した立体物の画像領域について、前記距離情報算出部が算出した距離情報に基づいて、三次元モデルにおける前記立体物の位置及び大きさを算出する立体物位置大きさ算出部と、前記三次元モデルにおける前記移動体の位置及び大きさを取得する移動体位置大きさ取得部と、を備えることを特徴とする。
【０００９】
（３）上記に記載の画像処理装置において、本発明の一態様は、前記接触判定部が接触すると判定した場合、接触時に前記移動体と前記立体物とが接触する横幅である接触量を算出する接触量算出部と、前記接触量算出部が算出した接触量に基づいて、前記移動体の予測軌道を変更する予測軌道変更部と、前記接触判定部は、前記予測軌道変更部が変更した予測軌道で、前記移動体が他の立体物に接触するか否か判定することを特徴とする。
【００１０】
（４）上記に記載の画像処理装置において、本発明の一態様は、前記接触判定部が判定した結果に基づいて、前記移動体が前記立体物の横を通過可能か否か判定する通過可否判定部を備えることを特徴とする。
【００１１】
（５）上記に記載の画像処理装置において、本発明の一態様は、画像信号から特定の画像領域を検出する特定画像領域検出部を備え、前記接触判定部は、前記特定画像領域検出部が検出した特定の画像領域に基づいて、前記移動体の予測軌道を算出する予測軌道算出部と、前記予測軌道算出部が算出した予測軌道と前記立体物の前記三次元モデルにおける大きさ及び位置とに基づいて、前記三次元モデルにおいて前記予測軌道上で前記移動体が前記立体物に接触するか否か判定する判定部と、を備えることを特徴とする。
【００１２】
（６）上記に記載の画像処理装置において、本発明の一態様は、前記距離情報算出部は、前記画像信号からステレオマッチングにより視差を算出する視差値算出部と、前記ステレオカメラを構成するカメラ間の間隔である基線長を取得する基線長取得部と、前記ステレオカメラの焦点距離を取得する焦点距離取得部と、前記視差値算出部が算出した視差値と、前記基線長取得部が取得した基線長と、前記焦点距離取得部が取得した焦点距離とに基づいて、前記距離情報を算出する算出部と、を備えることを特徴とする。
【００１３】
（７）本発明の一態様は、予め決められた間隔で、互いの光軸が平行である少なくとも一対のカメラを有するステレオカメラと、上記に記載の画像処理装置と、前記画像処理装置が判定した結果に基づいて、自装置の外部に報知する報知装置と、を備えることを特徴とする運転支援装置である。
【００１４】
（８）本発明の一態様は、画像処理装置が実行する画像処理方法であって、移動体の予測軌道と、三次元モデルにおける前記移動体の位置及び大きさと、前記三次元モデルにおける立体物の大きさ及び位置とに基づいて、前記三次元モデルにおいて予測軌道上で前記移動体が前記立体物に接触するか否か判定する接触判定手順を有することを特徴とする画像処理方法である。
【００１５】
（９）本発明の一態様は、コンピュータに、三次元モデルにおける前記移動体の位置及び大きさと、前記三次元モデルにおける立体物の大きさ及び位置とに基づいて、前記三次元モデルにおいて予測軌道上で前記移動体が前記立体物に接触するか否か判定する接触判定ステップを実行させるための画像処理プログラムである。
【発明の効果】
【００１６】
本発明によれば、移動体が移動する際の安全を確保することができる。
【図面の簡単な説明】
【００１７】
【図１】本実施形態における運転支援装置１０の搭載位置の一例を表す図である。
【図２】本実施形態における運転支援装置１０の搭載位置の一例を表す別の図である。
【図３】本実施形態における画像処理装置の概略ブロック図である。
【図４】ステレオカメラで撮像した各画像の一例である。
【図５】基準画像全体にわたり視差値の算出を行った場合において、各画素の視差値を示した図である。
【図６】立体物抽出部により識別された道路面の一例を示した図である。
【図７】車線が示された基準画像の一例である。
【図８】基準画像とその基準画像に対応する距離画像の一例が示された図である。
【図９】距離画像から立体物を抽出する処理を説明するための図である。
【図１０】基準画像から白線の画像領域を抽出する処理を説明するための図である。
【図１１】三次元モデルにおいて立体物オブジェクトは配置する処理について説明するための図である。
【図１２】三次元モデル合成部の処理例を示す図である。
【図１３】三次元モデルにおいて車両と立体物が接触する場合の処理を説明するための図である。
【図１４】桁下通過する場合の三次元モデルの一例である。
【図１５】本実施形態における画像処理装置の処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態について、図面を参照して詳細に説明する。図１は、本実施形態における運転支援装置１０の搭載位置の一例を表す図である。図１は、車両１を正面から見た場合において、運転支援装置１０が備えるステレオカメラ１００の位置関係の一例が示された図である。
同図において、車両１の車内の運転席窓ガラス上方の付近には、車両１の前方を監視するステレオカメラ１００が適宜の固定手段により設置されている。本実施形態におけるステレオカメラ１００は、一例としてＬカメラ１０１と、Ｒカメラ１０２とを備える。そして、Ｌカメラ１０１とＲカメラ１０２は、予め決められた間隔（基線長）で、互いの光軸が略平行になるように設置されている。
【００１９】
なお、ステレオカメラ１００は少なくとも１対のカメラが予め決められた間隔（基線長）で、互いの光軸が略平行になるように設置されていればよい。
【００２０】
図２は、本実施形態における運転支援装置１０の搭載位置の一例を表す別の図である。図２は車両１を真横から見た場合の運転支援装置１０の位置関係の一例を示した図である。運転支援装置１０は、前述のステレオカメラ１００と、画像処理装置２００と、報知装置３００とを備える。
ステレオカメラ１００が備えるＬカメラ１０１とＲカメラ１０２は、それぞれ車両１の前方の被写体を撮像し、撮像により得られた各画像信号（以下、それぞれを「基準画像信号」、「参照画像信号」と称する）を画像処理装置２００へ送信する。
【００２１】
画像処理装置２００は、ステレオカメラ１００から供給された各画像信号に基づいて、車両１が、車両１の前方にある立体物と接触するか否か判定し、その判定した結果を示す判定結果情報を報知装置３００へ出力する。
報知装置３００は、画像処理装置２００から入力された判定結果情報に基づいて、自装置の外部へ警告表示または警告音で報知する。具体的には、例えば、報知装置３００は、判定結果情報が通行不可を示す場合、前方の立体物の横を通行不可であることを示す警告表示または警告音を出力する。これにより、報知装置３００は、車両１の運転者に前方の立体物の横を通行可能であるか否かを知らせることができ、運転支援装置１０は、運転者の負担を軽減しつつ車両および運転者の安全を確保することができる。
なお、判定結果情報が通行可能を示す場合、報知装置３００は、前方の立体物の横を通行可能であることを示す警告表示または警告音を出力してもよい。
【００２２】
図３は、本実施形態における画像処理装置２００の概略ブロック図である。画像処理装置２００は、記憶部２１０と、距離情報算出部２２０と、立体物抽出部２３０と、位置大きさ算出部２４０と、特定画像領域検出部２４１と、三次元モデル合成部（移動体位置大きさ取得部）２５０と、接触判定部２６０と、接触量算出部２７０と、予測軌道変更部２８０と、通過可否判定部２９０とを備える。
【００２３】
記憶部２１０には、基線長を示す基線長情報、ステレオカメラ１００のＬカメラ１０１とＲカメラ１０２の焦点距離を示す焦点距離情報、車両１の三次元モデルにおける位置を示す位置情報、及び車両１の三次元モデルにおける大きさを示す大きさ情報が記憶されている。ここで、Ｌカメラ１０１の焦点距離とＲカメラ１０２の焦点距離は、同一であるものとする。
【００２４】
距離情報算出部２２０は、ステレオカメラ１００が撮像することにより得られた画像信号に基づいて、該ステレオカメラ１００から被写体までの距離を算出する。ここで、距離情報算出部２２０は、視差値算出部２２１と、基線長取得部２２２と、焦点距離取得部２２３と算出部２２４を備える。
【００２５】
視差値算出部２２１は、ステレオカメラ１００のＬカメラ１０１から送信された基準画像信号と、Ｒカメラ１０２から送信された参照画像信号とを受信する。そして、視差値算出部２２１は、は、基準画像信号と参照画像信号とに基づいて、以下に説明するようにして、ステレオマッチングにより視差値を算出する。
【００２６】
視差値算出部２２１は、基準画像信号が示す基準画像の各点と対応する対応点を、参照画像信号が示す参照画像の探索領域から探索する。対応点の判定処理において、視差値算出部２２１は、基準画像の各点である基準点を中心に小領域を抽出し、抽出した小領域と参照画像の探索領域内の小領域とを比較する。そして、視差値算出部２２１は、各小領域の画像輝度パターン同士が類似しているか否かを、画像輝度の差分絶対和（ＳＡＤ：Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅｓ）を評価値の基準として判定する。
【００２７】
なお、評価値の基準は、差分二乗和（ＳＳＤ：Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅｓ）、正規化相互相関（ＮＣＣ：Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ  Ｃｏｒｒｅｌａｔｉｏｎ）などでも良い。
視差値算出部２２１は、画像輝度の差分絶対和が最も小さくなる参照画像の探索領域の中心点と、基準画像の基準点とが水平方向に離れている画素数を視差値として算出する。そして、視差値算出部２２１は、この視差値の算出を基準画像における画素毎に行う。視差値算出部２２１は、視差値を示す視差値情報を算出部２２４へ出力する。
【００２８】
基線長取得部２２２は、記憶部２１０から、ステレオカメラ１００を構成するカメラ間の間隔を示す基線長情報を読み出すことにより取得し、取得した基線長情報を算出部２２４へ出力する。
焦点距離取得部２２３は、記憶部２１０からステレオカメラ１００の焦点距離を示す焦点距離情報を読み出すことにより取得し、取得した焦点距離情報を算出部２２４へ出力する。
【００２９】
算出部２２４は、視差値算出部２２１から入力された視差値情報が示す視差値ｄと、基線長取得部２２２が取得した基線長情報が示す基線長Ｌと、焦点距離取得部２２３が取得した焦点距離情報が示す焦点距離ｆとに基づいて、ステレオカメラ１００から被写体までの距離Ｚを三角測量の原理で算出する。
具体的には、例えば、算出部２２４は、以下の式に従って、ステレオカメラ１００から被写体までの距離Ｚを算出する。
【００３０】
Ｚ＝（Ｌ×ｆ）／ｄ  （１）
【００３１】
距離情報算出部２２４は、視差画像全体にわたり上記式（１）に従って、ステレオカメラ１００から被写体までの距離Ｚを算出する。そして、算出部２２４は、各画素において算出した距離Ｚを輝度値で表した距離画像を生成する。ここで、距離画像は、一例として距離が近いほど輝度値が大きい画像である。算出部２２４は、距離画像を示す距離画像情報を立体物抽出部２３０と位置大きさ算出部２４０へ出力する。
【００３２】
立体物抽出部２３０は、距離情報算出部２２０が算出した距離情報に基づいて、前記画像に含まれる立体物の画像領域を抽出する。以下、立体物抽出部２３０が、立体物の画像領域を抽出する処理の一例を説明する。
【００３３】
立体物抽出部２３０は、ステレオカメラ１００の路面からの設置高さは既知であるため、距離情報算出部２２０から入力された距離画像情報が示す距離画像における道路面を、自車近傍の既知の距離から連続的に遠方へ延びる平面として識別する。具体的には、例えば、立体物抽出部２３０は、距離画像の下端（車両１の近傍）から距離画像の上方に向かって順次輝度が変化する領域（例えば、順次輝度が低くなる領域）を道路面の画像領域として識別する。
【００３４】
そして、立体物抽出部２３０は、距離画像において、道路面の画像領域から垂直に略同輝度の領域がある場合に、その領域を立体物の画像領域（以下、立体物オブジェクトとも称する）として識別する。具体的な処理の例は、後述する。また、その際、立体物抽出部２３０は、３次元的に道路面より下方の画像領域を、抽出対象の立体物オブジェクトから除外する。
立体物抽出部２３０は、抽出した立体物オブジェクトを位置大きさ算出部２４０へ出力する。
【００３５】
位置大きさ算出部２４０は、距離情報算出部２２０から入力された距離画像上の輝度情報に基づいて、立体物抽出部２３０から入力された立体物オブジェクトについて、三次元モデルにおける位置及び大きさを算出する。換言すれば、位置大きさ算出部２４０は、立体物抽出部が抽出した立体物の画像領域について、距離情報算出部２２０が算出した距離情報に基づいて、三次元モデルにおける位置及び大きさを算出する。
ここで、位置大きさ算出部２４０は、三次元モデルにおける立体物オブジェクトの大きさの算出においては、ステレオカメラ１００から立体物までの距離により距離画像上の物体の大きさが変わることを考慮して実際の立体物の大きさを算出する。
【００３６】
具体的には、位置大きさ算出部２４０は、距離画像上の輝度値が示す距離すなわちステレオカメラ１００から立体物までの距離に基づいて、相似計算により、実際の立体物の高さを算出する。例えば、位置大きさ算出部２４０は、以下の式に従って、実際の立体物の高さ（立体物高）ｈを算出する。
【００３７】
ｈ  ＝ｈ”×ｓ／  ｓ”    （２）
【００３８】
ここで、ｈ”は画像中における立体物オブジェクトの高さ（像高）であり、ｓはステレオカメラ１００から立体物までの距離（立体物距離）であり、ｓ”は画像中におけるステレオカメラ１００から立体物オブジェクトまでの距離（像距離）である。ここで、位置大きさ算出部２４０は、距離画像から像高ｈ”と立体物距離ｓと像距離ｓ”とを算出し、算出した像高ｈ”と像距離ｓとを乗算し、乗算した結果を像距離ｓ”で除算することで、立体物高ｈを算出する。
【００３９】
そして、位置大きさ算出部２４０は、算出した立体物距離ｓに予め決められた変換率を乗じることにより、立体物オブジェクトの三次元モデルにおける位置を算出する。位置大きさ算出部２４０は、算出した立体物高ｈに予め決められた変換率を乗じることにより、立体物オブジェクトの三次元モデルにおける大きさを算出する。ここで、変換率は、三次元モデルに応じて、予め決められているものとする。
位置大きさ算出部２４０は、算出した立体物オブジェクトの三次元モデルにおける位置及び大きさを示す情報を三次元モデル合成部２５０へ出力する。
【００４０】
特定画像領域検出部２４１は、Ｌカメラ１０１から入力された基準画像信号から予め決められた物（例えば、白線）の画像領域を抽出する。そして、特定画像領域検出部２４１は、抽出した画像領域の画像上の位置を検出する。ここで。特定画像領域検出部２４１は、白線検出部２４２を備える。
【００４１】
白線検出部２４２は、Ｌカメラ１０１から入力された基準画像信号から道路上の白線の画像領域を検出し、検出した白線の画像領域の画像内における位置を示す白線位置情報を三次元モデル合成部２５０と予測軌道算出部２６２とへ出力する。ここで、道路上の白線とは、中央線または車道外側線などである。
【００４２】
三次元モデル合成部２５０は、距離画像に応じた車両１の周辺の三次元モデルを生成する。そして、三次元モデル合成部２５０は、位置大きさ算出部２４０から入力された位置及び大きさを示す情報に基づいて、三次元モデルにおいて三次元の立体物オブジェクトを配置することにより、立体物の三次元情報を生成する。また、三次元モデル合成部２５０は、白線検出部２４２から入力された白線位置情報に基づいて、三次元モデルにおいて白線の画像領域を配置する。
【００４３】
また、三次元モデル合成部２５０は、記憶部２１０に格納されている車両１の３次元オブジェクト（以下、車両三次元オブジェクトと称する）を読み出し、読み出した車両三次元オブジェクトを、立体物の三次元情報に合成する。具体的には、例えば、三次元モデル合成部２５０は、読み出し車両三次元オブジェクトに、予め決められた変換率を乗じることにより、大きさを変更した車両三次元オブジェクトを生成する。そして、三次元モデル合成部２５０は、一例として、大きさ変更後の車両三次元オブジェクトを、立体物が既に配置された三次元モデルの原点から予め決められた位置に配置する。
【００４４】
ここで、車両１の３次元オブジェクトは、Ｌカメラ１０１の光軸と撮像面の交点を原点として、実際の車両１の形状を所望の寸法だけオフセットさせた形状または簡略化した形状である。
三次元モデル合成部２５０は、合成後の三次元モデルを接触判定部２６０へ出力する。
【００４５】
接触判定部２６０は、自装置が搭載された車両１の予測軌道を取得し、取得した予測軌道と、三次元モデルにおける車両１の位置及び大きさと、立体物の三次元モデルにおける大きさ及び位置とに基づいて、三次元モデルにおいて予測軌道上で車両１が立体物に接触するか否か判定する。
【００４６】
ここで、接触判定部２６０は、予測軌道算出部２６２と、判定部２６３とを備える。
予測軌道算出部２６２は、白線検出部が検出した白線の画像領域に基づいて、車両１の予測軌道を算出する。具体的には、例えば、予測軌道算出部２６２は、白線検出部２４２から入力された白線位置情報から、道路上の白線を滑らかに繋いだ曲線を算出する。そして、予測軌道算出部２６２は、一例として、算出した曲線を車両１のオブジェクトの重心の点を通るように平行移動することにより、車両１の予測軌道を算出する。予測軌道算出部２６２は、算出した車両１の予測軌道を判定部２６３へ出力する。
【００４７】
判定部２６３は、予測軌道算出部２６２が算出した予測軌道と立体物の三次元モデルにおける大きさ及び位置とに基づいて、三次元モデルにおいて予測軌道上で車両１が立体物に接触するか否か判定する。
接触判定部２６０の判定部２６３が、三次元モデルにおいて予測軌道上で車両１が立体物に接触すると判定した場合、判定結果を接触量算出部２７０へ出力する。
このように、接触判定部２６０は、物体の形状と予測軌道の情報とに基づいて、少ない計算コストで、車両１と立体物が接触するか否かを判定することができる。
【００４８】
また、接触判定部２６０の判定部２６３は、予測軌道変更部２８０が変更した予測軌道で、車両１が他の立体物に接触するか否か判定する。そして、判定部２６３は、判定結果を通過可否判定部２９０へ出力する。
【００４９】
接触量算出部２７０は、接触判定部２６０が接触すると判定した場合、接触時に車両１と立体物とが接触する横幅である接触量を算出する。その際、接触量算出部２７０は、三次元モデルにおいて、車両１を予測軌道に従って、立体物オブジェクトの位置まで移動させた場合に、立体物オブジェクトと車両１とが重なる横幅を接触量として算出する。そして、接触量算出部２７０は、算出した接触量を示す接触量情報を予測軌道変更部２８０へ出力する。
【００５０】
予測軌道変更部２８０は、接触量算出部２７０から入力された接触量情報が示す接触量に基づいて、車両１の予測軌道を変更する。具体的には、例えば、車両１の左側と立体物右側との接触が予測された場合、予測軌道変更部２８０は、接触予測地点を右側へ接触量だけ移動し、移動後の接触地点から車両１までを滑らかな結んだ曲線を変更後の予測軌道とする。予測軌道変更部２８０は、変更後の予測軌道を示す変更後予測軌道情報を接触判定部２６０の判定部２６３へ出力する。
【００５１】
通過可否判定部２９０は、接触判定部２６０から入力された判定結果に基づいて、車両１が立体物の横を通過可能か否か判定する。より詳細には、通過可否判定部２９０は、接触判定部２６０により車両１が他の立体物に接触すると判定された場合、通過不可能と判定し、接触判定部２６０により車両１が他の立体物に接触しないと判定された場合、通過可能と判定する。そして、通過可否判定部２９０は、判定結果を示す判定結果情報を報知装置３００へ出力する。
【００５２】
＜視差値算出部２２１の処理の説明＞
続いて、図４を用いて、視差値算出部２２１の処理を説明する。図４は、ステレオカメラ１００で撮像した各画像の一例である。同図において、Ｌカメラ１０１で撮像された基準画像４１と、Ｒカメラ１０２で撮像された参照画像４２とが示されている。
視差値算出部２２１は、図４で示す基準画像４１の各点と対応する対応点を、参照画像４２の探索領域から探索する。対応点の判定処理において、視差値算出部２２１は、基準画像４１の各点である基準点を中心に小領域を抽出し、抽出した小領域と参照画像４２の探索領域内の小領域とを比較する。
【００５３】
図５は、基準画像４１全体にわたり視差値の算出を行った場合において、各画素の視差値を示した図である。基準画像４１全体にわたり視差値の算出を行った場合、その結果は同図に示されるグレースケールの視差画像４３として表される。ここで、同図の視差画像４３の明るい領域は、視差値が大きく相対的に近い距離にある物体を示し、暗い領域は遠くにある物体を示している。
【００５４】
＜立体物抽出部２３０の処理の説明＞
続いて、図６〜図８を用いて、立体物抽出部２３０の処理の詳細について説明する。図６は、立体物抽出部２３０により識別された道路面の一例を示した図である。同図において、車両１から撮像された画像５１において、車線の画像領域５３から下の画像領域が道路面の画像領域５２が示されている。立体物抽出部２３０は、自車両近傍から画像上方に向かって段階的に視差値が変化する画像領域を道路面の画像領域として識別する。
【００５５】
図７は、車線が示された基準画像の一例である。同図において、前方左側の車線の画像領域５３と前方右側の車線の画像領域５４とが示されている。
なお、立体物抽出部２３０は、図７に示すように、基準画像を水平方向に観察した時に現れるところの、黒―白―黒の道路面特有の画像パターンである中央線又は路側境界線などの白線を利用して、道路面の画像領域を識別してもよい。
【００５６】
図８は、基準画像とその基準画像に対応する距離画像の一例が示された図である。同図において、基準画像６２と、その基準画像６２に対応する距離画像６１が示されている。また、距離画像６１において、四角６１ａで囲まれた画像領域は、視差算出可能な距離範囲内の立体物の画像領域である。ここで、視差算出可能な距離範囲は、ステレオカメラ１００の基線長によって定められている。
【００５７】
同図に示すように、立体物の多くは、細かい凹凸はあるものの道路面から垂直に立っており、各立体物を構成する領域は、ステレオカメラ１００からの距離が同じである。ゆえに、立体物抽出部２３０は、距離画像の中で縦方向に輝度が同じ領域を、立体物オブジェクトとして識別する。その際、立体物抽出部２３０は、道路面の画像領域と認識した画像領域から画面上方に視差値が同じ領域を立体物オブジェクトとして識別する。
【００５８】
図９は、距離画像から立体物を抽出する処理を説明するための図である。同図において、距離画像の模式図６３中に、立体物の一例であるトラックの画像領域６３Ａが示されている。
また、立体物の画像領域が抽出された結果を示す模式図６４において、１０個の柵の画像領域をそれぞれ点線で囲った領域６４＿１〜６４＿１０と、トラックの画像領域６３Ｂを点線で囲った領域６５とが示されている。領域６５の左上の座標が（Ｘ１，Ｙ１）で、右下の端の座標が（Ｘ２，Ｙ２）であることが示されている。また、Ｚは各画素における輝度値である。
【００５９】
立体物抽出部２３０は、図９の距離画像６３の例の場合、距離画像６３から立体物の画像領域を抽出すると、図９に示された１０個の柵の画像領域をそれぞれ点線で囲った領域６４＿１〜６４＿１０と、トラックの画像領域６３Ｂを点線で囲った領域６５とが抽出される。
【００６０】
図１０は、基準画像から白線の画像領域を抽出する処理を説明するための図である。同図において、基準画像の模式図６５中に、立体物の一例であるトラックの画像領域６５Ａが示されている。また、白線の画像領域が抽出された結果を示す模式図６６において、中央線の画像領域６６＿１と車道外側線の画像領域６６＿２及び６６＿３と、トラックの画像領域６６Ａとが示されている。
【００６１】
白線検出部２４２は、図１０の基準画像６４の例の場合、基準画像６４から白線の画像領域を抽出すると、図１０に示された中央線の画像領域６６＿１と車道外側線の画像領域６６＿２及び６６＿３とが抽出される。
【００６２】
＜位置大きさ算出部２４０の処理の説明＞
図１１は、三次元モデルにおいて立体物オブジェクトは配置する処理について説明するための図である。同図において、ＸＹＺの三次元空間を示す三次元モデル６７において、トラックを示す矩形の画像領域６７Ａと、１０個の柵を示す矩形の画像領域６７＿１〜６７＿１０と、中央線の画像領域６８＿１と、車道外側線の画像領域６８＿２及び６８＿３とが示されている。
【００６３】
位置大きさ算出部２４０は、例えば、距離画像において、抽出された立体物の矩形の画像領域のＸ座標、Ｙ座標及び輝度値Ｚに基づいて、三次元モデルにおける位置と大きさを算出する。
図１１の三次元モデル６７の例では、位置大きさ算出部２４０は、例えば、三次元モデル６７におけるトラックを示す矩形の画像領域６７Ａの位置と、三次元モデル６７におけるトラックを示す矩形の画像領域６７Ａの幅及び高さを算出する。
【００６４】
＜三次元モデル合成部２５０の処理の説明＞
また、三次元モデル合成部２５０は、距離画像から立体物の奥行きを算出し、算出した奥行きに基づいて、三次元モデルにおける立体物の奥行きを相似計算により算出する。そして、三次元モデル合成部２５０は、算出した三次元モデルにおける位置と大きさ及び三次元モデルにおける立体物の奥行きに従って、立体物オブジェクトを３次元モデルに配置する。
ここで、三次元モデル合成部２５０は、距離画像から立体物の奥行きを得られない場合は、三次元モデル合成部２５０は、図１１のトラックを示す矩形の画像領域６７Ａのように、３次元モデルでは奥行き（厚み）のないサーフェイスモデルとして扱う。
【００６５】
図１２は、三次元モデル合成部２５０の処理例を示す図である。同図において、三次元モデル７１において、立体物の三次元オブジェクト７２が示されている。また、三次元モデル７３において、立体物の三次元オブジェクト７２と車両１の三次元オブジェクト７４Ａとが示されている。すなわち、三次元モデル７３は、三次元モデル７１に、車両１の三次元オブジェクト７４Ａが追加されたものである。
【００６６】
図１３は、三次元モデルにおいて車両１と立体物が接触する場合の処理を説明するための図である。三次元モデル７５において立体物の三次元オブジェクト７２と、車両１の三次元オブジェクト７４Ｂとが点線で囲まれた領域で重なっていることが示されている。この三次元モデル７５は、図１２の三次元モデル７３における車両１の三次元オブジェクト７４Ａが白線の軌道を示す矢印７５Ａに基づく予測軌道に沿って移動したときの図である。
【００６７】
同図の三次元モデル７６において、予測軌道を変更した結果、立体物の三次元オブジェクト７２と、車両１の三次元オブジェクト７４Ｃとが重なっていないことが示されている。この場合、車両１の三次元オブジェクト７４Ｃは他の立体物の三次元オブジェクトとの接触もないので、接触判定部２６０は、三次元モデル７６において、車両１は他の立体物と接触しないと判定する。
【００６８】
同図の三次元モデル７７において、予測軌道を変更した結果、立体物の三次元オブジェクト７２と、車両１の三次元オブジェクト７４Ｃとが重なっていないことが示されている。しかし、立体物の三次元オブジェクト７２と、他の立体物の三次元オブジェクト７８とが点線の領域において重なっていることが示されている。この場合、車両１の三次元オブジェクト７４Ｃは他の立体物の三次元オブジェクトと接触しているので、接触判定部２６０は、三次元モデル７７において、車両１は他の立体物と接触すると判定する。
【００６９】
図１４は、桁下通過する場合の三次元モデル８０の一例である。同図の三次元モデル８０において、車両１の三次元オブジェクト８１と、トンネルの三次元オブジェクト８２とが点線で囲まれた領域において接触することが示されている。この場合、車両１の三次元オブジェクト８１はトンネルの三次元オブジェクト８２と接触しているので、接触判定部２６０は、三次元モデル８０において、車両１はトンネルと接触すると判定する。そして、通過可否判定部２９０は、車両１の上部と立体物とが接触するので、通過不可能と判断する。
【００７０】
図１５は、本実施形態における画像処理装置２００の処理の一例を示すフローチャートである。まず、視差値算出部２２１は、基準画像信号に含まれる各画素において視差値を算出する（ステップＳ１０１）。次に、距離情報算出部２２０は、視差値と基線長と焦点距離とに基づいて、基準画像の画素毎に、ステレオカメラ１００と被写体との距離を算出することにより距離画像を生成する（ステップＳ１０２）。次に、立体物抽出部２３０は、距離画像から立体物の画像領域を抽出する（ステップＳ１０３）。
【００７１】
次に、位置大きさ算出部２４０は、立体物の三次元モデルにおける位置及び大きさを算出する（ステップＳ１０４）。次に、三次元モデル合成部２５０は、立体物の三次元モデルを立体物の三次元モデルに合成する（ステップＳ１０５）。次に、三次元モデル合成部２５０は、車両１の三次元モデルを立体物の三次元モデルに合成する（ステップＳ１０６）。
【００７２】
次に、白線検出部２４２は、基準画像信号から白線の画像領域を検出する（ステップＳ１０７）。次に、予測軌道算出部２６２は、検出した白線の画像領域に基づいて、車両１の予測軌道を算出する（ステップＳ１０８）。次に、接触判定部２６０は、予測軌道上で車両１が立体物に接触するかいなか判定する（ステップＳ１０９）。接触判定部２６０が予測軌道上で車両１が立体物に接触しないと判定した場合（ステップＳ１０９  ＮＯ）、通過可否判定部２９０は通行可能と判定する（ステップＳ１１４）。一方、接触判定部２６０が予測軌道上で車両１が立体物に接触すると判定した場合（ステップＳ１０９  ＹＥＳ）、接触量算出部２７０は、接触量を算出する（ステップＳ１１０）。次に、予測軌道変更部２８０は、接触量算出部２７０が算出した接触量に基づいて、予測軌道を変更する（ステップＳ１１１）。
【００７３】
次に、接触判定部２６０は、変更後の予測軌道上で車両１が他の立体物と接触するか否か判定する（ステップＳ１１２）。接触判定部２６０が、変更後の予測軌道上で車両１が他の立体物と接触すると判定した場合（ステップＳ１１２  ＹＥＳ）、通過可否判定部２９０は、通行不可能と判定する（ステップＳ１１３）。一方、接触判定部２６０が、変更後の予測軌道上で車両１が他の立体物と接触しないと判定した場合（ステップＳ１１２  ＮＯ）、通過可否判定部２９０は、通行可能と判定する（ステップＳ１１４）。以上で、本フローチャートの処理を終了する。
【００７４】
＜効果＞
本実施形態の画像処理装置２００は、車両１が障害物近傍を通過する前に進行方向に存在する様々な障害物を検出する。そして、画像処理装置２００は、三次元モデル上で車両１を予測軌道に従って移動させることにより、検出した障害物と車両１がその後に接触するか否かを判定する。そして、画像処理装置２００は、障害物と車両１がその後に接触する場合、画像処理装置２００は、接触量に基づいて予測軌道を変更し、三次元モデル上で車両１を変更後の予測軌道に従って移動させた場合、車両１と他の障害物が接触するか否かを判定する。
【００７５】
そして、画像処理装置２００は、車両１と他の障害物が接触する場合、報知装置３００は、前方の立体物の横を通行不可能であることを示す警告表示または警告音を出力する。
これにより、報知装置３００は、車両１の運転者に前方の障害物の横を通行不能であるか否かを知らせることができるので、運転支援装置１０は、運転者の負担を軽減しつつ安全を確保することができる。
【００７６】
また、画像処理装置２００の予測軌道算出部２６２は。白線から予測軌道を推定したので、車両が横を向いていても正確に立体物との接触量を算出できる。そして、画像処理装置２００は、正確に算出された接触量に基づいて予測軌道を変更する。その結果、車両１はその変更した予測軌道に沿って走行するので、立体物を確実に避けることができる。
【００７７】
また、特許文献１に記載された方法では、桁下通過など上方に障害物がある際に、自車両の通過可否判定ができないという問題があった。
それに対し、本実施形態の運転支援装置１０は、自車両上方の障害物に対しても同様に通過可否を運転者に報知する。これにより、運転支援装置１０は、運転者の負担を軽減しつつ安全を確保することができる。
【００７８】
なお、本実施形態の画像処理装置２００は、車両を後退させ立体駐車場など車両上方に障害物が存在する建造物へ駐車する際にも、車両後方を監視するステレオカメラを備えることで同様に立体物を検出し、その立体物に接触するか否か判定してもよい。これにより、画像処理装置２００は、駐車可否を判定することができ、報知装置３００は、運転者へ駐車可否を報知することができる。
【００７９】
また、本実施形態の画像処理装置２００は、道路の傾きに基づいて、接触量を算出してもよい。道路が傾いていると、立体物も車両も傾くことから、傾いていないときに比べて接触量が異なる場合があるかである。具体的には、画像処理装置２００は、道路の傾きを算出し、算出した道路の傾きだけ道路が傾いている三次元モデルを生成する。そして、画像処理装置２００は、生成した三次元モデルにおいて、予測軌道上で車両を動かしたときに、立体物と接触する接触量を算出する。そして、画像処理装置２００は、算出した接触量に基づいて、予測軌道を変更する。
【００８０】
これにより、画像処理装置２００は、道路の傾きを考慮して接触量を算出するので、正確に接触量を算出することができる。このため、画像処理装置２００は、接触量を算出した立体物を確実に回避することができるように予測軌道を変更することができるので、立体物との接触を確実に回避することができる。
【００８１】
また、本実施形態の画像処理装置２００の予測軌道算出部２６２は、白線の画像領域から車両１の軌道を予測したが、これに限ったものではない。画像処理装置２００の予測軌道算出部２６２は、ガードレールの画像領域または道路の周りにある壁または街路樹の画像領域から車両１の軌道を予測してもよい。
その場合、特定画像領域検出部２４１は、Ｌカメラ１０１から入力された基準画像信号からガードレールの画像領域または道路の周りにある壁または街路樹の画像領域を抽出し、抽出した画像領域が示す画像上の位置を示す位置情報を予測軌道算出部２６２に出力すればよい。
【００８２】
なお、本実施形態では、移動体の一例として車両について説明したが、これに限らず、移動体であればよく、飛行体であってもよい。
【００８３】
また、本実施形態の画像処理装置２００の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、画像処理装置２００に係る上述した種々の処理を行ってもよい。
【００８４】
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００８５】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００８６】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００８７】
１  車両
１０  運転支援装置
１００  ステレオカメラ
１０１  Ｌカメラ
１０２  Ｒカメラ
２００  画像処理装置
２１０  記憶部
２２０  距離情報算出部
２２１  視差値算出部
２２２  基線長取得部
２２３  焦点距離取得部
２２４  算出部
２３０  立体物抽出部
２４０  位置大きさ算出部
２４１  特定画像領域検出部
２４２  白線検出部
２５０  三次元モデル合成部（移動体位置大きさ取得部）
２６０  接触判定部
２６２  予測軌道算出部
２６３  判定部
２７０  接触量算出部
２８０  予測軌道変更部
２９０  通過可否判定部
３００  報知装置
【図１】
2013114610.tif 000003
【図２】
2013114610.tif 000004
【図３】
2013114610.tif 000005
【図１１】
2013114610.tif 000006
【図１５】
2013114610.tif 000007
【図４】
2013114610.tif 000008
【図５】
2013114610.tif 000009
【図６】
2013114610.tif 000010
【図７】
2013114610.tif 000011
【図８】
2013114610.tif 000012
【図９】
2013114610.tif 000013
【図１０】
2013114610.tif 000014
【図１２】
2013114610.tif 000015
【図１３】
2013114610.tif 000016
【図１４】
2013114610.tif 000017