(57)【要約】【課題】道路路面の可走行領域の検知方法及び装置を提供する。【解決手段】検知方法においては、道路路面を含む階調図から視差図を取得するとともに、該視差図から道路路面を検知し、視差図から道路路面に対する高さが所定の高さ閾値を越えた部分を削除して、サブ視差図を生成し、該サブ視差図をU-視差図に変換し、U-視差図から可走行領域を検知し、U-視差図から検知された可走行領域を階調図中の可走行領域に変換する。検知方法及び検知装置は、道路上の白線或いはガードレールに依存しないことから、幅広い適用範囲を有する。また、視差図から得られたU-視差図により、道路路面の可走行領域を検知するため、優れたノイズへのロバスト性と信頼性を有する。【選択図】図４
2014067407.tif 000002
【特許請求の範囲】
【請求項１】
道路路面を含む階調図から視差図を取得するとともに、該視差図から道路路面を検知し、
視差図から道路路面に対する高さが所定の高さ閾値を越えた部分を削除して、サブ視差図を生成し、
該サブ視差図をU-視差図に変換し、
U-視差図から可走行領域を検知し、
U-視差図から検知された可走行領域を階調図中の可走行領域に変換する、道路路面の可走行領域の検知方法。
【請求項２】
視差図から道路路面を検知するステップにおいては、
視差図をV-視差図に変換し、
V-視差図において道路路面を表す道路線のフィッティングを行う、請求項１に記載の方法。
【請求項３】
視差図から道路線の上方に位置し、且つ道路線との距離が前記所定の高さ閾値を越えた部分を削除することで、サブ視差図を生成する、請求項２に記載の方法。
【請求項４】
U-視差図から可走行領域を検知するステップにおいては、
U-視差図から可走行領域中の初期位置を選択し、
U-視差図において、初期位置からスタートし、所定のサイズの検知ウィンドウを移動することにより、U-視差図中の特定領域を可走行領域として検知し、前記特定領域は前記初期位置を含む領域であり、前記検知ウィンドウが該特定領域内に移動する時に、該検知ウィンドウ内の、輝度が輝度閾値を超えた点である有効点の数が常に所定の数閾値未満である、請求項１に記載の方法。
【請求項５】
U-視差図において、初期位置からスタートし、所定のサイズの検知ウィンドウを移動することにより、U-視差図中の特定領域を可走行領域として検知するステップにおいては、
a）前記初期位置から行の方向に沿って、検知ウィンドウを左へ水平移動し、第１の所定の条件を満たした場合に、検知ウィンドウの移動を停止するとともに、該ウィンドウの停止位置を該行の左停止位置として記録した後、前記初期位置から行の方向に沿って、検知ウィンドウを右へ水平移動し、第２の所定の条件を満たした場合に、検知ウィンドウの移動を停止するとともに、該ウィンドウの停止位置を該行の右停止位置として記録し、
b）検知ウィンドウを該検知ウィンドウ高さに等しい距離だけ上方へ移動し、ステップa）を繰り返し、
c）検知ウィンドウがU-視差図の上端（トップエッジ）に達する、或いは同一行内の左停止位置と右停止位置とが隣り合うまで、ステップb）を繰り返し、
d）U-視差図から、検知ウィンドウの移動によりカバーされた領域を可走行領域として抽出し、
前記第１の所定の条件は、検知ウィンドウ内の有効点の数が所定の数閾値を越えていること、検知ウィンドウ内の有効点の数が所定の数閾値を越えていなくても、検知ウィンドウがU-視差図の左端に達していること、及び検知ウィンドウが左端に達しておらず、且つ検知ウィンドウ内の有効点の数が所定の数閾値を越えていなくても、検知ウィンドウの位置と上の行の左停止位置との水平距離が第１の距離閾値未満であることのうちいずれかであり、
前記第２の所定の条件は、検知ウィンドウ内の有効点の数が所定の数閾値を越えていること、検知ウィンドウ内の有効点の数が所定の数閾値を越えていなくても、検知ウィンドウがU-視差図の右端に達していること、及び検知ウィンドウが右端に達しておらず、且つ検知ウィンドウ内の有効点の数が所定の数閾値を越えていなくても、検知ウィンドウの位置と上の行の右停止位置との水平距離が第２の距離閾値未満であることのうちいずれかである、請求項４に記載の方法。
【請求項６】
U-視差図から検知された可走行領域を、階調図中の可走行領域に変換するステップにおいては、
U-視差図から検知された可走行領域中の各点の座標を取得し、
各点の座標に基づき、V-視差図においてフィッティングされた道路線の表現式により、階調図中の可走行領域内の各点の座標を計算し、
階調図中の可走行領域内の各点の座標により、階調図中の可走行領域を抽出する、請求項２に記載の方法。
【請求項７】
道路路面を含む階調図から視差図を取得するとともに、該視差図から道路路面を検知する道路路面検知手段と、
視差図から道路路面に対する高さが所定の高さ閾値を越えた部分を削除して、サブ視差図を生成するサブ視差図生成手段と、
該サブ視差図をU-視差図に変換するU-視差図変換手段と、
U-視差図から可走行領域を検知するU-視差図検知手段と、
U-視差図から検知された可走行領域を階調図中の可走行領域に変換する可走行領域変換手段と、を含む、道路路面の可走行領域の検知装置。
【請求項８】
前記道路路面検知手段は、
視差図をV-視差図に変換するV-視差図生成部と、
V-視差図において道路路面を表す道路線のフィッティングを行う道路線フィッティング部と、を含む、請求項７に記載の装置。
【請求項９】
U-視差図検知手段は、
U-視差図から可走行領域中の初期位置を選択する選択部と、
U-視差図において、初期位置からスタートし、所定のサイズの検知ウィンドウを移動することにより、U-視差図中の特定領域を可走行領域として検知する検知部であって、前記特定領域は前記初期位置を含む領域であり、前記検知ウィンドウが該特定領域内に移動する時に、該検知ウィンドウ内の、輝度が輝度閾値を超えた点である有効点の数が常に所定の数閾値未満である、検知部と、を含む請求項７に記載の装置。
【請求項１０】
前記可走行領域変換手段は、
U-視差図から検知された可走行領域中の各点の座標を取得する座標取得部と、
各点の座標に基づき、V-視差図においてフィッティングされた道路線の表現式により、階調図中の可走行領域内の各点の座標を計算する変換部と、
階調図中の可走行領域内の各点の座標により、階調図中の可走行領域を抽出する可走行領域抽出部と、を含む、請求項８に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路検知に関し、特に、道路路面の可走行領域の検知方法及び検知装置に関する。
【背景技術】
【０００２】
現在、自動車の運転支援技術が研究されている。このような技術により、車両の衝突や、車両の道路からの逸脱等の危険な状況を回避可能な自動車運転時に必要な情報及び/または警告をユーザに提供することができる。さらには、このような運転支援技術による、自動車走行への自動制御も可能になる。
【０００３】
運転支援技術において、重要なことは、道路路面の可走行領域の正確な検知である。多くの道路路面の可走行領域検知方法が提案されている。例えば、米国特許出願公開US20100250064A1には、道路両側の白線による可走行領域の検知方法が提案されているが、このような方法は、両側に白線が存在しない道路には適さない。米国特許出願公開US20050015201A1には、道路分割及び距離と区間の勾配による可走行路面の検知方法が提案されているが、このような方法は、道路上の点が比較的にまばらな視差図には適さない。
【０００４】
このため、道路路面の可走行領域を確実に検知可能な方法及び装置が求められている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、従来技術における上記問題点を鑑みてなされたものである。本発明の目的は、道路路面の可走行領域を確実に検知可能な方法及び装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明の１方面においては、道路路面を含む階調図から、視差図を取得するとともに、該視差図から道路路面を検知し、視差図から道路路面に対する高さが所定の高さ閾値を越えた部分を削除して、サブ視差図を生成し、該サブ視差図をU-視差図に変換し、U-視差図から可走行領域を検知し、U-視差図から検知された可走行領域を階調図中の可走行領域に変換する、道路路面の可走行領域の検知方法を提供する。
【０００７】
本発明の上記の方面においては、視差図から道路路面を検知するステップにおいて、視差図をV-視差図に変換し、V-視差図において道路路面を表す道路線のフィッティングを行うことを含んでもよい。
【０００８】
本発明の上記の方面においては、視差図から道路線の上方に位置し、且つ道路線との距離が前記所定の高さ閾値を越えた部分を削除することで、サブ視差図を生成してもよい。
【０００９】
本発明の上記の方面においては、U-視差図から可走行領域を検知するステップにおいて、U-視差図から可走行領域中の初期位置を選択し、U-視差図において、初期位置からスタートし、所定のサイズの検知ウィンドウを移動することにより、U-視差図中の特定領域を可走行領域として検知してもよく、前記特定領域は前記初期位置を含む領域であり、前記検知ウィンドウが該特定領域内に移動する時に、該検知ウィンドウ内の、輝度が輝度閾値を超えた点である有効点の数が常に所定の数閾値未満である。
【００１０】
本発明の上記の方面においては、U-視差図において、初期位置からスタートし、所定のサイズの検知ウィンドウを移動することにより、U-視差図中の特定領域を可走行領域として検知するステップにおいて、a）前記初期位置から行の方向に沿って、検知ウィンドウを左へ水平移動し、第１の所定の条件を満たした場合に、検知ウィンドウの移動を停止するとともに、該ウィンドウの停止位置を該行の左停止位置として記録した後、前記初期位置から行の方向に沿って、検知ウィンドウを右へ水平移動し、第２の所定の条件を満たした場合に、検知ウィンドウの移動を停止するとともに、該ウィンドウの停止位置を該行の右停止位置として記録し、b）検知ウィンドウを該検知ウィンドウ高さに等しい距離だけ上方へ移動し、ステップa）を繰り返し、c）検知ウィンドウがU-視差図の上端（トップエッジ）に達する、或いは同一行内の左停止位置と右停止位置とが隣り合うまで、ステップb）を繰り返し、d）U-視差図から、検知ウィンドウの移動によりカバーされた領域を可走行領域として抽出してもよく、前記第１の所定の条件は、検知ウィンドウ内の有効点の数が所定の数閾値を越えていること、検知ウィンドウ内の有効点の数が所定の数閾値を越えていなくても、検知ウィンドウがU-視差図の左端に達していること、及び検知ウィンドウが左端に達しておらず、且つ検知ウィンドウ内の有効点の数が所定の数閾値を越えていなくても、検知ウィンドウの位置と上の行の左停止位置との水平距離が第１の距離閾値未満であることのうちいずれかであり、前記第２の所定の条件は、検知ウィンドウ内の有効点の数が所定の数閾値を越えていること、検知ウィンドウ内の有効点の数が所定の数閾値を越えていなくても、検知ウィンドウがU-視差図の右端に達していること、及び検知ウィンドウが右端に達しておらず、且つ検知ウィンドウ内の有効点の数が所定の数閾値を越えていなくても、検知ウィンドウの位置と上の行の右停止位置との水平距離が第２の距離閾値未満であることのうちいずれかである。
【００１１】
本発明の上記方面においては、U-視差図から検知された可走行領域を、階調図中の可走行領域に変換するステップにおいて、U-視差図から検知された可走行領域中の各点の座標を取得し、各点の座標に基づき、V-視差図においてフィッティングされた道路線の表現式により、各点の座標を階調図中の座標に変換することで、階調図中の可走行領域内の各点の座標を取得し、階調図中の可走行領域内の各点の座標により、階調図中の可走行領域を抽出してもよい。
【００１２】
本発明の他の方面においては、道路路面を含む階調図から、視差図を取得するとともに、該視差図から道路路面を検知する道路路面検知手段と、視差図から道路路面に対する高さが所定の高さ閾値を越えた部分を削除して、サブ視差図を生成するサブ視差図生成手段と、該サブ視差図をU-視差図に変換するU-視差図変換手段と、U-視差図から可走行領域を検知するU-視差図検知手段と、U-視差図から検知された可走行領域を階調図中の可走行領域に変換する可走行領域変換手段と、を含む、道路路面の可走行領域の検知装置を提供する。
【００１３】
本発明の上記方面においては、前記道路路面検知手段は、視差図をV-視差図に変換するV-視差図生成部と、V-視差図において道路路面を表す道路線のフィッティングを行う道路線フィッティング部と、を含んでもよい。
【００１４】
本発明の上記方面においては、U-視差図検知手段は、U-視差図から可走行領域中の初期位置を選択する選択部と、U-視差図において、初期位置からスタートし、所定のサイズの検知ウィンドウを移動することにより、U-視差図中の特定領域を可走行領域として検知する検知部であって、前記特定領域は前記初期位置を含む領域であり、前記検知ウィンドウが該特定領域内に移動する時に、該検知ウィンドウ内の、輝度が輝度閾値を超えた点である有効点の数が常に所定の数閾値未満である、検知部と、を含んでもよい。
【００１５】
本発明の上記方面においては、前記可走行領域変換手段は、U-視差図から検知された可走行領域中の各点の座標を取得する座標取得部と、各点の座標に基づき、V-視差図においてフィッティングされた道路線の表現式により、各点の座標を階調図中の座標に変換することで、階調図中の可走行領域内の各点の座標を取得する変換部と、階調図中の可走行領域内の各点の座標により、階調図中の可走行領域を抽出する可走行領域抽出部と、を含んでもよい。
【００１６】
本発明の上記方面における道路路面の可走行領域の検知方法及び検知装置は、道路上の白線或いはガードレールに依存しないことから、幅広い適用範囲を有する。また、検知方法及び検知装置は、視差図から得られたU-視差図を用いて、検知ウィンドウにおける有効点密度により、可走行領域を検知するため、ノイズへのロバスト性と信頼性に優れている。
【図面の簡単な説明】
【００１７】
本発明の前述及び他の目的、特徴、長所がより明確になるように、以下、図面を参照して、本発明の実施例について詳細に説明する。
【図１】視差図からV-視差図を取得する工程を示した図。
【図２】視差図からU-視差図を取得する工程を示した図。
【図３】本発明の実施例における、道路路面の可走行領域検知方法を実行可能なシステムの略図。
【図４】本発明の実施例における道路路面の可走行領域の検知方法のフローチャート。
【図５】双眼カメラで撮像された左右画像のいずれかの例。
【図６】図5に示された画像を基準画像に算出された視差図。
【図７】図6に示された視差図から変換されたV-視差図。
【図８】図7に示されたV-視差図におけるフィッティングで得られた道路線。
【図９】視差図中の、道路路面の上方に位置する点の、道路路面との距離の算出を示した図。
【図１０】図6に示された視差図中の、道路路面に対する高さが所定の高さ閾値を超えた部分を削除することで、得られたサブ視差図。
【図１１】図10に示されたサブ視差図から変換されたU-視差図。
【図１２】図11に示されたU-視差図からの初期位置の選択及び検知ウィンドウの設定工程図。
【図１３】初期位置から左への検知ウィンドウの移動工程図。
【図１４】該行における検知ウィンドウの左停止位置決定図。
【図１５】初期位置から右への検知ウィンドウの移動工程図。
【図１６】該行における検知ウィンドウの右停止位置の決定図。
【図１７】検知ウィンドウの上方移動後の初期位置図。
【図１８】図17に示された初期位置から左への検知ウィンドウの移動工程図。
【図１９】該行における検知ウィンドウの左停止位置の決定図。
【図２０】図17に示された初期位置から右への検知ウィンドウの移動工程図。
【図２１】該行における検知ウィンドウの右停止位置の決定図。
【図２２】図11に示されたU-視差図から検知された可走行領域を示した図。
【図２３】U-視差図と階調図間の座標変換を示した図。
【図２４】図5に示された階調図から検知された道路路面の可走行領域を示した図。
【図２５】本発明の実施例における道路路面の可走行領域検知装置のブロック図。
【図２６】図25に示された道路路面検知装置の詳細構成のブロック図。
【図２７】図25に示されたU-視差図検知装置の詳細構成のブロック図。
【図２８】図25に示された可走行領域検知装置の詳細構成のブロック図。
【図２９】ハードウェアにより、本発明の実施例における道路路面の可走行領域検知装置を実現時のハードウェア配置略図。  ここで、これらの図面は、必ずしも比例に応じて描かれたものではなく、単に説明の目的で用いられたもので、本発明を制限するためのものではない。
【発明を実施するための形態】
【００１８】
当業者の本発明へのより容易な理解のために、以下、図面と具体的な実施形態を組み合わせて、本発明をさらに詳細に説明する。
【００１９】
＜基本概念の紹介＞
本発明の実施例においては、視差、視差図、V-視差図及びU-視差図の概念が用いられている。これらの概念は、当該分野に公知であるため、ここでは、これらの概念について簡単に説明する。
【００２０】
視差とは、一定間隔の２点から同一対象を観察した場合に生じる方向差である。例えば、双眼カメラで同一対象の左右の２画像を撮像した場合、該対象の視差は、該対象の左画像中の横座標と右画像中の横座標間の差となる。
【００２１】
視差図（disparity  map）とは、任意の画像を基準画像に、サイズが該基準画像のサイズで、各点（像素点）が該基準画像中の該点の座標と同一の点に対応し、かつ各点の階調値が基準画像中の対応点の視差となる画像をいう。当該分野に公知の多くの方法で視差図が得られる。例えば、双眼カメラで撮像された左画像と右画像から視差図を算出してもよく、多眼カメラやステレオカメラで撮像された画像から視差図を算出してもよく、或いは、立体図における深度図から視差図を算出してもよい。双眼カメラで左右画像を撮像する場合は、左右画像に絶対差値の和のステレオ・マッチング・アルゴリズム(Sum  of  Absolute  Differences,  SAD)を用いて視差図を算出してもよく、当該分野に公知の他のアルゴリズムを用いて視差図を算出してもよい。
【００２２】
基準画像中の点の座標は、（x，y）と表され、xは横座標であり、yは縦座標であり、yが小さくなるほど、該点とカメラとの距離が近くなる。該基準画像を変換して得られる２次元視差図において、点（x，y）に対応する点の座標は、（u，v）と表され、uは横座標であり、vは縦座標であり、u=x，v=yである。視差図中の各点における階調値が、該点における視差となり、dで表される。または、点の座標と視差を同時に表すために、視差図中の点を、（u，v，d）としてもよい。
【００２３】
V-視差図とU-視差図は、視差図から得られる。V-視差図は、視差図の側面図と見なすことができ、横座標軸をd軸、縦座標軸をv軸とし、該座標における点を（d，v）と表すことができ、点（d，v）の階調値（輝度値）が、対応視差図中の縦座標vの行における視差dとなる点の数であることから、該数を統計することで、或いは当該分野に公知の他の方法を用いることで、視差図からV-視差図を得ることが可能になる。図1は、視差図からV-視差図を取得する工程を示した図である。U-視差図は、視差図の俯瞰図と見なすことができ、横座標軸をu軸、縦座標軸をd軸とし、該座標における点を（u，d）と表すことができ、点（u，d）の階調値（輝度値）が、対応視差図中の横座標uの列における視差dとなる点の数であることから、該数を統計することで、或いは、当該分野に公知の他の方法を用いることで、視差図からU-視差図を得ることができる。図2は、視差図からU-視差図を取得する工程を示した図である。
【００２４】
＜実施例＞
以下、図面を参照して、本発明の実施例における道路路面の可走行領域の検知方法及び装置を説明する。
【００２５】
先ず、本発明の実施例における道路路面の可走行領域の検知方法について説明する。該方法は、例えば、図3に示されたシステムで行われる。図3に示されたように、自動車に双眼カメラを搭載することができる。自動車が道路上で走行時、双眼カメラにより、車前方の道路路面を含む左右の２画像が撮像される。前記画像はチップに入力され、該チップにより、左右画像が処理され、視差図が得られるともに、後述の方式で、該視差図による道路路面上の可走行領域の検知が行われる。
【００２６】
図4は、本発明の実施例における道路路面の可走行領域の検知方法のフローチャートである。
【００２７】
図4に示されたように、ステップS401において、道路路面を含む階調図から視差図が得られるとともに、該視差図から道路路面が検知される。
【００２８】
双眼カメラを用いる場合は、先ず、道路路面を含む左右画像（階調図）を取得する。例えば、双眼カメラを車に搭載し、車両前方の道路路面を含む左右の２つの白黒階調画像を撮像し、或いは、双眼カメラで道路路面を含む左右の２つのカラー画像を撮像し、階調図に変換することができる。図5は、双眼カメラで左右の２階調画像のいずれかを撮像した例を示し、以下、該画像を例に説明する。図5に示されたように、該画像のxy座標系を構築し、該座標系における点を、（x，y）と表す。
【００２９】
次に、左画像と右画像のうちのいずれかを基準画像とし、左画像と右画像から視差図を取得し、該視差図も、道路路面を含むことになる。前述の方法により、左右画像から視差図を算出することができ、ここでは、重複説明は割愛する。図6は、図5に示された画像を基準画像に算出した視差図を示している。図6に示したように、視差図のuv座標系を構築し、該視差図における点（x，y）に対応する点は、（u，v，d）と表され、ここで、u=x，v=yであり、dは、該点の視差である。ここで、マッチングアルゴリズムにより、左画像と右画像から視差図を算出する場合、物体のエッジ（例えば、道路路面のエッジ、道路路面上の障害物、道路路面外の物体のエッジ）等は、より容易に識別される一方、例えば、道路路面のようなエッジの存在しない部分は、識別がより困難となることから、前記視差図においては、前記エッジに対応する位置は、より密集した点を有する一方、例えば、道路路面の可走行領域のようなエッジの存在しない部分は、よりまばらな点を有することになる。
【００３０】
次に、前記視差図による道路路面の検知が行われる。
【００３１】
具体的に、先ず、前記道路路面を含む視差図をV-視差図に変換する。前述の方法により、このような変換を行うことができ、ここでは、重複説明は割愛する。図7は、図6に示された視差図を変換して得られたV-視差図を示した図である。
【００３２】
次に、V-視差図における道路路面を表す道路線のフィッティングを行う。車載カメラで撮像した画像において、道路路面は、画像の下方から上方へ延伸し、かつ徐々に狭くなり、画像の上方において、非道路路面の他の物体が多くなる。同様に、V-視差図において、道路路面に対応する点は、図中に示された全ての点の下部により多く位置することになり、上部の点は、非道路路面の他の物体により多く対応することになる。このため、V-視差図に示された全ての点から、最も低い部分の点を選択してフィッティングを行うことにより、道路路面を表す道路線を当てはめることができ、該道路線の表現式v=kd+b（ここで、kは、道路線の勾配であり、bは、定数である）を得ることができる。例えば、Jun  Zhao,  Mark  Albert  WhittyとJayantha  Katupitiyaにより発表された論文の「Detection  of  Non-flat  Ground  Surfaces  Using  V-Disparity  Images」，2009  IEEE/RSJ  International  Conference  on  Intelligent  Robots  and  Systems，October  11-15,  2009  St.  Louis,  USAに提案された方法により、該フィッティングを行うことができる。図7に示された例においては、前記方法を用いて、最も低い部分の点を選択してフィッティングを行うことで、図8に示された道路線を得ることができ、その表現式は、v=0.5d+233となる。
【００３３】
図4に戻り、ステップ402において、視差図から、道路路面に対する高さが所定の高さ閾値を越えた部分を削除して、サブ視差図を生成する。
【００３４】
周知のように、道路両側には、電信柱、樹木、柱等の高さのある物体が存在する可能性がある。なお、道路上方の空にも高架電線が存在する可能性がある。後述のU-視差図による道路路面の可走行領域の識別時に、このような場合への適切な処理を行わないと、これらの非道路路面の物体がU-視差図に反映され、道路路面に誤検知されるおそれがある。
【００３５】
このような問題を避けるために、前記物体が道路路面とは一定の高さがあるという事実を考慮すると、予め高さ閾値を設定し、視差図から道路路面に対する高さが所定の高さ閾値を超えた部分を削除してサブ視差図を生成し、視差図ではなく、該サブ視差図からU-視差図を生成することができる。前述のように、V-視差図中の道路線は、道路路面を表すことから、視差図から、道路線の上方に位置し、かつ道路線との距離が前記所定の高さ閾値を越えた部分を削除して、サブ視差図を生成することができる。前記高さ閾値は、道路の実際の状況（例えば、障害物の種類、高さ、分布等）に応じて、例えば、4ｍ等、臨機応変に設定することができる。
【００３６】
具体的に、先ず、視差図における、道路路面の上方に位置する各点p（u’，v’，d’）の、道路路面に対する高さを算出する。点p（u’，v’，d’）の、V-視差図における座標は、（d’，v’）となる。V-視差図中の道路線の表現式は、v=kd+bとなることから、V-視差図中の、道路線（道路路面）における視差d’となる点rの座標が、（d’，kd’+b）となると、V-視差図における、点pの点r（或いは、道路路面）との像素距離は、v’-(kd’+b)となり、換言すると、V-視差図における、点pと道路路面間の距離は、v’-(kd’+b)の像素となる。該像素距離と、各像素に対応する物理空間における実際の距離mとの乗積により、物理空間のおける点pの道路路面に対する高さが求められる。当該分野に公知の各種方法により、各像素に対応する物理空間における実際距離mを算出することができる。例えば、Gary  BradskiとAdrian  Kaeblerによる「Learning  OpenCV」，O’Reilly  Mediaに提案された方法により、実際距離mを算出することができ、ここでは、詳細説明は割愛する。図8の例においては、視差図中の点（400，800，600）に関し、前記方式を用いて、道路路面との像素距離が求められ、800-(0.5*600+233)=267となる。各像素に対応する実際距離mが4ミリメートルであると、該点の道路路面に対する高さは、図9に示されたように、267像素*4ミリメートル/像素=1068ミリメートルとなる。
【００３７】
次に、視差図中の、道路路面の上方に位置する点の道路路面に対する高さと、前記高さ閾値を比較する。該点の道路路面に対する高さが高さ閾値を超えた場合は、視差図から該点を削除し、越えていない場合は、該点を保留する。図9に示された例においては、1068ミリメートルが、高さ閾値の4メール未満になるため、該点を保留する。
【００３８】
V-視差図中の、道路線の上方に位置する各点に対して前記動作を行うことで、道路路面に対する高さが高さ閾値を越えた全ての点を決定し、次に、視差図からこのような点を削除することで、サブ視差図を生成することができる。図8に示された例においては、所定の高さを4メートルとした場合、図10に示されたサブ視差図が得られる。
【００３９】
次に、ステップS403において、該サブ視差図をU-視差図に変換する。前述の方法、或いは当該分野に公知の他の方法により、このような変換を行うことができる。例えば、Zhencheng  Hu,  Francisco  LamosaとKeiichi  Uchimuraにより発表された論文「A  Complete  U-V-Disparity  Study  for  Stereovision  Based  3D  Driving  Environment  Analysis」,  Proceedings  of  the  Fifth  International  Conference  on  3-D  Digital  Imaging  and  Modeling  2005  (3DIM'05),  pp.  204-211に提案された方法により、このような変換を行うことができ、ここでは、詳細説明は割愛する。前記例においては、図11に示されたように、図10に示されたサブ視差図を変換してU-視差図が得られる。
【００４０】
図4に戻り、ステップS404において、前記U-視差図から可走行領域を検知する。
【００４１】
前述のように、視差図においては、各種エッジ（例えば、道路エッジ、道路上の障害物のエッジ等）に対応する位置が、より密集した点を有する一方、例えば、道路路面の可走行領域のようなエッジの存在しない、或いは、エッジの少ない部分は、よりまばらな点を有することから、このような視差図をU-視差図に変換する場合は、U-視差図中の、前記エッジ（走行不可領域に対応）に対応する点がより高い輝度を有し、道路路面の可走行領域に対応する点がより低い輝度を有することになる。このような事実により、U-視差図から可走行領域を検知することができる。簡単に言えば、所定のサイズの検知ウィンドウと輝度閾値を設定するとともに、U-視差図中の、予め選択された必然的に可走行領域内に位置する、ある初期位置からスタートして、該検知ウィンドウを移動し、該検知ウィンドウ内の有効点（輝度が該輝度閾値を越えた点）の数(或いは、有効点密度と称される)が所定の数閾値を超えた場合は、該検知ウィンドウの現在位置が道路路面の可走行領域エッジに、或いはエッジ外にあると判断することができる。前記検知ウィンドウのサイズと前記輝度閾値は、道路の実際状況、或いは、検知精度の要求に応じて、臨機応変に設定することができる。最後に、検知ウィンドウの移動により、U視差図から、特定領域を可走行領域として検知することができ、該特定領域は、前記初期位置を含み、かつ検知ウィンドウが該特定領域内に移動する時、該検知ウィンドウ内の有効点の数は常に前記数閾値未満である。該移動工程は、実際に、最初に初期位置に配置された検知ウィンドウに含まれた小さな可走行領域を逐次拡張することに相当し、これにより、最終の可走行領域が得られる。前記初期位置は、可走行領域内の位置であれば、自由に設定することができる。通常、車両の道路走行時は、すぐ隣の車両の真正面の位置には、障害物がなく、かつ可走行領域内に位置していることから、前述の車載カメラで撮像された階調図による可走行領域の検知時は、U-視差図から前記位置に対応する位置を選択することが好ましく、即ち、U-視差図の最下方の中間位置を、初期位置とするとよい。
【００４２】
各種方式により、検知ウィンドウを移動することができる。好ましくは、8隣接域（8-CCA）方法により、前記特定領域を検知するように、検知ウィンドウを移動する。以下、図11に示されたU-視差図を参照して、8隣接域方法による検知ウィンドウの移動工程について説明する。
【００４３】
先ず、U-視差図から前記初期位置を選択する。図12に示されたように、ここでは、U-視差図の最下端の中央位置を、前記初期位置とする。検知ウィンドウは、図12中の枠「1」で示されたように、該初期位置に配置される。
【００４４】
次に、前記初期位置からスタートし、行の方向に沿って、左へ検知ウィンドウを水平移動し、図13に示されたように、第１の所定の条件を満たした場合に、検知ウィンドウの移動を停止するとともに、該ウィンドウの停止位置を該行の左停止位置として記録する。該左停止位置が、即ち、可走行領域の該行における左端（左のエッジ）位置となる。前記第１の所定の条件は、（１）検知ウィンドウ内の有効点の数が所定の数閾値を越えていること；（２）検知ウィンドウ内の有効点の数が所定の数閾値を越えていなくても、検知ウィンドウがU-視差図の左端に達していること；及び（３）検知ウィンドウが左端に達しておらず、且つ検知ウィンドウ内の有効点の数が所定の数閾値を越えていなくても、検知ウィンドウの位置と上の行の左停止位置との水平距離が第１の距離閾値未満であること、のうちいずれかの条件である。条件（1）を満たす場合は、検知ウィンドウが可走行領域エッジに、或いはエッジ外に移動したことを示すため、該検知ウィンドウの左への移動を停止すべきである。条件（2）を満たす場合は、この時の検知ウィンドウは依然として可走行領域内に位置しているが、既にU-視差図の左エッジに達していることを示すため、検知ウィンドウの左への移動を停止すべきである。条件（3）は、カメラで撮像された画像において、画像の下端に近づくほど、表示される道路路面が広くなり、同様に、表示される可走行領域も広くなる一方、画像の上端に近づくほど、表示される道路路面が狭くなり、同様に、表示される可走行領域も狭くなることから、検知ウィンドウを上方へ移動するほど、その左停止位置が画像の水平方向の中心線に近接すべきであり、換言すると、現在行の左停止位置は、上の行の左停止位置の右側にあるべきであるという事実をもとに設定されたものである。条件（3）を満たす場合は、前記条件（1）と（2）は満足しないが、検知ウィンドウの現在位置が既に上の行の左停止位置付近に達しており、検知結果が前記事実に反したものとならないように、検知ウィンドウの左への移動を停止すべきである。前記第１の距離閾値は、道路の実際状況、或いは、検知結果への精度要求に応じて、臨機応変に設定することができる。図13の例においては、検知ウィンドウがU-視差図の最も下の行に位置し、かつ、検知ウィンドウ内の有効点の数が常に前記数閾値を超えていないため、検知ウィンドウは、最終的にU-視差図の左エッジに移動することになり、即ち、該行の左停止位置は、図14に示されたように、U-視差図の左エッジとなる。
【００４５】
次に、前記初期位置からスタートし、行の方向に沿って、右へ検知ウィンドウを水平移動し、図15に示されたように、第２の所定の条件を満たした場合は、検知ウィンドウの移動を停止するとともに、該ウィンドウの停止位置を該行の右停止位置として記録する。前記第１の所定条件と同様に、前記第２の所定の条件は、検知ウィンドウ内の有効点の数が所定の数閾値を越えていること；検知ウィンドウ内の有効点の数が所定の数閾値を越えていなくても、検知ウィンドウがU-視差図の右端（右のエッジ）に達していること；及び検知ウィンドウが右端に達しておらず、且つ検知ウィンドウ内の有効点の数が所定の数閾値を越えていなくても、検知ウィンドウの位置と上の行の右停止位置との水平距離が第２の距離閾値未満であること、のうちいずれかの条件である。第１の距離閾値は、第２の距離閾値と同一であっても、異なっていてもよいが、同一に設定することが好ましい。図15の例においては、同様に、検知ウィンドウがU-視差図の右エッジに最終に移動することになり、即ち、該行の右停止位置が、図16に示されたように、U-視差図の右エッジとなる。
【００４６】
次に、検知ウィンドウを１行上方へ移動し、即ち、該検知ウィンドウ高さに等しい距離だけ、上方へ移動し、前述の検知ウィンドウの左右移動の動作を繰り返すと共に、該行の左停止位置と右停止位置を記録する。ここで、検知ウィンドウの上方移動時、該行における検知ウィンドウの移動初期位置は、第１の行中の初期位置を上方移動した対応位置でもよく、新たに選択した該行における可走行領域中の他の位置でもよい。
【００４７】
該行の移動完了後は、検知ウィンドウの１行上方への移動と、検知ウィンドウの左及び右への移動と、該行の左停止位置と右停止位置の記録の動作が、検知ウィンドウがU-視差図の上端（トップエッジ）に達するまで、或いは同一行における左停止位置と右停止位置が隣接するまで、繰り返し行われる。
【００４８】
検知ウィンドウの上方移動に伴い、検知ウィンドウの移動停止に必要な条件が変化する可能性がある。例えば、図17-21は、中間行において、検知ウィンドウを左と右へ移動する場合を示したものであり、左と右へ検知ウィンドウを移動する場合は、検知ウィンドウ内の有効点の数が数閾値を超え、検知ウィンドウの移動が停止することになる。
【００４９】
次に、図22に示されたように、U-視差図から、検知ウィンドウの移動によりカバーされた領域を可走行領域として抽出する。このように、U-視差図において、行ごとに検知ウィンドウを移動し、初期可走行領域を逐次拡張することができ、これにより、最終の可走行領域が得られる。ここで、前述の行ごとに検知ウィンドウを移動する方式は、説明的なものに過ぎず、限定的なものではなく、前記特定領域を最終的に検知可能であれば、例えば、列ごとに検知ウィンドウを移動する等、他の移動方式を採用してもよい。
【００５０】
図4に戻り、ステップS405において、U-視差図から検知された可走行領域を階調図中の可走行領域に変換する。
【００５１】
具体的に、U-視差図から可走行領域が検知された後は、該可走行領域から各点の座標（u’，d’）が得られる。
【００５２】
V-視差図で既に道路線の表現式v=kd+bが決められたことから、以降は、各点の座標（u’，d’）により、該表現式から、各点のv’座標(v’=kd’+b)を算出することができ、これにより、各点の視差図における座標（u’,v’）が求められ、該座標が、即ち各点の階調図における座標（x’=u’,y’=v’）となる。図23は、該座標変換の例を示した図である。例えば、図23に示されたように、U-視差図中の点PP（400，800）において、道路線表現式v=0.5d+233から、該点のv’座標は633と算出されるため、該点の階調図における座標は、（400，633）となる。
【００５３】
次に、階調図中の可走行領域内の各点の座標により、階調図中の可走行領域が抽出される。図24は、前記例で抽出された道路路面の可走行領域を示した図である。
【００５４】
これにより、本発明の実施例における前記方法は、道路上の白線、ガードレール等に依存せず、幅広い適用範囲を有することが分かる。なお、前記検知方法においては、U-視差図により、可走行領域を検知し、該期間、検知ウィンドウ中の有効点の密度、及び隣接行の停止位置間の関係により、可走行領域を検知するため、ノイズの検知結果への影響を著しく低減することができ、優れたノイズへのロバスト性と信頼性を確保することができる。
【００５５】
以下、図25を参照して、本発明の実施例における道路路面の可走行領域検知装置について説明する。該装置は、前述の方法を実行することができる。
【００５６】
図25に示されたように、検知装置250は、道路路面検知部251、サブ視差図生成部252、U-視差図生成部253、U-視差図検知部254及び可走行領域変換部255を有している。
【００５７】
道路路面検知部251は、道路路面を含む階調図から視差図を取得するとともに、該視差図から道路路面を検知する。図26は、道路路面検知部251の詳細構成を示した図である。図26に示されたように、道路路面検知部251は、視差図をV-視差図に変換するV-視差図生成部2511と、V-視差図中の道路路面を表す道路線を決定する道路線フィッティング部2512とを有する。
【００５８】
サブ視差図生成部252は、視差図から道路路面に対する高さが所定の高さ閾値を越えた部分を削除して、サブ視差図を生成する。サブ視差図生成部252は、前述の方式により、サブ視差図を生成することができ、ここでは、詳細の説明は割愛する。
【００５９】
U-視差図生成部253は、該サブ視差図をU-視差図に変換する。
【００６０】
U-視差図検知部254は、U-視差図から可走行領域を検知する。図27は、U-視差図検知部254の詳細構成を示した図である。図27に示されたように、U-視差図検知部254は、U-視差図から可走行領域中の初期位置を選択する選択部2541と；U-視差図において、初期位置からスタートし、所定のサイズの検知ウィンドウを移動することにより、U-視差図中の特定領域を可走行領域として検知する検知部であって、特定領域は初期位置を含む領域であって、前記検知ウィンドウが該領域内に移動する時に、該検知ウィンドウ内の、輝度が輝度閾値を超えた点である有効点の数が常に所定の数閾値未満である、検知部2542を有する。前述のように、前記初期位置は、U-視差図の最下端の中間位置であることが好ましい。なお、検知部2542は、前述の方式（例えば、8隣接域法）により、検知ウィンドウを移動することで、U-視差図中の可走行領域を検知することができる。
【００６１】
可走行領域変換部255は、U-視差図から検知された可走行領域を階調図中の可走行領域に変換する。図28は、可走行領域変換部255の詳細構成を示した図である。図28に示されたように、可走行領域変換部255は、U-視差図から検知された可走行領域中の各点の座標を取得する座標取得部2551と；各点の座標に基づき、V-視差図においてフィッティングされた道路線の表現式により、階調図中の可走行領域内の各点の座標を計算する変換部2552と；階調図中の可走行領域内の各点の座標により、階調図中の可走行領域を抽出する可走行領域抽出部2553とを有する。
【００６２】
道路路面検知部251、サブ視差図生成部252、U-視差図生成部253、U-視差図検知部254、可走行領域変換部255及びこれらの各部材は、図4を参照して説明した方式により、前記動作を実行することができ、ここでは、詳細説明は割愛する。
【００６３】
以上、具体的な実施例により、本発明の基本原理を説明したが、本発明の方法及び装置の全て、或いは任意のステップや部材は、任意の演算装置（プロセッサ、記録媒体等を含む）や、演算装置のネットワークにおいて、ハードウェア、ファームウェア、ソフトウェアや、これらの組合せにより実現可能であり、本発明の説明のもと、基本プログラミング技能を用いて実現可能であることは、当業者が理解できる。
【００６４】
例えば、図２９は、ハードウェアにより、前記装置を実現した場合の、ハードウェア配置図を示している。図29に示されたように、該装置は、外部から、例えば、双眼カメラで撮像された左右画像や、ステレオカメラで撮像された立体映像等の処理対象画像を入力するための、例えば、キーボード、マウス、通信ネットワーク、及びこれに接続された遠隔入力装置等の入力装置２９０と、入力装置２９０から前記画像が入力され、前記画像に前述の本発明の実施例による道路路面の可走行領域検知方法を実施するための、或いは、図２５〜２８で説明した装置の各部剤やサブ部材を実現するための、例えば、コンピュータのＣＰＵや、他の処理機能を有するチップ等の処理装置２９１と、揮発或いは不揮発形式にて、前記入力装置２９０から入力された画像及び処理装置２９１による処理期間に生成される各種データ及び/または結果等を記憶するための、例えば、ＲＡＭ、ＲＯＭ、ハードディスクや、半導体メモリ等の各種揮発または不揮発性メモリとなる記憶装置２９２と、外部へ検出した可走行領域を出力するための、例えば、モニター、プリンタ、通信ネットワーク及びそれに接続された遠隔出力装置等の出力装置２９３と、を有する。
【００６５】
本発明の目的は、さらに、任意の演算装置上で１つのプログラムや１セットのプログラムを実行することで実現可能になる。このため、本発明の目的は、単に前記方法や装置を実現するプログラムコードを含むプログラム製品を提供することでも実現することができる。換言すると、このようなプログラム製品も本発明をなし、このようなプログラム製品を記録した記録媒体も本発明をなすことになる。もちろん、前記記録媒体は、任意の公知の記録媒体や、将来開発し得る任意の記録媒体でもよい。
【００６６】
また、本発明の装置及び方法において、各部材や、各ステップは、分解及び/或いは再組み合わせが可能であることは言うまでもない。このような分解及び/または再組み合わせも、本発明と同等の発明と見なされるべきである。なお、前記系列処理の実行ステップは、自然に説明順、時間順で行うことができるが、必ずしも一定の時間順で行われる必要はなく、あるステップは、並行に、或いは互いに独立に行われてもよい。
【００６７】
なお、以上では自動車支援運転を背景に本発明を説明したが、本発明は、車両検知・追跡、運転早期警報等の他の分野にも適用可能である。
【００６８】
本発明は、前述の具体的な実施形態によって保護範囲が制限されるものではなく、当業者は、設計要求や他の要素に応じて、多種多様な修正、組み合わせ、サブ組み合わせや、代替が可能であることが理解できる。本発明の精神と原則を逸脱しない範囲内のいずれの修正、同等代替や、改善等は、すべて本発明の保護範囲内のものとなるべきである。
【先行技術文献】
【特許文献】
【００６９】
【特許文献１】米国特許出願公開US20100250064A1
【特許文献２】米国特許出願公開US20050015201A1
【図４】
2014067407.tif 000003
【図２５】
2014067407.tif 000004
【図２６】
2014067407.tif 000005
【図２７】
2014067407.tif 000006
【図２８】
2014067407.tif 000007
【図２９】
2014067407.tif 000008
【図１】
2014067407.tif 000009
【図２】
2014067407.tif 000010
【図３】
2014067407.tif 000011
【図５】
2014067407.tif 000012
【図６】
2014067407.tif 000013
【図７】
2014067407.tif 000014
【図８】
2014067407.tif 000015
【図９】
2014067407.tif 000016
【図１０】
2014067407.tif 000017
【図１１】
2014067407.tif 000018
【図１２】
2014067407.tif 000019
【図１３】
2014067407.tif 000020
【図１４】
2014067407.tif 000021
【図１５】
2014067407.tif 000022
【図１６】
2014067407.tif 000023
【図１７】
2014067407.tif 000024
【図１８】
2014067407.tif 000025
【図１９】
2014067407.tif 000026
【図２０】
2014067407.tif 000027
【図２１】
2014067407.tif 000028
【図２２】
2014067407.tif 000029
【図２３】
2014067407.tif 000030
【図２４】
2014067407.tif 000031