(57)【要約】【課題】本発明は、道路境界物の検出方法及び検出装置を提供する。【解決手段】かかる方法は、道路領域を含む画像を取得し、その画像中の道路境界物領域を検出し、その画像の道路境界物領域中の道路境界物の特徴点を検出し、検出した道路境界物領域中の道路境界物の特徴点に基づき道路境界物を確定することを含む。本発明による道路境界物の検出方法及び検出装置は、車線境界線モデリング及び後処理アルゴリズムの複雑度を低減し、尚且つ車線境界線検出の精度を向上させることができる。【選択図】図３
2016194925.tif 000002
【特許請求の範囲】
【請求項１】
道路境界物の検出方法であって、
道路領域を含む画像を取得するステップと
前記画像中の道路境界物領域を検出するステップと、
前記画像の前記道路境界物領域中の前記道路境界物の特徴点を検出するステップと、
検出した前記道路境界物領域中の前記道路境界物の前記特徴点に基づき前記道路境界物を確定するステップを含む、道路境界物の検出方法。
【請求項２】
前記画像の道路境界物領域中の道路境界物の特徴点を検出するステップは、
前記画像中のすべての前記道路境界物の特徴点を検出するステップ、及び検出した前記道路境界物領域中の前記道路境界物の前記特徴点を抽出するステップを含み、
前記画像中のすべての前記道路境界物の特徴点を検出するステップは、
前記画像中のすべての特徴点を検出するステップ、及び前記道路境界物の画像特徴に基づき、検出したすべての特徴点から前記道路境界物の特徴点を抽出するステップを含む、請求項1の道路境界物の検出方法。
【請求項３】
前記画像の道路境界物領域中の道路境界物の特徴点を検出するステップは、
検出した前記道路境界物領域のみから前記道路境界物の特徴点を検出するステップを含み、
検出した前記道路境界物領域中の前記道路境界物の前記特徴点を検出するステップは、
前記道路境界物領域中の画像のすべての特徴点を検出するステップ、及び前記道路境界物の画像特徴に基づき、検出したすべての特徴点から前記道路境界物の前記特徴点を抽出するステップを含む、請求項1の道路境界物の検出方法。
【請求項４】
前記画像中の道路境界物領域を検出するステップは、
前記画像のすべての顕著性サブ領域を生成するステップと、
それぞれの顕著性サブ領域の画像特徴を取得するステップと、
それぞれの顕著性サブ領域の画像特徴に基づき、すべての顕著性サブ領域のうちから前記道路境界物を含むサブ領域を選択するステップと、
選択した前記サブ領域に基づき前記道路境界物領域を生成するステップと、を含む、請求項1〜3のうちの任意の一項の道路境界物の検出方法。
【請求項５】
それぞれの顕著性サブ領域の画像特徴に基づき、すべての顕著性サブ領域のうちから前記道路境界物を含むサブ領域を選択するステップは、
予め訓練したサブ領域分類器を利用して、それぞれの顕著性サブ領域の画像特徴に基づき、該顕著性サブ領域が、前記道路境界物を含む前記サブ領域に属するものか否かを判断するステップを含む、請求項4の道路境界物の検出方法。
【請求項６】
前記選択したサブ領域に基づき前記道路境界物領域を生成するステップは、
選択したそれぞれの顕著性サブ領域の画像特徴に基づき群分けを行い、群分けされた同一の道路境界物領域のすべてのサブ領域の画像特徴に、最小の群内分散及び最大の群間分散を持たせるステップを含む、請求項4の道路境界物の検出方法。
【請求項７】
前記検出した道路境界物領域中の道路境界物の特徴点に基づき道路境界物を確定するステップは、
前記道路境界物の特徴点を利用してフィッティングを行うことで道路境界物モデルを形成し、前記画像中の道路境界物を確定することを含む、請求項1〜3のうち任意の一項の道路境界物の検出方法。
【請求項８】
道路境界物の検出装置であって、
道路領域を含む画像を取得する第一取得部と、
前記画像中の道路分割領域を検出する領域検出部と、
前記画像の前記道路境界物領域中の前記道路境界物の特徴点を検出する特徴点検出部と、
前記特徴点検出部が検出した前記道路境界物の前記特徴点に基づいて前記道路境界物を確定する確定部と、を含む、道路境界物の検出装置。
【請求項９】
前記領域検出部は、
前記画像のすべての顕著性サブ領域を生成する第一生成部と、
それぞれの顕著性サブ領域の画像特徴を取得する第二取得部と、
それぞれの顕著性サブ領域の画像特徴に基づき、すべての顕著性サブ領域のうちから道路境界物を含むサブ領域を選択するサブ領域選択部と、
選択したサブ領域に基づき前記道路境界物領域を生成する第二生成部と、を含む、請求項8の道路境界物の検出装置。
【請求項１０】
前記サブ領域選択部は、予め訓練したサブ領域分類器を用いて、それぞれの顕著性サブ領域の画像特徴に基づき、該顕著性サブ領域が、前記道路境界物を含むサブ領域に属するものか否かを判断する、請求項8の道路境界物の検出装置。
【請求項１１】
プログラムであって、
コンピュータに、請求項１〜7のうち任意の一項の道路境界物の検出方法を実行させるための、プログラム。
【請求項１２】
請求項11のプログラムを記憶したコンピュータ読み取り可能な媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は対象検出分野に関し、より具体的には道路境界物の検出方法及び装置に関する。
【背景技術】
【０００２】
運転支援システムの応用は日増しに普及してきている。道路又は車線警告システム（Lane/Road  detection  warning、LDW/RDW）は運転支援システムのサブシステムで、衝突を避け、運転方向などを一層正確に確定することができる。道路または車道検出はLDW/RDWシステムにとって重要なポイントであり、道路情報を知り得たという基礎があって初めて更なる処理、例えば警告などができる。一般的には道路境界物の検出によって道路または車線を検出する。
【０００３】
道路境界物には、車線境界線、縁石、柵及びその他道の領域及び車道の標示となる物体が含まれ、車線境界線にはまた白線、黄線などが含まれる。
【０００４】
従来の方法では、車線境界線を検出する時、通常は画像中の車線境界線上の特徴点を抽出し、且つそれら特徴点に基づき車線境界線モデルを設定することによって車線境界線の具体的な位置を検出する。こうした方法では、車道境界線の特徴点の検出に誤差があるため、この種のアルゴリズムは特に複雑な車線境界線モデルを作ることと後処理に重きを置くことで車線境界線の正確な位置を得る。これは煩雑で時間を消費する作業であり、リアルタイムでの要求が極めて高い車両運転補助システムにはうまく適用することができない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
以上の問題を考慮して、計算の複雑度を低減させ、且つ道路境界物検出の精度を向上させることのできる方法及び装置を提供する。
【課題を解決するための手段】
【０００６】
本発明の一つの面においては、道路領域を含む画像を取得すること、その画像中の道路境界物領域を検出すること、その画像の道路境界物領域中の道路境界物の特徴点を検出すること、及び検出した道路境界物領域中の道路境界物の特徴点に基づき道路境界物を確定することを含む道路境界物の検出方法を提供する。
【０００７】
一つの実施例では、その画像の道路境界物領域中の道路境界物の特徴点を検出することには、その画像中のすべての道路境界物の特徴点を検出すること、及び検出した道路境界物領域中の道路境界物の特徴点を抽出することを含めることができる。その画像中のすべての道路境界物の特徴点を検出することには、その画像中のすべての特徴点を検出すること、及び道路境界物の画像特徴に基づいて、検出したすべての特徴点から道路境界物の特徴点を抽出することを含めることができる。
【０００８】
他の実施例では、上述した画像の道路境界物領域中の道路境界物の特徴点を検出することには、検出した道路境界物領域中だけで道路境界物の特徴点を検出することを含めることができる。検出した道路境界物領域中で道路境界物の特徴点を検出することには、道路境界物領域中の画像のすべての特徴点を検出すること、及び道路境界物の画像特徴に基づき、検出したすべての特徴点から道路境界物の特徴点を抽出することを含めることができる。
【０００９】
上述した画像中の道路境界物領域を検出することには、その画像のすべての顕著性サブ領域を生成すること、それぞれの顕著性サブ領域の画像特徴を取得すること、それぞれの顕著性サブ領域の画像特徴に基づき、すべての顕著性サブ領域のうちから道路境界物を含むサブ領域を選択すること、選択したサブ領域に基づき道路境界物領域を生成することを含めることができる。
【００１０】
上述したそれぞれの顕著性サブ領域の画像特徴に基づき、すべての顕著性サブ領域のうちから道路境界物を含むサブ領域を選択することには、予め訓練したサブ領域分類器を利用して、それぞれの顕著性サブ領域の画像特徴に基づき，その顕著性サブ領域が、道路境界物を含むサブ領域に属するか否かを判断することを含めることができる。
【００１１】
上述の選択したサブ領域に基づき道路境界物領域を生成することには、選択したそれぞれの顕著性サブ領域の画像特徴に基づき群分けを行い、群分けされた同一の道路境界物領域のすべてのサブ領域の画像特徴に、最小の群内分散及び最大の群間分散を持たせることを含めることができる。
【００１２】
上述の検出した道路境界物領域中の道路境界物の特徴点に基づき道路境界物を確定することには、道路境界物の特徴点を利用してフィッティングを行うことで道路境界物モデルを形成し、その画像中の道路境界物を確定することを含めることができる。
【００１３】
本発明の他の面においては、道路領域を含む画像を取得する第一取得部、その画像中の道路分割領域を検出する領域検出部、その画像中の道路境界物領域中の道路境界物の特徴点を検出する特徴点検出部、及びその特徴点検出部が検出した道路境界物の特徴点に基づいて道路境界物を確定する確定部を含む道路境界物の検出装置を提供する。
【００１４】
一つの実施例では、特徴点検出部はその画像中のすべての特徴点を検出でき、且つ道路境界物の画像特徴に基づき、検出したすべての特徴点のうちから道路境界物の特徴点を抽出し、且つ領域検出部の検出結果に基づき、検出した道路境界物領域中の道路境界物の特徴点を抽出することができる。
【００１５】
他の実施例では、前記の特徴点検出部は領域検出部の検出結果に基づき検出した道路境界物領域のみから、その道路境界物領域中の画像のすべての特徴点を検出し、且つ道路境界物の画像特徴に基づき検出したすべての特徴点のうちから道路境界物の特徴点を抽出することができる。
【００１６】
上述の領域検出部には、画像のすべての顕著性サブ領域を生成する第一生成部、それぞれの顕著性サブ領域の画像特徴を取得する第二取得部、それぞれの顕著性サブ領域の画像特徴に基づき、すべての顕著性サブ領域のうちから道路境界物を含むサブ領域を選択するサブ領域選択部、選択したサブ領域に基づき道路境界物領域を生成する第二生成部を含めることができる。
【００１７】
上述のサブ領域選択部は、予め訓練したサブ領域分類器を利用し、それぞれの顕著性サブ領域の画像特徴に基づき，その顕著性サブ領域が道路境界物を含むサブ領域に属するか否かを判断することができる。
【００１８】
上述の第二生成部は、選択したそれぞれの顕著性サブ領域の画像特徴に基づき群分けを行い、群分けされた同一の道路境界物領域のすべてのサブ領域の画像特徴に、最小の群内分散及び最大の群間分散を持たせることができる。
【００１９】
上述の確定部は、道路境界物の特徴点を利用してフィッティングを行うことで道路境界物モデルを形成し、その画像中の道路境界物を確定することができる。
【００２０】
本発明では、画像中の道路境界物領域を検出し、その領域分布は道路境界物の基本的な状況を反映し、検出した道路境界物領域中の道路境界物の特徴点に基づき道路境界物を確定する。本発明の方法は、単なる低レベルで表される画素ではなく、中レベルで表される道路境界物領域に基づいて道路境界物のモデル構築を行うため、車線境界線モデリングと後処理アルゴリズムの複雑度を低減し、尚且つ車線境界線検出の精度を向上させることができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の応用環境の例である車載システムの概念図である。
【図２】本発明の実施例である道路境界物の検出方法の全体フローチャートである。
【図３】道路境界物領域の検出方法例のフローチャートである。
【図４】生成した顕著性サブ領域の具体例を示す図である。
【図５】図4中の顕著性サブ領域のうちから選択した車線境界線サブ領域の例を示す図である。
【図６】図5中の車線境界線サブ領域に基づき生成した車線境界線領域の例を示す図である。
【図７】道路境界物の特徴点の検出結果の具体例を示す図である。
【図８】図7中の道路境界物の特徴点に基づき取得したそれぞれの車線境界線領域内の車線境界線検出結果の例を示す図である。
【図９】図8の検出結果に基づいて取得した最終的な車線境界線フィッティング結果の例を示す図である。
【図１０】本発明の別の実施例である道路境界物の検出装置の機能ブロック図である。
【図１１】本発明の実施例である道路境界物検出を実現する検出システムのハードウェア配置図である。
【発明を実施するための形態】
【００２２】
当業者が本発明をより良く理解するため、以下は図面と具体的な実施方式を合わせて、本発明に対し一層詳細な説明を行う。
【００２３】
以下、
1、発明思想の概説
2、実施例
2.1、道路境界物検出の全体過程
2.2、道路境界物領域の検出
2.3、道路境界物特徴点の検出
2.4、道路境界物検出装置
2.5、道路境界物検出システム
3、まとめ
という順序で説明を行う。
【００２４】
＜1、発明思想の概説＞
上述したように、従来の車道線検出方法において、画像中の車線境界線上の特徴点を抽出し、且つこれら特徴点に基づき車線境界線モデルを構築することによって車線境界線の具体的な位置を検出することは、これら特徴点に基づくモデリングアルゴリズムを複雑で時間がかかるものにしている。
【００２５】
本発明では、画像中の各車線境界線の大まかな領域を検出し、その領域分布は車道の基本的状況（以下は道路境界物領域または車線境界線領域と呼ぶ）を反映する。これにより、後に続く車線境界線モデリングのアルゴリズムは全くの低レベルで表した画素ではなく、中レベルで表した車線境界線領域に基づく。したがって本発明の方法は車線境界線モデリングと後処理アルゴリズムの複雑度を低減でき、且つ車線検出の精度を向上させることができる。
【００２６】
図1は本発明を理解するのに役立つ、本発明の応用環境の例としての車載システムの概念図である。本発明のソフトウェアあるいはハードウェアはその道路検出部とすることができる。
【００２７】
＜2、実施例＞
＜2.1道路境界物検出の全体過程＞
図2は本発明の実施例である道路境界物の検出方法の全体フローチャートである。図2が示すように、この実施例の道路境界物検出方法200には、以下のステップを含めることができる。ステップS210で、道路領域を含む画像を取得する。道路領域を含むオブジェクト場面をカメラでリアルタイム撮影することによって道路領域を含む画像を取得でき、またネットワークを通しその画像を取得することもできる。或いはその画像はビデオカメラ撮影によるビデオ画像中のビデオフレームでもよい。採用できる画像はカラー画像に限らず、グレースケール画像、深度画像なども含む。
【００２８】
道路領域を含む画像を取得した後、ステップS220で、その画像中の道路境界物領域を検出できる。道路境界物領域は取得した画像中の道路境界物領域を含んだ領域であり、これらの領域分布は道路境界物の基本的状況を反映できる。以下で図3〜6を参考に道路境界物領域の検出方法例を詳しく説明する。
【００２９】
ステップS230で、その画像の道路境界物領域中の道路境界物の特徴点を検出する。例えば、道路境界物のカラー特徴（例えば白色或いは黄色の車線境界線など）、エッジ特徴（連続の直線など）などの特徴を基に道路境界物の特徴点を検出する。以下で道路境界物特徴点の検出方法例を詳しく説明する。
【００３０】
ステップS240で、検出した道路境界物領域中の道路境界物の特徴点に基づいて道路境界物を確定する。例えば、それぞれの道路境界物領域中の特徴点を基に道路境界物モデルに対しフィッティングを行い、それによりそれぞれの道路境界物領域中の道路境界物セグメントを取得し、且つ各道路境界物セグメントを基にフィッティングしてその画像の道路境界物を確定する。
【００３１】
＜2.2道路境界物領域の検出＞
以下は図3〜6を参考に画像中の道路境界物領域を検出する方法の一例を説明する。図3は道路境界物領域の検出方法例300のフローチャートである。図3が示すように、その方法300には以下のステップを含めることができる。ステップS310で、その画像のすべての顕著性サブ領域を生成する。ステップS320で、それぞれの顕著性サブ領域の画像特徴を取得する。ステップS330で、それぞれの顕著性サブ領域の画像特徴に基づき、すべての顕著性サブ領域のうちから道路境界物を含むサブ領域を選択する。ステップS340で、選択したサブ領域を基に道路境界物領域を生成する。
【００３２】
ステップS310で、画像中のすべての顕著性サブ領域を生成する。これらサブ領域は通常顕著性を備えた領域であり、例えば道路領域の画像中の車両、建築物、通行人、道路境界物などを含む。例えば視差群分けの方法など、従来のいかなる方法によっても顕著性サブ領域を生成できる。
【００３３】
図4は生成した顕著性サブ領域の一つの具体例である。注意が必要なのは、図4ですべての顕著性サブ領域をバウンディングボックス（矩形）で示しているが、顕著性サブ領域の形状はこれに限らず、その他適したいかなる形状でも採用できる。
【００３４】
画像中のすべての顕著性サブ領域を取得した後、ステップS320で、それぞれの顕著性サブ領域の画像特徴を取得する。応用できる画像特徴には画像のグレースケール、勾配、視差などの特徴を含められるがこれらに限らない。ステップS320で、通常は顕著性サブ領域の任意のいくつかの特徴の組み合わせを取得できる。勿論、特徴の数に対して具体的な制限はなく、一つの特徴を採用することもでき、採用できる特徴は取得する画像の状況及び具体的な応用場面によって決まる。
【００３５】
例えば、取得する特徴をF={fi}  (i=1,2,…,K)と表すことができ、式中のKは取得した特徴のタイプで、fiは各特徴タイプの特徴値である。
【００３６】
それぞれの顕著性サブ領域の画像特徴を取得した後、ステップS330で、それぞれの顕著性サブ領域の画像特徴を基に、すべての顕著性サブ領域のうちから道路境界物を含むサブ領域を選択できる。例えば、予め訓練したサブ領域分類器を利用して、それぞれの顕著性サブ領域の画像特徴に基づき，その顕著性サブ領域が道路境界物を含むサブ領域に属するか否かを判断することができる。
【００３７】
例えば、分類器の分類を表す公式は一例として以下の公式（1）である。
【数１】
2016194925.tif 000003
【００３８】
式中、Snは任意の一つの顕著性サブ領域nに対する分類器の結果値を表し、且つ上述のように、Kはその顕著性サブ領域nに対して取得した特徴のタイプであり、fiは各特徴の特徴値である。ωiは各特徴fiのウエイトを表し、且つ訓練（トレーニング）を通して得ることができる。
【００３９】
例えば、予め取得した訓練用のポジティブ・ネガティブサンプル集を利用し訓練することで最適なウエイト
（外１）
2016194925.tif 000004
を得ることができ、そのうち車線境界線を道路境界物の具体例とした場合、ポジティブサンプルを車線境界線のサブ領域（以下は車線境界線サブ領域と呼ぶ）を含む画像とし、ネガティブサンプルを車線境界線サブ領域（以下は非車線境界線サブ領域と呼ぶ）を含まない画像とする。このような訓練サンプル集はユーザーが既に入力済みの任意の画像中のサブ領域の指定によって取得でき、すなわち既知画像中のどの顕著性サブ領域が車線境界線領域に属し、どのサブ領域が車線境界線サブ領域に属さないかを予め指定できる。或いは、その他のいかなる方法を用いても予め取得したサブ領域分類結果を訓練サンプル集とすることができる。
【００４０】
その後、ポジティブサンプル及びネガティブサンプルを含む各訓練サンプル（即ち車線サブ領域と非車線サブ領域）の画像特徴を抽出し、上述の画像特徴はグレースケール，勾配、視差などの特徴中の任意の一つまたは任意の組み合わせでよく、且つF={fi}  (i=1,2,…,K)と表す。上述の公式（1）に基づいて各サンプルのSnを計算する。その後、以下の公式（2）のように最適化ウエイト
（外２）
2016194925.tif 000005
を表すことができる。
【数２】
2016194925.tif 000006
【００４１】
式中、Nは訓練サンプル集中のサブ領域の数、Cnは各サブ領域の訓練ラベルである。最も簡単な状況として、ポジティブサンプルに対し、Cnを1とし、且つネガティブサンプルに対し、Cnを−1とすることができる。勿論、これは例に過ぎず、Cnの値は具体的な応用状況によって決められる。
【００４２】
即ち、上述の公式（2）に基づき、N個のサンプル中の各サンプルnの（Sn-Cn）２の値が最小のωを最適化ウエイト
（外３）
2016194925.tif 000007
とする。これで、訓練により公式（1）中で示す分類器Snを得る。
【００４３】
よって、訓練で得た分類器Snを利用し、ステップS310で生成した画像中のすべての顕著性サブ領域に対して分類を行うことができる。例えば、以下の公式（3）で示すように、これら顕著性サブ領域に対して分類を行うことができる。
【数３】
2016194925.tif 000008
【００４４】
そのうち、RDLSRは車線境界線サブ領域を表し、non-RDLSRは非車線境界線サブ領域を表す。
【００４５】
即ち、各顕著性サブ領域に対して、ステップS320で取得したそのサブ領域の画像特徴
2016194925.tif 000009
を基に上述の公式（1）を用い分類器値Sｎを計算し、Sn＞0の時、そのサブ領域は車線境界線サブ領域に属すると見なし、Sn≦0の時は、そのサブ領域は車線境界線サブ領域に属さないと見なす。
【００４６】
それゆえ、ステップS330で、各顕著性サブ領域の画像特徴を基にすべての顕著性サブ領域のうちから車線境界線サブ領域を選択する。図5は図4中で示す顕著性サブ領域のうちから選択した車線境界線サブ領域の一例であり、そのうち複数の白色バウンディングボックスは車線境界線サブ領域を表している。
【００４７】
以上で採用した分類器及び分類器の訓練方法は当業者が本発明の実現をはっきりと理解するために示した具体的例の一つに過ぎず、本発明はいかなる種類の分類器を採用できるが、例えばｋ近傍分類器（KNN）、サポートベクタマシン（SVM）、Adaboost、ニューラルネットワーク，ベイジアンネットワークなどが含まれるがこれらに限らない。
【００４８】
顕著性サブ領域中の道路境界物を含むすべてのサブ領域を選択した後、ステップS340で、選択したこれら道路境界物を含むサブ領域を基に道路境界物領域を生成できる。例えば、群分けの過程によって実現できる。
【００４９】
具体的に、やはり車線境界線を例とするが、同一の車線境界線に属する領域の各サブ領域は必然的に非常によく似た画像特徴を備えており、違う車線境界線に属する領域の各サブ領域間の画像特徴とは通常比較的大きな差異があるので、選択した各車線境界線サブ領域の画像特徴を基に群分けを行い、群分けされた同一の車線境界線領域のすべてのサブ領域の画像特徴に最小の群内分散及び最大の群間分散を持たせることができる。
【００５０】
群内分散及び群間分散の計算は以下の公式（4）‐（7）で示す。
【数４】
2016194925.tif 000010
【数５】
2016194925.tif 000011
【数６】
2016194925.tif 000012
【数７】
2016194925.tif 000013
【００５１】
その内、
（外４）
2016194925.tif 000014
は群分けされた第i車線境界線領域の車線境界線サブ領域の画像特徴の平均値を表し、niは群分けされた第i車線境界線領域の車線境界線サブ領域の数を表し、Nはすべての群分けされる車線境界線サブ領域の数を表し、
（外５）
2016194925.tif 000015
はすべての群分けされるN個の車線境界線サブ領域の画像特徴の平均値を示し、Swithin及びSbetweenはそれぞれ群内分散及び群間分散を表し、Cは車線境界線サブ領域の群分け結果を表す。
【００５２】
上述のように、最適な群分け結果は、群分けされた同一の車線境界線領域のすべての車線境界線サブ領域の画像特徴の群内分散Swithinに最小値を持たせ、且つ群間分散Sbetweenに最大値の群分け結果を持たせるはずであり、即ち、以下の公式（8）を満たすはずである。
【数８】
2016194925.tif 000016
【００５３】
実際の応用では、ノイズなどを除去するため、
（外６）
2016194925.tif 000017
及びSwithin、Sbetweenをそれぞれ一定範囲内に制限でき、即ち、
（外７）
2016194925.tif 000018
及びSwithin、Sbetweenがそれぞれ各自の所定しきい値を下回るようにさせる。これら所定しきい値は当業者により実際の応用状況によって設定できる。
【００５４】
これにより、ステップS340で、サブ領域の最適な群分け結果Cを取得し、道路境界物領域を生成する。図6は図5中で示す車線境界線サブ領域に基づき生成した車線境界線領域の例であり、幾つかの小さなバウンディングボックスを含む黒色のバウンディングボックスは車線境界線領域を表す。この例の中で検出した車線境界線領域はバウンディングボックスであるが、本発明の道路境界物領域の形状はこれに限らず、その他適したいかなる形状でもよい。
【００５５】
この実施例の道路境界物領域方法300では、画像中の道路境界物領域を検出でき、これらの領域は道路境界物の基本的状況を反映でき、その後の道路境界物検出のための基礎を提供し、道路境界物モデリングの複雑度を低減させ且つ検出の精度を向上させる。
【００５６】
＜2.3、道路境界物特徴点の検出＞
以下は上述のステップS230中の、道路境界物特徴点の検出方法の一つの具体例を説明する。
【００５７】
例えば、まずステップS210で取得した画像中のすべての特徴点を検出できる。特徴点は画像の特徴点のキーポイントを反映し、例えば画像の最頻値、線種の起点と終点、曲線曲率最大点或いは水平或いは垂直方向の上属性の最大点などでよい。よく用いられているいかなる特徴点検出方法を用いて検出を行えるが、例えばSIFT特徴、SURF特徴、ハリス・コーナー点などによって検出できる。
【００５８】
画像中のすべての特徴点を取得した後、道路境界物の画像特徴を基に検出したすべての特徴点のうちから道路境界物の特徴点を取得できる。検出する具体的な道路境界物によって、道路境界物の特徴には色特徴（例えば車線の白色、黄色などの色特徴）、エッジ特徴（例えば連続の直線）などが含められる。もちろん当業者はいかなるその他区分に用いられる道路境界物の画像特徴でも考え出すことができ、すべての特徴点のうちから道路境界物の特徴点を抽出できる。
【００５９】
図7は道路境界物の特徴点検出結果の一つの具体例である。
【００６０】
画像中のすべての道路境界物の特徴点を検出した後、ステップS220により検出した道路境界物領域うちから特徴点を抽出でき、それによりステップS240で道路境界物領域中の道路境界物の特徴点に基づき道路境界物を確定する。
【００６１】
すなわち、この例では、先にステップS230を行うことで、まず画像中のすべての道路境界物特徴点を検出し，その後ステップS220で道路境界物領域を検出することで，検出した道路境界物領域中の道路境界物の特徴点を抽出することができる。
【００６２】
しかし別の例では、先にステップS220を行うことで道路境界物領域を検出し、その後ステップS230を行うことにより、検出した道路境界物領域内だけで画像の特徴点の検出、及びその道路境界物の特徴点の抽出をする。
【００６３】
或いは、画像中の道路境界物領域の検出、及び画像中の道路境界物の特徴点の検出は並行して実行でき、両者の検出結果を取得後、道路境界物領域内の道路境界物の特徴点を抽出することができる。
【００６４】
要約すると、本発明は道路境界物領域の検出、及び道路境界物特徴点の実行順序の前後を限定せず、最終的に道路境界物領域内の道路境界物の特徴点を取得できればよい。
【００６５】
これにより、ステップS230により道路境界物領域内の道路境界物の特徴点を取得した後、これらの特徴点に基づき道路境界物を検出できる。
【００６６】
図8は図7中で示す道路境界物の特徴点を基に取得した各車線境界線領域内の車線境界線検出結果の例である。図9は図8の検出結果に基づき取得した最終的な車線境界線フィッティング結果である。
【００６７】
例えば、ハフ変換（Hough  transform）、RANSAC法、スプライン曲線(Catmull-Rom  spline)、動的輪郭モデル（Snake  model）等の、任意の車線モデリングのフィッティング方法を用いることができる。これらのモデリング方法に基づき道路境界物を確定することは当業者にとって容易に実現可能であるため、ここでは説明を割愛する。
【００６８】
本発明の道路境界物検出方法200では、画像中の道路境界物領域を検出し、その領域分布は道路境界物の基本的状況を反映でき、検出した道路境界物領域中の道路境界物特徴点に基づき道路境界物領域を確定する。全くの低レベルで表す画素により道路境界物のモデル構築を行うのではなく、中レベルで表す道路境界物領域に基づいて行うことによって、本発明の方法は車線境界線モデリングと後処理アルゴリズムの複雑度を低減し、尚且つ車線境界線検出の精度を向上させることができ、運転支援システムのリアルタイム自動適応検出ニーズに極めて適している。
【００６９】
＜2.4、道路境界物検出装置＞
以下は図10を参考に本発明の別の実施例である道路境界物の検出装置の説明を行う。図10は道路境界物の検出装置の機能ブロック図である。図10が示すように、その検出装置1000には、道路領域を含む画像を取得する第一取得部1010、その画像中の道路境界物領域を検出する領域検出部1020、その画像の道路境界物領域中の道路境界物の特徴点を検出する特徴点検出部1030、及びその特徴点検出部が検出した道路境界物の特徴点に基づき道路境界物を確定する確定部1040を含むことができる。
【００７０】
その内、その特徴点検出部1030はその画像中のすべての特徴点を検出し、且つ道路境界物の画像特徴に基づいて、検出したすべての特徴点のうちから道路境界物の特徴点を抽出し、且つ領域検出部1020の検出結果に基づき、検出した道路境界物領域中の道路境界物の特徴点を抽出することができる。
【００７１】
或いは、上述の特徴点検出部1030は、領域検出部1020の検出結果に基づき、検出した道路境界物領域中だけでその道路境界物領域中の画像のすべての特徴点を検出し、且つ道路境界物の画像特徴に基づいて、検出したすべての特徴点のうちから道路境界物の特徴点を抽出することができる。
【００７２】
選択的に、領域検出部には、画像のすべての顕著性サブ領域を生成する第一生成部、それぞれの顕著性サブ領域の画像特徴を取得する第二取得部、それぞれの顕著性サブ領域の画像特徴に基づき、すべての顕著性サブ領域のうちから道路境界物を含むサブ領域を選択するサブ領域選択部、選択したサブ領域に基づき道路境界物領域を生成する第二生成部を含めてよい。
【００７３】
上述のサブ領域選択部は、予め訓練したサブ領域分類器を利用し、それぞれの顕著性サブ領域の画像特徴に基づき、その顕著性サブ領域が道路境界物を含むサブ領域に属するか否かを判断することができる。
【００７４】
上述の第二生成部は、選択したそれぞれの顕著性サブ領域の画像特徴に基づき群分けを行い、群分けされた同一の道路境界物領域のすべてのサブ領域の画像特徴に、最小の群内分散及び最大の群間分散を持たせることができる。
【００７５】
上述の確定部1040は、道路境界物の特徴点を利用し道路境界物モデルに対しフィッティングを行い、それによりその画像中の道路境界物を確定する。
【００７６】
検出装置1000の第一取得部1010、領域検出部1020、特徴点検出部1030及び確定部1040の具体的な動作手順は以上のステップS220とS230での説明を参考にでき、ここではこれ以上述べない。
【００７７】
実施例の道路境界物検出装置1000では、画像中の道路境界物を検出し、その領域分布は道路境界物の基本的状況を反映でき、検出した道路境界物領域中の道路境界物特徴点に基づき道路境界物を確定することができる。全くの低レベルで表した画素ではなく、中レベルで表した道路境界物領域に基づいて道路境界物のモデル構築を行うので、本発明の方法は車線境界線モデリングと後処理アルゴリズムの複雑度を低減し、尚且つ車線境界線検出の精度を向上させることができ、運転補助システムのリアルタイム自動適応検出に極めて適している。
【００７８】
＜2.5、道路境界物検出システム＞
続いて、図11を参考に本発明の実施例である道路境界物検出を可能にする検出システムのハードウェア配置を説明する。図11が示すように、検出システム1000には、外部から、例えばカラー画像、グレースケール画像、深度画像等、処理する画像を入力するために用いる、例えばキーボード、マウス、及び通信ネットワークと接続する遠隔入力装置等を含む入力装置1110、上述の本発明の実施例の道路境界物検出方法を実行するための、或いは上述の本発明の実施例の道路境界物装置を実現するための、例えばコンピューターの中央処理ユニット或いはその他処理能力を有するチップ等を含み、例えばインターネットのネットワークに接続し、処理過程での必要に応じてネットワークから必要なデータを取得できる処理装置1120、外部に、例えば検出して得た画像中の車線境界線など、上述の道路境界物の検出結果を出力するための、例えばディスプレイ、プリンター、及び通信ネットワーク接続した遠隔出力装置等を含む出力装置1130、及び揮発性或いは不揮発性の方式で上述の処理過程に関わる画像、データ、得られた結果、コマンド及び中間データ等を記憶するための、例えばランダムアクセスメモリ（RAM）、読取り専用メモリ（ROM）、ハードディスク、或いは半導体メモリ等の各種揮発性或いは不揮発性のメモリを含む記憶装置1140を含む。
【００７９】
勿論、簡略のため、図11ではシステム中、本発明と関係のあるコンポーネントの一部だけを示しており、例えばバス、入力/出力インターフェース等のコンポーネントは省略している。その他、具体的な応用状況に基づいて、システム1100はその他のふさわしいいかなるコンポーネントも含めることができる。
【００８０】
＜3．まとめ＞
本発明により、道路境界物の検出方法、検出装置及び検出システムを提供した。道路領域を含む画像を取得し、その画像中での道路境界物領域を検出し、その画像の道路境界物領域中での道路境界物の特徴点を検出し、検出した道路境界物領域中の道路境界物の特徴点に基づき道路境界物を確定する。
【００８１】
上述の道路境界物の検出方法、検出装置及び検出システムに基づいて、画像中の道路境界物領域を検出し、その領域分布は道路境界物の基本的な状況を反映でき、検出した道路境界物領域中の道路境界物の特徴点に基づき道路境界物を確定することができる。全くの低レベルで表した画素ではなく、中レベルで表した道路境界物領域に基づいて道路境界物のモデル構築を行うので、本発明の方法は車線境界線モデリングと後処理アルゴリズムの複雑度を低減し、尚且つ車線境界線検出の精度を向上させることができ、運転補助システムのリアルタイム自動適応検出に極めて適している。
【００８２】
以上で図面を参考に本発明の実施例である道路境界物の検出方法及び装置について詳細な説明を行った。上述では車線境界線を検出対象として説明を行っているが、当業者であれば本発明の応用対象はこれに限らず、例えば縁石、柵及びその他道の領域及び車道の標示となる物体などでもよいことは明らかである。
【００８３】
本開示に関わる装置、設備、システムのブロック図は単に例を示すものであり、必ずブロック図の示す方法で接続、配置、構成を行うよう要求または暗示することを意図するものではない。当業者であれば知っているように、任意の方法でこれらの装置、設備、システムを接続、配置、構成できる。例えば、「含む」、「包含する」、「備える」等の単語は自由な語彙であり、「含むが限らない」ことを指し、且つ互換使用できる。ここで用いている語彙「または」や「及び」は、文脈上で明確な指示がないかぎり、「及び／または」を指しており、且つ互換使用できる。ここで用いている語彙「例えば」は「例えるが限定しない」ことを指し、且つ互換使用できる。
【００８４】
本開示中のステップのフローチャート及び上述の方法についての記載はあくまで例に過ぎず、必ずその順序に沿って実施例のステップを行うよう要求したり暗示したりするものではない。当業者であれば知っているように、任意の順序で上述の実施例中のステップを実行できる。例えば、「その後」、「それから」、「次に」等の単語はステップの順序を限定するものではない。これらの単語はあくまでそれら方法の記載に対する読者の理解を助けるためのものである。その他、例えば冠詞「一つ」、「一」或いは「その」など単数の要素のいかなる引用も単数として限定しない。
【００８５】
開示した分野の以上の説明により、いかなる当業者であれ本発明を実行または使用することができる。これらの分野に対する様々な修正は当業者にとってはきわめて容易に見て取れるものであり、且つここで定義した一般原理は他方面に応用でき、本発明の範囲を外れるものではない。したがって、本発明はここに示した方面だけに限定されず、それはここで開示した原理及び斬新な特徴が一致する最大範囲にまで及ぶものである。
【図１】
2016194925.tif 000019
【図２】
2016194925.tif 000020
【図３】
2016194925.tif 000021
【図４】
2016194925.tif 000022
【図５】
2016194925.tif 000023
【図６】
2016194925.tif 000024
【図７】
2016194925.tif 000025
【図８】
2016194925.tif 000026
【図９】
2016194925.tif 000027
【図１０】
2016194925.tif 000028
【図１１】
2016194925.tif 000029