(57)【要約】【課題】障害物検出方法及び運転者支援システムの提供。【解決手段】運転者支援システム（９）の単一画像センサー（１１、１２）を用いて捉えられた単一画像（２１、４１）内の障害物（２、３）を検出する方法において、単一画像センサー（１１、１２）を用いて捉えられた単一画像（２１、４１）を取り出すステップと、路面に対して法線方向に延びている少なくとも１つの線を識別するステップであって、少なくとも１つの線が単一画像（２１、４１）を基にして識別される、ステップと、識別された少なくとも１つの線に基づいて障害物（２、３）を検出するステップとを含み、少なくとも１つの線を識別するステップが、単一画像（２１、４１）内で、単一画像センサー（１１、１２）の投影点（２３）を通過する線（２７−２９、４３−４７）に沿って延びる少なくとも１つの画像特徴（２４−２６、６１−６４）を設定するステップを含んでいることを特徴とする方法。【選択図】  図２
2013137767.tif 000002
【特許請求の範囲】
【請求項１】
運転者支援システム（９）の単一画像センサー（１１、１２）を用いて捉えられた単一画像（２１、４１）内の障害物（２、３）を検出する方法において、
上記単一画像センサー（１１、１２）を用いて捉えられた単一画像（２１、４１）を取り出すステップと、
路面に対して法線方向に延びている少なくとも１つの線を識別するステップであって、その少なくとも１つの線が上記単一画像（２１、４１）を基にして識別される、ステップと、
上記識別された少なくとも１つの線に基づいて上記障害物（２、３）を検出するステップとを含み、
上記少なくとも１つの線を識別するステップが、
上記単一画像（２１、４１）内で、上記単一画像センサー（１１、１２）の投影点（２３）を通過する線（２７−２９、４３−４７）に沿って延びる少なくとも１つの画像特徴（２４−２６、６１−６４）を設定するステップを含んでいることを特徴とする方法。
【請求項２】
上記少なくとも１つの画像特徴（２４−２６、６１−６４）を設定するステップが、
‐上記単一画像センサー（１１、１２）のパラメータに基づいて上記投影点（２３）を決めるステップと、
−上記単一画像（２１、４１）と上記決められた投影点（２３）に基づいて二次元の角度変換画像（２２，２４）を発生させるステップであって、その角度変換画像（２２，４２）の角度座標軸（３０）がその投影点（２３）を通過する上記単一画像（２１、４１）内の線の角度（４８、４９）を示している、ステップと、
−端部検出装置をその角度変換画像（２２，４２）に適用して、その角度変換画像（２２，４２）内の角度座標軸（３０）に対して横方向（３１）に沿って延びる少なくとも１つの特徴（３４−３６、６５−６８）を識別するステップとを含んでいることを特徴とする、請求項１記載の方法。
【請求項３】
上記端部検出装置を適用するステップが、上記少なくとも１つの特徴（３４−３６、６５−６８）が上記方向（３１）に沿って延びている長さ（１３５）に関して閾値比較を行うステップを含んでいることを特徴とする、請求項２記載の方法。
【請求項４】
上記端部検出装置を適用するステップが上記角度変換画像（２２、４２）内の空間分解勾配応答を判定するステップを含んでいることを特徴とする、請求項２記載の方法。
【請求項５】
上記端部検出装置を適用するステップが、上記角度変換画像（２２，４２）内の１つの画素（１２５）での勾配応答が第１の近接画素（１２６）での勾配応答と第２の近接画素（１２７）での勾配応答の両方より大きいかどうかを判定するステップを含み、この場合上記第１及び第２の画素（１２６、１２７）が、上記角度座標軸（３０）に沿って上記画素（１２５）に近接していることを特徴とする、請求項４記載の方法。
【請求項６】
上記端部検出装置を適用するステップが、上記角度変換画像（２２、４２）内の上記画素（１２５）での勾配応答が上記第１の近接画素（１２６）での勾配応答と上記第２の近接画素（１２７）での勾配応答の両方より大きくかどうかに基づいて、上記画素（１２５）での勾配応答をデフォールト値に選択的に設定するステップを含んでいることを特徴とする、請求項５記載の方法。
【請求項７】
上記端部検出装置を適用するステップが上記勾配応答をトレーシングするステップを含み、そのトレーシングが方向的選択可能性に基づいて行われることを特徴とする、請求項４記載の方法。
【請求項８】
上記トレーシングが、
−上記勾配応答を第１の閾値と比較してその角度変換画像（２２、４２）内の１つの画素（１３１、１４１）を識別するステップと、
−上記角度変換画像（２２、４２）内で上記画素（１３１、１４１）に近接している別の画素（１３２、１４２−１４７）での勾配応答を第２の閾値と比較するステップを含んでおり、上記第２の閾値が上記第１の閾値とは異なっていることを特徴とする、請求項７記載の方法。
【請求項９】
他の複数の画素（１４２−１４７）での勾配応答をそれぞれ上記第２の閾値と比較され、その他の複数の画素（１４２−１４７）が上記識別された画素とは上記角度座標軸（３０）に対して垂直な方向で補正されていることを特徴とする、請求項８記載の方法。
【請求項１０】
上記画素（１３１）がその画素（１３１）での勾配応答が上記第１の閾値を超えているかどうかに基づいて識別され、上記第２の閾値が上記第１の閾値より小さいことを特徴とする、請求項８記載の方法。
【請求項１１】
上記角度変換画像（２２、４２）が発生される前に、生画像データ（２０、４０）の非直線的な歪みが補正されて上記単一画面（２１、４１）が発生されることを特徴とする、請求項２−１０のいずれか１項記載の方法。
【請求項１２】
さらに、上記運転者支援システム（９）によって識別された少なくとも１つの線が処理されて制御信号を発生するステップを含んでいることを特徴とする、請求項１−１０のいずれか１項記載の方法。
【請求項１３】
少なくとも１つの画像センサー（１１，１２）と、
上記少なくとも１つの画像センサーに結合された処理装置（１０）とを含む運転者支援システムにおいて、
その処理装置（１０）が、上記単一画像センサー（１１，１２）によって捉えられた単一画像（２１，４１）に基づいて路面に対して法線方向に沿って延びる少なくとも１つの線を識別し、そして
その識別された少なくとも１つの線に基づいて１つの障害物（２，３）を検出するように構成されており、さらに、
上記処理装置（１０）が、その路面に対して法線方向に沿って延びる上記少なくとも１つの線を識別するために、上記画像センサーの投影点（２３）を通過する線（２７−２９、４３−４７）に沿って延びる少なくとも１つの画像特徴（２４−２６，６１−６４）をその単一画像（２１、４１）内に設定するように構成されていることを特徴とする運転者支援システム。
【請求項１４】
さらに、上記処理装置（１０）に結合された出力インターフェースを含んでおり、
上記処理装置（１０）が上記出力インターフェース（１３）を制御して、駐車プロセス中に上記検出された障害物（２，３）に基づいて警告信号を選択的に出力するように構成されている、請求項１３記載の運転者支援システム。
【請求項１５】
請求項１−１０までのいずれか１項に記載の方法を実行するように構成されている請求項１３記載の運転者支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施の形態は運転者支援機能のための障害物認識に関する。具体的には、本発明の実施の形態は光学センサーを用いての障害物の検出と障害物を検出するように構成された運転者支援システムに関する。
【背景技術】
【０００２】
運転者支援システムに関する関心は依然として高まり続けている。運転者支援システムはある作業において運転者を支援して、それによって快適さと安全を提供することができる。運転者支援システムは警告信号を運転者に与えてその運転者に潜在的に可能性のある危険な状態を知らせたり、能動的な制御機能を実行したりするように作動することができる。運転者支援システムによって行われる機能の例としては、衝突予測や駐車支援システムなどがある。運転者支援システムの一部の機能は障害物検出を用いる場合があり、障害物検出機能は運転者支援システムに組み込まれる場合もある。障害物を検出するためには、このシステムは道路を観察して、車両が物体に接近している場合はその運転者に警告信号を出力することができる。こうしたシステムは衝突の危険性を減らし、それによって道路での安全性を向上させてくれる。
【０００３】
障害物検出を行うために、種々のセンサーを用いることができる。自動車に対する対象物の近接度を監視するためには、レーダー・センサー、超音波センサーあるいは視認システムなどを用いることができる。カメラは、魚眼レンズなどの光学的構成部品やＣＭＯＳ、ＣＣＤ、あるいはその他のチップなどの電子光学要素を含むことができる。カメラを用いる障害物検出システムは車両の走行中にその車両近くの障害物を確認する上で、運転者に対して信頼性の高い支援を与える上で大きな可能性を有している。
【０００４】
障害物検出に関する従来の方式は少なくとも２つの画像の評価に基づいている。これら２つの画像は順次的な方法で１つの画像センサーに捕捉されるか、あるいは、立体カメラの２つの画像センサーによって同時に捕捉される。  Ｍａｓｓｉｍｏ  Ｂｅｒｔｏｚｚｉ，  Ａｌｂｅｒｔｏ  Ｂｒｏｇｇｉ，  “ＧＯＬＤ：  Ａ  ｐａｒａｌｌｅｌ  Ｒｅａｌ−Ｔｉｍｅ  Ｓｔｅｒｅｏ  Ｖｉｓｉｏｎ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｇｅｎｅｒｉｃ  Ｏｂｓｔａｃｌｅ  ａｎｄ  Ｌａｎｅ  Ｄｅｔｅｃｔｉｏｎ”．  ＩＥＥＥ  ＴＲＡＮＳＡＣＴＩＯＮＳ  ＯＮ  ＩＭＡＧＥ  ＰＲＯＣＥＳＳＩＮＧ，  ＶＯＬ．  ７，  １．  Ｊａｎｕａｒｙ  １９９８，  ｐｐ．  ６２−８１及びＭａｓｓｉｍｏ  Ｂｅｒｔｏｚｚｉ，  Ａｌｂｅｒｔｏ  Ｂｒｏｇｇｉ，  Ａｌｅｓｓａｎｄｏｒａ  Ｆａｓｃｉｏｌｉ，  “Ｓｔｅｒｅｏ  ｉｎｖｅｒｓｅ  ｐｅｒｓｐｅｃｔｉｖｅ  ｍａｐｐｉｎｇ：  ｔｈｅｏｒｙ  ａｎｄ  ａｐｐｌｉｃａｔｉｏｎｓ”，  Ｉｍａｇｅ  ａｎｄ  Ｖｉｓｉｏｎ  ｃｏｍｐｕｔｉｎｇ  １６  （１９９８），  ｐｐ．  ５８５−５９０はステレオ・カメラに基づく方式を開示している。差分画像が計算され、その差分画像に対する極性ヒストグラムが判定される。画像が順次に捕捉される場合には、その車両の動作パラメータを知ることが必要である。Ｃｈａｎｈｕｉ  Ｙａｎｇ，  Ｓｈｉｎｉｃｈｉ  Ｔａｎｉｍｏｔｏ，  “Ａ  ｎｅｗ  ａｐｐｒｏａｃｈ  ｆｏｒ  Ｉｎ−Ｖｅｈｉｃｌｅ  Ｃａｍｅｒａ  Ｏｂｓｔａｃｌｅ  Ｄｅｔｅｃｔｉｏｎ  Ｂｙ  Ｇｒｏｕｎｄ  Ｍｏｖｅｍｅｎｔ  Ｃｏｍｐｅｎｓａｔｉｏｎ”，  ＩＥＥＥ  Ｉｎｔｅｌｌｉｇｅｎｔ  Ｔｒａｎｓｐｏｒｔａｔｉｏｎ  Ｓｙｓｔｅｍｓ，  ２００８，  ｐｐ．  １５１−１５６は１つの障害物検出方式を開示しており、この方式は時間順次に捉えられるいくつかのビデオ・フレーム内に含まれている情報を組み合わせることによる特徴点トラッキング及びマッチングを用ている。
【０００５】
障害物検出のための従来の方式はその障害物の端部に属する個別の画素の識別に基づく場合もあれば、極性ヒストグラムを計算することで二次元情報を捨てる場合もある。これらの方式はノイズ状態によって悪影響を受ける傾向がある。高い信号強度や個々の画素での大きな強度勾配を引き起こすノイズはそうした方式では偽陽性を発生させてしまう可能性がある。
【０００６】
別個の画像センサーで少なくとも２つの画像を捉えて、それらを障害物検出のためにコンピュータ的な方法で組み合わせなければならない場合、必要となる追加的な構成要素がその障害物検出システムの全体的なコストを増大させてしまうであろう。複数の画像の組み合わせというのは、それらがステレオ・カメラの２つの画像センサーを同時並列的に用いて時間的順次に捉えられたかどうかには関係なく、計算処理上の複雑さを増大させる。車両の動きが画像露出間にも追跡監視しなければならないとすると、このことはさらにそうした複雑さを増大させる。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従って、信頼できて堅実さな方法で、そして計算処理上のコストを低いレベルに抑えて、障害物の検出を可能にするような方法とシステムに対するニーズが存在している。特に、障害物を検出するために計算処理上で複数の画像を組み合わせる必要なしに障害物の検出を可能にするそうした方法及びシステムに対するニーズが存在している。
【課題を解決するための手段】
【０００８】
独立請求項に詳述されている方法及び運転者支援システムは、そうしたニーズを満たすためのものである。従属請求項はその実施の形態を定義している。
【０００９】
１つの実施の形態によれば、運転者支援システムの１つの画像センサーを用いた単一の画像で障害物を検出するための方法が提供される。その単一画像センサーを用いて捉えた単一の画像が取り出される。道路表面に対して法線方向に延びる少なくとも１つの線がその単一の画像に基づいて識別される。障害物はその識別された１つの線に基づいて検出される。上記少なくとも１つの線を識別するためには、その画像センサーの投影点を通じて延びる線に沿ったその単一画像の少なくとも１つの画像特徴を設定するステップを含んでいる。
【００１０】
この方法では、道路表面に対して垂直方向の線が１つの障害物のインジケータとして用いられ、堅実さ性の高い検出を可能にしてくれる。その車両が位置している道路の路面に対して法線方向に延びる線はその画像センサーの投影点を通じて延びる画像の線分に沿って延びる特徴として検出することができる。これによって、障害物を検出するために複数の画像を必要とせずに、単一の画像で障害物を識別することが可能になる。
【００１１】
上記画像センサーの投影点は単一の画像センサーのパラメータに基づいて決めることができる。この投影点はピッチ角、偏揺角、及び地上からの高さなどの外因的なパラメータと、その画像センサーの内因的パラメータの両方に基づいて決めることができる。
【００１２】
単一画面内の少なくとも１つの画像特徴を設定する作業は、その単一画像と上記の決定した投影点に基づいて二次元角度変換画像を発生するステップを含むことができる。角度検出装置をその角度変換画像に適用して、その角度変換画像の端部の１つに対して直交方向に延びる少なくとも１つの特徴を識別することができる。その角度変換画像はその単一画像内の投影点を通過する線の角度を示す１つの角度座標軸を持つように発生させることができる。端部検出器をその角度変換画像に適用して、その角度変換画像内で上記の角度座標軸に対して横方向に延びる少なくとも１つの画像特徴を識別することができる。このような角度変換を行うことで、その単一画像内で投影点を通過する線に沿って延びる特徴が、角度座標軸に対して横方向に延びる特徴に変換される。そうすると、その特徴はその角度変換画像の縦列方向や横列方向に沿って延びることになる。このことによって、これらの特徴を識別する際の計算処理上の複雑さが減少する。
【００１３】
上記の端部検出装置の適用に際しては、少なくとも１つの特徴がその角度座標軸に対して法線方向に沿って延びる長さに関する長さ閾値比較を行うステップを含むことができる。これによって、小さな特徴は捨てることができ、偽陽性がさらに低減される。閾値比較によって判定された短い長さの特徴を排除すれば、順次処理における計算処理上のコストを減らすことができる。
【００１４】
端部検出装置の適用にあたっては、その角度変換画像内の空間解像勾配応答を判定するステップを含めることができる。この端部検出装置はＨａａｒ状特徴を検出するようにしてもよい。勾配応答を判定するには、１つのＨａａｒ状特徴の２つの小矩形部分の違いを判定するステップを含めることもできる。その角度変換画像の各画素は１つの画素値を持つことができ、そして勾配応答はそれらの画素値に基づいて判定するようにすることができる。異なったスケール及び／又はアスペクト比のＨａａｒ状特徴を用いることもできる。さらに処理するために用いられる１つの画素での勾配応答をそれら種々のスケール及び／又はアスペクト比に関して得られる勾配応答の最大値として定義することもできる。この勾配応答は低い計算処理コストで判定することができる。この目的のために、範囲総和テーブルを計算し得る。勾配応答はこの範囲総和テーブルに基づいて判定するようにしてもよい。
【００１５】
端部検出装置の適用にあたっては、角度変換画像内の１つの画素での勾配応答が第１の近接接画素での勾配応答及び第２の近接画素での勾配応答の両方より大きいかどうかを判定するステップを含めることができ、この場合、上記第１及び第２の画素は上記角度座標軸に沿ってその画素に近接しているという意味である。これによって、勾配応答が局所最大でない画素に対しても、その角度変換画像における角度座標の関数として局所抑制を行うことができる。見せかけの特徴がこれによって抑制されるので、障害物検出の堅実さが増大する。勾配応答におけり局所的最大値を識別して、非最大勾配応答を抑制する時、順次処理における計算処理上のコストが低減される。
【００１６】
端部検出装置の適用にあたっては、その角度変換画像内の各画素での勾配応答が上記第１の近接画素での勾配応答及び上記第２の近接画素での勾配応答の両方より大きいかどうかに基づいて、その画素での勾配応答を１つのデフォルト値に選択的に設定するステップを含んでいてもよい。これによって、見せかけの特徴を抑制して、障害物検出の堅実さを増大させることができる。
【００１７】
端部検出装置の適用にあたっては、勾配応答をトレーシングするステップを含み、そのトレーシングが方向に関する選択可能性をもって行われるようにすることもできる。このトレーシングはその角度変換画像内の角度座標に対して横方向に沿って行うようにしてもよい。この方向に沿ってトレーシングを行うことで、その角度変換画像内の角度座標に対して直交方向に沿って延びる大きな勾配応答に対応するその角度変換画像内の１つの特徴を識別することができる。
【００１８】
このトレーシングでは、その角度変換画像内の１つの画素を識別するための第１の閾値と勾配応答を比較すると同時に、その角度変換画像内のその画素に近接した別の画素での勾配応答を第２の閾値と比較するようにしてもよい。この場合、上記第２の閾値は上記第１の閾値と違っていなければならない。上記第１の閾値比較に基づいて１つの線形特徴のスタート・ポイントが識別され得る。近接画素でのトレーシングは第２の閾値を用いて行われ、それによって、勾配応答が上記第１の閾値より低くなった場合でも線形特徴のトレーシングを行うことができる。
【００１９】
複数の他の画素での勾配応答を上記第２の閾値と比較するようにしてもよいが、この場合、それら複数の他の画素はその角度変換画像に垂直な方向に沿って識別された画素とは位置的に補正されていなければならない。その画素はその画素での勾配応答が上記第１の閾値を上回っているかどうかに基づいて識別してもよく、第２の閾値は上記第１の閾値未満であってもよい。これにより、関連する特徴がその角度変換画像内の角度座標軸に対して横方向に延びていることを考慮に入れれば、トレーシングは簡単になる。その角度変換画像内で識別される特徴の長さを検出して、長さが短すぎる特徴は捨てるようにしてもよい。これによって、堅実さが増大すると共に、計算処理に関するコストが低減される。障害物認識の速度も向上させることが可能になる。
【００２０】
その画像センサーが歪みを生じさせるような光学的構成部品を持っている場合は、これらの歪み生画像で補正して、補正された単一の画像を発生させて、それを処理して上記投影点を通過する１つの線に沿って延びる少なくとも１つの特徴を識別するようにすることができる。これにより、魚眼レンズなどのような光学的構成部品が使われている場合でも、障害物検出を高い信頼性で実行することができる。
【００２１】
識別された少なくとも１つの線に関する情報は運転者支援システムに提供されることができる。この運転者支援システムはその識別された少なくとも１つの線上の１つの位置を現在の車両位置及び／又は運転方向と関連付けて、その車両がその障害物に接近しつつある場合は選択的に信号を出力するようにすることができる。この運転者支援システムは光学的出力インターフェースを制御して、その識別された少なくとも１つの線の位置に基づいて、その障害物に対する情報を提供することもできる。
【００２２】
別の実施の形態によれば、運転者支援システムが提供される。この運転者支援システムは少なくとも１つの画像センサーとその少なくとも１つの画像センサーに結合された処理装置を含んでいる。この処理装置は上記少なくとも１つの画像センサーの単一の画像センサーを用いて捉えられた単一の画像に基づいて道路表面に対して法線方向に沿って延びる少なくとも１つの線を識別するように構成されている。この処理装置は、その識別された少なくとも１つの線に基づいて障害物を検出するように構成されている。この処理装置はその画像センサーの投影点を通過する１つの線に沿って延びるその単一画像内の少なくとも１つの画像特徴を設定して、上記少なくとも１つの線を識別するように構成されている。
【００２３】
上記運転者支援システムは障害物に関するインジケータとして路面に垂直に延びる線を用いているので、堅実な検出結果を生む。両車が位置している道路の表面に伸びる法線は上記画像センサーの投影点を通る画像の線に沿って延びる特徴として検出することができる。これによって、単一の画像内で障害物を識別することができ、障害物を検出するために複数の画像を組み合わせる必要はなくなる。
【００２４】
上記運転者支援システムはその処理装置に結合された出力インターフェースを含むようにすることもできる。この処理装置はその出力インターフェースを制御して駐車中に検出された障害物に基づいて警告信号を選択的に出力するように構成することもできる。これによって、駐車支援機能において障害物検出を用いることができる。
【００２５】
上記運転者支援システムは本明細書に開示されているいずれか１つの態様あるいは実施の形態による方法を実行するように構成することができる。その運転者支援システムの処理装置は単一画像の処理を実行して、それによって障害物検出のために組み合わせられた複数の画像を処理せずに路面に対して法線方向の線を識別することができる。
【００２６】
この運転者支援システムは、ナビゲーション機能などの追加的な機能を持つこともできる。
【００２７】
なお、上に述べた特徴及び以下に説明する特徴は意図されている組み合わせにおいてばかりでなく、他の組み合わせでも、あるいは単独でも用いることができる。
【００２８】
例えば、本願発明は以下の項目を提供する。
（項目１）
運転者支援システム（９）の単一画像センサー（１１、１２）を用いて捉えられた単一画像（２１、４１）内の障害物（２、３）を検出する方法において、
上記単一画像センサー（１１、１２）を用いて捉えられた単一画像（２１、４１）を取り出すステップと、
路面に対して法線方向に延びている少なくとも１つの線を識別するステップであって、その少なくとも１つの線が上記単一画像（２１、４１）を基にして識別される、ステップと、
上記識別された少なくとも１つの線に基づいて上記障害物（２、３）を検出するステップとを含み、
上記少なくとも１つの線を識別するステップが、
上記単一画像（２１、４１）内で、上記単一画像センサー（１１、１２）の投影点（２３）を通過する線（２７−２９、４３−４７）に沿って延びる少なくとも１つの画像特徴（２４−２６、６１−６４）を設定するステップを含んでいることを特徴とする方法。
（項目２）
上記少なくとも１つの画像特徴（２４−２６、６１−６４）を設定するステップが、
‐上記単一画像センサー（１１、１２）のパラメータに基づいて上記投影点（２３）を決めるステップと、
−上記単一画像（２１、４１）と上記決められた投影点（２３）に基づいて二次元の角度変換画像（２２，２４）を発生させるステップであって、その角度変換画像（２２，４２）の角度座標軸（３０）がその投影点（２３）を通過する上記単一画像（２１、４１）内の線の角度（４８、４９）を示している、ステップと、
−端部検出装置をその角度変換画像（２２，４２）に適用して、その角度変換画像（２２，４２）内の角度座標軸（３０）に対して横方向（３１）に沿って延びる少なくとも１つの特徴（３４−３６、６５−６８）を識別するステップとを含んでいることを特徴とする、上記項目に記載の方法。
（項目３）
上記端部検出装置を適用するステップが、上記少なくとも１つの特徴（３４−３６、６５−６８）が上記方向（３１）に沿って延びている長さ（１３５）に関して閾値比較を行うステップを含んでいることを特徴とする、上記項目のいずれかに記載の方法。
（項目４）
上記端部検出装置を適用するステップが上記角度変換画像（２２、４２）内の空間分解勾配応答を判定するステップを含んでいることを特徴とする、上記項目のいずれかに記載の方法。
（項目５）
上記端部検出装置を適用するステップが、上記角度変換画像（２２，４２）内の１つの画素（１２５）での勾配応答が第１の近接画素（１２６）での勾配応答と第２の近接画素（１２７）での勾配応答の両方より大きいかどうかを判定するステップを含み、この場合上記第１及び第２の画素（１２６、１２７）が、上記角度座標軸（３０）に沿って上記画素（１２５）に近接していることを特徴とする、上記項目のいずれかに記載の方法。
（項目６）
上記端部検出装置を適用するステップが、上記角度変換画像（２２、４２）内の上記画素（１２５）での勾配応答が上記第１の近接画素（１２６）での勾配応答と上記第２の近接画素（１２７）での勾配応答の両方より大きくかどうかに基づいて、上記画素（１２５）での勾配応答をデフォールト値に選択的に設定するステップを含んでいることを特徴とする、上記項目のいずれかに記載の方法。
（項目７）
上記端部検出装置を適用するステップが上記勾配応答をトレーシングするステップを含み、そのトレーシングが方向的選択可能性に基づいて行われることを特徴とする、上記項目のいずれかに記載の方法。
（項目８）
上記トレーシングが、
−上記勾配応答を第１の閾値と比較してその角度変換画像（２２、４２）内の１つの画素（１３１、１４１）を識別するステップと、
−上記角度変換画像（２２、４２）内で上記画素（１３１、１４１）に近接している別の画素（１３２、１４２−１４７）での勾配応答を第２の閾値と比較するステップを含んでおり、上記第２の閾値が上記第１の閾値とは異なっていることを特徴とする、上記項目のいずれかに記載の方法。
（項目９）
他の複数の画素（１４２−１４７）での勾配応答をそれぞれ上記第２の閾値と比較され、その他の複数の画素（１４２−１４７）が上記識別された画素とは上記角度座標軸（３０）に対して垂直な方向で補正されていることを特徴とする、上記項目のいずれかに記載の方法。
（項目１０）
上記画素（１３１）がその画素（１３１）での勾配応答が上記第１の閾値を超えているかどうかに基づいて識別され、上記第２の閾値が上記第１の閾値より小さいことを特徴とする、上記項目のいずれかに記載の方法。
（請求１１）  上記角度変換画像（２２、４２）が発生される前に、生画像データ（２０、４０）の非直線的な歪みが補正されて上記単一画面（２１、４１）が発生されることを特徴とする、上記項目のいずれかに記載の方法。
（項目１２）
さらに、上記運転者支援システム（９）によって識別された少なくとも１つの線が処理されて制御信号を発生するステップを含んでいることを特徴とする、上記項目のいずれかに記載の方法。
（項目１３）
少なくとも１つの画像センサー（１１，１２）と、
上記少なくとも１つの画像センサーに結合された処理装置（１０）とを含む運転者支援システムにおいて、
その処理装置（１０）が、上記単一画像センサー（１１，１２）によって捉えられた単一画像（２１，４１）に基づいて路面に対して法線方向に沿って延びる少なくとも１つの線を識別し、そして
その識別された少なくとも１つの線に基づいて１つの障害物（２，３）を検出するように構成されており、さらに、
上記処理装置（１０）が、その路面に対して法線方向に沿って延びる上記少なくとも１つの線を識別するために、上記画像センサーの投影点（２３）を通過する線（２７−２９、４３−４７）に沿って延びる少なくとも１つの画像特徴（２４−２６，６１−６４）をその単一画像（２１、４１）内に設定するように構成されていることを特徴とする運転者支援システム。
（項目１４）
さらに、上記処理装置（１０）に結合された出力インターフェースを含んでおり、
上記処理装置（１０）が上記出力インターフェース（１３）を制御して、駐車プロセス中に上記検出された障害物（２，３）に基づいて警告信号を選択的に出力するように構成されている、上記項目に運転者支援システム。
（項目１５）
上記項目のいずれかに記載の方法を実行するように構成されている上記項目のいずれかの運転者支援システム。
【００２９】
（摘要）
運転者支援システムの単一画像センサーを用いて捉えられた単一画像（２）内の障害物を検出するために、その単一画像（２１）内に、その画像センサー（２３）の投影おれによって投影点（２３）を通過する線（２７−２９）に沿って延びる少なくとも１つの画像特徴（２４−２６）が設定される。世界座標系で路面に対して法線方向に沿って延びる少なくとも１つの線が上記単一画像（２１）に基づいて識別され、それが障害物の指標として用いられる。
【図面の簡単な説明】
【００３０】
本発明の実施の形態の上に述べた及びその他の特徴は、実施の形態に関する以下の詳細な説明を添付図面を参照しつつ読むことによってより明らかになるであろう。以下の図面で、同様の構成要素に対しては同様の参照番号が付せられている。
【図１】図１は、本発明の１つの実施の形態による運転者支援システムを有する車両を図式的に示すブロック図である。
【図２】図２は、非直線的な歪みを有する生画像データ、その生画像データ内の非直線的な歪みを補正することで発生した単一画像、そして、その単一画像から発生した角度変換画像を示している。
【図３】図３は、非直線的な歪みを有する生画像データを示している。
【図４】図４は、図３の生画像データを補正することによって発生した単一画像をしめしている。
【図５】図５は、図５の単一画像から発生した角度変換画像を示している。
【図６】図６は、１つの実施の形態による方法を示すフロー図である。
【図７】図７は、１つの実施の形態による方法を示すフロー図である。
【図８】図８は、１つの実施の形態による方法での角度変換画像を処理する手順を示すフロー図である。
【図９】図９は、１つの実施の形態による上記方法でのＨａａｒ状特徴に関する検出装置を示している。
【図１０】図１０は、１つの実施の形態による上記方法で勾配応答を計算処理するための面積総和テーブルの使用を示している。
【図１１】図１１は、１つの実施の形態による上記方法での非最大勾配応答の抑制を示している。
【図１２】図１２は、１つの実施の形態による上記方法での角度変換画像内の特徴のトラッキングを示している。
【図１３】図１３は、１つの実施の形態による上記方法での角度変換画像内における特徴のトラッキングを示している。
【発明を実施するための形態】
【００３１】
以下の説明で、同じ又は類似の参照番号は同じ又は類似の構成部品を示している。いくつかの実施の形態を検出された障害物に対応して警告信号を出力するなど、以下に具体的に述べるが、実施の形態はこうした具体的な内容に限定されるものではない。
【００３２】
図１は、１つの実施の形態による運転者支援システム９を備えた車両１を次式的に示している。運転者支援システム９は上記運転者支援システム９の作動を、例えば、メモリーに記憶保存された制御命令に従って制御する処理装置１０を含んでいる。この処に理装置１０は、例えば１つあるいは複数のプロセッサの形態での中央制御装置と、デジタル信号処理装置あるいはアプリケーションに特定された統合回路を有することができる。運転者支援システム９はさらに、１つか複数の画像センサーを含んでいる。前部画像センサー１１と後部画像センサー１２を設けることもできる。他の実施の形態では、画像センサーの数が１つだけであっても複数であってもよい。前部画像センサー１１及び後部画像センサー１２は、それぞれ、ＣＭＯＳセンサー、ＣＣＤセンサー、あるいは光学的画像を画像データの二次元アレイに変換するその他の電子光学的センサー等光電気要素を含むカメラであってもよい。前部画像センサー１１は画像形成光学装置１４を有することができる。この画像形成光学装置１４は、例えば、魚眼レンズなどの非直線的な歪みを発生させるレンズを含んでいてもよい。後部画像センサー１２は画像形成光学装置１５を含んでいてもよい。この画像形成光学装置１５は、例えば、魚眼レンズなどの非直線的な歪みを発生させるレンズを含んでいてもよい。
【００３３】
上記運転者支援システム９はユーザーに対して情報を出力するための出力インターフェース１３も含んでいる。出力インターフェース１３は光学的出力装置、音声出力装置、あるいはそれらの組み合わせを含んでいてもよい。処理装置１０は単一画像センサーを評価することで障害物を識別するように構成される。図２−１３を参照して以下により詳細に説明するように、処理装置１０はその車両が現在位置している路面に対して法線方向の線を、障害物に関するインジケータとして用いる。処理装置１０はそうした単一画像を分析してそうした線を検出し、その対応する画像センサーの投影点を通る直線に沿って延びる画像内の画像特徴を識別する。上記処理装置１０は画像変換を行なって角度変換画像を発生くし、そうした画像特徴を認識し易くすることもできる。処理装置１０によって発生した角度変換画像は二次元の角度変換画像であり、その２つの直交方向の座標軸のうちの１つがその画像内の投影点を通過する線の角度を量的に示している。その画像内の投影点を通る１つの線に沿って延びる画像特徴はその角度変換画像内の角度座標軸に対して横方向の線に沿って延びる特徴に変換される。こうした特徴は角度変換画像内で効率的に検出することが可能である。処理装置１０はある閾値を上回っているか、あるいはそれと等しい長さを有する上記角度変換画像内の特徴を選択的に識別するようにすることができる。これが可能なのは、その角度変換画像内に二次元情報が保持されているからである。これによって、処理装置１０はその角度変換画像内の特徴が世界座標系では路面に対して法線方向に沿って有限の長さを有している線に対応しているかどうかを確認することができる。個々の隔離された画素での画素値に大きな勾配を起こさせるノイズによって起きる可能性がある偽陽性の可能性がこれによって低減される。
【００３４】
処理装置１０は障害物を識別するために複数の画像を計算処理プロセスで組み合わせる必要なしに、単一の画像内で障害物を識別することができる。説明のために言うとすれば、前部画像センサー１１がステレオ・カメラではなくただ一つの電子光学的チップだけを含んでいる場合でも、処理装置１０はその前部画像センサー１１を用いて捉えた単一の画像を処理することによって、その車両の前方にある障害物を識別することができる。あるいは、又は追加的に言えば、後部画像センサー１２がテレオ・カメラではなくただ一つの電子光学的チップだけを含んでいる場合でも、処理装置１０はその後部画像センサー１２を用いて捉えた単一の画像を処理することによって、その車両の後方にある障害物を識別することができる。処理装置１０は前部画像センサー１１を用いて捉えた第１の画像と後部画像センサー１２を用いて捉えた第２の画像を同時並列的に処理することができる。処理装置１０は上記第１の画像に基づいて、そして第２の画像とは無関係に、前部画像センサーの視野内にある障害物を識別することができる。処理装置１０は上記第２の画像に基づいて、そして第１の画像とは無関係に、その後部画像センサーの視野内にある障害物を識別することができる。
【００３５】
運転者支援システム９は追加的な構成部品を含むことができる。例えば、運転者支援システム９は位置センサー及び／又は車両インターフェースを含むことができる。処理装置１０はその位置センサー及び／又は車両インターフェースからその車両の動作状態に関する情報を取り出すことができるように構成することができる。その動作状態に関する情報は動作の方向及び／又は速度に関する情報を含むことができる。処理装置１０は、その動作状態に関する情報を上記画像を評価して検出した障害物と組み合わせて評価することができる。処理装置１０は、その車両が検出された障害物に接近しつつあるのか否かに基づいて、出力インターフェース１３上で障害物に関する情報を選択的に提供することができる。その位置センサーはＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）センサー、ガリレオ・センサー、あるいは移動通信ネットワークに基づく位置センサーで構成されていてもよい。上記車両インターフェースは処理装置１０がその車両インターフェースを介して他の車両システムあるいは車両ステータス情報から情報を得ることができるようにする。この車両インターフェースは、例えば、ＣＡＮ（ｃｏｎｔｒｏｌｌｅｒ  ａｒｅａ  ｎｅｔｗｏｒｋ）あるいはＭＯＳＴ  （Ｍｅｄｉａ  Ｏｒｉｅｎｔｅｄ  ｄｅｖｉｃｅｓ  Ｔｒａｎｓｐｏｒｔ）インターフェースで構成されていてもよい。
【００３６】
図２から１３を参照して、単一画面の処理による障害物検出についてさらに詳細に説明する。上記運転者支援システムの処理装置１０は図２−１３を参照して説明する種々のステップを自動的に実行する。
【００３７】
図２は単一の画像センサーによって捉えられた生画像データ２０を示している。この生画像データ２０は前部画像センサー１１あるいは後部画像センサー１２によって捉えられたものであってもよい。路面から垂直に立ち上がっている壁状の特徴が障害物２として例示されている。生画像データ２０は非直線的な歪みを持っている場合もある。これは、その単一画像センサーの光学機器が非直線的な歪みを発生させる場合に起きる可能性がある。視野を拡大するために魚眼レンズその他のレンズが用いられると、生画像データ２０に非直線的な歪みが起きる場合がある。処理装置はこれらの歪みを補正して単一画像２１を発生する。補正は上記単一画像センサーの内因的なパラメータに基づいて行われる。そうした較正を行うことによって、単一画像２１が得られる。その画像センサーの光学機器が画像の歪みを生じなかったり、あるいはそれらの歪みが捨てるできる程度のものであれば、非直線的な歪みを補正する較正は必要ない。
【００３８】
処理装置１０は単一画像２１を処理して、世界座標系では路面に対して法線方向に延びている直線を識別する。そうした線は画像基準フレーム内の単一画像センサーの投影点２３を通る上記単一画像２１内の線２７−２９に沿って延びる画像特徴に対応している。説明のために言えば、障害物２は路面に対して法線方向に延びる端部２４、２５、２６を有している。これらの端部２４、２５、２６はそれぞれ投影点２３を通る上記画像２１内の線に沿って延びている。例えば、端部２４は線２７に沿って延びている。さらに、例えば、端部２５は線２８に沿って延びている。
【００３９】
処理装置１０は画像２１内で探知された画像特徴が投影点２３を通過している線と一致する方向を有していることを確認できるように構成することができる。処理装置１０はさらに、その線に沿った画像特徴の長さに関する閾値比較を行って、その特徴が、例えば、単一の画素に限定されているのではなくて、有限の長さを有していることを確認できるように構成することができる。そうした処理を画像２１に対して直接行うこともできるが、処理装置１０は処理を容易にするために角度変換画像２２を計算処理することができる。
【００４０】
角度変換画像２２は投影点２３の座標値に基づいて処理装置１０で自動的に発生することができる。投影点２３を通過して単一画像２１の座標軸の１つに対して一定の角度で配列された線２７に沿って存在しているその画像２１内の画素の画素値は角度座標軸３０に直行する線３７に沿って延びる角度変換画像２２の画素値に変換される。線３７は、例えば、その角度変換画像の縦方向列であってもよい。その角度変換画像内の画素値が入れられるその線３７、つまりその画像の縦方向列の位置はその画像２１内に上記線２７が配置されている角度によって決められる。同様に、投影点２３を通り画像２１の座標軸の１つに対して別の角度で配置されている別の線２８に沿って位置する画像２１の画素値はその角度変換画像内の別の線３８に沿って延びる別の縦方向列の角度変換画像２２の画素値に変換される。その他の線３８、つまりその角度変換画像内の画素値が入力される別の縦方向列の位置は、その線２８が画像２１内で配置される別の角度によって決められる。
【００４１】
世界座標系で路面に対して法線方向に延びている線は角度変換画像２２内の角度座標軸３０に対して直交方向３１に延びている。角度変換画像の１つの角度座標軸３０に対して直交方向に延びるそうした線は効率的に、そして信頼性に基づいて検出することができる。角度変換画像２２に対して適用される端部検出装置の実施使用については図８−１３を参照してより詳しく説明する。角度変換画像内で、角度座標軸３０に対して横方向に延びている特徴の検出は、特に、勾配応答と端部トレーシング技術を組み合わせて行われる。路面から直交方向に延びる障害物の線に属すると識別される特徴は角度座標軸３０に対して直交方向に延びており、従って、トレーシングを方向選択可能性に基づいて効率的に行うことができる。
【００４２】
画像２１内の１つの画像特徴が投影点２３を通過する線に沿って存在しているかどうかの判断はその画像座標系名の投影点の座標値に基づいて行われる。画像センサーの投影点の座標値は対応する画像センサーの内因的及び外因的パラメータに基づいて計算処理することができる。それら外因的及内因的パラメータは、例えば、車両視認システムの較正によって決めることができ、後日の使用のために記憶保存することができる。同様に、画像センサーの投影点を決めて障害物検出で繰り返し用いることができる。
【００４３】
光学によって引き起こされる可能性がある非直線的歪みが補正された後、世界座標系から画像へのマッピングを線形変換で記述することができる。そのマッピングを定義する対応マトリックスはそのカメラの外因的及び内因的なパラメータに基づいていてもよい。外部パラメータはそのカメラの向き及び地上からの高さを含むことができる。一般的に用いられているカメラ位置はピッチ角α及び偏揺角βでそのカメラが配置され、横揺れ角がない場所である。地上からの高さはｈで示される。内因的なパラメータには焦点距離ｆｕ及びｆｖ、及びＣｕ及びＣｖで与えられる光学的中心点の座標値を含んでおり、ここでｕとｖは角度変換が行われる前の画像基準の座標軸を意味している。半径方向の歪みを定義するパラメータや接線方向の歪みを定義するパラメータなどの追加的な内因的パラメータを用いることも可能である。歪みが補正されたか、あるいは歪みが捨てるできる程度のものである場合は、地上から画像への変換マトリックスは以下のように記述することができる。
【００４４】
【数１】
2013137767.tif 000003
この式の符号は以下の通り。
【００４５】
【数２】
2013137767.tif 000004
座標値Ｃｕ及びＣｖを有しているそのカメラの投影点は以下の式求められ、
【００４６】
【数３】
2013137767.tif 000005
その後で標準化を行って以下の式を得る。
【００４７】
【数４】
2013137767.tif 000006
上の式（１）から（４）で判定された投影点の座標値Ｃｕ及びＣｖを取り出して画像２１からの角度変換画像２２を計算処理する際に用いることができる。
【００４８】
処理装置１０によって行われる画像の処理について、図３−５を参照してさらに説明する。
【００４９】
図３は画像センサーが捉えた生画像データ４０を示している。この生画像この生データは魚眼レンズによる歪みのような非直線的な歪みを有している。光学によって起こされるこうした歪みは、その画像センサーの分かっている内因的パラータを用いて計算処理で補正される。
【００５０】
図４は光学によって起こされた非直線的な歪みを補正して得られた単一の画像４１を示している。第１の障害物２と第２の障害物３が上記単一画像４１内に示されている。第１の障害物と第２の障害物３の端部は世界座標系で路面に対して法線方向に延びている。画像４１で、上記第１及び第２の障害物２及び３の垂直方向の端部は投影点２３を通る線に沿って延びる画像特徴６１‐６４である。投影点２３を通る線４３−４７を例として図４に示す。線４３は第１の座標軸、例えば、画像基準フレームのｕ座標軸に対して角度４８で配列されている。線４４は画像基準フレームの上記第１の座標軸に対して角度４９で配列されている。分かっている画像基準フレーム内の投影点２３の座標値を用いて、上記単一画像４１を角度変換画像４２に変換することができる。
【００５１】
図５は画像４１に対して角度変換を行うことで得られた角度変換画像４２を示している。この角度変換画像４２の１つの座標軸３１は上記単一画像４１内の線の角度４８、４９と対応している。単一画像４１内の線４３に沿って位置する画素の画素値を用いて角度変換画像４２の１つの縦方向列を発生し、その縦方向列は角度座標軸３０に対して直交方向の線５３に沿って延びている。角度座標軸３０に沿った線５３の位置は角度４８によって決められる。単一画像４１内の線４４に沿って位置する画素の画素値は角度変換画像４２の別の縦方向列を発生するのに用いられ、その別の縦方向列は角度座標軸３０に対して直交方向の線５４に沿って延びている。角度座標軸３０に沿った線５４の位置は角度４９によって決められる。同様に、単一画像４１内の線４５に沿って位置する画素の画素値を用いて角度変換画像４２のさらに別の縦方向列が発生し、その縦方向列は角度座標軸３０に対して直交方向の線５５に沿って延びている。同様に、単一画像４１内の線４６に沿って位置する画素の画素値を用いて、角度変換画像４２のさらに別の縦方向列が発生し、その縦方向列は角度座標軸３０に対して直交方向の線５０に沿って延びている。同様に、単一画像４１内の線４７に沿って位置している画素の画素値を用いて角度変換画像４２のさらに別の縦方向列がつくりだされ、その縦方向列は角度座標軸３０に対して直交方向の線５７に沿って延びている。角度変換は投影点２３の座標値に基づいて行われ、二次元の角度変換画像４２をつくりだす。
【００５２】
角度変換は、単一画像２３内の投影点２３を通る線に沿って延びる変換対象の画像特徴を、その角度変換画像４３内の角度座標軸３０に対して直交方向に延びる特徴に変換させる。世界座標系では障害物３の垂直端部を示す画像特徴６１が、従って、角度変換画像４２内で角度座標軸３０に対して直交方向に延びる特徴６２に変換される。世界座標系で障害物３の別の垂直方向の端部を示す別の画像特徴６２は、角度変換画像４２内では、これも角度座標軸３０に対して直交方向に延びる特徴６６に変換される。世界座標系では障害物２の垂直端部を示している画像特徴６３は、角度変換画像４２では角度座標軸３０に対して直交方向に延びる特徴６７に変換される。世界座標系で障害物２の別の垂直端部を示す別の画像特徴６４は、角度変換画像４２内ではこれも角度座標軸３０に対して直交方向にのびる特徴６８に変換される。
【００５３】
角度変換画像４２内の特徴６５‐６８は適切な端部検出装置を用いて検出することができる。角度変換画像４２は二次元的な画像であるから、閾値比較は特徴６５‐６８の長さに対して行うことができる。角度変換画像４３内の所定の数の横方向列を超えて広がる長さを有する特徴のみを、路面に対して法線方向で有限の広がりを有する対象物の線を示すものとして識別することが可能である。閾値６９を図５に図式的に示してある。
【００５４】
図６は１つの実施の形態による方法７０のフロー図である。この方法は処理装置１０で実行することができる。この方法は上に図２−５を参照して述べた方法を実施するために行うことができる。
【００５５】
ステップ７１で、単一の画像が取り出される。その単一画像は運転者支援システムの単一画像センサーから直接取り出される。その単一画像センサーの光学物が魚眼レンズによる歪みのような非直線的な歪みを生じさせる場合は、これらの歪みを補正して単一画像を取り出すことができる。
【００５６】
ステップ７２で、二次元角度変換画像が発生される。この角度変換画像はステップ７１で取り出された単一画像とその単一画像の基準系内の画像センサーの投影点の座標値に基づいて発生する。この角度変換画像は、その画像の投影点を通る複数の線に関して、それぞれの線に沿って存在する画素がそれぞれその角度変換画像内の画素縦方向列に変換されるように発生することができる。
【００５７】
ステップ７３で、その角度変換画像内でその角度座標軸に対して横方向に延びる少なくとも１つの特徴が識別される。その特徴を識別するために、端部検出装置を用いることもできる。その端部検出装置は図８−１３を参照して以下に説明する。その少なくとも１つの特徴を識別する作業は、その特徴がその角度かくじつに画像の複数の画素に対してある長さを堅実さに有するようにするために、その少なくとも１つの特徴の長さに関する閾値比較を行うステップを含んでいてもよい。
【００５８】
その角度換画像内で角度座標軸に対して直交方向に延びる特徴は、その画像の投影点を通過する線に沿って存在する画像特徴に対応する。逆パースペクティブマッピング理論によれば、そうした画像特徴は世界座標系内の垂直線に対応している。
【００５９】
処理装置はその角度変換画像内で識別された特徴の座標値から、その車両に対する障害物の位置を判定することができる。角度変換はこの目的のために逆転される。その車両に対する障害物の位置を計算するために、そのカメラの外因的及び内因的パラメータを利用することができる。その障害物の位置は駐車支援など運転者支援機能のために用いることができる。
【００６０】
本発明の実施の形態による方法は、非直線的な歪みの補正など、いくつかの追加的なステップを含むことができる。これについては、図７を参照して説明する。
【００６１】
図７は１つの実施の形態による方法８０のフロー図である。この方法は処理装置１０で実行することができる。この方法は、図２−５を参照して上に説明した処理を実施するために行うことができる。
【００６２】
ステップ８１で、単一画像センサーが生画像データを捉える。この生画像データはその単一画像センサーの光学によって起こされた非直線的な歪みを含んでいる場合もある。単一画像センサーは生画像データを捉えるために、１つのＣＭＯＳ、ＣＣＤ、あるいはその他の電子光学チップを含んでいてもよい。その単一画像センサーは複数の画像を同時並列的に捉えるようには構成されてはおらず、具体的には、ステレオ・カメラではない。
【００６３】
ステップ８２で、画像センサーの光学によって生じた歪みが補正される。非直線的な歪みは半径方向及び／又は接線方向の歪みパラメータなどそのカメラの内因的なパラメータに基づいて補正することができる。光学によって生じた歪みを補正することで、単一画像が得られる。
【００６４】
ステップ８３で、その画像内での画像センサーの投影点が識別される。投影点は上に式（１）から（４）を参照して説明したように決められる。その投影点の座標値は対応する単一画像センサー用に運転者支援システムのメモリー内に記憶保存することもできる。その投影点の座標値はその投影点を通過する線に沿って延びるその画像内の画像特徴を識別するために取り出して使用することができる。
【００６５】
ステップ８４で、二次元角度変換画像が発生される。その角度変換画像を発生させる作業には、その角度変換画像の複数の画像縦方向列を発生させるステップを含めることができる。それら複数の画像縦方向列のそれぞれは、上記投影点を通過するその画像内の１つの線に沿って位置する画素の画素値に基づいて発生してもよい。その角度変換画像は、図２−５を参照して上に説明したように発生することができる。
【００６６】
ステップ８５で、その角度変換画像に端部検出装置が適用される。その端部検出装置はその角度変換画像内の縦方向列に沿って延びる特徴を検出するように構成することができる。種々の端部検出装置を用いることができる。具体的には以下に図８−１３を参照して説明するような端部検出装置を用いることができる。
【００６７】
ステップ８６で、閾値を上回るか少なくともそれと等しい長さを有する１つの特徴が検出されたかどうかが確認される。その閾値は少なくとも２つの画素に対応する所定の値を有している場合もある。より大きな閾値を用いることもできる。角度変換画像内でそうした特徴が検出されない場合は、ステップ８１に戻る。
【００６８】
その角度変換画像内でその角度座標軸に対して垂直方向に沿ってある長さで延びている特徴が識別されたら、この情報を運転者支援機能がステップ８７で用いることができる。この運転者支援機能はその車両が障害物に接近している場合にはその運転者に警告したり、グラフィック・ユーザー・インターフェースを制御してその障害物に対する情報を提供したり、車両構成部品を制御するために制御命令を送ったりするなど、種々の機能を単独かあるいは組み合わせで実行することができる。そして、ステップ８１に戻る。
【００６９】
その単一画像センサーによって捉えられた別の画像フレームに対してもその処理を繰り返すことができる。その処理が繰り返される場合には、世界座標系で路面に対して法線方向に延びている線を識別するために複数の画像からの情報を組み合わせる必要はない。障害物を識別するためにはただ１つの画像だけが必要なのであるから、処理を迅速に行うことが可能である。こうした処理をビデオ連続の各画像フレームに対して繰り返し行うことができる。
【００７０】
角度変換画像内の特徴の識別のためには、種々の端部検出装置を用いることができる。画像を角度変換された二次元画像上にマッピングする処理は、処理対象の特徴の方向が予め分かっているので、画像を処理し易くしてくれる。角度座標軸に対して垂直方向に延びている特徴の効率的な検出を可能にしてくれる端部検出装置の使用について、図８−１３を参照して以下に説明する。
【００７１】
一般的に、端部検出装置はＨａａｒ状特徴を検出するように作動させることができる。Ｈａａｒ状特徴の検出は、方向に関しては自由に選択しつつ行うことができるが、それは、その角度変換画像内の角度座標軸に対して垂直方向に延びる特徴を識別するからである。勾配応答が局所最大値でない画素の抑制及び／又は角度座標軸に対して横方向に行われるトレーシングなど、追加的な処理ステップを用いることも可能である。
【００７２】
図８は手順９０のフロー図である。手順９０は角度変換画像内での端部検出を実行するために用いることができる。手順９０は処理装置１０で実行することができる。手順９０は方法７０のステップ７３か方法８０のステップ８５で行うことができる。この手順９０を、さらに図９−１３を参照して以下に説明する。
【００７３】
一般的に、手順９０はステップ９１及び９２での勾配応答を判定するステップと、ステップ９３での局所最大値に対応しない勾配応答に関する画素を抑制するステップと、さらに、ステップ９４での端部をトレーシングするステップを含む場合もある。
【００７４】
ステップ９１及び９２で、その角度変換画像の複数の画素で勾配応答が判定される。勾配応答はそれぞれＨａａｒ状特徴に関する検出装置を用いて判定することができる。その角度変換画像内の角度座標軸に対して法線方向に沿って延びる特徴に反応を示す検出装置を用いることができる。従って、その検出装置はその角度座標軸に沿った画素値の変化あるいは勾配を検出するようなものであってよい。
【００７５】
図９は勾配応答に基づいたＨａａｒ状特徴の検出を示している。画素１０３での勾配応答を判定するために、第１の小矩形１０１内のすべての画素の画素値を総和するようにしてもよい。その角度変換画像の各画素の画素値を、例えば、０−２５５の範囲で含めるようにすることもできる。上記第１の小矩形１０１は１０５に示されている幅と１０４に示される高さを有している。その小矩形１０１内のすべての画素の画素値の総和をＳＡＢＣＤ  で示す。第２の小矩形１０２のすべての画素の画素値を総和することができる。第２の小矩形１０２も幅ｗと高さｈを有している。その第２の小矩形１０２内のすべての画素の画素値をＳＣＤＥＦで示す。第１の小矩形１０１と第２の小矩形１０２を合体させて規定される矩形は、画素１０３がその矩形に対して所定の位置、例えば、その矩形の中心近くになるように配置することができる。第２の小矩形１０２は角度座標軸に沿った方向で第１の小矩形１０１と近接している。
【００７６】
Ｈａａｒ状特徴に関する、つまり小矩形の任意の幅ｗと高さｈに対する任意の検出装置の勾配応答を以下のように定義することができる。
【００７７】
【数５】
2013137767.tif 000007
この式で、Ａ＝ｗ・ｈで、小矩形の面積を示している。その小矩形の高さと幅は角度変換画像の画素において測定することができる。ｗ＝１及びｈ＝１の場合は、その勾配応答はロバーツ演算子に対応する。式５に定義してあるような標準化を行うことで、その勾配応答をその画素値と同じ範囲、例えば０−２５５の範囲に含めることができる。
【００７８】
勾配応答を効率的に計算するために、範囲総和テーブルを用いることができる。説明のために、手順９０で、ステップ９１で範囲総和テーブルを計算するステップ９２で、勾配応答がその範囲総和テーブルを用いて計算される。その範囲総和テーブルは二次元アレイであってもよい。角度変換画像内に画素座標値ｘ及びｙを有している各画素に関して、以下の式で範囲総和テーブル内の対応する値が与えられる。
【００７９】
【数６】
2013137767.tif 000008
この式で、ｉ（ｘ’，ｙ’）は座標ｘ’，ｙ’でのその角度変換画像内の画素値を示している。座標（ｘ、ｙ）での範囲総和テーブルの値はその角度変換画像の上左隅（図５でその領域の上左隅及び上右隅に示されている画素値０が示されている）から対応する画素までの長方形の中の画素値の総和であることは理解されよう。この範囲総和テーブルはｘ及びｙのより小さな値からｘ及びｙのより大きな値の方向に回帰的に計算処理されるので、範囲総和テーブルの計算をを効率的に行うことができる。この範囲総和テーブルを用いれば、任意の矩形の画素値の総和を三回の加算または減算を行うだけで効率的に計算することができる。計算処理コストを妥当な範囲に抑えることで、対象物認識を迅速に行うことができ、その対象物をリアル・タイムあるいはリアル・タイムに近い状態で認識することが可能になる。
【００８０】
図１０は範囲総和テーブルを用いての矩形１１０に関する画素値の総和の計算を示している。矩形１１０は１１１に示される座標ｘｋ及びｙｋの隅Ｋと１１３に示される座標ｘＭ及びｙｋＭの隅Ｍ、そして、１１４に示される座標ｘＮ及びｙＮの隅Ｎを有している。矩形１１０内の画素値の総和Ｓｒｅｃｔは以下の式で判定される。
【００８１】
【数７】
2013137767.tif 000009
これら２つの計算処理は、式（５）による勾配応答を判定するために、図９に示す小矩形に関して行われる。
【００８２】
堅実ささをさらに増すために、複数の画素のそれぞれに対して１つの勾配応答だけでなく、複数の勾配応答を判定することも可能である。説明のために述べるとすれば、複数の画素のそれぞれに対して、図９に示すような、異なったサイズ、異なった高さ、異なった幅、そして異なった尺度を有する複数の小矩形を用いて、式（５）の評価を行うことができる。以下の処理で用いることができる有効な勾配応答Ｒｇは以下の式で定義することができ、
【００８３】
【数８】
2013137767.tif 000010
この式で、ｉは使われたＨａａｒ状特徴のための種々の探知装置に関するラベルである。説明として言えば、ｎつの異なった形状及び／又はｓの異なった尺度を用いることができ、その場合の指数ｉは１からｎ・ｓの範囲である。
【００８４】
勾配応答を判定するための他の記述を用いることもできる。説明のために言えば、複数の異なったＨａａｒ状特徴検出装置を用いることは必要条件ではない。
【００８５】
図９に示す手順９０に戻ると、勾配応答が空間分解的形態で判定された後、ステップ９３で、勾配応答が角度座標軸に沿った局所最大値を超えない画素の影響を減らすために、抑制が行われる。これによって、上に式（５）から（８）までを参照して説明したように判定された場合に、勾配応答が角度座標軸に沿って徐々に変化していくことが考慮される。この抑制は、複数の画素に関して、それぞれの画素での勾配応答が第１の近接した画素と、角度座標軸に沿ってその画素に近い第２の近接画素での勾配応答とそれぞれ比較される状態で実行することができる。その画素での勾配応答が第１の近接画素及び第２の近接画素の勾配応答の両方より大きくなければ、その画素での勾配応答をゼロなどのデフォールト値に設定することもできる。
【００８６】
図１１は角度変換画像の部位１２０での勾配応答を網掛けで示してある。縦方向に沿った特徴の場合は、その勾配応答は縦方向列１２２での局所最大値を有している。近接する縦方向列１２１及び１２３では、勾配応答が未だ有限であってもよい。非最大勾配応答の抑制にあたっては、画素１２５での勾配応答が上記第１の近接画素１２６及び上記第２の近接画素１２７での勾配応答と比較される。画素１２５での勾配応答は上記第１の近接画素１２６及び上記第２の近接画素１２７での勾配応答より大きいので、画素１２５での勾配応答はデフォールト値には設定されない。画素１２６での勾配応答が角度座標軸に沿って近接画素１２６に近接した２つの画素での勾配応答と比較され、画素１２６での勾配応答が画素１２５での勾配応答より小さいことが見出される。従って、画素１２６での勾配応答がデフォールト値、例えばゼロに設定される。
【００８７】
そうした抑制を行うことで、勾配応答が局所最大値に相当しない画素での勾配応答が抑制される。抑制後に得られる空間的に変化した勾配応答を１２９に示してある。抑制は縦方向列１２１及び１２３内の画素の対する勾配応答が、これらの縦方向列内での勾配応答が角度座標の関数としての局所最大値ではないので、デフォールト値、例えばゼロに設定される。
【００８８】
その他の技術も、勾配応答における人為的な夾雑物を抑制するために用いることができる。例えば、手順９０のステップ９１及び９２で判定された勾配応答に対して非線形関数を適用して、その勾配応答が大きい画素に関する信号を増幅したり、その他の方法で勾配応答を抑制することができる。さらに別の実施の形態では、ステップ９３で抑制を省略することも可能である。
【００８９】
手順９０で、角度座標軸に対して横方向に延びている直線的な特徴を検出するために、ステップ９４でトレーシングを行うことができる。このトレーシングハキャニー（Ｃａｎｎｙ）・トレーシングとして実行することができる。他の実施の形態では、関心を引きそうな特徴は一般的には角度座標軸３０に対して横方向に延びているという事実が利用される。このトレーシングは方向的な選択可能性をもって実行される。
【００９０】
ステップ９４でのトレーシングは閾値比較を行うことができ、この閾値比較では、多分非最大勾配応答を抑制した後で、勾配応答が第１の閾値と比較される。第１の閾値に対するこの比較に基づいて識別される各画素は縦方向列に沿って延びる特徴が認識される可能性のある点として識別される。そして、角度座標軸に対して垂直方向で識別された画素から補正された近接画素での勾配応答を第２の閾値と比較する。この第２の閾値は第１の閾値と比較して小さい。上記近接画素の１つあるいはいくつかでの勾配応答が第２の閾値より大きければ、この近接画素は角度変換画像内の角度座標軸に対して法線方向に延びている端部に属しており、路面に対して直交方向の世界座標系内の線に対応していると識別される。上記第２の閾値に対する閾値比較は角度変換画像内での角度座標軸に対して垂直に延びている特徴に属していると識別された画素の近接画素に対して繰り返し行われる。角度座標軸に対して法線方向に延びている特徴に属していると前の処理で識別されている画素に近接している画素での勾配応答がその第２の閾値より小さいか、最大でもそれと等しい場合は、この画素はその角度変換画像内の角度座標軸に対して法線方向に延びている特徴には属していないと識別される。
【００９１】
トレーシングは方向選択性可能性でもって実行することができる。例えば、トレーシングにおける角度座標軸に沿った１つの画素に近接している複数の画素での勾配応答に対して閾値比較を行うことは必ずしも必要ではない。関心のありそうな可能性のある特徴は、世界座標系で路面に対して法線方向に延びる線に対応する角度変換画像内の角度座標軸に対して横方向に延びる特徴である。
図１２はトレーシングを示している。図１２は角度変換画像の１つの部位１２０での勾配応答を網掛けで示してある。画素１３１で、勾配応答は閾値より大きい。その画素１３１に近接している近接画素１３２での勾配応答を第１の閾値よりは小さな第２の閾値と比較することによって、近接画素１３２は、その画素１３２での勾配応答が第１の閾値より小さくても、同じ垂直方向に延びる端部に属していると識別される。画素１３３が第２の閾値より小さな勾配応答を有していることが見出されるまで、トレーシングは方向選択可能性に基づいて行われる。この画素１３３は従ってその垂直端部に属してはいないと識別される。トレーシングは画素１３１からどちらの方向へも行うことができる。つまり、画素１３２からどの方向にでも補正されている横方向列内の画素に対しても、第２の閾値に対する閾値比較が行われる。例えば、画素１３１と画素１３４の間の画素は第２の閾値より大きな勾配応答を有していると識別される。これらの画素はその垂直方向の端部に属していると識別される。
【００９２】
図１３はトレーシングの１つの実行例をさらに示している。角度変換画像内の座標値（ｘ、ｙ）を有する画素１４１がその垂直方向端部に属していると識別された場合、画素１４１から角度座標軸に対して法線方向に補正されている６つの近接画素１４２−１４７での勾配応答を第２の閾値と比較することができる。これらの画素は座標値（ｘ−１、ｙ−１）、（ｘ、ｙ−１）、（ｘ＋１、ｙ−１）、（ｘ−１、ｙ＋１）、及び（ｘ＋１、ｙ＋１）を有している。第２の閾値より大きな勾配応答を有しているすべての近接画素１４２‐１４７はその垂直端部に属していると識別される。
【００９３】
トレーシング中、１つの垂直端部に対応する特徴の長さを判定することができる。例えば、図１２で、識別された特徴は長さ１３５を有している。閾値比較を行って、長さに関する閾値より小さいか、最大でもそれと等しい長さを有するすべての識別された特徴を排除することができる。これによって、見せかけのノイズを捨てることが可能になる。
【００９４】
トレーシングは別の方法でも実施できる。例えば、従来のキャニー・トレーシングを用いてもいい。
【００９５】
図８−１３を参照して上に説明した端部検出装置を用いることで、垂直方向の端部を効率的に検出することができる。範囲総和テーブルを用いることで、計算処理上の複雑さをほとんど伴わずに勾配応答を判定することができる。この端部検出装置は、Ｈａａｒ状特徴を検出するために用いられる小矩形のサイズが色々変わる場合に、多重スケール特性及びノイズに対する耐性を提供してくれる。勾配応答が角度座標軸に沿って局所最大値を有していない画素での勾配応答を抑制し、同時に、方向選択可能なトレーシングを行うことで、顕著な端部特性を把握することができる。
【００９６】
本発明の実施の形態に従って行われる画像処理は計算処理上の低いコストで障害物検出を可能にしてくれる。これによって、画像フレームが捕捉される逆速度と等しいか、あるいはそれ以下の時間内で対象物検出を行うことができる。対象物認識はリアル・タイムか、あるいはリアル・タイムに近い時間範囲で行うことができる。対象物認識に関する計算処理上のコストを低い範囲に維持することにより、障害物認識を他の追加的な処理と容易に組み合わせることができる。例えば、障害物認識をトラッキングと一体化することができる。これにより、性能がさらに向上する。本発明の実施の形態における障害物の効率的な検出は、障害物検出を低レベルあるいは中間レベルのハードウエア・プラットフォームで実行することを可能にしてくれる。
【００９７】
上記の端部検出装置を用いて、角度変換画像内の角度座標軸に対して横方向に延びる特徴を識別することができる。この処理装置は世界座標系での対応する線を障害物の端部に割り当てるできる。この画像処理の結果を運転者支援システムで用いることができる。例えば、この障害物検出に基づいて駐車支援機能を実行することができる。角度変換画像内で識別された特徴の座標値を処理装置で世界座標値に再度変換して、警告あるいは制御操作に用いることができる。警告操作には可聴及び／又は可視信号の発生が含まれていてもよい。例えば、運転者に対して路面に法線方向に延びる障害物を警告するためにカラー・コーディングを用いることもできる。
【００９８】
上に本発明の実施の形態による方法及びシステムについて詳細に述べたが、その他の実施の形態でそれらの方法やシステムの修正を行うことも可能である。例えば、端部検出装置の実施について上に述べたが、その他の端部検出装置の実施の形態をその他の実施の形態において角度変換画像に適用することもできる。
【００９９】
さらに、駐車支援機能などの例示的な適用範囲について上に述べたが、実施の形態による方法及びシステムは衝突警報、衝突予測、衝突が起きると予測された場合のエアバッグその他の安全装置の起動、距離測定などにも用いることができる。
【図１】
2013137767.tif 000011
【図２】
2013137767.tif 000012
【図３】
2013137767.tif 000013
【図４】
2013137767.tif 000014
【図５】
2013137767.tif 000015
【図６】
2013137767.tif 000016
【図７】
2013137767.tif 000017
【図８】
2013137767.tif 000018
【図９】
2013137767.tif 000019
【図１０】
2013137767.tif 000020
【図１１】
2013137767.tif 000021
【図１２】
2013137767.tif 000022
【図１３】
2013137767.tif 000023