(57)【要約】【課題】スミアの発生方向を考慮してＣＣＤイメージセンサのカメラ（ＣＣＤカメラ）の設置を工夫することなく、簡単なエッジ検出の画像処理により撮影画像のスミアの除去および高輝度のノイズの低減の両方が同時に行なえるようにする。【解決手段】画像処理ユニット３の水平エッジ検出部３１、垂直エッジ検出部３２により、ＣＣＤカメラ２の撮影画像Ｐｉの水平方向エッジ画像Ｐｈおよび垂直方向エッジ画像Ｐｖを生成する。このとき、スミアがＣＣＤカメラ２の撮影画像Ｐｉの垂直、水平いずれかの方向に発生しても、両方向のエッジ画像Ｐｈ、Ｐｖのいずれか一方にのみスミアが含まれ、他方にはスミアが含まれなくなる。そして、画像処理ユニット３の論理積演算部３３により両エッジ画像Ｐｈ、Ｐｖの論理積を演算し、演算結果の区分線の検出対象の画像Ｐｈｖとしてスミアが除去された画像Ｐｈｖを形成し、同時に、撮影画像Ｐｉに散在する高輝度のノイズも低減する。【選択図】図２
2010224707.tif 000002
【特許請求の範囲】
【請求項１】
自車に搭載したＣＣＤイメージセンサ構成のカメラの撮影画像の画像処理により自車の走行車線の区分線を検出して自車の走行を支援する走行支援制御装置において、
前記撮影画像の水平方向、垂直方向のエッジ検出の画像処理により、前記撮影画像の水平方向エッジ画像および垂直方向エッジ画像を生成するエッジ画像生成手段と、
前記区分線の検出対象の画像として前記水平方向エッジ画像と前記垂直方向エッジ画像の論理積の画像を生成する論理積演算手段とを備えたことを特徴とする走行支援制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車に搭載したＣＣＤイメージセンサ構成のカメラの撮影画像の画像処理により自車の走行車線の区分線を検出して自車の走行を支援する走行支援制御装置に関し、詳しくは、撮影画像のノイズの低減・除去に関する。
【背景技術】
【０００２】
従来、車線逸脱の警報や防止（レーンキープとも呼ばれる）の走行支援制御装置を備えた車両は、自車に搭載されたＣＣＤイメージセンサ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ  Ｉｍａｇｅ  Ｓｅｎｓｏｒ）構成のカメラ（以下、ＣＣＤカメラという）により、自車の走行車線両側の区分線（通常は白線）を含む自車の前方または後方を撮影し、その撮影画像の画像処理により前記区分線を検出する。さらに、検出した区分線および自車の走行状態等に基づき、走行中の自車が走行車線から逸脱する可能性を判断して、逸脱の警報または制御（例えば操舵修正の制御）を行なって自車の走行を支援する。
【０００３】
この場合、ＣＣＤカメラを搭載する理由の１つは、ＣＭＯＳイメージセンサ構成のカメラでは撮影が困難になる夜間等の低照度環境下においても前記区分線の検出に十分な明るさの撮影画像を得るためである。
【０００４】
しかしながら、ＣＣＤカメラは撮影画像中に太陽等の高輝度の光源が含まれると、撮影画像の垂直方向または水平方向に直線状のスミアが発生する。
【０００５】
図４は中央上部の破線で囲んだ太陽ａの強い光に基づき、１点破線＃１で囲んで示した垂直方向のスミア（白線）ｂが発生した撮影画像Ｐｉの一例を示し、スミアｂの太さは自車の走行車線ｃの両側の区分線ｄに略等しくなっている。
【０００６】
この場合、撮影画像Ｐｉからのエッジ検出等によって区分線ｄを検出すると、スミアｂを区分線ｄとして誤検出する可能性があり、その結果、逸脱の可能性を誤判断する可能性がある。
【０００７】
そこで、スミアｂが撮影画像Ｐｉに必ず水平方向に発生するようにＣＣＤカメラを設置し、スミアｂの方向と区分線ｄの方向とが大きく異なるようにして前記の誤検出を防止することが提案されている（例えば、特許文献１（要約書、段落［００１８］−［００２２］、図２、図３等）参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００１−２１３４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１に記載の発明のように、撮影画像Ｐｉに必ず水平方向のスミアｂが発生するようにＣＣＤカメラを設置し、スミアｂの発生方向を撮影画像Ｐｉの区分線ｄと大きく異なる方向にしたとしても、スミアｂを除去するため、例えば撮影画像の垂直エッジ画像を生成して水平方向に発生したスミアｂを除去し、スミアｂを除去した前記垂直エッジ画像から区分線ｄを検出する必要がある。
【００１０】
さらに、太陽等の高輝度の光源の光が路面の継ぎ目等で反射することにより、ＣＣＤカメラの撮影画像Ｐｉは、実際には図４の例えば１点破線＃２で囲んだ部分等に高輝度のノイズが散在し、これらの高輝度のノイズによっても区分線ｄを誤検出して逸脱を誤判断する可能性がある。そのため、撮影画像Ｐｉに前記高輝度のノイズを低減するフイルタ処理を施す必要もある。
【００１１】
すなわち、従来の走行支援制御装置の場合は、撮影画像Ｐｉに必ず水平方向のスミアｂが発生するようにＣＣＤカメラを設置する必要があるとともに、スミアｂを除去する処理と、前記高輝度のノイズを低減する処理とを別々に行なう必要があり、処理および構成が複雑化して高価になる問題がある。
【００１２】
本発明は、スミアの発生方向を考慮してＣＣＤカメラの設置を工夫することなく、簡単なエッジ検出の画像処理により撮影画像のスミアの除去および高輝度のノイズの低減の両方が同時に行なえるようにすることを目的とする。
【課題を解決するための手段】
【００１３】
上記した目的を達成するために、本発明の走行支援制御装置は、自車に搭載したＣＣＤカメラの撮影画像の画像処理により自車の走行車線の区分線を検出して自車の走行を支援する走行支援制御装置において、前記撮影画像の水平方向、垂直方向のエッジ検出の画像処理により、前記撮影画像の水平方向エッジ画像および垂直方向エッジ画像を生成するエッジ画像生成手段と、前記区分線の検出対象の画像として前記水平方向エッジ画像と前記垂直方向エッジ画像の論理積の画像を生成する論理積演算手段とを備える（請求項１）。
【発明の効果】
【００１４】
請求項１に係る本発明の走行支援制御装置の場合、スミアがＣＣＤカメラの撮影画像に垂直、水平いずれの方向に発生しても、エッジ画像生成手段により撮影画像の水平方向エッジ画像および垂直方向エッジ画像を生成すると、両方向のエッジ画像のいずれか一方にのみスミアが含まれ、他方にはスミアが消えて含まれなくなる。そして、論理積演算手段により両方向エッジ画像の論理積を演算することにより、演算結果の区分線の検出対象の画像はスミアが除去された画像になる。同時に、撮影画像Ｐｉに散在する高輝度のノイズも、論理積演算手段の論理積の演算によって低減される。
【００１５】
したがって、スミアの発生方向を考慮してＣＣＤカメラの設置を工夫することなく、簡単で安価なエッジ検出の画像処理により、撮影画像のスミアの除去および高輝度のノイズの低減の両方を同時に行なうことができ、区分線検出の処理および構成の簡素化を図る。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態のブロック図である。
【図２】図１の一部の詳細なブロック図である。
【図３】本発明の処理過程の画像の説明図である。
【図４】スミアが発生した撮影画像例の説明図である。
【発明を実施するための形態】
【００１７】
つぎに、本発明をより詳細に説明するため、一実施形態について、図１〜図４を参照して詳述する。
【００１８】
図１は自車１が備える本発明の走行支援制御装置を示し、ＣＣＤカメラ２は自車１のインナーミラーの近傍、換言すれば、自車１の車幅方向の略中央に、前方または後方を撮影し、その撮影画像が例えば図４に示した撮影画像Ｐｉのように区分線ｄを含むように取付けられる。なお、ＣＣＤカメラ２は通常は前方を撮影する向きに取付けられるが、例えば車線変更の際のバックモニタを兼ねるような場合には、後方を撮影する向きに取付けられる。このとき、ＣＣＤカメラ２はスミアｂの発生方向を考慮することなく横置または縦置に前記インナーミラーの近傍取付けられ、その撮影画像Ｐｉはスミアｂの発生方向が垂直方向または水平方向になる。
【００１９】
そして、ＣＣＤカメラ２は自車１の走行中に設定されたフィールド周期（またはフレーム周期）でくり返し前方または後方を撮影し、このとき得られる例えば図４に示す撮影画像Ｐｉは、スミアｂの高輝度の白飛びが垂直方向に発生し、また、太陽ａの強い光が道路等で反射して発生した高輝度ドットのノイズが含まれる。なお、道路に沿った区分線ｄは必ず撮影画像Ｐｉの斜め方向の線分になる。
【００２０】
つぎに、ＣＣＤカメラ２の撮影画像Ｐｉはマイクロコンピュータ構成の画像処理ユニット（画像処理ＥＣＵ）３に取り込まれる。この画像処理ユニット３は本発明のエッジ画像生成手段、論理積演算手段を形成する。エッジ画像生成手段は撮影画像Ｐｉの水平方向、垂直方向のエッジ検出の画像処理により、撮影画像Ｐｉの水平方向エッジ画像Ｐｈおよび垂直方向エッジ画像Ｐｖを生成する。論理積演算手段は、区分線ｄの検出対象の画像として水平方向エッジ画像Ｐｈと垂直方向エッジ画像Ｐｖの論理積の画像Ｐｈｖを生成する。
【００２１】
図２は画像処理ユニット３の構成を示し、図３は水平方向エッジ画像Ｐｈ、垂直方向エッジ画像Ｐｖ、論理積の画像Ｐｈｖの例を示す。そして、ＣＣＤカメラ２の撮影画像Ｐｉは水平エッジ検出部３１および垂直エッジ検出部３２に入力される。
【００２２】
水平エッジ検出部３１は例えば撮影画像Ｐｉの垂直方向（上下方向）の各隣接２画素の輝度の差を求めて撮影画像Ｐｉを垂直方向に微分し、その微分画像を設定された閾値で２値化して水平方向エッジ画像Ｐｈを生成する。このとき、水平方向エッジ画像Ｐｈは垂直方向のスミアｂが消えて含まないようになる。
【００２３】
垂直エッジ検出部３２は例えば撮影画像Ｐｉの水平方向（左右方）の各隣接２画素の輝度の差を求めて撮影画像Ｐｉを水平方向に微分し、その部分画像を設定された閾値で２値化して垂直方向エッジ画像Ｐｖを生成する。このとき、垂直方向エッジ画像Ｐｖには垂直方向のスミアｂが残る。
【００２４】
なお、区分線ｄは水平、垂直の両方向のエッジ成分を含むので、両エッジ画像Ｐｈ、Ｐｖに含まれる。また、撮影画像Ｐｉの前記高輝度のノイズには、水平、垂直の両方向のエッジ成分を含むものやいずれか一方のエッジ成分を含むもの等が混在し、いずれか一方のエッジ成分のみを含むものや他方のエッジ成分のレベルが低いものは、他方のエッジ画像Ｐｖ、Ｐｈからは消える。
【００２５】
そして、水平エッジ検出部３１の水平方向エッジ画像Ｐｈ、垂直エッジ検出部３２の垂直方向エッジ画像Ｐｖは論理積演算部３３に入力され、論理積演算部３３は例えば両エッジ画像Ｐｈ、Ｐｖの各画素毎に論理積を演算して論理積の画像、すなわち、演算結果の区分線ｄの検出対象の画像Ｐｈｖを生成する。このとき、画像Ｐｈｖにはスミアｂが含まれない。また、前記高輝度のノイズも低減される。
【００２６】
さらに、画像Ｐｈｖが図１の逸脱検出ユニット４に取り込まれ、逸脱検出ユニット４は周知の区分線検出（白線検出）の画像処理により画像Ｐｈｖから区分線ｄを検出して自車１の走行車線ｃを認識し、走行車線ｃの情報および、自車１の車速、加速度、操舵角等からの自車１の走行方向の予測に基づき、自車１の走行の走行車線ｃからの逸脱の可能性を検出する。
【００２７】
このとき、画像ｈｖからスミアｂが消え、同時に、前記高輝度のノイズも低減されているので、それらに基づく区分線ｄの誤検出がなく、自車１の走行車線ｃからの逸脱の可能性の検出精度が著しく向上する。
【００２８】
そして、自車１が走行車線ｃから逸脱しそうになると、逸脱検出ユニット４の検出に基づき、警報部５から警報音や警報メッセージを発生する。また、操舵制御アクチュエータ６のパワーステアリング制御により、逸脱回避の操舵修正制御を実行する。
【００２９】
ところで、ＣＣＤカメラ２の設置によっては、スミアｂは撮影画像Ｐｉに水平方向に発生するが、この場合は、垂直方向エッジ画像Ｐｖの水平方向のスミアｂが消えて画像Ｐｈｖにはスミアｂが含まれなくなる。また、ＣＣＤカメラ２をどのように設置しても前記高輝度のノイズは発生するが、両エッジ画像Ｐｈ、Ｐｖの論理積の演算により画像Ｐｈｖの前記高輝度のノイズは低減される。
【００３０】
したがって、スミアｂの発生方向を考慮してＣＣＤカメラ２の設置を特別に工夫することなく、画像処理ユニットの簡単なエッジ検出の画像処理により撮影画像のスミアｂの除去および前記高輝度のノイズの低減の両方を同時に行なうことができ、区分線ｄの検出の処理および構成の簡素化を図り、自車１の走行車線ｃからの逸脱の可能性の検出精度を著しく向上して走行支援性能を向上することができる。
【００３１】
そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、自車１のＣＣＤカメラ２の取り付け個所は、インナーミラーの近傍でなくてもよいのは勿論であり、サイドミラーの近傍等の車体の左右側であってもよい。
【００３２】
また、区分線ｄの検出結果は、車線逸脱防止以外の走行支援制御に用いてもよいのは勿論である。
【００３３】
つぎに、画像処理ユニット３の構成等は前記実施形態の構成に限られるものではない。
【００３４】
そして、本発明は、種々の車両の走行支援制御装置に適用することができる。
【符号の説明】
【００３５】
１  自車
２  ＣＣＤカメラ（ＣＣＤイメージセンサのカメラ）
３  画像処理ユニット
３１  水平エッジ検出部
３２  垂直エッジ検出部
３３  論理演算部
Ｐｉ  撮影画像
Ｐｈ  水平エッジ画像
Ｐｖ  垂直エッジ画像
Ｐｈｖ  論理積の画像
ｂ  スミア
【図１】
2010224707.tif 000003
【図２】
2010224707.tif 000004
【図３】
2010224707.tif 000005
【図４】
2010224707.tif 000006