(57)【特許請求の範囲】
【請求項１】
三色のカラー信号を個別に取り出すことが可能な撮像デバイスを備え、車両に搭載されて当該車両が走行する路面を撮影し、得られた映像に対して路面上の車線の認識処理を行う車載用の画像処理カメラ装置において、
前記撮像デバイスにより得られる三色のカラー信号をそれぞれ独立して取り込み、前記カラー信号の組み合わせを変えて加算を行い、その結果に対して認識対象物と背景のコントラストを計算し、前記路面と路面上の車線マーカとが最大のコントラストとなる組み合わせを得て、前記車線の認識処理計算を行うことを特徴とする車載用画像処理カメラ装置。
【請求項２】
請求項１において、
前記三色のカラー信号の組み合わせは、三原色Ｒ，Ｇ，Ｂの全ての組み合わせ、または前記三原色と等価変換可能な輝度信号と色差信号との全ての組み合わせについて、それぞれ車線マーカと路面とのコントランスを評価して得ることを特徴とする車載用画像処理カメラ装置。
【請求項３】
請求項１において、
前記認識対象に黄線の車線マーカが含まれる場合、前記撮像デバイスの赤と緑の出力信号を加算した組み合わせを得ることを特徴とする車載用画像処理カメラ装置。
【請求項４】
請求項１、２または３において、
撮像デバイスのカラー信号を一旦メモリに取り込んだ後、各色の画像情報を加算することにより、合成画像を得ることを特徴とする車載用画像処理カメラ装置。
【請求項５】
請求項１、２または３において、
前記認識対象物のコントラストを評価する場合に、撮像画面に対して車のヘッドランプの照射範囲内で水平方向に検査ラインを設け、この検査ライン上で、コントラストの評価を行うことを特徴とする車載用画像処理カメラ装置。
【請求項６】
請求項１乃至５のいずれかにおいて、
前記撮像デバイスはＣＭＯＳセンサであり、
前記映像のうち空部分を除いた撮像画像領域を用いて、前記路面と路面上の車線マーカとが最大のコントラストとなる前記カラー信号の組み合わせを選択することを特徴とする車載用の画像処理カメラ装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は車載用の画像処理カメラ装置に関し、特にカラーの撮像デバイスを使用した画像の認識性能を向上するための前処理に関する。
【０００２】
【従来の技術】
近年、車両に画像認識処理機能を有する画像処理カメラを応用したシステムの開発が多くなされている。例えば、図２に示すように、白線を認識する車載用の画像処理カメラ装置は、画像処理カメラ１を車両２のフロントガラスの内側に設置して、車両前方の路面３を撮影する。
【０００３】
図３は画像処理カメラ１で撮影した路面の画像例で、道路の境界を示す白線３１、車線の中央分離を示すセンターライン３２、路面３０を表示している。３３は地平線である。
【０００４】
車線認識装置は、この白線３１、３２を認識してそれらの線分の傾きを計算することに車線に対する自車の向きおよび、白線３１、３２までの距離を測定することにより、自車の横方向位置を検知する。この白線認識結果を用いて、車線からの逸脱警報や、自動車線維持システムなどが構築できる。このような装置の例は、特開平１１−２４２７３５号等に詳しい。
【０００５】
このような白線認識装置は、白線が明瞭に撮像される場合には極めて安定に動作し、白線認識が行われる。図４に白線認識の構成例を示す。画像処理装置１は、カメラ１１で撮影された映像信号を画像取込み回路１２およびマイコン１６に内蔵されているダイレクト・メモリ・アクセス回路（ＤＭＡ）１６０により、書き込み・読み出し可能なメモリ（ＲＡＭ）１４に取り込み、読み出し専用メモリ（ＲＯＭ）１５に記憶されたプログラムにしたがい、例えば、白線の認識がなされる。認識結果は、通信ポート１６１を経由して、警報装置などに送り出される。
【０００６】
車載環境では、撮像対象の路面の明るさが大きく変わるため、カメラ１１の感度をダイナミックに変更する必要がある。このため、マイコン１６から内蔵の通信回路１６２を介して、カメラ１１に明るさを制御するコマンドを送るようにしている。
【０００７】
【発明が解決しようとする課題】
従来、白線の認識などに使用される撮像デバイスは白黒カメラが多く用いられている。カラーデバイスが用いられる場合にも、輝度信号のみを使用するのが通例である。言い換えれば、カラー情報の特性を用いて効率的に白線などの車線マーカを認識する例は見当たらない。
【０００８】
日本の道路環境においては、白線の他に黄色線が車線マーカとして使われている。このため、白線の認識を中心に考えると、黄色線の認識率が低下する問題がある。この問題を、解決する方法として、例えば三菱電機技報（Ｖｏｌ．７４，Ｎｏ．９，２０００年，頁４３）に開示されている技術がある。同技報によれば、特殊な光学フィルタを使うことにより黄色線の認識率の向上を図っている。しかしながら、光学フィルタを採用するため、光学系が複雑になる他、認識対象物の特性に応じて、柔軟にフィルタ特性を変更することは困難である。
【０００９】
本発明の目的は、上記した従来技術の問題点に鑑みなされたものであり、特殊な光学フィルタを使用せず、認識対象に対して柔軟に対応でき、しかも認識性能の高い車載用の画像処理カメラ装置を提供することにある。
【００１０】
【課題を解決するための手段】
本発明では、カラーの撮像デバイスの色信号を個別に取り出し、それらの信号の最適な組み合せをダイナミックに変更することにより、前記目的を達成するようにしたものである。
【００１１】
例えば、道路に引かれた車線マーカの認識において、黄線が混在する場合には、車線マーカのコントラストが大きくなるように赤成分と緑成分の画像情報から、黄色の画面を合成し、その合成画面に対して認識処理を行う。
【００１２】
また、より一般的には、三原色の組み合わせ、すなわち、Ｒのみ，Ｇのみ、Ｂのみ、ＲとＧの和、ＲとＢの和、ＢとＧの和，ＲとＧとＢの和の場合について、それぞれ背景（例えば路面）と認識対象（例えば車線マーカ）とのコントラストを評価し、最大のコントラストが得られる組み合わせの合成画面に対して認識処理を行う。
【００１３】
本発明は車線マーカの認識に限られない。例えば、信号機等の認識も可能である。このように、さまざまな環境下に適応して、コントラストの最大となる画像を合成することにより、より良い認識結果を得ることができる。
【００１４】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。図１は、一実施例による車載用画像処理カメラ装置のブロック図を示す。本ブロックは図４の従来例と基本的に同一で、同一の記号は同一の要素である。異なる点は、カメラ部をカラー出力とし、赤Ｒ、緑Ｇ、青Ｂの三原色を取り込む様にし、それにあわせて取り込み回路１２も同じような対応を行っているところにある。
【００１５】
図５にカメラ１１の詳細な回路例を示す。ＣＭＯＳによる画像センサ１１０、カメラの信号処理を行うＣＤＳ／ＡＧＣ回路１１１、映像をデジタル信号に変換するＡＤＣ１１２および制御回路１１３からなる。ＣＤＳ／ＡＧＣ回路１１１は、外部から通信によりコマンドを受けて、映像アンプのゲインを変更できる機能を有する。ＡＤＣ１１２はＲ，Ｇ，Ｂの三原色をＡＤ変換して出力する機能を有する。さらに制御回路１１３は外部から通信によりコマンドを受けて、ＣＭＯＳセンサ１１０を制御していわゆる電子シャッタ制御を行うことができる。最近このような回路すべてを１チップで構成された物が提供されはじめており、容易に回路を実現することができる。
【００１６】
本実施例では、三原色ＲＧＢで取り込む様にしている。しかし、輝度信号と色差信号の組み合わせで表現された信号形式は三原色ＲＧＢと等価変換できるので、この信号形式を用いてもよいことは言うまでもない。
【００１７】
図６に、マイコン１６が行なう処理動作のフローチャートを示す。マイコン１６のプログラムはＲＯＭ１５に記憶されており、電源が投入されると、ＲＯＭ１５に記憶されたプログラムが起動する。
【００１８】
まず、Ｓ１０において初期化が行われる。このステップでは、マイコンの内部のレジスタ設定、通信回路の設定、必要に応じてＲＡＭ１４の所定領域のクリア処理が行われる。
【００１９】
次に、Ｓ１１において、カメラ１１の感度設定が行われる。通常は、撮像結果を処理したフィードバック処理を行うが、初期化処理の直後は、デフォルトの感度に設定される。
【００２０】
図７にカメラ感度設定の詳細フローを示す。まず、Ｓ１１０において、初期化Ｓ１０の直後か否かの判定を行う。初期化直後であれば、カメラ感度調整を行うために必要な映像が取れていないので、Ｓ１１２において、デフォルトの明るさを設定し、Ｓ１１３に移行する。初期化直後でなければ、前回撮影した映像を使い明るさを測定する。
【００２１】
図８に明るさ測定の説明図を示す。明るさの測定は、画面の規定領域のデータを取り込み平均的な明るさを計算する。例えば、晴天の空を計算の対象の入れると、必要以上に感度を落とすことになり、結果として、認識対象である車線マーカ３１、３２と路面３０を正しく撮影できなくなる。
【００２２】
例えば、撮像デバイスがＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）であれば、太陽３４が視野に入った場合、路面３０に感度を合わせると、太陽３４の明るさにより、いわゆるスミア現象が発生し、大きな縦縞３５が画面に現れ、場合によっては認識対象物がスミアにより、隠されてしまう問題が発生する。しかし、本実施例ではＣＭＯＳセンサを使用している。ＣＭＯＳセンサはＣＣＤとは異なり、映像信号の転送方式が異なるため、スミア現象が発生し難くなるため、良好な認識結果が得られる。
【００２３】
再び、図７に戻り説明を継続する。Ｓ１１３においては、測定した明るさに基づき、シャッタ速度を計算する。Ｓ１１４においては、ＡＧＣのゲイン値を決定する。Ｓ１１５においては、上記で求めたシャッタ速度値およびＡＧＣ値をカメラ１１に通信により送信する。
【００２４】
なお、カメラ感度設定の方法は、いわゆる電子シャッタの速度と映像信号の増幅器のゲイン調整を組み合わせて行われるが、この内容については周知の技術で対応可能である。
【００２５】
次に、図６に戻って説明を継続する。Ｓ１２においては、映像データの取り込みが行われる。これは、画面１枚分の映像データを赤（Ｒ）緑（Ｇ）青（Ｂ）の各色毎にＳＲＡＭ１４に取り込む動作である。
【００２６】
Ｓ１３においては、取り込まれた赤（Ｒ）緑（Ｇ）の各色毎のデータを対応するピクセル毎に加算を行い、ＳＲＡＭ１４の所定の領域に記憶する。しかる後に、路面３０と車線マーカ３１、３２との間のコントラストを算出する。詳細は後述する。Ｓ１４においては、同様に赤（Ｒ）緑（Ｇ）青（Ｂ）の和を求め、同様に路面３０と車線マーカ３１、３２との間のコントラストを算出する。
【００２７】
Ｓ１３、Ｓ１４の処理は、図９に示すように、計算すれば効率的である。すなわち、メモリに記憶されたＲとＧの加算を行いメモリの記憶する（Ｒ＋Ｇ）。さらにＲ＋Ｇに対して、Ｂのデータを加算して同様にＳＲＡＭ１４に記憶する。
【００２８】
次に、Ｓ１３とＳ１４におけるコントラストの評価の方法について説明する。図１０は車両から道路を見た画像を示す。ここでは、説明のため路肩側の車線マーカ３１の色を白、センターライン３２を黄としてある。この画像イメージはそのまま各色毎にメモリに取り込まれており、上述したように、Ｒ＋ＧとＲ＋Ｇ＋Ｂのそれぞれについても同様な形で、メモリ上に計算されて記憶されている。
【００２９】
ここで、コントラストを評価する検査ラインをメモリ上に設ける。これは、夜間走行時に、車のヘッドランプにより照らされた場合に対応するものであり、横方向で明るさがあまり変化しないように考慮したものである。
【００３０】
図１１に、上記検査ラインを横軸にして輝度変化をとった例を示す。実線は、Ｒ＋Ｇ＋Ｂの輝度値であり、破線はＲ＋Ｇの輝度値である。Ａ部は図１０のＡ部で白線３１に相当する輝度であり、Ｂ部は同様にセンターライン３２に相当する輝度である。
【００３１】
Ｒ＋Ｇ＋Ｂの場合は白線部分（Ａ部）で輝度が高く、Ｗｒｇｂの値を取っている。また黄線部（Ｂ部）では輝度が多少低下するため、少し低い輝度値Ｙｒｇｂを取る。白線、黄線以外の路面部では、黒が主体のため、輝度値が低く、平均的な値Ｂｒｇｂを取る。
【００３２】
一方、Ｒ＋Ｇによる輝度値分布は破線のようになる。すなわち、白線部（Ａ部）では、青成分を除去している分、Ｗｒｇｂより少し低いＷｒｇの輝度値を取る。一方、黄線部（Ｂ部）では、もともと黄色が主体のため、Ｙｒｇｂに対して検出輝度値の落ち込みは少なく、Ｙｒｇの値を取る。同様に路面部分はＢｒｇｂよりも低い輝度値Ｂｒｇの値を取る。
【００３３】
車線マーカ部（Ａ，Ｂ部）とそれ以外の路面部との輝度値の比がコントラストとなる。この特性から判断すると、白線部においてはＲ＋Ｇ＋ＢとＲ＋Ｇのコントラストはあまり変化しない。一方、黄線部においては、Ｒ＋Ｇのコントラストが最大となる。すなわち、図１１のごとき特性を有する場合には、Ｒ＋Ｇの方がコントラストを高く取れるため、認識しやすいということになる。
【００３４】
図６に戻り説明を継続する。Ｓ１５では上述したように、コントラスト特性の比較を行う。Ｓ１６においては、Ｓ１５でより大きいコントラストが得られる合成画像に対して、認識を行う。Ｓ１７においては、上位システムに認識結果を通信にて送信する。なお、白線認識の手段は、たとえば、特開平６−３３３１９２号などに記載されているように、映像から画像微分等の手段を用いて、白線部分の候補点を複数求め、直線近似などの手段により、白線部分を推定することで実現できる。
【００３５】
一般に昼間の場合には、図１１に示したような特性が得られるが、夜間になると明るさが低下するため、必ずしも、Ｒ＋Ｇが高いコントラストが得られる保証はない。そのような場合に、Ｓ１５において、各組み合わせの中から評価することにより、より高いコントラストの合成画像を使うことができる。これによれば、固定の光学フィルタを使う方式に比べて柔軟性が高くなる。また、本実施例では、演算処理が少なくてすむので、演算処理が多少遅くても目的の機能を実現できるという特徴も有している。
【００３６】
以上は、車線マーカが白線と黄線の場合を前提に説明したが、車線マーカがその背景である路面の色、あるいは光線の当たり具合、例えば、夕日、朝日では光線のスペクトルが変わるため、より柔軟な対応が必要になる。
【００３７】
図１２に車線マーカと路面の三原色による各輝度を示す。図１０の赤（Ｒ）の出力値で説明すると、Ｗ１ｒは車線マーカ３１の検出輝度値であり、Ｗ２ｒは車線マーカ３２の検出輝度値である。Ｂｒは路面３０の検出輝度値である。緑（Ｇ）および、青（Ｂ）についても同様に、Ｗ１ｇ，Ｗ２ｇ，Ｂｇ，Ｗ１ｂ、Ｗ２ｂ，Ｂｂでそれぞれの輝度値を表している。
【００３８】
以前にも説明したように、車線マーカの認識を最善にするためには、一方の車線マーカのみではなく、両方の車線マーカのコントラストが最大になるようにする必要がある。そのための方法について説明する。
【００３９】
図１３は、図１２に示した三原色の値を組み合わせた値を示したものである。例えば、画面Ｒ＋Ｂは、赤（Ｒ）と青（Ｂ）の情報を用いて画面を合成した場合であり、Ｓとして、Ｗ１ｒ、Ｗ２ｒ，Ｗ１ｂ，Ｗ２ｂを加算する。一方、背景となる路面に対しては、ＮとしてＢｒとＢｂを加算する。コントラストとしては、ＳをＮで除した値（Ｓ／Ｎ）になる。その他の組み合わせについても同様となるため詳細は省略する。最善の組み合わせは、図中のＳ／Ｎの列から最大の値を取る組み合わせを選択すればよい。以上のアルゴリズムについては、図１におけるマイコン１６の演算処理により実現される。
【００４０】
次に、本発明の他の実施例として、信号機の認識に応用した例を示す。図１４は図１のカメラ１１が撮像した映像である。信号機３６が道路の傍らに設置されている。信号機３６のランプ色を認識するためには、赤、黄、緑の中から輝度が高いランプを特定すればよい。なお、日本においては、信号機のランプは左から緑、黄、赤の順番に並んでいるので、必ずしも色そのものを認識しなくても、輝度だけで点灯色の推定が可能な場合がある。
【００４１】
信号機の認識の場合、上述した路面上に書かれた白線とは異なり、信号機そのものの設置されている場所が一定とならない。このため、カメラで見た画面上では、信号機の位置が不特定になり、認識上の効率が悪くなるきらいがある。これを改善するためには、信号機の存在エリアを何らかの手段で限定し、認識エリア３７を設ければよい。
【００４２】
図１５に信号機の設置場所の情報を入手する一例を示す。信号機の設置場所の情報はナビゲーション装置などから獲得できる。すなわち、車載のナビゲーション装置４から信号機の位置（例えば交差点の中心からの方位、東西南北の二次元の距離）、信号機の高さ、形状（横形、縦形）および交差点からの自車位置の情報を、画像処理カメラ１に取り込んで、信号機の位置を推定することで、認識エリア３７の獲得が可能となる。認識エリア３７が獲得できれば、三原色の組合せを変えて加算を行なった結果に対し、ランプ３６とエリア部（背景）のコントラストの比が最大となる画像を合成し、認識処理すればよい。
【００４３】
【発明の効果】
本発明によれば、特殊な光学フィルタを使用せず、しかも外界の条件に合わせて、コントラストの大きくなる画像を選択して合成し、その結果に対して認識処理を行わせることができるので、認識性能のよりよい画像処理カメラ装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の一実施例による画像処理カメラ装置の構成図。
【図２】車載の画像処理カメラ装置の視覚を示す説明図。
【図３】画像処理カメラ装置により撮影された車両前方の映像を示す説明図。
【図４】従来の画像処理カメラの構成図。
【図５】カラーカメラの詳細構成を示すブロック図。
【図６】本発明の一実施例による画像処理カメラ装置の処理を示すフローチャート。
【図７】カメラの感度調整を説明するフローチャート。
【図８】カメラの感度調整のための明るさを検査する領域を示す説明図。
【図９】三原色による画像の合成を行なう構成図。
【図１０】輝度値をサンプルする映像画面上の検査ラインを示す説明図。
【図１１】検査ライン上において、ＲＧＢおよびＲＧの信号による合成車線マーカと路面の輝度値を示す説明図。
【図１２】ＲＧＢ三原色における車線マーカと路面の輝度値を示す説明図。
【図１３】ＲＧＢ三原色による合成画面でのコントラストの計算方法を示す説明図。
【図１４】信号機の認識エリアを示す説明図。
【図１５】ナビゲーション装置の伝達情報を使って信号機の認識エリアを求める概念図。
【符号の説明】
１…画像処理カメラ装置、２…車両、３…道路、４…ナビゲーション装置、１１…カメラ、１２…画像取り込み回路、１４…ＲＡＭ、１５…ＲＯＭ、１６…マイコン、３０…路面、３１,３２…車線マーカ、３６…信号機、３７…認識エリア。
【図１】
0003782322.tif 000002
【図２】
0003782322.tif 000003
【図３】
0003782322.tif 000004
【図４】
0003782322.tif 000005
【図５】
0003782322.tif 000006
【図６】
0003782322.tif 000007
【図７】
0003782322.tif 000008
【図８】
0003782322.tif 000009
【図９】
0003782322.tif 000010
【図１０】
0003782322.tif 000011
【図１１】
0003782322.tif 000012
【図１２】
0003782322.tif 000013
【図１３】
0003782322.tif 000014
【図１４】
0003782322.tif 000015
【図１５】
0003782322.tif 000016