(57)【要約】【課題】共通の画像センサによって、例えば車両の進行方向前方の白線を認識するための白線認識領域と、その白線よりも進行方向において遠方の遠方領域とを含む画像を取得する場合であっても、遠方領域の画像の分解能の低下を抑制すること。【解決手段】四角形の撮像範囲を持つ画像センサ１を、その四角形の対角線が地面と水平方向となるように、かつ、遠方領域の画像が四角形の対角線近傍の画素によって撮像されるように、車両に取り付ける。これにより、車両から近距離に位置する白線の画像を確実に取得できるように、画像センサ１の画角を広くとった場合であっても、遠方における撮像範囲の広がりに対応して、画素数も増加させることができる。特に、取得すべき遠方領域の画像を、四角形の対角線近傍の画素によって撮像するので、遠方領域の画像の分解能の低下を効果的に抑制することができる。【選択図】      図２
2006088767.tif 000002
【特許請求の範囲】
【請求項１】
相対的に車両から近距離の範囲に設定される第１の領域と、当該第１の領域よりも遠い遠距離の範囲に設定される第２の領域とを含む画像を取得する画像センサであって、
前記画像センサは、全体の形状が四角形となるように配列された複数の画素を有し、その四角形の対角線が、地面に対して略水平となり、かつ前記第２の領域を前記対角線近傍の画素によって撮像するように、前記車両に取り付けられることを特徴とする画像センサ。
【請求項２】
前記第１の領域は、車両の進行方向前方の白線を認識するための白線認識領域、車両に接近した物体を認識するための物体認識領域、及び車両駐車時に駐車領域を認識するための駐車領域認識領域の少なくとも１つとして利用されることを特徴とする請求項１に記載の画像センサ。
【請求項３】
請求項１又は請求項２に記載の画像センサから出力される画像データを回転補正する補正手段と、
前記補正手段によって回転補正された画像データを格納するメモリとを備えることを特徴とする画像処理装置。
【請求項４】
前記メモリに格納された画像データにおいて、前記第１の領域に対応する範囲の画像データに基づいて、白線、物体、駐車領域の少なくとも１つを認識する認識手段を備えることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像センサの各画素は、近赤外光に対して感度をもち、
前記第２の領域に向けて、近赤外光を投光する投光器と、
前記車両の乗員に対して画像を表示する表示器と、
前記投光器によって近赤外光を投光した際に、前記画像センサから出力され前記メモリに格納された画像データにおいて、前記第２の領域に対応する範囲の画像データを切り出して、前記表示器に表示する表示制御手段とを備えることを特徴とする請求項３又は請求項４に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば車両の進行方向前方の白線を認識するための領域と、その白線認識領域よりも進行方向において遠方の遠方領域とを含む画像を取得する画像センサ、及び、その画像センサから出力される画像を処理する画像処理装置に関する。
【背景技術】
【０００２】
従来の白線検出装置として、例えば特許文献１に記載されたものが知られている。この従来の白線検出装置では、カメラからの画像信号を画像データに変換して白線検出するとともに、現在の車速から次回白線検出を行なう画像データの所定範囲の座標を抽出する。そして、この座標の路面部分の輝度（明るさ）を算出することにより、次回の受光量を決定してＴＶカメラの絞り（露出量）を制御する。
【０００３】
一方、夜間走行時に、車両の運転者の視覚をサポートする、いわゆるナイトビューシステムが知られている。例えば、特許文献２に記載のシステムにおいては、近赤外光を投射するとともに、その近赤外光の反射像をカメラで撮像する。そして、カメラによって撮像された画像を、ヘッドアップディスプレィにてウインドシールドに表示する。
【特許文献１】特開平６−２５３２０８号公報
【特許文献２】特開２００３−２３７４１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述したように、車両においては、白線を検出するための画像を取得したり、夜間走行時に、運転者の視覚をサポートするための画像を取得することが求められる場合がある。このような画像を共通の画像センサにて同時に取得しようとすると、以下に述べるような問題が生ずる。
【０００５】
白線検出は、その白線によって区画される車線から車両が逸脱したか（しそうか）を判定するために実行される。従って、白線検出のための画像として、比較的、車両から近距離に位置する白線の画像を取得する必要がある。逆に、ナイトビューシステムにおいては、夜間にヘッドライト光が十分に届かない遠方領域の画像を取得する必要がある。
【０００６】
車両から近距離に位置する白線の画像を取得するには、一般に、画角を広くとる必要がある。しかしながら、画像センサの画角を広くとると、遠方領域における撮像範囲も広がってしまい、遠距領域に位置する物体が、相対的に小さく撮像されることになる。この結果、遠距領域に位置する物体の分解能が小さくなり、その画像を表示しても、物体の認識が困難になることが考えられる。
【０００７】
本発明は、上述した点に鑑みてなされたもので、共通の画像センサによって、相対的に車両から近距離の範囲に設定される第１の領域と、当該第１の領域よりも遠い遠距離の範囲に設定される第２の領域とを含む画像を取得する場合であっても、第２の領域の画像の分解能の低下を抑制することが可能な画像センサ、及び、その画像センサから出力される画像を処理する画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、請求項１に記載の画像センサは、相対的に車両から近距離の範囲に設定される第１の領域と、当該第１の領域よりも遠い遠距離の範囲に設定される第２の領域とを含む画像を取得する画像センサであって、
画像センサは、全体の形状が四角形となるように配列された複数の画素を有し、その四角形の対角線が、地面に対して略水平となり、かつ第２の領域を対角線近傍の画素によって撮像するように、車両に取り付けられることを特徴とする。
【０００９】
画像センサからの距離に応じて、撮像範囲が広がっても、上述した構成により、撮像範囲の広がりに対応して、画素数も増加することになる。特に、取得すべき遠方の第２の領域の画像を、四角形の対角線近傍の画素によって撮像するように画像センサを車両に取り付けることにより、その第２の領域を撮像する画素数を最も増加させることができる。このため、従来よりも、第２の領域に存在する物体を多くの画素を用いて撮像することができるので、第２の領域の画像の分解能の低下を抑制することができる。
【００１０】
請求項２に記載したように、第１の領域は、車両の進行方向前方の白線を認識するための白線認識領域、車両に接近した物体を認識するための物体認識領域、及び車両駐車時に駐車領域を認識するための駐車領域認識領域の少なくとも１つとして利用することができる。近年では、車両から比較的近距離に位置する領域の画像に基づいて、いわゆるレーンキープアシストシステム、プリクラッシュセーフティシステム、駐車支援システム等、各種の運転支援を行うシステムが普及しつつある。画像センサによって取得される第１の領域の画像は、それらのシステムにおいて利用することが可能である。
【００１１】
請求項３に記載した画像処理装置は、請求項１又は請求項２に記載の画像センサから出力される画像データを回転補正する補正手段と、補正手段によって回転補正された画像データを格納するメモリとを備えることを特徴とする。
【００１２】
請求項１に記載のように、全体の形状が四角形となるように複数の画素を配列した画像センサを、その四角形の対角線が地面と水平方向となるように車両に取り付けた場合、画像センサによって取得される画像は、四角形の各辺に対して、傾いた状態となる。しかし、画像処理装置において、画像データを構成する、画像センサの各画素から得られる画素値を処理する際には、一般的に、画像センサの各ライン毎に行なう。従って、画像データの処理を円滑に行うためには、傾いた画像が水平となるように画像データを回転補正し、その補正した画像データを格納するメモリを備えることが有効である。
【００１３】
請求項４に記載したように、画像処理装置は、メモリに格納された画像データにおいて、第１の領域に対応する範囲の画像データに基づいて、白線、物体、駐車領域の少なくとも１つを認識する認識手段を備えることを特徴とする。これにより、認識された白線または物体の位置と車両位置との関係によって、白線によって区画される車線から車両が逸脱しそうか否か、または車両がその物体と接触する可能性があるか否か等を判定することができる。また、車両位置を基準として駐車領域が認識されれば、その駐車領域に導くための運転操作をガイドしたり、ステアリングホイールの自動操舵によって、その駐車領域まで車両を移動させたりすることが可能になる。
【００１４】
また、請求項５に記載の画像処理装置においては、画像センサの各画素が、近赤外光に対して感度をもつものであって、第２の領域に向けて近赤外光を投光する投光器と、車両の乗員に対して画像を表示する表示器と、投光器によって近赤外光を投光した際に、画像センサから出力されメモリに格納された画像データにおいて、第２の領域に対応する範囲の画像データを切り出して、表示器に表示する表示制御手段とを備えることを特徴とする。
【００１５】
近赤外光を投光した際に、画像センサから得られる画像データには、夜間走行時に、車両の運転者の視覚では認識できない物体も映し出される。このような画像を表示器に表示することによって、車両の運転者の視覚をサポートすることができる。
【発明を実施するための最良の形態】
【００１６】
以下、図面に基づいて本発明の好ましい実施形態について説明する。なお、本実施形態では、画像センサによって車両前方の画像を取得し、その取得した画像に基づいて、車線逸脱警報を与える車線逸脱警報機能と、夜間走行時に遠方の画像を表示するナイトビュー機能とを備えた車載システムについて説明する。
【００１７】
図１は、実施形態による車載システムの全体構成を示すブロック図である。図１に示すように、車載システムは、画像センサ１、近赤外光の投光器２、制御部３、車線逸脱警報ＥＣＵ９、警報部１０、及び表示器１１から構成されている。
【００１８】
画像センサ１は、車室内の所定位置、例えばルームミラーの裏側に設置され、車両の進行方向前方の道路を撮像する。なお、画像センサ１は、白線位置認識に利用される画像データ及びナイトビューとして表示する遠方の画像データを取得する必要がある。このため、車室内の所定位置に設置されるときに、その撮像範囲が、認識すべき白線位置を含む白線認識領域と、ナイトビューとして表示予定の遠方領域とを含むように、その向き等が調整される。この画像センサ１の撮像範囲について、図２に基づいて説明する。
【００１９】
画像センサ１は、公知のＣＭＯＳイメージセンサ、或いはＣＣＤイメージセンサを有し、そのイメージセンサは、フォトダイオードやフォトトランジス等の受光素子が、全体の形状が四角形となるように、２次元に配列されることによって構成されている。この画像センサ１を車室内の所定位置に設置する際には、図２に示すように、まず、イメージセンサの全体形状である四角形の対角線が、地面と水平になるように設置される。さらに、画像センサ１は、ナイトビュー用画像として取得すべき遠方領域の画像を、四角形の対角線近傍の画素によって撮像するように設置される。
【００２０】
画像センサ１は、上述したイメージセンサの表面側に設けられたレンズによって決定される画角範囲によって撮像可能な範囲が決定される。その撮像可能な範囲は、画像センサ１からの距離に応じて広がっていく。しかし、上述したように画像センサ１を設置することによって、撮像範囲の広がりに対応して、その撮像範囲を撮像するための画素数も増加させることができる。特に、ナイトビュー用画像として取得すべき遠方領域の画像を、四角形の対角線近傍の画素によって撮像するように画像センサ１を車両に取り付けることにより、その遠方領域を撮像する画素数を最も増加させることができる。具体的には、画像センサ１の水平画素数をＡ[pixel]、垂直画素数をＢ[pixel]とすると、対角線上の画素数は（Ａ２+Ｂ２）１／２となる。このため、遠方領域に存在する物体を多くの画素を用いて撮像することができるので、遠方領域の画像の分解能の低下を抑制することができる。
【００２１】
なお、白線認識領域は、例えば車両から３０ｍまでの距離範囲となるように、また、遠方領域は５０ｍ〜１５０ｍの距離範囲となるように画像データ上において設定される。
【００２２】
図３は、画像センサ１において、各々の画素を構成する受光素子（フォトダイオード）２１に対して設けられる、光強度電圧を画素値に変換して出力する画素値出力回路を示す回路図である。なお、図３では、１画素分の画素値出力回路を示している。
【００２３】
図３に示すように、受光素子２１と直列にＦＥＴ２０が設けられている。このＦＥＴ２０は制御部３からの露出制御信号に応じた時間だけオン／オフされる。すなわち、ＦＥＴ２０は、受光素子２１の露光時間を調節するシャッターとして機能する。そして、受光素子２１は、ＦＥＴ２０がオフしている間だけ、受光した光の強度に応じた光強度電圧を発生する。
【００２４】
２２は、増幅器であり、制御部３からのゲイン制御信号に応じたゲイン（増幅率）で、上述した光強度電圧を増幅する。そして、増幅された光強度電圧は、アナログデジタル変換器（Ａ／Ｄ）２３に与えられる。Ａ／Ｄ２３は、増幅された光強度電圧を例えば０〜２５５段階のデジタル値に変換して、画素値として出力する。なお、画素値は、水平／垂直同期信号とともに、水平ラインごとに、制御部３に出力される。
【００２５】
なお、増幅器２２は、各受光素子２１ごとに設けられているので、上述した白線認識領域内の各画素の画素値を出力させるときと、遠方領域内の各画素の画素値を出力させるときとで、ゲインを変化させることができる。つまり、白線認識領域と遠方領域とは異なるので、それぞれの領域の画素値を得る際の適切なゲインの値も異なる場合がある。このため、後述する露出制御処理において、各領域ごとに適切なゲインが設定される。
【００２６】
投光器２は、上述した遠方領域に向けて、近赤外光を投光するものである。この投光器２は、例えば、車両の前照灯のハイビームに可動式の可視光遮断フィルタを設けることによって構成される。この場合、可動式の可視光遮断フィルタによってハイビームの照射光の上方を遮ることにより、遠方領域には、近赤外光のみが投光される。また、前照灯とは別に、専用の投光器を設けても良い。
【００２７】
ＣＭＯＳイメージセンサ及びＣＣＤイメージセンサとも、可視光及び近赤外光に対して感度を持つので、投光器２によって近赤外光を投光すると、遠方領域に存在する各物体からの反射光によって、遠方領域の画像が得られる。
【００２８】
制御部３は、画像センサ１から出力された画素値の集合である画像データにおける白線認識領域の画像データに基づいて、白線の位置の認識を行なうとともに、その認識した白線位置を車線逸脱警報ＥＣＵ９に出力する。さらに、制御部３は、投光器２に対して近赤外光の投光を指示するとともに、その近赤外光の投光時に得られた遠方領域の画像データに基づいて、表示器１１にナイトビューとしての画像を表示させる。
【００２９】
また、制御部３は、撮影した画像の露出が適正になるように画像センサ１の露出制御を行う。具体的には、制御部３は、適正な露出を得るための、画像センサ１の露出時間（シャータースピード）やゲインを算出し、これらの調整指示値を含む画像センサ制御信号を画像センサ１に出力する。
【００３０】
制御部３は、画像インターフェース（Ｉ／Ｆ）４、ＣＰＵ５，メモリ６、通信Ｉ／Ｆ７及びドライバ８を有する。画像Ｉ／Ｆ４は、画像センサ１から出力される画素値及び水平・垂直同期信号が入力される。ＣＰＵ５は、画像Ｉ／Ｆ４に入力された水平・垂直同期信号に基づいて、水平ラインごとに出力される画素値が、いずれの画素位置に対応するものかを認識する。そして、認識した画素位置に対応するように、画像センサ１から出力される画素値をメモリ６に記憶する。
【００３１】
ただし、四角形の撮像範囲を持つ画像センサ１を、その四角形の対角線が地面と水平方向となるように車両に取り付けた場合、画像センサ１によって取得される画像は、四角形の各辺に対して、傾いた状態となる。しかし、画像データを処理する際には、上述したように、水平ラインごとに取り扱うことが一般的であるため、画像データの処理を円滑に行うべく、傾いた画像が水平となるように画像データを回転補正し、その補正した画像データをメモリ６に記憶する。具体的には、画像センサ１によって取得される画像は４５度傾いているので、各画素位置を４５度分だけ回転した位置に変換する。そして、その変換位置に従って、メモリ６に各画素値を保存することにより、画像データの回転補正が行われる。このようにして、メモリ６に、画像センサ１から出力される画像データが保存される。
【００３２】
通信Ｉ／Ｆ７は、ＣＰＵ５と車線逸脱警報ＥＣＵ９との間の通信を調整するものである。本実施形態では、ＣＰＵ５は、白線認識領域の画像データに基づいて白線の位置を認識して、この認識した白線位置を車線逸脱警報ＥＣＵ９に送信する。車線逸脱警報ＥＣＵ９は、ＣＰＵ５から送信された白線位置の他、車速やステアリング操舵角に基づいて、自車が車線内から逸脱した（しそう）か否かを判定し、逸脱した（しそう）と判定した場合には、警報部１０に対して、警報を発するように指示する。
【００３３】
ただし、必ずしも車線逸脱警報ＥＣＵ９を有している必要はない。例えば、ＣＰＵ５において自車が車線から逸脱した（しそう）か否かを判定し、必要時に警報を発するように構成することも可能である。また、自車が車線を逸脱した（しそうな）場合には、単に警報を発するだけでなく、例えば操舵装置におけるアシスト量を調節して、車線中央に戻りやすくしたり、あるいは自動的に操舵装置を駆動して車両が車線中央に復帰するようにしてもよい。
【００３４】
ドライバ８は、ＣＰＵ５から出力されるナイトビジョン用の画像データに基づいて、表示器１１にその画像データに対応する画像を表示させるための駆動信号を生成するものである。表示器１１は、例えば、ヘッドアップディスプレィとして構成され、画像をウインドシールド上に表示させる。また、インストルメントパネルに、液晶ディスプレィ等を配置して、表示器１１として用いても良い。
【００３５】
図４は、制御部３において実行される処理を示すフローチャートである。図４に示すフローチャートは、車線逸脱警報機能もしくはナイトビュー機能がオンされているときに、所定周期で繰り返し実行される。車線逸脱警報機能及びナイトビュー機能とも、車両が走行しており、かつ、図示しない各々のスイッチが投入されているときにオンする。
【００３６】
図４において、まずステップＳ１００では、ナイトビュー機能がオンされているか否かを判定する。この判定処理において、ナイトビュー機能がオンされていると判定されると、ステップＳ１１０に進んで、投光器２に対して近赤外線の投光を指示する。
【００３７】
続くステップＳ１２０では、画像センサ１から出力された画像データの取込を行う。すなわち、上述したように、画像センサ１から出力される画素値及び水平・垂直同期信号を入力する。ステップＳ１３０では、入力した各画素値の位置変換を行って、その変換位置に従って、画像データを構成する各画素値をメモリ６に保存する。
【００３８】
ステップＳ１４０では、画像センサ１の露出制御を行う。この画像センサ１の露出制御では、白線認識領域において白線を除く路面部分の平均画素値を算出し、この路面部分の平均画素値が目標画素値となるように、画像センサ１の露出を制御する。これにより、少なくとも白線は路面部分よりも明るいので、路面部分と白線とのコントラストが確保された画像データを得ることができる。
【００３９】
なお、画像センサ１の露出量は、上述したように、主に露出時間（シャータースピード）及びゲインによって調整される。従って、露出制御においては、路面部分の平均画素値が目標画素値となる、露出時間及びゲインが算出される。ただし、そのゲインは、少なくとも白線認識領域の各画素の画素値を得るために使用されるが、遠方領域の各画素の画素値を得るために使用されるゲインは、別途、遠方領域の平均画素値に基づいて算出される。
【００４０】
ステップＳ１５０では、車線逸脱警報機能がオンされているか否かを判定する。この判定処理において、車線逸脱警報機能がオンされていると判定されると、ステップＳ１６０に進み、白線認識領域に対応する画像データに対して所定の画像認識処理を行ない、白線位置を認識する。
【００４１】
例えば、この画像認識処理では、まず、画像データを構成する各画素の画素値に基づいて、白線部分に該当する画素値を抽出するためのしきい値を設定する。このしきい値の算出には、上述した白線を除く路面部分に対応する画素値の平均値を利用することができる。そして、このしきい値と各画素の画素値との大小比較を行って、しきい値以上の画素値を有する画素を抽出する。さらに、これらの抽出した画素を組み合わせた場合に白線に相当する形状をなす抽出画素集合を特定し、この抽出画素集合位置を白線位置として認識する。
【００４２】
続くステップＳ１７０では、白線位置を車線逸脱警報ＥＣＵ９に向けて送信するために、ステップＳ１６０で認識した白線位置を出力する。
【００４３】
ステップＳ１８０では、ナイトビュー機能がオンされているか否かを判定する。この判定処理において、ナイトビュー機能がオンされていると判定されると、ステップＳ１９０に進んで、メモリ６に保存された画像データから遠方領域に対応する範囲の画像データを切り出す。この場合、投光器２によって遠方領域に向けて近赤外光が投光されているので、夜間であっても、その反射光によって遠方領域の画像が画像センサ１によって撮像されている。そして、ステップＳ２００において、切り出した画像データをドライバ８に出力することにより、ナイトビュー用画像を表示器１１に表示させる。
【００４４】
以上説明したように、本実施形態によれば、四角形の撮像範囲を持つ画像センサ１を、その四角形の対角線が地面と水平方向となるように、かつ、遠方領域の画像が四角形の対角線近傍の画素によって撮像されるように、車両に取り付けた。このため、車両から近距離に位置する白線の画像を確実に取得できるように、画像センサ１の画角を広くとった場合であっても、遠方における撮像範囲の広がりに対応して、画素数も増加させることができる。特に、取得すべき遠方領域の画像を、四角形の対角線近傍の画素によって撮像するので、遠方領域の画像の分解能の低下を効果的に抑制することができる。
【００４５】
以上、本発明の好ましい実施形態について説明したが、本発明は、上述した実施形態に何ら制限されることなく、種々変形して実施することができる。
【００４６】
例えば、上述した実施形態においては、相対的に車両から近距離の範囲に設定される第１の領域を白線認識領域として利用したが、プリクラッシュセーフティシステムにおける、自車両に接触する可能性がある他の車両などの物体を認識するための物体認識領域として利用したり、駐車支援システムにおける、駐車領域の認識のための駐車領域認識領域として利用することも可能である。
【図面の簡単な説明】
【００４７】
【図１】実施形態による車載システムの全体構成を示すブロック図である。
【図２】画像センサ１の撮像範囲について説明するための説明図である。
【図３】画像センサ１において、各々の画素を構成する受光素子２１に対して設けられる、光強度電圧を画素値に変換して出力する画素値出力回路を示す回路図である。
【図４】制御部３において実行される処理を示すフローチャートである。
【符号の説明】
【００４８】
１  画像センサ
２  投光器
３  制御部
６  メモリ
９  車線逸脱警報ＥＣＵ
１０  警報部
１１  表示器
【図１】
2006088767.tif 000003
【図２】
2006088767.tif 000004
【図３】
2006088767.tif 000005
【図４】
2006088767.tif 000006