(57)【特許請求の範囲】
【請求項１】
イメージセンサからイメージデータを受信し、
イメージ内の関心のある１以上の対象物を識別し、
前記の関心のある対象物を囲んでいる背景イメージ領域を含んでいるイメージ領域の少なくとも一部の輝度レベルを検出し、
前記イメージ領域の輝度レベルの設定の基準となるしきい値は変更可能に構成され、
関心のある対象物の輝度に応じて前記しきい値を選択し、その選択されたしきい値を使用して関心のある対象物の輝度がこの関心のある対象物を囲んでいるイメージ中の背景領域に関して最適化されるように前記イメージ領域の少なくとも一部の調節された輝度レベルを決定し、
前記イメージセンサを制御して前記イメージ領域の輝度レベルを前記調節された輝度レベルに変更することを特徴とするイメージセンサの輝度制御方法。
【請求項２】
イメージ領域の少なくとも一部は背景領域に対応している請求項１記載の方法。
【請求項３】
前記イメージセンサは、露出／利得設定を有する映像形成チップを具備し、前記制御において前記設定を変更する請求項１記載の方法。
【請求項４】
前記イメージセンサは、露出／利得設定およびオン・チップ露出／利得制御アルゴリズムを有する映像形成チップを具備し、前記制御において前記露出／利得設定の変更を行うために前記オン・チップアルゴリズムにより使用されるパラメータを変更する請求項１記載の方法。
【請求項５】
情景のイメージデータを生成するためのイメージセンサを具備するダイナミックな輝度制御手段を有する映像システムにおいて、
前記イメージセンサは、イメージ中の関心のある１以上の対象物を識別する手段と、
関心のある対象物を囲んでいる背景イメージ領域を含んでいるイメージの少なくとも一部の輝度レベルを検出する手段と、
前記イメージ領域の輝度レベルの設定の基準となるしきい値を変化させて調節する手段と、
関心のある対象物の輝度に応じて前記しきい値を選択し、その選択されたしきい値を使用して前記関心のある対象物の輝度が前記関心のある対象物を囲んでいるイメージ中の背景領域に関して最適化されるように前記メージの少なくとも一部の調節された輝度レベルを決定する手段と、
イメージセンサに結合されてイメージの前記少なくとも一部の前記輝度レベルを調節された輝度レベルに変更する制御手段とを具備していることを特徴とする映像システム。
【請求項６】
前記イメージセンサは、前記イメージを検出してイメージ信号を生成する映像形成チップを備えている請求項５記載の映像システム。
【請求項７】
前記映像形成チップは、調節可能な露出／利得設定を含み、前記制御手段は、前記映像形成チップの露出／利得設定を調節する請求項６記載の映像システム。
【請求項８】
前記映像形成チップは、調節可能な露出／利得設定を含み、さらにオン・チップ露出／利得制御アルゴリズムを有し、前記制御手段は、前記映像形成チップの露出／利得設定の変更を行うために前記オン・チップアルゴリズムにより使用されるパラメータを調節する請求項６記載の映像システム。
【請求項９】
前記イメージセンサはさらに、デジタルイメージデータを記憶するためのビデオバッファを具備している請求項６記載の映像システム。
【請求項１０】
前記イメージの少なくとも一部は関心のある対象物を囲んでいる背景領域の部分を含み、前記調節された輝度レベルは所望のしきい値に等しいかそれよりも低く前記背景領域の輝度レベルを維持するように選択されている請求項５記載の映像システム。
【請求項１１】
前記制御手段は１フレームづつ映像形成チップ設定をダイナミックに制御する請求項７または８記載の映像システム。
【請求項１２】
前記検出手段は、しきい値よりも低い輝度レベルを有する映像データの部分に対応する映像データのみを検査する請求項５記載の映像システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、イメージセンサから受信されたイメージを輝度制御処理するシステムおよび方法に関する。とくに、本発明は、光学車両安全システムまたはドライバー支援システム用の映像システムに関する。
【０００２】
【従来の技術】
電子映像システムは、種々の用途においてイメージを供給するために長年にわたって使用されてきた。映像システムが克服しなければならない主要な問題の１つは、イメージャの視界内における可変的な情景の輝度に関するものである。映像を形成されるべき情景の中の輝度レベルは、大幅にかつ頻繁に変化する可能性が高いため、イメージセンサは、変化する輝度レベルを補償するように露出／利得レベルを調節しなければならない。緩やかであるが極めて顕著な変化が日中の動作と夜間の動作との間に発生することが明らかであるが、もっと急速な変化も発生する可能性がある。たとえば、映像感知システムの１つの用途は車両安全システムまたはナビゲーションシステムの分野におけるものである。とくに、イメージ感知システムは、所望の車線の車両の進行を監視して、指示された車線から心ならずも外れてしまった場合に、その車両のドライバーに警告を発するために使用される。このような用途において、時刻および天候状態による緩やかな輝度変化と共に、トンネル出口、道路上の不規則的な陰等のために情景において極端で急激な輝度変化が発生する可能性がある。
【０００３】
一般に、映像が形成される情景中の輝度変化のために生じる問題の１つは、イメージセンサが定まったダイナミック・レンジしか有しないことである。したがって、イメージセンサの露出／利得を制御しない場合、極端に明るい輝度はイメージセンサを容易に飽和させ、一方、極端に暗い情景が最小の検出可能な光レベルより低下する。したがって、システムの１つの目的は、情景中の輝度レベルの変化に従ってイメージセンサの露出／利得設定を連続的に修正しなければならないことである。
【０００４】
概して、映像システムの最大ダイナミック・レンジは、システム中のイメージセンサの露出／利得を変化させることによって得られる。このようなイメージセンサベースのシステムは、単一チップのＶＬＳＩデバイスを使用する場合が増加している。そのため露出／利得制御を行うための１つの方法では、イメージャチップ製造業者が露出／利得制御アルゴリズムをチップ上に永久的にコード化する。このような方法において、オン・チップアルゴリズムは最初に、ある輝度のしきい値レベルのセットより大きい強度を有するイメージ中の全画素をカウントする。このカウントに基づいて、オン・チップアルゴリズムは、このセンサの露出／利得を増加させるか、あるいは減少させるかを決定する。オン・チップアルゴリズムは、輝度画素カウントとしきい値との間の相対的な差に応じて、大きいまたは小さい増分だけ露出／利得値を変更してもよい。
【０００５】
チップ上輝度補償が行なわれるこのような従来技術の映像形成チップの一例は、英国ＶＬＳＩビジョン社製のＶＶ５４３０モノリシックセンサである。このチップは、ある定まった超白色（ｖｅｒｙ  ｗｈｉｔｅ）画素しきい値より大きい強度を有するイメージ中の全ての画素をカウントする。この後、この従来技術の方法は、このカウントと固定した輝度しきい値との比較に基づいて露出および利得設定を変更する。
【０００６】
【発明が解決しようとする課題】
この従来技術の方法において、露出／利得は、視界全体に対して最適化される。しかしながら、いくつかの適用において、情景の中の関心のある小さい領域内だけの最適化が要求される。情景の輝度全体が関心のある領域中の輝度とははるかに異なっている場合、上述されたダイナミック露出／利得制御方法は、イメージの中の関心のある領域中の輝度およびコントラストを実際に劣化させる可能性が高い。
【０００７】
この従来技術の方法の別の特徴は、輝度しきい値の１つの固定したセットを使用することである。これらのしきい値は、ほとんどの照明状態において大部分の用途に許容可能なイメージを提供するように選択されるが、眩しい光，陰または全体的に極端に暗いまたは明るい光のような極端な照明状態において低品質のイメージを提供する可能性がある。いくつかの適用では、これらの極端な状態においてさえ最適な輝度およびコントラストを有するイメージが必要であり、その場合上述の方法は不適切である。
【０００８】
また、この従来技術の方法は、ある程度の漸次的な輝度の変化に対して調節するように設計されている。輝度が急速に変化する可能性のある環境では、このような調節によって、多数のイメージフレームが過度の露出または露出不足になる可能性が高い。たとえば、情景を通って移動する眩しい光または陰が突然情景の一部分の輝度をかなり大きく変化させる可能性がある。このような眩しい光または陰の影響を係数としているコンピュータシステム適用において、イメージシステムが使用されている場合、最適とはいえない輝度およびコントラストを有するイメージフレームが、著しく劣化されたイメージ品質を補正するためのアルゴリズムをさらに使用して、無視または処理されることが必要とされ、これによってシステム性能が著しく低下する可能性が高い。
【０００９】
したがって、現在、イメージセンサのダイナミック輝度制御を行い、上述された問題を解決する方法が必要とされている。
【００１０】
【課題を解決するための手段】
本発明は、イメージャの視界内の関心のある１以上の領域に対してセンサのダイナミックレンジを最適化するイメージセンサの輝度制御用の映像システムおよび方法を提供する。
【００１１】
さらに、本発明は、非常に暗いまたは非常に明るい状態を含む広範囲の照明状態に対してセンサの露出／利得を最適化するイメージセンサの輝度制御用の映像システムおよび方法を提供する。
【００１２】
さらに、本発明は、照明状態の変化に迅速に適応するイメージセンサの輝度制御用の映像システムおよび方法を提供する。
【００１３】
好ましい実施形態において、本発明は、イメージセンサから受信されたイメージデータに基づいたイメージセンサの輝度制御方法を提供する。イメージ内の関心を持たれている１以上の対象物が識別され、イメージャ中の１以上の領域の輝度レベルが検出され、これらの領域はこの関心のある対象物を囲んでいる背景を含んでいる。イメージの調節された輝度レベルは、関心のある対象物の輝度がこの関心のある対象物を囲んでいる背景領域に関して最適化されるように決定される。イメージセンサの設定は関心のある対象物の映像を強調するためにイメージ領域中の輝度レベルを調節された輝度レベルに変化させるように制御される。
【００１４】
別の特徴において、本発明は、情景のイメージデータを生成するためのイメージセンサを有する映像システムを含んでいる。イメージ制御ブロックは、このイメージ中の関心を払われた１以上の対象物を識別する手段と、イメージ内の１以上の領域の輝度レベルを検出する手段とを具備し、これらの領域はこの関心のある対象物を取囲んでいる背景を含んでいる。イメージ制御ブロックはまた、関心のある対象物の輝度がこの対象物を囲んでいる背景領域に関して最適化されるように、イメージの調節された輝度レベルを決定する手段を具備している。イメージ制御ブロックはまた、イメージセンサに結合されている制御手段を具備し、この制御手段がイメージセンサを制御し、情景中の関心のある対象物の映像を強調するためにイメージの輝度レベルを調節された輝度レベルに変化させる。
【００１５】
【発明の実施の形態】
当業者は、以下の好ましい実施形態の詳細な説明を検討することにより、イメージセンサ輝度制御用の方法および装置をさらに完全に理解し、その付加的な利点および目的を実現するであろう。
本発明は、イメージセンサの輝度制御用の映像システムおよび関連した方法を提供する。好ましい用途は、光学的車線逸脱（ｄｅｐａｒｔｕｒｅ）警報システムであるが、本発明はそれに限定されるものではない。以下の詳細な説明において、添付図面に示された同一の素子には同じ参照符号が使用されている。
図１を参照すると、本発明の１実施形態による映像システムの高レベルブロック図が示されている。イメージ捕捉サブシステム2 は、情景内の光を検出してイメージデータを生成する。イメージ輝度制御ブロック33は、情景内の１以上の領域および関心のある対象物の位置および特性を示すパラメータを使用して、このイメージデータに対して動作する。イメージ輝度制御ブロック33は、イメージデータの次のフレームのために情景の背景に関して情景内の所望の関心のある対象物の輝度およびコントラストを最適化するようにイメージ捕捉サブシステム2 中のイメージャを制御することができる。１実施形態において、このイメージ輝度制御ブロック33は、露出／利得設定調節のために上述のイメージャによって使用される種々のしきい値を調節するソフトウェア構成の制御を含んでいる。この制御は、図１におけるフィードバックループによって示されている。
【００１６】
本発明を説明する特定の環境を与えるために、以下、車両が車線から何時外れたのかを検出してその車両のドライバーに警告するシステムについて適用を説明する。図２には、本発明の１実施形態による車線逸脱警報システムの全体的なアーキテクチャのブロック図が示されている。
【００１７】
システムの電力は、電力サブシステム1 中に入力される。イメージ捕捉サブシステム2 は、イメージ信号を生成するために入来した情景情報を受信および検出し、処理サブシステム3 による使用のためにバッファ中にイメージデータを記憶する。処理サブシステム3 は、マイクロプロセッサ、メモリ、および車線に関する車両の位置を決定するためのイメージデータ解析用およびイメージ輝度制御処理用のソフトウェアを含んでいる。処理サブシステム3 は、車両から状態情報を受信し、車両およびそのドライバーに対して警報システム状態に関する情報を提供する。この処理サブシステム3 はまた、連続したイメージの捕捉を制御するための情報をイメージ捕捉サブシステム2 に提供する。
【００１８】
図３を参照すると、本発明の好ましい１実施形態のイメージ捕捉サブシステム2 および処理サブシステム3 がさらに詳細に示されている。イメージ捕捉サブシステム2 は、レンズ21、イメージャ22およびビデオバッファ23を含んでいることが好ましい。イメージャ22は、レンズ21によって焦点を結ばれた入力イメージを受取る。イメージャ22は、ＣＭＯＳデバイスまたは電荷結合素子（ＣＣＤ）のような映像デバイスを含んでいる。このようなデバイスは市販されて入手可能であり、好ましい実施形態において、イメージャ22は、ＶＬＳＩヴィジョン社製のＶＶ５４３０モノリシックセンサのような単一チップのイメージャであってもよい。イメージャ22は、ビデオバッファ23に記憶されることとなる入力イメージを表す信号を送り、このビデオバッファ23は処理サブシステム3 によってアクセスされることができる。
【００１９】
また、図３に示されているように、処理サブシステム3 は、１実施形態において、デジタル信号プロセッサ（ＤＳＰ）31と、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）32とを含んでいる。ＤＳＰ31は、イメージ輝度制御ブロック33、入出力（Ｉ／Ｏ）処理ブロック34およびイメージ処理アプリケーションブロック35を含むソフトウェアで構成することが好ましい。上述のように、車線追跡用は、本発明の適用の単なる一例に過ぎない。ＦＰＧＡ32は、ＤＳＰ31とイメージャ22との間においてフィードバックループを構成することが好ましい。
【００２０】
本発明の１実施形態において、イメージ輝度制御ブロック33はソフトウェアで実行され、イメージ捕捉サブシステム2 によって提供されたイメージデータから情景中の関心のある領域の背景の輝度を決定し、また、この輝度を最適化するためにイメージャ22をダイナミックに制御するように動作する。とくに、イメージ輝度制御ブロック33は、露出／利得設定調節のためにイメージャ22によって使用される種々のしきい値を調節して、関心のある所望の対象物の輝度をイメージ中の背景領域に関して最適化し、この最適化には極度の明暗のような特定の光の状態を補償することが含まれる。
【００２１】
たとえば、関心のある領域が全体的なイメージと比較して暗い場合、あるいは照明状態が極端に暗い場合、しきい値が増加され、その結果全体的なイメージがもっと明るくなり、関心のある領域が改善された輝度およびコントラストを有するようになる。同様に、関心のある領域が全体的なイメージと比較して明るい場合、あるいは照明状態が極端に明るい場合、しきい値が減少され、その結果全体的なイメージがもっと暗くなり、関心のある領域が改善された輝度およびコントラストを有するようになる。さらに、しきい値は、露出／利得が照明状態の変化に迅速に適合できるように設定される。これはまた結果的にイメージ輝度の整合性および予測可能性をさらに高め、これによって輝度制御方法がもっと効率的に行われることができるようになる。
【００２２】
図４のフローチャートには、イメージ輝度制御ブロック33によって実行されるステップがさらに詳細に示されている。動作において、イメージ輝度制御ブロック33は、１以上の関心のある対象物を含んでいるイメージ中の領域を探査し、この領域は、関心のある対象物を取囲む背景を含んでいる。この探査は、イメージ処理アプリケーションブロック35（図３に示されている）によって提供される情報を随意に含んでいてもよい。本発明の１つの適用において、関心のある対象物は、道路の車線マーカであってもよい。
【００２３】
イメージ輝度制御ブロック33は、イメージの中の関心のある領域における最大背景レベルをしきい値Ｔｂ＋／−Ｔｗの範囲内に維持しようとする。ブロック41において、関心のある各領域中の画素強度のヒストグラムが編集される。ブロック42で示されるように、関心のある対象物を構成するイメージの画素の数および強度Ｐ0 が関心のある対象物についての知識を使用して評価される。その後、ヒストグラム中の関心のある対象物Ｐ0 は無視される。ブロック43において、残りのヒストグラム内の最大値が、各領域内の最大背景強度Ｍr であるとみなされる。ブロック44において、背景全体の最大値Ｍb は、最大背景強度Ｍr 全ての最大値を識別することによって決定される。アルゴリズムは、フロック45において最大値Ｍb がＴｂ＋／−Ｔｗであるか、あるいはＴｂ＋／−（３＊Ｔｗ）であるかを決定し、ブロック46において露出／利得制御しきい値に対して任意の必要な調節を行い、調節されたしきい値を図示されているようにフィードバックループを介してイメージ捕捉サブシステム2 に戻す。
【００２４】
とくに、最大値Ｍb がＴｂ＋／−Ｔｗである場合、露出／利得は“良好（good）”であると見なされ、しきい値は変更されない。最大値Ｍb が理想的な範囲外にあるが、依然Ｔｂ＋／−（３＊Ｔｗ）内にある場合、露出／利得は“まあまあ（fair）”であると見なされ、しきい値は（Ｔｂ−Ｍb ）に比例した量だけ変更される。最後に、最大値Ｍb が“まあまあ”の範囲外にある場合、露出／利得は“不良（poor）”であると見なされ、しきい値はその最大量を調節される。いずれの場合も、しきい値は、Ｍb ＜Ｔｂのときに増加され、Ｍb ＞Ｔｂのときに減少される。
【００２５】
しきい値が変更された場合は常に、イメージャ22が新しいしきい値に基づいて露出／利得を調節することを可能にするために、ある数のイメージフレームが要求される。したがって、上述の方法がｎ番目のイメージフレームごとに実行されるように、プログラム可能なフレーム遅延がイメージ輝度制御ループ中に組み入れられている。この遅延がない場合、可能な過剰補正およびリバウンド（rebound ）が発生し、過剰露出から露出不足に、およびその逆に反復するイメージを生じさせる可能性が高い。
【００２６】
車線追跡アプリケーションブロック35はまた、イメージ捕捉サブシステム2 からイメージデータを受信し、道路の車線マーキングの識別を試みる。
【００２７】
図３に示されているように、輝度制御ブロック33および車線追跡のためのアプリケーションブロック35は、それらの各データを入出力（Ｉ／Ｏ）処理ブロック34に送信する。Ｉ／Ｏ処理ブロック34は、フィードバックループによりこの情報を送信し、１実施形態では、このフィードバックループがイメージ捕捉サブシステム2 中のイメージャ22に戻るＦＰＧＡ32中のインターフェースブロック36を含んでいる。
【００２８】
上述したように、車線追跡アプリケーションブロック35は本発明の好ましい１例を構成しているが、本発明はこれに限定されるものではない。このような別の用途に適合させるために上述のダイナミック輝度制御ブロック33において適切な修正がなされてもよい。
【００２９】
以上、ダイナミック輝度制御を行うイメージ感知システムおよび方法の好ましい実施形態を説明してきたが、当業者は、システム内のある利点が達成されていることを理解しなければならない。また、本発明の技術的範囲内において種々の修正、応用および別の実施形態が可能であることも理解されるべきである。本発明は、添付された特許請求の範囲によってのみ限定される。
【図面の簡単な説明】
【図１】本発明の１実施形態によるイメージ輝度制御方法のブロック図。
【図２】本発明の１実施形態によるイメージ輝度制御システムおよび方法を含む光学的車線逸脱警報システムの全体的なアーキテクチャのブロック図。
【図３】本発明の１実施形態によるイメージ輝度制御システムを示すブロック図。
【図４】本発明の１実施形態によるイメージ輝度制御方法を示すフロー図。
【図１】
0004339454.tif 000002
【図２】
0004339454.tif 000003
【図３】
0004339454.tif 000004
【図４】
0004339454.tif 000005