(57)【要約】  本発明は、車載カメラの画像から散乱光によって生成した明るい部分を除去するための方法に関する。車両の周辺部の画像が、車内乃至車外に配置されている車載カメラによって撮影される。続いて、画像内における総輝度の推移（７）が割り出される、但し、該総輝度は、車載カメラの捕捉領域に到達した望まれる光と散乱光によるものである。更に、散乱光輝度の下限の推移の近似式（８）が、推定され、該推定された近似式（８）が、総輝度の割り出された推移（７）から除算される。散乱光修正された画像が、提供される。
2020520486.tif 000002
【特許請求の範囲】
【請求項１】
車載カメラ（３）の画像から散乱光によって生成した明るい部分を除去するための方法であって、以下の方法ステップを包含していることを特徴とする方法：
−該車両（１）の車内乃至車外に配置されている車載カメラ（３）による車両（１）の周辺部（６）の画像を撮影するステップ、
−画像内における総輝度の推移（７）を割り出すステップ、但し、該総輝度は、車載カメラ（３）の捕捉領域に到達した望まれる光と散乱光によるものである、
−散乱光輝度の下限の推移の近似式（８）を推定するステップ、並びに、
−散乱光輝度の下限の推移の推定された近似式（８）を総輝度の割り出された推移（７）から除算するステップ、及び、
−散乱光修正された画像を提供するステップ。
【請求項２】
散乱光輝度の下限の近似式（８）として、ガウス分布が選択されることを特徴とする請求項１に記載の方法。
【請求項３】
散乱光輝度の推移（７）の割り出しを、画像全体、部分的、乃至、ブロック毎に実施することを特徴とする請求項１或いは２に記載の方法。
【請求項４】
散乱光輝度の下限の近似式（８）の推定を、領域毎に、補完することを特徴とする先行請求項のうち何れか一項に記載の方法。
【請求項５】
散乱光輝度の下限の近似式（８）を推定するために、画像の鉛直な推移に沿って割り出された総輝度（７）の最大の位置と割り出された散乱光修正された輝度（９）が、一定であるか否かを調べることを特徴とする先行請求項のうち何れか一項に記載の方法。
【請求項６】
撮影した画像内における散乱光が、同じ色であるか否かを確認することを特徴とする先行請求項のうち何れか一項に記載の方法。
【請求項７】
第一画像内の推定された散乱光輝度の下限の推移の近似式（８）が、車両（１）の周辺部（６）の外部の少なくとも一枚の次に撮影された第二画像においてトラッキングされることを特徴とする先行請求項のうち何れか一項に記載の方法。
【請求項８】
車載カメラ（３）自らの動きを考慮し、フィルタを用いて、散乱光の原因となる太陽の位置が、車両（１）の周辺部（６）の外部の少なくとも一枚の次に撮影された第二画像において推定されることを特徴とする請求項７に記載の方法。
【請求項９】
散乱光のヴィネット化も考慮されることを特徴とする先行請求項のうち何れか一項に記載の方法。
【請求項１０】
散乱光輝度の下限の近似式（８）の推定が、少なくとも部分的に、画像の垂直方向に沿った低減された輝度の大きなバラツキを、除外するように実施されることを特徴とする先行請求項のうち何れか一項に記載の方法。
【請求項１１】
車載カメラ（３）の画像から散乱光によって生成した明るい部分を除去するための装置（２）であって、更に、車載カメラ（３）と、プロセッサユニット（４）を包含している装置（２）であって、該車載カメラ（３）は、該車載カメラ（３）が、少なくとも一枚の、車両（１）の周辺部（６）の外部の画像を撮影する様に、車両（１）に配置され、構成されており、且つ、該プロセッサユニット（４）が、以下を実施できる様に構成されていることを特徴とする装置：
−画像内における総輝度の推移（７）を割り出す、但し、該総輝度は、車載カメラ（３）の捕捉領域に到達した望まれる光と散乱光によるものである、
−散乱光輝度の下限の推移の近似式（８）を推定する、
−散乱光輝度の下限の推移の推定された近似式（８）を総輝度の割り出された推移（７）から除算する、並びに、
−この様にして割り出された散乱光修正された画像を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラの画像から散乱光によって生成した明るい部分を除去するための方法並びに装置に関する。
【背景技術】
【０００２】
車両用のカメラシステムは、既知である。特に、自動車の外部周辺部にある様々なオブジェクトを認識するためのフロントカメラが用いられるカメラシステムは、既知である。この様なカメラシステムの典型的な用途は、例えば、交通標識、走行レーンやライト認識である。
【０００３】
あるカメラシステムの車載カメラは、通常、自動車のフロントガラスの後ろに配置され、これを介して走行方向を観察している。車両外部の周辺部に加え、通常、車内にあるオブジェクトも、フロントガラスの双方の屈折縁（媒体である空気・ガラス・空気の境界）における反射によって、該カメラによって撮影された画像内に映し出される。オブジェクトの反射画像は、本来欲しいシグナルにかぶさり、車両外部の周辺部における検出の邪魔になる。この問題の典型的な解決策としては、妨害を遮る散乱光ファンネルや散乱光シェードなどが使用される。但し、この様な散乱光シェードは、逆光となり得る光を、直接的に車載カメラ内に、散乱させてしまう傾向を有している。機械的な対策の効果は限定的であるにもかかわらず、製造コストは、高くなり得る。更に、この様な機械的な対策には、車両の内部のデザインに悪影響を与えるなど、美学的な影響も有している。
【０００４】
今日製造されている車載カメラの典型的な開口角度は、約５０°である。他の交通参加者、特に、他の車両、自転車、歩行者など横切る交通参加者をタイムリーに認識すると言う要求がある。そのためには、カメラシステムに採用されるカメラの開口角度は、少なくとも１００°必要である。散乱光シェードの開口角度は、従来、カメラの視野を制限しないようにするため、カメラの開口角度よりも大きい。
【０００５】
横断する交通参加者もタイムリーにカメラシステムによって認識するために必要な前述した開口角度の拡大により、必要とされる散乱光ファンネルも大きくなる。その際、カメラの開口角度だけでなく、カメラレンズとフロントガラスとの間の間隔やフロントガラスの傾きも、必要な散乱光シェードの幅を定義している。必要とされる散乱光シェードの大きくなっていく幾何学的サイズは、その際、車両運転手の周りへの視野を妨げる、即ち、オブジェクトや他の交通参加者に対する視野を悪化させる。即ち、あるアプローチとしては、部分的に散乱光シェードを用いないことを挙げることができる。カメラ内に至る散乱光は、カメラ画像内の望まれないバックグラウンドシグナルの要因となる。入射する太陽光は、有用シグナル全体のレベルを高め、認識されるべきストラクチャをぼやかしてしまう。その際、非常に動的（ＨＤＲ）なイメージャの非直線的な特性曲線のため、認識すべきストラクチャのコントラストが、不相応に低下する。
【０００６】
更には、以前の画像からコントラスト比を推定し、それに基づいて次の画像において、散乱光を次の画像から排除するために、部分的にコントラスト増幅する方法も既知である。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
よって、本発明の課題は、副作用が最小限となる様に部分的にだけ設けられている散乱光シェードしか用いない場合でも、特に、画像を略均一に明るくすることを可能にする冒頭に述べた様な方法及び装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明によれば、上記課題は、独立請求項に記載されている対象によって達成される。尚、有利な実施形態は、従属請求項、以下の明細書、並びに、図の対象である。
【０００９】
本発明は、散乱光を原因とする明るい部分を車載カメラの画像から除去するための算術的解決案を提案しているが、該算術的解決案は、既知のハードウェア、例えば、ＩＳＰ  （Ｉｍａｇｅ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ，  画像シグナルを処理するユニット）に内蔵されているローカルなコントラスト増幅やトーンマッピング（ＨＤＲ画像のコントラスト範囲を狭めるための動的圧縮）によって実現可能である。本発明に係る解決案によれば、帰属するシステムを安定化させ、確実なものとするために、複数のパラメータを監視し、妥当性検証することができる。
【００１０】
本発明は、カメラ内で逆光を要因として発生する様々なアーティファクトがあることを応用している。本発明は、特に、散乱光シェードがあることによって発生する明るい部分に効果がある。一方、所謂「Ｌｅｎｓ  Ｆｌａｒｅｓ  （レンズフレア）」などの他の散乱光・アーティファクトは、考慮しない。
【００１１】
特に、太陽が写っている、或いは、画像の直横に太陽があるようなカメラ撮影では、非常に多くの光が、散乱光シェードによって、カメラ内に散乱される。その際、該散乱光の形状は、一つの成分、即ち、その最大値が画像内で一定であり、太陽の位置に直接的に関係している、加法的で周縁部は暗くなっているガウス型分布に依存して略定まる。この関係は、周縁部が非常に暗くなるため最大値の推定は、無理ではないが、困難であるにもかかわらず、太陽が、画像周縁部の右側或いは左側にある場合も観察される。
【００１２】
散乱光の推定は、常に、各々の画像の内容に影響を受けると言うことに注意しなければならない。しかし、本発明は、時間的に不変或いは予測可能なパラメータを推定し、それによって経時的に推定値を、特に好ましくは、妥当化することを可能にしている。
【００１３】
本発明の第一アスペクトによれば、散乱光を原因とする明るい部分を車載カメラの画像から除去するための方法を提供する。
【００１４】
該方法によれば、車両の周辺部の画像が、車内乃至車外に配置されている車載カメラによって撮影される。この際、車載カメラの視線方向は、任意に選択できる。該車載カメラは、例えば、車両のフロントガラスの領域に配置され、該フロントガラスを通じて走行方向を向いていることができる。但し、これは、例に過ぎない。同様に、該車載カメラは、例えば、車両のリアガラスの領域に配置され、該リアガラスを通じて後進方向を向いていることができる。該車両としては、例えば、乗用車、バス、貨物自動車などの動力車両を挙げることができる。画像内における総輝度（望まれない分散光輝度も含め）の推移を、例えば、水平方向に、割り出す。即ち、該総輝度は、望まれる光と、散乱光によるものである。その際、該散乱光輝度は、車載カメラの捕捉領域に到達した散乱光によるものである。この様な散乱光は、特に、画像に写っている太陽や該画像のそばにある太陽によるものであるが、非常に多くの太陽光が、散乱光シェードによって、車載カメラ内に散乱される。
【００１５】
散乱光輝度の推移の割り出し（推定）は、例えば、Ｍｉｎフィルタやエロージョン、その他類似する方法によって、実施することができ、これは、特に、画像全体、部分的、或いは、ブロックに分けて実施することが可能である。
【００１６】
この際、散乱光輝度の下限の推移の近似式が、推定される。言い換えれば、散乱光輝度の推移の下限を示す近似式が割り出される。ここで言う「散乱光輝度の下限」と言う特徴とは、特に、割り出された総輝度がそれを下回らない散乱光の水平方向における輝度推移と解釈することができる。特に、散乱光輝度の下限は、割り出された総輝度以下、且つ、本質的に平行であることができる。推定された近似式が、散乱光輝度の割り出された実際の推移に近づけば近づくほど、以下に記する如く、より多くの散乱光を、撮影された画像から正確に除去できる。
【００１７】
更に、推定された近似式は、割り出された（総）輝度の推移から減算される、乃至、引かれるが、該減算、乃至、引き算は、特に好ましくは、行毎に実施される。その際、割り出された輝度は、ローカル、特に好ましくは、対象となる画像の行の水平な位置において、推定された近似式が該当箇所において仮定する値ずつ分減らされる。減算乃至引き算（並びに、特に上記のステップを、撮影された画像の複数の、好ましくは、全ての行に対して反復）することにより、画像シーケンスの撮影された画像から、散乱光が除去された修正画像（散乱光に関して修正された画像）が生成される。この画像は、提供され、例えば、出力、更に処理、及び／或いは、例えば車両のディスプレー上に表示されることができる。散乱光低減、或いは、散乱光修正された画像からは、画像処理によって、例えば、車両周辺部のオブジェクトを検出し、分類することができる。
【００１８】
ある実施形態によれば、散乱光輝度の下限の近似式として、ガウス分布が選択される。該ガウス分布は、画像内の太陽光に起因する散乱光輝度を特に正確に記述する。
【００１９】
更に好ましくは、散乱光輝度の推移の割り出しを、画像全体、部分的、乃至、ブロック毎に実施することを、想定することも可能である。近似式の推定と、割り出した輝度の推移から推定した近似式の減算も、この際同様に、画像全体、部分的、乃至、ブロック毎に実施することが可能である。
【００２０】
更なる実施形態では、散乱光輝度の下限の近似式の推定を、領域毎に、補完することが想定されている。これは、特に、あるブロックや行の推定が欠落している、或いは、失敗したと言った状況において有利である。特に、空や太陽の周りの描写は、該推定を特に激しく阻害することがある。
【００２１】
散乱光輝度の下限の近似式の推移の推定は、複数の条件によって、過度に減算乃至引き算する、或いは、画像の内容に影響されてエラーが発生するなどと言ったリスクを下げるために、サポートされ、妥当性検証されることができる。この意味でも、更なる実施形態では、画像の鉛直な推移に沿って割り出された総輝度の最大の位置が、一定であるか否かを確認することが想定されている。この確認が、肯定的な結果を出している間、即ち、場増の垂直方向の推移において最大値の位置が一定である限り、除算は過度ではないと考えることができる。この様にすることで、画像縦方向の強度や輝度の過度なバラツキは、ないものとすることができる。
【００２２】
代案的乃至付加的に、撮影した画像内における散乱光が、同じ色であるか否かを確認することを想定しても良い。この実施形態では、散乱光が、どこにあっても同じ色であると言うこと、即ち、太陽光の色であると言うことを応用している。特に、太陽が、黄色っぽい白からオレンジ色であることを応用している。
【００２３】
推定されたパラメータ（即ち、散乱光輝度の下限の推移の近似式の推定）は、画像から画像にかけてトラッキングされることも可能である。この意味でも、更なる実施形態では、第一画像内の推定された散乱光輝度の下限の推移の近似式は、車両の周辺部外部の少なくとも一枚の次に撮影された第二画像においてトラッキングされることが想定されている。その際、車両乃至車載カメラ自体の動きを考慮した上で、太陽の位置は、時間的にゆっくりとしか変化しないことを応用している。
【００２４】
この文脈では、車載カメラ自らの動きを考慮すれば、特に好ましくは、フィルタ、例えば、カルマンフィルタを用いて、散乱光の原因となる太陽の位置を、車両周辺部外部の少なくとも一枚の次に撮影された第二画像において、推定することができる。これは、例えば、木や建物、高架などがあるケースにおいて、太陽が、消えた後、また、戻ってきた場合などに、特に有利である。これにより、付加的に、既知の方法では起こり得る問題を解決できる：画像が変わるたびに、全てのパラメータを改めて推定する必要は無く、その前の第一画像から値を推定しなければならない時にのみ、その強度を推定する必要があるだけである。
【００２５】
本方法の更なる発展形態によれば、散乱光のヴィネット化も考慮される。これにより、散乱光輝度の下限の推定を堅牢なものにできる。
【００２６】
本発明の第二アスペクトによれば、散乱光を原因とする明るい部分を車載カメラの画像から除去するための装置を提供する。該装置は、車載カメラとプロセッサユニットを包含しているが、該車載カメラは、車両に、該車載カメラが、車両の周辺部外部の少なくとも一枚の画像を撮影できる様に配置されており、且つ、該プロセッサユニットは、本発明の第一アスペクトに係る方法に従って方法ステップを実施できる様に構成されている。
【００２７】
以下、本発明の実施例を、模式的な図面を用いて詳細に説明する。図の説明：
【図面の簡単な説明】
【００２８】
【図１】図１は、本発明に係る装置の一つの実施例を備えた車両の側面図、そして、
【図２】図２は、総輝度の割り出された推移と散乱光輝度の下限の推移の近似式、並びに、上述した推移の差を対比して図示したものである。
【発明を実施するための形態】
【００２９】
図１は、示されている実施例では自動車である車両１を示している。該車両１は、車載カメ３ラの画像から散乱光によって生成した明るい部分を除去するための装置２を包含している。該装置は、示されている実施例では車載カメラ３とプロセッサユニット４を有している。
【００３０】
該第一車載カメラ３は、車両１の内部空間５内に配置されているが、特に好ましくは、該車両１のフロントガラスの後ろの領域に、配置されている。該車載カメラ３を用いて、フロントガラスを介して、該車両１の外部周辺部６の画像乃至画像シーケンスが、撮影できるが、該画像シーケンスは、複数の外部撮影を包含していることができ、且つ、該外部撮影は、時間的に連続して実施されたものである。
【００３１】
図２は、グラフを示しているが、水平軸は、水平方向の位置を、そして、垂直軸は、線形的輝度を示している。該グラフでは、車載カメラ３を用いて撮影された車両１の外部周辺部６が写されている画像の一行が、以下の三つのグラフにプロットされている：第一グラフ７は、捕捉した（総）輝度の割り出された推移、第二グラフ８は、散乱光輝度の下限の推移推定された近似式、そして、第三グラフ９は、該画像行の各水平方向位置における第一グラフ７と第二グラフ８との間の差に、相当するものである。即ち、該第三グラフ９は、散乱光修正された画像に相当している。
【００３２】
その際、該輝度は、車載カメラ３の捕捉領域に到達した光によるものである。散乱光輝度の近似式８の推移の割り出しは、プロセッサユニット４によって、例えば、Ｍｉｎフィルタやエロージョン、その他類似する方法によって、実施することができる。
【００３３】
該散乱光輝度の下限の推定された推移（第二グラフ８）は、示されている実施例では、ガウス曲線をベースとしており、行毎の水平方向の散乱光輝度の輝度推移を示しているが、割り出された輝度（第一グラフ７）は、この推定された散乱光輝度を下回ることはない。散乱光輝度の下限の近似式８の推定は、部分的には、特に、推定が欠落している、或いは、失敗したところは、補間されることができる。
【００３４】
該近似式の推定は、複数の条件によって、過度に減算乃至引き算する、或いは、画像の内容に影響されてエラーが発生するなどと言ったリスクを下げるために、サポートされ、妥当性検証されることができる。
【００３５】
即ち、推定された近似式８の妥当性を評価するために、画像の垂直方向に沿って、総輝度７の最大値の位置と割り出された散乱光修正された輝度９が、一定であるか否かを調べることができる。この確認が、肯定的な結果を出している間、即ち、場増の垂直方向の推移において最大値の位置が一定である限り、除算は過度ではないと考えることができる。
【００３６】
更には、対応する近似式の推定により、画像の高さ方向に沿った強度乃至輝度の過度なバラツキを、少なくとも部分的には、除外することが可能である。図２のグラフ９は、例えば、水平方向０から２５０、５５０から７５０及び８００から９００の水平方向領域内の輝度は、比較的、一定（輝度値は、５００から１５００の間）である。
【００３７】
代案的乃至付加的には、推定された近似式の妥当性を評価するために、散乱光が、撮影された画像内において同じ色を有しているか否かを調べることも可能である。  
【００３８】
画像の各々の画像行における減算乃至引き算により、該画像シーケンスの撮影された画像から散乱光が排除され、変更された画像が作成される（散乱光修正された画像、第三グラフ９）。この画像は、出力、更に処理、及び／或いは、例えば車両のディスプレー上に表示されることができる。
【００３９】
散乱光輝度８の下限の推移の推定は、画像から画像にかけてトラッキングされることも可能である。この意味でも、第一画像内の推定された散乱光輝度８の下限の推移の近似式は、車両の周辺部外部の少なくとも一枚の次に撮影された第二画像においてトラッキングされる。そのために、車両乃至車載カメラ自体の動きを考慮した上で、太陽の位置は、時間的に略変化しないことを応用している。この文脈では、車載カメラ自らの動きを考慮すれば、特に好ましくは、フィルタ、例えば、カルマンフィルタを用いて、散乱光の原因となる太陽の位置を、第二画像において、推定することができる。これは、例えば、木や建物、高架などがあるケースにおいて、太陽が、消え、また戻ってきた場合などに、特に有利である。
【図１】
2020520486.tif 000003
【図２】
2020520486.tif 000004
【国際調査報告】
2020520486.tif 000005
2020520486.tif 000006
2020520486.tif 000007
2020520486.tif 000008
2020520486.tif 000009
2020520486.tif 000010