(57)【要約】  本発明は、車両用のカメラシステム（２）に関する。カメラ（３）と画像評価ユニット（４）を包含するカメラシステム（２）において、該一台のカメラ（３）が、該カメラ（３）が、該フロントガラス（７）を介して、車両の外部周辺部（８）の複数の外部撮影を含む画像シーケンスを撮影できる様に、該車両の内部空間（６）の車両のフロントガラス（７）の後ろに配置されている。更に、該画像評価ユニット（４）は、反射により、外部撮影内に投影されている静的な画像部分を、画像シーケンスの外部撮影内において認識し、画像シーケンスの外部撮影から、該認識された静的な画像部分を抽出することができる様に構成されている。
2020508591.tif 000002
【特許請求の範囲】
【請求項１】
カメラ（３）と画像評価ユニット（４）を包含しているカメラ・システム（２）であって、
−  該一台のカメラ（３）が、該カメラ（３）が、該フロントガラス（７）を介して、車両（１）の外部周辺部（８）の複数の外部撮影（１３）を含む画像シーケンスを撮影できる様に、該車両（１）の内部空間（６）の車両（１）のフロントガラス（７）の後ろに配置されることができる様に構成されており、且つ、
−  該画像評価ユニット（４）が、反射により、外部撮影（１３）内に投影されている静的な画像部分（１７）を、画像シーケンスの外部撮影（１３）内において認識し、画像シーケンスの外部撮影（１３）から、該認識された静的な画像部分（１７）を抽出することができる様に構成されている
ことを特徴とする車両（１）用のカメラシステム（２）。
【請求項２】
画像評価ユニット（４）が、画像シーケンスの外部撮影（１３）において静的な画像部分（１７）を、画像シーケンスの外部撮影（１３）の経時的平均を算出することにより認識できる様に構成されている
ことを特徴とする請求項１に記載のカメラシステム（２）。
【請求項３】
該画像評価ユニット（４）が、画像シーケンスの外部撮影（１３）において静的な画像部分（１７）を、該画像シーケンスの外部撮影（１３）における光学的流れを割り出すことにより認識できる様に構成されている
ことを特徴とする請求項１或いは２に記載のカメラシステム（２）。
【請求項４】
該画像評価ユニット（４．１，  ４．２）が、画像シーケンスの外部撮影（１３）において静的な画像部分（１７）を、既知のストラクチャ（１１，  １２）を基にして、認識できる様に構成されている、但し、該既知のストラクチャ（１１，  １２）は、該カメラ（３）がアクセス自在な画像データに収められている
ことを特徴とする先行請求項のうち何れか一項に記載のカメラシステム（２）。
【請求項５】
一台の第一カメラ（３．１）、一つの画像評価ユニット（４．１）、一台の第二カメラ（３．２）、並びに、プロセッサーユニット（５）を包含しているカメラシステム（２）であって、
−  一台の第一カメラ（３．１）が、該第一カメラ（３．１）が、該フロントガラス（７）を介して、車両（１）の外部周辺部（８）の複数の外部撮影（１３）を含む画像シーケンスを撮影できる様に、該車両（１）の内部空間（６）の車両（１）のフロントガラス（７）の後ろに配置されることができる様に構成されており、
−  一台の第二カメラ（３．２）が、該第二カメラが、該車両（１）の内部空間（７）に配置されたインストルメントパネル（１２）の複数の内部撮影を含む画像シーケンスを撮影できる様に、該車両（１）の内部空間（６）に配置されることができる様に構成されており、且つ、
−  プロセッサーユニット（５）が、内部撮影を、外部撮影（１３）に調整して合わせることができる様に構成されており、且つ、
−  画像評価ユニット（４．１，  ４．２）が、インストルメントパネル（１２）、或いは、該インストルメントパネル（１２）上にあるアイテム（１１）のフロントガラス（７）上での鏡像が写っている外部撮影（１３）内の画像部分を、該外部撮影（１３）から抽出することができる様に構成されている
ことを特徴とする車両（１）用のカメラシステム（２’）。
【請求項６】
カメラ（３）が、車両（１）の内部空間（６）の車両（１）のフロントガラス（７）の後ろに配置され、該フロントガラス（７）を介して、車両（１）の外部周辺部（８）の複数の外部撮影（１３）を含む画像シーケンスを撮影する方法であって、
−  カメラ（３）の画像評価ユニット（４）によって画像シーケンスの外部撮影（１３）内の静的な画像部分（１７）を認識すること  −  但し、該静的な画像部分（１７）は、反射により、該外部撮影（１３）内に投影されたものである  −  並びに、
−  該画像評価ユニット（４）によって認識された静的な画像部分（１７）を該画像シーケンスの外部撮影（１３）から抽出すること
を包含していることを特徴とする鏡像（１０）を抑止するための方法。
【請求項７】
画像シーケンスの外部撮影（１３）における静的な画像部分（１７）の認識が、画像評価ユニット（４）を用いた該画像シーケンスの外部画像の平均値算出によって実施される
ことを特徴とする請求項６に記載の方法。
【請求項８】
画像シーケンスの外部撮影（１３）における静的な画像部分（１７）の認識が、該画像評価ユニット（４）を用いた該画像シーケンスの外部撮影（１３）における光学的流れの割り出しによって実施される
ことを特徴とする請求項６或いは７に記載の方法。
【請求項９】
画像シーケンスの外部撮影（１３）における静的な画像部分（１７）の認識が、既知なストラクチャ（１１，  １２）を基に、画像評価ユニット（４）によって実施されるが、該既知なストラクチャ（１１，１２）が、カメラ（３）がアクセス自在な一つの画像ファイルに収められている
ことを特徴とする請求項６から８の何れか一項に記載の方法。
【請求項１０】
既知なストラクチャ（１１，  １２）が、機械的な学習方法によって、割り出される
ことを特徴とする請求項９に記載の方法。
【請求項１１】
−  一台の第一カメラ（３．１）が、車両（１）の内部空間（６）の車両（１）のフロントガラス（７）の後ろに配置され、該フロントガラス（７）を介して、車両（１）の外部周辺部（８）の複数の外部撮影（１３）を含む画像シーケンスを撮影し、且つ、
−  一台の第二カメラ（３．２）が、該車両（１）の内部空間（６）に配置されており、該車両（１）の内部空間（６）に配置されているインストルメントパネル（１２）の複数の内部撮影を含む画像シーケンスを撮影する
方法であって、
−  内部撮影を外部撮影（１３）にプロセッサーユニット（５）を用いて調整し合わせること、並びに、
−  インストルメントパネル（１２）、或いは、該インストルメントパネル（１２）上にあるアイテム（１１）のフロントガラス（７）上での鏡像が写っている外部撮影内の画像部分（１７）を、画像評価ユニット（４．１，  ４．２）を用いて該外部撮影（１３）から抽出すること
を包含していることを特徴とする鏡像（１０）を抑止するための方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両（ビークル／乗り物）用のカメラシステム、並びに、鏡像を抑止するための方法に関する。
【背景技術】
【０００２】
車両用のカメラシステムは、既知である。特に、自動車の外部周辺部にある様々なオブジェクトを認識するためのフロントカメラが用いられるカメラシステムは、既知である。この際、該カメラは、通常、自動車のフロントガラスの後ろに配置され、これを介して走行方向を観察している。この場合、フロントガラスの内側に、例えば、車両のキャビン内のインストルメントパネル上にあるものの邪魔になる鏡像が映る場合がある。
【０００３】
この様なフロントガラス上への鏡像を抑止するためには、偏光フィルタを用いなければならない。更には、フロントカメラとフロントガラスとの間の空間を閉じる散乱光シェードやファンネルを採用することも可能である。しかし、この様な散乱光シェードでは、カメラの開口角度が広角である場合、該散乱光シェードが、巨大になり、車両のドライバーの視野を邪魔する可能性もある。更に、該散乱光シェードは、直射日光が当たると、全体的にペイロードを高め、認識すべきストラクチャをぼやかしてしまう望まれないバックグラウンド・シグナルを発生させる可能性も有している。その際、非常に動的なイメージの非直線的な特性曲線のため、認識すべきストラクチャのコントラストが、非相応に低下する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
よって、本発明の課題は、冒頭に記した様な種に属する、但し、フロントガラス面での反射の効果的な抑制を可能にするにもかかわらず、車両のドライバーの視野の妨げになりにくいカメラシステム及び方法を提供することにある。
【課題を解決するための手段】
【０００５】
本発明によれば、上記課題は、独立請求項に記載されている対象によって達成される。尚、有利な実施形態は、従属請求項、以下の明細書、並びに、図の対象である。
【０００６】
本発明の第一アスペクトによれば、車両用のカメラシステムが提供される。該車両としては、例えば、乗用車、バス、貨物自動車などの動力車両を挙げることができる。該カメラシステムは、カメラと画像評価ユニットを包含している。該カメラは、該カメラが、該フロントガラスを介して、車両の外部周辺部の複数の外部撮影を含む画像シーケンスを撮影できる様に、該車両の内部空間の車両のフロントガラスの後ろに配置されることができる様に構成されている。該画像評価ユニットは、反射により、外部撮影内に投影されている静的な画像部分を、画像シーケンスの外部撮影内において認識し、画像シーケンスの外部撮影から、該認識された静的な画像部分を抽出することができる様に構成されている。
【０００７】
本発明は、望まれない邪魔になる鏡像の大部分は、静的であるが、望まれる、有用画像は、車両の走行中、動いているシーンを描写していると言うことを応用している。静的な画像部分の抽出は、画像処理のメソッドによって実施可能であり、妨害画像の減算的除去を可能にする。即ち、実質的に妨害する画像部分を抽出することによって排除しているため、場合によっては、散乱光シェードを用いる必要がなくなる、少なくとも、散乱光シェードを非常に小さなものとすることができる。
【０００８】
画像シーケンスの外部撮影において静的な画像部分を認識することは、画像処理の様々なメソッドによって実施できる。この関連において、以下、画像処理の特に適切なメソッドを説明する。
【０００９】
ある実施形態では、画像評価ユニットを、画像シーケンスの外部撮影において静的な画像部分を、画像シーケンスの外部撮影の経時的平均を算出することにより認識できる様に構成することが可能である。この際、可変な画像部分は、消えるが、静的な画像部分は、残る。
【００１０】
更に該画像評価ユニットを、画像シーケンスの外部撮影において静的な画像部分を、該画像シーケンスの外部撮影における光学的流れを割り出すことにより認識できる様に構成することも可能である。
【００１１】
更なる実施形態によれば、該画像評価ユニットは、画像シーケンスの外部撮影において静的な画像部分を、既知のストラクチャ（例えば、該車両の内部空間の中に配置されているインストルメントパネルの鏡像や該インストルメントパネル上にあるアイテムの鏡像）を基にして、認識できる様に構成されている、但し、該既知のストラクチャは、該カメラがアクセス自在な画像データに収められている。該画像データは、例えば、該カメラ内部のメモリーユニットに保存されていることが可能である。代案的に、該画像データは、該カメラがアクセス自在な外部のメモリーユニットに保存されていることも可能である。
【００１２】
本発明の発端となった上記の問題は、本発明の第二アスペクトによれば、代案的に、車両用のカメラシステムによって解決されることができるが、この際、該カメラシステムは、第一カメラ、画像評価ユニット、第二カメラ、並びに、プロセッサーユニットを包含している。該第一カメラは、該第一カメラが、該フロントガラスを介して、車両の外部周辺部の複数の外部撮影を含む画像シーケンスを撮影できる様に、該車両の内部空間の車両のフロントガラスの後ろに配置されることができる様に構成されている。該第二カメラは、該第二カメラが、該車両の内部空間に配置されたインストルメントパネルの複数の内部撮影を含む画像シーケンスを撮影できる様に、該車両の内部空間に配置されることができる様に構成されている。更に、該プロセッサーユニットは、内部撮影を、外部撮影に調整して合わせることができる様に構成され、該画像評価ユニットは、インストルメントパネル、或いは、該インストルメントパネル上にあるアイテムのフロントガラス上での鏡像が写っている外部撮影内の画像部分を、該外部撮影から抽出することができる様に構成されている。この際、画像評価ユニットとプロセッサーユニットは、統合されていても良い、即ち、上記の機能を実施できる一つのユニットであることもできる。
【００１３】
本発明の第三のアスペクトによれば、鏡像を抑止するための方法が提供されるが、ここでは、一台のカメラが、車両の内部空間において該車両のフロントガラスの後ろに配置され、該フロントガラスを介して、該車両外部の周辺部の複数の外部撮影を含む画像シーケンスを撮影する。該方法は、カメラの画像評価ユニットによって画像シーケンスの外部撮影内の静的な画像部分を認識すること  −  但し、該静的な画像部分は、反射により、該外部撮影内に投影されたものである  −  並びに、該画像評価ユニットによって認識された静的な画像部分を該画像シーケンスの外部撮影から抽出することを包含している。
【００１４】
ある実施形態によれば、画像シーケンスの外部撮影における静的な画像部分の認識は、画像評価ユニットを用いた該画像シーケンスの外部画像の平均値算出によって実施される。
【００１５】
更に、画像シーケンスの外部撮影における静的な画像部分の認識は、該画像評価ユニットを用いた該画像シーケンスの外部撮影における光学的流れの割り出しによっても可能である。
【００１６】
更なる実施形態によれば、画像シーケンスの外部撮影における静的な画像部分の認識は、既知なストラクチャを基に、画像評価ユニットによって、実施されるが、該既知なストラクチャは、カメラがアクセス自在な一つの画像ファイルに収められていることができる。特に、該既知なストラクチャは、機械的な学習方法によって、割り出されることができる。
【００１７】
本発明の第四のアスペクトによれば、代案的な鏡像を抑止するための方法が提供される。ここでは、該車両の内部空間の車両のフロントガラスの後ろに配置されている一台の該一カメラが、該フロントガラスを介して、該車両の外部周辺部の複数の外部撮影を含む画像シーケンスを撮影する。更に、該車両の内部空間に配置されている一台の第二カメラが、該車両の内部空間に配置されているインストルメントパネルの複数の内部撮影を含む画像シーケンスを撮影する。該方法は、内部撮影を外部撮影にプロセッサーユニットを用いて調整し合わせること、並びに、インストルメントパネル、或いは、該インストルメントパネル上にあるアイテムが、フロントガラスに反射することによりできる外部撮影内の画像部分を、画像評価ユニットを用いて該外部撮影から抽出することを包含している。
【００１８】
以下、本発明の実施例を、模式的な図面を用いて詳細に説明する。
【図面の簡単な説明】
【００１９】
【図１】本発明に係るカメラシステムの一つの実施例を備えた車両の側面図である。
【図２】図１のカメラシステムの詳細な側面図である。
【図３】本発明に係る図１の車両用のカメラシステムの更なる実施例の側面図である。
【図４】図１のカメラシステムのカメラによって作成された画像シーケンスの撮影画像を表す図である。
【図５】図４の撮影画像であるが、図４に係る撮影画像の静的な画像部分のみが示されている図である。
【図６】図４の撮影画像ではあるが、図４に係る撮影画像の動的な画像部分のみが示されている図である。
【図７】本発明に係る鏡像を抑止するための方法の実施例を説明した方法スキーマを表す図である。
【図８】本発明に係る鏡像を抑止するための方法の更なる実施例を説明した更なる方法スキーマを表す図である。
【発明を実施するための形態】
【００２０】
図１は、示されている実施例では自動車である車両１を示している。該車両１は、カメラシステム２を包含しており、これは更に、カメラ３と画像評価ユニット４を包含している。尚、該カメラシステム２は、図１に示す如く、プロセッサーユニット５も包含している。該画像評価ユニット４と該プロセッサーユニット５は、一つの共通のユニットに統合されていることも可能である。
【００２１】
特に図２から明らかなように、カメラ３は、車両１の内部空間６、特に詳しくは、該車両１のフロントガラス７の後ろの領域に配置されている。カメラ３を用いて、方法ステップ１０において（図７参照）、フロントガラス７を介して、該車両１の外部周辺部８の画像シーケンスが、撮影されるが、該画像シーケンスは、複数の外部撮影（図４）を包含しており、且つ、該外部撮影は、時間的に連続して実施されたものである。ある可能な該カメラ３の捕捉領域が、図２では、破線によって示されている。
【００２２】
該カメラ３を用いて外部撮影が実施されている間、フロントガラス７の内側９上に、邪魔となる、よって、望まれない鏡像１０が、映り得る。示されている実施例では、該鏡像１０は、フロントガラス７の内側９におけるアイテム１１の反射によって生成するが、該アイテム１１は、該車両１の内部空間６内に配置されているインストルメントパネル１２上にある。ここでは、該アイテム１１は、例えば、一冊／一つの（特に明るい色の）雑誌や、容器、或いは、これらに類似するものであることができる。更に、該鏡像１０は、インストルメントパネル１２上に何もアイテム１１が無かったとしても、インストルメントパネル１２自体のフロントガラス７の内側９上での反射によって、生成し得る。
【００２３】
邪魔になる鏡像１０は、外部撮影内において静的であるが、該車両１の走行中は、有用画像は、動いているシーンを描写している。ここで言う「有用画像」とは、外部撮影１３の一つの画像領域であると解釈できるが、この領域は、邪魔となる鏡像１０を包含していない。図４によれば、該外部撮影１３は、フロントガラス７の内側９に、アイテム１１が、反射する（図２）ことによりできた鏡像１０を示している。
【００２４】
該鏡像１０は、画像シーケンス中、図４に示す外部撮影１３と（図示されていない）外部撮影において、静的である。更に、図４に示した外部撮影１３は、車両１が前進している道路１４も示しているが、該車両１の前方領域は、カメラ３によって、一枚一枚の外部撮影１３において撮影される。道路１４の側方の縁１５には、車両１の前進に伴い、該車両１に向かって動くガイドポスト１６が設置されており、その動きは、図４においては、実際の外部撮影１３にはない補助矢印によって示唆されている。
【００２５】
方法ステップ２０では、カメラ３の画像評価ユニット４を用いて、邪魔になる鏡像１０が、外部撮影１３内の静的オブジェクトとして認識される。この場合、外部撮影１３内に対応する画像領域１７を画像評価ユニット４が、静的な画像部分１７として認識する。外部撮影１３内の静的な画像部分１７の認識は、その際、例えば、経時的平均値算出、外部撮影１３内の光学的流れ、及び／或いは、カメラ３の画像評価ユニット４がアクセス自在な画像データ内に収められている既知のストラクチャ（例えば、インストルメントパネル１２やアイテム１１）を基に、実施されることができる。画像評価ユニット４を用いて外部撮影１３内に認識された静的な画像部分１７は、次の方法ステップ３０において、減算的に除去されるが（図７、及び、図５の第一修正外部撮影１３’参照）、これは、該画像評価ユニット４によって、画像処理のメソッドを用いて実施し得る。該減算的除去により、第二修正外部撮影１３’’（図６）が作成され、該撮影は、例えば、更なる方法ステップ４０において、該車両１の内部空間６に配置されている（図示されていない）表示手段上に表示されることができる。該第二修正外部撮影１３’’は、既に、邪魔な鏡像１０を含んでいない。
【００２６】
図３は、これも、例えば、図１に示す車両１において採用可能な本発明に係るカメラシステム２’の実施例の代案的コンフィグレーションを示している。図３のカメラシステム２’は、第一画像評価ユニット４．１を有する第一カメラ３．１、第二カメラ３．２、及び、プロセッサーユニット５を包含している。第二カメラ３．２は、第二画像評価ユニット４．２を包含していることができる。示されている実施例では、プロセッサーユニット５は、第一カメラ３．１内に配置されている。代案的に、該プロセッサーユニット５は、第一カメラ３．１の外、例えば、第二カメラ３．２内に配置されていることも可能である。
【００２７】
該第一カメラ３．１は、車両１の内部空間６内に配置されているが、特に好ましくは、該車両１のフロントガラス７の後ろの領域に、配置されている。第一カメラ３．１を用いて、方法ステップ１００ａ（図８参照）において、フロントガラス７を介して、該車両１の外部周辺部８の画像シーケンスが、撮影されるが、該画像シーケンスは、複数の外部撮影（図４）を包含し、且つ、該外部撮影は、経時的に連続して実施されたものである。該第一カメラ３．１のある可能な捕捉領域が、図３では、破線によって示されている。図２の実施例と関連して記述した如く、外部撮影１３を実施中、邪魔な鏡像１０が、フロントガラス７の内側９に映ることがある。
【００２８】
この邪魔な鏡像１０を、外部撮影１３から取り除くため、方法ステップ１００ｂにおいて、第二カメラ３．２を用い、（図示されていない）複数の内部撮影からなる画像シーケンスを撮影することができるが、これらの内部撮影は、該車両１の内部空間６に配置されているインストルメントパネル１２の写像を包含している。また、インストルメントパネル１２上にアイテム１１がある場合、これも、第二カメラ３．２によって捕捉される。該第二カメラ３．２は、インストルメントパネル１２、乃至、該インストルメントパネル１２上にあるアイテム１１を捕捉することができる様に、該車両１の内部空間６内に配置されている。該第二カメラのある可能な捕捉領域が、図３では、破線によって示されている。該方法ステップ１００ａと１００ｂは、特に好ましくは、同時に実施されることができる。
【００２９】
該プロセッサーユニット５を用いれば、更なる方法ステップ２００において、第二カメラ３．２の内部撮影を、第一カメラ３．１の外部撮影に該プロセッサーユニット５によって調整して合わせることが可能である。第一カメラ３．１の第一画像評価ユニット４．１、及び／或いは、第二カメラ３．２の第二画像評価ユニット４．２を用いれば、更なる方法ステップ３００において、外部撮影１３から複数であり得る画像部分を抽出し、図６に示すような修正外部撮影１３’’を得ることができる。その際、特に好ましくは、インストルメントパネル１２の、或いは、該インストルメントパネル上にあるアイテム１１の反射によりできた複数であり得る画像部分が、抽出されることが好ましい（図５の修正外部撮影１３’参照）。更に、図６の該修正外部撮影１３’’は、更なる方法ステップ４００において、該車両１の内部空間６にある（図示されていない）表示手段に表示されることも可能である。
【図１】
2020508591.tif 000003
【図２】
2020508591.tif 000004
【図３】
2020508591.tif 000005
【図４】
2020508591.tif 000006
【図５】
2020508591.tif 000007
【図６】
2020508591.tif 000008
【図７】
2020508591.tif 000009
【図８】
2020508591.tif 000010
【国際調査報告】
2020508591.tif 000011
2020508591.tif 000012
2020508591.tif 000013
2020508591.tif 000014
2020508591.tif 000015
2020508591.tif 000016