(57)【要約】  本発明は、動力車両用のマルチカメラシステム（１００）の画像データを融合するための装置（１）であって、マルチカメラシステムの少なくとも二台のカメラ（１１０，１２０）の重複領域（ＵｅＢ）の部分領域（ＴＢ１，ＴＢ２，…，ＴＢｎ）を定義することができる様に構成されている画像分析手段（１０）；重複領域（ＵｅＢ）の部分領域（ＴＢ１，ＴＢ２，…，ＴＢｎ）のピクセル密度を捕捉できる様に構成されている捕捉手段（２０）；並びに、ピクセル密度の偏差を割り出し、一定の閾値以下の偏差を有する隣接する部分領域（ＴＢ１，ＴＢ２，…，ＴＢｎ）を、全容画像重ね合わせ用に選択できる様に構成されている計算器手段（３０）を包含している装置（１）に関する。
2020513702.tif 000002
【特許請求の範囲】
【請求項１】
動力車両用のマルチカメラシステム（１００）の画像データを融合するための装置（１）であって、以下を包含することを特徴とする装置（１）：
−マルチカメラシステムの少なくとも二台のカメラ（１１０，１２０）の重複領域（ＵｅＢ）の部分領域（ＴＢ１，ＴＢ２，…，ＴＢｎ）を定義することができる様に構成されている画像分析手段（１０）；
−重複領域（ＵｅＢ）の部分領域（ＴＢ１，ＴＢ２，…，ＴＢｎ）のピクセル密度を捕捉できる様に構成されている捕捉手段（２０）；並びに、
−ピクセル密度の偏差を割り出し、一定の閾値以下の偏差を有する隣接する部分領域（ＴＢ１，ＴＢ２，…，ＴＢｎ）を、全容画像重ね合わせ用に選択できる様に構成されている計算器手段（３０）。
【請求項２】
該計算器手段（３０）が、マルチカメラシステムの少なくとも二台のカメラ（１１０，１２０）の画像データの全容画像重ね合わせを、選択された部分領域（ＴＢ１，ＴＢ２，…，ＴＢｎ）の融合をベースに実施できる様に構成されていることを特徴とする請求項１に記載の装置。
【請求項３】
該捕捉手段（２０）が、ピクセル密度として、少なくとも二台のカメラ（１１０，１２０）の画像センサ上の面単位毎に、部分領域（ＴＢ１，ＴＢ２，…，ＴＢｎ）に隠されている面を捕捉する様に構成されていることを特徴とする請求項１或いは２の何れか一項に記載の装置。
【請求項４】
該計算器手段（３０）が、全容画像重ね合わせとして、マルチカメラシステムの少なくとも二台のカメラ（１１０，１２０）の画像データのアルファ・ブレンディングを実施できる様に構成されていることを特徴とする請求項２から３のうち何れか一項に記載の装置。
【請求項５】
マルチカメラシステムと請求項１から４のうち何れか一項に記載の装置を包含することを特徴とする動力車両。
【請求項６】
動力車両用のマルチカメラシステム（１００）の画像データを融合するためのための方法であって、以下の方法ステップを包含することを特徴とする方法：
−マルチカメラシステムの少なくとも二台のカメラ（１１０，１２０）の重複領域（ＵｅＢ）の部分領域（ＴＢ１，ＴＢ２，…，ＴＢｎ）を定義するステップ（Ｓ１）；
−重複領域（ＵｅＢ）の部分領域（ＴＢ１，ＴＢ２，…，ＴＢｎ）のピクセル密度を捕捉するステップ（Ｓ２）；及び、
−ピクセル密度の偏差の割り出し（Ｓ３）、並びに、全容画像重ね合わせ用の隣接する部分領域（ＴＢ１，ＴＢ２，…，ＴＢｎ）の選択、但し、選択された隣接する部分領域の偏差は、閾値以下である。
【請求項７】
マルチカメラシステムの少なくとも二台のカメラ（１１０，１２０）の画像データの全容画像重ね合わせを、選択された部分領域（ＴＢ１，ＴＢ２，…，ＴＢｎ）の融合をベースに実施することを特徴とする請求項６に記載の方法。
【請求項８】
ピクセル密度として、少なくとも二台のカメラ（１１０，１２０）の画像センサ上の面単位毎に、部分領域（ＴＢ１，ＴＢ２，…，ＴＢｎ）に隠されている面を捕捉することを特徴とする請求項６或いは７の何れか一項に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動力車両用のドライバー・アシスタント・システムのための画像処理システムに関する。
【０００２】
特に、本発明は、動力車両用のマルチカメラシステムの画像データを融合するための装置並びに方法に関する。
【背景技術】
【０００３】
動力車両内の複数カメラシステムは、一台のカメラのみによって可能な周辺フィールドの拡張的捕捉であると言える。
【０００４】
多くの場合、動力車両内には、視野が重なるカメラ位置関係において、マルチカメラシステムが取り付けられる。
【０００５】
現行の車両ベースのサラウンド・ビュー・システムに採用されている隣接するカメラの重なり合う視野は、多くの場合、車両の生産時点において既に、手作業でコンフィグレーションされている。
【０００６】
欠点は、各々の車両バリエーション毎に、常に、手作業でのコンフィグレーションが必要であるため、かなりの時間とコストがかかっている。
【０００７】
更に手作業によるコンフィグレーションは、重なり合っている画像領域内での急激な画像解像度変化、即ち、図１に示すように、高いピクセル密度から低いピクセル密度への所謂フェーディングをもたらしている。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
よって、本発明の課題は、動力車両用のマルチカメラシステムの画像データを融合するための改善された装置並びに改善された方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題は、独立特許請求項に記載されている対象によって達成される。尚、発展形態、並びに、実施形態は、従属特許請求項、明細書、並びに、図面によって示される。
【００１０】
本発明の第一アスペクトは、動力車両用のマルチカメラシステムの画像データを融合するための装置に関する。該装置は、画像分析手段、捕捉手段、並びに、計算器手段を包含している。
【００１１】
該画像分析手段は、マルチカメラシステムの少なくとも二台のカメラの重複領域の部分領域を定義できるように構成されている。その際、該複数の部分領域は、それぞれのカメラのそれぞれの個別画像と、それぞれの部分領域に対して各々生成される。
【００１２】
該捕捉手段は、重複領域の部分領域のピクセル密度を捕捉できる様に構成されている。
【００１３】
該計算器手段は、ピクセル密度の偏差を割り出し、一定の閾値以下の偏差を有する隣接する部分領域を、全容画像重ね合わせ用に選択できる様に構成されている。
【００１４】
本発明は、内在的および外在的カメラデータを推定すること、並びに、
同じ−少なくとも、閾値によって設定できる、略同じ−ピクセル密度の部分領域を自動的に選択することにより、
改善された画像データ融合を実施することを、有利に、可能にする。
【００１５】
その際、主として、隣接する部分領域が、ピクセル密度に関して調べられる。
【００１６】
これにより、重複領域における画像解像度の変動が小さくなり、融合アーティファクトも削減できる。
【００１７】
本発明の更なる第二アスペクトは、マルチカメラシステムと、第一アスペクトに関する装置、或いは、第一アスペクトに係る任意の実施形態を備えた動力車両に関する。
【００１８】
本発明の更なるアスペクトは、動力車両用のマルチカメラシステムの画像データを融合するための方法に関する。該方法は、以下の方法ステップを包含している：
【００１９】
本方法の第一ステップとしては、マルチカメラシステムの少なくとも二台のカメラの重複領域の部分領域の定義が実施される。
【００２０】
本方法の更なる第二ステップには、重複領域の部分領域のピクセル密度の把握が包含されている。
【００２１】
本方法の更なる第三ステップには、ピクセル密度の偏差の割り出し、並びに、全容画像重ね合わせ用の隣接する部分領域、但し、選択された隣接する部分領域の偏差は、閾値以下である、の選択が包含されている。
【００２２】
本発明の有利な実施形態は、従属請求項に記載されている。
【００２３】
本発明のある好ましい実施形態においては、該計算器手段は、マルチカメラシステムの少なくとも二台のカメラの画像データの全容画像重ね合わせを、実施できる様に、構成されていることが想定されている。
【００２４】
これにより、動力車両用のマルチカメラシステムの画像データの改善された融合を有利に提供できる。
【００２５】
本発明のある更なる好ましい実施形態においては、捕捉手段が、ピクセル密度として、少なくとも二台のカメラの画像センサ上の面単位当たりの部分領域によってカバーされている面を把握できる様に構成されていることが想定されている。
【００２６】
これにより、融合された全体画像の画像アーティファクトを、有利に回避することができる。
【００２７】
本発明のある好ましい実施形態においては、該計算器手段は、全容画像重ね合わせとして、マルチカメラシステムの少なくとも二台のカメラの画像データのアルファ・ブレンディングを実施できる様に、構成されていることが想定されている。
【００２８】
本発明での使用における「アルファ・ブレンディング（Ａｌｐｈａ  Ｂｌｅｎｄｉｎｇ）」と言う概念は、例えば、画像処理やビデオ処理における、複数の異なる画像を一枚の全容画像に重ね合わせる技術を記述するものであるが、ここでは、カラー情報の他、アルファ・チャンネルも考慮される。
【００２９】
上記の実施形態やその発展形態は、互いに自由に組み合わせることが可能である。
【００３０】
更なる可能な形態や発展形態、並びに、本発明の実施形態には、上記の本発明に係る特徴や以下に実施形態と関連して述べる本発明に係る特徴の具体的には記述されない組み合わせも包含される。
【００３１】
添付した図面は、本発明の実施形態の更なる理解を提供することを意図している。
【００３２】
添付した図面は、実施形態を説明し、明細書との組合せによって、本発明のコンセプトを説明する役割を担っている。
【００３３】
他の実施形態と上記の多くの利点は、図面の描写を参照すれば、明らかになるであろう。図面の描写に描かれているエレメントは、必ずしも、それぞれ同じ縮尺で描かれているものではない。
【図面の簡単な説明】
【００３４】
【図１】本発明を説明するための、画像データ融合の模式的な描写；
【図２】本発明のある更なる実施例に係るマルチカメラシステムの模式的な描写；
【図３】本発明のある更なる実施例に係る車両用のマルチカメラシステムの画像データを融合する方法の模式的な描写；
【図４】本発明のある更なる実施例に係る車両用の車両用のマルチカメラシステムの画像データを融合する方法のフローチャートの模式的な描写。
【発明を実施するための形態】
【００３５】
図面の描写では、同じ符号が、同じ、乃至、機能的に同じエレメント、部品、コンポーネント、或いは、方法ステップを、これと異なる記載がない限り、示している。
【００３６】
ここで言う「動力車両、乃至、車両」とは、例えば、動力車両乃至ハイブリッド車両、例えば、セーリング機能を備えたハイブリッド車両、例えば、二輪車、バス、或いは、貨物用動力車両、或いは、自転車のことである。
【００３７】
本発明において使用される「ピクセル密度」と言う概念は、例えば、該画像センサが、部分領域の画像面を描写するために用いる、画像センサ上の面単位当たりの部分領域の画像面を定義するものである。
【００３８】
ドライバー・アシスタント・システムは、特定の走行状況においてドライバーをサポートするための動力車両内の付加的な電子機器手段である。
【００３９】
図１は、本発明を説明するための、画像データ融合の模式的な描写を示している。
【００４０】
マルチカメラシステムの画像データの融合における手作業によるコンフィグレーションは、多くの場合、重なり合っている画像領域内での急激な画像解像度変化、即ち、図１に示すように、高いピクセル密度から低いピクセル密度への所謂フェーディングをもたらしている。
【００４１】
双方の矢印は、異なるピクセル密度の領域を示している。例えば、高いピクセル密度を有する第一領域Ｂ１と、隣接する低いピクセル密度を有する第二領域Ｂ２が形成される。これが、全容画像に融合する際に、個々のカメラが撮ったままの個別画像間の移行部に、画像アーティファクトが生じさせる。
【００４２】
図２は、本発明のある更なる実施例に係るマルチカメラシステムの模式的な描写を示している。
【００４３】
該動力車両２は、四台のカメラ、第一カメラ１１０、第二カメラ１２０、第三カメラ１３０並びに第四カメラ１４０からなるマルチカメラシステム１００を包含している。
【００４４】
カメラ１１０，１２０，１３０，１４０は、それぞれ異なる、但し、少なくとも部分的に破線によって示すような重複する視野領域を有している。
【００４５】
この第一カメラ１１０と第二カメラ１２０の視野領域の重複領域ＵｅＢは、複数の部分領域ＴＢ１，ＴＢ２，…，ＴＢｎに分割することができる。
【００４６】
該部分領域ＴＢ１，ＴＢ２，…，ＴＢｎを、サブ領域と呼ぶことも可能である。該部分領域ＴＢ１，ＴＢ２，…，ＴＢｎは、各々のカメラ、即ち、図に示す如く、第一カメラ１１０と第二カメラ１２０それぞれに形成されることができる。
【００４７】
言い換えれば、第一カメラ１１０の視野領域は、重複領域ＵｅＢの内部において、部分領域ＴＢ１，ＴＢ２，…，ＴＢｎに分割され、第二カメラ１２０の視野領域も同様である。
【００４８】
視野領域の融合としての全容画像は、例えば、サラウンド・ビュー画像やパノラマ画像として得られる。
【００４９】
図３は、本発明のある更なる実施例に係る車両用のマルチカメラシステムの画像データを融合する方法の模式的な描写を示している。
【００５０】
動力車両２用のマルチカメラシステム１００の画像データを融合するための装置１は、画像分析手段１０、捕捉手段２０と計算器手段３０を包含している。
【００５１】
該画像分析手段１０は、マルチカメラシステム１００の少なくとも二台のカメラ１１０，１２０の重複領域ＵｅＢの部分領域ＴＢ１，ＴＢ２，…，ＴＢｎを定義することができる様に構成されている。
【００５２】
該捕捉手段２０は、重複領域ＵＥＢの部分領域ＴＢ１，ＴＢ２，…，ＴＢｎのピクセル密度を捕捉できる様に構成されている。
【００５３】
該計算器手段３０は、ピクセル密度の偏差を割り出し、一定の閾値以下の偏差を有する隣接する部分領域ＴＢ１，ＴＢ２，…，ＴＢｎを、全容画像重ね合わせ用に選択できる様に構成されている。
【００５４】
図４は、本発明のある更なる実施例に係る車両用の車両用のマルチカメラシステムの画像データを融合する方法のフローチャートの模式的な描写を示している。
【００５５】
該方法は、以下の方法ステップを包含している：
【００５６】
本方法の第一ステップとしては、マルチカメラシステム１００の少なくとも二台のカメラ１１０，１２０の重複領域ＵｅＢの部分領域ＴＢ１，ＴＢ２，…，ＴＢｎの定義Ｓ１が実施される。
【００５７】
本方法の第二ステップとしては、重複領域ＵｅＢの部分領域ＴＢ１，ＴＢ２，…，ＴＢｎのピクセル密度の把握Ｓ２が実施される。
【００５８】
本方法の第三ステップとしては、ピクセル密度の偏差の割り出しＳ３、並びに、全容画像重ね合わせ用の隣接する部分領域ＴＢ１，ＴＢ２，…，ＴＢｎ、但し、選択された隣接する部分領域の偏差は、閾値以下である、の選択が包含されている。
【００５９】
好ましい実施例によって上記のごとく説明されはしたが、本発明は、これらに制限されるものではなく、多種多様な方法や構成によって変更することが可能である。特に、本発明は、本発明の趣旨から逸脱することなく、多種多様に変更や修正することが可能である。
【００６０】
尚、ここで使われている用語「包含する（原文＝“ｕｍｆａｓｓｅｎｄ”）」と「有する（原文＝“ａｕｆｗｅｉｓｅｎｄ”）」は、他のエレメントや他のステップが含まれないと言う意味で使われているのではなく、また、原文における“ｅｉｎｅ”や“ｅｉｎ”（対訳＝「ひとつの」）によって、複数が排除されるものではないことを、捕捉として指摘しておく。
【００６１】
更に、ひとつの、或いは、上述の実施例への参照と共に記述されている特徴やステップは、他の上述の実施例の他の特徴やステップとの組み合わせで使用されてもよいことも指摘しておく。請求項内の符号は、制限をかけるものではない。
【図１】
2020513702.tif 000003
【図２】
2020513702.tif 000004
【図３】
2020513702.tif 000005
【図４】
2020513702.tif 000006
【国際調査報告】
2020513702.tif 000007
2020513702.tif 000008
2020513702.tif 000009
2020513702.tif 000010