(57)【特許請求の範囲】
【請求項１】
−重複エリア（ＯＡ）があるカメラ画像を生成するようになされた重複する視野（ＦＯＶ）を有する２台のカメラ（２−ｉ）によって構成される少なくとも１組のカメラ対、および
−各カメラ（２−ｉ）に関する重複エリア（ＯＡ）を含むサラウンドビュー画像を計算し、計算されたサラウンドビュー画像からエッジを抽出して重複エリア（ＯＡ）ごとに各カメラ画像に対応する複数の２値画像（ＢＩ）であって、エッジが論理二進値の１で表される２値画像を得るように構成された処理ユニット（３）を備え、
−それぞれのカメラ対のカメラ（２−ｉ）により生成された重複エリア（ＯＡ）のカメラ画像（ＣＩ）の中で、得られた２値画像（ＢＩ）内の算出された２進値の合計が最大であるカメラ画像（ＣＩ）が優先的に可視化される、サラウンドビューシステム（１）。
【請求項２】
前記カメラ対のカメラ（２−ｉ）により生成された重複エリア（ＯＡ）のカメラ画像（ＣＩ）の中で、２進値の合計が最大である２値画像（ＢＩ）が得られるカメラ画像（ＣＩ）が前記処理ユニット（３）により可視化のために選択される、請求項１に記載のサラウンドビューシステム。
【請求項３】
前記カメラ対のカメラ（２−ｉ）により生成されたカメラ画像（ＣＩ）の中で、処理ユニット（３）により選択されたカメラ画像（ＣＩ）が前記サラウンドビューシステム（１）のディスプレイに（４）表示される、請求項２に記載のサラウンドビューシステム。
【請求項４】
各カメラ（２−ｉ）の視野（ＦＯＶ）が１８０度を超えている、先行する請求項１から３のいずれか一項に記載のサラウンドビューシステム。
【請求項５】
処理ユニット（３）が、前記サラウンドビューシステム（１）のカメラ（２−ｉ）が捉えたカメラ画像（ＣＩ）からサラウンドビュー画像をリアルタイムで算出するようになされている、先行する請求項１から４のいずれか一項に記載のサラウンドビューシステム。
【請求項６】
前記サラウンドビューシステムが、車両のシャーシの異なる側に搭載された少なくとも４台の車載カメラ（２−１、２−２、２−３、２−４）を備える、先行する請求項１から５のいずれか一項に記載のサラウンドビューシステム。
【請求項７】
先行する請求項１から６のいずれか一項に記載のサラウンドビューシステム（１）を備える、車両（ＶＥＨ）のドライバー支援システム。
【請求項８】
先行する請求項１から６のいずれか一項に記載のサラウンドビューシステム（１）を備える、監視システム。
【請求項９】
先行する請求項１から６のいずれか一項に記載のサラウンドビューシステム（１）を備える、医療用装置。
【請求項１０】
−（ａ）重複エリア（ＯＡ）があるカメラ画像（ＣＩ）を重複する視野（ＦＯＶ）を有する２台のカメラによって構成される少なくとも一組のカメラ対により生成するステップ（Ｓ１）；
−（ｂ）生成されたカメラ画像に基づき重複エリア（ＯＡ）を含むサラウンドビュー画像を計算するステップ（Ｓ２）；
−（ｃ）計算されたサラウンドビュー画像からエッジを抽出して重複エリア（ＯＡ）ごとに各カメラ画像に対応する複数の２値画像（ＢＩ）であって、エッジが論理二進値の１で表される２値画像を得るステップ（Ｓ３）；
−（ｄ）２値画像（ＢＩ）内の２進値を合計し、算出された合計値を比較するステップ（Ｓ４）；
−（ｅ）含まれる各重複エリア（ＯＡ）において、算出された２進値の合計が最大である２値画像（ＢＩ）が得られるカメラ画像（ＣＩ）が優先して可視化される、計算されたサラウンドビュー画像を表示するステップ（Ｓ５）を含む、障害物視認能を高める方法。
【請求項１１】
前記カメラ対のカメラにより生成された重複エリア（ＯＡ）のカメラ画像（ＣＩ）の中で、算出された２進値の合計がより大きい２値画像（ＢＩ）が得られるカメラ画像（ＣＩ）が２つのカメラ画像から可視化のために選択される、請求項１０に記載の方法。
【請求項１２】
ステップがリアルタイムで実行される、請求項１０または１１に記載の方法。
【請求項１３】
先行する請求項１０から１２のいずれか一項に記載の方法ステップを実行するようになされた指令を有するコンピュータープログラム。
【請求項１４】
請求項１３に記載のコンピュータープログラムを備える画像処理ツール。
【請求項１５】
請求項１３に記載のコンピュータープログラムを格納するデータ記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両近傍の障害物に対する障害物視認能を高める方法および装置に関する。
【背景技術】
【０００２】
車両において、運転操作、特に駐車操作を行う際にドライバーを支援するために、ドライバー支援システムが使用されている。従来のドライバー支援システムは、車両の周囲のカメラ画像を捉えてサラウンドビューを生成するようになされたカメラを有するサラウンドビューシステムを備えることができる。生成されたサラウンドビュー画像は、運転操作中のドライバーに向けてディスプレイに表示することができる。サラウンドビューシステムを利用すれば、多数のカメラ画像からトップビューを創出することができる。サラウンドビューシステムは、数台のカメラを備えることができるが、隣り合うカメラには、重複する視野ＦＯＶがある場合がある。従来のサラウンドビューシステムは、結果として重複エリアにある障害物に対する障害物視認能が不十分である。しかし、重複エリアに位置する障害物がサラウンドビューシステムによって不十分にしか視認できない場合、それはサラウンドビューシステムにより生成されたＡＯＰビューを使用したドライバー支援システムの安全機能が不十分になることを意味する。
文献ＵＳ２００８／００４３１１３Ａ１は、カメラ画像の単一のセクションを特徴付ける予め定義された不変の重み値に基づいて複数のカメラ画像から１つが選択される方法を開示する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
従って、本発明の目的は、重複エリアにおける障害物に対する障害物視認能を高める方法および装置を提供することである。
【課題を解決するための手段】
【０００４】
この目的は、請求項１の特徴を備えるサラウンドビューシステムによって達成される。
【０００５】
第１の態様によると、本発明は、重複エリアがあるカメラ画像を生成するようになされた重複する視野を有する２台のカメラによって構成される少なくとも１組のカメラ対、および各カメラに関する重複エリアを含むサラウンドビュー画像を計算し、計算されたサラウンドビュー画像から特徴物を抽出して重複エリアごとに２つの２値画像を得るように構成された処理ユニットを備え、それぞれのカメラ対のカメラにより生成された重複エリアのカメラ画像の中で、得られた２値画像内の算出された２進値の合計が最大であるカメラ画像が優先的に可視化されるサラウンドビューシステムを提供する。
【０００６】
本発明の第１の態様によるサラウンドビューシステムの実施可能な実施形態において、前記カメラ対のカメラにより生成された重複エリアのカメラ画像の中で、２進値の合計が最大である２値画像が得られるカメラ画像が前記処理ユニットにより可視化のために選択される。
【０００７】
本発明の第１の態様によるサラウンドビューシステムの更なる実施可能な実施形態において、前記カメラ対のカメラにより生成されたカメラ画像の中で、処理ユニットにより選択されたカメラ画像が前記サラウンドビューシステムのディスプレイに表示される。
【０００８】
本発明の第１の態様によるサラウンドビューシステムの更なる実施可能な実施形態において、各カメラの視野は１８０度を超えている。
【０００９】
本発明の第１の態様によるサラウンドビューシステムの更なる実施可能な実施形態において、処理ユニットは、前記サラウンドビューシステムのカメラが捉えたカメラ画像からサラウンドビュー画像をリアルタイムで算出するようになされている、
【００１０】
本発明の第１の態様によるサラウンドビューシステムの実施可能な実施形態において、前記サラウンドビューシステムは、車両のシャーシの異なる側に搭載された少なくとも４台の車載カメラを備える。
【００１１】
第２の態様によると、本発明は、請求項７の特徴を備える車両のドライバー支援システムを更に提供する。
【００１２】
本発明は、重複エリアがあるカメラ画像を生成するようになされた重複する視野を有する２台のカメラによって構成される少なくとも１組のカメラ対、および各カメラに関する重複エリアを含むサラウンドビュー画像を計算し、計算されたサラウンドビュー画像から特徴物を抽出して重複エリアごとに２つの２値画像を得るように構成された処理ユニットを有し、それぞれのカメラ対のカメラにより生成された重複エリアのカメラ画像の中で、得られた２値画像内の算出された２進値の合計が最大であるカメラ画像が優先的に可視化されるサラウンドビューシステムを備える、車両のドライバー支援システムを提供する。
【００１３】
第３の態様によると、本発明は、請求項８の特徴を備える監視システムを更に提供する。
【００１４】
第３の態様によると、本発明は、重複エリアがあるカメラ画像を生成するようになされた重複する視野を有する２台のカメラによって構成される少なくとも１組のカメラ対、および各カメラに関する重複エリアを含むサラウンドビュー画像を計算し、計算されたサラウンドビュー画像から特徴物を抽出して重複エリアごとに２つの２値画像を得るように構成された処理ユニットを有し、それぞれのカメラ対のカメラにより生成された重複エリアのカメラ画像の中で、得られた２値画像内の算出された２進値の合計が最大であるカメラ画像が優先的に可視化されるサラウンドビューシステムを備える、監視システムを提供する。
【００１５】
第３の態様によると、本発明は、請求項９の特徴を備える医療用装置を更に提供する。
【００１６】
第４の態様によると、本発明は、重複エリアがあるカメラ画像を生成するようになされた重複する視野を有する２台のカメラによって構成される少なくとも１組のカメラ対、および
各カメラに関する重複エリアを含む画像を計算し、計算された画像から特徴物を抽出して重複エリアごとに２値画像を得るように構成された処理ユニットを備え、それぞれのカメラ対のカメラにより生成された重複エリアのカメラ画像の中で、得られた２値画像内の算出された２進値の合計が最大であるカメラ画像が優先的に可視化される医療用装置を提供する。
【００１７】
第５の態様によると、本発明は、請求項１０の特徴を備える障害物視認能を高める方法を更に提供する。
【００１８】
第５の態様によると、本発明は、重複エリアがあるカメラ画像を重複する視野を有する２台のカメラによって構成される少なくとも一組のカメラ対により生成するステップ、生成されたカメラ画像に基づき重複エリアを含むサラウンドビュー画像を計算するステップ、計算されたサラウンドビュー画像から特徴物を抽出して重複エリアごとに２値画像を得るステップ、２値画像内の２進値を合計し、算出された合計値を比較するステップ、含まれる各重複エリアにおいて、算出された２進値の合計が最大である２値画像が得られるカメラ画像が優先して可視化される、計算されたサラウンドビュー画像を表示するステップを含む、障害物視認能を高める方法を提供する。
【００１９】
本発明の第５の態様による方法の実施可能な実施形態において、前記カメラ対のカメラにより生成された重複エリアのカメラ画像の中で、２進値の合計が最大である２値画像が得られるカメラ画像が可視化のためにカメラ画像から選択される。
【００２０】
本発明の第５の態様による方法の実施可能な実施形態において、方法ステップはリアルタイムで実行される。
【００２１】
第６の態様によると、本発明は、第５の態様による方法の方法ステップを実行するようになされた指令を有するコンピュータープログラムを更に提供する。
【００２２】
第７の態様によると、本発明は、第６の態様によるコンピュータープログラムを備える画像処理ツールを更に提供する。
【００２３】
第７の態様によると、本発明は、第６の態様によるコンピュータープログラムを格納するデータ記憶媒体を更に提供する。
【００２４】
以下、本発明の異なる態様の実施可能な実施形態を、添付の図面を参照してより詳細に記載する。
【図面の簡単な説明】
【００２５】
【図１】本発明の態様によるサラウンドビューシステムの実施可能な例示的実施形態を図示するブロック図を示す。
【図２】本発明によるサラウンドビューシステムの実施可能な例示的実施形態を示す。
【図３】本発明の態様による障害物視認能を高める方法の実施可能な例示的実施形態を図示するフローチャートを示す。
【図４Ａ】本発明による装置および方法の動作を図示する図を示す。
【図４Ｂ】本発明による装置および方法の動作を図示する図を示す。
【発明を実施するための形態】
【００２６】
図１から見て取れるように、本発明の第１の態様によるサラウンドビューシステム１は、図１に図示するように重複エリアＯＡがあるカメラ画像ＣＩを生成するようになされた、重複する視野ＦＯＶを有する２台のカメラ２−１、２−２によって構成される少なくとも１組のカメラ対を備える。実施可能な実施形態において、各カメラ２−ｉの視野ＦＯＶは、１８０度を超えている。実施可能な実施形態において、カメラ２−１、２−２は、車両のシャーシに搭載されたいわゆる魚眼カメラによって構成することができる。
【００２７】
カメラ２−１、２−２は、少なくとも１つのマイクロプロセッサを備えることができる処理ユニット３に接続されている。処理ユニット３は、各カメラに関する重複エリアＯＡを含むサラウンドビュー画像を計算し、計算されたサラウンドビュー画像から特徴物を抽出して各重複エリアＯＡごとに少なくとも２つの２値画像ＢＩを得るように構成されている。処理ユニット３によって算出された２値画像ＢＩは、処理ユニット３のバッファメモリに一時的に格納することができる。サラウンドビュー画像を可視化する場合、それぞれのカメラ対のカメラにより生成された重複エリアＯＡのカメラ画像の中で、得られた２値画像ＢＩ内の算出された２進値の合計がより大きいカメラ画像ＣＩが優先的に可視化される。図１に図示する例示的なシステムにおいて、カメラ対の第１のカメラ２−１が第１のカメラ画像ＣＩ１を生成し、カメラ対の第２のカメラ２−２が第２のカメラ画像ＣＩ２を生成する。処理ユニット３は、各カメラに関する重複領域についてのトップビュー画像を計算する。実施可能な実施形態において、処理ユニット３は、全画像についてエッジまたは特徴物を計算し、重複エリアＯＡごとに２つの２値画像ＢＩを得るようになされたエッジ検出器または特徴物検出器を備える。処理ユニット３は、重複エリアにおいて得られる２値画像内の２進値の合計がより大きい特定のカメラを優先させて可視化を行う。実施可能な実施形態において、前記カメラ対のカメラにより生成された重複エリアＯＡのカメラ画像ＣＩの中で、得られた２値画像ＢＩ内の算出された２進値の合計が最大であるカメラ画像ＣＩが処理ユニット３により可視化のために選択され、サラウンドビューシステム１のディスプレイ４に出力される。実施可能な実施形態において、サラウンドビューシステム１の処理ユニット３は、サラウンドビューシステム１のカメラ２−ｉが捉えたカメラ画像ＣＩからサラウンドビュー画像をリアルタイムで算出するようになされている。カメラ画像ＣＩを捉えるようになされたカメラ２−ｉの数は、変更することができる。
【００２８】
図２は、図１に図示するサラウンドビューシステム１を備える車両ＶＥＨを概略的に示す。サラウンドビューシステム１を備える車両ＶＥＨは、図示した実施形態では、車両のシャーシの異なる側に位置決めされた４台のカメラ２−１、２−２、２−３、２−４を有する。図示した実施形態では、各カメラ２−ｉは、１８０度を超える視野ＦＯＶを備える。図示した車両ＶＥＨは、図１に図示するような統合型サラウンドビューシステム１を有するドライバー支援システムで支援できる運転操作を行う任意の種類の車両、例えば自動車、バスまたはトラックとすることができる。４台の車載カメラ２−１、２−２、２−３、２−４は、車両のシャーシの異なる側に搭載され、図２に示すように４つの異なる重複エリアＯＡが車載カメラ２−ｉで視認できるようになっている。例えば、車両のシャーシの左前の角には、車両ＶＥＨのサラウンドビューシステム１の前側カメラ２−１と左側カメラ２−２によって捉えられるカメラ画像ＣＩに重複エリアＯＡ１２が存在する。図２において、重複エリアＯＡ１２は、障害物ＯＢＳを含む。障害物ＯＢＳは、図示した例では、車両ＶＥＨのドライバーが車両ＶＥＨを操作したいと思っているガレージの壁である。この障害物ＯＢＳは、車両ガレージの壁Ｗの前面を図示する図４Ａにも図示されている。図４Ａから見て取れるように、ガレージ壁Ｗの前側は、４つのエッジＥ１、Ｅ２、Ｅ３、Ｅ４を含む。これらのエッジＥｉは、図４Ｂに示す２値画像ＢＩにおいては、論理的高２進値１で表示されている。本発明の第１の態様によるサラウンドビューシステム１においては、それぞれのカメラ対のカメラにより生成された重複エリアＯＡのカメラ画像ＣＩの中で、得られた２値画像内の２進値の合計が最大であるカメラ画像ＣＩが優先して可視化される。実施可能な実施形態において、図２に示すように２台のカメラ、例えばカメラ２−１、２−２により生成された、例えば図４Ｂに図示するような２つの異なる２値画像ＢＩがリアルタイムで評価され、どちらのカメラ画像ＣＩが障害物ＯＢＳをより良好に可視化できるか検出される。実施可能な実施形態において、対応する２値画像ＢＩの２進値が合計され、例えば図４Ａに概略的に示すガレージの壁Ｗである障害物のエッジＥ１、Ｅ２、Ｅ３、Ｅ４の視認能を反映するその合計値が算出される。合計値が大きいということは、障害物ＯＢＳのエッジＥｉが視認しやすいことを意味し、２進値の合計が最大の２値画像ＢＩに対応するカメラ画像ＣＩがディスプレイ４での可視化のためにサラウンドビューシステム１の処理ユニット３により自動的に選択される。図２に示す実施形態においては、例えば、対応する２値画像ＢＩ１の２進値の合計が左側カメラ２−２が提供するカメラ画像ＣＩ２に対応する２値画像ＢＩ２の２進値の合計よりも大きいことから、前側カメラ２−１により生成されたカメラ画像ＣＩ１が重複エリアＯＡのために選択される、あるいはその逆というように、優先順位付けを実行することができる。
【００２９】
図３は、本発明の態様による方法の例示的実施形態のフローチャートを示す。
【００３０】
第１のステップＳ１において、重複エリアがあるカメラ画像ＣＩが、重複する視野を有する２台のカメラによって構成される少なくとも１対のカメラにより生成される。
【００３１】
更なるステップＳ２において生成されたカメラ画像に基づき重複エリアＯＡを含むサラウンドビュー画像が計算される。
【００３２】
更なるステップＳ３において、計算されたサラウンドビュー画像から特徴物が抽出され、重複エリアごとに２値画像が得られる。これらの特徴物は、カメラ画像において視認可能なエッジＥｉを含むことができる。
【００３３】
更なるステップＳ４において、両２値画像ＢＩ内の２進値が合計され、算出された合計値が比較される。
【００３４】
最終ステップＳ５において、サラウンドビュー画像が表示され、その際、含まれる各重複エリアＯＡにおいて、算出された２進値の合計が最大である２値画像ＢＩが得られるカメラ画像ＣＩが優先して可視化される。
【００３５】
実施可能な実施形態においては、前記カメラ対のカメラにより生成された重複エリアＯＡの中で、２進値の合計がより大きい２値画像ＢＩが得られる重複エリアＯＡが２つのカメラ画像ＣＩからディスプレイでの可視化のために自動的に選択される好適な実施形態において、図３に図示するステップは、リアルタイムで実行される。
【００３６】
図３に示す方法ステップは、図３に示す方法ステップを実行するようになされた指令を有するコンピュータープログラムにより実行することができる。このコンピュータープログラムは、画像処理ツールの一部を構成することができる。図３の方法のステップを実行するためのステップを含むコンピュータープログラムは、データ記憶媒体に格納することができる。このデータ記憶媒体は、格納されたコンピュータープログラムを読み出してコンピュータープログラムをサラウンドビューシステム１のプログラムメモリに格納するサラウンドビューシステム１の読み取り装置に挿入することができる。代替的実施形態において、コンピュータープログラムは、データベースからダウンロードすることもできる。実施可能な実施形態において、コンピュータープログラムは、本発明によるサラウンドビューシステム１と基幹ネットワークを介してサーバーに接続された基地局との間の無線リンクを介してサーバーからダウンロードすることができる。
【００３７】
図１に図示する本発明の態様によるサラウンドビューシステム１は、実施可能な実施形態において、監視システムとして実施することもできる。この監視システムは、例えば建物内の公共の区域または部屋をモニターするのに使用することができる。
【００３８】
システム１は、例えば人の体を走査する医療用装置に組み込むこともできる。
【図１】
0006701189.tif 000002
【図２】
0006701189.tif 000003
【図３】
0006701189.tif 000004
【図４Ａ】
0006701189.tif 000005
【図４Ｂ】
0006701189.tif 000006