(57)【要約】  特に暗闇の中で車両の周辺を可視化するための、周辺のデジタルデータが含まれた可視画像を提供する、前記可視画像に視覚的可視物体が表示されるようになっている、方法が説明される。他にも、視覚的可視物体および／またはそれ以外の物体から発する赤外線を表示する、周辺のデジタルデータが含まれた赤外画像が提供される。撮影された周辺の中にある赤外線を発する物体の位置の照合を容易にするために、前記可視画像と前記赤外画像とを画像表示ユニットに描写可能な一つの目的画像に融合する、画像融合が行われる。目的画像として、前記両画像のいずれか一方だけを描写する、またはいずれの画像も描写しないために、前記画像融合が周辺パラメータに従属して中止される。
2008530667.tif 000002
【特許請求の範囲】
【請求項１】
特に暗闇の中で車両の周辺を可視化するための方法であって、
‐周辺のデジタルデータが含まれ且つ視覚的可視物体が表示されるようになっている可視画像を提供する工程、
‐視覚的可視物体および／またはそれ以外の物体から発する赤外線を表示する、周辺のデジタルデータが含まれた赤外画像を提供する工程、
‐撮影された周辺における赤外線射出物体の位置の照合を容易にするために、前記可視画像と前記赤外画像とを画像表示ユニット（３０）に描写可能な一つの目的画像に融合する画像融合を実施する工程
から成る方法において、
目的画像として前記両画像のいずれか一方だけを描写する、またはいずれの画像も描写しないために、周辺パラメータに従属して前記画像融合を中止する工程を特徴とする、方法。
【請求項２】
請求項１に記載の方法において、
前記画像融合の中止工程にて、ピンぼけおよび／または二重像を回避するために、前記可視画像および／または前記赤外画像が、その時々の画像に含まれた周辺の全デジタルデータを溶暗させられることを特徴とする、方法。
【請求項３】
請求項１または２に記載の方法において、
前記周辺パラメータを、センサにより検出される少なくとも一つの車両運動量および／または少なくとも一つのその他のパラメータから算出することを特徴とする、方法。
【請求項４】
請求項３に記載の方法において、
車両運動量として、車両速度、特に所定の速度の未達または超過を演算処理することを特徴とする、方法。
【請求項５】
請求項３または４に記載の方法において、
車両運動量として、カメラの視野角の中で検出された物体までの車両の距離、特に所定の距離の未達または超過を演算処理することを特徴とする、方法。
【請求項６】
請求項３〜５のいずれか一項に記載の方法において、
さらに別のパラメータとして、車両の現在位置を演算処理することを特徴とする、方法。
【請求項７】
請求項３〜６のいずれか一項に記載の方法において、
さらに別のパラメータとして、トポロジーおよび／または現在の気象条件を演算処理することを特徴とする、方法。
【請求項８】
請求項３〜７のいずれか一項に記載の方法において、
さらに別のパラメータとして、車両の利用者が選択可能なパラメータを画像処理ユニットにより演算処理することを特徴とする、方法。
【請求項９】
請求項３〜８のいずれか一項に記載の方法において、
前記可視画像および前記赤外画像のエントロピー値を算出し、前記エントロピー値を所定のエントロピー値と比較して、比較結果に基づき、前記可視画像および／または前記赤外画像、または両方を溶暗させるかどうかを決定することを特徴とする、方法。
【請求項１０】
請求項１〜９のいずれか一項に記載の方法において、
前記画像融合の中止を時間履歴に配慮して行うことを特徴とする、方法。
【請求項１１】
特に暗闇の中で車両の周辺を可視化するための装置であって、
‐周辺のデジタルデータが含まれた可視画像を提供する可視カメラ（１０１）と、周辺のデジタルデータが含まれた赤外画像を提供する赤外カメラ（１０２）とを有している、カメラ装置（１０）、
‐前記可視画像および前記赤外画像を演算処理するための画像処理ユニット（２０）、および、
‐前記画像処理ユニット（２０）により生成された周辺画像を表示するための画像表示ユニット（３０）
を有している可視化装置であって、前記可視画像には視覚的可視物体が、前記赤外画像には視覚的可視物体および／またはそれ以外の物体が発する赤外線が表示されるようになっており、前記画像処理ユニット（２０）は、前記可視画像と前記赤外画像との画像融合を実行するように構成および／または整備されている、装置において、
前記画像処理ユニット（２０）が、周辺パラメータに従属して前記画像融合を阻止するように構成および／または整備されることを特徴とする、装置。
【請求項１２】
請求項１１に記載の装置において、
車両運動量を算出するために、前記画像処理ユニット（２０）に結合される少なくとも一つのセンサ（４０、４１）が備えられることを特徴とする、装置。
【請求項１３】
請求項１１または１２に記載の装置において、
前記画像処理ユニット（２０）に、さらにもう一つのパラメータを供給可能であることを特徴とする、装置。
【請求項１４】
請求項１２または１３に記載の装置において、
前記画像処理ユニット（２０）が、前記車両運動量および／または前記さらにもう一つのパラメータから、前記周辺パラメータを算出するように整備されることを特徴とする、装置。
【請求項１５】
請求項１１〜１４のいずれか一項に記載の装置において、
前記カメラ装置（１０）が、一定の固定距離レンジに合わせて較正されていることを特徴とする、装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視覚的可視物体を表示する、車両の周辺のデジタルデータが含まれた可視画像と、視覚的可視物体および／またはそれ以外の物体から発する赤外線を表示する、周辺のデジタルデータが含まれた赤外画像とを、撮影された周辺の中にある赤外線を発する物体の位置の照合を容易にするために、画像表示ユニットに描写可能な一つの目的画像に融合する、車両の周辺を可視化するための方法および装置に関する。
【背景技術】
【０００２】
画像融合装置は、異なるスペクトル域で車両の現在の周辺を撮影する少なくとも二つのカメラの画像を重ね合わせるものである。これらのスペクトル域には、例えば視覚的可視光ならびに赤外線が含まれるとよい。画像融合から算出される目的画像により、車両の運転者は、画像表示ユニットに提供される車両の周辺に関する情報を、より簡単かつ良好に解釈することができる。
【０００３】
そのためにカメラ装置は、実質的に平行な光軸を持つ、空間的に互いに位置をずらして配置される少なくとも二つのカメラを有している。カメラが位置をずらして取り付けられるために、すなわち光軸オフセットのために、これらのカメラから送られる画像を、広い距離レンジにわたり物体が完全に忠実に再現されるように、互いにアライメント調整することは不可能である。物体の忠実な再現とは、運転者が、目的画像の中にある、走行周辺にある一つの同じ物体から反射ないしは放出された光線を、この物体の実際の位置と正確に照合できることをさしている。
【０００４】
生じるアライメント誤差ないしは物体の忠実な再現品質は、カメラとカメラの間隔、ならびにカメラと撮影される物体間の距離により決まる。近接領域（これは距離レンジが約１５から７５ｍ迄の市街地走行時の類型的な走行状況に当該する）については、カメラ装置の較正より、物体を極めて精度よく画像化することができるが、しかしその結果、遠方領域については、物体の忠実な再現性に劣ることになる。カメラ装置が、遠方領域（これは例えば距離レンジが３０から１５０ｍないしは５０から２５０ｍの間にある、長距離または高速道走行に当該する）にある物体に合わせて最適化される場合も、同様である。それにより、近接領域にアライメント誤差が生じてしまう。
【０００５】
画像融合のための装置および方法は、例えば出願人の特許文献１および２から知られている。そこに説明される装置はいずれも、周辺のデジタルデータが含まれた可視画像を提供する一つの可視カメラと、周辺のデジタルデータが含まれた赤外画像を提供する一つの赤外カメラとを有するカメラ装置を有している。可視画像には、視覚的可視物体が表示される。赤外画像には、視覚的可視物体および／またはそれ以外の物体から発する赤外線が表示される。可視画像と赤外画像との画像融合は、画像処理ユニットにより実行され、融合後の目的画像は、画像表示ユニットに表示することができる。画像融合には、可視画像と赤外画像とを、完全または部分的に、例えばピクセル単位でまたはピクセル領域毎に重ね合わせる工程が含まれている。そこでは特に、時間と場所が同一である画像対が互いに重ね合わされるようになっている。その際には、各ピクセルまたは各ピクセル領域の、輝度値および／または三刺激値が重ね合わされる、ないしはその平均値が求められるようにするとよい。さらに最適化するためには、画像の重ね合わせが重み付け係数を用いて実行されるようにするとよい。選択肢として、明るさおよび／または車両の視界条件への配慮が説明されている。他にも、ピクセルまたはピクセル領域の様々な重み付け方法が提案されている。これらの公知である方法では、広い距離レンジにわたり物体を忠実に再現した目的画像を描写するための計算コストが高い点が短所となっている。
【０００６】
【特許文献１】ドイツ特許出願第１０２２７１７１号公開公報
【特許文献２】ドイツ特許出願第１０３０４７０３号公開公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
従って本発明の課題は、画像融合から作成された目的画像の内容を高信頼度で解釈できるようにする、車両の周辺を可視化するための改良された方法および改良された装置を提供することにある。
【課題を解決するための手段】
【０００８】
これらの課題は、請求項１の特徴部分に従った車両の周辺を可視化するための方法、ならびに請求項１１の特徴部分に従った車両の周辺を可視化するための装置により解決される。有利な構成例は、それぞれの従属請求項から明らかにされる。
【０００９】
本発明に従った、特に暗闇の中で車両の周辺を可視化するための方法においては、周辺のデジタルデータが含まれた可視画像が提供されるが、この可視画像には、視覚的可視物体が表示される。他にも、視覚的可視物体および／またはそれ以外の物体が発する赤外線を表示する、周辺のデジタルデータが含まれた赤外画像が提供される。撮影された周辺の中にある赤外線を発する物体の位置の照合を容易にするために、可視画像と赤外画像とを画像表示ユニットに描写可能な一つの目的画像に融合する画像融合が行われる。本発明においては、可視画像および／または赤外画像の画像融合が、両方の画像のいずれか一方だけを描写する、またはいずれの画像も描写しないために、周辺パラメータに従属して中止されるようになっている。
【００１０】
すなわち本発明は、目的画像を描写する際のアライメント誤差を回避するために、画像融合を周辺パラメータに従属して中止することを提案したものである。この周辺パラメータが生じた場合は、画像融合が中止されることにより、描写可能な目的画像から諸情報が取り除かれるにもかかわらず、画像表示ユニットに描写される目的画像が車両の利用者にとり解釈し易いものとなり、それにより車両の利用者は、車両周辺の交通事象にそれほど気を取られなくなる。
【００１１】
本発明の好適な構成例においては、画像融合の中止工程において、ピンぼけおよび／または二重像を回避するために、可視画像および／または赤外画像は、その時々の画像に含まれた周辺の全デジタルデータが、溶暗されるようになっている。これは換言すれば、可視画像または赤外画像のいずれか、または何と画像が両方とも、一部だけではなく完全に溶暗されることを意味している。後者の場合、画像表示ユニットには、目的画像が一切描写されないことになる。
【００１２】
周辺パラメータは、本発明に従ったさらにもう一つの好適な構成例においては、センサにより検出される少なくとも一つの車両運動量および／または少なくとも一つのその他のパラメータから算出されるようになっている。
【００１３】
車両運動量として、構成例の一例では、車両速度、特に所定の速度の未達または超過が演算処理される。別の構成例では、車両運動量として、カメラの視野角の中で検出された物体までの車両の距離、特に所定の距離の未達または超過が演算処理される。両方のパラメータを組み合わせて配慮すると好適である。
【００１４】
さらに別の好適な構成例においては、車両運動量として、車両の現在位置を演算処理することが企図されている。その他のパラメータとして、別の構成例においては、トポロジーおよび／または現在の気象条件が演算処理される。例えばナビゲーションシステムにより提供されるＧＰＳデータから算出することができるトポロジーないしは車両の瞬間位置に従属して、例えばトンネルを通過する際には、画像融合の不動化が行われるようにするとよい。そのような走行状況下では、赤外カメラが、車両の利用者にとり重要な情報を有意に描写できる立場にないのも同然である。従って、赤外画像と可視画像とを重ね合わせても、車両の利用者の情報内容が増えることにはならいために、例えば赤外画像を目的画像から溶暗させると有意である。赤外カメラが周辺の十分に高い解像度をもたらすことができない、例えば降雨時など気象条件が悪い場合も、同様である。
【００１５】
さらに別の構成例においては、さらに別のパラメータとして、車両の利用者が選択可能なパラメータを画像処理ユニットにより演算処理することが企図されている。状況によってはしばしば、それ自体としては画像融合により生成された目的画像を変更したり、選択により赤外画像または可視画像だけを描写させたりした方が、車両の利用者にとっては望ましい場合がある。従ってこのさらに別のパラメータは、車両の利用者により積極的に行われる画像融合の不動化および／または起動に当該するとよい。
【００１６】
他にもさらに別の構成例に従って、可視画像および赤外画像のエントロピー値が算出され、このエントロピー値が所定のエントロピー値と比較されて、比較結果に基づき可視画像および／または赤外画像、またはその両方を溶暗させるかどうかが決定されるようにするとよい。周辺画像のエントロピーには、画像の一方に物事を明言する能力があるかどうかに関する情報が含まれている。例えば一方の画像が飽和状態にある場合、即ちこれが過変調されている場合は、車両の利用者が何らかの形で有意に評価できるような情報は、何一つとして提供されない。そのような状態が検出された場合は、状況を解釈できるようにするために、例えばコントラストが小さ過ぎる画像が溶暗されるようにするとよい。
【００１７】
可視画像および／または赤外画像の画像融合を行うのか、それとも抑止するのかは、上述の周辺パラメータの内のいずれか一つまたは複数が実現されることに従属して決定されるとよい。特に画像融合の抑止は、複数のパラメータの実現に従属させるとよい。他にも、複数の周辺パラメータが時間的に順番に実現されたときに、画像融合を抑止することも考えられる。
【００１８】
画像表示ユニットに描写される目的画像が、融合された描写と融合されない描写との間で短い間隔で切り換えられ、ともすれば車両の利用者を混乱に陥れるような事態を回避するために、さらに別の有利な構成例においては、画像融合の中止を時間履歴に配慮しながら行うことが企図されている。
【００１９】
本発明に従った装置は、上記で本発明に従った方法との関係で説明したのと同じ長所を併せ持つ。
本発明に従った、特に暗闇の中で車両の周辺を可視化するための装置は、周辺のデジタルデータが含まれた可視画像を提供する一つの可視カメラと、周辺のデジタルデータが含まれた赤外画像を提供する一つの赤外カメラとを有するカメラ装置を有しており、その際に可視画像には視覚的可視物体が、また赤外画像には視覚的可視物体および／またはそれ以外の物体が発する赤外線が表示されるようになっている。他にも可視画像および赤外画像の演算処理を行うための画像処理ユニットが備えられ、そこではこの画像処理ユニットが、可視画像と赤外画像との画像融合を実行するように、構成、および／または整備されている。画像処理ユニットにより生成された周辺画像を表示するために、画像表示ユニットが利用される。本発明においては、画像処理ユニットが、周辺パラメータに従属して画像融合を抑止するように整備されている。
【００２０】
好適な構成例においては、車両運動量を算出するために、画像処理ユニットに結合される少なくとも一つのセンサが備えられている。
別の好適な構成例においては、画像処理ユニットに、センサを利用して算出することができる、または外部の手段から供給される、さらにもう一つのパラメータを供給できるようにしている。このさらにもう一つのパラメータについては、例えばモバイル通信技術を利用して、またはＧＰＳを介して、画像処理ユニットに伝送されるようにすることも可能かもしれない。
【００２１】
画像処理ユニットは、車両運動量および／またはさらにもう一つのパラメータから、周辺パラメータを算出するように整備されている。
さらに別の好適な構成例においては、カメラ装置が一定の固定距離レンジに合わせて較正されている。その際にこの固定距離レンジは、選択により近接レンジであっても遠隔レンジであってもかまわない。ここでは、近接レンジが１５から７５ｍの間の距離が重視される市街地走行に当該する状況であると解釈される。遠隔レンジは、本出願においては、長距離走行に類型的な、特に距離レンジが約３０から１５０ｍまでである走行状況、または高速道走行に類型的な、特に距離レンジが約５０から２５０ｍまでである走行状況であると解釈される。カメラ装置の較正は、基本的にはどの任意の距離に合わせて行われてもかまわない。カメラ装置が遠隔レンジに合わせて較正される場合は、両カメラの光軸オフセットのために、近接領域にアライメント誤差が生じ、その結果人を苛立たせることがある。この場合は、画像融合に影響を与える重要パラメータが、車両の近接領域の、車両の前方を走行中の物体と車両との間隔、および／または一定の速度の未達となる。同様にカメラ装置は、近接レンジに合わせて較正されてもよいが、それにより車両の遠方領域については相応の光学収差を生じてしまう。このため、一定の間隔および／または一定の速度を超過した場合に、画像融合が抑止されるとよいかもしれない。
【発明を実施するための最良の形態】
【００２２】
次に本発明を図面に基づき詳しく説明する。
図１にブロック線図として示される本発明に従った装置は、可視スペクトル域を撮影する、ここでは可視カメラ１０１と呼ぶ一つの電子カメラ（例えばＣＣＤセンサ）、ならびに約８から１０ｍｍまでの赤外スペクトル域に感応する一つの電子赤外カメラ１０２（例えばＩＲセンサ）を有するカメラ装置１０を有している。可視カメラ１０１からは、カラーの可視画像が送られることが好ましい。カメラ１０１および１０２の光軸は、互いに対して平行に調整されることが好ましく、それにより視差誤差を最小にすることができる。これらは、互いに近接して並べて配置されることが好ましく、それによりオフセット誤差を最小にすることができる。両カメラまたはセンサの画像面は、互いに対して平行かつ光軸に対して垂直に調整されるとともに、互いに近接して並べて配置されることが好ましい。両カメラないしはセンサの感光センサ面は、相対的に回動されることも傾動されることもなく、互いに対して実質的に平行に配置されることが好ましい。それに加え、両カメラまたはセンサは、同じ視野角を有することが好ましい。それにより、これらのカメラまたはセンサから、周辺に対して実質的に同一のトリム領域を表示している、互いに対しても、また実際の状況に対しても、不自然に歪んではいない、スペクトル域が異なる画像が送られることを達成することができる。それにより、両方の画像から一つの明確に定義された画像を提供するための、両画像の演算処理工数とならび、ハードウェアおよびソフトウェアのコストを大幅に低減することができる。
【００２３】
カメラ装置１０に接続される画像処理ユニット２０は、第１の正規化装置１０３、第２の正規化装置１０４、アライメント装置１０５、および重ね合わせないしは融合装置１０６を有している。融合装置１０６により作成された目的画像は、画像表示ユニット３０に描写させることができる。
【００２４】
図１に示される装置は、較正装置により一定の距離レンジに合わせて較正されている。この較正のために、例えば好ましくは碁盤目状に配置される複数の白熱灯を有する（図示されない）較正装置が使用される。白熱灯は、熱線も、また視覚的可視光線も放射することを特徴とする。両カメラ１０１、１０２の前方の、そこから一定の間隔をおいた、較正によりカメラ装置１０を合わせなければならない距離のところに、複数の白熱灯を備えた板またはその類が配置されることが好ましい。
【００２５】
カメラ１０１、１０２の前方に位置する、好ましくは周囲を暗くして、熱源の近くではないところに配置される較正装置により、可視カメラ１０１にはいわゆる視覚画像が作成されるが、これには、人間の目で見たときと同じ碁盤目状に配置された白熱灯が表示される。他にも較正装置により、赤外カメラ１０２にサーモグラムが作成されるが、これにも同様に白熱灯の配列が表示される。類型的にこの可視画像も、また赤外画像も、光学収差のために、その時々の画像のエッジ部に歪みを呈している。可視画像の歪みないしは光学収差は、第１の正規化装置１０３により公然周知の方法で十二分に除去される。赤外画像の歪みないしは光学収差は、第２の正規化装置１０４により公然周知の方法で十二分に除去される。この正規化ないしは収差の除去は、公知であるソフトウェア上の画像デジタルデータ処理対策により、可視画像用の較正パラメータおよび赤外画像用の較正パラメータ１０８を使用しながら行われることが好ましい。
【００２６】
正規化後の画像、すなわち外乱が十二分に取り除かれた画像は、デジタル画像処理技術においてそれ自体としては知られているレジストレーション工程によって、アライメント装置１０５によりレジストレーションパラメータ１０９を使用しながら互いに対しアライメント処理される。このアライメント処理工程においては、画像の一方を変更せずに、他方の画像の基準として利用することが好ましい。第２の画像が、第１の画像に対して被写体が十二分に一致する画像が成立するように、サイズおよび位置を変更されるようになっている。
【００２７】
すなわち正規化後の両画像は、同一の物体が、実質的に同の一地点、実質的に同一のサイズで、融合後の画像に出現するように、互いに対してアライメント処理されるのである。この前処理工程が実施されない場合は、両カメラの幾何寸法の差異やカメラオフセットにより、ゴースト像、二重像、影像、ないしは双子像が生じてしまう。これは、一つの物体が融合後の画像において、二つの地点に異なるサイズで出現することを意味している。そのような画像は、観察者の参考となるよりも、どちらかといえば観察者を苛立たせるものである。
【００２８】
正規化後の両画像のアライメント工程は、変位、回転、拡大縮小の三段階に分かれている。互いに対してアライメント処理された画像は、重ね合わせないしは融合装置１０６において、デジタルデータ処理により重ね合わされる、ないしは融合される。可視画像と赤外画像から作成される、時間と場所が同一である、ないしは被写体が同一である画像対から、それぞれ一つの融合された、ないしは重ね合わされた画像が作成され、これが車両の運転者に対して車両内の画像表示ユニット３０において描写される。
【００２９】
可視画像と赤外画像からの、時間と場所が同一である画像対の融合は、両方の画像から取り出された、互いに対して照合されたピクセル対の一つ一つに基づいて、または両方の画像から取り出された複数のピクセルを使用して、行われることが好ましい。これは特に、どの程度の解像度が所望されるのか、および／または、デジタル画像処理にどの位の計算能力を利用できるのかに対応したものであるとよい。上述のように前処理された両画像は、それぞれの画像データのデジタル処理により重ね合わされて、表示される。結果から見るとこの工程は、同一の場面または走行周辺が写っているフィルムやスライドを上下に積み重ねる工程に、ほぼなぞらえることができる。これは、計算技術上ないしはデジタル画像処理においては、それぞれのピクセル情報の平均値を、特にその時々の画像における各ピクセルの輝度、および、可視画像および／または赤外画像に含まれる色情報に配慮しながら求めることにより、行われる。これは必ずしもピクセル毎に行う必要はなく、むしろ両方の画像の場所と時間が同一であるピクセル領域を対象として平均値を求めることによっても行うことができる。
【００３０】
他にも平均値を求める際には、赤外画像のピクセル情報が、可視画像の時間と場所が同一であるピクセル情報とは異なる形で重み付けされると有意であるかもしれない。この異なる重み付けは、例えば、日光および／または気象に従属して、および／または、自動車のヘッドライトに従属して、および／または、可視画像の色に従属して、行われるとよい。それにより、例えば融合画像において赤信号を非常に明確に識別できるようにすることを達成することができる。
【００３１】
自動車においては、遠方領域、すなわち５０から２５０ｍまでの間の距離にある物体の検出が一義的な関心事項であるために、近接レンジに固定して設定された較正、および両カメラ１０１、１０２の光軸オフセットの結果、二重像が作成されてしまうと、車両の運転者を苛立たせることがある。この苛立ちを回避するために、例えば前方に位置する物体までの距離に従属して、および／または、車両の速度に従属して、画像表示ユニット３０に描写される目的画像が、可視画像または赤外画像のいずれかの再現だけに限定されるようになっている。
【００３２】
図２に、カメラ装置の視差誤差と、このカメラ装置により撮影される物体までの距離との関係を示す。そこには、遠隔レンジでの描写が視差誤差ゼロとなるように、装置が最適化されている状況が示されている。視差誤差が、例えば速度、および／または距離、および／または気象条件、および／またはトポロジー、および／または車両周辺など、様々な周辺パラメータに従属するとよい、ある一定の閾値を上回ると、画像融合が中止されて、この状況により適している可視カメラまたは赤外カメラの画像が描写されるようになっている。図示の実施例においては、この閾値が、較正により設定された「最適距離」よりも短い距離に設定されている。閾値は、必ずしも固定して設定する必要はなく、むしろ様々なパラメータに動的に従属するように、または一定の範囲により、定義されたものであるとよい。
【００３３】
一例として、次の場面を想定することができる：
信号のところで、車両が先行車両に急接近すると、それにより可視カメラと赤外カメラの互いに融合された画像の、目的画像におけるアライメント誤差が増大する。画像処理ユニットに結合されたセンサ４０により検出される距離に従属して、物体とカメラ装置１０間の距離がどれくらいになると、所定のアライメント誤差を上回るかが算出される。このアライメント誤差を上回った後は、画像融合が不動化され、赤外カメラの画像だけが表示される。あるいはその代わりに、別の構成例において、可視カメラの画像だけが表示されるようにしてもよい。
【００３４】
別の構成例において、所定の車両速度を下回る場合は、車両のヘッドランプの照射距離だけで、車両の利用者に対し、間近の周辺の事象に関する情報を十分に提供できるようになる。このため所定の速度を下回る場合は、画像融合を中止して、目的画像において可視カメラの画像を表示しないで、赤外カメラの画像だけを表示するとよいかもしれない。それにより、例えば郊外の住宅街や森の中の駐車場などのように照明が悪い周辺においても、人物や動物などが表示されることが保証される。速度は、画像処理ユニット２０に結合された速度センサ４１により検出される。
【００３５】
上述の二つの実施例は、画像融合の中止が、距離が短い場合、および／または車両速度が低い場合に適用される例を示したものである。他にも本発明は、装置が短い距離に合わせて較正されている場合にも、あまねく適用することができる。この場合は、所定の距離および／または一定の速度を上回る場合に、画像融合が中止される。
【００３６】
本発明に従った方法の長所は、目的画像における画像融合の中止により、人を苛立たせかねない光学収差が一切生じない点にある。それにより本発明に従った装置は、一定の距離レンジだけに合わせて較正されている画像融合装置の導入を許容する。それにより、全ての距離レンジにおける光学収差の回避が要求される、複雑な計算手順を経て確定しなければならないコスト高な制御アルゴリズムを、不要とすることができる。
【図面の簡単な説明】
【００３７】
【図１】本発明に従った車両の周辺を可視化するための装置のブロック線図である。
【図２】互いに対して実質的に平行に調整された光軸を持つ二つのカメラを有するカメラ装置における、視差誤差と距離の関係を示すグラフである。
【符号の説明】
【００３８】
１０    カメラ装置
２０    画像処理ユニット
３０    画像表示ユニット
４０    センサ
４１    センサ
１０１    カメラ
１０２    カメラ
１０３    正規化装置
１０４    正規化装置
１０５    アライメント装置
１０６    融合装置
１０７    較正パラメータ
１０８    較正パラメータ
１０９    レジストレーションパラメータ
【図１】
2008530667.tif 000003
【図２】
2008530667.tif 000004
【国際調査報告】
2008530667.tif 000005
2008530667.tif 000006
2008530667.tif 000007
2008530667.tif 000008
2008530667.tif 000009
2008530667.tif 000010