(57)【要約】  本発明は、第１カメラ（１）が可視スペクトル域に感応し、第２カメラ（２）が赤外線スペクトル域に感応する２つのカメラ（１；２）を有する装置に関する。カメラ（１；２）は、少なくとも１つの物体（４）を含む同一の場面（３）の像を撮像するために相互に所定の間隔（ａ）をおいて配置される。装置は、さらに、所定の間隔（ａ）と２つのカメラ（１；２）によって撮像される像とに基づいてカメラ（１；２）からの物体（４）の距離を計算する三角測量装置（７）を備えている。
2007506074.tif 000002
【特許請求の範囲】
【請求項１】
２つのカメラ（１；２）を有する装置であって、第１のカメラ（１）が可視スペクトル域に感応し、第２のカメラ（２）が赤外線スペクトル域に感応し、少なくとも１つの物体（４）を含む同一の場面（３）の像を撮像するために相互に所定の間隔（ａ）をおいて配置され、
さらに、前記所定の間隔（ａ）と前記２つのカメラ（１；２）によって撮像される像とから、前記カメラ（１；２）までの前記物体（４）の距離を計算する三角測量装置（７）を備えていることを特徴とする装置。
【請求項２】
前記装置が、前記場面（３）の表示画像（１４）を電子的に生成して表示するための、複数の画素から構成される表示画面（１３）を備えた再生システム（８）を備え、前記再生システム（８）は、前記２つのカメラ（１；２）によって供給される画像信号（ＲＧＢ；ＹＵＶ；ＹＩＲ）から前記表示画像（１４）を導出することを特徴とする請求項１に記載の装置。
【請求項３】
前記第１のカメラ（１）がカラーカメラであることを特徴とする請求項１あるいは２に記載の装置。  
【請求項４】
前記再生システム（８）が、結合されたビデオ信号（ＹＩＲＵＶ）を生成する結合装置（９）を備え、前記結合ビデオ信号（ＹＩＲＵＶ）から前記表示画像（１４）を導出し、前記結合ビデオ信号（ＹＩＲＵＶ）は、各画素に対して、前記第２のカメラの画像信号（ＹＩＲ）から導き出される輝度情報と、前記第１のカメラの画像信号（ＲＧＢ；ＹＵＶ）から導き出される色彩情報とを含んでいることを特徴とする請求項２及び３のいずれか１項に記載の装置。
【請求項５】
前記第１のカメラ（１）が、前記画像信号（ＲＧＢ；ＹＵＶ）としてマルチコンポーネントカラービデオ信号（ＹＵＶ）を供給し、前記コンポーネントの１つ（Ｙ）が各画素に対する輝度情報であることを特徴とする請求項４に記載の装置。
【請求項６】
前記第１のカメラ（１）が、それぞれ赤、緑又は青の波長域に感応する複数のセンサ（５）と、前記センサ（５）が供給する信号（ＲＧＢ）を前記マルチコンポーネントカラービデオ信号（ＹＵＶ）に変換する変換マトリックスとを備えていることを特徴とする請求項５に記載の装置。
【請求項７】
前記再生システム（８）が、マルチコンポーネントカラービデオ信号（ＹＩＲＵＶ）を、各画素の明るさが赤、緑及び青の波長域で表現される第２のカラービデオ信号（Ｒ’Ｇ’Ｂ’）に変換する逆変換マトリックス（１２）を備え、前記第２のカラービデオ信号（Ｒ’Ｇ’Ｂ’）から前記表示画像（１４）を導出することを特徴とする請求項６に記載の装置。
【請求項８】
前記再生システム（８）が前記物体（４）の３次元画像を生成することを特徴とする請求項２〜６のいずれか１項に記載の装置。
【請求項９】
請求項１〜８のいずれか１項に記載の装置を備えた車両。
【請求項１０】
前記三角測量装置（７）によって計算された距離を用いる自動衝突防止装置（１５）を備えていることを特徴とする請求項９に記載の車両。
【請求項１１】
物体（４）を含む場面（３）の像を、第１のカメラ（１）によって可視スペクトル域において撮像し、
同じ場面（３）の像を、前記第１のカメラ（１）から所定の間隔（ａ）をおいて配置される第２のカメラ（２）によって赤外線スペクトル域において撮像し、
前記カメラ（１；２）までの前記物体（４）の距離を、前記所定の間隔（ａ）及び前記２つのカメラ（１；２）によって撮像された像から計算すること、を特徴とする、物体（４）までの距離を測定する方法。
【請求項１２】
前記２つのカメラ（１；２）によって撮像された前記場面（３）の像の中に共通の特徴を見出すことによって、前記２つの像の中において前記物体（４）を検知することを特徴とする請求項１１に記載の方法。
【請求項１３】
前記第１のカメラによって撮像された像がマルチコンポーネントカラービデオ信号（ＲＧＢ；ＹＵＶ）によって表現され、前記共通の特徴を見出すために、前記マルチコンポーネントカラービデオ信号（ＲＧＢ；ＹＵＶ）の少なくとも１つのコンポーネントを前記第２のカメラ（２）によって撮像される像と比較することを特徴とする請求項１２に記載の方法。
【請求項１４】
前記第１のカメラによって撮像された前記場面（３）の像が前記場面（３）の輝度情報（Ｙ）を再生し、前記共通の特徴を見出すために、この像を前記第２のカメラ（２）によって撮像される像と比較することを特徴とする請求項１２に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、第１のカメラが可視スペクトル域に感応し、第２のカメラが赤外線スペクトル域に感応する２つのカメラを有する装置であって、少なくとも１つの物体を含む同一の場面の像を撮像するために相互に所定の間隔をおいて配置される２つのカメラを有する装置に関する。本発明は、さらに、物体間の距離を測定する方法に関する。
【背景技術】
【０００２】
今日、車両運転者が暗中で自らの方向付けを行い、物体を容易に認知し得るようにするために、自動車において、赤外線スペクトル域に感応するカメラの使用が増大しつつある。この場合、物体を含む場面の像が赤外線スペクトル域において撮像され、その像から、表示画面に表示される場面の表示画像が導き出される。赤外線波長域における放射は熱放射であるので、場面の表示画像における明るさの分布は場面中の温度分布に対応する。その結果、例えば、プレートや案内板のような場面の物体に記載されている文字が表示画像中に再生されない。
【０００３】
この欠点を除去するため、例えば特許文献１及び特許文献２から、赤外線スペクトル域感応カメラに可視スペクトル域感応カメラを組み合わせることが知られる。この場合、赤外線スペクトル域感応カメラによって撮像される場面の像に、可視スペクトル域感応カメラが撮像した場面の像が上に重ねられ、その結果、可視スペクトル域において放射される物体の範囲の色彩の違いが、場面の表示画像において可視化される。このようなカラー夜間視認装置によって生成される表示画像において、例えば、交通信号の色を検知すること、対向車両のヘッドライトと前方走行車の後部スポットライト及びブレーキライトとを区別すること、又は案内板の記述を暗中で読み取り得るようにすることが可能になる。
【０００４】
特許文献３に開示されるカラー夜間視認装置において、赤外線カメラは場面の単色像を撮像し、カラーカメラが同じ場面の像を可視スペクトル域において撮像する。この２つの像は重ね合わされ、この重ね合わされたものが、２つの像の重ね合わせとしての場面の表示画像を再生する表示画面に供給される。装置の配置は次のようである。すなわち、２つのカメラの間に、可視スペクトル域の放射を反射するが赤外線スペクトル域の放射を透過する鏡が置かれ、鏡の上流側に配置されるカラーカメラが、鏡によって反射される可視放射を撮像し、鏡の下流側に配置される赤外線カメラが鏡を透過する赤外線放射を撮像する。これによって、２つのカメラがそれぞれ同じ場面の像を撮像することが保証される。
【０００５】
特許文献２には別の夜間視認装置が開示されている。この文献においては、カラー夜間視認装置は１つのカメラだけを有するが、そのカメラは異なる種類のセンサを備えている。すなわち、第１の種類のセンサは赤外線放射に感応し、第２の種類のセンサは可視スペクトル域の放射に感応する。このカメラは同じ場面の２つの像の生成に用いることができるが、その像の１つは赤外線スペクトル域で撮像されたものであり、第２の像は可視スペクトル域で撮像されたものである。この２つの像が結合されて、表示画面に表示される場面の表示画像が形成される。
【０００６】
現代の自動車においては、赤外線カメラ又はカラー夜間視認装置の他に衝突防止装置も知られている。この装置は、例えば、前方走行車までの距離又は自動車の走行方向に出現する物体までの距離を測定するレーダセンサによって作動する。その距離が予め設定された限界値未満に低下すると、自動車は自動的に若干制動される。距離がその限界値を超えて増大すると自動車は加速される。この代わりの方式として、運転者が急ブレーキをかけなければならない場合に、運転者に指示を出す音響の警告信号を発することも可能である。
【０００７】
【特許文献１】米国特許第５，１００，５５８号明細書
【特許文献２】米国特許第６，１５０，９３０号明細書
【特許文献３】米国特許第５，００１，５５８号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００８】
自動車における重量の削減はとりわけ燃費に好影響を及ぼし、コストをも節減するが、この重量削減の一般的な試みとして、自動車の既存の装置を、可能な限り構成要素を省略し得るように簡素化することは望まれるところである。
【０００９】
従って、本発明の目標は、夜間視認装置と衝突防止システムとを装備した自動車における構成要素の削減に繋がるような、物体までの距離の測定装置及び測定方法を提供することにある。
【課題を解決するための手段】
【００１０】
この目標は、請求項１に記載の装置及び請求項１１に記載の方法によって実現される。
【００１１】
本発明においては、単一の装置を用いて、同じ場面の２つの像を撮像する。１つは可視スペクトル域のものであり、第２は赤外線スペクトル域のものである。場面中の物体までの距離は、追加的な費用をかけることなくこの像から決定する。決定される距離は、衝突防止装置のような適当な目的に使用することができる。このため、周知の衝突防止装置の場合における例えばレーダセンサのような距離センサの必要性がなくなる。上記の文献に記述される装置は、物体までの距離の測定には使用できない。２つのカメラがそれぞれ同じ視角から場面を撮像するので、距離の決定に必要なカメラ間の所定の間隔が欠落しているからである。衝突防止装置を操作する付加的な距離センサがこの装置を備える車両には不可欠である。米国特許第５，００１，５５８号明細書に対して、本発明は、鏡も不要になるというさらなる利点を有しており、これは、鏡とカメラとに要求される調整作業並びに鏡の破損リスクに関わる付加的な利点をも構成する。本発明による装置によって距離センサ及び／又は鏡のような構成要素を省略することができるので、本発明の装置を装備した自動車は、一般的にコスト面で効率的になり、重量も低下するので、カラー夜間視認装置及び衝突防止装置を備えた周知の自動車よりも燃料を節減することができる。
【００１２】
装置は、さらに、場面の表示画像を電子的に生成して表示するための、多数の画素から構成される表示画面を備えた再生システムを含むことができる。この場合、この再生システムは、２つのカメラによって供給される画像信号から表示画像を導き出す。第１のカメラがカラーカメラであれば、装置を、上記のように、可視スペクトル域に放射される場面の範囲の色彩の差異を表示画像に可視化するカラー夜間視認装置として用いることができる。これによって、不慣れな運転者も、場面を表示画像に問題なく見ることができ、暗中に自らの方向付けを行うことができる。
【００１３】
再生システムは、結合されたビデオ信号を生成する結合装置を備えて、その結合ビデオ信号から表示画像を導き出すことが好ましい。この結合ビデオ信号は、各画素に対して、第２カメラの画像信号から導き出される輝度情報と、第１カメラの画像信号から導き出される色彩情報とを含んでいる。このような結合は簡単な回路で実現可能である。
【００１４】
第１カメラは、画像信号としてマルチコンポーネントカラービデオ信号を供給することができる。このコンポーネントの１つは各画素の輝度情報の項である。これは、ＹＵＶモデルにおける画素の周知の表現に対応する。
【００１５】
これに対する代替方式として、第１カメラがそれぞれ赤、緑又は青の波長域に感応するセンサを備えることもできる。これは周知のＲＧＢ記録方式に対応する。さらに、第１カメラは、センサが供給する信号をマルチコンポーネントカラービデオ信号に変換する変換マトリックスを有することもできる。このマルチコンポーネントカラービデオ信号のコンポーネントの１つは各画素の輝度情報の項である。このような場合は、再生システムに逆変換マトリックスを備えて、マルチコンポーネントカラービデオ信号を各画素の明るさが赤、緑及び青の波長域で表現される第２のカラービデオ信号に逆変換し、この第２のカラービデオ信号から表示画像を導き出すことが可能である。
【００１６】
再生システムは、原理的には物体の３次元画像を生成することもできる。
【００１７】
本発明による方法の場合には、２つのカメラによって撮られた場面の像の中に共通の特徴を見出すことによって、物体を２つの像において検知することができる。
【００１８】
第１カメラによって撮られた場面の像はマルチコンポーネントカラービデオ信号で表現することができ、そのマルチコンポーネントカラービデオ信号の少なくとも１つのコンポーネントを、共通の特徴を見出すために第２のカメラが撮像した像と比較することができる。このようなマルチコンポーネントカラービデオ信号は、例えば、赤、緑及び青のスペクトル域の周知のＲＧＢモデルを用いて場面の像を表現することができる。その際、第２のカメラが撮像した像と比較するために、赤又は緑又は青のいずれかのスペクトル域の像表現のみを使用することができる。しかし又、それぞれ２つ又は３つの表現つまり完全なマルチコンポーネントカラービデオ信号を、第２のカメラが撮像した像と比較することも可能である。ＹＵＶモデルを用いたマルチコンポーネントカラービデオ信号についても同じことが言える。ＹＵＶモデルは、そのコンポーネントが輝度成分Ｙと２つの色差成分Ｕ及びＶとから構成され、ＲＧＢモデルを用いたマルチコンポーネントカラービデオ信号から変換して得ることができる。
【００１９】
一方、第１カメラが撮像した場面の像は場面の輝度情報の項を再生することができ、この像は、共通の特徴を見出すために第２のカメラで撮像した像と比較することができる。この場合、第１カメラがカラーカメラであることが絶対的に必要であるわけではない。第１カメラとして白黒カメラを使用することも可能である。
【００２０】
次に、本発明を、図面の表現を参照してさらに詳しく説明する。
【発明を実施するための最良の形態】
【００２１】
本発明による方法を実施する自動車搭載装置の概略を図１に示す。装置は、第１カメラ１と第２カメラ２とを備えており、それらは相互に所定の間隔ａをあけて配置される。２つのカメラ１、２は、ここでは車両で表現される物体４を含む場面３に照準され、それぞれ場面３の像を撮像する。第１カメラ１は可視スペクトル域に感応し、第２カメラ２は赤外線スペクトル域に感応する。この場合、第１カメラ１は、それぞれ赤、緑及び青の波長域に感応する複数のセンサ５と、センサ５に連結された変換マトリックス６とを備えている。第１カメラ１及び第２カメラ２は三角測量装置７に接続され、又、再生システム８にも接続されている。再生システム８は、ライン１０によって第１カメラ１に接続され、ライン１１によって第２カメラ２に接続される結合装置９と、結合マトリックス９に接続される逆変換マトリックス１２と、表示画像１４表示用の表示画面１３とを有している。最後に、車両の衝突防止装置１５が示されており、これは三角測量装置７に接続されている。
【００２２】
第２カメラ２は、本発明による方法を実施するために、赤外線波長域において場面３の像を撮像する。第２カメラ２は、その像からＹＩＲ画像信号を生成しそれをライン１１に出力する。その画像信号はライン１１を経由して、一方では三角測量装置７に入力され、他方では結合装置９に入力される。
【００２３】
第１カメラ１は、同様に、可視スペクトル域において、センサ５で場面３の像を撮像する。センサ５は、ＲＧＢ記録法によって、像の対応する信号ＲＧＢを変換マトリックス６に供給する。変換マトリックスは信号ＲＧＢをマルチコンポーネントカラービデオ信号ＹＵＶに変換する。このマルチコンポーネントカラービデオ信号ＹＵＶのコンポーネントＹは輝度信号である。この変換については、次のマトリックスの乗算が実行される。
【数１】
2007506074.tif 000003
【００２４】
マルチコンポーネントカラービデオ信号ＹＵＶは、ライン１０を経由して第１カメラ１から出力され、ＹＩＲ画像信号の場合と同様に、一方では三角測量装置７に、他方では結合装置９に入力される。
【００２５】
結合装置９は、マルチコンポーネントカラービデオ信号ＹＵＶの輝度信号ＹをＹＩＲ画像信号で置換することによって、ＹＩＲ画像信号をマルチコンポーネントカラービデオ信号ＹＵＶと結合する。結合されたビデオ信号ＹＩＲＵＶは、マルチコンポーネントカラービデオ信号ＹＵＶのＹ信号をＹＩＲ画像信号で置換して得られたものである。このマルチコンポーネントカラービデオ信号においては、各画素の明るさはＹＩＲによって規定され、そのカラー値はＵ及びＶによって規定される。このＹＩＲＵＶ画像信号は結合装置から逆変換マトリックス１２に出力される。
【００２６】
逆変換マトリックス１２は、第１カメラ１の変換マトリックス６によって行われた変換に対して逆の変換をビデオ信号に対して実施する装置である。一般的には、この逆変換は次のマトリックスの乗算によって行われる。
【数２】
2007506074.tif 000004
【００２７】
すなわち、この場合、逆変換マトリックス１２は信号をＹＵＶモデルからＲＧＢモデルに変換する。従って、結合ビデオ信号ＹＩＲＵＶは、逆変換マトリックス１２において、第２のマルチコンポーネントカラービデオ信号Ｒ’Ｇ’Ｂ’に変換され、最終的に表示画面１３に出力される。第２のマルチコンポーネントカラービデオ信号Ｒ’Ｇ’Ｂ’から導き出され、画素から構成される表示画像１４は表示画面１３で再生されるが、その場合、表示画像１４の画素は、第２のマルチコンポーネントカラービデオ信号Ｒ’Ｇ’Ｂ’によって表現される色彩で表示される。
【００２８】
第１カメラ１が供給するマルチコンポーネントカラービデオ信号ＹＵＶと、第２カメラ２が供給するＹＩＲ画像信号とは、表示画像１４の生成以外に、カメラ１、２までの物体４の距離の測定にも用いられる。マルチコンポーネントカラービデオ信号ＹＵＶによって表現される像とＹＩＲ画像信号によって表現される像とが、三角測量装置７において相互に比較される。この場合、像における共通の特徴の探索が行われ、この特徴が、場面３のそれぞれの像において物体４を同定するために用いられる。像は、２つのカメラ１、２の所定の間隔距離ａの結果としての視差変位を有しているので、既知の所定間隔距離ａと、像を表現する信号から決定される視差変位とから、周知の簡単な三角測量法を、物体４と、カメラ１、２つまりそれぞれ自動車との間の距離の測定に適用することができる。
【００２９】
センサ５によって生成される信号ＲＧＢは、場面３がそれぞれ赤、緑及び青のスペクトル域で像にされた場面３の３つの像を表現している。従って、上記の代替方式として、それぞれ信号Ｒ、Ｇ又はＢのいずれか１つをＹＩＲ画像信号と比較して、三角測量装置７によって共通の特徴を見出し、物体４を同定し、上記の方法でカメラ１、２までの物体４の距離を測定することも可能である。しかし、３つの全信号ＲＧＢによって表現される像をＹＩＲ画像信号と比較することも可能であり、その場合は、その像は、赤のスペクトル域の像と、緑のスペクトル域の像と、青のスペクトル域の像とが連結されて結合され１つのカラー像に形成されたものである。
【００３０】
測定された距離は衝突防止装置１５に伝送される。衝突防止装置１５には、三角測量装置７が測定した距離と比較される距離の限界値が予め設定されている。測定された距離がその限界値を下回ると、衝突防止装置１５は事前設定された対応反応を発動させる。
【００３１】
物体４は、図１に示すように例えば前方に走行している車両でもよい。従って、衝突防止装置１５は、前方走行車までの距離が限界値を下回っていることを確認すると、自動車の運転者に対する警告として定められる音響信号又は光学信号を反応として発することができる。この信号は、運転者が何時ブレーキをかけるべきかを運転者に指示することができる。又、そのような場合に、衝突防止装置１５が独自に自動車の制御を肩代わりするようなタイプの構成も可能である。これには、距離を自動的に維持するための自動制動又は自動加速から、自動車の自動回避運転又は緊急停止までの広範囲の方式を想定することができる。緊急停止は、主として、走行方向に物体４が突然出現し、自動車の前方に危険なまでに近接した場合に感応する。
【図面の簡単な説明】
【００３２】
【図１】本発明による方法を実施する装置の概略設計を示す図である。
【図１】
2007506074.tif 000005
【国際調査報告】
2007506074.tif 000006
2007506074.tif 000007
2007506074.tif 000008
2007506074.tif 000009