(57)【要約】  【課題】  入射光を可視光用撮像素子又は赤外光用撮像素子へ入射するよう切り替えることにより、入射光量を減衰することなく、可視画像及び赤外画像の合成画像を鮮明に表示することができる画像表示システム、画像表示方法及び撮像装置を提供する。  【解決手段】  車両の外部を撮像する撮像装置で撮像した可視光画像及び赤外光画像を合成した合成画像を表示する画像表示システムにおいて、撮像装置は、可視光を撮像する可視光用撮像素子と、赤外光を撮像する赤外光用撮像素子と、入射光を、可視光用撮像素子又は赤外光用撮像素子へ、時分割的に選択して誘導するように切り替える切替手段とを備え、入射光を切り替える間隔を、人間が視認することが可能な時間より小さくすることにより、可視画像及び赤外画像の合成画像を鮮明に表示する。【選択図】      図２
2007036831.tif 000002
【特許請求の範囲】
【請求項１】
車両の外部を撮像する撮像装置と、該撮像装置で撮像した可視光画像及び赤外光画像を合成した合成画像を表示する表示装置とを備える画像表示システムにおいて、
前記撮像装置は、
可視光を撮像する可視光用撮像素子と、
赤外光を撮像する赤外光用撮像素子と、
入射光を、前記可視光用撮像素子又は前記赤外光用撮像素子へ、時分割的に選択して誘導するように切り替える切替手段と
を備えることを特徴とする画像表示システム。
【請求項２】
前記切替手段は、１００ｍｓｅｃ以下の間隔で切り替えるようにしてあることを特徴とする請求項１記載の画像表示システム。
【請求項３】
前記切替手段は、板状の反射ミラーであり、端部を回転軸として揺動し、入射光の光路を前記可視光用撮像素子又は前記赤外光用撮像素子へ切り替えるようにしてあることを特徴とする請求項１又は２記載の画像表示システム。
【請求項４】
前記切替手段は、表面が光を反射可能にしてある一又は複数の反射体を有する回転体であり、回転軸を中心として回転し、光路を前記可視光用撮像素子又は前記赤外光用撮像素子へ切り替えるようにしてあることを特徴とする請求項１又は２記載の画像表示システム。
【請求項５】
車両の外部を撮像する撮像装置で撮像した可視光画像及び赤外光画像を合成した合成画像を表示する画像表示方法において、
入射光を、可視光を撮像する可視光用撮像素子又は赤外光を撮像する赤外光用撮像素子へ、時分割的に選択して誘導するように切り替えることを特徴とする画像表示方法。
【請求項６】
車両の外部を撮像して可視光データ及び赤外光データを取得する撮像装置において、
可視光を撮像する可視光用撮像素子と、
赤外光を撮像する赤外光用撮像素子と、
入射光を、前記可視光用撮像素子又は前記赤外光用撮像素子へ、時分割的に選択して誘導するように切り替える切替手段と
を備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された撮像装置で取得した可視光データ及び赤外光データを合成した合成画像データを表示出力する画像表示システム及び該画像表示システムを構成する撮像装置に関する。
【背景技術】
【０００２】
車両に外部を撮像することが可能な撮像装置を搭載し、撮像装置で撮像した画像を表示装置に表示させることにより前方監視又は先行車追従を行うシステムが提案されている。撮像素子にＣＣＤを用いた可視光用の撮像装置で取得した画像データは、運転者が容易に識別できる画像を表示することができる。しかし、夜間走行時に可視光用の撮像装置で取得した画像データは、ヘッドライトの照射範囲以外の情報を識別できる映像を提供することが困難であった。
【０００３】
一方、夜間走行時における外界の情報を撮像するために、ボロメータ又は焦電型撮像素子を備えた赤外光用のビデオカメラを用いるシステムもある。しかし、このような従来のビデオカメラシステムでは表示される画像のコントラストが低く、運転者にとって障害物の存在を識別することが困難であるという問題点があった。
【０００４】
斯かる問題点を解消すべく、例えば非特許文献１には、可視光用のビデオカメラと赤外光用のビデオカメラを併置し、夫々のビデオカメラにより取得した画像データを合成した合成画像を表示する方法が開示されており、表示された合成画像により、運転者が容易に歩行者等の障害物を識別することができる（非特許文献１参照）。
【非特許文献１】トーマス  ワイドナー他１名、「自動車アプリケーション分野での遠赤外画像と夜間可視画像との融合アルゴリズム」、ベーエムベー  カンパニー、２００３年（Thomas Weidner, etc.“Algorithm for Fusion of Far Infrared and Visual Night-Time Images with Scope to Automotive Application”,BMW, 2003）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上述した従来の方法では、可視光用のビデオカメラと赤外光用のビデオカメラとを車両に併置する必要があり、可視光による画像（可視画像）と赤外光による画像（赤外画像）との間で位置ずれが生じる。したがって、合成画像を生成する場合、可視光用のビデオカメラが撮像した画像と、赤外光用のビデオカメラが撮像した画像とを重ね合わせることが困難であるという問題点があった。
【０００６】
斯かる問題点を解消すべく、入射光をプリズム等の光学素子を通過させて、可視光と赤外光とへ分離し、分離した可視光を可視光用撮像素子へ、赤外光を赤外光用撮像素子へ、各々誘導することができる撮像装置が開発されている。斯かる撮像装置では、単一の入射光に基づいて可視画像及び赤外画像を取得することができ、可視画像と赤外画像との位置ずれを少なくすることが可能となっている。
【０００７】
しかしながら、上述した撮像装置では、入射光をプリズム等の光学素子の内部を通過させることにより可視光と赤外光とに分離していることから、特に遠赤外光がプリズムの通過により減衰し、赤外画像を鮮明に表示することが困難であるという問題点があった。
【０００８】
本発明は、斯かる事情に鑑みてなされたものであり、入射光を可視光用撮像素子へ入射するか、赤外光用撮像素子へ入射するか、切り替えることにより、入射光量を減衰することなく、可視画像及び赤外画像の合成画像を鮮明に表示することができる画像表示システム、画像表示方法及び撮像装置を提供することを目的とする。
【０００９】
また本発明は、入射光を切り替える間隔を、人間が視認することが可能な時間より小さくすることにより、可視画像及び赤外画像の合成画像を鮮明に表示することができる画像表示システム、画像表示方法及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために第１発明に係る画像表示システムは、車両の外部を撮像する撮像装置と、該撮像装置で撮像した可視光画像及び赤外光画像を合成した合成画像を表示する表示装置とを備える画像表示システムにおいて、前記撮像装置は、可視光を撮像する可視光用撮像素子と、赤外光を撮像する赤外光用撮像素子と、入射光を、前記可視光用撮像素子又は前記赤外光用撮像素子へ、時分割的に選択して誘導するように切り替える切替手段とを備えることを特徴とする。
【００１１】
また、第２発明に係る画像表示システムは、第１発明において、前記切替手段は、１００ｍｓｅｃ以下の間隔で切り替えるようにしてあることを特徴とする。
【００１２】
また、第３発明に係る画像表示システムは、第１又は第２発明において、前記切替手段は、板状の反射ミラーであり、端部を回転軸として揺動し、入射光の光路を前記可視光用撮像素子又は前記赤外光用撮像素子へ切り替えるようにしてあることを特徴とする。
【００１３】
また、第４発明に係る画像表示システムは、第１又は第２発明において、前記切替手段は、表面が光を反射可能にしてある一又は複数の反射体を有する回転体であり、回転軸を中心として回転し、光路を前記可視光用撮像素子又は前記赤外光用撮像素子へ切り替えるようにしてあることを特徴とする。
【００１４】
また、第５発明に係る画像表示方法は、車両の外部を撮像する撮像装置で撮像した可視光画像及び赤外光画像を合成した合成画像を表示する画像表示方法において、入射光を、可視光を撮像する可視光用撮像素子又は赤外光を撮像する赤外光用撮像素子へ、時分割的に選択して誘導するように切り替えることを特徴とする。
【００１５】
また、第６発明に係る撮像装置は、車両の外部を撮像して可視光データ及び赤外光データを取得する撮像装置において、可視光を撮像する可視光用撮像素子と、赤外光を撮像する赤外光用撮像素子と、入射光を、前記可視光用撮像素子又は前記赤外光用撮像素子へ、時分割的に選択して誘導するように切り替える切替手段とを備えることを特徴とする。
【００１６】
第１発明、第５発明及び第６発明では、撮像装置は、可視光を撮像する可視光用撮像素子と、赤外光を撮像する赤外光用撮像素子と、入射光を、可視光用撮像素子又は赤外光用撮像素子へ、時分割的に選択して誘導するように切り替える切替手段とを備える。これにより、入射光は可視光用撮像素子又は赤外光用撮像素子のいずれかへ誘導され、それぞれ可視画像又は赤外画像を所定の時間間隔で出力する。したがって、例えば人間が視認することができない短い時間間隔で可視画像又は赤外画像へ切り替えて出力することで、可視画像及び赤外画像を相互に残像として認識し、画像処理装置により合成画像を生成することなく、両者の合成画像として表示画像を認識することが可能となる。また、プリズム等の光学素子を通過しないことから、特に遠赤外光の光量が減衰することがなく、鮮明な合成画像を表示することが可能となる。
【００１７】
第２発明では、切替手段は、１００ｍｓｅｃ以下の時間間隔で、可視光用撮像素子又は赤外光用撮像素子へ入射光を誘導するよう切り替える。これにより、人間が視認することができない短い時間間隔で可視画像又は赤外画像へ切り替えて出力することで、可視画像及び赤外画像を相互に残像として認識し、画像処理装置により合成画像を生成することなく、両者の合成画像として表示画像を認識することが可能となる。
【００１８】
第３発明では、切替手段は、板状の反射ミラーであり、端部を回転軸として揺動し、入射光の光路を可視光用撮像素子又は赤外光用撮像素子へ切り替える。これにより、反射ミラーの反射方向を可視光用撮像素子又は赤外光用撮像素子の方向へ所定の時間間隔で切り替えることで、例えば人間が視認することができない短い時間間隔で可視画像又は赤外画像へ切り替えて出力することで、可視画像及び赤外画像を相互に残像として認識し、画像処理装置により合成画像を生成することなく、両者の合成画像として表示画像を認識することが可能となる。また、プリズム等の光学素子を通過しないことから、特に遠赤外光の光量が減衰することがなく、鮮明な合成画像を表示することが可能となる。
【００１９】
第４発明では、切替手段は、表面が光を反射可能にしてある一又は複数の反射体を有する回転体であり、回転軸を中心として回転し、光路を可視光用撮像素子又は赤外光用撮像素子へ切り替える。これにより、回転体の回転により所定の時間間隔で入射光を可視光用撮像素子又は赤外光用撮像素子の方向へ反射することで、例えば人間が視認することができない短い時間間隔で可視画像又は赤外画像へ切り替えて出力することで、可視画像及び赤外画像を相互に残像として認識し、画像処理装置により合成画像を生成することなく、両者の合成画像として表示画像を認識することが可能となる。また、プリズム等の光学素子を通過しないことから、特に遠赤外光の光量が減衰することがなく、鮮明な合成画像を表示することが可能となる。
【発明の効果】
【００２０】
第１発明、第５発明及び第６発明によれば、入射光は可視光用撮像素子又は赤外光用撮像素子のいずれかへ誘導され、それぞれ可視画像又は赤外画像を所定の時間間隔で出力する。したがって、例えば人間が視認することができない短い時間間隔で可視画像又は赤外画像へ切り替えて出力することで、可視画像及び赤外画像を相互に残像として認識し、画像処理装置により合成画像を生成することなく、両者の合成画像として表示画像を認識することが可能となる。また、プリズム等の光学素子を通過しないことから、特に遠赤外光の光量が減衰することがなく、鮮明な合成画像を表示することが可能となる。
【００２１】
第２発明によれば、人間が視認することができない短い時間間隔で可視画像又は赤外画像へ切り替えて出力することで、可視画像及び赤外画像を相互に残像として認識し、画像処理装置により合成画像を生成することなく、両者の合成画像として表示画像を認識することが可能となる。
【００２２】
第３発明によれば、反射ミラーの反射方向を可視光用撮像素子又は赤外光用撮像素子の方向へ所定の時間間隔で切り替えることで、例えば人間が視認することができない短い時間間隔で可視画像又は赤外画像へ切り替えて出力することで、可視画像及び赤外画像を相互に残像として認識し、画像処理装置により合成画像を生成することなく、両者の合成画像として表示画像を認識することが可能となる。また、プリズム等の光学素子を通過しないことから、特に遠赤外光の光量が減衰することがなく、鮮明な合成画像を表示することが可能となる。
【００２３】
第４発明によれば、回転体の回転により所定の時間間隔で入射光を可視光用撮像素子又は赤外光用撮像素子の方向へ反射することで、例えば人間が視認することができない短い時間間隔で可視画像又は赤外画像へ切り替えて出力することで、可視画像及び赤外画像を相互に残像として認識し、画像処理装置により合成画像を生成することなく、両者の合成画像として表示画像を認識することが可能となる。また、プリズム等の光学素子を通過しないことから、特に遠赤外光の光量が減衰することがなく、鮮明な合成画像を表示することが可能となる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
【００２５】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像表示システムの構成を模式的に示す図である。１、２は、歩行者、自転車に乗った人間等を撮像する本実施の形態に係るビデオカメラ（撮像装置）である。ビデオカメラ１、２は、車両のフロントグリル内に、適長の間隔を隔てて略水平方向に並置してある。撮像した画像は、ＩＥＥＥ１３９４に準拠した車載ＬＡＮケーブル７を介して接続してある画像処理装置３に送信される。
【００２６】
画像処理装置３は、ビデオカメラ１、２、操作部を備えた表示装置４、及び音声、効果音等により聴覚的な警告を発する警報装置５と、車載ＬＡＮケーブル７を介して接続されている。
【００２７】
図２は、本発明の実施の形態１に係る画像表示システムのビデオカメラ１（２）の構成を示すブロック図である。画像撮像部１１は、外部から入射する光を受光する対物レンズ１１０を備え、対物レンズ１１０の光軸上に、入射光の光軸方向を切り替える切替手段として板状の反射ミラー１１１を設けている。反射ミラー１１１は、一端を回転軸Ｐに固着してあり、回転軸Ｐを中心として一定回転角度の範囲内で揺動することが可能となっている。
【００２８】
反射ミラー１１１の揺動は、例えば反射ミラー１１１を入射光の光軸方向となるよう付勢する付勢手段と、付勢手段に対抗して入射光を遮断する位置へ反射ミラー１１１を跳ね上げる電磁駆動源とにより行われる。すなわち、電磁駆動源にパルス信号が入力された場合に反射ミラー１１１は入射光を遮断する位置へと回転し、それ以外は付勢手段により入射光の光軸方向に維持される。なお、反射ミラー１１１の揺動手段はこれに限定されるものではない。
【００２９】
対物レンズ１１０の光軸方向には、表面にＦＩＲパスフィルタを貼付した撮像レンズ１１４を配設してあり、撮像レンズ１１４を透過した赤外光が結像する位置に、遠赤外光用撮像素子である焦電型撮像素子１１２を配設している。なお、遠赤外光用撮像素子は焦電型撮像素子１１２に限定されるものではなく、例えばボロメータであっても良い。また、ＦＩＲパスフィルタは、例えばメタクリル樹脂、ポリエチレン樹脂等からなる遠赤外域の周波数成分を有する光を選択的に通過させることができるフィルタである。
【００３０】
また、入射光の光軸方向と該光軸方向から略４５度の角度へ反射ミラー１１１が回転移動した場合に、入射光が反射される方向に、撮像レンズ１１５を配設してあり、撮像レンズ１１５を透過した可視光が結像する位置に、ＣＣＤ１１３を配設している。
【００３１】
同一の撮像領域を焦電型撮像素子１１２及びＣＣＤ１１３の対応する撮像面に合致させるべく、焦電型撮像素子１１２及びＣＣＤ１１３の撮像面の大きさ並びに撮像レンズ１１４及び撮像レンズ１１５の焦点距離を一致させている。これにより、反射ミラー１１１の揺動に応じて、撮像領域に対する赤外光及び可視光の光軸及び画角を一致させることができ、対物レンズ１１０を介した同一の撮像領域が、焦電型撮像素子１１２及びＣＣＤ１１３のそれぞれの撮像面に配設してある画素に結像される。
【００３２】
入射光の光軸方向と略平行な方向に反射ミラー１１１が回転移動している場合、入射光は反射されることなくＦＩＲパスフィルタの貼付してある撮像レンズ１１４を介した焦電型撮像素子１１２に入力される。焦電型撮像素子１１２は、入力された赤外光をＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）のアナログ信号に変換し、信号処理部１２へ出力する。
【００３３】
同様に、入射光の光軸方向と該光軸方向から略４５度の角度へ反射ミラー１１１が回転移動した場合に、反射ミラー１１１で反射された可視光は、撮像レンズ１１５を介してＣＣＤ１１３に入力される。ＣＣＤ１１３は、入力された可視光をＲＧＢのアナログ信号に変換し、信号処理部１３へ出力する。
【００３４】
信号処理部１２、１３は、それぞれ焦電型撮像素子１１２及びＣＣＤ１１３から入力されたアナログ信号をデジタル信号に変換し、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理等を行う。さらに、ＲＧＢ信号をＹＵＶ（Ｙ：輝度、Ｕ、Ｖ：色差）信号に変換し、変換したＹＵＶ信号を画像データとして画像メモリ１４へ一時記憶する。
【００３５】
通信インタフェース部１５は、車載ＬＡＮケーブル７を介して画像処理装置３と通信を行い、画像処理装置３から受信した指示信号に応じて、画像メモリ１４に一時記憶してある画像データを画像処理装置３へ送信する。例えば、夜間走行時には、画像メモリ１４に一時記憶してある可視光データ及び赤外光データを画像処理装置３へ送信し、昼間走行時には、画像メモリ１４に一時記憶してある可視光データのみを画像処理装置３へ送信する。
【００３６】
制御部１６は、例えばＬＳＩ基板であり、画像撮像部１１、信号処理部１２、１３、及び通信インタフェース部１５の動作を制御する。例えば、画像処理装置３から受信した指示コマンド（命令）を解釈し、画像メモリ１４に一時記憶された画像データを読み出し、通信インタフェース部１５を介して画像処理装置３へ出力する。制御部１６はＬＳＩ基板に限定されるものではなく、ＣＰＵ、ＭＰＵ等であっても良い。
【００３７】
制御部１６は、反射ミラー１１１の回転の電磁駆動源に対して、例えば一定時間間隔のパルス信号を送出し、反射ミラー１１１の回転角度を制御する。図３は、送出するパルス信号の例示図である。図３に示すように、一定時間ｔ０ごとに、出力電圧が０又はＶ０に変動し、出力電圧が０である場合、電磁駆動源が作動せず反射ミラー１１１は回転しない。出力電圧がＶ０である場合、電磁駆動源が作動し、反発力により付勢手段に対抗して反射ミラー１１１の回転角度が略４５度となるよう制御する。これにより、一定時間間隔で、同一の撮像領域を焦電型撮像素子１１２又はＣＣＤ１１３へ誘導するよう切り替えることができ、それぞれ赤外光データ又は可視光データを通信インタフェース部１５を介して画像処理装置３へ出力する。
【００３８】
反射ミラー１１１の回転角度を切り替える時間間隔は、人間が視覚により認識可能な時間より短時間に設定する。例えば時間間隔を１００ｍｓｅｃ以下に設定することにより、表示装置４に可視光データが表示され、次に赤外光データが表示された場合であっても、可視光データが残像として残っており、画像処理装置３にて合成画像を生成することなく、人間は可視光データと赤外光データとの合成画像データが表示されているものと認識する。
【００３９】
図４は、本発明の実施の形態１に係る画像処理装置３の構成を示すブロック図である。通信インタフェース部３１は、ビデオカメラ１、２に対する指令の送信、ビデオカメラ１、２からの画像データの受信を行う。通信インタフェース部３１は、ビデオカメラ１、２から受信した画像データを、フレーム単位で画像メモリ３２に記憶する。
【００４０】
また、通信インタフェース部３１は、液晶ディスプレイ等の表示装置４に対して画像データを送信し、ブザー、スピーカ等の警報装置５に対して合成音等の出力信号を送信する。画像メモリ３２は、ＳＲＡＭ、フラッシュメモリ等であり、通信インタフェース部３１を介してビデオカメラ１、２から受信した画像データを記憶する。
【００４１】
ＬＳＩ３３は、画像処理を行う基板であり、画像メモリ３２に記憶された可視光データ及び赤外光データをフレーム単位で読出し、読み出した可視光データ及び赤外光データを、通信インタフェース部３１を介して表示装置４へ送出する。また、ＬＳＩ３３は、演算処理の途上で生成したデータを記憶するＲＡＭ３３１を内蔵している。
【００４２】
可視光データ及び赤外光データは、表示装置４で表示出力される。表示装置４は、反射ミラー１１１を一致時間間隔で揺動させることにより、可視光データ及び赤外光データの合成画像を画像処理装置３で生成することなく、人間の目の残像現象を利用することにより、合成画像を表示する。
【００４３】
図５は、夜間走行時にビデオカメラ１（２）が撮像した画像の表示例を示す図である。図５（ａ）は、ＣＣＤ１１３が撮像して得られた可視光データを表示装置４で表示した場合の例示図であり、図５（ｂ）は、焦電型撮像素子１１２が撮像して得られた赤外光データを表示した場合の例示図である。図５（ｃ）は、残像現象により両者が合成された合成画像と認識された状態を示す例示図である。
【００４４】
図５（ａ）において、ビデオカメラ１（２）が、車両のヘッドライトが照射された前方路面、路肩等からの反射光を受光した場合、路肩、車線変更用レーン等の撮像領域からの可視光データは高い輝度値を有し、ヘッドライトが照射されない撮像領域からの可視光データは低い輝度値を有する。したがって、路肩、車線変更用レーン等は目視で確認できる程度に表示することができるのに対して、道路前方の他の撮像領域はほとんど表示されない。
【００４５】
図５（ｂ）において、ビデオカメラ１（２）が撮像領域における物体の熱エネルギを赤外光として受光した場合は、車両前方の撮像領域における路面、路肩、歩行者、周囲の木々等の物体からの熱エネルギの差を画像として表示するため、可視光データでは認識することができない物体を個別に認識できる程度に表示することができる。例えば、可視光を受光する場合、夜間の歩行者を認識することが困難であるのに対して、赤外光を受光する場合、人体から発せられる熱エネルギにより容易に歩行者を認識することができる。しかし、同一物体からの熱エネルギには差がないため、赤外光データによる画像は、可視光データによる画像に比べてコントラストが低く、目視で確認することができない領域も存在する。
【００４６】
本実施の形態では、反射ミラー１１１を一定時間間隔で揺動させることにより、一定時間間隔で可視光データによる表示画面と赤外光データによる表示画面とが切り替わる。切り替わる時間間隔が、人間による目視認識時間よりも短時間であることから、残像現象により可視光データによる表示画面と赤外光データによる表示画面とが合成された図５（ｃ）のような合成画像が表示されているように認識される。したがって、ヘッドライトが照射されない歩行者、周囲の物体の画像のみならず、ヘッドライトが照射された物体からの反射光も表示することができ、コントラストが高く容易に障害物の存在を認識することが可能な合成画像が表示されているものと認識される。
【００４７】
なお、対物レンズ１１０、赤外光を結像させる撮像レンズ１１４、可視光を欠蔵させる撮像レンズ１１５は、特に材質を限定されるものではなく、ゲルマニウムレンズであっても良いし、製造コストの低減を図ることができるＺｎＳレンズであっても良い。さらに、可視光用の撮像素子１１３は、ＣＣＤ型に限定されるものではなく、例えばＣＭＯＳ型であっても良い。
【００４８】
また、上述の実施の形態においては、ビデオカメラと画像処理装置との接続は、ＩＥＥＥ１３９４に準拠した車載ＬＡＮケーブル７を介して行われているが、特にこれに限定されるものではなく、ＮＴＳＣに準拠した通信方式であっても良い。
【００４９】
さらに、上述の説明では、焦電型撮像素子１１２及びＣＣＤ１１３の解像度は同一であることを前提としているが、特にこれに限定されるものではなく、焦電型撮像素子１１２及びＣＣＤ１１３の解像度がそれぞれ異なっていても良い。また、撮像面の走査の順序（例えば、左上から右下方向への走査、又は右下から左上への走査など）が焦電型撮像素子１１２とＣＣＤ１１３との間で異なっていても良いし、焦電型撮像素子１１２とＣＣＤ１１３との間で走査方式（例えば、インターレース方式とノンインターレース方式）が異なっていても良い。
【００５０】
走査方式が異なっている場合、焦電型撮像素子１１２及びＣＣＤ１１３のフレーム周期が同じであれば、焦電型撮像素子１１２及びＣＣＤ１１３が出力する画像データを１フレーム単位で対応させて出力することができる。
【００５１】
以上のように本実施の形態１によれば、反射ミラーの角度を一定時間間隔で変更することにより、入射光は可視光用撮像素子又は赤外光用撮像素子のいずれかへ誘導され、それぞれ可視画像又は赤外画像を所定の時間間隔で出力する。したがって、人間が視認することができない短い時間間隔で可視画像又は赤外画像へ切り替えて出力することで、可視画像及び赤外画像を相互に残像として認識され、画像処理装置により合成画像を生成することなく、両者の合成画像として表示画像を認識することが可能となる。また、プリズム等の光学素子を通過しないことから、特に遠赤外光の光量が減衰することがなく、鮮明な合成画像を表示することが可能となる。
【００５２】
（実施の形態２）
本発明の実施の形態２に係る画像表示システムの構成は、実施の形態１と同様であることから、同一の機能を有する構成要素には同一の符号を付することにより詳細な説明を省略する。本実施の形態２は、遠赤外光用撮像素子として、焦電型撮像素子ではなくボロメータを用いており、回転体に備えた反射体により入射光の誘導経路を切り替える点で相違する。
【００５３】
図６は、本発明の実施の形態２に係る画像表示システムのビデオカメラ１（２）の構成を示すブロック図である。画像撮像部１１は、外部から入射する光を受光する対物レンズ１１０を備え、対物レンズ１１０の光軸上に、入射光の光軸方向を切り替える切替手段として半円板状の反射体１１７を設けている。反射体１１７は、半円の中心点をモータＭ１の回転軸に固着してあり、回転軸を中心として一定回転速度で回転することが可能となっている。
【００５４】
図７は、本発明の実施の形態２に係る画像表示システムの反射体１１７の斜視図である。図７（ａ）に示すように、反射体１１７は半円板状であり、いずれか一面をミラーコーティングしてある。半円の中心点は、モータＭ１の回転軸１２０に固着してあり、モータＭ１の回転により反射体１１７が回転する。そして、ミラーコーティングした面を対物レンズ１１０側へ向けて配設する。したがって、モータＭ１が一定の回転速度で回転した場合、反射体１１７が入射光を遮らない位置にある場合には入射光は直進し、反射体１１７が入射光を遮る場合には、ミラーコーティングした面により入射光が別方向に反射される。
【００５５】
反射体１１６は、図７（ａ）に示すような半円板状に限定されるものではなく、例えば図７（ｂ）に示すような複数枚の羽状であり、羽状反射体１１７ａ、１１７ｂが存在する回転中心に対する中心角と存在しない中心角との比が１対１である形状であれば良い。図７（ｂ）では２枚の羽状反射体１１７ａ、１１７ｂが回転軸１２０に固着してあり、羽状反射体１１７ａ、１１７ｂの中心角θが略９０度である。したがって、回転軸１２０が９０度回転する都度、入射光の誘導方向を切り替えることができる。
【００５６】
対物レンズ１１０の光軸方向には、表面にＦＩＲパスフィルタを貼付した撮像レンズ１１４を配設してあり、撮像レンズ１１４を透過した赤外光が結像する位置に、遠赤外光用撮像素子であるボロメータ１１６を配設している。なお、ＦＩＲパスフィルタは、例えばメタクリル樹脂、ポリエチレン樹脂等からなる遠赤外域の周波数成分を有する光を選択的に通過させることができるフィルタである。
【００５７】
また、入射光の光軸方向と略直交する方向に、撮像レンズ１１５を配設してあり、撮像レンズ１１５を透過した可視光が結像する位置に、ＣＣＤ１１３を配設している。
【００５８】
本実施の形態２でも、同一の撮像領域をボロメータ１１６及びＣＣＤ１１３の対応する撮像面に合致させるべく、ボロメータ１１６及びＣＣＤ１１３の撮像面の大きさ並びに撮像レンズ１１４及び撮像レンズ１１５の焦点距離を一致させている。これにより、反射体１１７の回転に応じて、撮像領域に対する赤外光及び可視光の光軸及び画角を一致させることができ、対物レンズ１１０を介した同一の撮像領域が、ボロメータ１１６及びＣＣＤ１１３のそれぞれの撮像面に配設してある画素に結像される。
【００５９】
反射体１１７が回転して入射光を遮らない場合、入射光はＦＩＲパスフィルタの貼付してある撮像レンズ１１４を介したボロメータ１１６に入力される。ボロメータ１１６は、入力された赤外光をＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）のアナログ信号に変換し、信号処理部１６へ出力する。
【００６０】
同様に、反射体１１７が回転して入射光を反射する場合、反射体１１７で反射された可視光は、撮像レンズ１１５を介してＣＣＤ１１３に入力される。ＣＣＤ１１３は、入力された可視光をＲＧＢのアナログ信号に変換し、信号処理部１３へ出力する。
【００６１】
信号処理部１６、１３は、それぞれボロメータ１１６及びＣＣＤ１１３から入力されたアナログ信号をデジタル信号に変換し、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理等を行う。さらに、ＲＧＢ信号をＹＵＶ（Ｙ：輝度、Ｕ、Ｖ：色差）信号に変換し、変換したＹＵＶ信号を画像データとして画像メモリ１４へ一時記憶する。
【００６２】
通信インタフェース部１５は、車載ＬＡＮケーブル７を介して画像処理装置３と通信を行い、画像処理装置３から受信した指示信号に応じて、画像メモリ１４に一時記憶してある画像データを画像処理装置３へ送信する。例えば、夜間走行時には、画像メモリ１４に一時記憶してある可視光データ及び赤外光データを画像処理装置３へ送信し、昼間走行時には、画像メモリ１４に一時記憶してある可視光データのみを画像処理装置３へ送信する。
【００６３】
制御部１６は、例えばＬＳＩ基板であり、画像撮像部１１、信号処理部１２、１３、及び通信インタフェース部１５の動作を制御する。例えば、画像処理装置３から受信した指示コマンド（命令）を解釈し、画像メモリ１４に一時記憶された画像データを読み出し、通信インタフェース部１５を介して画像処理装置３へ出力する。制御部１６はＬＳＩ基板に限定されるものではなく、ＣＰＵ、ＭＰＵ等であっても良い。
【００６４】
画像処理装置３から受信した指示コマンド（命令）に基づいて、制御部１６が反射体１１７の回転角速度を設定する。設定する回転角速度は、反射体１１７の回転により、出力する画像データが可視光データ又は赤外光データに切り替える時間間隔が、人間が視覚により認識可能な時間より短時間となるように設定する。例えば可視光データ又は赤外光データに切り替える時間間隔が１００ｍｓｅｃ以下となるよう回転角速度を設定することにより、表示装置４に可視光データが表示され、次に赤外光データが表示された場合であっても、可視光データが残像として残っており、画像処理装置３にて合成画像を生成することなく、人間は可視光データと赤外光データとの合成画像データが表示されているものと認識する。
【００６５】
なお、対物レンズ１１０、赤外光を結像させる撮像レンズ１１４、可視光を欠蔵させる撮像レンズ１１５は、特に材質を限定されるものではなく、ゲルマニウムレンズであっても良いし、製造コストの低減を図ることができるＺｎＳレンズであっても良い。さらに、可視光用の撮像素子１１３は、ＣＣＤ型に限定されるものではなく、例えばＣＭＯＳ型であっても良い。
【００６６】
また、上述の実施の形態においては、ビデオカメラと画像処理装置との接続は、ＩＥＥＥ１３９４に準拠した車載ＬＡＮケーブル７を介して行われているが、特にこれに限定されるものではなく、ＮＴＳＣに準拠した通信方式であっても良い。
【００６７】
さらに、上述の説明では、ボロメータ１１６及びＣＣＤ１１３の解像度は同一であることを前提としているが、特にこれに限定されるものではなく、ボロメータ１１６及びＣＣＤ１１３の解像度がそれぞれ異なっていても良い。また、撮像面の走査の順序（例えば、左上から右下方向への走査、又は右下から左上への走査など）がボロメータ１１６とＣＣＤ１１３との間で異なっていても良いし、ボロメータ１１６とＣＣＤ１１３との間で走査方式（例えば、インターレース方式とノンインターレース方式）が異なっていても良い。
【００６８】
走査方式が異なっている場合、ボロメータ１１６及びＣＣＤ１１３のフレーム周期が同じであれば、ボロメータ１１６及びＣＣＤ１１３が出力する画像データを１フレーム単位で対応させて出力することができる。
【００６９】
また、反射体１１７を回転させる駆動源はモータＭ１に限定されるものではなく、例えば磁石等を用いた磁界制御で反射体１１７を回転させても良い。
【００７０】
以上のように本実施の形態２によれば、回転体の回転により所定の時間間隔で入射光を可視光用撮像素子又は赤外光用撮像素子の方向へ反射することで、例えば人間が視認することができない短い時間間隔で可視画像又は赤外画像へ切り替えて出力することで、可視画像及び赤外画像を相互に残像として認識し、画像処理装置により合成画像を生成することなく、両者の合成画像として表示画像を認識することが可能となる。また、プリズム等の光学素子を通過しないことから、特に遠赤外光の光量が減衰することがなく、鮮明な合成画像を表示することが可能となる。
【００７１】
なお、上述した実施の形態１及び２では、入射光の光軸方向を略９０度切り替える例について説明しているが、光軸方向の切り替え角度は、可視光用の撮像素子及び赤外光用の撮像素子が配置されている相対位置に依存するものであり、本実施の形態に限定されるものではない。したがって、例えばビデオカメラの外形のスリム化を図るべく、可視光用の撮像素子及び赤外光用の撮像素子を並置するものであっても良く、この場合光軸方向の切り替え角度は、２０度乃至３０度程度である。
【図面の簡単な説明】
【００７２】
【図１】本発明の実施の形態１に係る画像表示システムの構成を模式的に示す図である。
【図２】本発明の実施の形態１に係る画像表示システムのビデオカメラの構成を示すブロック図である。
【図３】送出するパルス信号の例示図である。
【図４】本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図５】夜間走行時にビデオカメラが撮像した画像の表示例を示す図である。
【図６】本発明の実施の形態２に係る画像表示システムのビデオカメラの構成を示すブロック図である。
【図７】本発明の実施の形態２に係る画像表示システムの反射体の斜視図である。
【符号の説明】
【００７３】
１、２  ビデオカメラ
３  画像処理装置
４  表示装置
１１  画像撮像部
１１０  対物レンズ
１１１  反射ミラー
１１２  焦電型撮像素子
１１３  ＣＣＤ
１１４、１１５  撮像レンズ
１１６  ボロメータ
１１７  反射体
１２０  回転軸
【図１】
2007036831.tif 000003
【図２】
2007036831.tif 000004
【図３】
2007036831.tif 000005
【図４】
2007036831.tif 000006
【図５】
2007036831.tif 000007
【図６】
2007036831.tif 000008
【図７】
2007036831.tif 000009