(57)【要約】【課題】適切に赤外画像／可視画像を切り替えることにより、運転者の運転支援のために最適な映像を表示したり、記録したりすることが可能な車載用撮像装置を提供すること。【解決手段】本発明における車載用撮像装置は、自車両の周辺の可視画像を撮像する可視撮像手段と、 自車両の周辺の赤外画像を撮像する赤外撮像手段と、 外部に映像信号を出力する映像出力手段と、 外部に出力する映像は、可視画像か赤外画像かを選択する出力選択手段と、 自車両と注目被写体との距離情報を検出する被写体距離情報取得手段と、を有し、 出力選択手段は、 距離情報に基づいて出力を選択する ことを特徴とする構成とした。【選択図】  図１
2019001325.tif 000002
【特許請求の範囲】
【請求項１】
自車両の周辺の可視画像を撮像する可視撮像手段と、 
自車両の周辺の赤外画像を撮像する赤外撮像手段と、 
外部に映像信号を出力する映像出力手段と、 
外部に出力する映像は、可視画像か赤外画像かを選択する出力選択手段と、 
自車両と注目被写体との距離情報を検出する被写体距離情報取得手段と、を有し、 
出力選択手段は、 
距離情報に基づいて出力を選択する 
ことを特徴とする車載用撮像装置。 
【請求項２】
前記出力選択手段は、
前記距離情報が近い判断されるとき、出力選択手段は可視画像を出力し、
前記距離情報が近い判断されないとき、出力選択手段は赤外画像を出力する
ことを特徴とする
請求項１に記載の車載用撮像装置。
【請求項３】
前記可視撮像手段は広角の光学系を有し、
前記赤外撮像手段は望遠の光学系を有することを特徴とする。
請求項１または２に記載の車載用撮像装置。
【請求項４】
前記出力選択手段は画像中に注目被写体が存在している位置に応じて、出力を選択する
請求項１乃至３のいずれか１項に記載の車載用撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載用撮像装置に関し、特に車両周辺を撮像する車載用撮像装置に関するものである。
【背景技術】
【０００２】
従来、自動車等の車両に搭載されるカメラが知られている。これらのカメラは、自動車の前方をはじめとした自動車の周囲を撮影し、撮影した映像を運転席から視認可能な位置に設置してあるモニタに表示することで、運転者の運転支援を目的としているものが知られている。
【０００３】
これらの車両搭載用のカメラには、ナイトビジョンカメラとして用いられることもある赤外線カメラや、ドライブレコーダーとして用いられることもある可視光カメラが存在している。
【０００４】
例えば、特許文献１では車両周辺の環境を検出し、明るいときには可視光カメラを使用し、暗いときには赤外光カメラを使用する技術について開示されている。  
【０００５】
赤外光カットフィルタと可視光カットフィルタを代替的に光電変換部への光路に差し換えることで状況に応じ可視光画像または赤外画像で車両前後の走行情報を記録する技術について開示されている。可視光画像と赤外画像の切換えは光電変換部の平均照度またはコントラストによって自動的に行うものである。
【０００６】
日中等明るい環境においては可視カメラとして、夕暮れ時等暗くなったら赤外カメラとして使用することで、昼夜問わずに車両周辺の映像を撮影・表示することにより、運転支援をすることができる。
【０００７】
しかしながら、周囲の環境が暗いときは赤外画像、明るいときは可視画像とするだけではなく、暗いときでも可視画像が望ましい場合もある。
【０００８】
赤外画像は、一般的に、可視画像に比べて解像度が低いものが多いことや、いうまでもなく色の情報がないため、なるべく鮮明な映像で撮影したいときには、可視画像の方が適していると言える。
【０００９】
また、一般的に車載用の赤外光カメラ（特に遠赤外）では遠方を視認可能であるが、その分画角が狭くなっているため、近くの被写体を認識しにくいという特性がある。
【００１０】
例えば、夜間、赤外光カメラで撮影している際、被写体が近くにいる場合に、撮影された画像は被写体が画面に対して大きく映りすぎたり、撮影可能な画角からはみ出したりして、意図どおりに撮影できないという状況も考えられる。撮影可能な画角からはみ出している場合には、その被写体はモニタに表示されないため、運転者が目視で確認することとなり、運転者がその被写体を認識するまでの時間が長くなってしまう。
【００１１】
一方、可視光カメラは、所謂ドライブレコーダーに代表されるように、車両の近傍を広く撮影することができるように、広角の設定となっているものが一般的である。また、車両から近い範囲は、ヘッドライトの光が届くので、夜間であっても可視光での撮影が可能となる。したがって、夜間、車両から近い位置にある被写体を撮影する場合には、可視画像で撮影することが望ましい。
【００１２】
しかしながら、可視光カメラは、鮮明なカラー画像を撮影可能であるが、車両のヘッドライトの光が届かない様な光量の少ない状況では、撮影が困難となる。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特許５４５２１３７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
すなわち、従来の様に、単純に周囲の環境が暗い／明るいという条件のみにより、赤外画像／可視画像を切り替えるだけでは、運転者の運転支援のために最適な映像を表示したり、記録したりすることが出来ない場合がある。
【００１５】
そこで、本発明の目的は、適切に赤外画像／可視画像を切り替えることにより、運転者の運転支援のために最適な映像を表示したり、記録したりすることが可能な車載用撮像装置を提供することである。
【課題を解決するための手段】
【００１６】
上記目的を達成するために、本発明は、
自車両の周辺の可視画像を撮像する可視撮像手段と、 
自車両の周辺の赤外画像を撮像する赤外撮像手段と、 
外部に映像信号を出力する映像出力手段と、 
外部に出力する映像は、可視画像か赤外画像かを選択する出力選択手段と、 
自車両と注目被写体との距離情報を検出する被写体距離情報取得手段と、を有し、 
出力選択手段は、 
距離情報に基づいて出力を選択する 
ことを特徴とする。
【発明の効果】
【００１７】
本発明によれば、適切に赤外画像／可視画像を切り替えることにより、運転者の運転支援のために最適な映像を表示したり、記録したりすることが可能な車載用撮像装置を提供することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明における車載用撮像装置の構成を示すブロック図。
【図２】本発明の第１の実施例における車載用撮像装置の撮像範囲を示す図。
【図３】本発明の第１の実施例における車載用撮像装置が出力する画像において、赤外画像／可視画像を切り替える処理を説明するフローチャート。
【図４】本発明の第２の実施例における車載用撮像装置の撮像範囲を示す図。
【図５】本発明の第２の実施例における車載用撮像装置が出力する画像において、赤外画像／可視画像を切り替える処理を説明するフローチャート。
【発明を実施するための形態】
【００１９】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００２０】
［実施例１］
以下、図１から３を参照して、本発明の第１の実施例による、車載用撮像装置について説明する。
【００２１】
図１は本実施例による車載用撮像装置の構成を示すブロック図である。赤外光カメラ１１０は、赤外映像を撮像するカメラであり、車両の前方を撮像する。主に夜間等、周囲が暗い環境で使用する。可視光カメラ１２０は、可視映像を撮像するカメラであり、赤外光カメラ１１０と同様に車両の前方を撮像する。以下、赤外光カメラ１１０が出力する画像を赤外画像、可視光カメラ１２０が出力する画像を可視画像と呼ぶ。
【００２２】
画像処理制御装置１３０は、赤外光カメラ１１０と可視光カメラ１２０とから取得する各画像に基づき、後述の表示装置１４０および記録装置１５０に出力する映像を選択する。また、画像処理制御装置１３０は、取得する画像中の被写体の大きさから、自車と被写体との距離を決定する。表示装置１４０は、画像処理制御装置１３０によって出力された画像を表示するモニタであり、運転者から視認しやすい位置に設置される。
【００２３】
例えば、赤外画像が表示されている際は、夜間、遠くの被写体が肉眼では見えなくても、表示装置１４０に表示される画像では視認可能となることで、運転支援の助けとなる。表示装置１４０には、例えばカーナビゲーションシステムのモニタを用いても良い。記録装置１５０は、画像処理制御装置１３０から出力された画像を記録するものでる。記録された画像は、例えば、自車が危ない状況にあったとき、自車周辺の交通状況を示すために用いられる。
【００２４】
次に、図２は、車両２００に設置された赤外光カメラ１１０と可視光カメラ１２０の撮像範囲を示す図である。同図の３００ａと３００ｂは歩行者を示している。本実施例では、赤外光カメラ１１０と可視光カメラ１２０の撮像範囲を等しい場合について説明する。また、同図の３００ａと３００ｂは歩行者を示しており、歩行者３００ａは車両２００から離れた位置にいるため、ヘッドライトの光は届かず、一方歩行者３００ｂは車両２００から近い位置にいるため、ヘッドライトの光が届いていることを示している。
【００２５】
したがって、この場合、可視光カメラ１２０では、歩行者３００ａは光量不足により、撮影することが出来ない。一方で、赤外光カメラ１１０では、歩行者３００ａおよび３００ｂを撮影することが可能である。前述の通り、赤外画像は、一般的に可視画像に比べて解像度が低いものが多いことや、いうまでもなく色の情報がないため、なるべく鮮明な映像で撮影したいときには、可視画像の方が適している。したがって、夜間であってもヘッドライトの光が届くような車両から近い位置にある被写体を撮影する場合には可視画像で撮影することが望ましい。
【００２６】
そのため、運転者が注意すべき被写体（ここでは歩行者）が、車両から離れた位置にいるか、近くにいるかに応じて、赤外画像と可視画像を切り替えることが必要とされる。
【００２７】
次に、図３のフローチャートを参照して、本実施例における、表示装置１４０および記録装置１５０に出力する画像において、赤外画像と可視画像を切り替える処理について説明する。
【００２８】
ステップＳ１０１において、ＣＰＵ１３１は、赤外光カメラ１１０および可視光カメラ１２０から画像を取得し、ステップＳ１０２に進む。
ステップＳ１０２において、周囲の環境が暗いか否かを判断し、暗い場合には、ステップＳ１０３に進む。ここで、周囲の環境の判断については、可視画像の輝度で判断しても良いし、別途、車両前方部に輝度測定手段を設けて周囲の明るさを取得することで、周囲の環境を判断するようにしても良い。
【００２９】
ステップＳ１０３において、画像中に歩行者がいるか否かを判断し、歩行者が存在し、かつ、自車の近くに存在する場合には、ステップＳ１０４に進む。画像中に歩行者がいるか否かの判断方法については、例えば、画像中における特徴点を抽出し、所謂パターンマッチングの技術を利用することで実現することができる。また、同ステップＳ１０３において、取得した画像から、被写体の画像サイズに基づき、車両から被写体までの距離を決定する。
【００３０】
ここで、車両から被写体までの距離の決定方法については、例えば、画像上における被写体像の占める割合と、車両からの相対距離との関係を、予め記憶しておくことで、車両から被写体までの現在の距離を決定することができる。
【００３１】
そして、被写体が車両に近いと判断するとき、ステップＳ１０４に進み、出力する画像を可視画像に切り替える。一方、被写体が車両に近いと判断されないとき、ステップＳ１０５に進み、出力する画像を赤外画像とする。
【００３２】
ここで、被写体が車両に近いと判断するときの基準としては、ヘッドライトの照射範囲を基準とすることができる。ヘッドライトの照射範囲はロービームで約４０ｍ、ハイビームで約１００ｍであるので、ヘッドライトが、ロービームであるかハイビームであるかによって、ステップＳ１０３における判断基準を変えることとしても良い。
【００３３】
一方、ステップＳ１０２において、周囲の環境が明るいと判断された場合は、ステップＳ１０４に進み、出力する画像を可視画像とする。周囲が明るいときには、ヘッドライトの光が届かない距離であっても、可視光カメラ１２０による撮影が可能である。この様に、赤外画像および可視画像において制限がない場合には、より鮮明な映像を撮影するために、可視光カメラ１２０に切り替えるのである。
【００３４】
以上、説明したように、本実施例では、自車から被写体までの距離に応じて、適切に赤外画像／可視画像を切り替えるようにした。それにより、単純に、周囲の環境によって、切り替えるよりも、運転者の運転支援のために最適な映像を表示したり、記録したりすることが可能な車載用撮像装置を提供することができる。
【００３５】
これにより、夜間などの暗い環境において、遠方を視認または撮像することができることに加え、近傍はより鮮明な映像で視認または記録することが可能となる。
【００３６】
本実施例においては、図２に示す様に、赤外光カメラ１１０と可視光カメラ１２０の車両２００への取り付け位置として、車両の前方に取り付けている場合について説明しているが、これに限らない。例えば、車両２００のフロントガラスの内側に取り付けても構わない。車両２００の前方を撮影する際に、遮蔽物のない位置であれば上述した発明を実施することができる。
【００３７】
［実施例２］
以下、再度図１および図４から５を参照して、本発明の第２の実施例による、車載用撮像装置について説明する。
【００３８】
本実施例による車載用撮像装置の構成は、第１の実施例にて説明した図１に示すとおりであり、重複する部分に関しては詳細な説明を省略する。
【００３９】
図１の赤外光カメラ１１０は、赤外映像を撮像するカメラであり、車両の前方を撮像する。本実施例においては、第１の実施例と異なり、ヘッドライトの光が届かない遠方を撮像するために、望遠の設定としている。例えば、ヘッドライトのハイビームの光が届く距離がおよそ１００ｍであるので、それよりも遠方を撮像できるような設定になっていることが必要とされる。
【００４０】
可視光カメラ１２０は、可視映像を撮像するカメラであり、赤外光カメラ１１０と同様に車両の前方を撮像する。本実施例においては、車両の比較的近傍を撮像するために広角の設定としている。
【００４１】
次に、図４は、車両２００に設置された赤外光カメラ１１０と可視光カメラ１２０の撮像範囲を示す図である。同図の３００ａと３００ｂは歩行者を示している。前述したように赤外カメラ１１０は、望遠の設定となっている。また、可視光カメラ１２０は、広角の設定となっている。車両２００から離れている歩行者３００ａは、赤外光カメラ１１０および可視光カメラ１２０の撮像範囲に入っている。
【００４２】
一方、車両２００の近くにいる歩行者３００ｂは、可視光カメラ１２０の撮像範囲に入っているが、赤外光カメラ１１０の撮像範囲からは外れている。また、歩行者３００aは車両２００から離れた位置にいるため、可視光カメラ１２０により撮像された画像上では、３００ｂに比べて小さくなる。したがって、歩行者３００ａの位置では、可視光カメラ１２０では認識することが困難となってしまう。一方で、図示はしないが、車両２００からの距離が歩行者３００ｂと同等の位置にいる歩行者を赤外光カメラ１１０で撮像した画像上では、画面いっぱいに映ることとなり、そのような画像では、運転支援の用途には向かない。
【００４３】
そのため、運転者が注意すべき被写体（ここでは歩行者）が、車両から離れた位置にいるか、近くにいるかに応じて、赤外画像と可視画像を切り替えることが必要となる。
次に、図５のフローチャートを参照して、本実施例における、表示装置１４０および記録装置１５０に出力する画像において、赤外画像と可視画像を切り替える処理について説明する。
【００４４】
ステップＳ２０１において、ＣＰＵ１３１は、赤外光カメラ１１０および可視光カメラ１２０から画像を取得し、ステップＳ２０２に進む。ステップＳ２０２において、画像中に歩行者がいるか否かを判断し、歩行者がいる場合には、ステップＳ２０３に進む。画像中に歩行者がいるか否かの判断方法については、第１の実施例と同様に、例えば、画像中における特徴点を抽出し、所謂パターンマッチングの技術を利用することで実現することができる。
【００４５】
ステップＳ２０３において、取得した画像から、被写体の画像サイズに基づき、車両から被写体までの距離を決定する。車両から被写体までの距離の決定方法については、第１の実施例で説明したように、例えば、予め、画像上における被写体像の占める割合と、車両からの相対距離との関係を、記憶しておくことで、実現することができる。また、赤外光カメラ１１０と可視光カメラ１２０の撮像範囲（画角）の違いを考慮し、それぞれの画像における被写体像の画像サイズや位置関係から、車両と被写体までの距離を算出することも可能である。
【００４６】
そして、被写体が車両に近いと判断するとき、ステップＳ２０４に進み、出力する画像を可視画像に切り替える。一方、被写体が車両に近いと判断されないとき、ステップＳ２０５に進み、出力する画像を赤外画像とする。
【００４７】
ここで、被写体が車両に近いと判断するときの基準としては、ヘッドライトの照射範囲を基準とすることができる。ヘッドライトの照射範囲はロービームで約４０ｍ、ハイビームで約１００ｍであるので、ヘッドライトが、ロービームであるかハイビームであるかによって、ステップＳ１０３における判断基準を変えることとしても良い。
【００４８】
一方、ステップＳ２０２において、画像中に歩行者がいないと判断された場合においては、ステップＳ２０５に進み出力する画像を赤外画像とする。自車周辺に被写体が存在しないときには、いち早く進行方向の被写体をとらえやすくするために、望遠設定である赤外光カメラ１１０の撮影する赤外画像を出力しておくことが望ましいからである。
【００４９】
以上、説明したように、本実施例では、自車から被写体までの距離に応じて、適切に赤外画像／可視画像を切り替えるようにした。それにより、単純に、周囲の環境によって、切り替えるよりも、運転者の運転支援のために最適な映像を表示したり、記録したりすることが可能な車載用撮像装置を提供することができる。
【００５０】
これにより、夜間などの暗い環境において、遠方を視認または撮像することができることに加え、近傍はより鮮明な映像で視認または記録することが可能となる。
【００５１】
本実施例においては、図５のステップＳ２０２およびＳ２０３で、歩行者が自車の近くに存在しているときに可視画像に切り替える例について説明したが、次の様にしても良い。
【００５２】
例えば、図４の歩行者３００ａが、自車が進行方向に進むことによって自車との距離が近づいたとき（例えば３００ｂの位置）、自車の進行方向に対して垂直な方向に自車から離れているときは、赤外画像のままとしても良い。すなわち、歩行者と自車との、自車の進行方向に対して垂直な方向における位置関係に応じて、出力する画像を切り替えるのである。
【００５３】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００５４】
１００  車載用撮像装置
１１０  赤外光カメラ
１２０  可視光カメラ
１３０  画像処理制御装置
１３１  ＣＰＵ
１４０  表示装置
１５０  記録装置
２００  車両
３００  歩行者
【図１】
2019001325.tif 000003
【図２】
2019001325.tif 000004
【図３】
2019001325.tif 000005
【図４】
2019001325.tif 000006
【図５】
2019001325.tif 000007