(57)【要約】      （修正有）【課題】夜間での走行時など周囲が暗い場合において、車両の前照灯が光を照射しない範囲の画像を取得することが出来る、車両の前方を撮像する装置、車両、運転支援方法を提供する。【解決手段】  撮像装置は、車両の前方を照射する前照灯と、前照灯の照射領域を撮像する第１のカメラと、前照灯が照射されない領域を撮像する第２のカメラとを備え、第２のカメラは、第１のカメラよりも低い撮像レートで、かつ第１のカメラよりも長い露光時間で撮像し、上記の撮像装置は、第１のカメラで撮像された画像に基づいて、画像に含まれる個々のオブジェクトの移動ベクトルを算出する移動ベクトル算出手段と、移動ベクトル算出手段により算出された移動ベクトルを用いて、第２のカメラにより撮像された画像のぶれを補正するぶれ補正手段とを更に備える。【選択図】  図７
2005286656.tif 000002
【特許請求の範囲】
【請求項１】
車両の前方を照射する前照灯と、
前記前照灯の照射領域を撮像する第１のカメラと、
前記前照灯が照射されない領域を撮像する第２のカメラと
を備え
前記第２のカメラは、前記第１のカメラよりも低い撮像レートで、かつ前記第１のカメラよりも長い露光時間で撮像をする撮像装置。
【請求項２】
前記第１のカメラで撮像された画像に基づいて、前記画像に含まれる個々のオブジェクトの移動ベクトルを算出する移動ベクトル算出手段と、
前記移動ベクトル算出手段により算出された移動ベクトルを用いて、前記第２のカメラにより撮像された画像のぶれを補正するぶれ補正手段と
を更に備えた請求項１に記載の撮像装置。
【請求項３】
前記ぶれ補正手段によりぶれが補正された画像を、前記第１のカメラが撮像した画像に合成する画像合成手段と、
前記画像合成手段が合成した画像を表示する表示手段と
を更に備えた請求項２に記載の撮像装置。
【請求項４】
車両の前方を照射する前照灯と、
前記前照灯の照射領域を撮像する第１のカメラと、
前記前照灯が照射されない領域を撮像する第２のカメラと
を備え、
前記第１のカメラは、ＲＧＢの３原色の中から、一色のみを透過させる原色系カラーフィルターを有し、
前記第２のカメラは、ＲＧＢの３原色の中から、一色のみを除いた光を透過させる補色系のカラーフィルターを有する撮像装置。
【請求項５】
前記第２のカメラで撮像された画像を、ＲＧＢの３原色の画像に変換する色変換手段と、
前記色変換手段によって変換された画像を、前記第１のカメラが撮像した画像に合成する合成手段と
を更に備えた請求項４に記載の撮像装置。
【請求項６】
前記前照灯が照射されない前記領域を、前記第２のカメラの撮像レートで間欠的に照明する間欠照明を更に備える請求項４に記載の撮像装置。
【請求項７】
車両の前方を照射する前照灯と、
前記前照灯の照射領域を撮像する第１のカメラと、
前記前照灯が照射されない領域を撮像する第２のカメラと
を備え
前記第２のカメラは、前記第１のカメラよりも低い撮像レートで、かつ前記第１のカメラよりも長い露光時間で撮像をする車両。
【請求項８】
前記第１のカメラで撮像された画像に基づいて、前記画像に含まれる個々のオブジェクトの移動ベクトルを算出する移動ベクトル算出手段と、
前記移動ベクトル算出手段により算出された移動ベクトルを用いて、前記第２のカメラにより撮像された画像のぶれを補正するぶれ補正手段と
を更に備えた請求項７に記載の車両。
【請求項９】
前記ぶれ補正手段によりぶれが補正された画像を、前記第１のカメラが撮像した画像に合成する画像合成手段と、
前記画像合成手段が合成した画像を表示する表示手段と
を更に備えた請求項８に記載の車両。
【請求項１０】
車両の前方を照射する前照灯と、
前記前照灯の照射領域を撮像する第１のカメラと、
前記前照灯が照射されない領域を撮像する第２のカメラと
を備え、
前記第１のカメラは、ＲＧＢの３原色の中から、一色のみを透過させる原色系カラーフィルターを有し、
前記第２のカメラは、ＲＧＢの３原色の中から、一色のみを除いた光を透過させる補色系のカラーフィルターを有する車両。
【請求項１１】
前記第２のカメラで撮像された画像を、ＲＧＢの３原色の画像に変換する色変換手段と、
前記色変換手段によって変換された画像を、前記第１のカメラが撮像した画像に合成する合成手段と
を更に備えた請求項１０に記載の車両。
【請求項１２】
前記前照灯が照射されない前記領域を、前記第２のカメラの撮像レートで間欠的に照明する間欠照明を更に備える請求項１０に記載の車両。
【請求項１３】
車両の前方を前照灯で照射するステップと、
前記前照灯の照射領域を第１のカメラで撮像するステップと、
前記前照灯が照射されない領域を第２のカメラで撮像するステップと
を備え、
前記第２のカメラで撮像するステップは、前記第１のカメラよりも低い撮像レートで、かつ前記第１のカメラよりも長い露光時間で撮像をするステップを備える運転支援方法。
【請求項１４】
前記第１のカメラで撮像された画像に基づいて、前記画像に含まれる個々のオブジェクトの移動ベクトルを算出する移動ベクトル算出ステップと、
前記移動ベクトル算出ステップにより算出された移動ベクトルを用いて、前記第２のカメラにより撮像された画像のぶれを補正するぶれ補正ステップと
を更に備えた請求項１３に記載の運転支援方法。
【請求項１５】
前記ぶれ補正ステップによりぶれが補正された画像を、前記第１のカメラが撮像した画像に合成する画像合成ステップと、
前記画像合成ステップが合成した画像を表示する表示ステップと
を更に備えた請求項１４に記載の運転支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の前方を撮像する撮像装置、車両、および運転支援方法に関する。特に本発明は、前照灯の光が照射されない領域を撮像する撮像装置、車両、および運転支援方法に関する。
【背景技術】
【０００２】
従来、車両の前方を撮像することで、運転手の死角となる領域の画像データを生成する車載用画像データ生成装置が知られている（例えば特許文献１参照）。
【０００３】
【特許文献１】特開平８−１６１６９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら上記文献に示された車載用画像データ生成装置は、夜間での走行時など周囲が暗い場合においては、車両の前照灯が光を照射する範囲でしか画像を取得することができないために、運転手にとって死角となる領域が増加するという課題があった。
【０００５】
そこで本発明は、上記の課題を解決することのできる撮像装置、車両、および運転支援方法を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【課題を解決するための手段】
【０００６】
即ち、本発明の第１の形態の撮像装置は、車両の前方を照射する前照灯と、前照灯の照射領域を撮像する第１のカメラと、前照灯が照射されない領域を撮像する第２のカメラとを備え、第２のカメラは、第１のカメラよりも低い撮像レートで、かつ第１のカメラよりも長い露光時間で撮像をする。これにより、前照灯の光が照射されない領域を含む画像を取得できるので、本発明の撮像装置は、夜間であっても運転を適切に支援することができる。
【０００７】
上記の撮像装置は、第１のカメラで撮像された画像に基づいて、画像に含まれる個々のオブジェクトの移動ベクトルを算出する移動ベクトル算出手段と、移動ベクトル算出手段により算出された移動ベクトルを用いて、第２のカメラにより撮像された画像のぶれを補正するぶれ補正手段とを更に備えてもよい。前照灯によって照射されない領域を、長い露光時間で撮像した場合、車両の移動によって、撮像された画像にぶれが生じる場合がある。しかしながら、本発明の撮像装置は、生じたぶれを補正するので、ぶれのない適切な画像を取得することができる。
【０００８】
上記の撮像装置は、ぶれ補正手段によりぶれが補正された画像を、第１のカメラが撮像した画像に合成する画像合成手段と、画像合成手段が合成した画像を表示する表示手段とを更に備えてもよい。これにより、車両前方における広い視野を撮像した画像であって、かつぶれのない画像を運転手へ表示することができる。これにより運転手は、安全に運転することができる。
【０００９】
本発明の第２の形態の撮像装置は、車両の前方を照射する前照灯と、前照灯の照射領域を撮像する第１のカメラと、前照灯が照射されない領域を撮像する第２のカメラとを備え、第１のカメラは、ＲＧＢの３原色の中から、一色のみを透過させる原色系カラーフィルターを有し、第２のカメラは、ＲＧＢの３原色の中から、一色のみを除いた光を透過させる補色系のカラーフィルターを有する。これにより、本発明の撮像装置は、正しい色のカラー画像を取得することができる。また、補色系のフィルタを有するので、光量が少ない場合であっても適切に画像を取得できる。
【００１０】
上記の撮像装置は、第２のカメラで撮像された画像を、ＲＧＢの３原色の画像に変換する色変換手段と、色変換手段によって変換された画像を、第１のカメラが撮像した画像に合成する合成手段とを更に備えてもよい。これによりカラー画像を運転手に表示することができる。
【００１１】
上記の撮像装置は、前照灯が照射されない領域を、第２のカメラの撮像レートで間欠的に照明する間欠照明を更に備えてもよい。これにより対向車や歩行者を眩惑することなく、前照灯によって光が照射されない領域のカラー画像を取得することができる。
【００１２】
本発明の第３の形態は、車両の前方を照射する前照灯と、前照灯の照射領域を撮像する第１のカメラと、前照灯が照射されない領域を撮像する第２のカメラとを備え、第２のカメラは、第１のカメラよりも低い撮像レートで、かつ第１のカメラよりも長い露光時間で撮像をする車両を提供する。
【００１３】
上記の車両は、第１のカメラで撮像された画像に基づいて、画像に含まれる個々のオブジェクトの移動ベクトルを算出する移動ベクトル算出手段と、移動ベクトル算出手段により算出された移動ベクトルを用いて、第２のカメラにより撮像された画像のぶれを補正するぶれ補正手段とを更に備えてもよい。
【００１４】
上記の車両は、ぶれ補正手段によりぶれが補正された画像を、第１のカメラが撮像した画像に合成する画像合成手段と、画像合成手段が合成した画像を表示する表示手段とを更に備えてもよい。
【００１５】
上記の車両は、前照灯が照射されない領域を、第２のカメラの撮像レートで間欠的に照明する間欠照明を更に備えてもよい。
【００１６】
本発明の第４の形態は、車両の前方を照射する前照灯と、前照灯の照射領域を撮像する第１のカメラと、前照灯が照射されない領域を撮像する第２のカメラとを備え、第１のカメラは、ＲＧＢの３原色の中から、一色のみを透過させる原色系カラーフィルターを有し、第２のカメラは、ＲＧＢの３原色の中から、一色のみを除いた光を透過させる補色系のカラーフィルターを有する車両を提供する。
【００１７】
上記の車両は、第２のカメラで撮像された画像を、ＲＧＢの３原色の画像に変換する色変換手段と、色変換手段によって変換された画像を、第１のカメラが撮像した画像に合成する合成手段とを更に備えてもよい。
【００１８】
本発明の第５の形態は、車両の前方を前照灯で照射するステップと、前照灯の照射領域を第１のカメラで撮像するステップと、前照灯が照射されない領域を第２のカメラで撮像するステップとを備え、第２のカメラで撮像するステップは、第１のカメラよりも低い撮像レートで、かつ第１のカメラよりも長い露光時間で撮像をするステップを備える運転支援方法を提供する。
【００１９】
上記の運転支援方法は、第１のカメラで撮像された画像に基づいて、画像に含まれる個々のオブジェクトの移動ベクトルを算出する移動ベクトル算出ステップと、移動ベクトル算出ステップにより算出された移動ベクトルを用いて、第２のカメラにより撮像された画像のぶれを補正するぶれ補正ステップとを更に備えてもよい。
【００２０】
上記の運転支援方法は、ぶれ補正ステップによりぶれが補正された画像を、第１のカメラが撮像した画像に合成する画像合成ステップと、画像合成ステップが合成した画像を表示する表示ステップとを更に備えてもよい。
【００２１】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。
【発明を実施するための最良の形態】
【００２２】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００２３】
図１は、本発明に係る撮像装置１００を搭載した車両１０の構成の一例を示す。車両１０は、前照灯１２および赤外線ランプ１４を備え、撮像装置１００は、可視光カメラ２０および赤外線カメラ３５を有する。前照灯１２は、車両１０の前方へ光を照射する。赤外線ランプ１４は、車両１０の前方に、前照灯１２が光を照射する前照灯照射領域２００を含み、かつ前照灯照射領域２００よりも広い領域である赤外線照射領域２０２に赤外線を照射する。可視光カメラ２０は、赤外線カットフィルタ２６を有しており、前照灯照射領域２００を撮像することにより可視光画像を生成する。赤外線カメラ３５は、前照灯照射領域２００を含む赤外線照射領域２０２を撮像することにより、赤外線画像を生成する。
【００２４】
ここで従来、車両の前方を赤外線カメラにより撮像し、撮像された画像を運転手へ表示することにより夜間や濃霧時の運転を支援する運転支援装置が提案されている。しかしながら赤外線カメラによって得られる画像はモノクロの画像であるため、運転手は、表示された赤外線画像の中に存在するオブジェクトを判別しづらい場合がある。そこで本例では、上記課題を解決する撮像装置１００を提供する。
【００２５】
図２は、本発明の撮像装置１００が表示する画像を説明する図である。本例における可視光カメラ２０、赤外線カメラ３５、前照灯１２、および赤外線ランプ１４のそれぞれは、それぞれの光軸が略同一となるように車両１０に配置される。
【００２６】
図２（ａ）は、可視光カメラ２０が撮像する可視光画像３０４を説明する図である。可視光カメラ２０は、車両１０の前方を撮像することにより可視光画像３０４を得る。この場合、前照灯照射領域２００（図１参照）には前照灯１２による光と赤外線ランプ１４による赤外線とが照射されるが、可視光カメラ２０は赤外カットフィルタ２６（図１参照）を有するので、可視光カメラ２０は赤外線の影響を受けない画像領域３００を取得する。
【００２７】
ここで可視光カメラ２０が、予め定められたタイミングで連続して撮像を行うと、可視光画像３０４に含まれるオブジェクト３５０は、タイミング毎に画像領域３００を移動する。この様子を図２（ａ）に示す。本発明では、可視光画像３０４において、タイミングｔ１で撮像されたオブジェクト３５０の位置と、次のタイミングｔ２で撮像されたオブジェクト３５２の位置に基づいて、タイミングｔ１から次のタイミングｔ２へのオブジェクトの移動ベクトル３７０を算出する。この場合、通常、オブジェクト３５０の移動ベクトル（オプティカルフロー）は、オブジェクト３５０が光軸の中心近傍では小さく、光軸から離れると大きくなる。しかしながら、車両１０の走行状況の変化に応じた移動ベクトルの大きさおよび方向の変化を予め算出して格納しておくことができるので、移動ベクトル３７０の変化の割合に基づいて、次の移動ベクトル３７２を算出することができる。これにより、次のタイミングｔ２におけるオブジェクト３５２の位置と、算出した移動ベクトル３７２を用いて、更に次のタイミングｔ３におけるオブジェクト３５４の位置を求めることができる。そして、算出されたオブジェクト３５４が赤外線のみが照射された領域の画像である画像領域３０２に位置する場合には、後述の合成処理が行なわれる。
【００２８】
図２（ｂ）は、赤外線カメラ３５が撮像する赤外線画像３１０を説明する図である。赤外線カメラ３５は、可視光カメラ２０と同様に、赤外線照射領域２０２（図１参照）を撮像した画像領域３０６と、赤外線照射領域２０２から前照灯照射領域２００を除いた領域を撮像した画像領域３０８とを含む赤外線画像３１０を取得する。この場合、前照灯照射領域２００には前照灯１２および赤外線ランプ１４の光が重なるので、赤外線カメラ３５は、画像領域３０６を、画素値が上限の濃度を示す値へとほぼ飽和した画像として取得する。そして、タイミングｔ３で撮像された画像領域３０８にはオブジェクト３５６が撮像される。
【００２９】
図２（ｃ）は、合成画像３１６を説明する図である。撮像装置１００は、画像領域３０８のオブジェクト３５６に画像領域３０２のオブジェクト３５４が重なるようにオブジェクト３５４を変位させることで、可視光画像である画像領域３１４を生成すると共に、画像領域３０６を画像領域３００に置き換えることで、合成画像３１６を合成する。この場合、合成画像３１６は、タイミングｔ３におけるオブジェクト３５８を可視光画像として含む。このように本発明の撮像装置１００は、前照灯照射領域２００および赤外線照射領域２０２を、１つの可視光画像として運転手へ表示する。
【００３０】
図３は、撮像装置１００の機能構成の一例を示す。撮像装置１００は、図１で説明した可視光カメラ２０および赤外線カメラ３５に加えて、速度変化検知手段２５、舵角変化検知手段３０、タイミング発生器４０、移動ベクトル算出手段４５、移動ベクトル修正手段５０、可視光画像変位手段５５、エッジ抽出手段６０、位置合わせ手段６５、画像合成手段７０、および表示手段７５を有する。
【００３１】
タイミング発生器４０は、所定の間隔でタイミングを生成し、生成したタイミングを可視光カメラ２０、速度変化検知手段２５、舵角変化検知手段３０、および赤外線カメラ３５へ出力する。可視光カメラ２０は、タイミング発生器４０から与えられたタイミングで車両１０の前方を撮像し、得られた可視光画像を移動ベクトル算出手段４５、および可視光画像変位手段５５へ出力する。
【００３２】
移動ベクトル算出手段４５は、可視光カメラ２０により連続して撮像された可視光画像を用いて、可視光画像に含まれるオブジェクトの移動ベクトルを算出し、算出した移動ベクトルを移動ベクトル修正手段５０へ出力する。本例の移動ベクトル算出手段４５は、可視光画像におけるオブジェクトの特徴点に着目して、オブジェクトの移動ベクトルを算出する。なお他の例において移動ベクトル算出手段４５は、可視光画像をマクロブロック等の微小な面積を持つ矩形領域に区切り、連続する可視光画像において各矩形領域に対応する移動ベクトルのそれぞれを、オブジェクトの移動ベクトルとして算出してもよい。この場合、オブジェクトの移動ベクトルは、オブジェクトに含まれる各矩形領域の移動ベクトルの集合や、オブジェクトに含まれる各矩形領域の移動ベクトルを平均したベクトルであってよい。
【００３３】
速度変化検知手段２５は、タイミング発生器４０より受け取ったタイミングにおける車両１０の速度を算出する。そして速度変化検知手段２５は、受け取ったタイミングにおける速度を、前のタイミングにおいて算出した速度で割ることにより速度の変化率を算出し、算出した速度の変化率を移動ベクトル修正手段５０へ出力する。また舵角変化検知手段３０は、タイミング発生器４０より受け取ったタイミングにおける車両１０の舵角を算出する。そして、舵角変化検知手段３０は、受け取ったタイミングにおける舵角と、前のタイミングにおいて算出した舵角との差分から舵角の変化の大きさを算出し、算出した舵角の変化の大きさを移動ベクトル修正手段５０へ出力する。ここで速度変化検知手段２５および舵角変化検知手段３０は、移動ベクトル算出手段４５がオブジェクトの移動ベクトルを算出した次のタイミングにおける速度の変化率、および舵角の大きさの変化を、移動ベクトル修正手段５０へそれぞれ出力する。
【００３４】
移動ベクトル修正手段５０は、速度変化検知手段２５より受け取った速度の変化率、および舵角変化検知手段３０より受け取った舵角の変化の大きさに基づいて、移動ベクトル算出手段４５によって算出された移動ベクトルを修正し、修正した移動ベクトルを可視光画像変位手段５５へ出力する。なお、移動ベクトル修正手段５０の詳細な動作は後述する。
【００３５】
可視光画像変位手段５５は、移動ベクトル修正手段５０より受け取った修正された移動ベクトルを用いて、可視光カメラ２０より受け取った可視光画像を変位させる。そして可視光画像変位手段５５は、変位させた可視光画像をエッジ抽出手段６０へ出力する。
【００３６】
赤外線カメラ３５は、タイミング発生器４０から与えられたタイミングで赤外線照射領域２０２を撮像し、撮像した赤外線画像を、エッジ抽出手段６０へ出力する。エッジ抽出手段６０は、赤外線画像および可視光画像を受け取ると、赤外線画像におけるエッジと、可視光画像変位手段５５が変位させた可視光画像のエッジとをそれぞれ抽出する。この場合、エッジ抽出手段６０は、変位させられた可視光画像および赤外線画像のそれぞれに含まれるオブジェクトの境界をエッジとして抽出する。そしてエッジ抽出手段６０は、抽出したエッジの位置を示す情報を位置合わせ手段６５へ出力する。
【００３７】
位置合わせ手段６５は、エッジ抽出手段６０が抽出した赤外線画像のエッジに、可視光画像のエッジの位置をあわせるべく、可視光画像を再度変位させる。この場合、位置合わせ手段６５は、例えば赤外画像のエッジの角などの特徴点の位置に可視光画像のエッジの特徴点の位置を合わせることにより、可視光画像を変位させる。そして、赤外線画像のエッジと可視光画像のエッジとが予め定められた大きさよりも離れている場合には、位置合わせ手段６５は、エッジ内の領域を可視光画像から除外する。これにより位置合わせ手段６５は、赤外線画像のエッジと可視光画像のエッジとが予め定められた大きさよりも離れているオブジェクトを可視画像から除外する。そして位置合わせ手段６５は、再度変位させた可視光画像を画像合成手段７０へ出力する。
【００３８】
画像合成手段７０は、赤外線カメラ３５によって撮像された赤外線画像、および位置合わせ手段６５によって再度変位させられた可視光画像を受け取る。また本例の画像合成手段７０は、可視光カメラ２０から可視光画像を更に受け取る。ここで、赤外線カメラ３５によって撮像された赤外線画像には、前照灯１２および赤外線ランプ１４の光が重なることで、画素値が上限の濃度へほぼ飽和した画像が含まれる。そこで本例の画像合成手段７０は、赤外線画像に再度変位させられた可視光画像を重ね合わせるとともに、画素値が上限の濃度へほぼ飽和した画像を、可視光カメラ２０から受け取った可視光画像に置き換えることで１つの可視光画像を合成する。そして画像合成手段７０は、合成した画像を表示手段７５へ出力する。表示手段７５は、例えばモニタであって、画像合成手段７０により合成された画像を車両１０の運転手へ表示する。
【００３９】
このように本発明の撮像装置１００においては、赤外線カメラ３５によって撮像された赤外線画像を、可視光画像として見やすく運転手へ表示することができる。また、オブジェクト自体が移動体であり、その速度や移動方向が変化した場合には、変位させた可視光画像に含まれるオブジェクトの位置には誤差が生じる。しかしながら本発明では、赤外線画像の位置にあわせるべく可視光画を再度変位させるので、可視光画像に含まれるオブジェクトを正しい位置に表示することができる。更には、可視光画像に含まれるオブジェクトの位置の誤差が大きい場合には、変位させるべき位置が定まらない場合があるが、本発明ではこのような大きな誤差が生じたオブジェクトは除外して赤外線画像として表示を行うので、運転手にとって見やすい画像を提供できる。
【００４０】
図４は、撮像装置１００の動作の一例を示すフローチャートである。タイミング発生器４０は、所定のタイミングを生成し、生成したタイミングを可視光カメラ２０、速度変化検知手段２５、舵角変化検知手段３０、および赤外線カメラ３５へ出力する。可視光カメラ２０は、受け取ったタイミングに基づいて、前照灯１２が照射する領域を連続して撮像し（Ｓ１００）、得られた可視光画像を移動ベクトル算出手段４５へ出力する。
【００４１】
移動ベクトル算出手段４５は、可視光カメラ２０より受け取った可視光画像を用いて、可視光画像に含まれる移動ベクトルを算出し（Ｓ１０２）、算出した移動ベクトルを移動ベクトル修正手段５０へ出力する。
【００４２】
速度変化検知手段２５は、タイミング発生器４０より受け取ったタイミングにおける車両１０の速度を算出する。ここで速度変化検知手段２５は、受け取ったタイミングにおける速度を、前のタイミングに算出した速度で割ることにより速度の変化率を算出する（Ｓ１０４）。また舵角変化検知手段３０は、タイミング発生器４０より受け取ったタイミングにおける車両１０の舵角を算出する。そして、舵角変化検知手段３０は、受け取ったタイミングにおける舵角と、前のタイミングに算出した舵角の差分から舵角の変化の大きさを算出する（Ｓ１０６）。速度変化検知手段２５および舵角変化検知手段３０は、算出した速度の変化率、および舵角の大きさの変化を、移動ベクトル修正手段５０へそれぞれ出力する。
【００４３】
移動ベクトル修正手段５０は、車両１０の走行状況の変化に基づいて、タイミング発生器４０によって算出された移動ベクトルを修正する（Ｓ１０８）。ここで移動ベクトル修正手段５０は、速度変化検知手段２５より受け取った速度の変化率、および舵角変化検知手段３０より受け取った舵角の変化の大きさに基づいて、移動ベクトル算出手段４５により算出された移動ベクトルを修正し、修正した移動ベクトルを可視光画像変位手段５５へ出力する。
【００４４】
可視光画像変位手段５５は、可視光カメラ２０より受け取った可視光画像を、移動ベクトル修正手段５０が修正した移動ベクトルを用いて変位させる（Ｓ１１０）。そして可視光画像変位手段５５は、変位させた可視光画像をエッジ抽出手段６０へ出力する。
【００４５】
赤外線カメラ３５は、タイミング発生器４０より受け取ったタイミングに基づいて、前照灯１２が照射しない領域を撮像し（Ｓ１１２）、撮像した赤外線画像をエッジ抽出手段６０へ出力する。エッジ抽出手段６０は、赤外線カメラ３５により撮像された赤外線画像と可視光画像変位手段５５により変位させられた可視光画像とを受け取ると、赤外線画像におけるエッジと可視光画像のエッジを抽出する（Ｓ１１４）。そしてエッジ抽出手段６０は、抽出したそれぞれのエッジの位置を示す情報を、位置合わせ手段６５へ出力する。
【００４６】
ここで、赤外線画像のエッジの位置に対して可視光画像のエッジの位置が、予め定めた大きさよりも離れている場合（Ｓ１１６：ＹＥＳ）、位置合わせ手段６５は赤外線画像のエッジと可視光画像のエッジとが予め定めた大きさ以上離れているオブジェクトを除外する（Ｓ１１８）。そして、本フローチャートはステップＳ１２０へ進む。
【００４７】
赤外線画像のエッジの位置に対して可視光画像のエッジの位置が、予め定めた大きさよりも離れていない場合（Ｓ１１６：ＮＯ）、位置合わせ手段６５は、可視光画像のエッジの位置が、赤外線画像のエッジの位置に合うように、可視光画像を再度変位させる（Ｓ１２０）。本例の位置合わせ手段６５は、赤外画像のエッジの角などの特徴点の位置に、可視光画像のエッジの特徴点の位置を合わせることにより、可視光画像を変位させる。そして、変位させた可視光画像と、赤外線カメラ３５から取得した赤外線画像とを画像合成手段７０へ出力する。
【００４８】
画像合成手段７０は、赤外線カメラ３５から取得した赤外線画像に、位置合わせ手段６５によって再度変位させられた可視光画像を合成する（Ｓ１２２）。なお、本例の画像合成手段７０は、可視光カメラ２０から可視光画像を更に受け取る。そして画像合成手段７０は、受け取った赤外線画像に、再度変位させられた可視光画像を重ね合わせるとともに、前照灯１２と赤外線ランプ１４の光が重なって照射された画像を、可視光カメラ２０から受け取った可視光画像に置き換えることで１つの可視光画像を合成する。表示手段７５は、合成された画像を例えば運転手へ表示する（Ｓ１２４）。これにより本発明の撮像装置１００は、可視光カメラ２０の前方の前照灯照射領域２００および赤外線照射領域２０２を、１つの可視光画像として運転手へ見やすく表示することができる。
【００４９】
図５は、ステップＳ１０８における移動ベクトル修正手段５０の詳細な動作の一例を示すフローチャートである。本例では可視光カメラ２０の光軸は、車両１０の舵角が略零度の場合における車両１０の進行方向と一致するように配置される。そしてオブジェクトが静止している場合、車両１０の速度の変化は、可視光カメラ２０が撮像する可視光画像内のある特徴点の移動ベクトルの大きさの変化に比例し、車両１０の舵角の変化の大きさは、可視光画像内における特徴点の左右方向への移動量に比例する。
【００５０】
速度変化検知手段２５から速度の変化率を受け取ると、移動ベクトル修正手段５０は、速度変化検知手段２５から受け取った速度の変化率を、移動ベクトル算出手段４５が算出した移動ベクトルに乗じる（Ｓ２００）。また舵角変化検知手段３０から舵角の変化の大きさを受け取ると、移動ベクトル修正手段５０は、舵角変化検知手段３０から受け取った舵角の変化の大きさを車両１０の速度に乗じることにより、車両１０の旋回速度の変化を算出する（Ｓ２０２）。
【００５１】
ここで、車両１０が所定の速度および所定の舵角で走行中に舵角を変化させた場合、可視光画像内の特徴点は、舵角を変化させた方向、舵角の変化の大きさ、および車両１０の速度に応じて、舵角の変化が生じた微小時間内に右または左へ所定の移動量だけ移動する。この時に生じた移動量を、本明細書では旋回移動ベクトルと呼ぶ。そして旋回移動ベクトルの大きさは、舵角の変化の大きさに車両１０の速度を乗じた車両１０の旋回速度に比例し、旋回移動ベクトルの向きは舵角の変化が生じた方向とは逆方向に生じる。
【００５２】
移動ベクトル修正手段５０は、車両１０の旋回速度の変化から旋回移動ベクトルを算出する（Ｓ２０４）。そして移動ベクトル修正手段５０は、算出した旋回移動ベクトルを、速度の変化率を乗じた移動ベクトルへ加える（Ｓ２０６）。これにより、移動ベクトル修正手段５０は、修正された移動ベクトルを算出する。この修正された移動ベクトルを用いて可視光画像を変位させることによって、本発明の撮像装置１００は、車両の速度、および車両の舵角が変化した場合であっても、オブジェクトを正しい位置に表示できる。
【００５３】
なお本例の撮像装置１００は赤外線カメラ３５を有したが、他の例において撮像装置１００は、赤外線カメラ３５に代えて可視光カメラを有してもよい。この場合、可視光カメラは、可視光カットフィルタを持たない。これにより、車両１０の前方を撮像する場合、赤外線ランプ１４が照射する赤外光および車両１０の周囲に存在する外光のそれぞれの反射光を検知することができるので、可視光カメラは、赤外線画像に比べて、より明るい画像を得ることができる。
【００５４】
図６は本発明に係る他の撮像装置１０５を搭載した車両１０の構成の一例を示す図である。なお、図1と同じ符号を付した車両１０の構成は、図1における構成と同一または同様の機能を有するので、以下に述べる点を除いて説明を省略する。
【００５５】
本実施形態の車両１０は、赤外線ランプ１４に代えて間欠照明１６を備える。ここで間欠照明１６は、対向車や歩行者に眩しくないように間欠的に光を照射する。本例の間欠照明１６は、車両１０の前方に、前照灯１２が光を照射する前照灯照射領域２００を含み、かつ前照灯照射領域２００よりも広い領域である間欠照射領域２０４に光を照射する。また撮像装置１０５は、赤外線カメラ３５に代えて可視光カメラ２２を有する。可視光カメラ２２は、前照灯１２が光を照射しない領域を撮像する。尚、可視光カメラ２０は、第１のカメラの一例であり、可視光カメラ２２は、第２のカメラの一例である。
【００５６】
本例の可視光カメラ２２は、間欠照明１６から光が照射されているタイミングと、間欠照明１６から光が照射されていないタイミングで、間欠照射領域２０４を撮像する。そして間欠照明１６から光が照射されていない場合、可視光カメラ２２は、光を集めるために可視光カメラ２０よりも長い露光時間で撮像を行う。この場合、車両１０が高速で走行していると、撮像された画像にはぶれが生じる場合がある。そこで本発明の撮像装置１０５は、画像に生じたぶれを補正し、更に補正した画像と前照灯照射領域２００を撮像した画像とを合成することにより、前照灯１２が光を照射する領域、および光を照射しない領域を含んだ車両１０の前方の画像を運転手へ表示することを目的とする。
【００５７】
本例の可視光カメラ２０は、赤外線カットフィルタ２６に代えて原色フィルタ２３を有する。原色フィルタ２３は、３原色の中から一色の光のみをそれぞれ透過させる。本例の原色フィルタ２３は、それぞれ、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の光のみを透過させる３種類のフィルタを含む。これにより可視光カメラ２０は、正しい色合いのカラー画像を取得することができる。また可視光カメラ２２は、前照灯１２が光を照射しない領域を撮像する。可視光カメラ２２は補色フィルタ２７を有しており、補色フィルタ２７は、ＲＧＢの３原色の中から一色のみをのぞいた光を透過させる。本例の補色フィルタ２７は、それぞれＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）の光を透過させる３種類のフィルタを含む。なお、シアンフィルタは赤色、マゼンタフィルタは緑色、イエローフィルターは青色の光をそれぞれのぞいた光を透過させる。これにより、可視光カメラ２２は、可視光カメラ２０が撮像する画像と比較して、露光時間が同じである場合には、より明るいカラー画像を取得することができる。このように可視光カメラ２０は原色系のカラー画像を取得し、可視光カメラ２２は補色系のカラー画像を取得する。
【００５８】
図７は、撮像装置１０５の機能構成の一例を示す図である。撮像装置１０５は、間欠照明１６、可視光カメラ２０および２２、速度変化検知手段２５、舵角変化検知手段３０、タイミング発生器４０、色変換手段４２、ぶれ補正手段４４、移動ベクトル算出手段４５、移動ベクトル修正手段５０、可視光画像変位手段５５、エッジ抽出手段６０、位置合わせ手段６５、画像合成手段７０、および表示手段７５を有する。なお、図３と同じ符号を付した撮像装置１０５の構成は、図３における構成と同一または同様の機能を有するので、以下に述べる点を除いて説明を省略する。
【００５９】
本例のタイミング発生器４０は、可視光カメラ２０、速度変化検知手段２５、舵角変化検知手段３０、および可視光カメラ２２へ出力するタイミングを整数分の１に分周したタイミングを更に生成する。間欠照明１６は、タイミング発生器４０が分周して得たタイミングで、間欠照射領域２０４（図６参照）へ光を間欠的に照射する。
【００６０】
可視光カメラ２２は、タイミング発生器４０から受け取ったタイミングで画像を撮像する。本例の可視光カメラ２２は、間欠照明１６が光を照射するタイミング、および間欠照明１６が光を照射しないタイミングにおいて撮像を行う。そして間欠照明１６が光を照射しないタイミングで撮像を行う場合、可視光カメラ２２は、可視光カメラ２０よりも長い露光時間で撮像を行う。そして可視光カメラ２２は、撮像した画像を色変換手段４２へ出力する。尚、本例の可視光カメラ２２は補色フィルタ２７（図６参照）を有するため、補色系の画像を出力する。
【００６１】
色変換手段４２は、可視光カメラ２２により受け取った画像を原色系の画像へ変換する。変換手段４２は、原色系の画像へ変換した画像の中で、間欠照明１６が光を照射したタイミングで撮像された画像をぶれ補正手段４４へ出力し、間欠照明１６が光照射しないタイミングで撮像された画像をエッジ抽出手段６０へ出力する。
【００６２】
ぶれ補正手段４４は、色変換手段４２からぶれが生じた画像を受け取ると、移動ベクトル修正手段５０により算出された移動ベクトルを用いてぶれを補正し、補正した画像を画像合成手段７０へ出力する。尚、ぶれ補正手段４４がぶれを補正する動作は後述する。
【００６３】
抽出手段６０は、色変換手段４２から間欠照明１６による照射が行われたタイミングで撮像された画像を受け取り、ぶれ補正手段４４からぶれが補正された画像を受け取る。この場合、エッジ抽出手段６０および位置合わせ手段６５のそれぞれは、図１から図５で説明した撮像装置１００におけるエッジ抽出手段６０および位置合わせ手段６５が、赤外線画像に対して行った処理と同様の処理を、色変換手段４２およびぶれ補正手段４４のそれぞれから受け取った画像に対して行う。
【００６４】
画像合成手段７０は、可視光カメラ２０により撮像された画像と、ぶれ補正手段４４によりぶれが補正された画像とを合成する。画像合成手段７０は、位置合わせ手段６５により再度変位させられた画像と、ぶれ補正手段４４によりぶれ補正された画像とを合成し、合成した画像を表示手段７５へ出力する。
【００６５】
このように、本発明の撮像装置１０５においては、可視光カメラ２０は原色フィルタ２３を有し、可視光カメラ２２は補色フィルタ２７を有するので、正しい色の画像を運転手へ表示することができる。また本発明では、間欠照明１６により、前照灯１２により光が照射されない領域へ光を間欠的に照射するので、対向車や歩行者を眩惑することなく、前照灯１２によって光が照射されない領域の画像を取得することができる。更には、間欠照明１６によって光が照射されない場合であっても、長い露光時間で撮像を行い、かつ、生じたぶれを補正することで、適切な画像を運転手へ表示することができる。このように前照灯１２により光が照射されない領域を含む画像を運転手へ表示することができるので、本発明の撮像装置１０５は、夜間における運転を適切に支援することができる。
【００６６】
図８および図９は、撮像装置１０５の動作の一例を示すフローチャートである。なお、ステップＳ３００からステップＳ３１０における動作フロー、および、ステップＳ３２０からステップＳ３３０における動作フローのそれぞれは、図４のステップＳ１００からステップＳ１１０、およびステップＳ１１４からステップＳ１２４における動作フローと同様であるので、以下、図４における動作との相違点を除き、説明を省略する。
【００６７】
本例のタイミング発生器４０は、可視光カメラ２０、速度変化検知手段２５、舵角変化検知手段３０、および可視光カメラ２２へ出力するタイミングを整数倍に分周したタイミングを更に生成し、生成したタイミングを間欠照明１６へ与える。間欠照明１６は、タイミング発生器４０から受け取ったタイミングで、前照灯１２が照射しない領域を間欠的に照射する（Ｓ３１２）。
【００６８】
可視光カメラ２２は、間欠照明１６が光を照射するタイミング、および間欠照明１６が光を照射しないタイミングにおいて撮像を行う。そして間欠照明１６が光を照射しないタイミングで撮像を行う場合、可視光カメラ２２は、可視光カメラ２０よりも長い露光時間で撮像を行う（Ｓ３１４）。ここで、取得された画像には車両１０の走行により生じたぶれが発生する場合がある。そして、可視光カメラ２２は、撮像した画像を色変換手段４２へ順次出力する。
【００６９】
色変換手段４２は、可視光カメラ２２により受け取った画像を原色系の画像へ変換する（Ｓ３１６）。そして色変換手段４２は、変換した画像をぶれ補正手段４４へ出力する。この場合、色変換手段４２は、ぶれを含む画像をぶれ補正手段４４へ出力し、ぶれを含まない画像をエッジ抽出手段６０へ出力する。
【００７０】
ぶれ補正手段４４は、移動ベクトル修正手段５０により算出された移動ベクトルを用いて、可視光カメラ２２により撮像された画像のぶれを補正し（Ｓ３１８）、補正した画像を画像合成手段７０へ出力する。
【００７１】
画像合成手段７０は、可視光カメラ２０により撮像された画像と、ぶれ補正手段４４によりぶれの補正された画像とを合成する。本例の画像合成手段７０は、先の実施形態で説明したように、可視光カメラ２０により撮像され、再度変位させられた画像と、ぶれ補正手段４４によりぶれの補正された画像とを合成し、合成した画像を表示手段７５へ出力する。そして、以下のステップＳ３２０からステップＳ３３０においては、エッジ抽出手段６０、位置合わせ手段６５、画像合成手段７０、および表示手段７５のそれぞれは、図４におけるステップＳ１１４からステップＳ１２４において赤外線画像に対して行った動作と同様の動作を、色変換手段４２およびぶれ補正手段４４から受け取った画像に対して行う。以上で本フローチャートは終了する。
【００７２】
図１０は、ステップＳ３１８におけるぶれ補正手段４４の詳細な動作の一例を示すフローチャートである。可視光カメラ２２が撮像した画像に生じるぶれは、画像を撮像した露光時間内に、オブジェクトと車両１０との相対的な位置が変化することにより生じる。そして生じたぶれの方向は、オブジェクトの移動ベクトルの方向に等しく、生じたぶれの幅は、露光時間内にオブジェクトが画像内を移動した距離に等しい。
【００７３】
ここで、ぶれ補正手段４４は、各特徴点について移動ベクトル修正手段５０により修正された移動ベクトルを受け取る。するとぶれ補正手段４４は、受け取った移動ベクトルに基づいてぶれを補正する方向を定める（Ｓ４００）。本例のぶれ補正手段４４は、各特徴点の移動ベクトルに対して、移動ベクトルが示す方向と逆の方向を、ぶれを補正する方向として定める。
【００７４】
またぶれ補正手段４４は、受け取った移動ベクトルと、画像の露光時間に基づいてぶれの幅を算出する（Ｓ４０２）。本例のぶれ補正手段４４は、露光時間を移動ベクトルが算出されたタイミング間隔で割った値に、移動ベクトルを乗じることによりぶれの幅を算出する。これにより、各特徴点に対してぶれを補正すべき方向、および幅が定まる。そしてぶれ補正手段４４は、特徴点に対してぶれを補正すべき方向および幅によって定まる領域において、画素毎に移動ベクトルと逆方向に画素値を微分した値を求めて、微分を行う前の各画素値へ加算することによりぶれを補正する。或いは、ぶれ補正手段４４は、特徴点に対してぶれを補正すべき方向および幅によって定まる領域において、画素毎に移動ベクトルと逆方向に各画素値を二回微分した値を求めて、微分を行う前の各画素値との差分を求めることにより、ぶれを補正してもよい。このようにぶれ補正手段４４は、ぶれ幅より定まる領域の濃度を用いてぶれを補正する（Ｓ４０４）。ぶれ補正手段４４は、上記の処理を全ての特徴点に対して行うことにより、全画像に生じたぶれを補正する。以上で本フローチャートを終了する。
【００７５】
尚、本例の撮像装置１０５は間欠照明１６を有したが、より簡易的には間欠照明１６を有さずに、前照灯１２が光を照射しない領域の画像を可視光カメラ２２が撮像してもよい。更には、本例の可視光カメラ２０および可視光カメラ２２のそれぞれは、原色フィルタ２３および補色フィルタ２７をそれぞれ有したが、より簡易的には原色フィルタ２３および補色フィルタ２７を有さずに撮像を行ってもよい。この場合、可視光カメラ２２は、補色フィルタ２７を用いて撮像した画像に比べてより明るい画像を取得することができる。
【００７６】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００７７】
【図１】本発明に係る撮像装置１００を搭載した車両１０の構成の一例を示す図である。
【図２】本発明の撮像装置１００が合成する画像を説明する図である。（ａ）は、可視光カメラ２０が撮像する可視光画像３０４を説明する図である。（ｂ）は、赤外線カメラ３５が撮像する赤外線画像３１０を説明する図である。（ｃ）は、合成画像３１６を説明する図である。
【図３】撮像装置１００の機能構成の一例を示す図である。
【図４】撮像装置１００の動作の一例を示すフローチャートである。
【図５】ステップＳ１０８における移動ベクトル修正手段５０の詳細な動作の一例を示すフローチャートである。
【図６】は本発明に係る他の撮像装置１０５を搭載した車両１０の構成の一例を示す図である。
【図７】は、撮像装置１０５の機能構成の一例を示す図である。
【図８】は、撮像装置１０５の動作の一例を示すフローチャートである。
【図９】は、撮像装置１０５の動作の一例を示すフローチャートである。
【図１０】は、ステップＳ３１８におけるぶれ補正手段４４の詳細な動作の一例を示すフローチャートである。
【符号の説明】
【００７８】
１０・・・車両、１２・・・前照灯、１４・・・赤外線ランプ、１６・・・間欠照明、２０・・・可視光カメラ、２２・・・可視光カメラ、２３・・・原色フィルタ、２５・・・速度変化検知手段、２６・・・赤外線カットフィルタ、２７・・・補色フィルタ、３０・・・舵角変化検知手段、３５・・・赤外線カメラ、４０・・・タイミング発生器、４２・・・色変換手段、４４・・・ぶれ補正手段、４５・・・移動ベクトル算出手段、５０・・・移動ベクトル修正手段、５５・・・可視光画像変位手段、６０・・・エッジ抽出手段、６５・・・位置合わせ手段、７０・・・画像合成手段、７５・・・表示手段、１００、１０５・・・撮像装置、２００  前照灯照射領域、２０２  赤外線照射領域、２０４  間欠照射領域、３００、３０２、３０６、３０８、３１４・・・画像領域、３０４・・・可視光画像、３１０・・・赤外線画像、３５０、３５２、３５４、３５６、３５８・・・オブジェクト、３１６・・・合成画像
【図１】
2005286656.tif 000003
【図２】
2005286656.tif 000004
【図３】
2005286656.tif 000005
【図４】
2005286656.tif 000006
【図５】
2005286656.tif 000007
【図６】
2005286656.tif 000008
【図７】
2005286656.tif 000009
【図８】
2005286656.tif 000010
【図９】
2005286656.tif 000011
【図１０】
2005286656.tif 000012