(57)【要約】【課題】広い温度範囲で長期にわたって安定して高画質の画像を取得可能な撮像装置を提供する。【解決手段】同一方向に光軸が揃えられた複数のレンズユニットおよび１個以上の撮像素子を備え、レンズユニット毎に撮像素子と組み合わせた撮像ユニットが構成され、各撮像ユニットは各々合焦温度が異なる撮像部（２１）と、撮像ユニット毎に取得された画像の鮮鋭度を算出する画像処理部（２２）と、鮮鋭度に基づいて利用画像を取得する撮像ユニットを選択する選択部（２３）と、撮像部（２１）、画像処理部（２２）、および選択部（２３）を制御する制御部（２５）とを備える。【選択図】図２
2017154827.tif 000002
【特許請求の範囲】
【請求項１】
同一方向に光軸が揃えられた複数のレンズユニットおよび１個以上の撮像素子を備え、前記レンズユニット毎に前記撮像素子と組み合わせた撮像ユニットが構成され、各撮像ユニットは各々合焦温度が異なる撮像部と、
前記撮像ユニット毎に取得された画像の鮮鋭度を算出する画像処理部と、
前記鮮鋭度に基づいて利用画像を取得する撮像ユニットを選択する選択部と、
前記撮像部、前記画像処理部、および前記選択部を制御する制御部とを備えたことを特徴とする撮像装置。
【請求項２】
前記制御部は、前記画像処理部に対して利用画像取得中の撮像ユニットにより取得された画像の鮮鋭度を算出させ、利用画像の鮮鋭度が設定された閾値を下回った場合に、前記撮像部に対して複数の撮像ユニットに撮影を行わせ、前記画像処理部に対して前記撮像ユニット毎に取得された画像の鮮鋭度を算出させ、前記選択部に対して利用画像を取得する撮像ユニットを再選択させるものである
請求項１記載の撮像装置。
【請求項３】
前記制御部は、設定された時間毎に、前記撮像部に対して複数の撮像ユニットに撮影を行わせ、前記画像処理部に対して前記撮像ユニット毎に取得された画像の鮮鋭度を算出させ、前記選択部に対して利用画像を取得する撮像ユニットを再選択させるものである
請求項１記載の撮像装置。
【請求項４】
前記制御部は、利用画像を取得する撮像ユニットの再選択の際に、前記撮像部に対して、利用画像取得中の撮像ユニット、該利用画像取得中の撮像ユニットの合焦温度よりも高い範囲で最も近い合焦温度の撮像ユニット、および前記利用画像取得中の撮像ユニットの合焦温度よりも低い範囲で最も近い合焦温度の撮像ユニットで撮影を行わせ、前記画像処理部に対して、前記利用画像取得中の撮像ユニット、該利用画像取得中の撮像ユニットの合焦温度よりも高い範囲で最も近い合焦温度の撮像ユニット、および前記利用画像取得中の撮像ユニットの合焦温度よりも低い範囲で最も近い合焦温度の撮像ユニットにより取得された画像のみの鮮鋭度を算出させるものである
請求項２または３記載の撮像装置。
【請求項５】
前記選択部は、鮮鋭度が最も高い画像を取得した撮像ユニットを利用画像を取得する撮像ユニットとして選択するものである
請求項１から４のいずれか１項記載の撮像装置。
【請求項６】
前記撮像部は、各レンズユニットのレンズの最後端から前記撮像素子までの光軸上の距離が互いに異なる状態に構成されている
請求項１から５のいずれか１項記載の撮像装置。
【請求項７】
前記複数のレンズユニットのうち、２つ以上のレンズユニットのレンズ構成が同じである
請求項１から６のいずれか１項記載の撮像装置。
【請求項８】
前記複数のレンズユニットのうち、２つ以上のレンズユニットのレンズ構成が異なる
請求項１から７のいずれか１項記載の撮像装置。
【請求項９】
前記複数のレンズユニットのレンズの最先端が前記光軸と直交する同一平面にある
請求項１から８のいずれか１項記載の撮像装置。
【請求項１０】
前記撮像部は、前記レンズユニット毎に個別の撮像素子が組み合わされている
請求項１から９のいずれか１項記載の撮像装置。
【請求項１１】
前記撮像部は、複数の前記レンズユニットで１つの撮像素子を共用する
請求項１から９のいずれか１項記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車等の移動体に搭載されるセンシング用カメラや屋外で使用される監視カメラ等に好適な撮像装置に関するものである。
【背景技術】
【０００２】
近年、車にカメラを搭載し、車体前方を撮影した画像に基づいて、車線を認識したり、車、歩行者、および／または障害物等を認識し、これらの情報を車の自動運転、自動ブレーキ、および／または車線逸脱防止制御等の車両移動制御に供することが提案されている。このような車載カメラとして使用される撮像装置としては、例えば下記特許文献１〜３に記載のものが知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２７６７５２号公報
【特許文献２】国際公開第２０１０／０６１６０４号パンフレット
【特許文献３】特開２００４−３２５６０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
車載カメラに用いられるレンズの使用される環境温度範囲は、下限は−６０〜−４０℃程度、上限は８０℃〜１０５℃程度と大変広いため、レンズは温度変化によるピントのズレ量が非常に大きくなり、結果として画像の鮮鋭度が大きく低下する。【０００５】
デジタルカメラ用レンズでは、ピントのズレ量について、撮像素子で得られた画像データを解析し、鮮鋭度が高くなるようにレンズを光軸方向に移動させてピント調整を行うことで解決している。【０００６】
しかし、同様の解決策を車載カメラに用いるレンズに適用すると、レンズ移動のためのカムおよび／またはギアのグリースが、使用される環境温度範囲の広さに起因して低温下では硬化し高温下では流出して、カムおよび／またはギアが固着したり、車の振動に起因してカムおよび／またはギアが削れてガタが大きくなるおそれがある。その結果、レンズを適切に移動させることが難しくなり、鮮鋭度の高い画像を得ることが難しくなるおそれがある。【０００７】
このため、車載カメラに用いられるレンズにおいては、ピントのズレ量をレンズの移動で補正する解決策でなく、そもそものピントのズレ量を抑えることで解決することが好ましい。特許文献１では、レンズ材料とレンズのパワーを適切に選択して、ピントのズレ量を抑える方法が提案されている。特許文献２では、レンズの熱膨張とスペーサの熱膨張とでピントのズレ量を相殺する方法が提案されている。特許文献３では、レンズの温度を一定範囲に維持するために発熱手段を設ける方法が提案されている。【０００８】
しかしながら、車載カメラに用いられるレンズに必要な、５〜１０年間といった長期間にわたる信頼性の確保、今後の高画素化に伴う画素の小サイズ化、より高温への対応（例えば１２５℃以上）、および／または可視光から近赤外領域（最長波長１０００ｎｍ程度）までといった広い波長範囲の結像等を考慮したとき、特許文献１の方法では、レンズ材料の選択肢が少なく、レンズのパワーの選択を主要な解決手段としているため、設計の自由度が少なく、そのため、例えば、広い波長範囲に対応させたり、収差を少なくさせたりする等、高性能なレンズとすることが難しいという問題がある。特許文献２の方法では、部材の熱膨張による伸縮量を長期間にわたって一定値に維持することは難しく、装置の信頼性が低下する可能性が高いという問題がある。特許文献３の方法では、ヒータが長期の使用で劣化して、装置の信頼性が低下する可能性が高いという問題がある。【０００９】
なお、上記のような広い温度範囲で使用する撮像装置におけるピントズレの問題は、車載カメラに限らず、監視カメラおよび／または航空宇宙用のカメラ等のように過酷な環境で使用されることが想定される撮像装置においても同様の問題が生じる。【００１０】
本発明は上記事情に鑑みなされたものであり、広い温度範囲で長期にわたって安定して高画質の画像を取得可能な撮像装置を提供することを目的とするものである。
【課題を解決するための手段】
【００１１】
本発明の撮像装置は、同一方向に光軸が揃えられた複数のレンズユニットおよび１個以上の撮像素子を備え、レンズユニット毎に撮像素子と組み合わせた撮像ユニットが構成され、各撮像ユニットは各々合焦温度が異なる撮像部と、撮像ユニット毎に取得された画像の鮮鋭度を算出する画像処理部と、鮮鋭度に基づいて利用画像を取得する撮像ユニットを選択する選択部と、撮像部、画像処理部、および選択部を制御する制御部とを備えたことを特徴とするものである。【００１２】
ここで、「同一方向に光軸が揃えられた複数のレンズユニット」とは、レンズユニット毎に撮像素子と組み合わせた撮像ユニットにおいて略同一方向の撮影が可能な状態に複数のレンズユニットが配置されていることを意味し、各レンズユニットの光軸の方向が完全に一致している態様に限らず、一つのレンズユニットの光軸を基準として、残りのレンズユニットの光軸の傾きが全て±１０°以内の範囲に納まっていることを意味する。【００１３】
本発明の撮像装置において、制御部は、画像処理部に対して利用画像取得中の撮像ユニットにより取得された画像の鮮鋭度を算出させ、利用画像の鮮鋭度が設定された閾値を下回った場合に、撮像部に対して複数の撮像ユニットに撮影を行わせ、画像処理部に対して撮像ユニット毎に取得された画像の鮮鋭度を算出させ、選択部に対して利用画像を取得する撮像ユニットを再選択させるものとしてもよい。【００１４】
また、制御部は、設定された時間毎に、撮像部に対して複数の撮像ユニットに撮影を行わせ、画像処理部に対して撮像ユニット毎に取得された画像の鮮鋭度を算出させ、選択部に対して利用画像を取得する撮像ユニットを再選択させるものとしてもよい。【００１５】
制御部について上記のように利用画像を取得する撮像ユニットの再選択を行わせるものとした場合、制御部は、利用画像を取得する撮像ユニットの再選択の際に、撮像部に対して、利用画像取得中の撮像ユニット、利用画像取得中の撮像ユニットの合焦温度よりも高い範囲で最も近い合焦温度の撮像ユニット、および利用画像取得中の撮像ユニットの合焦温度よりも低い範囲で最も近い合焦温度の撮像ユニットで撮影を行わせ、画像処理部に対して、利用画像取得中の撮像ユニット、利用画像取得中の撮像ユニットの合焦温度よりも高い範囲で最も近い合焦温度の撮像ユニット、および利用画像取得中の撮像ユニットの合焦温度よりも低い範囲で最も近い合焦温度の撮像ユニットにより取得された画像のみの鮮鋭度を算出させるものとしてもよい。【００１６】
また、選択部は、鮮鋭度が最も高い画像を取得した撮像ユニットを利用画像を取得する撮像ユニットとして選択するものとしてもよい。【００１７】
また、撮像部は、各レンズユニットのレンズの最後端から撮像素子までの光軸上の距離が互いに異なる状態に構成されているものとしてもよい。【００１８】
また、複数のレンズユニットのうち、２つ以上のレンズユニットのレンズ構成が同じようにしてもよい。【００１９】
また、複数のレンズユニットのうち、２つ以上のレンズユニットのレンズ構成が異なるようにしてもよい。【００２０】
また、複数のレンズユニットのレンズの最先端が光軸と直交する同一平面にあるようにしてもよい。【００２１】
また、撮像部は、レンズユニット毎に個別の撮像素子が組み合わされているようにしてもよい。【００２２】
また、撮像部は、複数のレンズユニットで１つの撮像素子を共用するようにしてもよい。
【発明の効果】
【００２３】
本発明の撮像装置は、各々合焦温度が異なる複数の撮像ユニットを備え、撮像ユニット毎に取得された画像の鮮鋭度を算出して、算出された鮮鋭度に基づいて利用画像を取得するのに好適な撮像ユニットを選択するようにし、機械的なピント調整機構を設けなくても広い温度範囲で鮮鋭度の高い画像を取得できるようにしたので、広い温度範囲で長期にわたって安定して高画質の画像を取得可能な撮像装置とすることができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の第１の実施形態にかかる撮像装置を搭載した自動車の構成図
【図２】図１に示す撮像装置のブロック図
【図３】図１に示す撮像装置の撮像ユニットの概略構成図
【図４】撮像ユニット毎の温度と鮮鋭度の関係を示すグラフ
【図５】図１に示す撮像装置の動作時のフローチャート
【図６】図１に示す撮像装置の動作時の他の態様のフローチャート
【図７】本発明の第２の実施形態にかかる撮像装置の撮像部の概略構成図
【図８】本発明の第３の実施形態にかかる撮像装置の撮像部の概略構成図
【図９】本発明の第３の実施形態にかかる撮像装置の撮像部の他の態様の概略構成図
【発明を実施するための形態】
【００２５】
以下、本発明の第１の実施形態について図面を参照して詳細に説明する。図１は本発明の第１の実施形態にかかる撮像装置を搭載した自動車の構成図、図２は図１に示す撮像装置のブロック図である。
【００２６】
図１および図２に示す通り、本実施形態の撮像装置１０は、自動車１のフロントウィンドウ内側に取り付けられるものであり、各々合焦温度が異なる第１撮像ユニット１１〜第４撮像ユニット１４を備えた撮像部２１と、撮像ユニット毎に取得された画像の鮮鋭度を算出する画像処理部２２と、鮮鋭度に基づいて利用画像を取得する撮像ユニットを選択する選択部２３と、利用画像に含まれる車線を認識したり、車、歩行者、および／または障害物等を認識する画像解析部２４と、これら撮像部２１、画像処理部２２、選択部２３、および画像解析部２４を制御する制御部２５とから構成されている。
【００２７】
撮像部２１、画像処理部２２、選択部２３、画像解析部２４、および制御部２５は、撮像装置１０内の信号バス２０に接続されており、相互に信号のやり取りが可能なように構成されている。
【００２８】
また、撮像装置１０内の信号バス２０は、自動車１内の信号バス２に接続されており、画像解析部２４における解析結果を撮像装置１０から自動車１内の自動車制御部３へ送信可能なように構成されており、これにより自動車１側では画像解析部２４における解析結果に基づいて、自動車１の自動運転、自動ブレーキ、および／または車線逸脱防止制御等の車両移動制御を行うことが可能となる。自動車１内の信号バス２および撮像装置１０内の信号バス２０としては、例えばＣＡＮ（Controller Area Network）等を用いることができる。なお、本実施形態の説明では自動車１側の構成や制御内容についての詳細な説明は省略する。
【００２９】
第１撮像ユニット１１〜第４撮像ユニット１４は各々レンズユニットと撮像素子を備え、各レンズユニットは同一方向に光軸が揃えられた状態になるように水平方向一列に撮像装置１０に取り付けられており、第１撮像ユニット１１〜第４撮像ユニット１４の各々で同一方向の撮影が可能なように構成されている。
【００３０】
撮像ユニットの概略構成図を図３に示す。なお、第１撮像ユニット１１〜第４撮像ユニット１４は略同じ構成であり、一部の構成のみが異なるものであるため、ここでは第１撮像ユニット１１についてのみ図面を用いて説明する。
【００３１】
第１撮像ユニット１１は、複数のレンズを含む光学系３１およびこの光学系３１を収容する鏡筒３２から構成されるレンズユニットと撮像素子３３等を筐体３６内に収容し、光学系３１を透過した光が撮像素子３３に入射するように構成されている。光学系３１は、４枚のレンズで構成されている。また、撮像素子３３により取得された画像信号は配線３７を介して信号バス２０へ送信される。
【００３２】
なお、光学系３１のレンズ構成は、図３に示すレンズ枚数およびレンズ形状等のレンズ構成に限定されるものではなく、３枚以下もしくは５枚以上のレンズ構成としてもよい。また、レンズ材料についても、プラスチック、ガラス、またはセラミック等、種々の材料のレンズとすることができる。
【００３３】
また、撮像素子３３は、多数のフォトダイオードが２次元的に配列されたものであり、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等を用いることができる。各フォトダイオードには所定の色（例えば、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の３原色と、近赤外（Ｉｒ）の計４原色）のカラーフィルタが所定の配列となるように配置されている。なお、カラーフィルタの色は上記に限定されるものではなく、例えば、補色系のカラーフィルタを用いてもよいし、Ｒ、Ｇ、Ｂ、およびＲ＋Ｇ＋Ｂ＋Ｉｒの４原色のカラーフィルタを配列し、画像データにてＲ＋Ｇ＋Ｂ＋ＩｒからＲ、Ｇ、およびＢを差し引いてＩｒのデータ値を求める手法を用いてもよい。このような構成とすることで、可視光から近赤外の領域で、被写体の画像を得ることが可能である。
【００３４】
上記は、可視光から近赤外領域の撮像を目的とした場合の構成を説明したが、短波赤外から遠赤外までの撮像を目的とする場合には、レンズとしては上記に加えてゲルマニウム、カルコゲナイド、硫化亜鉛を用いたレンズを適宜用いれば良い。また、撮像素子としてはインジウムガリウム砒素、酸化バナジウム、または酸化シリコン等を用いた撮像素子が好適であり、カラーフィルタについては必要な波長に合わせて適宜用いれば良い。
【００３５】
撮像素子３３は基板３４上に固着されており、筐体３６内において鏡筒３２と基板３４はホルダ３５によって保持されており、このホルダ３５の厚さにより光学系３１のレンズ最後端から撮像素子３３までの距離Ｌが決定される。第１撮像ユニット１１〜第４撮像ユニット１４は、このホルダ３５の厚さ（光学系の光軸方向の寸法）のみが異なる。
【００３６】
撮像ユニット毎の温度と鮮鋭度の関係を示すグラフを図４に示す。図４では、横軸をレンズ温度、縦軸を鮮鋭度とし、第１撮像ユニット１１の特性Ｓ１〜第４撮像ユニット１４の特性Ｓ４を示している。また、各撮像ユニットとレンズ最後端から撮像素子３３までの距離Ｌとの関係を表１に示す。
【表１】
2017154827.tif 000003
【００３７】
表１に示す通り、第１撮像ユニット１１〜第４撮像ユニット１４は、鮮鋭度が最大となる温度（合焦温度）が異なる。具体的には、第１撮像ユニット１１は合焦温度が−３０°（誤差±５℃）に設定されており、第２撮像ユニット１２〜第４撮像ユニット１４の合焦温度は第１撮像ユニット１１の合焦温度から４０℃ずつずらして設定されている。各撮像ユニットの使用可能温度範囲は合焦温度を中心に±３０℃である。
【００３８】
第１撮像ユニット１１〜第４撮像ユニット１４のレンズユニットは全て共通であり、ホルダ３５の厚さの違いにより、各撮像ユニットにおける光学系３１のレンズ最後端から撮像素子３３までの距離Ｌを変更している。この距離Ｌは、中間の合焦温度である第３撮像ユニット１３を基準として、各撮像ユニットの合焦温度におけるレンズユニットのバックフォーカス長となるように設定される。このような構成とすることで、レンズユニットのレンズ構成が同じでありながら合焦温度の異なる撮像ユニットを実現することができるため、設計を容易にしたり、コストを抑えることができる。
【００３９】
なお、表１においては、例として、温度が低くなるほどレンズユニットの結像位置が物体側に移動するものを記載している。レンズおよび／または鏡筒の材料および／または形状、レンズと鏡筒間の接続方法等によっては、温度が低くなるほど結像位置が像側に移動する場合や、ある低い温度までは結像位置が物体側へ移動し、さらに低い温度では像側へ移動する場合もありうる。これらの場合も、鮮鋭度が最大となる温度を適宜決定し、その温度において鮮鋭度が最大になるようにホルダ３５の厚さを調節すればよい。
【００４０】
第１撮像ユニット１１〜第４撮像ユニット１４の光軸方向の配置位置に関しては、各撮像ユニットのレンズユニットのレンズの最先端が光軸と直交する同一平面にあるようにして配置することで、各撮像ユニットが同一温度の際に出力する画像が同一の鮮鋭度にならないようにすることができるため、このような配置とすることが好ましい。
【００４１】
逆に、第１撮像ユニット１１〜第４撮像ユニット１４の光軸方向の配置位置に関して、各撮像ユニットの撮像素子３３の光入射面が光軸と直交する同一平面にあるようにして配置すると、レンズユニットの焦点距離および／または被写体が極めて至近にある等の特定の条件下で各撮像ユニットが同一温度の際に出力する画像が同一の鮮鋭度になってしまうおそれがあるため、あまり好ましくない。
【００４２】
次に、撮像装置１０の動作時の処理について説明する。図５は撮像装置の動作時のフローチャートである。なお、ここでの処理については撮像装置１０内の制御部２５が、撮像部２１、画像処理部２２、選択部２３、および画像解析部２４を統合制御することで行われるものである。
【００４３】
まず、撮像装置１０の電源が投入されると（ステップＳＴ１）、第１撮像ユニット１１〜第４撮像ユニット１４で撮影が行われる（ステップＳＴ２）。次に、撮像ユニット毎に取得された画像の鮮鋭度を算出し、各画像間で所定の鮮鋭度の差があるか判定を行う（ステップＳＴ３）。
【００４４】
ここで、画像処理部２２における画像の鮮鋭度の算出について詳細に説明する。画像の鮮鋭度算出については、公知のコントラストＡＦ（Auto Focus）にて画像の鮮鋭度を算出する手法と同一の手法を用いることができる。鮮鋭度の算出値の妥当性を上げるために、コントラストＡＦの手法をそのまま活用でき、例えば、ゲイン補正および／またはオフセット補正を行ったり、画像の鮮鋭度の算出に妥当な空間領域のみを抽出して算出したり、時間的に連続して撮影された複数画像の時間方向の連続性を考慮する算出を行ったり、１枚の画像について複数の空間周波数でフーリエ変換を行って複数の部分鮮鋭度を求め、それらに異なる係数をかけて重み付け加算した鮮鋭度を求める等、種々の手法を用いることができる。
【００４５】
ステップＳＴ３において、所定の鮮鋭度の差が認められなかった場合は、撮像ユニットが出力する画像が信頼できない旨を示すＮＧ（no good）通知を自動車制御部３へ送信し（ステップＳＴ４）、所定時間経過後にステップＳＴ２の処理から再試行を行う。各画像間に鮮鋭度の差がない場合は、撮像ユニットの故障であったり、撮像ユニットに入射する光が極小なために取得画像が黒とびしていたり、撮像ユニットに入射する光が極大なために取得画像が白とびしていたりすることが考えられる。なお、取得画像が黒とびする状況としては、例えば、夜間および／または暗い場所で自動車１のヘッドライトを点灯していない状態、または、撮像装置１０の前方のフロントウィンドウに雪や泥等が付着している状態等が考えられる。また、取得画像が白とびする状況としては、例えば、太陽光および／または対向車のヘッドライト等が撮像ユニットに直接入射している状態等が考えられる。いずれにしても、このような状態で取得された画像については信頼性が低いため、ＮＧ通知を自動車制御部３へ送信することで、自動車１側での誤制御を防止することができる。
【００４６】
ステップＳＴ３において、所定の鮮鋭度の差が認められた場合は、第１撮像ユニット１１〜第４撮像ユニット１４の中から鮮鋭度が最も高い画像を取得した撮像ユニットを利用画像を取得する撮像ユニットとして選択し（ステップＳＴ５）、利用画像データを解析して、利用画像に含まれる車線を認識したり、車、歩行者、および／または障害物等を認識したりし（ステップＳＴ６）、この解析データを自動車制御部３へ送信する（ステップＳＴ７）。これにより、自動車１側では解析データに基づいて車両移動制御を行うことが可能となる。
【００４７】
なお、ステップＳＴ５で選択された撮像ユニット以外の撮像ユニットについては、電源供給を停止したり駆動周波数を低下させることが好ましく、このような態様とすることで、消費電力を低減したり部品の寿命を延長することができる。
【００４８】
その後、ステップＳＴ５で選択された撮像ユニットで撮影を行い（ステップＳＴ８）、選択中の撮像ユニットで取得された利用画像の鮮鋭度を算出して、許容される鮮鋭度の下限よりも上に設定された閾値以上の鮮鋭度があるか判定を行う（ステップＳＴ９）。ステップＳＴ９において、鮮鋭度が閾値を下回っていることが認められた場合は、撮像装置１０が搭載された自動車１の周辺環境の温度が変化して、第１撮像ユニット１１〜第４撮像ユニット１４の中から鮮鋭度が最も高い画像を取得できる撮像ユニットが変化する可能性があるため、ステップＳＴ２に戻り、撮像ユニットの再選択を行う。
【００４９】
なお、上記の通り第１撮像ユニット１１〜第４撮像ユニット１４の合焦温度は４０℃ずつずらして設定されているが、自動車１の周辺環境温度が短時間で４０℃以上変化することは考えにくい。そのため、撮像ユニットの再選択の際には、利用画像取得中の撮像ユニットとその両隣の合焦温度の撮像ユニットについてのみ鮮鋭度を算出し、その中から鮮鋭度が最も高い画像を取得した撮像ユニットを利用画像を取得する撮像ユニットとして選択するようにすることで、撮像ユニット再選択の際の計算コストを抑えることができる。
【００５０】
また、ステップＳＴ９における鮮鋭度の判定の閾値は、図４に示す通り、選択中の撮像ユニットの鮮鋭度が合焦温度が隣接する撮像ユニットの鮮鋭度と同じになる鮮鋭度よりも若干高めの鮮鋭度に設定することで、温度変化に伴って最も高い画像を取得する撮像ユニットが変化する直前から撮像ユニットの再選択処理を行えるようになるため、温度変化に対して遅れることなく最も高い画像を取得する撮像ユニットを選択することが可能となる。
【００５１】
ステップＳＴ９において、閾値以上の鮮鋭度が認められた場合は、利用画像データを解析して、利用画像に含まれる車線を認識したり、車、歩行者、および／または障害物等を認識したりし（ステップＳＴ１０）、この解析データを自動車制御部３へ送信し（ステップＳＴ１１）、その後ステップＳＴ８に戻って以降の撮影を継続する。
【００５２】
このような構成とすることで、機械的なピント調整機構を設けなくても広い温度範囲で鮮鋭度の高い画像を取得でき、広い温度範囲で長期にわたって安定して高画質の画像を取得可能な撮像装置１０とすることが可能となる。また、本実施形態のように可視光から近赤外光までの広域の波長で撮影を行う場合には、温度による収差変動の抑制と広域の波長での色収差の抑制の２つの課題を両方解決する必要があるが、このような場合に本実施形態の撮像装置１０は特に効果を発揮する。
【００５３】
また、上記の通り、レンズユニット毎に個別の撮像素子を組み合わせることで、複数の撮像ユニットで同時並列的に撮影を行うことができるため、撮像ユニット選択時の処理時間を短くすることができる。
【００５４】
なお、本実施形態の撮像装置１０の動作時の処理については、図５に示すフローチャートの動作に限らず、図６に示すフローチャートの動作としてもよい。図６は図５に示すフローチャートと比較してステップＳＴ９のみが異なり、具体的には、所定以上の鮮鋭度があるか判定を行う代わりに、ステップＳＴ２から所定時間経過したか判定し、経過している場合にはステップＳＴ２に戻って再度撮像ユニットの選択をやりなおし、経過していない場合には以後の撮影処理等を継続する。このような態様としても、上記と同様の効果を奏することができる。
【００５５】
また、図５および図６のいずれに示すフローチャートの動作においても、ステップＳＴ５からステップＳＴ８へ移行、すなわち次の画像の撮影に移行する際に、ステップＳＴ５、ステップＳＴ６、ステップＳＴ７、およびステップＳＴ８と順に処理を行う態様に限らず、ステップＳＴ６およびステップＳＴ７の処理は図５および図６に示すフローチャートの処理の流れから外して、次の画像の撮影と同時並列的に行うようにしてもよい。ステップＳＴ８以降のループにおけるステップＳＴ１０およびステップＳＴ１１の処理についても同様である。
【００５６】
次いで、本発明の第２の実施形態について図面を参照して詳細に説明する。図７は本発明の第２の実施形態にかかる撮像装置の撮像部の概略構成図である。
【００５７】
第２の実施形態の撮像装置は、上記第１の実施形態の撮像装置と比較して、撮像部の構成のみを変更したものであり、ここでは第１の実施形態の撮像装置から変更がない部分についての説明は省略する。
【００５８】
図７に示す通り、本実施形態の撮像部２１ａは、各々合焦温度が異なる複数のレンズユニットと各レンズユニット用の撮像素子４４が一つの筐体４０内に収容されたものである。
【００５９】
各レンズユニットのレンズはレンズアレイにより一体的に構成されており、レンズユニットは物体側から順に、第１撮像ユニット１１ａ用のレンズユニットを構成するためのレンズ４１ａ〜第４撮像ユニット１４ａ用のレンズユニットを構成するためのレンズ４１ｄが一体的に形成された第１レンズアレイ４１と、絞りとして機能する遮光シート４２と、第１撮像ユニット１１ａ用のレンズユニットを構成するためのレンズ４３ａ〜第４撮像ユニット１４ａ用のレンズユニットを構成するためのレンズ４３ｄが一体的に形成された第２レンズアレイ４３とが積層されてなるものである。
【００６０】
第１撮像ユニット１１ａ〜第４撮像ユニット１４ａ用の各々の撮像素子４４は同じ基板４５上に固着されており、上記第１の実施形態の撮像部のように各レンズユニットと撮像素子との間隔を個別に変化させることはできない代わりに、各レンズユニットを構成するレンズの曲率、レンズ間距離、および／またはレンズ材料を適宜選択することで各レンズユニットの構成を変更して、各レンズユニットが所望の温度で鮮鋭度が最高となるように構成する。これにより、各々合焦温度が異なる第１撮像ユニット１１ａ〜第４撮像ユニット１４ａが構成される。
【００６１】
また、上記の通り各レンズユニットのレンズ構成を異なるものとすることで、各撮像ユニットに最適なレンズ設計とすることができるため、各レンズユニットのレンズ構成を同じにする場合と比較して、レンズユニットの光学性能を高めることが容易となる。
【００６２】
このような構成としても、上記第１の実施形態と同様の効果を奏することができる。
【００６３】
次いで、本発明の第３の実施形態について図面を参照して詳細に説明する。図８は本発明の第３の実施形態にかかる撮像装置の撮像部の概略構成図である。
【００６４】
第３の実施形態の撮像装置は、上記第１の実施形態の撮像装置と比較して、撮像部の構成のみを変更したものであり、ここでは第１の実施形態の撮像装置から変更がない部分についての説明は省略する。
【００６５】
図８に示す通り、本実施形態の撮像部２１ｂは、第１撮像ユニット〜第４撮像ユニットに対応した第１レンズユニット５１〜第４レンズユニット５４と、光の透過と反射を選択的に切替可能な調光素子５５〜調光素子５７と、ミラー５８と、撮像素子５９と、光を吸収する遮光部材６０とから構成される。
【００６６】
各レンズユニットは同一方向に光軸が揃えられた状態に配置されている。なお、図８において各レンズユニットは模式的に示しており、実際のレンズ構成を示すものではなく、どのような構成としてもよい。また、光の透過と反射を選択的に切替可能な調光素子については、例えば特開２０１４−２６２６２号公報に記載されているような素子を用いることができる。
【００６７】
第１レンズユニット５１〜第４レンズユニット５４は同じ構成であり、各レンズユニットのレンズ最後端から撮像素子５９までの光路長を変えることで、各々合焦温度が異なる第１撮像ユニット〜第４撮像ユニットを構成することができる。
【００６８】
具体的には、第１撮像ユニットの画像を取得する際には、調光素子５５〜調光素子５７を全て透過状態とすることで、第１レンズユニット５１により結像された光が撮像素子５９に入射することになる。第２撮像ユニットの画像を取得する際には、調光素子５５〜調光素子５７を全て反射状態とすることで、第２レンズユニット５２により結像された光が撮像素子５９に入射することになる。第３撮像ユニットの画像を取得する際には、調光素子５５および調光素子５７を反射状態、調光素子５６を透過状態とすることで、第３レンズユニット５３により結像された光が撮像素子５９に入射することになる。第４撮像ユニットの画像を取得する際には、調光素子５５を反射状態、調光素子５６および調光素子５７を透過状態とすることで、第４レンズユニット５４により結像された光が撮像素子５９に入射することになる。
【００６９】
上記の通り、複数のレンズユニットで１つの撮像素子を共用することで、コストの高い撮像素子の使用数を少なくすることができるため、撮像部のコストを抑えることができる。
【００７０】
このような構成としても、上記第１の実施形態と同様の効果を奏することができる。
【００７１】
なお、調光素子を用いて光路を切り替える態様としては、図８の態様に限定されるものではなく、図９に示す態様としてもよい。
【００７２】
図９に示す通り、本実施形態の他の態様の撮像部２１ｃは、第１撮像ユニット〜第４撮像ユニットに対応した第１レンズユニット６１〜第４レンズユニット６４と、光の透過と反射を選択的に切替可能な調光素子６５および調光素子６７と、ミラー６６およびミラー６８と、撮像素子６９および撮像素子７０と、光を吸収する遮光部材７１とから構成される。
【００７３】
第１レンズユニット６１と第３レンズユニット６３は同じ構成、第２レンズユニット６２と第４レンズユニット６４は同じ構成であり、第１レンズユニット６１および第２レンズユニット６２で撮像素子６９を共用し、第３レンズユニット６３および第４レンズユニット６４で撮像素子７０を共用するように構成されている。また、調光素子６５から撮像素子６９までの距離と、調光素子６７から撮像素子７０までの距離は異なるように構成されている。
【００７４】
調光素子６５および調光素子６７の透過状態と反射状態を切り替えることで、各レンズユニットのレンズ最後端から撮像素子６９または撮像素子７０までの光路長を変えることで、各々合焦温度が異なる第１撮像ユニット〜第４撮像ユニットを構成することができる。
【００７５】
このような構成としても、上記第１の実施形態と同様の効果を奏することができる。
【００７６】
また、調光素子を用いて光路を切り替える態様としては、図８および図９とはさらに異なる態様としてもよい。
【００７７】
以上、実施形態および実施例を挙げて本発明を説明したが、本発明は上記実施形態および実施例に限定されず、種々の変形が可能である。
【００７８】
例えば、撮像ユニットの数については４つに限らず、２つ以上の他の数としてもよい。
【００７９】
また、複数の撮像ユニットの配列についても、水平方向一列の配列に限らず、垂直方向一列の配列としたり、水平方向および／または垂直方向に複数列の２次元状の配列としてもよい。
【００８０】
また、各々合焦温度が異なる複数の撮像ユニットの配列順についても、合焦温度順に並べる態様に限らず、高温に適したものを冷却しやすい外縁や外周部に配置し、低温に適したものを保温しやすい中心部に配置してもよい。
【００８１】
また、撮像ユニットの配置位置についても、自動車のフロントウィンドウ内側に限らず、フロントバンパーおよび／またはフロントグリル等の他の場所に配置してもよい。
【００８２】
また、撮像部に複数の撮像素子を搭載している場合には、選択中の撮像ユニットの出力画像の輝度値が低い場合に、他の撮像ユニットの出力画像を重み付け加算して、利用画像を取得してもよい。このような態様とすることで、夜間等で撮像ユニットへの入射光が少ない場合でも輝度の高い画像を得ることができる。なお、正面遠方の画像データは比較的鮮鋭度が高いが、一方で遠方はヘッドライトが届かず極めて暗いことが多いため、単純に複数の撮像ユニットの出力画像を加算するのでなく、特に正面遠方の画像データのみ抽出して加算してもよい。
【００８３】
撮像装置の形態についても、上記のような自動車に搭載されるものに限らず、飛行機や人工衛星等の他の種類の移動体に搭載したり、屋外監視カメラとして用いる等、種々の態様とすることができる。
【００８４】
上記以外にも、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行なってもよいのは勿論である。
【符号の説明】
【００８５】
１    自動車
２    信号バス
３    自動車制御部
１０    撮像装置
１１〜１４    撮像ユニット
１１ａ〜１４ａ    撮像ユニット
２０    信号バス
２１、２１ａ、２１ｂ、２１ｃ    撮像部
２２    画像処理部
２３    選択部
２４    画像解析部
２５    制御部
３１    光学系
３２    鏡筒
３３    撮像素子
３４    基板
３５    ホルダ
３６    筐体
３７    配線
４０    筐体
４１    レンズアレイ
４１ａ〜４１ｄ    レンズ
４２    遮光シート
４３    レンズアレイ
４３ａ〜４３ｄ    レンズ
４４    撮像素子
４５    基板
５１〜５４    レンズユニット
５５〜５７    調光素子
５８    ミラー
５９    撮像素子
６０    遮光部材
６１〜６４    レンズユニット
６５、６７    調光素子
６６、６８    ミラー
６９、７０    撮像素子
７１    遮光部材
Ｓ１〜Ｓ４    各撮像ユニットの特性
ＳＴ１〜ＳＴ１１    ステップ
【図１】
2017154827.tif 000004
【図２】
2017154827.tif 000005
【図３】
2017154827.tif 000006
【図４】
2017154827.tif 000007
【図５】
2017154827.tif 000008
【図６】
2017154827.tif 000009
【図７】
2017154827.tif 000010
【図８】
2017154827.tif 000011
【図９】
2017154827.tif 000012
【手続補正書】
【提出日】平成30年1月11日(2018.1.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
同一方向に光軸が揃えられた複数のレンズユニットおよび１個以上の撮像素子を備え、前記レンズユニット毎に前記撮像素子と組み合わせた撮像ユニットが構成され、各撮像ユニットは各々合焦温度が異なり、かつ前記各撮像ユニットの合焦温度において前記各撮像ユニットの被写体との合焦位置が同一である撮像部と、
前記撮像ユニット毎に取得された画像の鮮鋭度を算出する画像処理部と、
前記鮮鋭度に基づいて利用画像を取得する撮像ユニットを選択する選択部と、
前記撮像部、前記画像処理部、および前記選択部を制御する制御部とを備えたことを特徴とする撮像装置。
【請求項２】
前記制御部は、前記画像処理部に対して利用画像取得中の撮像ユニットにより取得された画像の鮮鋭度を算出させ、利用画像の鮮鋭度が設定された閾値を下回った場合に、前記撮像部に対して複数の撮像ユニットに撮影を行わせ、前記画像処理部に対して前記撮像ユニット毎に取得された画像の鮮鋭度を算出させ、前記選択部に対して利用画像を取得する撮像ユニットを再選択させるものである
請求項１記載の撮像装置。
【請求項３】
前記制御部は、設定された時間毎に、前記撮像部に対して複数の撮像ユニットに撮影を行わせ、前記画像処理部に対して前記撮像ユニット毎に取得された画像の鮮鋭度を算出させ、前記選択部に対して利用画像を取得する撮像ユニットを再選択させるものである
請求項１記載の撮像装置。
【請求項４】
前記制御部は、利用画像を取得する撮像ユニットの再選択の際に、前記撮像部に対して、利用画像取得中の撮像ユニット、該利用画像取得中の撮像ユニットの合焦温度よりも高い範囲で最も近い合焦温度の撮像ユニット、および前記利用画像取得中の撮像ユニットの合焦温度よりも低い範囲で最も近い合焦温度の撮像ユニットで撮影を行わせ、前記画像処理部に対して、前記利用画像取得中の撮像ユニット、該利用画像取得中の撮像ユニットの合焦温度よりも高い範囲で最も近い合焦温度の撮像ユニット、および前記利用画像取得中の撮像ユニットの合焦温度よりも低い範囲で最も近い合焦温度の撮像ユニットにより取得された画像のみの鮮鋭度を算出させるものである
請求項２または３記載の撮像装置。
【請求項５】
前記選択部は、鮮鋭度が最も高い画像を取得した撮像ユニットを利用画像を取得する撮像ユニットとして選択するものである
請求項１から４のいずれか１項記載の撮像装置。
【請求項６】
前記撮像部は、各レンズユニットのレンズの最後端から前記撮像素子までの光軸上の距離が互いに異なる状態に構成されている
請求項１から５のいずれか１項記載の撮像装置。
【請求項７】
前記複数のレンズユニットのうち、２つ以上のレンズユニットのレンズ構成が同じである
請求項１から６のいずれか１項記載の撮像装置。
【請求項８】
前記複数のレンズユニットのうち、２つ以上のレンズユニットのレンズ構成が異なる
請求項１から７のいずれか１項記載の撮像装置。
【請求項９】
前記複数のレンズユニットのレンズの最先端が前記光軸と直交する同一平面にある
請求項１から８のいずれか１項記載の撮像装置。
【請求項１０】
前記撮像部は、前記レンズユニット毎に個別の撮像素子が組み合わされている
請求項１から９のいずれか１項記載の撮像装置。
【請求項１１】
前記撮像部は、複数の前記レンズユニットで１つの撮像素子を共用する
請求項１から９のいずれか１項記載の撮像装置。
【国際調査報告】
2017154827.tif 000013
2017154827.tif 000014
2017154827.tif 000015