(57)【要約】【課題】撮影装置を搭載する移動物体が移動していても、対象物体の像を適切なサイズで撮影し、安定して撮影物体を認識する。【解決手段】一態様に係るズーム倍率算出装置１０は、移動体２０１に搭載された撮像装置５０１であって移動体２０１の周囲にある物体２０３を撮影する撮像装置５０１のズーム駆動回路１１において用いられるズーム倍率の値を算出する。ズーム倍率算出装置１０は、ズームの動作の遅延時間を示す情報を保持する記憶部３０１と、物体２０３をズーム撮影することを指示する情報を入力したときの移動体２０１に対する物体２０３の第１相対距離、ズームの動作の遅延時間及び移動体２０１の移動速度を用いて、第１相対距離より移動体２０１が物体２０３に近接した第２相対距離を算出し、第２相対距離に基づいてズーム倍率の値を算出する演算部３０４とを備える。【選択図】図１
2015195569.tif 000002
【特許請求の範囲】
【請求項１】
移動体に搭載された撮像装置であって前記移動体の周囲にある物体を撮影する撮像装置のズーム駆動回路において用いられるズーム倍率の値を算出するズーム倍率算出装置であって、
前記ズームの動作の遅延時間を示す第１情報を保持する記憶部と、
前記物体をズーム撮影することを指示する第２情報を入力する第１入力部と、
前記移動体に対する前記物体の相対距離を示す第３情報を入力する第２入力部と、
前記移動体の移動速度を示す第４情報を入力する第３入力部と、
前記物体をズーム撮影することを指示する前記第２情報を入力したときの前記第３情報が示す第１相対距離、前記ズームの動作の遅延時間を示す前記第１情報及び前記移動体の移動速度を示す前記第４情報を用いて、前記第１相対距離より前記移動体が前記物体に近接した第２相対距離を算出し、前記第２相対距離に基づいて前記ズーム倍率の値を算出する演算部と、
前記ズーム倍率の値を前記ズーム駆動回路に出力する出力部と、を備えた、
ズーム倍率算出装置。
【請求項２】
前記記憶部は、前記ズームの動作の遅延時間を示す第１情報として、あるズーム倍率から別のズーム倍率への変更に要する時間を示す情報を記憶する、
請求項１に記載のズーム倍率算出装置。
【請求項３】
前記第２入力部は、前記移動体に対する前記物体の相対角度を示す第５情報を入力し、
前記演算部は、さらに前記移動体に対する前記物体の相対角度を示す前記第５情報を用いて、前記第２相対距離を算出する、
請求項１または２に記載のズーム倍率算出装置。
【請求項４】
前記移動体の進行方向の方位角を示す第６情報を入力する第４入力部を備え、
前記演算部は、さらに前記移動体の進行方向の方位角を示す前記第６情報に基づいて、前記第２相対距離を算出する、
請求項１または２に記載のズーム倍率算出装置。
【請求項５】
請求項１から４のいずれかに記載のズーム倍率算出装置と、
少なくとも１枚のレンズを含む光学系と、
撮像面に結像された前記物体の像を画像信号に変換する撮像素子と、
撮影する画像のズームを行うズーム駆動制御部と、
前記移動体に対する前記物体の前記相対距離を算出して前記ズーム倍率算出装置に出力する距離算出部と、
前記移動体の前記移動速度を算出して前記ズーム倍率算出装置に出力する速度算出部と、
を備えた、撮影装置。
【請求項６】
前記移動体に対する前記物体の相対角度を算出して前記ズーム倍率算出装置に出力する角度算出部をさらに備えた、
請求項５に記載の撮影装置。
【請求項７】
前記移動体の進行方向の方位角を算出して前記ズーム倍率算出装置に出力する方位角算出部をさらに備えた、
請求項５または６に記載の撮影装置。
【請求項８】
前記ズーム駆動制御部は、前記光学系を移動させて撮影画像の中心に前記物体の画像を位置させる制御を行う、
請求項５から７のいずれかに記載の撮影装置。
【請求項９】
前記移動体の移動に伴うぶれを検出するブレ検出部と、
撮影画像のぶれを抑制するブレ補正部と、
をさらに備えた、
請求項５から８のいずれかに記載の撮影装置。
【請求項１０】
前記ズーム駆動制御部のズーム動作が完了してから前記物体の露光撮影を開始するまでの間において、前記ブレ補正部は駆動を開始する、
請求項９に記載の撮影装置。
【請求項１１】
前記ズーム駆動制御部および前記ブレ補正部を制御して、前記物体を露光撮影中に前記物体の画像を撮影画像の同じ位置において同じサイズを維持させるブレ補正制御部をさらに備える、
請求項９に記載の撮影装置。
【請求項１２】
撮影画像から前記物体の動きベクトルを検出する動きベクトル検出部をさらに備え、
前記ブレ補正制御部は、前記動きベクトルに基づいて前記ズーム駆動制御部および前記ブレ補正部を制御し、前記物体を露光撮影中に前記物体の画像を撮影画像の同じ位置において同じサイズを維持させる、
請求項１１に記載の撮影装置。
【請求項１３】
前記ブレ補正部は、
前記光学系の光軸を偏心させて、画像のブレを補正する、
請求項９から１２のいずれかに記載の撮影装置。
【請求項１４】
前記ブレ補正部は、
前記光学系の光軸に直交する２軸及び前記光軸と並行する１軸の少なくとも１つの軸を中心に前記光学系を回転駆動させて、画像のぶれを補正する、
請求項９から１２のいずれかに記載の撮影装置。
【請求項１５】
前記ブレ補正部は、
前記光学系の前記レンズを前記光学系の光軸に対して直交する方向に変位させて、画像のぶれを補正する、
請求項９から１２のいずれかに記載の撮影装置。
【請求項１６】
前記ブレ補正部は、
前記撮像素子を光軸に直交する方向に変位させて、画像のぶれを補正する、
請求項９から１２のいずれかに記載の撮影装置。
【請求項１７】
前記ブレ補正部は、
前記撮像素子を光軸と並行する軸を中心に回転駆動させて、画像のぶれを補正する、
請求項９から１２のいずれかに記載の撮影装置。
【請求項１８】
請求項５から１７のいずれかに記載の撮影装置を備えた移動体。
【請求項１９】
移動体に搭載された撮像装置であって前記移動体の周囲にある物体を撮影する撮像装置のズーム駆動回路において用いられるズーム倍率の値を算出するズーム倍率算出装置の制御方法であって、
前記ズーム倍率算出装置は、前記ズームの動作の遅延時間を示す第１情報を保持し、
前記ズーム倍率算出装置に対して、
前記物体の像をズームして撮影することを指示する第２情報を入力させ、
前記移動体に対する前記物体の相対距離を示す第３情報を入力させ、
前記移動体の移動速度を示す第４情報を入力させ、
前記物体をズーム撮影することを指示する前記第２情報を入力したときの前記第３情報が示す第１相対距離、前記ズームの動作の遅延時間を示す前記第１情報及び前記移動体の移動速度を示す前記第４情報を用いて、前記第１相対距離より前記移動体が前記物体に近接した第２相対距離を算出し、前記第２相対距離に基づいて前記ズーム倍率の値を算出させ、
前記ズーム倍率の値を前記ズーム駆動回路に出力させる、
制御方法。
【請求項２０】
移動体に搭載された撮像装置であって前記移動体の周囲にある物体を撮影する撮像装置のズーム駆動回路において用いられるズーム倍率の値を算出するズーム倍率算出装置において実行されるプログラムであって、
前記ズーム倍率算出装置は前記ズームの動作の遅延時間を示す第１情報を保持し、
前記ズーム倍率算出装置に対して、
前記物体をズームして撮影することを指示する第２情報を入力させる処理と、
前記移動体に対する前記物体の相対距離を示す第３情報を入力させる処理と、
前記移動体の移動速度を示す第４情報を入力させる処理と、
前記物体をズーム撮影することを指示する前記第２情報を入力したときの前記第３情報が示す第１相対距離、前記ズームの動作の遅延時間を示す前記第１情報及び前記移動体の移動速度を示す前記第４情報を用いて、前記第１相対距離より前記移動体が前記物体に近接した第２相対距離を算出し、前記第２相対距離に基づいて前記ズーム倍率の値を算出させ、
前記ズーム倍率の値を前記ズーム駆動回路に出力させる処理と、
を実行させる、
プログラム。
【請求項２１】
移動体に搭載された撮像装置であって前記移動体の周囲にある物体を撮影する撮像装置のズーム駆動回路において用いられるズーム倍率の値を算出するズーム倍率算出装置において実行されるプログラムを格納した不揮発性コンピュータ読み取り可能記録媒体であって、
前記ズーム倍率算出装置は前記ズームの動作の遅延時間を示す第１情報を保持し、
前記プログラムは前記ズーム倍率算出装置に対して、
前記物体をズームして撮影することを指示する第２情報を入力させる処理と、
前記移動体に対する前記物体の相対距離を示す第３情報を入力させる処理と、
前記移動体の移動速度を示す第４情報を入力させる処理と、
前記物体をズーム撮影することを指示する前記第２情報を入力したときの前記第３情報が示す第１相対距離、前記ズームの動作の遅延時間を示す前記第１情報及び前記移動体の移動速度を示す前記第４情報を用いて、前記第１相対距離より前記移動体が前記物体に近接した第２相対距離を算出し、前記第２相対距離に基づいて前記ズーム倍率の値を算出させ、
前記ズーム倍率の値を前記ズーム駆動回路に出力させる処理と、
を実行させる、
不揮発性コンピュータ読み取り可能記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、自動車などの移動体に搭載される撮影装置に関する。
【背景技術】
【０００２】
従来、運転者を支援するために、自動車などの移動体車両に搭載され、自車両が走行する前方に存在する走行の障害となる物体を、望遠レンズが搭載された撮影装置や、ズーム機能が搭載された撮影装置により認識する装置が知られている。
【０００３】
例えば、特許文献１の車両用画像認識装置は、画像情報を撮像すると共に画像情報を画像処理部へ出力する撮像機と、この撮像機の写角を可変にするズームレンズと、画像情報に所定の処理を加える画像処理部と、車速を感知し速度情報を出力する車速センサと、車速センサの出力した車速情報から写角を算出すると共にこの算出した写角に基づいてズームレンズの駆動を制御するズーム制御部とを備えている。このズーム制御部は、予め定められた車速の場合の写角を基準写角として保持しておき、速度情報によって示された車速が、基準写角の場合の車速よりも速いときには基準写角よりも写角を狭く取り、遅いときには写角を広く取るようにズームレンズを制御する認識対象サイズ維持機能を有している。
【０００４】
また特許文献２の車両用追突防止装置では、前方車両と自車両間の車間距離を測定している。そして、得られた車間距離と画像入力部の撮像倍率とが、前方車両を大きく撮像可能とする距離として設定された一定距離に応じて互いに対応付けされた相関情報を保持し、そのような倍率で前方車両の検出精度を向上することを開示している。
【０００５】
また特許文献３の走行環境情報取得装置では、移動体の移動方向にある対象物の位置と方向を検出している。そして、対象物の位置と方向から、対象物の種類毎に予め設定された対象物認識可能な画像サイズで撮像できるレンズの向き、レンズの焦点及びズームの設定からなるカメラ設定を算出することを開示している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平７−１０５４８１号公報
【特許文献２】特開平９−０２７１００号公報
【特許文献３】特開２００８−０６０９８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本開示の限定的ではない例示的なある実施形態は、撮影装置を搭載する移動物体が移動していても、対象物体の像を適切なサイズで撮影することができる装置を提供する。
【課題を解決するための手段】
【０００８】
本開示の一態様に係るズーム倍率算出装置は、移動体に搭載された撮像装置であって移動体の周囲にある物体を撮影する撮像装置のズーム駆動回路において用いられるズーム倍率の値を算出するズーム倍率算出装置であって、ズームの動作の遅延時間を示す第１情報を保持する記憶部と、物体をズーム撮影することを指示する第２情報を入力する第１入力部と、移動体に対する物体の相対距離を示す第３情報を入力する第２入力部と、移動体の移動速度を示す第４情報を入力する第３入力部と、物体をズーム撮影することを指示する第２情報を入力したときの第３情報が示す第１相対距離、ズームの動作の遅延時間を示す第１情報及び移動体の移動速度を示す第４情報を用いて、第１相対距離より移動体が物体に近接した第２相対距離を算出し、第２相対距離に基づいてズーム倍率の値を算出する演算部と、ズーム倍率の値をズーム駆動回路に出力する出力部とを備える。
【発明の効果】
【０００９】
本開示のある実施形態によれば、撮影装置が移動していても、対象物体の像を適切なサイズで撮影でき、安定して撮影物体を認識することができる。これにより、例えば、撮影物体が何であるか（例えば歩行者）を認識できる精度を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】本開示の例示的な実施形態における移動体用物体撮影装置のブロック図である。
【図２】本開示の例示的な実施形態における測距センサの動作を説明する図である。
【図３】本開示の例示的な実施形態におけるズーム倍率算出部の内部構成と動作を説明するブロック図である。
【図４】本開示の例示的な実施形態における撮影動作を示すフローチャートである。
【図５】本開示の例示的な実施形態におけるズーム制御動作を示すフローチャートである。
【図６Ａ】本開示の例示的な実施形態におけるズーム倍率が低い広角画像の模式図である。
【図６Ｂ】本開示の例示的な実施形態におけるズーム倍率が低い広角画像の模式図である。
【図７Ａ】本開示の例示的な実施形態におけるズーム倍率が高い望遠画像の模式図である。
【図７Ｂ】本開示の例示的な実施形態におけるズーム倍率が高い望遠画像の模式図である。
【図８】本開示の例示的な実施形態における撮影装置から物体位置までの相対距離とズーム動作開始からの時間との関係を示した図である。
【図９Ａ】本開示の例示的な実施形態における被写体像が画像フレームから逸脱した状態を示した望遠画像の模式図である。
【図９Ｂ】本開示の例示的な実施形態における被写体像が画像フレームから逸脱した状態を示した望遠画像の模式図である。
【図１０】本開示の例示的な実施形態における移動体用物体撮影装置のブロック図である。
【図１１】本開示の例示的な実施形態におけるズーム制御動作を示すフローチャートである。
【図１２】本開示の例示的な実施形態における移動体用物体撮影装置のブロック図である。
【図１３Ａ】本開示の例示的な実施形態におけるズーム制御動作を示すフローチャートである。
【図１３Ｂ】本開示の例示的な実施形態における撮影装置から物体位置までの相対距離とズーム動作開始からの時間との関係を示した図である。
【図１３Ｃ】本開示の例示的な実施形態における撮影装置から物体位置までの相対距離とズーム動作開始からの時間との関係を示した図である。
【図１４】本開示の例示的な実施形態における移動体用物体撮影装置のブロック図である。
【図１５Ａ】本開示の例示的な実施形態における撮影動作を示すフローチャートである。
【図１５Ｂ】本開示の例示的な実施形態におけるブレ補正動作を示すフローチャートである。
【図１６】本開示の例示的な実施形態における移動体用物体撮影装置のブロック図である。
【図１７Ａ】本開示の例示的な実施形態における物体位置がブレ補正の中心（画像の中心）と異なる画像を表した模式図である。
【図１７Ｂ】本開示の例示的な実施形態における物体位置がブレ補正の中心（画像の中心）と異なる画像を表した模式図である。
【図１８】本開示の例示的な実施形態における移動体用物体撮影装置のブロック図である。
【図１９】本開示の例示的な実施形態における移動体用物体撮影装置のブロック図である。
【図２０】本開示の例示的な実施形態における移動体用物体撮影装置のブロック図である。
【図２１】本開示の例示的な実施形態における撮影動作を示すフローチャートである。
【図２２】本開示の例示的な実施形態における移動体用物体撮影装置のブロック図である。
【図２３】本開示の例示的な実施形態における撮影動作を示すフローチャートである。
【図２４】本開示の例示的な実施形態における移動体用物体撮影装置のブロック図である。
【図２５】本開示の例示的な実施形態における撮影動作を示すフローチャートである。
【図２６】本開示の例示的な実施形態における移動体用物体撮影装置において、撮影対象となる物体が複数存在するときの動作を示した図である。
【発明を実施するための形態】
【００１１】
（本開示の技術の基礎となった知見）
一般に、自動車等の移動体車両において、前方走行領域における特定対象物体の画像情報を認識するために、固定焦点のレンズ系が用いられている。このため、対象物体が自車両の遠方に存在していた場合には、検出精度が低下してしまうという課題がある。さらに、高速走行時においては、自車両の制動距離が増加するため、遠方（１００ｍ以上）の対象物体を速やかに認識することが望まれる。このような課題を改善するために、特許文献１〜３の装置では、遠方の対象物体の画像情報を拡大できるズーム機能を有している。
【００１２】
しかしながら、ズームレンズを移動させて実現するズーム機能では、ズームレンズを所定の距離を移動させるための動作時間が必要となり、この動作遅延時間が高速走行における特定対象物の認識性能を劣化させる原因となる。例えば、時速１００ｋｍで高速走行した場合、車両は１秒間に約２８ｍも前方に移動している。その結果、特定対象物体と自車両との相対距離も約２８ｍ短くなる。従って、ズーム動作遅延時間が１秒であった場合では、ズームレンズが目標である所定位置に到達した時点で、特定対象物体はすでに約２８ｍ接近し、画像フレーム内での特定対象物体の占める大きさは変化することになる。
【００１３】
特許文献１では、自車両の速度情報をもとにズーム倍率を算出し、特許文献２および３では、前方対象物体と自車両との相対距離を逐次検出しズーム倍率を算出しているが、実際にはズームの動作遅延時間を想定しない限り、露光時点でのズームレンズの最適位置には到達していないことになる。
【００１４】
さらに、一般に、視野角（画角）が小さくなる望遠状態での撮影においては、原理的に画像ブレが発生しやすく、特に自動車等の移動体にズーム機能を搭載した場合、走行路面状態や自車両で発生する振動等によって画像ブレが発生するという課題がある。特許文献１〜３では、ズーム機能を導入している構成を提示しているが、画像ブレ補正手段については言及されていないため、実際には特定対象物体の認識性能の大幅な劣化が想定される。
【００１５】
画像ブレ補正を実現する手段としては、ブレ補正レンズを光軸方向に垂直な平面内で互いに直交する２方向へ移動させて行う光学ブレ補正手段と、画像処理により画像を電子的にずらして補正する電子ブレ補正手段に分類される。光学ブレ補正手段は、電子ブレ補正手段で発生する画像劣化がなく、良好なズーム画像を得るためには光学ブレ補正手段が選択され得る。しかしながら、光学ズーム手段と同様に、自動車等の移動体に搭載する場合は、ブレ補正レンズを移動させる駆動機構の寿命が課題となる。
【００１６】
特許文献３における撮影順序算出部は、必要な撮影時間を短縮し、物体識別に要する処理時間の短縮と、カメラの制御に要する所要時間の短縮と、カメラの負荷軽減によるカメラ寿命の延長とを可能にするという記述はあるが、光学ズーム手段の駆動機構への具体的な負担軽減策は提示されていない。また特許文献１〜３では、画像ブレ補正手段については言及されていないことに加えて、光学ブレ補正手段の駆動機構の負担軽減策も提示されていない。
【００１７】
本開示の一態様によれば、撮影装置を搭載する移動物体が移動していても、対象物体の像を適切なサイズで撮影し、安定して撮影物体を認識することができる。
【００１８】
本開示の一態様の概要は以下のとおりである。
【００１９】
（項目１）本開示の一態様であるズーム倍率算出装置は、移動体に搭載された撮像装置であって前記移動体の周囲にある物体を撮影する撮像装置のズーム駆動回路において用いられるズーム倍率の値を算出するズーム倍率算出装置であって、前記ズームの動作の遅延時間を示す第１情報を保持する記憶部と、前記物体をズーム撮影することを指示する第２情報を入力する第１入力部と、前記移動体に対する前記物体の相対距離を示す第３情報を入力する第２入力部と、前記移動体の移動速度を示す第４情報を入力する第３入力部と、前記物体をズーム撮影することを指示する前記第２情報を入力したときの前記第３情報が示す第１相対距離、前記ズームの動作の遅延時間を示す前記第１情報及び前記移動体の移動速度を示す前記第４情報を用いて、前記第１相対距離より前記移動体が前記物体に近接した第２相対距離を算出し、前記第２相対距離に基づいて前記ズーム倍率の値を算出する演算部と、前記ズーム倍率の値を前記ズーム駆動回路に出力する出力部とを備える。
【００２０】
（項目２）例えば上述の項目１に記載のズーム倍率算出装置において、前記記憶部は、前記ズームの動作の遅延時間を示す第１情報として、あるズーム倍率から別のズーム倍率への変更に要する時間を示す情報を記憶する。
【００２１】
（項目３）例えば上述の項目１または２に記載のズーム倍率算出装置において、前記第２入力部は、前記移動体に対する前記物体の相対角度を示す第５情報を入力し、前記演算部は、さらに前記移動体に対する前記物体の相対角度を示す前記第５情報を用いて、前記第２相対距離を算出する。
【００２２】
（項目４）例えば上述の項目１または２に記載のズーム倍率算出装置において、前記移動体の進行方向の方位角を示す第６情報を入力する第４入力部を備え、前記演算部は、さらに前記移動体の進行方向の方位角を示す前記第６情報に基づいて、前記第２相対距離を算出する。
【００２３】
（項目５）本開示の一態様である撮影装置は、上述の項目１から４のいずれかに記載のズーム倍率算出装置と、少なくとも１枚のレンズを含む光学系と、撮像面に結像された前記物体の像を画像信号に変換する撮像素子と、撮影する画像のズームを行うズーム駆動制御部と、前記移動体に対する前記物体の前記相対距離を算出して前記ズーム倍率算出装置に出力する距離算出部と、前記移動体の前記移動速度を算出して前記ズーム倍率算出装置に出力する速度算出部とを備える。
【００２４】
（項目６）例えば上述の項目５に記載の撮影装置は、前記移動体に対する前記物体の相対角度を算出して前記ズーム倍率算出装置に出力する角度算出部をさらに備える。
【００２５】
（項目７）例えば上述の項目５または６に記載の撮影装置は、前記移動体の進行方向の方位角を算出して前記ズーム倍率算出装置に出力する方位角算出部をさらに備える。
【００２６】
（項目８）例えば上述の項目５から７のいずれかに記載の撮影装置において、前記ズーム駆動制御部は、前記光学系を移動させて撮影画像の中心に前記物体の画像を位置させる制御を行う。
【００２７】
（項目９）例えば上述の項目５から８のいずれかに記載の撮影装置は、前記移動体の移動に伴うぶれを検出するブレ検出部と、撮影画像のぶれを抑制するブレ補正部とをさらに備える。
【００２８】
（項目１０）例えば上述の項目９に記載の撮影装置において、前記ズーム駆動制御部のズーム動作が完了してから前記物体の露光撮影を開始するまでの間において、前記ブレ補正部は駆動を開始する。
【００２９】
（項目１１）例えば上述の項目９に記載の撮影装置は、前記ズーム駆動制御部および前記ブレ補正部を制御して、前記物体を露光撮影中に前記物体の画像を撮影画像の同じ位置において同じサイズを維持させるブレ補正制御部をさらに備える。
【００３０】
（項目１２）例えば上述の項目１１に記載の撮影装置は、撮影画像から前記物体の動きベクトルを検出する動きベクトル検出部をさらに備え、前記ブレ補正制御部は、前記動きベクトルに基づいて前記ズーム駆動制御部および前記ブレ補正部を制御し、前記物体を露光撮影中に前記物体の画像を撮影画像の同じ位置において同じサイズを維持させる。
【００３１】
（項目１３）例えば上述の項目９から１２のいずれかに記載の撮影装置において、前記ブレ補正部は、前記光学系の光軸を偏心させて、画像のブレを補正する。
【００３２】
（項目１４）例えば上述の項目９から１２のいずれかに記載の撮影装置において、前記ブレ補正部は、前記光学系の光軸に直交する２軸及び前記光軸と並行する１軸の少なくとも１つの軸を中心に前記光学系を回転駆動させて、画像のぶれを補正する。
【００３３】
（項目１５）例えば上述の項目９から１２のいずれかに記載の撮影装置において、前記ブレ補正部は、前記光学系の前記レンズを前記光学系の光軸に対して直交する方向に変位させて、画像のぶれを補正する。
【００３４】
（項目１６）例えば上述の項目９から１２のいずれかに記載の撮影装置において、前記ブレ補正部は、前記撮像素子を光軸に直交する方向に変位させて、画像のぶれを補正する。
【００３５】
（項目１７）例えば上述の項目９から１２のいずれかに記載の撮影装置において、前記ブレ補正部は、前記撮像素子を光軸と並行する軸を中心に回転駆動させて、画像のぶれを補正する。
【００３６】
（項目１８）本開示の一態様である移動体は、上述の項目５から１７のいずれかに記載の撮影装置を備える。
【００３７】
（項目１９）本開示の一態様である制御方法は、移動体に搭載された撮像装置であって前記移動体の周囲にある物体を撮影する撮像装置のズーム駆動回路において用いられるズーム倍率の値を算出するズーム倍率算出装置の制御方法であって、前記ズーム倍率算出装置は、前記ズームの動作の遅延時間を示す第１情報を保持し、前記制御方法は、前記ズーム倍率算出装置に対して、前記物体の像をズームして撮影することを指示する第２情報を入力させ、前記移動体に対する前記物体の相対距離を示す第３情報を入力させ、前記移動体の移動速度を示す第４情報を入力させ、前記物体をズーム撮影することを指示する前記第２情報を入力したときの前記第３情報が示す第１相対距離、前記ズームの動作の遅延時間を示す前記第１情報及び前記移動体の移動速度を示す前記第４情報を用いて、前記第１相対距離より前記移動体が前記物体に近接した第２相対距離を算出し、前記第２相対距離に基づいて前記ズーム倍率の値を算出させ、前記ズーム倍率の値を前記ズーム駆動回路に出力させる。
【００３８】
（項目２０）本開示の一態様であるプログラムは、移動体に搭載された撮像装置であって前記移動体の周囲にある物体を撮影する撮像装置のズーム駆動回路において用いられるズーム倍率の値を算出するズーム倍率算出装置において実行されるプログラムであって、前記ズーム倍率算出装置は前記ズームの動作の遅延時間を示す第１情報を保持し、前記プログラムは、前記ズーム倍率算出装置に対して、前記物体をズームして撮影することを指示する第２情報を入力させる処理と、前記移動体に対する前記物体の相対距離を示す第３情報を入力させる処理と、前記移動体の移動速度を示す第４情報を入力させる処理と、前記物体をズーム撮影することを指示する前記第２情報を入力したときの前記第３情報が示す第１相対距離、前記ズームの動作の遅延時間を示す前記第１情報及び前記移動体の移動速度を示す前記第４情報を用いて、前記第１相対距離より前記移動体が前記物体に近接した第２相対距離を算出し、前記第２相対距離に基づいて前記ズーム倍率の値を算出させ、前記ズーム倍率の値を前記ズーム駆動回路に出力させる処理とを実行させる。
【００３９】
（項目２１）本開示の一態様である不揮発性コンピュータ読み取り可能記録媒体は、移動体に搭載された撮像装置であって前記移動体の周囲にある物体を撮影する撮像装置のズーム駆動回路において用いられるズーム倍率の値を算出するズーム倍率算出装置において実行されるプログラムを格納した不揮発性コンピュータ読み取り可能記録媒体であって、前記ズーム倍率算出装置は前記ズームの動作の遅延時間を示す第１情報を保持し、前記プログラムは前記ズーム倍率算出装置に対して、前記物体をズームして撮影することを指示する第２情報を入力させる処理と、前記移動体に対する前記物体の相対距離を示す第３情報を入力させる処理と、前記移動体の移動速度を示す第４情報を入力させる処理と、前記物体をズーム撮影することを指示する前記第２情報を入力したときの前記第３情報が示す第１相対距離、前記ズームの動作の遅延時間を示す前記第１情報及び前記移動体の移動速度を示す前記第４情報を用いて、前記第１相対距離より前記移動体が前記物体に近接した第２相対距離を算出し、前記第２相対距離に基づいて前記ズーム倍率の値を算出させ、前記ズーム倍率の値を前記ズーム駆動回路に出力させる処理とを実行させる。
【００４０】
本開示の一態様に係る、移動体に装着して進行方向の所定の領域にある物体を撮影する撮影装置によれば、撮影物体までの距離・移動体の移動速度・ズーム動作に必要とする時間（遅延時間）からズーム倍率値を算出することで、撮影装置が移動していても、対象物体の像を常時適切なサイズで撮影でき、安定して撮影物体を認識することができる。また、ズーム倍率が高い状態では、対象物体の像に割り当てられる画素数が多くなり、解像度を高くすることが可能となり、例えば撮影物体が歩行者であることを認識できる精度が向上する。
【００４１】
撮像光学系のズーム倍率を高くすることで、自動車の運転中に遠方に存在する歩行者を事前に出来るだけ早く且つ精度高く認識することができる。
【００４２】
また、移動体の操舵角の影響で撮影画像内での撮影物体位置が変化する影響を考慮して、ズーム倍率を設定してもよく、これにより、より安定して撮影物体の認識率を向上させることができる。
【００４３】
また、ズーム撮影時に影響の大きい画像ブレを光学的に補正してもよく、これにより、安定した望遠画像を撮影することができる。
【００４４】
また、ズーム駆動完了のタイミングに合わせてブレ補正を開始させてもよく、これにより、機械的な機構の動作を伴うブレ補正の動作時間を必要最小限に抑えることができ、ブレ補正機構の正常動作寿命を長くすることができる。
【００４５】
また、撮影物体までの相対距離、相対角度、移動速度、操舵角の情報に基づき、撮影物体の画像上の位置と動きを算出し、画像上での撮影物体像の動きを相殺するようにブレ補正制御を行ってもよい。これにより、撮影時の動きブレを抑え、長時間露出を可能とし、夜間等に効果を発揮する高感度撮影を実現することができる。
【００４６】
また、ブレ補正駆動部またはレンズ鏡筒駆動制御部が、移動体の角速度に基づいて光学的に画像ブレ補正を行ってもよく、これにより、対象物体の認識性能を向上させることができる。
【００４７】
また、ズーム動作またはレンズ鏡筒駆動の動作の完了に合わせて光学的ブレ補正を開始してもよく、これにより、光学的ブレ補正の駆動機構の寿命を向上させることができる。
【００４８】
以下、本開示の例示的な実施形態について図面を参照しながら説明する。
【００４９】
（第１の実施形態）
図１は、本開示の第１の実施形態における移動体用物体撮影装置５０１を示すブロック図である。撮像装置５０１は、撮像装置５０１が搭載された移動体の周囲にある物体を撮影する。図１を参照して、レンズ鏡筒１は、少なくとも１枚の光学レンズを含む撮像光学系２を機械的に保持および格納する。この例では、撮像光学系２は、光学レンズＬ１、Ｌ２、Ｌ３１、Ｌ３２、Ｌ４を含んでいる。撮像光学系２において光学レンズＬ２が光軸方向に移動することでズーミングを行い、光学レンズＬ４が光軸方向に移動することで合焦を行う。
【００５０】
なお、図１においては図の簡略化のために光学レンズＬ２、Ｌ４はあたかも１枚の光学レンズで構成されているかのように記載しているが、これに限られない。それぞれ複数枚の光学レンズを用いてズーミング並びに合焦を行う光学系を構成することも可能である。ズーム駆動制御部１１は、後述するズーム倍率算出部１０から出力される指令値に基づき、光学レンズＬ２を駆動してズーミングを行うモーター並びにモーターの制御回路であり、その少なくとも一部はズーム駆動回路とも称される。ズーム駆動制御部１１が光学レンズＬ２を駆動することにより、撮影する画像のズームが行われる。
【００５１】
撮像素子３は、撮像光学系２を介して入射した光が撮像面に結像して得られる物体像を電気信号に変換する。撮像素子３は、例えばＣＭＯＳイメージセンサやＣＣＤといわれる撮像素子である。デジタル信号処理部４１は、撮像素子３から出力された映像の電気信号（以下、画像信号と称す）に対し、輝度信号と色差信号の分離、ノイズ除去、先鋭度改善処理等のデジタル信号処理を施す。なお、本実施形態では撮像素子３の出力はデジタル信号であることを前提に説明するが、撮像素子３の出力がアナログ信号の場合は、撮像素子３とデジタル信号処理部４１の間に、信号をアナログからデジタルに変換するためのアナログ−デジタル変換部を設ければよいことは言うまでもない。
【００５２】
システム制御部４０は、撮像装置５０１全体の動作を制御する制御回路であり、各種の制御および判断を行う。システム制御部４０は、例えば撮像装置全体の処理の同期を取る等の動作を行う。システム制御部４０は、例えばマイクロコンピュータとメモリとを備え、マイクロコンピュータはメモリから読み出したコンピュータプログラムに基づいて動作する。システム制御部４０は、撮像装置５０１に含まれていてもよいし、撮像装置５０１外部の装置に設けられて、外部から撮像装置５０１の動作を制御してもよい。
【００５３】
測距センサ２０は、例えばミリ波レーダーのような物理的なセンサであり、前方に存在する物体との距離を測定するための情報を得るセンサである。相対位置算出部２１は、測距センサ２０によって得られた情報から、測距センサ２０の前方に物体があることの検出と、その前方にある物体と測距センサ２０との位置関係を算出する。本実施形態においては、撮像装置５０１を搭載する移動体（例えば自動車）と撮影対象物体の相対距離の算出は、相対位置算出部２１の相対距離算出部２３が行う。
【００５４】
移動速度センサ３０は、撮像装置５０１を搭載する移動体（例えば自動車）の移動速度を検出するための情報を得るセンサである。移動速度算出部３１は、移動速度センサ３０から得た情報から、移動体の速度（例えば時速）を算出する。
【００５５】
なお、測距センサ２０および移動速度センサ３０は、撮像装置５０１に含まれていてもよいし、撮像装置５０１外部に設けられて、外部から撮像装置５０１に情報を出力してもよい。例えば、測距センサ２０および移動速度センサ３０は、車体の一部に設けられていてもよい。
【００５６】
ズーム倍率算出部１０は、相対位置算出部２１と移動速度算出部３１で得られた前方物体の距離と移動体の速度から、撮像光学系２でズーミングを行う際のズーム倍率（もしくは焦点距離）を算出する。ズーム倍率算出部１０は、移動体の進行方向にある物体を撮影するときのズーム倍率の値を算出するズーム倍率算出装置の一例である。物体の像をズームして撮影するときに、移動体に対する物体の相対距離と、移動体の移動速度と、ズームの動作の遅延時間とに基づいて、ズーム倍率の値を算出する。ズーム倍率算出部１０は、算出したズーム倍率の値をズーム駆動制御部１１に出力する。ズーム駆動制御部１１は、入力したズーム倍率の値を用いてズーム動作を行う。ズーム倍率の値を算出する処理の詳細については後述する。
【００５７】
図２は、測距センサ２０の動作を説明する図である。図２では、本実施形態の撮像装置５０１を搭載する移動体２０１として、自動車を例示している。自動車２０１は路面２０２を走行しており、路面２０２上には対象物体２０３が存在している。この例では、対象物体２０３は歩行者である。
【００５８】
また、図２において、自動車２０１と歩行者２０３の間の２本の点線は、測距センサ２０が自動車の前方の物体を検出する範囲を示す。測距センサ２０（例えばミリ波レーダー）は電波を発信して、その反射波から前方の対象物の存在と距離に関する情報を得るが、本実施形態においてはあらかじめキャリブレーションを行っておくことで、路面２０２からの反射波は前方の対象物として検出しないとする。その結果、測距センサ２０は路面２０２上にある物体のみに関する情報を出力する。
【００５９】
図３は、ズーム倍率算出部１０の内部構成とその動作を説明するブロック図である。図３において、ズーム速度テーブル記憶部３０１は、レンズ鏡筒１において、あるズーム倍率から別のズーム倍率にズームする際に必要な動作時間（ズーム倍率の変更に要する時間）のデータを格納している。ズーム倍率の変更に要する時間のデータは例えばテーブルの形式でズーム速度テーブル記憶部３０１に格納されている。ズーム倍率メモリ３０２は、撮像光学系２のズーム倍率値を格納するメモリであり、メモリ制御部３０３はズーム倍率メモリ３０２へのデータの書き込み、およびズーム倍率メモリ３０２からのデータの読み出しを制御する。
【００６０】
ズーム倍率算出部１０には、物体をズーム撮影することを指示する情報が入力部３１１を介して入力され、移動体に対する物体の相対距離を示す情報が入力部３１２を介して入力され、移動体の移動速度を示す情報が入力部３１３を介して入力される。演算部３０４は、物体をズーム撮影することを指示する情報を入力したときの第１相対距離、ズームの動作の遅延時間を示す情報及び移動体の移動速度を示す情報を用いて、上記第１相対距離より移動体が物体に近接した第２相対距離を算出する。そして、第２相対距離に基づいてズーム倍率の値を算出する。算出されたズーム倍率の値は、出力部３１５を介してズーム駆動制御部１１に出力される。
【００６１】
演算部３０４は、システム制御部４０の指令の元に、相対位置算出部２１から提供される自動車２０１から歩行者２０３までの距離情報と、移動速度算出部３１から提供される自動車２０１の移動速度と、ズーム倍率メモリ３０２から読み出される撮像光学系２のズーム倍率値と、ズーム速度テーブル記憶部３０１を参照することで得られる撮像光学系２をズーム動作させる際に必要な動作時間とから、撮像光学系２のズーム倍率値を算出し、その結果を、メモリ制御部３０３を介してズーム倍率メモリ３０２に書き込むとともに、ズーム駆動制御部１１に送る。
【００６２】
図４は、本実施形態の撮影動作を示すフローチャートである。図４に示すフローチャートの手順に基づいて、システム制御部４０は、撮影動作の全体制御を行う。
【００６３】
最初に、ステップ０ａ０１では、ズーム倍率算出部１０がズーム倍率を算出する。次に、ズーム駆動制御部１１が上記算出倍率に合わせてズームを設定する。ズーム制御の動作は、図５のフローチャートを用いて説明する。
【００６４】
次に、ステップ０ａ０２では、ズーム動作完了に合わせて撮像素子３が撮影を行う。次に、ステップ０ａ０３では、デジタル信号処理部４１が上記撮像素子３から画像情報を取得する。ステップ０ａ０４において、システム制御部４０は上記デジタル信号処理部４１の処理後の画像情報を取得する。
【００６５】
図５は、本実施形態のズーム制御動作を示すフローチャートである。最初にステップ０ｂ０１では、相対距離算出部２３が物体と移動体との相対距離を算出する。例えば、相対距離は移動体の位置を０とし、物体までの距離を算出する。
【００６６】
次に、ステップ０ｂ０２では、移動速度算出部３１が移動体の移動速度を算出する。移動速度の算出は、移動体に設置したセンサ３０（車速センサやＧＰＳなど）で取得した信号から算出することができる。
【００６７】
次に、ステップ０ｂ０３では、ズーム倍率算出部１０がズーム倍率を算出する。ここでは、ズーム機構の動作の遅延時間経過後における移動体から見た物体の距離、移動体の移動速度に基づいて、ズーム倍率を幾何学的に算出する。
【００６８】
最後に、ステップ０ｂ０４では、上記ズーム倍率に基づいてズーム駆動制御部１１がズーム位置を変更する。
【００６９】
次に、図６Ａから図７Ｂを用いて本実施形態における動作をさらに説明する。
【００７０】
自動車２０１に設置された撮像装置５０１は、自動車２０１が自動、もしくは半自動にて走行する際に、走行方向の前方の物体、つまり障害物を検出し、運転者に警告を発するもしくは自動でブレーキを作動させる等の目的で利用される。一般に自動車に設置される撮像装置は広く被写界の物体を検出するために、広い画角（つまり短い焦点距離）を有する。これにより、自動車２０１の前方の広い範囲が撮像装置の撮像範囲となるため、より多くの障害物を検出できるメリットがある。
【００７１】
しかし、撮像装置に実装される撮像素子の画素数には製造上の限界があり、無限に多くの画素を設けることはできない。そのため、撮像光学系の画角が広ければ広いほど、撮影される被写体像に割り当てられる画素数は少なくならざるを得ない。例えば、図６Ａおよび図６Ｂは、撮像光学系２のズーム倍率が低く、画角が広角の場合の図であり、図７Ａおよび図７Ｂは、撮像光学系２のズーム倍率が高く、画角が望遠の場合の図である。ここで、図６Ａおよび図７Ａは撮影した画像を示し、図６Ｂおよび図７Ｂは撮像素子３上の像と画素（格子）との大小関係を示している。図６Ａおよび図６Ｂに示したように、撮像光学系２のズーム倍率が低く、画角が広角の場合には、路面２０２上に存在する歩行者２０３を撮影すると、歩行者２０３に割り当てられる撮像素子３の画素数が相対的に少なくなる。逆に、図７Ａおよび図７Ｂのように、撮像光学系２のズーム倍率が高く、画角が望遠の場合には、路面２０２上に存在する歩行者２０３を撮影すると、歩行者２０３に割り当てられる撮像素子３の画素数は相対的に多くなる。図６Ｂの場合のように歩行者２０３の像に割り当てられる画素数が少ないということは、歩行者２０３の像の解像度が低いことになり、撮影された映像からそれが歩行者であることを認識できる精度が低下する。逆に、図７Ｂの場合のように歩行者２０３の像に割り当てられる画素数が多いということは、歩行者２０３の像の解像度が高いことであり、撮影された映像からそれが歩行者であることを認識できる精度が向上する。
【００７２】
よって、自動車の走行中に、遠方に存在する歩行者を事前に出来るだけ早く且つ精度高く認識するためには、撮像光学系２のズーム倍率は高いほうが望ましい。しかし、ズーム倍率を高く設定すればするほど、撮影できる範囲が狭くなるため、撮影範囲外の物体を検出できなくなる場合がある。
【００７３】
この課題を解決するためには、認識したい物体の位置に応じて、撮像光学系２のズーム倍率を任意に変更し、物体の認識精度が低下しない程度の画素数で撮影できるようにすればよい。
【００７４】
そこで、相対位置算出部２１が前方の物体の存在を検出し、その物体との距離の算出結果に基づき撮像光学系２のズーム倍率を適切な倍率に変更することが考えられる。しかし、撮像光学系２のズーム倍率変更は、光学レンズＬ２の位置をモーター等で駆動して変更することで実現するため、遅延時間ゼロでズーム動作を実施することは不可能である。
【００７５】
図８を用いて、ズーム動作の遅延時間について説明する。図８において横軸はズーム動作開始からの時間を表し、縦軸は撮影装置５０１を基準位置とした相対距離を表す。太実線７０１は物体位置を示し、時間とともに物体が移動体に接近する様子を示す。これに対し、破線７０２は、ズーム位置を示す。図８に示すズーム位置とは、例えば、その時点におけるズーム状態で、物体認識に最適な大きさの物体像を得ることができる物体までの距離を示している。破線７０２は、遠方に位置する物体を狙ってズーム位置を移動している様子を示している。太実線７０１と破線７０２が交わる時刻までの時間がズームにおける遅延時間となる。
【００７６】
そのため、自動車２０１が移動している場合、ズーム動作中に自動車２０１と歩行者２０３の距離が短くなり、ズーム動作が完了した時点では、近づき過ぎて被写体像が撮像素子３の撮像範囲からはみ出してしまい、かえって歩行者の認識が出来ない状況が発生しうる。図９Ａおよび図９Ｂは、その状態での撮影画像を示した図である。
【００７７】
そこで本実施形態において、ズーム倍率算出部１０は、歩行者２０３までの距離と、自動車２０１の移動速度と、撮像光学系２がズーム動作に必要とする時間（上記遅延時間）から、ズーム動作完了時に適切な画角で歩行者２０３の像を撮影できる撮像光学系２のズーム倍率値を算出する。これは、図８において太実線７０１と破線７０２が交わる状態におけるズーム倍率に相当する。
【００７８】
これにより、自動車２０１が移動していても、歩行者２０３の像を常時適切なサイズで撮影できるため、歩行者２０３を安定して認識することが可能となる。
【００７９】
（第２の実施形態）
以下、本開示による撮影装置の第２の実施形態を説明する。
【００８０】
図１０は、本開示の第２の実施形態における撮影装置５０１のブロック図である。
【００８１】
第２の実施形態の撮影装置５０１では、第１の実施形態の撮影装置５０１の構成要素に加え、相対位置算出部２１が相対角度算出部２２を備える。相対角度算出部２２は、測距センサ２０によって得られた情報から、測距センサ２０から見た前方物体の相対角度を算出する。相対角度の検出は、例えばミリ波レーダーのような測距センサの物理的向きを変えながらセンシングすることや、アレイ状のレーダアンテナの信号位相を制御して方位選択性を持たせることで実現できる。ズーム倍率算出部１０は、その相対角度もさらに用いて、ズーム倍率値を算出する。
【００８２】
第２の実施形態の撮影装置５０１の動作を説明する。第２の実施形態における全体動作は、図４のフローチャートと同様であるが、ズーム駆動の動作が異なる。図１１は本実施形態のズーム駆動の動作を示す図である。ステップ１ｂ０１、１ｂ０３、１ｂ０５の動作は、図５のフローチャートに示した動作と同様である。本実施形態では、新たにステップ１ｂ０２で、相対角度算出部２２は、測距センサ２０から見た前方物体の相対角度を算出する。更に、ステップ１ｂ０４では、ズーム倍率算出部１０は、移動体から見た物体までの距離・相対角度（相対方位）・移動体の移動速度に基づいて、ズーム動作完了時に歩行者２０３の像が撮影画像内に収まるように撮像光学系２のズーム倍率値を算出する。例えば、対象物体が、走行中の移動体の斜め前方に位置している場合は、真正面に位置している場合と比較して、移動体と対象物体との距離が短くなる割合が小さくなる。そのため、対象物体の相対角度を考慮してズーム倍率値を算出することで、より適切なズーム倍率値を得ることができる。
【００８３】
本実施形態によれば、対象物体の相対角度を考慮して効率的に物体が撮影画像内に収まるようにズーム倍率を設定・撮影し、対象物体を安定して認識することができる。
【００８４】
（第３の実施形態）
以下、本開示による撮影装置の第３の実施形態を説明する。
【００８５】
図１２は、本開示の第３の実施形態における撮影装置５０１のブロック図である。
【００８６】
第３の実施形態の撮影装置５０１は、第２の実施形態の撮影装置５０１の構成要素に加え、操舵角センサ５０と移動角度算出部５１を備える。操舵角センサ５０は、移動体の移動方向を決める手段（車のステアリングや船の舵など）の設定状態をセンシングする。移動角度算出部５１は、上記設定状態に基づいて移動体の移動方向を決める手段の設定角度を算出する。本実施形態では、移動体が曲がっていく方向（進行方向の方位角）を移動角度算出部５１が算出し、ズーム倍率算出部１０は、移動体が曲がっていく方向（進行方向の方位角）にさらに基づいて、ズーム倍率値を算出する。
【００８７】
第３の実施形態の撮影装置５０１の動作を説明する。第３の実施形態における全体動作は、図４のフローチャートと同様であるが、ズーム駆動の動作が異なる。図１３Ａは、本実施形態のズーム駆動の動作を示すフローチャートである。ステップ２ｂ０１、２ｂ０２、２ｂ０４、２ｂ０６は図１１に示したフローチャートの動作と同様である。本実施形態では、新たにステップ２ｂ０３で、移動角度算出部５１が移動体の操舵角を算出する。更に、ステップ２ｂ０５では、ズーム倍率算出部１０は、算出された操舵角の情報を、入力部３１４を介して入力する。ズーム倍率算出部１０は、移動体から見た物体の距離・角度（方位）・操舵角・移動速度に基づいて、ズーム動作完了後の撮影時に歩行者２０３の像が撮影画像内に収まるように、撮像光学系２のズーム倍率値を算出する。
【００８８】
図１３Ｂおよび図１３Ｃを用いて、本実施形態のズーム倍率値を算出する処理を説明する。図８と同様に、図１３Ｂおよび図１３Ｃおいて、横軸はズーム動作開始からの時間を表し、縦軸は撮影装置５０１を基準位置とした相対距離を表す。図１３Ｂは、移動体が対象物体に近づく方向に操舵したときの状態を示している。例えば、対象物体が左前方にあり、移動体が左に曲がる場合がこれに該当する。この場合は、操舵角に応じて、対象物体が移動体に近づく速度は速くなるため、その分を考慮してズーム倍率値を算出することで、物体認識に最適な大きさの物体像を得ることができる。
【００８９】
また、図１３Ｃは、移動体が対象物体から遠ざかる方向に操舵したときの状態を示している。例えば、対象物体が左前方にあり、移動体が右に曲がる場合がこれに該当する。この場合は、操舵角に応じて、対象物体が移動体に近づく速度は遅くなるため、その分を考慮してズーム倍率値を算出することで、物体認識に最適な大きさの物体像を得ることができる。
【００９０】
本実施形態によれば、移動体の操舵角の影響で撮影画像内での物体位置が変化する影響を考慮して、ズーム倍率を設定することができ、対象物体をより安定して認識することができる。
【００９１】
（第４の実施形態）
以下、本開示による撮影装置の第４の実施形態を説明する。
【００９２】
図１４は、本開示の第４の実施形態における撮影装置５０１のブロック図である。
【００９３】
第４の実施形態の撮影装置５０１は、第３の実施形態の撮影装置５０１の構成要素に加え、角速度センサ７１とブレ補正制御部７０とブレ補正駆動部７３とを備える。
【００９４】
角速度センサ７１は、移動体もしくはレンズ鏡筒１の角速度（例えば水平方向と垂直方向の角速度）を計測する。角速度センサ７１は、移動体の移動に伴うブレを検出する。ブレ補正制御部７０は、角速度センサ７１で得られた角速度から、移動体もしくはレンズ鏡筒の角速度によって生じる画像のブレを相殺するようにブレ補正駆動部７３を制御する。ブレ補正の制御は、デジタルカメラの光学的ブレ補正と同様の制御を用いることができる。ブレ補正駆動部７３は、補正レンズＬ３（Ｌ３１、Ｌ３２）の位置制御により画像ブレを光学的に補正する。なお、本実施形態ではレンズＬ３の位置制御により画像ブレを補正したが、撮像素子３の位置制御による画像ブレ補正に置き換えても本実施形態の効果を得られる。
【００９５】
第４の実施形態の撮影装置５０１の動作を説明する。図１５Ａは、第４の実施形態の撮影装置５０１の動作を示すフローチャートである。第４の実施形態における全体動作は、図４のフローチャートと同等であるが、新たにステップ３ａ０２において、ブレ補正制御部７０が角速度センサ７１の測定値に基づいてブレ補正駆動部７３を制御して、（移動体もしくはレンズ鏡筒の角速度によって生じる）画像ブレを補正する。次に、ステップ３ａ０３において、ズーム動作およびブレ補正の動作完了に合わせて撮像素子３が撮影を実行する。ズーム駆動の動作は、図１３Ａに示す動作と同様である。
【００９６】
光学的ブレ補正の方法としては、例えば、特許第１５８９１８９号に記載の光学的ブレ補正の方法を採用することもできる。参考のために特許第１５８９１８９号の記載内容を本明細書に援用する。特許第１５８９１８９号では、例えば、振動ジャイロを用いて角速度を測定し、ミラーを動かしたり、レンズと撮像部全体を動かしたりしてブレ補正を行っている。
【００９７】
図１５Ｂは、光学的ブレ補正の例を示す図である。ブレ補正制御部７０は、ブレ補正駆動部７３を用いて補正レンズＬ３の位置を制御して、画像のブレを補正する。ブレ補正では、レンズＬ３１、Ｌ３２を同じ方向に動かしてもよいし、互いに別々の方向に動かしてもよい。
【００９８】
例えば、ブレ補正制御部７０は、補正レンズＬ３の光軸１５０を偏心させることで、画像のブレを補正する。また、例えば、ブレ補正制御部７０は、光軸１５０に直交する２軸１５１、１５２、および光軸１５０と並行する１軸（光軸１５０でもよい）の少なくとも１つの軸を中心に補正レンズＬ３を回転駆動させる（例えば、回転方向１６０、１６１、１６２）ことで、画像のぶれを補正してもよい。また、例えば、ブレ補正制御部７０は、補正レンズＬ３を光軸１５０に直交する２軸１５１、１５２の方向に変位させることで、画像のぶれを補正してもよい。
【００９９】
また、ブレ補正制御部７０は、ブレ補正駆動部７３を用いて撮像素子３の位置を制御して、画像のブレを補正してもよい。例えば、ブレ補正制御部７０は、撮像素子３を光軸１５０に直交する方向１５１、１５２に変位させることで、画像のぶれを補正してもよい。また、例えば、ブレ補正制御部７０は、撮像素子３を光軸１５０と並行する軸（光軸１５０でもよい）を中心に回転駆動することで、画像のぶれを補正してもよい。
【０１００】
本実施形態によれば、ズーム撮影時に影響の大きい画像ブレを光学的に補正した画像を撮影することができる。これにより、対象物体をより安定して認識することができる。
【０１０１】
（第５の実施形態）
以下、本開示による撮影装置の第５の実施形態を説明する。
【０１０２】
図１６は、本開示の第５の実施形態における撮影装置５０１のブロック図である。
【０１０３】
第５の実施形態の撮影装置５０１は、実施形態４の撮影装置５０１の構成要素に加え、物体位置算出部２４を備える。物体位置算出部２４は、相対位置算出部２１および移動速度算出部３１および移動角度算出部５１のそれぞれから得られる物体の距離・相対角度・移動速度・操舵角に基づき、撮影時の物体の画像上の位置を算出する。ブレ補正制御部７０は、上記物体の位置をブレ補正の補正中心に設定するようにブレ補正駆動部７３を制御する。ブレ補正制御部７０は、撮影画像の中心に対象物体の画像が位置するように、レンズＬ３の位置を調整する。
【０１０４】
第５の実施形態における全体動作は、図１５Ａのフローチャートと同様であるが、ブレ補正制御部７０は、上記物体位置をブレ補正の補正中心に設定するようにブレ補正駆動部７３を制御する。
【０１０５】
ブレ補正の中心（画像の中心）が物体位置と異なると、例えば図１７Ａおよび図１７Ｂに示すような配置になる。この状態では、歩行者２０３は撮影画像内に収まっているが、画像の周辺に写っている。
【０１０６】
このため、ブレ補正を行うためにレンズＬ３を動かすと歩行者２０３の像が容易に画像フレームから逸脱する。すなわちブレ補正の有効範囲が狭くなる。そこで、レンズＬ３を歩行者２０３が中心に写る位置に設定することで、図７Ａおよび図７Ｂに示すような画像を得ることができる。
【０１０７】
図１７Ａおよび図１７Ｂに示した画像フレームの状態でブレ補正を行うことで、歩行者２０３が画像からはみ出ることなくブレ補正を有効に機能させることが可能になる。
【０１０８】
本実施形態によれば、対象物体（歩行者２０３）に対して効果的にブレ補正を行うことができ、対象物体をより安定して認識することができる。
【０１０９】
なお、本実施形態では物体位置算出部２４は、相対位置算出部２１および移動速度算出部３１および移動角度算出部５１のそれぞれから得られる物体の距離・相対角度・移動速度・操舵角に基づき、撮影時の物体の画像上の位置を算出したが、物体の距離・相対角度・移動速度・操舵角のうちの一部は、予め定めた固定値で近似してもよい。即ち、物体の距離・相対角度・移動速度・操舵角の少なくとも一つ以上の入力に基づいて物体位置を決定しても本実施形態の効果は得られる。
【０１１０】
（第６の実施形態）
以下、本開示による撮影装置の第６の実施形態を説明する。
【０１１１】
図１８は、本開示の第６の実施形態における撮影装置５０１のブロック図である。
【０１１２】
第６の実施形態の撮影装置５０１の構成要素および動作は、実施形態５の撮影装置５０１と同様であるが、ブレ補正制御部７０の動作が異なる。実施形態６では、ブレ補正制御部７０は、ズーム駆動制御部１１のズーム駆動完了のタイミングに合わせてブレ補正を開始する。例えば、ズーム動作が完了してから対象物体の露光撮影を開始するまでの間において、ブレ補正を開始する。これにより、機械的な機構の動作を伴うブレ補正の動作時間を必要最小限に抑えることができ、上記機構の正常動作寿命を長くする効果がある。なお、上記タイミングとは、ズーム駆動完了のタイミングに依存していれば、駆動完了の前でも後でもよい。
【０１１３】
（第７の実施形態）
第７の実施形態の撮影装置５０１の構成は、第６の実施形態の撮影装置５０１の構成と同様であるが、物体位置算出部２４、ブレ補正制御部７０、ズーム倍率算出部１０、ズーム駆動制御部１１の動作が異なる。
【０１１４】
第７の実施形態では、物体位置算出部２４は、相対位置算出部２１および移動速度算出部３１および移動角度算出部５１のそれぞれから得られる物体の距離・相対角度・移動速度・操舵角の１つ以上に基づき、撮影時の物体の画像上の位置と動きを算出する。ブレ補正制御部７０は、上記位置と動きに基づいて、画像上の物体像の動きを相殺するようにブレ補正駆動部７３を制御する。これにより、移動物体の動きおよび物体の動きに起因する撮影時の動きブレを抑え、長時間露出を可能とし、高感度の撮影を実現することができる。
【０１１５】
また、ズーム倍率算出部１０は、物体位置算出部２４が相対位置算出部２１および移動速度算出部３１および移動角度算出部５１のそれぞれから得られる物体の距離・相対角度・移動速度・操舵角の１つ以上に基づき、撮影時のズーム倍率と画像上の物体像の大きさ変化率（像倍率変化）を算出する。ズーム駆動制御部１１は、上記ズーム倍率を基準とし、撮影時に露光中の像倍率変化を相殺するようにズーム倍率を変化させる。例えば、ブレ補正制御部７０は、対象物体を露光撮影中に対象物体の画像が撮影画像の同じ位置において同じサイズを維持するように、ズーム駆動制御部１１およびブレ補正駆動部７３を動作させる。これにより、移動物体の動きおよび物体の動きに起因する撮影時の像倍率変化を抑え、長時間露出を可能とし、高感度の撮影を実現することができる。
【０１１６】
図８を用いてズーム動作を説明する。ズーム駆動制御部１１は、ズーム動作開始から遅延時間経過後に、対象物体を所望の大きさに撮影できるように制御するが、露光中にも物体位置は変化する。特に、望遠撮影により光量不足となりやすい条件下では露出時間を長くすることが望ましい。そこで、物体位置の変化７０１に合わせてズーム位置を変化させる（破線７０３）。破線７０２の動作では、目標のズーム位置までの遷移時間が最短になるようにズーム位置を制御する。一方、破線７０３の動作では、物体位置の変化（予測値又は測定値）に合わせる連続的位置制御に切り替えて、露光中の撮像サイズを一定にする。
【０１１７】
なお、本実施形態では、対象物体の動きおよびその物体の動きに起因する撮影時のブレと像倍率変化を同時に抑える動作を説明したが、どちらか一方のみを行っても、長時間露出を可能とし、高感度の撮影を実現することができる。
【０１１８】
（第８の実施形態）
以下、本開示による撮影装置の第８の実施形態を説明する。
【０１１９】
図１９は、本開示の第８の実施形態における撮影装置５０１のブロック図である。
【０１２０】
第８の実施形態の撮影装置５０１の構成要素は、第７の実施形態の撮影装置５０１と同等であるが、新たに動きベクトル検出部８０を備える。動きベクトル検出部８０は、システム制御部４０が取得した撮影画像の時系列から、画像内における物体の動きベクトルを検出する。動きベクトルの検出は、オプティカルフローやブロックマッチングなどの手法を用いて行うことができる。ブレ補正制御部７０は、上記動きベクトルを相殺するようにブレ補正駆動部７３を制御する。例えば、ブレ補正制御部７０は、動きベクトルを相殺することで、対象物体を露光撮影中に対象物体の画像が撮影画像の同じ位置において同じサイズを維持するように、ズーム駆動制御部１１およびブレ補正駆動部７３を動作させる。
【０１２１】
これにより、移動物体の動きおよび物体の動きに起因する撮影時のブレを抑え、長時間露出を可能とし、高感度の撮影を実現することができる。特に、画像処理による動きベクトル検出を詳細に行うことで、複雑な物体の動きを高精度で検出し、ブレ補正の精度を高めることが可能である。
【０１２２】
（第９の実施形態）
以下、本開示による撮影装置の第９の実施形態を説明する。
【０１２３】
図２０に、本開示の第９の実施形態の撮影装置５０１のブロック図を示す。
【０１２４】
第９の実施形態の撮影装置５０１の構成要素は、第６の実施形態の撮影装置５０１と同等であるが、新たに照準位置算出部７４とレンズ鏡筒駆動制御部８１とを備える。照準位置算出部７４は、物体位置算出部２４が算出した物体位置に基づいて、レンズ鏡筒１の撮影位置（照準位置）を算出する。レンズ鏡筒駆動制御部８１は、上記照準位置にレンズ鏡筒１を向くようにレンズ鏡筒１を制御する。
【０１２５】
第９の実施形態における全体動作を、図２１のフローチャートに示す。
【０１２６】
ステップ２０ａ０１、２０ａ０４〜２０ａ０６の動作は第６の実施形態と同様であるが、新たにステップ２０ａ０２においてレンズ鏡筒駆動制御部８１が、レンズ鏡筒１を照準位置に向くように制御する。更にステップ２０ａ０３では、ブレ補正制御部７０がズーム駆動およびレンズ鏡筒駆動の完了に合わせてブレ補正駆動部７３を駆動してブレを補正する。
【０１２７】
例えば、レンズ鏡筒駆動制御部８１は、レンズ鏡筒１を光軸９０に対して直交する２軸９１、９２の方向に変位させることで、ブレを補正してもよい。また、例えば、レンズ鏡筒駆動制御部８１は、光軸９０および光軸９０に直交する２軸９１、９２の少なくとも１つの軸を中心にレンズ鏡筒１を回転駆動させる（例えば、回転方向１００、１０１、１０２）ことで、ブレを補正してもよい。
【０１２８】
これにより、撮影時に物体を画像内の中心付近に配置して撮影することができ、ズーム倍率を大きく設定した撮影が可能になるとともに、ブレ補正の有効範囲（物体が画像からはみ出ない）を大きく設定することができる。その結果、撮影物体の認識精度を向上させることができる。また、ズーム駆動およびレンズ鏡筒の駆動完了に合わせてブレ補正を駆動することでブレ補正の機構の駆動時間を必要最小限に抑えることができる。
【０１２９】
（第１０の実施形態）
以下、本開示による撮影装置の第１０の実施形態を説明する。
【０１３０】
図２２に、本開示の第１０の実施形態の撮影装置５０１のブロック図を示す。
【０１３１】
第１０の実施形態の撮影装置５０１の構成要素は、第９の実施形態の撮影装置５０１と同等であるが、ブレ補正駆動部７３とブレ補正制御部７０と照準位置算出部７４とが除かれ、新たにブレ補正駆動部７３の機能をレンズ鏡筒駆動制御部８１が担い、ブレ補正制御部７０と照準位置算出部７４の機能を照準位置・画像ブレ補正制御部７５が担う。照準位置・画像ブレ補正制御部７５は、物体位置算出部２４が算出した物体位置と角度センサ７１が検出したレンズ鏡筒１の角速度に基づき、物体位置を中心としてレンズ鏡筒１の角速度ブレを相殺するようにレンズ鏡筒駆動制御部８１を制御する。
【０１３２】
第１０の実施形態の全体動作を、図２３のフローチャートに示す。
【０１３３】
ステップ２１ａ０１、２１ａ０４、２１ａ０５の動作は第９の実施形態と同様であるが、新たにステップ２１ａ０２においてレンズ鏡筒駆動制御部８１が、照準位置を中心にブレを相殺するようにレンズ鏡筒１を駆動し、ステップ２１ａ０３においてズーム駆動およびレンズ鏡筒駆動の完了に合わせて撮像素子３が撮影を実行する。
【０１３４】
レンズ鏡筒１の駆動により、レンズ鏡筒１のブレ（角速度）成分を除去することができるため、レンズ鏡筒１のブレ（角速度）成分が大きい場合でもブレを相殺することが可能になる。
【０１３５】
（第１１の実施形態）
以下、本開示による撮影装置の第１１の実施形態を説明する。
【０１３６】
図２４に、本開示の第１１の実施形態の撮影装置５０１のブロック図を示す。
【０１３７】
第１１の実施形態の撮影装置５０１の構成要素は、第１０の実施形態の撮影装置５０１と同等であるが、新たにブレ補正駆動部７３とハイパスフィルタ（ＨＰＦ）７６とローパスフィルタ（ＬＰＦ）７５とを備える。ブレ補正駆動部７３は、照準位置・画像ブレ補正制御部７５が算出した照準位置とブレ補正量に基づいて、高周波のブレ成分に対する光学ブレ補正を行う。高周波のブレ補正では、ＨＰＦ７６が選択した高周波ブレ補正信号によりレンズＬ３の位置制御を行う。低周波のブレ成分に対する補正およびレンズ鏡筒１を照準位置に向ける駆動については、ＬＰＦ７５が選択した低周波ブレ補正信号に基づいてレンズ鏡筒駆動制御部８１が補正および照準位置に向けた鏡筒駆動を行う。
【０１３８】
第１１の実施形態の全体動作を、図２５のフローチャートに示す。
【０１３９】
ステップ２２ａ０１、２２ａ０５、２２ａ０６の動作は、第１０の実施形態と同様であるが、新たにステップ２２ａ０２においてレンズ鏡筒駆動制御部８１が、照準位置を中心に低周波成分のブレを相殺するようにレンズ鏡筒１を駆動する。次に、ステップ２２ａ０３において、レンズ鏡筒１の駆動およびズーム駆動の完了に合わせて、ブレ補正駆動部７３が高周波のブレ成分を補正する。次に、ステップ２２ａ０４では、ズーム駆動・レンズ鏡筒駆動・ブレ補正の完了に合わせて撮像素子３が撮影を実行する。
【０１４０】
このように、レンズ鏡筒１の駆動による低周波のブレ補正とレンズＬ３の駆動による高周波のブレ補正を統合することで広帯域のブレ補正を実現できる。これにより、安定した撮影と物体認識が可能となる。
【０１４１】
なお、上述した撮影装置５０１の構成要素の一部機能はソフトウェアとして実現されてもよい。例えば、コンピュータである汎用のプロセッサが、不揮発性のコンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラムを実行することにより、上述した機能を実現してもよい。さらに、撮影装置５０１の構成要素の一部は、上述のコンピュータプログラムが組み込まれた、いわゆるデジタル信号プロセッサ（ＤＳＰ）のような、１つまたは複数のチップ回路として実現されてもよい。
【０１４２】
第１〜第１１の実施形態の撮影動作の例を、図２６に示す。例えば、測距センサが物体Ａ、Ｂ、Ｃの存在を確認しても、その物体ＢとＣが、自動車なのか歩行者なのかを認識していない場合、ズーム撮影することで、物体ＢとＣが何なのかを認識することができる。物体Ｂと物体Ｃのように、認識すべき対象の撮影物体が複数存在した場合においては、相対距離がより近い撮影物体もしくは、相対距離の変化が大きい撮影物体から順次ズーム動作を行い、速やかに認識をさせることにより、衝突等の危険を回避させることができる。また、物体ＢとＣを認識した後、ズームの状態を元に戻すことができることは言うまでもない。
【産業上の利用可能性】
【０１４３】
本開示の撮像装置は、車両・船舶・飛行体・移動ロボット等の移動体に搭載される撮像装置として有用である。また、本開示の構成要素の機能の少なくとも一部は、コンピュータプログラムによって実現されてもよい。さらに本開示の構成要素は、そのようなコンピュータプログラムを１つまたは複数の回路に組み込んだＤＳＰ等のハードウェアとして実現され得る。
【符号の説明】
【０１４４】
１  レンズ鏡筒
Ｌ１，２，３，３１，３２，４  光学レンズ
２  撮像光学系
３  撮像素子
１１  ズーム駆動制御部
１０  ズーム倍率算出部
２０  測距センサ
２１  相対位置算出部
２２  相対角度算出部
２３  相対距離算出部
２４  物体位置算出部
３０  移動速度センサ
３１  移動速度算出部
４０  システム制御部
４１  デジタル信号処理部
５０  操舵角センサ
５１  移動角度算出部
７０  ブレ補正制御部
７１  角速度センサ
７３  ブレ補正駆動部
７４  照準位置算出部
７５  ローパスフィルタ（ＬＰＦ）
７６  ハイパスフィルタ（ＨＰＦ）
８０  動きベクトル検出部
８１  レンズ鏡筒駆動制御部
２０１  移動体
２０２  路面
２０３  物体（歩行者）
３０１  ズーム速度テーブル記憶部
３０２  ズーム倍率メモリ
３０３  メモリ制御部
３０４  演算部
【図１】
2015195569.tif 000003
【図２】
2015195569.tif 000004
【図３】
2015195569.tif 000005
【図４】
2015195569.tif 000006
【図５】
2015195569.tif 000007
【図６Ａ】
2015195569.tif 000008
【図６Ｂ】
2015195569.tif 000009
【図７Ａ】
2015195569.tif 000010
【図７Ｂ】
2015195569.tif 000011
【図８】
2015195569.tif 000012
【図９Ａ】
2015195569.tif 000013
【図９Ｂ】
2015195569.tif 000014
【図１０】
2015195569.tif 000015
【図１１】
2015195569.tif 000016
【図１２】
2015195569.tif 000017
【図１３Ａ】
2015195569.tif 000018
【図１３Ｂ】
2015195569.tif 000019
【図１３Ｃ】
2015195569.tif 000020
【図１４】
2015195569.tif 000021
【図１５Ａ】
2015195569.tif 000022
【図１５Ｂ】
2015195569.tif 000023
【図１６】
2015195569.tif 000024
【図１７Ａ】
2015195569.tif 000025
【図１７Ｂ】
2015195569.tif 000026
【図１８】
2015195569.tif 000027
【図１９】
2015195569.tif 000028
【図２０】
2015195569.tif 000029
【図２１】
2015195569.tif 000030
【図２２】
2015195569.tif 000031
【図２３】
2015195569.tif 000032
【図２４】
2015195569.tif 000033
【図２５】
2015195569.tif 000034
【図２６】
2015195569.tif 000035