(57)【要約】  本開示は、動きにより画像が受ける影響を確実に補正することができるようにする撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法に関する。駆動制御部は、物理的に検出される撮像部の動きに基づいて、光学系および撮像部の少なくとも一方を相対的に移動させて撮像部により撮像される画像に表れるブレの光学的な補正を行う際の移動量を求め、光学系および撮像部の少なくとも一方の駆動を制御する。信号処理部は、駆動制御部による制御に従って駆動された光学系または撮像部の位置が検出された位置情報、および、物理的に検出される撮像部の動きを表す動き情報に基づいて、画像上の座標ごとに同期させた位置情報および動き情報を基に位置を変換する関数に従って、撮像部の動きが画像に与える影響を補正する信号処理を施す。本技術は、例えば、積層型のCMOSイメージセンサに適用できる。
2018025659.tif 000002
【特許請求の範囲】
【請求項１】
被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部と、
物理的に検出される前記撮像部の動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレの光学的な補正を行う際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御する駆動制御部と、
前記駆動制御部による制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報に基づいて、前記画像上の座標ごとに同期させた前記位置情報および前記動き情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部と
を備える撮像装置。
【請求項２】
前記位置情報および前記動き情報、並びに、前記位置情報および前記動き情報と前記画像上の座標とを同期させるタイミングを示すタイミング情報を、前記撮像部により撮像された画像とともに前記信号処理部に供給するロジック部
をさらに備える請求項１に記載の撮像装置。
【請求項３】
前記ロジック部は、前記位置情報および前記動き情報を、前記タイミング情報とともに前記画像に付加して出力する
請求項２に記載の撮像装置。
【請求項４】
前記ロジック部は、前記タイミング情報として、前記画像の垂直方向位置を示す情報を、その垂直方向位置の１ライン単位で前記位置情報および前記動き情報に対応付けて出力する
請求項２に記載の撮像装置。
【請求項５】
前記撮像部および前記ロジック部が積層されて構成されるイメージセンサ
をさらに備え、
前記イメージセンサから前記信号処理部に、前記画像とともに、前記位置情報、前記動き情報、および前記タイミング情報が供給される
請求項２に記載の撮像装置。
【請求項６】
前記駆動制御部により求められた前記移動量に従って前記光学系および前記撮像部の少なくとも一方を駆動し、その駆動に従った前記光学系または前記撮像部の位置を検出して前記位置情報を前記駆動制御部に供給する駆動部
をさらに備える請求項１に記載の撮像装置。
【請求項７】
前記撮像部の動きを物理的に検出し、前記動き情報を前記駆動制御部に供給する検出部
をさらに備え、
前記駆動制御部から前記ロジック部に、前記位置情報および前記動き情報が供給される
請求項２に記載の撮像装置。
【請求項８】
前記ロジック部は、前記撮像部が露光を行う露光タイミングに従って、前記光学的な補正の実行または停止を指示する制御情報を生成して前記駆動制御部に供給し、
前記駆動制御部は、前記制御情報に基づいて、前記光学的な補正が実行中である期間において、前記光学系および前記撮像部の少なくとも一方の駆動を制御して、前記撮像部により撮像される画像に表れるブレの光学的な補正を行わせ、前記光学的な補正が停止中であるにおいて、前記光学系または前記撮像部をセンタ位置に引き戻すように駆動を制御する
請求項２に記載の撮像装置。
【請求項９】
前記駆動制御部は、前記制御情報が前記光学的な補正の停止を指示している期間が、前記光学系または前記撮像部をセンタ位置まで引き戻すのに必要な時間より短い場合、その期間内で移動させることができる範囲で前記光学系または前記撮像部をセンタの方向に移動させるように駆動を制御する
請求項７に記載の撮像装置。
【請求項１０】
前記信号処理部は、短い露光時間で連続的に撮像された複数枚の連続画像が重ね合わされた静止画像を出力する処理を行う際に前記信号処理を施す
請求項１に記載の撮像装置。
【請求項１１】
被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部と、
物理的に検出される前記撮像部の動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレを光学的に補正する際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御する駆動制御部による制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報を、前記撮像部により撮像された画像に付加する処理を行い、前記位置情報および前記動き情報に基づいて、前記画像上の座標ごとに同期させた前記位置情報および前記動き情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部に出力するロジック部と
を備える固体撮像素子。
【請求項１２】
被写体からの光を集光する光学系と、
前記光学系を介して、前記被写体を撮像する撮像部と、
物理的に検出される前記撮像部の動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレの光学的な補正を行う際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御する駆動制御部と、
前記駆動制御部による制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報に基づいて、前記画像上の座標ごとに同期させた前記位置情報および前記動き情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部に、前記位置情報および前記動き情報、並びに、前記位置情報および前記動き情報と前記画像上の座標とを同期させるタイミングを示すタイミング情報を、前記撮像部により撮像された画像とともに前記信号処理部に供給するロジック部と
を備えるカメラモジュール。
【請求項１３】
被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部の物理的に検出される動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレを光学的に補正する際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御し、
その制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報を、前記撮像部により撮像された画像に付加する処理を行い、前記位置情報および前記動き情報に基づいて、前記画像上の座標ごとに同期させた前記位置情報および前記動き情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部に出力するロジック部に、前記位置情報および前記動き情報を供給する
駆動制御部。
【請求項１４】
被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部の物理的に検出される動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレを光学的に補正する際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御し、
その制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報に基づいて、前記画像上の座標ごとに同期させた前記位置情報および前記動き情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す
ステップを含む撮像方法。
【請求項１５】
前記位置情報および前記動き情報を、前記位置情報および前記動き情報を取得したタイミングで露光されていた前記画像の垂直方向位置を示すタイミング情報とともに、前記撮像部により撮像された画像に付加する処理を行うステップ
をさらに含む請求項１４に記載の撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法に関し、特に、動きにより画像が受ける影響を確実に補正することができるようにした撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法に関する。
【背景技術】
【０００２】
従来、撮像装置において手振れを補正する技術として、光学式手振れ補正（OIS：Optical Image Stabilizer）または電子式手振れ補正（EIS：Electronic Image Stabilization）が利用されている。光学式手振れ補正では、ブレ量に応じてレンズまたは撮像素子を相対的に平行に移動させて、撮像素子上の画像の位置をずらすことによりブレを補正することができる。電子式手振れ補正では、撮像素子により撮像された画像を切り出して出力画像とし、その切り出し位置をブレ量に応じてずらすことによりブレを補正することができる。【０００３】
ところで、実際の手振れの主な原因は回転の動きであり、平行移動による影響は小さく、特に、被写体までの距離が遠くなればなるほど、平行移動による影響は小さくなる。光学式手振れ補正技術においては、この回転の動きをレンズまたは撮像素子の平行移動で補正するため、周辺が変形してしまうことがあった。同様に、電子式手振れ補正においても、切り出し位置を平行に移動させる補正であるため、周辺が変形してしまうという問題があった。【０００４】
また、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサのようなローリングシャッタを用いた撮像素子で発生する画素のラインごとの露光時間のズレによる一画面内での移動量の違いによる変形（フォーカルプレーン現象）に対する対応は行われていなかった。【０００５】
そこで、特許文献１に開示されているように、画像面内での位置による移動量の違いや、一画面内での露光時間のズレによる移動量の違いに対応して手振れ補正を行うことができる撮像装置が提案されている。この手振れ補正を採用することで、中央から周辺まで非常に精度良く手振れを補正することができるのに加え、フォーカルプレーン現象による変形も補正することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】国際公開第２０１４／１５６７３１号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、日中の屋外などにおいて短い露光時間で撮像が行われる場合には、上述した特許文献１の手振れ補正を行うことで、手振れによる影響をほぼ完全に補正して、画像にブレおよび変形が発生することを抑制することができる。しかしながら、暗所や夜間などにおいて長い露光時間で撮像が行われる場合には、上述した特許文献１の手振れ補正を行うことで、画像にブレおよび変形が発生することを補正することはできるものの、露光中の点像のブレ（以下、露光時間内ブレと称する）の発生を抑制することは困難であった。【０００８】
本開示は、このような状況に鑑みてなされたものであり、露光時間内ブレの発生を抑制し、動きにより画像が受ける影響を確実に補正することができるようにするものである。
【課題を解決するための手段】
【０００９】
本開示の一側面の撮像装置は、被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部と、物理的に検出される前記撮像部の動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレの光学的な補正を行う際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御する駆動制御部と、前記駆動制御部による制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報に基づいて、前記画像上の座標ごとに同期させた前記位置情報および前記動き情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部とを備える。【００１０】
本開示の一側面の固体撮像素子は、被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部と、物理的に検出される前記撮像部の動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレを光学的に補正する際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御する駆動制御部による制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報を、前記撮像部により撮像された画像に付加する処理を行い、前記位置情報および前記動き情報に基づいて、前記画像上の座標ごとに同期させた前記位置情報および前記動き情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部に出力するロジック部とを備える。【００１１】
本開示の一側面のカメラモジュールは、被写体からの光を集光する光学系と、前記光学系を介して、前記被写体を撮像する撮像部と、物理的に検出される前記撮像部の動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレの光学的な補正を行う際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御する駆動制御部と、前記駆動制御部による制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報に基づいて、前記画像上の座標ごとに同期させた前記位置情報および前記動き情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部に、前記位置情報および前記動き情報、並びに、前記位置情報および前記動き情報と前記画像上の座標とを同期させるタイミングを示すタイミング情報を、前記撮像部により撮像された画像とともに前記信号処理部に供給するロジック部とを備える。【００１２】
本開示の一側面の駆動制御部は、被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部の物理的に検出される動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレを光学的に補正する際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御し、その制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報を、前記撮像部により撮像された画像に付加する処理を行い、前記位置情報および前記動き情報に基づいて、前記画像上の座標ごとに同期させた前記位置情報および前記動き情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部に出力するロジック部に、前記位置情報および前記動き情報を供給する。【００１３】
本開示の一側面の撮像方法は、被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部の物理的に検出される動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレを光学的に補正する際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御し、その制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報に基づいて、前記画像上の座標ごとに同期させた前記位置情報および前記動き情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施すステップを含む。【００１４】
本開示の一側面においては、被写体からの光を集光する光学系を介して、被写体を撮像する撮像部の物理的に検出される動きに基づいて、光学系および撮像部の少なくとも一方を相対的に移動させて撮像部により撮像される画像に表れるブレを光学的に補正する際の移動量を求め、光学系および撮像部の少なくとも一方の駆動が制御される。そして、その制御に従って駆動された光学系または撮像部の位置が検出された位置情報、および、物理的に検出される撮像部の動きを表す動き情報に基づいて、画像上の座標ごとに同期させた位置情報および動き情報を基に位置を変換する関数に従って、撮像部の動きが画像に与える影響を補正する信号処理が施される。
【発明の効果】
【００１５】
本開示の一側面によれば、動きにより画像が受ける影響を確実に補正することができる。
【図面の簡単な説明】
【００１６】
【図１】レンズ歪の影響を受けることによって画像に発生する歪の例を示す図である。
【図２】撮像装置に与える振動条件を示す図である。
【図３】ブレを補正せずに出力される画像の一例を示す図である。
【図４】通常の電子式手振れ補正による補正処理が施された画像の一例を示す図である。
【図５】光学式手振れ補正による補正処理が施された画像の一例を示す図である。
【図６】特許文献１で提案されている手振れ補正による補正処理が施された画像の一例を示す図である。
【図７】特許文献２で提案されている手振れ補正による補正処理が施され、レンズ歪そのものに対する補正が行われない画像の一例を示す図である。
【図８】特許文献２で提案されている手振れ補正による補正処理が施され、レンズ歪そのものに対する補正が行われる画像の一例を示す図である。
【図９】長い露光時間で撮像が行われる場合に、ブレを補正せずに出力される画像の一例を示す図である。
【図１０】長い露光時間で撮像が行われる場合に、特許文献２で提案されている手振れ補正による補正処理が施され、レンズ歪に対する補正のある画像の一例を示す図である。
【図１１】長い露光時間で撮像が行われる場合に、光学式手振れ補正による補正処理が施された画像の一例を示す図である。
【図１２】本技術を適用した撮像装置による手振れ補正による補正処理が施された画像の一例を示す図である。
【図１３】本技術を適用した撮像装置の第１の実施の形態の構成例を示すブロック図である。
【図１４】信号処理回路による電子式手振れ補正による補正処理を説明する図である。
【図１５】撮像装置による撮像方法において実行される手振れ補正処理を説明するフローチャートである。
【図１６】画像の補正結果について説明する図である。
【図１７】本技術を適用した撮像装置の第２の実施の形態の構成例を示すブロック図である。
【図１８】OIS制御情報について説明する図である。
【図１９】フレーム間で光学式手振れ補正の制御位置をセンタに戻す処理について説明する図である。
【図２０】フレーム間で光学式手振れ補正の制御位置をセンタ方向に戻す処理について説明する図である。
【図２１】静止画像に発生するブレについて説明する図である。
【図２２】特許文献２で提案されている手振れ補正による補正処理が施された画像の一例を示す図である。
【図２３】図１３の撮像装置による手振れ補正による補正処理が施された画像の一例を示す図である。
【図２４】より大きな振動によって静止画像に発生するブレについて説明する図である。
【図２５】特許文献２で提案されている手振れ補正による補正処理が施された画像の一例を示す図である。
【図２６】図１３の撮像装置による手振れ補正による補正処理が施された画像の一例を示す図である。
【図２７】図１７の撮像装置による手振れ補正による補正処理が施された画像の一例を示す図である。
【図２８】ピッチ方向、ヨー方向、およびロール方向の定義を示す図である。
【図２９】イメージセンサを使用する使用例を示す図である。
【図３０】内視鏡手術システムの概略的な構成の一例を示す図である。
【図３１】カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。
【図３２】車両制御システムの概略的な構成の一例を示すブロック図である。
【図３３】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【００１７】
まず、本技術を適用した撮像装置について説明する前に、図１乃至図１２を参照して、撮像装置の振動および手振れ補正処理について説明する。
【００１８】
＜撮像装置の振動および手振れ補正処理について＞
【００１９】
図１には、撮像装置により被写体を撮像したときに、レンズ歪の影響を受けることによって画像に発生する歪の例が示されている。
【００２０】
例えば、図１のＡに示すような格子状の模様を被写体として撮像を行うと、図１のＢに示すように、周辺部分が内側に縮むような糸巻き型の歪が発生したり、図１のＣに示すように、周辺部分が外側に伸びるような樽型の歪が発生したりする。
【００２１】
以下では、図１のＢに示すような糸巻き型のレンズ歪のある撮像装置において、図２に示すような振動条件（ヨー方向の振り角：1.5度、ピッチ方向の振り角：1.2度）で振動を与えながら撮像を行ったときに画像に発生するブレについて説明する。図３乃至図１２の左側には、図２に示す振動の１周期において、振り角が最小となる付近（例えば、振り角が０度となる２点）、および、振り角が最大となる付近（例えば、ヨー方向の振り角が1.5度および-1.5度となる２点）で撮像される４枚の画像が示されている。また、図３乃至図１２の右側には、それらの４枚の画像を重ね合わせた画像が示されている。
【００２２】
図３には、振動に対するブレを補正する補正処理が施されずに出力される画像の一例が示されている。
【００２３】
図３に示すように、撮像装置の振動によって、位置ズレや、周辺変形、ローリングシャッタの影響を受けることにより、画像面内の位置に応じた様々な変形が発生している。
【００２４】
図４には、通常の電子式手振れ補正による補正処理が施された画像の一例が示されている。ここで、通常の電子式手振れ補正とは、撮像素子により撮像された画像を切り出して出力画像とし、その切り出し位置をブレ量に応じてずらすことによりブレを補正するものであり、後述する特許文献１および特許文献２の補正処理とは異なるものである。
【００２５】
図４の左側に示すように、通常の電子式手振れ補正による補正処理を施すことによって、ブレ量に応じて切り出し位置がずらされた画像が出力される。従って、これらの画像を重ね合わせたとき、図４の右側に示すように、フレーム間の画像の画面中央の位置が一致するように画像が補正される。しかしながら、通常の電子式手振れ補正による補正処理では、ローリングシャッタや手振れによる周辺変形を補正することはできなかった。
【００２６】
図５には、光学式手振れ補正による補正処理が施された画像の一例が示されている。
【００２７】
図５の左側に示すように、光学式手振れ補正による補正処理を施すことによって、ブレ量に応じてレンズまたは撮像素子を相対的に平行に移動させて撮像された画像が出力される。従って、これらの画像を重ね合わせたとき、図５の右側に示すように、フレーム間の画像の画面中央の位置を補正することができるとともに、ローリングシャッタの影響も補正することができる。しかしながら、この場合、手振れによる周辺変形を補正することはできなかった。
【００２８】
なお、光学式手振れ補正（バレルシフト方式またはセンサシフト方式）では、周辺変形やレンズ歪の影響は残ってしまうものの、露光中も振動に対して追従するように補正処理が施されることより、露光時間内ブレの発生は抑制される。
【００２９】
図６には、上述した特許文献１で提案されている手振れ補正による補正処理が施された画像の一例が示されている。特許文献１の手振れ補正では、通常の電子式手振れ補正のように切り出し位置をずらすだけでなく、画像面内での位置による移動量の違いや、一画面内での露光時間のズレによる移動量の違いに対応して、画素位置ごとに変形が行われる。
【００３０】
図６に示すように、特許文献１で提案されている手振れ補正による補正処理を施すことによって、画像の中央から周辺まで確実にブレが補正される。なお、この補正処理では、レンズ歪の影響を考慮していないため、実際の撮影結果ではレンズ歪の影響による誤差があり、周辺部で多少の位置ズレが発生している。なお、この位置ズレは、レンズ歪の形によって様々なものとなる。
【００３１】
そこで、ＰＣＴ／ＪＰ２０１６／０７０２６１（以下、特許文献２と称する）で先に出願したように、レンズ歪の影響も考慮して手振れ補正を行うことができる補正処理を提案している。
【００３２】
図７および図８を参照して、特許文献２で提案されている手振れ補正による補正処理が行われた画像について説明する。
【００３３】
図７には、特許文献２の手振れ補正による補正処理が施された画像であって、レンズ歪の影響を受けて発生する手振れのよる変形に対する補正を行う一方で、レンズ歪そのものに対する補正を行わない画像の一例が示されている。
【００３４】
図７に示すように、特許文献２で提案されている手振れ補正による補正処理を施すことによって、画像の中央から周辺まで確実にブレが補正される。
【００３５】
図８には、特許文献２の手振れ補正による補正処理が施された画像であって、レンズ歪の影響を受けて発生する手振れのよる変形に対する補正を行うとともに、レンズ歪そのものに対する補正を行った画像が示されている。
【００３６】
図８に示すように、特許文献２で提案されている手振れ補正による補正処理を施すことによって、レンズ歪が補正されたうえで、画像の中央から周辺まで確実にブレが補正される。
【００３７】
ところで、日中の屋外などにおいて短い露光時間で撮像が行われる場合には、特許文献２で提案されている手振れ補正による補正処理によって、ほぼ完璧に手振れ補正を行うことができる。これに対し、暗所や夜間などにおいて長い露光時間で撮像が行われる場合には、露光時間内ブレが発生する。
【００３８】
図９には、長い露光時間で撮像が行われる場合に、図３と同様に、ブレを補正せずに出力される画像が示されている。
【００３９】
図９に示すように、長い露光時間で撮像が行われることにより、位置ズレや、周辺変形、ローリングシャッタの影響を受けることにより、画像面内の位置に応じた様々な変形が発生しているのに加えて、露光時間内ブレが発生している。
【００４０】
図１０には、長い露光時間で撮像が行われる場合に、特許文献２の手振れ補正による補正処理が施された画像であって、レンズ歪の影響を受けて発生する手振れのよる変形に対する補正を行うとともに、レンズ歪に対する補正を行った画像が示されている。
【００４１】
特許文献２で提案されている手振れ補正による補正処理によっても、補正後の画像それぞれで位置は一致しているものの、露光時間内ブレが発生することより、手振れが確実には補正されていないような画像となってしまう。即ち、レンズ歪が補正されたうえで、中央から周辺までブレが補正できている一方で、露光時間内ブレがある画像となっている。
【００４２】
また、図１１には、長い露光時間で撮像が行われる場合に、光学式手振れ補正（バレルシフト方式またはセンサシフト方式）による補正処理が施された画像が示されている。
【００４３】
図１１に示すように、光学式手振れ補正による補正処理では、手振れによる周辺変形を補正することはできないが、露光時間中にもレンズおよび撮像素子が相対的に移動されることより、露光時間内ブレの発生は抑制することができる。
【００４４】
そこで、本願出願人は、後述する図１３の撮像装置１１および図１７の撮像装置１１Ａのように、露光時間が長い場合であっても、手振れが画像に与える影響を抑制して、より確実に画像のブレを補正する補正処理を提案する。この補正処理により、レンズ歪も補正されたうえで、中央から周辺まで確実にブレを補正することができ、かつ、露光時間内ブレの発生を抑制することができる。
【００４５】
即ち、図１２に示すように、本技術を適用した補正処理を施すことによって、レンズ歪も補正されたうえで、中央から周辺まで確実にブレが補正できており、かつ、露光時間内ブレの発生も抑制することができる。なお、露光時間中の周辺変形による露光ブレは光学式手振れ補正では抑制することができないため、振動条件と露光時間によっては、画像の周辺に若干の露光時間内ブレが残ってしまうことが想定されるが、通常の撮影であればほとんど目立たない程度に露光時間内ブレを抑制することができる。
【００４６】
また、図１２には、図８と同様に、レンズ歪そのものに対する補正を行った画像が示されている。なお、図示しないが、図７と同様に、レンズ歪そのものに対する補正を行わない場合にも、中央から周辺まで確実にブレが補正でき、かつ、露光時間内ブレの発生も抑制することができる。
【００４７】
＜本技術を適用した撮像装置の構成例＞
【００４８】
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００４９】
図１３は、本技術を適用した撮像装置の第１の実施の形態の構成例を示すブロック図である。
【００５０】
図１３に示すように、撮像装置１１は、レンズユニット１２、イメージセンサ１３、モーションセンサ１４、OISドライバ１５、OISアクチュエータ１６、信号処理回路１７、ディスプレイ１８、および記録媒体１９を備えて構成される。
【００５１】
レンズユニット１２は、１枚または複数枚のレンズを有して構成され、被写体からの光を集光して、イメージセンサ１３が有する撮像部２１のセンサ面に被写体の像を結像する。
【００５２】
イメージセンサ１３は、撮像部２１が形成される半導体チップと、ロジック部２２が形成される半導体チップとが積層されて構成されており、OISドライバ１５からの出力を取り込むためのインタフェースが実装されている。
【００５３】
撮像部２１は、レンズユニット１２により被写体からの光が集光され、複数の画素が行列状に配置されたセンサ面に結像される被写体の像を撮像し、その撮像により取得される画像を出力する。
【００５４】
ロジック部２２は、撮像部２１により撮像される画像に、OISドライバ１５から出力されるレンズユニット１２の位置情報および角速度データを、それらを画像上の座標と同期させるタイミングを示すタイミング情報とともに付加した画像データを、信号処理回路１７に供給する。
【００５５】
具体的には、ロジック部２２は、OISドライバ１５から所定のサンプリング周波数（例えば、１ｋＨｚ）で、モーションセンサ１４により検出される角速度データと、OISアクチュエータ１６による駆動に従ったレンズユニット１２の位置情報を受け取る。そして、ロジック部２２は、レンズユニット１２の位置情報および角速度データ、並びに、それらを受け取ったタイミングにおける画像データのＨラインカウンタを、画像データに付加して出力する。もちろん、レンズユニット１２の位置情報、角速度データ、およびＨラインカウンタを画像に付加せずに、それらを個別に画像とともに出力してもよい。このように、画像データの水平方向の１ライン単位で、レンズユニット１２の位置情報および角速度データが対応付けられることで、信号処理回路１７において、角速度データおよび位置情報と、画像の垂直方向の位置との同期をとることができる。即ち、Ｈラインカウンタは、それらの同期を取るためのタイミング情報として利用される。
【００５６】
ここで、画像データのＨラインカウンタは、例えば、決められたタイミングでフレームごとにリセットし、水平方向の１ラインを読む時間ごとに１増えるようなカウンタであり、画像の垂直方向位置のタイミング合わせに利用される。なお、このＨラインカウンタは、画像を読み込んでいないブランク区間においてもカウントされる。また、タイミング情報としては、画像データのＨラインカウンタを利用する他、例えば、タイムスタンプなどの時刻情報を利用してもよい。なお、角速度データおよび位置情報と、画像の垂直方向の位置との同期を取る方法については、上述の特許文献２で詳細に説明されている。
【００５７】
モーションセンサ１４は、撮像部２１の動きを物理的に（画像処理によるのではなく）検出して、その動きを表す情報を出力する。例えば、モーションセンサ１４は、３軸方向の角速度を検出可能なジャイロセンサにより構成される場合、撮像装置１１の動きを表す情報として、それらの角速度により表される角速度データを出力する。
【００５８】
なお、モーションセンサ１４としてOIS制御用のものを用いる他、例えば、単体のジャイロセンサや、OIS制御用と共用のジャイロセンサ（即ち、２つのポートを有するもの）などを用いることができる。また、モーションセンサ１４は、ジャイロセンサに限定されることなく、３軸方向の角速度データに加え、加速度データを出力可能な６軸センサなどを使用することができる。
【００５９】
OISドライバ１５は、モーションセンサ１４から出力される角速度データに基づいて、撮像部２１により撮像される画像におけるブレの発生を、光学的に打ち消すようにレンズユニット１２を移動させる移動量を算出する。そして、OISドライバ１５は、算出した移動量をOISアクチュエータ１６に供給し、移動量に従った所定位置にレンズユニット１２が配置されるように制御を行う。さらに、OISドライバ１５は、OISアクチュエータ１６による駆動に従ったレンズユニット１２の位置情報を取得し、レンズユニット１２の位置情報および角速度データを、イメージセンサ１３に出力する。
【００６０】
OISアクチュエータ１６は、OISドライバ１５から供給される移動量に従って、レンズユニット１２を駆動することで、イメージセンサ１３により撮像される画像に発生する手振れを光学的に補正する。そして、OISアクチュエータ１６は、その駆動に従ったレンズユニット１２の位置を検出し、レンズユニット１２の位置情報をOISドライバ１５に供給する。
【００６１】
信号処理回路１７は、レンズユニット１２の位置情報を考慮に入れながら、特許文献２で提案されている電子式手振れ補正と同様の補正処理を行うように構成されている。即ち、信号処理回路１７は、イメージセンサ１３から供給される画像データに付加されているレンズユニット１２の位置情報および角速度データに基づいて、画像上の座標ごとに同期させたレンズユニット１２の位置情報および角速度データを基に補正する関数に従って、撮像部２１の動きが画像に与える影響（例えば、位置ズレや、周辺変形、ローリングシャッタによる歪、レンズ歪の影響による変形など）を補正する信号処理を施す。なお、信号処理回路１７による補正処理については、図１４を参照して後述する。
【００６２】
ディスプレイ１８は、例えば、液晶パネルや有機ＥＬ（Electro Luminescence）パネルなどの表示部を有して構成され、信号処理回路１７から出力される画像を表示する。
【００６３】
記録媒体１９は、撮像装置１１に内蔵型、または、撮像装置１１に着脱可能なリムーバブル型のメモリ（例えば、EEPROM（Electronically Erasable and Programmable Read Only Memory））であり、信号処理回路１７から出力される画像を記録する。
【００６４】
このように撮像装置１１は構成されており、光学的にブレの発生が抑制されるようにイメージセンサ１３により撮像された画像に対して、信号処理回路１７において電子式手振れ補正による補正処理を施すことができる。これにより、撮像装置１１は、上述の図１２に示したように、露光時間内ブレの発生を抑制して、より確実に画像のブレ（手振れによって発生する位置ズレや、周辺変形、ローリングシャッタによる歪、レンズ歪の影響による変形など）を補正することができる。
【００６５】
なお、本実施の形態では、OISアクチュエータ１６によりレンズユニット１２が駆動されるバレルシフト型の光学式手振れ補正について説明するが、撮像装置１１は、OISアクチュエータ１６によりイメージセンサ１３が駆動されるセンサシフト型の光学式手振れ補正を採用してもよい。この場合、OISアクチュエータ１６は、レンズユニット１２の位置情報に替えて、イメージセンサ１３の位置情報をOISドライバ１５に供給する。
【００６６】
また、図１３の撮像装置１１では、モーションセンサ１４から出力される角速度データがOISドライバ１５を介してイメージセンサ１３に供給されるように構成されている。これに対し、撮像装置１１は、例えば、モーションセンサ１４が角速度データの出力に用いられる出力ポートを２つ備え、モーションセンサ１４からイメージセンサ１３およびOISドライバ１５それぞれに角速度データが供給されるような構成としてもよい。この場合、OISドライバ１５からイメージセンサ１３への角速度データの供給は行われない。
【００６７】
または、例えば、撮像装置１１は、２つのモーションセンサ１４を備えて構成してもよく、この場合、２つのモーションセンサ１４からイメージセンサ１３およびOISドライバ１５それぞれに角速度データが供給されるような構成となる。また、この場合も、OISドライバ１５からイメージセンサ１３への角速度データの供給は行われない。
【００６８】
さらに、図１３の撮像装置１１において、イメージセンサ１３および信号処理回路１７は異なるブロックで示されているが、例えば、イメージセンサ１３の内部で、信号処理回路１７による処理を行うような構成を採用してもよい。即ち、イメージセンサ１３は、信号処理回路１７が形成される半導体チップが積層された積層構造とすることができる。
【００６９】
図１４を参照して、信号処理回路１７による電子式手振れ補正による補正処理について説明する。
【００７０】
図１４に示すように、イメージセンサ１３の出力画像中の光学中心を位置Ｏ（０，０）とする。そして、イメージセンサ１３が、ピッチ方向に回転角−θｐ（rad）で回転し、ヨー方向に回転角−θｙ（rad）で回転し、ロール方向に回転角−θｒ（rad）で回転したとする。このような回転によって、イメージセンサ１３上で撮像された点ｐ（ｘ，ｙ）が、点Ｐ（Ｘ，Ｙ）に移動するものとする。
【００７１】
さらに、点ｐ０（ｘ０，ｙ０）を、点ｐ（ｘ，ｙ）の歪みを補正した点の座標とし、点Ｐ０（Ｘ０，Ｙ０）を、点Ｐ（Ｘ，Ｙ）の歪み補正した点の座標とすると、上述した特許文献１に開示されている手振れ補正関係式、即ち、次の式（１）が成り立つ。
【００７２】
【数１】
2018025659.tif 000003
【００７３】
なお、式（１）において、焦点距離Ｌは、イメージセンサ１３の光学中心位置での焦点距離を画素数に換算したものであり、ピッチ方向またはヨー方向に回転角−θで回転したときの光学中心の位置Ｏ（０，０）の移動量ｄを用いて、次の式（２）を満たす値となる。
【００７４】
【数２】
2018025659.tif 000004
【００７５】
また、上述した式（１）の手振れ補正関係式、即ち、点ｐ０（ｘ０，ｙ０）から点Ｐ０（Ｘ０，Ｙ０）を求める計算を関数Ｔとすると、点Ｐ０（Ｘ０，Ｙ０）は、次の式（３）で表される。
【００７６】
【数３】
2018025659.tif 000005
【００７７】
さらに、点ｐ（ｘ，ｙ）から点ｐ０（ｘ０，ｙ０）を求める計算、即ち、レンズ歪の影響を受けた画像上の点が、レンズ歪がなかった場合にどの位置にあるかを求める計算を関数Ｕとすると、点ｐ０（ｘ０，ｙ０）は、次の式（４）で表される。
【００７８】
【数４】
2018025659.tif 000006
【００７９】
また、点Ｐ０（Ｘ０，Ｙ０）から点Ｐ（Ｘ，Ｙ）を求める計算、即ち、レンズ歪がなかった場合の画像上の点が、レンズ歪の影響を受けた画像上のどの位置にあるかを求める計算を関数Ｄとすると、点Ｐ（Ｘ，Ｙ）は、次の式（５）で表される。
【００８０】
【数５】
2018025659.tif 000007
【００８１】
そして、例えば、信号処理回路１７による補正処理によって、上述の図８に示したようなレンズ歪が補正された結果を出力する場合、出力画像上の点が、点ｐ０（ｘ０，ｙ０）であると考えればよい。即ち、出力画像中の各点に対して、その点ｐ０（ｘ０，ｙ０）の画素値として、点Ｐ（Ｘ，Ｙ）の画素値を用いることで、手振れ補正が施され、かつ、レンズ歪が補正された画像を得ることができる。
【００８２】
このとき、上述した式（３）の関数Ｔおよび式（５）の関数Ｄを用いて、点ｐ０（ｘ０，ｙ０）から点Ｐ（Ｘ，Ｙ）を求めることができる。即ち、式（３）の関数Ｔを用いて、点ｐ０（ｘ０，ｙ０）から点Ｐ０（Ｘ０，Ｙ０）を求め、さらに、式（５）の関数Ｄを用いて点Ｐ０（Ｘ０，Ｙ０）から点Ｐ（Ｘ，Ｙ）を求めることができる。ここで、関数Ｔおよび関数Ｄの合成関数を関数Ｆとすると、点Ｐ（Ｘ，Ｙ）は、次の式（６）で表される。
【００８３】
【数６】
2018025659.tif 000008
【００８４】
一方、例えば、信号処理回路１７による補正処理によって、上述の図７に示したようなレンズ歪が補正されない結果を出力する場合、出力画像上の点が、点ｐ（ｘ，ｙ）であると考えればよい。即ち、出力画像中の各点に対して、その点ｐ（ｘ，ｙ）の画素値として、点Ｐ（Ｘ，Ｙ）の画素値を用いることで、手振れ補正が施され、かつ、レンズ歪が補正されない画像を得ることができる。
【００８５】
このとき、上述した式（３）の関数Ｔ、式（４）の関数Ｕ、および式（５）の関数Ｄを用いて、点ｐ（ｘ，ｙ）から点Ｐ（Ｘ，Ｙ）を求めることができる。即ち、式（４）の関数Ｕを用いて、点ｐ（ｘ，ｙ）から点ｐ０（ｘ０，ｙ０）を求め、式（３）の関数Ｔを用いて、点ｐ０（ｘ０，ｙ０）から点Ｐ０（Ｘ０，Ｙ０）を求め、さらに、式（５）の関数Ｄを用いて点Ｐ０（Ｘ０，Ｙ０）から点Ｐ（Ｘ，Ｙ）を求めることができる。ここで、関数Ｔ、関数Ｕ、および関数Ｄの合成関数を関数Ｇとすると、点Ｐ（Ｘ，Ｙ）は、次の式（７）で表される。
【００８６】
【数７】
2018025659.tif 000009
【００８７】
なお、式（６）や式（７）で求められる点Ｐ（Ｘ，Ｙ）の座標値は、整数値になることは稀であるが、出力画像の画素値は近傍の座標の画素値から補間により算出することができる。また、出力画像の各点の画素値を求めるのに、各点ごとに上述した関数を用いて入力画像上の対応する座標位置を計算することで、画素値を算出することができる。この他、例えば、出力画像を分割して、格子点のみ上述した関数を用いて入力画像上の対応する座標位置を計算し、格子点以外は補間計算により座標位置を求めて、画素値を算出してもよい。
【００８８】
なお、ここでは、原理を簡単に説明するために、あるタイミングにおける画素値の算出に関して説明しているが、実際には、１画面内の画素の撮影時刻は画素位置により異なるタイミングとなる。従って、その画素位置に応じたピッチ方向回転角−θｐ（rad）、ヨー方向回転角−θｙ（rad）、および、ロール方向回転角−θｒ（rad）を用いて、それぞれの画素で画素値が算出される。
【００８９】
ところで、上述した式（６）の関数Ｆおよび式（７）の関数Ｇによる補正処理に、OISアクチュエータ１６がレンズユニット１２を移動させる移動量を加えることにより、光学式手振れ補正および電子式手振れ補正の補正処理が実現される。以下では、式（６）の関数Ｆを用いた補正処理について説明するが、式（７）の関数Ｇを用いた補正処理も、式（６）の関数Ｆを用いた補正処理と同様に実施することができる。
【００９０】
まず、光学式手振れ補正および電子式手振れ補正の補正処理が施された出力画像上の点ｐ０（ｘ０，ｙ０）の座標に対応する入力画像上（光学式手振れ補正がない場合の手振れ画像）上の座標を点Ｐ０（Ｘ０，Ｙ０）とする。このとき、上述したように、電子式手振れ補正により座標を計算する関数Ｆは、式（６）で表される。
【００９１】
また、光学式手振れ補正（バレルシフト方式またはセンサシフト方式）による補正処理は、画像の平行移動と考えてよい。このことより、画素ごとの光学式手振れ補正によるシフト量（ｘｏｉｓ，ｙｏｉｓ）を用いて、出力画像上の座標ｐ０（ｘ０，ｙ０）に対応する入力画像上の座標（Ｘｏｉｓ，Ｙｏｉｓ）は、次の式（８）により求められる。
【００９２】
【数８】
2018025659.tif 000010
【００９３】
従って、出力画像上の座標（ｘ０，ｙ０）の画素値として、入力画像上の座標（Ｘｏｉｓ，Ｙｏｉｓ）の画素値を出力することにより、光学式手振れ補正および電子式手振れ補正の補正処理が施された画像を出力することができる。
【００９４】
なお、式（８）で求められる座標（Ｘｏｉｓ，Ｙｏｉｓ）の座標値は、整数値になることは稀であるが、出力画像の画素値は近傍の座標の画素値から補間により算出することができる。また、出力画像の各点の画素値を求めるのに、各点ごとに上述した関数を用いて入力画像上の対応する座標位置を計算することで、画素値を算出することができる。この他、例えば、出力画像を分割して、格子点のみ上述した関数を用いて入力画像上の対応する座標位置を計算し、格子点以外は補間計算により座標位置を求めて、画素値を算出してもよい。
【００９５】
なお、ここでは、原理を簡単に説明するために、あるタイミングにおける画素値の算出に関して説明しているが、実際には、１画面内の画素の撮影時刻は画素位置により異なるタイミングとなる。従って、その画素位置に応じたピッチ方向回転角−θｐ（rad）、ヨー方向回転角−θｙ（rad）、ロール方向回転角−θｒ（rad）、および、光学式手振れ補正によるシフト量を用いて、それぞれの画素で画素値が算出される。
【００９６】
ここで、光学式手振れ補正において駆動されるレンズユニット１２の位置情報として、ホール素子を用いてレンズユニット１２の位置を読み出したホールデータを用いた場合について説明する。例えば、ロジック部２２は、モーションセンサ１４により検出される角速度データ、および、レンズユニット１２の位置を読み出したホールデータを、画像データのＨラインカウンタとともに画像データに付加して出力することができる。このとき、ロジック部２２は、モーションセンサ１４が角速度データを検出したタイミング、ホール素子がレンズユニット１２の位置を読み出したタイミングに対して、角速度データおよびホールデータを取得したタイミングまでのディレイ時間や、画素（Ｈライン）ごとの露光終了時間および露光時間の関係などに基づいて、それらを同期させるタイミングを調整する。
【００９７】
この場合、出力画像（手振れ補正後画像）上の座標（ｘ０，ｙ０）は、光学式手振れ補正によるシフト量（ｘｏｉｓ，ｙｏｉｓ）、ホールデータの値（ｈｘ，ｈｙ）、光学式手振れ補正でレンズユニット１２がセンタにいるときのホールデータ（ｈｘ０，ｈｙ０）、および、画素数換算係数（ｋｘ，ｋｙ）を用いて、次の式（９）により求められる。
【００９８】
【数９】
2018025659.tif 000011
【００９９】
そして、式（９）により求められるシフト量（ｘｏｉｓ，ｙｏｉｓ）を、上述した式（８）に入力することで、出力画像（手振れ補正後画像）上の座標ｐ０（ｘ０，ｙ０）に対応する入力画像（OIS出力画像）上の座標（Ｘｏｉｓ，Ｙｏｉｓ）が定まる。これにより、その座標の画素値を用いることによって手振れ補正画像を作成することができる。ここで、式（９）は、ホールデータ（ｈｘ０，ｈｙ０）の変化量と画素位置の移動量とが直線関係にあるものとして変換処理が行われる一例を示している。これに対し、例えば、それらが直線関係にない場合においては、ホールデータ（ｈｘ０，ｈｙ０）の変化量と画素位置の移動量との関係に応じた変換処理が行われる。
【０１００】
なお、出力画像の各点の画素値を求めるのに、各点ごとに上述した関数を用いて入力画像上の対応する座標位置を計算することで、画素値を算出することができる。この他、例えば、出力画像を分割して、格子点のみ上述した関数を用いて入力画像上の対応する座標位置を計算し、格子点以外は補間計算により座標位置を求めて、画素値を算出してもよい。
【０１０１】
なお、ここでは、原理を簡単に説明するために、あるタイミングにおける画素値の算出に関して説明しているが、実際には、１画面内の画素の撮影時刻は画素位置により異なるタイミングとなる。従って、その画素位置に応じたピッチ方向回転角−θｐ（rad）、ヨー方向回転角−θｙ（rad）、ロール方向回転角−θｒ（rad）、および、光学式手振れ補正によるシフト量（ホールデータの値（ｈｘ，ｈｙ））を用いて、それぞれの画素で画素値が算出される。
【０１０２】
＜撮像装置の手振れ補正処理＞
【０１０３】
図１５のフローチャートを参照して、撮像装置１１による撮像方法において実行される手振れ補正処理の一例について説明する。
【０１０４】
例えば、撮像装置１１では、撮像部２１により１フレームの撮像が開始されると手振れ補正処理が開始され、ステップＳ１１において、OISドライバ１５は、モーションセンサ１４から出力される角速度データを取得する。
【０１０５】
ステップＳ１２において、OISドライバ１５は、ステップＳ１１で取得した角速度データに基づいて、レンズユニット１２を移動させる移動量を算出し、OISアクチュエータ１６に供給する。
【０１０６】
ステップＳ１３において、OISアクチュエータ１６は、ステップＳ１２でOISドライバ１５から供給された移動量に従って、レンズユニット１２を駆動することにより、光学的な手振れ補正を行う。
【０１０７】
ステップＳ１４において、OISアクチュエータ１６は、ステップＳ１３で駆動したレンズユニット１２の位置を検出し、レンズユニット１２の位置情報をOISドライバ１５に供給する。そして、OISドライバ１５は、レンズユニット１２の位置情報と、ステップＳ１１で取得した角速度データとを、イメージセンサ１３のロジック部２２に供給する。
【０１０８】
ステップＳ１５において、ロジック部２２は、ステップＳ１４でOISドライバ１５から供給されたレンズユニット１２の位置情報および角速度データを、それらを受け取ったタイミングに対応する画像データのＨラインカウンタとともに、撮像部２１から出力される画像データに付加して、信号処理回路１７に供給する。
【０１０９】
ステップＳ１６において、信号処理回路１７は、ステップＳ１５で供給された画像データに対して、レンズユニット１２の位置情報および角速度データを用いて、それらに同期した画像データの座標ごとに位置を変換する関数に従って、電子的な手振れ補正処理を行う。その後、処理は終了され、撮像部２１により次の１フレームの撮像が開始されるたびに、同様の処理が繰り返して行われる。なお、連続して手ぶれ補正を行う動画等の撮影やプレビュー画面、静止画の連続撮影などでは、補正処理は終了することなく連続して行われる。また、ステップＳ１１からステップＳ１４までの処理は、あらかじめ設定されたサンプリング周波数で連続して行われる。
【０１１０】
以上のように、撮像装置１１は、OISドライバ１５の制御に従った光学的な手振れ補正によって露光時間内ブレの発生を抑制し、信号処理回路１７による電子的な手振れ補正処理によって、手振れが画像に与える影響を抑制し、確実にブレを補正することができる。
【０１１１】
図１６を参照して、このような撮像方法により撮像装置１１により撮像される画像の補正結果について説明する。
【０１１２】
例えば、光学式手振れ補正により補正可能な角度が±1.5度であって、電子式手振れ補正により補正可能な角度が±６度であるとする。このとき、図１６に示すような振動に対し、光学式手振れ補正（OIS）による補正結果は、周波数の高い成分のみ補正することにより露光時間内ブレを抑制することができる。そして、光学式手振れ補正（OIS）および電子式手振れ補正（EIS）による補正結果は、低周波成分を補正することにより、ほぼ０度のままとすることができる。
【０１１３】
このように、撮像装置１１は、光学式手振れ補正による補正処理を行いながら撮像し、その撮像された画像に対して、レンズユニット１２の位置情報（光学式手振れ補正の情報）および角速度データを用いて電子式手振れ補正を行うことができる。これにより、撮像装置１１は、画像面内での位置による移動量の違いや、一画面内での露光タイミングのズレによる移動量の違いに対応して、手振れ補正を行うことができる。
【０１１４】
従って、撮像装置１１は、日中の屋外などにおいて短い露光時間で行われる撮像だけでなく、暗所や夜間などにおいて長い露光時間で行われる撮像であっても、露光時間内ブレの発生を抑制しつつ、周辺変形やレンズ歪、ローリングシャッタの影響を補正して、中央から周辺まで精度良く手振れを補正することができる。
【０１１５】
また、一般的に、光学式手振れ補正において補正範囲を大きくするためには、装置を大きくする必要があったり、制御に大きなパワーが必要となったりすることより、補正範囲を大きくすることは困難であった。これに対し、撮像装置１１は、光学式手振れ補正において補正できない範囲を電子式手振れ補正により補うことによって、より広範囲の補正を行うことができる。さらに、光学式手振れ補正では、ローテーション方向の補正に対応することは困難であるのに対し、撮像装置１１は、ローテーション方向の補正も行うことができる。
【０１１６】
＜撮像装置の第２の実施の形態＞
【０１１７】
図１７は、本技術を適用した撮像装置の第２の実施の形態の構成例を示すブロック図である。なお、図１７に示す撮像装置１１Ａにおいて、図１３の撮像装置１１と共通する構成については同一の符号を付し、その詳細な説明は省略する。
【０１１８】
図１７に示すように、撮像装置１１Ａは、図１３の撮像装置１１と同様に、レンズユニット１２、モーションセンサ１４、OISアクチュエータ１６、信号処理回路１７、ディスプレイ１８、記録媒体１９、撮像部２１を備えて構成される。
【０１１９】
そして、撮像装置１１Ａは、イメージセンサ１３Ａのロジック部２２Ａと、OISドライバ１５Ａが、図１３の撮像装置１１と異なる構成となっている。
【０１２０】
ロジック部２２Ａは、撮像部２１が露光を行っている露光タイミングに従って、光学式手振れ補正の実行または停止を指示するOIS制御情報を生成して、OISドライバ１５Ａに供給する。このように、撮像部２１の露光タイミングに従ったOIS制御情報を発生する処理は、イメージセンサ１３Ａに内蔵されているロジック部２２Ａにおいて行うことが好適である。
【０１２１】
例えば、ロジック部２２Ａは、撮像部２１の露光終了（読出し終了）タイミングと、次のフレームの露光開始タイミングとに基づいて、OIS制御情報を生成する。また、ロジック部２２Ａは、フレーム間の時間や、次のフレームの露光時間（自動露光機能などにより撮影条件で変化する）などの情報に基づいて、次のフレームの露光開始タイミングを特定することができる。これらのタイミングは、イメージセンサ１３Ａの内部で決定されて動作させているので、イメージセンサ１３Ａの外部でOIS制御情報を生成する構成と比較して、ロジック部２２ＡにおいてOIS制御情報を容易に生成することができる。
【０１２２】
OISドライバ１５Ａは、ロジック部２２Ａから供給されるOIS制御情報に基づいて、OIS制御情報が光学式手振れ補正の停止を指示している場合には、レンズユニット１２をセンタ位置に引き戻す動作を行う。
【０１２３】
または、OISドライバ１５Ａは、OIS制御情報が光学式手振れ補正の停止を指示するのに従って、レンズユニット１２をセンタ位置に引き戻す動作を行っている途中、レンズユニット１２がセンタ位置に戻り切っていない状態で、OIS制御情報が光学式手振れ補正の実行に切り替わった場合、その途中のレンズユニット１２の位置から光学式手振れ補正を行うことができる。
【０１２４】
このように構成される撮像装置１１Ａは、ロジック部２２ＡがOIS制御情報をOISドライバ１５Ａに供給することで、フレーム間で、光学式手振れ補正のセンタ戻し処理を行うことができる。これにより、撮像装置１１Ａは、各フレームの間で、レンズ位置をリセットしながら光学式手振れ補正を行うことができるので、各フレームにおいて常に、光学式手振れ補正により補正可能な角度の全範囲を用いた補正を行うことができる。
【０１２５】
即ち、図１３の撮像装置１１では、光学式手振れ補正により補正可能な角度を超えた振幅の振動が発生した場合、その超えた範囲の振動中において露光時間内ブレを抑制することができなかった。これに対し、撮像装置１１Ａは、光学式手振れ補正のセンタ戻し処理を行うことで、大きな振幅の振動が発生しても、１フレーム内の振動が光学式手振れ補正の補正可能な角度以内であれば、露光時間内ブレの発生を抑制することができる。
【０１２６】
図１８を参照して、ロジック部２２Ａが生成するOIS制御情報について説明する。
【０１２７】
なお、図１８乃至図２０に示したグラフの横軸は時間であり、時間に伴った変化を示している。また、図中の平行四辺形は、CMOSイメージセンサで画像を撮影する際に、画像の上から下まで（撮影の設定によっては、下から上までになる場合がある）露光しながら画像データを読み出すまでの時間を模式的に表したものである。図示する例では、画像の上から順番に電子シャッタが開き、一定時間露光した後に上から順番に読み出しを行っている。
【０１２８】
図１８のＡに示すように、画像の一番下の読み出しが終了してから、次のフレームの画像の一番上の電子シャッタが開くまでの間に、フレーム間で露光が重複しない時間がある場合に、ロジック部２２Ａは、露光が行われている期間で、光学式手振れ補正の実行を指示するOIS制御情報（OIS enable）を出力する。また、ロジック部２２Ａは、露光が行われていない期間で、光学式手振れ補正の停止を指示するOIS制御情報（OIS disable）を出力する。例えば、ロジック部２２Ａは、露光終了から次の露光開始までの時間が、設定された所定時間以上である場合、光学式手振れ補正の停止を指示するOIS制御情報（OIS disable）を出力する。
【０１２９】
なお、実際の制御の遅延を考慮して、読出し終了タイミングや、露光開始タイミングから、おのおの設定されたオフセット時間分（図１８に示すオフセット１およびオフセット２）だけ、ロジック部２２Ａは、光学式手振れ補正の実行および停止とを切り替えるタイミングをずらすことができる。
【０１３０】
一方、図１８のＢに示すように、フレーム間で露光が重複しない期間が発生しない場合、または、フレーム間で露光が重複しない期間が設定した所定時間より短い場合、ロジック部２２Ａは、常に、光学式手振れ補正の実行を指示するOIS制御情報（OIS enable）を出力する。即ち、フレーム間で露光が常に重複している場合には、光学式手振れ補正が連続的に行われ、光学式手振れ補正のセンタ戻し処理は行われない。
【０１３１】
図１９を参照して、フレーム間で光学式手振れ補正の制御位置をセンタに戻す処理について説明する。
【０１３２】
図１９のＡには、露光が開始される直前に、光学式手振れ補正の制御位置がセンタに戻っている例が示されている。
【０１３３】
このように、露光が開始される直前に光学式手振れ補正の制御位置がセンタに戻っている場合には、レンズユニット１２をセンタ位置から移動させて光学式手振れ補正を行うことができる。なお、露光時間が、図１９のＡに示す例よりも長くなり、光学式手振れ補正の制御が安定しない状態で次のフレームの露光が始まる場合には、画像に振動の影響が現れることになる。これを避けるために、フレーム間で露光が重複しない期間が設定した所定時間より短い場合、常に、光学式手振れ補正の実行を指示するOIS制御情報（OIS enable）を出力するよう所定時間を設定できるようにしている。
【０１３４】
一方、図１９のＢに示すように、露光時間が、図１９のＡに示す例よりも短くなる場合には、画像に振動の影響が現れることは回避され、光学式手振れ補正の制御位置を確実にセンタに戻すことができる。
【０１３５】
ところで、図１９のＡおよび図１９のＢに示したように、レンズユニット１２をセンタ位置に戻す際にハンチングがあると、制御不能となる期間が発生する。このため、レンズユニット１２をセンタ位置に戻す際にハンチングは発生しないように、光学式手振れ補正のセンタ戻し処理を実行することが好ましい。
【０１３６】
このように、フレーム間でレンズユニット１２をセンタ位置にリセットすることができる場合には、常に、光学式手振れ補正の補正範囲を広く確保することができる。これに対し、フレーム間でレンズユニット１２をセンタ位置にリセットするのに十分な時間がない場合には、光学式手振れ補正のセンタ戻し処理を実行することができない。また、フレーム間で露光が重複しない期間が、常に、レンズユニット１２の移動量が最大の位置からセンタ位置まで戻って安定するまでの時間以上とならない場合にも、光学式手振れ補正のセンタ戻し処理を実行することができない。
【０１３７】
そこで、レンズユニット１２をセンタ位置に必ず戻すのではなく、レンズユニット１２をセンタ方向に戻す処理、即ち、レンズユニット１２をセンタ位置に引き戻す動作を行っている途中から光学式手振れ補正を行うような処理を採用することもできる。
【０１３８】
図２０を参照して、フレーム間で光学式手振れ補正の制御位置をセンタ方向に戻す処理について説明する。
【０１３９】
図２０のＡに示すように、レンズユニット１２をセンタ位置に戻す際にハンチングは発生しないように制御を行う。また、図２０のＡでは、図１９のＡおよび図１９のＢと同様に、露光が開始される前に、光学式手振れ補正の制御位置がセンタに戻っている例が示されている。
【０１４０】
これに対し、図２０のＢに示すように、露光が開始されるときに、光学式手振れ補正の制御位置がセンタに戻り切れてなくても、その戻り途中の位置から光学式手振れ補正による補正処理を行う。このような制御を行っても、レンズユニット１２の移動がセンタから開始されるのではないが、露光期間中には、光学式手振れ補正による補正処理を実行することができるので、画像に悪影響を及ぼすことはない。
【０１４１】
このように、フレーム間で露光が重複しない期間が、レンズユニット１２をセンタまで戻すのに必要な時間未満である場合でも、ある程度だけでもセンタ方向にレンズユニット１２を戻すことで、次のフレームの補正可能範囲を少しでも拡大することができる。即ち、この場合、レンズユニット１２をセンタ方向に戻す制御を行うことで、このような制御を行わないときよりも、次のフレームで光学式手振れ補正に用いることができる移動量を大きくすることができ、露光時間内ブレの発生を少しでも抑制することができる。
【０１４２】
なお、フレーム内の露光中に、光学式手振れ補正の補正可能な角度を超えた振幅の振動が発生した場合、露光時間内ブレを十分に抑制することができなくても、電子式手振れ補正は有効に行うことができるので、画像のブレは補正することができる。
【０１４３】
また、撮像装置１１Ａでは、画像上の座標ごとに、モーションセンサ１４から出力される角速度データ、および、レンズユニット１２の位置情報に基づいて補正を行う信号処理が施される。このため、例えば、レンズユニット１２がセンタまで戻った場合、レンズユニット１２がセンタに戻り切れていない場合、通常の光学式手振れ補正が適用されている場合、レンズユニット１２が常にセンタ位置に固定されている場合のいずれであっても、信号処理回路１７は、全て同じアルゴリズムで処理を施すことができる。
【０１４４】
＜静止画像に対する適用＞
【０１４５】
撮像装置１１は、動画像の撮像時における手振れ補正処理だけではなく、静止画像を撮像する際の手振れにも有効に用いることができるが、さらに静止画像の手ブレ抑制性能を向上させる方法がある。
【０１４６】
例えば、暗所や夜間などの暗い環境において静止画像を撮像する際、露光時間が短くなるため光量が不足し、高ゲインで撮像を行っても、ノイズが多い画像が撮像されることになる。このようなノイズの発生を抑制するためには、露光時間を長く設定する必要があるが、手振れの影響を受けやすくなり、画像にブレが発生することが多くなる。
【０１４７】
そこで、光学式手振れ補正を用いて露光中に発生するブレを抑制することにより、長時間露光で撮像された静止画像のブレを抑制することができる。しかしながら、上述したように、光学式手振れ補正では、レンズ歪の影響や周辺変形の補正を行うことができないため、画面の中央にブレは発生しないものの、周辺部分にブレが発生するような画像が撮像される。また、露光中に、光学式手振れ補正の補正範囲を超えた振幅の振動が発生した場合には、画面のブレを抑制することができない。
【０１４８】
これに対し、撮像装置１１は、動画像の撮像時における手振れ補正処理だけではなく、静止画像を撮像する際の手振れにも有効に適用することができ、長時間露光が必要な静止画像の撮像においても、画像の中央から周辺まで確実にブレを補正することができる。
【０１４９】
図２１を参照して、静止画像に発生するブレについて説明する。
【０１５０】
図２１のＡに示すような振動条件で、１周期Ａの露光を行ったときに撮像される静止画像が、図２１のＢおよび図２１のＣに示されている。図２１のＢには、振動に対するブレを補正する補正処理が施されずに出力される静止画像が示されており、図２１のＣには、光学式手振れ補正による補正処理が施された静止画像が示されている。
【０１５１】
図２１のＣに示すように、光学式手振れ補正による補正処理を施すことによって、ブレを抑制することができるが、周辺変形の影響によって、静止画像の周辺部分にブレが残っている。
【０１５２】
図２２を参照して、特許文献２で提案されている手振れ補正による補正処理が行われた静止画像について説明する。
【０１５３】
図２２のＡには、特許文献２の手振れ補正による補正処理を施す際に、レンズ歪そのものに対する補正を行った画像であって、通常露光の１／８の露光時間で連続的に撮像した８枚の連続画像を重ね合わせた画像の一例が示されている。
【０１５４】
図２２のＢには、特許文献２の手振れ補正による補正処理を施す際に、レンズ歪そのものに対する補正を行わない画像であって、通常露光の１／８の露光時間で連続的に撮像した８枚の連続画像を重ね合わせた画像の一例が示されている。
【０１５５】
図２２のＡおよび図２２のＢに示すように、特許文献２の手振れ補正による補正処理を施すことにより、画像の中央から周辺まで、ほとんど位置ずれなく連続画像を重ねることができる。つまり、特許文献２の手振れ補正による補正処理を施し、短い露光時間で連続的に撮像された複数枚の連続画像を重ね合わせることで、ブレの発生を抑制し、かつ、露光時間を短くしたことによる露光時間内ブレを抑制した画像を得ることができる。なお、露光時間を短くした場合、ノイズの発生が増加することが懸念されるが、複数枚の画像を重ね合わせることによって、ノイズが軽減される。
【０１５６】
しかしながら、特許文献２の手振れ補正による補正処理を施すだけでは、画面の全体的に露光時間内ブレの影響が残ってしまい、より露光時間内ブレが目立たないようにするためには、露光時間をさらに短縮する必要がある。
【０１５７】
図２３を参照して、図１３の撮像装置１１の手振れ補正による補正処理が行われた静止画像について説明する。
【０１５８】
図２３のＡには、撮像装置１１の手振れ補正による補正処理を施す際に、レンズ歪そのものに対する補正を行った画像であって、通常露光の１／８の露光時間で連続的に撮像した８枚の連続画像を重ね合わせた画像の一例が示されている。
【０１５９】
図２３のＢには、撮像装置１１の手振れ補正による補正処理を施す際に、レンズ歪そのものに対する補正を行わない画像であって、通常露光の１／８の露光時間で連続的に撮像した８枚の連続画像を重ね合わせた画像の一例が示されている。
【０１６０】
上述したように、撮像装置１１では、光学的にブレの発生が抑制されるようにイメージセンサ１３により撮像された画像に対して、信号処理回路１７において電子式手振れ補正による補正処理が行われる。
【０１６１】
図２３のＡおよび図２３のＢに示すように、撮像装置１１の手振れ補正による補正処理を施し、短い露光時間で連続的に撮像された複数枚の連続画像を重ね合わせることで、露光時間内ブレの発生を抑制したうえで、画像の中央から周辺まで確実にブレが発生することなく連続画像を重ねることができる。
【０１６２】
図２４を参照して、より大きな振動によって静止画像に発生するブレについて説明する。
【０１６３】
図２４のＡに示すように、光学式手振れ補正の補正範囲を±１．５度とした際に、光学式手振れ補正の補正範囲を超えた振動条件で、１周期Ａの露光を行ったときに撮像される静止画像が、図２４のＢおよび図２４のＣに示されている。図２４のＢには、振動に対するブレを補正する補正処理が施されずに出力される静止画像が示されており、図２４のＣには、光学式手振れ補正による補正処理が施された静止画像が示されている。
【０１６４】
図２４のＡに示すように、ヨー方向の振動波は光学式手振れ補正の補正範囲（±１．５度）を超える程に大きく、図２４のＣに示すように、光学式手振れ補正による補正処理によっても静止画像に発生するブレを抑制することができない。
【０１６５】
図２５を参照して、図２４に示したような振動に対し、特許文献２で提案されている手振れ補正による補正処理が行われた静止画像について説明する。
【０１６６】
図２５のＡには、特許文献２の手振れ補正による補正処理を施す際に、レンズ歪そのものに対する補正を行った画像であって、通常露光の１／８の露光時間で連続的に撮像した８枚の連続画像を重ね合わせた画像の一例が示されている。
【０１６７】
図２５のＢには、特許文献２の手振れ補正による補正処理を施す際に、レンズ歪そのものに対する補正を行わない画像であって、通常露光の１／８の露光時間で連続的に撮像した８枚の連続画像を重ね合わせた画像の一例が示されている。
【０１６８】
図２５のＡおよび図２５のＢに示すように、特許文献２の手振れ補正による補正処理を施すことにより、画像の中央から周辺まで、ほとんど位置ずれなく連続画像を重ねることができる。しかしながら、露光時間内ブレの影響が残っており、全体的にブレているような画像となっている。
【０１６９】
図２６を参照して、図２４のＡに示したような振動に対し、図１３の撮像装置１１の手振れ補正による補正処理が行われた静止画像について説明する。
【０１７０】
図２６のＡには、撮像装置１１の手振れ補正による補正処理を施す際に、レンズ歪そのものに対する補正を行った画像であって、通常露光の１／８の露光時間で連続的に撮像した８枚の連続画像を重ね合わせた画像の一例が示されている。
【０１７１】
図２６のＢには、撮像装置１１の手振れ補正による補正処理を施す際に、レンズ歪そのものに対する補正を行わない画像であって、通常露光の１／８の露光時間で連続的に撮像した８枚の連続画像を重ね合わせた画像の一例が示されている。
【０１７２】
上述したように、撮像装置１１では、光学的にブレの発生が抑制されるようにイメージセンサ１３により撮像された画像に対して、信号処理回路１７において電子式手振れ補正による補正処理が行われる。
【０１７３】
図２６のＡおよび図２６のＢに示すように、撮像装置１１の手振れ補正による補正処理を施し、短い露光時間で連続的に撮像された複数枚の連続画像を重ね合わせることで、露光時間内ブレの発生を抑制したうえで、画像の中央から周辺まで位置ずれなく連続画像を重ねることができる。しかしながら、発生する振動の振幅が光学式手ブレ補正の補正範囲を超えた分だけ、露光時間内ブレの影響が残っており、図２５の例よりはブレは少ないが、全体的にブレているような画像となっている。
【０１７４】
図２７を参照して、図２４のＡに示したような振動に対し、図１７の撮像装置１１Ａの手振れ補正による補正処理が行われた静止画像について説明する。
【０１７５】
図２７のＡには、撮像装置１１Ａの手振れ補正による補正処理を施す際に、レンズ歪そのものに対する補正を行った画像であって、通常露光の１／８の露光時間で連続的に撮像した８枚の連続画像を重ね合わせた画像の一例が示されている。
【０１７６】
図２７のＢには、撮像装置１１Ａの手振れ補正による補正処理を施す際に、レンズ歪そのものに対する補正を行わない画像であって、通常露光の１／８の露光時間で連続的に撮像した８枚の連続画像を重ね合わせた画像の一例が示されている。
【０１７７】
上述したように、撮像装置１１Ａでは、光学式手振れ補正のセンタ戻し処理を行いながら光学的にブレの発生が抑制されるようにイメージセンサ１３により撮像された画像に対して、信号処理回路１７において電子式手振れ補正による補正処理が行われる。
【０１７８】
図２７のＡおよび図２７のＢに示すように、撮像装置１１Ａの手振れ補正による補正処理を施し、光学式手振れ補正のセンタ戻し処理を行いながら、短い露光時間で連続的に撮像された複数枚の連続画像を重ね合わせることで、画像の中央から周辺まで位置ずれなく連続画像を重ねることができ、かつ、露光時間内ブレの影響をほぼ抑制することができる。
【０１７９】
図２１乃至図２７を参照して説明したように、本技術を適用した手振れ補正処理は、短い露光時間で連続的に撮像された複数枚の連続画像を重ね合わせる処理を組み合わせることで、さらに静止画像のブレを補正するのに有効である。
【０１８０】
また、本実施の形態の撮像装置１１は、例えば、光学式手振れ補正が施された画像を用いて、画像データを比較することにより移動ベクトルを検出して電子式手振れ補正を施すような構成と比較して、画像データを比較する処理が不要なっている。このため、撮像装置１１は、より負荷の少ない処理で、高精度にブレを補正することができる。
【０１８１】
また、本実施の形態の撮像装置１１は、例えば、上述した特許文献１で開示されている処理と比較して、光学式手振れ補正の制御において誤差が発生しても、モーションセンサ１４から出力される角速度データ、および、レンズユニット１２の位置情報に基づいて補正を行うことより、その誤差の影響を受けることを回避することができる。
【０１８２】
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
【０１８３】
また、上述した実施の形態では、撮像装置１１の構成について説明したが、本発明は、イメージセンサ１３、モーションセンサ１４、OISドライバ１５、OISアクチュエータ１６、および信号処理回路１７を少なくとも備えたカメラモジュールや、そのカメラモジュールを搭載した各種の電子機器に適用することができる。
【０１８４】
さらに、撮像装置１１が、イメージセンサ１３から出力される画像に対して電子式手振れ補正を施すロジック部２２を備えていなくてもよい。即ち、ロジック部２２の機能を、撮像装置１１とは別のユニットに備え、そのユニットに、画像上の位置と同期がとれているレンズユニット１２の位置情報および角速度データが付加された画像データが出力されていればよい。もちろん、撮像装置１１がロジック部２２を備える構成、より好適には、積層型のイメージセンサ１３の半導体チップに信号処理回路１７を備える構成を採用することで、手振れ補正処理を高精度に実行することができ、容易にシステムを構築することができる。
【０１８５】
なお、上述した本実施の形態において、撮像装置１１に発生する手振れ（つまり、撮像装置１１に内蔵されるイメージセンサ１３の振動）は、図２８に示すように、ピッチ方向、ヨー方向、およびロール方向の回転で定義される。
【０１８６】
＜イメージセンサの使用例＞
【０１８７】
図２９は、上述のイメージセンサを使用する使用例を示す図である。
【０１８８】
上述したイメージセンサは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
【０１８９】
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
【０１９０】
＜内視鏡手術システムへの応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
【０１９１】
図３０は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
【０１９２】
図３０では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。
【０１９３】
内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
【０１９４】
鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
【０１９５】
カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：  Ｃａｍｅｒａ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）１１２０１に送信される。
【０１９６】
ＣＣＵ１１２０１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
【０１９７】
表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。
【０１９８】
光源装置１１２０３は、例えばＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。
【０１９９】
入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
【０２００】
処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
【０２０１】
なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
【０２０２】
また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
【０２０３】
また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Ｎａｒｒｏｗ  Ｂａｎｄ  Ｉｍａｇｉｎｇ）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
【０２０４】
図３１は、図３０に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。
【０２０５】
カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。
【０２０６】
レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
【０２０７】
撮像部１１４０２は、撮像素子で構成される。撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（Ｄｉｍｅｎｓｉｏｎａｌ）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。
【０２０８】
また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。
【０２０９】
駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。
【０２１０】
通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。
【０２１１】
また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
【０２１２】
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ）機能、ＡＦ（Ａｕｔｏ  Ｆｏｃｕｓ）機能及びＡＷＢ（Ａｕｔｏ  Ｗｈｉｔｅ  Ｂａｌａｎｃｅ）機能が内視鏡１１１００に搭載されていることになる。
【０２１３】
カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。
【０２１４】
通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。
【０２１５】
また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
【０２１６】
画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。
【０２１７】
制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。
【０２１８】
また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。
【０２１９】
カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
【０２２０】
ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。
【０２２１】
以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、内視鏡１１１００や、カメラヘッド１１１０２（の撮像部１１４０２）、ＣＣＵ１１２０１（の画像処理部１１４１２）等に適用され得る。このように本開示に係る技術を適用することにより、確実にブレを補正した画像を得ることができるため、術者が術部を確実に確認することが可能になる。
【０２２２】
なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
【０２２３】
＜移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【０２２４】
図３２は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【０２２５】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図３２に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
【０２２６】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【０２２７】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０２２８】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【０２２９】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【０２３０】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【０２３１】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ  Ｄｒｉｖｅｒ  Ａｓｓｉｓｔａｎｃｅ  Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
【０２３２】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０２３３】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【０２３４】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３２の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【０２３５】
図３３は、撮像部１２０３１の設置位置の例を示す図である。
【０２３６】
図３３では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
【０２３７】
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０２３８】
なお、図３３には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【０２３９】
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【０２４０】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０２４１】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【０２４２】
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
【０２４３】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１等に適用され得る。このように本開示に係る技術を適用することにより、確実にブレを補正した画像を得ることができる。
【０２４４】
なお、本技術は以下のような構成も取ることができる。
（１）
被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部と、
物理的に検出される前記撮像部の動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレの光学的な補正を行う際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御する駆動制御部と、
前記駆動制御部による制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報に基づいて、前記画像上の座標ごとに同期させた前記位置情報および前記動き情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部と
を備える撮像装置。
（２）
前記位置情報および前記動き情報、並びに、前記位置情報および前記動き情報と前記画像上の座標とを同期させるタイミングを示すタイミング情報を、前記撮像部により撮像された画像とともに前記信号処理部に供給するロジック部
をさらに備える上記（１）に記載の撮像装置。
（３）
前記ロジック部は、前記位置情報および前記動き情報を、前記タイミング情報とともに前記画像に付加して出力する
上記（２）に記載の撮像装置。
（４）
前記ロジック部は、前記タイミング情報として、前記画像の垂直方向位置を示す情報を、その垂直方向位置の１ライン単位で前記位置情報および前記動き情報に対応付けて出力する
上記（２）に記載の撮像装置。
（５）
前記撮像部および前記ロジック部が積層されて構成されるイメージセンサ
をさらに備え、
前記イメージセンサから前記信号処理部に、前記画像とともに、前記位置情報、前記動き情報、および前記タイミング情報が供給される
上記（２）から（４）までのいずれかにに記載の撮像装置。
（６）
前記駆動制御部により求められた前記移動量に従って前記光学系および前記撮像部の少なくとも一方を駆動し、その駆動に従った前記光学系または前記撮像部の位置を検出して前記位置情報を前記駆動制御部に供給する駆動部
をさらに備える上記（１）から（５）までのいずれかにに記載の撮像装置。
（７）
前記撮像部の動きを物理的に検出し、前記動き情報を前記駆動制御部に供給する検出部
をさらに備え、
前記駆動制御部から前記ロジック部に、前記位置情報および前記動き情報が供給される
上記（２）から（６）までのいずれかにに記載の撮像装置。
（８）
前記ロジック部は、前記撮像部が露光を行う露光タイミングに従って、前記光学的な補正の実行または停止を指示する制御情報を生成して前記駆動制御部に供給し、
前記駆動制御部は、前記制御情報に基づいて、前記光学的な補正が実行中である期間において、前記光学系および前記撮像部の少なくとも一方の駆動を制御して、前記撮像部により撮像される画像に表れるブレの光学的な補正を行わせ、前記光学的な補正が停止中であるにおいて、前記光学系または前記撮像部をセンタ位置に引き戻すように駆動を制御する
上記（２）から（５）までのいずれかに記載の撮像装置。
（９）
前記駆動制御部は、前記制御情報が前記光学的な補正の停止を指示している期間が、前記光学系または前記撮像部をセンタ位置まで引き戻すのに必要な時間より短い場合、その期間内で移動させることができる範囲で前記光学系または前記撮像部をセンタの方向に移動させるように駆動を制御する
上記（８）に記載の撮像装置。
（１０）
前記信号処理部は、短い露光時間で連続的に撮像された複数枚の連続画像が重ね合わされた静止画像を出力する処理を行う際に前記信号処理を施す
上記（１）から（９）までのいずれかに記載の撮像装置。
（１１）
被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部と、
物理的に検出される前記撮像部の動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレを光学的に補正する際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御する駆動制御部による制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報を、前記撮像部により撮像された画像に付加する処理を行い、前記位置情報および前記動き情報に基づいて、前記画像上の座標ごとに同期させた前記位置情報および前記動き情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部に出力するロジック部と
を備える固体撮像素子。
（１２）
被写体からの光を集光する光学系と、
前記光学系を介して、前記被写体を撮像する撮像部と、
物理的に検出される前記撮像部の動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレの光学的な補正を行う際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御する駆動制御部と、
前記駆動制御部による制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報に基づいて、前記画像上の座標ごとに同期させた前記位置情報および前記動き情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部に、前記位置情報および前記動き情報、並びに、前記位置情報および前記動き情報と前記画像上の座標とを同期させるタイミングを示すタイミング情報を、前記撮像部により撮像された画像とともに前記信号処理部に供給するロジック部と
を備えるカメラモジュール。
（１３）
被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部の物理的に検出される動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレを光学的に補正する際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御し、
その制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報を、前記撮像部により撮像された画像に付加する処理を行い、前記位置情報および前記動き情報に基づいて、前記画像上の座標ごとに同期させた前記位置情報および前記動き情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部に出力するロジック部に、前記位置情報および前記動き情報を供給する
駆動制御部。
（１４）
被写体からの光を集光する光学系を介して、前記被写体を撮像する撮像部の物理的に検出される動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレを光学的に補正する際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御し、
その制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報に基づいて、前記画像上の座標ごとに同期させた前記位置情報および前記動き情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す
ステップを含む撮像方法。
（１５）
前記位置情報および前記動き情報を、前記位置情報および前記動き情報を取得したタイミングで露光されていた前記画像の垂直方向位置を示すタイミング情報とともに、前記撮像部により撮像された画像に付加する処理を行うステップ
を含む上記（１４）に記載の撮像方法。
【０２４５】
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２４６】
１１  撮像装置，  １２  レンズユニット，  １３  イメージセンサ，  １４  モーションセンサ，  １５  OISドライバ，  １６  OISアクチュエータ，  １７  信号処理回路，  １８  ディスプレイ，  １９  記録媒体，  ２１  撮像部，  ２２  ロジック部
【図１】
2018025659.tif 000012
【図２】
2018025659.tif 000013
【図３】
2018025659.tif 000014
【図４】
2018025659.tif 000015
【図５】
2018025659.tif 000016
【図６】
2018025659.tif 000017
【図７】
2018025659.tif 000018
【図８】
2018025659.tif 000019
【図９】
2018025659.tif 000020
【図１０】
2018025659.tif 000021
【図１１】
2018025659.tif 000022
【図１２】
2018025659.tif 000023
【図１３】
2018025659.tif 000024
【図１４】
2018025659.tif 000025
【図１５】
2018025659.tif 000026
【図１６】
2018025659.tif 000027
【図１７】
2018025659.tif 000028
【図１８】
2018025659.tif 000029
【図１９】
2018025659.tif 000030
【図２０】
2018025659.tif 000031
【図２１】
2018025659.tif 000032
【図２２】
2018025659.tif 000033
【図２３】
2018025659.tif 000034
【図２４】
2018025659.tif 000035
【図２５】
2018025659.tif 000036
【図２６】
2018025659.tif 000037
【図２７】
2018025659.tif 000038
【図２８】
2018025659.tif 000039
【図２９】
2018025659.tif 000040
【図３０】
2018025659.tif 000041
【図３１】
2018025659.tif 000042
【図３２】
2018025659.tif 000043
【図３３】
2018025659.tif 000044
【国際調査報告】
2018025659.tif 000045
2018025659.tif 000046
2018025659.tif 000047
2018025659.tif 000048