(57)【要約】【課題】カメラワーク開始時及び終了時における像移動が急激に変化することなく且つ滑らかに変化するように動画像のぶれを補正することができるようにする。【解決手段】装置は、先行する第１フレーム画像に対する、第１フレーム画像に後続する第２フレーム画像の像移動量を算出する像移動量算出部と、第１フレーム画像に先行して入力される第３フレーム画像に対する第１フレーム画像の補正後の像移動量を保持する像移動量保持部と、第１フレーム画像の補正後の像移動量と第２フレーム画像の像移動量との差分を、像移動量の変化量として算出する像移動変化量算出部と、像移動量の変化量に所定のゲインを乗算して第１補正量を算出する補正量算出部と、第２フレーム画像の所定の切出位置から所定の画角を切り出す補正部とを備え、補正部は、第１補正量に基づいて所定の切出位置を決定する。【選択図】図８
2018074365.tif 000002
【特許請求の範囲】
【請求項１】
連続して入力される複数のフレーム画像からなる動画像のぶれを補正するぶれ補正装置であって、
先行して入力される第１フレーム画像の被写体像と前記第１フレーム画像に後続して入力される第２フレーム画像の被写体像との位置関係から、前記第１フレーム画像に対する前記第２フレーム画像の像移動量を算出する像移動量算出部と、
前記第１フレーム画像に先行して入力される第３フレーム画像に対する前記第１フレーム画像の補正後の像移動量を保持する像移動量保持部と、
前記像移動量保持部により保持されている前記第１フレーム画像の補正後の像移動量と前記像移動量算出部により算出された前記第２フレーム画像の像移動量との差分を、像移動量の変化量として算出する像移動変化量算出部と、
前記像移動変化量算出部により算出された像移動量の変化量に所定のゲインを乗算して第１補正量を算出する補正量算出部と、
前記第２フレーム画像の所定の切出位置から所定の画角を切り出す補正部と、
を備え、
前記補正部は、前記補正量算出部により算出された第１補正量に基づいて前記所定の切出位置を決定する、
ことを特徴とするぶれ補正装置。
【請求項２】
前記像移動量算出部により算出された前記第２フレーム画像の像移動量に基づいて、前記動画像を撮影していた撮像装置が姿勢変化中であるか否かを判定する姿勢変化判定部を更に備え、
前記姿勢変化判定部により姿勢変化中であると判定された場合は、前記補正部が、前記補正量算出部により算出された第１補正量に基づいて前記所定の切出位置を決定し、
前記姿勢変化判定部により姿勢変化中でないと判定された場合は、前記補正部が、前記像移動量算出部により算出された前記第２フレーム画像の像移動量を第２補正量とし、当該第２補正量に基づいて前記所定の切出位置を決定する、
ことを特徴とする請求項１記載のぶれ補正装置。
【請求項３】
ユーザ設定、又は、入力されるフレーム画像からの検出情報に基づいて、前記所定のゲインを決定するゲイン決定部を更に備える、
ことを特徴とする請求項１又は２記載のぶれ補正装置。
【請求項４】
被写体像を結像する光学系と、
前記被写体像を電気信号に変換する撮像素子と、
前記撮像素子又は前記光学系を駆動する駆動部と、
ぶれを検出するぶれ検出部と、
を備え、
前記ぶれ検出部の検出結果に基づいて、前記撮像素子の撮像面に生じる像ぶれを打ち消す方向に前記駆動部を駆動してぶれ補正を行う撮像装置であって、
先行して前記撮像素子から読み出される第１フレーム画像の被写体像と前記第１フレーム画像に後続して前記撮像素子から読み出される第２フレーム画像の被写体像との位置関係から、前記第１フレーム画像に対する前記第２フレーム画像の像移動量を算出する像移動量算出部と、
前記第１フレーム画像に先行して前記撮像素子から読み出される第３フレーム画像に対する前記第１フレーム画像の補正後の像移動量を保持する像移動量保持部と、
前記像移動量保持部に保持されている前記第１フレーム画像の補正後の像移動量と前記像移動量算出部により算出された前記第２フレーム画像の像移動量との差分を、像移動量の変化量として算出する像移動変化量算出部と、
前記像移動変化量算出部により算出された像移動量の変化量に所定のゲインを乗算して第１補正量を算出する補正量算出部と、
前記第２フレーム画像の所定の切出位置から所定の画角を切り出す補正部と、
を更に備え、
前記補正部は、前記補正量算出部により算出された第１補正量に基づいて前記所定の切出位置を決定する、
ことを特徴とする撮像装置。
【請求項５】
前記像移動量算出部により算出された前記第２フレーム画像の像移動量に基づいて前記撮像装置が姿勢変化中であるか否かを判定する姿勢変化判定部を更に備え、
前記姿勢変化判定部により姿勢変化中であると判定された場合は、前記補正部が、前記補正量算出部により算出された第１補正量に基づいて前記所定の切出位置を決定し、
前記姿勢変化判定部により姿勢変化中でないと判定された場合は、前記補正部が、前記像移動量算出部により算出された前記第２フレーム画像の像移動量を第２補正量とし、当該第２補正量に基づいて前記所定の切出位置を決定する、
ことを特徴とする請求項４記載の撮像装置。
【請求項６】
ユーザ設定、前記撮像装置の状態、又は、前記撮像素子から読み出されるフレーム画像からの検出情報に基づいて、前記所定のゲインを決定するゲイン決定部を更に備える、
ことを特徴とする請求項４又は５記載の撮像装置。
【請求項７】
前記ユーザ設定に応じて補正効果の強度を選択する強度選択部と、
前記強度選択部の選択結果に応じた補正効果をユーザに視認させる補正効果表示部と、
を更に備え、
前記ゲイン決定部は、前記強度選択部の選択結果に基づいて前記所定のゲインを決定する、
ことを特徴とする請求項６記載の撮像装置。
【請求項８】
前記補正効果表示部は、前記強度選択部の選択結果に応じた効果視認用動画像を表示する、
ことを特徴とする請求項７記載の撮像装置。
【請求項９】
前記撮像装置の状態は、動画撮影時の焦点距離又はフレームレートである、
ことを特徴とする請求項６記載の撮像装置。
【請求項１０】
連続して入力される複数のフレーム画像からなる動画像のぶれを補正するぶれ補正装置のぶれ補正方法であって、
先行して入力される第１フレーム画像の被写体像と前記第１フレーム画像に後続して入力される第２フレーム画像の被写体像との位置関係から、前記第１フレーム画像に対する前記第２フレーム画像の像移動量を算出し、
前記第１フレーム画像に先行して入力される第３フレーム画像に対する前記第１フレーム画像の補正後の像移動量と前記算出した前記第２フレーム画像の像移動量との差分を、像移動量の変化量として算出し、
前記算出した像移動量の変化量に所定のゲインを乗算して第１補正量を算出し、
前記算出した第１補正量に基づいて前記第２フレーム画像の切出位置を決定し、当該決定した前記第２フレーム画像の切出位置から所定の画角を切り出す、
ことを特徴とするぶれ補正方法。
【請求項１１】
連続して入力される複数のフレーム画像からなる動画像のぶれを補正するぶれ補正装置のコンピュータに、
先行して入力される第１フレーム画像の被写体像と前記第１フレーム画像に後続して入力される第２フレーム画像の被写体像との位置関係から、前記第１フレーム画像に対する前記第２フレーム画像の像移動量を算出する像移動量算出機能と、
前記第１フレーム画像に先行して入力される第３フレーム画像に対する前記第１フレーム画像の補正後の像移動量と前記像移動量算出機能により算出された前記第２フレーム画像の像移動量との差分を、像移動量の変化量として算出する像移動変化量算出機能と、
前記像移動変化量算出機能により算出された像移動量の変化量に所定のゲインを乗算して第１補正量を算出する補正量算出機能と、
前記補正量算出機能により算出された第１補正量に基づいて前記第２フレーム画像の切出位置を決定し、当該決定した前記第２フレーム画像の切出位置から所定の画角を切り出す補正機能と、
を実現させることを特徴とするぶれ補正プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像（映像）のぶれ（像ぶれ）を補正するぶれ補正装置、撮像装置、ぶれ補正方法、及びぶれ補正プログラムに関する。
【背景技術】
【０００２】
従来、カメラにより動画像を撮影する場合に、その動画像に生じるぶれを補正する手段として、光学方式（光学式）のぶれ補正手段（光学的ぶれ補正手段とも称す）と電子方式（電子式）のぶれ補正手段（電子的ぶれ補正手段とも称す）が知られている。
【０００３】
光学式ぶれ補正手段は、ぶれに応じてカメラの光学系又は撮像素子を移動させることにより、撮像素子の撮像面上での像移動を打ち消してぶれを補正する。この光学式ぶれ補正手段によれば、撮像素子の撮像面上での像移動が無くなるため、動画撮影中（露光中）での露光ぶれやローリングシャッター歪が生じにくい。その一方、ぶれを補正するための機械的な構成（光学系や撮像素子の移動機構等）を必要とするため、装置の大型化、重量化、及びコストアップにつながりやすい。
【０００４】
他方、電子式ぶれ補正手段は、撮影された各フレーム画像から所定の画角を切り出す際に、その切出位置をぶれに応じて変更することにより、動画像中の連続的な像移動を打ち消してぶれを補正する。この電子式ぶれ補正手段によれば、ぶれを補正するための機械的な構成を必要としないため、安価に構成することができる。その一方、動画撮影中での露光ぶれやローリングシャッター歪が生じて動画像の見栄えが悪くある虞がある。
【０００５】
電子式ぶれ補正手段を備えた装置の一例として、次のような撮像装置が知られている。この撮像装置では、フレーム画像間の移動ベクトルを求め、その移動ベクトルと過去に求められた複数の移動ベクトルの平均（平均移動ベクトル）との差分（差分ベクトル）を求め、その差分ベクトルに基づいて手ぶれが補正される（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２４３３３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
撮影者がカメラを手に持った状態で動画像を撮影する場合（いわゆる手持ち撮影の場合）には、撮影者がカメラを静止させているつもりであってもカメラが揺れてしまう場合がある。このような場合、特許文献１の撮像装置では、その揺れに応じて平均移動ベクトルが揺らいでしまい（不安定になってしまい）、その結果、撮影される動画像中の像移動を完全に止めることができない虞がある。また、その平均移動ベクトルの揺らぎを抑えるために、例えば、平均移動ベクトルを、過去の、より長い期間の間に求められた、より多くの複数の移動ベクトルの平均とする方法も考えられる。しかしながら、この方法では、カメラワークに対する応答性が低下する虞があり、違和感のある動画像が得られる虞がある。なお、カメラワークとは、撮影者が撮影中に意図的に撮影方向や構図を変えるようにカメラを動かすカメラ操作のことであり、例えばパンニング等、動く被写体に合わせて構図が一致するようにカメラを動かすカメラ操作等がある。
【０００８】
また、カメラのぶれ補正手段は、上述の手持ち撮影により生じる像ぶれ（手ぶれによる像ぶれ）と、カメラワークによる像ぶれ（像移動）とを区別することができない。そのため、カメラワークによる像移動に対しても、ぶれ補正が行われてしまう。このような場合、撮影される動画像は、カメラワーク開始時及び終了時に生じる急激な像移動に対してぶれ補正が行われることにより、その開始時及び終了時においては構図が急激に変化するような動画像になってしまう。その結果、違和感のある不自然な動画像になってしまう。
【０００９】
本発明は、上記課題に着眼して為されたものであり、動画撮影中にカメラワークが行われた場合、又は、カメラワークが行われて撮影された動画像のぶれを補正する場合に、そのカメラワーク開始時及び終了時における像移動が急激に変化することなく且つ滑らかに変化するように動画像のぶれを補正することができる、ぶれ補正装置、撮像装置、ぶれ補正方法、及びぶれ補正プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の第１の態様は、連続して入力される複数のフレーム画像からなる動画像のぶれを補正するぶれ補正装置であって、先行して入力される第１フレーム画像の被写体像と前記第１フレーム画像に後続して入力される第２フレーム画像の被写体像との位置関係から、前記第１フレーム画像に対する前記第２フレーム画像の像移動量を算出する像移動量算出部と、前記第１フレーム画像に先行して入力される第３フレーム画像に対する前記第１フレーム画像の補正後の像移動量を保持する像移動量保持部と、前記像移動量保持部により保持されている前記第１フレーム画像の補正後の像移動量と前記像移動量算出部により算出された前記第２フレーム画像の像移動量との差分を、像移動量の変化量として算出する像移動変化量算出部と、前記像移動変化量算出部により算出された像移動量の変化量に所定のゲインを乗算して第１補正量を算出する補正量算出部と、前記第２フレーム画像の所定の切出位置から所定の画角を切り出す補正部とを備え、前記補正部は、前記補正量算出部により算出された第１補正量に基づいて前記所定の切出位置を決定する、ぶれ補正装置を提供する。
【００１１】
本発明の第２の態様は、第１の態様において、前記像移動量算出部により算出された前記第２フレーム画像の像移動量に基づいて、前記動画像を撮影していた撮像装置が姿勢変化中であるか否かを判定する姿勢変化判定部を更に備え、前記姿勢変化判定部により姿勢変化中であると判定された場合は、前記補正部が、前記補正量算出部により算出された第１補正量に基づいて前記所定の切出位置を決定し、前記姿勢変化判定部により姿勢変化中でないと判定された場合は、前記補正部が、前記像移動量算出部により算出された前記第２フレーム画像の像移動量を第２補正量とし、当該第２補正量に基づいて前記所定の切出位置を決定する、ぶれ補正装置を提供する。
【００１２】
本発明の第３の態様は、第１又は２の態様において、ユーザ設定、又は、入力されるフレーム画像からの検出情報に基づいて、前記所定のゲインを決定するゲイン決定部を更に備える、ぶれ補正装置を提供する。
【００１３】
本発明の第４の態様は、被写体像を結像する光学系と、前記被写体像を電気信号に変換する撮像素子と、前記撮像素子又は前記光学系を駆動する駆動部と、ぶれを検出するぶれ検出部とを備え、前記ぶれ検出部の検出結果に基づいて、前記撮像素子の撮像面に生じる像ぶれを打ち消す方向に前記駆動部を駆動してぶれ補正を行う撮像装置であって、先行して前記撮像素子から読み出される第１フレーム画像の被写体像と前記第１フレーム画像に後続して前記撮像素子から読み出される第２フレーム画像の被写体像との位置関係から、前記第１フレーム画像に対する前記第２フレーム画像の像移動量を算出する像移動量算出部と、前記第１フレーム画像に先行して前記撮像素子から読み出される第３フレーム画像に対する前記第１フレーム画像の補正後の像移動量を保持する像移動量保持部と、前記像移動量保持部に保持されている前記第１フレーム画像の補正後の像移動量と前記像移動量算出部により算出された前記第２フレーム画像の像移動量との差分を、像移動量の変化量として算出する像移動変化量算出部と、前記像移動変化量算出部により算出された像移動量の変化量に所定のゲインを乗算して第１補正量を算出する補正量算出部と、前記第２フレーム画像の所定の切出位置から所定の画角を切り出す補正部とを更に備え、前記補正部は、前記補正量算出部により算出された第１補正量に基づいて前記所定の切出位置を決定する、撮像装置を提供する。
【００１４】
本発明の第５の態様は、第４の態様において、前記像移動量算出部により算出された前記第２フレーム画像の像移動量に基づいて前記撮像装置が姿勢変化中であるか否かを判定する姿勢変化判定部を更に備え、前記姿勢変化判定部により姿勢変化中であると判定された場合は、前記補正部が、前記補正量算出部により算出された第１補正量に基づいて前記所定の切出位置を決定し、前記姿勢変化判定部により姿勢変化中でないと判定された場合は、前記補正部が、前記像移動量算出部により算出された前記第２フレーム画像の像移動量を第２補正量とし、当該第２補正量に基づいて前記所定の切出位置を決定する、撮像装置を提供する。
【００１５】
本発明の第６の態様は、第４又は５の態様において、ユーザ設定、前記撮像装置の状態、又は、前記撮像素子から読み出されるフレーム画像からの検出情報に基づいて、前記所定のゲインを決定するゲイン決定部を更に備える、撮像装置を提供する。
【００１６】
本発明の第７の態様は、第６の態様において、前記ユーザ設定に応じて補正効果の強度を選択する強度選択部と、前記強度選択部の選択結果に応じた補正効果をユーザに視認させる補正効果表示部とを更に備え、前記ゲイン決定部は、前記強度選択部の選択結果に基づいて前記所定のゲインを決定する、撮像装置を提供する。
【００１７】
本発明の第８の態様は、第７の態様において、前記補正効果表示部は、前記強度選択部の選択結果に応じた効果視認用動画像を表示する、撮像装置を提供する。
【００１８】
本発明の第９の態様は、第６の態様において、前記撮像装置の状態は、動画撮影時の焦点距離又はフレームレートである、撮像装置を提供する。
【００１９】
本発明の第１０の態様は、連続して入力される複数のフレーム画像からなる動画像のぶれを補正するぶれ補正装置のぶれ補正方法であって、先行して入力される第１フレーム画像の被写体像と前記第１フレーム画像に後続して入力される第２フレーム画像の被写体像との位置関係から、前記第１フレーム画像に対する前記第２フレーム画像の像移動量を算出し、前記第１フレーム画像に先行して入力される第３フレーム画像に対する前記第１フレーム画像の補正後の像移動量と前記算出した前記第２フレーム画像の像移動量との差分を、像移動量の変化量として算出し、前記算出した像移動量の変化量に所定のゲインを乗算して第１補正量を算出し、前記算出した第１補正量に基づいて前記第２フレーム画像の切出位置を決定し、当該決定した前記第２フレーム画像の切出位置から所定の画角を切り出す、ぶれ補正方法を提供する。
【００２０】
本発明の第１１の態様は、連続して入力される複数のフレーム画像からなる動画像のぶれを補正するぶれ補正装置のコンピュータに、先行して入力される第１フレーム画像の被写体像と前記第１フレーム画像に後続して入力される第２フレーム画像の被写体像との位置関係から、前記第１フレーム画像に対する前記第２フレーム画像の像移動量を算出する像移動量算出機能と、前記第１フレーム画像に先行して入力される第３フレーム画像に対する前記第１フレーム画像の補正後の像移動量と前記像移動量算出機能により算出された前記第２フレーム画像の像移動量との差分を、像移動量の変化量として算出する像移動変化量算出機能と、前記像移動変化量算出機能により算出された像移動量の変化量に所定のゲインを乗算して第１補正量を算出する補正量算出機能と、前記補正量算出機能により算出された第１補正量に基づいて前記第２フレーム画像の切出位置を決定し、当該決定した前記第２フレーム画像の切出位置から所定の画角を切り出す補正機能と、を実現させるぶれ補正プログラムを提供する。
【発明の効果】
【００２１】
本発明によれば、動画撮影中にカメラワークが行われた場合、又は、カメラワークが行われて撮影された動画像のぶれを補正する場合に、そのカメラワーク開始時及び終了時における像移動が急激に変化することなく且つ滑らかに変化するように動画像のぶれを補正することができる、という効果を奏する。
【図面の簡単な説明】
【００２２】
【図１】基本的な電子的ぶれ補正方法の原理を説明する図である。
【図２Ａ】入力フレーム画像の像移動量と出力フレーム画像の像移動量の時間変化の一例を示す図である。
【図２Ｂ】移動ベクトルの算出ができなかった場合の、入力フレーム画像の像移動量と出力フレーム画像の像移動量の時間変化の一例を示す図である。
【図３Ａ】パンニング開始時における、本発明の電子的ぶれ補正方法による補正前及び補正後の像移動量の時間変化の一例を示す図である。
【図３Ｂ】パンニング中における、本発明の電子的ぶれ補正方法による補正前及び補正後の像移動量の時間変化の一例を示す図である。
【図３Ｃ】パンニング終了時における、本発明の電子的ぶれ補正方法による補正前及び補正後の像移動量の時間変化の一例を示す図である。
【図４】第１の実施形態に係るぶれ補正装置が実行する電子的ぶれ補正処理の一例を示すフローチャートである。
【図５】補正量１算出処理（Ｓ６）の一例を示すフローチャートである。
【図６】第２の実施形態に係る撮像装置であるカメラの構成例を示す図である。
【図７】ぶれ補正マイコンの機能構成の一例を示すブロック図である。
【図８】システムコントローラの電子的ぶれ補正に関係する機能構成の一例を示すブロック図である。
【図９】第２の実施形態に係る電子補正量算出部の機能構成の一例を示すブロック図である。
【図１０】ＥＶＦに表示されたユーザ設定画面の一例を示す図である。
【図１１】第３の実施形態に係る電子補正量算出部の機能構成の一例を示すブロック図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照しながら、本発明の実施の形態について説明する。
はじめに、基本的な電子的ぶれ補正方法の原理について説明する。
【００２４】
図１は、その原理を説明する図である。
図１において、入力フレーム画像ｉｆ１とｉｆ２は、入力される動画像における連続する（時間的に連続する）２つのフレーム画像であり、補正前（電子的ぶれ補正が行われる前）のフレーム画像である。なお、動画像は、複数のフレーム画像からなる。一方、出力フレーム画像ｏｆ１とｏｆ２は、補正後（電子的ぶれ補正が行われた後）のフレーム画像である。
【００２５】
入力フレーム画像ｉｆ１とｉｆ２との間のぶれを電子的に補正する場合は、図１に示したように、まず、設定されている切り出しエリアに従って入力フレーム画像ｉｆ１の切り出しエリア（一点鎖線で示すエリア）を切り出し、出力フレーム画像ｏｆ１を生成する。続いて、入力フレーム画像ｉｆ１とｉｆ２とを比較し、両者の被写体像の位置関係（両者の間での像移動量）から移動ベクトルｖを算出する。なお、移動ベクトルｖは、公知の方法を用いて算出することができる。続いて、設定されている切り出しエリアを、その移動ベクトルｖに基づいて変更する。より詳しくは、設定されている切り出しエリアを移動ベクトルｖ分だけ移動させたエリアへ変更する。そして、設定されている切り出しエリア（即ち、変更後の切り出しエリア）に従って入力フレーム画像ｉｆ２の切り出しエリア（破線で示すエリア）を切り出し、出力フレーム画像ｏｆ２を生成する。
【００２６】
これにより、出力フレーム画像ｏｆ１とｏｆ２との間では、入力フレーム画像ｉｆ１とｉｆ２との間で生じていた像移動が打ち消される。そして、このようなことを、動画像における連続する２つの入力フレーム画像間の全てにおいて行うことにより、ぶれが電子的に補正された動画像が生成される。
【００２７】
次に、本発明の電子的ぶれ補正方法の概念について説明する。
図２Ａは、入力フレーム画像の像移動量と出力フレーム画像の像移動量の時間変化の一例を示す図である。なお、入力フレーム画像の像移動量は、本発明の電子的ぶれ補正方法により補正される前の像移動量であり、出力フレーム画像の像移動量は、本発明の電子的ぶれ補正方法により補正された後の像移動量である。
【００２８】
図２Ａにおいて、横軸は時間を示し、縦軸は像移動量を示す。実線Ａは、入力フレーム画像の像移動量の時間変化を示し、破線Ｂは、出力フレーム画像の像移動量の時間変化を示す。ｔ０、ｔ１、ｔ２、ｔ３は、動画像における連続する４つのフレーム画像の時間を示す。ｖ０、ｖ１、ｖ２、ｖ３は、ｔ０、ｔ１、ｔ２、ｔ３における入力フレーム画像の像移動量（先行する入力フレーム画像に対する像移動量）を示す。例えば、ｖ１は、ｔ０における入力フレーム画像に対する、ｔ１における入力フレーム画像の像移動量を示す。ｚ０、ｚ１、ｚ２、ｚ３は、ｔ０、ｔ１、ｔ２、ｔ３における出力フレーム画像の像移動量を示す。ｄ１、ｄ２、ｄ３は、ｔ１、ｔ２、ｔ３において算出された入力フレーム画像の像移動量の補正量を示す。なお、ｚ１、ｚ２、ｚ３は、ｖ１、ｖ２、ｖ３から、ｄ１、ｄ２、ｄ３を減算したものでもある。
【００２９】
本発明の電子的ぶれ補正方法では、各時間における出力フレーム画像の像移動量は、先行する出力フレーム画像の像移動量に対して、各時間における入力フレーム画像の像移動量が所定の比率で低減される値とされる。例えば、ｔ１における出力フレーム画像の像移動量ｚ１は、先行する出力フレーム画像（ｔ０における出力フレーム画像）の像移動量ｚ０に対して、ｔ１における入力フレーム画像の像移動量ｖ１が所定の比率で低減される値とされる。図２Ａに示した例では、出力フレーム画像間の像移動量の変化量が１／３に抑制されるような値にされている。例えば、ｔ０とｔ１における出力フレーム画像間の像移動量の変化量（ｚ１−ｚ０）は、ｔ０における出力フレーム画像とｔ１における入力フレーム画像との間の像移動量の変化量（ｖ１−ｚ０）の１／３になっている。
【００３０】
ところで、移動ベクトルは、様々な要因により常に算出できるものではない。例えば、被写体のコントラストが低い場合、撮影者のカメラワーク等により露光ぶれが生じる場合、像移動が速すぎて移動ベクトルの算出許容範囲を超えてしまう場合等には、移動ベクトルを算出することができない。従って、この場合は、入力フレーム画像の像移動量を算出することができない。
【００３１】
そこで、このような場合、本発明の電子的ぶれ補正方法では、次に説明するように、最後に算出された入力フレーム画像の像移動量に基づいて、補正量を低減するようにしている。
【００３２】
図２Ｂは、移動ベクトルの算出ができなかった場合の、入力フレーム画像の像移動量と出力フレーム画像の像移動量の時間変化の一例を示す図である。なお、図２Ｂに示した例は、図２Ａに示した例における時間ｔ２以降において移動ベクトルの算出ができなくなった例でもある。
【００３３】
図２Ｂに示したように、この例では、時間ｔ２以降に移動ベクトルの算出ができない。そこで、このような場合は、最後に算出された入力フレーム画像の像移動量に基づいて補正量の低減が行われる。この例では、最後に算出された入力フレーム画像の像移動量（ｔ１における入力フレーム画像の像移動量ｖ１）に基づいて、ｔ２における補正量がｄ２（ｄ２＜ｄ１）とされ、ｔ３における補正量はゼロ（補正量無し）とされるようにして、補正量が低減される。
【００３４】
こうすることで、移動ベクトルの算出ができなくなった場合には、像移動量の補正を徐々に低減させるようにして停止せることができるので、動画像において、像移動量の補正が急激に停止することにより生じる違和感を緩和することができる。
【００３５】
その後、移動ベクトルの算出ができるようになった場合には、その時点から２つ目の入力フレーム画像から、図２Ａを用いて説明した像移動量の補正が再開されるようにすればよい。
【００３６】
このようにして動画像のぶれを電子的に補正することにより、動画像における像移動の変化が緩和され、動画像における像移動を滑らかにすることができる。
【００３７】
一般に、見栄えの悪いぶれた動画像は、各フレーム画像間での像移動量の変化が大きい。一方、フレーム画像間の像移動量が大きくても、それが一定値である場合、例えば、パンニングによる像移動の速度に変化が無く一定である場合は、動画像の見栄えを損なうことはない。
【００３８】
本発明の電子的ぶれ補正方法では、先行するフレーム画像（前フレーム画像）からの像移動量の変化を緩和することによって、スタビライザーやジンバルと称する機構を用いた場合と同等のぶれ補正効果を得ることができる。
【００３９】
ここで、本発明の電子的ぶれ補正方法の効果について説明する。
図３Ａは、パンニング開始時における、本発明の電子的ぶれ補正方法による補正前及び補正後の像移動量の時間変化の一例を示す図である。図３Ｂは、パンニング中における、本発明の電子的ぶれ補正方法による補正前及び補正後の像移動量の時間変化の一例を示す図である。図３Ｃは、パンニング終了時における、本発明の電子的ぶれ補正方法による補正前及び補正後の像移動量の時間変化の一例を示す図である。
【００４０】
図３Ａ、図３Ｂ、及び図３Ｃにおいて、横軸は時間を示し、縦軸は像移動量を示す。実線Ｃは、補正前の像移動量（入力フレーム画像の像移動量でもある）の時間変化を示す。破線Ｄは、補正後の像移動量（出力フレーム画像の像移動量でもある）の時間変化を示す。なお、図３Ａ、図３Ｂ、及び図３Ｃに示した例では、出力フレーム画像間の像移動量の変化量が１／６に抑制されるようにされている。
【００４１】
図３Ａにおいて、撮影者がカメラを手に持った状態でパンニングを開始すると、パンニングを開始したときのカメラの動きと手ぶれが重なり、実線Ｃに示したように、像移動量の急激な増加（変化）が生じて動画像の見栄えが悪くなる虞がある。これに対し、本発明の電子的ぶれ補正方法によれば、破線Ｄに示したように、パンニング開始時の像移動量の増加（変化）が滑らかになるので、動画像の見栄えを良くすることができる。
【００４２】
図３Ｂにおいて、パンニング中は、カメラの動きと手ぶれにより、実線Ｃに示したように、像移動量の変化にムラが生じて動画像の見栄えが悪くなる虞がある。これに対し、本発明の電子的ぶれ補正方法によれば、破線Ｄに示したように、像移動量の変化が緩和され、一定速度でパンニングされているような見栄えの良い動画像を得ることができる。
【００４３】
図３Ｃにおいて、撮影者がパンニングを終了すると、パンニングを終了したときのカメラの動きと手ぶれが重なり、実線Ｃに示したように、像移動量の急激な減少（変化）が生じて違和感のある動画像が得られる虞がある。これに対し、本発明の電子的ぶれ補正方法によれば、破線Ｄに示したように、パンニング終了時の像移動量の減少（変化）が滑らかになって像移動が停止するので、動画像の見栄えを良くすることができる。
【００４４】
このように本発明の電子的ぶれ補正方法によれば、図３Ａ、図３Ｂ、及び図３Ｃに示したように、カメラワークに対して常に動画像における像の動きを滑らかにすることができる。
【００４５】
以下では、本発明の電子的ぶれ補正方法を実施するぶれ補正装置の一例を第１の実施形態として説明し、本発明の電子的ぶれ補正方法を実施する撮像装置の一例を第２の実施形態として説明し、本発明の電子的ぶれ補正方法を実施する撮像装置の他の例を第３の実施形態として説明する。
【００４６】
＜第１の実施形態＞
図４は、第１の実施形態に係るぶれ補正装置が実行する電子的ぶれ補正処理の一例を示すフローチャートである。
【００４７】
なお、この電子的ぶれ補正処理を実行するぶれ補正装置は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えた情報処理装置（コンピュータ）によって実現される。この場合、ＣＰＵは、ＲＯＭに格納されているぶれ補正プログラムを読み出して、プログラムに含まれる処理命令を実行することにより、図４に示す電子的ぶれ補正処理を実行する。この電子的ぶれ補正処理は、入力された動画像のぶれを電子的に補正する処理であって、入力された動画像に対して電子的ぶれ補正処理を施し、ぶれが電子的に補正された動画像を出力する。ここで、入力される動画像は、複数のフレーム画像からなる動画像であって、予めカメラにより撮影された動画像である。カメラにより撮影された動画像は、カメラの手ぶれ補正機能が使用されないで撮影された動画像でも構わないが、カメラの光学的ぶれ補正機能が使用されて撮影された動画像であることが望ましい。これは、既述のとおり、電子的ぶれ補正では、動画撮影中に生じる露光ぶれやローリングシャッター歪みによる画質劣化を補正することができない虞があるからである。
【００４８】
図４に示したように、処理が開始すると、まず、ぶれ補正装置は、動画像の１フレーム目のフレーム画像を読み出す（Ｓ１）。なお、動画像は、例えば、ぶれ補正装置に挿入されたメモリカード等の記録媒体に記録されている。
【００４９】
Ｓ１の処理後、ぶれ補正装置は、動画像の読み出す対象となるフレーム位置に対応する変数をＮと定義し、変数Ｎを２（Ｎ＝２）とカウントする（Ｓ２）。そして動画像のＮフレーム目のフレーム画像を読み出す（Ｓ３）。
【００５０】
なお、Ｓ１及びＳ３において、フレーム画像を読み出すとは、フレーム画像がぶれ補正装置に入力されることでもある。
【００５１】
Ｓ３の後、ぶれ補正装置は、Ｎ−１フレーム目のフレーム画像とＮフレーム目のフレーム画像とを比較し、両者の被写体像の位置関係（両者の間での像移動量）から移動ベクトルを算出（検出）する（Ｓ４）。なお、この移動ベクトルが示す像移動量は、Ｎ−１フレーム目のフレーム画像に対するＮフレーム目のフレーム画像の像移動量である。
【００５２】
Ｓ４の後、ぶれ補正装置は、Ｓ４で算出された移動ベクトルから、カメラワーク中であるか否かを判定する（Ｓ５）。なお、この判定では、例えば、移動ベクトルが示す像移動量が所定ピクセル数以下であるか否かを判定し、所定ピクセル数以下でないと判定された場合にはカメラワーク中であると判定し、所定ピクセル数以下であると判定された場合にはカメラワーク中でないと判定される。これは、光学的ぶれ補正機能が使用されて撮影された動画像では、カメラワークが無い場合の像移動量が所定ピクセル数（例えば３ピクセル）以下に収まる、ということによる。ここで、判定基準となる所定ピクセル数は、ユーザにより変更可能であってもよいし、シフトぶれ（並進ぶれ）の影響が出る場合を考慮して撮影時の像倍率に応じて変更されるものであってもよい。
【００５３】
Ｓ５の判定結果がＹｅｓの場合、ぶれ補正装置は、図５を用いて後述する補正量１算出処理を行う（Ｓ６）。Ｓ６の後、ぶれ補正装置は、Ｓ４で算出された移動ベクトルが示す像移動量とＳ６で算出された補正量１との差分（像移動量から補正量１を減算したもの）を、補正後の像移動量として像移動量保持部に保持する（Ｓ７）。例えば、Ｓ４で算出された移動ベクトルが示す像移動量が図２Ａのｖ１であって、Ｓ６で算出された補正量１が図２Ａのｄ１である場合、補正後の像移動量として図２Ａのｚ１が像移動保持部に保持される。なお、像移動量保持部は、例えば、上述のＲＡＭの一部の記憶領域により実現される。
【００５４】
一方、Ｓ５の判定結果がＮｏの場合、ぶれ補正装置は、Ｓ４で算出された移動ベクトルが示す像移動量に基づいて補正量２を算出する（Ｓ８）。なお、補正量２は、移動ベクトルが示す像移動量と一致した値とされる。Ｓ８の後、ぶれ補正装置は、像移動量保持部に保持されている補正後の像移動量をクリアする（Ｓ９）。すなわち、補正後の像移動量として０を像移動量保持部に保持する。
【００５５】
Ｓ７又はＳ９の後、ぶれ補正装置は、像移動量保持部に保持されている補正後の像移動量に基づいて切出位置を決定し、Ｎフレーム目のフレーム画像の、その決定した切出位置から所定の画角を切り出す（Ｓ１０）。なお、決定される切出位置は、Ｎ−１フレーム目のフレーム画像から所定の画角を切り出した際の切出位置を、補正量１又は、補正量２に基づいて移動させた位置とされる。この場合、例えば、決定される切出位置は、Ｎ−１フレーム目のフレーム画像から所定の画角を切り出した際の切出位置を、補正量１又は、補正量２の分だけ移動させた位置とされる。
【００５６】
また、Ｓ１０では、Ｎ＝２である場合に限り、１フレーム目のフレーム画像からの所定の画角の切り出しも行われる。このときの切出位置は、例えば、初期設定されている切出位置とされる。
【００５７】
Ｓ１０の後、ぶれ補正装置は、Ｓ１０でＮフレーム目のフレーム画像から切り出された画像を、Ｎフレーム目の補正後フレーム画像（補正後動画像のＮフレーム目のフレーム画像）として、例えば上述のメモリカード等の記録媒体へ記録する（Ｓ１１）。また、Ｓ１１では、Ｎ＝２である場合に限り、更に、Ｓ１０で１フレーム目のフレーム画像から切り出された画像を、１フレーム目の補正後フレーム画像（補正後動画像の１フレーム目のフレーム画像）として記録する。なお、Ｓ１１では、Ｓ１０で切り出された画像を、元のフレーム画像（切り出し前のフレーム画像）と同じサイズに拡大した上で記録するようにしてもよい。
【００５８】
Ｓ１１の後、ぶれ補正装置は、Ｎフレームが動画像の最終フレームであるか否かを判定する（Ｓ１２）。
【００５９】
Ｓ１２の判定結果がＮｏの場合、ぶれ補正装置は、変数Ｎをインクリメントする（Ｓ１３）。Ｓ１３の後は、処理がＳ３へ戻る。
【００６０】
一方、Ｓ１２の判定結果がＹｅｓの場合には、処理が終了する。
図５は、補正量１算出処理（Ｓ６）の一例を示すフローチャートである。
【００６１】
図５に示したように、補正量１算出処理では、まず、Ｓ４で算出された移動ベクトルが示す像移動量から、像移動量保持部に保持されている補正後の像移動量を減算し、像移動量の変化量を算出する（Ｓ６１）。なお、この時の像移動量保持部に保持されている補正後の像移動量は、前回のＳ７又はＳ９で保持された補正後の像移動量である。但し、Ｎ＝２である場合はＳ７又はＳ９が未だ行われていないので、初期値としての補正後の像移動量（例えば０）が像移動量保持部に保持されている。
【００６２】
Ｓ６１の後は、遅延設定に応じて、補正量１を算出するためのゲインを算出する（Ｓ６２）。なお、遅延設定は、ユーザにより変更可能であり、例えば、ぶれ補正装置に対するユーザ操作により、遅延設定として「強」、「中」、「弱」の何れかが設定される。ここで、「強」が設定された場合には、ぶれへの追従効果を弱めるために、フレーム画像間の像移動量の変化量が小さくなるように（例えば１／６になるように）される。例えば、フレーム画像間の像移動量の変化量が１／６になるようにされた場合は、Ｓ６２で算出されるゲインが５／６（＝１−１／６）になる。一方、「弱」が設定された場合には、フレーム画像間の像移動量の変化量が大きくなるように（例えば１／３になるように）される。例えば、フレーム画像間の像移動量の変化量が１／３になるようにされた場合は、Ｓ６２で算出されるゲインが２／３（＝１−１／３）になる。
【００６３】
Ｓ６２の後は、Ｓ６１で算出された像移動量の変化量にＳ６２で算出されたゲインを乗算して補正量１を算出する（Ｓ６３）。
【００６４】
Ｓ６３の後は処理が戻る。
以上述べてきたように、本実施形態によれば、ぶれ（像移動量）が小さいときは像移動がほぼ無くなるように電子的ぶれ補正が行われ、ぶれが大きいとき（パンニング等のカメラワークが行われているとき）は像移動が急激に変化することなく滑らかに変化するように電子的ぶれ補正が行われるので、スタビライザーやジンバルを使用した場合と同等の動画像を生成することができる。
【００６５】
＜第２の実施形態＞
図６は、第２の実施形態に係る撮像装置であるカメラの構成例を示す図である。
なお、このカメラは、第１の実施形態に係るぶれ補正装置を備えたカメラと言うこともできるし、第１の実施形態に係るぶれ補正装置が実行する電子的ぶれ補正処理を実行するカメラとも言うことができる。
【００６６】
図６に示したように、カメラ１は、光学系２、撮像素子３、駆動部４、システムコントローラ５、ぶれ補正マイコン６、角速度センサ７、レリーズＳＷ（Switch）８、ＥＶＦ（Electronic View Finder）９、メモリカード１０、及びプログラムメモリ１１を含む。
【００６７】
光学系２は、フォーカスレンズや絞り等を含み、被写体からの光束を撮像素子３の撮像面に結像する。
【００６８】
撮像素子３は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサであって、システムコントローラ５の制御の下に、撮像面に結像されている被写体像を電気信号に変換する。変換された電気信号は、システムコントローラ５によって映像信号として読み出される。
【００６９】
駆動部４は、ぶれ補正マイコン６の制御の下に、撮像素子３を、光学系２の光軸と直交する面上で移動させる。例えば、駆動部４は、撮像素子３の撮像面上での像移動（像ぶれ）を打ち消す方向に撮像素子３を移動させる。
【００７０】
システムコントローラ５は、カメラ１の全体動作を制御する。例えば、システムコントローラ５は、撮像素子３から読み出した映像信号に対して電子的ぶれ補正制御を行う。また、例えば、撮像素子３から読み出した映像信号や電子的ぶれ補正が行われた映像信号を、ＥＶＦ９に表示する形式に変換してライブビュー映像としてＥＶＦ９に表示させたり、記録する形式の画像データに変換してメモリカード１０に記録したりする制御を行う。また、例えば、メモリカード１０から読み出した画像データ（動画像データ）を、ＥＶＦ９に表示する形式に変換してＥＶＦ９に表示させる制御等も行う。なお、システムコントローラ５の詳細構成（電子的ぶれ補正に関係する構成）については、図８を用いて後述する。
【００７１】
ぶれ補正マイコン６は、システムコントローラ５の制御の下に、角速度センサ７の出力（角速度センサ７により検出された角速度）に基づいて、撮像素子３の撮像面上での像移動量（像ぶれ量）を算出し、それを打ち消す方向に撮像素子３を移動させるように駆動部４を制御してぶれを補正する。また、ぶれ補正マイコン６は、システムコントローラ５の制御の下に、角速度センサ７の出力に基づいて、カメラ１の姿勢変化判定を行い、その判定結果をシステムコントローラ５へ通知する。なお、ぶれ補正マイコン６の詳細構成については、図７を用いて後述する。
【００７２】
角速度センサ７は、カメラ１に加わる動き（回転運動）を検出するセンサである。本実施形態では、角速度センサ７が、カメラ１に加わるＹａｗ方向及びＰｉｔｃｈ方向の動き（回転運動）を角速度として検出するセンサであるとする。
【００７３】
レリーズＳＷ８は、ユーザのＳＷ半押し操作及び全押し操作を検出し、その検出結果をシステムコントローラ５へ通知する。これにより、例えば、動画像の記録（撮影）開始や終了が指示される。
【００７４】
ＥＶＦ９は、システムコントローラ５の制御の下に、例えば、撮像素子３から読み出された映像信号や電子的ぶれ補正が行われた映像信号をライブビュー映像として表示する。また、ＥＶＦ９は、例えば、メモリカード１０から読み出された画像データ（動画像データ）に応じた映像信号を表示する。また、ＥＶＦ９は、例えば、メニュー画面や、そのメニュー画面の中から選択された項目に応じたユーザ設定画面等も表示する。なお、ＥＶＦ９は、タッチパネル機能付きのＥＶＦであってもよい。この場合、ユーザは、ＥＶＦ９に対するタッチ操作により、メニュー画面中の項目選択や各種ユーザ設定画面における設定変更等を行うことができる。
【００７５】
メモリカード１０は、例えば、撮像素子３から読み出された映像信号や電子的ぶれ補正が行われた映像信号が画像データ（動画像データ）として記録される。
【００７６】
プログラムメモリ１１は、不揮発性のＲＯＭであり、システムコントローラ５内で実施される電子的ぶれ補正処理や画像処理等の各種処理を実行させるプログラムが格納（記憶）されている。
【００７７】
なお、本実施形態では、システムコントローラ５内の演算処理プロセッサが、プログラムメモリ１１に格納されているプログラムを読み出し実行することにより、システムコントローラ５内での電子的ぶれ補正処理や画像処理等の各種処理が実行されるものとする。
【００７８】
但し、これに限定されるものではなく、例えば、システムコントローラ５内で実行される各種処理が、演算処理を行う専用回路からなるハードウェアにより実行されるものであってもよい。あるいは、システムコントローラ５内で実行される各種処理の一部がハードウェアにより実行され、残りが、プログラムメモリ１１に格納されているプログラムに従って演算処理プロセッサにより実行されるものであってもよい。
【００７９】
図７は、ぶれ補正マイコン６の機能構成の一例を示すブロック図である。
図７に示したように、ぶれ補正マイコン６は、信号処理部６１、乗算部６２、積分部６３、駆動制御部６４、及び姿勢変化判定部６５を含む。
【００８０】
信号処理部６１は、角速度センサ７からアナログ信号として出力される角速度をデジタル値に変換し、その変換結果から基準値を減算し、その減算結果に対してフィルター処理を施す等の処理を行う。なお、基準値は、カメラ１が静止状態のときに角速度センサ７からアナログ信号として出力される角速度をデジタル値に変換した値である。また、フィルター処理では、低周波成分の除去が行われる。
【００８１】
乗算部６２は、信号処理部６１の処理結果に対して光学系２の焦点距離情報を乗算する。これにより、信号処理部６１の処理結果が、撮像素子３の撮像面上での像移動量に変換される。なお、光学系２の焦点距離情報は、システムコントローラ５から通知される。
【００８２】
積分部６３は、乗算部６２の乗算結果を積分（累積加算）する。
駆動制御部６４は、積分部６３の積分結果を、駆動部４の駆動信号に変換し、駆動部４へ出力する。これにより、その駆動信号に従って駆動部４が駆動することで、撮像素子３の撮像面上での像移動量が打ち消される方向に撮像素子３が移動する。
【００８３】
姿勢変化判定部６５は、積分部６３の積分結果から、カメラ１が姿勢変化中であるか否かを判定し、その判定結果をシステムコントローラ５に通知する。なお、姿勢変化判定部６５による判定では、例えば、積分部６３の積分結果の単位時間当たりの変化量が所定の閾値を超えた場合に姿勢変化中と判定され、その変化量が所定の閾値以下である場合は姿勢変化中でないと判定される。
【００８４】
図８は、システムコントローラ５の電子的ぶれ補正に関係する機能構成の一例を示すブロック図である。
【００８５】
図８に示したように、システムコントローラ５は、電子的ぶれ補正に関係する機能構成として、映像読出部５１、通信部５２、電子補正量算出部５３、画角切出部５４、映像出力部５５、及び記録部５６を含む。
【００８６】
映像読出部５１は、撮像素子３から映像信号（フレーム画像）を読み出す。なお、映像読出部５１が撮像素子３からフレーム画像を読み出すとは、撮像素子３からシステムコントローラ５にフレーム画像が入力されることでもある。
【００８７】
通信部５２は、ぶれ補正マイコン６と通信を行い、例えば、ぶれ補正マイコン６から通知された姿勢変化判定部６５の判定結果を電子補正量算出部５３へ出力する。
【００８８】
電子補正量算出部５３は、映像読出部５１により読み出されたフレーム画像と、ぶれ補正マイコン６から通知された姿勢変化判定部６５の判定結果とに基づいて、補正量（像移動量の補正量）を算出する。なお、電子補正量算出部５３の詳細構成については、図９を用いて後述する。
【００８９】
画角切出部５４は、電子補正量算出部５３により算出された補正量に基づいて切出位置を決定し、映像読出部５１により読み出されたフレーム画像の、その決定した切出位置から所定の画角を切り出す。
【００９０】
映像出力部５５は、画角切出部５４により切り出された画像を、ＥＶＦ９に表示可能な形式の信号に変換して、ＥＶＦ９に表示させる。
【００９１】
記録部５６は、画角切出部５４により切り出された画像を、メモリカード１０に記録可能な形式のデータに変換して、メモリカード１０に記録する。
【００９２】
図９は、電子補正量算出部５３の機能構成の一例を示すブロック図である。
図９に示したように、電子補正量算出部５３は、移動ベクトル検出部５３１、ゲイン算出部５３２、減算部５３３、乗算部５３４、セレクタ５３５、減算部５３６、及び像移動量保持部５３７を含む。
【００９３】
移動ベクトル検出部５３１は、映像読出部５１により前回に読み出されたフレーム画像（以下、「前回フレーム画像」という）と、映像読出部５１により今回に読み出されたフレーム画像とから、移動ベクトルを算出（検出）する。
【００９４】
ゲイン算出部５３２は、遅延設定に基づいてゲインを算出（決定）する。ここで、遅延設定は、ユーザにより、図１０を用いて後述するユーザ設定画面を介して行われる。また、遅延設定に基づくゲインの算出方法は、例えば、第１の実施形態で説明した方法（図５のＳ６２で説明した方法）と同様である。
【００９５】
減算部５３３は、移動ベクトル検出部５３１により算出された移動ベクトルが示す像移動量から、像移動量保持部５３７に保持されている補正後の像移動量を減算する。なお、この時に像移動量保持部５３７に保持されている補正後の像移動量は、前回フレーム画像の補正後の像移動量である。
【００９６】
乗算部５３４は、減算部５３３の減算結果に、ゲイン算出部５３２により算出されたゲインを乗算する。
【００９７】
セレクタ５３５は、ぶれ補正マイコン６から通知された姿勢変化判定部６５の判定結果に応じて、乗算部５３４の乗算結果、又は、移動ベクトル検出部５３１により算出された移動ベクトルが示す像移動量を選択し、補正量として画角切出部５４へ出力する。この選択では、姿勢変化判定部６５の判定結果が姿勢変化中であるという判定結果であった場合には、乗算部５３４の乗算結果が選択され、姿勢変化判定部６５の判定結果が姿勢変化中でないという判定結果であった場合には、移動ベクトル検出部５３１により算出された移動ベクトルが示す像移動量が選択される。
【００９８】
減算部５３６は、移動ベクトル検出部５３１により算出された移動ベクトルが示す像移動量から、乗算部５３４の乗算結果を減算する。
【００９９】
像移動量保持部５３７は、減算部５３６の減算結果（補正後の像移動量）を保持する。
図１０は、ＥＶＦ９に表示されたユーザ設定画面の一例を示す図である。
【０１００】
図１０に示したユーザ設定画面９１は、上述のユーザによる遅延設定を可能にするユーザ設定画面である。
【０１０１】
ユーザ設定画面９１は、ユーザが「強」、「中」、「弱」の何れかの遅延レベル（緩和効果レベル）を選択可能にする選択領域９１１と、電子的ぶれ補正が行われない場合のサンプル動画像が表示される表示領域（「補正効果なし」領域）９１２と、選択領域９１１で選択されている遅延レベルに基づく電子的ぶれ補正が行われた場合のサンプル動画像が表示される表示領域（「補正効果あり」領域）９１３とを有する。なお、サンプル動画像は、撮影中にパンニング等のカメラワークが行われて撮影された動画像であって、予め、例えばシステムコントローラ５の内部メモリに記憶されている。また、選択領域９１１は、強度選択部の一例であり、表示領域９１３は、補正効果表示部の一例であり、表示領域９１３に表示されるサンプル動画像は、効果視認用動画像の一例である。
【０１０２】
このようなユーザ設定画面９１では、ユーザが、所望の遅延設定として、選択領域９１１における「強」、「中」、「弱」の何れかを選択すると、表示領域９１２には、電子的ぶれ補正が行われない場合のサンプル動画像（即ち、サンプル動画像そのもの）が表示されると共に、表示領域９１３には、選択された遅延設定に基づく電子的ぶれ補正が行われた場合のサンプル動画像が表示される。これにより、ユーザは、両者のサンプル動画像を比較することにより、緩和効果（補正効果）の度合いを視認することができる。
【０１０３】
なお、このユーザ設定画面９１では、サンプル動画像の代わりにライブビュー映像を用いるようにしてもよい。この場合は、表示領域９１２に、電子的ぶれ補正前のライブビュー映像が表示され、表示領域９１３には、選択されている遅延設定に基づく電子的ぶれ補正後のライブビュー映像が表示される。この場合、ユーザは、緩和効果の度合いを、よりイメージし易くなる。
【０１０４】
以上述べてきたように、本実施形態によれば、カメラ１の光学的ぶれ補正機構（駆動部４等）によりぶれ補正された動画像に対して、像移動量の変化を緩和するような電子的ぶれ補正が行われるので、見栄えの良い動画像を得ることができる。例えば、光学的ぶれ補正機構によるぶれ補正だけでは、カメラワークが行われたときに違和感のある動画像（像移動量の変化が急激な動画像）が得られる場合があるが、本実施形態では、その違和感を、上述の電子的ぶれ補正により緩和することができる。
【０１０５】
＜第３の実施形態＞
第３の実施形態に係る撮像装置は、第２の実施形態に係る撮像装置に対して、電子補正量算出部５３の構成のみが異なる。
【０１０６】
図１１は、第３の実施形態に係る電子補正量算出部５３の機能構成の一例を示すブロック図である。なお、第３の実施形態の説明では、第２の実施形態と同一の構成要素については同一の符号を付して説明する。
【０１０７】
図１１に示したように、第３の実施形態に係る電子補正量算出部５３では、第２の実施形態に係る電子補正量算出部５３（図９参照）に対して、ゲイン算出部５３２の動作が異なる。また、これに伴い、セレクタ５３５が設けられていない。
【０１０８】
第３の実施形態に係る電子補正量算出部５３では、ゲイン算出部５３２は、像移動量保持部５３７に保持されている、前回フレーム画像の補正後の像移動量と、遅延設定と、ぶれ補正マイコン６から通知された姿勢変化判定部６５の判定結果とに基づいて、ゲインを算出（決定）する。
【０１０９】
より詳しくは、前回フレーム画像の補正後の像移動量が所定値未満であり、且つ、姿勢変化判定部６５の判定結果が姿勢変化中でないという判定結果であった場合は、一律にゲインを１として出力する。こうすることで、移動ベクトル検出部５３１により算出された移動ベクトルが示す像移動量がほぼそのまま補正量して出力されるようになるので、動画像における像移動が行われないように電子的ぶれ補正が行われる。
【０１１０】
一方、前回フレーム画像の補正後の像移動量が所定値以上であるか、又は、姿勢変化判定部６５の判定結果が姿勢変化中であるという判定結果であった場合は、第２の実施形態と同様に、遅延設定に基づいてゲインが算出される。
【０１１１】
なお、ゲイン算出部５３２では、遅延設定に基づいてゲインを算出する代わりに、例えば焦点距離やフレームレート等、動画撮影時のカメラ１の設定状態に基づいてゲインを算出するようにしてもよい。例えば、広角撮影（短焦点距離撮影）が行われる場合は、カメラワークに対する像移動量が小さくなることから、緩和効果を弱くして小さい値のゲインが算出されるようにしてもよい。また、例えば、望遠撮影（長焦点距離撮影）が行われる場合は、カメラワークに対する像移動量が大きくなることから、緩和効果を強くして大きな値のゲインが算出されるようにしてもよい。また、例えば、フレームレートが３０ｆｐｓ（frames per second）の場合と６０ｆｐｓの場合とでは、後者の緩和効果が前者の１／２になるように後者のゲインを前者の２倍にしてもよい。
【０１１２】
このようにすることで、ユーザは、カメラの細かい設定を意識すること無く、所望の遅延設定を自動で行わせることができる。
【０１１３】
また、遅延設定に基づいてゲインを算出する代わりに、ユーザの特性やフレーム画像からの検出情報に基づいてゲインを算出するようにしてもよい。例えば、ユーザの特性に基づいてゲインを算出する場合には、予め、ユーザの過去のカメラ操作の特性を記録しておき、比較的に滑らかなカメラ操作を行うユーザに対しては緩和効果を弱める（応答性を良くする）ゲインが算出され、ラフなカメラ操作を行うユーザに対しては緩和効果を強くするゲインが算出されるようにしてもよい。なお、ユーザの過去のカメラ操作の特性とは、例えば、ユーザの過去のパンニング開始時や終了時のカメラ操作の加減速特性やパンニング中のカメラ操作の速度特性等である。また、フレーム画像からの検出情報に基づいてゲインを算出する場合として、例えば、フレーム画像から被写体として人が検出され、その人を追いかけるようなカメラワークが行われている場合には、緩和効果を弱める（応答性を良くする）ゲインが算出され、フレーム画像から被写体として風景や建物が検出され、その風景や建物をゆっくりパンニングしながら撮影している場合には、緩和効果を強めるゲインが算出されるようにしてもよい。
【０１１４】
以上述べてきたように、本実施形態によれば、カメラ１の姿勢、設定状態（焦点距離やフレームレート等）、又はフレーム画像からの検出情報に基づいて、動的にゲインを算出することができるので、ユーザが特に意識することなく、カメラ１に最適な緩和処理（像移動の変化を緩和させる処理）を行わせることができる。
【０１１５】
なお、上述の各実施形態においては、次のような変形が可能である。
例えば、第１の実施形態において、図４及び図５を用いて説明した電子的ぶれ補正処理では、Ｓ４での移動ベクトルの検出ができなかった場合に、図２Ｂを用いて説明したようにして補正量が算出されて処理が行われるようにしてもよい。
【０１１６】
また、例えば、第２及び第３の実施形態において、電子補正量算出部５３の移動ベクトル検出部５３１（図９及び図１１参照）で移動ベクトルの検出ができなかった場合には、図２Ｂを用いて説明したようにして補正量が算出されるように電子補正量算出部５３を構成するようにしてもよい。
【０１１７】
また、第２及び第３の実施形態において、カメラ１は、撮像素子３の撮像面での像ぶれを、撮像素子３を移動させることにより補正するようにしているが、例えば、光学系２の一部を、光学系２の光軸と直交する面上で移動させることにより補正するように構成してもよい。あるいは、例えば、撮像素子３と光学系２の一部の両方を移動させることにより補正するように構成してもよい。
【０１１８】
以上、本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、様々の発明を形成できる。例えば、実施形態に示される全構成要素のいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１１９】
１          カメラ
２          光学系
３          撮像素子
４          駆動部
５          システムコントローラ
６          ぶれ補正マイコン
７          角速度センサ
８          レリーズＳＷ
９          ＥＶＦ
１０        メモリカード
１１        プログラムメモリ
５１        映像読出部
５２        通信部
５３        電子補正量算出部
５４        画角切出部
５５        映像出力部
５６        記録部
６１        信号処理部
６２        乗算部
６３        積分部
６４        駆動制御部
６５        姿勢変化判定部
９１        ユーザ設定画面
５３１      移動ベクトル検出部
５３２      ゲイン算出部
５３３      減算部
５３４      乗算部
５３５      セレクタ
５３６      減算部
５３７      像移動量保持部
９１１      選択領域
９１２、９１３  表示領域
【図１】
2018074365.tif 000003
【図２Ａ】
2018074365.tif 000004
【図２Ｂ】
2018074365.tif 000005
【図３Ａ】
2018074365.tif 000006
【図３Ｂ】
2018074365.tif 000007
【図３Ｃ】
2018074365.tif 000008
【図４】
2018074365.tif 000009
【図５】
2018074365.tif 000010
【図６】
2018074365.tif 000011
【図７】
2018074365.tif 000012
【図８】
2018074365.tif 000013
【図９】
2018074365.tif 000014
【図１０】
2018074365.tif 000015
【図１１】
2018074365.tif 000016