(57)【要約】【課題】動画像の振れを適切に補正すること。【解決手段】画像処理装置１００は、動画データを構成する時系列の複数のフレームにおいて、基準フレームと各フレームとの間の位置ずれ量である基準位置ずれ量をフレームごとに算出する基準位置ずれ量算出手段１０４と、基準位置ずれ量を平滑化した平滑化位置ずれ量をフレームごとに算出する平滑化手段１０４と、基準位置ずれ量と平滑化位置ずれ量との差異に基づいて、基準位置ずれ量の信頼度をフレームごとに判定する判定手段１０４と、信頼度に基づいて基準位置ずれ量をフレームごとに補正する位置ずれ量補正手段１０４と、補正後の基準位置ずれ量に基づいてフレームごとに振れを補正する振れ補正手段１０４と、を備える。【選択図】図１
2014011740.tif 000002
【特許請求の範囲】
【請求項１】
動画データを構成する時系列の複数のフレームにおいて、基準フレームと各フレームとの間の位置ずれ量である基準位置ずれ量をフレームごとに算出する基準位置ずれ量算出手段と、
前記基準位置ずれ量を平滑化した平滑化位置ずれ量をフレームごとに算出する平滑化手段と、
前記基準位置ずれ量と前記平滑化位置ずれ量との差異に基づいて、前記基準位置ずれ量の信頼度をフレームごとに判定する判定手段と、
前記信頼度に基づいて前記基準位置ずれ量をフレームごとに補正する位置ずれ量補正手段と、
前記補正後の基準位置ずれ量に基づいてフレームごとに振れを補正する振れ補正手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記判定手段は、前記差異が所定の判定閾値以上か未満かを判定し、
前記位置ずれ量補正手段は、前記判定手段により前記差異が前記所定の判定閾値以上であると判定されたフレームにおける基準位置ずれ量を、当該フレームにおける平滑化位置ずれ量に近い値に補正することを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記平滑化位置ずれ量に近い値とは、前記判定手段により前記差異が前記所定の判定閾値以上であると判定されたフレームにおける平滑化位置ずれ量の値、または、当該フレームの直前フレームにおける基準位置ずれ量の値であることを特徴とする画像処理装置。
【請求項４】
請求項２または３に記載の画像処理装置において、
前記位置ずれ量補正手段は、前記判定手段により前記差異が前記所定の判定閾値未満であると判定されたフレームにおける基準位置ずれ量を、当該基準位置ずれ量に第１の重み付け係数を乗じた値と当該フレームにおける平滑化位置ずれ量に第２の重み付け係数を乗じた値とを加算した値に補正することを特徴とする画像処理装置。
【請求項５】
請求項２〜４のいずれか一項に記載の画像処理装置において、
前記位置ずれ量補正手段は、前記差異が前記所定の判定閾値以上であると判定されたフレームにおける基準位置ずれ量であって前記平滑化位置ずれ量に近い値に補正された基準位置ずれ量を、当該基準位置ずれ量に第１の重み付け係数を乗じた値と当該フレームにおける平滑化位置ずれ量に第２の重み付け係数を乗じた値とを加算した値に補正することを特徴とする画像処理装置。
【請求項６】
請求項１〜５のいずれか一項に記載の画像処理装置において、
前記複数のフレームにおいて、隣接するフレーム間の位置ずれ量である隣接位置ずれ量を算出する隣接位置ずれ量算出手段をさらに備え、
前記基準位置ずれ量算出手段は、前記隣接位置ずれ量に基づいて前記基準位置ずれ量を算出することを特徴とする画像処理装置。
【請求項７】
請求項６に記載の画像処理装置において、
前記動画データは記録媒体に記録されており、
前記隣接位置ずれ量算出手段は、前記記録媒体から前記動画データの各フレームを読み出して、前記隣接位置ずれ量を算出することを特徴とする画像処理装置。
【請求項８】
請求項６に記載の画像処理装置において、
前記隣接位置ずれ量算出手段は、前記動画データの撮影中、撮像手段により前記動画データのフレームが撮像されるごとに、当該フレームと直前のフレームとの位置ずれ量を隣接位置ずれ量として算出し、当該フレームに当該隣接位置ずれ量を関連付けて記録媒体に記録することを特徴とする画像処理装置。
【請求項９】
動画データを構成する時系列の複数のフレームにおいて、基準フレームと各フレームとの間の位置ずれ量である基準位置ずれ量をフレームごとに算出し、
前記基準位置ずれ量を平滑化した平滑化位置ずれ量をフレームごとに算出し、
前記基準位置ずれ量と前記平滑化位置ずれ量との差異に基づいて、前記基準位置ずれ量の信頼度をフレームごとに判定し、
前記信頼度に基づいて前記基準位置ずれ量をフレームごとに補正し、
前記補正後の基準位置ずれ量に基づいてフレームごとに振れを補正する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理方法に関する。
【背景技術】
【０００２】
デジタルカメラを手持ちして撮影する場合には、静止画像撮影および動画像撮影のいずれにおいても、手振れが原因で望み通りの画像が得られないことがある。特に動画像撮影時の手振れは、動画像を視聴する際に画面全体の揺れとして現れるため、視聴者に不快感を与える要因となる。
【０００３】
そこで、動画像を構成するフレーム間の位置ずれ量（フレーム間における被写体等の変化量）を検出し、検出結果に基づいて動画像の手振れを補正する手振れ補正装置が知られている（例えば、特許文献１)。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１２４０６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来技術ではフレームの画像のみからフレーム間の位置ずれ量を検出するため、必ずしも正確な位置ずれ量を検出できるという保証はなく、撮影条件や撮影被写体によっては位置ずれ量の検出を失敗して適切に手振れ補正を行えない可能性がある。すなわち、動画像の手振れ補正が適切に行えるか否かは、位置ずれ量の検出精度に左右されてしまう。このように、上記従来技術では必ずしも適切に動画像の振れ補正を行うことができないという問題があった。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明による画像処理装置は、動画データを構成する時系列の複数のフレームにおいて、基準フレームと各フレームとの間の位置ずれ量である基準位置ずれ量をフレームごとに算出する基準位置ずれ量算出手段と、基準位置ずれ量を平滑化した平滑化位置ずれ量をフレームごとに算出する平滑化手段と、基準位置ずれ量と平滑化位置ずれ量との差異に基づいて、基準位置ずれ量の信頼度をフレームごとに判定する判定手段と、信頼度に基づいて基準位置ずれ量をフレームごとに補正する位置ずれ量補正手段と、補正後の基準位置ずれ量に基づいてフレームごとに振れを補正する振れ補正手段と、を備えることを特徴とする。
請求項９に記載の発明による画像処理方法は、動画データを構成する時系列の複数のフレームにおいて、基準フレームと各フレームとの間の位置ずれ量である基準位置ずれ量をフレームごとに算出し、基準位置ずれ量を平滑化した平滑化位置ずれ量をフレームごとに算出し、基準位置ずれ量と平滑化位置ずれ量との差異に基づいて、基準位置ずれ量の信頼度をフレームごとに判定し、信頼度に基づいて基準位置ずれ量をフレームごとに補正し、補正後の基準位置ずれ量に基づいてフレームごとに振れを補正することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、動画像の振れを適切に補正できる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施の形態によるカメラの構成例を説明するブロック図である。
【図２】手振れ補正処理の流れを示すフローチャートである。
【図３】（Ａ）は動画を構成するフレームを説明する図であり、（Ｂ）は隣接位置ずれ量を説明する図であり、（Ｃ）は基準位置ずれ量を説明する図である。
【図４】（Ａ）は基準位置ずれ量を示す図であり、（Ｂ）は平滑化位置ずれ量を示す図であり、（Ｃ）は（Ａ）の基準位置ずれ量を示す図と（Ｂ）の平滑化位置ずれ量を示す図を重ね合わせた図であり、（Ｄ）は補正後の基準位置ずれ量を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明を実施するための形態について説明する。図１は、本実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ１００は、操作部材１０１と、撮像レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、録画ボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。
【００１０】
撮像レンズ１０２は、被写体像を撮像素子１０３の撮像面に結像するように配置されている。撮像レンズ１０２は、図１では代表して１枚のレンズで表しているが、実際は複数の光学レンズから構成される。撮像素子１０３は、例えばＣＭＯＳなどのイメージセンサであり、撮像レンズ１０２により結像した被写体像を撮像して、撮像によって得られた画像信号を制御装置１０４へ出力する。
【００１１】
制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、前記画像信号の処理に加え、カメラ１００全体の制御を行う。なお、制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用されたりする。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。
【００１２】
メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットである。モニタ１０６は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）である。
【００１３】
制御装置１０４は、カメラ１００の電源スイッチが操作されると電源をオンして、撮像素子１０３から時系列で取得した画像を表示用に画像処理した表示用画像データ（スルー画）をモニタ１０６に表示させる。
【００１４】
制御装置１０４は、レリーズボタンが操作されて静止画像の撮影が指示されると、撮像素子１０３から入力された画像信号に対して所定の画像処理を行う。そして、画像処理後の画像データをＪＰＥＧ形式などの圧縮画像データに圧縮し、その圧縮画像データを静止画像ファイルとしてメモリカードスロット１０５に挿入されたメモリカードに記憶させる。
【００１５】
一方、制御装置１０４は、録画ボタンが操作されて動画像の撮影開始が指示されると、撮像素子１０３から出力された各フレームの画像信号に対して所定の画像処理を行う。そして、画像処理後の画像データをＭＰＥＧ形式やＭｏｔｉｏｎＪＰＥＧなどの圧縮画像データに圧縮し、その圧縮画像データをメモリカードスロット１０５に挿入されたメモリカードに記憶させる。
【００１６】
そして、再度録画ボタンが操作されて動画像の撮影終了が指示されると、制御装置１０４は、動画像の撮影終了時点までの圧縮画像データをメモリカードに記憶させ、メモリカードに動画ファイルを完成させる。なお、動画像の撮影時、カメラ１００は、１秒間に所定のフレーム数（たとえば、２４〜６０フレーム）の画像を撮影する。
【００１７】
＜手振れ補正処理＞
本実施形態は、動画像の手振れを補正する手振れ補正処理に特徴を有するので、以下の説明はこの点を中心に行う。図２は、制御装置１０４が実行する手振れ補正処理の流れを説明するフローチャートである。制御装置１０４は、操作部材１０１の操作により、メモリカードスロット１０５に挿入されたメモリカードに記録された動画像の中から手振れ補正処理を実行する動画像が選択されると、図２に例示する処理を実行するプログラムを起動する。
【００１８】
ステップＳ１において制御装置１０４は、上記選択された動画像に対応する動画データの各フレームを上記メモリカードから読み出して、ステップＳ２へ進む。なお、上記選択された動画像は、図３（Ａ）に示すように、時系列のｎ枚のフレーム（Ｆ１〜Ｆｎ）から構成されるものとする。
【００１９】
ステップＳ２において制御装置１０４は、図３（Ｂ）に示すように、２〜ｎ枚目の各フレーム（Ｆ２〜Ｆｎ）において、隣接する直前フレーム（Ｆ１〜Ｆｎ−１）との相対的な位置ずれ量を隣接位置ずれ量Ｐ（Ｐ２〜Ｐｎ）として算出する。すなわち、隣接フレーム（Ｆ１とＦ２）間の隣接位置ずれ量Ｐ２、隣接フレーム（Ｆ２とＦ３）間の位置ずれ量Ｐ３、…、隣接フレーム（Ｆｎ−１とＦｎ）間の隣接位置ずれ量Ｐｎというように算出する。その後、ステップＳ３へ進む。なお、隣接位置ずれ量Ｐは、ベクトル量である。また、位置ずれ量とは、時系列的に前後するフレーム間において任意の被写体等の変化量（移動、回転、変形、拡大／縮小などの量）を示すものである。本実施形態においては、画面全体の位置ずれ量を算出するものとする。
【００２０】
また、隣接位置ずれ量Ｐは、アフィン変換のパラメータ（ｐ０〜ｐ５）として算出する。アフィン変換は、例えば、ｎ−１枚目のフレームにおける任意の被写体の位置座標（ｘ,ｙ）を、次式（１）により、ｎ枚目のフレームにおける当該被写体の位置座標（ｘ’,ｙ’）に幾何変換するものである。なお、アフィン変換のパラメータの算出方法については、公知の手法を用いるものとする。また、ステップＳ３以降の処理は、各パラメータ（ｐ０〜ｐ５）ごとに行うものとする。
【００２１】
【数１】
2014011740.tif 000003
【００２２】
ステップＳ３において制御装置１０４は、図３（Ｃ）に示すように、２〜ｎ枚目の各フレーム（Ｆ２〜Ｆｎ）において、開始フレーム（１枚目のフレーム）Ｆ１との位置ずれ量を基準位置ずれ量Ｑ（Ｑ２〜Ｑｎ）として算出する。すなわち、開始フレームＦ１と２枚目のフレームＦ２との基準位置ずれ量Ｑ２、開始フレームＦ１と３枚目のフレームＦ３との基準位置ずれ量Ｑ３、…、開始フレームＦ１とｎ枚目のフレームＦｎとの基準位置ずれ量Ｑｎ、というように算出する。その後、ステップＳ４へ進む。この基準位置ずれ量Ｑは、隣接位置ずれ量Ｐを積算することにより算出する。具体的には、基準位置ずれ量Ｑを、Ｑ２＝Ｐ２、Ｑ３＝Ｑ２×Ｐ３、Ｑ４＝Ｑ３×Ｐ４、…、Ｑｎ＝Ｑｎ−１×Ｐｎ、のように算出する。なお、基準位置ずれ量Ｑは、ベクトル量である。
【００２３】
図４（Ａ）は、フレームの時系列順に基準位置ずれ量Ｑの値をプロットした図であり、基準位置ずれ量Ｑの軌跡を表している。手振れによる位置ずれの場合には、基準位置ずれ量Ｑの変化が滑らかであることが想定される。ゆえに基準位置ずれ量Ｑが突出して大きく変化するフレームでは、隣接位置ずれ量Ｐの検出において失敗している可能性が高い。隣接位置ずれ量Ｐの検出が失敗する原因としては、例えば、被写体の明るさが瞬間的に大きく変わったり、被写体の前を大きな物体が横切ったりしたことなどが考えられる。そこで、以下の処理では、基準位置ずれ量Ｑの突出値（すなわち異常値）を検出する。
【００２４】
ステップＳ４において制御装置１０４は、基準位置ずれ量Ｑに対して平滑化処理（１回目の平滑化処理）を行って、２〜ｎ枚目の各フレーム（Ｆ２〜Ｆｎ）における平滑化位置ずれ量Ｒ（Ｒ２〜Ｒｎ）を算出し、ステップＳ５へ進む。なお、平滑化位置ずれ量Ｒは、ベクトル量である。図４（Ｂ）は、フレームの時系列順に平滑化位置ずれ量Ｒの値をプロットした図である。なお、平滑化処理の方法としては、注目フレームとその前後のフレームとにおける基準位置ずれ量Ｑを平均化する方法を用いてもよいし、例えば最小二乗法などを用いて近似関数を求める方法を用いてもよい。
【００２５】
ステップＳ５において制御装置１０４は、２〜ｎ枚目の各フレーム（Ｆ２〜Ｆｎ）において基準位置ずれ量Ｑと平滑化位置ずれ量Ｒとの差分値Ｓ（Ｓ２〜Ｓｎ）を算出する。なお、差分値Ｓは、ベクトル量である。上述したように、基準位置ずれ量Ｑの突出値では隣接位置ずれ量Ｐの検出が失敗している可能性が高いため、差分値Ｓが大きいほど基準位置ずれ量Ｑの信頼度が低いことが想定される。そこで制御装置１０４は、差分値Ｓが所定閾値以上の場合に当該信頼度が低いと判定し、所定閾値以上の差分値Ｓに対応する基準位置ずれ量Ｑを異常値とみなす。
【００２６】
図４（Ｃ）は、図４（Ａ）に示した基準位置ずれ量Ｑと図４（Ｂ）に示した平滑化位置ずれ量Ｒとを重ね合わせた図である。図４（Ｃ）では、例えば、フレームＦｋにおける基準位置ずれ量Ｑｋと平滑化位置ずれ量Ｒｋの差分値Ｓｋが所定閾値以上であるため、基準位置ずれ量Ｑｋの信頼度が低いと判定し、基準位置ずれ量Ｑｋを異常値とみなす。
【００２７】
制御装置１０４は、異常値を検出すると、当該異常値である基準位置ずれ量Ｑｋを、当該基準位置ずれ量Ｑｋに対応するフレームＦｋの直前のフレームＦｋ−１における基準位置ずれ量Ｑｋ−１に置き換える補正を行う。図４（Ｄ）は、フレームＦｋにおける基準位置ずれ量Ｑｋが補正された状態を示す。
【００２８】
このようにして制御装置１０４は、基準位置ずれ量Ｑの異常値を補正すると、次のステップＳ６へ進む。ステップＳ６において制御装置１０４は、補正後の基準位置ずれ量Ｑを用いて各フレームの基準位置ずれ量Ｑを更新し、ステップＳ７へ進む。これは、基準位置ずれ量Ｑが、上述したように直前フレームにおける基準位置ずれ量Ｑを用いて算出される（Ｑｎ＝Ｑｎ−１×Ｐｎ）ので、直前フレームにおける基準位置ずれ量Ｑが補正されると、その後のフレームにおける基準位置ずれ量Ｑも更新する必要があるからである。
【００２９】
ステップＳ７において制御装置１０４は、ステップＳ６において更新した基準位置ずれ量Ｑに対して再度平滑化処理を行って（すなわち２回目の平滑化処理を行って）、２〜ｎ枚目の各フレーム（Ｆ２〜Ｆｎ）における平滑化位置ずれ量Ｒ（Ｒ２〜Ｒｎ）を再度算出し、ステップＳ８へ進む。
【００３０】
ステップＳ８において制御装置１０４は、２〜ｎ枚目の各フレーム（Ｆ２〜Ｆｎ）おける基準位置ずれ量Ｑを、上記更新後の基準位置ずれ量Ｑと上記再度算出した平滑化位置ずれ量Ｒとの間の値に置き換える補正を行う。具体的には、当該基準位置ずれ量Ｑに第１の重み付け係数を乗じた値と、当該平滑化位置ずれ量Ｒに第２の重み付け係数を乗じた値とを加算した値に置き換える補正を行う。なお、第１の重み付け係数および第２の重み付け係数は合計して１となる値である。
【００３１】
上記補正後の値が、平滑化位置ずれ量Ｒに近ければ近いほど、個々のフレーム間での位置ずれ量検出結果が反映されなくなるため、手振れ補正の際に手振れ軽減の効果が弱くなってしまう。また、上記補正後の値が、上記更新後の基準位置ずれ量Ｑに近ければ近いほど、手振れ軽減の効果はあるが、隣接位置ずれ量Ｐが正しく算出されていない場合に不自然な動画となる可能性が高くなる。ゆえに、上記第１の重み付け係数および第２の重み付け係数は、これらの点を考慮して、手振れが軽減されつつ且つ自然な動画となるような手振れ補正ができる値に設定されている。
【００３２】
このように制御装置１０４は、ステップＳ５において基準位置ずれ量Ｑが異常値と判定されなかったフレームにおいても、基準位置ずれ量Ｑが異常値と判定されたフレームにおいても、基準位置ずれ量Ｑを上述したような重み付けをした値へ補正して、ステップＳ９へ進む。
【００３３】
ステップＳ９において制御装置１０４は、２〜ｎ枚目の各フレーム（Ｆ２〜Ｆｎ）において、ステップＳ８で補正した基準位置ずれ量Ｑを用いて手振れ補正を行う。なお、位置ずれ量を用いた手振れ補正方法については、公知の方法を用いるものとする。その後、制御装置１０４は、手振れ補正後の動画データをメモリカードに記録して、図２の処理を終了する。
【００３４】
以上説明した実施形態によれば、次の作用効果が得られる。
（１）カメラ１００は、動画データを構成する時系列の複数のフレームにおいて、基準フレームと各フレームとの間の位置ずれ量である基準位置ずれ量Ｑをフレームごとに算出する制御装置１０４と、基準位置ずれ量Ｑを平滑化した平滑化位置ずれ量Ｒをフレームごとに算出する制御装置１０４と、基準位置ずれ量Ｑと平滑化位置ずれ量Ｒとの差異（差分値Ｓ）に基づいて、基準位置ずれ量Ｑの信頼度をフレームごとに判定する制御装置１０４と、当該信頼度に基づいて基準位置ずれ量Ｑをフレームごとに補正する制御装置１０４と、補正後の基準位置ずれ量Ｑに基づいてフレームごとに手振れ補正を行う制御装置１０４と、を備える。これにより、基準位置ずれ量Ｑの算出精度によらずに動画像の手振れを適切に補正できる。
【００３５】
（２）上記（１）のカメラ１００において、制御装置１０４は、上記差異が所定の判定閾値以上か未満かを判定し、上記差異が所定の判定閾値以上であると判定されたフレームにおける基準位置ずれ量Ｑを、当該フレームにおける平滑化位置ずれ量Ｒに近い値に補正するように構成した。これにより、基準位置ずれ量Ｑに異常値があっても動画像の手振れを適切に補正できる。
【００３６】
（３）上記（２）のカメラ１００において、上記平滑化位置ずれ量Ｒに近い値とは、上記差異が所定の判定閾値以上であると判定されたフレームの直前フレームにおける基準位置ずれ量Ｑの値であるように構成した。これにより、基準位置ずれ量Ｑの異常値を簡易に補正することができる。
【００３７】
（４）上記（２）または（３）のカメラ１００において、制御装置１０４は、上記差異が前記所定の判定閾値未満であると判定されたフレームにおける基準位置ずれ量Ｑを、当該基準位置ずれ量Ｑに第１の重み付け係数を乗じた値と当該フレームにおける平滑化位置ずれ量Ｒに第２の重み付け係数を乗じた値とを加算した値に補正するように構成した。これにより、手振れが軽減されつつ且つ自然な動画となるような手振れ補正を行うことができる。
【００３８】
（５）上記（２）〜（４）のカメラ１００において、制御装置１０４は、上記差異が所定の判定閾値以上であると判定されたフレームにおける基準位置ずれ量Ｑであって上記平滑化位置ずれ量Ｒに近い値に補正された基準位置ずれ量Ｑを、当該基準位置ずれ量Ｑに第１の重み付け係数を乗じた値と当該フレームにおける平滑化位置ずれ量Ｒに第２の重み付け係数を乗じた値とを加算した値に補正するように構成した。これにより、手振れが軽減されつつ且つ自然な動画となるような手振れ補正を行うことができる。
【００３９】
（６）上記（１）〜（５）のカメラ１００において、上記複数のフレームにおいて、隣接するフレーム間の位置ずれ量である隣接位置ずれ量Ｐを算出する制御装置１０４をさらに備え、制御装置１０４は、隣接位置ずれ量Ｐに基づいて基準位置ずれ量Ｑを算出するように構成した。これにより、基準位置ずれ量Ｑを精度よく算出することができる。
【００４０】
（７）上記（６）のカメラ１００において、上記動画データは記録媒体（メモリカード）に記録されており、制御装置１０４は、メモリカードから上記動画データの各フレームを読み出して、上記隣接位置ずれ量Ｐを算出するように構成した。これにより、すでに記録された動画データに対しても、手振れ補正を行うことができる。
【００４１】
（変形例１）
上述した実施の形態では、メモリカードに記録された動画データを読み出し、読み出した動画データの各フレームに基づいて隣接位置ずれ量Ｐを算出する場合について説明した。しかしながら、制御装置１０４は、動画データの撮影中に、撮像素子１０３により動画データのフレームが撮像されるごとに、隣接位置ずれ量Ｐを算出するようにしてもよい。
【００４２】
変形例１の制御装置１０４は、動画像の撮影開始後、撮像素子１０３から各フレームが出力されるごとに、当該フレームと直前のフレームとの位置ずれ量を隣接位置ずれ量Ｐとして算出する。そして制御装置１０４は、当該フレームの画像データと当該隣接位置ずれ量Ｐを関連付けてメモリカードに記録する。
【００４３】
動画像の撮影が終了すると、制御装置１０４は、上記手振れ補正処理（図２）を開始し、ステップＳ１およびＳ２に代えて、動画データのフレームに関連付けられた隣接位置ずれ量Ｐをメモリカードから読み出す。そして制御装置１０４は、読み出した隣接位置ずれ量Ｐに基づいてステップＳ３以降の処理を行い、手振れ補正後の動画データをメモリカードに記録する。
【００４４】
このように動画像の撮影中にリアルタイムで隣接位置ずれ量Ｐを算出して、動画像の撮影後に手振れ補正処理を行うことにより、手振れ補正された動画データを早期に取得することができる。
【００４５】
（変形例２）
上述した実施の形態では、基準位置ずれ量Ｑが異常値である場合には、当該基準位置ずれ量Ｑに対応するフレームの直前のフレームにおける基準位置ずれ量Ｑに置き換える補正を行う場合について説明した。しかしながら、異常値である基準位置ずれ量Ｑを当該基準位置ずれ量Ｑに対応するフレームの平滑化位置ずれ量Ｒに近い値に補正すればよく、例えば平滑化位置ずれ量Ｒの値そのものに補正してもよい。また例えば、直前フレームの基準位置ずれ量Ｑの値と平滑化位置ずれ量Ｒの値との間の値（例えば平均値など）に補正してもよい。
【００４６】
（変形例３）
上述した実施の形態では、隣接位置ずれ量Ｐを、アフィン変換のパラメータ（ｐ０〜ｐ５）として算出する場合について説明した。しかしながら、隣接位置ずれ量Ｐを、各フレームとその直前フレームとのｘ方向のずれ量（Δｘ＝ｘ’−ｘ）およびｙ方向のずれ量（Δｙ＝ｙ’−ｙ）として算出するようにしてもよい。
【００４７】
（変形例４）
上述した実施の形態では、基準位置ずれ量Ｑと平滑化位置ずれ量Ｒとの差分値Ｓに基づいて基準位置ずれ量Ｑの信頼度を判定する場合について説明した。しかしながら、当該信頼度の判定は基準位置ずれ量Ｑと平滑化位置ずれ量Ｒとの差異に基づけばよく、例えば基準位置ずれ量Ｑと平滑化位置ずれ量Ｒとの比などに基づいて判定してもよい。
【００４８】
（変形例５）
上述した実施の形態では、隣接位置ずれ量Ｐを積算することにより基準位置ずれ量Ｑを算出する場合について述べた。しかしながら、例えば、時間が比較的短い動画の場合には、各フレームと開始フレームとを比較して、比較結果に基づいて基準位置ずれ量Ｑを算出するようにしてもよい。
【００４９】
（変形例６）
上述した実施の形態では、各フレームにおいて、開始フレームとの位置ずれ量を基準位置ずれ量Ｑとして算出する場合について説明した。しかしながら、開始フレームに限らなくてよく、各フレームにおいて、所定の基準フレームとの位置ずれ量を基準位置ずれ量Ｑとして算出するようにしてもよい。例えば、時間が比較的長い動画の場合は、開始フレームからある程度離れたフレームでは、撮影シーンが大きく変わっていることがある。そこで、所定枚数分のフレームごとに基準フレームを設定して、基準位置ずれ量Ｑを算出するようにしてもよい。
【００５０】
（変形例７）
上述した実施の形態では、異常値である基準位置ずれ量Ｑを補正した後、補正後の基準位置ずれ量Ｑに対して２回目の平滑化処理を行って平滑化位置ずれ量Ｒを算出し、２回目の平滑化位置ずれ量Ｒと補正後の基準位置ずれ量Ｑに基づいて、基準位置ずれ量Ｑを更に補正する場合について説明した。しかしながら、２回目の平滑化処理を行わずに、１回の平滑化処理による平滑化位置ずれ量Ｒと補正後の基準位置ずれ量Ｑに基づいて、基準位置ずれ量Ｑを更に補正するようにしてもよい。
【００５１】
（変形例８）
上述した実施の形態では、カメラ１００が備える制御装置１０４が上記手振れ補正処理（図２）を実行して手振れ補正を行う例について説明した。しかしながら、上記手振れ補正処理を実行するためのプログラムをパソコンなどその他の端末に記録して、当該端末上で処理を実行することも可能である。この場合、カメラで撮影した動画データを端末側に取り込んで、これを対象に手振れ補正処理を行う。また、本発明はカメラ付き携帯電話などに適用することも可能である。
【００５２】
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。また、上記実施形態に各変形例の構成を適宜組み合わせてもかまわない。
【符号の説明】
【００５３】
１００…カメラ
１０１…操作部材
１０２…撮像レンズ
１０３…撮像素子
１０４…制御装置
１０５…メモリカードスロット
１０６…モニタ
【図１】
2014011740.tif 000004
【図２】
2014011740.tif 000005
【図３】
2014011740.tif 000006
【図４】
2014011740.tif 000007