(57)【要約】【課題】手ぶれの判定し手ぶれの補正を行う。【解決手段】複数のフレーム画像を取得するフレーム画像取得手段と、複数のフレーム画像の各々について、画像全体の動きを示す複数の動きベクトルを算出する動きベクトル算出手段と、複数のフレーム画像のうちのいずれか一つのフレーム画像である補正対象フレーム画像に手ぶれが含まれているかどうかを判定する手ぶれ判定手段と、手ぶれ判定手段が補正対象フレーム画像に手ぶれが含まれている場合に、補正対象フレーム画像の手ぶれを補正する画像補正手段と、を備え、手ぶれ判定手段は、補正対象フレーム画像を含む時系列順に連続する所定の数のフレームの動きベクトルの各々について、時系列順で前又は後の動きベクトルとの差である複数の差分ベクトルを算出し、複数の差分ベクトルの中にＸ成分とＹ成分の符号が異なる差分ベクトルがある場合に、補正対象フレーム画像に手ぶれが含まれていると判定する。【選択図】図１
2007267115.tif 000002
【特許請求の範囲】
【請求項１】
動画像または時系列に連続する静止画像から時系列順に連続する複数のフレーム画像を
取得するフレーム画像取得手段と、
前記複数のフレーム画像の各々について、画像全体の動きを示す複数の動きベクトルを
算出する動きベクトル算出手段と、
前記複数のフレーム画像のうちのいずれか一つのフレーム画像である補正対象フレーム
画像に手ぶれが含まれているかどうかを判定する手ぶれ判定手段と、
前記手ぶれ判定手段が前記補正対象フレーム画像に前記手ぶれが含まれていると判定し
た場合に、前記補正対象フレーム画像の前記手ぶれを補正した補正フレーム画像を生成す
る画像補正手段と、を備え、
前記手ぶれ判定手段は、前記補正対象フレーム画像を含む時系列順に連続する所定の数
のフレームの動きベクトルの各々について、時系列順で前又は後の動きベクトルとの差で
ある複数の差分ベクトルを算出し、当該複数の差分ベクトルの中にＸ成分とＹ成分の符号
が異なる差分ベクトルがある場合に、前記補正対象フレーム画像に前記手ぶれが含まれて
いると判定することを特徴とする手ぶれ補正装置。
【請求項２】
請求項１に記載の手ぶれ補正装置であって、
前記動きベクトル算出手段は、前記フレーム画像の画像全体の動きを示す前記動きベク
トルを、前記フレーム画像と、時系列順で一つ前の前記フレーム画像に基づいて算出し、
前記手ぶれ判定手段は、前記補正対象フレーム画像と前記補正対象フレーム画像よりも
時系列順で前方向にあるフレームからなる時系列順に連続する前記所定の数のフレームの
動きベクトルの各々について、時系列順で前の前記動きベクトルとの差である前記複数の
差分ベクトルを算出し、前記複数の差分ベクトルの中にＸ成分とＹ成分の符号が異なる前
記差分ベクトルがある場合に、前記補正対象フレーム画像に前記手ぶれが含まれていると
判定することを特徴とする手ぶれ補正装置。
【請求項３】
請求項１に記載の手ぶれ補正装置であって、
前記所定の数は、補正すべき前記手ぶれの周期のうち最も長い周期の半分の時間にある
フレームの数であることを特徴とする手ぶれ補正装置。
【請求項４】
請求項１に記載の手ぶれ補正装置であって、
前記画像補正手段は、前記補正対象フレーム画像に前記手ぶれが含まれていると判定さ
れた場合に、所定の画像を前記補正フレーム画像とすることを特徴とする手ぶれ補正装置
。
【請求項５】
請求項１に記載の手ぶれ補正装置であって、
警告メッセージを出力するメッセージ出力手段をさらに備え、
前記メッセージ出力手段は、前記補正対象フレーム画像に前記手ぶれが含まれていると
判定された場合に、前記手ぶれを警告するメッセージを出力することを特徴とする手ぶれ
補正装置。
【請求項６】
動画像または時系列に連続する静止画像から時系列順に連続する複数のフレーム画像を
取得するフレーム画像取得工程と、
前記複数のフレーム画像の各々について、画像全体の動きを示す複数の動きベクトルを
算出する動きベクトル算出工程と、
前記複数のフレーム画像のうちのいずれか一つのフレーム画像である補正対象フレーム
画像に手ぶれが含まれているかどうかを判定する手ぶれ判定工程と、
前記手ぶれ判定工程が前記補正対象フレーム画像に前記手ぶれが含まれていると判定し
た場合に、前記補正対象フレーム画像の前記手ぶれを補正した補正フレーム画像を生成す
る画像補正工程と、を備え、
前記手ぶれ判定工程は、前記補正対象フレーム画像を含む時系列順に連続する所定の数
のフレームの動きベクトルの各々について、時系列順で前又は後の動きベクトルとの差で
ある複数の差分ベクトルを算出し、当該複数の差分ベクトルの中にＸ成分とＹ成分の符号
が異なる差分ベクトルがある場合に、前記補正対象フレーム画像に前記手ぶれが含まれて
いると判定することを特徴とする手ぶれ補正方法。
【請求項７】
動画像または時系列に連続する静止画像から時系列順に連続する複数のフレーム画像を
取得するフレーム画像取得機能と、
前記複数のフレーム画像の各々について、画像全体の動きを示す複数の動きベクトルを
算出する動きベクトル算出機能と、
前記複数のフレーム画像のうちのいずれか一つのフレーム画像である補正対象フレーム
画像に手ぶれが含まれているかどうかを判定する手ぶれ判定機能と、
前記手ぶれ判定機能が前記補正対象フレーム画像に前記手ぶれが含まれていると判定し
た場合に、前記補正対象フレーム画像の前記手ぶれを補正した補正フレーム画像を生成す
る画像補正機能と、をコンピュータに実現させ、
前記手ぶれ判定機能は、前記補正対象フレーム画像を含む時系列順に連続する所定の数
のフレームの動きベクトルの各々について、時系列順で前又は後の動きベクトルとの差で
ある複数の差分ベクトルを算出し、当該複数の差分ベクトルの中にＸ成分とＹ成分の符号
が異なる差分ベクトルがある場合に、前記補正対象フレーム画像に前記手ぶれが含まれて
いると判定することを特徴とする手ぶれ補正プログラム。
【請求項８】
請求項７に記載の手ぶれ補正プログラムを記録したコンピュータ読み取り可能な記録媒
体。
【請求項９】
請求項１〜５のいずれか１項に記載の手ぶれ補正装置を備えた撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像または時系列に連続する静止画像からフレーム画像を取得し、取得し
たフレーム画像に含まれる手ぶれを補正する手ぶれ補正装置、それを用いた撮影装置、手
ぶれ補正方法、手ぶれ補正プログラム、及び手ぶれ補正プログラムを記録した記録媒体に
関する。
【背景技術】
【０００２】
近年ビデオカメラやデジタルカメラ、さらに画像撮影機能を有する携帯電話などの撮影
機器を用いて、運動会など所望する画像を動画像として撮影することが行われている。そ
の際、撮影装置を手持ちで撮影すると、撮影画像に手ぶれが生じてしまうことがある。こ
のため、従来より、撮影時の手ぶれを補正する画像処理技術が提案されている（例えば、
特許文献１）。
【０００３】
特許文献１の画像処理装置は、撮影画像の中のフレーム画像の動きベクトルを算出し、
算出した動きベクトルから計算した積分ベクトルだけフレーム画像をシフトさせることに
よって手ぶれを補正する。
【０００４】
【特許文献１】特許第２９５７８５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、フレーム画像から算出された動きベクトルには、誤差が含まれているこ
とがある。この誤差のため、手ぶれのないフレーム画像を手ぶれが含まれていると間違っ
て判定し、手ぶれ補正処理を行ってしまうなどの問題がある。
【０００６】
本発明は、このような従来の問題点に着目してなされたもので、その目的は、手ぶれが
あるかどうかを判定し、手ぶれ補正処理が必要なフレーム画像に対して手ぶれ補正処理を
行うことができる手ぶれ補正装置、それを用いた撮影装置、手ぶれ補正方法、手ぶれ補正
プログラム、及び手ぶれ補正プログラムの記録媒体を提供することにある。
【課題を解決するための手段】
【０００７】
本発明に係る手ぶれ補正装置は、上記課題を解決すべく、基本的に、動画像または時系
列に連続する静止画像から時系列順に連続する複数のフレーム画像を取得するフレーム画
像取得手段と、前記複数のフレーム画像の各々について、画像全体の動きを示す複数の動
きベクトルを算出する動きベクトル算出手段と、前記複数のフレーム画像のうちのいずれ
か一つのフレーム画像である補正対象フレーム画像に手ぶれが含まれているかどうかを判
定する手ぶれ判定手段と、前記手ぶれ判定手段が前記補正対象フレーム画像に前記手ぶれ
が含まれていると判定した場合に、前記補正対象フレーム画像の前記手ぶれを補正した補
正フレーム画像を生成する画像補正手段と、を備え、前記手ぶれ判定手段は、前記補正対
象フレーム画像を含む時系列順に連続する所定の数のフレームの動きベクトルの各々につ
いて、時系列順で前又は後の動きベクトルとの差である複数の差分ベクトルを算出し、当
該複数の差分ベクトルの中にＸ成分とＹ成分の符号が異なる差分ベクトルがある場合に、
前記補正対象フレーム画像に前記手ぶれが含まれていると判定することを要旨とする。
【０００８】
本発明に係る手ぶれ補正装置によれば、画像補正手段は、フレーム画像取得手段が取得
した複数のフレーム画像のいずれか一つのフレーム画像である補正対象フレーム画像に手
ぶれが含まれていると手ぶれ判定手段により判定された場合に、補正対象フレーム画像の
手ぶれを補正する。また、手ぶれ判定手段は、補正対象フレーム画像を含む所定の数のフ
レームの動きベクトルから算出した差分ベクトルの中にＸ成分とＹ成分の符号が異なる差
分ベクトルがある場合に補正対象フレーム画像に手ぶれが含まれていると判定する。
【０００９】
手ぶれによる画像の揺れは、周期性のある揺れであるので、手ぶれによる画像の揺れの
周波数に基づいて決めた時間内にある時系列順に連続する所定の数のフレーム画像全体の
動きが周期性を持っていれば手ぶれがあると判定できる。上記した本発明に係る手ぶれ補
正装置では、フレーム画像の画像全体の動きを示す動きベクトルが手ぶれによる周期性の
ある動きをしているかどうかを調べるため、所定の数のフレームの動きベクトルの差分ベ
クトルのＸ成分とＹ成分の符号が異なる差分ベクトルがあるかどうか調べる。こうすれば
、所定の数のフレームの中の差分ベクトルの符号を見るだけで手ぶれがあるかどうかを判
断でき、手ぶれを的確に補正することができる。
【００１０】
また、上記した本発明に係る手ぶれ補正装置では、前記動きベクトル算出手段は、前記
フレーム画像の画像全体の動きを示す前記動きベクトルを、前記フレーム画像と、時系列
順で一つ前の前記フレーム画像に基づいて算出し、前記手ぶれ判定手段は、前記補正対象
フレーム画像と前記補正対象フレーム画像よりも時系列順で前方向にあるフレームからな
る時系列順に連続する前記所定の数のフレームの動きベクトルの各々について、時系列順
で前の前記動きベクトルとの差である前記複数の差分ベクトルを算出し、前記複数の差分
ベクトルの中にＸ成分とＹ成分の符号が異なる前記差分ベクトルがある場合に、前記補正
対象フレーム画像に前記手ぶれが含まれていると判定する。
【００１１】
こうすれば、補正対象フレーム画像よりも時系列順で前にあるフレーム画像だけを用い
て、動きベクトル算出手段は動きベクトルを算出でき、手ぶれ判定手段は手ぶれの判定を
することができる。そのため、フレーム画像取得手段が取得したフレーム画像の手ぶれ補
正を、時系列順で次のフレーム画像を取得する前にできる。
【００１２】
また、上記した本発明に係る手ぶれ補正装置では、前記所定の数は、補正すべき前記手
ぶれの周期のうち最も長い周期の半分の時間にあるフレームの数である。
【００１３】
手ぶれによる画像の揺れが発生している場合、差分ベクトルは手ぶれと同じ周期の周期
的な変化をする。差分ベクトルが周期的な変化をしていれば、その周期の半分の時間内に
ある差分ベクトルのＸ成分とＹ成分の符号が異なっている可能性が高い。そのため、補正
すべき手ぶれの周期のうち、最も長い周期の半分の時間にある差分ベクトルを調べるだけ
で高い確率で手ぶれがあるかどうかを判定することができる。
【００１４】
また、上記した本発明に係る手ぶれ補正装置では、前記画像補正手段は、前記補正対象
フレーム画像に前記手ぶれが含まれていると判定された場合に、所定の画像を前記補正フ
レーム画像とする。
【００１５】
こうすれば、手ぶれがある場合に、手ぶれを補正した画像ではなく、予め用意してある
画像を補正フレーム画像とすることができる。そのため、手ぶれが含まれていることを手
ぶれ補正装置の利用者に確実に知らせることができるので、利用者は手ぶれが含まれてい
る動画像を作成しなおすなどの対応をとることができる。
【００１６】
また、上記した本発明に係る手ぶれ補正装置では、警告メッセージを出力するメッセー
ジ出力手段をさらに備え、前記メッセージ出力手段は、前記補正対象フレーム画像に前記
手ぶれが含まれていると判定された場合に、前記手ぶれを警告するメッセージを出力する
。
【００１７】
こうすれば、手ぶれがある場合に、手ぶれ補正装置の利用者にメッセージを出力して知
らせることができるので、利用者は手ぶれが含まれている動画像を作成しなおすなどの対
応をとることができる。
【００１８】
また、上記した本発明の手ぶれ補正装置に対応する手ぶれ補正方法は、動画像または時
系列に連続する静止画像から時系列順に連続する複数のフレーム画像を取得するフレーム
画像取得工程と、前記複数のフレーム画像の各々について、画像全体の動きを示す複数の
動きベクトルを算出する動きベクトル算出工程と、前記複数のフレーム画像のうちのいず
れか一つのフレーム画像である補正対象フレーム画像に手ぶれが含まれているかどうかを
判定する手ぶれ判定工程と、前記手ぶれ判定工程が前記補正対象フレーム画像に前記手ぶ
れが含まれていると判定した場合に、前記補正対象フレーム画像の前記手ぶれを補正した
補正フレーム画像を生成する画像補正工程と、を備え、前記手ぶれ判定工程は、前記補正
対象フレーム画像を含む時系列順に連続する所定の数のフレームの動きベクトルの各々に
ついて、時系列順で前又は後の動きベクトルとの差である複数の差分ベクトルを算出し、
当該複数の差分ベクトルの中にＸ成分とＹ成分の符号が異なる差分ベクトルがある場合に
、前記補正対象フレーム画像に前記手ぶれが含まれていると判定することを要旨とする。
【００１９】
また、上記した本発明の手ぶれ補正装置に対応する手ぶれ補正プログラムは、動画像ま
たは時系列に連続する静止画像から時系列順に連続する複数のフレーム画像を取得するフ
レーム画像取得機能と、前記複数のフレーム画像の各々について、画像全体の動きを示す
複数の動きベクトルを算出する動きベクトル算出機能と、前記複数のフレーム画像のうち
のいずれか一つのフレーム画像である補正対象フレーム画像に手ぶれが含まれているかど
うかを判定する手ぶれ判定機能と、前記手ぶれ判定機能が前記補正対象フレーム画像に前
記手ぶれが含まれていると判定した場合に、前記補正対象フレーム画像の前記手ぶれを補
正した補正フレーム画像を生成する画像補正機能と、をコンピュータに実現させ、前記手
ぶれ判定機能は、前記補正対象フレーム画像を含む時系列順に連続する所定の数のフレー
ムの動きベクトルの各々について、時系列順で前又は後の動きベクトルとの差である複数
の差分ベクトルを算出し、当該複数の差分ベクトルの中にＸ成分とＹ成分の符号が異なる
差分ベクトルがある場合に、前記補正対象フレーム画像に前記手ぶれが含まれていると判
定することを要旨とする。
【００２０】
また、本発明は、上記した手ぶれ補正プログラムを記録した記録媒体としても捉えるこ
とができる。記録媒体としてはフレキシブルディスクやＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、
ＩＣカード、パンチカードなど、コンピュータが読み取り可能な様々な媒体を利用できる
。
【００２１】
上記した手ぶれ補正方法、手ぶれ補正プログラム、及び記録媒体によれば、本発明の手
ぶれ補正装置と同等の効果が得られる。
【００２２】
また、本発明は、上記した手ぶれ補正装置を備えた撮影装置としても捉えることができ
る。こうすれば、撮影した動画像の手ぶれの補正を他の装置を使用することなく行うこと
ができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明を具体化した実施例について図面を用いて説明する。
【実施例１】
【００２４】
図１は、手ぶれ補正装置の構成概略を説明する説明図である。実施例１の手ぶれ補正装
置１００は、フレーム画像取得手段１１０、動きベクトル算出手段１２０、手ぶれ判定手
段１３０、及び画像補正手段１４０から構成され、入力機器２００から動画像を取得し動
画像の手ぶれを補正して出力機器２１０に出力する。
【００２５】
入力機器２００としては、ビデオ、デジタルビデオカメラ（ＤＶＣ）、放送、及び動画
像を保管する動画像データベース（ＤＢ）など動画像を出力することができる機器を用い
ることができる。また、入力機器２００として動画像が格納されたハードディスク、メモ
リカードなどの記憶媒体を用いても良い。
【００２６】
フレーム画像取得手段１１０は、入力機器２００から出力された動画像からフレーム画
像Ｆ（ｎ）（ｎは時系列順を示す整数）を順次取得する。
【００２７】
動きベクトル算出手段１２０は、フレーム画像取得手段１１０が取得したフレーム画像
Ｆ（ｎ）と時系列順で一つ前のフレーム画像Ｆ（ｎ−１）から、フレーム画像Ｆ（ｎ）の
画像全体の動きを示す動きベクトルＶ（ｎ）を算出する。
【００２８】
手ぶれ判定手段１３０は、動きベクトル算出手段１２０が算出した動きベクトルＶ（ｎ
）と時系列順で一つ前のフレームで算出された動きベクトルＶ（ｎ−１）との差を示す差
分ベクトルＤ（ｎ）を算出し保存する。そして、保存されている差分ベクトルＤ（ｎ）の
中から、予め定めたフレーム数分（所定の数のフレーム）であるＰ個の差分ベクトルＤ（
ｎ−Ｐ＋１）〜Ｄ（ｎ）を取り出し、Ｘ成分とＹ成分の符号が異なる差分ベクトルがある
かどうかを調べる。Ｘ成分とＹ成分の符号が異なる差分ベクトルが見つかったときは、フ
レーム画像Ｆ（ｎ）に手ぶれが含まれていると判定する。
【００２９】
画像補正手段１４０は、フレーム画像Ｆ（ｎ）に手ぶれが含まれていると判定された場
合に、フレーム画像Ｆ（ｎ）の手ぶれを補正した補正フレーム画像ＨＦＧ（ｎ）を生成し
、出力機器２１０に出力する。
【００３０】
出力機器２１０としては、ＣＲＴ、プロジェクタ、テレビなどを用いることができる。
また、ネットワークを介して補正フレーム画像ＨＦＧ（ｎ）を配信しても良い。また、出
力機器２１０として、ハードディスク、ＤＶＤ−ＲＯＭなどの記憶媒体を用い、補正フレ
ーム画像ＨＦＧ（ｎ）を記録しても良い。
【００３１】
以上の構成の手ぶれ補正装置１００は、上記の各部における処理をソフトウェアプログ
ラムで実現し、その処理プログラムである手ぶれ補正プログラムをインストールしたコン
ピュータにより構成される。このコンピュータ（図示なし）は、ＣＰＵ，ＲＯＭ，ＲＡＭ
，ハードディスク、インターフェース等を備え、キーボード、ディスプレイ等と接続され
た一般的な計算機である。このコンピュータのＲＯＭには手ぶれ補正プログラムが記憶さ
れ、ＣＰＵが手ぶれ補正プログラムを実行することにより、手ぶれ補正装置１００として
機能する。以下に、このコンピュータでＣＰＵにより実行される上記各部の処理について
、図２のフローチャートを用いて説明する。
【００３２】
処理を開始すると、フレーム画像取得手段１１０は、入力機器２００からフレーム画像
Ｆ（ｎ）（補正対象フレーム画像）を取得する（ステップＳ１００）。
【００３３】
次に、動きベクトル算出手段１２０は、フレーム画像Ｆ（ｎ）と一つ前に取得されてい
るフレーム画像Ｆ（ｎ−１）から、フレーム画像Ｆ（ｎ）の画像全体の動きを示す動きベ
クトルＶ（ｎ）を算出する（ステップＳ１１０）。
【００３４】
ここで、図３のフレーム画像Ｆ（ｎ）及び動きベクトルＶ（ｎ）を説明するための説明
図を用いて動きベクトルＶ（ｎ）について説明する。
【００３５】
図３（上側）は、フレーム画像取得手段１１０により取得された時系列順１番目のフレ
ーム画像Ｆ（１）と、２番目、３番目のフレーム画像Ｆ（２），Ｆ（３）の例を示してい
る。また、図３は、画像の中に写っている家が左下方向に移動している例である。
【００３６】
手ぶれ補正装置１００は、フレーム画像Ｆ（ｎ）から所定の大きさの画像を手ぶれによ
る画像の揺れを軽減する位置で切り出すことで、手ぶれを補正した補正フレーム画像ＨＦ
Ｇ（ｎ）を生成する。補正フレーム画像ＨＦＧ（ｎ）のデフォルトの切り出し位置は、そ
れぞれ図３に破線で示したフレーム画像ＦＫ（１）〜ＦＫ（３）となる。ここで、フレー
ム画像ＦＫ（ｎ）は、図３に示したように、フレーム画像Ｆ（ｎ）に対して所定の補正限
界値Ｓｍａｘ（Ｘ方向ではＳｘｍａｘ、Ｙ方向ではＳｙｍａｘ）だけ画面サイズが小さい
画像になる。所定の補正限界値Ｓｍａｘ（Ｘ成分はＳｘｍａｘ，Ｙ成分はＳｙｍａｘ）は
、実施例１では、予め手ぶれ補正プログラムにデフォルトで所定の値が設定されているも
のとする。
【００３７】
同じく図３（下側）に、フレーム画像Ｆ（１）〜Ｆ（３）に映っている物体が同じ位置
になるように配置したフレーム画像Ｆ（１）〜Ｆ（３），ＦＫ（１）〜ＦＫ（３）を示し
た。このように配置したときのフレーム画像ＦＫ（ｎ）の相対位置の差が動きベクトルで
ある。すなわち、動きベクトルＶ（２）はフレーム画像ＦＫ（２）とＦＫ（１）の相対位
置の差であり、動きベクトルＶ（３）はフレーム画像ＦＫ（３）とフレーム画像ＦＫ（２
）の相対位置の差である。また、図３の例では、フレーム画像Ｆ（１）の前のフレームは
ないので、動きベクトルＶ（１）は０になる。
【００３８】
フレーム画像間の相対位置は、画像のパターンマッチングまたは特徴点追跡といった周
知の画像処理方法によって求めることができる。具体的な相対位置の算出処理方法につい
ては、本発明の本質ではないので説明を省略する。
【００３９】
次に、手ぶれ判定手段１３０は、動きベクトルＶ（ｎ）を用いて、フレーム画像Ｆ（ｎ
）に手ぶれが含まれているかどうかを判定する（ステップＳ１２０（図２））。
【００４０】
図４は、手ぶれの判定の処理手順を説明するためのフローチャートである。まず、差分
ベクトルＤ（ｎ）を算出し、差分ベクトルＤ（ｎ）をＦＩＦＯバッファに格納する（ステ
ップＳ２００）。差分ベクトルＤ（ｎ）は、２つの動きベクトルの差であり、Ｄ（ｎ）＝
Ｖ（ｎ）−Ｖ（ｎ−１）で算出する。また、ＦＩＦＯバッファは、ｎフレーム目から時系
列順で前方向の（ｎ−Ｐ＋１）フレーム目までのＰ個の差分ベクトルＤ（ｎ−Ｐ＋１）〜
Ｄ（ｎ）を格納することのできるバッファである。Ｐは、補正するべき手ぶれの周期の半
分の時間に相当するフレーム数である。
【００４１】
次に、手ぶれ判定手段１３０は、ＦＩＦＯバッファに格納されたＰ個の差分ベクトルＤ
（ｎーＰ＋１）〜Ｄ（ｎ）の中に、Ｘ成分とＹ成分の符号が異なる差分ベクトルがあるか
どうかを調べる（ステップＳ２１０）。Ｘ成分とＹ成分の符号の異なる差分ベクトルがあ
る場合（ステップＳ２２０：ＹＥＳ）は、フレーム画像Ｆ（ｎ）には手ぶれが含まれてい
ると判定する（ステップＳ２３０）。一方、Ｘ成分とＹ成分の符号の異なる差分ベクトル
がない場合（ステップＳ２２０：ＮＯ）は、フレーム画像Ｆ（ｎ）には手ぶれが含まれて
いないと判定する（ステップＳ２４０）。
【００４２】
手ぶれによる画像の揺れは、周波数が１Ｈｚぐらいの周期的な揺れであることが知られ
ている。そのため、フレーム画像Ｆ（ｎ）に手ぶれが含まれている場合は、フレーム画像
Ｆ（ｎ）付近の（Ｐ＋１）個の動きベクトルＶ（ｎーＰ）〜Ｖ（ｎ）も手ぶれに連動して
周期的な変化をする。動きベクトルＶ（ｎーＰ）〜Ｖ（ｎ）が周期的な変化をしていると
き、これらの差分ベクトルＤ（ｎーＰ＋１）〜Ｄ（ｎ）は、動きベクトルＶ（ｎーＰ）〜
Ｖ（ｎ）の変化分だけを表すので、０を中心とした周期的な変化をすることになる。
【００４３】
図５は、差分ベクトルのＸ成分の時系列による変化の例をグラフにした図である。横軸
は、フレームの時系列順を示している。この例では、図に示したフレームの時系列順のう
ち、前半部分のフレーム画像に手ぶれが含まれ、後半部分のフレーム画像には手ぶれが含
まれていない場合を示している。そのため、手ぶれが含まれている前半部分の差分ベクト
ルは０を中心として周期的な変化をしている。
【００４４】
図５から明らかなように差分ベクトルが０を中心とした周期的な動きをしている場合、
そのＸ成分とＹ成分は、正から負へ、又は負から正へ、符号が変わっていく。したがって
、Ｐ個の差分ベクトルＤ（ｎ−Ｐ＋１）〜Ｄ（ｎ）の中にＸ成分とＹ成分の符号の異なる
差分ベクトルがあれば、０を中心とした周期的な動きをしているといえる。
【００４５】
また、差分ベクトルのＸ成分とＹ成分が、正から負へ、又は負から正へ変化する最も短
い時間は、手ぶれの周期の半分の時間である。そのため、Ｐ＝フレームレート×手ぶれの
周波数／２としたときにＰを最も小さくできる。補正すべき手ぶれの最低周波数を１Ｈｚ
とし、フレームレートを３０（フレーム／秒）とした場合、Ｐ＝１５とすれば、１Ｈｚよ
り高い周波数の手ぶれを検出することができる。
【００４６】
また、Ｐをフレームレート×手ぶれの周波数／２よりも大きくしても良い。Ｐを手ぶれ
の周期の半分の時間にあるフレームの数にした場合、瞬間的に差分ベクトルのＸ成分とＹ
成分の符号が異ならないときが発生する。このケースは非常に発生する確率が少ないので
ほとんど問題になることはないが、Ｐを少し大きくすることで、このような非常に少ない
確率で発生するケースも回避することができる。
【００４７】
このように、差分ベクトルＤ（ｎ）が周期的な変化をしているかどうかは、Ｐ個の差分
ベクトルの符号を調べるだけで良いので、手ぶれが含まれているかどうかの判定の処理が
簡単にできる。また、Ｐを手ぶれの周期の半分の時間にあるフレームの数とすることで、
ＦＩＦＯバッファの中に格納する差分ベクトルの数を減らすことができるので、差分ベク
トルの符号を調べる処理を早くすることができる。
【００４８】
次に、手ぶれ判定手段１３０により、フレーム画像Ｆ（ｎ）に手ぶれが含まれていると
判定されたかどうかを調べる（ステップＳ１３０）。フレーム画像Ｆ（ｎ）に手ぶれが含
まれていると判定された場合（ステップＳ１３０：ＹＥＳ）は、画像補正手段１４０は、
フレーム画像Ｆ（ｎ）の補正量を示す補正位置ベクトルＳ（ｎ）を算出する（ステップＳ
１４０）。
【００４９】
図６は、画像補正手段１４０による手ぶれの補正を説明するための説明図である。図６
を用いて、図３で説明したフレーム画像Ｆ（２），Ｆ（３）の手ぶれの補正方法を説明す
る。補正位置ベクトルＳ（２），Ｓ（３）は、フレーム画像Ｆ（２），Ｆ（３）から補正
フレーム画像ＨＦＧ（２），ＨＦＧ（３）を切り取る位置を示すベクトルであり、デフォ
ルトの補正フレーム画像と同じ位置にあるフレーム画像ＦＫ（２），ＦＫ（３）からの相
対位置で表される。
【００５０】
ここで、補正位置ベクトルＳ（２），Ｓ（３）を動きベクトルＶ（２），Ｖ（３）の向
きを反対方向に変えたベクトルとすれば、切り出される補正フレーム画像ＨＦＧ（２），
ＨＦＧ（３）の中に映っている家の位置は変わらなくなり、手ぶれの補正ができたことに
なる。
【００５１】
次に、画像補正手段１４０は、フレーム画像Ｆ（ｎ）を補正位置ベクトルＳ（ｎ）で示
す位置で切り取り補正フレーム画像ＨＦＧ（ｎ）を生成する（ステップＳ１５０）。また
、フレーム画像Ｆ（ｎ）に手ぶれが含まれていないと判定された場合の補正位置ベクトル
Ｓ（ｎ）はデフォルトの位置である０として補正フレーム画像ＨＦＧ（ｎ）を生成する。
【００５２】
次に、補正フレーム画像ＨＦＧ（ｎ）を出力機器２１０に出力する（ステップＳ１７０
）。このようにしてフレーム画像Ｆ（ｎ）の手ぶれの補正が終了すると、次にフレーム画
像Ｆ（ｎ）が動画像の終わりかどうかを調べる（ステップＳ１８０）。フレーム画像Ｆ（
ｎ）が動画像の終わりである場合（ステップＳ１８０：ＹＥＳ）は、手ぶれ補正プログラ
ムを終了する。
【００５３】
フレーム画像Ｆ（ｎ）が動画像の終わりでない場合（ステップＳ１８０：ＮＯ）は、フ
レーム画像Ｆ（ｎ＋１）の手ぶれを補正するために、ｎに１を足して、ステップＳ１００
に戻る。こうして、フレーム画像Ｆ（ｎ）の手ぶれの補正が１フレームづつ、時系列順に
進められる。
【００５４】
このように実施例１の手ぶれ補正装置１００では、Ｐ個の差分ベクトルＤ（ｎ−Ｐ＋１
）〜Ｄ（ｎ）の符号を調べるだけでフレーム画像Ｆ（ｎ）に手ぶれが含まれているかどう
かを判定することができ、手ぶれを的確に補正することができる。
【００５５】
また、フレーム画像Ｆ（ｎ）に手ぶれが含まれているかどうかを判定する差分ベクトル
を、動きベクトルＶ（ｎ）を中心とした（Ｐ＋１）個の動きベクトルＶ（ｎ−Ｐ／２）〜
Ｖ（ｎ＋Ｐ／２）から算出した差分ベクトルＤ（ｎ−Ｐ／２＋１）〜Ｖ（ｎ＋Ｐ／２）と
しても良い。こうすれば、フレーム画像Ｆ（ｎ）を中心とした時間帯の画像の揺れを判定
できるので、より精度良く手ぶれの判定ができる。
【００５６】
以下、実施例１における手ぶれ補正装置に関する変形例を記載する。
（変形例１）
予め黒１色の補正フレーム画像と同じサイズの画像を用意しておく。ステップＳ１５０
にて、画像補正手段１４０は、フレーム画像Ｆ（ｎ）に手ぶれが含まれている場合は、黒
１色の画像を補正フレーム画像ＨＦＧ（ｎ）として生成する。こうすれば、補正フレーム
画像（ｎ）をテレビ、プロジェクタなどの出力機器２１０で再生した場合に、手ぶれの含
まれている画像がすぐにわかる。また、出力機器２１０が、補正フレーム画像ＨＦＧ（ｎ
）がない場合に何も表示しないようになっていれば、手ぶれが含まれているときに補正フ
レーム画像ＨＦＧ（ｎ）を生成しないようにしても良い。このようにすれば、出力機器２
１０が何も表示しないので、黒１色の画像を表示したのと同じ効果がある。
【００５７】
（変形例２）
ステップＳ１５０にて、フレーム画像Ｆ（ｎ）に手ぶれが含まれている場合は、メッセ
ージ出力手段は手ぶれが含まれているという音声の警告メッセージをコンピュータに接続
されているスピーカーから出力する。こうすれば、手ぶれの含まれている画像がすぐにわ
かるので、動画像の作成者が動画像を作り直すなどの対策をすぐにとることができる。ま
た、メッセージ出力手段が出力する警告メッセージは、スピーカーから出力するビープ音
、メロディ、又は、ＬＥＤなどによる光を用いたものでも良い。
【００５８】
（変形例３）
ＣＰＵ，ＲＯＭ，ＲＡＭを搭載したデジタルビデオカメラなどの撮影装置を手ぶれ補正
装置として機能させても良い。撮影装置のＲＯＭに実施例１の手ぶれ補正プログラムを格
納し、撮影装置のＣＰＵで手ぶれ補正プログラムを実行させることにより、撮影装置を手
ぶれ補正装置として機能させる。こうすれば、撮影装置で撮影した動画像の手ぶれの補正
を撮影と同時に行うことができる。また、動画像に手ぶれが含まれている場合に、変形例
１又は変形例２の方法ですぐに撮影者に知らせることができる。
【図面の簡単な説明】
【００５９】
【図１】手ぶれ補正装置の構成概略を説明する説明図。
【図２】手ぶれ補正装置の処理手順を説明するフローチャート。
【図３】フレーム画像Ｆ（ｎ）及び動きベクトルＶ（ｎ）を説明するための説明図。
【図４】手ぶれの判定の処理手順を説明するためのフローチャート。
【図５】差分ベクトルＤ（ｎ）のＸ成分の時系列による変化の例をグラフにした図。
【図６】画像補正手段による手ぶれの補正を説明するための説明図。
【符号の説明】
【００６０】
１００…手ぶれ補正装置、１１０…フレーム画像取得手段、１２０…動きベクトル算出
手段、１３０…手ぶれ判定手段、１４０…画像補正手段、２００…入力機器、２１０…出
力機器、Ｆ（ｎ）…フレーム画像、ＦＫ（ｎ）…フレーム画像、Ｖ（ｎ）…動きベクトル
、Ｄ（ｎ）…差分ベクトル、Ｓ（ｎ）…補正位置ベクトル、ＨＦＧ（ｎ）…補正フレーム
画像。
【図１】
2007267115.tif 000003
【図２】
2007267115.tif 000004
【図３】
2007267115.tif 000005
【図４】
2007267115.tif 000006
【図５】
2007267115.tif 000007
【図６】
2007267115.tif 000008