(57)【要約】      （修正有）【課題】フレーム画像データの品質を向上させる。【解決手段】フレーム画像からなるフレーム画像データから、フレーム画像全体の動きを表す動きベクトルであるグローバル動きベクトルＧＭＶを検出する。画像処理部は、未知の成分パラメータθ、ｓ、ｈ、ｖ、ｅ及びｂを用いることにより、検出されたグローバル動きベクトルＧＭＶを成分分離式にモデル化する。成分分離式では、カメラの動きを表すカメラモーション成分ＣＭ及びフォーカルプレーン歪みの変化量を表すフォーカルプレーン歪み成分ＣＦが分離されている。成分分離式において用いられた成分パラメータθ、ｓ、ｈ、ｖ、ｅ及びｂを算出することにより、グローバル動きベクトルＧＭＶにおけるカメラモーション成分ＣＭを算出する。【選択図】図１３
2010193302.tif 000002
【特許請求の範囲】
【請求項１】
フレーム画像からなるフレーム画像データから、上記フレーム画像全体の動きを表す動きベクトルを検出する動きベクトル検出部と、
カメラの動きであるカメラモーション及びフォーカルプレーン歪みの変化量をそれぞれ表す未知の成分パラメータを用いることにより、上記動きベクトル検出部によって検出された上記動きベクトルを、カメラモーション成分及びフォーカルプレーン歪み成分が分離された成分分離式にモデル化するモデル化部と、
上記成分分離式において用いられた上記成分パラメータを算出することにより、上記動きベクトルにおけるカメラモーション成分を算出する成分算出部と
を有する画像処理装置。
【請求項２】
上記カメラモーション成分に基づいて、上記フレーム画像におけるぶれを補正する補正部と
をさらに有する請求項１に記載の画像処理装置。
【請求項３】
上記モデル化部は、
上記カメラモーション成分を、上記フレーム画像に対する縦方向及び横方向への並進速度を表す並進要素、拡縮方向への拡縮速度を表す拡縮要素及び１方向への角度変化を表す回転要素として表す
請求項２に記載の画像処理装置。
【請求項４】
上記動きベクトル検出部は、
上記動きベクトルを、上記並進要素、上記拡縮要素及び上記回転要素からなるアフィン変換式として表す
請求項３に記載の画像処理装置。
【請求項５】
上記補正部は、
上記カメラモーション成分に基づいて、ユーザの意図したカメラの動きであるカメラワーク成分を算出するカメラワーク成分算出部と、
上記カメラモーション成分から上記カメラワーク成分を減算することにより、上記ぶれの量を算出するぶれ量算出部と、
上記ぶれ量算出部によって算出された上記ぶれの量に基づいて、上記動きベクトルにおけるぶれを補正する補正ベクトルを生成する補正ベクトル生成部と、
上記動きベクトルに対し、上記補正ベクトル生成部によって生成された上記補正ベクトルを適用する動き補償部と
を有する請求項４に記載の画像処理装置。
【請求項６】
上記モデル化部は、
カメラモーション成分及びフォーカルプレーン歪み成分を行列式として表す
請求項５に記載の画像処理装置。
【請求項７】
上記補正ベクトル生成部は、
上記ぶれの量の逆行列を含む行列式を上記補正ベクトルとして生成する
請求項６に記載の画像処理装置。
【請求項８】
上記補正部は、
上記成分算出部によって算出された上記フォーカルプレーン歪み成分に基づいて、上記フレーム画像を補正するフォーカルプレーン歪み補正量を算出するフォーカルプレーン歪み補正量算出部
をさらに有し、
上記補正ベクトル生成部は、
上記フォーカルプレーン歪み補正量の逆行列を含む行列式を上記補正ベクトルとして生成する
請求項７に記載の画像処理装置。
【請求項９】
上記モデル化部は、
上記回転要素の前に、原点を中心に移動させる原点補正行列を乗算し、上記回転要素の後に上記原点を上記中心に移動させる前の位置に戻す原点補正逆行列を乗算する
請求項８に記載の画像処理装置。
【請求項１０】
上記回転要素の前に、画素のアスペクト比を１：１に変更するアスペクト比補正行列を乗算し、上記回転要素の後に、上記画素を基のアスペクト比に戻すアスペクト比補正逆行列を乗算する
請求項９に記載の画像処理装置。
【請求項１１】
上記補正ベクトル生成部は、
上記補正ベクトルをＶｃ、上記原点補正行列をＣ、上記アスペクト比補正行列Ｐ、上記ぶれの量の逆行列をＭｓ−１、上記フォーカルプレーン歪み補正量の逆行列をＦ−１、上記原点補正逆行列をＣ−１、上記アスペクト比補正逆行列をＰ−１としたとき、次式に従って上記補正ベクトルを生成する
【数１】
2010193302.tif 000031
請求項１０に記載の画像処理装置。
【請求項１２】
上記動きベクトル検出部は、
上記動きベクトルの信頼度を表す信頼度情報を生成し、
上記カメラワーク算出部は、
上記動きベクトル検出部によって生成された上記信頼度情報に基づいて、上記動きベクトルの信頼度が高いカメラモーション成分のみを用いて上記カメラワーク成分を算出する
請求項４に記載の画像処理装置。
【請求項１３】
上記カメラワーク算出部は、
ＬＰＦ（Low Pass Filter）でなる
請求項１２に記載の画像処理装置。
【請求項１４】
上記フレーム画像データは、
上記１方向の回転要素と相違する２方向の回転要素に対するぶれが予め補正されている
請求項４に記載の画像処理装置。
【請求項１５】
上記フレーム画像データは、
ヨー方向及びピッチ方向の回転要素に対するぶれが予め補正されている
請求項１４に記載の画像処理装置。
【請求項１６】
上記補正ベクトル生成部は、
ヨー方向及びピッチ方向の角度変化に起因する台形歪みの量の逆行列をＡ−１とすると、次式に従って上記補正ベクトルを生成する
【数２】
2010193302.tif 000032
請求項１５に記載の画像処理装置。
【請求項１７】
上記モデル化部は、
上記動きベクトルを、次式のようにモデル化する
【数３】
2010193302.tif 000033
請求項１６に記載の画像処理装置。
【請求項１８】
フレーム画像からなるフレーム画像データから、上記フレーム画像全体の動きを表す動きベクトルを検出する動きベクトル検出ステップと、
カメラの動きであるカメラモーション及びフォーカルプレーン歪みの変化量をそれぞれ表す未知の成分パラメータを用いることにより、上記動きベクトル検出ステップによって検出された上記動きベクトルを、カメラモーション成分及びフォーカルプレーン歪み成分が分離された成分分離式にモデル化するモデル化ステップと、
上記成分分離式において用いられた上記成分パラメータを算出することにより、上記動きベクトルにおけるカメラモーション成分を算出する成分算出ステップと
を有するカメラモーション成分算出方法。
【請求項１９】
コンピュータに対して、
フレーム画像からなるフレーム画像データから、上記フレーム画像全体の動きを表す動きベクトルを検出する動きベクトル検出ステップと、
カメラの動きであるカメラモーション及びフォーカルプレーン歪みの変化量をそれぞれ表す未知の成分パラメータを用いることにより、上記動きベクトル検出ステップによって検出された上記動きベクトルを、カメラモーション成分及びフォーカルプレーン歪み成分が分離された成分分離式にモデル化するモデル化ステップと、
上記成分分離式において用いられた上記成分パラメータを算出することにより、上記動きベクトルにおけるカメラモーション成分を算出する成分算出ステップと
を実行させる画像処理プログラム。
【請求項２０】
コンピュータに対して、
フレーム画像からなるフレーム画像データから、上記フレーム画像全体の動きを表す動きベクトルを検出する動きベクトル検出ステップと、
カメラの動きであるカメラモーション及びフォーカルプレーン歪みの変化量をそれぞれ表す未知の成分パラメータを用いることにより、上記動きベクトル検出ステップによって検出された上記動きベクトルを、カメラモーション成分及びフォーカルプレーン歪み成分が分離された成分分離式にモデル化するモデル化ステップと、
上記成分分離式において用いられた上記成分パラメータを算出することにより、上記動きベクトルにおけるカメラモーション成分を算出する成分算出ステップと
を実行させる画像処理プログラムが記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、カメラモーション成分算出方法、画像処理プログラム及び記録媒体に関し、例えば撮像装置で撮像された動画像データを編集する画像処理装置に適用して好適なものである。
【背景技術】
【０００２】
従来、撮像装置では、加速度センサなどのセンサを搭載し、ユーザの手ぶれを相殺するようレンズなどの光学部品を移動させることにより、手ぶれを補正するようになされたものが広く知られている（例えば非特許文献１参照）。
【０００３】
また、撮像装置では、撮像素子としてグローバルシャッタ方式でなるＣＣＤ（Charge Coupled Device）が多く用いられてきた。このＣＣＤでは、１フレーム分のデータを一度に転送するようになされている。
【０００４】
しかし、近年、撮像装置の多くでは、コスト面などで有利なことから、フォーカルプレーンシャッタ方式でなるＣＭＯＳ（Complementary Metal Oxide Semiconductor）を採用している。
【０００５】
このＣＭＯＳでは、１ラインごとにデータを転送するため、フレーム内における時間的な撮像タイミングが僅かにずれる。このためＣＭＯＳによって撮像されたフレーム画像データでは、手ぶれやユーザの意図した動き（以下、これをカメラワークと呼ぶ）によって撮像装置が移動した場合、被写体にいわゆるフォーカルプレーン歪みを生じさせてしまう。
【０００６】
そこで、フレーム画像データにおけるフォーカルプレーン歪みを補正するようになされた撮像装置が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−７８８０８公報
【非特許文献】
【０００８】
【非特許文献１】http:/dspace.wul.waseda.ac.jp/dspace/bitstream/2065/5323/3/Honbun-4189.pdf（映像情報機器の脆弱性改善のための要素技術に関する研究）大嶋光昭
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、上述した手ぶれ補正機能を有する撮像装置では、過剰な補正によって制御系が発散することを防止するため、手ぶれの一部を相殺し、当該手ぶれを軽減するように設計されている。すなわち、撮像装置では、動画像データから手ぶれの影響を軽減することはできるものの、撮像された動画像データには依然として手ぶれの影響が残ってしまう。そこで、撮像後のポスト処理によって手ぶれの影響をさらに軽減することが望ましい。
【００１０】
ポスト処理では、撮像装置のように当該撮像装置自体の動き（以下、これをカメラモーションと呼ぶ）量を検出することはできない。また、特許文献１に記載の方法は、撮像素子を分割する必要があるため、ポスト処理に適用できる方法ではない。
【００１１】
このため画像処理装置は、動画像データから検出される動きベクトルを基にカメラモーション成分を算出し、当該カメラモーションから手ぶれ量を算出することになる。しかしながら、上述したように、撮像装置の手ぶれに応じてフォーカルプレーン歪みが発生する。
【００１２】
このとき画像処理装置は、フォーカルプレーン歪みが動きベクトルに与える影響により、高精度でカメラモーション成分を算出することができず、フレーム画像データの品質を向上できないという問題があった。
【００１３】
本発明は以上の点を考慮してなされたもので、フレーム画像データの品質を向上し得る画像処理装置、カメラモーション成分算出方法、画像処理プログラム及び記録媒体を提案しようとするものである。
【課題を解決するための手段】
【００１４】
かかる課題を解決するため本発明においては、  フレーム画像からなるフレーム画像データから、フレーム画像全体の動きを表す動きベクトルを検出する動きベクトル検出部と、カメラの動き及びフォーカルプレーン歪みの変化量を表す未知の成分パラメータを用いることにより、動きベクトル検出部によって検出された動きベクトルを、カメラモーション成分及びフォーカルプレーン歪み成分が分離された成分分離式にモデル化するモデル化部と、成分分離式において用いられた成分パラメータを算出することにより、動きベクトルにおけるカメラモーション成分を算出する成分算出部とを設けるようにした。
【００１５】
これにより、本発明は、動きベクトルから算出されたカメラモーション成分に基づいて、フレーム画像データの品質を向上させるための各種処理を実行することができる。
【００１６】
また本発明は、フレーム画像からなるフレーム画像データから、フレーム画像全体の動きを表す動きベクトルを検出する動きベクトル検出ステップと、カメラの動き及びフォーカルプレーン歪みの変化量を表す未知の成分パラメータを用いることにより、動きベクトル検出ステップによって検出された動きベクトルを、カメラモーション成分及びフォーカルプレーン歪み成分が分離された成分分離式にモデル化するモデル化ステップと、成分分離式において用いられた成分パラメータを算出することにより、動きベクトルにおけるカメラモーション成分を算出する成分算出ステップとを設けるようにした。
【００１７】
これにより、本発明は、動きベクトルから算出されたカメラモーション成分に基づいて、フレーム画像データの品質を向上させるための各種処理を実行することができる。
【発明の効果】
【００１８】
本発明によれば、動きベクトルから算出されたカメラモーション成分に基づいて、フレーム画像データの品質を向上させるための各種処理を実行することができ、かくしてフレーム画像データの品質を向上させ得る画像処理装置、カメラモーション成分算出方法、画像処理プログラム及び当該画像処理プログラムが記録された記録媒体を実現できる。
【図面の簡単な説明】
【００１９】
【図１】画像処理端末の外観構成を示す略線図である。
【図２】カメラモーションとカメラワークの関係を示す略線図である。
【図３】第１の実施の形態による画像処理部の構成を示す略線図である。
【図４】動き補償処理における線形補間の説明に供する略線図である。
【図５】グローバル動きベクトルの生成の説明に供する略線図である。
【図６】カムコーダと方向の定義の説明に供する略線図である。
【図７】水平方向の手ぶれによるフォーカルプレーン歪みの説明に供する略線図である。
【図８】垂直方向の手ぶれによるフォーカルプレーン歪みの説明に供する略線図である。
【図９】手ぶれによる画像の変化を示す略線図である。
【図１０】回転中心座標を示す略線図である。
【図１１】肘を中心としたときのカメラの動きの説明に供する略線図である。
【図１２】アスペクト比の変換の説明に供する略線図である。
【図１３】成分分離モデルの構成を示す略線図である。
【図１４】成分算出処理手順の説明に供するフローチャートである。
【図１５】フォーカルプレーン歪み成分とその累積値を示す略線図である。
【図１６】フィルタリング処理手順の説明に供するフローチャートである。
【図１７】フォーカルプレーン歪み成分の調整の説明に供する略線図である。
【図１８】フレーム画像と動きベクトルの関係の説明に供する略線図である。
【図１９】第１の実施の形態によるＦＰ歪み補正量算出処理手順の説明に供するフローチャートである。
【図２０】ＬＰＦの特性の説明に供する略線図である。
【図２１】補正ベクトル生成処理手順の説明に供するフローチャートである。
【図２２】第２の実施の形態による画像処理部の構成を示す略線図である。
【図２３】第２の実施の形態によるＦＰ歪み補正量算出処理手順の説明に供するフローチャートである。
【図２４】妥当な角度範囲の説明に供する略線図である。
【図２５】台形歪み推定処理手順の説明に供するフローチャートである。
【図２６】台形歪みの追加修正の説明に供する略線図である。
【図２７】台形歪み追加修正処理手順の説明に供するフローチャートである。
【図２８】角度変化の推定処理手順の説明に供するフローチャートである。
【発明を実施するための形態】
【００２０】
以下、図面について、本発明の一実施の形態を詳述する。なお、説明は以下の順序で行う。
１．第１の実施の形態（手ぶれ量からのフォーカルプレーン歪み量の除去）
２．第２の実施の形態（台形歪みの推定）
３．第３の実施の形態（手ぶれ量からの台形歪みの除去）
４．第４の実施の形態（台形歪みの推定値の変更）
５．他の実施の形態
【００２１】
＜１．第１の実施の形態＞
［１−１．全体構成］
図１に外観を示すように、画像処理端末１０は、モニタ部１１と、操作部１２と、画像処理部１３とによって構成されている。画像処理端末１０は、カムコーダ１から供給されるフレーム画像データを画像処理部１３に供給する。
【００２２】
画像処理部１３は、フレーム画像を構成するフレーム画像データにおいて、フレーム画像間における当該フレーム画像全体としての動きベクトルを表すグローバル動きベクトルＧＭＶを検出する。
【００２３】
上述したように、グローバル動きベクトルＧＭＶには、カメラの動き（以下、これをカメラモーションと呼ぶ）以外にも、フォーカルプレーン歪みの変化量であるフォーカルプレーン歪み成分ＣＦが含まれている。また、図２に示すようにカメラモーションは、ユーザの意図した動き（以下、これをカメラワークと呼ぶ）以外にも、ユーザの意図しない動きであるぶれ（以下、これを手ぶれと呼ぶ）が含まれている。
【００２４】
そこで画像処理部１３は、グローバル動きベクトルＧＭＶからフォーカルプレーン歪み成分ＣＦを除去した上で、手ぶれを補正するようになされている。
【００２５】
図３に示すように、画像処理部１３は、フレーム画像データをフレーム画像ごとにバッファ２１及び動き検出部２２に供給する。動き検出部２２は、処理対象のフレーム画像と、バッファ２１から供給される一つ前の参照フレーム画像とから、後述する動き検出処理によってフレーム画像全体としての動きベクトルを表すグローバル動きベクトルＧＭＶを算出する。このとき動き検出部２２は、グローバル動きベクトルＧＭＶの信頼度を表す信頼度情報を生成し、グローバル動きベクトルＧＭＶと共に成分分離処理部２３に供給する。
【００２６】
成分分離処理部２３は、後述する成分分離処理によってグローバル動きベクトルＧＭＶを、カメラモーション量を表すカメラモーション成分ＣＭと、フォーカルプレーン歪みの変化量を表すフォーカルプレーン歪み成分ＣＦとに分離する。
【００２７】
成分分離処理部２３は、フォーカルプレーン歪み成分ＣＦ及び信頼度情報を成分分離蓄積バッファ２４に供給する。分離成分蓄積バッファ２４は、例えばＦＩＦＯ（First In First Out）方式でなり、カメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦ及び信頼度情報を蓄積し、一時記憶する。
【００２８】
フィルタリング処理部２５は、後述するフィルタリング処理により、信頼度情報に基づいてカメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦをフィルタリングする。
【００２９】
フィルタリング処理部２５は、フィルタリング後のカメラモーション成分ＣＭをカメラワーク量算出部２７及び補正ベクトル生成部２９へ供給する。フィルタリング処理部２５は、フィルタリング後のカメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦをＦＰ歪み補正量算出部２６へ供給する。
【００３０】
ＦＰ歪み補正量算出部２６は、フォーカルプレーン歪みに対する補正量であるＦＰ歪み補正量ＣＦｃを生成するＦＰ歪み補正量算出処理（詳しくは後述する）を実行し、当該ＦＰ歪み補正量ＣＦｃを補正ベクトル生成部２９に供給する。
【００３１】
カメラワーク量算出部２７は、フィルタリング処理部２５から供給されるカメラモーション成分ＣＭに対し、後述するカメラワーク量算出処理を施すことにより、カメラワーク量を算出し、補正ベクトル生成部２９へ供給する。
【００３２】
補正ベクトル生成部２９は、後述する補正ベクトル生成処理により、カメラワーク量及びＦＰ歪み補正量ＣＦｃに基づいて、補正ベクトルＶｃを生成し、動き補償部３０に供給する。この補正ベクトルＶｃは、手ぶれ及びフォーカルプレーン歪みを補正するものである。
【００３３】
動き補償部３０は、バッファ２１から供給される処理フレーム画像に対し、補正ベクトルＶｃを適用することにより、動き補償処理を実行する。なお、動き補償部３０は、フレーム画像を当該フレーム画像よりも小さいサイズに切り出して手ぶれ及びフォーカルプレーン歪みを補正する。このため動き補償部３０は、低下した解像度を向上させるべく、図４に示すように、１画素以下の精度（例えば１／２画素や１／４画素精度）で線形補間する。
【００３４】
動き補償部３０は、線形補間されたフレーム画像をモニタ部１１（図１１）へ順次供給する。この結果、モニタ部１１には、手ぶれ及びフォーカルプレーン歪みが補正されたフレーム画像が順次表示される。
【００３５】
このように、画像処理端末１０の画像処理部１３は、フレーム画像データにおける手ぶれ及びフォーカルプレーン歪みを補正するようになされている。
【００３６】
［１−２．動き検出処理］
動き検出部２２は、動き検出処理を実行し、供給される参照対象となる参照フレーム画像及び処理対象となる処理フレーム画像から当該処理フレーム画像の全体的な動きを表すグローバル動きベクトルＧＭＶを検出する。
【００３７】
図５に示すように、動き検出部２２は、所定数の画素数でなる画素ブロック単位ごとに、参照フレーム画像に対する処理フレーム画像の動きベクトル（以下、これをローカルベクトルＬＭＶと呼ぶ）を算出する。例えば動き検出部２２は、画素ブロック単位として、１６×１６画素のマクロブロックごとにブロックマッチングを行い、ローカル動きベクトルＬＭＶを算出する。
【００３８】
このとき動き検出部２２は、ローカル動きベクトルＬＭＶの信頼度を表す様々な信頼度指標を用いてローカル動きベクトルＬＭＶを重み付けすることにより、グローバル動きベクトルＧＭＶを算出する。
【００３９】
この信頼度指標としては、ローカル動きベクトルＬＭＶのサイズ、差分絶対値和、ブロック構成画素値の分散値、又は参照フレーム画像データと処理フレーム画像データとの対応ブロックの構成画素値から算出する共分散値、若しくはこれらの組み合わせが用いられる。なお、グローバル動きベクトルＧＭＶの詳細な算出方法については、特許文献２及び３に記載されている。
【００４０】
【特許文献２】特願２００７−２３００５３公報
【特許文献３】特願２００７−２３００５４公報
【００４１】
この信頼度指標が高ければ、各ローカル動きベクトルＬＭＶの信頼度が高いということになる。また各ローカル動きベクトルＬＭＶの信頼度が高いということは、グローバル動きベクトルＧＭＶの信頼度も高いといえる。
【００４２】
このため動き検出部２２は、処理フレーム画像データにおける信頼度指標を、当該処理フレーム画像データに対応するグローバル動きベクトルＧＭＶの信頼度情報として用いるようになされている。
【００４３】
このように、動き検出部２２は、マクロブロックごとに算出されるローカル動きベクトルＬＭＶを基に、処理フレーム画像全体の動きを表すグローバル動きベクトルＧＭＶを算出する。このとき動き検出部２２は、ローカル動きベクトルＬＭＶの信頼度指標をグローバル動きベクトルＧＭＶの信頼度情報として用いるようになされている。
【００４４】
［１−３．成分分離処理］
まず、撮像装置としてのカムコーダ１と、当該カムコーダ１を基準とした方向について、図６を用いて説明する。
【００４５】
カムコーダ１において撮像される撮像画像を基準とし、カムコーダ１の移動により被写体が横に移動するＸ軸方向を水平方向、カムコーダ１に移動により被写体が縦に移動するＹ軸方向を垂直方向と呼ぶ。カムコーダ１の移動により被写体が拡縮されるＺ軸方向を拡縮方向と呼ぶ。
【００４６】
また、Ｘ軸を中心軸として回転する方向をピッチ方向、Ｙ軸を中心軸として回転する方向をヨー方向、Ｚ軸を中心軸として回転する方向をロール方向と呼ぶ。またフレーム画像において、カムコーダ１の水平方向への移動により被写体が移動する方向を横方向、カムコーダ１の垂直方向への移動により被写体が移動する方向を縦方向と呼ぶ。
【００４７】
画像処理端末１０の画像処理部１３は、成分分離処理部２３によって成分分離処理を実行する。ここで、フレーム画像全体の動きを表すグローバル動きベクトルＧＭＶは、様々な成分を含有しており、当該成分を全てモデル化すると画像処理部１３の処理負荷が増大してしまう。
【００４８】
そこで本実施の形態の画像処理部１３は、グローバル動きベクトルＧＭＶがカメラの動きであるカメラモーション成分ＣＭとフォーカルプレーン歪みの変化量であるフォーカルプレーン歪み成分ＣＦのみから構成されると擬制する。
【００４９】
画像処理部１３の成分分離処理部２３は、グローバル動きベクトルＧＭＶを、未知の成分パラメータを用いてカメラモーション成分ＣＭとフォーカルプレーン歪み成分ＣＦとに分離した成分分離モデルに当て嵌め、成分分離式を生成する。成分分離処理部２３は、成分分離式における成分パラメータを算出することにより、カメラモーション成分ＣＭとフォーカルプレーン歪み成分ＣＦをそれぞれ算出するようになされている。
【００５０】
図７（Ａ）に示すように、例えば長方形でなる被写体ＳＢを撮像したとき、水平方向（矢印で示す）にカムコーダ１が移動すると、図７（Ｂ）及び（Ｃ）に示すように、上述したフォーカルプレーン歪みにより、フレーム画像において被写体ＳＢの上下が横方向にずれ、平行四辺形に歪む。
【００５１】
また図８（Ｂ）及び（Ｃ）に示すように、カムコーダ１が垂直方向（矢印で示す）に移動すると、フレーム画像において被写体ＳＢの上下が縦方向にずれ、垂直方向に拡縮する。
【００５２】
そこで画像処理部１３は、フォーカルプレーン歪み成分ＣＦを、（１）式に示すように、ＦＰ歪み縦方向拡縮要素ＥＦａとＦＰ歪み平行四辺形要素ＥＦｂとによってモデル化する。なおｅは縦方向の拡縮を表す成分パラメータ、ｂは平行四辺形の歪み度合いを表す成分パラメータである。
【００５３】
【数１】
2010193302.tif 000003
【００５４】
一般的に、カメラモーション成分ＣＭは、線形変換と回転変換とから構成される。線形変換は、被写体ＳＢが水平方向及び垂直方向に移動する並進速度を表す並進要素、被写体が拡大又は縮小する拡縮速度を表す拡縮要素から構成される。回転変換は、被写体ＳＢがヨー方向、ピッチ方向及びロール方向の３方向への角度変化を表す回転要素から構成される。
【００５５】
仮に、並進要素、拡縮要素及び３方向に対応する角度変化を含む回転要素にモデル化する場合、（２）式に示すような射影変換として表すことになる。
【００５６】
【数２】
2010193302.tif 000004
【００５７】
しかしながら射影変換は、変換式が線形でないために最小二乗法では解くことができず、例えば最急降下法などの勾配法を用いる必要がある。この勾配法では、初期値によっては誤った解が得られてしまう他、処理量が増大してしまう。
【００５８】
ここで、第１の実施の形態では、以下に説明する構成のカムコーダ１によって撮像されたフレーム画像データが供給されることが想定されている。
【００５９】
図９に、図９（Ａ）のように撮像されたフレーム画像ＦＭに対し、カムコーダ１がヨー方向及びピッチ方向に移動した場合の、フレーム画像ＦＭにおける被写体ＳＢの変化を示している。なお図９右に示す矢印はカムコーダ１を基準とするものである。
【００６０】
図９（Ｂ）及び（Ｃ）に示したように、カムコーダ１は、当該カムコーダ１の移動に伴ってレンズユニット３と被写体ＳＢとの位置関係が変化することにより、フレーム画像ＦＭにおける被写体ＳＢの位置及び角度が変化してしまうことがわかる。
【００６１】
例えば被写体ＳＢの位置をほぼ一定に保つだけであれば、並進要素及び拡縮要素、若しくは回転要素及び拡縮要素のいずれか一方を補正すれば良い。しかしながら、かかる補正を行ってしまうと、被写体ＳＢの角度変化を適切に補正することができず、側面の見え隠れやオクルージョン、被写体の台形状への歪み（以下、これらをまとめて台形歪みと略す）を発生させてしまう。
【００６２】
カムコーダ１は、図示しない加速度センサを有しており、カメラの動きであるカメラモーション量を検出すると共に、当該カメラモーション量からユーザの意図しない手ぶれ量を算出する。そして本体部２に取り付けられたレンズユニット３がヨー方向及びピッチ方向に移動することにより、手ぶれ量を物理的に相殺し、被写体ＳＢとレンズユニット３との位置関係の変化を抑制する。
【００６３】
これにより、カムコーダ１は、図９（Ｂ）及び（Ｃ）に示したような、ヨー方向及びピッチ方向の手ぶれに応じたフレーム画像ＦＭにおける被写体ＳＢの位置及び角度変化を抑制するようになされている。
【００６４】
すなわち、カムコーダ１から供給されるフレーム画像データは、カムコーダ１のヨー方向及びピッチ方向の移動に伴って生じるフレーム画像ＦＭにおける被写体ＳＢの角度変化が抑制されている。
【００６５】
そこで画像処理端末１０の画像処理部１３は、カメラモーション量のうち、回転要素ＥＭｂがロール方向への角度変化のみであるものと擬制し、カメラモーション成分ＣＭを（３）式のようにモデル化する。
【００６６】
【数３】
2010193302.tif 000005
【００６７】
なお、（３）式における３つの行列は、左から並進要素ＥＭａ、回転要素ＥＭｂ及び拡縮要素ＥＭｃである。ｈは縦方向の並進を表す成分パラメータ、ｖは横方向の並進を表す成分パラメータ、ｃｏｓθ及びｓｉｎθはロール方向の回転を表す成分パラメータ、ｓは被写体とカムコーダ１との距離変化に伴う拡縮を表す成分パラメータである。
【００６８】
これにより、画像処理部１３は、グローバル動きベクトルＧＭＶを１方向の回転変換及び３方向への線形変換によって表すアフィン変換を適用することが可能となる。この結果、画像処理部１３は、成分パラメータを算出するために一般的な変換行列を用いることができるため、成分パラメータを算出するための処理負荷を大幅に軽減することができる。また、画像処理部１３は、一つの定まった解を算出できるため、勾配法のように誤った解を算出することがない。
【００６９】
さらに、成分分離処理部２３は、フォーカルプレーン歪み成分ＣＦ及びカメラモーション成分ＣＭに対し、原点補正及びピクセル補正を行う。
【００７０】
図１０（Ａ）に示すように、一般的に、ソフトウェアによって画像処理をする場合、フレーム画像の左上を原点とするような座標系をとる。すなわち、この座標系を回転させる場合、フレーム画像の左上の画素を中心としてフレーム画像が回転することになる。
【００７１】
しかしながら、カムコーダ１は、当該カムコーダ１の左上を中心として回転されるわけではない。ユーザは、被写体ＳＢをなるべく中心に位置させるようにして撮像を行うと考えられることから、図１０（Ｃ）に示すように、座標の回転中心をフレーム画像の中心とすることが好ましいと考えられる。
【００７２】
そこで、成分分離処理部２３は、（４）式に示すように、フォーカルプレーン歪み成分ＣＦ及びカメラモーション成分ＣＭに対し、予め原点補正行列ＭＣ１を乗算し、原点を中央に移動させておく。なお、ｈＣはフレーム画像における縦方向の画素数の１／２、ｖＣはフレーム画像における横方向の画素数の１／２を表している。
【００７３】
【数４】
2010193302.tif 000006
【００７４】
成分分離処理部２３は、（５）式に示すように、最後に原点補正行列ＭＣ１の逆行列となる原点補正逆行列ＭＣ２を乗算することにより、原点をフレーム画像の左上、すなわち中心に移動させる前の位置に戻す。
【００７５】
【数５】
2010193302.tif 000007
【００７６】
これにより、成分分離処理部２３は、原点をフレーム画像の中心に移動させた状態でフォーカルプレーン歪み成分ＣＦ及びカメラモーション成分ＣＭを算出することが可能となる。
【００７７】
ここで、実際に撮像を行うユーザは、図１１（Ａ）に示すように、撮像しているフレーム画像の中心を回転軸としてカムコーダ１を回転させるわけではない。むしろ殆どのユーザは、図１１（Ｂ）に示すように、肘又は手首などを回転中心としてカムコーダ１を回転させている。
【００７８】
図１１（Ｃ）に示すように、例えば肘を中心にした回転により、カムコーダ１を移動量ＭＴだけ移動させた場合、回転軸である肘からカムコーダ１におけるフレーム画像の中心までの距離をｈａとすると、移動量ＭＴによる動きベクトルを（６）式のように表すことができる。
【００７９】
【数６】
2010193302.tif 000008
【００８０】
すなわち、移動量ＭＴによる動きベクトルは、原点から見た回転と並進の動きの組み合わせとして表せることになり、回転軸の位置が異なることによる弊害は生じない。
【００８１】
また、一般的に、フレーム画像データのフレーム画像における各画素は、そのアスペクト比が１：１ではない。図１２（Ａ）に示すように、例えば長方形でなる画素に対して回転要素ＥＭｂを乗算すると、横方向と縦方向とでスケールが異なることに起因して、右図に示すように、回転と共に、長方形が平行四辺形状に歪んでしまう。
【００８２】
従って、成分分離処理部２３は、（７）式に示すピクセル補正行列ＭＰ１を乗算することにより、回転要素ＥＭｂが乗算されるより前に、正方形でない画素を一旦正方形の画素に変換する。なおｐは、画素の一辺を「１」としたときのピクセル比を表している。
【００８３】
【数７】
2010193302.tif 000009
【００８４】
そして、成分分離処理部２３は、回転要素ＥＭｂを乗算した後、ピクセル補正行列ＭＰ１の逆行列となるピクセル補正逆行列ＭＰ２（（８）式）を乗算することにより、正方形に変換した画素を基のアスペクト比でなる画素に再変換する。
【００８５】
【数８】
2010193302.tif 000010
【００８６】
すなわち、成分分離処理部２３は、（９）式に示すように、回転要素ＥＭｂの前後にピクセル補正行列ＭＰ１及びピクセル補正逆行列ＭＰ２を乗算するようになされている。
【００８７】
【数９】
2010193302.tif 000011
【００８８】
成分分離処理部２３は、図１３に示すように、原点及び画素のアスペクト比を補正した上で、未知の成分パラメータを用いてフォーカルプレーン歪み成分ＣＦ及びカメラモーション成分ＣＭに分離した成分分離モデルを有している。そして成分分離処理部２３は、グローバル動きベクトルＧＭＶを成分分離モデルに当て嵌めることによりグローバル動きベクトルＧＭＶをモデル化し、当該成分分離式における最後に原点及び画素のアスペクト比を基に戻すようになされている。
【００８９】
実際上、画像処理部１３の動き検出部２２は、グローバル動きベクトルＧＭＶを（１０）式のようにアフィン変換行列式として算出する。
【００９０】
【数１０】
2010193302.tif 000012
【００９１】
成分分離処理部２３は、動き検出部２２からグローバル動きベクトルＧＭＶが供給されると、図１３に示した成分分離モデルにグローバル動きベクトルＧＭＶを当て嵌めることにより、（１１）式に示す成分分離式を生成する。
【００９２】
【数１１】
2010193302.tif 000013
【００９３】
成分分離処理部２３は、（１１）式を（１２）式のように変形する。
【００９４】
【数１２】
2010193302.tif 000014
【００９５】
この（１２）式における各成分パラメータ（ｓｉｎθ、ｅ、ｂ、ｓ、ｈ、ｖ）について一般的な方程式によって解くと、以下のようになる。
【００９６】
【数１３】
2010193302.tif 000015
【００９７】
【数１４】
2010193302.tif 000016
【００９８】
【数１５】
2010193302.tif 000017
【００９９】
【数１６】
2010193302.tif 000018
【０１００】
このように、成分分離処理部２３は、アフィン変換行列として表されたグローバル動きベクトルＧＭＶを、未知の成分パラメータを用いてフォーカルプレーン歪み成分ＣＦ及びカメラモーション成分ＣＭに分離して表す成分分離式に代入することによりモデル化する。そして成分分離処理部２３は、方程式を解いて各成分パラメータを算出することにより、グローバル動きベクトルＧＭＶをフォーカルプレーン歪み成分ＣＦ及びカメラモーション成分ＣＭに分離し得るようになされている。
【０１０１】
なお、成分分離処理部２３は、フォーカルプレーン歪み成分ＣＦ及びカメラモーション成分ＣＭとして、分離成分蓄積バッファ２４に対し、成分パラメータのみを供給しても良く、行列に含まれる全ての値を供給しても良い。他の処理についても同様である。
【０１０２】
次に、画像処理プログラムに従って実行される成分算出処理手順ＲＴ１について、図１４のフローチャートを用いて説明する。なお、この成分算出処理手順ＲＴ１は、上述した動き検出処理及び成分分離処理に対応するものである。
【０１０３】
画像処理部１３の動き検出部２２は、フレーム画像データが供給されると、成分算出処理手順ＲＴ１を開始し、ステップＳＰ１へ移る。
【０１０４】
ステップＳＰ１において、動き検出部２２は、フレーム画像全体の動きを表すグローバル動きベクトルＧＭＶを検出すると、当該グローバル動きベクトルＧＭＶを成分分離処理部２３に供給し、次のステップＳＰ２へ移る。
【０１０５】
ステップＳＰ２において、画像処理部１３の成分分離処理部２３は、動き検出部２２から供給されたグローバル動きベクトルＧＭＶを、（１１）式に示した成分分離式に代入することによりモデル化し、次のステップＳＰ３へ移る。
【０１０６】
ステップＳＰ３において、成分分離処理部２３は、成分分離式が有する未知の成分パラメータを算出することにより、カメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦをそれぞれ算出すると、終了ステップへ移って成分算出処理手順ＲＴ１を終了する。
【０１０７】
［１−４．フィルタリング処理］
フィルタリング処理部２５は、動き検出部２２によって生成される信頼度情報に基づいてカメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦをフィルタリングする。
【０１０８】
上述したように、信頼度情報は、フレーム画像データにおける各ローカル動きベクトルＬＭＶの信頼度指標でなる。フィルタリング処理部２５は、各信頼度指標が所定の高信頼閾値以上であるか否かを判別し、フレーム画像データごとの信頼度指標の総数に対する高信頼閾値以上でなる信頼度指標の割合を算出する。
【０１０９】
フィルタリング処理部２５は、高信頼閾値以上でなる信頼度指標の割合が所定のフィルタリング閾値よりも高い場合には、グローバル動きベクトルＧＭＶの信頼度が高いため、
当該グローバル動きベクトルＧＭＶに対応するカメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦをそのまま使用する。
【０１１０】
フィルタリング処理部２５は、高信頼閾値以上でなる信頼度指標の割合が所定のフィルタリング閾値よりも低い場合には、グローバル動きベクトルＧＭＶの信頼度が低いため、
当該グローバル動きベクトルＧＭＶに対応するカメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦを使用しない。
【０１１１】
すなわちフィルタリング処理部２５は、グローバル動きベクトルＧＭＶの信頼度が高い場合には、フォーカルプレーン歪み成分ＣＦをそのままＦＰ歪み補正量算出部２６に供給すると共に、カメラモーション成分ＣＭをＦＰ歪み補正量算出部２６、カメラワーク量算出部２７及び補正ベクトル生成部２９に供給する。
【０１１２】
これに対してフィルタリング処理部２５は、グローバル動きベクトルＧＭＶの信頼度が低い場合には、供給されたカメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦを破棄する。
【０１１３】
このとき、フィルタリング処理部２５は、所定の単位行列をフォーカルプレーン歪み成分ＣＦとしてＦＰ歪み補正量算出部２６に供給すると共に、所定の単位行列をカメラモーション成分ＣＭとしてＦＰ歪み補正量算出部２６、カメラワーク量算出部２７及び補正ベクトル生成部２９に供給する。なおフィルタリング処理部２５は、信頼度に応じて例えば複数のフィルタリング閾値を設定しておき、カメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦのいずれか一方、若しくは要素ごとに単位行列に置き換えることもできる。
【０１１４】
このように、フィルタリング処理部２５は、信頼度の高いグローバル動きベクトルＧＭＶに基づいて生成されたフォーカルプレーン歪み成分ＣＦ及びカメラモーション成分ＣＭのみを選別して使用する。
【０１１５】
これにより、画像処理部１３は、信頼度が高く、誤差が小さい可能性の高いグローバル動きベクトルＧＭのみをＦＰ歪み補正量算出部２６、カメラワーク量算出部２７及び補正ベクトル生成部２９に供給し得るようになされている。
【０１１６】
次に、画像処理プログラムに従って実行されるフィルタリング処理手順ＲＴ２について、図１５のフローチャートを用いて説明する。
【０１１７】
画像処理部１３のフィルタリング処理部２５は、分離成分蓄積バッファ２４から信頼度情報、カメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦが供給されると、フィルタリング処理手順ＲＴ２を開始し、ステップＳＰ１１へ移る。
【０１１８】
ステップＳＰ１１において、フィルタリング処理部２５は、信頼度情報に基づいて、グローバル動きベクトルＧＭＶの信頼度が高いか否かについて判別する。ここで肯定結果が得られた場合、このことは、カメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦが信頼できることを表している。このときフィルタリング処理部２５は、次のステップＳＰ１２へ移る。
【０１１９】
ステップＳＰ１２において、フィルタリング処理部２５は、成分分離処理部２３によって分離されたカメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦをそのまま出力すると、終了ステップへ移ってフィルタリング処理手順ＲＴ２を終了する。
【０１２０】
これに対してステップＳＰ１１において否定結果が得られた場合、このことはカメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦが信頼できないことを表している。このときフィルタリング処理部２５は、次のステップＳＰ１３へ移る。
【０１２１】
ステップＳＰ１３において、フィルタリング処理部２５は、カメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦを破棄して単位行列に置き換え、当該置き換えられた単位行列をカメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦとして出力する。そしてフィルタリング処理部２５は、終了ステップへ移ってフィルタリング処理手順ＲＴ２を終了する。
【０１２２】
［１−５．ＦＰ歪み補正量算出処理］
フォーカルプレーン歪みは、フレーム画像ごとに独立して生じる現象ではなく、複数のフレーム画像間で連続的に生じ、蓄積された歪みを表すものである。これに対して、グローバル動きベクトルＧＭＶは、１つ前のフレーム画像に対する動きを表すものである。すなわち、フォーカルプレー歪み成分ＣＦは、フォーカルプレーン歪みのうち、前のフレーム画像に対して増大又は減少した変化量を表している。
【０１２３】
従って、正確にフォーカルプレーン歪みを補正するためには、フォーカルプレーン歪み成分ＣＦの累積値を用いて補正することが望ましい。
【０１２４】
しかしながら、フォーカルプレーン歪み成分ＣＦは誤差を有している。図１６（Ａ）に、例えば手ぶれなどにより小刻みにフォーカルプレーン歪みが発生したときのフォーカルプレーン歪み成分ＣＦの様子を示している。フォーカルプレーン歪み成分ＣＦが正の符号を示すときはフォーカルプレーン歪みが大きくなり、フォーカルプレーン歪み成分ＣＦが負の符号を示すときはフォーカルプレーン歪みが小さくなっていることを表している。
【０１２５】
図１６（Ｂ）に、フォーカルプレーン歪み成分ＣＦ（図１６（Ａ））の累積値であるＦＰ歪み累積値を示している。図からわかるように、フレーム画像の数が増大するにつれてＦＰ歪み累積値が著しく増大している。これは、フォーカルプレーン歪み成分ＣＦの有する誤差が蓄積し、発散してしまった結果である。すなわち、フォーカルプレーン歪み成分ＣＦの累積値を用いてフレーム画像を補正した場合、誤差の蓄積によりフレーム画像が破綻してしまう危険性がある。
【０１２６】
そこで、画像処理部１３のＦＰ歪み補正量算出部２６は、処理フレーム画像及び当該処理フレーム画像の前後のフレーム画像のうち、フォーカルプレーン歪みの最も小さいフレーム画像と同等のフォーカルプレーン歪みになるよう、ＦＰ歪み補正量ＣＦｃを算出する。
【０１２７】
ここで、カメラモーション成分ＣＭは、フォーカルプレーン歪み成分ＣＦと比較して誤差が小さく、信頼性も高い。また、フォーカルプレーン歪み成分ＣＦは、カメラモーション成分ＣＭにおける並進速度と相関関係を有している。そこでＦＰ歪み補正量算出部２６は、並進速度に基づいて、ＦＰ歪み補正量ＣＦｃを算出する。
【０１２８】
なお、ＦＰ歪み補正量ＣＦｃは、（１）式に示したフォーカルプレーン歪み成分ＣＦのうち、ＦＰ歪み成分パラメータｅをｅｃに、ＦＰ歪み成分パラメータｂをｂｃにそれぞれ置き換えた行列として表される。後述する補正ベクトル生成処理において、ＦＰ歪み補正量ＣＦｃの逆行列が乗算されることにより、処理フレーム画像におけるフォーカルプレーン歪みが補正されることになる。
【０１２９】
図１７に示すように、処理対象である処理フレーム画像ＦＭ１の１つ前方となるフレーム画像を参照フレーム画像ＦＭ０と呼び、参照フレーム画像ＦＭ０より１つ手前となるフレーム画像を前方フレーム画像ＦＭ−１と呼ぶ。処理フレーム画像ＦＭ１よりも１つ後方となるフレーム画像を後方フレーム画像ＦＭ２と呼ぶ。
【０１３０】
また、参照フレーム画像ＦＭ０を基準としたときの処理フレーム画像ＦＭ１の動きをグローバル動きベクトルＧＭＶ０と呼ぶ。前方フレーム画像ＦＭ−１を基準としたときの参照フレーム画像ＦＭ０の動きをグローバル動きベクトルＧＭＶ−１と呼ぶ。処理フレーム画像ＦＭ１を基準としたときの後方フレーム画像ＦＭ２の動きをグローバル動きベクトルＧＭＶ＋１と呼ぶ。これらをまとめて単にグローバル動きベクトルＧＭＶと呼ぶ。
【０１３１】
ＦＰ歪み補正量算出部２６には、グローバル動きベクトルＧＭＶに対応するカメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦが順次供給される。なお、グローバル動きベクトルＧＭＶ０、ＧＭＶ＋１及びＧＭＶ−１に対応するカメラモーション成分ＣＭをそれぞれカメラモーション成分ＣＭ０、ＣＭ＋１及びＣＭ−１と呼ぶ。グローバル動きベクトルＧＭＶ０、ＧＭＶ＋１及びＧＭＶ−１に対応するフォーカルプレーン歪み成分ＣＦをそれぞれフォーカルプレーン歪み成分ＣＦ０、ＣＦ＋１及びＣＦ−１と呼ぶ。
【０１３２】
ＦＰ歪み補正量算出部２６は、カメラモーション成分ＣＭ０、ＣＭ＋１及びＣＭ−１におけるモーション成分パラメータｖの値をそれぞれ比較する。モーション成分パラメータｖは、縦方向の並進速度を表している。縦方向の並進速度が大きい場合、フォーカルプレーン歪みが大きく、縦方向の並進速度が小さい場合、フォーカルプレーン歪みが小さくなる。
【０１３３】
ＦＰ歪み補正量算出部２６は、カメラモーション成分ＣＭ０、ＣＭ＋１及びＣＭ−１のうち、縦方向の並進速度（すなわちモーション成分パラメータｖの値）が最も小さいカメラモーション成分ＣＭを選択する。
【０１３４】
ＦＰ歪み補正量算出部２６は、選択されたカメラモーション成分ＣＭがカメラモーション成分ＣＭ０であった場合、フォーカルプレーン歪みを処理フレーム画像ＦＭ１と同程度にする。ＦＰ歪み補正量算出部２６は、単位行列をＦＰ歪み補正量ＣＦｃとし、ＦＰ歪み補正量ＣＦｃにおける縦方向の拡縮を表すＦＰ歪み成分パラメータｅｃを「１」とする。この結果、縦方向の拡縮について、フォーカルプレーン歪みが補正されないことになる。
【０１３５】
一方、ＦＰ歪み補正量算出部２６は、選択されたカメラモーション成分ＣＭがカメラモーション成分ＣＭ−１であった場合、フォーカルプレーン歪みを参照フレーム画像ＦＭ０と同程度にする。ＦＰ歪み補正量算出部２６は、フォーカルプレーン歪み成分ＣＦ０をＦＰ歪み補正量ＣＦｃとし、ＦＰ歪み成分パラメータｅｃをフォーカルプレーン歪み成分ＣＦ０における「ｅ」とする。この結果、縦方向の拡縮について、フォーカルプレーン歪みが参照フレーム画像ＦＭ０と同等のレベルに補正される。
【０１３６】
他方、ＦＰ歪み補正量算出部２６は、選択されたカメラモーション成分ＣＭがカメラモーション成分ＣＭ＋１であった場合、後方フレーム画像ＦＭ２と同程度にする。ＦＰ歪み補正量算出部２６は、フォーカルプレーン歪み成分ＣＦ＋１の逆行列をＦＰ歪み補正量ＣＦｃとし、ＦＰ歪み成分パラメータｅｃをフォーカルプレーン歪み成分ＣＦ＋１における「ｅの逆数」とする。この結果、縦方向の拡縮について、フォーカルプレーン歪みが後方フレーム画像ＦＭ２と同等のレベルに補正される。
【０１３７】
ＦＰ歪み補正量算出部２６は、同様にして、カメラモーション成分ＣＭ０、ＣＭ＋１及びＣＭ−１におけるモーション成分パラメータｈの値をそれぞれ比較し、横方向の並進速度（すなわちモーション成分パラメータｈの値）が最も小さいカメラモーション成分ＣＭを選択する。
【０１３８】
ＦＰ歪み補正量算出部２６は、選択されたカメラモーション成分ＣＭ０、ＣＭ−１及びＣＭ＋１に応じて、「０」、フォーカルプレーン歪み成分ＣＦ０における「ｂ」及びフォーカルプレーン歪み成分ＣＦ＋１における「ｂの逆数」から、ＦＰ歪み成分パラメータｂｃを選択する。
【０１３９】
ＦＰ歪み補正量算出部２６は、選択されたＦＰ歪み成分パラメータｅｃ及びｂｃをＦＰ歪み補正量ＣＦｃとし、補正ベクトル生成部２９に供給する。
【０１４０】
これにより、ＦＰ歪み補正量算出部２６は、フォーカルプレーン歪み成分ＣＦを累積させないため、ＦＰ歪み補正量ＣＦｃを発散させることはない。また、ＦＰ歪み補正量算出部２６は、図１８（Ｂ）に示すように、フォーカルプレーン歪みの全て（図１８（Ａ））を補正することはできないものの、フォーカルプレーン歪みをＦＰ歪み累積値よりも小さくすることができ、フォーカルプレーン歪みを低減できる。
【０１４１】
このフォーカルプレーン歪みは、例えば５フレーム程度の短い間隔で増減し、正負符号が入れ替わり、その最大量がさほど大きくならないことが確認されている。従って、ＦＰ歪み補正量算出部２６は、フォーカルプレーン歪みの最大量を低減するだけで、フレーム画像におけるフォーカルプレーン歪みを視覚的に目立たなくできる。
【０１４２】
このように、ＦＰ歪み補正量算出部２６は、処理フレーム画像ＦＭ１、参照フレーム画像ＦＭ０及び後方フレーム画像ＦＭ２のうち、並進速度に基づいてフォーカルプレーン歪みの最も少ないフレーム画像ＦＭを選択する。そしてＦＰ歪み補正量算出部２６は、選択されたフレーム画像ＦＭと同レベルになるようＦＰ歪み補正量ＣＦｃを算出する。
【０１４３】
これにより、ＦＰ歪み補正量算出部２６は、ＦＰ歪み補正量ＣＦｃの発散を確実に防止すると共に、フォーカルプレーン歪みを低減させて視覚的に目立ちにくくし得るようになされている。
【０１４４】
次に、画像処理プログラムに従って実行されるＦＰ歪み補正量算出処理手順ＲＴ３について、図１９のフローチャートを用いて説明する。
【０１４５】
ＦＰ歪み補正量算出部２６は、グローバル動きベクトルＧＭＶが供給されると、ＦＰ歪み補正量算出処理手順ＲＴ３を開始し、ステップＳＰ２２へ移る。
【０１４６】
ステップＳＰ２２において、ＦＰ歪み補正量算出部２６は、カメラモーション成分ＣＭ０、ＣＭ＋１及びＣＭ−１におけるモーション成分パラメータｈ及びｖの値をそれぞれ比較すると、次のステップＳＰ２３へ移る。
【０１４７】
ステップＳＰ２３において、ＦＰ歪み補正量算出部２６は、並進速度（すなわちモーション成分パラメータｈ及びｖの値）が最も小さいカメラモーション成分ＣＭを選択すると、次のステップＳＰ２４へ移る。
【０１４８】
ステップＳＰ２４において、ＦＰ歪み補正量算出部２６は、ステップＳＰ２３において選択されたカメラモーション成分ＣＭに応じて、ＦＰ歪み補正量ＣＦｃを算出する。このときＦＰ歪み補正量算出部２６は、フォーカルプレーン歪みが当該カメラモーション成分ＣＭと対応するフレーム画像と同レベルになるよう、ＦＰ歪み補正量ＣＦｃを算出する。
【０１４９】
そして、ＦＰ歪み補正量算出部２６は、終了ステップへ移ってＦＰ歪み補正量算出処理手順ＲＴ３を終了する。
【０１５０】
［１−６．カメラワーク量の算出］
カメラワーク量算出部２７は、フィルタリング処理部２５から供給されるモーション成分パラメータθ、ｓ、ｈ及びｖに所定のタップ数のＬＰＦを適用することにより、ユーザの意図した動きであるカメラワーク量を算出する。
【０１５１】
具体的には、タップ数分の成分パラメータを取得し、例えばＦＩＲ（Finite Impulse Response Filter）に適用することにより、フィルタ後のモーション成分パラメータ（以下、これをカメラワーク成分パラメータと呼ぶ）を取得する。このカメラワーク成分パラメータは、カメラワーク量を表すものとなる。以下、カメラワーク成分パラメータをθｆ、ｓｆ、ｈｆ及びｖｆと表す。
【０１５２】
ＬＰＦにおけるタップ数は、ＬＰＦとしての特性が十分となるように設定される。ＬＰＦは、手ぶれと見なされる周波数近傍を確実にカットできるようカットオフ周波数が設定される。また、単純な移動平均フィルタを用いることも可能である。
【０１５３】
カットオフ周波数を０．５［Ｈｚ］とした場合、図２０（Ａ）に示すように、タップ数を５１７程度にすることにより、ＬＰＦとしての精度を高くすることができる。また、図２０（Ｂ）に示すように、タップ数を６０程度に落とした場合であっても、精度が低下するものの、ＬＰＦとしてある程度の性能を発揮することができる。
【０１５４】
従って、カメラワーク量算出部２７は、画像処理部１３としてのハードウェアの処理性能や出力ディレイの許容範囲など、実装時の制約に基づいて設定されることが好ましい。
【０１５５】
このように、カメラワーク量算出部２７は、カメラモーション量を表すモーション成分パラメータθ、ｓ、ｈ及びｖに対してＬＰＦ処理を施すことにより、カメラワーク量を表すカメラワーク成分パラメータθｆ、ｓｆ、ｈｆ及びｖｆを生成するようになされている。
【０１５６】
［１−７．補正ベクトルの生成］
補正ベクトル生成部２９は、手ぶれ及びフォーカルプレーン歪みを補正するために、処理フレーム画像に対して適用する補正ベクトルＶｃを生成するようになされている。
【０１５７】
便宜上、成分分離式における各成分及び行列を（１７）式のように表記すると、（１１）式に示した成分分離式を（１８）式のように表すことができる。なお変換前座標Ｘ０は、参照フレーム画像ＦＭ０に対応する座標であり、変換後座標Ｘ１は、処理フレーム画像ＦＭ０に対応する座標である。
【０１５８】
【数１７】
2010193302.tif 000019
【０１５９】
【数１８】
2010193302.tif 000020
【０１６０】
ここで、手ぶれ量をＭｓ、カメラワーク量をＭｃと表すと、（１９）式が成立する。
【０１６１】
【数１９】
2010193302.tif 000021
【０１６２】
手ぶれ量Ｍｓは、カメラモーション成分ＣＭ（Ｍ）におけるモーション成分パラメータからカメラワーク成分パラメータを減算することにより算出することができる。補正ベクトル生成部２９は、カメラワーク量算出部２７から供給されるモーション成分パラメータθ、ｓ、ｈ及びｖ並びにカメラワーク成分パラメータθｆ、ｓｆ、ｈｆ及びｖｆから、（２０）式に従って手ぶれ量Ｍｓを算出する。
【０１６３】
【数２０】
2010193302.tif 000022
【０１６４】
（１８）式に対して（１９）式を代入し、変形することにより、（２１）式のように表すことができる。
【０１６５】
【数２１】
2010193302.tif 000023
【０１６６】
さらに（２１）式を変形することにより、（２２）式を得ることができる。
【０１６７】
【数２２】
2010193302.tif 000024
【０１６８】
従って、（２２）式に示すように、変換前座標Ｘ０に対して、カメラワーク量Ｍｃのみを作用させた左辺が、変換後座標Ｘ１に対して手ぶれ量Ｍｓの逆行列及びフォーカルプレーン歪みＣＦ（Ｆ）の逆行列を作用させた右辺と等しくなることがわかる。
【０１６９】
言い換えると、変換後座標Ｘ１に対して、（２３）式に示す補正ベクトルＶｃを乗算することにより、参照フレーム画像ＦＭ０からカメラワーク量Ｍｃのみを作用させた（すなわち手ぶれ及びＦＰ歪み補正量ＣＦｃを相殺した）座標を得ることができる。
【０１７０】
【数２３】
2010193302.tif 000025
【０１７１】
従って、補正ベクトル生成部２９は、モーション成分パラメータθ、ｓ、ｈ及びｖ、カメラワーク成分パラメータθｆ、ｓｆ、ｈｆ及びｖｆ、ＦＰ歪み成分パラメータｅｃ及びｂｃが供給されると、（２０）式及び（２３）式に従って、補正ベクトルＶｃを生成し、動き補償部３０に供給する。
【０１７２】
この結果、動き補償部３０によって補正ベクトルＶｃが適用されることにより、処理フレーム画像ＦＭ１における手ぶれ及びフォーカルプレーン歪みが補正されるようになされている。
【０１７３】
このように、補正ベクトル生成部２９は、手ぶれ及びフォーカルプレーン歪みが補正されたことにより、参照フレーム画像ＦＭ０と比して、カメラワーク量Ｍｃのみを作用させた状態でなる処理フレーム画像ＦＭ１を生成し得るようになされている。
【０１７４】
次に、画像処理プログラムに従って実行される補正ベクトル生成処理手順ＲＴ４について、図２１のフローチャートを用いて説明する。
【０１７５】
補正ベクトル生成部２９は、カメラモーション成分ＣＭ、カメラワーク成分ＣＭｃ、及びＦＰ歪み補正量ＣＦｃが供給されると、補正ベクトル生成処理手順ＲＴ４を開始し、ステップＳＰ３１へ移る。
【０１７６】
ステップＳＰ３１において、補正ベクトル生成部２９は、カメラモーション成分ＣＭ及びカメラワーク成分ＣＭｃに基づいて、（２０）式に従って手ぶれ量Ｍｓを算出すると、次のステップＳＰ３２へ移る。
【０１７７】
ステップＳＰ３２において、補正ベクトル生成部２９は、（２３）式に手ぶれ量Ｍｓの逆行列（Ｍｓ−１）及びＦＰ歪み補正量ＣＦｃの逆行列（Ｆ−１）を代入すると、次のステップＳＰ３３へ移る。
【０１７８】
ステップＳＰ３３において、補正ベクトル生成部２９は、（２３）式に従って補正ベクトルＶｃを生成すると、終了ステップへ移って補正ベクトル生成処理手順ＲＴ４を終了する。
【０１７９】
なお、上述した一連の画像処理は、ハードウェアにより実行させることもでき、また、ソフトウェアにより実行させることも可能である。画像処理をソフトウェアによって実現する場合、ＣＰＵ及びＲＡＭに仮想的に画像処理部１３が形成される。そして、ＲＯＭに格納された画像処理プログラムをＲＡＭに展開することにより、画像処理が実行される。
【０１８０】
［１−８．動作及び効果］
以上の構成において、画像処理端末１０の画像処理部１３は、フレーム画像からなるフレーム画像データから、フレーム画像全体の動きを表す動きベクトルであるグローバル動きベクトルＧＭＶを検出する。画像処理部１３は、カメラの動きであるカメラモーション及びフォーカルプレーン歪みの変化量をそれぞれ表す未知の成分パラメータθ、ｓ、ｈ、ｖ、ｅ及びｂを用いることにより、検出されたグローバル動きベクトルＧＭＶを成分分離式（（１１）式）にモデル化する。この結果、成分分離式では、カメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦを分離して表すことができる。
【０１８１】
画像処理部１３は、成分分離式において用いられた成分パラメータθ、ｓ、ｈ、ｖ、ｅ及びｂを算出することにより、グローバル動きベクトルＧＭＶにおけるカメラモーション成分ＣＭを算出する。
【０１８２】
これにより、画像処理部１３は、グローバル動きベクトルＧＭＶがカメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦのみで構成されていると擬制することができる。このため、画像処理部１３は、簡易な処理によりグローバル動きベクトルＧＭＶにおけるカメラモーション成分ＣＭを算出することができる。
【０１８３】
画像処理部１３は、カメラモーション成分ＣＭに基づいて、フレーム画像ＦＭにおける手ぶれを補正する。これにより、画像処理部１３は、フォーカルプレーン歪み成分ＣＭが取り除かれたカメラモーション成分ＣＭに基づいて、カメラモーション成分ＣＭからユーザの意図した動きを除いたぶれである手ぶれを補正できるため、手ぶれ補正の精度を向上させることができる。
【０１８４】
画像処理部１３は、カメラモーション成分ＣＭを、縦方向及び横方向への並進速度を表す並進要素ＥＭａ、拡縮方向への拡縮速度を表す拡縮要素ＥＭｃ及び１方向への角度変化を表す回転要素として表す。
【０１８５】
これにより、画像処理部１３は、カメラモーション成分ＣＭを、平行移動及び１方向の角度変化を含有するアフィン変換式として表すことができるため、成分分離式の取り扱い及び成分パラメータの算出を簡易にし得る。
【０１８６】
画像処理部１３は、グローバル動きベクトルＧＭＶを、並進要素ＥＭａ、拡縮要素ＥＭｃ及び１方向の回転要素ＥＭｂからなるアフィン変換式として表す。
【０１８７】
画像編集などの一般的な画像処理においては、グローバル動きベクトルＧＭＶをアフィン変換式として取り扱うことが多い。このため、画像処理部１３は、一般的な画像処理と同様にグローバル動きベクトルＧＭＶを取り扱うことができるため、処理を効率化することができる。
【０１８８】
画像処理部１３は、カメラモーション成分ＣＭに基づいて、ユーザの意図したカメラの動きであるカメラワーク成分ＣＭｃを算出し、カメラモーション成分ＣＭからカメラワーク成分ＣＦｃを減算することにより、手ぶれの量である手ぶれ量Ｍｓを算出する。
【０１８９】
画像処理部１３は、算出された手ぶれ量Ｍｓに基づいて、グローバル動きベクトルＧＭＶにおける手ぶれを補正する補正ベクトルＶｃを生成する。画像処理部１３は、グローバル動きベクトルＧＭＶに対し、生成された補正ベクトルＶｃを適用する。
【０１９０】
これにより、画像処理部１３は、処理フレーム画像ＦＭ１における手ぶれを、算出された手ぶれ量Ｍｓだけ補正することができ、処理フレーム画像ＦＭ１における手ぶれを低減することができる。
【０１９１】
画像処理部１３は、カメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦを行列式として表す。これにより、画像処理部１３は、カメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦのモデル化を容易にすることができる。
【０１９２】
画像処理部１３は、手ぶれ量Ｍｓの逆行列Ｍｓ−１を含む行列式を補正ベクトルＶｃとして生成する。これにより、画像処理部１３は、処理フレーム画像に対する補正ベクトルＶｃの適用により、手ぶれ量Ｍｓに対応する手ぶれを処理フレーム画像から相殺することができる。
【０１９３】
画像処理部１３は、算出されたフォーカルプレーン歪み成分ＣＦに基づいて、フレーム画像を補正するフォーカルプレーン歪み補正量としてのＦＰ歪み補正量ＣＦｃを算出し、ＦＰ歪み補正量ＣＦｃの逆行列Ｆ−１を含む行列式を補正ベクトルＶｃとして生成する。
【０１９４】
これにより、画像処理部１３は、処理フレーム画像に対する補正ベクトルＶｃの適用により、ＦＰ歪み補正量ＣＦｃに対応するフォーカルプレーン歪みを処理フレーム画像から相殺することができる。
【０１９５】
画像処理部１３は、回転要素ＥＭｂの前に、原点を中心に移動させる原点補正行列ＭＣ１を乗算し、回転要素ＥＭｂの後に原点を中心に移動させる前の位置に戻す原点補正逆行列ＭＣ２を乗算する。
【０１９６】
これにより、画像処理部１３は、原点がフレーム画像の中心以外の位置にある場合であっても、フレーム画像の中心を原点として当該フレーム画像を適切に回転させることができる。
【０１９７】
画像処理部１３は、回転要素ＥＭｂの前に、画素のアスペクト比を１：１に変更するアスペクト比補正行列ＭＰ１を乗算し、回転要素ＥＭｂの後に、画素を基のアスペクト比に戻すアスペクト比補正逆行列ＭＰ２を乗算する。
【０１９８】
これにより、画像処理部１３は、画素のアスペクト比を１：１として扱うことができるため、画素のアスペクト比が１：１でない場合であっても、当該フレーム画像を適切に回転させることができる。
【０１９９】
画像処理部１３は、補正ベクトルをＶｃ、原点補正行列をＣ、アスペクト比補正行列Ｐ、手ぶれの量の逆行列をＭｓ−１、フォーカルプレーン歪み補正量の逆行列をＦ−１、原点補正逆行列をＣ−１、アスペクト比補正逆行列をＰ−１としたとき、（２３）式に従って補正ベクトルを生成する。
【０２００】
これにより、画像処理部１３は、回転に係わる回転中心や画素のアスペクト比の問題を除去した上で、手ぶれ量Ｍｓ及びＦＰ歪み補正量ＣＦｃを補正し得る補正ベクトルＶｃを生成することができる。
【０２０１】
画像処理部１３は、グローバル動きベクトルＧＭＶの信頼度を表す信頼度情報を生成し、生成された信頼性情報に基づいて、グローバル動きベクトルＧＭＶの信頼度が高いカメラモーション成分ＣＭのみを用いてカメラワーク成分ＣＭｃを算出する。
【０２０２】
これにより、画像処理部１３は、信頼度が低く誤差が大きい可能性が高いカメラモーション成分ＣＭを使用しなくて済むため、カメラワーク成分ＣＭｃの検出精度を向上させることができる。
【０２０３】
画像処理部１３は、ＬＰＦ処理により、カメラモーション成分ＣＭからカメラワーク成分ＣＭｃを生成する。これにより、画像処理部１３は、簡易な処理でカメラワーク成分ＣＭｃを生成し得る。
【０２０４】
フレーム画像データは、１方向の角度変化を表す回転要素ＥＭｂと相違する２方向の角度変化を表す回転要素に対する手ぶれが予め補正されている。これにより、画像処理部１３は、角度変化の抑制された２方向の値が非常に小さいと擬制することができるため、カメラモーション成分ＣＭを高い精度で算出することができる。
【０２０５】
画像処理部１３は、ヨー方向及びピッチ方向の角度変化を表す回転要素に対する手ぶれが予め補正されている。これにより、画像処理部１３は、角度変化として成分分離式に表現できないヨー方向及びピッチ方向の角度変化を並進速度として表すことができ、カメラモーション成分ＣＭにおける誤差を小さくすることができる。
【０２０６】
画像処理部１３は、成分パラメータをｅ及びｂとするとき、フォーカルプレーン成分ＣＦを（１）式のようにモデル化する。これにより、画像処理部１３は、縦方向の拡縮と平行四辺形状の歪みとして表われるフォーカルプレーン歪みを適切にモデル化することができる。
【０２０７】
画像処理部１３は、成分パラメータをθ、ｈ、ｖ及びｓとするとき、カメラモーション成分ＣＭを、（３）式のようにモデル化する。これにより、画像処理部１３は、カメラモーション成分ＣＭを、ロール方向の回転と、縦方向及び横方向の並進速度と、拡縮速度として、適切にモデル化することができる。
【０２０８】
画像処理部１３は、動きベクトルを、（１１）式のようにモデル化する。これにより、画像処理部１３は、グローバル動きベクトルＧＭＶを、回転に係わる回転中心や画素のアスペクト比の問題を除去した上で、１方向の回転のみを含むアフィン変換式として、カメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦを適切に分離してモデル化することができる。
【０２０９】
以上の構成によれば、画像処理部１３は、グローバル動きベクトルＧＭＶがカメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦからほぼ構成されると仮定して、未知の成分パラメータを用いて成分分離式にモデル化する。画像処理部１３は、成分パラメータを算出することにより、カメラモーション成分ＣＭを算出するようにした。
【０２１０】
これにより、画像処理部１３は、簡易な成分分離式により、簡易な処理でカメラモーション成分ＣＭを算出することができる。
【０２１１】
＜２．第２の実施の形態＞
図２２〜図２６に示す第２の実施の形態においては、図１〜図２１に示す第１の実施の形態と対応する箇所に同一符号を附して示し、同一部分についての説明を省略する。第２の実施の形態では、図２２に示すように、画像処理部１３に対応する画像処理部１１３が台形歪み推定部１２８を有する点が第１の実施の形態と異なっている。また、第２の実施の形態では、動き検出処理、ＦＰ歪み補正量算出処理及び補正ベクトル生成処理の内容が第１の実施の形態と異なっている。
【０２１２】
［２−１．動き検出処理］
動き検出部２２に対応する動き検出部１２２は、第１の実施の形態と同様にして、ローカル動きベクトルＬＭＶ及び当該ローカル動きベクトルＬＭＶの信頼度指標を生成する。
【０２１３】
動き検出部１２２は、信頼度指標が採用閾値以上である場合には、グローバル動きベクトルＧＭＶの生成にローカル動きベクトルＬＭＶを使用する。一方、動き検出部１２２は、信頼度指標が採用閾値未満である場合には、グローバル動きベクトルＧＭＶの生成にローカル動きベクトルＬＭＶを使用しない。
【０２１４】
これにより、動き検出部１２２は、信頼性の高いローカル動きベクトルＬＭＶのみを用いてグローバル動きベクトルＧＭＶを生成できるため、グローバル動きベクトルＧＭＶの精度を向上することができる。
【０２１５】
動き検出部１２２は、全てのローカル動きベクトルＬＭＶの数（すなわちフレーム画像におけるブロック数）に対する使用したローカル動きベクトルＬＭＶの割合を信頼度情報とする。
【０２１６】
フィルタリング処理部１２５は、信頼度情報がフィルタリング閾値以上であるか否かにより、第１の実施の形態と同様にしてカメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦをフィルタリングするようになされている。
【０２１７】
［２−２．ＦＰ歪み補正量算出処理］
ＦＰ歪み補正量算出部２６に対応するＦＰ歪み補正量算出部１２６は、ＦＰ歪み累積値をＦＰ歪み補正量ＣＦｃとする。ＦＰ歪み補正量算出部１２６は、図１６を用いて上述したＦＰ歪み累積値の発散を防止するため、フォーカルプレーン歪み成分ＣＦの信頼性を評価すると共に、並進速度が低い場合に、ＦＰ歪み累積値をリセットするようになされている。
【０２１８】
上述したように、フォーカルプレーン歪み成分ＣＦと並進速度との間には、相関関係（法則）がある。ＦＰ歪み補正量算出部１２６は、供給されるカメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦを比較し、フォーカルプレーン歪み成分ＣＦと並進速度との間の法則が成立するか否かにより、フォーカルプレーン歪み成分ＣＦの信頼性を評価する。
【０２１９】
ＦＰ歪み補正量算出部１２６は、ＦＰ歪み成分パラメータｅとモーション成分パラメータｖとの関係、及びＦＰ歪み成分パラメータｂとモーション成分パラメータｈとの関係が法則に合致するか否かをそれぞれ判別する。
【０２２０】
ＦＰ歪み補正量算出部１２６は、例えば、各ＦＰ歪み成分パラメータ及びモーション成分パラメータの関係が法則に合致する範囲を表す関係情報を有している。ＦＰ歪み補正量算出部１２６は、法則を表す関係式やテーブルとして関係情報を予め記憶している。ＦＰ歪み補正量算出部１２６は、各ＦＰ歪み成分パラメータ及びモーション成分パラメータの関係が関係情報に当て嵌まるか否かにより、法則に合致するか否かを判別する。
【０２２１】
ＦＰ歪み補正量算出部１２６は、ＦＰ歪み成分パラメータ及びモーション成分パラメータの関係が法則に合致しない場合には、ＦＰ歪み成分パラメータの信頼性が低いため、当該ＦＰ歪み成分パラメータの影響を低減する。
【０２２２】
ＦＰ歪み補正量算出部１２６は、例えば、フォーカルプレーン歪み成分ＣＦに対し、１未満でなる係数を乗算することにより、法則に合致しないフォーカルプレーン歪み成分ＣＦのＦＰ歪み累積値に対する影響を低減する。また、ＦＰ歪み補正量算出部１２６は、例えば、フォーカルプレーン歪み成分ＣＦを単位行列にすることにより、法則に合致しないフォーカルプレーン歪み成分ＣＦのＦＰ歪み累積値に対する影響を完全に消滅させても良い。
【０２２３】
これにより、ＦＰ歪み補正量算出部１２６は、信頼性の高いフォーカルプレーン歪み成分ＣＦを中心にＦＰ歪み累積値を算出できるため、ＦＰ歪み累積値における誤差を低減させ、当該ＦＰ歪み累積値が発散するのを防止し得るようになされている。
【０２２４】
また、ＦＰ歪み補正量算出部１２６は、モーション成分パラメータｈ及びｖが所定のリセット閾値未満である場合には、フォーカルプレーン歪みが全く又は殆ど発生していないため、ＦＰ歪み累積値を「０」にリセットする。上述したように、フォーカルプレーン歪み成分ＣＦは、５フレーム程度で増減を繰り返し、その正負符号が逆転する。
【０２２５】
ＦＰ歪み補正量算出部１２６は、モーション成分パラメータｈ及びｖの正負符号が変わるごとに、ほぼ定期的にＦＰ歪み累積値をリセットでき、当該ＦＰ歪み累積値が発散するのを防止し得るようになされている。
【０２２６】
このように、ＦＰ歪み補正量算出部１２６は、信頼性の高いＦＰ歪み成分パラメータｅ及びｂのみを用いてＦＰ歪み累積値を算出できるため、当該ＦＰ歪み累積値における誤差を低減することができ、当該ＦＰ歪み累積値をＦＰ歪み補正量ＣＦｃとして使用できる。この結果、ＦＰ歪み補正量算出部１２６は、フレーム画像におけるフォーカルプレーン歪みの殆どを適切に補正させ得る。
【０２２７】
また、ＦＰ歪み補正量算出部１２６は、並進速度がほぼ「０」になったことを検出し、ＦＰ歪み累積値をリセットする。これにより、ＦＰ歪み補正量算出部１２６は、ＦＰ歪み累積値の発散を適切に防止できるため、ＦＰ歪み累積値をＦＰ歪み補正量ＣＦｃとして使用できる。
【０２２８】
次に、画像処理プログラムに従って実行されるＦＰ歪み補正量算出処理手順ＲＴ１０について、図２３のフローチャートを用いて説明する。
【０２２９】
ＦＰ歪み補正量算出部１２６は、カメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦが供給されると、ＦＰ歪み補正量算出処理手順ＲＴ１０を開始し、ステップＳＰ１０１へ移る。
【０２３０】
ステップＳＰ１０１において、ＦＰ歪み補正量算出部１２６は、フォーカルプレーン歪み成分ＣＦ及びカメラモーション成分ＣＭの並進速度との関係が法則（相関関係）に則しているか否かについて判別する。
【０２３１】
ここで否定結果が得られた場合、ＦＰ歪み補正量算出部１２６は、フォーカルプレーン歪み成分ＣＦが信頼できないため、次のステップＳＰ１０２へ移る。
【０２３２】
ステップＳＰ１０２において、ＦＰ歪み補正量算出部１２６は、フォーカルプレーン歪み成分ＣＦの影響を低減又は消滅させると、次のステップＳＰ１０６へ移る。
【０２３３】
これに対してステップＳＰ１０１において肯定結果が得られた場合、このことはフォーカルプレーン歪み成分ＣＦが信頼できることを表している。このときＦＰ歪み補正量算出部１２６は、次のステップＳＰ１０４へ移る。
【０２３４】
ステップＳＰ１０４において、ＦＰ歪み補正量算出部１２６は、カメラモーション成分ＣＭにおける並進速度がリセット閾値未満であるか否かについて判別する。
【０２３５】
ここで肯定結果が得られた場合、このことはフォーカルプレーン歪みが「０」又はほぼ「０」であることを表している。このときＦＰ歪み補正量算出部１２６は、次のステップＳＰ１０５へ移り、ＦＰ歪み累積値をリセットすると、終了ステップへ移ってＦＰ歪み補正量算出処理手順ＲＴ１０を終了する。
【０２３６】
これに対してステップＳＰ１０４において否定結果が得られた場合、フォーカルプレーン歪みが発生しているため、次のステップＳＰ１０６へ移る。
【０２３７】
ステップＳＰ１０６において、ＦＰ歪み補正量算出部１２６は、ＦＰ歪み累積値を算出すると、次のステップＳＰ１０７へ移る。このときＦＰ歪み補正量算出部１２６は、１つ前の処理フレーム画像において算出されたＦＰ歪み累積値に対し、フォーカルプレーン歪み成分ＣＦ又は影響の低減されたフォーカルプレーン歪み成分を加算する。
【０２３８】
ステップＳＰ１０７において、ＦＰ歪み補正量算出部１２６は、ステップＳＰ１０６において算出されたＦＰ歪み累積値をＦＰ歪み補正量ＣＦｃとすると、終了ステップへ移ってＦＰ歪み補正量算出処理手順ＲＴ１０を終了する。
【０２３９】
なお、ＦＰ歪み補正量算出部１２６は、並進速度ｈ及びｖのそれぞれに対して、ＦＰ歪み補正量算出処理を実行し、ＦＰ歪み成分パラメータえ及びｂにそれぞれ対応するＦＰ歪み累積値をそれぞれＦＰ歪み補正量ＣＦｃとする。
【０２４０】
［２−３．台形歪みの除去］
上述したように、カムコーダ１における手ぶれ補正機能により、ヨー方向及びピッチ方向における被写体とレンズユニット３との角度変化が抑制されている。しかしながら、カムコーダ１は、この角度変化を完全に相殺しているわけではなく、また垂直方向及び水平方向の手ぶれもレンズユニット３のヨー方向及びピッチ方向の駆動によって相殺している。
【０２４１】
このため、フレーム画像データは、ヨー方向及びピッチ方向の角度変化を含有している。この角度変化は、フレーム画像において台形歪みとして表われてしまう。
【０２４２】
そこで本実施の形態による画像処理部１１３は、グローバル動きベクトルＧＭＶにおける並進速度からヨー方向及びピッチ方向の角度変化を推定し、当該角度変化に基づいて台形歪み量Ａを算出する。画像処理部１１３は、処理フレーム画像に対して台形歪み量Ａを相殺することにより、フレーム画像データから台形歪みの影響を除去するようになされている。
【０２４３】
［２−３−１．台形歪み推定処理］
（１１）式に示すように、成分分離式は、ヨー方向及びピッチ方向の成分を有していない。このためヨー方向及びピッチ方向の角度変化は、横方向及び縦方向の並進速度（すなわちモーション成分パラメータｈ及びｖ）として表われることになる。このため並進速度とヨー方向及びピッチ方向の角度変化とは、相関関係を有している。
【０２４４】
そこで、画像処理部１１３の台形歪み推定部１２８は、モーション成分パラメータｈ及びｖに基づいて、ヨー方向及びピッチ方向の角度変化を推定し、当該角度変化に起因する台形歪み量を算出する台形歪み推定処理を実行する。
【０２４５】
ここで、ヨー方向及びピッチ方向のみに起因する台形歪み量Ａは、角度パラメータω及びφ及び（２）式に示した射影変換式を用いることにより、（２４）式のようにモデル化することができる。この（２４）式において、（２）式におけるｃ１に該当する−ｃｏｓωｓｉｎφがヨー方向の角度変化を、Ｃ２に該当するｓｉｎφがピッチ方向の角度変化を表している。
【０２４６】
【数２４】
2010193302.tif 000026
【０２４７】
ここで、台形歪みは、手ぶれに応じてのみではなく、カメラワークに応じても生じる現象である。補正すべき台形歪みは、手ぶれのみに応じた台形歪み量Ａである。そこで、台形歪み推定部１２８は、手ぶれに起因して生じる並進速度（以下、これを手ぶれ並進速度と呼ぶ）から、手ぶれに応じた角度変化を推定する。
【０２４８】
台形歪み推定部１２８は、横方向及び縦方向の並進速度のうち、手ぶれ並進速度ｈ−ｈｆ及びｖ−ｖｆを算出する。台形歪み推定部１２８は、手ぶれ並進速度ｈ−ｈｆ及びｖ−ｖｆに対し、指定係数ｍ及びｎ、並びに固定係数ｐ及びｑを乗算することにより、（２５）式に従って手ぶれに応じた角度変化ｙａｗ及びｐｉｔｃｈを推定する。
【０２４９】
【数２５】
2010193302.tif 000027
【０２５０】
なお、指定係数ｍ及びｎは、外部によって指定されるパラメータであり、台形歪み推定処理では、初期値として「１」が設定されている。固定係数ｐ及びｑは、手ぶれによる角度変化と手ぶれ並進速度との相関関係に基づいて統計的に、又は理論的に求められた係数である。
【０２５１】
台形歪み推定部１２８は、（２５）式において得られた値を用いることにより、（２６）式に従って、角度パラメータω及びφを算出する。
【０２５２】
【数２６】
2010193302.tif 000028
【０２５３】
ただし、角度パラメータω及びφの値が誤っていると、フレーム画像が破綻する。このため、図２４に示すように、台形歪み推定部１２８は、角度パラメータω及びφの値が妥当な角度範囲内（−Ａｇ°〜＋Ａｇ°）であるか否かを判別する。
【０２５４】
台形歪み推定部１２８は、角度パラメータω及びφの値が妥当な角度範囲内にある場合には、角度パラメータω及びφをそのまま使用する。一方、台形歪み推定部１２８は、角度パラメータω及びφの値が妥当な角度範囲内にない場合には、角度パラメータω及びφの値を「０」とみなすようにする。
【０２５５】
台形歪み推定部１２８は、算出した角度パラメータω及びφの値を（２４）式に代入することにより、台形歪み量Ａを行列として算出する。台形歪み推定部１２８は、台形歪み量Ａを補正ベクトル生成部１２９へ供給する。
【０２５６】
このように、台形歪み推定部１２８は、モーション成分パラメータｈ及びｖに基づいて台形歪み量Ａを推定するようになされている。
【０２５７】
次に、画像処理プログラムに従って実行される台形歪み推定処理手順ＲＴ１１について、図２４のフローチャートを用いて説明する。
【０２５８】
台形歪み推定部１２８は、モーション成分パラメータｖ及びｈが供給されると、台形歪み推定処理手順ＲＴ１１を開始し、ステップＳＰ１１１へ移る。
【０２５９】
ステップＳＰ１１１において、台形歪み推定部１２８は、台形歪み量Ａを（２４）式のように射影変換によってモデル化すると、次のステップＳＰ１１２へ移る。
【０２６０】
ステップＳＰ１１２において、台形歪み推定部１２８は、角度パラメータω及びφを算出すると、次のステップＳＰ１１３へ移る。
【０２６１】
ステップＳＰ１１３において、台形歪み推定部１２８は、角度パラメータω及びφが妥当な角度範囲内であるか否かを判別する。ここで肯定結果が得られると、台形歪み推定部１２８は、次のステップＳＰ１１４へ移る。
【０２６２】
これに対してステップＳＰ１１３において否定結果が得られると、角度パラメータω及びφが誤っている可能性が高いため、台形歪み推定部１２８は、次のステップＳＰ１１５へ移る。
【０２６３】
ステップＳＰ１１５において、台形歪み推定部１２８は、角度パラメータω及びφの値を「０」に置き換え、次のステップＳＰ１１４へ移る。
【０２６４】
ステップＳＰ１１４において、台形歪み推定部１２８は、（２４）式に角度パラメータω及びφの値を代入すると、終了ステップへ移って台形歪み推定処理手順ＲＴ１１を終了する。
【０２６５】
［２−３−２．補正ベクトル生成処理］
上述したように、第１の実施の形態において、補正ベクトル生成部２９は、（１１）式によって表される成分分離式に基づいて、補正ベクトルＶｃを生成した。これに対して、本実施の形態における補正ベクトル生成部１２９は、（２７）式に示すように、台形歪み量Ａを含む成分分離式に基づいて、補正ベクトルＶｃを生成する。
【０２６６】
【数２７】
2010193302.tif 000029
【０２６７】
すなわち、（１７）式〜（２３）式と同様にして、（２７）式を表し、変形すると、補正ベクトルＶｃを、（２８）式のように表すことができる。なおＡ−１は、台形歪み量Ａの逆行列を表している。
【０２６８】
【数２８】
2010193302.tif 000030
【０２６９】
補正ベクトル生成部１２９には、モーション成分パラメータθ、ｓ、ｈ及びｖ、カメラワーク成分パラメータθｆ、ｓｆ、ｈｆ及びｖｆ、ＦＰ歪み成分パラメータｅｃ及びｂｃ、並びに台形歪み量Ａが供給される。補正ベクトル生成部１２９は、（２０）式及び（２８）式に従って、補正ベクトルＶｃを算出するようになされている。
【０２７０】
このように、補正ベクトル生成部１２９は、台形歪み量Ａを用いることにより、フレーム画像における手ぶれ及びフォーカルプレーン歪みに加えて、台形歪みをも補正し得る補正ベクトルＶｃを生成する。
【０２７１】
この結果、動き補償部３０では、グローバル動きベクトルＧＭＶに対して補正ベクトルＶｃを乗算することにより、フレーム画像における手ぶれ及びフォーカルプレーン歪みに加えて、台形歪みをも補正し得るようになされている。
【０２７２】
言い換えると、画像処理部１１３は、ロール方向だけでなく、ヨー方向及びピッチ方向についての角度変化に起因する台形歪みを補正することができる。このため画像処理部１１３は、アフィン変換を用いた画像処理を実行しているにも拘らず、（２７）式に示したように、あたかも射影変換を用いて画像処理を実行したような効果を奏することができる。
【０２７３】
［２−４．台形歪みの追加修正］
ところで、台形歪み量Ａは、ヨー方向及びピッチ方向の角度変化だけでなく、被写体とカムコーダ１との距離に応じても変化する値である。
【０２７４】
従って、図２６（Ａ）に示すように、フレーム画像ＦＭ内にカムコーダ１との距離が相違する複数の被写体ＳＢ１〜ＳＢ３が存在した場合、当該被写体ＳＢ１〜ＳＢ３に対し、台形歪み量Ａがそれぞれ相違することになる。
【０２７５】
そこで画像処理部１１３では、台形歪みを補正したフレーム画像ＦＭをモニタ部１１（図１）に表示し、ユーザの要望に応じて台形歪みを追加修正するようになされている。
【０２７６】
画像処理部１１３は、操作部１２（図１）を介してユーザから台形歪みの追加修正処理を実行する旨の要求がなされると、図２６（Ｂ）に示すように、モニタ部１１に追加修正画面１５１を表示させる。
【０２７７】
追加修正画面１５１には、左上にフレーム画像データに対応するフレーム画像ＦＭが表示されると共に、当該フレーム画像データを巻戻再生、早送再生及び通常再生させるための巻戻しボタン１５２、早送りボタン１５３、再生ボタン１５４が表示されている。
【０２７８】
例えば操作部１２としてのマウスの移動により、カーソルＣＳを再生ボタン１５４上に重ね、再生ボタン１５４をフォーカスオンさせた状態で、ユーザの操作によって当該マウスがクリックされることにより、再生ボタン１５４が選択される。他のボタンについても、同様の操作により選択される。このとき画像処理部１１３は、フレーム画像データを再生することにより、フレーム画像ＦＭをモニタ部１１に順次表示させる。
【０２７９】
フレーム画像ＦＭの下部には、台形歪み縮小ボタン１５６、台形歪み拡大ボタン１５７及び台形歪みインディケータ１５８が表示されている。画像処理部１１３は、台形歪み縮小ボタン１５６が選択されると、台形歪み量Ａを小さく設定する。
【０２８０】
すなわち画像処理部１１３は、台形歪み縮小ボタン１５６が選択されると、台形歪み量Ａを小さく設定する旨の要求信号を台形歪み推定部１２８に供給する。台形歪み推定部１２８は、（２５）式における指定係数ｍ及びｎの値に対し、例えば「０．８」を乗算することにより、指定係数ｍ及びｎの値を小さく設定した状態で、台形歪み量Ａを計算する。この結果、補正ベクトル生成部１２９には、手ぶれ並進速度に対して相対的に小さい値でなる台形歪み量Ａが供給される。
【０２８１】
補正ベクトル生成部１２９は、相対的に小さい値でなる台形歪み量Ａだけ台形歪みを補正するよう補正ベクトルＶｃを生成し、これを動き補償部３０に供給する。動き補償部３０は、補正ベクトルＶｃに基づいてフレーム画像データの動き補償処理を実行することにより、手ぶれ並進速度に対して相対的に小さい値で台形歪みを補正し、補正されたフレーム画像データをモニタ部１１に表示させる。
【０２８２】
また、画像処理部１１３は、台形歪み拡大ボタン１５７が選択されると、同様にして、台形歪み量Ａを大きく設定する。この場合、台形歪み推定部１２８は、（２５）式における指定係数ｍ及びｎの値に対し、例えば「１．２」を乗算する。
【０２８３】
すなわち、画像処理部１１３は、台形歪み量Ａをユーザに自由に設定させ得るようになされている。これにより、画像処理部１１３は、ユーザの選択に応じて、例えば被写体ＳＢ１〜ＳＢ３のいずれかの被写体ＳＢに生じる台形歪みにフォーカスして当該台形歪みを相殺したり、フレーム画像ＦＭの全体的な台形歪みを平均的に相殺することができる。言い換えると、画像処理部１１３は、台形歪みの補正の程度をユーザに自由に選択させ得るようになされている。
【０２８４】
台形歪みインディケータ１５８には、台形歪み量Ａが初期値からどの程度拡大又は縮小されたかが棒グラフとして表示される。これにより、画像処理部１１３は、ユーザに現在の台形歪みの追加修正量を視認させ得る。
【０２８５】
また、画像処理部１１３は、追加修正画面１５１の右下に台形歪み指定欄１５９を表示させる。画像処理部１１３は、当該台形歪み指定欄１５９にカーソルＣＳを重ねた状態で、操作部１２を介してユーザに数字を入力させることにより、指定係数ｍ及びｎの値をユーザに指定させ得るようになされている。
【０２８６】
このように、画像処理部１１３は、被写体とカムコーダ１との距離に応じて変化するため確実な推定が困難な台形歪み量Ａをユーザに自由に選択させ得る。これにより、画像処理部１１３は、フレーム画像ＦＭにおける台形歪みを適切に調整してユーザの好みに応じたフレーム画像データを生成し得るようになされている。
【０２８７】
次に、画像処理プログラムに従って実行される台形歪み追加修正処理手順ＲＴ１２について、図２７のフローチャートを用いて説明する。
【０２８８】
操作部１２を介したユーザの操作入力に応じて、ユーザから台形歪みの追加修正処理を実行する旨の要求がなされると、画像処理部１１３は、台形歪み追加修正処理手順ＲＴ１２を開始し、ステップＳＰ１２１へ移る。
【０２８９】
ステップＳＰ１２１において、画像処理部１１３は、追加修正画面１５１をモニタ部１１に表示させると、次のステップＳＰ１２２へ移る。
【０２９０】
ステップＳＰ１２２において、画像処理部１１３は、ユーザの操作入力に応じて指定係数ｍ及びｎを変更すると、次のステップＳＰ１２３へ移る。
【０２９１】
ステップＳＰ１２３において、画像処理部１１３は、現在、フレーム画像データを再生しているか、又はユーザからの再生指示がなされたか否かを判別し、否定結果が得られると、ステップＳＰ１２３においてユーザからの再生指示を待ち受ける。
【０２９２】
これに対してステップＳＰ１２３において肯定結果が得られると、画像処理部１１３は、次のステップＳＰ１２４へ移り、台形歪み補正量算出処理手順ＲＴ１１（図２５）に従って台形歪み補正量算出処理を実行し、次のステップＳＰ１２５へ移る。
【０２９３】
ステップＳＰ１２５において、画像処理部１１３は、補正ベクトル生成処理手順ＲＴ１０に従って補正ベクトル生成処理を実行し、次のステップＳＰ１２６へ移る。
【０２９４】
ステップＳＰ１２６において、画像処理部１１３は、動き補償処理を実行する。この結果、モニタ部１１には、台形歪み量Ａが修正されたフレーム画像ＦＭが表示される。画像処理部１１３は、終了ステップへ移って台形歪み追加修正処理手順ＲＴ１２を終了する。
【０２９５】
［２−５．動作及び効果］
以上の構成において、画像処理部１１３は、図２８に示すように、フレーム画像からなるフレーム画像データから、フレーム画像全体の動きを表すグローバル動きベクトルＧＭＶを並進速度として検出する（ステップＳＰ１３１）。画像処理部１１３は、グローバル動きベクトルＧＭＶの並進速度から、手ぶれに応じた手ぶれ並進速度を算出する（ステップＳＰ１３２）。画像処理部１１３は、並進速度及び角度変化の相関関係を利用して、検出されたグローバル動きベクトルＧＭＶから角度変化を推定する（ステップＳＰ１３３）。
【０２９６】
これにより、画像処理部１１３は、ハード的なセンサを用いて角度変化を検出することができないポスト処理において、簡易な処理により、角度変化を算出することができる。
【０２９７】
画像処理部１１３は、推定された角度変化に基づく射影変換式（（２４）式）により、角度変化に伴ってフレーム画像に発生する台形歪みの量である台形歪み量を算出する。これにより、画像処理部１１３は、簡易な処理で台形歪み量を算出することができる。
【０２９８】
画像処理部１１３は、グローバル動きベクトルＧＭＶにおける手ぶれに応じた並進速度である手ぶれ並進速度から、手ぶれに応じた角度変化を推定し、手ぶれに応じた台形歪み量Ａを算出する。
【０２９９】
これにより、画像処理部１１３は、台形歪みのうち、手ぶれに応じて発生し、補正することが好ましい台形歪み量Ａを算出することができる。
【０３００】
画像処理部１１３は、算出された手ぶれに応じた台形歪み量Ａに基づいて、グローバル動きベクトルＧＭＶを補正する。これにより、画像処理部１１３は、フレーム画像が有する手ぶれに応じた台形歪みを低減できるため、フレーム画像データの品質を向上させ得る。
【０３０１】
画像処理部１１３は、グローバル動きベクトルＧＭＶを、並進速度、拡縮速度及び１方向の角度変化からなるアフィン変換式として検出し、当該１方向とは異なる２方向の角度変化を推定する。
【０３０２】
すなわち、画像処理部１１３は、グローバル動きベクトルＧＭＶを１方向の回転しか表さないアフィン変換式として処理して処理負荷を軽減すると共に、アフィン変換式でなし得ないヨー方向及びピッチ方向に起因する台形歪み補正を後付的に実行する。この結果、画像処理部１１３は、ロール方向、ヨー方向及びピッチ方向の３方向に対して台形歪みを補正することができる。このため、画像処理部１１３は、アフィン変換式としてグローバル動きベクトルＧＭＶを処理しつつ、（２７）式に示したような射影変換式を用いてグローバル動きベクトルＧＭＶをモデル化した場合と同様の効果を奏することができる。
【０３０３】
画像処理部１１３は、ヨー方向及びピッチ方向の角度変化を推定する。これにより、画像処理部１１３は、並進速度ｈ及びｖを用いて当該並進速度ｈ及びｖと相関関係のあるヨー方向及びピッチ方向の角度変化ｙａｗ及びｐｉｔｃｈを推定することができる。
【０３０４】
画像処理部１３は、ヨー方向及びピッチ方向の手ぶれに応じた角度変化に起因する台形歪み量Ａの逆行列をＡ−１とすると、（２８）式に従って補正ベクトルを生成する。
【０３０５】
これにより、画像処理部１３は、処理フレーム画像に対する補正ベクトルＶｃの適用により、台形歪み量Ａに対応する台形歪みを処理フレーム画像から相殺することができる。
【０３０６】
以上の構成によれば、画像処理部１１３は、グローバル動きベクトルＧＭＶを並進速度として表し、当該並進速度から角度変化を推定する。これにより、画像処理部１１３は、グローバル動きベクトルＧＭＶを取り扱う処理を簡易にすると共に、推定した角度変化に基づいて、角度変化に伴う各種補正処理を実行することができる。
【０３０７】
＜３．第３の実施の形態＞
第３の実施の形態においては、図２２〜図２８に示した第２の実施の形態と対応する箇所に同一符号を附し、同一部分についての説明を省略する。第２の実施の形態では、補正ベクトル生成部１２９は、台形歪み量Ａが算出された後、各成分パラメータの値を変更することなく補正ベクトルＶｃを生成した。第３の実施の形態では、台形歪み量Ａに基づいて、各成分パラメータの値を再計算する点が第２の実施の形態と異なっている。
【０３０８】
［３−１．手ぶれ量の再計算］
上述したように、第１の実施の形態では、カムコーダ１におけるレンズユニット３がヨー方向及びピッチ方向に駆動することにより手ぶれ補正を実行していた。このため、画像処理部１３に供給されるフレーム画像データは、ヨー方向及びピッチ方向の角度変化が抑制されていた。
【０３０９】
本実施の形態におけるフレーム画像データは、カムコーダ１Ｘ（図示しない）におけるレンズユニット３Ｘが、垂直方向及び水平方向にスライド駆動することにより手ぶれ補正を実行している。従って、画像処理部１３に対応する画像処理部２１３に供給されるフレーム画像データは、ヨー方向及びピッチ方向の角度変化が抑制されておらず、ヨー方向及びピッチ方向の影響がグローバル動きベクトルＧＭＶに大きく表われている。従って、手ぶれ量Ｍｓを計算するに当たっては、フォーカルプレーン歪みと同様に、台形歪みの影響を最小限に抑制することが好ましい。
【０３１０】
そこで本実施の形態における画像処理部２１３は、台形歪み量Ａを算出後に、手ぶれ量Ｍｓを再計算するようになされている。
【０３１１】
画像処理部２１３の台形歪み推定部２２８は、（２４）〜（２６）式に従って台形歪み量Ａを算出すると、（２７）式に（２４）式を代入する。ここで、ヨー方向及びピッチ方向の角度変化によって影響を受ける値は、主にモーション成分パラメータｈ及びｖである。従って、台形歪み推定部２２８は、成分パラメータθ、ｅｃ、ｂｃの値をそのまま用いる一方、モーション成分パラメータｈ及びｖを未知のパラメータとし、モーション成分パラメータｈ及びｖを再計算する。以下、再計算されたモーション成分パラメータを再計算パラメータｈｋ及びｖｋと呼ぶ。
【０３１２】
台形歪み推定部２２８は、再計算パラメータｈｋ及びｖｋに対してＬＰＦ処理を施し、カメラワーク量Ｍｃを算出し、台形歪み量Ａと共に補正ベクトル生成部１２９へ供給する。
【０３１３】
補正ベクトル生成部１２９は、モーション成分パラメータｈ及びｖの代りに再計算パラメータｈｋ及びｖｋを用いること以外は第２の実施の形態と同様にして、式（２０）及び式（２８）に従って、補正ベクトルＶｃを生成するようになされている。
【０３１４】
これにより、画像処理部２１３は、台形歪みが低減された再計算パラメータｈｋ及びｖｋを用いて補正ベクトルＶｃを生成できるため、手ぶれ量Ｍｓにおける台形歪みの影響を低減させ、高精度に手ぶれを補正し得るようになされている。
【０３１５】
なお、画像処理部２１３は、台形歪み追加修正処理において台形歪み量Ａが変更された場合、同様にして再計算パラメータｈｋ及びｖｋをさらに計算し直しても良く、最初に算出された再計算パラメータｈｋ及びｖｋをそのまま用いても良い。また、ユーザによっていずれの再計算パラメータｈｋ及びｖｋを用いるかを選択させることも可能である。
【０３１６】
このように、画像処理部２１３は、縦方向及び横方向の手ぶれ並進速度とヨー方向及びピッチ方向の角度変化との相関関係を用いて台形歪み量Ａを算出する。画像処理部２１３は、当該相関関係に基づいて手ぶれ並進速度から再計算パラメータｈｋ及びｖｋを算出することにより、手ぶれ並進速度における台形歪みの影響を低減させ、高精度に手ぶれを補正し得るようになされている。
【０３１７】
［３−２．動作及び効果］
以上の構成において、画像処理部２１３は、並進速度及び角度変化の相関関係を利用して、手ぶれに応じた並進速度ｈ−ｈｆ及びｖ−ｖｆから手ぶれに応じた角度変化を相殺する。これにより、画像処理部２１３は、手ぶれ並進速度から手ぶれに起因する角度変化を低減することができるため、手ぶれ量Ｍｓの算出精度を向上させることができる。
【０３１８】
以上の構成によれば、画像処理部２１３は、並進速度及び角度変化の相関関係を利用して、並進速度に表われる角度変化分を除去する。これにより、画像処理部２１３は、手ぶれ量Ｍｓから台形歪み量Ａとして補正対象となった角度変化分を除去することができるため、手ぶれ量Ｍｓの算出精度を向上させ得る。
【０３１９】
＜４．第４の実施の形態＞
［４−１．画像処理部の構成］
第４の実施の形態においては、図１〜図２６に示す第１〜３の実施の形態と対応する箇所に同一符号を附し、同一部分についての説明を省略する。本実施の形態による画像処理部３１３は、供給されるフレーム画像データが撮像されたカムコーダの機種に応じて、画像処理の内容を変更するようになされている。
【０３２０】
例えば画像処理部３１３は、カムコーダ（図示しない）が接続されると、当該カムコーダに対し、当該カムコーダの機種名を表す機種情報を取得する。画像処理部３１３は、インターネットなどのネットワーク（図示しない）を介して当該カムコーダの機種名に対応する技術情報を取得する。この技術情報には、カムコーダの撮像素子の種類、手ぶれ補正方式及び固定係数情報が含まれている。
【０３２１】
画像処理部３１３は、カムコーダの撮像素子がＣＣＤ（Charge Coupled Device）などのグローバルシャッタ方式であった場合、（１１）式におけるフォーカルプレーン歪み成分ＣＦを単位行列に置き換える。これにより、画像処理部３１３は、フォーカルプレーン歪みが明らかに生じない場合には、フォーカルプレーン歪みを補正しないようにでき、当該補正の際に生じる誤差によってフレーム画像が乱れることを未然に防止し得るようになされている。なお、画像処理部３１３は、フィルタリング処理部２５によってフォーカルプレーン歪み成分ＣＦを破棄したり、又は補正ベクトル生成部２９によってフォーカルプレーン歪み成分ＣＦを単位行列に置き換えるようにしても良い。
【０３２２】
そして画像処理部３１３は、例えば第２の実施の形態に従って手ぶれ及び台形歪みの補正を実行する。このとき、画像処理部３１３は、固定係数情報が表す値を固定係数として使用する。これにより、画像処理部３１３は、カムコーダの特性に合致した固定係数を使用できるため、台形歪みを推定する精度を向上させることができる。
【０３２３】
画像処理部３１３は、手ぶれ補正方式が第１及び第２の実施の形態と同様のレンズ回転駆動方式であった場合には、第２の実施の形態に従って手ぶれ、フォーカルプレーン歪み及び台形歪みの補正を実行する。このとき画像処理部３１３は、同様にして、固定係数情報が表す値を固定係数として使用する。
【０３２４】
画像処理部３１３は、手ぶれ補正方式が第３の実施の形態と同様のレンズスライド駆動方式であった場合には、第３の実施の形態に従って手ぶれ、フォーカルプレーン歪み及び台形歪みの補正を実行する。このとき画像処理部３１３は、同様にして、固定係数情報が表す値を固定係数として使用する。
【０３２５】
このように、画像処理部３１３は、カムコーダの機種に応じ、適切な画像処理を選択して実行することにより、手ぶれ、フォーカルプレーン歪み及び台形歪みなどの補正の精度を向上し得るようになされている。
【０３２６】
［４−２．動作及び効果］
以上の構成において、画像処理部３１３は、フレーム画像データが撮像された撮像装置であるカムコーダに応じて、固定係数ｐ又はｑ若しくは固定係数ｐ及びｑの値を設定する。
【０３２７】
これにより、画像処理部３１３は、カムコーダの特性に応じた適切な固定係数を用いることができるため、角度変化の推定の精度を向上させ得る。この結果、台形歪み量Ａの算出精度を向上させることができる。
【０３２８】
画像処理部３１３は、カムコーダの手ぶれ補正の方式に応じて、画像処理を変更する。すなわち、画像処理部３１３は、手ぶれ補正方式がレンズ回転駆動方式である場合には、第２の実施の形態の画像処理を実行し、手ぶれ補正方式がレンズスライド駆動方式である場合には、第３の実施の形態の画像処理を実行する。
【０３２９】
これにより、画像処理部３１３は、カムコーダの手ぶれ方式に応じた画像処理を適切に実行することができる。
【０３３０】
画像処理部３１３は、フレーム画像データが、グローバルシャッタ方式で撮像されたものである場合には、フォーカルプレーン歪み成分を単位行列に置き換えるようにした。
【０３３１】
これにより、画像処理部３１３は、フレーム画像データが、グローバルシャッタ方式で撮像された場合であっても、同様の処理を実行することにより、適切な画像処理を実行し得る。
【０３３２】
以上の構成によれば、画像処理部３１３は、フレーム画像データが撮像されたカムコーダに応じて角度変化の推定量を変化させることにより、カムコーダの特性に応じて適切な角度変化を推定することができる。
【０３３３】
＜５．他の実施の形態＞
なお上述した第１〜第４の実施の形態においては、カメラモーション成分ＣＭを用いて手ぶれ量Ｍｓを算出し、手ぶれを補正するようにした場合について述べた。本発明はこれに限らず、カメラモーション成分ＣＭの使用方法に制限はない。例えばカメラモーション成分ＣＭを用いて対応する画素を特定し、線形補間処理に利用することにより、フレーム画像データの品質を向上させても良い。
【０３３４】
また上述した第１〜第４の実施の形態においては、カメラモーション成分ＣＭを並進要素ＥＭａ、回転要素ＥＭｂ及び拡縮要素ＥＭｃにモデル化するようにした場合について述べた。本発明はこれに限らず、例えば、並進要素ＥＭａ及び拡縮要素ＥＭｃにモデル化するようにしても良い。また、回転要素ＥＭｂが３方向の角度変化を表すようにしても良い。
【０３３５】
さらに上述した第１〜第４の実施の形態においては、カメラモーション成分ＣＭに基づく補正ベクトルＶｃにより、フレーム画像を補正するようにした場合について述べた。本発明はこれに限らず、補正係数を用いるなど、種々の方法でフレーム画像を補正するようにしても良い。
【０３３６】
さらに上述した第１〜第４の実施の形態においては、（１１）式に従って、カメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦの両方を算出するようにした場合について述べた。本発明はこれに限らず、少なくともカメラモーション成分ＣＭを算出すればよい。
【０３３７】
さらに上述した第１〜第４の実施の形態においては、成分分離式を行列式で表すようにした場合について述べた。本発明はこれに限らず、一般的な方程式で表すようにしても良い。
【０３３８】
さらに上述の実施の形態においては、回転要素ＥＭｂの前に原点補正行列ＭＣ１を乗算し、回転要素ＥＭｂの後に原点補正逆行列ＭＣ２を乗算するようにした場合について述べた。本発明はこれに限らず、この処理は必ずしも必要でない。例えば初めから原点が中心又は中心近傍に位置する場合には、この処理を省略できる。
【０３３９】
さらに上述の実施の形態においては、回転要素ＥＭｂの前にピクセル比補正行列ＭＰ１を乗算し、回転要素ＥＭｂの後にピクセル比補正逆行列ＭＰ２を乗算するようにした場合について述べた。本発明はこれに限らず、この処理は必ずしも必要でない。例えば初めからピクセル比が１：１又は１：１近傍である場合には、この処理を省略できる。
【０３４０】
さらに上述した第４の実施の形態においては、フレーム画像がグローバルシャッタ方式である場合には、フォーカルプレーン歪み成分を単位行列に置き換えるようにした場合について述べた。本発明はこれに限らず、台形歪み量Ａのみを補正する画像処理を実行するようにしても良い。
【０３４１】
さらに上述した第１〜第４実施の形態においては、フィルタリング処理部２５が信頼度情報に基づいてフォーカルプレーン歪み成分ＣＦ及びカメラモーション成分ＣＭをふるい分けするようにした場合について述べた。本発明はこれに限らず、フィルタリング処理は必ずしも必要ではない。また、フォーカルプレーン歪み成分ＣＦ及びカメラモーション成分ＣＭのいずれか一方に対してのみ実行しても良い。また、動き検出部２２は、信頼度指標の合計値を信頼度情報としても良い。
【０３４２】
さらに上述した第１〜第４の実施の形態においては、ＬＰＦ処理によりカメラモーション成分ＣＭからカメラワーク成分ＣＭｃを生成するようにした場合について述べた。本発明はこれに限らず、その他種々の方法によりカメラワーク成分ＣＭｃを生成することができる。
【０３４３】
さらに上述した第４の実施の形態においては、フレーム画像データの供給時に機種情報を取得するようにした場合について述べた。本発明はこれに限らず、カムコーダの機種名をユーザに指定させたり、固定係数をユーザによって指定させたりするようにしても良い。
【０３４４】
さらに上述した第１〜第４の実施の形態においては、カムコーダから供給されるフレーム画像データが、既に手ぶれ補正されているようにした場合について述べた。本発明はこれに限らず、フレーム画像データにおける手ぶれ補正の有無について、特に制限はない。
【０３４５】
さらに上述した第１〜第４の実施の形態においては、情報処理装置である画像処理端末１０が本発明の画像処理を実行するようにした場合について述べた。本発明はこれに限らず、撮像機能を有する撮像装置が本発明の画像処理を実行するようにしても良い。これにより、画像処理装置から、ハード的なセンサを省略することができる。また、ハード的なセンサと本発明の画像処理を組み合わせても良い。例えばジャイロセンサに応じてヨー方向とピッチ方向の角度変化のみを物理的に補正しながら、第１の実施の形態を実行することができる。
【０３４６】
さらに、上述した第１〜第４の実施の形態においては、画像処理プログラム等をＲＯＭ又はハードディスクドライブなどに予め格納するようにした場合について述べたが、本発明はこれに限らず、メモリースティック（ソニー株式会社の登録商標）などの外部記憶媒体からフラッシュメモリなどにインストールするようにしても良い。また、画像処理プログラムなどをＵＳＢ（Universal Serial Bus）やＥｔｈｅｒｎｅｔ（登録商標）（Institute of Electrical and Electronics Engineers）８０２．１１ａ／ｂ／ｇなどの無線ＬＡＮ（Local Area Network）を介して外部から取得し、さらに、は地上ディジタルテレビジョン放送やＢＳディジタルテレビジョン放送により配信されるようにしても良い。
【０３４７】
さらに上述した第１〜第４の実施の形態においては、被写体を動画像データとして撮像するカメラとして、カムコーダを用いるようにした場合について述べた。本発明はこれに限らず、例えば携帯電話機の内蔵カメラやデジタルスチルカメラの動画機能などをカメラとして用いるようにしても良い。
【０３４８】
さらに上述した第１の実施の形態においては、動き検出部としての動き検出部２２と、モデル化部及び成分算出部としての成分分離処理部２３とによって画像処理装置としての画像処理部１３を構成するようにした場合について述べた。本発明はこれに限らず、その他種々の構成による動き検出部と、モデル化部と、成分算出部とによって本発明の画像処理装置を構成するようにしても良い。
【産業上の利用可能性】
【０３４９】
本発明は、例えば撮像されたフレーム画像データが編集されるパーソナルコンピュータやハードディスクレコーダなどの画像編集装置に利用することができる。
【符号の説明】
【０３５０】
１……カムコーダ、１１……モニタ部、１２……操作部、１３……画像処理部、２２……動き検出部、２３……成分分離処理部、２５……フィルタリング処理部、２６……ＦＰ歪み補正量算出部、２７……カメラワーク量算出部、２９……補正ベクトル生成部、３０……動き補償部、ＦＭ……フレーム画像、ＬＭＶ……ローカル動きベクトル、ＧＭＶ……グローバル動きベクトル、ＳＢ……被写体、ＣＦ……フォーカルプレーン歪み成分ＣＦ……カメラモーション成分、ＥＦａ……ＦＰ歪み縦方向拡縮要素、ＥＦｂ……ＦＰ歪み平行四辺形要素、ＥＭａ……並進要素、ＥＭｂ……回転要素、ＥＭｃ……拡縮要素、ＭＣ１……原点補正行列、ＭＣ２……原点補正逆行列、ＭＰ１……ピクセル比補正行列、ＭＰ２……ピクセル比補正逆行列。
【図１】
2010193302.tif 000034
【図２】
2010193302.tif 000035
【図３】
2010193302.tif 000036
【図４】
2010193302.tif 000037
【図５】
2010193302.tif 000038
【図６】
2010193302.tif 000039
【図７】
2010193302.tif 000040
【図８】
2010193302.tif 000041
【図９】
2010193302.tif 000042
【図１０】
2010193302.tif 000043
【図１１】
2010193302.tif 000044
【図１２】
2010193302.tif 000045
【図１３】
2010193302.tif 000046
【図１４】
2010193302.tif 000047
【図１５】
2010193302.tif 000048
【図１６】
2010193302.tif 000049
【図１７】
2010193302.tif 000050
【図１８】
2010193302.tif 000051
【図１９】
2010193302.tif 000052
【図２０】
2010193302.tif 000053
【図２１】
2010193302.tif 000054
【図２２】
2010193302.tif 000055
【図２３】
2010193302.tif 000056
【図２４】
2010193302.tif 000057
【図２５】
2010193302.tif 000058
【図２６】
2010193302.tif 000059
【図２７】
2010193302.tif 000060
【図２８】
2010193302.tif 000061