(57)【要約】【課題】多視点の動画像データの品質を向上させる。【解決手段】画像処理部１３は、多視点の動画像データの１フレーム画像を構成する少なくとも２枚以上の映像データを用いて、１フレーム画像の原点座標に対する１フレーム画像を構成する全ての映像データの中央座標の位置をそれぞれ算出し、算出結果としての焦点情報を生成するマッチング処理部２３と、１フレーム画像を構成する少なくとも２枚以上の映像データのうちの１枚の映像データを用いて、１フレーム画像全体の動きを表す動きベクトルを検出する動き検出部２２と、生成された焦点情報、および検出された動きベクトルを用いて、１フレーム画像の動き成分を分離する動き成分分離処理部２４と、動き成分分離処理部２４により分離された動き成分を用いて、１フレーム画像を構成する全ての映像データの補正を行う補正ベクトル生成部２９とを備える。【選択図】図３
2011217044.tif 000002
【特許請求の範囲】
【請求項１】
多視点の動画像データの１フレーム画像を構成する少なくとも２枚以上の映像データを用いて、前記１フレーム画像の原点座標に対する前記１フレーム画像を構成する全ての映像データの中央座標の位置をそれぞれ算出し、算出結果としての焦点情報を生成するマッチング処理部と、
前記１フレーム画像を構成する少なくとも２枚以上の映像データのうちの１枚の映像データを用いて、前記１フレーム画像全体の動きを表す動きベクトルを検出する動きベクトル検出部と、
前記マッチング処理部により生成された焦点情報、および前記動きベクトル検出部により検出された動きベクトルを用いて、前記１フレーム画像の動き成分を分離する動き成分分離処理部と、
前記動き成分分離処理部により分離された動き成分を用いて、前記１フレーム画像を構成する全ての映像データの補正を行う補正部と、
を備える、画像処理装置。
【請求項２】
前記マッチング処理部は、前記１フレーム画像を構成する少なくとも２枚以上の映像データのうちの中央の映像データと、当該中央の映像データに隣接する映像データとを用いて、前記１フレーム画像の原点座標に対する前記１フレーム画像を構成する全ての映像データの中央座標の位置をそれぞれ算出し、算出結果としての焦点情報を生成する、請求項１に記載の画像処理装置。
【請求項３】
前記マッチング処理部は、前記１フレーム画像を構成する全ての映像データを用いて、前記１フレーム画像の原点座標に対する前記１フレーム画像を構成する全ての映像データの中央座標の位置をそれぞれ算出し、算出結果と前記全ての映像データとの位置関係に基づいて、焦点情報を生成する、請求項１に記載の画像処理装置。
【請求項４】
前記マッチング処理部は、前記焦点情報の生成を、所定のフレーム間隔で行う、請求項１に記載の画像処理装置。
【請求項５】
前記マッチング処理部は、前記動きベクトル検出部により検出された動きベクトルを用いて、当該動きベクトルに基づく動き量がある閾値を超えた場合に、前記焦点情報の生成を行う、請求項１に記載の画像処理装置。
【請求項６】
前記マッチング処理部は、シーンチェンジ検出部により前記動画像データにおけるシーンチェンジが検出されたときに、前記焦点情報の生成を行う、請求項１に記載の画像処理装置。
【請求項７】
前記マッチング処理部は、前記動画像データが符号化されている場合において、前記動画像データのピクチャタイプが所定のピクチャタイプであるときに、前記焦点情報の生成を行う、請求項１に記載の画像処理装置。
【請求項８】
前記動き成分分離処理部は、前記動きベクトル検出部により検出された動きベクトルのうち最も信頼度の高い動きベクトルを用いて、前記１フレーム画像の動き成分を分離する、請求項１に記載の画像処理装置。
【請求項９】
前記マッチング処理部は、多視点の動画像データの１フレーム画像を構成する少なくとも２枚以上の映像データを用いて、ステレオマッチングを行い、当該ステレオマッチングの結果、デプスマップが得られた場合には、前記１フレーム画像の原点座標に対する前記１フレーム画像を構成する全ての映像データのそれぞれにおいて同一のデプス領域の重心座標の位置をそれぞれ算出し、算出結果としての焦点情報を生成し、
前記動き成分分離処理部は、前記マッチング処理部により生成された焦点情報、および前記動きベクトル検出部により検出された動きベクトルを用いて、前記同一のデプス領域の動き成分を分離し、
前記補正部は、前記動き成分分離処理部により分離された動き成分を用いて、前記１フレーム画像を構成する全ての映像データのそれぞれにおける同一のデプス領域の補正を行う、請求項１に記載の画像処理装置。
【請求項１０】
前記動き成分分離処理部は、
カメラの動きであるカメラモーションおよびフォーカルプレーン歪みの変化量をそれぞれ表す未知の成分パラメータを用いることにより、前記動きベクトル検出部によって検出された前記動きベクトルを、カメラモーション成分およびフォーカルプレーン歪み成分が分離された成分分離式にモデル化するモデル化部と、
前記成分分離式において用いられた前記成分パラメータを算出することにより、前記動きベクトルにおけるカメラモーション成分を算出する成分算出部と、
を備える、請求項１に記載の画像処理装置。
【請求項１１】
前記モデル化部は、
前記動きベクトルを、次式のようにモデル化する、
【数１】
2011217044.tif 000031
請求項１０に記載の画像処理装置。
【請求項１２】
前記補正部は、
前記カメラモーション成分に基づいて、ユーザの意図したカメラの動きであるカメラワーク成分を算出するカメラワーク成分算出部と、
前記カメラモーション成分から前記カメラワーク成分を減算することにより、前記ぶれの量を算出するぶれ量算出部と、
前記ぶれ量算出部によって算出された前記ぶれの量に基づいて、前記動きベクトルにおけるぶれを補正する補正ベクトルを生成する補正ベクトル生成部と、
前記動きベクトルに対し、前記補正ベクトル生成部によって生成された前記補正ベクトルを適用する動き補償部と、
を備える、請求項１に記載の画像処理装置。
【請求項１３】
前記モデル化部は、
カメラモーション成分およびフォーカルプレーン歪み成分を行列式として表す、
請求項１２に記載の画像処理装置。
【請求項１４】
前記補正ベクトル生成部は、
前記ぶれの量の逆行列を含む行列式を前記補正ベクトルとして生成する、
請求項１３に記載の画像処理装置。
【請求項１５】
前記補正部は、
前記成分算出部によって算出された前記フォーカルプレーン歪み成分に基づいて、前記フレーム画像を補正するフォーカルプレーン歪み補正量を算出するフォーカルプレーン歪み補正量算出部をさらに有し、
前記補正ベクトル生成部は、
前記フォーカルプレーン歪み補正量の逆行列を含む行列式を前記補正ベクトルとして生成する、
請求項１４に記載の画像処理装置。
【請求項１６】
前記モデル化部は、
前記回転要素の前に、前記焦点情報に基づく原点を移動させるための原点補正行列を乗算し、前記回転要素の後に前記原点を移動させる前の位置に戻す原点補正逆行列を乗算する、
請求項１５に記載の画像処理装置。
【請求項１７】
前記回転要素の前に、画素のアスペクト比を１：１に変更するアスペクト比補正行列を乗算し、前記回転要素の後に、前記画素を基のアスペクト比に戻すアスペクト比補正逆行列を乗算する、
請求項１６に記載の画像処理装置。
【請求項１８】
前記補正ベクトル生成部は、
前記補正ベクトルをＶｃ、前記原点補正行列をＣ、前記アスペクト比補正行列Ｐ、前記ぶれの量の逆行列をＭｓ−１、前記フォーカルプレーン歪み補正量の逆行列をＦ−１、前記原点補正逆行列をＣ−１、前記アスペクト比補正逆行列をＰ−１としたとき、次式に従って前記補正ベクトルを生成する、
【数２】
2011217044.tif 000032
請求項１７に記載の画像処理装置。
【請求項１９】
多視点の動画像データの１フレーム画像を構成する少なくとも２枚以上の映像データを用いて、前記１フレーム画像の原点座標に対する前記１フレーム画像を構成する全ての映像データの中央座標の位置をそれぞれ算出し、算出結果としての焦点情報を生成するマッチング処理ステップと、
前記１フレーム画像を構成する少なくとも２枚以上の映像データのうちの１枚の映像データを用いて、前記１フレーム画像全体の動きを表す動きベクトルを検出する動きベクトル検出ステップと、
前記マッチング処理ステップで生成された焦点情報、および前記動きベクトル検出ステップで検出された動きベクトルを用いて、前記１フレーム画像の動き成分を分離する動き成分分離処理ステップと、
前記動き成分分離処理ステップで分離された動き成分を用いて、前記１フレーム画像を構成する全ての映像データの補正を行う補正ステップと、
を有する、画像処理方法。
【請求項２０】
コンピュータに対して、
多視点の動画像データの１フレーム画像を構成する少なくとも２枚以上の映像データを用いて、前記１フレーム画像の原点座標に対する前記１フレーム画像を構成する全ての映像データの中央座標の位置をそれぞれ算出し、算出結果としての焦点情報を生成するマッチング処理ステップと、
前記１フレーム画像を構成する少なくとも２枚以上の映像データのうちの１枚の映像データを用いて、前記１フレーム画像全体の動きを表す動きベクトルを検出する動きベクトル検出ステップと、
前記マッチング処理ステップで生成された焦点情報、および前記動きベクトル検出ステップで検出された動きベクトルを用いて、前記１フレーム画像の動き成分を分離する動き成分分離処理ステップと、
前記動き成分分離処理ステップで分離された動き成分を用いて、前記１フレーム画像を構成する全ての映像データの補正を行う補正ステップと、
を実行させる、画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体に関し、例えば撮像装置で撮像された多視点の動画像データを編集する画像処理装置に関する。
【背景技術】
【０００２】
従来、撮像装置では、加速度センサなどのセンサを搭載し、ユーザの手ぶれを相殺するようレンズなどの光学部品を移動させることにより、手ぶれを補正するようになされたものが広く知られている（例えば、非特許文献１参照。）。
【０００３】
また、撮像装置では、撮像素子としてグローバルシャッタ方式でなるＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）が多く用いられてきた。このＣＣＤでは、１フレーム分のデータを一度に転送するようになされている。
【０００４】
しかし、近年、撮像装置の多くでは、コスト面などで有利なことから、フォーカルプレーンシャッタ方式でなるＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を採用している。
【０００５】
このＣＭＯＳでは、１ラインごとにデータを転送するため、フレーム内における時間的な撮像タイミングが僅かにずれる。このためＣＭＯＳによって撮像されたフレーム画像データでは、手ぶれやユーザの意図した動き（以下、これを「カメラワーク」と呼ぶ。）によって撮像装置が移動した場合、被写体にいわゆるフォーカルプレーン歪みを生じさせてしまう。
【０００６】
そこで、フレーム画像データにおけるフォーカルプレーン歪みを補正するようになされた撮像装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−７８８０８公報
【非特許文献】
【０００８】
【非特許文献１】http:/dspace.wul.waseda.ac.jp/dspace/bitstream/2065/5323/3/Honbun-4189.pdf（映像情報機器の脆弱性改善のための要素技術に関する研究）大嶋光昭
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、上述した手ぶれ補正機能を有する撮像装置では、過剰な補正によって制御系が発散することを防止するため、手ぶれの一部を相殺し、当該手ぶれを軽減するように設計されている。すなわち、撮像装置では、動画像データから手ぶれの影響を軽減することはできるものの、撮像された動画像データには依然として手ぶれの影響が残ってしまう。そこで、撮像後のポスト処理によって手ぶれの影響をさらに軽減することが望ましい。
【００１０】
ポスト処理では、撮像装置のように当該撮像装置自体の動き（以下、これを「カメラモーション」と呼ぶ。）量を検出することはできない。また、特許文献１に記載の方法は、撮像素子を分割する必要があるため、ポスト処理に適用できる方法ではない。
【００１１】
このため画像処理装置は、動画像データから検出される動きベクトルを基にカメラモーション成分を算出し、当該カメラモーションから手ぶれ量を算出することになる。しかしながら、上述したように、撮像装置の手ぶれに応じてフォーカルプレーン歪みが発生する。
【００１２】
このとき画像処理装置は、フォーカルプレーン歪みが動きベクトルに与える影響により、高精度でカメラモーション成分を算出することができず、フレーム画像データの品質を向上できないという問題があった。
【００１３】
また、従来の動画像データの手ぶれ補正の手法は、単視点の動画像データを対象とするものであるため、撮像装置において、多視点の動画像データが撮像されて、撮像された多視点の動画像データに対して従来の手ぶれ補正の手法をそのまま適用すると、期待した動画像データが得られないなどの問題が生じる場合があった。
【００１４】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、多視点の動画像データの品質を向上させることが可能な、新規かつ改良された画像処理装置、画像処理方法および画像処理プログラムを提供することにある。
【課題を解決するための手段】
【００１５】
上記課題を解決するために、本発明のある観点によれば、多視点の動画像データの１フレーム画像を構成する少なくとも２枚以上の映像データを用いて、前記１フレーム画像の原点座標に対する前記１フレーム画像を構成する全ての映像データの中央座標の位置をそれぞれ算出し、算出結果としての焦点情報を生成するマッチング処理部と、前記１フレーム画像を構成する少なくとも２枚以上の映像データのうちの１枚の映像データを用いて、前記１フレーム画像全体の動きを表す動きベクトルを検出する動きベクトル検出部と、前記マッチング処理部により生成された焦点情報、および前記動きベクトル検出部により検出された動きベクトルを用いて、前記１フレーム画像の動き成分を分離する動き成分分離処理部と、前記動き成分分離処理部により分離された動き成分を用いて、前記１フレーム画像を構成する全ての映像データの補正を行う補正部とを備える画像処理装置が提供される。
【００１６】
前記マッチング処理部は、前記１フレーム画像を構成する少なくとも２枚以上の映像データのうちの中央の映像データと、当該中央の映像データに隣接する映像データとを用いて、前記１フレーム画像の原点座標に対する前記１フレーム画像を構成する全ての映像データの中央座標の位置をそれぞれ算出し、算出結果としての焦点情報を生成してもよい。
【００１７】
前記マッチング処理部は、前記１フレーム画像を構成する全ての映像データを用いて、前記１フレーム画像の原点座標に対する前記１フレーム画像を構成する全ての映像データの中央座標の位置をそれぞれ算出し、算出結果と前記全ての映像データとの位置関係に基づいて、焦点情報を生成してもよい。
【００１８】
前記マッチング処理部は、前記焦点情報の生成を、所定のフレーム間隔で行ってもよい。
【００１９】
前記マッチング処理部は、前記動きベクトル検出部により検出された動きベクトルを用いて、当該動きベクトルに基づく動き量がある閾値を超えた場合に、前記焦点情報の生成を行ってもよい。
【００２０】
前記マッチング処理部は、シーンチェンジ検出部により前記動画像データにおけるシーンチェンジが検出されたときに、前記焦点情報の生成を行ってもよい。
【００２１】
前記マッチング処理部は、前記動画像データが符号化されている場合において、前記動画像データのピクチャタイプが所定のピクチャタイプであるときに、前記焦点情報の生成を行ってもよい。
【００２２】
前記動き成分分離処理部は、前記動きベクトル検出部により検出された動きベクトルのうち最も信頼度の高い動きベクトルを用いて、前記１フレーム画像の動き成分を分離してもよい。
【００２３】
前記マッチング処理部は、多視点の動画像データの１フレーム画像を構成する少なくとも２枚以上の映像データを用いて、ステレオマッチングを行い、当該ステレオマッチングの結果、デプスマップが得られた場合には、前記１フレーム画像の原点座標に対する前記１フレーム画像を構成する全ての映像データのそれぞれにおいて同一のデプス領域の重心座標の位置をそれぞれ算出し、算出結果としての焦点情報を生成し、前記動き成分分離処理部は、前記マッチング処理部により生成された焦点情報、および前記動きベクトル検出部により検出された動きベクトルを用いて、前記同一のデプス領域の動き成分を分離し、前記補正部は、前記動き成分分離処理部により分離された動き成分を用いて、前記１フレーム画像を構成する全ての映像データのそれぞれにおける同一のデプス領域の補正を行ってもよい。
【００２４】
前記動き成分分離処理部は、カメラの動きであるカメラモーションおよびフォーカルプレーン歪みの変化量をそれぞれ表す未知の成分パラメータを用いることにより、前記動きベクトル検出部によって検出された前記動きベクトルを、カメラモーション成分およびフォーカルプレーン歪み成分が分離された成分分離式にモデル化するモデル化部と、前記成分分離式において用いられた前記成分パラメータを算出することにより、前記動きベクトルにおけるカメラモーション成分を算出する成分算出部とを備えてもよい。
【００２５】
前記モデル化部は、前記動きベクトルを、次式のようにモデル化してもよい。
【数１】
2011217044.tif 000003
【００２６】
前記補正部は、前記カメラモーション成分に基づいて、ユーザの意図したカメラの動きであるカメラワーク成分を算出するカメラワーク成分算出部と、前記カメラモーション成分から前記カメラワーク成分を減算することにより、前記ぶれの量を算出するぶれ量算出部と、前記ぶれ量算出部によって算出された前記ぶれの量に基づいて、前記動きベクトルにおけるぶれを補正する補正ベクトルを生成する補正ベクトル生成部と、前記動きベクトルに対し、前記補正ベクトル生成部によって生成された前記補正ベクトルを適用する動き補償部とを備えてもよい。
【００２７】
前記モデル化部は、カメラモーション成分およびフォーカルプレーン歪み成分を行列式として表してもよい。
【００２８】
前記補正ベクトル生成部は、前記ぶれの量の逆行列を含む行列式を前記補正ベクトルとして生成してもよい。
【００２９】
前記補正部は、前記成分算出部によって算出された前記フォーカルプレーン歪み成分に基づいて、前記フレーム画像を補正するフォーカルプレーン歪み補正量を算出するフォーカルプレーン歪み補正量算出部をさらに有し、前記補正ベクトル生成部は、前記フォーカルプレーン歪み補正量の逆行列を含む行列式を前記補正ベクトルとして生成してもよい。
【００３０】
前記モデル化部は、前記回転要素の前に、前記焦点情報に基づく原点を移動させるための原点補正行列を乗算し、前記回転要素の後に前記原点を移動させる前の位置に戻す原点補正逆行列を乗算してもよい。
【００３１】
前記回転要素の前に、画素のアスペクト比を１：１に変更するアスペクト比補正行列を乗算し、前記回転要素の後に、前記画素を基のアスペクト比に戻すアスペクト比補正逆行列を乗算してもよい。
【００３２】
前記補正ベクトル生成部は、前記補正ベクトルをＶｃ、前記原点補正行列をＣ、前記アスペクト比補正行列Ｐ、前記ぶれの量の逆行列をＭｓ−１、前記フォーカルプレーン歪み補正量の逆行列をＦ−１、前記原点補正逆行列をＣ−１、前記アスペクト比補正逆行列をＰ−１としたとき、次式に従って前記補正ベクトルを生成してもよい。
【数２】
2011217044.tif 000004
【００３３】
また、上記課題を解決するために、本発明の別の観点によれば、多視点の動画像データの１フレーム画像を構成する少なくとも２枚以上の映像データを用いて、前記１フレーム画像の原点座標に対する前記１フレーム画像を構成する全ての映像データの中央座標の位置をそれぞれ算出し、算出結果としての焦点情報を生成するマッチング処理ステップと、前記１フレーム画像を構成する少なくとも２枚以上の映像データのうちの１枚の映像データを用いて、前記１フレーム画像全体の動きを表す動きベクトルを検出する動きベクトル検出ステップと、前記マッチング処理ステップで生成された焦点情報、および前記動きベクトル検出ステップで検出された動きベクトルを用いて、前記１フレーム画像の動き成分を分離する動き成分分離処理ステップと、前記動き成分分離処理ステップで分離された動き成分を用いて、前記１フレーム画像を構成する全ての映像データの補正を行う補正ステップとを有する画像処理方法が提供される。
【００３４】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに対して、多視点の動画像データの１フレーム画像を構成する少なくとも２枚以上の映像データを用いて、前記１フレーム画像の原点座標に対する前記１フレーム画像を構成する全ての映像データの中央座標の位置をそれぞれ算出し、算出結果としての焦点情報を生成するマッチング処理ステップと、前記１フレーム画像を構成する少なくとも２枚以上の映像データのうちの１枚の映像データを用いて、前記１フレーム画像全体の動きを表す動きベクトルを検出する動きベクトル検出ステップと、前記マッチング処理ステップで生成された焦点情報、および前記動きベクトル検出ステップで検出された動きベクトルを用いて、前記１フレーム画像の動き成分を分離する動き成分分離処理ステップと、前記動き成分分離処理ステップで分離された動き成分を用いて、前記１フレーム画像を構成する全ての映像データの補正を行う補正ステップとを実行させる画像処理プログラムが提供される。
【発明の効果】
【００３５】
以上説明したように本発明によれば、多視点の動画像データの品質を向上させることができる。
【図面の簡単な説明】
【００３６】
【図１】画像処理端末の外観構成を示す略線図である。
【図２】カメラモーションとカメラワークの関係を示す略線図である。
【図３】第１の実施の形態による画像処理部の構成を示す略線図である。
【図４】入力フレームの説明に供する略線図である。
【図５】動き補償処理における線形補間の説明に供する略線図である。
【図６】グローバル動きベクトルの生成の説明に供する略線図である。
【図７】マッチング処理の説明に供する略線図である。
【図８】マッチング処理の説明に供するフローチャートである。
【図９】カムコーダと方向の定義の説明に供する略線図である。
【図１０】水平方向の手ぶれによるフォーカルプレーン歪みの説明に供する略線図である。
【図１１】垂直方向の手ぶれによるフォーカルプレーン歪みの説明に供する略線図である。
【図１２】手ぶれによる画像の変化を示す略線図である。
【図１３】回転中心座標を示す略線図である。
【図１４】肘を中心としたときのカメラの動きの説明に供する略線図である。
【図１５】アスペクト比の変換の説明に供する略線図である。
【図１６】成分分離モデルの構成を示す略線図である。
【図１７】成分算出処理の説明に供するフローチャートである。
【図１８】フィルタリング処理の説明に供するフローチャートである。
【図１９】フォーカルプレーン歪み成分とその累積値を示す略線図である。
【図２０】フレーム画像と動きベクトルの関係の説明に供する略線図である。
【図２１】フォーカルプレーン歪み成分の調整の説明に供する略線図である。
【図２２】第１の実施の形態によるＦＰ歪み補正量算出処理手順の説明に供するフローチャートである。
【図２３】ＬＰＦの特性の説明に供する略線図である。
【図２４】妥当な角度範囲の説明に供する略線図である。
【図２５】台形歪み推定処理手順の説明に供するフローチャートである。
【図２６】補正ベクトル生成処理の説明に供するフローチャートである。
【図２７】他の実施の形態による画像処理部の構成を示す略線図である。
【図２８】マッチング処理の説明に供する略線図である。
【図２９】デプスマップの説明に供する略線図である。
【発明を実施するための形態】
【００３７】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００３８】
なお、説明は以下の順序で行うものとする。
１．第１の実施の形態
２．他の実施の形態
【００３９】
＜１．第１の実施の形態＞
［１−１．全体構成］
図１に外観を示すように、画像処理端末１０は、モニタ部１１と、操作部１２と、画像処理部１３とによって構成されている。画像処理端末１０は、カムコーダ１から供給されるフレーム画像データを画像処理部１３に供給する。
【００４０】
画像処理部１３は、フレーム画像からなるフレーム画像データにおいて、フレーム画像間における当該フレーム画像全体としての動きベクトルを表すグローバル動きベクトルＧＭＶを検出する。本実施の形態では、カムコーダ１が多視点の動画像データを撮像して、動画像データの１フレーム画像を構成する少なくとも２枚以上の映像データが画像処理部１３にフレームごとに順々に供給されるものとする。
【００４１】
上述したように、グローバル動きベクトルＧＭＶには、カメラの動き（以下、これを「カメラモーション」と呼ぶ。）以外にも、フォーカルプレーン歪みの変化量であるフォーカルプレーン歪み成分ＣＦが含まれている。また、図２に示すようにカメラモーションは、ユーザの意図した動き（以下、これを「カメラワーク」と呼ぶ。）以外にも、ユーザの意図しない動きであるぶれ（以下、これを「手ぶれ」と呼ぶ。）が含まれている。
【００４２】
そこで画像処理部１３は、グローバル動きベクトルＧＭＶからフォーカルプレーン歪み成分ＣＦを除去した上で、手ぶれを補正するようになされている。
【００４３】
図３に示すように、画像処理部１３は、１フレーム画像を構成する少なくとも２枚以上の映像データをフレーム画像ごとに順々にフレームメモリ蓄積バッファ２１、動き検出部２２およびマッチング処理部２３に供給する。本実施の形態では、カムコーダ１がＮ×Ｍ（横にＮ列、縦にＭ列）視点の動画像データを撮像して、動画像データの１フレーム画像を構成するＮ×Ｍ枚の映像データが画像処理部１３にフレームごとに順々に供給される。例えば、カムコーダ１が２×１視点の動画像データを撮像する場合、図４（Ａ）に示すように、画像処理部１３には、動画像データの１フレーム画像を構成する２枚の映像データがフレームごとに順々に供給される。また、例えば、カムコーダ１が３×３視点の動画像データを撮像する場合、図４（Ｂ）に示すように、画像処理部１３には、動画像データの１フレーム画像を構成する９枚の映像データがフレームごとに順々に供給される。
【００４４】
動き検出部２２は、処理対象のフレーム画像を構成する少なくとも２枚以上の映像データのうちの１枚の映像データ（以下、これを「処理対象映像データ」と呼ぶ。）と、フレームメモリ蓄積バッファ２１から供給される一つ前の参照フレーム画像を構成する少なくとも２枚以上の映像データのうちの上記処理対象映像データと同一視点の１枚の映像データ（以下、これを「参照映像データ」と呼ぶ。）とから、後述する動き検出処理によってフレーム画像全体としての動きベクトルを表すグローバル動きベクトルＧＭＶを算出する。このとき動き検出部２２は、グローバル動きベクトルＧＭＶの信頼度を表す信頼度情報を生成し、グローバル動きベクトルＧＭＶと共に動き成分分離処理部２４に供給する。
【００４５】
マッチング処理部２３は、後述するマッチング処理によって、処理対象のフレーム画像を構成する少なくとも２枚以上の映像データにおける全ての視点の映像データの縦方向および横方向の相対的な位置関係を得て、後述する焦点情報を動き成分分離処理部２４および補正ベクトル生成部２９に出力する。
【００４６】
動き成分分離処理部２４は、後述する成分分離処理によってグローバル動きベクトルＧＭＶを、カメラモーション量を表すカメラモーション成分ＣＭと、フォーカルプレーン歪みの変化量を表すフォーカルプレーン歪み成分ＣＦとに分離する。
【００４７】
動き成分分離処理部２４は、カメラモーション成分ＣＭ、フォーカルプレーン歪み成分ＣＦおよび信頼度情報を動き成分・歪成分蓄積バッファ２５に供給する。動き成分・歪成分蓄積バッファ２５は、例えばＦＩＦＯ（Ｆｉｒｓｔ  Ｉｎ  Ｆｉｒｓｔ  Ｏｕｔ）方式でなり、カメラモーション成分ＣＭ、フォーカルプレーン歪み成分ＣＦおよび信頼度情報を蓄積し、一時記憶する。
【００４８】
フィルタリング処理部２６は、後述するフィルタリング処理により、信頼度情報に基づいてカメラモーション成分ＣＭおよびフォーカルプレーン歪み成分ＣＦをフィルタリングする。
【００４９】
フィルタリング処理部２６は、フィルタリング後のカメラモーション成分ＣＭをデジタルフィルタ処理部２７および台形歪推定部２８へ供給する。フィルタリング処理部２６は、フィルタリング後のフォーカルプレーン歪み成分ＣＦを補正ベクトル生成部２９へ供給する。
【００５０】
また、フィルタリング処理部２６は、フォーカルプレーン歪みに対する補正量であるＦＰ歪み補正量ＣＦｃを生成するＦＰ歪み補正量算出処理（詳しくは後述する）を実行し、当該ＦＰ歪み補正量ＣＦｃを補正ベクトル生成部２９に供給する。
【００５１】
デジタルフィルタ処理部２７は、フィルタリング処理部２６から供給されるカメラモーション成分ＣＭに対し、後述するカメラワーク量算出処理を施すことにより、カメラワーク量を算出し、補正ベクトル生成部２９へ供給する。
【００５２】
台形歪推定部２８は、後述する台形歪み推定処理により、フレーム画像データから台形歪みの影響を除去するための台形歪み量Ａを算出し、補正ベクトル生成部２９へ供給する。
【００５３】
補正ベクトル生成部２９は、処理対象のフレーム画像を構成する少なくとも２枚以上の映像データの全ての映像データに対して、後述する補正ベクトル生成処理により、カメラワーク量、ＦＰ歪み補正量ＣＦｃおよび台形歪み量Ａに基づいて、補正ベクトルＶｃを生成し、動き補償部３０に供給する。この補正ベクトルＶｃは、手ぶれ、フォーカルプレーン歪みおよび台形歪みを補正するものである。
【００５４】
動き補償部３０は、フレームメモリ蓄積バッファ２１から供給されるカレントフレーム画像（現在の補正対象のフレーム画像）に対し、補正ベクトルＶｃを適用することにより、動き補償処理を実行する。なお、動き補償部３０は、フレーム画像を当該フレーム画像よりも小さいサイズに切り出して手ぶれおよびフォーカルプレーン歪みを補正する。このため動き補償部３０は、低下した解像度を向上させるべく、図５に示すように、１画素以下の精度（例えば１／２画素や１／４画素精度）で線形補間する。
【００５５】
動き補償部３０は、線形補間されたフレーム画像をモニタ部１１（図１）へ順次供給する。この結果、モニタ部１１には、手ぶれおよびフォーカルプレーン歪みが補正されたフレーム画像が順次表示される。
【００５６】
このように、画像処理端末１０の画像処理部１３は、フレーム画像データにおける手ぶれ、フォーカルプレーン歪みおよび台形歪みを補正するようになされている。
【００５７】
［１−２．動き検出処理］
動き検出部２２は、動き検出処理を実行し、供給される参照映像データおよび処理対象映像データから当該処理フレーム画像の全体的な動きを表すグローバル動きベクトルＧＭＶを検出する。
【００５８】
図６に示すように、動き検出部２２は、所定数の画素数でなる画素ブロック単位ごとに、参照映像データに対する処理対象映像データの動きベクトル（以下、これを「ローカルベクトルＬＭＶ」と呼ぶ。）を算出する。例えば動き検出部２２は、画素ブロック単位として、１６×１６画素のマクロブロックごとにブロックマッチングを行い、ローカル動きベクトルＬＭＶを算出する。
【００５９】
このとき動き検出部２２は、ローカル動きベクトルＬＭＶの信頼度を表す様々な信頼度指標を用いてローカル動きベクトルＬＭＶを重み付けすることにより、グローバル動きベクトルＧＭＶを算出する。
【００６０】
この信頼度指標としては、ローカル動きベクトルＬＭＶのサイズ、差分絶対値和、ブロック構成画素値の分散値、または参照映像データと処理対象映像データとの対応ブロックの構成画素値から算出する共分散値、もしくはこれらの組み合わせが用いられる。なお、グローバル動きベクトルＧＭＶの詳細な算出方法については、特許文献２および３に記載されている。
【００６１】
【特許文献２】特願２００７−２３００５３号明細書
【特許文献３】特願２００７−２３００５４号明細書
【００６２】
この信頼度指標が高ければ、各ローカル動きベクトルＬＭＶの信頼度が高いということになる。また各ローカル動きベクトルＬＭＶの信頼度が高いということは、グローバル動きベクトルＧＭＶの信頼度も高いといえる。
【００６３】
このため動き検出部２２は、処理対象映像データにおける信頼度指標を、当該処理対象映像データに対応するグローバル動きベクトルＧＭＶの信頼度情報として用いるようになされている。
【００６４】
このように、動き検出部２２は、マクロブロックごとに算出されるローカル動きベクトルＬＭＶを基に、処理フレーム画像全体の動きを表すグローバル動きベクトルＧＭＶを算出する。このとき動き検出部２２は、ローカル動きベクトルＬＭＶの信頼度指標をグローバル動きベクトルＧＭＶの信頼度情報として用いるようになされている。
【００６５】
［１−３．マッチング処理］
マッチング処理部２３は、マッチング処理を実行し、処理対象のフレーム画像を構成する少なくとも２枚以上の映像データにおける全ての視点の映像データの縦方向および横方向の相対的な位置関係を得る。マッチング処理の手法については、例えば特許文献４に記載されている。
【００６６】
【特許文献４】特願２００９−１７６０８５号明細書
【００６７】
マッチング処理部２３は、マッチング処理を実行することにより、隣接する視点の映像（映像データ）との相対的な位置関係が得られる。ここで、例えばステレオマッチングでは、多くの場合、ブロックやピクセル毎にマッチングを行い、奥行きが同じ領域ごとに結果が得られる。本実施の形態では、背景、すなわち最も奥にある領域のマッチング結果を用いることにする。
【００６８】
全ての視点の映像（映像データ）の縦方向・横方向の相対的な位置関係が得られると、原点からの各視点の映像（映像データ）までの距離がピクセル値で算出される。ここで算出される距離は、図７（Ａ）に示す視点左の映像（映像データ）の中央までの距離や視点右の映像（映像データ）の中央までの距離であり、また、図７（Ｂ）に示す各視点の映像（映像データ）の中央までの距離である。なお、原点は、視点数が奇数の場合は、図７（Ａ）に示すように、中央の視点の映像（映像データ）の中央位置の座標とし、視点数が偶数の場合は中央の２つの視点の映像（映像データ）の中央位置の座標とする。そして、縦方向と横方向とに同様にこの概念を適用して原点を決定する。このようにして得られた、原点からの各視点の映像（映像データ）までの距離の組が焦点情報として出力される。
【００６９】
次に、画像処理プログラムに従って実行されるマッチング処理について、図８のフローチャートを用いて説明する。なお、このマッチング処理は、上述したマッチング処理に対応するものである。
【００７０】
画像処理部１３のマッチング処理部２３は、処理対象のフレーム画像を構成する少なくとも２枚以上の映像データが供給されると、マッチング処理を開始し、ステップＳ１０２へ移る。
【００７１】
ステップＳ１０２において、マッチング処理部２３は、複数視点の映像（映像データ）のマッチングを行い、全ての視点の映像（映像データ）の縦方向・横方向の相対的な位置関係を得て、次のステップＳ１０４へ移る。
【００７２】
ステップＳ１０４において、マッチング処理部２３は、上述したように原点を決定し、原点から各視点の映像（映像データ）の中央までの距離を算出して、次のステップＳ１０６へ移る。
【００７３】
ステップＳ１０６において、マッチング処理部２３は、原点からの各視点の映像（映像データ）までの距離の組を焦点情報として動き成分分離処理部２４および補正ベクトル生成部２９に出力すると、終了ステップへ移ってマッチング処理を終了する。
【００７４】
［１−４．動き成分分離処理］
まず、撮像装置としてのカムコーダ１と、当該カムコーダ１を基準とした方向について、図９を用いて説明する。
【００７５】
カムコーダ１において撮像される撮像画像を基準とし、カムコーダ１の移動により被写体が横に移動するＸ軸方向を水平方向、カムコーダ１に移動により被写体が縦に移動するＹ軸方向を垂直方向と呼ぶ。カムコーダ１の移動により被写体が拡縮されるＺ軸方向を拡縮方向と呼ぶ。
【００７６】
また、Ｘ軸を中心軸として回転する方向をピッチ方向、Ｙ軸を中心軸として回転する方向をヨー方向、Ｚ軸を中心軸として回転する方向をロール方向と呼ぶ。またフレーム画像において、カムコーダ１の水平方向への移動により被写体が移動する方向を横方向、カムコーダ１の垂直方向への移動により被写体が移動する方向を縦方向と呼ぶ。
【００７７】
画像処理端末１０の画像処理部１３は、動き成分分離処理部２４によって動き成分分離処理を実行する。動き成分分離処理部２４は、処理対象映像画像データのみを処理対象とする。ここで、フレーム画像全体の動きを表すグローバル動きベクトルＧＭＶは、様々な成分を含有しており、当該成分を全てモデル化すると画像処理部１３の処理負荷が増大してしまう。
【００７８】
そこで本実施の形態の画像処理部１３は、グローバル動きベクトルＧＭＶがカメラの動きであるカメラモーション成分ＣＭとフォーカルプレーン歪みの変化量であるフォーカルプレーン歪み成分ＣＦのみから構成されると擬制する。
【００７９】
画像処理部１３の動き成分分離処理部２４は、グローバル動きベクトルＧＭＶを、未知の成分パラメータを用いてカメラモーション成分ＣＭとフォーカルプレーン歪み成分ＣＦとに分離した成分分離モデルに当て嵌め、成分分離式を生成する。動き成分分離処理部２４は、成分分離式における成分パラメータを算出することにより、カメラモーション成分ＣＭとフォーカルプレーン歪み成分ＣＦをそれぞれ算出するようになされている。
【００８０】
図１０（Ａ）に示すように、例えば長方形でなる被写体ＳＢを撮像したとき、水平方向（矢印で示す）にカムコーダ１が移動すると、図１０（Ｂ）および（Ｃ）に示すように、上述したフォーカルプレーン歪みにより、フレーム画像において被写体ＳＢの上下が横方向にずれ、平行四辺形に歪む。
【００８１】
また、図１１（Ａ）に示すように、例えば長方形でなる被写体ＳＢを撮像したとき、図１１（Ｂ）および（Ｃ）に示すように、カムコーダ１が垂直方向（矢印で示す）に移動すると、フレーム画像において被写体ＳＢの上下が縦方向にずれ、垂直方向に拡縮する。
【００８２】
そこで画像処理部１３は、フォーカルプレーン歪み成分ＣＦを、（１）式に示すように、ＦＰ歪み縦方向拡縮要素ＥＦａとＦＰ歪み平行四辺形要素ＥＦｂとによってモデル化する。なおｅは縦方向の拡縮を表す成分パラメータ、ｂは平行四辺形の歪み度合いを表す成分パラメータである。
【００８３】
【数１】
2011217044.tif 000005
【００８４】
一般的に、カメラモーション成分ＣＭは、線形変換と回転変換とから構成される。線形変換は、被写体ＳＢが水平方向および垂直方向に移動する並進速度を表す並進要素、被写体が拡大または縮小する拡縮速度を表す拡縮要素から構成される。回転変換は、被写体ＳＢがヨー方向、ピッチ方向およびロール方向の３方向への角度変化を表す回転要素から構成される。
【００８５】
仮に、並進要素、拡縮要素および３方向に対応する角度変化を含む回転要素にモデル化する場合、（２）式に示すような射影変換として表すことになる。
【００８６】
【数２】
2011217044.tif 000006
【００８７】
しかしながら射影変換は、変換式が線形でないために最小二乗法では解くことができず、例えば最急降下法などの勾配法を用いる必要がある。この勾配法では、初期値によっては誤った解が得られてしまう他、処理量が増大してしまう。
【００８８】
ここで、第１の実施の形態では、以下に説明する構成のカムコーダ１によって撮像されたフレーム画像データが供給されることが想定されている。
【００８９】
図１２に、図１２（Ａ）のように撮像されたフレーム画像ＦＭに対し、カムコーダ１がヨー方向およびピッチ方向に移動した場合の、フレーム画像ＦＭにおける被写体ＳＢの変化を示している。なお図１２右に示す矢印はカムコーダ１を基準とするものである。
【００９０】
図１２（Ｂ）および（Ｃ）に示したように、カムコーダ１は、当該カムコーダ１の移動に伴ってレンズユニット３と被写体ＳＢとの位置関係が変化することにより、フレーム画像ＦＭにおける被写体ＳＢの位置および角度が変化してしまうことがわかる。
【００９１】
例えば被写体ＳＢの位置をほぼ一定に保つだけであれば、並進要素および拡縮要素、若しくは回転要素および拡縮要素のいずれか一方を補正すれば良い。しかしながら、かかる補正を行ってしまうと、被写体ＳＢの角度変化を適切に補正することができず、側面の見え隠れやオクルージョン、被写体の台形状への歪み（以下、これらをまとめて「台形歪み」と略す。）を発生させてしまう。
【００９２】
カムコーダ１は、図示しない加速度センサを有しており、カメラの動きであるカメラモーション量を検出すると共に、当該カメラモーション量からユーザの意図しない手ぶれ量を算出する。そして本体部２に取り付けられたレンズユニット３がヨー方向およびピッチ方向に移動することにより、手ぶれ量を物理的に相殺し、被写体ＳＢとレンズユニット３との位置関係の変化を抑制する。
【００９３】
これにより、カムコーダ１は、図１２（Ｂ）および（Ｃ）に示したような、ヨー方向およびピッチ方向の手ぶれに応じたフレーム画像ＦＭにおける被写体ＳＢの位置および角度変化を抑制するようになされている。
【００９４】
すなわち、カムコーダ１から供給されるフレーム画像データは、カムコーダ１のヨー方向およびピッチ方向の移動に伴って生じるフレーム画像ＦＭにおける被写体ＳＢの角度変化が抑制されている。
【００９５】
そこで画像処理端末１０の画像処理部１３は、カメラモーション量のうち、回転要素ＥＭｂがロール方向への角度変化のみであるものと擬制し、カメラモーション成分ＣＭを（３）式のようにモデル化する。
【００９６】
【数３】
2011217044.tif 000007
【００９７】
なお、（３）式における３つの行列は、左から並進要素ＥＭａ、回転要素ＥＭｂおよび拡縮要素ＥＭｃである。ｈは縦方向の並進を表す成分パラメータ、ｖは横方向の並進を表す成分パラメータ、ｃｏｓθおよびｓｉｎθはロール方向の回転を表す成分パラメータ、ｓは被写体とカムコーダ１との距離変化に伴う拡縮を表す成分パラメータである。
【００９８】
これにより、画像処理部１３は、グローバル動きベクトルＧＭＶを１方向の回転変換および３方向への線形変換によって表すアフィン変換を適用することが可能となる。この結果、画像処理部１３は、成分パラメータを算出するために一般的な変換行列を用いることができるため、成分パラメータを算出するための処理負荷を大幅に軽減することができる。また、画像処理部１３は、一つの定まった解を算出できるため、勾配法のように誤った解を算出することがない。
【００９９】
さらに、動き成分分離処理部２４は、フォーカルプレーン歪み成分ＣＦおよびカメラモーション成分ＣＭに対し、原点補正およびピクセル補正を行う。
【０１００】
図１３（Ａ）に示すように、一般的に、ソフトウェアによって画像処理をする場合、フレーム画像の左上を原点とするような座標系をとる。すなわち、この座標系を回転させる場合、フレーム画像の左上の画素を中心としてフレーム画像が回転することになる。
【０１０１】
しかしながら、カムコーダ１は、当該カムコーダ１の左上を中心として回転されるわけではない。ユーザは、被写体ＳＢをなるべく中心に位置させるようにして撮像を行うと考えられることから、図１３（Ｃ）に示すように、座標の回転中心をフレーム画像の中心とすることが好ましいと考えられる。
【０１０２】
そこで、動き成分分離処理部２４は、（４）式に示すように、フォーカルプレーン歪み成分ＣＦおよびカメラモーション成分ＣＭに対し、予め原点補正行列ＭＣ１を乗算し、原点を中央に移動させておく。なお、ｈＣはフレーム画像における縦方向の画素数の１／２、ｖＣはフレーム画像における横方向の画素数の１／２を表している。
【０１０３】
【数４】
2011217044.tif 000008
【０１０４】
動き成分分離処理部２４は、（５）式に示すように、最後に原点補正行列ＭＣ１の逆行列となる原点補正逆行列ＭＣ２を乗算することにより、原点をフレーム画像の左上、すなわち中心に移動させる前の位置に戻す。
【０１０５】
【数５】
2011217044.tif 000009
【０１０６】
これにより、動き成分分離処理部２４は、原点をフレーム画像の中心に移動させた状態でフォーカルプレーン歪み成分ＣＦおよびカメラモーション成分ＣＭを算出することが可能となる。
【０１０７】
上述したように、図１３（Ｃ）に示すように、座標の回転中心をフレーム画像の中心とする場合には、ｈＣはフレーム画像における縦方向の画素数の１／２、ｖＣはフレーム画像における横方向の画素数の１／２とする。これに対し、本実施の形態では、ｈＣ，ｖＣは各視点の映像（映像データ）に対してマッチング処理部２３から供給された焦点情報により決定する映像（映像データ）の中心座標である。
【０１０８】
ここで、実際に撮像を行うユーザは、図１４（Ａ）に示すように、撮像しているフレーム画像の中心を回転軸としてカムコーダ１を回転させるわけではない。むしろ殆どのユーザは、図１４（Ｂ）に示すように、肘または手首などを回転中心としてカムコーダ１を回転させている。
【０１０９】
図１４（Ｃ）に示すように、例えば肘を中心にした回転により、カムコーダ１を移動量ＭＴだけ移動させた場合、回転軸である肘からカムコーダ１におけるフレーム画像の中心までの距離をｈａとすると、移動量ＭＴによる動きベクトルを（６）式のように表すことができる。
【０１１０】
【数６】
2011217044.tif 000010
【０１１１】
すなわち、移動量ＭＴによる動きベクトルは、原点から見た回転と並進の動きの組み合わせとして表せることになり、回転軸の位置が異なることによる弊害は生じない。
【０１１２】
また、一般的に、フレーム画像データのフレーム画像における各画素は、そのアスペクト比が１：１ではない。図１５（Ａ）に示すように、例えば長方形でなる画素に対して回転要素ＥＭｂを乗算すると、横方向と縦方向とでスケールが異なることに起因して、右図に示すように、回転と共に、長方形が平行四辺形状に歪んでしまう。
【０１１３】
従って、動き成分分離処理部２４は、（７）式に示すピクセル補正行列ＭＰ１を乗算することにより、回転要素ＥＭｂが乗算されるより前に、正方形でない画素を一旦正方形の画素に変換する。なおｐは、画素の一辺を「１」としたときのピクセル比を表している。
【０１１４】
【数７】
2011217044.tif 000011
【０１１５】
そして、動き成分分離処理部２４は、回転要素ＥＭｂを乗算した後、ピクセル補正行列ＭＰ１の逆行列となるピクセル補正逆行列ＭＰ２（（８）式）を乗算することにより、正方形に変換した画素を基のアスペクト比でなる画素に再変換する。
【０１１６】
【数８】
2011217044.tif 000012
【０１１７】
すなわち、動き成分分離処理部２４は、（９）式に示すように、回転要素ＥＭｂの前後にピクセル補正行列ＭＰ１およびピクセル補正逆行列ＭＰ２を乗算するようになされている。
【０１１８】
【数９】
2011217044.tif 000013
【０１１９】
動き成分分離処理部２４は、図１６に示すように、原点および画素のアスペクト比を補正した上で、未知の成分パラメータを用いてフォーカルプレーン歪み成分ＣＦおよびカメラモーション成分ＣＭに分離した成分分離モデルを有している。そして動き成分分離処理部２４は、グローバル動きベクトルＧＭＶを成分分離モデルに当て嵌めることによりグローバル動きベクトルＧＭＶをモデル化し、当該成分分離式における最後に原点および画素のアスペクト比を基に戻すようになされている。
【０１２０】
実際上、画像処理部１３の動き検出部２２は、グローバル動きベクトルＧＭＶを（１０）式のようにアフィン変換行列式として算出する。
【０１２１】
【数１０】
2011217044.tif 000014
【０１２２】
動き成分分離処理部２４は、動き検出部２２からグローバル動きベクトルＧＭＶが供給されると、図１６に示した成分分離モデルにグローバル動きベクトルＧＭＶを当て嵌めることにより、（１１）式に示す成分分離式を生成する。
【０１２３】
【数１１】
2011217044.tif 000015
【０１２４】
動き成分分離処理部２４は、（１１）式を（１２）式のように変形する。
【０１２５】
【数１２】
2011217044.tif 000016
【０１２６】
この（１２）式における各成分パラメータ（ｓｉｎθ、ｅ、ｂ、ｓ、ｈ、ｖ）について一般的な方程式によって解くと、以下のようになる。
【０１２７】
【数１３】
2011217044.tif 000017
【０１２８】
【数１４】
2011217044.tif 000018
【０１２９】
【数１５】
2011217044.tif 000019
【０１３０】
【数１６】
2011217044.tif 000020
【０１３１】
このように、動き成分分離処理部２４は、アフィン変換行列として表されたグローバル動きベクトルＧＭＶを、未知の成分パラメータを用いてフォーカルプレーン歪み成分ＣＦおよびカメラモーション成分ＣＭに分離して表す成分分離式に代入することによりモデル化する。そして動き成分分離処理部２４は、方程式を解いて各成分パラメータを算出することにより、グローバル動きベクトルＧＭＶをフォーカルプレーン歪み成分ＣＦおよびカメラモーション成分ＣＭに分離し得るようになされている。
【０１３２】
なお、動き成分分離処理部２４は、フォーカルプレーン歪み成分ＣＦおよびカメラモーション成分ＣＭとして、動き成分・歪成分蓄積バッファ２５に対し、成分パラメータのみを供給しても良く、行列に含まれる全ての値を供給しても良い。他の処理についても同様である。
【０１３３】
次に、画像処理プログラムに従って実行される成分算出処理について、図１７のフローチャートを用いて説明する。なお、この成分算出処理は、上述した動き検出処理および動き成分分離処理に対応するものである。
【０１３４】
画像処理部１３の動き検出部２２は、フレーム画像データが供給されると、成分算出処理を開始し、ステップＳ２０２へ移る。
【０１３５】
ステップＳ２０２において、動き検出部２２は、フレーム画像全体の動きを表すグローバル動きベクトルＧＭＶを検出すると、当該グローバル動きベクトルＧＭＶを動き成分分離処理部２４に供給し、次のステップＳ２０４へ移る。
【０１３６】
ステップＳ２０４において、画像処理部１３の動き成分分離処理部２４は、動き検出部２２から供給されたグローバル動きベクトルＧＭＶを、（１１）式に示した成分分離式に代入し、また、マッチング処理部２３から供給された焦点情報に基づいて映像（映像データ）の中心座標を決定することによりモデル化し、次のステップＳ２０６へ移る。
【０１３７】
ステップＳ２０６において、動き成分分離処理部２４は、成分分離式が有する未知の成分パラメータを算出することにより、カメラモーション成分ＣＭおよびフォーカルプレーン歪み成分ＣＦをそれぞれ算出すると、終了ステップへ移って成分算出処理を終了する。
【０１３８】
［１−５．フィルタリング処理］
フィルタリング処理部２６は、動き検出部２２によって生成される信頼度情報に基づいてカメラモーション成分ＣＭおよびフォーカルプレーン歪み成分ＣＦをフィルタリングする。
【０１３９】
上述したように、信頼度情報は、フレーム画像データにおける各ローカル動きベクトルＬＭＶの信頼度指標でなる。フィルタリング処理部２６は、各信頼度指標が所定の高信頼閾値以上であるか否かを判別し、フレーム画像データごとの信頼度指標の総数に対する高信頼閾値以上でなる信頼度指標の割合を算出する。
【０１４０】
フィルタリング処理部２６は、高信頼閾値以上でなる信頼度指標の割合が所定のフィルタリング閾値よりも高い場合には、グローバル動きベクトルＧＭＶの信頼度が高いため、当該グローバル動きベクトルＧＭＶに対応するカメラモーション成分ＣＭおよびフォーカルプレーン歪み成分ＣＦをそのまま使用する。
【０１４１】
フィルタリング処理部２６は、高信頼閾値以上でなる信頼度指標の割合が所定のフィルタリング閾値よりも低い場合には、グローバル動きベクトルＧＭＶの信頼度が低いため、当該グローバル動きベクトルＧＭＶに対応するカメラモーション成分ＣＭおよびフォーカルプレーン歪み成分ＣＦを使用しない。
【０１４２】
すなわちフィルタリング処理部２６は、グローバル動きベクトルＧＭＶの信頼度が高い場合には、カメラモーション成分ＣＭをデジタルフィルタ処理部２７および台形歪推定部２８に供給する。
【０１４３】
これに対してフィルタリング処理部２６は、グローバル動きベクトルＧＭＶの信頼度が低い場合には、供給されたカメラモーション成分ＣＭおよびフォーカルプレーン歪み成分ＣＦを破棄する。
【０１４４】
このとき、フィルタリング処理部２６は、所定の単位行列をフォーカルプレーン歪み成分ＣＦとすると共に、所定の単位行列をカメラモーション成分ＣＭとしてデジタルフィルタ処理部２７および台形歪推定部２８に供給する。なおフィルタリング処理部２６は、信頼度に応じて例えば複数のフィルタリング閾値を設定しておき、カメラモーション成分ＣＭおよびフォーカルプレーン歪み成分ＣＦのいずれか一方、若しくは要素ごとに単位行列に置き換えることもできる。
【０１４５】
このように、フィルタリング処理部２６は、信頼度の高いグローバル動きベクトルＧＭＶに基づいて生成されたフォーカルプレーン歪み成分ＣＦおよびカメラモーション成分ＣＭのみを選別して使用する。
【０１４６】
これにより、画像処理部１３は、信頼度が高く、誤差が小さい可能性の高いグローバル動きベクトルＧＭのみをデジタルフィルタ処理部２７および台形歪推定部２８に供給し得るようになされている。
【０１４７】
次に、画像処理プログラムに従って実行されるフィルタリング処理について、図１８のフローチャートを用いて説明する。
【０１４８】
画像処理部１３のフィルタリング処理部２６は、動き成分・歪成分蓄積バッファ２５から信頼度情報、カメラモーション成分ＣＭおよびフォーカルプレーン歪み成分ＣＦが供給されると、フィルタリング処理を開始し、ステップＳ３０２へ移る。
【０１４９】
ステップＳ３０２において、フィルタリング処理部２６は、信頼度情報に基づいて、グローバル動きベクトルＧＭＶの信頼度が高いか否かについて判別する。ここで肯定結果が得られた場合、このことは、カメラモーション成分ＣＭおよびフォーカルプレーン歪み成分ＣＦが信頼できることを表している。このときフィルタリング処理部２６は、次のステップＳ３０４へ移る。
【０１５０】
ステップＳ３０４において、フィルタリング処理部２６は、動き成分分離処理部２４によって分離されたカメラモーション成分ＣＭおよびフォーカルプレーン歪み成分ＣＦをそのまま出力すると、終了ステップへ移ってフィルタリング処理を終了する。
【０１５１】
これに対してステップＳ３０２において否定結果が得られた場合、このことはカメラモーション成分ＣＭおよびフォーカルプレーン歪み成分ＣＦが信頼できないことを表している。このときフィルタリング処理部２６は、次のステップＳ３０６へ移る。
【０１５２】
ステップＳ３０６において、フィルタリング処理部２６は、カメラモーション成分ＣＭおよびフォーカルプレーン歪み成分ＣＦを破棄して単位行列に置き換え、当該置き換えられた単位行列をカメラモーション成分ＣＭおよびフォーカルプレーン歪み成分ＣＦとして出力する。そしてフィルタリング処理部２６は、終了ステップへ移ってフィルタリング処理を終了する。
【０１５３】
また、フィルタリング処理部２６は、ＦＰ歪み補正量算出処理を実行する。
【０１５４】
フォーカルプレーン歪みは、フレーム画像ごとに独立して生じる現象ではなく、複数のフレーム画像間で連続的に生じ、蓄積された歪みを表すものである。これに対して、グローバル動きベクトルＧＭＶは、１つ前のフレーム画像に対する動きを表すものである。すなわち、フォーカルプレー歪み成分ＣＦは、フォーカルプレーン歪みのうち、前のフレーム画像に対して増大または減少した変化量を表している。
【０１５５】
従って、正確にフォーカルプレーン歪みを補正するためには、フォーカルプレーン歪み成分ＣＦの累積値を用いて補正することが望ましい。
【０１５６】
しかしながら、フォーカルプレーン歪み成分ＣＦは誤差を有している。図１９（Ａ）に、例えば手ぶれなどにより小刻みにフォーカルプレーン歪みが発生したときのフォーカルプレーン歪み成分ＣＦの様子を示している。フォーカルプレーン歪み成分ＣＦが正の符号を示すときはフォーカルプレーン歪みが大きくなり、フォーカルプレーン歪み成分ＣＦが負の符号を示すときはフォーカルプレーン歪みが小さくなっていることを表している。
【０１５７】
図１９（Ｂ）に、フォーカルプレーン歪み成分ＣＦ（図１９（Ａ））の累積値であるＦＰ歪み累積値を示している。図からわかるように、フレーム画像の数が増大するにつれてＦＰ歪み累積値が著しく増大している。これは、フォーカルプレーン歪み成分ＣＦの有する誤差が蓄積し、発散してしまった結果である。すなわち、フォーカルプレーン歪み成分ＣＦの累積値を用いてフレーム画像を補正した場合、誤差の蓄積によりフレーム画像が破綻してしまう危険性がある。
【０１５８】
そこで、画像処理部１３のフィルタリング処理部２６は、処理フレーム画像および当該処理フレーム画像の前後のフレーム画像のうち、フォーカルプレーン歪みの最も小さいフレーム画像と同等のフォーカルプレーン歪みになるよう、ＦＰ歪み補正量ＣＦｃを算出する。
【０１５９】
ここで、カメラモーション成分ＣＭは、フォーカルプレーン歪み成分ＣＦと比較して誤差が小さく、信頼性も高い。また、フォーカルプレーン歪み成分ＣＦは、カメラモーション成分ＣＭにおける並進速度と相関関係を有している。そこでフィルタリング処理部２６は、並進速度に基づいて、ＦＰ歪み補正量ＣＦｃを算出する。
【０１６０】
なお、ＦＰ歪み補正量ＣＦｃは、（１）式に示したフォーカルプレーン歪み成分ＣＦのうち、ＦＰ歪み成分パラメータｅをｅｃに、ＦＰ歪み成分パラメータｂをｂｃにそれぞれ置き換えた行列として表される。後述する補正ベクトル生成処理において、ＦＰ歪み補正量ＣＦｃの逆行列が乗算されることにより、処理フレーム画像におけるフォーカルプレーン歪みが補正されることになる。
【０１６１】
図２０に示すように、処理対象である処理フレーム画像ＦＭ１の１つ前方となるフレーム画像を参照フレーム画像ＦＭ０と呼び、参照フレーム画像ＦＭ０より１つ手前となるフレーム画像を前方フレーム画像ＦＭ−１と呼ぶ。処理フレーム画像ＦＭ１よりも１つ後方となるフレーム画像を後方フレーム画像ＦＭ２と呼ぶ。
【０１６２】
また、参照フレーム画像ＦＭ０を基準としたときの処理フレーム画像ＦＭ１の動きをグローバル動きベクトルＧＭＶ０と呼ぶ。前方フレーム画像ＦＭ−１を基準としたときの参照フレーム画像ＦＭ０の動きをグローバル動きベクトルＧＭＶ−１と呼ぶ。処理フレーム画像ＦＭ１を基準としたときの後方フレーム画像ＦＭ２の動きをグローバル動きベクトルＧＭＶ＋１と呼ぶ。これらをまとめて単にグローバル動きベクトルＧＭＶと呼ぶ。
【０１６３】
フィルタリング処理部２６には、グローバル動きベクトルＧＭＶに対応するカメラモーション成分ＣＭおよびフォーカルプレーン歪み成分ＣＦが順次供給される。なお、グローバル動きベクトルＧＭＶ０、ＧＭＶ＋１およびＧＭＶ−１に対応するカメラモーション成分ＣＭをそれぞれカメラモーション成分ＣＭ０、ＣＭ＋１およびＣＭ−１と呼ぶ。グローバル動きベクトルＧＭＶ０、ＧＭＶ＋１およびＧＭＶ−１に対応するフォーカルプレーン歪み成分ＣＦをそれぞれフォーカルプレーン歪み成分ＣＦ０、ＣＦ＋１およびＣＦ−１と呼ぶ。
【０１６４】
フィルタリング処理部２６は、カメラモーション成分ＣＭ０、ＣＭ＋１およびＣＭ−１におけるモーション成分パラメータｖの値をそれぞれ比較する。モーション成分パラメータｖは、縦方向の並進速度を表している。縦方向の並進速度が大きい場合、フォーカルプレーン歪みが大きく、縦方向の並進速度が小さい場合、フォーカルプレーン歪みが小さくなる。
【０１６５】
フィルタリング処理部２６は、カメラモーション成分ＣＭ０、ＣＭ＋１およびＣＭ−１のうち、縦方向の並進速度（すなわちモーション成分パラメータｖの値）が最も小さいカメラモーション成分ＣＭを選択する。
【０１６６】
フィルタリング処理部２６は、選択されたカメラモーション成分ＣＭがカメラモーション成分ＣＭ０であった場合、フォーカルプレーン歪みを処理フレーム画像ＦＭ１と同程度にする。フィルタリング処理部２６は、単位行列をＦＰ歪み補正量ＣＦｃとし、ＦＰ歪み補正量ＣＦｃにおける縦方向の拡縮を表すＦＰ歪み成分パラメータｅｃを「１」とする。この結果、縦方向の拡縮について、フォーカルプレーン歪みが補正されないことになる。
【０１６７】
一方、フィルタリング処理部２６は、選択されたカメラモーション成分ＣＭがカメラモーション成分ＣＭ−１であった場合、フォーカルプレーン歪みを参照フレーム画像ＦＭ０と同程度にする。フィルタリング処理部２６は、フォーカルプレーン歪み成分ＣＦ０をＦＰ歪み補正量ＣＦｃとし、ＦＰ歪み成分パラメータｅｃをフォーカルプレーン歪み成分ＣＦ０における「ｅ」とする。この結果、縦方向の拡縮について、フォーカルプレーン歪みが参照フレーム画像ＦＭ０と同等のレベルに補正される。
【０１６８】
他方、フィルタリング処理部２６は、選択されたカメラモーション成分ＣＭがカメラモーション成分ＣＭ＋１であった場合、後方フレーム画像ＦＭ２と同程度にする。フィルタリング処理部２６は、フォーカルプレーン歪み成分ＣＦ＋１の逆行列をＦＰ歪み補正量ＣＦｃとし、ＦＰ歪み成分パラメータｅｃをフォーカルプレーン歪み成分ＣＦ＋１における「ｅの逆数」とする。この結果、縦方向の拡縮について、フォーカルプレーン歪みが後方フレーム画像ＦＭ２と同等のレベルに補正される。
【０１６９】
フィルタリング処理部２６は、同様にして、カメラモーション成分ＣＭ０、ＣＭ＋１およびＣＭ−１におけるモーション成分パラメータｈの値をそれぞれ比較し、横方向の並進速度（すなわちモーション成分パラメータｈの値）が最も小さいカメラモーション成分ＣＭを選択する。
【０１７０】
フィルタリング処理部２６は、選択されたカメラモーション成分ＣＭ０、ＣＭ−１およびＣＭ＋１に応じて、「０」、フォーカルプレーン歪み成分ＣＦ０における「ｂ」およびフォーカルプレーン歪み成分ＣＦ＋１における「ｂの逆数」から、ＦＰ歪み成分パラメータｂｃを選択する。
【０１７１】
フィルタリング処理部２６は、選択されたＦＰ歪み成分パラメータｅｃおよびｂｃをＦＰ歪み補正量ＣＦｃとし、補正ベクトル生成部２９に供給する。
【０１７２】
これにより、フィルタリング処理部２６は、フォーカルプレーン歪み成分ＣＦを累積させないため、ＦＰ歪み補正量ＣＦｃを発散させることはない。また、フィルタリング処理部２６は、図２１（Ｂ）に示すように、フォーカルプレーン歪みの全て（図２１（Ａ））を補正することはできないものの、フォーカルプレーン歪みをＦＰ歪み累積値よりも小さくすることができ、フォーカルプレーン歪みを低減できる。
【０１７３】
このフォーカルプレーン歪みは、例えば５フレーム程度の短い間隔で増減し、正負符号が入れ替わり、その最大量がさほど大きくならないことが確認されている。従って、フィルタリング処理部２６は、フォーカルプレーン歪みの最大量を低減するだけで、フレーム画像におけるフォーカルプレーン歪みを視覚的に目立たなくできる。
【０１７４】
このように、フィルタリング処理部２６は、処理フレーム画像ＦＭ１、参照フレーム画像ＦＭ０および後方フレーム画像ＦＭ２のうち、並進速度に基づいてフォーカルプレーン歪みの最も少ないフレーム画像ＦＭを選択する。そしてフィルタリング処理部２６は、選択されたフレーム画像ＦＭと同レベルになるようＦＰ歪み補正量ＣＦｃを算出する。
【０１７５】
これにより、フィルタリング処理部２６は、ＦＰ歪み補正量ＣＦｃの発散を確実に防止すると共に、フォーカルプレーン歪みを低減させて視覚的に目立ちにくくし得るようになされている。
【０１７６】
次に、画像処理プログラムに従って実行されるＦＰ歪み補正量算出処理について、図２２のフローチャートを用いて説明する。
【０１７７】
フィルタリング処理部２６は、グローバル動きベクトルＧＭＶが供給されると、ＦＰ歪み補正量算出処理を開始し、ステップＳ４０２へ移る。
【０１７８】
ステップＳ４０２において、フィルタリング処理部２６は、カメラモーション成分ＣＭ０、ＣＭ＋１およびＣＭ−１におけるモーション成分パラメータｈおよびｖの値をそれぞれ比較すると、次のステップＳ４０４へ移る。
【０１７９】
ステップＳ４０４において、フィルタリング処理部２６は、並進速度（すなわちモーション成分パラメータｈおよびｖの値）が最も小さいカメラモーション成分ＣＭを選択すると、次のステップＳ４０６へ移る。
【０１８０】
ステップＳ４０６において、フィルタリング処理部２６は、ステップＳ４０６において選択されたカメラモーション成分ＣＭに応じて、ＦＰ歪み補正量ＣＦｃを算出する。このときフィルタリング処理部２６は、フォーカルプレーン歪みが当該カメラモーション成分ＣＭと対応するフレーム画像と同レベルになるよう、ＦＰ歪み補正量ＣＦｃを算出する。
【０１８１】
そして、フィルタリング処理部２６は、終了ステップへ移ってＦＰ歪み補正量算出処理を終了する。
【０１８２】
［１−７．カメラワーク量の算出］
デジタルフィルタ処理部２７は、フィルタリング処理部２６から供給されるモーション成分パラメータθ、ｓ、ｈおよびｖに所定のタップ数のＬＰＦを適用することにより、ユーザの意図した動きであるカメラワーク量を算出する。
【０１８３】
具体的には、タップ数分の成分パラメータを取得し、例えばＦＩＲ（Ｆｉｎｉｔｅ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ  Ｆｉｌｔｅｒ）に適用することにより、フィルタ後のモーション成分パラメータ（以下、これを「カメラワーク成分パラメータ」と呼ぶ。）を取得する。このカメラワーク成分パラメータは、カメラワーク量を表すものとなる。以下、カメラワーク成分パラメータをθｆ、ｓｆ、ｈｆおよびｖｆと表す。
【０１８４】
ＬＰＦにおけるタップ数は、ＬＰＦとしての特性が十分となるように設定される。ＬＰＦは、手ぶれと見なされる周波数近傍を確実にカットできるようカットオフ周波数が設定される。また、単純な移動平均フィルタを用いることも可能である。
【０１８５】
カットオフ周波数を０．５［Ｈｚ］とした場合、図２３（Ａ）に示すように、タップ数を５１７程度にすることにより、ＬＰＦとしての精度を高くすることができる。また、図２３（Ｂ）に示すように、タップ数を６０程度に落とした場合であっても、精度が低下するものの、ＬＰＦとしてある程度の性能を発揮することができる。
【０１８６】
従って、デジタルフィルタ処理部２７は、画像処理部１３としてのハードウェアの処理性能や出力ディレイの許容範囲など、実装時の制約に基づいて設定されることが好ましい。
【０１８７】
このように、デジタルフィルタ処理部２７は、カメラモーション量を表すモーション成分パラメータθ、ｓ、ｈおよびｖに対してＬＰＦ処理を施すことにより、カメラワーク量を表すカメラワーク成分パラメータθｆ、ｓｆ、ｈｆおよびｖｆを生成するようになされている。
【０１８８】
［１−８．台形歪みの除去］
上述したように、カムコーダ１における手ぶれ補正機能により、ヨー方向およびピッチ方向における被写体とレンズユニット３との角度変化が抑制されている。しかしながら、カムコーダ１は、この角度変化を完全に相殺しているわけではなく、また垂直方向および水平方向の手ぶれもレンズユニット３のヨー方向およびピッチ方向の駆動によって相殺している。
【０１８９】
このため、フレーム画像データは、ヨー方向およびピッチ方向の角度変化を含有している。この角度変化は、フレーム画像において台形歪みとして表われてしまう。
【０１９０】
そこで本実施の形態による画像処理部１３は、グローバル動きベクトルＧＭＶにおける並進速度からヨー方向およびピッチ方向の角度変化を推定し、当該角度変化に基づいて台形歪み量Ａを算出する。画像処理部１３は、処理フレーム画像に対して台形歪み量Ａを相殺することにより、フレーム画像データから台形歪みの影響を除去するようになされている。
【０１９１】
［１−９．台形歪み推定処理］
（１１）式に示すように、成分分離式は、ヨー方向およびピッチ方向の成分を有していない。このためヨー方向およびピッチ方向の角度変化は、横方向および縦方向の並進速度（すなわちモーション成分パラメータｈおよびｖ）として表われることになる。このため並進速度とヨー方向およびピッチ方向の角度変化とは、相関関係を有している。
【０１９２】
そこで、画像処理部１３の台形歪推定部２８は、モーション成分パラメータｈおよびｖに基づいて、ヨー方向およびピッチ方向の角度変化を推定し、当該角度変化に起因する台形歪み量を算出する台形歪み推定処理を実行する。
【０１９３】
ここで、ヨー方向およびピッチ方向のみに起因する台形歪み量Ａは、角度パラメータωおよびφおよび（２）式に示した射影変換式を用いることにより、（１７）式のようにモデル化することができる。この（１７）式において、（２）式におけるｃ１に該当する−ｃｏｓωｓｉｎφがヨー方向の角度変化を、Ｃ２に該当するｓｉｎφがピッチ方向の角度変化を表している。
【０１９４】
【数１７】
2011217044.tif 000021
【０１９５】
ここで、台形歪みは、手ぶれに応じてのみではなく、カメラワークに応じても生じる現象である。補正すべき台形歪みは、手ぶれのみに応じた台形歪み量Ａである。そこで、台形歪推定部２８は、手ぶれに起因して生じる並進速度（以下、これを「手ぶれ並進速度」と呼ぶ。）から、手ぶれに応じた角度変化を推定する。
【０１９６】
台形歪推定部２８は、横方向および縦方向の並進速度のうち、手ぶれ並進速度ｈ−ｈｆおよびｖ−ｖｆを算出する。台形歪推定部２８は、手ぶれ並進速度ｈ−ｈｆおよびｖ−ｖｆに対し、指定係数ｍおよびｎ、並びに固定係数ｐおよびｑを乗算することにより、（１８）式に従って手ぶれに応じた角度変化ｙａｗおよびｐｉｔｃｈを推定する。
【０１９７】
【数１８】
2011217044.tif 000022
【０１９８】
なお、指定係数ｍおよびｎは、外部によって指定されるパラメータであり、台形歪み推定処理では、初期値として「１」が設定されている。固定係数ｐおよびｑは、手ぶれによる角度変化と手ぶれ並進速度との相関関係に基づいて統計的に、または理論的に求められた係数である。
【０１９９】
台形歪推定部２８は、（１８）式において得られた値を用いることにより、（１９）式に従って、角度パラメータωおよびφを算出する。
【０２００】
【数１９】
2011217044.tif 000023
【０２０１】
ただし、角度パラメータωおよびφの値が誤っていると、フレーム画像が破綻する。このため、図２４に示すように、台形歪推定部２８は、角度パラメータωおよびφの値が妥当な角度範囲内（−Ａｇ°〜＋Ａｇ°）であるか否かを判別する。
【０２０２】
台形歪推定部２８は、角度パラメータωおよびφの値が妥当な角度範囲内にある場合には、角度パラメータωおよびφをそのまま使用する。一方、台形歪推定部２８は、角度パラメータωおよびφの値が妥当な角度範囲内にない場合には、角度パラメータωおよびφの値を「０」とみなすようにする。
【０２０３】
台形歪推定部２８は、算出した角度パラメータωおよびφの値を（１７）式に代入することにより、台形歪み量Ａを行列として算出する。台形歪推定部２８は、台形歪み量Ａを補正ベクトル生成部２９へ供給する。
【０２０４】
このように、台形歪推定部２８は、モーション成分パラメータｈおよびｖに基づいて台形歪み量Ａを推定するようになされている。
【０２０５】
次に、画像処理プログラムに従って実行される台形歪み推定処理について、図２５のフローチャートを用いて説明する。
【０２０６】
台形歪推定部２８は、モーション成分パラメータｖおよびｈが供給されると、台形歪み推定処理を開始し、ステップＳ５０２へ移る。
【０２０７】
ステップＳ５０２において、台形歪推定部２８は、台形歪み量Ａを（１７）式のように射影変換によってモデル化すると、次のステップＳＰ５０４へ移る。
【０２０８】
ステップＳ５０４において、台形歪推定部２８は、角度パラメータωおよびφを算出すると、次のステップＳ５０６へ移る。
【０２０９】
ステップＳ５０６において、台形歪推定部２８は、角度パラメータωおよびφが妥当な角度範囲内であるか否かを判別する。ここで肯定結果が得られると、台形歪推定部２８は、次のステップＳ５０８へ移る。
【０２１０】
これに対してステップＳ５０６において否定結果が得られると、角度パラメータωおよびφが誤っている可能性が高いため、台形歪推定部２８は、次のステップＳ５１０へ移る。
【０２１１】
ステップＳ５１０において、台形歪推定部２８は、角度パラメータωおよびφの値を「０」に置き換え、次のステップＳ５０８へ移る。
【０２１２】
ステップＳ５０８において、台形歪推定部２８は、（１７）式に角度パラメータωおよびφの値を代入すると、終了ステップへ移って台形歪み推定処理を終了する。
【０２１３】
［１−１０．補正ベクトルの生成］
補正ベクトル生成部２９は、手ぶれ、フォーカルプレーン歪みおよび台形歪みを補正するために、処理フレーム画像に対して適用する補正ベクトルＶｃを生成するようになされている。
【０２１４】
便宜上、成分分離式における各成分および行列を（２０）式のように表記すると、（１１）式に示した成分分離式を（２１）式のように表すことができる。なお変換前座標Ｘ０は、参照フレーム画像ＦＭ０に対応する座標であり、変換後座標Ｘ１は、処理フレーム画像ＦＭ０に対応する座標である。
【０２１５】
【数２０】
2011217044.tif 000024
【０２１６】
【数２１】
2011217044.tif 000025
【０２１７】
ここで、手ぶれ量をＭｓ、カメラワーク量をＭｃと表すと、（２２）式が成立する。
【０２１８】
【数２２】
2011217044.tif 000026
【０２１９】
手ぶれ量Ｍｓは、カメラモーション成分ＣＭ（Ｍ）におけるモーション成分パラメータからカメラワーク成分パラメータを減算することにより算出することができる。補正ベクトル生成部２９は、カメラワーク量算出部２７から供給されるモーション成分パラメータθ、ｓ、ｈおよびｖ並びにカメラワーク成分パラメータθｆ、ｓｆ、ｈｆおよびｖｆから、（２３）式に従って手ぶれ量Ｍｓを算出する。
【０２２０】
【数２３】
2011217044.tif 000027
【０２２１】
（２１）式に対して（２２）式を代入し、変形することにより、（２４）式のように表すことができる。
【０２２２】
【数２４】
2011217044.tif 000028
【０２２３】
さらに（２４）式を変形することにより、（２５）式を得ることができる。
【０２２４】
【数２５】
2011217044.tif 000029
【０２２５】
従って、（２５）式に示すように、変換前座標Ｘ０に対して、カメラワーク量Ｍｃのみを作用させた左辺が、変換後座標Ｘ１に対して手ぶれ量Ｍｓの逆行列およびフォーカルプレーン歪みＣＦ（Ｆ）の逆行列を作用させた右辺と等しくなることがわかる。
【０２２６】
言い換えると、変換後座標Ｘ１に対して、（２６）式に示す補正ベクトルＶｃを乗算することにより、参照フレーム画像ＦＭ０からカメラワーク量Ｍｃのみを作用させた（すなわち手ぶれ、ＦＰ歪み補正量ＣＦｃおよび台形歪み量Ａを相殺した）座標を得ることができる。
【０２２７】
【数２６】
2011217044.tif 000030
【０２２８】
従って、補正ベクトル生成部２９は、モーション成分パラメータθ、ｓ、ｈおよびｖ、カメラワーク成分パラメータθｆ、ｓｆ、ｈｆおよびｖｆ、ＦＰ歪み成分パラメータｅｃおよびｂｃが供給されると、（２３）式および（２６）式に従って、補正ベクトルＶｃを生成し、動き補償部３０に供給する。また補正ベクトルＶｃは、各視点の映像（映像データ）に対して１つ生成されるため、本実施の形態では、複数の補正ベクトルＶｃが生成されることになる。
【０２２９】
この結果、動き補償部３０によって各視点の映像（映像データ）に対する補正ベクトルＶｃが各視点の映像（映像データ）に適用されることにより、処理フレーム画像ＦＭ１における手ぶれ、フォーカルプレーン歪みおよび台形歪みが補正されるようになされている。
【０２３０】
このように、補正ベクトル生成部２９は、手ぶれ、フォーカルプレーン歪みおよび台形歪みが補正されたことにより、参照フレーム画像ＦＭ０と比して、カメラワーク量Ｍｃのみを作用させた状態でなる処理フレーム画像ＦＭ１を生成し得るようになされている。
【０２３１】
次に、画像処理プログラムに従って実行される補正ベクトル生成処理について、図２６のフローチャートを用いて説明する。
【０２３２】
補正ベクトル生成部２９は、カメラモーション成分ＣＭ、カメラワーク成分ＣＭｃ、ＦＰ歪み補正量ＣＦｃおよび台形歪み量Ａが供給されると、補正ベクトル生成処理を開始し、ステップＳ６０２へ移る。
【０２３３】
ステップＳ６０２において、補正ベクトル生成部２９は、カメラモーション成分ＣＭおよびカメラワーク成分ＣＭｃに基づいて、（２３）式に従って手ぶれ量Ｍｓを算出すると、次のステップＳ６０４へ移る。
【０２３４】
ステップＳ６０４において、補正ベクトル生成部２９は、（２６）式に手ぶれ量Ｍｓの逆行列（Ｍｓ−１）およびＦＰ歪み補正量ＣＦｃの逆行列（Ｆ−１）を代入すると、次のステップＳ６０６へ移る。
【０２３５】
ステップＳ６０６において、補正ベクトル生成部２９は、（２６）式に従って補正ベクトルＶｃを生成すると、終了ステップへ移って補正ベクトル生成処理を終了する。
【０２３６】
なお、上述した一連の画像処理は、ハードウェアにより実行させることもでき、また、ソフトウェアにより実行させることも可能である。画像処理をソフトウェアによって実現する場合、ＣＰＵおよびＲＡＭに仮想的に画像処理部１３が形成される。そして、ＲＯＭに格納された画像処理プログラムをＲＡＭに展開することにより、画像処理が実行される。
【０２３７】
［１−１１．動作および効果］
以上の構成において、画像処理端末１０の画像処理部１３は、処理対象のフレーム画像を構成する少なくとも２枚以上の映像データのうちの１枚の映像データから、フレーム画像全体の動きを表す動きベクトルであるグローバル動きベクトルＧＭＶを検出する。画像処理部１３は、カメラの動きであるカメラモーションおよびフォーカルプレーン歪みの変化量をそれぞれ表す未知の成分パラメータθ、ｓ、ｈ、ｖ、ｅおよびｂを用いることにより、検出されたグローバル動きベクトルＧＭＶを成分分離式（（１１）式）にモデル化する。この結果、成分分離式では、カメラモーション成分ＣＭおよびフォーカルプレーン歪み成分ＣＦを分離して表すことができる。
【０２３８】
画像処理部１３は、成分分離式において用いられた成分パラメータθ、ｓ、ｈ、ｖ、ｅおよびｂを算出することにより、グローバル動きベクトルＧＭＶにおけるカメラモーション成分ＣＭを算出する。
【０２３９】
これにより、画像処理部１３は、グローバル動きベクトルＧＭＶがカメラモーション成分ＣＭおよびフォーカルプレーン歪み成分ＣＦのみで構成されていると擬制することができる。このため、画像処理部１３は、簡易な処理によりグローバル動きベクトルＧＭＶにおけるカメラモーション成分ＣＭを算出することができる。
【０２４０】
画像処理部１３は、カメラモーション成分ＣＭに基づいて、フレーム画像ＦＭにおける手ぶれを補正する。これにより、画像処理部１３は、フォーカルプレーン歪み成分ＣＭが取り除かれたカメラモーション成分ＣＭに基づいて、カメラモーション成分ＣＭからユーザの意図した動きを除いたぶれである手ぶれを補正できるため、手ぶれ補正の精度を向上させることができる。
【０２４１】
画像処理部１３は、カメラモーション成分ＣＭを、縦方向および横方向への並進速度を表す並進要素ＥＭａ、拡縮方向への拡縮速度を表す拡縮要素ＥＭｃおよび１方向への角度変化を表す回転要素として表す。
【０２４２】
これにより、画像処理部１３は、カメラモーション成分ＣＭを、平行移動および１方向の角度変化を含有するアフィン変換式として表すことができるため、成分分離式の取り扱いおよび成分パラメータの算出を簡易にし得る。
【０２４３】
画像処理部１３は、グローバル動きベクトルＧＭＶを、並進要素ＥＭａ、拡縮要素ＥＭｃおよび１方向の回転要素ＥＭｂからなるアフィン変換式として表す。
【０２４４】
画像編集などの一般的な画像処理においては、グローバル動きベクトルＧＭＶをアフィン変換式として取り扱うことが多い。このため、画像処理部１３は、一般的な画像処理と同様にグローバル動きベクトルＧＭＶを取り扱うことができるため、処理を効率化することができる。
【０２４５】
画像処理部１３は、カメラモーション成分ＣＭに基づいて、ユーザの意図したカメラの動きであるカメラワーク成分ＣＭｃを算出し、カメラモーション成分ＣＭからカメラワーク成分ＣＦｃを減算することにより、手ぶれの量である手ぶれ量Ｍｓを算出する。
【０２４６】
画像処理部１３は、算出された手ぶれ量Ｍｓに基づいて、グローバル動きベクトルＧＭＶにおける手ぶれを補正する補正ベクトルＶｃを生成する。画像処理部１３は、グローバル動きベクトルＧＭＶに対し、生成された補正ベクトルＶｃを適用する。
【０２４７】
これにより、画像処理部１３は、処理フレーム画像ＦＭ１における手ぶれを、算出された手ぶれ量Ｍｓだけ補正することができ、処理フレーム画像ＦＭ１における手ぶれを低減することができる。
【０２４８】
画像処理部１３は、カメラモーション成分ＣＭおよびフォーカルプレーン歪み成分ＣＦを行列式として表す。これにより、画像処理部１３は、カメラモーション成分ＣＭおよびフォーカルプレーン歪み成分ＣＦのモデル化を容易にすることができる。
【０２４９】
画像処理部１３は、手ぶれ量Ｍｓの逆行列Ｍｓ−１を含む行列式を補正ベクトルＶｃとして生成する。これにより、画像処理部１３は、処理フレーム画像に対する補正ベクトルＶｃの適用により、手ぶれ量Ｍｓに対応する手ぶれを処理フレーム画像から相殺することができる。
【０２５０】
画像処理部１３は、算出されたフォーカルプレーン歪み成分ＣＦに基づいて、フレーム画像を補正するフォーカルプレーン歪み補正量としてのＦＰ歪み補正量ＣＦｃを算出し、ＦＰ歪み補正量ＣＦｃの逆行列Ｆ−１を含む行列式を補正ベクトルＶｃとして生成する。
【０２５１】
これにより、画像処理部１３は、処理フレーム画像に対する補正ベクトルＶｃの適用により、ＦＰ歪み補正量ＣＦｃに対応するフォーカルプレーン歪みを処理フレーム画像から相殺することができる。
【０２５２】
画像処理部１３は、回転要素ＥＭｂの前に、原点を中心に移動させる原点補正行列ＭＣ１を乗算し、回転要素ＥＭｂの後に原点を中心に移動させる前の位置に戻す原点補正逆行列ＭＣ２を乗算する。
【０２５３】
これにより、画像処理部１３は、原点がフレーム画像の中心以外の位置にある場合であっても、フレーム画像の中心を原点として当該フレーム画像を適切に回転させることができる。
【０２５４】
画像処理部１３は、回転要素ＥＭｂの前に、画素のアスペクト比を１：１に変更するアスペクト比補正行列ＭＰ１を乗算し、回転要素ＥＭｂの後に、画素を基のアスペクト比に戻すアスペクト比補正逆行列ＭＰ２を乗算する。
【０２５５】
これにより、画像処理部１３は、画素のアスペクト比を１：１として扱うことができるため、画素のアスペクト比が１：１でない場合であっても、当該フレーム画像を適切に回転させることができる。
【０２５６】
画像処理部１３は、補正ベクトルをＶｃ、原点補正行列をＣ、アスペクト比補正行列Ｐ、手ぶれの量の逆行列をＭｓ−１、フォーカルプレーン歪み補正量の逆行列をＦ−１、原点補正逆行列をＣ−１、アスペクト比補正逆行列をＰ−１としたとき、（２６）式に従って補正ベクトルを生成する。
【０２５７】
これにより、画像処理部１３は、回転に係わる回転中心や画素のアスペクト比の問題を除去した上で、手ぶれ量ＭｓおよびＦＰ歪み補正量ＣＦｃを補正し得る補正ベクトルＶｃを生成することができる。
【０２５８】
画像処理部１３は、グローバル動きベクトルＧＭＶの信頼度を表す信頼度情報を生成し、生成された信頼性情報に基づいて、グローバル動きベクトルＧＭＶの信頼度が高いカメラモーション成分ＣＭのみを用いてカメラワーク成分ＣＭｃを算出する。
【０２５９】
これにより、画像処理部１３は、信頼度が低く誤差が大きい可能性が高いカメラモーション成分ＣＭを使用しなくて済むため、カメラワーク成分ＣＭｃの検出精度を向上させることができる。
【０２６０】
画像処理部１３は、ＬＰＦ処理により、カメラモーション成分ＣＭからカメラワーク成分ＣＭｃを生成する。これにより、画像処理部１３は、簡易な処理でカメラワーク成分ＣＭｃを生成し得る。
【０２６１】
フレーム画像データは、１方向の角度変化を表す回転要素ＥＭｂと相違する２方向の角度変化を表す回転要素に対する手ぶれが予め補正されている。これにより、画像処理部１３は、角度変化の抑制された２方向の値が非常に小さいと擬制することができるため、カメラモーション成分ＣＭを高い精度で算出することができる。
【０２６２】
画像処理部１３は、ヨー方向およびピッチ方向の角度変化を表す回転要素に対する手ぶれが予め補正されている。これにより、画像処理部１３は、角度変化として成分分離式に表現できないヨー方向およびピッチ方向の角度変化を並進速度として表すことができ、カメラモーション成分ＣＭにおける誤差を小さくすることができる。
【０２６３】
画像処理部１３は、成分パラメータをｅおよびｂとするとき、フォーカルプレーン成分ＣＦを（１）式のようにモデル化する。これにより、画像処理部１３は、縦方向の拡縮と平行四辺形状の歪みとして表われるフォーカルプレーン歪みを適切にモデル化することができる。
【０２６４】
画像処理部１３は、成分パラメータをθ、ｈ、ｖおよびｓとするとき、カメラモーション成分ＣＭを、（３）式のようにモデル化する。これにより、画像処理部１３は、カメラモーション成分ＣＭを、ロール方向の回転と、縦方向および横方向の並進速度と、拡縮速度として、適切にモデル化することができる。
【０２６５】
画像処理部１３は、動きベクトルを、（１１）式のようにモデル化する。これにより、画像処理部１３は、グローバル動きベクトルＧＭＶを、回転に係わる回転中心や画素のアスペクト比の問題を除去した上で、１方向の回転のみを含むアフィン変換式として、カメラモーション成分ＣＭおよびフォーカルプレーン歪み成分ＣＦを適切に分離してモデル化することができる。
【０２６６】
以上の構成によれば、画像処理部１３は、グローバル動きベクトルＧＭＶがカメラモーション成分ＣＭおよびフォーカルプレーン歪み成分ＣＦからほぼ構成されると仮定して、未知の成分パラメータを用いて成分分離式にモデル化する。画像処理部１３は、成分パラメータを算出することにより、カメラモーション成分ＣＭを算出するようにした。
【０２６７】
これにより、画像処理部１３は、簡易な成分分離式により、簡易な処理でカメラモーション成分ＣＭを算出することができる。
【０２６８】
上述した第１の実施の形態において、マッチング処理部２３は、マッチング処理としてのステレオマッチングをフレーム画像毎に行わずに例えば以下のようなタイミングでマッチング処理を行うのがよい。
【０２６９】
例えば、マッチング処理部２３は、最初のフレーム画像に対してステレオマッチングを行い、その後は、定期的に、例えば３０フレームごとにステレオマッチングを行う。そして、ステレオマッチングの処理結果を、マッチング処理部２３において保持しておき、次回のステレオマッチングの処理を行うまでは前回のステレオマッチングの処理結果を用いる。
【０２７０】
また、例えば、図２７に示すように、画像処理部１１３において、動き検出部１２２から動きベクトルの情報をマッチング処理部１２３に供給する。そして、マッチング処理部１２３は、最初のフレーム画像に対してステレオマッチングを行い、その後は、動き検出部１２２で検出された動きベクトルが閾値以上の動きを見せた場合、例えばアフィン変換によって画面中心点の動き量を求め、Ｘ軸またはＹ軸方向に画面の１／１０以上動く場合に、ステレオマッチングを行う。閾値以上の動きを見せない場合は、マッチング処理部１２３は、前回のステレオマッチングの処理結果を、マッチング処理部１２３において保持しておき、次回のステレオマッチングの処理を行うまでは前回のステレオマッチングの処理結果を用いる。
【０２７１】
また、例えば、マッチング処理部２３は、最初のフレーム画像に対してステレオマッチングを行い、その後は、シーンチェンジがある時に再びステレオマッチングを行う。この場合には、シーンチェンジ検出器（図示しない）を別途用意する。シーンチェンジ検出器には入力映像が入力され、シーンチェンジフラグをマッチング処理部２３に向けて出力する。
【０２７２】
また、例えば、マッチング処理部２３は、入力映像がＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）などによって符号化されている場合は、ピクチャタイプがイントラフレームのときにステレオマッチングを行う。
【０２７３】
また、上述した第１の実施の形態において、マッチング処理部２３は、マッチング処理において、図２８（Ａ）に示すように、縦方向と横方向とで、同じ位置関係のステレオマッチングの処理結果を用いてマッチング処理結果の信頼性の向上を図ってもよい。例えば、同じ位置関係のマッチング処理結果がＮ個あったとすると、そのＮ個のうちの最大値と最小値とを除く。そして、その残りの値を平均して、全てのマッチング処理結果を平均値で上書きすることにより、誤検出率を低下させることができる。また、例えば、同じ位置関係のマッチング処理結果の分散値を求めて、その値が閾値より小さい場合には平均値で上書きするが、大きい場合にはなにもしないことによって、誤検出率を低下させることができる。
【０２７４】
また、上述した第１の実施の形態では、マッチング処理部２３は、処理対象のフレーム画像を構成する少なくとも２枚以上の映像データにおける全ての視点の映像データの縦方向および横方向の相対的な位置関係を得ていたが、図２８（Ｂ）に示すように、マッチング処理において、全ての視点の組み合わせをステレオマッチングせずに、中央付近の視点のみステレオマッチングを行い、その他の視点間のステレオマッチングは中央付近の視点に対して行ったステレオマッチングの処理結果を用いて推定してもよい。図２８（Ｂ）に示すように、例えば３×１視点の場合は、図中矢印の視点間でステレオマッチングを行う。そして、例えば視点１と視点２の距離は視点４と視点５の結果を用いて推定を行う。
【０２７５】
また、上述した第１の実施の形態において、動き成分分離処理部２４は、ヘルマート変換を用いてもよい。この場合、ヘルマート変換における原点の算出においては、マッチング処理部２３で算出された各視点の焦点情報を用いる。
【０２７６】
また、上述した第１の実施の形態において、動き成分分離処理部２４は、フレーム画像ごとに決まったグローバル動きベクトルＧＭＶに対して成分分離を行うのではなく、毎回動的に成分分離を行うグローバル動きベクトルＧＭＶを決定してもよい。この場合、例えば、グローバル動きベクトルＧＭＶのうちの最も信頼度の高いものに対して成分分離を行うのがよい。
【０２７７】
また、上述した第１の実施の形態では、ステレオマッチングの処理結果を背景領域のみ利用していたが、ステレオマッチングの結果、図２９（Ａ）に示すようなデプスマップＤＭが得られた場合は、同じデプスの領域ごとに、動き成分分離処理部２４から補正ベクトル生成部２９までの処理を行い、動き補償部３０において各デプス領域を合成する。すなわち、動き成分分離処理部２４から補正ベクトル生成部２９までの処理は、１フレーム画像あたり、視点数×デプス領域の数分だけ行われることになる。
【０２７８】
例えば、図２９（Ｂ）に示すデプス領域ＤＡ（便宜上、領域を矩形で示しているが、デプス領域は人型であって矩形でない）に対しては、そのデプス領域ＤＡに対して算出されたステレオマッチングの処理結果（画像距離）を用いて動き成分分離処理部２４以降の処理を行う。なお、ステレオマッチングにおいては、デプス領域の重心を原点として焦点情報が生成される。動き補償部３０では、デプス領域を奥から順番に重ねあわせて処理を行っていく。そして、動き補償部３０では、最後にインペインティングなどの処理により、フレームバッファ中に存在する空白領域（ピクセル値が埋まっていない領域）を埋める。
【０２７９】
＜２．他の実施の形態＞
なお上述した第１の実施の形態においては、カメラモーション成分ＣＭを用いて手ぶれ量Ｍｓを算出し、手ぶれを補正するようにした場合について述べた。本発明はこれに限らず、カメラモーション成分ＣＭの使用方法に制限はない。例えばカメラモーション成分ＣＭを用いて対応する画素を特定し、線形補間処理に利用することにより、フレーム画像データの品質を向上させても良い。
【０２８０】
また上述した第１の実施の形態においては、カメラモーション成分ＣＭを並進要素ＥＭａ、回転要素ＥＭｂおよび拡縮要素ＥＭｃにモデル化するようにした場合について述べた。本発明はこれに限らず、例えば、並進要素ＥＭａおよび拡縮要素ＥＭｃにモデル化するようにしても良い。また、回転要素ＥＭｂが３方向の角度変化を表すようにしても良い。
【０２８１】
さらに上述した第１の実施の形態においては、カメラモーション成分ＣＭに基づく補正ベクトルＶｃにより、フレーム画像を補正するようにした場合について述べた。本発明はこれに限らず、補正係数を用いるなど、種々の方法でフレーム画像を補正するようにしても良い。
【０２８２】
さらに上述した第１の実施の形態においては、（１１）式に従って、カメラモーション成分ＣＭおよびフォーカルプレーン歪み成分ＣＦの両方を算出するようにした場合について述べた。本発明はこれに限らず、少なくともカメラモーション成分ＣＭを算出すればよい。
【０２８３】
さらに上述した第１の実施の形態においては、成分分離式を行列式で表すようにした場合について述べた。本発明はこれに限らず、一般的な方程式で表すようにしても良い。
【０２８４】
さらに上述の第１の実施の形態においては、回転要素ＥＭｂの前に原点補正行列ＭＣ１を乗算し、回転要素ＥＭｂの後に原点補正逆行列ＭＣ２を乗算するようにした場合について述べた。本発明はこれに限らず、この処理は必ずしも必要でない。例えば初めから原点が中心または中心近傍に位置する場合には、この処理を省略できる。
【０２８５】
さらに上述の第１の実施の形態においては、回転要素ＥＭｂの前にピクセル比補正行列ＭＰ１を乗算し、回転要素ＥＭｂの後にピクセル比補正逆行列ＭＰ２を乗算するようにした場合について述べた。本発明はこれに限らず、この処理は必ずしも必要でない。例えば初めからピクセル比が１：１または１：１近傍である場合には、この処理を省略できる。
【０２８６】
さらに上述した第１の実施の形態においては、フィルタリング処理部２６が信頼度情報に基づいてフォーカルプレーン歪み成分ＣＦおよびカメラモーション成分ＣＭをふるい分けするようにした場合について述べた。本発明はこれに限らず、フィルタリング処理は必ずしも必要ではない。また、フォーカルプレーン歪み成分ＣＦおよびカメラモーション成分ＣＭのいずれか一方に対してのみ実行しても良い。また、動き検出部２２は、信頼度指標の合計値を信頼度情報としても良い。
【０２８７】
さらに上述した第１の実施の形態においては、ＬＰＦ処理によりカメラモーション成分ＣＭからカメラワーク成分ＣＭｃを生成するようにした場合について述べた。本発明はこれに限らず、その他種々の方法によりカメラワーク成分ＣＭｃを生成することができる。
【０２８８】
さらに上述した第１の実施の形態においては、カムコーダから供給されるフレーム画像データが、既に手ぶれ補正されているようにした場合について述べた。本発明はこれに限らず、フレーム画像データにおける手ぶれ補正の有無について、特に制限はない。
【０２８９】
さらに上述した第１の実施の形態においては、情報処理装置である画像処理端末１０が本発明の画像処理を実行するようにした場合について述べた。本発明はこれに限らず、撮像機能を有する撮像装置が本発明の画像処理を実行するようにしても良い。これにより、画像処理装置から、ハード的なセンサを省略することができる。また、ハード的なセンサと本発明の画像処理を組み合わせても良い。例えばジャイロセンサに応じてヨー方向とピッチ方向の角度変化のみを物理的に補正しながら、第１の実施の形態を実行することができる。
【０２９０】
さらに、上述した第１の実施の形態においては、画像処理プログラム等をＲＯＭまたはハードディスクドライブなどに予め格納するようにした場合について述べたが、本発明はこれに限らず、メモリースティック（ソニー株式会社の登録商標）などの外部記憶媒体からフラッシュメモリなどにインストールするようにしても良い。また、画像処理プログラムなどをＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）やＥｔｈｅｒｎｅｔ（登録商標）、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ  ｏｆ  Ｅｌｅｃｔｒｉｃａｌ  ａｎｄ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｅｎｇｉｎｅｅｒｓ）８０２．１１ａ／ｂ／ｇなどの無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）を介して外部から取得し、さらに、は地上ディジタルテレビジョン放送やＢＳディジタルテレビジョン放送により配信されるようにしても良い。
【０２９１】
さらに上述した第１の実施の形態においては、被写体を動画像データとして撮像するカメラとして、カムコーダを用いるようにした場合について述べた。本発明はこれに限らず、例えば携帯電話機の内蔵カメラやデジタルスチルカメラの動画機能などをカメラとして用いるようにしても良い。
【０２９２】
さらに上述した第１の実施の形態においては、動き検出部としての動き検出部２２と、モデル化部および成分算出部としての動き成分分離処理部２４とによって画像処理装置としての画像処理部１３を構成するようにした場合について述べた。本発明はこれに限らず、その他種々の構成による動き検出部と、モデル化部と、成分算出部とによって本発明の画像処理装置を構成するようにしても良い。
【０２９３】
以上、添付図面を参照しながら本発明の好適な実施の形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【産業上の利用可能性】
【０２９４】
本発明は、例えば撮像されたフレーム画像データが編集されるパーソナルコンピュータやハードディスクレコーダなどの画像編集装置に利用することができる。
【符号の説明】
【０２９５】
１    カムコーダ
１０    画像処理端末
１１    モニタ部
１２    操作部
１３    画像処理部
２１    フレームメモリ蓄積バッファ
２２    動き検出部
２３    マッチング処理部
２４    動き成分分離処理部
２５    動き成分・歪成分蓄積バッファ部
２６    フィルタリング処理部
２７    デジタルフィルタ処理部
２８    台形歪推定部
２９    補正ベクトル生成部
３０    動き補償部
ＦＭ    フレーム画像
ＬＭＶ    ローカル動きベクトル
ＧＭＶ    グローバル動きベクトル
ＳＢ    被写体
ＣＦ    フォーカルプレーン歪み成分
ＣＭ    カメラモーション成分
ＥＦａ    ＦＰ歪み縦方向拡縮要素
ＥＦｂ    ＦＰ歪み平行四辺形要素
ＥＭａ    並進要素
ＥＭｂ    回転要素
ＥＭｃ    拡縮要素
ＭＣ１    原点補正行列
ＭＣ２    原点補正逆行列
ＭＰ１    ピクセル比補正行列
ＭＰ２    ピクセル比補正逆行列。
【図１】
2011217044.tif 000033
【図２】
2011217044.tif 000034
【図３】
2011217044.tif 000035
【図４】
2011217044.tif 000036
【図５】
2011217044.tif 000037
【図６】
2011217044.tif 000038
【図７】
2011217044.tif 000039
【図８】
2011217044.tif 000040
【図９】
2011217044.tif 000041
【図１０】
2011217044.tif 000042
【図１１】
2011217044.tif 000043
【図１２】
2011217044.tif 000044
【図１３】
2011217044.tif 000045
【図１４】
2011217044.tif 000046
【図１５】
2011217044.tif 000047
【図１６】
2011217044.tif 000048
【図１７】
2011217044.tif 000049
【図１８】
2011217044.tif 000050
【図１９】
2011217044.tif 000051
【図２０】
2011217044.tif 000052
【図２１】
2011217044.tif 000053
【図２２】
2011217044.tif 000054
【図２３】
2011217044.tif 000055
【図２４】
2011217044.tif 000056
【図２５】
2011217044.tif 000057
【図２６】
2011217044.tif 000058
【図２７】
2011217044.tif 000059
【図２８】
2011217044.tif 000060
【図２９】
2011217044.tif 000061