(57)【要約】【課題】手振れ補正時におけるフォーカルプレーン歪みをユーザーに対して認識させにくくすることが可能な画像処理装置、画像処理方法、プログラム及び記録媒体を提供する。【解決手段】ＣＭＯＳ撮像素子によって撮影された複数のフレーム画像に基づいて画像の動き量を検出する動き検出部と、動き量に基づいて撮影時の撮像装置の移動速度を推定する動作推定部と、移動速度が大きいほどユーザーが意図する撮像装置の移動動作を残存させるように画像の動き量を補正する補正値を算出する補正値算出部と、補正値を使用して、ユーザーが意図する撮像装置の移動動作のみを画像に残す補正をする動き補償部とを備える。【選択図】図１
2011114407.tif 000002
【特許請求の範囲】
【請求項１】
ＣＭＯＳ撮像素子によって撮影された複数のフレーム画像に基づいて画像の動き量を検出する動き検出部と、
前記動き量に基づいて撮影時の撮像装置の移動速度を推定する動作推定部と、
前記移動速度が大きいほどユーザーが意図する前記撮像装置の移動動作を残存させるように前記画像の前記動き量を補正する補正値を算出する補正値算出部と、
前記補正値を使用して、前記ユーザーが意図する前記撮像装置の移動動作のみを画像に残す補正をする動き補償部と
を備える、画像処理装置。
【請求項２】
前記補正値算出部は、前記移動速度と前記ＣＭＯＳ撮像素子の読み出し性能に依存する閾値との関係に基づいて、前記補正値を算出する関数を選択する、請求項１に記載の画像処理装置。
【請求項３】
前記関数は、前記撮像装置の前記移動速度が速いときは、前記ユーザーが意図する前記撮像装置の移動動作を残し、前記撮像装置の前記移動速度が遅いときは、前記ユーザーが意図する前記撮像装置の移動動作を残さないようなフィルタ関数である、請求項２に記載の画像処理装置。
【請求項４】
前記フィルタ関数は、バイラテラルフィルタを利用して得られる、請求項３に記載の画像処理装置。
【請求項５】
動き検出部が、ＣＭＯＳ撮像素子によって撮影された複数のフレーム画像に基づいて画像の動き量を検出するステップと、
動作推定部が、前記動き量に基づいて撮影時の撮像装置の移動速度を推定するステップと、
補正値算出部が、前記移動速度が大きいほどユーザーが意図する前記撮像装置の移動動作を残存させるように前記画像の前記動き量を補正する補正値を算出するステップと、
動き補償部が、前記補正値を使用して、前記ユーザーが意図する前記撮像装置の移動動作のみを画像に残す補正をするステップと
を備える、画像処理方法。
【請求項６】
ＣＭＯＳ撮像素子によって撮影された複数のフレーム画像に基づいて画像の動き量を検出する手段、
前記動き量に基づいて撮影時の撮像装置の移動速度を推定する手段、
前記移動速度が大きいほどユーザーが意図する前記撮像装置の移動動作を残存させるように前記画像の前記動き量を補正する補正値を算出する手段、
前記補正値を使用して、前記ユーザーが意図する前記撮像装置の移動動作のみを画像に残す補正をする手段
としてコンピュータを機能させるためのプログラム。
【請求項７】
ＣＭＯＳ撮像素子によって撮影された複数のフレーム画像に基づいて画像の動き量を検出する手段、
前記動き量に基づいて撮影時の撮像装置の移動速度を推定する手段、
前記移動速度が大きいほどユーザーが意図する前記撮像装置の移動動作を残存させるように前記画像の前記動き量を補正する補正値を算出する手段、
前記補正値を使用して、前記ユーザーが意図する前記撮像装置の移動動作のみを画像に残す補正をする手段
としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、プログラム及び記録媒体に関する。
【背景技術】
【０００２】
動画撮影時の手振れによるカメラの動きの影響によって、揺れのある画像が撮影される場合がある。この揺れのある画像を安定化させるための手振れ補正（Image  Stabilization）に関する技術は、（１）撮影時の手振れ補正、（２）後処理（ポスト処理）での手振れ補正に分けられる。
【０００３】
上述（１）の撮影時の手振れ補正は、ビデオカメラが撮影中に行う補正であり、補正手段は機器内に実装される。一方、（２）のポスト処理での手振れ補正は、撮影後に映像編集する際に行う補正であり、補正手段は例えば動画編集用のソフトウェア等に実装される。
【０００４】
手振れ補正のため、撮影時のカメラの動きを検出する「動き検出」には、「電子検出方式」と「物理量検出方式」の２種類がある。電子検出方式は、画像を信号処理することによって動きベクトルを検出し、撮影時の動きを検出する。一方、物理量検出方式は、カメラに搭載された物理量センサによって、撮影時のカメラの動きを直接検出する。電子検出方式は、電子回路によって小型で軽量に実現でき、コスト削減にもつながるというメリットがある一方で、誤検出が発生しうるというデメリットがある。また、物理量検出方式は、誤検出を完全に防止できるというメリットがある一方で、センサの分だけ回路が大きくなり、コスト増にもつながるというデメリットがある。
【０００５】
（１）の撮影時の手振れ補正には、電子検出方式と物理量検出方式のいずれかが用いられる。物理量検出方式によれば、高機能な補正という要求に応えられるが、廉価版機種に電子検出方式が採用される場合がある。（２）のポスト処理での手振れ補正には、動き検出として、電子検出方式のみが用いられる。物理量センサの検出値を取得できないため、物理量検出方式は用いることができない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−７８８０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ビデオカメラに撮影時の手振れ補正機能が搭載されている場合、ポスト処理での手振れ補正は不要であるとも考えられる。しかし、撮影時の手振れ補正で、物理量検出方式によって動き検出を行う場合、図５に示すように、物理量センサは（１）ヨー検出と（２）ピッチ検出しか搭載していないことが通常である。そのため、物理量センサはすべての動きを検出できない。また、物理量センサには温度ドリフトの影響によって低周波が検出できないという問題もある。すなわち、撮影時の手振れ補正では、ハードウェアの制約から全ての軸の動きを検出できず、また特定の周波数の動きについても検出ができないという欠点がある。図５は、センサが検出可能なカメラの動きを示す説明図である。図５（Ａ）は座標軸を示し、図５（Ｂ），（Ｃ），（Ｄ）は画像内の物体の見え方の変化を表している。
【０００８】
上記のような背景から、撮影時の手振れ補正の欠点を補完すべく、ポスト処理での手振れ補正が撮影後の動画編集において行われる。
【０００９】
ところで、動き検出の電子式検出には、撮像素子に起因するフォーカルプレーン歪みの問題も生じてくる。従来、ビデオカメラの撮像素子にはＣＣＤ（Charge-coupled  Device）が用いられていた。ＣＣＤは１フレーム分のデータを一度に転送するグローバルシャッタ方式を用いている。しかし、近年、ＣＭＯＳ（Complementary  metal−oxide−semiconductor）が採用される傾向にある。ＣＭＯＳは、ＣＣＤとは違って、１ラインごとにデータを転送していくフォーカルプレーンシャッタ方式（ローリングシャッタ方式ともいう。）を採用する。その結果、図６に示すように、撮影した映像が同一フレームまたは同一フィールドであってもライン毎に異なる時間となる。図６は、ＣＭＯＳセンサの読み出し方式を示す説明図である。
【００１０】
上記のようなＣＭＯＳの動作原理の都合上、ＣＭＯＳ撮像素子を用いて撮影した場合、画面内で左から右へ、又は右から左へ移動する物体は、縦方向の垂直線であれば、図７（Ａ），（Ｂ）に示すように斜め線に映る。そして、物体が正方形又は長方形であれば、図８（Ａ）に示すように平行四辺形に映る。また、画面内で上から下へ移動する物体は、図７（Ｃ），（Ｄ）又は図８（Ｂ）に示すように、実際より縦長に映る。以後、このように画像が歪むことを「フォーカルプレーン歪み」と呼ぶ。フォーカルプレーン歪みは、被写体が動作する場合と、カメラがパン動作・チルト動作する場合の両方で発生する。画像内の物体がどの程度歪むかは、カメラが動作する場合、カメラの移動速度に依存する。図７及び図８は、画像内で発生しているフォーカルプレーン歪みを示す説明図である。
【００１１】
上記特許文献１では、ＭＯＳ系のセンサを使用した場合、画像の歪みの影響を減らして、手振れ補正の精度向上を図る技術が開示されている。
【００１２】
フォーカルプレーン歪み自体は、動画手振れ補正とは関係なく発生する。しかし、動画手振れ補正の適用によって、フォーカルプレーン歪みがユーザーの目で認識し易くなるという問題がある。即ち、手振れ補正前の動画では画面全体が揺れているため、フォーカルプレーン歪みが発生していてもユーザーの目で認識しにくかった。例えば、図９に示すように、カメラ１０が（１）から（２）の方向へ移動しながら、カメラ１０が物体２０を撮影する場合を想定する。図９は、カメラが物体を撮影している状態を示す説明図である。手振れ補正前のカメラの動きと時間の関係は、図１０（Ａ）のＭ０に示すようになり、画像の表示は図１０（Ｂ）のようになる。手振れ補正前は、画面内で物体も揺れながら位置が移動するため、ユーザーの目でフォーカルプレーン歪みを認識しづらい。図１０は、カメラの動きと時間の関係を示すグラフ（Ａ）及び撮影時の画像を示す説明図（Ｂ）である。
【００１３】
一方、手振れ補正を適用することでカメラワークが安定化し、画面全体の動きがなくなる。手振れ補正後のカメラの動きと時間の関係は、図１１（Ａ）のＭ１に示すようになり、画像の表示は図１１（Ｂ）のようになる。手振れ補正後は、画面全体の動きがなくなり、画面内で物体の位置が安定化する。その結果、手振れ補正前の動画では、ユーザーの目で認識できなかった歪みが認識しやすくなるという問題がある。図１１は、カメラの動きと時間の関係を示すグラフ（Ａ）及び撮影時の画像を示す説明図（Ｂ）である。
【００１４】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、手振れ補正時におけるフォーカルプレーン歪みをユーザーに対して認識させにくくすることが可能な、新規かつ改良された画像処理装置、画像処理方法、プログラム及び記録媒体を提供することにある。
【課題を解決するための手段】
【００１５】
上記課題を解決するために、本発明のある観点によれば、ＣＭＯＳ撮像素子によって撮影された複数のフレーム画像に基づいて画像の動き量を検出する動き検出部と、動き量に基づいて撮影時の撮像装置の移動速度を推定する動作推定部と、移動速度が大きいほどユーザーが意図する撮像装置の移動動作を残存させるように画像の動き量を補正する補正値を算出する補正値算出部と、補正値を使用して、ユーザーが意図する撮像装置の移動動作のみを画像に残す補正をする動き補償部とを備える画像処理装置が提供される。
【００１６】
上記補正値算出部は、移動速度とＣＭＯＳ撮像素子の読み出し性能に依存する閾値との関係に基づいて、補正値を算出する関数を選択してもよい。
【００１７】
上記関数は、撮像装置の移動速度が速いときは、ユーザーが意図する撮像装置の移動動作を残し、撮像装置の移動速度が遅いときは、ユーザーが意図する撮像装置の移動動作を残さないようなフィルタ関数であってもよい。
【００１８】
上記フィルタ関数は、バイラテラルフィルタを利用して得られてもよい。
【００１９】
また、上記課題を解決するために、本発明の別の観点によれば、動き検出部が、ＣＭＯＳ撮像素子によって撮影された複数のフレーム画像に基づいて画像の動き量を検出するステップと、動作推定部が、動き量に基づいて撮影時の撮像装置の移動速度を推定するステップと、補正値算出部が、移動速度が大きいほどユーザーが意図する撮像装置の移動動作を残存させるように画像の動き量を補正する補正値を算出するステップと、動き補償部が、補正値を使用して、ユーザーが意図する撮像装置の移動動作のみを画像に残す補正をするステップとを備える画像処理方法が提供される。
【００２０】
また、上記課題を解決するために、本発明の別の観点によれば、ＣＭＯＳ撮像素子によって撮影された複数のフレーム画像に基づいて画像の動き量を検出する手段、動き量に基づいて撮影時の撮像装置の移動速度を推定する手段、移動速度が大きいほどユーザーが意図する撮像装置の移動動作を残存させるように画像の動き量を補正する補正値を算出する手段、補正値を使用して、ユーザーが意図する撮像装置の移動動作のみを画像に残す補正をする手段としてコンピュータを機能させるためのプログラムが提供される。
【００２１】
また、上記課題を解決するために、本発明の別の観点によれば、ＣＭＯＳ撮像素子によって撮影された複数のフレーム画像に基づいて画像の動き量を検出する手段、動き量に基づいて撮影時の撮像装置の移動速度を推定する手段、移動速度が大きいほどユーザーが意図する撮像装置の移動動作を残存させるように画像の動き量を補正する補正値を算出する手段、補正値を使用して、ユーザーが意図する撮像装置の移動動作のみを画像に残す補正をする手段としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体が提供される。
【発明の効果】
【００２２】
以上説明したように本発明によれば、手振れ補正時におけるフォーカルプレーン歪みをユーザーに対して認識させにくくすることができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施形態に係る画像処理装置１００を示すブロック図である。
【図２】同実施形態に係るカメラワーク推定部１０４を示すブロック図である。
【図３】同実施形態に係る画像処理装置のカメラワーク推定動作を示すフローチャートである。
【図４】カメラの動きと時間の関係を示すグラフである。
【図５】センサが検出可能なカメラの動きを示す説明図である。
【図６】ＣＭＯＳセンサの読み出し方式を示す説明図である。
【図７】画像内で発生しているフォーカルプレーン歪みを示す説明図である。
【図８】画像内で発生しているフォーカルプレーン歪みを示す説明図である。
【図９】カメラが物体を撮影している状態を示す説明図である。
【図１０】カメラの動きと時間の関係を示すグラフ（Ａ）及び撮影時の画像を示す説明図（Ｂ）である。
【図１１】カメラの動きと時間の関係を示すグラフ（Ａ）及び撮影時の画像を示す説明図（Ｂ）である。
【図１２】カメラの動きと時間の関係を示すグラフ（Ａ）及び撮影時の画像を示す説明図（Ｂ）である。
【図１３】カメラの速度に応じたフィルタ関数を示す表である。
【図１４】重みづけｃ（ｖ１）とカメラの速度ｖの関係を示すグラフである。
【図１５】重みづけｃ（ｖ１）とカメラの速度ｖの関係を示すグラフである。
【図１６】パラメータｖ１と速度ｖの関係を示すグラフである。
【図１７】パラメータｖ１を算出する動作を示すフローチャートである。
【図１８】ＦＩＲフィルタを示す説明図である。
【図１９】カメラの動きと時間の関係を示すグラフである。
【図２０】カメラの動きと時間の関係を示すグラフである。
【発明を実施するための形態】
【００２４】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２５】
なお、説明は以下の順序で行うものとする。
１．一実施形態の構成
２．一実施形態の動作
【００２６】
＜１．一実施形態の構成＞
まず、図１を参照して、本発明の一実施形態に係る画像処理装置１００の構成について説明する。図１は、本実施形態に係る画像処理装置１００を示すブロック図である。
【００２７】
本実施形態に係る画像処理装置１００は、例えば画像編集用ソフトウェア等の画像処理プログラムを実行するパーソナルコンピュータ、サーバー等の情報処理装置である。画像処理装置１００は、ビデオカメラ等の動画像を撮影可能な撮像装置（以下、単に「カメラ」ともいう。）から動画像データが入力される。そして、画像処理装置１００は、入力された動画像データに対して、各種の画像処理を施す。
【００２８】
画像処理装置１００は、例えば動き検出部１０２と、カメラワーク推定部１０４と、動き補償部１０６と、フレームメモリ蓄積バッファ１０８などからなる。
【００２９】
動き検出部１０２は、画像処理装置１００に入力される動画像データを信号処理することによって動きベクトルを検出する。ここで、動画像データは、複数のフレーム画像からなる画像データである。動きベクトルの検出方法は、通常用いられる方法を適用することができ、本明細書では詳細な説明を省略する。動き検出部１０２は、入力された動画像データのフレームと、フレームメモリ蓄積バッファ１０８に一時的に記憶されているフレーム（参照フレーム）に基づいて、動きベクトルを検出する。動きベクトルは、例えば複数のパラメータを有するアフィン変換行列として表される。パラメータは、縦方向の並進を表す成分パラメータ、横方向の並進を表す成分パラメータ、ロール方向の回転を表す成分パラメータといった動き成分、縦方向の拡縮を表す成分パラメータ、平行四辺形の歪み度合いを表す成分パラメータといったフォーカルプレーン歪み成分である。
【００３０】
動き検出部１０２によって動きベクトルが検出されることによって、動画像撮影時のカメラの動きを検出できる。動画像撮影時のカメラの動きには、手振れによるものや、カメラのパン動作、チルト動作などが含まれる。検出される動画像撮影時のカメラの動きは、図４の細線のように表わされる。図４は、カメラの動きと時間の関係を示すグラフである。図４（Ａ）は、比較的長い時間のカメラの動きを表したものであり、図４（Ｂ）は、図４（Ａ）の部分拡大図である。
【００３１】
カメラワーク推定部１０４は、検出された動きベクトルに基づくカメラの動き成分をフィルタ処理すること等によって、カメラワークを推定する。カメラワークとは、カメラの動きから手振れを除去して残るカメラのパン動作、チルト動作、回転動作などであり、動画撮影時の撮影者の意図したカメラの動きである。カメラワークは、図４の太線で表わされる。カメラワーク推定部１０４は、補正ベクトルを生成し、補正ベクトルを動き補償部１０６に出力する。
【００３２】
動き補償部１０６は、カメラワーク推定部１０４で生成された補正ベクトルに基づいて、手振れ補正がされたフレーム画像を生成する。即ち、カメラワーク推定部１０４で推定されたカメラワークに基づいて、カメラワーク通りの画像フレームが順次出力されるように画像フレームを補正し、補正後の画像フレームを順次出力する。動き補償部１０６は、フレームメモリ蓄積バッファ１０８から補正対象となるフレーム（カレントフレーム）を受けて、補正ベクトルに基づいて手振れ補正処理をする。なお、動き補償の方法は、通常用いられる方法を適用することができ、本明細書では詳細な説明を省略する。
【００３３】
次に、図２を参照して、本実施形態に係るカメラワーク推定部１０４の構成について説明する。図２は、本実施形態に係るカメラワーク推定部１０４を示すブロック図である。
【００３４】
カメラワーク推定部１０４は、例えば動き成分分離処理部１１２と、動き成分・歪み成分蓄積バッファ１１４と、フィルタリング処理部１１６と、パラメータ制御部１１８と、デジタルフィルタ処理部１２２と、台形歪推定部１２４と、補正ベクトル生成部１２６などからなる。
【００３５】
動き成分分離処理部１１２は、成分分離処理によって、動きベクトルをカメラの動きを表す動き成分と、フォーカルプレーン歪みによるＦＰ歪成分とに分離する。動き成分分離処理部１１２は、動き成分をパラメータ制御部１１８に出力し、動き成分及びＦＰ歪成分を動き成分・歪成分蓄積バッファ１１４に出力する。
【００３６】
動き成分・歪み成分蓄積バッファ１１４は、例えばＦＩＦＯ（First  In  First  Out）方式で構成され、動き成分及びＦＰ歪成分を蓄積し、一時的に記憶する。これにより、時間が前後する複数のフレームを対象としてローパスフィルタ処理を施すことができる。
【００３７】
フィルタリング処理部１１６は、動き成分及びＦＰ歪成分をフィルタリングする。フィルタリング処理部１１６は、動きベクトルの信頼度に基づいて、信頼度が高い動きベクトルによって生成されたＦＰ歪成分、動き成分のみを選別する。そして、フィルタリング処理部１１６は、信頼度が高く、誤差が小さい可能性の高い動きベクトルのみをデジタルフィルタ処理部１２２、補正ベクトル生成部１２６に出力する。フィルタリング処理部１１６は、フィルタリング処理後の動き成分をデジタルフィルタ処理部１２２に出力し、フィルタリング処理後のＦＰ歪成分を補正ベクトル生成部１２６に出力する。
【００３８】
パラメータ制御部１１８は、動き成分分離処理部１１２から動き成分を受けて、動き成分に基づいてパラメータを生成する。パラメータ制御部１１８は、生成したパラメータをデジタルフィルタ処理部１２２に出力する。生成されるパラメータはデジタルフィル処理部１２２で適用されるフィルタ関数を決定する。
【００３９】
デジタルフィルタ処理部１２２は、動き成分及びパラメータに基づいて、カメラワーク量を生成する。デジタルフィルタ処理部１２２は、動き成分に所定のタップ数のＬＰＦを適用することによってユーザーの意図した動きであるカメラワーク量を算出する。具体的には、所定タップ数分の動き成分を取得し、例えば図１８に示すようなＦＩＲフィルタに適用することによって、カメラワーク動き成分を取得する。図１８はＦＩＲフィルタを示す説明図である。カメラワーク動き成分はカメラワーク量を表す。デジタルフィルタ処理部１２２は、フィルタリング後の動き成分であるカメラワーク動き成分（カメラワーク量）を補正ベクトル生成部１２６に出力する。
【００４０】
台形歪推定部１２４は、動き成分に基づいて、ヨー方向及びピッチ方向の角度変化を推定し、角度変化に起因する台形歪み量を算出する。台形歪推定部１２４は、台形歪み量を補正ベクトル生成部１２６に出力する。
【００４１】
補正ベクトル生成部１２６は、フィルタリング処理後のＦＰ歪成分、フィルタリング後の動き成分、カメラワーク動き成分（カメラワーク量）、台形歪み量に基づいて、補正ベクトルを生成する。補正ベクトル生成部１２６は生成した補正ベクトルを動き補償部１０６に出力する。
【００４２】
なお、上述した一連の画像処理は、ハードウェアにより実行させることもでき、また、ソフトウェアにより実行させることも可能である。
【００４３】
＜２．一実施形態の動作＞
次に、本発明の一実施形態に係る画像処理装置１００のカメラワーク推定動作について説明する。図３は、本実施形態に係る画像処理装置のカメラワーク推定動作を示すフローチャートである。手振れ補正にてカメラワークが安定化することで、ユーザーの目でフォーカルプレーン歪みが認識し易くなる。本実施形態では、理想的にはユーザーが認識できない程度のカメラワークを残して画像が動くようにすることで、フォーカルプレーン歪みをユーザーの目で認識できないようにする。
【００４４】
動き検出部１０２で動きベクトルが検出されると、カメラワーク推定部１０４で動きベクトルから動き成分が分離される。そして、カメラワーク推定部１０４において、分離された動き成分に基づいて、カメラの動き、カメラの速度が算出される（ステップＳ１０２）。例えば、カメラの動きは図１２（Ａ）のＭ０に示すような動きになる。本実施形態では、カメラの動きが手振れのみでカメラワーク量が少ない部分については、フォーカルプレーン歪みがそもそも発生しにくく歪みが小さいことから、カメラワークを残さない処理をする（図１２（Ａ）の薄い網掛け部分）。一方、カメラの動きが手振れだけでなく、カメラワーク量が多い部分については、フォーカルプレーン歪みが発生しやすく歪みが大きいことから、カメラワークを残す処理をする（図１２（Ａ）の濃い網掛け部分）。図１２は、カメラの動きと時間の関係を示すグラフ（Ａ）及び撮影時の画像を示す説明図（Ｂ）である。
【００４５】
そこで、カメラワークを残す程度を調整するため、カメラの速度に応じて、デジタルフィルタ処理部１２２で適用するフィルタ関数を変更する。即ち、ステップＳ１０１で算出されたカメラの速度に応じたフィルタ関数が選択される（ステップＳ１０２）。例えば、カメラの速度が速いときは、カメラワークを残して画像が移動するようなフィルタ関数が選択され、カメラの速度が遅いときは、カメラワークを残さないで画像が固定するようなフィルタ関数が選択される。
【００４６】
次に、デジタルフィルタ処理部１２２において、ステップＳ１０２で選択されたフィルタ関数を適用してフィルタ処理がされる。その結果、カメラの速度が速いときは、カメラワークが残って画像が移動するようなフレーム画像が得られ、カメラの速度が遅いときは画像が固定するようなフレーム画像が得られる。フィルタ処理によるカメラの動きは、図１２（Ａ）のＭＡに示すような動きになる。
【００４７】
従来、カメラワークを導く際、カメラの速度に関わらず、唯一のフィルタ関数を適用してフィルタ処理が施されていた。そのため、図１１（Ａ）のＭ１や図１２（Ａ）のＭ１に示すような動きになっていた。そのため、図１１（Ｂ）に示すように画像が固定され、フォーカスプレーン歪みが発生したとき、ユーザーの目で歪みが認識されやすかった。画面には、画像の位置が動いていないにもかかわらず、中央の物体がその場で変形しているように映るため、ユーザーの目で歪みが認識された。一方、本実施形態によれば、補正前ほど移動量は多くないが（補正前について、図１０（Ｂ）参照）、図１２（Ｂ）に示すように、画像が僅かに移動するため、中央の物体が変形したとしても、ユーザーの目で歪みが認識しづらくなる。
【００４８】
次に、フィルタ関数の選択について説明する。
フィルタ関数の選択は、例えば図１３のように場合分けすることができる。図１３は、カメラの速度に応じたフィルタ関数を示す表である。カメラ速度ｖがＦＰ＿ＳＰＥＥＤｍｉｎより小さければ、フィルタ関数ｈ（ｖ）が選択される。カメラ速度ｖがＦＰ＿ＳＰＥＥＤｍｉｎ以上でＦＰ＿ＳＰＥＥＤｍａｘより小さければ、フィルタ関数ｆ（ｖ）が選択される。カメラ速度ｖがＦＰ＿ＳＰＥＥＤｍａｘ以上であれば、フィルタ関数ｇ（ｖ）が選択される。ＦＰ＿ＳＰＥＥＤｍｉｎ、ＦＰ＿ＳＰＥＥＤｍａｘの値は、ＣＭＯＳ撮像素子の読み出し性能に依存する。また、これらの値は、ユーザーの目がどの程度のカメラの速度から歪みが認識されやすくなるかということにも依存する。
【００４９】
ＦＰ＿ＳＰＥＥＤｍｉｎは、ユーザーが歪みを認識し始める速度であり、ＦＰ＿ＳＰＥＥＤｍａｘは、ユーザーが歪みに不快を感じ耐えられなくなる速度である。
【００５０】
ｈ（ｖ）は、カメラワークを生成するための従来技術にも適用されるローパスフィルタである。ｇ（ｖ）は、カメラの速度が速く歪みの量が大きすぎる場合の最低限のローパスフィルタとして、カメラワーク生成後も十分にカメラの速度を残すフィルタである。入力映像をそのまま利用する場合は、ｇ（ｖ）＝ｖとなる。ｆ（ｖ）は、カメラの速度ｖに応じてローパスフィルタの強度が変化するフィルタである。例えば、ｖ＝ＦＰ＿ＳＰＥＥＤｍｉｎであれば、ｈ（ｖ）と同じ強度のローパスフィルタであり、カメラの速度ｖが速くなるにつれてローパスフィルタの強度が弱くなり、ｖ＝ＦＰ＿ＳＰＥＥＤｍａｘであれば、ｇ（ｖ）と同じ強度のローパスフィルタである。
【００５１】
図１９及び図２０を参照して説明する。図１９及び図２０はカメラの動きと時間の関係を示すグラフである。濃い網掛けの部分でカメラワークに変化があるとき、カメラの速度が速ければ、図２０に示すようにフィルタ関数ｇ（ｘ）が適用され、カメラの速度を十分に残す。一方、カメラの速度が、それほど速くないときは、図１９に示すようにフィルタ関数ｆ（ｘ）が適用され適度に速度が残される。また、薄い網掛けの部分でカメラワークに変化がなくカメラの速度が速くないときは、図１９及び図２０に示すように、フィルタ関数はｈ（ｘ）が適用される。
【００５２】
なお、ＦＰ＿ＳＰＥＥＤｍｉｎ、ＦＰ＿ＳＰＥＥＤｍａｘに関しては、垂直方向と水平方向とでは別の値となる。垂直方向による歪み方のユーザーの認識と、水平方向による歪み方のユーザーの認識は異なるためである。なお、上述の説明では、ユーザーによって認識されやすい垂直方向、水平方向のフォーカルプレーン歪みのみについて説明したが、本発明はこの例に限定されない。例えばロール方向の回転によって生じるフォーカルプレーン歪みについても適用できる。
【００５３】
次に、デジタルフィルタ処理によるカメラワークの生成について説明する。
上述したような「カメラの速度に応じたフィルタ関数」を満たすため、例えばバイラテラルフィルタを利用する。バイラテラルフィルタを使用することによって、速度に応じてフィルタ性能を変化させることができる。また、速度に応じて複数のフィルタ関数を切り替えても、切り替え点（例えば図１４のａやｂ）でつなぎ目が不連続になるという問題を解決できる。
【００５４】
デジタルフィルタ処理部１２２において適用されるバイラテラルフィルタは以下の式で表わせる。
【００５５】
【数１】
2011114407.tif 000003
【００５６】
ここで、ｃ（ｖ１）は重みづけである。重みづけｃ（ｖ１）は、「カメラの速度に応じたフィルタ関数」を満たすため、パラメータ制御部１１８で、図１６及び図１７に示すようにカメラの速度ｖに基づいてパラメータｖ１が決定される。図１６は、パラメータｖ１と速度ｖの関係を示すグラフである。図１７は、パラメータｖ１を算出する動作を示すフローチャートである。
【００５７】
図１６は以下の式で表わせる。
【数２】
2011114407.tif 000004
【００５８】
即ち、カメラの速度ｖがａより大きければ、パラメータｖ１としてｖ−ａが出力され、カメラの速度ｖがａ以下であれば、パラメータｖ１として０が出力される。
【００５９】
図１４及び図１５は、重みづけｃ（ｖ１）とカメラの速度ｖの関係を示すグラフである。図１４及び図１５に示すように、ａ≧ＦＰ＿ＳＰＥＥＤｍｉｎとすることで、ｖ＜ＦＰ＿ＳＰＥＥＤｍｉｎの場合は、これまでと同じローパスフィルタ（ｈ（ｘ））が利用される。また、ＦＰ＿ＳＰＥＥＤｍｉｎ≦ｖに関しては、速度に応じて重みが小さくなって、ローパスフィルタの強度が弱くなる。そして、徐々にローパスフィルタの効果がなったのち、最終的にはｃ（ｖ１）＝０となる。その結果、十分に重みが小さくなれば、十分に速度を残すフィルタとなるのでｇ（ｖ）とみなすことができる。ｂはｖ＝ＦＰ＿ＳＰＥＥＤｍａｘの場合にどこまでの速度を残すかに依存し、それはパラメータσで調整可能である。
【００６０】
図１４と図１５の違いは、ｆ（ｘ）の変化の違いである。図１５に示す変化を有するｆ（ｘ）を採用すると、図１４の場合に比べて、手振れ補正は利かなくなるがフォーカルプレーン歪みが認識しづらくなる。
【００６１】
従来と同じローパスフィルタ（ｈ（ｘ））によるカメラワークの算出では、図１８に示すように、入力された動き成分に所定のタップ数のローパスフィルタを適用する。具体的には、「動き成分・歪成分蓄積バッファ」からタップ数分の成分パラメータを取得し、フィルタ処理を行う。図１８は、ＦＩＲフィルタを適用した例であるが、このようにフィルタを通してローパスフィルタ後のカメラワーク動き成分を生成する。
【００６２】
なお、デジタルフィルタ処理部１２２の出力は、フィルタ後のカメラワーク動き成分と、入力パラメータのうちのいずれか値（例えば図１８でのｈ３に入力される中央の動き成分（フィルタ前の動き成分））の組である。
【００６３】
以上によれば、従来のデジタルフィルタ処理部ではカメラワークの安定化しか考慮されておらず、そのため、フォーカルプレーンによる歪みが認識されやすい映像が生成されていた。一方、本実施形態によれば、カメラの速度に応じたフィルタ関数の選択によって、フォーカルプレーンによる歪みがユーザーの目で認識されにくい画像が生成される。
【００６４】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００６５】
１００      画像処理装置
１０２      動き検出部
１０４      カメラワーク推定部
１０６      動き補償部
１０８      フレームメモリ蓄積バッファ
１１２      動き成分分離処理部
１１４      動き成分・歪み成分蓄積バッファ
１１６      フィルタリング処理部
１１８      パラメータ制御部
１２２      デジタルフィルタ処理部
１２４      台形歪推定部
１２６      補正ベクトル生成部
【図１】
2011114407.tif 000005
【図２】
2011114407.tif 000006
【図３】
2011114407.tif 000007
【図４】
2011114407.tif 000008
【図５】
2011114407.tif 000009
【図６】
2011114407.tif 000010
【図７】
2011114407.tif 000011
【図８】
2011114407.tif 000012
【図９】
2011114407.tif 000013
【図１０】
2011114407.tif 000014
【図１１】
2011114407.tif 000015
【図１２】
2011114407.tif 000016
【図１３】
2011114407.tif 000017
【図１４】
2011114407.tif 000018
【図１５】
2011114407.tif 000019
【図１６】
2011114407.tif 000020
【図１７】
2011114407.tif 000021
【図１８】
2011114407.tif 000022
【図１９】
2011114407.tif 000023
【図２０】
2011114407.tif 000024