(57)【要約】【課題】意図的なカメラワークによる映像の動きを保存し、かつ意図しない振れに対する防振を可能とする。【解決手段】画像防振装置は、複数の画像間の動きベクトルを算出する動きベクトル算出部１０４と、動きベクトルを入力として防振補正量を算出する防振パラメータ算出部１０６と、防振補正量に応じた画像の幾何変換を行う画像変換部１０７とを有する。防振パラメータ算出部は、動きベクトルに基づいて複数の画像間の画像変化量を算出する変化量算出部Ｓ５０２と、画像変化量に基づいて画像を歪ませる成分を除去した動き情報を算出する変化量修正部Ｓ５０３と、複数の画像間についての動き情報に基づいて防振補正量を算出する補正量算出部Ｓ５０４とを有する。【選択図】図１
2008259076.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像間の動きベクトルを算出する動きベクトル算出部と、
前記動きベクトルを入力として防振補正量を算出する防振パラメータ算出部と、
前記防振補正量に応じた前記画像の幾何変換を行う画像変換部とを有し、
前記防振パラメータ算出部は、
前記動きベクトルに基づいて前記複数の画像間の画像変化量を算出する変化量算出部と、
前記画像変化量に基づいて画像を歪ませる成分を除去した動き情報を算出する変化量修正部と、
前記複数の画像間についての前記動き情報に基づいて前記防振補正量を算出する補正量算出部とを有すること特徴とする画像防振装置。
【請求項２】
前記画像変化量は、ホモグラフィであり、
前記防振パラメータ算出部は、前記ホモグラフィの基準面法線の方向を変更することを特徴とする請求項１に記載の画像防振装置。
【請求項３】
前記防振パラメータ算出部において、前記基準面法線の方向を、変位前の画像面の法線に平行な方向に向けるよう変更することを特徴とする請求項２に記載の画像防振装置。
【請求項４】
前記画像変化量は、回転及び並進に関する画像変化量であり、
前記防振パラメータ算出部は、回転及び並進に関する情報から前記動き情報を算出することを特徴とする請求項１に記載の画像防振装置。
【請求項５】
前記防振パラメータ算出部において、基準面を変位前の画像面に平行な方向に向けるよう変更することを特徴とする請求項４に記載の画像防振装置。
【請求項６】
前記補正量算出部は、前記動き情報に基づいて前記防振補正量を出力するフィルタリングを行うことを特徴とする請求項１から５のいずれか１つに記載の画像防振装置。
【請求項７】
前記変化量算出部は、前記画像変化量として、ホモグラフィと回転及び並進に関する画像変化量とのいずれを算出するかを、動きベクトル点の空間分布の平面性を調べることにより切り換えることを特徴とする請求項１に記載の画像防振装置。
【請求項８】
前記補正量算出部は、前記動き情報を、水平並進、垂直並進、拡大縮小、面内回転、せん断、水平あおり及び垂直あおり成分に変換し、
前記拡大縮小成分を対数変換した後にフィルタリングを行い、フィルタリング結果を指数変換することで、前記画像変化量を復元することを特徴とする請求項１に記載の画像防振装置。
【請求項９】
前記補正量算出部は、前記動き情報を、水平並進、垂直並進、拡大縮小、面内回転、せん断、水平あおり及び垂直あおり成分に変換し、
前記あおり成分に前記拡大縮小成分を乗算した後にフィルタリングを行い、フィルタリング後の拡大縮小成分を用いることで、前記画像変化量を復元することを特徴とする請求項１に記載の画像防振装置。
【請求項１０】
複数の画像間の対応する特徴部の変位を表す動きベクトルを算出する動きベクトル算出部と、
前記動きベクトルを入力として防振補正量を算出する防振パラメータ算出部と、
前記防振補正量に応じて前記画像の幾何変換を行う画像変換部とを有し、
前記防振パラメータ算出部は、
前記動きベクトルに基づいて前記複数の画像間の画像変化量を算出する変化量算出部と、
前記複数の画像間についての前記画像変化量に基づいて動き情報を算出する変化量修正部と、
前記動き情報に基づいて前記防振補正量を算出する補正量算出部とを有すること特徴とする画像防振装置。
【請求項１１】
前記画像変化量は、回転及び並進に関する情報であり、
前記防振パラメータ算出部は、前記回転及び並進に関する情報からホモグラフィを算出することを特徴とする請求項１０に記載の画像防振装置。
【請求項１２】
前記画像変化量は、基本行列であり、
前記防振パラメータ算出部は、前記基本行列から前記動き情報を算出することを特徴とする請求項１０に記載の画像防振装置。
【請求項１３】
物体像を光電変換することにより画像を生成する撮像系と、
請求項１から１２のいずれか１つに記載の画像防振装置とを有することを特徴とする撮像装置。
【請求項１４】
複数の画像間の動きベクトルを算出する動きベクトル算出ステップと、
前記動きベクトルを入力として防振補正量を算出する防振パラメータ算出ステップと、
前記防振補正量に応じた前記画像の幾何変換を行う画像変換ステップとを有し、
前記防振パラメータ算出ステップは、
前記動きベクトルに基づいて前記複数の画像間の画像変化量を算出する変化量算出ステップと、
前記画像変化量に基づいて画像を歪ませる成分を除去した動き情報を算出する変化量修正ステップと、
前記複数の画像間についての前記動き情報に基づいて前記防振補正量を算出する補正量算出ステップとを有すること特徴とする画像防振方法。
【請求項１５】
複数の画像間の対応する特徴部の変位を表す動きベクトルを算出する動きベクトル算出ステップと、
前記動きベクトルを入力として防振補正量を算出する防振パラメータ算出ステップと、
前記防振補正量に応じて前記画像の幾何変換を行う画像変換ステップとを有し、
前記防振パラメータ算出ステップは、
前記動きベクトルに基づいて前記複数の画像間の画像変化量を算出する変化量算出ステップと、
前記複数の画像間についての前記画像変化量に基づいて動き情報を算出する変化量修正ステップと、
前記動き情報に基づいて前記防振補正量を算出する補正量算出ステップとを有すること特徴とする画像防振方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像における防振画像処理を行う画像防振装置及び画像防振方法に関する。さらに、本発明は、該画像防振装置を搭載した撮像装置に関する。
【背景技術】
【０００２】
ビデオカメラ等の動画撮像装置には、手振れによる映像（動画像）の振れを抑制するための画像処理を行う画像防振技術が広く用いられている。特に、長焦点距離の撮像光学系を用いて撮像を行う場合には、微小なカメラの振れが映像の大きな振れに繋がるため、画像防振機能が不可欠である。また、撮像光学系の焦点距離が短い場合でも、移動しながら被写体を撮影する場合には、画像防振機能が有効に働くことが望まれる。
【０００３】
さらに、移動しながらの撮像では、意図的ではない手振れと意図的なカメラワークとを判別して、手振れによる画像振れのみを抑制するという高度な画像防振機能が要求される。従来、このような移動に対応した画像防振技術として、慣性フィルタリングを使用したり（非特許文献１参照）低次モデルフィッティングを使用したり（非特許文献２）するものが提案されている。
【０００４】
これらの画像防振技術では、画像からの動き推定(グローバルモーションもしくはカメラワークの推定)において、並進モデルやヘルマートモデル(相似モデル)等の近似モデルを用いている。このため、動き推定値として、水平並進、垂直並進、面内回転、拡大縮小、せん断のようなカメラワーク成分に対応した一次元時系列データのセットとして動き量が得られる。したがって、慣性フィルタやカルマンフィルタ等、信号処理で用いられる一次元時系列データセットを入力とするフィルタリング機構がそのまま利用可能である。
【０００５】
また、画像における動きとカメラワークが１対１で対応しているため、画像から求めた上記動き量フィルタリングの結果もしくは元の動き量とフィルタリング結果との差分量を単純に画像に作用させるだけで、意図した防振が実現される。
【０００６】
また、焦点距離が短い撮像装置は、大きな揺れを伴う歩行ロボットやヘリコプター、ウェアラブルカメラ等に搭載される可能性もある。ただし、焦点距離をさらに短くしていくと、画像上に現れる動きに変化が生じる。
【０００７】
すなわち、画像上の動きに対して許容されるカメラワークが焦点距離に反比例して大きくなるため、「あおり」と称される中程度以上の焦点距離映像では生じなかった動きが生じ、従来の近似モデルによる画像変化量の推定及び防振処理では防振しきれなくなる。そこで画像変化量の推定を、上記近似モデルに代えて、射影モデルにより行い、防振処理の幾何補正を射影変換で行う方法が提案されている。
【０００８】
上記用途では、動き推定は画像から行い、防振処理は画像の幾何変化の組み合わせで行うことが前提となる。この場合、大きく複雑なカメラワークに対する画像変化を高精度で検出しつつ、移動を前提とした大きな動きを補正する必要がある。ただし、従来の防振処理で多く使われたモーションセンサ単独では、多軸変化を高精度かつ低コストでセンシングすることが困難である。また、光学防振処理では、大きな揺れを補正できない。
【非特許文献１】Z.Zhu,et.al."Camera stabilization based on 2.5D motion estimation and inertial motion filtering.",ICIV,1998.
【非特許文献２】A.Ktvin,J.Konrad,W.C.Karl,‘Probabilistic video stabilization using Kalman filtering and mosaicing',Proceedings of SPIE.Jan,2003,p.p.20-24
【非特許文献３】Michal Irani,et.al.,"Recovery of Ego-Motion Using Image   Stabilization",CVPR('94), Seattle, June 1994
【発明の開示】
【発明が解決しようとする課題】
【０００９】
移動しながらの撮像映像の防振処理を射影モデルを採用して実現する場合、以下の課題が生じる。
【００１０】
１つ目は、意図するカメラワークと意図しない振れ（動き）を判別する処理において、従来の信号処理技術をベースとしたフィルタリング方法がそのままでは適切に働かないことである。これは、画像変換量を表す射影ホモグラフィが３×３のマトリクスで表される多次元量だからである。
【００１１】
射影ホモグラフィの１つの成分に対し、複数のカメラワークが影響を与えている。このため、特に前進のカメラワークが大きく生じている場合には、カメラワークの運動が等速な線形運動であっても、適切な防振ができなくなる。ホモグラフィの各項の成分変化が、前進カメラワークによる非線形な画像変化と、光軸に垂直な並進、回転等のカメラワークによる線形な画像変化との線形和となってしまうからである。この結果、線形変化を前提とするフィルタリングを射影ホモグラフィの各項に適用しても、適切な防振効果が得られなくなる。
【００１２】
２つ目は、画像変化量の推定及び防振処理を射影モデルに拡張したことにより生じる問題である。射影モデルへの拡張により、大きな回転カメラワークによる画像変化を検出することができるようになる。しかしながら、逆に、映像を構成するフレーム画像間の動きベクトルから求められる射影ホモグラフィを、直接又は動き判別を介して逆変換して防振補正量として用いても、適切に防振を行えない。この防振方法は、近似モデルでの防振において広く使われている。しかしながら、射影モデルでは、並進カメラワークの画像変化量への影響に、新たに射影ホモグラフィを算出した際の動きベクトル抽出点の空間分布に関連する基準面の向きが関係する。このため、問題が生じる。
【００１３】
フレーム画像間の画像変化量である射影ホモグラフィと、カメラワークと、基準面との関係を式で示すと、
【００１４】
【数１】
2008259076.tif 000003
Ｈは射影ホモグラフィ、Ｒ及び
2008259076.tif 000004
はカメラの回転及び並進を表す。また、ｄ及び
2008259076.tif 000005
は対応点の空間位置により決定される基準面の一方のカメラからの距離及び法線の向きである。
【００１５】
そして、動きベクトルを抽出した対応点の空間位置により形成される基準面が、多くの場合、鑑賞者が防振したいと感じる空間中の面の位置と異なるため、問題が生じる。上記式から分かるように、この問題は、並進カメラワークが発生した場合のみ問題となる。例えば、前進シーンにおいて画像面が倒れていったり、流し撮りシーンにおいて画像面が潰れていったりと画像が歪む。
【００１６】
そこで、非特許文献３にて提案されているように、同じようにフレーム画像間の動きベクトルから求まるカメラワークの３軸回転情報のみを利用して防振を行う妥協案も可能である。しかしながら、歩き振れによって生じる上下動による並進成分のカメラワークも防振対象の動きとして無視できない。
【００１７】
本発明は、意図的なカメラワークによる映像の動きを保存し、かつ意図しない振れに対する防振を可能とする画像防振装置及び方法を提供する。
【課題を解決するための手段】
【００１８】
本発明の一側面としての画像防振装置（及び画像防振方法）は、複数の画像間の動きベクトルを算出する動きベクトル算出部（動きベクトル算出ステップ）と、動きベクトルを入力として防振補正量を算出する防振パラメータ算出部（防振パラメータ算出ステップ）と、防振補正量に応じた画像の幾何変換を行う画像変換部（画像変換ステップ）とを有する。そして、防振パラメータ算出部（防振パラメータ算出ステップ）は、動きベクトルに基づいて複数の画像間の画像変化量を算出する変化量算出部（変化量算出ステップ）と、画像変化量に基づいて画像を歪ませる成分を除去した動き情報を算出する変化量修正部（変化量修正ステップ）と、複数の画像間についての動き情報に基づいて防振補正量を算出する補正量算出部（補正量算出ステップ）とを有すること特徴とする。
【００１９】
また、本発明の他の側面としての画像防振装置（及び画像防振方法）は、複数の画像間の対応する特徴部の変位を表す動きベクトルを算出する動きベクトル算出部（動きベクトル算出ステップ）と、動きベクトルを入力として防振補正量を算出する防振パラメータ算出部（防振パラメータ算出ステップ）と、防振補正量に応じて画像の幾何変換を行う画像変換部（画像変換ステップ）とを有する。そして、防振パラメータ算出部（防振パラメータ算出ステップ）は、動きベクトルに基づいて複数の画像間の画像変化量を算出する変化量算出部（変化量算出ステップ）と、複数の画像間についての画像変化量に基づいて動き情報を算出する変化量修正部（変化量修正ステップ）と、動き情報に基づいて防振補正量を算出する補正量算出部（補正量算出ステップ）とを有すること特徴とする。
【発明の効果】
【００２０】
本発明によれば、撮影者の意図的なカメラワークによる映像の動きを保存しつつ、撮影者が意図しないカメラ振れに対する効果的な画像防振を行うことができる。本発明は、特に短い焦点距離の撮像光学系を有する撮像装置で取得された映像の意図的なカメラワークによる動き保存と意図しないカメラ振れによる画像防振とに有効である。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の好ましい実施例について図面を参照しながら説明する。
【実施例１】
【００２２】
図１は、本発明の実施例１である画像防振装置を搭載した映像入力装置としてのビデオカメラ（撮像装置）の構成を示す。同図において、１０１は撮像光学系としてのレンズ光学系、１０２はＣＣＤセンサやＣＭＯＳセンサ等の撮像素子である。
【００２３】
１０３は前処理部、１０４は動きベクトル検出部（動きベクトル算出部）、１０５はワークメモリである。また、１０６は防振パラメータ算出部、１０７は幾何変換処理部（画像変換部）、１０８は符号・復号化部、１０９はワークメモリである。さらに、１１０はシステム制御部、１１１はズーム調整部、１１２は不揮発メモリ部、１１３は記録部、１１４は表示部、１１５は操作信号入力部、１１６は外部Ｉ／Ｆである。
【００２４】
前処理部１０３、動きベクトル検出部１０４、防振パラメータ算出部１０６、幾何変換処理部１０７及び符号・復号化部１０８により、映像信号処理部が構成される。この映像信号処理部は、画像防振装置の主要部を構成する。
【００２５】
レンズ光学系１０１は複数のレンズにより構成され、被写体の光学像（物体像）を形成する。
【００２６】
撮像素子１０２は、レンズ光学系１０１によって受光面上に形成された光学像を光電変換して撮像信号に変換する。
【００２７】
前処理部１０３は、撮像素子１０２より出力された撮像信号に対して映像処理を行い、処理された映像信号を出力する。撮像素子１０２と前処理部１０３により、物体像を光電変換して画像（映像）を生成する撮像系が構成される。前処理部１０３では、オートゲインコントロール、輝度／色差分離、鮮鋭化、ホワイトバランス調整、黒レベル調整、表色系変換等の映像処理が行われる。
【００２８】
動きベクトル検出部１０４は、前処理部１０３から得られる連続した輝度フレーム、輝度及び色差フレーム又は輝度／色差フレームを変換したＲＧＢフレーム等の映像フレーム（フレーム画像）を入力とする。ただし、動きベクトル検出用に処理された微分処理フレームや、２値コードフレーム等を入力としてもよい。
【００２９】
動きベクトル検出部１０４は、入力された連続フレーム間の動きベクトル（動き情報）を検出する。具体的には、前処理部１０３より入力された現在のフレーム画像、すなわちカレントフレームと、それ以前に入力されてワークメモリ１０５に蓄積された過去のフレーム画像、すなわち過去フレームとの間で動きベクトルを算出する。過去フレームはカレントフレームに対して連続したフレームでもよいし、それより以前のフレームでもよい。
【００３０】
ワークメモリ１０５は、例えば、いわゆる先入れ先出しのメモリであり、そのメモリブロック数により出力の遅延量が制御される。
【００３１】
図２には、２ブロックにより構成された先入れ先出しメモリを模式的に示す。先入れ先出しメモリは、プログラム的にはリスト配列で構成され、挿入動作（ｐｕｓｈ）と取り出し動作（ｐｏｐ）とが同時に行われる。カレントフレームをｎ番目のフレームとして挿入動作を行うと、同時に発生する取り出し動作により該メモリから溢れた過去に挿入されたｎ−２番目のフレームが出力される。メモリブロック数が３の場合には、ｎ−３番目のフレームが出力される。このように、構成されるメモリブロック数により挿入されるフレームと取り出されるフレームとの遅延関係が制御される。
【００３２】
防振パラメータ算出部１０６は、動きベクトル検出部１０４より出力される動きベクトルと、後述するシステム制御部１１０から得られるカメラ内部パラメータ、歪み係数等のカメラキャリブレーション情報を入力として防振補正量を算出する。詳しくは後述するが、防振パラメータ算出部１０６は、動きベクトルに基づいて複数の画像間の画像変化量を算出する変化量算出部と、画像変化量に基づいて画像を歪ませる成分を除去した動き情報を算出する変化量修正部として機能する。また、該複数の画像間についての動き情報に基づいて防振補正量を算出する補正量算出部として機能する。
【００３３】
カメラ内部パラメータは、焦点距離、撮像素子１０２のピクセルサイズ、画像のオフセットやせん断量により構成される。
【００３４】
焦点距離は、レンズ光学系１０１の焦点距離であり、映像フレーム取得時の該レンズ光学系１０１のズーム状態に対応した焦点距離である。
【００３５】
撮像素子１０２のピクセルサイズは、水平及び垂直方向での各ピクセルのサイズである。
【００３６】
オフセットは、通常は画像の左上端を原点として扱われる画像座標に対し、画像面上でレンズ光学系１０１の光軸が横切る点である画像中心を原点とするためのオフセットである。
【００３７】
せん断量は、画素の形状もしくは光軸が画像面に直交しないことにより生じる画素のひずみを表す。歪み係数は、レンズ光学系１０１の収差によるディストーション量を表す。
【００３８】
防振パラメータ算出部１０６は、算出した防振補正量、カメラ内部パラメータ及び歪み係数により構成される防振パラメータを出力する。
【００３９】
幾何変換処理部１０７は、防振パラメータ算出部１０６により算出された防振パラメータと、これに対応する映像フレームとを入力として、該映像フレームの幾何変換処理を行う。防振パラメータがフィルタリング処理等を経由することで、映像フレームとの対応関係に遅延が生じる場合がある。この場合には、映像フレームを一旦ワークメモリ１０９を経由させ、映像フレームと防振パラメータ間の関係をそろえる。ワークメモリ１０９は、ワークメモリ１０５と同様の先入れ先出しメモリである。
【００４０】
符号・復号化部１０８は、幾何変換処理部１０７から連続して出力される映像フレーム信号を、ＮＴＳＣ、ＭＰＥＧ４等の映像フォーマットに符号化する。また、符号・復号化部１０８は、記録された符号化済みの映像信号を再生するために記録部１１３から読み出された映像信号を復号化して、表示部１１４に表示する。
【００４１】
システム制御部１１０は、符号・復号化部１０８から出力された上記映像フォーマットに符号化された映像信号を記録部１１３に送って記録を行わせる。また、システム制御部１１０は、動きベクトル検出部１０４、防振パラメータ算出部１０６、幾何変換処理部１０７及び符号・復号化部１０８等の各処理ブロックのパラメータ制御を行う。パラメータ初期値は、不揮発メモリ部１１２から読み出される。各種パラメータは、表示部１１４に表示され、操作信号入力部１１５又はＧＵＩを用いて値を変更することができる。
【００４２】
動きベクトル検出部１０４に対しては、動きベクトル数や動きベクトルの探索範囲、テンプレートサイズ等の制御パラメータが保持される。幾何変換処理部１０７に対しては、防振パラメータ算出部１０６により算出された防振パラメータとその計算に用いられた内部パラメータや歪み係数等を制御パラメータとして与える。符号・復号化部１０８に対しては、符号化方式や圧縮率の制御パラメータを与える。
【００４３】
さらに、システム制御部１１０は、ワークメモリ１０５，１０９の制御を行い、出力の遅延量を制御する。また、システム制御部１１０は、レンズ光学系１０１のズーム動作を行うズーム調整部１１１を制御する。システム制御部１１０は、ズーム調整部１１１内のエンコーダによってズーム状態を表すズーム値を読み取る。そして、不揮発メモリ部１１２に保存されたズーム値と焦点距離との関係を示すルックアップテーブル又は変換式を用いて、任意のズーム状態におけるレンズ光学系１０１の焦点距離を算出して保持する。
【００４４】
ここで、焦点距離の変動に応じて歪み係数は変動する。このため、システム制御部１１０は、焦点距離に対応する歪み係数を算出する。具体的には、不揮発メモリ部１１２に保存された焦点距離と歪み係数との関係を示すルックアップテーブル又は変換式を用いて、任意の焦点距離における歪み係数を算出して保持する。さらに、焦点距離以外の内部パラメータについては、不揮発メモリ部１１２から読み出して保持する。
【００４５】
焦点距離ｆ以外の内部パラメータは、水平及び垂直方向のピクセルサイズku,kv、せん断量φ、水平及び垂直方向のオフセット量u0,ν0により構成される。これら内部パラメータは、カメラの設計仕様又はカメラキャリブレーションにより得られる。システム制御部１１０は、これら内部パラメータ及び歪み係数を、防振パラメータ算出部１０６に通知する。
【００４６】
不揮発メモリ部１１２は、システム制御に必要な、動きベクトル検出部１０４、防振パラメータ算出部１０６、符号・復号化部１０８、前処理部１０３、撮像素子１０２等に対する制御パラメータの初期値を保存している。該制御パラメータには、カメラ内部パラメータ、ズーム位置と焦点距離との関係を示すルックアップテーブル又は変換式、焦点距離と歪み係数との関係を示すルックアップテーブル又は変換式が含まれる。これらの制御パラメータは、システム制御部１１０によって読み出される。
【００４７】
記録部１１３は、半導体メモリ、磁気テープ、光ディスク等の映像信号を記録可能な記録媒体に対して、符合・復号化部１０８により符号化された映像信号の書き込み（記録）と読み出し（再生）とを行う。
【００４８】
表示部１１４は、ＬＣＤ，ＬＥＤ，ＥＬ等の表示素子により構成される。表示部１１４は、例えば、パラメータ設定表示、警告表示、撮像された映像データの表示、記録部１１３により読み出された記録映像データの表示を行う。記録映像データを再生する場合には、記録部１１３から符号化された映像信号を読み出して、システム制御部１１０を通して符号・復号化部１０８に送る。復号化処理が行われた記録映像データは、表示部１１４にて表示される。
【００４９】
操作信号入力部１１５は、カメラの機能の選択や各種設定を外部から行うための設定用ボタンや、撮像の開始と終了を指示するボタンも含まれる。操作信号入力部１１５は、タッチパネル式表示方式を用いることで、表示部１１４と統合してもよい。
【００５０】
外部Ｉ／Ｆ１１６は、操作信号入力部１１５から入力された操作信号に代わる入力信号を外部から入力したり、符号化された映像信号を外部機器に出力したりするＩ／Ｆである。該外部Ｉ／Ｆ１１６は、ＵＳＢ、ＩＥＥＥ１３９４、無線ＬＡＮ等のＩ／Ｆプロトコルにより実現される。また、撮像時の焦点距離又はズーム状態、カメラ内部パラメータ、歪み係数等の防振に必要な情報を含んだ映像信号を外部から入力することも可能であり、これにより記録済み映像の防振処理を可能にする。
【００５１】
図３には、本実施例における防振処理手順を示す。動きベクトル算出ステップ、防振パラメータ算出ステップ、幾何変換処理ステップにより構成され、入力される映像フレームに対して処理を繰り返す。動きベクトル算出ステップ、防振パラメータ算出ステップ及び幾何変換処理ステップはそれぞれ、動きベクトル検出部１０４、防振パラメータ算出部１０６及び幾何変換処理部１０７にて処理が実行される。また、各部での処理は、システム制御部１１０に格納されたコンピュータプログラム（画像防振プログラム）によって制御される。
【００５２】
Ｓ（ステップ）３０１は、動きベクトル算出ステップである。このステップでは、前処理部１０３から直接入力されるカレントフレームと、ワークメモリ１０５から入力される過去フレームとの間で動きベクトルを算出する。動きベクトルの算出では、テンプレートマッチングや勾配法に基づくマッチングが行われる。
【００５３】
図４には、テンプレートマッチングの一種であるブロックマッチングの例を示す。ここでは、左側の映像フレーム（フレーム画像）４０１を基準画像とし、右側の映像フレーム（フレーム画像）４０２を探索画像とする。例えば、先に入力された過去フレームを基準画像とし、後から入力されたカレントフレームを探索画像として動きベクトルを検出する。左画像４０１中でグリッド状に配置した注目点４０４を中心とした所定サイズの部分領域をテンプレート４０３とする。そして、右画像４０２中で任意の探索領域４０７を設定し、該探索領域４０７を順次移動させながらテンプレート４０３と最も合致する位置を探索する。
【００５４】
具体的には、右画像４０２中の注目画素４０５を基準とした領域４０６と左画像４０１中のテンプレート４０３との類似度を計算する。類似度の指標としては、ＳＳＤ(Sum of Square Difference)、ＳＡＤ(Sum of Absolute Difference)、正規相互相関等の相関演算の結果が用いられる。実写映像のようにフレーム間の輝度変動が激しい場合は、正規相互相関が主に用いられる。正規相互相関の類似度スコアの算出式は以下の通りである。
【００５５】
【数２】
2008259076.tif 000006
【００５６】
探索領域の類似度を一通り算出した結果、最も類似度の高い位置を対応位置とみなして動きベクトルを算出する。オクルージョンがなければ、基準画像（左画像４０１）上で設定した注目点４０４の数だけ動きベクトルを算出する。動きベクトルはそれぞれ、基準画像中の注目点４０４の位置を始点とし、探索画像（右画像４０２）中の対応点の位置を終点とするベクトルにより、以下のように表現される。
【００５７】
【数３】
2008259076.tif 000007
【００５８】
以上、注目点をグリッド状に固定的に配置したブロックマッチングの例を示したが、基準画像上で動きベクトルを算出しやすい特徴点を抽出し、その位置を注目点としてもよい。
【００５９】
注目点の抽出には、通常Harrisオペレータ（C. Harris and M. Stephens, “A combined corner and edge detector”, Fourth Alvey Vision Conference, pp.147-151, 1988.）等の画像処理フィルタが用いられる。
【００６０】
Harrisオペレータは、まずウィンドウサイズＷを決定し、水平及び垂直方向についての微分画像(Idx,Idy)を計算する。この計算には、微分画像の計算Soblフィルタ等を用いればよい。例えば、フィルタは、ｈ＝[1,√2,1]/(2+√2)を横方向とし、縦方向に３つにならべた３×３フィルタｈｘ及び横方向に３つならべた３×３フィルタｈｙを画像に適用することで、(Idx,Idy)を得る。
【００６１】
そして、画像内の全ての座標(x,y)について、ウィンドウＷを用いて、次のマトリクスＧを計算する。
【００６２】
【数４】
2008259076.tif 000008
【００６３】
さらに、マトリクスＧの最小特異値が大きい座標(x,y)の順に特徴点を抽出していく。その際、特異点があまり密集しないほうが好ましい。そこで、既に特徴点が抽出済みの座標(x,y)を含むウィンドウサイズＷの周辺では特徴点を算出しない等の約束を設けてもよい。
【００６４】
Ｓ３０２は防振パラメータ算出ステップである。このステップでは、カレントフレームと過去フレーム間の動きベクトルを入力として、当該フレームに対する防振パラメータを出力する。算出処理に遅延が生じない場合は、カレントフレームに対応する防振パラメータとなる。遅延が生じている場合には、遅延量分過去のフレームが防振パラメータの算出対象フレームとなる。
【００６５】
防振パラメータ算出ステップＳ３０２では、図５に示すよう、さらに細分化されたステップにより、防振パラメータを算出する。防振パラメータは、カメラ内部パラメータ、歪み係数及び防振補正量を表す幾何変換マトリクスにより構成される。
【００６６】
まず、Ｓ５０１の正規化ステップでは、動きベクトルを入力フレームのピクセル座標系の動きベクトル値から正規化画像座標系における動きベクトル値に変換する。(x,y)は入力フレーム上のピクセル座標を、(u0,ν0)は歪みを含む正規化画像座標を示す。また、(u,ν)は歪みを除去した正規化画像座標を示す。ここでは、まず動きベクトルを内部パラメータにより正規化画像座標に変換する。inv（）は括弧内のマトリクスの逆行列を表す。
【００６７】
【数５】
2008259076.tif 000009
そして、歪み係数により歪みを除去する。
【００６８】
【数６】
2008259076.tif 000010
【００６９】
→の演算は、以下で説明する処理で行う。歪み除去は、放射ひずみの関係である、
【００７０】
【数７】
2008259076.tif 000011
を用いて行う。ｋ１，ｋ２，ｋ３はそれぞれ、１次，２次，３次の放射方向の歪み係数を表す。これらは、レンズ光学系１０１の収差より生じる歪みである。
【００７１】
また、歪みは、レンズ光学系１０１の焦点距離によって変化する。このため、歪みと焦点距離との関係は、設計値から算出するか焦点距離を変化させて事前に計測される。そして、焦点距離に対応するルックアップテーブル又は焦点距離に関する変換式として、不揮発メモリ部１１２に記憶させる。
【００７２】
システム制御部１１０は、ズーム調整部１１１から通知されるレンズ光学系１０１のズーム状態から焦点距離を計算する。そして、対応する歪み係数を計算式からの計算又はルックアップテーブルの参照によって得て各処理部に通知する。
【００７３】
本実施例では、放射方向の歪みのみを除去するが、動径方向の歪みのような別の歪みが顕著ならば、別途、歪み除去処理を追加して行ってもよい。
【００７４】
Ｓ５０２の画像変化量算出ステップでは、正規化画像座標系に変換したフレーム間の動きベクトルを入力として、フレーム間の画像変化量を算出する。画像変化量の指標としては、射影ホモグラフィを用いる。過去フレームにおける正規化画像座標を(ui,νi)とし、カレントフレームにおける正規化画像座標を(ui’,νi’)とし、ｉ＝ｌ，Λ，ｍ（ｍは動きベクトル数）とすると、以下の射影ホモグラフィについての線形式を得ることができる。
【００７５】
【数８】
2008259076.tif 000012
【００７６】
この線形式は、対応点数ｍがｍ≧８ならば過決定となる。そして、線形最小二乗式として解くことにより、
【００７７】
【数９】
2008259076.tif 000013
が求められる。これを３×３のマトリクスに整形することにより、
【００７８】
【数１０】
2008259076.tif 000014
で表される射影ホモグラフィ、つまりは画像変化量が求められる。
【００７９】
Ｓ５０３の見え変化成分除去ステップでは、フレーム間から求まる画像変化量から、見え変化成分を除去する。画像変化量、つまりは射影ホモグラフィは、回転と並進からなるカメラワークの情報（回転及び並進に関する情報）と、空間中の基準面の深さ位置及び方向からなるシーン配置の情報とにより構成されるフレーム間の動きを表す指標である。
【００８０】
射影ホモグラフィと、カメラワーク及びシーン配置の関係は次式により表される。
【００８１】
【数１１】
2008259076.tif 000015
Ｒはカメラの回転を、
2008259076.tif 000016
はカメラの並進を示す。ｄは基準面までの距離を、
2008259076.tif 000017
は、基準面のカメラから離れる向きの法線、λは任意の定数である。ここで、２画像間からの算出では、空間平面の距離ｄとカメラワーク並進のノルムである、
【００８２】
【数１２】
2008259076.tif 000018
の積を分けることはできない。ノルムとは、ベクトルの大きさを表す量である。つまり、
2008259076.tif 000019
は、並進方向を表す単位方向ベクトルとしての、
【００８３】
【数１３】
2008259076.tif 000020
として、ｄは空間平面までの距離と並進量の大きさの積として扱われる。
【００８４】
ここで、見え変化成分とは、基準面の方向について、任意の方向を向いた基準面と光軸に垂直な方向を向いた基準面との射影ホモグラフィとしての差分量として定義する。
【００８５】
つまり、まず任意の方向を向いた基準面に対して並進することにより生じる画像変化量があるとする。また、同じ深さ位置に存在し、光軸に垂直な基準面に対して、同じ量並進することにより生じる画像変化量が計算されるとする。これらの差分を見え変化量として定義している。
【００８６】
言い換えれば、見え変化成分とは、画像間の幾何変化におけるせん断を示す。この成分は、画像変化量の逆変換を補正量として防振を行う際に、画像を歪ませる成分に相当する。防振に適する動き情報を求める際には、見え変化成分を除去しなければならない。
【００８７】
また見方を変えれば、見え変化成分の除去は、対応点の空間中の分布により任意に決まるホモグラフィの基準面方向を変位前の画像面に平行な方向に向けることに対応する。つまり、基準面の法線方向を変位前の画像面の光軸方向に平行に向けることに対応する。
【００８８】
この見え変化成分を除去するため、射影ホモグラフィを、カメラワーク回転Ｒと、シーンの被写体を近似した面の方向
2008259076.tif 000021
と、並進
2008259076.tif 000022
及び深度ｄの積である、
【００８９】
【数１４】
2008259076.tif 000023
【００９０】
とに分解する。そして、面の方向
2008259076.tif 000024
をカメラ光軸に垂直な方向に置き換え、見え変化成分を除去したホモグラフィを再計算する。
【００９１】
まず、射影ホモグラフィの分解においては、以下の手順により可能な２つの解を算出する。射影ホモグラフィの２つの解への分解は、固有値分解又は特異値分解を利用し、不変量を見出すことで行われる。様々な解法を採りうるが、ここでは、B.Triggs,””Autocalibration from Planar Scene”,ECCV98で用いられたアプローチを参考に説明する。
【００９２】
最初に、Ｈの符号は、平面上の全ての対応点、
【００９３】
【数１５】
2008259076.tif 000025
で、
【００９４】
【数１６】
2008259076.tif 000026
を満たすように選択されるとする。
【００９５】
Ｈの特異値分解は、Ｈ＝ＵＳＶＴとなる。ここで、Ｕ及びＶは、３×３の回転マトリクスである。また、
【００９６】
【数１７】
2008259076.tif 000027
は、正の降順対角要素σ１≧σ２≧σ３≧０であり、Ｈの特異値とする。また、関連する直交マトリクスＵ及びＶの列要素をu1,u2,u3及びν1,ν2,ν3で表す。
【００９７】
第１カメラの参照系を採用し、３次元平面を、
【００９８】
【数１８】
2008259076.tif 000028
とする。
【００９９】
ここで、
2008259076.tif 000029
は外向き(カメラから離れる方向)の法線とする。ζ＝１／ｄ≧０は、平面に対する距離の逆数である。この参照系においては、第１カメラは３×４の射影マトリクス、
【０１００】
【数１９】
2008259076.tif 000030
を持つ。そして、第２カメラは、Ｐ２＝Ｒ［Ｉ３×３｜ｔ］＝［Ｒ｜ｔ′］である。ｔ′＝−Ｒｔであり、ｔ，ｔ′はカメラ間の並進(つまり、第１カメラの光軸中心から第２カメラの光軸中心への並進)であり、Ｒはカメラ間の回転を表す。
【０１０１】
第１カメラの画像１から第２カメラの画像２の間の画像変化を表すホモグラフィは、Ｈ＝ＲＨ１であり、ここでは、
【０１０２】
【数２０】
2008259076.tif 000031
である。このとき、平面上の３次元点
2008259076.tif 000032
に対して、
【０１０３】
【数２１】
2008259076.tif 000033
である。なぜなら、そこでは、
【０１０４】
【数２２】
2008259076.tif 000034
であるためである。そして、
2008259076.tif 000035
を画像１内の任意点として扱うと、違いは全体のスケール因子のみである。
【０１０５】
積である、
【０１０６】
【数２３】
2008259076.tif 000036
のみが復元可能であるため、‖ｔ‖＝‖ｎ‖＝１で正規化する。つまり、平面距離１／ζは、単位基線長‖ｔ‖において測定される。そして、可能な符号を決めるために、後述するデプス正制約テストを行う。
【０１０７】
特異値分解のＨ＝ＵＳＶＴとＨ１＝Ｕ１ＳＶＴはＲの要素まで同じである。すなわち、Ｕ＝ＲＵ１である。Ｈ１において、外積ベクトル、
【０１０８】
【数２４】
2008259076.tif 000037
は不変である。もし特異値が明確ならば、
【０１０９】
【数２５】
2008259076.tif 000038
は特異ベクトルに対応しなければならない。これにより、これはいつも２番目の特異ベクトルν２であると分かる。このため、Ｈの補正正規化はＨ→Ｈ／σ２、つまり（σ１，σ２，σ３）→（σ１／σ２，１，σ３／σ２）である。以下、σ２による正規化が済まされているものと想定する。
【０１１０】
画像フレーム１において＜
【０１１１】
【数２６】
2008259076.tif 000039
がν２に対応することが与えられると、
【０１１２】
【数２７】
2008259076.tif 000040
は｛ν１，ν３｝により占められなければならない。つまり、任意のパラメータα、β（ただし、α２＋β２＝１）)に対して、
【０１１３】
【数２８】
2008259076.tif 000041
である。
2008259076.tif 000042
に直交する任意方向(特に
2008259076.tif 000043
)はＨもしくはＨ１によって変化しないノルムを持つ。
【０１１４】
ここで、
【０１１５】
【数２９】
2008259076.tif 000044
である。
【０１１６】
ここで、
【０１１７】
【数３０】
2008259076.tif 000045
を上記のν１もしくはν３に対応させると、解がなくなってしまう。それゆえν２のみが可能となる。
【０１１８】
厳密には、左辺の同じ引数が、
【０１１９】
【数３１】
2008259076.tif 000046
を示す。
2008259076.tif 000047
がＨ１の固有値である、
【０１２０】
【数３２】
2008259076.tif 000048
の固有ベクトルを満たすならば、
【０１２１】
【数３３】
2008259076.tif 000049
を得る。このため、
【０１２２】
【数３４】
2008259076.tif 000050
である。また、単純化後は、ζ＝σ１−σ３である。
【０１２３】
Ｈ１の特異値分解の左辺である、
【０１２４】
【数３５】
2008259076.tif 000051
は表記
【０１２５】
【数３６】
2008259076.tif 000052
により復元可能であり、
2008259076.tif 000053
がＨ１の固有ベクトルであることが必要である。そこでは、
【０１２６】
【数３７】
2008259076.tif 000054
である。また、単純化後は、
【０１２７】
【数３８】
2008259076.tif 000055
である。そして、このため、
【０１２８】
【数３９】
2008259076.tif 000056
として、最後に回転Ｒが得られる。
【０１２９】
以下、画像変化量を、回転と並進からなるカメラワークＲ、
2008259076.tif 000057
(方向ベクトル)と空間の基準面の深さ位置ｄと方向
2008259076.tif 000058
からなるシーン配置との可能な２つの解を算出するための、一連の具体的な処理をまとめて示す。
【０１３０】
【数４０】
2008259076.tif 000059
【０１３１】
これらを用いて可能な２つの解、
【０１３２】
【数４１】
2008259076.tif 000060
が求まる。
【０１３３】
【数４２】
2008259076.tif 000061
【０１３４】
との符号の整合性を取ることにより、可能な２つの解が算出される。その後、エピポーラ誤差チェックを行い、誤差の少ない１つの解を抽出する。
【０１３５】
エピポーラ誤差チェックは、以下のようにして実行される。対応点である、
【０１３６】
【数４３】
2008259076.tif 000062
より求められたホモグラフィを分解して得られる姿勢変化とシーン情報の可能な２つの解のセットである、
【０１３７】
【数４４】
2008259076.tif 000063
について、対応点を用いてエピポーラ誤差を算出する。エピポーラ誤差は、
【０１３８】
【数４５】
2008259076.tif 000064
【０１３９】
で表される。ｎは対応点数である。そして誤差の小さな解を真の解として選択する。これにより、
【０１４０】
【数４６】
2008259076.tif 000065
の唯一の解が求まる。
【０１４１】
画像変化量を分解して得られた、
【０１４２】
【数４７】
2008259076.tif 000066
の基準面法線
2008259076.tif 000067
を光軸に垂直な法線である、
【０１４３】
【数４８】
2008259076.tif 000068
に置き換えて、画像変化量を再計算する。
【０１４４】
【数４９】
2008259076.tif 000069
【０１４５】
これにより、見え変化成分を除去した画像変化量が算出される。
【０１４６】
なお、基準面法線
2008259076.tif 000070
を変更するのではなく、画像変化量を分解して得られた回転Ｒと正規化画像座標系における対応点
2008259076.tif 000071
、
2008259076.tif 000072
を用いて見え変化成分を除去した画像変化量を再計算してもよい。
【０１４７】
【数５０】
2008259076.tif 000073
をまず計算する。そして、カメラワークの回転Ｒの影響を除去した対応点である、
【０１４８】
【数５１】
2008259076.tif 000074
間で基準面を第１カメラの光軸に垂直にした場合に生じる並進の画像変化量への影響である拡大縮小及び並進(垂直・水平)成分を最小二乗的に算出する。
【０１４９】
【数５２】
2008259076.tif 000075
【０１５０】
ここで、est()は括弧内の対応点間で拡大縮小及び並進(垂直及び水平)の変位成分を最小自乗的に算出する処理である。そして、
【０１５１】
【数５３】
2008259076.tif 000076
を計算する。結果面を立てることにより得られる並進カメラワークのホモグラフィへの寄与を別のアプローチにより安定的に求めることができる。これにより、基準面法線
2008259076.tif 000077
を変更した場合と同様に、見え変化成分を除去した画像変化量が算出される。
【０１５２】
Ｓ５０４の補正量算出ステップでは、見え変化成分を除去された各フレーム間の画像変化量を入力とする。そして、該変化量の過去のフレーム間について算出された系列、
【０１５３】
【数５４】
2008259076.tif 000078
も含めた系列を用いてある対象フレームに対する防振補正量を算出する。ここで、ｎはカレントフレーム番号、ｋは系列の構成数とする。
【０１５４】
次に、周波数の高い動き成分を防振すべき成分とみなして映像シーケンスから除去するように防振補正し、周波数の低い動き成分を意図ある動き成分とみなして映像に保存する。
【０１５５】
具体的には、フィルタリングによりこれら信号成分の分離を行う。フィルタリングはデジタルフィルタリングにより実現する。入力系列の構成数は、デジタルフィルタのタップ数に対応させる。
【０１５６】
図７はデジタルフィルタリングによる防振補正量の算出過程を説明する模式図である。ここでは、デジタルフィルタを一例として５タップのＦＩＲフィルタとする。１フレームに対する防振補正量の算出に５つのフレーム間画像変化量を必要とする。
【０１５７】
図１８に、補正量算出の手順を示す。
【０１５８】
まず、Ｓ１８０１の累積変化量算出ステップでは、カレントフレーム間及び過去フレーム間について算出された画像変化量から、入力系列の先頭を基準とした累積変化量
【０１５９】
【数５５】
2008259076.tif 000079
を算出する。ここで、
【０１６０】
【数５６】
2008259076.tif 000080
である。したがって今回の例の場合における一例を上げると、
【０１６１】
【数５７】
2008259076.tif 000081
となる。
【０１６２】
Ｓ１８０２のホモグラフィフィルタリングステップでは、累積変化量ホモグラフィの系列に対し、フィルタリングを行う。デジタルフィルタを設計し、その係数を決定するには、フーリエ級数法や窓関数法を組み合わせて行う。遷移領域及びタップ数等の特性を決定し、デジタルフィルタの係数を算出する。
【０１６３】
デジタルフィルタのタップ数（ＴＡＰ＝５）に応じた累積変化量系列の入力、
【０１６４】
【数５８】
2008259076.tif 000082
を行い、デジタルフィルタリングを実行する。この結果、遅延の影響を受けたフィルタリング結果、
【０１６５】
【数５９】
2008259076.tif 000083
が出力される。デジタルフィルタがＦＩＲフィルタの場合遅延量はタップ数に比例する。すなわち、
【０１６６】
【数６０】
2008259076.tif 000084
である。したがって、５タップにより構成されるデジタルフィルタの場合、２フレーム間分の遅延が発生する。このためカレントフレーム間から４つ前のフレーム間までの画像変化量、
【０１６７】
【数６１】
2008259076.tif 000085
を用いて累積変化量、
【０１６８】
【数６２】
2008259076.tif 000086
を計算し、デジタルフィルタリングを行ったフィルタリング結果は、カレントより２フレーム間前の累積変化量Ｈ３accに対応することになる。
【０１６９】
Ｓ１８０３の補正量算出ステップでは、フィルタリング結果から復元された画像変化量、
【０１７０】
【数６３】
2008259076.tif 000087
と、遅延の結果対応することとなった対象フレーム間の画像変化量の累積変化量Ｈiaccを用いて防振補正量を算出する。デジタルフィルタがローパスフィルタの場合、
【０１７１】
【数６４】
2008259076.tif 000088
を計算することにより対象フレームの防振補正量が求まる。ｋはデジタルフィルタのタップ数である。タップ数５である今回の例の場合、
【０１７２】
【数６５】
2008259076.tif 000089
により、カレントフレーム間よりも２フレーム前のフレーム間に対応する防振補正量が算出される。本例ではｎ＋１フレームをカレントフレームとするとｎ−１フレームが防振処理されるフレームとなる。  
【０１７３】
以上のような手順により、対応するフレームに対する防振補正量が算出される。しかしながら、通常は、デジタルフィルタリングは時間軸のみを持った１次元信号を入力信号の前提とする。このため、フィルタリングステップの前に多次元量であるホモグラフィの系列を複数の１次元量系列、例えば、
【０１７４】
【数６６】
2008259076.tif 000090
のような系列のセットに変換（成分分離）する必要がある。本実施例では、フレーム間の画像変化量である射影ホモグラフィ、
【０１７５】
【数６７】
2008259076.tif 000091
をカメラワークに類似した成分に分離された１次元量系列セットに変換する。そして、デジタルフィルタリングを実施する。その後、フィルタリング後の１次元量セットを逆変換し、フィルタリング後の射影ホモグラフィ、
【０１７６】
【数６８】
2008259076.tif 000092
を得る。
【０１７７】
図８は、図７のフィルタリング処理の内部処理と、図１８の処理手順のホモグラフィフィルタリングステップＳ１８０２とをより細かく説明するための模式図である。
【０１７８】
多次元量として表現される射影ホモグラフィを、１次元量に変換する。そして、その時系列をデジタルフィルタリングする。その後、１次元量のフィルタリング結果を復元して多次元量であるフィルタリング後ホモグラフィを得る。この処理の手順を図１９に示す。
【０１７９】
Ｓ１９０１の成分変換ステップでは、まず、
【０１８０】
【数６９】
2008259076.tif 000093
で表される、各累積変化量ホモグラフィについて、ｈ９＝１となるように、ｈ９でＨiaccの各成分を割り、正規化を行う。そして、ホモグラフィを画像内の動きである並進（水平、垂直）、拡大縮小、回転、せん断、あおり（水平、垂直）の７成分に以下の式により分離する。
【０１８１】
【数７０】
2008259076.tif 000094
【０１８２】
これにより、水平並進ｔｘ、垂直並進ｔｙ、拡大縮小ｓ、回転（面内回転）θ、せん断の非等方倍率α、せん断の方向角φ、水平あおりνｘ、垂直あおりνｙの８パラメータに分解される。ただし、
【０１８３】
【数７１】
2008259076.tif 000095
である。
【０１８４】
累積変化量系列である、
【０１８５】
【数７２】
2008259076.tif 000096
をカメラワークに類似した成分に分解した１次元時系列量セット、つまり、
【０１８６】
【数７３】
2008259076.tif 000097
を入力として、各成分についてデジタルフィルタリングを行う。ただし、見え変化成分を除去しているため、常にせん断成分は、α＝１、φ＝０であるべきなので、フィルタリングは行わなくてもよい。つまり、
【０１８７】
【数７４】
2008259076.tif 000098
を入力時系列信号セットとしてもよい。成分毎にデジタルフィルタリングを行う。
【０１８８】
以下、成分毎のデジタルフィルタリング処理について説明するする。この処理は、図８のカッコ内の処理に対応する。例えば、ｔｘ成分に注目すると、
【０１８９】
【数７５】
2008259076.tif 000099
のタップ数に応じた項数の１次元時系列信号にデジタルフィルタリングを適用する。この際、時系列信号を定常とみなすため、オフセット
2008259076.tif 000100
を減算する。
2008259076.tif 000101
は１次元信号系列である、
【０１９０】
【数７６】
2008259076.tif 000102
の平均値である。オフセットを減算した時系列信号に対し、デジタルフィルタリングを適用する。
【０１９１】
また、Ｓ１９０２の線形化ステップでは、拡大縮小項（拡大縮小成分）ｓについては変化を線形とするため、ｓ′＝logeｓで対数変換した後にデジタルフィルタリングを適用する。
【０１９２】
さらに、あおり項νｘ及びνｙについては、カメラワークに類似した成分に変換する際の演算順から拡大縮小項の影響が乗った値となってしまう。この影響を除去するため、画像上の見えとしてデジタルフィルタリングを適用する。このため、拡大縮小成分ｓを乗算した画像の見えに変換し（νｘ′＝ｓνｘ，νｙ′＝ｓνｙ）、その後フィルタリングを行う。
【０１９３】
Ｓ１９０３の時系列フィルタリングステップでは、成分ごとの次元信号系列に対しフィルタリングを行う。
【０１９４】
Ｓ１９０４の非線形復元ステップでは、まずフィルタリング結果の時系列信号から最終時系列項（カレント信号に対応する出力値）のみを抽出する。ここでは、
【０１９５】
【数７７】
2008259076.tif 000103
を出力セットとする。そして、フィルタリング前に減算した各オフセット項である、
【０１９６】
【数７８】
2008259076.tif 000104
を加算し復元する。さらに、拡大縮小項及びあおり項の復元を行う。具体的には、
【０１９７】
【数７９】
2008259076.tif 000105
の計算（指数変換）を行う。
【０１９８】
ただし、このようにして求められたフィルタリング結果、
【０１９９】
【数８０】
2008259076.tif 000106
は遅延の影響を受けるため、最終フレーム間に対応する動き成分ではなくなっている。ＦＩＲフィルタならば、タップ数をｋとすると、（ｋ−１）／２の遅延が発生する。つまり、カレントから（ｋ−１）／２前のフレーム間の動きをフィルタリングした結果となる。
【０２００】
Ｓ１９０５の成分逆変換ステップでは、フィルタリング結果の１次元量セット、
【０２０１】
【数８１】
2008259076.tif 000107
から、ホモグラフィの形式を以下の式を用いて復元する。
【０２０２】
【数８２】
2008259076.tif 000108
である。
【０２０３】
そして、前述のように、フィルタリング結果から復元された画像変化量、
【０２０４】
【数８２】
2008259076.tif 000109
と、遅延の結果対応することとなった対象フレーム間の画像変化量の累積変化量Ｈiaccを用いることで防振補正量が算出される。
【０２０５】
Ｓ３０３は幾何変換ステップである。該ステップでは、防振パラメータ算出部１０６にて算出された防振補正量、及びシステム制御部１１０から通知されるカメラ内部パラメータ、歪み係数を含む防振パラメータを入力とする。さらに、ワークメモリ１０５から入力される当該フレームを入力する。
【０２０６】
幾何変換処理部１０７では、防振パラメータを当該フレームに対して適用し、幾何変換を行う。これにより防振処理後のフレームを得る。幾何変換は、例えばバックワードマッピングにより実現される。
【０２０７】
防振パラメータには、撮像時のカメラ内部パラメータ、歪み係数及び防振補正量に加え、幾何変換後のカメラ内部パラメータ及び歪み係数が含まれる。通常、幾何変換後のカメラ内部パラメータは、焦点距離以外は幾何変換前のカメラ内部パラメータと同じに設定される。これに対し、焦点距離は、防振のための余剰画素を確保するため、幾何変換前よりも長く設定され、映像シーケンス中で欠損が生じないように画角を決定する。また、幾何変換後の映像は通常は歪みのない状態として出力される。
【０２０８】
防振補正量は、例えば、正規化画像座標系における画像斉次座標を変換する３×３の幾何変換マトリクスにより表現される。
【０２０９】
図６には、バックワードマッピングにおける幾何変換後のピクセル座標位置に対応する幾何変換前のピクセル座標位置を算出する処理手順を示す。幾何変換後のピクセル座標位置に対応する幾何変換前のピクセル座標位置を算出し、補間により該ピクセル座標位置のピクセル値を算出する。この手順を全ての幾何変換後のピクセル位置について行うことにより防振処理後フレームを得る。
【０２１０】
Ｓ６０１の正規化ステップでは、防振処理後フレームのピクセル座標である、
【０２１１】
【数８３】
2008259076.tif 000110
を正規化画像座標系上の座標値に変換する。つまり、カメラ内部パラメータの影響を除去した、焦点距離ｆ＝１のカメラ座標系での画像座標を求める。防振処理後の焦点距離である、
【０２１２】
【数８４】
2008259076.tif 000111
を含む内部パラメータを用いて、正規化画像座標系上の座標値に変換する。inv（）は括弧内の行列の逆行列を表す。
【０２１３】
【数８５】
2008259076.tif 000112
【０２１４】
Ｓ６０２の歪み除去ステップは、幾何変換後画像に加えられるディストーションを除去するステップである。通常、幾何変換後映像は無歪みの映像とする。そのため、出力映像が無歪み映像の場合、このステップは省略される。つまり、
【０２１５】
【数８６】
2008259076.tif 000113
となる。
【０２１６】
逆に、出力映像が歪みを加えた映像の場合は、正規化画像座標上での無ひずみ座標(u′,ν′)を歪み座標(uｄ′,νｄ′)から算出する。
【０２１７】
【数８７】
2008259076.tif 000114
という手順により、無歪み座標(u′,ν′)を求める。
【０２１８】
Ｓ６０３の幾何変換ステップでは、正規化画像座標上での防振補正の逆変換を実施する。防振補正量を表す幾何変換マトリクスを３×３の行列Ｈとすると、バックワードマッチングであるため、その逆行列inv（Ｈ）を正規化された座標点(u′,ν′)に適用することになる。
【０２１９】
【数８８】
2008259076.tif 000115
【０２２０】
これにより防振補正前の正規化画像座標(u,ν)を得る。
【０２２１】
Ｓ６０４の歪み付加ステップでは、正規化画像座標値に幾何変換前の歪みを付加する。以下の式により、放射方向歪みによるずれを付加する。
【０２２２】
【数８９】
2008259076.tif 000116
ｋ１，ｋ２，ｋ３はそれぞれ１次、２次、３次の放射方向歪み係数を表す。
【０２２３】
Ｓ６０５は正規化復元ステップである。このステップでは、歪みを加えた防振補正前の正規化画像座標(uｄ,νｄ)に対し、カメラ内部パラメータを以下のように適用することで入力フレーム上でのピクセル座標を得る。
【０２２４】
【数９０】
2008259076.tif 000117
【０２２５】
該ピクセル座標におけるピクセル値をバイキュービック補間等の補間法によりサンプリングし、防振処理後フレームの各ピクセルのピクセル値を得る。防振処理後フレームのすべてについてバックワードマッピングを行うことにより幾何変換処理が完了される。
【０２２６】
以上の処理ステップにより、映像信号の各フレームに防振処理が実施される。そして、防振処理された映像ストリームを符号・復号化部１０８にて、ＮＴＳＣ、ＭＰＥＧ４等の映像フォーマットに符号化する。
【０２２７】
最後に、記録部１１３にて符号化された映像ストリームを記録媒体に記録する。
【０２２８】
本実施例の処理により、非常に短い焦点距離の撮像光学系を有するビデオカメラで撮像された、意図的なカメラワークによる動きを含む映像においても、該カメラワークによる動きを保存し、かつ意図しないカメラ振れによる画像の振れを抑制することができる。
【０２２９】
なお、上述した実施例における時系列フィルタリングでは、デジタルフィルタリングを利用した。しかし、意図したカメラワークと意図しないカメラ振れに関連する画像変化量への分離は、他のフィルタリング手法を利用して行ってもよい。
【０２３０】
さらに、本実施例では、ビデオカメラに搭載された画像防振装置について説明したが、撮像光学系や撮像素子を持たない画像防振装置単体としても実現可能である。例えば、パーソナルコンピュータに上述した防振処理機能を実現するコンピュータプログラムをインストールすることで、該パーソナルコンピュータを画像防振装置として使用することも可能である。この場合、パーソナルコンピュータに、ケーブル、無線ＬＡＮ等を介してビデオカメラで撮像した映像情報を入力し、該パーソナルコンピュータによって防振処理を行う。
【実施例２】
【０２３１】
本発明の実施例２である画像防振装置及びこれを備えたビデオカメラについて説明する。画像防振装置及びビデオカメラの構成は実施例１と同じである。また、防振の処理手順の大まかな部分は、図３で説明した実施例１における処理手順と同じである。本実施例の処理手順の実施例１との差である防振パラメータ算出ステップを図９に示す。
【０２３２】
Ｓ９０１の正規化ステップでの処理は、図５の正規化ステップＳ５０１の処理と同様である。
【０２３３】
Ｓ９０２の姿勢量算出ステップでは、正規化画像座標系に変換したフレーム間の動きベクトルを入力として、フレーム間の画像変化の量を算出する。画像変化量の指標として、画像間から求まるカメラの姿勢変化量を用いる。
【０２３４】
以下、正規化画像座標系に変換したフレーム間の動きベクトルから、姿勢変化量の可能な２つの解である、
【０２３５】
【数９１】
2008259076.tif 000118
を算出する。
【０２３６】
姿勢変化量の可能な２つの解の算出には、例えば「金谷健一,”画像理解-３次元認識の数理-“,森北出版」に記載された方法を用いる。この場合、フレーム間の対応点はオプティカルフローであることが求められる。つまり、フレーム間のカメラの姿勢変化である、
【０２３７】
【数９２】
2008259076.tif 000119
が非常に微小であるという前提が必要となる。言い換えれば、カメラワークに比べて映像のフレームレートが十分高く、
【０２３８】
【数９３】
2008259076.tif 000120
が成り立つ範囲であることが求められる。以下、式中では、
【０２３９】
【数９４】
2008259076.tif 000121
【０２４０】
これらはそれぞれ次のような意味を持つ。
【０２４１】
【数９５】
2008259076.tif 000122
【０２４２】
これらを用いて解を得る。
【０２４３】
Ｗｓの固有値をσ１≧σ２≧σ３≧とし、対応する固有ベクトルである、
【０２４４】
【数９６】
2008259076.tif 000123
【０２４５】
を互いに直交する単位ベクトルにとる。
【０２４６】
もし、σ１＝σ２＝σ３＝０、すなわち、
【０２４７】
【数９７】
2008259076.tif 000124
【０２４８】
ならば、運動パラメータは、
【０２４９】
【数９８】
2008259076.tif 000125
であり、面のパラメータ｛ｐ，ｑ，ｒ｝は不定である。
【０２５０】
もしそうでなければ、次のように可能な２つの解が求まる。
【０２５１】
まず、画像変化量算出の基準となる面の勾配｛ｐ，ｑ｝は次のように定まる。
【０２５２】
【数９９】
2008259076.tif 000126
【０２５３】
【数１００】
2008259076.tif 000127
【０２５４】
最後に回転速度（ω１，ω２，ω３）は次のように求まる。
【０２５５】
【数１０１】
2008259076.tif 000128
【０２５６】
2008259076.tif 000129
はここでは要素の掛け算を表す。
【０２５７】
さらにこの時、
【０２５８】
【数１０２】
2008259076.tif 000130
である。以上の処理により、姿勢変化量の可能な２つの解である、
【０２５９】
【数１０３】
2008259076.tif 000131
である。したがって、回転マトリクスは、
【０２６０】
【数１０４】
2008259076.tif 000132
と近似される。この関係を用いて、対応点
2008259076.tif 000133
、
2008259076.tif 000134
より求められたホモグラフィを分解して得られる姿勢変化とシーン情報の可能な２つの解である、
【０２６１】
【数１０５】
2008259076.tif 000135
について、対応点を用いてエピポーラ誤差である、
【０２６２】
【数１０６】
2008259076.tif 000136
【０２６３】
を算出する。そして、誤差の小さなセットを真のセット、
【０２６４】
【数１０７】
2008259076.tif 000137
として選択する。
【０２６５】
Ｓ９０３のホモグラフィ算出ステップでは、フレーム間から求まる画像変化量である姿勢変化量、
【０２６６】
【数１０８】
2008259076.tif 000138
から、ホモグラフィを次のように算出する。
【０２６７】
【数１０９】
2008259076.tif 000139
【０２６８】
Ｓ９０４の補正量算出ステップでの処理は、図５の補正量算出ステップＳ５０４での処理と同様である。
【０２６９】
本実施例では、実施例１に対して以上の変更を加えた処理ステップにより、映像信号の各フレームに防振処理を適用する。これにより、本実施例では、フレーム間の動き変化が小さな場合に、単純な処理で実施例１の手法と同じ効果が得られる利点を持つ。
【０２７０】
なお、上述した実施例における時系列フィルタリングでは、デジタルフィルタリングを利用した。しかし、意図したカメラワークと意図しないカメラ振れに関連する画像変化量への分離は、他のフィルタリング手法を利用して行ってもよい。
【実施例３】
【０２７１】
本発明の実施例３である画像防振装置及びこれを備えたビデオカメラについて説明する。画像防振装置及びビデオカメラの構成は実施例１と同じである。また、防振の処理手順の大まかな部分は、図３で説明した実施例１における処理手順と同じである。本実施例の処理手順の実施例１との差である防振パラメータ算出ステップを図１０に示す。
【０２７２】
Ｓ１００１の正規化ステップでの処理は、図５の正規化ステップＳ５０１での処理と同様である。
【０２７３】
Ｓ１００２の基本行列算出ステップでは、正規化画像座標系に変換したフレーム間の動きベクトルを入力として、フレーム間の画像変化の量を算出する。画像変化量の指標として、画像間から求まる基本行列Ｅを用いる。基本行列Ｅの算出にはフレーム間対応点の情報である、
【０２７４】
【数１１０】
2008259076.tif 000140
を用いる。ここで、
【０２７５】
【数１１１】
2008259076.tif 000141
の線型方程式を形成する。対応点数ｎがｎ≧８ならば過決定となり、基本行列のベクトル形式である
【０２７６】
【数１１２】
2008259076.tif 000142
を最小二乗的に求めることが可能になる。そして、該ベクトル形式
2008259076.tif 000143
を３×３の行列形式に整形することで基本行列Ｅが求まる。
【０２７７】
Ｓ１００３のホモグラフィ算出ステップでは、フレーム間から求まる画像変化量である基本行列及び基本行列算出に用いた正規化座標における対応点から、射影ホモグラフィを算出する。フレーム間の基本行列Ｅは、フレーム間のカメラワーク回転Ｒ、並進
2008259076.tif 000144
により以下のように構成されている。
【０２７８】
【数１１３】
2008259076.tif 000145
【０２７９】
そこで、特異値分解ＵＳＶＴ＝ＳＶＤ（Ｘ）を用いて、基本行列を分解していく。ここでＳは対角要素に特異値を持つマトリクス、Ｕ，Ｖは特異値に対応する特異ベクトルにより構成されるマトリクスである。また、
【０２８０】
【数１１４】
2008259076.tif 000146
【０２８１】
また、基本行列Ｅは、スケール分の不定性を持つ。このため、
【０２８２】
【数１１５】
2008259076.tif 000147
としたときの余剰なＥのスケール成分は、無視する。結果
2008259076.tif 000148
は、並進の方向を示す方向ベクトルを表す。また、符合の不定性を生じることから、並進及び回転に対して４つの解が可能となってしまう。ここでは、Ｒ≧０及びデプス正制約を付加することで、１つの解を選定する。
【０２８３】
【数１１６】
2008259076.tif 000149
【０２８４】
sign()は括弧内の数値の符号が正なら＋１、負なら−１、０なら−１を算出する関数である。
【０２８５】
nsignが正ならばそのまま、負ならば方向ベクトル
2008259076.tif 000150
の符号を反転する。
【０２８６】
次に、ホモグラフィを算出する。基本行列から唯一の姿勢変化の解のセットである、
【０２８７】
【数１１７】
2008259076.tif 000151
が求められたならば、この情報を用いて見え変化成分（並進により生じるせん断、あおりの画像変化）を除いたホモグラフィを算出する。見え変化成分を含まないようにするため、
【０２８８】
【数１１８】
2008259076.tif 000152
より、足りない要素ｄを求める。
【０２８９】
【数１１９】
2008259076.tif 000153
のsumが最小となるように、深さ方向の基準面距離と並進の大きさの積ｄを求める。この結果、
【０２９０】
【数１２０】
2008259076.tif 000154
の関係式と基本行列、及びそれを計算するのに用いた対応点より、対応点分布に依存する見え変化成分を含まない射影ホモグラフィＨが求まる。
【０２９１】
Ｓ１００４の補正量算出ステップでの処理は、図５の補正量算出ステップＳ５０４での処理と同様である。
【０２９２】
本実施例では、実施例１対して以上の変更を加えた処理ステップにより、映像信号の各フレームに防振処理を適用する。
【０２９３】
また、本実施例３の防振パラメータ算出手法は、防振パラメータ算出ステップに入力される対応点のシーン中における分布がある単一平面上に存在すると不安定になるという性質を持つ。逆に、実施例１の防振パラメータ算出手法は、対応点のシーン中における空間点が広い奥行き範囲に一様に分布している場合に不安定になるという性質を持つ。つまり、両者は補完的な性質を有する。
【０２９４】
そして、この性質を利用するために、両方の特性を生かす実装をしてもよい。例えば、図１１は、画像変化量を算出する前に、正規化対応点分布の平面性（つまりは、動きベクトル点の空間分布の平面性）を調べ、その結果に応じて処理を切り換える防振パラメータ算出処理手順を示す。
【０２９５】
Ｓ１１０１の正規化ステップでの処理は、実施例１の図５の正規化ステップＳ５０１での処理と同様である。
【０２９６】
Ｓ１１０２の平面性算出ステップでは、対応点から射影ホモグラフィを算出し、該射影ホモグラフィにより規定される空間中の基準面と、対応点の空間中の分布との適合度を平面性により調べる。フレーム間の対応点を、
【０２９７】
【数１２１】
2008259076.tif 000155
として、以下の式により平面性Ｐを算出する。Ｈは対応点から求められた射影ホモグラフィ、ｎは対応点数である。
【０２９８】
【数１２２】
2008259076.tif 000156
【０２９９】
そして、しきい値ｔｈを設定し、Ｐ≦ｔｈならば対応点は平面的な分布と判断し、Ｐ＞ｔｈならば対応点は非平面的な分布と判断する。
【０３００】
対応点分布が空間中で平面分布に近い場合は、実施例１のＳ１１０４による射影ホモグラフィ算出ステップに進む。そして、画像変化量の指標を射影ホモグラフィとした防振パラメータ算出を行う。逆に、対応点分布が平面分布に近くない場合は、本実施例の防振パラメータ算出手法におけるＳ１１１４の基本行列算出ステップに進む。そして、画像変化量の指標を基本行列とした防振パラメータ算出を行う。
【０３０１】
これ以後は、実施例１又は本実施例の防振パラメータ算出ステップによって防振パラメータを算出する。また、動きの絶対量が小さい場合は、本実施例の基本行列ベースの手法は誤差を生じやすい。このため、平面性の判定に動きの絶対量の指標を加えてもよい。動きの絶対量の指標としては、フレーム間の対応点のずれの二乗平均等が考えられる。
【０３０２】
本実施例によれば、非常に短い焦点距離の撮像光学系を有するビデオカメラで撮像された、意図的なカメラワークによる動きを含む映像においても、該カメラワークによる動きを保存し、かつ意図しないカメラ振れによる画像の振れを抑制することができる。特に、奥行きの広いシーンや動きの大きなシーン映像に対して、安定した防振処理結果が得られる。
【０３０３】
なお、上述した実施例における時系列フィルタリングでは、デジタルフィルタリングを利用した。しかし、意図したカメラワークと意図しないカメラ振れに関連する画像変化量への分離は、他のフィルタリング手法を利用して行ってもよい。
【実施例４】
【０３０４】
本発明の実施例４である画像防振装置及びこれを備えたビデオカメラについて説明する。画像防振装置及びビデオカメラの構成は実施例１と同じである。また、防振の処理手順の大まかな部分は、図３及び図５で説明した実施例１における処理手順と同じである。本実施例の処理手順の実施例１との差である補正量算出ステップを図１２に示す。
【０３０５】
本実施例では、補正量算出におけるフィルタリングを低次モデルフィッティングにより行う。まず、入力されたフレーム間の画像変化量を意図的なカメラワークの結果に対して、意図しないカメラワークというノイズが混入した観測値とみなして扱う。つまり、低周波数の動きにより構成される意図的なカメラワークを低次モデルによりモデリングする。そして、観測値に対してフィッティングによりフィルタリングを行う。また、該低次モデルはカルマンフィルタを用いて逐次更新していく。
【０３０６】
また、本実施例では、各フレーム間の画像変化量を入力とする。また、画像変化量は見え変化成分を除去した射影ホモグラフィとする。
【０３０７】
Ｓ１２０１のホモグラフィ変換ステップでは、入力射影ホモグラフィをカメラワークに類似した成分表現へと変換、分離を行う。低次モデルフィッティングを用いたフィルタリングは、多次元量系列の入力が可能である。しかし、カメラワークに対する入力多次元量の対応関係に非線形性があると、低次モデルフィッティングによるフィルタリング、カルマンフィルタによるモデル更新がうまく行かない。このため、この問題を防ぐために、本ステップでは、カメラワークに対して線形に変化する項と非線形に変化する項とに分離する処理を行う。
【０３０８】
フレーム間についての入力射影ホモグラフィは、ｈ９＝１としてスケール成分を正規化した場合、
【０３０９】
【数１２３】
2008259076.tif 000157
で表される。
【０３１０】
射影ホモグラフィの各項とカメラワーク（３軸回転、３軸並進）とを対比した場合、左上２×２項に影響するカメラワーク（前進、面内回転、パン、チルト）が混合している。その結果、これらカメラワークが同時に生じる場合、非線形な影響が生じ、フィルタリング及びモデル更新がうまく行かない可能性が発じる。このため、カメラワークに類似した画像変化成分（水平並進、垂直並進、拡大縮小、面内回転、せん断、水平あおり、垂直あおり）への変換を以下の式により行う。
【０３１１】
【数１２４】
2008259076.tif 000158
を求め、上三角行列であるＫの性質を利用しｑｒ分解によりＲ、Ｋを分離する。
【０３１２】
これにより、水平並進ｔｘ、垂直並進ｔｙ、拡大縮小ｓ、回転θ、せん断の非等方倍率α、せん断の方向角φ、水平あおりνｘ、垂直あおりνｙの８つのパラメータに分解する。ただし、
【０３１３】
【数１２５】
2008259076.tif 000159
である。フレーム間画像変化量を表す１次元時系列量セット、つまり、
【０３１４】
【数１２６】
2008259076.tif 000160
に変換される。
【０３１５】
Ｓ１２０２の線形化ステップでは、カメラワークに類似した画像変化成分へと変換した上で残存する非線形性、拡大縮小成分の水平、垂直あおり成分への影響を除去する。上記分解演算の順序のため、画像上での見え方の観点からパラメータを見ると、あおり成分は拡大縮小成分の影響を受ける。このため、拡大縮小に関連するカメラワーク及びあおりに関連するカメラワークが同時に生じる場合は、非線形なパラメータ変化となる可能性がある。そこで、
νｘ′＝ｓνｘ
νｙ′＝ｓνｙ
の演算を行い、あおり成分から拡大縮小の影響を削除する。
【０３１６】
Ｓ１２０３は、低次モデルフィッティングによるフィルタリングを行うステップである。本実施例においては、定速度モデルを画像変化量の変化モデルとする。これにより、画像変化量成分の定速度変化までを意図したモーションとして判断する。この結果、定速度変化よりも激しい変化を、意図しない画像変化量として区別することが可能となる。
【０３１７】
まず、カルマンフィルタを用いることで、逐次的な状態モデル更新とフィルタリングを効率的に行う。カルマンフィルタを用いるため時系列を表現する次のような状態空間モデルを立てる。
【０３１８】
【数１２７】
2008259076.tif 000161
【０３１９】
ここで、ｘｎは直接には観測できないｋ次元のベクトルで状態と呼ばれる。νｎはシステムノイズで、平均ベクトル０、分散共分散行列Ｑｎに従うｍ次元正規白色雑音である。ｗｎは観測ノイズ、平均ベクトル０及び分散共分散行列Ｒｎに従うｌ次元正規白色雑音である。また、Ｆｎ，Ｇｎ，Ｈｎはそれぞれ、ｋ×ｋ、ｋ×ｍ、ｌ×ｋの行列である。
【０３２０】
定速度モデルのシステムモデルはそれぞれ、状態変数ｘ及び、
【０３２１】
【数１２８】
2008259076.tif 000162
により定義される。速度変数は表に表れない内部パラメータである。
【０３２２】
速度変動要素を白色ガウスノイズＮ（０，σ）として扱う。ここで、Ｎ（０，σ）は、平均０、分散σの白色ガウシアンノイズを表す。
【０３２３】
まず、ある１つの成分に対するシステムモデルは、次式のように表現される。
【０３２４】
【数１２９】
2008259076.tif 000163
【０３２５】
したがって、全ての入力画像変化量成分に対する状態空間システムモデルは、次式で与えられる。
【０３２６】
【数１３０】
2008259076.tif 000164
【０３２７】
そして、各パラメータに対する観測モデルは、
【０３２８】
【数１３１】
2008259076.tif 000165
により表される。
【０３２９】
は観測値、Ｎ（０，σxobs）は、ｘ成分に対する白色ガウシアン観察ノイズである。白色ガウシアン観察ノイズ成分により、意図しない動きが表現される。そして、この観測ノイズの分散、及びシステムノイズの分散を調整することにより、カメラモーションの平滑性を調節することが可能である。
【０３３０】
上記システムモデル及び観測モデルを状態空間モデルの行列形式で表すと、
【０３３１】
【数１３２】
2008259076.tif 000166
である。さらに、
【０３３２】
【数１３３】
2008259076.tif 000167
とおくことができる。
【０３３３】
これにより、モデルの逐次更新（x(t+1|t)←x(t|t)）は、
ｘ＝Ｆｘ
Ｐ＝ＦＰＦＴ＋ＧＱＧＴ
によって行われる。
【０３３４】
そして、フィルタリング結果（x(t|t)←x(t|t-1),P(t|t)←P(t|t-1)）は、
【０３３５】
【数１３４】
2008259076.tif 000168
により得られる。つまり、フィルタリング値である、
【０３３６】
【数１３５】
2008259076.tif 000169
がカレントフレーム間に対する意識的なモーション成分として得られる。そして、カレントフレーム間と該予測値との差分が、補正量となるべき値として得られる。
【０３３７】
Ｓ１２０４の非線形復元ステップでは、カメラワークに対して線形な変化が得られるように変形されていた画像変化量成分を元の非線形な成分に対し変換する。本実施例においては、次式によりあおり項を復元する。
【０３３８】
νｘ＝νｘ′／ｓ
νｙ＝νｙ′／ｓ
Ｓ１２０５のホモグラフィ復元ステップは、カメラワークに類似した画像変化量成分へと変換された画像変化量をホモグラフィの表現へと復元するステップである。フィルタリング結果の１次元量セットである、
【０３３９】
【数１３６】
2008259076.tif 000170
を、次式により変換する。
【０３４０】
【数１３７】
2008259076.tif 000171
である。
【０３４１】
Ｓ１２０６の補正量算出ステップは、防振補正量となる射影マトリクスを算出するステップである。フィルタリング結果から復元されたフレーム間の画像変化量Ｈfilterと対象フレーム間の画像変化量Ｈとの差を防振補正量として算出する。遅延を考慮しない場合は、Ｈifilterを算出するために入力した当該フレーム間画像モーションＨiが対象フレームとなる。ｉはカレントフレーム間の番号であり、防振補正量をＨstbとすると、
【０３４２】
【数１３８】
2008259076.tif 000172
により防振補正量が求められる。
【０３４３】
また、遅延が存在する場合には、例えばカレントフレーム間のフレーム番号をｉとし、遅延量をdelayとして、ｉ′＝ｉ−delayの関係があるとしたならば、
【０３４４】
【数１３９】
2008259076.tif 000173
という形でｉ′フレーム間に関する防振補正量が計算される。また、遅延がない場合は、この式のdelay ＝０に対応する。
【０３４５】
Ｓ１２０７のモデル更新ステップは、状態空間モデルを更新するステップである。通常フィルタリングは、任意の基準フレームからの累積変化量系列に対してフィルタリングを行うことで、低周波数変化成分又は高周波数変化成分を抽出する。基準フレームは、通常初期フレームとされる。しかしながら、移動防振においては初期フレームを基準として防振を行うと、前進（後退）を含む場合、カメラワークに対し非線形変化する拡大縮小の累積変化量成分がすぐに非常に小さな（大きな）値となってしまう。この結果、微小な変動成分がフィルタリングができなくなってしまう。
【０３４６】
この問題を防ぐため、カレントフレーム間の始点フレームを常に累積変化量の基準フレームとする。つまり、状態空間モデルの状態変数の基準フレームを移動するように更新していく。
【０３４７】
具体的には、状態空間モデルの更新に用いたカレントフレーム間の画像変化量を用いて状態変数の基準フレームを１フレーム間ずらす。まず、状態変数である、
【０３４８】
【数１４０】
2008259076.tif 000174
を射影ホモグラフィＨstateに復元する。そして、カレントフレーム間の画像変化量分の変化をキャンセルする処理を次式で行う。
【０３４９】
【数１４１】
2008259076.tif 000175
【０３５０】
さらに、射影ホモグラフィＨstateを状態変数項である、
【０３５１】
【数１４２】
2008259076.tif 000176
に再度分解する。この結果、フィルタリングの際に、カレントフレーム間の画像変化量を入力しても、得られる結果はあたかも累積変化量を入力してフィルタリングしたような結果となる。
【０３５２】
以上のような、低次モデルフィッティングによるフィルタリングと補正量算出処理を繰り返し、当該フレームに対する防振補正量を算出していく。
【０３５３】
本実施例によれば、非常に短い焦点距離の撮像光学系を有するビデオカメラで撮像された、意図的なカメラワークによる動きを含む映像においても、該カメラワークによる動きを保存し、かつ意図しないカメラ振れによる画像の振れを抑制することができる。また、本実施例の処理により、カルマンフィルタ係数を調整するだけで、完全な防振から防振なしの状態まで、連続して防振度合いを調整することができる。
【０３５４】
なお、本実施例では、画像変化量算出ステップを実施例１と同様とする場合について説明したが、実施例２，３で説明した画像変化量算出ステップを用いてもよい。
【実施例５】
【０３５５】
本発明の実施例５である画像防振装置の構成を図１３に示す。なお、この画像防振装置は、ビデオカメラには搭載されておらず、画像防振装置単体として、パーソナルコンピュータ等によって実現される。例えば、パーソナルコンピュータに、以下に説明する各処理を実行させるためのコンピュータプログラムをインストールすることで、該パーソナルコンピュータを画像防振装置として使用することができる。
【０３５６】
同図において、１３０１は読出部、１３０２は復号化部、１３０３は前処理部、１３０４は動きベクトル検出部、１３０５はワークメモリである。また、１３０６は防振パラメータ算出部、１３０７は幾何変換処理部、１３０８は符号・復号化部、１３０９はワークメモリである。さらに、１３１０はシステム制御部、１３１１は不揮発メモリ部、１３１２は記録部、１３１３は表示部、１３１４は操作信号入力部、１３１５は外部Ｉ／Ｆである。
【０３５７】
前処理部１３０３、動きベクトル検出部１３０４、防振パラメータ算出部１３０６、幾何変換処理部１３０７及び符号・復号化部１３０８により、映像信号処理部が構成される。
【０３５８】
読出部１３０１は、半導体メモリ、磁気テープ、光ディスク等の記録媒体から映像信号及び撮像に用いられたカメラの内部パラメータ等の撮像情報を読み出す機構により構成されている。映像信号は、復号化部１３０２に送られ、撮像情報はシステム制御部１３１０に送られる。
【０３５９】
復号化部１３０２は、読出部１３０１により読み出された映像信号が符号化されている場合は、これを復号化する。
【０３６０】
前処理部１３０３は、復号化部１３０２から出力される映像信号に対して、動きベクトル検出のための映像処理を行う。例えば、ゲイン調整、ガンマ調整、輝度／色差分離、鮮鋭化、ホワイトバランス調整、黒レベル調整、表色系変換、コード化等の映像処理を行う。
【０３６１】
動きベクトル検出部１３０４は、前処理部１３０３から得られる連続した輝度フレーム、輝度及び色差フレーム又は輝度／色差フレームを変換したＲＧＢフレーム等の映像フレームを入力とする。動きベクトル検出用に処理された微分処理フレームや、２値コードフレーム等を入力としてもよい。
【０３６２】
動きベクトル検出部１３０４は、入力された連続フレーム間の動きベクトルを検出する。具体的には、前処理部１３０３から入力されたカレントフレームと、それ以前に入力されてワークメモリ１３０５に蓄積された過去フレームとの間で動きベクトルを算出する。過去フレームはカレントフレームに対して連続したフレームでもよいし、それより以前のフレームでもよい。
【０３６３】
ワークメモリ１３０５は、例えば、先入れ先出しのメモリにより構成されている。
【０３６４】
防振パラメータ算出部１３０６は、動きベクトル検出部１３０４から出力される動きベクトル及びシステム制御部１３１０から得られるカメラ内部パラメータ、歪み係数等のカメラキャリブレーション情報を入力として防振補正量を算出する。
【０３６５】
カメラ内部パラメータは、実施例１と同様に、焦点距離、ピクセルサイズ、オフセット、せん断量により構成される。歪み係数も、実施例１と同様に、レンズ光学系の収差によるディストーション量を表す。
【０３６６】
防振パラメータ算出部１３０６は、算出した防振補正量、カメラ内部パラメータ、歪み係数により構成される防振パラメータを出力する。
【０３６７】
幾何変換処理部１３０７は、防振パラメータ算出部１３０６により算出された防振パラメータと、これに対応する映像フレームとを入力として、映像フレームの幾何変換処理を行う。実施例１でも説明したが、防振パラメータがフィルタリング処理等を経由することで、映像フレームとの対応関係に遅延が生じる場合がある。この場合には、映像フレームを一旦ワークメモリ１３０９を経由させ、映像フレームと防振パラメータ間の関係をそろえる。ワークメモリ１３０９は、ワークメモリ１３０５と同様の先入れ先出しメモリである。
【０３６８】
符号・復号化部１３０８は、幾何変換処理部より連続して出力される映像フレーム信号をＮＴＳＣ、ＭＰＥＧ４等の映像フォーマットに符号化する。また、符号・復号化部１３０８は、記録された符号化済みの映像信号を再生するために、記録部１３１２から読み出された映像信号を復号化し、表示部１３１３に表示する。
【０３６９】
システム制御部１３１０は、読出部１３０１に読出し通知を送り、映像信号及び撮像情報の読み出しを開始する。そして、撮像情報を取得するとともに、撮像時の制御パラメータを得る。制御パラメータには、カメラ内部パラメータ、ズーム状態と焦点距離との関係を示すルックアップテーブル又は変換式、焦点距離と歪み係数との関係を示すルックアップテーブル又は変換式が含まれる。
【０３７０】
また、映像信号に対する焦点距離情報又はズーム状態情報は、時系列信号又は変更時の状態を記録するようなフォーマットを採り、全てのフレームの焦点距離が復元できる形式とする。
【０３７１】
そして、システム制御部１３１０は、復号化部１３０２により復号化された映像情報を、前処理部１３０３に送る。また、符号・復号化部１３０８から出力された上記映像フォーマットに符号化された映像信号を、記録部１３１２に送り、記録させる。
【０３７２】
また、システム制御部１３１０は、動きベクトル検出部１３０４、防振パラメータ算出部１３０６、幾何変換処理部１３０７、符号・復号化部等１３０８の各処理ブロックのパラメータ制御を行う。パラメータ初期値は、不揮発メモリ部１３１１から読み出される。各種パラメータは、表示部１３１３に表示され、操作信号入力部１３１４又はＧＵＩを用いてその値が変更される。
【０３７３】
動きベクトル検出部１３０４に対しては、動きベクトル数や動きベクトルの探索範囲、テンプレートサイズ等の制御パラメータが保持される。幾何変換処理部１３０７に対しては、防振パラメータ算出部１３０６により算出された防振パラメータとその計算に用いられた内部パラメータや歪み係数等を制御パラメータとして与える。符号・復号化部１３０８に対しては、符号化方式や圧縮率の制御パラメータを与える。
【０３７４】
さらに、システム制御部１３１０は、ワークメモリ１３０５，１３０９の制御を行い、出力の遅延量を制御する。
【０３７５】
また、システム制御部１３１０は、映像シーケンスと撮像情報との対応をとる。すなわち、ズーム状態を表すズーム値を読み取るとともに、撮像情報として得られたズーム値と焦点距離との関係を示すルックアップテーブル又は変換式を用いて任意のズーム状態における光学系の焦点距離を得る。
【０３７６】
実施例１でも説明したが、焦点距離の変動に応じて歪み係数が変動する。このため、システム制御部１３１０は、焦点距離に対応する歪み係数も算出する。撮像情報より得られた焦点距離と歪み係数とのルックアップテーブル又は変換式を用いて任意の焦点距離における歪み係数を算出する。さらに、システム制御部１３１０は、焦点距離以外のカメラ内部パラメータについても、撮像情報より取得して保持している。
【０３７７】
焦点距離ｆ以外の内部パラメータは、水平及び垂直方向のピクセルサイズku,kv、せん断量φ、水平及び垂直方向のオフセット量u0,ν0により構成される。これら内部パラメータは、カメラの設計仕様又はカメラキャリブレーションにより得られる。システム制御部１３１０は、これら内部パラメータ及び歪み係数を、防振パラメータ算出部１３０６に通知する。
【０３７８】
不揮発メモリ部１３１１は、システム制御に必要な、動きベクトル検出部１３０４、防振パラメータ算出部１３０６、符号・復号化部１３０８、前処理部１３０３等に対する制御パラメータの初期値を保存している。制御パラメータは、システム制御部１３１０によって読み出される。
【０３７９】
記録部１３１２は、半導体メモリ、磁気テープ、光ディスク等の映像信号を記録可能な記録媒体に対して、符合・復号化部１３０８により符号化された映像信号の書き込み（記録）と読み出し（再生）とを行う。
【０３８０】
表示部１３１３は、ＬＣＤ，ＬＥＤ，ＥＬ等の表示素子により構成される。表示部１３１３は、例えば、パラメータ設定表示、警告表示、撮像された映像データの表示、記録部１３１２により読み出された記録映像データの表示を行う。記録映像データを再生する場合には、記録部１３１２から符号化された映像信号を読み出して、システム制御部１３１０を通して符号・復号化部１３０８に送る。復号化処理が行われた記録映像データは、表示部１３１３にて表示される。
【０３８１】
操作信号入力部１３１４は、画像防振装置の機能の選択や各種設定を外部から行うための設定用ボタンを含む。また、防振処理を開始及び終了するための操作ボタンを含む。操作信号入力部１３１４は、タッチパネル式表示方式を用いることで、表示部１３１３と統合してもよい。
【０３８２】
外部Ｉ／Ｆ１３１５は、操作信号入力部１３１４から入力された操作信号に代わる入力信号を外部から入力したり、符号化された映像信号を外部機器に出力したりするＩ／Ｆである。該外部Ｉ／Ｆ１３１５は、ＵＳＢ、ＩＥＥＥ１３９４、無線ＬＡＮ等のＩ／Ｆプロトコルにより実現される。また、撮像時の焦点距離又はズーム状態、カメラ内部パラメータ、歪み係数等の防振に必要な情報を含んだ映像信号を外部から入力することも可能であり、これにより記録済み映像の防振処理を可能にする。
【０３８３】
本実施例における防振処理手順は、実施例１における処理手順と同じである。ただし、本実施例では、記録部１３１２より読み出された映像情報及び撮像情報を用いて、記録済みの映像情報に対して防振処理を施す。そして、防振処理された映像ストリームを符号・復号化部１３０８にてＮＴＳＣやＭＰＥＧ４等の映像フォーマットに符号化し、記録部１３１２にて、該符号化された映像ストリームを記録媒体に再記録する。
【０３８４】
これにより、非常に短い焦点距離の撮像光学系を有するビデオカメラで過去に撮像された、意図的なカメラワークによる動きを含む映像においても、該カメラワークによる動きを保存し、かつ意図しないカメラ振れによる画像の振れを抑制することができる。
【０３８５】
なお、本実施例では、画像変化量算出ステップを実施例１と同じとしたが、実施例２，３で説明した画像変化量算出ステップを用いてもよい。また、時系列フィルタリングも実施例１と同じとしたが、他のフィルタリング手法を利用してもよい。例えば、実施例４で説明した低次モデルフィッティングによるフィルタリングを用いてもよい。
【０３８６】
また、本実施例での防振処理は、記録媒体に記録された映像情報に対してだけではなく、外部Ｉ／Ｆにより繋がるネットワーク先に記録保存された映像情報に対しても行うことができる。
【実施例６】
【０３８７】
本発明の実施例６である画像防振装置及びこれを備えたビデオカメラについて説明する。画像防振装置及びビデオカメラの構成は実施例１と同じである。このため、実施例１と共通する構成要素には、実施例１と同符号を付す。また、防振処理手順の大まかな部分も、図３及び図５で説明した実施例１の処理手順と同じである。
【０３８８】
本実施例の処理手順の実施例１との差である補正量算出ステップを図１４に示す。
【０３８９】
Ｓ１４０１のホモグラフィ変換ステップでの処理は、実施例１のホモグラフィ変換ステップでの処理と同じである。Ｓ１４０２の線形化ステップでの処理も、実施例１の線形化ステップでの処理と同じである。Ｓ１４０３の時系列フィルタリングステップでの処理も、実施例１のフィルタリング処理ステップと同じである。
【０３９０】
Ｓ１４０４の経験的フィルタリングでは、時系列フィルタリングステップＳ１４０３から出力される画像変化量成分セットである、
【０３９１】
【数１４３】
2008259076.tif 000177
に対し、映像のカメラワークに対する経験的知識によりフィルタリングを行う。経験的知識は、例えば表示部１１４にメニューを表示し、操作信号入力部１１５の操作により該経験的知識を入力する。
【０３９２】
図１５には、表示部１１４に表示される防振メニューの例を示す。防振メニューとして、映像のカメラワークの状態をラジオボタンで選択し、ＯＫボタンで決定する。また、防振メニューを図１６のようにして、画像変化量を直接指定できるようにしてもよい。そして、その結果をシステム制御部１１０に通知する。また、初期値は不揮発メモリ部１１２に記録されている。例えば、初期値は通常撮像である。
【０３９３】
例えば、前進のカメラワークのみを再現した防振映像を得たいという経験的知識が撮像モードとして選択されている場合は、拡大縮小以外の意図的な画像変化量をないものとする。具体的には、
【０３９４】
【数１４４】
2008259076.tif 000178
というフィルタリングを実施する。つまり、拡大縮小の画像モーションのみを映像に残留させるようなフィルタリングを時系列フィルタリング後の画像変化量成分セットに行う。
【０３９５】
Ｓ１４０５の非線形復元ステップでの処理は、実施例１の非線形復元ステップでの処理と同じである。Ｓ１４０６のホモグラフィ復元ステップでの処理も、実施例１のホモグラフィ復元ステップでの処理と同じである。Ｓ１４０５の補正量算出ステップでの処理も、実施例１の補正量算出ステップでの処理と同じである。
【０３９６】
本実施例により、非常に短い焦点距離の撮像光学系を有するビデオカメラで撮像された、意図的なカメラワークによる動きを含む映像においても、該カメラワークによる動きを保存し、かつ意図しないカメラ振れによる画像の振れを抑制することができる。また、特定の画像の動き（振れ）のみに対して防振処理を行った結果の映像を得ることも可能である。
【０３９７】
本実施例では、時系列フィルタリングの処理結果に対して経験的フィルタリング処理を施す場合について説明したが、時系列フィルタリング処理の前に経験的フィルタリング処理を施してもよい。
【０３９８】
また、時系列フィルタリングを行わずにこれをバイパスして、経験的フィルタリング処理のみを施してもよい。
【０３９９】
なお、経験的フィルタリング係数は、１か０のバイナリではなく、１〜０の連続値でもよい。
【０４００】
さらに、本実施例においては、画像変化量算出ステップを実施例１と同じとしたが、実施例２，３の画像変化量算出ステップを用いてもよい。また、時系列フィルタリングを実施例１と同じとしたが、他のフィルタリング手法を利用してもよい。例えば、実施例４の低次モデルフィッティングによるフィルタリングを用いてもよい。
【実施例７】
【０４０１】
本発明の実施例７である画像防振装置及びこれを備えたビデオカメラについて説明する。画像防振装置及びビデオカメラの構成は実施例１と同じである。また、防振処理手順の大まかな部分は、図９で説明した実施例２の処理手順と同じである。本実施例の処理手順の実施例２との差である防振パラメータ算出ステップを図１７に示す。
【０４０２】
Ｓ１７０１の正規化ステップでの処理は、実施例２の図９で説明した正規化ステップＳ９０１での処理と同じである。
【０４０３】
Ｓ１７０２の姿勢量算出ステップでは、正規化画像座標系に変換したフレーム間の動きベクトルを入力として、フレーム間の画像変化の量を算出する。画像変化量の指標として、画像間から求まるカメラの姿勢変化量を算出する。つまり、実施例２で説明した姿勢量算出ステップと同じ処理を行う。
【０４０４】
Ｓ１７０３のフィルタリングステップでは、フレーム間のカメラの姿勢変化を示す、
【０４０５】
【数１４５】
2008259076.tif 000179
の時系列データを作成し、フィルタリングを行う。ここでは、実施例１と同じデジタルフィルタリングでフィルタリングを行う。
【０４０６】
Ｓ１７０４のホモグラフィ算出ステップでは、フレーム間から求まる画像変化量である姿勢変化量及び対応するフィルタリング結果から、ホモグラフィを算出する。具体的には、
それぞれフレーム間から求まる画像変化量としての姿勢変化量、
【０４０７】
【数１４６】
2008259076.tif 000180
から、ホモグラフィＨ、すなわち、
【０４０８】
【数１４７】
2008259076.tif 000181
を算出する。これにより、フィルタリング前後の画像変化量であるホモグラフィが計算される。
【０４０９】
Ｓ１７０５の補正量算出ステップでの処理は、実施例１の補正量算出ステップでの処理と同じである。フィルタリング結果から復元された画像変化量である、
【０４１０】
【数１４８】
2008259076.tif 000182
と、遅延の結果対応することとなった対象フレーム間の画像変化量の累積変化量Ｈiaccを用いることで防振補正量が算出される。
【０４１１】
本実施例により、非常に短い焦点距離の撮像光学系を有するビデオカメラで撮像された、意図的なカメラワークによる動きを含む映像においても、該カメラワークによる動きを保存し、かつ意図しないカメラ振れによる画像の振れを抑制することができる。また、他の実施例の手法と比較しても、さらに単純な処理で防振を実現することが可能になる。
【０４１２】
なお、本実施例では、時系列フィルタリングを実施例１と同じとしたが、他のフィルタリング手法を利用してもよい。例えば、実施例４で説明した低次モデルフィッティングによるフィルタリングの一次元信号系列に対する処理を行ってもよい。
【図面の簡単な説明】
【０４１３】
【図１】本発明の実施例１〜４，６，７であるビデオカメラの構成を示す図。
【図２】実施例におけるワークメモリの仕組みを説明する模式図。
【図３】実施例１での防振処理手順を示すフローチャート。
【図４】実施例１で行うブロックマッチングを説明する図。
【図５】実施例１での防振パラメータ算出手順を示すフローチャート。
【図６】実施例１での補正量算出処理手順を示すフローチャート。
【図７】実施例１での補正量算出処理手順におけるデジタルフィルタリングの手順を示す模式図。
【図８】実施例１でのデジタルフィルタリングにおいて、多次元量である射影ホモグラフィを扱う手順を示した模式図。
【図９】実施例２での補正量算出処理手順を示すフローチャート。
【図１０】実施例３での補正量算出処理手順を示すフローチャート。
【図１１】実施例３での防振パラメータ算出手順を示すフローチャート。
【図１２】実施例４での補正量算出処理手順を示すフローチャート。
【図１３】本発明の実施例５である画像防振装置の構成を示す図。
【図１４】実施例６での補正量算出処理手順を示すフローチャート。
【図１５】実施例６での表示メニュー例を示す図。
【図１６】実施例６での表示メニュー例を示す図。
【図１７】実施例７での防振パラメータ算出手順を示すフローチャート。
【図１８】実施例１での補正量算出処理手順におけるデジタルフィルタリングの処理手順を示すフローチャート。
【図１９】実施例１でのデジタルフィルタリング処理の詳細手順を示すフローチャート。
【符号の説明】
【０４１４】
１０１  レンズ光学系
１０２  撮像素子
１０３，１３０３  前処理部
１０４，１３０４  動きベクトル検出部
１０５，１３０５  ワークメモリ
１０６，１３０６  防振パラメータ算出部
１０７，１３０７  幾何変換処理部
１０８，１３０８  符号・復号化部
１０９，１３０９  ワークメモリ
１１０，１３１０  システム制御部
１１１  ズーム調整部
１１２，１３１１  不揮発メモリ部
１１３，１３１２  記録部
１１４，１３１３  表示部
１１５，１３１４  操作信号入力部
１１６，１３１５  外部Ｉ／Ｆ
【図４】
2008259076.tif 000183
【図１１】
2008259076.tif 000184
【図１２】
2008259076.tif 000185
【図１４】
2008259076.tif 000186
【図１５】
2008259076.tif 000187
【図１６】
2008259076.tif 000188
【図１】
2008259076.tif 000189
【図２】
2008259076.tif 000190
【図３】
2008259076.tif 000191
【図５】
2008259076.tif 000192
【図６】
2008259076.tif 000193
【図７】
2008259076.tif 000194
【図８】
2008259076.tif 000195
【図９】
2008259076.tif 000196
【図１０】
2008259076.tif 000197
【図１３】
2008259076.tif 000198
【図１７】
2008259076.tif 000199
【図１８】
2008259076.tif 000200
【図１９】
2008259076.tif 000201