【手続補正書】
【提出日】平成22年4月6日(2010.4.6)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００３
【補正方法】変更
【補正の内容】
【０００３】
さらに、移動しながらの撮像では、意図的ではない手振れと意図的なカメラワークとを判別して、手振れによる画像振れのみを抑制するという高度な画像防振機能が要求される。従来、このような移動に対応した画像防振技術として、慣性フィルタリングを使用したり（非特許文献１参照）、低次モデルフィッティングを使用したり（非特許文献２）するものが提案されている。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
上記用途では、動き推定は画像から行い、防振処理は画像の幾何変換の組み合わせで行うことが前提となる。この場合、大きく複雑なカメラワークに対する画像変化を高精度で検出しつつ、移動を前提とした大きな動きを補正する必要がある。ただし、従来の防振処理で多く使われたモーションセンサ単独では、多軸変化を高精度かつ低コストでセンシングすることが困難である。また、光学防振処理では、大きな揺れを補正できない。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
【数１】
2008259076.tif 000001
となる。Ｈは射影ホモグラフィ、Ｒ及び
2008259076.tif 000002
はカメラの回転及び並進を表す。また、ｄ及び
2008259076.tif 000003
は対応点の空間位置により決定される基準面の一方のカメラからの距離及び法線の向きである。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
そして、動きベクトルを抽出した対応点の空間位置により形成される基準面が、多くの場合、鑑賞者が防振したいと感じる空間中の面の位置と異なるため、問題が生じる。上記式から分かるように、この問題は、並進カメラワークが発生した場合のみ生ずる。例えば、前進シーンにおいて画像面が倒れていったり、流し撮りシーンにおいて画像面が潰れていったりと画像が歪む。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
図３には、本実施例における防振処理手順を示す。防振処理は、動きベクトル算出ステップ、防振パラメータ算出ステップ、幾何変換処理ステップにより構成され、入力される映像フレームに対して処理を繰り返す。動きベクトル算出ステップ、防振パラメータ算出ステップ及び幾何変換処理ステップはそれぞれ、動きベクトル検出部１０４、防振パラメータ算出部１０６及び幾何変換処理部１０７にて処理が実行される。また、各部での処理は、システム制御部１１０に格納されたコンピュータプログラム（画像防振プログラム）によって制御される。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
以上、注目点をグリッド状に固定的に配置したブロックマッチングの例を示したが、基準画像上で動きベクトルを算出しやすい特徴点（特徴部）を抽出し、その位置を注目点としてもよい。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００８３
【補正方法】変更
【補正の内容】
【００８３】
【数１３】
2008259076.tif 000004
として扱われ、ｄは空間平面までの距離と並進量の大きさの積として扱われる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００８６
【補正方法】変更
【補正の内容】
【００８６】
言い換えれば、見え変化成分とは、画像間の幾何変換におけるせん断を示す。この成分は、画像変化量の逆変換を補正量として防振を行う際に、画像を歪ませる成分に相当する。防振に適する動き情報を求める際には、見え変化成分を除去しなければならない。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００８８
【補正方法】変更
【補正の内容】
【００８８】
この見え変化成分を除去するため、射影ホモグラフィを、カメラワーク回転Ｒと、シーンの被写体を近似した面の方向
2008259076.tif 000005
と、並進
2008259076.tif 000006
及び深度ｄの逆数の積である、
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１０５
【補正方法】変更
【補正の内容】
【０１０５】
ここで、積である、
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１４８
【補正方法】変更
【補正の内容】
【０１４８】
【数５１】
2008259076.tif 000007
間で基準面を第１カメラの光軸に垂直にした場合に生じる並進の画像変化量への影響である拡大縮小及び並進(垂直・水平)成分を以下のように最小二乗的に算出する。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１５０
【補正方法】変更
【補正の内容】
【０１５０】
ここで、est()は括弧内の対応点間で拡大縮小及び並進(垂直及び水平)の変位成分を最小二乗的に算出する処理である。そして、
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１８８
【補正方法】変更
【補正の内容】
【０１８８】
以下、成分毎のデジタルフィルタリング処理について説明する。この処理は、図８のカッコ内の処理に対応する。例えば、ｔｘ成分に注目すると、
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０２４３
【補正方法】変更
【補正の内容】
【０２４３】
Ｗｓの固有値をσ１≧σ２≧σ３≧０とし、対応する固有ベクトルである、
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０２５６
【補正方法】削除
【補正の内容】
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０２５９
【補正方法】変更
【補正の内容】
【０２５９】
2008259076.tif 000008
である。
2008259076.tif 000009
はここでは要素の掛け算を表す。
したがって、回転マトリクスは、
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】０２８２
【補正方法】変更
【補正の内容】
【０２８２】
【数１１５】
2008259076.tif 000010
としたときの余剰なＥのスケール成分は、無視する。この結果、
2008259076.tif 000011
は並進の方向を示す方向ベクトルを表す。また、符合の不定性を生じることから、並進及び回転に対して４つの解が可能となってしまう。ここでは、Ｒ≧０及びデプス正制約を付加することで、１つの解を選定する。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】０２９４
【補正方法】変更
【補正の内容】
【０２９４】
そして、この性質を利用するようにしてもよい。例えば、図１１は、画像変化量を算出する前に、正規化対応点分布の平面性（つまりは、動きベクトル点の空間分布の平面性）を調べ、その結果に応じて処理を切り換える防振パラメータ算出処理手順を示す。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】０３０１
【補正方法】変更
【補正の内容】
【０３０１】
これ以後（Ｓ１１０５，１１１５，１１１６）は、実施例１又は本実施例の防振パラメータ算出ステップによって防振パラメータを算出する。また、動きの絶対量が小さい場合は、本実施例の基本行列ベースの手法は誤差を生じやすい。このため、平面性の判定に動きの絶対量の指標を加えてもよい。動きの絶対量の指標としては、フレーム間の対応点のずれの二乗平均等が考えられる。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】０３１０
【補正方法】変更
【補正の内容】
【０３１０】
射影ホモグラフィの各項とカメラワーク（３軸回転、３軸並進）とを対比した場合、左上２×２項に影響するカメラワーク（前進、面内回転、パン、チルト）が混合している。その結果、これらカメラワークが同時に生じる場合、非線形な影響が生じ、フィルタリング及びモデル更新がうまく行かない可能性がある。このため、入力射影ホモグラフィのカメラワークに類似した画像変化成分（水平並進、垂直並進、拡大縮小、面内回転、せん断、水平あおり、垂直あおり）への変換を以下の式により行う。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】０３１２
【補正方法】変更
【補正の内容】
【０３１２】
これにより、入力射影ホモグラフィを、水平並進ｔｘ、垂直並進ｔｙ、拡大縮小ｓ、回転θ、せん断の非等方倍率α、せん断の方向角φ、水平あおりνｘ、垂直あおりνｙの８つのパラメータに分解する。ただし、
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】０３１３
【補正方法】変更
【補正の内容】
【０３１３】
【数１２５】
2008259076.tif 000012
である。これにより、入力射影ホモグラフィは、フレーム間の画像変化量を表す１次元時系列量セット、つまり、
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】０３２８
【補正方法】変更
【補正の内容】
【０３２８】
【数１３１】
2008259076.tif 000013
により表される。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】０３２９
【補正方法】変更
【補正の内容】
【０３２９】
2008259076.tif 000014
は観測値、Ｎ（０，σxobs）は、ｘ成分に対する白色ガウシアン観測ノイズである。白色ガウシアン観測ノイズ成分により、意図しない動きが表現される。そして、この観測ノイズの分散、及びシステムノイズの分散を調整することにより、カメラモーションの平滑性を調節することが可能である。