(57)【要約】【課題】  一方向への大きな動きが生じた場合に、ブラックアウトした領域が増大しない画像空間安定化方法を得る。【解決手段】  入力された現フレーム画像とその前フレーム画像を比較し現フレーム画像の動きを推定し、対前フレーム動き推定結果を求める第１のステップと、対前フレーム動き推定結果を前フレーム画像の初期画像からの動き推定結果に積算し、現フレーム画像の初期画像からの動き推定結果を求める第２のステップと、現フレーム画像の初期画像からの動き推定結果から、初期画像に対して現フレーム画像の空間安定化を行う画像補正を行う第３のステップとからなる画像空間安定化方法であって、現フレーム画像の対前フレーム動き推定結果から求めた現フレーム画像の前フレーム画像からの動きが、あらかじめ設定した基準より大きい場合に、現フレーム画像の補正を現フレーム画像の初期画像からの動き推定結果による補正より少なくすることを特徴とする。【選択図】          図３
2005102082.tif 000002
【特許請求の範囲】
【請求項１】
入力された現フレーム画像とその前フレーム画像を比較し現フレーム画像の動きを推定し、対前フレーム動き推定結果を求める第１のステップと、
前記対前フレーム動き推定結果を前記前フレーム画像の初期画像からの動き推定結果に積算し、前記現フレーム画像の初期画像からの動き推定結果を求める第２のステップと、
前記現フレーム画像の初期画像からの動き推定結果から、前記初期画像に対して前記現フレーム画像の空間安定化を行う画像補正を行う第３のステップとからなる画像空間安定化方法であって、
前記現フレーム画像の対前フレーム動き推定結果から求めた前記現フレーム画像の前記前フレーム画像からの動きが、あらかじめ設定した基準より大きい場合に、前記現フレーム画像の補正を前記現フレーム画像の初期画像からの動き推定結果による補正より少なくすることを特徴とする画像空間安定化方法。
【請求項２】
入力された現フレーム画像とその前フレーム画像を比較し現フレーム画像の動きを推定し、対前フレーム動き推定結果を求める第１のステップと、
前記対前フレーム動き推定結果を前記前フレーム画像の初期画像からの動き推定結果に積算し、前記現フレーム画像の初期画像からの動き推定結果を求める第２のステップと、
前記現フレーム画像の初期画像からの動き推定結果から、前記初期画像に対して前記現フレーム画像の空間安定化を行う画像補正を行う第３のステップとからなる画像空間安定化方法であって、
前記現フレーム画像の初期画像からの動き推定結果から求めた前記現フレーム画像の前記初期画像からの動きが、あらかじめ設定した基準より大きい場合に、前記現フレーム画像の補正を前記現フレーム画像の初期画像からの動き推定結果による補正より少なくすることを特徴とする画像空間安定化方法。
【請求項３】
入力された現フレーム画像とその前フレーム画像を比較し現フレーム画像の動きを推定し、対前フレーム動き推定結果を求める第１のステップと、
前記対前フレーム動き推定結果を前記前フレーム画像の初期画像からの動き推定結果に積算し、前記現フレーム画像の初期画像からの動き推定結果を求める第２のステップと、
前記現フレーム画像の初期画像からの動き推定結果から、前記初期画像に対して前記現フレーム画像の空間安定化を行う画像補正を行う第３のステップとからなる画像空間安定化方法であって、
前記現フレーム画像の対前フレーム動き推定結果から求めた前記現フレーム画像の前記前フレーム画像からの動き、または前記現フレーム画像の初期画像からの動き推定結果から求めた前記現フレーム画像の前記初期画像からの動きが、あらかじめ設定した基準より大きい場合に、前記現フレーム画像の補正を前記現フレーム画像動き推定結果による補正より少なくすることを特徴とする画像空間安定化方法。
【請求項４】
前記現フレーム画像の補正は、横方向の並進、縦方向の並進、回転、拡大・縮小、せん断のそれぞれの動きのうち、あらかじめ設定した基準より大きい動きのみを前記現フレーム画像の初期画像からの動き推定結果による補正より少なくすることを特徴とする請求項１ないし３のいずれかに記載の画像空間安定化方法。
【請求項５】
前記第１のステップにおける前記現フレーム画像の動きの推定をアフィン変換により行うことを特徴とする請求項１ないし４のいずれかに記載の画像空間安定化方法。
【請求項６】
前記現フレーム画像の補正は前記現フレーム画像の初期画像からの動き推定結果から求めたアフィン変換係数を独立して変化させることにより行うことを特徴とする請求項５に記載の画像空間安定化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像の揺れ補正を行うための画像空間安定化方法に関する。
【背景技術】
【０００２】
従来の画像空間安定化方法は、例えば入力した画像にアフィン変換を施して変換画像を生成し、参照基準画像との相関を計算することにより、動きの推定誤差をアフィン係数の形で求める。この係数の値の大小により収束の判定を行い、収束が十分でない場合はアフィン係数を誤差の分だけ更新し、同様に画像変換を行って収束判定を行う。そして誤差が規定の範囲に収束した時点で生成されている変換画像がすなわち画像空間安定化結果となる。（特許文献１参照）
【０００３】
また、別の画像空間安定化方法は、基本的な画像空間安定化方法は特許文献１と同様であるが、動きの推定を行う部分で、初めに並進のみ、次に微小な並進、回転、拡大・縮小、その他のせん断（スキュー歪）の２ステップで実行することを特徴とする。（特許文献２参照）
【０００４】
さらに別の画像空間安定化方法は、基本的な画像空間安定化方法は特許文献１と同様であるが、動きの推定を行う部分で、並進を推定する際に、回転、拡大・縮小を周期的に微小に変化させながら探索推定することを特徴とする。（特許文献３参照）
【０００５】
【特許文献１】特開２０００−２５９８３６号公報（第１３−１４頁、第１図）
【特許文献２】特開平７−３２２２４７号公報（第４−６頁、第１‐３図）
【特許文献３】特開２０００−３５０２１６号公報（第５−７頁、第１‐３図）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来の画像空間安定化方法は、並進、回転、拡大・縮小等の各動きの変位は、いずれもある平均値を中心とする変動幅の範囲に収まることを想定している。さらに、６つのアフィン係数全てが毎処理フレーム毎に更新されるため、常にある一方向に変位が生じた場合、同一方向に画像の変換が行われ、画像データがないために画素値が定まることのない、ブラックアウトした領域が増大する。その結果、観測者にとってはかえって見にくい画像を生成することになるという問題点もあった。
【０００７】
本発明は係る問題点を解決するためになされたもので、常にある一方向に変位が生じた場合でも、ブラックアウトした領域が増大することのない画像空間安定化方法を得ることを目的とする。
【課題を解決するための手段】
【０００８】
入力された現フレーム画像とその前フレーム画像を比較し現フレーム画像の動きを推定し、対前フレーム動き推定結果を求める第１のステップと、対前フレーム動き推定結果を前フレーム画像の初期画像からの動き推定結果に積算し、現フレーム画像の初期画像からの動き推定結果を求める第２のステップと、現フレーム画像の初期画像からの動き推定結果から、初期画像に対して現フレーム画像の空間安定化を行う画像補正を行う第３のステップとからなる画像空間安定化方法であって、現フレーム画像の対前フレーム動き推定結果から求めた現フレーム画像の前フレーム画像からの動きが、あらかじめ設定した基準より大きい場合に、現フレーム画像の補正を現フレーム画像の初期画像からの動き推定結果による補正より少なくすることを特徴とするものである。
【発明の効果】
【０００９】
このように、現フレーム画像の補正を現フレーム画像の初期画像からの動き推定結果による補正より少なくすることにより、過敏な揺れ補正が行われないようにすることができる。また、常にある一方向に変位が生じた場合でも、ブラックアウトした領域が増大することのない画像安定化方法を得ることができる。
【発明を実施するための最良の形態】
【００１０】
まず、一般的なアフィン変換を用いた画像空間安定化方法について説明する。
図１は一般的なアフィン変換を用いた画像空間安定化方法による画像変換を説明する模式図である。まず、図１において時刻ｔ０における画像１４と時刻ｔ１における画像１５との局所的な対応関係を、勾配法によるオプティカルフロー算出方法により算出する。
【００１１】
画像１４と画像１５とで対応がとれた画素について、その動きベクトル（ｕｘ，ｙ，ｖｘ，ｙ）から式（１）に示すアフィン動きの係数ａ１〜ａ６を求める。
【００１２】
【数１】
2005102082.tif 000003
【００１３】
ここで、アフィン変換の６つの係数ａ１〜ａ６は、式（２）に示すような形に分解できる。
【００１４】
【数２】
2005102082.tif 000004
【００１５】
式２において右辺はそれぞれ第１項から順に、横方向の並進（ａ１画素）、縦方向の並進（ａ４画素）、回転（−（ａ５−ａ３）／２ラジアン）、拡大・縮小（ｅｘｐ（（ａ２＋ａ６）／２）倍）、せん断（ｓ１，ｓ２の２パラメータ）を示している。この内容を図で示せば、図２のようになる。一般的な動き（ａ）は横方向の並進（ｂ）、縦方向の並進（ｃ）、回転（ｄ）、拡大・縮小（ｅ）、せん断（ｆ）で示される。
【００１６】
ここでアフィン変換の係数は画像中の各点で求めた輝度値などの画素値のｘ方向の微分値Ｉｘ、ｙ方向の微分値Ｉｙ、時間方向の微分値Ｉｔ、その点の座標（ｘ，ｙ）を用いて、式（３）に示すベクトルＢおよび、式（４）に示す行列Ｍを計算し、式（５）の方程式を解くことにより推定することができる。
【００１７】
【数３】
2005102082.tif 000005
【００１８】
【数４】
2005102082.tif 000006
【００１９】
【数５】
2005102082.tif 000007
【００２０】
上記方法で求めたアフィン係数を表す変換行列Ｔ１を用いて、図１の時刻ｔ１における画像１５をアフィン変換し変換画像１６を得る。この変換画像１６は、時刻ｔ０における画像１４にほぼ一致する画像となる。このようにして、画像空間を安定化させることができる。
【００２１】
次に、図１において時刻ｔ１における画像１６と時刻ｔ２における画像１７との間で同様の操作を行い、対応関係を表す変換行列Ｔ２を得る。この変換行列Ｔ２に前回の変換行列Ｔ１と加算したＴ１＋Ｔ２により入力画像１７を変換して変換画像１８を得る。この変換画像１８は時刻ｔ０における画像１４にほぼ一致する画像となる。以降同様に時刻ｔＭ−１における画像と時刻ｔＭにおける画像との間で得られた対応関係を表す変換行列ＴＭを前回の変換行列Ｔ１＋Ｔ２＋．．．＋ＴＭ−１に加算したＴ１＋Ｔ２＋．．．＋ＴＭにより時刻ｔＭにおける画像を変換して空間安定化画像を得る。
以上が一般的なアフィン変換を用いた画像空間安定化方法である
【００２２】
実施の形態１．
以下、本発明の実施の形態について説明する。
本実施の形態の構成図を図３に示す。
本実施の形態は、カメラや映像サーバからなる画像入力部１００と画像入力部より入力された現フレーム画像の前フレーム画像からの動きを推定する対前フレーム動き推定部２００と対前フレーム動き推定部２００で推定された対前フレーム動き係数をもとに基準となる初期画像に対する動きを推定する対初期画像動き推定部３００と対初期画像動き推定部３００で推定された対初期画像動き係数を用いて画像入力部１００から入力された現フレーム画像を変換する空間安定化処理部４００と空間安定化処理部４００で変換された画像を出力するモニターなどからなる画像出力部５００とからなる。
ここで、初期画像とは本実施の形態の動作を開始した時点において入力された画像である。
【００２３】
さらに各構成部を詳細に説明する。
対前フレーム動き推定部２００は下記の構成よりなる。
（１）画像入力部から入力された現フレーム画像を一時的に保管する画像メモリ２０１。
（２）前フレームの画像を保管する画像バッファ２０２と、画像メモリ２０１に保管された現フレーム画像を対前フレーム動き係数バッファ２０５に保存されている動き係数によりアフィン変換するアフィン変換部２０３。
（３）アフィン変換部２０３によりアフィン変換されたアフィン変換画像と前フレーム画像とからアフィン変換画像の前フレーム画像からの動きの動き係数を推定し対前フレーム動き係数バッファ２０５と更新決定部２０６とに出力する動き係数推定部２０４。
（４）対前フレーム動き係数バッファ２０５に保存されている動き係数に動き係数推定部２０４より出力された動き係数を加算し対前フレーム動き係数バッファ２０５に保存されている動き係数を更新する対前フレーム動き係数バッファ２０５。
（５）動き係数および動き係数の同一フレームにおける推定回数が所定の条件を満たした場合に、対前フレーム動き係数バッファ２０５に保存されている対前フレーム動き係数Δａｋを対初期画像動き推定部３００に出力し、画像バッファ２０２と画像メモリ２０１とを更新することを決定する更新決定部２０６。
【００２４】
対初期画像動き推定部３００は下記の構成よりなる。
（１）前フレーム画像の対初期画像動き係数を保存する対初期画像動き係数バッファ３０１。
（２）対前フレーム動き推定部２００から出力された対前フレーム動き係数Δａｋと対初期画像動き係数バッファ３０１に保存されている前フレーム画像の対初期画像動き係数とから対初期画像動き係数の更新レートを設定する更新レート設定部３０２。
（３）更新レート設定部３０２で設定された更新レートと対前フレーム動き係数Δａｋと対初期画像動き係数バッファ３０１に保存されている対初期画像動き係数とから対初期画像動き係数を更新する対初期画像動き係数設定部３０３。
【００２５】
次に、本実施の形態の動作について説明する。
図４は、本実施の形態の動作を示すフローチャートである。以下、図３および図４を用いて動作を説明する。
まず、ＳＴ１００において画像入力部１００から対前フレーム動き推定部２００および空間安定化処理部４００に現フレーム画像を入力する。次に、ＳＴ１１０において対前フレーム動き推定部２００で対前フレーム動き係数Δａｋを算出し、その対前フレーム動き係数Δａｋを対初期画像動き推定部３００に出力する。次に、ＳＴ１２０において、対初期画像動き推定部３００に保存されている前フレームの対初期画像動き係数およびＳＴ１１０にて算出した対前フレーム動き係数Δａｋをもとに更新レートを設定し、更新レートと対前フレーム動き係数Δａｋを用いて、対初期画像動き係数を更新し、更新した対初期画像動き係数を空間安定化処理部４００に出力する。最後に、ＳＴ１３０において、空間安定化処理部４００に入力された現フレーム画像を対初期画像動き係数で変換し、変換画像を画像出力部５００で出力する。
【００２６】
さらにＳＴ１１０の動作について詳細に説明する。
図５はＳＴ１１０の動作の詳細を示すフローチャートである。以下、図３および図５を用いて動作を説明する。
まず、初期画像を画像入力部１００より画像メモリ２０１に取込み、画像メモリ２０１に保存された画像を画像バッファ２０２に入力する（ＳＴ１１１）。この動作は最初のフレーム時の動作であり、次のフレームからは以下の動作を行う。
現フレーム画像を画像入力部１００より画像メモリ２０１に取込み、画像メモリ２０１に保存された現フレーム画像をアフィン変換部２０３に入力する（ＳＴ１１２）。次に、対前フレーム動き係数バッファ２０５をリセットする（ＳＴ１１３）。さらに、対前フレーム動き係数バッファ２０５に保存されている動き係数を用いてアフィン変換部２０３に保存されている画像のアフィン変換を行ない、変換したアフィン変換画像でアフィン変換部２０３に保存されている画像を更新するとともに、変換したアフィン変換画像を動き係数推定部２０４に出力する（ＳＴ１１４）。
なお、アフィン変換部に入力された現フレーム画像は、最初の対前フレーム動き係数が０のため、そのままの画像がアフィン変換画像としてアフィン変換部２０３から出力される。
【００２７】
次に、動き係数推定部２０４において画像バッファ２０２に保存されている前フレーム画像とアフィン変換部２０３より出力されたアフィン変換画像を用いて動き係数を推定する（ＳＴ１１５）。推定する方法は、上述した一般的なアフィン変換を用いた推定方法を用いれば良い。
【００２８】
次に、ＳＴ１１５で算出された動き係数を対前フレーム動き係数バッファ２０５に入力し、既に対前フレーム動き係数バッファ２０５に保存されている動き係数に係数を加算し対前フレーム動き係数バッファ２０５を更新する（ＳＴ１１６）。
【００２９】
次に、ＳＴ１１５で算出された動き係数を更新決定部２０６に入力し、動き係数および動き係数の同一フレームにおける推定回数が所定の条件を満たしているかを判断する（ＳＴ１１７）。条件を満たした場合は、対前フレーム動き係数バッファ２０５に保存されている動き係数を対前フレーム動き係数Δａｋとして対初期画像動き推定部３００に出力する。その後、画像メモリ２０１に保存されている画像を前フレーム画像として画像バッファ２０２に保存し、新しい画像を現フレーム画像として画像入力部１００から画像メモリ２０１に取込み、その後ＳＴ１１２からの動作を次のフレーム画像に対して行う。
逆に、条件を満たさない場合はＳＴ１１４からの動作を繰り返す。
こうすることにより、現フレーム画像の前フレーム画像からの動きを精度良く求めることができる。
【００３０】
この更新決定部２０６でどのように判断するかについて詳細に述べる。
既に述べたように動きベクトルはアフィン変換の動き係数で記述できるが、その動き係数が小さいほど画像間の動きが少ない、すなわち空間安定化がされていることになる。そこで、動き係数がある所定の閾値を超えていれば、空間安定化されていないと判断し、さらに、アフィン変換を行い、そのアフィン変換画像の動き係数を推定し、空間安定化を行えば良い。また、所定の閾値を超えない場合は所望の空間安定化が達成されたとして、このフレームでの対前フレーム動き推定動作は終了する。
【００３１】
ここで、動き係数の閾値としては、ａ１、ａ４に関してはそれぞれ横、縦の平行移動成分（画素数）、ａ５、ａ３に関しては回転（ラジアン）、ａ２、ａ６に関しては拡大縮小率の対数（無単位）の誤差許容量を判断して、例えばａ１に関しては０．０１、ａ２に関しては０．００１、その他のパラメータａ３〜ａ６についても同様に微小な固定値をそれぞれあらかじめ設定しておけば良い。
【００３２】
また、所定回数アフィン変換を行った場合は空間安定化が達成できていないとしても、このフレームでの対前フレーム動き推定動作を終了させるようにしても良い。そうすることにより、いつまでも動き推定を行ない、画像の表示ができなくなることを防ぐことができる。
【００３３】
次に、ＳＴ１２０の動作について詳細に説明する。
図６はＳＴ１２０の詳細動作を示すフローチャートである。以下、図３および図６を用いて動作を説明する。
まず、対初期画像動き係数設定部３０３において対初期画像動き係数バッファ３０１に保存されている対初期画像動き係数と更新レート設定部３０２に保存されている更新レートを乗算し、さらに対前フレーム動き係数Δａｋを加算することで対初期画像動き係数を更新する。更新した対初期画像動き係数を対初期画像動き係数バッファ３０１に保存する（ＳＴ１２１）。
【００３４】
次に、更新レート設定部３０２において対前フレーム動き係数Δａｋから更新レートを設定する（ＳＴ１２２）。更新レートの設定は次のように行う。
図７は対前フレーム動き係数Δａｋの時間変化を示した模式図である。通常の画像における揺れ補正の場合（ａ）では、ある値を中心としてリミット値±ｖＬｉｍの範囲内にある。しかし、横方向の並進、縦方向の並進、回転、拡大・縮小、せん断のいずれかの動きが急に大きくなった場合（ｂ）ではリミット値±ｖＬｉｍの範囲を逸脱するポイント７７において、発生した大きな動きに対して更新レートを変更し、補正が抑制されるようにする。
【００３５】
また、その際に横方向の並進、縦方向の並進、回転、拡大・縮小、せん断の各動きのうち大きな動きが発生した動きのみ、更新レートを変更し、補正が抑制されるようにすることもできる。
【００３６】
より具体的に更新レートの設定の方法について説明する。あらかじめ、リミット値±ｖＬｉｍｋ（ｋ＝１〜６）を設定しておき、対前フレーム動き係数Δａｋをモニタリングしながら、対前フレーム動き係数Δａｋがこのリミット値を超えた場合、更新レートを１よりも小さな値（１．０−ｐｋ）（ｋ＝１〜６）とする。そうすることにより、フレーム間の動き量を実際よりも少なめに抑制する（更新レートを低下させる）ことができる。ここで０．０≦ｐｋ≦１．０であり、例えば、０．０＜｜Δａｋ｜≦｜Ｌｋ｜ならｐｋ＝０．０、｜Δａｋ｜＞｜Ｌｋ｜ならｐｋ＝０．５のように設定することもできる。また、各動きに関して、リミット値Ｌｋは一つではなく、多段階に設けてそれぞれの区間に対応して更新レートを設定することもできる。またΔａｋの値にしたがって連続的に設定することもできる。ｐｋの値はアフィン係数毎に異なるように設定できる。またフレーム毎に異なるように設定することもできる。
【００３７】
次に、対初期画像動き係数を空間安定化処理部４００に出力する（ＳＴ１２３）。
この動作でＳＴ１２０の動作は終了する。
その後、先に説明したとおり、ＳＴ１３０において、空間安定化処理部４００に入力された現フレーム画像を対初期画像動き係数で変換し、変換画像を画像出力部５００で出力する。
【００３８】
次に、本実施の形態の作用について説明する。
図８は更新レートを変化させた場合の画像空間安定化の動作を説明する図である。画像空間安定化の動作は、時刻ｔ１におけるバッファ画像５１と画像入力部から読み出した入力画像５２との間でその対応関係を表す変換行列Ｔ１を求める。ここでＴ１は時刻ｔ１における対前フレーム動き係数Δａｋ（ｔ１）（ｋ＝１〜６）により構成されている。次に、入力画像５２を変換行列Ｔ１で変換して空間安定化画像５３を得る。時刻ｔ２では、時刻ｔ１において生成され、バッファされていたバッファ画像５３と入力画像５４との間で同様に変換行列Ｔ２を求める。ここでＴ２は時刻ｔ２における対前フレーム動き係数Δａｋ（ｔ２）（ｋ＝１〜６）により構成されている。次に、前回の変換行列Ｔ１の構成要素であるΔａｋ（ｔ１）（ｋ＝１〜６）に、各係数の時刻ｔ１における重み付け（１．０−ｐｋ（ｔ１））（ｋ＝１〜６）を行って加算した（１．０−ｐｋ（ｔ１））・Δａｋ（ｔ１）＋Δａｋ（ｔ２）（ｋ＝１〜６）を構成要素とする変換行列（１−ｐｔ１）Ｔ１＋Ｔ２により入力画像５４を変換して空間安定化画像５５を得る。以降同様に処理が進み、前処理サイクルで変換により生成され、バッファされていたバッファ画像と入力画像との間で同様に変換行列ＴＭを求め、（１−ｐｔ１）・（１−ｐｔ２）・・・（１−ｐｔＭ−１）・Ｔ１＋（１−ｐｔ２）・（１−ｐｔ３）・・・（１−ｐｔＭ−１）・Ｔ２＋・・・＋（１−ｐｔＭ−１））・ＴＭ−１＋ＴＭにより入力画像を変換して空間安定化画像を得る。
ここで変数（１−ｐｔ）が時刻ｔにおける更新レートを表しており、各アフィン係数独立に０〜１の間で任意に設定される。ｐ＝０．０のときは従来と同じで、初期画像に合わせこむ画像空間安定化処理となる。ｐ＝１．０の場合はそのアフィン係数が示す動きに関しては動き無し、すなわち動きを強制的にゼロにすることに相当する。ｐ＝０．８では１／５の速度で初期画像に追従する。
【００３９】
本実施の形態における画像出力部５００における画像の動きについて説明する。
図９は縦揺れするカメラから得られる原画像の映像シーケンス（ａ）、パラメータ更新レートｐ＝０．０、すなわち１００％補正で空間安定化処理を行った結果（ｂ）、およびパラメータ更新レートｐ＝０．５、すなわち５０％補正で空間安定化処理を行った結果（ｃ）を示したものである。
図において点線Ｙ１〜Ｙ７は映像シーケンス中で目標物の縦方向の動きをわかりやすくするために挿入した基準線で，例えば原画像の映像シーケンス（ａ）において、山頂のｙ座標が時間とともにＹ１→Ｙ２→Ｙ３→Ｙ２→Ｙ１の間を上下することが示されている。
【００４０】
パラメータ更新レートｐ＝０．０で空間安定化処理を行った結果（ｂ）では、映像中の対象の移動量を１００％補正するため、例えば山頂のｙ座標はすべて同じ値Ｙ４に揃えられる。しかしこのように空間安定化処理を行うことにより、元々情報のない部分は映像が作れずブラックアウト領域となってしまう。揺れ量が大きい場合、このブラックアウト領域は大きく広がる。揺れ量が極端に大きい場合は、画像全体がブラックアウトしてしまうこともあり、かえって見にくい映像となってしまう。
【００４１】
これに対して、パラメータ更新レートｐ＝０．５で空間安定化処理を行った結果（ｃ）では、映像中の対象の移動量を５０％だけ補正するため、例えば山頂のｙ座標は時間とともにＹ５→Ｙ６→Ｙ７→Ｙ６→Ｙ５の間を上下する．変動の振幅はゼロではないが、空間安定化処理を全く行わない場合（Ｙ１→Ｙ２→Ｙ３→Ｙ２→Ｙ１）と比較して移動量は半分に抑えられている。またブラックアウト領域の面積も半分であり、全体としては１００％補正を行うよりも見易い映像を提供することができる。
【００４２】
このように動き毎に動的に更新レートを変更できるので、たとえ一方向にバイアスがかかった動きが生じた場合でも、常に観測者にとって見やすい画像空間安定化結果を提供することができる。
【００４３】
また、横方向の並進、縦方向の並進、回転、拡大・縮小、せん断の各動きのうち大きな動きが発生した動きのみ、更新レートを変更し、補正を抑制するようにすれば、問題となる大きな動きの補正のみを抑制することにより、他の動きの補正を完全に行いつつ、ブラックアウト領域の面積を少なくすることができ、観測者にとってさらに見易い映像を提供することができる。
【００４４】
また、画像の動きの推定をアフィン変換で行うことにより、画像の動きを横方向の並進、縦方向の並進、回転、拡大・縮小、せん断に簡単に解析することができ、さらにアフィン係数毎に更新レートを設定することにより、横方向の並進、縦方向の並進、回転、拡大・縮小、せん断の各動きの補正量を簡単に設定することができる。
【００４５】
実施の形態２．
本実施の形態では、更新レート設定部における更新レートの設定に対初期画像動き係数を用いる。その他は実施の形態１と同様であるので説明を省略する。
本実施の形態においては、更新レート設定部３０２において対初期画像動き係数から更新レートを設定する（ＳＴ１２２）。図１０は対初期画像動き係数ａｋの時間変化を示した模式図である。通常の揺れに対する揺れ補正の場合（ａ）では、ある値を中心としてリミット値±ｐＬｉｍの範囲内にある。しかし、例えば、横方向の並進、縦方向の並進、回転、拡大・縮小、せん断のいずれかの動きが一方向に連続して発生した場合（ｂ）ではリミット値±ｐＬｉｍの範囲をあるポイント８０で逸脱する。その場合に、更新レートを変更し、一方向の動きに対する補正を抑制するようにする。
【００４６】
また、その際に横方向の並進、縦方向の並進、回転、拡大・縮小、せん断の各動きのうち大きな動きが発生した動きのみ、更新レートを変更し、補正が抑制されるようにすることもできる。
【００４７】
より具体的に更新レートの設定の方法について説明する。あらかじめ対初期画像動き係数ａｋ（ｋ＝１〜６）のリミット値±ｐＬｉｍｋ（ｋ＝１〜６）を設定しておき、対初期画像動き係数ａｋをモニタリングしながら、ａｋがこのリミット値を超えた場合、対前フレーム動き係数Δａｋに１．０よりも小さな値（１．０−ｐｋ）  （ｋ＝１〜６）とする。そうすることにより、フレーム間の動き量を実際よりも少なめに抑制する（更新レートを低下させる）ことができる。ここで０．０≦ｐｋ≦１．０であり、例えばｐｋの値を、０．０＜｜ａｋ｜≦｜Ｂｋ｜ならｐｋ＝０．０、｜ａｋ｜＞｜Ｂｋ｜ならｐｋ＝０．５のように設定することもできる。また、各動きに関して、リミット値Ｂｋは一つではなく、多段階に設けてそれぞれの区間に対応して更新レートを設定することもできる。またａｋの値にしたがって連続的に設定することもできる。ｐｋの値はアフィン係数毎に異なるように設定できる。またフレーム毎に異なるように設定できる。
【００４８】
例えばカメラの機構的な特性によって、上下方向の振動は振幅が小さく周波数が高い一方で、左右方向の振動は振幅が大きいが比較的周波数が低いとする。このとき、映像を見るオペレータにとっては、目立つ振動である上下方向の揺れに関しては１００％の動きの補正を行い、比較的緩やかな横方向の揺れやについては動き量に対して少なめの補正しか行わない、その他の回転、拡大縮小に関しては動き補正を全く行わないようにすることもできる。
【００４９】
このように更新レートを対初期画像動き係数から決定することにより、ある特定の動きが一方向に偏った場合においてもブラックアウトする領域を少なくすることができ、見やすい画像を得ることができる。
【００５０】
また、横方向の並進、縦方向の並進、回転、拡大・縮小、せん断の各動きのうち大きな動きが発生した動きのみ、更新レートを変更し、補正を抑制するようにすれば、問題となる大きな動きの補正のみを抑制することにより、他の動きの補正を完全に行いつつ、ブラックアウト領域の面積を少なくすることができ、観測者にとってさらに見易い映像を提供することができる。
【００５１】
本実施の形態では、対初期画像動き係数のみから更新レートを設定しているが、実施の形態１で用いた対前フレーム動き係数と対初期画像動き係数の両者を用いて、更新レートを設定しても良い。
【００５２】
こうした場合は、動きが急激に大きくなった場合においても、動きが一方向に連続して発生した場合においても見やすい画像を得ることができる。
【図面の簡単な説明】
【００５３】
【図１】一般的アフィン変換による画像変換の模式図である。
【図２】画像の動きを示す模式図である。
【図３】実施の形態１に係る画像空間安定化方法の構成図である。
【図４】実施の形態１に係る画像空間安定化方法のフローチャートである。
【図５】実施の形態１に係るＳＴ１１０の詳細のフローチャートである。
【図６】実施の形態１に係るＳＴ１２０の詳細のフローチャートである。
【図７】対前フレーム動き係数の時間変化を示した模式図である。
【図８】実施の形態１の画像空間安定化方法の動作を示す図である。
【図９】実施の形態１の画像の動きを示す図である。
【図１０】対初期画像動き係数の時間変化を示した模式図である。
【符号の説明】
【００５４】
１００  画像入力部、２００  対前フレーム動き推定部、２０１  画像メモリ、２０２  画像バッファ、２０３  アフィン変換部、２０４  動き係数推定部、２０５  対前フレーム動き係数バッファ、２０６  更新決定部、３００  対初期画像動き推定部、３０１  対初期画像動き係数バッファ、３０２  更新レート設定部、３０３  対初期画像動き係数設定部、４００  空間安定化処理部、５００  画像出力部。
【図１】
2005102082.tif 000008
【図２】
2005102082.tif 000009
【図３】
2005102082.tif 000010
【図４】
2005102082.tif 000011
【図５】
2005102082.tif 000012
【図６】
2005102082.tif 000013
【図７】
2005102082.tif 000014
【図８】
2005102082.tif 000015
【図９】
2005102082.tif 000016
【図１０】
2005102082.tif 000017