(57)【要約】本発明は、ビデオカメラにより作成され、ビデオデータで表されるシーンのビデオ記録を安定化する方法に関する。当該方法は、以下のステップを含む。ビデオデータを複数の連続するフレームに小分割し、連続するフレームのそれぞれを複数のブロックに分割するステップ。それぞれのフレームのそれぞれのブロックについて、ブロックにおける動きの方向及び大きさを表す動きベクトルを決定するステップ。ベクトルＧＭＶは、瞬間ｔでのグローバル動きベクトルＧＭＶ（ｔ）と呼ばれ、前のフレームに関して瞬間ｔでの前記動きを表す。瞬間ｔで統合された動きベクトルＩＭＶ（ｔ）と呼ばれる変更されたベクトルを定義し、その動き補正の観点で現在のフレームに適用される最後の動きベクトルの補正を示すステップ。かかる統合された動きベクトルは、式．ＩＭＶ（ｔ）＝ＧＭＶ（ｔ）＋ａ（Ｅ）．ＩＭＶ（ｔ−１）により与えられる。ａ（Ｅ）は表現Ｅに依存する可変の適応ファクタであり、ＩＭＶ（ｔ−１）は前の現在のフレームに対応する統合された動きベクトルである。それぞれ連続する現在のフレームについて定義された変更された統合された動きベクトルに従ってビデオデータを変更するステップ。【特許請求の範囲】
【請求項１】
ビデオデータを安定化する方法であって、
当該方法は、
前記ビデオデータを複数の連続するフレームに小分割するステップと、
前記連続するフレームを複数のブロックに分割するステップと、
それぞれのフレームのそれぞれのブロックについて、前記ブロックにおける動きの方向及び大きさを表す動きベクトルを決定するステップと、瞬間ｔでの前記ベクトルは、グローバル動きベクトルＧＭＶ（ｔ）と呼ばれ、前のフレームに関して瞬間ｔでの前記動きを表しており、
瞬間ｔで統合された動きベクトルＩＭＴ（ｔ）と呼ばれる変更されたベクトルを定義し、その動き補正の観点で現在のフレームに適用される最後の動きベクトル補正を示すステップと、前記統合された動きベクトルは、式
ＩＭＶ（ｔ）＝ＧＭＶ（ｔ）＋ａ（Ｅ）．ＩＭＶ（ｔ−１）
により与えられ、ＧＭＶ（ｔ）は瞬間ｔでの現在のフレームのグローバル動きベクトルであり、ａ（Ｅ）は表示Ｅに依存する可変の適応ファクタであり、ＩＭＶ（ｔ−１）は前の現在のフレームに対応する統合された動きベクトルであり、
それぞれ連続した現在のフレームについて定義された変更された統合された動きベクトルに従って前記ビデオデータを変更するステップと、
を含むことを特徴とする方法。
【請求項２】
前記可変の適応ファクタは、２つの最後のグローバル動きベクトルの合計に依存する、
請求項１記載の安定化方法。
【請求項３】
前記可変のダンピングファクタａ（Ｅ）は、ベクトルの水平及び垂直座標とは独立に決定される、
請求項２記載の安定化方法。
【請求項４】
動きベクトルの補正が所与の閾値を超えないかをチェックするために設けられる更なる補正ステップ、超えない場合に、予め決定された許容されるレンジにあるように前記補正を変更するステップを含む、
請求項１乃至３のいずれか記載の安定化方法。
【請求項５】
ビデオデータを安定化するシステムであって、
ビデオ記録のビデオデータの複数の連続するフレームを記憶するフレームストレージと、
それぞれのフレームを複数のブロックに分割するために前記フレームストレージに結合され、それぞれのフレームのそれぞれのブロックについて、前記ブロックにおける動きの方向及び大きさを表す動きベクトルであって、瞬間ｔでグローバル動きベクトルＧＭＶ（ｔ）と呼ばれ、前のフレームに関して瞬間ｔでの前記動きを表す動きベクトルを決定し、瞬間ｔで統合された動きベクトルＩＭＶ（ｔ）と呼ばれる動きベクトルであって、ＧＭＶ（ｔ）を瞬間ｔでの現在のフレームのグローバル動きベクトル、ａ（Ｅ）を表示Ｅに依存する可変の適応ファクタ、ＩＭＶ（ｔ−１）を前の現在のフレームに対応する統合された動きベクトルとして、式ＩＭＶ（ｔ）＝ＧＭＶ（ｔ）＋ａ（Ｅ）．ＩＭＶ（ｔ−１）により与えられる動きベクトルを定義し、その動き補正の観点で現在のフレームに適用される最後の動きベクトル補正を示し、それぞれ連続する現在のフレームについて定義された変更された統合された動きベクトルに従って前記ビデオデータを変更するプロセッサと、
を有することを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオデータを安定させる方法、及びかかる方法を実行する安定化システムに関する。
【背景技術】
【０００２】
近年におけるビデオカメラの小型化及びパワフルズームの包含は、ハンドヘルドビデオカメラの移動のため、これらの装置において画像を安定化する問題を招く。この望まれないカメラの動きすなわちジッタを除くため、必須のカメラの動きを表示し、より楽しい視聴経験を提供するシーケンスを生成するため、デジタル画像の安定化（DIS:  Digital  Image  Stabilizing）システムが開発されている。ジッタは、カメラの意図的な動きに追加される画像の全ての望まれない位置の変動（平行移動、回転等）として定義され、（たとえば、動きベクトルの大きさ又は数を増加させ、符号化された動きベクトルのランレングスにおける減少となる場合がある動き予測符号化に）多くの著しい悪影響を有する可能性がある。大部分のＤＩＳシステムでは、動き予測は、画像フレームの全体的な動きを得るため、２つの連続するフレーム（時間ｔ−１及びｔ）間で実行される。かかる全体的な動きは、グローバル動きベクトルＧＭＶ（ｔ）と呼ばれる１つのベクトルにより表される。問題は、連続的な値ＧＭＶ（ｔ）が意図的な動きと意図的ではない動き（ジッタ）と両方を含むことである。
【０００３】
文献“Fast  digital  image  stabilizer  based  on  Gray-coded  bit-plane  matching”,  IEEE  Transaction  on  Consumer  Electronics,  vol.45,  no3,  August  1999,  pp.598-603は、動きが意図的なものであるか否かを判定するのを可能にする動き補償システムが記載されている。このため、全体的な動きベクトルは、ダンピング係数と統合され、このように定義された統合された動きベクトルＩＭＶ（ｔ）は、動き補償のための現在の行フレームに適用される最終的な動きベクトル補正を示す。この統合された動きベクトルは、安定化されたシーケンスを構築するために提供されるものであって、以下の式（１）により与えられる。
ＩＭＶ（ｔ）＝ａ．ＩＭＶ（ｔ−１）+ＧＭＶ（ｔ）          （１）
ここで、ＧＭＶ（ｔ）は時間ｔで考慮される現在のフレームの全体的な動きベクトルであり、ａは０と１の間に含まれ、統合された動きベクトルがカメラの動きがないときにゼロに集束することに従うルールを担う。ダンピングファクタである、この数ａの選択は、望まれる安定化の程度に依存するが、カメラの動きのタイプを考慮して重要であって、（たとえば）定数の使用は、準最適なことがある。
【０００４】
実際に、シーケンスの過程にわたりジッタから意図的な動きを分離することは常に複雑な問題である。リアルタイムのアプリケーションについて、主要な制約は、さらに、遅延が許容されないことであり、すなわち、ひとたび動きが既知となると、メモリに幾つかのフレームを記憶すること、動き補償を後に適用することが不可能なことである。文献で提案される全てのソリューションは、多かれ少なかれ幾つかの欠点を有しており、低振幅のジッタ及び固定された位置を有するシーケンスの部分で、ジッタが減衰されるがキャンセルされないことであり、全部の景色が見える動き又はいずれか他のタイプの強いカメラの動きはあるとすぐに、出力フィルタシーケンスは、現実の動きに殆ど追従することができないか、又は長い遅延の後に追従する。さらに、フィルタリング用に使用されるサンプリングウィンドウは、低振幅のジッタを補正するときに知覚可能な遅延を生じる。低振幅のジッタを減衰させるための強度と、できるだけ低い遅延で意図的な動きに追従する能力との間のトレードオフを発見することに結果的に終始する。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
したがって、本発明の目的は、改善された動き補償を実行するのを可能にするフィルタリング方法を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明は、ビデオカメラにより作成され、ビデオデータにより表現されるシーンのビデオ記録を安定化する方法に関する。当該方法は、前記ビデオデータを複数の連続するフレームに小分割するステップ、前記連続するフレームのそれぞれを複数のブロックに分割するステップ、それぞれのフレームのそれぞれのブロックについて、前記ブロックにおける動きの方向及び大きさを表す動きベクトルを決定するステップを含み、前記ベクトルＧＭＶは、瞬間ｔでのグローバル動きベクトルＧＭＶ（ｔ）と呼ばれ、前のフレームに関して瞬間ｔでの前記動きを表す。さらに、当該方法は、瞬間ｔで統合された動きベクトルＩＭＶ（ｔ）と呼ばれる変更されたベクトルを定義し、その動き補正の観点で現在のフレームに適用される最後の動きベクトルの補正を示すステップを含み、前記統合された動きベクトルは、
式  ＩＭＶ（ｔ）＝ＧＭＶ（ｔ）＋ａ（Ｅ）．ＩＭＶ（ｔ−１）
により与えられ、ＧＭＶ（ｔ）は瞬間ｔでの現在のフレームのグローバル動きベクトルであり、ａ（Ｅ）は表現Ｅに依存する可変の適応ファクタであり、ＩＭＶ（ｔ−１）は前の現在のフレームに対応する統合された動きベクトルである。さらに、当該方法は、それぞれ連続する現在のフレームについて定義される変更された統合された動きベクトルに従ってビデオデータを変更するステップを含んでいる。
【０００７】
好適な実施の形態では、前記可変の適応ファクタは、２つの最後のグローバル動きベクトルの合計に依存する。  
好ましくは、可変のダンピングファクタは、ＩＭＶ及びＧＭＶの水平及び垂直座標に独立に計算され、２つの軸に沿ったフィルタリングは、常に互いに独立している。  
許可される余分の入力領域に対応して、ＩＭＶ補正が所与の閾値を超えていないかがチェックされる場合があり、超えていない場合、たとえば±１６画素といった予め決定された許容されるレンジに留まるために補正が変更される。
【発明を実施するための最良の形態】
【０００８】
本発明は、添付図面を参照して例示を通して以下に記載される。  
本発明の方法によれば、安定化方法が提案され、提案される補償が前に定義された統合された動きベクトルＩＭＶ（ｔ）に等しいが、ａ（Ｅ）で示されるダンピング係数をもち、この係数は可変の適応ファクタである。
ＩＭＶ（ｔ）＝ａ（ｔ,ｔ−１,…）．ＩＭＶ（ｔ−１）＋ＧＭＶ（ｔ）      （２）
この式（２）では、ダンピングファクタａ（Ｅ）はもはや定数ではなく、たとえば２つの最後のグローバル動きベクトルの合計に依存する適応的な値である。これにより、意図的な動きの開始を追跡するのを可能にする（最後のグローバル動きベクトルは、本質的に使用されるには余りに不安定である）。
【０００９】
ダンピングファクタａ（Ｅ）と２つの最後のグローバル動きベクトルの合計（ＧＭＶ（ｔ）＋ＧＭＶ（ｔ−１））との間の対応テーブルは、以下のようなやり方で構築される。  
（ａ）ＧＭＶ値の低い合計（low  sum）は、まるで静的な意図的なカメラを想定した、シーケンスを強く安定化する高いダンピングファクタの値を含む。  
（ｂ）ＧＭＶ値の高い合計（high  sum）は、非くいダンピングファクタの値を含み、次いでシーケンスは、より正確にオリジナルの動きに追従する。
【００１０】
ユニット当たり４分の１でのダンピングファクタの値ＤＦＶ対最後の２つの全体的な動きベクトルの増加する合計ＳＬＧは、表１のテーブルで与えられる。
【００１１】
幾つかの更なる特徴が提案される場合がある。たとえば、ｙベクトルのフィルタリングとは独立にｘベクトルでのフィルタリングを有する場合に有効である。さらに、境界検出の出力が提供される場合があり、かかる検出は、ＩＭＶ補正が許可された余分の入力領域に対応する所与の閾値を超えていないかをチェックし、たとえば±１６画素（ピクセル）といった許容されるレンジにあるように補正するのを可能にする。
【００１２】
提案される安定化方法は、オリジナルの動き（曲線Ａ）、ムービングアベレージフィルタにより慣習的にフィルタリングされた動き（曲線Ｂ）、及び本発明に係る安定化方法によりフィルタリングされた動きの曲線Ｍを同時に示す図２に例示されるように動きが余りに高いとき（３つの曲線について、水平軸がフレーム数ＮＯＦに対応し、垂直軸が累積的な変位、すなわちグローバル動きベクトルの合計ＳＬＧに対応する）、意図的な動きに追従しつつ、ジッタが所定の空間的な位置の周りにセンタリングされたときに長い安定化されたショットをつくる。幾つかの高速の動きの遷移がなお目に見ることができるが、これらは、許容された余分の画像の境界に留まるのを望む場合に、幾つかのやり方で追従される必要があるオリジナルのシーケンスにおける突然の動きに対応する。安定化方法は、低速の動きを追跡することに有効でもある。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る安定化方法で使用されるダンピングファクタの値の幾つかの例を与える表である。
【図２】本発明に係る安定化方法の利点を例示する図である。
【図１】
2007516679.tif 000002
【図２】
2007516679.tif 000003
【国際調査報告】
2007516679.tif 000004
2007516679.tif 000005
2007516679.tif 000006