(57)【要約】【課題】複数の関連した画像から望ましくない動きを除去できる方法を提供する。【解決手段】連続した複数の関連した画像から望ましくない動きを除去する方法は、画像の動きの適応型フィルタリングを利用して、画像シフト値を決定する。連続した画像の動きの間の差が、基準フレームに関連付けられ、平滑化フィルタが、テスト画像に隣接した画像のサンプルのこのような差に適用される（Ｓ−３、Ｓ−７）。画像シフト値は、テストフレームに関連付けられた差を、このテストフレームを含むフィルタリングされた画像から減算することによって計算される。この画像シフト値は画像シフトパラメータと比較され（Ｓ−８、Ｓ−１０）、サンプルサイズが調整され、この調整されたサンプルサイズに従って、画像シフト値が再計算される（Ｓ−７、Ｓ−９、Ｓ−１１、Ｓ−１２）。このようにして、画像の安定化が境界フリッカなしで達成される。【選択図】図１
2006115057.tif 000002
【特許請求の範囲】
【請求項１】
連続した複数の関連する画像から望まない動きを除去する方法であって、
前記画像それぞれは、静止成分を含み、一様な寸法のフレーム内に固定され、
複数のフレームにわたる前記成分の複数の連続したフレーム間の動きであって、それぞれが前記フレームの１つに関連付けられるフレーム間の動きを判断し、
関連付けられたフレーム間の動きを有する基準フレームを選択し、
前記フレーム間の動きそれぞれと、前記基準フレームに関連付けられたフレーム間の動きとの差を測定し、
平滑化フィルタを選択し、
テストフレームを指示し、
前記テストフレームに隣接する少なくとも１つの追加フレームを選択し、前記テストフレームおよび前記追加フレームによりサンプルが規定され、
前記平滑化フィルタを、前記サンプルの差の値に適用して、フィルタリングされた差の値を得、
前記テストフレームに関連付けられた差を、前記フィルタリングされた値から減算して、画像シフト値を得、
前記画像の位置を、前記テストフレームに対して、前記画像シフト値だけシフトし、
シーケンスの次のフレームを、前記テストフレームとして指定する
ステップを含む方法であって、
画像シフトパラメータを選択し、
前記画像シフト値と前記画像シフトパラメータとを比較し、
前記比較に従って前記サンプルのフレーム数を調整し、
前記サンプルの調整されたフレーム数に基づいて前記画像シフト値を計算する
ことにより特徴付けられる方法。
【請求項２】
前記画像シフトパラメータに関係付けられたズーム倍率によって、前記シーケンスのフレームのすべてを拡大するステップを
さらに含む
請求項１に記載の方法。
【請求項３】
前記計算された画像シフト値に従って前記サンプルのフレーム数を調整するステップは、
前記画像シフト値が、前記画像シフトパラメータよりも小さい場合には、前記サンプルのフレーム数を増加し、
前記増加されたフレーム数に従って、調整された画像シフト値を計算し、
前記画像シフト値が前記画像シフトパラメータよりも大きくなるまで、前記サンプルのフレーム数を増加し続け、
前記画像シフト値が前記画像シフトパラメータを超える場合には、前記サンプルのフレーム数を減少する
ステップを含む
請求項２に記載の方法。
【請求項４】
前記基準フレームを選択するステップは、前記基準フレームとして、前記連続した複数の関連した画像の最初のフレームを選択するステップ
をさらに含む
請求項１に記載の方法。
【請求項５】
前記少なくとも１つの追加フレームを選択するステップは、前記連続した複数の関連した画像の前記テストフレームの前および後に、同数でないフレームを選択するステップ
をさらに含む
請求項１に記載の方法。
【請求項６】
前記少なくとも１つの追加フレームを選択するステップは、前記連続した複数の関連した画像の前記テストフレームの前および後に、同数のフレームを選択するステップ
をさらに含む
請求項１に記載の方法。
【請求項７】
前記平滑化フィルタを選択するステップは、ガウスフィルタを選択する
請求項１に記載の方法。
【請求項８】
前記平滑化フィルタを選択するステップは、カルマンフィルタを選択する
請求項１に記載の方法。
【請求項９】
前記平滑化フィルタを選択するステップは、ボックスフィルタを選択する
請求項１に記載の方法。
【請求項１０】
連続した複数の関連する画像から望まない動きを除去する方法であって、
前記画像それぞれは、静止成分を含み、一様な寸法のフレーム内に固定され、
複数のフレームにわたる前記成分の複数の連続したフレーム間の動きであって、それぞれが前記複数のフレームの１つに関連付けられるフレーム間の動きを決定し、
関連付けられたフレーム間の動きを有する基準フレームを選択し、
前記フレーム間の動きそれぞれと、前記基準フレームに関連付けられたフレーム間の動きとの差を測定し、
平滑化フィルタを選択し、
テストフレームを指示し、
前記テストフレームに隣接する少なくとも１つの追加フレームを選択して、前記テストフレームおよび前記追加フレームによりサンプルが規定され、
前記平滑化フィルタを、前記サンプルの差の値に適用して、フィルタリングされた差の値を得、
前記テストフレームに関連付けられた差を、前記フィルタリングされた差の値から減算して、画像シフト値を得、
前記画像の位置を、前記テストフレームに対して、前記画像シフト値だけシフトし、
シーケンスの次のフレームを、前記テストフレームとして指定し、
前記シーケンスのフレームそれぞれが指定されて、上述したプロセスに従ってシフトされた前記画像が固定されるまで、前記シーケンスから前記テストフレームを指定し続ける
方法であって、
画像シフトパラメータを選択し、
前記画像シフトパラメータに関係付けられたズーム倍率によって、前記シーケンスのフレームすべてを拡大する
ことにより特徴付けられる方法。
【請求項１１】
前記画像シフト値と前記画像シフトパラメータとを比較し、
前記比較に従って前記サンプルのフレーム数を調整し、
前記サンプルの調整されたフレーム数に基づいて前記画像シフト値を計算する
ステップをさらに含む
請求項１に記載の方法。
【請求項１２】
前記計算された画像シフト値に従って前記サンプルのフレーム数を調整するステップは、
前記画像シフト値が、前記画像シフトパラメータよりも小さい場合には、前記サンプルのフレーム数を増加し、
前記増加されたフレーム数に従って、調整された画像シフト値を計算し、
前記画像シフト値が前記画像シフトパラメータよりも大きくなるまで、前記サンプルのフレーム数を増加し続け、
前記画像シフト値が前記画像シフトパラメータを超える場合には、前記サンプルのフレーム数を減少する
ステップを含む
請求項１１に記載の方法。
【請求項１３】
前記基準フレームを選択するステップは、前記基準フレームとして、前記連続した複数の関連した画像の最初のフレームを選択するステップ
をさらに含む
請求項１０に記載の方法。
【請求項１４】
前記少なくとも１つの追加フレームを選択するステップは、前記連続した複数の関連した画像の前記テストフレームの前および後に、同数でないフレームを選択するステップ
をさらに含む
請求項１０に記載の方法。
【請求項１５】
前記少なくとも１つの追加フレームを選択するステップは、前記連続した複数の関連した画像の前記テストフレームの前および後に、同数のフレームを選択するステップ
をさらに含む
請求項１０に記載の方法。
【請求項１６】
前記平滑化フィルタを選択するステップは、ガウスフィルタを選択する
請求項１０に記載の方法。
【請求項１７】
前記平滑化フィルタを選択するステップは、カルマンフィルタを選択する
請求項１０に記載の方法。
【請求項１８】
前記平滑化フィルタを選択するステップは、ボックスフィルタを選択する
請求項１０に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の安定化に関する。
特に、この発明は、画像の場所の調整が行われる状況において、フレームの空白領域の系統的な除去を含む画像シーケンスの安定化方法に関する。
【背景技術】
【０００２】
アマチュアのビデオ撮影者により撮影されたホームビデオのような、特に手持ち式カメラによって撮影されたビデオは、例えば、故意でない手ブレあるいは他の不安定な土台の存在のために、「ぶるぶる震える」部分を含むことが多い。
【０００３】
望ましくない動きをフィルタリングするというこの問題に対する従来の解決策は、全体の動きを効果的に滑らかにするために、画像の配置転換を必要としてきた。
通常、独特のあるいは顕著な特徴が選択され、その場所がフレーム間で（水平、垂直あるいはその両方で）追跡される。
その後は、フィルタリングを基礎としたアルゴリズムが適用されて、画像それぞれの（水平、垂直あるいはその両方の）場所がフレームごとに調整される。
この画像それぞれには、その画像のフレームの中のあるいはこのフレームに関する、このような選択された特徴が含まれる。
【非特許文献１】Hapreet S. SawhneyおよびSerge Ayer,「Compact Representations of Videos Through Dominant and Multiple Motion Estimation」,IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 18, no. 8 (1996), p. 814-830
【非特許文献２】J. M. OdobezおよびP. Bouthemy,「Robust Multiresolution Estimation of Parametric Motion Models」,Journal of Visual Communication and Image Representation, vol. 6, no. 4 (December 1995), p. 348-365
【発明の開示】
【発明が解決しようとする課題】
【０００４】
このような技法は、手ブレのような要因の影響を低減し、動きを滑らかにして、よりプロに近い外観を提示する一方で、気を散らすことが多いフレームごとに異なる空白の境界（blank border）領域が生成されることになる。
これは、不快な「境界フリッカ」になる可能性がある。
この「境界フリッカ」は、望ましくない手ブレが、動き補償のステップによって、画像の特徴からフレームの境界に効果的に移送されて、画像が、選択されたアルゴリズムに従ってフレーム内で再配置されたことを反映するものである。
【課題を解決するための手段】
【０００５】
従来技術の上記欠点および他の欠点は、本発明によって対処される。
本発明は、第１の態様において、連続した複数の関連した画像であって、当該画像のそれぞれが静止成分を含む連続した複数の関連した画像から望ましくない動きを除去する方法を提供する。
各画像は、一様な寸法のフレーム内に固定される。
【０００６】
静止成分についての複数の連続したフレーム間移動が、複数のフレームにわたって求められる。
各フレーム間移動は、フレームの１つに関連付けられる。
関連付けられたフレーム間移動を有する基準フレームが選択される。
前記フレーム間移動のそれぞれと、基準フレームに関連付けられたフレーム間移動との差が測定される。
【０００７】
画像シフトパラメータ、平滑化フィルタおよびテストフレームが選ばれる。
テストフレームに隣接する少なくとも１つの追加フレームが選ばれる。
これらのフレームは、サンプルを規定する。
【０００８】
平滑化フィルタが、サンプルの差の値に適用されて、フィルタリングされた差の値が得られる。
テストフレームに関連付けられた差が、このフィルタリングされた差の値から減算され、画像シフト値が得られる。
【０００９】
画像シフト値は、画像シフトパラメータと比較され、サンプルのフレーム数が、このような比較に従って調整される。
画像シフト値は、調整されたサンプルのフレーム数に基づいて再計算される。
【００１０】
画像の位置が、テストフレームに対して、画像シフト値だけシフトされる。
【００１１】
次いで、シーケンスの次のフレームが、テストフレームとして指定される。
【００１２】
第２の態様において、本発明は、連続した複数の関連した画像であって、当該画像のそれぞれが静止成分を含む連続した複数の関連した画像から望ましくない動きを除去する方法を提供する。
各画像は、一様な寸法のフレーム内に固定される。
【００１３】
静止成分についての複数の連続したフレーム間移動が、複数のフレームにわたって求められる。
各フレーム間移動は、フレームの１つに関連付けられる。
【００１４】
関連付けられたフレーム間移動を有する基準フレームが選ばれる。
前記フレーム間移動のそれぞれと、基準フレームに関連付けられたフレーム間移動との差が測定される。
【００１５】
画像シフトパラメータ、平滑化フィルタおよびテストフレームが選ばれる。
テストフレームに隣接する少なくとも１つの追加フレームが選ばれる。
これらのフレームは、サンプルを規定する。
【００１６】
平滑化フィルタが、サンプルの差の値に適用されて、フィルタリングされた差の値が得られる。
テストフレームに関連付けられた差が、このフィルタリングされた差の値から減算され、画像シフト値が得られる。
画像の位置が、テストフレームに対して、画像シフト値だけシフトされる。
【００１７】
次いで、シーケンスの次のフレームが、テストフレームとして指定される。
シーケンスの各フレームが指定されて、上述したプロセスに従ってシフトされた画像がフレームに固定されるまで、シーケンスからのテストフレームの指定は続けられる。
次いで、シーケンスのフレームのすべてが、画像シフトパラメータに関係付けられたズーム倍率によって拡大される。
【００１８】
この発明の上記特徴および他の特徴は、以下の詳細な説明からさらに明らかになる。
このような説明には、１組の図面が付随している。
記載された説明の参照符号は、図面の参照符号に対応するものであり、本発明の特徴を指し示す。
同じ参照符号は、記載された説明およぶ図面の双方の全体を通じて、同じ特徴を参照する。
【発明を実施するための最良の形態】
【００１９】
図１は、本発明の一実施の形態によるフレーム間の画像の動きを安定化する方法のフローチャートである。
この方法は、適応型フィルタリング技法を使用して、一様な寸法のフレームに対して連続画像の位置を調整する。
その後、事前に選択された拡大率またはズーム倍率が、すべての画像に適用されて、フレームは、それらの画像で効果的に満たされ、境界フリッカが除去される。
以下から分かるように、（ズーム倍率に関連した）画像シフトパラメータと一体化した適応型フィルタリング技法を使用することによって、本発明の方法は、改良された画像シーケンス安定性、および、許容可能な解像度レベルでの境界フリッカの消失の利点を獲得する。
【００２０】
図１のフローチャートを参照して本発明の方法を解説するに際し、望ましくないカメラの動きの影響は、縦軸、すなわち「ｙ」軸のみに対する画像の静止成分（例えば、背景の木）の変位に限られ、また、その変位によって測定可能であるものと仮定する。
このような仮定は、単に、以下の解説を容易にし、かつ、明確にするためのだけに行われるものである。
しかしながら、この解説は、複数の軸に対する望ましくない画像の動きを含むように拡張され、かつ、この動きを補正するように拡張されうることが理解されよう（すなわち、ｘ−ｙ基準系の「ｘ」軸の動きに加えて、他の基準系の軸に対して規定された望ましくない動きも含む）。
ｉ番目のフレームにおける静止成分の位置は、ｙｉとして示される。
【００２１】
本発明の方法は、ステップＳ−１において、フレームシーケンスにわたる画像の静止成分の連続したフレーム間移動Δｙｉ（＝ｙｉ−ｙｉ−１）を計算することによって開始される。
このような値は、静止成分の実際の動きに対する、画像センサ（例えば、カメラ）の連続した動きを表し、通常は、デジタル取り込み画像、すなわちデジタル化された取り込み画像のピクセルで測定される。
Δｙｉ値の計算は、静止した画像成分を選択できて、かつ、対応する動きシーケンスを測定できるいくつかのアルゴリズムによって成し遂げられる。
例えば、Hapreet S. SawhneyおよびSerge Ayer著「Compact Representations of Videos Through Dominant and Multiple Motion Estimation」IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 18, no. 8 (1996), pp. 814-830、ならびに、J. M. OdobezおよびP. Bouthemy著「Robust Multiresolution Estimation of Parametric Motion Models」Journal of Visual Communication and Image Representation, vol. 6, no. 4 (December 1995), pp. 348-365を参照されたい。
Δｙｉの測定は、単純な並進移動の仮定に基づくこともできるし、回転、拡大縮小およびせん断を考慮するアフィン運動等、より複雑な動きモデルに基づくこともできる。
【００２２】
ステップＳ−２において、画像シーケンスの単一のフレームが、以下の解説のために、「基準フレーム」として選択されて指定される。
この基準フレームは、関連したフレーム間移動値Δｙｒｅｆを有する。
一般に、画像シーケンスの最初のフレームが、便宜上、選択されるが、このような選択は、任意に行われうる。
【００２３】
ステップＳ−１において、Δｙｉの値が、選択された基準フレームを含めて、フレームごとに確定され、そして、ステップＳ−２において、基準フレームが指定されると、ステップＳ−３では、別の値シーケンスΔＹｉ（＝Δｙｉ―Δｙｒｅｆ）が計算される。
丁度、Δｙｉの値が各フレームに関連付けられているのと同様に、ΔＹｉの各値も、フレームｉに関連付けられる。
【００２４】
ΔＹｉ値は、（ｉ−１）個の残りのフレームのいずれかにおける選択された静止成分が、確定された基準に対して変位している程度を示す。
これは、Δｙｉ値と異なり、全シーケンスを共通の基準フレームに対して安定化させる基礎を提供する。
【００２５】
画像シフトパラメータδが、ステップＳ−４で選択される。
理論的には、δは、任意の値を割り当てられることができるが、実際の用途では、その選択は、ユーザまたは用途による。
以下から分かるように、動きを安定化させる目的で、画像を拡大し、拡大しないと空白となる関連フレームの境界部分を満たすことによって画像をシフトした後、境界フリッカは除去される。
このような画像の拡大またはズームは、画像の解像度を低下させる。
δの値は、解像度の低下が多くとも行き過ぎたものとならず、好ましくは認識できないものとなる画像拡大率またはズーム倍率の量をＺが表すように要求することが好ましい。
画像の解像度の許容可能な低下は、ビデオアプリケーションと関連しており、例えば視聴者に必要なビデオ品質に応じて変化する。
【００２６】
ΔＹｉ値のシーケンスが導出され、画像シフトパラメータδが選択されると、適応型フィルタリングプロセスが使用されて、画像シーケンスの個々の画像（ｙ）の、それらの関連フレーム（ｉ）に対する場所、すなわち位置への調整が求められる。
この調整値は、画像シーケンスから望ましくない動きを除去するように個々の画像をシフトする量（一般にピクセルで測定される）を表す。
【００２７】
以下に説明する適応型フィルタリングプロセスは、最大サイズの統計サンプル（すなわち、画像数）に基づいて画像シフトが確実に求められるように設計される。
このようにして、最大シーケンスの動きの滑らかさ（安定性）が得られる。
各サンプルは、テスト画像と共に、このテスト画像に隣接する少なくとも１つの他の画像を含む。
以下に説明する適合型フィルタリングプロセスは、隣接するフレームの静止成分の動きに対する、テストフレームの静止成分の動き（位置シフト）の量に反比例（ただし、厳密な意味ではない）するサンプルサイズを生成する。
したがって、突然の動きまたは発作的な動きは、フィルタリングされたサンプルを含む隣接フレームをほとんど伴わない比較的隔離された方法で、補償される。
このように、テストフレームに対する、意図された劇的なまたは大きな画像シフトは、画像シーケンスのより平穏な区間をカバーするデータを含めることによってマスクされることはない。
他方、画像シーケンスのより平穏な区間中では、大きなサンプルサイズに基づいている場合に、フレーム間の画像シフトの滑らかさは高められる。
【００２８】
適応型フィルタリングプロセスは、連続したフレームごとの画像調整または画像シフトの計算を必要とする。
論理的には、このような方法は、基準フレームとして選ばれた最初のフレームから、画像シーケンスのすべてのフレームにわたって順次進行することになるが、これに限定されるものではない。
【００２９】
適応型フィルタリングプロセスに移って、代表的な（ｉ番目の）テストフレームが、ステップＳ−５において、適切な画像シフトを求めるのに選択される。
テスト画像に隣接する、画像シーケンスの少なくとも１つの追加画像が、ステップＳ−６で選ばれる。
これらのテスト画像および追加隣接画像（または複数の追加隣接画像）は、サンプルを形成する。
サンプルを形成する画像シーケンスの画像は、テストフレームに対して対称的に配置されることもできるし、非対称的に配置されることもできる。
選ばれたサンプルのタイプは、適用される平滑化フィルタＦ（）のタイプに依存する。
平滑化フィルタの例としては、特に、ガウスフィルタ、カルマンフィルタおよびボックスフィルタがある。
これに対して、非平滑化フィルタには、メディアンフィルタおよびエッジ検出器フィルタがあるが、これらに限定されるものではない。
対称フィルタ（例えば、ガウスフィルタ）の場合、画像は、テスト画像のいずれかの側でペアにされて、奇数個の画像を含むサンプルが作成される。
一方、非対称平滑化フィルタ（例えば、カルマンフィルタ）に適用される適切なサンプルは、偶数個の画像または奇数個の画像のいずれも含むことができる。
【００３０】
選択された平滑化フィルタは、ステップＳ−７で、選択されたサンプルの画像のΔＹｉ値に適用される。
次に、テスト画像のΔＹｉ値は、フィルタリングされたサンプルの値ΣＦ（ΔＹｉ）から減算される。
その結果生成される差は、画像シフト値を構成し、この画像シフト値は、次に、画像シフトパラメータδと比較される。
このような差が、ステップＳ−８において、δよりも小さいと判断された場合、サンプルのサイズは、ステップＳ−９において、使用されるフィルタＦ（）のタイプに応じて対称的な方法または非対称的な方法のいずれかで増加される。
この新たな大きくされたサンプルは、ステップＳ−７およびＳ−８を再び繰り返すことによって検査される。
【００３１】
サンプルが、画像シフトパラメータδ以上となる画像シフト値（ΣＦ（ΔＹｉ）−Δｙｉ）を生成するのに十分なサイズ、すなわち幅であると判断されると、このような差は、ステップＳ−１０で検査されて、その差が、おそらくサンプルサイズを拡大した際に、δを越えているかどうかが判断される。
明らかに、サンプルサイズが、画像シフトパラメータδと正確に等しい画像シフト値を生成する稀な場合にのみ、（ステップＳ−８の問い合わせに続く）ステップＳ−１０の問い合わせに対する応答は、否定的なものとなる。
それ以外のほとんど場合には、サンプルのサイズは、ステップＳ−１１において、対称的な方法または非対称的な方法のいずれかで減少されることになる。
したがって、最大の滑らかさを得るために、最大サイズのサンプルが望まれるが（ステップＳ−８、Ｓ−９）、これは、画像シフトパラメータδを確実に越えないようにする必要があることによって調節される（ステップＳ−１０、Ｓ−１１）。
以下から分かるように、画像シフトパラメータδを越えないことによって、パラメータδの値に関係（以下で解説する関係）のある画像シーケンスのすべてのフレームにズーム倍率を適用した場合に、境界フリッカが確実に除去される。
新たなサンプルは、ステップＳ−１２において、フィルタに適用され、再びＳ−１０で検査される。
【００３２】
サンプルサイズが、上述した適応型フィルタリングプロセスによって、過大でないと判断されると、画像は、ステップＳ−１３において、その結果生成された画像シフト値（ΣＦ（ΔＹｉ）−ΔＹｉ）だけシフトされる。
このシフトは、テストフレームの画像の位置の補正を表す。
補正の量（ピクセル数）は、テストフレームの静止成分が、最大個数の周囲の（隣接した）画像に基づいて、このような成分をフィルタリングした位置からずれている量である。
【００３３】
シーケンスのすべての画像が上記のように求めた量だけシフトされたことが、ステップＳ−１４において示されると、すべての画像は、ステップＳ−１５において、画像シフトパラメータδに関連したズーム倍率だけ拡大され、当該画像の寸法は、自身のフレームの寸法を越えるように増加される。
フレームに対して画像をシフトすることにより、画像のエッジとそのフレームのエッジとの間の境界付近に生成された空白空間は、画像の拡大によって相殺される。
拡大量は、一般にズーム倍率Ｚとして示され、以下の関係によって、寸法ｆのフレームの画像シフトパラメータδに関係付けられる（本発明の方法を示すのに使用される例では、この寸法ｆはｙ軸に沿って測定される）。
Ｚ＝（１＋２δ／ｆ）                  （方程式１）
【００３４】
各フレームが、一定の一様なサイズになると、このフレームは、フレームのそれぞれを効果的に「満たして」、画像シーケンスから境界フリッカを除去する。
【００３５】
図２（ａ）から図２（ｃ）は、上述した本発明の一実施の形態による画像シーケンス安定化プロセスを示す一連のグラフである。
図２（ａ）では、画像シーケンスにおける静止成分の軌跡が、軌跡１０に沿ってプロットされている。
図２（ｂ）は、境界を示しており、これらの境界は、画像シーケンスの個々の画像の許容可能なシフト量を規定する画像シフトパラメータδに対応するライン１２および１２´によって示されている。
【００３６】
図２（ｃ）は、画像シーケンスの安定度と、本発明の一実施の形態に従って使用される適応型フィルタリングプロセスに従って求められた画像サンプル１４から２４のサイズ、すなわち幅との間の一般的な関係を示している。
図から分かるように、サンプルのサイズ（隣接する画像の個数）は、局所化されたフレーム間の動きの程度に反比例する。
したがって、サンプル１６および１８は、軌跡１０に沿ったフレーム間の動きが相対的に大きな領域を含むことから、相対的に小さい、すなわち狭い一方、サンプル２０は、軌跡１０の相対的に安定した領域をカバーしているので、相対的に広い。
【００３７】
したがって、本発明は、連続した複数の関連した画像から望ましくない動きを除去する方法を提供することが分かる。
本発明の教示を使用することによって、手持ち式カメラおよび他の不安定な土台によって撮影されたビデオに一般に入り込む望ましくないタイプの動きを大幅に除去することができる。
【００３８】
本発明は、局所化されたフレーム間の画像の動きの程度に従ってサンプルサイズが変化する適応型フィルタリング技法に基づいて、画像シーケンスを安定化させる高度に信頼できる手段を提供する。
適応型フィルタリングプロセスに従ってシフトされた画像を拡大するために後に使用できる所定の倍率を、適応型フィルタリングプロセスと共に使用することによって、解像度を過度に損なうことなく、境界フリッカの問題を除去することができる。
【００３９】
本発明を、その現時点での好ましい実施の形態に関して開示してきたが、本発明は、この実施の形態に限定されるものではない。
本発明は、添付の特許請求の範囲によって規定される範囲にのみ限定され、その範囲内には、特許請求の範囲と均等なすべてのものが含まれる。
【図面の簡単な説明】
【００４０】
【図１】本発明の一実施の形態による画像シーケンス安定化方法のフローチャートである。
【図２ａ】本発明の一実施の形態による画像安定化プロセスを示す一連のグラフの１つである。
【図２ｂ】本発明の一実施の形態による画像安定化プロセスを示す一連のグラフの１つである。
【図２ｃ】本発明の一実施の形態による画像安定化プロセスを示す一連のグラフの１つである。
【符号の説明】
【００４１】
１０・・・軌跡
１２、１２´・・・画像シフトパラメータδに対応するライン
１４、１６、１８、２０、２２、２４・・・画像サンプル
【図１】
2006115057.tif 000003
【図２ａ】
2006115057.tif 000004
【図２ｂ】
2006115057.tif 000005
【図２ｃ】
2006115057.tif 000006