(57)【要約】【課題】動き補償処理を改良する技術を提案する。【解決手段】動き推定器は、入力イメージを受け取る空間サブサンプラー、入力イメージ間の動きベクトル、及びサブサンプリングされたイメージ間のサブサンプリングされた動きベクトルを測定する少なくとも一つの動き推定器、サブサンプリングされた動きベクトルをアップサンプリングするアップサンプラー、及び、動きベクトル信頼度に従って、動きベクトルとサブサンプリングされた動きベクトルとの間で選択することによって出力される動きベクトルを供給するセレクタ、を備える。【選択図】図１
2011239384.tif 000002
【特許請求の範囲】
【請求項１】
処理装置の動き推定方法であって、
イメージシーケンスの複数の入力イメージを比較して、前記複数の入力イメージ間のピクセルの位置の差分を示す動きベクトルを測定し、
動きベクトルの信頼の度合いに従って、前記複数の入力イメージの空間分解能を変化させる動き推定方法。
【請求項２】
前記空間分解能が、比較される前記複数の入力イメージを描写するピクセル数を変更することにより変化させることを特徴とする請求項１記載の動き推定方法。
【請求項３】
動きベクトルを、前記イメージシーケンスの第１イメージ中の第１イメージ領域と、前記イメージシーケンスの第２イメージ中の第２イメージ領域とを比較することによって測定し、
前記第１イメージ領域と前記第２イメージ領域との少なくとも一方の大きさが、動きベクトルの信頼の度合いに基づいて選ばれることを特徴とする請求項１または２記載の動き推定方法。
【請求項４】
動き推定が異なる空間分解能で実施され、
イメージまたはイメージ領域に対して出力される動きベクトルが、前記イメージまたはイメージ領域に対して最も高い信頼ベクトルを与える動き推定処理から選び取られることを特徴とする請求項１乃至３のいずれか一項に記載の動き推定方法。
【請求項５】
動きベクトルが位相相関から導き出され、
前記動きベクトルの信頼の度合いが位相相関のピークの高さから選び取られることを特徴とする請求項１乃至４のいずれか一項に記載の動き推定方法。
【請求項６】
動きベクトルがブロックマッチングから導き出され、
前記動きベクトルの信頼の度合いがブロックマッチエラーから選び取られることを特徴とする請求項１乃至４のいずれか一項に記載の動き推定方法。
【請求項７】
イメージシーケンスの複数の入力イメージを入力する入力部と、
前記複数のイメージを受け取り、サブサンプリングされた複数のイメージを供給する空間サブサンプラーと、
前記複数の入力イメージ間のピクセルの位置の差分を示す第１動きベクトルと、前記サブサンプリングされた複数のイメージ間のピクセルの位置の差分を示す第２動きベクトルとを測定する少なくとも一つの動き推定器と、
前記第２動きベクトルをアップサンプリングするアップサンプラーと、
前記第１動きベクトルと前記アップサンプリングされた第２動きベクトルとのどちらかを選択することによって動きベクトルを供給する動きベクトル選択部と、を備える動き推定装置。
【請求項８】
前記選択が動きベクトルの信頼の度合いに従うことを特徴とする請求項７記載の動き推定装置。
【請求項９】
動きベクトルが位相相関から導き出され、
前記動きベクトルの信頼の度合いが位相相関のピークの高さから選び取られることを特徴とする請求項８記載の動き推定装置。
【請求項１０】
動きベクトルがブロックマッチングから導き出され、
前記動きベクトルの信頼の度合いがマッチエラーから選び取られることを特徴とする請求項８記載の動き推定装置。
【請求項１１】
動き推定方法を実現するプログラムであって、
コンピュータに、
イメージシーケンスの複数の入力イメージを比較して、前記複数の入力イメージ間のピクセルの位置の差分を示す動きベクトルを測定する処理と、
動きベクトルの信頼の度合いに従って、前記複数の入力イメージの空間分解能を変化させる処理と、を実行させるプログラム。
【請求項１２】
前記空間分解能が、比較される前記複数の入力イメージを描写するピクセル数を変更することにより変化させることを特徴とする請求項１１記載のプログラム。
【請求項１３】
第１空間画像解像度でイメージシーケンスの入力イメージ間の位置の差分を示す第１動きベクトルを測定し、
第２空間画像解像度でイメージシーケンスの入力イメージ間の位置の差分を示す第２動きベクトルを測定し、
前記第１動きベクトル中の第１エラーの大きさと前記第２動きベクトル中の第２エラーの大きさとを比較し、
比較した結果に従って、前記第１動きベクトルと前記第２動きベクトルとを切り替える動き推定方法。
【請求項１４】
前記第１の動きベクトルと前記第２の動きベクトルとが、前記入力イメージのピクセル毎またはピクセルブロック毎に切り替えられることを特徴とする請求項１３記載の動き推定方法。
【請求項１５】
動きベクトルを、前記イメージシーケンスの第１イメージ中の第１イメージ領域と、前記イメージシーケンスの第２イメージ中の第２イメージ領域とを比較することによって測定し、
前記第１イメージ領域と前記第２イメージ領域との少なくとも一方の大きさが、動きベクトルの信頼の度合いに基づいて選ばれることを特徴とする請求項１３または１４記載の動き推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理のための動き推定に関し、特に、多様な空間分解能による動き推定の技術に関する。
【背景技術】
【０００２】
動き補償は、多種多様なイメージ処理タスクに適用される。動き補償処理において、イメージシーケンス中の連続するイメージが比較され、描写された物体間の差分または後続するイメージ間のイメージの特徴が評価され、これらの物体またはイメージの特徴に適用できる動きベクトルが割り当てられる。動きベクトルは、「多数のイメージ」の中間生成物を生成することなく、シーケンス中の異なるイメージからのイメージ情報を結合することに用いることができる。一般的に、シーケンス中の後続するイメージは、ある場面での異なる時間のサンプル、例えば、映画フレームまたはインターレース方式のビデオフィールドと一致する。また一方で、動き補償は、他のイメージシーケンス、例えば、道に沿って一定の間隔を置かれた異なる視点からみたよく見られる景色にも同様に適用できる。
【０００３】
動き補償映像処理の歴史的な発展は、５０Ｈｚ以上の時間のサンプリングレート（例えば、フィールド周波数）のインターレース方式のテレビ映像の処理に集中的に投入されている。最近になって、高解像度テレビ及びデジタル映画撮影術の発達が、時間のサンプリングレートが約２４Ｈｚを対象とした動き補償の発達を導いている。これらの低いレートでの動きベクトルの大きさは、相応に大きくなり、動きベクトルを評価する動き推定の処理はより困難になっている。低い時間のサンプリングレートは後続するイメージ中で、同じ物体の位置間で大きな差分となり、優れた技術に起因するフィールドの深さの制御は、いくつかの物体の正確な位置の決定を難しくする。
【０００４】
低解像度で広範囲の動き推定処理の結果が、高解像度で狭い範囲の処理に従って改善される、動き推定の階層的な方法が提案されており、その処理自身で何度でも改善されてもよい。この理論では、これは、大きなインターイメージの位置の差分に対して正確な動きベクトルを導き出すことを可能にする。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、これらの方法では、特に階層化が多くのレベルとなる場合に、実装が複雑となる。
本発明では、動き補償処理を改良する技術を提案する。
【課題を解決するための手段】
【０００６】
本発明は、動き推定方法及び動き推定装置からなり、イメージシーケンスに含まれる複数の入力イメージ間のピクセルの位置の差分を示す動きベクトルを測定し、前記イメージシーケンスにおいて、前記動き推定の空間分解能が動きベクトルの信頼の度合い（動きベクトル信頼度）に従って選ばれる動き推定方法及び動き推定装置である。
【０００７】
好ましくは、空間分解能が、比較される前記複数の入力イメージを描写するピクセル数を変更することにより変化させる。
【０００８】
有利なものとして、動きベクトルは、第１イメージ領域と第２イメージ領域とを比較することによって測定される。第１イメージ領域は、前記イメージシーケンスからの第１イメージ中の領域であり、第２イメージ領域は、前記イメージシーケンスからの第２イメージ中の領域である。かつ、前記第１イメージ領域と前記第２イメージ領域との少なくとも一つの大きさが、動きベクトルの信頼の基準に基づいて選ばれる。
【０００９】
実施形態の一つの態様では、複数の動き推定器が異なる空間分解能で動作し、あるイメージ領域に対する出力動きベクトルがその領域の最も高い信頼度を与える推定器から選び取る。  
【００１０】
好ましい実施形態では、動きベクトルが位相相関から導き出される。あるいは、ベクトルは、ブロックマッチングから導き出される。
【発明の効果】
【００１１】
本発明によれば、動き補償処理を改良することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態１に係る動き推定システムの構成例を示すブロック図である。
【図２】本発明の実施形態２に係る動き推定システムの構成例を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において同一の構成または機能を有する構成要素および相当部分には、同一の符号を付し、その説明は省略する。
【００１４】
図１に、実施形態１の動き推定システムの構成例のブロック図を示す。本実施形態では、「トラック」の大きなインターイメージ置き換え能力と結合される、正確な動き推定を実現する。図面は、徐々にスキャンしたイメージのフレームについてピクセル値を操作するリアルタイムのストリーミング処理を前提としている。一般的に、ピクセル輝度値が動き推定に用いられる。当業者であれば、ソフトウェア処理を含む、リアルタイムでないイメージ処理にも同様に本発明を適用すること、及び、インターレース方式のイメージ形式をアナログ様式で処理することができるであろう。輝度値以外のピクセル値を用いることもできる。
【００１５】
図１に示すシステム（動き推定装置）において、ピクセル値のフレームストリーム（ピクセルの入力フレーム）が、端子１（入力部）から入力され、既知の第１動き推定器２へ送られる。第１動き推定器２は、現在のフレームの各ピクセルに対して動きベクトルを測定する。各ピクセルに対するそれぞれの動きベクトルは、前のフレームでのそのピクセルと一致する位置と、現在のフレームでのそのピクセルの位置との空間差分を示す。また、第１動き推定器２は、各動きベクトルと関連づけられる「信頼度」を測定する。それぞれの信頼度（動きベクトルの信頼の度合い（評価）、動きベクトルの信頼の大きさ）は、その動きベクトルが起こり得る正確さの基準（尺度）である。一般に、動きベクトルは、位相相関により導き出され、信頼度は、相関面対応する高さ及び／またはピークのシャープネスから算出される。あるいは、既知の動き計測方法を第１動き推定器２として用いることができる。例えば、ブロックマッチングを用いてもよく、信頼度がマッチエラーから決定されてもよい。
【００１６】
ピクセル値のフレームストリーム（端子１からの入力フレーム）は空間サブサンプラー（空間サブサンプリングブロック）３へも入力される。空間サブサンプラー３は、サンプルの行の数（例えば、テレビの水平解像度）を半分にし、かつ、サンプルの行それぞれについて、サンプル数を半分にすることによって、入力されたフレーム（端子１からの入力フレーム）それぞれを空間的にサブサンプリングする。また、空間サブサンプラー３は、サブサンプリングされた複数のピクセルを、結果として生じるフレームが、ブランクの境界で囲まれた、全イメージ領域の４分の１を埋め込んだ「縮んだ」イメージからなるように、入力フレームのフォーマットに従って、サブサンプリングされた複数のピクセルを複数のブランクピクセルで囲むことによって、再フォーマットする。一般的に、サブサンプリング処理に先だって、エリアシングを回避するために、適切なローパスフィルタによる周知の処理が実施される。
【００１７】
サブサンプリングされたイメージデータ４は、第２動き推定器５へ入力される。第２動き推定器５は、第１動き推定器２と同一または類似であり、入力されたピクセルについて、信頼度７を伴う動きベクトル６（以下適宜、「ベクトル６」ともいう）を導き出す。これらの動きベクトルは、ベクトルアップサンプラー（ベクトルアップサンプリングブロック、空間アップサンプラー）８へ入力される。ベクトルアップサンプラー８は、空間的に各フレームのベクトルフィールドを拡大し、ベクトルの大きさをアップスケールする。
【００１８】
ベクトル６の空間的なアップサンプリングは、入力データ（端子１からの入力フレーム）の空間サブサンプラー３による空間的なサブサンプリングを相殺する。従って、アップサンプリングされたベクトルフィールドは、イメージ領域全体の中心の４分の１のみならず、イメージ領域全体に渡って拡大する。このアップサンプリングは、国際公開第ＷＯ２００８／００９９８１号パンフレットに開示された「ピクチャ属性の割当て」技術を利用することができる。ダウンサンプリングされたイメージを囲むブランクピクセルに対するのベクトルどれでも、アップサンプリング処理によって、アクティブイメージ領域の外側に移動させられ、切り捨てられる。
【００１９】
ベクトルアップサンプラー８におけるベクトル６のアップスケーリングの大きさは、空間サブサンプラー３による空間ダウンサンプリングを相殺する。ベクトルの大きさは、フルイメージサイズでの位置差分距離と一致するように、二つのファクタを乗じる。
【００２０】
アップスケールリングされたベクトル９は、切り替えスイッチ（動きベクトル選択部）１０の第１端子に入力される。切り替えスイッチ１０は、動きベクトルの出力フレームを（端子１１へ）供給する。
【００２１】
入力フレーム（端子１からの入力フレーム）は、第２動き推定器５においてサイズが縮小されているため、ベクトルによって表されるインターフレーム差分もサイズが縮小され、動き推定器が、より良くこれらを測定することができる。ベクトル６がアップサンプリング及びアップスケーリングされて導出されたベクトル９は、第１動き推定器２からのベクトルに比べ、早い動作をより正確に表すであろう。その理由は、これらが、サブサンプリングされたイメージデータ（フレーム４）の短いインターフレーム距離の測定から導出されるからである。その一方で、超精密領域において、第１動き推定器２からのベクトルは、ベクトル９に比べより正確となるであろう。その理由は、これらが、フル解像度のイメージデータ（端子１からの入力フレーム）から導出されているからである。
【００２２】
サブサンプリングされ、リフォーマットされたフレーム４のピクセルに対する信頼度７のセットは、各フレームについて、信頼アップサンプラー（アップサンプラー、空間アップサンプラー）１２で空間的にアップサンプリングされ、アップサンプリングされた信頼度のセットが供給される。これらのアップサンプリングされた値は、ベクトルアップサンプラー８からの各ピクセルのベクトル９それぞれについての信頼度からなる。信頼アップサンプラー１２は、ベクトルアップサンプラー８と同様に、サブサンプリングされたフレーム４のピクセルに関するデータがフルサイズの入力フレーム（端子１からの入力フレーム）と一致するフレームにおいて、それぞれの位置に移動するように同様に動作する。従って、ベクトル９、及びそれらに関連した信頼度１３は、第１動き推定器２からのベクトル１４、及び信頼度１５に空間的に同調する。なお、ベクトルアップサンプラー８と信頼アップサンプラー１２とをまとめて、「空間アップサンプラー」ということもある。
【００２３】
信頼度比較器（比較器）１６は、各ピクセルのベクトルについて、それぞれ「スモールイメージ」の信頼度１３と、「フルサイズイメージ」の信頼度１５とを比較する。この比較結果は、スイッチコントロールシグナル１７として、切り替えスイッチ１０に、端子１１の出力として、より高い信頼を有するベクトルを選択させる。
【００２４】
図１に示すシステムは、二つの動き推定器を必要とし、この方法は、必ずしも実用的または経済的とは限らない。そこで、一つの動き推定器を用いる本発明の他の態様となる実施形態２を、図２を参照して説明する。
【００２５】
図２のシステム（動き推定装置）では、ピクセル値の入力フレーム（端子２０１からの入力フレーム）は、フレームデュプリケータ２０２へ送られる。フレームデュプリケータ２０２は、各入力フレームのコピーを生成し、全てのフレームについて二つの同じフレームを出力する。従って、フレームデュプリケータ２０２からの出力（フレーム２０３）におけるデータレートは、入力フレーム（端子２０１からの入力フレーム）の２倍となる。
【００２６】
フレーム２０３のダブルレートストリームは、切り替えスイッチ２０４及び空間サブサンプラー２０５へ入力される。空間サブサンプラー２０５は、図１のシステムの空間サブサンプラー３と同様に動作して、ブランク境界に囲まれた「縮んだ」フレームを作成する。切り替えスイッチ２０４の第２の入力は、フルサイズで、ダブルレートのフレーム２０３を受け取る。従って、切り替えスイッチ２０４の出力（フレーム２０６）は、当該スイッチの制御に基づいて、フルサイズまたは縮小されたサイズのダブルレートのフレームストリームとなる。この出力は、既知の動き推定器２０７へ送られる。動き推定器２０７は、図１のシステムの動き推定器（第１動き推定器２、第２動き推定器５）と同様の方法で、入力フレームのピクセルについて、動きベクトルのセットを生成する。
【００２７】
しかしながら、動き推定器２０７は、異なる入力フレーム（端子２０１からの入力フレーム）に対応する、入力されたフレーム２０６のペア間の動きを測定するにすぎない。それは、二重にされたフレーム間の動きを測定するものではなく、すなわち、その動きベクトル２０８（以下適宜、「ベクトル２０８」ともいう）の出力は、ピクセルレートが入力フレーム（端子２０１からの入力フレーム）と同じである。
【００２８】
また、動き推定器２０７は、動きベクトルのフレーム毎に、ベクトル信頼度を出力する。この信頼度の出力（フレーム平均信頼度２０９）は、現在のフレームの全てのベクトルの平均信頼度である。
【００２９】
動きベクトル２０８のフレームは、空間アップサンプラー２１０及び切り替えスイッチ（動きベクトル選択部）２１１へ入力される。これら二つの要素は、動き推定器２０７がサブサンプルされたフレームを比較したか、または、変更されてない入力フレームを比較したかにかかわらず、切り替えスイッチ２１１の出力（端子２１２への出力）が常にピクセルの動きベクトルのフルサイズのセットからなるように、空間サブサンプラー２０５及びスイッチ２０４と逆の方法で動作する。言い換えると、動き推定器２０７がサブサンプルされたフレームを比較したときには、切り替えスイッチ２１１が、空間アップサンプラー２１０からの出力を選択し、動き推定器２０７が変更されてない入力フレームを比較したときには、切り替えスイッチ２１１が、動き推定器２０７からの出力を選択するように動作する。
【００３０】
動き推定器２０７からのフレーム平均信頼度２０９は、信頼度比較器（比較器）２１３へ入力される。信頼度比較器２１３は、フレーム平均信頼度２０９を、第３の切り替えスイッチ２１４によって選択された二つの閾値うちの一つと比較する。信頼度比較器２１３からの出力は、スケールコントローラ（スケールコントロールブロック）２１５を制御する。スケールコントローラ２１５は、三つの切り替えスイッチを制御する。現在のフレームのベクトル２０８に対するフレーム平均信頼度２０９が切り替えスイッチ２１４によって選択した閾値より低い場合、比較器の出力は、スケールコントローラ２１５に切り替えスイッチ２０４の設定を、動き推定器２０７への次の二重フレームの入力の直前に変更させる。これは、動きベクトルの次のセットの導出に用いるフレームのスケールを変更することになる。
【００３１】
切り替えスイッチ２１１、２１４の設定は、遅延制御部（遅延制御ブロック）２１６によって供給される遅延の後に、変更される。この遅延は、これら二つのスイッチが、新しく変更されたスケールで、ベクトル及び信頼度を動き推定器２０７から出力する直前に状態を変更することを確実にする。
【００３２】
一方、現在の出力フレームのベクトルのフレーム平均信頼度が切り替えスイッチ２１４０によって選択された閾値より高い場合、現在のスイッチの設定が維持される。入力フレーム（端子２０１からの入力フレーム）の各ペア間の動き推定のスケールは、過去のインターフレームの動き測定のベクトルに対するフレーム平均信頼度に基づいて選択される。一般には、これは、先行する入力インターフレーム差分に対する測定である。
【００３３】
切り替えスイッチ２１４によって選択される二つの閾値は、早い動作、及び／または、きめ細かいものではないフレームがサブサンプリングされたイメージデータで測定される（サブサンプルの信頼度閾値を用いる）ように、かつ、遅い動作、及び／または、よりきめ細かいフレームがフル解像度イメージデータで測定される（フル解像度の信頼度閾値を用いる）ように、選ばれる。
【００３４】
上述した本発明の二つの実施形態では、測定されるイメージの表現に用いるピクセル数を変更することによって、ベクトルフィールドの測定の空間分解能が変更される（測定されたベクトルの正確さが改良されるように）。ほとんどの動き推定器は、フレームシーケンスの隣接するフレーム中のピクセルの連続する「ブロック」を比較することによってベクトルを導き出す。位相相関では、一つのイメージからのピクセルのブロックにおける空間周波数成分の位相は、別のイメージからのピクセルの共通に設置されるブロックにおける空間周波数成分の位相と比較される。ブロックマッチングでは、一つのイメージからのピクセルのブロックは、別のイメージ中の様々な配置で完全に同じように構成されるピクセルのブロックと比較され、最も一致する配置が動きベクトルの測定に用いられる。
【００３５】
これらのブロックをベースとする方法では、動き測定の空間分解能は、比較されるピクセルのブロックのサイズを変更することによって多様にすることができる。例えば、図１のシステムにおいて、空間サブサンプラー３、信頼アップサンプラー１２、及び、ベクトルアップサンプラー８を除くことが可能であり、二つの動き推定器２，５が、異なるサイズのブロックを使用するように設計される。切り替えスイッチ１０は、各ピクセルに対して、最も高い信頼度でのベクトルを生成する推定器から動きベクトルを選択することになる。
同様に、図２のシステムでは、空間サブサンプラー２０５、それに関連する切り替えスイッチ２０４、空間アップサンプラー２１０、及びそれに関連する切り替えスイッチ２１１を除くことが可能であり、動き推定器２０７が、スケールコントローラ２１５によって決定されたブロックサイズで動作するように設計される。各インターイメージ比較におけるブロックサイズの選択は、前回のインターフレーム測定における、測定されたベクトルの平均信頼度によって決まることになるであろう。
【００３６】
また、図２のシステムは、測定された動きベクトルが異なるサイズのブロック間の測定からなるように補正することができる場合、フレームの複製（重複）が必要でないように変更することができる。大きなブロックがより小さなブロックと比較される場合に、動きベクトルの結果は、ブロックサイズと関連しているイメージサイズの変更のため、「ズーム」成分を有することになる。この差分は、空間サブサンプラー２０５の特徴として知られているので、ベクトルは、ベクトルの既知のズーム成分を差し引くことによって補正可能である。このようなシステムでは、空間アップサンプラー２１０は、異なるサイズのブロック間で測定されたベクトルから関係するズーム成分を差し引く、ベクトル補正ブロックによって置きかえられてもよい。
【００３７】
これまで説明した実施形態では、出力ベクトルを供給する動き推定器からのベクトル信頼度は、動き測定の空間分解能の決定に利用されている。また、測定されたベクトルを用いないで、制御目的のための信頼度を決定する、適切に簡略化された、動き推定器を用いることも可能である。異なる空間分解能での信頼測定間にいくつかの相関関係があることがわかっている。確かに、この原理は、一つの解像度で測定された信頼度が、別の解像度レベルがより正確なベクトルになるであろうことを「予測する」、図２のシステムで用いられている。制御目的で信頼度を導出する、簡略化された動き推定器は、出力ベクトルを測定する動き推定器より低い解像度を使用することができ、一次元の動き推定器にとすることができる。
【００３８】
また、入力イメージの他の測定された特性、例えば、サブサンプリングされたピクセルやピクセルのグループを含むピクセル間の空間または時間の差分から算出される空間または時間の「アクティビティ」量に応じて動き推定処理の空間分解能を制御することも可能である。
【００３９】
本発明の方法は、２つ以外の割合が異なる動き測定空間分解能を用いてもよい。解像度は、水平及び垂直方向に異なるように変化してもよい。２つ以上の空間分解能のオプションを用いてもよい。  
これまで、現在と先行するフレームとの間の動き測定について記載した。結果ベクトルは、現在のフレームに対して後方のベクトルである。当業者であれば、先行するフレームに対して、前方のベクトルであり、多くの映像処理がピクセルについて前方及び後方のベクトル両方を使用することを評価するであろう。
また、いくつかの動き推定器は、各インターフレームの比較について、ピクセルに対して一つ以上のベクトルを出力してもよい。これらの追加のベクトルについて信頼度が利用できる場合、動き測定について、これらは適切な空間分解能を選んでもよい。  
【００４０】
さらに、本発明の動き推定方法の一態様は、次のステップからなる方法であってもよい。第１空間画像解像度（第１の空間分解能）でイメージシーケンスの入力イメージ間の位置の差分を示す第１動きベクトルを測定するステップ。第２空間画像解像度（第２の空間分解能）でイメージシーケンスの入力イメージ間の位置の差分を示す第２動きベクトルを測定するステップ。第１動きベクトル中の第１エラーの大きさと第２動きベクトル中の第２エラーの大きさとを比較するステップ。比較した結果に従って、第１動きベクトルと第２動きベクトルとを切り替えるステップ。第１エラーの大きさまたは第２エラーの大きさは、例えば、ブロックマッチエラーを用いることが可能であり、ベクトルの信頼度にかわる、ベクトルの信頼を評価する基準であれば他のものであってもよい。
また、上記第１動きベクトルと第２動きベクトルとを切り替えるステップでは、第１の動きベクトルと第２の動きベクトルとが、入力イメージのピクセル毎またはピクセルブロック毎に切り替えられてもよい。
【００４１】
また、上述した動き推定方法または動き推定装置が実現する動き推定処理は、コンピュータに各手段を実行させるプログラムによって実現することができる。プログラムは、コンピュータ内のメモリにロードされ、ＣＰＵ（Central Processing Unit）の制御のもとで実行される。
プログラムは、少なくとも次の処理をコンピュータに実行させる。（１）イメージシーケンスの複数の入力イメージを比較して、前記複数の入力イメージ間のピクセルの位置の差分を示す動きベクトルを測定する処理、（２）動きベクトルの信頼の度合いに従って、前記複数の入力イメージの空間分解能を変化させる処理。
加えて、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００４２】
なお、本発明は上記に示す実施形態に限定されるものではない。本発明の範囲において、上記実施形態の各要素を、当業者であれば容易に考えうる内容に変更、追加、変換することが可能である。
【符号の説明】
【００４３】
１、２０１、  端子（入力部）
２  第１動き推定器
３  空間サブサンプラー
５  第２動き推定器
８  ベクトルアップサンプラー
１０、２０４、２１１、２１４  切り替えスイッチ
１１、２１２  端子（出力部）
１２  信頼アップサンプラー
１６  比較器
２０２  フレームデュプリケータ
２０５  空間サブサンプラー
２０７  動き推定器
２１０  空間アップサンプラー
２１３  比較器
２１５  スケールコントローラ
２１６  遅延
【図１】
2011239384.tif 000003
【図２】
2011239384.tif 000004