(57)【要約】【課題】本発明は、動き推定ベクトルにおける誤差に対する感度が高くない動き補償ビデオ補間を提案している。【解決手段】本発明は、対象画素の推定動きベクトルの振幅及び／又は信頼度係数に応じて補間工程自体が変わる動き補償ビデオ補間方法を提案している。補間について考慮に入れる対象の画素の数、及び前述の画素に関連した重み付け係数を、推定動きベクトルの振幅及び／又は信頼度係数に応じて変える。【選択図】図1
2008099281.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも２つのソース画像からの動き補償画像の少なくとも１つの画素を補間する方法であって、
補間対象の前記画像の前記画素について、動きベクトルを前記ソース画像から推定する工程（１００、３００、５００）と、
前記ベクトルの前記推定を表す少なくとも１つの情報を判定する工程（１１０、３１０、５１０）と、
前記ベクトルの前記推定を表す前記情報に応じて、補間対象の前記画像の前記画素の補間パターンを選択する工程（１２０、３２０、５２０）であって、前記補間パターンは、前記ソース画像のうちの少なくとも１つにおける画素を識別し、前記識別された画素それぞれに重み付け係数（αi）を関連付ける工程と、
前記選択された補間パターンの画素及び係数から前記画像の前記画素を補間する工程（１３０、３３０、５３０）とを備える方法。
【請求項２】
請求項１記載の方法であって、前記ベクトルの前記推定を表す前記情報は、前記推定ベクトルの振幅（A）である方法。
【請求項３】
請求項２記載の方法であって、前記補間対象の画像の前記画素の前記推定動きベクトルの前記振幅が、第１の非ゼロ閾値（SA1）以下の場合、前記補間パターンは、補間対象の前記画素の空間位置に最も近いソース画像のうちの１つのn個の画素を備え、nは２以上であり、前記ソース画像の画素それぞれに割り当てられる重み付け係数は、補間対象の前記画素との近さに依存する方法。
【請求項４】
請求項２記載の方法であって、前記補間対象の画像の前記画素の前記推定動きベクトルが、第１の非ゼロ閾値（SA1）以下の場合、前記補間パターンは、補間対象の前記画素の空間位置に最も近いソース画像それぞれのn個の画素を備え、nは２以上であり、前記ソース画像の画素それぞれに割り当てられる重み付け係数は、補間対象の前記画素とのそれらの近さ、及び、ソース画像に対する、前記補間対象の前記画像の時間位置に依存する方法。
【請求項５】
請求項３又は４に記載の方法であって、補間対象の前記画像の画素の前記推定動きベクトルが前記第１の閾値（SA1）よりも大きい場合、前記補間パターンは、補間対象の前記画素の前記空間位置に最も近い前記ソース画像のうちの１つのn個の画素を備え、nは２以上であり、前記ソース画像の画素に割り当てられる前記重み付け係数が等しい方法。
【請求項６】
請求項３又は４に記載の方法であって、補間対象の画像の画素の前記推定動きベクトルが、前記第１の閾値（SA1）よりも大きい場合、前記補間パターンは、前記ソース画像それぞれにおける補間対象の前記画素の前記空間位置に最も近いn個の画素を備え、nは２以上であり、前記ソース画像の画素それぞれに割り当てられる前記重み付け係数は、補間対象の前記画素とのそれらの近さ、及び、ソース画像に対する、前記補間対象の前記画像の時間位置に依存する方法。
【請求項７】
請求項3乃至６の何れか一項に記載の方法であって、n個の画素は、前記推定ベクトルの振幅に伴って増加する方法。
【請求項８】
請求項１記載の方法であって、前記ベクトルの前記推定を表す前記情報は、前記ベクトルの前記推定に関する信頼度係数（C）である方法。
【請求項９】
請求項８記載の方法であって、前記補間対象の前記画像の前記画素の前記動きベクトルの信頼度係数が、第１の信頼度閾値（SC2）より大きい場合、前記補間パターンは、補間対象の前記画素の空間位置に最も近いソース画像のうちの１つのn個の画素を備え、nは２以上であり、前記ソース画像の画素それぞれに割り当てられる重み付け係数は、補間対象の前記画素とのそれらの近さに依存する方法。
【請求項１０】
請求項８記載の方法であって、前記補間対象の前記画像の前記画素の前記動きベクトルの信頼度係数が、第１の信頼度閾値（SC2）より大きい場合、前記補間パターンは、補間対象の前記画素の空間位置に最も近いソース画像それぞれのn個の画素を備え、nは２以上であり、前記ソース画像の画素それぞれに割り当てられる重み付け係数は、補間対象の前記画素とのそれらの近さ、及び、前記ソース画像に対する、補間対象の前記画像の時間位置に依存する方法。
【請求項１１】
請求項９又は１０に記載の方法であって、前記補間対象の前記画像の前記画素の前記動きベクトルの前記信頼度係数が、前記第１の信頼度閾値（SC2）以下の場合、前記補間パターンは、補間対象の前記画素の空間位置に最も近いソース画像の１つのn個の画素を備え、nは２以上であり、前記ソース画像の画素に割り当てられる前記重み付け係数は等しい方法。
【請求項１２】
請求項9又は10に記載の方法であって、前記補間対象のの前記画像の前記画素の前記動きベクトルの前記信頼度係数が、前記第１の信頼度閾値（SC2）以下の場合、前記補間パターンは、補間対象の前記画素の空間位置に最も近いn個の画素を備え、nは２以上であり、前記ソース画像の画素それぞれに割り当てられる前記重み付け係数は、補間対象の前記画素とのそれらの近さ、及び、ソース画像に対する、補間対象の前記画像の時間位置に依存する方法。
【請求項１３】
請求項9乃至12の何れか一項に記載の方法であって、n個の画素は、前記推定ベクトルの信頼度係数の値に伴って減少する方法。
【請求項１４】
請求項８乃至１３の何れか一項に記載の方法であって、補間対象の画素の動きベクトルの前記推定に関する前記信頼度係数は、前記画素を含むmxm画素ウィンドウにおける前記動きベクトルの分散に依存する方法。
【請求項１５】
請求項１記載の方法であって、前記ベクトルの前記推定を表す前記少なくとも１つの情報は、前記推定ベクトルの振幅、及び前記ベクトルの前記推定に関する信頼度係数である方法。
【請求項１６】
少なくとも２つのソース画像からの動き補償画像の少なくとも1つの画素の補間装置であって、
前記ソース画像を記憶するメモリ（２００、４００、６００）と、  
補間対象の前記画像の前記画素について、動きベクトルを前記ソース画像から推定する動き推定器（２１０、４１０、６１０）と、
前記ベクトルの前記推定を表す少なくとも１つの情報を判定する判定回路（２２０、４２０、６２０）と、  
前記ベクトルの前記推定を表す前記情報に応じて、前記補間対象の画像の前記画素の補間パターンを選択する補間回路（２３０、４３０、６３０）とを備え、前記補間パターンは、前記ソース画像の少なくとも１つにおいて画素を識別し、前記識別された画素それぞれに重み付け係数（αi）を関連付け、前記選択された補間パターンの画素及び係数から画素を補間する補間装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像又はビデオの処理の分野に関し、特に、動き補償を伴う画像補間の分野に関する。
【背景技術】
【０００２】
いくつかのビデオ処理動作（例えば、ビデオ補間の場合、又は、例えばビデオ圧縮の場合にデータ容量を削減する場合）は、処理の品質を向上させるために動き補償を必要とする。本発明は特に、動き補償を伴う補間（動き補償ビデオ補間とも呼ばれる）に関する。
【０００３】
動き補償ビデオ補間は一般に、動き推定工程、及びそれに続く補間工程を有する。
【０００４】
動き推定は、補間対象の画像の点毎に動きベクトルを規定する工程を含む。前述の画像は、時間上、２つのソース画像間に配置される。通常、動き推定工程は、２つの工程（すなわち、予測工程及び補正工程）で行われる。予測工程は、補間対象の画像の画素毎に、近傍画素について既に算出されている動きベクトルから、かつ、先行ソース画像について算出された動きベクトルの予測から動きベクトルを規定する工程、及び対象画素を含める工程を含む。既に算出されている動きベクトルは、例えば、先行画素行のn個の近傍画素の動きベクトルである。その場合、予測は、最小のDFD（変位フレーム差）値を生成する動きベクトルを、予め算出されたn+1個の動きベクトルから選択する工程を含む。後の補正工程は、選択された動きベクトルを、対象画素のDFDを更に削減する（可能な場合）ためにその軸を中心に回転させる工程を含む。
【０００５】
先行ソース画像Iprevと現行ソース画像Icurrとの間で補間する対象の画像Iintの場合、先行して規定された動きベクトルは、ソース画像それぞれの画像点を指し示す。この画像点は、４つの画素間にある画素又は点である。「単一フレーム」として知られている補間の場合、双線形補間は、推定動きベクトルによってソース画像（一般に、現在のソース画像）のうちの1つにおいて指し示される4つの画素の値の双線形関数fである値を画像Iintの対象Pに割り当てる工程を含む。例えば、現在のソース画像における動きベクトルによって指し示される画像点の近くの4つの画素の値をV1、V2、V3及びV4が示し、α1、α2、α3及びα4が、画像点に上記画素の近傍を表す重み付け係数である場合、画像Iintの画素に割り当てられる値は、
【０００６】
【数１】
2008099281.tif 000003
である。４つの画素のうちの特定の画素を動きベクトルが指し示す場合、他の３つの画素に割り当てられる重み付け係数はゼロであり、対象画素に割り当てられる値は、この特定の画素の値である。「ダブル・フレーム」として知られている補間の場合、双線形補間は同様に、しかし、８つの画素（すなわち、先行ソース画像の４つの画素、及び現行ソース画像の４つの画素）によって行われる。
【０００７】
動き推定が誤差なしであることは決してないとすれば、移動におけるこのタイプの補償補間には、連続した２つのソース画像間で消滅又は出現する、画像領域において目に見える粗が含まれている。その場合、画素間のマッチングが可能でないからである。
【特許文献１】米国特許出願公開第2004/252230号明細書
【特許文献２】米国特許出願公開第2004/076333号明細書
【特許文献３】米国特許出願公開第2002/171759号明細書
【非特許文献１】Ozkan  M.K.ら、  「Motion-adaptive  weighted  averaging  for  temporal  filtering  of  noisy  image  sequences」、Proceedings  of  the  SPIE  −  The  International  Society  for  Optical  Engineering  USA、  vol.  1657、  1992、  pp.  201-212
【非特許文献２】Boyce  J.M.  Ed、-  Institute  of  Electrical  and  Electronics  Engineers、「Noise  reduction  of  image  sequences  using  adaptive  motion  compressed  frame  averaging」、  Digital  Signal  Processing  2,  Estimation、VLSI、  San  Francisco、Mar.  23、Vol.  VOL  5  CONF.  17、  23  mars  1992  (1992-03-23),  pp.  461-464
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、特に、オブジェクトの出現領域又は消滅領域について、前述したものよりも重大でない新たな動き補償ビデオ補間を提案している。
【課題を解決するための手段】
【０００９】
本発明は、推定された動きベクトルの振幅及び／又は信頼度係数に応じて補間工程自体が変動する動き補償ビデオ補間方法を提案している。補間について考慮に入れる対象の画素の数、及び前述の画素に関連した重み付け係数を、推定動きベクトルの振幅及び／又は信頼度係数に応じて変動させる。
【００１０】
本発明はよって、少なくとも２つのソース画像の画素から、動き補償画像の少なくとも一画素を補間する方法に関する。この方法は、
補間対象の画像の画素について、動きベクトルをソース画像から推定する工程と、
上記ベクトルの推定を表す情報を判定する工程と、
上記ベクトルの推定を表す上記情報に応じて、補間対象の画像の画素の補間パターンを選択する工程であって、補間パターンは、ソース画像のうちの少なくとも１つにおける画素を識別し、識別された画素それぞれに重み付け係数を関連付ける工程と、
選択された補間パターンの画素及び係数から画像の画素を補間する工程とを備える。
【００１１】
ベクトルの推定を表す情報は、推定ベクトルの振幅、若しくは、ベクトルの推定に関する信頼度係数、又は、前述の両方であり得る。
【００１２】
特定の実施例によれば、推定動きベクトルの振幅のみが、補間パターンの選択のために考慮に入れられる。この場合、いくつかの補間レベルを考慮することが可能である。
【００１３】
補間対象の画像の画素の推定動きベクトルの振幅が、第１の非ゼロ閾値以下の場合、補間パターンは、補間対象の画素の空間位置に最も近いソース画像のうちの１つのn個の画素を備える。Nは２以上であり、ソース画像画素それぞれに割り当てられる重み付け係数は、補間対象の画素との近さに依存する。この場合、これには単一フレーム補間が関係する。ダブル・フレーム補間の場合、補間パターンは、補間対象の画素の空間位置に最も近いソース画像それぞれのn個の画素を備え、nは2以上であり、ソース画像画素それぞれに割り当てられた重み付け係数は、補間対象の画素とのそれらの近さ、及び、ソース画像に対する、補間対象の画像の時間位置に依存する。
【００１４】
補間対象の画像の画素の推定動きベクトルの振幅が第１の閾値よりも大きい場合、補間パターンは、単一フレーム補間の場合、補間対象の画素の空間位置に最も近いソース画像のうちの１つのn個の画素を含む。nは２以上であり、ソース画像画素に割り当てられる重み付け係数は全て等しい。ダブル・フレーム補間の場合、補間パターンは、ソース画像それぞれにおける、補間対象の画素の空間位置に最も近いn個の画素を備え、nは2以上であり、ソース画像画素それぞれに割り当てられた重み付け係数は、補間対象の画素とのそれらの近さ、及び、ソース画像に対する、補間対象の画像の時間位置に依存する。画素の数nは、推定ベクトルの振幅の増加に伴って適切に増加する。
【００１５】
別の特定の実施例によれば、推定動きベクトルに関する信頼度係数のみが、補間パターンの選択のために考慮に入れられる。この信頼度係数は例えば、補間対象の画素を含むm×m個の画素ウィンドウにおける動きベクトルの分散に依存する。この場合、いくつかの補間レベルを考慮することも可能である。
【００１６】
補間対象の画像の画素の動きベクトルの信頼度係数が、第１の信頼度閾値よりも大きい場合、補間パターンは、単一フレーム補間の場合、補間対象の画素の空間位置に最も近いソース画像のうちの１つのn個の画素を備える。nは２以上であり、ソース画像画素それぞれに割り当てられる重み付け係数は、補間対象の画素との近さに依存する。ダブル・フレーム補間の場合、補間パターンは、補間対象の画素の空間位置に最も近いソース画像それぞれのn個の画素を備え、nは2以上であり、ソース画像画素それぞれに割り当てられる重み付け係数は、補間対象の画素へのそれらの近さ、及び、ソース画像に対する、補間対象の画像の時間位置に依存する。
【００１７】
補間対象の画像の画素の動きベクトルの信頼度係数が第１の信頼度閾値以下の場合、補間パターンは、単一フレーム補間の場合、補間対象の画素の空間位置に最も近いソース画像のうちの１つのn個の画素を含む。nは２以上であり、ソース画像画素に割り当てられる重み付け係数は等しい。ダブル・フレーム補間の場合、補間パターンは、ソース画像それぞれにおける、補間対象の画素の空間位置に最も近いn個の画素を備え、nは2以上であり、ソース画像画素それぞれに割り当てられる重み付け係数は、補間対象の画素とのそれらの近さ、及び、ソース画像に対する、補間対象の画像の時間位置に依存する。画素の数nは効果的には、推定ベクトルの信頼度係数の値の減少とともに減少する。
【００１８】
別の特定の実施例によれば、上記ベクトルの振幅、及び上記ベクトルに関する信頼度係数が、補間パターンの選択のために考慮に入れられる。
【００１９】
最後に、本発明は、少なくとも２つのソース画像からの動き補償画像の少なくとも１つ画素の補間装置にも関する。この装置は、
ソース画像を記憶するメモリと、
補間対象の画像の画素について、動きベクトルをソース画像から推定する動き推定器と、
上記ベクトルの推定を表す情報を判定する判定回路と、
上記ベクトルの推定を表す上記情報に応じて、補間対象の画像の画素の補間パターンを選択する補間回路とを備える。補間パターンは、ソース画像の少なくとも１つにおいて画素を識別し、識別された画素それぞれに重み付け係数を関連付け、選択された補間パターンの画素及び係数から画素を補間する。
【発明を実施するための最良の形態】
【００２０】
本発明は、情報の目的でのみ記載しており、添付図面を参照する以下の説明を読むことによって、より深く理解されよう。
【実施例】
【００２１】
前述の通り、本発明の原理は、対象画素の推定動きベクトルの振幅及び／又は推定動きベクトルに関連した信頼度係数に応じて、補間パターン（すなわち、補間及び／又は関連した重み付け係数が基づく画素の数）を変えるものである。
【００２２】
以下、３つの実施例（すなわち、推定動きベクトルの振幅にのみ基づいた第１の実施例、推定動きベクトルの信頼度係数にのみ基づいた第２の実施例、及び前述の実施例を組み合わせた第３の実施例）を説明する。
【００２３】
図１は、本発明の方法の第１の実施例の工程を表すフロー図である。これは、
補間対象の画像の画素毎に動きベクトル（Vx,Vy）を推定する動き推定工程１００と、
推定動きベクトルの振幅A（
【００２４】
【数２】
2008099281.tif 000004
）を求める工程１１０と、  
補間対象の画像の画素毎の、前述の画素の推定動きベクトルの振幅に応じた補間パターン選択工程１２０と、
前述の画像の画素毎に、前述の画素について選択された補間パターンを用いることによって補間画像を生成する補間工程１３０とを備える。
【００２５】
図２は特に、補間工程１３０を示し、各種補間（双線形補間、平均による補間）、及び推定動きベクトルの振幅に応じて施す対象の種々のパターンを示す。動きベクトルの方向（正の動きベクトル又は負の動きベクトル）は、補間の選択には関係しない。この実施例では、複数の近傍画像に基づいた双線形補間又は平均補間を用いる。前述のタイプの補間毎に、推定動きベクトルの振幅が大きいほど、補間パターンの画素の数の増加は大きくなる。
【００２６】
動きベクトルの振幅が第１の閾値ＳＡ１以下の場合、動きは低いとみなされる。閾値ＳＡ１は、例えば、2画素（フレーム毎）で固定される。補間はその場合、例えば、４つの画素に基づいた双線形補間である。前述の４つの画素は、ソース画像における対象の画素の近傍画素である。近傍画素は、補間対象の画像の対象画素の座標に空間座標が近いソース画像画素を意味するものとする。単一フレーム補間の場合、１つのソース画像のうちの４つの近傍画素のみが使用される。このケースは図３によって示す。４つの近傍画素はＰ１、Ｐ２、Ｐ３及びＰ４と表す。前述の４つの画素に関連したビデオ値はＶ１、Ｖ２、Ｖ３及びＶ４によって表し、関連した重み付け係数はα１、α２、α３及びα４と表す。係数αiの値は、関連画素Piと、補間対象の画素とを隔てる距離の関数である。図３の例では、画素P1は、補間対象の画素に最も近く、その係数α１はよって、最高である。画素P4は、補間対象の画素から最も遠く、その係数α４はよって、最低である。画素に割り当てられる値はよって、
【００２７】
【数３】
2008099281.tif 000005
に等しい。非常に明らかに、かつ、前述の通り、動きベクトルが、４つの画素のうちの特定の画素を指し示す場合、他の３つの画素に割り当てられる重み付け係数はゼロである。ダブル・フレーム補間の場合、双線形補間が、先行ソース画像の４つの近傍画素、及び現行ソース画像の４つの画素に対して行われる。V1、V2、V3及びV4が、現行ソース画像の４つの近傍画素の値を表し、α１、α２、α３及びα４が、関連した重み付け係数を表し、V’1、V’2、V’3及びV’4が、先行画像ソース画像の４つの近傍画素の値を表し、α’１、α’２、α’３及びα’４が、関連した重み付け係数を表す場合、補間対象の画素に割り当てられる値は、
【００２８】
【数４】
2008099281.tif 000006
に等しい。この公式では、βは、ソース画像に対する、補間対象の画像の時間位置に依存する係数である。補間対象の画像が、時間上、ソース画像間の中間点にある場合、β=1/2である。補間対象の画像が、先行ソース画像よりも現行ソース画像に近い場合、βは1/2よりも大きい。
【００２９】
特定画素の推定動きベクトルの振幅がゼロの場合、動きベクトルは、先行ソース画像及び現行ソース画像の一方及び他方において同じ空間座標を有する画素を指し示す。双線形補間は、対応する画素（すなわち、同じ空間座標を有する）の値を、先行ソース画像又は現行ソース画像の１つから再複製することに等しい。先行ソース画像及び現行ソース画像が、インタリーブされたビデオ系列のデインタリーブによって得られるプログレシブ画像である場合、（ゼロの動きベクトルによって関係付けられるので）等しいはずである画素の値が等しくないことが考えられる。この場合、動きベクトルによって指し示される画素の値の一方又は他方をなお再複製するか、又は、場合によっては平均を算出することが可能である。
【００３０】
動きベクトルの振幅が閾値SA1よりも大きく、SA１よりも大きな第２の閾値SA2以下の場合、動きは平均であるものとする。閾値ＳＡ２は、例えば、6画素（フレーム毎）で固定される。補間はその場合、ソース画像における対象の画素の４つの近傍画素P1、P2、P3及びP4に基づいた平均化工程である。このケースは図４によって示す。４つの近傍画素の重み付け係数は等しい（α１=α２=α３=α４=α）。単一フレーム補間の場合、補間対象の画素に割り当てられる値は、
【００３１】
【数５】
2008099281.tif 000007
に等しい。（α’１=α’２=α’３=α’４=α’）であるダブル・フレーム補間の場合、補間対象の画素に割り当てられる値は、
【００３２】
【数６】
2008099281.tif 000008
に等しい。
【００３３】
最後に、動きベクトルの振幅が閾値SA2よりも大きい場合、移動は大きいものとする。補間はその場合、８つの近傍画素に基づいた平均化工程（例えば、図５に示す工程）である。８つの近傍画素の重み付け係数は等しい（=α）。単一フレーム補間の場合、補間対象の画素に割り当てられる値は、
【００３４】
【数７】
2008099281.tif 000009
に等しい。ダブル・フレーム補間の場合、補間対象の画素に割り当てられる値は、
【００３５】
【数８】
2008099281.tif 000010
に等しい。
【００３６】
図６は、前述の処理を実現することができる装置を表す。この装置は、ソース画像（すなわち、現行ソース画像及び先行ソース画像）をそれぞれが記憶することができる少なくとも２つの画像メモリ２００と、装置の入力における現行ソース画像、及び画像メモリ２００の１つに記憶された先行ソース画像から補間対象の画像の画素毎に動きベクトル（Vx,Vy）を求める動き推定器２１０と、推定器２１０からの推定動きベクトルの振幅Aを求める回路２２０と、画像メモリ２００に記憶された現行ソース画像及び先行ソース画像、並びに、回路２２０によって求められた振幅Aから補間画像を生成する補間器２３０とを備える。補間器２３０は、閾値SA1及びSA2、並びにゼロ値におけるこの画素の推定動きベクトルの振幅Aを補間対象画素毎に比較し、その後、適切な補間パターンを施す。
【００３７】
図7は、本発明の第２の実施例の工程を表すフロー図である。これは、
補間対象の画像の画素毎に動きベクトル（Vx,Vy）を推定する動き推定工程３００と、
推定動きベクトルの信頼度係数Cを求める工程３１０と、
推定動きベクトルの信頼度係数に応じた、補間対象の画像の画素毎の補間パターン選択工程３２０と、
前述の画像の画素毎に、前述の画素について選択された補間パターンを用いることによって補間画像を生成する補間工程３３０とを備える。
【００３８】
この実施例では、この信頼度係数が低いほど、補間パターンによって用いられる画素の数は高くなる。実際に、補間画像は、推定動きベクトルの値における信頼度が低い場合、よりぼやけさせることが可能である。この信頼度係数は例えば、対象画素を含む画像領域における動きベクトルの値の分散を解析することによって求められる。この領域における動きベクトルの値が分散しているほど、対象画素に関連した信頼度係数は低くなる。信頼度係数Cは例えば、対象画素を含む5×5個の画素ウィンドウにおける動きベクトルの分散に反比例する。
【００３９】
【数９】
2008099281.tif 000011
等式の第２項は、0と1との間に収めるために標準化されている。座標画素(3,3)は現行画素を表す。Vxi,j及びVyi,jはそれぞれ、画素(i,j)の動きベクトルの水平成分及び垂直成分を表す。Vxmax及びVymaxは、動きベクトルの最大水平成分及び最大垂直成分を表す。前述の成分それぞれの8ビット符号化の場合、Vxmax=Vymax=255である。
【００４０】
図８は、補間工程３３０をより具体的に示し、推定動きベクトルに関連した信頼度係数の値に応じて施す対象の補間の例を示す。
【００４１】
信頼度係数の値が第１の閾値SC1以下の場合、信頼度係数は低いとみなされる。補間はその場合、例えば、8個の画素に基づいた平均化補間である。前述の8個の画素は、ソース画像における対象の画素の近傍画素である。単一フレーム補間の場合、１つのソース画像のうちの8個の近傍画素のみが使用される。図２乃至図５に対する第１の実施例について規定した表記を再使用した場合、補間対象の画素に割り当てられる値は、
【００４２】
【数１０】
2008099281.tif 000012
に等しい。ダブル・フレーム補間の場合、補間が、先行ソース画像の8つの近傍画素、及び現行ソース画像の8つの画素に対して行われる。補間対象の画素に割り当てられる値はその場合、
【００４３】
【数１１】
2008099281.tif 000013
に等しい。
【００４４】
信頼度係数の値が閾値SC1よりも大きく、SC１よりも大きな第２の閾値SC2以下の場合、信頼度係数は中位とみなされる。補間はその場合、例えば、4つの画素に基づいた平均化補間である。前述の4つの画素は、ソース画像における対象の画素の近傍画素である。単一フレーム補間の場合、１つのソース画像のうちの４つの近傍画素のみが使用される。図２乃至図５に対する第１の実施例について規定した表記を再使用した場合、補間対象の画素に割り当てられる値は、
【００４５】
【数１２】
2008099281.tif 000014
に等しい。ダブル・フレーム補間の場合、補間が、先行ソース画像の4つの近傍画素、及び現行ソース画像の4つの画素に対して行われる。補間対象の画素に割り当てられる値はその場合、
【００４６】
【数１３】
2008099281.tif 000015
に等しい。
【００４７】
最後に、信頼度係数の値が閾値SC2よりも大きい場合、信頼度係数は強いとみなされる。補間はその場合、例えば、4つの画素に基づいた双線形補間である。前述の4つの画素は、ソース画像における対象の画素の近傍画素である。単一フレーム補間の場合、１つのソース画像のうちの４つの近傍画素のみが使用される。図２乃至図５に対する第１の実施例について規定した表記を再使用した場合、補間対象の画素に割り当てられる値は、
【００４８】
【数１４】
2008099281.tif 000016
に等しい。ダブル・フレーム補間の場合、双線形補間が、先行ソース画像の４つの近傍画素、及び現行ソース画像の４つの画素に対して行われる。画素に割り当てられる値はその場合、
【００４９】
【数１５】
2008099281.tif 000017
に等しい。
【００５０】
図9は、前述の方法を実現することができる装置を表す。この装置は、ソース画像（すなわち、現行ソース画像及び先行ソース画像）をそれぞれが記憶することができる少なくとも２つの画像メモリ400と、装置の入力における現行ソース画像、及び画像メモリ400の１つにおける先行ソース画像から補間対象の画像の画素毎に動きベクトルを求める動き推定器410と、推定器410からの推定動きベクトル毎の信頼度係数Cを求める回路420と、画像メモリ400に記憶された現行ソース画像及び先行ソース画像、並びに、回路420によって求められた信頼度係数Cから補間画像を生成する補間器430とを備える。補間器430は、閾値SC1及びSC2におけるこの画素の推定動きベクトルの信頼度係数Cを補間対象画素毎に比較し、その後、適切な補間パターンを施す。
【００５１】
図１０は、推定動きベクトルの振幅A及び信頼度係数Cに応じて補間パターンが選択される、本発明の方法の実施例の工程を示すフロー図である。これは、
補間対象の画像の画素毎に動きベクトル（Vx,Vy）を推定する動き推定工程500と、
推定動きベクトル毎に、その振幅A（
【００５２】
【数１６】
2008099281.tif 000018
）及び信頼度係数C（例えば、第２の実施例について説明したような、対象画素を含む画素ウィンドウにおける動きベクトルの分散である）を求める工程510と、
推定動きベクトルの振幅及び信頼度係数に応じて補間するための、補間対象の画像の画素毎の補間パターン選択工程520と、
前述の画像の画素毎に、前述の画素について選択された補間パターンを用いることによって補間画像を生成する補間工程530とを備える。
【００５３】
補間工程530について、例えば、それに応じて補間パターンが選択される値（例えば、修正振幅と呼ばれ、Amodと表す）を算出する。Amodは例えば、Amod=A×(1-C)に等しい。Amodに応じて施される対象の補間は例えば、図１０によって示す。Amodが第１の閾値SA'1以下の場合、施される補間は、一方又は両方のソース画像における対象画素の４つの近傍画素に基づいた双線形補間である。Amodが閾値SA’1よりも大きいが、SA1より大きな閾値SA’2以下の場合、補間は、一方又は両方のソース画像における対象画素の４つの近傍画素に基づいた平均化工程である。最後に、Amodが閾値SA2よりも大きい場合、補間は、より大きな数（例えば、８つ）の近傍画素に基づいた平均化工程である。
【００５４】
図１１は、図９に示す処理を実現することができる装置を表す。この装置は、ソース画像（すなわち、現行ソース画像及び先行ソース画像）をそれぞれが記憶することができる少なくとも２つの画像メモリ６００と、装置の入力における現行ソース画素、及び画像メモリ６００の１つに記憶された先行ソース画像から補間対象の画像の画素毎に動きベクトル（Vx,Vy）を求める動き推定器６１０と、推定器６１０からの推定動きベクトルの振幅A及び信頼度係数Cを求める回路６２０と、画像メモリ６００に記憶された現行ソース画像及び先行ソース画像、並びに、回路６２０によって求められた振幅A及び信頼度係数Cから補間画像を生成する補間器６３０とを備える。
【００５５】
当然、本発明は、前述の実施例に限定されるものでない。当業者は、異なる数の画素、又は異なる重み付け係数を用いることによって、本明細書に提示したもの以外の補間タイプ及び補間パターンの使用を見通すことができるであろう。
【図面の簡単な説明】
【００５６】
【図１】推定動きベクトルの振幅に基づいた、第１の実施例における本発明の方法の工程を表すフロー図である。
【図２】推定動きベクトルの振幅に応じて施される対象の別々の補間パターンを示す図である。
【図３】推定動きベクトルが閾値SA1未満である場合における補間をより具体的に示す図である。
【図４】推定動きベクトルが閾値SA1と閾値SA2の間である場合における補間をより具体的に示す図である。
【図５】推定動きベクトルが閾値SA２より大きな場合における補間をより具体的に示す図である。
【図６】図１の方法を実現することができる装置を示す図である。
【図７】推定された移動の信頼度係数に基づいた、第２の実施例における本発明の方法の工程を表すフロー図である。
【図８】推定動きベクトルの信頼度係数に応じて施される対象の別々の補間パターンを示す図である。
【図９】図7の方法を実現することができる装置を示す図である。
【図１０】推定動きベクトルの振幅及び信頼度係数に基づいた、第３の実施例における本発明の方法の工程を表すフロー図である。
【図１１】推定動きベクトルの振幅及び信頼度係数に応じて施される対象の別々の補間パターンを示す図である。
【図１２】図10の方法を実現することができる装置を示す図である。
【符号の説明】
【００５７】
２００  メモリ
２１０  動き推定器
２２０  判定回路
２３０  補間回路
４００  メモリ
４１０  動き推定器
４２０  判定回路
４３０  補間回路
６００  メモリ
６１０  動き推定器
６２０  判定回路
６３０  補間回路
【図１】
2008099281.tif 000019
【図２】
2008099281.tif 000020
【図３】
2008099281.tif 000021
【図４】
2008099281.tif 000022
【図５】
2008099281.tif 000023
【図６】
2008099281.tif 000024
【図７】
2008099281.tif 000025
【図８】
2008099281.tif 000026
【図９】
2008099281.tif 000027
【図１０】
2008099281.tif 000028
【図１１】
2008099281.tif 000029
【図１２】
2008099281.tif 000030