(57)【要約】【課題】  ブロック当り１つの動きベクトルを推定して動き補償を行う場合、不正確に推定された動きベクトルにより発生するブロックアーティファクトを未然に防止することができる動き補償のための画素値選択装置および方法を提供する。【解決手段】第１および第２の格納部には、入力される少なくとも１つの候補動きベクトルに対応する第１の画素値を含む現フレーム／フィールドおよび第２の画素値を含む前フレーム／フィールドがそれぞれ格納される。第１および第２の画素値抽出部は、候補動きベクトルに対応する第１および第２の画素値をそれぞれ第１および第２の格納部から抽出する。第１および第２の補償画素算出部は、抽出された第１および第２の画素値によって適応的に所定の第１の重み付け値を付与してそれぞれ動き補償のための第１および第２の補償画素値を算出する。【選択図】      図３
2005012797.tif 000002
【特許請求の範囲】
【請求項１】
入力される少なくとも１つの候補動きベクトルに対応する第１の画素値を含む現フレーム／フィールドおよび前記少なくとも１つの候補動きベクトルに対応する第２の画素値を含む前フレーム／フィールドを格納する格納部と、
前記少なくとも１つの候補動きベクトルに対応する前記第１および第２の画素値を前記格納部からそれぞれ抽出する画素値抽出部と、
前記第１および第２の画素値によって所定の第１の重み付け値を適応的に付与し、動き補償のための第１および第２の補償画素値をそれぞれ算出する補償画素算出部と、を備え、
算出された前記第１および第２の補償画素値は、補間される現ブロックの動き補償に使用されることを特徴とする動き補償のための画素値選択装置。
【請求項２】
前記画素値抽出部は、前記候補動きベクトルが０であるブロックに対応する第１および第２のゼロ画素値をそれぞれ前記格納部から抽出し、抽出された前記第１および第２のゼロ画素値は、前記現ブロックの前記動き補償に使用されることを特徴とする請求項１に記載の動き補償のための画素値選択装置。
【請求項３】
前記補償画素算出部は、前記少なくとも１つの第１および第２の画素値と前記少なくとも１つの第１および第２の画素値によってそれぞれ適応的に付与された前記第１の重み付け値とを乗算した後、それぞれ乗算された値を加えて前記第１および第２の補償画素値を算出することを特徴とする請求項１に記載の動き補償のための画素値選択装置。
【請求項４】
前記少なくとも１つの第１および第２の画素値別に付与された前記第１の重み付け値の和は、それぞれ１であることを特徴とする請求項１に記載の動き補償のための画素値選択装置。
【請求項５】
前記候補動きベクトルは、前記現フレーム／フィールドに位置する前記現ブロックの動きベクトルおよび前記現ブロックに隣接する少なくとも１つの周辺ブロックの動きベクトルからなることを特徴とする請求項１に記載の動き補償のための画素値選択装置。
【請求項６】
少なくとも１つの前記候補動きベクトルは、前記現ブロックおよび前記周辺ブロックのそれぞれに対してブロックマッチングアルゴリズムを適用して算出された多数の動き予測誤差値のうちの最小値に対応する位置から推定されたベクトルであることを特徴とする請求項５に記載の動き補償のための画素値選択装置。
【請求項７】
少なくとも１つの前記第１および第２の画素値に適応的に付与される前記第１の重み付け値は、前記現ブロックおよび前記周辺ブロック別に算出された前記動き予測誤差値に逆比例することを特徴とする請求項６に記載の動き補償のための画素値選択装置。
【請求項８】
前記動き予測誤差値は、ＳＡＤ方式およびＭＡＤ方式のいずれか一方で算出されることを特徴とする請求項６に記載の動き補償のための画素値選択装置。
【請求項９】
入力されるフレーム／フィールドを所定時間遅延させ、前記所定時間遅延された前記現フレーム／フィールドを前記格納部に提供する第１の遅延器と、
前記第１の遅延器から入力された前記現フレーム／フィールドを所定時間遅延させ、前記所定時間遅延された前記前フレーム／フィールドを前記格納部に提供する第２の遅延器とをさらに備えることを特徴とする請求項１に記載の動き補償のための画素値選択装置。
【請求項１０】
前記画素値抽出部は、少なくとも１つの前記候補動きベクトルによって動き軌跡を推定し、少なくとも１つの前記第１および第２の画素値を抽出することを特徴とする請求項１に記載の動き補償のための画素値選択装置。
【請求項１１】
前記格納部に格納される前記現フレーム／フィールドおよび前記前フレーム／フィールドは、それぞれ互いに隣接している同じ性質のフィールドであることを特徴とする請求項１に記載の動き補償のための画素値選択装置。
【請求項１２】
前記同じ性質のフィールドは、奇数フィールドおよび偶数フィールドのいずれか一方であることを特徴とする請求項１１に記載の動き補償のための画素値選択装置。
【請求項１３】
前記フレーム／フィールドは、フィールド単位に入力されることを特徴とする請求項１１に記載の動き補償のための画素値選択装置。
【請求項１４】
入力される前記フィールドを所定時間遅延させ、所定時間遅延された第１のフィールドを前記第１の格納部に提供する第１の遅延器と、
前記第１の遅延器から入力された前記第１のフィールドを所定時間遅延させ、所定時間遅延された第２のフィールドを出力する第２の遅延器と、
前記第２の遅延器から入力された前記第２のフィールドを所定時間遅延させ、所定時間遅延された第３のフィールドを前記第２の格納部に提供する第３の遅延器とをさらに備え、
前記第１および第３のフィールドは、前記同じ性質のフィールドであることを特徴とする請求項１３に記載の動き補償のための画素値選択装置。
【請求項１５】
入力される少なくとも１つの候補動きベクトルに対応する少なくとも１つの第１の画素値を含む現フレーム／フィールドが格納されるステップと、
前記少なくとも１つの候補動きベクトルに対応する少なくとも１つの第２の画素値を含む前フレーム／フィールドが格納されるステップと、
前記少なくとも１つの候補動きベクトルに対応する前記第１および第２の画素値をそれぞれ前記格納ステップから抽出するステップと、
抽出された少なくとも１つの前記第１および第２の画素値によって適応的に所定の第１の重み付け値を付与し、それぞれ動き補償のための第１および第２の補償画素値を算出するステップとを含み、
算出された前記第１および第２の補償画素値は、補間される現ブロックの動き補償に使用されることを特徴とする動き補償のための画素値選択方法。
【請求項１６】
前記第１および第２の画素値抽出ステップは、前記候補動きベクトルが０であるブロックに対応する第１および第２のゼロ画素値をそれぞれ前記格納ステップから抽出し、抽出された前記第１および第２のゼロ画素値は、前記現ブロックの前記動き補償に使用されることを特徴とする請求項１５に記載の動き補償のための画素値選択方法。
【請求項１７】
前記第１および第２の補償画素算出ステップは、前記第１および第２の画素値と前記第１および第２の画素値によってそれぞれ適応的に付与された前記第１の重み付け値とを乗算した後、それぞれ乗算された値を加えて前記第１および第２の補償画素値を算出することを特徴とする請求項１５に記載の動き補償のための画素値選択方法。
【請求項１８】
前記第１および第２の画素値別に付与された前記第１の重み付け値の和は、それぞれ１であることを特徴とする請求項１５に記載の動き補償のための画素値選択方法。
【請求項１９】
前記候補動きベクトルは、前記現フレーム／フィールドに位置する前記現ブロックの動きベクトルおよび前記現ブロックに隣接する少なくとも１つの周辺ブロックの動きベクトルからなることを特徴とする請求項１５に記載の動き補償のための画素値選択方法。
【請求項２０】
少なくとも１つの前記候補動きベクトルは、前記現ブロックおよび前記周辺ブロックのそれぞれに対してブロックマッチングアルゴリズムを適用して算出された多数の動き予測誤差値のうちの最小値に対応する位置から推定されたベクトルであることを特徴とする請求項１９に記載の動き補償のための画素値選択方法。
【請求項２１】
少なくとも１つの前記第１および第２の画素値によって適応的に付与される前記第１の重み付け値は、前記現ブロックおよび前記周辺ブロック別に算出された前記動き予測誤差値に逆比例することを特徴とする請求項２０に記載の動き補償のための画素値選択方法。
【請求項２２】
前記動き予測誤差値は、ＳＡＤ方式およびＭＡＤ方式のいずれか一方で算出されることを特徴とする請求項２０に記載の動き補償のための画素値選択方法。
【請求項２３】
前記現フレーム／フィールド格納ステップの前に、入力されるフレーム／フィールドを所定時間遅延させた後、所定時間遅延された前記現フレーム／フィールドを出力するステップと、
前記前フレーム／フィールド格納ステップの前に、前記現フレーム／フィールドを所定時間遅延させた後、所定時間遅延された前記前フレーム／フィールドを出力するステップとをさらに含むことを特徴とする請求項１５に記載の動き補償のための画素値選択方法。
【請求項２４】
前記第１および第２の画素値抽出ステップは、少なくとも１つの前記候補動きベクトルによって動き軌跡を推定し、少なくとも１つの前記第１および第２の画素値を抽出することを特徴とする請求項１５に記載の動き補償のための画素値選択方法。
【請求項２５】
動き補償のための画素値選択方法を提供するコンピュータ読み取り可能な媒体において、
前記動作を行う方法は、
入力される少なくとも１つの候補動きベクトルに対応する少なくとも１つの第１の画素値を含む現フレーム／フィールドが格納されるステップと、
前記少なくとも１つの候補動きベクトルに対応する少なくとも１つの第２の画素値を含む前フレーム／フィールドが格納されるステップと、
前記少なくとも１つの候補動きベクトルに対応する前記第１および第２の画素値をそれぞれ前記格納ステップから抽出するステップと、
抽出された少なくとも１つの前記第１および第２の画素値によって適応的に所定の第１の重み付け値を付与し、それぞれ動き補償のための第１および第２の補償画素値を算出するステップとを含み、
算出された前記第１および第２の補償画素値は、補間される現ブロックの動き補償に使用されることを特徴とする動き補償のための画素値選択方法を提供するコンピュータ読み取り可能な媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動き補償のための画素値選択装置および方法に関し、より詳しくは、フレームレートの変換時、１ブロックに対して多数の動き軌跡を適用して多数の画素値を抽出した後、抽出された画素値に重み付け値を付与して動き補償を行う動き補償のための画素値選択装置および方法に関する。
【背景技術】
【０００２】
一般に、パソコンやＨＤＴＶでは、ＰＡＬまたはＮＴＳＣのような種々の放送信号規格を有するプログラムを交換するためフレームレート変換（ｆｒａｍｅ  ｒａｔｅ  ｃｏｎｖｅｒｓｉｏｎ）を行う。フレームレート変換とは、秒当りの出力されるフレーム数を変換させることを意味する。特に、フレームレートが増加される場合は、新しいフレームを補間する過程を行う必要がある。
【０００３】
なお、近年、放送技術の発達によってＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）Ｈ．２６３のような映像圧縮方式で映像データを圧縮した後、フレームレート変換を行っている。特に、ＭＰＥＧのような映像処理分野では、多くの映像信号において自己相関（Ａｕｔｏｃｏｒｒｅｌａｔｉｏｎ）が大きいため、冗長度（ｒｅｄｕｎｄａｎｃｙ）をもっている。従って、データの圧縮時に冗長性を除去することで、データ圧縮の効果を向上させることが可能となる。このとき、時間的に変化するビデオフレームを効率良く圧縮するためには、時間軸方向の冗長性を除去する必要がある。
【０００４】
時間軸方向の冗長性の除去は、フレームにおいて動きがないか、動きがあるとしても、似た箇所に対しては、前のフレームなどから持ってきて使用することで、転送するデータ量の大幅な減少ができるという考えに基づいている。
【０００５】
このため、前フレームと現フレームとの間で最も似ているブロックを探す作業を行う必要があり、これを動き推定と呼び、ブロックがどのくらい動くかの変位を示すものを動きベクトルＭＶと呼ぶ。
【０００６】
なお、動きを推定する方法としては、動き程度の正確性、リアルタイム処理可能性およびハードウェア具現などを考慮してブロックマッチングアルゴリズム（以下、「ＢＭＡ」という）が一般に挙げられる。
【０００７】
図１は、一般のＢＭＡを用いて動きを推定する方法を説明するための図である。Ｆｎ−１は、前フレーム／フィールド、Ｆｎは、現フレーム／フィールド、Ｆｉは、前フレーム／フィールドＦｎ−１および現フレーム／フィールドＦｎを用いて補間されるフレームを意味する。
【０００８】
ＢＭＡは、前フレーム／フィールドＦｎ−１と現フレーム／フィールドＦｎのように連続して入力される二枚のフレームをブロック単位に比較するが、比較されるブロック内の画素が並進運動（ｔｒａｎｓｌａｔｉｏｎ）をすると仮定して、ブロック当り１つの動きベクトルＭＶを推定する。このとき、動きベクトルＭＶは、公知のＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）予測誤差値を用いて推定する。次に、動きベクトルが推定されると、推定された動きベクトルＭＶを用いて補間する現ブロックＢに対して動き補償を行う。
【０００９】
しかし、従来の動き推定／補償方法において、ブロック別に推定されたそれぞれの動きベクトルは、不正確に推定されることがある。かかる不正確な動きベクトルを用いて動き補償を行う場合は、補間されるフレーム／フィールドＦｉにおいては、図２に示されたようなブロックアーティファクトが発生する。
【００１０】
図２において実線で示されたベクトルは、実際の動きベクトルであり、点線で示されたベクトルは、推定された動きベクトルである。ブロックアーティファクトは、ブロック別に動き補償を行い、これによって、ブロック間の境界において隣接するブロックとの相関性が考慮できないため発生する。また、従来のＦＲＣアルゴリズムは、ブロックアーティファクトを除去するためメディアンフィルタのような非線型フィルタを適用することもあるが、画質劣化の側面では、大きな効果が得られない。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明の目的は、ブロック当り１つの動きベクトルを推定して動き補償を行う場合、不正確に推定された動きベクトルにより発生するブロックアーティファクトを未然に防止または除去することができる動き補償のための画素値選択装置および方法を提供することにある。
【課題を解決するための手段】
【００１２】
上記の目的を達成するための本発明に係る動き補償のための画素値選択装置によれば、入力される少なくとも１つの候補動きベクトルに対応する第１の画素値を含む現フレーム／フィールドが格納される第１の格納部と、前記少なくとも１つの候補動きベクトルに対応する第２の画素値を含む前フレーム／フィールドが格納される第２の格納部と、前記少なくとも１つの候補動きベクトルに対応する前記第１および第２の画素値をそれぞれ前記第１および第２の格納部から抽出する第１および第２の画素値抽出部と、抽出された少なくとも１つの前記第１および第２の画素値によって適応的に所定の第１の重み付け値を付与してそれぞれ動き補償のための第１および第２の補償画素値を算出する補償画素算出部とを備え、算出された前記第１および第２の補償画素値は、補間される現ブロックの動き補償に使用される。
【００１３】
詳しくは、前記第１および第２の画素値抽出部は、前記候補動きベクトルが０であるブロックに対応する第１および第２のゼロ画素値をそれぞれ前記第１および第２の格納部から抽出し、抽出された前記第１および第２のゼロ画素値は、前記現ブロックの前記動き補償に使用される。
【００１４】
また、前記第１および第２の補償画素算出部は、前記第１および第２の画素値と前記第１および第２の画素値によってそれぞれ適応的に付与された前記第１の重み付け値とを乗算した後、それぞれ乗算された値を加えて前記第１および第２の補償画素値を算出する。
【００１５】
また、前記第１および第２の画素値別に付与された前記第１の重み付け値の和は、それぞれ１であることが好ましい。
【００１６】
また、前記候補動きベクトルは、前記現フレーム／フィールドに位置する前記現ブロックの動きベクトルおよび前記現ブロックに隣接する少なくとも１つの周辺ブロックの動きベクトルからなる。
【００１７】
また、少なくとも１つの前記候補動きベクトルは、前記現ブロックおよび前記周辺ブロックのそれぞれに対してブロックマッチングアルゴリズムを適用して算出された多数の動き予測誤差値のうちの最小値に対応する位置から推定されたベクトルである。
【００１８】
好ましくは、少なくとも１つの前記第１および第２の画素値によって適応的に付与される前記第１の重み付け値は、前記現ブロックおよび前記周辺ブロック別に算出された前記動き予測誤差値に逆比例する。
【００１９】
また、前記動き予測誤差値は、ＳＡＤ方式およびＭＡＤ（Ｍｅａｎ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）方式のいずれか一方で算出される。
【００２０】
また、入力されるフレーム／フィールドを所定時間遅延させ、前記所定時間遅延された前記現フレーム／フィールドを前記第１の格納部に提供する第１の遅延器と、前記第１の遅延器から入力された前記現フレーム／フィールドを所定時間遅延させ、前記所定時間遅延された前記前フレーム／フィールドを前記第２の格納部に提供する第２の遅延器とをさらに備える。
【００２１】
前記第１および第２の画素値抽出部は、少なくとも１つの前記候補動きベクトルによって動き軌跡を推定して少なくとも１つの前記第１および第２の画素値を抽出する。
【００２２】
前記第１および第２の格納部には、互いに隣接している同じ性質のフィールドが格納され、前記同じ性質のフィールドは、奇数フィールドおよび偶数フィールドのいずれか一方である。
【００２３】
また、前記フレーム／フィールドがフィールド単位に入力される場合、入力される前記フィールドを所定時間遅延させ、所定時間遅延された第１のフィールドを前記第１の格納部に提供する第１の遅延器と、前記第１の遅延器から入力された前記第１のフィールドを所定時間遅延させ、所定時間遅延された第２のフィールドを出力する第２の遅延器と、前記第２の遅延器から入力された前記第２のフィールドを所定時間遅延させ、所定時間遅延された第３のフィールドを前記第２の格納部に提供する第３の遅延器とをさらに備え、前記第１および第３のフィールドは、前記同じ性質のフィールドである。
【００２４】
さらに、上記の目的を達成するための本発明に係る動き補償のための画素値選択方法によれば、入力される少なくとも１つの候補動きベクトルに対応する少なくとも１つの第１の画素値を含む現フレーム／フィールドが格納されるステップと、前記少なくとも１つの候補動きベクトルに対応する少なくとも１つの第２の画素値を含む前フレーム／フィールドが格納されるステップと、前記少なくとも１つの候補動きベクトルに対応する前記第１および第２の画素値をそれぞれ前記格納ステップから抽出するステップと、抽出された少なくとも１つの前記第１および第２の画素値によって適応的に所定の第１の重み付け値を付与し、それぞれ動き補償のための第１および第２の補償画素値をそれぞれ算出するステップとを含み、算出された前記第１および第２の補償画素値は、補間される現ブロックの動き補償に使用される。
【００２５】
好ましくは、前記現フレーム／フィールド格納ステップの前に、入力されるフレーム／フィールドを所定時間遅延させた後、所定時間遅延された前記現フレーム／フィールドを出力するステップと、前記前フレーム／フィールド格納ステップの前に、前記現フレーム／フィールドを所定時間遅延させた後、所定時間遅延された前記前フレーム／フィールドを出力するステップとをさらに含む。
【００２６】
前記第１および第２の画素値抽出ステップは、少なくとも１つの候補動きベクトルによって動き軌跡を推定し、少なくとも１つの前記第１および第２の画素値を抽出する。
【発明の効果】
【００２７】
前述のように、本発明に係る補償用画素値の選択が可能な動き推定／補償装置および方法によれば、現ブロックの補間時、現ブロックの動きベクトルだけでなく、現ブロックに隣接する周辺ブロックの動きベクトルも推定することで、現ブロックの補間のための複数の補償用画素値を抽出する。従って、抽出された多数の補償用画素値によって多数の動き軌跡を考慮することで、現ブロックの動きベクトルの不正確な推定によるブロックアーティファクトを未然に防止また低減させることが可能となる。また、複数の動きベクトルにおいて考慮できる全ての動き軌跡を付加的な処理を行うことなく適用するため、ハードウェア構成の複雑度を改善することが可能となる。
【発明を実施するための最良の形態】
【００２８】
図３は、本発明の好適な第１の実施例に係る画素値選択装置が設けられた動き推定／補償装置を概略的に示すブロック図である。
【実施例】
【００２９】
同図を参照するに、本発明に係る画素値選択装置が設けられた動き推定／補償装置３００は、第１の遅延器３１０、第２の遅延器３２０、動き推定部３３０、画素選択部３４０および動き補償補間部３７０を備えてなる。本発明は、多数の候補動きベクトルを推定して動きを補償するフレームレート変換またはＭＰＥＧ技法に関するものであって、動き推定／補償に関連したブロックのみを示して説明する。
【００３０】
第１の遅延器３１０は、入力されるフレーム／フィールドを所定時間遅延させた後、所定時間遅延された第１の遅延フレーム／フィールドを第２の遅延器３２０および第１の格納部３４１に提供する。第２の遅延器３２０は、第１の遅延器３１０から入力された第１の遅延フレーム／フィールドを所定時間遅延させた後、所定時間遅延された第２の遅延フレーム／フィールドを第２の格納部３６１に提供する。以下、第１の遅延フレーム／フィールドは、現フレーム／フィールドＦｎと、第２の遅延フレーム／フィールドは、前フレーム／フィールドＦｎ−１と記す。
【００３１】
なお、本発明に係る画素値選択装置が設けられた動き推定／補償装置３００が飛越走査で入力される映像信号のフレームレートを変換する場合、第２の遅延フレーム／フィールドは、現フィールドであり、第２の遅延フレーム／フィールドは、前フィールドである。従って、前フィールドが奇数または偶数フィールドであれば、現フィールドは、前フィールドに対応する偶数または奇数フィールドとなる。
【００３２】
動き推定部３３０は、ＢＭＡを用いて前フレーム／フィールドＦｎ−１および現フレーム／フィールドＦｎ間の動きベクトルを推定する。このため、動き推定部３３０は、動きベクトル推定部３３２および動き予測誤差算出部３３４を備える。
【００３３】
動きベクトル推定部３３２は、現フレーム／フィールドＦｎを所定大きさの補間するブロックに分割した後、分割された各補間するブロックと前フレーム／フィールドＦｎ−１をなす複数のブロック（図示省略）とを単方向にマッチングし、各補間するブロック別に多数の動き予測誤差値を算出する。
【００３４】
具体的に、動きベクトル推定部３３２は、所定の大きさを有するブロックに分割された現フレーム／フィールドＦｎ内において、図４Ａに示された所定大きさの検索範囲Ｓを設定する。次に、動きベクトル推定部３３２は、検索範囲Ｓ内にある補間する各ブロックと前フレーム／フィールドＦｎ−１をなす複数のブロック（図示省略）とを単方向または両方向にマッチングし、補間する各ブロック別に多数の動き予測誤差値を算出する。
【００３５】
動き予測誤差値は、ＳＡＤ、ＭＡＤなどの種々の方式で算出することができ、本発明では、ＳＡＤ値を適用する。
【００３６】
そして、補間する各ブロック別に多数のＳＡＤ値が算出されると、動きベクトル推定部３３２は、次の式（１）を用いて補間する各ブロックの動きベクトルを推定する。
【００３７】
【数１】
2005012797.tif 000003
ここで、
【００３８】
【数２】
2005012797.tif 000004
は、ＳＡＤ値、
【００３９】
【数３】
2005012797.tif 000005
は、最小ＳＡＤ値を有するブロックの動きベクトル（以下、
【００４０】
【数４】
2005012797.tif 000006
はベクトル量を意味する）、
【００４１】
【数５】
2005012797.tif 000007
は、検索範囲を意味する。即ち、動きベクトル推定部３３２は、補間する各ブロック別に算出された多数のＳＡＤ値のうち最小のＳＡＤ値を有する位置から補間する各ブロックの動きベクトルを推定する。
【００４２】
ここで、補間するための現ブロックＢ０の最終動きベクトルが、図４Ｂに示されたｖ０である場合、周辺ブロックＢ１ないしＢ８の最終動きベクトルは、それぞれｖ１ないしｖ８である。
【００４３】
なお、現フレーム／フィールドＦｎで設定された検索範囲Ｓは、補間フレーム／フィールドＦｉで補間される領域を意味し、検索範囲Ｓ内に存在するブロックの個数は、ブロックの大きさおよび／または検索範囲Ｓの大きさによって異なるように設定することができるのはいうまでもない。
【００４４】
また、動きベクトル推定部３３２は、検索範囲Ｓ内に存在する各ブロックＢ０ないしＢ８の動きベクトルｖ０ないしｖ８だけでなく補間する現ブロックＢ０の動きベクトルがゼロであるゼロ動きベクトルｖｚを動き予測誤差算出部３３４に提供する。これは、後述の動き補償過程において、並進運動でない複雑な動きが存在する場合、ＢＭＡで推定した動きベクトルよりは、動きを考慮しない補償の方が、正確な補償が得られるためである。
【００４５】
動き予測誤差算出部３３４は、動きベクトル推定部３３２から提供された動きベクトルｖｚ、ｖ０ないしｖ８に対応するＳＡＤ値を、次の式（２）を用いて抽出する。
【００４６】
【数６】
2005012797.tif 000008
ここで、
【００４７】
【数７】
2005012797.tif 000009
は、動きベクトルｖ０ないしｖ８に対応するＳＡＤ値、
【００４８】
【数８】
2005012797.tif 000010
は、所定のブロック（Ｂ０ないしＢ８のいずれか１つ）に位置する所定画素の座標値で、ベクトル量であり、
【００４９】
【数９】
2005012797.tif 000011
は、各ブロックＢ０ないしＢ８の動きベクトルｖ０ないしｖ８、
【００５０】
【数１０】
2005012797.tif 000012
は、前フレーム／フィールドＦｎ−１と現フレーム／フィールドＦｎとの時間的間隔、
【００５１】
【数１１】
2005012797.tif 000013
は、検索範囲Ｓ内に存在する各ブロックＢ１ないしＢ８の個数である。これと共に、動き予測誤差算出部３３４は、補間される現ブロックＢ０のゼロ動きベクトルｖｚに対するＳＡＤ値も、式（２）を用いて抽出する。
【００５２】
式（２）を参照するに、動き予測誤差算出部３３４は、周辺ブロックＢ１ないしＢ８の動きベクトルｖ１ないしｖ８とゼロ動きベクトルｖｚに相当するＳＡＤ値を現ブロックＢ０に対して算出された全てのＳＡＤ値のうちから抽出する。即ち、動きベクトル推定部３３２から提供された動きベクトルｖｚ、ｖ０ないしｖ８は、補間される現ブロックＢ０の候補動きベクトルとして適用されるものである。
【００５３】
これは、現ブロックＢ０の動きベクトルｖ０が不正確に推定された場合、周辺ブロックＢ１ないしＢ８のうち推定が正しく行われたブロック（例えば、最も小さいなＳＡＤ値を有するブロック）の動きベクトルを現ブロックＢ０の最終動きベクトルに取り替えるか、推定が正しく行われた周辺ブロックＢ１ないしＢ８に対応する画素に重み付け値（ｗｅｉｇｈｔ）を付与することでより正確な動き補償を行うためである。
【００５４】
即ち、本発明は、ブロックＢ０ないしＢ８間の動きがスムースであると仮定した上で、現ブロックＢ０だけでなく周辺ブロックＢ１ないしＢ８の動き軌跡をも考慮して動き補償を行う。これは、現ブロックＢ０の動きベクトルｖ０が不正確に推定された場合に発生するブロックアーティファクトの発生を未然に防止するためである。
【００５５】
なお、各候補動きベクトルｖｚ、ｖ０ないしｖ８に対応する各ＳＡＤ値が抽出されると、動き予測誤差算出部３３４は、抽出された各ＳＡＤ値を第１および第２の補償画素算出部３５３、３６３に提供する。
【００５６】
また、動きベクトル推定部３３２で推定された各ブロックＢ０ないしＢ８の動きベクトルｖｚ、ｖ０ないしｖ８により考慮される動き軌跡または分割された全てのブロック（図示省略）に対して推定されたベクトル（図示省略）は、第１および第２の画素値抽出部３５２、３６２に提供される。
【００５７】
図５は、補間されるフレーム／フィールドの所定位置に対する動き軌跡を現ブロックと周辺ブロックの最終動きベクトルを用いて概略的に示す図である。
【００５８】
同図を参照するに、Ｆｎ−１は、前フレーム／フィールド、Ｆｎは、現フレーム／フィールド、Ｆｉは、補間されるフレーム／フィールドであり、前フレーム／フィールドＦｎ−１および現フレーム／フィールドＦｎは、連続して入力される。補間されるフレームフィールドＦｉの所定位置に対する仮補償画素値は、式（３）で算出されることができる。
【００５９】
【数１２】
2005012797.tif 000014
ここで、
【００６０】
【数１３】
2005012797.tif 000015
は、補間されるフレーム／フィールドＦｉの時間的位置、
【００６１】
【数１４】
2005012797.tif 000016
は、補間されるフレーム／フィールドＦｉのｘ位置における仮補償画素値、
【００６２】
【数１５】
2005012797.tif 000017
は、現ブロックＢ０の最終動きベクトルｖ０および周辺ブロックＢ１ないしＢ８の最終動きベクトルｖ１ないしｖ８である。
【００６３】
式（３）を参照するに、
【００６４】
【数１６】
2005012797.tif 000018
は、考慮される動き軌跡の個数であって、多数の動き軌跡により得られるｘ位置における仮補償画素値
【００６５】
【数１７】
2005012797.tif 000019
は、式（２）で算出された多数の最終動きベクトルｖ０ないしｖ８を考慮して算出される。このようにすることで、現ブロックＢ０の最終動きベクトルｖ０が不正確に推定された場合に発生するブロックアーティファクトの発生を未然に防止することができる。
【００６６】
なお、前述のような補間する現ブロックＢ０の候補動きベクトルｖ０ないしｖ８は、周辺ブロックＢ１ないしＢ８に対する最終動きベクトルｖ１ないしｖ８だけでなく、動き分析の過程で検出された全域動きベクトルおよび同一位置の前フレーム／フィールド内で検出された動きベクトルを再使用することができる。また、候補動きベクトルのメディアンフィルタまたは平均フィルタを用いて得られた変更された動きベクトルを現ブロックＢ０の候補動きベクトルとして使用することができるのはいうまでもない。
【００６７】
図３に戻り、画素選択部３４０は、外部から入力されるフレーム／フィールドをなす画素の画素値、動き推定部３１０から提供される多数のＳＡＤ値および候補動きベクトルを用いて少なくとも１つの補償画素を選択する。このため、本発明に係る画素選択部３４０は、第１の格納部３５１、第１の画素値抽出部３５２、第１の補償画素算出部３５３、第２の格納部３６１、第２の画素値抽出部３６２および第２の補償画素算出部３６３を備える。
【００６８】
第１の格納部３５１には、第１の遅延器３１０から入力される現フレーム／フィールドＦｎをなす画素値が仮格納される。
【００６９】
第１の画素値抽出部３５２は、動きベクトル推定部３３２から入力される最終動きベクトルｖ０ないしｖ８のそれぞれに対応する第１の画素値ｌ０ないしｌ８を第１の格納部３５１に格納された現フレーム／フィールドＦｎの画素値から抽出する。ここで、第１の画素値ｌ０ないしｌ８は、式（４）で表現される。
【００７０】
【数１８】
2005012797.tif 000020
式（４）からわかるように、第１の画素値抽出部３５２から抽出される画素値は、それぞれｌ０ないしｌ８の第１の画素値を有する。また、抽出される第１の画素値の個数は、動き推定部３３０で推定された候補動きベクトルの個数に対応する。
【００７１】
また、第１の画素値抽出部３５２は、動きベクトル推定部３３２から入力されるゼロ動きベクトルｖｚに対応する第１の画素値ｌｚを第１の格納部３５１から抽出して動き補償補間部３７０に提供する。ここで、第１の画素値抽出部３５２は、‘０’を有する候補動きベクトルをゼロ動きベクトルｖｚと認知して候補動きベクトルが０であるブロックに対応する補償用画素値ｌｚを抽出することもある。
【００７２】
第１の補償画素算出部３５３は、動き予測誤差算出部３３２から入力される各ブロックＢ０ないしＢ８に相当するＳＡＤ値を用いて各動き軌跡における正確性を考慮した上で、式（３）で算出された各仮画素補償値に所定の重み付け値を付与する。即ち、第１の補償画素算出部３５３は、式（４）ないし式（７）を用いて重み付け値の付与された第１の補償画素値ｌ’を算出する。
【００７３】
【数１９】
2005012797.tif 000021
ここで、重み付け
【００７４】
【数２０】
2005012797.tif 000022
は、式（６）を満たす必要があり、各動き軌跡に対する重み付け値は、式（７）で算出される。
【００７５】
【数２１】
2005012797.tif 000023
【００７６】
【数２２】
2005012797.tif 000024
式（５）ないし式（７）に示されたように、第１の補償画素算出部３５３で算出される第１の補償画素値ｌ’は、次の通りである。これは、第１の格納部３５１には、現フレーム／フィールドＦｎに対する画素値のみが格納されており、これにより、ｒｉは、‘０’の値を有するためである。
【００７７】
【数２３】
2005012797.tif 000025
また、各動き軌跡に対する重み付け値
【００７８】
【数２４】
2005012797.tif 000026
は、各ブロックＢ０ないしＢ８の最小ＳＡＤ値に逆比例することがわかる。即ち、第１の補償画素算出部３５３は、各ブロックＢ０ないしＢ８の最小ＳＡＤ値を比較し、最小ＳＡＤ値が少ないほどより正確な動き推定が行われたと判断し、最小ＳＡＤ値に逆比例する重み付け値
【００７９】
【数２５】
2005012797.tif 000027
を付与する。即ち、各動き軌跡における正確性は、ＳＡＤ値により決定される。
【００８０】
なお、第２の格納部３６１には、第１の遅延器３１０から入力される前フレーム／フィールドＦｎ−１の画素値が仮格納される。
【００８１】
第２の画素値抽出部３６２は、動きベクトル推定部３３２から入力される最終動きベクトルｖ１ないしｖ８のそれぞれに対応する第２の画素値ｒ０ないしｒ８を第２の格納部３６１に格納された前フレーム／フィールドＦｎ−１の画素値から抽出する。ここで、第２の画素値ｒ０ないしｒ８は、式（８）により算出される。
【００８２】
【数２６】
2005012797.tif 000028
式（８）を参照するに、第２の画素値抽出部３６２から抽出される画素値は、それぞれｒ０ないしｒ８の第２の画素値を有する。また、第２の画素値抽出部３６２は、動きベクトル推定部３３２から入力されるゼロ動きベクトルｖｚに対応する第２の画素値ｒｚを第２の格納部３６１から抽出する。ここで、第２の画素値抽出部３６２は、‘０’を有する候補動きベクトルをゼロ動きベクトルｖ２と認知し、候補動きベクトルが０であるブロックに対応する補償用画素値ｒｚを抽出することもある。
【００８３】
第２の補償画素算出部３６３は、動き予測誤差算出部３３２から入力される各ブロックＢ０ないしＢ８の最小ＳＡＤ値を用いて各動き軌跡における正確性を考慮した上で、式（３）で算出された各仮補間画素値に所定の重み付け値を付与する。即ち、第２の補償画素算出部３６３は、前述の式（５）ないし式（８）を用いて重み付け値の付与された第２の補償画素値ｒ’を算出する。
【００８４】
式（５）ないし式（８）を参照するに、第２の補償画素算出部３６３から算出される第２の補償画素値ｒ’は、次の通りである。これは、第２の格納部３６１には、前フレーム／フィールドＦｎ−１に対する画素値のみが格納されており、これによって、ｌｉは、‘０’の値を有するためである。
【００８５】
【数２７】
2005012797.tif 000029
即ち、前述のように、画素選択部３４０は、動き補償のための第１および第２の補償画素値ｌ’、ｒ’およびテンポラリーアベレージング（Ｔｅｍｐｏｒａｌ  Ａｖｅｒａｇｉｎｇ）のための第１および第２の画素値ｌｚ、ｒｚを算出または抽出して動き補償補間部３７０に提供する。
【００８６】
動き補償補間部３７０は、信頼度算出部（図示省略）から入力されるソフトスイッチングバリュー（Ｓｏｆｔ  Ｓｗｉｔｃｈｉｎｇ  Ｖａｌｕｅ）ｋを用いて最終補間画素値ｆを算出する。最終補間画素値ｆは、次の式（９）により算出される。
【００８７】
【数２８】
2005012797.tif 000030
式（９）において、ｋは、動き補償のための第１および第２の補償画素値ｌ’、ｒ’と動きを考慮しない第１および第２の画素値ｌｚ、ｒｚとを適応的に適用するためのソフトスイッチングバリューであって、第１および第２の補償画素値ｌ’、ｒ’の信頼度によって決定される。即ち、第１および第２の補償画素値ｌ’、ｒ’の信頼度が第１および第２の画素値ｌｚ、ｒｚのそれより高い場合は、第１および第２の補償画素値ｌ’、ｒ’がより多く適用された最終補間画素値ｆを算出するため、ｋ値は、大きくなる。これに対し、第１および第２の補償画素値ｌ’、ｒ’の信頼度が第１および第２の画素値ｌｚ、ｒｚのそれより低い場合は、第１および第２の画素値ｌｚ、ｒｚがより多く適用された最終補間画素値ｆを算出するため、ｋ値が、小さくなる。
【００８８】
従って、ブロック間の動きがスムースであると仮定した上で、多数の動き軌跡を考慮して算出された最終補間画素値ｆを用いることで、図６のようにブロックアーティファクト現象が低減された映像を提供することができる。図６において、実線は、推定された動きベクトルを示す。
【００８９】
なお、図７は、本発明の第２の実施例に係る動き推定／補償装置を概略的に示すブロック図である。本発明の第２の実施例に係る動き推定／補償装置７００は、第１の遅延器７１０、第２の遅延器７１５、第３の遅延器７２０、動き推定部７３０、画素選択部７４０および動き補償補間部７７０を備えてなる。本発明は、動きを推定して動きを補償するフレーム補間に関するものであって、フレームレート変換装置（図示省略）において動き推定／補償に関連したブロックのみを示して説明する。
【００９０】
図７に示された動き推定／補償装置７００は、隣接する同じ性質のフィールドを用いて動き補償を行う装置であって、図７の動き推定部７３０、画素選択部７４０および動き補償補間部７７０については、図３の動き推定部３３０、画素選択部３４０および動き補償補間部３７０と同様な動作を行うため、詳細な説明は省略する。
【００９１】
但し、図３の動き推定／補償装置３００は、フレーム単位またはフィールド単位に入力される映像信号のフレームレート変換に適用可能であるが、図７の動き推定／補償装置７００は、フィールド単位に入力される映像信号のフレームレート変換にのみ適用可能である。即ち、図３の動き推定／補償装置３００は、フレームとフレームとの間または奇数フィールドと偶数フィールドとの間で動き補償のための最終補間画素値ｆを算出するが、これに対し、図７の動き推定／補償装置７００は、奇数フィールドと奇数フィールドとの間または偶数フィールドと偶数フィールドとの間で最終補間画素値ｆを算出する。
【００９２】
具体的に、第１の遅延器７１０から出力されるフィールドが第１の奇数フィールドである場合、第２の遅延器７１５から出力されるフィールドは、第１の偶数フィールドであり、第３の遅延器７２０から出力されるフィールドは、第２の奇数フィールドである。即ち、第１の奇数フィールドは、現フィールド、第２の奇数フィールドは、前フィールドとなる。
【００９３】
そして、動き推定部７３０の動きベクトル推定部７３２は、同じ性質を有する第１および第２の奇数フィールドの間で動き補償のための多数の動きベクトルを推定する。動きベクトルの推定は、動き予測誤差値を算出して推定することができる。動き予測誤差算出部７３４は、算出された動き予測誤差値のうち推定された動きベクトルに対応する予測誤差値を抽出する。本発明では、動き予測誤差値としてＳＡＤ値を使用する。
【００９４】
画素選択部７４０は、外部から入力される第１および第２の奇数フィールドの画素値、多数の最終動きベクトルおよび多数のＳＡＤ値を用いて少なくとも１つの補償画素ｌｚ、ｒｚ、ｌ’、ｒ’を算出する。このため、本発明に係る画素選択部７４０は、第１の格納部７５１、第１の画素値抽出部７５２、第１の補償画素算出部７５３、第２の格納部７６１、第２の画素値抽出部７６２および第２の補償画素算出部７６３を備え、これについては、図３に関連して説明されているため、省略する。
【００９５】
動き補償補間部７７０は、画素選択部７３０から提供される第１および第２の補償画素値ｌ’、ｒ’および第１および第２の画素値ｌｚ、ｒｚを用いてソフトスイッチングバリューｋによって最終補間画素値ｆを算出する。
【００９６】
動き補償補間部７７０は、信頼度算出部（図示省略）から入力されるソフトスイッチングバリューｋを用いて最終補間画素値ｆを算出する。最終補間画素値ｆは、前述の式（９）により算出される。
【００９７】
図８は、図３によって画素値を選択して動きを補償する動き推定／補償方法を概略的に説明するためのフローチャートである。先ず、第１の遅延器３１０は、入力されるフレーム／フィールドを所定時間遅延させて現フレーム／フィールドを出力し、第２の遅延器３２０は、現フレーム／フィールドＦｎを所定時間遅延させて前フレーム／フィールドＦｎ−１を出力する。出力された現フレーム／フィールドＦｎおよび前フレーム／フィールドＦｎ−１は、それぞれ第１および第２の格納部３５１、３６１に格納される（Ｓ８１０）。
【００９８】
入力されるフレーム／フィールドが飛越走査方式で入力される場合、現フレーム／フィールドＦｎは、奇数または偶数フィールドであり、前フレーム／フィールドＦｎ−１は、偶数または奇数フィールドである。
【００９９】
そして、動き推定部３３０は、補間する現ブロックＢ０および周辺ブロックＢ１ないしＢ８のそれぞれに対する最小ＳＡＤ値をＢＭＡを用いて算出する。また、動き推定部３３０は、最小ＳＡＤ値を有する各位置からそれぞれの最終動きベクトルｖ０ないしｖ８を推定し、推定された多数の最終動きベクトルに対応するＳＡＤ値を抽出する（Ｓ８２０）。このとき、推定された現ブロックＢ０および周辺ブロックＢ１ないしＢ８のそれぞれに対する最終動きベクトルｖ０ないしｖ８は、現ブロックＢ０の候補動きベクトルと指定される。
【０１００】
Ｓ８２０で推定された最終動きベクトルｖ０ないしｖ８のうち‘０’の値を有するゼロ動きベクトルｖｚが存在する場合、画素値選択部３４０は、ゼロ動きベクトルｖｚを含む多数の候補動きベクトルに対応する第１および第２の画素値（ｌｚ、ｌｉ、ｒｚ、ｒｉ、ここでｉ＝０、１、・・・、Ｍ）を抽出する（Ｓ８３０）。
【０１０１】
Ｓ８３０が行われると、画素値選択部３４０は、抽出された第１および第２の画素値（ｌｚ、ｌｉ、ｒｚ、ｒｉ、ここでｉ＝０、１、・・・、Ｍ）に付与する所定の重み付け値を式（７）を用いて算出する（Ｓ８４０）。そして、画素値選択部３４０は、式（５）を用いて重み付け値の付与された第１および第２の補償画素値ｌ’、ｒ’を算出する（Ｓ８５０）。
【０１０２】
Ｓ８５０が行われると、動き補償補間部３７０は、算出された第１および第２の補償画素値ｌ’、ｒ’に適応的にソフトスイッチングバリューｋを付与して最終補償画素値ｆを算出する（Ｓ８６０）。
【０１０３】
上述の動き推定／補償装置３００、７００およびその方法によれば、動き補償を行う際、現ブロックＢ０の最終動きベクトルｖ０だけでなく周辺ブロックＢ１ないしＢ８の最終動きベクトルｖ１ないしｖ８を用いて補間するブロックの動きを補償する。即ち、現ブロックＢ０および周辺ブロックＢ１ないしＢ８の最終動きベクトルｖ０ないしｖ８を用いてそれぞれの動き軌跡におけるＳＡＤ値を算出した後、算出されたＳＡＤ値を用いて重み付け値を算出する。そして、算出されたＳＡＤ値に逆比例する重み付け値を付与することで、現ブロックＢ０の最終動きベクトルｖ０が正確でない時に発生する、図２のようなブロックアーティファクトを未然に防止することができる。即ち、本発明に係る動き推定／補償装置３００から出力される映像は、図６のようにブロックアーティファクト現象が除去される。
【０１０４】
以上、本発明の好適な実施例をあげて説明してきたが、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、上述の実施例は、あらゆる点で単なる例示にすぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
【産業上の利用可能性】
【０１０５】
本発明は、フレームレート変換時、１ブロックに対して多数の動き軌跡を適用して多数の画素値を抽出した後、抽出された画素値に重み付け値を付与して動き補償を行う動き補償のための画素値選択装置および方法に適用することができる。
【図面の簡単な説明】
【０１０６】
【図１】一般のＢＭＡを用いて動きを推定する方法を説明するための図である。
【図２】従来の動き補償方法によりブロックアーティファクトが発生した映像のシミュレーションの例を示した図である。
【図３】本発明の好適な第１の実施例に係る画素値選択装置が設けられた動き推定／補償装置を概略的に示すブロック図である。
【図４Ａ】図３の動き推定部で動き推定のために設定した現ブロックおよび周辺ブロックを示す図である。
【図４Ｂ】図４Ａの現ブロックおよび周辺ブロックのそれぞれに対する最終動きベクトルを示す図である。
【図５】補間されるフレーム／フィールドの所定位置に対する動き軌跡を現ブロックと周辺ブロックの最終動きベクトルを用いて概略的に示す図である。
【図６】図３の動き推定／補償装置によりブロックアーティファクトが除去された映像のシミュレーションの例を示した図である。
【図７】本発明の好適な第２の実施例に係る画素値選択装置が設けられた動き推定／補償装置を概略的に示すブロック図である。
【図８】図３によって画素値を選択して動きを補償する動き推定／補償方法を概略的に説明するためのフローチャートである。
【符号の説明】
【０１０７】
３００  動き推定／補償装置
３１０  第１の遅延器
３２０  第２の遅延器
３３０  動き推定部
３４０  画素選択部
３５１  第１の格納部
３５２  第１の画素値抽出部
３５３  第１の補償画素算出部
３６１  第２の格納部
３６２  第２の画素値抽出部
３６３  第２の補償画素算出部
３７０  動き補償補間部
【図１】
2005012797.tif 000031
【図２】
2005012797.tif 000032
【図３】
2005012797.tif 000033
【図４Ａ】
2005012797.tif 000034
【図４Ｂ】
2005012797.tif 000035
【図５】
2005012797.tif 000036
【図６】
2005012797.tif 000037
【図７】
2005012797.tif 000038
【図８】
2005012797.tif 000039