(57)【要約】【課題】　予測誤差を最小化するビデオコーデックのための最適なフィルタを特定することを可能とする適応補間フィルタシステムを提供する。【解決手段】　ビデオコーデックにおいて予測誤差を最小化する最適補間フィルタの探索処理を行う本発明に係る適応補間フィルタシステムは、補間モジュールと探索空間を備える。探索空間内には、３次元的に並んだ格子点のそれぞれに補間フィルタが配置される。補間モジュールにより現在最小フィルタが選択され、その現在最小フィルタに基づき、現在最小フィルタに近接する複数の候補フィルタを含む探索領域が特定される。補間モジュールは候補フィルタのそれぞれについて予測誤差を算出し、探索領域内において最小の予測誤差をもたらす候補フィルタが新たな現在最小フィルタとして特定される。その後、予測誤差が最小化されるまで、同様の探索処理が繰り返される。【選択図】　　　図１
2004147328.tif 000002
【特許請求の範囲】
【請求項１】
　一定の範囲を有する多次元空間である探索空間の内部に離散的に配置された複数の格子点の中から１の格子点を選択し、選択した格子点の座標をフィルタ係数とするフィルタを、現在最小フィルタとして選択する選択ステップと、
　前記探索空間のうち、前記選択ステップにおいて選択された格子点および当該格子点に近接する複数の格子点を含む一定の空間を探索領域として定義する定義ステップと、
　前記探索領域に含まれる複数の格子点のそれぞれに関し、当該格子点の座標をフィルタ係数とするフィルタを用いて、参照用の画像データに対し補間処理を施す補間ステップと、
　前記補間ステップにおいて前記補間処理に用いられたフィルタのうち、前記補間処理における予測誤差が最小となるフィルタを特定する特定ステップと
　を備えることを特徴とするビデオコーデックにおけるフィルタ特定方法。
【請求項２】
　複数のフィルタ係数を有するフィルタの１つを現在最小フィルタとして選択する選択ステップと、
　多次元空間において、前記現在最小フィルタのフィルタ係数を座標とする格子点および当該格子点に隣接する格子点を含む一定の範囲を、探索セットとして定義する定義ステップと、
　前記探索セットに含まれる格子点のそれぞれに関し、当該格子点の座標をフィルタ係数とするフィルタを用いたフィルタ処理を、先行する画像データのフレームに用いることにより、先行する画像データのフレームとの差分として表現され、後続する画像データのフレームを近似するデータである予測画像データを生成する生成ステップと、
　前記後続する画像データと、前記先行する画像データおよび前記予測画像データに基づき生成される画像データとの差を予測誤差として算出する算出ステップと、
　前記探索セットに含まれる格子点のそれぞれの座標をフィルタ係数とするフィルタのうち、前記算出ステップにおいて算出される予測誤差が最小となるものを特定する特定ステップと
　を備えることを特徴とするビデオコーデックにおけるフィルタ特定方法。
【請求項３】
　多次元空間において、離散的に配置された格子点のうち、１の格子点および前記１の格子点に隣接する複数の格子点を含む空間を探索セットとして定義する定義ステップと、
　前記１の格子点の座標をフィルタ係数とするフィルタを現在最小フィルタとして、また前記１の格子点に隣接する複数の格子点のそれぞれに関し、当該格子点の座標をフィルタ係数とするフィルタを候補フィルタとして、それぞれ準備する準備ステップと、
　前記準備ステップにおいて準備される複数の候補フィルタに関し、時系列的に並んだ複数のビデオデータのフレームの一つである現在フレームに対し、前記複数の候補フィルタのそれぞれを用いたフィルタ処理を施した際の予測誤差を算出し、当該予測誤差が最小となる候補フィルタを探索する探索ステップと、
　前記探索ステップにおいて探索される候補フィルタのフィルタ係数を座標とする格子点を、前記１の格子点と交換し、新たな１の格子点とする交換ステップと
　を備え、さらに、前記探索ステップにおいて算出される予測誤差の最小値が予定の条件を満たすまで、前記定義ステップ、前記準備ステップ、前記探索ステップおよび前記交換ステップを繰り返す
　ことを特徴とするビデオコーデックにおけるフィルタ特定方法。
【請求項４】
　一定の範囲を有する多次元空間である探索空間の内部に離散的に配置された複数の格子点のそれぞれに関し、当該格子点の座標をフィルタ係数とするフィルタの中から、１のフィルタを現在最小フィルタとして選択する選択ステップと、
　前記探索空間において、前記現在最小フィルタのフィルタ係数を座標とする格子点との位置関係に基づき選択された格子点の集まりを探索セットとして特定し、探索セットに含まれる格子点のそれぞれに関し、当該格子点の座標をフィルタ係数とすることにより、前記現在最小フィルタと近似するフィルタを候補フィルタとして特定する特定ステップと、
　前記特定ステップにおいて特定される候補フィルタのうち、当該候補フィルタを用いたビデオデータの予測誤差が最小となる候補フィルタを探索する探索ステップと、
　前記探索ステップにおいて探索された候補フィルタを前記現在最小フィルタと交換し、新たな現在最小フィルタとする交換ステップと、
　前記探索ステップにおける予測誤差が減少しなくなるまで、前記特定ステップ、前記探索ステップおよび前記交換ステップを繰り返す反復ステップと、
　前記反復ステップが終了した場合、前記探索空間における格子点の密度を変更することにより予測誤差の精度を変更する変更ステップと
　を備え、
　前記探索ステップにおける予測誤差が予め定められた閾値に達するまで、前記特定ステップ、前記探索ステップ、前記交換ステップ、前記反復ステップおよび前記変更ステップを繰り返す
　ことを特徴とするビデオコーデックにおけるフィルタ特定方法。
【請求項５】
　記憶装置を備え、
　前記記憶装置は、
　多次元空間に離散的に配置された格子点のそれぞれの座標をフィルタ係数とする複数のフィルタと、
　前記複数のフィルタの１つを現在最小フィルタとして選択する処理手順と、
　前記多次元空間において、前記現在最小フィルタのフィルタ係数を座標とする格子点の周りに隣接する格子点のそれぞれの座標をフィルタ係数とするフィルタを候補フィルタとして選択する処理手順と、
　前記候補フィルタのそれぞれを用いてビデオデータの予測画像を生成した際の予測誤差を算出し、前記候補フィルタのうち、算出した予測誤差が最小となるものを最適フィルタとして特定する処理手順と
　を記憶していることを特徴とする、ビデオコーデック内に設けられたフィルタシステム。
【請求項６】
　多次元空間である探索空間における格子の密度を示す精度を決定する精度管理部と、
　前記探索空間において、前記精度管理部により決定された精度に従い離散的に配置された格子点のそれぞれの座標をフィルタ係数とする複数のフィルタと、
　前記探索空間に含まれる複数の格子点のうち、１の格子点を選択する選択部と、
　前記探索空間において、前記選択部により選択された格子点に近接する複数の格子点を含む空間を探索領域として特定する領域管理部と、
　前記探索領域において、前記選択部により選択された格子点に隣接する複数の格子点を含む空間を探索セットとして特定する探索セット管理部と、
　前記探索セットに含まれる格子点のそれぞれに関し、当該格子点の座標をフィルタ係数とするフィルタを用いて、ビデオデータの予測誤差を算出し、算出した複数の予測誤差のうち、最小のものの算出に用いたフィルタを特定する動き補償部と、
　前記動き補償部が特定したフィルタのフィルタ係数を座標とする格子点を、前記選択部により選択された１の格子点と交換する内部ループ処理部と、
　前記動き補償部により算出される予測誤差に基づき、前記精度管理部に対し精度の再決定を指示する外部ループ処理部と、
　前記動き補償部により算出される予測誤差が所定の閾値に達した場合に、当該予測誤差をもたらしたフィルタを最適フィルタとして特定する終了指示部と
　を備えることを特徴とする、ビデオコーデック内に設けられた補間モジュール。
【発明の詳細な説明】
【技術分野】
【０００１】
　本発明は、ビデオ符号化技術に関し、より具体的には、動き補償予測を用いたビデオ符号化のための適応補間フィルタシステムに関する。
【背景技術】
【０００２】
　ビデオデータを符号化により圧縮し、また復号化により解凍するデータ圧縮技術は広く知られている。そのようなデータ圧縮技術は、ビデオデータをデータリンク経由で転送する際に、そのデータ量を可能な限り小さくする必要がある場合によく用いられている。現時点で最も進んだデータ圧縮技術によれば、ビデオデータは、分数画素分解能の動きベクトルによる動き補償予測により圧縮および解凍される。近年、動きベクトルの精度は向上してきており、１／２画素分解能、１／３画素分解能、１／４画素分解能、１／６画素分解能、１／８画素分解能等で表現される分数画素分解能の精度が用いられるようになっている。例えば、ビデオ符号化の規格であるＭＰＥＧ−２においては、動きベクトルの精度として、１／２画素分解能が採用されている。同じくビデオ符号化の規格であるＭＰＥＧ−４においては、動きベクトルの精度として、より高い分解能、すなわち１／４画素分解能が採用されている。さらに、他のビデオ符号化の規格であるＡＶＣ（Ａｄｖａｎｃｅｄ　Ｖｉｄｅ　Ｃｏｄｉｎｇ）においては、動きベクトルの精度として、１／８画素分解能が採用されている。
【０００３】
　動きベクトルの精度として分数画素分解能を用いると、ビデオデータにおける画像の動きを、より正確に表現することができる。通常、動きベクトルの精度が高い程、ビデオデータに含まれるフレームを符号化する際の予測の精度が高くなる。予測における精度が向上すると、一般的に、符号化および復号化の性能、例えば符号化ゲインや復号化され再構成されたビデオデータにより再生される動画の画質が向上する。分数画素分解能は、符号化を行う側の機器が動き予測処理における補間処理を行う際、また復号化を行う側の機器が動き補償処理における補間処理を行う際に用いられる。
【０００４】
　分数画素分解能表現のフレームは、例えば、通常の画素精度（以下、「完全画素精度」と呼ぶ）のフレームに対し、ローパスフィルタ処理を施すことにより生成される。ローパスフィルタ処理が用いられる理由は、フレーム間の動き予測処理において、低域および中域の周波数成分は高い確度で予測可能であるが、高域の周波数成分に関しては、十分な確度で予測ができないためである。分数画素分解能の動きベクトルは、一般的に、完全画素分解能の動きベクトルに対応する画素の情報に基づき補間される分数画素により生成される。
【０００５】
　例えば、ＡＶＣにおいては、以下の処理により１／８画素分解能の動きベクトルが生成される。
１）適当な完全画素分解能のベクトルを探索する。
２）探索された完全画素分解能のベクトルの周囲に位置する８個の１／２画素の情報に基づいて、適当な１／２画素分解能のベクトルを探索する。
３）探索された適当な１／２画素分解能のベクトルの周囲に位置する８個の１／４画素の情報に基づいて、適当な１／４画素分解能のベクトルを探索する。
４）探索された適当な１／４画素分解能のベクトルの周囲に位置する８個の１／８画素の情報に基づいて、適当な１／８画素分解能のベクトルを探索する。
【０００６】
　従って、ビデオデータに含まれるフレーム間の動きの精度は、２つの要因、すなわち完全画素分解能における動きベクトルの正確さと、分数画素分解能のベクトル生成に用いられる補間の方法により決定される。
【０００７】
　１／２、１／４等の分数画素の補間は、一般的に、線形ローパスフィルタを用いたフィルタ処理により行われる。そのような線形ローパスフィルタの係数の値および個数は、様々に変更することができる。よく知られたフィルタの１つとして、例えばバイナリフィルタと呼ばれる不変的なフィルタがある。このバイナリフィルタによるフィルタ処理が各画素に対して施される際に、フィルタの係数の値および個数が変化することはない。これに対し、最近では、適応補間フィルタ（以下、「ＡＩＦ」と呼ぶ）を用いた新しい技術が、様々な分解能の画素の補間技術として採用されつつある（例えば、非特許文献１参照）。
【非特許文献１】Ｔ．ウェディ著「簡易化された適応補間フィルタ」ＩＳＯ／ＩＥＣ、ＭＰＥＧおよびＩＴＵ−Ｔ共同ビデオチームによるＶＣＥＧ第４回会議、２００２年７月、オーストリア、カーゲンフルト（Ｔ．Ｗｅｄｉ　“Ａｄａｐｔｉｖｅ　Ｉｎｔｅｒｐｏｌａｔｉｏｎ　Ｆｉｌｔｅｒ　ｗｉｔｈ　Ｒｅｄｕｃｅｄ　Ｃｏｍｐｌｅｘｉｔｙ”　Ｊｏｉｎｔ　Ｖｉｄｅｏ　Ｔｅａｍ　ｏｆ　ＩＳＯ／ＩＥＣ　ＭＰＥＧ　ａｎｄ　ＩＴＵ−Ｔ　ＶＣＥＧ　−　４ｔｈ　ｍｅｅｔｉｎｇ，　Ｋａｇｅｎｆｕｒｔ，　Ａｕｓｔｒｉａ，　Ｊｕｌｙ　２００２）。
【０００８】
　ごく簡単に説明すれば、ＡＩＦは、ビデオデータにおける変動する統計的属性、例えばエイリアシングや動きに関する属性に関し、フレーム毎にフィルタ係数を適応的に変化させる技術である。そのように適応されたフィルタ係数は、フレーム情報の一部として符号化され送信される。
【０００９】
　ＡＩＦは数値探索法により決定され、ＡＩＦの決定のために利用可能な数値探索法としては、可変計量法と下降シンプレックス法がよく知られている（例えば、非特許文献２参照）。
【非特許文献２】Ｗ．Ｈ．出版、Ｓ．Ａ．テウコルスキー、Ｗ．Ｔ．ベルテルリングおよびＢ．Ｐ．フランネリー著「Ｃ＋＋における数値処理法−科学的計算技術」ケンブリッジ大学出版、２００２（Ｗ．Ｈ．　Ｐｒｅｓｓ、Ｓ．Ａ．　Ｔｅｕｋｏｌｓｋｙ、Ｗ．Ｔ．　Ｖｅｒｔｅｒｌｉｎｇ，ａｎｄ　Ｂ．　Ｐ．　Ｆｌａｎｎｅｒｙ　“Ｎｕｍｅｒｉｃａｌ　Ｒｅｃｉｐｅｓ　ｉｎ　Ｃ＋＋　−　Ｔｈｅ　Ａｒｔ　ｏｆ　Ｓｃｉｅｎｔｉｆｉｃ　Ｃｏｍｐｕｔｉｎｇ”　Ｃａｍｂｒｉｄｇｅ　Ｕｎｉｖｅｒｓｉｔｙ　Ｐｒｅｓｓ，　２００２）。
【００１０】
　可変計量法は疑似ニュートン法とも呼ばれ、数値勾配情報に基づき、この場合、補間フィルタ処理に伴う予測誤差を最小化するように反復計算を行う方法である。反復計算のそれぞれにおいて、現在用いられているフィルタによる予測誤差の算出と、次に用いられる新たなフィルタの生成が行われる。
【００１１】
　下降シンプレックス法は、勾配情報を用いる代わりに、シンプレックスと呼ばれる、仮想空間内において予め与えられた幾何学的な形状を用いる数値探索法である。この場合、シンプレックスは複数のフィルタを含む探索空間を意味する。例えば、３次元の探索空間において、シンプレックスは四面体として定義される。シンプレックスは、予測誤差を最小化するように、ランダムに拡張、収縮、もしくは折り返しが行われる。まず、探索空間内において、目的関数の値、すなわち予測誤差が最大となる点（以下、「最大点」と呼ぶ）および最小となる点（以下、「最小点」と呼ぶ）が求められる。続いて、予測誤差が小さくなる点を求めるために、シンプレックスが最大点の周りで折り返される。折り返されたシンプレックスが示す点における予測誤差が最大点における予測誤差よりも小さくなる場合、最大点からその点に向かう方向にシンプレックスの拡張が行われる。一方、シンプレックスが示す点における予測誤差が前回に算出した最大点における予測誤差よりも大きくなる場合、それらの点の中間に位置する点における予測誤差が算出される。上記のステップが繰り返された後、予測誤差が小さくならない場合、シンプレックスは縮小され、再度同様の処理が繰り返される。
【００１２】
　ところで、上述した可変計量法および下降シンプレックス法は、最適解を得るまでに要する計算量が大きい。従って、プロセッサに対する計算負荷が大きいと同時に、最適解を得るまでに長時間を要する、という欠点を持っている。さらに、フィルタの探索がランダムな順序で行われるため、探索されたフィルタが、局所的には予測誤差を最小化するものであっても、利用可能な全てのフィルタの中で予測誤差を最小化するものではない可能性がある。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
　上記の状況に鑑みて、本発明は、ビデオコーデックのための最適なフィルタを、小さい計算負荷および短い時間で特定することを可能とする適応補間フィルタシステムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
　本発明に係る適応補間フィルタシステムにおいては、最小の予測誤差をもたらす補間フィルタを探索するに際し、従来技術において用いられていたランダムな探索方法の代わりに、有向性および収束性を持つ探索法が用いられる。
【００１５】
　本発明に係る適応補間フィルタシステムは、探索空間と、探索空間において発見的探索法によりＡＩＦの探索を行う補間モジュールとを備えている。探索空間とは多次元の仮想的な空間であり、以下の説明においては、例としてその次元を３次元とする。また、探索空間は離散的な空間、すなわち、一定間隔で配置された格子点の集合である。そして、探索空間内の格子点のそれぞれには、その格子点の座標（もしくはベクトルの成分）をフィルタ係数とする、ビデオデータの補間に用いられるフィルタ（以下、「補間フィルタ」と呼ぶ）が配置されている。補間モジュールは、探索空間内に配置された補間フィルタの中から、最小の予測誤差をもたらす補間フィルタ（以下、「現在最小フィルタ」と呼ぶ）を選択する。続いて、補間モジュールは、探索空間に含まれる領域の中から、選択した現在最小フィルタに近接する補間フィルタを複数含む領域を探索領域として特定する。補間モジュールは、探索領域に含まれる現在最小フィルタ以外の補間フィルタを用いてビデオデータの補間を行い、その際の予測誤差が現在最小フィルタの予測誤差よりも小さくなるか否か、また他の補間フィルタの予測誤差よりも小さくなるかの判定を行う。その判定に基づき、それらの補間フィルタのいずれかが新たな現在最小フィルタとして特定される。すなわち、それらの補間フィルタは新たな現在最小フィルタの候補となる補間フィルタであるため、以下、探索領域内の現在最小フィルタ以外の補間フィルタを「候補フィルタ」と呼ぶ。
【００１６】
　上記の判定において、補間モジュールはそれぞれの候補フィルタを用いて、参照用の画像データに補間処理を行い、予測された画像データを生成する。予測された画像データは実際の画像データと比較され、それぞれの候補フィルタの処理に伴う予測誤差が求められる。補間モジュールは、そのように求められた予測誤差に基づき、複数の候補フィルタの中で最小の予測誤差をもたらした候補フィルタを新たな現在最小フィルタとして特定する。以上が現在最小フィルタの探索処理であり、この探索処理は予測誤差が予め定められた閾値に達するまで繰り返される。予測誤差が十分に小さくなり、閾値に達した場合、その時点で最小の予測誤差をもたらした補間フィルタが最適補間フィルタとして特定され、その最適補間フィルタによってフレームが符号化される。
【００１７】
　以下、本発明に係る適応補間フィルタシステム（以下、単に「適応補間フィルタシステム」と呼ぶ）が備える注目すべき特徴を説明する。まず、適応補間フィルタシステムは、予測誤差の判定に用いる候補フィルタの選択方法に特徴を有している。適応補間フィルタシステムにおいては、探索領域に含まれる候補フィルタの一部が探索セットとして選択され、その探索セットに含まれる候補フィルタに関してのみ、探索処理が行われる。その結果、探索処理に要する計算量が少なくなる。探索セットには、現在最小フィルタおよび現在最小フィルタの周りに隣接する候補フィルタのみが含まれる。従って、探索セットに含まれる候補フィルタの数が、探索領域に含まれる候補フィルタの数と比較してどの程度減少するかは、探索セットの形状に依存する。以下の説明において、探索セットの形状は立方体もしくは歪六面体であるものとする。さらに、適応補間フィルタシステムにおいては、現在最小フィルタに隣接する候補フィルタのうち、現在最小フィルタの予測誤差とほぼ同じ予測誤差をもたらすことが予め予測される候補フィルタは、探索セットから除外される。その結果、探索セットに含まれる候補フィルタの数は、さらに少なくなる。以下の説明においては、例として、探索セットに含まれる候補フィルタの数は１０個もしくは６個である。
【００１８】
　適応補間フィルタシステムは、探索処理の開始時における現在最小フィルタ（以下、「初期フィルタ」と呼ぶ）の選択方法にも特徴を有している。適応補間フィルタシステムにおいて、初期フィルタは、例えば、予め既定のフィルタとして設定されているフィルタ（以下、「既定フィルタ」と呼ぶ）であるか、もしくは１つ前のフレームにおける最適補間フィルタである。なお、後述するように、どの補間フィルタが初期フィルタとして選択されるかによって、探索空間内における探索領域の位置と、探索処理における反復処理の最初のルーチンにおける精度とが決定される。
【００１９】
　適応補間フィルタシステムは、探索処理における精度の設定方法にも特徴を有している。すなわち、適応補間ファイルシステムにおいて、補間モジュールは、探索空間における精度、すなわち格子点の密度を徐々に高めながら、探索処理を反復する。その際、精度の上限を示す閾値に応じて、最適補間フィルタの最終的な精度が決定される。しかしながら、探索の精度を低くして再度探索処理を開始する方が、よりよい探索結果が得られる場合がある。従って、適応補間フィルタシステムにおいては、精度とは異なるパラメータに基づく閾値が用いられ、その閾値に基づき、精度の引き下げおよび探索処理の再開始が行われる。その結果、探索結果を向上させないような不要な処理が行われることが回避される。なお、適応補間フィルタシステムにおいては、過度の探索処理が行われないように、予測誤差に関する閾値に基づいて探索処理の終了が行われる。その場合に用いられる予測誤差に関する閾値としては、例えば、最後に算出された２つの予測誤差間の差に対する閾値が用いられる。
【００２０】
　さらに、適応補間フィルタシステムは、予測誤差を算出する際に対象とするデータの範囲を選択する点にも特徴を有している。適応補間フィルタシステムにおいて、ビデオデータに含まれる各フレームは、複数のマクロブロックに分割され、それぞれのマクロブロックは滑らかなマクロブロックおよび滑らかでないマクロブロックのいずれかに分類される。そして、予測誤差の算出には、そのフレームに含まれる全てのマクロブロックではなく、滑らかでないマクロブロックのみが用いられる。
【００２１】
　より具体的には、本発明は、一定の範囲を有する多次元空間である探索空間の内部に離散的に配置された複数の格子点の中から１の格子点を選択し、選択した格子点の座標をフィルタ係数とするフィルタを、現在最小フィルタとして選択する選択ステップと、前記探索空間のうち、前記選択ステップにおいて選択された格子点および当該格子点に近接する複数の格子点を含む一定の空間を探索領域として定義する定義ステップと、前記探索領域に含まれる複数の格子点のそれぞれに関し、当該格子点の座標をフィルタ係数とするフィルタを用いて、参照用の画像データに対し補間処理を施す補間ステップと、前記補間ステップにおいて前記補間処理に用いられたフィルタのうち、前記補間処理における予測誤差が最小となるフィルタを特定する特定ステップとを備えることを特徴とするビデオコーデックにおけるフィルタ特定方法を提供する。
【００２２】
　また、本発明は、複数のフィルタ係数を有するフィルタの１つを現在最小フィルタとして選択する選択ステップと、多次元空間において、前記現在最小フィルタのフィルタ係数を座標とする格子点および当該格子点に隣接する格子点を含む一定の範囲を、探索セットとして定義する定義ステップと、前記探索セットに含まれる格子点のそれぞれに関し、当該格子点の座標をフィルタ係数とするフィルタを用いたフィルタ処理を、先行する画像データのフレームに用いることにより、先行する画像データのフレームとの差分として表現され、後続する画像データのフレームを近似するデータである予測画像データを生成する生成ステップと、前記後続する画像データと、前記先行する画像データおよび前記予測画像データに基づき生成される画像データとの差を予測誤差として算出する算出ステップと、前記探索セットに含まれる格子点のそれぞれの座標をフィルタ係数とするフィルタのうち、前記算出ステップにおいて算出される予測誤差が最小となるものを特定する特定ステップとを備えることを特徴とするビデオコーデックにおけるフィルタ特定方法を提供する。
【００２３】
　また、本発明は、多次元空間において、離散的に配置された格子点のうち、１の格子点および前記１の格子点に隣接する複数の格子点を含む空間を探索セットとして定義する定義ステップと、前記１の格子点の座標をフィルタ係数とするフィルタを現在最小フィルタとして、また前記１の格子点に隣接する複数の格子点のそれぞれに関し、当該格子点の座標をフィルタ係数とするフィルタを候補フィルタとして、それぞれ準備する準備ステップと、前記準備ステップにおいて準備される複数の候補フィルタに関し、時系列的に並んだ複数のビデオデータのフレームの一つである現在フレームに対し、前記複数の候補フィルタのそれぞれを用いたフィルタ処理を施した際の予測誤差を算出し、当該予測誤差が最小となる候補フィルタを探索する探索ステップと、前記探索ステップにおいて探索される候補フィルタのフィルタ係数を座標とする格子点を、前記１の格子点と交換し、新たな１の格子点とする交換ステップとを備え、さらに、前記探索ステップにおいて算出される予測誤差の最小値が予定の条件を満たすまで、前記定義ステップ、前記準備ステップ、前記探索ステップおよび前記交換ステップを繰り返すことを特徴とするビデオコーデックにおけるフィルタ特定方法を提供する。
【００２４】
　また、本発明は、一定の範囲を有する多次元空間である探索空間の内部に離散的に配置された複数の格子点のそれぞれに関し、当該格子点の座標をフィルタ係数とするフィルタの中から、１のフィルタを現在最小フィルタとして選択する選択ステップと、前記探索空間において、前記現在最小フィルタのフィルタ係数を座標とする格子点との位置関係に基づき選択された格子点の集まりを探索セットとして特定し、探索セットに含まれる格子点のそれぞれに関し、当該格子点の座標をフィルタ係数とすることにより、前記現在最小フィルタと近似するフィルタを候補フィルタとして特定する特定ステップと、前記特定ステップにおいて特定される候補フィルタのうち、当該候補フィルタを用いたビデオデータの予測誤差が最小となる候補フィルタを探索する探索ステップと、前記探索ステップにおいて探索された候補フィルタを前記現在最小フィルタと交換し、新たな現在最小フィルタとする交換ステップと前記探索ステップにおける予測誤差が減少しなくなるまで、前記特定ステップ、前記探索ステップおよび前記交換ステップを繰り返す反復ステップと、前記反復ステップが終了した場合、前記探索空間における格子点の密度を変更することにより予測誤差の精度を変更する変更ステップとを備え、前記探索ステップにおける予測誤差が予め定められた閾値に達するまで、前記特定ステップ、前記探索ステップ、前記交換ステップ、前記反復ステップおよび前記変更ステップを繰り返すことを特徴とするビデオコーデックにおけるフィルタ特定方法を提供する。
【００２５】
　また、本発明は、記憶装置を備え、前記記憶装置は、多次元空間に離散的に配置された格子点のそれぞれの座標をフィルタ係数とする複数のフィルタと、前記複数のフィルタの１つを現在最小フィルタとして選択する処理手順と、前記多次元空間において、前記現在最小フィルタのフィルタ係数を座標とする格子点の周りに隣接する格子点のそれぞれの座標をフィルタ係数とするフィルタを候補フィルタとして選択する処理手順と、前記候補フィルタのそれぞれを用いてビデオデータの予測画像を生成した際の予測誤差を算出し、前記候補フィルタのうち、算出した予測誤差が最小となるものを最適フィルタとして特定する処理手順とを記憶していることを特徴とする、ビデオコーデック内に設けられたフィルタシステムを提供する。
【００２６】
　また、本発明は、多次元空間である探索空間における格子の密度を示す精度を決定する精度管理部と、前記探索空間において、前記精度管理部により決定された精度に従い離散的に配置された格子点のそれぞれの座標をフィルタ係数とする複数のフィルタと、前記探索空間に含まれる複数の格子点のうち、１の格子点を選択する選択部と、前記探索空間において、前記選択部により選択された格子点に近接する複数の格子点を含む空間を探索領域として特定する領域管理部と、前記探索領域において、前記選択部により選択された格子点に隣接する複数の格子点を含む空間を探索セットとして特定する探索セット管理部と、前記探索セットに含まれる格子点のそれぞれに関し、当該格子点の座標をフィルタ係数とするフィルタを用いて、ビデオデータの予測誤差を算出し、算出した複数の予測誤差のうち、最小のものの算出に用いたフィルタを特定する動き補償部と、前記動き補償部が特定したフィルタのフィルタ係数を座標とする格子点を、前記選択部により選択された１の格子点と交換する内部ループ処理部と、前記動き補償部により算出される予測誤差に基づき、前記精度管理部に対し精度の再決定を指示する外部ループ処理部と、前記動き補償部により算出される予測誤差が所定の閾値に達した場合に、当該予測誤差をもたらしたフィルタを最適フィルタとして特定する終了指示部とを備えることを特徴とする、ビデオコーデック内に設けられた補間モジュールを提供する。
【発明の効果】
【００２７】
　本発明に係る方法、システムおよびモジュールによれば、従来技術による場合よりも小さい計算負荷および計算時間により、従来技術と比較して同程度に良好な予測誤差をもたらす最適補間フィルタの特定を行うことが可能となる。
【発明を実施するための最良の形態】
【００２８】
　上述したように、本発明は、ビデオコーデックにおいて、予測誤差を最小化する最適補間フィルタの特定を行う適応補間フィルタシステムを提供する。以下、適応補間フィルタシステムの好適な実施形態の例を説明する。適応補間フィルタシステムは、発見的探索法により最適補間フィルタの特定を行う。その発見的探索法に要する計算負荷は比較的小さく、その結果得られる最適補間フィルタを用いたビデオデータの符号化効率の高い点に特徴がある。そのような優れた成果を得るために、適応補間フィルタシステムは、探索領域の中から探索セットを選び出し、探索セットに含まれる候補フィルタに関し、順次、予測誤差の比較判定を行うことにより、最小の予測誤差をもたらす候補フィルタを特定する。探索セットに含まれる候補フィルタの数はごく少数に限定されているため、それらの候補フィルタの中から予測誤差を最小化するフィルタが短時間で正確に特定される。
【００２９】
　図１は、一般的なビデオコーデックであるビデオコーデック１２において、本実施形態に係る適応補間フィルタシステムである適応補間フィルタシステム１０が設けられている様子を示したブロック図である。なお、図１に示されるビデオコーデック１２の構成は一例であり、他の構成のビデオコーデックに適応補間フィルタシステム１０が設けられていてもよいことは言うまでもない。ビデオコーデック１２は、エンコーダ１４とデコーダ１６とを備えている。エンコーダ１４は、適応補間フィルタシステム１０、加算器１８、動き予測モジュール２０、フィードバック復号化モジュール２２、動き補償予測モジュール２４および符号化モジュール２６を備えている。デコーダ１６は、復号化モジュール２８と復元モジュール３０とを備えている。
【００３０】
　以下の説明において、例として、エンコーダ１４は、ビデオデータに含まれる時系列的にならんだ（ｔ−１）番目のフレームに対応する符号化されたフレームのデータ（以下、「参照フレームｓ’（ｔ−１）」と呼ぶ）を参照し、動き補償予測を行うことにより、ｔ番目のフレーム（以下、「現在フレームｓ（ｔ）」と呼ぶ）の予測画像データを符号化しようとしているものとする。なお、参照フレームｓ’（ｔ−１）は、エンコーダ１４が１つ前の符号化処理において符号化し、デコーダ１６に送出した画像データである。エンコーダ１４は、動き補償予測により得られた予測画像データと実際のフレームのデータに基づき、現在フレームｓ（ｔ）の予測画像データを表すデータの一部である予測誤差εpredを算出し、これを符号化した後、デコーダ１６に送出する。その際、エンコーダ１４は、やはり現在フレームｓ（ｔ）の予測画像データを表すデータである動きベクトルｍ（ｔ）も算出し、符号化した後、デコーダ１６に送出する。なお、動きベクトルｍ（ｔ）は、参照フレームｓ’（ｔ−１）内のある範囲内の画像データを基準とした場合、現在フレームｓ（ｔ）内の同じ範囲内の画像データがどのように移動しているかを示すデータである。
【００３１】
　ビデオコーデック１２において、現在フレームｓ（ｔ）は、現在フレーム伝送路３６を経由して、エンコーダ１４に入力される。エンコーダ１４において、現在フレームｓ（ｔ）は、適応補間フィルタシステム１０、加算器１８および動き予測モジュール２０にそれぞれ送られる。一方、１つ前の符号化処理において符号化された参照用の画像データは、参照フレームｓ’（ｔ−１）としてフィードバック復号化モジュール２２に一時的に保持された後、参照フレーム伝送路３８を経由して、適応補間フィルタシステム１０および動き予測モジュール２０に送られる。
【００３２】
　動き予測モジュール２０は、現在フレームｓ（ｔ）を複数のブロックに分割し、それぞれのブロックに対応する動きベクトルｍ（ｔ）を算出する。動きベクトルｍ（ｔ）は分数画素分解能で表現されていてもよく、その場合、参照フレームｓ’（ｔ−１）における同じ位置に対応するデータが参照される。またその場合、適応補間フィルタシステム１０は、参照フレームｓ’（ｔ−１）に対し補間処理を行うことにより、分数画素分解能の精度で動き予測および動き補償を行う。
【００３３】
　動きベクトルｍ（ｔ）は、移動ベクトル伝送路４０を経由して、適応補間フィルタシステム１０、動き補償予測モジュール２４および符号化モジュール２６に送られる。適応補間フィルタシステム１０は、異なる補間フィルタを用いて、参照フレームｓ’（ｔ−１）に対し繰り返し補間処理を行い、さらに、動きベクトルｍ（ｔ）に基づき動き補償処理を行うことにより、一群の異なる予測画像データσ（ｔ）を生成する。それら複数の予測画像データσ（ｔ）は現在フレームｓ（ｔ）と比較され、予測誤差εpredが算出される。それぞれの補間フィルタに応じた予測誤差εpredに基づき、最適補間フィルタの探索が行われる。
【００３４】
　最適補間フィルタは、現在フレームｓ（ｔ）に関する予測誤差を可能な限り最小化する補間フィルタを意味する。最適補間フィルタの特定には、予め設定された閾値や、一つ前に処理されたフレームに関するパラメータ等を用いた、各種の制御条件が用いられる。最適補間フィルタが特定されると、参照フレームｓ’（ｔ−１）は最適補間フィルタにより補間された後、補間参照フレーム伝送路４２を経由して動き補償予測モジュール２４に送られる。
【００３５】
　動き補償予測モジュール２４は、最適補間フィルタにより補間された参照フレームｓ’（ｔ−１）と、現在フレームｓ（ｔ）から算出された動きベクトルｍ（ｔ）とを用いて、動き補償予測を行う。その動き補償予測により、最終的な予測画像データσ（ｔ）が得られる。最終的な予測画像データσ（ｔ）は、結果画像伝送路４４を経由して加算器１８に送られ、現在フレームｓ（ｔ）の画像信号から減算される。そのようにして算出された最終結果としての予測誤差εpredは、予測誤差伝送路４６を経由して加算器１８から符号化モジュール２６に送られる。さらに、最適補間フィルタは、最適補間フィルタ伝送路４８を経由して符号化モジュール２６に送られる。符号化モジュール２６は、現在フレームｓ（ｔ）の予測画像データσ（ｔ）を表すデータである最適補間フィルタ、最終的な予測誤差εpredおよび動きベクトルｍ（ｔ）を符号化する。そのように符号化されたデータは、データリンク５０を介してデコーダ１６に送出される。なお、データリンク５０は有線もしくは無線の通信媒体、ネットワーク等のいずれであってもよい。
【００３６】
　デコーダ１６は、復号化モジュール２８において、最適補間フィルタ、最終的な予測誤差εpredおよび動きベクトルｍ（ｔ）から、現在フレームｓ（ｔ）の近似データ（以下、この近似データを単に「現在フレームｓ（ｔ）」と呼ぶ）を復号化する。この復号化の処理は、上述した符号化の処理と類似しているため、説明を省略する。復号化モジュール２８による復号化の処理に続き、復号化された現在フレームｓ（ｔ）は、復号済フレーム伝送路５２を経由して復元モジュール３０に送られる。復元モジュール３０は復号化された現在フレームｓ（ｔ）を用いて、復元された現在フレームｓr（ｔ）（以下、「復元現在フレームｓr（ｔ）」と呼ぶ）を示す信号を生成し、復元信号伝送路５４に出力する。復元現在フレームｓr（ｔ）は現在フレームｓ（ｔ）に対応する表示用の画像データである。上記の復元が行われると、復元現在フレームｓr（ｔ）に表される画像が表示部等に表示可能となる。
【００３７】
　上述したように、適応補間フィルタシステム１０は、参照フレームｓ’（ｔ−１）を補間することにより、分数画素分解能の動きベクトルの生成を行うことができる。例えば、ＡＶＣにおいては、動きベクトルの分解能を高めるための種々の方法が採用され、近年では、１／３画素、１／４画素、１／６画素、１／８画素といった異なる画素分解能と、１／４画素もしくは１／８画素の精度による補間が採用され、実用化に至っている。
【００３８】
　フィルタ処理による補間においては、どのような補間方法を採用するかによりパフォーマンスが大きく左右される。一般的に、補間方法は大きく、不変型補間と適応型補間に区分される。不変型補間とは、フレーム内のブロック間および異なるフレーム間のいずれにおいても係数の変化がない固定的なフィルタが用いられる補間方法のことである。図２は１／４画素分解能の分数画素の生成を模式的に示したブロック図である。例えば、不変型補間により１／４画素分解能の分数画素を生成する方法として、第１の補間フィルタ２０２と第２の補間フィルタ２０４を用いる方法がよく知られている。その場合、第１の補間フィルタ２０２によるフィルタ処理の結果、完全画素分解能（１：１）のベクトル２０６から１／２画素分解能（２：１）のベクトル２０８が生成される。続いて、第２の補間フィルタ２０４によるフィルタ処理の結果、１／２画素分解能のベクトル２０８から１／４画素分解能のベクトル２１０が生成される。
【００３９】
　第１の補間フィルタ２０２および第２の補間フィルタ２０４に、単独もしくは組み合わせの一方としてよく用いられるローパス補間フィルタの例を以下に示す。
【数１】
2004147328.tif 000003
【００４０】
　式１〜４に示される補間フィルタは、いずれもフィルタ係数が対称的に並んでいる。１／４画素分解能のフレームを生成するためには、６−ｔａｐ：Ｗ6（式３）を第１の補間フィルタ２０２として用い、２−ｔａｐ：Ｗ2（式１）を第２の補間フィルタ２０４として用いると良好な結果が得られることが知られている。なお、図２に示した補間フィルタの配置は例示であって、補間フィルタの数は生成したい画素分解能に応じて変化する。例えば、１／８画素分解能のフレームを生成するためには、一般的に３つの補間フィルタが用いられる。
【００４１】
　一方、適応型補間、すなわちＡＩＦを用いた補間は、ビデオデータにおける変動する統計的な属性、例えばエイリアシングや動きに応じて、フレーム毎に１組以上のフィルタ係数を適応的に割り当て、異なるフィルタ係数の補間フィルタを用いてフィルタ処理を行う方法である。例えば、上述した不変型補間の例を用いてＡＩＦによる補間を説明すると、ＡＩＦによる補間においては、第１の補間フィルタ２０２に不変型の補間フィルタである６−ｔａｐ：Ｗ6（式３）を用いる代わりに、式１〜式４のいずれかに示される補間フィルタが選択的に用いられる。
【００４２】
　上記のＡＩＦを用いた不変型補間の例においても、不変型補間の場合と同様に、第１の補間フィルタ２０２により完全画素分解能から１／２画素分解能への補間処理が行われる。第１の補間フィルタ２０２のフィルタ係数は符号化され、現在フレームの予測画像データ一部として、デコーダ１６に送出される。通常、適応補間フィルタはタップと呼ばれる複数のフィルタの組み合わせにより構成されており、フィルタ係数のそれぞれは各タップに対応している。タップは、参照フレームにおいて動きベクトルの補間が行われる際に、選択的に用いられる。すなわち、動き補償予測のゲインが最適となるようなタップが選択されるようにフィルタ係数が決定される。
【００４３】
　なお、上記のＡＩＦを用いた不変型補間の例において、第２の補間フィルタ２０４としては不変型の補間フィルタ、例えば２−ｔａｐ：Ｗ2（式１）をそのまま用いてもよいし、第１の補間フィルタ２０２と同様に、適応型の補間フィルタを用いてもよい。さらに、適応型の補間フィルタと不変型の補間フィルタが逆に組み合わされてもよい。
【００４４】
　適応補間フィルタシステム１０は適応型補間により補間処理を行うシステムである。以下の説明においては、例として、第１の補間フィルタ２０２にＡＩＦが、また第２の補間フィルタ２０４に不変型の補間フィルタが用いられるものとする。
【００４５】
　一般的な適応型補間においては、処理の対象となるフレームのそれぞれに関し、そのフレームに含まれるマクロブロック単位の予測誤差の和が全体として最小となるようなＡＩＦが設定される。マクロブロックとは、１つのフレームに含まれる画素もしくは分数画素を、例えば１６画素×１６画素などの管理しやすい小さな単位でグループ化したものをいう。
【００４６】
　より一般的には、ＡＩＦは以下の数式を満たすような補間フィルタである。
【数２】
2004147328.tif 000004
【００４７】
　ここで、εpredは予測誤差を、またｆoptは処理対象のフレームに対するＡＩＦ、すなわち最適化された第１の補間フィルタ２０２を表す。式５に示されるように、最適化された補間フィルタｆoptは、分数画素の生成に伴う予測誤差εpredを最小とする補間フィルタを意味している。すなわち、補間フィルタｆoptは、必ずしも処理対象のフレームの圧縮効率が最大となるような補間フィルタである必要はない。
【００４８】
　予測誤差εpredとしては、フレームにおける実際の画素と予測された画素との間の絶対誤差合計（ＳＡＤ）、自乗誤差合計（ＳＳＤ）もしくは絶対変換誤差合計（ＳＡＴＤ）がよく用いられる。予測画像データσ（ｔ）は通常、動きベクトルおよび分数画素を生成する補間処理により算出されるため、予測誤差εpredは、動きベクトルおよび補間フィルタを変数とする関数とみなすことができる。
【００４９】
　式５に示される最適化問題の目的関数である予測誤差εpredは多変数関数であるため、式５の最適解を得るのは容易ではない。ところで、多変数最適化問題は、実際には、容易に解が求められる複数の最適化問題に分解された後、それぞれの最適化問題の最適解を組み合わせることにより解かれるのが一般的である。適応補間フィルタシステム１０の処理においては、上記の戦略、すなわち多変数最適化問題の対象範囲を分割し、それぞれの範囲における解を求めてゆく戦略を採用されており、その一環として、動きベクトルの探索処理が式５の最適化問題から分離されている。すなわち、式５の最適化問題において、動きベクトルは不変とされている。その際に用いられる不変の動きベクトルは、式５の最適化問題を解く前に、他の発見的探索法等により決定されているものとする。その結果、予測誤差εpredは、第１の補間フィルタ２０２として選択されるＡＩＦのフィルタ係数にのみ依存することになる。
【００５０】
　図３は、式５の最適解を求める処理およびビデオコーデック１２（図１参照）において行われる動き補償予測符号化の処理の大きな流れを示したフロー図である。まず、適応補間フィルタシステム１０は、最初の現在最小フィルタ、すなわち初期フィルタを選択する（ステップ３００）。既に述べたように、現在最小フィルタとは、最小予測誤差をもたらす補間フィルタを探す際の基準として用いられる補間フィルタである。また、既に述べたように、適応補間フィルタシステム１０は仮想的な多次元空間である探索空間を備えており、現在最小フィルタは、そのフィルタ係数に応じて、探索空間に含まれる格子点のいずれか１つに配置されている。適応補間フィルタシステム１０は、探索空間において、現在最小フィルタに隣接する複数の候補フィルタのうち、いずれか１つを選択する（ステップ３０２）。続いて、適応補間フィルタシステム１０は、選択した候補フィルタを用いて参照フレームｓ’（ｔ−１）に対し補間処理を施し、所定の解像度の参照フレームを生成する（ステップ３０４）。
【００５１】
　続いて、適応補間フィルタシステム１０は、補間された参照フレームと動きベクトルｍ（ｔ）を用いて、動き補償予測を行う（ステップ３０６）。その結果得られる予測画像データσ（ｔ）は、現在フレームｓ（ｔ）と比較され、予測誤差εpredが算出される（ステップ３０８）。適応補間フィルタシステム１０は、そのように求めた予測誤差εpredに基づき、予め定められている予測誤差の閾値等の制御条件が満たされているか否かを判定する（ステップ３１０）。
【００５２】
　ステップ３１０において、所定の制御条件が満たされていると判定した場合、適応補間フィルタシステム１０は、その時点で選択していた候補フィルタを最適補間フィルタとして特定する（ステップ３１２）。続いて、適応補間フィルタシステム１０は、最適補間フィルタを用いて参照フレームｓ’（ｔ−１）の補間処理を行う（ステップ３１４）。動き補償予測モジュール２４は、適応補間フィルタシステム１０により補間された参照フレームｓ’（ｔ−１）と動きベクトルｍ（ｔ）とを用いて、最終的な予測画像データσ（ｔ）を生成する（ステップ３１６）。続いて、実際の現在フレームと予測画像データσ（ｔ）とに基づき、最終的な予測誤差εpredが算出される（ステップ３１８）。最適補間フィルタ、動きベクトルｍ（ｔ）および最終的な予測誤差εpredは、符号化モジュール２６により符号化される（ステップ３２０）。符号化されたそれらの情報は、デコーダ１６に送出される（ステップ３２２）。
【００５３】
　ステップ３１０において、所定の制御条件が満たされていないと判定した場合、適応補間フィルタシステム１０は、その時点で選択していた候補フィルタを、現在最小フィルタに隣接する他の候補フィルタと交換する（ステップ３２４）。その後、処理はステップ３０４に戻り、再度、予測画像データσ（ｔ）および対応する予測誤差εpredが算出され、制御条件が満たされているか否かの判定が行われる。その際、後述するように、適応補間フィルタシステム１０は候補フィルタを交換するのみでなく、一定の条件で現在最小フィルタの交換も行うため、ステップ３０４〜ステップ３２４の処理が繰り返される結果、候補フィルタの探索空間における位置も順次変化する。
【００５４】
　図３に示した処理の大きな流れから明らかなように、適応補間フィルタシステム１０により算出される予測誤差εpredは、第１の補間フィルタ２０２（図２参照）として選択されるＡＩＦの係数の関数となる。ところで、従来の補間方法において、６−ｔａｐ：Ｗ6（式３）に示した型の補間フィルタを用いて動画データの補間を行うと、一般的に良好な結果が得られることが知られている。従って、適応補間フィルタシステム１０における第１の補間フィルタ２０２（ｆ）、すなわちＡＩＦに対し、以下の条件を加えることとする。
【数３】
2004147328.tif 000005
【００５５】
　ここで、ｆは最大６つのタップを用いる補間フィルタを表し、各々のタップに対応するフィルタ係数は対称的に配置されている。従って、式５に示した最適化問題における変数は３つとなり、以下のように単純化される。
【数４】
2004147328.tif 000006
【００５６】
　ここで、ｈは補間フィルタにおける変数を表すベクトル（以下、「変数ベクトル」と呼ぶ）であり、ｈ＝［ａ0・ａ1・ａ2］tと表現される。予測誤差εpred（ｈ）は、変数ベクトルｈの関数であり、ｈoptは最適化された変数ベクトルｈを表している。
【００５７】
　図４は、適応補間フィルタシステム１０の機能的な構成を示すブロック図である。適応補間フィルタシステム１０は、補間モジュール４０２と探索空間４０４とを備えている。補間モジュール４０２は、発見的探索法により探索空間４０４において最小予測誤差の比較を行うことにより最適補間フィルタを探索するモジュールである。すなわち、補間モジュール４０２は、探索空間４０４内に離散的に配置された候補フィルタを用いて、試行的な予測誤差の算出を繰り返すことにより、最小予測誤差を探索する。補間モジュール４０２は、図３において説明したように、発見的探索法により各フレームに用いられるべきＡＩＦの特定を行うが、従来技術においてＡＩＦの特定に用いられている方法、すなわち可変計量法や下降シンプレックス法と比較し、補間モジュール４０２により行われる発見的探索法は、その計算効率が高い。
【００５８】
　補間モジュール４０２は記憶装置を備え、その記憶装置に、複数の処理手順を示すデータを記憶している。なお、記憶装置は、半導体記憶装置、磁気記憶装置、光学記憶装置等のいずれの形態のデータ記憶装置であってもよい。また、記憶装置はビデオコーデック１２の適応補間フィルタシステム１０の一部であってもよいし、ビデオコーデック１２からアクセス可能な外部の記憶装置であってもよい。補間モジュール４０２において、ある一連の機能の実行を指示する処理手順は、補間モジュール４０２の構成部として表現される。すなわち、図４に示すように、補間モジュール４０２は選択部４０８、探索部４１０および動き補償部４１２を備えている。ただし、補間モジュール４０２に含まれる処理手順の機能的な区分はこれに限られず、例えばより多数の構成部もしくはより少数の構成部に区分してもよい。なお、以下の説明において、例えば「選択部４０８が〜を行う」と表現する場合、実際には「選択部４０８の処理手順に従い補間モジュール４０２が〜を行う」ことを意味する。また、選択部４０８等は、記憶装置に記憶された処理手順に従い補間モジュール４０２が行う機能の区分である代わりに、それぞれ独立してデータ処理を行うプロセッサ等であってもよい。
【００５９】
　補間モジュール４０２は、記憶装置に記憶されている、構成部の各々に対応する処理手順に従った処理を行うことにより、発見的探索法を実行する。補間モジュール４０２により実行される発見的探索法においては、最小予測誤差をもたらす最適補間フィルタの探索が限定的に行われる。
【００６０】
　探索が開始されると、選択部４０８により、初期フィルタが現在最小フィルタとして選択される。続いて、探索部４１０により、より小さい予測誤差をもたらす補間フィルタを特定する探索処理が繰り返し行われる。探索部４１０により探索処理が行われる間、動き補償部４１２により、探索処理において選択されたそれぞれの候補フィルタに基づき、予測画像データが算出され、その予測画像データにより予測誤差が求められる。また、探索部４１０により探索処理が行われる間、選択部４０８により、より小さい予測誤差をもたらすと判定された候補フィルタにより現在最小フィルタが更新される。その結果、最小予測誤差が特定される。なお、探索部４１０による探索処理は、探索空間４０４の範囲内において行われる。
【００６１】
　探索空間４０４は、複数の補間フィルタ４１４を含んでいる。なお、以下、「補間フィルタを選択する」という場合、具体的には、参照フレームの補間処理に用いられるフィルタのフィルタ係数を選択することを意味する。補間フィルタ４１４は、図４に示すように、探索空間４０４に離散的に配置された格子点に配置されている。なお、探索空間４０４はフィルタ空間とも呼ばれる。探索空間４０４および探索空間４０４内に配置された補間フィルタ４１４は、上述した処理手順と同様に、記憶手段に記憶されている。ところで、補間フィルタ４１４のそれぞれは、以下の式８に示すように、ベクトル（α）で表現することができる。
【数５】
2004147328.tif 000007
【００６２】
　ここで、αi（ｉ＝０〜３）は整数であり、「／」は探索空間４０４に含まれるベクトルの大きさを調整するための除算を表す。
【００６３】
　すなわち、探索空間４０４は、整数値（α0・α1・α2）によって特定される離散的な補間フィルタ４１４により占められている。それぞれの補間フィルタ４１４に対応する整数値（α0・α1・α2）は、個々の補間フィルタ４１４を探索空間４０４内に配置する際のｘ座標、ｙ座標およびｘ座標を示している。すなわち、補間フィルタ４１４のあるものは探索空間４０４の原点（０，０，０）に配置されており、またあるものは、対応する整数値に基づき、３次元的な広がりを持つ探索空間４０４に含まれる格子点のいずれかに配置されている。なお、図４には、図の簡略化のため、探索空間４０４に含まれる補間フィルタ４１４の一部しか示していない。このように、空間的な位置がフィルタ係数に対応付けられているため、探索空間４０４内において互いに隣り合う補間フィルタは類似する補間フィルタとなる。
【００６４】
　以上の説明から容易に理解されるように、探索部４１０により探索空間４０４内を探索することにより得られる最適補間フィルタの精度、すなわち最適補間フィルタの係数の量子化の精度は、探索空間４０４における格子点間の距離に対応した精度となる。従って、式８における整数値α3は、探索空間４０４における格子点間の距離、すなわち得られる最適補間フィルタの精度を表している。例えば、α＝［４０・−１０・２］t／６４とβ＝［８０・−２０・４］t／１２８という２つのベクトルで表される補間フィルタ４１４は、格子点間の距離が異なる探索空間４０４において、同じ位置に配置された補間フィルタを表している。このように、最適補間フィルタの精度は、探索空間４０４と格子点間の相対的な大きさにより決定され、探索空間４０４における格子が密な程、フィルタ変数はより細かく量子化される。
【００６５】
　探索部４１０に区分される処理手順は、さらに領域管理部４１６、精度管理部４１８、探索セット管理部４２０、内部ループ処理部４２４、外部ループ処理部４２６、再開始指示部４２８、終了指示部４３０および部分予測管理部４３２に区分される。以下、探索部４１０の行う処理の詳細を説明する。
【００６６】
　まず、領域管理部４１６により、探索空間４０４内における探索領域が特定される。探索領域とは、探索空間４０４内の一定範囲を取り出したものである。探索部４１０は、領域管理部４１６により特定された探索領域に含まれる補間フィルタ４１４を１つ１つ検査していくことにより、その探索領域に含まれる補間フィルタ４１４の中から最適補間フィルタを特定する。なお、既述のとおり、探索空間４０４に含まれるそれぞれの補間フィルタ４１４に対応する予測誤差は、動き補償部４１２により、補間フィルタ４１４により補間された参照フレームに基づき算出される。
【００６７】
　格子点の密度が高い探索空間４０４、すなわち高い精度の探索空間４０４において、探索部４１０により最適補間フィルタの探索が行われると、より細かく量子化されたフィルタ係数を有する最適補間フィルタが求められる。探索空間４０４の精度は、精度管理部４１８により調整される。探索空間４０４において補間フィルタ４１４の精度を高めるには、フィルタ係数を大きくすればよい。従って、最適な補間フィルタ４１４を探索するためには、探索部４１０は低い精度の探索空間４０４における探索から開始し、所定の精度や予測誤差の閾値等の条件が満たされるまで、徐々に探索空間４０４の精度を引き上げながら、探索空間４０４における探索を繰り返せばよい。すなわち、最適な補間フィルタ４１４は、徐々に高い精度により生成された最適補間フィルタとして得られる。上記の説明から明らかなように、最適補間フィルタの精度は、探索領域の決定方法および探索空間４０４の精度により決定される。
【００６８】
　以下の説明において、探索領域は、現在最小フィルタの周囲に近接して配置されている一群の補間フィルタを含む空間を意味するものとする。探索領域は、現在最小フィルタに対応する中心、探索の対象となる候補フィルタのフィルタ変数の範囲（以下、「探索範囲」と呼ぶ）およびその形状により特定される。探索領域の好ましい形状として、例えば立方体が考えられるが、探索領域の形状は立方体に限られず、例えば球体等であってもよい。例えば、中心がｃ＝［ｃ0・ｃ1・ｃ2］tであり、探索範囲が［−４，４］×［−２，２］×［−１，１］である探索領域Ωは、以下の式で表される立方体となる。
【数６】
2004147328.tif 000008
【００６９】
　図５は、探索空間４０４の一部を占める立方体形状の探索領域５０２の例を示しており、探索領域５０２において、現在最小フィルタ５０４は、複数の近接する候補フィルタ５０６に囲まれている。図５において、探索領域５０２内には、図を簡明化するために、少数の候補フィルタ５０６を含む１つの平面のみを図示しているが、実際には、探索領域５０２は、現在最小フィルタ５０４に近接する候補フィルタ５０６を多数含む平面を、少なくとも３つ含んでいる。
【００７０】
　また、探索領域Ωは、例えば以下の式で表されるような、探索空間４０４内に含まれる歪六面体であってもよい。
【数７】
2004147328.tif 000009
【００７１】
　図６は、探索空間４０４の一部を占める歪六面体形状の探索領域６０２の例を示しており、探索領域６０２において、現在最小フィルタ５０４は、複数の近接する候補フィルタ６０６に囲まれている。図５の場合と同様に、図を簡明化するために、候補フィルタ６０６を含む１つの平面のみが図示されている。しかしながら、実際には、歪六面体形状の探索領域６０２は、現在最小フィルタ５０４に近接する候補フィルタ６０６を多数含む平面を、少なくとも３つ含んでいる。なお、図６においては、図５において示した立方体形状の探索領域５０２および探索領域５０２に含まれる候補フィルタ５０６に重ねて、歪六面体の探索領域６０２が描かれている。このような探索領域Ωの形状は、領域管理部４１６により決定される。
【００７２】
　図４に戻り説明を続ける。探索領域Ωの精度は、精度管理部４１８により、式８における整数値α3の値が調整されることにより決定される。整数値α3は、例えば３２、６４、１２８等の値を取る。例えば、探索領域に含まれるある探索点α＝［α0・α1・α2］tに対し、整数値の除数を示すα3が精度を示す値として与えられる（式８参照）。領域管理部４１６により、適切な中心および探索範囲を持つ探索領域が選択され、精度管理部４１８により、適切な探索空間の精度、すなわち探索の開始時の精度および終了時の精度が選択されると、探索部４１０により行われる探索処理の結果、十分な精度を持つ最適補間フィルタが特定される。
【００７３】
　探索セット管理部４２０は、探索処理をより簡易化するために、探索処理の対象とする候補フィルタの数が減じる。その結果、それらの補間フィルタに関し検査を行うための計算量が減じられる。すなわち、現在最小フィルタに対する相対的な位置関係に基づき、探索領域に含まれる候補フィルタの一部を取り出したグループとして、探索セットが特定され、その探索セットに含まれる候補フィルタに関してのみ、探索部４１０により、上述した試行的な探索処理が行われる。その際、試行的な探索処理は、最適補間フィルタが得られるまで、目的関数が改善される方向に向かって繰り返される。さらに、その試行的な探索処理の結果に基づき、探索セット管理部４２０により、新たな探索セットが動的に再設定される。
【００７４】
　例えば、選択部４０８により選択されたｃ＝［ｃ0・ｃ1・ｃ2］tという現在最小フィルタに関し、一連の探索処理が行われる場合、探索セットは探索空間４０４において現在最小フィルタに隣接している補間フィルタのみを含む。例えば、探索セットΞの形状が立法体形状（図５参照）である場合、探索セットΞに含まれる補間フィルタは、式９と類似する以下の式で表される。
【数８】
2004147328.tif 000010
【００７５】
　すなわち、探索セットΞは、現在最小フィルタｃを取り囲む最小の立方体を示す。
【００７６】
　探索セット管理部４２０により、歪六面体（図６参照）の形状をした、より効率的な探索セットが設定されてもよい。この場合の歪六面体は、現在最小フィルタを取り囲む最小の歪六面体である。その場合、探索セットΞは、式１０と類似する以下の式で表される。
【数９】
2004147328.tif 000011
【００７７】
　この場合、後述するように、歪六面体に含まれる補間フィルタのゲインは、いずれの平面に含まれる補間フィルタであるかによって変化する。探索セットに含まれる候補フィルタは、以下の式で示される平行した３つの平面上のいずれかに位置する。
【数１０】
2004147328.tif 000012
【００７８】
　ここで、定数▽は、（ｃ0＋ｃ1＋ｃ2−１）、（ｃ0＋ｃ1＋ｃ2）、（ｃ0＋ｃ1＋ｃ2＋１）のいずれかを示す。後述するように、同じ平面上の候補フィルタは、互いに近似したゲインをもたらす。従って、以下、これらの平面のそれぞれを「等ゲイン平面」と呼ぶ。
【００７９】
　立方体形状の探索セットと歪六面体形状の探索セットとを用いた実施試験によれば、探索部４１０により、いずれの場合も比較的良い結果が得られたが、歪六面体形状の探索セットを用いた場合の方が、立方体形状の探索セットを用いた場合と比較し、より良い結果が得られた。これらの形状の探索セットΞを用いる場合、探索空間４０４において、現在最小フィルタを囲む補間フィルタ４１４は２６個である。それらの候補フィルタに関し、探索部４１０および動き補償部４１２により、最小予測誤差の判定処理の試行が行われる。その際、探索セットに含まれる候補フィルタのうち、最大２／３において、現在最小フィルタと比較的大きく異なるゲインが得られる。
【００８０】
　立方体形状の探索セットに含まれる候補フィルタのあるものは、探索領域の中心に位置する現在最小フィルタｃとの間で、そのゲインに比較的大きな隔たりを生じる。この場合、候補フィルタのインパルス応答の合計は、２（α0＋α1＋α2）と表現されることが知られている。インパルス応答はフィルタのゲインを表現している。従って、候補フィルタのゲインは、個々の候補フィルタの探索空間４０４における空間的な位置に応じて変化する。例えば、探索セットΞに含まれる候補フィルタのインパルス応答の合計の、現在最小フィルタのインパルス応答の合計との絶対誤差は最大６となる。
【００８１】
　現在最小フィルタのゲインと比較的大きく異なるゲインをもたらす候補フィルタを、探索セットから除外することにより、探索セットのサイズをさらに小さくし、計算量を減少させることができる。ただし、そのような候補フィルタを完全に探索セットから除外すると、発見的探索法がうまく機能しない場合がある。例えば、ビデオデータがフェージングの途中状態を表すものである場合に、そのような問題が生じる。
【００８２】
　従って、探索処理が行われる間、計算負荷をより減らすために、より少ない候補フィルタを含む探索セットを選択的に決定する、という折衷的な探索方法が用いられる。いずれの候補フィルタが探索セットに含められるかは、探索空間４０４における、現在最小フィルタと個々の候補フィルタとの位置関係に基づいて、探索セット管理部４２０により決定される。
【００８３】
　探索セット管理部４２０は、フィルタのゲインに大きな差を生じ、他の候補フィルタと明らかに異なる性質を有する候補フィルタを除外することで、探索セットの内容に修正を加える。すなわち、探索セットには、単に探索空間４０４における空間的な位置関係、すなわち隣接しているという条件のみでなく、その動作が現在最小フィルタに類似するという条件をも満たす候補フィルタが含まれるように、探索セットに修正が加えられる。より具体的には、現在最小フィルタのゲインに近似するゲインをもたらす候補フィルタが選択され、探索セットの構成要素とされる。そして、一部の隣接する補間フィルタが探索セットから除外される結果、計算効率の向上がもたらされる。
【００８４】
　例えば、探索セットに、３つのグループに分類される１０個の候補フィルタを含めるようにする方法（以下、この方法を「隣接十フィルタ探索法」と呼ぶ）が考えられる。隣接十フィルタ探索法における１０個の候補フィルタは、いずれも、現在最小フィルタに隣接する補間フィルタである。また、他の例として、探索セットに、２つのグループに分類される６個の隣接する候補フィルタを含める方法（以下、この方法を「隣接六フィルタ探索法」と呼ぶ）が考えられる。また、これらの例に限られず、探索セット管理部４２０により、より多数もしくは少数の候補フィルタを探索セットに含めるようにする方法が採用されてもよい。
【００８５】
　図７は、探索空間に含まれる探索セット７００の透視図である。探索セット７００は、選択部４０８（図４参照）により選択された現在最小フィルタを現在最小フィルタ７０２として含んでいる。現在最小フィルタ７０２に加え、探索セット７００は複数の候補フィルタを含んでおり、それらの候補フィルタは、第１グループ７０４、第２グループ７０６および第３グループ７０８のいずれかに属している。なお、図７において示されている候補フィルタ以外の隣接する候補フィルタが、探索セット７００に含まれていてもよい。また、探索セットは、立方体形状（式１１参照）のもの、歪六面体形状（式１２参照）のもののいずれであってもよい。
【００８６】
　第１グループ７０４および第２グループ７０６は、共に現在最小フィルタ７０２に隣接する候補フィルタを４つ、含んでいる。第１グループ７０４および第２グループ７０６の候補フィルタは、現在最小フィルタ７０２に並ぶ位置にあり、それらの候補フィルタにより得られるゲインは、現在最小フィルタ７０２により得られるゲインと近似する。この関係を表現するため、以下の説明において、現在最小フィルタ７０２に並ぶ位置にある候補フィルタは、探索空間において同じゲイン平面に属する、という。第３グループ７０８は、現在最小フィルタ７０２の上部および下部に隣接して位置する２つの候補フィルタを含んでいる。第３グループ７０８に含まれる２つの候補フィルタのうち、いずれか一方は現在最小フィルタ７０２よりもかなり大きなゲインを、他の一方は現在最小フィルタ７０２よりもかなり小さなゲインをもたらす。すなわち、第３グループに属する候補フィルタは、それぞれ異なるゲイン平面に属している。
【００８７】
　上述したように、それぞれの候補フィルタに与えられる整数値により、その候補フィルタと現在最小フィルタ７０２との間の空間的な位置関係が表される。例えば、歪六面体形状の探索セットにおいて、現在最小フィルタ７０２を［ｃ0・ｃ1・ｃ2］のように表すと、第１グループ７０４に属する４つの候補フィルタはそれぞれ、以下のように表される。
【数１１】
2004147328.tif 000013
　また、第２グループ７０６に属する４つの候補フィルタはそれぞれ、以下のように表される。
【数１２】
2004147328.tif 000014
　さらに、第３グループ７０８に属する２つの候補フィルタはそれぞれ、以下のように表される。
【数１３】
2004147328.tif 000015
　隣接十フィルタ探索法においては、探索部４１０（図４参照）は、探索セット管理部４２０の処理により、第１グループ７０４、第２グループ７０６および第３グループ７０８を選択し、それらを探索セットに含める。探索部４１０は、１以上の探索セットに関し順次、探索処理を行い、一方、動き補償部４１２（図４参照）は、上述したように最小予測誤差の特定処理を行う。隣接十フィルタ探索法においては、それぞれの探索セットに１０個の候補フィルタが含まれているものの、それらの一部に関しては、１つ前のステップにおける探索セットにおいて既に試行的な予測誤差の算出がなされているため、それぞれの探索セットにおいて実際に予測誤差の算出を行う必要のある候補フィルタの数は１０よりも少ない。現在最小フィルタ７０２が１つ前の探索セットにおけるどのグループに属するものであったかによって、現在選択されている探索セットに含まれる５つ、７つもしくは９つの候補フィルタに関してのみ、予測誤差の算出が行われる。ただし、探索処理が全体として開始される際と、同じ探索空間において、より高い精度による探索処理が開始される際には、１０個の候補フィルタの全てに関して予測誤差の算出が行われる。
【００８８】
　隣接六フィルタ探索法においては、探索セット管理部４２０（図４参照）により、第１グループ７０４および第３グループ７０８のみが探索セットに含められる。探索部４１０および動き補償部４１２（図４参照）は、隣接十フィルタ探索法における場合と同様に、１以上の探索セットに関し、順次、探索処理を行う。隣接六フィルタ探索法においては、それぞれの探索セットに関して試行の回数が６回以下であるため、隣接十フィルタ探索法における場合と比較し、計算負荷は少なく、それだけ計算効率がよい。また、隣接六フィルタ探索法により導かれる最小予測誤差は、隣接十フィルタ探索法により導かれる最小予測誤差と大差がない。隣接十フィルタ探索法および隣接六フィルタ探索法のいずれも、より少ない数の候補フィルタを含む探索セットを用いることにより、高い計算効率と十分な正確性を備える発見的探索法を提供する。
【００８９】
　既に述べたように、探索部４１０は複数の探索セットのそれぞれに関し探索処理を繰り返す。その探索処理の間、探索セットは、１つ前の探索セットにおける試行の結果により決定される現在最小フィルタに基づき、動的に設定される。
【００９０】
　探索部４１０により繰り返される探索処理において、新たな探索セットを動的に生成するために、２種類の反復処理が行われる。第１の反復処理は内部ループ処理部４２４（図４参照）により行われ、第２の反復処理は外部ループ処理部４２６（図４参照）により行われる。内部ループ処理部４２４は、同じ精度の探索空間内において探索処理の対象となる候補フィルタを管理し、一方、外部ループ処理部４２６は、探索空間の精度を管理する。
【００９１】
　内部ループ処理部４２４により、探索セットは動的に拡張される。すなわち、探索セットには新たな候補フィルタが含められる。探索処理において、試行的に算出される予測誤差に基づき、新たな最小予測誤差が見つかると、選択部４０８により、その最小予測誤差を導き出した候補フィルタが新たな現在最小フィルタとして選択され、新たな現在最小フィルタに基づいて新たな探索領域が決定される。新たな探索領域は、新たな現在最小フィルタに近接する一群の候補フィルタを含んでいる。探索セット管理部４２０は、そのように決定された新たな探索領域の範囲内で、新たな探索セットの作成を行う。
【００９２】
　探索セットにおける探索処理は、その探索処理により得られる予測誤差に改善がみられる方向に探索セットを拡張しつつ、最適解が得られるまで繰り返される。内部ループ処理部４２４の処理に従った反復処理により最適解が得られると、続いて、外部ループ処理部４２６により、精度管理部４１８により用いられる現在最小フィルタの精度が引き上げられる。現在最小フィルタの精度は、探索空間４０４の精度を表している。その後、内部ループ処理部４２４の処理に従った反復処理が、その探索領域内において再度、開始される。
【００９３】
　外部ループ処理部４２６および内部ループ処理部４２４による反復処理は、それぞれ探索の深度および探索の広がりを管理するための処理と捉えることができる。これらの２種類の処理は、共に探索部４１０が行う数値探索における位置を制御するものであるが、その移動方向がそれぞれ異なっている。すなわち、数値探索において、内部ループ処理部４２４による反復処理および外部ループ処理部４２６による反復処理は、それぞれ、横方向の移動および上方向の移動となぞらえることができる。なお、上方向の移動を狭範囲の移動と呼んでもよい。
【００９４】
　上方向の移動は、予め与えられた精度の閾値により制御される。なお、精度の閾値は必要以上の反復処理が行われることを防止するために用いられる閾値であり、精度の代わりに、反復回数や予測誤差等の他のパラメータが用いられてもよい。精度の閾値は、外部ループ処理部４２６に対し設定される。
【００９５】
　一方、横方向の移動には、横方向のような閾値による制御は行われない。これは、低い精度において予測誤差が最小となっていない状態で高い精度における探索処理を開始しても、適切な最小予測誤差を特定できないためである。すなわち、同じ精度のレベルにおける探索処理において、もはやより良い予測誤差が得られない場合においてはじめて、より高いレベルにおける探索処理が開始される。なお、移動を制御するものとして、再開始のための閾値が用いられるが、これについては後述する。
【００９６】
　探索部４１０により行われる探索処理の結果は、選択部４０８により最初に選択される現在最小フィルタに大きく左右される。選択部４０８により最初に現在最小フィルタとして選択される補間フィルタ、すなわち初期フィルタがどの候補フィルタであるかによって、最小予測誤差に辿り着くまでの時間が大きく異なる。例えば、最小予測誤差をもたらす候補フィルタとゲインや精度が大きく異なる候補フィルタが初期フィルタとして選択されると、最小予測誤差をもたらす候補フィルタを探し出すまでに多くの試行が繰り返される必要がある。さらに、最終的に最適補間フィルタとして導き出される補間フィルタが、初期フィルタの近くの局所的な範囲においてのみ最適である補間フィルタである可能性も高くなる。従って、選択部４０８により選択される初期フィルタは、最終的に探索部４１０により特定される最適補間フィルタに比較的近い位置に配置された候補フィルタである必要がある。そして、好ましい初期フィルタが選択されると、探索部４１０により行われる最適補間フィルタを特定するまでの試行の回数が少なくてすむ。
【００９７】
　選択部４０８による初期フィルタの選択は、既定のフィルタ、例えば６−ｔａｐ：Ｗ6（式３）等の、ビデオデータの補間フィルタとして全般的に良好な結果が得られるフィルタを用いた現在フレームにおけるパラメータ分析に基づき行われる。もしくは、ビデオデータにおいて、ある予測されたフレームに続くフレームに関しては、前のフレームにおいて特定された最適補間フィルタが、選択部４０８によって、現在のフレームにおける初期フィルタとして選択される。通常のビデオデータにおいては、時系列的に隣り合う画像データは互いに強い正の相関を持っており、現在のフレームにおける最適補間フィルタは、一つ前のフレームにおける最適補間フィルタと近似する。従って、一つ前のフレームにおける最適補間フィルタを、現在フレームにおける初期フィルタとして用いることにより、探索部４１０による探索処理の計算効率が向上される。
【００９８】
　ところで、初期フィルタの精度はそのまま、探索空間の精度となるので、適切な初期フィルタが選択されたとしてもその精度が不適当であると、やはり、探索処理の結果が局所的な最適解となったり、最適補間フィルタに辿り着くまでの時間が長時間となったりする。もし、初期フィルタの精度が高いと、探索処理は短時間で終了するが、その結果得られる最適補間フィルタは、局所的な解である可能性が高くなる。一方、初期フィルタの精度が低いと、適切な最小予測誤差に辿り着くまでに長時間を要する。従って、一つ前のフレームにおける最適補間フィルタは、現在フレームにおける初期フィルタとして用いられる際に正規化され、例えば一つ前のフレームにおける初期の精度、予め定められた精度、一つ前のフレームにおける最終的な精度よりも一段階低い精度など、適すると思われる精度のものに修正される。すなわち、初期フレームの精度は、探索部４１０による現在フレームに関する探索処理が開始される前に、精度管理部４１８により引き下げられる。
【００９９】
　選択部４０８により既定の補間フィルタが選択されると、精度管理部４１８により、探索空間の精度の修正が行われる。実施試験により、既定の補間フィルタの精度を修正すると、計算効率が大幅に向上することが確かめられている。例えば、既定のフィルタとして６−ｔａｐ：Ｗ6（式３）を用いる場合、以下の式に示すように精度に修正を加えると、より良い成果が得られた。
【数１４】
2004147328.tif 000016
【０１００】
　ところで、内部ループ処理部４２４により横方向の移動が行われている間に、探索部４１０による探索処理の範囲を変更する目的で、再開始指示部４２８（図４参照）により、再開始の指示が行われる場合がある。再開始指示部４２８は、精度管理部４１８により決定された、ある補間フィルタの精度において、探索の範囲、すなわち横方向の移動を制限する。より具体的には、再開始指示部４２８は、横方向の移動回数が予め定められた閾値に達したか否かの判定を行うことにより、横方向の移動を制限する。なお、再開始の閾値は横方向の移動回数に限られず、探索処理において動的に変化する他のパラメータに関するものであってもよい。もし再開始の閾値が大きすぎると、予測誤差の向上をもたらさない不必要な探索処理が多く行われ、計算効率が下がる。一方、もし再開始の閾値が小さすぎると、探索処理において得られる解が局所的なものとなってしまう可能性が高くなる。
【０１０１】
　再開始指示部４２８は、横方向の移動の回数が再開始の閾値に達し、なおも横方向の移動が行われようとしている場合に、横方向の移動を停止する。そして、再開始指示部４２８は、精度管理部４１８に対し探索空間４０４の精度を下げるように指示を行う。探索空間４０４の精度が下げられると、選択部４０８により初期フィルタが改めて現在最小フィルタとして設定される。また、再開始指示部４２８により、現在最小フィルタのフィルタ係数の修正が指示される。例えば、初期フィルタが、一つ前の現在最小フィルタを含む等ゲイン平面に可能な限り近い等ゲイン平面上に位置するように、初期フィルタの３番目の係数が修正される。
【０１０２】
　ここで、再開始指示部４２８の処理は、探索部４１０による探索処理において、横方向の移動、上方向の移動に次ぐ第３番目の移動、すなわち下方向の移動を制御するものと捉えることができる。再開始指示部４２８により、発見的探索法においてエラーが発生した場合にも探索処理が継続されるという効果に加え、計算効率の向上という効果ももたらされる。なぜなら、再開始指示部４２８は、横方向の移動を続ける代わりに、横方向の移動よりも潜在的により大きな改善をもたらすことが期待される下方向の移動を指示するからである。さらに、再開始指示部４２８により、初期フィルタの選択の良否によって探索処理の効率および成果が大きく左右される、という問題が、ある程度緩和される。
【０１０３】
　終了指示部４３０の処理手順は、予測誤差の閾値を取り扱う。予測誤差の閾値とは、候補フィルタの予測誤差と現在最小フィルタの予測誤差との間の差の最大値を表す値であり、予め望ましい値が設定される。現在フレームにおいて、ある候補フィルタの予測誤差と、その時点の現在最小フィルタの予測誤差との差が、予測誤差の閾値を下回った場合、終了指示部４３０により、探索部４１０による探索処理の終了が指示される。すなわち、候補フィルタによりもたらされる予測誤差の向上の程度が予測誤差の閾値を下回る場合、探索処理が終了される。
【０１０４】
　なお、終了指示部４３０は予測誤差の差以外のパラメータに基づき、より小さい予測誤差を導く候補フィルタの探索処理の終了指示を行うようにしてもよい。予測誤差の改善のための検索処理は、データ量の圧縮もしくは画質の向上に貢献してはじめて意義を有する。ところで、画像信号の処理において用いられる離散コサイン変換（ＤＣＴ）の係数の量子化およびエントロピーの符号化等の結果としてもたらされる非線形性のために、画像信号におけるデータ圧縮率および画質は、予測誤差との間にある程度のランダムな関係を持っている。従って、適切な補間フィルタが特定された場合に最適補間フィルタの探索処理を終了させるために用いられる予測誤差の閾値として、終了指示部４３０が扱う予測誤差の閾値は、探索処理の反復回数、望ましいデータ圧縮率、符号化による画質水準など、ビデオデータのフレームの符号化に関する様々なパラメータに応じて決定されることが望ましい。
【０１０５】
　探索空間４０４における最適補間フィルタの探索処理において、部分予測管理部４３２はフレームにおいて一部の範囲のデータに関してのみ予測誤差を算出することにより、発見的探索法の計算効率を向上させる役割を果たす。異なる補間フィルタによってもたらされる予測誤差が大きく変化するのは、フレームにおける一部の範囲のみであるため、動き補償部４１２は、予測誤差に用いるべき部分を特定し、特定した部分についてのみ、予測誤差の算出に用いるように動き補償部４１２に対し指示を与える。その結果、算出される予測誤差の正確性はあまり下がることはない一方で、フレームに含まれる一部範囲のデータに関する予測誤差が算出されるため、その算出に要する計算負荷が軽減される。
【０１０６】
　どの範囲のデータに基づき予測誤差が計算されるべきであるかは、フレーム内のそれぞれの領域におけるデータの変化の程度により決定される。例えば、現在フレームの一部の範囲に、壁などの、あまり色彩等の変化のない対象物が含まれていると、その範囲に含まれる画素のデータは、それぞれ同様に変化する可能性が高い。そのようなデータの変化が滑らかな範囲においては、どのような補間フィルタを用いたとしても、予測誤差の差は小さいため、そのような範囲のデータは予測誤差の算出時の対象データから除外することができる。すなわち、フレームにおけるデータの変化が滑らかでない部分のデータのみを用いて算出された予測誤差は、全データを用いて算出された予測誤差と大差がなく、その目的を達することができる。
【０１０７】
　現在フレームに含まれる各領域のデータの滑らかさは、マクロブロックの分類として表現される。各領域は、対応するマクロブロックに含まれるデータの活性度に応じて、滑らかなマクロブロックか、滑らかでないマクロブロックのいずれかに分類される。各マクロブロックに含まれるデータの活性度の特定には、例えば、ハイパスフィルタによるフィルタ処理が用いられる。以下に、活性度の特定に利用可能な２つのフィルタを表す式を例示する。
【数１５】
2004147328.tif 000017
【０１０８】
　ここで、第１のフィルタＦ1および第２のフィルタＦ2はそれぞれ、画像信号の垂直方向および水平方向に対し適用され、その結果、異なる２つのフィルタ処理後の画像データが生成される。
【０１０９】
　マクロブロックの活性度は、オリジナルの画像信号とフィルタ処理後の２つの画像データに含まれる画素の自乗和により測定される。ここで、マクロブロックの活性度とは、マクロブロックのエッジ部におけるエネルギーを意味する。予め定められた活性度の閾値に従い、活性度が閾値を下回るマクロブロックは滑らかなマクロブロックに、また活性度が閾値を上回るマクロブロックは滑らかでないマクロブロックに、それぞれ分類される。上記のハイパスフィルタを用いる代わりに、データの滑らかさを判定するために、Ｓｏｂｅｌフィルタ等の他のフィルタが用いられてもよい。ただし、例えばＳｏｂｅｌフィルタを用いる場合、上記のハイパスフィルタを用いる場合と比較して、計算量が大きくなる。
【０１１０】
　図８は、サンプルフレーム８０２およびハイパスフィルタによるフィルタ処理後フレーム８０４を、マクロブロックの分類とともに示した図である。フィルタ処理後フレーム８０４は、サンプルフレーム８０２と同じ画像に対し、活性度の判定を目的とするハイパスフィルタ処理を施した画像を示している。各フレームはクレアシーケンスのフレームであり、複数の画素を含む複数のマクロブロック８０６を含んでいる。図８において、フィルタ処理後フレーム８０４に含まれる約２２％のマクロブロック８０６（図８において黒色のもの）が、そのフレームにおいて滑らかでないマクロブロックに分類されたものである。従って、それらのマクロブロック８０６は、予測誤差の処理対象となる。このように、フィルタ処理を施されたフレームデータの滑らかさに基づき、予測誤差を選択的に算出することにより、変化に乏しいビデオデータ、例えば背景の変化が少ない画像を含むビデオデータ等における計算効率が向上される。
【０１１１】
　図９〜図１１は、現在フレームｓ（ｔ）が補間処理される場合に、ビデオコーデック１２に設けられた適応補間フィルタシステム１０が行う処理の例を示したフロー図である。まず、選択部４０８により、初期フィルタが選択されることにより、一連の処理が開始される（ステップ９０２）。続いて、初期フィルタが既定の補間フィルタであるか否かが判定される（ステップ９０４）。初期フィルタが既定の補間フィルタでない場合、一つ前の符号化されたフレームにおいて最初に用いられた精度と同じ精度が、初期フィルタの精度として設定される（ステップ９０６）。続いて、動き補償部４１２により、初期フィルタの予測誤差が算出される（ステップ９０８）。ステップ９０４において、初期フィルタが既定の補間フィルタであった場合、初期フィルタの精度に対する修正処理が行われる（ステップ９１２）。その後、初期フィルタの予測誤差が算出される（ステップ９０８）。
【０１１２】
　ステップ９０８の処理に続き、初期フィルタの精度に基づき、探索空間４０４の精度が設定される（ステップ９１４）。続いて、ステップ９１４において設定された精度が、精度の閾値を超えているか否かが判定される（ステップ９１６）。設定された精度が閾値を超えている場合、動きベクトル、最後に得られた予測誤差εpredおよびその予測誤差εpredをもたらした補間フィルタが、現在フレームと共に符号化される（ステップ９１８）。符号化されたフレームは、デコーダ１６に送出される（ステップ９２０）。ステップ９１６において、設定された精度が閾値を超えていないと判定された場合、初期フィルタが現在最小フィルタとして特定される（ステップ９２４）。
【０１１３】
　離散的な探索空間における現在最小フィルタの位置に基づき、その位置を取り囲んで近接する候補フィルタを含む領域が探索領域として特定される（ステップ９２６）。探索セット管理部４２０は探索領域に含まれる候補フィルタのうち、現在最小フィルタに隣接する一部の候補フィルタ以外の候補フィルタを除外することにより、探索セットを生成する（ステップ９２８）。
【０１１４】
　続いて、フレーム内の部分的なデータのみによる予測誤差の算出、すなわち部分予測が有効化されているか否かの判定が行われる（ステップ９３０）。部分予測が有効化されている場合、現在フレームに含まれるマクロブロックの活性度が算出される（ステップ９３２）。活性度が閾値を下回るマクロブロックは滑らかなマクロブロックに分類され、活性度が閾値を上回るマクロブロックは滑らかでないマクロブロックに分類される（ステップ９３４）。滑らかなマクロブロックに分類されたマクロブロックは、探索セットから除外され、滑らかでないマクロブロックが、予測誤差の算出に用いられるマクロブロックとして特定される（ステップ９３６）。
【０１１５】
　続いて、探索セットに含まれる候補フィルタの１つが選択される（ステップ９３８）。また、ステップ９３０において、部分予測が有効化されていないと判定された場合も、ステップ９３８に処理が移り、探索セットに含まれる候補フィルタの１つが選択される。続いて、選択された候補フィルタにより、参照フレームｓ’（ｔ−１）に対し補間処理が行われる（ステップ９４０）。動き補償部４１２は、補間処理の施された参照フレームｓ’（ｔ−１）および現在フレームｓ（ｔ）の動きベクトルｍ（ｔ）を用いて、予測画像データσ（ｔ）を生成する（ステップ９４２）。
【０１１６】
　予測画像データσ（ｔ）は、現在フレームｓ（ｔ）と比較され、予測誤差εpredが算出される（ステップ９４４）。続いて、ステップ９４４において算出された予測誤差εpredが現在最小フィルタの予測誤差より小さいか否かが判定される（ステップ９４８）。算出された予測誤差εpredが現在最小フィルタの予測誤差より小さい場合、予測誤差の差が算出される（ステップ９５０）。続いて、ステップ９５０において算出された差が、終了のための閾値より小さいか否かが判定される（ステップ９５２）。算出された差が終了のための閾値より小さい場合、処理はステップ９１８に移り、フレームの符号化および送出が行われる。
【０１１７】
　ステップ９５２において、算出された差が終了のための閾値より小さくないと判定された場合、現在の探索セットに含まれる全ての候補フィルタが既に選択され、それらに対応する予測誤差εpredが算出されているか否かが判定される（ステップ９５６）。一方、ステップ９４８において、選択されている候補フィルタの予測誤差εpredが現在最小フィルタの予測誤差より小さくないと判定された場合も、処理がステップ９５６に移される。ステップ９５６において、まだ探索セットに含まれる全ての候補フィルタが選択されていないと判定された場合、処理はステップ９３８に戻され、他の候補フィルタが選択される。ステップ９５６において、探索セットに含まれる全ての候補フィルタが既に選択されていると判定された場合、続いて、現在最小フィルタの予測誤差より小さい予測誤差εpredをもたらす候補フィルタが見つかったか否かが判定される（ステップ９５８）。
【０１１８】
　ステップ９５８において、現在最小フィルタの予測誤差よりも小さい予測誤差εpredをもたらす候補フィルタが見つからなかったと判定された場合、現在最小フィルタの精度が引き上げられる（ステップ９６０）。その後、処理がステップ９０８に戻され、探索空間の精度が再設定された後、探索処理が繰り返される。ステップ９５８において、現在最小フィルタの予測誤差よりも小さい予測誤差εpredをもたらす候補フィルタが見つかったと判定された場合、その候補フィルタが新たな現在最小フィルタとして特定される（ステップ９６２）。続いて、再開始の閾値が有効化されているか否かが判定される（ステップ９６４）。再開始の閾値が有効化されていないと判定された場合、処理はステップ９２６に戻され、新たな現在最小フィルタを取り囲む探索領域の特定が行われる。その後、新たな探索領域に関して、最小予測誤差の探索処理が繰り返される。ステップ９６４において、再開始の閾値が有効化されていると判定された場合、続いて、探索領域における試行回数等が再開始の閾値に達したか否かが判定される（ステップ９６６）。試行回数等が再開始の閾値にまだ達していないと判定された場合、処理はステップ９２６に戻され、新たな探索領域の特定が行われる。ステップ９６６において、試行回数等が再開始の閾値に達したと判定された場合、現在最小フィルタに初期フィルタが再設定される（ステップ９６８）。続いて、初期フィルタおよび探索空間の精度が引き下げられ（ステップ９７０）、処理はステップ９２６に戻され、探索領域の特定が再度行われる。
【０１１９】
　上述したビデオコーデック１２に設けられた適応補間フィルタシステム１０の計算効率およびその成果は、実施試験の結果例により確かめることができる。出願人は、例として、隣接十フィルタ探索法および隣接六フィルタ探索法に従い、適応補間フィルタシステム１０にサンプルのビデオデータの処理を行わせた場合の実施試験を行った。さらに、適応補間フィルタシステム１０に、ＡＩＦを用いて、従来から知られる発見的探索法である可変計量法および下降シンプレックス法を行わせ、その実施試験の結果を本発明に係る隣接十フィルタ探索法等の実施試験の結果と比較した。なお、以下に示す実施試験に用いた探索法は例示であり、適応補間フィルタシステム１０が実行可能なものとして例示した他の探索法および他の既存の探索法を用いて、同様の実施試験を行ってもよい。
【０１２０】
　実施試験の例として、ＣＩＦ（Ｃｏｍｍｏｎ　Ｉｎｔｅｒｍｅｄｉａｔｅ　Ｆｏｒｍａｔ）に従った３０Ｈｚサイズのモバイルシーケンスと、ＱＣＩＦ（Ｑｕａｒｔｅｒ　Ｃｏｍｍｏｎ　Ｉｎｔｅｒｍｅｄｉａｔｅ　Ｆｏｒｍａｔ）に従った３０Ｈｚサイズのフォアマンシーケンスに関し、補間処理を行った。なお、いずれのフォーマットの画像データに関しても、フレーム数は３００とした。これらの実施試験例において、圧縮効率と計算負荷の２項目に関する検証を行った。圧縮効率は、図１２および図１３において、ビットレートと、画像の歪みを示す指標としてのＰＳＮＲ（Ｐｅａｋ　Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ　Ｒａｔｉｏ）との関係として示されている。図１２は、モバイルシーケンスのサンプルデータに関し、異なる符号化ビットレートに応じたＰＳＮＲの計測結果を対比して示したものである。一方、図１３は、フォアマンシーケンスのサンプルデータに関し、図１２と同様に、異なる符号化ビットレートに応じたＰＳＮＲの計測結果を対比して示したものである。
【０１２１】
　図１２および図１３において、各探索法における計算負荷は、一連のフレームを符号化する際に用いられたレートにより表されている。量子化パラメータ（ＱＰ）に応じてレートが変化するのは、ビデオコーデックにおける計算負荷がそれだけ変化していることを表している。図１２および図１３に示されるように、本発明に係る適応補間フィルタを用いた探索法におけるレートは、いずれの量子化パラメータを用いた場合においても、実質的に下降シンプレックス法におけるレートと同じである。従って、適応補間フィルタシステム１０によれば、最先端の下降シンプレックス法と同等の符号化効率を達成することができる。それはすなわち、通常のビデオデータの符号化に用いられているＡＶＣ　ＴＭＬ−８（Ｔｅｓｔ　Ｍｏｄｅｌ　Ｌｏｎｇ−Ｔｅｒｍ　８）に対し、最大約１．０ｄＢのＰＳＮＲの改善がもたらされることを意味する。
【０１２２】
　図１４は、下降シンプレックス法、隣接六フィルタ探索法、隣接十フィルタ探索法およびＡＶＣ　ＴＭＬ−８に従い、１フレームを符号化した場合の平均時間の試験結果例を比較したグラフである。このグラフにおいては、符号化方法のそれぞれに関し、量子化パラメータと符号化に要する平均時間との関係が示されている。ＡＶＣ　ＴＭＬ−８による探索法においては、６−ｔａｐ：Ｗ6（式３）の不変型の補間フィルタが用いられ、一方、隣接六フィルタ探索法、隣接十フィルタ探索法および下降シンプレックス法においてはＡＩＦが用いられている。図１４のグラフ１２０２はモバイルシーケンスのサンプルデータを異なる符号化方法によって符号化した場合における、１フレームを符号化するために要した平均時間を示している。グラフ１２０４は、フォアマンシーケンスのサンプルデータに関し、グラフ１２０２と同様に、１フレームを符号化するために要した平均時間を示している。グラフ１２０２およびグラフ１２０４に示されるように、適応補間フィルタシステム１０による適応型補間処理によれば、下降シンプレックス法による適応型補間処理が行われる場合と比較して、符号化に要する平均時間が大幅に削減される。これは、下降シンプレックス法による場合と実質的に同等の符号化効率を有するビデオデータの生成が、より短時間で可能となることを意味する。従って、本発明に係る適応補間フィルタシステム１０は、最小予測誤差を得るための、従来技術と比較して大幅に効率的な手段を提供する。
【０１２３】
　図１５は、隣接六フィルタ探索法および隣接十フィルタ探索法を用いて１つのフレームにＡＩＦの設定を行うために要する平均時間の減少率を示すグラフである。グラフ１３０２は、モバイルシーケンスのフレームを隣接十フィルタ探索法および隣接六フィルタ探索法を用いて圧縮した場合の、率下降シンプレックス法を用いた場合を基準とした平均時間の減少率を示している。グラフ１３０４は、フォアマンシーケンスのフレームに関し、同様に、隣接十フィルタ探索法および隣接六フィルタ探索法を用いて圧縮した場合の、率下降シンプレックス法を用いた場合を基準とした平均時間の減少率を示している。下降シンプレックス法を用いた場合と比較して、本発明に係る発見的探索法を用いた場合、それぞれのフレームに対しＡＩＦの設定を行うための計算時間が最大約７５％、減少されている。
【０１２４】
　上記の実施試験例においては、ＡＶＣ　ＴＭＬ−８を用いた場合を標準ケースとしてしる。すなわち、適応補間フィルタシステム１０による処理を除いて、実施試験例における他の条件は全てＡＶＣ　ＴＭＬ−８と同様であり、連続補間手法を用いたＡＶＣ　ＴＭＬ−８のソフトウェアが用いられている。第１フレームはＩフレームとして符号化され、残りのフレームはＰフレームとして符号化されている。動きベクトルの解像度は１／４画素であり、１つの参照フレームから、レート歪み最適化の行われない動き補償が行われる。エントロピー符号化の方法としては、ユニバーサル可変長符号化（ＵＶＬＣ）が用いられている。
【０１２５】
　最初の探索処理に用いられる初期フィルタとしては、最初のＰフレームに関し、式３に示した６−ｔａｐ：Ｗ6型のフィルタが既定フィルタとして用いられている。そして、一つ前のＰフレームに対し最適化された補間フィルタが、続くＰフレームの既定フィルタとして用いられている。予測誤差としては、ＳＡＴＤを、ＳＡＴＤの算出に用いた画素数で割った値が用いられている。
【０１２６】
　適応補間フィルタシステム１０に関して説明すると、まず、選択部４０８により、式１７に示した精度の修正が施された既定フィルタが選択される。もしくは、既定フィルタとして、一つ前のフレームにおける現在最小フィルタに対し、精度修正のための正規化を施したものが選択される。初期フィルタの精度は、精度管理部４１８により探索空間の初期の精度を決定するためにも用いられる。最終的な精度を決定する上方向移動に関する精度の閾値としては、３を設定した。再開始指示部４２８は有効化し、横方向移動の回数に関する再開始のための閾値としては、３を設定した。終了指示部４３０も有効化し、終了のための閾値として、連続する２つの局所解の差を採用し、その閾値を０．００５とした。さらに、部分予測管理部４３２も補間フィルタの探索処理において有効化した。マクロブロックの活性度の尺度としては、マクロブロックのエネルギーを画素単位で正規化したものを用い、その閾値として０．００２を設定した。さらに、適応補間フィルタの係数は、一つ前のフレームにおいて用いられる適応補間フィルタの係数から予測するように、符号化されている。
【０１２７】
　上述したように、本発明に係る、適応補間フィルタを用いたビデオデータの動き補償予測符号化のための発見的探索法は、多大な計算負荷の軽減および計算効率の向上をもたらす。最適補間フィルタの設定は、離散的な探索空間内に配置された候補フィルタの中から最適なものを探索することにより行われる。動き補償誤差を最小化する最適補間フィルタを特定するため、次々と候補フィルタが選択され、その適用が試行される。そのような探索処理により得られる最適補間フィルタは、フレームの符号化において予測誤差を最小化することが期待でき、その結果、圧縮効率も全般的に向上する。例えば、実施試験例において、一般的なビデオデータ列に対して本発明に係る最適補間フィルタを用いた符号化を行った結果、不変型の補間フィルタを用いた場合と比較し、最大約１．０ｄＢのＰＳＮＲの改善が得られた。さらに、実施試験例において、適応型の補間フィルタを用いる最先端の従来技術による場合と比較して、最大約７５％の計算時間の減少がはかられた。
【０１２８】
　なお、上記の実施形態は、本発明の内容を説明するために示した具体的な実施形態例であり、これらの実施形態には、本発明の技術的思想の範囲内において、様々な変形および変更を加えることが可能であることは言うまでもない。従って、本明細書および図面の内容は本発明の実施例を示す以上のものではなく、本発明の内容を何ら限定するものではない。
【図面の簡単な説明】
【０１２９】
【図１】本発明に係る適応補間フィルタシステムを備えるビデオコーデックのブロック図である。
【図２】本発明に係るビデオコーデックにより分数画素が生成される様子を示す模式図である。
【図３】本発明に係るビデオコーデック内の適応補間フィルタシステムの動作を示すフロー図である。
【図４】本発明に係る適応補間フィルタシステムの詳細ブロック図および探索空間の模式図である。
【図５】本発明に係る立方体形状の探索セットを含む探索空間の一部を示した模式図である。
【図６】本発明に係る歪六面体形状の探索セットを含む探索空間の一部を示した模式図である。
【図７】本発明に係る隣接十フィルタ探索法および隣接六フィルタ探索法における探索セット内の候補フィルタの位置を示した模式図である。
【図８】本発明に係る適応補間フィルタシステムにより処理を施した画像例を示す図である。
【図９】本発明に係る適応補間フィルタシステムの動作を示すフロー図である。
【図１０】本発明に係る適応補間フィルタシステムの動作を示すフロー図である。
【図１１】本発明に係る適応補間フィルタシステムの動作を示すフロー図である。
【図１２】本発明に係る適応補間フィルタシステムの実施試験例の結果を示す表である。
【図１３】本発明に係る適応補間フィルタシステムの実施試験例の結果を示す表である。
【図１４】本発明に係る適応補間フィルタシステムの実施試験例の結果を示すグラフである。
【図１５】本発明に係る適応補間フィルタシステムの実施試験例の結果を示すグラフである。
【符号の説明】
【０１３０】
１０…適応補間フィルタシステム、１２…ビデオコーデック、１４…エンコーダ、１６…デコーダ、１８…加算器、２０…動き予測モジュール、２２…フィードバック復号化モジュール、２４…動き補償予測モジュール、２６…符号化モジュール、２８…復号化モジュール、３０…復元モジュール、３６…現在フレーム伝送路、３８…参照フレーム伝送路、４０…移動ベクトル伝送路、４２…補間参照フレーム伝送路、４４…結果画像伝送路、４６…予測誤差伝送路、４８…最適補間フィルタ伝送路、５０…データリンク、５２…復号済フレーム伝送路、５４…復元信号伝送路、２０２・２０４・４１４…補間フィルタ、２０６・２０８・２１０…ベクトル、４０２…補間モジュール、４０４…探索空間、４０８…選択部、４１０…探索部、４１２…動き補償部、４１６…領域管理部、４１８…精度管理部、４２０…探索セット管理部、４２４…内部ループ処理部、４２６…外部ループ処理部、４２８…再開始指示部、４３０…終了指示部、４３２…部分予測管理部、５０２・６０２…探索領域、５０４・７０２…現在最小フィルタ、５０６・６０６…候補フィルタ、７００…探索セット、８０２…サンプルフレーム、８０４…フィルタ処理後フレーム、８０６…マクロブロック。
【図１】
2004147328.tif 000018
【図２】
2004147328.tif 000019
【図３】
2004147328.tif 000020
【図４】
2004147328.tif 000021
【図５】
2004147328.tif 000022
【図６】
2004147328.tif 000023
【図７】
2004147328.tif 000024
【図９】
2004147328.tif 000025
【図１０】
2004147328.tif 000026
【図１１】
2004147328.tif 000027
【図１２】
2004147328.tif 000028
【図１３】
2004147328.tif 000029
【図１４】
2004147328.tif 000030
【図１５】
2004147328.tif 000031
【図８】
2004147328.tif 000032