(57)【要約】  時間的分類フィルタリングは、画素の値を予測するために、ターゲットフレーム内の画素のクラスに割り当てられたフィルタを適用することによって画像データを符号化する。画素は、関連する動きベクトルに基づいて分類され、動きベクトルは、参照フレーム上でフィルタを位置決めするために使用される。また、予測誤差値も算出する。フィルタ、動きベクトル及び予測誤差は、符号化された画像データ内の画素を表す。参照フレームは、画像データの前方フレームであっても後方フレームであってもよく、予測では、前方フレーム又は後方フレームである複数の参照フレームの様々な組合せを用いることができる。複数の参照フレーム予測フィルタは、各参照フレームに対する２次元フィルタを含む３次元フィルタである。フィルタは、予め定義してもよく、フレームを符号化する際に生成してもよい。画像データは、参照フレームにフィルタを適用し、これにより得られる予測を予測誤差値によって修正することによって再生される。
2008500775.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータを用いて、画像データを符号化する符号化方法において、
画素に関連する動きベクトルに基づいて、画像データのターゲットフレーム内の画素のグループのクラスを判定するステップと、
上記クラスに割り当てられたフィルタ及び参照フレームを用いて、画素の値を予測するステップと、
上記予測値の予測誤差値を算出するステップとを有し、
上記フィルタと、動きベクトルと、予測誤差値とは、符号化された画像データ内の画素を表す符号化方法。
【請求項２】
上記参照フレームは、前に符号化されたフレームであることを特徴とする請求項１記載の符号化方法。
【請求項３】
上記予測するステップは、
予測画素に関連する動きベクトルに基づいて、参照フレーム上でフィルタを位置決めするステップを有することを特徴とする請求項１記載の符号化方法。
【請求項４】
上記予測は、複数の参照フレームを用いることを特徴とする請求項１記載の符号化方法。
【請求項５】
上記複数の参照フレームは、前方フレーム、後方フレーム、並びに前方及び後方フレームの組合せから選択されることを特徴とする請求項４記載の符号化方法。
【請求項６】
上記フィルタは、各参照フレームに対する２次元フィルタを含む３次元フィルタであることを特徴とする請求項４記載の符号化方法。
【請求項７】
上記動きベクトルを生成するステップを更に有する請求項１記載の符号化方法。
【請求項８】
上記グループのクラスを判定するステップは、
動きベクトルを値によってグループ化するステップと、
上記各グループにクラス識別子を割り当てるステップとを有することを特徴とする請求項１記載の符号化方法。
【請求項９】
上記グループの数が所定の最大値を超えた場合、該グループのクラスを判定するステップは、
上記グループの数が上記所定の最大値になるまで、動きベクトルの数が少ないグループを併合するステップを有することを特徴とする請求項８記載の符号化方法。
【請求項１０】
上記グループのクラスを判定するステップは、
上記動きベクトルの数が少ないグループを隣接するグループに併合するステップを含むことを特徴とする請求項８記載の符号化方法。
【請求項１１】
上記グループのクラスを判定するステップは、
上記動きベクトルの数が少ないグループを特別のクラスに併合するステップを含むことを特徴とする請求項８記載の符号化方法。
【請求項１２】
ターゲットフレーム内のクラスに対する動きベクトル及び参照フレームに基づいて、該クラスのフィルタの係数を生成するステップを更に有する請求項１記載の符号化方法。
【請求項１３】
上記係数を生成するステップは、
初期フィルタを生成するステップと、
上記初期フィルタを用いて、クラス内の画素の値を予測するステップと、
上記クラスから、閾値を超える予測誤差を有する全ての画素を取り除くステップと、
所定の基準が満たされるまで、クラス内の残りの画素を用いてフィルタを生成し、予測し、画素を取り除くステップとを繰り返すステップとを有することを特徴とする請求項１２記載の符号化方法。
【請求項１４】
動きベクトルに基づいて、参照フレームに各フィルタを適用し、予測誤差値を加算し、画像データの画素を再構築するステップを更に有する請求項１記載の符号化方法。
【請求項１５】
コンピュータを用いて、時間的に分類されたフィルタを生成するフィルタ生成方法において、
画素に関連する動きベクトルに基づいて、画像データのターゲットフレームにおける画素のグループのクラスを判定するステップと、
上記動きベクトル及びプリコーディングされた参照フレームに基づいて、係数を生成するステップとを有するフィルタ生成方法。
【請求項１６】
上記係数を生成するステップは、
初期フィルタを生成するステップと、
上記初期フィルタを用いて、クラス内の画素の値を予測するステップと、
上記クラスから、閾値を超える予測誤差を有する全ての画素を取り除くステップと、
所定の基準が満たされるまで、クラス内の残りの画素を用いてフィルタを生成し、予測し、画素を取り除くステップとを繰り返すステップとを有することを特徴とする請求項１５記載のフィルタ生成方法。
【請求項１７】
プロセッサに、画像データを符号化する符号化方法を実現させる実行可能な命令を有するマシンにより読取可能な媒体において、該符号化方法は、
画素に関連する動きベクトルに基づいて、画像データのターゲットフレームにおける画素のグループのクラスを判定するステップと、
上記クラスに割り当てられたフィルタ及び参照フレームを用いて、画素の値を予測するステップと、
上記予測値の予測誤差値を算出するステップとを有し、
上記フィルタと、動きベクトルと、予測誤差値とは、符号化された画像データ内の画素を表すマシンにより読取可能な媒体。
【請求項１８】
上記参照フレームは、前に符号化されたフレームであることを特徴とする請求項１７記載のマシンにより読取可能な媒体。
【請求項１９】
上記予測するステップは、予測画素に関連する動きベクトルに基づいて、参照フレーム上でフィルタを位置決めするステップを有することを特徴とする請求項１７記載のマシンにより読取可能な媒体。
【請求項２０】
上記予測は、複数の参照フレームを用いることを特徴とする請求項１７記載のマシンにより読取可能な媒体。
【請求項２１】
上記複数の参照フレームは、前方フレーム、後方フレーム、並びに前方及び後方フレームの組合せから選択されることを特徴とする請求項２０記載のマシンにより読取可能な媒体。
【請求項２２】
上記フィルタは、各参照フレームに対する２次元フィルタを含む３次元フィルタであることを特徴とする請求項２０記載のマシンにより読取可能な媒体。
【請求項２３】
上記符号化方法は、上記動きベクトルを生成するステップを更に有することを特徴とする請求項１７記載のマシンにより読取可能な媒体。
【請求項２４】
上記グループのクラスを判定するステップは、
動きベクトルを値によってグループ化するステップと、
上記各グループにクラス識別子を割り当てるステップとを有することを特徴とする請求項１７記載のマシンにより読取可能な媒体。
【請求項２５】
上記グループの数が所定の最大値を超えた場合、該グループのクラスを判定するステップは、上記グループの数が上記所定の最大値になるまで、動きベクトルの数が少ないグループを併合するステップを有することを特徴とする請求項２４記載のマシンにより読取可能な媒体。
【請求項２６】
上記グループのクラスを判定するステップは、上記動きベクトルの数が少ないグループを隣接するグループに併合するステップを含むことを特徴とする請求項２４記載のマシンにより読取可能な媒体。
【請求項２７】
上記グループのクラスを判定するステップは、上記動きベクトルの数が少ないグループを特別のクラスに併合するステップを含むことを特徴とする請求項２４記載のマシンにより読取可能な媒体。
【請求項２８】
上記符号化方法は、ターゲットフレーム内のクラスに対する動きベクトル及び参照フレームに基づいて、該クラスのフィルタの係数を生成するステップを更に有することを特徴とする請求項１７記載のマシンにより読取可能な媒体。
【請求項２９】
上記係数を生成するステップは、初期フィルタを生成するステップと、上記初期フィルタを用いて、クラス内の画素の値を予測するステップと、上記クラスから、閾値を超える予測誤差を有する全ての画素を取り除くステップと、所定の基準が満たされるまで、クラス内の残りの画素を用いてフィルタを生成し、予測し、画素を取り除くステップとを繰り返すステップとを有することを特徴とする請求項２８記載のマシンにより読取可能な媒体。
【請求項３０】
上記符号化方法は、動きベクトルに基づいて、参照フレームに各フィルタを適用し、予測誤差値を加算し、画像データの画素を再構築するステップを更に有することを特徴とする請求項１７記載のマシンにより読取可能な媒体。
【請求項３１】
プロセッサに、時間的に分類されたフィルタを生成するフィルタ生成方法を実現させる実行可能な命令を有するマシンにより読取可能な媒体において、該フィルタ生成方法は、
画素に関連する動きベクトルに基づいて、画像データのターゲットフレームにおける画素のグループのクラスを判定するステップと、
上記動きベクトル及びプリコーディングされた参照フレームに基づいて、係数を生成するステップとを有するマシンにより読取可能な媒体。
【請求項３２】
上記係数を生成するステップは、初期フィルタを生成するステップと、上記初期フィルタを用いて、クラス内の画素の値を予測するステップと、上記クラスから、閾値を超える予測誤差を有する全ての画素を取り除くステップと、所定の基準が満たされるまで、クラス内の残りの画素を用いてフィルタを生成し、予測し、画素を取り除くステップとを繰り返すステップとを有することを特徴とする請求項３１記載のマシンにより読取可能な媒体。
【請求項３３】
バスを介してメモリに接続されたプロセッサと、
上記プロセッサにより、上記メモリから読み出され、該プロセッサに画像データを符号化させる符号化処理プログラムとを備える符号化装置において、該プロセッサは、
画素に関連する動きベクトルに基づいて、画像データのターゲットフレームにおける画素のグループのクラスを判定し、上記クラスに割り当てられたフィルタ及び参照フレームを用いて、画素の値を予測し、上記予測値の予測誤差値を算出し、上記フィルタと、動きベクトルと、予測誤差値とは、符号化された画像データ内の画素を表す符号化装置。
【請求項３４】
上記参照フレームは、前に符号化されたフレームであることを特徴とする請求項３３記載の符号化装置。
【請求項３５】
上記プロセッサは、上記符号化処理プログラムによって、予測画素に関連する動きベクトルに基づいて、参照フレーム上でフィルタを位置決めすることを特徴とする請求項３３記載の符号化装置。
【請求項３６】
上記予測は、複数の参照フレームを用いることを特徴とする請求項３３記載の符号化装置。
【請求項３７】
上記複数の参照フレームは、前方フレーム、後方フレーム、並びに前方及び後方フレームの組合せから選択されることを特徴とする請求項３６記載の符号化装置。
【請求項３８】
上記フィルタは、各参照フレームに対する２次元フィルタを含む３次元フィルタであることを特徴とする請求項３６記載の符号化装置。
【請求項３９】
上記プロセッサは、上記符号化処理プログラムによって、上記動きベクトルを生成することを特徴とする請求項３３記載の符号化装置。
【請求項４０】
上記プロセッサは、上記符号化処理プログラムによって、動きベクトルを値によってグループ化し、上記各グループにクラス識別子を割り当てることを特徴とする請求項３３記載の符号化装置。
【請求項４１】
上記グループの数が所定の最大値を超えた場合、上記プロセッサは、上記符号化処理プログラムによって、上記グループの数が上記所定の最大値になるまで、動きベクトルの数が少ないグループを併合することを特徴とする請求項４０記載の符号化装置。
【請求項４２】
上記プロセッサは、上記符号化処理プログラムによって、上記動きベクトルの数が少ないグループを隣接するグループに併合することを特徴とする請求項４０記載の符号化装置。
【請求項４３】
上記プロセッサは、上記符号化処理プログラムによって、上記動きベクトルの数が少ないグループを特別のクラスに併合することを特徴とする請求項４０記載の符号化装置。
【請求項４４】
上記プロセッサは、上記符号化処理プログラムによって、ターゲットフレーム内のクラスに対する動きベクトル及び参照フレームに基づいて、該クラスのフィルタの係数を生成することを特徴とする請求項３３記載の符号化装置。
【請求項４５】
上記プロセッサは、上記符号化処理プログラムによって、初期フィルタを生成する処理と、上記初期フィルタを用いて、クラス内の画素の値を予測する処理と、上記クラスから、閾値を超える予測誤差を有する全ての画素を取り除く処理と、所定の基準が満たされるまで、クラス内の残りの画素を用いてフィルタを生成し、予測し、画素を取り除く処理とを繰り返すことを特徴とする請求項４２記載の符号化装置。
【請求項４６】
上記プロセッサは、上記符号化処理プログラムによって、動きベクトルに基づいて、参照フレームに各フィルタを適用し、予測誤差値を加算し、画像データの画素を再構築することを特徴とする請求項３３記載の符号化装置。
【請求項４７】
バスを介してメモリに接続されたプロセッサと、
上記プロセッサにより、上記メモリから読み出され、該プロセッサに時間的に分類されたフィルタを生成するフィルタ生成処理プログラムとを備えるフィルタ生成装置において、該プロセッサは、
画素に関連する動きベクトルに基づいて、画像データのターゲットフレームにおける画素のグループのクラスを判定し、上記動きベクトル及びプリコーディングされた参照フレームに基づいて、係数を生成するフィルタ生成装置。
【請求項４８】
上記プロセッサは、上記フィルタ生成処理プログラムによって、初期フィルタを生成する処理と、上記初期フィルタを用いて、クラス内の画素の値を予測する処理と、上記クラスから、閾値を超える予測誤差を有する全ての画素を取り除く処理と、所定の基準が満たされるまで、クラス内の残りの画素を用いてフィルタを生成し、予測し、画素を取り除く処理とを繰り返すことを特徴とする請求項４７記載のフィルタ生成装置。
【請求項４９】
画像データを符号化する符号化装置において、
画素に関連する動きベクトルに基づいて、画像データのターゲットフレームにおける画素のグループのクラスを判定する判定手段と、
上記クラスに割り当てられたフィルタ及び参照フレームを用いて、画素の値を予測する予測手段と、
上記予測値の予測誤差値を算出する算出手段とを備え、
上記フィルタと、動きベクトルと、予測誤差値とは、符号化された画像データ内の画素を表す符号化装置。
【請求項５０】
上記予測手段は、予測画素に関連する動きベクトルに基づいて、参照フレーム上でフィルタを位置決めする位置決め手段を備えることを特徴とする請求項４９記載の符号化装置。
【請求項５１】
上記動きベクトルを生成する動きベクトル生成手段を更に備える請求項４９記載の符号化装置。
【請求項５２】
上記判定手段は、動きベクトルを値によってグループ化するグループ化手段と、上記各グループにクラス識別子を割り当てる割当手段とを備えることを特徴とする請求項４９記載の符号化装置。
【請求項５３】
ターゲットフレーム内のクラスに対する動きベクトル及び参照フレームに基づいて、該クラスのフィルタの係数を生成するフィルタ係数生成手段を更に備える請求項４９記載の符号化装置。
【請求項５４】
動きベクトルに基づいて、参照フレームに各フィルタを適用し、予測誤差値を加算し、画像データの画素を再構築する再構築手段を更に備える請求項４９記載の符号化装置。
【請求項５５】
時間的に分類されたフィルタを生成するフィルタ生成装置において、
画素に関連する動きベクトルに基づいて、画像データのターゲットフレームにおける画素のグループのクラスを判定する判定手段と、
上記動きベクトル及びプリコーディングされた参照フレームに基づいて、係数を生成する生成手段とを備えるフィルタ生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオデータの圧縮符号化方法、符号化装置、フィルタ生成方法及びフィルタ生成装置に関し、詳しくは、画像データのフレームの予測に基づく圧縮に関する。
【著作権表示／許諾】
【０００２】
この明細書の開示内容の一部は、著作権保護の対象となるマテリアルを含む。著作権所有者は、この明細書が特許商標庁への特許出願であると認められるファックスコピーに対しては異議を唱えないが、この他のあらゆる全ての著作権を主張する。以下の表示は、後述するソフトウェア及びデータ、並びに添付の図面に適用される。：著作権（ｃ）２００３：全ての著作権はソニーエレクトロニクスインク社に帰属する（Copyright (c) 2003, Sony Electronics, Inc., All Rights Reserved）。
【背景技術】
【０００３】
フレームに亘る時間的な冗長性を取り除くことによって、ビデオシーケンスの圧縮利得を高めることができる。現フレームを符号化するためには、まず、前に符号化した「参照」フレームに基づいて、フレームを予測し、その予測誤差だけが符号化される。時間的予測では、ブロックベースの動き推定及び補償が広く用いられている。図１に示すように、この技術の基礎的な発想は、参照フレーム１０１において、類似する対応するブロックを検出し、現フレーム１０３におけるターゲットブロックを予測することであり、したがって、ターゲットブロックの予測誤差だけを符号化すればよい。
【０００４】
正確な時間的予測を行うための従来の技術では、サブ画素動き検出を用いるため、動きベクトルオーバヘッドが大きくなる。更に、従来の手法では、サブ画素分解能を任意に設定できず、例えば、１／２、１／４又は１／８等、予め定められたサブ画素分解能だけしか得られない。しかしながら、現実には、ピクチャ内のオブジェクトは、従来の純粋な動き補償法では推定できない任意のサブ画素分解能で動くことがある。純粋な動き補償によって精密な動き分解能を実現するためには、各ベクトルを表現するためにより多くのビットが必要となり、圧縮性能が低下する。
【発明の開示】
【課題を解決するための手段】
【０００５】
時間的分類フィルタリングは、画素の値を予測するために、ターゲットフレーム内の画素のクラスに割り当てられたフィルタを適用することによって画像データを符号化する。画素は、関連する動きベクトルに基づいて分類され、動きベクトルは、参照フレーム上でフィルタを位置決めするために使用される。また、予測誤差値も算出する。フィルタと、動きベクトルと、予測誤差とは、符号化された画像データ内の画素を表す。参照フレームは、画像データの前方フレームであっても後方フレームであってもよく、予測では、前方フレーム又は後方フレームの様々な組合せを用いることができる。複数の参照フレーム予測フィルタは、各参照フレームの２次元フィルタを含む３次元フィルタである。フィルタは、予め定義してもよく、フレームを符号化する際に生成してもよい。画像データは、参照フレームにフィルタを適用し、これにより得られる予測を予測誤差値によって修正することによって再生される。
【０００６】
本発明は、様々な側面として、システム、クライアント、サーバ及びマシンにより読取可能な媒体に関連して説明される。この概要に開示する本発明の側面に加えて、本発明の更なる側面は、添付の図面を参照する以下の詳細な説明によって明らかとなる。
【発明を実施するための最良の形態】
【０００７】
以下、添付の図面を用いて、本発明の実施例を詳細に説明する。添付の図面においては、類似する要素には、類似する参照符号を付す。添付の図面は、本発明を実現する特定の実施例を例示的に示している。これらの実施例については、当業者が本発明を実施することができるよう、詳細に説明するが、この他の実施例も可能であり、本発明の範囲から逸脱することなく、論理的、機械的、電気的、機能的及びこの他の変更を行うことができる。したがって、以下の詳細な説明は、限定的には解釈されず、本発明の範囲は、添付の請求の範囲によってのみ定義される。
【０００８】
図２は、時間的分類フィルタリング（temporal classified filtering：ＴＣＦ）及び従来の動き補償を用いて画像データ２０１のソースフレームを符号化し、より高い圧縮利得及びより良好な視覚的結果を実現する符号化／復号システム２００を示している。エンコーダ２０３は、符号化するフレーム（ターゲットフレーム）内の各ブロックに対し、ブロックベースの動き推定を用いて動きベクトルを検出する。ターゲットフレーム内の画素は、動きプロパティに基づいて、異なるクラスにグループ化され、したがって、フレームは、本質的には、動きベクトルを用いてセグメント化される。指定されたフィルタは、クラス内の全ての画素に割り当てられる。ターゲット画素を予測するために、ターゲット画素に対する動きベクトルによって位置決めされた対応するフィルタを１つ以上の前に符号化されたフレーム（参照フレーム）に適用する。参照フレームの他の画素にフィルタリング処理を行うことによって、ターゲット画素の時間的予測が得られる。また、エンコーダ２０３は、ターゲット画素の予測誤差すなわち、実際の画素値と予測値との間の差分を算出する。次に、符号化されたフレーム、動きベクトル及び予測誤差は、ネットワーク２０５として示す通信リンクを介してデコーダ２０７に送信するために符号化される。また、デコーダ２０７は、フィルタ係数を送信又は再生することができる。ＴＣＦの動作は、特定の送信符号化に限定されず、周知の如何なる符号化法を用いてもよい。デコーダ２０７は、フィルタ及び動きベクトルを用いてターゲット画素の値を予測し、予測値に予測誤差を適用して画像データの出力フレーム２０９を生成する。このように、ＴＣＦは、粗い、すなわち画素単位の分解能の動きベクトルのみに基づいて、任意のサブ画素分解能の時間的予測を提供することができる。したがって、画素予測誤差は、小さくなり、高い圧縮利得を実現できる。更に、複数の参照フレームの画素データを用いてターゲット画素を予測することによって、予測精度をより高めることができる。
【０００９】
一実施の形態において、ＴＣＦを用いてターゲットフレームを符号化する手法について、図３Ａ〜図３Ｃを用いて説明する。図３Ａ〜図３Ｃは、前方又は未来の単一の参照フレームを使用することを仮定している。複数の参照フレームを用いる実施の形態については、後に説明する。
【００１０】
図３Ａは、画素に対する動きベクトル（矢印として示す）に基づいて、画素が６つのセグメント、例えば、セグメント３０３に分類されたターゲットフレーム３０１を示している。同様の動きベクトルを有する画素は、通常、共に同じセグメントにグループ化される。周知のブロックマッチング動き推定技術を用いて動きベクトルを取得した後、この動きベクトルを分類し、各動きベクトルにクラスＩＤを割り当てる。また、動きベクトルに対応する画素も、そのクラスＩＤに割り当てられる。この分類の後に、セグメントは、互いに結合された又は切り離された画素を含むことができる。
【００１１】
例えば、図１を参照して、時間順（時間領域）のフレームのインデクスをｔとする。ターゲットフレームＦｔ１０３における画素ｐ（ｉ，ｊ，ｔ）が参照フレームＦｔｒ１０１（時刻ｔｒにおけるフレーム）を参照する動きベクトル［ｍｉ，ｍｊ］１０５を有するとする。この場合、従来の動き補償ベースの時間的予測は、以下のように表される。
【００１２】
【数１】
2008500775.tif 000003
【００１３】
ここで、ｖ（ｉ’，ｊ’，ｔｒ）は、前フレームＦｔｒにおけるｉ’列ｊ’行の画素の値である。この参照画素の位置は、動きベクトル［ｍｉ，ｍｊ］によって特定される。この場合、ｍｉ＝ｉ’−ｉであり、ｍｊ＝ｊ’−ｊである。
【００１４】
ターゲットフレームの全ての画素は、Ｎｃを正の整数として、Ｎｃ個のクラス又はセグメントに分類される。各クラス又はセグメントｃには、固有のフィルタが関連付けられ、したがって、各ターゲットフレームについてＮｃ個のフィルタが用いられる。これらのフィルタは、分類フィルタ（classified filter）と呼ばれる。フィルタの係数は、予め定義してもよく、又は後に更に詳細に説明するように、トレーニング又は他の技術に基づいて生成してもよい。各フィルタは、例えば、長方形、円形、ダイヤモンド形等、一組の画素位置又はフィルタタップによって定義される任意の二次元形状を有する。図３Ｂは、ダイヤモンド形のフィルタ３０５を示している。なお、各分類フィルタは、異なる形状及び異なる係数を有していてもよい。
【００１５】
図３Ｃに示すように、ターゲットフレームＦｔ３１１の各画素ｐ（ｉ，ｊ）について、画素ｖ（ｉ，ｊ，ｉ）３１７の値は、画素のクラスＩＤｃに対応するフィルタｃ３１５を適用することによって、参照フレームＦｔ３１３の画素のグループから推定できる。各フィルタタップは、参照フレームの画素に揃えられ、フィルタタップによって覆われる全ての画素は、領域Ｒを形成する。ε画素値ｖは、予測値＾ｖ（ｖハットを表す。）３１９と、予測誤差ε３２１として用いられる余りの値とを加算した値として表すことができる。
【００１６】
【数２】
2008500775.tif 000004
【００１７】
参照フレーム内のフィルタの位置は、画素座標で表すことができる。これに代えて、フィルタ内の１つのタップを「アンカタップ」として選択してもよく、この場合、フィルタ位置は、フィルタアンカタップが揃えられたフレーム内の画素の座標として定義される。ターゲット画素の動きベクトル［ｍｉ，ｍｊ］３２３は、参照位置（ｉ’，ｊ’）を特定するために用いられる。
【００１８】
【数３】
2008500775.tif 000005
【００１９】
アンカタップを用いる場合、フィルタＷｃを参照フレームＦｔｒ上に置き、アンカタップを参照画素位置に一致させる。一旦、フィルタタップ（換言すればフィルタ形状）及びフィルタ位置が決まると、入力タップ画素の領域も一意的に定義される。
【００２０】
入力タップ画素及びフィルタ係数の全ての値が、それぞれベクトルＸ及びベクトルＷを構成するとする。各ベクトルは、フィルタタップの数をｎとして、ｎ個の要素を有し、すなわち、Ｘ＝［ｘ１，ｘ２・・・ｘｎ］、Ｗ＝［ｗ１，ｗ２・・・ｗｎ］である。２つのベクトルの要素は、同じ次数を有し、すなわち、要素ｘｉは、空間領域において、フィルタタップｗｉに揃う入力タップである。したがって、式２のフィルタリング処理は、以下のベクトル積として表現することができる。
【００２１】
【数４】
2008500775.tif 000006
【００２２】
予測値は、符号化されたフレーム内の画素を表すために用いられる。また、予測誤差は、以下の式を用いて生成され、フレームを復号する際に予測を修正するためにデコーダに供給される。
【００２３】
【数５】
2008500775.tif 000007
【００２４】
説明を簡潔にするために、図３Ａ〜図３Ｃは、単一の参照フレームを用いた時間的分類フィルタリングの動作を示しているが、本発明は、これに限定されるわけではない。単一の参照フレームを用いる実施の形態は、後に更に詳細に説明するように、複数の参照フレームを用いるＴＣＦ画素予測に容易に拡張することができる。
【００２５】
例えば、図２のエンコーダ２０３等のエンコーダによって実行される時間的分類のフィルタリング処理（以下、ＴＣＦ処理という）４００の一実施の形態について、図４Ａ〜図４Ｄを参照して説明する。
【００２６】
まず、図４Ａに示すＴＣＦ処理４００には、ターゲットフレーム又は現フレームと、（既に符号化されている）の単一の参照フレームとが供給される。なお、ＴＣＦ処理４００は、単一の参照フレームのみを用いる処理に限定されず、複数のフレームを用いるＴＣＦ処理の応用例については、図５Ａ〜図５Ｄを用いて後に説明する。
【００２７】
ブロック４０１において、ＴＣＦ処理は、参照フレームに基づいて、ターゲットフレーム内の全ての画素の動きベクトルを検出する。これは、標準の映像圧縮技術（例えば、ＭＰＥＧ）と同様である。上述したように、ターゲットフレームは、固定サイズのブロックに分割され、各ブロックの動きベクトルを検出するために、ブロックマッチングが実行される。同じブロック内の全ての画素は、同じ動きベクトルを共有する。動きベクトルは、画素分解能及びサブ画素分解能の何れを有していてもよい。
【００２８】
ブロック４０３においては、図３Ａに関連して上述したように、画素の動きベクトルに基づいて、ターゲットフレーム内の画素を幾つかのセグメントに分類する。同様の動きベクトルを有する画素は、通常、共に同じセグメントにグループ化される。この分類の後に、セグメントは、互いに結合された又は切り離された画素を含むことができる。各画素には、動きベクトルの分類に基づいて、クラスＩＤｃが割り当てられる。
【００２９】
画素の各クラスｃには、固有のフィルタＷｃが割り当てられる。フィルタタップ及びフィルタの形状は、予め定義してもよい。フレーム内のクラス（又は、セグメント）の数Ｎｃは、所定の値であってもよく、又はフレームの特徴に基づいて決定してもよい。例えば、図３Ａは、Ｎｃが６であるフレームを示している。ブロック４０３における分類は、分類すべき要素がターゲットフレームの動きベクトルである、Ｎｃ個の面積中心を有する一般的な２二次元セグメント化問題とみなすことができる。一実施の形態においては、ｋ＝Ｎｃとして、周知のｋ平均セグメント化法（k-means segmentation method）を用いる。図４Ｂに示す他の実施の形態では、後に更に詳細に説明するように、所定の最大クラス数Ｎｍａｘに基づいて、ｋ平均セグメント化法に比べて、画素をより高速且つ簡単に分類できる。
【００３０】
上述のように、各フィルタは、異なる形状（フィルタタップ）及び異なる係数を有することができる。係数は、予め定義してもよく、破線のブロック４０５によって表しているように、様々な手法を用いて、必要に応じて生成してもよい。例えば、係数は、入力タップと参照位置（ｉ’，ｊ’）（又はフィルタ位置）との間の時間的距離に対応する重みであってもよい。また、図４Ｃに関連して後述するように、参照フレーム及びターゲットフレームからのデータによるセルフオンライントレーニングによって、フィルタ係数を生成することもできる。
【００３１】
図３Ｃに関連して上述したように、クラスＩＤｃを有するターゲット画素については、ＴＣＦ処理４００は、関連する分類フィルタＷｃ（ブロック４０７）を用いて画素の値を予測する。
【００３２】
ブロック４０９では、予測誤差を算出する。上述のように、予測誤差及び動きベクトルは、デコーダに供給される。また、動きベクトルからクラスＩＤを導出できない場合及びフィルタ係数がブロック４０５において生成されている場合等、クラスＩＤ及びフィルタ係数をデコーダに供給する必要がある場合もある。
【００３３】
図４Ｂは、ターゲットフレームの動きベクトルに基づいて、各画素のクラスＩＤを出力する分類処理４１０を示している。ブロック４１１において、分類処理４１０は、同じ値を有する動きベクトルをビンにグループ化する。ブロック４１３において、ｎｂ個の同じ動きベクトルを含む各ビルｂによって、Ｎｍｖ個のビンを生成する。この実施の形態では、２つの動きベクトルｍｖ１＝［ｍｉ１，ｍｊ１］及びｍｖ２＝［ｍｉ２，ｍｊ２］は、同じであると定義され、すなわちｍｉ１＝ｍｉ２及びｍｊ１＝ｍｊ２の場合及びこの場合に限り、ｍｖ１＝ｍｖ２である。
【００３４】
Ｎｍａｘ≧Ｎｍｖの場合（ブロック４１５）、ビンの数は、Ｎｍａｘより少なく、したがって、分類処理４１０は、ブロック４２１に進む。
【００３５】
一方、Ｎｍａｘ＜Ｎｍｖの場合、幾つかのビンを結合して、ビンの数をＮｍａｘになるように削減する必要がある。ビンは、ブロック４１７において、ｎｂ（ビン内の動きベクトルの数）の降順にソートされる。したがって、第１のビンは、最大数の動きベクトルを有する。第１のＮｍａｘ−１個のビンにおける各ビンは、クラスを形成し、残りのビンは、ＮｍａｘからＮｍｖまで一緒にグループ化され、単一のクラスを形成し（ブロック４１９）、これにより、合計Ｎｍａｘ個のビンが生成される。ブロック４２１では、各ビンに、例えば整数であるクラスＩＤｃを割り当てる。
【００３６】
クラス内の全ての画素は、同じフィルタを共有するので、フィルタ係数がデコーダに供給されると（例えば、係数は、オンライントレーニングによって取得される）、クラスが大きい程（例えば、より多くの画素を含む程）、圧縮効率が高くなる。したがって、圧縮利得を高めるために、分類処理４１０では、画素が非常に少ない（すなわち、動きベクトルの数が少ない）クラスを任意に除外してもよい。この場合、閾値Ｔｍｖを選択し、閾値Ｔｍｖより少ない数の動きベクトルしか含まないクラスは、最も近い隣接クラスに併合する（ブロック４２３）。閾値Ｔｍｖは、例えば、Ｔｍｖ＝１０等、予め決定してもよい。最も近い隣接クラスは、クラスの対間の距離ｄａ，ｂの測定に基づいて判定される。一実施の形態においては、距離は、２つのクラスの面積中心間のユークリッド距離である。
【００３７】
【数６】
2008500775.tif 000008
【００３８】
ここで、（Ｍａ，１−Ｍｂ，１）及び（Ｍａ，２−Ｍｂ，２）は、それぞれクラスａ及びクラスｂの面積中心である。クラスｃの面積中心（［Ｍｃ，１−Ｍｃ，１］２つの要素のベクトルである。）は、以下のように定義される、クラスｃにおける動きベクトルの平均値である。
【００３９】
【数７】
2008500775.tif 000009
【００４０】
ここで、ｍｋ，ｉ及びｍｋ，ｊは、クラスｃにおけるｋ番目の動きベクトルの２つの要素であり、ｎｃは、クラスｃにおける動きベクトルの総数である。所定のクラスｃに最も近い隣接クラスは、クラスｃへの距離が最も小さいクラスである。
【００４１】
動きベクトルの数が非常に少ないクラスは、ブロック４２３において、他の隣接クラスに併合することに代えて、特別なクラスにグループ化してもよい（ブロック４２５）。フィルタ係数のコストは、圧縮利得に影響するので、この特別なクラスには、非常に「短い」フィルタ、すなわち、タップが少ないフィルタを割り当て、このクラスのフィルタ係数のオーバヘッドを最小化する。図１は、１つのタップだけを有する「短い」フィルタの具体例を示しており、この場合、ターゲット画素は、単に参照画素だけによって予測される。
【００４２】
図４Ｃは、セルフオンライントレーニング処理４３１を用いてフィルタ係数を得る手法を説明する図である。なお、ここでは、ターゲットフレームの各クラスあたり１つのＮｃ個のフィルタがある。図４Ｃに示すように、セルフトレーニング処理４３１には、画素の動きベクトルを含むターゲットフレーム４３３、クラスＩＤ及び参照フレーム４３５が入力される。そして、セルフトレーニング処理４３１は、トレーニングされた特定の分類フィルタのフィルタ係数４３７を出力する。クラスｃに割り当てられたフィルタの係数は、クラスｃに属すデータ（画素）のみによってトレーニングされる。
【００４３】
一実施の形態においては、トレーニングされたフィルタ係数Ｗ＊は、以下の式から算出される。
【００４４】
【数８】
2008500775.tif 000010
【００４５】
ここで、ｍｉｎｗは、独立変数Ｗについて、｜｜Ｘ・Ｗ−Ｙ｜｜２の値を最小化する関数である。Ｗ＊は、｜｜Ｘ・Ｗ−Ｙ｜｜２が最小に達したときのＷの値である。ここで、Ｘ、Ｙ及びＷは、例えば、以下に示すような行列及びベクトルであり、すなわち、Ｘは、入力データベクトルであり、Ｗは、係数ベクトルであり、Ｙは、ターゲットデータ行列である。Ｘ、Ｙ、Ｚの具体例を以下に示す。
【００４６】
【数９】
2008500775.tif 000011
【００４７】
式９に基づいて算出されたＷ＊の分類フィルタ係数ｗｉは、同じクラスの全ての画素について、総合的な予測誤差を最小化する。
【００４８】
トレーニング処理の精度を更に高めて、より良い予測を提供するフィルタ係数を得ることもできる。ブロックマッチング動き補償段で「誤った」動きベクトルが生成される場合があるので、幾つかの画素が、不正確な、例えば、オブジェクトの実際の動きを表さない動きベクトルに割り当てられることがある。このような場合、これらの画素は、フィルタ係数のトレーニング処理を劣化させる。これを回避するために、図４Ｄに示すように、トレーニング処理４３１において、複数の繰返し処理を行うことができる。
【００４９】
ブロック４４１において、トレーニング処理４４０の第１の繰返しでは、同じセグメントｃ内の全ての画素を用いてそのセグメントクラスのフィルタ係数を導出する。そして、これにより得られたフィルタ係数を用いて、ターゲットフレームの各クラス内のターゲット画素を予測し（ブロック４４３）、各画素の予測誤差を算出する（ブロック４４５）。そして、所定の誤差閾値より誤差が大きいと判定された画素（ブロック４４７）を、クラスｃから削除し（ブロック４４９）、これにより、これらの画素は、このクラスのフィルタ係数のための次の繰返しにおいて、トレーニングから除外される。トレーニング処理４４０は、ブロック４４１に戻り、セグメントｃの残りの画素について処理を繰り返す。繰返しの回数が所定の値Ｔｔｒ、例えば、Ｔｔｒ＝３を超えた場合、又は大きい予測誤差を有する画素数が所定の数を下回った場合（ブロック４５１）、トレーニング処理４４０は終了する。トレーニング処理４４０は、誤って予測された画素をトレーニングデータから除外するので、最後の繰返しから得られるフィルタ係数は、セグメント内の残りの画素について、より正確な予測を提供する傾向がある。
【００５０】
繰返しの間にセグメントｃから除外された画素は、特別なクラスにグループ化し、新規のフィルタを割り当ててもよく（図４Ｂのブロック４２５）、又は同じクラスに残し、最後の繰返しで得られたフィルタ係数を用いて予測を行ってもよい（図４Ａのブロック４０７）。
【００５１】
実際には、ＴＣＦ処理４００は、マシンによって実行可能な命令で構成される１つ以上のプログラムから実現してもよい。図４Ａ〜図４Ｄのフローチャートの説明により、当業者は、適切に構成されたマシン（マシンによって読取可能な媒体からの命令を実行するマシンのプロセッサ）上で、論理ブロックで表されている処理（動作）を実行するための指示を含むプログラムを開発することができる。マシンによって実行可能な命令は、コンピュータプログラミング言語で書いてもよく、ファームウェアロジック又はハードウェア回路で実現してもよい。一般に認知されている標準的なプログラミング言語でこのようなソフトウェアを記述すれば、これらの命令は、様々なハードウェアプラットフォーム上で実行でき、様々なオペレーティングシステムにインタフェースすることができる。なお、ここでは、本発明を特定のプログラミング言語に基づいて説明はしない。ここに開示される本発明の原理は、様々なプログラミング言語で実現できることは明らかである。更に、当分野では、一般的に、動作の実行又は結果の導出を様々な表現（例えば、プログラム、手続、処理、アプリケーション、モジュール、ロジック等）で表す。これらの表現は、コンピュータによってソフトウェアが実行された場合に、コンピュータのプロセッサが所定の動作を実行し、又は結果を得ることを簡略的に示しているに過ぎない。なお、本発明の範囲から逸脱することなく、図４Ａ〜図４Ｄに示す処理にステップを追加してもよく、幾つかのステップを省略してもよく、また、ここに示すブロックの構成は、処理の順序を限定するものではない。
【００５２】
以下、図５Ａ〜図５Ｄを参照して、複数の参照フレームを用いるＴＣＦの特定の具体例について説明する。上述したＴＣＦの実施の形態では、単一の参照フレームに基づいて、画素を予測した。この手法は、複数の参照フレームを用いる予測に容易に拡張できる。幾つかのターゲットフレームについて、参照フレームにインデクスを付すことによって、複数の参照フレームに基づいて予測を行うことができる。これらの参照フレームは、前方フレーム又は後方フレームの何れでもよい又はこれらのフレームの如何なる組合せであってもよい。図５Ａ、５Ｂは、複数の前方の参照フレーム５０１、５０３からのターゲットフレームの予測、並びに前方の参照フレーム５０５、５０７及び未来の参照フレーム５０９からのターゲットフレームの予測を示している。
【００５３】
Ｎｒ個の参照フレームを仮定すると、各ブロック（又は画素）は、各参照フレームに関連付けられたＮｒ個の動きベクトルを有する。動きベクトルは、各参照フレームに対するインデクスを表す新たな要素をｍｔとして、［ｍｉ，ｍｊ，ｍｔ］として表される。この場合、各ターゲット画素について、Ｎｒ個の動きベクトルがあるので、分類処理は、単一の参照フレームを用いる上述のケース、すなわち、Ｎｒ＝１の場合とは、若干異なる。画素の各ブロックについて、動きベクトルは、利用可能な全てのＮｒ個の動きベクトルから選択される。一実施の形態においては、この選択は、画素の全体のブロックについて、どの動きベクトルが平均予測誤差を最小にするかに基づいて行われる。選択された動きベクトルは、上述のように、ブロックを分類するために用いられる。
【００５４】
クラスに割り当てられたフィルタは、タップが複数のフレームに亘る３次元形状を有することができる。換言すれば３Ｄフィルタは、上述した２次元フィルタのＮｒ個のピースを含む。図５Ｃは、係数トレーニング又は画素予測のために用いられ、異なる２Ｄフィルタ形状を有する２Ｄフィルタの２つのピース５１１、５１３を含む３Ｄフィルタを示している。３Ｄフィルタが複数の参照フレーム上に置かれると、２Ｄフィルタの各ピースは、対応する参照フレーム５１５、５１７に置かれ、その参照フレームに関連するターゲット画素動きベクトル５１９、５２１によって位置決めされる。一旦、フィルタが参照フレームに置かれると、入力タップ画素が特定される。入力タップ画素は、異なるフレームからの画素であってもよい。残りのトレーニング処理又は予測処理は、単一の参照フレームの実施の形態について説明した処理と同じである。
【００５５】
複数の参照フレームを有するＴＣＦの他の具体例を図５Ｄに示す。この場合、２つの前方の参照フレーム５３１、５３３及び１つの未来の参照フレーム５３５の３つの参照フレームがある（Ｎｒ＝３）。ターゲット画素５３７は、それぞれが各参照フレーム内の参照画素を特定する３つの動きベクトル（ｍｖ１５３９，ｍｖ２５４１及び／ｍｖ３５４３）を有する。３ＤのＴＣＦフィルタは、各参照フレームについて任意の形状を有することができ、図５Ｄは、各参照フレームに関してＴＣＦフィルタが１つのタップしかなく、各タップが参照画素に揃えられている極端なケースを示している。フィルタは、合計３つのタップを有し、３つの参照画素に対するフィルタリング処理からターゲット画素を予測できる。
【００５６】
以下、図６Ａ及び図６Ｂを用いて、上述した本発明の方法を実行するのに適するコンピュータハードウェア及び他の動作コンポーネントの概要を説明するが、この説明は、本発明を適用できる環境を限定することを意図するものではない。例えば、図２に示すエンコーダ２０３及び／又はデコーダ２０７は、図６Ｂに関連して後述するような汎用コンピュータシステムによって実現してもよいが、これらは、本明細書に開示した機能を実行するために特に構成された機器によって実現してもよい。ネットワーク２０５は、図６Ａに関連して後述するように、公衆回線であっても、プライベート接続であってもよく、この接続は、クライアントサーバ方式であっても、ピアツーピア方式であってもよい。また、本発明は、携帯型端末装置、マルチプロセッサシステム、マイクロプロセッサベース又はプログラミング可能な民生用電子機器、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ等他のコンピュータシステム構成で実現してもよいことは、当業者には明らかである。更に、本発明は、通信ネットワークを介してリンクされたリモートの処理装置によってタスクが実行される分散型コンピュータシステム環境によっても実現することができる。
【００５７】
図６Ａは、インターネット等のネットワーク３を介して接続された幾つかのコンピュータ装置１を示している。ここに用いる用語「インターネット」とは、例えば、ＴＣＰ／ＩＰプロトコル、及びワールドワイドウェブ（ｗｅｂ）を構成するハイパーテキストマークアップ言語（hypertext markup language：ＨＴＭＬ）文書のハイパーテキスト転送プロトコル（hypertext transfer protocol：ＨＴＴＰ）等の他のプロトコルを始めとする任意のプロトコルを用いるネットワークのネットワークを示している。インターネットの物理的接続及びプロトコル、インターネットの通信プロトコルは、当業者に周知の技術である。インターネット３へのアクセスは、例えば、ＩＳＰ５、７等のインターネットサービスプロバイダ（Internet service provider：以下、ＩＳＰという。）によって提供される。例えば、クライアントコンピュータシステム２１、２５、３５、３７等のクライアントシステム上のユーザは、ＩＳＰ５、７等のインターネットサービスプロバイダを介して、インターネットにアクセスする。クライアントコンピュータシステムのユーザは、インターネットにアクセスすることにより、情報を交換し、電子メールを送受信し、例えば、ＨＴＭＬフォーマットで作成された文書等の文書を閲覧することができる。これらの文書は、多くの場合、インターネット「上」にあるとみなされるウェブサーバ、例えば、ウェブサーバ９によって提供される。当分野において周知の通り、ＩＳＰではないコンピュータ装置をセットアップし、インターネットに接続することもできるが、これらのウェブサーバは、多くの場合、ＩＳＰ、例えば、ＩＳＰ５によって提供される。
【００５８】
ウェブサーバ９は、多くの場合、ワールドワイドウェブのプロトコルに基づいて、サーバコンピュータシステムとして動作するように構成され、インターネットに連結された少なくとも１つのコンピュータ装置である。これに代えて、ウェブサーバ９は、クライアントシステムにインターネットへのアクセスを提供するＩＳＰの一部であってもよい。ウェブサーバ９は、サーバコンピュータシステム１１に接続され、サーバコンピュータシステム１１は、メディアデータベースの形式のウェブコンテンツ１０に接続される。なお、図６Ａには、２つのコンピュータ装置９、１１を示しているが、ウェブサーバシステム９及びサーバコンピュータシステム１１は、ウェブサーバ機能及び、以下に詳細に説明するように、サーバコンピュータシステム１１によって提供されるサーバ機能を提供する異なるソフトウェアコンポーネントを有する１つのコンピュータ装置であってもよよい。
【００５９】
クライアントコンピュータシステム２１、２５、３５、３７は、それぞれ、適切なウェブブラウザを有し、ウェブサーバ９が提供するＨＴＭＬページを閲覧することができる。ＩＳＰ５により、クライアントコンピュータシステム２１は、クライアントコンピュータシステム２１の一部であるモデムインタフェース２３を介して、インターネットに接続することができる。クライアントコンピュータシステムは、パーソナルコンピュータシステム、ネットワークコンピュータ、ウェブテレビジョンシステム、携帯型機器、又はこの他のコンピュータ装置の何れであってもよい。同様に、これらの３つのコンピュータ装置（クライアントコンピュータシステム２５、３５、３７）ＩＳＰ７により、インターネットに接続することができるが、図６Ａに示すように、これらは、異なる手法でインターネットに接続してもよい。すなわち、クライアントコンピュータシステム２５は、モデムインタフェース２７を介して接続され、クライアントコンピュータシステム３５、３７は、ＬＡＮの一部である。図６Ａでは、モデムインタフェース２３、２７を包括的にモデムとして示しているが、これらのモデムインタフェース２３、２７は、アナログモデム、ＩＳＤＮモデム、ケーブルモデム、衛星通信インタフェース、又はコンピュータシステムを他のコンピュータシステムに接続するための他のインタフェースの何れであってもよい。クライアントコンピュータシステム３５、３７は、ネットワークインタフェース３９、４１を介してＬＡＮ３３に接続される。ネットワークインタフェース３９、４１は、イーサネット（登録商標）ネットワークであってもよく、この他のネットワークインタフェースであってもよい。また、ＬＡＮ３３は、ファイアウォール及びローカルエリアネットワークのこの他のインターネット関連のサービスを提供するゲートウェイコンピュータシステム３１にも接続されている。このゲートウェイコンピュータシステム３１は、ＩＳＰ７に接続され、これによりクライアントコンピュータシステム３５、３７は、インターネットに接続することができる。ゲートウェイコンピュータシステム３１は、従来のサーバコンピュータシステムであってもよい。またウェブサーバシステム９は、従来のサーバコンピュータシステムであってもよい。
【００６０】
これに代えて、周知の通り、ネットワークインタフェース４５を介して、サーバコンピュータシステム４３をＬＡＮ３３に直接接続し、ゲートウェイコンピュータシステム３１を介してインターネットに接続することなく、クライアントコンピュータシステム３５、３７にファイル４７及び他のサービスを提供してもよい。更に、ＬＡＮ３３、インターネット３又は通信媒体としてのこれらの組合せを用いたピアツーピアシステムを介して、クライアントコンピュータシステム２１、２５、３５、３７の任意の組合せを互いに接続してもよい。一般に、ピアツーピアシステムでは、中央サーバ又はサーバを用いることなく、複数のマシンのネットワークに亘って、ストレージ及び検索のためにデータを配信する。したがって、各ピアには、上述したクライアント及びサーバの両方の機能を組み込んでもよい。
【００６１】
図６Ｂは、クライアントコンピュータシステム、サーバコンピュータシステム又はウェブサーバシステムとして用いることができる周知のコンピュータ装置の構成を示している。更に、このようなコンピュータ装置を用いて、ＩＳＰ５等のインターネットサービスプロバイダの機能を実現することもできる。コンピュータ装置５１は、モデム又はネットワークインタフェース５３を介して、外部のシステムに接続される。なお、モデム又はネットワークインタフェース５３は、コンピュータ装置５１の一部であるとみなすこともできる。モデム又はネットワークインタフェース５３は、アナログモデム、ＩＳＤＮモデム、ケーブルモデム、トークンリングインタフェース、衛星通信インタフェース、又はコンピュータシステムを他のコンピュータ装置に接続するための他のインタフェースの何れであってもよい。コンピュータ装置５１は、処理ユニット５５を備え、処理ユニット５５は、例えば、インテル社（Intel）のペンティアム（Pentium）（登録商標）マイクロプロセッサ、モトローラ社（Motorola ）のパワーＰＣマイクロプロセッサ（Power PC microprocessor）等の周知のマイクロプロセッサであってもよい。メモリ５９は、バス５７を介してプロセッサ５５に接続されている。メモリ５９は、ダイナミックＲＡＭ（ＤＲＡＭ）であってもよく、スタティックＲＡＭ（ＳＲＡＭ）であってもよい。バス５７は、プロセッサ５５と、メモリ５９と、不揮発性メモリ６５と、ディスプレイ制御装置６１と、入出力（Ｉ／Ｏ）コントローラ６７とにも接続されている。ディスプレイ制御装置６１は、例えば陰極線管（cathode ray tube：ＣＲＴ）、液晶表示装置（liquid crystal display：ＬＣＤ）等のディスプレイデバイス６３の画面を周知の手法で制御する。入出力装置６９は、キーボード、ディスクドライブ、プリンタ、スキャナ及びマウス又は他のポインティング装置を備えるこの他の入出力装置を含む。ディスプレイ制御装置６１及びＩ／Ｏコントローラ６７は、周知の技術に基づいて実現することができる。デジタル画像入力装置７１は、入出力コントローラ６７に接続されたデジタルカメラであってもよく、この場合、デジタルカメラからの画像は、入出力コントローラ６７を介して、コンピュータ装置５１に供給される。不揮発性メモリ６５は、多くの場合、磁気ハードディスク、光ディスク又は大量のデータをストレージするための他の形式の媒体である。これらのデータは、通常、コンピュータ装置５１においてソフトウェアが実行されている間、ダイレクトメモリアクセス処理によってメモリ５９に書き込まれる。「コンピュータにより読取可能な媒体」及び「マシンにより読取可能な媒体」という用語には、プロセッサ５５によってアクセス可能なあらゆる種類の記録媒体だけではなく及びデータ信号をエンコードした搬送波等も含まれることは当業者にとって明らかである。
【００６２】
なお、コンピュータ装置５１は、異なるアーキテクチャを有する様々な可能なコンピュータ装置の一例に過ぎない。例えば、インテルマイクロプロセッサに基づくパーソナルコンピュータは、多くの場合、周辺機器への入出力（入出力）バスや、プロセッサ５５及びメモリ５９を直接接続するバス（メモリバスとも呼ばれる）を始めとする複数のバスを有する。バスは、異なるバスプロトコル間で必要な変換を実行するブリッジコンポーネントを介して、相互に接続される。
【００６３】
本発明では、他の種類のコンピュータ装置として、ネットワークコンピュータを用いてもよい。通常、ネットワークコンピュータは、ハードディスク又はこの他の大容量記憶媒体を備えておらず、実行可能なプログラムは、ネットワーク接続からメモリ５９にロードされ、プロセッサ５５によって実行される。当分野において周知のウェブテレビジョンシステムも本発明に基づくコンピュータ装置であるとみなすことができるが、ウェブテレビジョンシステムは、例えば、入力装置又は出力装置等、図６Ｂに示す要素の一部を有していない場合もある。一般的なコンピュータ装置は、通常、少なくともプロセッサと、メモリと、プロセッサをメモリに接続するバスとを備える。
【００６４】
更に、コンピュータ装置５１は、例えば、オペレーティングシステムソフトウェアの一部であるディスクオペレーティングシステム等のファイル管理システムを備えるオペレーティングシステムソフトウェアによって制御される。関連ファイル管理システムソフトウェアを有するオペレーティングシステムソフトウェアの一例として、ワシントン州レッドモンド（Redmond, Washington）のマイクロソフト社（Microsoft Corporation）から市販されているウィンドウズ（Windows：商標）のファミリであるオペレーティングシステム及びこれらの関連ファイル管理システムがある。ファイル管理システムは、通常、不揮発性メモリ６５に格納され、データを入出力し、メモリにデータを保存し、例えば、不揮発性メモリ６５にファイルを格納する等、オペレーティングシステムが必要とする様々な動作をプロセッサ５５に実行させる。
【００６５】
以上、送信の後に画素値を再生できるように画像データ内の画素を予測する時間的分類フィルタリングについて説明した。ここでは、特定の実施例を示したが、ここに示した特定の実施例に代えて、同じ目的を達成する如何なる構成を用いてもよいことは当業者にとって明らかである。したがって、本発明は、添付の請求の範囲及びその等価物によってのみ制限される。
【図面の簡単な説明】
【００６６】
【図１】従来のブロックベースの動き推定及び補償を説明する図である。
【図２】時間的分類フィルタリングの実施の形態を用いるデータ符号化の概要をシステムレベルで示す図である。
【図３Ａ】単一の参照フレームを用いる時間的分類フィルタリングの実施の形態を説明する図である。
【図３Ｂ】単一の参照フレームを用いる時間的分類フィルタリングの実施の形態を説明する図である。
【図３Ｃ】単一の参照フレームを用いる時間的分類フィルタリングの実施の形態を説明する図である。
【図４Ａ】コンピュータにより実行される時間的分類フィルタリング処理の一例を示すフローチャートである。
【図４Ｂ】コンピュータにより実行される時間的分類フィルタリング処理の一例を示すフローチャートである。
【図４Ｃ】コンピュータにより実行される時間的分類フィルタリング処理の一例を示すフローチャートである。
【図４Ｄ】コンピュータにより実行される時間的分類フィルタリング処理の一例を示すフローチャートである。
【図５Ａ】複数の参照フレームを用いる時間的分類フィルタリングの実施の形態を説明する図である。
【図５Ｂ】複数の参照フレームを用いる時間的分類フィルタリングの実施の形態を説明する図である。
【図５Ｃ】複数の参照フレームを用いる時間的分類フィルタリングの実施の形態を説明する図である。
【図５Ｄ】複数の参照フレームを用いる時間的分類フィルタリングの実施の形態を説明する図である。
【図６Ａ】本発明の実施に適当な動作環境の一例を示す図である。
【図６Ｂ】図６Ａの動作環境での使用に適当なコンピュータ装置の一例を示す図である。
【図１】
2008500775.tif 000012
【図２】
2008500775.tif 000013
【図３Ａ】
2008500775.tif 000014
【図３Ｂ】
2008500775.tif 000015
【図３Ｃ】
2008500775.tif 000016
【図４Ａ】
2008500775.tif 000017
【図４Ｂ】
2008500775.tif 000018
【図４Ｃ】
2008500775.tif 000019
【図４Ｄ】
2008500775.tif 000020
【図５Ａ】
2008500775.tif 000021
【図５Ｂ】
2008500775.tif 000022
【図５Ｃ】
2008500775.tif 000023
【図５Ｄ】
2008500775.tif 000024
【図６Ａ】
2008500775.tif 000025
【図６Ｂ】
2008500775.tif 000026