(57)【要約】【課題】デシメーションフィルタを最適化する。【解決手段】オリジナルフレームに初期デシメーションフィルタを適用してデシメート済みフィルタを生成する。初期デシメーションフィルタを固定したままの状態で、デシメート済みフレーム及びオリジナルフレームの両方から最適予測フィルタを抽出する。最適予測フィルタを固定したままの状態で、最適予測フィルタ及びデシメート済みフレームから予測フレームを生成し、デシメート済みフレーム及び予測フレームから最適デシメーションフィルタを抽出する。【選択図】図５
2010093821.tif 000002
【特許請求の範囲】
【請求項１】
オリジナルフレームに初期デシメーションフィルタを適用してデシメート済みフレームを生成するステップと、
前記初期デシメーションフィルタを固定したままで、前記デシメート済みフレーム及び前記オリジナルフレームから最適予測フィルタを抽出するステップと、
前記最適予測フィルタ及び前記デシメート済みフレームから予測フレームを生成するステップと、
前記最適予測フィルタを固定したままで、前記デシメート済みフレーム及び前記予測フレームから最適デシメーションフィルタを抽出するステップと、
を含むことを特徴とするコンピュータによる方法。
【請求項２】
前記デシメート済みフレームから前記最適予測フィルタのクラスを生成するステップをさらに含む、
ことを特徴とする請求項１に記載のコンピュータによる方法。
【請求項３】
前記予測フレームから前記最適デシメーションフィルタのクラスを生成するステップをさらに含む、
ことを特徴とする請求項１に記載のコンピュータによる方法。
【請求項４】
最適予測フィルタを抽出するステップは、最小二乗トレーニングを使用して初期予測フィルタの予測エラーを最小にするステップを含む、
ことを特徴とする請求項１に記載のコンピュータによる方法。
【請求項５】
最適デシメーションフィルタを抽出するステップは、最小二乗トレーニングを使用して前記初期デシメーションフィルタの予測エラーを最小にするステップを含む、
ことを特徴とする請求項１に記載のコンピュータによる方法。
【請求項６】
データ処理システムにより実行された場合、前記データ処理システムにデータを処理する動作を実行させる命令を記憶するコンピュータ可読記憶媒体であって、前記動作は、
オリジナルフレームに初期デシメーションフィルタを適用してデシメート済みフレームを生成するステップと、
前記初期デシメーションフィルタを固定したままで、前記デシメート済みフレーム及び前記オリジナルフレームから最適予測フィルタを抽出するステップと、
前記最適予測フィルタ及び前記デシメート済みフレームから予測フレームを生成するステップと、
前記最適予測フィルタを固定したままで、前記デシメート済みフレーム及び前記予測フレームから最適デシメーションフィルタを抽出するステップと、
を含むことを特徴とするコンピュータ可読記憶媒体。
【請求項７】
前記方法は、前記デシメート済みフレームから前記最適予測フィルタのクラスを生成するステップをさらに含む、
ことを特徴とする請求項６に記載のコンピュータ可読記憶媒体。
【請求項８】
前記方法は、前記予測フレームから前記最適デシメーションフィルタのクラスを生成するステップをさらに含む、
ことを特徴とする請求項６に記載のコンピュータ可読記憶媒体。
【請求項９】
最適予測フィルタを抽出するステップは、最小二乗トレーニングを使用して初期予測フィルタの予測エラーを最小にするステップを含む、
ことを特徴とする請求項６に記載のコンピュータ可読記憶媒体。
【請求項１０】
最適デシメーションフィルタを抽出するステップは、最小二乗トレーニングを使用して前記初期デシメーションフィルタの予測エラーを最小にするステップを含む、
ことを特徴とする請求項６に記載のコンピュータ可読記憶媒体。
【請求項１１】
バスに接続されたプロセッサと、
前記バスを介して前記プロセッサに接続されたメモリと、
前記プロセッサにより前記メモリから実行されて、該プロセッサに、
オリジナルフレームに初期デシメーションフィルタを適用してデシメート済みフレームを生成することと、
前記初期デシメーションフィルタを固定したままで、前記デシメート済みフレーム及び前記オリジナルフレームから最適予測フィルタを抽出することと、
前記最適予測フィルタ及び前記デシメート済みフレームから予測フレームを生成することと、
前記最適予測フィルタを固定したままで、前記デシメート済みフレーム及び前記予測フレームから最適デシメーションフィルタを抽出することと、
を実行させる命令と、
を備えることを特徴とするシステム。
【請求項１２】
前記命令は、前記デシメート済みフレームから前記最適予測フィルタのクラスを生成することをさらに含む、
ことを特徴とする請求項１１に記載のシステム。
【請求項１３】
前記命令は、前記予測フレームから前記最適デシメーションフィルタのクラスを生成することをさらに含む、
ことを特徴とする請求項１１に記載のシステム。
【請求項１４】
最適予測フィルタを抽出するステップは、最小二乗トレーニングを使用して初期予測フィルタの予測エラーを最小にするステップを含む、
ことを特徴とする請求項１１に記載のシステム。
【請求項１５】
最適デシメーションフィルタを抽出するステップは、最小二乗トレーニングを使用して前記初期デシメーションフィルタの予測エラーを最小にするステップを含む、
ことを特徴とする請求項１１に記載のシステム。
【請求項１６】
オリジナルフレームに初期デシメーションフィルタを適用してデシメート済みフレームを生成するための手段と、
前記初期デシメーションフィルタを固定したままで、前記デシメート済みフレーム及び前記オリジナルフレームから最適予測フィルタを抽出するための手段と、
前記最適予測フィルタ及び前記デシメート済みフレームから予測フレームを生成するための手段と、
前記最適予測フィルタを固定したままで、前記デシメート済みフレーム及び前記予測フレームから最適デシメーションフィルタを抽出するための手段と、
を含むことを特徴とするデータ処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願との相互参照］
本出願は、＿＿＿＿＿に出願された「マルチ分類適応デシメーションフィルタの抽出」という名称の以下の同一出願人による同時係属出願：出願番号第＿＿＿＿＿号（代理人整理番号０８０３９８．Ｐ７３９）と関連性がある。
【０００２】
本発明は、一般にデータ処理に関し、より具体的にはビデオ符号化に関する。
【０００３】
［著作権表示／許諾］
本特許文書の開示部分は、著作権保護の対象内容を含む。著作権の権利所有者は、合衆国特許商標庁の特許ファイル又は記録内に表されるとおりに他者が特許文書又は特許開示を複製することには異議を唱えないが、それ以外は全ての著作権を留保する。以下の表記が適用される：著作権（Ｃ）２００８，Ｓｏｎｙ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｉｎｃ．，禁無断転載。
【背景技術】
【０００４】
圧縮及びズームなどの様々なビデオ処理アプリケーションにおける重要かつ根本的な問題は、デシメーション及び予測である。デシメーションは、原始データのより小さなバージョンを生成するステップを含む。一般的な例に、デシメート済みフレームを作成するために、デシメーションフィルタを使用してオリジナルフレームをデシメートするビデオ圧縮がある。ビデオフレームを解凍するために、予測フィルタがデシメート済みフレームからターゲットフレームを生成する。オリジナルフレームとターゲットフレームとの間の差分である予測エラーを測定することにより、ターゲットフレームの品質を表すことができる。ターゲットフレームの品質を向上させるために使用される１つの既存の処理は、適応予測フィルタを使用することである。ターゲットフレームの品質を向上させるために、デシメーションフィルタが固定されたままの状態で、対応するデシメート済みフレームに対して適応予測フィルタが修正される。分類予測フィルタは、画像内の異なる画素／領域に異なるフィルタ／クラスを適用する適応予測フィルタである。
【０００５】
図２Ａは、オリジナルフレームをオリジナルフレームのサイズの１／４であるデシメート済みフレームに縮小する１／４のデシメーション係数を有する固定デシメーションフィルタを示す図である。オリジナル画素２０５（空画素）に、各々１／４のデシメーションフィルタ係数が割り当てられる。換言すれば、デシメート済み画素２１０を生成するために、オリジナル画素２０５が平均化される。図２Ｂは、１／９のデシメーション係数を有する固定デシメーションフィルタを示す図である。オリジナル画素２５０（空画素、ターゲット画素２５５と同じ場所にあるオリジナル画素をプラス）は、デシメート済み画素２５５の値に対して各々が１／９を与える。図２Ａ又は図２Ｂに示すデシメーションフィルタを適用した後、原始データは、デシメーション係数に従うサイズに縮小される。
【発明の概要】
【課題を解決するための手段】
【０００６】
オリジナルフレームに初期デシメーションフィルタを適用してデシメート済みフレームを生成する。初期デシメーションフィルタを固定したままの状態で、デシメート済みフレーム及びオリジナルフレームの両方から最適予測フィルタを抽出する。最適予測フィルタを固定したままの状態で、最適予測フィルタ及びデシメート済みフレームから予測フレームを生成し、デシメート済みフレーム及び予測フレームから最適デシメーションフィルタを抽出する。
【図面の簡単な説明】
【０００７】
【図１】本発明による適応デシメーションフィルタの実施形態の動作の概要を示す図である。
【図２Ａ】当業で公知の固定デシメーションフィルタを示す図である。
【図２Ｂ】当業で公知の固定デシメーションフィルタを示す図である。
【図３】本発明の実施形態による適応デシメーションフィルタを示す図である。
【図４】本発明の実施形態による適応デシメーションフィルタの動作を示すデータフロー図である。
【図５】本発明の実施形態によるコンピュータにより実行されるフィルタ最適化方法を示すフロー図である。
【図６】本発明の実施形態による適応デシメーションフィルタの動作を示す図である。
【図７Ａ】本発明の実施形態によるコンピュータにより実行されるフィルタ最適化方法を示すフロー図である。
【図７Ｂ】本発明の実施形態によるコンピュータにより実行されるフィルタ最適化方法を示すフロー図である。
【図８】本発明の実施形態による適応デシメーションフィルタの動作を示す図である。
【図９】本発明の実施形態による適応デシメーションフィルタの動作を示す図である。
【図１０】本発明の実施形態による適応デシメーションフィルタの動作を示す図である。
【図１１Ａ】本発明を実施するのに適したコンピュータ環境を示す図である。
【図１１Ｂ】本発明を実施するのに適したコンピュータ環境を示す図である。
【図１２】本発明の実施形態による分類適応デシメーションフィルタを示す図である。
【図１３】本発明の実施形態によるコンピュータにより実行されるマルチデシメーションフィルタ抽出方法を示すフロー図である。
【図１４】本発明の実施形態によるコンピュータにより実行される別のマルチデシメーションフィルタ抽出方法を示すフロー図である。
【図１５】本発明の実施形態によるコンピュータにより実行されるデシメーションフィルタの初期推定方法を示すフロー図である。
【発明を実施するための形態】
【０００８】
以下の本発明の実施形態の詳細な説明では、同じ参照番号が同様の要素を示す添付の図面を参照し、図面には、本発明を実施できる特定の実施形態を例示目的で示す。これらの実施形態について、当業者が本発明を実施できるように十分に詳しく説明し、また、他の実施形態を利用できるとともに、本発明の範囲から逸脱することなく論理的、機械的、電気的、機能的及びその他の変更を行うことができる。従って、以下の詳細な説明を限定的な意味で捉えるべきではなく、本発明の範囲は添付の特許請求の範囲によってのみ定められる。
【０００９】
本発明の動作の概説から始めると、図１は、適応デシメーションフィルタリングの１つの実施形態を示している。オリジナルデータ１００が、適応予測フィルタ及びデシメーションフィルタを使用してエンコーダ１０５で符号化される。オリジナルデータ１００は、ユーザが装置１２０などの標準画質テレビで見たいと思う、ＢｌｕＲａｙプレーヤーから得たビデオデータであってもよい。これを行うために、エンコーダ１０５は、データ１００をズームしてズームデータ１１０を生成することができ、これを装置１２０が適当なアスペクト比で復号化し、表示することができる。エンコーダ１０５から得られる符号化データは圧縮データ１１５の形を取ることができ、これをエンコーダ１０５が、復号化及び表示するための装置１３０へネットワーク１２５を介して送信することができる。例えば、データ１００はスポーツイベントのライブビデオであってもよい。
【００１０】
予測フィルタを使用したオリジナルフレームの再構成にそのオリジナルフレームがどれほど類似しているかという点から、予測フィルタ又はデシメーションフィルタの予測強度を理解することができる。予測フィルタ又はデシメーションフィルタのいずれかの最適化とは、フィルタを作り出す係数をソースフレームとターゲットフレームとの間の差分を減らすように調整する処理のことである。換言すれば、ターゲットフレームに関連する予測エラーを低減させることである。
【００１１】
デシメーションフィルタの最適化は、予測フィルタがターゲットフレームを生成するために使用するデシメート済みフレームによりターゲットフレーム内に間接的に存在する。例として、２つのターゲットフレームＰ及びＰ’を生成するために予測フィルタＬを使用するとする。ターゲットフレームを生成するために、２つのデシメーションフィルタＨ及びＨ’により生成された２つのデシメート済みフレームＤ及びＤ’にＬが適用される。さらに、第１のターゲットフレームＰは、オリジナル画像Ｉと比較した場合に０．０５の平均予測エラーを有し、一方第２のターゲットフレームＰ’は、Ｉと比較した場合に０．１０の平均予測エラーを有するとする。同じ予測フィルタＬを使用して両方のターゲットフレームを生成するので、精度の差は、デシメート済みフレーム、従って異なるデシメーションフィルタによるものとなる。
【００１２】
図４は、本発明の実施形態による適応デシメーションフィルタの動作を示すデータフロー図である。予測のエラーを測定することによって予測を向上させるために、エンコーダコンテキスト４００が、オリジナルフレーム４１０と、エンコーダ１０５などのエンコーダによりデシメート４１５され、予測４２０されるデシメート済みフレーム４２５とを含む。符号化データ４３０がデコーダ４０５へ送信される。例えば、ネットワーク１２５を介して送信される。デコーダ１０５は、デシメート済みフレーム４３５と、これもまた符号化データ４３０に含まれるフィルタ係数とを使用して予測フレーム４４５を予測４４０する。予測フレーム４４５をユーザーに表示することができる。
【００１３】
次に、本発明の具体的な方法について、一連のフロー図を参照しながらコンピュータソフトウェアの観点から説明する。図５及び図７は、適応デシメーションフィルタの実施形態による方法を示すフロー図である。エンコーダ１０５が、図５及び図７に示す方法を実行することができる。この方法は、図５のブロック（動作）５０５から５２５まで、及び図７のブロック７０５から７４０までのように示す機械実行可能命令で作られたコンピュータプログラムを構成する。フロー図を参照して本方法について説明することにより、当業者は、好適に構成された機械（ＲＡＭなどのメモリを含む機械可読記憶媒体からの命令を実行する機械のプロセッサ）、コンピュータ化したクライアント（機械可読媒体からの命令を実行するクライアントのプロセッサ）において方法を実行するためのこのような命令を含むこのようなプログラムを開発できるようになる。同様に、サーバにより実行される方法は、これもまた機械実行可能命令で作られたコンピュータプログラムを構成する。フロー図を参照して方法について説明することにより、当業者は、好適なコンピュータ化されたサーバ（機械可読記憶媒体からの命令を実行するサーバのプロセッサ）において方法を実行するための命令を含むプログラムを開発できるようになる。機械実行可能命令は、コンピュータプログラミング言語で書かれたものであってもよく、或いはファームウェアの論理に統合したものであってもよい。認められている規格に準拠するプログラミング言語で書かれている場合、様々なハードウェアプラットフォームにおいて、及び様々なオペレーティングシステムへのインターフェイスのためにこのような命令を実行することができる。また、本発明は、ある特定のプログラミング言語に関連して説明するものではない。様々なプログラミング言語を使用して、本明細書で説明するような本発明の教示を実現できることが理解できよう。さらに、１つの動作を行う場合、或いは１つの結果をもたらす場合に、（プログラム、手順、処理、アプリケーション、モジュール、論理．．．などの）１つの形又は別の形のソフトウェアについて語るのは当業では一般的なことである。このような表現は、コンピュータがソフトウェアを実行することにより、コンピュータのプロセッサが動作を実行し、或いは結果を生み出すようになるという言い方を簡単にしたものにすぎない。本発明の範囲から逸脱することなく、図５及び図７に示す方法により多くの又はより少ない処理を組み込むことができること、及び図示するとともに本明細書で説明するブロックの構成により特定の順序を暗示するわけではないことが理解されよう。
【００１４】
図３は、本発明の実施形態による適応デシメーションフィルタリングを示す図である。画素タップ３０５が画素領域３２５及び３３０を含み、デシメーションフィルタを通じてデシメート済み画素３１０に対応する。デシメーションフィルタの予測強度を向上させるために、エンコーダ１０５は、画素タップに含まれる画素の数、又はデシメート済み画素の生成に使用される画素タップ内の画素に対応する係数を変化させることにより、デシメーションフィルタを最適化することができる。例えば、１／４のデシメーション係数を有する固定デシメーションフィルタでは、デシメーションフィルタは、画素領域３２５などの画素タップを使用することができる。エンコーダ１０５は、この初期タップを拡張して画素タップ３０５を作成することができ、これにより追加の画素がタップに組み入れられる。領域３２５内の画素は０．１２５の係数を有することができる一方、領域３３０内の画素は０．０５の係数を有することができ、またタップの隅にある画素は、０．０２５の係数を有することができる。画素タップ３０５のサイズを増やすことにより、デシメート済み画素３１０を生成するためにより多くのオリジナルデータを利用可能になり、これによりターゲットフレームの品質を向上させることができる。エンコーダはフィルタ係数を変化させることもでき、これによりオリジナル画素がより良い予測を実現するようになる。
【００１５】
例えば、エンコーダ１０５は、オリジナルフレームの潜在的な特徴を十分に引き出すように画素タップを修正することもできる。例えば、画素タップ３１５を水平方向に引き延ばし、これがデシメート済み画素３２０に対応する。画素タップ３１５を引き出す元のオリジナルフレームの領域は、（壁のレンガのような）水平特徴を含むことができ、この場合、画素タップ３１５などの水平に引き延ばされた画素タップは、より大きな予測強度を予測フィルタに与えるデシメート済み画素３２０を生成することができる。
【００１６】
図５は、本発明の実施形態によるフィルタ最適化方法を示す図である。エンコーダ１０５は、フィルタ最適化方法５００を実行して適応デシメーションフィルタ及び適応予測フィルタを最適化することができる。デシメーションフィルタ及び予測フィルタの両方を最適化するための１つの障害は、同時最適化が非線形処理になるという点である。予測フィルタは、デシメーションフィルタにより取得されるデシメート済みフレームに依存する。最適デシメーションフィルタは高い予測強度を提供し、この場合、予測強度は予測フィルタに直接依存する。この関係の非線形性を予測フィルタ及びデシメーションフィルタの関数として表すことができる。
2010093821.tif 000003
（１）
この場合、ＩＤはデシメート済みフレーム、Ｈはデシメーションフィルタ、及びＩはオリジナルフレームである。予測フィルタは、
2010093821.tif 000004
（２）
のように定義することができ、この場合、Ｐはターゲットフレームであり、予測フィルタＬはＨの関数である。従って、ターゲットフレームＰは、
2010093821.tif 000005
（３）
次のように表すことができる。また、予測エラーＥは、
2010093821.tif 000006
（４）
のように表すことができ、これは、ＬとＨにおける非線形関数である。最適予測フィルタ及びデシメーションフィルタを取得するために、予測エラーＥが最小化される。エラー関数は非線形であるので、予測フィルタ及びデシメーションフィルタの両方の最適な解を引き出すための直接的方法を利用することはできない。
【００１７】
図５に示す実施形態では、再帰的処理を使用して予測フィルタ及びデシメーションフィルタを最適化する。この処理は線形エラー関数を使用する。方法５００は、ブロック５０５において初期デシメーションフィルタを選択する。例えば、初期デシメーションフィルタは固定デシメーションフィルタであってもよい。方法５００は、ブロック５１５においてデシメーションフィルタを固定したままで最適予測フィルタを抽出する。デシメーションフィルタを固定しておくことにより、エラー関数が二次方程式になる。従って、予測エラーを最小にすることにより、フィルタの解を求める線形方程式が生じ、これにより方法が現在のデシメーションフィルタのための最適予測フィルタを抽出できるようになる。最適予測フィルタの抽出については、図７と共に以下でさらに詳細に説明する。
【００１８】
方法５００は、ブロック５２０において、ブロック５１５で抽出した予測フィルタを固定したままで最適デシメーションフィルタを抽出する。予測フィルタを固定しておくことにより、エラー関数が二次方程式になり、これにより方法が現在の予測フィルタのための最適デシメーションフィルタを抽出できるようになる。方法が、判定５２５において最適化が完了したと判定した場合、方法は制御を例えばエンコーダ１０５に戻す。最適化が完了したと判定されなければ、方法はブロック５１５へ戻り、さらにフィルタを最適化する。
【００１９】
上述の再帰的処理を使用することにより、方法５００は、デシメーションフィルタ及び予測フィルタの両方を次第に向上させる。予測強度は両フィルタの適応性に依存するので、一方のフィルタへの変更が他方のフィルタにおける新たな向上を可能にすることができる。
【００２０】
図６は、図５に示すフィルタ最適化方法の動作を示す図である。パス６００、６３０、及び６５５は、予測フィルタ及びデシメーションフィルタの連続した最適化を表す。方法５００は、初期デシメーションフィルタ６１０でオリジナルフレーム６０５をデシメートして、デシメート済みフレーム６２０を生成する。方法５００は、図７と共に以下でさらに詳細に説明するように、デシメート済みフレーム６２０から最適予測フィルタ６１５を抽出する。パス６３０の間、方法５００は、予測フィルタ６１５を固定したままでオリジナルフレーム６０５から最適デシメーションフィルタ６４０を抽出する。方法５００は、デシメーションフィルタ６４０でデシメート済みフレーム６５０を生成し、デシメーションフィルタ６４０を固定したままで最適予測フィルタ６４５を抽出する。パス６５５の間、方法５００は、予測フィルタ６４５を固定したままで最適デシメーションフィルタ６６５を抽出する。方法５００は、デシメーションフィルタ６６５を使用してデシメート済みフレーム６７５を生成する。方法５００は、デシメート済みフレーム６７５を使用して最適予測フィルタ６７０を抽出する。方法５００は、最適化の結果が飽和したと判定し、例えばエンコーダ１０５に制御を譲る。
【００２１】
図７は、本発明の実施形態により実行される方法を示す図である。方法７００は、ブロック７０５において、所望のデシメーション係数を有する固定デシメーションフィルタなどの初期デシメーションフィルタを選択する。方法７００は、ブロック７１０において、（ビデオのフレームなどの）オリジナルフレームにデシメーションフィルタを適用することによりデシメート済みフレームを生成する。方法７００は、ブロック７１５において、当業で公知の多くの処理の１つを使用して、デシメート済みフレームを使用して予測フィルタのクラスを生成する。方法７００は、ブロック７２０において、デシメーションフィルタを固定したままで分類予測フィルタを抽出する。この方法は、固定変数としてデシメーションフィルタを維持することにより最適予測フィルタを生成する。
【００２２】
フィルタ抽出処理の説明に使用する注釈は、後に処理自体を続けて記述している。個々の画素
2010093821.tif 000007
に対してオリジナルフレームの信号レベルを
2010093821.tif 000008
として示す。デシメート済み画素
2010093821.tif 000009
に対してデシメート済みフレームの信号レベルを
2010093821.tif 000010
として示し、一方、添字
2010093821.tif 000011
が予測フィルタのフィルタタップの範囲を動く場合、ターゲット画素
2010093821.tif 000012
を予測するための予測フィルタタップ上で定義されるデシメート済み画素の組は
2010093821.tif 000013
となる。
【００２３】
画素
2010093821.tif 000014
に対するオリジナルフレームの予測は
2010093821.tif 000015
となり、次の段落で定義される。予測フィルタクラス
2010093821.tif 000016
に対応する予測フィルタを
2010093821.tif 000017
として示す。
【００２４】
デシメーションフィルタを一定に保ち、予測エラーの最小化から予測フィルタが導き出される。画素
2010093821.tif 000018
の予測は、
2010093821.tif 000019
（５）
のように定義することができる。一方、画素ｘの予測フィルタクラスは、
2010093821.tif 000020
（６）
のように定義することができる。一方、予測エラーは、
2010093821.tif 000021
（７）
のように定義することができる。最小二乗トレーニング解は、
2010093821.tif 000022
となるように全ての画素
2010093821.tif 000023
に渡って相関行列及び観測ベクトルを計算するステップを含む。個々のフィルタクラスにとって画素の組が十分に大きい場合、最小二乗解が安定解を生じる。方法７００は、最小二乗解を使用した固定デシメーションによる予測エラー最小化からあるクラスｖに対する予測フィルタ
2010093821.tif 000024
を抽出する。
2010093821.tif 000025
（８）
2010093821.tif 000026
（９）
2010093821.tif 000027
（１０）
2010093821.tif 000028
（１１）
2010093821.tif 000029
（１２）
クラスｖの最適予測フィルタは、
2010093821.tif 000030
（１３）
により与えられる。この場合、
2010093821.tif 000031
（１４）
は、クラスｖの相関行列であり、
2010093821.tif 000032
（１５）
は、クラスｖの観測ベクトルであり、結果としてフィルタの各クラスに１つずつｖに依存しない行列方程式を生じる。添字｛ｊ，ｋ｝は、予測フィルタタップ
2010093821.tif 000033
（１６）
の範囲を動き、
2010093821.tif 000034
は予測フィルタタップのサイズを示す。
【００２５】
方法７００は、ブロック７２５において、予測フィルタ及びデシメート済みフレームを使用して予測フレームを生成する。
【００２６】
方法７００は、ブロック７３０において、ターゲットフレームからデシメーションフィルタのクラスを生成する。オリジナル入力データにおいて、或いはデシメートしたデータ自体においてデシメーションクラスを定めることができる。以下の処理は、シングルクラス（モノクラス）を使用した適応デシメーションフィルタの導出に応用される。マルチクラス適応デシメーションフィルタの導出については、図１３〜図１５と共に以下でさらに詳細に説明する。
【００２７】
方法７００は、ブロック７３５において、予測フィルタを固定したままで分類デシメーションフィルタを抽出する。方法７００は、予測フィルタを固定したままで予測エラーの最小化からデシメーションフィルタを導き出す。画素ｘに対する予測は、
2010093821.tif 000035
（１７）
のように定義することができる。画素ｘに対する予測フィルタクラスマップは、
2010093821.tif 000036
（１８）
のように定義することができる。デシメートした画像は、
2010093821.tif 000037
（１９）
のように定義することができる。デシメーションフィルタに関して表される画素ｘに対する予測は、
2010093821.tif 000038
（２０）
のように定義することができる。また、予測エラーは、
2010093821.tif 000039
（２１）
のように定義することができる。
【００２８】
従って、方法７００は、固定予測フィルタによる予測エラー最小化からデシメーションフィルタ
2010093821.tif 000040
を以下のように抽出する。
2010093821.tif 000041
（２２）
2010093821.tif 000042
（２３）
2010093821.tif 000043
（２４）
2010093821.tif 000044
（２５）
2010093821.tif 000045
（２６）
この場合、
2010093821.tif 000046
（２７）
となり、デシメーションフィルタ
2010093821.tif 000047
は、
2010093821.tif 000048
（２８）
により与えられる。この場合、
2010093821.tif 000049
（２９）
は相関行列を定義し、
2010093821.tif 000050
（３０）
は観測ベクトルを定義する。添字
2010093821.tif 000051
は、デシメーションフィルタタップ
2010093821.tif 000052
（３１）
の範囲を動き、
2010093821.tif 000053
はデシメーションフィルタタップのサイズを示す。
【００２９】
方法７００は、固定分類予測フィルタを考慮すると、上記の最小二乗解を使用してデシメーションフィルタ
2010093821.tif 000054
を生成する。関数
2010093821.tif 000055
は、方法７００がブロック７２０において生成した分類予測フィルタの効果を組み入れる。関数
2010093821.tif 000056
は、オリジナルデータとブロック７２０から得られる分類予測フィルタＬとの加重平均を与える。加重平均は、分類予測フィルタ
2010093821.tif 000057
（３２）
のタップ位置
2010093821.tif 000058
の全てを上回る。
【００３０】
関数
2010093821.tif 000059
をＬ加重入力信号と呼ぶことができる。方法７００は、判定７４０において、フィルタをさらに最適化するか終了するかを判定する。１つの実施形態では、方法７００は、処理を所定の回数繰り返すことができる。経験的には、結果は１／９のデシメーション係数を使用して４又は５パス後に飽和し、従って方法７００は４又は５パス後に終了することができる。
【００３１】
図８は、二次元（２Ｄ）予測フィルタ及びデシメーションフィルタの最適化を示す図である。予測フィルタは、ターゲット（予測）フレームと同じ時刻から得たデシメート済み画素のみを使用して予測フレームを生成するという点で２Ｄである。デシメーションフィルタ８１０が、オリジナルフレーム８００からデシメート済みフレーム８０５を生成する。２Ｄ予測フィルタ８１５が、デシメート済み画素タップ８１０を使用してターゲット画素８２０を再構成する。
【００３２】
図９は、漸進的／非インタレースビデオフレームのための三次元（３Ｄ）予測フィルタ及びデシメーションフィルタの最適化を示す図である。デシメーションフィルタ９０５及び９３５が、オリジナルフレーム９００及び９２５からデシメート済みフレーム９１０及び９４５を生成する。予測フィルタ９２０は、ターゲットフレームに対応するデシメート済みフレーム、及びターゲットフレームから時間的にオフセットした少なくとも１つのデシメート済みフレームにデシメートタップを使用するという点で３Ｄである。例えば、予測フィルタ９２０は、オフセットしたデシメート済みフレーム９１０からのデシメート済み画素タップ９１５と、デシメート済みフレーム９４５におけるデシメート済み画素タップ９５０とを使用してターゲット画素９３０を再構成する。
【００３３】
図１０は、フレームが２つのフィールドに分類され、垂直にオフセットしているインタレースビデオデータのための三次元（３Ｄ）予測フィルタ及びデシメーションフィルタの最適化を示す図である。一般に、所定のフレームから得られる２つのフィールドは、１秒の１／６０毎に時間的に分離され、１行の画素ずつ縦にシフトされる。ビデオデータの個々のフレームを、インタレースビデオデータの２つのフィールド毎に表している。図１０では、フィールド１００５及び１０１５がターゲットフレームを形成する。この実施形態では、個々のフィールドが対応するデシメーションフィルタを有する。ターゲットフレーム内のフィールド１００５及び１０１５は、対応する３Ｄ予測フィルタを有する。予測フィルタ１０６５は、デシメート済みフィールド１０２０及び１０２５内のデシメート済み画素タップ１０３５及び１０４０を使用してターゲット画素１０４５を生成する。デシメート済みフィールド１０２５は、ターゲットフィールド１００５に時間順序的に対応する。デシメート済みフィールド１０２０は、前のビデオデータのフレームの第２のフィールドに時間順序的に対応する。予測フィルタ１０７０は、デシメート済み画素タップ１０５５及び１０５０を使用してターゲット画素１０６０を生成する。デシメート済み画素タップ１０５５は、ターゲットフィールド１０１５に時間順序的に対応し、デシメート済み画素フレーム１０５０は、ターゲットフレーム内の前のフィールド１００５に時間順序的に対応する。
【００３４】
図７Ｂは、本発明の実施形態による分類適応デシメーションフィルタを最適化する方法を示すフロー図である。図７Ａ及び図７Ｂは、図７Ｂがブロック７３０を組み入れたものになっている。方法７５０は、ブロック７３０において、デシメーションフィルタのためのクラスを生成する。同様に、本方法は、ブロック７３５において、クラスを使用して分類フィルタを抽出する。分類デシメーションフィルタを使用した予測は、
2010093821.tif 000060
（３３）
のように定義することができる。この場合、
2010093821.tif 000061
（３４）
より予測マップが与えられ、
2010093821.tif 000062
（３５）
によりデシメート画像が与えられ、デシメーションクラスマップは
2010093821.tif 000063
（３６）
になり、デシメーションフィルタに関して予測が、
2010093821.tif 000064
（３７）
のように表され、予測エラーは、予測される画像と予測
2010093821.tif 000065
（３８）
との間の差分である。
【００３５】
予測エラーは、予測とデシメーションフィルタ、及び予測とデシメーションクラスマップの関数である。この依存は、
2010093821.tif 000066
として表される。クラスマップは、通常、他の何らかの方法により固定及び決定され、従ってフィルタのみにおける予測エラーの依存は
2010093821.tif 000067
として表される。他の実施形態では、他の分類法を使用することができる。
【００３６】
予測エラーの最小化から複数の分類デシメーションフィルタ
2010093821.tif 000068
が導き出される。予測エラーを固定したままで予測エラーの変動をゼロに設定することにより、この最小化が得られる。
2010093821.tif 000069
（３９）
従って、主に図７と共に上述したモノクラスデシメーションを、以下の処理を使用してマルチクラスデシメーションに拡張することができる。
2010093821.tif 000070
（４０）
2010093821.tif 000071
（４１）
方程式３７で定義された予測を適用すると、方程式４０に対して以下が得られる。
2010093821.tif 000072
（４２）
これは、
2010093821.tif 000073
（４３）
のように表すこともできる。この場合、
2010093821.tif 000074
（４４）
となる。方程式４３の最後の項は、
2010093821.tif 000075
（４５）
のように定義されるクラス結合項である。ここで、方程式４５におけるデシメーションクラスの添字ｖは、クラスマップにより次のように決定される。
2010093821.tif 000076
（４６）
方程式４３における解構造は、
2010093821.tif 000077
（４７）
の形を有する。この場合、
2010093821.tif 000078
項はデシメーションクラスｔ：
2010093821.tif 000079
（４８）
の観測ベクトルである。また、
2010093821.tif 000080
項はデシメーションクラスｔ：
2010093821.tif 000081
（４９）
の相関行列である。添字｛ｍ，ｎ｝は、デシメーションフィルタタップｍ＝０，１，．．．Ｔ−１，ｎ＝０，１．．．Ｔ−１の範囲を動き、Ｔはデシメーションフィルタタップのサイズを示す。添字｛ｊ，ｋ｝は予測フィルタタップの範囲を動く。解構造は、いずれの三次元分類予測及びデシメーションフィルタに対しても有効である。換言すれば、これは、どのような数のクラスに対しても、またいずれのクラスマップ
2010093821.tif 000082
及びデシメーションクラスマップ：
2010093821.tif 000083
に対しても有効である。
【００３７】
複数のクラスデシメーションフィルタの解が、方程式４５で与えられたＧｔ項の定義を使用して方程式４７により与えられる。
2010093821.tif 000084
項は、異なるデシメーションクラスからのフィルタを連結する。
2010093821.tif 000085
により、各クラスが独立して解かれることはないので、
2010093821.tif 000086
はクラス結合項として示される。クラス結合項により、デシメーションフィルタを抽出する複雑さが増す。
【００３８】
関数
2010093821.tif 000087
は、分類予測フィルタの効果を組み入れる量である。この関数は、Ｌ加重入力信号と呼ばれ、予測フィルタ係数
2010093821.tif 000088
で重み付けされた入力信号の和
2010093821.tif 000089
である。この和は、同じデシメーションクラス
2010093821.tif 000090
に属する予測フィルタタップ位置
2010093821.tif 000091
すべてを上回る。与えられたターゲット画素
2010093821.tif 000092
に対して、クラスによっては
2010093821.tif 000093
をゼロにすることができる。
【００３９】
主に図７と共に上述したモノクラスデシメーションフィルタが、相関行列
2010093821.tif 000094
の行列反転により以下のように与えられ、ここで相関行列が定義され、
2010093821.tif 000095
（５０）
観測ベクトルは、
2010093821.tif 000096
（５１）
のように定義され、この場合、
2010093821.tif 000097
（５２）
は、モノクラスの場合のＬ加重入力信号である。方程式５２は、ある分類予測フィルタを考慮すると、最適モノクラスデシメーションフィルタを抽出するための最小二乗解である。最小二乗トレーニング解は、サンプルの組における相関行列及び観測ベクトルの計算を含むことができ、この場合このサンプルの組は、考えられるクラスに属する全ての画素である。モノクラスの場合、画像全体にクラスが１つしか存在しないので、全ての画素が使用される。個々のフィルタの場合にとってサンプルの組が十分に大きい限り、最小二乗解は安定解を生じる。
【００４０】
クラス結合項により、個々のクラスの直接解は不可能となる。換言すれば、個々のクラスのデシメーションフィルタを独立して解くことはできない。図１２は、複数のクラスから得た画素の予測の依存を示す図である。画素１２０５は、９画素タップを使用する予測フィルタで予測される画素である。画素１２０５の画素タップは、第１のデシメーションクラスからの画素１２１０、第２のデシメーションクラスからの画素１２１５、及び第３のデシメーションクラスからの画素１２２０を含む。図１２は、クラス結合項を図で示している。境界１２２５は、クラス１からクラス０を分離する。境界１２３０は、クラス２からクラス１を分離する。
【００４１】
ターゲット画素１２０５のための予測フィルタは、
2010093821.tif 000098
（５３）
のように表され、この場合、Ｈｖｎはタップ位置ｎにおけるクラスｖのための分類デシメーションフィルタである。この予測は、図７ｂに示す異なるクラス：
2010093821.tif 000099
（５４）
からの寄与に分類され、これは、個々のターゲット画素に対する予測が複数のデシメーションクラスによりどのように影響を受けるかを示している。これは、クラス結合項のソース
2010093821.tif 000100
である。
【００４２】
デシメーションフィルタタップ位置１２３５のためのＬ加重入力信号
2010093821.tif 000101
は、
2010093821.tif 000102
（５５）
のように定義することができ、この場合、
2010093821.tif 000103
（５６）
2010093821.tif 000104
（５７）
2010093821.tif 000105
（５８）
となることにより、
2010093821.tif 000106
2010093821.tif 000107
（５９）
となり、この場合、方程式５４はＬ加重入力信号へのクラスゼロの寄与を表し、方程式５５はクラス１の寄与を表し、方程式５６はクラス２の寄与を表す。
【００４３】
これは、個々のクラスのための予測フィルタを独立して解くことができるマルチクラス予測の場合とは異なる。マルチクラス予測では、解は個々のクラスで同じ行列構造であり、モノクラスデシメーションフィルタの場合に類似する。
【００４４】
図１３は、正しい処理を使用したマルチデシメーションフィルタ抽出を示す図である。１つの実施形態では、方法５００が、ブロック５２０において方法１３００を実行することができる。方法は、ブロック１３０５において、個々のクラスのデシメーションフィルタを単一の結合されたデシメーションフィルタに連結する。この結合されたフィルタは、行列逆解から正確に取得することができる。結合されたデシメーションフィルタは、
2010093821.tif 000108
（６０）
次のように定義することができる。Ｍがクラスの総数である場合、添字ｔは、クラスの数ｔ＝０，１，２．．．Ｍ−１の範囲を動く。Ｔがタップの総数である場合、添字ｎは、デシメーションフィルタタップｎ＝０，１，２．．．Ｔ−１の範囲を動く。添字ｐは、結合されたフィルタのすべての要素ｐ＝０，１，２．．．ＭＴ−１の範囲を動く。結合されたフィルタがすべてのクラスを具現化するので、クラス結合項は存在しない。方法は、ブロック１３１０において、以下のようにＬ加重入力信号を生成し、
2010093821.tif 000109
（６１）
この場合、
2010093821.tif 000110
（６２）
となる。方法は、ブロック１３１５において、観測ベクトル及び相関行列を全クラスのための１つのジョイントベクトル及び行列に拡張する。結合されたフィルタの解方程式は行列形式：
2010093821.tif 000111
（６３）
を有し、この場合、観測ベクトル及び相関行列は、
2010093821.tif 000112
（６４）
2010093821.tif 000113
（６５）
のように定義される。方法は、ブロック１３２０において、直接行列反転：
2010093821.tif 000114
（６６）
により結合されたデシメーションフィルタの解を抽出する。方法は、ブロック１３２５において、結合されたフィルタ： 
2010093821.tif 000115
（６７）
から個々のクラスのデシメーションフィルタ係数
2010093821.tif 000116
の連結を外す。結合されたＬ加重入力信号にクラス結合項が組み入れられる。拡張されたデシメーションフィルタの解構造は、単純に行列反転となる。
【００４５】
厳密解は、
2010093821.tif 000117
のサイズを有する拡張された相関行列を反転するステップを含む。場合によっては、タップの数がマルチフィールドタップでは１００を超えることがあり、クラスの数が１２８を超えることがある。これは、付随的にコストのかかる反転動作を伴う大きな行列を生じる。ＨＤＴＶ（高解像度ＴＶ）又はＵＤＴＶ（超高解像度ＴＶ）などのいくつかの用途では、複雑さのコストが、利用可能な計算資源を超える場合がある。
【００４６】
図１４は、本発明の実施形態による複数のデシメーションフィルタを抽出する別の方法を示す図である。１つの実施形態では、方法５００が、ブロック５２０において方法１４００を実行することができる。この方法は、個々のクラスの行列を反転させることのみによって図１３に示す厳密法の複雑さを低減させる。この近似方法は、クラス結合項を修正済みの観測ベクトルとして扱う。方法は、複数のパスを実行して、図１３に示す厳密法よりも低いが同様の性能の解に収束させる。
【００４７】
複数のデシメーションフィルタの解は、
2010093821.tif 000118
（６８）
のように定義することができる。
【００４８】
方法は、ブロック１４０５において、個々のクラスのための相関行列及び観測ベクトルを生成する。方法は、ブロック１４１０において、デシメーションフィルタのいくつかの初期値を生成し（図１５と共に以下でさらに詳細に説明する）、観測ベクトル： 
2010093821.tif 000119
（６９）
の修正としてクラス結合項を組み入れる。複数のデシメーションフィルタの解は、
2010093821.tif 000120
（７０）
の形を取る。方法は、個々のクラスｔのためのデシメーションフィルタの解を、
2010093821.tif 000121
（７１）
のように取得する。方法は、ブロック１４１５において、個々のクラスのためのデシメーションフィルタを使用してクラス結合項を更新する。方法は、ブロック１４２０において、修正された観測ベクトルを生成する。方法は、ブロック１４２５において、修正された観測ベクトルを使用して分類デシメーションフィルタの新しい解を取得する。方法は、ブロック１４３０において、新しいデシメーションフィルタを与えられた予測エラーを判定する。方法は、ブロック１４３５において、何回かこの処理を繰り返す。経験的なデータから、２〜３回の反復後に予測の向上が飽和することが示される。個々のステージにおける予測エラーを計算して、個々のクラスにおけるデシメーションフィルタの有効性を評価することができる。この近似処理の複雑さは、マトリクス反転法に応じて
2010093821.tif 000122
を〜２．４及び３の間の数とした場合、次数
2010093821.tif 000123
となる。これは、特に大きな数のクラスＭに対して
2010093821.tif 000124
の複雑さの次数を有する図１３に示す抽出方法と有利に比較される。
【００４９】
図１５は、本発明の実施形態による初期デシメーションフィルタを推定する方法を示す図である。デシメートしたデータにおいてデシメーションクラスマップが、
2010093821.tif 000125
（７２）
のように定義されるので、ターゲット画素の予測は、複数のデシメーションクラスを含むことができる。この場合、
2010093821.tif 000126
はターゲット画素であり、
2010093821.tif 000127
は予測フィルタタップの添字である。タップの添字ｊが予測フィルタタップの範囲で動くので、個々のデシメートしたデータポイント
2010093821.tif 000128
は、クラスマップＤから割り当てられた異なるクラスを有することができる。ターゲット画素に関連する複数のクラスがクラス結合項を生成する。
【００５０】
この方法は、個々のターゲット画素を１つのデシメーションクラスに割り当てるマップによるデシメーションフィルタの初期推定を導入する。この方法は、異なる種類の割り当てを使用することができる。方法は、ブロック１５０５において、以下のようにターゲット画素対デシメーションクラスのマップを取得する。
2010093821.tif 000129
（７３）
例えば、
2010093821.tif 000130
（７４）
となり、この場合、
2010093821.tif 000131
（７５）
である。
【００５１】
ターゲット画素対デシメーションのマップは、方法が、ターゲット画素
2010093821.tif 000132
に対して、最大予測フィルタ係数を有するデシメートしたデータ
2010093821.tif 000133
に関連するクラスを使用することを意味する。最大予測フィルタ係数は、ｊでインデックスされた全ての予測フィルタタップ位置にわたって見いだされる。他の実施形態では、デシメーションクラスをターゲット画素に関連付けるための他の定義を使用することができる。方法は、ブロック１５１０において、画像及び予測フィルタから修正済みの入力信号を生成する。方法は、修正済みの入力信号を個々のクラスごとに生成する。
【００５２】
方法は、ターゲット画素対デシメーションクラスのマップを使用して、デシメーションフィルタの抽出を単純にする。クラス結合項はゼロであり、解は、
2010093821.tif 000134
（７６）
の形をとる。方法は、ブロック１５１５において、マップからの制約
2010093821.tif 000135
を含むように相関行列及び観測ベクトルを修正する。修正は、ターゲット画素全体の合計において行われる。ここでは、合計は完全入力空間の区分にわたってのみ行われる。換言すれば、特定のデシメーションクラスに対応するターゲット画素のみが合計される。
【００５３】
数学的には、方法は観測ベクトル及び相関行列を以下のように修正し、
2010093821.tif 000136
（７７）
2010093821.tif 000137
（７８）
この場合、修正されたＬ加重入力信号は、
2010093821.tif 000138
（７９）
のように定義される。方法は、ブロック１５２０において、複数のデシメーションフィルタの解を以下のように取得し、
2010093821.tif 000139
（８０）
修正された相関行列及び修正された相関ベクトルから各クラスごとに初期デシメーションフィルタを抽出する。
【００５４】
１つの実施形態では、図１１Ａに示すように、サーバコンピュータ１１０１がインターネット１１０５に接続され、これを介してデータを提供する。クライアントコンピュータ１１０３が、ＩＳＰ（インターネットサービスプロバイダ）１１０５を介してインターネット１１０５に接続され、従来のインターネットブラウジングアプリケーションを実行してサーバ１１０１とデータを交換する。任意的に、サーバ１１０１は、クライアントシステムにインターネットへのアクセスを提供するＩＳＰの一部であってもよい。本明細書で使用する「インターネット」という用語は、ＴＣＰ／ＩＰプロトコル、及び場合によってはワールドワイドウェブ（ｗｅｂ）を構成するハイパーテキストマークアップ言語（ＨＴＭＬ）文書のためのハイパーテキスト転送プロトコル（ＨＴＴＰ）のようなその他のプロトコルなどのいくつかのプロトコルを使用するネットワークのネットワークを意味する。インターネットの物理的接続及びインターネットのプロトコル及び通信手順は当業者にとって周知である。インターネットにアクセスすることにより、クライアントコンピュータシステムのユーザは、情報を交換し、電子メールを送受信し、ＨＴＭＬフォーマットで作成された文書などの文書を閲覧し、コンテンツを受信できるようになる。本発明が、インターネットアクセス及びインターネットウェブベースのサイトに限定されるものではなく、直接接続されたプライベートネットワークも企図されることが容易に明らかである。
【００５５】
サーバ１１０１としての使用に適したコンピュータシステムの１つの実施形態を図１１Ｂに示す。コンピュータシステム１１１０は、システムバス１１３５に接続されたプロセッサ１１２０、メモリ１１２５、及び入力／出力機能１１３０を含む。メモリ１１２５は、プロセッサ１１２０により実行された場合、本明細書で説明した方法を実行する命令を記憶するように構成される。メモリ１１２５はまた、適応デシメーションフィルタリングのためのデータを記憶することもできる。入力／出力１１３０は、適応デシメーションフィルタリング、或いはその一部又は代表部分のためのデータの配信及び表示を行い、また記憶、処理又は表示のための様々な種類のデータの入力も行う。入力／出力１１３０はまた、プロセッサ１１２０によるアクセスが可能なあらゆる種類の記憶装置を含む様々な種類の機械可読記憶媒体も含む。当業者であれば、サーバ１１０１がメモリ１１２５で実行するオペレーティングシステムソフトウェアにより制御されることを直ちに認識するであろう。入力／出力１１３０及び関連する媒体は、オペレーティングシステムのための機械実行可能命令及び本発明の方法、並びに適応デシメーションフィルタのためのデータを記憶する。
【００５６】
図１１Ａ〜図１１Ｂの説明は、本発明の実施に適したコンピュータハードウェアおよびその他の動作構成要素の概観を示すことを意図したものであり、利用可能な環境を限定することを意図したものではない。コンピュータシステム１１４０が、異なるアーキテクチャを有する多くの考えられるコンピュータシステムの１つの例であることを理解できよう。典型的なコンピュータシステムは、通常、少なくともプロセッサ、メモリ、及びメモリをプロセッサに接続するバスを含む。当業者であれば、マルチプロセッサシステム、ミニコンピュータ、及びメインフレームコンピュータなどを含むその他のコンピュータシステム構成により本発明を実施できることを直ちに理解するであろう。通信ネットワークを介してリンクされた遠隔処理装置によってタスクを実行する分散コンピューティング環境において本発明を実施することもできる。
【００５７】
適応デシメーションフィルタについて説明した。本明細書では特定の実施形態について図示し説明したが、当業者であれば、同じ目的を実現するために計算されたあらゆる構成を、図示の特定の実施形態と置き換えることができることを理解するであろう。本出願は、本発明のあらゆる適応又は変形をも対象とすることが意図される。
【図１】
2010093821.tif 000140
【図２Ａ】
2010093821.tif 000141
【図２Ｂ】
2010093821.tif 000142
【図３】
2010093821.tif 000143
【図４】
2010093821.tif 000144
【図５】
2010093821.tif 000145
【図６】
2010093821.tif 000146
【図７Ａ】
2010093821.tif 000147
【図７Ｂ】
2010093821.tif 000148
【図８】
2010093821.tif 000149
【図９】
2010093821.tif 000150
【図１０】
2010093821.tif 000151
【図１１Ａ】
2010093821.tif 000152
【図１１Ｂ】
2010093821.tif 000153
【図１２】
2010093821.tif 000154
【図１３】
2010093821.tif 000155
【図１４】
2010093821.tif 000156
【図１５】
2010093821.tif 000157
【手続補正書】
【提出日】平成21年12月3日(2009.12.3)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
［関連出願との相互参照］
本出願は、２００８年１０月３日に出願された「マルチ分類適応デシメーションフィルタの抽出」という名称の以下の同一出願人による同時係属出願：出願番号第１２／２４５，６７２号（代理人整理番号０８０３９８．Ｐ７３９）と関連性がある。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
図１０は、フレームが２つのフィールドに分類され、垂直にオフセットしているインタレースビデオデータのための三次元（３Ｄ）予測フィルタ及びデシメーションフィルタの最適化を示す図である。一般に、所定のフレームから得られる２つのフィールドは、１秒の１／６０毎に時間的に分離され、１行の画素ずつ縦にシフトされる。ビデオデータの個々のフレームを、インタレースビデオデータの２つのフィールド毎に表している。図１０では、フィールド１００５及び１０１５がターゲットフレームを形成する。この実施形態では、個々のフィールドが対応するデシメーションフィルタを有する。ターゲットフレーム内のフィールド１００５及び１０１５は、対応する３Ｄ予測フィルタを有する。予測フィルタ１０６５は、デシメート済みフィールド１０２０及び１０２５内のデシメート済み画素タップ１０３５及び１０４０を使用してターゲット画素１０４５を生成する。デシメート済みフィールド１０２５は、ターゲットフィールド１００５に時間順序的に対応する。デシメート済みフィールド１０２０は、前のビデオデータのフレームの第２のフィールド１０００に時間順序的に対応する。予測フィルタ１０７０は、デシメート済みフィールド１０３０及び１０２５それぞれにおいてデシメート済み画素タップ１０５５及び１０５０を使用してターゲット画素１０６０を生成する。デシメート済み画素タップ１０５５は、ターゲットフィールド１０１５に時間順序的に対応し、デシメート済み画素フレーム１０５０は、ターゲットフレーム内の前のフィールド１００５に時間順序的に対応する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４９
【補正方法】変更
【補正の内容】
【００４９】
図１５は、本発明の実施形態による初期デシメーションフィルタ１５００を推定する方法を示す図である。デシメートしたデータにおいてデシメーションクラスマップが、
2010093821.tif 000158
（７２）
のように定義されるので、ターゲット画素の予測は、複数のデシメーションクラスを含むことができる。この場合、
2010093821.tif 000159
はターゲット画素であり、
2010093821.tif 000160
は予測フィルタタップの添字である。タップの添字ｊが予測フィルタタップの範囲で動くので、個々のデシメートしたデータポイント
2010093821.tif 000161
は、クラスマップＤから割り当てられた異なるクラスを有することができる。ターゲット画素に関連する複数のクラスがクラス結合項を生成する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
１つの実施形態では、図１１Ａに示すように、サーバコンピュータ１１０１がインターネット１１０５に接続され、これを介してデータを提供する。クライアントコンピュータ１１０３が、ＩＳＰ（インターネットサービスプロバイダ）１１０７を介してインターネット１１０５に接続され、従来のインターネットブラウジングアプリケーションを実行してサーバ１１０１とデータを交換する。任意的に、サーバ１１０１は、クライアントシステムにインターネットへのアクセスを提供するＩＳＰの一部であってもよい。本明細書で使用する「インターネット」という用語は、ＴＣＰ／ＩＰプロトコル、及び場合によってはワールドワイドウェブ（ｗｅｂ）を構成するハイパーテキストマークアップ言語（ＨＴＭＬ）文書のためのハイパーテキスト転送プロトコル（ＨＴＴＰ）のようなその他のプロトコルなどのいくつかのプロトコルを使用するネットワークのネットワークを意味する。インターネットの物理的接続及びインターネットのプロトコル及び通信手順は当業者にとって周知である。インターネットにアクセスすることにより、クライアントコンピュータシステムのユーザは、情報を交換し、電子メールを送受信し、ＨＴＭＬフォーマットで作成された文書などの文書を閲覧し、コンテンツを受信できるようになる。本発明が、インターネットアクセス及びインターネットウェブベースのサイトに限定されるものではなく、直接接続されたプライベートネットワークも企図されることが容易に明らかである。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
図１１Ａ〜図１１Ｂの説明は、本発明の実施に適したコンピュータハードウェアおよびその他の動作構成要素の概観を示すことを意図したものであり、利用可能な環境を限定することを意図したものではない。コンピュータシステム１１１０が、異なるアーキテクチャを有する多くの考えられるコンピュータシステムの１つの例であることを理解できよう。典型的なコンピュータシステムは、通常、少なくともプロセッサ、メモリ、及びメモリをプロセッサに接続するバスを含む。当業者であれば、マルチプロセッサシステム、ミニコンピュータ、及びメインフレームコンピュータなどを含むその他のコンピュータシステム構成により本発明を実施できることを直ちに理解するであろう。通信ネットワークを介してリンクされた遠隔処理装置によってタスクを実行する分散コンピューティング環境において本発明を実施することもできる。
【手続補正６】
【補正対象書類名】図面
【補正対象項目名】図１２
【補正方法】変更
【補正の内容】
【図１２】
2010093821.tif 000162
【外国語明細書】
2010093821.tif 000163
2010093821.tif 000164
2010093821.tif 000165
2010093821.tif 000166
2010093821.tif 000167
2010093821.tif 000168
2010093821.tif 000169
2010093821.tif 000170
2010093821.tif 000171
2010093821.tif 000172
2010093821.tif 000173
2010093821.tif 000174
2010093821.tif 000175
2010093821.tif 000176
2010093821.tif 000177
2010093821.tif 000178
2010093821.tif 000179
2010093821.tif 000180
2010093821.tif 000181
2010093821.tif 000182
2010093821.tif 000183
2010093821.tif 000184
2010093821.tif 000185
2010093821.tif 000186
2010093821.tif 000187
2010093821.tif 000188
2010093821.tif 000189
2010093821.tif 000190
2010093821.tif 000191
2010093821.tif 000192
2010093821.tif 000193
2010093821.tif 000194
2010093821.tif 000195
2010093821.tif 000196
2010093821.tif 000197
2010093821.tif 000198
2010093821.tif 000199
2010093821.tif 000200
2010093821.tif 000201
2010093821.tif 000202
2010093821.tif 000203
2010093821.tif 000204
2010093821.tif 000205
2010093821.tif 000206
2010093821.tif 000207
2010093821.tif 000208
2010093821.tif 000209
2010093821.tif 000210
2010093821.tif 000211
2010093821.tif 000212
2010093821.tif 000213
2010093821.tif 000214
2010093821.tif 000215
2010093821.tif 000216
2010093821.tif 000217
2010093821.tif 000218