(57)【要約】      （修正有）【課題】次元縮小法を使用した適応予測又はビデオ処理方法を提供する。【解決手段】オリジナルデータ１００が、次元縮小法を取り入れた適応予測を使用してエンコーダ１０５で符号化される。デシメートしたフィールドに基づいてマルチフィールドタップが定められる。マルチフィールドタップを使用して相関行列が生成され、相関行列の要素を使用して共分散行列が生成される。相関行列要素を固有ベクトルに投影することにより、主成分空間が求められる。主成分空間がクラスに区分され、各クラス毎に最小二乗フィルタセットが生成される。【選択図】図１Ａ
2010093820.tif 000002
【特許請求の範囲】
【請求項１】
デシメートしたフィールドに基づいてマルチフィールドタップを定めるステップと、
前記マルチフィールドタップを使用して相関行列を生成するステップと、
前記相関行列要素に基づいて共分散行列を生成するステップと、
前記相関行列要素を固有ベクトルに投影して主成分空間を求めるステップと、
前記主成分空間をクラスに区分するステップと、
前記クラスの各々に対して最小二乗フィルタセットを生成するステップと、
を含むことを特徴とするコンピュータによる方法。
【請求項２】
オリジナルの高解像度フィールドをデシメートして、デシメートしたフィールドを生み出すステップをさらに含む、
ことを特徴とする請求項１に記載のコンピュータによる方法。
【請求項３】
前記オリジナルの高解像度フィールドを再構成してディスプレイ装置に表示するステップをさらに含む、
ことを特徴とする請求項２に記載のコンピュータによる方法。
【請求項４】
データ処理システムにより実行された場合、該データ処理システムにデータを処理する動作を実行させる命令を記憶するコンピュータ可読記憶媒体であって、前記動作は、
デシメートしたフィールドに基づいてマルチフィールドタップを定めるステップと、
前記マルチフィールドタップを使用して相関行列を生成するステップと、
前記相関行列要素に基づいて共分散行列を生成するステップと、
前記相関行列要素を固有ベクトルに投影して主成分空間を求めるステップと、
前記主成分空間をクラスに区分するステップと、
前記クラスの各々に対して最小二乗フィルタを生成するステップと、
を含むことを特徴とするコンピュータ可読記憶媒体。
【請求項５】
前記方法は、オリジナルの高解像度フィールドをデシメートして、デシメートしたフィールドを生み出すステップをさらに含む、
ことを特徴とする請求項４に記載のコンピュータ可読記憶媒体。
【請求項６】
前記方法は、前記オリジナルの高解像度フィールドを再構成してディスプレイ装置に表示するステップをさらに含む、
ことを特徴とする請求項５に記載のコンピュータ可読記憶媒体。
【請求項７】
バスに接続されたプロセッサと、
前記バスを介して前記プロセッサに接続されたメモリと、
前記プロセッサにより前記メモリから実行されて、該プロセッサに、
デシメートしたフィールドに基づいてマルチフィールドタップを定めることと、
前記マルチフィールドタップを使用して相関行列を生成することと、
前記相関行列要素に基づいて共分散行列を生成することと、
前記相関行列要素を固有ベクトルに投影して主成分空間を求めることと、
前記主成分空間をクラスに区分することと、
前記クラスの各々に対して最小二乗フィルタを生成することと、
を行わせる命令と、
を備えることを特徴とするシステム。
【請求項８】
前記命令は、オリジナルの高解像度フィールドをデシメートして、デシメートしたフィールドを生み出すことをさらに含む、
ことを特徴とする請求項７に記載のシステム。
【請求項９】
前記命令は、前記オリジナルの高解像度フィールドを再構成してディスプレイ装置に表示することをさらに含む、
ことを特徴とする請求項８に記載のシステム。
【請求項１０】
デシメートしたフィールドに基づいてマルチフィールドタップを定めるための手段と、
前記マルチフィールドタップを使用して相関行列を生成するための手段と、
前記相関行列要素に基づいて共分散行列を生成するための手段と、
前記相関行列要素を固有ベクトルに投影して主成分空間を求めるための手段と、
前記主成分空間をクラスに区分するための手段と、
前記クラスの各々に対して最小二乗フィルタを生成するための手段と、
を含むことを特徴とするデータ処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
〔関連出願との相互参照〕
本出願は、＿＿＿＿＿に出願された「適応予測フィルタのための動的クラスタリング」という名称の以下の同一出願人による同時係属出願：出願番号第＿＿＿＿＿号（代理人整理番号０８０３９８．Ｐ７３８）と関連性がある。
【０００２】
本発明は、一般的にビデオ処理に関し、より具体的には、次元縮小法を使用した予測に関する。
【０００３】
〔著作権表示／許諾〕
本特許文書の開示部分は、著作権保護の対象内容を含む。著作権の権利所有者は、合衆国特許商標庁の特許ファイル又は記録内に表されるとおりに他者が特許文書又は特許開示を複製することには異議を唱えないが、それ以外は全ての著作権を留保する。以下の表記が適用される：著作権（Ｃ）２００８，Ｓｏｎｙ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｉｎｃ．，禁無断転載。
【背景技術】
【０００４】
ビデオ符号化における根本的な問題は、利用可能な低解像度データを使用した高解像度画像の予測である。通常、これらの場合には最小二乗（ＬＳ）フィルタが使用され、このＬＳフィルタ係数を使用して、場合によっては異なる時点からの利用可能な低解像度データを使用して高解像度画像を作成する。
【０００５】
現時点の高解像度画像を取得するために、ズーミングが、場合によっては異なる時点からのデータを利用するステップと、利用可能な情報を組み合わせるステップとを必要とする。デシメートした画像を生成し、最良のＬＳフィルタの組を発見してオリジナル画像と予測画像との間の差分を最小にしたオリジナル画像を再度取得することにより、ＬＳフィルタのトレーニングが可能となる。
【０００６】
フィルタタップとは、画素領域に重ねられるパターンのことである。フィルタタップに重なる画素が、その画素に関連するフィルタ係数の基礎を形成する。
【発明の概要】
【課題を解決するための手段】
【０００７】
デシメートしたフィールドに基づいてマルチフィールドタップが定められる。マルチフィールドタップを使用して相関行列が生成され、相関行列の要素を使用して共分散行列が生成される。相関行列要素を固有ベクトルに投影することにより、主成分空間が求められる。主成分空間がクラスに区分され、各クラス毎に最小二乗フィルタセットが生成される。
【図面の簡単な説明】
【０００８】
【図１Ａ】次元縮小法を使用した適応予測又はビデオ処理の１つの実施形態を示す図である。
【図１Ｂ】オリジナルのフィールドと、デシメートしたフィールドと、予測フィールドとの間の関係を示す図である。
【図２】本発明の実施形態による、主成分分析を使用した適応予測の方法を示すフロー図である。
【図３Ａ】本発明の実施形態によるデシメーションの例を示す図である。
【図３Ｂ】本発明の実施形態によるデシメーションの例を示す図である。
【図４】本発明の実施形態による複数の時点からのフィールドを使用した予測を示す図である。
【図５】本発明の実施形態による固有ベクトルの分散範囲を示す図である。
【図６】本発明の実施形態による主成分空間を示す図である。
【図７Ａ】本発明の実施に適したコンピュータ環境を示す図である。
【図７Ｂ】本発明の実施に適したコンピュータ環境を示す図である。
【図８】本発明の実施形態による分類性能を示す図である。
【図９】本発明の実施形態による点分布を示す図である。
【図１０Ａ】本発明の実施形態による別の点分布を示す図である。
【図１０Ｂ】本発明の実施形態による別の点分布を示す図である。
【図１０Ｃ】本発明の実施形態による別の点分布を示す図である。
【図１０Ｄ】本発明の実施形態による別の点分布を示す図である。
【図１１】本発明の実施形態による様々な観点から見たさらに別の点分布を示す図である。
【図１２】本発明の実施形態による別の分類性能を示す図である。
【図１３】本発明の実施形態の様々な構成による性能比較を示す図である。
【図１４】本発明の実施形態による画素をクラスタリングする方法を示すフロー図である。
【発明を実施するための形態】
【０００９】
以下の本発明の実施形態の詳細な説明では、同じ参照番号が同様の要素を示す添付の図面を参照し、図面には、本発明を実施できる特定の実施形態を例示目的で示す。これらの実施形態について、当業者が本発明を実施できるように十分に詳しく説明し、また、他の実施形態を利用できるとともに、本発明の範囲から逸脱することなく論理的、機械的、電気的、機能的及びその他の変更を行うことができる。従って、以下の詳細な説明を限定的な意味で捉えるべきではなく、本発明の範囲は添付の特許請求の範囲によってのみ定められる。
【００１０】
本発明の動作の概説から始めると、図１Ａは、次元縮小法を使用した適応予測又はビデオ処理の１つの実施形態を示している。オリジナルデータ１００が、次元縮小法を取り入れた適応予測を使用してエンコーダ１０５で符号化される。オリジナルデータ１００は、ユーザが装置１２０などの標準画質テレビで見たいと思う、ブルーレイプレーヤーから得たビデオデータであってもよい。これを行うために、エンコーダ１０５は、データ１００をズームしてズームデータ１１０を生成することができ、これを装置１２０が適当なアスペクト比で復号し、表示することができる。エンコーダ１０５から得られる符号化データは圧縮データ１１５の形を取ることができ、これが（インターネットを介したストリーミングビデオなどのように）復号及び表示するための装置１３０にネットワーク１２５を介して送信される。
【００１１】
１つの実施形態では、エンコーダ１０５はビデオデータのフレームを分類し、個々の予測フィルタをフレーム内の各クラスに割り当てることができる。分類による適応予測は、フレームの画素をいくつかのクラスに区分し、そのクラスにフィルタを適応させるステップを含む。フィルタは、その画素を予測又はデシメートするために使用される各画素の係数を含むことができる。フィルタ係数及び対応する画素が、フィルタタップを介して関連付けられる。フィルタタップは、対応する画素及びその画素の周囲の画素に重ね合わせられるパターンである。このパターンが、係数の生成にどの画素を使用するかを定める。１つの実施形態では、主成分分析（ＰＣＡ）を使用してビデオフレームをクラスに分類する。ＰＣＡは、フィルタタップが定める対応する相関行列要素で低解像度フレーム内の各画素を表すことができる。ＰＣＡは、各画素の相関情報を使用して、画像内の類似した時空間偏差を有する画素をクラスにグループ分けする。
【００１２】
分類フィルタの定義は、デシメートされた画像と、その対応するオリジナル解像度の画像との間の関係に依存する。図１Ｂは、オリジナルフィールドと、デシメートしたフィールドと、予測フィールドとの間の関係を示している。オリジナル（ターゲット）フィールド１５０、１５５、及び１６０がデシメートされ、対応する低解像度フィールド１６５、１７０、及び１７５が得られる。デシメートしたフィールドから利用できる情報を使用して、オリジナルフィールド１５０〜１６０と予測フィールド１８０との間の差分を最小にする予測１８０及びＬＳフィルタ係数１８５を得る。予測エラーは次式のように定義することができる。
2010093820.tif 000003
（１）
この場合、Ｉ（ｘ）はオリジナル画像であり、Ｐ（ｘ）は予測画像であり、Ｐ（ｘ）は次式のように定義される。
2010093820.tif 000004
（２）
この場合、ＩD（ｙ）はデシメートされた画像を表す。
【００１３】
図２は、本発明の実施形態によるＰＣＡの方法２００を示す図である。ブロック２０５において、本方法は、（ハイビジョンなどの）オリジナルの高解像度フィールドをデシメートする。フィールドのデシメーションについては、図３Ａ〜図３Ｂと共に以下でさらに詳細に説明する。
【００１４】
ブロック２１０において、本方法は、デシメートしたフィールドに対するマルチフィールドタップを定める。マルチフィールドフィルタタップは、対応する画素の係数を生成するために使用される複数のデータフィールドにまたがる。マルチフィールドフィルタタップについては、図３Ｂ及び図４と共に以下でさらに詳細に説明する。
【００１５】
ブロック２１５において、本方法は、マルチフィールドフィルタタップにおける画素間の相互関係を含む相関行列を生成する。相関行列の要素は、高次元空間におけるデシメートした画像内の画素を表す。この方法は、ＰＣＡを使用して低次元空間に問題を引き継ぎ、画素をより効率的に分類する。
【００１６】
ブロック２２０において、本方法は、式３のように相関行列要素の共分散行列を生成する。本方法は、個々のデシメートした画素の相関行列要素を列形式で配置し、各列から平均ベクトルを除去した後でｍ列を有する観測行列Ｘを生成する。平均ベクトルの除去により、画素の周囲の局所的変化が強調される。本方法は、Ｘの共分散行列に固有分解を適用する。この分解はｎ個の固有ベクトル及びｎ個の固有値を生み出し、この場合ｎは相関行列における要素の数である。共分散行列は、画素の数であるｍとｎとの小さい方である階数ｎを有する。Ｘの共分散行列は、次式のように定義することができる。
2010093820.tif 000005
（３）
この場合、
2010093820.tif 000006
（４）
は平均ベクトルである。
【００１７】
固有分解動作は、式５のように要約することができる。Ｑは、列における固有ベクトルを含み、Λは対応する固有値：
2010093820.tif 000007
（５）
を有する対角行列である。
固有ベクトルは正規直交基底を構成するので、ＱTをＱ-1に置き換えることができる。
【００１８】
ブロック２２５において、本方法は、Ｑの列にＸの列を投影することにより固有ベクトルに行列Ｘを投影して主成分を求め、式６のように主成分の分布を含む空間を生成する。主成分は、Ｘの個々の列が個々の固有ベクトルにどれほど類似しているかを示す。行列ＰはＰＣを含む。個々の画素は、所定の固有ベクトルの数により表される。
2010093820.tif 000008
（６）
フィルタ係数は、中心画素の周囲のデシメートした画素に対応する相関行列の関数である。フィルタタップはフィルタ係数を識別する。本方法は、対応する相関行列の類似性に基づいてデシメートした画像の画素を分類し、各クラス毎に異なるフィルタ係数の組を生成する。本方法は、個々のデシメートした画像の画素を表すためにフィルタタップの相関情報を使用して固有ベクトルを求め、その固有値に従って固有ベクトルをソートする。
【００１９】
方法２００は、ＰＣＡを使用して、固有ベクトルが定める軸を含む空間に分類問題を変換することができる。この方法は、縮小した次元空間におけるデシメートした画素の座標としてＸの列（各列は異なる画素を表す）と固有ベクトルとの間の類似性を使用する。
【００２０】
ブロック２３０において、方法２００はＰＣ空間をクラスに区分する。ＰＣ空間は、より低次元の空間におけるデシメートした画像の画素を表し、類似の相関行列を含む領域がＰＣ空間に集められる。本方法は、各領域に等しい数の画素が存在するように最初に軸の各々を３つの領域に区分し、この結果、三次元の中に総数２７の領域が生じ、画素が２７のグループに分類される。他の実施形態では、クラスの数は静的に２７とは定められない。異なる数のクラスを選択するステップについては、図１４と共に以下で詳細に説明する。
【００２１】
ブロック２３５において、本方法は、各クラス毎に最小二乗（ＬＳ）フィルタを生成する。ＬＳフィルタは、オリジナル（ターゲット）フレームにおける全画素に渡ってオリジナル画像と予測画像との間の差分の二乗和を最小にする。本方法は、個々のフィルタ要素に関して偏導関数を取り、これを各々についてゼロにすることによりフィルタ係数を求める。
2010093820.tif 000009
（７）
【００２２】
方法２００は、図２に示すように、フィルタタップが特定した画素の相関関係を使用してフィルタタップにおける係数の組Ｌを決定する。
2010093820.tif 000010
（８）
この場合、
2010093820.tif 000011
（９、１０）
この場合、Ａj,kは相関行列であり（添字ｊ及びｋは２つのフィルタタップＴの範囲を動く）、ｂkは観測ベクトルである。ＩDはデシメートした画像を表す。
【００２３】
方法２００は、観測ベクトル及び相関行列の逆数を使用してＬＳフィルタを生成する。この方法は、各領域に固有の異なるＬＳフィルタを使用する。デシメートした画像にｍ個の画素とｃ個のクラス（領域）が存在すると仮定すると、
2010093820.tif 000012
（１１）
が、各クラスにおける画素の数を示す。与えられたクラスｕに関して、
2010093820.tif 000013
（１２）
この場合、
2010093820.tif 000014
（１３、１４）
この場合、
2010093820.tif 000015
（１５）
が、ターゲット画素ｘの予測フィルタ分類マップである。
【００２４】
図３Ａは、１つの期間を使用した空間アルゴリズムのためのデシメーションを示す図である。フィルタタップ３０５が識別した個々のソース画素が、その値の１／４をデシメートした画素３１０の値に与える。
【００２５】
図３Ｂは、２つの期間を使用した本発明の実施形態による時空アルゴリズムのためのデシメーションを示す図である。図３Ｂに示すデシメーション動作は、予測アルゴリズムへの入力として２又はそれ以上の時間フィールドを使用する。マルチフィールドフィルタタップ３５０が、その時間フィールドから引き出される画素を決定する。デシメーション動作は、デシメーションを加重係数で均一に分散させてデシメートした画素３５５を生成する。他の実施形態では、より複雑かつ適応的なデシメーションアルゴリズムが使用される。
【００２６】
図４は、３つの異なる時間フィールドから得た３つのフィールド４０５を使用する時空フィルタタップ例を示す図である。このマルチフィールドフィルタタップは、予測フィルタへの入力として各フィールドからの９つのデシメート画素４１０を使用して中心画素４２０の周囲の画素４１５を予測する。マルチフィールドフィルタタップは、デシメートした画像上を移動して、より高解像度のビデオフィールドを予測する。この方法は、最小二乗法を通じて最適化したフィルタ要素を求めることができる。
【００２７】
図５は、本方法が行列形式に戻した後の、減少分散を含む最初の９つの固有ベクトル５０５を示す図である。パーセンテージ５１０は、個々の固有ベクトルがオリジナルフィールドの総分散のうちのどの程度を運ぶかを示している。
【００２８】
１つの実施形態では、この方法は、デシメートした画素の各々を３つの座標で表す、三次元空間における最初の３つの固有ベクトルを使用して向上した結果を得る。図６は、区分動作に基づくこれらの画素のサブセットの分布を示す図である。軸６０５、６１０、及び６１５は最初の３つの固有ベクトルに対応し、個々の画素の座標は対応する主成分である。
【００２９】
別の実施形態では、ブロック２３０において、方法２００がクラスタリングを使用して、動的有効性指標を使用した縮小次元空間におけるより細かいグループに画素を分類する。動的有効性指標は、画素クラスの緊密度及びクラス自体の間の距離を測定する費用関数である。クラスタリングの目的は、同じクラスの画素間の距離を最小にすることによりクラスの緊密度を増加させるとともにクラス間の距離を最大にすることである。実験的データが、反復クラスタリングが画素を効率良く分類し、ＳＮＲの向上を実現することを示唆している。
【００３０】
図１４は、本発明の実施形態による画素クラスをクラスタリングする方法１４００を示す図である。クラスタの数ｃは、ＰＣ空間における画素の分布に関わらず分かっているものとして処理される。ブロック１４０５において、本方法は、使用するクラスの数を決定する。
【００３１】
ブロック１４１０において、本方法は、個々の画素に数字を付け、この範囲におけるｃの数の均一な分布を選択する。本方法は、クラスタされるｃクラスの重心（重み付き中心）の初期値としてこの均一な選択を使用する。
【００３２】
ブロック１４１５において、本方法は、重心の各々までの画素の距離に基づいて、個々の画素を最も近い重心（及びクラスタ）に割り当てる。
【００３３】
ブロック１４２０において、本方法は、画素の割り当てを使用して個々のクラスタの新しいクラスタ重心を決定する。
【００３４】
ブロック１４２５において、本方法は、現在のクラスタリング構成の動的有効性指標を評価する。他の実施形態では、他の費用関数を使用することができる。動的有効性指標は次式のように定義することができる。
2010093820.tif 000016
この場合、Ｎは点（データオブジェクト）の数、ｋはクラスタの数、ｘはデータ点の位置、ｚiはｉ番目のクラスタのクラスタ中心の位置（重心）、及びＣiはｉ番目のクラスタにおける点の組である。動的有効性指標は、クラスタ内の項（分子）とクラスタ間の項（分母）とを含む。クラスタ内の項は、各点の対応する重心までの平均距離であり、全クラスタの緊密度の平均レベルを測る。クラスタ間の項は、全部のクラスタのペアの中で互いに最も近いクラスタのペアの間の距離である。
【００３５】
ブロック１４３０において、本方法は、最も近いクラスタ重心に基づいてＰＣ空間における個々の点（画素）に新しいクラスメンバーシップを割り当てる。
【００３６】
ブロック１４３５において、本方法は、新しいクラスの割り当てに基づいて個々のクラスタの新しいクラスタ重心を決定する。
【００３７】
ブロック１４４０において、本方法は、新しい構成の有効性指標を評価し、この有効性指標をブロック１４２５において生成された有効性指標と比較する。指標間の差がしきい値を超える場合、本方法はブロック１４３０へ戻り、クラスタリングをさらに繰り返す。しきい値を超えなければ、本方法は現在のクラスタリング方式を使用する。最初の繰り返し中、本方法は、ブロック１４４０において評価された指標をブロック１４２５において評価された指標と比較する。次の繰り返し中、本方法は、ブロック１４４０において評価された指標を比較する。
【００３８】
本方法は、各繰り返しにおいて動的有効性指標を評価し、繰り返し間の変化がしきい値よりも下がるまでこれを続行する。これを行っているときには、さらなる割り当ては行われず、方法１４００は、現在のクラスタリング方式を使用してＰＣ空間を区分する。実験的データが、結果が飽和し、しきい値よりも下がるまでに２０回から３０回の間の繰り返しが必要であることを示唆している。
【００３９】
方法１４００は、動的有効性指標を使用してクラスタリング構成のための比較点を提供する。本方法は、現在の重心の組に基づいてクラスの割り当てを再帰的に調整し、現在のクラスの割り当てに基づいて重心を調整する。このようにして、本方法は、向上が飽和状態になるまでクラスタリングを繰り返し向上させる。
【００４０】
方法１４００が図２のブロック２３０においてクラスタリング動作を終了した後、方法２００は、各クラスタの個々のメンバーを使用してＬＳフィルタ係数を生成し、これが動的にクラスタされたＬＳフィルタを生成する。
【００４１】
図８は、静的クラスタリング８０５と動的クラスタリング８１０との信号対雑音比（ＳＮＲ）性能の比較８００を示す図である。実績の赤色の部分は、方法１４００などの動的クラスタリング法で得られたクラス固有のＬＳフィルタを使用した結果生じた利得を示す。
【００４２】
クラスタリングを繰り返すことにより、デシメートした画像の画素が分類され、各クラス毎に異なるＬＳ係数の組が生成される。図９は、三次元空間におけるデシメートした画像の画素の分布例９００を示す図である。個々の画素を主成分１、２、及び３で表している。
【００４３】
図１０Ａ〜図１０Ｄは、ＰＣ１−２  １００５、ＰＣ２−３  １０１０、ＰＣ３−４  １０１５、及びＰＣ４−５  １０２０のペアワイズ分布を表している。これらのペアは、様々な二次元平面への五次元分布の投影を表す。
【００４４】
図１１は、３２個のクラスタに分割された分布の様々な投影１１０５〜１１２０を示す図である。各クラスタを異なる色調のグレーで表している。
【００４５】
図１２は、本発明の実施形態を使用して得られたＳＮＲの結果１２０５を示す図である。最初の５つの固有ベクトルを使用して五次元空間により全てのフィールドに関して（ビデオシーンの間に６０回）分析を繰り返した。動的クラスタリングＬＳフィルタのＳＮＲ性能１２１５を、静的クラスタリングＬＳフィルタのＳＮＲパフォーマンス１２１０と比較する。全てのシーンに渡って約０．６ｄＢのＮＳＲ性能の上昇が得られた。
【００４６】
図１３は、クラスタリング方法のパラメータを変更した同様の分析の結果を示す図である。７つのＰＣまでは、より多くのＰＣ１３１５を使用したときにＳＮＲ向上１３０５が得られる。分散の９９パーセントが、最初の７つのＰＣに確実に組み入れられる。予想されるように、クラス１３１０の数を増やした場合に性能が上昇し続けた。
【００４７】
図２及び図１４に示す一連のフロー図を参照しながら、本発明の特定の方法についてコンピュータソフトウェアの観点から説明した。本方法は、ブロックの形で示す機械実行可能命令で作られたコンピュータプログラムを構成する。フロー図を参照して本方法について説明することにより、当業者は、好適に構成された機械（メモリを含む機械可読媒体からの命令を実行する機械のプロセッサ）において本方法を実行するためのこのような命令を含むこのようなプログラムを開発できるようになる。機械実行可能命令は、コンピュータプログラミング言語で書かれたものであってもよく、或いはファームウェアの論理に統合したものであってもよい。認められている規格に準拠するプログラミング言語で書かれている場合、様々なハードウェアプラットフォームにおいて、及び様々なオペレーティングシステムへのインターフェイスのためにこのような命令を実行することができる。また、ある特定のプログラミング言語に関連して本発明を説明してはいない。様々なプログラミング言語を使用して、本明細書で説明するような本発明の教示を実現できることが理解できよう。さらに、１つの動作を行う場合、或いは１つの結果をもたらす場合に、（プログラム、手順、処理、アプリケーション、モジュール、論理．．．などの）１つの形又は別の形のソフトウェアについて語るのは当業では一般的なことである。このような表現は、コンピュータがソフトウェアを実行することにより、コンピュータのプロセッサが動作を実行し、或いは結果を生み出すようになるという言い方を簡単にしたものにすぎない。本発明の範囲から逸脱することなく、図２及び図１４に示す方法により多くの又はより少ない処理を組み込むことができること、及び図示するとともに本明細書で説明したブロックの構成により特定の順序を暗示するわけではないことが理解されよう。
【００４８】
１つの実施形態では、図７Ａに示すように、サーバコンピュータ７０１がインターネット７０５に接続され、このインターネット７０５を介してデータを提供する。クライアントコンピュータ７０３が、ＩＳＰ（インターネットサービスプロバイダ）７０７を介してインターネット７０５に接続され、従来のインターネットブラウジングアプリケーションを実行してサーバ７０１とデータを交換する。サーバコンピュータ７０１は、図２及び図１４に示す方法を実行することができる。任意的に、サーバ７０１は、クライアントシステムにインターネットへのアクセスを提供するＩＳＰの一部であってもよい。本明細書で使用する「インターネット」という用語は、ＴＣＰ／ＩＰプロトコル、及び場合によってはワールドワイドウェブ（ｗｅｂ）を構成するハイパーテキストマークアップ言語（ＨＴＭＬ）文書のためのハイパーテキスト転送プロトコル（ＨＴＴＰ）のようなその他のプロトコルなどのいくつかのプロトコルを使用するネットワークのネットワークを意味する。インターネットの物理的接続及びインターネットのプロトコル及び通信手順は当業者にとって周知である。インターネットにアクセスすることにより、クライアントコンピュータシステムのユーザは、情報を交換し、電子メールを送受信し、ＨＴＭＬフォーマットで作成された文書などの文書を閲覧し、コンテンツを受信できるようになる。本発明が、インターネットアクセス及びインターネットウェブベースのサイトに限定されるものではなく、直接接続されたプライベートネットワークも企図されることが容易に明らかである。
【００４９】
サーバ７０１としての使用に適したコンピュータシステムの１つの実施形態を図７Ｂに示す。コンピュータシステム７１０は、システムバス７３５に接続されたプロセッサ７２０、メモリ７２５、及び入力／出力機能７３０を含む。メモリ７２５は、プロセッサ７２０により実行された場合、本明細書で説明した方法を実行する命令を記憶するように構成される。メモリ７２５はまた、次元縮小を使用した適応予測のための／についてのデータを記憶することもできる。入力／出力７３０は、次元縮小、或いはその一部又は代表部分を使用した適応予測のための／についてのデータの配信及び表示を行い、また記憶、処理又は表示のための様々な種類のデータの入力も行う。入力／出力７３０はまた、プロセッサ７２０によるアクセスが可能なあらゆる種類の記憶装置を含む様々な種類の機械可読媒体も含む。当業者であれば、サーバ７０１が、メモリ７２５で実行するオペレーティングシステムソフトウェアにより制御されることを直ちに認識するであろう。入力／出力７３０及び関連する媒体は、オペレーティングシステムのための機械実行可能命令及び本発明の方法、並びに次元縮小を使用した適応予測のための／についてのデータを記憶する。
【００５０】
図７Ａ〜図７Ｂの説明は、本発明の実施に適したコンピュータハードウェアおよびその他の動作構成要素の概観を示すことを意図したものであり、利用可能な環境を限定することを意図したものではない。コンピュータシステム７４０が、異なるアーキテクチャを有する多くの考えられるコンピュータシステムのうちの１つの例であることを理解できよう。典型的なコンピュータシステムは、通常、少なくともプロセッサ、メモリ、及びメモリをプロセッサに接続するバスを含む。当業者であれば、マルチプロセッサシステム、ミニコンピュータ、及びメインフレームコンピュータなどを含むその他のコンピュータシステム構成により本発明を実施できることを直ちに理解するであろう。通信ネットワークを介してリンクされた遠隔処理装置によってタスクを実行する分散コンピューティング環境において本発明を実施することもできる。
【００５１】
次元縮小を使用した適応予測について説明した。本明細書では特定の実施形態について図示し説明したが、当業者であれば、同じ目的を実現するために計算されたあらゆる構成を、図示の特定の実施形態と置き換えることができることを理解するであろう。本出願は、本発明のあらゆる適応又は変形を対象とすることが意図される。
【００５２】
次元縮小を使用した適応予測に関して本出願で使用した専門用語は、これらの環境の全てを含むことを意図したものである。従って、本発明は、以下の特許請求の範囲及びこの同等物によってのみ限定されることがはっきりと意図される。
【図１Ａ】
2010093820.tif 000017
【図１Ｂ】
2010093820.tif 000018
【図２】
2010093820.tif 000019
【図３Ａ】
2010093820.tif 000020
【図３Ｂ】
2010093820.tif 000021
【図４】
2010093820.tif 000022
【図５】
2010093820.tif 000023
【図６】
2010093820.tif 000024
【図７Ａ】
2010093820.tif 000025
【図７Ｂ】
2010093820.tif 000026
【図８】
2010093820.tif 000027
【図９】
2010093820.tif 000028
【図１０Ａ】
2010093820.tif 000029
【図１０Ｂ】
2010093820.tif 000030
【図１０Ｃ】
2010093820.tif 000031
【図１０Ｄ】
2010093820.tif 000032
【図１１】
2010093820.tif 000033
【図１２】
2010093820.tif 000034
【図１３】
2010093820.tif 000035
【図１４】
2010093820.tif 000036
【手続補正書】
【提出日】平成21年12月7日(2009.12.7)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
〔関連出願との相互参照〕
本出願は、２００８年１０月３日に出願された「適応予測フィルタのための動的クラスタリング」という名称の以下の同一出願人による同時係属出願：出願番号第１２／２４５６６４号（代理人整理番号０８０３９８．Ｐ７３８）と関連性がある。
【０００２】
本発明は、一般的にビデオ処理に関し、より具体的には、次元縮小法を使用した予測に関する。
【０００３】
〔著作権表示／許諾〕
本特許文書の開示部分は、著作権保護の対象内容を含む。著作権の権利所有者は、合衆国特許商標庁の特許ファイル又は記録内に表されるとおりに他者が特許文書又は特許開示を複製することには異議を唱えないが、それ以外は全ての著作権を留保する。以下の表記が適用される：著作権（Ｃ）２００８，Ｓｏｎｙ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｉｎｃ．，禁無断転載。
【背景技術】
【０００４】
ビデオ符号化における根本的な問題は、利用可能な低解像度データを使用した高解像度画像の予測である。通常、これらの場合には最小二乗（ＬＳ）フィルタが使用され、このＬＳフィルタ係数を使用して、場合によっては異なる時点からの利用可能な低解像度データを使用して高解像度画像を作成する。
【０００５】
現時点の高解像度画像を取得するために、ズーミングが、場合によっては異なる時点からのデータを利用するステップと、利用可能な情報を組み合わせるステップとを必要とする。デシメートした画像を生成し、最良のＬＳフィルタの組を発見してオリジナル画像と予測画像との間の差分を最小にしたオリジナル画像を再度取得することにより、ＬＳフィルタのトレーニングが可能となる。
【０００６】
フィルタタップとは、画素領域に重ねられるパターンのことである。フィルタタップに重なる画素が、その画素に関連するフィルタ係数の基礎を形成する。
【発明の概要】
【課題を解決するための手段】
【０００７】
デシメートしたフィールドに基づいてマルチフィールドタップが定められる。マルチフィールドタップを使用して相関行列が生成され、相関行列の要素を使用して共分散行列が生成される。相関行列要素を固有ベクトルに投影することにより、主成分空間が求められる。主成分空間がクラスに区分され、各クラス毎に最小二乗フィルタセットが生成される。
【図面の簡単な説明】
【０００８】
【図１Ａ】次元縮小法を使用した適応予測又はビデオ処理の１つの実施形態を示す図である。
【図１Ｂ】オリジナルのフィールドと、デシメートしたフィールドと、予測フィールドとの間の関係を示す図である。
【図２】本発明の実施形態による、主成分分析を使用した適応予測の方法を示すフロー図である。
【図３Ａ】本発明の実施形態によるデシメーションの例を示す図である。
【図３Ｂ】本発明の実施形態によるデシメーションの例を示す図である。
【図４】本発明の実施形態による複数の時点からのフィールドを使用した予測を示す図である。
【図５】本発明の実施形態による固有ベクトルの分散範囲を示す図である。
【図６】本発明の実施形態による主成分空間を示す図である。
【図７Ａ】本発明の実施に適したコンピュータ環境を示す図である。
【図７Ｂ】本発明の実施に適したコンピュータ環境を示す図である。
【図８】本発明の実施形態による分類性能を示す図である。
【図９】本発明の実施形態による点分布を示す図である。
【図１０Ａ】本発明の実施形態による別の点分布を示す図である。
【図１０Ｂ】本発明の実施形態による別の点分布を示す図である。
【図１０Ｃ】本発明の実施形態による別の点分布を示す図である。
【図１０Ｄ】本発明の実施形態による別の点分布を示す図である。
【図１１】本発明の実施形態による様々な観点から見たさらに別の点分布を示す図である。
【図１２】本発明の実施形態による別の分類性能を示す図である。
【図１３】本発明の実施形態の様々な構成による性能比較を示す図である。
【図１４】本発明の実施形態による画素をクラスタリングする方法を示すフロー図である。
【発明を実施するための形態】
【０００９】
以下の本発明の実施形態の詳細な説明では、同じ参照番号が同様の要素を示す添付の図面を参照し、図面には、本発明を実施できる特定の実施形態を例示目的で示す。これらの実施形態について、当業者が本発明を実施できるように十分に詳しく説明し、また、他の実施形態を利用できるとともに、本発明の範囲から逸脱することなく論理的、機械的、電気的、機能的及びその他の変更を行うことができる。従って、以下の詳細な説明を限定的な意味で捉えるべきではなく、本発明の範囲は添付の特許請求の範囲によってのみ定められる。
【００１０】
本発明の動作の概説から始めると、図１Ａは、次元縮小法を使用した適応予測又はビデオ処理の１つの実施形態を示している。オリジナルデータ１００が、次元縮小法を取り入れた適応予測を使用してエンコーダ１０５で符号化される。オリジナルデータ１００は、ユーザが装置１２０などの標準画質テレビで見たいと思う、ブルーレイプレーヤーから得たビデオデータであってもよい。これを行うために、エンコーダ１０５は、データ１００をズームしてズームデータ１１０を生成することができ、これを装置１２０が適当なアスペクト比で復号し、表示することができる。エンコーダ１０５から得られる符号化データは圧縮データ１１５の形を取ることができ、これが（インターネットを介したストリーミングビデオなどのように）復号及び表示するための装置１３０にネットワーク１２５を介して送信される。
【００１１】
１つの実施形態では、エンコーダ１０５はビデオデータのフレームを分類し、個々の予測フィルタをフレーム内の各クラスに割り当てることができる。分類による適応予測は、フレームの画素をいくつかのクラスに区分し、そのクラスにフィルタを適応させるステップを含む。フィルタは、その画素を予測又はデシメートするために使用される各画素の係数を含むことができる。フィルタ係数及び対応する画素が、フィルタタップを介して関連付けられる。フィルタタップは、対応する画素及びその画素の周囲の画素に重ね合わせられるパターンである。このパターンが、係数の生成にどの画素を使用するかを定める。１つの実施形態では、主成分分析（ＰＣＡ）を使用してビデオフレームをクラスに分類する。ＰＣＡは、フィルタタップが定める対応する相関行列要素で低解像度フレーム内の各画素を表すことができる。ＰＣＡは、各画素の相関情報を使用して、画像内の類似した時空間偏差を有する画素をクラスにグループ分けする。
【００１２】
分類フィルタの定義は、デシメートされた画像と、その対応するオリジナル解像度の画像との間の関係に依存する。図１Ｂは、オリジナルフィールドと、デシメートしたフィールドと、予測フィールドとの間の関係を示している。オリジナル（ターゲット）フィールド１５０、１５５、及び１６０がデシメートされ（１９０）、対応する低解像度フィールド１６５、１７０、及び１７５が得られる。デシメートしたフィールドから利用できる情報を使用して、オリジナルフィールド１５０〜１６０と予測フィールド１８０との間の差分を最小にする予測１８０及びＬＳフィルタ係数１８５を得る。予測エラー１９５は次式のように定義することができる。
2010093820.tif 000037
（１）
この場合、Ｉ（ｘ）はオリジナル画像であり、Ｐ（ｘ）は予測画像であり、Ｐ（ｘ）は次式のように定義される。
2010093820.tif 000038
（２）
この場合、ＩD（ｙ）はデシメートされた画像を表す。
【００１３】
図２は、本発明の実施形態によるＰＣＡの方法２００を示す図である。ブロック２０５において、本方法は、（ハイビジョンなどの）オリジナルの高解像度フィールドをデシメートする。フィールドのデシメーションについては、図３Ａ〜図３Ｂと共に以下でさらに詳細に説明する。
【００１４】
ブロック２１０において、本方法は、デシメートしたフィールドに対するマルチフィールドタップを定める。マルチフィールドフィルタタップは、対応する画素の係数を生成するために使用される複数のデータフィールドにまたがる。マルチフィールドフィルタタップについては、図３Ｂ及び図４と共に以下でさらに詳細に説明する。
【００１５】
ブロック２１５において、本方法は、マルチフィールドフィルタタップにおける画素間の相互関係を含む相関行列を生成する。相関行列の要素は、高次元空間におけるデシメートした画像内の画素を表す。この方法は、ＰＣＡを使用して低次元空間に問題を引き継ぎ、画素をより効率的に分類する。
【００１６】
ブロック２２０において、本方法は、式３のように相関行列要素の共分散行列を生成する。本方法は、個々のデシメートした画素の相関行列要素を列形式で配置し、各列から平均ベクトルを除去した後でｍ列を有する観測行列Ｘを生成する。平均ベクトルの除去により、画素の周囲の局所的変化が強調される。本方法は、Ｘの共分散行列に固有分解を適用する。この分解はｎ個の固有ベクトル及びｎ個の固有値を生み出し、この場合ｎは相関行列における要素の数である。共分散行列は、画素の数であるｍとｎとの小さい方である階数ｎを有する。Ｘの共分散行列は、次式のように定義することができる。
2010093820.tif 000039
（３）
この場合、
2010093820.tif 000040
（４）
は平均ベクトルである。
【００１７】
固有分解動作は、式５のように要約することができる。Ｑは、列における固有ベクトルを含み、Λは対応する固有値：
2010093820.tif 000041
（５）
を有する対角行列である。
固有ベクトルは正規直交基底を構成するので、ＱTをＱ-1に置き換えることができる。
【００１８】
ブロック２２５において、本方法は、Ｑの列にＸの列を投影することにより固有ベクトルに行列Ｘを投影して主成分を求め、式６のように主成分の分布を含む空間を生成する。主成分は、Ｘの個々の列が個々の固有ベクトルにどれほど類似しているかを示す。行列ＰはＰＣを含む。個々の画素は、所定の固有ベクトルの数により表される。
2010093820.tif 000042
（６）
フィルタ係数は、中心画素の周囲のデシメートした画素に対応する相関行列の関数である。フィルタタップはフィルタ係数を識別する。本方法は、対応する相関行列の類似性に基づいてデシメートした画像の画素を分類し、各クラス毎に異なるフィルタ係数の組を生成する。本方法は、個々のデシメートした画像の画素を表すためにフィルタタップの相関情報を使用して固有ベクトルを求め、その固有値に従って固有ベクトルをソートする。
【００１９】
方法２００は、ＰＣＡを使用して、固有ベクトルが定める軸を含む空間に分類問題を変換することができる。この方法は、縮小した次元空間におけるデシメートした画素の座標としてＸの列（各列は異なる画素を表す）と固有ベクトルとの間の類似性を使用する。
【００２０】
ブロック２３０において、方法２００はＰＣ空間をクラスに区分する。ＰＣ空間は、より低次元の空間におけるデシメートした画像の画素を表し、類似の相関行列を含む領域がＰＣ空間に集められる。本方法は、各領域に等しい数の画素が存在するように最初に軸の各々を３つの領域に区分し、この結果、三次元の中に総数２７の領域が生じ、画素が２７のグループに分類される。他の実施形態では、クラスの数は静的に２７とは定められない。異なる数のクラスを選択するステップについては、図１４と共に以下で詳細に説明する。
【００２１】
ブロック２３５において、本方法は、各クラス毎に最小二乗（ＬＳ）フィルタを生成する。ＬＳフィルタは、オリジナル（ターゲット）フレームにおける全画素に渡ってオリジナル画像と予測画像との間の差分の二乗和を最小にする。本方法は、個々のフィルタ要素に関して偏導関数を取り、これを各々についてゼロにすることによりフィルタ係数を求める。
2010093820.tif 000043
（７）
【００２２】
方法２００は、図２に示すように、フィルタタップが特定した画素の相関関係を使用してフィルタタップにおける係数の組Ｌを決定する。
2010093820.tif 000044
（８）
この場合、
2010093820.tif 000045
（９、１０）
この場合、Ａj,kは相関行列であり（添字ｊ及びｋは２つのフィルタタップＴの範囲を動く）、ｂkは観測ベクトルである。ＩDはデシメートした画像を表す。
【００２３】
方法２００は、観測ベクトル及び相関行列の逆数を使用してＬＳフィルタを生成する。この方法は、各領域に固有の異なるＬＳフィルタを使用する。デシメートした画像にｍ個の画素とｃ個のクラス（領域）が存在すると仮定すると、
2010093820.tif 000046
（１１）
が、各クラスにおける画素の数を示す。与えられたクラスｕに関して、
2010093820.tif 000047
（１２）
この場合、
2010093820.tif 000048
（１３、１４）
この場合、
2010093820.tif 000049
（１５）
が、ターゲット画素ｘの予測フィルタ分類マップである。
【００２４】
図３Ａは、１つの期間を使用した空間アルゴリズムのためのデシメーションを示す図である。フィルタタップ３０５が識別した個々のソース画素が、その値の１／４をデシメートした画素３１０の値に与える。
【００２５】
図３Ｂは、２つの期間を使用した本発明の実施形態による時空アルゴリズムのためのデシメーションを示す図である。図３Ｂに示すデシメーション動作は、予測アルゴリズムへの入力として２又はそれ以上の時間フィールドを使用する。マルチフィールドフィルタタップ３５０が、その時間フィールドから引き出される画素を決定する。デシメーション動作は、デシメーションを加重係数で均一に分散させてデシメートした画素３５５を生成する。他の実施形態では、より複雑かつ適応的なデシメーションアルゴリズムが使用される。
【００２６】
図４は、３つの異なる時間フィールドから得た３つのフィールド４０５を使用する時空フィルタタップ例を示す図である。このマルチフィールドフィルタタップは、予測フィルタへの入力として各フィールドからの９つのデシメート画素４１０を使用して中心画素４２０の周囲の画素４１５を予測する。マルチフィールドフィルタタップは、デシメートした画像上を移動して、より高解像度のビデオフィールドを予測する。この方法は、最小二乗法を通じて最適化したフィルタ要素を求めることができる。
【００２７】
図５は、本方法が行列形式に戻した後の、減少分散を含む最初の９つの固有ベクトル５０５を示す図である。パーセンテージ５１０は、個々の固有ベクトルがオリジナルフィールドの総分散のうちのどの程度を運ぶかを示している。
【００２８】
１つの実施形態では、この方法は、デシメートした画素の各々を３つの座標で表す、三次元空間における最初の３つの固有ベクトルを使用して向上した結果を得る。図６は、区分動作に基づくこれらの画素のサブセットの分布を示す図である。軸ＰＣ１（６０５）、ＰＣ２（６０５）、及びＰＣ３（６０５）は最初の３つの固有ベクトルに対応し、個々の画素の座標は対応する主成分である。
【００２９】
別の実施形態では、ブロック２３０において、方法２００がクラスタリングを使用して、動的有効性指標を使用した縮小次元空間におけるより細かいグループに画素を分類する。動的有効性指標は、画素クラスの緊密度及びクラス自体の間の距離を測定する費用関数である。クラスタリングの目的は、同じクラスの画素間の距離を最小にすることによりクラスの緊密度を増加させるとともにクラス間の距離を最大にすることである。実験的データが、反復クラスタリングが画素を効率良く分類し、ＳＮＲの向上を実現することを示唆している。
【００３０】
図１４は、本発明の実施形態による画素クラスをクラスタリングする方法１４００を示す図である。クラスタの数ｃは、ＰＣ空間における画素の分布に関わらず分かっているものとして処理される。ブロック１４０５において、本方法は、使用するクラスの数を決定する。
【００３１】
ブロック１４１０において、本方法は、個々の画素に数字を付け、この範囲におけるｃの数の均一な分布を選択する。本方法は、クラスタされるｃクラスの重心（重み付き中心）の初期値としてこの均一な選択を使用する。
【００３２】
ブロック１４１５において、本方法は、重心の各々までの画素の距離に基づいて、個々の画素を最も近い重心（及びクラスタ）に割り当てる。
【００３３】
ブロック１４２０において、本方法は、画素の割り当てを使用して個々のクラスタの新しいクラスタ重心を決定する。
【００３４】
ブロック１４２５において、本方法は、現在のクラスタリング構成の動的有効性指標を評価する。他の実施形態では、他の費用関数を使用することができる。動的有効性指標は次式のように定義することができる。
2010093820.tif 000050
この場合、Ｎは点（データオブジェクト）の数、ｋはクラスタの数、ｘはデータ点の位置、ｚiはｉ番目のクラスタのクラスタ中心の位置（重心）、及びＣiはｉ番目のクラスタにおける点の組である。動的有効性指標は、クラスタ内の項（分子）とクラスタ間の項（分母）とを含む。クラスタ内の項は、各点の対応する重心までの平均距離であり、全クラスタの緊密度の平均レベルを測る。クラスタ間の項は、全部のクラスタのペアの中で互いに最も近いクラスタのペアの間の距離である。
【００３５】
ブロック１４３０において、本方法は、最も近いクラスタ重心に基づいてＰＣ空間における個々の点（画素）に新しいクラスメンバーシップを割り当てる。
【００３６】
ブロック１４３５において、本方法は、新しいクラスの割り当てに基づいて個々のクラスタの新しいクラスタ重心を決定する。
【００３７】
ブロック１４４０において、本方法は、新しい構成の有効性指標を評価し、この有効性指標をブロック１４２５において生成された有効性指標と比較する。指標間の差がしきい値を超える場合、本方法はブロック１４３０へ戻り、クラスタリングをさらに繰り返す。しきい値を超えなければ、本方法は現在のクラスタリング方式を使用する。最初の繰り返し中、本方法は、ブロック１４４０において評価された指標をブロック１４２５において評価された指標と比較する。次の繰り返し中、本方法は、ブロック１４４０において評価された指標を比較する。
【００３８】
本方法は、各繰り返しにおいて動的有効性指標を評価し、繰り返し間の変化がしきい値よりも下がるまでこれを続行する。これを行っているときには、さらなる割り当ては行われず、方法１４００は、現在のクラスタリング方式を使用してＰＣ空間を区分する。実験的データが、結果が飽和し、しきい値よりも下がるまでに２０回から３０回の間の繰り返しが必要であることを示唆している。
【００３９】
方法１４００は、動的有効性指標を使用してクラスタリング構成のための比較点を提供する。本方法は、現在の重心の組に基づいてクラスの割り当てを再帰的に調整し、現在のクラスの割り当てに基づいて重心を調整する。このようにして、本方法は、向上が飽和状態になるまでクラスタリングを繰り返し向上させる。
【００４０】
方法１４００が図２のブロック２３０においてクラスタリング動作を終了した後、方法２００は、各クラスタの個々のメンバーを使用してＬＳフィルタ係数を生成し、これが動的にクラスタされたＬＳフィルタを生成する。
【００４１】
図８は、静的クラスタリング８０５と動的クラスタリング８１０との信号対雑音比（ＳＮＲ）性能の比較８００を示す図である。実績の赤色の部分は、方法１４００などの動的クラスタリング法で得られたクラス固有のＬＳフィルタを使用した結果生じた利得を示す。
【００４２】
クラスタリングを繰り返すことにより、デシメートした画像の画素が分類され、各クラス毎に異なるＬＳ係数の組が生成される。図９は、三次元空間におけるデシメートした画像の画素の分布例９００を示す図である。個々の画素を主成分１、２、及び３で表している。
【００４３】
図１０Ａ〜図１０Ｄは、ＰＣ１−２  １００５、ＰＣ２−３  １０１０、ＰＣ３−４  １０１５、及びＰＣ４−５  １０２０のペアワイズ分布を表している。これらのペアは、様々な二次元平面への五次元分布の投影を表す。
【００４４】
図１１は、３２個のクラスタに分割された分布の様々な投影１１０５〜１１２０を示す図である。各クラスタを異なる色調のグレーで表している。
【００４５】
図１２は、本発明の実施形態を使用して得られたＳＮＲの結果１２０５を示す図である。最初の５つの固有ベクトルを使用して五次元空間により全てのフィールドに関して（ビデオシーンの間に６０回）分析を繰り返した。動的クラスタリングＬＳフィルタのＳＮＲ性能１２１５を、静的クラスタリングＬＳフィルタのＳＮＲパフォーマンス１２１０と比較する。全てのシーンに渡って約０．６ｄＢのＮＳＲ性能の上昇が得られた。
【００４６】
図１３は、クラスタリング方法のパラメータを変更した同様の分析の結果を示す図である。７つのＰＣまでは、より多くのＰＣ１３１５を使用したときにＳＮＲ向上１３０５が得られる。分散の９９パーセントが、最初の７つのＰＣに確実に組み入れられる。予想されるように、クラス１３１０の数を増やした場合に性能が上昇し続けた。
【００４７】
図２及び図１４に示す一連のフロー図を参照しながら、本発明の特定の方法についてコンピュータソフトウェアの観点から説明した。本方法は、ブロックの形で示す機械実行可能命令で作られたコンピュータプログラムを構成する。フロー図を参照して本方法について説明することにより、当業者は、好適に構成された機械（メモリを含む機械可読媒体からの命令を実行する機械のプロセッサ）において本方法を実行するためのこのような命令を含むこのようなプログラムを開発できるようになる。機械実行可能命令は、コンピュータプログラミング言語で書かれたものであってもよく、或いはファームウェアの論理に統合したものであってもよい。認められている規格に準拠するプログラミング言語で書かれている場合、様々なハードウェアプラットフォームにおいて、及び様々なオペレーティングシステムへのインターフェイスのためにこのような命令を実行することができる。また、ある特定のプログラミング言語に関連して本発明を説明してはいない。様々なプログラミング言語を使用して、本明細書で説明するような本発明の教示を実現できることが理解できよう。さらに、１つの動作を行う場合、或いは１つの結果をもたらす場合に、（プログラム、手順、処理、アプリケーション、モジュール、論理．．．などの）１つの形又は別の形のソフトウェアについて語るのは当業では一般的なことである。このような表現は、コンピュータがソフトウェアを実行することにより、コンピュータのプロセッサが動作を実行し、或いは結果を生み出すようになるという言い方を簡単にしたものにすぎない。本発明の範囲から逸脱することなく、図２及び図１４に示す方法により多くの又はより少ない処理を組み込むことができること、及び図示するとともに本明細書で説明したブロックの構成により特定の順序を暗示するわけではないことが理解されよう。
【００４８】
１つの実施形態では、図７Ａに示すように、サーバコンピュータ７０１がインターネット７０５に接続され、このインターネット７０５を介してデータを提供する。クライアントコンピュータ７０３が、ＩＳＰ（インターネットサービスプロバイダ）７０７を介してインターネット７０５に接続され、従来のインターネットブラウジングアプリケーションを実行してサーバ７０１とデータを交換する。サーバコンピュータ７０１は、図２及び図１４に示す方法を実行することができる。任意的に、サーバ７０１は、クライアントシステムにインターネットへのアクセスを提供するＩＳＰの一部であってもよい。本明細書で使用する「インターネット」という用語は、ＴＣＰ／ＩＰプロトコル、及び場合によってはワールドワイドウェブ（ｗｅｂ）を構成するハイパーテキストマークアップ言語（ＨＴＭＬ）文書のためのハイパーテキスト転送プロトコル（ＨＴＴＰ）のようなその他のプロトコルなどのいくつかのプロトコルを使用するネットワークのネットワークを意味する。インターネットの物理的接続及びインターネットのプロトコル及び通信手順は当業者にとって周知である。インターネットにアクセスすることにより、クライアントコンピュータシステムのユーザは、情報を交換し、電子メールを送受信し、ＨＴＭＬフォーマットで作成された文書などの文書を閲覧し、コンテンツを受信できるようになる。本発明が、インターネットアクセス及びインターネットウェブベースのサイトに限定されるものではなく、直接接続されたプライベートネットワークも企図されることが容易に明らかである。
【００４９】
サーバ７０１としての使用に適したコンピュータシステムの１つの実施形態を図７Ｂに示す。コンピュータシステム７１０は、システムバス７３５に接続されたプロセッサ７２０、メモリ７２５、及び入力／出力機能７３０を含む。メモリ７２５は、プロセッサ７２０により実行された場合、本明細書で説明した方法を実行する命令を記憶するように構成される。メモリ７２５はまた、次元縮小を使用した適応予測のための／についてのデータを記憶することもできる。入力／出力７３０は、次元縮小、或いはその一部又は代表部分を使用した適応予測のための／についてのデータの配信及び表示を行い、また記憶、処理又は表示のための様々な種類のデータの入力も行う。入力／出力７３０はまた、プロセッサ７２０によるアクセスが可能なあらゆる種類の記憶装置を含む様々な種類の機械可読媒体も含む。当業者であれば、サーバ７０１が、メモリ７２５で実行するオペレーティングシステムソフトウェアにより制御されることを直ちに認識するであろう。入力／出力７３０及び関連する媒体は、オペレーティングシステムのための機械実行可能命令及び本発明の方法、並びに次元縮小を使用した適応予測のための／についてのデータを記憶する。
【００５０】
図７Ａ〜図７Ｂの説明は、本発明の実施に適したコンピュータハードウェアおよびその他の動作構成要素の概観を示すことを意図したものであり、利用可能な環境を限定することを意図したものではない。コンピュータシステム７４０が、異なるアーキテクチャを有する多くの考えられるコンピュータシステムのうちの１つの例であることを理解できよう。典型的なコンピュータシステムは、通常、少なくともプロセッサ、メモリ、及びメモリをプロセッサに接続するバスを含む。当業者であれば、マルチプロセッサシステム、ミニコンピュータ、及びメインフレームコンピュータなどを含むその他のコンピュータシステム構成により本発明を実施できることを直ちに理解するであろう。通信ネットワークを介してリンクされた遠隔処理装置によってタスクを実行する分散コンピューティング環境において本発明を実施することもできる。
【００５１】
次元縮小を使用した適応予測について説明した。本明細書では特定の実施形態について図示し説明したが、当業者であれば、同じ目的を実現するために計算されたあらゆる構成を、図示の特定の実施形態と置き換えることができることを理解するであろう。本出願は、本発明のあらゆる適応又は変形を対象とすることが意図される。
【００５２】
次元縮小を使用した適応予測に関して本出願で使用した専門用語は、これらの環境の全てを含むことを意図したものである。従って、本発明は、以下の特許請求の範囲及びこの同等物によってのみ限定されることがはっきりと意図される。
【外国語明細書】
2010093820.tif 000051
2010093820.tif 000052
2010093820.tif 000053
2010093820.tif 000054
2010093820.tif 000055
2010093820.tif 000056
2010093820.tif 000057
2010093820.tif 000058
2010093820.tif 000059
2010093820.tif 000060
2010093820.tif 000061
2010093820.tif 000062
2010093820.tif 000063
2010093820.tif 000064
2010093820.tif 000065
2010093820.tif 000066
2010093820.tif 000067
2010093820.tif 000068
2010093820.tif 000069
2010093820.tif 000070
2010093820.tif 000071
2010093820.tif 000072
2010093820.tif 000073
2010093820.tif 000074
2010093820.tif 000075
2010093820.tif 000076
2010093820.tif 000077
2010093820.tif 000078
2010093820.tif 000079
2010093820.tif 000080
2010093820.tif 000081
2010093820.tif 000082
2010093820.tif 000083
2010093820.tif 000084
2010093820.tif 000085
2010093820.tif 000086
2010093820.tif 000087
2010093820.tif 000088
2010093820.tif 000089
2010093820.tif 000090
2010093820.tif 000091