(57)【特許請求の範囲】
【請求項１】
ビデオを含むデータ・ストリームに対して利用されるべき処理技法を示す信号を受領する段階を有する方法であって、
前記信号が、画像またはビデオ・シーンの領域に適用されるべきデコード・プロセスの少なくとも一部およびデコード後プロセスの少なくとも一部のうちの少なくとも一方についての処理技法のクラスもしくは型を同定し、前記受領する段階は、前記領域があらかじめ定義されていない場合に前記領域の少なくとも形状およびサイズについての情報を受領することを含む、
方法。
【請求項２】
請求項１記載の方法であって、前記領域があらかじめ定義されている場合には前記領域の特性についての情報が受領されない、
方法。
【請求項３】
請求項１または２記載の方法であって、前記受領する段階がさらに、前記領域の、少なくとも一つの他の領域との重なりについての情報を受領することを含み、重なり合う領域には複数の処理技法が適用されて組み合わされる、方法。
【請求項４】
前記ビデオが少なくとも二つのビューを含む、請求項１ないし３のうちいずれか一項記載の方法。
【請求項５】
請求項１ないし４のうちいずれか一項記載の方法であって、前記処理技法が、空間分解能変換および時間分解能変換のうちの少なくとも一方を含む分解能変換を含む、方法。
【請求項６】
請求項１ないし４のうちいずれか一項記載の方法であって、前記処理技法が、インターレース解除、時間的補間および空間的補間のうちの少なくとも一つを含むスケーリングを含む、方法。
【請求項７】
請求項１ないし４のうちいずれか一項記載の方法であって、前記処理技法が、誤りのある領域の動きの予測を含む誤り隠蔽を含む、方法。
【請求項８】
請求項４記載の方法であって、前記ビューが、立体視用ビュー、二つの異なる画像、２Ｄ画像と奥行き情報、２Ｄシーンの複数のビューおよび３Ｄシーンの複数のビューのうちの少なくとも一つを含む、方法。
【請求項９】
請求項４記載の方法であって、前記少なくとも二つのビューが圧縮され、前記データ・ストリーム中に、単一ビュー・ビデオ・ストリーム対応の標準的な動画フォーマットで多重化される、方法。
【請求項１０】
請求項９記載の方法であって、前記ビューの圧縮が、前記ビューのサンプリング、フィルタリングおよび間引きのうちの少なくとも一つを含む、方法。
【請求項１１】
請求項９記載の方法であって、前記サンプリングが、水平方向、垂直方向、五の目形サンプリングのうちの少なくとも一つを含む、方法。
【請求項１２】
請求項９記載の方法であって、前記多重化が、市松模様フォーマット、象限ベースのフォーマット、列フォーマット、行フォーマット、サイドバイサイド・フォーマット、上下フォーマット、パターンに基づくフォーマットおよび代替的なフォーマットのうちの少なくとも一つでなされる、方法。
【請求項１３】
請求項１ないし４のうちいずれか一項記載の方法であって、前記示す信号に基づいて少なくとも一つの処理技法を選択し、選択された処理技法を、前記画像またはビデオ・シーンの前記領域に適用する段階をさらに含み、
前記選択する段階が、選択された処理技法を前記領域に適用することによって、前記データ・ストリームをデコードするよう構成されたデコーダによって実行される、
方法。
【請求項１４】
請求項１ないし４のうちいずれか一項記載の方法であって、前記処理技法は、補間プロセス、フィルタリングおよびブロック解除プロセスのうちの少なくとも一つを含む一連の処理技法を含む、方法。
【請求項１５】
請求項１ないし４のうちいずれか一項記載の方法であって、さらに、前記クラスもしくは型の処理技法のうちから少なくとも一つの処理技法を選択し、選択された技法を前記領域に適用する段階を含む、方法。
【請求項１６】
後処理装置であって：
デコードされたビデオ・ストリームを受領するよう構成されたビデオ入力と；
前記ビデオ・ストリームの副情報チャネルから指令指示を受け容れるおよび前記デコードされたビデオ・ストリームから指令指示を同定するのうちの一方を行うよう構成された指示機構と；
前記指令指示に基づいて前記デコードされたビデオ・ストリームを後処理するよう構成された後処理器と；
後処理されたビデオ・ストリームを出力するよう構成されたビデオ出力とを有しており、
前記指令指示が、前記ビデオ中の少なくとも一つのあらかじめ定義されていない領域の識別情報であって、前記あらかじめ定義されていない領域の少なくとも形状およびサイズについての情報を含む識別情報と、前記領域に適用されるべき少なくとも一つの処理方法とを含む、
後処理装置。
【請求項１７】
請求項１６記載の後処理装置であって、前記指令指示は、あらかじめ定義されている領域についてはその領域の特性についての情報を含まない、
後処理装置。
【請求項１８】
請求項１６または１７記載の後処理装置であって、前記指令指示は、異なるテクスチャー品質の領域および各テクスチャー品質についての個別の処理方法を同定する、後処理装置。
【請求項１９】
請求項１６または１７記載の後処理装置であって、前記指令指示は、エンコードされたビットストリームを生成する際に前記デコードされたビデオ・ストリームに対して複数のフィルタを試験した後に選択されたフィルタ識別情報を含む、後処理装置。
【請求項２０】
請求項１６または１７記載の後処理装置であって、前記指令指示は、複数のフィルタを含むカテゴリー全体の識別情報を含むフィルタ識別情報を含み、
前記後処理器がさらに、前記カテゴリーのフィルタからフィルタを選択し、前記デコードされたビデオ・ストリームを後処理するために該選択されたフィルタを利用するよう構成されている、
後処理装置。
【請求項２１】
請求項２０記載の後処理装置であって、前記後処理器はさらに、前記フィルタのカテゴリーの属性に最も近い属性をもつフィルタを選択し、選択されたフィルタを後処理の少なくとも一部として利用するよう構成される、後処理装置。
【請求項２２】
請求項１６または１７記載の後処理装置であって、前記デコードされたビデオ・ストリームおよびデコード前のビデオ・ストリームの少なくとも一方を解析し、その解析に基づいて、デコード・プロセスまたは前記後処理器のうちの少なくとも一方の少なくとも一部を指揮するよう構成された後処理解析器をさらに有する、後処理装置。
【請求項２３】
デコーダにおいて利用されるべき処理技法、処理技法のカテゴリーおよび一連の処理技法のうちの少なくとも一つを選択し、選択された技法または該選択された技法の識別子をエンコードされたビデオ・ストリームおよび該エンコードされたビデオ・ストリームに関係した副情報のうちの少なくとも一つの中にエンコードするよう構成されたエンコーダと；
エンコードされたビデオ・ストリームを受領し、選択された技法の少なくとも一つを使って前記ビデオ・ストリームをデコードするよう構成されたデコーダとを有する、
システムであって、
前記デコーダは、処理技法の目録を維持しており、前記エンコーダによって選択された技法が利用可能でない場合は、前記目録から、前記エンコーダによって選択された技法に最も近く一致する処理技法または技法（単数または複数）を選択し、
前記エンコーダによって選択された利用可能でない技法がフィルタである、
システム。
【発明の詳細な説明】
【技術分野】
【０００１】
〈著作権上の注意〉
本特許文書の開示の一部には著作権保護の対象となる素材が含まれる。著作権保有者は誰であれ本特許文書または本特許開示を特許商標庁の特許包袋または記録にあるとおりそのまま複製することに異を唱えないが、他の点ではあらゆる著作権を留保する。
【０００２】
〈関連出願への相互参照〉
本願は2009年4月20日に出願され、ここにその全体において参照によって組み込まれる米国特許仮出願第61/170,995号の優先権を主張する。
【０００３】
〈発明の分野〉
本発明は補間および後処理に関する。
【背景技術】
【０００４】
多くの環境およびアプリケーションにおいて、信号の分解能を妥協しなければならないことがある。これはたとえば、信号を表現するのに必要とされる帯域幅を減らす、デコードの計算量を減らす、所定のディスプレイ装置の特性に適合させる、などのために行うことができる。信号の分解能はまた、多様な領域／次元において指定されることができる。ビデオ信号の場合、それにはなかでも、空間的分解能（すなわち水平および垂直解像度）、時間的分解能、ビット深さ、またさらには立体視〔ステレオ〕情報が含まれうる。多くの場合において、ある次元での分解能は、他の次元での分解能を優先するために妥協させられることがある。たとえば、インターレース・ビデオ信号の場合、時間的分解能のために空間的分解能が犠牲にされる。3Dアプリケーションについては、一つの妥協は、多様な構成を使って空間的にダウンサンプリングし、次いで利用可能なステレオ・ビューを多重化することである。ダウンサンプリングは水平方向、垂直方向またさらには五の目形（quincunx）ベースでもよい。五の目形ダウンサンプリングでは、データは、市松模様〔チェッカーボード〕多重化を使って一緒にパッキングまたはインターリーブされることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明者は、ダウンスケールされたまたは他の形で妥協されたビデオその他のデータが、その変換プロセスが内容のもとの性質および特性についてほとんどまたは全く情報をもたないために、パフォーマンスにおいて著しく制限され、複雑さに関して制約されることがあることを認識するに至った。
【課題を解決するための手段】
【０００６】
さまざまな実施形態において、本発明は、ダウンスケールされたまたは他の形で妥協されたビデオまたはその他のデータをそのもとのデータに、またはさらにより高い／異なる分解能またはフォーマットに再構成することを提供する。たとえば、720p（1280×720）の解像度のビデオが、より高い解像度のディスプレイ上での表示のために、1080p（1920×1080）解像度に上方変換（アップコンバート）されることがありうる（またはされる必要があることがありうる）。同様に、市松模様配置で多重化された二つの五の目形サンプリングされたビューを含む3D信号またはサイドバイサイド配置でパッキングされた二つの水平方向にまたは五の目形にサンプリングされたビューを含む3D信号が、二つのフル解像度の3Dビューまたはラインごとのような異なるサンプリング構成に上方変換される必要があることがありうる。
【０００７】
図９は、例示的な五の目形サンプリング技法を例解している。ここで、たとえば、フル解像度画像（たとえば立体視画像対の左のビュー）がフィルタ／関数／変換f(x)  ９２０によって作用され、次いでサンプラー９３０によって五の目形サンプリングされる。その結果は、たとえば９４０で示されるサンプル・パターンである。（ピクセル・データの）このサンプル・パターンは次いで別の五の目形サンプリングされた画像（たとえば前記立体視対の右のビュー）または可能性としては別のビューまたはさらには関係しない画像と多重化され、次いでエンコードされてもよい。このプロセスは、異なるサンプリングおよびパッキング方法を使って画像に適用されることもできる。たとえば、水平方向サンプリングとサイドバイサイド・パッキング、あるいは垂直方向サンプリングとラインごと（line  by  line）もしくは上下（over  under）のパッキングである。
【０００８】
上記変換プロセスは、たとえば分離可能な（separable）または分離不可能な（non-separable）フィルタ、エッジ適応補間方法などの任意の一つまたは複数を含む多様なアルゴリズムを使って行える。そうしたアルゴリズムは、さまざまな実施形態において、信号の解析および特徴付けをも必要とすることがありうる。
【０００９】
図１０は、本発明のある実施形態に基づく、五の目形サンプリングされたデータについての補間器の図解である。このプロセスは他のサンプリングおよびパッキング方法と似ている。図１０に示されるように、ビットストリーム１００５が、サンプリングされた画像１０８０（この例では五の目形サンプリングされた画像）をデコードするデコーダ１０５０に与えられる。サンプリングされた画像１０８０は次いで一連のフィルタ処理１０８５のそれぞれに加えられる。フィルタ処理１０８５はいかなる時間的、空間的もしくはその他の上方変換プロセスまたはサンプリングされた画像の任意の型の上方変換、誤り訂正、色補正もしくは一般的な改善のための本稿に記載される他の任意のプロセスを含んでいてもよい。任意の特定のピクセルまたは領域について利用されるべきフィルタ処理は、たとえば、ビットストリーム１００５からメタデータ抽出器１０７０によって抽出されるメタデータによって指定される。結果は、たとえば、当該画像のフル解像度バージョン１０９０である。
【００１０】
投影されるべき立体画法画像対の場合、指揮された（directed）フィルタ処理は、左画像および右画像の対応する部分の色がディレクターの意図と整合するよう、色補正を含んでいてもよい。そのような実施形態／応用では、色補正は、異なる色の光源またはフィルタを使う投影システムにおいて、左画像および右画像両方の色が意図通りに一致するのに、特に重要である。
【００１１】
本発明は、デバイス、たとえばデコーダ、ディスプレイまたは他のシステムに対して、どの変換方法（単数または複数）が使用されるべきかを信号伝達することによって、改善された変換パフォーマンスを可能にするおよび／または変換の複雑さを制御する方法を含む。本方法は、ある種のシナリオまたは環境においてデコーダの振る舞いを変更または制御するために使用されてもよい。たとえば、デコード・プロセスによってもともと必須とされていたある種のツールを変更するまたはさらには無効にすることによってデコーダの複雑さを制御する場合、あるいは誤り隠蔽の場合がある。誤り隠蔽では、提供される情報が今や、信号中の誤りを訂正するために、より「情報を与えられた（informed）」プロセスを考えることができる。前記信号伝達は、たとえば、シーケンス・レベル、ピクチャー・グループ（group  of  pictures）・レベル、ピクチャー・レベルまたは領域レベルであってもよい。ピクチャー・グループは、固定サイズであってもよいし、あるいは任意であってもよい。同様に、領域は、ピクセル単位で固定された形状およびサイズであってもよいし、これも任意であってもよい。本発明は、前記パラメータを信号伝達する方法のみに制約されるものではなく、所定の基準が与えられたもとでの「最良の」パラメータをいかにして導出するかにも関わる。
【００１２】
本発明は、データ・ストリームに対して利用されるべき処理技法を示す信号を受領する段階を含む方法として具現されてもよい。
【００１３】
前記処理技法は、たとえば、分解能変換、処理の複雑さの制御、アーチファクト軽減、誤り訂正、誤り隠蔽、スケーリング、補間、既存の処理ツールの変更および少なくとも一つのツールの有効化もしくは無効化のうちの任意の一つまたは複数を含んでいてもよい。前記分解能変換は、空間的分解能変換および時間的分解能変換の少なくとも一方を含んでいてもよい。スケーリングは、インターレース解除、時間的補間および空間的補間のうちの少なくとも一つを含んでいてもよい。誤り隠蔽は、誤りのある領域の動きの予測を含んでいてもよい。信号はさらに、前記処理技法が適用される空間的および時間的程度の少なくとも一つを示してもよい。
【００１４】
ある実施形態では、前記データ・ストリームはビデオ・データ・ストリームであり、前記程度は、前記処理技法が前記ビデオの全部、前記ビデオの一部、前記ビデオの一部のピクチャー、前記ビデオ内の領域のうちの少なくとも一つに適用されるかどうかを含む。前記ビデオのピクチャーはたとえば、前記ビデオのフレームおよび前記ビデオのフィールドのうちの任意のものを含んでいてもよい。
【００１５】
ある実施形態では、前記データ・ストリームは、少なくとも二つの異なるビューを含むビデオを含み、前記信号はさらに、前記処理技法が前記ビデオの少なくとも一つのフレーム内の少なくとも一つの領域について実行されることを示す。前記異なるビューはたとえば、立体画法ビュー、二つの異なる画像、2D画像と奥行き情報、分解能・ビット深さもしくは色情報といった異なる特性をもつ2Dシーンの複数のビューおよび3Dシーンの複数のビューのうちの少なくとも一つを含んでいてもよい。前記少なくとも二つの異なるビューはまた、単一ビュー・ビデオ・ストリーム用の標準化された動画像フォーマットで前記データ・ストリーム内に圧縮および多重化されてもよい。ビューの圧縮は、ビューのサンプリング、フィルタリングおよび間引きのうちの少なくとも一つを含んでいてもよい。ビューの圧縮はまた、水平方向、垂直方向フィルタリングおよび五の目形サンプリングのうちの少なくとも一つを含んでいてもよい。ビューの圧縮はまた、フィルタリングおよびサンプリングの両方を含んでいてもよい。サンプリングはたとえば、水平方向、垂直方向、五の目形、公式ベース、パターン・ベースおよび任意形のサンプリングのうちの少なくとも一つを含んでいてもよい。多重化は、たとえば、市松模様フォーマット、象限ベース・フォーマット、列フォーマット、行フォーマット、サイドバイサイド〔左右隣り合わせ〕・フォーマット、上下〔上下隣り合わせ〕フォーマット、パターンに基づくフォーマットおよび代替的なフォーマットのうちの少なくとも一つでなされてもよい。
【００１６】
ある実施形態では、前記信号は、画像またはビデオ・シーンのある領域に適用されるべき、デコード・プロセスの少なくとも一部およびデコード後プロセスの少なくとも一部のうちの少なくとも一方を同定するよう構成される。該領域は、同定されたプロセスが効率的に作用する特性をもつものである。前記特性は、その領域のテクスチャー、輪郭、エッジ、コントラスト、ダイナミックレンジおよび明るさのうちの少なくとも一つを含んでいてもよい。
【００１７】
ある実施形態では、前記信号は、前記データ・ストリームおよび前記データ・ストリームに関係した副情報のうちの少なくとも一つから受領される。もう一つの実施形態では、前記信号伝達は、固定、任意もしくは可変サイズのいずれかのシーケンス、ピクチャー・グループ（GOP）および領域のうちの少なくとも一つに適用されるべき処理技法を含んでいてもよい。本方法はさらに、信号伝達された処理技法に基づいて少なくとも一つの処理技法を選択し、選択された処理技法を、シーケンス、GOPおよび領域のうちの少なくとも一つに適用する段階を含んでいてもよい。選択する段階は、たとえば、選択された処理技法を前記シーケンス、ピクチャー・グループ（GOP）および領域のうちの少なくとも一つに適用することによって、前記データ・ストリームをデコードするよう構成されたデコーダによって実行されてもよい。選択する段階はまた、前記信号伝達された処理技法とは処理技法のカテゴリーが異なるが前記信号伝達された処理技法に最も近い処理技法を選択することを含んでいてもよい。
【００１８】
ある実施形態では、前記処理技法は、一連の処理技法を含む。前記一連の処理技法は、たとえば、補間プロセス、フィルタリングおよびブロック解除〔デブロッキング〕プロセスのうちの少なくとも一つを含んでいてもよい。
【００１９】
ある実施形態では、前記信号伝達は、複数の処理技法のファミリーを信号伝達することを含んでいてもよく、本方法はさらに、信号伝達されたファミリーから少なくとも一つの処理技法を選択し、選択された技法を、固定、任意もしくは可変サイズのいずれかのシーケンス、ピクチャー・グループ（GOP）および領域のうちの少なくとも一つに適用する段階を含んでいてもよい。
【００２０】
ある実施形態では、前記処理技法は、前記データ・ストリームを受領するのに先立って前処理段階を通じて選択されたものである。前記前処理は、たとえば、媒体記憶または放送のために前記データ・ストリームをマスタリングするのに先立って実行されるスタジオ作業を含んでいてもよい。前記前処理は、同様のデータ・ストリームに対する一組の潜在的な処理技法の逐次的な実行と、前記データ・ストリームおよび前記データ・ストリームに関係した副情報の少なくとも一方における、選択された処理技法の識別子の埋め込みとを含んでいてもよい。前記前処理はまた、エンコードとそれに続く、エンドユーザーによるデコードおよび再生のための、媒体上への記憶または任意の数のチャネルを通じた伝送に先立って、あるいはそれと同時に、前記データ・ストリームによって取り込まれたビデオの前処理器再生の際にオンザフライで実行されてもよい。
【００２１】
前記選択された処理技法はまた、デコーダにおける前記データ・ストリームのデコードおよび再生の際に追加的な解析および／または処理を実行することによって生成される追加的な情報を必要としてもよい。そのような解析および／または処理は、たとえば、エンドユーザー視聴者による閲覧のためにエンコードされたビデオをオンザフライでデコードおよび再生する際に行われてもよい。そのような解析および／または処理は、たとえば、エンコーダにおいて実行される解析および／または処理の洗練版を含んでいてもよい。
【００２２】
前記選択された処理技法は、たとえば、最低コストの処理技法、最高パフォーマンスの処理技法およびコストとパフォーマンスの間の組み合わせもしくはトレードオフのうちの少なくとも一つを含んでいてもよい。コストはたとえば、複雑さ、面積、電力および価格のうちの少なくとも一つを含んでいてもよい。パフォーマンスはたとえば、品質およびスピードの少なくとも一方を含んでいてもよい。
【００２３】
ある実施形態では、追加的な解析は、たとえば、やはり前記情報が与えられてデコーダ装置上で行われる追加的な「補助／第二」後処理を含む。
【００２４】
別の実施形態では、前記データ・ストリームはエンコードされたビデオ・データ・ストリームを含み、前記信号伝達される処理技法は、前記ビデオ・データ・ストリームのピクチャー、ピクチャー・グループ（GOP）および領域のうちの少なくとも一つについてのデコードおよびデコードの後処理の一方を向上させるために選択されたものである。前記処理技法は、たとえば、前記ビデオ・データ・ストリームのエンコードの前、該エンコード中、または該エンコード後のうちの少なくとも一つにおいて選択されたものである。前記データ・ストリームはたとえば、トランスコードされたエンコードされたビデオ・ストリームを含んでいてもよく、前記処理技法は、前記ビデオ・データ・ストリームのエンコードの前、該エンコード中、または該エンコード後のうちの少なくとも一つにおいて選択されたものであってもよい。前記処理技法はたとえば、前記ビデオ・データ・ストリームのある領域上で、前記処理技法に関連して使用されるべきパラメータを含んでいてもよく、本方法はさらに、前記領域の部分領域および異なる領域のうちの少なくとも一方についてパラメータの変化を受領することを含んでいてもよい。
【００２５】
本発明はまた、エンコードされたビデオからデコードされるべきビデオの少なくとも一部分を改善するための機構を選択する段階であって、選択される機構は、前記エンコードされたビデオのデコードおよびデコード後に前記ビデオに適用される後処理のうちの少なくとも一つを指揮する（direct）よう構成されている、段階と、選択された機構および該選択された機構の識別子のうちの少なくとも一方を、前記エンコードされたビデオおよび前記エンコードされたビデオの副情報のうちの少なくとも一方に指令（directive）信号としてパッケージングする段階とを含む方法として具現されてもよい。選択される機構は、プロセスおよびプロセスのパラメータのうちの少なくとも一つを含んでいてもよい。前記ビデオの前記部分は、前記ビデオの領域および部分領域のうちの少なくとも一方を含んでいてもよい。
【００２６】
ある実施形態では、前記ビデオの前記部分は、前記ビデオの画像、前記ビデオの画像のシーケンス、前記ビデオの画像の領域、前記ビデオの諸フレームを横断する動的な領域および前記ビデオの任意の部分領域（単数または複数）のうちの少なくとも一つを含む。あるいはまた、前記ビデオの前記部分は、一ブロックを含む前記ビデオの領域または部分領域を含む。別の代替では、前記ビデオの前記部分は複数のブロックを含む前記ビデオの領域または部分領域を含む。前記ブロックは、たとえば、非連続的であってもよい。前記ブロックは、市松模様の少なくとも一部を含んでいてもよい。
【００２７】
ある実施形態では、前記ビデオの前記部分は、前記ビデオの複数のフレームを横断するビデオ・データ・サンプルの幾何学的な配置を含む。前記幾何学的な配置は、前記ビデオのフレーム間で、サイズおよび形の少なくとも一方において変動してもよい。
【００２８】
ある実施形態では、前記ビデオの前記部分は、ビデオ・データ・サンプルの不規則な配置を含む。もう一つの実施形態では、前記ビデオの前記部分は、前記ビデオの立体視用シーンの同じ位置にあるサンプルを含む。さらにもう一つの実施形態では、前記ビデオの前記部分は、Mを幅、Kを高さ、Nを時間的サンプルの数として、M×K×Nからなる直方体を含む。さらにもう一つの実施形態では、前記ビデオの前記部分は、複数のフレームを横断して追跡されるセグメントおよびオブジェクトの一方を含む。さらにもう一つの実施形態では、前記ビデオの前記部分は、ユーザー入力、セグメンテーション、オブジェクト追跡、シーンの切れ目検出、エッジ検出、分水嶺（watershed）、ハウスドルフ法（haursdorff  method）、K平均（K-means）、動き検出、動き推定、動き解析および品質評価のうちの少なくとも一つによって決定される。さらにもう一つの実施形態では、本方法はさらに、選択する段階およびパッケージングする段階を、前記ビデオの第二の部分について繰り返す段階を含んでいてもよい。前記ビデオの前記部分は規則的な形状の領域を含んでいてもよく、前記ビデオの前記第二の部分は不規則な形状の領域を含んでいてもよい。ある実施形態では、前記ビデオの前記部分および前記ビデオの前記第二の部分が重なり合う。選択される機構は、前記ビデオの重なりにおいて諸機構によって実行される処理をいかにして平均するかの指示を含んでいてもよい。選択される機構は、前記ビデオの重なりにおいて諸機構をいかにして逐次的に開始するかの指示をも含んでいてもよい。
【００２９】
ある代替では、前記ビデオの前記両部分は、あらかじめ定義されており、前記パッケージングは前記両部分を同定する情報を含まない。もう一つの代替では、前記ビデオの前記両部分は、直方体記述、ベクトル・ベースの記述およびラスタ・ベースの記述のうちの少なくとも一つを使って定義される。前記ビデオの前記部分は、たとえば、ある画像フォーマットを使ってエンコードされたデータで同定されてもよい。
【００３０】
もう一つの実施形態では、前記ビデオの前記部分は、CGM、SVG、EPS、WMF、TIFF、BMP、JPEG、JPEG-2000、MPEG-2ならびにH.264およびMPEG4-AVCのうちの少なくとも一つを含むフォーマットを使ってエンコードされたデータで同定される。もう一つの実施形態では、前記ビデオの前記部分は、プロセス・マップにおいて同定される領域を含む。もう一つの実施形態では、前記ビデオの前記部分は、画像またはグラフィック・フォーマットの少なくとも一方でマップされた領域を含む。もう一つの実施形態では、本発明は、前記指令信号（directive  signal）とともにシーケンス指示をパッケージングすることを含む。もう一つの実施形態では、前記指令信号は、実行されるべきさまざまなプロセスの好ましい順序を示すシーケンス付けを含む。もう一つの実施形態では、前記指令信号は、少なくとも部分的に選択された機構によって実行されるべき空間的アップサンプリング、時間的アップサンプリングおよびブロック解除のシーケンス付けを含んでいてもよい。もう一つの実施形態では、前記ビデオの前記部分は、一連の部分領域に分割された領域を含み、ここで、前記選択された機構は、前記部分領域のうちの第一の部分領域に対応する第一のパラメータおよび前記部分領域のうちの第二の部分領域に対応する第二のパラメータを含む。もう一つの実施形態では、前記機構は、少なくとも部分的に前記機構の複雑さに基づいて選択される。選択された機構はたとえば、所与の品質閾値について、最低の複雑さを有していてもよい。
【００３１】
本発明はまた、デコードされたビデオ・ストリームを受領するよう構成されたビデオ入力と、前記ビデオ・ストリームの副情報チャネルから指令指示（directive  instruction）を受け容れるおよび前記デコードされたビデオ・ストリームから指令指示を同定するのうちの一方を行うよう構成された指示機構と、前記指令指示に基づいてデコードされたビデオ・ストリームを後処理するよう構成された後処理器〔ポストプロセッサ〕と、後処理されたビデオ・ストリームを出力するよう構成されたビデオ出力とを有する後処理装置として具現されてもよい。本後処理装置はたとえば、ディスプレイ、セットトップボックスおよびメディア・プレーヤーのうちの少なくとも一つに統合されてもよい。前記指令指示はたとえば、前記ビデオ中の少なくとも一つの領域および該領域に適用されるべき少なくとも一つの処理方法の識別情報を含んでいてもよい。前記領域はたとえば、諸部分領域であってもよく、前記指令指示は各部分領域を処理するための処理方法に適用されるべき異なるパラメータを含んでいてもよい。前記指令信号はまた、異なるテクスチャー品質の領域および各テクスチャー品質についての個別の処理方法を同定してもよい。
【００３２】
ある実施形態では、前記指令信号は、デコードされたビデオ・ストリームに対して複数のフィルタを試験した後に選択されたフィルタ識別情報を含む。前記フィルタ識別情報は、複数のフィルタを含むカテゴリー全体の識別情報を含んでいてもよい。本後処理器はまた、前記カテゴリーのフィルタからフィルタを選択し、デコードされたビデオ・ストリームを後処理するために該選択されたフィルタを利用するよう構成されていてもよい。本後処理器はさらに、前記フィルタのカテゴリーの属性に最も近い属性をもつフィルタを選択し、選択されたフィルタを後処理の少なくとも一部として利用するよう構成される。
【００３３】
ある実施形態では、前記後処理器はさらに、前記フィルタ識別情報によって同定されるフィルタに近いまたは該フィルタよりよいのうちの少なくとも一方である属性をもつと知られているフィルタを選択するよう構成される。もう一つの実施形態では、前記フィルタ識別情報は、歪みおよび複雑さのうちの少なくとも一方に基づいて選択される。歪みは、空間的または時間的に、SAD、SSE、主観的評価、ブロックノイズ度（blockiness）、分散、周波数特性、画像／テクスチャーの鮮鋭さ、エッジ品質およびアーチファクトのうちの少なくとも一つを介することを含め、いくつもの方法で評価されうる。
【００３４】
ある実施形態では、試験は開ループ型試験装置において実行され、別の実施形態では、試験は閉ループ型試験装置において実行される。試験はたとえば、前記ビデオの複数の領域について実行されてもよい。前記複数の領域は、たとえば、前記ビデオの時間的領域を含んでいてもよい。前記複数の時間的領域は、変化する形状およびサイズの領域を含んでいてもよい。
【００３５】
ある実施形態では、前記ビデオの領域は、セグメンテーション、オブジェクト追跡、シーンの切れ目検出、エッジ検出、分水嶺（watershed）、ハウスドルフ法（haursdorff  method）、K平均（K-means）、動き検出、動き推定および動き解析のうちの少なくとも一つによって決定される。前記ビデオの前記領域は、CGM、SVG、EPS、WMF、TIFF、BMP、JPEG、JPEG-2000、MPEG-2ならびにH.264およびMPEG4-AVCのうちの少なくとも一つを使って同定されてもよい。
【００３６】
本発明はまた、デコーダにおいて利用されるべき処理技法、処理技法のカテゴリーおよび一連の処理技法のうちの少なくとも一つを選択し、選択された技法または該選択された技法の識別子をエンコードされたビデオ・ストリームおよび該エンコードされたビデオ・ストリームに関係した副情報のうちの少なくとも一つの中にエンコードするよう構成されたエンコーダと、エンコードされたビデオ・ストリームを受領し、選択された技法の少なくとも一つを使って前記ビデオ・ストリームをデコードするよう構成されたデコーダとを有するシステムとして具現されてもよい。選択された技法は、エンコードされたビデオ・ストリームだけから同定される。選択された技法はたとえば、デコーダによって、関係した副情報およびエンコードされたビデオ・ストリームのうちの少なくとも一方から同定されてもよい。前記技法は、品質、複雑さおよびコストのうちの少なくとも一つに基づいて選択されてもよい。前記デコーダは、選択された処理技法を利用して別の処理技法を選択してもよい。
【００３７】
ある実施形態では、前記デコーダは、処理技法の目録を維持しており、該目録から、前記エンコーダによって選択された技法（単数または複数）に最も近く一致する処理技法または技法（単数または複数）を選択する。ある実施形態では、前記デコーダ選択技法は、複雑さ、コストおよび品質のうちの少なくとも一つに基づいて選択される。前記デコーダ選択技法はまた、少なくとも部分的に、前記デコーダにおいて利用可能な処理電力の量に照らしての複雑さに基づいて選択されてもよい。
【００３８】
前記装置および方法の諸部分は、汎用コンピュータまたはネットワーク接続された複数のコンピュータ上のプログラミングにおいて便利に実装されてもよく、結果は前記汎用、ネットワーク接続コンピュータの任意のものに接続された出力装置上で表示されたり、あるいは出力または表示のためにリモート装置に送信されたりしてもよい。さらに、コンピュータ・プログラム、データ・シーケンスおよび／または制御信号において表現される本発明の任意の構成要素は、これに限られないが無線放送および導線、光ファイバー・ケーブルおよび同軸ケーブル等を通じた伝送を含め、任意の媒体で任意の周波数で放送（または送信）される電子信号として具現されてもよい。
【図面の簡単な説明】
【００３９】
本発明およびその付随する利点の多くのより完全な理解は、付属の図面との関連で参酌される以下の詳細な説明を参照することによってよりよく理解されるとともに、容易に得られるであろう。
【図１】Ａは本発明のある実施形態に基づくメタデータ信号伝達のための固定サイズの時間的領域の図解であり、Ｂは本発明のある実施形態に基づくメタデータ信号伝達のための適応サイズの時間的領域の図解である。
【図２】Ａは本発明のある実施形態に基づく等しいサイズの領域の図解であり、Ｂは本発明のある実施形態に基づく適応的に定義された領域の図解であり、Ｃは本発明のある実施形態に基づくさまざまな領域内の部分領域を示す図である。
【図３】本発明のある実施形態に基づくメタデータを埋め込むための開ループ・システムを示す図である。
【図４】本発明のある実施形態に基づくメタデータを埋め込むための閉ループ・システムを示す図である。
【図５】本発明のある実施形態に基づく、主観的または客観的な歪み推定に基づくフィルタ選択プロセスを示す図である。
【図６】本発明のある実施形態に基づく、メタデータ・ベースの後処理器を示す図である。
【図７】本発明のある実施形態に基づく、たとえば誤り隠蔽またはデコーダ簡略化のために使用されうるメタデータ・ベースの適応デコードを示す図である。
【図８】本発明のある実施形態に基づくデコーダを示す図である。
【図９】五の目形のサンプリング技法を示す図である。
【図１０】本発明のある実施形態に基づく、五の目形サンプリングされたデータのための補間器を示す図である。
【図１１】本発明のある実施形態に基づく、画像領域の評価および選択を示すフローチャートである。
【発明を実施するための形態】
【００４０】
本発明者らは、アルゴリズムのパフォーマンスおよび振る舞いは、そのアルゴリズムが適用される画像の領域、ビデオ・シーンまたは他のデータの特性に依存してきわめて異なることがありうることを観察した。具体的には、ビデオの場合、低テクスチャー特性の領域R0について、アルゴリズムA0はアルゴリズムA1よりも、たとえばスケーリングについてよりよく振る舞い、よりよい画質を与えることがありうる一方、異なる領域R1についてはA1のほうがよりよく振る舞い、よりよい画質を与えることがありうる。デコーダは、アルゴリズムA0およびA1が与えられたもとで領域の特性を与えられて、あるいはさらには変換された領域の特性を与えられてどちらのアルゴリズムのパフォーマンスのほうがよいかを決定しようとしてもよいが、このプロセスはあまりに複雑で、実行にあまりに時間がかかることがある。さらに、デコーダは画像／ビデオについての限られた情報しかもたないという事実を考えると、パフォーマンスは常に、利用可能な情報によって制限される。これはそのような方式のパフォーマンスを著しく制限することがある。
【００４１】
さまざまな実施形態において、本発明は、異なる各領域を処理するためにどのアルゴリズム、複数のアルゴリズムまたはアルゴリズム・グループ／クラスを使うべきかを指定することのできる追加的な情報を提供することによって、デコーダまたは後処理器を支援する。これは、各領域について、各アルゴリズムおよびそのパフォーマンスまたは／および特性を、エンコード・プロセスの前に（たとえば前処理器を使って）、エンコード・プロセス中にまたはエンコード・プロセス後に解析および評価し、用途を与えられたもとで各アルゴリズムの振る舞いをレート付けし、適切なアルゴリズムおよび任意の関係したパラメータを選択して信号伝達することによってなされる。
【００４２】
信号伝達はビットストリーム（またはデータ・ストリーム）自身の中でできるし（たとえば、ビットストリーム中に信号またはメタデータを含める）、副情報として（たとえばメタデータ・ファイルまたはストリームとして）信号伝達されることもできる。デコーダでは、各領域についての推奨される処理の情報がデコードされることができ、信号またはメタデータ中で含まれているまたは同定されている選択された適切なアルゴリズム（単数または複数）が、必要な処理（単数または複数）を実行するために使われる。該必要な処理は、あらかじめ決まっていてもよいし、あるいはこれも信号またはメタデータ中で同定されていてもよい。
【００４３】
本発明において、デコーダは、利用されるアルゴリズムに対する制御を維持するよう構成されることができることを注意しておく。たとえば、デコーダまたは後処理器は必ずしも選択されたまたは同定されたアルゴリズムまたはアルゴリズムのクラスを利用する義務がなくてもよく、状況（たとえばある種のアルゴリズムの利用可能性および／または実装するためのコスト）に応じて度外視したり、あるいは類似のアルゴリズムを選択したりすることを選んでもよい。さらに、デコーダまたは後処理器は、推奨されるアルゴリズム、たとえばA0を部分的に「無視」し、代わりに異なるアルゴリズム、たとえばA1を使うことを選んでもよい。A1はA0と類似の属性を有していてもよいが、それほど複雑でないこともありうる。あるいはよりよいパフォーマンスをもつことが知られているのでもよい。A0が利用可能でなかったり、あるいは知られていなかったりすることもあり、その場合、デコーダまたは後処理器は、システムにおいてあらかじめ定義されているデフォルト・アルゴリズム、たとえばADを使うことを望むことがありうる。
【００４４】
〈領域信号伝達（Region  Signaling）〉
前記前処理器および／またはエンコーダ段において、各アルゴリズムまたは各アルゴリズム・クラスが好ましくは信号伝達の前に評価される。評価は領域レベルでできる。ここで、領域とは、ビットストリームの任意の部分であることができる。たとえば、ビデオ・ビットストリームにおいて、前記領域は、シーケンスまたは画像全体、部分シーケンス／ビデオ・シーン、サブサンプリングされたビューを含む立体視用フレーム対または単一のフレーム／ビューまたは画像中の部分領域であってもよい。画像中の部分領域は規則的な（たとえば三角形、長方形など）または不規則／ランダムな形状をもつことができ、いかなるサイズであってもよく（たとえば8×8、32×32、4×64など）、さらには時間的に（たとえば時間的に追跡されているオブジェクト）または空間的に（たとえば3D空間内のオブジェクト）延在することができる。
【００４５】
特に、3Dステレオ送達のための五の目形サンプリングされた市松模様式に多重化されたビデオ・データのシナリオのようなサブサンプリングされて多重化されたデータの場合、領域は、サブサンプリングを使って考えられることもできる。領域は、たとえばユーザーによって、あらかじめ定義されていることもできる。たとえば、シーケンス全体が単一の領域として同定されることができ、あるいは領域がサイズNの固定ピクチャー・グループ（GOP）の場合のようにN個の相続くフレームの集合を指定することもできる。
【００４６】
領域はたとえば、そのセグメントについての信号伝達を決定するための処理に使われる空間領域セグメンテーションを含んでいてもよい。図２のＡに示されるように、M×Kの等サイズ（width／M×height／K）の長方形領域を使うこともできる。ここで、widthおよびheightはそれぞれそのフレームの幅および高さである。ユーザーがある領域に対応するすべての個々のピクセルを、またはさらにはすべての個々のサンプルを（ルーマおよびクロマ・サンプルを分けて）指定してもよい。
【００４７】
他の組み合わせも利用されてもよい。それには、たとえば、立体視対における同じ位置のサンプルやサイズM×K×Nの直方体などを一緒にグループ化することが含まれる。ここで、Nは時間的なサンプルに対応する。領域はまた、適応的に選択され、定義されてもよく、基本的には任意の形状でもよい。図２Ｂに示されるように、適応的に定義された領域A0〜A4が図示されている。さまざまな実施形態において、領域は、シーンの切れ目検出、画像／ビデオ・セグメンテーション、オブジェクト追跡などといった多様なアルゴリズムのうちの一つまたは複数を使って選択されることができる。
【００４８】
セグメンテーションのためのアルゴリズムは、エッジ検出、分水嶺法、ハウスドルフ距離、K平均を使う諸技法を含んでもよく、動き検出／推定および解析をも考えてもよい。動き推定は、多様なアルゴリズムおよびなかでもアフィン、放物型（parabolic）、並進を含むモデルを使って行うことができ、ブロックまたは領域ベースであってもよいし、空間領域で行っても周波数領域で行ってもよい（たとえば位相相関を使って）。
【００４９】
本発明は、そのような領域の決定のための他のアルゴリズムの適用を制約するものではない。諸領域はまた、その明るさおよびクロマ特性、テクスチャーを与えられて、あるいは意味内容情報（semantic  information）およびユーザー対話に基づいて分類されてもよい。任意形状の領域と規則的な形状の領域の組み合わせを使ってもよい。たとえば、領域は固定された時間的長さNをもつことができるが、その空間的な形状はフレーム毎に変わってもよい。
【００５０】
図２のＣに示されるように、領域はさらに部分領域に分離されてもよい。このシナリオでは、システムはまず、特定の処理方法が適用される必要のある一組の一次領域（たとえばビデオ符号化システムにおけるマクロブロックの概念に似たもの）を指定してもよく、一方で、同じ領域が任意的により小さな部分領域に分離されることができ、それらの部分領域については前記処理方法についての異なるパラメータを使うことができる（たとえば同じアルゴリズムだが異なる強さのフィルタまたは異なる閾値）。領域は重なり合ってもよい。その場合、重なり合う領域には複数のアルゴリズムが適用されることができ、次いで組み合わされることができる。組み合わせは、単純な平均を使って処理後に行うことができ、あるいは重み付き平均法に基づくこともできる。重み付けは各領域の中心からのピクセルの距離、アルゴリズムの特性および期待されるパフォーマンスおよび重なり合うピクセルまたは領域の特性に基づくことができる。
【００５１】
領域があらかじめ定義されている場合、その特性（たとえば、形、サイズ、重なりなど）についていかなる情報をエンコードする必要もない。しかしながら、これらがあらかじめ定義されていない場合には、そのような情報がエンコードされ、デコーダにとって利用可能であることが要求される。エンコードは、特に規則的な形状の領域については必ずしも複雑なものではなく、直方体の場合、水平方向（M）、垂直方向（K）および時間方向（N）のセグメントの数のような情報を含むことができる。あるいはエンコードは、領域のベクトルまたはラスタ・ベースの記述を使うような、より複雑なものでもよい。たとえば、すべての領域がコンピュータ・グラフィクス・メタファイル（computer  graphics  metafile）・ファイル・フォーマット（CGM）、スケーラブル・ベクター・グラフィクス（Scalable  Vector  Graphics）（SVG）フォーマット、カプセル化ポストスクリプト（Encapsulated  Postscript）（EPS）またはウィンドウズ・メタファイル（Windows  Metafile）（WMF）または他のベクトル・グラフィクス・フォーマットを使って記述されることができる。同様に、ラスタ・ベースの記述のためには、TIFFまたはBMP、JPEG、JPEG-2000またさらにはH.264/MPEG-4  AVCを使ったビデオ・コーデック表現を使うことができる。これらのシナリオでは、領域を表現するための時間的および空間的両方の予測を使うことができる。可逆的〔損失なし〕および不可逆的〔損失あり〕表現のいずれも考えられる。ここで、損失のある場合、意図せずして異なるアルゴリズムが使われてしまうことがありうる。しかしながら、このプロセスが注意深く行われ、エンコーダにおいて知られているならば、特に任意の処理が逐次的に実行される場合、これはどんな問題も生じないであろう。ベクトル表現およびラスタ表現両方において、表現は高い分解能に保たれることができ、あるいは1×1サンプルまでサブサンプリングされることもできる。
【００５２】
さまざまな実施形態において、画像は、画像に適用される必要のある異なる後処理／補間処理に関係する各表現と関係していてもいなくてもよい複数の領域表現／マップによって特徴付けられ、表現されることができる。たとえば、ある領域表現は空間的なアップサンプリングを指定することができ、第二の領域表現は時間的なアップサンプリング／フレーム・レート変換を指定することができ、その一方、第三の領域表現はブロック解除またはノイズ除去を指定することができる。どのプロセスが最初に実行されるべきかのシーケンスは、ビットストリーム中にそれらの表現が見出される順序に依存してもよいし、あるいはビットストリーム自身の中で追加的なシンタックスを用いて記述されることもできる。たとえば、上記のシナリオで、空間的アップサンプリングをまず実行し、続いて時間的アップサンプリング、その次にブロック解除を実行するよう合図することができる。あるいはブロック解除が最初に実行され、次いで空間的アップサンプリングで、続いて時間的アップサンプリングが実行されるべきであると合図することもできる。
【００５３】
〈解析およびフィルタ選択〉
本発明は、なかでも好ましい／推奨される空間的もしくは時間的アップスケーリングもしくはダウンスケーリング方法およびそのパラメータ、ブロック解除およびノイズ除去を、あるいはさらにはデコード・プロセスにおける提案されている（非規定部分の）単純化および誤り隠蔽を実行するための推奨される方法を信号伝達するよう構成されうる。ある領域について信号伝達されるべき方法およびパラメータは多様な仕方で選択できる。特に、パラメータは固定されることができ（たとえば、シーケンス全体について、あるいは全フレーム中の領域A0について同じ方法M0で、領域A1については方法M1を使用）、定期的に変えられることができ（たとえばNフレーム毎に上例の方法M0が方法M0,Nに切り換えられる）、あるいは信号のある種の属性またはユーザー入力を与えられたもとで適応的であることができる。ある実施形態では、方法は、シーンのテクスチャー、エッジ、明るさ、色および動き特性を与えられて選択される。例として、高度にテクスチャーのある領域では、「より軟らかい」ブロック解除方法およびパラメータが信号伝達されることができる。一方、低テクスチャー領域では、異なる、より積極的なブロック解除器およびパラメータが代わりに伝達されることができる。同様に、縦方向のエッジによって特徴付けられる領域では、垂直方向によりバイアスされた補間方法が信号伝達されることができ、一方、斜めのエッジのある領域では、斜め方向にバイアスのある補間方法が代わりに使用できる。
【００５４】
異なる例では、動きの少ないシーンについては、動き補償される方法が時間的補間のために伝達され、一方、高度な動きについては、フレーム複製またはフレーム・ブレンディングが使用できる。この決定は、該決定に先立って解析プロセスが実行されることを要求する。解析は、テクスチャー解析（たとえば分散ベースまたは周波数解析（frequency  analysis））のような多様な方法で、なかでもアフィン、放物型および並進（たとえばブロック・ベースの）動き推定といった方法を含む動き推定方法および明るさ変化特徴付け（illumination  change  characterization）を使って、実行できる。
【００５５】
代替的な実施形態では、前記決定は、各方法の歪みおよび／または複雑さ解析を使って実行できる。最も低い歪みおよび／または複雑さにつながる方法が、信号伝達されるべき方法として選択されることができる。特に、720pから1080pへの、あるいは水平方向にサンプリングされサイドバイサイドに多重化されたまたは五の目形サンプリングされ市松模様式に多重化された3Dビデオ・データからフル解像度ステレオ対へのような上方変換の例では、領域毎に、すべての利用可能なアップサンプリング・フィルタが試験される。もとの上方変換された信号にできる限りよく似た上方変換領域を与え、任意的に変換のために最低または所望される複雑さを要求するフィルタが信号伝達のために選択される。
【００５６】
歪み／複雑さベースのモデルの構造が図５に示されている。入力源５０５はフォーマット変換５１０、エンコーダ５４０、その後デコーダ５５０を通じて処理される。デコードされたストリームは次いで領域に分割され、各領域は一組のフィルタ５６５（たとえばフィルタ１…Ｎ）に転送される（領域選択５６０）。領域選択５６０は、デコードされたストリームを、あらかじめ決定された領域および／または適応的に決定される領域を含む領域的に分割するための一つまたは複数のアルゴリズムを含んでいてもよい。適応的というのは、領域の輝度、コントラスト、エッジ、動きおよび／またはその他に基づくいかなるものも含む。フィルタリング後、歪みおよび／または複雑さ解析が実行される（５７０）。歪み解析は、同一であっても、各フィルタ種別について調整されていてもよい。フィルタ選択機構５３０は次いで各領域についての歪み／複雑さ解析の結果を評価する。歪み／複雑さ選択基準に基づく最良一致〔ベスト・マッチ〕が、出力ビットストリーム５７５の生成のためにエンコーダ５４０に与えられる。選択された最良一致は、出力ビットストリーム５７５中に入れられるおよび／またはエンコードされるものとして図示されているが、出力ビットストリーム５７５に関係した副情報および／またはメタデータを含め他の機構（図示せず）で与えられてもよい。
【００５７】
選択は、たとえばオリジナルに比べた歪みに基づくことができるが、レート、歪みおよびさらには方法の複雑さに同時に基づくこともできる。その方法のエンコードが圧縮を考えうるとして（たとえば予測およびエントロピー符号化）、レートは、その方法および該方法のパラメータを信号伝達するために必要とされうるビットを含むことができる。同じ信号について、異なるビット数を必要としうる複数の代替的な表現を考えることがありうるので、レートは、実際のビデオ信号のビットを考慮してもよい。
【００５８】
本発明によって指定される異なる複数の方法は、異なる表現について適切であることがある。このシナリオにおいて、エンコーダは最良の表現（レート、歪みおよび複雑さの統合基準を与えられて）だけでなく、最良の後処理方法も同時に両方選択してもよい。歪みは、差分絶対値和（SAD:  Sum  of  Absolute  Differences）、誤差平方和（SSE:  Sum  of  Square  Errors）または主観的評価を含むその他のメトリックを含む多様なメトリックのうちの一つまたは複数に基づいていてもよい。歪みはまた、ブロックノイズ、分散、周波数特性、画像／テクスチャー鮮鋭度、エッジ品質を含む画像の多様な特性を後処理後に測定することに基づくことも、あるいは特定の方法の使用に起因して生成されていることがあるアーチファクトの検出および測定を通じてなどであることもできる。そのような測定は、もとのコンテンツが利用可能でないことがある、あるいは異なる、すなわちより低い分解能またはフォーマットでしか利用可能でないシナリオにおいて非常に有用となることがある。例として、30p信号の60p信号への上方変換を考える（フレーム・レート２倍増）。このシナリオにおいて、時間的アーチファクトの検出は、各フレームまたは領域について信号伝達すべき最良の方法を決定するために非常に有用であることがある。ある実施形態では、本発明は、さまざまな方法によって引き起こされる検出された時間的アーチファクトの量および質の少なくとも一方を、諸方法または方法の諸クラスのうちのどれが信号伝達されるかを選択するために利用する。
【００５９】
最良の方法を選択することは、フル探索アプローチを使って行うことができる。すなわち、オリジナルと比較して、あるいはこのプロセスに適用可能な利用可能な評価メトリックが与えられたもとで、すべての利用可能な処理方法を試験するのである。しかしながら、複雑さを著しく軽減できる高速方法も考えることができる。具体的には、ある領域を処理するためのすべての可能な方法を試験する代わりに、領域の解析を使ってもよく、その特性を与えられたもとで、その領域についての試験のために適切な方法の選択についての指針を提供しうる。たとえば、フレーム・レート変換のために、本発明はまず簡単な動き推定プロセスを実行してもよく、その動き情報を与えられて何らかの時間的（動き補償された）動き適応的な試験をする必要があるかあるいはフレーム・ブレンディングまたはフレーム複製のような基本的方法だけでよいかを決定しうる。動き推定は、向上予測ゾーン探索（EPZS:  Enhanced  Predictive  Zonal  Search）アルゴリズムのようなブロック・ベースの方式から構成されることができるし、あるいは単に単純なフレーム／領域差に依拠することもできる。
【００６０】
図１１は、本発明のある実施形態に基づく画像領域の評価および選択を示すフローチャートである。ステップ１１１０では、画像またはビデオは諸領域にセグメント分割される。領域はあらかじめ決定されているか、本稿に記載される技法のいずれかに基づいて決定される。各領域を逐次反復的に調べるためにループ１１２０が設定され（１１２０）、パラメータが初期化される（ステップ１１３０）。複数のアルゴリズム、方法またはプロセスのそれぞれについて、第二のループが設定される（１１４０）。各領域について、最良のモードまたは結果を決定するために、各アルゴリズム／方法／プロセスが実行される。この例では、距離関数（dist）が計算され（ステップ１１５０）、以前に計算されたdist関数と比較される（ステップ１１６０）。各領域についての最良のアルゴリズムが保存され、その後エンコードのために与えられてもよく、あるいは全領域を通じた最良のアルゴリズムがエンコードのために与えられてもよい（たとえばステップ１１７０および１１９５）。
【００６１】
近隣領域について選択された方法を含む近隣領域の特性が、もし既知であれば、プロセスを高速化するために考慮されることもできる。たとえば、左および上の諸領域が方法A0を選択していれば、この方法が現在の領域についても適切である可能性が非常に高い。したがって、さまざまな実施形態において、本発明は、試験するときの有望な方法の優先順位付け、あるいは歪み閾値の考慮および更新を含む。これは、近隣領域に基づくことができ、このモードまたは方法が現在の領域についても考慮されるべきであるかどうかを試験するために使うことができる。あるいはまた、試験されるべき現在の領域についてのパラメータのわずかに異なるセットを予測するために、既知の領域においてパラメータをシフトさせているパターンが認識され、使われてもよい。
【００６２】
プロセスはまず、A0に類似する他のすべての方法を優先順位付けしてもよい。同様の考察は、複数の近隣領域が異なる処理方法を使っていた場合に行うこともできる。このシナリオでは、近隣領域において使われていたすべての方法が、他の利用可能な方法より可能性が高いものとして考慮されることができる。領域の特性およびこの領域の特性とその近隣との関係も与えられれば、確率は変化することがある。たとえば、領域がテクスチャーが多い領域である場合、やはり同様のテクスチャーをもつ時間的または空間的な隣接領域と、より多くの相関をもつ可能性が高い。近隣領域との類似性（動き、テクスチャー、色など）が高いほど、適用されるべき処理方法も同じであるか、あるいは少なくとも類似しているべきである可能性が高くなる。
【００６３】
ある実施形態では、使用される方法は圧縮された信号のデコード後に適用され、選択は開ループ構造に基づくことができる。たとえば、図３では、もとの信号および各方法がその信号に対してもつことになる効果だけを与えられている。図３の例に示されるように、入力源３０５はフォーマット変換３１０を受ける。そのような変換はたとえば、一対の立体視用画像の水平方向のまたは五の目形のサンプリングならびにサイドバイサイドまたは市松模様式のパッキングであってもよい。変換は、領域的にまたは他の仕方でセグメントに分けられる、あるいは分けられてもよい。領域が選択され（たとえば領域選択３２０）、各領域が順に（または並列的に）一連のフィルタ（または方法、アルゴリズムまたはプロセス）（たとえばフィルタ１…Ｎ）に加えられる。最高の品質、最小のコストまたは両者の所定の組み合わせまたは他の因子のうちの一つをもつフィルタが選択され、エンコーダ３４０に与えられる。ここで、選択は、出力ビットストリーム３４５中にエンコードされた（または置かれた）信号として提供されるか、出力ビットストリーム３４５に関係した副情報（図示せず）として提供される。信号はたとえば、信号をもとの信号（たとえばフル分解能）または他のフォーマットに変換する助けとなる、選択されたフィルタ、該フィルタの識別子またはフィルタのクラスもしくはカテゴリーの識別子を含んでいてもよい。
【００６４】
もう一つの実施形態では、選択は閉ループ構造に基づく（図４参照）。閉ループ構造では、選択は、実際のデコードされた信号を与えられたもとでの、その方法のパフォーマンスに基づく。これは普通、開ループ・システムに比べて改善されたパフォーマンスをもたらす。図４の例に示されるように、入力源４０５がフォーマット変換４１０、エンコーダ４４０、次いでデコーダ４５０を通じて処理される。デコードされたストリームは次いで領域に分割され、各領域は一組のフィルタ４６５（たとえばフィルタ１…Ｎ）に転送される（領域選択４６０）。領域選択４６０は、デコードされたストリームを、あらかじめ決定された領域および／または適応的に決定される領域を含む領域的に分割するための一つまたは複数のアルゴリズムを含んでいてもよい。適応的というのは、領域の輝度、コントラスト、エッジ、動きおよび／またはその他に基づくいかなるものも含む。次いで、フィルタ選択機構が、デコードおよびフィルタリング後の各領域を、もとの入力における対応する領域と比較する。選択基準に基づく最良一致が出力ビットストリーム４５５の生成のためにエンコーダ４４０に与えられる。選択された最良一致は、出力ビットストリーム４５５中に入れられるおよび／またはエンコードされるものとして図示されているが、ここでも、たとえば出力ビットストリーム４５５に関係したメタデータや副情報といった他の機構（図示せず）で与えられてもよい。
【００６５】
信号伝達は、特定のフィルタまたは方法を指定することができるが、フィルタまたは方法のクラス／型を指定することもできる。これは、デコーダまたは後処理器にさらなる柔軟性を与えることができる。たとえば、特定の係数をもつ分離可能なフィルタが画像の上方変換のために使われることを信号伝達する代わりに、システムは、所定の長さで上または下の任意の分離可能なフィルタまたはある分離可能なフィルタが受け容れ可能なパフォーマンスにつながることを指定することができる。すると、デコーダまたは後処理器は、どのフィルタを使うかを、複雑さや利用可能性を与えられて、自由に選べる。
【００６６】
フィルタが利用可能でない場合、デコーダ／後処理器は、信号伝達された方法に最も類似した方法（たとえば、上記の分離可能なフィルタの例については、同じ長さの分離不可能なフィルタ）を選択する、あるいはシステムにおいて指定されている以前に定義されている「デフォルト」フィルタを使うという選択肢を有していてもよい。デコーダ／後処理器はまた、プロセスまたは装置の他の特性を与えられて、その方法を選択する、またはメタデータ情報を完全に無視することができる。具体的には、装置の電力／バッテリー状態を与えられて、システムは、より高いまたはより低い複雑さのアルゴリズムを使うことを選択してもよい。
【００６７】
実は、本発明は、装置の電力または複雑さのフットプリントを与えられて、使用されることのできるメタデータ代替モードをも信号伝達するよう構成されてもよい。たとえば、本発明は、いくつかの（たとえば２つ以上の）代替マップを信号中に埋め込むことを含んでいてもよい。各代替マップは異なる装置（たとえば、高精細度LCD  TVについて一つのマップ、プラズマについて別のマップ、PC、iPodまたはiPhoneについて別のマップ、など）およびバッテリー状態を対象とする。装置は、たとえば該装置を特定するメタデータ中のシグネチャを使って、その対応するマップを検出し、その対応する最適化された処理を実行することができる。エンコード・システムについて、最適化および方法選択プロセスにおいて、すべての装置が考慮される必要があることは明らかである。
【００６８】
図６は、本発明のある実施形態に基づく、メタデータに基づく後処理器の図である。この例では、エンコードされたビットストリーム６０５がデコードされ（デコーダ６５０）、一連のフィルタに与えられ、各フィルタがデコードされたフィルタを処理する。メタデータ抽出器が、フィルタリングされているデコードされたビットストリームの現在の部分について利用されるべき以前に選択されたフィルタを同定し、適切なフィルタからのフィルタリング・プロセスの出力を選択する。他の実施形態では、メタデータ抽出器は、たとえば入力ビットストリーム６０５に関係した副情報データ・ストリームからの同様の情報を与える副情報読み取り器で置き換えられてもよい。適切なフィルタは、メタデータ／副情報によって同定されているフィルタ、あるいは、たとえば、以前に選択されたフィルタの特性に最も近いフィルタである。選択されたフィルタ出力は次いで出力のデコードされフィルタ処理されたビットストリーム６８０を与える。
【００６９】
図７は、本発明のある実施形態に基づく、たとえば誤り隠蔽またはデコーダ単純化のために使用されうるメタデータ・ベースの適応デコードの図である。入力ビットストリーム７０５が一連のデコード機構７２０（たとえばデコーダ１…Ｎ）およびメタデータ抽出器７７０に与えられる。メタデータ抽出器７７０は、以前に選択されたまたは好ましいデコーダを同定する信号を抽出し、その信号が、前記一連のデコード機構７２０から適切な出力を選択するために使われる。以前に選択されたデコーダは、特定のデコーダであっても、デコーダの型であってもよく、出力ビットストリーム７８５のために最終的に選択されるデコーダ出力は、以前に選択されたデコーダ、同じクラスまたは型のデコーダ、等価なデコーダ、一般的デコーダまたはそのデコーダのパフォーマンスを以前に選択されたデコーダによりよく一致するよう変更するよう選択されたパラメータをもって最適化されたデコーダまたはその他であってもよい。
【００７０】
いくつかの用途のためには、画像データの処理、再エンコードおよびトランスコード後にメタデータ情報を保持または変更することが望ましいことがありうる。具体的には、コンテンツがスケール変更され、次いで再エンコードされた場合、メタデータはそのまま保持されることができ、あるいは適用されたスケーリングのみならずエンコードの特性（たとえば量子化パラメータおよび動き推定および補償のパフォーマンス）およびこのプロセスによって導入されるアーチファクトも与えられて、調整されることができる。これは、利用可能な処理方法のパフォーマンスの再評価の複雑さを軽減できる。もとの信号における後処理のために推奨される方法の特性は、後続のデコーダにおいて何らかの追加的な後処理が適用されうるかどうかのみならず、どの型の後処理が適用されうるかについて、二次エンコードにおいてヒントを提供することもできる。
【００７１】
図８は、本発明のある実施形態に基づく例示的なデコーダ８００の図である。デコーダ８００はメタデータ「ヒント」を利用する。デコーダ８００はメタデータ抽出器８１０を含む。メタデータ抽出器８１０は、なかでもたとえばデコード・プロセス（たとえば逆変換処理）、ループ・フィルタ８４０、（視差補償を与える）視差補償器（disparity  compensator）８３０および／または後処理器８５０のようなデコーダ内の複数のプロセスにおいて利用されるメタデータを抽出する。メタデータは、デコーダ８００、ループ・フィルタ８４０、視差補償器８３０および／または後処理器８５０において使うための選択、データおよび／またはパラメータの一つまたは複数を与える。メタデータは上記のプロセスを、そうしても安全（たとえば最小限のドリフトおよび／または品質上の影響を生じる）だと考えられるならば複雑さを減らすよう駆動する。ビットストリーム中に同様にエンコードされた（または副情報において与えられる）メタデータが、デコーダ内の他の任意のプロセスまたはサブプロセスまたは他の外部機能のために利用されてもよい。
【００７２】
図面において例解されている本発明の好ましい実施形態を説明するにあたって、明確のために個別的な用語が用いられている。しかしながら、本発明はそのように選択された個別的な用語に限定されることは意図されておらず、各個別要素は同様の仕方で機能するあらゆる技術的な等価物を含むことを理解しておくものとする。たとえば、デコーダを記述する際、他の任意の等価な装置またはメディア・プレーヤー（たとえばＤＶＤ、ブルーレイ、iPod、コンピュータなど）、チューナー（たとえばＰＡＬ、ＡＴＳＣなど）、セットトップボックス、ディスプレイまたはテレビジョンのようなデコーダを中に有する装置、あるいは等価な機能または能力をもつ他の装置が、本稿において挙げられているか否かによらず、代用されてもよい。さらに、本発明者らは、現在知られていない新たに開発される技術が記述される諸部分の代用とされても本発明の範囲から外れないことがありうるうることを認識している。これに限られないが、装置および処理器（たとえば後処理器）、変換方法、上方変換方法、処理、アルゴリズム、選択機構、アーチファクト同定などを含む他のあらゆる記述される項目も、任意のあらゆる利用可能な等価物に照らして考慮されるべきである。
【００７３】
コンピュータ技術の当業者には明白であろうように、本発明の諸部分は、通常の汎用または特化したデジタル・コンピュータまたはマイクロプロセッサを本開示の教示に従ってプログラムしたものを使って便利に実装されうる。
【００７４】
コンピュータ技術の当業者には明白であろうように、適切なソフトウェア・コーディングは、本開示の教示に基づいて、技量のあるプログラマーによって容易に用意できる。本開示に基づいて当業者には明白であろうように、本発明はまた、特定用途向け集積回路の用意によって、あるいは通常の素子回路の適切な回路網の相互接続によって実装されてもよい。
【００７５】
本発明は、コンピュータに本発明のプロセスの任意のものを実行させるまたは実行するよう制御するために使用できる命令を記憶した記憶媒体（メディア）であるコンピュータ・プログラム・プロダクトを含む。記憶媒体は、これに限られないが、フロッピーディスク、ミニディスク（ＭＤ）、光ディスク、ＤＶＤ、ＨＤ−ＤＶＤ、ブルーレイ、ＣＤ−ＲＯＭ、ＣＤまたはＤＶＤ  ＲＷ＋／−、マイクロドライブおよび光磁気ディスクを含む任意の型のディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリー・デバイス（フラッシュカード、メモリースティックを含む）、磁気もしくは光学式カード、ＳＩＭカード、ＭＥＭＳ、ナノシステム（分子メモリＩＣを含む）、ＲＡＩＤ装置、リモート・データ記憶／アーカイブ／ウェアハウジングまたは命令および／またはデータを記憶するのに好適な任意の型の媒体またはデバイスを含むことができる。
【００７６】
本発明は、コンピュータ可読媒体（メディア）のいずれかに記憶された、汎用／特化されたコンピュータまたはマイクロプロセッサのハードウェアを制御し、該コンピュータまたはマイクロプロセッサに、本発明の結果を利用する人間のユーザーまたは他の機構と対話させるソフトウェアを含む。そのようなソフトウェアは、これに限られないが、デバイス・ドライバ、オペレーティング・システムおよびユーザー・アプリケーションを含みうる。最終的には、そのようなコンピュータ可読媒体はさらに、上記のような本発明を実行するためのソフトウェアを含む。
【００７７】
汎用／特化されたコンピュータまたはマイクロプロセッサのプログラミング（ソフトウェア）には、本発明の教示を実装するためのソフトウェア・モジュールが含まれる。それには、これに限られないが、方法の解析、方法、方法のクラス、方法のカテゴリーの信号伝達、信号の用意および伝送、デコーダまたは後処理器における信号の選択、後処理またはデコード処理の少なくとも一部を実行する信号において同定されるアルゴリズムの実装および本発明のプロセスに基づく結果の表示、記憶または通信（これにはたとえば、後処理されたビデオ信号をディスプレイに送達することが含まれうる）が含まれる。
【００７８】
本発明のさまざまな実施形態は、下記の番号付き例示的実施形態（EEE:  Enumerated  Example  Embodiments）の一つまたは複数に関係しうる。各ＥＥＥは例であり、上記の他の任意の関係した議論と同様、現状におけるまたはのちに補正・置換または追加される請求項を限定するものと解釈すべきではない。同様に、これらの例は関係する特許および／または特許出願（任意の外国または国際的な対応出願および／または特許、分割、継続出願、再発行特許などを含む）のいずれかの請求項に関して限定するものと解釈すべきではない。
【００７９】
番号付き例示的実施形態：
〔ＥＥＥ１〕データ・ストリームに対して利用されるべき処理技法を示す信号を受領する段階を有する方法。
〔ＥＥＥ２〕ＥＥＥ１記載の方法であって、前記処理技法が、分解能変換、処理の複雑さの制御、アーチファクト軽減、誤り訂正、誤り隠蔽、スケーリング、補間、既存の処理ツールの変更および少なくとも一つのツールの有効化もしくは無効化のうちの少なくとも一つを含む、方法。
〔ＥＥＥ３〕ＥＥＥ２記載の方法であって、前記分解能変換が、空間分解能変換および時間分解能変換のうちの少なくとも一方を含む、方法。
〔ＥＥＥ４〕ＥＥＥ２記載の方法であって、スケーリングが、インターレース解除、時間的補間および空間的補間のうちの少なくとも一つを含む、方法。
〔ＥＥＥ５〕ＥＥＥ２記載の方法であって、誤り隠蔽が誤りのある領域の動きの予測を含む、方法。
〔ＥＥＥ６〕ＥＥＥ１記載の方法であって、前記信号がさらに、前記処理技法が適用されるべき空間的範囲および時間的範囲の少なくとも一方を示す、方法。
〔ＥＥＥ７〕ＥＥＥ６記載の方法であって、前記データ・ストリームがビデオ・データ・ストリームであり、前記範囲が、前記処理技法が前記ビデオの全部、前記ビデオの部分、前記ビデオのピクチャーおよび前記ビデオ内の領域のうちの少なくとも一つに適用されるかどうかを含む、方法。
〔ＥＥＥ８〕ＥＥＥ７記載の方法であって、前記ビデオのピクチャーが、前記ビデオのフレームおよび前記ビデオのフィールドのうちの任意のものを含む、方法。
〔ＥＥＥ９〕ＥＥＥ１記載の方法であって、前記データ・ストリームが、少なくとも二つの異なるビューを有するビデオを含み、前記信号がさらに、前記処理技法が前記ビデオの少なくとも一つのフレーム内の少なくとも一つの領域について実行されることを示す、方法。
〔ＥＥＥ１０〕ＥＥＥ９記載の方法であって、前記異なるビューが、立体視用ビュー、二つの異なる画像、２Ｄ画像と奥行き情報、２Ｄシーンの複数のビューおよび３Ｄシーンの複数のビューのうちの少なくとも一つを含む、方法。
〔ＥＥＥ１１〕ＥＥＥ９記載の方法であって、前記少なくとも二つのビューが圧縮され、前記データ・ストリーム中に、単一ビュー・ビデオ・ストリーム対応の標準的な動画フォーマットで多重化される、方法。
〔ＥＥＥ１２〕ＥＥＥ９記載の方法であって、前記ビューの圧縮が、前記ビューのサンプリング、フィルタリングおよび間引きのうちの少なくとも一つを含む、方法。
〔ＥＥＥ１３〕ＥＥＥ９記載の方法であって、前記ビューの圧縮が、水平方向、垂直方向のフィルタリングおよび五の目形のサンプリングのうちの少なくとも一つを含む、方法。
〔ＥＥＥ１４〕ＥＥＥ９記載の方法であって、前記ビューの圧縮がフィルタリングおよびサンプリングの両方を含む、方法。
〔ＥＥＥ１５〕ＥＥＥ１４記載の方法であって、前記サンプリングが、水平方向、垂直方向、五の目形、公式（formula）ベース、パターン・ベースおよび任意のサンプリングのうちの少なくとも一つを含む、方法。
〔ＥＥＥ１６〕ＥＥＥ１４記載の方法であって、前記多重化が、市松模様フォーマット、象限ベースのフォーマット、列フォーマット、行フォーマット、サイドバイサイド・フォーマット、上下フォーマット、パターンに基づくフォーマットおよび代替的なフォーマットのうちの少なくとも一つでなされる、方法。
〔ＥＥＥ１７〕ＥＥＥ１記載の方法であって、前記信号が、画像またはビデオ・シーンの領域に適用されるべきデコード・プロセスの少なくとも一部およびデコード後プロセスの少なくとも一部のうちの少なくとも一方を同定し、前記領域は、同定されたプロセスが効率的に作用する特性をもつものである、方法。
〔ＥＥＥ１８〕ＥＥＥ１７記載の方法であって、前記特性は、その領域のテクスチャー、輪郭、エッジ、コントラスト、ダイナミックレンジおよび明るさのうちの少なくとも一つを含む、方法。
〔ＥＥＥ１９〕ＥＥＥ１記載の方法であって、前記信号は、前記データ・ストリームおよび前記データ・ストリームに関係した副情報のうちの少なくとも一つから受領される、方法。
〔ＥＥＥ２０〕ＥＥＥ１記載の方法であって、前記信号伝達は、固定、任意もしくは可変サイズのいずれかのシーケンス、ピクチャー・グループ（GOP）および領域のうちの少なくとも一つに適用されるべき処理技法を含む、方法。
〔ＥＥＥ２１〕ＥＥＥ２０記載の方法であって、当該方法がさらに、信号伝達された処理技法に基づいて少なくとも一つの処理技法を選択し、選択された処理技法を、シーケンス、GOPおよび領域のうちの少なくとも一つに適用する段階を含む、方法。
〔ＥＥＥ２２〕ＥＥＥ２１記載の方法であって、前記選択する段階が、選択された処理技法を前記シーケンス、ピクチャー・グループ（GOP）および領域のうちの少なくとも一つに適用することによって、前記データ・ストリームをデコードするよう構成されたデコーダによって実行される、方法。
〔ＥＥＥ２３〕ＥＥＥ２１記載の方法であって、前記選択する段階が、前記信号伝達された処理技法とは処理技法のカテゴリーが異なるが前記信号伝達された処理技法に最も近い処理技法を選択することを含む、方法。
〔ＥＥＥ２４〕ＥＥＥ１記載の方法であって、前記処理技法は、一連の処理技法を含む、方法。
〔ＥＥＥ２５〕ＥＥＥ２４記載の方法であって、前記一連の処理技法は、補間プロセス、フィルタリングおよびブロック解除・プロセスのうちの少なくとも一つを含む、方法。
〔ＥＥＥ２６〕ＥＥＥ１記載の方法であって、前記信号伝達は、複数の処理技法のファミリーを信号伝達することを含み、当該方法はさらに、信号伝達されたファミリーから少なくとも一つの処理技法を選択し、選択された技法を、固定、任意もしくは可変サイズのいずれかのシーケンス、ピクチャー・グループ（GOP）および領域のうちの少なくとも一つに適用する段階を含む、方法。
〔ＥＥＥ２７〕ＥＥＥ１記載の方法であって、前記処理技法は、前記データ・ストリームを受領するのに先立って前処理段階を通じて選択されたものである、方法。
〔ＥＥＥ２８〕ＥＥＥ２７記載の方法であって、前記前処理は、媒体記憶または放送のために前記データ・ストリームをマスタリングするのに先立って実行されるスタジオ作業を含む、方法。
〔ＥＥＥ２９〕ＥＥＥ２７記載の方法であって、前記前処理は、前記データ・ストリームの再生からオンザフライで実行される、方法。
〔ＥＥＥ３０〕ＥＥＥ２７記載の方法であって、同様のデータ・ストリームに対する一組の潜在的な処理技法の逐次的な実行と、前記データ・ストリームおよび前記データ・ストリームに関係した副情報の少なくとも一方における、選択された処理技法の識別子の埋め込みとを含む、方法。
〔ＥＥＥ３１〕ＥＥＥ２７記載の方法であって、前記前処理は、前記データ・ストリームによって取り込まれたビデオの再生中にオンザフライで実行される、方法。
〔ＥＥＥ３２〕ＥＥＥ２７記載の方法であって、前記選択された処理技法は、最低コストの処理技法、最高パフォーマンスの処理技法およびコストとパフォーマンスの間の組み合わせもしくはトレードオフのうちの少なくとも一つを含む、方法。
〔ＥＥＥ３３〕ＥＥＥ３２記載の方法であって、コストが複雑さ、面積、電力および価格のうちの少なくとも一つを含む、方法。
〔ＥＥＥ３４〕ＥＥＥ３２記載の方法であって、パフォーマンスが、品質およびスピードの少なくとも一方を含む、方法。
〔ＥＥＥ３５〕ＥＥＥ１記載の方法であって、前記データ・ストリームはエンコードされたビデオ・データ・ストリームを含み、前記信号伝達される処理技法は、前記ビデオ・データ・ストリームのピクチャー、ピクチャー・グループ（GOP）および領域のうちの少なくとも一つについてのデコードおよびデコードの後処理の一方を向上させるために選択されたものである、方法。
〔ＥＥＥ３６〕ＥＥＥ３５記載の方法であって、前記処理技法は、前記ビデオ・データ・ストリームのエンコードの前、該エンコード中、または該エンコード後のうちの少なくとも一つにおいて選択されたものである、方法。
〔ＥＥＥ３７〕ＥＥＥ３５記載の方法であって、前記データ・ストリームは、トランスコードされたエンコードされたビデオ・ストリームを含む、方法。
〔ＥＥＥ３８〕ＥＥＥ３７記載の方法であって、前記処理技法は、前記ビデオ・データ・ストリームのトランスコードの前、該トランスコード中、または該トランスコード後のうちの少なくとも一つにおいて選択されたものである、方法。
〔ＥＥＥ３９〕ＥＥＥ３５記載の方法であって、前記処理技法は、前記ビデオ・データ・ストリームのある領域上で、前記処理技法に関連して使用されるべきパラメータを含み、当該方法はさらに、前記領域の部分領域および異なる領域のうちの少なくとも一方についてパラメータの変化を受領することを含む、方法。
【００８０】
〔ＥＥＥ４０〕エンコードされたビデオからデコードされるべきビデオの少なくとも一部分を改善するための機構を選択する段階であって、選択される機構は、前記エンコードされたビデオのデコードおよびデコード後に前記ビデオに適用される後処理のうちの少なくとも一つを指揮する（direct）よう構成されている、段階と、
選択された機構および該選択された機構の識別子のうちの少なくとも一方を、前記エンコードされたビデオおよび前記エンコードされたビデオの副情報のうちの少なくとも一方に指令（directive）信号としてパッケージングする段階とを含む、
方法。
〔ＥＥＥ４１〕ＥＥＥ４０記載の方法であって、選択される機構は、プロセスおよびプロセスのパラメータのうちの少なくとも一つを含む、方法。
〔ＥＥＥ４２〕ＥＥＥ４０記載の方法であって、前記ビデオの前記部分は、前記ビデオの領域および部分領域のうちの少なくとも一方を含む、方法。
〔ＥＥＥ４３〕ＥＥＥ４０記載の方法であって、前記ビデオの前記部分は、前記ビデオの画像、前記ビデオの画像のシーケンス、前記ビデオの画像の領域、前記ビデオの諸フレームを横断する動的な領域および前記ビデオの任意の部分領域（単数または複数）のうちの少なくとも一つを含む、方法。
〔ＥＥＥ４４〕ＥＥＥ４０記載の方法であって、前記ビデオの前記部分は、一ブロックを含む前記ビデオの領域または部分領域を含む、方法。
〔ＥＥＥ４５〕ＥＥＥ４０記載の方法であって、前記ビデオの前記部分は複数のブロックを含む前記ビデオの領域または部分領域を含む、方法。
〔ＥＥＥ４６〕ＥＥＥ４５記載の方法であって、前記ブロックが非連続的である、方法。
〔ＥＥＥ４７〕ＥＥＥ４５記載の方法であって、前記ブロックは、市松模様の少なくとも一部を含む、方法。
〔ＥＥＥ４８〕ＥＥＥ４０記載の方法であって、前記ビデオの前記部分は、前記ビデオの複数のフレームを横断するビデオ・データ・サンプルの幾何学的な配置を含む、方法。
〔ＥＥＥ４９〕ＥＥＥ４８記載の方法であって、前記幾何学的な配置は、前記ビデオのフレーム間で、サイズおよび形の少なくとも一方において変動する、方法。
〔ＥＥＥ５０〕ＥＥＥ４０記載の方法であって、前記ビデオの前記部分は、ビデオ・データ・サンプルの不規則な配置を含む、方法。
〔ＥＥＥ５１〕ＥＥＥ４０記載の方法であって、前記ビデオの前記部分は、前記ビデオの立体視用シーンの同じ位置にあるサンプルを含む、方法。
〔ＥＥＥ５２〕ＥＥＥ４０記載の方法であって、前記ビデオの前記部分は、Mを幅、Kを高さ、Nを時間的サンプルの数として、M×K×Nからなる直方体を含む、方法。
〔ＥＥＥ５３〕ＥＥＥ４０記載の方法であって、前記ビデオの前記部分は、複数のフレームを横断して追跡されるセグメントおよびオブジェクトの一方を含む、方法。
〔ＥＥＥ５４〕ＥＥＥ４０記載の方法であって、前記ビデオの前記部分は、ユーザー入力、セグメンテーション、オブジェクト追跡、シーンの切れ目検出、エッジ検出、分水嶺（watershed）、ハウスドルフ法（haursdorff  method）、K平均（K-means）、動き検出、動き推定、動き解析および品質評価のうちの少なくとも一つによって決定される、方法。
〔ＥＥＥ５５〕ＥＥＥ４０記載の方法であって、選択する段階およびパッケージングする段階を、前記ビデオの第二の部分について繰り返す段階をさらに含む、方法。
〔ＥＥＥ５６〕ＥＥＥ５５記載の方法であって、前記ビデオの前記部分は規則的な形状の領域を含み、前記ビデオの前記第二の部分は不規則な形状の領域を含む、方法。
〔ＥＥＥ５７〕ＥＥＥ５５記載の方法であって、前記ビデオの前記部分および前記ビデオの前記第二の部分が重なり合う、方法。
〔ＥＥＥ５８〕ＥＥＥ５７記載の方法であって、選択される機構は、前記ビデオの重なりにおいて諸機構によって実行される処理をいかにして平均するかの指示を含む、方法。
〔ＥＥＥ５９〕ＥＥＥ５７記載の方法であって、選択される機構は、前記ビデオの重なりにおいて諸機構をいかにして逐次的に開始するかの指示をも含む、方法。
〔ＥＥＥ６０〕ＥＥＥ５７記載の方法であって、前記ビデオの前記両部分は、あらかじめ定義されており、前記パッケージングは前記両部分を同定する情報を含まない、方法。
〔ＥＥＥ６１〕ＥＥＥ５７記載の方法であって、前記ビデオの前記両部分は、直方体記述、ベクトル・ベースの記述およびラスタ・ベースの記述のうちの少なくとも一つを使って定義される、方法。
〔ＥＥＥ６２〕ＥＥＥ４０記載の方法であって、前記ビデオの前記部分は、ある画像フォーマットを使ってエンコードされたデータで同定される、方法。
〔ＥＥＥ６３〕ＥＥＥ４０記載の方法であって、前記ビデオの前記部分は、CGM、SVG、EPS、WMF、TIFF、BMP、JPEG、JPEG-2000、MPEG-2ならびにH.264およびMPEG4-AVCのうちの少なくとも一つを含むフォーマットを使ってエンコードされたデータで同定される、方法。
〔ＥＥＥ６４〕ＥＥＥ４０記載の方法であって、前記ビデオの前記部分は、プロセス・マップにおいて同定される領域を含む、方法。
〔ＥＥＥ６５〕ＥＥＥ４０記載の方法であって、前記ビデオの前記部分は、画像またはグラフィック・フォーマットの少なくとも一方でマップされた領域を含む、方法。
〔ＥＥＥ６６〕ＥＥＥ４０記載の方法であって、前記指令信号（directive  signal）とともにシーケンス指示をパッケージングする段階を更に含む、方法。
〔ＥＥＥ６７〕ＥＥＥ４０記載の方法であって、前記指令信号は、実行されるべきさまざまなプロセスの好ましい順序を示すシーケンス付けを含む、方法。
〔ＥＥＥ６８〕ＥＥＥ４０記載の方法であって、前記指令信号は、少なくとも部分的に選択された機構によって実行されるべき空間的アップサンプリング、時間的アップサンプリングおよびブロック解除のシーケンス付けを含む、方法。
〔ＥＥＥ６９〕ＥＥＥ４０記載の方法であって、前記ビデオの前記部分は、一連の部分領域に分割された領域を含み、前記選択された機構は、前記部分領域のうちの第一の部分領域に対応する第一のパラメータおよび前記部分領域のうちの第二の部分領域に対応する第二のパラメータを含む、方法。
〔ＥＥＥ７０〕ＥＥＥ４０記載の方法であって、前記機構は、少なくとも部分的に前記機構の複雑さに基づいて選択される、方法。
〔ＥＥＥ７１〕ＥＥＥ４０記載の方法であって、選択される機構は、所与の品質閾値について、最低の複雑さを有するものである、方法。
〔ＥＥＥ７２〕ＥＥＥ４０記載の方法であって：
当該方法が電子的に読み取り可能な媒体上に記憶された一組の命令において具現されており、
前記命令が、処理装置中にロードされたときに、前記処理装置に前記方法の段階を実行させるものである、
方法。
〔ＥＥＥ７３〕ＥＥＥ７２記載の方法であって、前記命令は前記電子的に読み取り可能な媒体上に実行可能プログラムとして記憶されたコンパイル済みコンピュータ命令である、方法。
〔ＥＥＥ７４〕ＥＥＥ４０記載の方法であって、前記方法が電気信号に格納された電子的に読み取り可能な一組の命令において具現されている、方法。
【００８１】
〔ＥＥＥ７５〕後処理装置であって：
デコードされたビデオ・ストリームを受領するよう構成されたビデオ入力と；
前記ビデオ・ストリームの副情報チャネルから指令指示（directive  instruction）を受け容れるおよび前記デコードされたビデオ・ストリームから指令指示を同定するのうちの一方を行うよう構成された指示機構と；
前記指令指示に基づいてデコードされたビデオ・ストリームを後処理するよう構成された後処理器と；
後処理されたビデオ・ストリームを出力するよう構成されたビデオ出力とを有する、
後処理装置。
〔ＥＥＥ７６〕ＥＥＥ７５記載の後処理装置であって、ディスプレイ、セットトップボックスおよびメディア・プレーヤーのうちの少なくとも一つに統合されている、後処理装置。
〔ＥＥＥ７７〕ＥＥＥ７５記載の後処理装置であって、前記指令指示は、前記ビデオ中の少なくとも一つの領域および該領域に適用されるべき少なくとも一つの処理方法の識別情報を含む、後処理装置。
〔ＥＥＥ７８〕ＥＥＥ７７記載の後処理装置であって、前記領域は、諸部分領域を含み、前記指令指示は各部分領域を処理するための処理方法に適用されるべき異なるパラメータを含む、後処理装置。
〔ＥＥＥ７９〕ＥＥＥ７７記載の後処理装置であって、前記指令信号は、異なるテクスチャー品質の領域および各テクスチャー品質についての個別の処理方法を同定する、後処理装置。
〔ＥＥＥ８０〕ＥＥＥ７５記載の後処理装置であって、前記指令信号は、デコードされたビデオ・ストリームに対して複数のフィルタを試験した後に選択されたフィルタ識別情報を含む、後処理装置。
〔ＥＥＥ８１〕ＥＥＥ８０記載の後処理装置であって、前記フィルタ識別情報は、複数のフィルタを含むカテゴリー全体の識別情報を含む、後処理装置。
〔ＥＥＥ８２〕ＥＥＥ８１記載の後処理装置であって、前記後処理器がさらに、前記カテゴリーのフィルタからフィルタを選択し、デコードされたビデオ・ストリームを後処理するために該選択されたフィルタを利用するよう構成されている、後処理装置。
〔ＥＥＥ８３〕ＥＥＥ８２記載の後処理装置であって、前記後処理器はさらに、前記フィルタのカテゴリーの属性に最も近い属性をもつフィルタを選択し、選択されたフィルタを後処理の少なくとも一部として利用するよう構成される、後処理装置。
〔ＥＥＥ８４〕ＥＥＥ８０記載の後処理装置であって、前記後処理器はさらに、前記フィルタ識別情報によって同定されるフィルタに近いまたは該フィルタよりよいのうちの少なくとも一方である属性をもつと知られているフィルタを選択するよう構成される、後処理装置。
〔ＥＥＥ８５〕ＥＥＥ８０記載の後処理装置であって、前記フィルタ識別情報は、歪みおよび複雑さのうちの少なくとも一方に基づいて選択される、後処理装置。
〔ＥＥＥ８６〕ＥＥＥ８４記載の後処理装置であって、歪みが、空間的または時間的に、SAD、SSE、主観的評価、ブロックノイズ度（blockiness）、分散、周波数特性、画像／テクスチャーの鮮鋭さ、エッジ品質およびアーチファクトのうちの少なくとも一つを通じて評価される、後処理装置。
〔ＥＥＥ８７〕ＥＥＥ８０記載の後処理装置であって、試験が開ループ型試験装置において実行される、後処理装置。
〔ＥＥＥ８８〕ＥＥＥ８０記載の後処理装置であって、試験が閉ループ型試験装置において実行される、後処理装置。
〔ＥＥＥ８９〕ＥＥＥ８０記載の後処理装置であって、試験が、前記ビデオの複数の領域について実行される、後処理装置。
〔ＥＥＥ９０〕ＥＥＥ８９記載の後処理装置であって、前記複数の領域は、前記ビデオの時間的領域を含む、後処理装置。
〔ＥＥＥ９１〕ＥＥＥ９０記載の後処理装置であって、前記複数の時間的領域は、変化する形状およびサイズの領域を含む、後処理装置。
〔ＥＥＥ９２〕ＥＥＥ８９記載の後処理装置であって、前記ビデオの領域は、セグメンテーション、オブジェクト追跡、シーンの切れ目検出、エッジ検出、分水嶺（watershed）、ハウスドルフ法（haursdorff  method）、K平均（K-means）、動き検出、動き推定および動き解析のうちの少なくとも一つによって決定される、後処理装置。
〔ＥＥＥ９３〕ＥＥＥ７５記載の後処理装置であって、前記ビデオの前記領域は、CGM、SVG、EPS、WMF、TIFF、BMP、JPEG、JPEG-2000、MPEG-2ならびにH.264およびMPEG4-AVCのうちの少なくとも一つを使って同定される、後処理装置。
【００８２】
〔ＥＥＥ９４〕
デコーダにおいて利用されるべき処理技法、処理技法のカテゴリーおよび一連の処理技法のうちの少なくとも一つを選択し、選択された技法または該選択された技法の識別子をエンコードされたビデオ・ストリームおよび該エンコードされたビデオ・ストリームに関係した副情報のうちの少なくとも一つの中にエンコードするよう構成されたエンコーダと；
エンコードされたビデオ・ストリームを受領し、選択された技法の少なくとも一つを使って前記ビデオ・ストリームをデコードするよう構成されたデコーダとを有する、
システム。
〔ＥＥＥ９５〕ＥＥＥ９４記載のシステムであって、選択された技法が、エンコードされたビデオ・ストリームだけから同定される、システム。
〔ＥＥＥ９６〕ＥＥＥ９４記載のシステムであって、選択された技法が、デコーダによって、関係した副情報およびエンコードされたビデオ・ストリームのうちの少なくとも一方から同定される、システム。
〔ＥＥＥ９７〕ＥＥＥ９４記載のシステムであって、前記技法は、品質、複雑さおよびコストのうちの少なくとも一つに基づいて選択される、システム。
〔ＥＥＥ９８〕ＥＥＥ９４記載のシステムであって、前記デコーダは、選択された処理技法を利用して別の処理技法を選択する、システム。
〔ＥＥＥ９９〕ＥＥＥ９４記載のシステムであって、前記デコーダは、処理技法の目録を維持しており、該目録から、前記エンコーダによって選択された技法（単数または複数）に最も近く一致する処理技法または技法（単数または複数）を選択する、システム。
〔ＥＥＥ１００〕ＥＥＥ９８記載のシステムであって、前記デコーダ選択技法は、複雑さ、コストおよび品質のうちの少なくとも一つに基づいて選択される、システム。
〔ＥＥＥ１０１〕ＥＥＥ９８記載のシステムであって、前記デコーダ選択技法は、少なくとも部分的に、前記デコーダにおいて利用可能な処理電力の量に照らして複雑さに基づいて選択される、システム。
【００８３】
〔ＥＥＥ１０２〕ビデオ・ストリームにおいてまたは前記ビデオ・ストリームに関係した副情報を通じて同定されるデコード・プロセスおよび後プロセスのうちの一つを使って、エンコードされたビデオ・ストリームをデコードするよう構成されたデコーダであって、当該デコーダは、前記ビデオ・ストリームおよび前記デコードされたビデオ・ストリームの少なくとも一方の追加的解析を実行して前記デコード・プロセスまたは後プロセスを支援するよう構成されている、デコーダ。
〔ＥＥＥ１０３〕ＥＥＥ１０２記載のデコーダであって、前記追加的解析は、前記エンコードされたビデオ・ストリームまたは副情報中にエンコードされた情報を利用する、デコーダ。
〔ＥＥＥ１０４〕ＥＥＥ１０２記載のデコーダであって、前記追加的解析は少なくとも部分的に、前記エンコードされたビデオ・ストリームまたは副情報中にエンコードされた情報によって指揮される、デコーダ。
〔ＥＥＥ１０５〕ＥＥＥ１０２記載のデコーダであって、前記追加的解析は、前記ビデオ・ストリーム中にエンコードされたまたは副情報中において提供される情報の洗練を含む、デコーダ。
〔ＥＥＥ１０６〕ＥＥＥ１０５記載のデコーダであって、前記洗練がより低いコストを含む、デコーダ。
【００８４】
〔ＥＥＥ１０７〕ＥＥＥ７５記載の後処理装置であって、デコードされたビデオ・ストリームおよびデコード前のビデオ・ストリームの少なくとも一方を解析し、その解析に基づいて、デコード・プロセスまたは後処理器のうちの少なくとも一方の少なくとも一部を指揮するよう構成された後プロセス解析器をさらに有する、後処理装置。
〔ＥＥＥ１０８〕ＥＥＥ１０７記載の後処理装置であって、前記解析器は、前記ビデオ・ストリームまたは前記ビデオ・ストリームに関係した副情報中に含まれる情報に基づいて指揮される、後処理装置。
【００８５】
〔ＥＥＥ１０９〕ＥＥＥ４０記載の方法であって、デコード中におよび／またはデコード後の前記ビデオ・データの後処理中に、前記デコーダおよび後処理器のうちの少なくとも一方によって実行されるべき追加的解析のための指令指示をパッケージングする段階をさらに含む、方法。
【００８６】
〔ＥＥＥ１１０〕
ダウンサンプリングされた多重化されたビューを含むエンコードされたビデオ・データ・ストリームに対して利用されるべき処理技法を示す信号を受領する段階と；
受領された信号と整合する、前記エンコードされたビデオ・ストリームのデコードおよび後処理のうちの少なくとも一方を実行する段階と；
前記エンコードされたビデオ・ストリームおよびデコード／後処理されたビデオ・ストリームの少なくとも一方のさらなる解析を実行し、その解析に基づいて、デコードの改善、後処理の改善および第二の後処理の実行のうちの少なくとも一つを実行する段階とを含む、
方法。
〔ＥＥＥ１１１〕ＥＥＥ１１０記載の方法であって、ＥＥＥ２ないし３９のうちいずれか一項記載の段階のうちのいずれかの段階をさらに含む、方法。
〔ＥＥＥ１１２〕ＥＥＥ１１０記載の方法であって、さらなる解析を実行する段階が、示された処理技法の洗練を含む、方法。
〔ＥＥＥ１１３〕ＥＥＥ１１２記載の方法であって、当該方法が、メディア・プレーヤー、セットトップボックス、変換器ボックスおよび表示装置のうちの少なくとも一つによって実行される、方法。
【００８７】
本発明は、本稿に記載される要素（本発明のさまざまな部分または特徴）およびその等価物のうちの任意のものを好適に含んでいてもよく、それらから構成されていてもよく、あるいは本質的にそれらから構成されていてもよい。さらに、本稿で例示的に開示された本発明は、本稿において個別的に開示されていてもいなくても、何らかの要素がなくても実施されうる。明らかに、上記の教示に照らして本発明の数多くの修正および変形が可能である。したがって、付属の請求項の範囲内で、本発明は、本稿で個別的に記述された以外の仕方で実施されてもよい。
【図１Ａ】
0005562408.tif 000002
【図１Ｂ】
0005562408.tif 000003
【図２Ａ】
0005562408.tif 000004
【図２Ｂ】
0005562408.tif 000005
【図２Ｃ】
0005562408.tif 000006
【図３】
0005562408.tif 000007
【図４】
0005562408.tif 000008
【図５】
0005562408.tif 000009
【図６】
0005562408.tif 000010
【図７】
0005562408.tif 000011
【図８】
0005562408.tif 000012
【図９】
0005562408.tif 000013
【図１０】
0005562408.tif 000014
【図１１】
0005562408.tif 000015