(57)【要約】  符号化されているビデオデータを復号するときのエラー耐性を向上させるためのインターモードの最適な選択を提供する。インターモード選択のための符号器から復号器までのエンド・ツー・エンド歪みコストが、残余エネルギーおよび量子化エラーに基づいて決定される。この残余エネルギーおよび量子化エラーに基づく歪みコスト関数と、最適なラグランジュパラメータとを使用して、最大のエラー耐性が得られるような符号化時の最適なインターモードが選択される。最適なラグランジュパラメータは、パケット損失レートによって決定される倍率を用いてエラーフリーのラグランジュパラメータに比例するように設定することができる。
2010539750.tif 000002
【特許請求の範囲】
【請求項１】
画像シーケンスを表す画像フレームデータのカレントフレームデータを受け取るステップと、
前記画像フレームデータのフレーム間で決定される時間的依存関係に基づいたブロックベースのインターフレーム予測のための動きベクトルを用いて、インターモードに従って前記カレントフレームデータを符号化する際に、前記インターモードの選択を最適化するステップと
を含む、インターモードでビデオデータを符号化する方法。
【請求項２】
前記最適化するステップは、前記カレントフレームデータの符号化に関連するエンド・ツー・エンド歪みコストを決定するステップを含むものである、請求項１に記載の方法。
【請求項３】
前記最適化するステップは、前記カレントフレームデータの符号化に関連する残余エネルギーを決定するステップを含むものである、請求項２に記載の方法。
【請求項４】
前記最適化するステップは、前記カレントフレームデータの符号化に関連する量子化エラーを決定するステップを含むものである、請求項２に記載の方法。
【請求項５】
前記最適化するステップは、前記カレントフレームデータの符号化に関連する量子化エラーを決定するステップを含むものである、請求項３に記載の方法。
【請求項６】
前記最適化するステップは、最適なラグランジュパラメータを決定するステップを含むものである、請求項１に記載の方法。
【請求項７】
前記最適化するステップは、符号器から復号器までの予想されるパケット損失レートの関数として前記最適なラグランジュパラメータを決定するステップを含むものである、請求項６に記載の方法。
【請求項８】
前記最適化するステップは、前記パケット損失レートによって定まる倍率を用いて、エラーフリーのラグランジュパラメータの関数として前記最適なラグランジュパラメータを決定するステップを含むものである、請求項７に記載の方法。
【請求項９】
前記最適化するステップは、Ｈ．２６４ビデオ符号化規格により定められている前記インターモードの選択を最適化するステップを含むものである、請求項１に記載の方法。
【請求項１０】
前記符号化は、前記最適化するステップによって選択されたインターモードに従って前記画像フレームデータのＰフレームを符号化することを含むものである、請求項９に記載の方法。
【請求項１１】
請求項１に記載の方法を実行させるコンピュータ実行可能な命令を有するコンピュータ可読媒体。
【請求項１２】
ビデオデータの複数のフレームを記憶する少なくとも１つのデータストアと、
少なくともエンド・ツー・エンド歪みと少なくとも１つのチャネル条件とに基づいてレート歪みコスト関数を最小化することにより、符号化すべき予測フレームのそれぞれに対して、ビデオ圧縮規格のインター符号化処理に最適なインターモードを選択する符号化コンポーネントと
を備えており、ビデオ符号化規格は、前記複数のフレームのフレーム間の時間的相関から導かれる少なくとも１つの動きベクトルに基づいて前記インター符号化処理を実行する少なくとも１つのインター符号化モジュールと、前記複数のフレームのフレーム間の空間的相関に基づいて符号化を行うイントラ符号化モジュールとを含むものである、ビデオデータを符号化するビデオ符号化コンピュータシステム。
【請求項１３】
前記符号化コンポーネントは、符号化されるフレームについての符号器から復号器までの予想されるパケット損失レートの関数として決定される最適なラグランジュパラメータに基づいて前記最適なインターモードを決定するものである、請求項１２に記載のビデオ符号化システム。
【請求項１４】
前記符号化コンポーネントは、符号化されるフレームに関連する残余エネルギーおよび量子化エラーに基づいてエンド・ツー・エンド歪みの量を決定するものである、請求項１２に記載のビデオ符号化システム。
【請求項１５】
前記符号化コンポーネントは、Ｈ．２６４高度ビデオ符号化規格に従って前記ビデオデータの複数のフレームを符号化するＨ．２６４符号器を有するものである、請求項１２に記載のビデオ符号化システム。
【請求項１６】
前記符号化コンポーネントは、エンド・ツー・エンド歪みおよびパケット損失レートに基づいてレート歪みコスト関数を最小化するものである、請求項１２に記載のビデオ符号化システム。
【請求項１７】
画像を含むビデオデータを記憶するメモリと、
受け取った命令に応じて、前記ビデオデータを処理し、Ｈ．２６４符号化規格に従って前記ビデオデータにより表される前記画像を符号化する少なくとも１つのグラフィックス処理ユニット（ＧＰＵ）であって、前記命令を受け取ったことに応じて、前記画像のうちのカレント画像に関連する少なくとも残余エネルギーおよび量子化歪みに基づき、前記カレント画像を符号化するための最適なインターモードを選択して、前記最適なインターモードに基づいて前記カレント画像を符号化するグラフィックス処理ユニット（ＧＰＵ）と
を備えたグラフィックス処理装置。
【請求項１８】
前記少なくとも１つのＧＰＵは、前記画像を符号化した画像をＨ．２６４復号器に伝送するための伝送チャネルに関連するチャネル条件に基づいて、前記カレント画像を符号化するための前記最適なインターモードを選択するものである、請求項１７に記載のグラフィックス処理装置。
【請求項１９】
前記少なくとも１つのＧＰＵは、前記画像を符号化した画像をＨ．２６４復号器に伝送するための伝送チャネルに関連するパケット損失レートに基づいて、前記カレント画像を符号化するための前記最適なインターモードを選択するものである、請求項１８に記載のグラフィックス処理装置。
【請求項２０】
前記少なくとも１つのＧＰＵは、前記残余エネルギーおよび量子化歪みに基づいてエンド・ツー・エンド歪みコストを決定するものである、請求項１８に記載のグラフィックス処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、エラーに対する耐性を向上させるためのビデオ符号化におけるインターモード選択のレート歪み最適化に関する。
【背景技術】
【０００２】
特定の符号化方式、データ圧縮、あるいはソース符号化を使用することは、一般に、符号化されていない表現が使用するビット数よりも少ないビット数を用いて情報を符号化するというプロセスである。あらゆる通信についていえることだが、圧縮データの通信は、情報の送信側と受信側の両方がその符号化方式を認識して初めて機能する。例として、符号化データまたは圧縮データは、その復号の方法も受信側に通知されているか、または受信側がすでに知っている場合に限り理解される。
【０００３】
圧縮が有益なのは、ハードディスク空間や伝送帯域幅といった高価なリソースの消費を低減できるからである。その反面、圧縮データを表示させる際には圧縮を解除しなければならず、このような追加的な処理がアプリケーションによっては不利なものともなり得る。例えば、ビデオの圧縮方式は、そのビデオを圧縮解除（decompress）しながら表示させるのに十分な速さ、すなわちリアルタイムでビデオを圧縮解除するための高価なハードウェアを必要とする可能性がある。例えば、時間的制約のあるアプリケーションでは、時間が非常に重要であるために、見る前にビデオを完全に圧縮解除することがきわめて困難であるか、または少なくとも不都合である場合もあり、あるいはシンクライアントでは、圧縮解除したビデオの記憶容量によっては、前もって完全に圧縮解除することが不可能である場合もある。また、圧縮データは信号品質の損失ももたらす。したがって、データ圧縮方式の設計は、圧縮の程度と、損失のある圧縮方式を使用した場合にもたらされる歪みの量と、データを圧縮及び圧縮解除するのに必要な計算リソースとを含む様々な要因間でのトレードオフを伴う。
【０００４】
ＩＳＯ／ＩＥＣとＩＴＵ−Ｔの両標準化機構によって共同開発され、バージョン管理されているＨ．２６４、別名「Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  （ＡＶＣ）ａｎｄ  ＭＰＥＧ−４、Ｐａｒｔ  １０（高度ビデオ符号化（ＡＶＣ）およびＭＰＥＧ−４規格、第１０部）」は、ディジタル記憶媒体、テレビ放送、インターネットストリーミング、リアルタイムオーディオヴィジュアル通信といった様々なアプリケーションのためのより高度な動画圧縮がますます求められていることを考慮して設計された標準的なビデオ符号化規格である。また、Ｈ．２６４は、符号化されたビデオ表現を、多種多様なネットワーク環境にあわせて柔軟に使用することができるように設計されている。さらに、Ｈ．２６４は、広範囲の用途、ビットレート、解像度、品質、サービスにおいて使用されるという意味で汎用的であるように設計されている。
【０００５】
Ｈ．２６４を使用すれば、動画をコンピュータデータとして処理し、様々な記憶媒体に記憶し、既存及び将来のネットワークを介して送受信し、既存及び将来の放送チャネル上で配信することが可能になる。Ｈ．２６４を策定する過程では、多種多様なアプリケーションおよび必要なあらゆるアルゴリズム要素の要件が、異なるアプリケーション間のビデオデータのやり取りを円滑に行うことのできる単一の構文に統合されている。
【０００６】
別の背景では、この構文で指定される符号化表現は、画像品質の最小限の劣化、すなわち最小限の歪みを伴う高圧縮を可能とするように設計されている。このアルゴリズムは通常、損失がないというわけではない。というのは、通常、符号化プロセスおよび復号プロセスを経て正確な元のサンプル値が保たれることはないからである。しかし、効率の高い圧縮を実現するために使用することのできる、関連する復号プロセスを伴ういくつかの構文的特徴が定義され、個々の選択領域を損失なく送ることができる。
【０００７】
以前の符号化規格であるＭＰＥＧ２およびＨ．２６３と比べて、新しいビデオ符号化規格であるＨ．２６４／ＡＶＣは、豊富な一連の符号化モードを使用するといった高機能な特徴を持つため、広範囲のビットレートにわたってより優れた符号化効率を有する。しかし、Ｈ．２６４／ＡＶＣによって生成されるビットストリームは、予測符号化および可変長符号化に起因して、伝送エラーを生じやすいことが知られている。これに関しては、１パケットの損失または１ビットのエラーでさえも、ビデオのスライス全体の復号が不可能となり、結果としてその受信したビデオシーケンスの視覚品質の重大な劣化をもたらす可能性がある。
【０００８】
このような伝送エラーによる視覚品質の劣化を低減するために提案されている従来のシステムは、データ分割を伴う。データ分割では、異なる種類のシンボルが別々のパケットに分離され、動きベクトルなどのより重要なシンボルをより高い優先度で送る。その場合、データ優先度により、動きベクトルを復号器が正常に受け取ると仮定することが合理的なものとなる。その場合、復号器では、動き補償フレームを使用して損失フレームを隠蔽することができる。
【０００９】
従来からのレート歪み最適化ベースのモード判定アルゴリズムの１つは、ＲＯＰＥ（ｒｅｃｕｒｓｉｖｅ  ｏｐｔｉｍａｌ  ｐｅｒ−ｐｉｘｅｌ  ｅｓｔｉｍａｔｉｏｎ：再帰的最適画素単位推定）である。ＲＯＰＥは、再現画素値の第１次および第２次のモーメントを追跡することによって、予想されるサンプル歪みを推定する働きを持つ。しかし、ＲＯＰＥは、近似エラーの影響を非常に受けやすく、事実上、サブ画素動き推定といった様々な画素平均化処理を行うときには、精度を維持することが困難である。Ｈ．２６４基準のソフトウェアで採用された、エラーに関してロバストなレート歪み最適化法も提案されている。この方法では、異なるエラーパターンを用いてマクロブロック（ＭＢ（ｍａｃｒｏ  ｂｌｏｃｋ））をＫ回にわたって復号し、それらを平均することによって歪みを計算する。だが、この方法は明らかに複雑過ぎる。複雑さを緩和するため、伝搬エラーを計算するのに役立つ歪みマップが提案されている。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかし、これらの従来のモード判定のシステムおよび方法は、主に、どのようにして最適なイントラリフレッシュ位置を選択すべきかに注目したものであるところ、従来のモード判定システムには、インターモードの選択、すなわち、エラー耐性を向上させるために、符号器においてＰフレームについての最適なインターモードをいかに生成すべきかに注目したものはない。
【００１１】
したがって、符号器で行われるインターモード判定を最適化する、ビデオデータの最適な符号化方法が求められている。前述のビデオ符号化の従来技術の欠陥は、単に、従来の技術のいくつかの問題の概観を示そうとするものにすぎず、網羅することを意図したものではない。従来技術の他の問題および本発明の対応する利点は、以下に示す本発明の様々かつ非限定的な実施形態の説明を考察すればさらに明らかになる。
【課題を解決するための手段】
【００１２】
符号化されたビデオデータを復号するときのエラー耐性を向上させるためのインターモードの最適な選択を提供する。インターモード選択のための符号器から復号器までのエンド・ツー・エンドの歪みのコストが、残余（residue）エネルギーおよび量子化エラーに基づいて決定される。残余エネルギーおよび量子化エラーに基づくコスト関数と、最適なラグランジュ（Ｌａｇｒａｎｇｉａｎ）パラメータを使用して、本発明では、最大のエラー耐性を得るために符号化時に使用する最適なインターモードを選択する。１つの非限定的な実施形態では、最適なラグランジュパラメータは、パケット損失レートによって決定される倍率を用いてエラーフリーのラグランジュパラメータに比例するように設定される。
【００１３】
本明細書では、以下に示すより詳細な説明および添付の図面における例示的かつ非限定的な実施形態の様々な態様の基本的な、または一般的な理解の助けとするための簡略化した概要を示す。しかし、この概要は、広範囲にわたる、または網羅的な概説を意図したものではない。この概要の唯一の目的は、本発明の様々な例示的かつ非限定的な実施形態に関連するいくつかの概念を、以下のより詳細な説明の前段として簡略化した形で提示することである。
【００１４】
本発明によるインターモードを選択する最適なビデオ符号化について、添付の図面を参照してさらに説明する。
【図面の簡単な説明】
【００１５】
【図１】本発明の様々な実施形態の動作のためのビデオデータのビデオ符号化及び復号化システムを示すブロック図の一例である。
【図２】本発明によるビデオ符号化規格のインターモードに従って原画像シーケンスから動き補償再現画像集合にもたらされるエラーの例を示す図である。
【図３】本発明によるビデオ符号化プロセスに従うインターモードの最適な選択を一般的に示すフローチャートである。
【図４】本発明によるビデオ符号化プロセスに最適なインターモードの例示的かつ非限定的な決定を示すフローチャートである。
【図５Ａ】本発明の実施形態によるエンド・ツー・エンド歪みコストの例示的かつ非限定的な決定を示すフローチャートである。
【図５Ｂ】本発明の実施形態によるラグランジュパラメータの例示的かつ非限定的な決定を示すフローチャートである。
【図６Ａ】データパケット損失レート２０％の場合について、従来の方法と本発明の方法との、ビットレートに対するピーク信号対雑音比を比較した図である。
【図６Ｂ】データパケット損失レート４０％の場合について、従来の方法と本発明の方法との、ビットレートに対するピーク信号対雑音比を比較した図である。
【図７】図７Ａ、図７Ｂ、図７Ｃは、パケット損失レート２０％における、従来のシステムに優る本発明の有効性を示す一連の視覚的な比較を示した図である。
【図８】図８Ａ、図８Ｂ、図８Ｃは、パケット損失レート４０％における、従来のシステムに優る本発明の有効性を示す一連の視覚的な比較を示した図である。
【図９】本発明の最適化に従って符号化されたビデオを復号するＨ．２６４復号プロセスに関する補足的な図である。
【図１０】本発明が実施される例示的かつ非限定的なコンピューティングシステムまたは動作環境を表すブロック図である。
【図１１】本発明の実施形態によるサービスに適したネットワーク環境の概観を示す図である。
【発明を実施するための形態】
【００１６】
［概説］
背景技術の欄で論じたように、Ｈ．２６４ビデオ符号化といったビデオ符号化に適用される従来のモード判定アルゴリズムは、インターモード、およびイントラモードとインターモードとの最適な切換えではなく、イントラモードの選択を最適化することを中心とするものである。しかし、従来のシステムには、イントラモードを考慮せずに、Ｈ．２６４符号器のＰフレームなどについての符号器における最適なインターモードの生成に注目しているものはない。より具体的には、パケット損失レートなどの既存のチャネル条件に関する情報または統計的仮定を用い、動き補償フレームを使用して復号器において損失フレームを隠蔽するものであり、従来のあらゆるシステムは、これまで、エラー耐性を向上させるための最適なインターモードをどのように生成すべきかに対処していない。
【００１７】
したがって、イントラモード選択を中心とする従来のシステムと比較すると、本発明によれば、Ｈ．２６４のためのインターモードが、エラー耐性を向上させるのに最適となるように選択される。前述のように、データ分割を使用すれば、動きベクトルが復号器において正しく受信されると仮定することが合理的なものとなる。復号器において動きベクトルにアクセスできるということは、損失フレームを隠蔽するための動き補償フレームを生成することができることを意味する。よって、この枠組みで、本発明は、再現される動き補償フレームに対するエラーの影響を最小限に抑えるために、符号器においてＰフレームに最適なインターモードを生成する。
【００１８】
本発明の方法が適用できる符号化及び復号システムを図１に概略的に示している。圧縮されるべき元のビデオデータ１００は、ビデオ符号器１１０に入力される。このビデオ符号器１１０は、少なくともインターモード符号化コンポーネント１１２と、任意選択的ではあるがイントラモード符号化コンポーネント１１４とを含む複数の符号化モードを有している。しかし、本発明は、イントラモード符号化コンポーネントの選択または使用に注目するものではない。
【００１９】
より大きな意味では、符号化アルゴリズムは、通常、各画像の様々なブロック状領域について、インター符号化（パスａ）をいつ使用すべきか、およびイントラ符号化（パスｂ）をいつ使用すべきかを定める。インター符号化では、ブロックベースのインター予測のための動きベクトルを使用して、異なる画像間の時間的かつ統計的な依存関係を利用する。イントラ符号化では、様々な空間的予測モードを使用して、単一画像内の元の信号における空間的かつ統計的な依存関係を利用する。つまり、従来の方法はイントラ符号化判定を最適化することを中心とするところ、本発明は、インター・モード・コンポーネント１１２によって行われるインターモード判定に関する。
【００２０】
また、ビデオデータ１００には、インターモード符号器１１２が処理する前に追加的なステップ（データをスライスおよびマクロブロックに分割するなど）が適用される。また、符号器１１２が処理した後にも、別のステップ（さらなる変換または圧縮など）が適用される。しかし、インターモード符号化の結果として、Ｈ．２６４のＰフレーム１１６が生成される。本発明によれば、パケット損失レートなどのチャネル条件１１８と、ビデオデータの動きベクトル１２４が復号器１２０によって正常に受信されているという仮定とに基づき、本発明は、ビデオデータ１００が符号化される際にそのインターモードを最適に生成することによって、Ｐフレーム１１６の符号化のエラー耐性を向上させる。その結果、動きベクトル１２４に基づいてビデオ復号器１２０が生成する再現された動き補償フレーム１２２は、準最適な従来の方法と比べて、優れた視覚品質を示すものとなる。
【００２１】
図２に概略的に示しているように、Ｉ１，Ｉ２，・・・，Ｉｋなどの一組の元の画像２００を符号化すると、量子化、平均化などによるエラーなどの、損失を伴う符号化自体によってもたらされるエラー２１２、あるいは復号器に到達しないビットなどの伝送エラー２１４といった、ｅ１，ｅ２，・・・，ｅｎなどの様々なエラー２１０が発生する。本発明では、動きベクトル２２０は高い優先度で符号器に送られ、よって、現時点で復号されるフレームにおけるデータ損失を隠蔽して再現画像２３０を形成するのに役立つと仮定する。
【００２２】
より具体的には、本発明によれば、一般に、予想されるエンド・ツー・エンド歪みは、３つの点、すなわち、残余エネルギーと、量子化エラーと、伝搬エラーとによって決定されるものとされる。しかし、前述のように、コンテキストが、インターモード及びイントラモードの切換えではなく、エラー耐性を向上させるためのビデオ符号化のインターモード判定だけに限定されるときには、エンド・ツー・エンド歪みを決定するには最初の２点だけで十分である。すなわち、インターモードを選択する最適な方法は伝搬エラーに依存しない。本発明では、パケット損失レートによって決定される倍率を用いて、エラーフリーのラグランジュパラメータに比例する最適なラグランジュパラメータを適用する。本発明によれば、残余エネルギーおよび量子化エラーに基づくコスト関数と、最適なラグランジュパラメータとを用いて、最大のエラー耐性が得られるように符号化時に使用すべき最適なインターモードを選択する。
【００２３】
以下で、本発明のインターモード選択のシステムおよびプロセスの様々な実施形態および基本的なコンセプトをさらに詳細に説明する。
【００２４】
［最適なインターモード選択］
前述のように、本発明の実施形態によれば、Ｈ．２６４ビデオ符号化規格のエラー耐性を向上させるためのレート歪み最適化インターモード判定の方法が提案される。図３のフローチャートに概略的に示しているように、ステップ３００において、ビデオデータのフレームシーケンスにあるビデオデータのカレントフレームを受け取る。ステップ３１０において、Ｈ．２６４ビデオ符号化規格によるカレントフレームを符号化するのに最適なインターモードが選択される。次いで、ステップ３２０で、最適なインターモードの選択に基づき、Ｈ．２６４規格に基づいてカレントフレームが符号化される。これに関しては、情報源の符号化の歪みではなく予想されるエンド・ツー・エンド歪みが決定され、最適なラグランジュパラメータがもたらされる。
【００２５】
図４は、本発明による、Ｈ．２６４ビデオ符号化といったビデオ符号化規格に最適なインターモードを決定するプロセスの例を示している。ステップ４００で、符号化されるフレームシーケンス内のカレントフレームの符号化に関連するエンド・ツー・エンド歪みコストが決定される。次いで、ステップ４１０において最適なラグランジュパラメータが決定される。ステップ４００で決定された歪みコストと、ステップ４１０で決定された最適なラグランジュパラメータとに基づいて、ステップ４２０でＨ．２６４符号化に最適なインターモードを選択することが有利である。
【００２６】
動きベクトルが高い優先度で送信され、それゆえ復号器において正しく受け取られるという仮定に基づき、予想されるエンド・ツー・エンド歪み関数は、３つの点、すなわち以前のフレームにおける残余エネルギーと、量子化エラーと、伝搬エラーとによって生成される。しかし、本発明はインターモード判定を対象とするため、最初の２点だけで十分である。これに関しては、残余エネルギーおよび量子化エラーに基づく歪み関数と、対応する最適なラグランジュパラメータとを用いて、本発明による符号化プロセスのエラー耐性を向上させる最適化されたインターモード選択が行われる。
【００２７】
図５Ａは、本発明による、ビデオを符号化するのに最適なインターモードを選択することと関連してエンド・ツー・エンド歪みコストを決定する例示的かつ非限定的なフローチャートである。ステップ５００で、カレントフレームデータの符号化に関連する残余エネルギーが決定される。ステップ５１０で、カレントフレームの符号化に関連する量子化エラーが決定される。次いで、ステップ５００で決定された残余エネルギーと、ステップ５１０で決定された量子化エラーとの関数として、エンド・ツー・エンド歪みコストをステップ５２０で計算する。
【００２８】
図５Ｂは、本明細書で説明するレート歪み最適化のための最適なラグランジュパラメータを決定するための例示的かつ非限定的なフローチャートである。ステップ５３０で、伝送エラーのない条件下で生じるとされるラグランジュパラメータが計算される。次いで、ステップ５４０で、この「エラーフリー」のラグランジュパラメータが、符号器から復号器までの予想されるチャネル条件に基づいた倍率で変倍（scale）される。ステップ５５０で、最適なラグランジュパラメータが、パケット損失レートなどのチャネル条件に基づいて変倍されたエラーフリーのラグランジュパラメータに設定される。
【００２９】
本発明の符号化のためのインターモードを選択することと関連して決定される、予想されるエンド・ツー・エンド歪みに関して、まず、以下の説明のためにいくつかの表記を定義する。本明細書において、ｆｉは第ｉ番目の元のフレームであり、
【数１】
2010539750.tif 000003
は、第（ｉ−１）番目のエラーフリーの再現されたフレームであり、
【数２】
2010539750.tif 000004
は、パケット損失により損なわれる可能性のある、復号器における実際の第（ｉ−１）番目の再現フレームである。ある予測符号化については、以下の式１が成り立つ。
【数３】
2010539750.tif 000005
【００３０】
ただし、ｅｉは第ｉ番目のフレームの残余（residue）であり、
【数４】
2010539750.tif 000006
は、第（ｉ−１）番目のフレームにおける伝搬エラーである。
【００３１】
前述のように、データ分割を使用することにより、動きベクトルは復号器において正しく受信されると仮定することができる。よって、カレントフレームが失われている場合には、カレントフレームの残余、すなわち、動きベクトルから構築される動き補償フレームによって表されない元の信号の一部だけが失われている。したがって、常に、正しく受け取られた動きベクトルを使用して損失フレームを隠蔽することができる。よって、この表記によれば、カレントフレームを再現したバージョン、すなわち
【数５】
2010539750.tif 000007
を以下のように表すことができる。
【数６】
2010539750.tif 000008
【００３２】
ただし、
【数７】
2010539750.tif 000009
および
【数８】
2010539750.tif 000010
は、カレントフレームが失われたときのカレントフレームの再現バージョンと、正しく受け取られたときのカレントフレームの再現バージョンをそれぞれ表す。また、
【数９】
2010539750.tif 000011
はカレントフレームの量子化された残余である。
【００３３】
式１から式４を組み合わせると、カレントフレームの元の値と復号器における再現値との差を以下の式５および式６として表すことができる。
【数１０】
2010539750.tif 000012
【００３４】
ただし、ｅｉｌｏｓｓおよびｅｉｌｏｓｓｌｅｓｓは、カレントフレームが失われたとき及び正しく受け取られたときのそれぞれの残余、すなわち動き補償フレームと元のフレームの差を表している。
【００３５】
式５および式６によれば、予想される平均二乗誤差として示されるｅｉｌｏｓｓおよびｅｉｌｏｓｓｌｅｓｓの再現歪みは、それぞれ、式７および式８として導き出される。
【数１１】
2010539750.tif 000013
【００３６】
残余ｅｉおよび量子化残余
【数１２】
2010539750.tif 000014
が、いずれも以前のフレーム
【数１３】
2010539750.tif 000015
における伝搬エラーと相関関係を持たず、残余Ｅｅｉと量子化残余
【数１４】
2010539750.tif 000016
の平均がいずれもゼロに等しいものと仮定すると、以下の式９および式１０が成り立つ。
【数１５】
2010539750.tif 000017
【００３７】
式７から式１０を組み合わせ、パケット損失レートをｐとすると、以下の式１１に示すように、予想されるエンド・ツー・エンド歪みが決定される。
【数１６】
2010539750.tif 000018
【００３８】
ただし、Ｄｒ＝Ｅｅｉ２は残余エネルギーであり、
【数１７】
2010539750.tif 000019
は量子化歪みであり、
【数１８】
2010539750.tif 000020
は以前のフレームにおける伝搬歪みである。
【００３９】
［レート歪み最適化インターモード判定］
以上のような基礎を定義すると、インターモード判定のための別のコンテキストによって、Ｈ．２６４ビデオ符号化規格は、４×４から１６×１６まで変化する豊富な一連のインター符号化モードを可能とする。これに関しては、各マクロブロック、すなわちＭＢごとに、以下のラグランジュ式を最小化することによって、最適なインターモードが選択される。
【数１９】
2010539750.tif 000021
【００４０】
λ０はビットレートと関連付けられるラグランジュ乗数であり、一般には、ビットレートＲは以下のような歪みＤの関数であると仮定される。
【数２０】
2010539750.tif 000022
【００４１】
したがって、エラーフリーのチャネルでは、以下の式１４に示すように、Ｄｑに対する微分を取ることにより、ラグランジュパラメータを生成することができる。
【数２１】
2010539750.tif 000023
【００４２】
よって、エラーを生じやすいチャネルでは、式１５へ展開される以下のラグランジュ式を最小にすることが望ましい。
【数２２】
2010539750.tif 000024
【００４３】
本発明はインターモード判定と関連するものであるため、以前のフレームにおける伝搬歪みＤｐは、インターモードと無関係であると仮定することができる。したがって、ＤｒおよびＤｑだけがインターモード判定に影響を及ぼし、式１５は以下の式１６に変形される。
【数２３】
2010539750.tif 000025
【００４４】
式１６から明らかなように、Ｊは、Ｄｒにおいて単調に増加し、Ｄｑに対して凸である目的関数である。したがって、Ｄｒが固定されているとき、この式は、以下のように、Ｄｑに対して最小化することができる。
【数２４】
2010539750.tif 000026
【００４５】
次に、式１６を以下のように書き換えることができる。
【数２５】
2010539750.tif 000027
【００４６】
したがって、様々な非限定的な実施形態において、式１８で表されるコスト関数を最小化することにより、最適なインターモードが選択される。よって、残余エネルギー、量子化歪み、パケット損失レートはすべて、最適なインターモードの選択に影響を及ぼすことがわかる。
【００４７】
本発明は主にインターモード選択を中心に扱うものであるため、インターモードとイントラモードの切換えを中心とする他の方法との、同一条件での直接的な比較は不可能である。しかし、同一の損失条件をシミュレートすることによって、本発明をＨ．２６４のエラーフリー符号器と比較することができる。前述したように、また式１６で示したように、インターモード選択に注目するときには、伝搬歪みではなく、残余エネルギー（隠蔽歪み）がモード選択の要因となる。また、残余エネルギー（隠蔽歪み）がモード選択と無関係であると仮定できる場合には、この目的関数は、Ｈ．２６４のエラーフリー符号器の目的関数に復帰（return）または帰着（reduce）することも認められる。
【００４８】
非限定的な例として、「ｆｏｒｅｍａｎ」と呼ばれる例示的なビデオシーケンスについて試験した。この試験シーケンスが、まず、Ｈ．２６４のエラーフリー符号器を使用して符号化され、また、提案の方法による符号化も行なわれた。次いで、同じエラーパターンファイルを使用してチャネル特性をシミュレートし、同じ隠蔽方法を取る、すなわち、動き補償フレームを使用して損失フレームを隠蔽することによって、復号器において異なる再現ビデオが生成される。この例では、最初のフレームがＩフレームとして符号化され、続く各フレームがＰフレームとして符号化される。本発明はインターモード選択に適用するため、Ｐフレームにはイントラモードが使用されない。ピーク信号対雑音比（ＰＳＮＲ（ｐｅａｋ  ｓｉｇｎａｌ  ｔｏ  ｎｏｉｓｅ  ｒａｔｉｏ））が、元のビデオシーケンスと比較することによって計算される。次いで、２０％と４０％のパケット損失レートで試験が行なわれた。
【００４９】
図６Ａは、本発明を使用した場合と比較して、従来のＨ．２６４の技法を使用した場合の、２０％のパケット損失レートでの画像シーケンス「Ｆｏｒｅｍａｎ（ＱＣＩＦ）」の代表的な性能を示す。曲線６００ａは本発明の性能についてのＰＳＮＲ対ビットレートを表している。これを、Ｈ．２６４のエラーフリー復号器の性能についてのＰＳＮＲ対ビットレートを表す曲線６１０ａと比較している。
【００５０】
同様に、図６Ｂは、本発明の最適なインターモードを使用した場合と比較して、従来のＨ．２６４の技法を使用した場合の、４０％のパケット損失レートでの画像シーケンス「Ｆｏｒｅｍａｎ（ＱＣＩＦ）」の代表的な性能を示している。曲線６００ｂは、本発明の性能についてのＰＳＮＲ対ビットレートを表している。これを、Ｈ．２６４のエラーフリー復号器の性能についてのＰＳＮＲ対ビットレートを表す曲線６１０ｂと比較している。
【００５１】
つまり、図６Ａと図６Ｂは、それぞれ、提案するアルゴリズムとＨ．２６４のエラーフリー符号器とのビットレート対ＰＳＮＲ曲線の比較を示している。各曲線を見ると、損失レートが異なる場合でも、本発明の性能がＨ．２６４のエラーフリー符号器よりはるかに優れていることがわかる。これに関しては、平均すると、同じビットレートでは、本発明は、Ｈ．２６４のエラーフリー符号器と比べて１ｄＢを上回る利得を提供し、これにより本発明の有効性がわかる。また、本発明では、パケット損失レートが増大すると、本発明の性能利得が、さらに得られ、すなわち増加することも確認できる。これは理にかなっている。というのは、式１８などの上記各式が示すように、パケット損失レートｐが増大すると、残余エネルギーの項
【数２６】
2010539750.tif 000028
の果たす役割がより大きくなるからである。
【００５２】
また、再現されたビデオの視覚品質も、２０％のパケット損失レートにおける図７Ａから図７Ｃまでの画像の比較と、４０％のパケット損失レートにおける図８Ａから図８Ｃまでの画像の比較とによって確かめることができる。例えば、図７Ａおよび図８Ａは、「ｆｏｒｅｍａｎ」サンプルビデオの２つの元のフレームを表している。図７Ｂおよび図８Ｂは、本発明の最適なインターモード選択の技法を適用した２つの元のフレームを再現したフレームを表している。さらに、図７Ｃおよび図８Ｃは、それぞれ、図７Ｂおよび図８Ｂとの簡単な目視による比較のために、Ｈ．２６４のエラーフリー符号器によって生成された結果を示している。これに関して、簡単な目視検査により、本発明によって再現されたフレームの品質が、Ｈ．２６４のエラーフリー符号器によって生成されたフレームの品質よりはるかに優れていることがわかる。例えば、本発明では「汚い」アーチファクトがより少ないことがわかる。
【００５３】
前述したように、本発明の様々な非限定的な実施形態では、レート歪み最適化インターモード判定アルゴリズムを使用して、Ｈ．２６４ビデオ符号化規格のエラー耐性を向上させる。動きベクトルは復号器において常に受信できるという仮定に基づき、予想されるエンド・ツー・エンド歪みが、３つの点、すなわち以前のフレームにおける残余エネルギー、量子化歪み、伝搬歪みによって決定され、これらの最初の２つがインターモード選択に適用される。最適なインターモード選択に注目して、予想されるエンド・ツー・エンド歪みが決定され、これを使用してＰフレームを符号化するのに最適なインターモードが選択される。このような歪み関数および対応する最適なラグランジュパラメータを用いると、視覚的にも、数学的にもエラー耐性の向上を証明する結果となる。一つの非限定的な実施形態では、最適なラグランジュパラメータは、パケット損失レートによって決定される倍率を用いてエラーフリーのラグランジュパラメータに比例するように設定される。
【００５４】
［Ｈ．２６４ビデオ符号化のための補足的なコンテキスト］
以下の説明では、Ｈ．２６４規格の補足的背景についてのさらなる詳細、またはこの規格に関する追加のコンテキストを説明する。しかし、誤解を避けるためにいうと、明記しない限り、これらの追加的な詳細は、前述の本発明の様々な非限定的な実施形態を限定するものであるとも、添付の本発明の概念および範囲を定める特許請求の範囲を限定するものであるともみなすべきではない。
【００５５】
Ｈ．２６４／ＡＶＣは、現在広く使用されているビデオ符号化規格である。この規格の目標には、圧縮効率の向上、ビデオ電話技術などの対話型アプリケーションのためと、放送用途、記憶媒体用途などといった非対話型アプリケーションのためのネットワークと親和性の高いビデオ表現が含まれる。Ｈ．２６４／ＡＶＣは、以前の規格と比べて、広範囲のビットレートおよびビデオ解像度にわたり、最大５０％までの圧縮効率の利得を提供する。以前の規格と比べると、復号器の計算量はおおよそ、ＭＰＥＧ−２の約４倍であり、ＭＰＥＧ−４ビジュアル・シンプル・プロファイル（ｖｉｓｕａｌ  ｓｉｍｐｌｅ  ｐｒｏｆｉｌｅ）の２倍である。
【００５６】
従来のビデオ符号化規格に対して、Ｈ．２６４／ＡＶＣは、以下の非限定的な特徴を導入するものである。ブロック化アーチファクトを低減するために、予測ループにおいて適応ループフィルタを使用してブロック化アーチファクトを低減することができる。補足として触れたように、空間的冗長性を利用するイントラ予測と呼ばれる予測方式を使用することができる。この方式では、以前に処理されたマクロブロックからのデータを使用して、現在の符号化フレーム内の現在のマクロブロックのためのデータが予測される。以前のビデオ符号化規格は、８×８の画像データブロックにおける空間的冗長性を利用するために、８×８実離散コサイン変換（ＤＣＴ）を使用する。Ｈ．２６４／ＡＶＣでは、変換に伴うリンギングアーチファクト（ringing artifact）を大幅に低減する、より小さい４×４整数ＤＣＴが使用される。
【００５７】
また、インターモードでは、動き補償予測を行うために、１６×１６から４×４までの様々なブロックサイズが許容される。以前のビデオ符号化規格では、動き推定に最大で半画素の精度を使用した。また、Ｈ．２６４のインター予測モードは、ブロックベースの動き補償予測のための複数の基準フレームも許容する。また、コンテキスト適応可変長符号化（ＣＡＶＬＣ（ｃｏｎｔｅｘｔ−ａｄａｐｔｉｖｅ  ｖａｒｉａｂｌｅ  ｌｅｎｇｔｈ  ｃｏｄｉｎｇ））およびコンテキスト適応２値算術符号化（ＣＡＢＡＣ（ｃｏｎｔｅｘｔ−ａｄａｐｔｉｖｅ  ｂｉｎａｒｙ  ａｒｉｔｈｍｅｔｉｃ  ｃｏｄｉｎｇ））を、エントロピー符号化及び復号に使用することもでき、これにより圧縮は、以前の方式と比べて１０％改善される。
【００５８】
求められる符号化アルゴリズムは、各画像のブロック形状領域について、インター符号化、イントラ符号化を選択する。前述のように、最適なインターモードを設定する本発明の様々な実施形態と関連して、インター符号化では、ブロックベースのインター予測のための動きベクトルを使用して、異なる画像間の時間的かつ統計的な依存関係を利用する。（本発明の対象ではない）イントラ符号化では、様々な空間的予測モードを使用して、単一の画像内の原信号における空間的かつ統計的な依存関係を利用する。動きベクトルおよびイントラ予測モードは、画像内の様々なブロックサイズについて指定できる。
【００５９】
次いで、イントラ予測またはインター予測の後に残る残余信号が、各変換ブロック内の空間的相関を除去するための変換を使用してさらに圧縮される。次いで、変換されたブロックが量子化される。量子化は、典型的には、あまり重要でない視覚情報を破棄すると同時に、情報源のサンプルの近似を形成する不可逆なプロセスである。最後に、動きベクトルまたはイントラ予測モードは、量子化変換係数の情報と組み合わされて、コンテキスト適応可変長符号またはコンテキスト適応算術符号化を使用して符号化される。
【００６０】
繰り返すが、この説明は、Ｈ．２６４に関する補足的コンテキストを一般に示すためのものであり、よって、本明細書で示すあらゆる特徴は、特に明記しない限り、単に任意選択なものであるにすぎないものとみなすべきである。圧縮されたＨ．２６４ビット・ストリーム・データは、スライスごとに利用可能であるが、スライスは、普通、ラスタ走査順に処理されるマクロブロックのグループである。Ｈ．２６４のベースラインプロファイルでは２種類のスライスがサポートされている。Ｉスライスでは、すべてのマクロブロックがイントラモードで符号化される。Ｐスライスでは、基準フレームの集合の中の１つの基準フレームを用いた動き補償予測を使用して予測されるマクロブロックもあり、イントラモードで符号化されるマクロブロックもある。Ｈ．２６４復号器は、マクロブロックごとにデータを処理する。あらゆるマクロブロックが、その特性に応じて、マクロブロックの予測部分と、ＣＡＶＬＣを使用して符号化される残余（エラー）部分９５５によって構築される。
【００６１】
図９は、元となるＨ．２６４ビットストリーム９００を復号する、例示的で非限定的なＨ．２６４ベースラインプロファイルビデオ復号器を示している。Ｈ．２６４ビットストリーム９００は、各スライスに関する情報を抽出する「スライスヘッダ構文解析」ブロック９０５を通過する。Ｈ．２６４ビデオ符号化では、各マクロブロックが符号化対象またはスキップ対象として分類される。９６５でマクロブロックがスキップされる場合、そのマクロブロックは、インター予測モジュール９２０を使用して完全に再現される。この場合、残余情報はゼロである。マクロブロックが符号化される場合、予測モードに基づき、そのマクロブロックは「イントラ４×４予測」ブロック９２５か、「イントラ１６×１６予測」ブロック９３０か、「インター予測」ブロック９２０を通過する。出力されたマクロブロックは、予測モジュールから出力された予測と、「変倍および変換」モジュール９５０から出力された残余とを使用して９３５で再現される。フレーム内のすべてのマクロブロックが再現された後で、フレーム全体に非ブロック化フィルタ９４０が適用される。
【００６２】
「マクロブロック構文解析モジュール」９１０は、予測の種類、マクロブロック内の符号化されたブロックの数、分割の種類、動きベクトルなどといった、マクロブロックに関連する情報を構文解析する。「サブ・マクロ・ブロック」構文解析モジュール９１５は、マクロブロックが、インター・マクロ・ブロックとして符号化されるときに、８×８、８×４、４×８、４×４のうちの１つのサイズのサブ・マクロ・ブロックに分割されている場合に情報を構文解析する。マクロブロックがサブ・マクロ・ブロックに分割されていない場合には、３種類の予測のいずれか（イントラ１６×１６、イントラ４×４、インター）を使用することができる。
【００６３】
インター予測モジュール９２０では、すでに復号されている以前のフレームから、動き補償予測ブロックが予測される。
【００６４】
イントラ予測とは、あるマクロブロックのサンプルが、同じ画像のすでに送信されたマクロブロックを使用して予測されることを意味する。Ｈ．２６４／ＡＶＣでは、マクロブロックの輝度成分を符号化するのに２種類の異なるイントラ予測モードが用意されている。第１のモードをＩＮＴＲＡ＿４×４モードといい、第２のモードをＩＮＴＲＡ＿１６×１６モードという。ＩＮＴＲＡ４×４予測モードでは、サイズ１６×１６の各マクロブロックがサイズ４×４の小ブロックに分割され、利用可能な９つの予測モードのうちの１つを使用して、サブブロックごとに個別に予測が実行される。ＩＮＴＲＡ＿１６×１６予測モードでは、予測は、利用可能な４つの予測モードのうちの１つを使用してマクロブロックレベルで実行される。マクロブロックの色度（chrominance）成分のイントラ予測は、輝度成分のＩＮＴＲＡ＿１６×１６予測と同様である。
【００６５】
Ｈ．２６４／ＡＶＣベースラインプロファイルビデオ復号器は、ＣＡＶＬＣエントロピー符号化を使用して、符号化された量子化残差変換係数を復号することができる。ＣＡＶＬＣモジュール９４５では、非ゼロ量子化変換係数の数、実際のサイズ、各係数の位置が別々に復号される。これらのパラメータを復号するのに使用されるテーブルは、以前に復号された構文要素により適応的に変更される。復号の後、各係数は逆ジグザグ走査され、４×４ブロックを形成し、これらは変倍および逆変換モジュール９５０に提供される。
【００６６】
変倍および逆変換モジュール９５０では、復号された係数に対する逆量子化および逆変換が行われ、逆予測に適する残余データを形成する。Ｈ．２６４規格では３種類の異なる変換が使用される。第１の変換は４×４逆整数離散コサイン変換（ＤＣＴ）であり、輝度ブロックと色度ブロックの両方の残余ブロックを形成するのに使用される。第２の変換は４×４逆アダマール（Ｈａｄａｍａｒｄ）変換であり、ＩＮＴＲＡ＿１６×１６マクロブロックの１６輝度ブロックのＤＣ係数を形成するのに使用される。第３の変換は２×２逆アダマール変換であり、色度ブロックのＤＣ係数を形成するのに使用される。
【００６７】
４×４ブロック変換および動き補償予測は、復号画像におけるブロック化アーチファクトの原因となり得る。Ｈ．２６４規格は、通常、ループ内で非ブロック化フィルタ９４０を適用してブロック化アーチファクトを除去する。
【００６８】
［コンピュータネットワークおよび環境の一例］
当業者は、本発明が、任意の種類のデータストアに接続された、コンピュータネットワークの一部として配備されるか、または分散コンピューティング環境における、任意のコンピュータまたは他のクライアントもしくはサーバ機器と関連させて実施できることを理解されたい。これに関して、本発明は、本発明に従って実行される最適化のアルゴリズムおよびプロセスと関連させて使用される、任意の数のメモリまたは記憶ユニット、ならびに任意の数の記憶ユニットまたはボリュームにまたがって実行される任意の数のアプリケーションおよびプロセスを有する、任意のコンピュータシステムまたは環境に関連するものである。本発明は、リモートまたはローカルの記憶を有する、ネットワーク環境または分散コンピューティング環境に配備されたサーバコンピュータおよびクライアントコンピュータを備えた環境に適用できる。また、本発明は、リモートまたはローカルのサービスおよびプロセスと関連する情報を生成し、受信及び送信するための、プログラミング言語機能、解析、実行の機能を有する独立型コンピューティング機器にも適用できる。
【００６９】
分散コンピューティングは、コンピューティング機器およびシステムの間でのやり取りにより、コンピュータリソースおよびサービスの共用を可能にする。これらのリソースおよびサービスは、情報の交換、ファイルなどのオブジェクトのためのキャッシュ記憶およびディスク記憶を含む。分散コンピューティングは、ネットワーク接続を利用し、各クライアントがその集合体としての能力を活用して企業全体を利することを可能にする。これに関しては、様々な機器が、本発明の最適化のアルゴリズムおよびプロセスが関与し得るアプリケーション、オブジェクトまたはリソースを有していてもよい。
【００７０】
図１０は、ネットワーク接続または分散コンピューティング環境の一例を示している。この分散コンピューティング環境は、コンピューティングオブジェクト１０１０ａ、１０１０ｂなどと、コンピューティングオブジェクトまたは機器１０２０ａ、１０２０ｂ、１０２０ｃ、１０２０ｄ、１０２０ｅなどを備えている。これらのオブジェクトは、プログラム、メソッド、データストア、プログラマブル論理などを備えていてもよい。各オブジェクトは、ＰＤＡ、オーディオ・ビデオ機器、ＭＰ３プレーヤ、パーソナルコンピュータなどといった、同じ機器または異なる機器の部分を備えていてもよい。各オブジェクトは、通信ネットワーク１０４０によって別のオブジェクトと通信することができる。このネットワーク自体が、図１０のシステムにサービスを提供する他のコンピューティングオブジェクトおよびコンピューティング機器を備えていてもよく、複数の相互接続されたネットワークを表していてもよい。本発明の一態様によれば、各オブジェクト１０１０ａ、１０１０ｂなど、または１０２０ａ、１０２０ｂ、１０２０ｃ、１０２０ｄ、１０２０ｅなどは、本発明による設計の枠組みと共に使用するのに適した、ＡＰＩを利用し得るアプリケーション、あるいは他のオブジェクト、ソフトウェア、ファームウェアおよび／またはハードウェアを含んでいてもよい。
【００７１】
また、１０２０ｃといったオブジェクトが、別のコンピューティング機器１０１０ａ、１０１０ｂなど、または１０２０ａ、１０２０ｂ、１０２０ｃ、１０２０ｄ、１０２０ｅなどによりホストされ得ることも理解できる。よって、図示した物理的な環境は接続された機器をコンピュータとして示すものであるが、このような図示は単なる例示にすぎず、代替として、ＰＤＡ、テレビ、ＭＰ３プレーヤなどといった様々なディジタル機器を備えた物理的な環境が図示されて、または説明されてもよく、これらの機器はいずれも、様々な有線または無線のサービス、インターフェースなどのソフトウェアオブジェクト、ＣＯＭオブジェクトなどを用いることができる。
【００７２】
分散コンピューティング環境をサポートするシステム、コンポーネント、およびネットワーク構成には様々なものがある。例えば、コンピューティングシステムは、有線または無線システムによっても、ローカルネットワークまたは広域分散ネットワークによっても接続され得る。現在、ネットワークの多くはインターネットに結合され、インターネットは、広域分散コンピューティングのためのインフラストラクチャを提供し、多くの異なるネットワークを包含する。本発明による最適化のアルゴリズムおよびプロセスに付随して行われる例示的通信にはいずれのインフラストラクチャが使用されてもよい。
【００７３】
家庭内ネットワーク環境においては、電力線、データ（無線と有線の両方）、音声（電話など）、娯楽媒体といった、それぞれ特有のプロトコルをサポートし得る少なくとも４つの異なるネットワークトランスポート媒体がある。電灯のスイッチや家電製品といった大部分の家庭用制御機器は、接続に電力線を使用することができる。データサービスは、（ＤＳＬやケーブルモデムなどの）ブロードバンドとして家庭に引き込むことができ、無線（ＨｏｍｅＲＦや１００２．１１Ｂなど）接続または有線（Ｈｏｍｅ  ＰＮＡ、Ｃａｔ５、イーサネット（登録商標）、場合によっては電力線など）接続を使用して家庭内でアクセスすることができる。音声トラフィックは、有線（Ｃａｔ３など）または無線（携帯電話など）として家庭に引き込むことができ、Ｃａｔ３配線を使用して家庭内で配信される。娯楽媒体、または他のグラフィックデータは、衛星またはケーブルを介して家庭に引き込むことができ、通常は、同軸ケーブルを使用して家庭内で配信される。また、ＩＥＥＥ１３９４およびＤＶＩも、メディア機器のクラスタのためのディジタル相互接続である。これらのネットワーク環境、およびプロトコル規格としてこれから出現し得る、またはすでに使用されている他のネットワーク環境はすべて、相互接続されて、インターネットなどの広域ネットワークによって外部に接続されるイントラネットなどのネットワークを形成する。手短にいうと、データの記憶および伝送のための多種多様な情報源が存在し、したがって、本発明のコンピューティング機器はいずれも、任意の既存のやり方でデータを共用し、やり取りすることができ、本明細書の各実施形態で示すどの方式もこれを限定するものではない。
【００７４】
インターネットは、一般に、コンピュータネットワーキング分野では周知の、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）プロトコルスイートを利用するネットワークおよびゲートウェイの集合体を指す。インターネットは、ユーザがネットワークを介して情報を交換し、共用することを可能にするネットワーキングプロトコルを実行するコンピュータによって相互接続された、地理的に分散されたリモート・コンピュータ・ネットワークのシステムとして説明することができる。そのような情報共用が普及したために、インターネットのようなリモートネットワークは、これまでは一般に、開発者らが、基本的には無制限に、専用の操作またはサービスを実行するソフトウェアアプリケーションを設計するのに用いることのできる開放型システムへと発展してきた。
【００７５】
よって、ネットワークインフラストラクチャは、クライアント・サーバ型、ピア・ツー・ピア型、ハイブリッドアーキテクチャといった、多数のネットワークトポロジを可能にする。「クライアント」は、それが関連付けられていない別のクラスまたはグループのサービスを使用するクラスまたはグループのメンバである。よって、コンピューティングにおいては、クライアントは、別のプログラムによって提供されるサービスを要求するプロセス、すなわち、大まかにいうと命令またはタスクの集合である。クライアントプロセスは、その他のプログラムまたはサービス自体に関する動作の詳細を全く「理解する」必要もなく、要求したサービスを利用する。クライアント・サーバアーキテクチャ、特に、ネットワーク接続されたシステムにおいては、クライアントは、通常、サーバなどの別のコンピュータによって提供される共用ネットワークリソースにアクセスするコンピュータである。例えば図１０の例において、コンピュータ１０２０ａ、１０２０ｂ、１０２０ｃ、１０２０ｄ、１０２０ｅなどはクライアントとみなすことができ、コンピュータ１０１０ａ、１０１０ｂなどはサーバとみなすことができる。その場合、サーバ１０１０ａ、１０１０ｂなどは、後でクライアントコンピュータ１０２０ａ、１０２０ｂ、１０２０ｃ、１０２０ｄ、１０２０ｅなどに複製されるデータを保持するが、いずれのコンピュータも、状況に応じて、クライアントとも、サーバとも、それら両方ともみなすことができる。これらのコンピューティング機器のいずれが、本発明による最適化のアルゴリズムおよびプロセスが関与し得るデータを処理し、またはサービスもしくはタスクを要求することになってもよい。
【００７６】
サーバは、典型的には、インターネットや無線ネットワークインフラストラクチャといった、リモートまたはローカルのネットワークを介してアクセス可能なリモート・コンピュータ・システムである。クライアントプロセスが第１のコンピュータシステムにおいて動作し、サーバプロセスが第２のコンピュータシステムにおいて動作し、通信媒体を介して相互にやり取りして、分散された機能を提供し、複数のクライアントがサーバの情報収集機能を利用することを可能にする。本発明の最適化のアルゴリズムおよびプロセスに従って利用されるソフトウェアオブジェクトはいずれも、複数のコンピューティング機器またはオブジェクトにまたがって分散される。
【００７７】
クライアントとサーバは、プロセス層によって提供される機能を利用して相互にやり取りする。例えば、ハイパーテキスト転送プロトコル（ＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ））は、ワールド・ワイド・ウェブ（ＷＷＷ（Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ））、すなわち「ウェブ（Ｗｅｂ）」と関連して使用される一般的なプロトコルである。通常は、インターネットプロトコル（ＩＰ）アドレスといったコンピュータ・ネットワーク・アドレスや、ユニバーサル・リソース・ロケータ（ＵＲＬ（Ｕｎｉｖｅｒｓａｌ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ））といった他のリファレンスを使用して、サーバまたはクライアントコンピュータを相互に識別し合うことができる。ネットワークアドレスをＵＲＬアドレスと呼ぶことができる。通信は通信媒体を介して提供することができ、例えば、クライアントとサーバが、高容量通信のためにＴＣＰ／ＩＰ接続によって相互に接続される。
【００７８】
よって、図１０は、本発明が用いられ得る、ネットワークまたはバスを介してクライアントコンピュータと通信するサーバを備えた、ネットワーク環境または分散環境の一例を示している。より詳細には、いくつかのサーバ１０１０ａ、１０１０ｂなどが、ＬＡＮ、ＷＡＮ、イントラネット、ＧＳＭネットワーク、インターネットなどとすることのできる通信ネットワークまたはバス１０４０を介して、本発明による、携帯型コンピュータ、ハンドヘルド型コンピュータ、シンクライアント、ネットワーク接続できる家電製品、あるいはＶＣＲ、テレビ、オーブン、照明、暖房器具などの機器といったいくつかのクライアントまたはリモートコンピューティング機器１０２０ａ、１０２０ｂ、１０２０ｃ、１０２０ｄ、１０２０ｅなどと相互接続されている。よって、本発明は、ネットワークを介してデータをやり取りする対象となることが求められる任意のコンピューティング機器に適用できることが企図されている。
【００７９】
通信ネットワークまたはバス１０４０がインターネットであるネットワーク環境では、例えば、サーバ１０１０ａ、１０１０ｂなどは、クライアント１０２０ａ、１０２０ｂ、１０２０ｃ、１０２０ｄ、１０２０ｅなどがＨＴＴＰといったいくつかの公知のプロトコルのいずれかによってやり取りするためのウェブサーバとすることができる。また、サーバ１０１０ａ、１０１０ｂなどは、分散コンピューティング環境の特徴とされるように、クライアント１０２０ａ、１０２０ｂ、１０２０ｃ、１０２０ｄ、１０２０ｅなどとしても使用できる。
【００８０】
前述のように、通信は、必要に応じて、有線または無線、あるいはこれらの組み合わせとすることができる。クライアント機器１０２０ａ、１０２０ｂ、１０２０ｃ、１０２０ｄ、１０２０ｅなどは、通信ネットワークまたはバス１４を介してやり取りしてもしなくてもよく、独立した通信と関連付けられていてもよい。例えば、テレビまたはＶＣＲの場合には、その制御に対してネットワーク接続された態様があってもなくてもよい。各クライアントコンピュータ１０２０ａ、１０２０ｂ、１０２０ｃ、１０２０ｄ、１０２０ｅなど、およびサーバコンピュータ１０１０ａ、１０１０ｂなどは、様々なアプリケーション・プログラム・モジュールもしくはオブジェクト１０３５ａ、１０３５ｂ、１０３５ｃなどと、各種の記憶要素もしくはオブジェクトへの接続もしくはアクセスとを備えていてもよく、各種の記憶要素もしくはオブジェクトにまたがってファイルもしくはデータストリームが記憶され、あるいはこれらに対してファイルもしくはデータストリームの部分がダウンロードされ、送信され、または移行される。コンピュータ１０１０ａ、１０１０ｂ、１０２０ａ、１０２０ｂ、１０２０ｃ、１０２０ｄ、１０２０ｅなどのうちのどの１つまたは複数が、本発明に従って処理され、または保存されるデータを記憶するデータベースやメモリ１０３０といった、データベース１０３０またはその他の記憶要素の維持管理および更新を担当することができる。よって、本発明は、コンピュータネットワークまたはバス１０４０にアクセスし、これとやり取りすることのできるクライアントコンピュータ１０２０ａ、１０２０ｂ、１０２０ｃ、１０２０ｄ、１０２０ｅなどと、クライアントコンピュータ１０２０ａ、１０２０ｂ、１０２０ｃ、１０２０ｄ、１０２０ｅなどおよび他の同様の機器、ならびにデータベース１０３０とやり取りできるサーバコンピュータ１０１０ａ、１０１０ｂなどとを有するコンピュータネットワーク環境において利用することができる。
【００８１】
［コンピューティング機器の一例］
前述のように、本発明は、モバイル機器などにデータを伝達することが求められる任意の機器に適用できる。したがって、あらゆる種類のハンドヘルド型、携帯型およびその他のコンピューティング機器およびコンピューティングオブジェクトが、すなわち、機器がデータを伝達し、あるいはデータを受け取ったり、処理したり、記憶したりするあらゆる場合に、本発明と関連付けて使用されることが企図されていることを理解すべきである。したがって、以下で説明する図１１の汎用リモートコンピュータは一例にすぎず、本発明は、ネットワークまたはバスの相互運用および対話の機能を有するどんなクライアントでも実施できる。よって、本発明は、ごくわずかな、または最小限のクライアントリソースが関与するネットワーク接続されたホストサービスの環境、例えば、家電製品に配置されたオブジェクトといった、クライアント機器がネットワークまたはバスへの単なるインターフェースとして使用されるネットワーク接続環境などにおいて実施できる。
【００８２】
必須ではないが、本発明の一部を、機器またはオブジェクトのサービスの開発者が使用するために、オペレーティングシステムによって実施することもでき、および／または本発明のコンポーネントと連動して動作するアプリケーションソフトウェア内に含めることもできる。ソフトウェアは、クライアントワークステーション、サーバ、またはその他の機器といった１つまたは複数のコンピュータによって実行される、プログラムモジュールなどのコンピュータ実行可能命令の一般的な状況において説明できる。当業者は、本発明が他のコンピュータシステム構成およびプロトコルを用いても実施できることを理解されたい。
【００８３】
つまり、図１１は、本発明が実施できる適切なコンピュータシステム環境１１００ａの一例を示しているが、すでに明記したように、コンピュータシステム環境１１００ａは、メディア機器に適したコンピュータ環境の一例にすぎず、本発明の用途または機能の範囲に関するいかなる限定も示唆するものではない。また、コンピュータ環境１１００ａは、例示的な動作環境１１００ａに示す各コンポーネントのいずれか１つまたはこれらの組み合わせに関連するいかなる依存関係または要件も有するものではないと解釈すべきである。
【００８４】
図１１を参照すると、本発明を実施する例示的なリモート機器は、コンピュータ１１１０ａの形態として汎用コンピュータ機器を有している。コンピュータ１１１０ａのコンポーネントには、それだけに限られないが、処理装置１１２０ａと、システムメモリ１１３０ａと、システムメモリを含む様々なシステムコンポーネントを処理装置１１２０ａと接続するシステムバス１１２１ａとが含まれる。システムバス１１２１ａは、様々なバスアーキテクチャのいずれかを使用するメモリバスまたはメモリコントローラ、周辺バス、およびローカルバスを含む数種類のバス構造のいずれかとすることができる。
【００８５】
コンピュータ１１１０ａは、典型的には、様々なコンピュータ可読媒体を含むものである。コンピュータ可読媒体は、コンピュータ１１１０ａがアクセスすることのできる任意の利用可能な媒体とすることができる。例えば、それだけに限られないが、コンピュータ可読媒体には、コンピュータ記憶媒体および通信媒体が含まれる。コンピュータ記憶媒体には、コンピュータ可読命令、データ構造、プログラムモジュール、またはその他のデータといった情報の記憶のための任意の方法または技術で実装される、揮発性と不揮発性の両方、取り外し可能と取り外し不可能の両方の媒体が含まれる。コンピュータ記憶媒体には、それだけに限られないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたはその他のメモリ技術、ＣＤＲＯＭ、ディジタル多用途ディスク（ＤＶＤ）またはその他の光ディスク記憶、磁気カセット、磁気テープ、磁気ディスク記憶またはその他の磁気記憶装置、または所望の情報を記憶するのに使用することができ、コンピュータ１１１０ａがアクセスすることのできる他の任意の媒体が含まれる。通信媒体は、典型的には、搬送波やその他の搬送方法などにより変調されたデータ信号におけるコンピュータ可読命令、データ構造、プログラムモジュールまたはその他のデータを具現化するものであり、任意の情報受渡し媒体を含む。
【００８６】
システムメモリ１１３０ａは、読取り専用メモリ（ＲＯＭ）および／またはランダム・アクセス・メモリ（ＲＡＭ）といった、揮発性および／または不揮発性メモリとしてコンピュータ記憶媒体を含む。基本入出力システム（ＢＩＯＳ）は、起動時などにおける、コンピュータ１１１０ａ内の要素間の情報転送に役立つ基本ルーチンを含み、メモリ１１３０ａに記憶されている。また、メモリ１１３０ａは、典型的には、処理装置１１２０ａが即座にアクセスすることができ、および／または処理装置１１２０ａによって現在処理されているデータおよび／またはプログラムモジュールも含む。例えば、それだけに限られないが、メモリ１１３０ａは、オペレーティングシステム、アプリケーションプログラム、その他のプログラムモジュール、およびプログラムデータも含む。
【００８７】
また、コンピュータ１１１０ａは、他の取り外し可能または取り外し不能、揮発性または不揮発性コンピュータ記憶媒体も含む。例えば、コンピュータ１１１０ａは、取り外し不能な不揮発性磁気媒体との間で読取りまたは書込みを行うハード・ディスク・ドライブ、取り外し可能な不揮発性磁気ディスクとの間で読取りまたは書込みを行う磁気ディスクドライブ、および／またはＣＤ−ＲＯＭまたはその他の光媒体といった、取り外し可能な不揮発性光ディスクとの間で読取りまたは書込みを行う光ディスクドライブを含む。例示的な動作環境において使用される他の取り外し可能または取り外し不能、揮発性または不揮発性コンピュータ記憶媒体には、それだけに限られないが、磁気テープカセット、フラッシュ・メモリ・カード、ディジタル多用途ディスク、ディジタル・ビデオ・テープ、固体ＲＡＭ、固体ＲＯＭなどが含まれる。ハード・ディスク・ドライブは、典型的には、インターフェースなどの取り外し不能メモリインターフェースによってシステムバス１１２１ａに接続されており、磁気ディスクドライブまたは光ディスクドライブは、典型的には、インターフェースといった取り外し可能メモリインターフェースによってシステムバス１１２１ａに接続されている。
【００８８】
ユーザは、キーボードや、一般にはマウス、トラックボール、またはタッチパッドなどと呼ばれるポインティングデバイスといった入力装置を介してコンピュータ１１１０ａにコマンドおよび情報を入力することができる。他の入力装置としては、マイクロフォン、ジョイスティック、ゲームパッド、衛星通信アンテナ、スキャナなどが含まれる。上記その他の入力装置は、多くの場合、システムバス１１２１ａに接続されたユーザ入力１１４０ａおよび関連するインターフェースを介して処理装置１１２０ａに接続されているが、パラレルポート、ゲームポート、またはユニバーサル・シリアル・バス（ＵＳＢ）といった他のインターフェースおよびバス構造によって接続されていてもよい。また、システムバス１１２１ａにはグラフィックサブシステムも接続できる。また、システムバス１１２１ａには、さらにビデオメモリともやり取りし得る出力インターフェース１１５０ａといったインターフェースを介して、モニタまたはその他の種類の表示装置も接続されている。また、モニタに加えて、コンピュータは、スピーカやプリンタといった他の周辺出力装置を含んでいてもよく、これらの出力装置は出力インターフェース１１５０ａを介して接続され得る。
【００８９】
コンピュータ１１１０ａは、リモートコンピュータ１１７０ａといった１つまたは複数の他のリモートコンピュータへの論理接続を使用するネットワークまたは分散環境において動作することができ、リモートコンピュータ１１７０ａはさらに装置１１１０ａとは異なるメディア機能を有していてもよい。リモートコンピュータ１１７０ａは、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ピアデバイスもしくは他の一般的なネットワークノード、または他の任意のリモートメディア消費または伝送機器とすることができ、コンピュータ１１１０ａとの関連で前述した各要素のいずれかまたはすべてを含み得る。図１１に示した論理接続は、ローカル・エリア・ネットワーク（ＬＡＮ）や広域ネットワーク（ＷＡＮ）といったネットワーク１１７１ａを含んでいるが、他のネットワークまたはバスを含んでいてもよい。そのようなネットワーク環境は、家庭、オフィス、企業規模のコンピュータネットワーク、イントラネット、およびインターネットにおいてよく見られるものである。
【００９０】
ＬＡＮネットワーク環境で使用される場合、コンピュータ１１１０ａは、ネットワークインターフェースまたはアダプタを介してＬＡＮ１１７１ａに接続される。ＷＡＮネットワーク環境で使用されるとき、コンピュータ１１１０ａは、典型的には、モデムといった通信コンポーネント、またはインターネットなどのＷＡＮを介して通信を確立する他の手段を含む。モデムなどの通信コンポーネントは、内蔵式でも外付けでもよく、入力１１４０ａのユーザ入力インターフェース、または他の適切な機構によってシステムバス１１２１ａに接続され得る。ネットワーク環境では、コンピュータ１１１０ａとの関連で図示されているプログラムモジュール、またはこれらの一部が、リモート記憶装置に記憶されていてもよい。図示され、または説明されているネットワーク接続は一例であり、コンピュータ間の通信リンクを確立する他の手段も使用され得ることを理解されたい。
【００９１】
以上、本発明を様々な図の好ましい実施形態との関連で説明してきたが、本発明から逸脱することなく、本発明と同じ機能を実行するために、他の類似の実施形態が使用されてもよく、前述の実施形態に変更および追加が加えられてもよいことを理解すべきである。例えば、本明細書で示す本発明は、有線であれ無線であれ、任意の環境に適用することができ、通信ネットワークを介して接続され、ネットワークを介して対話する任意の数のそうした機器に適用され得ることを、当業者は理解されたい。したがって、本発明は、どんな１つの実施形態にも限定されるべきではなく、むしろ、添付の特許請求の範囲に記載の広さと範囲において解釈されるべきである。
【００９２】
本明細書で使用する「ｅｘｅｍｐｌａｒｙ（例示的）」という語は、例、具体例、または例証として使用されることを意味する。誤解を避けるためにいうと、本明細書に開示する主題は、このような例によって限定されるものではない。加えて、本明細書に「例示的」と示す態様または設計は、必ずしも、他の態様または設計に優って好ましく、または有利であると解釈されるべきものであるとは限らず、当業者に公知の同等の例示的な構造および技法を除外するためのものではない。さらに、誤解を避けるために言うと、「ｉｎｃｌｕｄｅｓ」、「ｈａｓ」、「ｃｏｎｔａｉｎｓ」、およびその他類似の語は、詳細な説明または特許請求の範囲において使用される限りにおいて、どんな追加または他の要素も除外することのない非制限的な移行語としての「ｃｏｍｐｒｉｓｉｎｇ」という語と同様に含むべきものである。
【００９３】
本明細書に示す本発明の様々な実現形態は、全部がハードウェアによる態様、一部がハードウェア、一部がソフトウェアによる態様、およびソフトウェアによる態様を有し得る。本明細書で使用する場合、「ｃｏｍｐｏｎｅｎｔ（コンポーネント）」、「ｓｙｓｔｅｍ（システム）」などの語は、同様に、コンピュータ関連のエンティティ、すなわち、ハードウェア、ハードウェアとソフトウェアの組み合わせ、ソフトウェア、または実行中のソフトウェアを指すものである。例えば、コンポーネントは、それだけに限らないが、プロセッサ上で走っているプロセス、プロセッサ、オブジェクト、実行ファイル、実行スレッド、プログラム、および／またはコンピュータとすることができる。例えば、コンピュータ上で走っているアプリケーションも、そのコンピュータもコンポーネントとすることができる。１つまたは複数のコンポーネントが１つのプロセスおよび／または実行スレッド内にあってもよく、１つのコンポーネントが１台のコンピュータ上に局在化されていても、２台以上のコンピュータの間で分散されていてもよい。
【００９４】
よって、本発明の方法および装置、あるいは本発明のいくつかの態様または部分は、フロッピー（登録商標）ディスケット、ＣＤ−ＲＯＭ、ハードドライブ、または他の任意の機械可読記憶媒体といった有形の媒体として実施されたプログラムコード（すなわち命令）の形を取ることができ、その場合、このプログラムコードがコンピュータなどのマシンにロードされ、実行されると、そのマシンは本発明を実施する装置になる。プログラマブルコンピュータ上でのプログラムコード実行の場合、コンピューティング機器は、一般には、プロセッサ、（揮発性および不揮発性メモリならびに／または記憶素子を含む）プロセッサによる読取りが可能な記憶媒体、少なくとも１つの入力装置、および少なくとも１つの出力装置を含む。
【００９５】
さらに、開示の主題は、標準的なプログラミング技術および／または工学的技術を使用して、本明細書で詳述した態様を実施するようにコンピュータまたはプロセッサベースの機器を制御するためのソフトウェア、ファームウェア、ハードウェア、またはこれらの任意の組み合わせを製造するシステム、方法、装置、または製造品として実施されてもよい。「ａｒｔｉｃｌｅ  ｏｆ  ｍａｎｕｆａｃｔｕｒｅ（製造品）」、「ｃｏｍｐｕｔｅｒ  ｐｒｏｇｒａｍ  ｐｒｏｄｕｃｔ（コンピュータプログラム製品）」、または類似の語は、本明細書で使用する場合、任意のコンピュータ可読デバイス、搬送波、または媒体からアクセス可能なコンピュータプログラムを包含するものである。例えば、コンピュータ可読媒体には、それだけに限らないが、磁気記憶装置（ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップなど）、光ディスク（コンパクトディスク（ＣＤ）、ディジタル多用途ディスク（ＤＶＤ）など）、スマートカード、およびフラッシュ・メモリ・デバイス（カード、スティックなど）が含まれ得る。加えて、電子メールの送受信に際して、またはインターネットやローカル・エリア・ネットワーク（ＬＡＮ）といったネットワークにアクセスする際に使用されるようなコンピュータ可読電子データを搬送するのに搬送波を使用し得ることも知られている。
【００９６】
前述のシステムは、複数のコンポーネント間の対話に関して説明されている。このようなシステムおよびコンポーネントは、それらのコンポーネントもしくは特定のサブコンポーネント、特定のコンポーネントもしくはサブコンポーネントの一部、および／または追加のコンポーネント、ならびに上記の様々な置換および組み合わせによるものを含み得ることが理解できる。また、サブコンポーネントは、階層的構成などに従って、親コンポーネント内に含まれるのではなく、他のコンポーネントに通信可能な状態で結合されたコンポーネントとして実施することもできる。加えて、１つまたは複数のコンポーネントを組み合わせて集約的機能を提供する１つのコンポーネントにすることも、複数の別々のサブコンポーネントに分割することもでき、統合機能を提供するために、このようなサブコンポーネントに通信可能な状態で結合するための管理層などの任意の１つまたは複数の中間層が設けられてもよいことに留意すべきである。また、本明細書で示す任意のコンポーネントは、本明細書には具体的に示されていないが、当業者には一般に知られている１つまたは複数の他のコンポーネントともやり取りし得る。
【００９７】
前述の例示的なシステムを考慮すれば、開示の主題に従って実施され得る方法が、流れ図を参照してより十分に理解される。説明を簡単にするために、これらの方法を一連のブロックとして図示し、説明しているが、特許請求される主題はこれらのブロックの順序によって限定されるものではなく、ブロックの中には、本明細書に図示し、説明しているものと異なる順序で行われ、および／または他のブロックと同時に行われ得るものもあることを理解すべきである。流れ図によって、非順次の、すなわち分岐した流れが示されている場合には、同じまたは類似の結果を達成する各ブロックの様々な他の分岐、フローパス、および順序が実施され得るものと理解することができる。さらに、以下で説明する方法を実施するのに必ずしもすべての図示のブロックが必要とされるとは限らない。
【００９８】
さらに、以上で開示したシステムおよび以下に示す方法の様々な部分は、人工知能または知識またはルールベースのコンポーネント、サブコンポーネント、プロセス、手段、方法、もしくは機構（サポート・ベクトル・マシン、ニューラルネットワーク、エキスパートシステム、ベイジアン信念ネットワーク、ファジー論理、データ融合エンジン、分類器など）を含み、またはこれらからなるものであることが理解される。このようなコンポーネントは、特に、各コンポーネントによって実行される特定の機構またはプロセスを自動化して、システムおよび方法の各部分をより適応的で、効率がよく、インテリジェントなものにすることができる。
【００９９】
以上、本発明を様々な図の好ましい実施形態との関連で説明してきたが、本発明から逸脱することなく、本発明と同じ機能を実行するために、他の類似の実施形態が使用されてもよく、前述の実施形態に変更および追加が加えられてもよいことを理解すべきである。
【０１００】
例示的実施形態は、本発明を、特定のプログラミング言語構造、仕様または規格のコンテキストにおいて利用することに言及しているが、本発明はそれだけに限定されるものではなく、最適化のアルゴリズムおよびプロセスを実行するためのあらゆる言語において実施され得る。さらに、本発明は、複数の処理チップまたはデバイスにおいて、またはこれらにまたがって実施されてもよく、記憶も同様に複数のデバイスにまたがって実施され得る。したがって、本発明は、どんな１つの実施形態にも限定されるべきではなく、添付の特許請求の範囲の広さと範囲において解釈されるべきである。
【図１】
2010539750.tif 000029
【図２】
2010539750.tif 000030
【図３】
2010539750.tif 000031
【図４】
2010539750.tif 000032
【図５Ａ】
2010539750.tif 000033
【図５Ｂ】
2010539750.tif 000034
【図６Ａ】
2010539750.tif 000035
【図６Ｂ】
2010539750.tif 000036
【図９】
2010539750.tif 000037
【図１０】
2010539750.tif 000038
【図１１】
2010539750.tif 000039
【図７】
2010539750.tif 000040
【図８】
2010539750.tif 000041
【手続補正書】
【提出日】平成21年1月19日(2009.1.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像シーケンスを表す画像フレームデータのカレントフレームデータを受け取るステップと、
前記画像フレームデータのフレーム間で決定される時間的依存関係に基づいたブロックベースのインターフレーム予測のための動きベクトルを用いて、インターモードに従って前記カレントフレームデータを符号化する際に、前記インターモードの選択を最適化するステップと
を含み、前記最適化するステップは、符号器から復号器までの予想されるパケット損失レートの関数として最適なラグランジュパラメータを決定するステップを含むものである、インターモードでビデオデータを符号化する方法。
【請求項２】
前記最適化するステップは、前記カレントフレームデータの符号化に関連するエンド・ツー・エンド歪みコストを決定するステップを含むものである、請求項１に記載の方法。
【請求項３】
前記最適化するステップは、前記カレントフレームデータの符号化に関連する残余エネルギーを決定するステップを含むものである、請求項２に記載の方法。
【請求項４】
前記最適化するステップは、前記カレントフレームデータの符号化に関連する量子化エラーを決定するステップを含むものである、請求項２に記載の方法。
【請求項５】
前記最適化するステップは、前記カレントフレームデータの符号化に関連する量子化エラーを決定するステップを含むものである、請求項３に記載の方法。
【請求項６】
前記最適化するステップは、最適なラグランジュパラメータを決定するステップを含むものである、請求項１に記載の方法。
【請求項７】
前記最適化するステップは、前記パケット損失レートによって定まる倍率を用いて、エラーフリーのラグランジュパラメータの関数として前記最適なラグランジュパラメータを決定するステップを含むものである、請求項６に記載の方法。
【請求項８】
前記最適化するステップは、Ｈ．２６４ビデオ符号化規格により定められている前記インターモードの選択を最適化するステップを含むものである、請求項１に記載の方法。
【請求項９】
前記符号化は、前記最適化するステップによって選択されたインターモードに従って前記画像フレームデータのＰフレームを符号化することを含むものである、請求項８に記載の方法。
【請求項１０】
請求項１に記載の方法を実行させるコンピュータ実行可能な命令を有するコンピュータ可読媒体。
【請求項１１】
ビデオデータの複数のフレームを記憶する少なくとも１つのデータストアと、
少なくともエンド・ツー・エンド歪みと少なくとも１つのチャネル条件とに基づいてレート歪みコスト関数を最小化することにより、符号化すべき予測フレームのそれぞれに対して、ビデオ圧縮規格のインター符号化処理に最適なインターモードを選択する符号化コンポーネントと
を備えており、ビデオ符号化規格は、前記複数のフレームのフレーム間の時間的相関から導かれる少なくとも１つの動きベクトルに基づいて前記インター符号化処理を実行する少なくとも１つのインター符号化モジュールと、前記複数のフレームのフレーム間の空間的相関に基づいて符号化を行うイントラ符号化モジュールとを含むものであり、
前記符号化コンポーネントは、符号化されるフレームについての符号器から復号器までの予想されるパケット損失レートの関数として決定される最適なラグランジュパラメータに基づいて前記最適なインターモードを決定するものである、ビデオデータを符号化するビデオ符号化コンピュータシステム。
【請求項１２】
前記符号化コンポーネントは、符号化されるフレームに関連する残余エネルギーおよび量子化エラーに基づいてエンド・ツー・エンド歪みの量を決定するものである、請求項１１に記載のビデオ符号化システム。
【請求項１３】
前記符号化コンポーネントは、Ｈ．２６４高度ビデオ符号化規格に従って前記ビデオデータの複数のフレームを符号化するＨ．２６４符号器を有するものである、請求項１１に記載のビデオ符号化システム。
【請求項１４】
前記符号化コンポーネントは、エンド・ツー・エンド歪みおよびパケット損失レートに基づいてレート歪みコスト関数を最小化するものである、請求項１１に記載のビデオ符号化システム。
【請求項１５】
画像を含むビデオデータを記憶するメモリと、
受け取った命令に応じて、前記ビデオデータを処理し、Ｈ．２６４符号化規格に従って前記ビデオデータにより表される前記画像を符号化する少なくとも１つのグラフィックス処理ユニット（ＧＰＵ）であって、前記命令を受け取ったことに応じて、前記画像のうちのカレント画像に関連する少なくとも残余エネルギーおよび量子化歪みに基づき、前記カレント画像を符号化するための最適なインターモードを選択して、前記最適なインターモードに基づいて前記カレント画像を符号化するグラフィックス処理ユニット（ＧＰＵ）と
を備えており、前記最適なインターモードは、符号化されるフレームについての符号器から復号器までの予想されるパケット損失レートの関数として決定される最適なラグランジュパラメータに基づくものである、グラフィックス処理装置。
【請求項１６】
前記少なくとも１つのＧＰＵは、前記画像を符号化した画像をＨ．２６４復号器に伝送するための伝送チャネルに関連するチャネル条件に基づいて、前記カレント画像を符号化するための前記最適なインターモードを選択するものである、請求項１５に記載のグラフィックス処理装置。
【請求項１７】
前記少なくとも１つのＧＰＵは、前記画像を符号化した画像をＨ．２６４復号器に伝送するための伝送チャネルに関連するパケット損失レートに基づいて、前記カレント画像を符号化するための前記最適なインターモードを選択するものである、請求項１５に記載のグラフィックス処理装置。
【請求項１８】
前記少なくとも１つのＧＰＵは、前記残余エネルギーおよび量子化歪みに基づいてエンド・ツー・エンド歪みコストを決定するものである、請求項１５に記載のグラフィックス処理装置。
【国際調査報告】
2010539750.tif 000042