(57)【要約】      （修正有）【課題】フレームレートアップ変換技術を用いたスケーラブルなビデオ符号化方法を提供する。【解決手段】ビデオストリームを符号化する方法は、複数のメインレイヤフレームを有するメインレイヤと、複数の補間レイヤフレームを有する補間レイヤとへビデオストリームを分割することと、フレームレートアップ変換（ＦＲＵＣ）フレームを補間することと、メインＦＲＵＣフレームの支援を受けて、補間レイヤ内の複数のメインレイヤフレームを符号化することとを含む。【選択図】図２
2011182408.tif 000002
【特許請求の範囲】
【請求項１】
ビデオストリームを復号する方法であって、
前記ビデオストリームを、複数のメインレイヤフレームを有するメインレイヤと、複数の補間レイヤフレームを有する補間レイヤとに分割することと、
フレームレートアップ変換（ＦＲＵＣ：frame rate up conversion）フレームを補間することと、
前記補間されたＦＲＵＣフレームの支援を受けて、前記メインレイヤ内の前記複数のメインレイヤフレームを符号化することと
を備えた方法。
【請求項２】
各メインレイヤフレームと潜在的な各ＦＲＵＣフレームとの間に１対１の関係が存在する請求項１の方法。
【請求項３】
前記ＦＲＵＣフレームは、再構築された現在のフレームと、以前に格納されたフレームとに依存する請求項１の方法。
【請求項４】
前記ＦＲＵＣフレームを補間することは、符号化されるメインレイヤフレームと同じ時間インスタンスにおいて前記ＦＲＵＣフレームを補間することを備えた請求項１の方法。
【請求項５】
前記補間されたＦＲＵＣフレームの支援を受けて、前記メインレイヤ内の複数のメインレイヤフレームを符号化することは、前記複数の補間レイヤフレーム内の１つの補間レイヤフレームのマクロブロックのモード選択処理を実行することを備えた請求項１の方法。
【請求項６】
プロセッサによって実行されると、前記プロセッサに対して、ビデオストリームを符号化する方法を実行させる格納された命令を有するコンピュータ読取可能媒体であって、前記方法は、
前記ビデオストリームを、複数のメインレイヤフレームを有するメインレイヤと、複数の補間レイヤフレームを有する補間レイヤとに分割することと、
フレームレートアップ変換（ＦＲＵＣ：frame rate up conversion）フレームを補間することと、
前記補間されたＦＲＵＣフレームの支援を受けて、前記メインレイヤ内の前記複数のメインレイヤフレームを符号化することと
を備えたコンピュータ読取可能媒体。
【請求項７】
各メインレイヤフレームと潜在的な各ＦＲＵＣフレームとの間に１対１の関係が存在する請求項６のコンピュータ読取可能媒体。
【請求項８】
前記ＦＲＵＣフレームは、再構築された現在のフレームと、以前に格納されたフレームとに依存する請求項６のコンピュータ読取可能媒体。
【請求項９】
前記ＦＲＵＣフレームを補間することは、符号化されるメインレイヤフレームと同じ時間インスタンスにおいて前記ＦＲＵＣフレームを補間することを備えた請求項６のコンピュータ読取可能媒体。
【請求項１０】
前記補間されたＦＲＵＣフレームの支援を受けて、前記メインレイヤ内の複数のメインレイヤフレームを符号化することは、前記複数の補間レイヤフレーム内の１つの補間レイヤフレームのマクロブロックのモード選択処理を行うことを備えた請求項６のコンピュータ読取可能媒体。
【請求項１１】
ビデオストリームを符号化する装置であって、
前記ビデオストリームを、複数のメインレイヤフレームを有するメインレイヤと、複数の補間レイヤフレームを有する補間レイヤとに分割する手段と、
フレームレートアップ変換（ＦＲＵＣ：frame rate up conversion）フレームを補間する手段と、
前記補間されたＦＲＵＣフレームの支援を受けて、前記メインレイヤ内の前記複数のメインレイヤフレームを符号化する手段と
を備えた装置。
【請求項１２】
各メインレイヤフレームと潜在的な各ＦＲＵＣフレームとの間に１対１の関係が存在する請求項１１の装置。
【請求項１３】
前記ＦＲＵＣフレームは、再構築された現在のフレームと、以前に格納されたフレームとに依存する請求項１１の装置。
【請求項１４】
前記ＦＲＵＣフレームを補間する手段は、符号化されるメインレイヤフレームと同じ時間インスタンスにおいて前記ＦＲＵＣフレームを補間する手段を備えた請求項１１の装置。
【請求項１５】
前記補間されたＦＲＵＣフレームの支援を受けて、前記メインレイヤ内の複数のメインレイヤフレームを符号化する手段は、前記複数の補間レイヤフレーム内の１つの補間レイヤフレームのマクロブロックのモード選択処理を行う手段を備えた請求項１１の装置。
【請求項１６】
ビデオストリームを受け取るビデオエンコーダプロセッサであって、
前記受け取ったビデオストリームから複数のフレームレートアップ変換（ＦＲＵＣ）フレームを生成するＦＲＵＣモジュールと、
前記ＦＲＵＣモジュールに接続されており、前記複数のＦＲＵＣフレームを受け取り、前記複数のＦＲＵＣフレームのうちの１つのマクロブロックに基づいてＦフレームマクロブロックレート歪みコスト（ＲＤ＿ｃｏｓｔ）を計算するレート歪みコスト（ＲＤ＿ｃｏｓｔ）計算モジュールと、
前記ＲＤ＿ｃｏｓｔ計算モジュールに接続されており、前記複数のＦＲＵＣフレームのうちの１つにおけるマクロブロックに基づいて、前記ＦフレームマクロブロックＲＤ＿ｃｏｓｔを、対応するＢフレーム内の対応するマクロブロックのＢフレームマクロブロックＲＤ＿ｃｏｓｔと比較するように構成されたモード決定モジュールとを備えたビデオエンコーダプロセッサ。
【請求項１７】
前記モード決定モジュールは更に、前記複数のＦＲＵＣフレームのうちの１つにおけるマクロブロックに基づくＦフレームマクロブロックＲＤ＿ｃｏｓｔが、前記対応するＢフレームにおける対応するマクロブロックのＢフレームマクロブロックＲＤ＿ｃｏｓｔよりも低い場合には、出力ビデオストリームのためＦフレーム符号化モードを選択するように構成された請求項１６のビデオエンコーダプロセッサ。
【請求項１８】
前記対応するＢフレームを生成するＢフレームエンコーダを更に備えた請求項１６のビデオエンコーダプロセッサ。
【請求項１９】
前記ＦＲＵＣモジュールに接続されており、前記複数のＦＲＵＣフレームのうちの１つにおけるマクロブロックに基づいて絶対差合計（ＳＡＤ）値を計算し、前記対応するＢフレームにおける対応するマクロブロックのＳＡＤ値を計算するＳＡＤ計算モジュールを更に備えた請求項１６のビデオエンコーダプロセッサ。
【請求項２０】
前記ＳＡＤ計算モジュールは、前記複数のＦＲＵＣフレームのうちの１つのマクロブロックに基づくＳＡＤ値と、前記対応するＢフレームの対応するマクロブロックのＳＡＤ値との差を計算し、前記差を予め定めた閾値と比較するように構成されており、前記ＳＡＤ計算モジュールは、前記差が前記予め定めた閾値よりも小さいのであれば、Ｆフレームモードを表すための単一のビットを生成する請求項１９のビデオエンコーダプロセッサ。
【請求項２１】
ビデオストリームを符号化する方法であって、
受け取ったビデオストリームから、複数のフレームレートアップ変換（ＦＲＵＣ）フレームを生成することと、
前記複数のＦＲＵＣフレームのうちの１つにおけるマクロブロックに基づいて、Ｆフレームマクロブロックレート歪みコスト（ＲＤ＿ｃｏｓｔ）を計算することと、
前記計算したＦフレームマクロブロックＲＤ＿ｃｏｓｔを、対応するＢフレームにおける対応するマクロブロックのＢフレームマクロブロックＲＤ＿ｃｏｓｔと比較することと、
前記比較の結果に基づいて、符号化スキームを選択することと
を備えた方法。
【請求項２２】
ビデオストリームを符号化する装置であって、
受け取ったビデオストリームから、複数のフレームレートアップ変換（ＦＲＵＣ）フレームを生成する手段と、
前記複数のＦＲＵＣフレームのうちの１つにおけるマクロブロックに基づいて、Ｆフレームマクロブロックレート歪みコスト（ＲＤ＿ｃｏｓｔ）を計算する手段と、
前記計算したＦフレームマクロブロックＲＤ＿ｃｏｓｔを、対応するＢフレームにおける対応するマクロブロックのＢフレームマクロブロックＲＤ＿ｃｏｓｔと比較する手段と、
前記比較の結果に基づいて、符号化スキームを選択する手段とを備えた装置。
【請求項２３】
プロセッサによって実行されると、前記プロセッサに対して、ビデオストリームを符号化する方法を実行させる格納された命令を有するコンピュータ読取可能媒体であって、前記方法は、
受け取ったビデオストリームから、複数のフレームレートアップ変換（ＦＲＵＣ）フレームを生成することと、
前記複数のＦＲＵＣフレームのうちの１つにおけるマクロブロックに基づいて、Ｆフレームマクロブロックレート歪みコスト（ＲＤ＿ｃｏｓｔ）を計算することと、
前記計算したＦフレームマクロブロックＲＤ＿ｃｏｓｔを、対応するＢフレームにおける対応するマクロブロックのＢフレームマクロブロックＲＤ＿ｃｏｓｔと比較することと、
前記比較の結果に基づいて、符号化スキームを選択することと
を備えたコンピュータ読取可能媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、ビデオ圧縮に関し、特に、スケーラブルなビデオ符号化において、フレームレートアップ変換（ＦＲＵＣ）技術を用いる方法及び装置に関する。
【背景技術】
【０００２】
ビデオ及びオーディオ圧縮におけるレート適応は一般に、スケーラビリティ（ＳＮＲ、空間、一時的）技術、様々なビットレートにおいて符号化されるビットストリームモードと、エンコーダが様々なメディアストリームとしてコンテンツを可変帯域幅でサーバへ配信する複数ビットレートモードとの切り換えによって達成された。そして、サーバは、ネットワーク条件及び／又は標的視聴者に基づいて適切なストリームを配信する。
【０００３】
低ビットレートビデオアプリケーションで利用可能な限定された帯域幅により、いくつかのエンコーダは、要求される圧縮比を満足するために、一時的なサンプリング技術（フレームスキップとも称される）を適用する。このシナリオの下では、入力シーケンスのフレームが、符号化処理から定期的に落とされ（dropped）、送信されない。したがって、デコーダは、入力シーケンス全体ではなく、一時的な方向における部分的な情報しか得ない。その結果、動作ジャーキ（jerkiness）のような一時的なアーティファクト（artifact）が受信側にもたらされる。一時的なアーティファクトを低減するために、デコーダにおいてフレームレートアップ変換（ＦＲＵＣ）が使用され、スキップされたフレームが再生成される。様々な技術がＦＲＵＣのために提案された。一般に、動作補償補間（ＭＣＩ：motion compensated interpolation）技術は、一時的なＦＲＵＣ用途において最良の解決策を提供する。しかしながら、ビデオストリームのビットレートを最小化しながら、デコーダにおけるＦＲＵＣ技術の実施を最適化することが望ましい。
【発明の概要】
【０００４】
本特許出願は、本譲受人に譲渡され、本明細書に参照によって明確に組み込まれている２００４年７月１日出願の「Method and Apparatus for Using Frame Rate up Conversion (FRUC) Technique in Scalable Video Coding」と題された米国特許仮出願番号６０／５８５，１５４と、２００５年３月２２日出願の「Method and Apparatus for Using Frame Rate Up Conversion Techniques in Scalable Video Coding」と題された米国特許仮出願番号６０／６６５，８１６とに対する優先権を主張する。
【０００５】
スケーラブルなビデオ符号化においてＦＲＵＣ技術を用いる様々なアプローチ、特に、エンコーダ支援ＦＲＵＣ（ＥＡ−ＦＲＵＣ：encoder assisted-FRUC）とも称され、エンコーダ側においてＦＲＵＣ圧縮技術の統合を可能にすることが本明細書に記載される。
【０００６】
１つの実施形態では、ビデオストリームを符号化する方法は、複数のメインレイヤフレームを有するメインレイヤと、複数の補間レイヤフレームを有する補間レイヤとへビデオストリームを分割することと、フレームレートアップ変換（ＦＲＵＣ）フレームを補間することと、補間されたＦＲＵＣフレームの支援を受けて、メインレイヤ内の複数のメインレイヤフレームを符号化することとからなる各ステップを含む。
【０００７】
別の実施形態では、プロセッサによって実行されると、前記プロセッサに、ビデオストリームを符号化する方法を実行させる命令を格納したコンピュータ読取可能媒体としてＥＡ−ＦＲＵＣが実現される。この方法は、複数のメインレイヤフレームを有するメインレイヤと、複数の補間レイヤフレームを有する補間レイヤとへビデオストリームを分割することと、フレームレートアップ変換（ＦＲＵＣ）フレームを補間することと、補間されたＦＲＵＣフレームの支援を受けて、メインレイヤ内の複数のメインレイヤフレームを符号化することとからなる各ステップを含む。
【０００８】
また別の実施形態では、ビデオストリームを受信するビデオエンコーダプロセッサとしてシステムが実現される。このビデオエンコーダプロセッサは、受信したビデオストリームから複数のＦＲＵＣフレームを生成するフレームレートアップ変換（ＦＲＵＣ）モジュールと、前記ＦＲＵＣモジュールに接続されており、複数のＦＲＵＣフレームを受け取り、前記複数のＦＲＵＣフレームのうちの１つにおけるマクロブロックに基づいて、Ｆフレームマクロブロックレート歪みコスト（ＲＤ＿ｃｏｓｔ）を計算するレート歪みコスト（ＲＤ＿ｃｏｓｔ）計算モジュールと、前記ＲＤ＿ｃｏｓｔ計算モジュールに接続されており、前記複数のＦＲＵＣフレームのうちの１つにおけるマクロブロックに基づくＦＲＵＣフレームマクロブロックＲＤ＿ｃｏｓｔを、対応するＢフレームにおける対応するマクロブロックのＢフレームマクロブロックＲＤ＿ｃｏｓｔと比較するように構成されたモード決定モジュールとを含む。
【０００９】
他の目的、特徴、及び利点は、以下の詳細記述から、当業者に明らかになるであろう。しかしながら、この詳細記述及び具体例は、本発明の実施形態を示す場合、限定ではなく例示として与えられることが理解されるべきである。本記載の範囲内の多くの変更及び変形が、本発明の精神から逸脱することなくなされ、本発明はそれら全ての変形を含む。
【図面の簡単な説明】
【００１０】
【図１】図１は、ベースレイヤとエンハンスメントレイヤとを備えた従来の２レイヤ符号化を例示するブロック図である。
【図２】図２は、メインレイヤがＦＲＵＣフレームの支援を受けて符号化される１つの実施形態に従って構成される符号化スキームを例示するブロック図である。
【図３】図３は、１つの実施形態に従ってＦＲＵＣフレームの支援を受けてベースレイヤを符号化する方法のフロー図である。
【図４】図４は、１つの実施形態に従って構成された符号化システムのブロック図である。
【図５】図５は、１つの実施形態に従った符号化モード選択方法のフロー図である。
【図６】図６は、エンハンスメントレイヤがＦＲＵＣフレームの支援を受けて符号化される１つの実施形態に従って構成される２レイヤ符号化スキームを例示するブロック図である。
【図７】図７は、１つの実施形態に従って、メディアデータを２レイヤに分割し、ＦＲＵＣフレームの支援を受けてエンハンスメントレイヤを符号化する方法のフロー図である。
【図８】図８は、無線システムのアクセス端末及びアクセスポイントのブロック図である。
【発明を実施するための形態】
【００１１】
本発明は、添付図面の参照によりより容易に理解されうる。
【００１２】
同一符号は、図面を通じて同一要素を参照する。
【００１３】
一般にＦＲＵＣ技術はデコーダ側で使用されるが、エンコーダ側に拡張することもできる。特に、動作補償されるフレームのための付加的な予測モードとしてＦＲＵＣフレームを利用することが有用である。予測フレーム間のために追加の予測モードを加えることによって、ビットレート節約を達成することができる。言いかえれば、再構築される同じ視覚品質の圧縮比を改善することができる。
【００１４】
規格ベースのビデオ符号化の場合、追加のＦＲＵＣモードの導入により、ビットストリームシンタクスを増大しなければならない。しかしながら、標準的なシンタクスへの遵守は、ユーザデータフィールド、又は国際電気通信連合の電気通信標準化部門（ＩＴＵ−Ｔ）によって発布されたＨ．２６４ビデオ符号化標準における補足エンハンスメント情報（ＳＥＩ：Supplemental Enhancement Information）フィールド内の予測フレームにおけるＦＲＵＣの使用をフラグすることにより維持される。この特徴は、ＦＲＵＣ機能がデコーダによって行なわれるビデオ送信システムにおいて特に有利である。更に、ビデオデコーダへの変更が可能な場合、送信帯域幅及び圧縮効率の観点からクローズドシステムが著しく利益を得そうである。
【００１５】
デコーダ側では、送信されたビットストリーム及び再構築されたイントラピクチャ（Ｉ）／予測ピクチャ（Ｐ）（ＶＰ）フレームを受信すると、エンコーダ側で採用された同じ技術を利用してＦＲＵＣフレームが補間される。そして、フレーム間は、同じ時間インスタンスの再構築されたＩ／ＰフレームとＦＲＵＣフレームとの両方に基づいて再構築される。同じ技術がデコーダ側とエンコーダ側の両方に使用される限り、誤り又はドリフトの問題はないだろう。
【００１６】
このシステムの代替用途は、スケーラブルなビデオ符号化にあるだろう。一時的なスケーラビリティが適用される場合、いくつかの予測的なフレーム、特に双方向予測／補間ピクチャフレームが、エンハンスメントレイヤで送信され、Ｉフレーム及びＰフレームが、ベースレイヤで送信される。そのようなシナリオでは、エンハンスメントレイヤが受信あるいは要求されない場合、デコーダにおいて再構築されたビデオのフレームレートは、ソースフレームレートより低い。ベースレイヤにおいてＦＲＵＣフレーム及びＢフレームの差分を送ることは、デコーダにおけるＦＲＵＣによるＢフレームの近似の再構築を可能とするかもしれない。結果は、この差分（ビット）のコストは著しく小さく、よって、ベースレイヤビデオのビットレートにインパクトを与えないことを示す。この差分は、顕著な領域（例えば、ＦＲＵＣによって再構築されないホール）に対する情報を制限するために閾値を設ける（量子化する）ことによって、あるいは周知のＦＲＵＣ方法（例えば、真の動作ベクトルデータ又は量子化された真の動作ベクトルデータ）に対する改良として、ＦＲＵＣと真のＢフレームとの純粋な差分として計算することができる。またそのような差分情報は、標準的シンタクスの「ユーザデータ」フィールド、又はＨ．２６４規格におけるＳＥＩフィールドで伝達される。
【００１７】
デコーダリソースの利用可能度に基づいて、異なるＦＲＵＣ技術は、計算上の複雑さの程度に基づいて選択することができる。注意すべき点は、一般にＦＲＵＣは、Ｂフレームを復号するよりも少ない計算サイクルしか使わないことである。なぜなら、ＦＲＵＣは単純な３又は５タップフィルタリングと、Ｂフレームの全てのマクロブロックにおける双方向動作補償（ＭＣ：motion compensation）（しばしば、１動作補償（ＭＣ）／マクロブロック（ＭＢ）を超える）と比べて比較的小さな探索スペースにおける小さなフレーム割合での動作予測（ＭＥ：motion estimation）とを含むからである。ＦＲＵＣは、視覚的な品質をわずかに犠牲にして、中間フレームを再構築するために適用される改善レベルに基づいて、複雑さレベルにおける精度（granularity）を提供する。
【００１８】
一般に、ＢフレームはＰフレームより計算上高価であり、Ｉフレームは３つのタイプのフレームの中で最も安価である。この点では、本システム及びその拡張の、スケーラブルなビデオ符号化に対して追加される利点は、ハンドヘルドデバイスにおける計算サイクル及び貴重な電力を節約する（これは、デバイスにおけるより長い待機時間及び通話時間になる）点にある。デコーダは、利用可能なサイクルに基づいて、Ｂフレームを復号するか、あるいは補間フレームをＦＲＵＣによって再構築するかを選択し、差分データからの改善を適用することができるので、省電力は、Ｂフレームが受信されたか否かに関わらず実現される。
【００１９】
ブロックベースのＦＲＵＣアルゴリズムは、計算上の複雑さを増加させることに基づいて分類することができる。
【００２０】
１．フレーム反復及びフレーム平均化のような非動作補償アルゴリズム。
【００２１】
２．ＭＶ処理を伴わない双線形動作補償補間（ＭＣＩ）。
【００２２】
３．ＭＶ処理を伴うＭＣＩ。
【００２３】
４．ＭＶ処理を伴うシードＭＥ支援ＭＣＩ。
【００２４】
上記のＦＲＵＣ支援符号化技術のうちの何れかは、レイヤリング符号化技術で統合することができる。送信チャネルのレート適応は、符号化をレイヤリングすることにより達成することができる。圧縮ビットストリームのベースレイヤは通常、より重要なデータを備え、エンハンスメントレイヤは、送信誤り率の大きいさほど重要ではないデータを含む。
【００２５】
１つの実施形態では、ベースレイヤビットストリームは規格準拠であり、エンハンスメントレイヤビットストリームは、送信帯域幅がある閾値より低い場合に落とされる（dropped）ことが可能とされることが好ましい。このシナリオの下では、以下が望ましい。
【００２６】
１．各エンハンスメントフレームと各潜在的ＦＲＵＣフレームとの間に１対１の関係があるように、到来するフレームシーケンスをベースレイヤフレーム及びエンハンスメントレイヤフレームに分割すること。
【００２７】
２．ベースレイヤフレームを規格準拠で符号化すること。
【００２８】
３．符号化されるエンハンスメントフレームと同じ時間インスタンスにおいてＦＲＵＣフレームを補間すること。
【００２９】
４．補間されたＦＲＵＣフレームに基づいて、エンハンスメントフレームを符号化すること。
【００３０】
このアプローチの利点は２つである。第１には、エンハンスメントレイヤフレームに対して１つの追加の予測モードを導入することによって、エンハンスメントレイヤのための圧縮比が増加するだろう。したがって、固定された送信帯域幅の場合、エンハンスメントレイヤビットストリームが、エンハンスメントレイヤビットストリームが落とされる（dropped）送信レートの閾値を超えることはより起こりそうもないので、エンハンスメントレイヤビットストリームを落とす（dropping）確率は低くなる。第２には、本明細書で説明したように、ベースレイヤフレームとエンハンスメントレイヤフレームとが分割される方法によって、たとえエンハンスメントレイヤビットストリームが、悪化する送信条件の下で落とされねばならないとしても、補間されたＦＲＵＣフレームとそれらを交換することによって、デコーダは未だに行方不明のエンハンスメントレイヤフレームを再生成することができる。
【００３１】
図１は、ベースレイヤ１０４とエンハンスメントレイヤ１０２とを含むビデオシーケンス１０６の従来式２レイヤ符号化スキームを例示する。例えばＰフレーム１１２，１１４のようなＰフレーム及びＩフレームは、ビデオシーケンス１０６の正しい再構築のための重要度によってベースレイヤ１０４に分割される。一方、Ｂフレーム１１０のように、さほど重要ではないＢフレームは、エンハンスメントレイヤ１０２内にある。この先行技術アプローチでは、エンハンスメントレイヤ１０２内のエンハンスメントフレームの再構築は、ベースレイヤ１０４内の再構築されたベースレイヤフレームにのみ依存するが、エンハンスメントレイヤ１０２内の再構築されたフレームには依存しない。具体的には、Ｂフレームは、将来のＢフレームを予測するために使用されるが、エンハンスメントレイヤ１０２内のＢフレームは、ベースレイヤ１０４内の一時的なフレームの予測のためのリファレンスとして使用されない。
【００３２】
図２は、符号化スキームの１つの実施形態に従って符号化されるビデオシーケンス２０６を例示しており、Ｉフレーム２１２が標準的な内部フレーム（一時的な予測をうけないフレーム）であり、Ｐフレーム２２０が標準的な予測フレームである。図から分かるように、メインレイヤ２０２内のフレームは、補間レイヤ２０４を使用することによって符号化される。
【００３３】
ＰＦフレーム２１６は、ＦＲＵＣ補間フレームが複数のリファレンスピクチャの１つとして使用されるＰフレームである。例えば、ＦＲＵＣ  ＦＲＭ２２４は、ＰＦ  ＦＲＭ２１６のためのリファレンスピクチャである。対照的に、標準的なアプローチは、Ｉ  ＦＲＭ２１２を、Ｐフレームのための唯一のリファレンスピクチャとして使用する。したがって、１つの実施形態では、ＦＲＵＣ  ＦＲＭは、補間フレームのメインレイヤ復号のためのリファレンスピクチャとして使用される。
【００３４】
ＢＦフレームは、複数のリファレンスピクチャのうちの１つとしてＦＲＵＣ補間フレームを有するＢフレームである。したがって、１つの実施形態では、ＢＦフレームのためのレファレンスピクチャは、Ｉフレーム、Ｂフレーム、Ｐフレーム、ＰＦフレーム、又はＢＦフレームのうちの１つ又は複数を含みうる。例えば、ＢＦフレーム２１４は、多数のレファレンスピクチャのうちの１つとしてＦＲＵＣ補間フレーム２２２を有するＢフレームである。また、ＢＦフレーム２１８は、多数のレファレンスピクチャのうちの１つとしてＦＲＵＣ補間フレーム２２６を有するＢフレームである。対照的に、たとえ標準的なＢ（双方向）予測フレームが、多数のレファレンスピクチャを有していても、これらレファレンスピクチャは、Ｉフレーム、Ｂフレーム、又はＰフレームのみを含む。
【００３５】
本明細書に引用している用語「Ｆフレーム」は、リファレンスピクチャとして使用されるＦＲＵＣ補間フレームを備えた予測フレームを称する。したがって、ＰＦフレームとＢＦフレームの両方は、ともにＦフレームである。１つの実施形態では、多数のレファレンスピクチャがＦフレームの予測に使用される。更に、ＦＲＵＣ補間フレームは、Ｆフレームの予測に使用される唯一のレファレンスピクチャでありうる。更に、本明細書に記載のアーキテクチャは、ＦＲＵＣ補間フレームからの特定のマクロブロック（任意のサイズ又は形状のブロックでありうる）のみを使用するように、ＦＲＵＣ補間フレームの一部がリファレンスとして使用されるアプローチを包含する。
【００３６】
図３は、図２で上述されたビットストリームのための典型的なＦＲＵＣ符号化処理のフローチャートを例示する。ステップ３０２では、到来するメディア（ビデオ）シーケンスが、Ｆフレーム及び非Ｆフレームに分割される。上述したようにＦフレームはＰＦフレーム及びＢＦフレームであり、非ＦフレームはＩフレーム、Ｂフレーム、又はＰフレームである。１つの実施形態では、各Ｆフレームと各潜在的なＦＲＵＣフレームとの間には１対１の関係がある。他の実施形態では、潜在的なＦＲＵＣフレームに対するエンハンスメントフレームの割合は、１対１の対応を持つ必要はない。一旦ビデオシーケンスが分割されたならば、動作はステップ３０４で続く。ここでは、使用される標準的な符号化スキームに基づいて非Ｆフレームが符号化される。例えば、Ｈ．２６４規格で発布されているような符号化規格が、これら非Ｆフレームのために使用されうる。そして、ステップ３０６では、符号化されるエンハンスメントフレームと同じ時間インスタンスにおいてＦＲＵＣフレームが補間される。１つの実施形態では、ＦＲＵＣフレームは、再構築された現在のフレームと、格納された前のフレームとの両方に依存しうる。他の実施形態は、上述された他のＦＲＵＣアルゴリズムを使用するかもしれない。ステップ３０８では、図４に詳述されるように、エンハンスメントレイヤ内のフレームが、補間ＦＲＵＣフレームの支援を受けて符号化される。すなわち、ＦＲＵＣフレームの利用可能度により、追加の予測モード（ＦＲＵＣモード）が、メインレイヤ内の予測フレームのために選択されうる。
【００３７】
図４は、１つの実施形態に従って構成されたエンコーダブロック図を例示する。まずＰフレーム検出器４０２が、新たなフレームがＦフレームかを判定する。Ｆフレームでなければ、Ｐ又はＢフレームエンコーダ４０４が、このフレームを符号化し、可変長符号化（ＶＬＣ：variable length coding）エンコーダ４０６が、符号化されたＰフレーム又はＢフレームのための最終ビットストリームを生成し、出力ビットストリーム４０４として出力する。Ｐフレーム又はＢフレームのための動作ベクトルは、動作ベクトル（ＭＶ：motion vector）バッファ４０８内に格納される。一方、再構築フレームバッファ４１０は、再構築されたＰフレーム又はＢフレームを格納する。ＦＲＵＣユニット４１２はＭＶバッファ４０８及び再構築フレームバッファ４１０に接続されており、ＦＲＵＣアルゴリズムを実行し、ＦＲＵＣフレームを生成する。ＦＲＵＣフレームはＦＲＵＣフレームバッファ４１４に格納される。上述したように、ＦＲＵＣフレームは、様々なＦ（例えばＢＦまたはＰＦ）フレームを生成するために使用される。
【００３８】
新たなフレームがＦフレームであるとＦフレーム検出器４０２が判定すると、Ｆフレーム符号化ユニット４２８が、この新たなＦフレームのマクロブロック符号化によってマクロブロックを実行する。この符号化されたＦフレームマクロブロックは、ブロック４３４に送られる。ブロック４３４は、Ｂフレームのために送信される必要のあるビット数を決定する。これは、動作ベクトルを送信するために必要なビットを含む。そして、ＢブロックＲＤ_ｃｏｓｔ計算機４３６においてＢフレームマクロブロックＲＤ＿ｃｏｓｔが計算される。更に、Ｂフレーム符号化に基づいて、比較器４３０が、（１）対応するＢフレームマクロブロック（ＳＡＤ＿ｂ）から減算されたＦＲＵＣフレームバッファ４１４（ＳＡＤＪ）から検索されたＦＲＵＣフレームに基づくＦフレームマクロブロックの絶対差合計値（ＳＡＤ）を（２）予め定めた閾値（ＴＨ）と比較する。この減算の結果が閾値以上である場合には、品質低下が大きすぎるので、エンコーダは、エンコーダ支援されたＦＲＵＣフレーム情報を送る必要がある。１つの実施形態では、この閾値は、使用されるブロックサイズ（例えば、１６×１６ブロックサイズ）の６倍である。本明細書では、一般には１６×１６ピクセル素子からなる標準的なブロックサイズを称する用語「マクロブロック」が使用されるが、任意のブロックサイズが使用されうることが注目されるべきである。更に、ブロックは任意の形状でもよい。
【００３９】
ＢフレームマクロブロックのＳＡＤと、ＦフレームマクロブロックのＳＡＤとの差が閾未満であれば、エンコーダは、Ｆモードが出力ビットストリーム４４０内に入れられていることを示すために、モジュール４３２及びビット内でＦフレームマクロブロックが使用されるべきであることを示すだろう。閾未満でなければ、ソース（オリジナル）マクロブロックと、並べられた（collocated）ＦＲＵＣフレームブロックとの誤差がモジュール４１６で計算される。その結果は、離散コサイン変換（ＤＣＴ）／量子化／ＶＣＬモジュール４１８で量子化される。ＦＲＵＣフレーム情報を送信するのに必要なＦＲＵＣフレームブロックビットの数が、Ｆブロックビットモジュール４２０で決定される。また、その計算に基づいて、ＦＲＵＣフレームマクロブロックＲＤ＿ｃｏｓｔが、ＦブロックＲＤ＿ｃｏｓｔモジュール４２２で決定される。ＲＤ＿ｃｏｓｔ計算が図５を用いて説明される。
【００４０】
計算されたＢフレームマクロブロックＲＤ＿ｃｏｓｔ及びＦフレームマクロブロックＲＤ＿ｃｏｓｔに基づいて、比較器モジュール４２４が、出力ビットストリーム４４０にどのビットを入れるかを決定する。１つの実施形態では、ＢフレームマクロブロックＲＤ＿ｃｏｓｔがＦフレームマクロブロックＲＤ＿ｃｏｓｔ未満ならば、生成された動作ベクトルを含むＢフレームマクロブロック用のビットは、出力ビットストリーム４４０に入れられるだろう。ＦフレームマクロブロックＲＤ＿ｃｏｓｔ未満でないならば、Ｆフレームマクロブロック用のビットが、出力ビットストリーム４４０に入れられるだろう。
【００４１】
図５は、エンハンスメントレイヤ内でフレームを符号化している間に、エンハンスメントレイヤＢフレームマクロブロックのモード選択処理のための１つの実施形態に従って実施されるアルゴリズムを例示する。ステップ５０２では、Ｂフレームマクロブロックについて、順方向動作ベクトル及び逆方向動作ベクトルが取得される。１つの実施形態では、これらベクトルは、従来の双方向動作推定を行なうことにより得られる。したがって、ＦＲＵＣフレームからの情報は使用されない。そして、ステップ５０４では、Ｂフレームマクロブロックのための最良のモードが決定される。１つの実施形態においては、最良のモードが、順方向予測モード、逆方向予測モード、及び双線形予測モードの３つのモードのうちの１つから選択される。更に、最良モードの選択は、ＦＲＵＣフレームを含むことなく実行される。
【００４２】
ステップ５０６では、選択された最良モードに基づくＢフレームマクロブロックと、ソースフレームからのオリジナルのマクロブロックとの間の誤差が取得される。そして、オリジナルのマクロブロックとＦＲＵＣフレームマクロブロックとの間の誤差情報がステップ５０８で得られる。１つの実施形態では、ＢフレームマクロブロックとＦＲＵＣフレームマクロブロックとの誤差は、ＢフレームマクロブロックあるいはＦＲＵＣフレームマクロブロックからオリジナルのマクロブロックを引くことによりそれぞれ計算される。更に、以下の式によって得られるように、Ｂフレームマクロブロック（Ｂ＿ＲＤ＿ｃｏｓｔ）とＦＲＵＣフレームマクロブロック（ＦＲＵＣ＿ＲＤ＿ｃｏｓｔ）との両方のために、レート歪みコスト（ＲＤ＿ｃｏｓｔ）と称される変数が計算される。  
【数１】
2011182408.tif 000003
【００４３】
１つの実施形態では、Ｒａｔｅは、一定のブロックを符号化するために使用される全ビット（それぞれのマクロブロックの誤差を使用する）であり、Ｄｉｓｔｏｒｔｉｏｎは、歪み判定基準であり、Ｌａｍｂｄａは、マクロブロックの量子化に依存する予め定められた重み係数である。１つの実施形態では、Ｄｉｓｔｏｒｔｉｏｎは、絶対差の合計（ＳＡＤ）計算によって決定される。他の実施形態では、別の歪み判定基準が使用されてもよい。更に、Ｌａｍｂｄａは、１つの実施形態では、量子化パラメータに依存して経験的に導出された式である。
【００４４】
上述したように、ＦＲＵＣフレームモードの符号化であるか、又はＢフレームモードの符号化であるかは絶対差の合計（ＳＡＤ）値に基づく。これは、誤差を符号化するために必要なビット数、及び歪みの効果的な基準である。これら２つの値は合計される。１つはＬａｍｂｄａによって重み付けられ、結果を最小化するものに基づいて「最良の」モードが決定される。歪みとビットレートとの合計が使用される理由はそのようであるので、エンコーダは、画像品質とビットレートとのトレードオフをもたらす。そこで、例えば、以前と同じ量子化パラメータを使用し、極めて多くの歪みを受けた非常に複雑なマクロブロックにエンコーダが遭遇した場合、符号化するためにより多くのビットを必要としても、歪みにおけるトレードオフを考慮するために量子化値を低下できるであろう。
【００４５】
誤差及びＢ＿ＲＤ＿ｃｏｓｔ（ＢフレームマクロブロックのＲＤ＿ｃｏｓｔ）、誤差及びＦＲＵＣ＿ＲＤ＿ｃｏｓｔ（ＦＲＵＣフレームマクロブロックのＲＤ＿ｃｏｓｔ）が一旦決定されると、ステップ５１０は、これらコストを比較し、ＦＲＵＣ＿ＲＤ＿ｃｏｓｔがＢ＿ＲＤ＿ｃｏｓｔ未満であるかを判定する。ＦＲＵＣ＿ＲＤ＿ｃｏｓｔがＢ＿ＲＤ＿ｃｏｓｔ未満であれば、ステップ５１２でＦＲＵＣモードが選択される。そうでなければ、ステップ５０４で決定されたような最良のモードがステップ５１４で選択される。
【００４６】
図６は、１つの実施形態の符号化スキームに従って符号化されるビデオシーケンス６０６を例示する。これは、ベースレイヤ６０４とエンハンスメントレイヤ６０２とを含む２つのレイヤにメディアデータを分割するレイヤ決定ブロック６０８を有している。Ｉフレームと、Ｐフレーム６１２，６１４のようなＰフレームとは、ビデオシーケンス６０６の正確な再構築のための重要度によりベースレイヤ６０４に分割される。一方、Ｂフレーム６１０のようなさほど重要ではないＢフレームは、エンハンスメント６０２内にある。図中に示すように、ＦＲＵＣフレーム６１６はまた、ベースレイヤ６０４内にも存在する。
【００４７】
上述したように、図７は、１つの実施形態に従ったＦＲＵＣ符号化処理のフローチャートを例示する。ステップ７０２では、到来するメディア（ビデオ）シーケンスが、ベースレイヤフレーム及びエンハンスメントレイヤフレームに分割される。１つの実施形態では、各エンハンスメントフレームおよび各潜在的なＦＲＵＣフレームの間に１対１の関係がある。他の実施形態では、潜在的なＦＲＵＣフレームに対するエンハンスメントフレームの割合は、１対１の対応を持つ必要はない。一旦ビデオシーケンスが分割されたならば、動作はステップ７０４に続く。ここでは、使用される標準的な符号化スキームに基づいて、ベースレイヤ内のフレームが符号化される。例えば、Ｈ．２６４規格で発布されているような符号化規格が使用されうる。その後、ステップ７０６では、符号化されるエンハンスメントレイヤと同じ時間インスタンスにおいてＦＲＵＣフレームが補間される。１つの実施形態では、ＦＲＵＣフレームは、再構築された現在のフレーム、及び格納された前のフレームの両方に依存しうる。他の実施形態は、上述した他のＦＲＵＣアルゴリズムを使用しうる。ステップ７０８では、エンハンスメントレイヤ内のフレームが、補間ＦＲＵＣフレームの支援を受けて符号化される。
【００４８】
本明細書で言及されたモジュール及び処理ブロックは、様々なハードウェア／ソフトウェア実装で実施されうることが注目されるべきである。したがって、当業者であれば、例えば、同じプロセッサが、ＳＡＤ計算と同様にＦＲＵＣ動作を実行できることを理解するであろう。更に、デジタル信号プロセサ（ＤＳＰ）あるいは他の専用プロセッサが、本明細書に記載の機能を実行するために汎用プロセッサと共に使用されてもよい。特定の機能を実行するモジュールまたはユニットへの参照は、前記機能を実行するための具体的回路を含むように限定されるべきではなく、前記機能を実行するように構成されたプロセッサを含みうる。
【００４９】
本発明は、上述したモード選択方法に基づいているので、視覚品質において妥協しない少量について送信ビットストリームを節約しない。例えば、同じ品質レベルにおいて、標準的な（Ｈ．２６Ｘ／ＭＰＥＧ−Ｘ）ビットストリームシンタクスの増大によるビットレート／帯域幅縮小がある。これは、エンハンスメントビットストリームを落とす可能性を減少させ、結果的に、再構築されるビデオ品質を改良する。１つの実施形態では、エンハンスメントレイヤを符号化する際に、動作ベクトル情報は送信される必要はない。なぜなら、その情報は、簡単な補間関数によってデコーダにおいて復元／計算することができるからである。したがって、ビットレート全ての節約が実現される。
【００５０】
更に、受信機のハードウェアリソースの最適用途に基づく適切なＦＲＵＣアルゴリズムの適応選択によって、計算上のスケーラビリティが達成される。例えば、デコーダが内蔵の動作予測アクセラレータを持っている場合、ＭＶ処理ＦＲＵＣアルゴリズムを備えたシードＭＥ支援ＭＣＩが選択されうる。ＦＲＵＣ特徴の使用によって、ベースレイヤビットストリームが受信された場合にのみＦＲＵＣフレームが挿入されるフルフレームレートをビデオがプレイバックすると、より良い一時的なスケーラビリティが達成されうる。デコーダにおける電力節約も、完全なＢフレームの再構築よりも、ビデオストリームのＦＲＵＣ支援再構築がより少ないサイクルを必要とするハンドヘルドにおいて特に得られる。
【００５１】
Ｂフレームは、ＩＢＰグループのピクチャ（ＧＯＰ）構成が使用される合計ビットレートのうち高々３０％を占めると予測される。従って、本発明は、Ｂフレームを送信するために割り当てられたデータを低減することによって、全体のビットレートを減少させうる。例えば、ＩＢＰ  ＧＯＰ構成の場合、ベースレイヤとエンハンスメントレイヤとの両方が共におかれた場合、ビットレートは、高々１５％に低減されうる。ＩＢＢＰ  ＧＯＰ又はＩＢＢＢＰ  ＧＯＰ構成が使用される場合、これらの構成はより多くのＢフレームを利用するので、この割合は増加する。ＩとＰとの間のＢフレームがより多い場合、更に増加する。
【００５２】
図８は、無線システムにおけるアクセス端末８０２ｘ及びアクセスポイント８０４ｘのブロック図を示す。「アクセス端末」は、本明細書で説明するように、ユーザに音声及び／又はデータ接続を与えるデバイスを称する。アクセス端末は、ラップトップコンピュータ又はデスクトップコンピュータのような計算デバイスに接続されるかもしれない。あるいは、携帯情報端末のような内蔵タイプのデバイスかもしれない。アクセス端末は、加入者ユニット、移動局、モバイル、遠隔局、遠隔端末、ユーザ端末、ユーザエージェント、あるいはユーザ設備とも称される。アクセス端末は、加入者局、無線デバイス、セルラ電話、ＰＣＳ電話、コードレス電話、セッション開始プロトコル（ＳＩＰ）電話、無線ローカルループ（ＷＬＬ）局、携帯情報端末（ＰＤＡ）、無線接続機能を有する携帯型デバイス、あるいは無線モデムに接続されたその他の制御デバイスでありうる。「アクセスポイント」は、本明細書で説明するように、エアインタフェースによって１又は複数のセクタを介してアクセス端末と通信するアクセスネットワーク内のデバイスを称する。アクセスポイントは、受信したエアインタフェースフレームをＩＰパケットに変換することによって、アクセス端末と、ＩＰネットワークを含むアクセスネットワークの残りとの間のルータとして動作する。アクセスポイントは、エアインタフェースのための属性の管理の調整も行う。
【００５３】
逆方向リンクの場合、アクセス端末８０２ｘにおいて、送信（ＴＸ）データプロセッサ８１４はデータバッファ８１２からトラフィックデータを受け取り、選択された符号化及び変調スキームに基づいて各データパケットを処理（例えば、符号化、インタリーブ、及びシンボルマップ）し、データシンボルを提供する。データシンボルは、データのための変調シンボルであり、パイロットシンボルは、パイロットのための変調シンボル（演繹的に知られる）である。変調器８１６は、データシンボル、パイロットシンボル、及び恐らくは逆方向リンクのためのシグナリングを受け取り、変調（例えばＯＦＤＭ）、及び／又はシステムによって指定されたようなその他の処理を実行し、出力チップのストリームを提供する。送信機ユニット（ＴＭＴＲ）８１８は、この出力チップのストリームを処理（例えば、アナログ変換、フィルタ、増幅、及び周波数アップ変換）を行い、変調信号を生成する。これはアンテナ８２０から送信される。
【００５４】
アクセスポイント８０４ｘでは、アクセス端末８０２ｘ、及びアクセスポイント８０４ｘと通信しているその他の端末によって送信された変調信号がアンテナ８５２によって受信される。受信機ユニット（ＲＣＶＲ）８５４は、アンテナ８５２によって受信された信号を処理（例えば、調整及びデジタル化）し、受信サンプルを提供する。復調器（Ｄｅｍｏｄ）８５６は、この受信サンプルを処理（例えば、復調及び検出）し、検出されたデータシンボルを提供する。このデータシンボルは、端末からアクセスポイント８０４ｘへ送られたデータシンボルの雑音の多い推定値である。受信（ＲＸ）データプロセッサ８５８は、各端末について検出されたデータシンボルを処理（例えば、シンボル逆マップ、逆インタリーブ、及び復号）し、その端末のための復号データを提供する。
【００５５】
順方向リンクの場合、アクセスポイント８０４ｘにおいて、トラフィックデータがＴＸデータプロセッサ８６０によって処理され、データシンボルが生成される。変調器８６２は、データシンボル、パイロットシンボル、及び順方向リンクのためのシグナリングを受け取り、変調（例えばＯＦＤＭ）及び／又はその他の適切な処理を実行し、出力チップストリームを提供する。更に、出力チップストリームは、送信機ユニット８６４によって調整され、アンテナ８５２から送信される。順方向リンクシグナリングは、逆方向リンクでアクセスポイント８０４ｘに送信する全ての端末についてコントローラ８７０によって生成された電力制御コマンドを含みうる。アクセス端末８０２ｘでは、アクセスポイント８０４ｘによって送信された変調信号がアンテナ８２０によって受信され、受信機ユニット８２２によって調整され、デジタル化され、復調器８２４によって処理され、検出データシンボルが得られる。ＲＸデータプロセッサ８２６は、検出データシンボルを処理し、端末のための復号データと順方向リンクシグナリングとを提供する。コントローラ８３０は、電力制御コマンドを受け取り、逆方向リンクによるアクセスポイント８０４ｘへの送信電力及びデータ送信を制御する。コントローラ８３０，８７０は、アクセス端末８０２ｘ及びアクセスポイント８０４ｘの動作をそれぞれ指示する。メモリ８３２，８７２はそれぞれコントローラ８３０，８７０によって使用されるデータ及びプログラムコードを格納する。
【００５６】
開示された実施形態は、以下の技術、すなわち、符号分割多元接続（ＣＤＭＡ）システム、マルチキャリアＣＤＭＡ（ＭＣ−ＣＤＭＡ）、広帯域ＣＤＭＡ（Ｗ−ＣＤＭＡ）、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ）、時分割多元接続（ＴＤＭＡ）システム、周波数分割多元接続（ＦＤＭＡ）システム、および直交周波数分割多元接続（ＯＦＤＭＡ）システムのうちの任意の１つ又は組み合わせに適用されうる。
【００５７】
本明細書に記載の方法は、当業者に周知な様々な通信ハードウェア、プロセッサ、及びプロセッサ上で実施されうることが注目されるべきである。例えば、クライアントが、本明細書で記載されるように動作するための一般的要件は、コンテンツ及び情報を表示するディスプレイと、クライアントの動作を制御するプロセッサと、クライアントの動作に関連するプログラムとデータとを格納するためのメモリとをクライアントが有していることである。１つの実施形態では、クライアントはセルラ電話である。別の実施形態では、クライアントは、通信機能を有するハンドヘルドコンピュータである。また別の実施形態では、クライアントは、通信機能を有するパーソナルコンピュータである。更に、ＧＰＳ受信機のようなハードウェアが、様々な実施形態を実施するために、必要に応じてクライアントに組み込まれうる。ここで開示された実施形態に関連して記述された様々の説明的論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、アプリケーションに固有の集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）あるいはその他のプログラマブル論理デバイス、ディスクリートゲートあるいはトランジスタロジック、ディスクリートハードウェア部品、又は上述された機能を実現するために設計された上記何れかの組み合わせを用いて実現又は実行されうる。汎用プロセッサとしてマイクロプロセッサを用いることが可能であるが、代わりに、従来技術によるプロセッサ、コントローラ、マイクロコントローラ、あるいは状態機器を用いることも可能である。プロセッサは、たとえばＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアに接続された１つ以上のマイクロプロセッサ、またはこのような任意の構成である計算デバイスの組み合わせとして実現することも可能である。
【００５８】
開示された実施形態は、以下に示す技術、すなわち、符号分割多元接続（ＣＤＭＡ）システム、マルチキャリアＣＤＭＡ（ＭＣ−ＣＤＭＡ）、広帯域ＣＤＭＡ（Ｗ−ＣＤＭＡ）、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ）、時分割多元接続（ＴＤＭＡ）システム、周波数分割多元接続（ＦＤＭＡ）システム、及び直交周波数分割多元接続（ＯＦＤＭＡ）システムのうちの任意の１つ又は組み合わせに適用されうる。
【００５９】
本明細書に記載の方法は、当業者に周知な様々な通信ハードウェア、プロセッサ、及びプロセッサ上で実施されうることが注目されるべきである。例えば、クライアントが、本明細書で記載されるように動作するための一般的要件は、コンテンツ及び情報を表示するディスプレイと、クライアントの動作を制御するプロセッサと、クライアントの動作に関連するプログラムとデータとを格納するためのメモリとをクライアントが有していることである。１つの実施形態では、クライアントはセルラ電話である。別の実施形態では、クライアントは通信機能を有するハンドヘルドコンピュータである。また別の実施形態では、クライアントは、通信機能を有するパーソナルコンピュータである。
【００６０】
ここで開示された実施形態に関連して記述された様々の説明的論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、アプリケーションに固有の集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）あるいはその他のプログラマブル論理デバイス、ディスクリートゲートあるいはトランジスタロジック、ディスクリートハードウェア部品、又は上述された機能を実現するために設計された上記何れかの組み合わせを用いて実現又は実行されうる。汎用プロセッサとしてマイクロプロセッサを用いることが可能であるが、代わりに、従来技術によるプロセッサ、コントローラ、マイクロコントローラ、あるいは状態機器を用いることも可能である。プロセッサは、たとえばＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアに接続された１つ以上のマイクロプロセッサ、またはこのような任意の構成である計算デバイスの組み合わせとして実現することも可能である。
【００６１】
ここで開示された実施形態に関連して記述された方法やアルゴリズムのステップは、ハードウェアや、プロセッサによって実行されるソフトウェアモジュールや、これらの組み合わせによって直接的に具現化される。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、あるいは当該技術分野で知られているその他の型式の記憶媒体に収納されうる。好適な記憶媒体は、プロセッサがそこから情報を読み取り、またそこに情報を書き込むことができるようにプロセッサに結合される。または、記憶媒体はプロセッサに統合されうる。このプロセッサと記憶媒体は、ＡＳＩＣ内に存在することができる。ＡＳＩＣは、ユーザ端末内に存在することもできる。あるいはこのプロセッサと記憶媒体は、ユーザ端末内のディスクリート部品として存在しうる。
【００６２】
開示された実施形態における記載は、当該技術分野におけるいかなる人であっても、本発明の活用または利用を可能とするように提供される。これらの実施形態への様々な変形例もまた、当該技術分野における熟練者に対しては明らかであって、ここで定義された一般的な原理は、開示された実施形態の主旨または範囲を逸脱せずに、例えばインスタントメッセージングサービス又は任意の一般的な無線データ通信アプリケーションにおけるような他の実施形態にも適用されうる。このように、本発明は、ここで示された実施形態に制限されるものではなく、ここで記載された原理と新規の特徴に一致した最も広い範囲に相当するものを意図している。用語「典型的（exemplary）」は、本明細書では、例、インスタンス、又は例示となることを意味するために限定的に使用される。本明細書で「典型的」と記載される何れの実施形態は、必ずしも他の実施形態に対して有利であると解釈される必要はない。
【図１】
2011182408.tif 000004
【図２】
2011182408.tif 000005
【図３】
2011182408.tif 000006
【図４】
2011182408.tif 000007
【図５】
2011182408.tif 000008
【図６】
2011182408.tif 000009
【図７】
2011182408.tif 000010
【図８】
2011182408.tif 000011
【手続補正書】
【提出日】平成23年4月21日(2011.4.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１のフレームを有するビデオストリームを符号化するビデオエンコーダプロセッサであって、
前記ビデオストリームから複数のフレームレートアップ変換（ＦＲＵＣ）フレームを生成するＦＲＵＣモジュールと、
前記ＦＲＵＣモジュールに接続されており、前記複数のＦＲＵＣフレームを受け取り、前記複数のＦＲＵＣフレームのうちの１つのマクロブロックに基づいてＦフレームマクロブロックレート歪みコスト（ＲＤ＿ｃｏｓｔ）を計算するレート歪みコスト（ＲＤ＿ｃｏｓｔ）計算モジュールであって、前記ＦフレームマクロブロックＲＤ＿ｃｏｓｔが、前記複数のＦＲＵＣフレームのうちの１つにおける前記マクロブロックから前記第１のフレームのマクロブロックを予測するコストを含む、レート歪みコスト（ＲＤ＿ｃｏｓｔ）計算モジュールと、
前記ＲＤ＿ｃｏｓｔ計算モジュールに接続されており、前記複数のＦＲＵＣフレームのうちの１つにおけるマクロブロックに基づいて、前記ＦフレームマクロブロックＲＤ＿ｃｏｓｔを、対応するＢフレーム内の対応するマクロブロックのＢフレームマクロブロックＲＤ＿ｃｏｓｔと比較するように構成されたモード決定モジュールと
を備えたビデオエンコーダプロセッサ。
【請求項２】
前記モード決定モジュールは更に、前記複数のＦＲＵＣフレームのうちの１つにおけるマクロブロックに基づくＦフレームマクロブロックＲＤ＿ｃｏｓｔが、前記対応するＢフレームにおける対応するマクロブロックのＢフレームマクロブロックＲＤ＿ｃｏｓｔよりも低い場合には、前記の第１フレームのためＦフレーム符号化モードを選択するように構成された請求項１のビデオエンコーダプロセッサ。
【請求項３】
前記対応するＢフレームを生成するＢフレームエンコーダを更に備えた請求項１のビデオエンコーダプロセッサ。
【請求項４】
前記ＦＲＵＣモジュールに接続されており、前記複数のＦＲＵＣフレームのうちの１つにおけるマクロブロックに基づいて絶対差合計（ＳＡＤ）値を計算し、前記対応するＢフレームにおける対応するマクロブロックのＳＡＤ値を計算するＳＡＤ計算モジュールを更に備えた請求項１のビデオエンコーダプロセッサ。
【請求項５】
前記ＳＡＤ計算モジュールは、前記複数のＦＲＵＣフレームのうちの１つのマクロブロックに基づくＳＡＤ値と、前記対応するＢフレームの対応するマクロブロックのＳＡＤ値との差を計算し、前記差を予め定めた閾値と比較するように構成されており、前記ＳＡＤ計算モジュールは、前記差が前記予め定めた閾値よりも小さいのであれば、Ｆフレームモードを表すための単一のビットを生成する請求項４のビデオエンコーダプロセッサ。
【請求項６】
第１のフレームを有するビデオストリームを符号化する方法であって、
前記ビデオストリームから、複数のフレームレートアップ変換（ＦＲＵＣ）フレームを生成することと、
前記複数のＦＲＵＣフレームのうちの１つにおけるマクロブロックに基づいて、Ｆフレームマクロブロックレート歪みコスト（ＲＤ＿ｃｏｓｔ）を計算することであって、前記ＦフレームマクロブロックＲＤ＿ｃｏｓｔは、前記複数のＦＲＵＣフレームのうちの１つにおける前記マクロブロックから前記第１のフレームのマクロブロックを予測するコストを含む、ことと、
前記計算したＦフレームマクロブロックＲＤ＿ｃｏｓｔを、対応するＢフレームにおける対応するマクロブロックのＢフレームマクロブロックＲＤ＿ｃｏｓｔと比較することと、
前記比較の結果に基づいて、前記第１のフレームのための符号化スキームを選択することと
を備えた方法。
【請求項７】
第１のフレームを有するビデオストリームを符号化する装置であって、
前記ビデオストリームから、複数のフレームレートアップ変換（ＦＲＵＣ）フレームを生成する手段と、
前記複数のＦＲＵＣフレームのうちの１つにおけるマクロブロックに基づいて、Ｆフレームマクロブロックレート歪みコスト（ＲＤ＿ｃｏｓｔ）を計算する手段であって、前記ＦフレームマクロブロックＲＤ＿ｃｏｓｔは、前記複数のＦＲＵＣフレームのうちの１つにおける前記マクロブロックから前記第１フレームのマクロブロックを予測するコストを含む、手段と、
前記計算したＦフレームマクロブロックＲＤ＿ｃｏｓｔを、対応するＢフレームにおける対応するマクロブロックのＢフレームマクロブロックＲＤ＿ｃｏｓｔと比較する手段と、
前記比較の結果に基づいて、前記第１のフレームのための符号化スキームを選択する手段と
を備えた装置。
【請求項８】
プロセッサによって実行されると、前記プロセッサに対して、第１のフレームを有するビデオストリームを符号化する方法を実行させる格納された命令を有するコンピュータ読取可能媒体であって、前記方法は、
前記ビデオストリームから、複数のフレームレートアップ変換（ＦＲＵＣ）フレームを生成することと、
前記複数のＦＲＵＣフレームのうちの１つにおけるマクロブロックに基づいて、Ｆフレームマクロブロックレート歪みコスト（ＲＤ＿ｃｏｓｔ）を計算することであって、前記ＦフレームマクロブロックＲＤ＿ｃｏｓｔは、前記複数のＦＲＵＣフレームの１つにおける前記マクロブロックから前記第１フレームのマクロブロックを予測するコストを含む、ことと、
前記計算したＦフレームマクロブロックＲＤ＿ｃｏｓｔを、対応するＢフレームにおける対応するマクロブロックのＢフレームマクロブロックＲＤ＿ｃｏｓｔと比較することと、
前記比較の結果に基づいて、前記第１フレームのための符号化スキームを選択することと
を備えたコンピュータ読取可能媒体。
【外国語明細書】
2011182408000001.pdf