(57)【要約】【解決手段】デジタルビデオ符号化用の適応性イントラリフレッシュ（ＩＲ）技術は、ビデオコンテンツ、又はビデオコンテンツとチャネル条件との組み合わせに基づいてＩＲレートを調節する。ＩＲレートは、フレームレベル又はマクロブロック（ＭＢ）レベルにおいて適用されうる。フレームレベルでは、ＩＲレートは、フレーム内でイントラコード化されるＭＢの割合を指定する。ＭＢレベルでは、ＩＲレートは、特定のＭＢがイントラコード化される統計的確率を定義する。ＩＲレートは、推定チャネル損失確率、フレーム対フレーム変化、及びテクスチャ情報を重み付ける結合数的指標に比例して調節される。ＩＲレートは、比較的低い実装複雑さしか必要としないクローズフォームソリューション（close-form solution）を用いて決定することができる。例えば、そのようなクローズフォーム（close-form）は、反復あるいは徹底的な探索を必要としない。更に、ＩＲレートは、動作推定及び補償前に利用可能なパラメータから決定される。【選択図】      図３
2008516561.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ符号化方法であって、
現在のフレームと別のフレームとの間のフレーム対フレーム変化の測定値を得ることと、
前記現在のフレームのテクスチャ情報を得ることと、
前記フレーム対フレーム変化及び前記テクスチャ情報に基づいて、前記現在のフレームのイントラリフレッシュ（ＩＲ）レートを生成することと
を含む方法。
【請求項２】
前記フレーム対フレーム変化の測定値を得ることは、前記現在のフレームと前記別のフレームとの差分平方和（ＳＳＤ）を得ることを含み、前記テクスチャ情報は、前記現在のフレーム内のテクスチャ複雑さを特徴付ける請求項１の方法。
【請求項３】
前記テクスチャ情報はピクセル変化に基づく請求項１の方法。
【請求項４】
チャネル損失確率の推定値を得ることを更に含み、
前記ＩＲレートを生成することは、前記チャネル損失確率の推定値、前記フレーム対フレーム変化の測定値、及びテクスチャ複雑さに基づいて前記現在のフレームのＩＲレートを生成することを含む請求項１の方法。
【請求項５】
前記チャネル損失確率の推定値を得ることは、遠隔端末から受信した制御メッセージを用いて、又は、遠隔端末によって送信された情報の損失に基づいて前記推定値を得ることを含む請求項４の方法。
【請求項６】
前記ＩＲレートに基づいて、前記現在のフレーム内の全てのマクロブロック（ＭＢ）についてインターコード化又はイントラコード化を選択することを更に含む請求項１の方法。
【請求項７】
前記ＩＲレートに基づいて、前記現在のフレーム内の個々のマクロブロック（ＭＢ）についてインターコード化又はイントラコード化を選択することを更に含む請求項１の方法。
【請求項８】
フレーム毎ベースで前記ＩＲレートを更新することを更に含む請求項１の方法。
【請求項９】
前記現在のフレーム内のマクロブロック毎ベースで前記ＩＲレートを更新することを更に含む請求項１の方法。
【請求項１０】
前記現在のフレーム内の複数のグリッドであって、
各々が、前記現在のフレーム内のマクロブロック（ＭＢ）のサブセットを含む複数のグリッドのうちの１つを選択することと、
前記ＩＲレートを適用し、前記選択されたグリッド内のマクロブロック（ＭＢ）のためにイントラコード化を選択することと
を更に含む請求項１の方法。
【請求項１１】
連続する複数のフレームのうちの各々における異なるグリッドを選択することを更に含み、
前記グリッドの各々は、実質的に等しい数のＭＢを含む請求項１０の方法。
【請求項１２】
連続する複数のフレームのうちの各々における異なるグリッドを選択することを更に含み、
前記グリッドは、異なる数のＭＢを含む請求項１０の方法。
【請求項１３】
マクロブロック（ＭＢ）に関連したテクスチャ情報及び前記ＩＲレートに基づいて、前記現在のフレーム内の前記ＭＢのためにインターコード化又はイントラコード化を選択することを更に含む請求項１の方法。
【請求項１４】
前記ＭＢに関連したテクスチャ情報に基づく前記ＭＢの選択と、前記ＭＢの周期的パターンの選択との組み合わせに基づいて、前記現在のフレーム内の前記ＭＢのためにインターコード化又はイントラコード化を選択することを更に含む請求項１３の方法。
【請求項１５】
イントラフレーム周期に基づいて前記ＩＲレートを調節することを更に含む請求項１の方法。
【請求項１６】
現在のフレームのテクスチャ情報と、前記現在のフレームと別のフレームとの間のフレーム対フレーム変化の測定値とに基づいて、前記現在のフレームのためのイントラリフレッシュ（ＩＲ）レートを生成するＩＲレート制御ユニットと、
前記ＩＲレートに基づいて、前記現在のフレーム内のマクロブロック（ＭＢ）のためにインターコード化又はイントラコード化を選択するモード選択ユニットと
を備えるビデオエンコーダ。
【請求項１７】
前記フレーム対フレーム変化は、前記現在のフレームと前記別のフレームとの差分平方和（ＳＳＤ）であり、前記テクスチャ情報は、前記現在のフレーム内のテクスチャ複雑さを特徴付ける請求項１６のビデオエンコーダ。
【請求項１８】
前記テクスチャ情報はピクセル変化に基づく請求項１６のビデオエンコーダ。
【請求項１９】
前記ＩＲレート制御ユニットは、前記現在のフレームと別のフレームとの間のフレーム対フレーム変化の測定値、前記現在のフレームのテクスチャ情報、及び推定されたチャネル損失確率に基づいて前記ＩＲレートを生成する請求項１６のビデオエンコーダ。
【請求項２０】
前記チャネル損失確率の推定値は、遠隔端末から受信した制御メッセージ、又は、遠隔端末によって送信された情報の損失に基づく請求項１９のビデオエンコーダ。
【請求項２１】
前記モード選択ユニットは、前記ＩＲレートに基づいて、前記現在のフレーム内の全てのマクロブロック（ＭＢ）についてインターコード化又はイントラコード化を選択する請求項１６のビデオエンコーダ。
【請求項２２】
前記モード選択ユニットは、前記ＩＲレートに基づいて、前記現在のフレーム内の個々のマクロブロック（ＭＢ）についてインターコード化又はイントラコード化を選択する請求項１６のビデオエンコーダ。
【請求項２３】
前記ＩＲレート制御ユニットは、フレーム毎ベースで前記ＩＲレートを更新する請求項１６のビデオエンコーダ。
【請求項２４】
前記ＩＲレート制御ユニットは、前記現在のフレーム内のマクロブロック毎ベースで前記ＩＲレートを更新する請求項１６のビデオエンコーダ。
【請求項２５】
前記モード選択ユニットが、前記現在のフレーム内の複数のグリッドであって、各々が、前記現在のフレーム内のマクロブロック（ＭＢ）のサブセットを含む複数のグリッドのうちの１つを選択し、前記ＩＲレートを適用し、前記選択されたグリッド内のマクロブロック（ＭＢ）のためにイントラコード化を選択する請求項１６のビデオエンコーダ。
【請求項２６】
前記モード選択ユニットは、連続する複数のフレームのうちの各々において異なるグリッドを選択し、前記グリッドの各々は、実質的に等しい数のＭＢを含む請求項２５のビデオエンコーダ。
【請求項２７】
前記モード選択ユニットは、連続する複数のフレームのうちの各々における異なるグリッドを選択し、前記グリッドは、異なる数のＭＢを含む請求項２５のビデオエンコーダ。
【請求項２８】
前記モード選択ユニットは、ＭＢに関連したテクスチャ情報及び前記ＩＲレートに基づいて、前記現在のフレーム内の前記ＭＢのためにインターコード化又はイントラコード化を選択する請求項１６のビデオエンコーダ。
【請求項２９】
前記モード選択ユニットは、前記ＭＢに関連したテクスチャ情報に基づく前記ＭＢの選択と、前記ＭＢの周期的パターンの選択との組み合わせに基づいて、前記現在のフレーム内の前記ＭＢのためにインターコード化又はイントラコード化を選択する請求項１６のビデオエンコーダ。
【請求項３０】
前記ＩＲレート制御ユニットは、イントラフレーム周期に基づいて前記ＩＲレートを調節する請求項１６のビデオエンコーダ。
【請求項３１】
ビデオエンコーダ内のプロセッサに対して、
現在のフレームと別のフレームとの間のフレーム対フレーム変化の測定値を得ることと、
前記現在のフレームのテクスチャ情報を得ることと、
前記フレーム対フレーム変化及び前記テクスチャ情報に基づいて、前記現在のフレームのイントラリフレッシュ（ＩＲ）レートを生成することと
をさせる命令を備えたコンピュータ読取可能媒体。
【請求項３２】
前記プロセッサに対して、前記フレーム対フレーム変化を、前記現在のフレームと前記別のフレームとの差分平方和（ＳＳＤ）として得ることをさせる命令を更に備え、
前記テクスチャ情報は、前記現在のフレーム内のテクスチャ複雑さを特徴付ける請求項３１のコンピュータ読取可能媒体。
【請求項３３】
前記テクスチャ情報はピクセル変化に基づく請求項３１のコンピュータ読取可能媒体。
【請求項３４】
前記プロセッサに対して、
チャネル損失確率の推定値を得ることと、
前記チャネル損失確率の推定値、前記フレーム対フレーム変化、及び前記テクスチャ情報に基づいて前記ＩＲレートを生成することと
をさせる命令を更に備える請求項３１のコンピュータ読取可能媒体。
【請求項３５】
ビデオ符号化方法であって、
現在のビデオフレームのビデオコンテンツに基づいて、前記現在のビデオフレームのためのイントラリフレッシュ（ＩＲ）レートを生成することと、
前記ＩＲレートに基づいて、前記現在のフレーム内のマクロブロック（ＭＢ）のためにインターコード化又はイントラコード化を選択することと
を含む方法。
【請求項３６】
現在のビデオフレームのビデオコンテンツに基づいて、前記現在のビデオフレームのためのイントラリフレッシュ（ＩＲ）レートを生成するイントラリフレッシュ（ＩＲ）レート制御ユニットと、
前記ＩＲレートに基づいて、前記現在のフレーム内のマクロブロック（ＭＢ）のためにインターコード化又はイントラコード化を選択するモード選択ユニットと
を備えるビデオエンコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、デジタルビデオ符号化に関し、特に、デジタルビデオフレームを圧縮する場合における適応性イントラリフレッシュのための技術に関する。
【背景技術】
【０００２】
デジタルビデオシーケンスの符号化のために、多くの異なるビデオ符号化規格が確立されている。例えばＭＰＥＧ（Moving Picture Experts Group）は、ＭＰＥＧ−１、ＭＰＥＧ−２、及びＭＰＥＧ−４を含む多くの規格を開発している。他の例は、国際電気通信連合（ＩＴＵ）Ｈ．２６３規格、及び新興のＩＴＵ  Ｈ．２６４規格を含む。これらのビデオ符号化規格は、一般に、データを圧縮方式で符号化することにより、改善されたビデオシーケンスの送信効率をサポートする。圧縮は、ビデオフレームの効率的な送信のために送信される必要のある全体データ量を低減する。
【０００３】
例えば、ＭＰＥＧ−４、ＩＴＵ  Ｈ．２６３、及びＩＴＵ  Ｈ．２６４規格は、時間的な相関又はフレーム間相関とも称されており、フレーム間圧縮を提供するために、連続したビデオフレーム間の類似性を利用するビデオ符号化技術をサポートする。フレーム間圧縮技術は、ビデオフレームのピクセルベースの表示を、動作表示に変換することによって、フレームにわたるデータ冗長性を利用する。フレーム間技術を使用して符号化されるフレームは、Ｐ（「予測的」（predictive））フレーム、又はＢ（「双方向」（bi-directional））フレームと呼ばれる。幾つかのフレーム、あるいはフレーム内のマクロブロック（ＭＢ）は、非予測的である空間的なイントラフレーム圧縮を用いて符号化される。イントラコードフレームは、一般に、Ｉ（「イントラ」）フレームと称される。
【０００４】
無線ネットワークによるビデオデータの送信は、チャネル損失によって信頼性が低くなりえる。チャネル損失に起因する誤りは、ユーザに示されるビデオの品質に悪い影響を与えうる。特に、チャネル誤りは、現在のフレームの品質のみならず、動作推定及び圧縮技術を用いて現在のフレームから生成される後のインターコードフレームの品質をも下げる。１つのフレームから別のフレームへのチャネル誘導誤りの伝搬を制限するために、ビデオエンコーダは一般に、イントラリフレッシュ（ＩＲ）技術を適用する。ＩＲ技術によれば、Ｐフレーム内のＭＢは、インターコード化されるのではなく、選択的にイントラコード化される。イントラコード化されたＭＢは、誤り回復力を改善することができるが、送信されねばならないビット数の増加を必要とする。従って、ＩＲレートは、誤り回復力と帯域幅効率との両方の観点から符号化性能にインパクトを与える。
【非特許文献１】Z. He, J. Cai, and CW. Chen, "Joint source channel rate- distortion analysis for adaptive mode selection and rate control in wireless video coding," IEEE Transactions on Circuits and Systems for Video Technology, Volume: 12 , Issue: 6 , June 2002, pages: 511 - 523.
【発明の開示】
【０００５】
本出願は、本明細書に参照によってその全体が組み込まれ、２００４年１０月１２日に出願された米国仮出願６０／６１８，３８３号の利益を要求する。
【０００６】
本開示は、例えばＭＢのように、デジタルビデオフレーム内のビデオブロックの適応性ＩＲのための技術に向けられる。本技術は、ビデオコンテンツ、又はビデオコンテンツとチャネル条件との組み合わせに基づいてＩＲレートを調節する。ＩＲレートは、フレームレベルあるいはＭＢレベルで適用されうる。フレームレベルでは、ＩＲレートは、フレーム内でイントラコード化されるＭＢの割合を指定する。ＭＢレベルでは、ＩＲレートは、特定のＭＢがイントラコード化される統計的確率を定義する。
【０００７】
ビデオコンテンツは、フレーム対フレーム変化、及びフレーム内テクスチャ情報の両方に基づいて評価されうる。フレーム対フレーム変化は、例えば、フレームからフレームへの差分平方和（ＳＳＤ）によって判断されうる。フレームテクスチャ情報は、一般にテクスチャ複雑さを示すフレーム分散の観点から特徴付けることができる。チャネル条件は、推定チャネル損失確率から決定されるかもしれない。
【０００８】
ＩＲレートは、推定されたフレーム対フレームＳＳＤ、テクスチャ情報、及びチャネル損失確率を重み付ける結合数的指標に比例して調節される。結合数的指標は、推定チャネル損失確率及びＳＳＤに比例するが、フレーム分散に逆比例する。結合数的指標が変化すると、ＩＲレートが変化し、誤り回復力、帯域幅効率、及び実装複雑さのバランスを保つ適応性ＩＲスキームを提供する。
【０００９】
特に、ＩＲレートは、比較的低い実装複雑さしか要求しないクローズフォームソリューション（close-form solution）を用いて決定することができる。例えば、そのようなクローズフォームは一般に、反復又は徹底的な探索を必要としない。更に、ＩＲレートは、特定のフレーム又はＭＢについて動作推定及び動作補償が実行される前に利用可能なパラメータから決定することができる。
【００１０】
１つの実施形態では、本開示は、現在のフレームと別のフレームとの間のフレーム対フレーム変化の測定値を取得することと、現在のフレームのためのテクスチャ情報を取得することと、フレーム対フレーム変化とテクスチャ情報とに基づいて、現在のフレームのためのイントラリフレッシュ（ＩＲ）レートを生成することとを含むビデオ符号化方法を提供する。
【００１１】
別の実施形態では、本開示は、現在のフレームと別のフレームとの間のフレーム対フレーム変化の測定値と、現在のフレームのテクスチャ情報とに基づいて、現在のフレームのイントラリフレッシュ（ＩＲ）レートを生成するＩＲ制御ユニットと、前記ＩＲレートに基づいて、現在のフレーム内のマクロブロック（ＭＢ）のためのインターコード又はイントラコードを選択するモード選択ユニットとを備えるビデオエンコーダを提供する。
【００１２】
追加の実施形態では、本開示は、現在のビデオフレームのビデオコンテンツに基づいて、現在のビデオフレームのためのイントラリフレッシュ（ＩＲ）レートを生成することと、前記ＩＲレートに基づいて、現在のフレーム内のマクロブロック（ＭＢ）のためのインターコード化又はイントラコード化を選択することとを含むビデオ符号化方法を提供する。
【００１３】
別の実施形態では、本開示は、現在のビデオフレームのビデオコンテンツに基づいて、現在のビデオフレームのためのイントラリフレッシュ（ＩＲ）レートを生成するＩＲレート制御ユニットと、前記ＩＲレートに基づいて、現在のフレーム内のマクロブロック（ＭＢ）のためのインターコード化又はイントラコード化を選択するモード選択ユニットとを備えるビデオエンコーダを備える。
【００１４】
本開示は更に、ビデオエンコーダを形成する１又は複数のプロセッサに対して、本明細書で開示された技術のうちの１つを実行させる命令を含むコンピュータ読取可能媒体を考慮する。
【００１５】
１又は複数の実施形態の詳細は、添付図面と以下の説明において述べられる。他の特徴、目的、及び利点は、説明、図面、及び特許請求の範囲から明白になる。
【発明を実施するための最良の形態】
【００１６】
図１は、ビデオ符号化および復号システム１０を例示するブロック図である。図１に示すように、システム１０は、送信チャネル１６によって接続されたエンコーダシステム１２及びデコーダシステム１４を含んでいる。エンコーダシステム１２は、マルチプレクサ（ＭＵＸ）１８、ビデオエンコーダ２０、及びオーディオエンコーダ２２を含んでいる。デコーダシステム１４は、デマルチプレクサ（ＤＥＭＵＸ）２６、ビデオデコーダ２８、及びオーディオデコーダ３０を含んでいる。記載されるように、ビデオエンコーダ２０は、適応性ＩＲ技術を適用するように構成されうる。適応性ＩＲ技術によれば、ビデオエンコーダ２０は、特定のＰフレーム内の、例えばＭＢのようなビデオブロックがイントラリフレッシュされるＩＲレートを決定する。ＩＲレートは、一般に、イントラリフレッシュされるＭＢの数を決定し、フレームレベル又はＭＢレベルにおいて適用される。
【００１７】
ＩＲレートは、ビデオコンテンツ、あるいはビデオコンテンツとチャネル条件との組み合わせに基づいて決定されうる。例えば、ＩＲレートは、推定チャネル損失確率、現在のフレームと他のフレームとの間のフレーム対フレーム変化、及び現在のフレームのテクスチャ情報を測定する結合数的指標に基づいて決定されうる。従って、適応性ＩＲ技術は、ビデオコンテンツとチャネル条件との両方を考慮しうる。ＩＲレートが与えられると、ビデオエンコーダ２０は、更に、フレーム内でイントラリフレッシュされるべきである特定のＭＢを識別するために、適応性探索技術を用いるかもしれない。この適応性探索技術は、テクスチャ情報に依存しうる。そして、動作推定前に実行することができる。
【００１８】
システム１０は、例えばビデオ電話通信のために、双方向ビデオ送信を提供するかもしれない。従って、相補的な（reciprocal）符号化、復号、ＭＵＸ及びＤＥＭＵＸの要素が、チャネル１６の反対側に提供されうる。幾つかの実施形態では、エンコーダシステム１２及びデコーダシステム１４は、ビデオストリーミング、ビデオ電話通信、あるいはその両方のために備えられた無線モバイル端末のようなビデオ通信デバイス内に組み込まれうる。モバイル端末は、セッション開始プロトコル（ＳＩＰ：Session Initiated Protocol）、ＩＴＵ  Ｈ．３２３規格、ＩＴＵ  Ｈ．３２４Ｍ規格、又はその他の規格に従ってビデオ電話通信をサポートすることができる。
【００１９】
ビデオエンコーダ２０は、例えばＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ  Ｈ．２６３、又はＩＴＵ  Ｈ．２６４のようなビデオ圧縮規格に従って符号化されるビデオデータを生成する。オーディオエンコーダ２２は、ビデオデータを伴うオーディオデータを符号化する。ＭＵＸ１８は、ビデオエンコーダ２０及びオーディオエンコーダ２２から、適応レイヤビデオデータユニット及びオーディオデータユニットを取得する。ＭＵＸ１８は、このビデオデータ及びオーディオデータを多重化して、チャネル１６を経由して送信するために一連の多重化データユニットを生成する。一例として、ＭＵＸ１８及びＤＥＭＵＸ２６は、ＩＴＵによって公開されているＨ．２２３多重化プロトコルに従って動作しうる。しかしながら、例えばユーザデータグラムプロトコル（ＵＤＰ）のような他のプロトコルも使用されうる。
【００２０】
チャネル１６は、この多重化された情報を、論理送信ユニット（ＬＴＵ）と称されうる物理レイヤデータユニットとしてデコーダシステム１４へ運ぶ。チャネル１６は、エンコーダシステム１２とデコーダシステム１４との間の任意の物理的な接続でありうる。例えば、チャネル１６は、ローカルあるいはワイドエリアネットワークのような有線接続でありうる。あるいは、本明細書に記載するように、チャネル１６は、セルラ、衛星、又は光接続のような無線接続かもしれない。これは、送信パケットの損失による重大な誤りの傾向がありうる。チャネル１６は、例えばＷ−ＣＤＭＡ、ＣＤＭＡ２０００  １ｘ、ＣＤＭＡ２０００  １ｘ  ＥＶ−ＤＯ、あるいはＣＤＭＡ２０００  ＥＶ−ＤＶのような様々なラジオ周波数（ＲＦ）プロトコルのうちの何れかに従った無線パケットの送信をサポートしうる。
【００２１】
ＤＥＭＵＸ２６は、ＬＴＵから多重化データユニットを識別し、多重化レイヤデータユニットのコンテンツを逆多重化して、ビデオ及びオーディオの適応レイヤデータユニットを生成する。これら適応レイヤデータユニットは、適応レイヤ内で処理され、ビデオデータフレームを生成する。ビデオデコーダ２８は、アプリケーションレイヤにおいてビデオデータフレームを復号し、ディスプレイデバイスの駆動に使用されるビデオデータのストリームを生成する。特に、ビデオデコーダ２８は、ビデオデータフレーム内の個々のビデオスライスを復号する。オーディオデコーダ３０は、オーディオデータを復号し、オーディオを生成する。
【００２２】
ビデオエンコーダ２０によって適用される適応性ＩＲ技術は、比較的低い複雑さで適用されうる。この技術に従って、ビデオエンコーダ２０は、調節されたＩＲレートで、Ｐフレーム内のＭＢをイントラリフレッシュする。フレーム対フレーム変化、テクスチャ情報、及び推定チャネル損失確率を用いて、ビデオエンコーダ２０は、到来するビデオフレームに対するＩＲレートを動的に調節する。このＩＲレートは、各フレームのために調節されるか、あるいは与えられたフレーム内のＭＢのために調節されうる。
【００２３】
チャネル、変化、及びテクスチャのパラメータが重み付けられ、ＩＲレートの調節のための基本として役立つ結合数的指標が生成される。このように、ビデオエンコーダ２０は、チャネル及びコンテンツの両方に適応するＩＲ技術を用いるように構成することができる。特に、チャネル条件は、推定チャネル損失確率によって表される。一方、ビデオコンテンツは、現在のフレームと他のフレームとの間のフレーム対フレーム変化と、現在のフレームのテクスチャ情報との両方によって表される。
【００２４】
フレーム対フレーム変化は、現在のフレームと前のフレームとの間の差分平方和（ＳＳＤ）数的指標によって決定することができる。テクスチャ情報は、現在のフレーム又はＭＢ内の分散によって決定されうる。分散は、フレーム又はＭＢ内のビデオコンテンツのピクセル変化を表わす。高い分散は、一般に、与えられたフレーム又はＭＢ内のより複雑なビデオコンテンツを示し、より高いイントラコード化費用と関連する傾向にある。しかしながら、より高いチャネル損失、及びフレーム対フレーム変化は、誤り伝播によるより高い誤り率又は品質低下と関連し、かつ誤り回復のためにイントラコード化をサポートする傾向にある。
【００２５】
チャネル及びビデオコンテンツパラメータを考慮することによって、誤り回復力と符号化効率とのバランスを保つ適応性アプローチが可能となる。更に、以下に説明するように、動作推定に先立って利用可能なパラメータを考慮することによって、この適応性ＩＲ技術は、低い実装複雑さを可能とする。特に、ＩＲ技術は、符号化プロセス全体を完了させる必要のないクローズフォームソリューションを利用する。
【００２６】
本明細書に記載のＩＲ技術は、汎用マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）、フィールドプログラム可能なゲートアレイ（ＦＰＧＡ）、又はその他の等価な論理デバイス内に実装される。例えば、ビデオエンコーダシステム１２、及びそのコンポーネントは、デジタル信号プロセッサ（ＤＳＰ）又はその他の制御デバイス上で動作する符号化プロセス、又は符号化／復号（ＣＯＤＥＣ）プロセスの一部として実施されうる。従って、モジュールとして記載されるコンポーネントは、そのようなプロセスのうちのプログラム可能な機能を形成するかもしれず、また、共通のプロセッサ又は個別のプロセッサ上でともに実現されうる。
【００２７】
ビデオエンコーダシステム１２は、専用のハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせに加えて、命令及びデータを格納するための専用メモリを備えうる。もしソフトウェアで実現されれば、この技術は、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、非揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電子的消去可能プログラマブル読取専用メモリ（ＥＥＰＲＯＭ）、ＦＬＡＳＨメモリ、磁気媒体、光媒体等のようなコンピュータ読取可能媒体上の命令として具体化されうる。それら命令は、１又は複数のプロセッサに対して、本開示で記載された機能のある局面を実行させる。
【００２８】
図２は、本開示に従った適応性ＩＲ技術を使用するビデオエンコーダ２０を例示するブロック図である。図２に示すように、ビデオエンコーダ２０は、インターコーダ３２、イントラコーダ３４、差分ユニット３６、変換（Ｔ）ユニット３８、及び量子化（Ｑ）ユニット４０を含む。差分ユニット３６は、到来するデジタルビデオフレームＦｎからインター又はイントラ予測Ｐを引き、差分Ｄｎを生成する。インター又はイントラ予測Ｐは、インターコーダ３２又はイントラコーダ３４のうちの何れか一方から得られる。変換ユニット３８は、離散コサイン変換（ＤＣＴ）のような標準的な圧縮変換を使用して、差分ユニット３６の出力を、周波数成分に変換する。量子化ユニット４０は、変換された出力を量子化して、量子化変換係数のセットＸを生成する。
【００２９】
インターコーダ３２は、例えばＭＰＥＧ−４又はＨ．２６４圧縮方法に従って、フレームＦｎのインターコード化を実行する。図２に示すように、インターコーダ３２は、動作推定（ＭＥ）ユニット４２と、動作補償（ＭＣ）ユニット４４とを含み、１又は複数の前に符号化されたフレーム
【数１】
2008516561.tif 000003
【００３０】
に対する、到来フレームＦｎの標準的なインターコード化をサポートする。特に、インター予測Ｐは、１又は複数の前のフレーム
【数２】
2008516561.tif 000004
【００３１】
からの動作補償予測によって生成される。前のフレームは、以前に符号化され、
【数３】
2008516561.tif 000005
【００３２】
を生成するために再構築される。
【００３３】
イントラコーダ３４は、到来するビデオフレームＦｎのイントラコード化を実行し、イントラ予測Ｐを生成する。イントラ予測は、以前に符号化され、復号され、更に再構築されて、再構築フレーム
【数４】
2008516561.tif 000006
【００３４】
を生成する現在のフレームＦｎ内のサンプルから生成される。結果として得られるイントラ予測Ｐは、差分Ｄｎを生成するために、ビデオエンコーダ２０がイントラモードで動作しているときに差分ユニット３６に加えられる。イントラコーダ３４は、イントラコード化を実行してＩフレームを生成するか、又はＰフレーム内でイントラコード選択されたＭＢを生成し、イントラリフレッシュをサポートする。
【００３５】
モード選択ユニット４６は、例えばフレーム毎、あるいはＭＢ毎ベースで、インターコード化とイントラコード化との間を選択的に切リ換える。特に、モード選択ユニット４６は、フレームレベル又はＭＢレベルの何れか一方で、インターコーダ３２又はイントラコーダ３４の何れか一方の出力を選択する。このように、モード選択ユニット４６は、差分ユニット３６に加えられる予測Ｐが、インターコード化又はイントラコード化されるかを決定する。モード選択ユニット４６は、ＩＲレート制御ユニット４８に応答する。ＩＲレート制御ユニット４８は、ビデオエンコーダ２０内のＩＲレートを動的に調節し、モード選択ユニット４６を制御する。
【００３６】
ＩＲレート制御ユニット４８は、フレーム毎ベース、又はＭＢ毎ベースで、ＩＲレートを更新する。ＩＲレートがフレーム全体に対して決定される場合、そのＩＲレートは、フレーム中の全てのＭＢに当てはまる。しかしながら、ＩＲレートが、個々のＭＢのために決定される場合、ＩＲレートは、ＭＢ毎に変わりうる。この場合、ＩＲレートは、確率として個々のＭＢに対して加えられ、イントラコード化が適用されるべきかが決定される。
【００３７】
上述したように、ＩＲレート制御ユニット４８は、チャネル入力及びコンテンツ入力の組み合わせに基づいて、順応的にＩＲレートを調節する。特に、図２に示すように、ＩＲレート制御ユニット４８は、推定チャネル損失確率(CHANNEL LOSS)、差分平方和（ＳＳＤ）値でありうるフレーム対フレーム又はＭＢ対ＭＢ変化値、及びピクセルレベル分散(VARIANCE)に関して表されうるテクスチャ値を受け取って処理する。
【００３８】
推定チャネル損失確率は、チャネル１６を介して送信される場合、現在のフレームが失われる確率を定量化し、もって、チャネルを特徴付ける。ＳＳＤ及び分散は、符号化されるフレーム又はＭＢの実際のコンテンツを特徴付ける。また、ＩＲレート制御ユニットは、チャネル損失及びビデオコンテンツの両方における変化に対して順応性がある。
【００３９】
CHANNEL LOSS、SSD、及び分散は、個々に重み付けられ、合計され、ＩＲレート調節のための結合数的指標が形成される。ＩＲレート制御ユニット４８は、ＩＲレートを調節することによって、結合数的指標における変化に応答する。ＩＲレートはその後、フレームレベルベース又はＭＢレベルベースでインターコード化又はイントラコード化のうちの何れか一方を選択するために、制御モード選択ユニット４６に加えられる。
【００４０】
特に、ＩＲレート制御ユニット４８は、事前モードで、すなわちフレーム又はＭＢが動作推定及び動作補償を用いてインターコード化される前に取得されうる容易に利用可能なパラメータに依存する。このように、ＩＲレートは、反復的又は徹底的な探索ではなく、クローズフォームソリューションを用いて決定することができる。これは、比較的低い実装複雑さを提供する。
【００４１】
ＩＲレート制御ユニット４８は、Ｐフレーム内のＭＢがイントラコード化されるべきかを判定する際に、チャネル条件及びビデオコンテンツにおける変化に適応する。一般に、ＩＲレートは、ＳＳＤ及び分散が一定であり、推定チャネル損失確率が増加する場合に増加し、推定チャネル損失確率が一定であり、ＳＳＤが増加する場合に増加する。しかしながら、ＩＲレートは、現在のフレーム内のビデオコンテンツの分散が増加すると減少する。これら入力量が変わるとＩＲレートは変化する。これは、本技術の適応性のある性質を反映している。
【００４２】
ＩＲレート制御ユニット４８によって生成されたＩＲレートは、ＩＲ決定を与えるために、モード選択ユニット４６によって使用される。ＩＲ決定は、予測Ｐのために、インターコーダ３２又はイントラコーダ３４かのうちの何れか一方の出力を選択する。このモード選択は、フレームレベルにおいて適用することができ、これによって、ＩＲレートが、フレーム全体のために固定されるようになる。この場合、モード選択ユニット４６は、フレーム全体のためにＩＲレートを適用するが、ＩＲレートを満足するために十分な数にイントラリフレッシュされる特定のＭＢを選択する必要がある。しかしながら、ＩＲレートがＭＢレベルに決定されるのであれば、モード選択ユニット４６は、フレーム内のＭＢをスキャンすると、ＩＲレートにおける変化に反応する。
【００４３】
フレームレベル実装では、ＩＲレート制御ユニット４８によって生成されるＩＲレートは、イントラコード化されるに違いない現在のフレーム内のＭＢの固定された割合として表現されうる。ＭＢレベル実装では、ＩＲレートは、特定のＭＢがイントラコード化される統計的確率として表現されうる。ＳＳＤ及び分散は、フレームレベル実装に対してフレームレベルで、及びＭＢレベル実装に対してＭＢレベルで測定される。チャネル条件測定値は、定期的に得られ、フレームレベルあるいはＭＢレベルのＩＲレート調節の何れかのために使用されうる。
【００４４】
フレームのテクスチャ情報は、分散の観点から表すことができる。一般に、現在のフレーム又はＭＢ内のビデオコンテンツの分散は、現在のコンテンツをイントラコード化するコストを表す。フレーム内の隣接ＭＢ間に著しい変化がある場合、イントラコード化は、インターコード化よりも著しく多くのビットを必要とするだろう。フレームからフレームへのＳＳＤは、フレームからフレームへの動作量を表わす。そして、パケット損失が送信チャネルにおいて起こる事象における潜在的なデコーダ歪みに直接マップする。従って、より高いＳＳＤは、誤り回復の目的のために、イントラコード化を好む。本開示に記載された適応性ＩＲレート技術は、特定のデータレートが与えられた歪み全体を低減しながら、圧縮効率と誤りロバスト性との間のバランスを保つことができる。
【００４５】
ＳＳＤは、フレームレベル実装ではフレーム全体で、ＭＢレベル実装では同一場所に配置されたＭＢで測定することができる。ＳＳＤは、何れの動作推定及び補償が実行される前に、前のフレームＦｎ−１の再構築されたあるいはオリジナルのバージョンと、現在のフレームＦｎのオリジナルバージョンとの間で測定することができる。このように、初期の「事前モード」決定は、ＩＲレートに関連して行うことができる。あるいは、幾つかの実施形態では、ＳＳＤ、あるいは絶対差の合計（ＳＡＤ）数的指標が、動作補償が実行された後にフレーム間で測定される。
【００４６】
推定チャネル損失確率は、様々な異なる方法で得ることができる。一例として、推定チャネル損失確率は、例えば、Ｈ．３ｘｘベースのビデオ電話通信規格のＨ．２４５シグナリング、又は品質サービス（ＱｏＳ）フィードバックの形態によるリアルタイム伝送制御プロトコル（ＲＴＣＰ）による遠隔端末からの受信機フィードバックに基づいて決定されうる。単純な代替例として、推定チャネル損失確率は、チャネル１６の送受信方向におけるチャネル歪みの対称性を仮定して、遠隔端末から受信したビットストリームからの損失統計量を用いて、エンコーダ側で推定することができる。何れの場合も、ＳＳＤ及び分散と異なり、チャネル損失確率は、検討中のフレーム又はＭＢとの正確な時間的相関を与えないかもしれないが、比較的頻繁に得ることができる。
【００４７】
フレームレベル実装では、イントラコード化されるＭＢの割合が、与えられたＰフレームのために決定された後、イントラコード化される実際のＭＢは、異なる方法で決定することができる。モード選択ユニット４６は、ＩＲレート制御ユニット４８によって規定されたＩＲレートを満足するために、ＭＢの領域、又は個々のＭＢを選択するように構成されうる。例えば、ＭＢは、ＭＢが、フレームからフレームへと、連続的に、かつ、周期的に、固定され予め定められたパターンでイントラリフレッシュされる周期的アプローチに従って選択することができる。
【００４８】
あるいは、モード選択ユニット４６は、予め定めたルールに従ってＭＢを区別しうる。例えば、特定のしきい値未満の低分散を有するＭＢは、高分散（及び高いコード化費用）を有するＭＢと比較して、イントラリフレッシュのために、モード選択ユニット４６によって優先的に選択することができる。この場合、イントラリフレッシュされるＭＢの探索が、ビデオコンテンツ、更に詳しくは、ＭＢによって表されるアンダーレイビデオのテクスチャに従って実行される。
【００４９】
更に他の代替例として、様々なランダムアプローチが、ＭＢを識別するためにＩＲのために使用されうる。例えば、幾つかのランダムなアプローチは、ＭＢのランダム選択、又はランダムベースでのフレーム内のＭＢの異なる領域の選択を含みうる。更に別のアプローチは、周期的、適応性、及びランダム局面を結合し、ハイブリッドなＩＲ技術を提供しうる。
【００５０】
上述した各ＭＢ選択技術に従って、フレームレベル実装については、与えられたＰフレーム内でイントラリフレッシュされたＭＢの数は、ＩＲレート制御ユニット４８によって指定されたＩＲレートに相当する。しかしながら、ＭＢレベル実装については、検討中のＭＢは、ＩＲレート制御ユニット４８によってそれぞれのＭＢのために計算されたＩＲレートに従って、イントラリフレッシュのために選択される。ＩＲレートが決定され、与えられたＰフレームの全体にわたってＭＢ毎ベースで適用される。この場合、ＩＲレートは、確率として適用され、モード選択結果は、「確率によりバイアスされたコインをフリップする（flipping a probability-biased coin）」効果を持つ。言い換えると、検討中のＭＢが、ＩＲレート制御ユニット４８によって割り当てられた高ＩＲレートを持つのであれば、モード選択ユニット４６によって、イントラリフレッシュのために選択される確率が高くなるであろう。
【００５１】
本明細書に記載の適応性ＩＲレート技術は、現在のフレーム又はＭＢに対して、例えばＳＳＤ及び分散のようなビデオコンテンツにおける変化に対して応答するという意味で、自己コンテンツ適応性があると考えることができる。更に、有利なことに、そのような変化は、フレーム又はＭＢについて如何なる推定及び補償が行われる前に検出することができる。ある場合には、そのような技術は、単一のサンプルシーケンスを使用して調整され、いかなるパラメータ又はしきい値を調整又は設定することなく、ビデオシーケンスに適用される。この適応性ＩＲレート技術はまた、イントラコード化されたフレームの周期及び推定チャネル損失確率に従ってＩＲレートを調節することによって、イントラコード化されたフレームが使用される場合にも良好に動作する。
【００５２】
幾つかの実施形態では、フレームレベル又はＭＢレベルの何れかにおいて、ＩＲレートは、ビデオコンテンツ及びチャネル条件と共に、例えばイントラフレーム周期、フレームレート、データレート、フレームサイズ等のようなシステム設定に従って予め決定することができる。従って、この適応性ＩＲレート制御技術は、推定チャネル損失確率、ＳＳＤ、及び分散に対して応答するのみならず、ビデオエンコーダ２０のために確立された１又は複数のシステム設定パラメータに対しても応答しうる。
【００５３】
幾つかの実施形態では、複雑さを低減するために、ＩＲレート制御技術は、上述した入力のサブセットを考慮するように単純化される。例えば、推定チャネル損失確率、ＳＳＤ、及び分散を考慮する代わりに、本技術は、推定チャネル損失確率のみを考慮するように構成されうる。このように、ＩＲレート制御は、ＩＲレートを決定するために、ビデオコンテンツにアクセスする必要さえもなくなる。代わりに、ＩＲレートは、推定チャネル損失確率のみによって決定され、ほとんどのビデオシーケンスのために動作するように調整することができる。この限定された技術は、それほど効果的ではないかもしれないが、複雑さを低減するために望ましいかもしれない追加オプションを提供する。
【００５４】
図３は、典型的な適応性ＩＲ技術の動作を例示するフローチャートである。図３の例では、ＩＲレート制御ユニット４８は、ビデオエンコーダ２０のため１又は複数の選択されたシステム設定パラメータを決定する（５０）。上述したように、例えば、ＩＲレート制御ユニット４８は、ビデオエンコーダ２０のために選択されたイントラフレーム周期、フレームレート、データレート、及びフレームサイズを決定する。その後、ＩＲレート制御ユニット４８は、推定チャネル損失確率（５２）と、ＳＳＤ値によって表されるフレーム変化（５４）と、ピクセル変化によって表されるテクスチャ（５６）とを受け取る。上述したように、推定チャネル損失確率は、様々な方法で決定されうる。
【００５５】
推定チャネル損失確率、フレーム変化とテクスチャ、及びオプションとしての１又は複数のシステム設定パラメータに基づいて、ＩＲレート制御ユニット４８は、新たなＩＲレートを計算し（５８）、現在のフレーム又はＭＢに関する事前モードＩＲ決定の生成（６０）のためにそのＩＲレートをモード選択ユニット４６に渡す。説明するように、フレームレベル実装では、ＩＲ決定は、周期的ＩＲ（ＣＩＲ）、適応性ＩＲ（ＡＩＲ）、又はランダムＩＲ（ＲＩＲ）スキームによって実行されうる（６０）。ＣＩＲスキームによれば、ＭＢは、周期的なパターンでリフレッシュされる。ＡＩＲスキームは、イントラリフレッシュするＭＢを選択するために、例えば分散のようなテクスチャ情報に基づいて個々のＭＢを評価しうる。ＲＩＲは、イントラリフレッシュする個々のＭＢ、又はＭＢのグループをランダムに選択することを含む。
【００５６】
各々の場合において、イントラリフレッシュされるＭＢの数は、ＩＲレート制御ユニット４８によって計算される（５８）ＩＲレートに対応する。ＡＩＲ、ＲＩＡ、又はＣＩＲとＡＩＲとＲＩＲとの局面を結合するハイブリッドＩＲは、イントラリフレッシュの局在化を阻止することができる。ハイブリッドＩＲスキームは、チャネル歪みを低減するために、近隣ＭＢ及びフレームにおけるイントラコード化されたＭＢと、インターコード化されたＭＢとの間の品質差を最小にしながら、周期的及び適応性リフレッシュストラテジの利益を組み合わせる。
【００５７】
特定のフレームのためのモード決定が、イントラコード化という結果になるのであれば（６２）、ビデオエンコーダ２０は、例えばＨ．２６４のような空間推定を実行する（６４）。モード決定が、インターコード化の結果になるのであれば（６２）、ビデオエンコーダ２０は、動作推定及び空間推定を実行し（６６）、例えば、図２のインターコーダ３２を用いて、事後モード決定を生成する（６８）。その後、この処理は、推定チャネル損失確率、ＳＳＤ、及び分散におけるあらゆる変化に基づいて、ＩＲレートの調節のために、次のフレーム又はＭＢに進む。特に、図３に示すように、イントラコード化決定は、何れの動作推定もが実行される前になされる。
【００５８】
ＩＲレートを決定するために、本明細書に記載したような入力が与えられると、ＩＲレート制御ユニット４８は、例えば、Z. He、 J. Cai、及びCW. Chenによる"Joint source channel rate- distortion analysis for adaptive mode selection and rate control in wireless video coding"、 IEEE Transactions on Circuits and Systems for Video Technology, Volume: 12 , Issue: 6 , June 2002, pages: 511 - 523（非特許文献１）に記載されたような、与えられた目標コード化ビットレートＲｓのためにレート歪みモデルを適用するように構成されうる。レート歪みモデルの適用は、以下のように表現されうる。  
【数５】
2008516561.tif 000007
【００５９】
合計歪みＤｔｏｔａｌを最小化するために、以下の方程式を満たさなければならない。  
【数６】
2008516561.tif 000008
【００６０】
ＩＲレートβを決定するために、以下の方程式が使用される。  
【数７】
2008516561.tif 000009
【００６１】
βを［０，３０％］にとどめる。ここで、  
−Ｄ（ＤＳ＝ソース歪み、ＤＣ＝チャネル歪み）は、隣接フレーム間のＳＳＤによって表され、潜在的な誤り伝搬を定量化する。  
−Ｖａｒは分散であり、現在のフレームの複雑さと、イントラコード化の費用とを定量化する。  
−ｐは推定チャネル損失確率である。  
−ａ，ｂ，ｃ，及びｄは定数である。  
−  
【数８】
2008516561.tif 000010
【００６２】
は、再構築された前のフレームである。  
−Ｆ（ｎ）は、現在のフレームである。  
ＩＲレート制御ユニット４８は、インター／イントラコード化を決定するために、結果として得られたＩＲレートβを、モード選択ユニット４６に適用する。これは、フレームレベル又はＭＢレベルにおいてなされる。上述したように、βは、反復又は徹底的な探索ではなく、クローズフォームソリューションを用いて得られる。この相対的な単純性は、ＩＲレート制御ユニット４８の実装における複雑さを著しく低減する。
【００６３】
上記のアプローチによって複雑さが比較的低減されるが、複雑さの更なる低減は、代替実装によって達成されうる。一例として、ＩＲレート制御モジュール４８は、チャネル適応スキームのみを適用するように構成されうる。ここでは、ＩＲレートβが、
【数９】
2008516561.tif 000011
【００６４】
のように、推定チャネル損失確率にのみ基づいて決定される。ここで、Ｃ１は定数である。更なる代替例として、ＩＲレート制御ユニット４８は、
【数１０】
2008516561.tif 000012
【００６５】
のように、ＩＲレートβを決定するために、動作補償の実行後、絶対差合計（ＳＡＤ）数的指標を適用するように構成されうる。ここで、ＳＡＤは、ＳＳＤの代わりに使用され、歪みＤを表す。Ｃ２は、他の定数である。
【００６６】
従来システムでは、イントラ／インターモードの決定は、最小の絶対差合計（ＳＡＤ）という点において、与えられたＭＢに対する最良の動作ベクトルを見つけるために、動作推定探索が実行された後になされる。この従来のアプローチは、動作ベースのイントラ／インターモード決定とも称される。しかしながら、本開示に従って、適応性ＭＢイントラリフレッシュ（ＡＩＲ：adaptive MB Intra-refreshing）スキームは、動作探索エンジンで実行される集約的計算をする必要なく、イントラ／インターモード決定を可能にする。
【００６７】
また、動作ベースのイントラ／インターモード決定の代わりに、モード選択ユニット４６は、分散に依存するテクスチャベースのイントラ／インターモード決定アルゴリズムを適用するように構成されうる。Ｐフレーム用のＭ個のＭＢのための望ましいリフレッシュレートβが与えられると、モード選択ユニット４６は、イントラコード化されるＭＢとなる、最も少ないテクスチャ情報、すなわち、最も少ないコード化ビット要求を持つＭＢを選択する。テクスチャベースのイントラ／インターモード決定のステップは、各ＭＢについて、以下のように表される。  
１．ＭＢ分散を計算する。例えば、テクスチャの推定を与える。  
２．計算された分散を、前のフレームから推定された平均分散、例えば、前のフレームからの平均テクスチャビットと比較する。  
３．前のフレームのスケールされた平均分散よりも分散が小さい場合にはＭＢをイントラコードし、そうでない場合には、ＭＢをインターコード化する。  
４．イントラコード化されたＭＢの数が、フレームのイントラリフレッシュレートβを満足するのであれば、テクスチャベースのイントラ−インターモード決定プロセスを停止する。  
５．フレーム内の残りのＭＢに対して、動作ベースのモード決定プロセスを適用する。その結果、更にＭＢがイントラコード化される。
【００６８】
テクスチャベースのモード決定プロセスはまた、以下の擬似コードによっても表される。  
【表１】
2008516561.tif 000013
【００６９】
ここで、Ａは、現在のＭＢの分散、Ｂは、前のフレームの平均分散、αは、経験的なしきい値、ｍｏｄｅ＿Ｉｎｔｒａは、テクスチャベースのモード決定を用いてイントラコード化されたＭＢのカウンタ、Ｍは、例えばＩＲレート制御ユニット４８によって決定されるような、Ｐフレーム内のイントラコード化されたＭＢの望ましい数である。動作推定プロセスは、標準的な動作推定と、動作ベースのイントラ／インター決定とを表す。ＤＣＴ量子化は、例えば図２の変換ユニット３８及び量子化ユニット４０による標準的なＤＣＴ変換及び量子化の適用を表す。
【００７０】
図４は、テクスチャベースのイントラ／インターコード化決定プロセスを例示するフロー図である。図４に示すように、ＩＲレート制御ユニット４８は、例えば上述したように、推定チャネル損失確率、ＳＳＤ、及び分散を用いて、テクスチャベースのＩＲレートを生成する（７０）。その後、モード選択ユニット４６は、テクスチャベースのイントラ／インターモード決定を行うために、ＩＲレートを適用する（７１）。テクスチャベースのイントラ／インターモード決定（７１）が、イントラコード化を求める場合、イントラコーダ３４が選択され、イントラコード化されたＭＢが差分ユニット３６、及び変換ユニット３８によるＤＣＴ符号化に適用される（７４）。
【００７１】
モード選択ユニット４６によるテクスチャベースの決定が、イントラコード化を示さないのであれば、ビデオエンコーダ２０は次に、例えば図２のインターコーダ３２内で、整数−ピクセル動作推定探索をＭＢに提供し（７６）、標準的な動作ベースのイントラ／インターモード決定を適用する（７８）。イントラコード化が示される場合（８０）、イントラコード化されたＭＢが、ＤＣＴ符号化（７４）のために提供される。イントラコード化が、動作ベースのイントラ／インターモード決定によって示されない場合（８０）、このＭＢは、標準的な動作補償に提供される。特に、ビデオエンコーダ２０は、動作補償（８４）が後に続く半ピクセル動作推定探索（８２）を適用する。その後、結果として得られるインターコード化された予測が、差分ユニット３６に適用される。その後、ＤＣＴ符号化（７４）が続く。
【００７２】
本明細書で記載したように、ＭＢがインターコード化されるか、又はイントラコード化されるかを決定するためにテクスチャベースのアルゴリズムを用いることは、連続フレーム内でイントラコード化されたＭＢの繰り返しパターン、すなわち、フレーム内の同じ場所においてイントラコード化されたＭＢという結果になる。近隣のフレーム間の一般に高い時間的相関によって反復が生じる。一般に、反復は、誤り伝播を阻止するための望ましい機能ではない。特に、誤りは、一般に本質的にランダムであり、フレーム内の異なる領域（ＭＢ）に生じる。
【００７３】
繰り返しパターンを阻止するために、モード選択ユニット４６は更に、ランダムアルゴリズムを適用するように構成されうる。この場合、モード選択ユニット４６は、連続したフレームにおいて、異なる領域、すなわち「グリッド」を探索することによって、イントラコード化されたＭＢの選択をランダム化する。この技術は、グリッドベースの適応性ＩＲ（ＡＩＲ）と称されうる。このグリッドベースのＡＩＲ技術によれば、Ｐフレームは、複数の等しい領域へ分解される。連続したフレームでは、テクスチャベースのイントラ−インター決定における考慮のために先ず、異なる領域が選択される。
【００７４】
図５は、テクスチャベースのイントラ／インターコード化決定プロセスをサポートするために、３つの異なる探索グリッドＡ，Ｂ，Ｃに分割されたビデオフレームＦを例示する図である。フレームＦは、例示目的のために３つのグリッドＡ，Ｂ，Ｃを含んでいる。従って、異なるグリッドサイズに加えて、より多く又はより少ない数のグリッドが、異なる実装において利用されうる。グリッドベースのＡＩＲ処理は、上述したように、テクスチャベースのイントラ／インター決定プロセスに用いるために、グリッドＡ，Ｂ，Ｃのうちの１つを選択するために適用される。
【００７５】
特定のグリッドＡ，Ｂ，Ｃを選択すると、テクスチャベースのイントラ／インター決定プロセスは、選択されたグリッドに限定されるか、又は他のグリッドの考慮前のグリッド内で少なくとも開始する。選択されたグリッドが、フレームのために適用可能なＩＲレートを満足するのに十分なイントラコード化ＭＢを生むのであれば、テクスチャベースのイントラ／インターコード化決定のために他のグリッドを探索する必要はない。しかしながら、選択されたグリッド及びその他のグリッド内のＭＢは、動作ベースのイントラ／インターコード化決定のプロセスのために再検討されうる。
【００７６】
何れの場合でも、連続フレーム内のテクスチャベースのイントラ／インターコード化決定の開始のため、異なるグリッドＡ，Ｂ，Ｃを選択することによって、連続フレームにおいて局在化された領域内でイントラコード化されたＭＢの反復及び集中を阻止することができる。言い換えると、フレーム毎に探索グリッドをローテーションさせることによって、フレームからフレームへのイントラコード化ＭＢの持続的な局在化を阻止することができる。また、ＭＢの異なるグリッドＡ，Ｂ，Ｃの選択及びローテーションは、実装の複雑さが比較的低いことを示す。
【００７７】
一例として、各フレーム中に９９のＭＢを備えた１／４共通中間フォーマット（ＱＣＩＦ）フレームの場合、このフレームは、以下に示すように、３つの等しいＭＢのグリッドＡ，Ｂ，Ｃに分割されうる。  
Ａ［０−３２］，  
Ｂ［３３−６５］，及び  
Ｃ［６６−９８］。  
ここで［ｉ１，ｉ２］は、グリッド境界を示し、ｉ１は、開始ＭＢのインデクス、ｉ２は、終了ＭＢのインデクスである。また、与えられたフレーム内の３つのグリッドの指定は、例示の目的のためであり、限定して考慮されるべきではない。また、グリッドは、異なるパターンでローテーションされうる。例えば、１つのフレームにおいてグリッドＡを選択することは、ＡからＢ，Ｃへの連続したローテーションではなく、次のフレームにおいてグリッドＣを選択することが続く。
【００７８】
図６は、異なる一様な適応性ＩＲ探索グリッドによる９つのＰフレームＦ１〜Ｆ９のシーケンスを例示する図である。図６は、フレームからフレームへの探索グリッドのローテーションを例示する。これによって、連続フレームにおけるテクスチャベースのイントラ／インターコード化決定プロセスのための開始点として同一の探索グリッドが使用されなくなる。例えばフレームＦ１では、テクスチャベースのイントラ／インターコード化決定プロセスは、選択されたグリッドＡにおいて始まる。次のフレームＦ２では、この決定プロセスは、異なるグリッドＢにおいて始まる。同様に、次のフレームＦ３では、異なるグリッドＣが選択される。このように、選択されたグリッドは、初めの３つのフレームＦ１，Ｆ２，Ｆ３にわたってフレーム毎にローテーションする。その後、このプロセスは、各フレームＦ４，Ｆ５，Ｆ６においてそれぞれ選択されたグリッドＡ，Ｂ，Ｃによって示されるように、次の３つのフレームについて繰り返す。また、各フレームＦ７，Ｆ８，Ｆ９においてそれぞれ選択されたグリッドＡ，Ｂ，Ｃによって示されるように、次の３つのフレームについて繰り返す。
【００７９】
例えばＦ１からＦ３のように、３つの連続したＰフレームのサイクルにおいて、このプロセスは、テクスチャベースの動作決定を用いて、フレームＦ１内でイントラコード化されるグリッドＡ内のＭ個（Ｍ＜３３）のＭＢを選択することによって始まる。その後、次のＰフレームＦ２について、グリッドＢにおけるＭ個のＭＢが、イントラコード化されるとして選択され、第３のフレームＦ３については、グリッドＣにおけるＭ個のＭＢが選択される。この処理は、グリッドＡ，Ｂ，Ｃ，Ａ，Ｂ，Ｃ，Ａ，Ｂ，Ｃといったパターンを用いて、次の３つのＰフレームであるＦ４〜Ｆ６について繰り返され、更に、次の３つのフレームＦ７〜Ｆ９について繰り返される。３つの連続したＰフレームからなるサイクルはそれぞれ、図６においてＸ、Ｙ、Ｚで示されている。
【００８０】
また、このプロセスは、３つの連続したＰフレームにおける同じ場所におけるＭＢのイントラリフレッシュを阻止する。しかしながら、３つのＰフレームＦ１〜Ｆ３の最初のサイクルＸの後、イントラリフレッシュされたＭＢは、再び、最初のサイクルにおける同じ場所において生じうる。特に、Ｐフレームにおける次の２つのサイクルＹ，ＺであるＦ４〜Ｆ６、及びＦ７〜Ｆ９においてそれぞれ同じグリッドが選択される。Ｐフレームにおける全てのＭＢをリフレッシュする確率を高めるために、各ＭＢのためのイントラ／インターモード決定が、ＩＲが実行されるグリッド内にのみ格納される。このように、ＭＢのためのイントラリフレッシュの反復があまりに早くなることが回避される。
【００８１】
図５及び図６の例では、グリッドベースのＡＩＲ技術は、各フレームを３つの一様サイズのグリッドに分割する。図７は、異なる、非一様な適応性ＩＲ探索グリッドを持つ９つのＰフレームのシーケンスを例示する図である。３つのフレームＦ１，Ｆ２，Ｆ３からなる第１のシリーズＸでは、それぞれ等しいサイズのグリッドＡ，Ｂ，Ｃが、ＩＲ決定プロセスのために選択される。フレームＦ４，Ｆ５，Ｆ６からなる第２のシリーズＹでは、個々のグリッドＡ，Ｂ，Ｃのサイズが異なっている。具体的には、図７の例では、フレームＦ４のグリッドＡは、フレームＦ１のグリッドＡよりも実質的に小さく、フレームＦ５のグリッドＢは、フレームＦ２のグリッドＢよりも実質的に大きい。さらに、フレームＦ６のグリッドＣは、フレームＦ３のグリッドＣよりも実質的に小さい。３つのフレームＦ７，Ｆ８，Ｆ９からなる次のシリーズＺでは、グリッドＢが最も小さいグリッドであり、小さい順に従って、次にグリッドＣ及びグリッドＡが続く。
【００８２】
図７に示すように、連続したフレームシリーズ間の非均一なグリッドサイズに基づくアプローチは、フレーム毎の同じ場所においてイントラコード化されたＭＢの反復に対する追加測定を提供する。ある場合には、開始グリッドのサイズは、十分に小さく、テクスチャベースのイントラ／インター決定プロセスが、別のグリッドに拡張されることが保証される。フレームＦ６では、例えば、開始グリッドＣが非常に小さいので、ＩＲレートは、そのグリッド内のＭＢの数を超えるだろう。この場合、テクスチャベースのイントラ／インター決定プロセスは、指定された次のグリッドへ達する。これは、実装に依存して、フレームＦ６におけるＡグリッド又はＢグリッドのうちの何れかになりうる。
【００８３】
別のオプションとして、ハイブリッドＩＲ（ＨＩＲ）スキームが、例えばＣＩＲ，ＡＩＲ，ＲＩＲのような単一のＩＲタイプの代わりに使用されうる。一例として、ハイブリッドＩＲスキームは、ＣＩＲとＡＩＲとの両方の局面を組み合わせうる。その結果、改善された誤り回復性能、及び良好な視覚品質となる。例えば、高ＩＲレートを伴う周期的ＩＲのみを用いることによって、連続したフレームにおいて、気に障る、波のような視覚アーチファクト（artifact）が生じる。一方、ＡｌＲにのみ依存することは、可能なＩＲのためフレーム中のすべてのＭＢの検討を可能にしないかもしれない。周期的リフレッシュパターン及び適応性リフレッシュパターンの利点を組み合わせるハイブリッドＩＲスキームは、ＣＩＲ又はＡＩＲのみの場合に対して改良された性能を提供することができる。
【００８４】
このハイブリッドＩＲスキームによれば、ＩＲレートの割合は、ＣＩＲとＡＩＲとの間に分布する。ＣＩＲに約束されたＩＲレートの割合は、標準的なＣＩＲスキームによって実現される。ここでは、ＭＢは、予め定めたパターンへ連続的及び周期的にイントラリフレッシュされる。本明細書で記載しているように、ＡＩＲに約束されたＩＲレートの割合は、適応性ＩＲスキームによって実現される。ここでは、テクスチャベースのイントラ／インター決定プロセスが、フレーム内の個々のＭＢに適用される。ＡＩＲについては、より低い分散を有するＭＢが、イントラリフレッシュのために好適に選択される。対照的に、テクスチャ情報は、一般に、ＣＩＲには重要ではない。ハイブリッドＩＲスキームでは、ＣＩＲ及びＡＩＲが組み合わされ、高い性能を提供する。
【００８５】
図８は、ＣＩＲスキーム及びハイブリッドＩＲスキームの比較実験結果を例示するグラフである。図８のグラフは、５つの異なるＩＲスキームの、ブロック誤り率（ＢＬＥＲ）と、ピーク信号対雑音比（ＰＳＮＲ）とをプロットしている。１０％ＩＲレートにおける限定的なＣＩＲである第１のスキームの性能は、曲線９６で表される。曲線９８は、合計５％のＩＲレートに対して２％ＣＩＲと３％ＡＩＲとを組み合わせたハイブリッドスキームの性能を示す。曲線１００，１０２，１０４はそれぞれ、ＣＩＲ／ＡＩＲが７／３，３／７，５／５の割合であるハイブリッドスキームの性能結果を示す。図８のグラフは、１５ｆｐｓ及び４８ｋｂｐｓで符号化されたＱＣＩＦフレームシーケンス（母−娘）の結果を示す。
【００８６】
図９乃至図１２は、様々なＩＲ技術に対する比較実験結果を例示する追加グラフである。図９乃至図１２のグラフの条件は以下の通りである。符号化レート＝４８Ｋｂｐｓ、イントラフレーム周期４００、フレーム長さ１５０、ＰＳＮＲはｄＢで測定。各場合では、複数のビデオシーケンスが使用される。
【００８７】
図９では、曲線１０６，１０８，１１０，１１２，１１４はそれぞれ、Ｆｏｒｅｍａｎシーケンスに対する４００からなるイントラフレーム周期での（１）０パーセントＩＲ、（２）５パーセント標準ＲＩＲ、（３）１０パーセント標準ＲＩＲ、（４）本明細書に記載の推定チャネル損失確率、ＳＳＤ、及び分散を用いた適応性ＲＩＲ、（５）推定チャネル損失確率のみを用いた適応性ＲＩＲの結果を示す。図１０は、図９と同じ実験を示すが、母−娘シーケンスの結果を示す。
【００８８】
図１１及び図１２では、曲線１１６，１１８，１２０，１２２，１２４はそれぞれ、（１）０パーセントＩＲ、（２）５パーセント標準ＲＩＲ、（３）１０パーセント標準ＲＩＲ、（４）最適適応性ＲＩＲ、（５）動作補償後にＳＡＤ数的指標を用いた適応性ＲＩＲの結果を示す。最適適応性ＲＩＲスキームは、近似や置き換えのない正確な測定を用いる。図１１及び図１２は共に、Ｆｏｒｅｍａｎシーケンス及び母−娘シーケンスのための４００からなるイントラフレーム周期に関する。
【００８９】
図１３は、別の実施形態に従ったイントラフレーム周期に従ってＩＲ調節を例示する図である。一般に、本出願は、イントラフレーム周期が比較的長い場合について、チャネル適応性アプローチ又はビデオコンテンツ、及びチャネル適応性アプローチを用いたＩＲレートの調節を記載した。より短い周期でイントラフレームがより頻繁に使用される場合、ＭＢ  ＩＲレートを低減することができる。従って、本開示は更に、ビデオコンテンツ及びチャネル条件のみならず、イントラフレーム周期に基づいてＩＲレートの調節を検討する。この場合、推定チャネル損失確率、フレーム対フレーム変化、及びイントラフレームテクスチャを用いて生成されたＩＲレートは更に、一般的なイントラフレーム周期に従って調節される。
【００９０】
長いイントラ周期の場合、ＩＲレートは一般にβＩと表され、推定チャネル損失確率はｐと表され、イントラフレーム周期はＩと表され、調節されたＩＲレートはβと表される。イントラフレーム周期による調節は、イントラフレーム周期Ｉの３つの異なる領域１３０，１３２，１３４に関して説明される。領域１３０，１３２，１３４では、イントラフレーム周期はそれぞれ、１／（２ｐ）未満、１／（２ｐ）と２／ｐとの間、２／ｐ超である。これらの領域では、推定チャネル損失確率、フレーム対フレーム変化、及びイントラフレームテクスチャに基づき決定されたＩＲレートβは、更に、以下に示すようなイントラフレーム周期Ｉの関数として調節される。  
【数１１】
2008516561.tif 000014
【００９１】
ここで、ｆは、現在のフレームと、最直近のイントラフレームとの間の距離であり、１≦ｆ≦Ｉ−１である。
【００９２】
イントラフレーム周期Ｉが十分大きい場合、ＩＲレートβは、調節される必要はない。Ｉが十分小さい場合、ＭＢ  ＩＲは、必要ではない。その他の場合では、ＩＲレートは、最直近のイントラフレームに対する現在のフレームの距離に従って、直線的に減衰する。このアプローチは、現在のフレームが更に、次のイントラフレームリフレッシュから遠ざかるときを認識する。このフレームは、潜在的な誤り伝播に起因する性能劣化を低減するために、イントラＭＢを用いてより確実に保護されるべきである。
【００９３】
図１４及び図１５は、図１３において例示するような技術を用いた様々なＩＲ技術に対する実験結果を例示するグラフである。図１４及び図１５において、曲線１３６，１３８，１４０，１４２，１４４はそれぞれ、（１）０パーセントＩＲ、（２）５パーセント標準ＲＩＲ、（３）１０パーセント標準ＲＩＲ、（４）本明細書で説明した推定チャネル損失確率、ＳＳＤ、及び分散を用いた適応性ＲＩＲ、（５）推定チャネル損失確率のみを用いた適応性ＲＩＲに対する結果を表す。
【００９４】
図１４及び図１５では、比較的短いイントラフレーム周期が適用される。しかしながら、図１４は、Ｆｏｒｅｍａｎシーケンスを表す一方、図１５は、母−娘シーケンスを表す。図１４及び図１５は、イントラフレーム周期が小さい（１５フレーム）場合におけるＩＲ性能を例示する。２％の損失レートでは、ＭＢ  ＩＲは使用されない。４％および６％の損失レートでは、図１３に関して上述したように、βに対するイントラリフレッシュ周期調節式に従って決定される。図１４及び図１５における結果は、短いイントラフレーム周期でかつ低損失レートの場合において、ＭＢレベルＩＲがどのようにして体裁良くバックオフできるかを実証する。
【００９５】
様々な実施形態が記載された。これら及び他の実施形態は、特許請求の範囲のスコープ内である。
【図面の簡単な説明】
【００９６】
【図１】図１は、ビデオ符号化及び復号システムを例示するブロック図である。
【図２】図２は、本開示に従った適応性ＩＲ技術を使用するビデオエンコーダシステムを例示するブロック図である。
【図３】図３は、典型的な適応性ＩＲ技術の動作を例示するフロー図である。
【図４】図４は、テクスチャベースのイントラ／インターコード化決定プロセスを例示するフロー図である。
【図５】図５は、テクスチャベースのイントラ−インターコード化決定プロセスをサポートするために３つの異なる探索領域に分割されたビデオフレームを例示する図である。
【図６】図６は、異なる一様な適応性ＩＲ探索領域を持つ９つのＰフレームのシーケンスを例示する図である。
【図７】図７は、異なる非一様な適応性ＩＲ探索領域を持つ９つのＰフレームのシーケンスを例示する図である。
【図８】図８は、周期的ＩＲ（ＣＩＲ）及びハイブリッドＩＲ制御技術のための相対的実験結果を例示するグラフである。
【図９】図９は、様々なＩＲ制御技術の相対的実験結果を例示する追加のグラフである。
【図１０】図１０は、様々なＩＲ制御技術の相対的実験結果を例示する追加のグラフである。
【図１１】図１１は、様々なＩＲ制御技術の相対的実験結果を例示する追加のグラフである。
【図１２】図１２は、様々なＩＲ制御技術の相対的実験結果を例示する追加のグラフである。
【図１３】図１３は、イントラフレーム周期に従ったＩＲ制御を例示する図である。
【図１４】図１４は、図１３に例示したような技術を使用した様々なＩＲ技術に対する実験結果を例示するグラフである。
【図１５】図１５は、図１３に例示したような技術を使用した様々なＩＲ技術に対する実験結果を例示するグラフである。
【図１】
2008516561.tif 000015
【図２】
2008516561.tif 000016
【図３】
2008516561.tif 000017
【図４】
2008516561.tif 000018
【図５】
2008516561.tif 000019
【図６】
2008516561.tif 000020
【図７】
2008516561.tif 000021
【図８】
2008516561.tif 000022
【図９】
2008516561.tif 000023
【図１０】
2008516561.tif 000024
【図１１】
2008516561.tif 000025
【図１２】
2008516561.tif 000026
【図１３】
2008516561.tif 000027
【図１４】
2008516561.tif 000028
【図１５】
2008516561.tif 000029
【国際調査報告】
2008516561.tif 000030
2008516561.tif 000031
2008516561.tif 000032
2008516561.tif 000033
2008516561.tif 000034
2008516561.tif 000035