(57)【要約】【課題】適応性動き情報コスト推定はビデオ情報を処理する際になされる。ビデオ情報の動き特性について記述する動きベクトル中の動きベクトル差（ｍｖｄ）のコード化に関係している送信コストが推定される。ｍｖｄは、動きベクトルに関連した速度推定不一致を最小限にすることに基づいて符号化される。符号化ステップはＣＡＢＡＣを使用して、ｍｖｄに関連したビットを計算することを含む。ルックアップ表中の１つ以上の入力から、コストに相当する値がインデックスを付けられる。コストはビデオ情報に関連したコンテキストまたはコンテンツの特性に関係がある。ルックアップ表は、コンテキストの情報かコンテンツ特徴の変化に基づいて、適応して更新される。変更に基づいて、値はダイナミックに調整可能である。【選択図】図１
2011510601.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ情報を処理するための方法（８００）であって、
動きベクトル間の差の符号化に関係している送信コストを推定するステップ（８０１）であって、前記動きベクトル間の差は前記ビデオ情報の動き特性の記述であるステップ、及び
前記動きベクトルに関連した速度推定不一致を最小限にする原理で前記動きベクトル差を符号化するステップ（８０２）、
を有し、前記符号化ステップ（８０２）は、コンテンツ適応性の二進法符号化を使用して、前記動きベクトル差に関連したビットカウントを計算するステップ（８１２）を含むことを特徴とする方法。
【請求項２】
請求項１に記載された方法（８００）であって、前記推定ステップ（８０１）が、
ルックアップ表にアクセスするステップ（８２１）、及び
前記ルックアップ表中の1つ以上の入力からのコストに相当する値にインデックスを付けるステップ（８２２）であって、前記コストは、前記ビデオ情報に関連した文脈情報（contextual information）かコンテンツ特性の少なくとも1つに関係があり、
前記文脈情報か前記コンテンツ特性の変化に少なくとも一部分基づいて、前記ルックアップ表を適応的に更新するステップ（８２３）であって、ここで、前記変化に基づいて、前記値はダイナミックに調整可能であるステップ
を有することを特徴とする方法。
【請求項３】
請求項１に記載された方法（８００）であって、ここで前記送信コストが平均コストを含み、そして前記更新ステップ（８２３）が、
ブロックの発生回数の合計にわたって符号化された動きベクトル差の各々の符号化速度を収集するステップ（８４１）、
前記収集された符号化速度と前記発生回数の合計に基づいた平均コストを処理するステップ（８４２）、及び
前記処理ステップに基づいて前記ルックアップ表への前記動きベクトル差の符号化に対応するコストに対する値を入力するステップ（８４３）、
を有することを特徴とする方法。
【請求項４】
請求項３に記載された方法（８００）であって、ここで前記平均コストが加重平均コストで構成され、そしてここで、前記加重平均コストは重み付け係数で重み付けられた前記平均コストに関連することを特徴とする方法。
【請求項４】
請求項３に記載された方法（８００）であって、ここで前記更新するステップ（８２３）は、前記動きベクトル差に関連したコンテキスト特性（context characteristic）、又は、前記ビデオ情報に関連したコンテンツ特性の一つ以上に少なくとも一部分が基づいて、選択的に行なわれ、
前記コンテンツ特性は前記ビデオ情報コンテンツに関連した動き特性を含むことを特徴とする方法。
【請求項５】
請求項４に記載された方法（８００）であって、さらに
前記動き特性に基づいて前記ビデオ情報を分析するステップ（８３１）、及び
前記動き特性の粒状を検出するステップ（８３２）を有し、
上位の動きコンテンツを検知すると、前記ルックアップ表中の既存の入力に少なくとも一部分基づいて、前記インデックスを付けるステップ（８２１）を行ない、
下位の動きコンテンツを検知すると、前記更新するステップを行なうステップ（８２３）であって、ここで前記更新するステップ（８２３）の少なくとも一部分に基づいて、前記インデックスを付けるステップ（８２１）を行なうことを特徴とする方法。
【請求項６】
請求項４に記載された方法（８００）であって、さらに
前記動きベクトル差の前記符号化コストをモデル化するステップ（８３３）、
前記動きベクトル差の実際の符号化速度に関連した前記符号化コストを収集するステップ（８３４）、及び
前記モデル化ステップ（８３３）に関連した統計適合に少なくとも一部分基づいて、前記モデル化された符号化コストを更新するステップ（８３５）
を有し、ここで、前記適応的に更新するステップ（８２３）は、前記モデル化された符号化コストを更新するステップ（８３５）を含むことを特徴とする方法。
【請求項７】
請求項６に記載された方法（８００）であって、前記モデル化された符号化コストを更新するステップ（８３３）が前記動きベクトル差のすべて又は少なくとも一部分にわたって行なわれることを特徴とする方法。
【請求項８】
ビデオコンテンツ用のエンコーダ（１００）であって、
動きベクトル間の差の符号化に関係している送信コストを推定する1つ以上のプロセッサ要素であって、前記動きベクトル間の差は前記ビデオ情報の動き特性の記述であり、
少なくとも一部分は、前記動きベクトルに関連した速度推定不一致を最小限にする原理で、前記動きベクトル差を符号化する1つ以上のプロセッサ要素を有し、
ここで、前記符号化プロセッサ要素は、コンテンツ適応性の二進法符号化を使用して、前記動きベクトル差に関連したビットカウントを計算する要素を有することを特徴とするシステム。
【請求項９】
ビデオ情報を処理するシステム（１００）であって、
動きベクトル間の差の符号化に関係している送信コストを推定する手段であって、前記動きベクトル間の差は前記ビデオ情報の動き特性の記述であり、
前記動きベクトルに関連した速度推定不一致を最小限にする原理で、前記動きベクトル差を符号化する手段を有し、
ここで、前記符号化手段は、コンテンツ適応性の二進法符号化を使用して、前記動きベクトル差に関連したビットカウントを計算する手段を有することを特徴とするシステム。
【請求項１０】
1つ以上のプロセッサで実行された時、計算機装置（１００）にビデオ情報を処理する方法のステップを行なわせる命令を含むコンピュータ可読記憶媒体であって、当該方法は
動きベクトル間の差の符号化に関係している送信コストを推定するステップ（８０１）であって、前記動きベクトル間の差は前記ビデオ情報の動き特性の記述であるステップ、及び
前記動きベクトルに関連した速度推定不一致を最小限にする原理で、前記動きベクトル差を符号化するステップ（８０２）
を有し、ここで、前記符号化ステップ（８０２）は、コンテンツ適応性の二進法符号化を使用して、前記動きベクトル差に関連したビットカウントを計算するステップ（８１２）を有することを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連する出願およびＰＣＴの地位と利益の請求］
本出願は、発明の名称が「適応性動き情報コスト推定」で、チエン・リーおよびアレクサンドラ・トゥラピスによって、２００8年1月２２日に申請された、同時係属のアメリカ合衆国の仮特許出願Ｎｏ．６１／０２２７８７と関連があり、これについて優先権主張すると共に十分な地位の利益を請求し、これが譲受人に譲渡される（ドルビー研究所のＩＰ法的参照文献Ｎｏ．Ｄ０８００１  ＵＳ０ｌ）。この仮特許出願は、ここで完全に説明するように、すべての目的のために参照によってここに組込まれる。本出願は特許協力条約（ＰＣＴ）に準拠して申請される。
【背景技術】
【０００２】
本発明は、一般にビデオ処理に関係がある。より具体的には、本発明の実施例は適応性動き情報コスト推定に関係がある。
【０００３】
ビデオ符号化装置では、動き補償予測（ＭＣＰ）は映像シーケンス内に存在している時間的相関関係を活用するために使用される。ＭＣＰは、ビデオ情報含有量の効率的な符号化を支える。ＭＣＰは、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６１、Ｈ．２６３、ＭＰＥＧ−４  ＡＶＣ／ＩＴＵ−Ｔ  Ｈ．２６４及びＶＣ−１を含む現在のビデオ符号化規格に記述される。多くの現代のビデオ符号化装置はＭＣＰを使用する。
【０００４】
この節に記述されたアプローチは、追求されるアプローチであるが、必ずしも着想されたか追求されたアプローチである必要はない。したがって、他に指定のない限り、この節に記述されたアプローチの任意の物が、単にこの節に包含されるとの理由で、先行技術としての資格を得ると見なすべきでない。同様に、１つ以上のアプローチに対して識別された問題点は、他に指定のない限り、この節に基づいて任意の先行技術において認識されたと見なすべきでない。
【図面の簡単な説明】
【０００５】
本発明は、添付の図面の図画で、制限としてではなく、実施例として図示されるものである。そして、同一の要素に関しては、同一の参照数字を付してある。
【図１】図１は本発明の実施例が実施される映像エンコーダ・プラットホームを図示する。
【図２】図２は本発明の実施例が実施される映像デコーダ・プラットホームを図示する。
【図３】図３Ａと図３Ｂは、動きベクトル差速度（motion vector difference rate）の具体例を図示する。
【図４】図４Ａと図４Ｂは、図３Ａと図３Ｂでそれぞれ図示される動きベクトル差のための計算の具体例をそれぞれ図示する。
【図５】図５Ａと図５Ｂは、図４Ａと図４Ｂでそれぞれ図示される動きベクトル差計算用の速度推定不一致の具体例をそれぞれ図示する。
【図６】図６は、本発明の実施例に従って得られる符号化効率の比較例を図示する。
【図７】図７は、本発明の実施例に従って得られる符号化効率の比較例を図示する。
【図８】図８Ａ、図８Ｂおよび図８Ｃは、本発明の実施例における処理手順の具体例のフローチャートを図示する。
【発明を実施するための形態】
【０００６】
適応性動き情報コスト推定（Adaptive motion information cost estimation）がここに記述される。以下の記述では、説明のために、多数の特定の詳細が、本発明についての完全な理解を得られるようにするために述べられる。しかしながら、本発明はこれらの特定の詳細なしで実施されてもよいは明らかである。別の事例では、本発明を不必要に隠蔽し、覆い隠し、或いは不明瞭にしないために、周知の構造および装置は余すところなく詳細には記述されない。
【０００７】
Ｉ  概観
Ａ．  ビデオ符号化装置プラットホームの例
ここに記述された実施例は、適応性動き情報コスト推定に関係がある。ある近来のビデオ符号化装置は、映像シーケンスおよび効率的な符号化ビデオ情報コンテンツ内に存在する時間的相関を活用するためにＭＣＰ（動き補償予測）を使用する。ビデオ符号化はエンコーダシステムとデコーダシステムで行なわれる。
【０００８】
図1は、本発明の実施例が実施された映像エンコーダ・プラットホーム１００の一例を示す。エンコーダ１００は、実質的に先進動画符号化（Advanced Video Codec）（MPEG 4 AVC/ITU-T H.264）に一致する。ビデオ入力は、変換モジュール１０１で、例えば、時間領域から周波数領域に変換される。
【０００９】
ウェーブレット変換及び／又は様々なフーリエ形変換は、離散的コサイン変換（ＤＣＴ）や修正ＤＣＴ（ＭＤＣＴ）のような変形を含めて使用される。変換された信号は、量子化モジュール１０２で量子化される。量子化された変換済み信号は、エクスポート・ビットストリームを生成するためにVLCモジュール１０４で可変長符号化（ＶＬＣ）に従わせられる。エクスポート・ビットストリームは、ビデオ入力のディジタル化された表現を含んでいる。
【００１０】
量子化された変換済み信号も、リファレンス画像の生成を含むエンコーダ１００内のアプリケーション処理のために、量子化インバーター１０５中の逆量子化と変換インバーター１０６内の逆変換に（例えばＭＤＣＴによって変換された信号に適用される逆ＭＤＣＴ）に従わせられる。逆量子化済みで逆変換済み信号は、ループフィルター１０７でフィルターされる。リファレンス画像は、ループフィルター１０７からリファレンス画像記憶装置１０８に蓄積される。ビデオ入力も動き推定器１０９、動き補償（イントラ・フレーム予測） （intra-frame prediction）ユニット１１０および速度歪み最適化器１１１に供給される。動き推定器１０９は、ビデオ入力信号内の情報への統計的に基づいた分析と別の推定技術の適用を伴って、ビデオコンテンツ内の動きの推定値を生成する。
【００１１】
動き推定値は動き補償ユニット１１０によって受け取られる。動き補償ユニット１１０は、またリファレンス画像記憶装置１０８に蓄積される適切なリファレンス画像情報にアクセスする。動き補償ユニット１１０は、変換モジュール１０１への入力用のビデオ入力信号と共に合計１１２される動き補償信号を生成するために、動き推定値とリファレンス画像情報と共にビデオ入力信号を処理する。動き補償信号は、ループフィルター１０７に向けて、逆量子化済みで逆変換済み信号と共に合計１１３される。さらに、動き補償信号は速度歪み最適化器１１１に入力を供給する。
【００１２】
速度歪み最適化器１１１は、速度歪み最適化信号を生成するために、動き補償信号と共に入力信号中のビデオ情報を処理する。速度歪み最適化器１１１は、本発明の実施例に従って入力信号ビデオ情報および動き補償信号を適応的に処理してもよい。このように、速度歪み最適化信号は、ここに記述された１つ以上の処理手順に従って導き出される。速度歪み最適化信号は、動き推定器１０９への入力を与える。したがって、動き補償ユニット１１０への動き推定信号入力と、それと同時に生成された動き補償信号は、本発明の実施例に従って行なわれた処理に、少なくとも一部分基づいている。
【００１３】
図２は、ビデオデコード・プラットホーム２００の一例を図示するもので、これを用いて本発明の実施例が実施される。デコーダ２００は、構造および／または機能において、ある意味では、エンコーダ１００（図1）より多少単純である。例えばエンコーダ１００によってエクスポートされたビットストリームは、デコーダ２００に入力を与える。デコーダ２００はＶＬＤモジュール２０１内で可変長復号化（ＶＬＤ）に処理される。
【００１４】
このようにデコードされたビットストリーム信号は、動き補償ユニット２１０に入力を与える。デコードされた信号は、デコーダ２００内の別の処理アプリケーションおよび映像出力の生成のために、変換インバーター２０６内の逆変換（例えばＭＤＣＴによって変換された信号に適用される逆ＭＤＣＴ）と量子化インバーター２０５中の逆量子化に従う。逆量子化済みで逆変換済み信号は、動き補償器２１０からの動き補償信号と合計され、ループフィルター２０７でフィルターされる。リファレンス画像はリファレンス画像バッファー２０８に蓄積される。映像出力信号は画像バッファー２０８から検索され、動き補償器２１０に入力として与えられる。
【００１５】
動き補償器２１０は、動き補償信号を生成するために、ＶＬＤユニット２０１からのデコードされたビットストリーム入力を映像出力と共に処理する。動き補償信号は、ループフィルター２０７への入力用に逆量子化済みで逆変換済み信号と共に合計２１２される。映像出力信号は、表示又はさらに進んだ処理（例えばエクスポート上の）のためにデコーダ２００によってエクスポートされる。
【００１６】
B. 動き補償済み予測
ここに記述された実施例は、適応性動き情報コスト推定（ＭＣＰ）に関係がある。実施例は、例えばビデオ符号化装置によるイメージ処理とビデオ処理に役立つ。ＭＣＰはビデオコンテンツ中の動きを推定する。動き検出は、本質的にラグランジュのコスト関数として処理される。ここで、ラグランジュのコスト関数は（1）達成される動き予測の精度と（2）動き関連情報を伝達するために必要とされるデータ速度とを均衡させる。例えば、動き検出は、ラグランジュのコスト関数（これは式1に従って定義される）の最小化問題として以下で計算される。
【数１】
2011510601.tif 000003
（式１）
式1では、
2011510601.tif 000004
は原始データ、
2011510601.tif 000005
は予測される動きベクトル、
2011510601.tif 000006
は動き補償済みの基準、
2011510601.tif 000007
は予測された差（ここでＳＡＤは絶対差の総和）、
2011510601.tif 000008
はすべての候補動きベクトルの一組、
2011510601.tif 000009
は動きベクトルの予測値、および
2011510601.tif 000010
はラグランジュ乗数を表す。式1内の術語
2011510601.tif 000011
は、予測された動きベクトル差（ｍｖｄ）
2011510601.tif 000012
の速度を表わし、動き情報を伝達するコストをこのように表わす。
【００１７】
動き情報は、エントロピー符号化で無劣化にて符号化される。先進動画符号化の明細書Ｈ．２６４／ＡＶＣは、例えば、全く異なった２個のエントロピー符号化方法を定義する。Ｈ．２６４／ＡＶＣ用に規定されたエントロピー符号化方法は、コンテンツ適応性の可変長符号化（ＣＡＶＬＣ）とコンテンツ適応性の二進法符号化（ＣＡＢＡＣ）を有している。
【００１８】
ＣＡＢＡＣを備えた動き情報の符号化は、動きベクトルを表わすために必要な正確なビットを数える。エンコーダは動きベクトル差「ｍｖｄ」を符号化し、すべての動きベクトル差用にコンテンツモデルを構成する。さらに、コンテンツモデルは符号化中に更新されてもよいが、それは著しく計算複雑さを増加させる場合がある。多数の動きベクトル候補が全ブロックあるいは全マクロブロックに対して評価されるもとで、動き検出のために要求された計算上の必要条件を単純化するために、
2011510601.tif 000013
はルックアップ表（ＬＵＴ）を使用して推定される。ＬＵＴはユニバーサル可変長符号（ＵＶＬＣ）を含んでいる。
【００１９】
動きベクトル差の速度は、下記の式２によるＵＶＬＣで計算される。
【数２】
2011510601.tif 000014
（式２）
式２では、
2011510601.tif 000015
は床動作（floor operation）を表わす。式２はこのように閉形式の近似を提示する。閉形式の近似は、ＣＡＢＡＣで符号化されるｍｖｄ速度に対する計算の複雑さを著しく低減できる。
【００２０】
推定速度
2011510601.tif 000016
は、ＣＡＶＬＣで使用されるエントロピー符号化には正確である。ＣＡＢＡＣを使用すると、推定速度
2011510601.tif 000017
は実際のｍｖｄ速度と異なる。推定速度
2011510601.tif 000018
が実際のｍｖｄ速度と異なる場合に、ＣＡＢＡＣが使用されると、式1に従って計算された動き検出結果は影響を受ける。ここでは、推定速度
2011510601.tif 000019
と実際のｍｖｄ速度の間の差は、動きベクトル速度推定不一致（ＭＶ−ＲＥＭ）と呼ばれる。
【００２１】
C. 動きベクトル速度推定不一致の特性
ＭＶ−ＲＥＭを特徴づける特性は、標準共通中間フォーマット（ＣＩＦ）試験シーケンスを参照して、ここに記述される。図３Ａは、「フォアマン」としてビデオ処理とイメージ処理に関係のある分野に熟練している技術者に周知のＣＩＦ試験シーケンスによって計算された動きベクトル差（ｍｖｄ）速度の具体例を示す。図３Ｂは、「フットボール」としてビデオ処理とイメージ処理に関係のある分野に熟練している技術者に周知のＣＩＦ試験シーケンスによって計算されたｍｖｄ速度の具体例を描写する。図３Ａと図３Ｂでは、動きベクトル速度「ＵＶＬＣ」および動きベクトル速度「ＣＡＢＡＣ」は、それぞれＵＶＬＣとＣＡＢＡＣで計算される動きベクトル差の関数としてプロットされる。
【００２２】
図４Ａと図４Ｂは、それぞれ図３Ａと図３Ｂで示される動きベクトル差用の計算の具体例を示す。ＵＶＬＣとＣＡＢＡＣで計算された動きベクトル差の発生カウントは、それぞれフォアマンおよびフットボールＣＩＦ試験シーケンス用の動きベクトル差の関数としてプロットされる。図５Ａと図５Ｂは、それぞれ図４Ａと図４Ｂで示される動きベクトル差計算のための速度推定不一致の具体例を示す。ＵＶＬＣとＣＡＢＡＣで計算された動きベクトル速度の差は、それぞれフォアマンおよびフットボールＣＩＦ試験シーケンスのためにプロットされる。
【００２３】
図３Ａから図５Ｂ迄に関するプロットは、これらのＣＩＦ試験シーケンスのＭＶ−ＲＥＭの特性を見せる。例えば、ＭＶ−ＲＥＭは些細なものではない。それどころか、特に比較的大きなｍｖｄでは、ＭＶ−ＲＥＭは重要である。上位の動きコンテンツの媒体の距離保存と下位の動きコンテンツの距離変動に関して、ＭＶ−ＲＥＭは内在するｍｖｄ速度で上昇する。しかしながら、ＭＶ−ＲＥＭは、中位から上位の動きコンテンツに対する同じ内在する速度には比較的一定のままである。いくつかのピークでの場合以外は、２つの動きベクトル候補の推定されたＵＶＬＣ速度の差が、実際のＣＡＢＡＣ速度差に近似する。しかしながら、下位の動きコンテンツに関しては、より多くのＭＶ−ＲＥＭ変動が存在している。
【００２４】
限界的な特異な条件に関しては、
2011510601.tif 000020
が２のべき乗として表現される場合には、ＭＶ−ＲＥＭはより重要であり、恐らく本質的である。これは、Ｈ．２６４／ＡＶＣのようなコーデック中のＵＶＬＣとＣＡＢＡＣの符号長が、異なるｍｖｄ値で増加するという事実に起因する。上記の式２に示されるように、ＵＶＬＣ速度は、
2011510601.tif 000021
で増加する。したがって、特性
2011510601.tif 000022
を備えたｍｖｄは、同じ推定ＵＶＬＣ符号長を共有する。同じ推定ＵＶＬＣ符号長は、
2011510601.tif 000023
の符号長より2ビット短い。
【００２５】
対照的に、ＣＡＢＡＣ符号化されたｍｖｄのために、単項／第ｋ番目指数ゴロム（Exp-Golomb）（ＵＥＧｋ）２値化はＨ．２６４／先進動画符号化（ＡＶＣ）コーデックに定義されている。与えられたｍｖｄに関しては、ＵＥＧｋ２値化が以下のように構成される。ＵＥＧｋビン記号列の前置部（prefix part）に関しては、カットオフ値Sで切り捨てた単項の２値化が、
2011510601.tif 000024
に使用される。各符号のない整数値記号ｘ≧０に対する単項コード語は、数「x」の「1」（1）ビットと、付加した終結の「ゼロ」（0）ビットを有する。ここで
2011510601.tif 000025
であり、
2011510601.tif 000026
ビットの後置部（suffix）を生成するために、後置部が
2011510601.tif 000027
に対して第ｋ番目指数ゴロムコード名として構成される。複雑さおよび符号化する効率を均衡させるために、Ｓ＝９及びｋ＝３が選択されており、コーデック標準に定められている。
【００２６】
式３に示されるように、
2011510601.tif 000028
が２のべき乗である場合、ｍｖｄの予期される符号長は次のように増加する。
【数３】
2011510601.tif 000029
（式３）
式３では、ｎ’は整数である。したがって、
2011510601.tif 000030
の
2011510601.tif 000031
で、実際のＣＡＢＡＣ速度は増加する。
【００２７】
このように観測された非同時性化は、速度歪み性能とエンコーダの複雑さの妥協の結果発生する。例えば、ＣＡＢＡＣパラメータは符号化性能を最適化するためにＨ．２６４／ＡＶＣに定義されている。しかしながら、複雑さを低減するために、ＵＶＬＣ速度近似は、あるエンコーダにおいて実際上使用されてもよい。このように別の値と比べると、著しくより上位のＭＶ−ＲＥＭは、
2011510601.tif 000032
でのＣＡＢＡＣを用いて取り入れられる。それらの実際のＣＡＢＡＣ速度が統計的に接近している場合に、ＵＶＬＣ近似は、
2011510601.tif 000033
での動きベクトルよりも高価なものとして、
2011510601.tif 000034
での動きベクトルを考慮する。
【００２８】
次のものと同時に関連する歪みはＣＡＢＡＣに関連した歪みと著しく異なるものではないが、上記の式1に従って計算された動き検出は、
2011510601.tif 000035
での動きベクトルを選択しそうもない。同様に、次の最初（the first）の実際の速度は統計的により下位で、そこで式1のラグランジュの原価比較で好ましいものであるが、ＵＶＬＣ近似は
2011510601.tif 000036
での動きベクトルを考慮して、
2011510601.tif 000037
での動きベクトルと実質的に等しいコストを負担するようにさせる。したがって、
2011510601.tif 000038
での動きベクトル候補は、ある意味で「不公平に」不利になり、選択されそうではない。
【００２９】
動き依存条件に対して、ＭＶ−ＲＥＭはビデオコンテンツの動き活動特性（motion activity characteristic）に応じて変わる。ＣＡＢＡＣ速度は、上位の動き活動シーケンスへの媒体用の推定されたＵＶＬＣ速度より低い。しかしながら、ＣＡＢＡＣ速度は、下位の動き活動シーケンスの推定されたＵＶＬＣ速度より通常速いのである。速度差は上記の式1で計算された比較において重要であるが、そのような変動は動き検出決定に著しい影響を与えない。
【００３０】
等方性の条件に関して、ＭＶ−ＲＥＭは、方向性のある検討事項について、通常対称である。不一致は存在するが、別の方向より１つの特定方向を好むような、推定された動きフィールドの不規則性を引き起こさない。
【００３１】
D. 実施例
本発明の実施例では、下位の複雑さの適応性速度推定方法でＭＶ−ＲＥＭを低減させるように機能する。この適応性速度推定方法は、ＣＡＢＡＣベースのエンコーダがすべてのｍｖｄを符号化し、その上に関連する実際のビットを計数することを可能にする。本発明の実施例は、処理されているビデオのコンテンツとコンテンツ特性に基づいて適応して更新されるルックアップ表を使用する。
【００３２】
II  処理手順の例
A.平均コストでルックアップ表を適応的に更新すること
実施例は、平均コストに従ってルックアップ表を適応的に更新する。ルックアップ表が初期化される。実施例では、上記の式２に記述されるように、ルックアップ表はＵＶＬＣを使用した推定コストで初期化される。動き検出は上記の式1により各ブロックについて計算される。動き検出はルックアップ表から読まれた動きベクトルコストで行なわれてもよい。動きベクトルを選択する際、選択された動きベクトルは予測的に符号化される。また、ｍｖｄはＣＡＢＡＣを使用してエントロピー符号化される。符号化されたｍｖｄは、デコーダにビットストリームの一部として送られる。
【００３３】
各符号化されたｍｖｄ＝ｎのために、実際の符号化速度
2011510601.tif 000039
が収集される。ここで、
2011510601.tif 000040
は、カレントブロックまでのｍｖｄ＝ｎの発生の合計数である。ここで、
2011510601.tif 000041
は、テーブル初期設定で得られたｍｖｄ＝ｎのためのルックアップ表中の初期値を表わすもので、ｍｖｄ＝ｎのための対応するコストである。
2011510601.tif 000042
は最新のルックアップ表入力を提供する。これらは、以下の式４Ａと４Ｂに記述される。
【数４】
2011510601.tif 000043
（式４Ａおよび４Ｂ）
【００３４】
Ｂ．加重平均コストでルックアップ表を適応的に更新すること
実施例は、加重平均コストに従ってルックアップ表を適応的に更新する。各符号化されたｍｖｄ＝ｎのために、実際の符号化速度Ｒｉｎ，i=1、2、…、Mはすべての符号化されたｍｖｄ＝ｎのために収集される。実施例は、以下の式５Ａ及び式５Ｂで示されるような加重平均コストでルックアップ表を更新する。
【数５】
2011510601.tif 000044
（式５Ａおよび式５Ｂ）
式５Ｂでは、ｗｉは重み付け係数を表わす。実施例では、重み付け係数ｗｉは式５Ｃに従って選択される。
【数６】
2011510601.tif 000045
（式５Ｃ）
式５Ｃで、kは0以上の整数値である。
【００３５】
Ｃ．定期的な適応性のルックアップ表改訂
実施例では、ｍｖｄ＝ｎの実際の符号化速度は、すべての第Ｎ番目の発生のために収集される。対応するルックアップ表入力は、例えば、上記のセクションII．Ａ．とII．Ｂ．に記述された平均コストあるいは加重平均コストで適応的に更新される。現在の実施例は、N回までコンテンツを更新することで複雑さを低減し、例えばN回超えは別のアプローチによる。
【００３６】
Ｄ．選択的な適応性のルックアップ表の更新
実施例では、ルックアップ表の一部はｍｖｄのコンテンツ特性に従って更新される。２のべき乗の速度不一致は、別の値の不一致より重要である。実施例では、２のべき乗と等しいｍｖｄ値の実際の符号化速度は、選択的に収集される。そのとき、対応するルックアップ表入力は、例えば、上記のセクションII．Ａ．、II．Ｂ．並びにII．Ｃ．に記述された平均コスト、加重平均コストと共に、あるいは定期的に更新される。２のべき乗と等しいｍｖｄ値の選択的に収集する実際の符号化速度と、平均コスト、加重平均コストと共に、あるいは定期的にルックアップ表を適応して更新することは、コンテンツ更新の複雑さを低減し、効率を増加させる。
【００３７】
Ｅ．事前分析を備えた選択的なルックアップ表の更新
実施例では、ルックアップ表の一部はビデオコンテンツの特性に従って更新される。上述されるように、２つの動きベクトル候補のためのＭＶ−ＲＥＭの差は、上位の動きコンテンツより下位の動きコンテンツにとってより重要な意義を有する。一実施例では、事前分析はビデオコンテンツ上で行なわれる。ここで、事前分析により、コンテンツあるいはビデオコンテンツ中の特定の領域またはセグメントが、上位の動きに関連する特性を有することを示唆される場合、ルックアップ表中の現在の入力が使用される。しかしながら、事前分析が下位の動きコンテンツを見せる場合、実際の符号化速度が収集される。そのとき、ルックアップ表の対応する入力は、例えば、上記のセクションII．Ａ．、II．Ｂ．、II．Ｃ．並びにII．Ｄ．に記述された平均コスト、加重平均コストと共に、又は定期的、あるいは選択的に更新される。実施例では、選択的なルックアップ表の更新は、動きの面から粒度を検知するために事前分析を使用してもよい。したがって、異なる領域あるいはフレームでの個々の事前分析された動き特性を考慮して、全く異なった更新処理手順を適用してもよい。例えば、Nに対する全く異なった値を使用する定期的なルックアップ表の更新が行われる。
【００３８】
Ｆ．パラメータ化されたルックアップ表の更新
実施例では、動き情報コストはｍｖｄのパラメータ化された関数としてモデル化される。動き情報コストのモデル化がｍｖｄのパラメータ化された関数によってモデル化されると、ルックアップ表入力の直接の更新が不要となる。例えば、式6に記述されるように、動き情報コストはｍｖｄの二次関数としてモデル化される。
[数７]  
Ｒ（ｍｖｄ）＝ｍ１・ｍｖｄ２＋ｍ２・ｍｖｄ＋ｍ３  （式６）
式6では、ｍ１、ｍ２およびｍ３はモデルパラメータを表わす。ｍｖｄ＝ｎのすべての収集された実際の符号化速度で、モデルパラメータは統計適合法を使用して更新される。モデルパラメータは、ｍｖｄの発生の全て又は一部に対して更新される。そのとき、ルックアップ表は、最新のモデルパラメータで適応して更新される。
【００３９】
Ｇ．実施例の比較
図6と図7は、本発明の実施例による符号化効率の実施例の比較を示す。速度コスト推定には、例えば、上記のセクションII．Ａ．に記述されたように、平均コストでルックアップ表を適応的に更新することを含む。コンテンツは８ｘ８イントラ予測モードおよび下位の複雑さ速度歪み最適化を使用して、コード化される。ビデオとイメージ処理の分野に熟練している技術者に周知の「母親および娘試験シーケンス」のために、適応推定は、クォータ共通中間形式（ＱＣＩＦ）コンテンツで有意な利得（例えば＜１．５ｄＢ）を達成する。利得はＣＩＦコンテンツでより高い（例えば＜３ｄＢ）。さらに、利得は、上位のビットレートよりも、低ビットレートでより重要である。本発明の実施例はこのようにビデオ符号化効率を改善する。この有益性は、下位の複雑さと低ビットレートアプリケーションで特に重要である。
【００４０】
Ｈ．処理手順の例
本発明の実施例は、以下の段落中で列挙される記述の１つ以上に関係がある。図８Ａは、本発明の実施例に従って、処理手順８００の例についてのフローチャートを示す。
【００４１】
１．ビデオ情報を処理するための方法（８００）であって、
動きベクトル間の差の符号化に関係している送信コストを推定するステップ（８０１）であって、前記動きベクトル間の差は前記ビデオ情報の動き特性の記述であるステップと、
前記動きベクトルに関連した速度推定不一致を最小限にする原理（basis）で前記動きベクトル差を符号化するステップ（８０２）と、
を有し、ここで、前記符号化ステップ（８０２）は、コンテンツ適応性の二進法符号化を使用して、前記動きベクトル差に関連したビットカウントを計算するステップ（８１２）を有することを特徴とする方法。
【００４２】
図８Ｂと図８Ｃは、本発明の一実施例に従って、処理手順の例のフローチャートを示す。
２．  列挙された記述１に挙げられるような方法（８００）であって、前記推定ステップ（８０１）が次のステップ
ルックアップ表にアクセスするステップ（８２１）、
前記ルックアップ表中の１つ以上の入力からのコストに相当する値にインデックスを付けるステップ（８２２）であって、ここで、前記コストは、前記ビデオ情報に関連した文脈情報かコンテンツ特性の少なくとも１つに関係があるステップ、及び
前記文脈情報か前記コンテンツ特性の変化に少なくとも一部分基づいて、前記ルックアップ表を適応的に更新するステップ（８２３）であって、ここで、前記変化に基づいて、前記値はダイナミックに調整可能であるステップ、
を有することを特徴とする方法。
【００４３】
３．  前記送信コストが平均コストを含むことを特徴とする、列挙された記述1に挙げられるような方法（８００）。
４．  列挙された記述３に挙げられるような方法（８００）であって、前記更新ステップ（８２３）が次のステップ
ブロックの発生回数の合計にわたって符号化された前記動きベクトル差の各々の符号化速度を収集するステップ（８４１）、
前記収集された符号化速度と前記発生回数の合計に基づいた平均コストを処理するステップ（８４２）、及び
前記処理ステップに基づいた前記ルックアップ表への前記動きベクトル差の符号化に対応するコストに対する値を入力するステップ（８４３）、
を有することを特徴とする方法。
【００４４】
５．  列挙された記述３に挙げられるような方法（８００）であって、前記平均コストが加重平均コストで構成され、ここで、前記加重平均コストは重み付け係数で重み付けられた前記平均コストに相当することを特徴とする方法。
６．  列挙された記述５に挙げられるような方法（８００）であって、前記更新ステップ（８２３）が次のステップ、
ブロックの発生回数の合計にわたって前記符号化された動きベクトル差の各々について、符号化速度を収集するステップ（８６１）、及び
前記収集した符号化速度、前記発生回数の合計、並びに前記重み付け係数に少なくとも一部分基づいて平均コストを処理するステップ（８６２）であって、ここで、前記重み付け係数は、前記ブロックにわたる符号化速度の前記発生回数の合計に基づいて処理され、
そして前記処理ステップに基づいた前記ルックアップ表への前記動きベクトル差の符号化に対応するコストに対する値を登録するステップ（８６３）を有することを特徴とする方法。
【００４５】
７．  列挙された記述３又は５に挙げられるような方法（８００）であって、前記更新するステップ（８２３）は定期的に行なわれることを特徴とする方法。
８．  列挙された記述３、５、７の何れか一項に挙げられるような方法（８００）であって、前記更新するステップ（８２３）は前記動きベクトル差に関連した文脈特性に基づいて選択的に行なわれることを特徴とする方法。
９．  列挙された記述８に挙げられるような方法（８００）であって、前記収集するステップ（８６１）は、２のべき乗と等しい値を有する動きベクトル差の前記符号化速度を選択的に収集するステップ（８９１）を有し、
ここで、前記処理ステップ（８４２と８６２）は、前記選択的に収集するステップ（８９１）に少なくとも一部分基づくことを特徴とする方法。
【００４６】
１０．  列挙された記述３、５、７、８の何れか一項に挙げられるような方法（８００）であって、前記更新するステップ（８２３）は前記ビデオ情報に関連したコンテンツ特性に少なくとも一部分基づいて選択的に行なわれることを特徴とする方法。
１１．  列挙された記述１０に挙げられるような方法（８００）であって、前記コンテンツ特性は前記ビデオ情報コンテンツに関連した動き特性を含むことを特徴とする方法。
１２．  列挙された記述１１に挙げられるような方法（８００）であって、さらに
前記動き特性に基づいて前記ビデオ情報を分析するステップ（８３１）、
前記動き特性の粒状を検出するステップ（８３２）、
上位の動きコンテンツを検知すると、前記ルックアップ表中の既存の入力に少なくとも一部分に基づいて、前記インデックスを付けるステップ（８２１）、及び
下位の動きコンテンツを検知すると、前記更新するステップを行なうステップ（８２３）であって、ここで前記更新するステップ（８２３）の少なくとも一部分に基づいて、前記インデックスを付けるステップ（８２１）を行なうことを特徴とする方法。
【００４７】
１３．  列挙された記述２に挙げられるような方法（８００）であって、さらに
前記動きベクトル差のための符号化コストをモデル化するステップ（８３３）、
前記動きベクトル差の実際の符号化速度に関連した前記符号化コストを収集するステップ（８３４）、及び
前記モデル化ステップ（８３３）に関連した統計適合に少なくとも一部分基づいて、前記モデル化された符号化コストを更新するステップ（８３５）を有し、
ここで、前記適応的に更新するステップ（８２３）は、前記モデル化された符号化コストを更新するステップ（８３５）を有することを特徴とする方法。
【００４８】
１４．  列挙された記述１３に挙げられるような方法（８００）であって、前記モデル化された符号化コストを更新するステップ（８３３）が前記動きベクトル差のすべて又は少なくとも一部分にわたって行なわれることを特徴とする方法。
１５．  列挙された記述１に挙げられるような方法（８００）であって、前記推定するステップ（８０１）と前記符号化ステップ（８０２）の少なくとも１つが普遍的な可変長符号と無関係に行なわれることを特徴とすることを特徴とする方法。
【００４９】
１６．  ビデオコンテンツ用のエンコーダ（１００）であって、列挙された記述１から１５に挙げられたステップと関係する符号化機能を行なうための手段から構成されることを特徴とするエンコーダ。
１７．  ビデオコンテンツ用のデコーダ（２００）であって、列挙された記述１６に挙げられたエンコーダによって符号化されたビデオコンテンツをデコードするための手段から構成されることを特徴とするデコーダ。
１８．  ビデオコンテンツ用のデコーダ（２００）であって、列挙された記述１−１５に挙げられたステップと関係する符号化機能を行なうための手段から構成されることを特徴とするデコーダ。
【００５０】
１９．  １つ以上のプロセッサで実行された時、列挙された記述１６、１７、１８に挙げられたエンコーダ（１００）あるいはデコーダ（２００）を構成する命令を含むコンピュータ可読記憶媒体。
２０．  １つ以上のプロセッサで実行された時、計算機装置にビデオ情報を処理するためのステップを行なわせる（１００と２００）命令を含むコンピュータ可読記憶媒体であって、ここで前記ステップは、列挙された記述１−１５に挙げられたステップの１つ以上を含んでいることを特徴とするコンピュータ可読記憶媒体。
【００５１】
III  等価物、拡張、代案並びにミソレニアス
適応性動き情報コスト推定のための実施例は以上のように記述される。上述の明細書では、本発明の実施例が態様毎に多数の特定の詳細を参照して記述された。したがって、何が発明であるかの唯一かつ排他的な標識であって発明であるとして出願人によって意図されるのは、本出願に基づいて許可される一組の請求項であって、いかなる後の補正も含まれる。そのような請求項に含まれる術語について明らかにここに明記されるいかなる定義も、請求項で使用される術語の意味を決定する。従って、請求項で明らかに列挙されていないような、制限、要素、特性（property）、機能、利点あるいは属性は、形はどうあれ請求項の適用範囲を制限しない。従って、明細書と図面は、制限的な趣旨ではなく本発明を説明するものに過ぎない。
【図１】
2011510601.tif 000046
【図２】
2011510601.tif 000047
【図３】
2011510601.tif 000048
【図４】
2011510601.tif 000049
【図５】
2011510601.tif 000050
【図６】
2011510601.tif 000051
【図７】
2011510601.tif 000052
【図８Ａ】
2011510601.tif 000053
【図８Ｂ】
2011510601.tif 000054
【図８Ｃ】
2011510601.tif 000055
【手続補正書】
【提出日】平成22年4月29日(2010.4.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオ情報を処理するための方法であって、
動きベクトル間の差のＣＡＢＡＣ符号化の送信コストを推定するステップであって、前記動きベクトル間の差は前記ビデオ情報の動き特性の記述であると共に、前記動きベクトルの予測因子であるステップを有し、
前記推定ステップが、
ルックアップ表を初期化するステップ、
前記ルックアップ表にアクセスするステップ、
前記ルックアップ表から前記動きベクトル差によってインデックスを付けられるコスト値を読み出すステップ、及び
前記動きベクトル差の収集された実際の符号化速度に少なくとも基づいて、前記ルックアップ表の前記コスト値を適応的に更新するステップ
を有することを特徴とする方法。
【請求項２】
請求項１に記載された方法であって、前記動きベクトルとその前記予測因子との間の符号化された差は、複数の動きベクトルとそれらの各前記予測因子との間の複数の符号化された差の一つを構成し、
前記更新ステップが、
複数の動きベクトルとそれらの各前記予測因子との間の複数の符号化された差の各々の符号化速度を収集するステップ、
複数の動きベクトルとそれらの各前記予測因子との間の複数の符号化された差の各々の収集された符号化速度の平均コスト値を計算するステップ、及び
各動きベクトル差に対して、前記平均コスト値を前記計算するステップから前記ルックアップ表に入力するステップ、
を有することを特徴とする方法。
【請求項３】
請求項２に記載された方法であって、前記平均コストが加重平均コストで構成され、そして、前記加重平均コストは重み付け係数で重み付けられた前記平均コストに相当することを特徴とする方法。
【請求項４】
請求項２に記載された方法であって、前記更新するステップが定期的に行われることを特徴とする方法。
【請求項５】
請求項２に記載された方法であって、前記更新するステップが前記動きベクトル差に関連したコンテキスト特性（context characteristic）に基づいて、選択的に行われることを特徴とする方法。
【請求項６】
請求項２に記載された方法であって、前記収集するステップが２のべき乗に等しい値を有する動きベクトル差のために前記符号化速度を選択的に収集するステップを有し、
前記計算するステップが前記選択的に収集するステップに基づくことを特徴とする方法。
【請求項７】
請求項２、５、又は６の何れか一項に記載された方法であって、前記更新するステップが前記ビデオ情報に関連したコンテンツ特性に基づいて選択的に行われることを特徴とする方法。
【請求項８】
請求項７に記載された方法であって、前記コンテンツ特性が前記ビデオ情報コンテンツに関連した動き特性を有することを特徴とする方法。
【請求項９】
請求項８に記載された方法であって、さらに
前記動き特性を抽出するために前記ビデオ情報を分析するステップを有し、
上位の動きコンテンツを検知すると、前記ルックアップ表中の既存の入力に基づいて、前記読み出しステップを行ない、
下位の動きコンテンツを検知すると、前記更新するステップを行ない、前記更新するステップの後で、前記読み出しステップを行なうことを特徴とする方法。
【請求項１０】
請求項１に記載された方法であって、さらに
前記動きベクトル差の前記符号化コストをモデル化するステップ、
前記動きベクトル差の実際の符号化速度に関連した符号化コストを収集するステップ、及び
統計適合に基づいて、前記モデル化された符号化コストを更新するステップ、
を有し、前記更新するステップは、前記モデル化された符号化コストを更新するステップを有することを特徴とする方法。
【請求項１１】
請求項１０に記載された方法であって、前記モデル化された符号化コストを更新するステップが前記動きベクトル差のすべて又は少なくとも一部分にわたって行なわれることを特徴とする方法。
【請求項１２】
ビデオコンテンツ用のエンコーダであって、請求項１乃至１１の何れか一項以上に記載されたステップを用いて符号化機能を行なう手段から構成されることを特徴とするエンコーダ。
【請求項１３】
請求項１２に記載されたエンコーダと、
前記エンコーダによって符号化された映像コンテンツをデコードするためのデコーダを備えるシステム。
【請求項１４】
１つ以上のプロセッサで実行された時、コンピュータシステムがビデオ情報を処理するステップを実行するように動作させ、又は制御する命令を含むコンピュータ可読記憶媒体であって、
前記ステップは請求項１乃至１１の何れか一項以上に記載されたステップの一以上を有し、又は請求項１２に記載されたエンコーダ又は請求項１３に記載されたシステムとして構成されることを特徴とするコンピュータ可読記憶媒体。
【国際調査報告】
2011510601.tif 000056
2011510601.tif 000057
2011510601.tif 000058
2011510601.tif 000059