(57)【要約】      （修正有）【課題】デジタル・ビデオ・システムにおいて、極めて効率的な方法で予測動きベクトルを迅速に計算する。【解決手段】第１のビデオ画像と第２のビデオ画像との第１の表示時間差に２の累乗値を乗算することで第１の被乗数が決定される。このステップで比率の分子が拡大する。次に、システムはその変倍された分子を前記第２のビデオ画像と第３のビデオ画像の第２の表示時間差で除算することで変倍された比率を決定する。次に、変倍された比率は記憶され、動きベクトル予測の計算を行う。変倍された比率を記憶することですべての予測動きベクトルは高い精度で迅速に計算できる。これは、変倍された比率が有効ビットを保存し、倍率の低減が簡単なけた送りで実行されるためである。【選択図】図１
2011155678.tif 000002
【特許請求の範囲】
【請求項１】
デジタル・ビデオ・システムで動き予測を実行する方法であって、
第１のビデオ画像と第２のビデオ画像との第１の表示時間差に２の累乗値を乗算するこ
とで第１の被乗数を決定するステップと、
前記被乗数を前記第２のビデオ画像と第３のビデオ画像の第２の表示時間差で除算する
ことで変倍された比率を決定するステップと、
動きベクトル予測の計算のために前記変倍された比率を記憶するステップとを含む方法。
【請求項２】
前記変倍された比率に前記第１のビデオ画像に関連する動きベクトルを乗算することで変
倍された動きベクトルを決定するステップをさらに含む請求項１に記載のデジタル・ビデ
オ・システムで動き予測を実行する方法。
【請求項３】
前記変倍された動きベクトルを前記２の累乗値で除算するステップをさらに含む請求項２
に記載のデジタル・ビデオ・システムで動き予測を実行する方法。
【請求項４】
前記除算が前記変倍された動きベクトルのビットをけた送りすることで実行される請求項
３に記載のデジタル・ビデオ・システムで動きベクトル予測を実行する方法。
【請求項５】
前記２の累乗値が２５６を含む請求項１に記載のデジタル・ビデオ・システムで動き予測
を実行する方法。
【請求項６】
前記２の累乗値が通信チャネルを通して周期的に送信される請求項１に記載のデジタル・
ビデオ・システムで動き予測を実行する方法。
【請求項７】
除算によって前記変倍された比率を決定する前記ステップがビデオ画像あたり１回だけ実
行される請求項１に記載のデジタル・ビデオ・システムで動き予測を実行する方法。
【請求項８】
前記変倍された比率が切り捨てされる請求項１に記載のデジタル・ビデオ・システムで動
き予測を実行する方法。
【請求項９】
前記変倍された比率が最も近い整数に丸められる請求項１に記載のデジタル・ビデオ・シ
ステムで動き予測を実行する方法。
【請求項１０】
前記２の累乗値が定数を含む請求項１に記載のデジタル・ビデオ・システムで動き予測を
実行する方法。
【請求項１１】
コンピュータ可読媒体であって、該コンピュータ可読媒体が動き予測を実行する一組のコ
ンピュータ命令を有し、前記一組のコンピュータ命令が、
第１のビデオ画像と第２のビデオ画像との第１の表示時間差に２の累乗値を乗算するこ
とで第１の被乗数を決定するステップと、
前記被乗数を前記第２のビデオ画像と第３ビデオ画像の第２の表示時間差で除算するこ
とで変倍された比率を決定するステップと、
動きベクトル予測の計算のために前記変倍された比率を記憶するステップとを含む一組
のステップを実施するコンピュータ可読媒体。
【請求項１２】
前記コンピュータ命令が、
前記変倍された比率に前記第１のビデオ画像に関連する動きベクトルを乗算することで変
倍された動きベクトルを決定するステップをさらに実行する請求項１１に記載のコンピュ
ータ可読媒体。
【請求項１３】
前記コンピュータ命令が、
前記変倍された動きベクトルを前記２の累乗値で除算するステップをさらに実行する請
求項１２に記載のコンピュータ可読媒体。
【請求項１４】
前記除算が前記変倍された動きベクトルのビットをけた送りすることで実行される請求項
１３に記載のコンピュータ可読媒体。
【請求項１５】
前記２の累乗値が２５６を含む請求項１１に記載のコンピュータ可読媒体。
【請求項１６】
前記２の累乗値が通信チャネルを通して周期的に送信される請求項１１に記載のコンピュ
ータ可読媒体。
【請求項１７】
除算によって前記変倍された比率を決定する前記ステップがビデオ画像あたり１回だけ実
行される請求項１１に記載のコンピュータ可読媒体。
【請求項１８】
前記変倍された比率が切り捨てされる請求項１１に記載のコンピュータ可読媒体。
【請求項１９】
前記変倍された比率が最も近い整数に丸められる請求項１１に記載のコンピュータ可読媒
体。
【請求項２０】
前記２の累乗値が定数を含む請求項１１に記載のコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願）
本特許出願は、２００２年１２月６日出願の米国特許出願番号１０／３１３，７７３に
ついて、米国特許法第１２０条により先の出願日の利益を主張する。
【０００２】
（技術分野）
本発明は、マルチメディア圧縮システムの分野に関する。特に、本発明は、プロセッサ
集約型除算演算の要件が低減された可変精度画像間タイミング指定の方法およびシステム
を開示する。
【背景技術】
【０００３】
デジタル・ベースの電子媒体フォーマットはついに大幅にアナログ電子媒体フォーマッ
トに取って代わる段階に達した。デジタル・コンパクト・ディスク（ＣＤ）はかなり以前
にアナログのビニール製レコードに取って代わっている。アナログ磁気カセット・テープ
はますます稀になっている。ミニディスクおよびＭＰ３（ＭＰＥＧオーディオ・レイヤ３
）などの第２世代および第３世代デジタル・オーディオ・システムは、コンパクト・ディ
スクの第１世代デジタル・オーディオ・フォーマットから市場シェアを奪いつつある。
ビデオ媒体フォーマットは、オーディオ媒体と比較してデジタル記憶装置およびデジタ
ル伝送フォーマットへの移行が遅れている。このデジタルへの移行の遅さの理由は、許容
できる品質の映像をデジタル形式で正確に表現するのに必要な大量のデジタル情報と圧縮
された映像を符号化するのに必要な高速処理能力とに主として起因する。映像を正確に表
現するのに必要な大量のデジタル情報は、極めて大容量のデジタル記憶システムおよび高
帯域伝送システムを必要とする。
【０００４】
しかし、映像はデジタル記憶装置および伝送フォーマットに急速に移行しつつある。よ
り高速のコンピュータ・プロセッサ、高密度記憶システム、および新しい効率的な圧縮お
よび符号化アルゴリズムによって、デジタル・ビデオ伝送および記憶装置は消費者価格に
まで引き下げた。デジタル・ビデオ・システムであるＤＶＤ（デジタル多用途ディスク）
は、数年にわたって最もよく売れている消費者向け電子製品の１つである。ＤＶＤは、そ
の高品質の映像、極めて高品質の音響、利便性および他の特徴によって、好んで選ばれる
事前録画されたビデオ再生システムとして、ビデオカセット・レコーダ（ＶＣＲ）に急速
に取って代わっている。古くなったアナログＮＴＳＣ（米国テレビジョン方式委員会）の
ビデオ伝送システムは現在、デジタルＡＴＳＣ（高度テレビジョン方式委員会）のビデオ
伝送システムに移行しつつある。
コンピュータ・システムは何年もの間、さまざまな異なるデジタル・ビデオ符号化フォ
ーマットを使用してきた。特に、コンピュータ・システムはデジタル映像をそれぞれ圧縮
および符号化、または圧縮解除および復号化する異なるビデオ符号器／復号器の方法を使
用してきた。ハードウェアまたはソフトウェア実施態様でのビデオ符号器／復号器の方法
は、一般に「コーデック」と呼ばれる。
【０００５】
コンピュータ・システムによって使用されてきた最良のデジタル・ビデオ圧縮および符
号化システムには、頭字語ＭＰＥＧで一般に周知である動画映像専門家グループ（Ｍｏｔ
ｉｏｎ  Ｐｉｃｔｕｒｅｓ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）が支援するデジタル・ビデオ・
システムが含まれる。ＭＰＥＧの３つの最も知られ、使用されているデジタル・ビデオ・
フォーマットは、ＭＰＥＧ−１、ＭＰＥＧ−２、およびＭＰＥＧ−４である。ビデオＣＤ
（ＶＣＤ）および消費者グレードのデジタル・ビデオ編集システムは初期のＭＰＥＧ−１
デジタル・ビデオ符号化フォーマットを使用する。デジタル多用途ディスク（ＤＶＤ）お
よびディッシュ・ネットワーク・ブランドの直接放送衛星（ＤＢＳ）テレビジョン放送シ
ステムは高品質ＭＰＥＧ−２デジタル・ビデオ圧縮および符号化システムを使用する。Ｍ
ＰＥＧ−４符号化システムは、最新のコンピュータ・ベースのデジタル・ビデオ・エンコ
ーダおよびそれに関連するデジタル・ビデオ・プレーヤに急速に採用されている。
【０００６】
ＭＰＥＧ−２およびＭＰＥＧ−４標準は一連のビデオ・フレームまたはビデオ・フィー
ルドを圧縮し、次に圧縮されたフレームまたはフィールドをデジタル・ビットストリーム
に符号化する。ビデオ・フレームまたはフィールドをＭＰＥＧ−２およびＭＰＥＧ−４シ
ステムで符号化する時には、ビデオ・フレームまたはフィールドは画素ブロックの矩形の
格子に分割される。各画素ブロックは独立して圧縮および符号化される。
ビデオ・フレームまたはフィールドを圧縮する時には、ＭＰＥＧ−４標準はフレームま
たはフィールドを、イントラフレーム（Ｉフレーム）、片方向予測フレーム（Ｐフレーム
）、または双方向予測フレーム（Ｂフレーム）という３つのタイプの圧縮フレームまたは
フィールドのうちの１つに圧縮できる。イントラフレームは他のビデオ・フレームを参照
せずに完全に独立して個別のビデオ・フレームを符号化する。Ｐフレームは、単一の以前
に表示されたビデオ・フレームを参照してビデオ・フレームを定義する。Ｂフレームは、
現在のフレーム以前に表示されたビデオ・フレームと現在のフレーム以後に表示されるビ
デオ・フレームの両方を参照してビデオ・フレームを定義する。冗長ビデオ情報を効率的
に使用することで、ＰフレームおよびＢフレームは最良の圧縮を提供する。
【発明の概要】
【０００７】
ビデオ・コーデックで動き予測を実行する方法および装置を開示する。特に、本発明は
、過剰な除算回数を必要とせずに極めて効率的な方法で予測動きベクトルを迅速に計算す
るシステムを開示する。
一実施形態では、第１のビデオ画像と第２のビデオ画像との第１の表示時間差に２の累
乗値を乗算することで第１の被乗数が決定される。このステップで比率の分子が拡大する
。次に、システムは、その変倍された分子を前記第２のビデオ画像と第３のビデオ画像の
第２の表示時間差で除算することで変倍された比率を決定する。次に、変倍された比率は
記憶され、後で動きベクトル予測の計算に使用される。変倍された比率を記憶することで
すべての予測動きベクトルは高い精度で迅速に計算できる。これは、変倍された比率が有
効ビットを保存し、倍率の低減が簡単なけた送りで実行されるために時間がかかる除算演
算の必要を解消するためである。
本発明の他の目的、特徴、および利点は、添付の図面および以下の詳細な説明から明ら
かになるだろう。
【図面の簡単な説明】
【０００８】
本発明の目的、特徴、および利点は、以下の詳細な説明を読めば当業者に明らかになる
だろう。
【図１】１つの可能なデジタル・ビデオ・エンコーダ・システムの高レベル・ブロック図である。
【図２】異なる画像を結ぶ矢印が動き補償を用いて作成される画像間依存を示す順序で画像が表示される一連のビデオ画像を示す図である。
【図３】異なる画像を結ぶ矢印が動き補償を用いて作成される画像間依存を示す画像の好ましい送信順序で図２の画像をリストしたビデオ画像を示す図である。
【図４】互いを参照するビデオ画像間の距離が２の累乗になるように選択される一連のビデオ画像を示す概念図である。
【発明を実施するための形態】
【０００９】
除算演算の要件が低減されたマルチメディア圧縮および符号化システムの可変精度画像
間タイミング指定の方法およびシステムを開示する。以下の説明では、説明を分かりやす
くするために、特定の命名法を用いて本発明の徹底的な理解を図る。しかし、本発明を実
施する際にこれらの特定の詳細内容が必要ではないことは当業者には明らかであろう。例
えば、本発明をＭＰＥＧマルチメディア圧縮および符号化システムに関して記載している
。しかし、他のタイプの圧縮および符号化システムにも同じ技法を容易に適用することが
できる。
【００１０】
マルチメディア圧縮および符号化の概要
図１は、当業技術分野で周知である典型的なデジタル・ビデオ・エンコーダ１００の高
レベル・ブロック図である。デジタル・ビデオ・エンコーダ１００は、ブロック図の左側
でビデオ・フレームの着信ビデオ・ストリーム１０５を受信する。デジタル・ビデオ・エ
ンコーダ１００は、各ビデオ・フレームを画素ブロックの格子に分割する。画素ブロック
は別々に圧縮される。さまざまな異なるサイズの画素ブロックを異なるビデオ符号化シス
テムが使用できる。例えば、異なる画素ブロック解像度は、８×８、８×４、１６×８、
４×４等を含む。さらに、画素ブロックは時折「マクロブロック」と呼ばれる。本明細書
では、いかなるサイズの画素のいかなるブロックを指す場合でも画素ブロックという用語
を使用する。
離散コサイン変換（ＤＣＴ）ユニット１１０はビデオ・フレーム内の各画素ブロックを
処理する。フレームは独立して処理でき（イントラフレーム）、または動き補償ユニット
から受信した他のフレームからの情報に関連して処理できる（インターフレーム）。次に
、量子化（Ｑ）ユニット１２０は離散コサイン変換ユニット１１０からの情報を量子化す
る。最後に、量子化されたビデオ・フレームはエントロピー・エンコーダ（Ｈ）ユニット
１８０によって符号化され、符号化されたビットストリームを生成する。エントロピー・
エンコーダ（Ｈ）ユニット１８０は可変長符号化（ＶＬＣ）システムを使用できる。
【００１１】
フレーム間符号化ビデオ・フレームは他の近くのビデオ・フレームに関連して定義され
るので、デジタル・ビデオ・エンコーダ１００は、インターフレームが符号化できるよう
に、各復号化されたフレームがデジタルビデオ・デコーダ内でどのように表示されるかの
複製を作成する必要がある。それ故、デジタル・ビデオ・エンコーダ１００の下の部分は
実際にデジタル・ビデオ・デコーダ・システムになる。特に、逆量子化器（Ｑ−１）ユニ
ット１３０はビデオ・フレーム情報の量子化を反転し、逆離散コサイン変換（ＤＣＴ−１
）ユニット１４０はビデオ・フレーム情報の離散コサイン変換を反転する。逆離散コサイ
ン変換（ＤＣＴ−１）ユニット１４０からすべてのＤＣＴ係数が再構成されると、動き補
償ユニットが動きベクトルと共にこの情報を使用して符号化されたビデオ・フレームを再
構成する。次に、再構成されたビデオ・フレームは以後のフレームの動き予測の基準ビデ
オ・フレームとして使用される。
【００１２】
次に、復号化されたビデオ・フレームを用いて復号化されたビデオ・フレーム内の情報
に関して定義されたインターフレーム（ＰフレームまたはＢフレーム）を符号化すること
ができる。特に、動き補償（ＭＣ）ユニット１５０および動き予測（ＭＥ）ユニット１６
０を用いて動きベクトルを決定し、インターフレームの符号化に用いる差分値を生成する
ことができる。
レート・コントローラ１９０はデジタル・ビデオ・エンコーダ１００内の多くの異なる
構成要素から情報を受信し、この情報を用いてビデオ・フレームごとにビット・バジェッ
トを割り当てる。レート・コントローラ１９０は、指定された一組の制約事項に適合する
最高品質のデジタル・ビデオ・ビット・ストリームを生成するようにビット・バジェット
を割り当てなければならない。特に、レート・コントローラ１９０は、バッファのオーバ
フロー（記憶できる以上の情報を送信することでビデオ・デコーダ内の利用可能なメモリ
の量を超過すること）、またはバッファのアンダフロー（ビデオ・フレームの送信が遅く
、ビデオ・デコーダが表示するビデオ・フレームが不足すること）を引き起こすことなく
、最高品質の圧縮ビデオ・ストリームを生成しようとする。
【００１３】
画素ブロックによるデジタル・ビデオ符号化
一部のビデオ信号では、連続するビデオ画像（フレームまたはフィールド）の間の時間
は一定ではない。（注：本明細書ではビデオ画像という用語で一般にビデオ・フレームま
たはビデオ・フィールドを指す。）例えば、伝送帯域幅の制約によって一部のビデオ画像
が欠落することがある。さらに、カメラの不規則性あるいはスローモーションまたはファ
ストモーションのような特殊効果のためにビデオ・タイミングも異なる場合がある。一部
のビデオ・ストリームでは、元のビデオ・ソースは設計による不均一の画像間時間を単に
有することがある。例えば、コンピュータ・グラフィック・アニメーションなどの合成ビ
デオは、ビデオ・カメラ・システムなどの均一のタイミングのビデオ・キャプチャー・シ
ステムによって任意のビデオ・タイミングを課されないために、不均一のタイミングを有
する場合がある。柔軟なデジタル・ビデオ符号化システムは不均一のビデオ画像タイミン
グを扱うことができなければならない。
前述したように、大半のデジタル・ビデオ符号化システムはビデオ画像を画素ブロック
の矩形の格子に分割する。ビデオ画像内の各々の個々の画素ブロックは別々に圧縮され符
号化される。例えば、ＩＳＯ  ＭＰＥＧまたはＩＴＵ  Ｈ．２６４などのいくつかのビデ
オ符号化標準は、別のタイプの予測画素ブロックを用いてビデオ画像を符号化する。１つ
のシナリオでは、画素ブロックは以下の３つのタイプのうちのいずれかである。
１．Ｉ画素ブロック  −  イントラ（Ｉ）画素ブロックは符号化に際して他のビデオ画
像の情報を使用しない（イントラ画素ブロックは完全に自己定義される）。
２．Ｐ画素ブロック  −  片方向予測（Ｐ）画素ブロックは以前のビデオ画像の画像情
報を参照する。
３．Ｂ画素ブロック  −  双方向予測（Ｂ）画素ブロックは以前および将来のビデオ画
像の情報を参照する。
【００１４】
ビデオ画像内の画素ブロックのすべてがイントラ画素ブロックの場合、ビデオ画像はイ
ントラフレームである。ビデオ画像が片方向予測マクロブロックまたはイントラ画素ブロ
ックのみを含む場合、ビデオ画像はＰフレームと呼ばれる。ビデオ画像が双方向予測画素
ブロックを含む場合、ビデオ画像はＢフレームと呼ばれる。話を分かりやすくするために
、本明細書では所与の画像内のすべての画素ブロックが同じタイプである場合を想定する
。
符号化されるビデオ画像のシーケンスの例は以下のように表現される。
Ｉ１Ｂ２Ｂ３Ｂ４Ｐ５Ｂ６Ｂ７Ｂ８Ｂ９Ｐ１０Ｂ１１Ｐ１２Ｂ１３Ｉ１４．．．
ここで、文字（Ｉ、Ｐ、またはＢ）は、デジタル・ビデオ画像がＩフレーム、Ｐフレー
ム、またはＢフレームのいずれかであるか、番号はビデオ画像のシーケンス内のビデオ画
像のカメラの順序を表す。カメラ順序はカメラがそのビデオ画像を記録した順序で、ビデ
オ画像を表示する順序（表示順）でもある。
【００１５】
上記の一連のビデオ画像の例を図２に概念図で示す。図２を参照すると、矢印は記憶さ
れた画像（この場合、ＩフレームまたはＰフレーム）の画素ブロックが他の画像の動き補
償予測で使用されることを示す。
図２のシナリオでは、他の画像の情報はイントラフレーム・ビデオ画像Ｉ１の符号化で
使用されない。ビデオ画像Ｐ５は、符号化に以前のビデオ画像Ｉ１内のビデオ情報を使用
するＰフレームであり、したがって、ビデオ画像Ｉ１からビデオ画像Ｐ５に矢印が引かれ
ている。ビデオ画像Ｂ２、ビデオ画像Ｂ３、ビデオ画像Ｂ４はすべてその符号化にビデオ
画像Ｉ１およびビデオ画像Ｐ５両方の情報を使用する。したがって、矢印がビデオ画像Ｉ
１およびビデオ画像Ｐ５からビデオ画像Ｂ２、ビデオ画像Ｂ３、およびビデオ画像Ｂ４に
引かれている。上記のように、画像間時間は一般に同じではない。
Ｂ画像は将来の画像（後で表示される画像）の情報を使用するので、送信順は普通表示
順とは異なる。特に、他のビデオ画像を構成するのに必要なビデオ画像は最初に送信しな
ければならない。上記のシーケンスでは、送信順は以下の通りである。
Ｉ１Ｐ５Ｂ２Ｂ３Ｂ４Ｐ１０Ｂ６Ｂ７Ｂ８Ｂ９Ｐ１２Ｂ１１Ｉ１４Ｂ１３．．．
【００１６】
図３は図２のビデオ画像の以前の送信順を示す。さらに、図中の矢印は記憶されたビデ
オ画像（この場合、ＩまたはＰ）の画素ブロックが他のビデオ画像の動き補償予測に使用
されることを示す。
図３を参照すると、システムは最初に他のいかなるフレームにも依存しないＩフレーム
Ｉ１を送信する。次に、システムはビデオ画像Ｉ１に依存するＰフレーム・ビデオ画像Ｐ
５を送信する。次に、ビデオ画像Ｂ２がビデオ画像Ｐ５の前に表示されるとしても、シス
テムはビデオ画像Ｐ５の後にＢフレーム・ビデオ画像Ｂ２を送信する。これは、ビデオ画
像Ｂ２を復号化する時点では、デコーダはビデオ画像Ｂ２を復号化するのに必要なビデオ
画像Ｉ１およびＰ５内の情報を受信し、記憶しているからである。同様に、ビデオ画像Ｉ
１およびＰ５をただちに用いて次のビデオ画像Ｂ３およびビデオ画像Ｂ４を復号化するこ
とができる。受信機／デコーダは正しく表示するためにビデオ画像シーケンスを並び替え
る。この動作で、ＩおよびＰ画像は記憶画像と呼ばれることが多い。
Ｐフレーム画像の符号化は、通常、動きベクトルが画像内の画素ブロックごとに計算さ
れる動き補償を使用する。計算された動きベクトルを用いて、前述の以前の画像の画素を
並進して予測画素ブロック（Ｐ画素ブロック）を形成できる。次に、Ｐフレーム画像内の
実際の画素ブロックと予測画素ブロックとの差が符号化されて送信される。
【００１７】
Ｐ画像
Ｐ画像の符号化は、通常、以前の画像のある位置をポイントする動きベクトル（ＭＶ）
が現在の画像内の画素ブロックごとに計算される動き補償（ＭＣ）を使用する。動きベク
トルを用いて、前述の以前の画像の画素を平行移動して予測画素ブロックを形成できる。次に、Ｐ画像内の実際の画素ブロックと予測画素ブロックとの差が符号化されて送信される。
また、各動きベクトルは予測符号化によって送信できる。例えば、動きベクトル予測は
近くの動きベクトルを用いて形成できる。その場合、実際の動きベクトルと予測動きベク
トルとの差が符号化されて送信される。
【００１８】
Ｂ画像
各Ｂ画素ブロックは、前述した以前のビデオ画像を参照する第１の動きベクトルと、以
後のビデオ画像を参照する第２の動きベクトルという２つの動きベクトルを使用する。こ
れら２つの動きベクトルから２つの予測画素ブロックが計算される。次に、２つの予測画
素ブロックはある機能を用いて結合され、最終予測画素ブロックが形成される。上記と同
様、Ｂフレーム画像の実際の画素ブロックと最終予測画素ブロックとの差が符号化され送
信される。
Ｐ画素ブロックの場合、予測符号化を用いてＢ画素ブロックの各動きベクトル（ＭＶ）
を送信することもできる。特に、予測動きベクトルは近くの動きベクトルを用いて形成さ
れる。次に、実際の動きベクトルと予測動きベクトルとの差が符号化され送信される。
しかし、Ｂ画素ブロックの場合、最も近くの記憶画像画素ブロック内の動きベクトルか
ら動きベクトルを補間する余地がある。そのような動きベクトル補間はデジタル・ビデオ
・エンコーダとデジタル・ビデオ・デコーダの両方で実行される。
この動きベクトル補間は固定された背景をゆっくりとパンするカメラによって作成され
るビデオ・シーケンスのビデオ画像で特に有効である。実際、そのような動きベクトル補
間は単独で使用できる。特に、これは、補間を用いて符号化された上記のＢ画素ブロック
動きベクトルに関して差分情報を計算したり送信したりする必要がないということを意味
する。
【００１９】
さらに説明を深めるために、上記のシナリオで、画像ｉとｊとの間の画像間表示時間を
Ｄｉ，ｊと表す。すなわち、画像の表示時間が、それぞれ、ＴｉおよびＴｊの場合、
Ｄｉ，ｊ＝Ｔｉ−Ｔｊ    ここから
Ｄｉ，ｋ＝Ｄｉ，ｊ＋Ｄｊ，ｋ
Ｄｉ，ｋ＝−Ｄｋ，ｉ
ただし、Ｄｉ，ｊは場合によって負である。
それ故、ＭＶ５，１がＩ１を参照するＰ５画素ブロックの動きベクトルの場合、Ｂ２、
Ｂ３およびＢ４内の対応する画素ブロックでは、Ｉ１およびＰ５を参照する動きベクトル
はそれぞれ以下の式により補間される。
ＭＶ２，１＝ＭＶ５，１＊Ｄ２，１／Ｄ５，１
ＭＶ５，２＝ＭＶ５，１＊Ｄ５，２／Ｄ５，１
ＭＶ３，１＝ＭＶ５，１＊Ｄ３，１／Ｄ５，１
ＭＶ５，３＝ＭＶ５，１＊Ｄ５，３／Ｄ５，１
ＭＶ４，１＝ＭＶ５，１＊Ｄ４，１／Ｄ５，１
ＭＶ５，４＝ＭＶ５，１＊Ｄ５，４／Ｄ５，１
動きベクトル予測に表示時間の比率が使用されるので、絶対表示時間は必要ないことに留
意されたい。それ故、Ｄｉ，ｊ画像間表示時間値には相対表示時間を使用することができ
る。
このシナリオは、例えば、Ｈ．２６４標準内で生成できる。生成過程で、ＰまたはＢ画
像はその動きベクトル予測に任意の以前に送信された画像を使用できる。それ故、上記の
場合、画像Ｂ３はその予測に画像Ｉ１および画像Ｂ２を使用できる。さらに、動きベクト
ルは補間だけでなく外挿してもよい。それ故、この場合、以下のようになる。
ＭＶ３，１＝ＭＶ２，１＊Ｄ３，１／Ｄ２，１
このような動きベクトルの外挿（または補間）は動きベクトルの予測符号化の予測プロセ
スでも使用できる。
【００２０】
画像間表示時間の符号化
ビデオ・シーケンスの可変画像間表示時間は、極めて高い符号化効率を得られるように
符号化し送信しなければならない。表示時間はビデオ・デコーダの要件を満たすように選
択可能な精度を有する。理想的には、符号化システムは、比較的簡単なコンピュータ・シ
ステムがデジタル・ビデオを復号化できるように、デコーダのタスクを簡単化すべきであ
る。
可変画像間表示時間は、差分動きベクトル、直接モード動きベクトル、および／または
暗黙的Ｂ予測ブロック重み付けを計算するためにいくつかの異なるビデオ符号化システム
で潜在的に必要である。
ビデオ・シーケンス内の可変画像間表示時間という問題は時間的基準の使用とからみあ
っている。理想的には、ビデオ・コーデックの出力画像の正確な画素値の導出はその画像
が復号化または表示される時間から独立していなければならない。したがって、タイミン
グの問題と時間基準とはコーデック・レイヤ外で解決しなければならない。
所望の時間独立の基礎となる符号化関連およびシステム関連の両方の理由がある。ビデ
オ・コーデックでは、以下の２つの目的で時間基準が使用される。
（１）基準画像選択の順序の確立
（２）画像間の動きベクトルの補間
基準画像選択の順序を確立するには、相対位置値を送信するだけでよい。例えば、復号化
順のフレーム位置Ｎと表示順のフレーム位置Ｍの差、すなわち、Ｎ−Ｍである。そのよう
な実施形態では、タイム・スタンプまたは他の時間基準は必要ない。動きベクトルを補間
する場合、時間的な距離が補間距離に関連するならば、時間的な距離が有用である。しか
し、動きが非直線の場合にはこれはあてはまらない。したがって、動きベクトル補間の時
間情報以外のパラメータを送信することがより適当と思われる。
【００２１】
システムに関しては、通常のビデオ・コーデックはビデオ・コーデックが他のビデオ（
およびオーディオ）・コーデックと共存する、より大きいシステムの一部であると予測で
きる。そのようなマルチ・コーデック・システムでは、優れたシステム・レイヤ形成およ
び設計は、タイミングなどのコーデックに論理的に依存しない一般機能がコーデック外の
レイヤによって処理されることを必要とする。各コーデックによる個別のタイミング管理
ではなく、システムによるタイミング管理は、同期化などの共通機能の一貫した処理を達
成するのに欠かせない。例えば、ビデオ／オーディオ・プレゼンテーションなどの同時に
複数のストリームを処理するシステムでは、異なるストリームを同期状態に保つためにタ
イミング調整がストリーム内に必要になることがある。同様に、異なるクロックを備えた
リモート・システムのストリームを処理するシステムでは、リモート・システムとの同期
を保つためにタイミング調整が必要である。そのようなタイミング調整はタイム・スタン
プを用いて達成できる。例えば、送信機からの「送信側レポート」によってリンクされ、
ストリームごとにＲＴＰレイヤ内でＲＴＰに供給されるタイム・スタンプを同期化に使用
できる。これらの送信側レポートは、以下の形式をとることができる。
ビデオＲＴＰタイム・スタンプＸが基準タイム・スタンプＹと位置合わせされている。
オーディオＲＴＰタイム・スタンプＷが基準タイム・スタンプＺと位置合わせされてい
る。
ここで、基準タイム・スタンプのクロック速度は知られており、２つのストリームを位
置合わせすることができる。しかし、これらのタイム・スタンプ基準は２つのストリーム
に関して周期的かつ個別に到着し、２つのストリームの何らかの必要な再位置合わせを引
き起こす。これは一般にビデオ・ストリームをオーディオに合わせて調整するかその逆の
方法で達成される。タイム・スタンプをシステムが処理する場合、表示される画素値に影
響してはならない。より一般的には、時間情報のシステムによる処理はコーデック外部で
実行しなければならない。
【実施例】
【００２２】
前節で述べたように、不均一の画像間時間の場合の問題は、画像間表示時間値Ｄｉ，ｊ
を効率的にデジタル・ビデオ受信機に送信することである。この目標を達成する１つの方
法は、第１の画像の後に、画像ごとに現在の画像と最も最近送信された記憶画像との表示
時間差をシステムに送信させるというものである。エラー許容力については、画像内で送
信を数回繰り返してもよい。例えば、表示時間差をＭＰＥＧまたはＨ．２６４標準のスラ
イス・ヘッダ内で繰り返すことができる。すべてのスライス・ヘッダが失われた場合、損
失画像に依存して復号化情報を得る他の画像もおそらくは復号化できない。
したがって、前節の例に関して、システムは以下の画像間表示時間値を送信する。
Ｄ５，１Ｄ２，５Ｄ３，５Ｄ４，５Ｄ１０，５Ｄ６，１０Ｄ７，１０Ｄ８，１０Ｄ９，１
０Ｄ１２，１０Ｄ１１，１２Ｄ１４，１２Ｄ１３，１４．．．
動きベクトル予測のために、画像によって、画像間表示時間Ｄｉ，ｊは変化する。例え
ば、単一のＢフレーム画像Ｂ６のみが２つのＰフレーム画像Ｐ５とＰ７との中間にある場
合、以下の情報のみを送信すれば済む。
Ｄ７，５＝２  および  Ｄ６，７＝−１
ここで、Ｄｉ，ｊ画像間表示時間値は相対時間値である。
ビデオ画像Ｂ６がビデオ画像Ｐ５とビデオ画像Ｐ７との距離のわずか１／４の位置にあ
る場合、送信する適当なＤｉ，ｊ画像間表示時間値は以下のようになる。
Ｄ７，５＝４およびＤ６，７＝−１
上記の両方の例では、ビデオ画像Ｂ６とビデオ画像Ｐ７との間の表示時間（画像間表示時
間Ｄ６，７）は表示時間の「単位」値として使用されていることに留意されたい。最近の
例では、ビデオ画像Ｐ５とビデオ画像Ｐ７との間の表示時間差（画像間表示時間Ｄ６，７
）は、４表示時間「単位」（４＊Ｄ６，７）である。
【００２３】
復号化の効率の改善
一般に、動きベクトル予測計算は、除数が２の累乗の場合に大幅に簡単化される。これ
は、２つの記憶された画像間のＤｉ，ｊ（画像間時間）が図４に示すように２の累乗とし
て選択される場合に本発明者の実施態様で容易に達成される。あるいは、予測手順はすべ
ての除数を２の累乗に切り捨てるか丸めるように定義できる。
画像間時間が２の累乗の場合、画像間時間の値そのものの代わりに（２の）累乗を送信
しさえすればデータ・ビットの数を低減できる。図４は、画像間の距離が２の累乗になる
ように選択される場合を示すグラフである。この場合、ビデオ画像Ｐ１とビデオ画像Ｐ３
との間のＤ３，１表示時間値２が１（２１＝２のため）として送信され、ビデオ画像Ｐ７
とビデオ画像Ｐ３との間のＤ７，３表示時間値４が２（２２＝４のため）として送信でき
る。
あるいは、外挿演算の動きベクトル補間は、分母が２の累乗であるような方法で変倍し
て任意の所望の精度に近似することができる。（分母に２の累乗がある除算は除算する値
のビットをけた送りするだけで実行できる。）例えば、
Ｄ５，４／Ｄ５，１〜Ｚ５，４／Ｐ
ただし、値Ｐは２の累乗で、Ｚ５，４＝Ｐ＊Ｄ５，４／Ｄ５，１は最も近い整数に丸めら
れるか切り捨てされる。Ｐの値はシステムの定数として周期的に送信されるか設定される
。一実施形態では、Ｐの値はＰ＝２８＝２５６に設定される。
【００２４】
この手法の利点は、デコーダが画像あたりＺ５，４を１回だけ計算すれば済むか、また
は多くの場合にデコーダがＺ値を事前計算して記憶できるという点である。これによって
、デコーダは画像内の動きベクトルごとにＤ５，１で除算する必要がなくなり、はるかに
効率的に動きベクトル補間が実行できる。例えば、通常の動きベクトル計算は以下のよう
になる。
ＭＶ５，４＝ＭＶ５，１＊Ｄ５，４／Ｄ５，１
しかし、Ｚ５，４（ただしＺ５，４＝Ｐ＊Ｄ５，４／Ｄ５，１）を計算し記憶する場合、
ＭＶ５，４＝ＭＶ５，１＊Ｚ５，４／Ｐ
Ｐ値は２の累乗になるように選択されているので、Ｐによる除算は単にビットのけた送り
である。したがって、ビデオ画像のＺ値が計算されたら、以降の画素ブロックの動きベク
トルを計算するのに１回の乗算と１回のけた送りだけが必要である。さらに、計算時に有
効ビットが失われないように、システムはすべての除算を最後に実行することで精度を高
く保つことができる。こうして、デコーダはエンコーダと同様に動きベクトル補間を正確
に実行して、この方法を採らなければ発生する可能性がある不一致の問題を回避すること
ができる。
除算（２の累乗による除算以外の）は、加算または乗算よりもデジタル・コンピュータ
・システムにとってはるかに計算が集中するタスクであるため、この手法は動きベクトル
補間または外挿を使用する画像を再構築するために必要な計算を大幅に削減することがで
きる。
ある場合には、動きベクトル補間を使用しなくてもよい。ただし、受信機／プレーヤ・
システムがビデオ画像を正しい順序で表示するように、受信機／プレーヤ・システムにビ
デオ画像の表示順序を送信することがなお必要である。この場合、実際の表示時間に関わ
らず、Ｄｉ，ｊは単に符号付き整数値で足りる。いくつかの応用例では、画像順序を再構
成するために符号（正または負）しか必要でない。
【００２５】
画像間時間Ｄｉ，ｊは単一の符号付き整数値として送信できる。ただし、Ｄｉ，ｊ値の
符号化に多くの方法を使用してさらに圧縮をかけることができる。例えば、符号ビットに
続けて可変長符号化の大きさを指定すると比較的実施しやすく、符号化の効率が上がる。
使用可能なそのような可変長符号化システムはＵＶＬＣ（ユニバーサル可変長符号）と
して知られる。ＵＶＬＣ可変長符号化システムは以下のコード・ワードで与えられる。
１＝      １
２＝    ０１０
３＝    ０１１
４＝  ００１００
５＝  ００１０１
６＝  ００１１０
７＝  ００１１１
８＝０００１０００．．．
画像間時間を符号化する別の方法は算術符号化の使用である。通常、算術符号化はデー
タ・ビットの極めて高い圧縮を行う条件付き確率を使用する。
以上のように、本発明は、動きベクトル予測で使用する画像間表示時間の簡単で強力な
符号化および伝送方法とこれら画像間表示時間の復号化方法とを紹介する。画像間表示時
間の符号化は、可変長符号化または算術符号化を用いて極めて効率的にすることができる
。さらに、ビデオ・コーデックの必要のみを満たすように所望の精度を選択することがで
きる。
以上、マルチメディア圧縮および符号化システムで可変精度画像間タイミングを指定す
るシステムについて説明した。本発明の範囲を逸脱することなく、本発明の要素の材料お
よび構成をさまざまな変更および修正できることは、当業者には明らかであろう。
【符号の説明】
【００２６】
１００  デジタル・ビデオ・エンコーダ
１０５  着信ビデオ・ストリーム
１１０  離散コサイン変換（ＤＣＴ）ユニット      
１２０  量子化（Ｑ）ユニット  
１３０  逆量子化器（Ｑ−１）ユニット
１４０  逆離散コサイン変換（ＤＣＴ−１）ユニット
１５０  動き補償（ＭＣ）ユニット
１６０  動き予測（ＭＥ）ユニット
１８０  エントロピー・エンコーダ（Ｈ）ユニット
１９０  レート・コントローラ
【図１】
2011155678.tif 000003
【図２】
2011155678.tif 000004
【図３】
2011155678.tif 000005
【図４】
2011155678.tif 000006
【手続補正書】
【提出日】平成23年4月1日(2011.4.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
符号化された第１のビデオ画像と、符号化された第２のビデオ画像と、符号化された第３のビデオ画像とを含むビットストリームを復号化する方法であって、
（ｉ）前記第３のビデオ画像の順序値と前記第１のビデオ画像の順序値との間の第１の順序差値に反比例し、
（ｉｉ）前記第２のビデオ画像の順序値と前記第１のビデオ画像の前記順序値との間の第２の順序差値に正比例し、
（ｉｉｉ）２の累乗値によって示される特定値に正比例する
変倍値を計算するステップと、
前記変倍値と、前記第３のビデオ画像と前記第１のビデオ画像との間の第１の動きベクトルと、の相乗に基づく乗積値を計算するステップと、
前記乗積値を前記特定値で割ることにより、前記第２のビデオ画像と前記第１のビデオ画像との間の第２の動きベクトルを計算するステップと、
を含むことを特徴とする方法。
【請求項２】
前記第２のビデオ画像の前記順序値は、前記第２のビデオ画像と他のビデオ画像との間の時間的関係を表すことを特徴とする請求項１に記載の方法。
【請求項３】
特定のビデオ画像の順序値は、一連のビデオ画像における前記特定のビデオ画像の位置を表すことを特徴とする請求項１に記載の方法。
【請求項４】
前記特定のビデオ画像の前記位置は、出力位置であることを特徴とする請求項３に記載の方法。
【請求項５】
前記乗積値を前記特定値で割る前記したことは、ビット桁送り演算を実行することを含むことを特徴とする請求項１に記載の方法。
【請求項６】
前記計算された第２の動きベクトルを用いて前記第２のビデオ画像を復号化するステップを更に含むことを特徴とする請求項１に記載の方法。
【請求項７】
前記第２のビデオ画像の前記順序値は、時間値を表すことを特徴とする請求項１に記載の方法。
【請求項８】
前記第２のビデオ画像の前記順序値は、時間値を表さないことを特徴とする請求項１に記載の方法。
【請求項９】
前記第２のビデオ画像と前記第１のビデオ画像との間の第２の動きベクトルを計算する前記ステップは、内挿演算の実行を含むことを特徴とする請求項１に記載の方法。
【請求項１０】
前記第２のビデオ画像の前記順序値は表示順序値であることを特徴とする請求項１に記載の方法。
【請求項１１】
請求項１乃至１０のいずれか１項に記載の方法の各ステップを実装する手順をコンピュータに実行させるプログラムを記録したコンピュータ可読記憶媒体。
【請求項１２】
請求項１乃至１０のいずれか１項に記載の方法の各ステップを実行する１以上の処理ユニットを含んだコンピュータシステム。
【外国語明細書】
2011155678000001.pdf