(57)【要約】      （修正有）【課題】符号化ユニットにおける動画符号化においてハイブリッド多仮説予測を行う。【解決手段】複数のサブ符号化ユニットを処理するステップと、前記サブ符号化ユニットの一部においてモーションベクトルを導出するステップと、前記複数のモーションベクトルにしたがって前記サブ符号化ユニットの一部である特定のサブ符号化ユニットにて多仮説モーション補償予測を行うステップとを含んでおり、モーションベクトルを導出する前記ステップは、多仮説モーション補償予測のための複数のモーションベクトルを、少なくとも１つのその他のサブ符号化ユニット／符号化ユニットからを導出するステップをさらに含んでおり、多仮説モーション補償予測を行う前記ステップは、前記複数のモーションベクトルから導出された複数のピクセル値の線形組み合わせを、前記特定のサブ符号化ユニットにおける予測されたピクセル値として用いるステップをさらに含む。【選択図】図２
2011229145.tif 000002
【特許請求の範囲】
【請求項１】
符号化ユニットにおける動画符号化においてハイブリッド多仮説予測を行う方法であって、
前記符号化ユニットにおいて複数のサブ符号化ユニットを処理するステップと、
前記サブ符号化ユニットの一部においてモーションベクトルを導出するステップと、
前記複数のモーションベクトルにしたがって前記サブ符号化ユニットの一部である特定のサブ符号化ユニットにて多仮説モーション補償予測を行うステップとを含んでおり、
前記サブ符号化ユニットの一部においてモーションベクトルを導出する前記ステップは、前記特定のサブ符号化ユニットにおける多仮説モーション補償予測のための複数のモーションベクトルを、少なくとも１つのその他のサブ符号化ユニット／符号化ユニットからを導出するステップをさらに含んでおり、
前記複数のモーションベクトルにしたがって前記特定のサブ符号化ユニットにて多仮説モーション補償予測を行う前記ステップは、前記複数のモーションベクトルから導出された複数のピクセル値の線形組み合わせを、前記特定のサブ符号化ユニットにおける予測されたピクセル値として用いるステップをさらに含むことを特徴とする、符号化ユニットにおける動画符号化においてハイブリッド多仮説予測を行う方法。
【請求項２】
前記複数のモーションベクトルにしたがって、前記特定のサブ符号化ユニットにて前記多仮説モーション補償予測を行う前記ステップは、
前記特定のサブ符号化ユニットにおける前記予測されたピクセル値を導出するための前記複数のピクセル値の重み付け和を計算するステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記複数のモーションベクトルにしたがって、前記特定のサブ符号化ユニットにて前記多仮説モーション補償予測を行う前記ステップは、
前記特定のサブ符号化ユニットにおける前記予測されたピクセル値を導出するための前記複数のピクセル値の平均を計算するステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項４】
前記サブ符号化ユニットの一部において前記モーションベクトルを導出する前記ステップは、
明示的なフラグに基づき前記サブ符号化ユニットの一部においてモーションベクトルを導出することを特徴とする請求項１に記載の方法。
【請求項５】
前記複数のモーションベクトルは、前記符号化ユニットにおける前記サブ符号化ユニットの残りの部分から導出されることを特徴とする請求項１に記載の方法。
【請求項６】
前記サブ符号化ユニットの前記残りの部分におけるモーションベクトル予測は、前記サブ符号化ユニットの一部における多仮説モーション補償予測の前に行われることを特徴とする請求項５に記載の方法。
【請求項７】
前記符号化ユニットにおいて前記複数のサブ符号化ユニットを処理する前記ステップは、
前記符号化ユニットにおける動画符号化に関する送信サイズとなる、前記特定のサブ符号化ユニットのサイズを決定するステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項８】
前記符号化ユニットにおいて前記複数のサブ符号化ユニットを処理する前記ステップは、あらかじめ決められたパターン、暗示的なフラグ、または明示的なフラグに基づいて、多仮説モーション補償予測を行う前記サブ符号化ユニットの一部における分布を決定するステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項９】
前記暗示的なフラグは、符号化ユニットを搬送するビットストリーム、符号化されたサブ符号化／符号化ユニットのモーションベクトル、符号化されたサブ符号化／符号化ユニットのモーションベクトルの分散、量子化パラメータ（ＱＰ）値、ビットレート、符号化されたサブ符号化／符号化ユニットの再構成残差信号、送信された離散コサイン変換（ＤＣＴ）係数、モーション分割タイプ、ブロックサイズ、および統計データのうち、１つまたはこれらの組み合わせから導出されることを特徴とする請求項８に記載の方法。
【請求項１０】
前記少なくとも１つのその他のサブ符号化ユニット／符号化ユニットは、符号化されたサブ符号化／符号化ユニットであることを特徴とする請求項１に記載の方法。
【請求項１１】
前記少なくとも１つのその他のサブ符号化ユニット／符号化ユニットは、少なくとも１つの空間的に符号化されたサブ符号化／符号化ユニット、および、少なくとも１つの時間的に符号化されたサブ符号化／符号化ユニットの少なくともいずれかを構成することを特徴とする請求項１０に記載の方法。
【請求項１２】
前記少なくとも１つのその他のサブ符号化ユニット／符号化ユニットは、モーション補償予測されたサブ符号化／符号化ユニットであることを特徴とする請求項１に記載の方法。
【請求項１３】
前記少なくとも１つのその他のサブ符号化／符号化ユニットは、隣接の符号化ユニットにおけるサブ符号化ユニットであることを特徴とする請求項１に記載の方法。
【請求項１４】
前記複数のモーションベクトルは、単一のサブ符号化／符号化ユニットから導出されることを特徴とする請求項１に記載の方法。
【請求項１５】
符号化ユニットにおける動画符号化においてハイブリッド多仮説予測を行う装置であって、
前記符号化ユニットにおいて動画符号化を行う処理回路を備えており、
前記処理回路は、前記符号化ユニットにおける複数のサブ符号化ユニットを処理し、前記サブ符号化ユニットの一部においてモーションベクトルの導出を行う前処理モジュールと、
前記前処理モジュールによって行われた多仮説モーション補償予測に基づき、符号化ユニットにおいて動画符号化を行う少なくとも１つの符号化モジュールとを備えており、
前記前処理モジュールは、前記サブ符号化ユニットの一部における特定のサブ符号化ユニットでの前記多仮説モーション補償予測のための、複数のモーションベクトルを少なくとも１つのその他のサブ符号化ユニット／符号化ユニットから導出し、前記複数のモーションベクトルにしたがって、前記特定のサブ符号化ユニットにおいて前記多仮説モーション補償予測を行い、前記複数のモーションベクトルから導出された複数のピクセル値の線形組み合わせを、前記特定のサブ符号化ユニットの予測されたピクセル値として用いることを特徴とする、符号化ユニットにおける動画符号化においてハイブリッド多仮説予測を行う装置。
【請求項１６】
前記前処理モジュールは、前記特定のサブ符号化ユニットにおける前記予測されたピクセル値を導出するための前記複数のピクセル値の重み付け和を計算することを特徴とする請求項１５に記載の装置。
【請求項１７】
前記前処理モジュールは、前記特定のサブ符号化ユニットにおける前記予測されたピクセル値を導出するための前記複数のピクセル値の平均を計算することを特徴とする請求項１５に記載の装置。
【請求項１８】
前記前処理モジュールは、明示的なフラグに基づいて前記サブ符号化ユニットの一部においてモーションベクトルを導出することを特徴とする請求項１５に記載の装置。
【請求項１９】
前記前処理モジュールは、前記符号化ユニットにおける前記サブ符号化ユニットの残された部分からモーションベクトルを導出することを特徴とする請求項１５に記載の装置。
【請求項２０】
前記前処理モジュールは、サブ符号化ユニットの一部において多仮説モーション補償予測を行う前に、前記サブ符号化ユニットの残された部分においてモーションベクトル予測を行うことを特徴とする請求項１９に記載の装置。
【請求項２１】
前記前処理モジュールは、前記符号化ユニットにおける動画符号化に関する送信サイズとなる、前記特定のサブ符号化ユニットのサイズを決定することを特徴とする請求項１５に記載の装置。
【請求項２２】
前記前処理モジュールは、あらかじめ決められたパターン、暗示的なフラグ、または明示的なフラグに基づいて、多仮説モーション補償予測を行うための、前記サブ符号化ユニットの一部における分布を決定することを特徴とする請求項１５に記載の装置。
【請求項２３】
前記暗示的なフラグは、符号化ユニットを搬送するビットストリーム、符号化されたサブ符号化／符号化ユニットのモーションベクトル、符号化されたサブ符号化／符号化ユニットのモーションベクトルの分散、量子化パラメータ（ＱＰ）値、ビットレート、符号化されたサブ符号化／符号化ユニットの再構成残差信号、送信された離散コサイン変換（ＤＣＴ）係数、モーション分割タイプ、ブロックサイズ、および統計データのうち、１つまたはこれらの組み合わせから導出されることを特徴とする請求項２２に記載の装置。
【請求項２４】
前記少なくとも１つのその他のサブ符号化ユニット／符号化ユニットは、符号化されたサブ符号化／符号化ユニットであることを特徴とする請求項１５に記載の装置。
【請求項２５】
前記少なくとも１つのその他のサブ符号化ユニット／符号化ユニットは、少なくとも１つの空間的に符号化されたサブ符号化／符号化ユニット、および、少なくとも１つの時間的に符号化されたサブ符号化／符号化ユニットの少なくともいずれかを構成することを特徴とする請求項２４に記載の装置。
【請求項２６】
前記少なくとも１つのその他のサブ符号化ユニット／符号化ユニットは、モーション補償予測されたサブ符号化／符号化ユニットであることを特徴とする請求項１５に記載の装置。
【請求項２７】
前記少なくとも１つのその他のサブ符号化／符号化ユニットは、隣接の符号化ユニットにおけるサブ符号化ユニットであることを特徴とする請求項１５に記載の装置。
【請求項２８】
前記複数のモーションベクトルは、単一のサブ符号化／符号化ユニットから導出されることを特徴とする請求項１５に記載の装置。
【請求項２９】
符号化ユニットにおける動画符号化においてハイブリッド多仮説予測を行う方法であって、
前記符号化ユニットにおいて複数のサブ符号化ユニットを処理するステップと、
前記サブ符号化ユニットの一部においてモーションベクトルを導出するステップと、
前記複数のモーションベクトルにしたがって前記特定のサブ符号化ユニットにて多仮説モーション補償予測を行うステップとを含んでおり、
前記サブ符号化ユニットの一部においてモーションベクトルを導出する前記ステップは、モーション推定を行うことにより、前記特定のサブ符号化ユニットにおける多仮説モーション補償予測のための前記複数のモーションベクトルを導出するステップを含んでおり、
前記複数のモーションベクトルにしたがって前記特定のサブ符号化ユニットにて多仮説モーション補償予測を行う前記ステップは、前記複数のモーションベクトルから導出された複数のピクセル値の線形組み合わせを、前記特定のサブ符号化ユニットにおける予測されたピクセル値として用いることを特徴とする、符号化ユニットにおける動画符号化においてハイブリッド多仮説予測を行う方法。
【請求項３０】
前記複数のモーションベクトルにしたがって、前記特定のサブ符号化ユニットにおける前記多仮説モーション補償予測を行うステップは、前記複数のピクセル値の重み付け和を、前記特定のサブ符号化ユニットにおける前記予測されたピクセル値として用いることを特徴とする請求項２９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モーション補償に関係する動画処理に関するものである。より正確には、符号化ユニットにおける動画符号化においてハイブリッド多仮説予測を行うための方法、および関連する装置に関するものである。
【背景技術】
【０００２】
〔関連出願の相互参照〕
本出願は、米国仮出願６１／３２３，９４８号の利益を享受するものである。当該仮出願は、２０１０年４月１４日に出願され、「動画符号化における多仮説予測」と題されており、参照によって本出願に含まれる。
【０００３】
〔背景技術〕
モーション推定／補償は、動画を圧縮するために、動画データを符号化および復号化する際に使われる技術である。モーション推定／補償を用いれば、１つまたは複数の参照画像のいくつかの部分を用いて現時刻の画像を表すことができる。ここで、参照画像は時間的に前のものであってよく、または後のものであってもよい。一般的に、モーション補償によって以前に送信／記憶された画像から、画像を正確に合成でき、圧縮効率を改善できる。符号化技術が進歩するにつれて、より新しい標準に関する設計には圧縮効率をさらに改良するものが導入されてきた。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
したがって、特許請求の範囲に記載された本発明の目的は、動画処理の圧縮効率を改善するために、符号化ユニットにおける動画符号化においてハイブリッド多仮説予測を行うための方法、および関連する装置を提供することである。
【課題を解決するための手段】
【０００５】
符号化ユニットにおける動画符号化においてハイブリッド多仮説予測を行う方法に係る実施形態の一例は、前記符号化ユニットにおいて複数のサブ符号化ユニットを処理するステップと、前記サブ符号化ユニットの一部においてモーションベクトルを導出するステップと、前記複数のモーションベクトルにしたがって前記サブ符号化ユニットの一部である特定のサブ符号化ユニットにて多仮説モーション補償予測を行うステップとを含む。より正確には、前記サブ符号化ユニットの一部においてモーションベクトルを導出する前記ステップは、前記特定のサブ符号化ユニットにおける多仮説モーション補償予測のための複数のモーションベクトルを、少なくとも１つのその他のサブ符号化ユニット／符号化ユニットからを導出するステップをさらに含む。ここで、前記複数のモーションベクトルにしたがって前記特定のサブ符号化ユニットにて多仮説モーション補償予測を行う前記ステップは、前記複数のモーションベクトルから導出された複数のピクセル値の線形組み合わせを、前記特定のサブ符号化ユニットにおける予測されたピクセル値として用いるステップをさらに含む。
【０００６】
符号化ユニットにおける動画符号化においてハイブリッド多仮説予測を行う装置に係る実施形態の一例は、前記符号化ユニットにおいて動画符号化を行う処理回路を備える。ここで、前記処理回路は、前処理モジュールと少なくとも１つの符号化モジュールとを備えている。前処理モジュールは、前記符号化ユニットにおける複数のサブ符号化ユニットを処理し、前記サブ符号化ユニットの一部においてモーションベクトルの導出を行う。より正確には、前記サブ符号化ユニットの一部における特定のサブ符号化ユニットでの前記多仮説モーション補償予測のための、複数のモーションベクトルを少なくとも１つのその他のサブ符号化ユニット／符号化ユニットから導出し、前記複数のモーションベクトルにしたがって、前記特定のサブ符号化ユニットにおいて前記多仮説モーション補償予測を行う。ここで、前処理モジュールは、前記複数のモーションベクトルから導出された複数のピクセル値の線形組み合わせを、前記特定のサブ符号化ユニットの予測されたピクセル値として用いる。また、前記少なくとも１つの符号化モジュールは、前記前処理モジュールによって行われた多仮説モーション補償予測に基づき、符号化ユニットにおいて動画符号化を行う。
【０００７】
符号化ユニットにおける動画符号化においてハイブリッド多仮説予測を行う方法に係る実施形態の一例は、前記符号化ユニットにおいて複数のサブ符号化ユニットを処理するステップと、前記サブ符号化ユニットの一部においてモーションベクトルを導出するステップと、前記複数のモーションベクトルにしたがって前記特定のサブ符号化ユニットにて多仮説モーション補償予測を行うステップとを含む。より正確には、前記サブ符号化ユニットの一部においてモーションベクトルを導出する前記ステップは、モーション推定を行うことにより、前記特定のサブ符号化ユニットにおける多仮説モーション補償予測のための前記複数のモーションベクトルを導出するステップを含む。ここで、前記複数のモーションベクトルにしたがって前記特定のサブ符号化ユニットにて多仮説モーション補償予測を行う前記ステップは、前記複数のモーションベクトルから導出された複数のピクセル値の線形組み合わせを、前記特定のサブ符号化ユニットにおける予測されたピクセル値として用いる。
【０００８】
本発明のこれらおよび他の目的は、様々な図や表で示される望ましい実施形態についての以下の詳細な記述を読んだ後で、通常の当業者にとって明らかになるであろう。
【図面の簡単な説明】
【０００９】
【図１Ａ】本願発明の第１の実施形態に係る、符号化ユニットにおける動画符号化においてハイブリッド多仮説予測を行う装置を示す図である。
【図１Ｂ】本発明の実施形態に係る、図１Ａに示される画面間／画面内予測モジュール１１０を表している。
【図１Ｃ】本発明の実施形態に係る、図１Ａに示される画面間／画面内予測モジュールの多仮説モーション補償予測処理の一例を表している。
【図２】本願発明の実施形態に係る、符号化ユニットにおける動画符号化においてハイブリッド多仮説予測を行う方法のフローチャートである。
【図３】本願発明の実施形態に係る、図２に示される方法と関連する符号化されたブロックの一例を表している。
【図４】本願発明の実施形態に係る、図２に示される方法と関連するいくつかの実施の詳細を表している。
【図５Ａ】本願発明の異なる実施形態に係る、図２に示される方法と関連するハイブリッド多仮説予測の一タイプ例を表す。
【図５Ｂ】本願発明の異なる実施形態に係る、図２に示される方法と関連するハイブリッド多仮説予測の一タイプ例を表す。
【図５Ｃ】本願発明の実施形態に係る、図２に示される方法と関連するいくつかの実施の詳細を表している。
【図６】本願発明の実施形態に係る、図２に示される方法と関連する復号過程のフローチャートである。
【図７Ａ】本願発明の異なる実施形態に係る変換サイズに基づく一分割例を表す。
【図７Ｂ】本願発明のいくつかの実施形態に係る、図２に示される方法と関連するモーションベクトルを取得する元の一例を表す。
【図７Ｃ】本願発明のいくつかの実施形態に係る、図２に示される方法と関連するモーションベクトルを取得する元の一例を表す。
【図７Ｄ】本願発明のいくつかの実施形態に係る、図２に示される方法と関連するモーションベクトルを取得する元の一例を表す。
【図８Ａ】本発明のいくつかの実施形態に係る、図２で示される方法と関連するサブ符号化ユニットの一部とは異なる、残りの部分における少なくとも１つのモーションベクトルを取得する元の一例を表す。
【図８Ｂ】本発明のいくつかの実施形態に係る、図２で示される方法と関連するサブ符号化ユニットの一部とは異なる、残りの部分における少なくとも１つのモーションベクトルを取得する元の一例を表す。
【図９Ａ】本願発明の異なる実施形態に係る、図２で示される方法と関連するいくつかの復号処理に対応するフローチャートを表す。
【図９Ｂ】本願発明の異なる実施形態に係る、図２で示される方法と関連するいくつかの復号処理に対応するフローチャートを表す。
【図９Ｃ】本願発明の異なる実施形態に係る、図２で示される方法と関連するいくつかの復号処理に対応するフローチャートを表す。
【発明を実施するための形態】
【００１０】
特定の用語は以下の記述および請求項において使われ、それは特定のコンポーネントを指す。ある当業者が歓迎するように、電子機器の製造者が異なる名称でコンポーネントを指し示してもよい。この明細書では、名前は異なるが機能は異ならないコンポーネントを区別することを意図しない。以下の記述および請求項において、「含む」および「構成する」は、制約のない形式で用いられるため、「含む、しかし・・・には限定されない」を意味するとして解釈される。そして「対応」は、間接的または直接的な電気的接続のいずれかを意味する。すなわち、１つの装置が他の装置と対応付けられていれば、その接続は直接の電気接続、またはその他の装置や接続を経由した間接の電気接続によるものであってよい。
【００１１】
図１Ａを参照されたい。この図は、本願発明の第１の実施形態に係る、符号化ユニットにおける動画符号化においてハイブリッド多仮説予測（hybrid multihypothesis prediction）を行うための装置１００を示す図である。装置１００は、画面間／画面内予測モジュール１１０（図１Ａにおいて「画面間／画面内予測」と表記されている）、計算ユニット１２０、変換および量子化ユニット１３０（図１Ａにおいて「変換および量子化」と表記されている）、エントロピー符号化回路１４０（図１Ａにおいて「エントロピー符号化」と表記されている）、逆変換および逆量子化モジュール１５０（図１Ａにおいて「逆変換および逆量子化」と表記されている）、再構成回路１６０（図１Ａにおいて「再構成」と表記されている）、非ブロック化フィルタ１７０、およびフレームバッファ１８０から構成される。図１Ｂを参照すると、上述した画面間／画面内予測モジュール１１０は、多仮説画面間予測回路１１２（図１Ｂにおいて「多仮説画面間予測」と表記されている）、画面間予測回路１１４（図１Ｂにおいて「画面間予測」と表記されている）、画面内予測回路１１６（図１Ｂにおいて「画面内予測」と表記されている）、および切り替え回路１１８から構成される。
【００１２】
図１Ａに示される実施形態によれば、装置１００は原信号１０９の動画符号化を行うことができ、これはエントロピー符号化回路１４０の出力値などとして、符号化の結果を表す出力信号を生成することを目的とする。例えば、原信号１０９は符号化ユニットへデータを運ぶ入力信号を表し、エントロピー符号化回路１４０の出力値は、出力ビットストリームであってよい。また、画面間／画面内予測モジュール１１０は画面間／画面内予測を行うために備えられる。より正確には、図１Ｂで図示される多仮説画面間予測回路１１２、画面間予測回路１１４、および画面内予測回路１１６を使って、それぞれ多仮説画面間予測、画面間予測、および画面内予測を行うために備えられる。
【００１３】
図１Ａに図示するように、計算ユニット１２０は、原信号１０９（例えば、符号化ユニットへデータを運ぶ入力信号を表している）と画面間／画面内予測モジュール１１０によって生成される予測信号１１９とに対して、減算処理などの計算処理を実行するために備えられる。また、変換および量子化モジュール１３０、エントロピー符号化回路１４０、逆変換および逆量子化モジュール１５０、および再構成回路１６０は、それぞれ変換および量子化、エントロピー符号化、逆変換および逆量子化、および再構成処理を行うために備えられる。結果として、再構成回路１６０は、再構成処理によって再構成された結果を表す再構成信号１６９を生成する。さらに、非ブロック化された動画データを表す非ブロック化信号１７９を生成し、フレームバッファ１８０へ一時的に記憶することを目的として、非ブロック化フィルタ１７０は、再構成信号１６９に非ブロック化フィルタリングを行うために備えられる。これにより、画面間／画面内予測モジュール１１０は、再記憶信号１８９が表す非ブロック化された動画データを、フレームバッファ１８０から取得できる。なお、これは実例として示された目的に過ぎず、本発明の限界を意味するものではない。この実施形態に係るいくつかの変形例によれば、非ブロック化フィルタ１７０と非ブロック化フィルタリングとが省略できる場合、再構成信号１６９の表す再構成された結果が一時的にフレームバッファ１８０に記憶され、画面間／画面内予測モジュール１１０は再記憶信号１８９として再構成された結果を取得できる。
【００１４】
図１Ｂを参照すると、多仮説画面間予測回路１１２は、原信号１０９および再記憶信号１８９にしたがって多仮説画面間予測出力１１３を生成する、多仮説画面間予測を行うために備えられる。また、画面間予測回路１１４は、原信号１０９および再記憶信号１８９にしたがって画面間予測出力１１５を生成する、画面間予測を行うために備えられる。さらに、画面内予測回路１１６は、原信号１０９および再構成信号１６９にしたがって画面内予測出力１１７を生成する、画面間予測を行うために備えられる。ここで、切り替え回路１１８は、多仮説画面間予測出力１１３、画面間予測出力１１５、および画面内予測出力１１７のうちから１つを、上述した予測信号１１９として動的に選択するために備えられる。
【００１５】
実際には、ハードウェア回路を使うことにより、装置１００の少なくとも１つの部分（例えば、一部または全部）を実施できる。例えば、装置１００は、符号化ユニットにおいて動画符号化を行うために備えられた計算回路として実施できる。ここで、計算回路は、画面間／画面内予測モジュール１１０を構成する前処理モジュールを備える。また、この計算回路は、計算ユニット１２０、変換および量子化モジュール１３０、エントロピー符号化回路１４０、逆変換および逆量子化モジュール１５０、再構成回路１６０、および非ブロック化フィルタ１７０を構成する少なくとも１つの符号化モジュールをさらに備える。より詳細には、装置１００の１つまたは複数のコンポーネントは、デジタル信号処理技術とともに実施できる。なお、これは実例として示された目的に過ぎず、本発明の限界を意味するものではない。この実施形態に係るいくつかの変形例によれば、装置１００の少なくとも１つの部分は、少なくとも１つのプログラムモジュールを用いることで実施できる。例えば、計算回路は複数のプログラムモジュールを実行するプロセッサであってよい。ここで、プログラムモジュールの第１の部分を実行するプロセッサは、上述した前処理モジュールと同じか同様の処理を行うとすることができ、プログラムモジュールの第２の部分を実行するプロセッサは、上述した符号化モジュールと同じまたは同様の処理を行うとすることができる。
【００１６】
装置１００の少なくとも１つの部分（例えば、一部または全部）を、ハードウェア回路を用いて実施するにしても、少なくとも１つのプログラムモジュールを用いて実施するにしても、装置１００は符号化ユニットのユニットにおいて動画符号化を行うことができる。例えば、符号化ユニットは１６×１６のマクロブロック（ＭＢｓ）であってよい。他の例においては、符号化ユニットは特定のサイズの符号化ユニットであってよい。ここで、特定のサイズはあらかじめ決定されており、このサイズはマクロブロックのそれと等しくある必要はない。少なくとも１つの画像に対する符号化ユニットのうちの１つを処理している間、前述の符号化ユニットなどの符号化ユニットのために、１つまたは複数のモーションベクトルを予測することが必要である。符号化の規格が複雑である状況においては、高い符号化性能または復号化性能を達成することを目的とする、主な符号化処理に先立つ前処理の段階でのモーションベクトルの計算に、途方もなく長い時間を費やさないということが考えられる。この実施形態によれば、上述した前処理モジュールは、前述の符号化ユニットを複数のサブ符号化ユニット（例えば、四角の分割や非四角の分割といった、符号化ユニットの様々な種類の分割）に分割することができ、サブ符号化ユニットの一部でモーションベクトルを導出できる。より詳細には、前処理モジュールは、そのサブ符号化ユニットの一部である特定のサブ符号化ユニットにおける多仮説モーション補償予測のために、少なくとも１つの他のサブ符号化／符号化ユニット（そしてより詳細には、少なくとも１つの符号化されたサブ符号化／符号化ユニット）から複数のモーションベクトルを導出でき、前述したモーションベクトルにしたがって、当該特定のサブ符号化ユニットにおいて多仮説モーション補償予測を行える。ここで、前処理モジュールは、当該特定のサブ符号化ユニットにおいて予測されたピクセル値として、前述したモーションベクトルから導出される複数のピクセル値を線形に組み合わせたものを用いる。また、前述した少なくとも１つの符号化モジュールは、前処理モジュールにより実行される多仮説モーション補償予測に基づく符号化ユニットにおいて動画符号化を行うために備えられる。
【００１７】
図１Ｃは、本発明の実施形態に係る、図１Ａに示される画面間／画面内予測モジュール１１０の多仮説モーション補償予測処理の一例を表している。この実施形態において、後続する複数のフレーム｛Ｆ（ｔ）｝の一部として、Ｆ（ｔ０−３）、Ｆ（ｔ０−２）、Ｆ（ｔ０−１）、およびＦ（ｔ０）が含まれる。ただし、Ｆ（ｔ０）は現時刻のフレームである。現時刻のフレームＦ（ｔ０）は、複数の符号化ユニット｛ＣＵ（ｔ０）｝を構成し、符号化ユニットＣＵ（ｔ０）は、複数のサブ符号化ユニット｛ＳＣＵ（ｔ０）｝を構成する。ここで、ｖｋは、図１Ｃに示されるサブ符号化ユニットＳＣＵ（ｔ０）のような、特定のサブ符号化ユニットにおける多仮説モーション補償予測のための、前述したモーションベクトルのうちの１つを表す。したがって、上述した前処理モジュールは、少なくとも１つの他のサブ符号化／符号化ユニット（例えば、１つまたは複数のその他のサブ符号化／符号化ユニット）から、それぞれモーションベクトル｛ｖｋ｝を得る。これは、前処理モジュールが、特定のサブ符号化ユニットにおける多仮説モーション補償予測のためのモーションベクトル｛ｖｋ｝として、少なくとも１つのその他のサブ符号化／符号化ユニットのモーションベクトルを使うことを意味する。この実施形態によれば、前処理モジュールは、複数のモーションベクトル｛ｖｋ｝にしたがい、図１Ｃで示されるサブ符号化ユニットＳＣＵ（ｔ０）のような特定のサブ符号化ユニットにおいて、多仮説モーション補償予測を行うことができる。
【００１８】
一般的に、前処理モジュールは、前述したモーションベクトルから導出される複数のピクセル値を線形に組み合わせたものを、特定のサブ符号化ユニットにおいて予測されたピクセル値Ψｐとして使うことができる。より正確には、いくつかの参照ピクセルの参照ピクセル値｛Ψｒ｝のように、特定のサブ符号化ユニットにおける、特定の予測されたピクセルの予測されたピクセル値Ψｐとして使うことができる。線形の組み合わせは複数のピクセル値の重み付け和であってよく、このことは、前処理モジュールが特定のサブ符号化ユニットにおける予測されたピクセル値を導出するために、複数のピクセル値の重み付け和を計算するということを意味する。例えば、予測されたピクセル値Ψｐをとる特定の予測されたピクセルが、ｉ番目のサブ符号化ユニット（例えば、図１Ｃに示されるサブ符号化ユニットＳＣＵ（ｔ０））に属しており、位置ｘ（例えば、現在のフレームＦ（ｔ０）の画像面に対する２次元ベクトルのように、位置を示すベクトル）にある状況において、予測されたピクセル値ΨｐはΨｐ（ｉ，ｘ）と書き換えることができ、当該予測されたピクセル値Ψｐ（ｉ，ｘ）は以下のように表せる。
【００１９】
Ψｐ（ｉ，ｘ）＝ΣｋＫ（ｈｋ（ｉ，ｘ）Ψｒ（ｘ，ｖｋ））
ここで、インデクスｋは、これに関連付けられて重み付けられたパラメータを表す表記ｈｋ（ｉ，ｘ）とともに、集合Ｋの範囲で変化する。例えば、ｋがとり得る値の数が１より大きい場合は、単純のために、重み付けされたパラメータ｛ｈｋ（ｉ，ｘ）｝の和が１と等しくなるようにしてよい。
【００２０】
図１Ｃに示されるように、ピクセル値のために相対的に重み付けられたパラメータのうち、いかなる２つも互いに等しくなる場合、モーションベクトル｛ｖｋ｝は、現時刻のフレームＦ（ｔ０）にある、その他の符号化ユニット内のサブ符号化ユニットＡおよびＢにおけるモーションベクトルｖＡおよびｖＢと、前のフレームＦ（ｔ０−１）のような他のフレームにある、符号化ユニットＣＵ（ｔ０−１）のサブ符号化ユニットＴにおけるモーションベクトルｖＴとから構成される。より正確には、現時刻のフレームＦ（ｔ０）にある前述したその他の符号化ユニット（またはサブ符号化ユニット）は、符号化された符号化ユニット（またはサブ符号化ユニット）、またはモーション補償された符号化ユニット／サブ符号化ユニットである。例えば、符号化ユニットが複数のブロックからなる場合、符号化ユニットＣＵ（ｔ０−１）は、符号化ユニットＣＵ（ｔ０）に並べられたブロックであってよい。その結果、重み付けされたパラメータ｛ｈｋ（ｉ，ｘ）｝を参照ピクセル値｛Ψｒ｝に適用することにより、前処理モジュールは、重み付け和画像を生成するために、ｖＡ、ｖＢ、およびｖＴといったモーションベクトル｛ｖｋ｝によって示される部分的な画像を混ぜ合わせる／ミックスすることができ、図１Ｃで示されるサブ符号化ユニットＳＣＵ（ｔ０）のような、特定のサブ符号化ユニットにおいて予測された部分的な画像として、重み付け和画像を使うことができる。なお、これは実例として示された目的に過ぎず、本発明の限界を意味するものではない。この実施形態に係るいくつかの変形例によれば、前処理モジュールは、特定のサブ符号化ユニットにおいて予測されたピクセル値Ψｐを導出するために、複数のピクセル値の平均を計算できる。これは、重み付けされたパラメータ｛ｈｋ（ｉ，ｘ）｝のいかなる２つも、互いに等しくなることを意味する。上記で開示される機能に関するさらなる詳細のために図２を参照されたい。
【００２１】
図２は、本願発明の実施形態に係る、符号化ユニットにおける動画符号化においてハイブリッド多仮説予測を行うための方法９１０のフローチャートである。方法９１０は、図１Ａで示される装置１００に適用できる。より正確には、上述した処理回路に適用できる。この方法は、以下に述べる。
【００２２】
ステップ９１２において、前述した前処理モジュールは、符号化ユニットＣＵ（ｔ０）（例えば、処理中の符号化ユニット）にあるサブ符号化ユニット｛ＳＣＵ（ｔ０）｝のように、複数のサブ符号化ユニットを処理し、サブ符号化ユニット｛ＳＣＵ（ｔ０）｝の一部（例えば、前述したサブ符号化ユニットの一部）にあるモーションベクトルの導出を行う。特に、前処理モジュールは、サブ符号化ユニット｛ＳＣＵ（ｔ０）｝の一部である特定のサブ符号化ユニットＳＣＵ（ｔ０）における多仮説モーション補償予測のために、１つまたは複数のその他のサブ符号化／符号化ユニットから、上述したモーションベクトル｛ｖｋ｝のような複数のモーションベクトルを導出する。本願発明の実施形態によれば、図３に示されるように、符号化ユニットＣＵ（ｔ０）は処理中のブロック（図３において「処理されたブロック」と表記されている）であってよく、特定のサブ符号化ユニットＳＣＵ（ｔ０）はサブブロックＳＢであってよい。ここで、図３において影付きに示された部分は、符号化されたブロック｛ＣＢ｝の少なくとも一部を表す。図３を参照すると、符号化されたブロック｛ＣＢ｝は、左側の符号化されたブロックＣＢＬ、左上側の符号化されたブロックＣＢＵＬ、上側の符号化されたブロックＣＢＵ、および右上側の符号化されたブロックＣＢＵＲから構成される。例えば、モーションベクトル｛ｖｋ｝は、１つまたは複数の符号化されたブロックＣＢＬ、ＣＢＵＬ、ＣＢＵ、およびＣＢＵＲのような符号化されたブロック｛ＣＢ｝のうち、少なくとも一部（例えば、一部または全部）からなる。いくつかの他の例において、前処理ユニットは、左側のサブ符号化ユニットおよび右側のサブ符号化ユニット、または上側のサブ符号化ユニットおよび下側のサブ符号化ユニットといった、複数のサブ符号化ユニットを処理する。前処理ユニットは、左側のサブ符号化ユニット／右側のサブ符号化ユニット／上側のサブ符号化ユニット／下側のサブ符号化ユニットにおける多仮説モーション補償予測のために、少なくとも１つのその他のサブ符号化／符号化ユニットから、複数のモーションベクトルを導出する。少なくとも１つのその他のサブ符号化／符号化ユニットは、空間的なサブ符号化／符号化ユニット（例えば、隣り合う符号化ユニットにおけるサブ符号化ユニット）、または時間的なサブ符号化／符号化ユニット（例えば、配列化されたサブ符号化／符号化ユニット）であることがある。上述したモーションベクトルは、単一のサブ符号化／符号化ユニットから導出されることがある。例えば、モーションベクトルは、隣り合う符号化ユニットのうち同じサブ符号化ユニットにおける、リスト０モーションベクトルおよびリスト１モーションベクトルである。前処理モジュールは、明示的なフラグに基づくサブ符号化ユニットの一部においてモーションベクトルの導出を行う。例えば、特定の空間的なサブ符号化ユニットにおけるモーションベクトルが、明示的なフラグにしたがって、特定のサブ符号化ユニットにおける多仮説モーション補償予測のために選択される。
【００２３】
ステップ９１４において、前述した前処理モジュールは、複数のモーションベクトル｛ｖｋ｝にしたがい、特定のサブ符号化ユニットＳＣＵ（ｔ０）において多仮説モーション補償予測を行う。特に、前処理モジュールは、参照ピクセルの参照ピクセル値｛Ψｒ｝の線形組み合わせなど、モーションベクトル｛ｖｋ｝から導出される複数のピクセル値を線形に組み合わせたものを、特定のサブ符号化ユニットにおいて予測されたピクセル値Ψｐとして用いる。例えば、各符号化ユニット（例えば、符号化ユニットＣＵ（ｔ０））はブロックであってよい。より正確には、拡張されたマクロブロック、マクロブロック、またはマクロブロックの一部のような、ピクセルの配列を構成するブロックであってよい。したがって、サブ符号化ユニットをサブブロックとして参照できる。本願発明の実施形態によれば、図３に示されるように、前述した前処理モジュールは前述したモーションベクトル｛ｖｋ｝にしたがって、処理中のブロック（図３において「処理されたブロック」と表記されている）において多仮説モーション補償予測を行える。ここで、前処理モジュールは、１つまたは複数の符号化されたブロックＣＢＬ、ＣＢＵＬ、ＣＢＵ、およびＣＢＵＲのような符号化されたブロック｛ＣＢ｝の少なくとも１つの部分（例えば一部または全部）におけるモーションベクトルから導出された参照ピクセル値｛Ψｒ｝を、混ぜ合わせる／ミックスすることができる。この実施形態において、符号化されたブロック｛ＣＢ｝は、モーション補償ブロックであってよい。
【００２４】
本発明の実施形態によれば、図２に示される実施形態の変形例のように、図２に示されるステップ９１２およびステップ９１４の処理の実行順序は、入れ替わってよいことに注意する。例えば、いくつかの新しい符号化規格にしたがって動画の符号化を行うために、ステップ９１４の処理が最初に行われ、その後にステップ９１２の処理が行われるようにできる。
【００２５】
図２で示される実施形態の変形例によれば、ステップ９１２において、前述した特定のサブ符号化ユニットＳＣＵ（ｔ０）における多仮説モーション補償予測のためにモーション推定を行うことにより、前処理モジュールは複数のモーションベクトル｛ｖｋ｝を取得する。そして、ステップ９１４において、前処理モジュールは、複数のモーションベクトル｛ｖｋ｝に関連付けられた複数のピクセル値｛Ψｒ｝の線形組み合わせを、サブ符号化ユニットＳＣＵ（ｔ０）において予測されたピクセル値Ψｐとしてさらに用いる。例えば、予測されたピクセル値Ψｐをとる特定の予測されたピクセルが位置ｘ（例えば、現在のフレームＦ（ｔ０）の画像面に対する２次元ベクトルのように、位置を示すベクトル）にある状況において、予測されたピクセル値ΨｐはΨｐ（ｘ）と書き換えることができ、当該予測されたピクセル値Ψｐ（ｘ）は以下のように表せる。
【００２６】
Ψｐ（ｘ）＝ΣｋＫ（ｈｋ（ｘ）Ψｒ（ｘ＋ｖｋ））＋ｈ０（ｘ）Ψｒ（ｘ＋ｖ０）
ここで、インデクスｋはこれに関連付けられて重み付けられたパラメータを表す表記ｈｋ（ｘ）とともに、集合Ｋの範囲で変化する。また、推定されたモーションベクトルｖ０は、その添え字０に関連付けて重み付けられたパラメータを表すｈ０（ｘ）とともに、モーション推定の間に推定されたモーションベクトルである。
【００２７】
例えば、この変形例における前処理モジュールは、推定されたモーションベクトルｖ０のその他の可能な状態のうちから、最も良い状態を探すことにより、推定されたモーションベクトルｖ０を最適化できる。したがって、この変形例における線形組み合わせは、
取得されていた推定されたモーションベクトルｖ０を伴う重み付け和Σｋ∈Ｋ（ｈｋ（ｘ）Ψｒ（ｘ＋ｖｋ））＋ｈ０（ｘ）Ψｒ（ｘ＋ｖ０）であってよく、前処理モジュールは、重み付け和Σｋ∈Ｋ（ｈｋ（ｘ）Ψｒ（ｘ＋ｖｋ））＋ｈ０（ｘ）Ψｒ（ｘ＋ｖ０）を特定のサブ符号化ユニットＳＣＵ（ｔ０）において予測されたピクセル値Ψｐとして用いることができる。この変形例の詳細について、同様の記述は繰り返さない。
【００２８】
図３に示される実施形態の変形例のように、いくつかの実施形態において、ステップ９１２で言及したその他のサブ符号化／符号化ユニットは、符号化されたサブ符号化／符号化ユニットである。例えば、これらの変形例の一部において、ステップ９１２で言及したその他のサブ符号化／符号化ユニットは、少なくとも１つの空間的な符号化されたサブ符号化／符号化ユニット（例えば、現時刻のフレームＦ（ｔ０）における１つまたは複数の符号化されたブロック｛ＣＢ｝、あるいは、処理中のブロックにおける１つまたは複数の符号化されたサブブロック）、および／または、少なくとも１つの時間的な符号化されたサブ符号化／符号化ユニット（例えば、現時刻のフレームＦ（ｔ０）とは異なる他のフレームにおける、１つまたは複数の符号化されたサブブロック／ブロック）を構成する。他の例においては、これらの変形例の一部において、ステップ９１２で言及したその他のサブ符号化／符号化ユニットは、モーション補償されたサブ符号化／符号化ユニットである。これらの変形例のうちのいくつかによれば、モーションベクトル｛ｖｋ｝はモーション推定から得られる。
【００２９】
図４は、本願発明の実施形態に係る、図２に示される方法９１０と関連するいくつかの実施の詳細を表している。より深い理解のために、符号化されたブロックＣＢＬ、ＣＢＵＬ、ＣＢＵ、およびＣＢＵＲは、図３に示されるそれらとそれぞれ同じであってよい。図４を参照すれば、サブ符号化ユニットα１、α２、α３、α４、α５、α６、α７、およびα８は、左側の符号化されたブロックＣＢＬに属し、サブ符号化ユニットβ１、β２、β３、β４、β５、β６、β７、およびβ８は上側のコード化されたブロックＣＢＵに属し、そしてサブ符号化ユニットβ９およびδは右上側のコード化されたブロックＣＢＵＲと左上側のコード化されたブロックＣＢＵＲにそれぞれ属している。
【００３０】
この実施形態において、ステップ９１２で言及したその他のサブ符号化／符号化ユニットは、１つまたは複数のサブ符号化ユニット｛α１、α２、α３、α４、α５、α６、α７、α８、β１、β２、β３、β４、β５、β６、β７、β８、β９、δ｝などの、１つまたは複数のその他の符号化ユニットにおける１つまたは複数のサブ符号化ユニットを含み、処理中のブロック（図４において「処理されたブロック」と表記されている）における暗い影付きのサブブロックのように、サブ符号化ユニット｛ＳＣＵ（ｔ０）｝の残りの部分をもさらに含む。ここで、ステップ９１２で言及したサブ符号化ユニット｛ＳＣＵ（ｔ０）｝の一部は、処理中のブロックにおける明るい影付きのサブブロックである。より正確には、ステップ９１２で言及した複数のモーションベクトル｛ｖｋ｝は、サブ符号化ユニット｛ＳＣＵ（ｔ０）｝の残りの部分における、少なくとも１つのモーションベクトル（例えば、１つまたは複数のモーションベクトル）から構成される。ここで、前述した少なくとも１つのモーションベクトルが典型的に導出された後、複数のモーションベクトル｛ｖｋ｝が導出される。実際には、前述した少なくとも１つのモーションベクトル（例えば、１つまたは複数のモーションベクトル）を、最初に推定できる。
【００３１】
短さのために、サブ符号化ユニット｛ＳＣＵ（ｔ０）｝の残りの部分にあるサブ符号化ユニットを、残りのサブ符号化ユニット（または、各符号化ユニットがブロックである状況において、残りのサブブロック）として参照してよく、特定のサブ符号化ユニットＳＣＵ（ｔ０）のような、各ＭＨＰ（多仮説予測を意味する）直接サブ符号化ユニットにおける多仮説モーション補償のためにモーションベクトルは、直接的にその他から（例えば、上述したその他のサブ符号化／符号化ユニットから）導出されるため、ステップ９１２で言及したサブ符号化ユニット｛ＳＣＵ（ｔ０）｝の残りの部分にあるサブ符号化ユニットを、ＭＨＰ直接サブ符号化ユニット（または、各符号化ユニットがブロックである状況において、ＭＨＰ直接サブブロック）として参照できる。さらに、ＭＨＰ直接サブ符号化ユニット（または、各符号化ユニットがブロックである状況において、ＭＨＰ直接サブブロック）を構成する前述の部分を、ＭＨＰ直接部分として参照できる。
【００３２】
図５Ａおよび５Ｂは、本願発明の異なる実施形態に係る、図２に示される方法９１０と関連するハイブリッド多仮説予測の一タイプ例を表す。この実施形態において、前処理モジュールは、ステップ９１２で言及したサブ符号化ユニット｛ＳＣＵ（ｔ０）｝の一部（すなわち、ＭＨＰ直接部分）の内的／外的な配置を動的に決定できる。より正確には、前処理モジュールは、あらかじめ決められたパターン、暗示的なフラグ、または明示的なフラグに基づいて、サブ符号化ユニット｛ＳＣＵ（ｔ０）｝のその他の部分の中で、サブ符号化ユニット｛ＳＣＵ（ｔ０）｝の一部の分布を決定できる。すなわち、前処理モジュールは、ＭＨＰ直接部分および符号化ユニットＣＵ（ｔ０）における残りの部分の分布／配置を決定できる。例として、前述したハイブリッド多仮説予測のタイプが、上側タイプ、下側タイプ、左側タイプ、および右側タイプを構成するということについて考える。図５Ａの左側半分および右側半分で示される分布／配置は、上側タイプと下側タイプとにそれぞれ対応し、図５Ｂの左側半分および右側半分で示される分布／配置は、左側タイプと右側タイプとにそれぞれ対応する。ここで、より良い理解のために、ＭＨＰ直接部分および残りの部分はこれらの各実施形態において、それぞれ「ＭＨＰ」および「ＲＥＭ」と表記される。
【００３３】
前処理モジュールは、ＭＨＰ直接部分の分布を決定するために、符号化ユニットを搬送するビットストリーム、符号化されたサブ符号化／符号化ユニットにおけるモーションベクトル、符号化されたサブ符号化／符号化ユニットにおけるモーションベクトルの分散、量子化パラメータ（ＱＰ）値、ビットレート、符号化されたサブ符号化／符号化ユニットの再構成残差信号、送信された離散コサイン変換（ＤＣＴ）係数、モーション分割タイプ、ブロックサイズ、統計データ、または上記のいかなる組み合わせから、暗示的なフラグを導出する。
【００３４】
いくつかの実施形態においては、図５Ｃで示されるような符号化ユニットを、図５Ｃに示される符号化ユニットにおける上側部分と下側部分とのように、わずか２つの部分に分割できる。すなわち、この実施形態においては、それぞれ「ＭＨＰ」と表記されたＭＨＰ直接部分と「ＲＥＭ」と表記された残りの部分とのように二分割できる。上側部分のモーションベクトルの導出に関して、前処理モジュールは、少なくとも１つのモーションベクトルと、上側の部分に対応する１つまたは複数の配列されたサブ符号化ユニットとを、少なくとも１つのその他のサブ符号化／符号化ユニット（例えば、図５Ｃで示される影付きのサブ符号化ユニット。ここで、モーションベクトルは、「空間的ＭＶ集合」と表記される空間的なベクトル集合を構成する）から導出できる。または、少なくとも１つのモーションベクトルを、少なくとも１つの明示的なフラグによって示される１つまたは複数のその他のサブ符号化／符号化ユニットから導出できる。例えば、前処理モジュールが、少なくとも１つのモーションベクトルを、少なくとも１つの明示的なフラグによって示される１つまたは複数のその他のサブ符号化／符号化ユニットから導出する状況において、左上側の符号化ブロックＣＢＵＬがモーションベクトルの導出元であることを明示的なフラグが示しているとき、前処理モジュールは１つまたは２つのモーションベクトルを、左上側の符号化ブロックＣＢＵＬにあるこのサブ符号化ユニットから導出する。この実施形態において、このサブ符号化ユニットが双方向に予測的であれば、２つのモーションベクトルが利用可能であるが（より正確には、リスト０のモーションベクトルおよびリスト１のモーションベクトル）、そうでなければ１つのモーションベクトルだけが利用可能である。２つのモーションベクトルが利用可能であるか、１つのモーションベクトルだけが利用可能であるか、いずれにしても前処理モジュールは、このサブ符号化ユニットにおける前述した１つまたは２つのモーションベクトルを、上側部分のモーションベクトルとして使うことができる。なお、これは実例として示された目的に過ぎず、本発明の限界を意味するものではない。この実施形態に係るいくつかの変形例によれば、前処理モジュールは、上述した２つのモーションベクトルの線形組み合わせを使うことにより、上側部分のモーションベクトルを計算できる。
【００３５】
図６は、本願発明の実施形態に係る、図２に示される方法と関連する復号過程のフローチャートである。復号手順は以下に述べる。
【００３６】
ステップ９２２において、前述した前処理モジュールは、パラメータinter_partitioning_idcを読み込む。ここで、inter_partitioning_idcは、分割タイプを意味する。
【００３７】
ステップ９２３において、前処理モジュールは、ステップ９２２で述べた分割タイプにおける分割ユニットの数が、２に等しいかどうかをチェックする。２に等しい場合はステップ９２４へ入る。そうでない場合は（単純のために）図示しないある特定のステップへ入る。
【００３８】
ステップ９２４において、前処理モジュールはフラグMHP_Flagを読み込む。ここで、フラグMHP_Flagは、多仮説予測を行うか否かを示す。
【００３９】
ステップ９２５において、前処理モジュールはフラグMHP_Flagが１と等しいかどうかをチェックする。１と等しい場合はステップ９２５へ入る。そうでない場合は（単純のために）図示しないある特定のステップへ入る。
【００４０】
ステップ９２６において、前処理モジュールはフラグPartition_Flagを読み込む。ここで、フラグPartition_Flagは、図５Ａ−５Ｂで示される実施形態において開示されたタイプのうちの１つであるような、分割のタイプを示す。
【００４１】
ステップ９２８において、前処理モジュールはフラグMV_Set_Flagを読み込む。ここで、フラグMV_Set_Flagは、複数のモーションベクトル集合（またはモーションベクトルの複数の集合）から選択された、特定のモーションベクトル集合（または、モーションベクトルの特定の集合）を示す。
【００４２】
ステップ９３０において、前処理モジュールは、前述した残りの部分のような非ＭＨＰ分割のために、ＭＶＤ（ｓ）（モーションベクトルの差異を意味する）を読み込む。例えば、ＭＶＤ（ｓ）は、送信バンド幅を減らすという目的に対して、元のモーションベクトルとモーションベクトル予測値との間の差異であってよい。他の例においては、ＭＶＤ（ｓ）は、現在のモーションベクトルと前のモーションベクトルとの間の差異であってよい。
【００４３】
ステップ９４０において、前処理モジュールは、復号化処理を完了するために必要ないくつかの機能を構成する後処理を行う。
【００４４】
図７Ａは、本願発明の異なる実施形態に係る、変換サイズに基づく一分割例を表す。すでに述べた通り、前処理モジュールは、ステップ９１２で言及したサブ符号化ユニット｛ＳＣＵ（ｔ０）｝の一部（すなわち、ＭＨＰ直接部分）の内的／外的な配置を動的に決定できる。より正確には、この実施形態において、前処理モジュールは、符号化ユニットＣＵ（ｔ０）の動画の符号化に関する送信サイズである特定のサブ符号化ユニットＳＣＵ（ｔ０）のサイズを決定できる。さらに正確には、符号化ユニットＣＵ（ｔ０）の動画の符号化に関する送信サイズ（例えば、４×４、８×８など）である、サブ符号化ユニット｛ＳＣＵ（ｔ０）｝の一部となる各サブ符号化ユニットのサイズ（すなわち、ＭＨＰ直接サブ符号化ユニットの各々のサイズ）を決定できる。
【００４５】
図７Ｂ−７Ｄは、本願発明のいくつかの実施形態に係る、図２に示される方法と関連するモーションベクトルを取得する元の一例を表す。これらの実施形態において、前処理モジュールは、特定のモーションベクトル集合を、ステップ９２８で言及したフラグMV_Set_Flagにしたがって複数のモーションベクトルの集合から選択できる。ここで、複数のモーションベクトルの集合は、少なくとも１つの空間的なモーションベクトルの集合（例えば、１つまたは複数の空間的モーションベクトルの集合）、および／または、少なくとも１つの時間的なモーションベクトルの集合（例えば、１つまたは複数の時間的なモーションベクトルの集合）を構成する。
【００４６】
図７Ｂを参照すると、前述した少なくとも１つの空間的なモーションベクトルの集合は、空間的なモーションベクトルの集合｛ｖＳ，ｋ｝（「空間的ＭＶ集合｛ｖＳ，ｋ｝」と表記されている）を構成する。ここで、空間的なモーションベクトルの集合｛ｖＳ，ｋ｝は、特定のサブ符号化ユニットＳＣＵ（ｔ０）の左側にある符号化されたブロックＣＢＬにあって、最も近接するサブ符号化ユニットのいくつかにおける、それぞれのモーションベクトルを構成する。また、特定のサブ符号化ユニットＳＣＵ（ｔ０）の残りの部分（「ＲＥＭ」と表記されている）にあって、最も近接するサブ符号化ユニットのいくつかにおける、それぞれのモーションベクトルをさらに構成してもよい。
【００４７】
図７Ｃを参照すると、前述した少なくとも１つの時間的なモーションベクトルの集合は、時間的なモーションベクトルの集合｛ｖＴ，ｋ｝（「時間的ＭＶ集合｛ｖＴ，ｋ｝」と表記されている）を構成する。ここで、時間的なモーションベクトルの集合｛ｖＴ，ｋ｝は、特定のサブ符号化ユニットＳＣＵ（ｔ０）に対して配列されたサブ符号化ユニット（例えば、図７Ｃで示される配列されたサブブロック）におけるモーションベクトルを構成する。また、当該配列されたサブ符号化ユニットのいくつかの隣接した／近接したサブ符号化ユニットにおける、それぞれのモーションベクトルをさらに構成してもよい。例えば、時間的なモーションベクトルの集合は、配列されたサブ符号化ユニットにおける、リスト０のモーションベクトルおよびリスト１のモーションベクトルを構成する。
【００４８】
図７Ｄを参照すると、前述した少なくとも１つの空間的なモーションベクトルの集合は、空間的なモーションベクトルの集合｛ｖＳ１，ｋ｝（「空間的ＭＶ集合｛ｖＳ１，ｋ｝」と表記されている）と、空間的なモーションベクトルの集合｛ｖＳ２，ｋ｝（「空間的ＭＶ集合｛ｖＳ２，ｋ｝」と表記されている）とを構成する。この実施形態においては、空間的なモーションベクトルの集合｛ｖＳ１，ｋ｝は、特定のサブ符号化ユニットＳＣＵ（ｔ０）の左側にある符号化されたブロックＣＢＬにあって、１つまたは複数の最も近接するサブ符号化ユニットにおける、それぞれのモーションベクトルを構成する。また、特定のサブ符号化ユニットＳＣＵ（ｔ０）の上側にある符号化されたブロックＣＢＵにあって、１つまたは複数の最も近接するサブ符号化ユニットにおける、それぞれのモーションベクトルをさらに構成してもよい。さらに、空間的なモーションベクトルの集合｛ｖＳ２，ｋ｝は、特定のサブ符号化ユニットＳＣＵ（ｔ０）の残りの部分（「ＲＥＭ」と表記されている）にあって、１つまたは複数の最も近接するサブ符号化ユニットにおける、それぞれのモーションベクトルをさらに構成してもよい。
【００４９】
図８Ａ−８Ｂは、本発明のいくつかの実施形態にしたがい、サブ符号化ユニットの一部とは異なる残りの部分（「ＲＥＭ」と表記されている）において、少なくとも１つのモーションベクトルを取得する元の一例を表す。例えば、図８Ａに表されるサブ符号化ユニットＡ、ＢおよびＣにおけるモーションベクトルｖＡ、ｖＢおよびｖＣに基づいて、残りの部分におけるモーションベクトルを、Ｈ．２６４規格に準拠するいくつかの関連方法によって導出できる。いくつかのその他の例においては、図８Ｂの左半分および右半分のいずれにおいても表されるサブ符号化ユニットＡ、ＢおよびＣにおけるモーションベクトルｖＡ、ｖＢおよびｖＣに基づいて、残りの部分におけるモーションベクトルを、Ｈ．２６４規格に準拠するいくつかの関連方法によって導出できる。
【００５０】
図９Ａ−９Ｃは、本願発明の異なる実施形態に係る、図２で示される方法９１０と関連するいくつかの復号処理に対応するフローチャートを表す。これらの実施形態において、ステップ９２２、９２３、９２４、９２５および９２６は、図６に示される実施形態の各ステップと同じであり、ステップ９４０−１、９４０−２および９４０−３は、図６に示される実施形態のステップ９４０と同じか、または類似であってよい。これらの復号処理のうち残されたステップを以下で述べる。
【００５１】
図９Ａを参照すると、ステップ９２８−１において、前処理モジュールはフラグSpatiotemporal_Flagを読み込む。ここで、フラグSpatiotemporal_Flagは、空間的／時間的モーションベクトル集合の設定を示す。例えば、前述した少なくとも１つの空間的モーションベクトルの集合（例えば、空間的ベクトルの１つまたは複数の集合）と、前述した少なくとも１つの時間的モーションベクトルの集合（例えば、時間的モーションベクトルの１つまたは複数の集合）とから、１つまたは複数のモーションベクトル集合を選択するための設定などである。
【００５２】
ステップ９３２−１において、前処理モジュールは、上述した残りの部分のような非ＭＨＰ分割のために、ＭＶＤ（ｓ）（モーションベクトルの差異を意味する）を読み込む。例えば、ＭＶＤ（ｓ）は、送信バンド幅を減らすという目的に対して、元のモーションベクトルとモーションベクトル予測値との間の差異であってよい。他の例においては、ＭＶＤ（ｓ）は、現在のモーションベクトルと前のモーションベクトルとの間の差異であってよい。
【００５３】
ステップ９３４−１において、前処理モジュールは、上述した送信サイズを決定する。
【００５４】
ステップ９３６−１において、前処理モジュールは、上述した残りの部分のような非ＭＨＰ分割のために、ＭＶＰ（ｓ）（モーションベクトルの差異を意味する）を計算する。
【００５５】
図９Ｂを参照すると、ステップ９２８−２において、前処理モジュールは、フラグSpatiotemporal_Flagを読み込む。ここで、フラグSpatiotemporal_Flagは、空間的／時間的モーションベクトル集合の設定を示す。例えば、前述した少なくとも１つの空間的モーションベクトルの集合（例えば、空間的ベクトルの１つまたは複数の集合）と、前述した少なくとも１つの時間的モーションベクトルの集合（例えば、時間的モーションベクトルの１つまたは複数の集合）とから、１つまたは複数のモーションベクトル集合を選択するための設定などである。
【００５６】
ステップ９３２−２において、前処理モジュールは上述した送信サイズを決定する。
【００５７】
ステップ９３４−２において、前処理モジュールは上述した残りの部分のような非ＭＨＰ分割のために、ＭＶＤ（ｓ）（モーションベクトルの差異を意味する）を読み込む。例えば、ＭＶＤ（ｓ）は、送信バンド幅を減らすという目的に対して、元のモーションベクトルとモーションベクトルのオフセットとの間の差異であってよい。
【００５８】
図９Ｃを参照すると、ステップ９２８−３において、前処理モジュールは、フラグSpatiotemporal_Flagを読み込む。ここで、フラグSpatiotemporal_Flagは、空間的／時間的モーションベクトル集合の設定を示す。例えば、前述した少なくとも１つの空間的モーションベクトルの集合（例えば、空間的ベクトルの１つまたは複数の集合）と、前述した少なくとも１つの時間的モーションベクトルの集合（例えば、時間的モーションベクトルの１つまたは複数の集合）とから、１つまたは複数のモーションベクトル集合を選択するための設定などである。
【００５９】
ステップ９３２−３において、前処理モジュールは、所定の方法を使ってＢ．ｍｖを計算する。ここで、表記Ｂ．ｍｖは、図８Ａで示される実施形態の残りの一部を計算するための、サブ符号化ユニットＢのモーションベクトルを表す。
【００６０】
ステップ９３４−３において、前処理モジュールは、上述した残りの部分のような非ＭＨＰ分割のためのＭＶＤ（ｓ）（モーションベクトルの差異を意味する）を読み込む。
【００６１】
ステップ９３６−３において、前処理モジュールは、上述した送信サイズを決定する。
【００６２】
符号器および復号器が、適切にハイブリッド多仮説予測を行えることが、本発明の利点である。より正確には、簡単に現在処理中の符号化でのＭＨＰ直接部分におけるサブ符号化ユニットにおいて、これらが適切に多仮説モーション補償を行えることが利点である。一方、残りの部分は、Ｈ．２６４規格などの関連する技術的方法にしたがって処理できる。本願発明の方法および装置を用いた結果として、低い符号化効率といった関連技術におけるいかなる問題を起こすことなく、モーションベクトル予測処理および多仮説モーション補償処理を行える。
【００６３】
本発明の示唆が維持されている間、この装置および方法の多くの変形例および代替例が作られていることを当業者は容易に把握する。したがって、上述の開示は、添付された特許請求の範囲の計測および境界のみによって限定されるとして解釈されるべきである。
【図１Ａ】
2011229145.tif 000003
【図１Ｂ】
2011229145.tif 000004
【図１Ｃ】
2011229145.tif 000005
【図２】
2011229145.tif 000006
【図３】
2011229145.tif 000007
【図４】
2011229145.tif 000008
【図５Ａ】
2011229145.tif 000009
【図５Ｂ】
2011229145.tif 000010
【図５Ｃ】
2011229145.tif 000011
【図６】
2011229145.tif 000012
【図７Ａ】
2011229145.tif 000013
【図７Ｂ】
2011229145.tif 000014
【図７Ｃ】
2011229145.tif 000015
【図７Ｄ】
2011229145.tif 000016
【図８Ａ】
2011229145.tif 000017
【図８Ｂ】
2011229145.tif 000018
【図９Ａ】
2011229145.tif 000019
【図９Ｂ】
2011229145.tif 000020
【図９Ｃ】
2011229145.tif 000021