(57)【要約】【課題】いくつかの代替の動き予測ケースを許容することによって大幅に向上した圧縮効率を可能にする追加の構文を作成すること。静止の時間的予測子とともに空間的動きベクトル予測を考慮する高い効率のタイムスタンプ独立の直接モードを提供すること。【解決手段】複数の異なる量子化関数を使用してデータの少なくとも一部分を処理して、データの複数の対応する量子化された部分を生成し、少なくとも１つのしきい値に基づいてデータの量子化された部分の１つを選択的に出力する。また、初期データを複数の部分に分割し、少なくとも１つの分類特性に基づいてデータのその部分を分類する。【選択図】  図１
2004254274.tif 000002
【特許請求の範囲】
【請求項１】
複数の異なる量子化関数を使用してデータの少なくとも一部分を処理して、データの複数の対応する量子化された部分を生成するステップと、
少なくとも１つのしきい値に基づいて、前記データの量子化された部分の１つを選択的に出力するステップと
を具えたことを特徴とする方法。
【請求項２】
初期データを、前記データの少なくとも１つの部分を含む複数の部分に分割するステップと、
少なくとも１つの分類特性に基づいて、前記データの少なくとも１つの部分を分類するステップと
をさらに具えたことを特徴とする請求項１記載の方法。
【請求項３】
前記少なくとも１つのしきい値は、前記少なくとも１つの分類特性に関連していることを特徴とする請求項２記載の方法。
【請求項４】
前記初期データは、イメージデータ、ビデオデータ、オーディオデータ、および音声データを含むグループから選択されたデータを含むことを特徴とする請求項２記載の方法。
【請求項５】
前記初期データは、イメージデータまたはビデオデータを含み、
前記少なくとも１つの部分は、ブロック、マクロブロック、スリット、スライス、およびセクションを含むグループから選択されることを特徴とする請求項２記載の方法。
【請求項６】
前記少なくとも１つの分類特性は、エッジ特性、テクスチャ特性、平滑性特性、輝度特性、クロミナンス特性、カラー特性、雑音特性、オブジェクト特性、動き特性、ユーザ選好特性、ユーザインターフェースフォーカス特性、階層化（ｌａｙｅｒｉｎｇ）特性、タイミング特性、ボリューム特性、周波数特性、ピッチ特性、トーン特性、品質特性、ビットレート特性、データタイプ特性、解像度特性、および暗号化特性を含む特性のグループから選択されることを特徴とする請求項２記載の方法。
【請求項７】
前記複数の異なる量子化関数は、少なくとも２つの作用の異なるデッドゾーン量子化器（Ｄｅａｄｚｏｎｅ  Ｑｕａｎｔｉｚｅｒ）を含むことを特徴とする請求項１記載の方法。
【請求項８】
前記デッドゾーン量子化器の少なくとも１つは、適応型カバレッジ（ａｄａｐｔｉｖｅ  ｃｏｖｅｒａｇｅ）デッドゾーン量子化器を含むことを特徴とする請求項７記載の方法。
【請求項９】
前記デッドゾーン量子化器の少なくとも１つは、可変カバレッジサイズデッドゾーン量子化器を含むことを特徴とする請求項７記載の方法。
【請求項１０】
前記データの量子化された部分の１つを選択的に出力するステップは、前記量子化された部分の１つを符号化するステップをさらに具えたことを特徴とする請求項１記載の方法。
【請求項１１】
前記少なくとも１つのしきい値に基づいて、前記データの量子化された部分の１つを選択的に出力するステップは、
レート歪み最適化（Ｒａｔｅ  Ｄｉｓｔｏｒｔｉｏｎ  Ｏｐｔｉｍｉｚａｔｉｏｎ）（ＲＤＯ）を行って、前記データの量子化された部分の１つを選択するステップをさらに具えたことを特徴とする請求項１記載の方法。
【請求項１２】
イメージデータの少なくとも１つの部分に対して少なくとも１つの特性解析を行うステップと、
前記少なくとも１つの特性解析に基づいて、符号器内部で少なくとも１つの適応量子化パラメータを選択的に設定するステップと、
前記符号器を使用して、前記イメージデータの少なくとも１つの部分を符号化するステップと
を具えたことを特徴とする方法。
【請求項１３】
前記少なくとも１つの特性解析は、エッジ特性、テクスチャ特性、平滑性特性、輝度特性、クロミナンス特性、カラー特性、雑音特性、オブジェクト特性、動き特性、ユーザ選好特性、ユーザインターフェースフォーカス特性、階層化特性、タイミング特性、品質特性、ビットレート特性、データタイプ特性、および解像度特性を含む特性のグループから選択された少なくとも１つのイメージ解析特性を考慮することを特徴とする請求項１２記載の方法。
【請求項１４】
前記少なくとも１つの適応量子化パラメータは、前記符号器内部の適応カバレッジデッドゾーン量子化器に関連することを特徴とする請求項１２記載の方法。
【請求項１５】
前記少なくとも１つの特性解析に基づいて前記符号器内部で前記少なくとも１つの適応量子化パラメータを選択的に設定するステップは、
ビデオフレームを含む前記イメージデータの複数の部分のそれぞれに関してオンザフライ（ｏｎ−ｔｈｅ−ｆｌｙ）で行われることを特徴とする請求項１２記載の方法。
【請求項１６】
イメージデータの少なくとも１つの部分が、少なくとも２つの異なるデッドゾーン量子化器を使用して符号化されるようにするステップと、
少なくとも１つの判定ファクタに関連するレート歪み最適化（ＲＤＯ）判定に基づいて、前記少なくとも２つの異なるデッドゾーン量子化器のいずれかの出力において所望の符号化されたデータを特定するステップと
を具えたことを特徴とする方法。
【請求項１７】
イメージデータの少なくとも１つの部分が、第１のデッドゾーン量子化器を使用して符号化されるようにするステップと、
前記第１のデッドゾーン量子化器の出力が、少なくとも１つの判定ファクタを満たしているか否かを判定するステップと、
満たしている場合、前記第１のデッドゾーン量子化器の前記出力を出力するステップと、
満たしていない場合、前記イメージデータの少なくとも１つの部分が、前記第１のデッドゾーン量子化器とは異なる少なくとも第２のデッドゾーン量子化器を使用して符号化されるようにするステップと
を具えたことを特徴とする方法。
【請求項１８】
レート歪み最適化（ＲＤＯ）判定に基づいて、前記イメージデータの少なくとも１つの部分の許容可能な符号化されたバージョンを特定するステップをさらに具えたことを特徴とする請求項１７記載の方法。
【請求項１９】
イメージデータの少なくとも１つの部分に対してイメージ解析を行うステップと、
前記イメージデータの解析された部分に対してブロック分類を行うステップと、
前記イメージデータのブロック分類された部分のデッドゾーン量子化を行うステップと、
前記イメージデータのデッドゾーン量子化された部分の符号化を行うステップと
を具えたことを特徴とする方法。
【請求項２０】
前記イメージ解析は、エッジ検出解析およびテクスチャ解析を含むグループから選択された少なくとも１つのタイプの解析を含むことを特徴とする請求項１９記載の方法。
【請求項２１】
前記ブロック分類は、前記イメージ解析に基づいて動作するように構成され、
前記デッドゾーン量子化は、前記ブロック分類に基づいて動作するように構成されたことを特徴とする請求項１９記載の方法。
【請求項２２】
ビデオイメージデータの少なくとも１つの部分が、少なくとも２つの異なる符号器を使用して符号化されるステップであって、該２つの異なる符号器の少なくとも１つは、前記ビデオイメージデータの非残余モードをサポートするように構成されたデッドゾーン量子化器を含み、
少なくとも１つの判定ファクタに関連するレート歪み最適化（ＲＤＯ）判定に基づき、前記少なくとも２つの異なる符号器の１つの出力における所望の符号化されたフレームデータを特定するステップと
を具えたことを特徴とする方法。
【請求項２３】
前記デッドゾーン量子化器は、適応型であって、前記非残余モードが選択的に使用されることを特徴とする請求項２２記載の方法。
【請求項２４】
前記符号器の少なくとも１つが、前記ビデオイメージデータの直接モードをサポートするように構成されたことを特徴とする請求項２２記載の方法。
【請求項２５】
前記符号器の少なくとも１つが、前記ビデオイメージデータのコピーモードをサポートするように構成されたことを特徴とする請求項２２記載の方法。
【請求項２６】
前記非残余モードが、ランレングス符号化（ＲＬＣ）戦略に基づいて作用するように構成されたことを特徴とする請求項２２記載の方法。
【請求項２７】
前記デッドゾーン量子化器は、動作が適応型であることを特徴とする請求項２２記載の方法。
【請求項２８】
前記デッドゾーン量子化器が、ビデオイメージデータの少なくとも１つの部分に関連する少なくとも１つの特性に基づいて動作するように構成されたことを特徴とする請求項２２記載の方法。
【請求項２９】
前記所望の符号化されたフレームデータを特定するステップは、前記直接モードフレームデータに関連する残余の量を解析するステップをさらに含むことを特徴とする請求項２２記載の方法。
【請求項３０】
前記残余の前記量を解析するステップは、前記直接モードフレームデータの符号化されたブロックパターン（ＣＢＰ）を検査するステップをさらに含むことを特徴とする請求項２９記載の方法。
【請求項３１】
前記デッドゾーン量子化器を有する前記符号器は、クロミナンス残余データ、輝度残余データ、およびすべての残余データを含む残余データのグループから選択された少なくとも１つのタイプの残余を除去するように選択的に構成されたことを特徴とする請求項２２記載の方法。
【請求項３２】
イメージデータの少なくとも１つの部分の少なくとも１つの特性に基づいて動作するように量子化関数を有する符号化論理を構成する少なくとも１つのラグランジュ乗数を選択的に変更するステップと、
前記符号化論理を使用して前記イメージデータの前記少なくとも１つの部分を符号化するステップと
を含むことを特徴とする方法。
【請求項３３】
前記量子化関数は、
Ｊ（Ｍｏｄｅ｜ＱＰ，λ）＝ＳＳＤ（Ｍｏｄｅ｜ＱＰ）＋λ・Ｒ（Ｍｏｄｅ｜ＱＰ）
に基づくマクロブロック量子化器を含み、ただし、λは、モード判定に関するラグランジュ乗数であり、かつＭｏｄｅは、レート歪み最適化（ＲＤＯ）プロセスを使用して検討されるマクロブロックモードを示すことを特徴とする請求項３２記載の方法。
【請求項３４】
前記ラグランジュ乗数は、フレーム間、またはフレーム内に対して選択されることを特徴とする請求項３２記載の方法。
【請求項３５】
【数式１】
2004254274.tif 000007
かつ
【数式２】
2004254274.tif 000008
であることを特徴とする請求項３３記載の方法。
【請求項３６】
【数式３】
2004254274.tif 000009
かつ
【数式４】
2004254274.tif 000010
であることを特徴とする請求項３３記載の方法。
【請求項３７】
ビデオイメージデータの少なくとも一部分を、符号化論理を使用して符号化するステップと、
前記符号化論理が、該符号化論理によって使用される動きベクトル予測のタイプを特定する構文情報を出力させるステップと
を具えたことを特徴とする方法。
【請求項３８】
前記符号化論理は、空間的動きベクトル予測、および時間的動きベクトル予測を含むグループから選択された少なくとも１つのタイプの動きベクトル予測を選択的に使用するように構成され、
前記符号化論理は、少なくともある程度、レート歪み最適化（ＲＤＯ）判定に基づいて前記構文情報、および対応する符号化されたビデオイメージデータを選択的に出力するように構成されたことを特徴とする請求項３７記載の方法。
【請求項３９】
ビデオ符号化関連情報を伝送する際に使用するための方法であって、
ビデオデータを符号化するステップと、
前記ビデオデータが符号化された少なくとも１つのＢフレームに関連する適応型空間的／空間−時間的符号化を特定する少なくとも１つの記述子を前記符号化されたビデオデータの構文部分の中で選択的に設定するステップと
を具えたことを特徴とする方法。
【請求項４０】
前記ビデオデータを符号化するステップは、前記ビデオデータをＪＶＴ標準に従って符号化するステップを含み、
前記符号化されたビデオデータの前記構文部分の中の前記少なくとも１つの記述子は、前記符号化されたビデオデータのピクチャ層部分を有するｄｉｒｅｃｔ＿ｍｖ＿ｓｐａｔｉａｌパラメータを含むことを特徴とする請求項３９記載の方法。
【請求項４１】
ビデオ符号化関連情報を伝送する際に使用するための方法であって、
ビデオデータを符号化するステップと、
前記符号化されたビデオデータの構文部分の中で少なくとも１つの記述子を選択的に設定するステップであって、該記述子は、前記ビデオデータが符号化された少なくとも１つのフレーム間における適応型コピー／動き−コピースキップモードを特定することを特徴とする方法。
【請求項４２】
前記ビデオデータを符号化するステップは、
ＪＶＴ標準に従って前記ビデオデータを符号化するステップを含み、かつ前記符号化されたビデオデータの前記構文部分の中の前記少なくとも１つの記述子は、前記符号化されたビデオデータのピクチャ層部分を有するｃｏｐｙ＿ｍｖ＿ｓｐａｔｉａｌパラメータを含むことを特徴とする請求項４１記載の方法。
【請求項４３】
ビデオフレームの静止の時間的／空間的部分を考慮するビデオのタイムスタンプ独立モード符号化において使用するための方法であって、
ビデオシーケンスの中のビデオフレームの少なくとも１つの部分に関連する動きの空間的予測を選択的に適用するステップと、
別のビデオフレームの基準部分に関する時間的動き予測情報がゼロである場合、動きの前記空間的予測をゼロに設定するステップと
を具えたことを特徴とする方法。
【請求項４４】
前記空間的予測は、空間的にゼロのバイアスを有することを特徴とする請求項４３記載の方法。
【請求項４５】
前記空間的予測は、前記ビデオフレーム内の他の部分の静止の下位区分をさらに考慮し、
前記下位区分の少なくとも１つが、ほぼゼロである対応する動きを有する場合、前記他の部分もゼロの動きを有するものとみなされることを特徴とする請求項４３記載の方法。
【請求項４６】
少なくとも１つの処理ユニットを構成するためのコンピュータ実行可能命令を有するコンピュータ可読媒体であって、
複数の異なる量子化関数を使用して、データの少なくとも一部分を処理して、データの複数の対応する量子化された部分を生成する動作と、
少なくとも１つのしきい値に基づいて、前記データの量子化された部分の１つを選択的に出力する動作と
を具えたことを特徴とするコンピュータ可読媒体。
【請求項４７】
初期データをデータの前記少なくとも１つの部分を含む複数の部分に分割するステップと、
少なくとも１つの分類特性に基づいて、前記データの少なくとも１つの部分を分類するステップと
をさらに具えたことを特徴とする請求項４６記載のコンピュータ可読媒体。
【請求項４８】
前記少なくとも１つのしきい値は、前記少なくとも１つの分類特性に関連することを特徴とする請求項４７記載のコンピュータ可読媒体。
【請求項４９】
前記初期データは、イメージデータ、ビデオデータ、オーディオデータ、および音声データを含むグループから選択されたデータを含み、
さらに該初期データは、イメージデータまたはビデオデータを含むと共に、前記少なくとも１つの部分が、ブロック、マクロブロック、スリット、スライス、およびセクションを含むグループから選択されることを特徴とする請求項４７記載のコンピュータ可読媒体。
【請求項５０】
前記少なくとも１つの分類特性は、
エッジ特性、テクスチャ特性、平滑性特性、輝度特性、クロミナンス特性、カラー特性、雑音特性、オブジェクト特性、動き特性、ユーザ選好特性、ユーザインターフェースフォーカス特性、階層化特性、タイミング特性、ボリューム特性、周波数特性、ピッチ特性、トーン特性、品質特性、ビットレート特性、データタイプ特性、解像度特性、および暗号化特性を含む特性のグループから選択されることを特徴とする請求項４７記載のコンピュータ可読媒体。
【請求項５１】
前記複数の異なる量子化関数は、少なくとも２つの動作の異なるデッドゾーン量子化器を含み、
前記デッドゾーン量子化器の少なくとも１つは、適応型カバレッジデッドゾーン量子化器を含むことを特徴とする請求項４６記載のコンピュータ可読媒体。
【請求項５２】
前記少なくとも１つのしきい値に基づいて、前記データの量子化された部分の１つを選択的に出力するステップは、
レート歪み最適化（ＲＤＯ）を行って、前記データの量子化された部分の１つを選択するステップをさらに含むことを特徴とする請求項４６記載のコンピュータ可読媒体。
【請求項５３】
少なくとも１つの処理ユニットを構成するためのコンピュータ実行可能命令を有するコンピュータ可読媒体であって、
イメージデータの少なくとも１つの部分に対して少なくとも１つの特性解析を行う動作と、
前記少なくとも１つの特性解析に基づいて符号器内部で少なくとも１つの適応量子化パラメータを選択的に設定する動作と、
前記符号器を使用してイメージデータの前記少なくとも１つの部分を符号化する動作とを具えたことを特徴とするコンピュータ可読媒体。
【請求項５４】
前記少なくとも１つの適応量子化パラメータは、前記符号器内部の適応カバレッジデッドゾーン量子化器に関連することを特徴とする請求項５３記載のコンピュータ可読媒体。
【請求項５５】
前記少なくとも１つの特性解析に基づいて前記符号器内部で前記少なくとも１つの適応量子化パラメータを選択的に設定する動作は、
ビデオフレームを含む前記イメージデータの複数の部分のそれぞれに関してオンザフライ（ｏｎ−ｔｈｅ−ｆｌｙ）で行われることを特徴とする請求項５３記載のコンピュータ可読媒体。
【請求項５６】
少なくとも１つの処理ユニットを構成するためのコンピュータ実行可能命令を有するコンピュータ可読媒体であって、
イメージデータの少なくとも１つの部分が、少なくとも２つの異なるデッドゾーン量子化器を使用して符号化されるようにする動作と、
少なくとも１つの判定ファクタに関連するレート歪み最適化（ＲＤＯ）判定に基づいて、前記少なくとも２つの異なるデッドゾーン量子化器のいずれかの出力において所望の符号化されたデータを特定する動作と
を具えたことを特徴とするコンピュータ可読媒体。
【請求項５７】
少なくとも１つの処理ユニットを構成するためのコンピュータ実行可能命令を有するコンピュータ可読媒体であって、
イメージデータの少なくとも１つの部分が、第１のデッドゾーン量子化器を使用して符号化されるようにするステップと、
前記第１のデッドゾーン量子化器の出力が、少なくとも１つの判定ファクタを満たしているか否かを判定する動作と、
満たしている場合、前記デッドゾーン量子化器の前記出力を出力する動作と、
満たしていない場合、前記イメージデータの少なくとも１つの部分が、前記第１のデッドゾーン量子化器とは異なる少なくとも第２のデッドゾーン量子化器を使用して符号化されるようにする動作と
を具えたことを特徴とするコンピュータ可読媒体。
【請求項５８】
レート歪み最適化（ＲＤＯ）判定に基づいて前記イメージデータの少なくとも１つの部分の許容可能な符号化されたバージョンを特定する動作をさらに具えたことを特徴とする請求項５７記載のコンピュータ可読媒体。
【請求項５９】
少なくとも１つの処理ユニットを構成するためのコンピュータ実行可能命令を有するコンピュータ可読媒体であって、
前記イメージデータの少なくとも１つの部分に対してイメージ解析を行う動作と、
前記イメージデータの解析された部分に対してブロック分類を行う動作と、
前記イメージデータのブロック分類された部分のデッドゾーン量子化を行う動作と、
前記イメージデータのデッドゾーン量子化された部分の符号化を行う動作と
を具えたことを特徴とするコンピュータ可読媒体。
【請求項６０】
前記イメージ解析は、エッジ検出解析およびテクスチャ解析を含むグループから選択された少なくとも１つのタイプの解析を含むことを特徴とする請求項５９記載のコンピュータ可読媒体。
【請求項６１】
前記ブロック分類は、前記イメージ解析に基づいて作用するように構成され、
前記デッドゾーン量子化は、前記ブロック分類に基づいて動作するように構成されたことを特徴とする請求項５９記載のコンピュータ可読媒体。
【請求項６２】
少なくとも１つの処理ユニットを構成するためのコンピュータ実行可能命令を有するコンピュータ可読媒体であって、
ビデオイメージデータの少なくとも１つの部分が、少なくとも２つの異なる符号器を使用して符号化されるようにする動作であって、前記２つの異なる符号器の少なくとも１つは、前記ビデオイメージデータの非残余モードをサポートするように構成されたデッドゾーン量子化器を含み、
少なくとも１つの判定ファクタに関連するレート歪み最適化（ＲＤＯ）判定に基づき、前記少なくとも２つの異なる符号器の１つの出力における所望の符号化されたフレームデータを特定する動作と
を具えたことを特徴とするコンピュータ可読媒体。
【請求項６３】
前記デッドゾーン量子化器は、適応型であって、前記非残余モードが選択的に使用されることを特徴とする請求項６２記載のコンピュータ可読媒体。
【請求項６４】
前記符号器の少なくとも１つが、前記ビデオイメージデータの直接モードをサポートするように構成されたことを特徴とする請求項６２記載のコンピュータ可読媒体。
【請求項６５】
前記符号器の少なくとも１つは、前記ビデオイメージデータのコピーモードをサポートするように構成されたことを特徴とする請求項６２記載のコンピュータ可読媒体。
【請求項６６】
前記非残余モードは、ランレングス符号化（ＲＬＣ）戦略に基づいて動作するように構成されたことを特徴とする請求項６２記載のコンピュータ可読媒体。
【請求項６７】
前記デッドゾーン量子化器を有する前記符号器は、
クロミナンス残余データ、輝度残余データ、およびすべての残余データを含む残余データのグループから選択された少なくとも１つのタイプの残余を除去するように選択的に構成されたことを特徴とする請求項６２記載のコンピュータ可読媒体。
【請求項６８】
少なくとも１つの処理ユニットを構成するためのコンピュータ実行可能命令を有するコンピュータ可読媒体であって、
イメージデータの少なくとも１つの部分の少なくとも１つの特性に基づいて、量子化関数を有する符号化論理を構成する少なくとも１つのラグランジュ乗数を選択的に変更する動作と、
前記符号化論理を使用して前記イメージデータの前記少なくとも１つの部分を符号化する動作と
を具えたことを特徴とするコンピュータ可読媒体。
【請求項６９】
少なくとも１つの処理ユニットを構成するためのコンピュータ実行可能命令を有するコンピュータ可読媒体であって、
ビデオイメージデータの少なくとも一部分を、符号化論理を使用して符号化する動作と、
前記符号化論理が、該符号化論理によって使用される動きベクトル予測のタイプを特定する構文情報を出力させる動作と
を具えたことを特徴とするコンピュータ可読媒体。
【請求項７０】
少なくとも１つの処理ユニットを構成するためのコンピュータ実行可能命令を有するコンピュータ可読媒体であって、
ビデオデータを符号化する動作と、
前記符号化されたビデオデータの構文部分の中で少なくとも１つの記述子を選択的に設定する動作であって、該記述子は、前記ビデオデータが符号化された少なくとも１つのＢフレームに関連する適応型空間的／空間−時間的符号化を特定することを特徴とするコンピュータ可読媒体。
【請求項７１】
前記ビデオデータを符号化する動作は、ＪＶＴ標準に従って前記ビデオデータを符号化する動作を含み、かつ前記符号化されたビデオデータの前記構文部分の中の前記少なくとも１つの記述子は、前記符号化されたビデオデータのピクチャ層部分を有するｄｉｒｅｃｔ＿ｍｖ＿ｓｐａｔｉａｌパラメータを含むことを特徴とする請求項７０記載のコンピュータ可読媒体。
【請求項７２】
少なくとも１つの処理ユニットを構成するためのコンピュータ実行可能命令を有するコンピュータ可読媒体であって、
ビデオデータを符号化する動作と、
前記符号化されたビデオデータの構文部分の中で少なくとも１つの記述子を選択的に設定する動作であって、該記述子は、前記ビデオデータが符号化された少なくとも１つのフレーム間における適応型コピー／動き−コピースキップモードを特定することを特徴とするコンピュータ可読媒体。
【請求項７３】
前記ビデオデータを符号化する動作は、ＪＶＴ標準に従って前記ビデオデータを符号化する動作を含み、
前記符号化されたビデオデータの前記構文部分の中の前記少なくとも１つの記述子は、前記符号化されたビデオデータのピクチャ層部分を有するｃｏｐｙ＿ｍｖ＿ｓｐａｔｉａｌパラメータを含むことを特徴とする請求項４１記載のコンピュータ可読媒体。
【請求項７４】
少なくとも１つの処理ユニットを構成するためのコンピュータ実行可能命令を有するコンピュータ可読媒体であって、
ビデオシーケンスの中のビデオフレームの少なくとも１つの部分に関連する動きの空間的予測を選択的に適用する動作と、
別のビデオフレームの基準部分に関する時間的動き予測情報がゼロである場合、動きの前記空間的予測をゼロに設定する動作と
を具えたことを特徴とするコンピュータ可読媒体。
【請求項７５】
前記空間的予測は、空間的にゼロのバイアスを有することを特徴とする請求項７４記載のコンピュータ可読媒体。
【請求項７６】
前記空間的予測は、前記ビデオフレーム内の他の部分の静止の下位区分をさらに考慮し、
前記下位区分の少なくとも１つが、ほぼゼロである対応する動きを有する場合、前記他の部分もゼロの動きを有するものとみなされることを特徴とする請求項７４記載のコンピュータ可読媒体。
【請求項７７】
複数の異なる量子化関数を使用してデータの少なくとも一部分を処理して、データの複数の対応する量子化された部分を生成し、
少なくとも１つのしきい値に基づいて、前記データの量子化された部分の１つを選択的に出力するように構成された論理を具えたことを特徴とする装置。
【請求項７８】
前記論理は、初期データをデータの前記少なくとも１つの部分を含む複数の部分に分割し、少なくとも１つの分類特性に基づいてデータの前記少なくとも１つの部分を分類するようにさらに構成され、
前記少なくとも１つのしきい値は、前記少なくとも１つの分類特性に関連することを特徴とする請求項７７記載の装置。
【請求項７９】
前記複数の異なる量子化関数は、少なくとも２つの動作の異なるデッドゾーン量子化器を含み、
前記デッドゾーン量子化器の少なくとも１つは、適応型カバレッジデッドゾーン量子化器を含むことを特徴とする請求項７７記載の装置。
【請求項８０】
前記論理は、レート歪み最適化（ＲＤＯ）を行って、データの前記量子化された部分を選択するようにさらに構成されたことを特徴とする請求項７７記載の装置。
【請求項８１】
イメージデータの少なくとも１つの部分に対して少なくとも１つの特性解析を行い、
前記少なくとも１つの特性解析に基づいて符号器内部で少なくとも１つの適応量子化パラメータを選択的に設定し、
前記符号器を使用してイメージデータの前記少なくとも１つの部分を符号化するように構成された論理を具えたことを特徴とする装置。
【請求項８２】
前記少なくとも１つの適応量子化パラメータは、前記符号器内部の適応カバレッジデッドゾーン量子化器に関連することを特徴とする請求項８１記載の装置。
【請求項８３】
イメージデータの少なくとも１つの部分が、少なくとも２つの異なるデッドゾーン量子化器を使用して符号化されるようにし、
少なくとも１つの判定ファクタに関連するレート歪み最適化（ＲＤＯ）判定に基づいて、前記少なくとも２つの異なるデッドゾーン量子化器のいずれかの出力において所望の符号化されたデータを特定するように構成された論理を具えたことを特徴とする装置。
【請求項８４】
イメージデータの少なくとも１つの部分が、第１のデッドゾーン量子化器を使用して符号化されるようにし、
前記第１のデッドゾーン量子化器の出力が、少なくとも１つの判定ファクタを満たしているか否かを判定し、
満たしている場合、前記第１のデッドゾーン量子化器の前記出力を出力し、
満たしていない場合、イメージデータの前記少なくとも１つの部分が、前記第１のデッドゾーン量子化器とは異なる少なくとも第２のデッドゾーン量子化器を使用して符号化されるように構成された論理を具えたことを特徴とする装置。
【請求項８５】
前記論理は、レート歪み最適化（ＲＤＯ）判定に基づいて、前記イメージデータの前記少なくとも１つの部分の許容可能な符号化されたバージョンを特定するようにさらに構成されたことを特徴とする請求項８４記載の装置。
【請求項８６】
イメージデータの少なくとも１つの部分に対してイメージ解析を行い、
前記イメージデータの解析された部分に対してブロック分類を行い、
前記イメージデータのブロック分類された部分のデッドゾーン量子化を行い、
前記イメージデータのデッドゾーン量子化された部分の符号化を行うように構成された論理を具えたことを特徴とする装置。
【請求項８７】
ビデオイメージデータの少なくとも１つの部分が少なくとも２つの異なる符号器を使用して符号化されるようにし、前記少なくとも２つの異なる符号器の少なくとも１つは、前記ビデオイメージデータの非残余モードをサポートするように構成されたデッドゾーン量子化器を含み、
少なくとも１つの判定ファクタに関連するレート歪み最適化（ＲＤＯ）判定に基づき、前記少なくとも２つの異なる符号器の１つの出力における所望の符号化されたフレームデータを特定するように構成された論理を具えたことを特徴とする装置。
【請求項８８】
前記デッドゾーン量子化器は、適応型であって、前記非残余モードが選択的に使用されるようにすることを特徴とする請求項８７記載の装置。
【請求項８９】
前記符号器の少なくとも１つは、
前記ビデオイメージデータの直接モードと、前記ビデオイメージデータのコピーモードを含むグループから選択された少なくとも１つのモードとをサポートするように構成されたことを特徴とする請求項８７記載の装置。
【請求項９０】
イメージデータの少なくとも１つの部分の少なくとも１つの特性に基づいて動作するように量子化関数を有する符号化論理を構成する少なくとも１つのラグランジュ乗数を選択的に変更し、
前記符号化論理を使用して前記イメージデータの前記少なくとも１つの部分を符号化するように構成された論理を具えたことを特徴とする装置。
【請求項９１】
ビデオイメージデータの少なくとも一部分を符号化論理を使用して符号化し、
前記符号化論理が、該符号化論理によって使用される動きベクトル予測のタイプを特定する構文情報を出力させるように構成された論理を具えたことを特徴とする装置。
【請求項９２】
ビデオデータを符号化し、
前記符号化されたビデオデータの構文部分の中で少なくとも１つの記述子を選択的に設定するように構成された論理を具え、
該記述子が、前記ビデオデータが符号化された少なくとも１つのＢフレームに関連する適応型空間的／空間−時間的符号化を特定することを特徴とする装置。
【請求項９３】
ビデオデータを符号化し、
前記符号化されたビデオデータの構文部分の中で少なくとも１つの記述子を選択的に設定するように構成された論理を具え、
前記記述子は、前記ビデオデータが符号化された少なくとも１つのフレーム間における適応型コピー／動き−コピースキップモードを特定することを特徴とする装置。
【請求項９４】
ビデオシーケンスの中のビデオフレームの少なくとも１つの部分に関連する動きの空間的予測を選択的に適用し、
別のビデオフレームの基準部分に関する時間的動き予測情報がゼロである場合、動きの前記空間的予測をゼロに設定するように構成された論理を具えたことを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、コンピュータ、および同様のデバイスに関し、より詳細には、データを圧縮／符号化するため、およびデータを伸張／復号化するための方法、装置、およびシステムに関する。
【０００２】
本米国特許出願は、参照により全体が本明細書に組み込まれている２００２年７月５日に出願した「イメージ圧縮およびビデオ圧縮のためのレート／歪み最適化技術（Ｒａｔｅ／Ｄｉｓｔｏｒｔｉｏｎ  Ｏｐｔｉｍｉｚａｔｉｏｎ  Ｔｅｃｈｎｉｑｕｅｓ  ｆｏｒ  Ｉｍａｇｅ  ａｎｄ  Ｖｉｄｅｏ  Ｃｏｍｐｒｅｓｓｉｏｎ）」という名称の同時係属の米国特許出願番号６０／３９３，８９４の開示の優先権の恩典を主張する。
【背景技術】
【０００３】
データ、特にイメージデータおよびビデオデータの圧縮／符号化および伸張／復号化を行うための改良された方法および装置が、引き続き必要とされている。符号化効率の向上により、コンピュータ、およびその他の同様なデバイスによってより多くの情報を処理し、伝送し、かつ／または記憶することが可能である。インターネットおよびその他の同様なコンピュータ網、ならびに無線通信システムがますます普及するにつれて、利用可能なリソースを十分に活用する極めて効率的な符号化技術を提供することが望まれている。
【０００４】
レート歪み最適化（ＲＤＯ）技術は、従来の符号化法と比べて符号化効率を大幅に向上させることが可能なので、ビデオおよびイメージの符号化／復号化システムにおいて極めて普及している。
【０００５】
例えば、さらなる情報を見ることができる（非特許文献１参照）。
【０００６】
【非特許文献１】
Ｔｒａｃ  Ｄｕｙ  Ｔｒａｎによるマサチューセッツ工科大学在学中の１９９４年５月に提出したコンピュータサイエンスアンドエンジニアリング学修士論文、¨Ａ  Ｌｏｃａｌｌｙ  Ａｄａｐｔｉｖｅ  Ｐｅｒｃｅｐｔｕａｌ  Ｍａｓｋｉｎｇ  Ｔｈｒｅｓｈｏｌｄ  Ｍｏｄｅｌ  ｆｏｒ  Ｉｍａｇｅ  Ｃｏｄｉｎｇ¨
【非特許文献２】
Ｊａｎｉ  Ｌａｉｎｅｍａ  ａｎｄ  Ｍａｒｔａ  Ｋａｒｃｚｅｗｉｃｚ，  ¨Ｓｋｉｐ  ｍｏｄｅ  ｍｏｔｉｏｎ  ｃｏｍｐｅｎｓａｔｉｏｎ¨，  ｄｏｃｕｍｅｎｔ  ＪＶＴ−Ｃ０２７，  ＪＶＴ  Ｍｅｅｔｉｎｇ，  Ｆａｉｒｆａｘ，  Ｍａｙ  ２００２
【考案の開示】
【発明が解決しようとする課題】
【０００７】
例えば、イメージデータを圧縮するシステムにおいて、ブロックまたはマクロブロックなどのデータの圧縮されるべき部分は、実際には、その他の情報（データ）と比べて、異なる形で（例えば、高い優先順位、高い品質等）符号化されなければならないようなより高い重要度の情報を含む場合がある。これを実行する１つのやり方は、異なる量子化値（ｑｕａｎｔｉｚｅｒ  ｖａｌｕｅ）を使用ことが考えられる。
【０００８】
しかし、このような圧縮処理を行うことにより、通常、後の伸張／復号化が正常に行われるように、各ブロック、各マクロブロック、グループのマクロブロックに対して使用された各量子化値を明らかにする追加の情報の伝送も必要とされる。そのような追加の情報により、圧縮オーバーヘッド（ｃｏｍｐｒｅｓｓｅｄ  ｏｖｅｒｈｅａｄ）、および符号器の複雑さが増大させられることになる。その結果、圧縮効率を向上させるどころか、実際には、圧縮効率の低下を招いてしまうことになる、という問題がある。
【０００９】
さらに、近年では、従来よりも一段と高い符号化効率を提供することが望まれており、ＲＤＯ技術やその他の同様な技術のパフォーマンスをさらに高めて、既存のシステムよりも符号化効率が大幅に向上した改良された方法および装置の作成が求められている。
【課題を解決するための手段】
【００１０】
前述した必要性、およびその他の必要性は、例えば、複数の異なる量子化関数を使用してデータの少なくとも一部分を処理して、データの複数の対応する量子化された部分を生成すること、および少なくとも１つのしきい値に基づいてデータの量子化された部分の１つを選択的に出力することを含む方法によって満たされる。また、この方法は、初期データを複数の部分に分割すること、および少なくとも１つの分類特性に基づいてデータの部分を分類することも含むことが可能である。この場合、例えば、分類特性に関連するしきい値が存在することが可能である。
【００１１】
例として、初期データは、イメージデータ、ビデオデータ、オーディオデータ、音声データ等を含むことが可能である。選択される部分は、ブロック、マクロブロック、スリット、スライス、セクション等の形態をとることが可能である。分類特性には、エッジ特性、テクスチャ特性、平滑性特性、輝度特性、クロミナンス特性、カラー特性、雑音特性、オブジェクト特性、動き特性、ユーザ選好特性、ユーザインターフェースフォーカス特性、階層化（ｌａｙｅｒｉｎｇ）特性、タイミング特性、ボリューム特性、周波数特性、ピッチ特性、トーン特性、品質特性、ビットレート特性、データタイプ特性、解像度特性、暗号化特性等が含まれることが可能である。
【００１２】
いくつかの例としての実施形態では、複数の異なる量子化関数は、少なくとも２つの動作の異なるデッドゾーン量子化器（Ｄｅａｄｚｏｎｅ  Ｑｕａｎｔｉｚｅｒ）を含む。この場合、例えば、デッドゾーン量子化器は、適応カバレッジ（ｃｏｖｅｒａｇｅ）デッドゾーン量子化器、可変カバレッジサイズデッドゾーン量子化器等であることが可能である。また、方法は、量子化された部分を符号化することも含むことが可能である。方法は、レート歪み最適化（ＲＤＯ）を行ってデータの量子化された部分を選択することをさらに含むことが可能である。
【００１３】
さらに他の例示的な実施形態によれば、別の方法が、イメージデータの少なくとも１つの部分に対して少なくとも１つの特性解析を行うこと、その特性解析に基づいて符号器内部で少なくとも１つの適応量子化パラメータを選択的に設定すること、およびイメージデータのその部分を符号器を使用して符号化することを含む。
【００１４】
さらに別の例示的な実施形態では、イメージデータの少なくとも１つの部分が、少なくとも２つの異なるデッドゾーン量子化器を使用して符号化されるようにすること、および少なくとも１つの判定ファクタに関連するレート歪み最適化（ＲＤＯ）判定に基づいてその少なくとも２つの異なるデッドゾーン量子化器の１つの出力における好ましい符号化されたデータを特定することを含む方法が提供される。
【００１５】
また、前述した必要性、およびその他の必要性は、イメージデータの少なくとも１つの部分が、第１のデッドゾーン量子化器を使用して符号化されるようにすること、第１のデッドゾーン量子化器の出力が少なくとも１つの判定ファクタを満たしているかどうかを判定し、満たしている場合、第１のデッドゾーン量子化器の出力を出力し、満たしていない場合、イメージデータのその部分が、第１のデッドゾーン量子化器とは異なる少なくとも第２のデッドゾーン量子化器を使用して符号化されるようにすることを含む方法によっても満たされる。この場合、例えば、方法は、ＲＤＯ判定等に基づいてイメージデータのその部分の許容可能な符号化されたバージョンを特定することも含むことが可能である。
【００１６】
さらに別の例示的な実施形態では、方法が、イメージデータの少なくとも１つの部分に対してイメージ解析を行うこと、イメージデータの解析された部分に対してブロック分類を行うこと、イメージデータのブロック分類された部分のデッドゾーン量子化を行うこと、およびイメージデータのデッドゾーン量子化された部分の符号化を行うことを含む。この場合、例えば、イメージ解析は、エッジ検出解析、テクスチャ解析等を含むことが可能である。
【００１７】
さらなる例示的な実施形態によれば、ビデオイメージデータの少なくとも１つの部分が、ビデオイメージデータの非残余モード（Ｎｏｎ  Ｒｅｓｉｄｕａｌ  Ｍｏｄｅ）をサポートする作用をするように構成されたデッドゾーン量子化器を少なくともどちらかが含む少なくとも２つの異なる符号器を使用して符号化されるようにすること、および少なくとも１つの判定ファクタに関連するレート歪み最適化（ＲＤＯ）判定に基づき、その２つの異なる符号器の１つの出力における好ましい符号化されたフレームデータを特定することを含む方法が提供される。
【００１８】
別の例示的な方法は、イメージデータの少なくとも１つの部分の少なくとも１つの特性に基づいて作用するように量子化関数を有する符号化論理を構成する少なくとも１つのラグランジュ乗数を選択的に変えること、および符号化論理を使用してイメージデータのその部分を符号化することを含む。
【００１９】
さらに別の実施形態では、例示的な方法が、ビデオイメージデータの少なくとも一部分を符号化論理を使用して符号化すること、およびその符号化論理が、その符号化論理によって使用される動きベクトル予測のタイプを特定する構文情報を出力するようにさせることを含む。
【００２０】
ビデオ符号化関連情報を伝送する際に使用される方法が、ビデオデータを符号化すること、および符号化されたビデオデータの構文部分の中で少なくとも１つの記述子を選択的に設定することを含み、この記述子は、ビデオデータが符号化された少なくとも１つのＢフレームに関連する適応空間符号化／空間−時間符号化を特定する。ビデオ符号化関連情報を伝送する際に使用される別の方法は、ビデオデータを符号化すること、符号化されたビデオデータの構文部分の中で少なくとも１つの記述子を選択的に設定することを含み、この記述子は、ビデオデータが符号化された少なくとも１つのフレーム間における適応コピー／動きコピースキップモードを特定する。
【００２１】
ビデオフレームの静止時間／空間部分を考慮に入れるビデオのタイムスタンプ独立モードの符号化で使用される例示的な方法が提供される。この場合、例えば、方法は、ビデオシーケンスにおけるビデオフレームの少なくとも１つの部分に関連する動きの空間的予測を選択的に適用すること、および別のビデオフレームの基準部分に関する時間的動き予測がゼロである場合、動きの空間的予測をゼロに設定することを含む。
【００２２】
同様の符号が同様の要素を指している図面を参照すると、本発明が、適切な計算環境において実施されているのが示されている。必須ではないが、本発明は、パーソナルコンピュータ、ワークステーション、専用サーバ、複数のプロセッサ、メインフレームコンピュータ等の形態をとることが可能なサーバコンピュータによって実行される、プログラムモジュールなどのコンピュータ実行可能命令の一般的な文脈で説明する。一般に、プログラムモジュールには、特定のタスクを行う、または特定の抽象データタイプを実装するルーチン、プログラム、オブジェクト、構成要素、データ構造等が含まれる。また、本発明は、コンピュータ網を介してリンクされた遠隔の処理デバイスによってタスクが行われる分散計算環境において実施してもよい。分散計算環境では、プログラムモジュールは、ローカルのメモリ記憶デバイスと遠隔のメモリ記憶デバイスの両方の中に配置されることが可能である。
【発明の効果】
【００２３】
本発明によれば、イメージ、ビデオシーケンス、またはその他のタイプのデータの符号化に関するレート歪み最適化に関連するいくつかの概念を提示するものであり、特に、イメージの先頭で指示されることが可能な、ＰフレームおよびＢフレームのそれぞれの中のスキップモードおよび直接モードなどのケースに関して、いくつかの代替の予測ケースを許容することにより、大幅に高い圧縮効率を可能にするビデオシーケンス内で採用されることが可能な追加の構文を提示することができ、また、静止の時間的予測子と共に空間的動きベクトル予測を考慮するＢフレームに関する高い効率のタイムスタンプ独立の直接モードを提示することができる。これにより、符号化効率を大幅に向上させ、様々なイメージ／ビデオ／データ符号化システムにおけるパフォーマンスを大幅に向上させることが可能である。
【発明を実施するための最良の形態】
【００２４】
本発明に係る様々な方法、装置、およびシステムのより完全な理解は、添付の図面と併せて考慮される、以下の詳細な説明を参照することによって得ることができる。
【００２５】
図１は、以下に説明する方法および構成を実施することができる適切な計算環境１２０の例を示す。
【００２６】
例示的な計算環境１２０は、適切な計算環境の一例に過ぎず、本明細書で説明する改良された方法および構成の使用または機能の範囲に関して何ら限定を示唆するものではない。また、計算環境１２０が、動作環境１２０に例示した構成要素の任意の１つ、または任意の組み合わせに関連する何らかの依存性または要件を有していると解釈してはならない。
【００２７】
本明細書の改良された方法および構成は、多数の他の汎用または特殊目的の計算システム環境または計算システム構成で動作する。
【００２８】
図１に示すように、計算環境１２０は、コンピュータ１３０の形態で汎用計算デバイスを含む。コンピュータ１３０の構成要素には、１つまたは複数のプロセッサまたは処理ユニット１３２、システムメモリ１３４、ならびにシステムメモリ１３４からプロセッサ１３２までを含む様々なシステム構成要素を結合するバス１３６が含まれる。
【００２９】
バス１３６は、様々なバスアーキテクチャの任意のものを使用するメモリバスまたはメモリコントローラ、周辺バス、アクセラレーテッドグラフィックスポート（ａｃｃｅｌｅｒａｔｅｄ  ｇｒａｐｈｉｃｓ  ｐｏｒｔ）、およびプロセッサバスまたはローカルバスを含むいくつかのタイプのバス構造の１つまたは複数の任意のものを表わす。例として、限定としてではなく、そのようなアーキテクチャには、インダストリスタンダードアーキテクチャ（Ｉｎｄｕｓｔｒｙ  Ｓｔａｎｄａｒｄ  Ａｒｃｈｉｔｅｃｔｕｒｅ）（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（Ｍｉｃｒｏ  Ｃｈａｎｎｅｌ  Ａｒｃｈｉｔｅｃｔｕｒｅ）（ＭＣＡ）バス、エンハンストＩＳＡ（Ｅｎｈａｎｃｅｄ  ＩＳＡ）（ＥＩＳＡ）バス、ビデオエレクトロニクススタンダーズアソシエーション（Ｖｉｄｅｏ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｓｔａｎｄａｒｄｓ  Ａｓｓｏｃｉａｔｉｏｎ）（ＶＥＳＡ）ローカルバス、およびメザニン（Ｍｅｚｚａｎｉｎｅ）バスとしても知られるペリフェラルコンポーネントインターコネクツ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔｓ）（ＰＣＩ）バスが含まれる。
【００３０】
コンピュータ１３０は、通常、様々なコンピュータ可読媒体を含む。そのような媒体は、コンピュータ１３０によってアクセス可能な任意の利用可能な媒体であることが可能であり、揮発性の媒体と不揮発性の媒体、取外し可能な媒体と取外し不可能な媒体がともに含まれる。
【００３１】
図１において、システムメモリ１３４は、ランダムアクセスメモリ（ＲＡＭ）１４０などの揮発性メモリの形態のコンピュータ可読媒体、および／または読取り専用メモリ（ＲＯＭ）１３８などの不揮発性メモリの形態のコンピュータ可読媒体を含む。始動中など、コンピュータ１３０内部の要素間で情報を転送するのを助ける基本ルーチンを含む基本入力／出力システム（ＢＩＯＳ）１４２が、通常、ＲＯＭ１３８の中に記憶されている。ＲＡＭ１３２は、通常、処理ユニット１３２によって即時にアクセス可能であり、かつ／または現在、処理されているデータおよび／またはプログラムモジュールを含む。
【００３２】
コンピュータ１３０は、その他の取外し可能な／取外し不可能な、揮発性／不揮発性のコンピュータ記憶媒体をさらに含むことが可能である。例えば、図１は、取外し不可能な不揮発性の磁気媒体（図示しておらず、通常、「ハードドライブ」と呼ばれる）に対して読取りおよび書込みを行うためのハードディスクドライブ１４４、取外し可能な不揮発性の磁気ディスク１４８（例えば、「フロッピー（登録商標）ディスク」）に対して読取りおよび書込みを行うための磁気ディスクドライブ１４６、およびＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、またはその他の光媒体などの取外し可能な不揮発性の光ディスク１５２に対して読取りおよび書込みを行うための光ディスクドライブ１５０を示している。ハードディスクドライブ１４４、磁気ディスクドライブ１４６、および光ディスクドライブ１５０はそれぞれ、１つまたは複数のインターフェース１５４でバス１３６に接続される。
【００３３】
以上のドライブ、および関連するコンピュータ可読媒体により、コンピュータ可読命令、データ構造、プログラムモジュール、およびその他のデータの不揮発性のストーレッジが、コンピュータ１３０に提供される。本明細書で説明する例示的な環境は、ハードディスク、取外し可能な磁気ディスク１４８、および取外し可能な光ディスク１５２を使用するが、磁気カセット、フラッシュメモリカード、デジタルビデオディスク、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）などの、コンピュータによってアクセス可能なデータを記憶することができる他のタイプのコンピュータ可読媒体も例示的な動作環境において使用できることが、当分野の技術者には認められよう。
【００３４】
いくつかのプログラムモジュールが、例えば、オペレーティングシステム１５８、１つまたは複数のアプリケーションプログラム１６０、その他のプログラムモジュール１６２、およびプログラムデータ１６４を含め、ハードディスク、磁気ディスク１４８、光ディスク１５２、ＲＯＭ１３８、またはＲＡＭ１４０に記憶されている。
【００３５】
本明細書で説明する改良された方法および構成は、オペレーティングシステム１５８内部で、１つまたは複数のアプリケーションプログラム１６０の内部で、その他のプログラムモジュール１６２内部で、かつ／またはプログラムデータ１６４内部で実施することが可能である。
【００３６】
ユーザは、キーボード１６６やポインティングデバイス１６８（「マウス」などの）などの入力デバイスを介してコマンドおよび情報をコンピュータ１３０に与えることができる。その他の入力デバイス（図示せず）には、マイクロホン、ジョイスティック、ゲームパッド、サテライトディッシュ、シリアルポート、スキャナ、カメラ等が含まれる。
【００３７】
以上の入力デバイス、およびその他の入力デバイスは、バス１３６に結合されたユーザ入力インターフェース１７０を介して処理ユニット１３２に接続されるが、パラレルポート、ゲームポート、またはユニバーサルシリアルバス（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）（ＵＳＢ）などの他のインターフェースおよびバス構造で接続してもよい。
【００３８】
モニタ１７２、またはその他のタイプの表示デバイスも、ビデオアダプタ１７４などのインターフェースを介してバス１３６に接続される。モニタ１７２に加えて、パーソナルコンピュータは、通常、出力周辺インターフェース１７５を介して接続することができるスピーカやプリンタなどの他の出力周辺出力デバイス（図示せず）も含む。
【００３９】
コンピュータ１３０は、遠隔コンピュータ１８２のような１つまたは複数の遠隔コンピュータに対する論理接続を使用するネットワーク化された環境において動作することが可能である。遠隔コンピュータ１８２は、コンピュータ１３０に関連して本明細書で説明した要素および特徴の多く、またはすべてを含むことが可能である。
【００４０】
図１に示した論理接続は、ローカルエリアネットワーク（ＬＡＮ）１７７、および一般的なワイドエリアネットワーク（ＷＡＮ）１７９である。そのようなネットワーキング環境は、オフィス、企業全体のコンピュータ網、イントラネット、およびインターネットで一般的である。
【００４１】
ＬＡＮネットワーキング環境で使用されるとき、コンピュータ１３０は、ネットワークインターフェースまたはネットワークアダプタ１８６を介してローカルネットワーク１７７に接続される。ＷＡＮネットワーキング環境で使用されるとき、コンピュータは、通常、ＷＡＮ１７９を介して通信を確立するためのモデム１７８またはその他の手段を含む。内部にあることも、外部にあることも可能なモデム１７８は、ユーザ入力インターフェース１７０、またはその他の適切な機構を介してシステムバス１３６に接続されることが可能である。
【００４２】
図１では、インターネットを介するＷＡＮの特定の実施形態を描いている。この場合、コンピュータ１３０は、モデム１７８を使用して、インターネット１８０を介して少なくとも１つの遠隔コンピュータ１８２と通信を確立する。
【００４３】
ネットワーク化された環境では、コンピュータ１３０に関連して描いたネットワーク環境、またはプログラムモジュールの部分は、遠隔のメモリ記憶デバイスの中に記憶させてもよい。したがって、例えば、図１に描いたとおり、遠隔のアプリケーションプログラム１８９が、遠隔コンピュータ１８２のメモリデバイス上に常駐することが可能である。図示し、説明するネットワークは例示的なものであり、コンピュータ間で通信リンクを確立する他の手段を使用してもよいことが認められる。
【００４４】
＜改良されたレート／歪み最適化技術＞
以下のセクションでは、イメージデータおよび／またはビデオデータを最初に圧縮／符号化し、伸張／復号化するように構成されたいくつかの例示的な方法および装置を説明するが、提示する技術は、他のタイプのデータの圧縮／符号化、および伸張／復号化を行うように適合させ、使用することも可能であることが、データ圧縮分野の技術者には認識されよう。例えば、いくつかの方法および装置を、オーディオデータ、音声データ等を圧縮／符号化する際に使用するように適合させることが可能である。
【００４５】
さらに、例示的な方法および装置は、コンピュータ内部の論理で構成されることが可能であるが、そのような方法および装置を他のタイプのデバイス、機器等において実施することも可能であることが、当分野の技術者には理解される。本明細書で使用する「論理」という用語は、所望の関数を完全に、または部分的に実現するのに必要とされる可能性があるハードウェア、ファームウェア、ソフトウェア、または以上の任意の組み合わせ、ならびに任意の他のサポートを行うハードウェア、または他の機構を含むことを意図している。
【００４６】
以上のことに留意して、データの処理をサポートするようにある形態の論理で実施することが可能ないくつかの例示的なスキームを提示する。
【００４７】
本発明の実施形態によれば、ビデオおよび／またはイメージ符号化／復号化システムのパフォーマンスを向上させるためのいくつかの新しい技術が提供される。一部の例示的な実施形態では、この技術は、ＪＰＥＧやＪＶＴ（ジョイントビデオチーム（Ｊｏｉｎｔ  Ｖｉｄｅｏ  Ｔｅａｍ））標準（例えば、Ｈ．２６４／ＡＶＣ）などのイメージ／ビデオ符号化標準で使用するのに用いられる。例として、ＪＶＴのケースでは、例えば、動き情報などのビデオのいくつかのパラメータを予測するために使用することができる異なる予測タイプの適応的な選択を可能にするように作用することが可能な構文変更が提供される。
【００４８】
レート歪み最適化（ＲＤＯ）技術は、従来の符号化法と比べて符号化効率を大幅に向上させることができるので、ビデオおよびイメージの符号化／復号化システムにおいて極めて普及している。さらに高い符号化効率を提供することが、引き続き望まれている。以下の説明では、ＲＤＯ技術、または他の同様な技術のパフォーマンスを相当に向上させて、既存のシステムより高い符号化効率を実現することができる方法および装置を説明する。
【００４９】
本発明の実施形態によれば、イメージまたはマクロブロックの特性に応じて適応型の、かつ／または可変サイズのデッドゾーン量子化器を使用することにより、ＲＤＯ技術、または他の同様な技術を、例えば、エッジ検出および／またはテクスチャ検出などのイメージ事前解析概念とさらに組み合わせることが可能である。
【００５０】
また、以下の説明は、例えば、フレームレベルで異なる予測スキームの組み合わせを可能にし、これにより、ビデオ符号化スキームのパフォーマンスをさらに向上させるように実施することができるいくつかのさらなる例示的な構文変更も概説／定義する。例として、いくつかのフレーム、またはシーケンスのいくつかの部分に関して、動きが、空間領域においてよりも、時間領域においてより強く相関している、またはその逆であるということから１つの技術がもたらされる。これは、フレームの事前解析を行うことによって利用することが可能であるが、２つ、または場合により、それより多くの方法を使用して同一のフレームを符号化し、ＲＤＯの見地から、かつ／またはＲＤＯと同様な見地から所望の方法を選択することを介しても利用することができる。次に、所望の方法を、例えば、フレームヘッダ内の結果のデータの中で示して、復号器が、フレームを適切に復号化できるようにすることが可能である。この場合、例えば、１つのそのような例示的な方法には、空間的予測または時間的予測を使用することによるＢフレーム内の直接モードの可能なバリエーション、または空間的に予測された動きベクトルパラメータ、または時間的に予測された動きベクトルパラメータ、またはゼロさえ使用することによるＰフレーム内のスキップモード動きベクトル選択が含まれることが可能である。
【００５１】
＜１つまたは複数の特性（パラメータ）に従ってデータに適応型の、かつ／または可変のデッドゾーン量子化器の適用化＞
イメージデータ圧縮システムにおいて、例えば、ブロックまたはマクロブロックなどのデータの圧縮されるべき部分は、実際には、その他の情報（データ）と比べて、異なる形で（例えば、より高い優先順位で、より高い品質で等）符号化されなければならないより高い重要度の情報を含む可能性がある。これを実行する１つのやり方は、異なる量子化値（ｑｕａｎｔｉｚｅｒ  ｖａｌｕｅ）を使用することである。例えば、いくつかの実施形態において、「より重要な情報」に対してより小さい量子化値を使用し、「それほど重要でない情報」に対して大きい量子化値を使用することが可能である。ただし、そうすることにより、通常、後の伸張／復号化が正常に行われるように、各ブロック、各マクロブロック、グループのマクロブロックに対して使用された各量子化値を明らかにする情報の伝送も必要とされる。残念ながら、そのような追加の情報により、圧縮オーバーヘッド（ｃｏｍｐｒｅｓｓｅｄ  ｏｖｅｒｈｅａｄ）、および符号器の複雑さが増大させられがちである。したがって、圧縮効率を向上させるどころか、実際には、圧縮効率の低下が生じる可能性がある。
【００５２】
図２（ａ）〜（ｄ）は、例示的なイメージ／ビデオ符号化スキームにおいて使用可能なデッドゾーン量子化器を描いた例示的なグラフを示す。図２（ａ）〜（ｄ）のそれぞれで、垂直の（ｙ軸）が量子化された値を表わし、水平の（ｘ軸）が元の値を表わしている。例えば、図２（ａ）で示した例示的なデッドゾーン量子化器２０２は、一様な量子化器より符号化効率を大幅に向上させることができるデッドゾーン量子化器Ａに関連している。従来のデッドゾーン量子化器は、しばしば、量子化プロセスの最後まで一定に、または一様に保たれ、したがって、場合により、データの中のすべての既存の冗長性を完全に活用していない。
【００５３】
データの中のある情報の重要性を考慮し、または別の仕方で考慮に入れ、かつ、例えば、ブロック／マクロブロックごとにデッドゾーン量子化器を適合させる／変更することにより、符号化効率の向上を実現することができる。例えば、各量子化ビン（ｂｉｎ）のカバレッジを適合させ（例えば、ｘ軸に沿って）、ただし、再構成値を変更しないことによって行うことが可能である。例えば、デッドゾーン量子化器２０２を図２のデッドゾーン量子化器２０４、２０６、および２０８（ｂ、ｃ、およびｄ）のそれぞれと比較されたい。この場合、再構成値は、符号化されたデータの全体で一定のままであることが可能である。もちろん、これは、量子化パラメータの変更が指示されない限りでのことである。例えば、ゼロビン（図２（ｃ））を増大させることにより、より多くのデータがゼロビンに割り当てられ、したがって、圧縮スキームに応じて、より高い圧縮比が実現される。再構成値は、変化がないので、復号器上で量子化器の変更を指示する必要性は、明らかに存在しない。これにより、量子化のパフォーマンスが損なわれると論じることは可能であるが、そのようなプロセスが、ある条件が満たされるときに選択的に、例えば、新しい量子化器を使用して実現される圧縮比が、被る歪みより相当に高い場合に行われる場合、この議論は、必ずしも常に真実ではない。
【００５４】
図２（ｂ）で、例えば、デッドゾーン量子化器は、第１の正／負のビンではなく、ゼロビンにだけ影響を与え、すべての他のビンには、変化がなく、使用される再構成値に変化は全くない。デッドゾーンの適応推定を使用する適応スキームも可能である（例えば、レート歪み最適化および適応推定を使用して）。
【００５５】
本発明の実施形態によれば、圧縮／符号化システムにおいて、少なくとも１つの特性またはパラメータに基づいて異なるデッドゾーン量子化器（または量子化値）のなかから選択を行う量子化選択論理が提供される。例えば、この論理は、あるイメージ特性に従って異なるデッドゾーン量子化器２０２、２０４、２０６、および２０８のなかから選択を行うことが可能である。
【００５６】
より詳細には、この論理は、イメージデータ内のテクスチャおよび／またはエッジを「より重要な」情報を表わすものと特徴付け、そのようなデータをより高い品質レベルを提供する形で符号化するように構成される。この論理は、従来のテクスチャ解析／検出アルゴリズムおよびエッジ検出アルゴリズムを使用してそのような判定プロセスをサポートすることができる。
【００５７】
以上の概念に留意して、図３は、本発明の実施形態によるデータに異なる量子化プロセスを選択的に適用するための方法３００を例示する流れ図である。動作３０２で、初期データセットが、データの複数の部分に分割される。例えば、イメージデータまたはビデオデータが、複数のブロック、マクロブロック、スリット、スライス、セクション等に分割されることが可能である。動作３０４で、動作３０２からのデータの複数の部分の少なくとも１つが、例えば、少なくとも１つの特性またはパラメータに基づき、何らかの形で分類される。例えば、この分類は、エッジ特性、テクスチャ特性、平滑性特性、輝度特性、クロミナンス特性、カラー特性、雑音特性、オブジェクト特性、動き特性、ユーザ選好特性、ユーザインターフェースフォーカス特性、階層化特性、タイミング特性、ボリューム特性、周波数特性、ピッチ特性、トーン特性、品質特性、ビットレート特性、データタイプ特性、解像度特性、暗号化特性に基づくことが可能である。
【００５８】
動作３０６では、動作３０４からの分類された部分が、複数の量子化プロセスの少なくとも２つを使用して処理されて、対応する量子化されたデータが生成される。
【００５９】
動作３０８では、動作３０６からの量子化されたデータの１つが、例えば、動作３０４で使用された分類パラメータに関連する少なくとも１つのしきい値または測定値を満たすことに基づいて選択される。
【００６０】
動作３１０では、動作３０８からの量子化されたデータが、後の復号化を可能にする何らかの形で符号化される。
【００６１】
方法３００を使用して、基本的にイメージデータまたはビデオデータの部分を解析して、ある部分を他の部分よりも重要であると見なす論理が提供される。次に、異なるデッドゾーン量子化器が、そのより重要なデータ部分に適用され、結果の量子化されたデータが解析されて、どのデッドゾーン量子化器がそのより重要なデータに関する所望のしきい値要件を満たすかが判定される。例えば、品質しきい値要件または雑音しきい値要件を実施することが可能である。
【００６２】
他の例として、ビデオシーケンスにおいて、エッジが、しばしば、動き補償技術において重要な役割をする。例えば、以下、図７に描いたブロック図に基づいて詳細に説明する。基本的に、イメージ（フレーム）、またはイメージ（フレーム）の部分に対してイメージ解析を行うことが可能であり、その解析に従って、複数のデッドゾーン量子化器のどの１つが、例えば、レート歪み最適化（ＲＤＯ）基準に従って使用するのに最適であるかを判定することができる。
【００６３】
図４を参照すると、論理４００が、本発明の実施形態によるオンザフライ（ｏｎ−ｔｈｅ−ｆｌｙ）判定プロセスを示している。この場合、入力フレーム／イメージ（または入力フレーム／イメージの部分）が、ブロック４０２でイメージ解析を受ける。この例では、イメージ解析は、エッジ検出および／またはテクスチャ解析機能を含み、その出力が、デッドゾーン判定ブロック４０４に提供される。次に、デッドゾーン判定ブロック４０４により、符号器４０６が、入力フレーム／イメージ（または入力フレーム／イメージの部分）を符号化する際、指定された、または別の仕方で選択されたデッドゾーン量子化器を使用するようにさせられる。
【００６４】
デッドゾーン量子化器に関するオンザフライの判定を行う代わりに、図５の論理５００は、複数のデッドゾーン量子化器が使用され、あるしきい値基準に従ってＲＤＯ判定が行われる方法３００をサポートするように構成されることが可能である。この場合、入力マクロブロック（ＭＢ）／イメージ５０２（またはその他の同様な部分）が、（選択的に）異なるデッドゾーン符号化ブロック５０４、５０６、５０８、および／または５１０に提供され、以上の様々なデッドゾーン符号化ブロックからの出力が、ＲＤＯ判定ブロック５１２で解析され、選択された符号化されたデータが出力される。この例で示すとおり、デッドゾーン符号化ブロック／プロセスのいくつか、またはすべてが、並列に行われることが可能である。その他の実施形態では、そのようなプロセスが、順次に行われるようにタイミング設定されることが可能である。
【００６５】
図６（ａ）および図６（ｂ）は、選択的な記録判定プロセスが使用される論理を示す。図６（ａ）で、例えば、入力ＭＢ／イメージ５０２が、デッドゾーン符号化ブロック６０２および６０４に提供される。記録判定ブロック６０６は、デッドゾーン符号化ブロック６０２からの出力を考慮し、デッドゾーン符号化ブロック６０２および６０４の出力の間の選択６０８に影響を与える。また、記録判定ブロック６０６は、デッドゾーン符号化ブロック６０４を選択的に開始することもできる。図６（ｂ）で、論理６１０は、論理６００と同様であるが、選択６０８が記録判定ブロック６０６に関連付けられるのではなく、デッドゾーン符号化ブロック６０２および６０４からの出力を解析し、どれを出力するかを決めるように構成されたＲＤＯ判定ブロック６１２を含む。
【００６６】
図６（ａ，ｂ）の記録判定ブロック６０６は、様々な基準に基づいて判定を行うように構成されることが可能である。例えば、いくつかの実施形態では、品質限度、レート限度、および／またはその他のＲＤＯ概念／しきい値が考慮されることが可能である。
【００６７】
また、例えば、レート／品質が特定のしきい値を超えているなどの、いくつかの事前に定義された条件が満たされた場合にだけ、さらなるデッドゾーン量子化器を使用することも可能である。いくつかの例示的な実験では、元のデッドゾーン量子化器よりもおよそ３０％大きいデッドゾーンを有するデッドゾーン量子化器が、うまくに選択された。ＡＣ周波数またはエッジタイプなどのイメージ特性による他の可能な適応型のデッドゾーン量子化器も使用することが可能である。
【００６８】
図７において、例示的な符号化論理７００は、初期イメージ７０２（または初期イメージ７０２の部分）が、どのようにイメージ解析プロセス７０４に従って処理されて、この例では、エッジ検出データ７０６が生成されるかを例示的に提示している。エッジ検出データ７０６は、次に、ブロック分類プロセス７０８に提供されてブロック分類されたデータ７１０が生成される。ブロック分類されたデータ７１０は、次に、初期データ７０２とともに、イメージ符号化プロセス７１２に提供され、プロセス７１２は、符号化されたイメージ７１４を生成する。これは、イメージに関する簡単な符号化プロセスの一例である。この場合、イメージは、解析され（例えば、エッジ検出アルゴリズムを使用して）、ブロックが、その情報に従って分類される。基本的に、マクロブロックで、位置（ｉ，ｊ）で割り当てられた量子化器（ＱＰ）に、後に適切なデッドゾーン（ＤＺ）を割り当てるＮ−アレイのマトリックス（ＤＺｐ）が定義される（Ｎは、定義されるデッドゾーンの数に依存する）。
【００６９】
＜非残余モードの考察（例えば、Ｂフレーム直接モードに関する）＞
以上の説明は、静止イメージを主に中心的に扱っているように思われる可能性があるが、同じ概念をビデオにも容易に適用することが可能である。例えば、ビデオ圧縮においても同様に、イメージ事前解析およびデッドゾーン量子化器をかなり単純な仕方で使用することができる。
【００７０】
極めて興味深く思われ、前述した概念が相当に有益となることが可能なケースが、Ｂフレーム内における直接モードの使用である。直接モードは、基本的に、動きパラメータの伝送を全く必要としない特別モードである。というのは、動きパラメータは、空間的予測または時間的予測を介して直接に予測することができるからである。直接モードに関するさらなる情報を見ることができる（米国仮特許出願第６０／３８５，９６５号明細書）。
【００７１】
伝送されるべき残余が全く存在しない場合、本発明のいくつかのさらなる態様による、本明細書で非残余直接モードと呼ぶ特別モードの使用によってさらに効率を向上させることが可能である。以下に説明するとおり、非残余直接モードは、ランレングス符号化（ＲＬＣ）戦略を活用するように構成されることが可能である。この場合、例えば、被る歪みが十分に小さく、ＲＬＣのより高い効率に起因するビットレートの低下が十分に大きい場合、デッドゾーン量子化器が、所望の解決策を提供することが可能である。基本的な考え方は、ある条件下で、直接モードが、残余が存在していても、残余なしに符号化されるようにする、または別の形でそれを強制することである。例えば、図９に示した、すべての他の利用可能なモードとの比較で、非残余直接モードもＲＤＯプロセス中に検討される図５と同様の概念に基づくスキームを実施することが可能である。いくつかの場合では、そのようなスキームのパフォーマンスは、使用されるＲＤＯがそのようなケースに対して不十分であるため、予期されるほど良好ではない可能性がある。ブロッキングアーチファクト（ｂｌｏｃｋｉｎｇ  ａｒｔｉｆａｃｔ）を除去するのに使用されるループ内フィルタ（図示せず）などの量子化値に依存するその他のプロセスも影響を受ける。より具体的には、パフォーマンスは、低い方のビットレートで良好であるように見えるが、高い方のビットレートで相当に低下する可能性がある。すなわち、そのパフォーマンスは、より大きい量子化器を使用し、非残余直接モードを考慮しないことによるパフォーマンスにさえ劣る可能性がある。
【００７２】
イメージの例で行われたのと同様に、本発明のいくつかの態様によれば、論理は、いくつかの事前に定義された条件が満たされた場合にだけ、詳細には、直接モードに関連する残余が多くない場合にだけ、直接モードを考慮するように構成されることが可能である。論理は、例えば、直接モードの符号化されたブロックパターン（ＣＢＰ）を検査することによる残余の量の推定を条件として使用するように構成されることが可能である。ＣＢＰが、クロミナンス情報を考慮せずに、特定のしきい値を下回る場合、これは、残余がそれほど多くなく、スキップしても被る歪みはそれほど大きくない可能性があることを意味するものと見なすことが可能である。さらに、エッジやテクスチャが存在しないことなどのその他のイメージ特性も、そのようなビデオ符号化プロセス／論理の中で使用することが可能である。
【００７３】
本発明の実施形態では、論理は、すべての輝度残余をそのままに保ちながら、クロミナンス残余だけを除去することが可能であるかどうかを調べることにより、以上のことをさらに拡張することが可能である。また、この概念をマクロブロックに対するすべての可能なモードに拡張すること、つまり、そのモードに関して残余を全く送らない、またはクロミナンスを送らないことにより、より高いパフォーマンスがもたらされるかどうかを調べることも可能である。ただし、明らかに、これにより、符号化の複雑さがさらに増す可能性がある。
【００７４】
図９を参照すると、論理９００が、どのように入力ＭＢ／イメージ９０２が異なる直接モード（Ｂフレーム）符号化プロセスブロック、またはコピーモード（フレーム間）符号化プロセスブロック９０２、９０４、９０６、および９０８に提供され、またどのように以上のプロセスブロックからの出力が、適切な出力を選択するフレームベースのＲＤＯ判定ブロック９１０に提供されるかを示している。
【００７５】
図１０に関して、論理１０００は、スキーム判定ブロック１００２および選択１００４が、ユーザ入力、アプリケーション、システム要件等に依存して、どのように追加の選択可能性を提供するように含まれることが可能であるかをさらに示している。この場合、スキーム判定ブロック１００２は、入力ＭＢ／イメージを１つまたは複数の直接モード（Ｂフレーム）符号化プロセスブロック、またはコピーモード（フレーム間）符号化プロセスブロック９０２、９０４、９０６、および９０８に選択的に提供する。選択１００４は、スキーム判定ブロック１００２、またはその他のプロセス／論理／入力によって制御されることが可能である。
【００７６】
＜Ｂフレームに対するラグランジュ乗数の例示的な使用＞
ＲＤＯ技術は、しばしば、ラグランジュ乗数の概念に基づいている。例えば、歪みとビットレートを併せて最小限に抑える特定のモードが選択されることが可能である。
【００７７】
そのような関数は、
Ｊ（Ｍｏｄｅ｜ＱＰ，λ）＝ＳＳＤ（Ｍｏｄｅ｜ＱＰ）＋λ・Ｒ（Ｍｏｄｅ｜ＱＰ）の最小化として表わすことができ、ただし、ＱＰは、マクロブロック量子化器であり、λは、モード判定関するラグランジュ乗数であり、またＭｏｄｅは、ＲＤＯプロセス中に検討され、場合により、選択されるマクロブロックモードを示す。
【００７８】
例として、いくつかの実施形態では、ラグランジュ乗数λは、以下のとおり、フレーム間、またはフレーム内に対して選択することが可能であり、
【００７９】
【数式１】
2004254274.tif 000003
【００８０】
または
【００８１】
【数式２】
2004254274.tif 000004
【００８２】
一方、Ｂフレーム内では、ＪＶＴなどのほとんどのコーデックにおいて、λＢ＝４×λｉ，Ｐであるように選択される。
【００８３】
λのさらなる重み付けは、より低いオーバーヘッドのモードに選好するために行った。というのは、特にＢフレームに関して、モードは、伝送される複数の動き情報に起因する大きいオーバーヘッドを有する可能性がある一方で、直接モードなどのより低いオーバーヘッドモードは、それでも、ＲＤＯの見地から、非常に良好なパフォーマンスを提供することが可能であるからである。
【００８４】
ただし、本発明によるいくつかの実験に基づき、重み付けは、前述したように一定であってはならず、やはり、量子化ＱＰ値に依存すべきことが分かっている。
【００８５】
詳細には、λＢ＝ｆ（ＱＰ）×λｉ，Ｐと定義した場合、以上の実験から、固定のｆ（ＱＰ）＝４のケースよりはるかに良好な圧縮効率で使用することが可能な２つのｆ（ＱＰ）関数は、以下のとおりである。
【００８６】
【数式３】
2004254274.tif 000005
【００８７】
および
【００８８】
【数式４】
2004254274.tif 000006
【００８９】
また、以上の所見は、非常に高いλを有することにより、例えば、動き予測の精度などの、他の重要な情報の精度にも影響が及ぶ可能性があり、したがって、周囲のマクロブロックの符号化にも悪影響が与えられる可能性があることからももたらされる。
【００９０】
＜予測依存ＭＢモードの適応タイプ選択の使用＞
同時係属の米国特許出願に記載したとおり、シーケンスおよびフレームは、異なるタイプの主要な動き相関を有することが可能である（米国仮特許出願第６０／３８５，９６５号明細書，米国仮特許出願第６０／３７６，００５号明細書，米国特許出願第１０／１８６，２８４号明細書）。
【００９１】
詳細には、静止した背景における一定の速度を有する小さいオブジェクトの場合、時間的に隣接するフレーム（時間領域）からの動きベクトル（ＭＶ）の使用により、より良好な予測を行い、より高いパフォーマンスをもたらすことができるようになる。平滑な動きを有するより大きいオブジェクトは、代わりに、空間領域（隣接するマクロブロック）の中でより高い相関を有することが可能であり、他方、その他のケースでは、空間領域と時間領域の両方からの情報が、予測のために重要である可能性がある。このタイプの相関は、例えば、ＢフレームおよびＰフレームの中で直接モードにおいて、またＰフレームの中で動きベクトル予測子のスキップ（Ｓｋｉｐ  ｏｎ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ  Ｐｒｅｄｉｃｔｏｒ）においてある程度、利用される。Ｐフレームの中の動きベクトル予測子のスキップに関するさらなる情報を参照されたい（例えば、非特許文献２参照）。したがって、論理が、どのタイプの予測が異なるフレームにおいて優勢であるかを何らかの仕方で示す場合、大幅に向上したパフォーマンスを実現することが可能である。
【００９２】
したがって、本発明の実施形態によれば、符号化論理は、フレーム、スライス、または何らかの他の同様なレベルにおいて、予測依存モードに関するどの予測スキームが使用されるべきかを何らかの仕方で示す、または特定するように構成される。ＪＴＶにおける例として、これを実現するための１つの例示的な構文を図８のチャート８００に提示している。この構文は、もちろん、他の符号化設計において変更されること／異なることも可能である。
【００９３】
チャート８００における例示的な構文に関して、Ｐフレームスキップモードに対して、三つ（３）の可能な予測ケースが許されている。この例では、動きコピー予測モード、時間的予測スキップモード、およびゼロスキップモードである。以上のケースのそれぞれに、この例では、ｕ（２）＝２ビットである固定サイズのコードワードを使用して符号化されることが可能な、あるいはエントロピー符号化される（例えば、ＵＶＬＣまたはＣＡＢＡＣを使用するｅ（ｖ））ことさえある｛０，１，２｝の範囲の値が割り当てられる。そのような情報を伝送する他の手立ても使用できることが、当分野の技術者には認められよう。チャート８００では、ＪＴＶにおけるピクチャ層ＲＢＳＰ構文に、Ｂフレームに関する適応型の空間的／空間−時間的考慮（ｄｉｒｅｃｔ＿ｍｖ＿ｓｐａｔｉａｌ）、およびフレーム間における適応型コピー／動きコピースキップモード（ｃｏｐｙ＿ｍｖ＿ｓｐａｔｉａｌ）を加えて示している。以上２つのモードだけが使用される場合、定義された記述子は、１ビットだけをとり、したがって、ｕ（ｎ＝１）であることが可能であるが、より多くのケースが使用される場合（ゼロのバイアスを有する空間的予測、または静止の時間的予測の考慮）、より多くのビットが割り当てられる（ｎ＞１）ことが可能であり、あるいはｅ（ｖ）で定義されるそのパラメータに関するエントロピー符号化を使用することさえ可能である。
【００９４】
Ｂフレームに関して、この例では、すべての直接モード動きパラメータに関して１つのモードとして空間的動きベクトル予測を使用することが可能である。例えば、同時係属の米国仮特許出願に記載したその他の直接モードも、考慮する／含めることが可能である（例えば、米国仮特許出願第６０／３８５，９６５号明細書）。符号化論理は、フレームレベルまたはスライスレベルでどの予測モードを使用すべきかを示すように構成される。この選択は、例えば、ＲＤＯベースのスキーム（例えば、図９）を使用して行われることが可能である。いくつかの実施形態では、符号化論理は、符号器および／または復号器に課せられた特定の要件に明示的に起因する特定のモードを使用することも可能である。１つの特定の例では、空間的予測が、通常、計算上、より簡単で（例えば、動きベクトルの分割、記憶を全く必要とせず、タイミング情報に対して独立である）あることを考慮して、一部の適用例に関して選好されることが可能である（例えば、図１０参照）。
【００９５】
そのような問題が懸案ではないその他の実施形態では、組み合わせにより、さらなる向上した符号化パフォーマンスがもたらされることが可能である。符号化されたシーケンスの一例を図１１の例示的な図に示している。この場合、ＰフレームおよびＢフレームが、シーン変化に沿って示されている。矢印で示されるとおり、異なる仕方で指示されるＰフレームおよびＢフレームが、対応するスキップモード、または直接モードのマクロブロックに関して示されている。また、この指示は、符号化論理が、動きベクトル符号化に関する動きベクトル予測、またはその他のモードの予測（例えば、同時係属の米国特許出願に記載の直接Ｐ（米国仮特許出願第６０／３７６，００５号明細書，米国特許出願第１０／１８６，２８４号明細書））をどのように行うべきかについての指示であることが可能である。
【００９６】
図１１に示すとおり、異なるフレームは、対応する直接（Ｂ）モードおよびスキップ（Ｐ）モードに関する異なるタイプの予測を指示する。例えば、ＰＺ、ＰＴ、およびＰＭが、ゼロ予測、時間的予測、および空間的（動き−コピー）予測を定義し、またＢＴおよびＢＳＰが、直接モードに関する時間的予測および空間的予測を定義する。
【００９７】
＜静止の時間的ブロック／空間的ブロックの考慮を伴うタイムスタンプ独立の直接モード＞
特にＢフレームの中の直接モードに関して異なるタイプの予測が、異なるタイプの動きおよびシーケンスに対してより適切である可能性がある。時間的予測または空間的予測だけを使用することにより、一部のケースで、許容可能なパフォーマンスが提供されるが、他のケースでは、パフォーマンスは、大幅に劣る可能性がある。前のセクションで、または同時係属の米国仮特許出願で提示したケースに関して記載した解決策が、さらにより高いパフォーマンスを提供する可能性がある（米国仮特許出願第６０／３８５，９６５号明細書）。
【００９８】
例として、分割を必要としないことで空間的予測子を単純に保つ傾向にありながら、極めて効率的であるように思われ、時間的予測子と空間的予測子の両方のパフォーマンスを組み合わせ、かつ／またはタイミング独立である１つのさらなるケースを提示する。
【００９９】
いくつかの実施形態では、空間的予測が、時間的予測よりも役立つ（例えば、特性に起因して）可能性がある。したがって、例えば、空間的予測が、直接モードの主な予測として使用される。時間的予測子からの動き情報および基準フレームがゼロであるとき、１つの例外がもたらされる可能性がある。そのような場合、直接モードの対応するブロックに関する動き情報、および基準フレームも、ゼロと見なされる。さらに、空間的予測は、空間的にゼロバイアスである度合い、および／または静止下位区分（ｓｔａｔｉｏｎａｒｙ  ｓｕｂｐａｒｔｉｔｉｏｎ）も考慮することによって精度が高められる。したがって、現在、予測されているブロックに隣接するマクロブロックまたはブロックの任意のもの、またはいくつかが、ゼロの動き（またはゼロに非常に近い（例えば、整数動きベクトルがゼロである））、および基準リファレンスを有する場合、そのマクロブロック全体、またはそのマクロブロックの一部も、ゼロの動きを有するものと見なされる。以上の概念はともに、静止の背景を保護するのに役立ち、静止の背景は、特に動くオブジェクトのエッジで、以上のような条件が導入されない場合、歪みが極めて大きくなる可能性がある。
【０１００】
図１２は、１６×１６のマクロブロックのケースに関して単純化した流れ図１２００を示す。直接モードに関して空間的予測を使用する以上の概念は、より小さいブロック（例えば、８×８または４×４）（またはより大きいブロック、またはその他の形状の部分）にも拡張することが可能であることに留意されたい。動作１２０２で、空間的予測子ＭＶａ、ＭＶｂ、およびＭＶｃ、ならびに時間的予測子ＭＶｔが、動作１２０４に提供され、ＭＶＤｉｒｅｃｔが、中央値（ＭＶａ，ＭＶｂ，ＭＶｃ）に設定される。動作１２０６で、ＭＶＤｉｒｅｃｔがゼロに設定される動作１２０８か、またはさらなる判定のための動作１２１０に進むＭＶｔに基づく判定が行われる。動作１２１０の結果として、ＭＶＤｉｒｅｃｔは、動作１２０８でゼロに設定されて、または変更されずに出力される。
【０１０１】
以上の説明では、イメージ、ビデオシーケンス、またはその他のタイプのデータの符号化に関するレート歪み最適化に関連するいくつかの概念を提示した。
【０１０２】
例えば、本発明の方法では、複数の異なる量子化関数を使用してデータの少なくとも一部分を処理して、データの複数の対応する量子化された部分を生成すること、および少なくとも１つのしきい値に基づいてデータの量子化された部分の１つを選択的に出力することを含む。また、本発明の方法では、初期データを複数の部分に分割すること、および少なくとも１つの分類特性に基づいてデータのその部分を分類することも含むことが可能である。この場合、例えば、分類特性に関連するしきい値が存在することが可能である。
【０１０３】
特に、イメージの先頭で指示されることが可能な、ＰフレームおよびＢフレームのそれぞれの中のスキップモードおよび直接モードなどのケースに関して、いくつかの代替の予測ケースを許容することにより、大幅に高い圧縮効率を可能にするビデオシーケンス内で採用されることが可能な追加の構文を提示した。静止の時間的予測子とともに空間的動きベクトル予測を考慮するＢフレームに関する高い効率のタイムスタンプ独立の直接モードを提示した。前述した方法および装置のすべて、または部分を実施して、様々なイメージ／ビデオ／データ符号化システムのパフォーマンスを相当に向上させることが可能である。
【０１０４】
本発明の様々な方法および装置のいくつかの好ましい実施形態を添付の図面で例示し、以上の詳細な説明で説明してきたが、本発明は、開示した例示的な実施形態に限定されず、本発明の趣旨を逸脱することなく、多数の再構成、変更、および代替が可能であることが理解されよう。
【産業上の利用可能性】
【０１０５】
本発明は、イメージデータ、ビデオデータ、および／またはオーディオデータを含む様々な形態のデータを、圧縮／暗号化する際、伸張／復号化する際、および／または別の形で処理する際に使用することが可能な、改良された方法および装置を提供する。
【図面の簡単な説明】
【０１０６】
【図１】本発明のいくつかの実施形態で使用するのに適した例示的なデバイスをコンピュータの形態で描いたブロック図である。
【図２ａ】本発明のいくつかの実施形態による例示的な選択可能なデッドゾーン量子化器を描いたグラフである。
【図２ｂ】本発明のいくつかの実施形態による例示的な選択可能なデッドゾーン量子化器を描いたグラフである。
【図２ｃ】本発明のいくつかの実施形態による例示的な選択可能なデッドゾーン量子化器を描いたグラフである。
【図２ｄ】本発明のいくつかの実施形態による例示的な選択可能なデッドゾーン量子化器を描いたグラフである。
【図３】本発明のいくつかの実施形態による異なる量子化プロセスをデータに選択的に適用するための例示的な方法を示す流れ図である。
【図４】本発明のいくつかの実施形態による異なる量子化プロセスをデータに選択的に適用するための例示的な論理を描いたブロック図である。
【図５】本発明のいくつかのさらなる実施形態による異なる量子化プロセスをデータに選択的に適用するための例示的な論理を描いたブロック図である。
【図６ａ】本発明のさらに別の実施形態による異なる量子化プロセスをデータに選択的に適用するための例示的な論理を描いたブロック図である。
【図６ｂ】本発明のさらに別の実施形態による異なる量子化プロセスをデータに選択的に適用するための例示的な論理を描いたブロック図である。
【図７】本発明のいくつかの実施形態による異なる量子化プロセスをイメージデータに選択的に適用するための例示的な論理を図示したブロック図である。
【図８】本発明のいくつかの実施形態による動きベクトルに関する異なる予測方法を選択的に適用するための論理で使用する例示的な構文情報をリストしたチャートである。
【図９】本発明のいくつかの実施形態による異なる符号化スキームをビデオデータに選択的に適用するための例示的な論理を描いたブロック図である。
【図１０】本発明のいくつかのさらなる実施形態による異なる符号化スキームをビデオデータに選択的に適用するための例示的な論理を描いたブロック図である。
【図１１】本発明のいくつかの実施形態による選択的に適用された符号化スキームを使用するビデオシーケンスのいくつかの特徴を描いた図である。
【図１２】本発明のいくつかの実施形態による直接モードのビデオシーケンスに関する空間的−時間的予測のための例示的な方法を描いた流れ図である。
【符号の説明】
【０１０７】
１２０  計算環境
１３０  コンピュータ
１３２  処理ユニット
１３４  システムメモリ
１３６  バス
１３８  読取り専用メモリ
１４０  ランダムアクセスメモリ
１４２  基本入力／出力システム
１４４  ハードディスクドライブ
１４６  磁気ディスクドライブ
１４８  磁気ディスク
１５０  光ディスクドライブ
１５２  光ディスク
１５４  データ媒体インターフェース
１５８  オペレーティングシステム
１６０  アプリケーションプログラム
１６２  プログラムモジュール
１６４  プログラムデータ
１６６  キーボード
１６８  ポインティングデバイス
１７０  ユーザ入力インターフェース
１７２  モニタ
１７４  ビデオアダプタ
１７５  出力周辺インターフェース
１７８  モデム
１７９  ワイドエリアネットワーク
１８０  インターネット
１８６  ネットワーク
１８９  アプリケーション
９７７  ローカルエリアネットワーク
【図１】
2004254274.tif 000011
【図２ａ】
2004254274.tif 000012
【図２ｂ】
2004254274.tif 000013
【図２ｃ】
2004254274.tif 000014
【図２ｄ】
2004254274.tif 000015
【図３】
2004254274.tif 000016
【図４】
2004254274.tif 000017
【図５】
2004254274.tif 000018
【図６ａ】
2004254274.tif 000019
【図６ｂ】
2004254274.tif 000020
【図７】
2004254274.tif 000021
【図８】
2004254274.tif 000022
【図９】
2004254274.tif 000023
【図１０】
2004254274.tif 000024
【図１１】
2004254274.tif 000025
【図１２】
2004254274.tif 000026
【外国語明細書】
2004254274.tif 000027
2004254274.tif 000028
2004254274.tif 000029
2004254274.tif 000030
2004254274.tif 000031
2004254274.tif 000032
2004254274.tif 000033
2004254274.tif 000034
2004254274.tif 000035
2004254274.tif 000036
2004254274.tif 000037
2004254274.tif 000038
2004254274.tif 000039
2004254274.tif 000040
2004254274.tif 000041
2004254274.tif 000042
2004254274.tif 000043
2004254274.tif 000044
2004254274.tif 000045
2004254274.tif 000046
2004254274.tif 000047
2004254274.tif 000048
2004254274.tif 000049
2004254274.tif 000050
2004254274.tif 000051
2004254274.tif 000052
2004254274.tif 000053
2004254274.tif 000054
2004254274.tif 000055
2004254274.tif 000056
2004254274.tif 000057
2004254274.tif 000058
2004254274.tif 000059
2004254274.tif 000060
2004254274.tif 000061
2004254274.tif 000062
2004254274.tif 000063
2004254274.tif 000064
2004254274.tif 000065
2004254274.tif 000066
2004254274.tif 000067
2004254274.tif 000068
2004254274.tif 000069
2004254274.tif 000070
2004254274.tif 000071
2004254274.tif 000072
2004254274.tif 000073
2004254274.tif 000074
2004254274.tif 000075
2004254274.tif 000076
2004254274.tif 000077
2004254274.tif 000078
2004254274.tif 000079
2004254274.tif 000080
2004254274.tif 000081
2004254274.tif 000082
2004254274.tif 000083
2004254274.tif 000084
2004254274.tif 000085
2004254274.tif 000086
2004254274.tif 000087
2004254274.tif 000088
2004254274.tif 000089
2004254274.tif 000090
2004254274.tif 000091
2004254274.tif 000092