(57)【要約】      （修正有）【課題】ビデオコンテンツの知覚特性に基づいて変換係数のシグナリングを変更する方法を提供する。【解決手段】映像を復号化する方法であって、映像は、符号化されるとともにビットストリームにおけるブロックによって表され、各ブロックについて、ビットストリームから、ブロックに関連した動きを求めるステップと、モデルを用いて、ビットストリームから復号化される量子化された変換係数のサブセットを示すインデックスに動きをマッピングするステップと、サブセット内にない量子化された変換係数に値を割り当てて再挿入するステップと、を含む。各ステップは、復号化器において実行される。【選択図】図３
2015091126.tif 000002
【特許請求の範囲】
【請求項１】
映像を復号化する方法であって、前記映像は、符号化されるとともにビットストリームにおけるブロックによって表され、該方法は、前記各ブロックについて、
前記ビットストリームから、前記ブロックに関連した動きを求めるステップと、
モデルを用いて、前記ビットストリームから復号化される量子化された変換係数のサブセットを示すインデックスに前記動きをマッピングするステップと、
前記サブセット内にない前記量子化された変換係数に値を割り当てて再挿入するステップと、
を含み、前記ステップは、復号化器において実行される、映像を復号化する方法。
【請求項２】
前記動きは、水平速度及び垂直速度を含み、前記モデルは、前記水平速度及び前記垂直速度を用いて、空間周波数閾値を求め、前記マッピングするステップは、対応する空間周波数が前記空間周波数閾値以下である前記量子化された変換係数の前記サブセットを識別するインデックスを求める、請求項１に記載の方法。
【請求項３】
以前に再構成されたブロックの動き及び空間特性を前記インデックスにマッピングするモデルを更に含む、請求項１に記載の方法。
【請求項４】
前記割り当てて再挿入するステップは、逆量子化の後に実行される、請求項１に記載の方法。
【請求項５】
変更済みの逆変換が、前記量子化された変換係数のサブセットに対して操作を行う、請求項１に記載の方法。
【請求項６】
前記値は全てゼロに等しい、請求項１に記載の方法。
【請求項７】
前記値は、前記ブロックの空間周波数コンテンツと、隣接する、以前に再構成されたブロックの空間周波数コンテンツとの差分を最小化する、請求項１に記載の方法。
【請求項８】
前記動きは、以前に再構成されたブロックの前記水平速度及び前記垂直速度を含み、前記モデルは、前記ブロックの前記速度及び以前に再構成されたブロックの前記速度を用いて、前記空間周波数閾値を求める、請求項２に記載の方法。
【請求項９】
前記動きは、前記ブロック内の前記動きと、１つ又は複数の隣接する、以前に再構成されたブロックの前記動きとの差分である、請求項８に記載の方法。
【請求項１０】
動き閾値を求めるステップと、
前記求められた動きが前記閾値未満であるときにもたられる前記インデックスに関連した前記係数を前記サブセットに含めるステップと、
を更に含む、請求項１に記載の方法。
【請求項１１】
前記モデルは視知覚モデルである、請求項１に記載の方法。
【請求項１２】
前記ビットストリームから、前記ブロックに関連した動きベクトルを復号化するステップと、
前記ビットストリームから追加の動き情報を復号化するステップと、
前記モデルを用いて、前記復号化された動きベクトル及び前記追加の動き情報を、前記サブセットを示す前記インデックスにマッピングするステップと、
前記サブセット内にない前記量子化された変換係数に値を割り当てて再挿入するステップと、
を更に含む、請求項１に記載の方法。
【請求項１３】
前記ブロックは、方向変換を用いて逆変換され、該方向変換の方向は、前記モデルによって求められた動きの方向に対応する、請求項５に記載の方法。
【請求項１４】
前記モデルは、前景物体用のモデルと背景物体用のモデルとを含む、請求項１に記載の方法。
【請求項１５】
イントラコーディングされたブロックに関連した前記動きは、空間的及び時間的に近傍の以前に復号化されたブロックの動きから求められる、請求項１に記載の方法。
【請求項１６】
利用可能なブロック分割モードのセットが前記モデルに基づいて削減される、請求項１に記載の方法。
【請求項１７】
イントラ予測モードのセットが前記モデルに基づいて削減される、請求項１５に記載の方法。
【請求項１８】
前記モデルは、前記動きを、該動きが増大するにつれて減少する空間周波数閾値に関係付け、前記空間周波数閾値よりも高い前記空間周波数を有する前記ブロックのコンテンツは知覚不能であり、該方法は、
前記空間周波数閾値よりも低い空間周波数に関連した前記係数のみを前記ビットストリームにおいてシグナリングするステップ、
を更に含む、請求項１に記載の方法。
【請求項１９】
映像をビットストリームにおけるブロックとして符号化する方法であって、前記各ブロックについて、
前記ブロックに関連した動きを求めるステップと、
モデルを用いて、前記ビットストリームにおいてシグナリングされる量子化された変換係数のサブセットを示すインデックスに前記動きをマッピングするステップと、
前記サブセット内にない前記量子化された変換係数に値を割り当てて再挿入するステップと、
を含み、
前記ステップは、符号化器において実行される、映像をビットストリームにおけるブロックとして符号化する方法。
【請求項２０】
前記ブロックに関連した動きベクトルを求めるステップと、
前記ブロックのコンテンツに基づいて追加の動き情報を求めるステップと、
前記動きベクトル及び前記追加の動き情報をエントロピーコーディングして、前記ビットストリームにおいてシグナリングするステップと、
を更に含む、請求項１９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、包括的には、ビデオコーディングに関し、より詳細には、ビデオコンテンツの知覚特性に基づいて変換係数のシグナリングを変更することに関する。
【背景技術】
【０００２】
ビデオ、画像、マルチメディア、又は他の同様のデータが符号化又は復号化されるとき、通常、それらのデータを量子化することによって圧縮が行われる。以前に再構成されたデータブロックのセットが、現在符号化又は復号化されているブロックを予測するのに用いられる。このセットは、１つ又は複数の以前に再構成されたブロックを含むことができる。予測ブロックと現在符号化されているブロックとの差分は、予測残差ブロックである。復号化器では、この予測残差ブロックが予測ブロックに加えられて、復号化されたブロック又は再構成されたブロックが形成される。
【０００３】
図１は、高効率ビデオコーディング(ＨＥＶＣ)等の従来のビデオ圧縮標準規格による復号化器を示している。通常はメモリバッファーに記憶されている、以前に再構成されたブロック１５０は、動き補償予測プロセス１６０又はイントラ予測プロセス１７０に供給されて、予測ブロック１３２が生成される。復号化器は、ビットストリーム１０１をパースして復号化する(１１０)。動き補償予測プロセスは、ビットストリームから復号化された動き情報１６１を用い、イントラ予測プロセスは、ビットストリームから復号化されたイントラモード情報１７１を用いる。ビットストリームから復号化された、量子化された変換係数１２２は、逆量子化され(１２０)、再構成された変換係数１２１が生成される。これらの変換係数は、次に、逆変換され(１３０)、再構成された予測残差ブロック１３１が生成される。予測ブロック１３２内のピクセルは、再構成された予測残差ブロック１３１内のピクセルに加算され(１４０)、出力ビデオ１０２用の再構成されたブロック１４１が取得され、以前に再構成されたブロック１５０のセットは、メモリバッファーに記憶される。
【０００４】
図２は、ＨＥＶＣ等の従来のビデオ圧縮標準規格による符号化器を示している。ビデオ又は入力ビデオ２０１のブロックが、インターモードにある動き推定及び動き補償予測プロセスに入力される。このプロセス２０５の予測部分は、通常はメモリバッファーに記憶されている、以前に再構成されたブロック２０６を用いて、動きベクトル等の動き情報２０９とともに、現在の入力ビデオブロックに対応する予測ブロック２０８を生成する。
【０００５】
代替的に、イントラモードでは、予測ブロックは、イントラ予測プロセス２１０が求めることができる。このイントラ予測プロセスは、イントラモード情報２１１も生成する。入力ビデオブロック及び予測ブロックは、差分計算２１４に入力され、この差分計算は、予測残差ブロック２１５を出力する。この予測残差ブロックは、変換されて(２１６)、変換係数２１９を生成し、レート制御２１３を用いて量子化される(２１７)。このレート制御は、量子化された変換係数２１８を生成する。これらの係数は、ビットストリーム２２１においてシグナリングするためにエントロピーコーダー２２０に入力される。追加のモード及び動き情報も、ビットストリームにおいてシグナリングされる。
【０００６】
量子化された変換係数は、逆量子化プロセス２３０及び逆変換プロセス２４０も受け、次に、予測ブロックに加算され(２５０)、再構成されたブロック２４１が生成される。この再構成されたブロックは、その後の予測プロセス及び動き推定プロセスにおける使用に備えてメモリに記憶される。
【０００７】
データの圧縮は、主として量子化プロセスを通じて行われる。通常、レート制御モジュール２１３は、変換係数をどの程度粗く又は細かく量子化するのかを制御する量子化パラメーターを求める。低ビットレート又は小さなファイルサイズを達成するために、変換係数は、より粗く量子化され、その結果、ビットストリームに出力されるビットはより少なくなる。この量子化によって、符号化器に入力されるビデオと比較して、視覚的歪及び数値的歪の双方が復号化されたビデオに導入される。ビットレート及び測定された歪は、通常、コスト関数において結合される。レート制御は、このコスト関数を最小化する、すなわち、所望の歪を達成するのに必要とされるビットレートを最小化する、又は所望のビットレートに関連付けられた歪を最小化するパラメーターを選ぶ。最も一般的な歪メトリックは、平均二乗誤差(ＭＳＥ)又は平均絶対誤差を用いて求められ、通常、ブロックとそれらのブロックを再構成したものとのピクセルごとの差分を取ることによって求められる。
【０００８】
しかしながら、ＭＳＥ等のメトリックは、人間視覚系(ＨＶＳ)が画像又はビデオ内の歪をどのように知覚するのかを常に正確に反映しているとは限らない。入力画像と比較して、同じＭＳＥを有する２つの復号化された画像は、歪が画像に位置する場所に応じて、大幅に異なるレベルの歪を有するようにＨＶＳによって知覚される場合がある。例えば、ＨＶＳは、非常にテクスチャ化されたエリア内に雑音を有するのと比較して、画像の平滑な領域内の雑音により敏感である。その上、ＨＶＣが知覚することができる最も高い空間周波数である視力は、視認者の網膜を横切る物体又はシーンの動きに依存する。正常な視力の場合、分解することができる最も高い空間周波数は、視角の１度当たり３０サイクルである。この値は、網膜上に静止した視覚刺激について計算される。ＨＶＳは、移動する刺激の追跡を可能にして、その刺激を網膜上に静止させ続ける眼球運動のメカニズムを装備している。しかしながら、移動する刺激の速度が増加するにつれて、ＨＶＳの追跡性能は低下する。この結果、最大知覚可能空間周波数は減少する。この最大知覚可能空間周波数は、以下の関数として表すことができる。
【０００９】
【数１】
2015091126.tif 000003
【００１０】
式中、Ｋｍａｘは、静的な刺激(３０サイクル毎度)の最も高い知覚可能周波数であり、ｖＲｘ／ｙは、水平方向又は垂直方向における刺激の速度成分であり、ｖｃは、ケリー(Kelly)のコーナー速度(毎秒２度)である。この関数は、図６に示されている。この図に見て取ることができるように、最大知覚可能周波数の減少は、網膜速度に依存して、大きくなる可能性がある。最大値を超える全ての周波数は、人間によって知覚することはできない。
【００１１】
知覚メトリックを用いて画像及びビデオをコーディングすることに関係した従来技術の方法は、通常、レート制御コスト関数の歪メトリックを、ＨＶＳの挙動に基づいて設計された、知覚的に動機付けられた歪メトリックに置き換えるか又は拡張する。１つの方法は、視覚的注意モデル、弁別閾(ＪＮＤ：丁度可知差)、コントラスト感度関数(ＣＳＦ)、及び皮膚検出を用いて、Ｈ．２６４／ＭＰＥＧ−４パート１０コーデックにおいて量子化パラメーターを選択する方法を変更する。変換係数は、これらの知覚メトリックに部分的に基づいてより粗く又はより細かく量子化される。別の方法は、知覚メトリックを用いて、変換係数を正規化する。知覚コーディングのこれらの既存の方法は、本質的には、レート制御及び係数スケーリングの形態であるので、復号化器及び符号化器は、依然として、ブロックの動きのためにＨＶＳに見えない空間周波数を表す変換係数を含む全ての変換係数をいつでも復号化することが可能でなければならない。このカテゴリーに含まれる係数は、ビットストリーム内のビットを不必要に消費し、復号化されるビデオに品質をほとんど又は全く加えない処理を必要とする。
【発明の概要】
【発明が解決しようとする課題】
【００１２】
したがって、ビデオの知覚品質を加えない係数のシグナリングを除去するとともに、それらの係数を受け取って処理することに関連した追加のソフトウェア又はハードウェアの複雑さを除去する方法が必要とされている。
【課題を解決するための手段】
【００１３】
この発明の実施の形態は、様々な符号化／復号化(コーデック)技法が、視認者に知覚可能でない空間周波数を表す係数を処理及びシグナリングすることが可能でなければならないという認識に基づいている。
【００１４】
この発明は、動きベースの視力モデルを用いて、どの周波数が可視でないのかを判断し、次に、従来のレート制御方法において行われていたように、対応する係数をより粗く量子化することしかしないのではなく、この発明は、それらの係数をシグナリング又は復号化する必要性をなくす。それらの係数を除去することによって、ビットストリームにおいてシグナリングする必要があるデータの量が更に削減され、データを復号化するのに必要とされる処理又はハードウェアの量が削減される。
【図面の簡単な説明】
【００１５】
【図１】従来技術による復号化器の概略図である。
【図２】従来技術による符号化器の概略図である。
【図３】この発明の実施の形態による復号化器の概略図である。
【図４】この発明の実施の形態による視知覚モデル、時空間係数選択器、及び係数再挿入部の概略図である。
【図５】動きを識別するステップ、カットオフインデックスを求めるステップ、及びどの係数をシグナリングするのかを判断するステップの図である。
【図６】従来技術による、空間視覚特性と動き速度との間の関係を示す知覚モデルの説明図である。
【図７】この発明の実施の形態による符号化器の概略図である。
【発明を実施するための形態】
【００１６】
復号化器
図３は、この発明の実施の形態による復号化器の概略図を示している。通常はメモリバッファーに記憶されている、以前に再構成されたブロック１５０は、動き補償予測プロセス１６０又はイントラ予測プロセス１７０に供給されて、予測ブロック１３２が生成される。復号化器は、ビットストリーム１０１をパースして復号化する(１１０)。動き補償予測プロセスは、ビットストリームから復号化された動き情報１６１を用い、イントラ予測プロセスは、ビットストリームから復号化されたイントラモード情報１７１を用いる。
【００１７】
動き情報１６１は、視知覚モデル３１０にも入力される。視知覚モデルは、先ず、ブロックの速度、又はこのブロックによって表される物体の速度を推定する。この「速度」は、動きベクトルによって表すことができるピクセル強度の変化によって特徴付けられる。視力モデル及び速度を組み込んだ公式は、人間視覚系によって検出される可能性の低い空間周波数成分の範囲を識別する。視知覚モデルは、この空間周波数の範囲を求めるときに、近傍の以前に再構成されたブロックのコンテンツも組み込むことができる。視知覚モデルは、次に、この空間周波数の範囲を変換係数インデックスのサブセットにマッピングする。このサブセットの外部にある変換係数は、視知覚モデルに基づく知覚不能な空間周波数を表す。サブセットの境界を表す水平インデックス及び垂直インデックスが、係数カットオフ情報３１２として時空間係数選択器３２０にシグナリングされる。
【００１８】
量子化された変換係数のサブセット３１１が、ビットストリームから復号化され、時空間係数選択器に入力される。係数カットオフ情報が与えられると、時空間係数選択器は、量子化された変換係数のサブセットを、視知覚モデルによって求められた位置に従って配列する。これらの配列済みの選択された係数３２１は、係数再挿入プロセス３３０に入力され、この係数再挿入プロセスは、所定の値、例えばゼロを、カットオフされた、すなわち視知覚モデルによって識別されたサブセットの一部でない、係数に対応する位置に代入する。
【００１９】
係数再挿入後、結果の変更済みの量子化された変換係数３２２が、逆量子化されて(１２０)、再構成された変換係数１２１が生成される。これらの再構成された変換係数は、次に、逆変換されて(１３０)、再構成された予測残差ブロック１３１が生成される。予測ブロック１３２内のピクセルは、再構成された予測残差ブロック１３１内のピクセルに加算されて(１４０)、出力ビデオ１０２用の再構成されたブロック１４１が取得され、以前に再構成されたブロック１５０のセットは、メモリバッファーに記憶される。
【００２０】
知覚モデル及び係数処理
図４は、この発明の実施の形態による、視知覚モデル３１０、時空間係数選択器３２０、及び係数再挿入部３３０の詳細を示している。動き情報１６１は、例えば、水平動き及び垂直動きをそれぞれ表す動きベクトルｍｖｘ及びｍｖｙの形態とすることができる。ブロック又はこのブロックによって表される物体の水平速度は、動きベクトルの関数ｆ(ｍｖｘ)として求められる。同様に、垂直速度は、ｆ(ｍｖｙ)として求められる。水平速度は、視知覚モデルに基づく列カットオフインデックス４１１にマッピングされる(４１０)。
【００２１】
例えば、復号化器は、通常、変換係数のＮ×Ｎブロックを処理する。このブロックは、Ｎ列及びＮ行を有する。列カットオフインデックスがｃｘである場合、視知覚モデルは、列１〜列ｃｘ内の係数によって表される水平周波数が知覚可能であり、列ｃｘ〜列Ｎ内の係数によって表される水平周波数が知覚不能であると判断されている。同様に、垂直速度ｆ(ｍｖｙ)は、行カットオフインデックスｃｙ４２１にマッピングされる(４２０)。これらの列カットオフインデックス及び行カットオフインデックスは、時空間係数選択器３２０にシグナリングされる係数カットオフ情報３１２を含む。
【００２２】
ビットストリームから復号化された、量子化された変換係数のサブセット３１１は、変換された係数の不完全なセットを形成する。なぜならば、行カットオフインデックス又は列カットオフインデックスを越えていた係数は、ビットストリームにおいてシグナリングされていなかったからである。係数カットオフ情報は、量子化された変換係数のサブセットを配列するのに用いられる。これらの選択された係数３２１は、次に、係数再挿入プロセスに入力され、この係数再挿入プロセスは、欠落している係数の値を埋める。通常、ゼロの値がこの代入に用いられる。上記例、及びコーデックによって用いられている変換が離散コサイン変換(ＤＣＴ)に関係している一般的な場合では、選択された係数は、Ｎ×Ｎブロックの左上角に配置することができる係数のｃｘ×ｃｙブロックである。選択された係数によって占有されていない位置は、ゼロの値で満たされる。係数再挿入プロセスの出力は、変更済みの量子化された変換係数３２２のブロックであり、このブロックは、復号化器の残りの部分によって処理される。
【００２３】
図５は、動きを識別するステップ５０１、カットオフインデックスを求めるステップ５０２、及びどの係数をシグナリングするのかを判断するステップ５０３の図である。ステップ１は、ブロック又は物体の動きを識別する。ステップ２は、水平(列)カットオフインデックス及び垂直(行)カットオフインデックスを求める。ステップ３は、シグナリングされる係数を判断する。
【００２４】
上記で説明したように、動きベクトル等の動き情報は、ブロック又はこのブロックによって表される物体の速度５１０を識別するのに用いられる。この速度は、別々の水平速度及び垂直速度によって表すこともできるし、この速度は、図示するような２次元ベクトル又は関数によって表すこともできる。これらの速度は、係数カットオフインデックスにマッピングされる(５２０)。例えば、別々の水平動きモデル及び垂直動きモデルの場合、列カットオフインデックスＴｘ及び行カットオフインデックスＴｙが存在することができる。
【００２５】
図５は、カットオフインデックスを用いて、シグナリングされる係数のサブセットをどのように求めることができるのか、したがって、どの係数がカットオフされるのかをどのように求めることができるのかの２つの例を示している。単純なカットオフの事例５３１の場合、値Ｔｘ及びＴｙが、単純な列インジケーター及び行インジケーターとして用いられる。Ｔｘよりも大きな列インデックス又はＴｙよりも大きな行インデックスを有する係数は、カットオフされる、すなわち、ビットストリームにおいてシグナリングされない。この事例では、ビットストリームにおいてシグナリングされる係数のサブセットは、Ｔｘ×Ｔｙの長方形の係数のブロックである。
【００２６】
係数をカットアウトする別の方法５３２は、２Ｄ関数ｇ(Ｔｘ，Ｔｙ)を用いることができる。この関数は、外部の係数がシグナリングされないブロック上の任意の経路をトレースすることができる。追加の実施の形態は、この関数ｇを、用いられている変換のタイプに関係付けることができる。なぜならば、所与の係数位置によって表される空間周波数成分は、コーデックによって用いられている変換のタイプに依存するからである。
【００２７】
動きベースの知覚モデル、すなわち視力モデルは、水平速度及び垂直速度を別々に考慮することもできるし、同時に考慮することもできる。上記で説明したように、カットオフインデックスは、水平動き及び垂直動きに基づいて別々に求めることもできるし、カットオフインデックスは、水平方向及び垂直方向又は組み合わされた他の測定された動き方向の関数として同時に求めることもできる。分離可能な変換を水平及び垂直に適用するシステムの場合、水平動きモデル及び垂直動きモデル並びにカットオフインデックスも、水平及び垂直の双方に分離可能な形式で適用することができる。したがって、分離可能な変換のハードウェア及びソフトウェアの実施態様からもたらされる複雑さの低減は、この発明の分離可能な用途にも拡張することができる。
【００２８】
符号化器
図７は、この発明の実施の形態による符号化器の概略図を示している。同様にラベル付けされたブロック及び信号は、上記に説明されている。入力ビデオ又は入力ビデオのブロックは、動き推定及び動き補償予測プロセス２０５に入力される。このプロセスの予測部分は、通常はメモリバッファーに記憶されている、以前に再構成されたブロック１５０を用いて、動きベクトル等の動き情報とともに、現在の入力ビデオブロックに対応する予測ブロック２０８を生成する。代替的に、予測ブロックはイントラ予測プロセスによって求めることができる。このイントラ予測プロセスは、イントラモード情報も生成する。入力ビデオブロック及び予測ブロックは、差分計算部２１４に入力され、この差分計算部は予測残差ブロックを出力する。この予測残差ブロックは変換及び量子化され、これによって、量子化された変換係数が生成される。動き情報、及びオプションとして以前に再構成されたブロックデータは、視知覚モデルにも入力され、この視知覚モデルは係数カットオフ情報を求める。このカットオフ情報は、エントロピーコーダーによってビットストリームにシグナリングされることになる量子化された変換係数のサブセットを識別するために時空間係数選択器によって用いられる。追加のモード及び動き情報もビットストリーム２２７においてシグナリングされる。
【００２９】
量子化された変換係数のサブセットは、係数再挿入プロセス３３０も受ける。この係数再挿入プロセスにおいて、サブセットの外部の係数には、所定の値が割り当てられ、その結果、変更済みの量子化された変換係数の完全なセットが得られる。この変更済みのセットは、逆量子化及び逆変換プロセスを受け、その出力は予測ブロックに加算されて、再構成されたブロックが生成される。この再構成されたブロックは、その後の予測プロセス及び動き推定プロセスにおける使用に備えてメモリに記憶される。
【００３０】
追加の実施の形態
好ましい実施の形態は、復号化器において逆量子化の前に、係数選択器及び再挿入プロセスがどのように適用されるのかを記述している。追加の実施の形態では、係数選択器及び再挿入プロセスは、逆量子化と逆変換との間において適用することができる。この場合、どの係数がビットストリームにおいてシグナリングされるのかを量子化器が知るように、係数カットオフ情報も逆量子化器に入力される。同様に、符号化器は、変換プロセスと量子化プロセスとの間(及び逆量子化プロセスと逆変換プロセスとの間)に係数選択器を有することができ、量子化器が係数のどのサブセットを量子化するのかを知るように、係数選択器も量子化器(及び逆量子化器)に入力することができる。
【００３１】
動き情報を速度にマッピングする関数ｆ(ｍｖｘ)及びｆ(ｍｖｙ)は、スケーリング、別のマッピング、又は閾値処理を含むことができる。例えば、これらの関数は、ｍｖｘ及びｍｖｙによって表される動きが所与の閾値未満であるとき、係数がカットオフされないように構成することができる。これらの関数に入力される動き情報は、非線形にスケーリングすることもできるし、この動き情報は、動きと可視周波数との間の、実験的に予め求められた関係に基づいてマッピングすることもできる。予め求められた関係が用いられるとき、復号化器及び符号化器は同じモデルを用い、そのため、追加のサイド情報をシグナリングする必要はない。この実施の形態の更なる精緻化によって、モデルは変化することが可能になり、このとき、追加のサイド情報が必要とされる。
【００３２】
関数ｆ(ｍｖｘ)及びｆ(ｍｖｙ)並びに対応するマッピング及び視知覚モデルは、近傍の以前に復号化されたブロックに関連した動きも組み込むことができる。例えば、ビデオにおけるブロックの大きなクラスターが同様の動きを有するものと仮定する。このクラスターは、大きな移動物体に関連付けることができる。視知覚モデルは、そのような物体が、視認者が追従していない小さな移動物体と比較して、視認者の網膜に対するブロックの速度を減少させ、人間の眼によって追跡される可能性が高いと判断することができる。この場合、係数のブロックからカットアウトされる係数がより少なくなるように、関数ｆ(ｍｖｘ)及びｆ(ｍｖｙ)並びに対応するマッピングをスケーリングすることができる。逆に、現在のブロックが、近傍のブロックと比較して、かなりの量の動き又は動きの方向を有する場合、視知覚モデルは、周囲の動きに起因して追跡が困難であるブロックでは歪が知覚される可能性がより低いという仮定の下で、カットアウトされる係数の数を増加させることができる。
【００３３】
符号化器は、入力ビデオに対して追加の動き解析を実行して、動き及び知覚可能な動きを求めることができる。この解析の結果、動きベクトル等の既存の情報を用いるコーデックと比較して、カットオフされる係数に変化がある場合、追加の動き解析の結果をビットストリームにおいてシグナリングすることができる。復号化器の視知覚モデル及びマッピングは、動きベクトル等の既存の動き情報とともに、この追加の解析を組み込むことができる。
【００３４】
シグナリングされる係数の数の削減に加えて、別の実施の形態は、他の種類の情報を削減することができる。コーデックが、予測モード又はブロックサイズモード若しくはブロック形状モード等のモードのセットをサポートしている場合、このモードのセットのサイズを視知覚モデルに基づいて削減することができる。例えば、コーデックは、幾つかのブロック分割モードをサポートすることができ、この場合、２Ｎ×２Ｎブロックは、複数の２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ等のサブブロックに分割される。通常、小さなブロックサイズほど、種々の動きベクトル又は予測モードを各サブブロックに適用することを可能にするのに用いられ、その結果、サブブロックがより高い忠実度で再構成される。しかしながら、動きモデルが、２Ｎ×２Ｎブロックに関連した全ての動きが十分に高速であり、そのため、幾つかの空間周波数が知覚可能である可能性が低いと判断した場合、コーデックは、より小さなサブブロックをこのブロックに用いることができないようにすることができる。分割モードの数をこのように限定することによって、コーデックの複雑さ、及びビットストリームにおいてこれらのモードのためにシグナリングする必要があるビットの数を削減することができる。
【００３５】
知覚モデルは、近傍の以前に復号化されたブロックからの空間情報も組み込むことができる。現在のブロックが、当該現在のブロック及び近傍の以前に再構成されたブロックを包含する移動物体又は非移動物体の一部である場合、現在のブロックの視知覚モデル及びマッピングを、以前に再構成されたブロックに用いられたものとより類似のものとすることができる。したがって、複数のブロックを含む移動物体にわたって一貫したモデルが用いられる。
【００３６】
知覚モデル及びマッピングは、ビデオにおける全体的な動きに基づいて変更することができる。例えば、ビデオが、静止シーンを横切るカメラパニングによって取得されたものである場合、この全体的な動きが所与の閾値を超えていない限り、係数をカットアウトしないようにマッピングを変更することができる。この閾値を超えると、パニングは、非常に高速であるとみなされるので、視認者は、シーン内の任意の物体を追跡することができる可能性は低い。これは、シーン間の高速遷移中に起こる場合がある。
【００３７】
この発明は、イントラコーディングされたブロックに対しても動作するように拡張することができる。動きは、近傍の又は以前に復号化されたブロック及び空間的に相関したインターコーディングされたブロックの動きに基づいて、イントラコーディングされたブロックに関連付けることができる。一般的なビデオコーディングシステムでは、イントラコーディングされた映像又はイントラコーディングされたブロックは、周期的にしか生じない場合があり、そのため、ほとんどのブロックは、インターコーディングされている。シーンの変化が検出されない場合、イントラコーディングされたブロックを用いてコーディングされた移動物体の部分は、その物体からの以前に復号化されたイントラコーディングされたブロックと一致した動きを有するものと仮定することができる。係数カットオフプロセスは、以前に復号化された映像における近傍のブロック又は動きが一致したブロックからの動き情報を用いて、イントラコーディングされたブロックに適用することができる。シグナリングされる情報の追加の削減は、例えば、イントラコーディングされたブロックによる使用に利用可能な予測モード又はブロック分割モードの数を削減することによって行うことができる。
【００３８】
変換のタイプは、視知覚モデルに基づいて変更又は選択することができる。例えば、低速の移動物体は、鮮明で細かな細部を再現する変換を用いることができるのに対して、高速の物体は、所与の方向における細部を再現する方向変換等の変換を用いることができる。ブロックの動きが、例えば、ほとんど水平である場合、水平に向いた方向変換を選択することができる。垂直に向いた細部が喪失していることは、視覚モデルによれば知覚不能である。そのような方向変換は、この場合、２Ｄ  ＤＣＴのような従来の２次元分離可能変換と比較して、複雑さをより少なくすることができるとともに、より良好に動作することができる。
【００３９】
背景物体においてカットオフされる係数をより多くするとともに、前景物体においてカットオフされる係数をより少なくするようにマッピングにおける物体をスケーリングすることができるという点で、この発明は、立体(３Ｄ)ビデオとともに機能するように拡張することができる。視認者の注意が前景物体に集中する可能性が高いことから、背景物体の動きが増大すると、背景物体において追加の歪を許容することができる。さらに、前景物体を含むブロック用に１つと、背景物体を含むブロック用にもう１つとの２つの視知覚モデルを用いることができる。
【００４０】
全ての係数がカットアウトされる場合、係数は所与のブロックのビットストリームにおいてシグナリングされない。この場合、係数のブロックを表すことに関連したどのヘッダーも追加の情報もシグナリングしないことによって、ビットストリームにおけるデータを更に削減することができる。代替的に、ビットストリームが、ブロック内の全ての係数がゼロである場合に真にセットされるコーディングブロックパターンフラグ(coded-block-pattern flag)を含む場合、係数がシグナリングされないときに、このフラグをセットすることができる。
【００４１】
シグナリングされる係数のサブセットを限定するのに視知覚モデルを用いる代わりに、入力ビデオブロックのダウンサンプリング係数を求めるのにこのモデルを用いることもできる。ブロックは、符号化の前にダウンサンプリングすることができ、その後、復号化の後にアップサンプリングすることができる。より高速に動くブロックには、動きモデルに基づいて、より大きなダウンサンプリング係数を割り当てることができる。
【図１】
2015091126.tif 000004
【図２】
2015091126.tif 000005
【図３】
2015091126.tif 000006
【図４】
2015091126.tif 000007
【図５】
2015091126.tif 000008
【図６】
2015091126.tif 000009
【図７】
2015091126.tif 000010
【外国語明細書】
2015091126.tif 000011
2015091126.tif 000012
2015091126.tif 000013
2015091126.tif 000014
2015091126.tif 000015
2015091126.tif 000016
2015091126.tif 000017
2015091126.tif 000018
2015091126.tif 000019
2015091126.tif 000020
2015091126.tif 000021
2015091126.tif 000022
2015091126.tif 000023
2015091126.tif 000024
2015091126.tif 000025
2015091126.tif 000026
2015091126.tif 000027
2015091126.tif 000028
2015091126.tif 000029
2015091126.tif 000030
2015091126.tif 000031
2015091126.tif 000032
2015091126.tif 000033
2015091126.tif 000034
2015091126.tif 000035
2015091126.tif 000036
2015091126.tif 000037
2015091126.tif 000038