(57)【要約】  本発明は多階層基盤のビデオコーデックでの性能を向上させる方法および装置に関するものである。  本発明の一実施形態による多階層基盤のビデオエンコーディング方法は、現在階層ブロックと対応される基礎階層ブロックに対するインター予測ブロックと、前記基礎階層ブロック間の差分を求める段階と、前記現在階層ブロックに対するインター予測ブロックをダウンサンプリングする段階と、前記求めた差分と前記ダウンサンプリングされたインター予測ブロックを加算する段階と、前記加算された結果をアップサンプリングする段階と、前記現在階層ブロックと前記アップサンプリングされた結果間の差分を符号化する段階を含む。
2009512324.tif 000002
【特許請求の範囲】
【請求項１】
（ａ）現在階層ブロックと対応される基礎階層ブロックに対するインター予測ブロックと、前記基礎階層ブロック間の差分を求める段階と、
（ｂ）前記現在階層ブロックに対するインター予測ブロックをダウンサンプリングする段階と、
（ｃ）前記求めた差分と前記ダウンサンプリングされたインター予測ブロックを加算する段階と、
（ｄ）前記加算された結果をアップサンプリングする段階、および
（ｅ）前記現在階層ブロックと前記アップサンプリングされた結果との間の差分を符号化する段階を含む、多階層基盤のビデオエンコーディング方法。
【請求項２】
前記（ｃ）段階で加算された結果をデブロックフィルタリングする段階をさらに含み、前記（ｄ）段階での加算された結果は前記デブロックフィルタリングされた結果である、請求項１に記載の多階層基盤のビデオエンコーディング方法。
【請求項３】
前記デブロックフィルタリングに使用されるデブロック関数は、前記現在階層ブロックの境界の部分に位置したピクセルおよびその周辺ピクセルの線形結合で表示される、請求項２に記載の多階層基盤のビデオエンコーディング方法。
【請求項４】
前記周辺ピクセルは前記境界の部分に位置したピクセルに隣接する二つのピクセルであり、前記境界の部分に位置したピクセルの加重値は１／２であり、前記二つの隣接するピクセルの加重値は各々１／４である、請求項３に記載の多階層基盤のビデオエンコーディング方法。
【請求項５】
前記基礎階層ブロックに対するインター予測ブロックと前記現在階層ブロックに対するインター予測ブロックは、モーション推定過程およびモーション補償過程を経て生成される、請求項１に記載の多階層基盤のビデオエンコーディング方法。
【請求項６】
前記（ｅ）段階は、
前記差分を空間的変換して変換係数を生成する段階と、
前記変換係数を量子化して量子化係数を生成する段階、および
前記量子化係数を無損失符号化する段階を含む、請求項１に記載の多階層基盤のビデオエンコーディング方法。
【請求項７】
前記（ｂ）段階は、
前記インター予測ブロック周辺の予測ブロックが対応される基礎階層ブロックがバッファ上に存在しない場合には、前記周辺の予測ブロックをパディングする段階を含む、請求項１に記載の多階層基盤のビデオエンコーディング方法。
【請求項８】
前記パディングする段階は、
前記周辺の予測ブロックの左辺および上辺に隣接したピクセルを、前記周辺の予測ブロックに４５度方向にコピーする段階を含む、請求項７に記載の多階層基盤のビデオエンコーディング方法。
【請求項９】
（ａ）入力されたビットストリームに含まれる現在階層ブロックのテクスチャデータから前記現在階層ブロックの残差信号を復元する段階と、
（ｂ）前記ビットストリームに含まれ、前記現在階層ブロックと対応される基礎階層ブロックのテクスチャデータから前記基礎階層ブロックの残差信号を復元する段階と、
（ｃ）前記現在階層ブロックに対するインター予測ブロックをダウンサンプリングする段階と、
（ｄ）前記ダウンサンプリングされたインター予測ブロックと前記（ｂ）段階で復元された残差信号を加算する段階と、
（ｅ）前記加算された結果をアップサンプリングする段階、および
（ｆ）前記（ａ）段階で復元された残差信号と前記アップサンプリングされた結果を加算する段階を含む、多階層基盤のビデオデコーディング方法。
【請求項１０】
前記（ｄ）段階で加算された結果をデブロックフィルタリングする段階をさらに含み、前記（ｅ）段階での加算された結果は前記デブロックフィルタリングされた結果の、請求項９に記載の多階層基盤のビデオデコーディング方法。
【請求項１１】
前記デブロックフィルタリングに使用されるデブロック関数は、前記現在階層ブロックの境界の部分に位置したピクセルおよびその周辺ピクセルの線形結合と表示される、請求項１０に記載の多階層基盤のビデオデコーディング方法。
【請求項１２】
前記周辺ピクセルは前記境界の部分に位置したピクセルに隣接する二つのピクセルであり、前記境界の部分に位置したピクセルの加重値は１／２であり、前記二つの隣接するピクセルの加重値は各々１／４である、請求項１１に記載の多階層基盤のビデオデコーディング方法。
【請求項１３】
前記現在階層ブロックに対するインター予測ブロックは、モーション補償過程を経て生成される、請求項９に記載の多階層基盤のビデオデコーディング方法。
【請求項１４】
前記（ａ）段階は、
前記テクスチャデータを無損失復号化する段階と、
前記無損失復号化された結果を逆量子化する段階、および
前記逆量子化された結果を逆変換する段階を含む、請求項９に記載の多階層基盤のビデオデコーディング方法。
【請求項１５】
前記（ｃ）段階は、
前記インター予測ブロック周辺の予測ブロックが対応される基礎階層ブロックがバッファ上に存在しない場合には、前記周辺の予測ブロックをパディングする段階を含む、請求項９に記載の多階層基盤のビデオデコーディング方法。
【請求項１６】
前記パディングする段階は、
前記周辺の予測ブロックの左辺および上辺に隣接したピクセルを、前記周辺の予測ブロックに４５度方向にコピーする段階を含む、請求項１５に記載の多階層基盤のビデオデコーディング方法。
【請求項１７】
現在階層ブロックと対応される基礎階層ブロックに対するインター予測ブロックと、前記基礎階層ブロック間の差分を求める差分器と、
前記現在階層ブロックに対するインター予測ブロックをダウンサンプリングするダウンサンプラと、
前記求めた差分と前記ダウンサンプリングされたインター予測ブロックを加算する加算器と、
前記加算された結果をアップサンプリングするアップサンプラ、および
前記現在階層ブロックと前記アップサンプリングされた結果間の差分を符号化する符号化手段を含む、多階層基盤のビデオエンコーダ。
【請求項１８】
入力されたビットストリームに含まれる現在階層ブロックのテクスチャデータから前記現在階層ブロックの残差信号を復元する第１復元手段と、
前記ビットストリームに含まれ、前記現在階層ブロックと対応される基礎階層ブロックのテクスチャデータから前記基礎階層ブロックの残差信号を復元する第２復元手段と、
前記現在階層ブロックに対するインター予測ブロックをダウンサンプリングするダウンサンプラと、
前記ダウンサンプリングされたインター予測ブロックと前記第２復元手段で復元された残差信号を加算する第１加算器と、
前記加算された結果をアップサンプリングするアップサンプラ、および
前記第１復元手段で復元された残差信号と前記アップサンプリングされた結果を加算する第２加算器を含む、多階層基盤のビデオデコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオコーディング技術に関するものであって、より詳細には多階層基盤のビデオコーデックでの性能を向上させる方法および装置に関するものである。
【背景技術】
【０００２】
インターネットを含む情報通信技術が発達するにともない文字、音声だけではなく画像通信が増加している。既存の文字中心の通信方式では消費者の多様な欲求を充足させるには足りず、これに伴い文字、映像、音楽など多様な形態の情報を受容できるマルチメディアサービスが増加している。マルチメディアデータはその量が膨大であり、大容量の保存媒体を必要とし伝送時に広い帯域幅を必要とする。したがって文字、映像、オーディオを含んだマルチメディアデータを伝送するためには圧縮コーディング技法を使用することが必須的である。
【０００３】
データを圧縮する基本的な原理はデータの重複（ｒｅｄｕｎｄａｎｃｙ）要素を除去する過程である。イメージで同一な色やオブジェクトが反復されるような空間的重複や、動画ピクチャにおいて隣接したピクチャの変化がほとんどない場合やオーディオで同じ音が継続して反復されるような時間的重複、または人間の視覚および知覚能力が高い周波数に鈍感なことを考慮して、知覚的重複を除去することによってデータを圧縮することができる。一般的なビデオコーディング方法において、時間的重複はモーション補償に基づいた時間的フィルタリング（ｔｅｍｐｏｒａｌ  ｆｉｌｔｅｒｉｎｇ）によって除去し、空間的重複は空間的変換（ｓｐａｔｉａｌ  ｔｒａｎｓｆｏｒｍ）によって除去する。
【０００４】
データの重複を除去した後生成されるマルチメディアを伝送するためには、伝送媒体が必要であるがその性能は伝送媒体ごとに差異がある。現在使用される伝送媒体は秒当たり数十メガビットのデータを伝送できる超高速通信網から秒当たり３８４ｋｂｉｔの伝送速度を有する移動通信網などのような多様な伝送速度を有する。このような環境で、多様な速度の伝送媒体を支援するため、または伝送環境に応じてこれに適合した伝送率でマルチメディアを送れるようにする、すなわちスケーラブルビデオコーディング（ｓｃａｌａｂｌｅ  ｖｉｄｅｏ  ｃｏｄｉｎｇ）方法がマルチメディア環境により適しているといえる。
【０００５】
スケーラブルビデオコーディングとは、すでに圧縮されたビットストリーム（ｂｉｔ−ｓｔｒｅａｍ）に対して伝送ビット率、伝送エラー率、システム資源などの周辺条件によって前記ビットストリームの一部を切り出して、ビデオの解像度、フレーム率、およびＳＮＲ（Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ  Ｒａｔｉｏ）等を調節できるようにする符号化方式、すなわち多様なスケーラビリティ（ｓｃａｌａｂｉｌｉｔｙ）を支援する符号化方式を意味する。
【０００６】
現在、ＭＰＥＧ  （Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）とＩＴＵ  （Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ）の共同作業グループ（ｗｏｒｋｉｎｇ  ｇｒｏｕｐ）のＪＶＴ  （Ｊｏｉｎｔ  Ｖｉｄｅｏ  Ｔｅａｍ）ではＨ．２６４を基本とし多階層（ｍｕｌｔｉ−ｌａｙｅｒ）形態でスケーラビリティを具現するための標準化作業（以下、Ｈ．２６４ＳＥ（ｓｃａｌａｂｌｅ  ｅｘｔｅｎｓｉｏｎ）という）を進行している。
【０００７】
Ｈ．２６４ＳＥと多階層基盤のスケーラブルビデオコーデック（ｃｏｄｅｃ）は基本的にインター予測（ｉｎｔｅｒ  ｐｒｅｄｉｃｔｉｏｎ）、方向的イントラ予測（ｄｉｒｅｃｔｉｏｎａｌ  ｉｎｔｒａ  ｐｒｅｄｉｃｔｉｏｎ；以下単純にイントラ予測という）、残差予測（ｒｅｓｉｄｕａｌ  ｐｒｅｄｉｃｔｉｏｎ）、およびイントラベース予測（ｉｎｔｒａ  ｂａｓｅ  ｐｒｅｄｉｃｔｉｏｎ）の４種類予測モードを支援する。「予測」とは、エンコーダおよびデコーダにおいて共通に利用可能な情報から生成された予測データを利用してオリジナルデータを圧縮的に表示する技法を意味する。
【０００８】
前記４種類予測モードのうちインター予測は既存の単一階層構造を有するビデオコーデックでも一般的に使用される予測モードである。インター予測は、少なくとも一つ以上の参照ピクチャ（以前または以後ピクチャ）から現在ピクチャの何れのブロック（現在ブロック）と最も類似のブロックを探索してこれから現在ブロックを最もよく表現できる予測ブロックを得た後、前記現在ブロックと前記予測ブロックとの差分を量子化する方式である。
【０００９】
インター予測は参照ピクチャを参照する方式にしたがって、二つの参照ピクチャが使用される両方向予測（ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ  ｐｒｅｄｉｃｔｉｏｎ）と、以前参照ピクチャが使用される順方向予測（ｆｏｒｗａｒｄ  ｐｒｅｄｉｃｔｉｏｎ）と、以後参照ピクチャが使用される逆方向予測（ｂａｃｋｗａｒｄ  ｐｒｅｄｉｃｔｉｏｎ）等がある。
【００１０】
一方、イントラ予測もＨ．２６４のような単一階層のビデオコーデックにおいても使用される予測技法である。イントラ予測は、現在ブロックの周辺ブロックのうち現在ブロックと隣接したピクセルを利用して現在ブロックを予測する方式である。イントラ予測は現在ピクチャ内の情報だけを利用し、同一階層内の他のピクチャや他の階層のピクチャを参照しない点から他の予測方式と差異がある。
【００１１】
イントラベース予測（ｉｎｔｒａ  ｂａｓｅ  ｐｒｅｄｉｃｔｉｏｎ）は多階層構造を有するビデオコーデックにおいて、現在ピクチャが同一な時間的位置を有する下位階層のピクチャ（以下“基礎ピクチャ”という）を有する場合に使用され得る。図２で図示するように、現在ピクチャのマクロブロックは前記マクロブロックと対応される前記基礎ピクチャのマクロブロックから効率的に予測される。すなわち、現在ピクチャのマクロブロックと前記基礎ピクチャのマクロブロックとの差分が量子化される。
【００１２】
万一下位階層の解像度と現在階層の解像度が互いに異なる場合には、前記差分を求める前に前記基礎ピクチャのマクロブロックは前記現在階層の解像度としてアップサンプリングされなければならないであろう。このようなイントラベース予測はインター予測の効率が高くない場合、例えば、動きが非常にはやい映像や場面転換が発生する映像において特に効果的である。前記イントラベース予測はイントラＢＬ予測（ｉｎｔｒａ  ＢＬ  ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることもある。
【００１３】
最後に、残差予測によるインター予測（Ｉｎｔｅｒ−ｐｒｅｄｉｃｔｉｏｎ  ｗｉｔｈ  ｒｅｓｉｄｕａｌ  ｐｒｅｄｉｃｔｉｏｎと、以下単純に「残差予測」という）は既存の単一階層でのインター予測を多階層の形態で拡張したものである。図３で見るように残差予測によれば、現在階層のインター予測過程から生成された差分を直接量子化するのではなく、前記差分と下位階層のインター予測過程から生成された差分を改めて差し引きしてその結果を量子化する。
【００１４】
多様なビデオシーケンスの特性を勘案して、前述した４種類予測方法はピクチャを成すマクロブロックごとにその中でより効率的な方法が選択される。例えば、動きがのろいビデオシーケンスでは主にインター予測ないし残差予測が選択されるであり、動きがはやいビデオシーケンスでは主にイントラベース予測が選択されるであろう。
【００１５】
多階層構造を有するビデオコーデックは単一階層となったビデオコーデックに比べて、相対的に複雑な予測構造を有しているだけではなく、開ループ（ｏｐｅｎ−ｌｏｏｐ）構造が主に使用されることによって、単一階層コーデックに比べて、ブロックアーチファクト（ｂｌｏｃｋｉｎｇ  ａｒｔｉｆａｃｔ）が多く現れる。特に、前述した残差予測の場合は下位階層ピクチャの残差信号を使用するが、これが現在階層ピクチャのインター予測された信号の特性と差異が大きい場合にはひどいゆがみが発生され得る。
【００１６】
反面、イントラベース予測時、現在ピクチャのマクロブロックに対する予測信号、すなわち基礎ピクチャのマクロブロックはオリジナル信号ではなく量子化された後復元された信号である。したがって、前記予測信号はエンコーダおよびデコーダともに共通に得られる信号であるため、エンコーダおよびデコーダ間のミスマッチ（ｍｉｓｍａｔｃｈ）が発生せず、特に前記予測信号にスムージングフィルタを適用した後現在ピクチャのマクロブロックとの差分を求めるからブロックアーチファクトも大幅に減る。
【００１７】
ところで、イントラベース予測は現在Ｈ．２６４ＳＥの作業草案（ｗｏｒｋｉｎｇ  ｄｒａｆｔ）として採択されている低複雑性デコーディング（ｌｏｗ  ｃｏｍｐｌｅｘｉｔｙ  ｄｅｃｏｄｉｎｇ）条件によればその使用が制限される。すなわち、Ｈ．２６４ＳＥではエンコーディングは多階層方式で遂行してもデコーディングだけは単一階層ビデオコーデックと類似の方式で遂行されるように、特定の条件を満足する場合にのみイントラベース予測を使用できるようにする。
【００１８】
前記低複雑性デコーディング条件（単一ループデコーディング条件）によれば、現在階層の何れのマクロブロックに対応される下位階層のマクロブロックのマクロブロックタイプ（ｍａｃｒｏｂｌｏｃｋ  ｔｙｐｅ）がイントラ予測モードまたはイントラベース予測モードの場合にのみ、前記イントラベース予測が使用される。これはデコーディング過程において最も多い演算量を占めるモーション補償過程にともなう演算量を減少させるためである。反面、イントラベース予測を制約的にのみ使用するようになるため動きがはやい映像での性能が激しく低下する問題がある。
【発明の開示】
【発明が解決しようとする課題】
【００１９】
図１は多重ループを許容するビデオコーデック（Ｃｏｄｅｃ  １）と、単一ループのみを使用するビデオコーデック（Ｃｏｄｅｃ  ２）をＦｏｏｔｂａｌｌシーケンスに適用した結果であって、輝度成分ＰＳＮＲ（Ｙ−ＰＳＮＲ）の差異を示すグラフである。図１を参照すれば、大部分のビット率において、Ｃｏｄｅｃ１の性能がＣｏｄｅｃ２の性能より優れることが分かる。このような結果は、Ｆｏｏｔｂａｌｌのようにはやい動きを有するビデオシーケンスでは同様に表れる。
【００２０】
従来の単一ループデコーディング条件によればデコーディング複雑性を低くする効果があるが、このようにやむをえず画質の減少をもたらす部分も見過ごしてはならない。したがって、前記単一ループデコーディング条件に応じつつも、前記のような制限なくイントラベース予測を使用できる方法を開発する必要があるのである。
【課題を解決するための手段】
【００２１】
本発明が解決しようとする課題は、多階層基盤のビデオコーデックにおいて単一ループデコーディング条件を満足する新たなイントラベース予測技法を開発し、ビデオコーディングの性能を向上させることを目的とする。
【００２２】
本発明の技術的課題は前記技術的課題に制限されず、言及されてないまた他の技術的課題は次の記載から当業者に明確に理解され得るものであろう。
【００２３】
前記した技術的課題を達成するために、本発明の一実施形態によるビデオエンコーディング方法は、（ａ）現在階層ブロックと対応される基礎階層ブロックに対するインター予測ブロックと、前記基礎階層ブロック間の差分を求める段階と、（ｂ）前記現在階層ブロックに対するインター予測ブロックをダウンサンプリングする段階と、（ｃ）前記求めた差分と前記ダウンサンプリングされたインター予測ブロックを加算する段階と、（ｄ）前記加算された結果をアップサンプリングする段階、および（ｅ）前記現在階層ブロックと前記アップサンプリングされた結果間の差分を符号化する段階を含む。
【００２４】
前記した技術的課題を達成するために、本発明の一実施形態によるビデオデコーディング方法は、（ａ）入力されたビットストリームに含まれる現在階層ブロックのテクスチャデータから前記現在階層ブロックの残差信号を復元する段階と、（ｂ）前記ビットストリームに含まれ、前記現在階層ブロックと対応される基礎階層ブロックのテクスチャデータから前記基礎階層ブロックの残差信号を復元する段階と、（ｃ）前記現在階層ブロックに対するインター予測ブロックをダウンサンプリングする段階と、（ｄ）前記ダウンサンプリングされたインター予測ブロックと前記（ｂ）段階で復元された残差信号を加算する段階と、（ｅ）前記加算された結果をアップサンプリングする段階、および（ｆ）前記（ａ）段階で復元された残差信号と前記アップサンプリングされた結果を加算する段階を含む。
【００２５】
前記した技術的課題を達成するために、本発明の一実施形態によるビデオエンコーダは、現在階層ブロックと対応される基礎階層ブロックに対するインター予測ブロックと、前記基礎階層ブロック間の差分を求める差分器と、前記現在階層ブロックに対するインター予測ブロックをダウンサンプリングするダウンサンプラと、前記求めた差分と前記ダウンサンプリングされたインター予測ブロックを加算する加算器と、前記加算された結果をアップサンプリングするアップサンプラ、および前記現在階層ブロックと前記アップサンプリングされた結果間の差分を符号化する符号化手段を含む。
【００２６】
前記した技術的課題を達成するために、本発明の一実施形態によるビデオデコーダは、入力されたビットストリームに含まれる現在階層ブロックのテクスチャデータから前記現在階層ブロックの残差信号を復元する第１復元手段、前記ビットストリームに含まれ、前記現在階層ブロックと対応される基礎階層ブロックのテクスチャデータから前記基礎階層ブロックの残差信号を復元する第２復元手段、前記現在階層ブロックに対するインター予測ブロックをダウンサンプリングするダウンサンプラ、前記ダウンサンプリングされたインター予測ブロックと前記第２復元手段から復元された残差信号を加算する第１加算器と、前記加算された結果をアップサンプリングするアップサンプラ、および前記第１復元手段から復元された残差信号と前記アップサンプリングされた結果を加算する第２加算器を含む。
【００２７】
その他実施形態の具体的な事項は詳細な説明および図に含まれている。
【発明を実施するための最良の形態】
【００２８】
本明細書では、現在エンコーディングしようとする階層を「現在階層」といい、前記現在階層によって参照される他の階層は「基礎階層」と命名する。そして、現在階層に存在するピクチャの中でも現在エンコーディングしようとする時間順序に位置するピクチャを「現在ピクチャ」と命名する。
【００２９】
従来のイントラベース予測によって得られる残差信号ＲＦは次の式（１）のように示される。
【００３０】
【数１】
2009512324.tif 000003
式（１）では、ＯＦは現在ピクチャのあるブロックを、ＯＢは前記現在ピクチャに対応される基礎階層ピクチャのブロックを、Ｕはアップサンプリング関数を各々示す。アップサンプリング関数は現在階層と下位階層間に解像度が異なる場合にのみ適用されるため選択的に適用され得るという意味で［Ｕ］で表わした。ところで、ＯＢは基礎階層ピクチャのブロックに対する予測信号ＰＢと残差信号ＲＢの和で表現できるので、結局式（１）は次の式（２）のように再作成され得る。
【００３１】
【数２】
2009512324.tif 000004
ところで、単一ループデコーディング条件によれば、式（２）のＰＢがインター予測によって生成された信号である場合にはイントラベース予測を使用できないようになっている。これはインター予測時多くの演算量を要するモーション補償過程を二重で使用しないための制約条件である。
【００３２】
本発明では、式（２）のような既存のイントラベース予測技法を多少修正して、単一ループデコーディング条件を満足する新たなイントラベース予測技法を提案しようとする。前記提案によれば、基礎階層ブロックに対する予測信号ＰＢがインター予測によるものである時には、前記予測信号は現在階層ブロックに対する予測信号ＰＦ、またはそのダウンサンプリングされたバージョンに代替される。
【００３３】
ところで、このような提案と関連し、１７番目ＪＶＴミーティング（Ｐｏｚｎａｎ、Ｐｏｌａｎｄ）で、Ｗｏｏ−Ｊｉｎ  Ｈａｎによって、提案された「Ｓｍｏｏｔｈｅｄ  ｒｅｆｅｒｅｎｃｅ  ｐｒｅｄｉｃｔｉｏｎ  ｆｏｒ  ｓｉｎｇｌｅ−ｌｏｏｐ  ｄｅｃｏｄｉｎｇ、」という題名の文書（以下、ＪＶＴ−００８５という）がある。前記の文書でも本発明と類似の問題認識および単一ループデコーディング条件の制約を脱皮しようとする技術的解決策を開示している。
【００３４】
前記ＪＶＴ−００８５によれば、ＲＦは次の式（３）のように求める。
【００３５】
【数３】
2009512324.tif 000005
前記式（３）で見れば、ＰＢがＰＦに代替され、階層間の解像度を合わせるためにＲＢがアップサンプリングされていることが分かる。このようにＪＶＴ−００８５も単一ループデコーディング条件を満足している。
【００３６】
ところで、ＪＶＴ−００８５は残差信号ＲＢをアップサンプリングして予測信号ＰＦの解像度と一致させている。しかし、前記残差信号ＲＢは一般的なイメージとはその特性が異なり、大部分０であるサンプル値を有し一部に０ではないサンプル値を含む。したがって、前記残差信号ＲＢをアップサンプリングする過程によって全体的なコーディング性能が大きく向上されない問題がある。
【００３７】
本発明では、前記式（２）でＰＢをダウンサンプリングしてＲＢとの解像度を合わせる新たな接近法を提案する。すなわち、イントラベース予測で使用される基礎階層の予測信号を、単一ループデコーディング条件を満足するように、現在階層の予測信号のダウンサンプリングされたバージョンに代替するのである。
【００３８】
本発明に従う時、ＲＦは次の式（４）のように計算され得る。
【００３９】
【数４】
2009512324.tif 000006
式（３）と比較すると、式（４）では前述したような問題を有するＲＢをアップサンプリングする過程が存在しない。代りに現在階層の予測信号ＰＦをダウンサンプリングし、その結果を前記ＲＢと加算した後、また現在階層の解像度にアップサンプリングする方式を使用する。式（４）の括弧の中の成分は残差信号ではなく実際イメージに近い信号であるため、アップサンプリングを適用しても大きく問題が発生しない。
【００４０】
一般的に、ビデオエンコーダとビデオデコーダ間の不一致を減少させるために予測信号にデブロックフィルタを適用すればコーディング効率の向上をもたらすと知られている。
【００４１】
本発明においても、追加的にデブロックフィルタを適用するのが好ましく、この場合に式（４）は次の式（５）のように変形される。ここで、Ｂはデブロック関数ないしデブロックフィルタを示す。
【００４２】
【数５】
2009512324.tif 000007
一方、デブロック関数（Ｂ）と、アップサンプリング関数（Ｕ）はスムージング効果を表す関数としてその役割が重複する面がある。したがって、前記デブロック関数の適用過程が小さい演算量によって遂行されるように、前記デブロック関数（Ｂ）はブロック境界に位置したピクセルおよび周辺ピクセルの線形結合で簡単に示し得る。
【００４３】
図２および図３はこのようなデブロックフィルタの例として、４ｘ４サイズのサブブロックの垂直境界および水平境界に対してデブロックフィルタを適用する例を示している。図２および図３において境界の部分に位置したピクセル（ｘ（ｎ−１）、ｘ（ｎ））はそれら自身とその周辺のピクセルの線形結合の形態でスムージングされ得る。ピクセルｘ（ｎ−１）、ｘ（ｎ）に対してデブロックフィルタを適用した結果を各々ｘ’（ｎ−１）、ｘ’（ｎ）で表すと、ｘ’（ｎ−１）、ｘ’（ｎ）は次の式（６）のように示し得る。
【００４４】
【数６】
2009512324.tif 000008
前記α、β、γはその合計は１となるように適切に選択され得る。例えば、式（６）でα＝１／４，β＝１／２，γ＝１／４で選択することによって該当ピクセルの加重値を周辺ピクセルに比べて高めることができる。もちろん、式（６）でより多くのピクセルを周辺ピクセルとして選択することもできるであろう。
【００４５】
図４は本発明の一実施形態による変形されたイントラベース予測過程を示すフローチャートである。
【００４６】
先に、基礎ブロック１０とモーションベクタによって、対応される下位階層の周辺参照ピクチャ（順方向参照ピクチャ、逆方向参照ピクチャなど）内のブロック１１，１２から、基礎ブロック１０に対するインター予測ブロック１３が生成する（Ｓ１）。そして、基礎ブロックで前記予測ブロック１３を差分し残差（１４；式（５）でのＲＢに該当する）を求める（Ｓ２）。
【００４７】
一方、現在ブロック２０とモーションベクタによって対応される現在階層の周辺参照ピクチャ内のブロック２１，２２から、現在ブロック２０に対するインター予測ブロック（２３；式（５）でのＰＦに該当する）を生成する（Ｓ３）。Ｓ３段階はＳ１、Ｓ２段階以前に遂行されても構わない。一般的に、前記「インター予測ブロック」は符号化しようとするピクチャ内の現在ブロックと対応される参照ピクチャ上のイメージ（またはイメージら）から求められる予測ブロックを意味する。前記現在ブロックと前記対応されるイメージ間の対応関係はモーションベクタによって表示される。一般的に、前記インター予測ブロックは、参照ピクチャが一つの場合には前記対応されるイメージ自体を意味したり、参照ピクチャが複数の場合には対応されるイメージの加重合を意味することもある。前記インター予測ブロック２３は所定のダウンサンプラによってダウンサンプリングされる（Ｓ４）。前記ダウンサンプラはＭＰＥＧダウンサンプラ、ウェーブレットダウンサンプラなどを使用することができる。
【００４８】
その次に、前記ダウンサンプリングされた結果（１５；式（５）ではＤ・ＰＦに該当する）と前記Ｓ２段階で求めた残差１４を加算する（Ｓ５）。そして、前記加算結果、生成されるブロック（１６；式（５）でのＤ・ＰＦ＋ＲＢに該当する）を、デブロックフィルタを適用してスムージングする（Ｓ６）。そして、前記スムージングされた結果１７を所定のアップサンプラを利用して現在階層の解像度にアップサンプリングする（Ｓ７）。前記アップサンプラとしてはＭＰＥＧアップサンプラ、ウェーブレットアップサンプラなどを使用することができる。
【００４９】
最後に、現在ブロック２０で前記アップサンプリングされた結果（２４；式（５）でのＵ・Ｂ・（Ｄ・ＰＦ＋ＲＢ）に該当する）を差分した後（Ｓ８）、前記差分結果である残差２５を量子化する（Ｓ９）。
【００５０】
図５は本発明の一実施形態によるビデオエンコーダ１００の構成を図示したブロック図である。
【００５１】
先に、現在ブロックに含まれる所定ブロック（ＯＦ；以下現在ブロックという）はダウンサンプラ１０３に入力される。ダウンサンプラ１０３は現在ブロックＯＦを空間的および／または時間的にダウンサンプリングして対応される基礎階層ブロックＯＢを生成する。
【００５２】
モーション推定部２０５は周辺ピクチャＦＢ’を参照して基礎階層ブロックＯＢに対するモーション推定を遂行することによってモーションベクタ（ＭＶＢ）を求める。このように参照される周辺ピクチャを「参照ピクチャ（ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ）」という。一般的にこのようなモーション推定のためにブロックマッチング（ｂｌｏｃｋ  ｍａｔｃｈｉｎｇ）アルゴリズムが広く使用されている。すなわち、与えられたブロックを参照ピクチャの特定探索領域内でピクセルまたはサブピクセル（２／２ピクセル、１／４ピクセルなど）単位で動きつつ、そのエラーが最低となる変位を動きベクターとして選定するのである。モーション推定のために固定されたサイズのブロックマッチング法を利用することもできるが、Ｈ．２６４等で使用される階層的可変サイズブロックマッチング法（Ｈｉｅｒａｒｃｈｉｃａｌ  Ｖａｒｉａｂｌｅ  Ｓｉｚｅ  Ｂｌｏｃｋ  Ｍａｔｃｈｉｎｇと、ＨＶＳＢＭ）を使用することもできる。
【００５３】
ところで、ビデオエンコーダ１００が開放ループコーデック（ｏｐｅｎ  ｌｏｏｐ  ｃｏｄｅｃ）形態で形成されると、前記参照ピクチャとしてバッファ２０１に保存されたオリジナル周辺ピクチャＦＯＢ’をそのまま利用するであろうが、閉鎖ループコーデック（ｃｌｏｓｅｄ  ｌｏｏｐ  ｃｏｄｅｃ）形態で形成されると、前記参照ピクチャとしてエンコーディング後デコーディングされたピクチャ（未図示）を利用するようになる。以下、本明細書では開放ループコーデックを中心として説明するが、これに限定されない。
【００５４】
モーション推定部２０５から求めたモーションベクタＭＶＢはモーション補償部２１０に提供される。モーション補償部２１０は前記参照ピクチャＦＢ’のうち前記モーションベクタＭＶＢによって、対応されるイメージを抽出し、これからインター予測ブロックＰＢを生成する。両方向参照が使用される場合に前記インター予測ブロックは前記抽出されたイメージの平均で計算され得る。そして、単方向参照が使用される場合に前記インター予測ブロックは前記抽出されたイメージと同一なものであり得る。
【００５５】
差分器２１５は前記基礎階層ブロックＯＢで前記インター予測ブロックＰＢを差分することによって残差ブロックＲＢを生成する。前記インター予測ブロックＰＢは加算器１３５に提供される。
【００５６】
一方、現在ブロックＯＦはモーション推定部１０５、,バッファ１０１、および差分器１１５にも入力される。モーション推定部１０５は周辺ピクチャＦＦ’を参照して、現在ブロックに対するモーション推定を遂行することによってモーションベクタＭＶＦを求める。このようなモーション推定過程はモーション推定部２０５で起きる過程と同様であるため重複した説明は省略する。
【００５７】
モーション推定部１０５で求めたモーションベクタＭＶＦはモーション補償部１１０に提供される。モーション補償部１１０は前記参照ピクチャＦＦ’のうち前記モーションベクタＭＶＦによって、対応されるイメージを抽出し、これからインター予測ブロックＰＦを生成する。
【００５８】
ダウンサンプラ１３０はモーション補償部１１０から提供されるインター予測ブロックＰＦをダウンサンプリングする。ところで、一般的にｎ：１のダウンサンプリングは単純にｎ個のピクセル値を演算して一つのピクセル値として作るものではなく、前記ｎ個のピクセル周辺のピクセル値を演算して一つのピクセル値として作るようになる。もちろん、いくつかの周辺ピクセルまで考慮するのかはダウンサンプリングのアルゴリズムに応じて異なり得る。多くの数の周辺ピクセルを考慮するほどより軟らかいダウンサンプリング結果が表れるようになる。
【００５９】
したがって、図６に図示するように、インター予測ブロック３１をダウンサンプリングするためには前記ブロック３１に近接した周辺ピクセル３２値を知らなければならない。もちろん、インター予測ブロック３１は時間的に異なる位置にある参照ピクチャから得られるため問題がない。しかし、前記周辺ピクセル３２が含まれるブロック３３がイントラベースモードに属し、前記ブロック３３に対応される基礎階層ブロック３４が方向的イントラモード（ｄｉｒｅｃｔｉｏｎ  ｉｎｔｒａ  ｍｏｄｅ）に属する場合は問題となる。なぜなら、実際Ｈ．２６４ＳＥでの具現において、基礎階層のマクロブロックがイントラベースモードに属する場合にのみ、前記マクロブロックのデータをバッファに保存しておくからである。したがって、基礎階層ブロック３４が方向的イントラモードに属する場合には、前記ブロック３３に対応される基礎階層ブロック３４がバッファ上に存在しない。
【００６０】
前記ブロック３３はイントラベースモードに属するため対応される基礎階層ブロックが存在しなければ、その予測ブロックを生成することができず、したがって周辺ピクセル３２を完全に構成することができない。
【００６１】
本発明はこのような場合を考慮し、周辺ピクセルが含まれるブロックのうち対応される基礎階層ブロックが存在しない場合には、パディング（ｐａｄｄｉｎｇ）によって、前記周辺ピクセルが含まれるブロックのピクセル値を生成するようにする。
【００６２】
このようなパディング過程は図７に示したように、方向的イントラ予測のうち対角線モード（ｄｉａｇｏｎａｌ  ｍｏｄｅ）と類似な方法で遂行され得る。すなわち、どのようなブロック３５の左辺に隣接したピクセルＩ、Ｊ、Ｋ、Ｌ、上辺に隣接したブロックＡ、Ｂ、Ｃ、Ｄ、および頂点に隣接したピクセルＭを４５度方向にコピーする方式である。例えば、前記ブロック３５の左下側ピクセル３６の値はピクセルＫ値とピクセルＬ値を平均した値がコピーされる。
【００６３】
ダウンサンプラ１３０は、抜け落ちた周辺ピクセルがある場合にはこのような過程を通して周辺ピクセルを復旧した後、インター予測ブロックＰＦをダウンサンプリングするようになる。
【００６４】
加算器１３５は前記ダウンサンプリングされた結果（Ｄ・ＰＦ）および差分器２１５から出力されるＲＢを加算して、その結果をデブロックフィルタ１４０に提供する。デブロックフィルタ１４０は前記加算された結果（Ｄ・ＰＦ＋ＲＢ）に対してデブロックフィルタ（ｄｅｂｌｏｃｋｉｎｇ  ｆｉｌｔｅｒ）を適用してスムージングする。このようなデブロックフィルタを構成するデブロック関数ではＨ．２６４でのようにバイリニアフィルタを使用することもできるが、前記式（６）のように簡単な線形結合の形態を使用することもできる。また、このようなデブロックフィルタ過程は以後のアップサンプリング過程を考慮すれば省略され得る。なぜなら、アップサンプリング過程だけでもある程度のスムージング効果は現れるためである。
【００６５】
アップサンプラ１４５は前記スムージングされた結果（Ｂ・（Ｄ・ＰＦ＋ＲＢ））をアップサンプリングする。アップサンプリングされた結果（Ｕ・Ｂ・（Ｄ・ＰＦ＋ＲＢ））は現在ブロックＯＦに対する予測ブロックとして差分器１１５に入力される。そうすると、差分器１１５は現在ブロックＯＦで前記アップサンプリングされた結果（Ｕ・Ｂ・（Ｄ・ＰＦ＋ＲＢ））を差分し、残差信号ＲＦを生成する。
【００６６】
前記のようにデブロックフィルタリング過程遂行後アップサンプリング過程が遂行されるのが好ましいが、必ずこれに限定されず、アップサンプリング過程遂行後デブロックフィルタリング過程を遂行することも可能である。
【００６７】
変換部１２０は前記残差信号ＲＦに対し、空間的変換を遂行して変換係数（ＲＦＴ）を生成する。このような空間的変換方法では、ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）、ウェーブレット変換（ｗａｖｅｌｅｔ  ｔｒａｎｓｆｏｒｍ）等が使用され得る。ＤＣＴを使用する場合に前記変換係数はＤＣＴ係数となり、ウェーブレット変換を使用する場合に前記変換係数はウェーブレット係数となるであろう。
【００６８】
量子化部１２５は前記変換係数ＲＦＴを量子化（ｑｕａｎｔｉｚａｔｉｏｎ）して量子化係数ＲＦＱを生成する。前記量子化は任意の実数値で表現される前記変換係数ＲＦＴを不連続的な値（ｄｉｓｃｒｅｔｅ  ｖａｌｕｅ）で表す過程を意味する。例えば、量子化部１２５は任意の実数値で表現される前記変換係数を所定の量子化ステップ（ｑｕａｎｔｉｚａｔｉｏｎ  ｓｔｅｐ）に分け、その結果を整数値で四捨五入する方法で量子化を遂行することができる。
【００６９】
一方、基礎階層の残差信号ＲＢも同様に変換部２２０および量子化部２２５を経て量子化係数ＲＢＱに変換される。
【００７０】
エントロピ符号化部１５０はモーション推定部１０５で推定されたモーションベクタＭＶＦ、量子化部１２５から提供される量子化係数ＲＦＱ、および量子化部２２５から提供される量子化係数ＲＢＱを無損失符号化して、ビットストリームを生成する。このような無損失符号化方法としては、ハフマン符号化（Ｈｕｆｆｍａｎ  ｃｏｄｉｎｇ）、算術符号化（ａｒｉｔｈｍｅｔｉｃ  ｃｏｄｉｎｇ）、可変長符号化（ｖａｒｉａｂｌｅ  ｌｅｎｇｔｈ  ｃｏｄｉｎｇ）、その他多様な方法が利用され得る。
【００７１】
図８は本発明の一実施形態によるビデオデコーダ３００の構成を図示したブロック図である。
【００７２】
エントロピ復号化部３０５は入力されたビットストリームに対して無損失復号化を遂行し、現在ブロックのテクスチャデータＲＦＱ、前記現在ブロックと対応される基礎階層ブロックのテクスチャデータＲＢＱ、および前記現在ブロックのモーションベクタＭＶＦを抽出する。前記無損失復号化はエンコーダ端での無損失符号化過程の逆に進行される過程である。
【００７３】
前記現在ブロックのテクスチャデータＲＢＱは逆量子化部４１０に提供されて前記現在ブロックのテクスチャデータＲＦＱは逆量子化部３１０に提供される。そして、現在ブロックのモーションベクタＭＶＦはモーション補償部３５０に提供される。
【００７４】
逆量子化部３１０は前記提供される現在ブロックのテクスチャデータＲＦＱを逆量子化する。このような逆量子化過程は量子化過程で使用されたものと同一な量子化テーブルを利用して量子化過程で生成されたインデックスからそれにマッチングされる値を復元する過程である。
【００７５】
逆変換部３２０は前記逆量子化された結果に対して逆変換を遂行する。このような逆変換はエンコーダ端の変換過程の逆に遂行され、具体的に逆ＤＣＴ変換、逆ウェーブレット変換などが使用され得る。
【００７６】
前記逆変換結果現在ブロックに対する残差信号ＲＦが復元される。
【００７７】
一方、逆量子化部４１０は前記提供される基礎階層ブロックのテクスチャデータＲＢＱを逆量子化し、逆変換部４２０は前記逆量子化された結果ＲＢＴに対して逆変換を遂行する。前記逆変換結果前記基礎階層ブロックに対する残差信号ＲＢが復元される。前記復元された残差信号ＲＢは加算器３７０に提供される。
【００７８】
一方、バッファ３４０は最終的に復元されるピクチャを臨時に保存しておいて前記保存されたピクチャを他のピクチャの復元の時の参照ピクチャとして提供する。
【００７９】
モーション補償部３５０は前記参照ピクチャのうち前記モーションベクタＭＶＦによって、対応されるイメージＯＦ’を抽出し、これからインター予測ブロックＰＦを生成する。両方向参照が使用される場合に前記インター予測ブロックＰＦは前記抽出されたイメージＯＦ’の平均で計算される。そして、単方向参照が使用される場合に前記インター予測ブロックＰＦは前記抽出されたイメージＯＦ’と同一なものであり得る。
【００８０】
ダウンサンプラ３６０はモーション補償部３５０から提供されるインター予測ブロックＰＦをダウンサンプリングする。このようなダウンサンプリング過程において、図７と同じパディング過程が含み得る。
【００８１】
加算器３７０は前記ダウンサンプリングされた結果Ｄ・ＰＦと逆変換部４２０から提供される残差信号ＲＢを加算する。
【００８２】
デブロックフィルタ３８０は前記加算器３７０の出力（Ｄ・ＰＦ＋ＲＢ）に対してデブロックフィルタを適用してスムージングする。このようなデブロックフィルタを構成するデブロック関数ではＨ．２６４でのようにバイリニアフィルタを使用することもできるが、前記式（６）のように簡単な線形結合の形態を使用することもできる。また、このようなデブロックフィルタ過程は以後のアップサンプリング過程を考慮すると省略され得る。
【００８３】
アップサンプラ３９０は前記スムージングされた結果（Ｂ・（Ｄ・ＰＦ＋ＲＢ））をアップサンプリングする。アップサンプリングされた結果（Ｕ・Ｂ・（Ｄ・ＰＦ＋ＲＢ））は現在ブロックＯＦに対する予測ブロックとして加算器３３０に入力される。そうすると、加算器３３０は逆変換部３２０から出力される残差信号ＲＦと前記アップサンプリングされた結果（Ｕ・Ｂ・（Ｄ・ＰＦ＋ＲＢ））を加算して現在ブロックＯＦを復元する。
【００８４】
前記のようにデブロックフィルタリング過程遂行後アップサンプリング過程が遂行されるのが好ましいが、必ずこれに限定されず、アップサンプリング過程遂行後デブロックフィルタリング過程を遂行することも可能である。
【００８５】
前述した図５および図８の説明では二つの階層となったビデオフレームをコーディングする例を説明したが、これに限らず、三つ以上の階層構造を有するビデオフレームのコーディングにおいても本発明が適用され得ることは当業者ならば十分に理解できるものであろう。
【００８６】
今まで図５および図８の各構成要素はメモリ上の所定領域で遂行されるタスク、クラス、サブルーチン、プロセス、オブジェクト、実行スレッド、プログラムのようなソフトウェア（ｓｏｆｔｗａｒｅ）や、ＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ）やＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ）のようなハードウェア（ｈａｒｄｗａｒｅ）で具現されることができ、また前記ソフトウェアおよびハードウェアの組立てで形成され得る。前記構成要素はコンピュータで判読可能な保存媒体に含まれていることもでき、複数のコンピュータにその一部が分散して分布されることもできる。
【００８７】
図９および図１０は本発明を適用したコーデック（ＳＲ１）のコーディング性能を示すグラフである。図９は多様なフレーム率（７．５，１５，３０Ｈｚ）を有するＦｏｏｔｂａｌｌシーケンスにおいて、前記コーデック（ＳＲ１）と従来のコーデック（ＡＮＣ）との間に輝度成分ＰＳＮＲ（Ｙ−ＰＳＮＲ）を比較したグラフである。図９で見るように、従来のコーデックに比べて本発明を適用した場合、最大０．２５ｄＢまで向上させることができ、このようなＰＳＮＲの差異はフレーム率と関係がなく多少一定の形態で現れることが分かる。
【００８８】
一方、図１０は多様なフレーム率を有するＦｏｏｔｂａｌｌシーケンスにおいて、ＪＶＴ−００８５文書で提示した方法を適用したコーデックＳＲ２と本発明を適用したコーデックＳＲ１の性能を比較するグラフである。図１０で見るように、両者のＰＳＮＲの差異は最大０．０７ｄＢに達し、このようなＰＳＮＲの差異は大部分の場合において維持されることが分かる。
【００８９】
以上添付された図面を参照して本発明の実施形態を説明したが、本発明が属する技術分野で通常の知識を有する者は本発明がその技術的思想でも必須の特徴を変更せず、他の具体的な形態で実施され得ることを理解できるものであろう。したがって以上で記述した実施形態はすべての面で例示的なものであり、限定的ではないものとして理解しなければならない。
【産業上の利用可能性】
【００９０】
本発明によれば、多階層基盤のビデオコーデックにおいて単一ループデコーディング条件を満足しつつも、イントラベース予測を制限なく使用することができる。
【００９１】
このようなイントラベース予測の非制約的使用はビデオコーディングの性能の向上につながることができる。
【図面の簡単な説明】
【００９２】
【図１】多重ループを許容するビデオコーデックと、単一ループのみを使用するビデオコーデックの性能差異を示すグラフである。
【図２】サブブロックの垂直境界に対してデブロックフィルタを適用する例を示す図である。
【図３】サブブロックの水平境界に対してデブロックフィルタを適用する例を示す図である。
【図４】本発明の一実施形態による変形されたイントラベース予測過程を示すフローチャートである。
【図５】本発明の一実施形態によるビデオエンコーダの構成を図示したブロック図である。
【図６】パディング過程の必要性を示す図である。
【図７】具体的なパディング過程の一例を示す図である。
【図８】本発明の一実施形態によるビデオデコーダの構成を図示したブロック図である。
【図９】本発明を適用したコーデックのコーディング性能を示すグラフである。
【図１０】本発明を適用したコーデックのコーディング性能を示すグラフである。
【図１】
2009512324.tif 000009
【図２】
2009512324.tif 000010
【図３】
2009512324.tif 000011
【図４】
2009512324.tif 000012
【図５】
2009512324.tif 000013
【図６】
2009512324.tif 000014
【図７】
2009512324.tif 000015
【図８】
2009512324.tif 000016
【図９】
2009512324.tif 000017
【図１０】
2009512324.tif 000018
【国際調査報告】
2009512324.tif 000019
2009512324.tif 000020