(57)【特許請求の範囲】
【請求項１】
多階層構造を有するビデオで使われる第２階層以上の処理対象階層の内容の異なる複数のフラグを、前記処理対象階層に対応する第１階層である基礎階層の対応するそれぞれのフラグとの連関性を用いて符号化する方法であって、
所定の単位領域に含まれる前記処理対象階層のフラグと、前記基礎階層のフラグがすべて同一であるかを判断する段階と、
前記判断結果によって所定の予測フラグを設定する段階と、
前記判断結果が同一であれば、前記処理対象階層のフラグをスキップし、前記基礎階層のフラグ及び前記予測フラグをビットストリームに挿入する段階と、
を含むことを特徴とする方法。
【請求項２】
前記判断結果が同一でなければ、
前記処理対象階層のフラグをエントロピー符号化する段階と、
前記基礎階層のフラグ、前記予測フラグ、及び前記エントロピー符号化された処理対象階層のフラグをビットストリームに挿入する段階と、をさらに含む
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記エントロピー符号化段階以前に、
前記処理対象階層のフラグ及び前記基礎階層のフラグの間の排他的論理和を求める段階をさらに含み、
前記エントロピー符号化される処理対象階層のフラグは、前記求められた排他的論理和である
ことを特徴とする請求項２に記載の方法。
【請求項４】
前記単位領域は、フレーム、スライス、マクロブロックまたはサブブロックである
ことを特徴とする請求項１に記載の方法。
【請求項５】
前記処理対象階層のフラグ及び前記基礎階層のフラグは、
残差予測フラグ、イントラベースフラグ、モーション予測フラグ、ベースモードフラグ、及び精製係数のサイン(sign)フラグのうち少なくとも一つを含み、
前記精製係数は、前記処理対象階層に対応する前記基礎階層の係数が0ではない場合の前記処理対象階層の係数である
ことを特徴とする請求項１に記載の方法。
【請求項６】
前記判断結果が同一であれば、前記予測フラグは1に設定され、前記判断結果が同一でなければ、前記予測フラグは0に設定される
ことを特徴とする請求項１に記載の方法。
【請求項７】
多階層構造を有するビデオで使われる第２階層以上の処理対象階層の内容の異なる複数のフラグを、前記処理対象階層に対応する第１階層である基礎階層の対応するそれぞれのフラグとの連関性を用いて符号化する方法であって、
前記処理対象階層のすべてのフラグ及び前記基礎階層の対応するフラグの間の排他的論理和を求める段階と、
前記求められた論理和をエントロピー符号化する段階と、
前記エントロピー符号化された結果及び前記基礎階層のフラグをビットストリームに挿入する段階と、
を含むことを特徴とする方法。
【請求項８】
前記エントロピー符号化は、可変長符号化、算術符号化、ハフマン符号化のうち少なくとも一つを含む
ことを特徴とする請求項７に記載の方法。
【請求項９】
前記処理対象階層のフラグ及び前記基礎階層のフラグは、
残差予測フラグ、イントラベースフラグ、モーション予測フラグ、ベースモードフラグ、及び精製係数のサインフラグのうち少なくとも一つを含み、
前記精製係数は、前記処理対象階層に対応する前記基礎階層の係数が0ではない場合の前記処理対象階層の係数である
ことを特徴とする請求項７に記載の方法。
【請求項１０】
多階層構造を有するビデオで第１階層である基礎階層の内容の異なる複数のフラグとの連関性を用いて符号化された第２階層以上の処理対象階層の対応するそれぞれのフラグを復号化する方法であって、
入力されたビットストリームから予測フラグ、前記基礎階層のフラグを判読する段階と、
前記予測フラグが第1ビット値を有する場合、前記予測フラグが割り当てられた所定の単位領域内で、前記処理対象階層のすべてのフラグを前記判読された基礎階層の対応するフラグに置き換える段階と、
前記置き換えられた処理対象階層のフラグを出力する段階と、
を含むことを特徴とする方法。
【請求項１１】
前記入力されたビットストリームから、前記符号化された処理対象階層のフラグを判読する段階と、
前記予測フラグが第2ビット値を有する場合、前記符号化された処理対象階層のフラグをエントロピー復号化する段階と、
前記エントロピー復号化された結果及び前記判読された基礎階層のフラグの間の排他的論理和を求める段階と、
前記求めた排他的論理和の結果を出力する段階と、
をさらに含むことを特徴とする請求項１０に記載の方法。
【請求項１２】
前記エントロピー復号化は、可変長復号化、算術復号化、ハフマン復号化のうち少なくとも一つを含む
ことを特徴とする請求項１１に記載の方法。
【請求項１３】
前記単位領域は、フレーム、スライス、マクロブロックまたはサブブロックである
ことを特徴とする請求項１０に記載の方法。
【請求項１４】
前記処理対象階層のフラグ及び前記基礎階層のフラグは、残差予測フラグ、イントラベースフラグ、モーション予測フラグ、ベースモードフラグ、及び精製係数のサインフラグのうち少なくとも一つを含み、
前記精製係数は、前記処理対象階層に対応する前記基礎階層の係数が0ではない場合の前記処理対象階層の係数である
ことを特徴とする請求項１０に記載の方法。
【請求項１５】
多階層構造を有するビデオで第１階層である基礎階層の内容の異なる複数のフラグとの連関性を用いて符号化された第２階層以上の処理対象階層の対応するそれぞれのフラグを復号化する方法であって、
入力されたビットストリームから前記基礎階層のフラグ及び前記符号化された処理対象階層のフラグを判読する段階と、
前記符号化された処理対象階層のすべてのフラグをエントロピー復号化する段階と、
前記エントロピー復号化された結果及び前記判読された基礎階層の対応するフラグの間の排他的論理和を求める段階と、
前記求めた排他的論理和の結果を出力する段階と、
を含むことを特徴とする方法。
【請求項１６】
前記エントロピー復号化は、可変長復号化、算術復号化、ハフマン復号化のうち少なくとも一つを含む
ことを特徴とする請求項１５に記載の方法。
【請求項１７】
前記処理対象階層のフラグ及び前記基礎階層のフラグは、残差予測フラグ、イントラベースフラグ、モーション予測フラグ、ベースモードフラグ、及び精製係数のサインフラグのうち少なくとも一つを含み、
前記精製係数は、前記処理対象階層に対応する前記基礎階層の係数が0ではない場合の前記処理対象階層の係数である
ことを特徴とする請求項１５に記載の方法。
【請求項１８】
多階層構造を有するビデオで使われる第２階層以上の処理対象階層の内容の異なる複数のフラグを、前記処理対象階層に対応する第１階層である基礎階層の対応するそれぞれのフラグとの連関性を用いて符号化する装置であって、
所定の単位領域に含まれる前記処理対象階層のフラグと、前記基礎階層のフラグがすべて同一であるかを判断し、前記判断結果によって所定の予測フラグを設定する予測フラグ設定部と、
前記判断結果が同一であれば、前記処理対象階層のフラグをスキップし、前記基礎階層のフラグ及び前記予測フラグをビットストリームに挿入する挿入部と、
を含むことを特徴とする装置。
【請求項１９】
多階層構造を有するビデオで使われる第２階層以上の処理対象階層の内容の異なる複数のフラグを、前記処理対象階層に対応する第１階層である基礎階層の対応するそれぞれのフラグとの連関性を用いて符号化する装置であって、
前記処理対象階層のすべてのフラグ及び前記基礎階層の対応するフラグの間の排他的論理和を求める演算部と、
前記求められた論理和をエントロピー符号化するエントロピー符号化部と、
前記エントロピー符号化された結果及び前記基礎階層のフラグをビットストリームに挿入する挿入部と、
を含むことを特徴とする装置。
【請求項２０】
多階層構造を有するビデオで第１階層である基礎階層の内容の異なる複数のフラグとの連関性を用いて符号化された第２階層以上の処理対象階層の対応するそれぞれのフラグを復号化する装置であって、
入力されたビットストリームから予測フラグ、前記基礎階層のフラグを判読するビットストリーム判読部と、
前記予測フラグが第1ビット値を有する場合、前記予測フラグが割り当てられた所定の単位領域内で、前記処理対象階層のすべてのフラグを前記判読された基礎階層の対応するフラグに置き換え、前記置き換えられた処理対象階層のフラグを出力する置換部と、
を含むことを特徴とする装置。
【請求項２１】
多階層構造を有するビデオで第１階層である基礎階層の内容の異なる複数のフラグとの連関性を用いて符号化された第２階層以上の処理対象階層の対応するそれぞれのフラグを復号化する装置であって、
入力されたビットストリームから前記基礎階層のフラグ及び前記符号化された処理対象階層のフラグを判読するビットストリーム判読部と、
前記符号化された処理対象階層のすべてのフラグをエントロピー復号化するエントロピー復号化部と、
前記エントロピー復号化された結果及び前記判読された基礎階層の対応するフラグの間の排他的論理和を求め、前記求めた排他的論理和の結果を出力する演算部と、
を含むことを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ圧縮技術に関するものであって、より詳細には、多階層基盤のコーデックにおいて、階層別フラグの間の連関性を用いて前記フラグを効率的に符号化する方法及び装置に関する。
【背景技術】
【０００２】
インターネットを含む情報通信技術の発達につれて、文字、音声だけではなく画像通信が増加している。既存の文字を主とした通信方式では消費者の多様な欲求を満たすには不足であり、これに伴い文字、映像、音楽など多様な形態の特性を収容できるマルチメディアサービスが増加している。マルチメディアデータは、その量が膨大であって、大容量の記録媒体を必要とし、伝送時に広い帯域幅を必要とする。したがって、文字、映像、オーディオ(音声)を含んだマルチメディアデータを伝送するためには、圧縮コーディング技法を使うことが必須的である。
【０００３】
データを圧縮する基本的な原理は、データの重複(redundancy)要素を除去する過程である。イメージで同一な色や客体が反復されるような空間的重複や、動画フレームで隣接フレームがほとんど変化がない場合やオーディオで同じ音がずっと反復するような時間的重複、または人間の視覚及び知覚能力が高い周波数に鈍感であることを考慮した心理視覚重複を除去することでデータを圧縮することができる。一般的なビデオコーディング方法において、時間的重複は、モーション補償に基づいた時間的フィルタリング(temporal filtering)によって除去し、空間的重複は、空間的変換(spatial transform)によって除去する。
【０００４】
データの重複を除去した結果は、また量子化過程を通じて所定の量子化ステップにしたがって損失符号化される。前記量子化された結果は、最終的にエントロピー符号化(entropy coding)を通じて最終的に無損失符号化される。
現在、ISO/IEC(International Organization for Standardization/International Electrotechnical Commission)とITU(International Telecommunication Union)とのビデオ専門家の集まりであるJVT(Joint Video Team)で進行中であるスケーラブルビデオコーディング(以下、SVCと言う)草案(draft)では、既存のH.264を基盤とした多階層基盤のコーディング技術に関する研究が活発に進められている。
【０００５】
図１は、多階層構造を利用したスケーラブルビデオコーディング構造を示している。まず、第1階層をQCIF(Quarter Common Intermediate Format)、15Hz(フレーム率)として定義し、第2階層をCIF(Common Intermediate Format)、30hzとして、第3階層をSD(Standard Definition)、60hzとして定義する。もし、CIF0.5Mbpsストリーム(stream)を望むらなば、第2階層のCIF_30Hz_0.7Mでビット率(bit-rate)が0.5Mになるようにビットストリームを切り取れば良い。このような方式で空間的、時間的、SNRスケーラビリティを具現することができる。ところが、階層の間にはある程度の類似性が存在するために、各階層を符号化するにおいては、他の階層から予測された情報を利用することによって、ある階層(テクスチャデータ、モーションデータなど)の符号化効率を高める方法が多く利用されている。
【０００６】
一方、スケーラブルビデオコーディングにおいては、階層間情報の利用の可否と関連された多様なフラグ(flag)が存在するが、これらフラグは、スライス(slice)別、マクロブロック(macroblock)別、サブブロック(sub-block)別、甚だしくは、一つの係数(coefficient)別に設定されもする。したがって、ビデオコーディングにおいて、前記フラグによって増加されるオーバーヘッド(overhead)も無視できないという実情にある。
ところが、現在としては、前記テクスチャデータやモーションデータとは異なり、前記フラグに対しては、階層間の連関性(correlation)を考慮せず、別途に符号化されるか全く符号化されないという実情にある。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、前記した必要性を考慮して考案されたもので、多階層基盤のスケーラブルビデオコーデックで使われる多様なフラグを階層間の連関性を考慮して効率的に符号化する方法及び装置を提供することを技術的課題とする。
本発明は、前述した目的に制限されず、言及されなかったさらなる目的は、下記から当業者に明確に理解されるであろう。
【課題を解決するための手段】
【０００８】
前記した技術的課題を果たすために、多階層基盤のビデオで使われる現在階層のフラグを、前記現在階層に対応する基礎階層のフラグとの連関性を用いて符号化する方法として、所定の単位領域に含まれる前記現在階層のフラグと、前記基礎階層のフラグがすべて同一であるかを判断する段階と、前記判断結果によって所定の予測フラグを設定する段階と、及び前記判断結果、同一であれば、前記現在階層のフラグをスキップし、前記基礎階層のフラグ及び前記予測フラグをビットストリームに挿入する段階と、を含む。
【０００９】
前記した技術的課題を果たすために、多階層基盤のビデオで使われる現在階層のフラグを、前記現在階層に対応する基礎階層のフラグとの連関性を用いて符号化する方法として、前記現在階層のフラグ及び前記基礎階層のフラグの間の排他的論理和を求める段階と、前記求められた論理和をエントロピー符号化する段階と、及び前記エントロピー符号化された結果及び前記基礎階層のフラグをビットストリームに挿入する段階と、を含む。
【００１０】
前記した技術的課題を果たすために、多階層基盤のビデオにおいて、基礎階層のフラグとの連関性を用いて符号化された現在階層のフラグを復号化する方法として、入力されたビットストリームから予測フラグ、前記基礎階層のフラグを判読する段階と、前記予測フラグが第1ビット値を有する場合、前記予測フラグが割り当てられた所定の単位領域内で、前記現在階層のフラグを前記判読された基礎階層のフラグに置き換える段階と、及び前記置き換えられた現在階層のフラグを出力する段階と、を含む。
【００１１】
前記した技術的課題を果たすために、多階層基盤のビデオで基礎階層のフラグとの連関性を用いて符号化された現在階層のフラグを復号化する方法として、入力されたビットストリームから前記基礎階層のフラグ及び前記符号化された現在階層のフラグを判読する段階と、前記符号化された現在階層のフラグをエントロピー復号化する段階と、前記エントロピー復号化された結果及び前記判読された基礎階層のフラグの間の排他的論理和を求める段階と、及び前記求めた排他的論理和の結果を出力する段階と、を含む。
【発明の効果】
【００１２】
本発明によれば、多階層基盤のスケーラブルビデオコーデックで使われる多様なフラグの符号化効率を向上させうる。
【発明を実施するための最良の形態】
【００１３】
以下、添付された図面を参照して、本発明の望ましい実施形態を詳しく説明する。本発明の利点及び特性、そしてそれらの達成方法は、添付図面と共に詳細に後述されている実施形態を参照すれば、明確になる。しかし、本発明は、以下で開示される実施形態に限定されず、相異なる多様な形態で具現でき、単に本実施形態は本発明の開示を完全にし、当業者に発明の範ちゅうを完全に知らせるために提供され、本発明は請求項の範ちゅうにより定義されるだけである。明細書全体にわたって同一の参照符号は、同一の構成要素を指称する。
【００１４】
J Ridge及びM.Karczewiczによって16番目のJVTミーティングで提出された文書"Variable length code for SVC"(JVT-P056、Poznan、16-th JVT meeting;以下JVT-P056という)では、SVCの特性を考慮したCAVLC技法を提示している。JVT-P056は、離散階層(discrete layer)では既存のH.264と同一な処理過程によるが、FGS階層(Fine Granular Scalability layer)では、別途の統計的特性によるVLC技法を使う。前記FGS階層は、FGSコーディングにおいての第2階層以上の階層を意味し、前記離散階層は、前記FGSコーディングにおいての第1階層を意味する。
【００１５】
図２のように、一つの離散階層と少なくとも一つ以上のFGS階層で構成される係数(coefficients)をエントロピー符号化するに当っては、三種類のスキャニングパス(scanning pass)がある。前記スキャニングパスは、重要パス(significance pass)、精製パス(refinement pass)、及び残余パス(remainder pass)を含む。各々のスキャニングパスに対して、その統計的特性にともない互いに異なる方法が適用される。特に、精製パスでは、エントロピーコーディングにおいて"0"値がより選好されるという事実に基づいて得られる一つのVLCテーブルを利用する。一般的に、対応する離散階層係数が0であるFGS 階層係数は重要係数と呼ばれ、対応する離散階層係数が0ではないFGS階層係数は精製係数(refinement coefficient)と呼ばれる。前記重要係数は重要パスによって、前記精製係数は精製パスによって符号化される。
【００１６】
JVT-P05では、FGS階層のためのVLC技法を提示する。前記技法は、離散階層では従来の CAVLC技法をそのまま使うが、FGS階層では統計的特性を利用した別途の技法を使う。特に、JVT-P056は、前記三種類のスキャニングパスのうち、精製パスでの精製係数をコーディングするに当って、4個を単位に精製係数の絶対値をグループ化(grouping)し、前記グループ化された精製係数をVLCテーブルを用いて符号化し、前記精製係数の陽/陰を識別する符号、すなわち、サインフラグ(sign flag)は、これとは別途に符号化する。前記精製係数のサインフラグは、各精製係数別に付与されるために(精製係数が0である場合は除外)、これによるオーバーヘッドは相当に大きい。したがって、前記サインフラグのオーバーヘッドを減少させるために、前記サインフラグに対してランレベル(run-level)コーディングなどのエントロピー符号化を適用している。しかし、これはあくまでも該当のFGS階層内の情報のみを用いてなされ、他のFGS階層の情報を利用しない。
【００１７】
ところが、多様なビデオサンプルに対して観察した結果、大部分の場合に第1FGS階層の精製係数のサインと、これと対応する離散階層の係数のサインは同一であることが分かる。それにもかかわらず、第1FGS階層の精製係数のサインフラグを符号化するに当って、該当階層の情報のみを利用するということは相当に非効率的である。
【００１８】
このようなFGS階層のエントロピー符号化でのサインフラグ以外にも、現在スケーラブルビデオコーディング草案では、残差予測フラグ(residual_prediction_flag)、イントラベースフラグ(intra_base_flag)、モーション予測フラグ(motion_prediction_flag)、ベースモードフラグ(base_mode_flag)など多様なフラグが利用されており、これらフラグはビットストリームに含まれてビデオデコーダ端に伝送される。
【００１９】
残差予測フラグは、残差予測を使うか否かを表示するフラグである。残差予測とは、ある階層の残差信号(residual signal)を対応する基礎階層の残差信号を用いて予測することによって、残差信号の階層間重複性を減少させるための技法である。前記基礎階層は、ある階層を効率的に符号化するために参照される他の階層を任意の階層であって、第1階層に限定されず必ずしも下位の階層を意味するものでもない。
【００２０】
このような残差予測を使うか否かは、残差予測フラグによって表示されビデオデコーダ端に伝達される。そのフラグが1であれば、残差予測を使うことを表示し、0であれば、使わないことを表示する。一般的に、あるフラグが 1であれば、該当機能を使うということを、0であれば、該当機能を使わないということを意味する。
【００２１】
イントラベースフラグは、イントラベース予測を使うか否かを表示するフラグである。現在スケーラブルビデオコーディング草案では、図３のように既存のH.264で使われたインター予測（１）及びイントラ予測（２）だけでなく、基礎階層のイメージを用いて現在階層でのフレームを予測することで符号化するデータを減少させるイントラベース予測（３）も同時に支援する。前記草案では、イントラベース予測はイントラ予測の一種として扱い、イントラ予測において、前記イントラベースフラグが0であれば、従来の方向的(directional)イントラ予測を、前記フラグが1であれば、イントラベース 予測であることを表示する。
【００２２】
モーション予測フラグは、現在階層のモーションベクトルを予測してモーションベクトル差分(motion vector difference;MVD)を求めるに当って、同一階層の他のモーションベクトルを利用するか、基礎階層のモーションベクトルを利用するか否かを表示するフラグである。前記フラグが1である場合、基礎階層のモーションベクトルを利用することを意味し、0である場合、同一階層の他のモーションベクトルを利用することを意味する。
【００２３】
ベースモードフラグは、現在階層のモーション情報を表示するに当って、基礎階層のモーション情報を利用するか否かを表わすフラグである。もし、ベースモードフラグが1であれば、現在階層のモーション情報としては基礎階層のモーション情報をそのまま利用したり、基礎階層のモーション情報で多少精製(refine)された値を利用する。ベースモードフラグが0であれば、現在階層のモーション情報は基礎階層のモーション情報と無関係に別途に検索されて記録されることを表わす。前記モーション情報は、マクロブロック種類(macroblock type;mb_type)、インター予測時のピクチャーの参照方向(順方向、逆方向、双方向など)、及びモーションベクトルを含む。
【００２４】
以上のフラグを含んだ多様なフラグは、各階層の間に多少でも連関性を有する。すなわち、現在階層のフラグは、この階層に対する基礎階層のフラグと同一な値を持つ確率が高いということである。また、通常のエントロピー符号化においては、符号化される値のうち0が多く含まれるほど圧縮効率が向上するということがよく知られている。これは、前記エントロピー符号化で連続された0を一つのラン(run)で処理したり、0に偏向(bias)されたテーブルを参照する技法を使っているためである。このような点を考慮すれば、基礎階層のフラグと対応する現在階層のフラグが同一な場合には0、そうではない場合には1に表示することでエントロピー符号化の時、圧縮効率を向上させることができるであろう。
【００２５】
図４は、本発明の一実施形態によるフラグ符号化装置１００の構成を図示するブロック図である。フラグ符号化装置１００は、フラグ判読部１１０、予測フラグ設定部１２０、演算部１３０、エントロピー符号化部１４０、及び挿入部１５０を含んで構成することができる。
フラグ判読部１１０は、所定のメモリ領域に格納されたフラグの値を判読する。一般的に、フラグ値は1ビット(1または0)で表示されるが、必ずしもこれに限るものではない。前記フラグは、現在階層のフラグFC及び前記現在階層に対する基礎階層のフラグFBを含む。
【００２６】
予測フラグ設定部１２０は、所定の単位領域内で、前記現在階層のフラグFC及びこれに各々対応する基礎階層のフラグFBがすべて同一であるかを判断し、同一ならば、予測フラグP_flagを1に設定し、同一でなければ、前記予測フラグP_flagを0に設定する。前記単位領域は、フレーム、スライス、マクロブロックまたはサブブロックなどでなすことができる。単位領域内に含まれたフラグが階層間に同一であれば、前記予測フラグを1に表示する代わりに現在階層のフラグFCはスキップ(skip)できる。このときには、下位階層のフラグFB及び予測フラグP_flagのみがビットストリームに挿入されてビデオデコーダ端に伝送される。 
【００２７】
演算部１３０は、前記予測フラグが0に設定される場合に、現在階層のフラグFCとこれに各々対応する基礎階層のフラグFBに対して排他的論理和(exclusive OR)演算を行う。排他的論理和演算は、二つのビット値が入力される時、前記ビット値が同一であれば0を、同一でなければ1を出力する論理演算方法である。互いに対応する階層間のフラグFC、FBが同一である可能性が高ければ、前記演算によって大部分の出力は0になるはずで、これによってエントロピー符号化の効率を向上させることができる。
【００２８】
例えば、第1FGS 階層を現在階層であるとした時、図５のようにサブブロック当り精製係数(陰陽で表示)が表われると言う。点線矢印で表示された順序(ジグザグスキャン)に精製係数を配列したら、現在階層のサインフラグ(陽は0、陰は1で表示される)は{10101}になり、これに対応する基礎階層(離散階層)のサインフラグは{10100}になる。前記フラグの集合に対して排他的論理和演算を行えば{00001}になる。この場合、現在階層のサインフラグ{10101}をエントロピー符号化するよりは、演算結果である{00001}をエントロピー符号化することが圧縮効率面で有利である。
【００２９】
再び、図４を参照すれば、エントロピー符号化部１４０は、演算部１３０での演算結果RCを無損失符号化する。このような無損失符号化方法としては、可変長符号化(CAVLCを含む)、算術符号化(Context-Based Adaptive Binary Arithmetic Codingを含む)、ハフマン符号化、など多様な方法を使用することができる。
【００３０】
挿入部１５０は、予測フラグP_flagが1である場合、前記予測フラグと、基礎階層のフラグFBをビットストリーム(BS)に挿入する。一方、予測フラグが0の場合、前記予測フラグ、基礎階層のフラグFB及び前記エントロピー符号化された演算結果RC'をビットストリーム(BS)に挿入する。前記ビットストリーム(BS)は、多階層ビデオエンコーダによって損失符号化されたデータであり、前記挿入結果、最終ビットストリームが生成される。
【００３１】
図６は、本発明の一実施形態によるフラグ復号化装置２００の構成を図示するブロック図である。フラグ復号化装置２００は、ビットストリーム判読部２１０、予測フラグ判読部２２０、置換部２３０、エントロピー復号化部２４０、及び演算部２５０を含んで構成されうる。
ビットストリーム判読部２１０は、最終ビットストリームをパージング(parsing)して、基礎階層のフラグFB及び予測フラグP_flagを抽出する。そして、エントロピー符号化された演算結果RC'も同時に抽出する。
【００３２】
予測フラグ判読部２２０は、前記抽出された予測フラグP_flagを判読して、その値が0であれば、演算部２５０を、その値が1であれば、置換部２３０を動作させる。
置換部２３０は、予測フラグ判読部２２０から予測フラグが1であるということが通知された場合、現在階層のフラグFCを基礎階層のフラグFBに置換する(substitution)。したがって、出力される基礎階層のフラグFBと現在階層のフラグFCとは同一になる。
一方、エントロピー復号化部２４０は、前記演算結果RC'を無損失復号化する。このような復号化は、前記エントロピー符号化部１４０による無損失符号化の逆で行われる。
【００３３】
演算部２５０は、予測フラグ判読部２２０から予測フラグが0であるということが通知された場合、基礎階層のフラグFBと前記無損失符号化結果RCに対して排他的論理和演算を行う。最初に、演算部１３０で数学式（１）のような演算(^は、排他的論理和演算表示である)を通じてRCを計算したが、前記数学式（１）の両辺に"^FB"を取れば、右辺の"^FB^FB"は消去されて、次の数学式（２）のような結果が表われる。
【００３４】
RC=FC^FB・・・（１）
【００３５】
RC^FB=FC・・・（２）
【００３６】
したがって、演算部２５０は、RCとFBに対する排他的論理和演算を行うことによって、現在階層のフラグFCを復元することができる。最終的に、フラグ復号化装置２００の出力は、基礎階層のフラグFBと、現在階層のフラグFCになる。
【００３７】
今まで図４及び図６の各構成要素は、メモリ上の所定領域で行われるタスク(task)、ガラス(glass)、サブルーチン(sub-routine)、プロセス(process)、オブジェクト(object)、実行スレッド(execution thread)、プログラム(program)のようなソフトウェア(software)や、FPGA(field-programmable gate array)やASIC(application-specific integrated circuit)のようなハードウェア(hardware)で具現することができ、また、前記ソフトウェア及びハードウェアの組合わせからもなし得る。前記構成要素は、コンピュータで判読可能な記録媒体に含むこともでき、複数のコンピュータにその一部が分散して分布することもできる。
【００３８】
図７は、本発明の一実施形態によるフラグ符号化方法を表わすフローチャートである。
まず、フラグ判読部１１０は、基礎階層のフラグFB及び現在階層のフラグFCを読む(S11)。すると、予測フラグ設定部１２０は、単位領域内で前記読んだFBと対応するFCがすべて同一であるかを判断する(S12)。
前記判断結果、同一であれば(S12のはい)、予測フラグ設定部１２０は予測フラグP_flagを1に設定し(S17)、挿入部１５０はビットストリームに前記予測フラグP_flag及びFBを挿入する(S18)。
一方、前記判断の結果、同一でなければ(S12のいいえ)、予測フラグ設定部１２０は、予測フラグP_flagを0に設定する。すると、演算部１３０は、前記読んだFB及びFCに対して排他的論理和演算を行う(S14)。他の実施形態において、前記S14の過程は省略することもできる(この場合には、FCが直接エントロピー符号化される)。
エントロピー符号化部１４０は、前記演算実行結果RCをエントロピー符号化する(S15)。最後に、挿入部１５０は、ビットストリームに前記予測フラグP_flag、FB、及び前記エントロピー符号化結果RC'を挿入する。
【００３９】
図８は、本発明の他の実施形態によるフラグ符号化方法を表わすフローチャートであって、図７のフローチャートで予測フラグの設定過程を除いたものである。図８では、単位領域内でFBとFCとが同一であるか否かと関係なく排他的論理和演算を適用する。
まず、フラグ判読部１１０は、基礎階層のフラグFB及び現在階層のフラグFCを読む(S21)。すると、演算部１３０は、前記読んだFB及びFCに対して排他的論理和演算を行う(S22)。エントロピー符号化部１４０は、前記演算実行結果RCをエントロピー符号化する(S23)。最後に、挿入部１５０は、ビットストリームにFB、及び前記エントロピー符号化された演算結果RC'を挿入する。
【００４０】
図９は、本発明の一実施形態によるフラグ復号化方法を表わすフローチャートである。
まず、ビットストリーム判読部２１０は、最終ビットストリーム(最終BS)を判読して、基礎階層のフラグFBと、前記エントロピー符号化された演算結果RC'と、前記予測フラグP_flagを抽出する(S31)。すると、予測フラグ判読部２２０は、前記抽出された予測フラグP_flagが0であるかを判断する(S32)。
【００４１】
前記判断結果、前記予測フラグP_flagが1であれば(S32のいいえ)、置換部２３０は単位領域内で、現在階層のフラグFCを前記抽出された基礎階層のフラグFBに置換し(S35)、前記置換された現在階層のフラグFCを出力する(S36)。前記単位領域は、フレーム、スライス、マクロブロックまたはサブブロックなどでなすことができる。
一方、前記判断の結果、前記予測フラグP_flagが0であれば(S32のはい)、エントロピー復号化部２４０は、前記エントロピー符号化された演算結果RC'を復号化して演算結果RCを復元する(S33)。このような復号化は、前記エントロピー符号化の逆で行われうる。
演算部２５０は、基礎階層のフラグFBと前記無損失符号化結果RCに対して排他的論理和演算を行って、現在階層のフラグFCを復元する(S34)。そして、前記復元された現在階層のフラグFCを出力する(S36)。
【００４２】
図１０は、本発明の他の実施形態によるフラグ復号化方法を表わすフローチャートであって、図９のフローチャートで予測フラグと関連した過程を除外したものである。図１０ではP_flagの値を問わず、エントロピー復号化(S42)及び排他的論理和演算(S43)を適用する。
まず、ビットストリーム判読部２１０は、最終ビットストリーム(最終BS)を判読して、基礎階層のフラグFBと、前記エントロピー符号化された演算結果RC'とを抽出する(S41)。すると、エントロピー復号化部２４０は、前記エントロピー符号化された演算結果RC'を復号化して演算結果RCを復元する(S42)。演算部２５０は、基礎階層のフラグFBと前記無損失符号化結果RCに対して排他的論理和演算を行って、現在階層のフラグFCを復元する(S43)。そして、前記復元された現在階層のフラグFCを出力する(S44)。
【００４３】
図１１は、図４のフラグ符号化装置１００が適用されうる多階層基盤のビデオエンコーダ５００の構成を図示するブロック図である。
オリジナルビデオシーケンスは、現在階層エンコーダ４００に入力され、同時にダウンサンプリング部３０５によってダウンサンプリング(階層間に解像度の変化がある場合に限る)された後、基礎階層エンコーダ３００に入力される。
予測部４１０は、現在マクロブロックから所定の方法に予測されたイメージを差分することで残差信号を求める。前記予測方法としては、方向的イントラ予測、インター予測、イントラベース予測、及び残差予測などがある。
【００４４】
変換部４２０は、前記求めた残差信号をDCT、ウェーブレット変換など空間的変換技法を用いて変換して変換係数を生成する。
量子化部４３０は、前記変換係数を所定の量子化ステップで量子化して(量子化ステップが大きいほどデータの損失ないし圧縮率が高い)量子化係数を生成する。
エントロピー符号化部４４０は、前記量子化係数を無損失符号化して現在階層ビットストリームを出力する。
【００４５】
フラグ設定部４５０は、多様な段階で得られる情報からフラグを設定する。例えば、残差予測フラグ(residual_prediction_flag)、イントラベースフラグ(intra_base_flag)などは予測部４１０で得られる情報を通じて設定され、精製係数のサインフラグ(sign flag)はエントロピー符号化部４４０から得られる情報を通じて設定される。このように設定された現在階層のフラグFCは、フラグ符号化装置１００に入力される。
現在階層エンコーダ４００と同様に、基礎階層エンコーダ３００も同一な機能の予測部３１０、変換部３２０、量子化部３３０、エントロピー符号化部３４０、及びフラグ設定部３５０を含む。エントロピー符号化部３４０は、基礎階層ビットストリームを Mux(multiplexer)３６０に出力し、フラグ設定部３５０は基礎階層のフラグFBをフラグ符号化装置１００に提供する。
【００４６】
Mux３６０は、現在階層ビットストリームと基礎階層ビットストリームを結合してビットストリーム(BS)を生成して、フラグ符号化装置１００に提供する。
フラグ符号化装置１００は、前記提供されたFB、FCの間の連関性を用いてFCを符号化し、前記符号化されたFC及び前記提供されたFBを前記提供されたビットストリームに挿入することによって、最終ビットストリーム(最終BS)を出力する。
【００４７】
図１２は、図６のフラグ復号化装置２００が適用されうる多階層基盤のビデオエンコーダ８００の構成を図示するブロック図である。
入力される最終ビットストリーム(最終BS)は、フラグ復号化装置２００及びDemux(demultiplexer)６５０に入力される。Demux６５０は、前記最終ビットストリームを現在階層ビットストリーム及び基礎階層ビットストリームに分離して現在階層エンコーダ７００及び基礎階層デコーダ６００に各々提供する。
【００４８】
エントロピー復号化部７１０は、エントロピー符号化部４４０と対応する方式で無損失復号化を行って量子化係数を復元する。
逆量子化部７２０は、前記復元された量子化係数を量子化部４３０で使われた量子化ステップで逆量子化する。
逆変換部７３０は、前記逆量子化された結果を逆DCT変換、逆ウェーブレット変換などの逆空間的変換技法を使って逆変換する。
【００４９】
逆予測部７４０は、予測部４１０で求めた予測イメージを同一な方式で求め、前記求めた予測イメージを前記逆変換された結果と加算することでビデオシーケンスを復元する。
現在階層デコーダ７００と同様に、基礎階層デコーダ６００も同一な機能のエントロピー復号化部６１０、逆量子化部６２０、逆変換部６３０、及び逆予測部６４０を含む。
一方、フラグ復号化装置２００は、前記最終ビットストリームから基礎階層のフラグFBと、現在階層のフラグFCの符号化された値を抽出し、前記FBと前記符号化された値から現在階層のフラグFCを復元する。
【００５０】
前記抽出された基礎階層のフラグFBは、基礎階層デコーダ６００の構成要素６１０、６２０、６３０、６４０で該当の動作を行うのに利用され、前記復元された現在階層のフラグFCは、または現在階層デコーダ７００の構成要素７１０、７２０、７３０、７４０で該当の動作を行うのに利用される。
以上、添付された図面を参照して、本発明の実施形態を説明したが、当業者ならば本発明がその技術的思想や必須な特性を変更せず、他の具体的な形態に実施されるということを理解できるであろう。したがって、前述した実施形態は、あらゆる面で例示的なものであり、限定的ではないということを理解せねばならない。
【産業上の利用可能性】
【００５１】
本発明は、多階層基盤のコーデックにおいて、階層別フラグの間の連関性を用いて前記フラグを効率的に符号化する方法及び装置に関連する技術分野に適用されうる。
【図面の簡単な説明】
【００５２】
【図１】多階層構造を利用したスケーラブルビデオコーディング構造を示す図である。
【図２】一つの離散階層と少なくとも一つ以上のFGS階層で構成されるFGS符号化の構造を示す図である。
【図３】スケーラブルビデオコーディングで提供する三種類の予測技法を概念的に図示する図である。
【図４】本発明の一実施形態によるフラグ符号化装置の構成を図示するブロック図である。
【図５】精製係数の例を示す図である。
【図６】本発明の一実施形態によるフラグ復号化装置の構成を図示するブロック図である。
【図７】本発明の一実施形態によるフラグ符号化方法を表わすフローチャートである。
【図８】本発明の他の実施形態によるフラグ符号化方法を表わすフローチャートである。
【図９】本発明の一実施形態によるフラグ復号化方法を表わすフローチャートである。
【図１０】本発明の他の実施形態によるフラグ復号化方法を表わすフローチャートである。
【図１１】図４のフラグ符号化装置が適用されうる多階層基盤のビデオエンコーダの構成を図示するブロック図である。
【図１２】図６のフラグ復号化装置が適用されうる多階層基盤のビデオエンコーダの構成を図示するブロック図である。
【符号の説明】
【００５３】
１００  フラグ符号化装置
１１０  フラグ判読部
１２０  予測フラグ設定部
１３０  演算部
１４０，３４０，４４０  エントロピー符号化部
１５０  挿入部
２００  フラグ復号化装置
２１０  ビットストリーム判読部
２２０  予測フラグ判読部
２３０  置換部
２４０，６１０，７１０  エントロピー復号化部
２５０  演算部
３００  基礎階層エンコーダ
３０５  ダウンサンプリング部
３１０，４１０  予測部
３２０，４２０  変換部
３３０，４３０  量子化部
３５０，４５０  フラグ設定部
３６０  Mux
４００  現在階層エンコーダ
５００  ビデオエンコーダ
６００  基礎階層デコーダ
６２０，７２０  逆量子化部
６３０，７３０  逆変換部
６４０，７４０  逆予測部
６５０  Demux
７００  現在階層デコーダ
８００  ビデオデコーダ
【図２】
0004589290.tif 000002
【図４】
0004589290.tif 000003
【図６】
0004589290.tif 000004
【図７】
0004589290.tif 000005
【図８】
0004589290.tif 000006
【図９】
0004589290.tif 000007
【図１０】
0004589290.tif 000008
【図１１】
0004589290.tif 000009
【図１２】
0004589290.tif 000010
【図１】
0004589290.tif 000011
【図３】
0004589290.tif 000012
【図５】
0004589290.tif 000013