(57)【要約】【課題】本発明は、映像信号をエンコードして映像信号を複数の階層に提供する時、階層間予測に対する情報を提供する方法を提供する。【解決手段】映像信号を拡張階層と基本階層とのビットストリームにエンコードするための方法は、前記拡張階層のピクチャ内の映像ブロックを、前記映像ブロックに対応する基本階層のブロックの映像データに基づいて残余データにコーディングして、前記コーディングが階層間予測制限によってなされたものであるか、または階層間予測非制限によってなされたものであるかを示す指示情報を前記拡張階層のビットストリームを通じて提供する。【選択図】図３
2008543161.tif 000002
【特許請求の範囲】
【請求項１】
映像信号を第１階層と第２階層とのビットストリームでエンコードするための方法において、
前記第１階層のピクチャ内の映像ブロックを前記映像ブロックに対応する前記第２階層のブロックの映像データに基づいて残余データにコーディングする段階（１）と、
前記コーディングが階層間予測制限によって達成されるものであるか、階層間予測非制限によって達成されるものであるかを示す指示情報を前記第１階層のビットストリームを通じて提供する段階（２）と、を含む方法。
【請求項２】
イントラモードブロックの復元時に隣接インタモードブロックデータの使用が制限されるか否かを示す、前記第２階層のビットストリームに含まれた情報が制限性が付加された値に設定されている場合に、前記指示情報はコーディングが階層間予測非制限によって達成されることを示すことを特徴とする請求項１に記載の方法。
【請求項３】
前記の対応ブロックは、イントラモードまたはインタモードでコーディングされることを特徴とする請求項２に記載の方法。
【請求項４】
イントラモードブロックの復元時に隣接インタモードブロックデータの使用が制限されるか否かを示す、前記第２階層のビットストリームに含まれた情報が制限性が付加された値に設定されている場合に、前記指示情報は階層間予測制限値と階層間予測非制限値のうちの一つに設定されることを特徴とする請求項１に記載の方法。
【請求項５】
前記指示情報は、ピクチャの類型によって区分されて割り当てられた複数個の情報を含むことを特徴とする請求項１に記載の方法。
【請求項６】
前記指示情報は、ピクチャの類型別に区分されて前記ピクチャが階層間予測制限状態でコーディングされたものであるか、または階層間予測非制限状態でコーディングされたものであるかを示す３個以上の情報を含むことを特徴とする請求項１に記載の方法。
【請求項７】
エンコードされたビットストリームを受信して第１階層と第２階層とのエンコードされたビットストリームをデコーディングするための方法において、
前記第１階層のビットストリームを通じて提供される、前記第１階層のデータの全部または一部が階層間予測制限状態でコーディングされたものであるか、または階層間予測非制限状態でコーディングされたものであるかを示す指示情報を把握する段階（１）と、
前記第１階層のピクチャ内の特定モードを有する対応ブロックを復元するために前記第２階層のインタモードブロックが先に復元されるか否かを決定する段階（２）と、を含む方法。
【請求項８】
前記特定モードは、イントラＢＬモードであることを特徴とする請求項７に記載の方法。
【請求項９】
前記段階（２）で、前記第２階層のインタモードブロックが先に復元されるか否かは指示情報に基づいてピクチャの類型別に決定されることを特徴とする請求項７に記載の方法。
【請求項１０】
前記第２階層のビットストリームに含まれている、イントラモードブロックが復元される場合に隣接インタモードブロックデータの使用に対する制限可否を指示するフラッグを確認する段階をさらに含むことを特徴とする請求項７に記載の方法。
【請求項１１】
前記段階（１）及び段階（２）は、前記の確認されたフラッグが隣接インタモードブロックデータの使用が制限されることを指示する場合に遂行されることを特徴とする請求項１０に記載の方法。
【請求項１２】
前記の確認されたフラッグが隣接インタモードブロックデータの非制限を指示する場合に、前記段階（１）を遂行しなくて前記第１階層のピクチャ内の特定モードを有する対応ブロックを復元するために前記第２階層のインタモードブロックが先に復元されるか否かを決定する段階をさらに含むことを特徴とする請求項１０に記載の方法。
【請求項１３】
前記指示情報は、スライスヘッダー、ピクチャヘッダー、シーケンスヘッダー及びピクチャグループヘッダーのうちの一つに含まれることを特徴とする請求項７に記載の方法。
【請求項１４】
エンコードされたビットストリームを受信して第１階層と第２階層とのエンコードされたビットストリームをデコーディングするための方法において、
前記第２階層のビットストリームにフラッグが含まれて、イントラモードブロックが復元される場合に隣接インタモードブロックデータの使用に対する制限可否を指示する指示情報を確認する段階（１）と、
前記段階（１）で確認された指示情報が前記隣接インタモードブロックデータの使用が制限されることを指示する場合に、前記第１階層のビットストリームを通じて提供される、前記第１階層のデータの全部または一部が階層間予測制限状態でコーディングされたものであるか、または階層間予測非制限状態でコーディングされたものであるかを示す指示情報を確認する段階（２）と、を含む方法。
【請求項１５】
前記指示情報は、スライスヘッダー、ピクチャヘッダー、シーケンスヘッダー及びピクチャグループヘッダーのうちの一つに含まれることを特徴とする請求項１４に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号をエンコードして前記映像信号を複数の層に提供する場合に階層間予測に対する情報を提供して利用するための方法に関するものである。
【背景技術】
【０００２】
スケーラブル映像コーデック(ＳＶＣ：Scalable Video Codec)方式によると、映像信号はエンコードから誘導されたピクチャシーケンスの一部(シーケンス全体で間歇的に選択されたフレームのシーケンス)がデコーディングされる場合にも低画質映像が提供されることができるように最高画質としてエンコードされる。動き補償時間フィルター(ＭＣＴＦ：motion compensated temporal filter)(またはフィルタリング)はスケーラブル映像コーデック方式のために提供されたエンコード方式のうちの一つである。
【０００３】
しかし、受信された一連のピクチャのうちで一部だけが処理される場合でも、スケーラブル映像コーデックを通じてエンコードされたピクチャシーケンスは低画質の画像を提供し得るが、ビット速度(bit rate)が低下される場合に画質低下が大きく起きる。画質低下を克服するために、小画面映像(small-sized video)及び/または少ない数の秒当たりのフレーム数を有するピクチャシーケンス(picture sequence)のように低い送信率を有する追加的な補助ピクチャシーケンスが一つ以上の層を具備した階層構造(hierarchy structure)で提供されることができる。
【０００４】
２個のシーケンスが処理されるという仮定下で、補助シーケンス(下位階層シーケンス)と主ピクチャシーケンス(上位階層シーケンス)は基本階層(base layer)と拡張階層(enhancement layer)でそれぞれ呼称される。しかし、基本階層と拡張階層とは同一の映像信号源をエンコードして獲得されるので、付加情報(redundancy information)は両階層の映像信号に存在する。よって、拡張階層の符号化速度(coding rate)を改善するために、拡張階層の映像信号が基本階層のコーディング情報を利用してコーディングされる。これは階層間予測方式(inter-layer prediction scheme)のうちの一つの類型である。
【０００５】
例えば、拡張階層の現在のマクロブロックの類型がイントラモードマクロブロック(intra mode macro block)で決定される場合に、上記の現在のマクロブロックは基本階層のイントラモードの該当ブロック(このような該当ブロックは拡張階層のマクロブロックと一時的に同時に発生するか、または一致)の映像データ(image data)を利用して残余データ(residual data)でコーディングされる。
【０００６】
コーディングされたマクロブロックは、‘イントラＢＬモードブロック(intra ＢＬ mode block)’と称するが、マクロブロックのためのイントラＢＬモードへの指定は制限的であるか、またはそうではないことがある。例えば、図１ａに示すように、階層間予測(inter-layer prediction)は基本階層の対応ブロックがイントラモードでコーディングされる場合にのみ階層間予測を許容することで制限されることができる。また、図１ｂに示すように、階層間予測は基本階層の対応ブロックがイントラモードだけでなく、インタモード(inter mode)でコーディングされる場合にも階層間予測を許容することで制限されないこともある。
【０００７】
エンコーディングモード(エンコーダー側)またはデコーディングモード(デコーダー側)は基本階層の‘制限イントラ予測フラッグ(constrained_intra_pred_flag)’の値を基礎にして図１ａ及び図１ｂに示されたモードの一つから決定される。イントラモードでコーディングされた残余データを具備したマクロブロックが復元される場合に、隣接インタモードブロックのために前記フラッグは固定された値(制限イントラ予測フラッグconstrained_intra_pred_flag=１)を使用するか、または復元された画素値(制限イントラ予測フラッグconstrained_intra_pred_flag=０)を使用するかを指示するために使用される。
【０００８】
しかし、図２に示すように映像信号が３個の階層でエンコードされて、上位階層Ｌ１と中間階層Ｌ２すべてが下位階層Ｌ３を予測階層として採択することで、コーディングされた後デコーダーに提供される場合に、上位階層Ｌ１と中間階層Ｌ２のすべては下位階層Ｌ３のイントラモードブロックのためのコーディング方式によって制限される。言い替えれば、下位階層Ｌ３の制限イントラ予測フラッグ(constrained_intra_pred_flag)が‘１’である場合に、上位階層Ｌ１と中間階層Ｌ２が図１ａに示す制限方式(constrained scheme)を通じてコーディングされるように予測-制限(prediction-constraint)が上位階層Ｌ１と中間階層Ｌ２に割り当てられる。また、制限イントラ予測フラッグ(constrained_intra_pred_flag)が‘０’である場合に、上位階層Ｌ１と中間階層Ｌ２が図１ｂに示す非制限方式(unconstraint scheme)を通じてコーディングされるように予測-非制限(prediction-unconstraint)が上位階層Ｌ１と中間階層Ｌ２に割り当てられる。言い替えれば、階層間予測が下位階層Ｌ３を基礎にして遂行される場合に、下位階層の上位階層は階層間予測制限または階層間予測非制限を個別的に選択することができない。
【０００９】
また、階層間予測制限(非制限)がお互いに違う属性(attribute)を有する“制限イントラ予測フラッグ”に対して決定されるので、下位階層の“制限イントラ予測フラッグ(constrained_intra_pred_flag)”が複数の階層のうちで特定値を有したら、上位階層は階層間予測制限に対する自由度を喪失することがある。言い換えると、階層間予測制限と階層間予測非制限のうち一つだけが上位階層のために強制的に決定される。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
したがって、本発明は従来技術に発生した前述した問題点を解決するために提案されたものであり、本発明の目的は予測コーディングされた階層(prediction coded layer)を通じて映像信号に対する階層間予測制限に関する情報を送信して、この送信された情報を利用して映像信号をデコーディングするための方法を提供することである。
【課題を解決するための手段】
【００１１】
前記目的を達成するために、映像信号を第１階層及び第２階層のビットストリームにエンコードするための方法が提供されて、前記方法は、第１階層のピクチャ内の映像ブロックをその映像ブロックに対応する第２階層のブロックの映像データを基礎にして残余データ(residual data)にコーディングする段階(１)と、上記の第１階層のビットストリームを通じて指示情報(indication information)を提供する段階(２)と、を含んで、前記指示情報は上記のコーディングが階層間予測制限で達成されるか、それとも階層間予測非制限で達成されるかを示す。
【００１２】
本発明の他の態様によると、エンコードされたビットストリームを受信することで第１階層及び第２階層のエンコードされたビットストリームをデコーディングするための方法が提供されて、前記方法は、上記の第１階層のすべてのデータまたは一部のデータが階層間予測制限状態でコーディングされるか、それとも階層間予測非制限状態でコーディングされるかを示す、上記の第１階層のビットストリームを通じて提供された指示情報を決定する段階（１）と、上記の第１階層のピクチャの特定モードを具備した対応ブロックを復元するために上記の第２階層のインタモードブロックが先に復元されるか否かを決定する段階（２）を含む。
【００１３】
本発明のまた他の態様によると、エンコードされたビットストリームを受信することで第１階層及び第２階層のエンコードされたビットストリームをデコーディングするための方法が提供されて、前記方法は、隣りのインタモードブロックデータの使用がイントラモードブロックが復元される場合に制限されてフラッグが上記の第２階層のビットストリームに含まれることを示す指示情報を決定する段階（１）と、上記の第１階層のすべてのデータまたは一部のデータが階層間予測制限状態でコーディングされるか、または階層間予測非制限状態でコーディングされるかを示す指示情報を決定する段階（２）を含み、前記指示情報は段階(１)の決定された指示情報が隣りのインタモードブロックデータの使用が制限されることを示す場合に上記の第１階層のビットストリームを通じて提供される。
【００１４】
本発明の一実施例によると、上記の指示情報はピクチャの類型別でお互いに違う値を有して割り当てられる。
【００１５】
本発明の一実施例によると、ピクチャの類型はキー(key)ピクチャ(または低域成分ピクチャ)そして非-キーピクチャ(または高域成分ピクチャ)の二つの類型に区別される。
【００１６】
本発明の一実施例によると、前記指示情報はピクチャの類型によって区別されてピクチャが階層間予測制限/非制限によってコーディングされるかどうかを示す値を有する。
【発明の効果】
【００１７】
本発明によると、階層間予測制限/非制限状態が階層間予測のための基本階層ではない予測コーディングされた階層を通じて直接的に伝達するので、映像信号が複数の層を基礎にしてエンコードされて伝達する場合にそれぞれの層の予測制限を個別的に設定するか、または解除することができる。よって、コーディングが自由に遂行されることができるし、エンコード環境に好適な階層コーディングが達成されることができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の望ましい実施例に対して添付された図面を参照にして詳しく説明する。下の記載と図面において、同一な図面符号は同一であるか、または類似の部材を指定するのに使用されて、同一であるかまたは類似の部材に対する記載の繰り返しが省略される。
【００１９】
図３は本発明による映像信号スケーラブルコーディング方式を採択した映像信号エンコード装置の構成を示す構成図である。図３に示す装置は入力映像信号を２個の階層にコーディングするが、後述される本発明の原理は装置が入力信号を３個以上の階層にコーディングする場合にも階層間に適用されることができる。
【００２０】
本発明による図３の映像信号エンコード装置は、入力映像信号を指定方式(例えば、ＭＣＴＦまたはＡＶＣ)によって各マクロブロック単位でスケーラブルにエンコードして好適な管理情報を生成する拡張階層(ＥＬ:enhanced layer)エンコーダー１と、該エンコードされた各マクロブロックの情報を圧縮されたビット列(bit string)に変換するテクスチュア(Texture)コーディング部２と、前記ＥＬエンコーダー１によって獲得される映像ブロックのモーションベクター(motion vectors)を指定された方式によって圧縮されたビット列にコーディングするモーションコーディング部３と、入力映像信号を指定された方式、例えばＡＶＣ方式でエンコードして小画面、例えば元々の映像の大きさの２５％の大きさであるピクチャのシーケンスを生成するか、または拡張階層と同一の大きさであるがフレームレートが低いピクチャのシーケンスを生成する基本階層(ＢＬ:base layer)エンコーダー４と、前記テクスチュアコーディング部２の出力データと前記基本階層エンコーダー４のエンコードされた映像シーケンスと前記モーションコーディング部３の出力ベクターデータを所定のフォーマットでカプセル化して所定の送信フォーマットで相互に多重化した後前記多重化されたデータを出力するマルチプレクサ(muxer)５を含む。
【００２１】
拡張階層エンコーダー１は任意の映像フレーム(image frame)内のマクロブロックに対してモーション推定作業(motion estimation operation)と予測作業(prediction operation)を遂行する。この場合において、拡張階層エンコーダー１は前記基本階層エンコーダー４から提供される映像データ及びコーディング情報を利用して、コーディング效率が向上する場合に階層間予測コーディングをして、この階層間予測コーディングによるコーディング情報をマクロブロック情報として好適なヘッダーに挿入して、そのコーディング情報を送る。
【００２２】
コーディング過程中に、現在コーディングされるマクロブロックがイントラモードマクロブロックで決定されると、基本階層エンコーダー４から提供される情報を参照して現在のマクロブロックに対応するブロックがイントラモードであるか、またはインタモードであるかが判断される。イントラモードである場合には、現在のマクロブロックがイントラＢＬモードで指定されて、基本階層の対応するブロックの映像データを利用して残余データでコーディングされる。
【００２３】
インタモードである場合には、エンコードのための所定の階層間予測制限/非制限状態によって現在のマクロブロックがイントラＢＬモードブロック(制限されない場合)で指定されることができ、前述したように基本階層の対応ブロックの映像データを利用して残余データでコーディングされる。制限される場合には、エンコードのための所定の階層間予測制限/非制限状態によって現在のマクロブロックがイントラモードブロックで指定されることができ、隣りのマクロブロックの画素値を基礎にして残余データでコーディングされる。
【００２４】
また、制限される場合において、‘制限イントラ予測フラッグ(constrained_intra_pred_flag)’を含んだ所定の情報が‘１’に設定されることができる。制限性がないものとして設定された場合には、制限イントラ予測フラッグ(constrained_intra_pred_flag)が‘０’に設定されることができる。設定された所定の情報は送信されるヘッダー(シーケンスヘッダー、ピクチャまたはピクチャグループヘッダー、またはスライスヘッダー)に挿入される。
【００２５】
制限されない場合には、拡張階層エンコーダー１は現在のマクロブロックに対応される基本階層のインタモードブロックに対して復元動作(ＭＣ：Motion Compensationまたはinverse-ＭＣＴＦ)を行って得られた復元されたイメージに基づいて現在のマクロブロックのイメージを残余データでコーディングして現在のマクロブロックの映像モードをイントラＢＬモードで指定する。インタモードブロックに対する復元動作において、復元された映像は基本階層エンコーダー４に映像を要請して受信されることができ、前記基本階層エンコーダー４が、現在のマクロブロックが残余データでコーディングされる前に映像データを臨時保存していたら、その保存された映像データが利用されることができる。
【００２６】
拡張階層エンコーダー１は前記制限フラッグを多くのヘッダーのうちの一つに挿入することができる。拡張階層エンコーダー１が制限フラッグをピクチャヘッダー(ＰＰＳ：Picture Parameter Set、ＰＰＳＥ：ＰＰＳ extension)またはスライスヘッダーに挿入する場合には、前記拡張階層エンコーダー１がスライスによって階層間予測制限を指定することができる。また、拡張階層エンコーダー１が制限性フラッグをシーケンスのヘッダーまたはピクチャグループ(ＧＯＰ)のヘッダーに挿入することができる。この場合において、シーケンスまたはピクチャグループに属したすべてのスライスは制限性フラッグによって指定された制限性または非制限性を同一に適用される。
【００２７】
多くのブロックモードのマクロブロックに対するエンコード過程に対する技術は前記エンコード過程が本発明と直接的に係わらないので、その説明が省略される。また、一般的に周知の方式が上記のエンコード過程のために適用されることができる。
【００２８】
入力された映像信号は前述した過程を含むエンコード過程を通じて追加保存部に保存される。引き継いで、デコーダーの要請によって映像信号の全部または一部が保存部から読み出されて送信チャンネルを通じて送信される。映像信号の分量に対する選択は、送信チャンネルの容量によって決定されるが、映像信号の分量の選択に対する記載はこのような選択が本発明と無関係であるので省略される。
【００２９】
図４は、前述したようにエンコードされて送信されるデータストリームをデコーディングするためのデコーダーの構成を示す構成図である。図４に示すデコーダーは受信されたデータストリームを圧縮されたモーションベクターストリームと圧縮されたマクロブロック情報ストリームに分離するデマルチプレクサ(de-muxer)１５と、圧縮されたマクロブロックストリームから元々の非圧縮情報ストリームを復元させるためのテクスチュアデコーディング部１２と、圧縮されたモーションベクターストリームから元々の非圧縮ストリームを復元させるためのモーションデコーディング部１３と、非圧縮のマクロブロック情報ストリームとモーションベクターストリームをＭＣＴＦ方式を通じて元々の映像信号に変換するための拡張階層デコーダー(enhanced layer (EL) decoder)１１と、前記基本階層ストリームを例えばＡＶＣ方式のような所定の方式を通じてデコーディングするための基本階層デコーダー(base layer (BL) decoder)１４を含む。
【００３０】
基本階層デコーダー１４は、拡張階層デコーダー１１がモーションベクター情報、マクロブロックモード情報を含んだ基本階層の要請されたエンコード情報(基本階層ストリームのヘッダーに含まれる)を利用することができるように、入力された基本階層ストリームをデコーディングすると同時に入力された基本階層ストリーム内のヘッダー情報を前記拡張階層デコーダー１１に提供する。また、基本階層デコーダー１４は拡張階層デコーダー１１の指示(direction)によってデコーディングされた基本階層ピクチャの映像データまたは一部のブロックだけデコーディングされたピクチャの映像データを拡張階層デコーダー１１に提供する。
【００３１】
拡張階層デコーダー１１は、受信された拡張階層のピクチャシーケンスのうちで現在デコーディングされるピクチャが属したピクチャグループ(GOP)のヘッダーまたはシーケンスヘッダーで階層間予測制限性に対するフラッグである制限性イントラ予測フラッグを把握する。上記のエンコード過程を通じて前述したように、階層間予測制限性フラッグはピクチャヘッダーまたはスライスヘッダーで確認されることができる。
【００３２】
デコーディングされるスライスに適用された階層間予測制限性フラッグが“階層間予測制限”で設定される場合に(constrained_inter_layer_pred_flag=１である場合)、前記スライス内のインタＢＬモードのブロックに対しては、少なくともイントラモードのブロックは、前記拡張階層デコーダ１１が基本階層デコーダー１４から提供されるデコーディングされたピクチャデータを受信して(または、拡張階層デコーダー１１と基本階層デコーダー１４の間で相互に共有するメモリーから上記のデコーディングされたピクチャデータを判読して)イントラＢＬモードブロックに対応するデコーディングされたピクチャデータ内のブロックの復元されたデータに基づいてイントラＢＬモードブロックの残余データから元々の映像データを復元する。
【００３３】
デコーディングされるスライスに適用された上記の把握した階層間予測制限性フラッグが階層間予測非制限で指示された場合に(constrained_inter_layer_pred_flag=０である場合)、拡張階層デコーダー１１は基本階層デコーダー１４に、デコーディングされるスライスに対応する基本階層のスライス内のすべてのマクロブロックを復元して前記復元されたマクロブロックを前記拡張階層デコーダー１１に提供するように指示する。基本階層デコーダー１４がピクチャ全体に対してデコーディングされたデータをいつも提供するように設定される場合には、拡張階層デコーダー１１が状況によって上記の指示を要請する必要がない。しかし、イントラＢＬモードによる階層間予測だけでなく残余予測も階層間に使用されるので、基本階層デコーダー１４はピクチャ内のデータをすべて復元する代りにイントラモードブロックデータだけ復元して前記拡張階層デコーダー１１にこの復元されたデータを提供して、別途の指示がある場合には上記の復元された映像データを有するスライスを提供するためにピクチャ内のインタモードのブロックに対して復元動作(ＭＣまたはinverse_ＭＣＴＦ)を遂行することが望ましい。
【００３４】
拡張階層デコーダー１１は、基本階層デコーダー１４から受信される復元されたデータを有するスライス内の基本階層モードブロックに対応するブロックの復元されたデータを基礎にして現在のイントラＢＬモードブロックの残余データから元々の映像データを復元する。
【００３５】
本発明の他の実施例によると、階層間予測制限性に関する情報はピクチャの類型別で分類されて設定されることができる。
【００３６】
ピクチャの類型がキーピクチャ(key picture)または低域成分を有するピクチャ(ＭＣＴＦの場合Ｌピクチャ)を用いてコーディングされるピクチャの場合には、図３に示す拡張階層エンコーダー１は、“constrained_inter_layer_pred_L_flag”に対するフラッグ情報を設定するか、または再設定(reset)することができるので、それによって前記フラッグ情報をデコーダーに送る。ピクチャの類型が非-キーピクチャ(non-key picture)であるか、または高域成分を有するピクチャ(ＭＣＴＦの場合Ｈピクチャ)を用いてコーディングされるピクチャである場合には、図３に示す拡張階層エンコーダー１は“constrained_inter_layer_pred_H_flag”に関するフラッグ情報を設定するか、または再設定することができるので、それによって前記フラッグ情報をデコーダーに送る。
【００３７】
上記のキーピクチャは基本画質ピクチャ(quality-base picture)のみを基礎にして予測動作を遂行することで残余データにコーディングされたピクチャを示す。一方に、非-キーピクチャは基本画質ピクチャ以外にＳＮＲエンハンスピクチャデータ(SNR enhance picture data)を利用して残余データにコーディングされたピクチャを示す。上記のキーピクチャの定義は例示的なものであり、本発明はこのような定義に限定されない。
【００３８】
２個の階層間予測制限性フラッグ(constrained_inter_layer_pred_L_flag及びconstrained_inter_layer_pred_H_flag)が多様な類型のピクチャに適用されることができるにもかかわらず、前記２個のフラッグは制限性イントラ予測フラッグと同一な使用方法を有する。従って、図４に示す拡張階層デコーダー１１はデコーディングされるピクチャがキーピクチャまたは低域成分を有するピクチャである場合にconstrained_inter_layer_pred_L_flagの値を決定する。デコーディングされるピクチャが非-キーピクチャまたは高域成分を有するピクチャである場合には、拡張階層デコーダー１１はconstrained_inter_layer_pred_H_flagの値を決定する。この決定された値によるＢＬモードマクロブロックの復元動作は本発明の以前の実施例の場合と同一である。
【００３９】
以下、本発明のさらに他の実施例について記載する。
隣接されたインタモードブロックのデータがイントラモードブロックの復元に使用されるか否かを示すconstrained_intra_pred_flagが基本階層で再設定(reset)される場合に、言い替えれば制限が設定されない場合に、図４に示す基本階層デコーダー１４はピクチャ内のイントラモードのブロックの残余データを復元するために隣接したインタモードブロックに対してはＭＣ方式(またはinverse_ＭＣＴＦ方式)を通じて復元動作を遂行する。このような場合には、図１に示す拡張階層エンコーダー１はエンコードされる拡張階層のマクロブロックに対応する基本階層のブロックがインタモードであるか、またはイントラモードであるかを区分しなくてもイントラＢＬモードでコーディングすることが有利である。なぜなら、図４に示す拡張階層デコーダー１１はインタモードのブロックの場合にもＭＣのような動作を通じて復元された映像データを基本階層デコーダー１４から獲得することができるからである。
【００４０】
したがって、基本階層のconstrained_intra_pred_flagが基本階層エンコーダー４によって‘０’に設定される場合(すなわち、隣接ブロックに対する制限が設定されない場合)には、図１に示す拡張階層エンコーダー１はイントラＢＬモードにコーディングされたマクロブロックを含むスライスまたはピクチャ(前記スライス、あるいは前記ピクチャを含むシーケンスまたはグループ)に対してconstrained_inter_layer_pred_flagを再設定して送るか、または前記フラッグ(constrained_inter_layer_pred_flag)を送らない。
【００４１】
基本階層のconstrained_intra_pred_flagが‘１’に設定される場合(すなわち、隣接インタモードブロックのデータが隣接インタモードブロックの制限設定によってイントラモードブロックのコーディング(または復元)に使用されない場合)に階層間予測に制限が設定されるか、または設定されないこともあるので、拡張階層エンコーダー１は事前に設定された拡張階層に対する予測制限の条件によって特定ブロックをイントラＢＬモードのブロックにコーディングして、constrained_inter_layer_pred_flagを‘０’または‘１’に設定して、前記特定ブロックを送る。constrained_intra_layer_pred_flagが‘１’に設定される場合に階層間予測に対する制限が設定されなかったら、以前の実施例によって前述したように拡張階層デコーダー１１は基本階層デコーダー１４からインタモードブロックに対する復元動作を要請する。よって、このような場合には、データ復元のためのMC動作(またはinverse_ＭＣＴＦ)が両階層で遂行されなければならない。
【００４２】
一方、前述したように本発明によると、図４に示す拡張階層デコーダー１１は図５に示す方式を通じて階層間予測に対して制限が設定されるか否かを判断するが、これはconstrained_inter_layer_pred_flagが前記エンコーダーから送信されないこともあるからである。
【００４３】
拡張階層デコーダー１１は階層間予測に対して可変な階層間制限(interlayer_constrained)を非制限状態を示す値(すなわち、‘０’)に初期化して、次に基本階層デコーダー１４から送信されるconstrained_intra_pred_flagの値を判断する。拡張階層デコーダーはthe constrained_intra_pred_flagの値が‘１’である場合にのみ拡張階層のヘッダーを通じて受信されるconstrained_inter_layer_pred_flagの値を階層間制限の値にコピーする。
【００４４】
図４の拡張階層デコーダー１１は、階層間制限(interlayer_constrained)の値を基礎にして階層間予測に対して制限が付加されるか否かを認識することができる。階層間予測の状態によってイントラＢＬモードブロックの残余データから元々の映像データを復元する過程は、前述した実施例によって記述された過程と一致する。
【００４５】
一方、基本階層のconstrained_intra_pred_flagの値によって階層間予測に制限が付加されるか否かが選択されて、その選択された制限可否を指示する情報(constrained_inter_layer_pred_flag)がピクチャの類型によって分類されて割り当てられる。例えば、階層間予測制限に関する値はキーピクチャまたは低域成分を利用してコーディングされるピクチャに対応するconstrained_inter_layer_pred_L_flagを通じて同伴されるか、または非-キーピクチャまたは高域成分を利用してコーディングされたピクチャに対応するconstrained_inter_layer_pred_H_flagを通じて同伴されることができる。
【００４６】
前述したようにピクチャ類型によって分類されたフラッグ情報が使用されるにもかかわらず、両フラッグ情報は前述したように基本階層のconstrained_intra_pred_flagの値によって送信されないか、または‘０’または‘１’の値で送信されることができる。また、図４に示す拡張階層デコーダー１１も送信状態によってイントラＢＬモードマクロブロックを復元する。基本階層のconstrained_intra_pred_flagが‘０’の値を有する場合に、そしてconstrained_inter_layer_pred_L_flag、あるいはconstrained_inter_layer_pred_H_flagが送信されない場合に、図４に示す拡張階層デコーダー１１は図６に示すシンタックスによる動作を遂行して前記動作によって獲得された階層間制限の最終値にしたがって階層間予測に制限が付加されるか否かを判断する。
【００４７】
以下、本発明の更に別の実施例について記載する。
階層間予測制限に関する情報は、前述した実施例によって前述したようにピクチャの類型によって分類して割当せずに、constrained_inter_layer_pred_idcのような一つの統合されたインジケータ(indicator)を利用して伝達することができる。
【００４８】
本実施例によると、ピクチャ類型に構わずに階層間予測制限を示す場合には前記インジケータ(constrained_inter_layer_pred_idc)が‘０’に設定される。また、第１ピクチャ類型(例えば、キーピクチャまたは低域成分を有するピクチャ)に対して階層間予測非制限を示して、第２ピクチャ類型(例えば、非-キーピクチャまたは高域成分を有するピクチャ)に対して階層間予測制限を示す場合には前記インジケータ(constrained_inter_layer_pred_idc)が‘１’に設定される。ピクチャ類型に構わずに階層間予測非制限を示す場合には前記インジケータ(constrained_inter_layer_pred_idc)が‘２’に設定される。図４に示す拡張階層デコーダー１１は上に定義された指示値にしたがった指示情報を基礎にしてピクチャ類型による階層間予測に対して制限が設定されるか否かを判断する。
【００４９】
本実施例によると、第１類型のピクチャに対しては階層間予測制限状態にして、第２類型のピクチャに対しては階層間予測非制限状態(実際では、第２類型のピクチャが階層間予測非制限状態である場合に第１類型のピクチャを階層間予測制限状態でエンコードすることは不必要)にするエンコードの過程がほとんどないので、このような場合を示す値は排除される。しかし、必要であったら‘４’のような別途の値を前記インジケータ(constrained_inter_layer_pred_idc)の値に割り当ててその場合を示すことももちろん可能である。
【００５０】
前述したように、階層間予測制限性を示す情報を判断して、判断結果によって該当イントラＢＬモードのマクロブロックに対する復元動作(この復元動作は階層間予測制限を示す情報を基礎にして基礎階層のインタモードブロックを選択的に復元する動作を含む)を遂行するデコーダーは移動通信端末機に設置されるか保存された媒体を再生する装置に設置されることができる。
【００５１】
本発明の望ましい実施例を説明のために記載したが、添付された特許請求範囲に開示されたような本発明の範囲と思想を逸脱しない範囲内でさまざまの変更、追加及び取り替えて実施することができることは、当該技術分野の通常の知識を有した当業者なら容易に理解することができる。
【００５２】
本発明の上述した、及びその他の目的、特徴及び利点は添付の図面とともに上記に詳述した記載からより明らかになろう。
【図面の簡単な説明】
【００５３】
【図１ａ】階層間予測制限による、下位階層を基礎にしてイントラモードブロックを予測する方式を示す図面である。
【図１ｂ】階層間予測非制限による、下位階層を基礎にしてイントラモードブロックを予測する方式を示す図面である。
【図２】映像信号が３個以上の複数階層を通じてエンコードされて送信される場合に上位階層の階層間予測方式の例を示す図面である。
【図３】本発明による映像信号のスケーラブルコーディング方法を採択した映像信号エンコード装置の構成を示す構成図である。
【図４】図３に示すエンコード装置によってエンコードされて送信されたデータストリームをデコーディングするためのデコーダーの構成を示す構成図である。
【図５】本発明の一実施例による、デコーダーで階層間予測制限性が付加されるか否かを判断するために使用されるシンタックスの例を示す図面である。
【図６】本発明の他の実施例による、デコーダーで階層間予測制限性が付加されるか否かを判断するために使用されるシンタックスの例を示す図面である。
【符号の説明】
【００５４】
１    拡張階層エンコーダー
２    テクスチュアコーディング部
３    モーションコーディング部
４    基本階層エンコーダー
５    マルチプレクサ
１１    拡張階層デコーダー
１２    テクスチュアデコーディング部
１３    モーションデコーディング部
１４    基本階層デコーダー
１５    デマルチプレクサ
【図１ａ】
2008543161.tif 000003
【図１ｂ】
2008543161.tif 000004
【図２】
2008543161.tif 000005
【図３】
2008543161.tif 000006
【図４】
2008543161.tif 000007
【図５】
2008543161.tif 000008
【図６】
2008543161.tif 000009
【国際調査報告】
2008543161.tif 000010