(57)【要約】  スケーラブルビデオコーディング方法及びその装置を開示する。ＣＧＳ（Coarse Grain Scalability）または空間解像度の異なるインターレイヤーリダンダンシを除去するためにインターレイヤーコーディングを行う場合、高画質のＦＧＳ（Fine Grain Scalability）レイヤーの動きデータを利用し、ＦＧＳレイヤーのデータがインターレイヤーの動き予測に使われたことを表す情報を挿入してＭＰＥＧ−４スケーラブルビデオエンコーディングを行う。ビットストリーム抽出器で該情報を確認してＦＧＳレイヤーのデータを保持するように抽出する。該情報を利用してＭＰＥＧ−４スケーラブルビデオデコーディングする。ＦＧＳレイヤーを利用することによって、インターレイヤーリダンダンシをさらに効率的に除去でき、これによってさらに良好な符号化効率を得ることができる。
2009531940.tif 000002
【特許請求の範囲】
【請求項１】
（ａ）原本映像の下位空間レイヤーを変換及び量子化するステップと、
（ｂ）前記変換及び量子化された下位空間レイヤー内ＦＧＳレイヤーの動きデータを利用して、前記原本映像の上位空間レイヤーの動き予測を行うステップと、
（ｃ）前記変換及び量子化された下位空間レイヤーと前記動き予測された上位空間レイヤーとを符号化するステップと
を含むことを特徴とするスケーラブルビデオエンコーディング方法。
【請求項２】
前記（ｂ）ステップは、
（ｂ１）前記変換及び量子化されたＦＧＳレイヤーの動きデータを復元するステップと、
（ｂ２）前記復元されたＦＧＳレイヤーの動きデータと重なる動きデータを前記上位空間レイヤーから除去してインターレイヤーの動き予測を行うステップと
を含むことを特徴とする請求項１に記載のスケーラブルビデオエンコーディング方法。
【請求項３】
前記（ｂ２）ステップは、
（ｂ２１）前記復元された動きデータを前記上位空間レイヤーの解像度にアップサンプリングするステップと、
（ｂ２２）前記アップサンプリングされた動きデータと重なる動きデータを前記上位空間レイヤーから除去するステップと
を含むことを特徴とする請求項２に記載のスケーラブルビデオエンコーディング方法。
【請求項４】
前記上位空間レイヤーの動き予測は、前記ＦＧＳレイヤーの各フレームに時間的に対応するフレームごとに行われることを特徴とする請求項１に記載のスケーラブルビデオエンコーディング方法。
【請求項５】
（ｄ）前記符号化された下位空間レイヤー及び前記符号化された上位空間レイヤーを含むビットストリームに、前記ＦＧＳレイヤーが前記上位空間レイヤーの動き予測に利用されたことを知らせるシグナリング情報を挿入するステップをさらに含むことを特徴とする請求項１に記載のスケーラブルビデオエンコーディング方法。
【請求項６】
前記（ｄ）ステップは、
前記ビットストリームのペイロードに、前記ＦＧＳレイヤーが前記上位空間レイヤーの動き予測に利用されたことを知らせるシグナリング情報を挿入するステップを含むことを特徴とする請求項５に記載のスケーラブルビデオエンコーディング方法。
【請求項７】
前記シグナリング情報は、前記動き予測された上位空間レイヤーの各ブロックに挿入されるフラグであることを特徴とする請求項６に記載のスケーラブルビデオエンコーディング方法。
【請求項８】
前記シグナリング情報は、前記動き予測された上位空間レイヤーのＩＤＲフレーム前に挿入されるＳＥＩメタデータであることを特徴とする請求項６に記載のスケーラブルビデオエンコーディング方法。
【請求項９】
前記シグナリング情報は、前記符号化されたＦＧＳレイヤーのＦＧＳ  ＮＡＬユニット前に挿入される動きデータオフセットに関するＳＥＩメタデータであることを特徴とする請求項６に記載のスケーラブルビデオエンコーディング方法。
【請求項１０】
前記（ｄ）ステップは、
前記ビットストリームのヘッダに、前記ＦＧＳレイヤーが前記上位空間レイヤーの動き予測に利用されたことを知らせるシグナリング情報を挿入するステップを含むことを特徴とする請求項５に記載のスケーラブルビデオエンコーディング方法。
【請求項１１】
前記シグナリング情報は、前記ＦＧＳレイヤーの動きデータを含むＮＡＬユニットのヘッダに挿入されるフラグであることを特徴とする請求項１０に記載のスケーラブルビデオエンコーディング方法。
【請求項１２】
前記シグナリング情報は、前記ＦＧＳレイヤーの動きデータを含むＮＡＬユニットのヘッダに挿入される優先順位に対する特定値であることを特徴とする請求項１０に記載のスケーラブルビデオエンコーディング方法。
【請求項１３】
前記シグナリング情報は、前記動き予測された上位空間レイヤーのスライスヘッダに挿入されたフラグであることを特徴とする請求項１０に記載のスケーラブルビデオエンコーディング方法。
【請求項１４】
（ｅ）前記ビットストリームから前記シグナリング情報を抽出するステップと、
（ｆ）前記抽出されたシグナリング情報に基づいて前記ＦＧＳレイヤーを除去するかしないかを決定して、スケーラビリティが可変であるビットストリームを抽出するステップと
をさらに含むことを特徴とする請求項５に記載のスケーラブルビデオエンコーディング方法。
【請求項１５】
（ａ）原本映像の下位空間レイヤーを変換及び量子化するステップと、
（ｂ）前記変換及び量子化された下位空間レイヤー内のベースレイヤー及びＦＧＳレイヤーのうち、インターレイヤーの動き予測時のビット率予想値が低いレイヤーの動きデータを利用して前記原本映像の上位空間レイヤーの動き予測を行うステップと、
（ｃ）前記変換及び量子化された下位空間レイヤーと前記動き予測された上位空間レイヤーとを符号化するステップと
を含むことを特徴とするスケーラブルビデオエンコーディング方法。
【請求項１６】
前記（ｂ）ステップは、
（ｂ１）前記ベースレイヤーとＦＧＳレイヤーのうち、インターレイヤーの動き予測時のビット率予想値が低いレイヤーの動きデータを復元するステップと、
（ｂ２）前記復元されたレイヤーの動きデータと重なる動きデータを前記上位空間レイヤーから除去して、インターレイヤーの動き予測を行うステップと
を含むことを特徴とする請求項１５に記載のスケーラブルビデオエンコーディング方法。
【請求項１７】
前記（ｂ１）ステップは、
（ｂ１１）前記ベースレイヤーとＦＧＳレイヤーとの各動きベクトルを、前記上位空間レイヤーの解像度にアップサンプリングするステップと、
（ｂ１２）前記アップサンプリングされた各動きベクトルを利用してインターレイヤーの動き予測を行う場合の各ビット率を計算するステップと、
（ｂ１３）前記ビット率値の小さな前記ベースレイヤー及びＦＧＳレイヤーのうちの一つを予測レイヤーとして選択するステップと
を含むことを特徴とする請求項１６に記載のスケーラブルビデオエンコーディング方法。
【請求項１８】
前記（ｂ１）ステップは。
（ｂ１４）前記ビット率値が互いに同じ場合、ベースレイヤーを予測レイヤーとして選択するステップをさらに含むことを特徴とする請求項１７に記載のスケーラブルビデオエンコーディング方法。
【請求項１９】
前記上位空間レイヤーの動き予測は、前記ＦＧＳレイヤーの各フレームに時間的に対応するフレームごとに行われることを特徴とする請求項１５に記載のスケーラブルビデオエンコーディング方法。
【請求項２０】
（ｄ）前記ＦＧＳレイヤーが前記上位空間レイヤーの動き予測に利用された場合、前記符号化された下位空間レイヤー及び前記符号化された上位空間レイヤーを含むビットストリームに、前記ＦＧＳレイヤーが前記上位空間レイヤーの動き予測に利用されたことを知らせるシグナリング情報を挿入するステップをさらに含むことを特徴とする請求項１５に記載のスケーラブルビデオエンコーディング方法。
【請求項２１】
（ｅ）前記ビットストリームから前記シグナリング情報を抽出するステップと、
（ｆ）前記抽出されたシグナリング情報に基づいて前記ＦＧＳレイヤーを除去するかしないかを決定して、スケーラビリティが可変であるビットストリームを抽出するステップと
をさらに含むことを特徴とする請求項２０に記載のスケーラブルビデオエンコーディング方法。
【請求項２２】
（ａ）下位空間レイヤー内のＦＧＳレイヤーが上位空間レイヤーの動き予測に利用されたことを知らせるシグナリング情報を含むビットストリームを受信するステップと、
（ｂ）前記ビットストリームから前記シグナリング情報を抽出するステップと、
（ｃ）前記シグナリング情報に基づいてスケーラビリティが可変であるビットストリームを抽出するステップと
を含むことを特徴とするビットストリーム抽出方法。
【請求項２３】
前記（ｂ）ステップは、
前記ビットストリームのペイロードまたはヘッダから前記シグナリング情報を抽出するステップを含むことを特徴とする請求項２２に記載のビットストリーム抽出方法。
【請求項２４】
前記（ｃ）ステップは、
前記シグナリング情報が前記上位空間レイヤーの各ブロックに挿入されたフラグである場合、前記フラグがセットされていれば、前記上位空間レイヤーの前記各ブロックに時間的に対応する前記ＦＧＳレイヤーを除去せずにビットストリームを抽出するステップをさらに含むことを特徴とする請求項２２に記載のビットストリーム抽出方法。
【請求項２５】
前記（ｃ）ステップは、
前記シグナリング情報が前記上位空間レイヤーのＩＤＲフレーム前に挿入されたＳＥＩメタデータである場合、前記ＩＤＲフレームから次のＩＤＲフレーム以前までのフレームに時間的に対応する前記ＦＧＳレイヤーを除去せずにビットストリームを抽出するステップをさらに含むことを特徴とする請求項２２に記載のビットストリーム抽出方法。
【請求項２６】
前記（ｃ）ステップは、
前記シグナリング情報が前記ＦＧＳレイヤーのＮＡＬユニット前に挿入された動きデータオフセットに関するＳＥＩメタデータである場合、前記ＮＡＬユニットの開始バイトから動きデータを含む最後のバイトは除去せずにビットストリームを抽出するステップをさらに含むことを特徴とする請求項２２に記載のビットストリーム抽出方法。
【請求項２７】
前記（ｃ）ステップは、
前記シグナリング情報が、前記ＦＧＳレイヤーの動きデータを含むＮＡＬユニットのヘッダに挿入されたフラグである場合、前記フラグがセットされていれば、前記ＮＡＬユニットを除去せずにビットストリームを抽出するステップをさらに含むことを特徴とする請求項２２に記載のビットストリーム抽出方法。
【請求項２８】
前記（ｃ）ステップは、
前記シグナリング情報が、前記ＦＧＳレイヤーの動きデータを含むＮＡＬユニットのヘッダに挿入された優先順位に対する特定値である場合、前記ＮＡＬユニットを除去せずにビットストリームを抽出するステップをさらに含むことを特徴とする請求項２２に記載のビットストリーム抽出方法。
【請求項２９】
前記（ｃ）ステップは、
前記シグナリング情報が、前記上位空間レイヤーのスライスヘッダに挿入されたフラグである場合、前記フラグがセットされていれば、前記スライスに時間的に対応するＦＧＳレイヤーを除去せずにビットストリームを抽出するステップをさらに含むことを特徴とする請求項２２に記載のビットストリーム抽出方法。
【請求項３０】
（ａ）下位空間レイヤー内ＦＧＳレイヤーが上位空間レイヤーの動き予測に利用されたことを知らせるシグナリング情報が含まれた、スケーラビリティが可変であるビットストリームを受信するステップと、
（ｂ）前記下位空間レイヤーを復号化するステップと、
（ｃ）前記シグナリング情報に基づいて、前記復号化された下位空間レイヤーを利用して前記上位空間レイヤーを復号化するステップと
を含むことを特徴とするスケーラブルビデオデコーディング方法。
【請求項３１】
前記（ａ）ステップ前に、
（ａ１）前記シグナリング情報を含むビットストリームを受信するステップと、
（ａ２）前記ビットストリームから前記シグナリング情報を抽出するステップと、
（ａ３）前記シグナリング情報に基づいて前記ＦＧＳレイヤーを除去するかしないかを決定して、スケーラビリティが可変であるビットストリームを抽出するステップと
をさらに含むことを特徴とする請求項３０に記載のスケーラブルビデオデコーディング方法。
【請求項３２】
原本映像の下位空間レイヤーを変換及び量子化する量子化変換部と、
前記変換及び量子化された下位空間レイヤー内ＦＧＳレイヤーの動きデータを利用して、前記原本映像の上位空間レイヤーの動き予測を行うインターレイヤー予測部と、
前記変換及び量子化された下位空間レイヤーと前記動き予測された上位空間レイヤーとを符号化する符号化部と
を備えることを特徴とするスケーラブルビデオエンコーディング装置。
【請求項３３】
前記インターレイヤー予測部は、
前記変換及び量子化されたＦＧＳレイヤーの動きデータを復元する復元部と、
前記復元されたＦＧＳレイヤーの動きデータと重なる動きデータを前記上位空間レイヤーから除去して、インターレイヤーの動き予測を行う予測部と
を備えることを特徴とする請求項３２に記載のスケーラブルビデオエンコーディング装置。
【請求項３４】
前記予測部は、
前記復元された動きデータを前記上位空間レイヤーの解像度にアップサンプリングするアップサンプリング部と、
前記アップサンプリングされた動きデータと重なる動きデータを前記上位空間レイヤーから除去する減算部と
を備えることを特徴とする請求項３３に記載のスケーラブルビデオエンコーディング装置。
【請求項３５】
前記上位空間レイヤーの動き予測は、前記ＦＧＳレイヤーの各フレームに時間的に対応するフレームごとに行われることを特徴とする請求項３２に記載のスケーラブルビデオエンコーディング装置。
【請求項３６】
前記符号化された下位空間レイヤー及び前記符号化された上位空間レイヤーを含むビットストリームに、前記ＦＧＳレイヤーが前記上位空間レイヤーの動き予測に利用されたことを知らせるシグナリング情報を挿入するシグナリング部をさらに備えることを特徴とする請求項３２に記載のスケーラブルビデオエンコーディング装置。
【請求項３７】
前記シグナリング部は、
前記ビットストリームのペイロードに、前記ＦＧＳレイヤーが前記上位空間レイヤーの動き予測に利用されたことを知らせるシグナリング情報を挿入することを特徴とする請求項３６に記載のスケーラブルビデオエンコーディング方法。
【請求項３８】
前記シグナリング情報は、前記動き予測された上位空間レイヤーの各ブロックに挿入されるフラグであることを特徴とする請求項３７に記載のスケーラブルビデオエンコーディング装置。
【請求項３９】
前記シグナリング情報は、前記動き予測された上位空間レイヤーのＩＤＲフレーム前に挿入されるＳＥＩメタデータであることを特徴とする請求項３７に記載のスケーラブルビデオエンコーディング装置。
【請求項４０】
前記シグナリング情報は、前記符号化されたＦＧＳレイヤーのＮＡＬユニット前に挿入される動きデータオフセットに関するＳＥＩメタデータであることを特徴とする請求項３７に記載のスケーラブルビデオエンコーディング装置。
【請求項４１】
前記シグナリング部は、
前記ビットストリームのヘッダに、前記ＦＧＳレイヤーが前記上位空間レイヤーの動き予測に利用されたことを知らせるシグナリング情報を挿入することを特徴とする請求項３６に記載のスケーラブルビデオエンコーディング装置。
【請求項４２】
前記シグナリング情報は、前記ＦＧＳレイヤーの動きデータを含むＮＡＬユニットのヘッダに挿入されるフラグであることを特徴とする請求項４１に記載のスケーラブルビデオエンコーディング装置。
【請求項４３】
前記シグナリング情報は、前記ＦＧＳレイヤーの動きデータを含むＮＡＬユニットのヘッダに挿入される優先順位に対する特定値であることを特徴とする請求項４１に記載のスケーラブルビデオエンコーディング装置。
【請求項４４】
前記シグナリング情報は、前記動き予測された上位空間レイヤーのスライスヘッダに挿入されるフラグであることを特徴とする請求項４１に記載のスケーラブルビデオエンコーディング装置。
【請求項４５】
前記ビットストリームから前記シグナリング情報を抽出し、前記抽出されたシグナリング情報に基づいて前記ＦＧＳレイヤーを除去するかしないかを決定して、スケーラビリティが可変であるビットストリームを抽出する抽出器をさらに備えることを特徴とする請求項３６に記載のスケーラブルビデオエンコーディング装置。
【請求項４６】
原本映像の下位空間レイヤーを変換及び量子化する量子化変換部と、
前記変換及び量子化された下位空間レイヤー内のベースレイヤー及びＦＧＳレイヤーのうち、インターレイヤーの動き予測時のビット率予想値が低いレイヤーの動きデータを利用して前記原本映像の上位空間レイヤーの動き予測を行うインターレイヤー予測部と、
前記変換及び量子化された下位空間レイヤーと前記動き予測された上位空間レイヤーとを符号化する符号化部と
を備えることを特徴とするスケーラブルビデオエンコーディング装置。
【請求項４７】
前記インターレイヤー予測部は、
前記ベースレイヤーとＦＧＳレイヤーのうち、インターレイヤーの動き予測時のビット率予想値が低いレイヤーの動きデータを復元する復元部と、
前記復元されたレイヤーの動きデータと重なる動きデータを前記上位空間レイヤーから除去して、インターレイヤーの動き予測を行う予測部と
を備えることを特徴とする請求項４６に記載のスケーラブルビデオエンコーディング装置。
【請求項４８】
前記復元部は、
前記ベースレイヤーとＦＧＳレイヤーとの各動きベクトルを、前記上位空間レイヤーの解像度にアップサンプリングするアップサンプリング部と、
前記アップサンプリングされた各動きベクトルを利用してインターレイヤーの動き予測を行う場合の各ビット率を計算する計算部と、
前記ビット率値の小さなレイヤーを予測レイヤーとして選択する選択部と
を備えることを特徴とする請求項４７に記載のスケーラブルビデオエンコーディング装置。
【請求項４９】
前記選択部は、
前記ビット率値が互いに同じ場合にベースレイヤーを予測レイヤーとして選択することを特徴とする請求項４８に記載のスケーラブルビデオエンコーディング装置。
【請求項５０】
前記上位空間レイヤーの動き予測は、前記ＦＧＳレイヤーの各フレームに時間的に対応するフレームごとに行われることを特徴とする請求項４６に記載のスケーラブルビデオエンコーディング装置。
【請求項５１】
前記ＦＧＳレイヤーが前記上位空間レイヤーの動き予測に利用された場合、前記符号化された下位空間レイヤー及び前記符号化された上位空間レイヤーを含むビットストリームに、前記ＦＧＳレイヤーが前記上位空間レイヤーの動き予測に利用されたことを知らせるシグナリング情報を挿入するシグナリング部をさらに備えることを特徴とする請求項４６に記載のスケーラブルビデオエンコーディング装置。
【請求項５２】
前記ビットストリームから前記シグナリング情報を抽出し、前記抽出されたシグナリング情報に基づいて前記ＦＧＳレイヤーを除去するかしないかを決定して、スケーラビリティが可変であるビットストリームを抽出する抽出器をさらに備えることを特徴とする請求項５１に記載のスケーラブルビデオエンコーディング装置。
【請求項５３】
下位空間レイヤー内ＦＧＳレイヤーが上位空間レイヤーの動き予測に利用されたことを知らせるシグナリング情報を含むビットストリームを受信する受信部と、
前記ビットストリームから前記シグナリング情報を抽出する情報抽出部と、
前記シグナリング情報に基づいて、スケーラビリティが可変であるビットストリームを抽出するビットストリーム抽出部と
を備えることを特徴とするビットストリーム抽出装置。
【請求項５４】
前記情報抽出部は、
前記ビットストリームのペイロードまたはヘッダから前記シグナリング情報を抽出することを特徴とする請求項５３に記載のビットストリーム抽出装置。
【請求項５５】
前記ビットストリーム抽出部は、
前記シグナリング情報が前記上位空間レイヤーの各ブロックに挿入されたフラグである場合、前記フラグがセットされていれば、前記各ブロックに時間的に対応する前記ＦＧＳレイヤーを除去せずにビットストリームを抽出することを特徴とする請求項５３に記載のビットストリーム抽出装置。
【請求項５６】
前記ビットストリーム抽出部は、
前記シグナリング情報が、前記上位空間レイヤーのＩＤＲフレーム前に挿入されたＳＥＩメタデータである場合、前記ＩＤＲフレームから次のＩＤＲフレーム以前までのフレームに時間的に対応する前記ＦＧＳレイヤーを除去せずにビットストリームを抽出することを特徴とする請求項５３に記載のビットストリーム抽出装置。
【請求項５７】
前記ビットストリーム抽出部は、
前記シグナリング情報が、前記ＦＧＳレイヤーのＮＡＬユニット前に挿入された動きデータオフセットに関するＳＥＩメタデータである場合、前記ＮＡＬユニットの開始バイトから動きデータを含む最後のバイトまでは除去せずにビットストリームを抽出することを特徴とする請求項５３に記載のビットストリーム抽出装置。
【請求項５８】
前記ビットストリーム抽出部は、
前記シグナリング情報が、前記ＦＧＳレイヤーの動きデータを含むＮＡＬユニットのヘッダに挿入されたフラグである場合、前記フラグがセットされていれば、前記ＮＡＬユニットを除去せずにビットストリームを抽出することを特徴とする請求項５３に記載のビットストリーム抽出装置。
【請求項５９】
前記ビットストリーム抽出部は、
前記シグナリング情報が、前記ＦＧＳレイヤーの動きデータを含むＮＡＬユニットのヘッダに挿入された優先順位に対する特定値である場合、前記ＮＡＬユニットを除去せずにビットストリームを抽出することを特徴とする請求項５３に記載のビットストリーム抽出装置。
【請求項６０】
前記ビットストリーム抽出部は、
前記シグナリング情報が、前記上位空間レイヤーのスライスヘッダに挿入されたフラグである場合、前記フラグがセットされていれば、前記スライスに時間的に対応するＦＧＳレイヤーを除去せずにビットストリームを抽出することを特徴とする請求項５３に記載のビットストリーム抽出装置。
【請求項６１】
下位空間レイヤー内ＦＧＳレイヤーが、上位空間レイヤーの動き予測に利用されたことを知らせるシグナリング情報が含まれた、スケーラビリティが可変であるビットストリームを受信する受信部と、
前記下位空間レイヤーを復号化し、前記シグナリング情報に基づいて前記復号化された下位空間レイヤーを利用して前記上位空間レイヤーを復号化する復号化部と
を備えることを特徴とするスケーラブルビデオデコーディング装置。
【請求項６２】
前記シグナリング情報を含むビットストリームを受信し、該ビットストリームから前記シグナリング情報を抽出し、前記抽出されたシグナリング情報に基づいて前記ＦＧＳレイヤーを除去するかしないかを決定して、前記スケーラビリティが可変であるビットストリームを抽出する抽出器をさらに備えることを特徴とする請求項６１に記載のスケーラブルビデオデコーディング装置。
【請求項６３】
請求項１乃至３１のうちいずれか１項に記載の方法をコンピュータで実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スケーラブルビデオコーディング方法及びその装置に関する。より詳細には、ＣＧＳ（Coarse Grain Scalability）または空間解像度の異なるインターレイヤーリダンダンシを除去するインターレイヤーコーディングを行う場合、下位空間レイヤーでＦＧＳ（Fine Grain Scalability）レイヤーのデータを利用するスケーラブルビデオエンコーディング方法、ビットストリーム抽出方法、ビデオデコーディング方法、ビデオコーディング方法及びその装置に関する。
【背景技術】
【０００２】
最近、スケーラブルビデオ符号化（Scalable Video Coding；ＳＶＣ）が、異種ネットワーク及び端末機環境でのビデオ伝送のための重要な技術として浮び上がっている。これと関連してＩＳＯ／ＩＥＣ  ＭＰＥＧとＩＴＵ−Ｔ  ＶＣＥＧ（Video Coding Expert Group）のＪＶＴ（Joint Video Team）では、Ｈ２６４を拡張したＳＶＣを標準化している。
【０００３】
現在標準化されているＳＶＣ（ITU-T and ISO/IEC JTC1,“Scalable Video Coding-Working Draft 2” JVT-O201,Apr 2005）は、空間、時間、品質上のスケーラビリティを持つビットストリームを提供しており、ユーザー端末やネットワーク状況による命令に基づいて符号化されたビットストリームから特定部分を抽出することによって、空間的、時間的、かつ画質の異なるビットストリームを作ることができる。このように符号化されたスケーラブルビデオビットストリームから、スケーラビリティを変化させたビットストリームを抽出する装置をビットストリーム抽出器という。
【０００４】
ＳＶＣでは、空間的なスケーラビリティを提供するためにそれぞれのビデオ解像度によって各レイヤー別に符号化し、この時にレイヤー間のリダンダンシデータを除去するために、空間レイヤー間予測（以下、‘インターレイヤー予測’という）を行う。
【０００５】
インターレイヤー予測には、インターレイヤーテクスチャー予測、インターレイヤーの動き予測、インターレイヤー残余予測があり、基本画質レイヤー（ＦＧＳレイヤーではない）のテクスチャーデータ、動きデータ、残余データを上位空間レイヤーの解像度に合わせて計算して、上位空間レイヤーのテクスチャーデータ、動きデータ、残余データの予測データとして使用する。
【０００６】
一つの空間解像度を表すレイヤー内で動き予測が使われる場合、各マクロブロックまたはサブブロックに対して対応する動きモードが一つ存在し、各動きモードに合う動きデータが存在する。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明が解決しようとする技術的課題は、下位空間レイヤー内のＦＧＳレイヤーをインターレイヤーの動き予測に利用することによって、符号化効率が向上するスケーラブルビデオエンコーディング方法及び装置を提供することである。
【０００８】
本発明が解決しようとする他の技術的課題は、下位空間レイヤー内のＦＧＳレイヤーをインターレイヤーの動き予測に利用してビットストリームを生成した場合、当該ビットストリームにＦＧＳレイヤーの利用情報を挿入することによって、ＦＧＳレイヤーを利用した復号化を可能にするスケーラブルビデオエンコーディング方法及び装置を提供することである。
【０００９】
本発明が解決しようとするさらに他の技術的課題は、下位空間レイヤー内のＦＧＳレイヤーをインターレイヤーの動き予測に利用して生成されたビットストリームに対して、スケーラビリティを変化させたビットストリームを抽出する方法及び装置を提供することである。
【００１０】
本発明が解決しようとするさらに他の技術的課題は、下位空間レイヤー内のＦＧＳレイヤーをインターレイヤーの動き予測に利用して生成されたビットストリームから、前記ＦＧＳレイヤーのデータを利用してビットストリームを復号化するスケーラブルビデオデコーディング方法及び装置を提供することである。
【００１１】
本発明の他の目的及び長所は下記の説明によって理解され、本発明の実施形態によってさらに明らかに理解されうる。また、本発明の目的及び長所は、特許請求の範囲に表した手段及びその組み合わせにより実現できるということを容易に理解できるであろう。
【課題を解決するための手段】
【００１２】
本発明は、下位空間レイヤー内のＦＧＳレイヤーをインターレイヤーの動き予測に利用することによって符号化効率を向上させる。
【００１３】
前記の技術的課題を達成するための本発明の望ましい一実施形態によるスケーラブルビデオエンコーディング方法は、（ａ）原本映像（original video）の下位空間レイヤーを変換及び量子化するステップと、（ｂ）前記変換及び量子化された下位空間レイヤー内ＦＧＳレイヤーの動きデータを利用して、前記原本映像の上位空間レイヤーの動き予測を行うステップと、（ｃ）前記変換及び量子化された下位空間レイヤーと前記動き予測された上位空間レイヤーとを符号化するステップと、を含む。
【００１４】
前記エンコーディング方法は、（ｄ）前記符号化された下位空間レイヤー及び上位空間レイヤーを含むビットストリームに、前記ＦＧＳレイヤーが前記上位空間レイヤーの動き予測に利用されたことを知らせる情報をシグナリングするステップをさらに含む。
【００１５】
前記の技術的課題を達成するための本発明の一実施形態によるスケーラブルビデオエンコーディング方法は、（ａ）前記変換及び量子化されたＦＧＳレイヤーの動きデータを復元するステップと、（ｂ）前記復元されたＦＧＳレイヤーの動きデータと重なる前記上位空間レイヤーの動きデータを除去してインターレイヤーの動き予測を行うステップと、を含む。
【００１６】
前記の技術的課題を達成するための本発明の他の実施形態によるスケーラブルビデオエンコーディング方法は、（ａ）原本映像の下位空間レイヤーを変換及び量子化するステップと、（ｂ）前記変換及び量子化された下位空間レイヤー内ベースレイヤー及びＦＧＳレイヤーのうち、インターレイヤーの動き予測時のビット率予想値が低いレイヤーの動きデータを利用して前記原本映像の上位空間レイヤーの動き予測を行うステップと、（ｃ）前記変換及び量子化された下位空間レイヤーと前記動き予測された上位空間レイヤーとを符号化するステップと、を含む。
【００１７】
前記エンコーディング方法は、（ｄ）前記ＦＧＳレイヤーが前記上位空間レイヤーの動き予測に利用された場合、前記符号化された下位空間レイヤー及び符号化された上位空間レイヤーを含むビットストリームに、前記ＦＧＳレイヤーが前記上位空間レイヤーの動き予測に利用されたことを知らせる情報をシグナリングするステップをさらに含む。
【００１８】
前記の技術的課題を達成するための本発明の一実施形態によるスケーラブルビデオエンコーディング方法は、（ａ）変換及び量子化された下位空間レイヤー内ベースレイヤーとＦＧＳレイヤーのうち、インターレイヤーの動き予測時のビット率予想値が低いレイヤーの動きデータを復元するステップと、（ｂ）前記復元されたレイヤーの動きデータと重なる前記上位空間レイヤーの動きデータを除去して、インターレイヤーの動き予測を行うステップと、を含む。
【００１９】
前記の技術的課題を達成するための本発明の一実施形態によるビットストリーム抽出方法は、（ａ）下位空間レイヤー内ＦＧＳレイヤーが上位空間レイヤーの動き予測に利用されたことを知らせるシグナリング情報を含むビットストリームを受信するステップと、（ｂ）前記ビットストリームから前記シグナリング情報を抽出するステップと、（ｃ）前記シグナリング情報に基づいてスケーラビリティが可変であるビットストリームを抽出するステップと、を含む。
【００２０】
前記の技術的課題を達成するための本発明の一実施形態によるスケーラブルビデオデコーディング方法は、（ａ）下位空間レイヤー内ＦＧＳレイヤーが上位空間レイヤーの動き予測に利用されたことを知らせるシグナリング情報が含まれた、スケーラビリティが可変であるビットストリームを受信するステップと、（ｂ）前記下位空間レイヤーを復号化するステップと、（ｃ）前記シグナリング情報に基づいて、前記復号化された下位空間レイヤーを利用して前記上位空間レイヤーを復号化するステップと、を含む。
【００２１】
前記の技術的課題を達成するための本発明の一実施形態によるスケーラブルビデオコーディング方法は、（ａ）下位空間レイヤー内ＦＧＳレイヤーが上位空間レイヤーの動き予測に利用されたことを知らせるシグナリング情報を含むビットストリームを生成するステップと、（ｂ）前記シグナリング情報を含むビットストリームから、前記シグナリング情報に基づいて下位空間レイヤー内ＦＧＳレイヤーを除去するかしないかを決定して、スケーラビリティが可変であるビットストリームを抽出するステップと、（ｃ）前記シグナリング情報に基づいて前記抽出されたビットストリームを復号化するステップと、を含む。
【００２２】
前記の技術的課題を達成するための本発明の一実施形態によるスケーラブルビデオエンコーディング装置は、原本映像の下位空間レイヤーを変換及び量子化する量子化変換部と、変換及び量子化された下位空間レイヤー内ＦＧＳレイヤーの動きデータを利用して、前記原本映像の上位空間レイヤーの動き予測を行うインターレイヤー予測部と、前記変換及び量子化された下位空間レイヤーと前記動き予測された上位空間レイヤーとを符号化する符号化部と、を備える。
【００２３】
前記エンコーディング装置は、前記符号化された下位空間レイヤー及び符号化された上位空間レイヤーを含むビットストリームに、前記ＦＧＳレイヤーが前記上位空間レイヤーの動き予測に利用されたことを知らせる情報をシグナリングするシグナリング部をさらに備える。
【００２４】
前記の技術的課題を達成するための本発明の一実施形態によるスケーラブルビデオエンコーディング装置は、変換及び量子化された下位空間レイヤー内ＦＧＳレイヤーの動きデータを復元する復元部と、前記復元されたＦＧＳレイヤーの動きデータと重なる原本映像の上位空間レイヤーの動きデータを除去して、前記上位空間レイヤーの動き予測を行う予測部と、を備える。
【００２５】
前記の技術的課題を達成するための本発明の他の実施形態によるスケーラブルビデオエンコーディング装置は、原本映像の下位空間レイヤーを変換及び量子化する量子化変換部と、前記変換及び量子化された下位空間レイヤー内ベースレイヤー及びＦＧＳレイヤーのうち、インターレイヤーの動き予測時のビット率予想値が低いレイヤーの動きデータを利用して、前記原本映像の上位空間レイヤーの動き予測を行うインターレイヤー予測部と、前記変換及び量子化された下位空間レイヤーと前記動き予測された上位空間レイヤーとを符号化する符号化部と、を備える。
【００２６】
前記エンコーディング装置は、前記ＦＧＳレイヤーが前記上位空間レイヤーの動き予測に利用された場合、前記符号化された下位空間レイヤー及び符号化された上位空間レイヤーを含むビットストリームに、前記ＦＧＳレイヤーが前記上位空間レイヤーの動き予測に利用されたことを知らせる情報をシグナリングするシグナリング部をさらに備える。
【００２７】
前記の技術的課題を達成するための本発明の一実施形態によるスケーラブルビデオエンコーディング装置は、変換及び量子化された下位空間レイヤー内ベースレイヤーとＦＧＳレイヤーのうち、インターレイヤーの動き予測時のビット率予想値が低いレイヤーの動きデータを復元する復元部と、前記復元されたレイヤーの動きデータと重なる原本映像の上位空間レイヤーの動きデータを除去して、前記上位空間レイヤーの動き予測を行う予測部と、を備える。
【００２８】
前記の技術的課題を達成するための本発明の望ましい一実施形態によるビットストリーム抽出装置は、下位空間レイヤー内ＦＧＳレイヤーが上位空間レイヤーの動き予測に利用されたことを知らせるシグナリング情報を含むビットストリームを受信する受信部と、前記ビットストリームから前記シグナリング情報を抽出する情報抽出部と、前記シグナリング情報に基づいて前記ＦＧＳレイヤーを除去するかしないかを決定して、スケーラビリティが可変であるビットストリームを抽出するビットストリーム抽出部と、を備える。
【００２９】
前記の技術的課題を達成するための本発明の一実施形態によるスケーラブルビデオデコーディング装置は、下位空間レイヤー内ＦＧＳレイヤーが上位空間レイヤーの動き予測に利用されたことを知らせるシグナリング情報が含まれた、スケーラビリティが可変であるビットストリームを受信する受信部と、前記下位空間レイヤーを復号化し、前記シグナリング情報に基づいて、前記復号化された下位空間レイヤーを利用して前記上位空間レイヤーを復号化する復号化部と、を備える。
【００３０】
前記の技術的課題を達成するための本発明の一実施形態によるスケーラブルビデオコーディング装置は、下位空間レイヤー内ＦＧＳレイヤーが上位空間レイヤーの動き予測に利用されたことを知らせるシグナリング情報を含むビットストリームを生成するビットストリーム生成部と、前記シグナリング情報を含むビットストリームから、前記シグナリング情報に基づいて下位空間レイヤー内ＦＧＳレイヤーを除去するかしないかを決定して、スケーラビリティが可変であるビットストリームを抽出する抽出部と、前記シグナリング情報に基づいて前記抽出されたビットストリームを復号化する復号化部と、を備える。
【００３１】
前記の技術的課題を達成するために本発明は、本発明のスケーラブルビデオエンコーディング方法、ビットストリーム抽出方法、デコーディング方法及びコーディング方法をコンピュータで実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを特徴とする。
【発明の効果】
【００３２】
本発明によるエンコーディング方法は、下位空間レイヤー内ベースレイヤーより高画質のＦＧＳレイヤーの動きデータをインターレイヤーの動き予測に使用することによって、ベースレイヤーを利用する場合に比べてインターレイヤーリダンダンシをさらに効率的に除去できるため、さらに良好な符号化効率を得ることができる。
【００３３】
また本発明による他のエンコーディング方法は、下位空間レイヤー内のＦＧＳレイヤーによってオーバーヘッドが大きくなりうるため、インターレイヤーの動き予測時に発生するビット率を、予想値に基づいてベースレイヤーとＦＧＳレイヤーのうち一つを選択してインターレイヤーの動き予測に利用することによって、さらに最適化された符号化効率を得ることができる。
【００３４】
また本発明によるエンコーディング方法は、ビットストリームにインターレイヤーの動き予測時、ＦＧＳレイヤーの動きデータを利用した場合、これを表すシグナリング情報を挿入することによって、ビットストリーム抽出時に該当ＦＧＳレイヤーを除去させないため、デコーダ側で正常に映像を復元できる。
【００３５】
本発明によるビットストリーム抽出方法は、ビットストリームに挿入されたインターレイヤーの動き予測時、ＦＧＳレイヤーの利用したか否かを知らせるシグナリング情報を確認して、スケーラビリティが可変であるビットストリームを抽出することによって、デコーダ側で正常的に映像を復元できる。
【００３６】
本発明によるデコーディング方法は、ビットストリームに挿入されたシグナリング情報に基づいて、インターレイヤーの動き予測に利用されたレイヤーの動きデータを利用して正常に映像を復号化できる。
【００３７】
本発明は、ＳＶＣエンコーディング及びデコーディング時、その対象がＣＧＳレイヤーである場合にも空間解像度が他の場合と同一に適用されうる。
【発明を実施するための最良の形態】
【００３８】
以下、本発明の望ましい実施形態を添付した図面を参照して説明する。図面中で同じ構成要素については、たとえ他の図面上に表示されていても、可能なかぎり同じ参照番号及び符号で表していることに留意せねばならない。下記で本発明を説明するに当たって、関連した公知機能または構成についての具体的な説明が本発明の趣旨を不必要にあいまいにすると判断される場合には、その詳細な説明を省略する。
【００３９】
図１は、本発明の一実施形態によるコーディングシステムの全体構成を示すブロック図である。
【００４０】
図１を参照すれば、コーディングシステムは、エンコーダ（スケーラブルビデオエンコーディング装置）１１０、抽出器（ビットストリーム抽出装置）１２０及びデコーダ（スケーラブルビデオデコーディング装置）１３０を備える。
【００４１】
エンコーダ１１０は、入力ビデオデータの空間解像度増加のための下位空間レイヤー内ＦＧＳ（Fine Granular Scalability）レイヤーのデータを利用して、インターレイヤー予測を行うことによってスケーラブルビデオビットストリームを生成する。生成されたビットストリームは、符号化された下位空間レイヤー及び符号化された上位空間レイヤーを備える。エンコーダ１１０は、当該ビットストリームにＦＧＳレイヤーのデータがインターレイヤー予測に利用されたことを知らせるシグナリング情報を挿入する。本発明ではビットストリームにシグナリングすることと説明しているが、下位空間レイヤーと上位空間レイヤーとの符号化ステップでシグナリングすることもできる。
【００４２】
抽出器１２０は、スケーラブルビデオビットストリームからシグナリング情報を抽出し、これに基づいてスケーラビリティが可変のビットストリームを抽出する。抽出器１２０は独立的に存在してもよく、エンコーダ１１０またはデコーダ１３０に結合されて存在してもよい。
【００４３】
デコーダ１３０は、抽出されたスケーラビリティが可変であるビットストリームを復号化する。
【００４４】
インターレイヤー予測で、テクスチャー及び残余予測の場合（ＦＧＳレイヤーを含む）下位空間レイヤーのテクスチャー及び残余データを、上位空間レイヤーの解像度に合わせて計算した後、上位空間レイヤーのテクスチャー及び残余の予測データとして使用し、動き予測の場合（ＦＧＳレイヤーを除外した）下位空間レイヤーの動きデータを上位空間レイヤーの解像度に合わせて計算した後、上位空間レイヤーの動き予測データとして使用する。
【００４５】
ＳＶＣでは、空間解像度の異なるそれぞれのビデオを各空間レイヤー別に符号化して、空間解像度に対するスケーラビリティを提供する。この時、空間インターレイヤーリダンダンシを除去するために、下位空間レイヤーの動きデータを上位空間レイヤーの動きデータとして利用するインターレイヤーの動き予測が使われる。
【００４６】
図２は、下位空間レイヤー内ベースレイヤーの動きデータを利用したインターレイヤーの動き予測を行う一例を概略的に示す。
【００４７】
図２を参照すれば、異なる空間レイヤーは空間解像度が異なるので、ベースレイヤーの動きベクトルは下位空間レイヤーと上位空間レイヤーとの解像度差に比例してそのサイズを増大させねばならず、この時に符号化される上位空間レイヤーのブロックは動きベクトルを追加で伝送しないため、符号化効率を高めることができる。
【００４８】
しかし、この場合に各マクロブロックまたはサブブロックに対して対応する動きモードが一つ存在し、これにより、下位空間レイヤーで上位空間レイヤー予測のために使用できる動きデータも一つ存在する。
【００４９】
従来、ＦＧＳレイヤーの動きデータによるデコーディング時の複雑度の増加などを理由にしてＦＧＳレイヤーの動きデータが利用されなかった。しかし、ＦＧＳレイヤーの動きデータを利用することによって符号化効率が顕著に向上できる。したがって、ＦＧＳレイヤーをインターレイヤーの動き予測に利用すれば、インターレイヤーの動き予測のための下位空間レイヤーで利用できる動きデータが増加し、上位空間レイヤーで下位空間レイヤーの動きデータを利用するに当たって、インターレイヤーリダンダンシをさらに効率的に除去できる。
【００５０】
図３は、下位空間レイヤー内ＦＧＳレイヤーの動きデータを利用したインターレイヤーの動き予測を行う一例を概略的に示す。
【００５１】
図３を参照すれば、ベースレイヤーとＦＧＳレイヤーとを含む下位空間レイヤー内ＦＧＳレイヤーの動きデータを利用して、インターレイヤーの動き予測を行うことができる。
【００５２】
下位空間レイヤーに同じ空間解像度を持つレイヤーが一つ以上存在するため、一つの空間解像度を表す空間レイヤー内に、各マクロブロックまたはサブブロックに対して対応する動きモードが一つ以上存在できる。これにより、下位空間レイヤーで使用できる動きデータも一つ以上存在できる。
【００５３】
したがって、基本画質のベースレイヤーではない高画質のＦＧＳレイヤーの動きデータを使用する場合、ベースレイヤーに比べて高画質の動きデータを空間レイヤー間の予測に使用するため、インターレイヤーリダンダンシをさらに効率的に除去でき、これによってさらに良好な符号化効率を得ることができる。
【００５４】
この時、ビットストリームにインターレイヤーの動き予測時、ＦＧＳレイヤーの動きデータを使用したか、またはベースレイヤーの動きデータを使用したかが分かる情報を挿入できる。これについての詳細な説明は後述する。
【００５５】
図４は、本発明による下位空間レイヤー内ベースレイヤーとＦＧＳレイヤーのうち、選択されたレイヤーの動きデータを利用したインターレイヤーの動き予測を行う一例を概略的に示す。
【００５６】
図４を参照すれば、ベースレイヤーの動きベクトルとＦＧＳレイヤーの動きベクトルのうち、符号化効率の高い動きデータを利用して符号化する。
【００５７】
下位空間レイヤー内にＦＧＳレイヤーが追加されればビット率が増加するため、図４のようにＦＧＳレイヤーを利用してインターレイヤーの動き予測を行う場合、オーバーヘッドがさらに大きくなりうる。したがって、ＦＧＳレイヤーの動きデータを利用する場合と、ベースレイヤーの動きデータを利用する場合との符号化効率を比較して予測レイヤーを選択することによって、さらに最適化したビット率でエンコーディングが可能になる。
【００５８】
この時、ビットストリームにインターレイヤーの動き予測時、ＦＧＳレイヤーの動きデータを使用したか、またはベースレイヤーの動きデータを使用したかが分かる情報を挿入できる。これについての詳細な説明は後述する。
【００５９】
本発明でのインターレイヤーの動き予測時にＦＧＳレイヤーのデータを使用する他のエンコーディング及びデコーディング方法は、ＭＰＥＧ−４ＳＶＣと同一である。
【００６０】
図５は、本発明の一実施形態によるエンコーダ１１０の構成を示すブロック図である。エンコーダ１１０で同じ機能を行う公知の構成についての詳細な説明は省略する。
【００６１】
図５を参照すれば、エンコーダ１１０は、量子化変換部５１０、第１の符号化部５２０、インターレイヤー予測部５３０、第２の符号化部５４０及びシグナリング部５５０を含む。インターレイヤー予測部５３０は復元部５３１及び予測部５３２を備える。
【００６２】
量子化変換部５１０は、原本映像（入力映像、すなわち、符号化されていない元映像）の下位空間レイヤーを変換及び量子化する。
【００６３】
第１の符号化部５２０は、変換及び量子化された低解像度の下位空間レイヤーを符号化する。下位空間レイヤーは特定解像度を持ち、一つ以上のレイヤーを含むことができる。例えば、基本画質のベースレイヤーと高画質のＦＧＳレイヤーとを含むことができる。
【００６４】
インターレイヤー予測部５３０は、変換及び量子化された下位空間レイヤー内ＦＧＳレイヤーの動きデータを利用して、原本映像の上位空間レイヤーの動き予測を行う。
【００６５】
ここで、復元部５３１は、変換及び量子化されたＦＧＳレイヤーの動きデータを復元する。ＦＧＳレイヤーの場合、ベースレイヤーに比べて高画質を持つためにインターレイヤーリダンダンシをさらに効率的に除去でき、これによってさらに優秀な符号化効率を得ることができるためである。
【００６６】
予測部５３２は、復元されたＦＧＳレイヤーの動きデータと重なる上位空間レイヤーの動きデータを除去して、インターレイヤーの動き予測を行う。予測部５３２は、アップサンプリング部５３３及び減算部５３４を備える。アップサンプリング部５３３は、復元されたＦＧＳレイヤーの動きデータを上位空間レイヤーの解像度に合わせてアップサンプリングする。次いで、減算部５３４は、原本映像の上位空間レイヤーの動きデータからアップサンプリングされたＦＧＳレイヤーの動きデータを差分して、重なった動きデータを除去する。
【００６７】
空間レイヤー間の動き予測（インターレイヤーの動き予測）は、上位空間レイヤーの各フレームと、当該上位空間レイヤーの各フレームに時間的に対応する（すなわち、同じ時間に再生される）下位空間レイヤーの各フレームとの間で行われる。各フレームは少なくとも一つ以上のブロックを含み、各ブロックに対応して動きデータが存在する。
【００６８】
第２の符号化部５４０は、予測部５３２で重なった動きデータが差分されることによって動き予測された上位空間レイヤーを符号化する。
【００６９】
第１の符号化部５２０及び第２の符号化部５４０は、別個に機能することもあり、または一つに機能することもある。
【００７０】
シグナリング部５５０は、符号化された下位空間レイヤー及び符号化された上位空間レイヤーを含むビットストリームに、上位空間レイヤーの動き予測時にＦＧＳレイヤーの動きデータを利用したことを知らせるシグナリング情報を挿入する。
【００７１】
上位空間レイヤーの動き予測のために、下位空間レイヤー内ＦＧＳレイヤーの動きデータをインターレイヤー予測に利用した場合、ＦＧＳレイヤーが除去されれば、デコーダ側で上位空間レイヤーの復号化時にＦＧＳレイヤーのデータを利用できなくなるという問題が発生しうる。
【００７２】
これを解決するために、インターレイヤー予測にＦＧＳレイヤーの動きデータが使われた場合、ビットストリーム抽出時にＦＧＳレイヤーを除去させないシグナリングが必要になる。
【００７３】
本発明では、ＦＧＳレイヤーが上位空間レイヤーの動き予測に利用された場合のシグナリング方法として、シグナリング情報を（１）ビットストリームのペイロードに挿入する方法、または（２）ビットストリームのヘッダに挿入する方法を提案する。
【００７４】
最初の方法は図６及び図７に図示され、第２の方法は図８乃至図１０に図示される。
【００７５】
最初の方法の具現例は、ｉ）ＦＧＳレイヤーの動きデータを利用してインターレイヤーの動き予測を行うことを知らせるフラグを、動き予測された上位空間レイヤーの該当ブロックに挿入するか、ｉｉ）ＦＧＳレイヤーの動きデータを利用してインターレイヤーの動き予測を行ったことを知らせるＳＥＩメタデータを、動き予測された上位空間レイヤーの該当フレーム以前の最も近いＩＤＲフレーム前に挿入するか、ｉｉｉ）ＦＧＳレイヤーの動きデータについての情報を提供する動きデータオフセットに関するＳＥＩメタデータを、ＦＧＳレイヤーのＮＡＬユニット前に挿入する方法などでありうる。
【００７６】
該フラグの例として、ビットストリーム内にｉｎｔｅｒｌａｙｅｒ＿ｆｇｓ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇを追加できる。この場合、ＦＧＳレイヤーの動きデータを利用してインターレイヤーの動き予測を行う場合、ｉｎｔｅｒｌａｙｅｒ＿ｆｇｓ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇを１にし、そうでない場合、ｉｎｔｅｒｌａｙｅｒ＿ｆｇｓ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇを０にすることができる。該フラグは、ＦＧＳレイヤーを利用して動き予測された上位空間レイヤーの各ブロックに追加できる。該フラグが１にセットされていれば、抽出器は、各ブロックに対応する該当ＦＧＳレイヤーを除去せずにビットストリームを抽出できる。
【００７７】
ＳＥＩを挿入する場合、ＳＥＩは、インターレイヤーの動き予測方法が変わったことがデコーダ側で分かる位置に存在できる。したがって、インターレイヤーの動き予測方法が変わる直前のキーピクチャー前に位置できる。
【００７８】
図６は、ＳＥＩメタデータを、ＦＧＳレイヤーを利用して動き予測された上位空間レイヤーの該当フレーム以前の最も近いＩＤＲフレーム前に挿入する場合の例である。図６を参照すれば、ｉｎｔｅｒｌａｙｅｒ＿ｆｇｓ＿ｐｒｅｄｉｃｔｉｏｎ ＳＥＩがビットストリームに挿入されていれば、該ＳＥＩの直後のＩＤＲから次のＩＤＲが出る前のビットストリームは、ＦＧＳレイヤーの動きデータを利用してインターレイヤーの動き予測を行うことと見なす。したがって、該ＳＥＩデータを確認した抽出器は、該上位空間レイヤーに対応する該当ＦＧＳレイヤーを除去せずにビットストリームを抽出できる。
【００７９】
図７は、ＳＥＩメタデータをＦＧＳレイヤーのＮＡＬユニット前に挿入する場合の例である。図７を参照すれば、ＦＧＳ＿ｍｏｔｉｏｎ＿ｄａｔａ ＳＥＩをＦＧＳ ＮＡＬユニット前に挿入する。該ＳＥＩは、ＦＧＳレイヤーの動きデータについての情報であって、ｍｏｔｉｏｎ＿ｄａｔａ＿ｏｆｆｓｅｔは、該当ＦＧＳ ＮＡＬユニットの最初のバイト（byte）からＦＧＳレイヤーの動きデータ（motion data）を含む最後のバイトまでの差（offset）を表す。したがって、ＦＧＳ ＮＡＬユニットより高いｄｅｐｅｎｄｅｎｃｙ＿ｉｄ（空間解像度レベルを表すシンボル）を持つＮＡＬユニットが一つ以上のビットストリーム内に存在する時、ＦＧＳ ＮＡＬユニットの最初からオフセット範囲までの部分は、ビットストリームの抽出時に除去されない。
【００８０】
第２の方法の具現例は、ｉ）インターレイヤーの動き予測に利用されたＦＧＳレイヤーの動きデータで構成されたＮＡＬ（Network Abstraction Layer）ユニットのヘッダにＦＧＳレイヤーの動きデータが含まれていることを表すフラグを挿入するか、ｉｉ）ＮＡＬユニットのヘッダにＦＧＳレイヤーの動きデータが含まれていることを表すために優先順位に対して特定値を付与するか、ｉｉｉ）スライスヘッダに、インターレイヤーの動き予測のためにＦＧＳレイヤーの動きデータを利用したことを表すフラグを挿入する方法でありうる。
【００８１】
図８は、ＮＡＬユニットのヘッダにフラグを挿入する場合の例である。図８を参照すれば、ＮＡＬヘッダ（NAL header）にｆｇｓ＿ｍｏｔｉｏｎ＿ｆｌａｇをおいて、ＦＧＳレイヤーの動きデータが含まれていることを表す。
【００８２】
より詳細には、下位空間レイヤーで予測レイヤー（インターレイヤーの動き予測に利用されるレイヤー）として利用されたＦＧＳレイヤーの動きデータだけで一つのＦＧＳフラグメントを構成して一つの独立したＮＡＬユニットに作る。ＮＡＬユニットがＦＧＳレイヤーの動きデータを含むＦＧＳフラグメントであることを表すために、ｆｇｓ＿ｍｏｔｉｏｎ＿ｆｌａｇと称するフラグをＮＡＬヘッダに追加してシグナリングできる。この場合、ｆｇｓ＿ｍｏｔｉｏｎ＿ｆｌａｇが１であるＮＡＬユニットは、上位ｄｅｐｅｎｄｅｎｃｙ＿ｉｄを持つ一つ以上のＮＡＬユニットがビットストリーム上に存在する時に除去（抽出）されず、ｆｇｓ＿ｍｏｔｉｏｎ＿ｆｌａｇが０であるＮＡＬユニットは除去されうる。
【００８３】
図９は、ＮＡＬユニットのヘッダにＦＧＳレイヤーの動きデータが含まれていることを表す優先順位に対する特定値を挿入する場合の例である。図９を参照すれば、ＮＡＬユニットのＮＡＬヘッダのｓｉｍｐｌｅ＿ｐｒｉｏｒｉｔｉ＿ｉｄにあらかじめ設定された特定値、例えば、「６３」を付与してシグナリングすれば、ｓｉｍｐｌｅ＿ｐｒｉｏｒｉｔｙ＿ｉｄ値が６３であり、ｑｕａｌｉｔｙ＿ｌｅｖｅｌ（一つの空間レイヤー内量子化レベルを表すシンボル）が０でないＮＡＬユニット、すなわち、ＦＧＳレイヤーのＮＡＬユニットは、上位ｄｅｐｅｎｄｅｎｃｙ＿ｉｄを持つ一つ以上のＮＡＬユニットがビットストリーム上に存在する時に抽出されないようにできる。
【００８４】
図１０は、スライスヘッダに、インターレイヤーの動き予測時にＦＧＳレイヤーの動きデータを利用したことを表すフラグを挿入する場合の例である。図１０を参照すれば、動き予測された上位空間レイヤーの該当スライスヘッダにｕｓｅ＿ｆｇｓ＿ｍｏｔｉｏｎ＿ｆｌａｇをおいて、ＦＧＳレイヤーの動きデータがインターレイヤー予測に利用されたことを表すことができる。この場合、ｕｓｅ＿ｆｇｓ＿ｍｏｔｉｏｎ＿ｆｌａｇが１ならば、ＦＧＳレイヤーの動きデータが上位空間レイヤーの動き予測に使われたことを表してＦＧＳレイヤーが除去されないようにし、ｕｓｅ＿ｆｇｓ＿ｍｏｔｉｏｎ＿ｆｌａｇが０ならば、ＦＧＳレイヤーの動きデータが上位空間レイヤーの動き予測に使われていないことを表すことができる。
【００８５】
図１１は、本発明の他の実施形態によるエンコーダ１１０の構成を示すブロック図である。エンコーダ１１０で同じ機能を行う公知の構成についての詳細な説明は省略する。
【００８６】
図１１を参照すれば、エンコーダ１１０は、量子化変換部１１１０、第１の符号化部１１２０、インターレイヤー予測部１１３０、第２の符号化部１１４０及びシグナリング部１１５０を備える。インターレイヤー予測部１１３０は、復元部１１３１及び予測部１１３５を備える。
【００８７】
量子化変換部１１１０は、原本映像の下位空間レイヤーを変換及び量子化する。
【００８８】
第１の符号化部１１２０は、変換及び量子化された低解像度の下位空間レイヤーを符号化する。下位空間レイヤーは特定空間解像度を持ち、一つ以上のレイヤーを含むことができる。例えば、基本画質のベースレイヤーと高画質のＦＧＳレイヤーとを含むことができる。
【００８９】
インターレイヤー予測部１１３０は、変換及び量子化された下位空間レイヤー内ベースレイヤー及びＦＧＳレイヤーのうち、インターレイヤーの動き予測時のビット率予想値が低いレイヤーの動きデータを利用して、原本映像の上位空間レイヤーの動き予測を行う。
【００９０】
ここで、復元部１１３１は、ベースレイヤーとＦＧＳレイヤーのうちインターレイヤーの動き予測時のビット率予想値が低いレイヤーの動きデータを復元する。復元部１１３１は、アップサンプリング部１１３２、計算部１１３３及び選択部１１３４を備える。
【００９１】
アップサンプリング部１１３２は、下位空間レイヤー内各レイヤー（ベースレイヤー及びＦＧＳレイヤー）の動きベクトルを、上位空間レイヤーの解像度に合わせてアップサンプリングする。次いで、計算部１１３３は、各アップサンプリングされた動きベクトルを利用してインターレイヤーの動き予測を行う場合のビット率を計算する。選択部１１３４は、計算されたビット率値が最も小さなレイヤーを予測レイヤーとして選択する。もし、ビット率値が同じ場合にはベースレイヤーを予測レイヤーとして選択することが望ましい。
【００９２】
予測部１１３５は、原本映像の上位空間レイヤーの動きデータから、アップサンプリング及び復元された下位空間レイヤー（ベースレイヤーまたはＦＧＳレイヤー）の動きデータを差分して、重なった動きデータを除去する。
【００９３】
インターレイヤーの動き予測は、上位空間レイヤーの各フレームと、該上位空間レイヤーの各フレームに時間的に対応する（すなわち、同じ時間に再生される）下位空間レイヤーの各フレームとの間で行われる。各フレームは少なくとも一つ以上のブロックを含み、各ブロックに対応して動きデータが存在する。
【００９４】
第２の符号化部１１４０は、予測部１１３５で動き予測された上位空間レイヤーを符号化する。
【００９５】
第１の及び第２の符号化部は、別個または一つに機能する。
【００９６】
シグナリング部１１５０は、符号化された下位空間レイヤー及び上位空間レイヤーを含むビットストリームに、インターレイヤーの動き予測時にＦＧＳレイヤーの動きデータを利用した場合、これを知らせる情報を挿入する。シグナリング方法は、前述された図５乃至図１０の説明を参照できる。
【００９７】
図１２は、本発明の一実施形態によるビットストリーム抽出器１２０の内部構成を概略的に示すブロック図である。
【００９８】
ビットストリーム抽出器１２０は、受信部１２１０、情報抽出部１２２０及びビットストリーム抽出部１２３０を備える。ビットストリーム抽出器１２０は、エンコーダ１１０の出力部またはデコーダ１３０の入力部に追加された一構成でありうる。
【００９９】
受信部１２１０は、下位空間レイヤー及び上位空間レイヤーを含むビットストリームを受信する。下位空間レイヤーは特定空間解像度を持ち、ベースレイヤー及びＦＧＳレイヤーを含む。上位空間レイヤーは、下位空間レイヤー内で選択されたレイヤーを予測レイヤーとしてインターレイヤーの動き予測を行って生成される。該ビットストリームは、ＦＧＳレイヤーがインターレイヤーの動き予測に利用された場合、これについてのシグナリング情報が挿入されている。
【０１００】
情報抽出部１２２０は、該ビットストリームに挿入されたシグナリング情報を抽出及び確認する。
【０１０１】
ビットストリーム抽出部１２３０は、シグナリング情報に基づいてＦＧＳレイヤーを除去するかしないかを決定することによって、スケーラビリティが可変であるビットストリームを抽出する。ＦＧＳレイヤーを利用してインターレイヤーの動き予測を行うことによって上位空間レイヤーを符号化した場合、デコーダはＦＧＳレイヤーを利用して復号化せねばならない。したがって、ビットストリーム抽出部１２３０は、ＦＧＳレイヤーの動きデータを利用して、インターレイヤーの動き予測が行われたことを表すシグナリング情報が確認されれば、ＦＧＳレイヤーを除去せずにビットストリームを抽出する。
【０１０２】
シグナリング情報は、ビットストリームのペイロードまたはヘッダから抽出されうる。
【０１０３】
シグナリング情報が上位空間レイヤーの各ブロックに挿入されたフラグである場合、該フラグがセットされていれば、各ブロックに時間的に対応する（すなわち、同じ時間に再生される）ＦＧＳレイヤーを除去せずにビットストリームを抽出する。例えば、ビットストリームでｉｎｔｅｒｌａｙｅｒ＿ｆｇｓ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇが１にセットされていることを確認した場合、ＦＧＳレイヤーの動きデータを利用してインターレイヤーの動き予測を行ったことと判断される。したがって、ビットストリーム抽出部１２３０は、該当ＦＧＳレイヤーは除去せずにビットストリームを抽出できる。
【０１０４】
シグナリング情報が上位空間レイヤーのＩＤＲフレーム前に挿入されたＳＥＩメタデータである場合、ＩＤＲフレームから次のＩＤＲフレーム以前までのフレームに時間的に対応するＦＧＳレイヤーを除去せずにビットストリームを抽出する。例えば、ビットストリームでｉｎｔｅｒｌａｙｅｒ＿ｆｇｓ＿ｐｒｅｄｉｃｔｉｏｎＳＥＩを確認した場合、ＳＥＩの直後のＩＤＲフレームから次のＩＤＲフレームが出る前のビットストリームは、ＦＧＳレイヤーの動きデータを利用してインターレイヤーの動き予測を行うことと見なす。したがって、ビットストリーム抽出部１２３０は、該当ＦＧＳレイヤーは除去せずにビットストリームを抽出できる。
【０１０５】
シグナリング情報が、ＦＧＳレイヤーのＮＡＬユニットであるＦＧＳ ＮＡＬユニット前に挿入された動きデータオフセットに関するＳＥＩメタデータである場合、ＮＡＬユニットの開始バイトから、動きデータを含む最後のバイトは除去せずにビットストリームを抽出する。例えば、ＦＧＳ＿ｍｏｔｉｏｎ＿ｄａｔａ ＳＥＩでｍｏｔｉｏｎ＿ｄａｔａ＿ｏｆｆｓｅｔ情報を確認すれば、ビットストリーム抽出部１２３０は、ＳＥＩが前に挿入されているＦＧＳ ＮＡＬユニットの最初のバイトから、ＦＧＳレイヤーの動きデータを含む最後のバイトまで除去せずにビットストリームを抽出する。
【０１０６】
シグナリング情報が、ＦＧＳレイヤーの動きデータで構成されたＦＧＳフラグメントを表すＮＡＬユニットのヘッダに挿入されたフラグである場合、該フラグがセットされていれば、ＮＡＬユニットを除去せずにビットストリームを抽出する。例えば、ＦＧＳレイヤーの動きデータで構成されたＮＡＬユニットのヘッダにｆｇｓ＿ｍｏｔｉｏｎ＿ｆｌａｇと称するフラグがあり、フラグが１にセットされていれば、上位ｄｅｐｅｎｄｅｎｃｙ＿ｉｄを持つ一つ以上のＮＡＬユニットがビットストリーム上に存在する時、ＦＧＳフラグメントを表すＮＡＬユニットは除去しない。
【０１０７】
シグナリング情報が、ＦＧＳレイヤーの動きデータで構成されたＦＧＳフラグメントを表すＮＡＬユニットのヘッダに挿入された優先順位に対する特定値である場合、特定値を持つＮＡＬユニットを除去せずにビットストリームを抽出する。例えば、ＦＧＳフラグメントを表すＮＡＬユニットのＮＡＬヘッダのｓｉｍｐｌｅ＿ｐｒｉｏｒｉｔｉ＿ｉｄに特定値、例えば「６３」が付与されており、ｑｕａｌｉｔｙ＿ｌｅｖｅｌが０でない場合、上位ｄｅｐｅｎｄｅｎｃｙ＿ｉｄを持つ一つ以上のＮＡＬユニットがビットストリーム上に存在する時、ビットストリーム抽出部１２３０は、ＦＧＳフラグメントを表すＮＡＬユニットを除去しない。
【０１０８】
シグナリング情報が上位空間レイヤーのスライスヘッダに挿入されたフラグである場合、該フラグがセットされていれば、スライスに対応するＦＧＳレイヤーを除去せずにビットストリームを抽出する。例えば、上位空間レイヤーのスライスヘッダにｕｓｅ＿ｆｇｓ＿ｍｏｔｉｏｎ＿ｆｌａｇが１にセットされていれば、ＦＧＳレイヤーの動きデータを利用したことを表すと判断し、ビットストリーム抽出部１２３０はＦＧＳレイヤーを除去しない。
【０１０９】
図１３は、本発明の一実施形態によるスケーラブルビデオデコーダ１３０の内部構成を概略的に示すブロック図である。
【０１１０】
デコーダ１３０は、受信部１３１０、第１の復号化部１３２０及び第２の復号化部１３３０を備える。
【０１１１】
受信部１３１０は、スケーラビリティが可変であるビットストリームを受信する。受信されたビットストリームは、下位空間レイヤー及び上位空間レイヤーを含むビットストリームから、ＦＧＳレイヤーがインターレイヤーの動き予測に利用されたことを知らせるシグナリング情報を抽出した後、これに基づいてＦＧＳレイヤーを除去するかしないかを決定して、スケーラビリティが可変であるビットストリームを抽出した抽出器１２０の出力である。
【０１１２】
第１の復号化部１３２０は、ビットストリームで下位空間レイヤーを復号化して原本映像を復元する。
【０１１３】
第２の復号化部１３３０は、下位空間レイヤー内のレイヤーのうち、インターレイヤーの動き予測に利用されたレイヤーの動きデータに基づいて上位空間レイヤーを復号化して、原本映像を復元する。
【０１１４】
図１４は、本発明の一実施形態によるスケーラブルビデオエンコーディング方法を説明するフローチャートである。以下、前述された内容と重なる説明は省略する。
【０１１５】
図１４を参照すれば、原本映像の下位空間レイヤーを変換及び量子化する（Ｓ１４１０）。ＦＧＳスケーラビリティにより、下位空間レイヤーは、同じ空間解像度を持つ基本画質のベースレイヤーと高画質のＦＧＳレイヤーとを含むことができる。
【０１１６】
次いで、変換及び量子化された下位空間レイヤー内ＦＧＳレイヤーを、インターレイヤーの動き予測のための予測レイヤーとして選択して復号化することによって、復元する（Ｓ１４２０）。
【０１１７】
復元されたＦＧＳレイヤーを利用して上位空間レイヤーの動き予測を行う（Ｓ１４３０）。
【０１１８】
動き予測された上位空間レイヤーと変換及び量子化された下位空間レイヤーとを符号化する（Ｓ１４４０）。
【０１１９】
符号化された下位空間レイヤー及び符号化された上位空間レイヤーを含むビットストリームに、インターレイヤーの動き予測時にＦＧＳレイヤーが利用されたことを知らせるシグナリング情報を挿入する（Ｓ１４５０）。シグナリング情報の挿入は、図５乃至図１０の説明を参照できる。
【０１２０】
図１５は、本発明の他の実施形態によるスケーラブルビデオエンコーディング方法を説明するフローチャートである。以下、前述された内容と重なる説明は省略する。
【０１２１】
図１５を参照すれば、原本映像の下位空間レイヤーを変換及び量子化する（Ｓ１５１０）。ＦＧＳスケーラビリティにより、下位空間レイヤーは、同じ空間解像度を持つ基本画質のベースレイヤーと高画質のＦＧＳレイヤーとを含むことができる。
【０１２２】
次いで、変換及び量子化された下位空間レイヤー内ベースレイヤーとＦＧＳレイヤーのうち一つを、インターレイヤーの動き予測のための予測レイヤーとして選択して復号化することによって復元する（Ｓ１５２０）。予測レイヤー選択は、各レイヤー（ベースレイヤー及びＦＧＳレイヤー）の動きベクトルを利用して、インターレイヤーの動き予測時に予想されるビット率値が小さなレイヤーを選択することによって行われうる。ビット率値が同じ場合には、ベースレイヤーを予測レイヤーとして選択することが望ましい。
【０１２３】
図１６は、ビット率計算による予測レイヤー選択方法の一例を図示する。
【０１２４】
図１６を参照すれば、まず、ベースレイヤーの動きベクトルＭＶ１を上位空間レイヤーの解像度に合わせてアップサンプリングし（Ｓ１６１０）、ＦＧＳレイヤーの動きベクトルＭＶ２を上位空間レイヤーの解像度に合わせてアップサンプリングする（Ｓ１６１０´）。
【０１２５】
次いで、各動きベクトル（ＭＶ１及びＭＶ２）を利用して動き補償を行う（Ｓ１６２０及びＳ１６２０´）。
【０１２６】
動き補償時、ＭＶ１によるビット率（Ｂ１）及びＭＶ２によるビット率（Ｂ２）をそれぞれ計算する（Ｓ１６３０及びＳ１６３０´）。
【０１２７】
計算されたビット率を比較してＢ１がＢ２より大きいかを判断する（Ｓ１６４０）。
【０１２８】
Ｂ１がＢ２より大きい場合（Ｂ１＞Ｂ２）、インターレイヤーの動き予測を行うために動きベクトルＭＶ２を選択する（Ｓ１６５０）。
【０１２９】
一方、Ｂ１がＢ２より小さな場合、またはＢ１とＢ２とが同じ場合（Ｂ１＜Ｂ２またはＢ１＝Ｂ２）、インターレイヤーの動き予測を行うために動きベクトルＭＶ１を選択する（Ｓ１６６０）。
【０１３０】
再び図１５を参照すれば、復元された予測レイヤーを利用して上位空間レイヤーのインターレイヤーの動き予測を行う（Ｓ１５３０）。
【０１３１】
動き予測された上位空間レイヤーと、変換及び量子化された下位空間レイヤーとを符号化する（Ｓ１５４０）。
【０１３２】
符号化された下位空間レイヤー及び符号化された上位空間レイヤーを含むビットストリームに、インターレイヤーの動き予測時ＦＧＳレイヤーが利用されたことを知らせるシグナリング情報を挿入する（Ｓ１５５０）。シグナリング情報の挿入は、図５乃至図１０の説明を参照できる。
【０１３３】
図１７は、本発明の一実施形態によるビットストリーム抽出方法を説明するフローチャートである。以下で前述した内容と重なる説明は省略する。
【０１３４】
図１７を参照すれば、ビットストリーム抽出器は下位空間レイヤー及び上位空間レイヤーを含むビットストリームを受信する（Ｓ１７１０）。該ビットストリームには下位空間レイヤー内ＦＧＳレイヤーが上位空間レイヤーの動き予測に利用されたことを知らせるシグナリング情報が挿入されている。
【０１３５】
次いで、該シグナリング情報を抽出する（Ｓ１７２０）。該シグナリング情報は、エンコーダ側でインターレイヤー予測実行時に、下位空間レイヤーのうちベースレイヤーを使用したかＦＧＳレイヤーを使用したかを知らせるフラグまたはＳＥＩメタデータであって、該ビットストリームのペイロードまたはヘッダに挿入された情報である。より詳細な説明は、図５乃至図１０の説明を参照できる。
【０１３６】
ビットストリーム抽出器は、シグナリング情報に基づいてインターレイヤーの動き予測時にＦＧＳレイヤーを用いたと確認されれば、該当ＦＧＳレイヤーを除去せずにスケーラビリティが可変であるビットストリームを抽出する（Ｓ１７３０）。より詳細な説明は、図１２の説明を参照できる。
【０１３７】
図１８は、本発明の一実施形態によるスケーラブルビデオデコーディング方法を説明するフローチャートである。以下、前述した内容と重なる説明は省略する。
【０１３８】
図１８を参照すれば、デコーダは、ビットストリーム抽出器から抽出されたビットストリームを受信する（Ｓ１８１０）。該ビットストリームは、ビットストリーム生成時に挿入されたインターレイヤーの動き予測時、ＦＧＳレイヤーを利用したか否かを知らせるシグナリング情報に基づいてＦＧＳレイヤーを除去するかしないかを決定し、抽出されたスケーラビリティが可変であるビットストリームである。
【０１３９】
デコーダは、受信したビットストリームの下位空間レイヤーを復号化する（Ｓ１８２０）。
【０１４０】
次いで、シグナリング情報に基づいて復号化された下位空間レイヤー内で選択された予測レイヤー（ベースレイヤーまたはＦＧＳレイヤー）に対応するレイヤーの動きデータに基づいて、上位空間レイヤーを復号化する（Ｓ１８３０）。
【０１４１】
図１９は、本発明の一実施形態によるコーディング装置（コーデック）の内部構成を概略的に示すブロック図である。
【０１４２】
図１９を参照すれば、コーディング装置１９００は、ビットストリーム生成部１９１０、抽出部１９２０及び復号化部１９３０を備える。以下で前述した内容と重なる説明は省略する。
【０１４３】
ビットストリーム生成部１９１０は、復元部１９１１、予測部１９１２、符号化部１９１３及びシグナリング部１９１４を備える。
【０１４４】
復元部１９１１は、変換及び量子化された下位空間レイヤー内ＦＧＳレイヤーを、インターレイヤーの動き予測に利用される動きデータを提供するレイヤーである予測レイヤーとして選択するか、変換及び量子化されたベースレイヤーとＦＧＳレイヤーのうち、インターレイヤーの動き予測時のビット率予想値が低いレイヤーを予測レイヤーとして選択して復元する。
【０１４５】
予測部１９１２は、原本映像の上位空間レイヤーで、復元された予測レイヤーの動きデータと重なる動きデータを除去して、インターレイヤーの動き予測を行う。
【０１４６】
符号化部１９１３は、動き予測された上位空間レイヤーと、変換及び量子化された下位空間レイヤーとを符号化する。
【０１４７】
シグナリング部１９１４は、ＦＧＳレイヤーが予測レイヤーとして選択された場合、該ビットストリームに、ＦＧＳレイヤーが予測レイヤーとして利用されたことを知らせる情報をシグナリングする。
【０１４８】
抽出部１９２０は、入力されるビットストリームから、ＦＧＳレイヤーを利用してインターレイヤーの動き予測があったことを知らせるシグナリング情報を抽出する。次いで、シグナリング情報に基づいてＦＧＳレイヤーが予測レイヤーとして利用された場合には、ＦＧＳレイヤーを除去せずにビットストリームを抽出することによって、スケーラビリティが可変であるビットストリームを抽出する。
【０１４９】
復号化部１９３０は、シグナリング情報に基づいて予測レイヤーに対応するレイヤー（ベースレイヤーまたはＦＧＳレイヤー）の動きデータを利用して、抽出されたビットストリームを復号化する。
【０１５０】
図２０は、本発明の一実施形態によるスケーラブルビデオコーディング方法を説明するフローチャートである。以下で前述した内容と重なる説明は省略する。
【０１５１】
図２０を参照すれば、まず下位空間レイヤーと、前記下位空間レイヤーをインターレイヤーの動き予測に利用して生成された上位空間レイヤーとを含むビットストリームを生成する（Ｓ２０１０）。
【０１５２】
より詳細に説明すれば、変換及び量子化されたＦＧＳレイヤーを、上位空間レイヤーの動き予測に利用される動きデータを提供するレイヤーである予測レイヤーとして選択して復元するか、変換及び量子化されたベースレイヤー及びＦＧＳレイヤーのうち、インターレイヤーの動き予測時のビット率予想値が低いレイヤーを予測レイヤーとして選択して復元する。次いで、上位空間レイヤーから、復元された予測レイヤーの動きデータと重なる動きデータを除去して、インターレイヤーの動き予測を行う。変換及び量子化された予測レイヤーと動き予測された上位空間レイヤーとを符号化する。ＦＧＳレイヤーが予測レイヤーとして選択された場合、ビットストリームに、ＦＧＳレイヤーが予測レイヤーとして利用されたことを知らせる情報をシグナリングする。
【０１５３】
入力されるビットストリームから、前記のようなシグナリング情報に基づいてＦＧＳレイヤーを除去するかしないかを決定し、スケーラビリティが可変であるビットストリームを抽出する（Ｓ２０２０）。
【０１５４】
該シグナリング情報に基づいて、インターレイヤーの動き予測に利用されたレイヤーに対応するレイヤー（ベースレイヤーまたはＦＧＳレイヤー）の動きデータを利用して、抽出されたビットストリームを復号化する（Ｓ２０３０）。
【０１５５】
表２乃至表４は、ＦＧＳレイヤーの動きデータを利用したインターレイヤー予測を使用する本発明を適用した場合のビット率の減少実験結果を示す。
【０１５６】
表１は、各実験の環境条件を説明する。各実験でＧＯＰ（Group of Pictures）のサイズは１６、各ビットストリームは二つの空間レイヤー、すなわち、ＱＣＩＦ（Quarter Common Intermediate Format；低解像度）レイヤー及びＣＩＦ（Common Intermediate Format；高解像度）レイヤーにエンコーディングされ、各空間レイヤーは３個のＦＧＳレイヤーを持つ。各実験で、ＣＩＦレイヤーのパラメータは変化がなく、ＱＣＩＦレイヤーのフレーム率とＱＰ（Quantization Parameter）値が変化している。また各実験で、ＪＳＶＭ ５．７により提供されるビットストリームを本発明によるビットストリームと比較して、ビット率の減少を計算した。
【０１５７】
【表１】
2009531940.tif 000003
【０１５８】
実験１
実験１では、ビットストリームをエンコーディングするために従来のテスト構成（ＪＶＴ−Ｑ２０５）を適用した。表２は、ＣＩＦレイヤーのコンテンツ別ベースレイヤー及び３個のＦＧＳレイヤーに対して計算されたビット率の減少をパーセントで表したものである。ＱＣＩＦレイヤーのビット率は変化がないため、表に記載していない。
【０１５９】
【表２】
2009531940.tif 000004
【０１６０】
表２で分かるように、ベースレイヤーでは最大４．４２％（「クルー」シーケンスの場合）までビット率が減少し、ＦＧＳレイヤーでもビット率の減少効果があることが分かる。
【０１６１】
実験２
実験２は、ＱＣＩＦレイヤーのフレーム率が１５ｆｐｓから３０ｆｐｓに増加すること以外にあらゆる実験条件が実験１と同一である。
【０１６２】
【表３】
2009531940.tif 000005
【０１６３】
表３で分かるように、実験２でも、ベースレイヤーとＦＧＳレイヤーとでビット率の減少が確認される。また、ＱＣＩＦレイヤーのフレーム率が２倍になれば、ビット率の減少がさらに向上することが分かる。
【０１６４】
実験３
実験３は、ＱＣＩＦレイヤーのＱＰが３または６ほど増加したことを除いては、あらゆる実験条件が実験１と同一である。表４Ａは、ＱＰが３ほど増加した場合の結果であり、表４Ｂは、ＱＰが６ほど増加した場合の結果である。
【０１６５】
【表４Ａ】
2009531940.tif 000006
【０１６６】
【表４Ｂ】
2009531940.tif 000007
【０１６７】
表４Ａ及び表４Ｂから分かるように、実験３でも、ＱＣＩＦレイヤーのＱＰが増加すれば、ベースレイヤー及びＦＧＳレイヤーでビット率が減少することが確認できる。
【０１６８】
上記実験を通じて、ＦＧＳレイヤーの動きデータ（動きベクトル）を使用することによって、コーディングされるビットストリームのコーディング効率を向上させうることが分かる。このような向上は、コンテンツ及びビットストリームの構成によって差がありうる。
【０１６９】
図２１Ａ乃至図２１Ｃは、ＦＧＳの動きデータを利用したインターレイヤーの動き予測時、従来と比べたＣＩＦレイヤーの平均ビット率の減少を示すグラフである。図２１は、ＧＯＰサイズが１６であり、３個のＦＧＳレイヤーを持つ１５ｆｐｓのＱＣＩＦ及び３０ｆｐｓのＣＩＦにエンコーディングされるビットストリームに対する実験により測定された値である。
【０１７０】
図２１Ａは、ＱＣＩＦ及びＣＩＦのＱＰ値の増加によるＣＩＦレイヤーの平均ビット率を示し、図２１Ｂは、ＱＣＩＦレイヤーのＦＧＳレイヤーの数によるビットストリームの平均ビット率を示し、図２１Ｃは、ＱＣＩＦレイヤーのＦＧＳレイヤーの数によるＣＩＦレイヤーの平均ビット率を示す。
【０１７１】
図２１Ａから、ＱＣＩＦ及びＣＩＦのＱＰ値が増加するにつれてＣＩＦレイヤーの平均ビット率が減少することが確認でき、図２１Ｂ及び図２１Ｃから、ＦＧＳレイヤーの数が増加するほどビット率の減少効果が大きいことが確認できる。
【０１７２】
図２２Ａ乃至図２２Ｄは、従来の方法によるインターレイヤーの動き予測と、ＦＧＳレイヤーの動きデータを利用したインターレイヤーの動き予測時のＲ−Ｄ曲線（Rate-Distortion curve）を示す。図２２Ａ乃至図２２Ｄは、ＧＯＰサイズが１６であり、３個のＦＧＳレイヤーを持つ１５ｆｐｓのＱＣＩＦ、及び３個のＦＧＳレイヤーを持つ３０ｆｐｓのＣＩＦにエンコーディングされるビットストリームに対する実験により測定された値である。二レイヤーのＱＰ値は４２である。
【０１７３】
図２２Ａ乃至図２２Ｄは、それぞれコンテンツがクルー(crew)、サッカー（soccer）、バス（bus）及び都市（city）であるシーケンスに対して、従来のＪＳＶＩＭ６及び本発明による方法が適用された時のＲ−Ｄ曲線を示す。各グラフのｘ軸は、ビット率を表し、ｙ軸は、映像のＹＵＶ信号のうちＹコンポーネント部分のＰＳＮＲ（Peak Signal to Noise Ratio）であるＹ−ＰＳＮＲを表す。図２２Ａ乃至図２２Ｄから、本発明によってＦＧＳレイヤーの動きデータを利用したインターレイヤーの動き予測のエンコーディング効率がさらに優秀であることが分かる。
【０１７４】
本発明はまたコンピュータ読み取り可能な記録媒体に、コンピュータ読み取り可能なコードとして具現することができる。コンピュータ読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが保存されるあらゆる種類の記録装置を含む。コンピュータ読み取り可能な記録媒体の例には、ＲＯＭ（Read-Only Memory）、ＲＡＭ（Random-Access Memory）、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク（登録商標）、光データ保存装置などがあり、またキャリアウェーブ（例えば、インターネットを通じた伝送）の形態で具現されるものも含む。またコンピュータ読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータ読み取り可能なコードが保存されて実行されうる。そして、本発明を具現するための機能的なプログラム、コード及びコードセグメントは本発明が属する技術分野のプログラマーにより容易に推論されうる。
【０１７５】
これまで本発明について望ましい実施形態を中心に説明した。ここで特定の用語が使われたが、これは単に本発明を説明するための目的で使われたものであり、意味限定や特許請求の範囲に記載された本発明の範囲を制限するために使われたものではない。
【０１７６】
したがって、当業者は本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現できるということを理解できるであろう。したがって、開示された実施形態は限定的な観点ではなく説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく特許請求の範囲に表れており、それと同等な範囲内にあるあらゆる差異点は本発明に含まれていると解釈されねばならない。
【図面の簡単な説明】
【０１７７】
【図１】本発明の一実施形態によるコーディングシステムのブロック図である。
【図２】ベースレイヤーの動きデータを利用したインターレイヤーの動き予測を示す図である。
【図３】ＦＧＳレイヤーの動きデータを利用したインターレイヤーの動き予測を示す図である。
【図４】ベースレイヤーとＦＧＳレイヤーのうち一つの動きデータを利用したインターレイヤーの動き予測を示す図である。
【図５】本発明の一実施形態によるスケーラブルビデオエンコーダのブロック図である。
【図６】本発明の一実施形態によるビットストリーム内に挿入されるシグナリング情報の例を示す図である。
【図７】本発明の一実施形態によるビットストリーム内に挿入されるシグナリング情報の例を示す図である。
【図８】本発明の一実施形態によるビットストリーム内に挿入されるシグナリング情報の例を示す図である。
【図９】本発明の一実施形態によるビットストリーム内に挿入されるシグナリング情報の例を示す図である。
【図１０】本発明の一実施形態によるビットストリーム内に挿入されるシグナリング情報の例を示す図である。
【図１１】本発明の他の実施形態によるエンコーダのブロック図である。
【図１２】本発明の一実施形態によるビットストリーム抽出器のブロック図である。
【図１３】本発明の一実施形態によるデコーダのブロック図である。
【図１４】本発明の一実施形態によるスケーラブルビデオエンコーディング方法を説明するフローチャートである。
【図１５】本発明の他の実施形態によるスケーラブルビデオエンコーディング方法を説明するフローチャートである。
【図１６】本発明の一実施形態によるスケーラブルビデオエンコーディング方法で、ＦＧＳレイヤーとベースレイヤーのうち一つを予測レイヤーとして選択する方法を説明するフローチャートである。
【図１７】本発明の一実施形態によるビットストリーム抽出方法を説明するフローチャートである。
【図１８】本発明の一実施形態によるスケーラブルビデオデコーディング方法を説明するフローチャートである。
【図１９】本発明の一実施形態によるスケーラブルビデオコーデックのブロック図である。
【図２０】本発明の一実施形態によるスケーラブルビデオコーディング方法を説明するフローチャートである。
【図２１Ａ】本発明の一実施形態によるスケーラブルビデオエンコーディング時の符号化効率向上を示す図である。
【図２１Ｂ】本発明の一実施形態によるスケーラブルビデオエンコーディング時の符号化効率向上を示す図である。
【図２１Ｃ】本発明の一実施形態によるスケーラブルビデオエンコーディング時の符号化効率向上を示す図である。
【図２２Ａ】本発明の一実施形態によるスケーラブルビデオエンコーディング時の符号化効率向上を示す図である。
【図２２Ｂ】本発明の一実施形態によるスケーラブルビデオエンコーディング時の符号化効率向上を示す図である。
【図２２Ｃ】本発明の一実施形態によるスケーラブルビデオエンコーディング時の符号化効率向上を示す図である。
【図２２Ｄ】本発明の一実施形態によるスケーラブルビデオエンコーディング時の符号化効率向上を示す図である。
【図１】
2009531940.tif 000008
【図２】
2009531940.tif 000009
【図３】
2009531940.tif 000010
【図４】
2009531940.tif 000011
【図５】
2009531940.tif 000012
【図６】
2009531940.tif 000013
【図７】
2009531940.tif 000014
【図８】
2009531940.tif 000015
【図９】
2009531940.tif 000016
【図１０】
2009531940.tif 000017
【図１１】
2009531940.tif 000018
【図１２】
2009531940.tif 000019
【図１３】
2009531940.tif 000020
【図１４】
2009531940.tif 000021
【図１５】
2009531940.tif 000022
【図１６】
2009531940.tif 000023
【図１７】
2009531940.tif 000024
【図１８】
2009531940.tif 000025
【図１９】
2009531940.tif 000026
【図２０】
2009531940.tif 000027
【図２１Ａ】
2009531940.tif 000028
【図２１Ｂ】
2009531940.tif 000029
【図２１Ｃ】
2009531940.tif 000030
【図２２Ａ】
2009531940.tif 000031
【図２２Ｂ】
2009531940.tif 000032
【図２２Ｃ】
2009531940.tif 000033
【図２２Ｄ】
2009531940.tif 000034
【国際調査報告】
2009531940.tif 000035
2009531940.tif 000036
2009531940.tif 000037