(57)【要約】  本発明はビデオ圧縮技術に関するものであって、本発明の一実施形態による加重平均合を用いてＦＧＳ階層をエンコーディングする方法は、以前フレームの第ｎ向上階層の復元されたブロックと現在フレームの基礎階層の復元されたブロックを用いて第１加重平均合を算出する段階と、次のフレームの第ｎ向上階層の復元されたブロックと現在フレームの基礎階層の復元されたブロックを用いて第２加重平均合を算出する段階と、前記第１加重平均合と前記第２加重平均合を合算した値に現在フレームの第ｎ−１向上階層の残差データを合算することによって現在フレームの第ｎ向上階層の予測信号を生成する段階、および前記現在フレームの第ｎ向上階層の復元されたブロックで前記生成された第ｎ向上階層の予測信号を減じた結果、生成される第ｎ向上階層の残差データをエンコーディングする段階とを含む。
2009532979.tif 000002
【特許請求の範囲】
【請求項１】
ＦＧＳ階層をエンコーディングする方法において、
以前フレームの第ｎ向上階層の復元されたブロックと現在フレームの基礎階層の復元されたブロックを用いて第１加重平均合を算出する段階と、
次のフレームの第ｎ向上階層の復元されたブロックと現在フレームの基礎階層の復元されたブロックを用いて第２加重平均合を算出する段階と、
前記第１加重平均合と前記第２加重平均合を合算した値に現在フレームの第ｎ−１向上階層の残差データを合算することによって現在フレームの第ｎ向上階層の予測信号を生成する段階、および
前記現在フレームの第ｎ向上階層の復元されたブロックで前記生成された第ｎ向上階層の予測信号を減じた結果、生成される第ｎ向上階層の残差データをエンコーディングする段階と、を含む、加重平均合を用いてＦＧＳ階層をエンコーディングする方法。
【請求項２】
前記第１加重平均合は、
式
【数１】
2009532979.tif 000045
によって求められ、前記αは、所定の第１加重値であり、前記
【数２】
2009532979.tif 000046
は、現在フレームｔでの基礎階層の復元されたブロックを示して、前記
【数３】
2009532979.tif 000047
は、以前フレームｔ−１での第ｎ向上階層の復元されたブロックを示す、請求項１に記載の加重平均合を用いてＦＧＳ階層をエンコーディングする方法。
【請求項３】
前記第２加重平均合は、
式
【数４】
2009532979.tif 000048
によって求められ、前記βは、所定の第２加重値であり、前記
【数５】
2009532979.tif 000049
は、現在フレームｔでの基礎階層の復元されたブロックを示して、前記
【数６】
2009532979.tif 000050
は、次のフレームｔ＋１での第ｎ向上階層の復元されたブロックを示す、請求項１に記載の加重平均合を用いてＦＧＳ階層をエンコーディングする方法。
【請求項４】
前記現在フレームの第ｎ向上階層の予測信号
【数７】
2009532979.tif 000051
は、
式
【数８】
2009532979.tif 000052
によって求められ、
前記αは、所定の第１加重値であり、前記
【数９】
2009532979.tif 000053
は、現在フレームｔでの基礎階層の復元されたブロックを示して、前記
【数１０】
2009532979.tif 000054
は、以前フレームｔ−１での第ｎ向上階層の復元されたブロックを示して、前記βは、所定の第２加重値であり、前記
【数１１】
2009532979.tif 000055
は、次のフレームｔ＋１での第ｎ向上階層の復元されたブロックを示して、前記
【数１２】
2009532979.tif 000056
は、現在フレームｔでの第ｎ−１向上階層の残差データを示す、請求項１に記載の加重平均合を用いてＦＧＳ階層をエンコーディングする方法。
【請求項５】
前記第１加重値および前記第２加重値は、
前記現在フレームの第ｎ向上階層のマクロブロックの特性情報に依存して、０から１まで適応的に変わる値を有する、請求項４に記載の加重平均合を用いてＦＧＳ階層をエンコーディングする方法。
【請求項６】
前記特性情報は、前記マクロブロックの予測方向に対する情報を含み、前記予測方向が両方向である場合には、前記第１加重値および前記第２加重値が増加して、前記予測方向が一方向であるかイントラ予測の場合には、前記第１加重値および前記第２加重値が減少する、請求項５に記載の加重平均合を用いてＦＧＳ階層をエンコーディングする方法。
【請求項７】
前記特性情報は、符号化ブロックパターン（ｃｏｄｅｄ  ｂｌｏｃｋ  ｐａｔｔｅｒｎ）値に対する情報を含み、前記符号化ブロックパターン値にノンゼロ（Ｎｏｎ−ｚｅｒｏ）変換係数が少なく含まれていると判断される場合、インターモードでは、前記第１加重値および前記第２加重値が増加して、イントラモードでは、前記第１加重値および前記第２加重値が減少する、請求項５に記載の加重平均合を用いてＦＧＳ階層をエンコーディングする方法。
【請求項８】
前記特性情報は、前記マクロブロックに対する動きベクターの差異値に対する情報を含み、前記動きベクターの差異値が少ないほど前記第１加重値および前記第２加重値が増加して、前記動きベクターの差異値が大きいほど前記第１加重値および前記第２加重値が減少する、請求項５に記載の加重平均合を用いてＦＧＳ階層をエンコーディングする方法。
【請求項９】
請求項１の方法をコンピュータで実行するためのプログラムコードを記録したコンピュータで読める記録媒体。
【請求項１０】
ＦＧＳ階層をデコーディングする方法において、
以前フレームの第ｎ向上階層の復元されたブロックと現在フレームの基礎階層の復元されたブロックを用いて第１加重平均合を算出する段階と、
次のフレームの第ｎ向上階層の復元されたブロックと現在フレームの基礎階層の復元されたブロックを用いて第２加重平均合を算出する段階と、
前記第１加重平均合と前記第２加重平均合を合算した値に現在フレームの第ｎ−１向上階層の残差データを合算することによって現在フレームの第ｎ向上階層の予測信号を生成する段階、および
前記生成された第ｎ向上階層の予測信号を第ｎ向上階層の残差データに合算することによって第ｎ向上階層の復元されたブロックを生成する段階と、を含む、加重平均合を用いてＦＧＳ階層をデコーディングする方法。
【請求項１１】
前記第１加重平均合は、
式
【数１３】
2009532979.tif 000057
によって求められ、前記αは、所定の第１加重値であり、前記
【数１４】
2009532979.tif 000058
は、現在フレームｔでの基礎階層の復元されたブロックを示して、前記
【数１５】
2009532979.tif 000059
は、以前フレームｔ−１での第ｎ向上階層の復元されたブロックを示す、請求項１０に記載の加重平均合を用いてＦＧＳ階層をデコーディングする方法。
【請求項１２】
前記第２加重平均合は、
式
【数１６】
2009532979.tif 000060
によって求められ、前記βは、所定の第２加重値であり、
【数１７】
2009532979.tif 000061
前記は、現在フレームｔでの基礎階層の復元されたブロックを示して、前記
【数１８】
2009532979.tif 000062
は、次のフレームｔ＋１での第ｎ向上階層の復元されたブロックを示す、請求項１０に記載の加重平均合を用いてＦＧＳ階層をデコーディングする方法。
【請求項１３】
前記現在フレームの第ｎ向上階層の予測信号
【数１９】
2009532979.tif 000063
は、
式
【数２０】
2009532979.tif 000064
によって求められ、
前記αは、所定の第１加重値であり、前記
【数２１】
2009532979.tif 000065
は、現在フレームｔでの基礎階層の復元されたブロックを示して、前記
【数２２】
2009532979.tif 000066
は、以前フレームｔ−１での第ｎ向上階層の復元されたブロックを示して、前記βは所定の第２加重値であり、前記
【数２３】
2009532979.tif 000067
は、次のフレームｔ＋１での第ｎ向上階層の復元されたブロックを示して、前記
【数２４】
2009532979.tif 000068
は、現在フレームｔでの第ｎ−１向上階層の残差データを示す、請求項１０に記載の加重平均合を用いてＦＧＳ階層をデコーディングする方法。
【請求項１４】
前記第１加重値および前記第２加重値は、
前記現在フレームの第ｎ向上階層のマクロブロックの特性情報に依存して、０から１まで適応的に変わる値を有する、請求項１３に記載の加重平均合を用いてＦＧＳ階層をデコーディングする方法。
【請求項１５】
前記特性情報は、前記マクロブロックの予測方向に対する情報を含み、前記予測方向が両方向である場合には、前記第１加重値および前記第２加重値が増加して、前記予測方向が一方向であるかイントラ予測の場合には、前記第１加重値および前記第２加重値が減少する、請求項１４に記載の加重平均合を用いてＦＧＳ階層をデコーディングする方法。
【請求項１６】
前記特性情報は、符号化ブロックパターン（ｃｏｄｅｄ  ｂｌｏｃｋ  ｐａｔｔｅｒｎ）値に対する情報を含み、前記符号化ブロックパターン値にノンゼロ（Ｎｏｎ−ｚｅｒｏ）変換係数が少なく含まれていると判断される場合、インターモードでは前記第１加重値および前記第２加重値が増加して、イントラモードでは、前記第１加重値および前記第２加重値が減少する、請求項１４に記載の加重平均合を用いてＦＧＳ階層をデコーディングする方法。
【請求項１７】
前記特性情報は、前記マクロブロックに対する動きベクターの差異値に対する情報を含み、前記動きベクターの差異値が少ないほど前記第１加重値および前記第２加重値が増加して、前記動きベクターの差異値が大きいほど前記第１加重値および前記第２加重値が減少する、請求項１４に記載の加重平均合を用いてＦＧＳ階層をデコーディングする方法。
【請求項１８】
請求項１０の方法をコンピュータで実行するためのプログラムコードを記録したコンピュータで読み取ることができる記録媒体。
【請求項１９】
ＦＧＳ階層をエンコーディングするエンコーダにおいて、
以前フレームの第ｎ向上階層の復元されたブロックと現在フレームの基礎階層の復元されたブロックを用いて第１加重平均合を算出する第１加重平均合算出部と、
次のフレームの第ｎ向上階層の復元されたブロックと現在フレームの基礎階層の復元されたブロックを用いて第２加重平均合を算出する第２加重平均合算出部と、
前記第１加重平均合と前記第２加重平均合を合算した値に現在フレームの第ｎ−１向上階層の残差データを合算することによって現在フレームの第ｎ向上階層の予測信号を生成する予測信号生成部、および
前記現在フレームの第ｎ向上階層の復元されたブロックで前記生成された第ｎ向上階層の予測信号を減じた結果、第ｎ向上階層の残差データを生成する残差データ生成部と、を含む、加重平均合を用いてＦＧＳ階層をエンコーディングするエンコーダ。
【請求項２０】
前記第１加重平均合算出部は、
式
【数２５】
2009532979.tif 000069
によって、前記第１加重平均合を算出し、前記αは、所定の第１加重値であり、前記
【数２６】
2009532979.tif 000070
は、現在フレームｔでの基礎階層の復元されたブロックを示して、前記
【数２７】
2009532979.tif 000071
は、以前フレームｔ−１での第ｎ向上階層の復元されたブロックを示す、請求項１９に記載の加重平均合を用いてＦＧＳ階層をエンコーディングするエンコーダ。
【請求項２１】
前記第２加重平均合算出部は、
式
【数２８】
2009532979.tif 000072
によって、前記第２加重平均合を算出し、前記βは所定の第２加重値であり、前記
【数２９】
2009532979.tif 000073
は、現在フレームｔでの基礎階層の復元されたブロックを示して、前記
【数３０】
2009532979.tif 000074
は、次のフレームｔ＋１での第ｎ向上階層の復元されたブロックを示す、請求項１９に記載の加重平均合を用いてＦＧＳ階層をエンコーディングするエンコーダ。
【請求項２２】
前記予測信号生成部は、
式
【数３１】
2009532979.tif 000075
によって、前記現在フレームの第ｎ向上階層の予測信号
【数３２】
2009532979.tif 000076
を生成し、
前記αは、所定の第１加重値であり、前記
【数３３】
2009532979.tif 000077
は、現在フレームｔでの基礎階層の復元されたブロックを示して、前記
【数３４】
2009532979.tif 000078
は、以前フレームｔ−１での第ｎ向上階層の復元されたブロックを示して、前記βは、所定の第２加重値であり、前記
【数３５】
2009532979.tif 000079
は、次のフレームｔ＋１での第ｎ向上階層の復元されたブロックを示して、前記
【数３６】
2009532979.tif 000080
は、現在フレームｔでの第ｎ−１向上階層の残差データを示す、請求項１９に記載の加重平均合を用いてＦＧＳ階層をエンコーディングするエンコーダ。
【請求項２３】
前記第１加重値および前記第２加重値は、
前記現在フレームの第ｎ向上階層のマクロブロックの特性情報に依存して、０から１まで適応的に変わる値を有する、請求項２２に記載の加重平均合を用いてＦＧＳ階層をエンコーディングするエンコーダ。
【請求項２４】
前記特性情報は、前記マクロブロックの予測方向に対する情報を含み、前記予測方向が両方向である場合には、前記第１加重値および前記第２加重値が増加して、前記予測方向が一方向であるかイントラ予測の場合には、前記第１加重値および前記第２加重値が減少する、請求項２３に記載の加重平均合を用いてＦＧＳ階層をエンコーディングするエンコーダ。
【請求項２５】
前記特性情報は、符号化ブロックパターン（ｃｏｄｅｄ  ｂｌｏｃｋ  ｐａｔｔｅｒｎ）値に対する情報を含み、前記符号化ブロックパターン値にノンゼロ（Ｎｏｎ−ｚｅｒｏ）変換係数が少なく含まれていると判断される場合、インターモードでは、前記第１加重値および前記第２加重値が増加して、イントラモードでは、前記第１加重値および前記第２加重値が減少する、請求項２３に記載の加重平均合を用いてＦＧＳ階層をエンコーディングするエンコーダ。
【請求項２６】
前記特性情報は、前記マクロブロックに対する動きベクターの差異値に対する情報を含み、前記動きベクターの差異値が小さいほど前記第１加重値および前記第２加重値が増加して、前記動きベクターの差異値が大きいほど前記第１加重値および前記第２加重値が減少する、請求項２３に記載の加重平均合を用いてＦＧＳ階層をエンコーディングするエンコーダ。
【請求項２７】
ＦＧＳ階層をデコーディングするデコーダにおいて、
以前フレームの第ｎ向上階層の復元されたブロックと現在フレームの基礎階層の復元されたブロックを用いて第１加重平均合を算出する第１加重平均合算出部と、
次のフレームの第ｎ向上階層の復元されたブロックと現在フレームの基礎階層の復元されたブロックを用いて第２加重平均合を算出する第２加重平均合算出部と、
前記第１加重平均合と前記第２加重平均合を合算した値に現在フレームの第ｎ−１向上階層の残差データを合算することによって現在フレームの第ｎ向上階層の予測信号を生成する予測信号生成部、および
前記生成された第ｎ向上階層の予測信号を第ｎ向上階層の残差データに合算するで第ｎ向上階層の復元されたブロックを生成する向上階層復元部と、を含む、加重平均合を用いてＦＧＳ階層をデコーディングするデコーダ。
【請求項２８】
前記第１加重平均合算出部は、
式
【数３７】
2009532979.tif 000081
によって、前記第１加重平均合を算出し、前記αは、所定の第１加重値であり、前記
【数３８】
2009532979.tif 000082
は、現在フレームｔでの基礎階層の復元されたブロックを示して、前記
【数３９】
2009532979.tif 000083
は、以前フレームｔ−１での第ｎ向上階層の復元されたブロックを示す、請求項２７に記載の加重平均合を用いてＦＧＳ階層をデコーディングするデコーダ。
【請求項２９】
前記第２加重平均合算出部は、
式
【数４０】
2009532979.tif 000084
によって、前記第２加重平均合を算出し、前記βは、所定の第２加重値であり、前記
【数４１】
2009532979.tif 000085
は、現在フレームｔでの基礎階層の復元されたブロックを示して、前記
【数４２】
2009532979.tif 000086
は、次のフレームｔ＋１での第ｎ向上階層の復元されたブロックを示す、請求項２７に記載の加重平均合を用いてＦＧＳ階層をデコーディングするデコーダ。
【請求項３０】
前記予測信号生成部は、
式
【数４３】
2009532979.tif 000087
によって、前記現在フレームの第ｎ向上階層の予測信号
【数４４】
2009532979.tif 000088
を生成し、
前記αは、所定の第１加重値であり、前記
【数４５】
2009532979.tif 000089
は、現在フレームｔでの基礎階層の復元されたブロックを示して、前記
【数４６】
2009532979.tif 000090
は、以前フレームｔ−１での第ｎ向上階層の復元されたブロックを示して、前記βは、所定の第２加重値であり、前記
【数４７】
2009532979.tif 000091
は、次のフレームｔ＋１での第ｎ向上階層の復元されたブロックを示して、前記
【数４８】
2009532979.tif 000092
は、現在フレームｔでの第ｎ−１向上階層の残差データを示す、請求項２７に記載の加重平均合を用いてＦＧＳ階層をデコーディングするデコーダ。
【請求項３１】
前記第１加重値および前記第２加重値は、
前記現在フレームの第ｎ向上階層のマクロブロックの特性情報に依存して、０から１まで適応的に変わる値を有する、請求項３０に記載の加重平均合を用いてＦＧＳ階層をデコーディングするデコーダ。
【請求項３２】
前記特性情報は、前記マクロブロックの予測方向に対する情報を含み、前記予測方向が両方向である場合には、前記第１加重値および前記第２加重値が増加して、前記予測方向が一方向であるかイントラ予測の場合には、前記第１加重値および前記第２加重値が減少する、請求項３１に記載の加重平均合を用いてＦＧＳ階層をデコーディングするデコーダ。
【請求項３３】
前記特性情報は、符号化ブロックパターン（ｃｏｄｅｄ  ｂｌｏｃｋ  ｐａｔｔｅｒｎ）値に対する情報を含み、前記符号化ブロックパターン値にノンゼロ（Ｎｏｎ−ｚｅｒｏ）変換係数が少なく含まれていると判断される場合、インターモードでは、前記第１加重値および前記第２加重値が増加して、イントラモードでは、前記第１加重値および前記第２加重値が減少する、請求項３１に記載の加重平均合を用いてＦＧＳ階層をデコーディングするデコーダ。
【請求項３４】
前記特性情報は、前記マクロブロックに対する動きベクターの差異値に対する情報を含み、前記動きベクターの差異値が小さいほど前記第１加重値および前記第２加重値が増加して、前記動きベクターの差異値が大きいほど前記第１加重値および前記第２加重値が減少する、請求項３１に記載の加重平均合を用いてＦＧＳ階層をデコーディングするデコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオ圧縮技術に関し、詳細には、適応的参照方式を用いたＦＧＳ階層のコーディング技術で加重平均合を用いてＦＧＳ階層をエンコーディングおよびデコーディングする方法および装置に関する発明である。
【背景技術】
【０００２】
インターネットを含む情報通信技術が発達するにつれて文字、映像、音楽など多様な形態の情報を受容できるマルチメディアサービスが増加している。マルチメディアデータはその量がぼう大であるため、大容量の格納媒体を必要とし、かつ伝送時に広い帯域幅を必要とする。したがって、文字、映像、オーディオを含むマルチメディアデータを伝送するためには圧縮コーディング技法を用いるのが必須的である。
【０００３】
データを圧縮する基本的な原理はデータの重複（ｒｅｄｕｎｄａｎｃｙ）要素を除去する過程である。イメージで同一の色やオブジェクトが反復されるような空間的重複や、動画フレームで時間的に隣接したフレームがほぼ変化のない場合やオーディオで同じ音が反復し続くような時間的重複、または人間の視覚および知覚能力が高い周波数に鈍感なことを考慮した心理視覚重複を除去することによって、データを圧縮することができる。データ圧縮の種類は、ソースデータの損失の可否と、それぞれのフレームに対して独立的に圧縮するのかの可否と、圧縮と復元に必要な時間が同一なのかの可否によってそれぞれ損失／無損失圧縮、フレーム内／フレーム間圧縮、対称／非対称圧縮に分けることができる。一方、一般的なビデオコーディング方法において、時間的重複はモーション補償に基づく時間的フィルタリング（ｔｅｍｐｏｒａｌ  ｆｉｌｔｅｒｉｎｇ）によって除去し、空間的重複は空間的変換（ｓｐａｔｉａｌ  ｔｒａｎｓｆｏｒｍ）によって除去する。
【０００４】
データの重複を除去した後に生成されるマルチメディアデータを伝送するためには、伝送媒体を必要とするが、その性能は伝送媒体別に差異がある。現在使われる伝送媒体は秒当たり数十Ｍｂｉｔのデータを伝送できる超高速通信網から秒当たり３８４  ｋｂｉｔの伝送速度を有する移動通信網などのように多様な伝送速度を有する。このような環境で、多様な速度の伝送媒体をサポートするため、または伝送環境によってこれに適する伝送率でマルチメディアを送れるようにする、いわゆるスケーラブルビデオコーディング（ｓｃａｌａｂｌｅ  ｖｉｄｅｏ  ｃｏｄｉｎｇ）方法がマルチメディア環境により適しているといえる。
【０００５】
前記のようなスケーラブルビデオコーディングとは広い意味で、ビデオの解像度を調節できる性質を意味する空間的スケーラビリティとビデオの画質を調節できる性質を意味するＳＮＲ（Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ  Ｒａｔｉｏ）スケーラビリティと、フレーム率を調節できる時間的スケーラビリティ、そしてこれらそれぞれを組み合わせたものを含む意味である。
【０００６】
このようなスケーラブルビデオコーディングに関して、すでにＭＰＥＧ−４（ｍｏｖｉｎｇ  ｐｉｃｔｕｒｅ  ｅｘｐｅｒｔｓ  ｇｒｏｕｐ−２１）  Ｐａｒｔ  １０でその標準化作業が進められている。この中でも多階層（ｍｕｌｔｉ−ｌａｙｅｒｅｄ）基盤のスケーラビリティを具現しようとする多くの努力がある。例えば、基礎階層（ｂａｓｅ  ｌａｙｅｒ）、第１向上階層（ｅｎｈａｎｃｅｄ  ｌａｙｅｒ  １）、第２向上階層（ｅｎｈａｎｃｅｄ  ｌａｙｅｒ  ２）などの多階層をおいて、それぞれの階層は互いに異なる解像度（ＱＣＩＦ、ＣＩＦ、２ＣＩＦなど）、または互いに異なるフレーム率（ｆｒａｍｅ−ｒａｔｅ）を有するように構成することができる。
【０００７】
一つの階層でコーディングする場合と同様に、多階層でコーディングする場合にも各階層別に時間的重複性（ｔｅｍｐｏｒａｌ  ｒｅｄｕｎｄａｎｃｙ）を除去するためのモーションベクター（Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒと、ＭＶ）を求める必要がある。このようなモーションベクターは各階層ごとに別途に検索して用いる場合（前者）があり、一つの階層でモーションベクターを検索した後にこれを他の階層でも用いる（そのまま、またはアップ／ダウンサンプリングして）場合（後者）もある。
【０００８】
図１は、多階層構造を用いたスケーラブルビデオコーデックを示す図である。先に基礎階層をＱＣＩＦ（Ｑｕａｒｔｅｒ  Ｃｏｍｍｏｎ  Ｉｎｔｅｒｍｅｄｉａｔｅ  Ｆｏｒｍａｔ）＿１５Ｈｚ（フレームレート）で定義し、第１向上階層をＣＩＦ（Ｃｏｍｍｏｎ  Ｉｎｔｅｒｍｅｄｉａｔｅ  Ｆｏｒｍａｔ）＿３０Ｈｚで、第２向上階層をＳＤ（Ｓｔａｎｄａｒｄ  Ｄｅｆｉｎｉｔｉｏｎ）＿６０Ｈｚで定義する。仮にＣＩＦ０．５Ｍｂｐｓストリーム（ｓｔｒｅａｍ）を望むなら、第１向上階層のＣＩＦ＿３０Ｈｚ＿０．７Ｍｂｐｓでビット率（ｂｉｔ−ｒａｔｅ）が０．５Ｍｂｐｓとなるようにビットストリームを切り取って送れば良い。このような方式で空間的、時間的、ＳＮＲスケーラビリティを具現することができる。
【０００９】
前記図１で見るように、同一な時間的位置を有する各階層でのフレーム（例：    １０，２０，および３０）はそのイメージが類似すると推定することができる。したがって、下位階層のテクスチャから直接またはアップサンプリングを経た後、現在階層のテクスチャを予測して、前記予測された値と前記現在階層のテクスチャとの差分をエンコーディングする方法が知られている。「Ｓｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｍｏｄｅｌ  ３．０  ｏｆ  ＩＳＯ／ＩＥＣ  ２１０００−１３  Ｓｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ」（以下ＳＶＭ  ３．０という）ではこのような方法をイントラＢＬ予測（Ｉｎｔｒａ＿ＢＬ  ｐｒｅｄｉｃｔｉｏｎ）と定義している。
【００１０】
このように、前記ＳＶＭ  ３．０では、既存のＨ．２６４で現在フレームを構成するブロックまたはマクロブロックに対する予測のために使われた「インター予測（ｉｎｔｅｒ  ｐｒｅｄｉｃｔｉｏｎ）」および「方向的イントラ予測（ｄｉｒｅｃｔｉｏｎａｌ  ｉｎｔｒａ  ｐｒｅｄｉｃｔｉｏｎ）」以外にも、現在ブロックとこれに対応する下位階層ブロックと間の関連性（ｃｏｒｒｅｌａｔｉｏｎ）を用いて現在ブロックを予測する方法を追加的に採択している。このような予測方法を「イントラＢＬ（Ｉｎｔｒａ＿ＢＬ）予測」といい、このような予測を用いて符号化するモードを「イントラＢＬモード」という。
【００１１】
図２は、前記のような３つの予測方法を説明する概略図であって、現在フレーム１１のあるマクロブロック１４に対してイントラ予測をする場合（Ｓ１１）と、現在フレーム１１と他の時間的位置にあるフレーム１２のマクロブロック１５を用いてインター予測をする場合（Ｓ１２）と、前記マクロブロック１４と対応する基礎階層フレーム１３の領域１６に対するテクスチャデータを用いてイントラＢＬ予測をする場合（Ｓ１３）をそれぞれ示している。このように、前記スケーラブルビデオコーディング標準ではマクロブロック単位で前記３つ予測方法のうち有利な一つの方法を選択して用いる。
【００１２】
図３は、従来技術によって適応的参照（Ａｄａｐｔｉｖｅ  Ｒｅｆｅｒｅｎｃｅ）方式でＦＧＳ階層をコーディングする概念を示す図である。現在のＨ．２６４ＳＥ（Ｓｃａｌａｂｌｅ  Ｅｘｔｅｎｓｉｏｎ）では適応的参照方式を用いてフレームのＦＧＳ階層をエンコーディングしている。前記図３を参照すると、閉鎖ループのＰフレームのＦＧＳ階層は、基礎階層および第１向上階層と第２向上階層とで構成されていると仮定する。そうすると、前記ＦＧＳ階層は、向上階層の参照フレームおよび基礎階層の参照フレームすべてを適応的に参照して生成された時間的予測信号（Ｔｅｍｐｏｒａｌ  Ｐｒｅｄｉｃｔｉｏｎ  Ｓｉｇｎａｌ）を用いてコーディングされる。
【００１３】
これをさらに詳細に説明すると、現在フレームｔに存在する第２向上階層のフレーム６２をコーディングするためには、現在フレームｔでの基礎階層の再構成された（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）ブロックで構成されるフレーム６０と以前フレーム（ｔ−１）に存在する第２向上階層の参照ブロックで構成されるフレーム５０の加重平均を求めた後に、現在フレームｔでの第１向上階層のフレーム６１から生成される残差データ
【００１４】
【数４９】
2009532979.tif 000003
を加算することによって時間的予測信号
【００１５】
【数５０】
2009532979.tif 000004
を算出しなければならない。これを式で示すと次の通りである。
【００１６】
【数５１】
2009532979.tif 000005
前記式（１）において、前記αは、所定の加重値であってリーキー（ｌｅａｋｙ）因子と知られており、前記
【００１７】
【数５２】
2009532979.tif 000006
は、現在フレームｔでの基礎階層の復元されたブロック（フレーム６０を構成するブロック）を示して、前記
【００１８】
【数５３】
2009532979.tif 000007
は、以前フレームｔ−１での第２向上階層の復元されたブロック（フレーム５０を構成するブロック）を示して、前記
【００１９】
【数５４】
2009532979.tif 000008
は、現在フレームｔでの第１向上階層の残差データ（フレーム６１から生成）を示す。
【００２０】
前記式（１）によって求められた時間的予測信号
【００２１】
【数５５】
2009532979.tif 000009
を現在フレームｔでの第２向上階層の復元されたブロック
【００２２】
【数５６】
2009532979.tif 000010
から減じると現在フレームｔでの第２向上階層の残差データ
【００２３】
【数５７】
2009532979.tif 000011
が算出され、前記算出された残差データ
【００２４】
【数５８】
2009532979.tif 000012
を量子化してエントロピ符号化することによってビットストリームを生成する。一方、前記加重値αは、スライスヘッダーのシンタックス要素を参照して誘導されうる。
【００２５】
前記予測信号を生成する過程を示す前記式（１）で、基礎階層の参照フレームを用いることで部分的デコーディングによるドリフト（ｄｒｉｆｔ）を制御することができ、同時に向上階層の参照フレームを用いることで高いコーディング効率を得ることができる。しかし、前記加重値のリーキー因子をブロックの多様な特性によって適応的に変化させて用いることができる新しい技術が要求される。
【発明の開示】
【発明が解決しようとする課題】
【００２６】
本発明は、前記のような問題点を解決するために考案されたものであって、本発明が解決しようとする課題は、すべてのＦＧＳ階層のフレームに対するコーディングにおいてコーディングの効率性を向上させると同時にドリフトを制御をすることができる、加重平均合を用いてＦＧＳ階層をエンコーディングおよびデコーディングする方法および装置を提供することにある。
【００２７】
本発明の目的は以上で言及した目的に制限されず、言及されていないまた他の目的は次の記載から当業者に明確に理解できるであろう。
【課題を解決するための手段】
【００２８】
前述した目的を達成するために本発明の一実施形態による加重平均合を用いてＦＧＳ階層をエンコーディングする方法は、以前フレームの第ｎ向上階層の復元されたブロックと現在フレームの基礎階層の復元されたブロックを用いて第１加重平均合を算出する段階と、次のフレームの第ｎ向上階層の復元されたブロックと現在フレームの基礎階層の復元されたブロックを用いて第２加重平均合を算出する段階と、  前記第１加重平均合と前記第２加重平均合を合算した値に現在フレームの第ｎ−１向上階層の残差データを合算することによって現在フレームの第ｎ向上階層の予測信号を生成する段階、および前記現在フレームの第ｎ向上階層の復元されたブロックで前記生成された第ｎ向上階層の予測信号を減じた結果、生成される第ｎ向上階層の残差データをエンコーディングする段階と、を含む。
【００２９】
前述した目的を達成するために本発明の一実施形態による加重平均合を用いてＦＧＳ階層をデコーディングする方法は、以前フレームの第ｎ向上階層の復元されたブロックと現在フレームの基礎階層の復元されたブロックを用いて第１加重平均合を算出する段階と、次のフレームの第ｎ向上階層の復元されたブロックと現在フレームの基礎階層の復元されたブロックを用いて第２加重平均合を算出する段階と、  前記第１加重平均合と前記第２加重平均合を合算した値に現在フレームの第ｎ−１向上階層の残差データを合算することによって現在フレームの第ｎ向上階層の予測信号を生成する段階、および前記生成された第ｎ向上階層の予測信号を第ｎ向上階層の残差データに合算することによって第ｎ向上階層の復元されたブロックを生成する段階とを含む。
【００３０】
前述した目的を達成するために本発明の一実施形態による加重平均合を用いてＦＧＳ階層をエンコーディングするエンコーダは、以前フレームの第ｎ向上階層の復元されたブロックと現在フレームの基礎階層の復元されたブロックを用いて第１加重平均合を算出する第１加重平均合算出部と、次のフレームの第ｎ向上階層の復元されたブロックと現在フレームの基礎階層の復元されたブロックを用いて第２加重平均合を算出する第２加重平均合算出部と、前記第１加重平均合と前記第２加重平均合を合算した値に現在フレームの第ｎ−１向上階層の残差データを合算することによって現在フレームの第ｎ向上階層の予測信号を生成する予測信号生成部、および前記現在フレームの第ｎ向上階層の復元されたブロックで前記生成された第ｎ向上階層の予測信号を減じた結果、第ｎ向上階層の残差データを生成する残差データ生成部と、を含む。
【００３１】
前述した目的を達成するために本発明の一実施形態による加重平均合を用いてＦＧＳ階層をデコーディングするデコーダは、以前フレームの第ｎ向上階層の復元されたブロックと現在フレームの基礎階層の復元されたブロックを用いて第１加重平均合を算出する第１加重平均合算出部と、次のフレームの第ｎ向上階層の復元されたブロックと現在フレームの基礎階層の復元されたブロックを用いて第２加重平均合を算出する第２加重平均合算出部と、前記第１加重平均合と前記第２加重平均合を合算した値に現在フレームの第ｎ−１向上階層の残差データを合算することによって現在フレームの第ｎ向上階層の予測信号を生成する予測信号生成部、および  前記生成された第ｎ向上階層の予測信号を第ｎ向上階層の残差データに合算することによって第ｎ向上階層の復元されたブロックを生成する向上階層復元部と、を含む。
【発明の効果】
【００３２】
本発明の実施形態によると、すべてのＦＧＳ階層のフレームに対するコーディングにおいてコーディングの効率性を向上させると同時にドリフトを制御することができる。
【００３３】
本発明の効果は以上で言及した効果に制限されなく、言及されていないまた他の効果は請求範囲の記載から当業者に明確に理解できるであろう。
【発明を実施するための最良の形態】
【００３４】
その他実施形態の具体的な事項は詳細な説明および図に含まれている。
【００３５】
本発明の利点および特徴、およびそれらを達成する方法は、添付される図面と共に詳細に後述される実施形態を参照すれば明確になるであろう。しかし、本発明は、以下で開示される実施形態に限定されるものではなく、互いに異なる多様な形態で具現されることが可能である。本実施形態は、単に本発明の開示が完全になるように、本発明が属する技術分野で通常の知識を有する者に対して発明の範疇を完全に知らせるために提供されるものであり、本発明は、請求項の範囲によってのみ定義される。なお、明細書全体にかけて、同一の参照符号は同一構成要素を指すものとする。
【００３６】
以下、本発明の望ましい実施形態によって、あらかじめ定義された、加重平均合を用いてＦＧＳ階層をエンコーディングおよびデコーディングする方法および装置を説明するためのブロックもまたはフローチャートを参照してより詳細に説明する。この時、フローチャートの各ブロックとフロ−チャートの組み合わせはコンピュータプログラムインストラクションにより実行可能なのが理解できるであろう。これらコンピュータプログラムインストラクションは、汎用コンピュータ、特殊用コンピュータまたはその他のプログラマブルデータプロセッシング装備のプロセッサに搭載されうるので、コンピュータまたはその他のプログラマブルデータプロセッシング装備のプロセッサを通じて実行されるそのインストラクションがフローチャートのブロックで説明された機能を行う手段を生成するように機構を作れる。これらコンピュータプログラムインストラクションは特定方式で機能を具現するためにコンピュータまたはその他のプログラマブルデータプロセッシング装備を指向できるコンピュータ利用可能またはコンピュータ判読可能メモリに保存されることも可能なので、そのコンピュータ利用可能またはコンピュータ判読可能メモリに保存されたインストラクションはフローチャートのブロックで説明された機能を行うインストラクション手段を内包する製造品目を生産することも可能である。コンピュータプログラムインストラクションはコンピュータまたはその他のプログラマブルデータプロセッシング装備上に搭載することも可能なので、コンピュータまたはその他のプログラマブルデータプロセッシング装備上で一連の動作段階が実行されてコンピュータで実行されるプロセスを生成し、コンピュータまたはその他のプログラマブルデータプロセッシング装備を行うインストラクションはフローチャートのブロックで説明された機能を実行するための段階を提供することも可能である。
【００３７】
また、各ブロックは特定の論理的機能を行うための一つ以上の実行可能なインストラクションを含むモジュール、セグメントまたはコードの一部を示すことができる。また、いくつの代替実行例では、ブロックで言及された機能が順序を外れて発生することも可能であるということに注目せねばならない。例えば、連続して図示されている２つのブロックは、実質的に同時に行われてもよく、またはそのブロックが時々該当する機能によって逆順に行われてもよい。
【００３８】
本発明の明細書において、基礎階層（ｂａｓｅ−ｌａｙｅｒ）とは、スケーラブルビデオエンコーダで実際に生成されるビットストリーム（ｂｉｔｓｔｒｅａｍ）が有する最高フレーム率より低いフレーム率を有し、前記ビットストリームが有する最高解像度より低い解像度を有するビデオシーケンスを意味する。このように、基礎階層は、前記最高フレーム率および前記最高解像度より低い所定のフレーム率および所定解像度を有すればよく、必ず前記ビットストリームが有する最低フレーム率および最低解像度を有する必要はない。以下、マクロブロックを中心に説明するが、本発明の範囲がマクロブロックに限定されるのではなく、前記マクロブロックの他にもスライス、フレームなどにも適用されうる。
【００３９】
そして、ＦＧＳ階層は基礎階層と向上階層の間に存在することができる。また、向上階層が２つ以上の場合、下位階層と上位階層との間に存在することができる。以下、本明細書では予測信号を求めようとする現在階層は第ｎ向上階層を意味し、前記第ｎ向上階層より一段階低い階層は第ｎ−１階層を意味する。下位階層の一実施形態では基礎階層を用いるが、これは一つの実施形態に該当するだけであり、これに限定されるのではない。
【００４０】
図４は、本発明による一実施形態による加重平均合を用いてＦＧＳ階層をエンコーディングする方法の全体流れを示す図である。前記図４を、適応的参照方式を用いてＦＧＳ階層をコーディングする概念を示す図６を参照して説明する。
【００４１】
先ず、以前フレーム（ｔ−１）の第ｎ向上階層の復元されたブロック１０３と現在フレーム（ｔ）の基礎階層の復元されたブロック１１１を用いて第１加重平均合を算出する（Ｓ１０２）。ここで、前記第１加重平均合は下記の式（２）によって求める。
【００４２】
【数５９】
2009532979.tif 000013
ここで、前記αは、所定の第１加重値（ｌｅａｋｙ  ｆａｃｔｏｒ）であり、前記
【００４３】
【数６０】
2009532979.tif 000014
は、現在フレームｔでの基礎階層の復元されたブロック１１１を示して、前記以前
【００４４】
【数６１】
2009532979.tif 000015
は、フレームｔ−１での第ｎ向上階層の復元されたブロック１０３を示す。
【００４５】
前記式（２）によって第１加重平均合を算出した後には第２加重平均合を求めなければならない。これを求めるために、次のフレーム（ｔ＋１）の第ｎ向上階層の復元されたブロック１２３と現在フレーム（ｔ）の基礎階層の復元されたブロック１１１を用いて第２加重平均合を算出する（Ｓ１０４）。ここで、前記第２加重平均合は下記の式（３）によって求める。
【００４６】
【数６２】
2009532979.tif 000016
【００４７】
ここで、前記βは、所定の第２加重値（ｌｅａｋｙ  ｆａｃｔｏｒ）であり、前記
【００４８】
【数６３】
2009532979.tif 000017
は、前記式（２）と同様に現在フレーム（ｔ）での基礎階層の復元されたブロック１１１を示して、前記
【００４９】
【数６４】
2009532979.tif 000018
は、次のフレーム（ｔ＋１）での第ｎ向上階層の復元されたブロック１２３を示す。
【００５０】
前記式（３）によって第２加重平均合を算出した後には、前記第１加重平均合と前記第２加重平均合を合算して２つの平均合をすべて反映する。この時、単に前記第１加重平均合と第２加重平均合を加えることより、２つの平均合の算術平均を求めるのが好ましい。前記第１加重平均合と第２加重平均合の算術平均に現在フレーム（ｔ）の第ｎ−１向上階層の残差データを加えなければならない（Ｓ１０６）。これで、現在フレーム（ｔ）の第ｎ向上階層の予測信号（Ｐｒｅｄｉｃｔｉｏｎ  ｓｉｇｎａｌ）を生成する（Ｓ１０８）。これを式で示すと下記の式（４）の通りである。
【００５１】
【数６５】
2009532979.tif 000019
【００５２】
ここで、前記
【００５３】
【数６６】
2009532979.tif 000020
は、現在フレーム（ｔ）の第ｎ向上階層の予測信号であり、前記
【００５４】
【数６７】
2009532979.tif 000021
は、現在フレームｔでの第ｎ−１向上階層の残差データ（フレーム１１２から生成）を示す。
【００５５】
最後に、前記現在フレームの第ｎ向上階層の復元されたブロック
【００５６】
【数６８】
2009532979.tif 000022
で前記生成された第ｎ向上階層の予測信号
【００５７】
【数６９】
2009532979.tif 000023
を減じた結果、生成される第ｎ向上階層の残差データ
【００５８】
【数７０】
2009532979.tif 000024
をエンコーディングする（Ｓ１１０）。
【００５９】
一方、前記図６での現在フレーム（ｔ）に存在する第ｎ−１階層のブロック１１２は以前フレーム（ｔ−１）のブロック１０２と次のフレーム（ｔ−１）のブロック１２２と基礎階層のブロック１１１を参照して予測信号を生成し、現在フレーム（ｔ）の基礎階層のブロック１１１は以前フレームと次のフレームの各ブロック（１０１，１２１）を参照して予測信号を生成する。
【００６０】
前記式（４）によって前記第ｎ向上階層の予測信号を求める過程で２つの加重値（α、β）が用いられたことが分かる。ここで、前記第１加重値および前記第２加重値はコーディングしようとするマクロブロックで構成されるスライスのヘッダーに存在するシンタックス要素を参照して誘導され得、前記現在フレーム（ｔ）の第ｎ向上階層のマクロブロックの特性情報に依存して、０から１まで適応的に変わる性質を有する。
【００６１】
前記特性情報の例としては、前記マクロブロックの予測方向に対する情報、符号化ブロックパターン（ｃｏｄｅｄ  ｂｌｏｃｋ  ｐａｔｔｅｒｎと、以下、ｃｂｐ）値に対する情報、および前記マクロブロックに対する動きベクター（ＭＶ）の差異値（ＭＶＤ）に対する情報などがある。
【００６２】
最初に、前記マクロブロックの予測方向に対する情報によって前記加重値が如何に変化するかを調べる。前記コーディングしようとするマクロブロックパーテーション（またはサブマクロブロックパーテーション）に対する予測方向が両方向（Ｂｉ−Ｐｒｅｄｉｃｔｉｏｎａｌ）である場合には、第ｎ向上階層に存在する１０３フレームと１２３フレームに対する参照比率が増加し、相対的に基礎階層に存在する１１１フレームに対する参照比率が減少する。したがって、前記式（４）で、前記予測方向が両方向（Ｂｉ−Ｐｒｅｄｉｃｔｉｏｎａｌ）である場合には、前記第１加重値および前記第２加重値が増加して、前記予測方向が一方向（Ｏｎｅ  ｄｉｒｅｃｔｉｏｎａｌ）であるか、イントラ予測（Ｉｎｔｒａ  Ｐｒｅｄｉｃｔｉｏｎ）モードである場合には、前記第１加重値および前記第２加重値が減少する。
【００６３】
次に、前記符号化ブロックパターン（ｃｏｄｅｄ  ｂｌｏｃｋ  ｐａｔｔｅｒｎ）値に対する情報によって前記加重値が如何に変化するかを調べる。前記符号化ブロックパターンにノンゼロ（Ｎｏｎ−ｚｅｒｏ）変換係数が少なく含まれていると判断される場合を前提とする。この場合において、時間的に他の位置にあるフレームを参照するインター（ｉｎｔｅｒ）モードでは、フレーム間参照比率が増加するため、第ｎ向上階層に存在する１０３フレームと１２３フレームに対する参照比率が増加され、相対的に基礎階層に存在する１１１フレームに対する参照比率が減少するであろう。したがって、前記式（４）から、前記インター（Ｉｎｔｅｒ）モードでは前記第１加重値および前記第２加重値が増加し、イントラ（Ｉｎｔｒａ）モードでは前記第１加重値および前記第２加重値が減少する。
【００６４】
最後に、前記マクロブロックに対する動きベクターの差異値に対する情報によって前記加重値が如何に変化するかを調べる。前記動きベクターの差異値（ＭＶＤ）が小さい値を有する場合には、フレーム間参照比率が増加するため、第ｎ向上階層に存在する１０３フレームと１２３フレームに対する参照比率が増加し、相対的に基礎階層に存在する１１１フレームに対する参照比率が減少する。したがって、前記式（４）から、前記動きベクターの差異値（ＭＶＤ）が小さい値を有するほど前記第１加重値および前記第２加重値が増加し、前記動きベクターの差異値が大きい値を有するほど前記第１加重値および前記第２加重値が減少する。
【００６５】
以下、本発明の一実施形態による加重平均合を用いてＦＧＳ階層をデコーディングする方法を図５および前記図６を参照して説明する。
【００６６】
先ず、以前フレーム（ｔ−１）の第ｎ向上階層の復元されたブロック１０３と現在フレーム（ｔ）の基礎階層の復元されたブロック１１１を用いて第１加重平均合を算出する段階（Ｓ２０２）を実行して、次のフレーム（ｔ＋１）の第ｎ向上階層の復元されたブロック１２３と現在フレーム（ｔ）の基礎階層の復元されたブロック１１１を用いて第２加重平均合を算出する段階（Ｓ２０４）を実行する。前記第１加重平均合と前記第２加重平均合を合算して、２で分けた値に現在フレームの第ｎ−１向上階層の残差データを合算して（Ｓ２０６）、これで現在フレームの第ｎ向上階層の予測信号を生成する（Ｓ２０８）。しかし、前記Ｓ２０２からＳ２０８段階は前記図４のエンコーディング過程で説明したＳ１０２からＳ１０８段階と同様であるため、ここでは詳細な説明を省略する。
【００６７】
一方、前記の過程（Ｓ２０２からＳ２０８）によって第ｎ向上階層の予測信号
【００６８】
【数７１】
2009532979.tif 000025
を生成すれば、前記生成された第ｎ向上階層の予測信号
【００６９】
【数７２】
2009532979.tif 000026
を第ｎ向上階層の残差データ
【００７０】
【数７３】
2009532979.tif 000027
に合算することによって第ｎ向上階層の復元されたブロック
【００７１】
【数７４】
2009532979.tif 000028
を生成する（Ｓ２１０）。ここで、前記第ｎ向上階層の残差データ
【００７２】
【数７５】
2009532979.tif 000029
は、前記エンコーディング過程で生成されたＦＧＳ階層ビットストリームをエントロピ復号化および逆量子化した結果生成される残差データである。
【００７３】
以下、図７と図８を参照して前記のエンコーディングおよびデコーディング過程を実行するエンコーダおよびデコーダを調べる。
【００７４】
しかし、前記のような本発明の図７および図８に図示される構成要素のうち、「〜部」という用語は、ソフトウェア、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）または注文型半導体（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ、ＡＳＩＣ）のようなハードウェア構成要素を意味し、ある機能を果たす。しかし、ソフトウェアまたはハードウェアに限定される意味ではない。前記構成要素は、アドレッシングできる保存媒体にあるように構成されることもでき、一つまたはそれ以上のプロセッサを再生させるように構成されることもできる。したがって、実施形態での前記構成要素は、ソフトウェアの構成要素、オブジェクト指向ソフトウェアの構成要素、クラスの構成要素およびタスクの構成要素のような構成要素と、プロセス、関数、属性、プロシーザー、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、および変数を含む。前記構成要素のうちから提供される機能はさらに小さい数の構成要素に結合されたり追加的な構成要素とさらに分離したりすることができる。のみならず、前記構成要素は、デバイス内の一つまたはそれ以上のＣＰＵを再生させるように実現されることもできる。
【００７５】
図７を参照して本発明の一実施形態による加重平均合を用いてＦＧＳ階層をエンコーディングするエンコーダ１００の全体構成を調べる。
【００７６】
先ず、第１加重平均合算出部１１０は、以前フレームの第ｎ向上階層の復元されたブロックのデータに所定の第１加重値（α）を乗じた値と現在フレームの基礎階層の復元されたブロックのデータに（１−α）を乗じた値を合算して、第１加重平均合
【００７７】
【数７６】
2009532979.tif 000030
を算出する。
【００７８】
第２加重平均合算出部１２０もこれと類似に次のフレームの第ｎ向上階層の復元されたブロックのデータに所定の第２加重値（β）を乗じた値と現在フレームの基礎階層の復元されたブロックのデータに（１−β）を乗じた値を合算して第２加重平均合
【００７９】
【数７７】
2009532979.tif 000031
を算出する。
【００８０】
予測信号生成部１３０は、前記算出された第１加重平均合と第２加重平均合を合算した値を２で分けた算術平均値に現在フレームの第ｎ−１向上階層の残差データ
【００８１】
【数７８】
2009532979.tif 000032
を合算することによって現在フレームの第ｎ向上階層の予測信号
【００８２】
【数７９】
2009532979.tif 000033
を生成する。この時前記第ｎ−１向上階層の残差データ
【００８３】
【数８０】
2009532979.tif 000034
は後述する残差データ生成部１４０によって生成される次にフレームに対する残差データ
【００８４】
【数８１】
2009532979.tif 000035
を用いる。
【００８５】
一方、後述するデコーダ２００で復元された現在フレームの第ｎ向上階層のブロックのデータ
【００８６】
【数８２】
2009532979.tif 000036
がエンコーダ１００に入力されれば、残差データ生成部１４０は前記入力されたデータ
【００８７】
【数８３】
2009532979.tif 000037
から前記予測信号生成部１３０によって生成された第ｎ向上階層の予測信号
【００８８】
【数８４】
2009532979.tif 000038
を減じる。その結果、第ｎ向上階層の残差データ
【００８９】
【数８５】
2009532979.tif 000039
が生成され、前記生成された残差データ
【００９０】
【数８６】
2009532979.tif 000040
は、前述した通り予測信号生成部１３０に入力されるか、後述する量子化部１５０に入力される。
【００９１】
量子化部１５０は、残差データ生成部１４０によって生成された残差データを用いて生成された変換係数を量子化（ｑｕａｎｔｉｚａｔｉｏｎ）する。前記量子化（ｑｕａｎｔｉｚａｔｉｏｎ）とは、任意の実数で表現されるＤＣＴ係数を量子化テーブルによって所定の区間に分けて、離散値（ｄｉｓｃｒｅｔｅ  ｖａｌｕｅ）で示して、これを対応するインデックスを付与する作業を意味する。このように量子化された結果値を量子化係数（ｑｕａｎｔｉｚｅｄ  ｃｏｅｆｆｉｃｉｅｎｔ）という。
【００９２】
エントロピ符号化部１６０は、前記量子化部１５０によって生成された量子化係数を無損失符号化してＦＧＳ階層ビットストリームを生成する。このような無損失符号化方法では、ホプマン符号化（Ｈｕｆｆｍａｎ  ｃｏｄｉｎｇ）、算術符号化（ａｒｉｔｈｍｅｔｉｃ  ｃｏｄｉｎｇ）、可変長符号化（ｖａｒｉａｂｌｅ  ｌｅｎｇｔｈ  ｃｏｄｉｎｇ）などの多様な無損失符号化方法を用いることができる。
【００９３】
図８は、本発明による一実施形態により加重平均合を用いてＦＧＳ階層をデコーディングするデコーダ２００の全体構成を示す図である。
【００９４】
前記エンコーダ１００から受信したビデオシーン号でＦＧＳ階層のビットストリームをエントロピ復号化部２６０によって復号化する。前記エントロピ復号化部２６０は、ＦＧＳ階層ビットストリームを無損失復号化してテクスチャデータを抽出する。
【００９５】
逆量子化部２５０は、前記テクスチャデータを逆量子化する。このような逆量子化過程はＦＧＳエンコーダ１００端で行われる量子化過程の逆に該当する過程であり、量子化過程で用いられた量子化テーブルを用いて前記量子化過程で生成されたインデックスからそれにマッチングされる値を復元する過程であって、第ｎ向上階層の残差データ
【００９６】
【数８７】
2009532979.tif 000041
を生成する。
【００９７】
一方、デコーダ２００に存在する第１加重平均合算出部２１０、第２加重平均合算出部２２０、および予測信号生成部２３０は前述したエンコーダ１００に存在する第１加重平均合算出部１１０、第２加重平均合算出部１２０、および予測信号生成部１３０とその役割が同様であるため、ここでは詳細な説明を省略する。
【００９８】
向上階層復元部２４０は、前記予測信号生成部２３０によって生成された第ｎ向上階層の予測信号
【００９９】
【数８８】
2009532979.tif 000042
を逆量子化部２５０によって生成された第ｎ向上階層の残差データ
【０１００】
【数８９】
2009532979.tif 000043
に合算することによって第ｎ向上階層の復元されたブロックのデータ
【０１０１】
【数９０】
2009532979.tif 000044
を生成し、これでＦＧＳ階層の復元されたデータを生成する。
【０１０２】
一方、本発明の実施形態による加重平均合を用いてＦＧＳ階層をエンコーディングおよびデコーディングする装置の権利範囲は、前記のような方法をコンピュータで実行するためのプログラムコードを記録したコンピュータで読み取ることができる記録媒体にも及ぼすことは当業者に自明なことである。
【０１０３】
以上添付された図面を参照し、本発明の実施形態について説明したが、本発明が属する技術分野における通常の知識を有する者は、本発明の技術的思想や必須の特徴を変更しない範囲で、様々に置換、変形および変更が可能なので、他の具体的な形態で実施され得るということを理解することができる。したがって、上記実施形態はすべての面で例示的なものであり、限定的でないものと理解しなければならない。本発明の範囲は、前記詳細な説明よりは後述する特許請求の範囲によって示され、特許請求の範囲の意味および範囲そして、その均等概念から導き出されるすべての変更または変形された形態が本発明の範囲に含まれると解釈されなければならない。
【図面の簡単な説明】
【０１０４】
【図１】多階層構造を用いたスケーラブルビデオコーデックを示す図である。
【図２】スケーラブルビデオコーデックでの３つの予測方法を説明する図である。
【図３】従来技術によって適応的参照方式でＦＧＳ階層をコーディングする概念を示す図である。
【図４】本発明の一実施形態による加重平均合を用いてＦＧＳ階層をエンコーディングする方法の全体流れを示す図である。
【図５】本発明の一実施形態による加重平均合を用いてＦＧＳ階層をデコーディングする方法の全体流れを示す図である。
【図６】本発明の一実施形態による適応的参照方式でＦＧＳ階層をコーディングする概念を示す図である。
【図７】本発明の一実施形態による加重平均合を用いてＦＧＳ階層をエンコーディングするエンコーダの全体構成を示す図である。
【図８】本発明の一実施形態による加重平均合を用いてＦＧＳ階層をデコーディングするデコーダの全体構成を示す図である。
【符号の説明】
【０１０５】
１００    ＦＧＳエンコーダ
１１０    第１加重平均合算出部
１２０    第２加重平均合算出部
１３０    予測信号生成部
１４０    残差データ生成部
１５０    量子化部
１６０    エントロピ符号化部
２００    ＦＧＳデコーダ
２１０    第１加重平均合算出部
２２０    第２加重平均合算出部
２３０    予測信号生成部
２４０    向上階層復元部
２５０    逆量子化部
２６０    エントロピ復号化部
【図１】
2009532979.tif 000093
【図２】
2009532979.tif 000094
【図３】
2009532979.tif 000095
【図４】
2009532979.tif 000096
【図５】
2009532979.tif 000097
【図６】
2009532979.tif 000098
【図７】
2009532979.tif 000099
【図８】
2009532979.tif 000100
【国際調査報告】
2009532979.tif 000101
2009532979.tif 000102