(57)【要約】  順次に付与される複数の映像フレームを含む拡張階層、及び複数の映像フレームがサブサンプリングされた結果である一つ以上のサブ映像フレームを含む基本階層を生成する空間的階層生成部と、基本階層に相応する複数の時間的階層を生成し、上位第２フレーム及び符号化された第１フレームのうち少なくとも一つを利用して下位第２フレームを予測することにより、拡張階層に相応する複数の時間的階層を生成する時間的階層生成部とを備え、第１フレームは、前記基本階層に相応する複数の時間的階層に含まれたフレームを意味し、サブ映像フレームは、最上位の前記第１フレームであり、第２フレームは、拡張階層に相応する複数の時間的階層に含まれたフレームであり、映像フレームは、最上位の第２フレームであることを特徴とする動き補償された階層生成装置である。これにより、拡張階層の時間的階層化を符号化された基本階層に属したフレームを利用して実行することができるので、双方向予測または逆方向予測が禁止される環境下で拡張階層を時間的階層化しても、符号化効率の低下を最小化できる。
2008516516.tif 000002
【特許請求の範囲】
【請求項１】
複数の映像フレームを含む拡張階層、及び前記複数の映像フレームがサブサンプリングされた結果である一つ以上のサブ映像フレームを含む基本階層を生成する空間的階層生成部と、
前記基本階層に相応する一つ以上の時間的階層（temporal  layer）を生成し、上位第２フレーム及び符号化された第１フレームのうち少なくとも一つを利用して下位第２フレームを予測することにより、前記拡張階層に相応する一つ以上の時間的階層を生成する時間的階層生成部とを備え、
前記第１フレームは、前記基本階層に相応する一つ以上の時間的階層に含まれたフレームであり、前記第２フレームは、前記拡張階層に相応する一つ以上の時間的階層に含まれたフレームであることを特徴とする動き補償された階層生成装置。
【請求項２】
前記利用された第１フレームの時刻に該当する前記第２フレームは、前記予測時に利用不可能であることを特徴とする請求項１に記載の動き補償された階層生成装置。
【請求項３】
前記利用された第１フレームの時刻は、前記利用された第２フレームの時刻のうち一つであることを特徴とする請求項１に記載の動き補償された階層生成装置。
【請求項４】
前記時間的階層生成部は、
上位前記第１フレームを利用して下位前記第１フレームを予測することにより、前記基本階層に相応する一つ以上の時間的階層を生成する予測部と、
前記下位第２フレームの予測時に利用しようとする前記上位第２フレームの時刻に該当する前記第１フレームを、符号化された前記第１フレームのうちから採択する採択部とを備え、
前記予測部は、前記上位第２フレーム及び採択された前記第１フレームのうち少なくとも一つを利用して前記下位第２フレームを予測することにより、前記拡張階層に相応する一つ以上の時間的階層を生成することを特徴とする請求項１に記載の動き補償された階層生成装置。
【請求項５】
前記時間的階層生成部は、
採択された前記第１フレームをアップサンプリングし、採択された前記第１フレームの解像度を前記第２フレームの解像度と一致させる再サンプリング部をさらに備え、
前記予測部は、前記上位第２フレーム及び前記アップサンプリングされた第１フレームのうち少なくとも一つを利用して前記下位第２フレームを予測することを特徴とする請求項４に記載の動き補償された階層生成装置。
【請求項６】
前記複数の映像フレームは、前記動き補償された階層生成装置に順次に付与されることを特徴とする請求項１に記載の動き補償された階層生成装置。
【請求項７】
（ａ）複数の映像フレームを含む拡張階層、及び前記複数の映像フレームがサブサンプリングされた結果である一つ以上のサブ映像フレームを含む基本階層を生成する段階と、
（ｂ）前記基本階層に相応する一つ以上の時間的階層を生成し、上位第２フレーム及び符号化された第１フレームのうち少なくとも一つを利用して下位第２フレームを予測することにより、前記拡張階層に相応する一つ以上の時間的階層を生成する段階とを含み、
前記第１フレームは、前記基本階層に相応する一つ以上の時間的階層に含まれたフレームを意味し、前記サブ映像フレームは、最上位の前記第１フレームであり、前記第２フレームは、前記拡張階層に相応する一つ以上の時間的階層に含まれたフレームであり、前記映像フレームは、最上位の前記第２フレームであることを特徴とする動き補償された階層生成方法。
【請求項８】
前記（ｂ）段階は、
（ｂ１）上位前記第１フレームを利用して下位前記第１フレームを予測することにより、前記基本階層に相応する一つ以上の時間的階層を生成する段階と、
（ｂ２）前記基本階層に相応して生成された前記一つ以上の時間的階層を符号化する段階と、
（ｂ３）前記上位第２フレーム及び前記符号化された第１フレームのうち少なくとも一つを利用して前記下位第２フレームを予測することにより、前記拡張階層に相応する一つ以上の時間的階層を生成する段階とを含むことを特徴とする請求項７に記載の動き補償された階層生成方法。
【請求項９】
前記（ｂ３）段階は、
（ｂ３−１）前記下位第２フレームの予測時に利用しようとする前記上位第２フレームの時刻に該当する前記第１フレームを、前記符号化された第１フレームのうちから採択する段階と、
（ｂ３−３）前記上位第２フレーム及び採択された前記第１フレームのうち少なくとも一つを利用して前記下位第２フレームを予測することにより、前記拡張階層に相応する一つ以上の時間的階層を生成する段階とを含むことを特徴とする請求項８に記載の動き補償された階層生成方法。
【請求項１０】
前記（ｂ３）段階は、
（ｂ３−２）採択された前記第１フレームをアップサンプリングし、採択された前記第１フレームの解像度を前記第２フレームの解像度と一致させて前記（ｂ３−３）段階に進む段階をさらに含み、
前記（ｂ３−３）段階は、前記上位第２フレーム及び前記アップサンプリングされた第１フレームのうち少なくとも一つを利用して前記下位第２フレームを予測することを特徴とする請求項９に記載の動き補償された階層生成方法。
【請求項１１】
前記利用された第１フレームの時刻に該当する前記第２フレームは、前記予測時に利用不可能であることを特徴とする請求項７に記載の動き補償された階層生成方法。
【請求項１２】
前記利用された第１フレームの時刻は、前記利用された第２フレームの時刻のうち一つであることを特徴とする請求項７に記載の動き補償された階層生成方法。
【請求項１３】
前記複数の映像フレームは、順次に付与されることを特徴とする請求項７に記載の動き補償された階層生成方法。
【請求項１４】
（ａ）複数の映像フレームを含む拡張階層、及び前記複数の映像フレームがサブサンプリングされた結果である一つ以上のサブ映像フレームを含む基本階層を生成する段階と、
（ｂ）前記基本階層に相応する一つ以上の時間的階層を生成し、上位第２フレーム及び符号化された第１フレームのうち少なくとも一つを利用して下位第２フレームを予測することにより、前記拡張階層に相応する一つ以上の時間的階層を生成する段階とを含み、
前記第１フレームは、前記基本階層に相応する一つ以上の時間的階層に含まれたフレームを意味し、前記サブ映像フレームは、最上位の前記第１フレームであり、前記第２フレームは、前記拡張階層に相応する一つ以上の時間的階層に含まれたフレームであり、前記映像フレームは、最上位の前記第２フレームであることを特徴とする動き補償された階層生成方法をコンピュータで実行させるためのプログラムを保存したコンピュータで読み取り可能な記録媒体。
【請求項１５】
前記複数の映像フレームは、順次に付与されることを特徴とする請求項１４に記載の動き補償された階層生成方法をコンピュータで実行させるためのプログラムを保存したコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号の処理に係り、さらに詳細には、拡張階層（enhancement  layer）の時間的階層化（temporal  scalability）を符号化された基本階層（base layer）に属したフレームを利用して実行する動き補償された階層生成装置及び方法に関する。
【背景技術】
【０００２】
映像信号の符号化は、画面内相関関係による圧縮（空間相関圧縮）及び画面間相関関係による圧縮（時間相関圧縮）されたフレームに対してなされる。空間相関圧縮は、離散余弦変換（ＤＣＴ：Discrete  Cosine  Transform）及び量子化などを介して行われ、時間相関圧縮は、動き補償（motion  compensation）などを介して行われる。
【０００３】
ＭＰＥＧ（Moving  Picture  Experts  Group）−２による符号化は、そのように動き補償されたフレームを階層化された構造下で符号化する。かような階層化には、空間的階層化（spatial  scalability）、時間的階層化（temporal  scalability）、及びＳＮＲ階層化（ＳＮＲ  scalability）などがある。
【０００４】
ここで、時間的階層化は、上位階層のフレームを利用して下位階層のフレームを予測することによってなされ、かような予測には、順方向予測（forward  prediction）、逆方向予測（backward  prediction）、双方向予測（bi-directional  prediction）などがある。
【０００５】
逆方向予測（または双方向予測）を利用して時間的階層化を行い、その階層化されたフレームを符号化する従来の映像符号化装置は、逆方向予測時に利用するフレームがその装置に付与されるまで符号化が遅延されるという問題点を有する。
【０００６】
その遅延の程度を減らそうと、予測時に一部逆方向予測を制限する方策が提示された。しかし、かかる方策を採用した従来の映像符号化装置は、予測時に利用する映像情報が少ないので、全ての逆方向予測に対して制限していない場合より符号化効率が低いという問題点を有する。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明が解決しようとする技術的課題は、拡張階層の時間的階層化を、符号化された基本階層に属したフレームを利用して実行する動き補償された階層生成装置と方法、及び該方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供することである。
【課題を解決するための手段】
【０００８】
前記課題をなすために、本発明による動き補償された階層生成装置は、複数の映像フレームを含む拡張階層、及び前記複数の映像フレームがサブサンプリングされた結果である一つ以上のサブ映像フレームを含む基本階層を生成する空間的階層生成部と、前記基本階層に相応する一つ以上の時間的階層（temporal  layer）を生成し、上位第２フレーム及び符号化された第１フレームのうち少なくとも一つを利用して下位第２フレームを予測することにより、前記拡張階層に相応する一つ以上の時間的階層を生成する時間的階層生成部を備え、前記第１フレームは、前記基本階層に相応する一つ以上の時間的階層に含まれたフレームであり、前記第２フレームは、前記拡張階層に相応する一つ以上の時間的階層に含まれたフレームであることが望ましい。
【０００９】
この場合、前記利用された第１フレームの時刻に該当する前記第２フレームは、前記予測時に利用不可能であることが望ましい。
【００１０】
この場合、前記利用された第１フレームの時刻は、前記利用された第２フレームの時刻のうち一つであることが望ましい。
【００１１】
この場合、前記時間的階層生成部は、上位前記第１フレームを利用して下位前記第１フレームを予測することにより、前記基本階層に相応する一つ以上の時間的階層を生成する予測部と、前記下位第２フレームの予測時に利用しようとする前記上位第２フレームの時刻に該当する前記第１フレームを、符号化された前記第１フレームのうちから採択する採択部とを備え、前記予測部は、前記上位第２フレーム及び採択された前記第１フレームのうち少なくとも一つを利用して前記下位第２フレームを予測することにより、前記拡張階層に相応する一つ以上の時間的階層を生成することが望ましい。
【００１２】
この場合、前記時間的階層生成部は、採択された前記第１フレームをアップサンプリングし、採択された前記第１フレームの解像度を前記第２フレームの解像度と一致させる再サンプリング部をさらに備え、前記予測部は、前記上位第２フレーム及び前記アップサンプリングされた第１フレームのうち少なくとも一つを利用し、前記下位第２フレームを予測することが望ましい。
【００１３】
この場合、前記複数の映像フレームは、前記動き補償された階層生成装置に順次に付与されることが望ましい。
【００１４】
前記課題をなすために、本発明による動き補償された階層生成方法は、（ａ）複数の映像フレームを含む拡張階層、及び前記複数の映像フレームがサブサンプリングされた結果である一つ以上のサブ映像フレームを含む基本階層を生成する段階と、（ｂ）前記基本階層に相応する一つ以上の時間的階層を生成し、上位第２フレーム及び符号化された第１フレームのうち少なくとも一つを利用して下位第２フレームを予測することにより、前記拡張階層に相応する一つ以上の時間的階層を生成する段階とを含み、前記第１フレームは、前記基本階層に相応する一つ以上の時間的階層に含まれたフレームを意味し、前記サブ映像フレームは、最上位の前記第１フレームであり、前記第２フレームは、前記拡張階層に相応する一つ以上の時間的階層に含まれたフレームであり、前記映像フレームは、最上位の前記第２フレームであることが望ましい。
【００１５】
この場合、前記（ｂ）段階は、（ｂ１）上位前記第１フレームを利用して下位前記第１フレームを予測することにより、前記基本階層に相応する一つ以上の時間的階層を生成する段階と、（ｂ２）前記基本階層に相応して生成された前記一つ以上の時間的階層を符号化する段階と、（ｂ３）前記上位第２フレーム及び前記符号化された第１フレームのうち少なくとも一つを利用して前記下位第２フレームを予測することにより、前記拡張階層に相応する一つ以上の時間的階層を生成する段階とを含むことが望ましい。
【００１６】
この場合、前記（ｂ３）段階は、（ｂ３−１）前記下位第２フレームの予測時に利用しようとする前記上位第２フレームの時刻に該当する前記第１フレームを、前記符号化された第１フレームのうちから採択する段階と、（ｂ３−３）前記上位第２フレーム及び採択された前記第１フレームのうち少なくとも一つを利用して前記下位第２フレームを予測することにより、前記拡張階層に相応する一つ以上の時間的階層を生成する段階とを含むことが望ましい。
【００１７】
この場合、前記（ｂ３）段階は、（ｂ３−２）採択された前記第１フレームをアップサンプリングし、採択された前記第１フレームの解像度を前記第２フレームの解像度と一致させて前記（ｂ３−３）段階に進む段階をさらに含み、前記（ｂ３−３）段階は、前記上位第２フレーム及び前記アップサンプリングされた第１フレームのうち少なくとも一つを利用し、前記下位第２フレームを予測することが望ましい。
【００１８】
この場合、前記利用された第１フレームの時刻に該当する前記第２フレームは、前記予測時に利用不可能であることが望ましい。
【００１９】
この場合、前記利用された第１フレームの時刻は、前記利用された第２フレームの時刻のうち一つであることが望ましい。
【００２０】
この場合、前記複数の映像フレームは、順次に付与されることが望ましい。
【００２１】
前記課題をなすために、本発明によるコンピュータで読み取り可能な記録媒体は、複数の映像フレームを含む拡張階層、及び前記複数の映像フレームがサブサンプリングされた結果である一つ以上のサブ映像フレームを含む基本階層を生成する段階と、前記基本階層に相応する一つ以上の時間的階層を生成し、上位第２フレーム及び符号化された第１フレームのうち少なくとも一つを利用して下位第２フレームを予測することにより、前記拡張階層に相応する一つ以上の時間的階層を生成する段階とを含み、前記第１フレームは、前記基本階層に相応する一つ以上の時間的階層に含まれたフレームを意味し、前記サブ映像フレームは、最上位の前記第１フレームであり、前記第２フレームは、前記拡張階層に相応する一つ以上の時間的階層に含まれたフレームであり、前記映像フレームは、最上位の前記第２フレームであることを特徴とする動き補償された階層生成方法をコンピュータで実行させるためのプログラムを保存したことが望ましい。
【００２２】
以上で言及された本発明の特徴だけではなく、本発明のそれ以外の特徴及び本発明の効果らについても、以下で詳細に開示する。
【発明の効果】
【００２３】
本発明による動き補償された階層生成装置及び方法は、拡張階層の時間的階層化を符号化された基本階層に属したフレームを利用して実行することができるので、双方向予測（bi-directional  prediction）または逆方向予測（backward  prediction）が禁止される環境下で拡張階層を時間的階層化しても、符号化効率の低下を最小化できる。
【発明を実施するための最良の形態】
【００２４】
以下、添付された図面を参照しつつ、本発明による動き補償された階層生成装置及び方法の一実施形態について詳細に説明する。ただし、後述の用語は、本発明での機能を考慮して定義された用語であり、それらは、ユーザ者、運用者の意図または慣例によって変わりうる。従って、該定義は、本明細書全般にわたる内容を基になされねばならない。
【００２５】
図１は、本発明による動き補償された階層生成装置を説明するための一実施形態のブロック図であり、空間的階層生成部１１０、時間的階層生成部１２０、エンコーディング部１３０及び遅延制約情報保存部１４０を備える。ここで、時間的階層生成部１２０は、予測部１２２、更新部１２４、検査部１２５、採択部１２６及び再サンプリング部１２８を備える。
【００２６】
一方、ＩＮは、動き補償されたフレームを意味し、ＯＵＴは、本発明による動き補償された階層生成装置の備わった映像符号化装置により「符号化された結果」、すなわち、「符号化されて生成されたビットストリーム（bitstream）」を意味する。
【００２７】
空間的階層生成部１１０ないし遅延制約情報保存部１４０は、いずれも映像符号化装置に備わりうる。その映像符号化装置には、符号化しようとする映像信号が付与され、その映像信号は、複数の映像フレームからなっている。
【００２８】
ここで、それぞれの映像フレームは、各時刻での映像情報を含んでおり、その映像符号化装置により符号化される１処理単位は、以下、ＧＯＰ（Group  Of  Pictures）と命名する。
【００２９】
かような映像符号化装置による符号化は、前述のように、離散余弦変換（ＤＣＴ）及び量子化などを介した「空間相関圧縮」と、動き補償（motion-compensation）などを介した「時間相関圧縮」とを経たフレームに対して実行されうる。
【００３０】
特に、ＭＰＥＧ（Moving  Picture  Experts  Group）−２による符号化は、そのように動き補償されたフレームＩＮを「階層化」された構造下で符号化する。かような階層化（scalability）には、空間的階層化（spatial  scalability）、時間的階層化（temporal  scalability）、及びＳＮＲ階層化（ＳＮＲ  scalability）などがある。階層化は、ＭＰＥＧ−１に対比されるＭＰＥＫ−２の大きい特徴中の一つである。
【００３１】
空間的階層生成部１１０は、付与される映像信号に対して空間的階層化を実行する。具体的に、空間的階層生成部１１０は、付与される動き補償されたフレームＩＮに対して空間的階層化を実行する。これにより、空間的階層生成部１１０は、複数の空間的階層（spatial  layer）を生成する。
【００３２】
さらに具体的に、空間的階層生成部１１０は、順次に付与される複数の映像フレームを含む「拡張階層（enhancement  layer）」、及びその複数の映像フレームがサブサンプリング（sub-sampling）された結果である一つ以上のサブ映像フレームを含む「基本階層（base  layer）」を生成する。
【００３３】
ここで、サブサンプリングは、空間的サブサンプリング（spatial  sub-sampling）でもあり、時間的サブサンプリング（temporal  sub-sampling）でもありうる。このとき、空間的サブサンプリングは、フレームが有する解像度を下げ、時間的サブサンプリングは、ＧＯＰに含まれたフレーム数を減らす。
【００３４】
サブ映像フレームは、映像フレームがサブサンプリングされた結果であり、例えば、共通中間形式（ＣＩＦ：Common  Intermediate  Format；Ｈ．２６１標準で決定された形式）の３０Ｈｚを有するフレームが映像フレームならば、クォータ共通中間形式（ＱＣＩＦ：Quarter  ＣＩＦ）の１５Ｈｚを有する映像フレームは、サブ映像フレームであるといえる。この例示で、サブサンプリングは、空間的サブサンプリング及び時間的サブサンプリングによりなされる。
【００３５】
ａフレームがサブサンプリングされることによりｂフレームが生成され、ｂフレームがサブサンプリングされることによりｃフレームが生成され、ｃフレームがサブサンプリングされることによりｄフレームが生成されるとするとき、（映像フレーム、サブ映像フレーム）は、（ａフレーム、ｂフレーム）でもあり、（ｂフレーム、ｃフレーム）でもあり、（ｃフレーム、ｄフレーム）でもありうる。
【００３６】
すなわち、映像フレームは、動き補償されたフレームＩＮを意味することもあり、その動き補償されたフレームＩＮがサブサンプリングされて生成されたフレームを意味することもある。
【００３７】
かような映像フレームは、拡張階層に含まれるフレームである一方、サブ映像フレームは、基本階層に含まれるフレームであるから、映像フレームとサブ映像フレームは、互いに階層を異にする。
【００３８】
一方、時間的階層生成部１２０は、基本階層に相応する複数の時間的階層を生成し、拡張階層に相応する複数の時間的階層を生成する。このとき、時間的階層生成部１２０は、上位階層のフレームを利用して下位階層のフレームを予測（prediction）し、その予測された結果を利用してその上位階層のフレームを更新（update）することにより、複数の時間的階層を生成する。基本階層に相応する複数の時間的階層だけではなく、拡張階層に相応する複数の階層も、そのような予測及び更新を経つつ生成される。かような予測及び更新を介した時間的階層の生成過程は、従来の「５／３  ＭＣＴＦ（Motion  Compensated  Temporal  Filtering）構造」にすでに開示された通りである。
【００３９】
一方、予測（prediction）には、順方向予測（forward  prediction）、逆方向予測（backward  prediction）、双方向予測（bi-directional  prediction）などがある。このとき、時間的階層生成部１２０が「逆方向予測（または双方向予測）」を利用して時間的階層化を実行するならば、前述のように、逆方向予測時に利用するフレームが本発明による動き補償された階層生成装置の備わった映像符号化装置に付与されるまで、その映像符号化装置は符号化を行うことができないので、符号化が遅延される。これは、前述の「５／３
ＭＣＴＦ構造」により時間的階層を生成するときに発生する問題点でもある。
【００４０】
前述のように、かような遅延は、予測時に逆方向予測の一部または全部を制限することによって減らすことができる。これもまた、従来の「適応的（adaptive）５／３ ＭＣＴＦ構造」にすでに開示されている。
【００４１】
本発明による動き補償された階層生成装置は、前述の「５／３  ＭＣＴＦ構造」による時間的階層生成の方策の有する問題点である「符号化遅延の発生」を解消することはもとより、前述の「適応的５／３
ＭＣＴＦ構造」による時間的階層生成の方策の有する問題点である「符号化効率の低下発生」も解消する階層生成の方策を提示する。
【００４２】
すなわち、時間的階層生成部１２０は、基本階層に相応する複数の時間的階層を生成し、上位第２フレーム及び符号化された第１フレームのうち少なくとも一つを利用して下位第２フレームを予測することにより、拡張階層に相応する複数の時間的階層を生成する。
【００４３】
ここで、第１フレームは、基本階層に相応する複数の時間的階層に含まれたフレームを意味し、前述のサブ映像フレームは、最上位の第１フレームを意味する。また、第２フレームは、拡張階層に相応する複数の時間的階層に含まれたフレームであり、前述の映像フレームは、最上位の第２フレームを意味する。
【００４４】
エンコーディング部１３０は、全ての第１フレームを符号化した後、全ての第２フレームを符号化する。すなわち、エンコーディング部１３０は、基本階層に相応する複数の時間的階層に含まれた全てのフレームを符号化した後、拡張階層に相応する複数の時間的階層に含まれた全てのフレームを符号化する。このとき、符号化は、「エントロピ符号化（entropy  encoding）」でありうる。
【００４５】
結局、時間的階層生成部１２０は、基本階層に相応する複数の時間的階層を生成するために、基本階層内の「上位階層」のフレームを利用し、その「上位階層」の最近接「下位階層」のフレームを予測し、その予測されたフレームを利用し、その「上位階層」のフレームを更新する。これにより、その「上位階層」の最近接「下位階層」として、その予測された「下位階層」のフレームとその更新された「下位階層」のフレームとをいずれも有する階層が生成される。
【００４６】
時間的階層生成部１２０がそのような予測及び更新を介して基本階層に相応する複数の時間的階層を生成した後、エンコーディング部１３０は、その生成された全ての第１フレームを符号化する。
【００４７】
エンコーディング部１３０が第１フレームを符号化した後、時間的階層生成部１２０は、拡張階層に相応する複数の時間的階層を生成する。このために、時間的階層生成部１２０は、拡張階層内の「上位階層」のフレームを利用し、その「上位階層」の最近接「下位階層」のフレームを予測し、その予測されたフレームを利用し、その「上位階層」のフレームを更新する。これにより、その「上位階層」の最近接「下位階層」として、その予測された「下位階層」のフレームと、その更新された「下位階層」のフレームとをいずれも有する階層が生成される。エンコーディング部１３０は、その生成された全ての第２フレームを符号化する。
【００４８】
さらに具体的に、時間的階層生成部１２０の予測部１２２は、上位階層のフレームを利用して下位階層のフレームを予測し、更新部１２４は、その予測されたフレームを利用し、その上位階層のフレームを更新する。その予測されたフレーム及びその更新されたフレームは、いずれもその「上位階層」の最近接「下位階層」を構成する。
【００４９】
かような予測部１２２及び更新部１２４は、全ての第１フレームを生成することもあり、全ての第２フレームを生成することもある。具体的に、予測部１２２及び更新部１２４は、基本階層に相応する複数の時間的階層を生成し、予測部１２２ないし再サンプリング部１２８は、拡張階層に相応する複数の時間的階層を生成する。
【００５０】
時間的階層生成部１２０の検査部１２５は、予測部１２２が動作するたびに動作する。具体的に、検査部１２５は、予測部１２２で「下位第２フレームを予測時に利用しようとする上位第２フレーム」のうち、「予測に利用できない、すなわち、逆方向予測が許容されない」上位第２フレームが存在するか否かを検査する。
【００５１】
このために、検査部１２５は、遅延制約情報保存部１４０に保存された遅延制約情報を読み出して分析することができる。その遅延制約情報には、逆方向予測の許容されない第２フレームについての情報が含まれている。
【００５２】
一方、検査部１２５及び遅延制約情報保存部１４０は、本発明による動き補償された階層生成装置に設けられないこともある。
【００５３】
採択部１２６は、すでに符号化された第１フレームのうち、その「下位第２フレームを予測時に利用しようとする上位第２フレーム」の時刻に該当する第１フレームを採択する。このとき、採択部１２６は、検査部１２５で検査された結果に応答して動作することもあり、本発明による動き補償された階層生成装置に検査部１２５が設けられていない環境下で動作することもある。
【００５４】
もし、採択部１２６が検査部１２５で検査された結果に応答するならば、採択部１２６は、検査部１２５が「予測部１２２で下位第２フレームを予測するときに利用しようとする上位第２フレーム」のうち、「逆方向予測が許容されない第２フレーム」が存在すると検査するならば、その「逆方向予測が許容されない第２フレーム」の時刻に該当する符号化された第１フレームを採択できる。
【００５５】
または、採択部１２６は、検査部１２５が「予測部１２２で下位第２フレームを予測するときに利用しようとする上位第２フレーム」のうち、「逆方向予測が許容されない第２フレーム」が存在しないと検査された場合でも、「予測部１２２で下位第２フレームを予測するときに利用しようとする上位第２フレーム」の時刻に該当する符号化された第１フレームを採択できる。
【００５６】
拡張階層に相応する複数の時間的階層を生成するために、下位第２フレームを予測しようとする予測部１２２は、その採択された「符号化された第１フレーム」及び「上位第２フレーム」のうち少なくとも一つを利用し、「下位第２フレーム」を予測できる。
【００５７】
再サンプリング部１２８は、その採択された第１フレームをアップサンプリング（up-sampling）し、その採択された第１フレームの解像度を第２フレームの解像度と一致させる。この場合、予測部１２２は、「そのアップサンプリングされた第１フレーム」及び「上位第２フレーム」のうち少なくとも一つを利用し、「下位第２フレーム」を予測できる。もし、その採択された第１フレームの解像度が第２フレームの解像度と一致するならば、再サンプリング部１２８は、本発明に設けられないこともある。
【００５８】
図２は、本発明による動き補償された階層生成装置を説明するための参考図である。ここで、参照番号２１０、２２０、２３０、２５０及び２６０それぞれは、ＧＯＰ、拡張階層、映像フレーム、基本階層、サブ映像フレームを意味する。図２に図示されたフレームのうち、同一階層に属するフレーム内で左側のフレームは、右側のフレームより時間的に先んじる。
【００５９】
ここで、基本階層２５０及び拡張階層２２０それぞれは、空間的階層（spatial  layer）を意味する。
【００６０】
参照番号２３２、２３４、２３６及び２３８それぞれは、拡張階層２２０に備わった１つの時間的階層を意味し、同様に参照番号２６２、２６４及び２６６それぞれは、基本階層２５０に備わった１つの時間的階層を意味する。
【００６１】
一方、映像フレーム２３０も、やはり拡張階層２２０に相応する時間的階層のうちの一つを構成するといえ、サブ映像フレーム２６０も、基本階層２５０に相応する時間的階層のうちの一つを構成するといえる。
【００６２】
すなわち、図示されたところによれば、拡張階層２２０は、５個の時間的階層（temporal  layer）を具備し、基本階層２５０は、４個の時間的階層を具備する。
【００６３】
以下、説明の便宜上、参照番号２３２、２３４、２３６及び２３８それぞれは、第１時間的階層、第２時間的階層、第３時間的階層及び第４時間的階層と命名し、参照番号２６２、２６４及び２６６それぞれは、第１時間的階層、第２時間的階層及び第３時間的階層と命名する。
【００６４】
（上位第２フレーム、下位第２フレーム）は、（映像フレーム２３０、第１時間的階層２３２に属するフレーム）でもあり、（第１時間的階層２３２に属するフレーム、第２時間的階層２３４に属するフレーム）でもあり、（第２時間的階層２３４に属するフレーム、第３時間的階層２３６に属するフレーム）でもあり、（第３時間的階層２３６に属するフレーム、第４時間的階層２３８に属するフレーム）でもありうる。
【００６５】
同様に、（第２時間的階層２６４に属するフレーム、第３時間的階層２６６に属するフレーム）は、（上位第１フレーム、下位第１フレーム）の一例になりうる。
【００６６】
図示されたように、
【００６７】
【数１】
2008516516.tif 000003
は「予測されたフレーム」を意味し、
【００６８】
【数２】
2008516516.tif 000004
は「更新されたフレーム」を意味する。このとき、「予測されたフレーム」と「更新されたフレーム」は、いずれも１つの時間的階層を構成する。右上添字（Ｂ，Ｄ）は、第ｎ時間的階層（拡張階層２２０の場合、１≦ｎ≦４である整数、基本階層２５０の場合、１≦ｎ≦３である整数）を意味し、右下添字（Ａ，Ｃ）は、フレームごとに順次に付けられた番号を意味する。すなわち、添字Ａは、経時的に増加する。
【００６９】
前述のように、時間的階層の生成は、予測及び更新の過程を介して行われる。図２を参照して説明すれば、時間的階層生成部１２０は、映像フレーム２３０を利用してフレーム（Ａ＝０〜７、Ｂ＝１）を予測し、その予測されたフレームを利用して映像フレーム２３０を更新する。その「更新されたフレーム（Ｃ＝０〜７、Ｄ＝１）」及びその「予測されたフレーム（Ａ＝０〜７、Ｂ＝１）」の生成により、第１時間的階層２３２が生成される。このとき、上位第２フレームは、映像フレーム２３０であり、下位第２フレームは、第１時間的階層２３２に属したフレームである。図示されたように、予測は双方向予測であり、かような予測及び更新は、前述の「５／３  ＭＣＴＦ構造」による時間的階層生成の方策と同一である。
【００７０】
同様に、時間的階層生成部１２０は、第２時間的階層２３４に属したフレームを利用してフレーム（Ａ＝０〜１、Ｂ＝３）を予測し、その予測されたフレームを利用して第２時間的階層２３４に属したフレームを更新できる。その「更新されたフレーム（Ｃ＝０〜１、Ｄ＝３）」及びその「予測されたフレーム（Ａ＝０〜１、Ｂ＝３）」の生成により、第３時間的階層２３６が生成される。このとき、上位第２フレームは、第２時間的階層２３４に属したフレームであり、下位第２フレームは、第３時間的階層２３６に属したフレームである。図示されたように、予測は双方向予測であり、かような予測及び更新も、前述の「５／３  ＭＣＴＦ構造」による時間的階層生成の方策と同一である。
【００７１】
一方、時間的階層生成部１２０は、第３時間的階層２３６に属したフレームを利用してフレーム（Ａ＝０、Ｂ＝４）を予測し、その予測されたフレームを利用して第３時間的階層２３６に属したフレームを更新できる。その「更新されたフレーム（Ｃ＝０、Ｄ＝４）」及びその「予測されたフレーム（Ａ＝０、Ｂ＝４）」の生成により、第４時間的階層２３８が生成される。このとき、上位第２フレームは、第３時間的階層２３６に属したフレームであり、下位第２フレームは、第４時間的階層２３８に属したフレームである。図示されたように、予測は順方向予測であり、逆方向予測は制限される。すなわち、時間的階層生成部１２０は、フレーム２７０及び２７４を利用してフレーム２８０を予測できない。換言すれば、フレーム２８０の予測時に、フレーム２７４は、基準フレーム（reference  frame）として利用されえない。かような予測及び更新は、前述の「適応的５／３ ＭＣＴＦ構造」による時間的階層生成の方策と同一である。
【００７２】
結果的に、図示されたように、予測は、一部逆方向予測が制限された双方向予測である。
【００７３】
本発明による動き補償された階層生成装置は、この場合、フレーム２８０の予測のために、フレーム２７４の代わりに、「符号化されたフレームの２７６」を利用できる。もし、逆方向予測が許容され、フレーム２８０の予測時にフレーム２７４の利用が可能な場合でも、本発明によればフレーム２８０の予測時「フレーム２７４」と共に「符号化されたフレームの２８６」も利用できる。
【００７４】
すなわち、時間的階層生成部１２０は、フレーム２８０の予測時に、「すでに符号化された第１フレーム」のうち、その「フレーム２８０の予測時に利用しようとする第２フレームのフレーム２７０及び２７４」の時刻に該当する「符号化された第１フレーム」を、「フレーム２７０及び２７４」と共に利用してフレーム２８０を予測できる。
【００７５】
特に、フレーム２７４を利用したフレーム２８０の予測の逆方向予測が制限される場合には、時間的階層生成部１２０は、フレーム２８０の予測時に、「すでに符号化された第１フレーム」のうち、その「フレーム２８０の予測時に利用しようとする第２フレームのうち、１つであるフレーム２７４」の時刻に該当する「符号化された第１フレームのフレーム２７６」を、「フレーム２７０」と共に利用してフレーム２８０を予測できる。
【００７６】
このとき、時間的階層生成部１２０は、その「フレーム２８０の予測時に利用しようとする第２フレームのうち、１つであるフレーム２７０」の時刻に該当する「符号化された第１フレームのフレーム２７９」を、「フレーム２７６」及び「フレーム２７０」と共に利用してフレーム２８０を予測することもある。
【００７７】
図示されたように、「フレーム２７４」の時刻に該当する「符号化された第１フレーム」は、符号化された基本階層２５０に全てで３つ（２９０、２９１、２７６）存在し、このうち、「フレーム２８０の予測」時に利用可能なフレームは、フレーム２７６だけである。
【００７８】
一方、フレーム２８０の解像度と符号化されたフレーム２７６の解像度と同じでないならば、時間的階層生成部１２０は、その符号化されたフレーム２７６を再サンプリング（re-sampling）し、フレーム２８０の解像度と符号化されたフレーム２７６の解像度とを一致させることができる。
【００７９】
サブ映像フレーム２６０は、映像フレーム２３０がサブサンプリングされた結果であり、図示されたように、映像フレーム２３０は、共通中間形式（ＣＩＦ）の３０Ｈｚを有する映像フレームであり、サブ映像フレーム２６０は、クォータ共通中間形式（ＱＣＩＦ）の１５Ｈｚを有する映像フレームを表す。
【００８０】
すなわち、符号化されたフレーム２７６の解像度は、フレーム２８０の解像度の半分であるから、時間的階層生成部１２０の再サンプリング部１２８は、符号化されたフレーム２７６をアップサンプリング（up-sampling）し、予測部１２２は、その「アップサンプリングされたフレーム２７８」及び「フレーム２７０」を利用してフレーム２８０を予測できる。
【００８１】
図３は、本発明による動き補償された階層生成方法を説明するための一実施形態のフローチャートであり、動き補償されたフレームを空間的階層化する段階（第３１０段階）、基本階層を時間的階層化して符号化する段階（第３２０〜３３０段階）、及び拡張階層を符号化された基本階層に属したフレームを利用して時間的階層化して符号化する段階（第３４０〜３５０段階）からなる。
【００８２】
空間的階層生成部１１０は、経時的に順次に付与される複数の動き補償された映像フレームに対して空間的階層化を行い、基本階層及び拡張階層を生成する（第３１０段階）。
【００８３】
一方、時間的階層生成部１２０は、基本階層に対して時間的階層化を行い、基本階層に相応する複数の時間的階層を生成し（第３２０段階）、エンコーディング部１３０は、その基本階層に相応する複数の時間的階層に含まれた全てのフレーム、すなわち、全ての第１フレームをエントロピ符号化する（第３３０段階）。
【００８４】
第３３０段階後に、時間的階層生成部１２０は、拡張階層に対して時間的階層化を実行する。さらに具体的に、時間的階層生成部１２０は、符号化された基本階層のフレーム、すなわち、符号化された第１フレームを利用して拡張階層に対して時間的階層化を実行する（第３４０段階）。
【００８５】
エンコーディング部１３０は、その拡張階層に相応する複数の時間的階層に含まれた全てのフレーム、すなわち、全ての第２フレームをエントロピ符号化する（第３５０段階）。
【００８６】
図４は、図３に図示された第３４０段階に係る本発明による望ましい一実施形態を説明するためのフローチャートであり、拡張階層の時間的階層化を符号化された基本階層に属したフレームを利用して実行する段階（第４１０〜４３０段階）からなる。
【００８７】
採択部１２６は、下位第２フレームの予測時に利用しようとする上位第２フレームの時刻に該当して符号化された第１フレームを採択し（第４１０段階）、再サンプリング部１２８は、その採択された第１フレームを再サンプリングし、その採択された第１フレームの解像度を第２フレームの解像度と一致させる（第４２０段階）。
【００８８】
第４２０段階後に、予測部１２２は、上位第２フレーム及びそのアップサンプリングされた第１フレームのうち少なくとも一つを利用して下位第２フレームを予測することにより、拡張階層を時間的符号化する（第４３０段階）。
【００８９】
本発明はまた、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムにより読み取り可能なデータが保存される全種の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、またキャリアウェーブ（例えば、インターネットを介した伝送）の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行されうる。そして、本発明を具現するための機能的な（functional）プログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマーにより容易に推論されうる。
【００９０】
以上で説明したところは、本発明による動き補償された階層生成装置及び方法を実施するための１つの実施形態に過ぎず、本発明は、前記の実施形態に限定されずに、特許請求の範囲で請求する本発明の要旨を外れずに当発明の属する分野で当業者ならば、だれでも多様な変更実施が可能であるであろう。
【図面の簡単な説明】
【００９１】
【図１】本発明による動き補償された階層生成装置を説明するための一実施形態のブロック図である。
【図２】本発明による動き補償された階層生成装置を説明するための参考図である。
【図３】本発明による動き補償された階層生成方法を説明するための一実施形態のフローチャートである。
【図４】図３に図示された第３４０段階に係る本発明による望ましい一実施形態を説明するためのフローチャートである。
【図１】
2008516516.tif 000005
【図２】
2008516516.tif 000006
【図３】
2008516516.tif 000007
【図４】
2008516516.tif 000008
【国際調査報告】
2008516516.tif 000009
2008516516.tif 000010