(57)【要約】    本発明は、スケーラブルビデオエンコーディングのうち、時間的フィルタリング過程においてスケーラビリティを実現する方法および装置に関するものである。  本発明に係るスケーラブルビデオエンコーディング装置は、フレームの時間的フィルタリングの順序を決定し、どのフレームまで時間的フィルタリングを行うかに関する基準となる所定の制限時間条件を決定するモード選択部と、前記モード選択部で決定された時間的フィルタリングの順序により、前記制限時間条件を満足するフレームに対して動き補償をして時間的フィルタリングを行う時間的フィルタリング部からなる。  本発明によれば、本エンコーダ側におけるスケーラビリティを実現することによって、画像会議のようにリアルタイムの両方向ストリーミングを支援するアプリケーションの安定した動作を保障することができる。
2007520149.tif 000002
【特許請求の範囲】
【請求項１】
フレームの時間的フィルタリングの順序を決定し、どのフレームまで時間的フィルタリングを行うかに関する基準となる所定の制限時間条件を決定するモード選択部と、
前記モード選択部で決定された時間的フィルタリングの順序により、前記制限時間条件を満足するフレームに対して動き補償をして時間的フィルタリングを行う時間的フィルタリング部とを含むことを特徴とするスケーラブルビデオエンコーディング装置。
【請求項２】
前記所定の制限時間条件は、
円滑なリアルタイムストリーミングが可能なように決定することを特徴とする請求項１に記載のスケーラブルビデオエンコーディング装置。
【請求項３】
前記時間的フィルタリングの順序は、
高い時間レベルにあるフレームから低い時間レベルにあるフレーム順であることを特徴とする請求項１に記載のスケーラブルビデオエンコーディング装置。
【請求項４】
前記動き補償をするために前記時間的フィルタリングを行うフレームとこれに対応する参照フレームとの動きベクトルを求め、前記参照フレーム番号および動きベクトルを前記時間的フィルタリング部に伝達する動き推定部をさらに含むことを特徴とする請求項１に記載のスケーラブルビデオエンコーディング装置。
【請求項５】
前記時間的フィルタリングされたフレームに対して空間的重複を除去して変換係数を生成する空間的変換部と、
前記変換係数を量子化する量子化部とをさらに含むことを特徴とする請求項１に記載のスケーラブルビデオエンコーディング装置。
【請求項６】
前記量子化された変換係数、動き推定部から得た動きベクトル、モード選択部から伝達された時間的フィルタリングの順序、および、前記制限時間条件を満足するフレームのうち、時間的フィルタリングの順序における最終フレーム番号を含むビットストリームを生成するビットストリーム生成部をさらに含むことを特徴とする請求項５に記載のスケーラブルビデオエンコーディング装置。
【請求項７】
前記時間的フィルタリングの順序は、ビットストリーム内の各々のＧＯＰごとに存在するＧＯＰヘッダに記録することを特徴とする請求項６に記載のスケーラブルビデオエンコーディング装置。
【請求項８】
前記最終フレーム番号は、
ビットストリーム内の各々のフレームごとに存在するフレームヘッダに記録することを特徴とする請求項６に記載のスケーラブルビデオエンコーディング装置。
【請求項９】
前記量子化された変換係数、動き推定部から得た動きベクトル、モード選択部から伝達された時間的フィルタリングの順序、および、前記制限時間条件を満足するフレームが形成する時間レベルに関する情報を含むビットストリームを生成するビットストリーム生成部をさらに含むことを特徴とする請求項５に記載のスケーラブルビデオエンコーディング装置。
【請求項１０】
前記時間レベルに関する情報は、
ビットストリーム内の各々のＧＯＰごとに存在するＧＯＰヘッダに記録することを特徴とする請求項６に記載のスケーラブルビデオエンコーディング装置。
【請求項１１】
入力されたビットストリームを解釈してエンコーディングされたフレーム情報、動きベクトル、前記フレームに対する時間的フィルタリングの順序、および、逆時間的フィルタリングを行うフレームの時間レベルを知らせる情報を抽出するビットストリーム解釈部と、
前記動きベクトル、時間的フィルタリングの順序情報を用いて前記エンコーディングされたフレームのうち、前記時間レベルに該当するフレームを逆時間的フィルタリングしてビデオシーケンスを復元する逆時間的フィルタリング部とを含むことを特徴とするスケーラブルビデオデコーディング装置。
【請求項１２】
入力されたビットストリームを解釈してエンコーディングされたフレーム情報、動きベクトル、前記フレームに対する時間的フィルタリングの順序、および、逆時間的フィルタリングを行うフレームの時間レベルを知らせる情報を抽出するビットストリーム解釈部と、
前記エンコーディングされたフレーム情報を逆量子化して変換係数を生成する逆量子化部と、
前記生成された変換係数を逆空間的変換して時間的フィルタリングされたフレームを生成する逆空間的変換部と、
前記動きベクトル、時間的フィルタリングの順序情報を用いて前記時間的フィルタリングされたフレームのうち、前記時間レベルに該当するフレームを逆時間的フィルタリングしてビデオシーケンスを復元する逆時間的フィルタリング部とを含むことを特徴とするスケーラブルビデオデコーディング装置。
【請求項１３】
前記時間レベルを知らせる情報は、
前記エンコーディングされたフレームのうち、時間的フィルタリングの順序における最終フレームの番号であることを特徴とする請求項１１に記載のスケーラブルビデオデコーディング装置。
【請求項１４】
前記時間レベルを知らせる情報は、
前記ビットストリームのエンコーディング時に決定した時間レベルであることを特徴とする請求項１１に記載のスケーラブルビデオデコーディング装置。
【請求項１５】
前記最終フレーム番号は、
前記ビットストリーム内の各々のフレームごとに存在するフレームヘッダに記録されたことを特徴とする請求項１３に記載のスケーラブルビデオデコーディング装置。
【請求項１６】
前記エンコーディング時に決定した時間レベルは、
ビットストリーム内の各々のＧＯＰごとに存在するＧＯＰヘッダに記録することを特徴とする請求項１４に記載のスケーラブルビデオデコーディング装置。
【請求項１７】
フレームの時間的フィルタリングの順序を決定し、どのフレームまで時間的フィルタリングを行うかに関する基準となる所定の制限時間条件を決定するステップと、
前記決定された時間的フィルタリングの順序により、前記制限時間条件を満足するフレームに対して動き補償をして時間的フィルタリングを行うステップとを含むことを特徴とするスケーラブルビデオエンコーディング方法。
【請求項１８】
前記所定の制限時間条件は、
円滑なリアルタイムストリーミングが可能なように決定することを特徴とする請求項１７に記載のスケーラブルビデオエンコーディング方法。
【請求項１９】
前記時間的フィルタリングの順序は、
高い時間レベルにあるフレームから低い時間レベルにあるフレーム順であることを特徴とする請求項１７に記載のスケーラブルビデオエンコーディング方法。
【請求項２０】
前記動き補償をするために前記時間的フィルタリングを行うフレームとこれに対応する参照フレームとの動きベクトルを求めるステップをさらに含むことを特徴とする請求項１７に記載のスケーラブルビデオエンコーディング方法。
【請求項２１】
入力されたビットストリームを解釈してエンコーディングされたフレーム情報、動きベクトル、前記フレームに対する時間的フィルタリングの順序、および、逆時間的フィルタリングを行うフレームの時間レベルを知らせる情報を抽出するステップと、
前記動きベクトル、時間的フィルタリングの順序情報を用いて前記エンコーディングされたフレームのうち、前記時間レベルに該当するフレームを逆時間的フィルタリングしてビデオシーケンスを復元するステップとを含むことを特徴とするスケーラブルビデオデコーディング方法。
【請求項２２】
前記時間レベルを知らせる情報は、
前記エンコーディングされたフレームのうち、時間的フィルタリングの順序における最終フレームの番号であることを特徴とする請求項２１に記載のスケーラブルビデオデコーディング方法。
【請求項２３】
前記時間レベルを知らせる情報は、
前記ビットストリームのエンコーディング時に決定した時間レベルであることを特徴とする請求項２１に記載のスケーラブルビデオデコーディング方法。
【請求項２４】
請求項１７に記載の方法をコンピュータで読取可能なプログラムによって記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ圧縮に関し、より詳しくはスケーラブルビデオエンコーディングのうち、時間的フィルタリング過程においてスケーラビリティを実現する装置および方法に関するものである。
【背景技術】
【０００２】
インターネットを含む情報通信技術が発達するにつれて文字、音声だけでなく画像通信が増加している。既存の文字中心の通信方式では、消費者の多様な欲求を充足させることができず、これに応じて文字、映像、音楽など多様な形態の情報を受容できるマルチメディアサービスが増加している。マルチメディアデータはその量が膨大で大容量の格納媒体を必要とし、伝送時に広い帯域幅を必要とする。例えば、６４０＊４８０の解像度を有する２４ビットトゥルーカラーのイメージは、一フレーム当たり６４０＊４８０＊２４ビットの容量、言い換えれば、約７．３７メガビットのデータが必要である。これを１秒当たり３０フレームで伝送する場合には、２２１メガビット／秒の帯域幅を必要とし、９０分間上映される映画を格納しようとすれば、約１２００ギガビットの格納空間を必要とする。したがって、文字、映像、オーディオを含むマルチメディアデータを伝送するためには圧縮コーディング技法を用いることが必須である。
【０００３】
データを圧縮する基本的な原理は、データの重複をなくす過程である。イメージにおける同一の色やオブジェクトが反復されるような空間的重複や、動画フレームにおける隣接のフレームがほぼ変化がない場合やオーディオにおける同じ音が継続して反復するような時間的重複、または人間の視覚および知覚能力が高い周波数に鈍感なことを考慮した心理視覚重複をなくすことによってデータを圧縮することができる。データ圧縮の種類はソースデータの損失有無と、各々のフレームに対して独立して圧縮するか否かと、圧縮と復元に必要な時間が同一であるか否かにより、各々損失／無損失圧縮、フレーム内／フレーム間圧縮、対称／非対称圧縮に分けることができる。この他にも圧縮復元遅延時間が５０ｍｓを越えない場合にはリアルタイム圧縮に分類し、フレームの解像度が多様な場合はスケーラブル圧縮に分類する。文字データや医学用データなどの場合には無損失圧縮が用いられ、マルチメディアデータの場合には主に損失圧縮が用いられる。一方、空間的重複を除去するためにはフレーム内の圧縮が用いられ、時間的重複を除去するためにはフレーム間圧縮が用いられる。
【０００４】
マルチメディアを伝送するための伝送媒体は、媒体別にその性能が異なる。現在用いられている伝送媒体は、１秒当たり数十メガビットのデータを伝送できる超高速通信網から、１秒当たり３８４キロビットの伝送速度を有する移動通信網などのような多様な伝送速度を有する。ＭＰＥＧ−１、ＭＰＥＧ−２、Ｈ．２６３またはＨ．２６４のような従来のビデオコーディングは、動き補償予測コーディング法に基づいて、時間的重複は動き補償によって除去し、空間的重複は変換コーディングによって除去する。このような方法は良い圧縮率を有するが、主アルゴリズムにおいて再帰的接近法を用いており、トゥルースケーラブルビットストリームのための柔軟性を有することができない。これによって、最近ではウェーブレット基盤のスケーラブルビデオコーディングに対する研究が活発である。スケーラブルビデオコーディングは、スケーラビリティを有するビデオコーディングを意味する。スケーラビリティとは、圧縮された１つのビットストリームから部分デコーディング、すなわち、多様なビデオを再生できる特性を意味する。
【０００５】
前記スケーラビリティとは、ビデオの解像度を調節できる性質を意味する空間的スケーラビリティと、ビデオの画質を調節できる性質を意味するＳＮＲ（信号対雑音比）スケーラビリティと、フレームレートを調節できる時間的スケーラビリティと、これら各々を組み合わせたことを含む概念である。
【０００６】
図１は、従来のスケーラブルビデオエンコーダの構造を示すブロック図である。
【０００７】
先ず、入力ビデオシーケンスをエンコーディングの基本単位であるＧＯＰ（グループオブピクチャ）で分け、各ＧＯＰ別にエンコーディング作業を行う。動き推定部１は、バッファ（図示せず）に格納された前記ＧＯＰのうち１つのフレームを参照フレームとして、前記ＧＯＰの現在フレームに対する動き推定を行って動きベクトルを生成する。
【０００８】
時間的フィルタリング部２は、前記生成された動きベクトルを用いてフレーム間の時間的重複性を除去することによって、時間的差分イメージ、すなわち時間的フィルタリングされたフレームを生成する。
【０００９】
空間的変換部３は、前記時間的差分イメージをウェーブレット変換して、変換係数、すなわちウェーブレット係数を生成する。
【００１０】
量子化部４は、前記生成されたウェーブレット係数を量子化する。そして、ビットストリーム生成部５は、前記量子化された変換係数および動き推定部１から生成された動きベクトルを符号化してビットストリームを生成する。
【００１１】
前記時間的フィルタリング部２によって行われる時間的フィルタリング方法のうち、Ｏｈｍによって提案され、ＣｈｏｉおよびＷｏｏｄによって改善された動き補償時間的フィルタリング（Ｍｏｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｅｄ  Ｔｅｍｐｏｒａｌ  Ｆｉｌｔｅｒｉｎｇ；以下、ＭＣＴＦという）は、時間的重複性を除去し、時間的に柔軟なスケーラブルビデオコーディングのための核心技術である。ＭＣＴＦでは、ＧＯＰ単位でコーディング作業を行うが、現在フレームと基準フレームの対は動き方向に時間的フィルタリングされる。これについては図２を参照して説明する。
【００１２】
図２は、ＭＣＴＦ方式のスケーラブルビデオコーディングおよびデコーディング過程における時間的分解過程の流れを示す図面である。
【００１３】
図２でＬフレームは低周波あるいは平均フレームを意味し、Ｈフレームは高周波あるいは差異フレームを意味する。図に示すように、コーディングは低い時間レベルにあるフレーム対を、先ず時間的フィルタリングをし、低いレベルのフレームを高いレベルのＬフレームとＨフレームに切り替え、切り替えられたＬフレーム対は再び時間的フィルタリングしてさらに高い時間レベルのフレームに切り替えられる。
【００１４】
エンコーダは、最も高いレベルの１つのＬフレームと複数のＨフレームを用いてウェーブレット変換を経てビットストリームを生成する。図面において濃色で表示されたフレームはウェーブレット変換の対象になるフレームを意味する。整理すれば、コーディングする限定された時間レベルの順序は低いレベルのフレームから高いレベルのフレームを演算する。
【００１５】
デコーダは、ウェーブレット逆変換を経た後に得られた濃色のフレームを高いレベルから低いレベルのフレームの順で演算してフレームを復元する。すなわち、時間レベル３のＬフレームとＨフレームとを用いて、時間レベル２のＬフレーム２個を復元し、時間レベルのＬフレーム２個とＨフレーム２個を用いて時間レベル１のＬフレーム４個を復元する。最終的に、時間レベル１のＬフレーム４個とＨフレーム４個とを用いてフレーム８個を復元する。
【００１６】
本来のＭＣＴＦ方式のビデオコーディングは柔軟な時間的スケーラビリティを有するが、単方向動き推定と低い時間的レートにおける悪い性能などのいくつかの短所を有していた。これに対する改善方法に対する多くの研究が成されたが、その１つがＴｕｒａｇａとＭｉｈａｅｌａによって提案された非拘束ＭＣＴＦ（Ｕｎｃｏｎｓｔｒａｉｎｅｄ  ＭＣＴＦ；以下、ＵＭＣＴＦという）である。これについては図３を参照して説明する。  
図３は、ＵＭＣＴＦ方式のスケーラブルビデオコーディングおよびデコーディング過程における時間的分解過程の流れを示す図面である。
【００１７】
ＵＭＣＴＦは、複数の参照フレームと両方向フィルタリングを用いることができるようにして、より一般的なフレーム作業ができるようにする。また、ＵＭＣＴＦ構造では、フィルタリングされないフレーム（Ａフレーム）を適切に挿入して、非二分的時間的フィルタリングをすることもできる。フィルタリングされたＬフレームの代りにＡフレームを用いることによって、低い時間レベルで視覚的な画質が非常に改善される。なぜならＬフレームの視覚的な画質は、不正確な動き推定のために時々相当な性能低下が現れたりもするためである。多くの実験結果によれば、フレームアップデート過程を省略したＵＭＣＴＦが本来のＭＣＴＦよりさらに良い性能を示すこともある。
【００１８】
画像会議のような多くのビデオアプリケーションは、エンコーダ部においてリアルタイムで映像データをエンコーディングし、所定の通信媒体を介してエンコーディングしたデータを受信したデコーダ部で前記エンコーディングされた映像データを復元する形態でなされる。
【００１９】
しかし、決定したフレームレートでエンコーディングすることが難くなる状況が発生すれば、エンコーダ部で遅延が生じてリアルタイムで映像データを円滑に伝送できなくなる問題が発生する。前記のような状況は、エンコーダのプロセシング能力が足りないか、機器自体のプロセシング能力はあるが現在システムリソースが不足して発生する事もあり、入力される映像データの解像度が高まったりフレーム当たりビット数が大きくなったりする場合に発生することもある。
【００２０】
したがって、エンコーダで発生し得る可変的な状況を考慮して、実際入力する映像データは１つのＧＯＰ当たりＮ個のフレームからなっているとしても、実際エンコーディングを行ってエンコーダの能力が前記Ｎ個のフレームをリアルタイムでエンコーディングするに不足した場合には、各々エンコーディングされたフレームをエンコーディングされるごとに伝送して、与えられた制限時間が満了すれば、エンコーディングを中断する必要がある。
【００２１】
そして、このようにすべてのフレームを処理できずに中断したとしても、その時まで処理されたフレームを伝送されたデコーダで可能な時間レベルまでデコーディングすることによって、フレームレートを減少はさせるが、リアルタイムで映像データを復元することができるようにする必要がある。
【００２２】
しかし、上述したＭＣＴＦとＵＭＣＴＦの何れも、最も低い時間レベルからフレームを分析してエンコーディングされたフレームからデコーダ部に伝送し、デコーダ部では最も高い時間レベルから始めてフレームを復元するため、エンコーダ部からＧＯＰ内のすべてのフレームを伝送する前まではデコーディングを行うことができない。したがって、エンコーダ部から一部のフレームが伝送されてデコーディングできる可能な時間レベルは存在しない。すなわち、エンコーダ部におけるスケーラビリティが支援されない。
【００２３】
このようなエンコーダ側の時間的スケーラビリティは、両方向ビデオストリーミングアプリケーションに非常に有益な機能である。すなわち、エンコーディング過程において、演算能力が足りない場合には現在時間レベルで演算を中止して直ちにビットストリームを送ることができるようになる。しかし、従来の方式はこのような機能を提供することができなかった。
【発明の開示】
【発明が解決しようとする課題】
【００２４】
本発明は前記問題点を考慮して創案されたものであり、エンコーダ側におけるスケーラビリティを提供することを目的とする。
【００２５】
また、本発明はビットストリームのヘッダを用いて、エンコーダ側で制限時間内にエンコーディングされた一部フレームに関する情報をデコーダ側に提供することを目的とする。
【００２６】
前記目的を達成するために、本発明に係るスケーラブルビデオエンコーディング装置は、フレームの時間的フィルタリングの順序を決定し、どのフレームまで時間的フィルタリングを行うかに関する基準となる所定の制限時間条件を決定するモード選択部と、前記モード選択部で決定された時間的フィルタリングの順序により、前記制限時間条件を満足するフレームに対して動き補償をして時間的フィルタリングを行う時間的フィルタリング部とを含むことを特徴とする。
【００２７】
前記所定の制限時間条件は、円滑なリアルタイムストリーミングが可能なように決定することが好ましい。
【００２８】
前記時間的フィルタリングの順序は、高い時間レベルにあるフレームから低い時間レベルにあるフレーム順であることが好ましい。
【００２９】
前記スケーラブルビデオエンコーディング装置は、前記動き補償をするために前記時間的フィルタリングを行うフレームとこれに対応する参照フレームとの動きベクトルを求め、前記参照フレーム番号および動きベクトルを前記時間的フィルタリング部に伝達する動き推定部をさらに含むことが好ましい。
【００３０】
前記スケーラブルビデオエンコーディング装置は、前記時間的フィルタリングされたフレームに対して空間的重複を除去して変換係数を生成する空間的変換部と、前記変換係数を量子化する量子化部とをさらに含むことが好ましい。
【００３１】
前記スケーラブルビデオエンコーディング装置は、前記量子化された変換係数、動き推定部から得た動きベクトル、モード選択部から伝達された時間的フィルタリングの順序、および、前記制限時間条件を満足するフレームのうち、時間的フィルタリングの順序における最終フレーム番号を含むビットストリームを生成するビットストリーム生成部をさらに含むことが好ましい。
【００３２】
前記時間的フィルタリングの順序は、ビットストリーム内の各々のＧＯＰごとに存在するＧＯＰヘッダに記録することが好ましい。
【００３３】
前記最終フレーム番号は、ビットストリーム内の各々のフレームごとに存在するフレームヘッダに記録することが好ましい。
【００３４】
前記スケーラブルビデオエンコーディング装置は、前記量子化された変換係数、動き推定部から得た動きベクトル、モード選択部から伝達された時間的フィルタリングの順序、および、前記制限時間条件を満足するフレームが形成する時間レベルに関する情報を含むビットストリームを生成するビットストリーム生成部をさらに含むことが好ましい。
【００３５】
前記時間レベルに関する情報は、ビットストリーム内の各々のＧＯＰごとに存在するＧＯＰヘッダに記録することが好ましい。
【００３６】
前記目的を達成するために、本発明に係るスケーラブルビデオデコーディング装置は、入力されたビットストリームを解釈してエンコーディングされたフレーム情報、動きベクトル、前記フレームに対する時間的フィルタリングの順序、および、逆時間的フィルタリングを行うフレームの時間レベルを知らせる情報を抽出するビットストリーム解釈部と、前記動きベクトル、時間的フィルタリングの順序情報を用いて前記エンコーディングされたフレームのうち、前記時間レベルに該当するフレームを逆時間的フィルタリングしてビデオシーケンスを復元する逆時間的フィルタリング部とを含むことを特徴とする。
【００３７】
前記目的を達成するために、本発明に係るスケーラブルビデオデコーディング装置は、入力されたビットストリームを解釈してエンコーディングされたフレーム情報、動きベクトル、前記フレームに対する時間的フィルタリングの順序、および、逆時間的フィルタリングを行うフレームの時間レベルを知らせる情報を抽出するビットストリーム解釈部と、前記エンコーディングされたフレーム情報を逆量子化して変換係数を生成する逆量子化部と、前記生成された変換係数を逆空間的変換して時間的フィルタリングされたフレームを生成する逆空間的変換部と、前記動きベクトル、時間的フィルタリングの順序情報を用いて前記時間的フィルタリングされたフレームのうち、前記時間レベルに該当するフレームを逆時間的フィルタリングしてビデオシーケンスを復元する逆時間的フィルタリング部とを含むことを特徴とする。
【００３８】
前記時間レベルを知らせる情報は、前記エンコーディングされたフレームのうち、時間的フィルタリングの順序における最終フレームの番号であることが好ましい。
【００３９】
前記時間レベルを知らせる情報は、前記ビットストリームのエンコーディング時に決定した時間レベルであることが好ましい。
【００４０】
前記目的を達成するために、本発明に係るスケーラブルビデオエンコーディング方法は、フレームの時間的フィルタリングの順序を決定し、どのフレームまで時間的フィルタリングを行うかに関する基準となる所定の制限時間条件を決定するステップと、前記決定された時間的フィルタリングの順序により、前記制限時間条件を満足するフレームに対して動き補償をして時間的フィルタリングを行うステップとを含むことを特徴とする。
【００４１】
前記スケーラブルビデオエンコーディング方法は、前記動き補償をするために前記時間的フィルタリングを行うフレームとこれに対応する参照フレームとの間の動きベクトルを求めるステップをさらに含むことが好ましい。
【００４２】
前記目的を達成するために、本発明に係るスケーラブルビデオデコーディング方法は、入力されたビットストリームを解釈してエンコーディングされたフレーム情報、動きベクトル、前記フレームに対する時間的フィルタリングの順序、および、逆時間的フィルタリングを行うフレームの時間レベルを知らせる情報を抽出するステップと、前記動きベクトル、時間的フィルタリングの順序情報を用いて前記エンコーディングされたフレームのうち、前記時間レベルに該当するフレームを逆時間的フィルタリングしてビデオシーケンスを復元するステップとを含むことを特徴とする。
【発明の効果】
【００４３】
本発明によれば、エンコーダ側でのスケーラビリティを実現することによって、画像会議のようにリアルタイム両方向ストリーミングを支援するアプリケーションの安定した動作を保障することができる。
【００４４】
また、本発明によれば、デコーダ側ではエンコーダからあるフレームまでエンコーディングされたかに関する情報が伝達されることによって、あるＧＯＰ内のすべてのフレームを受信するまで待機する必要がなくなる。
【発明を実施するための最良の形態】
【００４５】
以下、添付した図面を参照して、本発明の好ましい実施形態を詳細に説明する。本発明の利点および特徴、そしてそれらを達成する方法は添付する図面と共に詳細に後述されている実施形態を参照すれば明確になる。しかし、本発明は以下で開示する実施形態に限定されるものではなく、互いに異なる多様な形態で実現され、単に本実施形態は本発明の開示が完全なものとなるようにし、本発明が属する技術分野で通常の知識を有する者に発明の範疇を完全に知らせるために提供されているものであって、本発明は請求項の範疇によって定義されるだけである。明細書全体に亘り、同一参照符号は同一構成要素を示す。
【００４６】
本発明で提示するエンコーダ部における時間的スケーラビリティを実現するためには、従来のＭＣＴＦやＵＭＣＴＦのように、低い時間レベルから高い時間レベルにエンコーディングを行った後、高い時間レベルから低い時間レベルにデコーディングを行うこと、すなわちエンコーダとデコーダとの間に方向性が一致しない方法では不可能である。
【００４７】
したがって、本発明では、高い時間レベルから低い時間レベルにエンコーディングを行って、同じ順序でデコーディングを行う方法を提案し、これを介して時間的スケーラビリティを実現することができる方法を講じることにする。ＭＣＴＦやＵＭＣＴＦと区別される本発明に係る時間的フィルタリング方法をＳＴＡＲ（Ｓｕｃｃｅｓｓｉｖｅ  Ｔｅｍｐｏｒａｌ  Ａｐｐｒｏｘｉｍａｔｉｏｎ  ａｎｄ  Ｒｅｆｅｅｎｃｉｎｇ）アルゴリズムと定義する。
【００４８】
図４は、ＳＴＡＲアルゴリズムで可能なフレーム間の連結を示す図面である。
【００４９】
本実施形態でＧＯＰのサイズは８である場合に可能なフレーム間の連結を示している。あるフレームにおいて、自身から出発して自身に連結された矢印はイントラモードによって予測されたことを示す。同一の時間レベルにおいて、Ｈフレーム位置にあるものを含み、以前にコーディングされたフレームインデックスを有するすべての本来のフレームは参照フレームとして用いることができる。しかし、従来の方法（図２および図３参照）において、Ｈフレームの位置にある本来のフレームは同じレベルにあるフレームのうち、ＡフレームまたはＬフレームだけを参照することができるため、これもまた本実施形態と従来方法との異なる点といえる。
【００５０】
たとえ、多重参照フレームを用いる時は時間的フィルタリングのためのメモリ使容量を増加させてプロセシング遅延時間を増加させるが、多重参照フレームを用いることは意味がある。
【００５１】
上述したが、本実施形態を含む以下の説明において、あるＧＯＰ内で最も高い時間レベルを有するフレームは最も少ないフレームインデックスを有するフレームであると説明するが、これは例示的なものであって、最も高い時間レベルを有するフレームが異なるインデックスを有するフレームである場合も可能な点を留意しなければならない。
【００５２】
便宜上、あるフレームをコーディングするための参照フレームの数を両方向予測のための２個と限定して説明し、実験の結果で単方向予測のためには１個と限定する。
【００５３】
図５は、本発明の一実施形態に係るＳＴＡＲアルゴリズムの基本的概念を説明するための図面である。
【００５４】
ＳＴＡＲアルゴリズムの基本的な概念は次の通りである。各時間レベルのすべてのフレームはノードとして表現する。そして、参照関係は矢印で表示する。各時間レベルには必要なフレームのみ位置することができる。例えば、最も高い時間レベルでＧＯＰのフレームのうち、ただ１つのフレームだけが来ることができる。本実施形態では、Ｆ（０）フレームが最も高い時間レベルを有するようにする。次の時間レベルにおいて、時間的分析が継承的に行われ、すでにコーディングされたフレームインデックスを有する本来のフレームによって高周波成分を有するエラーフレームが予測される。ＧＯＰサイズが８である場合に０番のフレームを最も高い時間レベルでＩフレームにコーディングし、４番のフレームは次の時間レベルで０番のフレームの本来のフレームを用いてインターフレーム（Ｈフレーム）にコーディングする。それから、２番と６番のフレームを０番と４番の本来のフレームを用いてインターフレームにコーディングする。最後に、１、３、５、７フレームを０、２、４、６番のフレームを用いてインターフレームにコーディングする。
【００５５】
デコーディング過程は、０番のフレームを先ずデコーディングする。それから、０番を参照して４番のフレームをデコーディングする。同じ方式によって、０番と４番のフレームを参照して２番と６番のフレームをデコーディングする。最後に、１、３、５、７フレームを０、２、４、６番のフレームを用いてデコーディングする。
【００５６】
図５に示したように、エンコーディング側とデコーディング側は、何れも同一の時間的処理過程を有する。このような特性は、エンコーディング側に時間的スケーラビリティを提供することができる。すなわち、エンコーディング側ではある時間レベルで止めても、デコーディング側では該当時間レベルまでデコーディングすることができる。すなわち、時間レベルが高いフレームからコーディングをするため、エンコーディング側でも時間的スケーラビリティを達成することができるようになる。例えば、６番のフレームまでコーディングが終わった状態でコーディング過程を止めれば、デコーディング側はコーディングされた０番のフレームを参照して４番のフレームを復元し、０番および４番のフレームを参照して２番と６番のフレームを復元することができる。このような場合にデコーディング側では、０、２、４、６番のフレームをビデオで出力することができるようになる。エンコーディング側の時間的スケーラビリティを保持するためには最も時間レベルが高いフレーム（本実施形態ではＦ（０））は他のフレームとの演算を必要とするＬフレームではなく、Ｉフレームでコーディングしなければならない。
【００５７】
図５に示すように、本発明によればデコーダ側とエンコーダ側とで全て時間的スケーラビリティを支援することができる。しかし、従来のＭＣＴＦまたはＵＭＣＴＦ基盤のスケーラブルビデオコーディング方法は、エンコーダ側では時間的スケーラビリティを支援することができない。すなわち、図２と３を参照すれば、デコーダでデコーディング過程を行おうとすれば、時間レベル３のＬまたはＡフレームを有するべきであるが、ＭＣＴＦとＵＭＣＴＦアルゴリズムの場合には全てのエンコーディング過程が終わってこそ最も高い時間レベルのＬまたはＡフレームを得ることができる。ところが、デコーディング過程ではある時間レベルでデコーディング過程を止めることができる。
【００５８】
エンコーディング側とデコーディング側との全てで時間的スケーラビリティを保持するための条件に対して説明する。
【００５９】
Ｆ（ｋ）はフレームインデックスがｋであるフレームを意味し、Ｔ（ｋ）はフレームインデックスがｋであるフレームの時間レベルを意味するという。時間的スケーラビリティが成立しようとすれば、ある時間レベルのフレームをコーディングする時、それより低い時間レベルを有するフレームを参照してはいけない。例えば、４番のフレームが２番のフレームを参照してはいけないが、万一参照することが許されれば、０番および４番のフレームでエンコーディングを止めることができなくなる（すなわち、２番のフレームをコーディングしてのみ４番のフレームをコーディングできるようになる）。フレームＦ（ｋ）が参照することができる参照フレームの集合Ｒｋは一般式（１）によって決まる。
Ｒｋ＝｛Ｆ（ｌ）｜（Ｔ（ｌ）＞Ｔ（ｋ））ｏｒ（（Ｔ（ｌ）＝Ｔ（ｋ））ａｎｄ（ｌ＜＝ｋ））｝                                          （１）
ここで、ｌはフレームインデックスを意味する。
【００６０】
一方、（Ｔ（ｌ）＝Ｔ（ｋ））ａｎｄ（ｌ＜＝ｋ）が意味することは、フレームＦ（ｋ）は時間的フィルタリング過程で自身を参照して時間的フィルタリングをすること（イントラモード）を意味する。
【００６１】
ＳＴＡＲアルゴリズムを用いたエンコーディングとデコーディング過程を整理すれば次の通りである。
【００６２】
先ず、エンコーディング過程を見れば、第１に、ＧＯＰの最初のフレームをＩフレームにエンコーディングする。
【００６３】
第２に、それから次の時間レベルのフレームに対して、動き推定をして一般式（１）に応じる参照フレームを参照してコーディングする。同じ時間レベルを有する場合には左側から右側に（低いフレームインデックスのフレームから高いフレームインデックスのフレームの順に）コーディング過程を行う。
【００６４】
第３に、ＧＯＰの全てのフレームをコーディングし終わるまで第２の過程を行ってから、全てのフレームに対するコーディングが終るまでその次のＧＯＰをコーディングする。
【００６５】
次にデコーディング過程を見れば、第１に、ＧＯＰの最初のフレームをデコーディングする。
【００６６】
第２に、時間レベルのフレームをすでにデコーディングされたフレームのうち適当なフレームを参照してデコーディングする。同じ時間レベルを有する場合には左側から右側に（低いフレームインデックスのフレームから高いフレームインデックスのフレームの順に）デコーディング過程を行う。
【００６７】
第３に、ＧＯＰの全てのフレームをデコーディングし終わるまで第２の過程を行ってから、全てのフレームに対するデコーディングが終るまでその次のＧＯＰをデコーディングする。
【００６８】
図５で、フレームの内部に表示された文字Ｉは、フレームがイントラコーディングされたこと（他のフレームを参照しないこと）を表示し、文字Ｈは該当フレームが高周波サブバンドであることを表示する。高周波サブバンドは、１つまたはそれ以上のフレームを参照してコーディングされるフレームを意味する。
【００６９】
一方、図５でＧＯＰのサイズが８である場合に、フレームの時間レベルは（０）、（４）、（２、６）、（１、３、５、７）の順としたが、これは例示的なものであって、（１）、（５）、（３、７）、（０、２、４、６）の場合（この場合Ｉフレームはｆ（１）になる）もエンコーディング側とデコーディング側との時間的スケーラビリティには全く問題がない。同様に、時間レベルの順序が（２）、（６）、（０、４）、（１、３、５、７）の場合（この場合Ｉフレームはｆ（２）となる）も可能である。すなわち、エンコーディング側とデコーディング側との時間的スケーラビリティを満足させるように、時間レベルに位置するフレームはどんなインデックスをフレームとしても構わない。
【００７０】
ところが、０、５、（２、６）、（１、３、４、７）の時間レベルの順序を有するようにした場合に、エンコーディング側とデコーディング側との時間的スケーラビリティは満足することができるが、このような場合にはフレーム間の間隔が均一しないためそれほど好ましくはない。
【００７１】
図６は、本発明の他の実施形態に係るＳＴＡＲアルゴリズムにおける両方向予測とクロスＧＯＰ最適化を用いる場合を示している。
【００７２】
ＳＴＡＲアルゴリズムは、他のＧＯＰのフレームを参照してフレームをコーディングすることができるが、これをクロスＧＯＰ最適化という。これはＵＭＣＴＦの場合にもこれを支援することができるが、クロスＧＯＰ最適化が可能な理由はＵＭＣＴＦとＳＴＡＲコーディングアルゴリズムは時間的フィルタリングされないＡまたはＩフレームを用いる構造であるため可能である。図５の実施形態で７番のフレームの予測エラーは０番、４番、および６番のフレームの予測エラーを加えた値である。しかし、７番のフレームが次のＧＯＰの０番のフレーム（現在のＧＯＰで計算すれば８番のフレーム）を参照すれば、このような予測エラーの累積現象は確かに明確に減少することができる。その上、次のＧＯＰの０番のフレームは、イントラコーディングされるフレームであるため、７番のフレームの質は明確に改善することができる。
【００７３】
図７は、本発明のまた他の実施形態に係る非二分的時間的フィルタリングにおいてフレーム間の連結を示す図面である。
【００７４】
ＵＭＣＴＦコーディングアルゴリズムがＡフレームを任意的に挿入することによって非二分的時間的フィルタリングを支援できるように、ＳＴＡＲアルゴリズムもまた、グラフ構造を簡単に変えることによって非二分的時間的フィルタリングを支援することができる。本実施形態は、１／３および１／６時間的フィルタリングを支援する場合を示す。ＳＴＡＲアルゴリズムでは、グラフ構造を変えることによって、容易に多様なフレームレートを得ることができる。
【００７５】
図８は、本発明の一実施形態に係るスケーラブルビデオエンコーダ１００の構成を示すブロック図である。
【００７６】
前記エンコーダ１００は、ビデオシーケンスを構成する複数のフレームが入力され、これを圧縮してビットストリーム３００を生成する。このために、スケーラブルビデオエンコーダは、複数のフレームの時間的重複を除去する時間的変換部１０と、空間的重複を除去する空間的変換部２０と、時間的および空間的重複が除去されて生成された変換係数を量子化する量子化部３０、量子化された変換係数とその他情報を含んで、ビットストリーム３００を生成するビットストリーム生成部４０を含んで構成することができる。
【００７７】
時間的変換部１０は、フレーム間の動きを補償して時間的フィルタリングをするために、動き推定部１２と時間的フィルタリング部１４およびモード選択部１６を含む。
【００７８】
先ず、動き推定部１２は、時間的フィルタリング過程が実行中であるフレームの各マクロブロックとこれに対応する参照フレームの各マクロブロックとの動きベクトルを求める。動きベクトルに対する情報は、時間的フィルタリング部１４に提供され、時間的フィルタリング部１４は動きベクトルに対する情報を用いて複数のフレームに対する時間的フィルタリングを行う。本実施形態で時間的フィルタリングはＧＯＰ単位で行われる。
【００７９】
一方、モード選択部１６は、時間的フィルタリングの順序を決定する。本実施形態で時間的フィルタリングは基本的にＧＯＰ内で高い時間レベルを有するフレームから低い時間レベルを有するフレームの順に進められ、同一の時間レベルを有するフレームの場合には小さいフレームインデックスを有するフレームから大きいフレームインデックスを有するフレームの順に進められる。フレームインデックスはＧＯＰを構成するフレームの時間的の順序を知らせるインデックスとして１つのＧＯＰを構成するフレームの個数がｎである場合にフレームインデックスは時間的に最初であるフレームを０とし、時間的フィルタリングの順序が最後であるフレームはｎ−１のインデックスを有する。モード選択部１６はこのような時間的フィルタリングの順序に関する情報をビットストリーム生成部４０に伝達する。
【００８０】
本実施形態でＧＯＰを構成するフレームのうち最も高い時間レベルを有するフレームはフレームインデックスが一番小さいフレームを用いるが、これは例示的なものであってＧＯＰ内の他のフレームを最も時間レベルが高いフレームとして選択することも本発明の技術的思想に含まれると解釈しなければならない。
【００８１】
また、モード選択部１６では、時間的フィルタリング部１４で所要できる制限時間（以下、‘Ｔｆ’という）をエンコーダとデコーダとの間に円滑なリアルタイムストリーミングが可能なように適切に決定し、時間的フィルタリング部１４でＴｆになるまでフィルタリングしたフレーム（すなわち、Ｔｆを満足するフレーム）のうち、時間的フィルタリングの順序における最終フレーム番号を把握して、これをビットストリーム生成部４０に伝達する。
【００８２】
ここで、時間的フィルタリング部１４において、あるフレームまで時間的フィルタリングを行うかに関する基準となる‘所定の制限時間条件’は前記Ｔｆを満足するか否かを意味するものである。
【００８３】
前記円滑なリアルタイムストリーミングが可能な条件は、例えば、入力されるビデオシーケンスのフレームレートに合うように時間的フィルタリングができるかを基準にすることができる。１秒当たり１６フレームに進められるビデオシーケンスがあるが、時間的フィルタリング部１４で１秒当たり１０フレームしか処理できなければ、これは円滑なリアルタイムストリーミングを満足させることができないといえる。また、１秒当たり１６フレームを処理することができるとしても、時間的フィルタリング以外の段階で処理する時間が所要されるため、これを考慮してＴｆを決めなければならない。
【００８４】
時間的重複が除去されたフレーム、すなわち、時間的フィルタリングされたフレームは、空間的変換部２０を経て空間的重複が除去される。空間的変換部２０は、空間的変換を用いて時間的フィルタリングされたフレームの空間的重複を除去するが、本実施形態ではウェーブレット変換を用いる。現在知られているウェーブレット変換は、１つのフレームを４等分して全体イメージとほぼ類似する１／４面籍を有する縮小されたイメージ（Ｌイメージ）を前記フレームの１／４に代替し、残り３／４にはＬイメージを介して全体イメージを復元することができるようにする情報（Ｈイメージ）に代替する。同じ方式によって、Ｌフレームはまた１／４面籍を有するＬＬイメージとＬイメージを復元するための情報に代替することができる。このようなウェーブレット方式を用いるイメージ圧縮法は、ＪＰＥＧ２０００という圧縮方式に適用されている。ウェーブレット変換を介してフレームの空間的重複を除去することができ、またウェーブレット変換はＤＣＴ変換とは異なり、本来のイメージ情報が変換されたイメージに縮小された形態で格納されているため、縮小されたイメージを用いて空間的スケーラビリティを有するビデオコーディングを可能にする。しかし、ウェーブレット変換方式は例示的なものであって、空間的スケーラビリティを達成しなくても良い場合であれば、既存のＭＰＥＧ−２のような動画圧縮方式に広く用いられるＤＣＴ方法を用いることもできる。
【００８５】
時間的フィルタリングされたフレームは、空間的変換を経て変換係数になるがこれは量子化部３０に伝達されて量子化される。量子化部３０は、実数型係数の変換係数を量子化して整数型変換係数に変える。すなわち、量子化を介してイメージデータを表現するためのビット量を減らすことができるが、本実施形態ではエンベデット量子化方式を介して変換係数に対する量子化過程を行う。エンベデット量子化方式を介して変換係数に対する量子化を行うことで、量子化によって必要な情報量を減らすことができ、エンベデット量子化によってＳＮＲスケーラビリティを得ることができる。エンベデットという単語は、コーディングされたビットストリーム３００が量子化を含むという意味として用いられる。言い換えれば、圧縮されたデータは、視覚的に重要な順に生成されるか、視覚的重要度で表示される。実際の量子化（または視覚的重要度）レベルは、デコーダや伝送チャンネルで調節することができる。伝送帯域幅、格納容量、ディスプレイリソースが許されれば、イメージは損失なく復元することができる。しかし、そうではない場合であれば、イメージは最も制限されたリソースに要求されただけ量子化される。現在、知られたエンベデット量子化アルゴリズムは、ＥＺＷ（Ｅｍｂｅｄｄｅｄ  Ｚｅｒｏｔｒｅｅｓ  Ｗａｖｅｌｅｔ  Ａｌｇｏｒｉｔｈｍ）、ＳＰＩＨＴ（Ｓｅｔ  Ｐａｒｔｉｔｉｏｎｉｎｇ  ｉｎ  Ｈｉｅｒａｒｃｈｉｃａｌ  Ｔｒｅｅｓ）、ＥＺＢＣ（Ｅｍｂｅｄｄｅｄ  Ｚｅｒｏ  Ｂｌｏｃｋ  Ｃｏｄｉｎｇ）、ＥＢＣＯＴ（Ｅｍｂｅｄｄｅｄ  Ｂｌｏｃｋ  Ｃｏｄｉｎｇ  ｗｉｔｈ  Ｏｐｔｉｍａｌ  Ｔｒｕｎｃａｔｉｏｎ）などがあり、本実施形態では知られたアルゴリズムのうち、何れのアルゴリズムを用いても構わない。
【００８６】
ビットストリーム生成部４０は、エンコーディングされたイメージ（フレーム）情報と動き推定部１２で得た動きベクトルに関する情報などを含み、ヘッダを付けてビットストリーム３００を生成する。併せて、モード選択部１６から伝達された時間的フィルタリングの順序、最終フレーム番号もビットストリーム３００に含む。
【００８７】
図９は、本発明の他の実施形態に係るスケーラブルビデオエンコーダの構成を示すブロック図である。本実施形態も図８における実施形態と構成においてほぼ同じである。但し、モード選択部１６は、図８のように時間的フィルタリングの順序を決定し、これをビットストリーム生成部４０に渡す役割をする以外に、ビットストリーム生成部４０から１つのＧＯＰで所定の時間レベル内のフレームを最終的にエンコーディングするのに必要とする時間（以下、‘エンコーディング時間’という）が伝達される。
【００８８】
また、モード選択部１６では、時間的フィルタリング部１４で所要される制限時間（以下、‘Ｅｆ’という）をエンコーダとデコーダとの間の円滑なリアルタイムストリーミングが可能なように決定し、ビットストリーム生成部４０から伝達されたエンコーディング時間と比較して、エンコーディング時間がＥｆより大きい場合には次のＧＯＰからは時間的フィルタリング部１４で現在の時間レベルより一段階高めたレベルを基準にして時間的フィルタリングを行うように設定することによって、エンコーディング時間が前記Ｅｆより小さくなるように、すなわち前記Ｅｆを満足するようにする。そして、変化した時間レベルをビットストリーム生成部４０に伝達する。
【００８９】
この場合、時間的フィルタリング部１４において、あるフレームまで時間的フィルタリングを行うかに関する基準となる‘所定の制限時間条件’は前記Ｅｆを満足するか否かを意味する。
【００９０】
前記円滑なリアルタイムストリーミングが可能な条件は、例えば、入力されるビデオシーケンスのフレームレートに合うようにビットストリーム３００を生成できるかを基準にし得る。１秒当たり１６フレームに進められるビデオシーケンスがあるが、エンコーダ１００で１秒当たり１０フレームしか処理できなければ、これは円滑なリアルタイムストリーミングを満足させることができないといえる。
【００９１】
現在、あるＧＯＰが８フレームで構成されたとする時、現在ＧＯＰをすべて処理するのにかかるエンコーディング時間がＥｆより大きければ、前記エンコーディング時間をビットストリーム生成部４０から伝達を受けたモード選択部１６は、時間的フィルタリング部１４に時間レベルを一段階高めることを要求する。それでは、次のＧＯＰからは時間的フィルタリング部１４は一段階高い時間レベルで、すなわち時間的フィルタリングの順序上、前の４個のフレームだけを時間的フィルタリングする。
【００９２】
そして、エンコーディング時間がＥｆより所定の閾値以上のだけに小さい場合には、再び時間レベルを一段階低くすることもできる。
【００９３】
このように時間レベルを状況に合うように変化させれば、エンコーダ１００のプロセシングパワーに応じて、適応的にエンコーダ部での時間的スケーラビリティを実現することができる。
【００９４】
一方、ビットストリーム生成部４０はエンコーディングされたイメージ（フレーム）情報と、動き推定部１２から得た動きベクトルに関する情報などを含んで、ヘッダを付けてビットストリーム３００を生成すると共に、モード選択部１６から伝達された時間的フィルタリングの順序、時間レベルに関する情報もビットストリーム３００に含む。
【００９５】
図１０は、本発明の一実施形態に係るスケーラブルビデオデコーダ２００の構成を示すブロック図である。
【００９６】
前記デコーダ２００は、ビットストリーム解釈部１４０、逆量子化部１１０、逆空間的変換部１２０、および、逆時間的フィルタリング部１３０を含んで構成することができる。
【００９７】
先ず、ビットストリーム解釈部１４０は、入力されたビットストリーム３００を解釈してエンコーディングされたイメージ情報（エンコーディングされたフレーム）、動きベクトル、および時間的フィルタリングの順序を抽出して前記動きベクトルおよび時間的フィルタリングの順序を逆時間的フィルタリング部１３０に伝達する。また、ビットストリーム３００を解釈して‘逆時間的フィルタリングを行うフレームの時間レベルを知らせる情報’を抽出して逆時間的フィルタリング部１３０に伝達する。
【００９８】
前記時間レベルを知らせる情報は、図８に示す実施形態の場合には‘最終フレーム番号’を意味し、図９に示す実施形態の場合には‘エンコーディング時に決定した時間レベル情報’を意味する。
【００９９】
前記最終フレーム番号からも逆時間的フィルタリングを行うフレームの時間レベルを決定することができる。前記エンコーディング時に決定した時間レベル情報はそのまま逆時間的フィルタリングを行うフレームの時間レベルとして用いれば良く、前記最終フレーム番号はその番号以下のフレーム番号を有するフレームで構成できる時間レベルを探し、これを逆時間的フィルタリングを行うフレームの時間レベルとして用いれば良い。
【０１００】
例えば、図５の例で、時間的フィルタリングの順序を（０、４、２、６、１、３、５、７）とする時、最終フレーム番号を３とすれば、ビットストリーム解釈部１４０はこれから生成できる時間レベル値である２を逆時間的フィルタリング部１３０に伝達し、逆時間的フィルタリング部１３０では該当時間レベルに該当するフレーム、すなわちｆ（０）、ｆ（４）、ｆ（２）、ｆ（６）フレームを復元する。この時、フレームレートは本来８枚のフレームである場合に比べて１／２になる。
【０１０１】
入力されるエンコーディングされたフレームに対する情報は、逆量子化部１１０により逆量子化されて変換係数に変わる。変換係数は、逆空間的変換部１２０により逆空間的変換される。逆空間的変換はコーディングされたフレームの空間的変換と関連するが、空間的変換方式としてウェーブレット変換が用いられた場合に逆空間的変換は逆ウェーブレット変換を行い、空間的変換方式がＤＣＴ変換である場合には逆ＤＣＴ変換を行う。逆空間的変換を経て変換係数は時間的フィルタリングされたＩフレームとＨフレームに変換される。
【０１０２】
逆時間的変換部１３０は、ビットストリーム解釈部１４０から伝達された動きベクトル、基準フレーム番号（どのフレームがどのフレームを参照フレームとしたかに関する情報）、および時間的フィルタリングの順序情報を用いて前記ＩフレームとＨフレーム（時間的フィルタリングされたフレーム）から元のビデオシーケンスを復元する。
【０１０３】
但し、この時ビットストリーム解釈部１４０から伝えられる時間レベルを用いて、その時間レベルに該当するフレームだけを復元する。
【０１０４】
図１１〜図１４は、本発明に係るビットストリーム３００の構造を示したものである。この中、図１１はビットストリーム３００の全体的構造を概略的に示したものである。
【０１０５】
ビットストリーム３００は、シーケンスヘッダフィールド３１０とデータフィールド３２０とから構成され、データフィールド３２０は１つ以上のＧＯＰフィールド３３０，３４０，３５０から構成される。
【０１０６】
シーケンスヘッダフィールド３１０にはフレームの横のサイズ（２バイト）、縦のサイズ（２バイト）、ＧＯＰのサイズ（１バイト）、フレームレート（１バイト）、動き精密度（１バイト）など、映像の特徴を記録する。
【０１０７】
データフィールド３２０は、全体映像情報、その他の映像復元のために必要な情報（動きベクトル、参照フレーム番号など）が記録される。
【０１０８】
図１２は、各ＧＯＰフィールド３３０，３４０，３５０の細部構造を示している。ＧＯＰフィールド３３０は、ＧＯＰヘッダ３６０と、一番目の時間的フィルタリングの順序を基準とする時、一番目のフレーム（Ｉフレーム）に関する情報を記録するＴ（０）フィールド３７０と、動きベクトルの集合を記録するＭＶフィールド３８０と、一番目のフレーム（Ｉフレーム）以外のフレーム（Ｈフレーム）の情報を記録する‘ｔｈｅ  ｏｔｈｅｒ  Ｔ’フィールド３９０とから構成することができる。
【０１０９】
ＧＯＰヘッダフィールド３６０には、前記シーケンスヘッダフィールド３１０とは異なり、全体映像の特徴ではなく該当ＧＯＰに限定された映像の特徴を記録する。ここには、時間的フィルタリングの順序を記録することができ、図９のような場合には時間レベルを記録することができる。但し、これはシーケンスヘッダフィールド３１０に記録された情報と異なるということを前提とするものであり、１つの映像全体について同じ時間的フィルタリングの順序または時間レベルを用いれば、このような情報はシーケンスヘッダフィールド３１０に記録することが有利である。
【０１１０】
図１３は、ＭＶフィールド３８０の細部構造を示している。
【０１１１】
ＭＶフィールド３８０は、動きベクトルの数だけの動きベクトルを各々記録する動きベクトルフィールド（ＭＶ（１）、ＭＶ（２）、…、ＭＶ（ｎ−１））を含む。各々の動きベクトルフィールド（ＭＶ（１）、ＭＶ（２）、…、ＭＶ（ｎ−１））は、再び動きベクトルのサイズを示すサイズフィールド３８１と、動きベクトルの実際データを記録するデータフィールド３８２とを含む。そして、データフィールド３８２は、算術符号化方式による情報（これは一例であるだけで、ハフマン符号化など、他の方式を用いた場合にはその方式による情報になる）を入れたヘッダ３８３と、実際動きベクトル情報を入れたバイナリストリームフィールド３８４を含む。
【０１１２】
図１４は、‘ｔｈｅ  ｏｔｈｅｒ  Ｔ’フィールド３９０の細部構造を示している。前記フィールド３９０は、フレーム数−１だけのＨフレーム情報を記録する。
【０１１３】
各Ｈフレーム情報は、再びフレームヘッダフィールド３９１と、該当Ｈフレームの明るさ成分を記録するデータ  Ｙフィールド３９３と、青色の色差成分を記録するデータ  Ｕフィールド３９４と、赤色の色差成分を記録するデータ  Ｖフィールド３９５と、前記データ  Ｙ、データ  Ｕ、データ  Ｖフィールド３９３，３９４，３９５のサイズを示すサイズフィールド３９２とを含んで構成することができる。
【０１１４】
そして、データ  Ｙ、データ  Ｕ、データ  Ｖフィールド３９３，３９４，３９５は、再びＥＺＢＣ量子化方式による情報（これは一例であって、ＥＺＷ、ＳＰＨＩＴなど、他の方式を用いた場合には、その方式による情報となる）を記録するＥＺＢＣヘッダフィールド３９６と、実際の情報を入れたバイナリストリームフィールド３９７とを含むことができる。
【０１１５】
前記フレームヘッダフィールド３９１には、前記シーケンスヘッダフィールド３１０およびＧＯＰヘッダフィールド３６０とは異なり、該当フレームに限定された映像の特徴を記録する。ここには図８のような最終フレーム番号に関する情報を記録することができる。例えば、フレームヘッダフィールド３９１の特定ビットを用いて情報を記録することができる。すなわち、Ｔ（０）、Ｔ（１）、．．．、Ｔ（７）の時間的フィルタリングされたフレームが存在するとした時、エンコーダ部でＴ（５）までエンコーディングして中断すれば、Ｔ（０）〜Ｔ（４）のビットは０とし、エンコーディングしたフレームのうち、最終フレームであるＴ（５）のビットは１とすることによって、デコーダ部ではこれを介して最終フレーム番号を知ることができる。
【０１１６】
一方、ＧＯＰヘッダフィールド３６０に前記最終フレーム番号を記録することもできるが、この場合には現在ＧＯＰで最終エンコーディングされたフレームが決定された後にＧＯＰヘッダを生成することができるため、リアルタイムストリーミングが重要な状況ではあまり効率的ではないこともある。
【０１１７】
本発明に係るエンコーダ１００およびデコーダ２００が動作するシステム５００は、図１５のように実現することができる。前記システム５００は、ＴＶ、セットトップボックス、デスクトップ、ラップトップコンピュータ、パームトップコンピュータ、ＰＤＡ、ビデオまたはイメージ格納装置（例えば、ＶＣＲ、ＤＶＲなど）を示すものであり得る。それだけでなく、前記システム５００は、前記装置を組み合わせたもの、または前記装置が他の装置の一部分として含まれたものを示すことでもあり得る。前記システム５００は、少なくとも１つ以上のビデオソース５１０、１つ以上の入出力装置５２０、プロセッサ５４０、メモリ５５０、そしてディスプレイ装置５３０を含んで構成することができる。
【０１１８】
ビデオソース５１０は、ＴＶレシーバー、ＶＣＲ、または他のビデオ格納装置を示すことであり得る。また、前記ソース５１０は、インターネット、ＷＡＮ、ＬＡＮ、地上波放送システム、ケーブルネットワーク、衛星通信ネットワーク、無線ネットワーク、電話ネットワークなどを用いて、サーバーからビデオを受信するための１つ以上のネットワーク連結を示すことでもあり得る。だけでなく、前記ソースは、前記ネットワークを組み合わせたもの、または前記ネットワークが他のネットワークの一部分として含まれたものを示すことでもあり得る。
【０１１９】
入出力装置５２０、プロセッサ５４０、そしてメモリ５５０は、通信媒体５６０を介して通信する。前記通信媒体５６０には、通信バス、通信ネットワーク、または１つ以上の内部連結回路を示すことができる。前記ソース５１０から受信される入力ビデオデータは、メモリ５５０に格納された１つ以上のソフトウェアプログラムによりプロセッサ５４０によって処理されることができ、ディスプレイ装置５３０に提供される出力ビデオを生成するためにプロセッサ５４０によって実行することができる。
【０１２０】
特に、メモリ５５０に格納されたソフトウェアプログラムは、スケーラブルウェーブレット基盤のコーデックを含む。本発明の実施形態において、エンコーディング過程およびデコーディング過程は前記システム５００によって実行されるコンピュータで読取可能なコーデックによって実現することができる。前記コーデックは、メモリ５５０に格納されていることもでき、ＣＤ−ＲＯＭやフロッピディスクのような格納媒体で読み込むか、各種ネットワークを介して所定のサーバーからダウンロードしたものでもあり得る。前記ソフトウェアによって、ハードウェア回路で代替されたり、ソフトウェアとハードウェア回路の組合によって代替されことができる。
【０１２１】
以上、添付した図面を参照して本発明の実施形態を説明したが、本発明が属する技術分野で通常の知識を有する者であれば、本発明のその技術的思想や必須の特徴を変更せず、他の具体的な形態によって実施することができるということを理解できる。したがって、以上で記述した実施形態はすべての面で例示的なものであり、限定的なものではないことを理解しなければならない。
【図面の簡単な説明】
【０１２２】
【図１】従来のスケーラブルビデオエンコーダの構造を示すブロック図である。
【図２】、ＭＣＴＦ方式のスケーラブルビデオコーディングおよびデコーディング過程における時間的分解過程の流れを示す図である。
【図３】ＵＭＣＴＦ方式のスケーラブルビデオコーディングおよびデコーディング過程における時間的分解過程の流れを示す図である。
【図４】ＳＴＡＲアルゴリズムで可能なフレーム間の連結を示す図である。
【図５】本発明の一実施形態に係るＳＴＡＲアルゴリズムの基本的概念を説明するための図である。
【図６】本発明のまた他の実施形態に係るＳＴＡＲアルゴリズムにおける両方向予測とクロスＧＯＰ最適化を用いる場合を示す図である。
【図７】本発明のまた他の実施形態に係るＳＴＡＲアルゴリズムでの非二分的時間的フィルタリングを用いる場合を示す図である。
【図８】本発明の一実施形態に係るスケーラブルビデオエンコーダの構成を示すブロック図である。
【図９】本発明の他の実施形態に係るスケーラブルビデオエンコーダの構成を示すブロック図である。
【図１０】本発明の一実施形態に係るスケーラブルビデオデコーダの構成を示すブロック図である。
【図１１】エンコーダで生成するビットストリームの全体的構造を概略的に示す図である。
【図１２】各ＧＯＰフィールドの細部構造を示す図である。
【図１３】ＭＶフィールドの細部構造を示す図である。
【図１４】‘ｔｈｅ  ｏｔｈｅｒ  Ｔ’フィールドの細部構造を示す図である。
【図１５】本発明に係るエンコーダおよびデコーダが動作するシステムを示す図である。
【図１】
2007520149.tif 000003
【図２】
2007520149.tif 000004
【図３】
2007520149.tif 000005
【図４】
2007520149.tif 000006
【図５】
2007520149.tif 000007
【図６】
2007520149.tif 000008
【図７】
2007520149.tif 000009
【図８】
2007520149.tif 000010
【図９】
2007520149.tif 000011
【図１０】
2007520149.tif 000012
【図１１】
2007520149.tif 000013
【図１２】
2007520149.tif 000014
【図１３】
2007520149.tif 000015
【図１４】
2007520149.tif 000016
【図１５】
2007520149.tif 000017
【国際調査報告】
2007520149.tif 000018
2007520149.tif 000019
2007520149.tif 000020