(57)【要約】【課題】  色空間スケーラブルビデオコーディング及びデコーディング方法、並びにその装置を提供する。【解決手段】（ａ）ビデオ入力フレームの時間的重複及び空間的重複を除去して変換係数を生成するステップ、（ｂ）変換係数を量子化するステップ、（ｃ）量子化された変換係数をエントロピー符号化してビットストリームを生成するステップ、及び（ｄ）ビットストリーム及びビットストリーム内の輝度データの位置情報を含む色空間スケーラブルビットストリームを生成するステップを含む色空間スケーラブルビデオコーディング方法。【選択図】      図１
2006246473.tif 000002
【特許請求の範囲】
【請求項１】
（ａ）ビデオ入力フレームの時間的重複及び空間的重複を除去して変換係数を生成するステップと、
（ｂ）前記変換係数を量子化するステップと、
（ｃ）前記量子化された変換係数をエントロピー符号化してビットストリームを生成するステップと、
（ｄ）前記ビットストリームに前記ビットストリーム内の輝度データの位置情報を挿入して色空間スケーラブルビットストリームを生成するステップと、を含む色空間スケーラブルビデオエンコーディング方法。
【請求項２】
前記輝度データの位置情報は、前記ビットストリーム内のテクスチャー情報の長さ及び前記テクスチャー情報のうち、輝度データの長さを含む請求項１に記載の色空間スケーラブルビデオエンコーディング方法。
【請求項３】
前記輝度データの位置情報は、１つの階層に該当する前記ビットストリーム内のテクスチャー情報の長さ及び前記テクスチャー情報のうち、輝度データの長さを含む請求項１に記載の色空間スケーラブルビデオエンコーディング方法。
【請求項４】
前記輝度データの位置情報は、ＦＧＳ階層の数、前記ＦＧＳ階層それぞれの前記ビットストリーム内のテクスチャー情報の長さ及び前記テクスチャー情報のうち、輝度データの長さを含む請求項１に記載の色空間スケーラブルビデオエンコーディング方法。
【請求項５】
前記エントロピー符号化されたビットストリームは、前記ビデオ入力フレームのモーションデータ及び前記ビデオ入力フレームのテクスチャーデータを含み、前記テクスチャーデータは、前記ビデオ入力フレームの輝度データ及び前記ビデオ入力フレームの色差データを含む請求項１に記載の色空間スケーラブルビデオエンコーディング方法。
【請求項６】
前記（ｂ）ステップは、（ｂ１）階層のレベルの増加につれて小さくなる量子化パラメータを使用して量子化するステップを含む請求項１に記載の色空間スケーラブルビデオエンコーディング方法。
【請求項７】
（ａ）ビットストリームから前記ビットストリーム内の輝度データの位置情報を抽出するステップと、
（ｂ）前記輝度データの位置情報によって前記ビットストリームから色差データを切り取ってモーションデータ及び前記輝度データを含む第２ビットストリームを生成するステップと、
（ｃ）前記第２ビットストリームを復号化してビデオフレームを復元するステップと、を含む色空間スケーラブルビデオデコーディング方法。
【請求項８】
前記輝度データの位置情報は、前記ビットストリーム内のテクスチャー情報の長さ及び前記テクスチャー情報のうち、輝度データの長さを含む請求項７に記載の色空間スケーラブルビデオデコーディング方法。
【請求項９】
前記輝度データの位置情報は、１つの階層に該当する前記ビットストリーム内のテクスチャー情報の長さ及び前記テクスチャー情報のうち、輝度データの長さを含む請求項７に記載の色空間スケーラブルビデオデコーディング方法。
【請求項１０】
前記輝度データの位置情報は、ＦＧＳ階層の数、前記ＦＧＳ階層それぞれの前記ビットストリーム内のテクスチャー情報の長さ及び前記テクスチャー情報のうち、輝度データの長さを含む請求項７に記載の色空間スケーラブルビデオデコーディング方法。
【請求項１１】
前記ビットストリームは、モーションデータ、前記輝度データ、及び色差データを含む胴体と前記輝度データの位置情報を含むヘッダと、を含む請求項７に記載の色空間スケーラブルビデオデコーディング方法。
【請求項１２】
（ａ）ビデオ入力フレームの時間的重複及び空間的重複を除去して変換係数を生成するステップと、
（ｂ）前記変換係数を量子化するステップと、
（ｃ）前記量子化された変換係数をエントロピー符号化してビットストリームを生成するステップと、を含み、
前記ビットストリームは、色差階層のレベルの増加につれて色深さのビット数が増加する色空間スケーラブルビデオエンコーディング方法。
【請求項１３】
前記（ｂ）ステップは、（ｂ１）前記色差階層のレベルの増加につれて小さくなる量子化パラメータを使用して量子化するステップを含む請求項１２に記載の色空間スケーラブルビデオエンコーディング方法。
【請求項１４】
（ａ）ディスプレイ装置から色深さ容量に関する情報を獲得するステップと、
（ｂ）前記色深さ容量に関する情報によって入力されたビットストリームから前記色深さ容量を超えるビットを切り取って第２ビットストリームを生成するステップと、
（ｃ）前記第２ビットストリームを復号化してビデオフレームを復元するステップと、を含む色空間スケーラブルビデオデコーディング方法。
【請求項１５】
前記入力されたビットストリームは、色差階層のレベルの増加につれて色深さのビット数が増加する請求項１４に記載の色空間スケーラブルビデオデコーディング方法。
【請求項１６】
前記入力されたビットストリームは、色差階層のレベルの増加につれて小さくなる量子化パラメータを使用して量子化されたビットストリームである請求項１４に記載の色空間スケーラブルビデオデコーディング方法。
【請求項１７】
ビデオ入力フレームの時間的重複を除去する時間的変換部と、
前記ビデオ入力フレームの空間的重複を除去する空間的変換部と、
前記時間的変換部または前記空間的変換部により生成される変換係数を量子化する量子化部と、
前記量子化された変換係数をエントロピー符号化するエントロピー符号化部と、
前記エントロピー符号化部により生成されたビットストリーム及び前記ビットストリーム内の輝度データの位置情報を含む色空間スケーラブルビットストリームを生成する色空間スケーラブルビットストリーム生成部と、を備える色空間スケーラブルビデオエンコーダ。
【請求項１８】
前記輝度データの位置情報は、前記ビットストリーム内のテクスチャー情報の長さ及び前記テクスチャー情報のうち、輝度データの長さを含む請求項１７に記載の色空間スケーラブルビデオエンコーダ。
【請求項１９】
前記輝度データの位置情報は、１つの階層に該当する前記ビットストリーム内のテクスチャー情報の長さ及び前記テクスチャー情報のうち、輝度データの長さを含む請求項１７に記載の色空間スケーラブルビデオエンコーダ。
【請求項２０】
前記輝度データの位置情報は、ＦＧＳ階層の数、前記ＦＧＳ階層それぞれの前記ビットストリーム内のテクスチャー情報の長さ及び前記テクスチャー情報のうち、輝度データの長さを含む請求項１７に記載の色空間スケーラブルビデオエンコーダ。
【請求項２１】
前記色空間スケーラブルビットストリームは、階層のレベルの増加につれて色深さのビット数が増加する請求項１７に記載の色空間スケーラブルビデオエンコーダ。
【請求項２２】
ビットストリームから前記ビットストリーム内の輝度データの位置情報を抽出し、前記輝度データの位置情報によって前記ビットストリームから色差データを切り取ってモーションデータ及び前記輝度データを含む第２ビットストリームを生成するビットストリーム前処理部と、
前記第２ビットストリームを復号化するエントロピー復号化部と、
前記復号化された第２ビットストリームを逆量子化して変換係数を生成する逆量子化部と、
前記変換係数を逆空間的変換して残差信号を復元する逆空間的変換部と、
前記エントロピー復号化部からモーションデータを提供されて予測フレームをモーション補償するモーション補償部と、を備える色空間スケーラブルビデオデコーダ。
【請求項２３】
前記輝度データの位置情報は、前記ビットストリーム内のテクスチャー情報の長さ及び前記テクスチャー情報のうち、輝度データの長さを含む請求項２２に記載の色空間スケーラブルビデオデコーダ。
【請求項２４】
前記輝度データの位置情報は、１つの階層に該当する前記ビットストリーム内のテクスチャー情報の長さ及び前記テクスチャー情報のうち、輝度データの長さを含む請求項２２に記載の色空間スケーラブルビデオデコーダ。
【請求項２５】
前記輝度データの位置情報は、ＦＧＳ階層の数、前記ＦＧＳ階層それぞれの前記ビットストリーム内のテクスチャー情報の長さ及び前記テクスチャー情報のうち、輝度データの長さを含む請求項２２に記載の色空間スケーラブルビデオデコーダ。
【請求項２６】
ディスプレイ装置から色深さ容量に関する情報を獲得し、前記色深さ容量に関する情報によって入力されたビットストリームから前記色深さ容量を超えるビットを切り取って第２ビットストリームを生成するビットストリーム前処理部と、
前記第２ビットストリームを復号化するエントロピー復号化部と、
前記復号化された第２ビットストリームを逆量子化して変換係数を生成する逆量子化部と、
前記変換係数を逆空間的変換して残差信号を復元する逆空間的変換部と、
前記エントロピー復号化部からモーションデータを提供され、予測フレームをモーション補償するモーション補償部と、を備える色空間スケーラブルビデオデコーダ。
【請求項２７】
前記入力されたビットストリームは、色差階層のレベルの増加につれて色深さのビット数が増加する請求項２６に記載の色空間スケーラブルビデオデコーダ。
【請求項２８】
前記入力されたビットストリームは、色差階層のレベルの増加につれて小さくなる量子化パラメータを使用して量子化されたビットストリームである請求項２６に記載の色空間スケーラブルビデオデコーダ。
【請求項２９】
請求項１ないし請求項１６のうちいずれか１項による方法を実行するためのコンピュータ可読プログラムを記録した記録媒体。
【請求項３０】
複数のマクロブロックを含むスライスのデータを伝送する方法において、
前記スライスに含まれたあらゆるマクロブロックの輝度データを挿入するステップと、
前記スライスに含まれたあらゆるマクロブロックの色差データを挿入するステップと、
前記輝度データと色差データとが含まれたビットストリームを伝送するステップと、を含むことを特徴とするデータ伝送方法。
【請求項３１】
前記スライスは、ＦＧＳ階層に含まれたスライスであることを特徴とする請求項３０に記載のデータ伝送方法。
【請求項３２】
前記輝度データと色差データとの位置を表す情報を挿入するステップをさらに含むことを特徴とする請求項３０に記載のデータ伝送方法。
【請求項３３】
マクロブロックに対する輝度データと色差データ値を有する複数のマクロブロックを含むスライスと前記複数のスライスで構成されたビデオシーケンスとを生成する方法において、
前記スライスに含まれた複数のマクロブロックのあらゆる輝度データを共に挿入するステップと、
前記スライスに含まれた複数のマクロブロックのあらゆる色差データを共に挿入するステップと、を含むことを特徴とするビデオシーケンス生成方法。
【請求項３４】
前記ビデオシーケンスは、ＦＧＳ階層に含まれたスライスであることを特徴とする請求項３３に記載のビデオシーケンス生成方法。
【請求項３５】
前記ビデオシーケンスは、  前記輝度データと色差データとの位置情報を含むことを特徴とする請求項３３に記載のビデオシーケンス生成方法。
【請求項３６】
スライスに含まれた複数のマクロブロックの輝度データと色差データとが分離されて伝送されるビデオシーケンスを処理する方法において、
前記スライスに含まれたあらゆるマクロブロックの輝度データを解釈するステップと、
前記スライスに含まれたあらゆるマクロブロックの色差データを解釈するステップと、を含むことを特徴とするビデオシーケンス処理方法。
【請求項３７】
前記ビデオシーケンスは、ＦＧＳ階層に含まれたスライスであることを特徴とする請求項３６に記載のビデオシーケンス処理方法。
【請求項３８】
前記マクロブロックは、モーションベクトルについての情報を有していないことを特徴とする請求項３６に記載のビデオシーケンス処理方法。
【請求項３９】
前記スライスに含まれた輝度データと色差データの位置についての情報を解釈するステップをさらに含むことを特徴とする請求項３６に記載のデータ処理方法。
【請求項４０】
基礎階層とＦＧＳ向上階層とで構成されたビデオシーケンスをデコーディングする方法において、
前記基礎階層のデータを解釈するステップと、
前記ＦＧＳ向上階層に含まれた複数のマクロブロックのあらゆる輝度データを解釈するステップと、
前記複数のマクロブロックのあらゆる色差データを解釈するステップと、
前記ＦＧＳ向上階層の輝度データと色差データとを基礎階層のデータと結合するステップと、
前記結合されたデータをデコーディングするステップと、を含むことを特徴とする基礎階層とＦＧＳ向上階層とで構成されたビデオシーケンスをデコーディングする方法。
【請求項４１】
前記複数のマクロブロックの輝度データと色差データの位置情報を解釈するステップをさらに含むことを特徴とする請求項４０に記載の基礎階層とＦＧＳ向上階層とで構成されたビデオシーケンスをデコーディングする方法。
【請求項４２】
前記ＦＧＳ内のマクロブロックは、モーションベクトルについての情報を有していないことを特徴とする請求項４０に記載のデコーディング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、色空間スケーラブルビデオコーディング及びデコーディング方法、並びにその装置に係り、より詳細には、デコーダ側の性能によって色成分または色深さを調節しうる色空間においてスケーラブルなビデオコーディング及びデコーディング方法、並びにその装置に関する。
【背景技術】
【０００２】
インターネットを含む情報通信技術が発達するにつれて文字、音声だけでなく画像通信が増加しつつある。既存の文字中心の通信方式では消費者の多様な欲求を満たすには足りなく、したがって、文字、映像、音楽など多様な形態の情報を収容できるマルチメディアサービスが増加しつつある。マルチメディアデータはその量がぼう大で大容量の保存媒体を必要とし、転送時に広い帯域幅を必要とする。したがって、文字、映像、オーディオを含むマルチメディアデータを転送するためには圧縮コーディング技法を使用することが必須である。
【０００３】
データを圧縮する基本的な原理はデータの重複をなくす過程である。イメージで同じ色や客体が反復されるような空間的重複や、動映像フレームで隣接フレームがほとんど変化のない場合や、オーディオで同じ音が反復され続けるような時間的重複、または人間の視覚及び知覚能力が高い周波数に鈍感なことを考慮した心理視覚重複をなくすことによりデータを圧縮できる。
【０００４】
一般的なビデオコーディング方法において  時間的重複はモーション補償に根拠した時間的予測により除去し、空間的重複は空間的変換により除去する。
【０００５】
データの重複を除去した後、生成されるマルチメディアを伝送するためには、伝送媒体が必要であるが、その速度は伝送媒体別に違う。現在、使われている伝送媒体は、秒当り数十Ｍｂｉｔのデータを伝送できる超高速通信網から秒当り３８４  ｋｂｉｔの伝送速度を有する移動通信網のように多様な伝送速度を有する。このような環境で、多様な速度の伝送媒体を支援するために、または伝送環境によってこれに適した伝送率でマルチメディアを伝送可能にする、すなわち、スケーラビリティを有するデータコーディング方法がマルチメディア環境にさらに適していると言える。
【０００６】
このようなスケーラブルビデオコーディングとは、既に圧縮されたビットストリームに対して伝送ビット率、伝送エラー率、システム資源などの周辺条件によって前記ビットストリームの一部を切り出して、ビデオの解像度、フレーム率、及び  ＳＮＲ（Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ  Ｒａｔｉｏ）などを調節可能にする符号化方式を意味する。このようなスケーラブルビデオコーディングは、既にＭＰＥＧ−２１  Ｐａｒｔ１３でその標準化作業を進行しつつある。
【０００７】
しかし既存のスケーラブルビデオコーディングは、色空間側面でのスケーラビリティを提供できないので、カラー映像の代わりにグレースケール映像を必要とするディスプレイ装置であっても、コーディングされて伝送されたカラー映像を受信してデコーディングせねばならない非効率的な側面がある。また、２４ビットの色深さをディスプレイできないディスプレイ装置であっても、２４ビット色深さにコーディングされたビットストリームを受信してデコーディングした後、不要なビットを切り取る非効率的な側面もある。
【特許文献１】米国特許公開２００３／０１６４９６１  Ａ１
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明が解決しようとする技術的課題は、エンコーダがデコーダにビットストリーム内の輝度データの位置を知らせることによって、デコーダが必要によってカラー映像をグレースケール映像に変換しうる色空間スケーラブルビデオコーディング及びデコーディング方法を提供することである。
【０００９】
本発明が解決しようとする他の技術的課題は、デコーダがディスプレイ装置から色深さ容量に関する情報を獲得してディスプレイ装置が支援する色深さ容量を超えるビットを除去した後、ビットストリームを復号化する色空間スケーラブルビデオコーディング及びデコーディング方法を提供することである。
【００１０】
本発明の目的は、以上で言及した目的に制限されず、言及されていない他の目的は下の記載から当業者に明確に理解されうる。
【課題を解決するための手段】
【００１１】
前記目的を達成するために本発明の実施形態による色空間スケーラブルビデオコーディング方法は、（ａ）ビデオ入力フレームの時間的重複及び空間的重複を除去して変換係数を生成するステップ、（ｂ）変換係数を量子化するステップ、（ｃ）量子化された変換係数をエントロピー符号化してビットストリームを生成するステップ、及び（ｄ）ビットストリーム及びビットストリーム内の輝度データの位置情報を含む色空間スケーラブルビットストリームを生成するステップを含む。
【００１２】
一方、本発明の実施形態による色空間スケーラブルビデオデコーディング方法は、（ａ）ビットストリームから前記ビットストリーム内の輝度データの位置情報を抽出するステップと、（ｂ）前記輝度データの位置情報によって前記ビットストリームから色差データを切り取ってモーションデータ及び前記輝度データを含む第２ビットストリームを生成するステップと、（ｃ）前記第２ビットストリームを復号化してビデオフレームを復元するステップと、を含む。
【００１３】
前記目的を達成するために本発明の実施形態による色空間スケーラブルビデオエンコーディング方法は、（ａ）ビデオ入力フレームの時間的重複及び空間的重複を除去して変換係数を生成するステップと、（ｂ）前記変換係数を量子化するステップと、（ｃ）前記量子化された変換係数をエントロピー符号化してビットストリームを生成するステップと、を含み、前記ビットストリームは、色差階層のレベルの増加につれて色深さのビット数が増加する。
【００１４】
一方、本発明の実施形態による色空間スケーラブルビデオデコーディング方法は、（ａ）ディスプレイ装置から色深さ容量に関する情報を獲得するステップと、（ｂ）前記色深さ容量に関する情報によって入力されたビットストリームから前記色深さ容量を超えるビットを切り取って第２ビットストリームを生成するステップと、（ｃ）前記第２ビットストリームを復号化してビデオフレームを復元するステップと、を含む。
【００１５】
前記目的を達成するために本発明の実施形態による色空間スケーラブルビデオエンコーダは、ビデオ入力フレームの時間的重複を除去する時間的変換部と、前記ビデオ入力フレームの空間的重複を除去する空間的変換部と、前記時間的変換部または前記空間的変換部により生成される変換係数を量子化する量子化部と、前記量子化された変換係数をエントロピー符号化するエントロピー符号化部と、前記エントロピー符号化部により生成されたビットストリーム及び前記ビットストリーム内の輝度データの位置情報を含む色空間スケーラブルビットストリームを生成する色空間スケーラブルビットストリーム生成部と、を備える。
【００１６】
一方、本発明の実施形態による色空間スケーラブルビデオデコーダは、ビットストリームから前記ビットストリーム内の輝度データの位置情報を抽出し、前記輝度データの位置情報によって前記ビットストリームから色差データを切り取ってモーションデータ及び前記輝度データを含む第２ビットストリームを生成するビットストリーム前処理部と、前記第２ビットストリームを復号化するエントロピー復号化部と、前記復号化された第２ビットストリームを逆量子化して変換係数を生成する逆量子化部と、前記変換係数を逆空間的変換して残差信号を復元する逆空間的変換部と、前記エントロピー復号化部からモーションデータを提供されて予測フレームをモーション補償するモーション補償部と、を備える。
【００１７】
前記目的を達成するために本発明の実施形態によるモーション補償部と、を備える色空間スケーラブルビデオデコーダは、ディスプレイ装置から色深さ容量に関する情報を獲得し、前記色深さ容量に関する情報によって入力されたビットストリームから前記色深さ容量を超えるビットを切り取って第２ビットストリームを生成するビットストリーム前処理部と、前記第２ビットストリームを復号化するエントロピー復号化部と、前記復号化された第２ビットストリームを逆量子化して変換係数を生成する逆量子化部と、前記変換係数を逆空間的変換して残差信号を復元する逆空間的変換部と、前記エントロピー復号化部からモーションデータを提供され、予測フレームをモーション補償する。
【００１８】
その他の実施例の具体的な事項は詳細な説明及び図面に含まれている。
【発明の効果】
【００１９】
本発明の色空間スケーラブルビデオコーディング及びデコーディング方法によれば、次のような効果が１つあるいはそれ以上ある。
【００２０】
第１に、エンコーダがデコーダにビットストリーム内の輝度データの位置を知らせることによって、デコーダが必要によってカラー映像をグレースケール映像に変換できる。
【００２１】
第２に、デコーダがディスプレイ装置で色深さ容量に関する情報を獲得してディスプレイ装置が支援する色深さ容量を超えるビットを除去した後、ビットストリームを復号化することによって、簡単な具現により色深さスケーラビリティを達成できる。
【発明を実施するための最良の形態】
【００２２】
本発明の利点及び特徴、そしてこれを達成する方法は添付された図面に基づいて詳細に後述されている実施例を参照すれば明確になる。しかし、本発明は以下で開示される実施例に限定されるものではなく、この実施例から外れて多様な形に具現でき、本明細書で説明する実施例は本発明の開示を完全にし、本発明が属する技術分野で当業者に発明の範ちゅうを完全に報せるために提供されるものであり、本発明は請求項及び発明の詳細な説明により定義されるだけである。一方、明細書全体に亙って同一な参照符号は同一な構成要素を示す。
【００２３】
以下、添付された図面を参照して本発明の望ましい実施形態を詳細に説明する。
【００２４】
図１は、本発明の実施形態による色空間スケーラブルビデオコーディングの概念が適用される例を示す図面である。
【００２５】
保安システムは、リアルタイムでビデオをディスプレイせねばならず、かつ今後の使用のためにビデオデータを保管（２０）する。ビデオデータの保管は、多くのディスク空間を要求するので、カラー映像でないグレースケール映像で保管する場合、ディスク空間を減らしうる。したがって、デコーダは、ディスプレイ装置の要求事項によってカラー映像をグレースケール映像に変換する機能を提供する必要がある。このような機能を以下では、色成分スケーラビリティという。
【００２６】
一方、エンコーダ側で伝送された１つのビットストリームが色深さの側面でスケールされて多様なクライアントに伝送されうる。モバイルフォン３０及びＰＤＡ４０などは一般的にノート型パソコン５０やＰＣ６０に比べてさらに低い色深さを提供する。このように多様な色深さを支援するディスプレイ装置に同じビットストリームを色深さの側面でスケールしうる機能を色深さスケーラビリティという。
【００２７】
以下では、このような色成分スケーラビリティと色深さスケーラビリティとをいずれも色空間スケーラビリティと称する。このような色空間スケーラビリティは、プリデコーダまたは抽出器１１ないし１４により簡単に具現されうる。
【００２８】
大部分のデジタルビデオアプリケーションは、カラービデオのディスプレイに依存しているので、カラー情報をキャプチャーして表現するメカニズムを必要とする。白黒イメージは、各空間的サンプルの輝度を表すために、ただ１つの数字だけを必要とする。一方、カラーイメージは、色相を正確に表すためにピクセル位置ごとに少なくとも３つの数字を必要とする。輝度と色相とを表現するために選択された方法を色空間と称する。色空間には、ＲＧＢ色空間、ＹＵＶ色空間、ＹＣｒＣｂ色空間などがある。ＲＧＢ色空間では、カラーイメージサンプルが赤、緑、青の相対的な比率を表す３つの数字で表現される。ＲＧＢ色空間では、３つの色相が同じく重要なので、３つの色相が同じ解像度で保存される。しかし、人間の視覚システムは、クロミナンスよりは輝度にさらに敏感なので、色情報から輝度を分離して輝度データを色差データより高い解像度で表現することによって、カラーイメージをさらに効率的に表現しうる。
【００２９】
ＹＣｒＣｂ色空間とその変形であるＹＵＶ色空間は、前記のような人間視覚システムを考慮してカラーイメージを効果的に表現する大衆的な方法である。Ｙは、輝度成分であるが、次の式（１）のようにＲ、Ｇ、Ｂの加重平均として計算されうる。
【００３０】
Ｙ＝ｋｒＲ＋ｋｇＧ＋ｋｂＢ          （１）
ここでｋは、重み付け係数を意味する。
【００３１】
色情報は、色差成分で表現されうるが、各色差成分は次の式（２）のようにＲまたはＧまたはＢと輝度Ｙとの差で表現されうる。
【００３２】
Ｃｂ＝Ｂ−Ｙ
Ｃｒ＝Ｒ−Ｙ          （２）
Ｃｇ＝Ｇ−Ｙ
したがって、輝度成分と色差成分とを分離してコーディングすることでカラービットストリームをグレースケールビットストリームに変換しうる。
【００３３】
図２は、輝度成分と色差成分とを分離してコーディングされた色成分スケーラブルビットストリームの構造を示している。輝度データ２３０が、先にエンコーディングされ、次いで、色差データ２４０がエンコーディングされる。ビットストリーム内で輝度データ２３０の位置についての情報がヘッダ２１０に挿入される。輝度データの位置についての情報は、テクスチャーデータの全長と輝度データの長さとを含みうる。その他にデコーダにより切り取られる輝度データの位置を表すいかなる形の情報も含まれうる。輝度データの位置についての情報は、ＧＯＰ（グループオブピクチャ）ヘッダ、ピクチャーヘッダ、スライスヘッダまたはビットストリーム内の適切ないかなる位置にも挿入可能である。
【００３４】
デコーダは、カラービットストリームから輝度成分だけを抽出できるために、グレースケールビデオフレームを復元しうる。しかし、本実施形態の場合、非常に単純な具現で色成分スケーラビリティを達成することはできるが、色深さスケーラビリティは提供できない。
【００３５】
色深さスケーラビリティは、２４ビットの解像度でディスプレイできないディスプレイ装置、例えば、ＰＤＡやモバイルフォンなどのためのデコーダに必要な機能である。したがって、デコーダは、各ディスプレイ装置に適切な色深さを使用するビットストリームを提供せねばならない。ＰＤＡや携帯電話などの装置をして、完全な色深さのビットストリームを処理させることは帯域幅、デコーディング時間などの資源の浪費である。
【００３６】
色深さスケーラビリティは、デコーダをして、クライアントが支援する色深さ容量についての情報をクライアントから獲得し、クライアントにより支援される色深さ容量を超えるビットをビットストリームから除去させることによって達成しうる。色深さスケーラビリティの具現は、図３ないし図４を参照して説明する。
【００３７】
図３は、多階層構造を用いた色成分スケーラビリティ及び色深さスケーラビリティを提供するための色空間スケーラブルビットストリームの構造の一実施形態を示している。
【００３８】
図３は、色成分スケーラビリティ及び色深さスケーラビリティを多階層構造内で具現した様子を図示している。本実施形態によるビットストリームは、複数の階層を含みつつ、各階層ごとに異なる色深さによるテクスチャーデータをも含む。すなわち、第１階層は、１２ビット色深さを支援するテクスチャーデータを含み、第２階層は１６ビット色深さを支援するテクスチャーデータを含み、第３階層は２４ビットテクスチャーデータを含みうる。このようにエンコーダが多階層構造を用いて異なる色深さのテクスチャーデータをエンコーディングして伝送すれば、デコーダはディスプレイ装置が支援する色深さスケーラビリティに関する情報を獲得し、受信されたビットストリームから支援可能な色深さ容量を超える階層のビットストリームを除去した後、残りのビットストリームを復号化してビデオフレームを復元しうる。例えば、ディスプレイ装置が色深さ１６ビットを支援するＰＤＡである場合、デコーダは、第３階層に該当するビットストリームを除去して第１階層及び第２階層に該当するビットストリームだけを復号化してディスプレイする。
【００３９】
一方、各階層に該当するビットストリームは、各階層内の輝度データ３２０、３５０を色差データ３３０、３６０と区分する輝度データの位置情報３１０、３４０を含むことによって、各階層内で色成分スケーラビリティを具現しうる。したがって、ディスプレイ装置が１６ビット色深さを支援しつつ、グレースケールを支援する場合であれば、デコーダは第３階層に該当するビットストリームを切り取って除去し、第１階層及び第２階層それぞれの輝度データの位置情報３１０、３４０によって不要な色差データ３３０、３６０も切り取った後、ビデオフレームを復元しうる。輝度データの位置情報は、ＧＯＰヘッダ、ピクチャーヘッダ、スライスヘッダまたはビットストリーム内の適切ないかなる位置にも挿入可能である。輝度データの位置についての情報は、テクスチャーデータの全長と輝度データの長さとを含みうる。その他にデコーダにより切り取られる輝度データの位置を表すいかなる形の情報も含みうる。
【００４０】
本実施形態では、色成分スケーラビリティと色深さスケーラビリティとをいずれも支援しうるビットストリームの構成について説明したが、多階層構造を用いた色深さスケーラビリティのみを支援しようとすれば、各階層の輝度データの位置情報３１０、３４０は省略しうる。
【００４１】
図４は、色成分スケーラビリティ及び色深さスケーラビリティをＦＧＳ階層構造内で具現した様子を図示している。
【００４２】
ＦＧＳ（Ｆｉｎｅ  Ｇｒａｉｎ  ＳＮＲ  ｓａｌａｂｉｌｉｔｙ）は、ＳＮＲスケーラビリティを具現する１つの技法であって、ＳＮスケーラビリティは、ビデオ入力を同じフレーム率と同じ解像度を有しつつ、量子化の正確度の異なる２つの階層に符号化する技術である。特にＦＧＳは、ビデオ入力を基礎階層と向上階層の２階層にエンコーディングし、向上階層の残差信号をエンコーディングした後、ネットワーク伝送効率またはデコーダ側の状況により伝送しないか、あるいは伝送してもデコーダによりデコーディングされないようにしうる。これを通じてネットワークの伝送ビット率によってデータの量を調節して適切に伝送しうる。
【００４３】
ＳＶＭ（Ｓｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｍｏｄｅｌ）３．０のＦＧＳは漸進的な精製表現（Ｒｅｆｉｎｅｍｅｎｔ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）を使用して具現される。ＦＧＳでのＳＮＲスケーラビリティは、ＦＧＳエンコーディング結果で生成されるＮＡＬユニットをいかなる地点でも切り取り（Ｔｒｕｎｃａｔｅ）可能にして達成しうる。ＦＧＳは、基礎階層とＦＧＳ向上階層とで構成されるが、基礎階層は最も低い伝送ビット率により伝送しうる最小限のビデオ質を表現する基礎階層フレームを生成し、ＦＧＳ向上階層は最も低い伝送ビット率以上から適切に切り取られて伝送されるか、デコーダにより適切に切り取られてデコーディングされうるＮＡＬユニットを生成する。ＦＧＳ向上階層では、原本フレームから基礎階層または下位向上階層で得られた復元されたフレームを差分した残差信号を変換し、量子化してデコーダ側に伝送するが、上位階層に行くほど量子化パラメータ値を減少させ、さらに精密な残差を生成することによってＳＮＲスケーラビリティを具現しうる。
【００４４】
本実施形態は、色深さスケーラビリティを第１ＦＧＳ階層（基礎階層）、第２ＦＧＳ階層（第１ＦＧＳ向上階層）、第３ＦＧＳ階層（第２ＦＧＳ向上階層）の３つのＦＧＳ階層を用いて具現する方法を示している。
【００４５】
一般的に、ＳＶＭ  ３．０のＦＧＳ階層構造では、１つの階層が増加すれば、テクスチャーデータのために使用しうるビット数が１つずつ増加する。これを色深さ容量を増加させるのに使用すれば、第２ＦＧＳ階層は、第１ＦＧＳ階層に比べて１ビット多い色深さを支援し、第３ＦＧＳ階層は、第２ＦＧＳ階層に比べて１ビット多い色深さを支援しうる。このようにエンコーダがＦＧＳ階層構造を用いて異なる色深さのテクスチャーデータをエンコーディングして伝送すれば、デコーダはディスプレイ装置が支援する色深さスケーラビリティに関する情報を獲得し、受信されたビットストリームから支援可能な色深さ容量を超える階層のビットストリームを除去した後、残りのビットストリームを復号化してビデオフレームを復元しうる。
【００４６】
一方、本実施形態によるビットストリームは、色成分スケーラビリティを支援するためにあらゆるＦＧＳ階層内の輝度データ４２０、４４０、４６０を色差データ４３０、４５０、４７０と区分可能にする輝度データの位置情報４１０を含みうる。したがって、ディスプレイ装置が第２ＦＧＳ階層に該当する色深さを支援しつつ、グレースケールを支援する場合であれば、デコーダは、第３階層に該当するビットストリームを切り取って除去し、第１階層及び第２階層それぞれの輝度データの位置情報４１０によって不要な色差データ４３０、４５０も切り取った後、ビデオフレームを復元しうる。輝度データの位置情報は、ＧＯＰヘッダ、ピクチャーヘッダ、スライスヘッダまたはビットストリーム内の適切ないかなる位置にも挿入できる。本実施形態による輝度データの位置についての情報は各ＦＧＳ階層内のテクスチャーデータの全長と輝度データの長さとを含みうる。その他にデコーダにより切り取られる輝度データの位置を示すいかなる形態の情報も含みうる。
【００４７】
本実施形態では、色成分スケーラビリティと色深さスケーラビリティとをいずれも支援できるビットストリームの構成について説明したが、ＦＧＳを用いた色深さスケーラビリティのみを支援しようとすれば、各ＦＧＳ階層に対する輝度データの位置情報４１０は省略しうる。
【００４８】
図５は、ＦＧＳを用いた色空間スケーラブルビットストリームの他の実施形態を示す図面である。
【００４９】
図５に示された実施形態も、図４の説明と同じくＦＧＳを用いて色空間スケーラブルコーディング及びデコーディングをするためのビットストリームの構造を示している。但し、図４に示された実施形態はＦＧＳ階層順に輝度データ及び色差データで構成されたテクスチャーデータを含む構造である一方、図５に示された実施形態はあらゆるＦＧＳ階層の輝度データ５２０ないし５４０をあらゆるＦＧＳ階層の色差データ５５０ないし５７０から分離してビットストリームの前方に配置する構造である。本実施形態も色深さスケーラビリティ及び色成分スケーラビリティを第１ＦＧＳ階層（基礎階層）、第２ＦＧＳ階層（第１ＦＧＳ向上階層）、第３ＦＧＳ階層（第２ＦＧＳ向上階層）の３つのＦＧＳ階層を用いて具現したものであって、デコーダはディスプレイ装置が支援する色深さ容量に関する情報を獲得し、受信されたビットストリームから支援可能な色深さ容量を超える階層のビットストリームを除去した後、残りのビットストリームを復号化してビデオフレームを復元しうる。特に、本実施形態によるビットストリームは、色成分スケーラビリティを支援するために輝度データ５４０と色差データ５５０との境界に対する位置情報５１０を含みうる。この場合、色差データをあきらめることによって最大の輝度データが利用できるので、高鮮明度のグレースケールの映像を復元しうる。
【００５０】
図６は、本発明の実施形態による色空間スケーラブルビデオエンコーダ６００の構造を示すブロック図である。
【００５１】
色空間スケーラブルビデオエンコーダ６００は、時間的変換部６１０、空間的変換部６２０、量子化部６３０、エントロピー符号化部６４０、色空間スケーラブルビットストリーム生成部６５０、逆量子化部６６０、逆空間的変換部６７０を含んで構成されうる。時間的変換部６１０は再びモーション推定部６１２、モーション補償部６１４及び差分器６１６に細分化されうる。
【００５２】
モーション推定部６１２は、入力ビデオフレームのうち、参照フレームを基準に現在フレームのモーション推定を行い、モーションベクトルを求める。このような動き推定のために広く使われるアルゴリズムはブロックマッチングアルゴリズムである。すなわち、与えられたモーションブロックを参照フレームの特定探索領域内でピクセル単位で移動させつつ、そのエラーが最低となる場合の変位を動きベクトルと推定することである。モーション推定のために固定された大きさのモーションブロックを利用できるが、階層的可変サイズブロックマッチング法（ＨＶＳＢＭ）による可変サイズを有するモーションブロックを用いてモーション推定を行っても良い。モーション推定部６１２は、モーション推定の結果で求められるモーションベクトル、モーションブロックの大きさ、参照フレーム番号などのモーションデータをエントロピー符号化部６４０に提供する。
【００５３】
モーション補償部６１４は、前記入力ビデオフレームの時間的重複性を減少させる。この場合、モーション補償部６１４は、前記モーション推定部６１２で計算されたモーションベクトルを利用して参照フレームに対してモーション補償を行うことによって、現在フレームについての時間的予測フレームを生成する。
【００５４】
差分器６１６は、現在フレームと前記時間的予測フレームとを差分することによってビデオの時間的重複性を除去する。
【００５５】
空間的変換部６２０は、差分器６１６によって時間的重複性が除去されたフレームに対して、空間的スケーラビリティを支援する空間的変換法を使用して空間的重複性を除去する。このような空間的変換法としては、主にＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）、ウェーブレット変換などが使われている。空間的変換の結果で求められる係数を変換係数というが、空間的変換としてＤＣＴを使用する場合にＤＣＴ係数と称し、ウェーブレット変換を使用する場合にウェーブレット係数と称する。
【００５６】
量子化部６３０は、空間的変換部６２０で求めた変換係数を量子化する。量子化とは、任意の実数値で表現される前記変換係数を一定区間に分けて不連続的な値で表し、これを所定のインデックスでマッチングさせる作業を意味する。特に、空間的変換方法でウェーブレット変換を利用する場合には、量子化方法としてエンベデッド量子化方法を利用する場合が多い。このようなエンベデッド量子化方法は、前記変換係数をスレショルド値を変更させつつ（１／２に変更）、そのスレショルド値を超える成分を優先的に符号化する方式であって、空間的連関性（ｓｐａｔｉａｌ  ｒｅｄｕｎｄａｎｃｙ）を利用して効率的な量子化を行う。このようなエンベデッド量子化方法としては、ＥＺＷ（Ｅｍｂｅｄｄｅｄ  Ｚｅｒｏｔｒｅｅｓ  Ｗａｖｅｌｅｔ  Ａｌｇｏｒｉｔｈｍ）、ＳＰＩＨＴ（Ｓｅｔ  Ｐａｒｔｉｔｉｏｎｉｎｇｉｎ  Ｈｉｅｒａｒｃｈｉｃａｌ  Ｔｒｅｅｓ）、ＥＺＢＣ（Ｅｍｂｅｄｄｅｄ  Ｚｅｒｏ  Ｂｌｏｃｋ  Ｃｏｄｉｎｇ）などがある。
【００５７】
エントロピー符号化部６４０は、量子化部６３０によって量子化された変換係数と、モーション推定部６１２によって提供されるモーションデータとを無損失符号化して出力ビットストリームを生成する。このような無損失符号化方法としては、算術符号化、可変長符号化などが使われうる。
【００５８】
色空間スケーラブルビットストリーム生成部６５０は、エントロピー符号化部６４０について提供されたビットストリームに、量子化部６３０から提供されたテクスチャーデータのうち、輝度データの位置情報を適切な形で挿入する。色空間スケーラブルビットストリーム生成部６５０により生成されるビットストリームの形式は、図２の説明と同じである。
【００５９】
一方、本発明の他の実施形態では色空間スケーラブルビットストリーム生成部６５０が輝度データの位置情報を全体ビットストリームのヘッダではない、量子化部６３０により量子化されたテクスチャーデータのヘッダ部分に先に挿入してエントロピー符号化部６４０に提供することもできる。この場合、デコーダ８００端ではビットストリームを復号化した後、テクスチャーデータのヘッダから輝度データの位置情報を抽出しうる。
【００６０】
ビデオエンコーダ６００がエンコーダ端とデコーダ端との間のドリフトエラーを減少させるために閉ループビデオエンコーディングを支援する場合には、逆量子化部６６０、逆空間的変換部６７０をさらに含みうる。
【００６１】
逆量子化部６６０は、量子化部６３０で量子化された係数を逆量子化する。このような逆量子化過程は、量子化過程の逆に該当する過程である。
【００６２】
逆空間的変換部６７０は、前記逆量子化結果を逆空間的変換し、これを加算器６８０に提供する。
【００６３】
加算器６８０は、逆空間的変換部６７０から提供される残差フレームと、モーション補償部６１４から提供されてフレームバッファ（図示せず）に保存された以前フレームを加算してビデオフレームを復元し、復元されたビデオフレームをモーション推定部６１２に参照フレームとして提供する。
【００６４】
図６では、単一階層ビデオエンコーダを中心に説明したが、本実施形態によるビデオエンコーダは、図３に示された多階層構造を用いた色空間スケーラブルビデオコーディングでも拡張可能であるということは当業者にとって自明である。
【００６５】
図７は、本発明の実施形態による色空間スケーラブルビデオデコーダの構造を示すブロック図である。
【００６６】
本実施形態による色空間スケーラブルビデオデコーダ７００は、ビットストリーム前処理部７１０、エントロピー復号化部７２０、逆量子化部７３０、逆空間的変換部７４０、及びモーション補償部７５０を含んで構成されうる。
【００６７】
ビットストリーム前処理部７１０は、ディスプレイ装置から支援可能な色空間に関する情報を獲得して、この色空間情報によって受信されたビットストリームを切り取ってエントロピー復号化部７２０に提供する。ディスプレイ装置により支援される色空間に関する情報とは、カラー映像をディスプレイしているか、グレースケール映像をディスプレイしているか、または支援する色深さ容量がいくらかに関する情報を言う。
【００６８】
図２及び図３で説明したようにディスプレイ装置がグレースケール映像だけを支援する場合、ビットストリーム前処理部７１０はビットストリームから輝度データの位置情報を抽出し、テクスチャーデータのうち、色差データに該当する部分を切り取ってモーションデータ及び輝度データだけを含むビットストリームをエントロピー復号化部７２０に提供する。またビットストリーム前処理部７１０は、ディスプレイ装置が支援する色深さ容量を超えるビットまたは階層を切り取って、残りのビットストリームをエントロピー復号化部７２０に提供することもある。
【００６９】
一方、他の実施形態では、ビットストリーム前処理部７１０による前処理なしにエントロピー復号化部７２０が受信されたビットストリームを復号化してテクスチャーデータを抽出した後、テクスチャーデータのヘッダ部分に含まれている輝度データの位置情報を抽出して必要によって色差データを切削することもできる。
【００７０】
エントロピー復号化部７２０は、エントロピー符号化方式の逆に無損失復号化を行い、モーションデータ、及びテクスチャーデータを抽出する。そして、テクスチャーデータは逆量子化部７３０に提供し、モーションデータはモーション補償部７５０に提供する。
【００７１】
逆量子化部７３０は、エントロピー復号化部７２０から伝えられたテクスチャーデータを逆量子化する。逆量子化過程は、エンコーダ３００端で所定のインデックスで表現して伝達した値からこれとマッチングされる量子化された係数を探す過程である。インデックスと量子化係数との間のマッチング関係を表すテーブルはエンコーダ６００端から伝えられ、エンコーダとデコーダとの既定の約束によるものであり得る。
【００７２】
逆空間的変換部７４０は、空間的変換を逆に行い、前記逆量子化の結果で生成された係数を空間的領域での残余イメージを復元する。例えば、ビデオエンコーダ端でウェーブレット方式で空間的に変換された場合には、逆空間的変換部７４０は逆ウェーブレット変換を行い、ビデオエンコーダ端からＤＣＴ方式に空間的変換された場合には、逆ＤＣＴ変換を行う。
【００７３】
モーション補償部７５０は、エントロピー復号化部７２０から提供されるモーションデータを利用して、既に復元されたビデオフレームをモーション補償してモーション補償フレームを生成する。もちろん、このようにモーション補償過程は現在フレームがエンコーダ端で時間的予測過程を通じて符号化された場合に限って適用される。
【００７４】
加算器７６０は、逆空間的変換部で復元される残差イメージが時間的予測によって生成されたものである時には、前記残差イメージとモーション補償部７５０から提供されるモーション補償されたフレームを加算してビデオフレームを復元する。
【００７５】
図８は、ＦＧＳ階層構造での色空間スケーラブルビデオエンコーダ８００の一実施形態を示すブロック図である。
【００７６】
本実施形態によるエンコーダは、基礎階層エンコーダ８１０及び向上階層エンコーダ８５０を含みうる。本実施形態は、１つの基礎階層と１つの向上階層とを使用する場合を例としたが、さらに多くの階層を利用しても本発明を適用できるということは、当業者ならば十分に理解できるであろう。
【００７７】
基礎階層エンコーダ８１０は、モーション推定部８１２、モーション補償部８１４、空間的変換部８１８、量子化部８２０、エントロピー符号化部８２２、色空間スケーラブルビットストリーム生成部８３２、逆量子化部８２４、逆空間的変換部８２６及びデブロック部８３０を含んで構成されうる。
【００７８】
モーション推定部８１２は、入力ビデオフレームのうち、参照フレームを基準に現在フレームのモーション推定を行い、モーションベクトルを求める。本実施形態では、デブロック部８３０からデブロックされた復元フレームを提供されて予測のためのモーションベクトルを求める。モーション推定部８１２は、モーション推定の結果で求められるモーションベクトル、モーションブロックの大きさ、参照フレーム番号などのモーションデータをエントロピー符号化部８２２に提供する。
【００７９】
モーション補償部８１４は、前記モーション推定部８１２で計算されたモーションベクトルを利用して純方向参照フレームまたは逆方向参照フレームに対してモーション補償（ｍｏｔｉｏｎ  ｃｏｍｐｅｎｓａｔｉｏｎ）を行うことによって、現在フレームに対する時間的予測フレームを生成する。
【００８０】
差分器８１６は現在フレームとモーション補償部８１４から提供された時間的予測フレームを差分することによって、ビデオの時間的重複性を除去する。
【００８１】
空間的変換部８１８は、差分器８１６によって時間的重複性が除去されたフレームに対して、空間的スケーラビリティを支援する空間的変換法を使用して空間的重複性を除去する。
【００８２】
量子化部８２０は、空間的変換部８１８で求めた変換係数を量子化する。
【００８３】
エントロピー符号化部８２２は、量子化部８２０によって量子化された変換係数と、モーション推定部８１２によって提供されるモーションデータを無損失符号化して出力ビットストリームを生成する。
【００８４】
色空間スケーラブルビットストリーム生成部８３２は、エントロピー符号化部８２２について提供されたビットストリームに、量子化部８２０から提供されたテクスチャーデータのうち、輝度データの位置情報を適切な形で挿入する。色空間スケーラブルビットストリーム生成部８３２により生成されるビットストリームの形式は、図４ないし図５の説明と同じである。
【００８５】
一方、本発明の他の実施形態では色空間スケーラブルビットストリーム生成部８３２が輝度データの位置情報を全体ビットストリームのヘッダではない、量子化部８２０により量子化されたテクスチャーデータのヘッダ部分に先に挿入してエントロピー符号化部８２２に提供することもできる。この場合、デコーダ９００端ではビットストリームを復号化した後、テクスチャーデータのヘッダから輝度データの位置情報を抽出しうる。
【００８６】
ビデオエンコーダ８００がエンコーダ端とデコーダ端との間のドリフトエラーを減少するための閉ループビデオエンコーディングを支援する場合には、逆量子化部８２４、逆空間的変換部８２６などをさらに含みうる。
【００８７】
デブロック部８３０は、加算器８２８から復元されたビデオフレームを提供されてフレーム内のブロック間の境界による人為性を除去するデブロックを行う。デブロックされた復元ビデオフレームは、向上階層エンコーダ８５０に参照フレームとして提供される。
【００８８】
一方、向上階層エンコーダ８５０は、空間的変換部８５４、量子化部８５６、エントロピー符号化部８６８、逆量子化部８５８、逆空間的変換部８６０、及びデブロック部８６４を含んで構成されうる。
【００８９】
色空間スケーラブルビットストリーム生成部８７０は、エントロピー符号化部８６８について提供されたビットストリームに、量子化部８５６から提供されたテクスチャーデータのうち、輝度データの位置情報を適切な形で挿入する。色空間スケーラブルビットストリーム生成部８７０により生成されるビットストリームの形式は、図４ないし図５の説明と同じである。
【００９０】
一方、本発明の他の実施形態では色空間スケーラブルビットストリーム生成部８７０が輝度データの位置情報を全体ビットストリームのヘッダではない、量子化部８５６により量子化されたテクスチャーデータのヘッダ部分に先に挿入してエントロピー符号化部８６８に提供することもできる。この場合、デコーダ９００端ではビットストリームを復号化した後、テクスチャーデータのヘッダから輝度データの位置情報を抽出しうる。
【００９１】
差分器８５２は、現在フレームから基礎階層により提供された参照フレームを差分して残差フレームを生成する。残差フレームは、空間的変換部８５４、量子化部８５６を経てコーディングされ、逆量子化部８５８、逆空間的変換部８６０を経て復元される。
【００９２】
加算器８６２は、逆空間的変換部８６０から提供された復元された残差フレームと基礎階層により提供された参照フレームを加算して復元されたフレームを生成する。復元されたフレームは、上位向上階層に参照フレームとして提供される。
【００９３】
空間的変換部８５４、量子化部８５６、エントロピー符号化部８６８、逆量子化部８５８、逆空間的変換部８６０の動作は、基礎階層に存在する同一名の構成要素と同じであるために、重複説明は省略する。
【００９４】
以上、図８では他の識別番号を有しつつ、同じ名称を有する構成要素が複数個存在すると説明したが、特定名称を有する１つの構成要素が基礎階層及び向上階層での動作をいずれも処理すると説明しても良い。
【００９５】
図９は、ＦＧＳ階層構造での色空間スケーラブルビデオデコーダ９００の一実施形態を示すブロック図である。
【００９６】
ビデオデコーダ９００は、基礎階層デコーダ９１０と向上階層デコーダ９５０とを含んで構成されうる。
【００９７】
向上階層デコーダ９５０は、ビットストリーム前処理部９５３、エントロピー復号化部９５５、逆量子化部９６０、逆空間的変換部９６５を含んで構成されうる。
【００９８】
ビットストリーム前処理部９５３は、ディスプレイ装置から支援可能な色空間に関する情報を獲得し、この色空間情報によって受信されたビットストリームを切り取ってエントロピー復号化部９５５に提供する。ディスプレイ装置により支援される色空間に関する情報とは、カラー映像をディスプレイするか、グレースケール映像をディスプレイするか、または支援する色深さ容量がいくらかに関する情報を言う。
【００９９】
エントロピー復号化部９５５は、エントロピー符号化方式の逆に無損失復号化を行い、テクスチャーデータを抽出する。そして、テクスチャーデータは、逆量子化部９６０に提供する。
【０１００】
逆量子化部９６０は、エントロピー復号化部９５５から伝えられたテクスチャーデータを逆量子化する。逆量子化過程は、エンコーダ６００端で所定のインデックスで表現して伝達した値からこれとマッチングされた量子化された係数を探す過程である。
【０１０１】
逆空間的変換部９６５は、空間的変換を逆に行い、前記逆量子化の結果で生成された係数を空間的領域での残差イメージに復元する。
【０１０２】
加算器９７０は、逆空間的変換部で復元される残差イメージと基礎階層デコーダのデブロック部９４０から提供される参照フレームを加算してビデオフレームを復元する。
【０１０３】
一方、基礎階層デコーダ９１０は、ビットストリーム前処理部９１３、エントロピー復号化部９１５、逆量子化部９２０、逆空間的変換部９２５、モーション補償部９３０、及びデブロック部９４０を含んで構成されうる。
【０１０４】
ビットストリーム前処理部９１３は、ディスプレイ装置で支援可能な色空間に関する情報を獲得し、この色空間情報によって受信されたビットストリームを切り取ってエントロピー復号化部９１５に提供する。ディスプレイ装置により支援される色空間に関する情報とは、カラー映像をディスプレイするか、グレースケール映像をディスプレイするか、または支援する色深さ容量がいくらかに関する情報を言う。
【０１０５】
エントロピー復号化部９１５は、エントロピー符号化方式の逆に無損失復号化を行い、テクスチャーデータ及びモーションデータを抽出する。そして、テクスチャーデータは、逆量子化部９２０に提供する。
【０１０６】
モーション補償部９３０は、エントロピー復号化部９１５から提供されるモーションデータを利用し、既復元されたビデオフレームをモーション補償してモーション補償フレームを生成する。もちろん、このようにモーション補償過程は現在フレームがエンコーダ端で時間的予測過程を通じて符号化された場合に限って適用される。
【０１０７】
加算器９３５は、逆空間的変換部９２５で復元される残差イメージが時間的予測によって生成されたものである時には、前記残差イメージとモーション補償部９３０から提供されるモーション補償されたフレームとを加算してビデオフレームを復元する。
【０１０８】
デブロック部９４０は、図８に示された基礎階層エンコーダのデブロック部４３０に対応するものであって、加算器９３５により復元されたビデオフレームをデブロックして基礎階層フレームを生成し、この基礎階層フレームを向上階層デコーダ９５０の加算器９７０に参照フレームとして提供する。
【０１０９】
その他に、逆量子化部９２０、逆空間的変換部９２５の動作は、向上階層に存在する同一名の構成要素と同様なので、重複説明は省略する。
【０１１０】
以上、図９では他の識別番号を有しつつ、同じ名称を有する構成要素が複数個存在すると説明したが、特定名称を有する１つの構成要素が基礎階層及び向上階層での動作をいずれも処理すると説明しても良い。
【０１１１】
今まで、図６及び図９の各構成要素は  ソフトウェアまたはＦＰＧＡ（フィールドプログラマブルゲートアレイ）または注文型半導体（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ；ＡＳＩＣ）のようなハードウェア構成要素を意味することができる。しかし、前記構成要素はソフトウェアまたはハードウェアに限定されるものではなくて、アドレッシング可能な保存媒体に存在すべく構成されても良く、１つまたはそれ以上のプロセッサーを実行させるように構成されても良い。  前記構成要素内で提供される機能はもっと細分化された構成要素によって具現されることができるし、複数の構成要素たちを合わせて特定の機能を遂行する  一つの構成要素で具現することもできる。
【０１１２】
図１０は、本発明の実施形態によるエンコーディング過程を示すフローチャートである。
【０１１３】
本実施形態によるビデオエンコーダ６００の時間的変換部６１０及び空間的変換部６２０がビデオ入力フレームの時間的重複及び空間的重複を除去（Ｓ１０１０）する。この際、時間的重複を除去した後で空間的変換を除去してもよく、空間的重複を先に除去した後で時間的重複を除去しても良い。時間的重複及び空間的重複の除去結果、生成される変換係数を量子化部６３０が量子化（Ｓ１０２０）する。量子化された変換係数は、エントロピー符号化部６４０により符号化されてビットストリームを生成（Ｓ１０３０）する。エントロピー符号化されたビットストリームにこのビットストリーム内の輝度データの位置情報を追加してデコーダ端でスケーラブルした色空間を支援しうるビットストリームを生成（Ｓ１０４０）し、デコーダに伝送する。
【０１１４】
図１１は、本発明の実施形態による色成分スケーラブルビデオデコーディング過程を示すフローチャートである。
【０１１５】
本実施形態によるビデオデコーダ７００のビットストリーム前処理部７１０は、受信されたビットストリームから輝度データの位置情報を抽出（Ｓ１１１０）する。抽出された輝度データの位置情報によってビットストリーム前処理部７１０は、ビットストリームから色差データ部分を切り取る（Ｓ１１２０）。前処理されたビットストリームをエントロピー復号化部７２０が復号化（Ｓ１１３０）し、逆量子化部７３０が逆量子化（Ｓ１１４０）した後、逆空間的変換部７４０で逆空間的変換を行ってビデオフレームを復元（Ｓ１１５０）する。
【０１１６】
図１２は、本発明の実施形態による色深さスケーラブルビデオデコーディング過程を示すフローチャートである。
【０１１７】
本実施形態によるデコーダのビットストリーム前処理部７１０は、ディスプレイ装置から色深さ容量に関する情報を獲得（Ｓ１２１０）し、獲得した色深さ容量に関する情報によって入力されたビットストリームから色深さ容量を超えるビットを切り取って、第２ビットストリームを生成（Ｓ１２２０）する。第２ビットストリームをエントロピー復号化部７２０で復号化（Ｓ１２３０）し、逆量子化部７３０で逆量子化（Ｓ１２４０）した後、逆空間的変換部７４０で逆空間的変換を行ってビデオフレームを復元（Ｓ１２５０）する。
【０１１８】
以上、添付図を参照して本発明の実施例を説明したが、本発明が属する技術分野で当業者ならば本発明がその技術的思想や必須特徴を変更せずとも他の具体的な形に実施されうるということが理解できるであろう。したがって、前述した実施例は全ての面で例示的なものであって、限定的なものではないと理解せねばならない。
【産業上の利用可能性】
【０１１９】
本発明は、色空間スケーラブルビデオコーディング及びデコーディング方法、並びにその装置に関する技術分野に好適に適用されうる  。
【図面の簡単な説明】
【０１２０】
【図１】本発明の実施形態による色空間スケーラブルビデオコーディングの概念の適用例を示す図である。
【図２】本発明の実施形態による色空間スケーラブルビットストリームの構造の一実施形態を示す図である。
【図３】多階層構造での色空間スケーラブルビットストリームの構造の一実施形態を示す図である。
【図４】ＦＧＳ階層構造での色空間スケーラブルビットストリームの構造の一実施形態を示す図である。
【図５】ＦＧＳ階層構造での色空間スケーラブルビットストリームの構造の他の実施形態を示す図である。
【図６】本発明の実施形態による色空間スケーラブルビデオエンコーダの構造を示すブロック図である。
【図７】本発明の実施形態による色空間スケーラブルビデオデコーダの構造を示すブロック図である。
【図８】ＦＧＳ階層構造での色空間スケーラブルビデオエンコーダの一実施形態を示すブロック図である。
【図９】ＦＧＳ階層構造での色空間スケーラブルビデオデコーダの一実施形態を示すブロック図である。
【図１０】本発明の実施形態によるエンコーディング過程を示すフローチャートである。
【図１１】本発明の実施形態による色成分スケーラブルビデオデコーディング過程を示すフローチャートである。
【図１２】本発明の実施形態による色深さスケーラブルビデオデコーディング過程を示すフローチャートである。
【符号の説明】
【０１２１】
７００      デコーダ
７１０      ビットストリーム前処理部
７２０      エントロピー復号化部
７３０      逆量子化部
７４０      逆空間的変換部
７５０      モーション補償部
【図１】
2006246473.tif 000003
【図２】
2006246473.tif 000004
【図３】
2006246473.tif 000005
【図４】
2006246473.tif 000006
【図５】
2006246473.tif 000007
【図６】
2006246473.tif 000008
【図７】
2006246473.tif 000009
【図８】
2006246473.tif 000010
【図９】
2006246473.tif 000011
【図１０】
2006246473.tif 000012
【図１１】
2006246473.tif 000013
【図１２】
2006246473.tif 000014