(57)【要約】【課題】　動映像符号化のためのＤＣＴ演算量調節方法及びその装置を提供する。【解決手段】　以前映像データに対する復号化演算量を示す復号器複雑度情報および動き推定に対する演算量変化情報を示すＭＥ演算量変化情報を入力される段階と、前記入力された復号器複雑度情報及びＭＥ演算量変化情報に基づいて現在映像データに対するＤＣＴスキッピングを調節する段階とを含むＤＣＴ演算量調節方法。これにより、デコーダに割り当てられた演算量を最大限活用でき、また映像の特性に関係なく動映像エンコーダの演算複雑度を一定に維持できる。【選択図】　図３
2004040811.tif 000002
【特許請求の範囲】
【請求項１】
　動映像符号化のためのＤＣＴ演算量調節方法において、
　（ａ）以前映像データに対する復号化演算量を示す復号器複雑度情報を入力される段階と、
　（ｂ）前記（ａ）段階で入力された復号器複雑度情報を利用して現在映像データに対するＤＣＴスキッピングを調節する段階とを含むことを特徴とするＤＣＴ演算量調節方法。
【請求項２】
　前記（ａ）段階は、（ａ１）以前映像データに対する復号化演算量を示す復号器複雑度情報を計算する段階をさらに含むことを特徴とする請求項１に記載の方法。
【請求項３】
　前記（ｂ）段階は、
　（ｂ１）前記（ａ）段階で入力された復号器複雑度情報を利用して現在映像データに対するＤＣＴ目標演算量を計算する段階と、
　（ｂ２）前記（ｂ１）段階で計算されたＤＣＴ目標演算量に基づいて現在映像データのＤＣＴスキッピングのためのしきい値を計算する段階と、
　（ｂ３）前記計算されたしきい値によって現在映像データに対するＤＣＴスキッピングを調節する段階とを含むことを特徴とする請求項１に記載の方法。
【請求項４】
　前記（ａ）段階の復号器複雑度情報は、復号器で以前映像データに対して割り当てられた演算量情報と実際消費された演算量情報とを含むことを特徴とする請求項１に記載の方法。
【請求項５】
　前記復号器複雑度情報は、以前映像データに対する復号化演算のうちＩＤＣＴ演算が占める演算量情報をさらに含むことを特徴とする請求項４に記載の方法。
【請求項６】
　以前映像データは選定された数の以前フレームであり、現在映像データは現在符号化されるフレームであることを特徴とする請求項１ないし５のうちいずれか１項に記載の方法。
【請求項７】
　前記現在映像データに対するＤＣＴスキッピングは現在符号化されるフレームのブロック単位で行われることを特徴とする請求項１に記載の方法。
【請求項８】
　動映像符号化のためのＤＣＴ演算量調節方法において、
　（ａ）以前映像データに対する復号化演算量を示す復号器複雑度情報及び動き推定に対する演算量変化情報を示すＭＥ演算量変化情報を入力される段階と、
　（ｂ）前記（ａ）段階で入力された復号器複雑度情報及びＭＥ演算量変化情報を利用して現在映像データに対するＤＣＴスキッピングを調節する段階とを含むことを特徴とするＤＣＴ演算量調節方法。
【請求項９】
　前記（ａ）段階は、（ａ１）以前映像データに対する復号化演算量を示す復号器複雑度情報を計算する段階をさらに含むことを特徴とする請求項８に記載の方法。
【請求項１０】
　前記ＭＥ演算量変化情報は現在映像データに対する目標動き推定演算量と以前映像データに対して実際に行われた動き推定演算量との差値であることを特徴とする請求項８に記載の方法。
【請求項１１】
　前記（ｂ）段階は、
　（ｂ１）前記（ａ）段階で入力された前記復号器複雑度情報及び前記ＭＥ演算量変化情報を利用して現在映像データに対するＤＣＴ目標演算量を計算する段階と、
　（ｂ２）前記（ｂ１）段階で計算されたＤＣＴ目標演算量に基づいて現在映像データのＤＣＴスキッピングのためのしきい値を計算する段階と、
　（ｂ３）前記計算されたしきい値によって現在映像データに対するＤＣＴスキッピングを調節する段階とを含むことを特徴とする請求項８に記載の方法。
【請求項１２】
　前記（ａ）段階の復号器複雑度情報は、復号器で以前映像データに対して割り当てられた演算量情報と実際消費された演算量情報とを含むことを特徴とする請求項８に記載の方法。
【請求項１３】
　前記復号器複雑度情報は、以前映像データに対する復号化演算のうちＩＤＣＴ演算が占める演算量情報をさらに含むことを特徴とする請求項１０に記載の方法。
【請求項１４】
　以前映像データは選定された数の以前フレームであり、現在映像データは現在符号化されるフレームであることを特徴とする請求項７ないし１３のうちいずれか１項に記載の方法。
【請求項１５】
　前記現在映像データに対するＤＣＴスキッピングは現在符号化されるフレームのブロック単位で行われることを特徴とする請求項８に記載の方法。
【請求項１６】
　前記（ｂ２）段階で現在映像データのしきい値Ｔｎ＋１は、
【数１】
2004040811.tif 000011
により決定されるが、ここで、αは収斂速度を調節するパラメータ、Ｔｎは以前映像データのしきい値、Ｑｎは以前映像データの量子化係数、Ｑｎ＋１は現在映像データの量子化係数、Ｃｎは以前映像データに対して行われたＤＣＴ演算量、Ｃｔは現在映像データに対する目標ＤＣＴ演算量であることを特徴とする請求項３または１１に記載の方法。
【請求項１７】
　前記（ｂ３）段階は、（ｂ４）前記計算されたしきい値がＳＡＤ／Ｑより小さな場合にはＤＣＴをスキッピングし、前記計算されたしきい値がＳＡＤ／Ｑより大きい場合にはＤＣＴを行う段階をさらに含むが、ここでＳＡＤはブロック整合誤差であり、Ｑは現在符号化される映像データの量子化係数であることを特徴とする請求項３または１１に記載の方法。
【請求項１８】
　動映像符号化のためのＤＣＴ演算量調節装置において、
　入力された以前映像データに対する復号化演算量を示す復号器複雑度情報を利用して、現在映像データに対するＤＣＴスキッピングを調節するＤＣＴ演算量調節部と、
　前記ＤＣＴ演算量調節部からの制御信号によって入力された現在映像データに対してＤＣＴ変換またはＤＣＴ変換スキッピングを行うＤＣＴ変換部とを含むことを特徴とするＤＣＴ演算量調節装置。
【請求項１９】
　入力された以前映像データに対する復号化演算量を示す復号器複雑度情報を計算する復号器複雑度計算部をさらに含むことを特徴とする請求項１６に記載の装置。
【請求項２０】
　前記ＤＣＴ演算量調節部は、前記復号器複雑度情報を利用して現在映像データに対するＤＣＴ目標演算量を計算し、前記計算されたＤＣＴ目標演算量に基づいて現在映像データのＤＣＴスキッピングのためのしきい値を計算し、前記計算されたしきい値によって現在映像データに対するＤＣＴスキッピングを調節することを特徴とする請求項１８に記載の装置。
【請求項２１】
　前記復号器複雑度情報は、復号器で以前映像データに対して割り当てられた演算量情報と実際消費された演算量情報とを含むことを特徴とする請求項１８に記載の装置。
【請求項２２】
　前記復号器複雑度情報は、以前映像データに対する復号化演算のうちＩＤＣＴ演算が占める演算量情報をさらに含むことを特徴とする請求項２０に記載のＤＣＴ演算量調節装置。
【請求項２３】
　以前映像データは選定された数の以前フレームであり、現在映像データは現在符号化されるフレームであることを特徴とする請求項１８ないし２２のうちいずれか１項に記載のＤＣＴ演算量調節装置。
【請求項２４】
　前記現在映像データに対するＤＣＴスキッピングは現在符号化されるフレームのブロック単位で行われることを特徴とする請求項１８に記載の装置。
【請求項２５】
　動映像符号化のためのＤＣＴ演算量調節装置において、
　入力された以前映像データに対する復号化演算量を示す復号器複雑度情報及び動き推定に対する演算量変化情報を示すＭＥ演算量変化情報を利用して、現在映像データに対するＤＣＴスキッピングを調節するＤＣＴ演算量調節部と、
　前記ＤＣＴ演算量調節部からの制御信号によって入力された現在映像データに対してＤＣＴ変換またはＤＣＴ変換スキッピングを行うＤＣＴ変換部とを含むことを特徴とするＤＣＴ演算量調節装置。
【請求項２６】
　入力された以前映像データに対する復号化演算量を示す復号器複雑度情報を計算する復号器複雑度計算部をさらに含むことを特徴とする請求項２５に記載の装置。
【請求項２７】
　前記ＭＥ演算量変化情報は、現在映像データに対する目標動き推定演算量と以前映像データに対して実際に行われた動き推定演算量との差値であることを特徴とする請求項２５に記載のＤＣＴ演算量調節装置。
【請求項２８】
　前記ＤＣＴ演算量調節部は、前記入力された復号器複雑度情報及びＭＥ演算量変化情報を利用して現在映像データに対するＤＣＴ目標演算量を計算し、前記計算されたＤＣＴ目標演算量に基づいて現在映像データのＤＣＴスキッピングのためのしきい値を計算し、前記計算されたしきい値によって現在映像データに対するＤＣＴスキッピングを調節することを特徴とする請求項２５に記載のＤＣＴ演算量調節装置。
【請求項２９】
　前記復号器複雑度情報は、復号器で以前映像データに対して割り当てられた演算量情報と実際消費された演算量情報とを含むことを特徴とする請求項２５に記載の装置。
【請求項３０】
　前記復号器複雑度情報は、以前映像データに対する復号化演算のうちＩＤＣＴ演算が占める演算量情報をさらに含むことを特徴とする請求項２９に記載のＤＣＴ演算量調節装置。
【請求項３１】
　以前映像データは選定された数の以前フレームであり、現在映像データは現在符号化されるフレームであることを特徴とする請求項２５ないし３０のうちいずれか１項に記載のＤＣＴ演算量調節装置。
【請求項３２】
　前記現在映像データに対するＤＣＴスキッピングは現在符号化されるフレームのブロック単位で行われることを特徴とする請求項２５に記載の装置。
【請求項３３】
　前記現在映像データのしきい値Ｔｎ＋１は、
【数２】
2004040811.tif 000012
により決定されるが、ここで、αは収斂速度を調節するパラメータ、Ｔｎは以前映像データのしきい値、Ｑｎは以前映像データの量子化係数、Ｑｎ＋１は現在映像データの量子化係数、Ｃｎは以前映像データに対して行われたＤＣＴ演算量、Ｃｔは現在映像データに対する目標ＤＣＴ演算量であることを特徴とする請求項２０または２８に記載のＤＣＴ演算量調節装置。
【請求項３４】
　前記ＤＣＴ演算量調節部は、前記計算されたしきい値がＳＡＤ／Ｑより小さな場合にはＤＣＴをスキッピングし、前記計算されたしきい値がＳＡＤ／Ｑより大きい場合にはＤＣＴを行う段階をさらに含むが、ここでＳＡＤはブロック整合誤差であり、Ｑは現在符号化される映像データの量子化係数であることを特徴とする請求項２０または２８に記載のＤＣＴ演算量調節装置。
【発明の詳細な説明】
【技術分野】
【０００１】
　本発明は、動映像符号化方法及び装置に係り、特に動映像符号化のためのＤＣＴ演算量を調節するための方法及びその装置に関する。
【背景技術】
【０００２】
　図１は、一般的な動映像符号化のためのエンコーダ１２０及びデコーダ１４０を図示するブロック図である。
【０００３】
　ＶＯＤ（Ｖｉｄｅｏ Ｏｎ Ｄｅｍａｎｄ）サービスや動映像通信のために、エンコーダ１２０は圧縮技術により符号化されたビットストリームを生成し、デコーダ１４０は入力されたビットストリームから映像を復元する機能を行う。
【０００４】
　まず、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）部１２２は空間的相関性を除去するために８×８画素ブロック単位で入力される映像データに対してＤＣＴ演算を行い、量子化（Ｑｕａｎｔｉｚａｔｉｏｎ：Ｑ）部１２４はＤＣＴ部１２２で得られたＤＣＴ係数に対して量子化を行い、いくつかの代表値に表現することによって、高効率損失圧縮を行う。
【０００５】
　逆量子化（Ｉｎｖｅｒｓｅ Ｑｕａｎｔｉｚａｔｉｏｎ：ＩＱ）部１２６はＱ部１２４で量子化された映像データを逆量子化する。ＩＤＣＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）部１２８はＩＱ部１２６で逆量子化された映像データに対してＩＤＣＴ変換を行う。フレームメモリ部１３０は、ＩＤＣＴ部１２８でＩＤＣＴ変換された映像データをフレーム単位に貯蔵する。
【０００６】
　動き推定（Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ：ＭＥ）部１３２は、入力される現在フレームの映像データとフレームメモリ部１３０に貯蔵された以前フレームの映像データとを利用してマクロブロック当り動きベクトルＭＶとブロック整合誤差に該当するＳＡＤ（ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ）を推定する。
【０００７】
　ＶＬＣ部（ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ：ＶＬＣ）１３４は、ＭＥ部１３２で推定された動きベクトルＭＶによってＤＣＴ及び量子化処理されたデータで統計的重畳性を除去する。
【０００８】
　エンコーダ１２０により符号化されたビットストリームは、可変長復号化部１４２、ＩＱ部１４４、ＩＤＣＴ部１４６、フレームメモリ部１４８、及び動き補償部１５０よりなるデコーダ１４０により復号化される。
【０００９】
　一方、ＶＯＤサービスまたはリアルタイム動映像通信のために、動映像をリアルタイムで符号化及び復号化する必要があり、このためにはエンコーダ及びデコーダの演算量を効果的に調節する必要がある。特にＭＰＥＧ４及びＨ．２６ｘをはじめとするあらゆる動映像符号化技術で演算量の最も多くの比重を占める部分がＤＣＴ部分とＭＥ部である。
【００１０】
　したがって、エンコーダではＤＣＴ部及びＭＥ部での演算量を減らすためにＤＣＴスキッピング技法及び高速ＭＥアルゴリズムを使用する。デコーダの演算量はエンコーダの符号化結果によって決定され、デコーダの演算量に影響を与える要素はスキップされたブロックの数である。
【００１１】
　図２は、従来のＤＣＴスキッピング技術を適用した動映像エンコーダを図示する。
【００１２】
　図２の動映像エンコーダは、図１の動映像エンコーダ１２０にＤＣＴ部２１０のＤＣＴ演算量を調節するためのＤＣＴ演算量調節部２８０がさらに付加されている。
【００１３】
　図２のＤＣＴ演算量調節部２８０は、ＭＥ部２７０で推定されたブロック当りＳＡＤおよびＱ部２２０での量子化係数Ｑを選定されたしきい値Ｔと比較して、ＤＣＴ部２１０での各８×８ブロックのＤＣＴスキッピング可否を決定する。すなわち、ＤＣＴ演算量調節部２８０はＳＡＤ／Ｑが特定しきい値Ｔより小さければＥＯＢ（ｅｎｄ ｏｆ ｂｌｏｃｋ）が０に近い可能性が大きいので、符号化せずに出力させ、ＳＡＤ／Ｑが特定しきい値Ｔより大きい場合にはＤＣＴを行わせて、符号化期のＤＣＴ演算量を減らす。
【００１４】
　しかし、従来技術による動映像エンコーダの場合、デコーダに割り当てられる演算量の限界があるだけでなく、状況によって割当演算量及び実際消費される演算量が変わりうることを考慮していないために、このようなエンコーダにより符号化されたビットストリームが入力される場合、デコーダが入力されたビットストリームに対して正常に復号化を行えなくなるか、デコーダに割り当てられる演算量を十分に活用できなくなる問題点があった。
【００１５】
　また、従来技術による動映像エンコーダの場合、選定されたしきい値Ｔが映像シーケンス内で一つの値に固定されていて、マクロブロック単位またはフレーム別にＤＣＴ演算複雑度が変わることを考慮していないために、入力された動映像のデータのリアルタイム符号化が正常に行われない問題点があった。
【発明の開示】
【発明が解決しようとする課題】
【００１６】
　本発明が解決しようとする技術的課題は、デコーダの演算量を考慮してエンコーダでのＤＣＴ演算量を調節することによって、デコーダに割り当てられた演算量を最大限活用すると同時に入力されたビットストリームに対する復号化を正常的に行える動映像符号化のためのＤＣＴ演算量調節方法及びその装置を提供するところにある。
【００１７】
　本発明によるさらに他の技術的課題は、ＭＥ部の演算量変化分をＤＣＴモジュールに適用することによって映像の特性に関係なく動映像エンコーダの演算複雑度を一定に維持する動映像符号化のためのＤＣＴ演算量調節方法及びその装置を提供するところにある。
【課題を解決するための手段】
【００１８】
　前記の技術的課題を解決するために、本発明による動映像符号化のためのＤＣＴ演算量調節方法は、（ａ）以前映像データに対する復号化演算量を示す復号器複雑度情報を入力される段階と、（ｂ）前記（ａ）段階で入力された復号器複雑度情報を利用して現在映像データに対するＤＣＴスキッピングを調節する段階とを含むことを特徴とする。
【００１９】
　前記の技術的課題を解決するために、本発明による望ましいＤＣＴ演算量調節方法は、前記（ａ）段階は、（ａ１）以前映像データに対する復号化演算量を示す復号器複雑度情報を計算する段階をさらに含むことを特徴とする。
【００２０】
　前記の技術的課題を解決するために、本発明によるさらに望ましいＤＣＴ演算量調節方法は、前記（ｂ）段階は、ｂ１）前記（ａ）段階で入力された復号器複雑度情報を利用して現在映像データに対するＤＣＴ目標演算量を計算する段階と、（ｂ２）前記（ｂ１）段階で計算されたＤＣＴ目標演算量に基づいて現在映像データのＤＣＴスキッピングのためのしきい値を計算する段階と、（ｂ３）前記計算されたしきい値によって現在映像データに対するＤＣＴスキッピングを調節する段階とを含むことを特徴とする。
【００２１】
　前記の技術的課題を解決するために、本発明による動映像符号化のためのＤＣＴ演算量調節方法は、（ａ）以前映像データに対する復号化演算量を示す復号器複雑度情報及び動き推定に対する演算量変化情報を示すＭＥ演算量変化情報を入力される段階と、（ｂ）前記（ａ）段階で入力された復号器複雑度情報及びＭＥ演算量変化情報を利用して現在映像データに対するＤＣＴスキッピングを調節する段階とを含むことを特徴とする。
【００２２】
　前記の技術的課題を解決するために、本発明による望ましい動映像符号化のためのＤＣＴ演算量調節方法は、（ｂ１）前記（ａ）段階で入力された前記復号器複雑度情報及び前記ＭＥ演算量変化情報を利用して現在映像データに対するＤＣＴ目標演算量を計算する段階と、（ｂ２）前記（ｂ１）段階で計算されたＤＣＴ目標演算量に基づいて現在映像データのＤＣＴスキッピングのためのしきい値を計算する段階と、（ｂ３）前記計算されたしきい値によって現在映像データに対するＤＣＴスキッピングを調節する段階とを含むことを特徴とする。
【００２３】
　前記の技術的課題を解決するために、本発明による動映像符号化のためのＤＣＴ演算量調節装置は、入力された以前映像データに対する復号化演算量を示す復号器複雑度情報を利用して、現在映像データに対するＤＣＴスキッピングを調節するＤＣＴ演算量調節部と、前記ＤＣＴ演算量調節部からの制御信号によって入力された現在映像データに対してＤＣＴ変換またはＤＣＴ変換スキッピングを行うＤＣＴ変換部とを含むことを特徴とする。
【００２４】
　前記の技術的課題を解決するために、本発明による望ましいＤＣＴ演算量調節装置は、入力された以前映像データに対する復号化演算量を示す復号器複雑度情報を計算する復号器複雑度計算部をさらに含むことを特徴とする。
【００２５】
　前記の技術的課題を解決するために、本発明によるさらに望ましいＤＣＴ演算量調節装置において、前記ＤＣＴ演算量調節部は、前記復号器複雑度情報を利用してＤＣＴ目標演算量を計算し、前記計算されたＤＣＴ目標演算量に基づいて現在映像データのＤＣＴスキッピングのためのしきい値を計算し、前記計算されたしきい値によって現在映像データに対するＤＣＴスキッピングを調節することを特徴とする。
【００２６】
　前記の技術的課題を解決するために、本発明による動映像符号化のためのＤＣＴ演算量調節装置は、入力された以前映像データに対する復号化演算量を示す復号器複雑度情報および動き推定に対する演算量変化情報を示すＭＥ演算量変化情報に基づいて、現在映像データに対するＤＣＴスキッピングを調節するＤＣＴ演算量調節部と、前記ＤＣＴ演算量調節部からの制御信号によって入力された現在映像データに対してＤＣＴ変換またはＤＣＴ変換スキッピングを行うＤＣＴ変換部とを含むことを特徴とする。
【００２７】
　前記の技術的課題を解決するために、本発明による望ましい動映像符号化のためのＤＣＴ演算量調節装置において、前記ＤＣＴ演算量調節部は、前記入力された復号器複雑度情報及びＭＥ演算量変化情報を利用して現在映像データに対するＤＣＴ目標演算量を計算し、前記計算されたＤＣＴ目標演算量に基づいて現在映像データのＤＣＴスキッピングのためのしきい値を計算し、前記計算されたしきい値によって現在映像データに対するＤＣＴスキッピングを調節することを特徴とする。
【発明の効果】
【００２８】
　前記のように本発明によるＤＣＴ演算量調節方法及び装置を使用する場合、動映像エンコーダにデコーダでの演算量情報及びＭＥ部の演算量変化分を考慮したＤＣＴスキッピング方法を適用することによってデコーダに割り当てられた演算量を最大限活用すると同時に、入力されたビットストリームに対する復号化を正常的に遂行することができ、また映像の特性に関係なく動映像エンコーダの演算複雑度を一定に維持できる効果がある。
【発明を実施するための最良の形態】
【００２９】
　以下、添付した図面を参照して本発明の望ましい実施形態を説明する。
【００３０】
　図３は、本発明による動映像エンコーダ及びデコーダを図示するブロック図である。
【００３１】
　本発明による動映像エンコーダ３２０は、入力される映像データに対してＤＣＴ演算を行うためのＤＣＴ部３２２、ＤＣＴ部３２２で得られたＤＣＴ係数に対して量子化係数Ｑによって量子化を行うためのＱ部３２４、Ｑ部３２４で量子化された映像データを逆量子化するためのＩＱ部３２６、ＩＱ部３２６で逆量子化された映像データに対してＩＤＣＴ変換を行うためのＩＤＣＴ部３２８、ＩＤＣＴ部３２８でＩＤＣＴ変換された映像データをフレーム単位で貯蔵するためのフレームメモリ部３３０、入力される現在フレームの映像データとフレームメモリ部３３０に貯蔵された以前フレームの映像データとを利用して動き推定関連情報を生成するＭＥ部３３２、ＭＥ部３３２で推定された動きベクトルＭＶによってＤＣＴ及び量子化処理されたデータから統計的重畳性を除去して符号化する可変長符号化（ｖａｒｉａｂｌｅ ｌｅｎｇｔｈｃｏｄｉｎｇ：ＶＬＣ）部３３４、及び復号化器３４０のデコーダ複雑度計算部３４２からのデコーダ複雑度情報に基づいてＤＣＴ部３２２のＤＣＴ演算量を調節するためのＤＣＴ演算量調節部３３６を含む。
【００３２】
　デコーダ３４０は図１に示したデコーダと同じ機能を行う可変長復号化部、ＩＱ部、ＩＤＣＴ部、フレームメモリ部、動き補償部、及びデコーダ複雑度計算部を含み（図示せず）、説明の便宜のために詳細な説明は省略する。
【００３３】
　デコーダ複雑度計算部３４２はデコーダ３４０での以前フレーム、すなわちｎ番目フレーム（以下、‘ｆ（ｎ）’という）の復号化が終了する場合、以前フレームｆ（ｎ）での復号演算量情報、すなわち復号化複雑度情報を生成して、逆方向チャンネルを通じてエンコーダ３２０のＤＣＴ演算量調節部３３６に伝送する。以前フレームｆ（ｎ）に対する復号化演算のうちＩＤＣＴ演算が占める演算量がＣＩＤＣＴ（ｎ）、デコーダに割り当てられた演算量がＣａｌｌｏｗｅｄ（ｎ）、実際消費された演算量がＣｔｏｔａｌ（ｎ）である場合、最近復号化されたｋ個のフレームのデコーダ複雑度情報は｛ＣＩＤＣＴ（ｊ）、Ｃａｌｌｏｗｅｄ（ｊ）、Ｃｔｏｔａｌ（ｊ）｜ｊ＝ｎ−ｋ＋１，．．．，ｎ｝である。ここで、ｋは選択的に設定できる変数である。
【００３４】
　また、本実施形態で実際消費された演算量Ｃｔｏｔａｌ（ｎ）はデコーダ３４０の可変長復号化部、ＩＱ部、ＩＤＣＴ部、動き補償部によりｎ番目フレームに対して消費された全体演算量を意味する。また、本実施形態ではＩＤＣＴの演算量ＣＩＤＣＴ（ｎ）がデコーダ複雑度情報に含まれたが、選択的にデコーダ複雑度情報でＩＤＣＴの演算量ＣＩＤＣＴ（ｎ）を省略し、エンコーダ３２０のＩＤＣＴ部３２８から得ることも可能である。
【００３５】
　ＤＣＴ演算量調節部３３６はデコーダ複雑度計算部３４２から伝送された復号化複雑度情報に基づいて、ＤＣＴスキッピング技法によって入力される映像データのうち現在符号化されるフレームｆ（ｎ＋１）に対するＤＣＴ部３２２でのＤＣＴ遂行回数を調節する。
【００３６】
　本発明の一実施形態によれば、デコーダで復号化された以前フレームｆ（ｎ）に対して実際消費された演算量Ｃｔｏｔａｌ（ｎ）がデコーダに割り当てられた演算量Ｃａｌｌｏｗｅｄ（ｎ）より小さな場合、現在デコーダが割り当てられた資源を十分に使用していないと判断して、現在フレームｆ（ｎ＋１）以後のフレームに対してＤＣＴスキッピングを減らしてエンコーダ及びデコーダの演算量を増加させる。このような場合、デコーダ３４０で復号化が正常的に行われるように維持すると同時に、ＤＣＴスキッピングを減らすことによって優秀な画質を提供できる。
【００３７】
　また、デコーダで復号化された以前フレームｆ（ｎ）に対して実際消費された演算量Ｃｔｏｔａｌ（ｎ）がデコーダに割り当てられた演算量Ｃａｌｌｏｗｅｄ（ｎ）より大きい場合には、現在フレームｆ（ｎ＋１）以後のフレームに対してＤＣＴスキッピングを増やし、エンコーダ及びデコーダのＤＣＴ演算量を減らしてデコーダでの復号化を正常的に行う。この場合、デコーダでのＤＣＴ演算量は減少するが、画質は相対的に劣化する。
【００３８】
　例えば、デコーダに割り当てられた演算量が３００ＭＩＰＳであり、ｎ番目フレームｆ（ｎ）に対して実際消費された演算量が２５０ＭＩＰＳである場合、割り当てられた演算量と実際消費された演算量間の差、すなわち、約５０ＭＩＰＳの演算量に合わせてＤＣＴスキッピングを減らし、エンコーダ及びデコーダの演算量を増やしてデコーダで割り当てられた演算量を最大限活用するようにする。
【００３９】
　このように、従来技術ではＤＣＴスキッピング時に現在フレームでＤＣＴスキッピングのためのしきい値Ｔｃｕｒｒｅｎｔを固定したが、本発明では逆方向チャンネルを通じてデコーダから入力されたデコーダでの以前フレームｆ（ｎ）に対する復号化演算量、すなわちデコーダ複雑度を考慮して現在フレームｆ（ｎ＋１）でのしきい値ＴｃｕｒｒｅｔまたはＴｎ＋１を更新して、デコーダに割り当てられた演算量を最大限活用すると同時に入力されるビットストリームに対する符号化を正常的に行わせる。
【００４０】
　以下、現在フレームｆ（ｎ＋１）のしきい値Ｔｎ＋１を計算するための過程を説明する。
【００４１】
　ＤＣＴ演算複雑度はしきい値Ｔ及び量子化係数Ｑの積逆数に比例するという特性を利用して数式１のように示す。
【００４２】
【数３】
2004040811.tif 000003
【００４３】
　ここで、ＣはＤＣＴ演算複雑度、Ｔはしきい値、Ｑは量子化係数である。
【００４４】
　数式３でｎ番目フレームｆ（ｎ）の演算複雑度、しきい値、量子化係数を各々Ｃｎ、Ｔｎ、Ｑｎと表す場合、数式１からｖ＝ＣｎＴｎＱｎであり、ｎ＋１番目フレームの目標しきい値は数式４のように表すことができる。
【００４５】
【数４】
2004040811.tif 000004
【００４６】
　ここで、Ｃｔはｎ＋１番目フレームｆ（ｎ＋１）に対する目標ＤＣＴ演算複雑度である。
【００４７】
　したがって、数式１及び２により、ｎ＋１番目フレームの目標しきい値Ｔｎ＋１は下記の数式５のように表すことができる。
【００４８】
【数５】
2004040811.tif 000005
【００４９】
　数式５を再び整理すれば数式６のように表すことができる。
【００５０】
【数６】
2004040811.tif 000006
【００５１】
　数式６は若干の流動性をおくために数式７のように表すことができる。
【００５２】
【数７】
2004040811.tif 000007
【００５３】
　ここで、αは収斂速度を調節するパラメータである。数式５で現在フレームｆ（ｎ＋１）のしきい値Ｔｎ＋１は以前フレームｆ（ｎ）でのしきい値Ｔｎ、以前及び現在フレームの量子化係数Ｑｎ及びＱｎ＋１、以前フレームｆ（ｎ）のＤＣＴ演算複雑度Ｃｎ及び現在フレームｆ（ｎ＋１）に対する目標ＤＣＴ演算量Ｃｔによって求められる。
【００５４】
　以下、数式７及びデコーダ複雑度計算部３４２から伝送されたデコーダ複雑度に基づいて、ＤＣＴ演算量調節部３３６で現在フレームｆ（ｎ＋１）でのしきい値を決定する方式を説明する。
【００５５】
　まず、エンコーダ３２０のＤＣＴ演算量調節部３３６ではデコーダ複雑度計算部３４２から伝送されたデコーダの複雑度情報に基づいて現在フレームｆ（ｎ＋１）での目標ＤＣＴ演算量を計算する。本発明による一実施形態では下の数式８によって現在フレームｆ（ｎ＋１）での目標ＤＣＴ演算量を計算する。
【００５６】
【数８】
2004040811.tif 000008
【００５７】
　本実施形態では数式８によってエンコーダ３２０での現在フレームｆ（ｎ＋１）の目標ＤＣＴ演算量を計算した。しかし、選択的に、デコーダ複雑度計算部３４２から伝送されたＣａｌｌｏｗｅｄ（ｎ）及びＣｔｏｔａｌ（ｎ）値に基づいて、所定の数式によって現在フレームｆ（ｎ＋１）の目標ＤＣＴ演算量を計算することも可能である。
【００５８】
　数式８により計算された現在フレームの目標ＤＣＴ演算量Ｃｔ値を数式５に代入することによって、現在フレームｆ（ｎ＋１）でのしきい値Ｔｎ＋１を計算できる。
【００５９】
　ＤＣＴ演算量計算部３３６は計算された現在フレームｆ（ｎ＋１）でのしきい値Ｔｎ＋１に基づいて、現在フレームｆ（ｎ＋１）のｉ番目ブロックに対して、ｉ番目ブロックに該当するＳＡＤｎ＋１，ｉ値および量子化パラメータＱｎ＋１に基づいてｉ番目ブロックのスキッピング可否を決定する。
【００６０】
【数９】
2004040811.tif 000009
【００６１】
　すなわち、数式９である場合には該当ブロック、すなわち、ｎ＋１フレームのｉ番目ブロックに対してＤＣＴをスキッピング、すなわち、ＤＣＴ部３２２を該当ブロックに対して非符号化モードに設定して該当ブロックに対してＤＣＴを行わず、そうでない場合には該当ブロックに対してＤＣＴを行う。
【００６２】
　図４は、本発明の一実施形態によるデコーダ複雑度を考慮してＤＣＴ演算量を調節する方法を説明するためのフローチャートである。以下、図３を参照して本発明によるＤＣＴ演算量調節方法を説明する。
【００６３】
　段階４１０でエンコーダ３２０のＤＣＴ演算量調節部３３６は、逆方向チャンネルを通じてデコーダ３４０のデコーダ複雑度計算部３４２からデコーダでＩＤＣＴが占める演算量ＣＩＤＣＴ（ｎ）、デコーダに割り当てられた演算量Ｃａｌｌｏｗｅｄ（ｎ）、及び実際消費された演算量Ｃｔｏｔａｌ（ｎ）情報を含む最近復号化されたｋ個のフレームのデコーダ複雑度情報｛ＣＩＤＣＴ（ｊ）、Ｃａｌｌｏｗｅｄ（ｊ）、Ｃｔｏｔａｌ（ｊ）｜ｊ＝ｎ−ｋ＋１，．．．，ｎ｝を伝送される。本実施形態ではＩＤＣＴの演算量ＣＩＤＣＴ（ｊ）がデコーダ複雑度情報に含まれたが、選択的にエンコーダ３２０のＩＤＣＴ部３２８から得ることもできる。
【００６４】
　段階４２０では、入力されたデコーダ複雑度情報に基づいて符号化しようとする現在フレームｆ（ｎ＋１）に対する目標ＤＣＴ演算量Ｃｔを計算する。本発明による実施形態では数式６により計算されたが、選択的にデコーダ複雑度情報に基づいた所定の数式によって目標ＤＣＴ演算量Ｃｔを計算することもできる。
【００６５】
　段階４３０でＤＣＴ演算量調節部３３６は、段階４２０で計算された目標ＤＣＴ演算量Ｃｔ、ＤＣＴ部３１２から入力された以前フレームｆ（ｎ）のＤＣＴ演算量情報Ｃｎ、Ｑ部３１４から入力された以前フレームｆ（ｎ）、及び現在フレームｆ（ｎ＋１）の量子化係数Ｑｎ及びＱｎ＋１に基づいて現在フレームｆ（ｎ＋１）のＤＣＴスキッピングを行うためのしきい値Ｔｎ＋１を計算する。
　段階４４０でＤＣＴ演算量調節部３３６は、ＭＥ部３３２から入力されたＤＣＴスキッピング可否を決定するための現在フレームｆ（ｎ＋１）のｉ番目ブロックのＳＡＤ値ＳＡＤｎ＋１，ｉおよびＱ部３１４からの量子化係数Ｑｎ＋１に基づいて、ＤＣＴ部３１２での各８×８ブロックのＤＣＴスキッピング可否を決定する。すなわち、ＳＡＤｎ＋１，ｉ／Ｑｎ＋１が現在フレームｆ（ｎ＋１）のしきい値Ｔｎ＋１より小さな場合には段階４５０に進む。また、ＳＡＤｎ＋１，ｉ／Ｑｎ＋１が現在フレームｆ（ｎ＋１）のしきい値Ｔｎ＋１より大きい場合には段階４６０に進む。
【００６６】
　段階４５０では、現在フレームｆ（ｎ＋１）のｉ番目ブロックに対するＤＣＴ部３１２の動作が非符号化モードに設定されて、該当ブロック、すなわち現在フレームｆ（ｎ＋１）のｉ番目ブロックのＤＣＴ符号化を行わずにスキッピングして段階４７０に進む。
【００６７】
　段階４６０では該当ブロック、すなわち、現在フレームｆ（ｎ＋１）のｉ番目ブロックのＤＣＴ符号化を行い、段階４７０に進む。
【００６８】
　段階４７０ではｉ番目ブロックが現在フレームの最後のブロックである場合には段階４８０に進み、最後のブロックでない場合には段階４４０に進んで、前記段階４４０ないし４６０を反復的に行う。
【００６９】
　段階４８０では、入力される動映像のデータの符号化が終了するまで前記段階を反復的に行う。
【００７０】
　このように、デコーダの演算量を考慮した符号化を行うことによって、デコーダに割り当てられた演算量を最大限活用できる。
【００７１】
　図５は、本発明によるさらに他の実施形態を示す。
【００７２】
　エンコーダ５２０は、図３のエンコーダ３２０にＭＥ部５３２のＭＥ演算量変化分を計算するためのＭＥ演算量計算部５３８をさらに含む。
【００７３】
　ＭＥ演算量計算部５３８は、ＭＥ部５３２での目標演算量ＣＭＥ，ｔａｒｇｅｔと以前フレームｆ（ｎ）で実際に行われた演算量ＣＭＥ（ｎ）との変化分を計算し、これに基づいたＭＥ演算量変化情報をＤＣＴ演算量調節部５３６に伝送する。
【００７４】
　ＤＣＴ演算量調節部５３６及びＭＥ演算量計算部５３８を除外した他の機能部は図３のエンコーダ３２０と同じ機能を行うので、説明の便宜のために詳細な説明は省略する。
【００７５】
　図６は、本発明によるまた他の実施形態によるＭＥの演算量変化及びデコーダ複雑度を考慮してＤＣＴ演算量を調節する方法を説明するためのフローチャートである。以下、図５を参照してＤＣＴ演算量調節方法を説明する。
【００７６】
　段階６１０でエンコーダ５２０のＤＣＴ演算量調節部５３６は、逆方向チャンネルを通じてデコーダ５４０のデコーダ複雑度計算部５４２からデコーダでの演算量のうちＩＤＣＴが占める演算量ＣＩＤＣＴ（ｎ）、デコーダに割り当てられた演算量Ｃａｌｌｏｗｅｄ（ｎ）、及び実際消費された演算量Ｃｔｏｔａｌ（ｎ）についての演算量情報を含むデコーダ複雑度情報を伝送され、ＭＥ演算量計算部５２８からＭＥ演算量変化情報を伝送される。
【００７７】
　本実施形態ではＩＤＣＴの演算量ＣＩＤＣＴ（ｊ）がデコーダ複雑度情報に含まれたが、選択的にエンコーダ５２０のＩＤＣＴ部５２８から得ることもできる。
【００７８】
　段階６２０では、段階６１０で入力されたデコーダ複雑度情報及びＭＥ演算量変化値に基づいて下数式８によって符号化しようとする現在フレームｆ（ｎ＋１）に対する目標ＤＣＴ演算量を計算する。
【００７９】
【数１０】
2004040811.tif 000010
　ここで、ＣＭＥ，ｔａｒｇｅｔは動き推定演算部５３２での現在フレームｆ（ｎ＋１）に対する目標演算量を意味し、ＣＭＥ（ｎ）は以前フレームｆ（ｎ）で実際に行われた演算量を意味する。
【００８０】
　本実施形態では、数式１０によって現在符号化しようというフレームでの目標ＤＣＴを計算したが、選択的にデコーダ複雑度情報及びＭＥ演算量変化値を考慮した所定の数式によって目標ＤＣＴ演算量を計算することもできる。
【００８１】
　段階６３０でＤＣＴ演算量調節部５３６は、段階６２０で計算された目標ＤＣＴ演算量Ｃｔ、ＤＣＴ部５２２から入力された以前フレームのＤＣＴ演算量情報Ｃｎ、Ｑ部５２４から入力された以前フレームｆ（ｎ）及び現在フレームｆ（ｎ＋１）の量子化係数Ｑｎ及びＱｎ＋１に基づいて、現在フレームｆ（ｎ＋１）のＤＣＴスキッピングを行うためのしきい値Ｔｎ＋１を計算する。
【００８２】
　段階６４０でＤＣＴ演算量調節部５３６は、ＭＥ部５３２から入力された現在ＤＣＴスキッピング可否を決定するための現在フレームのｉ番目ブロックのＳＡＤ値ＳＡＤｎ＋１，ｉおよびＱ部５２４からの量子化係数Ｑｎ＋１に基づいて、ＤＣＴ部５２２での各８×８ブロックのＤＣＴスキッピング可否を決定する。すなわち、ＳＡＤｃｕｒ，ｉ／Ｑｎ＋１が現在フレームｆ（ｎ＋１）のしきい値Ｔｎ＋１より小さな場合には段階６５０に進む。また、ＳＡＤｃｕｒ，ｉ／Ｑｎ＋１が現在フレームｆ（ｎ＋１）のしきい値Ｔｎ＋１より大きい場合には段階６６０に進む。
　段階６５０では、現在フレームｆ（ｎ＋１）のｉ番目ブロックに対するＤＣＴ部５２２の動作が非符号化モードに設定されて、該当ブロック、すなわち現在フレームｆ（ｎ＋１）のｉ番目ブロックのＤＣＴ符号化を行わずにスキッピングする。
【００８３】
　段階６６０では、該当ブロック、すなわち現在フレームｆ（ｎ＋１）のｉ番目ブロックのＤＣＴ符号化を行う。
【００８４】
　段階６７０では、ｉ番目ブロックが現在フレームの最後のブロックである場合には段階６８０に進み、最後のブロックでない場合には段階４４０に進んで、前記段階６４０ないし６６０を反復的に行う。
【００８５】
　段階６８０では、入力される動映像のデータの符号化が終了するまで前記段階を反復的に行う。
【００８６】
　このように、デコーダ５４０での演算複雑度及びＭＥ部５２４での演算量変化分を考慮してＤＣＴ演算量を調節することによって、デコーダに割り当てられた演算量を最大限活用すると同時に、エンコーダの全体的な計算量を目標演算複雑度に近接に維持できる。
【００８７】
　本発明は前述した実施形態に限定されず、本発明の思想内で当業者による変形が可能である。
【００８８】
　本発明はまたコンピュータにて読取りできる記録媒体にコンピュータにて読取りできるコードとして具現することができる。コンピュータにて読取りできる記録媒体はコンピュータシステムによって読出されるデータが貯蔵されるあらゆる記録装置を含む。コンピュータにて読取りできる記録媒体の例にはＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、ハードディスク、フロッピー（登録商標）ディスク、フラッシュメモリ、光データ貯蔵装置などがあり、またキャリヤウェーブ（例えば、インターネットを通した伝送）の形態に具現されるものも含む。またコンピュータにて読取りできる記録媒体はネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータにて読取りできるコードとして貯蔵されて実行される。
【図面の簡単な説明】
【００８９】
【図１】一般的な動映像符号化のためのエンコーダ及びデコーダを図示するブロック図である。
【図２】従来のＤＣＴスキッピング技術を適用した動映像エンコーダを図示するブロック図である。
【図３】本発明の一実施形態による動映像エンコーダ及びデコーダを図示するブロック図である。
【図４】本発明の一実施形態によるＤＣＴ演算量を調節する方法を図示するフローチャートである。
【図５】本発明の一実施形態による動映像エンコーダ及びデコーダを図示するブロック図である。
【図６】本発明の一実施形態によるＤＣＴ演算量を調節する方法を図示するフローチャートである。
【符号の説明】
【００９０】
　３２０　　動映像エンコーダ
　３２２　　ＤＣＴ部
　３２４　　Ｑ部
　３２６　　ＩＱ部
　３２８　　ＩＤＣＴ部
　３３０　　フレームメモリ部
　３３２　　ＭＥ部
　３３４　　ＶＬＣ部
　３３６　　ＤＣＴ演算量調節部
　３４０　　復号化器
　３４２　　デコーダ複雑度計算部
【図１】
2004040811.tif 000013
【図２】
2004040811.tif 000014
【図３】
2004040811.tif 000015
【図４】
2004040811.tif 000016
【図５】
2004040811.tif 000017
【図６】
2004040811.tif 000018