(57)【要約】【課題】符号化方法を表示する付加情報の種類と、付加情報の種類を減らして符号化効率を向上させる、下層と現在層のモードを利用したスケーラブル二進映像符号化／復号化装置を提供する。【解決手段】エンハンスメント階層の映像を現在ブロックと該当領域の下層ブロックを利用して予測されたブロックを比較する第１手段と、エンハンスメント階層の現在ブロックの画素が該当領域の下層ブロックを利用して予測されたブロックの画素と互いに異なる値を有する場合の数が基準値以下であれば、符号化モードを「intra not coded」に決定する第２手段と、エンハンスメント階層の現在ブロックの画素と該当領域の下層ブロックを利用して予測された画素が互いに異なる値を有する場合の数が基準値以上であれば、符号化モードを「intra coded」に決定する第３手段と、符号化モードを表す付加情報を伝送する第４手段とを含む。【選択図】図８
2004242341.tif 000002
【特許請求の範囲】
【請求項１】
下層映像より高い解像度を有する少なくとも一つのエンハンスメント階層映像を含むスケーラブル二進映像を、エンハンスメント階層の符号化モードを利用して符号化するためのスケーラブル二進映像符号化装置において、
前記エンハンスメント階層の映像を現在ブロックと該当領域の下層ブロックを利用して予測されたブロックを比較する第１手段と、
前記エンハンスメント階層の現在ブロックの画素が該当領域の下層ブロックを利用して予測されたブロックの画素と互いに異なる値を有する場合の数が基準値以下であれば、符号化モードを「intra not coded」に決定する第２手段と、
前記エンハンスメント階層の現在ブロックの画素と該当領域の下層ブロックを利用して予測された画素が互いに異なる値を有する場合の数が基準値以上であれば、符号化モードを「intra coded」に決定する第３手段と、
前記符号化モードを表す付加情報を伝送する第４手段と
を含むことを特徴とするスケーラブル二進映像符号化装置。
【請求項２】
前記付加情報は次の表に記載の値を有する
【表１】
2004242341.tif 000010
ことを特徴とする請求項１に記載のスケーラブル二進映像符号化装置。
【請求項３】
下層映像より高い解像度を有する少なくとも一つのエンハンスメント階層映像を含むスケーラブル二進映像を、エンハンスメント階層の符号化モードを利用して復号化するためのスケーラブル二進映像復号化装置において、
前記エンハンスメント階層の映像を現在ブロックと該当領域の下層ブロックを利用して予測されたブロック及び下層の動きベクトルを利用してエンハンスメント階層の以前ブロックから予測されたブロックを比較する第１手段と、
前記エンハンスメント階層の現在ブロックの画素が該当領域の下層ブロックを利用して予測されたブロックの画素と互いに異なる値を有する場合の数か基準値以下であれば、符号化モードを「intra not coded」に決定し、前記符号化モードを表す付加情報を伝送する第２手段と
を含むことを特徴とするスケーラブル二進映像復号化装置。
【請求項４】
前記エンハンスメント階層の現在ブロックの画素と該当領域の下層ブロックを利用して予測されたブロックの画素が互いに異なる値を有する場合の数が基準値以上であれば、符号化モードを「intra coded」に決定し、前記符号化モードを表す付加情報を伝送する第３手段をさらに含む
ことを特徴とする請求項３に記載のスケーラブル二進映像復号化装置。
【請求項５】
前記エンハンスメント階層の現在ブロックの画素が下層の動きベクトルを利用してエンハンスメント階層の以前ブロックから予測されたブロックの画素と互いに異なる値を有する場合の数が基準値以上であれば、符号化モードを「inter not coded」に決定し、前記符号化モードを表す付加情報を伝送する第４手段をさらに含む
ことを特徴とする請求項４に記載のスケーラブル二進映像復号化装置。
【請求項６】
前記エンハンスメント階層の現在ブロックの画素と下層の動きベクトルを利用してエンハンスメント階層の以前ブロックから予測されたブロックの画素が互いに異なる値を有する場合の数が基準値以上であれば、符号化モードを「inter coded」に決定し、前記符号化モードを表す付加情報を伝送する第５手段をさらに含む
ことを特徴とする請求項５に記載のスケーラブル二進映像復号化装置。
【請求項７】
前記付加情報は次の表に記載の値を有し、
【表２】
2004242341.tif 000011
（１）「intra not coded」モード、（２）「intra codedモード」モード、（３）「inter not coded」モード、（４）「inter coded」モードを表す
ことを特徴とする請求項３ないし６のいずれか１項に記載のスケーラブル二進映像復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、二進映像の符号化／復号化に関するもので、特に下層と現在層の相関性を考慮して二進映像の符号化モードを減らし、その相関性に従ってモード符号化ビットを割り当てて符号化ビット量を減らす下層と現在層のモードを利用したスケーラブル二進映像符号化／復号化装置に関する。
【背景技術】
【０００２】
伸縮型（Scalable：スケーラブルとも称す）符号化は、解像度が異なる複数個の層（基本層（base layer）、高位層）を伝送し復号化することができる機能である。複数個の異なる解像度を有する情報を伝送するためには、一般的な符号化方法よりさらに多い情報を伝送しなければならない。伝送する情報量を減らすために、図１５に図示のように低解像度の基本層（base layer）を利用し、高解像度の高位層（enhancement layer：エンハンスメント階層とも称す）を推定する方法を適用する。
【０００３】
二進映像情報を複数個の層（layer）を用いて伸縮型（Scalable）符号化する方法においても、前記のように基本層を利用するか、または複数層により構成された場合、高位層では下層を用いて効果的に符号化する。
【０００４】
図１５は、一般的な映像情報の伸縮型符号化方法を示す。
ここでは、高位層の１段階のみ表示したが、一般的に多段階の高位層が含まれる。従って、現在階層（current layer）のすぐ下の下位階層（lower layer）は最下位階層（基本層）であることもあり、高位層中の一階層であることもある。二進映像（binary image）情報に対する伸縮型符号化方法も、一般的な伸縮型符号化方法と同じ構造を有する。
【０００５】
二進映像に対する高位層を符号化するために、イントラ映像（“Intra-Picture）の高位層の場合は、図１５に図示のようにすぐ下層（lower layer）から予測して符号化する。高位層の予測映像（Predicted-Picture）の場合には、すぐ下層の映像と以前映像の両方から予測して符号化する。
【０００６】
映像情報を符号化する過程においては、ブロック単位（１６×１６の大きさ）の符号化を遂行する。二進映像情報に対するブロック（Macro Block：以下、ＭＢと称す）を符号化する際に、高位層のＩ−ピクチャ（I-Picture）または高位層のＰ−ピクチャ（P-Picture）において、Intra ＭＢ、すなわち、二進映像から予測せずに、自分の下層のみを使用して符号化しなければならないＭＢは、ＩＳＯ／ＩＥＣ  ＷＧ１１のＶＭ（verification Model）７．０に提示されたスキャンインターリーブ（scan Interleaving）方法を使用して符号化しなければならない。そして、その以外のＭＢは、基本層の符号化方法であるＣＡＥ方法を使用して符号化する。
【０００７】
スキャンインターリーブ方法が図１６に図示されている。基本層で高位層を符号化するために、下と上の二つの隣接する画素値を利用する。もし、二つの隣接画素値が同一な場合、現在位置の画素値も同一値を有する可能性が高い。従って、二つの隣接画素値が同一で現在位置の画素値も二つの隣接画素値と同一な場合は符号化しなくてもよい。
【０００８】
二つの隣接画素値が異なる場合は、現在位置の画素値を符号化しなければならない。この場合をトランジショナルサンプルデータ（ＴＳＤ：Transitional Sample Data）という。そして、二つの隣接画素値は同一であるが、現在位置の画素値が異なる場合も符号化しなければならない。この場合をエクセプショナルサンプルデータ（ＥＳＤ：Exceptional Sample Data）という。従って、高位層をスキャンインターリーブ方法を用いて符号化するためには、２種類のデータ（ＴＳＤ、ＥＳＤ）を符号化しなければならない。
【０００９】
スキャンインターリーブ方法を用いて符号化する場合、ＴＳＤとＥＳＤを符号化するために、まず、ＥＳＤの存在有無に対する情報が伝送され、ＥＳＤが存在するＭＢと存在しないＭＢに対してスキャンインターリーブの適用範囲を異なるようにする。
【００１０】
図１７（ａ）及び（ｂ）は、ＣＡＥ（Context-based Arithmetic EnCode）方法に使用されるコンテキストを示す。図１７（ａ）に図示のように、符号化対象画素Ｙを囲む周辺画素により構成されるコンテキストの位置によってコンテキストインデックス（Context_ID）が決定される。Ｘ、Ｙ位置の情報を伝送するためにＣ０−Ｃ６から構成されるコンテキストインデックス（Context_ID）形態の発生頻度数によって既に決定されているArithmetic符号化テーブルにより符号化される。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
このように、スキャンインターリーブ方法により符号化しないＭＢは、基本層（base layer）の符号化方法と同じ方法（例えば、ＣＡＥ方法）を使用して符号化する。その中の高位層のＰ−ピクチャにおいて、Inter MBは、動きベクトル（motion vector）を用いて二進映像から予測して符号化する。
【００１２】
また、他の場合は、ＭＢ内の全ての画素が‘０’値を有するか、または全ての画素が‘２５５’の値を有する場合は符号化する必要がなく、“全ての画素が‘０’である”または“全ての画素画‘２５５’である”という付加情報（Mode情報）のみを伝送する。ここで、符号化しようとする映像は二進映像であるので、各画素は‘０’または‘２５５’の２つの値のみを有することができる。一般的に‘０’は背景（background）を表し、‘２５５’は物体（object）を示す。
【００１３】
このように二進映像を符号化するためには、各ＭＢによって符号化方法が異なるように決定され、各ＭＢがどのような符号化方法を使用したかに対する付加情報（Mode）を伝送しなければならない。この場合、付加情報（Mode）に対する種類と付加情報の符号（first shape Code）に対するテーブルが必要である。
【００１４】
Ｉ−ピクチャとＰ−ピクチャ、そしてＢ−ピクチャの高位層に対する既存の付加情報（Mode）の構成は下記のとおりである。
【００１５】
＜Ｉ−ピクチャの高位層のモード＞
１）all_０：ＭＢ内の全ての画素が背景（“０”）
２）all_２５５：ＭＢ内の全ての画素が物体（“２５５”）
３）Intra coded：ＥＳＤ（Exceptional Sample Data）が存在すれば、ＭＢ内の全ての画素に対してスキャンインターリーブ方法を使用して符号化する。ＥＳＤが存在しなければＴＳＤ（Transitional Sample Data）のみスキャンインターリーブ方法を使用して符号化する。
【００１６】
＜Ｐ−ピクチャまたはＢ−ピクチャの高位層のモード＞
１）all_０：前記の説明と同一
２）all_２５５：前記の説明と同一
３）Intra coded：前記の説明と同一
４）Intra not coded：下位階層の領域を補間（Interpolation）して作ったＭＢが現在階層のＭＢとの差が基準値以下
５）Inter coded && MVD＝０：動きベクトルを使用して以前映像から持ってきたＭＢと現在ＭＢを使用しＣＡＥ（Context based Arithmetic Encoding）で符号化する。動きベクトルは“０”。
【００１７】
６）Inter not coded && MVD＝０：動きベクトルを使用して以前映像から持ってきたＭＢと現在ＭＢの差が基準値以下であり、動きベクトルは“０”。
７）Inter coded && MVD！＝０：動きベクトルを使用して以前映像から持ってきたＭＢと現在ＭＢを使用してＣＡＥ符号化。
８）Inter not coded && MVD！＝０：動きベクトルを使用して以前映像から持ってきたＭＢと現在ＭＢとの差が基準値以下。
【００１８】
前記のように符号化されたデータは下記のように復号化される。二進映像の各ＭＢに対するビットストリーム（bit stream）の最初にモードを表示する付加情報が入っている。各ＭＢを復号化するために、まずビットストリームからモード情報を読む。
【００１９】
Ｐ−ピクチャとＢ−ピクチャの高位層に対する既存の付加情報（Mode）を伝送するための符号化テーブルが構成されている。この時、伝送されるビット数を減らすために、下の階層または以前映像から予測して構成する。構成方法は、すぐ下の階層の該当ＭＢが“all_０”または“all_２５５”の場合とその以外の場合とに対する符号化テーブルが構成される。
【００２０】
すぐ下の階層の該当ＭＢモードのすべてが“all_０”でもなく“all_２５５”でもない場合は、すぐ以前の映像の同じ階層の該当ＭＢのモードによって符号化テーブルが構成される。
【００２１】
＜すぐ下の階層の該当ＭＢモードのすべてが“all_０”の場合＞
Mode                  Code
（１）                ０１１１
（２）                ０１１０００１
（３）                ０１１００００
（４）                ０１０
（５）                ００
（６）                ０１１０１
（７）                ０１１００１
（８）                １
【００２２】
＜すぐ下の階層の該当ＭＢモードのすべてが“all_２５５”の場合＞
Mode                  Code
（１）                １
（２）                ００１０１００
（３）                ０００
（４）                ００１０１０１
（５）                ００１１
（６）                ００１０１１
（７）                ００１００
（８）                ０１
【００２３】
各ＭＢ当たり高位層に対する既存の付加情報（Mode）は、Ｉ−ピクチャの場合に３種類（all_０、all_２５５、Intra coded）であり、Ｐ−ピクチャの場合に８種類（all_０、all_２５５、Intra coded、Intra not coded、Inter coded && MVD＝０、Inter not coded && MVD＝０、Inter coded && MVD!＝０、Inter not coded && MVD!＝０）である。付加情報の種類が多ければ各モードを表現するためのビット数が多くなり、従って、伝送されるビット量が多いことを意味する。
【００２４】
図１８は現在層（current layer）と下層（lower layer）間の関係を説明する。現在層と下層の映像は互いに大きさが同一な場合もあり、異なる場合もある。大きさが互いに異なる場合、垂直、水平に共に異なることもあり、一方向のみ異なる場合もある。図１８は、水平のみ異なる場合を説明する。映像の大きさが異なっても、全層の各ＭＢの大きさ（１６×１６）は一定である。従って、現在層の映像が下層の映像より大きい場合は、現在層のＭＢは下層のＭＢ内に含まれる（現在層のＭＢ多数個が下層の１個のＭＢに該当する）。即ち、現在層の映像がダウンサンプリングされ、下層の映像を構成するからである。図１８に図示のように、現在層が下層の２倍の大きさであり、この場合は現在層のＭＢが下層ＭＢの半分（下層の斜線領域）に該当する。
【００２５】
本発明は前記のような従来の問題点を解消するためのもので、本発明の目的は、符号化方法を表示する付加情報の種類と、付加情報の種類を減らして符号化効率を向上させる、下層と現在層のモードを利用したスケーラブル二進映像符号化／復号化装置を提供するものである。
【課題を解決するための手段】
【００２６】
前記のような目的を達成するために、本発明に係るスケーラブル二進映像符号化装置は、下層映像より高い解像度を有する少なくとも一つのエンハンスメント階層映像を含むスケーラブル二進映像を、エンハンスメント階層の符号化モードを利用して符号化するためのスケーラブル二進映像符号化装置において、前記エンハンスメント階層の映像を現在ブロックと該当領域の下層ブロックを利用して予測されたブロックを比較する第１手段と、前記エンハンスメント階層の現在ブロックの画素が該当領域の下層ブロックを利用して予測されたブロックの画素と互いに異なる値を有する場合の数が基準値以下であれば、符号化モードを「intra not coded」に決定する第２手段と、前記エンハンスメント階層の現在ブロックの画素と該当領域の下層ブロックを利用して予測された画素が互いに異なる値を有する場合の数が基準値以上であれば、符号化モードを「intra coded」に決定する第３手段と、前記符号化モードを表す付加情報を伝送する第４手段とを含むことを特徴とする。
【００２７】
また、本発明に係るスケーラブル二進映像復号化装置は、下層映像より高い解像度を有する少なくとも一つのエンハンスメント階層映像を含むスケーラブル二進映像を、エンハンスメント階層の符号化モードを利用して復号化するためのスケーラブル二進映像復号化装置において、前記エンハンスメント階層の映像を現在ブロックと該当領域の下層ブロックを利用して予測されたブロック及び下層の動きベクトルを利用してエンハンスメント階層の以前ブロックから予測されたブロックを比較する第１手段と、前記エンハンスメント階層の現在ブロックの画素が該当領域の下層ブロックを利用して予測されたブロックの画素と互いに異なる値を有する場合の数か基準値以下であれば、符号化モードを「intra not coded」に決定し、前記符号化モードを表す付加情報を伝送する第２手段とを含むことを特徴とする。
【発明の効果】
【００２８】
以上のように、二進映像のモードに従って下層を参照して符号化し、下層と高位層との間の相関性を考慮して符号化ビットを割り当てることによって、符号化ビット量を減らして符号化効率を向上させ得るようになる。
【発明を実施するための最良の形態】
【００２９】
本発明においては、“all_０”、“all_２５５”、“Intra not coded”の３種類のモードの代わりに１つのモード“Intra not coded”のみを使用する。送信端で“all_０”、“all_２５５”または“Intra predicted”に決定されたＭＢは全て“Intra not coded”モードに伝送される。受信端では下階層の画素等を参照し、“Intra not coded”モードから再び“all_０”、“all_２５５”、“Intra predicted”とを区別する。
【００３０】
“Inter coded && MVD＝０”と“Inter coded && MVD!＝０”は、“Inter coded”で表現し、“Inter not coded && MVD＝０”と“Inter not coded && MVD!＝０”は、“Inter not coded”で表現する。その結果、Ｉ−ピクチャは符号化モードを２種類のモードに減らすことができ、Ｐ−ピクチャ（またはＢ−ピクチャ）は符号化モードを４種類に減らすことができる。このようなモードを使用して符号化テーブルを作る。符号化テーブルは下層と高位層の相関性を考慮して下層モードに対し発生する高位層のモードを符号化する。各下層モードに対し発生確率が高い高位層のモードであるほど少ないビット量を割り当てて符号化する。  以下、本発明の技術的思想に従う一実施の形態をあげて、その構成及び動作を添付図面に基づいて詳細に説明する。
【００３１】
Ｉ−ピクチャ（例えば、ＶＯＰ、フレーム、１６×１６マクロブロック等）の高位層に対する符号化モードは、従来方式のモード中“all_０”、“all_２５５”、“Intra predicted”（下層からアップサンプリングして構成されたＭＢと現在のＭＢとの間の差が基準値以下である場合に該当し、既存方式における“Intra not coded”を意味する。以後、本発明において新たに定義された“Intra not coded”と従来の“Intra not coded”を区別するために、従来の“Intra not coded”は、“Intra predicted”と表示する）の３種類のモードを１つのモード“Intra not coded”のみを使用して表示することにより、Ｉ−ピクチャの高位層に対する符号化モードを、下記のように２種類のモードにする。
【００３２】
（１）“Intra not coded”
（２）“Intra coded”
１．符号化モードが“Intra coded”の場合
１）ＥＳＤの存在有無に対する情報を送る。
２）ＥＳＤが存在するとＭＢ全体をＣＡＥ遂行し、ＥＳＤが存在しなければＴＳＤのみＣＡＥを遂行する。
【００３３】
２．符号化モードが“Intra not coded”の場合は、下記に説明する３つの場合を含む。
１）下層のＭＢが“all_０”の場合であり、高位層のＭＢも“all_０”の場合または高位層のＭＢを“all_０”とする場合、１ＭＢ内で高位層ＭＢと差異があるピクセル（pixel）個数の和が基準値以下の場合。
２）下層のＭＢが“all_２５５”の場合であり、高位層のＭＢも“all_２５５”の場合、または高位層のＭＢを“all_２５５とする場合、１ＭＢ内で高位層ＭＢと差異があるピクセル個数の和が基準値以下の場合。
【００３４】
３）下層のＭＢが“all_０”でもなく“all_２５５”でもない場合、下層のＭＢからアップサンプリング（up sampling）したとき、１ＭＢ内で高位層のＭＢと差がでるピクセル個数の和が基準値以下の場合（即ち、下階層からアップサンプリングして構成されたＭＢと現在のＭＢとを比較して決定するが、ＭＢを４×４ブロックに分割しアップサンプリングして構成されたＭＢと現在のＭＢと間のエラーが臨界値より小さい場合または同一な場合）。
【００３５】
従って、復号化時には、“Intra not coded”を表示する付加情報を受信し、下層を参照し、下層が“all_０”の場合、高位層のＭＢの全てを“０”に詰める。下層が“all_２５５”の場合、高位層のＭＢの全てを“２５５”に詰める。また下層が“all_０”や“all_２５５”でない場合、下層のＭＢからアップサンプリングして高位層のＭＢをつくる。
【００３６】
図１は本発明によるＩ−ピクチャの高位層を符号化する方法を示すフローチャートである。
段階ＳＴ５０１で現在のマクロブロックが“Intra not coded”であるかを判断する。本発明では“Intra not coded”が“all_０”、“all_２５５”、“Intra predicted”（従来の“Intra not coded”である）の３種類のモードを含むので、図２に説明される過程により“Intra not coded”モードであるかを判断する。
【００３７】
現在マクロブロックが“Intra not coded”モードでない場合、段階ＳＴ５０２で“Intra coded”モードを表示する付加情報を復号器側に伝送し、現在マクロブロックをスキャンインターリーブ（Scan Interleaving）方法により符号化して復号器側に伝送する。即ち、ＥＳＤの存在有無に対する情報を送り、ＥＳＤが存在するとＭＢの全体をＣＡＥ遂行し、ＥＳＤが存在しなければＴＳＤのみＣＡＥを遂行する。
【００３８】
現在マクロブロックが“Intra not coded”モードの場合、段階ＳＴ５０３で“Intra not coded”モードを表示する付加情報を復号化側に伝送する。
本発明では“Intra not coded”が“all_０”、“all_２５５”、“Intra predicted”（従来の“Intra not coded”である）を意味するので、図２において説明するように前記３種類の場合に該当するかを判断する。
【００３９】
図２は本発明による高位層映像が“Intra not coded”モードであるかを判断する方法を示すフローチャートである。
段階ＳＴ６０１で、現在マクロブロックに該当する下層ＭＢが“all_０モードであるかを判断する。前記下層ＭＢが“all_０”の場合、段階ＳＴ６０２で、現在のマクロブロックが“all_０”モードであるかを判断する。現在マクロブロックと対応する下層領域が同時に“all_０”モードの場合、“Intra not coded”モードを表示する付加情報を復号器側に伝送する。
【００４０】
現在マクロブロックまたは対応する下層ＭＢが“all_０”モードでない場合、段階ＳＴ６０３で、現在マクロブロックに対応する下層ＭＢが“all_２５５”モードであるかを判断する。前記の下層ＭＢが“all_２５５”モードの場合、段階ＳＴ５０４で、現在のマクロブロックが“all_２５５”モードであるかを判断する。現在マクロブロックと対応する下層ＭＢが同時に“all_２５５”モードの場合、“Intra not coded”モードを表示する付加情報を復号器側に伝送する。現在マクロブロックまたは対応する下層ＭＢが“all_２５５”モードでない場合、段階ＳＴ６０５で、現在マクロブロックが“Intra predicted”モードであるかを判断する。現在マクロブロックが “Intra predicted”モードの場合、“Intra not coded”モードを表示する付加情報を復号器側に伝送する段階に進行する。現在マクロブロックが“Intra predicted”モードでない場合、“Intra coded”または“Inter coded”モードを符号化する段階に進行する。
【００４１】
復号化受信端では、図３及び図４に図示のように、“Intra not coded”モードから復号化し、“all_０”、“all_２５５”と“Intra predicted”とを分離し、それぞれに該当する動作を行う。ビットストリームから復号したモード情報が“Intra not coded”である場合、図３に図示されたように復号化する。
【００４２】
段階ＳＴ７０１で、下層のＭＢが“all_０”であるか、または現在マクロブロックのＭＢに該当する下層領域内の全ての画素（sample）が０の場合、現在層のＭＢは“all_０”に該当し、段階ＳＴ７０２で現在層ＭＢ内の全ての画素は０に置換される。
【００４３】
段階ＳＴ７０３で、下層のＭＢが“all_２５５であるか、または現在層ＭＢに該当する下層領域内の全ての画素が２５５の場合、現在層ＭＢは“all_２５５”に該当し、段階ＳＴ７０４で、現在層ＭＢ内の全ての画素は２５５に置換される。
【００４４】
下層のＭＢが“all_０”でもなく“all_２５５”でもない場合は、現在層ＭＢに該当する下層の領域内に‘０’と‘２５５’を有する画素が共に存在する場合である。既存の方法での“Intra not coded”に該当する。この場合、段階ＳＴ７０５で、下層から予測されて構成されたＭＢを現在層のＭＢとして使用する。
【００４５】
従来の方式でＰ−ピクチャとＢ−ピクチャの高位層モードは、前述したように８種類から構成されるが、本発明による符号化方法では、３種類のモード“all_０”、“all_２５５”、“Intra predicted”（従来の“Intra not coded”）は、“Intra not coded”モードに符号化され復号化装置に伝送される。これはＩ−ピクチャの高位層モードと同じ方法である。
【００４６】
また、本発明では、動きベクトルを伝送しないことにより、動きベクトルを探すための複雑度を減らす。従って、従来の“Inter coded && MVD＝０”と“Inter coded && MVD！＝０”は“Inter coded”として表現し、“Inter not coded && MVD＝０”と“Inter not coded && MVD！＝０”は“Inter not coded”として表現する。その結果、Ｐ−ピクチャ（またはＢ−ピクチャ）の高位層に対する符号化モードを、下記のように４種類のモードにする。
【００４７】
（１）“Intra not coded”（“all_０”、“all_２５５”、“Intra not coded”）
（２）“Intra coded”
（３）“Inter not coded”（“Inter not coded && MVD＝０”、“Inter not coded && MVD！＝０”）
（４）“Inter coded”（“Inter coded && MVD＝０”、“Inter coded && MVD！＝０”）
符号化モードが“Intra not coded”と“Intra coded”の場合、Ｉ−ＶＯＰの高位層の“Intra not coded”と“Intra coded”の意味と同一である。
【００４８】
“Inter coded”と“Inter not coded”の場合、以前のＶＯＰから動き補償してマクロブロックを持ってくるために動きベクトルが必要である。動きベクトルは基本層（base layer）の動きベクトルをＶＯＰ大きさの比率に調整して使用する。現在層の映像がダウンサンプリングされ下層の映像を構成するためである。
図１８に示されたように、現在層が下層の水平方向に２倍である場合、現在層のＭＢが下層ＭＢの比率に従って下層の動きベクトルを水平成分を２倍して現在層の動きベクトルとする。
【００４９】
下層が“MVDｓ＝＝０ && No Update”または“MVDｓ！＝０ && No Update”の場合は動きベクトルが０である。“Inter not coded”は下層の動きベクトルを利用して、以前映像から持ってきたＭＢと比較して、差がでる画素のＭＢ内の和が基準値以下の場合を意味する。従って、符号化モードが“Inter not coded”の場合は、下層の動きベクトルを用いて以前映像から持ってきて、追加の符号化または復号化をしない。
【００５０】
下層が“MVDｓ＝＝０ && No Update”または“MVDｓ！＝０ && No Update”の場合は動きベクトルが０である。“Inter coded”は下層の動きベクトルを利用して、以前のＶＯＰから持ってきたＭＢと比較して、差がある画素のＭＢ内の和が基準値以上の場合を意味する。従って、符号化モードが“Inter coded”の場合は、下層の動きベクトルを用いて以前映像から持ってきたＭＢを使用してＣＡＥを遂行することによって高位層ＭＢを得る。
【００５１】
本発明では、Ｐ−ピクチャとＢ−ピクチャの高位層（enhancement layer）のモードは、既存方式の８種類モードから４種類モードに減らすことができる。
【００５２】
図５は、本発明のよる高位層Ｐ−ピクチャとＢ−ピクチャを符号化するフローチャートである。段階ＳＴ９０１で、現在マクロブロックが“Intra not coded”であるかが、前記の図２で説明した方法により判断される。“Intranot coded”の場合は符号化せず、段階ＳＴ９０２で“Intra not coded”モードを表示する付加情報のみ伝送される。“Intra not coded”でなければ，段階ＳＴ９０３で前述した方式のとおりに“Inter coded”及び“Inter not coded”の動きベクトルは基本層（base layer）の動きベクトルを現在層の映像と下層の映像の大きさの比率に調整して動きベクトルを再生する。段階ＳＴ９０４で、現在マクロブロックが“Inter not coded”であるかを判断する。“Inter not coded”の場合、段階ＳＴ９０５で、現在マクロブロックを符号化せずに、“Inter not coded”モードを表示する付加情報のみ伝送される。
【００５３】
現在マクロブロックが“Inter not coded”でない場合、段階ＳＴ９０６で、現在マクロブロックが“Intra coded”であるかを判断する。現在マクロブロックが“Intra coded”である場合、段階ＳＴ９０８で、“Intra coded”モードを表示する付加情報と現在マクロブロックをスキャンインターリーブ方法により符号化したデータを復号化装置に伝送する。“Intra coded”でない場合、段階ＳＴ９０７で“Inter coded”モードを表示する付加情報を伝送し、現在マクロブロックをＣＡＥ（CAE：Contexed-based Arithmetic EnCode）符号化して復号化装置に伝送する。
【００５４】
“Inter coded”と“Inter not coded”の場合、以前の映像から動き補償してＭＢを持ってくるために動きベクトルが必要である。動きベクトルは最下位階層（base layer）の動きベクトルを映像の大きさの比率で調整した後に使用する。  最下位階層から動きベクトルを得る方法は下記のとおりである。
【００５５】
１．最下位階層の該当ＭＢのモードが“all_０”、“all_２５５”または“IntraＣＡＥ”の場合、現在階層のＭＢの動きベクトルは０である。
２．最下位階層の該当ＭＢのモードが“MVDｓ＝＝０ && No Update”、“MVDｓ！＝０ && No Update”、“InterＣＡＥ && MVDｓ＝＝０”または“InterＣＡＥ && MVDｓ！＝０”の場合、最下位階層で再生された動きベクトルを使用する。
【００５６】
このとき、最下位階層の映像と現在階層映像の大きさの比率によって、最下位階層の動きベクトルを調整する。ｘ軸の動きベクトルは、映像のｘ軸大きさの比率によって調整され、ｙ軸の動きベクトルは映像のｙ軸大きさの比率によって調整される。例えば図６において、現在階層の映像１０１が最下位階層の映像１０２よりｘ軸にｎ倍大きいとすれば、現在階層の動きベクトルＶは、基本層の動きベクトルｖをｎ倍掛ける。即ちＶ＝ｎ＊ｖとなる。また、ｙ軸にｍ倍大きいとすれば、現在ＭＢの動きベクトルは、最下位階層の動きベクトルでｙ軸動きベクトルにｍ倍掛けて得る。
【００５７】
図７は、本発明による高位層Ｐ−ピクチャまたはＢ−ピクチャを復号化するフローチャートである。まず、段階ＳＴ１１０でビットストリーム（Bit stream）からモードが復号される。段階ＳＴ１１１で“Intra not coded”の場合、段階ＳＴ１１２で、下層の該当マクロブロックのモードによって復号化せず画素を選択する。
【００５８】
“Intra not coded”でない場合、段階ＳＴ１１３で、前記において説明した方式のとおり、“Inter not coded”、“Inter coded”及び“Inter not coded”の動きベクトルは、下層の動きベクトルをそのまま使用して動きベクトルを再生する。段階ＳＴ１１４で、現在マクロブロックが“Inter not coded”モードであるかを判断する。モードが“Inter not coded”の場合は、段階ＳＴ１１５で復号化せず以前の映像で動き補償して現在ＭＢの画素を詰める。“Inter not coded”でない場合、段階ＳＴ１１６で、現在マクロブロックが“Intra coded”であるかを判断する。“Intra coded”の場合、段階ＳＴ１１８で、現在マクロブロックをスキャンインターリーブ方法により復号化する。“Intra coded”でない場合、段階ＳＴ１１７で現在マクロブロックをＣＡＥ復号化する。
【００５９】
図８に本発明による伸縮型符号化装置の構成を示すブロック図が図示される。多数のサブサンプリング手段（１２１０、１２１１、．．．、１２１Ｎ−２、１２１Ｎ−１）は、その前端のサブサンプリング手段等（１２１０、１２１１、
．．．、１２１Ｎ−２）から映像が入力されサブサンプリングする。多数のスキャン順序変換手段（１２２０、１２２１、．．．、１２２Ｎ−１、１２２Ｎ）は、前記サブサンプリング手段（１２１０、１２１１、．．．、１２１Ｎ−２、１２１Ｎ−１）でサブサンプリングされた各層の映像が入力され、所定大きさのマクロブロック単位に分割して出力する。
【００６０】
多数の伸縮型符号化手段（１２３０、１２３１、．．．、１２３Ｎ−１、１２３Ｎ）は、前記のスキャン順序変換手段（１２２０、１２２１、．．．、１２２Ｎ−１、１２２Ｎ）から各層の映像マクロブロック及び下層の映像ブロックと各層の以前の映像が入力され、“all_０”、“all_２５５”、“Intra not coded”の３種類のモードを１つのモードに符号化し、“Inter not coded && MVD＝０”と“Inter not coded && MVD！＝０”とを“Inter not coded”モードに、そして“Inter coded &&MVD＝０”と“Inter coded && MVD！＝０”を“Inter coded”に置いて伸縮型符号化する。
【００６１】
入力された映像（Picture）は、Ｎ−１層サブサンプリング手段（１２１Ｎ−１）とＮ層スキャン順序変換手段（１２２Ｎ）に入力される。Ｎ層スキャン順序変換手段（１２２Ｎ）は、Ｎ層の映像を所定大きさのマクロブロック（例え、１６×１６マクロブロック等）に分割して出力する。このマクロブロックは、Ｎ層の伸縮型符号化手段（１２３Ｎ）で伸縮型符号化され、ビットストリームで復号器側に伝送される。Ｎ層の伸縮型符号化手段（１２３Ｎ）は、Ｎ層の以前の映像、前記Ｎ層映像のマクロブロックとＮ−１層映像のマクロブロック及び基本層符号化手段（１２３０）の動きベクトルが入力されて伸縮型符号化する。
【００６２】
Ｎ−１層サブサンプリング手段（１２１Ｎ−１層）は、入力された映像をサブサンプリングしてＮ−１層映像に変換して出力する。例えば、映像を２×２マクロブロックに分割し、２×２マクロブロック当たり１つの画素を抽出して、サブサンプリングされた映像をつくる。このようにサブサンプリングされたＮ−１層映像は、Ｎ−１層スキャン順序変換手段（１２２Ｎ−１）で所定大きさのマクロブロックに分割され、Ｎ−１層伸縮型符号化手段（１２３Ｎ−１）に入力される。Ｎ−１層伸縮型符号化手段（１２３Ｎ−１）は、前記Ｎ−１層以前映像、Ｎ−１層映像のマクロブロックとＮ−１層映像のマクロブロック及び基本層符号化手段（１２３０）の動きベクトルが入力されて伸縮型符号化する。
【００６３】
このようにＮ層はＮ−１層に、Ｎ−１層はＮ−２層に、．．．数回サブサンプリングされ、このようにサブサンプリングされた各層の映像マクロブロック及びその下層の映像マクロブロックと各層の以前映像等が、多数の伸縮型符号化手段（１２３０、１２３１、．．．、１２３Ｎ−１、１２３Ｎ）に入力され、“all_０”、“all_２５５”、“Intra not coded”の３種類のモードは“Intra not coded”のモードに符号化され、“Inter not coded && MVD＝０”と“Inter not coded && MVD！＝０”は“Inter not coded”モードに、そして“Inter coded && MVD＝０”と“Inter coded && MVD！＝０”を“Inter coded”モードに伸縮型符号化される。従って、Ｎ＋１個階層の解像度を有する多数の映像層に伸縮型符号化される。
【００６４】
図９に本発明による伸縮型符号化手段の一実施の形態を示すブロック図が図示されている。各層の伸縮型符号化手段（１２３０、１２３１、．．．１２３Ｎ−１、１２３Ｎ）は同一な構造を有し、説明の便宜上、Ｎ層の伸縮型符号化手段（１２３Ｎ）に関して説明する。
【００６５】
動きベクトル調整手段１３１には、前記の基本層伸縮型符号化手段１２３０から動きベクトルが入力され、現在層と基本層の比率に拡大して出力する。動き補償手段１３２は、現在層（Ｎ層）の以前の映像と前記動きベクトル調整手段１３１から出力される調整された動きベクトルとが入力され、現在層の以前の映像から現在のマクロブロックに該当する部分を探して出力する。ＣＡＥ符号化手段１３３は、現在層映像のマクロブロックと動き補償された現在層の以前の映像が入力されてＣＡＥ符号化する。
【００６６】
スキャンインターリーブ符号化手段１３４には、現在層映像と下層（Ｎ−１層）映像のマクロブロックが入力され、スキャンインターリーブ方法により符号化する。“Intra not coded”モード決定手段１３５には、現在層映像と下層映像のマクロブロックが入力され、そのマクロブロックが“Intra not coded”モードであるかを表示する信号を出力する。
【００６７】
“Inter not coded”モード決定手段１３６には、現在層映像のマクロブロックと前記の動き補償手段１３２から出力される動き補償された現在層の以前の二進映像が入力され、現在層マクロブロックが“Inter not coded”モードであるかに対する信号を出力する。比較手段１３７は、前記のスキャンインターリーブ符号化手段１３４とＣＡＥ符号化手段１３３から出力されるビットストリームの大きさを比較して小さいものを選択する信号を出力する。
【００６８】
モードテーブル貯蔵手段１３８は、前記の“Intra not coded”モード決定手段１３５、“Inter not coded”モード決定手段１３６及び比較手段１３７から信号が入力され、その信号の組合によって選択されたモードに該当するデータを出力する。選択手段１３９には、前記の“Intra not coded”モード決定信号、“Inter not coded”モード決定信号及び比較手段１３７の比較結果信号が入力され、前記のスキャンインターリーブ符号化手段１３４とＣＡＥ符号化手段１３３から出力される信号中のいずれか１つを選択して出力する。
【００６９】
“Intra not coded”モード決定手段１３５には、現在層（例えば、Ｎ層）映像のマクロブロックと下層（例えば、Ｎ−１層）映像のマクロブロックが入力され、前記現在層映像のマクロブロックが“Intra not coded”モードであるかを決定し、その結果信号を出力する（図２参照）。
【００７０】
図１０に、本発明による“Intra not coded”モード決定手段の構成を示すブロック図が図示される。物体／背景非符号判断手段１４１は、現在マクロブロックに対応する下層のマクロブロックをアップサンプリングし、現在マクロブロックとの差分絶対値を抽出し、その差が臨界値より小さい値であるかを判断する。下層物体モード判断手段１４２は、現在マクロブロックに対応する下層のマクロブロックが入力されて物体モードであるかを判断する。
【００７１】
下層の背景モード判断手段１４３は、現在マクロブロックに対応する下層のマクロブロックが入力されて背景モードであるかを判断する。現在層の物体モード判断手段１４４は、現在マクロブロックが入力されて背景モードであるかを判断する。現在層背景エラー判断手段１４５は、現在マクロブロックが入力されて物体モードであるかを判断する。論理演算手段１４６は、前記の物体／背景非符号判断手段１４１、下層物体モード判断手段１４２、下層背景モード判断手段１４３、現在層の物体モード判断手段１４４及び現在層背景エラー判断手段１４５から出力される信号等を論理演算し、“all_０”と“all_２５５”、“Intra predicted”中のいずれ１つが発生したかを表示する信号を出力する。
【００７２】
物体／背景非符号判断手段１４１は、現在マクロブロックに対応する下層のマクロブロックをアップサンプリングするアップサンプリング手段１４１ａと、前記のアップサンプリングされた下層マクロブロックと現在マクロブロックとの差分絶対値を抽出する差分絶対値抽出手段１４１ｂと、前記の抽出された差分絶対値が臨界値より小さい値であるかを判断するエラー比較手段１４１ｃとから構成される。
【００７３】
アップサンプリング手段１４１ａは、現在マクロブロックに対応する下層のマクロブロックを水平、垂直に反復させる補間（Interpolation）法等により、現在マクロブロックと同一な大きさのマクロブロックに変換させる。このアップサンプリングされた下層マクロブロックは、差分絶対値抽出手段１４１ｂで、現在マクロブロックとそれぞれ対応する画素同士の差分が計算され、その差分は絶対値が取られる。
【００７４】
この場合、現在マクロブロックとアップサンプリングされた下層マクロブロックの各画素は、“０”または“２５５”であるので、差分に対する絶対値も“０”または“２５５”の値を有する。すなわち、互いに異なる値を引く場合のみ“２５５”値が出るので“２５５”を有する位置の画素は、現在マクロブロックとアップサンプリングされた下層マクロブロックが相互に異なるということを意味する。
【００７５】
このように、差分の絶対値からなるマクロブロックがエラー比較手段１４１ｃに入力され、エラーが基準値以下であるかが検査される。即ち、差分の絶対値からなるマクロブロックが４×４大きさのマクロブロックに分割され、全てのマクロブロックのエラーが臨界値より小さい場合や同一な場合、エラーが基準値以下に判断する。エラーが基準値以下であれば“Intra predicted”となり、前記エラー比較手段１４１ｃは“１”を出力する。
【００７６】
下層の物体モード判断手段１４２は、現在マクロブロックに対応する下層の領域が全て物体値（例えば“２５５”）を有するかを判断して、全てが物体値の場合“１”を出力し、全てが物体値でない場合、“０”を出力する物体判断手段１４２ａと、下層の以前映像のＭＢモードと、前記物体判断手段１４２ａの出力をオア演算するオアゲート１４２ｂから構成される。
【００７７】
現在マクロブロックに対応する下層のマクロブロックが、下層物体モード判断手段１４２に入力され、現在マクロブロックに対応する下層の領域を構成する全ての画素が物体値“２５５”値を有すると、“１”を出力して“all_２５５”モードであることを表示する。そうでなければ、“０”信号を出力する。下層の以前映像のＭＢのモードと物体判断手段１４２ａ中いずれか１つでも“１”を出力すれば、すなわち現在マクロブロックに対応する下層マクロブロックの全ての画素が“２５５”であったり、“２５５”でない画素があってもその数が臨界値よりも小さい“all_２５５”モードを表示して、オアゲート１４２ｂの出力は“１”になる。
【００７８】
下層背景モード判断手段１４３は、現在マクロブロックに対応する下層の領域がすべて背景値（例えば“０”）を有するのかを判断し、すべて背景値である場合、“１”を出力し、すべて背景値でない場合、“０”を出力する背景判断手段１４３ａと、下層の以前映像のＭＢモードと上記背景判断手段１４３ａの出力をオア演算するオアゲート１４３ｂで構成される。
【００７９】
現在マクロブロックに対応する下層のマクロブロックが下層背景モード判断手段１４３に入力され、現在マクロブロックに対応する下層の領域を構成するすべての画素が物体値“０”を有すれば、“１”を出力して“all_０”モードであることを表示する。そうでない場合は“０”を出力する。下層の以前映像のＭＢのモードと背景判断手段１４３ａ中いずれか１つでも“１”を出力すれば、すなわち、現在マクロブロックに対応する下層マクロブロックの全ての画素が“０”であったり、“０”でない画素があってもその数が臨界値よりも小さい“all_０”モードを表示して、オアゲート１４３ｂの出力は “１”となる。
【００８０】
現在層の物体モード判断手段１４４は、入力される現在マクロブロックと全て“０”値を有するマクロブロックとの差分を求め、その絶対値を取る物体差分絶対値抽出手段１４４ａと、前記抽出された差分絶対値が臨界値より小さいかを判断するエラー比較手段１４４ｂから構成される。
【００８１】
現在層のマクロブロックＭＢは、現在層の物体モード判断手段１４４に入力され、全て“０”値を有するマクロブロックと差分の絶対値が取られる。前記の差分絶対値は、エラー比較手段１４４ｂで臨界値より小さいかが判断される。臨界値より小さければ“all_２５５”モードとなり、エラー比較手段１４４ｂは“１”を出力する。
【００８２】
現在層背景エラー比較手段１４５には、現在マクロブロックが入力されて前記の現在マクロブロックを４×４ブロックに分割し、そのマクロブロック等のエラーが臨界値（１６×Alpha）より小さい場合や同一な場合にエラーが基準値以下であると判断する。エラーが基準値以下であると判断されると、“１”を出力し、現在マクロブロックが“all_０”モードであることを表示する。
【００８３】
前記の下層物体モード判断手段１４２と、前記の現在層物体判断手段１４４から同時に“１”が出力されなければアンドゲート（Ｕ１）が“１”を出力しない。即ち、現在層のマクロブロックとそれに対応する下層マクロブロックの両方が物体値を有する場合、アンドゲート（Ｕ１）は“１”を出力する。それと同様に、前記の下層背景モード判断手段１４３と前記の現在層背景モード判断手段１４５から同時に“１”が出力されなければ、アンドゲート（Ｕ２）が“１”を出力しない。即ち、現在層マクロブロックとそれに対応する下層マクロブロックの両方が背景値を有する場合、アンドゲート（Ｕ２）は“１”を出力する。従って、“all_０”と“all_２５５”、“Intra predicted”の中のいずれか１つでも該当すると、アンドゲート（Ｕ４）は“１”を出力する。即ち、“all_０”と“all_２５５”、“Intra predicted”の中のいずれか１つが発生したことを意味する。
【００８４】
図１１に本発明による“Inter not coded”モード決定手段の構成を示すブロック図が図示されている。現在マクロブロックと動き補償された以前の映像の対応マクロブロックが入力されて、差分絶対値を取る差分絶対値抽出手段１５１と、前記の差分絶対値が臨界値より小さいかを判断するエラー比較手段１５２と、前記のエラー比較手段１５２の出力と、現在入力される映像がイントラモード（Ｉ）であるか、予測モード（Ｐ）または両方向予測モード（Ｂ）であるかに間する情報（Ｉ／Ｐ、Ｂ）をアンド演算するアンドゲート１５３とから構成される。
【００８５】
現在マクロブロックと動き補償された以前の映像の対応マクロブロックが入力されて差分絶対値を取ると、互いに異なる値を有する位置の画素のみ“２５５”値を有する。前記のエラー比較手段１５２は、前記の差分絶対値が臨界値より小さいかを判断する。現在映像がイントラモードである場合はＩ／Ｐ、Ｂ信号は“０”であるので、アンドゲート１５３は、現在映像が予測モード（Ｐ）または両方向予測モード（Ｂ）である場合のみエラー比較手段１５２の比較結果を出力する。
【００８６】
図１２は、本発明による伸縮型復号化装置の構成を示すブロック図である。図８に図示された伸縮型符号化装置と対応するようにＮ＋１個の階層を表示する。多数の伸縮型復号化手段（１６１０、１６１１、．．．、１６１Ｎ−１、１６１Ｎ）は各層のビットストリーム、基本層の動きベクトル、以前の映像及び下層復号化映像とをそれぞれ受信して伸縮型復号化する。映像貯蔵手段１６２は、前記のＮ層伸縮型符号化手段（１６１Ｎ）から入力される現在層の映像マクロブロックを貯蔵する。
【００８７】
図１３は、本発明による伸縮型復号化手段の構成を示すブロック図である。
各層の伸縮型復号化手段（１６１０、１６１１、．．．、１６１Ｎ−１、１６１Ｎ）は同一構造を有し、説明の便宜上、Ｎ層の伸縮型復号化手段（１６１Ｎ）に関して説明する。
【００８８】
動きベクトル調整手段１７１には、前記の基本層伸縮型復号化手段（１６１０）から動きベクトルが入力され、現在層と基本層の比率に拡大して出力する。動き補償手段１７２には、現在層（Ｎ層）の以前の映像と前記の動きベクトル調整手段１７１から出力される調整された動きベクトルが入力され、現在層の以前映像から現在マクロブロックに該当するマクロブロック（Ｂ）を動き補償して出力する。モード復号手段１７３には、現在層ビットストリームとＩ／Ｐ、Ｂ信号が入力されてモード情報を復号化する。“Intra not coded”ブロック構成手段１７４には、下層映像のマクロブロックとそのモードが入力されて、前もって決定された規則によって処理し、現在映像マクロブロック（Ａ）を出力する。
【００８９】
ＣＡＥ符号化手段１７６は、現在層映像のビットストリームと動き補償された現在層の以前の映像が入力され、ＣＡＥ符号化した信号（Ｄ）を出力する。スキャンインターリーブ復号化手段１７５には、現在層映像のビットストリームと下層（Ｎ−１層）映像のマクロブロック等が入力され、スキャンインターリーブ方法により復号化した信号（Ｃ）を出力する。多重化手段１７７は、前記のモード復号手段１７３で復号されたモードによってＡ、Ｂ、Ｃ、Ｄの中のいずれか１つを出力する。
【００９０】
図１４は、本発明による伸縮型復号化手段の“Intra not coded”マクロブロック構成手段の構成を示すブロック図である。物体モード判断手段１８１は、現在マクロブロックに対応する下層マクロブロックの画素の全てが２５５であれば１を出力し、そうでなければ０を出力する。オアゲート（Ｕ１）は下階層のＭＢモードがall_２５５であるか、または前記の物体モード判断手段１８１の出力が１であればその出力は１となる。
【００９１】
背景モード判断手段１８２は、下階層のＭＢ内の画素の中、現在階層のＭＢに該当する領域内の画素等の全てが０であれば１を出力し、そうでなければ０を出力する。オアゲート（Ｕ２）は下階層のＭＢモードがall_０であるか、背景モード判断手段１８２の出力が１であればその出力は１となる。“all_０”ブロック発生手段１８３は、全ての画素が０であるＭＢを発生させる。“all_２５５”ブロック発生手段１８４は、全ての画素が“２５５”であるＭＢを発生させる。
【００９２】
アップサンプリング手段１８５は、下階層の領域をアップサンプリング（up sampling）して現在ＭＢを構成する。第１マルチプレクサ（以下、マルチプレクサをＭＵＸと称す）１８６は、オアゲート（Ｕ１）の出力信号に従って、“all_２５５”ブロック発生手段１８４または前記アップサンプリング手段１８５の出力を選択する。第２マルチプレクサ１８７は、オアゲート（Ｕ２）の出力信号に従って、“all_０”ブロック発生手段１８３または、前記第１マルチプレクサ１８６の出力を選択する。
【００９３】
物体モード判断手段１８１は、下階層のＭＢ内の画素等の中の、現在階層のＭＢに該当する領域内の画素等の全てが“２５５”であれば１を出力し、そうでなければ０を出力する。下階層のＭＢのモードが“all_２５５”であるか物体モード判断手段１８１の出力が１であれば、オアゲート（Ｕ１）の出力は１となる。ここで、all_０、all_２５５モードを伝送したりまたは符号化、復号化することには使用しないが、オアゲート（Ｕ１）、（Ｕ２）の出力をall_０、all_２５５モードとしてＭＢ毎に貯蔵して置いてここで使用する。
【００９４】
背景モード判断手段１８２は、下階層のＭＢ内の画素の中で現在階層のＭＢに該当する領域内の画素の全てが０であれば１を出力し、そうでなければ０を出力する。下階層のＭＢのモードがall_０であるか背景モード判断手段１８２の出力が１であれば、オアゲート（Ｕ２）の出力は１となる。“all_０”ブロック発生手段１８３は、全ての画素が０であるＭＢを構成するブロックである。出力されるＭＢの全ての画素は０である。“all_２５５”ブロック発生手段１８４は、全ての画素が２５５のＭＢを構成するブロックである。出力されるＭＢの全ての画素は２５５である。
【００９５】
アップサンプリング手段１８５は、下階層の領域をアップサンプリング（up sampling）して現在ＭＢを構成する。第１ＭＵＸ１８６の出力は、オアゲート（Ｕ１）の出力all_２５５が１であれば“all_２５５”ブロック発生手段１８４の出力即ち、全ての画素が２５５であるＭＢが選択され、０であればアップサンプリング手段１８５の出力即ち、アップサンプリングされたＭＢが選択される。第２ＭＵＸ１８７の出力はオアゲート（Ｕ２）の出力all_０が１であれば“all_０”ブロック発生手段１８３の出力即ち、全ての画素が０であるＭＢが選択され、０であれば、第１ＭＵＸ１８６の出力が選択される。即ち、全ての画素が２５５のＭＢが選択され、０であればアップサンプリング手段１８５の出力即ち、アップサンプリングされたＭＢが選択される。第２ＭＵＸ１８７の出力はオアゲート（Ｕ２）の出力all_０が１であれば、“all_０”ブロック発生手段１８３の出力即ち全ての画素が０であるＭＢが選択され、０であれば第１ＭＵＸ１８６の出力が選択される。
【００９６】
映像を多数の階層に符号化する時、高位層とそれをダウンサンプリングした下層との間には相関性が高い。即ち、高位層が“Intra not coded”であれば、その下層も“Intra not coded”である確率が高い。この相関性を考えてＩ−ピクチャ、Ｐ−ピクチャの高位層（またはＢ−ピクチャ）の符号化モードに対するビットを割り当てることが符号化ビット量を減らすことができる。次に、Ｉ−ピクチャ及びＰ−ピクチャ（またはＢ−ピクチャ）の高位層の符号化モードに対するビット割当方法を説明する。
【００９７】
下層の符号化モードを知っている場合、高位層の符号化モードに対する発生ビット数を、ホフマン（Hufman）符号化方式を用いて発生確率が多ければ小さいビット数を割り当て、発生確率が小さければ長いビットを割り当てる。例えば、下層が“Intra not coded”の場合、現在層も“Intra not coded”である確率が最も大きいので、最も小さい長さのビットを割り当て、その次に発生確率が大きい符号化モードに２、３、．．．ビットを割り当てる。また、ＭＢの符号化モードは“Intra coded”が最も多く発生するので、全体符号化モードに関係なく、大部分の“Intra coded”は１ビットまたは２ビットと比較的に少ないビット数を割り当てる。
【００９８】
次に本発明による符号化ビットの割当方法により割り当てた例を示す。
Enhancement layer Mode
（1）      （2）      （3）      （4）
（1）  １          ２        ３          ３
下層モード  （2）  ２          １        ３          ３
（3）  ３          ２        １          ３
（4）  ３          １        ３          ２
【００９９】
次に、実際に前記の方法のとおり、下層モードを知っている場合、高位層モードに対するコードの実施の形態を示す。ここで、それぞれ高位層の各割り当てられたビットに対するコードは次の２種類を使用する。
（１）１bit:０、２bit:１０、３bit:１１０、他の３bit:１１１
（２）１bit:１、２bit:０１、３bit:００１、他の３bit:０００
Ｉ−ピクチャとＰ−ピクチャそしてＢ−ピクチャの高位層で、本発明の付加情報の構成方法と符号テーブルは下記のとおりである。
【０１００】
Ｉ−ピクチャの高位層の場合は、下記のようにの２種類のモードを使用する。
（１）“Intra not coded”
（２）“Intra coded”
【０１０１】
従来の方式では、Ｉ−ピクチャの高位層の場合、３種類のモード“all_０”、“all_２５５”、“Intra coded”を使用した。本発明では、既存方式における“all_０”、“all_２５５”モードと、既存方式のＰ−ピクチャまたはＢ−ピクチャの高位層における“Intra not coded”を１つのモード“Intra not coded”として伝送し、受信端では下層の情報を利用して受信された“Intra not coded”が“all_０”であるかまたは“all_２５５”であるかを探し出す方法を使用する。従って、本発明では２種類のモードのみを使用することによって、３種類のモードを使用する従来の方法に比して、モードを伝送することによるｂｉｔ量を減らすことができる。
【０１０２】
各ＭＢに対するモードの符号（Code）を、下記のようなコードテーブルを使用して符号化する。各モードは固定長さとして１ビットが伝送される。
【０１０３】
【表１】
2004242341.tif 000003
【０１０４】
ＩＳＯ／ＩＥＣ  ＷＧ１１で現在標準化が進行中のＭＰＥＧ−４ではビットストリームで映像を区別するために、映像を始まる時２３個の連続する‘０’を表示する。映像内で２３個の連続する‘０’が発生する場合、映像のスタートに判断するようになる。従って映像のスタートでない場合、２３個の連続する‘０’が発生しないようにする必要がある。または、伝送エラーによって一部の‘１’が‘０’に変わって、２３個の連続する‘０’が容易に発生しないように、できるだけ‘１’が多く発生するようにすることが有利である。従って、前記のテーブルにおいて“Intra coded”のモードに‘１’が含まれるように下記のように変更する。
【０１０５】
【表２】
2004242341.tif 000004
【０１０６】
Ｐ−ピクチャの下層を符号化する第１番目の方法は下記のとおりである。
（１）“all_０”または“all_２５5”または“Intra predicted”（従来の“Intra not coded”）
（２）“Intra CAEまたは“Intra coded”
（３）“MVDs＝＝０ && No Update”または“MVDs!＝０ && No Update”または“inter not coded”
（４）“Inter CAE && MVDs＝＝０”または“Inter CAE && MVDs!＝０”または“Inter coded”
【０１０７】
Ｐ−ピクチャの高位層の符号化モードは、下記のように区分することができる。
（１）“Intra Not Coded”
（２）“Intra Coded”
（３）“Inter Not Coded”
（４）“Inter Coded”
【０１０８】
既存方式でＰ−ピクチャとＢ−ピクチャの高位層モードは８種類から構成される。ここで、３種類のモード“all_０”、“all_２５５”、“Intra not coded”は、１つのモード“Intra not coded”モードで復号化装置に伝送する。これは高位層Ｉ−ピクチャのモードと同じ方法である。また、本発明では、動きベクトルを伝送しないことによって、動きベクトルを探すための複雑度を減らす。従って、既存方式のモードで“Inter coded && MVD＝０”と“Inter coded && MVD！＝０”とは、１つのモード“Inter coded”で表現し、“Inter not coded && MVD＝０”と“Inter not coded && MVD！＝０”は“Inter not coded”として表現する。“Inter coded”と“Inter not coded”の場合、以前映像から動き補償してＭＢを持ってくるために動きベクトルが必要である。動きベクトルは、最下位階層（base層）の動きベクトルを映像の大きさの比率で調整した後に使用する。
【０１０９】
最下位階層（基本層）から動きベクトルを得る方法は下記のとおりである。
１．最下位階層の該当ＭＢのモードが“all_０”、“all_２５５”または“Intra CAE”の場合、現在階層のＭＢの動きベクトルは０である。
２．最下位階層の該当ＭＢのモードが“MVDｓ＝＝０ && No Update”、“MVDｓ！＝０ && No Update”、“InterＣＡＥ && MVDｓ＝＝０”または“InterＣＡＥ && MVDｓ！＝０”の場合、最下位階層で再生された動きベクトルを使用する。
【０１１０】
このとき、最下位階層の映像と現在階層の映像の大きさの比率によって、最下位階層の動きベクトルを調整する。ｘ軸動きベクトルは、映像のｘ軸大きさの比率によって調整され、ｙ軸動きベクトルは映像のｙ軸大きさの比率によって調整される。例えば、現在階層の映像が最下位階層の映像よりｘ軸にｎ倍、ｙ軸にｍ倍大きいとすれば、現在ＭＢの動きベクトルは、最下位階層の動きベクトルでＸ軸動きベクトルにｎ倍、ｙ軸動きベクトルにｍ倍掛けて得る。
【０１１１】
本発明において、Ｐ−ピクチャとＢ−ピクチャの高位層のモードは、既存方式の８種類モードから４種類モードに減る。
各ＭＢに対するモードの符号（Code）を下記のような符号化テーブルを使用して符号化する。この場合発生されるビットを減らすために、下記のようにすぐ下階層（lower層）のモードと画素値等を利用して符号化テーブルを構成する。
【０１１２】
ここで、すぐ下階層のモード符号化方法は２番目の方法は下記のとおりである。
（１）“all_０”、“all_２５５”、“Intra not coded”または現在層のＭＢに該当する下層マクロブロック領域内の全ての画素（sample）が０であったり、または全ての画素（sample）が２５５である場合
（２）“Intra CAE”または“Intra coded”
（３）“MVDｓ＝＝０ && No Update”、“MVDｓ！＝０ && No Update”または“Inter not coded”
（４）“Inter CAE && MVDｓ＝＝０”、“Inter CAE && MVDｓ！＝０”または“Inter coded”
すぐ下階層（lower層）が最下位階層（base層）の場合とそうでない場合とを分けて説明すると下記のとおりである。
【０１１３】
まず、すぐ下階層（lower層）が最下位階層（base層）の場合：
（１）“all_０”または“all_２５５”または現在層のＭＢに該当する下層の領域内の全ての画素（sample）が０の場合または全ての画素（sample）が２５５の場合
（２）“Intra CAE”
（３）“MVDｓ＝＝０ && ＮｏＵｐｄａｔｅ”または“MVDｓ！＝０ && No Update”
（４）“InterＣＡＥ && MVDｓ＝＝０”または“InterＣＡＥ && MVDｓ！＝０”
【０１１４】
すぐ下階層（lower層）が最下位層（base層）でない場合：
（１）“Intra not coded”または現在層ＭＢに該当する下層の領域内の全ての画素（sample）が０の場合、または全ての画素（sample）が２５５の場合
（２）“Intra coded”
（３）“Inter not coded”
（４）“Inter coded”
下層モードを知っている場合、高位層モードに対するコード（first shape code）を下記のように定める。
【０１１５】
【表３】
2004242341.tif 000005
【０１１６】
ＩＳＯ／ＩＥＣ  ＷＧ１１で現在標準化が進行中のＭＰＥＧ−４ではビットストリームから映像を区別するために、映像が始まる時、２３個の連続する‘０’を表示する。映像内で２３個の連続した‘０’が発生する場合、映像のスタートに判断するようになる。従って、映像のスタートでない場合、２３個の連続する‘０’が発生しないようにする必要がある。＜コードテーブル１＞は２３個の連続する‘０’が発生することができるので、下記のような表を使用する。
【０１１７】
【表４】
2004242341.tif 000006
【０１１８】
すぐ下階層（lower層）が（２）の場合、現在階層（高位層）が（１）の場合より（３）の場合がより多く発生することができるが、その時は次のテーブルを使用する。
【０１１９】
【表５】
2004242341.tif 000007
【０１２０】
伝送エラーにより一部の‘１’が‘０’に変わって、２３個の連続する‘０’が容易に発生しないように、できるだけ‘１’が多く発生するようにすることが有利である。従って、前記のテーブルにおいて全てのモードに‘１’が必ず含まれるように下記のように変更する。
【０１２１】
＜コードテーブル２＞を修正して下記のようなテーブルを構成する。
【０１２２】
【表６】
2004242341.tif 000008
【０１２３】
また前記のような理由により＜コードテーブル３＞を修正して下記のようなテーブルを構成する。
【０１２４】
【表７】
2004242341.tif 000009
【０１２５】
本発明においてモードを決定する順序は、既存の方法を改善して下記のように決定する。データベースから願う映像または二進映像を迅速に探すために、ＭＢ単位で“all_０”、“all_２５５”または“all_０”や“all_２５５”でないＭＢ（即ちedgeに該当するＭＢ）を区分する必要がある。このように区分すると、ＭＢを１個の画素で表示する小さい大きさの二進映像が作られ、小さい大きさの二進映像から全体の映像のおおむねを判断することができ、全体映像が探そうとする映像であるか否かが分かる。
【０１２６】
即ち、“all_０”ＭＢは０値の画素で表示し、“all_２５５”ＭＢは２５５の値で表示し、“all_０”や“all_２５５”でないＭＢ（即ちedgeに該当するＭＢ）は、１２８値に表示することにより、小さい大きさの映像が得られる。このように、“all_０”、“all_２５５”または“all_０”や“all_２５５”でないＭＢを正確に区分するために、“all_０”または“all_２５５”が先に決定されなければならない。従って、下記のような順序によりモードを決定する。
【０１２７】
最下位階層では下記のような順序で決定する。
（１）“all_０”または“all_２５5”
（２）“MVDs＝＝０ && No Update"または“MVDs!＝０ && No Update"
（３）“Intra CAE”と“Inter CAE && MVDs＝＝０”または“Inter CAE && MVDs!＝０”の中でビットが少なく発生するモード。
【０１２８】
高位層では前記の理由だけでなく、“all_０”または“all_２５５”が先だって決定される場合が発生されるビット数が少なくなるので、下記のように高位層Ｉ−ピクチャとＰ−ピクチャに対するモード決定方法を使用する。
【０１２９】
Ｉ−ピクチャの高位層に対するモード決定順序は下記のとおりである。
（１）“all_０”または“all_２５5”の場合“Intra not coded"に決定  
（２）下層（lower層）から予測されて構成されたＭＢと現在のＭＢとを比較して、エラーが基準値以下の場合“Intra not coded"に決定
（３）“Intra coded"
【０１３０】
Ｐ−ピクチャまたはＢ−ピクチャの高位層に対するモード決定順序は、図５のような順序により決定されるが、“Intra predicted”より“Internot coded”を先に決定することがビット発生を少なくすることができるが、これを考えて下記のような順序でモードを決定する。
【０１３１】
（１）“all_０”または“all_２５5”の場合“Intra not coded"に決定
（２）“Inter not coded"に決定
（３）下層から予測されて構成されたＭＢと現在のＭＢとを比較して、エラーが基準値以下の場合“Intra not coded"に決定
（４）“Intra coded"と“Inter coded"によって符号化をそれぞれ遂行し、その中で発生ビットが少ないモードに決定
各ＭＢ毎に前記の順序によりモードが決定され、前記の順序で１つが決定されるとモード決定を終え、次のＭＢモードを決定する。
【図面の簡単な説明】
【０１３２】
【図１】本発明によるＩ−ピクチャの高位層を符号化する方法を示すフローチャートである。
【図２】本発明による高位層映像が“Intra not coded”モードであるかを判断する方法を示すフローチャートである。
【図３】ビットストリームで復号したモード情報が“Intra not coded”である場合、復号化する方法を示すフローチャートである。
【図４】図３と同様な復号化する方法を示すフローチャートである。
【図５】本発明による高位層Ｐ−ピクチャとＢ−ピクチャを符号化するフローチャートである。
【図６】最下位階層の映像と現在階層の映像の大きさの比率によって、最下位階層の動きベクトルを調整する方法を示す。
【図７】本発明による高位層Ｐ−ピクチャまたはＢ−ピクチャを復号化するフローチャートである。
【図８】本発明による伸縮型符号化装置の構成を示すブロック図である。
【図９】本発明による伸縮型符号化手段の一実施の形態を示すブロック図である。
【図１０】本発明による“Intra not coded”モード決定手段の構成を示すブロック図である。
【図１１】本発明による“Inter not coded”モード決定手段の構成を示すブロック図である。
【図１２】本発明による伸縮型復号化装置の構成を示すブロック図である。
【図１３】本発明による伸縮型復号化手段の構成を示すブロック図である。
【図１４】本発明による伸縮型復号化手段の“Intra not coded”マクロブロック構成手段の構成を示すブロック図である。
【図１５】一般的な映像情報の伸縮型符号化方法である。
【図１６】スキャンインターリーブ方法である。
【図１７】ＣＡＥ（Context-based Arithmetic EnCode）方法に使用されるコンテキストの説明図である。
【図１８】空間的伸縮型符号化で、現在層（current layer）と下層（lower layer）間の関係を説明する説明図である。
【符号の説明】
【０１３３】
１３１、１７１：調整手段、１３２：動き補償手段、１３３、１３４：符号化手段、１３５、１３６：モード決定手段、１３８：貯蔵手段、１４１、１４３、１４４、１４５：判断手段、１４６：論理演算手段、１５１：抽出手段、１５２：エラー比較手段、１６２：映像貯蔵手段。
【図１】
2004242341.tif 000012
【図２】
2004242341.tif 000013
【図３】
2004242341.tif 000014
【図４】
2004242341.tif 000015
【図５】
2004242341.tif 000016
【図６】
2004242341.tif 000017
【図７】
2004242341.tif 000018
【図８】
2004242341.tif 000019
【図９】
2004242341.tif 000020
【図１０】
2004242341.tif 000021
【図１１】
2004242341.tif 000022
【図１２】
2004242341.tif 000023
【図１３】
2004242341.tif 000024
【図１４】
2004242341.tif 000025
【図１５】
2004242341.tif 000026
【図１６】
2004242341.tif 000027
【図１７】
2004242341.tif 000028
【図１８】
2004242341.tif 000029