(57)【要約】【課題】隣接する階層間の解像度の差が一定以上の場合に、実際の画像の符号化の役割を担わない、データ量の非常に小さい形だけの階層を間に挿入することで階層間の解像度の差を一定以内に抑えることができる符号化装置を提供する。【解決手段】符号化対象の画像から複数の解像度の画像を生成する画像生成手段と、生成されたそれぞれの画像を符号化する複数階層のエンコーダと、複数階層のエンコーダのそれぞれから出力された符号化データを多重化して送信する多重化手段とを備え、空間スケーラブルで画像を符号化する符号化装置であって、隣接する階層間の解像度の比が所定値を超える階層間に、隣接する階層間の解像度の比が所定値を超えないように、ダミーの画像を符号化するエンコーダを設けた。【選択図】図１
2013005268.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象の画像から複数の解像度の画像を生成する画像生成手段と、前記生成されたそれぞれの画像を符号化する複数階層のエンコーダと、前記複数階層のエンコーダのそれぞれから出力された符号化データを多重化して送信する多重化手段とを備え、空間スケーラブルで画像を符号化する符号化装置であって、
隣接する階層間の前記解像度の比が所定値を超える階層間に、隣接する階層間の前記解像度の比が所定値を超えないように、ダミーの画像を符号化するエンコーダを設けたことを特徴とする符号化装置。
【請求項２】
前記ダミーの画像は、符号化した後の符号化データのデータサイズが符号化前の画像のデータサイズより小さくなる画像であることを特徴とする請求項１に記載の符号化装置。
【請求項３】
請求項１または２に記載の符号化装置によって符号化された画像を復号することを特徴とする復号装置。
【請求項４】
符号化対象の画像から複数の解像度の画像を生成する画像生成手段と、前記生成されたそれぞれの画像を符号化する複数階層のエンコーダと、前記複数階層のエンコーダのそれぞれから出力された符号化データを多重化して送信する多重化手段とを備え、空間スケーラブルで画像を符号化する符号化装置における符号化方法であって、
隣接する階層間の前記解像度の比が所定値を超える階層間に、隣接する階層間の前記解像度の比が所定値を超えないように、ダミーの画像を符号化するエンコーダを設けて符号化を行うことを特徴とする符号化方法。
【請求項５】
前記ダミーの画像は、符号化した後の符号化データのデータサイズが符号化前の画像のデータサイズより小さくなる画像であることを特徴とする請求項４に記載の符号化方法。
【請求項６】
請求項４または５に記載の符号化方法によって符号化された画像を復号することを特徴とする復号方法。
【請求項７】
符号化対象の画像から複数の解像度の画像を生成する画像生成手段と、前記生成されたそれぞれの画像を符号化する複数階層のエンコーダと、前記複数階層のエンコーダのそれぞれから出力された符号化データを多重化して送信する多重化手段とを備え、空間スケーラブルで画像を符号化する符号化装置上のコンピュータに符号化処理を行わせる符号化プログラムであって、
隣接する階層間の前記解像度の比が所定値を超える階層間に、隣接する階層間の前記解像度の比が所定値を超えないように、ダミーの画像を符号化するエンコーダを設けて符号化処理を行うことを特徴とする符号化プログラム。
【請求項８】
前記ダミーの画像は、符号化した後の符号化データのデータサイズが符号化前の画像のデータサイズより小さくなる画像であることを特徴とする請求項７に記載の符号化プログラム。
【請求項９】
請求項７または８に記載の符号化プログラムによって符号化された画像を復号することを特徴とする復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像をスケーラブルに符号化、復号する符号化装置、復号装置、符号化方法、復号方法、符号化プログラム及び復号プログラムに関わり、動画像を複数の解像度で階層化してスケーラブルに符号化する際に、符号化する解像度の選び方の自由度を向上させる技術に関する。
【背景技術】
【０００２】
スケーラブル符号化（ＳＶＣ）で符号化された、空間スケーラビリティを持つデータをデコーダで復号する際に、各階層の画像の解像度の比が一定量を超えると正常に復号できないデコーダがあるなど互換性が減少する。画像を各階層で符号化するときの解像度は、再生時に表示する必要度に応じて決められる。テレビ会議やＷｅｂ会議システムでは、頻繁に必要となる最小の解像度は全参加者もしくは表示可能な最大参加者全員の画像を表示する場合であり、その解像度は小さい。
【０００３】
一方、上位の階層は表示装置の解像度の増加により、フルＨＤ（１９２０画素×１０８０画素）などに高解像度化しており、それに伴い中間の解像度も上昇する。その結果、最下位階層とその上位階層との解像度の差が拡大する。これに空間スケーラビリティを持たせて符号化する場合、最下位階層とその上位階層の解像度の比が、規格から外れるほど大きくなり、あるデコーダでは復号できなくなる。例えば、表示する最大解像度が１２８０×７２０、２番目の解像度が６４０×３６０、最小画像の解像度が多数の参加者を同時に表示するためのサムネイル画像程度の解像度１６０×９０となる場合、３階層で符号化すると最下位の階層と２番目の階層の比が縦で４倍になる。このような解像度の組み合わせで３階層の符号化を行った場合、このデータを正しく復号できないデコーダが存在する可能性が高まる。実際、スケーラブル符号化のベースライン・プロファイルでは、階層間の解像度の比は、１倍、１．５倍、２倍に制限されており、上記のような階層構成は規格を逸脱することになる。
【０００４】
ここで、従来のスケーラブル・エンコーダの構成を説明する。図１４はスケーラブル・エンコーダの構成を示すブロック図である。このエンコーダは、例えば１２８０×７２０画素、６４０×３６０画素及び１６０×９０画素の解像度による空間スケーラビリティを実現する３階層のエンコーダ１０１、１０２、１０３で構成する。これはスケーラビリティを持たない各階層のエンコーダを３段に重ねて構成している。各エンコーダ１０１、１０２、１０３は、同様の構成を備えており、時間分割部１、イントラ予測部２、ＤＣＴ／量子化／エントロピー符号化部３、動き情報符号化部４及び画像拡大部５とからなる。ただし、エンコーダ１０３（最下層のエンコーダ）は、画像拡大部５を備えていない。各エンコーダの処理動作は、公知であるため、詳細な説明を省略する。
【０００５】
一番上の階層のエンコーダ１０１は入力画像６の本来の解像度でのエンコードを行う。２番目の階層のエンコーダ１０２は、２番目に大きな解像度でエンコードを行う。ここには画像縮小部７によって縮小されたオリジナルの画像の解像度を落とした画像が入力される。３番目の階層のエンコーダ１０３は最も小さな解像度でエンコードを行う。ここには画像縮小部７によって縮小されたオリジナルの画像の解像度をさらに落とした画像が入力される。そして、３つのＤＣＴ／量子化／エントロピー符号化部３から出力された符号化データは、多重化部９によって多重化されて、ピットストリーム１０が出力される。
【０００６】
ここで、最も小さな解像度とその一つ上の大きな解像度の比が一定量を超えると、符号化されたデータをあるデコーダでデコードできない場合が発生する。例えば、スケーラブル符号化ベースライン・プロファイルの場合、規格上、解像度の比は１または１．５または２としているため、規格に従うデコーダで、隣接する解像度の比が４倍となる場合にはデコードができないという問題がある。
【０００７】
なお、先行技術として、解像度スケーラブル機能を持たせた符号化方法の中には、スケーラブルの段階が少なかったり、スケーラブルの階層間の解像度の差が大きく使いづらい方式があるため、オリジナル画像データを低い解像度に縮小して、別の階層化符号として符号化する画像符号化装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１０−０７４４１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、従来の符号化方法では隣接する階層間の解像度の差が大きくなり、その符号化データをデコーダで復号できない可能性があるという問題がある。また、特許文献１に記載の画像符号化装置にあっては、データ量が増大してしまい、一つの符号化ファイルとして表すことができないという問題がある。
【００１０】
本発明は、このような事情に鑑みてなされたもので、隣接する階層間の解像度の差が一定以上の場合に、実際の画像の符号化の役割を担わない、データ量の非常に小さい形だけの階層を間に挿入することで階層間の解像度の差を一定以内に抑えることができる符号化装置、符号化方法、符号化プログラムと、この符号化装置、符号化方法、符号化プログラムによって符号化された画像を復号する復号装置、復号方法、復号プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、符号化対象の画像から複数の解像度の画像を生成する画像生成手段と、前記生成されたそれぞれの画像を符号化する複数階層のエンコーダと、前記複数階層のエンコーダのそれぞれから出力された符号化データを多重化して送信する多重化手段とを備え、空間スケーラブルで画像を符号化する符号化装置であって、隣接する階層間の前記解像度の比が所定値を超える階層間に、隣接する階層間の前記解像度の比が所定値を超えないように、ダミーの画像を符号化するエンコーダを設けたことを特徴とする。
【００１２】
本発明は、前記ダミーの画像は、符号化した後の符号化データのデータサイズが符号化前の画像のデータサイズより小さくなる画像であることを特徴とする。
【００１３】
本発明は、前記符号化装置によって符号化された画像を復号することを特徴とする。
【００１４】
本発明は、符号化対象の画像から複数の解像度の画像を生成する画像生成手段と、前記生成されたそれぞれの画像を符号化する複数階層のエンコーダと、前記複数階層のエンコーダのそれぞれから出力された符号化データを多重化して送信する多重化手段とを備え、空間スケーラブルで画像を符号化する符号化装置における符号化方法であって、隣接する階層間の前記解像度の比が所定値を超える階層間に、隣接する階層間の前記解像度の比が所定値を超えないように、ダミーの画像を符号化するエンコーダを設けて符号化を行うことを特徴とする。
【００１５】
本発明は、前記ダミーの画像は、符号化した後の符号化データのデータサイズが符号化前の画像のデータサイズより小さくなる画像であることを特徴とする。
【００１６】
本発明は、前記符号化方法によって符号化された画像を復号することを特徴とする。
【００１７】
本発明は、符号化対象の画像から複数の解像度の画像を生成する画像生成手段と、前記生成されたそれぞれの画像を符号化する複数階層のエンコーダと、前記複数階層のエンコーダのそれぞれから出力された符号化データを多重化して送信する多重化手段とを備え、空間スケーラブルで画像を符号化する符号化装置上のコンピュータに符号化処理を行わせる符号化プログラムであって、隣接する階層間の前記解像度の比が所定値を超える階層間に、隣接する階層間の前記解像度の比が所定値を超えないように、ダミーの画像を符号化するエンコーダを設けて符号化処理を行うことを特徴とする。
【００１８】
本発明は、前記ダミーの画像は、符号化した後の符号化データのデータサイズが符号化前の画像のデータサイズより小さくなる画像であることを特徴とする。
【００１９】
本発明は、前記符号化プログラムによって符号化された画像を復号することを特徴とする。
【発明の効果】
【００２０】
本発明によれば、画像をスケーラブル・エンコードする際に、解像度の比が大きな二つの隣接する階層の間に、それらの中間の解像度のダミー画像を挿入することで、二つの隣接する階層間の解像度の比を一定以内に抑えることができ、そのままでは符号化規則に反するデータを符号化規則に準拠させることができるという効果が得られる。また、ダミー画像を低品質で符号化することを許すことで、階層の挿入によるデータ量増加を抑えるができるという効果も得られる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施形態の構成を示すブロック図である。
【図２】図１に示す符号化装置の処理動作を示すフローチャートである。
【図３】本発明の第２の実施形態の構成を示すブロック図である。
【図４】図３に示す符号化装置の処理動作を示すフローチャートである。
【図５】本発明の第３の実施形態の構成を示すブロック図である。
【図６】図５に示す符号化装置の処理動作を示すフローチャートである。
【図７】図２、図４、図６に示すステップＳ１の詳細な処理動作示すフローチャートである。
【図８】図２、図４、図６に示すステップＳ４の詳細な処理動作示すフローチャートである。
【図９】本発明の第４の実施形態の構成を示すブロック図である。
【図１０】本発明の第５の実施形態の構成を示すブロック図である。
【図１１】本発明の第６の実施形態の構成を示すブロック図である。
【図１２】本発明の第７の実施形態の構成を示すブロック図である。
【図１３】動画像伝送システムの構成を示すブロック図である。
【図１４】従来のスケーラブル・エンコーダの構成を示すブロック図である。
【発明を実施するための形態】
【００２２】
＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態による符号化装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、図１４に示す従来の符号化装置と同一の部分には同一の符号を付し、その説明を省略する。図１に示す符号化装置は、３階層の空間スケーラビリティを持つスケーラブル符号化エンコーダの例である。これは、最も解像度が小さい最下位階層と一つ上の階層が持つ解像度との間に大きな解像度の差があり、それを吸収する場合の例である。このスケーラブル・エンコーダには解像度の差を吸収するために、本来の符号化対象となるものではない階層、すなわちダミーの階層をエンコードするためのエンコーダ１０４が１階層分追加されている。画像が入力されると、図１４に示す符号化装置と同様に画像縮小部７により、オリジナルの入力画像６の解像度を減らして縮小した画像が各階層のエンコーダ１０１、１０２、１０３、１０４への入力となるが、図１４に示す符号化装置に加えて、最下位階層のエンコーダ１０３と、上から２番目の階層のエンコーダ１０２の画像の中間の解像度の画像を生成して新たな階層を作る。
【００２３】
ここで新たに追加されたダミーの階層エンコーダ１０４の画像は実際の表示に使われることは無いため、品質を下げることでデータ量を削減することができる。そこで、このスケーラブル・エンコーダ１０４はこのダミー階層の符号化に用いる量子化パラメータの値を最大に設定する。それ以外は図１４に示すエンコーダと同様に処理動作させる。これによって、ＤＣＴ／量子化／エントロピー符号化部３１で生成されるＤＣＴ係数の値が小さくなり、ダミー階層の画像のデータ量が減少する。
【００２４】
次に、図２を参照して、図１に示す符号化装置の処理動作を説明する。図２は、図１に示す符号化装置の処理動作を示すフローチャートである。まず、画像縮小部７は、入力画像６を縮小してサムネイルの階層の画像を生成して出力する（ステップＳ１）。エンコーダ１０３は、この画像を入力し、サムネイルの階層をエンコードして（ステップＳ２）、得られた符号化データを送信する（ステップＳ３）。
【００２５】
次に、画像縮小部７は、入力画像６を縮小してダミーの階層の画像を生成して出力する（ステップＳ４）。エンコーダ１０４は、この画像を入力し、ＤＣＴ／量子化／エントロピー符号化部３１における量子化パラメータを最大にしてダミー階層をエンコードして（ステップＳ５）、得られた符号化データを送信する（ステップＳ６）。このステップＳ４〜Ｓ６の処理は、ダミー階層の数だけ（最後のダミー階層になるまで）繰り返される（ステップＳ７）。量子化パラメータの値を最大にすることで、ダミー階層のデータ量を縮小することが可能となる。図１に示す例では、ダミーの階層数が１であるため、ステップＳ４〜Ｓ６の処理は、１回のみ実行されることになるが、ダミーの階層が２以上ある場合は、ダミーの階層数だけ処理が繰り返し行われる。
【００２６】
次に、画像縮小部７は、入力画像６を縮小して、一つ上の階層の画像を生成して出力する（ステップＳ８）。エンコーダ１０２は、この画像を入力し、この階層をエンコードして（ステップＳ９）、得られた符号化データを送信する（ステップＳ１０）。このステップＳ８〜Ｓ１０の処理は、最上位の階層になるまで繰り返される（ステップＳ１１）。図１に示す例では、最下位、ダミー、最上位を除く階層数が１であるため、ステップＳ８〜Ｓ１０の処理は、１回のみ実行されることになるが、最下位、ダミー、最上位を除く階層が２以上ある場合は、その階層数だけ処理が繰り返し行われる。
【００２７】
次に、最上位の階層であるエンコーダ１０１は、最上位の階層をエンコードして（ステップＳ１２）、得られた符号化データを送信する（ステップＳ１３）。各エンコーダ１０１、１０２、１０３、１０４から送信された符号化データは多重化部９によって多重化されてビットストリーム１０となる。
【００２８】
＜第２の実施形態＞
次に、図３を参照して、本発明の第２の実施形態による符号化装置を説明する。図３は、同実施形態の構成を示すブロック図である。図３に示す符号化装置が、図１に示す符号化装置と同一の部分には同一の符号を付し、その説明を省略する。図３に示す符号化装置が、図１に示す符号化装置と異なる点は、エンコーダ１０４がダミー階層の画像の符号化時に全マクロブロックをスキップモードで符号化する点であり、これに伴い、エンコーダ１０４内のイントラ予測部２１とＤＣＴ／量子化／エントロピー符号化部３１が省かれている。このように、マクロブロックの情報を送信せず、参照画像のマクロブロックのデータを用いることによりデータ量を減少させることが可能となる。画面の動きによってはデコードされた画像の品質が大きく低下するが、ダミー階層であるため問題とならない。
【００２９】
すべてのマクロブロックをスキップモードで符号化するには、マクロブロックごとにモードを指定する。また、すべてのマクロブロックをスキップモードで符号化するもう一つの方法は、スライス・ヘッダでモード指定することによってスライス単位をスキップモードに指定することで実現する。
【００３０】
次に、図４を参照して、図３に示す符号化装置の処理動作を説明する。図４に示す処理動作が図２に示す処理動作と同一の部分には同一の符号を付してある。図４に示す処理動作が図２に示す処理動作と異なる点は、ステップＳ５に代えて、ステップＳ５１を設けた点である。
【００３１】
まず、画像縮小部７は、入力画像６を縮小してサムネイルの階層の画像を生成して出力する（ステップＳ１）。エンコーダ１０３は、この画像を入力し、サムネイルの階層をエンコードして（ステップＳ２）、得られた符号化データを送信する（ステップＳ３）。
【００３２】
次に、画像縮小部７は、入力画像６を縮小してダミーの階層の画像を生成して出力する（ステップＳ４）。エンコーダ１０４は、この画像を入力し、全スライスのスキップフラグを指定してダミー階層をエンコードして（ステップＳ５１）、得られた符号化データを送信する（ステップＳ６）。このステップＳ４、Ｓ５１、Ｓ６の処理は、ダミー階層の数だけ（最後のダミー階層になるまで）繰り返される（ステップＳ７）。スライスに対してスキップフラグを指定することで、ダミー階層のマクロブロックの符号化を省略することになり、ダミー階層のデータ量を縮小することが可能となる。
【００３３】
次に、画像縮小部７は、入力画像６を縮小して、一つ上の階層の画像を生成して出力する（ステップＳ８）。エンコーダ１０２は、この画像を入力し、この階層をエンコードして（ステップＳ９）、得られた符号化データを送信する（ステップＳ１０）。このステップＳ８〜Ｓ１０の処理は、最上位の階層になるまで繰り返される（ステップＳ１１）。
【００３４】
次に、最上位の階層であるエンコーダ１０１は、最上位の階層をエンコードして（ステップＳ１２）、得られた符号化データを送信する（ステップＳ１３）。各エンコーダ１０１、１０２、１０３、１０４から送信された符号化データは多重化部９によって多重化されてビットストリーム１０となる。
【００３５】
＜第３の実施形態＞
次に、図５を参照して、本発明の第３の実施形態による符号化装置を説明する。図５は、同実施形態の構成を示すブロック図である。図５に示す符号化装置が、図１に示す符号化装置と同一の部分には同一の符号を付し、その説明を省略する。図５に示す符号化装置が、図１に示す符号化装置と異なる点は、エンコーダ１０４に対してダミー画像の画像データを出力する画像データ出力部１１が設けられている点である。画像データ出力部１１は、ダミー階層の符号化対象画像として、オリジナルの入力画像６の縮小画像とは独立な、符号化したときのデータ量が少なくなるような画像を出力する。一つの方法は、以下に挙げるダミー画像をこの階層に実際に入力する形態である。ダミー階層に入力するダミー画像の一つの例は全面単色の画像である。この場合、ＤＣＴ係数の交流成分が０となり、符号量が減少する。ダミー画像は実際の再生には用いられないので、符号化データ量が少なくなる単純な画像を任意に選ぶことができる。
【００３６】
次に、図６を参照して、図５に示す符号化装置の処理動作を説明する。図６に示す処理動作が図２に示す処理動作と同一の部分には同一の符号を付してある。図６に示す処理動作が図２に示す処理動作と異なる点は、ステップＳ５に代えて、ステップＳ５２を設けた点である。
【００３７】
まず、画像縮小部７は、入力画像６を縮小してサムネイルの階層の画像を生成して出力する（ステップＳ１）。エンコーダ１０３は、この画像を入力し、サムネイルの階層をエンコードして（ステップＳ２）、得られた符号化データを送信する（ステップＳ３）。
【００３８】
次に、画像縮小部７は、入力画像６を縮小してダミーの階層の画像を生成する（ステップＳ４）。エンコーダ１０４は、画像データ出力部１１から出力された全面単色のダミー画像のデータを入力してエンコードし（ステップＳ５２）、得られた符号化データを送信する（ステップＳ６）。ダミー階層の画像として符号化した際に高い圧縮率が得られる画像が入力されるため、ダミーの階層の符号化自体は通常の符号化と同様に行うことができる。このステップＳ５２、Ｓ６の処理は、ダミー階層の数だけ（最後のダミー階層になるまで）繰り返される（ステップＳ７）。
【００３９】
次に、画像縮小部７は、入力画像６を縮小して、一つ上の階層の画像を生成して出力する（ステップＳ８）。エンコーダ１０２は、この画像を入力し、この階層をエンコードして（ステップＳ９）、得られた符号化データを送信する（ステップＳ１０）。このステップＳ８〜Ｓ１０の処理は、最上位の階層になるまで繰り返される（ステップＳ１１）。
【００４０】
次に、最上位の階層であるエンコーダ１０１は、最上位の階層をエンコードして（ステップＳ１２）、得られた符号化データを送信する（ステップＳ１３）。各エンコーダ１０１、１０２、１０３、１０４から送信された符号化データは多重化部９によって多重化されてビットストリーム１０となる。
【００４１】
図１、図３、図５に示す符号化装置は、本来の空間解像度の階層数が３、ダミーの階層が１で、最下層データの上にダミー階層を挿入するものであるが、階層数が３以外の場合、また、ダミーを挿入する階層の位置が最下層の上以外の場合、また、挿入するダミーの数が１以外の場合も、通常のスケーラブル符号化エンコーダの必要な位置に図１、図３、図５と同じダミーの階層の符号化を行うエンコーダを挿入することでエンコーダを実現することが可能である。
【００４２】
次に、図７を参照して、図２、図４、図６に示すステップＳ１の詳細な処理動作を説明する。図７は、図２、図４、図６に示すステップＳ１の詳細な処理動作示すフローチャートである。まず、画像縮小部７は、サムネイル画像のすぐ上の階層の画像の解像度をＳ，サムネイルの、目的とする解像度をＳ’とする（ステップＳ２１）。続いて、画像縮小部７は、Ｓ’≦Ｓ／（ｒ１のｍ１乗×ｒ２のｍ２乗）、かつ、Ｓ’≧Ｓ／（ｒ１の（ｍ１＋１）乗×ｒ２のｍ２乗）、かつ、Ｓ’≧Ｓ／（ｒ１のｍ１乗×ｒ２の（ｍ２＋１）乗）となるｍ１，ｍ２を求める（ステップＳ２２）。そして、画像縮小部７は、サムネイル画像の解像度Ｓ’’をＳ’＝Ｓ／（ｒ１のｍ１乗×ｒ２のｍ２乗）とする（ステップＳ２３）。
【００４３】
次に、図８を参照して、図２、図４、図６に示すステップＳ４の詳細な処理動作を説明する。図８は、図２、図４、図６に示すステップＳ４の詳細な処理動作示すフローチャートである。まず、画像縮小部７は、符号化済みの階層の最大の解像度をＳとする（ステップＳ３１）。そして、初めて呼び出されたか否かを判定する（ステップＳ３２）。この判定の結果、初めて呼び出されたのでなければ、ｍ１，ｍ２の値を記憶しているｍ１，ｍ２の値のままとする（ステップＳ３３）。一方、初めて呼び出されたのであれば、ｍ１，ｍ２の値を、図８に示す処理によって求めたｍ１，ｍ２の値とする（ステップＳ３４）。
【００４４】
次に、画像縮小部７は、ｍ１＞０を満たすか否かを判定し（ステップＳ３５）、満たしていれば、入力画像を縮小して解像度がＳ×ｒ１のダミーの階層の画像を生成する（ステップＳ３６）。そして、画像縮小部７は、ｍ１←ｍ１−１（←は値の代入を表す）とする（ステップＳ３７）。
【００４５】
一方、ステップＳ３５の判定において、ｍ１＞０を満たしていなければ、画像縮小部７は、ｍ２＞１を満たすか否かを判定し（ステップＳ３８）、満たしていれば、入力画像を縮小して解像度がＳ×ｒ２のダミーの階層の画像を生成する（ステップＳ３９）。そして、画像縮小部７は、ｍ２←ｍ２−１（←は値の代入を表す）とする（ステップＳ４０）。ステップＳ３８の判定において、ｍ２＞１を満たしていない場合と、ステップＳ３７またはステップＳ４０の処理後、画像縮小部７は、ｍ１，ｍ２を次に呼び出されるまで記憶する（ステップＳ４１）。
【００４６】
＜第４の実施形態＞
次に、図９を参照して、本発明の第４の実施形態による符号化装置を説明する。図９は、同実施形態の構成を示すブロック図である。図９に示す符号化装置が、図１に示す符号化装置と同一の部分には同一の符号を付し、その説明を省略する。図９に示す符号化装置が、図１に示す符号化装置と異なる点は、エンコーダ１０４に対して、符号化すべき画像を入力せず、この階層のエンコーダ１０４が内部で適当な符号データを生成して出力するようにした点である。エンコーダ１０４は、例えば、予め与えられた符号化データを出力する。
【００４７】
＜第５の実施形態＞
次に、図１０を参照して、本発明の第５の実施形態による符号化装置を説明する。図１０は、同実施形態の構成を示すブロック図である。図１０に示す符号化装置が、図５に示す符号化装置と同一の部分には同一の符号を付し、その説明を省略する。図１０に示す符号化装置が、図５に示す符号化装置と異なる点は、画像データ出力部１１から出力する画像データをエンコーダ１０２に入力するようにした点である。図１０に示す符号化装置は、３階層の空間スケーラブルをもたせて符号化する場合に、最上位とその下の画像の解像度にギャップがある場合に、図５に示す符号化装置と同様の方法でダミーの階層を挿入するものである。
【００４８】
＜第６の実施形態＞
次に、図１１を参照して、本発明の第６の実施形態による符号化装置を説明する。図１１は、同実施形態の構成を示すブロック図である。図１１に示す符号化装置が、図５に示す符号化装置と同一の部分には同一の符号を付し、その説明を省略する。図１０に示す符号化装置が、図５に示す符号化装置と異なる点は、エンコーダ１０５を新たに設け、画像データ出力部１１が出力する画像データをエンコーダ１０５にも入力するようにした点である。
【００４９】
図１１に示す符号化装置は、隣接する階層の解像度の比が大きい場合、その間に複数のダミー階層を挿入したものである。図１１に示す符号化装置は、最下位階層とそのすぐ上の階層の解像度の比が８倍の場合の例である。複数のダミー階層を挿入する場合、ある階層の画像の解像度（ｓ１）とそのすぐ上の階層の解像度（ｓ２）の比が（ｒ１のｎ乗）×（ｒ２のｍ乗）のとき、（ｎ＋ｍ−１）個のダミーの画像を挿入し、挿入したダミー階層とその上下の階層との解像度比がｒ１またはｒ２かつ、解像度比がｒ１であるものがｎ個、解像度比がｒ２であるものがｍ個となるようにする。
【００５０】
なお、ここで、ｒ１，ｒ２は隣接する階層間で許される解像度の比で、具体的には規格Ｈ．２６４／ＳＶＣでは２と１．５である。許される解像度比が２個以外（ｋ個）の場合も、ｒ１，ｒ２，・・・，ｒｋと一般化することができる。
【００５１】
＜第７の実施形態＞
次に、図１２を参照して、本発明の第７の実施形態による符号化装置を説明する。図１２は、同実施形態の構成を示すブロック図である。図１２に示す符号化装置が、図１に示す符号化装置と同一の部分には同一の符号を付し、その説明を省略する。図１２に示す符号化装置が、図１に示す符号化装置と異なる点は、画像変形部１２を新たに設け、画像縮小部７が出力する画像データを画像変形部１２によって画像変形処理を行って、エンコーダ１０３に入力するようにした点である。
【００５２】
図１２に示す符号化装置は、最下位階層の画像をオリジナルサイズから変形を行うものである。画像変形部１２は、画像縮小部７から出力する画像データを入力し、入力した画像に対して画像変形の処理を行って出力する。たとえば、最下位の最も小さなサイズの画像では、オリジナルサイズの構図のまま縮小すると表示時に内容が把握しづらい場合がある。その場合、最下位階層の画像をサムネイル画像として、一部を拡大したり構図を省略したりすることで、内容が理解しやすくなる。具体的には、テレビ会議の画像において、オリジナル画像は、部屋全体を表示している場合に、最下位階層では顔のみをクローズアップ表示するなどである。ここでも同様に、画像変形部１２のすぐ上位の階層を、図１、３、５、９、１０に示す符号化装置のようにダミーの階層とすることで、最下位階層以外にも画像変形部１２を設けるようにしてもよい。
【００５３】
＜動画像伝送システム＞
次に、図１３を参照して、図１、３、５、９、１０、１１、１２に示す動画像符号化装置を含む動画像伝送システムの構成を説明する。図１３は、動画像伝送システムの構成を示すブロック図である。図１３において、符号２０１は、カメラ等で撮像した動画像を入力する動画像入力部である。符号２０２は、図１、３、５、９、１０、１１、１２のいずれかに示す符号化装置で構成する動画像符号化装置あり、動画像入力部１によって入力した動画像を符号化して送信する。符号２０３は、動画像符号化装置２０２から送信された符号化動画像のデータを伝送する伝送路である。符号２０４は、伝送路２０３によって伝送された符号化動画像のデータを受信し、符号化動画像のデータを復号して出力する動画像復号装置である。符号２０５は、動画像復号装置２０４において復号された動画像を表示装置等へ出力する動画像出力部である。
【００５４】
次に、図１３を参照して、図１３に示す動画像伝送システムの動作を説明する。動画像符号化装置２０２は、動画像入力部１を介して、動画像のデータを入力し、動画像のフレーム毎に符号化を行う。このとき、解像度の比が規定の値より大きい二つの隣接する階層のエンコーダの間に、階層間の比が規定の値となるように、必要な数のダミーの階層のエンコーダを挿入することで、階層間の解像度の比を大きくする処理が行われる。そして、動画像符号化装置２０２は、符号化した動画像データを伝送路２０３を介して動画像復号装置２０４に対して送信する。動画像復号装置２０４は、この符号化動画像データを復号し、動画像出力部２０５を介して、表示装置等に動画像を表示する。
【００５５】
以上説明したように、解像度の比が規定の値より大きい二つの隣接する階層のエンコーダの間に、階層間の比が規定の値となるように、必要な数のダミーの階層のエンコーダを挿入することで、階層間の解像度の比を大きくすることができる。ｎ個のダミー階層を挿入する場合、ダミー階層のすぐ下とすぐ上の階層の解像度の比は、最大で２のｎ＋１乗とすることができる。これにより、データ量を増大させることなく、一つの符号化ファイルとして表すことができる。また、従来の符号化方法では隣接する階層間の解像度の差が大きくなり、その符号化データをデコーダで復号できないという問題を解決することができる。
【００５６】
なお、図１、３、５、９、１０、１１、１２における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより動画像の符号化処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００５７】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００５８】
隣接する階層間の解像度の差が一定以上の場合に、実際の画像の符号化の役割を担わない、データ量の非常に小さい形だけの階層を間に挿入することで階層間の解像度の差を一定以内に抑えることが不可欠な用途に適用できる。
【符号の説明】
【００５９】
１・・・時間分割部、２、２１・・・イントラ予測部、３、３１・・・ＤＣＴ／量子化／エントロピー符号化部、４・・・動き情報符号化部、５・・・画像拡大部、６・・・入力画像、７・・・画像縮小部、８１、８２、８３、８４・・・ローカルデコード、９・・・多重化部、１０・・・ビットストリーム、１１・・・画像データ出力部、１２・・・画像変形部、１０１、１０２、１０３、１０４、１０５・・・エンコーダ、２０１・・・動画像入力部、２０２・・・動画像符号化装置、２０３・・・伝送路、２０４・・・動画像復号装置、２０５・・・動画像出力部
【図１】
2013005268.tif 000003
【図２】
2013005268.tif 000004
【図３】
2013005268.tif 000005
【図４】
2013005268.tif 000006
【図５】
2013005268.tif 000007
【図６】
2013005268.tif 000008
【図７】
2013005268.tif 000009
【図８】
2013005268.tif 000010
【図９】
2013005268.tif 000011
【図１０】
2013005268.tif 000012
【図１１】
2013005268.tif 000013
【図１２】
2013005268.tif 000014
【図１３】
2013005268.tif 000015
【図１４】
2013005268.tif 000016