(57)【要約】【課題】  従来の符号化方式においては、階層符号化方式においてレイヤ間予測技術の際に使用するアップサンプリングのフィルタは符号化情報に依存していなかったため、符号化効率が向上しないといった問題が生じていた。【解決手段】  基本レイヤの符号化情報から導かれる画像の特性によって最適なアップサンプリングフィルタを使用することで、符号化効率が改善できる。【選択図】  図１
2013110518.tif 000002
【特許請求の範囲】
【請求項１】
第１の解像度の画像を入力し、ブロック単位で、符号化済みの画素から符号化対象のブロックの予測を行い符号化するとともに予測の方法を示す第１予測情報を生成する第１の符号化手段と、
第１の解像度と該第１の解像度より大きい第２の解像度との比を用いて、前記第１の符号化手段から出力される第１の画像を、前記第１予測情報によって定まるフィルタを用いて変倍し、レイヤ間画素予測参照データを生成する変倍手段と、
第２の解像度の画像を入力し、ブロック単位で、符号化済みの画素もしくは前記レイヤ間画素予測参照データから予測を行い符号化する第２の符号化手段とを有することを特徴とする画像符号化装置。
【請求項２】
前記第１予測情報は、第１の解像度の画像のブロックのイントラ予測の方向を示す情報であることを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記変倍手段は、前記第１予測情報が示す第１の解像度の画像のブロックのイントラ予測の方向によって、タップ数の異なったフィルタを用いて変倍することを特徴とする請求項２に記載の画像符号化装置。
【請求項４】
前記変倍手段は、前記第１予測情報が示す第１の解像度の画像のブロックのイントラ予測の方向と平行の方向のエッジが保存されるフィルタを使用して変倍を行うことを特徴とする請求項３に記載の画像符号化装置。
【請求項５】
前記変倍手段は、前記第１予測情報が示す第１の解像度の画像のブロックのイントラ予測の方向によって、前記イントラ予測の方向と平行もしくはそれに近い角度のフィルタリングにはタップ数の短いフィルタを使用し、前記イントラ予測の方向と垂直もしくはそれに近い角度のフィルタリングにはタップ数の長いフィルタを使用することを特徴とする請求項３に記載の画像符号化装置。
【請求項６】
第１の解像度の画像および第１の解像度よりも大きい第２の解像度の画像が符号化されたビットストリームを入力して復号する画像復号装置において、
第１の解像度の画像に対応する第１の符号データを復号するとともに、予測の方法を示す第１予測情報を復号する第１の復号手段と、
第１の解像度と第２の解像度との比を用いて、前記第１の復号手段から出力される第１の画像を、前記第１予測情報によって定まるフィルタを用いて変倍し、レイヤ間画素予測参照データを生成する変倍手段と、
第２の解像度の画像に対応する第２の符号データを、前記レイヤ間画素予測参照データに基づいて復号する第２の復号手段とを有することを特徴とする画像復号装置。
【請求項７】
画像符号化装置における画像符号化方法であって、
第１の解像度の画像を入力し、ブロック単位で、符号化済みの画素から符号化対象のブロックの予測を行い符号化するとともに予測の方法を示す第１予測情報を生成する第１の符号化工程と、
第１の解像度と該第１の解像度より大きい第２の解像度との比を用いて、前記第１の符号化手段から出力される第１の画像を、前記第１予測情報によって定まるフィルタを用いて変倍し、レイヤ間画素予測参照データを生成する変倍工程と、
第２の解像度の画像を入力し、ブロック単位で、符号化済みの画素もしくは前記レイヤ間画素予測参照データから予測を行い符号化する第２の符号化工程とを有することを特徴とする画像符号化方法。
【請求項８】
第１の解像度の画像および第１の解像度よりも大きい第２の解像度の画像が符号化されたビットストリームを入力して復号する画像復号装置における画像復号方法であって、
第１の解像度の画像に対応する第１の符号データを復号するとともに、予測の方法を示す第１予測情報を復号する第１の復号工程と、
第１の解像度と第２の解像度との比を用いて、前記第１の復号手段から出力される第１の画像を、前記第１予測情報によって定まるフィルタを用いて変倍し、レイヤ間画素予測参照データを生成する変倍工程と、
第２の解像度の画像に対応する第２の符号データを、前記レイヤ間画素予測参照データに基づいて復号する第２の復号工程とを有することを特徴とする画像復号方法。
【請求項９】
コンピュータが読み出して実行することにより、前記コンピュータを、請求項１に記載の符号化装置として機能させることを特徴とするプログラム。
【請求項１０】
コンピュータが読み出して実行することにより、前記コンピュータを、請求項６に記載の復号装置として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラムに関し、特に画像符号化時および復号時に用いるフィルタの選択方法に関する。
【背景技術】
【０００２】
動画像の圧縮記録の符号化方式として、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ（以下Ｈ．２６４）が知られている。（非特許文献１）
また、Ｈ．２６４では階層符号化を行うことができる。（非特許文献１  Ａｎｎｅｘ  Ｇ  Ｓｃａｌａｂｌｅ  ｖｉｄｅｏ  ｃｏｄｉｎｇ参照）
空間スケーラビリティの場合、基本レイヤのブロックの符号化済画素を拡大して拡張レイヤのブロックの画素予測を行うレイヤ間画素予測を用いることができる。また、基本レイヤのブロックの予測との残差を拡大して拡張レイヤのブロックの残差予測を行うレイヤ間残差予測を用いることもできる。前記レイヤ間画素予測では、例えば非特許文献１のＧ．８．６章記載の４タップフィルタを用いて拡大を行う。フィルタの係数は、基本レイヤの画像の解像度と拡張レイヤの画像の解像度の比率、および対象となる拡張レイヤのブロックの画素位置から算出される位相によって定まる。レイヤ間残差予測においても、前記位相に基づいた線形補間による拡大処理が施される。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】ＩＴＵ−Ｔ  Ｈ．２６４  （０３／２０１０）  Ａｄｖａｎｃｅｄｖｉｄｅｏ  ｃｏｄｉｎｇ  ｆｏｒ  ｇｅｎｅｒｉｃ  ａｕｄｉｏｖｉｓｕａｌ  ｓｅｒｖｉｃｅｓ
【発明の概要】
【発明が解決しようとする課題】
【０００４】
空間スケーラビリティを持つ階層符号化を実現しようとした時、Ｈ．２６４のように低解像度の基本レイヤのブロックの符号化済画素を拡大して、拡張レイヤのブロックの画素予測に用いることは符号化効率の観点から有効であると考えられている。しかしながら、Ｈ．２６４のように画像の特性を用いずに拡大処理を行うと、最適な拡大方法を適用することができず、符号化効率が向上しないという問題が生じている。
したがって、本発明は上述した課題を解決するためになされたものであり、階層符号化における拡大処理に基本レイヤのブロックの符号化情報を用いることにより、符号化効率の向上を図ることを目的とする。
【課題を解決するための手段】
【０００５】
上記の課題を解決するため、本発明の画像符号化装置は、第１の解像度の画像を入力し、ブロック単位で、符号化済みの画素から符号化対象のブロックの予測を行い符号化するとともに予測の方法を示す第１予測情報を生成する第１の符号化手段と、第１の解像度と該第１の解像度より大きい第２の解像度との比を用いて、前記第１の符号化手段から出力される第１の画像を、前記第１予測情報によって定まるフィルタを用いて変倍し、レイヤ間画素予測参照データを生成する変倍手段と、第２の解像度の画像を入力し、ブロック単位で、符号化済みの画素もしくは前記レイヤ間画素予測参照データから予測を行い符号化する第２の符号化手段とを有することを特徴とする。
【発明の効果】
【０００６】
本発明により、階層符号化における拡大処理については、基本レイヤブロックの符号化情報に基づいて使用するフィルタを決定する。これにより、画像の特性に応じたフィルタを選択することが可能になり、符号化効率をさらに向上させることができる。
【図面の簡単な説明】
【０００７】
【図１】実施形態１における画像符号化装置の構成を示すブロック図
【図２】イントラ予測の方向の一例を示す図
【図３】イントラ予測の方向と変倍処理に用いるフィルタの関係の一例を示す図
【図４】実施形態１に係る画像符号化装置における基本レイヤ符号化処理を示すフローチャート
【図５】実施形態１に係る画像符号化装置における拡張レイヤ符号化処理を示すフローチャート
【図６】実施形態２における画像復号装置の構成を示すブロック図
【図７】実施形態２に係る画像復号装置における基本レイヤ復号処理を示すフローチャート
【図８】実施形態２に係る画像復号装置における拡張レイヤ符号化処理を示すフローチャート
【図９】実施形態３における画像符号化装置の構成を示すブロック図
【図１０】実施形態４における画像復号装置の構成を示すブロック図
【図１１】実施形態３に係る画像符号化装置における拡張レイヤ符号化処理を示すフローチャート
【図１２】実施形態４に係る画像復号装置における拡張レイヤ復号処理を示すフローチャート
【図１３】本発明の画像符号化装置、復号装置に適用可能なコンピュータのハードウェア構成例を示すブロック図
【発明を実施するための形態】
【０００８】
以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【０００９】
＜実施形態１＞
以下、本発明の実施形態を、図面を用いて説明する。図１は本実施形態の画像符号化装置を示すブロック図である。図１において、１０１は画像データを入力する端子である。１０２は入力された画像データをフレーム単位に格納するフレームメモリである。１０３は変倍部であり、入力された画像データを倍率ｎ／ｍ（ｎ、ｍは正の数）で変倍する。１０４は変倍された画像データをフレーム単位で格納するフレームメモリである。
【００１０】
１０５、１１２は予測部であり、画像データを複数のブロックに切り出し、フレーム内予測であるイントラ予測等を行い、予測画像データを生成する。さらに入力された画像データと前記予測画像データから予測誤差を算出し、出力する。また予測に必要な情報、例えば、イントラ予測モード等の情報も予測誤差と併せて出力される。以後、本発明ではイントラ予測モード等、予測に必要な情報を予測情報と呼ぶ。
【００１１】
１０６、１１３は前記予測誤差をブロック単位で直交変換して変換係数を得て、さらに量子化を行い、量子化係数を得る変換・量子化部である。１０７、１１４は変換・量子化部１０６、１１３から出力された量子化係数および予測部１０５、１１２から出力された予測情報を符号化して符号データを生成する符号化部である。１０８、１１５は変換・量子化部１０６、１１３から出力された量子化係数を逆量子化して変換係数を再生し、さらに逆直交変換して予測誤差を再生する逆量子化・逆変換部である。
【００１２】
１１０、１１７は再生された画像データを格納しておくフレームメモリである。１０９、１１６は画像再生部である。予測部１０５、１１２から出力された予測情報に基づいて、フレームメモリ１１０、１１７を適宜参照して予測画像データを生成し、これと入力された予測誤差から再生画像データを生成し、出力する。１１１は変倍部であり、予測部１０５から出力された予測情報に基づいて、変倍部１０３と逆の変倍率（ｍ／ｎ）でフレームメモリ１１０の画像データをフィルタ演算にて変倍する。
【００１３】
ここで、フレームメモリ１０４、１１０、予測部１０５、変換・量子化部１０６、符号化部１０７、逆量子化・逆変換部１０８、画像再生部１０９は基本レイヤの画像データを符号化する。また、フレームメモリ１０２、１１７、予測部１１２、変換・量子化部１１３、符号化部１１４、逆量子化・逆変換部１１５、画像再生部１１６は拡張レイヤの画像データを符号化する。
【００１４】
１１８はこれらの基本レイヤの符号データと拡張レイヤの符号データを多重化してビットストリームを形成する多重化部である。１１９は端子であり、多重化部１１８で生成されたビットストリームを外部に出力する端子である。
【００１５】
上記画像符号化装置における画像の符号化動作を以下に説明する。本実施形態では動画像データをフレーム単位に入力する構成となっているが、１フレーム分の静止画像データを入力する構成としても構わない。また、本実施形態では、説明を容易にするため、イントラ予測符号化の処理のみを説明するが、これに限定されずインター予測符号化とイントラ予測符号化の処理を混合して用いた場合においても適用可能である。最初に基本レイヤの符号化動作について説明する。
【００１６】
端子１０１から入力された１フレーム分の画像データはフレームメモリ１０２に格納される。変倍部１０３ではフレームメモリ１０２に格納された画像データを所定の倍率ｎ／ｍで変倍する。空間スケーラビリティの場合、ｎ／ｍは１未満の値となる。変倍された画像データはフレームメモリ１０４に格納される。また、変倍率は変倍部１１１に入力される。
【００１７】
予測部１０５ではブロック単位の予測が行われ、予測誤差が生成され、変換・量子化部１０６に入力される。また、予測情報は、変倍部１１１、画像再生部１０９および符号化部１０７に入力される。変換・量子化部１０６では、入力された予測誤差に直交変換・量子化を行い、量子化係数を生成する。生成された量子化係数は符号化部１０７および逆量子化・逆変換部１０８に入力される。
【００１８】
符号化部１０７では、変換・量子化部１０６で生成された量子化係数および予測部１０５から入力された予測情報をエントロピー符号化し、符号データを生成する。エントロピー符号化の方法は特に限定しないが、ゴロム符号化、算術符号化、ハフマン符号化などを用いることができる。生成された符号データは多重化部１１８に入力される。
【００１９】
一方、逆量子化・逆変換部１０８では、入力された量子化係数を逆量子化して変換係数を再生し、さらに再生された変換係数を逆直交変換して予測誤差を再生し、画像再生部１０９に出力する。
【００２０】
画像再生部１０９では、予測部１０５から入力される予測情報に基づいて、フレームメモリ１１０を適宜参照し、予測画像を再生する。そして再生された予測画像と逆量子化・逆変換部１０８から入力された予測誤差から、画像データを再生し、フレームメモリ１１０に入力し、格納する。
【００２１】
続いて、拡張レイヤの画像データの符号化動作について説明する。予測部１１２におけるレイヤ間画素予測に先立ち、変倍部１１１は符号化対象の拡張レイヤのブロックに対応する基本レイヤのブロックの位置の画像データをフレームメモリ１１０から抽出する。抽出された基本レイヤの画像データはｍ／ｎ倍に変倍され、レイヤ間画素予測参照画像データとして、予測部１１２に出力される。この時、変倍部１１１では、変倍部１０３から倍率を入力し、そして予測部１０５から基本レイヤブロックの予測情報を入力して、変倍処理に用いるフィルタを決定する。本実施形態では、入力される予測情報は基本レイヤブロックのイントラ予測モードであり、その内容は図２に示されている８方向＋ＤＣ予測の９通りの予測モードのいずれかを示す情報である。基本レイヤのブロックのイントラ予測に用いられる方法はこれに限定されず、例えば図２の予測方向０と予測方向５の間に新しい予測方向を設け、より多くの予測方向からイントラ予測をしても良い。その場合、変倍部１１１に入力される予測情報もそれに対応して変更される。
【００２２】
図３は本実施形態におけるイントラ予測モードと変倍処理に用いるフィルタの組み合わせを示している。本実施形態では倍率ｍ／ｎを２倍として、基本レイヤのブロックの符号化済画素を２倍に拡大し、拡張レイヤの予測に用いるものとする。例えば、基本レイヤのブロックが予測モード０（図２の垂直方向）で符号化されていた場合、垂直方向の拡大には［−３、１９、１９、−３］の４タップフィルタを用いる。また、水平方向の拡大には［−１、４、−１１、４０、４０、−１１、４、−１］の８タップフィルタを用いる。もちろん、イントラ予測モードと使用するフィルタの組み合わせや拡大処理に用いるフィルタの種類はこれに限定されない。例えば、フィルタの種類として、イントラ予測モードの方向と平行の方向のエッジが保存されるフィルタを使用する。またはイントラ予測モードの方向に基づいてイントラ予測モードの方向と平行もしくはそれに近い角度のフィルタリングにはタップ数の短いフィルタを使用する。一方、イントラ予測モードの方向と垂直もしくはそれに近い角度のフィルタリングにはタップ数の長いフィルタを使用する。前述の例では、基本レイヤのブロックが予測モード０（図２の垂直方向）で符号化されていた場合、当該ブロックの領域では、垂直方向のエッジが存在している可能性が高い。そのため、垂直方向の拡大にはよりタップ数の短い４タップフィルタを用い、水平方向の拡大にはよりタップ数の長い８タップフィルタを用いている。
【００２３】
予測部１１２はフレームメモリ１０２に格納された画像データに対してブロック分割を行い、ブロック単位でイントラ予測またはレイヤ間画素予測を行い、予測誤差を生成する。イントラ予測を行う際にはフレームメモリ１１７を適宜参照し、レイヤ間画素予測を行う際には変倍部１１１から出力されたレイヤ間画素予測参照画像データを適宜参照する。生成された予測誤差は変換・量子化部１１３に入力される。また、予測情報は、画像再生部１１６および符号化部１１４に入力される。
【００２４】
変換・量子化部１１３では、入力された予測誤差に直交変換・量子化を行い、量子化係数を生成する。生成された量子化係数は符号化部１１４および逆量子化・逆変換部１１５に入力される。符号化部１１４では、変換・量子化部１１３で生成された量子化係数および予測部１１２から入力された予測情報をエントロピー符号化し、符号データを生成する。生成された符号データは多重化部１１８に入力される。
【００２５】
一方、逆量子化・逆変換部１１５では、変換・量子化部１１３から入力された量子化係数を逆量子化・逆変換し、予測誤差を再生する。画像再生部１１６では、予測部１１２から入力される予測情報に基づいて、フレームメモリ１１７およびレイヤ間画素予測参照画像データを適宜参照し、予測画像を再生する。この予測画像および逆量子化・逆変換部１１５から入力された予測誤差から、画像データを再生し、フレームメモリ１１７に入力し、格納する。多重化部１１８では所定の書式に従ってこれらの符号データを多重化し、ビットストリームとして端子１１９から外部に出力する。
【００２６】
図４は、実施形態１に係る画像符号化装置における基本レイヤの符号化処理を示すフローチャートである。
【００２７】
まず、ステップＳ４０１にて、変倍部１０３は入力された画像データを所定の倍率ｎ／ｍで変倍する。ステップＳ４０２にて、予測部１０５はステップＳ４０１で変倍された画像データを複数のブロックに切り出し、フレーム内予測であるイントラ予測を行い、予測情報および予測画像データを生成する。さらに入力された画像データと前記予測画像データから予測誤差を算出する。ステップＳ４０３にて、変換・量子化部１０６はステップＳ４０２で算出された予測誤差を直交変換して変換係数を生成し、さらに量子化を行い、量子化係数を生成する。ステップＳ４０４にて、逆量子化・逆変換部１０８はＳ４０３にて生成された量子化係数を逆量子化・逆直交変換し、予測誤差を再生する。
【００２８】
ステップＳ４０５にて、画像再生部１０９はステップＳ４０２で生成された予測情報に基づいて予測画像を再生する。さらに再生された予測画像とステップＳ４０４で生成された予測誤差から画像データを再生する。ステップＳ４０６にて、符号化部１０７はステップＳ４０３で生成された量子化係数およびステップＳ４０２で生成された予測情報を符号化し、符号データを生成する。なお、ステップＳ４０６はステップＳ４０３の後に実行されるのであれば、順序は問わない。
【００２９】
ステップＳ４０７にて、画像符号化装置は、すべてのブロックの符号化が終了したか否かの判定を行い、終了していれば基本レイヤの符号化処理を終了し、そうでなければ次のブロックを対象としてステップＳ４０２に戻る。
【００３０】
また、図５は、実施形態１に係る画像符号化装置における拡張レイヤの符号化処理を示すフローチャートである。図５において、図４のブロックと同等の機能を実現するステップについては同じ番号を付し、説明を省略する。
【００３１】
まず、ステップＳ５０１にて、変倍部１１１は符号化対象の拡張レイヤのブロックに対応する基本レイヤのブロックの予測モードに基づいて変倍処理に用いるフィルタを選択する。そして、選択されたフィルタを用いて基本レイヤのブロックの符号化済画素を変倍し、レイヤ間画素予測のための参照画像データを生成する。
【００３２】
ステップＳ５０２にて、予測部１１２は入力された画像データを複数のブロックに切り出し、フレーム内予測であるイントラ予測またはステップＳ５０１にて生成された参照画像データを参照してレイヤ間画素予測を行い、予測情報および予測画像データを生成する。さらに入力された画像データと前記予測画像データから予測誤差を算出する。ステップＳ５０５にて、画像再生部１１６はステップＳ５０２で生成された予測情報に基づいてイントラ予測またはレイヤ間画素予測を行い、予測画像を再生する。そして本ステップで再生された予測画像とステップＳ４０４で再生された予測誤差から画像データを再生する。
【００３３】
ステップＳ５０６にて、符号化部１１４はステップＳ４０３で生成された量子化係数およびステップＳ５０２で生成された予測情報を符号化し、符号データを生成する。なお、ステップＳ５０６はステップＳ４０３の後に実行されれば順序は問わない。ステップＳ５０７にて、画像符号化装置は、すべてのブロックの符号化が終了したか否かの判定を行い、終了していれば拡張レイヤの符号化処理を終了し、そうでなければ次のブロックを対象として、ステップＳ５０１に戻る。
【００３４】
これらの基本レイヤの符号化処理および拡張レイヤの符号化処理に続いて、多重化部１１８はステップＳ４０６で生成された基本レイヤの符号データおよびステップＳ５０６で生成された拡張レイヤの符号データを所定の方法で多重化しビットストリームを生成する。
【００３５】
以上の構成と動作により、特にステップＳ５０１における基本レイヤの予測情報に基づいた変倍処理によって、効率の良いレイヤ間画素予測を拡張レイヤで用いることができ、高効率の符号化を行うことができる。
【００３６】
なお、基本レイヤの符号化装置と拡張レイヤの符号化装置が個別に存在し、変倍部１０３、１１１が外部にある構成でも構わないし、変倍部１０３が外部にあり、変倍部１１１は拡張レイヤの符号化装置に含まれる構成でも構わない。その場合、複数の解像度の画像が入力され、そのうち解像度が小さい方の画像が基本レイヤの符号化装置に入力され、解像度が大きい方の画像が拡張レイヤの符号化装置に入力される。
【００３７】
なお、イントラ予測の方向に応じて選択するフィルタ係数の例を図３に示したが、タップ数、フィルタ係数、フィルタの形状はこれに限定されない。例えば２次元フィルタを用いても構わない。なお、本実施例において、予測誤差に対して変換・量子化部１０６、逆量子化・逆変換部１０８および変換・量子化部１１３、逆量子化・逆変換部１１５を用いて情報量の削減を行ったが、これに限定されない。例えば、量子化パラメータが１の場合は量子化されないし、変換をせずに予測誤差をそのままＰＣＭ符号化しても良い。
【００３８】
＜実施形態２＞
図６は、本発明の実施形態２に係る画像復号装置の構成を示すブロック図である。本実施形態では、実施形態１で生成された符号化データの復号を例にとって説明する。
【００３９】
６０１は符号化されたビットストリームを入力する端子である。６０２はビットストリームを基本レイヤの符号データと拡張レイヤの符号データに分離する分離部である。分離部６０２は図１の多重化部１１８と逆の動作を行う。６０３と６０９は復号部であり、各レイヤの符号データから量子化係数に関する符号データと予測情報に関する符号データに分離して、それぞれの符号データを復号し、量子化係数と予測情報を再生し後段に出力する。復号部６０３、６０９は図１の符号化部１０７、１１４と逆の動作を行う。
【００４０】
６０４と６１０は逆量子化・逆変換部であり、図１の１０８、１１５同様、ブロック単位で量子化係数を入力し、逆量子化を行って変換係数を得、さらに逆直交変換を行い、予測誤差を再生する。６０５、６１１は画像再生部である。図１の１０９、１１６同様、復号部６０３、６０９から出力された予測情報に基づいて、フレームメモリ６０６、６１２を適宜参照して予測画像データを生成する。そして、この予測画像データと逆変換部６０４、６１０で再生された予測誤差から再生画像データを生成し、出力する。
【００４１】
６０６，６１２はフレームメモリである、再生されたピクチャの画像データを格納しておく。６０８は図１の変倍部１１１と同じ変倍率に応じて基本レイヤの画像データを前記予測情報に基づいて変倍する変倍部である。なお、変倍率の算出については特に限定しない。基本レイヤの解像度と拡張レイヤの解像度の比から算出しても良いし、所定の値を設定しても構わない。
【００４２】
６０７、６１３は端子であり、端子６０７は基本レイヤの画像データを出力し、端子６１３は拡張レイヤの画像データを出力する。ここで、復号部６０３、逆量子化・逆変換部６０４、画像再生部６０５、フレームメモリ６０６は基本レイヤの符号データを復号し、基本レイヤの画像データを再生する。また、復号部６０９、逆量子化・逆変換部６１０、画像再生部６１１、フレームメモリ６１２、変倍部６０８は拡張レイヤの符号データを復号し、拡張レイヤの画像データを再生する。
【００４３】
上記画像復号装置における画像の復号動作を以下に説明する。本実施形態では、実施形態１で生成されたビットストリームを復号する。
【００４４】
図６において、端子６０１から入力されたビットストリームは分離部６０２に入力され、基本レイヤの符号データと拡張レイヤの符号データに分離され、前者は復号部６０３に、後者は復号部６０９に入力される。最初に基本レイヤの符号データの復号動作について説明する。
【００４５】
基本レイヤの符号化データは復号部６０３に入力される。復号部６０３はヘッダ情報の復号を行い、量子化係数符号データと予測情報符号データを分離する。そしてそれぞれを復号して量子化係数および予測情報を再生する。再生された量子化係数は逆量子化・逆変換部６０４に入力され、再生された予測情報は画像再生部６０５および変倍部６０８に入力される。逆量子化・逆変換部６０４では、入力された量子化係数に対し逆量子化を行って直交変換係数を生成し、さらに逆直交変換を施して予測誤差を再生する再生された予測誤差は画像再生部６０５に入力される。
【００４６】
画像再生部６０５では、復号部６０３から入力された予測情報に基づいて、フレームメモリ６０６を適宜参照し、予測画像を再生する。この予測画像と逆量子化・逆変換部６０４から入力された予測誤差から画像データを再生し、フレームメモリ６０６に入力し、格納する。格納された画像データは予測の際の参照に用いられ、その一方で端子６０７から基本レイヤの画像データとして出力される。
【００４７】
続いて拡張レイヤの符号データの復号動作について説明する。画像再生部６１１におけるレイヤ間画素予測に先立ち、変倍部６０８は復号対象の拡張レイヤのブロックに対応する基本レイヤのブロックの位置の画像データをフレームメモリ６０６から抽出する。抽出された画像データは変倍率（ｎ／ｍ）に応じてｍ／ｎ倍され、レイヤ間画素予測参照画像データとして画像再生部６１１に出力される。この時、変倍部６０８では、復号部６０３から基本レイヤブロックの予測情報を入力して、実施形態１の図１の変倍部１１１同様、イントラ予測モードに従って変倍処理に用いるフィルタを決定する。
【００４８】
拡張レイヤの符号化データは復号部６０９に入力される。復号部６０９はヘッダ情報の復号を行い、量子化係数符号データと予測情報符号データを分離する。そしてそれぞれを復号して量子化係数および予測情報を再生する。再生された量子化係数は逆量子化・逆変換部６１０に入力され、予測情報は画像再生部６１１に入力される。
【００４９】
逆量子化・逆変換部６１０では、入力された量子化係数に対し逆量子化を行って直交変換係数を生成し、さらに逆直交変換を施して予測誤差を再生する。再生された予測誤差は画像再生部６１１に入力される。
【００５０】
画像再生部６１１では、復号部６０９から入力された予測情報に基づいて、フレームメモリ６１２から入力された復号済みの周囲の画素データおよび変倍部６０８から入力されたレイヤ間画素予測参照画像データを適宜参照し、予測画像を再生する。再生された予測画像と逆量子化・逆変換部６１０から入力された予測誤差から画像データを再生し、フレームメモリ６１２に入力し、格納する。格納された画像データは予測の際の参照に用いられ、その一方で端子６１３から拡張レイヤの画像データとして出力される。
【００５１】
以下、実施形態２に係る画像復号装置におけるビットストリームの復号処理について説明する。まず、処理に先立ち不図示のステップにより、分離部６０２は入力されたビットストリームを基本レイヤの符号データと拡張レイヤの符号データに分離する。基本レイヤの符号データは後述する基本レイヤの復号処理によって復号され、拡張レイヤの符号データは同じく後述する拡張レイヤの復号処理によって復号される。
【００５２】
図７は、実施形態２に係る画像復号装置における基本レイヤの復号処理を示すフローチャートである。ステップＳ７０１にて、復号部６０３は基本レイヤの符号データを復号し、量子化係数と予測情報を再生する。ステップＳ７０２にて、逆量子化・逆変換部６０４はステップＳ７０１で生成された量子化係数を逆量子化・逆直交変換し、予測誤差を再生する。ステップＳ７０３にて、画像再生部６０５はステップＳ７０１で生成された予測情報に基づいて、復号済み画素を参照してイントラ予測を行い、予測画像を再生する。そして再生された予測画像とステップＳ７０２で再生された予測誤差から画像データを再生する。
【００５３】
ステップＳ７０４にて、画像復号装置は、すべてのブロックの復号が終了したか否かの判定を行い、終了していれば基本レイヤの復号処理を終了し、そうでなければ次のブロックを対象として、ステップＳ７０１に戻る。
【００５４】
また、図８は、実施形態２に係る画像復号装置における拡張レイヤの復号処理を示すフローチャートである。ステップＳ８０１にて、変倍部６０８は符号化対象の拡張レイヤのブロックに対応する基本レイヤのブロックの予測モードに基づいて変倍処理に用いるフィルタを選択する。そして選択されたフィルタを用いて基本レイヤのブロックの復号済画素を変倍し、レイヤ間画素予測のためのレイヤ間画素予測参照画像データを生成する。
【００５５】
ステップＳ８０４にて、画像再生部６１１は、ステップＳ７０１で生成された予測情報に基づいて予測を行い、予測画像を再生する。イントラ予測の場合には復号済みの画素を参照し、レイヤ間画素予測の場合にはステップＳ８０１で生成されたレイヤ間画素予測参照画像データを参照し、予測画像を再生する。そして再生された予測画像とステップＳ７０２で再生された予測誤差から画像データを再生する。
【００５６】
ステップＳ８０５にて、画像復号装置は、すべてのブロックの復号が終了したか否かの判定を行い、終了していれば拡張レイヤの復号処理を終了し、そうでなければ次のブロックを対象として、ステップＳ８０１に戻る。
【００５７】
以上の構成と動作により、特にステップＳ８０１における基本レイヤの予測情報に基づいた変倍処理によって、実施形態１の符号化装置で生成した効率の良いレイヤ間画素予測を用いたビットストリームを復号し、再生画像を得ることができる。
【００５８】
また、基本レイヤの画像復号装置と拡張レイヤの画像復号装置が個別にあり、変倍部６０８が外部にある構成でも構わない。
【００５９】
なお、本実施例において、予測誤差を逆量子化・逆変換部６０４および逆量子化・逆変換部６１０を用いて再生を行ったが、これに限定されない。例えば、符号データが量子化されていない場合、変換をせずに予測誤差をそのままＰＣＭ符号化されている場合、これらを用いずに復号できることは明らかである。
【００６０】
＜実施形態３＞
図９は本実施形態の画像符号化装置を示すブロック図である。図９において、実施形態１の図１と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。
【００６１】
９０３は変倍部であり、入力された画像データを倍率ｎ／ｍ（ｎ、ｍは正の数）で変倍する。図１の変倍部１０３とは変倍率を、符号化済み画素を拡大処理する変倍部１１１ではなく、予測誤差を拡大処理する変倍部９３１に出力するところが異なる。９０８は図１の逆量子化・逆変換部１０８同様、変換・量子化部１０６から出力された逆量子化係数を逆量子化して変換係数を再生し、さらに逆直交変換して予測誤差を再生する逆量子化・逆変換部である。予測誤差を画像再生部１０９だけでなく変倍部９３１にも出力するところが図１の逆量子化・逆変換部１０８とは異なる。
【００６２】
９３１は変倍部であり、予測部９０５から出力された予測情報に基づいて、変倍部９０３と逆の変倍率（ｍ／ｎ）で逆量子化・逆変換部９０８で生成された予測誤差を変倍処理する。そして、拡張レイヤでのレイヤ間残差予測に用いられるレイヤ間残差予測参照データを生成する。
【００６３】
９０５、９１２は予測部であり、図１の予測部１０５、１１２同様、画像データを複数のブロックに切り出し、フレーム内予測であるイントラ予測等を行い、予測画像データを生成する。さらに入力された画像データと前記予測画像データから予測誤差を算出し、出力する。そしてイントラ予測モードなどの予測情報も出力する。予測部９０５は予測情報を、符号化済み画素を拡大処理する変倍部１１１ではなく、予測誤差を拡大処理する変倍部９３１に出力するところが図１の予測部１０５と異なる。また、予測部９１２は、本実施形態ではレイヤ間画素予測を行わない形態となっているため、図１の予測部１１２とはレイヤ間画素予測を行わない点が異なる。ただし、レイヤ間画素予測も用いる構成をとってももちろん良い。
【００６４】
９５１は、予測部９１２で生成された予測誤差に対しレイヤ間残差予測を行う残差予測部である。レイヤ間残差予測を用いるか否かを決定し、レイヤ間残差予測を用いる場合は、予測部９１２で生成された予測誤差と変倍部９３１で生成されたレイヤ間残差予測参照データとの差分を新たな予測誤差として更新する。
【００６５】
９１４は変換・量子化部１１３から出力された量子化係数、予測部９１２から出力された予測情報および残差予測部９５１から出力されたレイヤ間残差予測情報を符号化して符号データを生成する符号化部である。
【００６６】
９３６は画像再生部である。予測部９１２から出力された予測情報に基づいて、フレームメモリ１１７を適宜参照して予測画像データを生成する。また、レイヤ間残差予測を用いる場合には、逆量子化・逆変換部１１５で生成された予測誤差に変倍部９３１で生成されたレイヤ間残差予測参照データを加算し、予測誤差を更新する。そして生成された予測画像および予測誤差から再生画像データを生成し、出力する。
【００６７】
上記画像符号化装置における画像の符号化動作を以下に説明する。本実施形態でも実施形態１と同様、動画像データをフレーム単位に入力する構成となっているが、１フレーム分の静止画像データを入力する構成としても構わない。また、本実施形態では、説明を容易にするため、イントラ予測符号化の処理のみを説明するが、これに限定されずインター予測符号化とイントラ予測符号化の処理を混合して用いた場合においても適用可能である。最初に基本レイヤの符号化動作について説明する。
【００６８】
変倍部９０３ではフレームメモリ１０２に格納された画像データを所定の倍率ｎ／ｍで変倍する。変倍された画像データはフレームメモリ１０４に格納され、変倍率は変倍部９３１に入力される。予測部９０５ではブロック単位の予測が行われ、予測誤差が生成され、変換・量子化部１０６に入力される。また、予測情報は、変倍部９３１、画像再生部１０９および符号化部１０７に入力される。逆量子化・逆変換部９０８では、入力された量子化係数を逆量子化して変換係数を再生し、さらに再生された変換係数を逆直交変換して予測誤差を再生し、画像再生部１０９および変倍部９３１に出力する。
【００６９】
端子１０１、フレームメモリ１０２、１０４、１１０、変換・量子化部１０６、符号化部１０７および画像再生部１０９の動作は実施形態１と同様であるため、省略する。
【００７０】
続いて、拡張レイヤの画像データの符号化動作について説明する。
【００７１】
残差予測部９５１におけるレイヤ間残差予測に先立ち、変倍部９３１は符号化対象の拡張レイヤのブロックに対応する基本レイヤのブロックの位置の予測誤差を逆量子化・逆変換部９０８から入力する。入力された基本レイヤの予測誤差はｍ／ｎ倍に変倍され、レイヤ間残差予測に用いられるレイヤ間残差予測参照データとして、残差予測部９５１および画像再生部９３６に出力される。この時、変倍部９３１では変倍部９０３から倍率を入力して、予測部９０５から基本レイヤのブロックの予測情報を入力して、変倍処理に用いるフィルタを決定する。本実施形態においては、変倍部９３１における変倍処理に用いるフィルタの決定方法は図１の変倍部１１１におけるフィルタの決定方法と同一であるものとし、ここでの説明は省略する。
【００７２】
予測部９１２はフレームメモリ１０２に格納された画像データに対してブロック分割を行い、ブロック単位でフレームメモリ１１７を適宜参照しつつイントラ予測を行い、予測誤差を生成する。生成された予測誤差は残差予測部９５１に入力される。また、予測情報は、画像再生部９３６および符号化部９１４に入力される。
【００７３】
残差予測部９５１は、まず、予測部９１２から入力された予測誤差と変倍部９３１で生成されたレイヤ間残差予測参照データを比較して、レイヤ間残差予測を用いるか否かを決定し、その情報をレイヤ間残差予測情報として符号化部９１４に出力する。レイヤ間残差予測を用いる場合は、予測部９１２で生成された予測誤差と変倍部９３１で生成されたレイヤ間残差予測参照データとの差分を新たな予測誤差として更新し、変換・量子化部１１３に出力する。レイヤ間残差予測を用いない場合は予測部９１２で生成された予測誤差をそのまま予測誤差として変換・量子化部１１３に出力する。
【００７４】
符号化部９１４では、変換・量子化部１１３で生成された量子化係数、予測部９１２から入力された予測情報および残差予測部９５１から入力されたレイヤ間残差予測情報をエントロピー符号化し、符号データを生成する。生成された符号データは多重化部１１８に入力される。
【００７５】
画像再生部９３６では、予測部９１２から入力される予測情報に基づいて、フレームメモリ１１７を適宜参照し、予測画像を再生する。また、残差予測部９５１からレイヤ間残差予測情報を入力し、レイヤ間残差予測を行う場合には、逆量子化・逆変換部１１５から入力された予測誤差に変倍部９３１からレイヤ間残差予測参照データを加え、予測誤差を更新する。そして、再生された予測画像および前記予測誤差から画像データを再生し、フレームメモリ１１７に入力し、格納する。
【００７６】
変換・量子化部１１３、逆量子化・逆変換部１１５、フレームメモリ１１７、多重化部１１８および端子１１９の動作は実施形態１と同様であるため省略する。
【００７７】
図１１は、実施形態３に係る画像符号化装置における拡張レイヤの符号化処理を示すフローチャートである。本実施形態における基本レイヤの符号化処理は実施形態１における基本レイヤの符号化処理と同様であるため、説明は省略する。図１１において、実施形態１の図４と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。
【００７８】
まず、ステップＳ１１０１にて、変倍部９３１は符号化対象の拡張レイヤのブロックに対応する基本レイヤのブロックの予測モードに基づいて変倍処理を用いるフィルタを選択する。そして、選択されたフィルタを用いて基本レイヤのブロックの予測誤差を変倍し、レイヤ間残差予測のためのレイヤ間残差予測参照データを生成する。
【００７９】
ステップＳ１１０２にて、予測部９１２は入力された画像データを複数のブロックに切り出し、イントラ予測を行い予測情報および予測画像データを生成する。さらに入力された画像データと前記予測画像データから予測誤差を算出する。
【００８０】
ステップＳ１１３１にて、残差予測部９５１はステップＳ１１０１で生成されたレイヤ間残差予測参照データとステップＳ１１０２で生成された予測誤差を比較して、レイヤ間残差予測を用いるか否かを決定する。ステップＳ１１３２にて、残差予測部９５１は符号化対象ブロックにてレイヤ間残差予測を用いるか否かの判定を行い、用いる場合はステップＳ１１３３に進み、用いない場合はステップＳ４０３に進む。ステップＳ１１３３にて、残差予測部９５１は、ステップＳ１１０２で生成された予測誤差とステップＳ１１０１で生成されたレイヤ間残差予測参照データとの差分をあらたな予測誤差として更新する。
【００８１】
ステップＳ１１０５にて、画像再生部９３６はステップＳ１１０２で生成された予測情報に基づいてイントラ予測またはレイヤ間画素予測を行い、予測画像を再生する。また、ステップＳ１１３１においてレイヤ間残差予測を行ったか否かによって、ステップＳ４０４で再生された予測誤差を更新するか否かを決定し、その情報をレイヤ間残差予測情報として生成する。レイヤ間残差予測を行った場合は、ステップＳ４０４で再生された予測誤差にステップＳ１１３１で生成されたレイヤ間残差予測参照データを加えたものを予測誤差として更新する。そして、本ステップで再生された予測画像および前記予測誤差から画像データを再生する。
【００８２】
ステップＳ１１０６にて、符号化部９１４はステップＳ４０３で生成された量子化係数、ステップＳ１１０２で生成された予測情報およびステップＳ１１３１で生成されたレイヤ間残差予測参照データを符号化し、符号データを生成する。
【００８３】
なお、ステップＳ１１０６はステップＳ４０３の後に実行されれば順序は問わない。
【００８４】
ステップＳ１１０７にて、画像符号化装置は、すべてのブロックの符号化が終了したか否かの判定を行い、終了していれば拡張レイヤの符号化処理を終了し、そうでなければ次のブロックを対象として、ステップＳ１１０１に戻る。また、不図示のステップにより、多重化部１１８は図４のステップＳ４０６で生成された基本レイヤの符号データおよびステップＳ１１０６で生成された拡張レイヤの符号データを所定の方法で多重化し、ビットストリームを生成する。
【００８５】
以上の構成と動作により、特にステップＳ１１０１における基本レイヤの予測情報に基づいた変倍処理によって、効率の良いレイヤ間残差予測を拡張レイヤで用いることができ、高効率の符号化を行うことができる。
【００８６】
なお、基本レイヤの画像符号化装置と拡張レイヤの画像符号化装置が個別に存在し、変倍部９０３、９３１が外部にある構成でも構わないし、変倍部９０３が外部にあり、変倍部９３１は拡張レイヤの符号化装置に含まれる構成でも構わない。その場合、複数の解像度の画像が入力され、そのうち解像度が小さい方の画像が基本レイヤの符号化装置に入力され、解像度が大きいほうの画像が拡張レイヤの符号化装置に入力される。
【００８７】
また、本実施形態では、レイヤ間残差予測を行い、レイヤ間画素予測は行わない構成としたが、レイヤ間画素予測とレイヤ間残差予測を同時に行っても構わない。その場合、図１の変倍部１１１と同等の機能を有する変倍部を追加してレイヤ間画素予測とレイヤ間残差予測の変倍処理を独立に制御しても良いし、同一の変倍部９３１を用いて同一の拡大フィルタを用いた変倍処理を行っても良い。
【００８８】
なお、本実施例において、予測誤差に対して変換・量子化部１０６、逆量子化・逆変換部９０８および変換・量子化部１１３、逆量子化・逆変換部１１５を用いて情報量の削減を行ったが、これに限定されない。例えば、量子化パラメータが１の場合は量子化されないし、変換をせずに予測誤差をそのままＰＣＭ符号化しても良い。
【００８９】
＜実施形態４＞
図１０は本実施形態の画像復号装置を示すブロック図である。図１０において、実施形態２の図６と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。本実施形態では、実施形態３で生成された符号化データの復号を例にとって説明する。
【００９０】
１００３と１００９は復号部であり、各レイヤの符号データから量子化係数に関する符号データと予測情報に関する符号データに分離して、それぞれの符号データを復号し、量子化係数と予測情報を再生し、後段に出力する。また、復号部１００９はレイヤ間残差予測情報に関する符号データも分離し、それを復号し、レイヤ間残差予測情報を再生し、後段に出力する。復号部１００３、１００９は図９の符号化部１０７、９１４と逆の動作を行う。
【００９１】
１００４は図６の逆量子化・逆変換部６０４同様、復号部１００３から出力された逆量子化係数を逆量子化して変換係数を再生し、さらに逆直交変換して予測誤差を再生する逆量子化・逆変換部である。予測誤差を画像再生部６０５だけでなく変倍部１０３８にも出力するところが図６の逆量子化・逆変換部６０４と異なる。
【００９２】
１０１１は画像再生部である。図９の９３６同様、復号部１００９から出力された予測情報に基づいてフレームメモリ６１２を適宜参照して予測画像データを生成する。また、逆量子化・逆変換部６１０から予測誤差を入力し、復号部１００９から出力された残差予測情報に基づいて、変倍部１０３８からレイヤ間残差予測参照データを参照し、予測誤差を更新する。さらに、前記予測誤差と予測画像データから再生画像データを生成し、出力する。
【００９３】
１０３８は図９の変倍部９３１と同じ変倍率に応じて基本レイヤの予測誤差を変倍する変倍部である。なお、変倍率の算出については特に限定しない。基本レイヤの解像度と拡張レイヤの解像度の比から算出しても良いし、所定の値を設定しても構わない。
【００９４】
ここで、復号部１００３、逆量子化・逆変換部１００４、画像再生部６０５、フレームメモリ６０６は基本レイヤの符号データを復号し、基本レイヤの画像データを再生する。また、復号部１００９、逆量子化・逆変換部６１０、画像再生部１０１１、フレームメモリ６１２、変倍部１０３８は拡張レイヤの符号データを復号し、拡張レイヤの画像データを再生する。
【００９５】
上記画像復号装置における画像の復号動作を以下に説明する。本実施形態では、実施形態３で生成されたビットストリームを復号する。実施形態２同様、図１０において、端子６０１から入力されたビットストリームは分離部６０２に入力され、基本レイヤの符号データと拡張レイヤの符号データに分離され、前者は復号部１００３に、後者は復号部１００９に入力される。
【００９６】
最初に基本レイヤの符号データの復号動作について説明する。
【００９７】
基本レイヤの符号化データは復号部１００３に入力される。復号部１００３はヘッダ情報の復号を行い、量子化係数符号データと予測情報符号データを分離する。そしてそれぞれを復号して量子化係数および予測情報を再生する。再生された量子化係数は逆量子化・逆変換部１００４に入力され、再生された予測情報は画像再生部６０５および変倍部１０３８に入力される。
【００９８】
逆量子化・逆変換部１００４では、入力された量子化係数に対し逆量子化を行って直交変換係数を生成し、さらに逆直交変換を施して予測誤差を再生する。再生された予測誤差は画像再生部６０５および変倍部１０３８に入力される。
【００９９】
画像再生部６０５、フレームメモリ６０６、端子６０７の動作は実施形態２と同様であるため、説明を省略する。
【０１００】
続いて拡張レイヤの符号データの復号動作について説明する。画像再生部１０１１におけるレイヤ間残差予測に先立ち、変倍部１０３８は復号対象の拡張レイヤのブロックに対応する基本レイヤのブロックの位置の予測誤差を逆量子化・逆変換部１００４から入力する。入力された予測誤差は変倍率（ｎ／ｍ）に応じてｍ／ｎ倍され、レイヤ間残差予測参照画像データとして画像再生部１０１１に出力される。この時、変倍部１０３８では、復号部１００３から基本レイヤブロックの予測情報を入力して、実施形態３の図９の変倍部９３１同様、前記予測情報に基づいて変倍処理に用いるフィルタを決定する。
【０１０１】
拡張レイヤの符号化データは復号部１００９に入力される。復号部１００９はヘッダ情報の復号を行い、量子化係数符号データと予測情報符号データおよびレイヤ間残差予測情報符号データを分離する。そしてそれぞれを復号して量子化係数、予測情報およびレイヤ間残差予測情報を再生する。再生された量子化係数は逆量子化・逆変換部６１０に入力され、予測情報およびレイヤ間残差予測情報は画像再生部１０１１に入力される。
【０１０２】
画像再生部１０１１では、復号部１００９から入力された予測情報に基づいて、フレームメモリ６１２を適宜参照し、予測画像を再生する。一方、復号部１００９から入力されたレイヤ間残差予測情報に基づいて、逆量子化・逆変換部６１０から入力された予測誤差を更新する。復号対象のブロックにおいてレイヤ間残差予測が用いられる場合には、逆量子化・逆変換部６１０から入力された予測誤差に変倍部１０３８で生成されたレイヤ間残差予測参照データを加え、あらたな予測誤差として更新する。レイヤ間残差予測が用いられない場合には、逆量子化・逆変換部６１０から入力された予測誤差をそのまま用いる。そして、前記予測誤差と前記再生された予測画像から画像データを再生し、フレームメモリ６１２に入力し、格納する。格納された画像データは予測の際の参照に用いられ、その一方で端子６１３から拡張レイヤの画像データとして出力される。
【０１０３】
逆量子化・逆変換部６１０の動作は実施形態２と同様であるため、説明を省略する。
【０１０４】
以下、実施形態４に係る画像復号装置におけるビットストリームの復号処理について説明する。実施形態２同様、まず、処理に先立ち不図示のステップにより、分離部６０２は入力されたビットストリームを基本レイヤの符号データと拡張レイヤの符号データに分離する。基本レイヤの符号データは後述する基本レイヤの復号処理によって復号され、拡張レイヤの符号データは同じく後述する拡張レイヤの復号処理によって復号される。
【０１０５】
図１２は、実施形態４に係る画像復号装置における拡張レイヤの復号処理を示すフローチャートである。本実施形態における基本レイヤの復号処理は実施形態３における基本レイヤの復号処理と同様であるため、説明は省略する。図１２において、実施形態２の図８と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。
【０１０６】
ステップＳ１２０１にて、変倍部１０３８は符号化対象の拡張レイヤのブロックに対応する基本レイヤのブロックの予測モードに基づいて変倍処理に用いるフィルタを選択する。そして選択されたフィルタを用いて基本レイヤのブロックの予測誤差を変倍し、レイヤ間残差予測のためのレイヤ間残差予測参照データを生成する。ステップＳ１２０２にて、復号部１００９は拡張レイヤの符号データを復号し、量子化係数、予測情報およびレイヤ間残差予測情報を再生する。
【０１０７】
ステップＳ１２３１にて、画像再生部１０１１は、ステップＳ１２０２で再生されたレイヤ間残差予測情報に基づく判定を行い、復号対象ブロックにてレイヤ間残差予測を行う場合はステップＳ１２３２に進み、行わない場合はステップＳ１２０４に進む。
【０１０８】
ステップＳ１２３２にて、画像再生部１０１１は、ステップＳ８０３で再生された予測誤差にステップＳ１２０１で生成されたレイヤ間残差予測参照データを加えて、新しい予測誤差として更新する。そうでない場合には、ステップＳ８０３で再生された予測誤差をそのまま用い、ステップＳ１２０４にて、画像再生部１０１１は、ステップＳ１２０２で再生された予測情報に基づいて予測を行い、予測画像を再生する。そして前記予測誤差と本ステップにて再生された予測画像から画像データを再生する。
【０１０９】
ステップＳ１２０５にて、画像復号装置は、すべてのブロックの復号が終了したか否かの判定を行い、終了していれば拡張レイヤの復号処理を終了し、そうでなければ次のブロックを対象として、ステップＳ１２０１に戻る。
【０１１０】
以上の構成と動作により、特にステップＳ１２０１における基本レイヤの予測情報に基づいた変倍処理によって、実施形態３の符号化装置で生成した効率の良いレイヤ間残差予測を用いたビットストリームを復号し、再生画像を得ることができる。
【０１１１】
本実施形態において、変倍部６０８は所定の値として変倍率を設定しているが、これに限定されず、個別に基本レイヤの解像度と拡張レイヤの解像度の比から算出しても良い。
【０１１２】
また、基本レイヤの復号装置と拡張レイヤの復号装置が個別にあり、変倍部６０８が外部にある構成でも構わない。また、本実施形態では、レイヤ間残差予測を行い、レイヤ間画素予測は行わない構成としたが、レイヤ間画素予測とレイヤ間残差予測を同時に行っても構わない。その場合、図６の変倍部６０８と同等の機能を有する変倍部を追加してレイヤ間画素予測とレイヤ間残差予測の変倍処理を独立に制御しても良いし、同一の変倍部１０３８を用いて同一の変倍処理を行っても良い。
【０１１３】
なお、本実施例において、予測誤差を逆量子化・逆変換部１００４および逆量子化・逆変換部６１０を用いて再生を行ったが、これに限定されない。例えば、符号データが量子化されていない場合、変換をせずに予測誤差をそのままＰＣＭ符号化されている場合、これらを用いずに復号できることは明らかである。
【０１１４】
＜実施形態５＞
図１、図６、図９、図１０に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、これらの図に示した各処理部で行なう処理をコンピュータプログラムでもって構成しても良い。
【０１１５】
図１３は、上記各実施形態に係る画像表示装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。
【０１１６】
ＣＰＵ１３０１は、ＲＡＭ１３０２やＲＯＭ１３０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ１３０１は、図１、図６、図９、図１０に示した各処理部として機能することになる。
【０１１７】
ＲＡＭ１３０２は、外部記憶装置１３０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１３０９を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１３０２は、ＣＰＵ１３０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１３０２は、例えば、フレームメモリとして割当てたり、その他の各種のエリアを適宜提供することができる。
【０１１８】
ＲＯＭ１３０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部１３０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ１３０１に対して入力することができる。表示部１３０５は、ＣＰＵ１３０１による処理結果を表示する。また表示部１３０５は例えば液晶ディスプレイで構成される。
【０１１９】
外部記憶装置１３０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１３０６には、ＯＳ（オペレーティングシステム）や、図１、図６、図９、図１０に示した各部の機能をＣＰＵ１３０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置１３０６には、処理対象としての各画像データが保存されていても良い。
【０１２０】
外部記憶装置１３０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１３０１による制御に従って適宜、ＲＡＭ１３０２にロードされ、ＣＰＵ１３０１による処理対象となる。Ｉ／Ｆ１３０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ１３０７を介して様々な情報を取得したり、送出したりすることができる。１３０８は上述の各部を繋ぐバスである。
【０１２１】
上述の構成からなる作動は前述のフローチャートで説明した作動をＣＰＵ１３０１が中心となってその制御を行う。
【０１２２】
＜その他の実施形態＞
本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。
【０１２３】
さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。
【０１２４】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。
【図１】
2013110518.tif 000003
【図２】
2013110518.tif 000004
【図３】
2013110518.tif 000005
【図４】
2013110518.tif 000006
【図５】
2013110518.tif 000007
【図６】
2013110518.tif 000008
【図７】
2013110518.tif 000009
【図８】
2013110518.tif 000010
【図９】
2013110518.tif 000011
【図１０】
2013110518.tif 000012
【図１１】
2013110518.tif 000013
【図１２】
2013110518.tif 000014
【図１３】
2013110518.tif 000015