(57)【特許請求の範囲】
【請求項１】
所定のビット深度である第１のビット深度の画像信号を再構築する画像復号モジュールであって、
前記第１のビット深度より低いビット深度である第２のビット深度の符号化された画像信号を入力する符号入力部と、
前記符号入力部が入力した符号化された画像信号を復号する画像信号復号部と、
前記画像信号復号部が復号した画像信号の各ビットを用いて、前記画像信号のビット深度を前記第１のビット深度に拡張するビット深度拡張部と、
前記ビット深度拡張部がビット深度を拡張した画像信号に、前記第１のビット深度と前記第２のビット深度の差と同数のビット数を有する所定のビット値を加算することで画像信号を再構築する再構築部と
を備えることを特徴とする画像復号モジュール。
【請求項２】
前記画像信号復号部は、前記符号入力部が入力した画像信号に対して実数演算を行い、その演算結果の整数部分を復号した画像信号として出力し、
前記再構築部が加算する所定のビット値は、前記画像信号復号部による実数演算の演算結果の小数部分である
ことを特徴とする請求項１に記載の画像復号モジュール。
【請求項３】
前記再構築部が加算する所定のビット値は、元の画像信号の下位ビットに対する近似誤差を最小化するような値である
ことを特徴とする請求項１に記載の画像復号モジュール。
【請求項４】
前記第１のビット深度の値に関連付けて、当該第１のビット深度の値に近似により発生する誤差を最小化するような前記第２のビット深度の値を記憶するテーブルを備え、
前記ビット深度拡張部は、前記画像信号復号部が復号した画像信号の各ビットを、前記テーブルに格納された第２のビット深度の値に関連付けられた前記第１のビット深度の値に置換することで、前記画像信号のビット深度を前記第１のビット深度に拡張する
ことを特徴とする請求項１から請求項３の何れか１項に記載の画像復号モジュール。
【請求項５】
前記第２のビット深度は、色チャネル毎に設定されており、
前記画像信号復号部、前記ビット深度拡張部、前記再構築部は、色チャネル毎に復号処理を実行する
ことを特徴とする請求項１から請求項４の何れか１項に記載の画像復号モジュール。
【請求項６】
請求項１から請求項５の何れか１項に記載の画像復号モジュールを備える画像符号化装置であって、
前記第１のビット深度の画像信号を入力する画像信号入力部と、
前記画像信号入力部が入力した画像信号のビット深度を第１のビット深度より低いビット深度である第２のビット深度に縮小するビット深度縮小部と、
前記ビット深度縮小部がビット深度を縮小した画像信号を符号化し、当該符号化した画像信号を前記画像復号モジュールの符号入力部に出力する画像信号符号化部と、
前記画像復号モジュールの再構築部が再構築した画像信号と、前記画像信号入力部が入力した画像信号との差分を示す差分信号を生成する差分生成部と、
を備えることを特徴とする画像符号化装置。
【請求項７】
前記画像信号入力部が入力した画像信号に対する前記画像復号モジュールの再構築部が再構築した画像信号の誤差の大きさと前記画像信号符号化部が符号化した画像信号のデータ量との重み付き加算によって第１のコストを算出する第１のコスト算出部と、
前記画像信号符号化部が符号化した画像信号及び前記差分生成部が生成した差分信号のデータ量によって第２のコストを算出する第２のコスト算出部と、
前記第１のコストが前記第２のコストより低い場合、前記画像信号復号部が復号した画像信号を符号化ストリームとして出力し、前記第１のコストが前記第２のコストより高い場合、前記画像信号復号部が復号した画像信号と前記差分生成部が生成した差分信号とを符号化ストリームとして出力する符号化ストリーム出力部と
を備えることを特徴とする請求項６に記載の画像符号化装置。
【請求項８】
請求項１から請求項５の何れか１項に記載の画像復号モジュールを備える画像復号装置であって、
前記第２のビット深度の符号化された画像信号、及び前記画像復号モジュールを用いて再構築できる画像信号と元画像信号との差分を示す差分信号を含む符号化ストリームを入力する符号化ストリーム入力部と、
前記符号化ストリームに含まれる画像信号を前記画像復号モジュールの符号入力部に出力する符号信号出力部と、
を備えることを特徴とする画像復号装置。
【請求項９】
前記画像復号モジュールの再構築部が再構築した画像信号に、前記符号化ストリームに含まれる差分データを加算する差分反映部
を備えることを特徴とする請求項８に記載の画像復号装置。
【請求項１０】
所定のビット深度である第１のビット深度の画像信号を再構築する画像復号モジュールを用いた画像復号方法であって、
符号入力部は、前記第１のビット深度より低いビット深度である第２のビット深度の符号化された画像信号を入力し、
画像信号復号部は、前記符号入力部が入力した画像信号を復号し、
ビット深度拡張部は、前記画像信号復号部が復号した画像信号の各ビットを用いて、前記画像信号のビット深度を前記第１のビット深度に拡張し、
再構築部は、前記ビット深度拡張部がビット深度を拡張した画像信号に、前記第１のビット深度と前記第２のビット深度の差と同数のビット数を有する所定のビット値を加算することで画像信号を再構築する
ことを特徴とする画像復号方法。
【請求項１１】
前記画像信号復号部は、前記符号入力部が入力した画像信号に対して実数演算を行い、その演算結果の整数部分を復号した画像信号として出力し、
前記再構築部が加算する所定のビット値は、前記画像信号復号部による実数演算の演算結果の小数部分である
ことを特徴とする請求項１０に記載の画像復号方法。
【請求項１２】
前記再構築部が加算する所定のビット値は、元の画像信号の下位ビットに対する近似誤差を最小化するような値である
ことを特徴とする請求項１０に記載の画像復号方法。
【請求項１３】
前記第１のビット深度の値に関連付けて、当該第１のビット深度の値に近似により発生する誤差を最小化するような前記第２のビット深度の値を記憶するテーブルを備え、
前記ビット深度拡張部は、前記画像信号復号部が復号した画像信号の各ビットを、前記テーブルに格納された第２のビット深度の値に関連付けられた前記第１のビット深度の値に置換することで、前記画像信号のビット深度を前記第１のビット深度に拡張する
ことを特徴とする請求項１０から請求項１２の何れか１項に記載の画像復号方法。
【請求項１４】
前記第２のビット深度は、色チャネル毎に設定されており、
前記画像信号復号部、前記ビット深度拡張部、前記再構築部は、色チャネル毎に復号処理を実行する
ことを特徴とする請求項１０から請求項１３の何れか１項に記載の画像復号方法。
【請求項１５】
所定のビット深度である第１のビット深度の画像信号を再構築する画像復号モジュールを、
前記第１のビット深度より低いビット深度である第２のビット深度の符号化された画像信号を入力する符号入力部、
前記符号入力部が入力した画像信号を復号する画像信号復号部、
前記画像信号復号部が復号した画像信号の各ビットを用いて、前記画像信号のビット深度を前記第１のビット深度に拡張するビット深度拡張部、
前記ビット深度拡張部がビット深度を拡張した画像信号に、前記第１のビット深度と前記第２のビット深度の差と同数のビット数を有する所定のビット値を加算することで画像信号を再構築する再構築部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定のビット深度の画像信号を再構築する画像復号モジュール、画像符号化装置、画像復号装置、画像復号方法及びプログラムに関する。
【背景技術】
【０００２】
動画像符号化のアルゴリズムは、フレーム間符号化（インター符号化）とフレーム内符号化（イントラ符号化）に大別される。フレーム間符号化は動画像内の時間方向の相関を利用して、情報圧縮を図るアプローチである。代表例は、動き補償を用いたフレーム間予測である。一方、フレーム内符号化は、単一のフレーム内の相関を用いて、情報圧縮を図るアプローチである。例えば、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）やＭＰＥＧ−２（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）では、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）を用いたアプローチがとられ、ＪＰＥＧ２０００では、離散ウェーブレット変換を用いたアプローチがとられた。さらに、ＩＴＵ−Ｔで勧告されたＨ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）では、空間方向の予測（例えば、非特許文献１を参照）とＤＣＴを組み合わせたアプローチがとられた。一般的に、インター符号化に比べてイントラ符号化の符号化効率は低く、さらなる符号化効率改善が必要とされている。
【０００３】
イントラ符号化の方式としては、近年、高ビット深度映像向けのスケーラブル符号化方式として、階層符号化が検討されている（例えば、非特許文献２を参照）。以下に、階層符号化方式による信号の符号化動作について説明する。
まず、ビット深度がＮビットの画像信号を入力とし、ビット深度変換処理（例えばビットの右シフト）を行うことで、Ｎ−Δビットの低ビット深度画像に変換する。このＮ−Δビット信号を下位階層信号と呼ぶ。次に、下位階層信号を符号化し、さらに符号化した信号に対して復号処理を行うことで復号画像を生成する。次に、復号画像に対して逆ビット深度変換処理（例えばビットの左シフト）を行い、Ｎビットの画像信号を生成する。このＮビット信号を上位階層予測信号と呼ぶ。次に、上位階層予測信号と入力画像との差分信号を符号化する。この差分信号を上位階層残差信号と呼ぶ。そして、下位階層信号と上位階層残差信号の符号化ストリームを出力とする。
【０００４】
本符号化ストリームに含まれる下位階層信号を復号化し、逆ビット深度変換処理を行った後、符号化ストリームに含まれる上位階層残差信号を加算することで、元の画像信号を再構築することができる。
このように、階層符号化方式は、ビット深度のスケーラブル符号化に対応した手法である。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】角野眞也  他、「改訂三版Ｈ．２６４／ＡＶＣ教科書」、株式会社インプレスＲ＆Ｄ、２００９年１月１日、１３１頁
【非特許文献２】Ｍ．Ｗｉｎｋｅｎ，  Ｄ．Ｍａｒｐｅ，  Ｈ．Ｓｃｈｗａｒｚ，  ａｎｄ  Ｔ．Ｗｉｅｇａｎｄ，  “Ｂｉｔ  Ｄｅｐｔｈ  Ｓｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ”、ＩＥＥＥ  Ｉｎｔｌ．  Ｃｏｎｆ．  ｏｎ  Ｉｍａｇｅｓ  Ｐｒｏｃｅｓｓｉｎｇ、２００７年
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の階層符号化方式では、復号した下位階層信号に対して逆ビット深度変換処理を行う場合、ビットの左シフトを行い、下位ビットを０で埋める処理を行っていた。そのため、上位階層予測信号と入力画像との差が大きくなり、上位階層残差信号のデータ量が多くなってしまうという問題があった。
【課題を解決するための手段】
【０００７】
本発明は上記の課題を解決するためになされたものであり、所定のビット深度である第１のビット深度の画像信号を再構築する画像復号モジュールであって、前記第１のビット深度より低いビット深度である第２のビット深度の符号化された画像信号を入力する符号入力部と、前記符号入力部が入力した符号化された画像信号を復号する画像信号復号部と、前記画像信号復号部が復号した画像信号の各ビットを用いて、前記画像信号のビット深度を前記第１のビット深度に拡張するビット深度拡張部と、前記ビット深度拡張部がビット深度を拡張した画像信号に、前記第１のビット深度と前記第２のビット深度の差と同数のビット数を有する所定のビット値を加算することで画像信号を再構築する再構築部とを備えることを特徴とする。
【０００８】
また、本発明においては、前記画像信号復号部は、前記符号入力部が入力した画像信号に対して実数演算を行い、その演算結果の整数部分を復号した画像信号として出力し、前記再構築部が加算する所定のビット値は、前記画像信号復号部による実数演算の演算結果の小数部分であることが好ましい。
【０００９】
また、本発明においては、前記再構築部が加算する所定のビット値は、元の画像信号の下位ビットに対する近似誤差を最小化するような値であることが好ましい。
【００１０】
また、本発明においては、前記第１のビット深度の値に関連付けて、当該第１のビット深度の値に近似により発生する誤差を最小化するような前記第２のビット深度の値を記憶するテーブルを備え、前記ビット深度拡張部は、前記画像信号復号部が復号した画像信号の各ビットを、前記テーブルに格納された第２のビット深度の値に関連付けられた前記第１のビット深度の値に置換することで、前記画像信号のビット深度を前記第１のビット深度に拡張することが好ましい。
【００１１】
また、本発明においては、前記第２のビット深度は、色チャネル毎に設定されており、前記画像信号復号部、前記ビット深度拡張部、前記再構築部は、色チャネル毎に復号処理を実行することが好ましい。
【００１２】
また、本発明は、上記画像復号モジュールを備える画像符号化装置であって、前記第１のビット深度の画像信号を入力する画像信号入力部と、前記画像信号入力部が入力した画像信号のビット深度を第１のビット深度より低いビット深度である第２のビット深度に縮小するビット深度縮小部と、前記ビット深度縮小部がビット深度を縮小した画像信号を符号化し、当該符号化した画像信号を前記画像復号モジュールの符号入力部に出力する画像信号符号化部と、前記画像復号モジュールの再構築部が再構築した画像信号と、前記画像信号入力部が入力した画像信号との差分を示す差分信号を生成する差分生成部と、を備えることを特徴とする。
【００１３】
また、本発明においては、前記画像信号入力部が入力した画像信号に対する前記画像復号モジュールの再構築部が再構築した画像信号の誤差の大きさと前記画像信号符号化部が符号化した画像信号のデータ量との重み付き加算によって第１のコストを算出する第１のコスト算出部と、前記画像信号符号化部が符号化した画像信号及び前記差分生成部が生成した差分信号のデータ量によって第２のコストを算出する第２のコスト算出部と、前記第１のコストが前記第２のコストより低い場合、前記画像信号復号部が復号した画像信号を符号化ストリームとして出力し、前記第１のコストが前記第２のコストより高い場合、前記画像信号復号部が復号した画像信号と前記差分生成部が生成した差分信号とを符号化ストリームとして出力する符号化ストリーム出力部とを備えることが好ましい。
【００１４】
また、本発明は、上記画像復号モジュールを備える画像復号装置であって、前記第２のビット深度の符号化された画像信号、及び前記画像復号モジュールを用いて再構築できる画像信号と元画像信号との差分を示す差分信号を含む符号化ストリームを入力する符号化ストリーム入力部と、前記符号化ストリームに含まれる画像信号を前記画像復号モジュールの符号入力部に出力する符号信号出力部と、を備えることを特徴とする。
【００１５】
また、本発明においては、前記画像復号モジュールの再構築部が再構築した画像信号に、前記符号化ストリームに含まれる差分データを加算する差分反映部を備えることが好ましい。
【００１６】
また、本発明は、所定のビット深度である第１のビット深度の画像信号を再構築する画像復号モジュールを用いた画像復号方法であって、符号入力部は、前記第１のビット深度より低いビット深度である第２のビット深度の符号化された画像信号を入力し、画像信号復号部は、前記符号入力部が入力した画像信号を復号し、ビット深度拡張部は、前記画像信号復号部が復号した画像信号の各ビットを用いて、前記画像信号のビット深度を前記第１のビット深度に拡張し、再構築部は、前記ビット深度拡張部がビット深度を拡張した画像信号に、前記第１のビット深度と前記第２のビット深度の差と同数のビット数を有する所定のビット値を加算することで画像信号を再構築することを特徴とする。
【００１７】
また、本発明においては、前記画像信号復号部は、前記符号入力部が入力した画像信号に対して実数演算を行い、その演算結果の整数部分を復号した画像信号として出力し、前記再構築部が加算する所定のビット値は、前記画像信号復号部による実数演算の演算結果の小数部分であることが好ましい。
【００１８】
また、本発明においては、前記再構築部が加算する所定のビット値は、元の画像信号の下位ビットに対する近似誤差を最小化するような値であることが好ましい。
【００１９】
また、本発明においては、前記第１のビット深度の値に関連付けて、当該第１のビット深度の値に近似により発生する誤差を最小化するような前記第２のビット深度の値を記憶するテーブルを備え、前記ビット深度拡張部は、前記画像信号復号部が復号した画像信号の各ビットを、前記テーブルに格納された第２のビット深度の値に関連付けられた前記第１のビット深度の値に置換することで、前記画像信号のビット深度を前記第１のビット深度に拡張することが好ましい。
【００２０】
また、本発明においては、前記第２のビット深度は、色チャネル毎に設定されており、前記画像信号復号部、前記ビット深度拡張部、前記再構築部は、色チャネル毎に復号処理を実行することが好ましい。
【００２１】
また、本発明は、所定のビット深度である第１のビット深度の画像信号を再構築する画像復号モジュールを、前記第１のビット深度より低いビット深度である第２のビット深度の符号化された画像信号を入力する符号入力部、前記符号入力部が入力した画像信号を復号する画像信号復号部、前記画像信号復号部が復号した画像信号の各ビットを用いて、前記画像信号のビット深度を前記第１のビット深度に拡張するビット深度拡張部、前記ビット深度拡張部がビット深度を拡張した画像信号に、前記第１のビット深度と前記第２のビット深度の差と同数のビット数を有する所定のビット値を加算することで画像信号を再構築する再構築部として機能させるためのプログラムである。
【発明の効果】
【００２２】
本発明によれば、画像信号復号部が復号した画像信号のビット深度を前記第１のビット深度に拡張した後、その下位ビットに所定のビット値を加算することで上位階層予測信号を生成する。これにより、元の画像信号と上位階層予測信号との差が小さくなるため、上位階層残差信号のデータ量を削減することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施形態による復号モジュールを備える符号化装置の構成を示す概略ブロック図である。
【図２】本発明の一実施形態による復号モジュールの構成を示す概略ブロック図である。
【図３】符号化装置による動画像の符号化動作を示すフローチャートである。
【図４】復号モジュールによる上位階層予測信号の再構築動作を示すフローチャートである。
【図５】本発明の一実施形態による復号モジュールを備える復号装置の構成を示す概略ブロック図である。
【図６】復号装置による動画像の復号動作を示すフローチャートである。
【図７】画像信号復号部の構成を示す概略ブロック図である。
【図８】本実施形態による下位階層信号の復号処理の動作を示すフローチャートである。
【図９】第１の変形例における符号化装置の動作を示すフローチャートである。
【図１０】第１の変形例における復号装置の動作を示すフローチャートである。
【図１１】第１の変形例における画像信号復号部の構成を示す概略ブロック図である。
【図１２】第１の変形例における画像信号復号部の動作を示すフローチャートである。
【図１３】第２の変形例における画像信号復号部の構成を示す概略ブロック図である。
【図１４】第２の変形例における画像信号復号部の動作を示すフローチャートである。
【図１５】第３の変形例における画像信号復号部の構成を示す概略ブロック図である。
【図１６】第３の変形例における画像信号復号部の動作を示すフローチャートである。
【発明を実施するための形態】
【００２４】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
まず、本発明の一実施形態による復号モジュール（画像復号モジュール）を備える符号化装置（画像符号化装置）について説明する。
図１は、本発明の一実施形態による復号モジュール５０を備える符号化装置１０の構成を示す概略ブロック図である。
符号化装置１０は、本発明による階層符号化方式によって画像信号を符号化する装置であり、画像信号入力部１１、ビット深度変換量設定部１２、ビット深度縮小部１３、画像信号符号化部１４、復号モジュール５０、差分生成部１５、第１のコスト算出部１６、第２のコスト算出部１７、ビット深度変換予測判定部１８、符号化ストリーム出力部１９を備える。ここで、「モジュール」とは、装置のサブセットであり、ある機能を実現するひとまとまりの部品のことである。なお、本符号化装置１０は、種々のイントラ符号化方式を実行し、各イントラ符号化ブロックに対して最適な符号化方式を用いて符号化を行う符号化システムに、階層符号化方式用のモジュールとして備えられることが想定される。イントラ符号化方式の例としては、Ｈ．２６４で規定されるイントラ予測を挙げることができる。
【００２５】
画像信号入力部１１は、外部から符号化の対象となるＮビット（第１のビット深度）の画像信号を入力する。
ビット深度変換量設定部１２は、画像信号入力部１１が入力した画像信号のビット深度を縮小するビット数を示すビット深度変換量Δを設定する。
ビット深度縮小部１３は、画像信号入力部１１が入力した画像信号のビット深度をビット深度変換量Δだけ縮小し、Ｎ−Δビット（第２のビット深度）の下位階層信号を生成する。具体的には、画像信号入力部１１が入力した画像信号のビット深度をビット深度変換量Δだけ右シフトする。
画像信号符号化部１４は、ビット深度縮小部１３が生成した下位階層信号を符号化する。
【００２６】
復号モジュール５０は、Ｎ−Δビットの下位階層信号を復号化し、Ｎビットの画像信号である上位階層予測信号を生成するモジュールである。なお、上位階層予測信号は、下位階層信号から復号された信号であり、画像信号入力部１１が入力したＮビットの画像信号と必ずしも一致しない。
符号化装置１０に備えられた復号モジュール５０は、画像信号符号化部１４が符号化した下位階層信号から上位階層予測信号を再構築する。
差分生成部１５は、復号モジュール５０が再構築した上位階層予測信号と画像信号入力部１１が入力した画像信号との差分を示す上位階層残差信号（差分信号）を生成する。
【００２７】
第１のコスト算出部１６は、画像信号入力部１１が入力した画像信号に対する復号モジュール５０が生成した上位階層予測信号のノイズと、画像信号符号化部１４が符号化した下位階層信号のデータ量とを重み付き加算することでＲＤ（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ）コストを算出する。
第２のコスト算出部１７は、画像信号符号化部１４が符号化した下位階層信号と差分生成部１５が生成した上位階層残差信号のデータ量とを用いてＲＤコストを算出する。
【００２８】
ビット深度変換予測判定部１８は、第１のコスト算出部１６と第２のコスト算出部１７が算出したＲＤコストを比較し、上位階層残差信号を用いた復号を行うか否かを示すビット深度予測誤差スキップフラグをＯＮにするかＯＦＦにするかを判定する。なお、符号化ストリームに含まれるビット深度予測誤差スキップフラグがＯＮの場合、符号化ストリームを復号する際に上位階層残差信号を用いない。他方、ビット深度予測誤差スキップフラグがＯＦＦの場合、符号化ストリームを復号する際に上位階層残差信号を用いる。
【００２９】
符号化ストリーム出力部１９は、画像信号符号化部１４が符号化した下位階層信号と、ビット深度変換量設定部１２が設定したビット深度変換量Δと、ビット深度変換予測判定部１８が生成したビット深度予測誤差スキップフラグとを少なくとも含む符号化ストリームを生成する。なお、符号化ストリーム出力部１９は、ビット深度予測誤差スキップフラグがＯＮの場合、差分生成部１５が生成した上位階層残差信号を符号化ストリームに含め、ビット深度予測誤差スキップフラグがＯＦＦの場合、上位階層残差信号を符号化ストリームに含めない。
【００３０】
次に、符号化装置１０が備える復号モジュール５０の構成について説明する。
図２は、本発明の一実施形態による復号モジュール５０の構成を示す概略ブロック図である。
復号モジュール５０は、符号入力部５１、画像信号復号部５２、ビット深度拡張部５３、再構築部５４を備える。
符号入力部５１は、復号対象となる符号化された画像信号を入力する。
画像信号復号部５２は、符号入力部５１が入力した符号化された画像信号を復号する。なお、本実施形態において画像信号復号部５２は、画像信号の復号処理を行うものであり、逆量子化処理、インループフィルタ処理といった実数演算を必要とする処理を含み、そうした処理によって得られた画像信号の整数部分（Ｎ−Δビットの信号）と、同画像信号の小数部分（上位Δビットの信号）を出力する。インループフィルタの例としては、画像信号のブロック分割によるブロック歪みを低減するためのデブロッキングフィルタ、復号信号と原信号との差分信号の二乗誤差和を最小化するためのウイナーフィルタがある。インループフィルタの出力信号は、フレーム間予測の参照信号生成に用いられ、符号化ループの内部に位置することから、インループフィルタと呼ばれる。
ビット深度拡張部５３は、外部からビット深度変換量Δを入力し、画像信号復号部５２が復号した画像信号のビット深度を、ビット深度変換量Δだけ拡張する。具体的には、当該画像信号の整数部分（Ｎ−Δビット）及び小数部分の上位Δビットをビット深度変換量Δだけ左シフトする。
再構築部５４は、ビット深度拡張部５３によって出力された画像信号の整数部分（Ｎ−Δビット）をビット深度変換量Δだけ左シフトして得た整数値信号（Ｎビット）と当該画像信号の小数部分の上位Δビットをビット深度変換量Δだけ左シフトして得た整数値信号（Δビット）とを加算することで、上位階層予測信号を生成する。
【００３１】
次に、符号化装置１０による動画像の符号化動作について説明する。
本符号化装置１０を備える符号化システムは、入力信号を読み込むと、イントラ符号化ブロック毎に種々のイントラ符号化方式による符号化を行い、最適なイントラ符号化方式による符号を符号化ストリームとして出力する。本符号化装置１０は、イントラ符号化方式のうち、階層符号化方式を行う。
【００３２】
図３は、符号化装置１０による動画像の符号化動作を示すフローチャートである。
符号化システムがイントラ符号化ブロック（Ｎビット画像信号）を各イントラ符号化方式を実行するモジュールに出力すると、本実施形態による符号化装置１０の画像信号入力部１１は、符号化システムから当該Ｎビット画像信号を入力する（ステップＳ１０１）。次に、ビット深度縮小部１３は、画像信号入力部１１が入力した画像信号からビット深度Ｎを読み出す（ステップＳ１０２）。
【００３３】
次に、ビット深度変換量設定部１２は、画像信号入力部１１が入力した画像信号のビット深度の縮小に用いるビット深度変換量Δを設定する（ステップＳ１０３）。なお、ビット深度変換量設定部１２は、画像信号から最適なビット深度変換量Δを予測することでビット深度変換量Δを設定しても良いし、予め定められた値をビット深度変換量Δとして設定しても良い。
次に、ビット深度縮小部１３は、画像信号入力部１１が入力した画像信号の各ビットを、ビット深度変換量Δだけ右シフト処理することで、Ｎ−Δビットの下位階層信号を生成する（ステップＳ１０４）。
【００３４】
次に、画像信号符号化部１４は、ビット深度縮小部１３が生成した下位階層信号に対して符号化処理を行うことで、下位階層信号の符号化データを作成する（ステップＳ１０５）。次に、復号モジュール５０は、下位階層信号を復号し、Ｎビットの上位階層予測信号を再構築する（ステップＳ１０６）。
【００３５】
以下に、復号モジュール５０による上位階層予測信号の再構築動作について説明する。
図４は、復号モジュール５０による上位階層予測信号の再構築動作を示すフローチャートである。
復号モジュール５０の符号入力部５１は、画像信号符号化部１４から符号化された下位階層信号を入力する（ステップＳ５０１）。次に、画像信号復号部５２は、インループフィルタ処理における実数演算によって符号入力部５１が入力した下位階層信号を復号する（ステップＳ５０２）。このとき、画像信号復号部５２は、実数演算によって得られた計算結果の整数部分（Ｎ−Δビット）及び小数部分の上位Δビットをビット深度拡張部５３に出力する。
【００３６】
次に、ビット深度拡張部５３は、ビット深度変換量設定部１２からビット深度変換量Δを読み出し、画像信号復号部５２から入力した画像信号の整数部分（Ｎ−Δビット）及び小数部分の上位Δビットをビット深度変換量Δだけ左シフトする（ステップＳ５０３）。次に、再構築部５４は、ビット深度拡張部５３によって出力された画像信号の整数部分（Ｎ−Δビット）をビット深度変換量Δだけ左シフトして得た整数値信号（Ｎビット）と画像信号の小数部分の上位Δビットをビット深度変換量Δだけ左シフトして得た整数値信号（Δビット）とを加算することで、上位階層予測信号（Ｎビット）を再構築する（ステップＳ５０４）。
このように、復号モジュール５０の画像信号復号部５２は、従来のインループフィルタ処理においては実数演算結果の小数部分を丸め処理することで復号していたものを、実数部と小数部分とをそれぞれ出力し、それを足し合わせる。つまり、本実施形態によれば、インループフィルタ処理の実数演算の精度を上位階層のビット深度に合わせて復号を行う。これにより、従来の復号処理より入力信号に近い上位階層予測信号を生成することができる。
【００３７】
復号モジュール５０が上位階層予測信号を再構築すると（ステップＳ１０６）、差分生成部１５は、復号モジュール５０が再構築した上位階層予測信号と入力部が入力した画像信号との差分を算出し、その差分信号である上位階層残差信号を生成する（ステップＳ１０７）。次に、差分生成部１５は、当該上位階層残差信号を符号化する（ステップＳ１０８）。
【００３８】
次に、第１のコスト算出部１６は、上位階層残差信号を用いない場合のＲＤコストである第１のコストを算出する（ステップＳ１０９）。具体的には、第１のコスト算出部１６は、まず画像信号入力部１１が入力した画像信号と、復号モジュール５０の再構築部５４が再構築した上位階層予測信号との差分値の二乗和を算出することで、誤差の大きさＤ１を算出する。次に、第１のコスト算出部１６は、画像信号符号化部１４が符号化した下位階層信号のデータ量Ｒ１を読み出す。そして、以下に示す式（１）を用いて、第１のコストＣ１を算出する。
Ｃ１＝Ｄ１＋λ・Ｒ１    ・・・（１）
但し、λはラグランジュ乗算子である。
【００３９】
次に、第２のコスト算出部１７は、上位階層残差信号を用いる場合のＲＤコストである第２のコストを算出する（ステップＳ１１０）。具体的には、第２のコスト算出部１７は、画像信号符号化部１４が符号化した下位階層信号のデータ量Ｒ２ａと差分生成部１５が生成した上位階層残差信号のデータ量Ｒ２ｂを読み出す。そして、以下に示す式（２）を用いて、第２のコストＣ２を算出する。
Ｃ２＝Ｄ２＋λ・（Ｒ２ａ＋Ｒ２ｂ）    ・・・（２）
但し、Ｄ２は、画像信号入力部１１が入力した画像信号に対する、上位階層予測信号と上位階層残差信号を用いて再構築した復号信号の差分信号の二乗和の大きさを示す値である。
【００４０】
次に、ビット深度変換予測判定部１８は、第１のコストが第２のコスト未満であるか否かを判定する（ステップＳ１１１）。第１のコストが第２のコスト未満である場合（ステップＳ１１１：ＹＥＳ）、上位階層残差信号を用いないほうが、ＲＤコストが低いことを示すため、ビット深度変換予測判定部１８は、ビット深度予測誤差スキップフラグをＯＮにする（ステップＳ１１２）。そして、符号化ストリーム出力部１９は、画像信号符号化部１４が生成した下位階層信号、ビット深度変換量設定部１２が設定したビット深度変換量Δ、及びビット深度変換予測判定部１８が生成したビット深度予測誤差スキップフラグを、符号化ストリームとして出力する（ステップＳ１１３）。
【００４１】
他方、第１のコストが第２のコスト以上である場合（ステップＳ１１１：ＮＯ）、上位階層残差信号を用いるほうが、ＲＤコストが低いことを示すため、ビット深度変換予測判定部１８は、ビット深度予測誤差スキップフラグをＯＦＦにする（ステップＳ１１４）。そして、符号化ストリーム出力部１９は、画像信号符号化部１４が生成した下位階層信号、差分生成部１５が生成した上位階層残差信号、ビット深度変換量設定部１２が設定したビット深度変換量Δ、及びビット深度変換予測判定部１８が生成したビット深度予測誤差スキップフラグを、符号化ストリームとして出力する（ステップＳ１１５）。
【００４２】
これにより、符号化装置１０は、上位階層残差信号を用いる符号化ストリームと用いない符号化ストリームのうち、ＲＤコストが少ないものを出力することができる。また、本実施形態によれば、復号モジュール５０が従来の復号処理より入力信号に近い上位階層予測信号を生成するため、差分生成部１５が生成する上位階層残差信号は、従来の上位階層残差信号よりデータ量が小さくなる。
【００４３】
次に、本発明の一実施形態による復号モジュール５０を備える復号装置（画像復号装置）について説明する。
図５は、本発明の一実施形態による復号モジュール５０を備える復号装置２０の構成を示す概略ブロック図である。
復号装置２０は、符号化装置１０によって符号化された画像信号を復号する装置であり、符号化ストリーム入力部２１、ビット深度変換量復号部２２、符号信号出力部２３、復号モジュール５０、ビット深度予測誤差スキップフラグ復号部２４、差分復号部２５、差分反映部２６を備える。なお、本復号装置２０は、種々のイントラ符号化方式によって符号化されたイントラ符号化ブロックを含む符号化ストリームを復号する復号システムに、階層符号化方式用のモジュールとして備えられることが想定される。
【００４４】
符号化ストリーム入力部２１は、外部から復号の対象となる符号化ストリームを入力する。
ビット深度変換量復号部２２は、符号化ストリームに含まれるビット深度変換量Δを復号する。
符号信号出力部２３は、符号化ストリーム入力部２１に含まれる下位階層信号を抽出し、復号モジュール５０に出力する。
復号モジュール５０は、符号信号出力部２３から下位階層信号を入力し、上位階層予測信号を生成する。なお、復号装置２０が備える復号モジュール５０は、符号化装置１０が備える復号モジュール５０と同一の機能を有するものである。
ビット深度予測誤差スキップフラグ復号部２４は、符号化ストリーム入力部２１に含まれるビット深度予測誤差スキップフラグを復号する。
差分復号部２５は、ビット深度予測誤差スキップフラグ復号部２４が復号したビット深度予測誤差スキップフラグがＯＦＦを示す場合に、符号化ストリーム入力部２１に含まれる上位階層残差信号を復号する。
差分反映部２６は、ビット深度予測誤差スキップフラグ復号部２４が復号したビット深度予測誤差スキップフラグがＯＦＦを示す場合に、復号モジュール５０が復号した上位階層予測信号と差分復号部２５が復号した上位階層残差信号とを加算することで、復号信号を生成する。なお、差分反映部２６は、ビット深度予測誤差スキップフラグ復号部２４が復号したビット深度予測誤差スキップフラグがＯＮを示す場合、復号モジュール５０が復号した上位階層予測信号をそのまま復号信号として出力する。
【００４５】
次に、復号装置２０による動画像の復号動作について説明する。
本復号装置２０を備える復号システムは、符号化ストリームを読み込むと、イントラ符号化方式を特定し、当該イントラ符号化方式の復号を行うモジュールに符号化ストリームを出力する。本復号装置２０は、イントラ符号化方式のうち、階層符号化方式による復号を行う。
【００４６】
図６は、復号装置２０による動画像の復号動作を示すフローチャートである。
復号システムが符号化ストリームを復号装置２０に出力すると、本実施形態による復号装置２０の符号化ストリーム入力部２１は、復号システムから当該符号化ストリームを入力する（ステップＳ２０１）。次に、ビット深度変換量復号部２２は、符号化ストリーム入力部２１が入力した符号化ストリームに含まれるビット深度変換量Δを復号する（ステップＳ２０２）。
【００４７】
次に、符号信号出力部２３は、符号化ストリーム入力部２１が入力した符号化ストリームから下位階層信号を抽出し、復号モジュール５０に出力する（ステップＳ２０３）。次に、復号モジュール５０は、符号信号出力部２３から入力した下位階層信号とビット深度変換量復号部２２が復号したビット深度変換量Δを用いて、上位階層予測信号を再生する（ステップＳ２０４）。なお、復号モジュール５０による上位階層予測信号の再生動作は、上述したステップＳ５０１〜Ｓ５０４（図４）の動作と同じである。
【００４８】
次に、ビット深度予測誤差スキップフラグ復号部２４は、符号化ストリームに含まれるビット深度予測誤差スキップフラグを復号する（ステップＳ２０５）。次に、ビット深度予測誤差スキップフラグ復号部２４は、ビット深度予測誤差スキップフラグがＯＮを示すか否かを判定する（ステップＳ２０６）。
【００４９】
ビット深度予測誤差スキップフラグがＯＮを示す場合（ステップＳ２０６：ＹＥＳ）、符号化ストリームには上位階層残差信号が含まれないため、また上位階層残差信号を用いない復号を指示するものであるため、差分反映部２６は、復号モジュール５０が復号した上位階層予測信号をそのまま復号信号として出力する（ステップＳ２０７）。
他方、ビット深度予測誤差スキップフラグがＯＦＦを示す場合（ステップＳ２０６：ＮＯ）、差分復号部２５は、符号化ストリームに含まれる上位階層残差信号を復号する（ステップＳ２０８）。次に、差分反映部２６は、復号モジュール５０が復号した上位階層予測信号に、差分復号部２５が復号した上位階層残差信号を加算し、当該信号を復号信号として出力する（ステップＳ２０９）。
これにより、復号装置２０は、符号化装置１０によって符号化された画像信号を復号することができる。
【００５０】
以下に、本実施形態による復号モジュール５０が備える画像信号復号部５２の処理について説明する。
次に、復号モジュール５０が備える画像信号復号部５２の構成について説明する。
図７は、画像信号復号部５２の構成を示す概略ブロック図である。
画像信号復号部５２は、エントロピー復号処理部５２１、逆変換・逆量子化処理部５２２、イントラ予測処理部５２３、フレーム記憶部５２４、動きベクトル復号部５２５、インター予測処理部５２６、加算部５２７、インループフィルタ処理部５２８を備える。
【００５１】
エントロピー復号処理部５２１は、符号化された画像信号に対してエントロピー復号処理を行い、量子化インデックスを生成する。また、符号化された画像信号から予測方法を示す情報を復号する。
逆変換・逆量子化処理部５２２は、エントロピー復号処理部５２１が生成した量子化インデックスに対して逆量子化・逆変換処理を行い、予測誤差を生成する。逆変換処理としては、例えば離散コサイン変換などが挙げられる。
イントラ予測処理部５２３は、エントロピー復号処理部５２１が復号した予測方法を示す情報が、イントラ予測処理を示す場合、符号化された画像情報からイントラ予測に必要な予測モードの情報を復号し、イントラ予測を行い、予測信号を生成する。
【００５２】
フレーム記憶部５２４は、過去のフレームの画像信号を記憶する。
動きベクトル復号部５２５は、符号化された画像信号から動きベクトル情報を復号する。ここで、複数参照フレームを用いる場合、動きベクトル情報には参照フレームを指定するインデックスが含まれる。また、小数画素位置を参照する場合に、補間画像生成に必要な補間フィルタ係数が伝送されている場合、動きベクトル情報にはそうしたフィルタの情報も含まれる。
インター予測処理部５２６は、エントロピー復号処理部５２１が復号した予測方法を示す情報が、インター予測処理を示す場合、復号された動きベクトル情報を用いてインター予測を行い、予測信号を生成する。
加算部５２７は、イントラ予測処理部５２３またはインター予測処理部５２６が生成した予測信号と、逆変換・逆量子化処理部５２２が生成した予測誤差とを加算することで復号信号を生成する。
インループフィルタ処理部５２８は、復号信号に対してデブロッキング処理、もしくは復号信号に対するウイナーフィルタに基づく符号化歪（復号信号と原信号との差分信号の二乗誤差和）低減処理を行い、処理後の復号信号から整数部分の信号（Ｎ−Δビット信号）と小数部分の信号（Δビット信号）とを出力する。また、整数部分の信号をフレーム記憶部５２４に記録する。
【００５３】
次に、上述した下位階層信号の復号処理（ステップＳ５０２）の詳細な動作について説明する。
図８は、本実施形態による下位階層信号の復号処理の動作を示すフローチャートである。
まず、エントロピー復号処理部５２１は、下位階層信号の符号化データを読み込む（ステップＳ６０１）。下位階層信号の符号化データを読み込むと、エントロピー復号処理部５２１は、イントラ予測処理、インター予測処理の単位となる矩形領域（符号化単位ユニットと呼ぶ）毎に以下のステップＳ６０３〜Ｓ６１２の処理を実行する（ステップＳ６０２）。
【００５４】
エントロピー復号処理部５２１は、下位階層信号の符号化データに対してエントロピー復号処理を行い、量子化インデックスを生成する（ステップＳ６０３）。次に、逆変換・逆量子化処理部５２２は、エントロピー復号処理部５２１が生成した量子化インデックスに対して逆量子化・逆変換処理を行い、予測残差信号を生成する（ステップＳ６０４）。次に、エントロピー復号処理部５２１は、予測方法を示す情報を復号し、予測方法としてイントラ予測処理が指定されているか、インター予測処理が指定されているかを判定する（ステップＳ６０５）。
【００５５】
予測方法としてイントラ予測処理が指定されている場合（ステップＳ６０５：ＹＥＳ）、イントラ予測処理部５２３は、イントラ予測に必要な予測モードの情報を復号し、イントラ予測を行い、予測信号を生成する（ステップＳ６０６）。他方、予測方法としてインター予測処理が指定されている場合（ステップＳ６０５：ＮＯ）、動きベクトル復号部５２５は、下位階層信号の符号化データに含まれる動きベクトル情報の符号化データを入力し、エントロピー復号処理を行い、動きベクトル情報を生成する（ステップＳ６０７）。次に、インター予測処理部５２６は、動きベクトル復号部５２５が復号した動きベクトル情報とフレーム記憶部５２４が記憶する過去のフレーム情報とを用いてインター予測を行い、予測信号を生成する（ステップＳ６０８）。
【００５６】
ステップＳ６０６またはステップＳ６０８で予測信号を生成すると、加算部５２７は、イントラ予測処理部５２３またはインター予測処理部５２６が生成した予測信号と逆変換・逆量子化処理部５２２が生成した予測残差信号とを加算することで、復号信号を生成する（ステップＳ６０９）。次に、インループフィルタ処理部５２８は、復号信号に対してデブロッキング処理を行い、処理後の復号信号を実数値として出力する（ステップＳ６１０）。次に、インループフィルタ処理部５２８は、処理後の復号信号から整数部分の信号と小数部分の信号とをそれぞれ出力する（ステップＳ６１１）。また、インループフィルタ処理部５２８は、整数部分の信号をフレーム記憶部５２４に記録する（ステップＳ６１２）。
【００５７】
上記ステップＳ６０３〜Ｓ６１２の処理を全ての符号化単位ユニットに対して実行すると（ステップＳ６１３）、画像信号復号部５２は、復号処理を終了する。
【００５８】
本実施形態による復号モジュール５０によれば、画像信号復号部５２が復号した画像信号の整数部分（Ｎ−Δビット）をビット深度変換量だけ左シフトして得た整数値信号（Ｎビット）と当該画像信号の小数部分の上位Δビットをビット深度変換量Δだけ左シフトして得た整数値信号（Δビット）を加算することで上位階層予測信号を生成する。これにより、元の画像信号と上位階層予測信号との差が小さくなるため、符号化装置１０の処理による上位階層残差信号のデータ量を削減することができる。
【００５９】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば、本実施形態では、ビット深度変換方法としてビットシフト法を用いる場合を説明したが、これに限られず、四捨五入法やテーブル参照法などを用いても良い。
【００６０】
四捨五入法とは、以下に示すビット深度変換方法である。
ビット深度変換の際には、入力信号の下位Δ番目のビットに１を加算し、同じレジスタ内の各ビットを、Δビットだけ右シフトする。一方、逆ビット深度変換の際には、Δビットだけ左シフトし、下位ビットを０で埋める。
【００６１】
テーブル参照法とは、以下に示すビット深度変換方法である。
Ｎビットの画像信号からＮ−Δビットの低ビット深度画像信号への変換処理は、２Ｎ通りの信号値ｘ（ｘ＝０、…、２Ｎ−１）を、２Ｎ−Δ通りの信号値ｙ（ｙ＝０、…、２Ｎ−Δ−１）に対応付ける処理である。そのため、この対応関係を記述する事が低ビット深度画像信号への変換処理を規定する事になる。そこで、別途、定められた対応関係に基づき、ビット深度変換処理を行い、さらに、同対応関係に基づき、信号値ｙ（ｙ＝０、…、２Ｎ−Δ−１）に対して、対応する信号値ｘ（ｘ＝０、…、２Ｎ−１）を格納したルックアップテーブルを用意する。そして、当該ルックアップテーブルに基づいて、逆ビット深度変換処理を行う。なお、ルックアップテーブルは２Ｎ−Δ次元の配列である。なお、ルックアップテーブルにおける対応関係の例としては、画像毎にビット深度予測誤差信号の二乗和を最小化するような対応関係を用いることが好ましい。
【００６２】
ビット深度予測誤差信号の二乗和を最小化するような対応関係の例を以下に示す。ｘが４通りの値（０，１，２，３）を取り得る信号であり（Ｎ＝２に相当）、各値（０，１，２，３）の頻度が、１０，１，１，１０であったとする。このとき、Δ＝１に設定し、上記のｘを２通りの値をもつｙに対応付ける場合を考える。ここで、ビット深度予測誤差信号の二乗和を最小化するためには、ｘ＝０；１については、ｙ＝０に変換し、ｘ＝２；３については、ｙ＝１に変換する。このとき、逆ビット深度変換処理に用いるルックアップテーブルＴ［］は、Ｔ［０］＝０，Ｔ［１］＝３として構成される。
上記したように、２Ｎ通りの画素値で構成される画像信号を読み込み、同画素値を２Ｎ−Δ通りに近似する際に、近似により発生する誤差を最小化するような２Ｎ−Δ通りの画素値を設定することで、上位階層残差信号を低減することができ、符号化効率を向上させることができる。
【００６３】
なお、本実施形態では、符号化装置１０が、ビット深度変換量Δをイントラ符号化ブロック単位で指定する場合を説明したが、これに限られない。例えば、ビット深度変換量Δをシーケンス単位で指定しても良いし、フレーム単位で指定しても良いし、またビット深度変換量Δとして予め定められた固定値を用いても良い。なお、ビット深度変換量Δとして固定値を用いる場合、符号化装置１０及び復号装置２０において予めビット深度変換量Δの値を共有しておけば、符号化ストリームに含めて伝送する必要がない。また、複数のイントラ符号化ブロックからなる集合において、ビット深度変換量Δを共有しても良い。この場合、同集合においてビット深度変換量を共有することを示す情報に基づき、同情報がビット深度変換量の共有を示した場合、それに続き、ビット深度変換量Δを一度だけ伝送することで、イントラ符号化ブロック毎にビット深度変換量を符号化する必要が無くなる。
【００６４】
また、符号化対象がカラー画像である場合は、全色チャネルに対して共通のビット深度変換量Δを用いても良いし、色チャネル毎に個別のビット深度変換量Δを用いても良い。
具体的には、符号化装置１０は、各色チャネルの信号を読み込み、同一の符号化歪を実現するために必要となる発生符号量を少なく抑えることが可能となるビット深度変換量を色チャネル毎に適応的に制御する。これにより、全色チャネルの信号に対する発生符号量を低減することができ、符号化効率が向上することとなる。この場合、符号化装置１０、復号装置２０に備えられる復号モジュール５０の符号入力部５１、画像信号復号部５２、ビット深度拡張部５３、再構築部５４は、色チャネル毎に復号処理を行う。
【００６５】
なお、本実施形態では、符号化装置１０が、ビット深度予測誤差スキップフラグをイントラ符号化ブロック単位で指定する場合を説明したが、これに限られない。例えば、ビット深度予測誤差スキップフラグをシーケンス単位で指定しても良いし、フレーム単位で指定しても良いし、またビット深度予測誤差スキップフラグとして予め定められた固定値を用いても良い。なお、ビット深度予測誤差スキップフラグとして固定値を用いる場合、符号化装置１０は、第１のコスト算出部１６及び第２のコスト算出部１７を備えなくても良い。特に、ビット深度予測誤差スキップフラグが固定値でＯＮを示す場合、符号化装置１０は、差分生成部１５をも備える必要が無くなる。
【００６６】
図９は、第１の変形例における符号化装置１０の動作を示すフローチャートである。
ビット深度予測誤差スキップフラグが固定値でＯＮを示す場合、符号化装置１０は、上記実施形態における符号化装置１０の動作（図３参照）と異なり、上位階層残差信号の生成、並びに第１のコスト及び第２のコストの算出及び比較を行う必要が無くなる。従って、ビット深度予測誤差スキップフラグが固定値でＯＮを示す場合、符号化装置１０は、図９に示すように、少なくともステップＳ１０１〜ステップＳ１０６の処理を行えば良く、図３に示すステップＳ１０７〜ステップＳ１１５の処理を行う必要が無い。
【００６７】
図１０は、第１の変形例における復号装置２０の動作を示すフローチャートである。
ビット深度予測誤差スキップフラグが固定値でＯＮを示す場合、復号装置２０は、上記実施形態における復号装置２０の動作（図６参照）と異なり、ビット深度予測誤差スキップフラグの判定を行う必要が無くなる。従って、ビット深度予測誤差スキップフラグが固定値でＯＮを示す場合、復号装置２０は、図１０に示すように、図６に示すステップＳ２０６による判定処理を行う必要がなく、また図６に示すステップＳ２０８、ステップＳ２０９による上位階層残差信号を伴う処理を行う必要が無くなるため、符号化・復号処理の演算量を低減させることができる。
【００６８】
また、本実施形態では、復号モジュール５０の画像信号復号部５２が実数演算で生じた整数部分の画像信号と小数部分の画像信号をそれぞれ出力し、再構築部５４が当該整数部分の画像信号と小数部分の画像信号を左へビットシフトし、その後、両信号を加算することで、上位階層予測信号を生成する場合を説明したが、これに限られない。例えば、画像信号復号部５２が整数部分の画像信号のみを出力するようにし、再構築部５４が、当該整数部分の画像信号と予め定められたΔビットの固定値とを加算することで上位階層予測信号を生成しても良い。
また、再構築部５４が、上位階層残差信号のフレーム内の総和を最小化するようなΔビットの値を算出し、当該値と整数部分の画像信号とを加算することで上位階層予測信号を生成しても良い。具体的には、元の画像信号の下位Δビットを読み込み、同下位ビットに対する近似誤差を最小化するようなΔビットの値を予め設定しておくことで、上位階層残差信号を低減することができ、これにより符号化効率が向上することができる。なお、「近似誤差を最小化するようなΔビットの値」には、近似誤差を最小化する値に加え、当該値に近似する値も含まれる。
【００６９】
小数部分の出力を行わない場合、画像信号復号部５２の構成・作用は、以下に示すようになる。
図１１は、第１の変形例における画像信号復号部５２の構成を示す概略ブロック図である。
図１１に示す画像信号復号部５２は、上記実施形態における画像信号復号部５２（図７参照）と異なり、画像信号の整数部分（Ｎ−Δビット）をフレーム記憶部５２４から取得できる構成となっており、画像信号の小数部分（Δビット）が出力されない構成となっている。これにより、インループフィルタ処理部５２８の後段に出力用のバッファを設ける必要が無くなる。
【００７０】
図１２は、第１の変形例における画像信号復号部５２の動作を示すフローチャートである。
上記実施形態における画像信号復号部５２は、ステップＳ６１１においてインループフィルタ処理部５２８が、処理後の復号信号から整数部分の信号と小数部分の信号とをそれぞれ出力する（図８参照）。他方、小数部分の画像信号を用いない場合、図８に示すステップＳ６１１の処理に代えて、図１２に示すようにフレーム記憶部５２４が画像信号の整数部分の信号を出力することとなる（ステップＳ６１４）。
【００７１】
また、本実施形態では、復号モジュール５０の画像信号復号部５２がインループフィルタ処理部５２８を備える場合を説明したが、これに限られず、インループフィルタ処理部５２８を備えていなくても良い。この場合、整数部分の画像信号及び小数部分の画像信号は、逆変換・逆量子化処理部５２２から出力されることとなる。
【００７２】
画像信号復号部５２がインループフィルタ処理部５２８を備えない場合、画像信号復号部５２の構成・作用は、以下に示すようになる。
図１３は、第２の変形例における画像信号復号部５２の構成を示す概略ブロック図である。
図１３に示す画像信号復号部５２は、上記実施形態における画像信号復号部５２（図７参照）と異なり、インループフィルタ処理部５２８を備えず、逆変換・逆量子化処理部５２２から出力される画像信号の整数部分を格納するバッファである整数部分格納部５２９と、当該画像信号の小数部分を格納するバッファである小数部分格納部５３０とを備える。加算部５２７は、イントラ予測処理部５２３またはインター予測処理部５２６が生成した予測信号と、整数部分格納部５２９が格納する信号とを加算することで復号信号を生成する。そして、画像信号の整数部分は、フレーム記憶部５２４から取得できる構成となっており、画像信号の小数部分は、小数部分格納部５３０から取得できる構成となっている。
【００７３】
図１４は、第２の変形例における画像信号復号部５２の動作を示すフローチャートである。
インループフィルタ処理部５２８を備えない場合、ステップＳ６０４で逆変換・逆量子化処理部５２２が予測残差信号を生成した後に、逆変換・逆量子化部５２２が、予測残差信号の整数部分を整数部分格納部５２８に格納し、予測残差信号の小数部分を小数部分格納部５２９に格納する。これにより、予測残差信号の小数部分が整数部分格納部５２８から出力される（ステップＳ６１５）。そして、図８に示すステップＳ６１０によるインループフィルタ処理をスキップして、図８に示すステップＳ６１１の処理に代えて、フレーム記憶部５２４が画像信号の整数部分の信号を出力する（ステップＳ６１４）。
【００７４】
また、画像信号復号部５２がインループフィルタ処理部５２８を備えない場合において、小数部分の出力を行わないとき、画像信号復号部５２の構成・作用は、以下に示すようになる。
図１５は、第３の変形例における画像信号復号部５２の構成を示す概略ブロック図である。
図１５に示す画像信号復号部５２は、上記実施形態における画像信号復号部５２（図７参照）と異なり、インループフィルタ処理部５２８を備えない。そして、画像信号の整数部分は、フレーム記憶部５２４から取得できる構成となっており、画像信号の小数部分は出力されない構成となっている。
【００７５】
図１６は、第３の変形例における画像信号復号部５２の動作を示すフローチャートである。
第３の変形例における画像信号復号部５２によれば、図８に示すステップＳ６１０によるインループフィルタ処理をスキップして、図８に示すステップＳ６１１の処理に代えて、フレーム記憶部５２４が画像信号の整数部分の信号を出力する（ステップＳ６１４）。
【００７６】
上述の復号モジュール５０並びに符号化装置１０及び復号装置２０は、内部にコンピュータシステムを有している。そして、上述した各処理部の動作は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００７７】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００７８】
１０…符号化装置  １１…画像信号入力部  １２…ビット深度変換量設定部  １３…ビット深度縮小部  １４…画像信号符号化部  １５…差分生成部  １６…第１のコスト算出部  １７…第２のコスト算出部  １８…ビット深度変換予測判定部  １９…符号化ストリーム出力部  ２０…復号装置  ２１…符号化ストリーム入力部  ２２…ビット深度変換量復号部  ２３…符号信号出力部  ２４…ビット深度予測誤差スキップフラグ復号部  ２５…差分復号部  ２６…差分反映部  ５０…復号モジュール  ５１…符号入力部  ５２…画像信号復号部  ５３…ビット深度拡張部  ５４…再構築部  ５２１…エントロピー復号処理部  ５２２…逆変換・逆量子化処理部  ５２３…イントラ予測処理部  ５２４…フレーム記憶部  ５２５…動きベクトル復号部  ５２６…インター予測処理部  ５２７…加算部  ５２８…インループフィルタ処理部
【図１】
0005844969.tif 000002
【図２】
0005844969.tif 000003
【図３】
0005844969.tif 000004
【図４】
0005844969.tif 000005
【図５】
0005844969.tif 000006
【図６】
0005844969.tif 000007
【図７】
0005844969.tif 000008
【図８】
0005844969.tif 000009
【図９】
0005844969.tif 000010
【図１０】
0005844969.tif 000011
【図１１】
0005844969.tif 000012
【図１２】
0005844969.tif 000013
【図１３】
0005844969.tif 000014
【図１４】
0005844969.tif 000015
【図１５】
0005844969.tif 000016
【図１６】
0005844969.tif 000017