(57)【要約】【課題】  画像を効率良く符号化可能な画像符号化装置を提供する。【解決手段】  本発明の一実施形態の画像符号化装置は、符号化モード決定部と、予測画像生成部と、記憶部と、符号化部とを備える。符号化モード決定部は、入力画像の部分領域の予測画像を、第１の画像予測処理又は第２の画像予測処理の何れによって生成するかに関する符号化モードを決定する。予測画像生成部は、第１の画像予測処理によって予測補助情報を抽出し、当該予測補助情報に基づいて予測画像を生成する。記憶部は、予測画像に基づく再生画像を記憶する。符号化部は、符号化モード情報及び予測補助情報を符号化したデータを含むビットストリームを生成する。【選択図】  図１ 
2005318497.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象の入力画像を所定サイズに分割してなる複数の部分領域の各々について、予測画像の生成に予測補助情報を必要とする第１の画像予測処理、又は第２の画像予測処理の何れによって予測画像の生成を実行するかに関する符号化モードを決定し、且つ、該符号化モードを特定するための符号化モード情報を生成する決定手段と、
前記複数の部分領域のうち前記符号化モード情報から前記第１の画像予測処理によって予測画像を生成すべき領域であると特定される部分領域について、該部分領域の予測画像を他の部分領域の生成済みの再生画像から生成するための予測補助情報を抽出し、該予測補助情報に基づいて該予測画像を生成するための前記第１の画像予測処理を実行する第１の画像予測手段と、
前記予測画像に基づく再生画像を記憶する記憶手段と、
前記符号化モード情報と前記予測補助情報とを符号化したデータを含むビットストリームを生成する符号化手段と、
を備える画像符号化装置。
【請求項２】
前記第２の画像予測処理は、予測画像が未生成である画素を一部とする領域がテンプレートとされ、生成済みの前記再生画像が参照領域とされ、該参照領域のうち前記テンプレートとの相関が高い領域が複写参照領域として選択されて、前記テンプレート内において前記予測画像が未生成である画素に前記複写参照領域内の対応の画素の画素値が与えられることによって、前記予測画像が生成される処理である、請求項１記載の画像符号化装置。
【請求項３】
前記決定手段は、前記複数の部分領域の再生画像を前記第１の画像予測処理を経て所定の走査順に生成した後に、該所定の走査順と逆順に処理対象の部分領域を選択し、該処理対象の部分領域より前記走査順で前方に位置する部分領域の画像、該処理対象の部分領域より前記走査順で後方に位置する部分領域であって第１の画像予測処理によって予測画像を生成すべき領域であると符号化モードが決定されている該部分領域の再生画像を前記参照領域として、前記第２の画像予測処理を経て該処理対象の部分領域の再生画像を生成し、該第２の画像予測処理を経て生成された前記処理対象の部分領域の再生画像と前記第１の画像予測処理を経て生成された前記処理対象の部分領域の再生画像との比較に基づいて、該処理対象の部分領域の符号化モードを決定する、
請求項１又は２に記載の画像符号化装置。
【請求項４】
前記複数の部分領域のうち前記符号化モード情報から前記第２の画像予測処理によって予測画像を生成すべき領域であると特定される部分領域の予測画像を、該第２の画像予測処理によって生成する第２の画像予測手段を更に備え、
前記第２の画像予測手段は、前記第２の画像予測処理によって生成した前記予測画像を、前記再生画像とする、
請求項１〜３の何れか一項に記載の画像符号化装置。
【請求項５】
前記符号化対象の入力画像は、動画像のフレームであり、
前記第２の画像予測処理では、符号化対象フレームの再生画像、及び該符号化対象フレームより前に処理されたフレームの再生画像の少なくとも一方が前記参照領域とされる、
請求項１〜４の何れか一項に記載の画像符号化装置。
【請求項６】
前記第１の画像予測処理は、前記処理対象の部分領域と同一空間内の前記再生画像を予測に用いて予測画像を生成する処理であり、
該第１の画像予測処理では、前記符号化モードから前記処理対象の部分領域に隣接する隣接部分領域が前記第２の画像予測処理によって予測画像が生成されるべき部分領域であると特定される場合に、該処理対象の部分領域に隣接しない非隣接部分領域の前記再生画像に基づいて、該処理対象の部分領域の予測画像が生成される、
請求項１〜５の何れか一項に記載の画像符号化装置。
【請求項７】
前記第１の画像予測処理では、前記符号化モードから前記処理対象の部分領域に隣接する隣接部分領域が前記第２の画像予測処理によって予測画像が生成されるべき部分領域であると特定される場合に、予測方向の直線上にあって予測元側の方向に存在する前記非隣接部分領域の前記再生画像のうち、前記処理対象の部分領域に最も近い画素の画素値に基づいて、前記予測画像が生成される、
請求項６記載の画像符号化装置。
【請求項８】
前記第１の画像予測手段によって生成された前記予測画像と前記符号化対象の入力画像との差演算を実行することによって、予測残差画像を生成する予測残差画像生成手段を更に備え、
前記符号化手段は、前記予測残差画像に基づく信号を符号化したデータを前記ビットストリームに含める、
請求項１〜７の何れか一項に記載の画像符号化装置。
【請求項９】
決定手段が、符号化対象の入力画像を所定サイズに分割してなる複数の部分領域の各々について、予測画像の生成に予測補助情報を必要とする第１の画像予測処理、又は第２の画像予測処理の何れによって予測画像の生成を実行するかに関する符号化モードを決定し、且つ、該符号化モードを特定するための符号化モード情報を生成する決定ステップと、
第１の画像予測手段が、前記複数の部分領域のうち前記符号化モード情報から前記第１の画像予測処理によって予測画像を生成すべき領域であると特定される部分領域について、該部分領域の予測画像を他の部分領域の生成済みの再生画像から生成するための予測補助情報を抽出し、該予測補助情報に基づいて該予測画像を生成するための前記第１の画像予測処理を実行する第１の画像予測ステップと、
記憶手段が、前記予測画像に基づく再生画像を記憶する記憶ステップと、
符号化手段が、前記符号化モード情報と前記予測補助情報とを符号化したデータを含むビットストリームを生成する符号化ステップと、
を含む画像符号化方法。
【請求項１０】
コンピュータを、
符号化対象の入力画像を所定サイズに分割してなる複数の部分領域の各々について、予測画像の生成に予測補助情報を必要とする第１の画像予測処理、又は第２の画像予測処理の何れによって予測画像の生成を実行するかに関する符号化モードを決定し、且つ、該符号化モードを特定するための符号化モード情報を生成する決定手段と、
前記複数の部分領域のうち前記符号化モード情報から前記第１の画像予測処理によって予測画像を生成すべき領域であると特定される部分領域について、該部分領域の予測画像を他の部分領域の生成済みの再生画像から生成するための予測補助情報を抽出し、該予測補助情報に基づいて該予測画像を生成するための前記第１の画像予測処理を実行する第１の画像予測手段と、
前記予測画像に基づく再生画像を記憶する記憶手段と、
前記符号化モード情報と前記予測補助情報とを符号化したデータを含むビットストリームを生成する符号化手段と、
として機能させるための画像符号化プログラム。
【請求項１１】
復号対象の画像を所定サイズに分割してなる複数の部分領域の各々について、予測画像の生成に用いられた第１の画像予測処理又は第２の画像予測処理を特定するための符号化モード情報と、該第１の画像予測処理によって予測画像を生成するための予測補助情報とが符号化されたデータを含むビットストリームから、該符号化モード情報と該予測補助情報とを復号する復号手段と、
前記複数の部分領域のうち前記符号化モード情報から前記第１の画像予測処理によって予測画像を生成すべき領域であると特定される部分領域の予測画像を、他の部分領域の生成済みの再生画像から、前記予測補助情報を用いた該第１の画像予測処理によって生成する第１の画像予測手段と、
記複数の部分領域のうち前記符号化モード情報から前記第２の画像予測処理によって予測画像を生成すべき領域であると特定される部分領域の予測画像を、該第２の画像予測処理によって生成する第２の画像予測手段と、
前記予測画像に基づく再生画像を記憶する記憶手段と、
を備え、
前記第２の画像予測処理では、予測画像が未生成である画素を一部とする領域がテンプレートとされ、前記記憶手段に記憶されている前記再生画像が参照領域とされ、該参照領域のうち前記テンプレートとの相関が高い領域が複写参照領域として選択されて、前記テンプレート内において前記予測画像が未生成である画素に前記複写参照領域内の対応の画素の画素値が与えられることによって、前記予測画像が生成される、
画像復号装置。
【請求項１２】
前記第１の画像予測手段が、前記符号化モード情報から前記第１の画像予測処理によって予測画像を生成すべき領域であると特定される部分領域について所定の走査順に前記第１の画像予測手段によって前記予測画像を生成し、該予測画像に基づく前記再生画像が前記記憶手段に記憶された後に、前記第２の画像予測手段が、前記符号化モード情報から前記第２の画像予測処理によって予測画像を生成すべき領域であると特定される部分領域について前記所定の走査順に前記第２の画像予測手段によって前記予測画像を生成する、
請求項１１に記載の画像復号装置。
【請求項１３】
前記第２の画像予測手段は、前記第２の画像予測処理によって生成した前記予測画像を、前記再生画像とする、請求項１１又は１２に記載の画像復号装置。
【請求項１４】
前記復号対象の画像は、動画像のフレームであり、
前記第２の画像予測手段は、前記記憶手段に記憶されている再生画像であって、前記復号対象フレームの該再生画像及び該復号対象フレームより前に処理されたフレームの前記再生画像の少なくとも一方を前記参照領域とする、
請求項１１〜１３の何れか一項に記載の画像復号装置。
【請求項１５】
前記第１の画像予測処理は、前記処理対象の部分領域と同一空間内の前記再生画像を予測に用いて予測画像を生成する処理であり、
該第１の画像予測処理では、前記符号化モードから前記処理対象の部分領域に隣接する隣接部分領域が前記第２の画像予測処理によって予測画像が生成されるべき部分領域であると特定される場合に、該処理対象の部分領域に隣接しない非隣接部分領域の前記再生画像に基づいて、該処理対象の部分領域の予測画像が生成される、
請求項１１〜１４の何れか一項に記載の画像復号装置。
【請求項１６】
前記第１の画像予測処理では、前記符号化モードから前記処理対象の部分領域に隣接する隣接部分領域が前記第２の画像予測処理によって予測画像が生成されるべき部分領域であると特定される場合に、予測方向の直線上にあって予測元側の方向に存在する前記非隣接部分領域の前記再生画像のうち、前記処理対象の部分領域に最も近い画素の画素値に基づいて、前記予測画像が生成される
請求項１５に記載の画像復号装置。
【請求項１７】
前記ビットストリームには、前記部分領域の前記予測画像と該部分領域の画像との差演算による予測残差画像に基づく信号が符号化されることによって生成されたデータが含まれており、
前記復号手段は、前記ビットストリームに含まれているデータであって前記予測残差画像に基づく信号が符号化されてなる該データから該信号を復号し、
該画像復号装置は、前記復号手段によって復号された前記信号に基づく復元予測残差画像と前記予測画像とを加算することによって、前記再生画像を生成する再生画像生成手段を、更に備える、請求項１１〜１６の何れか一項に記載の画像復号装置。
【請求項１８】
復号対象の画像を所定サイズに分割してなる複数の部分領域の各々について、予測画像の生成に用いられた第１の画像予測処理又は第２の画像予測処理を特定するための符号化モード情報と、該第１の画像予測処理によって予測画像を生成するための予測補助情報とが符号化されたデータを含むビットストリームから、該符号化モード情報と該予測補助情報とを復号手段が復号する復号ステップと、
第１の画像予測手段が、前記複数の部分領域のうち前記符号化モード情報から前記第１の画像予測処理によって予測画像を生成すべき領域であると特定される部分領域の予測画像を、前記予測補助情報を用いた該第１の画像予測処理によって生成する第１の画像予測ステップと、
第２の画像予測手段が、前記複数の部分領域のうち前記符号化モード情報から前記第２の画像予測処理によって予測画像を生成すべき領域であると特定される部分領域の予測画像を、該第２の画像予測処理を用いて生成する第２の画像予測ステップと、
記憶手段が、前記予測画像に基づく再生画像を記憶する記憶ステップと、
を備え、
前記第２の画像予測処理では、予測画像が未生成である画素を一部とする領域がテンプレートとされ、前記記憶手段に記憶されている前記再生画像が参照領域とされ、該参照領域のうち前記テンプレートとの相関が高い領域が複写参照領域として選択されて、前記テンプレート内において前記予測画像が未生成である画素に前記複写参照領域内の対応の画素の画素値が与えられることによって、前記予測画像が生成される、
画像復号方法。
【請求項１９】
コンピュータを、
復号対象の画像を所定サイズに分割してなる複数の部分領域の各々について、予測画像の生成に用いられた第１の画像予測処理又は第２の画像予測処理を特定するための符号化モード情報と、該第１の画像予測処理によって予測画像を生成するための予測補助情報とが符号化されたデータを含むビットストリームから、該符号化モード情報と該予測補助情報とを復号する復号手段と、
前記複数の部分領域のうち前記符号化モード情報から前記第１の画像予測処理によって予測画像を生成すべき領域であると特定される部分領域の予測画像を、前記予測補助情報を用いた該第１の画像予測処理によって生成する第１の画像予測手段と、
前記複数の部分領域のうち前記符号化モード情報から前記第２の画像予測処理によって予測画像を生成すべき領域であると特定される部分領域の予測画像を、該第２の画像予測処理を用いて生成する第２の画像予測手段と、
前記予測画像に基づく再生画像を記憶する記憶手段と、
として機能させ、
前記第２の画像予測処理では、予測画像が未生成である画素を一部とする領域がテンプレートとされ、前記記憶手段に記憶されている前記再生画像が参照領域とされ、該参照領域のうち前記テンプレートとの相関が高い領域が複写参照領域として選択されて、前記テンプレート内において前記予測画像が未生成である画素に前記複写参照領域内の対応の画素の画素値が与えられることによって、前記予測画像が生成されるよう、
コンピュータを機能させるための画像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラムに関するものである。
【背景技術】
【０００２】
近年、インターネットの普及によって、ネットワークを介して画像データを送受信したり、画像データを蓄積したりすることが広く行なわれるようになってきている。一般に、画像データの符号化には、画像データの容量を効率的に削減することが可能な非可逆符号化方式が用いられる。この非可逆符号化方式の一例として、ＩＴＵ−Ｔ勧告の国際標準規格であるＨ．２６４動画像符号化方式がある（例えば、非特許文献１）。
【０００３】
Ｈ．２６４のイントラ符号化フレーム（Ｉフレーム）では画面内予測を用いたフレーム内符号化によって動画像の圧縮が行われる。また、Ｈ．２６４のインターフレーム符号化では、符号化対象フレームが、例えば１６×１６画像の大きさのマクロブロックに分割され、マクロブロックごとに符号化処理が行われている。マクロブロックは更に１６×８画素や８×８画素といったサイズのブロックに分割され、分割されたブロックごとに動き補償予測が行われる。これによって、動画像における時間方向の冗長度が削減される。
【非特許文献１】ITU-T VCEG (Q.6/16)、“H.26L Test Model Long Term Number 8 (TML-8) draft0”、[平成１５年１０月９日検索]、インターネット<URL：http://bs.hhi.de/~wiegand/TML8.pdf>
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上述した動画像符号化、又は静止画符号化といった画像符号化に対して、更に効率の良い符号化技術が求められている。
【０００５】
そこで、本発明は、画像を効率良く符号化可能な画像符号化装置、画像符号化方法、及び画像符号化プログラムを提供すること、また、本発明の画像符号化装置によって生成されたビットストリームから画像を復元可能な画像復号装置、画像復号方法、及び画像復号プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明の一側面に係る画像符号化装置は、（ａ）符号化対象の入力画像を所定サイズに分割してなる複数の部分領域の各々について、予測画像の生成に予測補助情報を必要とする第１の画像予測処理、又は第２の画像予測処理の何れによって予測画像の生成を実行するかに関する符号化モードを決定し、且つ、該符号化モードを特定するための符号化モード情報を生成する決定手段と、（ｂ）複数の部分領域のうち符号化モード情報から第１の画像予測処理によって予測画像を生成すべき領域であると特定される部分領域について、当該部分領域の予測画像を他の部分領域の生成済みの再生画像から生成するための予測補助情報を抽出し、当該該予測補助情報に基づいて当該予測画像を生成するための上記第１の画像予測処理を実行する第１の画像予測手段と、（ｃ）予測画像に基づく再生画像を記憶する記憶手段と、（ｄ）符号化モード情報と予測補助情報とを符号化したデータを含むビットストリームを生成する符号化手段とを備える。
【０００７】
本発明の別の一側面に係る画像符号化方法は、決定手段が、（ａ）符号化対象の入力画像を所定サイズに分割してなる複数の部分領域の各々について、予測画像の生成に予測補助情報を必要とする第１の画像予測処理、又は第２の画像予測処理の何れによって予測画像の生成を実行するかに関する符号化モードを決定し、且つ、該符号化モードを特定するための符号化モード情報を生成する決定ステップと、（ｂ）第１の画像予測手段が、複数の部分領域のうち符号化モード情報から第１の画像予測処理によって予測画像を生成すべき領域であると特定される部分領域について、当該部分領域の予測画像を他の部分領域の生成済みの再生画像から生成するための予測補助情報を抽出し、当該該予測補助情報に基づいて当該予測画像を生成するための上記第１の画像予測処理を実行する第１の画像予測ステップと、（ｃ）記憶手段が、予測画像に基づく再生画像を記憶する記憶ステップと、（ｄ）符号化手段が、符号化モード情報と予測補助情報とを符号化したデータを含むビットストリームを生成する符号化ステップと、含む。
【０００８】
また、本発明の更に別の側面に係る画像符号化プログラムは、コンピュータを、（ａ）符号化対象の入力画像を所定サイズに分割してなる複数の部分領域の各々について、予測画像の生成に予測補助情報を必要とする第１の画像予測処理、又は第２の画像予測処理の何れによって予測画像の生成を実行するかに関する符号化モードを決定し、且つ、該符号化モードを特定するための符号化モード情報を生成する決定手段と、（ｂ）複数の部分領域のうち符号化モード情報から第１の画像予測処理によって予測画像を生成すべき領域であると特定される部分領域について、当該部分領域の予測画像を他の部分領域の生成済みの再生画像から生成するための予測補助情報を抽出し、当該該予測補助情報に基づいて当該予測画像を生成するための上記第１の画像予測処理を実行する第１の画像予測手段と、（ｃ）予測画像に基づく再生画像を記憶する記憶手段と、（ｄ）符号化モード情報と予測補助情報とを符号化したデータを含むビットストリームを生成する符号化手段と、として機能させるためのプログラムである。
【０００９】
上記の第２の画像予測処理は、予測画像が未生成である画素を一部とする領域がテンプレートとされ、生成済みの再生画像が参照領域とされ、該参照領域のうちテンプレートとの相関が高い領域が複写参照領域として選択されて、テンプレート内において予測画像が未生成である画素に複写参照領域内の対応の画素の画素値が与えられることによって、予測画像が生成される処理であることができる。
【００１０】
また、本発明の一側面に係る画像復号装置は、（ａ）復号対象の画像を所定サイズに分割してなる複数の部分領域の各々について、予測画像の生成に用いられた第１の画像予測処理又は第２の画像予測処理を特定するための符号化モード情報と、該第１の画像予測処理によって予測画像を生成するための予測補助情報とが符号化されたデータを含むビットストリームから、該符号化モードと該予測補助情報とを復号する復号手段と、（ｂ）複数の部分領域のうち符号化モード情報から第１の画像予測処理によって予測画像を生成すべき領域であると特定される部分領域の予測画像を、他の部分領域の生成済みの再生画像から、予測補助情報を用いた第１の画像予測処理によって生成する第１の画像予測手段と、（ｃ）複数の部分領域のうち符号化モード情報から第２の画像予測処理によって予測画像を生成すべき領域であると特定される部分領域の予測画像を、該第２の画像予測処理によって生成する第２の画像予測手段と、（ｄ）予測画像に基づく再生画像を記憶する記憶手段と、を備え、（ｅ）第２の画像予測処理では、予測画像が未生成である画素を一部とする領域がテンプレートとされ、記憶手段に記憶されている再生画像が参照領域とされ、該参照領域のうちテンプレートとの相関が高い領域が複写参照領域として選択されて、テンプレート内において予測画像が未生成である画素に複写参照領域内の対応の画素の画素値が与えられることによって、予測画像が生成される。
【００１１】
本発明の別の一側面に係る画像復号方法は、（ａ）復号対象の画像を所定サイズに分割してなる複数の部分領域の各々について、予測画像の生成に用いられた第１の画像予測処理又は第２の画像予測処理を特定するための符号化モード情報と、該第１の画像予測処理によって予測画像を生成するための予測補助情報とが符号化されたデータを含むビットストリームから、該符号化モードと該予測補助情報とを復号手段が復号する復号ステップと、（ｂ）第１の画像予測手段が、複数の部分領域のうち符号化モード情報から第１の画像予測処理によって予測画像を生成すべき領域であると特定される部分領域の予測画像を、他の部分領域の生成済みの再生画像から、予測補助情報を用いた第１の画像予測処理によって生成する第１の画像予測ステップと、（ｃ）第２の画像予測手段が、複数の部分領域のうち前記符号化モード情報から第２の画像予測処理によって予測画像を生成すべき領域であると特定される部分領域の予測画像を、第２の画像予測処理を用いて生成する第２の画像予測ステップと、（ｄ）記憶手段が、予測画像に基づく再生画像を記憶する記憶ステップと、を備え、（ｅ）第２の画像予測処理では、予測画像が未生成である画素を一部とする領域がテンプレートとされ、記憶手段に記憶されている再生画像が参照領域とされ、該参照領域のうちテンプレートとの相関が高い領域が複写参照領域として選択されて、テンプレート内において予測画像が未生成である画素に複写参照領域内の対応の画素の画素値が与えられることによって、予測画像が生成される。
【００１２】
本発明の更に別の側面に係る画像復号プログラムは、コンピュータを、（ａ）復号対象の画像を所定サイズに分割してなる複数の部分領域の各々について、予測画像の生成に用いられた第１の画像予測処理又は第２の画像予測処理を特定するための符号化モード情報と、第１の画像予測処理によって予測画像が生成された場合に該第１の画像予測処理によって予測画像を生成するための予測補助情報とが符号化されたデータを含むビットストリームから、該符号化モード情報と該予測補助情報とを復号する復号手段と、（ｂ）複数の部分領域のうち符号化モード情報から第１の画像予測処理によって予測画像を生成すべき領域であると特定される部分領域の予測画像を、他の部分領域の生成済みの再生画像から、予測補助情報を用いた第１の画像予測処理によって生成する第１の画像予測手段と、（ｃ）複数の部分領域のうち符号化モード情報から第２の画像予測処理によって予測画像を生成すべき領域であると特定される部分領域の予測画像を、第２の画像予測処理を用いて生成する第２の画像予測手段と、（ｄ）予測画像に基づく再生画像を記憶する記憶手段と、として機能させるためのプログラムである。このプログラムは、（ｅ）第２の画像予測処理では、予測画像が未生成である画素を一部とする領域がテンプレートとされ、記憶手段に記憶されている再生画像が参照領域とされ、該参照領域のうちテンプレートとの相関が高い領域が複写参照領域として選択されて、テンプレート内において予測画像が未生成である画素に複写参照領域内の対応の画素の画素値が与えられることによって、予測画像が生成されるようコンピュータを機能させる。
【００１３】
上述した本発明によれば、第２の画像予測処理は、既に生成済みの再生画像が参照領域とされて、テンプレート内における予測画像未生成の画素に、参照領域から選択される複写参照領域の対応の画素が複写される。複写参照領域としては、参照領域の中からテンプレートに対する相関の高い領域が選択される。例えば、相関値が最も高い領域、或いは相関値が所定の基準値より最初に高くなった領域等が選択される。したがって、復号側では、第２の画像予測処理によって予測画像を生成すべき領域であると特定される部分領域について、符号化側からの予測補助情報を用いずに予測画像を能動的に生成することができる。故に、符号化側では、効率の良い符号化が達成される。
【００１４】
画像符号化に係る本発明においては、決定手段が、複数の部分領域の再生画像を第１の画像予測処理を経て所定の走査順に生成した後に、該所定の走査順と逆順に処理対象の部分領域を選択し、該処理対象の部分領域より走査順で前方に位置する部分領域の画像、該処理対象の部分領域より走査順で後方に位置する部分領域であって第１の画像予測処理によって予測画像を生成すべき領域であると符号化モードが決定されている該部分領域の再生画像を参照領域として、第２の画像予測処理を経て該処理対象の部分領域の再生画像を生成し、該第２の画像予測処理を経て生成された処理対象の部分領域の再生画像と第１の画像予測処理を経て生成された処理対象の部分領域の再生画像との比較に基づいて、該処理対象の部分領域の符号化モードを決定することが好適である。
【００１５】
この場合に、画像復号に係る本発明においては、第１の画像予測手段が、符号化モード情報から第１の画像予測処理によって予測画像を生成すべき領域であると特定される部分領域について所定の走査順に第１の画像予測手段によって予測画像を生成し、該予測画像に基づく再生画像が記憶手段に記憶された後に、第２の画像予測手段が、符号化モード情報から第２の画像予測処理によって予測画像を生成すべき領域であると特定される部分領域について所定の走査順に第２の画像予測手段によって予測画像を生成する。
【００１６】
本発明によれば、第１の画像予測処理によって先に再生画像が生成された後に、既に生成されている再生画像が第２の画像予測処理における参照領域とされる。したがって、所定の走査順で後方に位置する再生画像をも第２の画像予測処理に用いることができるので、空間方向の冗長度がより効率的に削減される。
【００１７】
画像符号化にかかる本発明においては、決定手段が、第２の画像予測処理を経て生成された処理対象の部分領域の再生画像と第１の画像予測処理を経て生成された処理対象の部分領域の再生画像とを各々用いた場合の符号化歪又は／及び符号化情報量に基づくコスト関数によるコスト値を算出し、該コスト値に基づいて該処理対象の部分領域の前記符号化モードを決定してもよい。
【００１８】
画像符号化に係る本発明においては、複数の部分領域のうち前記符号化モード情報から前記第２の画像予測処理によって予測画像を生成すべき領域であると特定される部分領域の予測画像を、該第２の画像予測処理によって生成する第２の画像予測手段を更に備え、第２の画像予測手段は、第２の画像予測処理によって生成した予測画像を、再生画像とする。この場合に、画像復号に係る本発明においては、第２の画像予測手段が、第２の画像予測処理によって生成した予測画像を、再生画像とする。すなわち、第２の画像予測処理によって生成された予測画像は、そのまま再生画像として採用される。したがって、第２の画像予測処理によって生成された再生画像をも次に処理する部分領域の予測に用いることができるので、更に冗長度が削減される。また、入力画像と、第２の画像予測処理によって生成された予測画像との差分に関する情報をビットストリームに含める必要が無いので、更に効率の良い符号化が達成される。
【００１９】
本発明においては、符号化対象の入力画像は、動画像のフレームであってもよい。この場合には、第２の画像予測処理では、符号化対象フレームの再生画像、及び該符号化対象フレームより前に処理されたフレームの再生画像の少なくとも一方が参照領域とされる。また、この場合に、画像復号に係る本発明においては、復号対象の画像が動画像のフレームとなり、第２の画像予測手段は、記憶手段に記憶されている再生画像であって、復号対象フレームの該再生画像及び復号対象フレームより前に処理されたフレームの再生画像の少なくとも一方を参照領域とする。
【００２０】
本発明によれば、第２の画像予測処理において、符号化対象フレームの再生画像及び符号化対象フレームとは異なる処理済のフレームの再生画像の両者が参照領域とされるので、時間方向及び空間方向の冗長度が更に削減される。
【００２１】
画像符号化に係る本発明において、第１の画像予測処理は、動き補償予測処理であってもよい。この場合に、予測補助情報は、第１の画像予測処理によって抽出される動きベクトルを含む。また、この場合に、画像復号に係る本発明においても、予測補助情報は、第１の画像予測処理に用いられる動きベクトルを含む。
【００２２】
本発明において、第１の画像予測処理は、処理対象の部分領域と同一空間内の再生画像を予測に用いて予測画像を生成する処理であってもよい。即ち、第１の画像予測処理は、静止画の符号化及び復号に用いられる予測処理、或いは、動画像の符号化及び復号に用いられるフレーム内予測処理であってもよい。この場合に、第１の画像予測処理では、符号化モードから処理対象の部分領域に隣接する隣接部分領域が第２の画像予測処理によって予測画像が生成されるべき部分領域であると特定される場合に、該処理対象の部分領域に隣接しない非隣接部分領域の再生画像に基づいて、該処理対象の部分領域の予測画像が生成される。
【００２３】
本発明によれば、処理対象の部分領域が第１の画像予測処理によって予測画像を生成すべき領域であり、当該処理対象の部分領域に隣接する隣接部分領域が第２の画像予測処理によって予測画像を生成すべき領域である場合でも、処理対象の部分領域に隣接しない非隣接部分領域の再生画像データを用いて、予測画像を生成することができる。これにより、処理対象の部分領域に隣接する隣接部分領域の再生画像のみならず、処理対象の部分領域に隣接しない非隣接部分領域の再生画像を用いて予測画像を生成することができる。したがって、予測画像データを生成する際の参照範囲が拡大され、空間的冗長度が削減さるので、符号化効率がより向上される。
【００２４】
また、この場合に、画像符号化に係る本発明において、第１の画像予測処理では、複数の異なる予測規則に関する複数の予測モードのうちから、処理対象の部分領域の予測画像の生成に用いる予測モードが決定され、該予測モードを特定するための予測モード情報が生成され、符号化手段は、予測モード情報を符号化したデータをビットストリームに含めることができる。この場合に、画像復号に係る本発明において、ビットストリームには、第１の画像予測処理によって予測画像が生成された場合に、複数の異なる予測規則に関する複数の予測モードのうち第１の画像予測処理に用いられた予測モードを特定する予測モード情報が符号化されたデータが含まれており、復号手段は、ビットストリームから予測モード情報を復号し、第１の画像予測処理では、予測モード情報に基づいて予測画像が生成される。
【００２５】
本発明において、第１の画像予測処理では、符号化モードから処理対象の部分領域に隣接する隣接部分領域が第２の画像予測処理によって予測画像が生成されるべき部分領域であると特定される場合に、予測方向の直線上にあって予測元側の方向に存在する非隣接部分領域の再生画像のうち、処理対象の部分領域に最も近い画素の画素値に基づいて、予測画像が生成されることが好ましい。これにより、各予測画像生成パターンに見合った最適な再生画像データが非隣接ブロックから選定される。
【００２６】
画像符号化に係る本発明においては、予測残差画像生成手段が、第１の画像予測手段によって生成された予測画像と符号化対象の入力画像との差演算を実行することによって、予測残差画像を生成し、符号化手段が、予測残差画像に基づく信号を符号化したデータをビットストリームに含めてもよい。
【００２７】
この場合に、画像復号に係る本発明において、ビットストリームには、第１の画像予測によって生成された部分領域の予測画像と該部分領域の画像（入力画像）との差演算による予測残差画像に基づく信号が符号化されてなるデータが含まれており、復号手段は、ビットストリームに含まれているデータであって予測残差画像に基づく信号が符号化されてなる該データから該信号を復号し、再生画像生成手段は、復号手段によって復号された信号に基づく復元予測残差画像と予測画像とを加算することによって、再生画像を生成する。
【００２８】
また、画像符号化に係る本発明においては、予測残差画像生成手段が、第１の画像予測手段によって生成された予測画像と符号化対象の入力画像との差演算を実行することによって、予測残差画像を生成し、変換手段が、予測残差画像に変換処理を施すことによって、変換情報を生成し、逆変換手段が、変換情報に逆変換処理を施すことによって、復元予測残差画像を生成し、再生画像生成手段が、復元予測残差画像と予測画像とを加算することによって、再生画像を生成し、符号化手段は、変換情報を符号化したデータをビットストリームに含めてもよい。
【００２９】
この場合に、画像復号に係る本発明において、ビットストリームには、第１の画像予測によって生成された部分領域の予測画像と該部分領域の画像（入力画像）との差演算による予測残差画像に変換処理が施されてなる変換情報が符号化されることによって生成されたデータが含まれており、復号手段は、ビットストリームから変換情報を復号し、逆変換手段が、変換情報に逆変換処理を施すことによって、復元予測残差画像を生成し、再生画像生成手段が、復元予測残差画像と予測画像とを加算することによって、再生画像を生成する。
【発明の効果】
【００３０】
以上、説明したように、本発明によれば、画像を効率良く符号化可能な画像符号化装置、画像符号化方法、及び画像符号化プログラム、また、本発明の画像符号化装置によって生成されたビットストリームから画像を復元可能な画像復号装置、画像復号方法、及び画像復号プログラムが提供される。
【発明を実施するための最良の形態】
【００３１】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、各図面において同一又は相当の部分に対しては同一の符号を附すこととする。
【００３２】
まず、本発明の第１実施形態について説明する。図１は、第１実施形態に係る画像符号化装置の構成を示す図である。図１に示す画像符号化装置１は、物理的に、例えば、ＣＰＵ（中央処理装置）、メモリといった記憶装置、ディスプレイといった表示装置、通信装置等を備えるコンピュータであることができる。また、画像符号化装置１は、携帯電話といった移動通信端末、ＤＶＤ機器等あってもよい。すなわち、画像符号化装置１には、情報処理可能な装置が広く適用され得る。
【００３３】
画像符号化装置１は、機能的に、画像分割部（画像分割手段）１１と、符号化モード決定部（決定手段）１２と、予測画像生成部（第１の画像予測手段）１３と、減算部（予測残差画像生成手段）１４と、変換部（変換手段）１５と、符号化部（符号化手段）１６と、逆変換部（逆変換手段）１７と、加算部（再生画像生成手段）１８と、記憶部（記憶手段）１９とを有する。
【００３４】
次に、図１に示された各構成要素について説明する。画像分割部１１は、フレーム単位に入力された入力画像を所定の大きさ（例えば、４×４画素）のブロック、すなわち部分領域に分割する。また、画像分割部１１は、符号化処理の対象となる処理対象ブロックを特定するためのブロック位置情報を生成する。ブロック位置情報としては、例えば、フレーム内の各ブロックをラスタ走査順に、例えば、０，１，２‥と昇順に番号を付けたブロック番号や、各ブロックを含むフレームの左上端を基準にした座標により示されるブロック座標が該当する。
【００３５】
符号化モード決定部１２は、ブロック各々についての符号化モードを所定の符号化モード決定規則に基づいて決定し、当該符号化モードを特定するための符号化モード情報を生成する。
【００３６】
本実施の形態では、符号化モードには、処理対象ブロックの入力画像および当該画像に対応する予測画像を用いて当該処理対象ブロックの画像を符号化するモードである予測符号化処理モード（Ｐモード）と、処理対象ブロックの入力画像および当該画像に対応する予測画像を用いずに当該処理対象ブロックの画像を符号化するモードである補填符号化モード（Ｃモード）とがある。すなわち、符号化モードが予測符号化処理モードである場合には、処理対象ブロックの画像に関する情報が符号化されて出力されることとなる。一方、符号化モードが補填符号化処理モードである場合には、処理対象ブロックの画像に関する情報は符号化されず、出力されない。また、符号化モードが予測符号化処理モードである場合には、復号側での予測画像の生成に予測補助情報が必要な第１の画像予測処理によって予測画像が生成され、符号化モードが補填符号化モードである場合には、復号側での予測画像の生成に予測補助情報を必要としない第２の画像予測処理（画像補填処理）によって予測画像が生成される。
【００３７】
符号化モード決定規則としては、例えば、後述する画像補填処理（図６参照、第２の画像予測処理）により処理対象ブロックの再生画像を生成し、処理対象ブロックの入力画像と当該再生画像との誤差を二乗した値が予め設定された閾値以下の場合には補填符号化モードとし、それ以外の場合には予測符号化処理モードとするものであってもよい。なお、必ずしも誤差を二乗した値と閾値とを比較する必要はなく、誤差の絶対値と閾値とを比較してもよい。また、他の符号化モード決定規則としては、例えば、予め予測符号化処理モードで符号化するブロックと補填符号化モードで符号化するブロックとを定めた情報をブロック位置情報に対応させて保持しておき、処理を行う際に、ブロック位置情報に基づいて処理対象ブロックに対応する符号化モードが取得されるものであってもよい。
【００３８】
予測画像生成部１３は、符号化モードが予測符号化処理モードである場合に、第１の画像予測処理によって処理対象ブロックの入力画像に対応する予測画像を生成する際に採用するフレーム内予測画像生成パターン、即ち予測モードを、後述する９種類の予測画像生成パターンから選択し、当該予測モードを特定するための予測モード情報を出力する。すなわち、このフレーム内予測画像生成パターン（予測モード）は、復号側で予測画像を生成する際に必要となる予測補助情報となっている。
【００３９】
予測画像生成部１３は、決定した予測画像生成パターンにしたがって、各ブロックの画像のうち既に符号化され、再生されて記憶部１９に記憶されている再生画像の一部を用いて、処理対象ブロックの入力画像に対応する予測画像を生成する。なお、予測画像を生成する際の第１の画像予測処理の詳細については後述する。
【００４０】
減算部１４は、処理対象ブロックの入力画像から当該処理対象ブロックの予測画像を画素単位に減算し、予測残差画像を生成する。
【００４１】
変換部１５は、予測残差画像を所定の変換規則を用いて変換し、当該変換により得られる変換係数（変換情報）を出力する。所定の変換規則としては、例えば、４行４列の２次元ＤＣＴ、およびＨ．２６４で採用されている４行４列の直交変換ならびに量子化が該当する。また、所定の変換規則は、例えば、ＭａｔｃｈｉｎｇＰｕｒｓｕｉｔ、ベクトル量子化およびウェーブレット変換などの変換操作・量子化であってもよい。
【００４２】
符号化部１６は、変換係数を所定の規則に基づいてエントロピー符号化する。また、符号化部１６は、符号化モード情報および予測画像生成パターン（予測モード）を所定の規則に基づいてエントロピー符号化する。エントロピー符号化としては、例えば、算術符号化が用いられる。
【００４３】
逆変換部１７は、変換係数を、所定の逆変換規則を用いて逆変換することによって、復元予測残差画像を生成する。この所定の逆変換規則は、変換部１５により採用された所定の変換規則に対応する逆変換規則である。
【００４４】
加算部１８は、処理対象ブロックの予測画像と当該予測画像に対応する復元予測残差画像とを加算して再生画像を生成する。なお、加算部１８は、画像の画素値に特定のレンジが設定されている場合には、画素値が特定のレンジ内に収まるようにクリッピング処理を行ってもよい。
【００４５】
記憶部１９は、加算部１８により生成された再生画像を図示しないメモリに記憶させる。
【００４６】
次に、図２および図３を参照して予測画像を生成する際の第１の画像予測処理について説明する。なお、本実施形態では、第１の画像予測処理がフレーム内予測処理であるが、第１の画像予測処理には、例えば動き補償予測処理といった種々の予測処理が適用され得る。
【００４７】
まず、図２に示すように、４×４画素の処理対象ブロックＹの左斜め上方に隣接するブロックをブロックＸ０とし、同様に上側に隣接するブロックをブロックＸ１とし、右斜め上方に隣接するブロックをブロックＸ２とし、左側に隣接するブロックをブロックＸ３とする。また、ブロックＸ１の上側に隣接するブロックをブロックＸ４とし、ブロックＸ２の上側に隣接するブロックをブロックＸ５とし、ブロックＸ３の左側に隣接するブロックをブロックＸ６とする。また、ブロックＸ１の最下行にある再生画素値を左から順にＡ，Ｂ，Ｃ，Ｄとし、ブロックＸ２の最下行にある再生画素値を左から順にＥ，Ｆ，Ｇ，Ｈとし、ブロックＸ３の最右列にある再生画素値を上から順にＩ，Ｊ，Ｋ，Ｌとする。また、ブロックＸ０の右下隅にある再生画素値をＭとする。さらに、処理対象ブロックＹにおける予測画像の画素値をラスタ走査順にａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉ，ｊ，ｋ，ｌ，ｍ，ｎ，ｏ，ｐとする。
【００４８】
ここで、図３を参照して、４×４画素ブロック符号化モードにおける９種類の予測モードＡ０〜Ａ８について説明する。図３（ａ）に示す予測モードＡ０は、処理対象ブロックの上側に隣接する画素値を下方向に、直線的に伸長することにより予測画像を生成するモードである。この予測モードＡ０では、次式に基づいて予測画像が生成される。
ａ＝ｅ＝ｉ＝ｍ＝Ａ
ｂ＝ｆ＝ｊ＝ｎ＝Ｂ
ｃ＝ｇ＝ｋ＝ｏ＝Ｃ
ｄ＝ｈ＝ｌ＝ｐ＝Ｄ
【００４９】
図３（ｂ）に示す予測モードＡ１は、処理対象ブロックの左側に隣接する画素値を右方向に、直線的に伸長することにより予測画像を生成するモードである。この予測モードＡ１では、次式に基づいて予測画像が生成される。
ａ＝ｂ＝ｃ＝ｄ＝Ｉ
ｅ＝ｆ＝ｇ＝ｈ＝Ｊ
ｉ＝ｊ＝ｋ＝ｌ＝Ｋ
ｍ＝ｎ＝ｏ＝ｐ＝Ｌ
【００５０】
図３（ｃ）に示す予測モードＡ２は、周辺画素の平均値を用いて処理対象ブロックのＤＣ成分のみを予測するモードである。この予測モードＡ２では、次の規則に基づいて予測画像が生成される。まず、Ａ〜Ｍが全てフレーム内の再生画素である場合は、ａ〜ｐの全ての値を（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｉ＋Ｊ＋Ｋ＋Ｌ＋４）／８とする。これに対して、Ａ〜Ｄがフレーム内の再生ブロックに属しておらず、Ｉ〜Ｌがフレーム内の再生ブロックに属している場合は、ａ〜ｐの全ての値を（Ｉ＋Ｊ＋Ｋ＋Ｌ＋２）／４とする。また、Ｉ〜Ｌがフレーム内の再生ブロックに属しておらず、Ａ〜Ｄがフレーム内の再生ブロックに属している場合は、ａ〜ｐの全ての値を（Ａ＋Ｂ＋Ｃ＋Ｄ＋２）／４とする。また、Ａ〜ＤおよびＩ〜Ｌが全てフレーム内の再生ブロックに属していない場合には、ａ〜ｐの全ての値を１２８とする。
【００５１】
図３（ｄ）に示す予測モードＡ３は、処理対象ブロックの上側および右斜め上方に隣接する画素値を左斜め下方向に、直線的に伸長することにより予測画像を生成するモードである。この予測モードＡ３では、次式に基づいて予測画像が生成される。
ａ＝            （Ａ＋２Ｂ＋Ｃ＋２）／４
ｂ＝ｅ＝        （Ｂ＋２Ｃ＋Ｄ＋２）／４
ｃ＝ｆ＝ｉ＝    （Ｃ＋２Ｄ＋Ｅ＋２）／４
ｄ＝ｇ＝ｊ＝ｍ＝（Ｄ＋２Ｅ＋Ｆ＋２）／４
ｈ＝ｋ＝ｎ＝    （Ｅ＋２Ｆ＋Ｇ＋２）／４
ｌ＝ｏ＝        （Ｆ＋２Ｇ＋Ｈ＋２）／４
ｐ＝            （Ｇ＋３Ｈ＋２）／４
【００５２】
図３（ｅ）に示す予測モードＡ４は、処理対象ブロックの左側、左斜め上方および上側に隣接する画素値を右斜め下方向に、直線的に伸長することにより予測画像を生成するモードである。この予測モードＡ４では、次式に基づいて予測画像が生成される。
ｍ＝            （Ｊ＋２Ｋ＋Ｌ＋２）／４
ｉ＝ｎ＝        （Ｉ＋２Ｊ＋Ｋ＋２）／４
ｅ＝ｊ＝ｏ＝    （Ｍ＋２Ｉ＋Ｊ＋２）／４
ａ＝ｆ＝ｋ＝ｐ＝（Ａ＋２Ｍ＋Ｉ＋２）／４
ｂ＝ｇ＝ｌ＝    （Ｍ＋２Ａ＋Ｂ＋２）／４
ｃ＝ｈ＝        （Ａ＋２Ｂ＋Ｃ＋２）／４
ｄ＝            （Ｂ＋２Ｃ＋Ｄ＋２）／４
【００５３】
図３（ｆ）に示す予測モードＡ５は、処理対象ブロックの左側、左斜め上方および上側に隣接する画素値を下方右側に、直線的に伸長することにより予測画像を生成するモードである。この予測モードＡ５では、次式に基づいて予測画像が生成される。
ａ＝ｊ＝（Ｍ＋Ａ＋１）／２
ｂ＝ｋ＝（Ａ＋Ｂ＋１）／２
ｃ＝ｌ＝（Ｂ＋Ｃ＋１）／２
ｄ＝    （Ｃ＋Ｄ＋１）／２
ｆ＝ｏ＝（Ｍ＋２Ａ＋Ｂ＋２）／４
ｇ＝ｐ＝（Ａ＋２Ｂ＋Ｃ＋２）／４
ｈ＝    （Ｂ＋２Ｃ＋Ｄ＋２）／４
ｉ＝    （Ｍ＋２Ｉ＋Ｊ＋２）／４
ｍ＝    （Ｉ＋２Ｊ＋Ｋ＋２）／４
【００５４】
図３（ｇ）に示す予測モードＡ６は、処理対象ブロックの左側、左斜め上方および上側に隣接する画素値を右方下側に、直線的に伸長することにより予測画像を生成するモードである。この予測モードＡ６では、次式に基づいて予測画像が生成される。
ａ＝ｇ＝（Ｍ＋Ｉ＋１）／２
ｂ＝ｈ＝（Ｉ＋２Ｍ＋Ａ＋２）／４
ｃ＝    （Ｍ＋２Ａ＋Ｂ＋２）／４
ｄ＝    （Ａ＋２Ｂ＋Ｃ＋２）／４
ｅ＝ｋ＝（Ｉ＋Ｊ＋１）／２
ｆ＝ｌ＝（Ｍ＋２Ｉ＋Ｊ＋２）／４
ｉ＝ｏ＝（Ｊ＋Ｋ＋１）／２
ｊ＝ｐ＝（Ｉ＋２Ｊ＋Ｋ＋２）／４
ｍ＝    （Ｋ＋Ｌ＋１）／２
ｎ＝    （Ｊ＋２Ｋ＋Ｌ＋２）／４
【００５５】
図３（ｈ）に示す予測モードＡ７は、処理対象ブロックの上側および右斜め上方に隣接する画素値を下方左側に、直線的に伸長することにより予測画像を生成するモードである。この予測モードＡ７では、次式に基づいて予測画像が生成される。
ａ＝    （Ａ＋Ｂ＋１）／２
ｂ＝ｉ＝（Ｂ＋Ｃ＋１）／２
ｃ＝ｊ＝（Ｃ＋Ｄ＋１）／２
ｄ＝ｋ＝（Ｄ＋Ｅ＋１）／２
ｌ＝    （Ｅ＋Ｆ＋１）／２
ｅ＝    （Ａ＋２Ｂ＋Ｃ＋２）／４
ｆ＝ｍ＝（Ｂ＋２Ｃ＋Ｄ＋２）／４
ｇ＝ｎ＝（Ｃ＋２Ｄ＋Ｅ＋２）／４
ｈ＝ｏ＝（Ｄ＋２Ｅ＋Ｆ＋２）／４
ｐ＝    （Ｅ＋２Ｆ＋Ｇ＋２）／４
【００５６】
図３（ｉ）に示す予測モードＡ８は、処理対象ブロックの左側に隣接する画素値を右方上側に、直線的に伸長することにより予測画像を生成するモードである。この予測モードＡ８では、次式に基づいて予測画像が生成される。
ａ＝    （Ｉ＋Ｊ＋１）／２
ｂ＝    （Ｉ＋２Ｊ＋Ｋ＋２）／４
ｃ＝ｅ＝（Ｊ＋Ｋ＋１）／２
ｄ＝ｆ＝（Ｊ＋２Ｋ＋Ｌ＋２）／４
ｇ＝ｉ＝（Ｋ＋Ｌ＋１）／２
ｈ＝ｊ＝（Ｋ＋３Ｌ＋２）／４
ｋ＝ｌ＝ｍ＝ｎ＝ｏ＝ｐ＝Ｌ
【００５７】
予測画像生成部１３は、上述した各予測モードのうち、予測画像を生成する際に用いられる再生画素値が１つでもフレーム外にある予測モードは選択しない。
【００５８】
ここで、本実施形態では、Ａ〜Ｍのいずれかを含むブロックの符号化モードが補填符号化モードである場合には、予測画像が生成されないため、この場合には再生画素値が存在しない。したがって、他のブロックで予測画像を生成する際には、補填符号化モードであるブロックの再生画素値を参照することができない。
【００５９】
本実施形態においては、このような場合に、予測モードにおける予測方向（図３に示される矢印の方向）の直線上かつ予測元側（図３に示される矢印の始点側）の方向に存在する同一フレーム内の再生画素値で、最も処理対象ブロックに近い再生画素値を、Ａ〜Ｍの代替画素値として予測画像の生成に使用することとした。また、予測方向の直線が２つの画素の中間を通る場合には、当該２つの画素の平均画素値を代替画素値とすることとした。
【００６０】
図４および図５を参照して、上述した代替画素値について説明する。まず、図４は、処理対象ブロックＹの上側に隣接するブロックＸ１が補填符号化モードであり、かつ、予測モードがＡ０である場合に決定される代替画素値を示す図である。図４に示すように、ブロックＸ１の再生画素値Ａ，Ｂ，Ｃ，Ｄの代替画素値として、ブロックＸ４の最下行にある再生画素値Ｎ，Ｏ，Ｐ，Ｑが選択される。すなわち、再生画素値Ａ，Ｂ，Ｃ，Ｄに対して、予測モードＡ０における予測方向の直線上で予測元側の方向に存在する同一フレーム内の再生画素値で、最も処理対象ブロックＹに近い再生画素値Ｎ，Ｏ，Ｐ，Ｑが選択される。したがって、図４に示す処理対象ブロックＹの予測画像を生成する際には、上述した予測モードＡ０における式中にあるＡ，Ｂ，Ｃ，Ｄの替わりにＮ，Ｏ，Ｐ，Ｑを用いることとなる。なお、ブロックＸ４がフレーム外または補填符号化モードである場合には、Ａ，Ｂ，Ｃ，Ｄはフレーム外であるとして扱われる。すなわち、予測モードとしてＡ０は選択されないこととなる。
【００６１】
次に、図５は、処理対象ブロックＹの上側に隣接するブロックＸ１が補填符号化モードであり、かつ、予測モードがＡ７である場合に決定される代替画素値を示す図である。図５に示すように、ブロックＸ１の再生画素値Ａ，Ｂ，Ｃ，Ｄの代替画素値の候補として、ブロックＸ４の最下行にある２つの再生画素値Ｎ，ＯおよびブロックＸ２の最左列にある２つの再生画素値Ｐ，Ｑが選択される。そして、Ａの代替値としてはＮが選択され、Ｂの代替値としてはＯが選択され、Ｄの代替値としてはＰが選択され、Ｃの代替値としてはＯとＰの平均値が用いられる。Ｃの代替値としてＯとＰの平均値が用いられるのは、予測方向の直線が２つの画素ＯとＰの中間（ブロックＸ５の左下隅にある画素上）を通るためである。すなわち、再生画素値Ａ，Ｂ，Ｃ，Ｄに対して、予測モードＡ７における予測方向の直線上で予測元側の方向に存在する同一フレーム内の再生画素値で、最も処理対象ブロックＹに近い再生画素値Ｎ，Ｏ，（Ｏ＋Ｐ）／２，Ｑが選択される。したがって、図５に示す処理対象ブロックＹの予測画像を生成する際には、上述した予測モードＡ７における式中にあるＡ，Ｂ，Ｃ，Ｄの替わりにＮ，Ｏ，（Ｏ＋Ｐ）／２，Ｑを用いることとなる。なお、２つの画素値の平均値を２進数で算出する場合には、２つの画素値を加算し、この加算結果に１を加えた後に、１ビット右へシフトすればよい。
【００６２】
このようにして代替画素値を決定することにより、各予測モードに見合った最適な再生画素値を非隣接ブロックから選定することができる。
【００６３】
次に、図６を参照して上述した符号化モード決定規則において行われる補填画像を生成する際の画像補填処理（第２の画像予測処理）について説明する。
【００６４】
本実施形態の画像補填処理では、図６に示すように処理対象ブロックＹに含まれる一の画素を処理対象画素Ｐとする。この処理対象画素Ｐと、処理対象画素Ｐの近傍に存在する再生画像の画素（再生画素）とを含む領域をテンプレートＴとする。なお、処理対象ブロックＹに画像補填処理済みの画素（補填画素）が存在する場合には、当該画像補填処理済みの画素をテンプレートＴに含めることができる。また、処理対象ブロックＹおよび当該処理対象ブロックＹの周辺領域を対象領域Ｒとする。
【００６５】
まず、所定の走査規則に基づいて処理対象ブロックＹ内を走査することにより、処理対象ブロックＹに含まれる複数の画素から処理対象画素Ｐを選定する。次に、選定した処理対象画素Ｐに基づいてテンプレートＴを決定する。次に、対象領域Ｒ内において、テンプレートＴと同じ形状を有する領域のうち、テンプレートＴから処理対象画素Ｐを除いた部分の画素との相関が最大となる相関領域Ｓを選択する。次に、相関領域Ｓのうち処理対象画素Ｐに対応する再生画素Ｑの画素値を処理対象画素Ｐにおける補填画素値とする。以上の処理と同様の処理を、処理対象ブロックＹに含まれる各画素に対して走査順に行う。これにより処理対象ブロックＹに対応する補填画像が生成される。ここで、上述した相関領域Ｓを選択する際の相関の算出方法としては、例えば、対応する各画素値間における差分の二乗和が最小となるものを相関が最大であるとする方法や、対応する各画素値における差分の絶対値の和が最小のものを相関が最大であるとする方法であってもよいし、他のいかなる方法であっても相関関係を計測できる方法であれば適用可能である。なお、符号化対象画像が動画像である場合には、対象領域Ｒとして復号済のフレームにおける復号画素および補填画素を用いることにより、より効率のよい画像補填を行うことができる。
【００６６】
次に、図７を参照して、画像符号化処理における画像符号化装置１の動作について説明する。この画像符号化処理は、一のフレームから所定の走査順（例えば、ラスタ走査順）に読み込まれたブロック単位に行われる。
【００６７】
まず、画像分割部１１が、フレーム単位に入力された入力画像を所定の大きさ（例えば、４×４画素）のブロックに分割し、各処理対象ブロックを特定するためのブロック位置情報を生成する（ステップＳ１）。
【００６８】
次に、符号化モード決定部１２が、所定の符号化モード決定規則に基づいて処理対象ブロックの画像を符号化する際の符号化モードを、予測符号化処理モード（Ｐモード）または補填符号化モード（Ｃモード）のいずれか一方に決定し、当該符号化モードを特定するための符号化モード情報を出力する（ステップＳ２）。このブロック符号化モード情報は、画像分割部１１、予測画像生成部１３および符号化部１６に出力される。
【００６９】
次に、予測画像生成部１３が、符号化モード決定部１２により決定された処理対象ブロックの符号化モードが、予測符号化処理モードであるか否かを判定する（ステップＳ３）。この判定がＮＯである場合（ステップＳ３；ＮＯ）には、次の処理対象ブロックの画像符号化処理を行うために、ステップＳ１１に処理を移行する。
【００７０】
一方、ステップＳ３における判定で、処理対象ブロックの符号化モードが予測符号化処理モードであると判定された場合（ステップＳ３；ＹＥＳ）に、予測画像生成部１３は、予測モードを決定し、この決定した予測モードにしたがって、既に符号化されていて記憶部１９に記憶されている再生画像の一部を用いて、処理対象ブロックの画像に対応する予測画像を生成する（ステップＳ４）。すなわち、予測画像生成部１３は、上述した第１の画像予測処理を実行することにより、処理対象ブロックに隣接する隣接ブロックおよび処理対象ブロックに隣接しない非隣接ブロックの再生画像に基づいて、予測画像を生成する。この予測画像は、減算部１４および加算部１８に出力される。
【００７１】
次に、減算部１４が、処理対象ブロックの画像（入力画像）から当該処理対象ブロックの画像に対応する予測画像を画素単位に減算し、予測残差画像を生成する（ステップＳ５）。この予測残差画像は、変換部１５に出力される。
【００７２】
次に、変換部１５が、減算部１４により生成された予測残差画像を所定の変換規則を用いて変換し、当該変換により得られる変換係数（変換情報）を算出する（ステップＳ６）。この変換係数は、符号化部１６および逆変換部１７に出力される。
【００７３】
次に、符号化部１６が、変換部１５により算出された変換係数を所定の規則に基づいてエントロピー符号化する（ステップＳ７）。また、符号化部１６は、ステップＳ２において決定された符号化モード情報を所定の規則に基づいてエントロピー符号化するとともに、ステップＳ４において選択された予測画像生成パターンを所定の規則に基づいてエントロピー符号化する。これらのエントロピー符号化された符号化データは圧縮データ（ビットストリーム）として外部にある画像復号装置に出力される。
【００７４】
次に、逆変換部１７は、変換部１５により算出された変換係数を、変換部１５により採用された所定の変換規則に対応する逆変換規則を用いて逆変換し、復元予測残差画像を生成する（ステップＳ８）。この復元予測残差画像は、加算部１８に出力される。
【００７５】
次に、加算部１８は、予測画像生成部１３により生成された予測画像と逆変換部１７により生成された復元予測残差画像とを加算して再生画像を生成する（ステップＳ９）。この再生画像は、記憶部１９によりメモリに格納されて蓄積される（ステップＳ１０）。
【００７６】
次に、全てのブロックに対して処理が終了したか否かを判定し（ステップＳ１１）、全てのブロックが終了した場合（ステップＳ１１；ＹＥＳ）には、画像符号化処理を終了する。一方、全てのブロックが終了していない場合（ステップＳ１１；ＮＯ）には、ステップＳ２に処理を移行する。
【００７７】
次に、本発明の実施形態にかかる画像符号化プログラム、および当該画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体（以下、単に記録媒体という）について説明する。ここで、記録媒体とは、コンピュータのハードウェア資源に備えられている読み取り装置に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読み取り装置にプログラムの記述内容を伝達できるものである。かかる記録媒体としては、例えば、磁気ディスク、光ディスク、ＣＤ−ＲＯＭ、コンピュータに内蔵されるメモリなどが該当する。
【００７８】
図８は、第１実施形態にかかる記録媒体の構成図である。記録媒体１００は、図８に示すように、プログラムを記録するプログラム領域１０１を備えている。このプログラム領域１０１には、画像符号化プログラム１０２が記録されている。
【００７９】
図１４は、記録媒体に記憶されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図１５は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。図１５に示すように、コンピュータ１１０は、フロッピーディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読取装置１１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１１４と、記録媒体１００に記憶されたプログラムを記憶するメモリ１１６と、ディスプレイといった表示装置１１８と、入力装置であるマウス１２０及びキーボード１２２と、データ等の送受を行うための通信装置１２４と、プログラムの実行を制御するＣＰＵ１２６とを備えている。
【００８０】
記録媒体１００が読取装置１１２に挿入されると、コンピュータ１１０は、読取装置１１２から記録媒体１００に格納された画像符号化プログラム１０２にアクセス可能になり、当該画像符号化プログラム１０２によって、画像符号化装置１として動作することが可能になる。
【００８１】
図１５に示すように、画像符号化プログラム１０２は、搬送波に重畳されたコンピュータデータ信号１３０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ１１０は、通信装置１２４によって受信した画像符号化プログラム１０２をメモリ１１６に格納し、画像符号化プログラム１０２を実行することができる。
【００８２】
画像符号化プログラム１０２は、画像分割モジュール１０２ａと、符号化モード決定モジュール１０２ｂと、予測画像生成モジュール１０２ｃと、減算モジュール１０２ｄと、変換モジュール１０２ｅと、符号化モジュール１０２ｆと、逆変換モジュール１０２ｇと、加算モジュール１０２ｈと、記憶モジュール１０２ｉとを備えて構成される。ここで、画像分割モジュール１０２ａ、符号化モード決定モジュール１０２ｂ、予測画像生成モジュール１０２ｃ、減算モジュール１０２ｄ、変換モジュール１０２ｅ、符号化モジュール１０２ｆ、逆変換モジュール１０２ｇ、加算モジュール１０２ｈ、記憶モジュール１０２ｉのそれぞれを動作させることによって実現する機能は、上記画像符号化装置１の画像分割部１１、符号化モード決定部１２、予測画像生成部１３、減算部１４、変換部１５、符号化部１６、逆変換部１７、加算部１８、記憶部１９のそれぞれが有する機能と同様である。
【００８３】
第１実施形態の画像符号化装置１によれば、符号化モードが補填符号化モードである領域については、予測補助情報に基づくデータをビットストリームに含める必要が無いので、符号化効率の高いビットストリームが生成される。
【００８４】
また、予測画像生成部１３は、処理対象ブロックに隣接する隣接ブロックの符号化モードが補填符号化モードである場合には、処理対象ブロックに隣接しない非隣接ブロックの再生画像を用いて、予測画像を生成することができる。これにより、処理対象ブロックに隣接する隣接ブロックの再生画像のみならず、処理対象ブロックに隣接しない非隣接ブロックの再生画像を用いて予測画像を生成することができるため、予測画像を生成する際の参照範囲が拡大され、空間的冗長度を削減することができるとともに、符号化効率をより向上させることができる。また、補填符号化モードの画像を効率良く選定することにより、予測画像を生成する際の参照範囲が効率よく拡大され、空間的冗長度がより削減される。
【００８５】
[第２実施形態]
【００８６】
次に、本発明の第２実施形態について説明する。この画像復号装置は、第１実施形態の画像符号化装置から出力された圧縮データ（符号化データを含む）、すなわちビットストリームを受信し、この受信したビットストリームを復号して再生画像データを生成するものである。
【００８７】
図９は、第２実施形態に係る画像復号装置の構成を例示する図である。図９に示す画像復号装置２は、物理的に、例えば、ＣＰＵ（中央処理装置）、メモリといった記憶装置、ディスプレイといった表示装置、通信装置等を備えるコンピュータであることができる。また、画像復号装置２は、携帯電話といった移動通信端末、ＤＶＤ機器等あってもよい。すなわち、画像復号装置２には、情報処理可能な装置が広く適用され得る。
【００８８】
図９に示す画像復号装置２は、復号部（復号手段）２１と、符号化モード判定部２２と、予測画像生成部（第１の画像予測手段）２３と、逆変換部（逆変換手段）２４と、加算部（再生画像生成手段）２５と、記憶部（記憶手段）２６と、切替スイッチ２７と、補填画像生成部（第２の画像予測手段）２８とを有する。
【００８９】
次に、図９に示された各構成要素について説明する。復号部２１は、所定の大きさのブロックに分割された復号処理の対象となる入力画像に関する入力画像情報（圧縮データ）を受信する。復号部２１は、受信した入力画像情報を所定の規則に基づいてエントロピー復号する。このエントロピー復号により、変換係数、符号化モード情報および予測モード情報が復号される。これらの変換係数、符号化モード情報および予測モード情報は、画像符号化装置１について説明した差分画像データの変換係数、符号化モード情報および予測モード情報と同様であるため、説明を省略する。
【００９０】
符号化モード判定部２２は、所定の走査順（例えば、ラスタ走査順）に、入力された符号化モード情報から、符号化モードが予測符号化処理モードまたは補填符号化モードのいずれであるのかを判定する。
【００９１】
ここで、符号化モード判定部２２の判定結果により行われる処理は、フレーム内の走査が１巡目であるか２巡目であるかにより異なる。具体的に説明すると、フレーム内の走査が１巡目であるときに、符号化モードが予測符号化処理モードであると判定された場合には、処理対象ブロックに対して上述した第１の画像予測処理を含む予測画像復号処理が行われ、符号化モードが補填符号化モードであると判定された場合には、次のブロックが読み込まれる。一方、フレーム内の走査が２巡目であるときに、符号化モードが補填符号化モードであると判定された場合には、処理対象ブロックに対して上述した画像補填処理を含む補填画像復号処理が行われ、符号化モードが予測符号化処理モードであると判定された場合には、次のブロックが読み込まれる。すなわち、一巡目には、予測符号化処理モードである処理対象ブロックに対してのみ画像予測処理を含む予測画像復号処理が行われ、二巡目には、補填符号化モードである処理対象ブロックに対してのみ画像補填処理を含む補填画像復号処理が行われる。
【００９２】
予測画像生成部２３は、復号された予測モード情報によって特定される予測モードしたがって、各ブロックの画像のうち既に復号され、記憶部２６に記憶されている再生画像の一部を用いて、復号処理の対象となる処理対象ブロックの予測画像を生成する。この予測画像を生成するための画像予測処理は、上述した第１の画像予測処理（図２，図３参照）と同様であるため、説明を省略する。
【００９３】
逆変換部２４は、復号された変換係数に対して、上述した変換部１５で採用された所定の変換規則に対応する逆変換規則を用いて逆変換し、当該逆変換により得られる復元予測残差画像を生成する。
【００９４】
加算部２５は、予測画像と当該予測画像に対応する復元予測残差画像とを加算して再生画像を生成する。なお、加算部２５は、画像の画素値に特定のレンジが設定されている場合には、画素値が特定のレンジ内に収まるようにクリッピング処理を行ってもよい。
【００９５】
記憶部２６は、加算部２５により生成された再生画像を図示しないメモリに記憶させる。
【００９６】
切替スイッチ２７は、処理対象ブロックの符号化モードに応じて、記憶部２６に記憶された再生画像の送信先を切り替える。すなわち、切替スイッチ２７は、符号化モードが予測符号化処理モードである場合には、記憶部２６に格納された再生画像を予測画像生成部２３に送信できるようにスイッチを切り替える。一方、符号化モードが補填符号化モードである場合には、記憶部２６に格納された再生画像を補填画像生成部２８に送信できるようにスイッチを切り替える。
【００９７】
補填画像生成部２８は、処理対象ブロックの近傍で既に復号された再生画像を用いて補填画像を生成する。ここで、補填画像を生成する際の画像補填処理は、上述した画像補填処理（図６参照、第２の画像予測処理）と同様であるため、説明を省略する。
【００９８】
次に、図１０〜図１２を参照して、画像復号装置２の動作、及び画像復号処理について説明する。まず、画像復号処理における概要動作について図１０を参照して説明する。図１０に示すように、画像復号処理においては、まず、復号部２１により、第１実施形態における画像符号化装置１から受信した１フレーム分の入力画像情報が所定の規則に基づいてエントロピー復号され、変換係数、符号化モード情報および予測モード情報が生成される（ステップＳ２０）。次に、１巡目のフレーム内走査において行われる予測画像復号処理（ステップＳ３０）が実行され、次に、２巡目のフレーム内走査において行われる補填画像復号処理（ステップＳ４０）が実行される。
【００９９】
以下において、予測画像復号処理（ステップＳ３０）および補填画像復号処理（ステップＳ４０）における各動作をそれぞれの処理ごとに詳細に説明する。
【０１００】
まず、図１１を参照して、予測画像復号処理の詳細動作について説明する。まず、符号化モード判定部２２は、所定の走査順（例えば、ラスタ走査順）にしたがって、入力された符号化モード情報によって特定される符号化モードが、予測符号化処理モードであるか否かを判定する（ステップＳ３１）。この判定がＮＯである場合（ステップＳ３１；ＮＯ）には、処理を後述するステップＳ３６に移行する。
【０１０１】
一方、ステップＳ３１における判定で、符号化モードが予測符号化処理モードであると判定された場合（ステップＳ３１；ＹＥＳ）に、予測画像生成部２３は、上述したステップＳ２０（図１０参照）において復号された予測モード情報によって特定される予測モードにしたがって、各ブロックの画像のうち既に復号されて記憶部２６に記憶されている再生画像の一部を用いて、処理対象ブロックの予測画像を生成する（ステップＳ３２）。なお、この予測画像を生成する方法は、上述した第１の画像予測処理による。また、この予測画像は、加算部２５に出力される。
【０１０２】
次に、逆変換部２４は、上述したステップＳ２０（図１０参照）において復号された変換係数に対して、上述した変換部１５で採用された所定の変換規則に対応する逆変換規則を用いて逆変換し、当該逆変換により得られる復元予測残差画像を生成する（ステップＳ３３）。この復元予測残差画像は、加算部２５に出力される。
【０１０３】
次に、加算部２５は、予測画像生成部２３により生成された予測画像と逆変換部２４により逆変換された復元予測残差画像とを加算して再生画像を生成する（ステップＳ３４）。この再生画像は、記憶部２６によりメモリに格納されて蓄積される（ステップＳ３５）。
【０１０４】
次に、全てのブロックに対して処理が終了したか否かを判定し（ステップＳ３６）、全てのブロックの処理が終了した場合（ステップＳ３６；ＹＥＳ）には、予測画像復号処理を終了する。一方、全てのブロックが終了していない場合（ステップＳ３６；ＮＯ）には、上述したステップＳ３１に処理を移行する。
【０１０５】
次に、図１２を参照して、補填画像復号処理（図１０のステップＳ４０）の詳細動作について説明する。まず、符号化モード判定部２２が、所定の走査順（例えば、ラスタ走査順）にしたがって、入力された符号化モード情報によって特定される符号化モードが、補填符号化モードであるか否かを判定する（ステップＳ４１）。この判定がＮＯである場合（ステップＳ４１；ＮＯ）には、処理を後述するステップＳ４４に移行する。
【０１０６】
一方、ステップＳ４１における判定で、符号化モードが補填符号化モードであると判定された場合（ステップＳ４１；ＹＥＳ）に、補填画像生成部２８は、処理対象ブロックに含まれる処理対象画素ごとに、各処理対象画素の周辺に存在する再生画像から相関関係が最大となる再生画素値を取得して補填画素値を求めることにより、処理対象ブロックに対応する補填画像を生成する（ステップＳ４２）。なお、この補填画像を生成する方法は、上述した画像補填処理（第２の画像予測処理）による。
【０１０７】
次に、補填画像生成部２８により生成された補填画像は、再生画像として、記憶部２６によりメモリに格納されて蓄積される（ステップＳ４３）。
【０１０８】
次に、全てのブロックに対して処理を終了したか否かを判定し（ステップＳ４４）、全てのブロックが終了した場合（ステップＳ４４；ＹＥＳ）には、補填画像復号処理を終了する。一方、全てのブロックが終了していない場合（ステップＳ４４；ＮＯ）には、上述したステップＳ４１に処理を移行する。
【０１０９】
図１３は、第２実施形態にかかる記録媒体の構成図である。記録媒体１００は、図１３に示すように、プログラムを記録するプログラム領域２０１を備えている。このプログラム領域２０１には、画像復号プログラム２０２が記録されている。
【０１１０】
記録媒体１００が読取装置１１２に挿入されると、コンピュータ１１０（図１４及び図１５参照）は、読取装置１１２から記録媒体１００に格納された画像復号プログラム２０２にアクセス可能になり、当該画像復号プログラム２０２によって、画像復号装置２として動作することが可能になる。
【０１１１】
図１５に示すように、画像復号プログラム２０２は、搬送波に重畳されたコンピュータデータ信号１３０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ１１０は、通信装置１２４によって受信した画像復号プログラム２０２をメモリ１１６に格納し、画像復号プログラム２０２を実行することができる。
【０１１２】
画像復号プログラム２０２は、復号モジュール２０２ａと、符号化モード判定モジュール２０２ｂと、予測画像生成モジュール２０２ｃと、逆変換モジュール２０２ｄと、加算モジュール２０２ｅと、記憶モジュール２０２ｆと、切替スイッチモジュール２０２ｇと、補填画像生成モジュール２０２ｈとを備えて構成される。ここで、復号モジュール２０２ａ、符号化モード判定モジュール２０２ｂ、予測画像生成モジュール２０２ｃ、逆変換モジュール２０２ｄ、加算モジュール２０２ｅ、記憶モジュール２０２ｆ、切替スイッチモジュール２０２ｇ、補填画像生成モジュール２０２ｈのそれぞれを動作させることによって実現する機能は、上記画像復号装置２の復号部２１、符号化モード判定部２２、予測画像生成部２３、逆変換部２４、加算部２５、記憶部２６、切替スイッチ２７、補填画像生成部２８のそれぞれが有する機能と同様である。
【０１１３】
画像復号装置２によれば、画像符号化装置１によって効率よく符号化された画像を効率よく復号することができる。すなわち、予測画像生成部２３は、処理対象ブロックに隣接する隣接ブロックの符号化モードが補填符号化モードである場合には、処理対象ブロックに隣接しない非隣接ブロックの再生画像を用いて、予測画像を生成することができる。これにより、処理対象ブロックに隣接する隣接ブロックの再生画像のみならず、処理対象ブロックに隣接しない非隣接ブロックの再生画像を用いて予測画像を生成することができるため、予測画像を生成する際の参照範囲が拡大され、空間的冗長度を削減することができる。
【０１１４】
また、符号化モードが補填符号化モードであると判定された場合には、既に復号された再生画像を用いて、当該再生画像を補填する補填画像を生成させることができる。したがって、符号化する際に補填符号化モードの画像を送信しなくても、再生画像を生成させることができる。
【０１１５】
なお、上述した各実施形態においては、予測画像生成部１３，２３における画像予測としてフレーム内符号化処理を用いた場合について説明したが、これに限られず、例えば、動き補償予測を画像予測に含むようにしてもよい。この場合には、動きベクトル情報もエントロピー符号化するようにする。また、この動き補償予測としては、従来から用いられているＭＰＥＧ−４やＨ．２６４における動き補償予測と同様の手段を用いることができる。また、他のいかなる動き補償予測手段を適用することもできる。
【０１１６】
また、上述した各実施形態においては、フレーム内予測として、Ｈ．２６４で用いられている空間領域における予測を用いているが、フレーム内予測は、これに限定されない。例えば、ＭＰＥＧ−４で行われている周波数領域における予測を適用してもよい。
【０１１７】
この場合において、上または左に隣接するブロックが符号化または復号済みである場合には、隣接するブロックにおける変換係数の全部または一部を当該符号化または復号対象ブロックにおける変換係数の予測値として用いる。上および左に隣接するブロックが共に符号化または復号済みである場合には、上または左に隣接するブロックのうち、どのブロックの変換係数の全部または一部を予測値として用いるのかを示す１ビットのデータを予測モード情報として符号化する。また、上または左に隣接するブロックのうちいずれか一方が符号化または復号済みである場合には、当該符号化または復号済みブロックにおける直交変換係数の全部または一部を予測値として用いる。
【０１１８】
一方、上または左に隣接するブロックがいずれも符号化または復号済みでない場合には、当該ブロックの上方向または左方向に最も近い距離に存在する符号化または復号済みのブロックにおける直交変換係数の全部または一部を予測値として用いる。ただし、上方向および左方向に最も近い距離に存在する符号化または復号済みのブロックが上方向および左方向とも同じ距離に存在する場合には、上方向および左方向に存在するブロックのうち、どちらのブロックの変換係数の全部または一部を予測値として用いるのかを示す１ビットのデータを予測モード情報として符号化する。また、符号化または復号対象ブロックの上方向および左方向に存在するすべてのブロックが符号化または復号済みでない場合には、ＤＣ成分のみ設定値（例えば１２８）として予測を行う。
【０１１９】
また、上述した各実施形態においては、フレーム内予測として予測値を０とすることにより、フレーム内予測を行わないよう動作させてもよい。この場合にも、画像補填モードの導入により空間的冗長度が削減されるため符号化効率を高めることができる。
【０１２０】
フレーム内予測として予測値を０とすることにより、フレーム内予測を行わないよう動作させてもよい。この場合にも、画像補填モードの導入により空間的冗長度が削減されるため符号化効率を高めることができる。
【０１２１】
また、上述した各実施形態においては、画像補填処理において処理対象のフレームと同一空間内の再生画像を用いて予測画像が生成されているが、当該処理対象のフレームとは異なるフレームであって再生画像を生成済みのフレームの再生画像が画像補填処理に用いられてもよい。
【０１２２】
また、上述した第１実施形態においては、画像補填処理によって生成された予測画像がそのまま再生画像として採用されているが、符号化側では、当該予測画像と入力画像との予測残差画像が、上述の変換処理及びエントロピー符号化されて、ビットストリームに含められても良い。この場合に、復号側では、ビットストリームのデータを復号及び逆変換処理することによって、復元予測残差画像が生成され、当該復元予測残差画像と、画像補填処理によって生成された予測画像とが加算されることによって再生画像が生成される。
【０１２３】
［第３実施形態］
【０１２４】
以下、本発明の第３実施形態について説明する。図１６は、本発明の第３実施形態に係る動画像符号化装置の構成を示す図である。図１６に示す動画像符号化装置３１０は、物理的に、ＣＰＵ（中央処理装置）、メモリといった記憶装置、ディスプレイといった表示装置、通信装置等を備えるコンピュータであることができる。また、動画像符号化装置３１０は、携帯電話といった移動通信端末、ＤＶＤ装置等であってもよい。すなわち、動画像符号化装置３１０には、情報処理可能な装置が広く適用され得る。
【０１２５】
動画像符号化装置３１０は、機能的に、領域分割部３１２と、符号化モード決定部（決定手段）３１４と、画像予測部３１６と、減算部３１８と、変換部（変換手段）３２０と、符号化部（符号化手段）３２２と、逆変換部（逆変換手段）３２４と、加算部（再生画像生成手段）３２６と、画像記憶部（記憶手段）３２８と、を備える。
【０１２６】
領域分割部３１２は、入力映像（動画像）の各フレームを順次、符号化対象フレームとし、符号化対象フレームを所定サイズの複数の部分領域（以下、マクロブロックと称する）に分割する。所定サイズとは、例えば、１６×１６画素のサイズであることができるが、これに限定されず他のサイズであることができる。
【０１２７】
領域分割部３１２は、また、マクロブロックを特定するためのマクロブロック位置情報を生成する。マクロブロック位置情報には、例えば、フレーム内の各マクロブロックにラスタ走査順で昇順に付した整数番号を用いることができる。また、マクロブロック位置情報には、ラスタ走査順でマクロブロックの先頭に位置する画素の座標を用いることができる。
【０１２８】
符号化モード決定部３１４は、各マクロブロックの符号化モードを求め、当該符号化モードを特定するための符号化モード情報を画像予測部３１６及び符号化部３２２に出力する。本実施の形態において、この符号化モード情報とは、マクロブロックの予測画像を第１の画像予測処理及び第２の画像予測処理のいずれによって生成すべきかを特定するための情報である。以下、第１の画像予測処理を動き補償予測処理として本実施形態の説明を行う。また、以下、本明細書においては、マクロブロックを第１の画像予測処理によって処理すべき場合の符号化モードをＰモードとし、第２の画像予測処理によって処理すべき場合の符号化モードをＣモードと称する。なお、第１の画像予測処理は、動き補償予測処理に限定されない。第１の画像予測処理には、例えば、公知のイントラフレーム予測といった処理を用いることができる。第１の画像予測処理及び第２の画像予測処理の詳細については、後述する。
【０１２９】
画像予測部３１６は、符号化モード決定部３１４によって出力された符号化モード情報に基づいて、処理対象のマクロブロックの予測画像を、第１の予測画像処理又は第２の予測画像処理の一方を用いて生成する。画像予測部３１６は、第１の画像予測処理によってマクロブロックを処理した場合に、予測補助情報である動きベクトルを符号化部３２２に出力する。画像予測部３１６の詳細については、後述する。
【０１３０】
減算部３１８は、画像予測部３１６によって生成された処理対象のマクロブロックの予測画像と、領域分割部３１２から出力される処理対象のマクロブロックの入力画像との差演算を実行して、予測残差画像を生成する。
【０１３１】
変換部３２０は、予測残差画像を変換して変換情報を生成する。この変換には、例えば、ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）といった変換処理と逆量子化処理とを用いることができる。この場合には、変換情報には、量子化係数のセットが含まれる。ＤＣＴとしては、４行４列の２次元ＤＣＴ，或いは、８行８列の二次元ＤＣＴを用いることができる。なお、この変換には、Ｈ．２６４で用いられている４行４列の整数直行変換及び量子化、ＭＰ法（Ｍａｔｉｃｈｉｎｇ  Ｐｕｒｓｕｉｔ）、或いは、ベクトル量子化及びウェーブレット変換などの任意の変換処理・量子化処理を用いることができる。
【０１３２】
符号化部３２２は、領域分割部３１２からのマクロブロック位置情報、符号化モード決定部３１４からの符号化モード情報、画像予測部３１６からの動きベクトル、及び変換部３２０からの変換情報をエントロピー符号化といった符号化処理を用いて符号化し、符号化の結果をビットストリームに含めて出力する。
【０１３３】
逆変換部３２４は、変換部３２０からの変換情報を逆変換することによって、予測残差画像を復元した復元予測残差画像を生成する。変換情報が量子化係数のセットを含む場合に、逆変換部３２４は、量子化係数に逆量子化処理及び逆変換処理を施して、予測残差画像を復元した復元予測残差画像を生成する。
【０１３４】
加算部３２６は、逆変換部３２４からの復元予測残差画像と画像予測部３１６からの予測画像を加算することによって再生画像を生成し、これを再生フレームに組み込み、画像記憶部３２８に記憶させる。なお、画像データの画素値にレンジが設定されている場合には、加算部３２６は、そのレンジ内におさまるように加算結果の画素値をクリッピングしてもよい。
【０１３５】
画像記憶部３２８は、符号化対象フレームのマクロブロックの生成済みの再生画像を組み込んだ再生フレーム、及び参照フレームを記憶する。この参照フレームは、符号化対象フレームとは異なるフレームの再生フレームであり、本実施形態では、一フレーム前の再生フレームである。
【０１３６】
符号化モード決定部３１４について詳細に説明する。図１７は、符号化モード決定部の処理を説明するための図である。図１７において、四角形の領域はマクロブロックを示しており、矢印付きの実線及び点線は、走査順を示している。
【０１３７】
符号化モード決定部３１４は、同図（ａ）に示すように、まず、所定の走査順（例えば、ラスタスキャン順）で、第１の画像予測処理（動き補償予測処理）による符号化対象フレームの全マクロブロックの予測画像の生成を経て（即ち、Ｐモードで予測画像を生成）、符号化対象フレームの全マクロブロックの再生画像からなる再生フレームを生成する。
【０１３８】
符号化モード決定部３１４は、同図（ｂ）に示すように、上記と逆の走査順で、第２の画像予測処理による符号化対象フレームの全マクロブロックの予測画像の生成を経て、符号化対象フレームの全マクロブロックの再生画像を生成する。
【０１３９】
符号化モード決定部３１４は、第２の画像予測処理を用いて予測画像を生成する際に、処理対象のマクロブロックより、所定の走査順で前方に位置するマクロブロックの再生画像、所定の走査順で後方に位置するマクロブロックのうち符号化モードがＰモードのマクロブロックの再生画像、画像記憶部３２８に記憶されている参照フレームを用いる。例えば、同図（ｃ）に示すように、「Ａ」を付したマクロブロックを処理対象のマクロブロックとすると、再生フレームのマクロブロックのうちマクロブロックＡより前方のマクロブロックの再生画像、Ａより後方で符号化モードがＰモードのマクロブロックの再生画像（図中では、「Ｐ」を付しているマクロブロック）、及び画像記憶部３２８に記憶されている参照フレームを用いて第２の画像予測処理を行う。第２の画像予測処理についての詳細は、後述する。
【０１４０】
符号化モード決定部３１４は、第２の画像予測処理を経て再生画像が生成される度に、第１の画像予測処理を経て生成された再生画像及び第２の画像予測処理を経て生成された再生画像各々に関するコスト計算を行うことによって符号化モードを決定する。
【０１４１】
このコストは、例えば、処理対象のマクロブロックの符号化に要するビット数Ｒ、当該マクロブロックの再生画像の各画素と当該マクロブロックの入力画像の各画素との誤差の二乗和Ｄ、及び予め設定された係数をλとする場合に、Ｄ＋λ・Ｒによって計算される。符号化モード決定部３１４は、Ｐモード又はＣモードのうち、このコストが小さい方のモードを符号化モードとして選択する。なお、コストは、符号化効率又は／及び画質を表現することができるものであれば、如何なる関数から求められても良い。
【０１４２】
以下、画像予測部３１６について詳細に説明する。図１８は、画像予測部３１６の構成を示すブロック図である。画像予測部３１６は、モード切替部３３０と、第１の画像予測部（第１の画像予測手段）３３２と、第２の画像予測部（第２の画像予測手段）３３４と、を備える。
【０１４３】
モード切替部３３０は、符号化モード決定部３１４からの符号化モード情報を受け、当該符号化モード情報によって特定される符号化モードに従って、第１の画像予測部３３２又は第２の画像予測部３３４を起動する。モード切替部３３０は、符号化モードがＰモードである場合に、第１の画像予測部３３２を起動し、符号化モードがＣモードである場合に、第２の画像予測部３３４を起動する。
【０１４４】
動画像符号化装置３１０では、モード切替部３３０は、最初に符号化対象フレームの全マクロブロックのうち、符号化モードがＰモードの全マクロブロックの予測画像を、第１の画像予測部３３２によって生成させる。その後、モード切替部３３０は、符号化対象フレームの全マクロブロックのうち、符号化モードがＣモードのマクロブロックの予測画像を、第２の画像予測部３３４によって生成させる。
【０１４５】
第１の画像予測部３３２は、上述したように、第１の画像予測処理、すなわち、動き補償予測処理によって再生画像を生成する。動き補償予測処理とは、処理対象のマクロブロックの入力画像と参照フレームの任意の領域とのブロックマッチングを行い、最も相関の高い参照フレームの領域の部分画像を再生画像として採用し、当該領域への動きベクトルを発生する処理である。この相関は、例えば、処理対象のマクロブロックの入力画像とマッチング対象の領域の再生画像との差分二乗和Ｄ、処理対象のマクロブロックから当該領域への動きベクトルの符号化に要するデータ長Ｒ、及び予め定めた係数λを用いて、Ｄ＋λＲの評価関数から求められる。なお、動き補償予測処理は、参照フレームを２倍あるいは、４倍にアップサンプリングした画像を用いて実行されてもよい。また、マクロブロックを更に小さく分割した小ブロックとに、動き補償予測処理が実行されてもよい。この場合には、小ブロックごとの動きベクトルとマクロブロックの分割の種類を表すマクロブロック分割モードが出力される。
【０１４６】
第２の画像予測部３３４は、第２の画像予測処理を用いて、符号化モードがＣモードであると決定されたマクロブロックの予測画像を生成する。図１９は、第２の画像予測処理を説明するための図である。第２の画像予測処理では、再生画像が未生成のマクロブロックＹが選択される。このマクロブロックＹのうち、再生画像の画素値が与えられていない未処理の画素が選択され、当該画素を一部に含むテンプレートＴが設定される。本実施の形態では、上記未処理の画素を中心とするテンプレートＴが設定されるが、処理済の画素と未処理の画素が含まれていれば、テンプレートＴは、任意のサイズ及び形状であることができる。また、マクロブロックＹに対して任意サイズの参照領域Ｒが再生フレームＦ１に対して設定される。また、画像記憶部３２８に記憶された参照フレームＦ２に対しても、参照領域Ｒが設定される。参照フレームＦ２における参照領域Ｒは、再生フレームＦ１に設けた参照領域Ｒの位置に相当する参照フレームＦ２の位置に設けられてもよい。或いは、参照フレームＦ２における参照領域Ｒは、マクロブロックＹの周辺のマクロブロックの動きベクトルのメディアン値からなる動きベクトルに相当する分ずらした位置に設けられてもよい。
【０１４７】
第２の画像予測処理では、参照領域Ｒにおける任意の位置にある再生画像生成済みの候補領域ＳとテンプレートＴの相関が求められ、相関の最も高い候補領域が、複写参照領域Ｓｃが選択される。この相関は、例えば、テンプレートＴと候補領域Ｓの双方の対応位置に再生画像の画素値がある画素を有効画素とし、テンプレートＴと候補領域Ｓの有効画素の画素値の差分値の二乗和、すなわちマッチング誤差Ｍを、有効画素数Ｕで割った値から求められる。なお、相関は、テンプレートＴと候補領域Ｓの画像の類似度を表現できるものであれば、如何なる演算方法によって求められても良い。
【０１４８】
第２の画像予測処理では、テンプレートＴのうち再生画像の画素値が与えられていない未処理の画素に、複写参照領域Ｓｃの対応画素の画素値が補填画素値として複写される。図１９では、テンプレートＴの再生画像が生成済みの部分にハッチングが付されている。図１９では、テンプレートＴ内の再生画像未生成の領域（テンプレートＴ内の下部）に、複写参照領域Ｓｃの下部の画素値が与えられる様子が示されている。第２の画像予測処理では、各マクロブロックについて、再生画像の画素値を与えられていない未処理の画素がなくなるまで、画素の選択が繰り返されて、再生画像が生成される。
【０１４９】
以下、動画像符号化装置３１０の動作について説明する。併せて、本発明の実施の形態にかかる動画像符号方法について説明する。図２０は、第３実施形態にかかる動画像符号方法のフローチャートである。
【０１５０】
図２０に示すように、動画像符号化装置３１０における符号化プロセスでは、領域分割部３１２によって、符号化対象フレームが複数のマクロブロックに分割される（ステップＳ３０１）。また、領域分割部３１２によって、上記のマクロブロック位置情報が生成される。
【０１５１】
次いで、符号化モード決定部３１４によって各マクロブロックの符号化モードを決定する符号化モード決定処理が実行される（ステップＳ３０２）。図２１は、第３実施形態にかかる動画像符号方法における符号化モード決定処理のフローチャートである。図２１に示すように、符号化モード決定処理では、まず、走査順（ラスタスキャン順）に第１の画像予測処理（動き補償予測処理）を経て、全マクロブロックの再生画像からなる再生フレームが生成される（ステップＳ３０２−１）。
【０１５２】
次いで、走査順で最終のマクロブロックが処理対象のマクロブロックとして選択され（ステップＳ３０２−２）、上述した第２の画像予測処理が実行される。第２の画像予測処理では、上述したように、ステップＳ３０２−１を経て生成された再生フレームのうち、処理対象のマクロブロックに対して走査順で前方に位置するマクロブロックの再生画像、処理対象のマクロブロックに対して走査順で後方に位置するマクロブロックのうち符号化モードがＰモードのマクロブロックの再生画像、及び参照フレームを用いて、再生画像が生成される。
【０１５３】
次いで、ステップＳ３０２−３で生成された処理対象のマクロブロックの再生画像とステップＳ３０２−１で生成された対応のマクロブロックの再生画像のコストが上述したコスト関数を用いて各々求められる（ステップＳ３０２−４）。次いで、第１の画像予測処理、即ちＰモード、又は第２の画像予測処理、即ちＣモードのうち、コストの低い方のモードが符号化モードとして選択される（ステップＳ３０２−５）。
【０１５４】
次いで、全マクロブロックの処理が終了しているか否かがテストされる（ステップＳ３０２−６）。全マクロブロックの処理が終了している場合（Ｙｅｓ）には符号化モードの決定処理が終了する。一方、全マクロブロックの処理が終了してない場合（Ｎｏ）には、逆走査順で符号化モードが決定されていないマクロブロックが選択されて（ステップＳ３０２−７）、ステップＳ３０２−３からステップＳ３０２−６の処理が繰り返される。
【０１５５】
図２０に戻り、次いで、動画像符号化装置３１０では、符号化部３２２によって符号化モード情報が符号化される（ステップＳ３０３）。次いで、モード切替部３３０によって、所定の走査順（例えば、ラスタスキャン順）に、マクロブロックが処理対象として選択され、処理対象のマクロブロックの符号化モードがＰモード（第１の画像予測処理）であるか否かがテストされる（ステップＳ３０４）。符号化モードがＰモードでない場合（Ｎｏ）には、プロセスはステップＳ３１２に移行する。一方、符号化モードがＰモードの場合（Ｙｅｓ）には、モード切替部３３０が、第１の画像予測部３３２を起動し、第１の画像予測処理によって処理対象のマクロブロックの予測画像が生成される（ステップＳ３０５）。
【０１５６】
次いで、減算部３１８によって、処理対象のマクロブロックの入力画像と予測画像との差からなる予測残差画像が生成される（ステップＳ３０６）。次いで、変換部３２０によって、この予測残差画像が変換情報に変換される（ステップＳ３０７）。次いで、符号化部３２２によって、動きベクトル及び変換情報がエントロピー符号化される（ステップＳ３０８）。
【０１５７】
次いで、逆変換部３２４によって、変換情報に逆変換が施されて、予測残差画像を復元した復元予測残差画像が生成される（ステップＳ３０９）。次いで、加算部３２６によって、この復元予測残差画像と画像予測部３１６からの予測画像とが加算されることによって、処理対象のマクロブロックの再生画像が生成される（ステップＳ３１０）。この再生画像は、再生フレームに組み込まれ、画像記憶部３２８に記憶される（ステップＳ３１１）。
【０１５８】
次いで、全マクロブロックの処理が終了したか否かがテストされる（ステップＳ３１２）。全マクロブロックの処理が終了していない場合（Ｎｏ）には、未処理のマクロブロックが選択されてステップＳ３０４からステップＳ３１２の処理が繰り返される。一方、全マクロブロックの処理が終了している場合（Ｙｅｓ）には、ステップＳ３１３へプロセスは移行する。
【０１５９】
ステップＳ３１３において、モード切替部３３０によって、所定の走査順（例えば、ラスタスキャン順）にマクロブロックが処理対象として選択され、処理対象のマクロブロックの符号化モードがＣモード（第２の画像予測処理）であるか否かがテストされる。符号化モードがＣモードでない場合（Ｎｏ）には、処理はステップＳ３２１に移行する。
【０１６０】
一方、符号化モードがＣモードの場合（Ｙｅｓ）には、モード切替部３３０が、第２の画像予測部３３４を起動し、第２の画像予測処理によって処理対象のマクロブロックの予測画像が生成される（ステップＳ３１４）。図２２は、第３実施形態にかかる動画像符号方法における第２の画像予測処理のフローチャートである。
【０１６１】
図２２に示すように、第２の画像予測処理では、再生画像が未生成のブロック、が選択される。本実施の形態では、符号化モードがＣモードのマクロブロックが処理対象のマクロブロックとして所定の走査順に選択される（ステップＳ３１４−１）。
【０１６２】
次いで、処理対象のマクロブロックに対する参照領域が上述したように設定される（ステップＳ３１４−２）。次いで、マクロブロック内の再生画像が未生成の画素が選択され（ステップＳ３１４−３）、当該画素を一部に含むテンプレートが設定される（ステップＳ３１４−４）。
【０１６３】
このテンプレートと、参照領域における候補領域との相関が上述したように演算され（ステップＳ３１４−５）、相関の最も高い候補領域が、複写参照領域として選択される（ステップＳ３１４−６）。
【０１６４】
次いで、再生画像の画素値が与えられていないテンプレート内の未処理の画素に複写参照領域の対応画素の画素値が複写される（ステップＳ３１４−７）。次いで、処理対象のマクロブロック内に再生画素の画素値が与えられていない未処理の画素があるか否かがテストされる（ステップＳ３１４−８）。未処理の画素がある場合（Ｙｅｓ）には、その未処理の画素が選択されて（ステップＳ３１４−９）、ステップＳ３１４−４〜ステップＳ３１４−８の処理が繰り返される。一方、未処理の画素が処理対象のマクロブロック内に無い場合には、第２の画像予測処理（ステップＳ３１４）が終了する。
【０１６５】
図２０に戻り、動画像符号化装置３１０では、減算部３１８によって、処理対象のマクロブロックの入力画像と第２の画像予測処理によって生成された予測画像との差からなる予測残差画像が生成される（ステップＳ３１５）。
【０１６６】
次いで、減算部３１８によって、処理対象のマクロブロックの入力画像と第２の画像予測処理によって生成された予測画像との差からなる予測残差画像が生成される（ステップＳ３１５）。次いで、変換部３２０によって、この予測残差画像が変換情報に変換される（ステップＳ３１６）。次いで、符号化部３２２によって、変換情報がエントロピー符号化される（ステップＳ３１７）。
【０１６７】
次いで、逆変換部３２４によって、変換情報が逆変換され、予測残差画像を復元した復元予測残差画像が生成される（ステップＳ３１８）。次いで、加算部３２６によって、この復元予測残差画像と画像予測部３１６からの予測画像とが加算されて、処理対象のマクロブロックの再生画像が生成される（ステップＳ３１９）。この再生画像は、再生フレームに組み込まれ、画像記憶部３２８に記憶される（ステップＳ３２０）。
【０１６８】
次いで、全マクロブロックの処理が終了したか否かがテストされる（ステップＳ３２１）。全マクロブロックの処理が終了していない場合（Ｎｏ）には、未処理のマクロブロックが選択されてステップＳ３１３からステップＳ３２１の処理が繰り返される。一方、全マクロブロックの処理が終了している場合（Ｙｅｓ）には、符号化のプロセスは終了となる。
【０１６９】
以下、コンピュータを動画像符号化装置３１０として動作させるための動画像符号化プログラムについて説明する。図２３は、第３実施形態に係る動画像符号化プログラムの構成を、記録媒体と共に示す図である。図２３に示す動画像符号化プログラム３４０は、記録媒体１００に格納されて提供される。記録媒体１００としては、フロッピーディスク、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体あるいは半導体メモリ等が例示される。
【０１７０】
記録媒体１００が読取装置１１２に挿入されると、コンピュータ１１０（図１４及び図１５を参照）は、読取装置１１２から記録媒体１００に格納された動画像符号化プログラム３４０にアクセス可能になり、当該動画像符号化プログラム３４０によって、動画像符号化装置３１０として動作することが可能になる。
【０１７１】
図１５に示すように、動画像符号化プログラム３４０は、搬送波に重畳されたコンピュータデータ信号１３０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ１１０は、通信装置１２４によって受信した動画像符号化プログラム３４０をメモリ１１６に格納し、当該動画像符号化プログラム３４０を実行することができる。
【０１７２】
図２３に示すように、動画像符号化プログラム３４０は、処理を統括するメインモジュール３４１と、領域分割モジュール３４２と、符号化モード決定モジュール３４４と、画像予測モジュール３４６と、減算モジュール３４８と、変換モジュール３５０と、符号化モジュール３５２と、逆変換モジュール３５４と、加算モジュール３５６と、画像記憶モジュール３５８とを備える。画像予測モジュール３４６は、モード切替モジュール３６０と、第１の画像予測モジュール３６２と、第２の画像予測モジュール３６４とを有している。
【０１７３】
領域分割モジュール３４２、符号化モード決定モジュール３４４、画像予測モジュール３４６、減算モジュール３４８、変換モジュール３５０、符号化モジュール３５２と、逆変換モジュール３５４、加算モジュール３５６、画像記憶モジュール３５８、モード切替モジュール３６０、第１の画像予測モジュール３６２、第２の画像予測モジュール３６４のそれぞれがコンピュータに実現させる機能は、上述した領域分割部３１２、符号化モード決定部３１４、画像予測部３１６、減算部３１８、変換部３２０、符号化部３２２、逆変換部３２４、加算部３２６、画像記憶部３２８、モード切替部３３０と、第１の画像予測部３３２と、第２の画像予測部３３４のうち対応の部分と同様である。
【０１７４】
以下、動画像符号化装置３１０の作用及び効果について説明する。第３実施形態の画像符号化装置３１０によれば、符号化モードがＣモードのマクロブロック、すなわち第２の画像予測処理によって予測画像が生成されるマクロブロックについては、予測補助情報に基づくデータをビットストリームに含める必要が無いので、符号化効率の高いビットストリームが生成される。
【０１７５】
動画像符号化装置３１０では、第２の画像予測部３３４が、参照フレーム、及び符号化対象フレームの再生フレームを用いて予測画像を生成する。この再生フレームには、第１の画像予測処理及び第２の画像予測処理を経て既に生成された再生画像が含まれている。すなわち、符号化対象フレームとは異なるフレームの再生画像からなる参照フレームと、符号化対象フレームの再生画像からなる再生フレームとを用いて、第２の画像予測部３３４が、予測画像を生成する。したがって、時間方向及び空間方向の冗長度が削減された符号化データが生成される。
【０１７６】
また、第２の画像予測処理では、第１の画像予測処理及び第２の画像予測処理を経て既に生成された再生画像を含む再生フレームが用いられる。したがって、走査順で後方に位置する再生画像をも予測に用いることができるので、より空間方向の冗長度を効率的に削減することができる。
【０１７７】
［第４実施形態］
【０１７８】
以下、本発明の第４実施形態の動画像復号装置について説明する。図２４は、第４実施形態にかかる動画像復号装置の構成を示す図である。図２４に示す動画像復号装置３７０は、物理的に、ＣＰＵ（中央処理装置）、メモリといった記憶装置、ディスプレイといった表示装置、通信装置等を備えるコンピュータであることができる。また、動画像復号装置３７０は、携帯電話といった移動通信端末、ＤＶＤ装置等であってもよい。すなわち、動画像復号装置３７０には、情報処理可能な装置が広く適用され得る。
【０１７９】
図２４に示すように、動画像復号装置３７０は、復号部（復号手段）３７２と、逆変換部（逆変換手段）３７４と、画像予測部３７６と、加算部（再生画像生成手段）３７８と、画像記憶部（記憶手段）３８０と、を備える。
【０１８０】
復号部３７２は、入力されるビットストリームを受け、当該ビットストリームを復号する。動画像符号化装置３１０によって生成されたビットストリームを受ける場合に、復号部３７２は、当該ビットストリームを復号して、マクロブロック位置情報、符号化モード情報、動きベクトル、及び変換情報を発生する。
【０１８１】
逆変換部３７４は、復号部３７２から変換情報を受け、処理対象のマクロブロックの変換情報に逆変換を施すことによって、当該処理対象マクロブロックの復元予測残差画像を生成する。逆変換部３７４は、この復元予測残差画像を加算部３７８に出力する。なお、逆変換部３７４による処理は、動画像符号化装置３１０の逆変換部３２４と同様の処理である。
【０１８２】
画像予測部３７６は、処理対象のマクロブロックの予測画像を生成して、当該予測画像を加算部３７８に出力する。画像予測部３７６は、モード切替部３８２と、第１の画像予測部（第１の画像予測手段）３８４と、第２の画像予測部（第２の画像予測手段）３８６とを有している。モード切替部３８２は、復号部３７２からの符号化モード情報に基づいて、第１の画像予測部３８４、又は第２の画像予測部３８６を起動する。第１の画像予測部３８４は、第１の画像予測処理によって、処理対象のマクロブロックの予測画像を生成し、第２の画像予測部３８６は、第２の画像予測処理によって、処理対象のマクロブロックの予測画像を生成する。画像予測部３７６に含まれるこれらの要素による処理は、動画像符号化装置３１０の画像予測部３１６における対応の要素による処理と同様である。
【０１８３】
加算部３７８は、画像予測部３７６からの予測画像と、逆変換部３７４からの復元予測残差画像を加算して、処理対象のマクロブロックの再生画像を生成し、画像記憶部３８０に記憶させる。なお、画像データの画素値にレンジが設定されている場合には、加算部３７８は、そのレンジ内におさまるように加算結果の画素値をクリッピングしてもよい。
【０１８４】
画像記憶部３８０は、生成済みの再生画像を組み込んだ復号対象フレームの再生フレームと、参照フレームとを記憶する。参照フレームは、上述したように、復号対象フレームとは異なるフレームの再生フレームであり、本実施形態では復号対象フレームの一フレーム前の再生フレームである。
【０１８５】
以下、動画像復号装置３７０の動作について説明する。併せて、本発明の実施の形態にかかる動画像復号方法について説明する。図２５は、第４実施形態にかかる動画像復号方法のフローチャートである。
【０１８６】
図２５に示すように、動画像復号装置３７０における復号プロセスでは、まず、復号部３７２によって、復号対象フレームの全マクロブロックの符号化モード情報がビットストリームから復号される（ステップＳ３３１）。
【０１８７】
次いで、モード切替部３８２によって、所定の走査順（例えば、ラスタスキャン順）にマクロブロックが処理対象として選択され、処理対象のマクロブロックの符号化モードがＰモード（第１の画像予測処理）であるか否かがテストされる（ステップＳ３３２）。符号化モードがＰモードでない場合（Ｎｏ）には、プロセスは、ステップＳ３３８に移行する。一方、符号化モードがＰモードの場合（Ｙｅｓ）には、復号部３７２によって、ビットストリームから処理対象のマクロブロックの変換情報及び動きベクトルがエントロピー復号される（ステップＳ３３３）。次いで、モード切替部３８２が、第１の画像予測部３８４を起動し、第１の画像予測処理によって処理対象のマクロブロックの予測画像が生成される（ステップＳ３４）。
【０１８８】
次いで、逆変換部３７４によって、変換情報に逆変換が施されて、復元予測残差画像が生成される（ステップＳ３３５）。次いで、加算部３７８によって、この復元予測残差画像と予測画像とが加算されて、再生画像が生成される（ステップＳ３３６）。この再生画像は、再生フレームに組み込まれて、画像記憶部３８０に記憶される（ステップＳ３３７）。
【０１８９】
次いで、全マクロブロックの処理が終了したか否かがテストされる（ステップＳ３３８）。全ブロックの処理が終了していない場合（Ｎｏ）には、未処理のマクロブロックが選択されてステップＳ３３２からステップＳ３３８の処理が繰り返される。
【０１９０】
一方、全ブロックの処理が終了している場合（Ｙｅｓ）には、プロセスは、ステップＳ３３９に移行する。ステップＳ３３９において、モード切替部８２によって、所定の走査順（例えば、ラスタスキャン順）にマクロブロックが処理対象として選択され、処理対象のマクロブロックの符号化モードがＣモード（第２の画像予測処理）であるか否かがテストされる（ステップＳ３３９）。符号化モードがＣモードでない場合（Ｎｏ）には、プロセスはステップＳ３４５に移行する。一方、符号化モードがＣモードの場合（Ｙｅｓ）には、復号部３７２によって、ビットストリームから処理対象のマクロブロックの変換情報がエントロピー復号される（ステップＳ３４０）。次いで、モード切替部３８２が、第２の画像予測部３８６を起動し、第２の画像予測処理によって処理対象のマクロブロックの予測画像が生成される（ステップＳ３４１）。
【０１９１】
次いで、逆変換部３７４によって、変換情報に逆変換が施されて、復元予測残差画像が生成される（ステップＳ３４２）。次いで、加算部３７８によって、この復元予測残差画像と予測画像とが加算されて、再生画像が生成される（ステップＳ３４３）。この再生画像は、再生フレームに組み込まれて、画像記憶部３８０に記憶される（ステップＳ３４４）。
【０１９２】
次いで、全マクロブロックの処理が終了したか否かがテストされる（ステップＳ３４５）。全ブロックの処理が終了していない場合（Ｎｏ）には、未処理のマクロブロックが選択されてステップＳ３３９からステップＳ３４５の処理が繰り返される。一方、全ブロックの処理が終了している場合（Ｙｅｓ）には、復号のプロセスが終了となる。
【０１９３】
以下、コンピュータを動画像復号装置３７０として動作させるための動画像復号プログラムについて説明する。図２６は、第４実施形態にかかる動画像復号プログラムの構成を、記録媒体と共に示す図である。図２６に示す動画像復号プログラム３９０は、記録媒体１００に格納されて提供される。記録媒体１００としては、フロッピーディスク、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体あるいは半導体メモリ等が例示される。
【０１９４】
記録媒体１００が読取装置１１２に挿入されると、コンピュータ１１０（図１４及び図１５を参照）は、読取装置１１２から記録媒体１００に格納され動画像復号プログラム３９０にアクセス可能になり、当該動画像復号プログラム３９０によって、動画像復号装置３７０として動作することが可能になる。
【０１９５】
図１５に示すように、動画像復号プログラム３９０は、搬送波に重畳されたコンピュータデータ信号１３０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ１１０は、通信装置１２４によって受信した動画像復号プログラム３９０をメモリ１１６に格納し、当該動画像復号プログラム３９０を実行することができる。
【０１９６】
図２６に示すように、動画像復号プログラム３９０は、処理を統括するメインモジュール３９１と、復号モジュール３９２と、逆変換モジュール３９４と、画像予測モジュール３９６と、加算モジュール３９８と、画像記憶モジュール４００とを備える。画像予測モジュール３９６は、モード切替モジュール４０２と、第１の画像予測モジュール４０４と、第２の画像予測モジュール４０６とを有している。
【０１９７】
復号モジュール３９２、逆変換モジュール３９４、画像予測モジュール３９６、加算モジュール３９８、画像記憶モジュール４００、モード切替モジュール４０２、第１の画像予測モジュール４０４、第２の画像予測モジュール４０６のそれぞれがコンピュータに実現させる機能は、上述した復号部３７２、逆変換部３７４、画像予測部３７６、加算部３７８、画像記憶部３８０、モード切替部３８２、第１の画像予測部３８４、第２の画像予測部３８６のうち対応の要素の機能と同様である。
【０１９８】
以上説明したように、動画像復号装置３７０は、動画像符号化装置３１０によって生成されたビットストリームに基づいて動画像を復元することが可能である。また、動画像復号装置３７０は、符号化モードがＣモードのマクロブロック、すなわち、第２の画像予測処理によって予測画像を生成するマクロブロックについては、動きベクトルといった予測補助情報を符号化側から取得することなく、予測画像を生成することができる。
【０１９９】
なお、本発明は上記した第３、及び第４実施形態に限定されることなく種々の変形が可能である。例えば、第３実施形態では、第２の画像予測処理において、符号化対象フレームの再生画像からなる再生フレームが参照されている。この再生フレームに代えて、符号化対象フレーム、すなわち入力画像自体を参照しても、第２の画像予測処理を実現することができる。
【０２００】
また、第２の画像予測処理によって生成された予測画像が再生画像としてそのまま採用されても良い。この場合には、第２の画像予測処理によって生成された予測画像と入力画像との差からなる予測残差画像に関する符号化データをビットストリームに含める必要が無いので、更に符号化効率の高いビットストリームが生成される。
【０２０１】
また、動画像の特性として、動きの多い部分と動きの少ない背景部分の位置が既知の場合には、各マクロブロックの符号化モードを予め定めたテーブル等を参照することによって、符号化モードの決定処理を省くことも可能である。
【図面の簡単な説明】
【０２０２】
【図１】図１は、第１実施形態に係る画像符号化装置の構成を示す図である。
【図２】図２は、画像予測処理の内容を説明するための図である。
【図３】図３は、画像予測処理の内容を説明するための図である。
【図４】図４は、代替画素値について説明するための図である。
【図５】図５は、代替画素値について説明するための図である。
【図６】図６は、画像補填処理の内容を説明するための図である。
【図７】図７は、画像符号化処理における画像符号化装置の動作を示すフローチャートである。
【図８】図８は、画像符号化プログラムを記録する記録媒体の構成を示す図である。
【図９】図９は、第２実施形態に係る画像復号装置の構成を示す図である。
【図１０】図１０は、画像復号処理の概要動作を示すフローチャートである。
【図１１】図１１は、予測画像復号処理の動作を示すフローチャートである。
【図１２】図１２は、補填画像復号処理の動作を示すフローチャートである。
【図１３】図１３は、画像復号プログラムを記録する記録媒体の構成を示す図である。
【図１４】図１４は、記録媒体に記憶されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。
【図１５】図１５は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。
【図１６】図１６は、本発明の第３実施形態に係る動画像符号化装置の構成を示す図である。
【図１７】図１７は、符号化モード決定部の処理を説明するための図である。
【図１８】図１８は、画像予測部の構成を示すブロック図である。
【図１９】図１９は、第２の画像予測処理を説明するための図である。
【図２０】図２０は、第３実施形態にかかる動画像符号方法のフローチャートである。
【図２１】図２１は、第３実施形態にかかる動画像符号方法における符号化モード決定処理のフローチャートである。
【図２２】図２２は、第２の画像予測処理のフローチャートである。
【図２３】図２３は、第３実施形態に係る動画像符号化プログラムの構成を、記録媒体と共に示す図である。
【図２４】図２４は、第４実施形態にかかる動画像復号装置の構成を示す図である。
【図２５】図２５は、第４実施形態にかかる動画像復号方法のフローチャートである。
【図２６】図２６は、第４実施形態にかかる動画像復号プログラムの構成を、記録媒体と共に示す図である。
【符号の説明】
【０２０３】
１…画像符号化装置、２…画像復号装置、１１…画像分割部、１２…符号化モード決定部、１３…予測画像生成部、１４…減算部、１５…変換部、１６…符号化部、１７…逆変換部、１８…加算部、１９…記憶部、２１…復号部、２２…符号化モード判定部、２３…予測画像生成部、２４…逆変換部、２５…加算部、２６…記憶部、２７…切替スイッチ、２８…補填画像生成部、１０１，２０１…プログラム領域、１０２…画像符号化プログラム、２０２…画像復号プログラム、３１０…動画像符号化装置、３１２…領域分割部、３１４…符号化モード決定部、３１６…画像予測部、３１８…減算部、３２０…変換部、３２２…符号化部、３２４…逆変換部、３２６…加算部、３２８…画像記憶部、３３０…モード切替部、３３２…第１の画像予測部、３３４…第２の画像予測部。
【図１】
2005318497.tif 000003
【図２】
2005318497.tif 000004
【図３】
2005318497.tif 000005
【図４】
2005318497.tif 000006
【図５】
2005318497.tif 000007
【図６】
2005318497.tif 000008
【図７】
2005318497.tif 000009
【図８】
2005318497.tif 000010
【図９】
2005318497.tif 000011
【図１０】
2005318497.tif 000012
【図１１】
2005318497.tif 000013
【図１２】
2005318497.tif 000014
【図１３】
2005318497.tif 000015
【図１４】
2005318497.tif 000016
【図１５】
2005318497.tif 000017
【図１６】
2005318497.tif 000018
【図１７】
2005318497.tif 000019
【図１８】
2005318497.tif 000020
【図１９】
2005318497.tif 000021
【図２０】
2005318497.tif 000022
【図２１】
2005318497.tif 000023
【図２２】
2005318497.tif 000024
【図２３】
2005318497.tif 000025
【図２４】
2005318497.tif 000026
【図２５】
2005318497.tif 000027
【図２６】
2005318497.tif 000028