(57)【要約】【課題】画像の符号化において優れた符号化効率を得ることができる画像符号化方法を提供すること。【解決手段】画像を分割したマクロブロック毎に符号化する画像符号化方法であって、符号化対象のマクロブロックに隣接する領域の動きベクトルと、符号化対象の画像と隣接する領域の参照画像との間の時間関係と、符号化対象のマクロブロックに対応するデプス値と、参照画像に対応するデプス値とに基づいて、符号化対象のマクロブロックの予測ベクトルを生成する予測ベクトル生成ステップを有する。【選択図】図２
2013153336.tif 000002
【特許請求の範囲】
【請求項１】
画像を分割したマクロブロック毎に符号化する画像符号化方法であって、
符号化対象のマクロブロックに隣接する領域の動きベクトルと、符号化対象の画像と前記隣接する領域の参照画像との間の時間関係と、前記符号化対象のマクロブロックに対応するデプス値と、前記参照画像に対応するデプス値とに基づいて、前記符号化対象のマクロブロックの予測ベクトルを生成する予測ベクトル生成ステップ
を有することを特徴とする画像符号化方法。
【請求項２】
前記予測ベクトル生成ステップにおいて、前記符号化対象のマクロブロックに対応するデプス値と、前記隣接する領域の参照画像に対応するデプス値とに基づいて、予測ベクトルを生成することを特徴とする請求項１に記載の画像符号化方法。
【請求項３】
前記予測ベクトル生成ステップにおいて、符号化対象のマクロブロックに隣接する領域の動きベクトルと、符号化対象の画像と前記隣接する領域の参照画像との間の時間関係とに基づき、前記隣接する領域の参照画像ごとに候補予測ベクトルを生成し、前記符号化対象のマクロブロックに対応するデプス値と、前記隣接する領域の参照画像に対応するデプス値とに基づいて、前記候補予測ベクトルの中から予測ベクトルを選択することを特徴とする請求項２に記載の画像符号化方法。
【請求項４】
前記予測ベクトル生成ステップは、前記時間関係に基づいて、前記隣接する領域の動きベクトルをスケーリングするステップを有することを特徴とする請求項１に記載の画像符号化方法。
【請求項５】
前記スケーリングするステップは、スケーリングする際の基準を、前記隣接する領域の参照画像ごとに切り替え、該参照画像ごとに前記隣接する領域の動きベクトルをスケーリングするステップを有することを特徴とする請求項４に記載の画像符号化方法。
【請求項６】
前記予測ベクトル生成ステップにおいて、前記スケーリングされた動きベクトルに基づいて、予測ベクトルを生成することを特徴とする請求項４に記載の画像符号化方法。
【請求項７】
前記予測ベクトル生成ステップにおいて、前記スケーリングされた前記動きベクトルに基づいて、前記隣接する領域の参照画像ごとに候補予測ベクトルを生成し、該候補予測ベクトルに基づき、予測ベクトルを生成することを特徴とする請求項６に記載の画像符号化方法。
【請求項８】
画像を分割したマクロブロック毎に符号化する画像符号化装置であって、
符号化対象のマクロブロックに隣接する領域の動きベクトルと、符号化対象の画像と前記隣接する領域の参照画像との間の時間関係と、前記符号化対象のマクロブロックに対応するデプス値と、前記参照画像に対応するデプス値とに基づいて、前記符号化対象のマクロブロックの予測ベクトルを生成する予測ベクトル生成部
を具備することを特徴とする画像符号化装置。
【請求項９】
画像を分割したマクロブロック毎に符号化する画像符号化装置のコンピュータを、
符号化対象のマクロブロックに隣接する領域の動きベクトルと、符号化対象の画像と前記隣接する領域の参照画像との間の時間関係と、前記符号化対象のマクロブロックに対応するデプス値と、前記参照画像に対応するデプス値とに基づいて、前記符号化対象のマクロブロックの予測ベクトルを生成する予測ベクトル生成部
として動作させるためのプログラム。
【請求項１０】
画像を分割したマクロブロック毎に符号化された画像を復号する画像復号方法であって、
復号対象のマクロブロックに隣接する領域の動きベクトルと、復号対象の画像と前記隣接する領域の参照画像との間の時間関係と、前記復号対象のマクロブロックに対応するデプス値と、前記参照画像に対応するデプス値とに基づいて、前記復号対象のマクロブロックの予測ベクトルを生成する予測ベクトル生成ステップ
を有することを特徴とする画像復号方法。
【請求項１１】
画像を分割したマクロブロック毎に符号化された画像を復号する画像復号装置であって、
復号対象のマクロブロックに隣接する領域の動きベクトルと、復号対象の画像と前記隣接する領域の参照画像との間の時間関係と、前記復号対象のマクロブロックに対応するデプス値と、前記参照画像に対応するデプス値とに基づいて、前記復号対象のマクロブロックの予測ベクトルを生成する予測ベクトル生成部
を具備することを特徴とする画像復号装置。
【請求項１２】
画像を分割したマクロブロック毎に符号化された画像を復号する画像復号装置のコンピュータを、
復号対象のマクロブロックに隣接する領域の動きベクトルと、復号対象の画像と前記隣接する領域の参照画像との間の時間関係と、前記復号対象のマクロブロックに対応するデプス値と、前記参照画像に対応するデプス値とに基づいて、前記復号対象のマクロブロックの予測ベクトルを生成する予測ベクトル生成部
として動作させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化方法、画像復号方法、画像符号化装置、画像符号化プログラム、画像復号装置および画像復号プログラムに関する。
【背景技術】
【０００２】
動画像の符号化においては、フレーム内予測や動き補償フレーム間予測など様々な方式が提案され、国際標準化規格であるＭＰＥＧ（Moving Picture Experts Group）−２、ＭＰＥＧ−４、ＭＰＥＧ−４  ＡＶＣ（Advanced Video Coding）／Ｈ．２６４で採用されている。
非特許文献１に記載されたように、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４で採用された方式の一つに、スキップト・マクロブロックモード（skipped macroblock mode）がある。この方式は符号化対象のマクロブロックの情報をまったく符号化せず、復号する際には、符号化されたマクロブロックと隣接するマクロブロックの動きベクトルに基づき予測ベクトルを生成し、その予測ベクトルで動き補償を行うことで、符号化マクロブロックを復号するものである。
予測ベクトルは、図１１に示すように、符号化対象ブロックの左に隣接しているブロックと符号化対象ブロックに向かって上に隣接しているブロックと、符号化対象ブロックに向かって右上に隣接しているブロックの動きベクトル（ｍｖ＿ａ、ｍｖ＿ｂ、ｍｖ＿ｃ）の水平成分及び垂直成分それぞれの中央値を取ることで生成される。
スキップト・マクロブロックモード時の参照画像は、基本的には、隣接パーティションの参照画像の中から最も符号化対象画像と時間的に近い参照画像が選択される。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】ＩＴＵ−Ｔ  Ｒｅｃ．  Ｈ．２６４（０３／２００９）―  Ａｄｖａｎｃｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｆｏｒ  ｇｅｎｅｒｉｃ  ａｕｄｉｏｖｉｓｕａｌ  ｓｅｒｖｉｃｅｓ
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、非特許文献１に記載のスキップト・マクロブロックモードにおいては、例えば、符号化対象のブロックに対応する領域が、最も時間的に近い参照画像にないときなど、優れた符号化効率を得られないことがあるという問題がある。
【０００５】
本発明は、このような事情に鑑みてなされたもので、その目的は、画像の符号化において優れた符号化効率を得ることができる画像符号化方法、画像復号方法、画像符号化装置、画像符号化プログラム、画像復号装置および画像復号プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、画像を分割したマクロブロック毎に符号化する画像符号化方法であって、符号化対象のマクロブロックに隣接する領域の動きベクトルと、符号化対象の画像と前記隣接する領域の参照画像との間の時間関係と、前記符号化対象のマクロブロックに対応するデプス値と、前記参照画像に対応するデプス値とに基づいて、前記符号化対象のマクロブロックの予測ベクトルを生成する予測ベクトル生成ステップを有することを特徴とする。
【０００７】
（２）また、本発明の別の態様は、上述の画像符号化方法であって、前記予測ベクトル生成ステップにおいて、前記符号化対象のマクロブロックに対応するデプス値と、前記隣接する領域の参照画像に対応するデプス値とに基づいて、予測ベクトルを生成することを特徴とする。
【０００８】
（３）また、本発明の別の態様は、上述の画像符号化方法であって、前記予測ベクトル生成ステップにおいて、符号化対象のマクロブロックに隣接する領域の動きベクトルと、符号化対象の画像と前記隣接する領域の参照画像との間の時間関係とに基づき、前記隣接する領域の参照画像ごとに候補予測ベクトルを生成し、前記符号化対象のマクロブロックに対応するデプス値と、前記隣接する領域の参照画像に対応するデプス値とに基づいて、前記候補予測ベクトルの中から予測ベクトルを選択することを特徴とする。
【０００９】
（４）また、本発明の別の態様は、上述の画像符号化方法であって、前記予測ベクトル生成ステップは、前記時間関係に基づいて、前記隣接する領域の動きベクトルをスケーリングするステップを有することを特徴とする。
【００１０】
（５）また、本発明の別の態様は、上述の画像符号化方法であって、前記スケーリングするステップは、スケーリングする際の基準を、前記隣接する領域の参照画像ごとに切り替え、該参照画像ごとに前記隣接する領域の動きベクトルをスケーリングするステップを有することを特徴とする。
【００１１】
（６）また、本発明の別の態様は、上述の画像符号化方法であって、前記予測ベクトル生成ステップにおいて、前記スケーリングされた動きベクトルに基づいて、予測ベクトルを生成することを特徴とする。
【００１２】
（７）また、本発明の別の態様は、上述の画像符号化方法であって、前記予測ベクトル生成ステップにおいて、前記スケーリングされた前記動きベクトルに基づいて、前記隣接する領域の参照画像ごとに候補予測ベクトルを生成し、該候補予測ベクトルに基づき、予測ベクトルを生成することを特徴とする。
【００１３】
（８）また、本発明の別の態様は、画像を分割したマクロブロック毎に符号化する画像符号化装置であって、符号化対象のマクロブロックに隣接する領域の動きベクトルと、符号化対象の画像と前記隣接する領域の参照画像との間の時間関係と、前記符号化対象のマクロブロックに対応するデプス値と、前記参照画像に対応するデプス値とに基づいて、前記符号化対象のマクロブロックの予測ベクトルを生成する予測ベクトル生成部を具備することを特徴とする。
【００１４】
（９）また、本発明の別の態様は、画像を分割したマクロブロック毎に符号化する画像符号化装置のコンピュータを、符号化対象のマクロブロックに隣接する領域の動きベクトルと、符号化対象の画像と前記隣接する領域の参照画像との間の時間関係と、前記符号化対象のマクロブロックに対応するデプス値と、前記参照画像に対応するデプス値とに基づいて、前記符号化対象のマクロブロックの予測ベクトルを生成する予測ベクトル生成部として動作させるためのプログラムである。
【００１５】
（１０）また、本発明の別の態様は、画像を分割したマクロブロック毎に符号化された画像を復号する画像復号方法であって、復号対象のマクロブロックに隣接する領域の動きベクトルと、復号対象の画像と前記隣接する領域の参照画像との間の時間関係と、前記復号対象のマクロブロックに対応するデプス値と、前記参照画像に対応するデプス値とに基づいて、前記復号対象のマクロブロックの予測ベクトルを生成する予測ベクトル生成ステップを有することを特徴とする。
【００１６】
（１１）また、本発明の別の態様は、画像を分割したマクロブロック毎に符号化された画像を復号する画像復号装置であって、復号対象のマクロブロックに隣接する領域の動きベクトルと、復号対象の画像と前記隣接する領域の参照画像との間の時間関係と、前記復号対象のマクロブロックに対応するデプス値と、前記参照画像に対応するデプス値とに基づいて、前記復号対象のマクロブロックの予測ベクトルを生成する予測ベクトル生成部を具備することを特徴とする。
【００１７】
（１２）また、本発明の別の態様は、画像を分割したマクロブロック毎に符号化された画像を復号する画像復号装置のコンピュータを、復号対象のマクロブロックに隣接する領域の動きベクトルと、復号対象の画像と前記隣接する領域の参照画像との間の時間関係と、前記復号対象のマクロブロックに対応するデプス値と、前記参照画像に対応するデプス値とに基づいて、前記復号対象のマクロブロックの予測ベクトルを生成する予測ベクトル生成部として動作させるためのプログラムである。
【発明の効果】
【００１８】
この発明によれば、画像の符号化において優れた符号化効率を得ることができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施形態に係る画像符号化装置を備えた３次元画像撮影システムの一構成例を示す概略図である。
【図２】本実施形態における画像符号化装置の構成を示す概略ブロック図である。
【図３】本実施形態におけるスキップト・マクロブロック部の構成を示す概略ブロック図である。
【図４】本実施形態におけるスキップト・マクロブロック部の動作を説明する概念図である。
【図５】本実施形態におけるスキップト・マクロブロック部の動作を説明する別の概念図である。
【図６】本実施形態における画像符号化装置の処理を示したフローチャートである。
【図７】本実施形態におけるスキップト・マクロブロック部の処理を示したフローチャートである。
【図８】本実施形態における画像復号装置の構成を示す概略ブロック図である。
【図９】本実施形態における画像復号装置の処理を示したフローチャートである。
【図１０】本実施形態における符号化対象画像と参照画像とを示す図である。
【図１１】従来のスキップト・マクロブロックモードにおける予測ベクトルの生成方法を説明する図である。
【発明を実施するための形態】
【００２０】
＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態について説明する。本実施形態では、画素毎の輝度値からなる画像を構成する一部の領域であるマクロブロック毎に、スキップト・マクロブロックモードによって画像の符号化又は復号を行う。無論、以下の説明から明らかなように、全てのマクロブロックに対してスキップト・マクロブロックモードで符号化／復号を行うことに限定されるものではない。
【００２１】
図１は、本発明の第１の実施形態に係る画像符号化装置を備えた３次元画像撮影システムの一構成例を示す概略図である。図１で例示する３次元画像撮影システム１０は、撮影装置３ａ、撮影装置３ｂ、画像前置処理部２、及び画像符号化装置１を含んで構成される。撮影装置３ａ及び撮影装置３ｂは、互いに異なる位置（視点）に設置され、同一の視野（被写空間）に含まれる被写体の画像を、予め定めた時間間隔で（例えば１／３０秒毎に１回）撮影する。撮影装置３ａ及び撮影装置３ｂは、撮影した画像を示す画像信号をテクスチャ画像（ｔｅｘｔｕｒｅ  ｍａｐ；「二次元画像」ということがある。）と定め、それぞれのテクスチャ画像Ｔ１、Ｔ２を画像前置処理部２に出力する。
【００２２】
ここで、画像信号は、被写空間に含まれる被写体や背景の色彩や濃淡を表す信号値（画素値、輝度値）であって、二次元平面に配置された画素毎の信号値からなる画像信号である。この画像信号は、画素毎に色空間を表す信号値を有する画像信号、例えばＲＧＢ信号である。ＲＧＢ信号は、赤色成分の輝度値を表すＲ信号、緑色成分の輝度値を示すＧ信号、青色成分の輝度値を示すＢ信号を含む。
【００２３】
画像前置処理部２に入力される画像のうち、撮影装置３ａ及び撮影装置３ｂのいずれか一方、例えば撮影装置３ａから入力されたテクスチャ画像を基準画像と定め、他の撮影装置（この例では撮影装置３ｂ）から入力されたテクスチャ画像と区別して説明する。従って、基準画像も被写空間に含まれる被写体や背景の色彩や濃淡を表す信号値（輝度値）であって、二次元平面に配置された画素毎の信号値からなる一般的な二次元の画像信号である。
【００２４】
画像前置処理部２は、撮影装置３ａから入力されたテクスチャ画像を基準画像として、この基準画像と、他の撮影装置３ｂから入力されたテクスチャ画像との視差を画素毎に算出し、撮影装置３ａから入力されたテクスチャ画像に対応するデプスマップを生成する。デプスマップ（ｄｅｐｔｈ  ｍａｐ、「深度画像」、「距離画像」とも言う）とは、被写空間に含まれる被写体や背景の、視点（撮影装置等）からの距離に対応する信号値（「デプス値」、「深度値」、「デプス」等と呼ぶ）であって、二次元平面に配置された画素毎の信号値（画素値）からなる画像信号である。デプスマップを構成する画素は、基準画像を構成する画素と対応する。従って、デプスマップは、被写空間を二次元平面に射影した基準となる画像信号である基準画像を用いて、三次元の被写空間を表すための手がかりとなる。
【００２５】
次に、画像前置処理部２は、他の撮影装置３ｂから入力されたテクスチャ画像を基準画像として、撮影装置３ａから入力されたテクスチャ画像との視差から、撮影装置３ａのデプスマップの生成方法と同様にして、撮影装置３ｂのテクスチャ画像に対応するデプスマップを生成する。画像前置処理部２は、撮影装置３ａ及び撮影装置３ｂのテクスチャ画像Ｔ１、Ｔ２と、これらのテクスチャ画像に対応するデプスマップＤ１、Ｄ２をフレーム毎に交互に画像符号化装置１に出力する。
画像符号化装置１は、テクスチャ画像Ｔ１、Ｔ２を符号化して、符号化ストリームｅを生成する。また、画像符号化装置１は、デプスマップＤ１、Ｄ２を符号化して、デプスマップ符号Ｄｅを生成する。
【００２６】
なお、本実施形態では、３次元画像撮影システム１０が備える撮影装置の数を２台として説明しているが、これに限らず、３台以上であってもよい。また、画像符号化装置１に入力されるテクスチャ画像及びデプスマップは、撮影装置３ａ及び撮影装置３ｂが撮影した画像に基づくものでなくともよく、例えば、コンピュータグラフィックスなどの予め合成された画像であってもよい。
【００２７】
次に、本実施形態に係る画像符号化装置１の構成例とその機能について、図２を参照しながら説明する。図２は、本実施形態に係る画像符号化装置１の構成例を示す概略図である。画像符号化装置１は、テクスチャ画像入力部１０１、デプスマップ符号化部１０２、デプスマップメモリ１０３、参照画像メモリ１０４、イントラ予測部１０５、インター予測部１０６、スキップト・マクロブロック部１０７、符号化モード判定部１０８、動きベクトルメモリ１０９、予測ベクトル生成部１１０、減算部１１１、減算部１１２、ＤＣＴ変換・量子化部１１３、逆量子化・逆ＤＣＴ変換部１１４、加算部１１５及び情報源符号化部１１６を含んで構成される。
【００２８】
テクスチャ画像入力部１０１は、画像前置処理部２１からテクスチャ画像Ｔ１、Ｔ２をフレーム毎に入力され、入力されたテクスチャ画像Ｔ１、Ｔ２からマクロブロック（テクスチャ画像マクロブロック）を抽出する。
テクスチャ画像入力部１０１は、抽出したテクスチャ画像マクロブロックを符号化モード判定部１０８、インター予測部１０６及び減算部１１１に出力する。テクスチャ画像マクロブロックは、予め定めた数の画素例えば、水平方向１６画素×垂直方向１６画素からなる。
【００２９】
テクスチャ画像入力部１０１は、ラスタースキャンの順序で、テクスチャ画像マクロブロックを抽出するマクロブロックの位置を、各ブロックが重ならないようにシフトさせる。即ち、テクスチャ画像入力部１０１は、テクスチャ画像マクロブロックを抽出するブロックをフレームの左上端から順次ブロックの水平方向の画素数だけ右に移動させる。テクスチャ画像入力部１０１は、テクスチャ画像マクロブロックを抽出するマクロブロックの右端がフレームの右端に達した後、そのマクロブロックをマクロブロックの垂直方向の画素数だけ下で、かつフレームの左端に移動させる。テクスチャ画像入力部１０１は、このようにしてテクスチャ画像マクロブロックを抽出するマクロブロックがフレームの右下に達するまで移動させる。なお、以下では、抽出されたテクスチャ画像マクロブロックを符号化対象マクロブロック又は対象マクロブロックと呼ぶことがある。
【００３０】
デプスマップ符号化部１０２は、画像前置処理部２１からデプスマップＤ１、Ｄ２をフレーム毎に入力される。デプスマップ符号化部１０２は、デプスマップＤ１、Ｄ２の各フレームを構成するマクロブロック毎に、公知の画像符号化方法、例えばＩＴＵ−Ｔ  Ｈ．２６４規格書に記載されている復号方法に対応する符号化方法を用いて、デプスマップＤ１、Ｄ２を符号化する。デプスマップ符号化部１０２は、符号化して生成したデプスマップ符号Ｄｅを画像符号化装置１の外部に出力する。
【００３１】
デプスマップ符号化部１０２は、デプスマップ符号Ｄｅを復号し、復号されたデプスマップをデプスマップメモリ１０３に記憶する。
デプスマップメモリ１０３は、デプスマップ符号化部１０２から入力された復号されたデプスマップを、符号化された順に記憶する。
【００３２】
参照画像メモリ１０４は、加算部１１５から入力された参照画像マクロブロックを、対応するフレームにおける符号化対象マクロブロックの位置に配置して参照画像として記憶する。この参照画像マクロブロックは、過去に入力されたテクスチャ画像マクロブロックを符号化し、復号された画像マクロブロックである。このように参照画像マクロブロックを配置して構成したフレームの画像信号を参照画像と呼ぶ。参照画像メモリ１０４は、現在から予め設定されたフレーム数、例えば１５フレーム分の過去のフレームの参照画像を順次に記憶し、記憶されたフレーム数が予め設定されたフレーム数を超えたとき、例えば１６フレーム目の参照画像が入力された時、それ以前の過去のフレームの参照画像を全て削除する。
【００３３】
イントラ予測部１０５は、参照画像メモリ１０４から対象マクロブロックと同一フレーム内の対象マクロブロックの上と左に隣接する符号化に係る処理を行った参照画像ブロックを読みだす。参照画像ブロックのサイズは、例えば、水平方向１６画素×垂直方向１６画素、８画素×８画素、４画素×４画素であるが、本実施形態は、具体的な参照マクロブロックのサイズで限定されるものではない。イントラ予測部１０５は、読みだした参照マクロブロックに基づいてフレーム内予測を行い、イントラ予測画像マクロブロックを生成する。具体的なフレーム内予測の方法としては、例えばＩＴＵ−Ｔ  Ｈ．２６４規格書に記載されているフレーム内予測方法がある。イントラ予測部１０５は、生成したイントラ予測画像マクロブロックを符号化モード判定部１０８に出力する。
【００３４】
インター予測部１０６は、テクスチャ画像入力部１０１から対象マクロブロックを入力される。インター予測部１０６は、対象マクロブロックを１つ若しくは複数のパーティションに分割し、各々のパーティションに対して、順次、動きベクトルを検出する。
具体的には、まず、インター予測部１０６は、参照画像メモリ１０４から参照画像を構成する参照画像ブロックを読み出す。インター予測部１０６が読み出す参照画像ブロックの大きさ（画素数）は上記複数パーティションのうち、処理の対象となるパーティション（以下、対象パーティションと呼ぶ）の大きさと同一である。
【００３５】
ここで、インター予測部１０６は、テクスチャ画像入力部１０１から入力されたテクスチャ画像マクロブロック内の対象パーティションと参照画像ブロックとの間でブロックマッチングを行う。即ち、参照画像メモリ１０４に記憶されている過去の参照画像のフレームから参照画像ブロックを読み出す位置を、対象パーティションの位置から予め設定した範囲内において水平方向又は垂直方向に１画素ずつ移動させる。インター予測部１０６は、対象パーティションの座標と対象パーティションと最も類似する参照画像ブロックの座標との差分を、動きベクトルとして検出する。
【００３６】
なお、本実施形態では、対象マクロブロックが、テクスチャ画像Ｔ１から抽出したものであるときは、参照画像は、テクスチャ画像Ｔ１に掛かるもののみとする。また、本実施形態では、対象マクロブロックが、テクスチャ画像Ｔ２から抽出したものであるときは、参照画像は、テクスチャ画像Ｔ２に掛かるもののみとする。
【００３７】
ここで、インター予測部１０６は、対象パーティションに含まれる画素毎の信号値と参照画像ブロックに含まれる画素毎の信号値との類似性を示す指標値、例えば、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ、差分絶対値和）を算出する。インター予測部１０６は、指標値を最小とする参照画像ブロックを、対象パーティションと最も類似する参照画像ブロックと定める。インター予測部１０６は、対象パーティションの座標と定めた参照画像ブロックの座標に基づき動きベクトルを算出する。
【００３８】
また、インター予測部１０６は、対象マクロブロックを構成する上記パーティションのサイズのうち、符号化コストが最小となるパーティションのサイズを選択する。例えば、インター予測部１０６は、以下の処理を全てのパーティションのサイズに対して行う。まず、インター予測部１０６は、予測ベクトル生成部１１０から対象パーティションに対応する予測ベクトルを入力される。インター予測部１０６は、算出した動きベクトルと入力された予測ベクトルの差分ベクトルを算出し、算出した差分ベクトルの水平成分の絶対値、その垂直成分の絶対値及び対象パーティションと対象パーティションと最も類似する参照ブロックとの間の指標値の和をコスト値として算出する。以上の処理を、対象マクロブロックを構成する全てのパーティションに対して行うことでコスト値を算出し、そのコスト値の和をパーティションのサイズごとに求めていく。そして、パーティションのサイズのうちコスト値の和が最も小さくなったパーティションのサイズを選択する。
【００３９】
他のパーティションサイズの選択方法としては、例えば、ＲＤコストを用いるものもある。ＲＤコストとは、次式から符号化コストＪを算出する。
Ｊ  ＝  Ｄ＋λ×Ｒ
ここで、Ｄは対象マクロブロックと対象マクロブロックを符号化し復号した画像との差分であり、Ｒは予想される発生符号量である。また、係数λは、定数であってもよいし、量子化の粗さを制御する量子化パラメータの関数であってもよい。なお、本実施形態は、具体的な符号化コストの算出方法によって限定されるものではない。
【００４０】
次に、インター予測部１０６は、コスト値が最小となったパーティションのサイズと各パーティションの動きベクトルに基づいて動き補償を行い、予測画像マクロブロックを生成する。具体的には、まず、インター予測部１０６は、参照画像メモリ１０４からパーティションごとに、動きベクトルが差す座標の参照画像ブロックを読み取る。インター予測部１０６は、パーティションごとに、読みだした参照画像ブロックの座標をパーティションの座標に合わせる処理をすることによって予測画像マクロブロックを生成する。
【００４１】
なお、本実施形態において上記パーティションのサイズは、水平方向１６画素×垂直方向１６画素、１６画素×８画素、８画素×１６画素、８画素×８画素、８画素×４画素、４画素×８画素、または、４画素×４画素であるが、本実施形態は、具体的なパーティションのサイズで限定されるものではない。
インター予測部１０６は、算出した動きベクトルを動きベクトルメモリ１０９に記憶するとともに減算部１１２に出力し、生成した予測画像マクロブロックを符号化モード判定部１０８に出力する。
【００４２】
スキップト・マクロブロック部１０７（予測ベクトル生成部）は、デプスマップメモリ１０３から対象マクロブロック及び各隣接パーティションの参照画像に対応するデプスブロックｄを読出し、動きベクトルメモリ１０９から対象マクロブロックの左、上、右上に隣接するパーティションの動きベクトルｍを読み出し、参照画像メモリ１０４から参照画像ブロックｒを読みだす。ここで、デプスブロックとは、マクロブロックに対応するデプスマップ中の領域あるいは、パーティションに対応するデプスマップ中の領域を表す。なお、マクロブロックに対応するデプスマップ中の領域を、特にデプスマクロブロックともいう。
【００４３】
スキップト・マクロブロック部１０７は、読みこんだ動きベクトルｍとデプスブロックｄとに基づき予測ベクトルを算出する。そして、スキップト・マクロブロック部１０７は、算出した予測ベクトルと参照画像ブロックｒに基づき動き補償を行うことで、スキップト・マクロブロック予測画像マクロブロックを生成する。スキップト・マクロブロック部１０７は、スキップト・マクロブロック予測画像マクロブロックｐｓを符号化モード判定部１０８に出力する。スキップト・マクロブロック部１０７における処理の詳細については後述する。
【００４４】
符号化モード判定部１０８は、テクスチャ画像入力部１０１からの対象マクロブロックと、イントラ予測部１０５からのイントラ予測画像マクロブロックと、インター予測部１０６からの予測画像マクロブロックと、スキップト・マクロブロック部１０７からのスキップト・マクロブロック予測画像マクロブロックとを入力として受け取る。符号化モード判定部１０８は、入力された３つの予測画像マクロブロックに基づいて最も符号化効率の高い符号化モードを決定する。具体的には、例えば、符号化モード判定部１０８は、予測画像マクロブロックごとに対象マクロブロックとの画素毎に信号値の２乗誤差を算出し、予測画像マクロブロック内の２乗誤差の和を符号化コストとする。符号化モード判定部１０８は、全ての符号化モードに対して符号化コストを算出し、符号化コストが最も小さい予測画像マクロブロックに対応する符号化モードを最も符号化効率の高い符号化モードとする。他の決定方法としては、例えば、ＲＤコストを用いるものもある。なお、本実施形態は、具体的な符号化コストの算出方法によって限定されるものではない。
【００４５】
符号化モード判定部１０８は、最も符号化効率の高い符号化モードを示す符号化モード信号を情報源符号化部１１６に出力する。符号化モード判定部１０８は、最も符号化効率の高い符号化モードがスキップト・マクロブロックモードであった場合には、スキップト・マクロブロック予測画像マクロブロックを参照画像メモリ１０４に出力する。符号化モード判定部１０８は、最も符号化効率の高い符号化モードがイントラ予測もしくはインター予測であった場合には、イントラ予測画像マクロブロックかインター予測画像マクロブロックのうち、符号化効率の高い符号化モードに対応するものを減算部１１１と加算部１１５に出力する。
【００４６】
動きベクトルメモリ１０９は、インター予測部１０６から入力された動きベクトルを、フレーム、ブロックおよびパーティション毎に記憶する。動きベクトルメモリ１０９は、格納している動きベクトルを予測ベクトル生成部１１０とスキップト・マクロブロック部１０７に出力する。
【００４７】
予測ベクトル生成部１１０は、対象パーティションに隣接し、符号化に係る処理を行ったパーティション、例えば対象パーティションの左、上、及び右上に隣接するパーティションの動きベクトルを読み出す。予測ベクトル生成部１１０は、読み出した動きベクトルに基づき、例えば読み込んだ３つの動きベクトルの水平成分と垂直成分の中央値を取ることで予測ベクトルを算出する。なお、中央値以外にも平均値や最大値、最小値など任意の基準のものを用いても構わない。予測ベクトル生成部１１０は、算出した予測ベクトルをインター予測部１０６及び減算部１１２に出力する。
【００４８】
減算部１１１は、テクスチャ画像入力部１０１から入力されたテクスチャ画像マクロブロックに含まれる各画素の信号値から符号化モード判定部１０８から入力されたイントラ予測画像マクロブロック、インター予測画像マクロブロックまたはスキップト・マクロブロック予測画像マクロブロックに含まれる各画素の信号値を減算して、残差信号ブロックを算出する。減算部１１１は、算出した残差信号マクロブロックをＤＣＴ変換・量子化部１１３に出力する。
【００４９】
減算部１１２は、インター予測部１０６から入力された動きベクトルから、予測ベクトル生成部１１０から入力された予測ベクトルを減算して差分ベクトルを算出する。減算部１１２は、算出した差分ベクトルを情報源符号化部１１６に出力する。
【００５０】
ＤＣＴ変換・量子化部１１３は、減算部１１１から入力された残差信号マクロブロックに対して二次元ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ、離散コサイン変換）を行い周波数領域信号としてＤＣＴ係数を算出した後、ＤＣＴ係数の量子化（ｑｕａｎｔｉｚａｔｉｏｎ）を行い、量子化ＤＣＴ係数を生成する。ここで、量子化とは、入力されたＤＣＴ係数を離散的な代表値の１つに変換する処理である。ＤＣＴ変換・量子化部１１３は、生成した量子化ＤＣＴ係数を逆量子化・逆ＤＣＴ変換部１１４及び情報源符号化部１１６に出力する。
【００５１】
逆量子化・逆ＤＣＴ変換部１１４は、ＤＣＴ変換・量子化部１１３から入力された量子化ＤＣＴ係数に逆量子化（ｄｅ−ｑｕａｎｔｉｚａｔｉｏｎ）を行い、逆量子化ＤＣＴ係数を生成した後、逆量子化ＤＣＴ係数に対して２次元逆ＤＣＴ（ｉｎｖｅｒｓｅ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ、離散コサイン変換）を行い、空間領域信号として復号された残差信号マクロブロックを生成する。以下、この残差信号マクロブロックを、復号残差信号マクロブロックと呼ぶ。逆量子化・逆ＤＣＴ変換部１１４は、生成した復号残差信号マクロブロックを加算部１１５に出力する。
【００５２】
加算部１１５は、符号化モード判定部１０８から入力されたイントラ予測画像マクロブロックもしくはインター予測画像マクロブロックに含まれる各画素の信号値と、逆量子化・逆ＤＣＴ部から入力された復号残差信号マクロブロックに含まれる各画素の信号値を加算して参照画像マクロブロックを生成する。加算部１１５は、生成した参照画像マクロブロックを参照画像メモリ１０４に記憶する。
【００５３】
情報源符号化部１１６は、ＤＣＴ変換・量子化部１１３から入力された量子化ＤＣＴ係数と、減算部１１２から入力された差分ベクトルとに対して符号化し、符号化ストリームｅを生成する。情報源符号化部１１６は、入力された情報よりも情報量が少ない符号化ストリームｅを生成する符号化として、例えば可変長符号化を行う。可変長符号化とは、入力された情報において出現頻度がより高い情報ほどより短い符号を、出現頻度が低い情報ほどより長い符号に変換することによって、情報量を圧縮する符号化方式である。
【００５４】
但し、情報源符号化部１１６は、符号化モード判定部１０８からスキップト・マクロブロックモードであることを示す符号化モード信号を入力された場合には、該当するマクロブロックについては量子化ＤＣＴ係数と差分ベクトルとは符号化せずに、入力された符号化モード信号を符号化して符号化ストリームｅとして生成する。情報源符号化部１１６は、生成した符号化ストリームｅを画像符号化装置１の外部へ出力する。
【００５５】
図３は、本実施形態に係るスキップト・マクロブロック部１０７の構成を示す概略図である。スキップト・マクロブロック部１０７は、動きベクトルスケーリング部１０７１、候補予測ベクトル生成部１０７２、予測ベクトル選択部１０７３及び予測画像マクロブロック生成部１０７４を含んで構成される。
【００５６】
ここで、本実施形態に係るスキップト・マクロブロックモードによる符号化の一例について説明する。図４及び図５は、本実施形態に係るスキップト・マクロブロックモードによる動きベクトルのスケーリングの一例を示す概念図である。
図４において、画像６０１は符号化対象の画像である。画像６０１中のマクロブロック６０３は、対象マクロブロックである。また、パーティションＡ、Ｂ、Ｃは、対象マクロブロック６０３の隣接パーティションである。なお、隣接パーティションＡ、Ｂ、Ｃは、それぞれ順に、対象マクロブロック６０３の左、上、右上に位置する隣接パーティションである。画像６０２ａ、６０２ｂ、６０２ｃはそれぞれ隣接パーティションＡ、隣接パーティションＢ、隣接パーティションＣの参照画像である。また、（ＭＶａＸ、ＭＶａＹ）、（ＭＶｂＸ、ＭＶｂＹ）、（ＭＶｃＸ、ＭＶｃＹ）はそれぞれ隣接パーティションＡ、隣接パーティションＢ、隣接パーティションＣの動きベクトルを表している。
【００５７】
また、時刻Ｔ０、Ｔａ、Ｔｂ、Ｔｃはそれぞれ符号化対象画像６０１と、隣接パーティションＡの参照画像６０２ａと、隣接パーティションＢの参照画像６０２ｂと、隣接パーティションＣの参照画像６０２ｃとが撮影された時刻を示す。
また、図４の（ＭＶｂＸ’、ＭＶｂＹ’）、（ＭＶｃＸ’、ＭＶｃＹ’）は隣接パーティションＢの動きベクトルと隣接パーティションＣの動きベクトルを動きベクトルスケーリング部１０７１において隣接パーティションＡの参照画像６０２ａを指すようにスケーリングした後の動きベクトルを表している。
【００５８】
また、図５の（ＭＶａＸ’、ＭＶａＹ’）、（ＭＶｃＸ’’、ＭＶｃＹ’’）は隣接パーティションＡの動きベクトルと隣接パーティションＣの動きベクトルを動きベクトルスケーリング部１０７１において隣接パーティションＢの参照画像６０２ｂを指すようにスケーリングした後の動きベクトルを表している。
【００５９】
動きベクトルスケーリング部１０７１は、動きベクトルメモリ１０９から対象マクロブロックの隣接パーティションの動きベクトルｍを受け取る。動きベクトルスケーリング部１０７１は、３つの隣接パーティションの参照画像の時間的な位置関係に基づいて、各動きベクトルをスケーリングする。ここで、時間的な位置関係とは、符号化対象画像の撮影時刻と、それぞれの参照画像の撮影時刻との差の比である。このスケーリング処理は各隣接パーティションの参照画像をそれぞれ基準にして行われるため、３回処理が実施される。図４は、それらのうちの隣接パーティションＡの参照画像６０２ａを基準にして行った場合の例であり、図５は、それらのうちの隣接パーティションＢの参照画像６０２ｂを基準にして行った場合の例である。なお、隣接パーティションＣの参照画像６０２ｃを基準にして行う場合については、図示しないが、同様である。
【００６０】
図４の場合、隣接パーティションＡの参照画像６０２ａを基準にスケーリングが行われるため、隣接パーティションＢの動きベクトルのスケーリングは以下の式（１）、式（２）によって行われる。
ＤＶｂＸ’  ＝  ＤＶｂＸ×（Ｔ０−Ｔａ）／（Ｔ０−Ｔｃ）    ・・・・（１）
ＤＶｂＹ’  ＝  ＤＶｂＹ×（Ｔ０−Ｔａ）／（Ｔ０−Ｔｃ）    ・・・・（２）
【００６１】
また、図５の場合には、隣接パーティションＢの参照画像を基準にスケーリングが行われるため、隣接パーティションＡの動きベクトルのスケーリングは以下の式（３）、式（４）によって行われる。
ＤＶａＸ’  ＝  ＤＶａＸ×（Ｔ０−Ｔｂ）／（Ｔ０−Ｔａ）    ・・・・（３）
ＤＶａＹ’  ＝  ＤＶａＹ×（Ｔ０−Ｔｂ）／（Ｔ０−Ｔａ）    ・・・・（４）
【００６２】
動きベクトルスケーリング部１０７１は、スケーリングした動きベクトルを候補予測ベクトル生成部１０７２に出力する。なお、ここでは、時間的な位置関係としてＴ０−Ｔａのような撮影時刻の差を用いているが、表示時刻の差や、符号化対象画像と、参照画像との間のフレーム数を用いてもよい。例えば、参照画像６０２ａ、６０２ｂ、６０３ｃが、それぞれ、符号化対象画像６０１の１フレーム前、２フレーム前、３フレーム前であれば、Ｔ０−Ｔａに代えて「１」を用い、Ｔ０−Ｔｂに代えて「２」を用い、Ｔ０−Ｔｃに代えて「３」を用いる。また、ここでは、対象マクロブロックの隣接パーティションが３つであり、隣接パーティションの動きベクトルは３つあるとして説明したが、それ以外の数であってもよい。例えば、イントラ予測を用いているなど、隣接パーティションによっては動きベクトルを有していないこともあるため、動きベクトルの数は３つよりも少なくなることもあり得る。また、マクロブロックが１６×１６画素であり、対象マクロブロックの隣接パーティションが全て８×８画素であれば、隣接パーティションは、左に２つ、上に２つ、右上に１つの計５つとなり、動きベクトルは最大で５つとなる。いずれの場合でも、スケーリング処理は、隣接パーティションの参照画像各々について行われる。また、ここで、動きベクトルと記載したが、隣接マクロブロックがスキップト・マクロブロックモードであれば、予測ベクトルを用いるようにしてもよい。
【００６３】
候補予測ベクトル生成部１０７２は、動きベクトルスケーリング部１０７１からスケーリングされた各隣接パーティションの動きベクトルを入力として受け取る。候補予測ベクトル生成部１０７２は、スケーリングされた各隣接パーティションの動きベクトルの水平成分、垂直成分の中央値を取ることで候補予測ベクトルを生成する。動きベクトルのスケーリングは３回実施されるため、上記の候補予測ベクトル生成処理も３回実施される。候補予測ベクトル生成部１０７２は、生成した３個の候補予測ベクトルを予測ベクトル選択部１０７３に出力する。なお、候補予測ベクトルを生成する際に、中央値ではなく、平均値や最大値、最小値などその他の基準のものを用いるようにしてもよい。また、上述の図４、図５では、符号化対象画像よりも撮影時刻が前の画像を参照画像とする例を示したが、参照画像の一部と、撮影時刻が後の画像としてもよいし、全ての参照画像を撮影時刻が後の画像としてもよい。
【００６４】
予測ベクトル選択部１０７３は、候補予測ベクトル生成部１０７２から３個の候補予測ベクトルを入力として受け取る。予測ベクトル選択部１０７３は、対象ブロックに対応するデプスブロックと、候補予測ベクトルが示す領域に対応するデプスブロックと（これらを纏めてデプスブロックｄという）をデプスマップメモリ１０３から読みだす。ここで、候補予測ベクトルが示す領域に対応するデプスブロックとは、該候補予測ベクトルを生成する際に基準とした参照画像に対応するデプスマップ中の候補予測ベクトルが示す領域である。予測ベクトル選択部１０７３は、対象ブロックに対応するデプスブロックと、候補予測ベクトルが示す領域に対応するデプスブロックのＳＡＤを、候補予測ベクトル各々について算出する。予測ベクトル選択部１０７３は、ＳＡＤが最小となった候補予測ベクトルを予測ベクトルとし、該予測ベクトルと、該予測ベクトルに対応する参照画像を示す情報とを予測画像マクロブロック生成部１０７４に出力する。ここで、予測ベクトルに対応する参照画像とは、該予測ベクトル（候補予測ベクトル）を生成する際に基準とした参照画像のことである。
【００６５】
予測画像マクロブロック生成部１０７４は、予測ベクトル選択部１０７３から予測ベクトルと、該予測ベクトルに対応する参照画像を示す情報とを入力として受け取る。予測画像マクロブロック生成部１０７４は、受け取った予測ベクトルに基づいて動き補償を行い、スキップト・マクロブロック予測画像マクロブロックを生成する。具体的には、まず、予測マクロブロック生成部１０７４は、参照画像メモリ１０４が記憶している参照画像のうち、予測ベクトル選択部１０７３から入力された情報が示す参照画像から、予測ベクトルが差す座標の参照画像ブロックｒを読み取る。予測マクロブロック生成部１０７２は、読みだした参照画像ブロックの座標を対象ブロックの座標に合わせる処理をすることによってスキップト・マクロブロック予測画像マクロブロックを生成する。予測マクロブロック生成部１０７４は、生成したスキップト・マクロブロック予測画像マクロブロックを符号化モード判定部１０８に出力する。
【００６６】
次に、本実施形態に係る画像符号化装置１が行う画像符号化処理について説明する。
図６は、本実施形態に係る画像符号化装置１が行う画像符号化処理（１フレーム分）を示すフローチャートである。（ステップＳ１０１）テクスチャ画像入力部１０１は、画像前置処理部２１からテクスチャ画像Ｔ１、Ｔ２をフレーム毎に入力される。その後、ステップＳ１０２へ進む。（ステップＳ１０２）デプスマップ符号化部１０２は、画像前置処理部２１からデプスマップＤ１、Ｄ２をフレーム毎に入力し、各フレームを構成するマクロブロック毎に符号化する。デプスマップ符号化部１０２は、符号化して生成したデプスマップ符号Ｄｅを画像符号化装置１の外部に出力する。その後、ステップＳ１０３へ進む。
【００６７】
（ステップＳ１０３）デプスマップ符号化部１０２は、デプスマップ符号Ｄｅを復号し、復号したデプスマップをデプスマップメモリ１０３に記憶する。その後、ステップＳ１０４へ進む。（ステップＳ１０４）画像符号化装置１は、ステップＳ１０５−Ｓ１２２の処理を、ステップＳ１０１にて入力されたフレームに含まれるマクロブロック毎に行う。
【００６８】
（ステップＳ１０５）イントラ予測部１０５は、参照画像メモリ１０４から対象マクロブロックと同一フレーム内の対象マクロブロックの上と左に隣接する符号化に係る処理を行った参照画像ブロックを読みだす。イントラ予測部１０５は、読みだした参照マクロブロックに基づいてフレーム内予測を行い、イントラ予測画像マクロブロックを生成する。イントラ予測部１０５は、生成したイントラ予測画像マクロブロックを符号化モード判定部１０８に出力する。その後、ステップＳ１０６へ進む。
【００６９】
（ステップＳ１０６）予測ベクトル生成部１１０は、動きベクトルメモリ１０９から対象パーティションに隣接する参照画像ブロックの動きベクトルを読み出す。予測ベクトル生成部１１０は、読み出した隣接する参照画像ブロックのベクトルから水平成分の中央値及び垂直成分の中央値を抽出し、抽出結果から予測ベクトルを算出する。予測ベクトル生成部１１０は、上記算出方法を用いて、対象マクロブロック内の全てのパーティションの予測ベクトルを算出する。予測ベクトル生成部１１０は、算出した予測ベクトルをインター予測部１０６及び減算部１１２に出力する。その後、ステップＳ１０７へ進む。
【００７０】
（ステップＳ１０７）インター予測部１０６は、テクスチャ画像入力部１０１から対象マクロブロックを入力され、予測ベクトル生成部１１０から予測ベクトルを入力され、参照画像メモリ１０４から参照画像を構成する参照画像ブロックを読み出す。インター予測部１０６は、対象マクロブロックを１つ若しくは複数のパーティションに分割し、各々のパーティションに対して、順次、動きベクトルを検出する。インター予測部１０６は、対象マクロブロックを構成する上記パーティションのサイズのうち、符号化コストが最小となるパーティションのサイズを選択する。インター予測部１０６は、符号化コストが最小となったパーティションのサイズと各パーティションの動きベクトルに基づいて動き補償を行い、インター予測画像マクロブロックを生成する。インター予測部１０６は、算出した動きベクトルを動きベクトルメモリ１０９及び減算部１１２に出力する。インター予測部１０６は、生成したインター予測画像マクロブロックを符号化モード判定部１０８に出力する。その後、ステップＳ１０８に進む。
【００７１】
（ステップＳ１０８）スッキプト・マクロブロック部１０７は、動きベクトルメモリ１０９から動きベクトルを読みだし、デプスマップメモリ１０３から対象マクロブロック及び隣接パーティションの参照画像と同一表示時刻、同一座標のデプスブロックを読みだし、参照画像メモリ１０４から参照画像ブロックを読みだす。スッキプト・マクロブロック部１０７は、読出したデプスブロック及び動きベクトルに基づいて予測ベクトルを算出する。スッキプト・マクロブロック部１０７は、算出した予測ベクトルに基づいて動き補償を行い、スキップト・マクロブロック予測画像マクロブロックを生成する。スキップト・マクロブロック部１０７は、スキップト・マクロブロック予測画像マクロブロックを符号化モード判定部１０８に出力する。その後、ステップＳ１０９に進む。
【００７２】
（ステップＳ１０９）符号化モード判定部１０８は、テクスチャ画像入力部１０１から対象マクロブロックと、イントラ予測部１０５からイントラ予測画像マクロブロックと、インター予測部１０６からインター予測画像マクロブロックと、スキップト・マクロブロック部１０７からスキップト・マクロブロック予測画像マクロブロックを入力として受け取る。符号化モード判定部１０８は、入力された３つの予測画像マクロブロックに基づいて最も符号化効率の高い符号化モードを決定する。その後、ステップＳ１１０に進む。
【００７３】
（ステップＳ１１０）符号化モード判定部１０８は、選択された符号化モードに対応する符号化モード信号を生成し情報源符号化部に出力する。その後、選択された符号化モードがスキップト・マクロブロックモードの場合には（ステップＳ１１１、ＹＥＳ）、ステップＳ１１２に進み、イントラ予測モードもしくはインター予測モードの場合には（ステップＳ１１１、ＮＯ）、ステップＳ１１４に進む。
【００７４】
（ステップＳ１１２）符号化モード判定部１０８は、スキップト・マクロブロック予測画像マクロブロックを参照画像ブロックとして参照画像メモリ１０４に記憶する。その後、ステップＳ１１３に進む。（ステップ１１３）情報源符号化部１１６は、符号化モードがスキップト・マクロブロックモードである事を示す符号化モード信号を入力として受け取り、可変長符号化を用いて符号化する。その後、ステップＳ１２４に進む。
【００７５】
（ステップ１１４）減算部１１１は、テクスチャ画像入力部１０１から入力された対象マクロブロックに含まれる各画素の信号値から符号化モード判定部１０８から入力されたインター予測画像マクロブロックもしくはイントラ予測画像マクロブロックに含まれる各画素の信号値を減算して、残差信号マクロブロックを算出する。減算部１１１は、算出した残差信号マクロブロックをＤＣＴ・量子化部１１３に出力する。その後、ステップＳ１１５に進む。
【００７６】
（ステップＳ１１５）ＤＣＴ変換・量子化部１１３は、減算部１１１から入力された残差信号マクロブロックに対して二次元ＤＣＴを行い、ＤＣＴ係数を算出した後、ＤＣＴ係数の量子化を行い、量子化ＤＣＴ係数を生成する。ＤＣＴ変換・量子化部１１３は、生成した量子化ＤＣＴ係数を逆量子化・逆ＤＣＴ変換部１１４及び情報源符号化部１１６に出力する。その後、ステップＳ１１６に進む。
【００７７】
（ステップＳ１１６）逆量子化・逆ＤＣＴ変換部１１４は、ＤＣＴ変換・量子化部１１３から入力された量子化ＤＣＴ係数に逆量子化を行い、逆量子化ＤＣＴ係数を生成した後、逆量子化ＤＣＴ係数に対して２次元逆ＤＣＴを行い、復号残差信号マクロブロックを生成する。逆量子化・逆ＤＣＴ変換部１１４は、生成した復号残差信号マクロブロックを加算部１１５に出力する。その後、ステップＳ１１７に進む。
【００７８】
（ステップＳ１１７）加算部１１５は、インター予測部１０６から入力されたインター予測画像マクロブロックもしくはイントラ予測画像マクロブロックに含まれる各画素の信号値と、逆量子化・逆ＤＣＴ部１１４から入力された復号残差信号マクロブロックに含まれる各画素の信号値を加算して参照画像マクロブロックを生成する。その後、ステップＳ１１８に進む。（ステップＳ１１８）加算部１１５は、生成した参照画像マクロブロックを参照画像メモリ１０４に記憶する。その後、（ステップＳ１１９）符号化モードがインター予測の場合には（ステップＳ１１９，ＹＥＳ），ステップＳ１２０に進み、符号化モードがイトラ予測の場合には（ステップＳ１１９，ＮＯ），ステップＳ１２３に進む。
【００７９】
（ステップＳ１２０）動きベクトルメモリ１０９は、インター予測部１０６から入力された対象マクロブロックの各パーティションの動きベクトルをフレーム、ブロックおよびパーティションごとに記憶する。その後、ステップＳ１２１に進む。（ステップＳ１２１）減算部１１２は、インター予測部１０６から入力された動きベクトルから予測ベクトル生成部１１０から入力された予測ベクトルを減算して差分ベクトルを算出する。減算部１１２は、算出した差分ベクトルを情報源符号化部１１６に出力する。その後、ステップＳ１２２に進む。
【００８０】
（ステップＳ１２２）情報源符号化部１１６は、符号化モード判定部１０８から入力されたインター予測符号化モードである事を示す符号化モード信号とＤＣＴ変換・量子化部１１３から入力された量子化ＤＣＴ係数と減算部１１２から入力された差分ベクトルを符号化し、符号化ストリームを生成する。その後、ステップＳ１２４に進む。
【００８１】
（ステップＳ１２３）情報源符号化部１１６は、符号化モード判定部１０８から入力されたイントラ予測符号化モードである事を示す符号化モード信号とＤＣＴ変換・量子化部１１３から入力された量子化ＤＣＴ係数を符号化し、符号化ストリームを生成する。その後、ステップＳ１２４に進む。
【００８２】
（ステップＳ１２４）情報源符号化部１１６は、生成した符号化ストリームを画像符号化装置１の外部へ出力する。その後、ステップＳ１２５に進む。（ステップＳ１２５）画像符号化装置１は、符号化対象のマクロブロックをラスタースキャンの順序で順次に変更し、ステップＳ１０５に戻る。但し、画像符号化装置１は、入力されたテクスチャ画像のフレームに符号化に係る処理がまだ行われていないブロックがないと判断した場合には、そのフレームに対する処理を終了する。
【００８３】
次に、本実施形態に係るスキップト・マクロブロック部１０７におけるスキップト・マクロブロック予測画像マクロブロック生成処理について説明する。この処理は、上述のステップＳ１０８に相当する処理である。
図７は、本実施形態に係るスキップト・マクロブロック部１０７におけるスキップト・マクロブロック予測画像マクロブロック生成処理（１マクロブロック分）を示すフローチャートである。
【００８４】
（ステップＳ２０１）動きベクトルスケーリング部１０７１は、動きベクトルメモリから隣接パーティションの動きベクトルを受け取る。その後、ステップＳ２０２に進む。（ステップＳ２０２）スキップト・マクロブロック部１０７は、ステップＳ２０３−Ｓ２０４の処理を隣接パーティションの参照画像毎に行う。（ステップＳ２０３）動きベクトルスケーリング部１０７１は、３つの隣接パーティションの参照画像の時間的な位置関係に基づいて動きベクトルをスケーリングする。動きベクトルスケーリング部１０７１は、スケーリングした動きベクトルを候補予測ベクトル生成部１０７２に出力する。その後、ステップＳ２０４に進む。
【００８５】
（ステップＳ２０４）候補予測ベクトル生成部１０７２は、動きベクトルスケーリング部１０７１からスケーリングされた各隣接パーティションの動きベクトルを入力として受け取る。候補予測ベクトル生成部１０７２は、スケーリングされた各隣接パーティションの動きベクトルの水平成分、垂直成分の中央値を取ることで候補予測ベクトルを生成する。候補予測ベクトル生成部１０７２は、生成した候補予測ベクトルを予測ベクトル選択部１０７３に出力する。
【００８６】
（ステップＳ２０５）スキップト・マクロブロック部１０７は、隣接パーティションの参照画像を切り替えて、ステップＳ２０３に戻る。但し、スキップト・マクロブロック部１０７は、３つの隣接パーティションの参照画像全てに対して処理が終了した場合には、ステップＳ２０６に進む。（ステップＳ２０６）予測ベクトル選択部１０７３は、候補予測ベクトル生成部１０７２から３個の候補予測ベクトルを入力として受け取る。予測ベクトル選択部１０７３は、対象ブロックに対応するデプスブロックと、候補予測ベクトルが示す領域に対応するデプスブロックをデプスマップメモリから読みだす。その後、ステップＳ２０７に進む。
【００８７】
（ステップＳ２０７）予測ベクトル選択部１０７３は、対象ブロックに対応するデプスブロックと、候補予測ベクトルが示す領域に対応するデプスブロックのＳＡＤを、候補予測ベクトル各々について算出する。予測ベクトル選択部１０７３は、ＳＡＤが最少となった候補予測ベクトルを予測ベクトルとし、予測画像マクロブロック生成部１０７４に出力する。その後、ステップＳ２０８に進む。
【００８８】
（ステップＳ２０８）予測画像マクロブロック生成部１０７４は、予測ベクトル選択部１０７３から予測ベクトルを入力として受け取る。予測画像マクロブロック生成部１０７４は、受け取った予測ベクトルに基づいて動き補償を行い、スキップト・マクロブロック予測画像マクロブロックを生成する。予測マクロブロック生成部１０７４は、生成したスキップト・マクロブロック予測画像マクロブロックを符号化モード判定部１０８に出力する。
【００８９】
次に、前述の画像符号化装置１により符号化された符号化ストリームｅおよびデプスマップ符号Ｄｅを復号する画像復号装置４について説明する。
図８は、本実施形態に係る画像復号装置４の構成を示す概略図である。画像復号装置４は、情報源復号部４０１、デプスマップ復号部４０２、デプスマップメモリ４０３、加算部４０４、動きベクトルメモリ４０５、予測ベクトル生成部４０６、逆量子化・逆ＤＣＴ変換部４０７、加算部４０８、参照画像メモリ４０９、イントラ予測画像生成部４１０、インター予測画像生成部４１１、スキップト・マクロブロック部４１２、符号化モード決定部４１３及び画像出力部４１４を含んで構成される。
【００９０】
情報源復号部４０１は、画像復号装置４の外部から入力されたブロック毎の符号化ストリームｅを復号し、量子化ＤＣＴ係数と差分ベクトルを生成、又は符号化モードがイントラ予測かインター予測かスキップト・マクロブロックモードのいずれかであることを示す符号化モード信号を生成する。情報源復号部４０１が行う復号方法は、情報源符号化部１１６が行った符号化方法とは逆の処理である。即ち、情報源符号化部１１６が可変長符号化を行った場合は、情報源復号部４０１は可変長復号を行う。情報源復号部４０１は、生成した差分ベクトルを加算部に出力する。情報源復号部４０１は、量子化ＤＣＴ係数を生成した場合、生成した量子化ＤＣＴ係数を逆量子化・逆ＤＣＴ変換部４０７に出力する。情報源復号部４０１は、生成した符号化モード信号を符号化モード決定部４１３に出力する。
【００９１】
情報源復号部４０１は、スキップト・マクロブロックモードであることを示す符号化モード信号を生成した場合、値がゼロであることを示す量子化ＤＣＴ係数を逆量子化・逆ＤＣＴ変換部４０７に出力するとともに、値がゼロであることを示す差分ベクトルを加算部４０４に出力する。この場合、後述する残差信号もゼロとなり、画像復号装置４は残差信号を用いずに復号画像を生成する。従って、この場合には、逆量子化・逆ＤＣＴ部４０７が各画素の信号値がゼロとなる残差信号を生成し、生成した残差信号を加算部４０８に出力してもよい。
【００９２】
デプスマップ復号部４０２は、画像復号装置４の外部からデプスマップ符号をマクロブロック毎に入力され、公知の画像復号方法、例えばＩＴＵ−Ｔ  Ｈ．２６４規格書に記載された復号方法を用いて復号する。デプスマップ復号部４０２は、復号して生成したデプスマップＤ１’、Ｄ２’のマクロブロックを画像復号装置４の外部に出力すると共に、デプスマップメモリ４０３に記憶する。ここで、デプスマップＤ１’は、図１、図２におけるデプスマップＤ１が符号化された後に復号されたデプスマップである。同様に、デプスマップＤ２’は、図１、図２におけるデプスマップＤ２が符号化された後に復号されたデプスマップである。
【００９３】
デプスマップメモリ４０３は、デプスマップ復号部４０２から入力されたデプスマップを記憶する。
加算部４０４は、情報源復号部４０１から入力された差分ベクトルと予測ベクトル生成部４０６から入力された予測ベクトルを加算して動きベクトルを生成する。加算部４０４は、生成した動きベクトルを動きベクトルメモリ４０５に記憶する。
【００９４】
動きベクトルメモリ４０５は、加算部４０４から入力された動きベクトルを、フレーム及びブロック毎に記憶する。動きベクトルメモリ４０５は、記憶した動きベクトルをインター予測画像生成部４１１及びスキップト・マクロブロック部４１２に出力する。
予測ベクトル生成部４０６は、動きベクトルメモリ４０５から復号対象ブロックに隣接し、復号に係る処理を行ったブロックの動きベクトルを読み出す。予測ベクトル生成部４０６は、読み出した動きベクトルに基づいて予測ベクトルを算出する。予測ベクトル生成部４０６が予測ベクトルを算出するための処理は予測ベクトル生成部１１０と同様である予測ベクトル生成部２０６は、算出した予測ベクトルを加算部４０４に出力する。
【００９５】
逆量子化・逆ＤＣＴ変換部４０７は、情報源復号部４０１から入力された量子化ＤＣＴ係数に逆量子化を行い、逆量子化ＤＣＴ係数を生成した後、逆量子化ＤＣＴ係数に対して２次元逆ＤＣＴを行い、空間領域信号として復号残差信号ブロックを生成する。逆量子化・逆ＤＣＴ変換部４０７は、復号残差信号ブロックを加算部４０８に出力する。
【００９６】
加算部４０８は、符号化モード決定部から入力されたイントラ予測画像マクロブロック、インター予測画像マクロブロックもしくはスキップト・マクロブロック予測画像マクロブロックのいずれかに含まれる各画素の信号値と、逆量子化・逆ＤＣＴ変換部４０７から入力された復号残差信号ブロックに含まれる各画素の信号値を加算して参照画像マクロブロックを生成する。加算部４０８は、生成した参照画像マクロブロックを参照画像メモリ４０９に記憶し、画像出力部４１４に出力する。
【００９７】
参照画像メモリ４０９は、加算部４０８から入力された参照画像マクロブロックを、対応するフレームにおける復号対象マクロブロックの位置に配置して参照画像として記憶する。参照画像メモリ４０９は、現在から予め設定されたフレーム数（例えば１５フレーム）過去のフレームの参照画像を記憶し、記憶されたフレーム数が予め設定されたフレーム数を超えたとき、例えば１６フレーム目の参照画像が入力された時、それ以前の過去のフレームの参照画像を全て削除する。
【００９８】
イントラ予測画像生成部４１０は、参照画像メモリ４０９から対象マクロブロックと同一フレーム内の対象マクロブロックの左と上に隣接する符号化に係る処理を行った参照画像マクロブロックを読みだし、読みだした参照画像マクロブロックに基づいてフレーム内予測を行い、イントラ予測画像マクロブロックを生成する。イントラ予測画像生成部４１０は、生成したイントラ予測画像マクロブロックを符号化モード決定部４１３に出力する。
【００９９】
インター予測画像生成部４１１は、動きベクトルメモリ４０５から動きベクトルを読みだす。インター予測画像生成部４１１は、対象マクロブロックを構成するパーティションごとに参照画像メモリ４０９から参照画像を構成する参照画像ブロックを読み出す。インター予測画像生成部４１１が参照画像ブロックを読み出す座標は、復号対象パーティションの座標に動きベクトルメモリ４０５から入力された動きベクトルを加算することによって補償した座標であり、また、参照画像ブロックの大きさは対応するパーティションの大きさと同一である。インター予測画像生成部４１１は、読みだした参照画像ブロックの座標をパーティションの座標に合わせる処理をすることによってインター予測画像マクロブロックを生成する。インター予測画像生成部は、生成したインター予測画像マクロブロックを符号化モード決定部４１３に出力する。
【０１００】
スキップト・マクロブロック部４１２は、デプスマップメモリ４０３から対象マクロブロック及び隣接パーティションの参照画像に対応するデプスブロックｄを読みだし、動きベクトルメモリ４０５から対象マクロブロックの左、上、右上に隣接するパーティションの動きベクトルｍを読みだし、参照画像メモリ４０９から参照画像ブロックｒを読みだす。スキップト・マクロブロック部４１２は、読みこんだ動きベクトルとデプスマップに基づいて予測ベクトルを算出し、算出した予測ベクトルに基づき動き補償を行うことで、スキップト・マクロブロック予測画像マクロブロックを生成する。スキップト・マクロブロック部４１２がスキップト・マクロブロック予測画像マクロブロックを生成するための処理は図２のスキップト・マクロブロック部１０７と同様である。スキップト・マクロブロック部４１２は、スキップト・マクロブロック予測画像マクロブロックｐｓを符号化モード決定部４１３に出力する。
【０１０１】
符号化モード決定部４１３は、情報源復号部４０１から符号化モード信号と、イントラ予測画像生成部４１０からイントラ予測画像マクロブロックと、インター予測画像生成部４１１からインター予測画像マクロブロックと、スキップト・マクロブロック部４１２からスキップト・マクロブロック予測画像マクロブロックとを入力する。符号化モード決定部４１３は、符号化モード信号が示す符号化モードに基づいて、イントラ予測画像マクロブロック、インター予測画像マクロブロックもしくはスキップト・マクロブロック予測画像マクロブロックのいずれかを加算部４０８に出力する。
【０１０２】
画像出力部４１４は、加算部４０８から入力された参照画像マクロブロックを、対応するフレームにおける復号対象マクロブロックの位置に配置して参照画像をフレーム毎に生成する。画像出力部４１４は、生成した参照画像を復号テクスチャ画像Ｔ１’、Ｔ２’としてフレーム毎に画像復号装置４の外部に出力する。ここで、復号テクスチャ画像Ｔ１’は、図１、図２におけるテクスチャ画像Ｔ１が符号化された後に復号されたテクスチャ画像である。同様に、復号テクスチャ画像Ｔ２’は、図１、図２におけるテクスチャ画像Ｔ２が符号化された後に復号されたテクスチャ画像である。
【０１０３】
次に本実施形態に係る画像復号装置４が行う画像復号処理について説明する。
図９は、本実施形態に係る画像復号装置４が行う画像復号処理（１フレーム分）を示すフローチャートである。（ステップＳ３０１）画像復号装置４は、ステップＳ３０２−Ｓ３１９の処理をマクロブロック毎に行う。（ステップＳ３０２）デプスマップ復号部４０２は、画像復号装置４の外部からデプスマップ符号Ｄｅを入力される。デプスマップ復号部４０２は、入力されたデプスマップ符号Ｄｅを復号し、デプスマップのマクロブロックを生成する。デプスマップ復号部４０２は、生成したデプスマップのマクロブロックＤ１’、Ｄ２’を画像復号装置４の外部に出力する。その後、ステップＳ３０３に進む。
【０１０４】
（ステップＳ３０３）デプスマップ復号部４０２は、復号したデプスマップをデプスマップメモリ４０３に記憶する。その後、ステップＳ３０４に進む。（ステップＳ３０４）情報源復号部４０１は、画像復号装置４の外部からマクロブロック毎の符号化ストリームｅを入力される。その後、ステップＳ３０５に進む。（ステップＳ３０５）情報源復号部４０１は、入力された符号化ストリームｅを復号し、符号化モード信号と量子化ＤＣＴ係数と差分ベクトルを生成する。情報源復号部４０１は、生成した符号化モード信号を符号化モード決定部４１３に出力する。その後、ステップＳ３０６に進む。
【０１０５】
（ステップＳ３０６）情報源復号部４０１は、生成した符号化モード信号がスキップト・マクロブロックモードであることを示しているか否かを判断する。情報源復号部４０１は、生成した符号化モード信号がスキップト・マクロブロックモードであることを示していると判断した場合（ステップＳ３０６  Ｙｅｓ）、ステップＳ３０７に進む。情報源復号部４０１は、生成した符号化モード信号がスキップト・マクロブロックモードであることを示していないと判断した場合（ステップＳ３０８  Ｎｏ）、ステップＳ３０８に進む。
（ステップＳ３０７）情報源復号部４０１は、値がゼロであることを示す量子化ＤＣＴ係数を逆量子化・逆ＤＣＴ変換部４０７に出力する。情報源復号部４０１は、値がゼロであることを示す差分ベクトルを加算部４０４に出力する。その後、ステップＳ３０８に進む。
【０１０６】
（ステップＳ３０８）情報源復号部４０１は、生成した符号化モード信号がインター予測モードであることを示しているか否かを判断する。情報源復号部４０１は、生成した符号化モード信号がインター予測モードであることを示していると判断した場合（ステップＳ３０８  Ｙｅｓ）、ステップＳ３１０に進む。情報源復号部４０１は、生成した符号化モード信号がインター予測モードであることを示していないと判断した場合（ステップＳ３０８  Ｎｏ）、ステップＳ３０９に進む。
【０１０７】
（ステップＳ３０９）情報源復号部４０１は、値がゼロであることを示す差分ベクトルを加算部４０４に出力する。その後、ステップＳ３１０に進む。（ステップＳ３１０）逆量子化・逆ＤＣＴ変換部４０７は、情報源復号部４０１から入力された量子化ＤＣＴ係数に対して逆量子化を行い、逆量子化ＤＣＴ係数を生成した後、逆量子化ＤＣＴ係数に対して２次元逆ＤＣＴを行い、復号残差信号ブロックを生成する。逆量子化・逆ＤＣＴ変換部４０７は、復号残差信号ブロックを加算部４０８に出力する。その後、ステップＳ３１１に進む。
【０１０８】
（ステップＳ３１１）予測ベクトル生成部４０６は、動きベクトルメモリ４０５から復号対象マクロブロックに隣接し、復号に係る処理を行った参照ブロックの動きベクトルを読み出す。予測ベクトル生成部４０６は、読み出した動きベクトルに基づいて予測ベクトルを算出する。予測ベクトル生成部４０６は、算出した予測ベクトルを加算部４０４に出力する。その後、ステップＳ３１２に進む。
【０１０９】
（ステップＳ３１２）加算部４０４は、情報源復号部４０１から入力された差分ベクトルと予測ベクトル生成部４０６から入力された予測ベクトルを加算して動きベクトルを生成する。加算部４０４は、生成した動きベクトルを動きベクトルメモリ４０５に記憶する。その後、ステップＳ３１３に進む。（ステップＳ３１３）インター予測画像生成部４１１は、動きベクトルメモリ４０５から対象マクロブロック内の全てのパーティションに対応する動きベクトルを読みだす。インター予測画像生成部４１１は、動きベクトルメモリ４０５から読み出した動きベクトルに基づいて動き補償を行うことで、インター予測画像マクロブロックを生成する。インター予測画像生成部４１１は、生成したインター予測画像マクロブロックを符号化モード決定部４１３に出力する。その後、ステップＳ３１４に進む。
【０１１０】
（ステップＳ３１４）イントラ予測画像生成部４１０は、参照画像メモリ４０９から対象マクロブロックと同一フレーム内の対象マクロブロックの上と左に隣接する復号に係る処理を行った参照画像ブロックを読みだす。イントラ予測画像生成部４１０は、読みだした参照画像マクロブロックに基づいてフレーム内予測を行い、イントラ予測画像マクロブロックを生成する。イントラ予測画像生成部４１０は、生成したイントラ予測画像マクロブロックを符号化モード決定部４１３に出力する。その後、ステップＳ３１５へ進む。
【０１１１】
（ステップＳ３１５）スッキプト・マクロブロック部４１２は、動きベクトルメモリ４０５から動きベクトルを読みだし、デプスマップメモリ４０３から対象ブロック及び隣接パーティションの参照画像と対応するデプスマクロブロック及びデプスマップを読みだし、参照画像メモリ４０９から参照画像ブロックを読みだす。スッキプト・マクロブロック予測画像生成部２１２は、スッキプト・マクロブロック部１０７と同じ処理を行うことによってスキップト・マクロブロック予測画像マクロブロックを生成する。スキップト・マクロブロック部４１２は、スキップト・マクロブロック予測画像マクロブロックを符号化モード決定部４１３に出力する。その後、ステップＳ３１６に進む。
【０１１２】
（ステップＳ３１６）符号化モード決定部４１３は、情報源復号部４０１から符号化モード信号を入力し、イントラ予測画像生成部４１０からイントラ予測画像マクロブロックを入力し、インター予測画像生成部４１１からインター予測画像マクロブロックを入力し、スッキプト・マクロブロック部４１２からスキップト・マクロブロック予測画像マクロブロックを入力する。符号化モード決定部４１３は、符号化モード信号が示す符号化モードに基づいて、イントラ予測画像マクロブロック、インター予測画像マクロブロックもしくはスキップト・マクロブロック予測画像マクロブロックのいずれかを加算部４０８に出力する。その後、ステップＳ３１７に進む。
【０１１３】
（ステップＳ３１７）加算部４０８は、符号化モード決定部４１３から入力されたイントラ予測画像マクロブロック、インター予測画像マクロブロックもしくはスキップト・マクロブロック予測画像マクロブロックに含まれる各画素の信号値と、逆量子化・逆ＤＣＴ変換部４０７から入力された復号残差信号マクロブロックに含まれる各画素の信号値を加算して参照画像マクロブロックを生成する。その後、ステップＳ３１８に進む。
【０１１４】
（ステップＳ３１８）加算部４０８は、生成した参照画像マクロブロックを参照画像メモリ４０９に記憶し、画像出力部４１４に出力する。その後、ステップＳ３１９に進む。（ステップＳ３１９）画像復号装置４は、復号対象マクロブロックをラスタースキャンの順序で変更し、ステップＳ３０２に戻る。但し、画像復号装置４は、入力された符号化ストリームのフレームにおいて復号が行われていないマクロブロックがないと判断した場合には、そのフレームに対する処理を終了する。
【０１１５】
なお、本実施形態では、テクスチャ画像Ｔ１、Ｔ２の双方を符号化および復号しているが、いずれか一方のみを符号化および復号するようにしてもよい。その場合、デプスマップの符号化および復号は、符号化および復号するテクスチャ画像を基準画像とするデプスマップのみでもよい。
また、本実施形態では、インター予測の際に、パーティション毎に動きベクトルを算出している。このため、スキップト・マクロブロックモードでは、対象マクロブロックに隣接する領域の動きベクトルとして、パーティション毎に算出された動きベクトルを用いている。しかし、用いる動きベクトルは、パーティション単位でなくてもよく、例えばマクロブロック単位であってもよい。これれは、例えば、インター予測の際にマクロブロック単位で動きベクトルを算出する場合などが考えられる。
【０１１６】
また、本実施形態では、候補予想ベクトル生成部１０７２が参照画像毎の候補予測ベクトルを生成する際に、動きベクトルスケーリング部１０７１が隣接パーティションの動きベクトルをスケーリングしたものを用いているが、これに限らない。例えば、候補予想ベクトル生成部１０７２が参照画像Ｒｉの候補予測ベクトルを生成する際には、各隣接パーティションの動きベクトルのうち、その参照画像が参照画像Ｒｉのものを抽出し、抽出された動きベクトルを用いるようにしてもよい。
【０１１７】
このように、本実施形態によれば、画素毎の輝度値からなるテクスチャ画像を構成する一部の領域であるマクロブロック毎に、過去のテクスチャ画像からの移動量を示す動きベクトルを予測して前記テクスチャ画像をスキップト・マクロブロックモードで符号化する際、前記１つのマクロブロックに隣接するパーティションの動きベクトルと、画素毎の視点からの距離を示す深度値からなるデプスマップのうち前記１つのマクロブロックに対応する領域であるデプスマップのマクロブロックと、前記１つのマクロブロックに隣接するパーティションの参照画像に対応するデプスマップとに基づいて、予測ベクトルを生成する。
【０１１８】
これにより、本実施形態では、対象マクロブロックをスキップト・マクロブロックモードで符号化する際に、隣接するパーティションの参照画像ごとに候補予測ベクトルを生成し、対応するデプスマップに基づいて、候補予測ベクトルの中から予測ベクトルを選択する。そのため、符号化対象ブロックに対応する領域が符号化対象画像と最も時間的に近い参照画像内にない場合においても、スキップト・マクロブロックモード時に適切な参照画像を選択することが出来るため、符号化効率を向上させることができる。
【０１１９】
例えば、図１０の例では、符号化対象画像２１中の符号化対象ブロック２４に対応する領域が、符号化対象画像２１と最も時間的に近い画像２２内には無く、それにもかかわらず、従来方法では画像２２を参照画像としてしまう。しかし、上述のような構成とすることで、符号化対象画像２１と時間的に２番目に近い画像２３内の対応領域２５に対応する動きベクトルを予測ベクトルとして選択することが出来るので、符号化効率を向上させることができる。
【０１２０】
＜第２の実施形態＞
上述の第1の実施形態における画像符号化装置１および画像復号装置４は、コンピュータ読み取り可能な記録媒体に、画像符号化プログラム及び／又は画像復号プログラムを記録しておき、該プログラムをコンピュータに実行させることで実現することもできる。
この画像符号化プログラムは、上記第１の実施形態で示したように、画像信号を符号化する際に、対象マクロブロックに隣接パーティションの動きベクトルと、対象マクロブロックと隣接パーティションの参照画像に対応するデプスマクロブロックとデプスマップに応じてスキップト・マクロブロック予測画像マクロブロックを生成し、そのスキップト・マクロブロック予測画像マクロブロックを用いて画像信号を予測符号化する画像符号化処理を、コンピュータに実行させるためのプログラムである。
【０１２１】
この画像符号化処理は、１つのマクロブロックについて、隣接するパーティションの動きベクトルをスケーリングするステップと、スケーリングした動きベクトルから候補予測ベクトルを生成するステップと、デプスマクロブロックとデプスマップに基づいて候補予測ベクトルから予測ベクトルを選択するステップと、選択された予測ベクトルに基づいてスキップト・マクロブロック予測画像マクロブロックを生成するステップとを有する。その他の応用例については、第１の実施形態で説明した通りであり、その説明を省略する。
【０１２２】
また、上述の画像復号プログラムは、上述した画像符号化方法に従い（若しくは、上述した画像符号化装置或いは画像符号化プログラムにて）スキップト・マクロブロック予測画像マクロブロックを用いて予測符号化された、画素毎の輝度値からなる画像信号を構成する一部の領域であるマクロブロックを復号する画像復号ステップを、コンピュータに実行させるためのプログラムである。その他の応用例については、第１の実施形態で説明した通りであり、その説明を省略する。
【０１２３】
この画像符号化プログラムや画像復号プログラムは、換言すれば、第１の実施形態における画像符号化装置１の全部及び／又は画像復号装置４の全部をコンピュータで実現するように構成する場合に、実行可能に組み込むプログラムである。無論、第１の実施形態における画像符号化装置１の一部及び／又は画像復号装置４の一部のみを、コンピュータで実現するようにしてもよい。
【０１２４】
上記の記録媒体としては、コンピュータで処理が行われるために図示しないメモリ、例えばＲＯＭのようなプログラムメディアであってもよく、図示しない外部記憶装置としてのプログラム読取装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであってもよい。いずれの場合においても、格納されているプログラムはコンピュータの主演算・制御部であるマイクロプロセッサがアクセスして実行させる構成であってもよいし、プログラムを読み出し、読み出されたプログラムは、コンピュータが備えるプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。この場合、ダウンロード用のプログラムは予め本体装置に格納されているものとする。
【０１２５】
ここで、上記プログラムメディアは、コンピュータ本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フロッピーディスク（登録商標）やハードディスク等の磁気ディスク並びにＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、或いはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。また、この場合、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予めコンピュータ本体に格納しておくか、或いは別の記録媒体からインストールされるものであってもよい。
【０１２６】
上記の記録媒体は、デジタルカラー画像形成装置やコンピュータシステムに備えられるプログラム読み取り装置により読み取られることで、上述した画像符号化方法や画像復号方法が実行される。なお、上記コンピュータシステムは、ＷＥＢカメラなどの汎用画像入力装置、所定のプログラムがロードされることにより上記画像処理方法など様々な処理が行われるコンピュータ、コンピュータの処理結果を表示するディスプレイ・液晶ディスプレイなどの画像表示装置より構成される。さらには、ネットワークを介してサーバなどに接続するための通信手段としてのネットワークカードやモデムなどが備えられる。
【０１２７】
なお、上述した各実施形態における画像符号化装置１及び画像復号装置４の一部又は全部を、ＬＳＩ（Large Scale Integration）等の集積回路又はＩＣ（Integrated Circuit）チップセットとして実現してもよい。画像符号化装置１及び画像復号装置４の各機能ブロックは個別にプロセッサ化してもよいし、一部又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
【０１２８】
また、本発明は、画像符号化装置、画像復号装置における処理の流れを例示したように、さらには画像符号化プログラム、画像復号プログラムの処理として説明したように、画像符号化方法、画像復号方法としての形態も採り得る。
この画像符号化方法は、画素毎の輝度値からなる画像信号を構成する一部の領域であるマクロブロック毎に、画像符号化装置がスキップト・マクロブロック予測画像マクロブロックを用いて上記画像信号の予測符号化を行う方法である。そして、この方法は、画像符号化装置が、１つのマクロブロックについて、隣接するパーティションの動きベクトルをスケーリングするステップと、スケーリングした動きベクトルから候補予測ベクトルを生成するステップと、デプスマクロブロックとデプスマップに基づいて候補予測ベクトルから予測ベクトルを選択するステップと、選択された予測ベクトルに基づいてスキップト・マクロブロック予測画像マクロブロックを生成するステップとを有する。その他の応用例については、第１の実施形態において画像符号化装置について説明した通りである。
【０１２９】
上記の画像復号方法は、上述の画像符号化方法に従いスキップ予測画像マクロブロックを用いて予測符号化された、画素毎の輝度値からなる画像信号を構成する一部の領域であるマクロブロックを、画像復号装置が復号する画像復号ステップを有する。その他の応用例については、第１の実施形態において画像復号装置について説明した通りである。
【０１３０】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【０１３１】
１…画像符号化装置
２…画像前置処理部
３ａ、３ｂ…撮影装置
４…画像復号装置
１０…３次元画像撮影システム
１０１…テクスチャ画像入力部
１０２…デプスマップ符号化部
１０３…デプスマップメモリ
１０４…参照画像メモリ
１０５…イントラ予測部
１０６…インター予測部
１０７…スキップト・マクロブロック部
１０８…符号化モード判定部
１０９…動きベクトルメモリ
１１０…予測ベクトル生成部
１１１、１１２…減算部
１１３…ＤＣＴ変換・量子化部
１１４…逆量子化・逆ＤＣＴ変換部
１１５…加算部
１１６…情報源符号化部
４０１…情報源復号部
４０２…デプスマップ復号部
４０３…デプスマップメモリ
４０４…加算部
４０５…動きベクトルメモリ
４０６…予測ベクトル生成部
４０７…逆量子化・逆ＤＣＴ変換部
４０８…加算部
４０９…参照画像メモリ
４１０…イントラ予測画像生成部
４１１…インター予測画像生成部
４１２…スキップト・マクロブロック部
４１３…符号化モード決定部
４１４…画像出力部
１０７１…動きベクトルスケーリング部
１０７２…候補予測ベクトル生成部
１０７３…予測ベクトル選択部
１０７４…予測画像マクロブロック生成部
【図１】
2013153336.tif 000003
【図２】
2013153336.tif 000004
【図３】
2013153336.tif 000005
【図４】
2013153336.tif 000006
【図５】
2013153336.tif 000007
【図６】
2013153336.tif 000008
【図７】
2013153336.tif 000009
【図８】
2013153336.tif 000010
【図９】
2013153336.tif 000011
【図１０】
2013153336.tif 000012
【図１１】
2013153336.tif 000013