(57)【要約】【課題】デプスマップの符号化において優れた符号化効率を得ることが可能な画像符号化方法を提供する。【解決手段】本発明の画像符号化方法は、画素毎の視点からの距離を示すデプス値からなるデプスマップを構成する一部の領域であるマクロブロック毎に、画像符号化装置１がデプス予測画像マクロブロックを用いてデプスマップの予測符号化を行う。この画像符号化方法では、画像符号化装置１が、１つのマクロブロックについて、画素毎の輝度値からなるテクスチャ画像のうち上記１つのマクロブロックに対応する領域であるテクスチャ画像マクロブロックの視差ベクトルと、撮影装置間の距離と撮影装置の焦点距離とを含む撮影条件情報とに基づいてデプス値を算出する算出ステップと、画像符号化装置１が、算出したデプス値に基づいてデプス予測画像マクロブロックを生成する生成ステップとを有する。【選択図】図２
2013106337.tif 000002
【特許請求の範囲】
【請求項１】
画素毎の視点からの距離を示すデプス値からなるデプスマップを構成する一部の領域であるマクロブロック毎に、画像符号化装置がデプス予測画像マクロブロックを用いて前記デプスマップの予測符号化を行う画像符号化方法であって、
前記画像符号化装置が、１つのマクロブロックについて、画素毎の輝度値からなるテクスチャ画像のうち前記１つのマクロブロックに対応する領域であるテクスチャ画像マクロブロックの視差ベクトルと、撮影装置間の距離と撮影装置の焦点距離とを含む撮影条件情報とに基づいてデプス値を算出する算出ステップと、前記画像符号化装置が、算出したデプス値に基づいてデプス予測画像マクロブロックを生成する生成ステップとを有することを特徴とする画像符号化方法。
【請求項２】
前記算出ステップは、前記テクスチャ画像マクロブロックを符号化した際に用いられるパーティション毎にデプス値を算出するステップを有し、
前記生成ステップは、前記パーティション毎に算出されたデプス値から、予測画像ブロックを生成するステップと、前記パーティション毎に生成された予測画像ブロックからデプス予測画像マクロブロックを生成するステップとを有することを特徴とする請求項１に記載の画像符号化方法。
【請求項３】
前記算出ステップは、前記テクスチャ画像マクロブロックを符号化した際に用いられるパーティションのうち、視差ベクトルを有さないパーティションに関しては、隣接するパーティションのデプス値に基づいて前記パーティションのデプス値を算出するステップを有することを特徴とする請求項２に記載の画像符号化方法。
【請求項４】
画素毎の視点からの距離を示すデプス値からなるデプスマップを構成する一部の領域であるマクロブロック毎に、デプス予測画像マクロブロックを用いて前記デプスマップの予測符号化を行う画像符号化装置であって、
１つのマクロブロックについて、画素毎の輝度値からなるテクスチャ画像のうち前記１つのマクロブロックに対応する領域であるテクスチャ画像マクロブロックの視差ベクトルと、撮影装置間の距離と撮影装置の焦点距離とを含む撮影条件情報とに基づいてデプス値を算出し、算出したデプス値に基づいて生成したデプス予測画像マクロブロックを用いて符号化する画像符号化部を備えたことを特徴とする画像符号化装置。
【請求項５】
画素毎の視点からの距離を示すデプス値からなるデプスマップを構成する一部の領域であるマクロブロック毎に、デプス予測画像マクロブロックを用いて前記デプスマップの予測符号化を行う画像符号化処理を、コンピュータに実行させるための画像符号化プログラムであって、
前記画像符号化処理は、１つのマクロブロックについて、画素毎の輝度値からなるテクスチャ画像のうち前記１つのマクロブロックに対応する領域であるテクスチャ画像マクロブロックの視差ベクトルと、撮影装置間の距離と撮影装置の焦点距離とを含む撮影条件情報とに基づいてデプス値を算出するステップと、算出したデプス値に基づいてデプス予測画像マクロブロックを生成するステップとを有することを特徴とする画像符号化プログラム。
【請求項６】
請求項１〜３のいずれか１項に記載の画像符号化方法に従いデプス予測画像マクロブロックを用いて予測符号化された、画素毎の視点からの距離を示すデプス値からなるデプスマップを構成する一部の領域であるマクロブロックを、画像復号装置が復号する画像復号ステップを有することを特徴とする画像復号方法。
【請求項７】
請求項１〜３のいずれか１項に記載の画像符号化方法に従いデプス予測画像マクロブロックを用いて予測符号化された、画素毎の視点からの距離を示すデプス値からなるデプスマップを構成する一部の領域であるマクロブロックを復号する画像復号部を備えたことを特徴とする画像復号装置。
【請求項８】
請求項１〜３のいずれか１項に記載の画像符号化方法に従いデプス予測画像マクロブロックを用いて予測符号化された、画素毎の視点からの距離を示すデプス値からなるデプスマップを構成する一部の領域であるマクロブロックを復号する画像復号ステップを、コンピュータに実行させるための画像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化方法、画像復号方法、並びにそれらの装置及びプログラムに関する。
【背景技術】
【０００２】
近年、多視点の画像を使用したアプリケーションが普及してきており、その中の一つに立体画像ディスプレイ及び立体画像コンテンツがある。立体画像ディスプレイで現在主流のものは、２眼式の立体画像ディスプレイに分類されるもので、その一方式として、アクティブシャッター方式がある。アクティブシャッター方式の立体画像ディスプレイは、左眼用画像と右眼用画像を時分割で交互にスクリーンに表示させる一方、画像の観賞者が装着する液晶シャッターメガネを、左右画像を表示するタイミングに同期させて開閉することにより、左眼用画像を左眼にのみ、右眼用画像を右眼にのみ見せて、その結果として立体感を知覚させるものである。
【０００３】
立体画像を表示・観賞するためには、上記の通り左眼用と右眼用の２視点分の画像データが必要になるため、従来の平面画像と比べると情報量が約２倍に増加する。これを効率よく圧縮・記録するための符号化方式の一つに、非特許文献１に記載されている、国際標準であるＩＴＵ−Ｔ  Ｈ．２６４及びＡｄｖａｎｃｅｄ  Ｖｉｄｅｏ ＣｏｄｉｎｇのＡｎｎｅｘ  Ｈとして、Ｍｕｌｔｉ−ｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（以下、ＭＶＣと記す）が規定されている。ＭＶＣは、多視点の動画像を効率よく圧縮するための符号化方式であり、マルチビュー映像を、１個のベースビューと１個以上の非ベースビューとに分け、非ベースビューでは他のビューや自分自身のビューに含まれるフレームを参照して符号化している。このＭＶＣは、そのアプリケーションの一つとして、３Ｄ映画などの立体画像作品をＢｌｕ−ｒａｙ  Ｄｉｓｃに格納する際の符号化方式として採用されている。
【０００４】
上記のような２眼式の立体画像ディスプレイの他に、非特許文献２に記載されている、自由視点テレビ（Ｆｒｅｅ  Ｖｉｅｗｐｏｉｎｔ  ＴＶ）という多視点の画像を使用したアプリケーションが開発されている。自由視点テレビとは、ユーザが自由に視点を変更して３次元シーンを視聴することができるテレビである。そのため、自由視点テレビを実現するには無限大の視点数の映像を用意する必要があるが、現実的には不可能なため、多視点映像とともにデプスマップ（奥行き情報）を伝送し、多視点映像とデプスマップから視点合成技術を用いて仮想視点を生成することによって、自由な視点変更を実現している。
【０００５】
但し、多視点の画像とともにデプスマップを伝送するため、必要となる画像のデータ量が増加し、記録や伝送にかかるコストが増大するという問題がある。
この問題を解決する一方法として、特許文献１には、画像とデプスマップの動きベクトルを共通化することによって、デプスマップの符号化効率向上を実現させる符号化方法が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特表２０１１−５０９６３１号公報
【非特許文献】
【０００７】
【非特許文献１】ＩＴＵ−Ｔ  Ｒｅｃ．  Ｈ．２６４（０３／２００９）―  Ａｄｖａｎｃｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｆｏｒ  ｇｅｎｅｒｉｃ  ａｕｄｉｏｖｉｓｕａｌ  ｓｅｒｖｉｃｅｓ
【非特許文献２】谷本 正幸、藤井 俊彰、自由視点映像技術、映像情報メディア学会誌、Ｖｏｌ．６０（２００６）、ＮＯ．１  ＰＰ２９−３４
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、非特許文献２及び特許文献１に記載のデプスマップ符号化方法では、デプスマップの特性を考慮していないため、十分な圧縮ができていない。
【０００９】
本発明は、上述のような実状に鑑みてなされたものであり、その目的は、デプスマップの符号化において優れた符号化効率を得ることが可能な画像符号化方法、画像復号方法、並びにそれらの装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明の第１の技術手段は、画素毎の視点からの距離を示すデプス値からなるデプスマップを構成する一部の領域であるマクロブロック毎に、画像符号化装置がデプス予測画像マクロブロックを用いて前記デプスマップの予測符号化を行う画像符号化方法であって、前記画像符号化装置が、１つのマクロブロックについて、画素毎の輝度値からなるテクスチャ画像のうち前記１つのマクロブロックに対応する領域であるテクスチャ画像マクロブロックの視差ベクトルと、撮影装置間の距離と撮影装置の焦点距離とを含む撮影条件情報とに基づいてデプス値を算出する算出ステップと、前記画像符号化装置が、算出したデプス値に基づいてデプス予測画像マクロブロックを生成する生成ステップとを有することを特徴としたものである。
【００１１】
第２の技術手段は、第１の技術手段において、前記算出ステップは、前記テクスチャ画像マクロブロックを符号化した際に用いられるパーティション毎にデプス値を算出するステップを有し、前記生成ステップは、前記パーティション毎に算出されたデプス値から、予測画像ブロックを生成するステップと、前記パーティション毎に生成された予測画像ブロックからデプス予測画像マクロブロックを生成するステップとを有することを特徴としたものである。
【００１２】
第３の技術手段は、第２の技術手段において、前記算出ステップは、前記テクスチャ画像マクロブロックを符号化した際に用いられるパーティションのうち、視差ベクトルを有さないパーティションに関しては、隣接するパーティションのデプス値に基づいて前記パーティションのデプス値を算出するステップを有することを特徴としたものである。
【００１３】
第４の技術手段は、画素毎の視点からの距離を示すデプス値からなるデプスマップを構成する一部の領域であるマクロブロック毎に、デプス予測画像マクロブロックを用いて前記デプスマップの予測符号化を行う画像符号化装置であって、１つのマクロブロックについて、画素毎の輝度値からなるテクスチャ画像のうち前記１つのマクロブロックに対応する領域であるテクスチャ画像マクロブロックの視差ベクトルと、撮影装置間の距離と撮影装置の焦点距離とを含む撮影条件情報とに基づいてデプス値を算出し、算出したデプス値に基づいて生成したデプス予測画像マクロブロックを用いて符号化する画像符号化部を備えたことを特徴としたものである。
【００１４】
第５の技術手段は、画素毎の視点からの距離を示すデプス値からなるデプスマップを構成する一部の領域であるマクロブロック毎に、デプス予測画像マクロブロックを用いて前記デプスマップの予測符号化を行う画像符号化処理を、コンピュータに実行させるための画像符号化プログラムであって、前記画像符号化処理は、１つのマクロブロックについて、画素毎の輝度値からなるテクスチャ画像のうち前記１つのマクロブロックに対応する領域であるテクスチャ画像マクロブロックの視差ベクトルと、撮影装置間の距離と撮影装置の焦点距離とを含む撮影条件情報とに基づいてデプス値を算出するステップと、算出したデプス値に基づいてデプス予測画像マクロブロックを生成するステップとを有することを特徴としたものである。
【００１５】
第６の技術手段は、第１〜第３のいずれか１の技術手段における画像符号化方法に従いデプス予測画像マクロブロックを用いて予測符号化された、画素毎の視点からの距離を示すデプス値からなるデプスマップを構成する一部の領域であるマクロブロックを、画像復号装置が復号する画像復号ステップを有することを特徴とする画像復号方法である。
【００１６】
第７の技術手段は、第１〜第３のいずれか１の技術手段における画像符号化方法に従いデプス予測画像マクロブロックを用いて予測符号化された、画素毎の視点からの距離を示すデプス値からなるデプスマップを構成する一部の領域であるマクロブロックを復号する画像復号部を備えたことを特徴とする画像復号装置である。
【００１７】
第８の技術手段は、第１〜第３のいずれか１の技術手段における画像符号化方法に従いデプス予測画像マクロブロックを用いて予測符号化された、画素毎の視点からの距離を示すデプス値からなるデプスマップを構成する一部の領域であるマクロブロックを復号する画像復号ステップを、コンピュータに実行させるための画像復号プログラムである。
【発明の効果】
【００１８】
本発明によれば、デプスマップの符号化において優れた符号化効率で画像を符号化又は復号することが可能になる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施形態に係る画像符号化装置を備えた３次元画像撮影システムの一構成例を示す概略図である。
【図２】本発明の第１の実施形態に係る画像符号化装置の構成例を示す概略図である。
【図３】本発明の第１の実施形態に係るデプス予測部の構成例を示す概略図である。
【図４】視差とデプス（奥行き）の関係を示す概念図である。
【図５】本発明の第１の実施形態に係る画像符号化装置が行う画像符号化処理の一例を説明するためのフローチャートである。
【図６】図５に続くフローチャートである。
【図７】本発明の第１の実施形態に係るデプス予測部におけるデプス予測画像マクロブロック生成処理の一例を説明するためのフローチャートである。
【図８】図７に続くフローチャートである。
【図９】本発明の第１の実施形態に係る画像復号装置の構成例を示す概略図である。
【図１０】本発明の第１の実施形態に係る画像復号装置が行う画像復号処理の一例を説明するためのフローチャートである。
【図１１】図１０に続くフローチャートである。
【発明を実施するための形態】
【００２０】
本発明では、デプスマップの符号化において、撮影装置の撮影条件情報とテクスチャ画像の視差ベクトルとから、デプスマップの予測画像の一部である予測画像マクロブロック（デプス予測画像マクロブロックと呼ぶ）を生成する。より具体的には、本発明では、デプスマップ毎のデプス値からなるデプスマップを構成する一部の領域であるマクロブロック毎に、撮影装置が撮影した画像の輝度値からなる該マクロブロックと同一座標のマクロブロックが有する視差ベクトルからデプス値を推定することによってデプスマップの予測符号化又は予測復号を行う。即ち、本発明では、上記のマクロブロック毎に、画像符号化装置がデプス予測画像マクロブロックを用いてデプスマップの予測符号化を実行するに際し、１つのマクロブロックについて、画素毎の輝度値からなるテクスチャ画像のうち上記１つのマクロブロックに対応する領域であるテクスチャ画像マクロブロックの視差ベクトルと、撮影装置間の距離と撮影装置の焦点距離とを含む撮影条件情報とに基づいてデプス値を算出し、算出したデプス値に基づいてデプス予測画像マクロブロックを生成する。そして、このようにして予測符号化されたデプスマップを予測復号する際にもこのようなデプス予測画像マクロブロックの生成を行うことになる。
【００２１】
無論、以下の説明から明らかなように、全てのマクロブロックに対してデプス値を推定し、符号化／復号を行うことに限定されるものではない。
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
【００２２】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像符号化装置を備えた３次元画像撮影システムの一構成例を示す概略図である。
図１で例示する画像撮影システムは、撮影装置３ａ、撮影装置３ｂ、画像前置処理部２、及び画像符号化装置１を含んで構成される。
【００２３】
撮影装置３ａ及び撮影装置３ｂは、互いに異なる位置（視点）に設置され、同一の視野に含まれる被写体の画像を、予め定めた時間間隔で（例えば１／３０秒毎に１回）撮影する。撮影装置３ａ及び撮影装置３ｂは、撮影した画像を示す画像信号をテクスチャ画像（ｔｅｘｔｕｒｅ  ｍａｐ；「二次元画像」ということがある。）と定め、それぞれのテクスチャ画像を画像前置処理部２に出力する。
【００２４】
この画像信号は、被写空間に含まれる被写体や背景の色彩や濃淡を表す信号値（輝度値）であって、二次元平面に配置された画素毎の信号値からなる画像信号である。この画像信号は、画素毎に色空間を表す信号値を有する画像信号、例えばＲＧＢ信号である。ＲＧＢ信号は、赤色成分の輝度値を表すＲ信号、緑色成分の輝度値を示すＧ信号、青色成分の輝度値を示すＢ信号を含む。
【００２５】
また、撮影装置３ａ及び撮影装置３ｂは、撮影条件情報を画像符号化装置１に出力する。撮影条件情報とは、少なくとも、撮影装置３ａ及び撮影装置３ｂの間の距離、及び撮影装置３ａ及び撮影装置３ｂの焦点距離を含む。なお、本実施形態では、説明の簡略化のため、撮影装置３ａ及び撮影装置３ｂの焦点距離は同一であることを前提とする。
【００２６】
画像前置処理部２は、撮影装置３ａ及び撮影装置３ｂのいずれか一方、例えば撮影装置３ａから入力されたテクスチャ画像を基準画像と定め、他の撮影装置（この例では撮影装置３ｂ）から入力されたテクスチャ画像と区別して説明する。従って、基準画像も被写空間に含まれる被写体や背景の色彩や濃淡を表す信号値（輝度値）であって、二次元平面に配置された画素毎の信号値からなる一般的な二次元の画像信号である。画像前置処理部２は、単に「前処理部」とも呼べる。
【００２７】
画像前置処理部２は、撮影装置３ａから入力された基準画像と、他の撮影装置３ｂから入力されたテクスチャ画像との視差を画素毎に算出し、撮影装置３ａから入力されたテクスチャ画像に対応するデプスマップを生成する。デプスマップ（ｄｅｐｔｈ  ｍａｐ、「深度画像」、「距離画像」ということがある。）とは、被写空間に含まれる被写体や背景の視点（撮影装置等）からの距離に対応する信号値（「デプス値」、「深度値」、「デプス」ということがある。）であって、二次元平面に配置された画素毎の信号値からなる画像信号である。デプスマップを構成する画素は、基準画像を構成する画素と対応する。従って、デプスマップは、被写空間を二次元に射影した基準となる画像信号である基準画像を用いて、三次元の被写空間を表すための手がかりとなる。
【００２８】
次に、画像前置処理部２は、他の撮影装置３ｂから入力されたテクスチャ画像を基準画像として、撮影装置３ａから入力されたテクスチャ画像との視差から、撮影装置３ａのデプスマップの生成方法と同様にして、撮影装置３ｂのテクスチャ画像に対応するデプスマップを生成する。画像前置処理部２は、撮影装置３ａ及び撮影装置３ｂのテクスチャ画像をフレーム毎に交互に画像符号化装置１に出力する。また、画像前置処理部２は、テクスチャ画像に対応するデプスマップをテクスチャ画像と同じタイミングで画像符号化装置１に出力する。
【００２９】
画像符号化装置１は、次の画像符号化部を備える。この画像符号化部は、画素毎のデプス値からなるデプスマップを構成する一部の領域であるマクロブロック毎に、そのデプスマップを符号化する際、１つのマクロブロックについて、画素毎の輝度値からなるテクスチャ画像のうち上記１つのマクロブロックに対応する領域であるテクスチャマクロブロック（テクスチャ画像のマクロブロック）が有する視差ベクトルに従ってデプス値を推定し、上記マクロブロックと推定したデプス値との差分を取ることで符号化する。このような符号化を各マクロブロックについて実行する。
【００３０】
なお、本実施形態では、画像撮影システムが備える撮影装置の数を２台として説明しているが、これに限らず、３台以上であってもよい。また、画像符号化装置１に入力されるデプスマップ及びテクスチャ画像は、撮影装置３ａ及び撮影装置３ｂが撮影した画像に基づくものでなくともよく、例えば、予め合成された画像であってもよい。
【００３１】
次に、本実施形態に係る画像符号化装置１の構成例とその機能について、図２を参照しながら説明する。図２は、本実施形態に係る画像符号化装置１の構成例を示す概略図である。
【００３２】
図２で例示する画像符号化装置１は、デプスマップ入力部１０１、テクスチャ画像符号化部１０２、視差ベクトルメモリ１０３、参照画像メモリ１０４、イントラ予測部１０５、インター予測部１０６、デプス予測部１０７、符号化モード判定部１０８、減算部１０９、ＤＣＴ変換・量子化部１１０、逆量子化・逆ＤＣＴ変換部１１１、加算部１１２、及び情報源符号化部１１３を含んで構成される。
【００３３】
デプスマップ入力部１０１は、画像前置処理部２からデプスマップがフレーム毎に入力され、入力されたデプスマップからマクロブロック（以下、デプスマクロブロック）を抽出する。デプスマップ入力部１０１は、抽出したデプスマクロブロックを、符号化モード判定部１０８、インター予測部１０６、及び減算部１０９に出力する。デプスマクロブロックは、予め定めた数の画素、例えば水平方向１６画素×垂直方向１６画素からなる。
【００３４】
デプスマップ入力部１０１は、ラスタースキャンの順序でデプスマクロブロックを抽出するマクロブロックの位置を、各ブロックが重ならないようにシフトさせる。即ち、デプスマップ入力部１０１は、デプスマクロブロックを抽出するブロックをフレームの左上端から順次ブロックの水平方向の画素数だけ右に移動させる。デプスマップ入力部１０１は、デプスマクロブロックを抽出するマクロブロックの右端がフレームの右端に達した後、そのマクロブロックをマクロブロックの垂直方向の画素数だけ下で、且つフレームの左端に移動させる。デプスマップ入力部１０１は、このようにしてデプスマクロブロックを抽出するマクロブロックがフレームの右下に達するまで移動させる。なお、以下では、抽出されたデプスマクロブロックを符号化対象マクロブロック又は対象マクロブロックと呼ぶことがある。
【００３５】
テクスチャ画像符号化部１０２は、画像前置処理部２からテクスチャ画像をフレーム毎に入力し、各フレームを構成するマクロブロック毎に公知の画像符号化方法、例えば非特許文献１である、ＩＴＵ−Ｔ  Ｈ．２６４規格書に記載されている復号方法に対応する符号化方法を用いてテクスチャ画像を符号化する。テクスチャ画像符号化部１０２は、符号化して生成したテクスチャ画像符号を画像符号化装置１の外部に出力する。
【００３６】
テクスチャ画像符号化部１０２は、テクスチャ画像の各マクロブロックを視差補償によって符号化した場合には、検出した視差ベクトルを視差ベクトルメモリ１０３に記憶する。テクスチャ画像符号化部１０２が、マクロブロックを複数のパーティションに分割して符号化した場合には、各パーティション毎の視差ベクトルを視差ベクトルメモリ１０３に記憶する。なお、本実施形態において上記パーティションのサイズは、水平方向１６画素×垂直方向１６画素、１６画素×８画素、８画素×１６画素、８画素×８画素、８画素×４画素、４画素×８画素、又は、４画素×４画素であるが、本発明は、具体的なパーティションのサイズで限定されるものではない。
【００３７】
視差ベクトルメモリ１０３は、テクスチャ画像符号化部１０２から入力された視差ベクトルを、符号化されたマクロブロックの順に記憶する。
【００３８】
参照画像メモリ１０４は、加算部１１２から入力された参照画像のマクロブロック（以下、参照画像マクロブロック）を、対応するフレームにおける符号化対象マクロブロックの位置に配置して参照画像として記憶する。この参照画像マクロブロックは、過去に入力されたデプスマクロブロックを符号化し、復号されたマクロブロックである。このように参照画像マクロブロックを配置して構成したフレームの画像信号を参照画像と呼んでいる。参照画像メモリ１０４は、現在から予め設定されたフレーム数、例えば１５フレーム分の過去のフレームの参照画像を順次に記憶し、記憶されたフレーム数が予め設定されたフレーム数を超えたとき、例えば１６フレーム目の参照画像が入力された時、それ以前の過去のフレームの参照画像を全て削除する。
【００３９】
イントラ予測部１０５は、参照画像メモリ１０４から対象マクロブロックと同一フレーム内の対象マクロブロックの上と左に隣接する符号化に係る処理を行った参照画像ブロックを読みだす。参照画像ブロックのサイズは、例えば、水平方向１６画素×垂直方向１６画素、８画素×８画素、４画素×４画素であるが、本発明は、具体的な参照マクロブロック（参照画像のマクロブロック）のサイズで限定されるものではない。次に、イントラ予測部１０５は、読みだした参照マクロブロックに基づいてフレーム内予測を行い、イントラ予測画像マクロブロックを生成する。具体的なフレーム内予測の方法としては、例えば非特許文献１である、ＩＴＵ−Ｔ  Ｈ．２６４規格書に記載されているフレーム内予測方法がある。イントラ予測部１０５は、生成したイントラ予測画像マクロブロックを符号化モード判定部１０８に出力する。
【００４０】
インター予測部１０６は、デプスマップ入力部１０１から入力された対象マクロブロックを１つ若しくは複数のパーティションに分割し、各々のパーティションに対して、順次、動きベクトル又は視差ベクトルを検出する。デプスマップの対象マクロブロックのパーティションのサイズは、対応するテクスチャ画像のマクロブロックについてテクスチャ画像符号化部１０２で使用されるパーティションと同じサイズとする。なお、１つのパーティションに分割するとは実質的に分割を実行しないことを指す。
【００４１】
具体的には、インター予測部１０６は、まず参照画像メモリ１０４から参照画像を構成する参照画像ブロックを読み出す。インター予測部１０６が読み出す参照画像ブロックの大きさ（画素数）は上記１又は複数のパーティションのうち、処理の対象となるパーティション（以下、対象パーティションと呼ぶ）の大きさと同一である。ここで、インター予測部１０６は、デプスマップ入力部１０１から入力されたデプスマクロブロック内の対象パーティションと参照画像ブロックとの間でブロックマッチングを行う。即ち、参照画像メモリ１０４に記憶されている過去の参照画像のフレームから参照画像ブロックを読み出す位置を、対象パーティションの位置から予め設定した範囲内において水平方向又は垂直方向に１画素ずつ移動させる。インター予測部１０６は、対象パーティションの座標と対象パーティションと最も類似する参照画像ブロックの座標との差分を、ベクトルとして検出する。本実施形態では、このとき検出したベクトルを、対象パーティションを撮影した撮影装置と参照画像ブロックを撮影した撮影装置が同一であるならば「動きベクトル」、異なるならば「視差ベクトル」と呼称している。
【００４２】
ここで、インター予測部１０６は、対象パーティションに含まれる画素毎の信号値と参照画像ブロックに含まれる画素毎の信号値との類似性を示す指標値、例えば、ＳＡＤ（Sum of Absolute Difference、差分絶対値和）を算出する。インター予測部１０６は、指標値を最小とする参照画像ブロックを、対象パーティションと最も類似する参照画像ブロックと定める。インター予測部１０６は、対象パーティションの座標と定めた参照画像ブロックの座標に基づき動きベクトルを算出する。
【００４３】
また、インター予測部１０６は、対象マクロブロックを構成する上記パーティションのサイズのうち、符号化コストが最小となるパーティションのサイズを選択する。例えば、インター予測部１０６は、以下の処理を全てのパーティションのサイズに対して行う。まず、インター予測部１０６は、算出した動きベクトル又は視差ベクトルの水平成分の絶対値、その垂直成分の絶対値及び対象パーティションと対象パーティションと最も類似する参照ブロックとの間の指標値の和をコスト値として算出する。以上の処理を、対象マクロブロックを構成する全てのパーティションに対して行うことでコスト値を算出し、そのコスト値の和をパーティションのサイズ毎に求めていく。そして、パーティションのサイズのうちコスト値の和が最も小さくなったパーティションのサイズを選択する。
【００４４】
なお、上述したように、このパーティションのサイズは、テクスチャ画像符号化部１０２で使用されたパーティションと同じサイズとするため、インター予測部１０６は、コストの算出などを行わずに、テクスチャ画像符号化部１０２で使用したパーティションのサイズを得てそのサイズのパーティションを用いるようにしておけばよい。
【００４５】
他のパーティションサイズの選択方法としては、例えば、ＲＤコストを用いるものもある。ＲＤコストとは、次式から符号化コストＪを算出する。
Ｊ  ＝  Ｄ＋λ×Ｒ
【００４６】
ここで、Ｄは対象マクロブロックと対象マクロブロックを符号化し復号した画像との差分であり、Ｒは予想される発生符号量である。また、係数λは、定数であってもよいし、量子化の粗さを制御する量子化パラメータの関数であってもよい。なお、本発明は、具体的な符号化コストの算出方法によって限定されるものではない。
【００４７】
次に、インター予測部１０６は、コスト値が最小となったパーティションのサイズとそのサイズの各パーティションで算出した動きベクトル又は視差ベクトルとに基づいて動き補償を行い、インター予測画像マクロブロックを生成する。具体的には、まず、インター予測部１０６は、参照画像メモリ１０４からパーティション毎に、動きベクトル又は視差ベクトルが差す座標の参照画像ブロックを読み取る。インター予測部１０６は、パーティション毎に、読みだした参照画像ブロックの座標をパーティションの座標に合わせる処理をすることによってインター予測画像マクロブロックを生成する。
【００４８】
インター予測部１０６は、生成したインター予測画像マクロブロックを符号化モード判定部１０８に出力し、生成した動きベクトル又は視差ベクトルを情報源符号化部１１３に出力する。
【００４９】
デプス予測部１０７は、撮影装置３ａ及び撮影装置３ｂから撮影条件情報が入力され、視差ベクトルメモリ１０３から対象マクロブロックに対応するテクスチャ画像マクロブロックの視差ベクトルを読みだす。
【００５０】
デプス予測部１０７は、撮影条件情報及び視差ベクトルに基づいてデプス値を算出する。そして、デプス予測部１０７は、算出したデプス値からデプス予測画像マクロブロックを生成する。デプス予測部１０７は、デプス予測画像マクロブロックを符号化モード判定部１０８に出力する。処理の詳細については後述する。
【００５１】
符号化モード判定部１０８は、デプスマップ入力部１０１から対象マクロブロックを、イントラ予測部１０５からイントラ予測画像マクロブロックを、インター予測部１０６からインター予測画像マクロブロックを、デプス予測部１０７からデプス予測画像マクロブロックを、それぞれ入力として受け取る。
【００５２】
そして、符号化モード判定部１０８は、入力された３つの予測画像マクロブロックに基づいて最も符号化効率の高い符号化モードを決定する。具体的には、例えば、符号化モード判定部１０８は、予測画像マクロブロック毎に対象マクロブロックとの画素毎に信号値の２乗誤差を算出し、予測画像マクロブロック内の２乗誤差の和を符号化コストとする。符号化モード判定部１０８は、全ての符号化モードに対して符号化コストを算出し、符号化コストが最も小さい予測画像マクロブロックに対応する符号化モードを最も符号化効率の高い符号化モードとする。このように符号化モード判定部１０８は、符号化モード決定部とも言える。他の決定方法としては、例えば、ＲＤコストを用いるものもある。なお、本発明は、具体的な符号化コストの算出方法によって限定されるものではない。
【００５３】
符号化モード判定部１０８は、最も符号化効率の高い符号化モードを示す符号化モード信号を情報源符号化部１１３に出力する。符号化モード判定部１０８は、最も符号化効率の高い符号化モードに対応する予測画像マクロブロックを、減算部１０９と加算部１１２に出力する。
【００５４】
減算部１０９は、デプスマップ入力部１０１から入力されたデプスマクロブロックに含まれる各画素の信号値から、符号化モード判定部１０８から入力されたイントラ予測画像マクロブロック、インター予測画像マクロブロック、又はデプス予測画像マクロブロックに含まれる各画素の信号値を減算して、残差信号ブロックを算出する。減算部１０９は、算出した残差信号マクロブロックをＤＣＴ変換・量子化部１１０に出力する。
【００５５】
ＤＣＴ変換・量子化部１１０は、減算部１０９から入力された残差信号マクロブロックに対して二次元ＤＣＴ（Discrete Cosine Transform、離散コサイン変換）を行い周波数領域信号としてＤＣＴ係数を算出した後、ＤＣＴ係数の量子化（ｑｕａｎｔｉｚａｔｉｏｎ）を行い、量子化ＤＣＴ係数を生成する。ここで、量子化とは、入力されたＤＣＴ係数を離散的な代表値の１つに変換する処理である。ＤＣＴ変換・量子化部１１０は、生成した量子化ＤＣＴ係数を、逆量子化・逆ＤＣＴ変換部１１１及び情報源符号化部１１３に出力する。
【００５６】
逆量子化・逆ＤＣＴ変換部１１１は、ＤＣＴ変換・量子化部１１０から入力された量子化ＤＣＴ係数に逆量子化（ｄｅ−ｑｕａｎｔｉｚａｔｉｏｎ）を行い、逆量子化ＤＣＴ係数を生成した後、逆量子化ＤＣＴ係数に対して２次元逆ＤＣＴ（inverse Discrete Cosine Transform、離散コサイン変換）を行い、空間領域信号として復号された残差信号マクロブロックを生成する。以下、この残差信号マクロブロックを、復号残差信号マクロブロックと呼ぶ。逆量子化・逆ＤＣＴ変換部１１１は、生成した復号残差信号マクロブロックを加算部１１２に出力する。
【００５７】
加算部１１２は、符号化モード判定部１０８から入力されたイントラ予測画像マクロブロック、インター予測画像マクロブロック、又はデプス予測画像マクロブロックに含まれる各画素の信号値と、逆量子化・逆ＤＣＴ変換部１１１から入力された復号残差信号マクロブロックに含まれる各画素の信号値とを加算して、参照画像マクロブロックを生成する。加算部１１２は、生成した参照画像マクロブロックを参照画像メモリ１０４に記憶する。
【００５８】
情報源符号化部１１３は、ＤＣＴ変換・量子化部１１０から入力された量子化ＤＣＴ係数と、インター予測部１０６から入力された動きベクトル又は視差ベクトルと、撮影条件情報とに対して符号化を施し、符号化ストリームを生成する。情報源符号化部１１３は、入力された情報よりも情報量が少ない符号化ストリームを生成する符号化として、例えば可変長符号化を行う。可変長符号化とは、入力された情報において出現頻度がより高い情報ほどより短い符号を、出現頻度が低い情報ほどより長い符号に変換することによって、情報量を圧縮する符号化方式である。情報源符号化部１１３は、生成した符号化ストリームを画像符号化装置１の外部へ出力する。
【００５９】
次に、本実施形態に係るデプス予測部１０７の構成例及びその機能について、図３を参照しながら説明する。図３は、本実施形態に係るデプス予測部１０７の構成例を示す概略図である。
【００６０】
図３で例示するデプス予測部１０７は、距離情報抽出部１０７１、デプス値算出部１０７２、及び予測画像マクロブロック生成部１０７３を含んで構成される。
【００６１】
距離情報抽出部１０７１は、撮影装置３ａ及び撮影装置３ｂから撮影条件情報を入力される。距離情報抽出部１０７１は、入力された撮影条件情報から撮影装置３ａと撮影装置３ｂの間の距離と、撮影装置３ａ及び撮影装置３ｂの焦点距離を抽出する。距離情報抽出部１０７１は、抽出した撮影装置３ａと撮影装置３ｂの間の距離と撮影装置３ａ及び撮影装置３ｂの焦点距離をデプス値算出部１０７２に出力する。
【００６２】
デプス値算出部１０７２は、視差ベクトルメモリ１０３から対象マクロブロックと同一座標のテクスチャ画像マクロブロックに含まれる視差ベクトルを読みだし、距離情報抽出部１０７１から撮影装置３ａと撮影装置３ｂの間のカメラ間隔と撮影装置３ａ及び撮影装置３ｂの焦点距離が入力される。
【００６３】
デプス値算出部１０７２は、読みだした視差ベクトルの水平成分と、カメラ間隔と焦点距離とに基づき、（式１）に従って、デプス値を算出する。
ｄ  ＝  （ｂ×ｆ）／ｖ          …（式１）
但し
ｄ  …  デプス値（奥行き値）
ｂ  …  カメラ間隔
ｆ  …  焦点距離
ｖ  …  視差ベクトルの水平成分
【００６４】
ここで、（式１）と各パラメータの意味を説明する。
図４は、デプス値（奥行き値）と視差値との関係を示す概念図である。２つの視点すなわち撮影装置３ａ，３ｂと、１つの被写体４１が、図４のような位置関係にある場合を想定する。この時、被写体４１の正面の点４２は、撮影装置３ａ，３ｂから焦点距離ｆだけ離れた平面４３上の位置４４ａ及び位置４４ｂに投影される。平面４３が観察時のスクリーン面に相当するとみなすと、位置４４ａ及び４４ｂは、被写体４１上の点４２に関する撮影装置３ａで撮影した画像上と撮影装置３ｂで撮影した画像上との画素の対応点を意味する。
【００６５】
また、撮影装置３ａから点４２を結ぶ直線４５の平行線４５′を図４に示すように引き、平行線４５′と平面４３との交差する点を位置４４ａ′とする。ここで、位置４４ｂと位置４４ａ′との距離が、被写体４１の正面の点４２に対応する視差となる。
【００６６】
そして、２つの撮影装置３ａ，３ｂの間の距離をｂ、撮影装置３ａ，３ｂの焦点距離をｆ、被写体４１の正面の点４２までの距離（代表奥行き値）をｄ、位置４４ｂと位置４４ａ′との距離（視差）をｐとすると、上記各パラメータ（カメラ間隔ｂ、焦点距離ｆ、奥行き値ｄ、視差ｐ）との間には、以下の関係が成り立つ。ここで、代表奥行き値ｄは、（式１）における画像距離（代表値）ｄと同様に、カメラからの実距離であって、奥行き画像における奥行き値そのものではない。
ｂ：ｐ＝ｄ：ｆ          …（式２）
【００６７】
そして、視差ベクトルは、撮影装置３ａ，３ｂが出力したテクスチャ画像間の対応する領域を示しているため、テクスチャ画像間の対応点を示す視差とは類似性が高い。よって、（式２）の視差ｐを視差ベクトルの水平成分ｖにおきかえ、式を変形した（式１）でデプス値ｄを求めることができる。なお、図４では、撮影装置３ａ及び撮影装置３ｂの焦点距離は同一であることを前提としたが、異なる場合も焦点距離が異なるような幾何に従い視差を求めることができるため、同様に視差ｐとして視差ベクトルの水平成分を用いることができる。
【００６８】
図３に戻り、デプス値算出部１０７２は、全画素の画素値が生成したデプス値であるデプス予測マクロブロックを生成する。
【００６９】
デプス値算出部１０７２は、テクスチャ画像マクロブロックが複数のパーティションに分割され符号化される場合には、各パーティションの視差ベクトル毎に（式１）を用いてデプス値を算出する。デプス値算出部１０７２は、全画素の画素値が生成したデプス値で、なお且つ、対応するテクスチャ画像のパーティションと形状が同一の予測画像ブロックを生成する。そして、デプス値算出部１０７２は、パーティション毎に生成した予測画像ブロックを予測画像マクロブロック生成部１０７３に出力する。
【００７０】
一方で、デプス値算出部１０７２は、テクスチャ画像マクロブロックを符号化した際に用いられるパーティションのうち、視差ベクトルを有さないパーティションに関しては、隣接するパーティションのデプス値に基づいて、例えば隣接するパーティションデプス値を平滑化するなどして、パーティションのデプス値を算出すればよい。そして、この場合にも、デプス値算出部１０７２は、パーティション毎に予測画像ブロックを生成し、生成した予測画像ブロックを予測画像マクロブロック生成部１０７３に出力する。
【００７１】
予測画像マクロブロック生成部１０７３は、デプス値算出部１０７２から予測画像ブロックが入力され、その予測画像ブロックからデプス予測マクロブロックを生成する。より具体的には、その予測画像ブロックを対応するパーティションの座標に置くことで、デプス予測マクロブロックの生成を行う。予測画像マクロブロック生成部１０７３は、生成したデプス予測マクロブロックを符号化モード判定部１０８に出力する。
【００７２】
次に、本実施形態に係る画像符号化装置１が行う画像符号化処理について、図５及び図６を参照しながら説明する。図５及び図６は、本実施形態に係る画像符号化装置１が行う画像符号化処理の一例を説明するためのフローチャートである。
【００７３】
まず、ステップＳ１０１において、デプスマップ入力部１０１は、画像前置処理部２からデプスマップをフレーム毎に入力する。その後、ステップＳ１０２へ進む。
【００７４】
ステップＳ１０２において、テクスチャ画像符号化部１０２は、画像前置処理部２からテクスチャ画像をフレーム毎に入力し、各フレームを構成するマクロブロック毎に符号化する。テクスチャ画像符号化部１０２は、符号化して生成したテクスチャ画像符号を画像符号化装置１の外部に出力する。その後、ステップＳ１０３へ進む。
【００７５】
ステップＳ１０３において、テクスチャ画像符号化部１０２は、マクロブロック毎の符号の際に生成した視差ベクトルを視差ベクトルメモリ１０３に記憶する。その後、ステップＳ１０４へ進む。
【００７６】
ステップＳ１０４において、デプス予測部１０７及び情報源符号化部１１３に、撮影装置３ａ及び撮影装置３ｂから撮影条件情報が入力される。その後、ステップＳ１０５に進む。
【００７７】
ステップＳ１０５において、情報源符号化部１１３は入力された撮影装置３ａ及び撮影装置３ｂの撮影条件情報を符号化し符号化ストリームを生成する。符号化の方法は、例えば可変長符号化でもよい。情報源符号化部１１３は生成した符号化ストリームを画像符号化装置１の外部へ出力する。その後、ステップＳ１０６に進む。なお、撮影条件情報の符号化と視差ベクトルの記憶の順序はこれに限ったものではなく、ステップＳ１０１とステップＳ１０２の順序も問わない。
【００７８】
画像符号化装置１は、ステップＳ１０６において、ステップＳ１０７〜Ｓ１２０の処理を、入力されたフレームに含まれるマクロブロック毎に行う。なお、ステップＳ１０７〜Ｓ１０９の順序は問わない。
【００７９】
ステップＳ１０７において、イントラ予測部１０５は、参照画像メモリ１０４から対象マクロブロックと同一フレーム内の対象マクロブロックの上と左に隣接する符号化に係る処理を行った参照画像ブロックを読みだす。イントラ予測部１０５は、読みだした参照マクロブロックに基づいてフレーム内予測を行い、イントラ予測画像マクロブロックを生成する。イントラ予測部１０５は、生成したイントラ予測画像マクロブロックを符号化モード判定部１０８に出力する。その後、ステップＳ１０８へ進む。
【００８０】
ステップＳ１０８において、インター予測部１０６は、デプスマップ入力部１０１から対象マクロブロックを入力し、参照画像メモリ１０４から参照画像を構成する参照画像ブロックを読み出す。インター予測部１０６は、対象マクロブロックを１つ若しくは複数のパーティションに分割し、各々のパーティションに対して、順次、動きベクトル又は視差ベクトルを検出する。インター予測部１０６は、対象マクロブロックを構成する上記パーティションのサイズのうち、符号化コストが最小となるパーティションのサイズを選択する。インター予測部１０６は、符号化コストが最小となったパーティションのサイズと各パーティションの動きベクトル又は視差ベクトルに基づいて動き補償又は視差補償を行い、インター予測画像マクロブロックを生成する。インター予測部１０６は、算出したベクトルを情報源符号化部１１３に出力する。インター予測部１０６は、生成したインター予測画像マクロブロックを符号化モード判定部１０８に出力する。その後、ステップＳ１０９に進む。
【００８１】
ステップＳ１０９において、デプス予測部１０７は、視差ベクトルメモリ１０３から視差ベクトルを読みだす。デプス予測部１０７は、撮影条件情報及び視差ベクトルに基づいてデプス値を算出する。そして、デプス予測部１０７は、算出したデプス値からデプス予測画像マクロブロックを生成する。デプス予測部１０７は、デプス予測画像マクロブロックを符号化モード判定部１０８に出力する。その後、ステップＳ１１０に進む。
【００８２】
ステップＳ１１０において、符号化モード判定部１０８は、デプスマップ入力部１０１から対象マクロブロックを、イントラ予測部１０５からイントラ予測画像マクロブロックを、インター予測部１０６からインター予測画像マクロブロックを、デプス予測部１０７からデプス予測画像マクロブロックを、それぞれ入力として受け取る。符号化モード判定部１０８は、入力された３つの予測画像マクロブロックに基づいて最も符号化効率の高い符号化モードを選択する。符号化モード判定部１０８は、選択された符号化モードに対応する予測画像マクロブロックを減算部１０９と加算部１１２に出力するとともに、選択された符号化モードに対応する符号化モード信号を生成し情報源符号化部１１３に出力する。その後、ステップＳ１１１に進む。
【００８３】
ステップ１１１において、減算部１０９は、デプスマップ入力部１０１から入力された対象マクロブロックに含まれる各画素の信号値から符号化モード判定部１０８から入力されたイントラ予測画像マクロブロック、インター予測画像マクロブロック、又はデプス予測画像マクロブロックに含まれる各画素の信号値を減算して、残差信号マクロブロックを算出する。減算部１０９は、算出した残差信号マクロブロックをＤＣＴ変換・量子化部１１０に出力する。その後、ステップＳ１１２に進む。
【００８４】
ステップＳ１１２において、ＤＣＴ変換・量子化部１１０は、減算部１０９から入力された残差信号マクロブロックに対して二次元ＤＣＴを行い、ＤＣＴ係数を算出した後、ＤＣＴ係数の量子化を行い、量子化ＤＣＴ係数を生成する。ＤＣＴ変換・量子化部１１０は、生成した量子化ＤＣＴ係数を逆量子化・逆ＤＣＴ変換部１１１及び情報源符号化部１１３に出力する。その後、ステップＳ１１３に進む。
【００８５】
ステップＳ１１３において、逆量子化・逆ＤＣＴ変換部１１１は、ＤＣＴ変換・量子化部１１０から入力された量子化ＤＣＴ係数に逆量子化を行い、逆量子化ＤＣＴ係数を生成した後、逆量子化ＤＣＴ係数に対して２次元逆ＤＣＴを行い、復号残差信号マクロブロックを生成する。逆量子化・逆ＤＣＴ変換部１１１は、生成した復号残差信号マクロブロックを加算部１１２に出力する。その後、ステップＳ１１４に進む。
【００８６】
ステップＳ１１４において、加算部１１２は、符号化モード判定部１０８から入力されたイントラ予測画像マクロブロック、インター予測画像マクロブロック、又はデプス予測画像マクロブロックに含まれる各画素の信号値と、逆量子化・逆ＤＣＴ変換部１１１から入力された復号残差信号マクロブロックに含まれる各画素の信号値とを加算して、参照画像マクロブロックを生成する。その後、ステップＳ１１５に進む。
【００８７】
ステップＳ１１５において、加算部１１２は、生成した参照画像マクロブロックを参照画像メモリ１０４に記憶する。その後、ステップＳ１１６において、符号化モード判定部１０８による符号化モードの判定結果に従い、符号化モードがインター予測の場合には（ステップＳ１１６でＹＥＳ）、ステップＳ１１７に進み、符号化モードがイントラ予測若しくはデプス予測の場合には（ステップＳ１１６でＮＯ）、ステップＳ１１８に進む。
【００８８】
ステップＳ１１７において、情報源符号化部１１３は、符号化モード判定部１０８から入力されたインター予測符号化モードであることを示す符号化モード信号、ＤＣＴ変換・量子化部１１０から入力された量子化ＤＣＴ係数、及びインター予測部１０６から入力された動きベクトル又は視差ベクトルを符号化し、符号化ストリームを生成する。その後、ステップＳ１１９に進む。
【００８９】
ステップＳ１１８において、情報源符号化部１１３は、符号化モード判定部１０８から入力された符号化モードを示す符号化モード信号とＤＣＴ変換・量子化部１１０から入力された量子化ＤＣＴ係数とを符号化し、符号化ストリームを生成する。その後、ステップＳ１１９に進む。
【００９０】
ステップＳ１１９において、情報源符号化部１１３は、生成した符号化ストリームを画像符号化装置１の外部へ出力する。その後、ステップＳ１２０に進む。
【００９１】
ステップＳ１２０において、画像符号化装置１は、符号化対象のマクロブロックをラスタースキャンの順序で順次に変更し、ステップＳ１０７に戻る。但し、画像符号化装置１は、入力されたデプスマップのフレームに符号化に係る処理がまだ行われていないブロックがないと判定した場合には、そのフレームに対する処理を終了する。
【００９２】
次に、本実施形態に係るデプス予測部１０７におけるデプス予測画像マクロブロック生成処理について、図７及び図８を参照しながら説明する。図７及び図８は、本実施形態に係るデプス予測部１０７におけるデプス予測画像マクロブロック生成処理の一例を説明するためのフローチャートである。この処理は、上述のステップＳ１０９に相当する処理である。
【００９３】
まず、ステップＳ２０１において、距離情報抽出部１０７１に、撮影装置３ａ及び３ｂから撮影条件情報が入力される。その後、ステップＳ２０２に進む。
【００９４】
ステップＳ２０２において、距離情報抽出部１０７１は、撮影条件情報から撮影装置３ａと３ｂの間のカメラ間隔と撮影装置３ａ及び３ｂの焦点距離を抽出する。距離情報抽出部１０７１は、抽出したカメラ間隔と焦点距離をデプス値算出部１０７２に出力する。その後、ステップＳ２０３に進む。
【００９５】
ステップＳ２０３において、デプス値算出部１０７２は、ステップＳ２０４〜Ｓ２０７の処理を、対象マクロブロックに対応するテクスチャ画像マクロブロック内のパーティション毎に（つまりパーティションの数だけ）行う。
【００９６】
まず、ステップＳ２０４において、対象マクロブロックに対応するテクスチャ画像マクロブロック内の処理対象のパーティションの視差ベクトルが存在するのであれば（ステップＳ２０４でＹＥＳ）、ステップＳ２０５に進み、視差ベクトルが存在しない場合（ステップＳ２０４でＮＯ）には、ステップＳ２０７に進む。
【００９７】
ステップＳ２０５において、デプス値算出部１０７２は、テクスチャ画像マクロブロック内の処理対象のパーティションに対応する視差ベクトルを読みだす。その後、ステップＳ２０６に進む。
【００９８】
ステップＳ２０６において、デプス値算出部１０７２は、カメラ間隔と焦点距離と視差ベクトルとに基づいてデプス値を算出する。デプス値算出部１０７２は、算出したデプス値に基づいて予測画像ブロックを生成する。デプス値算出部１０７２は、生成した予測画像ブロックを予測画像マクロブロック生成部１０７３に出力する。その後、ステップＳ２０７に進む。
【００９９】
ステップＳ２０７において、デプス値算出部１０７２は、テクスチャ画像マクロブロックのパーティションを順次変更し、ステップＳ２０４に戻る。但し、デプス値算出部１０７２は、テクスチャ画像マクロブロック内の全パーティションに対して処理を行ったと判断した場合には、ステップＳ２０８に進む。
【０１００】
ステップＳ２０８において、テクスチャ画像マクロブロックのパーティション全てに対してデプス値が算出されていなければ（ステップＳ２０８でＹＥＳ）、ステップＳ２０９に進み、そうでなければ（ステップＳ２０８でＮＯ）、ステップＳ２１０に進む。
【０１０１】
ステップＳ２１０において、デプス値算出部１０７２は、ステップＳ２１１〜Ｓ２１４の処理を、対象マクロブロックに対応するテクスチャ画像マクロブロック内のパーティション毎に（つまりパーティションの数だけ）行う。
【０１０２】
まず、ステップＳ２１１において、処理対象のパーティションについて、すでにデプス値が設定されている場合には（ステップＳ２１１でＹＥＳ）、ステップＳ２１４に進み、デプス値が設定されていない場合には（ステップＳ２１１でＮＯ）、ステップＳ２１２に進む。
【０１０３】
ステップＳ２１２において、処理対象のパーティションに隣接するパーティションについて、すでにデプス値が設定されている場合には（ステップＳ２１２でＹＥＳ）、ステップＳ２１３に進み、デプス値が設定されていない場合には（ステップＳ２１２でＮＯ）、ステップＳ２１４に進む。
【０１０４】
ステップＳ２１３において、デプス値算出部１０７２は、処理対象のパーティションに隣接するパーティションからデプス値を算出する。たとえば、処理対象のパーティションに隣接しており、なお且つ、デプス値が設定されているパーティションのデプス値の平均値を算出する。他にも、中央値や、最も処理対象のパーティションと設置している面積の大きいパーティションのデプス値を算出結果とする方法でもよい。なお、本発明は、具体的なデプス値の算出方法によって限定されるものではない。
【０１０５】
次に、デプス値算出部１０７２は、算出したデプス値に基づいて予測画像ブロックを生成する。デプス値算出部１０７２は、生成した予測画像ブロックを予測画像マクロブロック生成部１０７３に出力する。その後、ステップＳ２１４に進む。
【０１０６】
ステップＳ２１４において、デプス値算出部１０７２は、テクスチャ画像マクロブロックのパーティションを順次変更し、ステップＳ２１１に戻る。但し、デプス値算出部１０７２は、テクスチャ画像マクロブロック内の全パーティションに対して処理を行ったと判断した場合には、ステップＳ２１５に進む。
【０１０７】
ステップＳ２１５において、テクスチャ画像マクロブロックのパーティション全てに対してデプス値が算出されていれば（ステップＳ２１５でＹＥＳ）、ステップＳ２０９に進み、デプス値が算出されていないパーティションが存在するのであれば（ステップＳ２１５でＮＯ）、ステップＳ２１０に戻る。これにより、ステップＳ２１２でＮＯの場合でも処理の繰り返しにより隣接するパーティションのデプス値が存在するようになるため、全パーティションについてデプス値の設定を終えることができる。
【０１０８】
ステップＳ２０９において、予測画像マクロブロック生成部１０７３は、入力された予測画像ブロックを対応するパーティションと同じ座標に置くことでデプス予測画像マクロブロックを生成する。予測画像マクロブロック生成部１０７３は、生成したデプス予測画像マクロブロックを符号化モード判定部１０８へ出力し、処理を終了する。
【０１０９】
以上のように本実施形態に係る画像符号化装置１では、テクスチャ画像マクロブロックを符号化した際に用いられた視差ベクトルと撮影条件情報とに基づいて、デプス値を算出している。そして、この画像符号化装置１では、算出したデプス値からデプス予測画像マクロブロックを生成している。
【０１１０】
次に、本実施形態に係る画像復号装置について説明する。本実施形態に係る画像復号装置は、上述した画像符号化装置１での画像符号化方法に従いデプス予測画像マクロブロックを用いて符号化された、画素毎のデプス値からなるデプスマップを構成する一部の領域であるマクロブロックを復号する画像復号部を備えている。以下、このような画像復号装置の構成例について図９を参照しながら説明する。図９は、本実施形態に係る画像復号装置の構成例を示す概略図である。
【０１１１】
図９で例示する画像復号装置４は、情報源復号部４０１、テクスチャ画像復号部４０２、視差ベクトルメモリ４０３、逆量子化・逆ＤＣＴ変換部４０４、加算部４０５、参照画像メモリ４０６、イントラ予測画像生成部４０７、インター予測画像生成部４０８、デプス予測部４０９、符号化モード判定部４１０、及び画像出力部４１１を含んで構成される。
【０１１２】
情報源復号部４０１は、画像復号装置４の外部から入力された、デプスマップについてのブロック毎の符号化ストリームを復号し、撮影条件情報、量子化ＤＣＴ係数、動きベクトル又は視差ベクトル、及び符号化モードがイントラ予測かインター予測かデプス予測のいずれかであることを示す符号化モード信号を生成する。情報源復号部４０１が行う復号方法は、情報源符号化部１１３が行った符号化方法とは逆の処理である。即ち、情報源符号化部１１３が可変長符号化を行った場合は、情報源復号部４０１は可変長復号を行う。情報源復号部４０１は、生成した動きベクトル又は視差ベクトルをインター予測画像生成部４０８に出力する。情報源復号部４０１は、量子化ＤＣＴ係数を生成した場合、生成した量子化ＤＣＴ係数を逆量子化・逆ＤＣＴ変換部４０４に出力する。情報源復号部４０１は、生成した符号化モード信号を符号化モード判定部４１０に出力する。
【０１１３】
テクスチャ画像復号部４０２は、画像復号装置４の外部からテクスチャ画像符号をマクロブロック毎に入力し、公知の画像復号方法、例えば非特許文献１である、ＩＴＵ−Ｔ  Ｈ．２６４規格書に記載された復号方法を用いて復号する。テクスチャ画像復号部４０２は、復号して生成したテクスチャ画像マクロブロックを画像復号装置４の外部に出力する。
【０１１４】
テクスチャ画像復号部４０２は、テクスチャ画像の各マクロブロックが視差補償によって符号化されていた場合には、検出した視差ベクトルを視差ベクトルメモリ４０３に記憶する。テクスチャ画像復号部４０２は、マクロブロックが複数のパーティションに分割して符号化されていた場合には、各パーティション毎の視差ベクトルを視差ベクトルメモリ４０３に記憶する。
【０１１５】
逆量子化・逆ＤＣＴ変換部４０４は、情報源復号部４０１から入力された量子化ＤＣＴ係数に逆量子化を行い、逆量子化ＤＣＴ係数を生成した後、逆量子化ＤＣＴ係数に対して２次元逆ＤＣＴを行い、空間領域信号として復号残差信号ブロックを生成する。逆量子化・逆ＤＣＴ変換部４０４は、復号残差信号ブロックを加算部４０５に出力する。
【０１１６】
加算部４０５は、符号化モード判定部４１０から入力されたイントラ予測画像マクロブロック、インター予測画像マクロブロック、又はデプス予測画像マクロブロックのいずれかに含まれる各画素の信号値と、逆量子化・逆ＤＣＴ変換部４０４から入力された復号残差信号ブロックに含まれる各画素の信号値とを加算して、参照画像マクロブロックを生成する。加算部４０５は、生成した参照画像マクロブロックを参照画像メモリ４０６に記憶し、画像出力部４１１に出力する。
【０１１７】
参照画像メモリ４０６は、加算部４０５から入力された参照画像マクロブロックを、対応するフレームにおける復号対象マクロブロックの位置に配置して参照画像として記憶する。参照画像メモリ４０６は、現在から予め設定されたフレーム数（例えば１５フレーム）過去のフレームの参照画像を記憶し、記憶されたフレーム数が予め設定されたフレーム数を超えたとき、例えば１６フレーム目の参照画像が入力された時、それ以前の過去のフレームの参照画像を全て削除する。
【０１１８】
イントラ予測画像生成部４０７は、参照画像メモリ４０６から対象マクロブロックと同一フレーム内の対象マクロブロックの左と上に隣接する符号化に係る処理を行った参照画像マクロブロックを読みだし、読みだした参照画像マクロブロックに基づいてフレーム内予測を行い、イントラ予測画像マクロブロックを生成する。イントラ予測画像生成部４０７は、生成したイントラ予測画像マクロブロックを符号化モード判定部４１０に出力する。
【０１１９】
インター予測画像生成部４０８は、情報源復号部４０１から動きベクトル又は視差ベクトルを入力される。インター予測画像生成部４０８は、対象マクロブロックを構成するパーティション毎に参照画像メモリ４０６から参照画像を構成する参照画像ブロックを読み出す。このパーティションのサイズは、テクスチャ画像復号部４０２で使用されるパーティションのサイズと同じである。インター予測画像生成部４０８が参照画像ブロックを読み出す座標は、復号対象パーティションの座標に情報源復号部４０１から入力された動きベクトル又は視差ベクトルを加算することによって補償した座標であり、また、参照画像ブロックの大きさは対応するパーティションの大きさと同一である。インター予測画像生成部４０８は、読みだした参照画像ブロックの座標をパーティションの座標に合わせる処理をすることによってインター予測画像マクロブロックを生成する。インター予測画像生成部４０８は、生成したインター予測画像マクロブロックを符号化モード判定部４１０に出力する。
【０１２０】
デプス予測部４０９は、情報源復号部４０１から撮影条件情報が入力され、視差ベクトルメモリ４０３から対象マクロブロックに対応するテクスチャ画像マクロブロックの視差ベクトルを読みだす。デプス予測部４０９は、撮影条件情報及び視差ベクトルに基づいてデプス値を算出する。そして、デプス予測部４０９は、算出したデプス値からデプス予測画像マクロブロックを生成する。デプス予測部４０９は、デプス予測画像マクロブロックを符号化モード判定部４１０に出力する。デプス予測部４０９における処理の詳細は、画像符号化装置１のデプス予測部１０７と同様である。
【０１２１】
符号化モード判定部４１０は、情報源復号部４０１からの符号化モード信号と、イントラ予測画像生成部４０７からのイントラ予測画像マクロブロックと、インター予測画像生成部４０８からのインター予測画像マクロブロックと、デプス予測部４０９からのデプス予測画像マクロブロックとを入力する。符号化モード判定部４１０は、符号化モード信号が示す符号化モードに基づいて、イントラ予測画像マクロブロック、インター予測画像マクロブロック、又はデプス予測画像マクロブロックのいずれかを、加算部４０５に出力する。
【０１２２】
画像出力部４１１は、加算部４０５から入力された参照画像マクロブロックを、対応するフレームにおける復号対象マクロブロックの位置に配置して参照画像をフレーム毎に生成する。画像出力部４１１は、生成した参照画像を復号テクスチャ画像としてフレーム毎に画像復号装置４の外部に出力する。
【０１２３】
次に、本実施形態に係る画像復号装置４が行う画像復号処理について、図１０及び図１１を参照しながら説明する。図１０及び図１１は、本実施形態に係る画像復号装置４が行う画像復号処理の一例を説明するためのフローチャートである。
【０１２４】
まず、ステップＳ３０１において、情報源復号部（デプスマップ復号部）４０１は、画像復号装置４の外部から符号化ストリームを入力する。その後、ステップＳ３０２に進む。
【０１２５】
ステップＳ３０２において、デプスマップ復号部４０１は、符号化ストリームから撮影条件情報を復号する。デプスマップ復号部４０１は、復号した撮影条件情報をデプス予測部４０９に出力する。その後、ステップＳ３０３に進む。
【０１２６】
画像復号装置４は、ステップＳ３０３において、ステップＳ３０４〜Ｓ３１５の処理をマクロブロック毎に行う。
まず、ステップＳ３０４において、テクスチャ画像復号部４０２は、画像復号装置４の外部からテクスチャ画像符号（符号化ストリームにおけるテクスチャ画像符号）を入力し、ステップＳ３０５に進む。なお、この例では、図５で例示したように撮影条件情報が符号化ストリームの先頭側にあることを前提としている。ステップＳ３０５において、テクスチャ画像復号部４０２は、入力されたテクスチャ画像符号を復号し、テクスチャ画像マクロブロックを生成する。テクスチャ画像復号部４０２は、生成したテクスチャ画像マクロブロックを画像復号装置４の外部に出力する。その後、ステップＳ３０６に進む。
【０１２７】
ステップＳ３０６において、テクスチャ画像復号部４０２は、復号したテクスチャ画像マクロブロックの視差ベクトルを視差ベクトルメモリ４０３に記憶する。その後、ステップＳ３０７に進む。
【０１２８】
ステップＳ３０７において、情報源復号部４０１は、ステップＳ３０１において入力された符号化ストリームの復号（この例では可変長復号）を行い、符号化モード信号と量子化ＤＣＴ係数と動きベクトル又は視差ベクトルを生成する。情報源復号部４０１は、生成した符号化モード信号を符号化モード判定部４１０に出力し、生成した量子化ＤＣＴ係数を逆量子化・逆ＤＣＴ変換部４０４に出力し、生成した動きベクトル又は視差ベクトルをインター予測画像生成部４０８に出力する。その後、ステップＳ３０８に進む。
【０１２９】
ステップＳ３０８において、逆量子化・逆ＤＣＴ変換部４０４は、情報源復号部４０１から入力された量子化ＤＣＴ係数に対して逆量子化を行い、逆量子化ＤＣＴ係数を生成した後、逆量子化ＤＣＴ係数に対して２次元逆ＤＣＴを行い、復号残差信号ブロックを生成する。逆量子化・逆ＤＣＴ変換部４０４は、復号残差信号ブロックを加算部４０５に出力する。その後、ステップＳ３０９に進む。
【０１３０】
ステップＳ３０９において、インター予測画像生成部４０８は、情報源復号部４０１から対象マクロブロック内の全てのパーティションに対応する動きベクトル又は視差ベクトルを読みだす。インター予測画像生成部４０８は、情報源復号部４０１から読み出した動きベクトル又は視差ベクトルに基づいて動き補償又は視差補償を行うことで、インター予測画像マクロブロックを生成する。インター予測画像生成部４０８は、生成したインター予測画像マクロブロックを符号化モード判定部４１０に出力する。その後、ステップＳ３１０に進む。
【０１３１】
ステップＳ３１０において、イントラ予測画像生成部４０７は、参照画像メモリ４０６から対象マクロブロックと同一フレーム内の対象マクロブロックの上と左に隣接する復号に係る処理を行った参照画像ブロックを読みだす。イントラ予測画像生成部４０７は、読みだした参照画像マクロブロックに基づいてフレーム内予測を行い、イントラ予測画像マクロブロックを生成する。イントラ予測画像生成部４０７は、生成したイントラ予測画像マクロブロックを符号化モード判定部４１０に出力する。その後、ステップＳ３１１へ進む。
【０１３２】
ステップＳ３１１において、デプス予測部４０９は、視差ベクトルメモリ４０３から視差ベクトルを読みだす。デプス予測部４０９は、デプス予測部１０７と同様の方法で、撮影条件情報及び視差ベクトルに基づいてデプス値を算出する。そして、デプス予測部４０９は、算出したデプス値からデプス予測画像マクロブロックを生成し、そのデプス予測画像マクロブロックを符号化モード判定部４１０に出力する。その後、ステップＳ３１２に進む。
【０１３３】
ステップＳ３１２において、符号化モード判定部４１０は、情報源復号部４０１からの符号化モード信号と、イントラ予測画像生成部４０７からのイントラ予測画像マクロブロックと、インター予測画像生成部４０８からのインター予測画像マクロブロックと、デプス予測部４０９からのデプス予測画像マクロブロックとを入力する。符号化モード判定部４１０は、符号化モード信号が示す符号化モードに基づいて、イントラ予測画像マクロブロック、インター予測画像マクロブロック、又はデプス予測画像マクロブロックのいずれを出力するかを判定し、判定結果に従ったマクロブロックを加算部４０５に出力する。その後、ステップＳ３１３に進む。
【０１３４】
ステップＳ３１３において、加算部４０５は、符号化モード判定部４１０から入力されたイントラ予測画像マクロブロック、インター予測画像マクロブロック、又はデプス予測画像マクロブロックに含まれる各画素の信号値と、逆量子化・逆ＤＣＴ変換部４０４から入力された復号残差信号マクロブロックに含まれる各画素の信号値とを加算して、参照画像マクロブロックを生成する。その後、ステップＳ３１４に進む。
【０１３５】
ステップＳ３１４において、加算部４０５は、生成した参照画像マクロブロックを参照画像メモリ４０６に記憶し、画像出力部４１１に出力する。その後、ステップＳ３１５に進む。
【０１３６】
ステップＳ３１５において、画像復号装置４は、復号対象マクロブロックをラスタースキャンの順序で変更し、ステップＳ３０４に戻る。但し、画像復号装置４は、入力された符号化ストリームのフレームにおいて復号が行われていないマクロブロックがないと判定した場合には、そのフレームに対する処理を終了する。
【０１３７】
以上のように、本実施形態では、画素毎のデプス値からなるデプスマップを構成する一部の領域であるマクロブロック毎に符号化する際、上記１つのマクロブロックに対応するテクスチャ画像のマクロブロックが有する視差ベクトルと、撮影装置３ａ及び３ｂの撮影条件とに基づいてデプス値を算出し、算出したデプス値からデプス予測画像マクロブロックを生成する。
【０１３８】
これにより、本実施形態では、対象マクロブロックを符号化する際に用いる予測画像マクロブロックを、デプス値（奥行き）と相関関係にある視差と類似した値を持つ視差ベクトルに基づいて生成することにより、対象マクロブロックとより類似した予測画像マクロブロックを生成することができ、符号化効率を向上させることができる。
【０１３９】
（第２の実施形態）
本発明は、コンピュータ読み取り可能な記録媒体に、画像符号化プログラム及び／又は画像復号プログラムを記録することで、符号化対象のデプスマクロブロックの残差成分の符号量を削減することが可能である。
【０１４０】
この画像符号化プログラムは、上記第１の実施形態で示したように、デプスマップを符号化する際に、テクスチャ画像の視差ベクトルを用いてデプス予測画像マクロブロックを生成し、そのデプス予測画像マクロブロックを用いてデプスマップを予測符号化する画像符号化処理を、コンピュータに実行させるためのプログラムである。
【０１４１】
この画像符号化処理は、１つのマクロブロックについて、画素毎の輝度値からなるテクスチャ画像のうち上記１つのマクロブロックに対応する領域であるテクスチャ画像マクロブロックの視差ベクトルと、撮影装置間の距離と撮影装置の焦点距離とを含む撮影条件情報とに基づいてデプス値を算出するステップと、算出したデプス値に基づいてデプス予測画像マクロブロックを生成するステップとを有する。その他の応用例については、第１の実施形態で説明した通りであり、その説明を省略する。
【０１４２】
また、上述の画像復号プログラムは、上述した画像符号化方法に従い（若しくは、上述した画像符号化装置或いは画像符号化プログラムにて）デプス予測画像マクロブロックを用いて予測符号化された、画素毎の視点からの距離を示すデプス値からなるデプスマップを構成する一部の領域であるマクロブロックを復号する画像復号ステップを、コンピュータに実行させるためのプログラムである。その他の応用例については、第１の実施形態で説明した通りであり、その説明を省略する。
【０１４３】
この画像符号化プログラムや画像復号プログラムは、換言すれば、第１の実施形態における画像符号化装置１の全部及び／又は画像復号装置４の全部をコンピュータで実現するように構成する場合に、実行可能に組み込むプログラムである。無論、第１の実施形態における画像符号化装置１の一部及び／又は画像復号装置４の一部のみを、コンピュータで実現するようにしてもよい。
【０１４４】
上記の記録媒体としては、マイクロコンピュータで処理が行われるために図示しないメモリ、例えばＲＯＭのようなプログラムメディアであってもよく、図示しない外部記憶装置としてのプログラム読取装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであってもよい。いずれの場合においても、格納されているプログラムはマイクロプロセッサがアクセスして実行させる構成であってもよいし、プログラムを読み出し、読み出されたプログラムは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。この場合、ダウンロード用のプログラムは予め本体装置に格納されているものとする。
【０１４５】
ここで、上記プログラムメディアは、コンピュータ本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フロッピーディスク（登録商標）やハードディスク等の磁気ディスク並びにＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、或いはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。また、この場合、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予めコンピュータ本体に格納しておくか、或いは別の記録媒体からインストールされるものであってもよい。
【０１４６】
上記の記録媒体は、デジタルカラー画像形成装置やコンピュータシステムに備えられるプログラム読み取り装置により読み取られることで、上述した画像符号化方法や画像復号方法が実行される。なお、上記コンピュータシステムは、ＷＥＢカメラなどの汎用画像入力装置、所定のプログラムがロードされることにより上記画像処理方法など様々な処理が行われるコンピュータ、コンピュータの処理結果を表示するディスプレイ・液晶ディスプレイなどの画像表示装置より構成される。さらには、ネットワークを介してサーバなどに接続するための通信手段としてのネットワークカードやモデムなどが備えられる。
【０１４７】
（その他）
なお、全ての実施形態において、２つのカメラで撮影した２視点の画像信号に対応するデプスマップの符号化及び復号について説明したが、本発明を２視点より多い複数のカメラで撮影した多視点画像信号に対して適用してもよい。例えば３視点画像信号に対応するデプスマップを入力し、そのうち１つの視点のデプスマップを、該デプスマップに対応するテクスチャ画像を利用してデプス値を推定することで符号化し、符号化する対象を切り替えていくことで、３つの視点のデプスマップの符号化を行うことができる。
【０１４８】
また、上述した実施形態における画像符号化装置１及び画像復号装置４の一部又は全部を、ＬＳＩ（Large Scale Integration）等の集積回路又はＩＣ（Integrated Circuit）チップセットとして実現してもよい。画像符号化装置１及び画像復号装置４の各機能ブロックは個別にプロセッサ化してもよいし、一部又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
【０１４９】
また、本発明は、画像符号化装置、画像復号装置における処理の流れを例示したように、さらには画像符号化プログラム、画像復号プログラムの処理として説明したように、画像符号化方法、画像復号方法としての形態も採り得る。
【０１５０】
この画像符号化方法は、画素毎の視点からの距離を示すデプス値からなるデプスマップを構成する一部の領域であるマクロブロック毎に、画像符号化装置がデプス予測画像マクロブロックを用いて上記デプスマップの予測符号化を行う方法である。そして、この方法は、画像符号化装置が、１つのマクロブロックについて、画素毎の輝度値からなるテクスチャ画像のうち上記１つのマクロブロックに対応する領域であるテクスチャ画像マクロブロックの視差ベクトルと、撮影装置間の距離と撮影装置の焦点距離とを含む撮影条件情報とに基づいてデプス値を算出する算出ステップと、画像符号化装置が、算出したデプス値に基づいてデプス予測画像マクロブロックを生成する生成ステップとを有する。その他の応用例については、第１の実施形態において画像符号化装置について説明した通りである。
【０１５１】
上記の画像復号方法は、上述の画像符号化方法に従いデプス予測画像マクロブロックを用いて予測符号化された、画素毎の視点からの距離を示すデプス値からなるデプスマップを構成する一部の領域であるマクロブロックを、画像復号装置が復号する画像復号ステップを有する。その他の応用例については、第１の実施形態において画像復号装置について説明した通りである。
【符号の説明】
【０１５２】
１…画像符号化装置、２…画像前置処理部、３ａ，３ｂ…撮影装置、４…画像復号装置、１０１…デプスマップ入力部、１０２…テクスチャ画像符号化部、１０３…視差ベクトルメモリ、１０４…参照画像メモリ、１０５…イントラ予測部、１０６…インター予測部、１０７…デプス予測部、１０８…符号化モード判定部、１０９…減算部、１１０…ＤＣＴ変換・量子化部、１１１…逆量子化・逆ＤＣＴ変換部、１１２…加算部、１１３…情報源符号化部、４０１…情報源復号部（デプスマップ復号部）、４０２…テクスチャ画像復号部、４０３…視差ベクトルメモリ、４０４…逆量子化・逆ＤＣＴ変換部、４０５…加算部、４０６…参照画像メモリ、４０７…イントラ予測画像生成部、４０８…インター予測画像生成部、４０９…デプス予測部、４１０…符号化モード判定部、４１１…画像出力部、１０７１…距離情報抽出部、１０７２…デプス値算出部、１０７３…予測画像マクロブロック生成部。
【図１】
2013106337.tif 000003
【図２】
2013106337.tif 000004
【図３】
2013106337.tif 000005
【図４】
2013106337.tif 000006
【図５】
2013106337.tif 000007
【図６】
2013106337.tif 000008
【図７】
2013106337.tif 000009
【図８】
2013106337.tif 000010
【図９】
2013106337.tif 000011
【図１０】
2013106337.tif 000012
【図１１】
2013106337.tif 000013