(57)【要約】      （修正有）【課題】処理対象の多視点画像に付随する奥行き画像を疎表現化する疎表現奥行き画像生成装置及びそのプログラムを提供する。【解決手段】異なる視点の２枚の画像の中間に位置する画像を生成する中間画像生成部２０と、当該異なる視点の２枚の画像の中間に位置する予め用意した基準中間画像と、当該中間画像との誤差の最小値の絶対値を対応する画素位置毎に算出する中間画像誤差算出部３０と、所定の画素数からなるブロック単位で、前記中間奥行き画像における許容誤差範囲を算出する許容誤差範囲算出部４０と、当該量子化処理後においても当該許容誤差範囲内に収まる画素値を有するブロックとなるよう所定の直交変換の変換係数に対する最小化処理を施す量子化ゼロ係数最大化処理部５０と、最小化処理を施したブロック毎の画素値を、当該中間奥行き画像に対応する画素位置に再構築して新たな奥行き画像を生成する疎表現奥行き画像生成部６０とを備える。【選択図】図１
2012119901.tif 000002
【特許請求の範囲】
【請求項１】
処理対象の多視点画像に付随する奥行き画像を疎表現化する疎表現奥行き画像生成装置であって、
処理対象の多視点画像のうち、３次元空間的に隣接する異なる視点の画像を選択し、この異なる視点の２枚の画像と対応する奥行き画像を用いて、当該異なる視点の２枚の画像の中間に位置する中間画像及び対応する中間奥行き画像を生成する中間画像生成部と、
当該異なる視点の２枚の画像の中間に位置する予め用意した基準中間画像と、当該中間画像との誤差の最小値の絶対値を対応する画素位置毎に算出する中間画像誤差算出部と、
所定のしきい値と当該画素位置毎の誤差の最小値の絶対値の情報を用いて、所定の画素数からなるブロック単位で、前記中間奥行き画像における許容誤差範囲を算出する許容誤差範囲算出部と、
前記中間奥行き画像における許容誤差範囲の情報を用いて、当該中間奥行き画像に対して直交変換及び量子化を施しながら、当該量子化処理後においても当該許容誤差範囲内に収まる画素値を有するブロックとなるよう当該直交変換の変換係数に対する最小化処理を施して、当該許容誤差範囲内で量子化ゼロ係数を最大化する画素値を当該ブロックごとに決定する量子化ゼロ係数最大化処理部と、
前記ブロック毎の画素値を、当該中間奥行き画像に対応する画素位置に再構築して新たな奥行き画像を疎表現奥行き画像として生成する疎表現奥行き画像生成部と、
を備えることを特徴とする、疎表現奥行き画像生成装置。
【請求項２】
前記最小化処理は、ｌ０ノルムの最小化処理又は加重ｌ１ノルムの最小化処理からなることを特徴とする、請求項１に記載の疎表現奥行き画像生成装置。
【請求項３】
前記最小化処理は、加重ｌ１ノルムの最小化処理からなり、
前記量子化ゼロ係数最大化処理部は、
（ａ）前記直交変換の変換係数に対する全ての基底関数に対して、初期重みを設定する手段と、
（ｂ）該変換係数に関して、ｌ１ノルムの最小化問題を解決する手段と、
（ｃ）前記全ての基底関数に対して、繰返し演算で用いた前回値の変換係数に基づく重みを設定する手段と、
（ｄ）当該変換係数が収束するまで、前記手段（ｂ）及び（ｃ）を繰り返す手段と、
を有することを特徴とする、請求項２に記載の疎表現奥行き画像生成装置。
【請求項４】
処理対象の多視点画像に付随する奥行き画像を疎表現化する疎表現奥行き画像生成装置として構成するコンピュータに、
処理対象の多視点画像のうち、３次元空間的に隣接する異なる視点の画像を選択し、この異なる視点の２枚の画像と対応する奥行き画像を用いて、当該異なる視点の２枚の画像の中間に位置する中間画像及び対応する中間奥行き画像を生成するステップと、
当該異なる視点の２枚の画像の中間に位置する予め用意した基準中間画像と、当該中間画像との誤差の最小値の絶対値を対応する画素位置毎に算出するステップと、
所定のしきい値と当該画素位置毎の誤差の最小値の絶対値の情報を用いて、所定の画素数からなるブロック単位で、前記中間奥行き画像における許容誤差範囲を算出するステップと、
前記中間奥行き画像における許容誤差範囲の情報を用いて、当該中間奥行き画像に対して直交変換及び量子化を施しながら、当該量子化処理後においても当該許容誤差範囲内に収まる画素値を有するブロックとなるよう当該直交変換の変換係数に対する最小化処理を施して、当該許容誤差範囲内で量子化ゼロ係数を最大化する画素値を当該ブロックごとに決定するステップと、
前記ブロック毎の画素値を、当該中間奥行き画像に対応する画素位置に再構築して新たな奥行き画像を疎表現奥行き画像として生成するステップと、
を実行させるためのプログラム。
【請求項５】
前記最小化処理は、ｌ０ノルムの最小化処理又は加重ｌ１ノルムの最小化処理からなることを特徴とする、請求項４に記載のプログラム。
【請求項６】
前記最小化処理は、加重ｌ１ノルムの最小化処理からなり、
（ａ）前記直交変換の変換係数に対する全ての基底関数に対して、初期重みを設定するステップと、
（ｂ）該変換係数に関して、ｌ１ノルムの最小化問題を解決するステップと、
（ｃ）前記全ての基底関数に対して、繰返し演算で用いた前回値の変換係数に基づく重みを設定するステップと、
（ｄ）当該変換係数が収束するまで、前記手段（ｂ）及び（ｃ）を繰り返すステップと、
を含むことを特徴とする、請求項５に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点画像に用いる奥行き画像を生成する疎表現奥行き画像生成装置及びそのプログラムに関する。
【背景技術】
【０００２】
奥行き画像の圧縮は、多視点画像における“画像と奥行き”表現にとって重要な要素となる。奥行き画像は、復号側で、奥行き画像を基にしたレンダリング（ＤＩＢＲ：depth-image-based rendering）によって多視点画像を用いた合成処理で中間画像を生成することができる。従来からの奥行き画像の符号化技法は、固有の深さ特性の情報を利用して元の信号をコンパクトに、且つ忠実に再生するものである。
【０００３】
近年では、コンシューマ向けカメラのコスト削減が進んでおり、従来では１台のカメラによって単一視点で撮像した画像（ビデオ画像を含む）が、現在では、カメラアレイによって多視点画像を得ることも経済的に可能となってきている。「多視点画像」は、潜在的にユーザに対して豊富な情報提供を可能にするが、自由視点テレビ（ＦＴＶ）、イマーシブテレプレゼンス ・ ビデオ会議など、多視点画像を符号化して伝送することは、伝送コストが高価になる。効率的な「多視点」表現のための最近のアプローチは、画像に奥行き情報を付加することである（例えば、非特許文献１参照）。
【０００４】
つまり、異なる視点の複数のテクスチャ画像に、それぞれ対応する奥行き画像を付加して符号化及び伝送を行うことにより、受信側で、３Ｄワーピングのような、奥行き画像を基にしたレンダリング（ＤＩＢＲ）によって、隣接するテクスチャ画像及び奥行き画像を用いて合成処理を行なうことで、所望の中間画像を生成可能とする。画像と奥行き表現にとって重要なことは、奥行き画像の効率的な符号化にある。
【０００５】
例えば、図９に示すように、特定の被写体に対して異なる視点で撮像された複数の画像（多視点画像）と多視点画像のそれぞれに付随する奥行き画像（「depth map」とも称される）が、多視点画像送信装置１００に入力される。多視点画像送信装置１００は、量子化・符号化処理部１１０と送信部１１１を備えている。一般に、量子化・符号化処理部１１０は、入力される多視点画像及び奥行き画像の各々について所定の画素領域からなるブロックごとに直交変換を施した後、量子化処理を施し、所定のエントロピー符号化処理を施して送信部１１１に送出する。送信部１１１は、エントロピー符号化処理を施した多視点画像及び奥行き画像の各々についてのビットストリームを自由視点画像生成装置２００に送出する。
【０００６】
自由視点画像生成装置２００は、多視点画像送信装置１００から伝送されるビットストリームを受信する受信部２１０と、復号・逆量子化処理部２２０と、自由視点像生成表示部２３０とを備える。復号・逆量子化処理部２２０は、多視点画像及び奥行き画像の各々について復号し、逆量子化処理及び逆直交変換を施して所定の基底関数に基づいて、多視点画像及び奥行き画像を復元する。自由視点像生成表示部２３０は、復元した多視点画像及び奥行き画像を用いて、多視点画像の視点とは異なる視点の中間画像を生成し、所定の表示装置に表示する。これにより、所定数の多視点画像から、自由視点の中間画像を画像合成により再構成することができる。
【０００７】
一方、奥行き画像の符号化に対する最近の努力は、平坦な面や鋭いエッジのような奥行き画像の固有の特徴を用いて、効率的な圧縮を行なうことに向けられている（例えば、非特許文献２参照）。しかしながら、例えばＪＰＥＧのような汎用符号化技法においても、その目標は、所定の符号化率で、元の信号に対してできるだけ忠実な信号となるよう再構成することにある。また、従来からの技術では、多視点画像と同数の奥行き画像を、画像合成のためのみに用いており、奥行き画像自体の効率化に直接向けられていない。
【０００８】
ところで、量子化誤差の低減のために、複数画素からなるブロックを圧縮画像の割り当てられた量子化処理の所定のビン内に落とし込まなければならないという信号処理問題を扱う技術が知られており、ブロック境界をまたがる高周波成分のないブロックを凸射影アルゴリズム（ＰＯＣＳ）によって探索する技術が提案されている（例えば、非特許文献３参照）。
【０００９】
さらに、圧縮処理の際に、全ての画素値を予め定めた値程度の誤差に収める準可逆符号化についても知られている（例えば、非特許文献４参照）。また、所定の係数の最小化又は最適化を図るために用いるｌ０ノルム最小化問題の解法についての提案もある（例えば、非特許文献５参照）。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】P. Merkle. A. Smolic, K. Mueller, and T. Wiegand, "Multi-view video plus depth representation and coding." in IEEE International Conference on Image Processing, San Antonio, TX. October 2007
【非特許文献２】M. Maitre, Y. Shinagawa, and M. N. Do, "Wavelet-based joint estimation and encoding of depth-image-based representations for free-viewpoint rendering." in IEEE Transactions on Image Processing, June 2008, vol. 17. No. 6, pp. 946-957
【非特許文献３】R. Rosenholtz and A. Zakhor. "Iterative procedures effects in transform image coding," in IEEE Transactions on Circuits and Systems for Video Technology. March 1992, vol. 2, No. 1, pp. 91-95
【非特許文献４】R. Ansari, N. Memon, and E. Ceran, "Near-lossless image compression techniques," in Journal of Electronic Imaging, July 1998, vol. 7, No. 3
【非特許文献５】E. J. Candes. M. B. Wakin, and S. P. Boyd. "Enhancing sparsity by reweighted l1 minimization." in The Journal of  Fourier Analysis and Applications. December 2008, vol. 14, n0.5, pp. 877-905
【発明の概要】
【発明が解決しようとする課題】
【００１１】
所定数の多視点画像から、任意数の中間画像を画像合成により再構成する技術は、自由視点の映像を提供するため、有効な技術である。しかしながら、受信側で自由視点の中間画像を生成するのに十分な所定数の多視点画像及び奥行き画像の伝送が要求され、これに伴い、多視点画像及び奥行き画像の伝送効率の改善が常に課題となる。
【００１２】
従来からの技術では、前述したように、例えばＪＰＥＧのような汎用符号化技法においても、その目標は、所定の符号化率で、元の信号に対してできるだけ忠実な信号となるよう再構成することにあるだけであり、奥行き画像自体の効率化に直接向けられていない。
【００１３】
そこで、本発明の目的は、上述の問題を鑑みて、各多視点画像の直接的な視画像に対して伝送効率を向上させるのではなく、合成処理の歪みを引き起こすことなく圧縮利得に関して変換符号化の係数における疎表現を最大化する新たな奥行き画像を生成することで、効率的な変換符号化を実現する疎表現奥行き画像生成装置及びそのプログラムを提供することにある。
【課題を解決するための手段】
【００１４】
本発明の疎表現奥行き画像生成装置は、処理対象の多視点画像に付随する奥行き画像を疎表現化する疎表現奥行き画像生成装置であって、処理対象の多視点画像のうち、３次元空間的に隣接する異なる視点の画像を選択し、この異なる視点の２枚の画像と対応する奥行き画像を用いて、当該異なる視点の２枚の画像の中間に位置する中間画像及び対応する中間奥行き画像を生成する中間画像生成部と、当該異なる視点の２枚の画像の中間に位置する予め用意した基準中間画像と、当該中間画像との誤差の最小値の絶対値を対応する画素位置毎に算出する中間画像誤差算出部と、所定のしきい値と当該画素位置毎の誤差の最小値の絶対値の情報を用いて、所定の画素数からなるブロック単位で、前記中間奥行き画像における許容誤差範囲を算出する許容誤差範囲算出部と、前記中間奥行き画像における許容誤差範囲の情報を用いて、当該中間奥行き画像に対して直交変換及び量子化を施しながら、当該量子化処理後においても当該許容誤差範囲内に収まる画素値を有するブロックとなるよう当該直交変換の変換係数に対する最小化処理を施して、当該許容誤差範囲内で量子化ゼロ係数を最大化する画素値を当該ブロックごとに決定する量子化ゼロ係数最大化処理部と、前記ブロック毎の画素値を、当該中間奥行き画像に対応する画素位置に再構築して新たな奥行き画像を疎表現奥行き画像として生成する疎表現奥行き画像生成部と、を備えることを特徴とする。
【００１５】
本発明の疎表現奥行き画像生成装置において、前記最小化処理は、ｌ０ノルムの最小化処理又は加重ｌ１ノルムの最小化処理からなることを特徴とする。
【００１６】
本発明の疎表現奥行き画像生成装置において、前記最小化処理は、加重ｌ１ノルムの最小化処理からなり、前記量子化ゼロ係数最大化処理部は、（ａ）前記直交変換の変換係数に対する全ての基底関数に対して、初期重みを設定する手段と、（ｂ）該変換係数に関して、ｌ１ノルムの最小化問題を解決する手段と、（ｃ）前記全ての基底関数に対して、繰返し演算で用いた前回値の変換係数に基づく重みを設定する手段と、（ｄ）当該変換係数が収束するまで、前記手段（ｂ）及び（ｃ）を繰り返す手段と、を有することを特徴とする。
【００１７】
さらに、本発明のプログラムは、処理対象の多視点画像に付随する奥行き画像を疎表現化する疎表現奥行き画像生成装置として構成するコンピュータに、処理対象の多視点画像のうち、３次元空間的に隣接する異なる視点の画像を選択し、この異なる視点の２枚の画像と対応する奥行き画像を用いて、当該異なる視点の２枚の画像の中間に位置する中間画像及び対応する中間奥行き画像を生成するステップと、当該異なる視点の２枚の画像の中間に位置する予め用意した基準中間画像と、当該中間画像との誤差の最小値の絶対値を対応する画素位置毎に算出するステップと、所定のしきい値と当該画素位置毎の誤差の最小値の絶対値の情報を用いて、所定の画素数からなるブロック単位で、前記中間奥行き画像における許容誤差範囲を算出するステップと、前記中間奥行き画像における許容誤差範囲の情報を用いて、当該中間奥行き画像に対して直交変換及び量子化を施しながら、当該量子化処理後においても当該許容誤差範囲内に収まる画素値を有するブロックとなるよう当該直交変換の変換係数に対する最小化処理を施して、当該許容誤差範囲内で量子化ゼロ係数を最大化する画素値を当該ブロックごとに決定するステップと、前記ブロック毎の画素値を、当該中間奥行き画像に対応する画素位置に再構築して新たな奥行き画像を疎表現奥行き画像として生成するステップと、を実行させるためのプログラムである。
【００１８】
また、本発明のプログラムにおいて、前記最小化処理は、ｌ０ノルムの最小化処理又は加重ｌ１ノルムの最小化処理からなることを特徴とする。
【００１９】
さらに、本発明のプログラムにおいて、前記最小化処理は、加重ｌ１ノルムの最小化処理からなり、（ａ）前記直交変換の変換係数に対する全ての基底関数に対して、初期重みを設定するステップと、（ｂ）該変換係数に関して、ｌ１ノルムの最小化問題を解決するステップと、（ｃ）前記全ての基底関数に対して、繰返し演算で用いた前回値の変換係数に基づく重みを設定するステップと、（ｄ）当該変換係数が収束するまで、前記手段（ｂ）及び（ｃ）を繰り返すステップと、を含むことを特徴とする。
【発明の効果】
【００２０】
本願発明によれば、各多視点画像に対する奥行き画像を付随させるにあたり、合成処理の歪みを引き起こすことなく圧縮利得に関して変換符号化の係数における疎表現を最大化する新たな奥行き画像を生成することができるので、効率的な変換符号化を実現することができるようになる。
【図面の簡単な説明】
【００２１】
【図１】本発明による一実施形態の疎表現奥行き画像生成装置のブロック図である。
【図２】本発明による一実施形態の疎表現奥行き画像生成装置の動作例を示すフロー図である。
【図３】本発明による一実施形態の疎表現奥行き画像生成装置における許容誤差範囲の決定例を示す図である。
【図４】本発明による一実施形態の疎表現奥行き画像生成装置における疎表現化した画素値の例を示す図である。
【図５】本発明による一実施形態の疎表現奥行き画像生成装置における疎表現化した画素値の量子化誤差例を示す図である。
【図６】本発明による一実施形態の疎表現奥行き画像生成装置における疎表現化した画素値の量子化誤差の抑制例を示す図である。
【図７】本発明による一実施形態の疎表現奥行き画像生成装置における許容誤差範囲（ＤＣＲ）の例を示す図である。
【図８】本発明による一実施形態の疎表現奥行き画像生成装置における符号化率に対するＰＳＮＲの例を示す図である。
【図９】多視点画像及び奥行き画像を扱うシステム構成例を示す図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照して、本発明による一実施形態の疎表現奥行き画像生成装置について説明する。
【００２３】
〔装置構成〕
図１は、本発明による一実施形態の疎表現奥行き画像生成装置のブロック図である。本実施形態の疎表現奥行き画像生成装置１０は、図９に示すような奥行き画像を用いる代わりに、疎表現化した新たな奥行き画像を生成し、この疎表現化した奥行き画像（以下、「疎表現奥行き画像」と称する）を、図９に示す多視点画像送信装置１００及び自由視点画像生成装置２００に利用させるようにする装置である。
【００２４】
図１に示すように、疎表現奥行き画像生成装置１０は、中間画像生成部２０と、中間画像誤差算出部３０と、許容誤差範囲算出部４０と、量子化ゼロ係数最大化処理部５０と、疎表現奥行き画像生成部６０とを備える。
【００２５】
中間画像生成部２０は、入力される処理対象の多視点画像群のうち、３次元空間的に隣接する異なる視点の画像を選択し、この異なる視点の２枚の画像と対応する奥行き画像を用いて、当該異なる視点の２枚の画像の中間に位置する中間画像及び対応する中間奥行き画像を生成し、中間画像誤差算出部３０に送出する。
【００２６】
中間画像誤差算出部３０は、中間画像生成部２０によって生成した中間画像及び対応する中間奥行き画像を入力するとともに、当該異なる視点の２枚の画像の中間に位置する予め撮像して用意した基準となる基準中間画像を入力し、当該中間画像と基準中間画像との誤差の最小値の絶対値を対応する画素位置毎に算出し、中間奥行き画像とともに許容誤差範囲算出部４０に送出する。
【００２７】
許容誤差範囲算出部４０は、中間画像誤差算出部３０によって算出された画素位置毎の誤差の最小値の絶対値の情報と中間奥行き画像を入力し、所定の画素数からなるブロック単位で、設定されるしきい値Ｔと画素位置毎の誤差の最小値の絶対値の情報を用いて、中間奥行き画像における許容誤差範囲（本願明細書中で、“無関心領域（ＤＣＲ）”と称する）を算出し、量子化ゼロ係数最大化処理部５０に送出する。
【００２８】
量子化ゼロ係数最大化処理部５０は、許容誤差範囲算出部４０によって算出された中間奥行き画像における許容誤差範囲の情報を用いて、当該中間奥行き画像に対して直交変換及び量子化を施しながら、当該量子化処理後においても当該許容誤差範囲内に収まる画素値を有するブロックとなるよう当該直交変換の変換係数に対するｌ０ノルムの最小化処理又は加重ｌ１ノルムの最小化処理を施して、当該許容誤差範囲内で量子化ゼロ係数を最大化する画素値を当該ブロックごとに決定し、決定したブロック毎の情報を疎表現奥行き画像生成部６０に送出する。
【００２９】
疎表現奥行き画像生成部６０は、量子化ゼロ係数最大化処理部５０によって決定したブロック毎の画素情報から、当該中間奥行き画像に対応する画素位置に再構築して新たな奥行き画像を生成し、疎表現奥行き画像として外部に送出する。
【００３０】
尚、疎表現奥行き画像生成装置１０は、コンピュータとして構成することができ、中間画像生成部２０、中間画像誤差算出部３０、許容誤差範囲算出部４０、量子化ゼロ係数最大化処理部５０及び疎表現奥行き画像生成部６０の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部（図示せず）に格納しておき、当該コンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。
【００３１】
次に、図２〜図８を参照して、本実施形態の疎表現奥行き画像生成装置についてより具体的な例を挙げて、その動作例を説明する。
【００３２】
〔装置動作〕
図２は、本発明による一実施形態の疎表現奥行き画像生成装置の動作例を示すフロー図である。まず、疎表現奥行き画像生成装置１０は、一実施例として詳細に後述するが、処理対象の多視点画像群として、カメラを水平方向にシフトさせて撮像した２つのテクスチャ画像Ｉｌｅｆｔ，Ｉｒｉｇｈｔとそれぞれ対応する奥行き画像を入力する（Ｓ１）。
【００３３】
次に、疎表現奥行き画像生成装置１０は、２つのテクスチャ画像Ｉｌｅｆｔ，Ｉｒｉｇｈｔの撮像時と同時に撮像された２つのテクスチャ画像Ｉｌｅｆｔ，Ｉｒｉｇｈｔの中央に位置する基準中間画像Ｉｍｉｄを入力する（Ｓ２）。尚、一実施例として詳細に後述するが、Ｉｌｅｆｔは左側画像、Ｉｒｉｇｈｔは右側画像、ＩｍｉｄはＩｌｅｆｔとＩｒｉｇｈｔの基準中間画像である。
【００３４】
次に、疎表現奥行き画像生成装置１０は、Ｉｌｅｆｔ及びＩｒｉｇｈｔと、Ｉｍｉｄの奥行き画像ｄｍｉｄを用いて合成した中央画像Ｉｍｉｄ’を生成する（Ｓ３）。特に、テクスチャ画像Ｉｍｉｄ’の空間位置（ｉ，ｊ）における各画素Ｉｍｉｄ（ｉ，ｊ，ｄ）は、空間位置（ｉ，ｊ）に対して水平方向に距離ｄでシフトして与えられるＩｌｅｆｔ及びＩｒｉｇｈｔにおける２つの対応する画素値の加重平均である。
【００３５】
次に、疎表現奥行き画像生成装置１０は、生成した中央画像Ｉｍｉｄ’及び対応する中間奥行き画像ｄｍｉｄと、当該基準中間画像Ｉｍｉｄを入力し、当該中央画像Ｉｍｉｄ’と基準中間画像Ｉｍｉｄとの誤差の最小値の絶対値を対応する画素位置毎に算出する（Ｓ４）。
【００３６】
次に、疎表現奥行き画像生成装置１０は、所定の画素数からなるブロック単位で、設定されるしきい値Ｔと画素位置毎の誤差の最小値の絶対値の情報を用いて、中間奥行き画像ｄｍｉｄにおける許容誤差範囲（本願明細書中で、“無関心領域（ＤＣＲ）”と称する）を算出する（Ｓ５）。
【００３７】
次に、疎表現奥行き画像生成装置１０は、中間奥行き画像ｄｍｉｄにおける許容誤差範囲（ＤＣＲ）の情報を用いて、当該中間奥行き画像ｄｍｉｄに対して直交変換及び量子化を施しながら、当該量子化処理後においても当該許容誤差範囲（ＤＣＲ）内に収まる画素値を有するブロックとなるよう当該直交変換の変換係数に対するｌ０ノルムの最小化処理又は加重ｌ１ノルムの最小化処理を施して、当該許容誤差範囲（ＤＣＲ）内で量子化ゼロ係数を最大化する画素値を当該ブロックごとに決定する（Ｓ６）。
【００３８】
次に、疎表現奥行き画像生成装置１０は、決定したブロック毎の画素情報から、当該中間奥行き画像に対応する画素位置に再構築して新たな奥行き画像を生成し、疎表現奥行き画像として生成する（Ｓ７）。
【００３９】
以下、図２に示す疎表現奥行き画像生成装置１０の動作例を示すフローに関して、より具体的な処理例について、図３〜図８を参照して説明する。
【００４０】
ここで、本実施形態では、疎表現の最大化問題に対してｌ０ノルムの最小化を行うことを視野に入れている。一般に、ｌ０ノルムの最小化は複雑化するため、まず線形計画法（ＬＰ）による加重ｌ１ノルムの最小化を収束するまで繰返し実行して解決することにより疎表現を見出す。ここで、量子化誤差を避けるために線形計画法（ＬＰ）による結果物となる許容誤差範囲（ＤＣＲ）を、所定の規制境界（量子化誤差範囲）となるようにする。
【００４１】
まず、本実施形態で疎表現化した新たな奥行き画像を生成する意図として、ユーザによって観測されるような無視できない合成画像の歪みを引き起こすことなく、奥行き画像を扱うことで効率化を図ることにある。そこで、発明者らは、実際の奥行き画像の値には自由度があることに直目し、本実施形態では、これを利用して圧縮利得に関して変換領域の疎表現を最大化するようにした。
【００４２】
一般に、直交変換処理は、信号ｓ∈ＲＮを、Ｎ次元の同じ信号空間ＲＮに属する予め定めたＮ個の基底関数φｉに割り当てるものであり、換言すれば、信号空間ＲＮの所定の信号ｓは、変換係数ａｉを用いた基底関数φｉの線形結合として式（１）で表すことができる。
【００４３】
【数１】
2012119901.tif 000003
【００４４】
つまり、変換係数ａｉのみを符号化して受信側に伝送することにより、受信側は信号ｓを再構成することができる。変換係数ａｉは、基底関数φｉの補集合を用いて得られるため、式（２）で表すことができる。
【００４５】
【数２】
2012119901.tif 000004
【００４６】
ここで、〈ｘ，ｙ〉は、 ヒルベルト空間ＲＮにおける２つの信号ｘ，ｙ間で定義された内積を示す。
【００４７】
変換符号化の圧縮効率は、変換領域における信号ｓの疎表現、即ち、式（１）における変換係数ａｉのうちのゼロ係数の数、に極めて依存する。変換符号化における従来からの多くの努力は、所定レベルの信号に対して疎表現を最大化する基底関数φｉを見つけることに集中している。そこで、発明者らは、奥行き画像の符号化において、一組の直交基底関数φｉの補集合の発見問題を解決するために、定義した部分空間内で、変換領域における疎表現を最大化する信号ｓ（奥行き画像）を見つけるようにした。
【００４８】
特に、発明者らは、次の手順で、奥行き画像の符号化のための疎表現の最大化を行なうようにした。先ず、所定の符号化対象ブロックについて、ブロック内の各画素に対する“無関心領域”（ＤＣＲ）と称することにする奥行き画素値の範囲を見つける。ここで、無関心領域（ＤＣＲ）内の全ての奥行き画素値に関して、しきい値Ｔを設けるのみで、この奥行き画素の合成画像の歪みを制御できるようにした。次に、疎表現の最大化問題を、ｌ０ノルムの最小化問題として定式化した。一般に、ｌ０ノルムの最小化は複雑化するため、まず線形計画法（ＬＰ）による加重ｌ１ノルムの最小化を収束するまで繰返し実行して解決することにより疎表現を見出す。最後に、量子化時の丸め誤差による影響を避けるために、線形計画法（ＬＰ）によって得た疎表現を、無関心領域（ＤＣＲ）内に収まるように修正する。本例の変換符号化としてＪＰＥＧを使用した場合、レート歪み性能にて２．５ｄＢまで向上させることが確認されている。
【００４９】
特に、奥行き画像に対する圧縮は、前述したように、元の信号（奥行き画像）を正確に再構成することに目標があるのが従来であるが、本願は圧縮利得に対してその信号自体を大きな合成処理歪みを起こさない範囲で操作することにある。奥行き画素値の圧縮誤差がどのように合成画像の歪みに通じうるかを解析し、奥行き画像のＨ．２６４符号化におけるモード選択に新たな判定基準を提案する文献もある（例えば、非特許文献２参照）。本発明は、符号化利得に対する変換領域における疎表現を最大化することにある。
【００５０】
本発明の従来技術との明確な相違点として、１つ目は、ＤＣＲは各奥行き画素値がそれぞれの処理範囲をもつことができる点と、２つ目は、ｌ０ノルムの最適化に通じる変換領域の疎表現の最大化を提供する点である。
【００５１】
（無関心領域（ＤＣＲ）の導出）
まず、如何にして許容誤差範囲となる“無関心領域”（ＤＣＲ）を導出するかを述べる。各画素領域で指定されるＤＣＲは、変換領域の疎表現が要求される奥行き画像の探索範囲を定義するものである。
【００５２】
一実施例では、簡単化のために、カメラを水平方向にシフトさせて撮像した３つのテクスチャ画像Ｉｌｅｆｔ，Ｉｍｉｄ，Ｉｒｉｇｈｔを用意し、Ｉｌｅｆｔは左側画像、Ｉｒｉｇｈｔは右側画像、ＩｍｉｄはＩｌｅｆｔとＩｒｉｇｈｔの中央画像である。また、本実施例では、式（３）に示すように、Ｉｌｅｆｔ及びＩｒｉｇｈｔと、Ｉｍｉｄの奥行き画像ｄｍｉｄを用いて合成したテクスチャ画像Ｉｍｉｄ’を生成する。特に、テクスチャ画像Ｉｍｉｄ’の空間位置（ｉ，ｊ）における各画素Ｉｍｉｄ（ｉ，ｊ，ｄ）は、空間位置（ｉ，ｊ）に対して水平方向に距離ｄでシフトして与えられるＩｌｅｆｔ及びＩｒｉｇｈｔにおける２つの対応する画素値の加重平均である。
【００５３】
【数３】
2012119901.tif 000005
【００５４】
奥行き中央値ｄｍｉｄ(ｉ，ｊ)は、
誤差ｅ(ｉ，ｊ，ｄ)=｜Ｉｍｉｄ(ｉ，ｊ，ｄ)’−Ｉｍｉｄ(ｉ，ｊ，ｄ)｜
を最小にする値の絶対値で与えられ、式（４）で表される。
【００５５】
【数４】
2012119901.tif 000006
【００５６】
次に、しきい値Ｔを用いて画素(ｉ，ｊ)におけるＤＣＲを決定する。つまり、式（５）で表すように、誤差ｅ(ｉ，ｊ，ｄ)がしきい値Ｔを超えない最小値ｆ(ｉ，ｊ)と最大値ｇ(ｉ，ｊ)を求める。
【００５７】
【数５】
2012119901.tif 000007
【００５８】
図７に、８×８画素のブロックにおける画素列の奥行き中央値ｄｍｉｄ(ｉ，ｊ)と、ＤＣＲ上限値及び下限値となる最小値ｆ(ｉ，ｊ)及び最大値ｇ(ｉ，ｊ)を示している。明らかなように、ｆ(ｉ，ｊ)≦ｄｍｉｄ(ｉ，ｊ)≦ｇ(ｉ，ｊ)である。中央値ｄｍｉｄ(ｉ，ｊ)、最小値ｆ(ｉ，ｊ)及び最大値ｇ(ｉ，ｊ)と、しきい値Ｔとの関係は、それぞれ図３のように表される。図３では、中央値ｄｍｉｄ(ｉ，ｊ)、最小値ｆ(ｉ，ｊ)及び最大値ｇ(ｉ，ｊ)は、それぞれ図示するｍｅｄ，ｍｉｎ，ｍａｘに対応する。
【００５９】
一般に、しきい値Ｔを大きくするほど、圧縮利得に通じる変換領域の疎表現の探索のためのアルゴリズムにとって大きくなる部分空間を提供するが、しきい値Ｔを大きくするほど合成歪みも大きくなる。最適なしきい値Ｔは経験的に定めることができ、これについては後述する。
【００６０】
（疎表現の決定）
上述のように定義したＤＣＲの画素に関して、位置ｍにおける奥行き画素成分ｓ（ｍ）は、合成歪みが無視できるしきい値Ｔを超えないように、最小値ｆ（ｍ）と最大値ｇ（ｍ）の間になければならない（図４参照）。つまり、ブロックＤＣＲからなるＢは、符号化ブロックにおける全ての画素位置に対するＤＣＲ内の画素集合とすることができ、換言すれば、式（６）で表すように、全ての画素成分ｓ（ｍ）が許容範囲内にある場合には、信号ｓは、Ｂの集合内のものとなる。
【００６１】
【数６】
2012119901.tif 000008
【００６２】
定義したブロックＤＣＲ，Ｂ，を考慮すると、本発明の目標は、信号ｓ∈Ｂにて、式（７）で表すように、変換領域で基底関数φｉを用いる疎表現が最大になる信号ｓを求めることにある。より正確には、基底関数φｉを行に含む行列Φを考慮する。
【００６３】
【数７】
2012119901.tif 000009
【００６４】
線形計画法（ＬＰ）を用いた計算手順は、以下の通りである。
（手順１）全ての基底関数φｉに対して、初期重みｗｉ＝１とする。
（手順２）変換係数ａｉに関して、ｌ１ノルムの最小化問題を解決する。
（手順３）全てのφｉに対して、重みｗｉ＝１／（｜ａｉ｜＋ε）を設定する。
（手順４）収束するまで手順２及び３を繰り返す。
【００６５】
疎表現の最適化は、式（８）で表すことができる。
【００６６】
【数８】
2012119901.tif 000010
【００６７】
ここで、ａ＝「ａ１，・・・，ａＮ」は変換係数であり、‖ａ‖ｌ０は、変換係数ａにおける非ゼロ係数の計数となるｌ０ノルムであり、式（９）で表される。
【００６８】
【数９】
2012119901.tif 000011
【００６９】
（加重ｌ１ノルム最小化の定義）
式（８）のｌ０ノルム最小化は、一般的に解くのが複雑化する。代替の方法として、加重したｌ１ノルム最小化を繰り返し演算で解くことができ、式（１０）で表される（例えば、非特許文献５参照）。
【００７０】
【数１０】
2012119901.tif 000012
【００７１】
ここで、式（１１）に示すように、ｌ１ｗノルムは、重み付けした変換係数ａの総和である。
【００７２】
【数１１】
2012119901.tif 000013
【００７３】
重みｗｉ＝１／｜ａｉ｜であれば、加重ｌ１ノルムｌ１ｗは、ｌ０ノルムと同じになり、式（１０）の最適解もまた、式（８）に対して最適なものとなる。式（１０）において、変換係数ａｉが事前情報として未知であるとき、重みｗｉ＝１／｜ａｉ｜も未知である。そこで、文献５では、式（１０）の繰り返し演算における前回の解の変換係数ａｉを重みｗｉ＝１／｜ａｉ｜に用いて、式（１０）の繰り返し演算における今回の解を求めるようにして収束させる。尚、（手順３）におけるεは、ｗｉが極めて大きいときに、不所望な問題を引き起こすのを避けるために用いる。
【００７４】
（加重ｌ１ノルム最小化の解）
式（１０）は、ＪＰＥＧなどの既知の方法で、線形計画法（ＬＰ）として解くことができる。しかしながら、本発明の主題のために、変換係数の量子化を考慮する必要があり、量子化係数のゼロ係数の数を最大化することにある。一般性を失うことがないように、符号化する前に変換係数ａｉを量子化パラメータＱで量子化する。即ち、丸め処理ｒｏｕｎｄ（ａｉ／Ｑｉ）を実行して符号化する。従って、ａｉ／Ｑｉ≧０．５であれば、変換係数ａｉは、非ゼロ係数として符号化される。単純に変換係数ａｉの最小化を行う代わりに、本願では、量子化係数を得る変換係数ａｉに関する新たな変数集合を式（１２）のように定義して、Σｉｗｉａｉを最小化する。
【００７５】
【数１２】
2012119901.tif 000014
【００７６】
明らかなように、式（１２）は、非線形である。そこで、式（１２）を線形にするために、変換係数ａｉが最小値となるときに、式（１２）と同等になるように、式（１３）のように定義する。
【００７７】
【数１３】
2012119901.tif 000015
【００７８】
次のように、線形計画法（ＬＰ）として本願の目的を達成する。式（１２）を線形にする理由は、Σｉｗｉａｉを最小化するためである。この最小化条件は、ｉ）信号ｓは式（６）によって定義されたＤＣＲ内に収まること、ｉｉ）変換係数ａｉが式（１０）に従って最小化されること、ｉｉｉ）符号化する変換係数ａｉは、式（１３）に従ってａｉ／Ｑｉが０．５以上であれば、非ゼロ係数の絶対値とする（さらに、ａｉ／Ｑｉが０．５未満であれば、符号化する変換係数ａｉがゼロとなる）。
【００７９】
線形計画法（ＬＰ）を用いた計算手順（手順１）〜（手順４）を実行することで、変換領域の疎表現を有する信号ｓを得ることができる。
【００８０】
（ＤＣＲに基づく量子化効果）
変換係数ａｉは、量子化パラメータＱｉで除算されると、整数に丸められる。この量子化処理は、信号ｓを量子化信号ｓ’にすることができる。しかしながら、この量子化処理によって、量子化信号ｓ’は、ＤＣＲに収まらなくなる可能性がある（図５参照）。そこで、ＪＰＥＧのように、常に量子化信号ｓ’がＤＣＲに収まるように、予め量子化誤差を考慮して、上記計算手順（手順１）〜（手順４）を実行する。たとえば、図６に示すように、Ｓ１−Ｓ２軸で表される信号ｓがφ１−φ２軸で表される量子化信号ｓ’に変換されるとすると、各量子化信号Ｓ’の量子化誤差（グリッド１とグリッド２の差）が生じると仮定すると、ＤＣＲの変換領域Ｓに収まるように量子化信号Ｓ’（丸ドット）を選択すればよい。単純に、算出したＤＣＲに対して、予め想定される量子化誤差分だけＤＣＲの範囲を狭めた上で上記計算手順（手順１）〜（手順４）を実行してもよい。
【００８１】
線形計画法（ＬＰ）として本願の目的を達成するための最小化条件にしたがって、ａｉ／Ｑｉが０．５未満であれば、符号化する変換係数ａｉをゼロとする。従って、信号ｓがＤＣＲから大きく外れた位置にあったとしても、量子化信号Ｓ’はとしてはＤＣＲ内に収めることができ、即ち、疎表現化した奥行き画像を得ることができる。尚、記計算手順で、加重ｌ１ノルム最小化の解として、複数の疎表現の選択肢が生じる場合には、ＤＣＲを超える画素数がより少ないものを選択するようにするのが好適である。
【００８２】
前述したテクスチャ画像Ｉｌｅｆｔ，Ｉｒｉｇｈｔと、しきい値Ｔをパラメータとして、疎表現化したＩｍｉｄ位置の奥行き画像ｄｍｉｄを用いて合成したテクスチャ画像Ｉｍｉｄ’を生成した。ここで、ＪＰＥＧ圧縮を例に、テクスチャ画像を８×８画素のブロックに分割して、２次元離散コサイン変換（ＤＣＴ）を実行して変換係数を取得して量子化を施し、次いでランレングス符号化を施した。
【００８３】
異なるしきい値Ｔで計算された疎表現のレート歪み性能（圧縮した奥行き画像のサイズに対するＰＳＮＲにおける合成したテクスチャ画像Ｉｍｉｄ’の品質）を評価した結果を図８に示す。図８から、しきい値Ｔの増大に伴い、疎表現のレート歪み性能は向上する傾向にある。特に、７０ｋｂｙｔｅ／ｓの符号化率でしきい値Ｔ＝７では２．５ｄＢ以上の利得改善が得られた。また、しきい値Ｔ＝７〜９では、レート歪み性能の曲線はほとんど同じになることが分かる。つまりあまりに大きなＤＣＲを設定することは、レート歪み性能の効果が得られないことから、しきい値Ｔは、有限の範囲、即ちＴ＝１〜７の自由度で設定するのが好適である。
【００８４】
上述では特定の実施形態について説明したが、本発明は、これに限定されるものではなく、その主旨を逸脱しない範囲において種々変更可能である。
【産業上の利用可能性】
【００８５】
本発明によれば、各多視点画像に対する奥行き画像を付随させるにあたり、合成処理の歪みを引き起こすことなく圧縮利得に関して変換符号化の係数における疎表現を最大化する新たな奥行き画像を生成することができるので、多視点画像を扱う用途に有用である。
【符号の説明】
【００８６】
１０  疎表現奥行き画像生成装置
２０  中間画像生成部
３０  中間画像誤差算出部
４０  許容誤差範囲算出部
５０  量子化ゼロ係数最大化処理部
６０  疎表現奥行き画像生成部
１００  多視点画像送信装置
１１０  量子化・符号化処理部
１１１  送信部
２００  自由視点画像生成装置
２１０  受信部
２２０  復号・逆量子化処理部
２３０  自由視点像生成表示部
【図１】
2012119901.tif 000016
【図２】
2012119901.tif 000017
【図３】
2012119901.tif 000018
【図４】
2012119901.tif 000019
【図５】
2012119901.tif 000020
【図６】
2012119901.tif 000021
【図７】
2012119901.tif 000022
【図８】
2012119901.tif 000023
【図９】
2012119901.tif 000024