(57)【特許請求の範囲】
【請求項１】
符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化方法であって、
前記処理領域内に存在する被写体の数を被写体数として設定する被写体数設定ステップと、
前記処理領域に対応するデプスマップを参照して、処理領域内の画素群を前記被写体数と同じ数の分割領域に分割する領域分割ステップと、
前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定ステップと、
前記予測方法設定ステップにおいて設定された予測方法を示す情報を符号化する予測情報符号化ステップと、
前記予測方法設定ステップにおいて設定された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、
前記予測画像を用いて前記処理領域の画像を予測符号化する画像符号化ステップと
を有することを特徴とする画像符号化方法。
【請求項２】
前記被写体数設定ステップにおいて設定された前記被写体数を符号化する被写体数符号化ステップをさらに有することを特徴とする請求項１に記載の画像符号化方法。
【請求項３】
符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化方法であって、
前記デプスマップの距離情報を基準に前記処理領域内の画素群の領域分割に使用する規則を設定する領域分割規則設定ステップと、
前記領域分割規則設定ステップにおいて設定された規則に従って、前記処理領域に対するデプスマップを用いて、前記処理領域内の画素群を分割領域に分割する領域分割ステップと、
前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定ステップと、
前記予測方法設定ステップにおいて設定された予測方法を示す情報を符号化する予測情報符号化ステップと、
前記予測方法設定ステップにおいて設定された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、
前記予測画像を用いて前記処理領域の画像を予測符号化する画像符号化ステップと
を有することを特徴とする画像符号化方法。
【請求項４】
前記領域分割規則設定ステップにおいて設定された前記規則を示す情報を符号化する領域分割規則符号化ステップをさらに有することを特徴とする請求項３に記載の画像符号化方法。
【請求項５】
前記分割領域の統合を行い、前記分割領域を更新する領域統合ステップをさらに有することを特徴とする請求項１から４のいずれか一項に記載の画像符号化方法。
【請求項６】
前記分割領域と前記処理領域に隣接する既に符号化済み領域において設定された分割領域との統合判定を行い、統合対象と判定された前記分割領域に対して、統合先として判定された前記処理領域に隣接する既に符号化済み処理領域において設定された分割領域に含まれる画素群を符号化する際に使用した予測画像生成方法を、前記統合対象と判定された前記分割領域に含まれる画素群に対する前記画像を予測する方法として設定する予測情報複製ステップをさらに有し、
前記予測方法設定ステップは、前記予測情報複製ステップで統合対象と判断されなかった前記分割領域のみに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を設定し、
前記予測画像生成ステップは、前記分割領域に含まれる画素群に対しては、前記予測方法設定ステップで設定された予測方法に従い、前記統合対象と判定された前記分割領域に含まれる画素群に対しては、前記予測情報複製ステップで設定された予測方法に従って予測画像を生成することを特徴とする請求項１から４のいずれか一項に記載の画像符号化方法。
【請求項７】
前記予測方法設定ステップは、前記分割領域ごとに、当該分割領域に含まれる画素群を小領域に分割する方法を設定し、前記小領域ごとに、当該小領域に含まれる画素群に対する前記画像を予測する方法を設定し、
前記予測情報符号化ステップは、前記予測方法設定ステップで設定された小領域に分割する方法を示す情報と、前記小領域ごとに設定された予測方法を示す情報とを符号化する
ことを特徴とする請求項１から６のいずれか一項に記載の画像符号化方法。
【請求項８】
符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データの復号を行う画像復号方法であって、
前記処理領域内に存在する被写体の数を被写体数として設定する被写体数設定ステップと、
前記処理領域に対応するデプスマップを参照して、処理領域内の画素群を前記被写体数と同じ数の分割領域に分割する領域分割ステップと、
前記符号データから、前記分割領域ごとに、当該分割に含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号ステップと、
前記予測情報復号ステップにおいて復号された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、
前記予測画像を用いて前記処理領域に対する画像を前記符号データから復号する画像復号ステップと
を有することを特徴とする画像復号方法。
【請求項９】
前記被写体数設定ステップは、前記符号データから前記被写体数を復号して設定することを特徴とする請求項８に記載の画像復号方法。
【請求項１０】
符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データの復号を行う画像復号方法であって、
前記デプスマップの情報を基準に前記処理領域内の画素群の領域分割に使用する規則を設定する領域分割規則設定ステップと、
前記領域分割規則設定ステップにおいて設定された規則に従って、前記処理領域に対するデプスマップを用いて、前記処理領域内の画素群を分割領域に分割する領域分割ステップと、
前記符号データから、前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号ステップと、
前記予測情報復号ステップで復号された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、
前記予測画像を用いて前記処理領域に対する画像を前記符号データから復号する画像復号ステップと
を有することを特徴とする画像復号方法。
【請求項１１】
前記領域分割規則設定ステップは、前記符号データから前記領域分割規則設定ステップにおいて設定する前記規則を復号して設定することを特徴とする請求項１０に記載の画像復号方法。
【請求項１２】
前記分割領域の統合を行い、前記分割領域を更新する領域統合ステップをさらに有することを特徴とする請求項８から１１のいずれか一項に記載の画像復号方法。
【請求項１３】
前記分割領域と前記処理領域に隣接する既に復号済み領域において設定された予測ユニットとの統合判定を行い、統合対象と判定された前記分割領域に対して、統合先として判定された前記処理領域に隣接する既に復号済み領域において設定された分割領域に含まれる画素群を復号する際に使用した予測画像の生成方法を、統合対象と判定された前記分割領域に含まれる画素群に対する前記画像を予測する方法として設定する予測情報複製ステップをさらに有し、
前記予測情報復号ステップは、前記予測情報複製ステップで統合対象と判断されなかった前記分割領域のみについて、当該分割領域に含まれる画素群に対する前記画像を予測する方法を復号し、
前記予測画像生成ステップは、前記分割領域に含まれる画素群に対しては、前記予測情報復号ステップで復号された予測方法に従い、前記統合対象と判定された前記分割領域に含まれる画素群に対しては、前記予測情報複製ステップで設定された予測方法に従って予測画像を生成することを特徴とする請求項８から１１のいずれか一項に記載の画像復号方法。
【請求項１４】
前記予測情報復号ステップは、前記分割領域ごとに、前記符号データから当該分割領域に含まれる画素群を小領域に分割する方法を復号し、前記小領域ごとに、当該小領域に含まれる画素群に対する前記画像を予測する方法を復号することを特徴とする請求項８から１３のいずれか一項に記載の画像復号方法。
【請求項１５】
符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化装置であって、
前記処理領域内に存在する被写体の数を被写体数として設定する被写体数設定手段と、
前記処理領域に対応するデプスマップを参照して、処理領域内の画素群を前記被写体数と同じ数の分割領域に分割する領域分割手段と、
前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定手段と、
前記予測方法設定手段において設定された予測方法を示す情報を符号化する予測情報符号化手段と、
前記予測方法設定手段において設定された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成手段と、
前記予測画像を用いて前記処理領域の画像を予測符号化する画像符号化手段と
を備えることを特徴とする画像符号化装置。
【請求項１６】
符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化装置であって、
前記デプスマップの距離情報を基準に前記処理領域内の画素群の領域分割に使用する規則を設定する領域分割規則設定手段と、
前記領域分割規則設定手段において設定された規則に従って、前記処理領域に対するデプスマップを用いて、前記処理領域内の画素群を分割領域に分割する領域分割手段と、
前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定手段と、
前記予測方法設定手段において設定された予測方法を示す情報を符号化する予測情報符号化手段と、
前記予測方法設定手段において設定された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成手段と、
前記予測画像を用いて前記処理領域の画像を予測符号化する画像符号化手段と
を備えることを特徴とする画像符号化装置。
【請求項１７】
符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データの復号を行う画像復号装置であって、
前記処理領域内に存在する被写体の数を被写体数として設定する被写体数設定手段と、
前記処理領域に対応するデプスマップを参照して、処理領域内の画素群を前記被写体数と同じ数の分割領域に分割する領域分割手段と、
前記符号データから、前記分割領域ごとに、当該分割に含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号手段と、
前記予測情報復号手段において復号された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成手段と、
前記予測画像を用いて前記処理領域に対する画像を前記符号データから復号する画像復号手段と
を備えることを特徴とする画像復号装置。
【請求項１８】
符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データの復号を行う画像復号装置であって、
前記デプスマップの情報を基準に前記処理領域内の画素群の領域分割に使用する規則を設定する領域分割規則設定手段と、
前記領域分割規則設定手段において設定された規則に従って、前記処理領域に対するデプスマップを用いて、前記処理領域内の画素群を分割領域に分割する領域分割手段と、
前記符号データから、前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号手段と、
前記予測情報復号手段において復号された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成手段と、
前記予測画像を用いて前記処理領域に対する画像を前記符号データから復号する画像復号手段と
を備えることを特徴とする画像復号装置。
【請求項１９】
請求項１から７のいずれか一項に記載の画像符号化方法をコンピュータに実行させることを特徴とする画像符号化プログラム。
【請求項２０】
請求項８から１４のいずれか一項に記載の画像復号方法をコンピュータに実行させることを特徴とする画像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラムに関する。
【背景技術】
【０００２】
従来から、撮影空間内でのカメラの位置や向き（以下、視点と称する）をユーザが自由に指定することができる自由視点画像が知られている。自由視点画像では、ユーザが任意の視点を指定するため、その全ての可能性に対して画像を保持しておくことは不可能である。そのため、自由視点画像は、指定された視点の画像を生成するのに必要な情報群によって構成される。自由視点画像は様々なデータ形式を用いて表現されるが、最も一般的な形式として画像とその画像に対するデプスマップ（距離画像）を用いる方式がある（例えば、非特許文献１参照）。ここで、デプスマップとは、カメラから被写体までのデプス（距離）を画素ごとに表現したものであり、被写体の三次元的な位置を表現している。デプスは２つのカメラ間の視差の逆数に比例しているため、ディスパリティマップ（視差画像）と呼ばれることもある。コンピュータグラフィックスの分野では、デプスはＺバッファに蓄積された情報となるため、Ｚ画像やＺマップと呼ばれることもある。
【０００３】
なお、カメラから被写体までの距離の他に、表現対象空間上に張られた三次元座標系のＺ軸に対する座標値をデプスとして用いることもある。一般に、撮影された画像に対して水平方向をＸ軸、垂直方向をＹ軸とするため、Ｚ軸はカメラの向きと一致するが、複数のカメラに対して共通の座標系を用いる場合など、Ｚ軸がカメラの向きと一致しない場合もある。以下では、距離・Ｚ値を区別せずにデプスと呼び、デプスを画素値として表した画像をデプスマップと呼ぶ。ただし、厳密にはディスパリティマップでは基準となるカメラ対を設定する必要がある。
【０００４】
デプスを画素値として表す際に、物理量に対応する値をそのまま画素値とする方法と、最小値と最大値の間をある数に量子化して得られる値を用いる方法と、最小値からの差をあるステップ幅で量子化して得られる値を用いる方法がある。表現したい範囲が限られている場合には、最小値などの付加情報を用いる方がデプスを高精度に表現することができる。また、等間隔に量子化する際に、物理量をそのまま量子化する方法と物理量の逆数を量子化する方法とがある。距離の逆数は視差に比例した値となるため、距離を高精度に表現する必要がある場合には、前者が使用され、視差を高精度に表現する必要がある場合には、後者が使用されることが多い。以下では、デプスの画素値化の方法や量子化の方法に関係なく、デプスが画像として表現されたものを全てデプスマップと呼ぶ。
【０００５】
デプスマップは、各画素が１つの値を持つ画像として表現されるため、グレースケール画像とみなすことができる。また、被写体が実空間上で連続的に存在し、瞬間的に離れた位置へ移動することができないため、画像信号と同様に空間的相関および時間的相関を持つと言える。したがって、通常の画像信号や映像信号を符号化するために用いられる画像符号化方式や動画像符号化方式によって、デプスマップやその動画像（デプスビデオ）を空間的冗長性や時間的冗長性を取り除きながら効率的に符号化することが可能である。
【０００６】
ここで、一般的な画像符号化について説明する。画像符号化では、被写体が空間的に連続しているという特徴を利用して効率的な符号化を実現するために、画像をマクロブロックと呼ばれる処理単位ブロックに分割し、マクロブロックごとにその画像信号を空間的または時間的に予測し、その予測方法を示す予測情報と予測残差とを符号化する。画像信号を空間的に予測する場合は、例えば空間的な予測の方向を示す情報が予測情報となり、時間的に予測する場合は、例えば参照する画像を示す情報とその画像中の位置を示す情報とが予測情報となる。
【０００７】
画像信号の空間相関や時間相関は被写体やテクスチャに依存したものであるため、Ｈ．２６４／ＡＶＣに代表される近年の動画像符号化では、マクロブロックごとに画像信号にあわせてさらに細かいブロックへの分割を可能にする可変ブロックサイズを採用することで、ブロック分割の柔軟性の低いＭＰＥＧ−２やＭＰＥＧ−４  ＡＳＰよりも効率的な符号化を実現している（Ｈ．２６４／ＡＶＣの詳細については、例えば、非特許文献２参照）。
【０００８】
画像とデプスマップとで構成される自由視点画像の符号化においては、どちらも空間相関と時間相関を持つことから、通常の画像符号化方式や動画像符号化方式を用いて、それぞれを符号化することでデータ量を削減できる。例えばＭＰＥＧ−Ｃ  Ｐａｒｔ．３を用いて、画像とそれに対するデプスマップを表現する場合は、それぞれを既存の動画像符号化方式を用いて符号化している。
【０００９】
また、画像とデプスマップとを一緒に符号化する際に、同じ被写体や空間に対する情報であることから、その間に存在する相関を利用することで、効率的な符号化を実現する方法がある。非特許文献３や非特許文献４では、画像やデプスマップを符号化する際に用いる予測情報（ブロック分割や動きベクトル）を共通化し重複して符号化することを避けることで、効率的な符号化を実現している。なお、非特許文献３では、画像とデプスマップの両方を鑑みて１つの予測情報を生成して共通利用するのに対し、非特許文献４では、画像を符号化する際に生成された予測情報に対して、必要に応じた修正を加えてデプスマップを符号化する際に利用する。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】Y. Mori, N. Fukusima, T. Fuji, and M. Tanimoto, “View Generation with 3D Warping Using Depth Information for FTV ”,In Proceedings of 3DTV-CON2008, pp. 229-232, May 2008.
【非特許文献２】Rec. ITU-T H.264,“Advanced video coding for generic audiovisual services”,  March 2009.
【非特許文献３】I. Daribo, C. Tillier, and B. P. Popescu, “Motion Vector Sharing and Bitrate Allocation for 3D Video-Plus-Depth Coding,” EURASIP Journal on Advances in Signal Processing, vol. 2009, Article ID 258920, 13 pages, 2009.
【非特許文献４】H. Oh, Y.-S. Ho, “H.264-based depth map sequence coding Using Motion Information of Corresponding Texture Video,” Springer Berlin/Heidelberg, Advances in Image and Video Technology, vol. 4319, 2006.
【発明の概要】
【発明が解決しようとする課題】
【００１１】
上述した可変ブロックサイズによる画像信号の予測によって、被写体の形状に応じて単一の方法で予測画像を生成するブロックの大きさを変化させることでより精度の高い予測を実現し、画像信号とデプスとで構成される自由視点画像を高効率に圧縮符号化することができる。しかしながら、被写体の形状は様々であり、規則的な分割ルールに従ったブロック分割を行う従来方式では、被写体に応じた正確なブロック分割を行う場合には、細かいブロック分割が必要となってしまう。細かいブロック分割を用いることで、画像信号やデプスの予測精度を向上することが可能だが、ブロックの分割方法を示す情報やブロックごとの予測方法を示す情報の量が膨大になり、トータルとして符号化効率を悪化させてしまう。そのため、上述したＨ．２６４／ＡＶＣでは、４画素ｘ４画素のブロックが最小ブロックサイズとされている。
【００１２】
非特許文献３では、画像信号やデプスの予測値を決定するのに必要なブロック分割や動きベクトルなどの予測情報を、画像とデプスマップとで共有することで、符号化しなくてはならない予測情報の総量を減らし、効率的な符号化を実現しようとしている。この方法を用いることで、画像とデプスマップのそれぞれで予測信号を符号化する場合に比べて、符号量を削減することができている。しかしながら、規則的な分割ルールに従ったブロック分割を使うため、被写体に応じた正確なブロック分割を行うことは不可能であるか、可能であっても大量の符号量を必要とし、効率的な符号化を実現することができない。また、両方に適したブロック分割を求めるということは、それぞれに対して最適なブロック分割を足し合わせて作られるブロック分割を使用することになる。すなわち、単独で符号化する場合に比べて過度に分割したブロックを用いることになるため、画像とデプスマップとで予測方法も含めて完全に共有できない場合は、無駄な符号量が生じることになる。
【００１３】
一方、非特許文献４では、画像に対する予測情報からデプスマップに対する予測情報を予測することで、画像とデプスマップ間の予測情報についての冗長性を取り除き、効率的な符号化を実現しようとしている。この方法では、画像とデプスマップとで異なるブロック分割を用いることができるようになるため、過度なブロック分割が生じてしまう懸念を回避している。しかしながら、この方式でも、規則的な分割ルールに従ったブロック分割を使うため、被写体に応じた正確なブロック分割を行うことは不可能であるか、可能であっても大量の符号量を必要とし、効率的な符号化を実現することができない。
【００１４】
本発明は、このような事情に鑑みてなされたもので、画像とデプスマップとを構成要素に持つ自由視点画像データの符号化において、効率的な画像符号化を実現する画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明は、符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化方法であって、前記処理領域内に存在する被写体の数を被写体数として設定する被写体数設定ステップと、前記処理領域に対応するデプスマップを参照して、処理領域内の画素群を前記被写体数と同じ数の分割領域に分割する領域分割ステップと、前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定ステップと、前記予測方法設定ステップにおいて設定された予測方法を示す情報を符号化する予測情報符号化ステップと、前記予測方法設定ステップにおいて設定された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、前記予測画像を用いて前記処理領域の画像を予測符号化する画像符号化ステップとを有することを特徴とする。
【００１６】
本発明は、前記被写体数設定ステップにおいて設定された前記被写体数を符号化する被写体数符号化ステップをさらに有することを特徴とする。
【００１７】
本発明は、符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化方法であって、前記デプスマップの距離情報を基準に前記処理領域内の画素群の領域分割に使用する規則を設定する領域分割規則設定ステップと、前記領域分割規則設定ステップにおいて設定された規則に従って、前記処理領域に対するデプスマップを用いて、前記処理領域内の画素群を分割領域に分割する領域分割ステップと、前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定ステップと、前記予測方法設定ステップにおいて設定された予測方法を示す情報を符号化する予測情報符号化ステップと、前記予測方法設定ステップにおいて設定された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、前記予測画像を用いて前記処理領域の画像を予測符号化する画像符号化ステップとを有することを特徴とする。
【００１８】
本発明は、前記領域分割規則設定ステップにおいて設定された前記規則を示す情報を符号化する領域分割規則符号化ステップをさらに有することを特徴とする。
【００１９】
本発明は、前記分割領域の統合を行い、前記分割領域を更新する領域統合ステップをさらに有することを特徴とする。
【００２０】
本発明は、前記分割領域と前記処理領域に隣接する既に符号化済み領域において設定された分割領域との統合判定を行い、統合対象と判定された前記分割領域に対して、統合先として判定された前記処理領域に隣接する既に符号化済み処理領域において設定された分割領域に含まれる画素群を符号化する際に使用した予測画像生成方法を、前記統合対象と判定された前記分割領域に含まれる画素群に対する前記画像を予測する方法として設定する予測情報複製ステップをさらに有し、前記予測方法設定ステップは、前記予測情報複製ステップで統合対象と判断されなかった前記分割領域のみに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を設定し、前記予測画像生成ステップは、前記分割領域に含まれる画素群に対しては、前記予測方法設定ステップで設定された予測方法に従い、前記統合対象と判定された前記分割領域に含まれる画素群に対しては、前記予測情報複製ステップで設定された予測方法に従って予測画像を生成することを特徴とする。
【００２１】
本発明は、前記予測方法設定ステップは、前記分割領域ごとに、当該分割領域に含まれる画素群を小領域に分割する方法を設定し、前記小領域ごとに、当該小領域に含まれる画素群に対する前記画像を予測する方法を設定し、前記予測情報符号化ステップは、前記予測方法設定ステップで設定された小領域に分割する方法を示す情報と、前記小領域ごとに設定された予測方法を示す情報とを符号化することを特徴とする。
【００２２】
本発明は、符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データの復号を行う画像復号方法であって、前記処理領域内に存在する被写体の数を被写体数として設定する被写体数設定ステップと、前記処理領域に対応するデプスマップを参照して、処理領域内の画素群を前記被写体数と同じ数の分割領域に分割する領域分割ステップと、前記符号データから、前記分割領域ごとに、当該分割に含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号ステップと、前記予測情報復号ステップにおいて復号された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、前記予測画像を用いて前記処理領域に対する画像を前記符号データから復号する画像復号ステップとを有することを特徴とする。
【００２３】
本発明は、前記被写体数設定ステップは、前記符号データから前記被写体数を復号して設定することを特徴とする。
【００２４】
本発明は、符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データの復号を行う画像復号方法であって、前記デプスマップの情報を基準に前記処理領域内の画素群の領域分割に使用する規則を設定する領域分割規則設定ステップと、前記領域分割規則設定ステップにおいて設定された規則に従って、前記処理領域に対するデプスマップを用いて、前記処理領域内の画素群を分割領域に分割する領域分割ステップと、前記符号データから、前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号ステップと、前記予測情報復号ステップで復号された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、前記予測画像を用いて前記処理領域に対する画像を前記符号データから復号する画像復号ステップとを有することを特徴とする。
【００２５】
本発明は、前記領域分割規則設定ステップは、前記符号データから前記領域分割規則設定ステップにおいて設定する前記規則を復号して設定することを特徴とする。
【００２６】
本発明は、前記分割領域の統合を行い、前記分割領域を更新する領域統合ステップをさらに有することを特徴とする。
【００２７】
本発明は、前記分割領域と前記処理領域に隣接する既に復号済み領域において設定された予測ユニットとの統合判定を行い、統合対象と判定された前記分割領域に対して、統合先として判定された前記処理領域に隣接する既に復号済み領域において設定された分割領域に含まれる画素群を復号する際に使用した予測画像の生成方法を、統合対象と判定された前記分割領域に含まれる画素群に対する前記画像を予測する方法として設定する予測情報複製ステップをさらに有し、前記予測情報復号ステップは、前記予測情報複製ステップで統合対象と判断されなかった前記分割領域のみについて、当該分割領域に含まれる画素群に対する前記画像を予測する方法を復号し、前記予測画像生成ステップは、前記分割領域に含まれる画素群に対しては、前記予測情報復号ステップで復号された予測方法に従い、前記統合対象と判定された前記分割領域に含まれる画素群に対しては、前記予測情報複製ステップで設定された予測方法に従って予測画像を生成することを特徴とする。
【００２８】
本発明は、前記予測情報復号ステップは、前記分割領域ごとに、前記符号データから当該分割領域に含まれる画素群を小領域に分割する方法を復号し、前記小領域ごとに、当該小領域に含まれる画素群に対する前記画像を予測する方法を復号することを特徴とする。
【００２９】
本発明は、符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化装置であって、前記処理領域内に存在する被写体の数を被写体数として設定する被写体数設定手段と、前記処理領域に対応するデプスマップを参照して、処理領域内の画素群を前記被写体数と同じ数の分割領域に分割する領域分割手段と、前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定手段と、前記予測方法設定手段において設定された予測方法を示す情報を符号化する予測情報符号化手段と、前記予測方法設定手段において設定された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成手段と、前記予測画像を用いて前記処理領域の画像を予測符号化する画像符号化手段とを備えることを特徴とする。
【００３０】
本発明は、符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化装置であって、前記デプスマップの距離情報を基準に前記処理領域内の画素群の領域分割に使用する規則を設定する領域分割規則設定手段と、前記領域分割規則設定手段において設定された規則に従って、前記処理領域に対するデプスマップを用いて、前記処理領域内の画素群を分割領域に分割する領域分割手段と、前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定手段と、前記予測方法設定手段において設定された予測方法を示す情報を符号化する予測情報符号化手段と、前記予測方法設定手段において設定された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成手段と、前記予測画像を用いて前記処理領域の画像を予測符号化する画像符号化手段とを備えることを特徴とする。
【００３１】
本発明は、符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データの復号を行う画像復号装置であって、前記処理領域内に存在する被写体の数を被写体数として設定する被写体数設定手段と、前記処理領域に対応するデプスマップを参照して、処理領域内の画素群を前記被写体数と同じ数の分割領域に分割する領域分割手段と、前記符号データから、前記分割領域ごとに、当該分割に含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号手段と、前記予測情報復号手段において復号された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成手段と、前記予測画像を用いて前記処理領域に対する画像を前記符号データから復号する画像復号手段とを備えることを特徴とする。
【００３２】
本発明は、符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データの復号を行う画像復号装置であって、前記デプスマップの情報を基準に前記処理領域内の画素群の領域分割に使用する規則を設定する領域分割規則設定手段と、前記領域分割規則設定手段において設定された規則に従って、前記処理領域に対するデプスマップを用いて、前記処理領域内の画素群を分割領域に分割する領域分割手段と、前記符号データから、前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号手段と、前記予測情報復号手段において復号された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成手段と、前記予測画像を用いて前記処理領域に対する画像を前記符号データから復号する画像復号手段とを備えることを特徴とする。
【００３３】
本発明は、前記画像符号化方法をコンピュータに実行させるための画像符号化プログラムである。
【００３４】
本発明は、前記画像復号方法をコンピュータに実行させる実行させるための画像復号プログラムである。。
【発明の効果】
【００３５】
本発明によれば、画像信号がその画像に対するデプスマップのように被写体に大きく依存した値を持つデータと一緒に伝送される場合に、被写体依存のデータを用いて対応する領域の画像信号を符号化する際のブロック分割を決定することで、被写体に応じた任意形状のブロック分割を表現するための符号量を削減することが可能となる。さらに、被写体に応じたブロック分割により、被写体に依存する相関を利用することによって画像信号の予測精度が向上し、予測残差の符号化に必要な符号量も削減することが可能となる。これらの結果、効率的な画像符号化を実現することができるようになるという効果が得られる。
【図面の簡単な説明】
【００３６】
【図１】第１実施形態による画像符号化装置の構成を示すブロック図である。
【図２】第１実施形態による画像符号化装置の処理フローチャートである。
【図３】被写体マップの例を示す図である。
【図４】第１実施形態による画像復号装置の構成を示すブロック図である。
【図５】第１実施形態による画像復号装置の処理フローチャートである。
【図６】第２実施形態における小領域の統合を行う場合の画像符号化装置の処理フローチャートである。
【図７】第２実施形態における小領域の統合を行う場合の画像復号装置の処理フローチャートである。
【図８】第３実施形態における小領域の発生を抑える場合の画像符号化装置の処理フローチャートである。
【図９】第３実施形態における小領域の発生を抑える場合の画像復号装置の処理フローチャートである。
【図１０】第４実施形態における更なる領域分割を行う場合の画像符号化装置の処理フローチャートである。
【図１１】第４実施形態における更なる領域分割を行う場合の画像復号装置の処理フローチャートである。
【図１２】第５実施形態におけるデプスマップに対する規則によって領域分割を決定する場合の画像符号化装置の処理フローチャートである。
【図１３】第５実施形態におけるデプスマップに対する規則によって領域分割を決定する場合の画像復号装置の処理フローチャートである。
【図１４】画像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す図である。
【図１５】画像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す図である。
【発明を実施するための形態】
【００３７】
以下、本発明の一実施形態を、図面を参照して説明する。
＜第１実施形態＞
まず、第１実施形態における画像符号化装置について説明する。図１は、本発明の第１実施形態による画像符号化装置の構成を示すブロック図である。図１に示すように、画像符号化装置１００は、符号化対象画像入力部１０１、符号化対象画像メモリ１０２、デプスマップ入力部１０３、デプスマップメモリ１０４、被写体数決定部１０５、被写体マップ生成部１０６、予測画像生成部１０７、予測情報符号化部１０８、画像信号符号化部１０９、画像信号復号部１１０、復号画像メモリ１１１、および多重化部１１２を備えている。
【００３８】
符号化対象画像入力部１０１は、符号化対象となる画像を入力する。以下の説明においては、この符号化対象となる画像のことを符号化対象画像と呼ぶ。符号化対象画像メモリ１０２は、入力された符号化対象画像を記憶する。デプスマップ入力部１０３は、符号化対象画像に対応するデプスマップを入力する。このデプスマップは符号化対象画像の各画素に写っている被写体のデプスを表すものである。デプスマップメモリ１０４は、入力されたデプスマップを記憶する。被写体数設定部１０５は、予め定められた大きさの処理領域に含まれる被写体の数を設定する。被写体マップ生成部１０６は、処理領域内の各画素に写っている被写体を識別して被写体マップを生成する。
【００３９】
予測画像生成部１０７は、予測画像候補生成機能、予測画像評価機能を有し、復号画像を用いて、処理領域内の被写体ごとに画像信号の予測方法を決定し、予測画像を生成する。予測情報符号化部１０８は、予測画像生成部１０７で決定した画像信号の予測方法を示す情報を符号化する。画像信号符号化部１０９は、生成された予測画像を用いて、符号化対象画像を予測符号化する。画像信号復号部１１０は、生成された予測画像を用いて、生成された符号データを復号して復号画像を生成する。復号画像メモリ１１１は、生成された復号画像を蓄積する。多重化部１１２は、予測情報の符号データと、画像信号の符号データを多重化して出力する。
【００４０】
次に、図２を参照して、図１に示す画像符号化装置１００の動作を説明する。図２は、図１に示す画像符号化装置１００の動作を示すフローチャートである。まず、符号化対象画像入力部１０１は、符号化対象画像Ｏｒｇを入力し、符号化対象画像メモリ１０２に記憶する。一方、デプスマップ入力部１０３は、符号化対象画像Ｏｒｇに対するデプスマップＤを入力し、デプスマップメモリ１０４に記憶する（ステップＳ１０１）。ここで入力されるデプスマップは、既に符号化済みのデプスマップを復号したものなど、復号側で得られるデプスマップとする。これは、復号装置で得られる情報と全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化前のオリジナルのものが入力されてもよい。その他の復号側で得られるデプスマップの例としては、別の視点の符号化済みデプスマップを復号したものを用いて合成されたデプスマップや、別の視点の符号化済み画像群を復号したものからステレオマッチング等によって推定したデプスマップなどがある。
【００４１】
なお、符号化対象画像の各画素に対するデプス情報が得られれば、デプスマップの解像度は符号化対象画像と異なっていても構わない。符号化対象画像とデプスマップとで解像度が異なる場合は、デプスマップに対してアップサンプリングやダウンサンプリングといった解像度変換処理を行うことで、符号化対象画像の各画素に対するデプス情報が得られるようにしても構わないし、符号化対象画像の各画素に対する対応関係を内部的に保持し、解像度変換処理を行わずに処理を行っても構わない。
【００４２】
次に、符号化対象画像とデプスマップの格納が終了したら、符号化対象画像を予め定められた大きさの領域に分割し、分割した領域ごとに、符号化対象画像の画像信号を符号化する（ステップＳ１０２〜Ｓ１１４）。すなわち、符号化対象領域インデックスをｂｌｋ、総符号化対象領域数をｎｕｍＢｌｋｓで表すとすると、ｂｌｋを０で初期化し（ステップＳ１０２）、その後、ｂｌｋに１を加算しながら（ステップＳ１１３）、ｂｌｋがｎｕｍＢｌｋｓになるまで（ステップＳ１１４）、以下の処理（ステップＳ１０３〜ステップＳ１１２）を繰り返す。なお、一般的な符号化では１６画素×１６画素のマクロブロックと呼ばれる処理単位ブロックへ分割するが、復号側と同じであればその他の大きさのブロックに分割してもよい。
【００４３】
符号化対象領域ごとに繰り返される処理は、まず、被写体数設定部１０５が、符号化対象領域ｂｌｋに含まれる被写体の数（被写体数ｎｕｍＯｂｊｓ）を決定する（ステップＳ１０３）。被写体数は復号側が同じ値を得られる処理であれば、どのような処理を用いて設定してもよい。例えば、常に予め定められた数を設定してもよい。また、符号化対象領域ごとに異なる値を被写体数として設定してもよい。符号化対象領域ごとに異なる値を設定する方法としては、符号化後の画質を決定するパラメータに基づいて設定する方法がある。Ｈ．２６４／ＡＶＣなどでは量子化パラメータＱＰと呼ばれるものが画質を決定するパラメータである。このパラメータに基づいて、高品質に符号化する（量子化パラメータＱＰが小さい）場合は大きな数の被写体数を設定し、低品質に符号化する（量子化パラメータＱＰが大きい）場合は小さな数の被写体数を設定する。
【００４４】
さらに、画質を決定するパラメータのほかに、そのブロックにおけるデプスマップの値の分布も使用して決定してもよい。例えば、高品質に符号化する（量子化パラメータＱＰが小さい）場合でも、デプスマップの値の分布範囲が狭い場合は被写体数に小さな数を設定し、低品質に符号化する（量子化パラメータＱＰが大きい）場合でも、デプスマップの値の分布範囲が広い場合は被写体数に大きな数を設定してもよい。また、デプスマップの値が主に背景に分布している場合は被写体数を小さくし、前景に分布している場合は被写体数を大きくしてもよい。
【００４５】
符号化対象領域ごとに異なる値を被写体数として設定する別の方法としては、符号化対象領域に対するデプスマップに従って被写体数を設定する方法がある。具体的には、符号化対象領域に対するデプスマップの各画素をｋ−ｍｅａｎｓ法やＡｆｆｉｎｉｔｙ  Ｐｒｏｐａｇａｔｉｏｎなどのクラスタリング手法を用いて、各クラスタ内のデプス値分散が予め定められた値以下になるクラスタリング結果のうち、最小のクラスタ数を被写体数にする方法がある。クラスタリングに用いる尺度としては、デプス値のみを用いてもよいし、デプス値と画素位置とからなる値を用いてもよい。
【００４６】
なお、クラスタリング結果を評価する際に、各クラスタ内のデプス値の分散ではなく、各クラスタ内のデプスを定数または平面で近似した際の誤差量を用いる方法もある。このような評価をすることで、カメラの向きに対して鉛直に存在する被写体だけでなく、斜めになっている被写体を正しく識別することが可能になる。
【００４７】
符号化対象領域ごとに異なる被写体数を推定して設定する場合、被写体数が大きくなると符号化効率が低下する場合があるため、被写体数の最大値を予め定めておき、被写体数が一定値以上になるのを防いでもよい。
【００４８】
さらに別の方法として、被写体数を導出する際に符号化対象画像等の復号側では得られない情報を用いて設定し、設定した被写体数を符号化して伝送してもよい。例えば、複数の被写体数の候補値に対して、発生符号量と符号化によって生じる歪み量の重み付き和で表されるレート歪みコストなどの符号化効率を評価する尺度を計算し、最も符号化効率が高いと判断された被写体数を選ぶ方法がある。この場合は、画像符号化装置は被写体数を符号化する被写体数符号化部を有し、被写体数を設定した後に被写体数を符号化するステップを有し、後述する多重化ステップ（Ｓ１１２）では被写体数を示す符号データを一緒に多重化する。このとき、被写体数に対する符号語をコンパクトに設計するために、被写体数として取りえる数を制限してもよい。なお、被写体数を符号化する際には、デプスマップや隣接する符号化済みブロックの画像情報を用いて被写体数を予測して、予測誤差のみを符号化してもよい。
【００４９】
被写体数を予測する方法としては、復号側で同じ処理を行うことが可能であれば、どのような処理を用いてもよい。例えば、前述のように符号化対象ブロックやその周辺のデプスマップに対してクラスタリングを適用することで得られる値を予測値とする方法や、それらデプスマップの値に加えて符号化対象ブロック周辺の既に符号化済みのブロックに対する復号画像信号を用いてクラスタリングを適用することで得られる値を予測値とする方法や、符号化対象ブロック周辺の既に符号化済みのブロックにおける被写体数や領域分割数に対して、平均値や中央値などの数値計算を適用することで得られる値を予測値とする方法がある。
【００５０】
次に、被写体数の設定が終了したら、被写体マップ生成部１０６は、符号化対象領域ｂｌｋに対して被写体マップＳを生成する（ステップＳ１０４）。ここでいう被写体マップとは、ブロック内の各画素にどの“被写体”が存在しているかを示したものでり、符号化対象領域ｂｌｋの各画素に対して、０からｎｕｍＯｂｊｓ−１までの値で表される被写体識別子（番号）を割り当てたものである。どのように表現をしてもよいが、最も単純な表現では２次元情報として表現できる。すなわち、被写体マップは例えば図３のような２次元情報になる。
【００５１】
被写体マップは、符号化対象領域に対するデプスマップの各画素をｋ−ｍｅａｎｓ法やＡｆｆｉｎｉｔｙ  Ｐｒｏｐａｇａｔｉｏｎなどのクラスタリング手法を用いて、ｎｕｍＯｂｊｓ個のクラスタに分類し、同じクラスタ内の画素が全て同じ被写体識別子を持ち、別のクラスタ内の画素とは必ず異なる被写体識別子を持つように、被写体識別子を割り振ることで生成する。クラスタリングに用いる尺度としては、デプス値のみを用いてもよいし、デプス値と画素位置とからなる値を用いてもよい。ただし、使用するクラスタリング手法や尺度は復号側と同じものを用いる必要がある。
【００５２】
また、各クラスタへの被写体識別子を割り振る方法も、復号側と同じで、与えられたクラスタリング結果に対して単一の割り振りができるのであれば、どのような方法を用いてもよい。例えば、より上の行の画素を含むクラスタほど小さな値の被写体識別子を持ち、クラスタに含まれる画素の最も上の行が同じクラスタ間では、より左の列の画素を含むクラスタほど小さな値の被写体識別子を持つように、値を割り振ることで曖昧性のない被写体識別子の割り振りを行うことができる。なお、被写体数を決定する際にクラスタリングを行っている場合には、その結果を利用し、ここで再度クラスタリングを行う必要はない。
【００５３】
次に、被写体マップが得られたら、同じ被写体識別子を持つ画素群ごとに、画像信号の予測を行う（ステップＳ１０５〜Ｓ１０９）。すなわち、予測対象の被写体識別子をｏｂｊで表すとすると、ｏｂｊを０で初期化し（ステップＳ１０５）、その後、ｏｂｊに１を加算しながら（ステップＳ１０８）、ｏｂｊがｎｕｍＯｂｊｓになるまで（ステップＳ１０９）、被写体マップ上の対応する位置の被写体識別子がｏｂｊである符号化対象画像の画像信号に対する予測画像を生成する方法を決定して予測画像を生成する処理（ステップＳ１０６）と、予測画像を生成する方法を示すための情報を符号化する処理（ステップＳ１０７）とを交互に繰り返す。
【００５４】
予測画像生成法の決定と予測画像の生成は、予測画像生成部１０７が行う。予測画像を生成する方法を決定する方法には、どのようなものを用いてもよい。ただし、符号化効率を最大化する場合は、各予測画像生成法による画像信号の予測効率を評価し、その予測効率が最大になるものを探し出したほうがよい。すなわち、ある予測画像生成法ｍでの予測効率の評価値をＥ（ｍ）とするとき、（１）式で与えられるＭｂｌｋ，ｏｂｊを、被写体マップ上の対応する位置の被写体識別子がｏｂｊである画素群に対する符号化対象画像の予測画像を生成する方法に決定する。
【数１】
0005729825.tif 000002
【００５５】
なお、Ｅ（ｍ）の値は大きいほど予測効率が高いことを示しており、ａｒｇｍａｘは与えられた関数を最大化するパラメータを求める処理を示す。導出するパラメータはａｒｇｍａｘの下部で与えられる。Ｍｏｄｅは使用可能な予測方法の集合であり、復号側で同じ方法が使用可能であれば、どのような方法が含まれていてもよいし、その集合の大きさがいくつであってもよい。例えば、Ｈ．２６４／ＡＶＣのイントラ予測のように、８つ異なる予測方向に従ったイントラ予測、隣接画素の復号画像の平均値で予測画像を生成するＤＣ予測、グラデーションを想定して隣接画素を線形補間することで予測画像を生成するＰｌａｎｅ予測からなる集合を用いてもよい。
【００５６】
また、文献「K. McCann, W.-J. Han, and I. Kim, “Samsung's Response to the Call for Proposals on Video Compression Technology”, Input document to Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JCTVC-A124, April 2010. 」のようにさらに多数の予測方向を集合に加えてもよいし、文献「K. Ugur, K. R. Andersson, and A. Fuldseth,“Description of video coding technology proposal by Tandberg, Nokia, Ericsson”, Input document to Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JCTVC-A119, April 2010.」のように先に一部分を符号化し、その情報を用いて双方向予測を行う方法を集合に加えてもよい。
【００５７】
さらに、画面内予測方法だけでなく、時間的に連続する複数枚の画像（動画像）や異なる位置に置いたカメラで同一シーンを撮影した複数枚の画像（多視点画像）やその動画像（多視点動画像）を符号化する場合は、符号化済みの画像から予測画像を生成する画面間予測方法を使用してもよい。画面間予測では、参照する画像を示す情報と、その参照する画像上の領域を指定するベクトル情報との組で１つの予測画像生成法となる。
【００５８】
予測効率の評価値Ｅ（ｍ）としては、任意のものを使用することが可能であるが、例えば、（２）、（３）式で表される符号化対象画像と予測画像とのＳＡＤ（差分絶対値和）やＳＳＤ（差分二乗和）を用いてもよい。
Ｅ（ｍ）＝−Σｐ｜Ｏｒｇ［ｐ］−Ｐｒｅｄｍ［ｐ］｜    ・・・（２）
Ｅ（ｍ）＝−Σｐ（Ｏｒｇ［ｐ］−Ｐｒｅｄｍ［ｐ］）２    ・・・（３）
【００５９】
ここで、Ｐｒｅｄｍは予測画像生成法ｍに従って生成された予測画像を示す。Σｐは領域ｂｌｋの内部で被写体マップによって示される被写体識別子がｏｂｊである画素全てについての和を表している。これら以外に符号化対象画像と予測画像の差分値をＤＣＴやアダマール変換などを用いて変換した値を用いた方法がある。その変換を行列Ａで表すと、（４）式で表すことができる。なお、‖Ｘ‖はＸのノルムを表す。
Ｅ（ｍ）＝−‖Ａ・（Ｏｒｇ［ｂｌｋ］−Ｐｒｅｄｍ［ｂｌｋ］）‖    ・・・（４）
【００６０】
ただし、この場合変換に用いる全ての画素（上記の式の場合は領域ｂｌｋ全体）についての予測画像が必要となるため、全ての被写体識別子に対して予測画像生成方法を仮定して評価する必要がある。また、上記のように符号化対象画像と予測画像との乖離度のみを評価する方法ではなく、発生する符号量と歪み量を鑑みたＲＤコストを用いてもよい。ここで用いるＲＤコストは、Ｐｒｅｄｍを予測画像として、Ｏｒｇを符号化した際の符号量Ｒ（ｍ）と歪み量Ｄ（ｍ）とを用いて、（５）式で表すことができる。なお、λはラグランジュの未定乗数であり、予め定められた値を用いる。
Ｅ（ｍ）＝−Ｄ（ｍ）−λＲ（ｍ）    ・・・（５）
【００６１】
予測画像の生成法を示す情報の符号化は予測情報符号化部１０８が行う。符号化する方法には、どのような方法を使用してもよい。ただし、正しく復号するためには、復号側で行う処理に対応させる必要がある。例えば、Ｍｂｌｋ，ｏｂｊを予め定められたテーブルを用いて符号化してもよいし、Ｍｂｌｋ，ｏｂｊを予め定められたテーブルを用いて２値化した後に、 周辺の符号化結果を考慮した２値算術符号化によって符号化してもよい。なお、本実施形態では被写体識別子ｏｂｊごとに符号化しているが、符号化対象領域ｂｌｋごとにまとめて符号化してもよいし、画像全体でまとめて符号化してもよい。その場合、Ｍｂｌｋ，ｏｂｊを蓄積しておくことで、予測情報の符号化処理を符号化対象領域ｂｌｋごとの１度だけ行われる処理や、画像全体で１度だけ行われる処理とすることができる。
【００６２】
次に、符号化対象領域ｂｌｋに対する予測画像の生成が終わったら、画像信号符号化部１０９は、その予測画像を用いて符号化対象画像Ｏｒｇの符号化対象領域ｂｌｋにおける画像信号を符号化する（ステップＳ１１０）。符号化にはどのような方法を用いてもよい。ＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの一般的な符号化では、ブロックｂｌｋの画像信号と予測画像との差分信号（Ｏｒｇ［ｂｌｋ］−Ｐｒｅｄ［ｂｌｋ］）に対して、ＤＣＴなどの周波数変換、量子化、２値化、エントロピー符号化を順に施すことで符号化を行う。
【００６３】
次に、画像信号復号部１１０は、符号化結果として得られた符号データと予測画像とを用いて、ブロックｂｌｋに対する画像信号を復号し、復号結果であるところの復号画像Ｄｅｃ［ｂｌｋ］を復号画像メモリ１１１に記憶する（ステップＳ１１１）。ここでは、符号化時に用いた手法に対応する手法を用いる。例えば、ＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの一般的な符号化であれば、符号データに対して、エントロピー復号、逆２値化、逆量子化、ＩＤＣＴなどの周波数逆変換を順に施し、得られた２次元信号に対して予測信号を加え、最後に画素値の値域でクリッピングを行うことで画像信号を復号する。なお、符号化側での処理がロスレスになる直前のデータと予測画像を受け取り、簡略化した復号処理によって復号処理を行っても構わない。つまり、前述の例であれば符号化時に量子化処理を加えた後の値と予測画像を受け取り、その量子化後の値に逆量子化、周波数逆変換を順に施して得られた２次元信号に対して予測画像を加え、画素値の値域でクリッピングを行うことで映像信号を復号しても構わない。復号して得られた画像信号は、他のブロックを符号化する際の予測画像を生成するために用いられる。
【００６４】
次に、多重化部１１１は、予測画像生成法を示す情報の符号データと、画像信号の符号データとを多重化して出力する（ステップＳ１１２）。なお、ここではブロックごとに多重化しているが、フレーム単位で多重化してもよい。ただし、その場合には、復号時に１フレーム分の符号データをバッファリングしてから復号する必要が生じる。また、復号画像を生成した後に多重化しているが、画像信号の符号化が終了した直後に多重化してもよい。
【００６５】
次に、図４を参照して、第１実施形態における画像復号装置について説明する。図４は、本発明の第１実施形態による画像復号装置の構成を示すブロック図である。図４に示すように、画像復号装置２００は、符号データ入力部２０１、符号データメモリ２０２、デプスマップ入力部２０３、デプスマップメモリ２０４、被写体数決定部２０５、被写体マップ生成部２０６、分離部２０７、予測情報復号部２０８、予測画像生成部２０９、画像信号復号部２１０、および復号画像メモリ２１１を備えている。
【００６６】
符号データ入力部２０１は、復号対象となる画像の符号データを入力する。以下の説明においては、この復号対象となる画像のことを復号対象画像と呼ぶ。符号データメモリ２０２は、入力された符号データを記憶する。デプスマップ入力部２０３は、復号対象画像に対応するデプスマップを入力する。このデプスマップは復号対象画像の各画素に写っている被写体のデプスを表すものである。デプスマップメモリ２０４は、入力されたデプスマップを記憶する。被写体数設定部２０５は、予め定められた大きさの処理領域に含まれる被写体の数を設定する。被写体マップ生成部２０６は、処理領域内の各画素に写っている被写体を識別して被写体マップを生成する。
【００６７】
分離部２０７は、入力された符号データでは多重化されている予測情報の符号データと画像信号の符号データとを分離する。予測情報復号部２０８は、画像信号の予測方法を示す情報を符号データから復号する。予測画像生成部２０９は、与えられた予測情報に従って、処理領域内の被写体ごとに予測画像を生成する。画像信号復号部２１０は、生成された予測画像を用いて、符号データを復号して復号画像を生成する。復号画像メモリ２１１は、生成された復号画像を記憶する。
【００６８】
次に、図５を参照して、図４に示す画像復号装置２００の動作を説明する。図９は、図４に示す画像復号装置２００の動作を示すフローチャートである。まず、符号データ入力部２０１は復号対象画像の符号データを入力し、符号データメモリ２０２に記憶する。一方、デプスマップ入力部２０３は、復号対象画像に対するデプスマップＤを入力し、デプスマップメモリ２０４に記憶する（ステップＳ２０１）。ここで入力されるデプスマップは、符号化時に使用したデプスマップと同じものとする。これは符号化装置で使用した情報と全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化に使用されたものとは異なるものが入力されてもよい。入力されるデプスマップとしては、例えば、別途復号されたデプスマップや、別の視点に対して復号されたデプスマップを用いて合成されたデプスマップや、別の視点に対して復号された画像群からステレオマッチング等によって推定したデプスマップなどがある。
【００６９】
次に、符号データとデプスマップの格納が終了したら、復号対象画像を予め定められた大きさの領域に分割し、分割した領域ごとに、復号対象画像の画像信号を復号する（ステップＳ２０２〜Ｓ２１３）。すなわち、復号対象領域インデックスをｂｌｋ、総復号対象領域数をｎｕｍＢｌｋｓで表すとすると、ｂｌｋを０で初期化し（ステップＳ２０２）、その後、ｂｌｋに１を加算しながら（ステップＳ２１２）、ｂｌｋがｎｕｍＢｌｋｓになるまで（ステップＳ２１３）、以下の処理（ステップＳ２０３〜ステップＳ２１１）を繰り返す。なお、一般的な符号化方式では１６画素×１６画素のマクロブロックと呼ばれる処理単位ブロックへ分割するが、符号化側と同じであればその他の大きさのブロックに分割してもよい。
【００７０】
復号対象領域ごとに繰り返される処理は、まず、分離部２０７が符号データから、ブロックｂｌｋの予測情報の符号データと画像信号の符号データとを分離する（ステップＳ２０３）。なお、ここではブロックごとに分離しているが、フレーム単位など他の単位で分離してもよい。ただしフレーム単位で分離する場合は、入力された符号データではなく、分離された符号データを蓄積する必要が生じる。また、ブロックごとの処理の最初に行っているが、被写体ごとに予測画像を生成する前であれば、いつ分離してもよい。
【００７１】
次に、被写体数設定部２０５は、復号対象領域ｂｌｋに含まれる被写体の数（被写体数ｎｕｍＯｂｊｓ）を決定する（ステップＳ２０４）。被写体数は符号化側と同じ処理であれば、どのような処理を用いて設定してもよい。すなわち、ここでの処理は図２に示すステップＳ１０３と同じである。なお、被写体数が符号化されて符号データに含まれている場合は、符号データを分離する際に、被写体数に対する符号データも分離し、その符号データを復号することで被写体数を設定する。また、隣接する復号済みブロックの情報を用いて被写体数が予測符号化されている場合は、予め定められた符号化側と同じ処理によって被写体数の予測値を生成し、その予測値を用いて符号データから被写体数を復号する。ただし、被写体数を予測する方法は、符号化側で行われた処理と同じである必要がある。
【００７２】
次に、被写体数の設定が終了したら、被写体マップ生成部２０６は、復号対象領域ｂｌｋに対して被写体マップＳを生成する（ステップＳ２０５）。被写体マップとは、ブロック内の各画素にどの“被写体”が存在しているかを示したものであり、符号化対象領域ｂｌｋの各画素に対して、０からｎｕｍＯｂｊｓ−１までの値で表される被写体識別子（番号）を割り当てたものである。どのように表現をしてもよいが、最も単純な表現では２次元情報として表現できる。すなわち、被写体マップは例えば図３のような２次元情報になる。ここでの処理は図２に示すステップＳ１０４と同じである。
【００７３】
次に、被写体マップが得られたら、同じ被写体識別子を持つ画素群ごとに、復号対象画像の画像信号の予測を行う（ステップＳ２０６〜Ｓ２１０）。すなわち、予測対象の被写体識別子をｏｂｊで表すとすると、ｏｂｊを０で初期化し（ステップＳ２０６）その後、ｏｂｊに１を加算しながら（ステップＳ２０８）、ｏｂｊがｎｕｍＯｂｊｓになるまで（ステップＳ２１０）、予測情報復号部２０８で被写体マップ上の対応する位置の被写体識別子がｏｂｊである符号化対象画像の画像信号に対する予測画像を生成する方法を予測情報の符号データから復号する処理（ステップＳ２０７）と、予測画像生成部２０９で得られた予測情報に従って予測画像を生成する処理（ステップＳ２０８）とを繰り返す。
【００７４】
なお、予測画像を生成する方法にはどのような方法を用いても構わないが、復号した予測情報を用いることで、符号化時に使用した予測画像と同じものを生成できる必要がある。また、本実施形態では被写体識別子ｏｂｊごとに予測情報を復号しているが、復号対象領域ｂｌｋごとにまとめて復号してもよいし、画像全体でまとめて復号してもよい。その場合、復号した予測情報を蓄積しておき、予測情報の復号処理を、符号化対象領域ｂｌｋごとに１度だけ行われる処理や、画像全体で１度だけ行われる処理とすることができる。
【００７５】
次に、復号対象領域ｂｌｋに対する予測画像の生成が終わったら、画像信号復号部２１０は、生成した予測画像を用いて復号対象領域ｂｌｋにおける復号対象画像の画像信号を復号する（ステップＳ２１１）。復号にはどのような方法を用いてもよいが、符号化時に用いた方法に対応する方法を用いる必要がある。ＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの一般的な符号化が使用されている場合は、符号データに対して、エントロピー復号、逆２値化、逆量子化、ＩＤＣＴなどの周波数逆変換を順に施し、得られた２次元信号に対して予測信号（予測画像）を加え、最後に画素値の値域でクリッピングを行うことで画像信号を復号する。復号して得られた画像信号は、画像復号装置２００の出力となると共に、他のブロックを符号化する際の予測画像を生成するために復号画像メモリ２１１に記憶する。なお、復号画像をフレーム単位で出力する必要がある場合は、画像信号復号部２１０からは直接出力せずに、１フレーム分の処理が終わったところで、復号画像メモリ２１１から出力する。
【００７６】
＜第２実施形態＞
次に、第２実施形態における画像符号化装置及び画像復号装置について説明する。第１実施形態では、デプスマップの各画素の値をそのまま用いて被写体マップを生成するため、デプスマップの取得誤差や符号化ノイズの影響を受けて、非常に小さな孤立した領域が１つの被写体と決定されることがある。また、ブロック端にほんの少しだけ被写体が残っている場合なども、同様に非常に小さな領域に対して１つの被写体識別子が対応付けられることになる。そのように生成される小さな領域に対して１つの予測画像生成方法を割り当てる場合、予測効率の改善による符号量削減よりも、予測画像生成方法を符号化するために必要になる符号量増加のほうが多くなるため効率的な符号化を実現することができない。そこで生成された被写体マップＳにおいて、微小な被写体画素集合を隣接する被写体と統合してもよい。
【００７７】
図６、図７を参照して、第２実施形態における画像符号化装置及び画像復号装置が微小な被写体画素集合を隣接する被写体と統合して画像符号化及び画像復号を行う動作を説明する。図６は、第２実施形態における画像符号化装置の動作を示すフローチャートである。図６において、図２に示す動作と同一の部分には同一の符号を付し、その説明を省略する。図６に示す動作が図２に示す動作と異なる点は、被写体マップを生成した後に、被写体マップを修正するステップ（ステップＳ１１５）が追加されている点である。
【００７８】
図７は、第２実施形態における画像復号装置の動作を示すフローチャートである。図７において、図５に示す動作と同一の部分には同一の符号を付し、その説明を省略する。図７に示す動作が図５に示す動作と異なる点は、被写体マップを生成した後に、被写体マップを修正するステップ（ステップＳ２１４）が追加されている点である。
【００７９】
ここでは被写体マップを修正するだけでなく、それに伴って被写体数ｎｕｍＯｂｊｓも更新する。ここでの処理は符号化側と復号側との処理が一致していればどのような処理を用いてもよい。例えば、被写体マップを生成した際に生成したクラスタのサイズが予め定められた閾値以下の場合に、そのクラスタを隣接するクラスタに統合する方法がある。複数のクラスタと隣接している場合は、予め定めた規則に従って統合を行う。どのような規則を用いてもよいが、例えば、微小クラスタに接する画素の多いクラスタと統合する、クラスタ内の画素に対する平均デプス値が近いクラスタと統合する、クラスタ内の画素に対する平均デプス値が小さいまたは大きいクラスタと統合するなどの統合規則がある。なお、複数の統合規則の組み合わせを用いてもよい。統合対象を判定する閾値や、統合規則の選択をシーケンス、フレーム、スライス、ブロックなどの単位で指定してもよい。その場合、画像符号化においては、それらを指定する情報を、シーケンスヘッダ、フレームヘッダ、スライスヘッダ、ブロックヘッダなどの適切な位置で必要に応じて符号化する必要があり、画像復号においては、それらを指定する情報を適切な位置で必要に応じて復号して切り替える必要がある。
【００８０】
また、既に符号化済みまたは復号済みの隣接ブロック内のクラスタとの統合を許可してもよい。その場合、既に符号化済みまたは復号済みの隣接ブロック内のクラスタと統合された画素に対しては、画像符号化時には、ステップＳ１０６において、統合先で使用された予測画像生成方法を用いて予測画像を生成し、ステップＳ１０７をスキップする。画像復号時には、ステップＳ２０７において予測情報を符号データから復号せずに、統合先で使用された予測情報を用いて予測画像を生成する。なお、この場合は符号化または復号された予測情報を蓄積しておく必要がある。
【００８１】
＜第３実施形態＞
次に、第３実施形態における画像符号化装置及び画像復号装置について説明する。第３実施形態においては、小さな領域が１つの被写体として生成されるのを防ぐために、被写体マップを生成する前に、入力されたデプスマップにフィルタをかける。
【００８２】
図８、図９を参照して、第３実施形態における画像符号化装置及び画像復号装置がデプスマップにフィルタ処理を加えて画像符号化及び画像復号を行う動作を説明する。図８は、第３実施形態における画像符号化装置の動作を示すフローチャートである。図８において、図２に示す動作と同一の部分には同一の符号を付し、その説明を省略する。図８に示す動作が図２に示す動作と異なる点は、デプスマップを入力した後に、デプスマップにフィルタをかけるステップ（ステップＳ１１６）が追加されている点である。
【００８３】
図９は、第３実施形態における画像復号装置の動作を示すフローチャートである。図９において、図５に示す動作と同一の部分には同一の符号を付し、その説明を省略する。図９に示す動作が図５に示す動作と異なる点は、デプスマップを入力した後に、デプスマップにフィルタをかけるステップ（ステップＳ２１５）が追加されている点である。
【００８４】
ここで用いるフィルタは、どのようなフィルタを用いてもよいが、クラスタリングによって小さな領域が１つの被写体として判定されるのを防ぐことが目的であるため、一般的には、デプスマップの空間相関を高めるようなフィルタを用いる。例えば、２次元のメディアンフィルタやバイラテラルフィルタ、Ｎｏｎ−ｌｏｃａｌ  ｍｅａｎｓ（ＮＬＭ）フィルタを用いればよい。メディアンフィルタとは、注目画素の値を一定距離内の画素の値の中央値で置き換えるフィルタである。バイラテラルフィルタとは、エッジを保持しながら平滑化するフィルタである（詳しくは文献「C. Tomasi, R. Manduchi, "Bilateral Filtering for Gray and Color Images," iccv, pp.839, Sixth International Conference on Computer Vision (ICCV'98), 1998.」参照）。ＮＬＭフィルタとは、画素ごとにマッチング度合いを考慮した係数を計算して畳み込むフィルタである（詳しくは文献「A. Buades, B. Coll, J.-M. Morel, "A Non-Local Algorithm for Image Denoising," cvpr, vol. 2, pp.60-65, 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05) - Volume 2, 2005.」参照）。
【００８５】
なお、同じフィルタを繰り返しかけてもよいし、複数種類のフィルタを組み合わせて使ってもよい。ただし、符号化側と復号側とで行うフィルタ処理と一致させる必要がある。一致させるためには、予め使用するフィルタの種類や回数を固定しておいてもよいし、使用するフィルタの種類や回数に関する情報を符号化して、復号側に伝えてもよい。また、小さな領域が１つの被写体として生成されるのを防ぐために、上述した第２の実施形態の方法を組み合わせ、被写体マップ生成前にデプスマップにフィルタ処理を施し、被写体マップの生成後に微小なクラスタを隣接するクラスタと統合する処理を行う方法もある。
【００８６】
＜第４実施形態＞
次に、第４実施形態における画像符号化装置及び画像復号装置について説明する。第１実施形態では、予測画像の生成法を指定する単位を、デプスマップの値の類似性から生成する任意形状の領域分割に従って決定しているが、画像信号の空間相関や時間相関は同じ被写体であっても異なることがあるため、被写体マップによって決定した領域をさらに分割し、得られた小領域ごとに異なる予測画像生成法を指定してもよい。
【００８７】
図１０、図１１を参照して、第４実施形態における画像符号化装置及び画像復号装置が被写体マップで決定した領域をさらに分割して画像符号化及び画像復号を行う動作を説明する。図１０は、第４実施形態における画像符号化装置の動作を示すフローチャートである。図１０において、図２に示す動作と同一の部分には同一の符号を付し、その説明を省略する。図１０に示す動作が図２に示す動作と異なる点は、被写体ごとにその画素の集合の分割方法を決定し（ステップＳ１１７）、その分割された小領域ごとに予測画像生成法を決定して予測画像を生成し（ステップＳ１０６’）、領域分割方法と各小領域の予測方法を示す情報を符号化する（ステップＳ１０７’）という点である。
【００８８】
図１１は、第４実施形態における画像復号装置の動作を示すフローチャートである。図１１において、図５に示す動作と同一の部分には同一の符号を付し、その説明を省略する。図１１に示す動作が図５に示す動作と異なる点は、被写体ごとにその画素集合の分割方法を示す情報を符号データから復号し（ステップＳ２１６）、その分割された小領域ごとに予測画像の生成方法を示す情報を符号データから復号し（ステップＳ２０７’）、それら得られた分割方法と予測画像生成方法に従って被写体ｏｂｊの画素群に対する予測画像を生成する（ステップＳ２０８’）という点である。
【００８９】
被写体ｏｂｊに対する画素の集合を分割する方法は、どのような方法を用いてもよい。例えば、被写体ｏｂｊ毎に、（１）分割を行わない、（２）ブロックｂｌｋを２等分する水平のラインで分割する、（３）ブロックｂｌｋを２等分する鉛直のラインで分割する、（４）ブロックｂｌｋを４等分する十字のラインで分割するうち、いずれかを予測効率や符号化効率を基準にして選択してもよい。なお、被写体ｏｂｊの形状や大きさを考慮して分割を決定する方法もある。例えば、被写体ｏｂｊの重心を通る水平ラインや鉛直ラインを用いる方法や、被写体ｏｂｊを含む傾きのない最小の長方形を見つけ、その長方形を等分するラインを用いる方法がある。
【００９０】
分割方法を示す情報を符号化する方法および復号する方法は、お互いに解釈できる方法であれば、どのような方法を用いてもよい。例えば、上記の例のように４通りの中から１つを選ぶのであれば、それぞれに００、０１、１０、１１の符号を割り当ててもよいし、これらバイナリ列を隣接ブロック等の情報を用いて算術符号化してもよい。その場合、復号時は算術復号をして得られたバイナリ列を解釈することで正しく情報が得られる。なお、分割方法を示す情報と予測画像の生成方法を示す情報を一緒に符号化または復号してもよい。
【００９１】
＜第５実施形態＞
次に、第５実施形態における画像符号化装置及び画像復号装置について説明する。第１実施形態では、各ブロックに対して被写体数を決定し、それに基づいてブロック内の画素をクラスタリングすることで分割方法を決定しているが、被写体数の代わりに分割規則を与えて、その規則に従ってブロック分割を決定する方法もある。
【００９２】
図１２、図１３を参照して、第５実施形態における画像符号化装置及び画像復号装置が分割規則を与えてブロック分割を設定して画像符号化及び画像復号を行う動作を説明する。図１２は、第５実施形態における画像符号化装置の動作を示すフローチャートである。図１２において、図２に示す動作と同一の部分には同一の符号を付し、その説明を省略する。図１２に示す動作が図２に示す動作と異なる点は、ブロックごとに、分割規則に従ってブロック内のデプスをグルーピングして被写体マップＳを生成し（ステップＳ１１９）、その結果から被写体数を計算する（ステップＳ１２０）という点である。
【００９３】
図１３は、第５実施形態における画像復号装置の動作を示すフローチャートである。図１３において、図５に示す動作と同一の部分には同一の符号を付し、その説明を省略する。図１３に示す動作が図５に示す動作と異なる点は、ブロックごとに、分割規則に従ってブロック内のデプスをグルーピングして被写体マップＳを生成し（ステップＳ２１７）、その結果から被写体数を計算する（ステップＳ２１８）という点である。
【００９４】
分割規則は符号化側と復号側とで同じ規則が利用できるのであれば、どのようなものを用いてもよい。例えば、Ｓｏｂｅｌフィルタ等を用いてデプスマップのエッジを抽出し、そのエッジ（またはその内側や外側）を領域の境界とする規則でもよい。また、デプスの値域を幾つかの区間に分割し、同じ区間に属するデプス値を持つ画素ごとに領域を設定する規則でもよい。この場合、デプス値区間の分割は固定のものでもよいし、量子化パラメータ等の符号化品質をコントロールするパラメータに依存して可変にしてもよいし、別途分割情報を符号化して伝送してもよい。また、被写体数を明示的に伝送する方法と組み合わせて、被写体マップＳを生成した後に、指定された被写体数となるように、被写体を統合する処理を行ってもよい。
【００９５】
前述した説明においては、１枚の画像を符号化または復号する処理を説明したが、連続する複数枚の画像を処理することで動画像を符号化または復号する処理にも拡張できることは容易に考えられる。また、複数のカメラで撮影された多視点画像や多視点動画像を符号化または復号する処理にも適用可能なことも容易に類推可能である。これらの場合、予測モードは動きまたは視差ベクトルや参照フレームを含む１つの予測画像を生成する方法と解釈する。
【００９６】
また、画像全体を符号化または復号する処理として説明したが、画像の一部分のみに適用することも可能である。また、上述の説明では、予め定められたブロックごとに処理を行う場合を説明したが、画像全体や複数のブロックの集合に対して、デプスマップを用いた被写体判別によって領域分割を行ってもよい。
【００９７】
また、符号化または復号対象画像に対するデプスマップを用いているが、法線マップや温度画像などの被写体に依存した値を持つ画像情報を代わりに用いることも可能である。ただし、符号化側で使用されたものが復号側でも同様に入手できる必要がある。
【００９８】
なお、ここでいう被写体とは、撮影されている個々の物体や人物そのものを意味するのではなく、対応するデプスマップの値が類似する画素の集合であり、本発明ではその画素の集合に対して単一の方法で予測画像が生成される。すなわち、単一の実物体であっても、対応するデプスマップの値が大きく異なる場合など、単一の方法で予測画像が生成できないと判断された場合は、複数の被写体とみなされることもある。また、複数の実物体であっても、対応するデプスマップの値が類似し、単一の方法で予測画像が生成される場合は、単一の被写体とみなされることもある。
【００９９】
また、被写体数は、ブロック内に存在する“被写体”の数であり、予測画像の生成方法に関する情報を付与する対象の個数である。被写体数は、ブロック内のデプスマップの値を解析することで生成することができる。例えば、ブロック内の画素をデプスマップの値や位置などの情報を用いてクラスタリングし、各クラスタの評価値（例えば、デプスマップ値の分散）が一定値以下となるクラスタ数の最大値を被写体数とすることが可能である。また、経験などに基づいて外部から与えたり、符号化結果の画質や符号量をコントロールするために指定されるパラメータ（例えば、Ｈ．２６４などにおける量子化パラメータ）に基づいて決定したり、予め定められた値を用いたりすることも可能である。
【０１００】
以上説明した画像符号化装置及び画像復号装置の機能は、コンピュータとソフトウェアプログラムとによっても実現することができ、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも、ネットワークを通して提供することも可能である。
【０１０１】
図１４は、画像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示す図である。図１４に示すシステムは、プログラムを実行するＣＰＵ５０と、ＣＰＵ５０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ５１と、カメラ等からの符号化対象の画像信号を入力する符号化対象画像入力部５２（ディスク装置等による画像信号を記憶する記憶部でもよい）と、例えばネットワークを介して符号化対象画像に対するデプスマップを入力するデプスマップ入力部５３（ディスク装置等による画像信号を記憶する記憶部でもよい）と、図２等で説明した処理をＣＰＵ５０に実行させるソフトウェアプログラムである画像符号化プログラム５４１が格納されたプログラム記憶装置５４と、ＣＰＵ５０がメモリ５１にロードされた画像符号化プログラム５４１を実行することにより生成された符号データを、例えばネットワークを介して出力する符号データ出力部５５（ディスク装置等による多重化符号データを記憶する記憶部でもよい）とが、バスで接続された構成になっている。図示は省略するが、他に、符号データ記憶部、復号画像記憶部などのハードウェアが設けられ、本手法の実施に利用される。また、画像信号符号データ記憶部、予測情報符号データ記憶部などが用いられることもある。
【０１０２】
図１５は、画像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示す図である。図１５に示すシステムは、プログラムを実行するＣＰＵ６０と、ＣＰＵ６０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ６１と、画像符号化装置が本手法により符号化した符号データを入力する符号データ入力部６２（ディスク装置等による多重化符号データを記憶する記憶部でもよい）と、例えばネットワークを介して復号対象の画像に対するデプスマップを入力する参照視点画像入力部６３（ディスク装置等による画像信号を記憶する記憶部でもよい）と、図９等で説明した処理をＣＰＵ６０に実行させるソフトウェアプログラムである画像復号プログラム６４１が格納されたプログラム記憶装置６４と、ＣＰＵ６０がメモリ６１にロードされた画像復号プログラム６４１を実行することにより、符号データを復号して得られた復号画像を、再生装置などに出力する復号画像出力部６５とが、バスで接続された構成になっている。図示省略するが、他に、復号画像記憶部などのハードウェアが設けられ、本手法の実施に利用される。また、画像信号符号データ記憶部、予測情報符号データ記憶部が用いられることもある。
【０１０３】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の精神および技術的範囲を逸脱しない範囲での構成要素の追加、省略、置換、その他の変更を行ってもよい。
【０１０４】
以上説明したように、画像信号がその画像に対するデプスマップのように被写体に大きく依存した値を持つデータと一緒に伝送される場合に、被写体依存のデータを用いて対応する領域の画像信号を符号化する際のブロック分割を決定することで、被写体に応じた任意形状のブロック分割を表現するための符号量を削減することができる。さらに、被写体に応じたブロック分割により、被写体に依存する相関を利用することによって画像信号の予測精度が向上し、予測残差の符号化に必要な符号量も削減することができる。これらは結果的に、効率的な画像符号化を実現することができるようになる。
【産業上の利用可能性】
【０１０５】
画像とデプスマップとを構成要素に持つ自由視点画像データの符号化に対して、対応するデプスマップの復号画像を用いて、画像信号を符号化する際のブロック分割を決定することで、被写体に応じた正確なブロック分割を少ない符号量で表現し、効率的な画像符号化を実現することが不可欠な用途に適用できる。
【符号の説明】
【０１０６】
１００・・・画像符号化装置、１０１・・・符号化対象画像入力部、１０２・・・符号化対象画像メモリ、１０３・・・デプスマップ入力部、１０４・・・デプスマップメモリ、１０５・・・被写体数決定部、１０６・・・被写体マップ生成部、１０７・・・予測画像生成部、１０８・・・予測情報符号化部、１０９・・・画像信号符号化部、１１０・・・画像信号復号部、１１１・・・復号画像メモリ、１１２・・・多重化部、２００・・・画像復号装置、２０１・・・符号データ入力部、２０２・・・符号データメモリ、２０３・・・デプスマップ入力部、２０４・・・デプスマップメモリ、２０５・・・被写体数決定部、２０６・・・被写体マップ生成部、２０７・・・分離部、２０８・・・予測情報復号部、２０９・・・予測画像生成部、２１０・・・画像信号復号部、２１１・・・復号画像メモリ
【図１】
0005729825.tif 000003
【図２】
0005729825.tif 000004
【図３】
0005729825.tif 000005
【図４】
0005729825.tif 000006
【図５】
0005729825.tif 000007
【図６】
0005729825.tif 000008
【図７】
0005729825.tif 000009
【図８】
0005729825.tif 000010
【図９】
0005729825.tif 000011
【図１０】
0005729825.tif 000012
【図１１】
0005729825.tif 000013
【図１２】
0005729825.tif 000014
【図１３】
0005729825.tif 000015
【図１４】
0005729825.tif 000016
【図１５】
0005729825.tif 000017