(57)【要約】  参照画像における被写体の三次元位置を表すデプス情報を用いて、符号化（復号）対象画像に対して視差補償予測を行う際に、高い符号化効率を達成する。符号化対象画像の各画素に対して、参照画像上の対応点を設定する。対応点によって示される符号化対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する。対応点によって示される参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する参照画像デプス情報と、被写体デプス情報とを用いて、画素補間のためのタップ長を決定する。対応点によって示される参照画像上の整数画素位置もしくは小数画素位置の画素値をタップ長に従った補間フィルタを用いて生成する。生成した画素値を、対応点によって示される符号化対象画像上の整数画素位置の画素の予測値とすることで、視点間の画像予測を行う。
2014010584.tif 000002
【特許請求の範囲】
【請求項１】
複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら符号化を行う画像符号化方法であって、
前記符号化対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定ステップと、
前記対応点によって示される前記符号化対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定ステップと、
前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間のためのタップ長を決定する補間タップ長決定ステップと、
前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を前記タップ長に従った補間フィルタを用いて生成する画素補間ステップと、
前記画素補間ステップにより生成した前記画素値を、前記対応点によって示される前記符号化対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測ステップと
を有する画像符号化方法。
【請求項２】
複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら符号化を行う画像符号化方法であって、
前記符号化対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定ステップと、
前記対応点によって示される前記符号化対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定ステップと、
前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間に用いる前記参照画像の整数画素位置の画素を補間参照画素として設定する補間参照画素設定ステップと、
前記補間参照画素の画素値の重み付け和によって、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を生成する画素補間ステップと、
前記画素補間ステップにより生成した前記画素値を、前記対応点によって示される前記符号化対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測ステップと
を有する画像符号化方法。
【請求項３】
前記補間参照画素ごとに、前記補間参照画素に対する前記参照画像デプス情報と、前記被写体デプス情報との差に基づいて、前記補間参照画素に対する補間係数を決定する補間係数決定ステップをさらに有し、
前記補間参照画素設定ステップは、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の前記周辺の整数画素位置の画素を前記補間参照画素として設定し、
前記画素補間ステップは、前記補間係数に基づいた前記補間参照画素の画素値の重み付け和を求めることで、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を生成する
請求項２に記載の画像符号化方法。
【請求項４】
前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の前記周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間のためのタップ長を決定する補間タップ長決定ステップをさらに有し、
前記補間参照画素設定ステップは、前記タップ長の範囲内に存在する画素を前記補間参照画素として設定する
請求項３に記載の画像符号化方法。
【請求項５】
前記補間係数決定ステップは、前記補間参照画素の１つに対する前記参照画像デプス情報と、前記被写体デプス情報との差の大きさが、予め定められた閾値より大きい場合には、前記補間係数をゼロとして前記補間参照画素の１つを前記補間参照画素から除外し、前記差の大きさが前記閾値以内の場合には、前記差に基づいて前記補間係数を決定する
請求項３または４に記載の画像符号化方法。
【請求項６】
前記補間係数決定ステップは、前記補間参照画素の１つに対する前記参照画像デプス情報と前記被写体デプス情報との差と、前記補間参照画素の１つと前記対応点によって示される前記参照画像上の整数画素もしくは小数画素との距離とに基づいて、前記補間係数を決定する
請求項３または４に記載の画像符号化方法。
【請求項７】
前記補間係数決定ステップは、前記補間参照画素の１つに対する前記参照画像デプス情報と、前記被写体デプス情報との差の大きさが、予め定められた閾値より大きい場合には、前記補間係数をゼロとして前記補間参照画素の１つを前記補間参照画素から除外し、前記差の大きさが前記閾値以内の場合には、前記差と、前記補間参照画素の１つと前記対応点によって示される前記参照画像上の整数画素もしくは小数画素との距離とに基づいて、前記補間係数を決定する
請求項３または４に記載の画像符号化方法。
【請求項８】
多視点画像の復号対象画像を復号する際に、復号済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら復号を行う画像復号方法であって、
前記復号対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定ステップと、
前記対応点によって示される前記復号対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定ステップと、
前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間のためのタップ長を決定する補間タップ長決定ステップと、
前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を前記タップ長に従った補間フィルタを用いて生成する画素補間ステップと、
前記画素補間ステップにより生成した前記画素値を、前記対応点によって示される前記復号対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測ステップと
を有する画像復号方法。
【請求項９】
多視点画像の復号対象画像を復号する際に、復号済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら復号を行う画像復号方法であって、
前記復号対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定ステップと、
前記対応点によって示される前記復号対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定ステップと、
前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間に用いる前記参照画像の整数画素位置の画素を補間参照画素として設定する補間参照画素設定ステップと、
前記補間参照画素の画素値の重み付け和によって、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を生成する画素補間ステップと、
前記画素補間ステップにより生成した前記画素値を、前記対応点によって示される前記復号対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測ステップと
を有する画像復号方法。
【請求項１０】
前記補間参照画素ごとに、前記補間参照画素に対する前記参照画像デプス情報と、前記被写体デプス情報との差に基づいて、前記補間参照画素に対する補間係数を決定する補間係数決定ステップをさらに有し、
前記補間参照画素設定ステップは、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の前記周辺の整数画素位置の画素を前記補間参照画素として設定し、
前記画素補間ステップは、前記補間係数に基づいた前記補間参照画素の画素値の重み付け和を求めることで、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を生成する
請求項９に記載の画像復号方法。
【請求項１１】
前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の前記周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間のためのタップ長を決定する補間タップ長決定ステップをさらに有し、
前記補間参照画素設定ステップは、前記タップ長の範囲内に存在する画素を前記補間参照画素として設定する
請求項１０に記載の画像復号方法。
【請求項１２】
前記補間係数決定ステップは、前記補間参照画素の１つに対する前記参照画像デプス情報と、前記被写体デプス情報との差の大きさが、予め定められた閾値より大きい場合には、前記補間係数をゼロとして前記補間参照画素の１つを前記補間参照画素から除外し、前記差の大きさが前記閾値以内の場合には、前記差に基づいて前記補間係数を決定する
請求項１０または請求項１１に記載の画像復号方法。
【請求項１３】
前記補間係数決定ステップは、前記補間参照画素の１つに対する前記参照画像デプス情報と前記被写体デプス情報との差と、前記補間参照画素の１つと前記対応点によって示される前記参照画像上の整数画素もしくは小数画素との距離とに基づいて、前記補間係数を決定する
請求項１０または請求項１１に記載の画像復号方法。
【請求項１４】
前記補間係数決定ステップは、前記補間参照画素の１つに対する前記参照画像デプス情報と、前記被写体デプス情報との差の大きさが、予め定められた閾値より大きい場合には、前記補間係数をゼロとして前記補間参照画素の１つを前記補間参照画素から除外し、前記差の大きさが前記閾値以内の場合には、前記差と、前記補間参照画素の１つと前記対応点によって示される前記参照画像上の整数画素もしくは小数画素との距離とに基づいて、前記補間係数を決定する
請求項１０または請求項１１に記載の画像復号方法。
【請求項１５】
複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら符号化を行う画像符号化装置であって、
前記符号化対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定部と、
前記対応点によって示される前記符号化対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定部と、
前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間のためのタップ長を決定する補間タップ長決定部と、
前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を前記タップ長に従った補間フィルタを用いて生成する画素補間部と、
前記画素補間部により生成した前記画素値を、前記対応点によって示される前記符号化対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測部と
を備える画像符号化装置。
【請求項１６】
複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら符号化を行う画像符号化装置であって、
前記符号化対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定部と、
前記対応点によって示される前記符号化対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定部と、
前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間に用いる前記参照画像の整数画素位置の画素を補間参照画素として設定する補間参照画素設定部と、
前記補間参照画素の画素値の重み付け和によって、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を生成する画素補間部と、
前記画素補間部により生成した前記画素値を、前記対応点によって示される前記符号化対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測部と
を備える画像符号化装置。
【請求項１７】
多視点画像の復号対象画像を復号する際に、復号済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら復号を行う画像復号装置であって、
前記復号対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定部と、
前記対応点によって示される前記復号対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定部と、
前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間のためのタップ長を決定する補間タップ長決定部と、
前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を前記タップ長に従った補間フィルタを用いて生成する画素補間部と、
前記画素補間部により生成した前記画素値を、前記対応点によって示される前記復号対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測部と
を備える画像復号装置。
【請求項１８】
多視点画像の復号対象画像を復号する際に、復号済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら復号を行う画像復号装置であって、
前記復号対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定部と、
前記対応点によって示される前記復号対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定部と、
前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間に用いる前記参照画像の整数画素位置の画素を補間参照画素として設定する補間参照画素設定部と、
前記補間参照画素の画素値の重み付け和によって、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を生成する画素補間部と、
前記画素補間部により生成した前記画素値を、前記対応点によって示される前記復号対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測部と
を備える画像復号装置。
【請求項１９】
コンピュータに、請求項１から７のいずれか１項に記載の画像符号化方法を実行させるための画像符号化プログラム。
【請求項２０】
コンピュータに、請求項８から１４のいずれか１項に記載の画像復号方法を実行させるための画像復号プログラム。
【請求項２１】
請求項１９に記載の画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項２２】
請求項２０に記載の画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点画像を符号化及び復号する画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体に関する。
本願は、２０１２年７月９日に日本へ出願された特願２０１２−１５４０６５号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
多視点画像とは、複数のカメラで同じ被写体と背景を撮影した複数の画像のことであり、多視点動画像（多視点映像）とは、その動画像のことである。以下では１つのカメラで撮影された画像（動画像）を“２次元画像（動画像）”と呼び、同じ被写体と背景を撮影した２次元画像（動画像）群を“多視点画像（動画像）”と呼ぶ。２次元動画像は、時間方向に関して強い相関があり、その相関を利用することによって符号化効率を高めている。【０００３】
一方、多視点画像や多視点動画像では、各カメラが同期されている場合、各カメラの映像の同じ時刻に対応するフレーム（画像）は、全く同じ状態の被写体と背景を別の位置から撮影したものであるので、カメラ間で強い相関がある。多視点画像や多視点動画像の符号化においては、この相関を利用することによって符号化効率を高めることができる。【０００４】
ここで、２次元動画像の符号化技術に関する従来技術を説明する。国際符号化標準であるＨ．２６４、ＭＰＥＧ−２、ＭＰＥＧ−４をはじめとした従来の多くの２次元動画像符号化方式では、動き補償、直交変換、量子化、エントロピー符号化という技術を利用して、高効率な符号化を行う。例えば、Ｈ．２６４では、過去あるいは未来の複数枚のフレームとの時間相関を利用した符号化が可能である。【０００５】
Ｈ．２６４で使われている動き補償技術の詳細については、例えば特許文献１に記載されている。その概要を説明する。Ｈ．２６４の動き補償は、符号化対象フレームを様々なサイズのブロックに分割し、各ブロックで異なる動きベクトルと異なる参照画像を持つことを可能にしている。さらに、参照画像に対してフィルタ処理を行うことで、１／２画素位置や１／４画素位置の映像を生成し、より細かい１／４画素精度の動き補償を可能にすることで、従来の国際符号化標準方式より高効率な符号化を達成している。【０００６】
次に、従来の多視点画像や多視点動画像の符号化方式について説明する。多視点画像の符号化方法と、多視点動画像の符号化方法との違いは、多視点動画像にはカメラ間の相関に加えて、時間方向の相関が同時に存在するということである。しかし、カメラ間の相関を利用する方法はどちらの場合でも、同じ方法を用いることができる。そのため、ここでは多視点動画像の符号化において用いられる方法について説明する。【０００７】
多視点動画像の符号化については、カメラ間の相関を利用するために、動き補償を同じ時刻の異なるカメラで撮影された画像に適用した“視差補償”によって高効率に多視点動画像を符号化する方式が従来から存在する。ここで、視差とは、異なる位置に配置されたカメラの画像平面上で、被写体上の同じ部分が存在する位置の差である。図１６は、カメラ間で生じる視差の概念図である。図１６に示す概念図では、光軸が平行なカメラの画像平面を垂直に見下ろしたものとなっている。このように、異なるカメラの画像平面上で被写体上の同じ部分が投影される位置は、一般的に対応点と呼ばれる。【０００８】
視差補償は、この対応関係に基づいて、符号化対象フレームの各画素値を参照フレームから予測して、その予測残差と、対応関係を示す視差情報とを符号化する。視差は対象とするカメラの画像ごとに変化するため、符号化処理対象フレームごとに視差情報を符号化することが必要である。実際に、Ｈ．２６４の多視点符号化方式では、フレーム（より正確には、視差補償予測を用いるブロック）ごとに視差情報を符号化している。【０００９】
視差情報によって得られる対応関係は、カメラパラメータを用いることで、エピポーラ幾何拘束に基づき、２次元ベクトルではなく、被写体の三次元位置を示す１次元量で表すことができる。被写体の三次元位置を示す情報としては、様々な表現が存在するが、基準となるカメラから被写体までの距離や、カメラの画像平面と平行ではない軸上の座標値を用いることが多い。なお、距離ではなく距離の逆数を用いる場合もある。また、距離の逆数は視差に比例する情報となるため、基準となるカメラを２つ設定し、それらのカメラで撮影された画像間での視差量として被写体の三次元位置を表現する場合もある。どのような表現を用いたとしてもその物理的な意味に本質的な違いはないため、以下では、表現による区別をせずに、それら三次元位置を示す情報をデプスと表現する。【００１０】
図１７はエピポーラ幾何拘束の概念図である。エピポーラ幾何拘束によれば、あるカメラの画像上の点に対応する別のカメラの画像上の点はエピポーラ線という直線上に拘束される。このとき、その画素に対するデプスが得られた場合、対応点はエピポーラ線上に一意に定まる。例えば、図１７に示すように、カメラＡの画像でｍの位置に投影された被写体に対するカメラＢの画像での対応点は、実空間における被写体の位置がＭ’の場合にはエピポーラ線上の位置ｍ’に投影され、実空間における被写体の位置がＭ’’の場合にはエピポーラ線上の位置ｍ’’に、投影される。【００１１】
図１８は、１つのカメラの画像に対してデプスが与えられたときに複数のカメラの画像間で対応点が得られることを示す図である。デプスは被写体の三次元位置を示す情報であり、その三次元位置は物理的な被写体の位置によって決定するためカメラに依存する情報ではない。そのためデプスという１つの情報で複数のカメラ画像上の対応点を表すことができる。例えば、図１８に示すように、カメラＡの視点位置から被写体上の点までの距離Ｄがデプスとして与えられた場合、デプスから被写体上の点Ｍが特定されることにより、カメラＡの画像上の点ｍａに対するカメラＢの画像上の対応点ｍｂ、カメラＣの画像上の対応点ｍｃの双方を表すことができる。この性質によると、視差情報を参照画像に対するデプスを用いて表すことで、その参照画像から（カメラ間の位置関係が得られている）他のカメラで同時刻に撮られた全てのフレームに対する視差補償を実現することができる。【００１２】
非特許文献２では、この性質を利用して、符号化が必要となる視差情報の量を減らし、高効率な多視点動画像符号化を達成している。動き補償予測や視差補償予測を用いる際に、整数画素単位よりも詳細な対応関係を用いることで、高精度な予測を行えることが知られている。例えば、前述した通りＨ．２６４では１／４画素単位の対応関係を用いることで効率的な符号化を実現している。そのため、参照画像の画素に対するデプスを与える場合においても、そのデプスをより詳細に与えることで予測精度を向上する方法が存在する。【００１３】
参照画像の画素に対してデプスを与える場合、そのデプスの精度を上げると、参照画像上の画素が対応する符号化対象画像上の位置をより詳細に得られるだけで、符号化対象画像上の画素が対応する参照画像上の位置をより詳細に得られるわけではない。特許文献１では、この問題に対して視差の大きさを維持したまま、対応関係を平行移動させ、符号化対象画像上の画素に対する詳細な視差情報として用いることで、予測精度を向上している。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】国際公開第０８／０３５６６５号
【非特許文献】
【００１５】
【非特許文献１】ITU-T Recommendation H.264 (03/2009), “Advanced video coding for generic audiovisual services”, March, 2009.
【非特許文献２】Shinya SHIMIZU, Masaki KITAHARA, Kazuto KAMIKURA and Yoshiyuki YASHIMA, “Multi-view Video Coding based on 3-D Warping with Depth Map”, In Proceedings of Picture Coding Symposium 2006, SS3-6, April, 2006.
【発明の概要】
【発明が解決しようとする課題】
【００１６】
確かに、特許文献１の方法によれば、参照画像の整数画素を基準として与えられる符号化（復号）対象画像に対する対応点情報から、符号化（復号）対象画像の整数画素の位置に対応する参照画像上の小数画素精度の位置を求めることができる。そして、整数画素位置の画素値から補間して求めた小数画素位置の画素値を用いて予測画像を生成することで、より精度の高い視差補償予測を実現し、高効率な多視点画像（動画像）の符号化を実現することができる。小数画素位置に対する画素値の補間は、周辺の整数画素位置の画素値の重み付き平均を求めることで行われる。その際に、より自然な補間を実現するためには、空間的な連続性、すなわち補間画素と距離を考慮した重み係数を用いることが必要である。小数画素位置の画素値を参照画像上で求める方式では、その補間に用いた画素及び補間された画素の全ての位置関係が、符号化（復号）対象画像上でも同じであることを仮定している。【００１７】
しかしながら、実際には、それらの画素の位置関係が同一である保証はなく、その仮定が崩れるケースでは補間画素の品質が極めて悪いという問題がある。補間に用いる画素と補間対象となる画素との距離が遠いほど、参照画像と符号化（復号）対象画像の間で位置関係が変化する可能性が高い。そのため、前述の問題に対して、補間対象となる画素に隣接する画素のみを補間に用いることで、前記仮定が成立しないケースの発生を抑制するという対処法が考えられる。しかし、一般に補間に用いる画素は多いほど、高性能な補間を実現できるため、このような容易に類推可能な手法では、たとえ誤った補間が行われる可能性は低くなるとしても、その補間性能は著しく低い。【００１８】
また、補間に用いる画素に対する符号化（復号）対象画像上の対応点を全て求めた後に、その対応点と符号化（復号）対象画像上の補間対象の画素との位置関係に従って重みを決定する方法もある。しかしながら、補間画素ごとに参照画像上の複数の画素に対する符号化（復号）対象画像上の対応点を求める必要があるため計算コストが非常に高いという問題が生じてしまう。【００１９】
本発明は、このような事情に鑑みてなされたもので、参照画像における被写体の三次元位置を表すデプス情報を用いて、符号化（復号）対象画像に対して視差補償予測を行う際に、高い符号化効率を達成できる画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００２０】
本発明は、複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら符号化を行う画像符号化方法であって、前記符号化対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定ステップと、前記対応点によって示される前記符号化対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定ステップと、前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間のためのタップ長を決定する補間タップ長決定ステップと、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を前記タップ長に従った補間フィルタを用いて生成する画素補間ステップと、前記画素補間ステップにより生成した前記画素値を、前記対応点によって示される前記符号化対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測ステップとを有する。【００２１】
本発明は、複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら符号化を行う画像符号化方法であって、前記符号化対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定ステップと、前記対応点によって示される前記符号化対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定ステップと、前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間に用いる前記参照画像の整数画素位置の画素を補間参照画素として設定する補間参照画素設定ステップと、前記補間参照画素の画素値の重み付け和によって、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を生成する画素補間ステップと、前記画素補間ステップにより生成した前記画素値を、前記対応点によって示される前記符号化対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測ステップとを有する。【００２２】
好ましくは、本発明は、前記補間参照画素ごとに、前記補間参照画素に対する前記参照画像デプス情報と、前記被写体デプス情報との差に基づいて、前記補間参照画素に対する補間係数を決定する補間係数決定ステップをさらに有し、前記補間参照画素設定ステップは、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の前記周辺の整数画素位置の画素を前記補間参照画素として設定し、前記画素補間ステップは、前記補間係数に基づいた前記補間参照画素の画素値の重み付け和を求めることで、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を生成する。【００２３】
好ましくは、本発明は、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の前記周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間のためのタップ長を決定する補間タップ長決定ステップをさらに有し、前記補間参照画素設定ステップは、前記タップ長の範囲内に存在する画素を前記補間参照画素として設定する。【００２４】
好ましくは、本発明において、前記補間係数決定ステップは、前記補間参照画素の１つに対する前記参照画像デプス情報と、前記被写体デプス情報との差の大きさが、予め定められた閾値より大きい場合には、前記補間係数をゼロとして前記補間参照画素の１つを前記補間参照画素から除外し、前記差の大きさが前記閾値以内の場合には、前記差に基づいて前記補間係数を決定する。【００２５】
好ましくは、本発明において、前記補間係数決定ステップは、前記補間参照画素の１つに対する前記参照画像デプス情報と前記被写体デプス情報との差と、前記補間参照画素の１つと前記対応点によって示される前記参照画像上の整数画素もしくは小数画素との距離とに基づいて、前記補間係数を決定する。【００２６】
好ましくは、本発明において、前記補間係数決定ステップは、前記補間参照画素の１つに対する前記参照画像デプス情報と、前記被写体デプス情報との差の大きさが、予め定められた閾値より大きい場合には、前記補間係数をゼロとして前記補間参照画素の１つを前記補間参照画素から除外し、前記差の大きさが前記閾値以内の場合には、前記差と、前記補間参照画素の１つと前記対応点によって示される前記参照画像上の整数画素もしくは小数画素との距離とに基づいて、前記補間係数を決定する。【００２７】
本発明は、多視点画像の復号対象画像を復号する際に、復号済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら復号を行う画像復号方法であって、前記復号対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定ステップと、前記対応点によって示される前記復号対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定ステップと、前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間のためのタップ長を決定する補間タップ長決定ステップと、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を前記タップ長に従った補間フィルタを用いて生成する画素補間ステップと、前記画素補間ステップにより生成した前記画素値を、前記対応点によって示される前記復号対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測ステップとを有する。【００２８】
本発明は、多視点画像の復号対象画像を復号する際に、復号済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら復号を行う画像復号方法であって、前記復号対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定ステップと、前記対応点によって示される前記復号対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定ステップと、前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間に用いる前記参照画像の整数画素位置の画素を補間参照画素として設定する補間参照画素設定ステップと、前記補間参照画素の画素値の重み付け和によって、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を生成する画素補間ステップと、前記画素補間ステップにより生成した前記画素値を、前記対応点によって示される前記復号対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測ステップとを有する。【００２９】
好ましくは、本発明は、前記補間参照画素ごとに、前記補間参照画素に対する前記参照画像デプス情報と、前記被写体デプス情報との差に基づいて、前記補間参照画素に対する補間係数を決定する補間係数決定ステップをさらに有し、前記補間参照画素設定ステップは、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の前記周辺の整数画素位置の画素を前記補間参照画素として設定し、前記画素補間ステップは、前記補間係数に基づいた前記補間参照画素の画素値の重み付け和を求めることで、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を生成する。【００３０】
好ましくは、本発明は、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の前記周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間のためのタップ長を決定する補間タップ長決定ステップをさらに有し、前記補間参照画素設定ステップは、前記タップ長の範囲内に存在する画素を前記補間参照画素として設定する。【００３１】
好ましくは、本発明において、前記補間係数決定ステップは、前記補間参照画素の１つに対する前記参照画像デプス情報と、前記被写体デプス情報との差の大きさが、予め定められた閾値より大きい場合には、前記補間係数をゼロとして前記補間参照画素の１つを前記補間参照画素から除外し、前記差の大きさが前記閾値以内の場合には、前記差に基づいて前記補間係数を決定する。【００３２】
好ましくは、本発明において、前記補間係数決定ステップは、前記補間参照画素の１つに対する前記参照画像デプス情報と前記被写体デプス情報との差と、前記補間参照画素の１つと前記対応点によって示される前記参照画像上の整数画素もしくは小数画素との距離とに基づいて、前記補間係数を決定する。【００３３】
好ましくは、本発明において、前記補間係数決定ステップは、前記補間参照画素の１つに対する前記参照画像デプス情報と、前記被写体デプス情報との差の大きさが、予め定められた閾値より大きい場合には、前記補間係数をゼロとして前記補間参照画素の１つを前記補間参照画素から除外し、前記差の大きさが前記閾値以内の場合には、前記差と、前記補間参照画素の１つと前記対応点によって示される前記参照画像上の整数画素もしくは小数画素との距離とに基づいて、前記補間係数を決定する。【００３４】
本発明は、複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら符号化を行う画像符号化装置であって、前記符号化対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定部と、前記対応点によって示される前記符号化対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定部と、前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間のためのタップ長を決定する補間タップ長決定部と、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を前記タップ長に従った補間フィルタを用いて生成する画素補間部と、前記画素補間部により生成した前記画素値を、前記対応点によって示される前記符号化対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測部とを備える。【００３５】
本発明は、複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら符号化を行う画像符号化装置であって、前記符号化対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定部と、前記対応点によって示される前記符号化対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定部と、前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間に用いる前記参照画像の整数画素位置の画素を補間参照画素として設定する補間参照画素設定部と、前記補間参照画素の画素値の重み付け和によって、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を生成する画素補間部と、前記画素補間部により生成した前記画素値を、前記対応点によって示される前記符号化対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測部とを備える。【００３６】
本発明は、多視点画像の復号対象画像を復号する際に、復号済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら復号を行う画像復号装置であって、前記復号対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定部と、前記対応点によって示される前記復号対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定部と、前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間のためのタップ長を決定する補間タップ長決定部と、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を前記タップ長に従った補間フィルタを用いて生成する画素補間部と、前記画素補間部により生成した前記画素値を、前記対応点によって示される前記復号対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測部とを備える。【００３７】
本発明は、多視点画像の復号対象画像を復号する際に、復号済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら復号を行う画像復号装置であって、前記復号対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定部と、前記対応点によって示される前記復号対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定部と、前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間に用いる前記参照画像の整数画素位置の画素を補間参照画素として設定する補間参照画素設定部と、前記補間参照画素の画素値の重み付け和によって、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を生成する画素補間部と、前記画素補間部により生成した前記画素値を、前記対応点によって示される前記復号対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測部とを備える。【００３８】
本発明は、コンピュータに、前記画像符号化方法を実行させるための画像符号化プログラムである。【００３９】
本発明は、コンピュータに、前記画像復号方法を実行させるための画像復号プログラムである。【００４０】
本発明は、前記画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体である。【００４１】
本発明は、前記画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００４２】
本発明によれば、三次元空間上の距離を考慮して画素値を補間することで、より高品質な予測画像の生成を実現し、多視点画像の高効率な画像符号化を実現することができるという効果が得られる。
【図面の簡単な説明】
【００４３】
【図１】本発明の第１の実施形態における画像符号化装置の構成を示す図である。
【図２】図１に示す画像符号化装置１００の動作を示すフローチャートである。
【図３】図１に示す視差補償画像生成部１１０の構成を示すブロック図である。
【図４】図１に示す対応点設定部１０９と、図３に示す視差補償画像生成部１１０が行う処理（視差補償画像生成処理：ステップＳ１０３）の処理動作を示すフローチャートである。
【図５】視差補償画像を生成する視差補償画像生成部１１０の構成の変形例を示す図である。
【図６】対応点設定部１０９および図５に示す視差補償画像生成部１１０で行われる視差補償画像処理（ステップＳ１０３）の動作を示すフローチャートである。
【図７】視差補償画像を生成する視差補償画像生成部１１０の構成の変形例を示す図である。
【図８】対応点設定部１０９および図７に示す視差補償画像生成部１１０で行われる視差補償画像処理（ステップＳ１０３）の動作を示すフローチャートである。
【図９】参照画像デプス情報のみを用いる場合の画像符号化装置１００ａの構成例を示す図である。
【図１０】図９に示す画像符号化装置１００ａが行う視差補償画像処理の動作を示すフローチャートである。
【図１１】本発明の第３実施形態による画像復号装置の構成例を示す図である。
【図１２】図１１に示す画像復号装置２００の処理動作を示すフローチャートである。
【図１３】参照画像デプス情報のみを用いる場合の画像復号装置２００ａの構成例を示す図である。
【図１４】画像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す図である。
【図１５】画像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す図である。
【図１６】カメラ間で生じる視差の概念図である。
【図１７】エピポーラ幾何拘束の概念図である。
【図１８】１つのカメラの画像に対してデプスが与えられたときに複数のカメラの画像間で対応点が得られることを示す図である。
【発明を実施するための形態】
【００４４】
以下、図面を参照して、本発明の実施形態による画像符号化装置及び画像復号装置を説明する。以下の説明においては、第１のカメラ（カメラＡという）、第２のカメラ（カメラＢという）の２つのカメラで撮影された多視点画像を符号化する場合を想定し、カメラＡの画像を参照画像としてカメラＢの画像を符号化または復号するものとして説明する。なお、デプス情報から視差を得るために必要となる情報は別途与えられているものとする。具体的には、この情報は、カメラＡとカメラＢの位置関係を表す外部パラメータや、カメラによる画像平面への投影情報を表す内部パラメータであるが、これら以外の形態であってもデプス情報から視差が得られるものであれば、別の情報が与えられていてもよい。これらのカメラパラメータに関する詳しい説明は、例えば、文献「Olivier Faugeras, “Three-Dimensional Computer Vision”, pp. 33-66, MIT Press; BCTC/UFF-006.37 F259 1993, ISBN:0-262-06158-9.」に記載されている。これには、複数のカメラの位置関係を示すパラメータや、カメラによる画像平面への投影情報を表すパラメータに関する説明が記載されている。
【００４５】
＜第１の実施形態＞
図１は第１の実施形態における画像符号化装置の構成を示すブロック図である。画像符号化装置１００は、図１に示すように、符号化対象画像入力部１０１、符号化対象画像メモリ１０２、参照画像入力部１０３、参照画像メモリ１０４、参照画像デプス情報入力部１０５、参照画像デプス情報メモリ１０６、処理対象画像デプス情報入力部１０７、処理対象画像デプス情報メモリ１０８、対応点設定部１０９、視差補償画像生成部１１０、および画像符号化部１１１を備えている。
【００４６】
符号化対象画像入力部１０１は、符号化対象となる画像を入力する。以下では、この符号化対象となる画像を符号化対象画像と呼ぶ。ここではカメラＢの画像が入力される。符号化対象画像メモリ１０２は、入力された符号化対象画像を記憶する。参照画像入力部１０３は、視差補償画像を生成する際に参照画像となる画像を入力する。ここではカメラＡの画像が入力される。参照画像メモリ１０４は、入力された参照画像を記憶する。
【００４７】
参照画像デプス情報入力部１０５は、参照画像に対するデプス情報を入力する。以下では、この参照画像に対するデプス情報を参照画像デプス情報と呼ぶ。参照画像デプス情報メモリ１０６は、入力された参照画像デプス情報を記憶する。処理対象画像デプス情報入力部１０７は、符号化対象画像に対するデプス情報を入力する。以下では、この符号化対象画像に対するデプス情報を処理対象画像デプス情報と呼ぶ。処理対象画像デプス情報メモリ１０８は、入力された処理対象画像デプス情報を記憶する。
【００４８】
なお、デプス情報とは参照画像の各画素に写っている被写体の三次元位置を表すものである。また、デプス情報は、別途与えられるカメラパラメータ等の情報によって三次元位置が得られるものであれば、どのような情報でもよい。例えば、カメラから被写体までの距離や、画像平面とは平行ではない軸に対する座標値、別のカメラ（例えばカメラＢ）に対する視差量を用いることができる。
【００４９】
対応点設定部１０９は、処理対象画像デプス情報を用いて、符号化対象画像の画素ごとに、参照画像上の対応点を設定する。視差補償画像生成部１１０は、参照画像と対応点の情報を用いて視差補償画像を生成する。画像符号化部１１１は、視差補償画像を予測画像として、符号化対象画像を予測符号化する。
【００５０】
次に、図２を参照して、図１に示す画像符号化装置１００の動作を説明する。図２は、図１に示す画像符号化装置１００の動作を示すフローチャートである。まず、符号化対象画像入力部１０１は、符号化対象画像を入力し、符号化対象画像メモリ１０２に記憶する（ステップＳ１０１）。次に、参照画像入力部１０３は参照画像を入力し、参照画像メモリ１０４に記憶する。これと並行して、参照画像デプス情報入力部１０５は参照画像デプス情報を入力し、参照画像デプス情報メモリ１０６に記憶する。また、処理対象画像デプス情報入力部１０７は処理対象画像デプス情報を入力し、処理対象画像デプス情報メモリ１０８に記憶する（ステップＳ１０２）。
【００５１】
なお、ステップＳ１０２で入力される参照画像、参照画像デプス情報、処理対象画像デプス情報は、既に符号化済みのものを復号したものなど、復号側で得られるものと同じものとする。これは復号装置で得られるものと全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化前のものなど、符号化側でしか得られないものが入力されてもよい。デプス情報に関しては、既に符号化済みのものを復号したもの以外に、別のカメラに対して復号されたデプス情報から生成されたデプス情報や、複数のカメラに対して復号された多視点画像に対してステレオマッチング等を適用することで推定したデプス情報なども、復号側で同じものが得られるものとして用いることができる。
【００５２】
次に、入力が終了したならば、対応点設定部１０９は、参照画像と参照画像デプス情報、処理対象画像デプス情報とを用いて、符号化対象画像の画素または予め定められたブロックごとに参照画像上の対応点または対応ブロックを生成する。これと並行して、視差補償画像生成部１１０は視差補償画像を生成する（ステップＳ１０３）。ここでの処理の詳細については後述する。
【００５３】
視差補償画像が得られたならば、画像符号化部１１１は、視差補償画像を予測画像として、符号化対象画像を予測符号化して出力する（ステップＳ１０４）。符号化の結果得られるビットストリームが画像符号化装置１００の出力となる。なお、復号側で正しく復号可能であるならば、符号化にはどのような方法を用いてもよい。
【００５４】
ＭＰＥＧ−２やＨ．２６４、ＪＰＥＧなどの一般的な動画像符号化または画像符号化では、画像を予め定められた大きさのブロックに分割して、ブロックごとに、符号化対象画像と予測画像との差分信号を生成し、差分画像に対してＤＣＴ（Discrete Cosine Transform）などの周波数変換を施し、その結果得られた値に対して、量子化、２値化、エントロピー符号化の処理を順に適用することで符号化を行う。なお、予測符号化処理をブロックごとに行う場合、視差補償画像の生成処理（ステップＳ１０３）と符号化対象画像の符号化処理（ステップＳ１０４）をブロック後に交互に繰り返すことで、符号化対象画像を符号化してもよい。
【００５５】
次に、図３を参照して、図１に示す視差補償画像生成部１１０の構成を説明する。図３は、図１に示す視差補償画像生成部１１０の構成を示すブロック図である。視差補償画像生成部１１０は、補間参照画素設定部１１０１と画素補間部１１０２を備えている。補間参照画素設定部１１０１は対応点設定部１０９で設定された対応点の画素値を補間するために用いる参照画像の画素であるところの補間参照画素の集合を決定する。画素補間部１１０２は、設定された補間参照画素に対する参照画像の画素値を用いて、対応点の位置の画素値を補間する。
【００５６】
次に、図４を参照して、図１に示す対応点設定部１０９と、図３に示す視差補償画像生成部１１０の処理動作を説明する。図４は、図１に示す対応点設定部１０９と、図３に示す視差補償画像生成部１１０が行う処理（視差補償画像生成処理：ステップＳ１０３）の処理動作を示すフローチャートである。この処理では、符号化対象画像全体に対して、画素ごとに処理を繰り返すことで、視差補償画像を生成する。すなわち、画素インデックスをｐｉｘ、画像中の総画素数をｎｕｍＰｉｘｓとすると、ｐｉｘを０に初期化した後（ステップＳ２０１）、ｐｉｘに１ずつ加算しながら（ステップＳ２０５）、ｐｉｘがｎｕｍＰｉｘｓになるまで（ステップＳ２０６）、以下の処理（ステップＳ２０２〜ステップＳ２０５）を繰り返すことで、視差補償画像を生成する。
【００５７】
ここで、画素の代わりに予め定められた大きさの領域ごとに処理を繰り返してもよいし、符号化対象画像全体の代わりに予め定められた大きさの領域に対して視差補償画像を生成してもよい。また、両者を組み合わせて、予め定められた大きさの領域ごとに処理を繰り返して、同一または別の予め定められた大きさの領域に対して視差補償画像を生成してもよい。図４に示す処理フローにおいて、画素を「処理を繰り返すブロック」に置き換え、符号化対象画像を「視差補償画像を生成する対象の領域」に置き換えることで、それらの処理フローに相当する。この処理を繰り返す単位を、処理対象画像デプス情報が与えられる単位に相当する大きさに合わせるような実施や、視差補償画像を生成する対象の領域を、符号化対象画像を領域分割して予測符号化を行うときの領域とあわせるような実施も好適である。
【００５８】
画素ごとに行われる処理において、まず、対応点設定部１０９は、画素ｐｉｘに対する処理対象画像デプス情報ｄｐｉｘを用いて、画素ｐｉｘに対する参照画像上の対応点ｑｐｉｘを得る（ステップＳ２０２）。なお、デプス情報から対応点を計算する処理は、与えられるデプス情報の定義にあわせて行われるが、そのデプス情報が示す正しい対応点が得られるのであれば、どのような処理を用いてもよい。例えば、デプス情報がカメラから被写体までの距離や、カメラ平面と平行でない軸に対する座標値として与えられる場合は、符号化対象画像を撮影したカメラと、参照画像を撮影したカメラのカメラパラメータを用いて、画素ｐｉｘに対する三次元点を復元し、その三次元点を参照画像へ投影することで、対応点を得ることができる。
【００５９】
すなわち、デプス情報がカメラから被写体までの距離を表している場合、次の式１によって三次元点ｇの復元が行われ、式２によって参照画像への投影が行われ、参照画像上での対応点の座標（ｘ，ｙ）が得られる。ここで、（ｕｐｉｘ，ｖｐｉｘ）は画素ｐｉｘの符号化対象画像上での座標値を表す。Ａｘ、Ｒｘ、ｔｘはカメラｘ（ｘはｃまたはｒ）の内部パラメータ、回転行列、並進ベクトルを表す。ｃが符号化対象画像を撮影したカメラを表し、ｒが参照画像を撮影したカメラを表す。なお、回転行列と並進ベクトルをあわせてカメラの外部パラメータと呼ぶ。これらの数式ではカメラの外部パラメータがカメラ座標系からワールド座標系への変換を示すものとしているが、別の定義がされている場合は、それに従って異なる数式を用いる必要がある。ｄｉｓｔａｎｃｅ（ｘ，ｄ）はカメラｘに対するデプス情報ｄをカメラｘから被写体までの距離に変換する関数であり、デプス情報の定義とともに与えられている。関数の代わりにルックアップテーブルを用いて変換が定義されていることもある。ｋは数式を満たす任意の実数である。
【数１】
2014010584.tif 000003
【数２】
2014010584.tif 000004
【００６０】
なお、デプス情報がカメラ平面と平行でない軸に対する座標値として与えられる場合は、上記式１において、ｄｉｓｔａｎｃｅ（ｃ，ｄｐｉｘ）が未定数となるが、ｇがある平面上に存在するという制約からｇが２変数で表現されるため、式１を用いて三次元点を復元できる。
【００６１】
また、三次元点を介さずにホモグラフィと呼ばれる行列を用いて対応点を求めてもよい。ホモグラフィは三次元空間に存在する平面上の点について、ある画像上の座標値を別の画像上の座標値に変換する３×３行列である。すなわち、デプス情報がカメラから被写体までの距離や、カメラ平面と平行でない軸に対する座標値として与えられる場合は、ホモグラフィはデプス情報の値ごとに異なる行列となり、次の式３で参照画像上での対応点の座標が得られる。Ｈｃ，ｒ，ｄは、デプス情報ｄに対応する三次元平面上の点を、カメラｃの画像上の座標値からカメラｒの画像上の座標値へと変換するホモグラフィを表し、ｋ’は数式を満たす任意の実数である。なお、ホモグラフィに関する詳しい説明は、例えば「Olivier Faugeras, “Three-Dimensional Computer Vision”, pp. 206-211, MIT Press; BCTC/UFF-006.37 F259 1993, ISBN:0-262-06158-9.」に記載されている。
【数３】
2014010584.tif 000005
【００６２】
また、符号化対象画像を撮影したカメラと参照画像を撮影したカメラが同じで、同じ向きに配置されている場合、ＡｃとＡｒおよびＲｃとＲｒが等しくなるため、式１と式２から次の式４が得られる。ｋ”は数式を満たす任意の実数である。
【数４】
2014010584.tif 000006
【００６３】
式４は、画像上の位置の差、すなわち視差がカメラから被写体の距離の逆数に比例することを示している。このことから、基準となるデプス情報に対する視差を求めておき、その視差をデプス情報によってスケーリングすることで対応点を求めることができる。このとき、視差が画像上の位置に依存しないため、演算量の削減を目的に、各デプス情報に対する視差のルックアップテーブルを作成しておき、そのテーブルを参照することで視差及び対応点を求めるような実施も好適である。
【００６４】
画素ｐｉｘに対する参照画像上の対応点ｑｐｉｘが得られたら、次に補間参照画素設定部１１０１は、参照画像デプス情報と、画素ｐｉｘに対する処理対象画像デプス情報ｄｐｉｘとを用いて、参照画像上の対応点に対する画素値を補間して生成するための補間参照画素の集合（補間参照画素群）を決定する（ステップＳ２０３）。なお、参照画像上の対応点が整数画素位置の場合は、その対応する画素を補間参照画素として設定する。
【００６５】
補間参照画素群は、ｑｐｉｘからの距離、すなわち補間フィルタのタップ長として決定してもよいし、任意の画素集合として決定してもよい。なお、補間参照画素群はｑｐｉｘに対して、１次元方向に対して決定しても、２次元方向に対して決定してもよい。例えば、ｑｐｉｘが上下方向には整数位置の場合には、ｑｐｉｘに対して左右方向に存在する画素のみを対象とするような実施も好適である。
【００６６】
ここで、補間参照画素群をタップ長として決定する方法について説明する。まず、予め定められた最小のタップ長よりも１サイズだけ大きいタップ長を仮タップ長として設定する。次に、仮タップ長の補間フィルタを用いて、参照画像上の点ｑｐｉｘの画素値を補間する際に参照される点ｑｐｉｘの周辺の画素の集合を仮補間参照画素群として設定する。画素ｐに対する参照画像デプス情報ｒｄｐとｄｐｉｘとの差が予め定められた閾値を超える画素が、仮補間参照画素群の中に別途定められた個数よりも多く存在する場合は、仮タップ長よりも１だけ小さい長さをタップ長として決定する。そうでない場合は、仮タップ長を１サイズ大きくし、仮補間参照画素群の設定及び評価を再度行う。なお、タップ長が決まるまで仮タップ長を大きくして、補間参照画素群の設定を繰り返してもよいし、タップ長に最大値を設定しておき、仮タップ長がその最大値よりも大きくなった際に、その最大値をタップ長として決定するようにしてもよい。更に、取りえるタップ長は連続であっても、離散的であってもよい。例えば、取りえるタップ長を１、２、４、６として、タップ長１以外では、補間参照画素の数が補間対象の画素位置に対して対称となるタップ長のみを用いるようにする実施も好適である。
【００６７】
次に、任意の画素の集合として、補間参照画素群を設定する方法について説明する。まず、参照画像上の点ｑｐｉｘ周辺の予め定められた範囲内の画素の集合を仮補間参照画像群として設定する。次に、仮補間参照画像群の画素ごとに検査し、補間参照画素として採用するか否かを決定する。すなわち、検査対象の画素をｐとすると、画素ｐに対する参照画像デプス情報ｒｄｐとｄｐｉｘとの差が、閾値よりも大きい場合には、画素ｐを補間参照画素から除外し、差が閾値以下の場合には画素ｐを補間参照画素として採用する。閾値には、予め定められた値を用いてもよいし、仮補間参照画像群の各画素に対するデプス情報とｄｐｉｘとの差の平均値や中間値、またはそれらを基準に決めた値を用いてもよい。また、画素ｐに対する参照画像デプス情報ｒｄｐとｄｐｉｘとの差が、小さい順に予め定められた数だけ補間参照画素として採用する方法もある。これらの条件を組み合わせて使用することも可能である。
【００６８】
なお、補間参照画素群を設定する際に、上記説明した２つの方法を組み合わせてもよい。例えば、タップ長を決定した後に補間参照画素を絞り込んで、任意の画素の集合を生成するような実施や、補間参照画素の数が別途定められた数になるまで、タップ長を増やしながら、任意の画素の集合の形成を繰り返すような実施が好適である。
【００６９】
また、上述のようにデプス情報を比較する代わりに、デプス情報をある共通する情報へと変換したのちに比較してもよい。例えば、デプス情報ｒｄｐを、参照画像を撮影したカメラまたは符号化対象画像を撮影したカメラからその画素に対する被写体までの距離に変換したあとで比較する方法や、デプス情報ｒｄｐを、カメラ画像に平行ではない任意の軸に対する座標値や、任意のカメラペアに対する視差に変換して比較する方法が好適である。さらに、デプス情報から、その画素に対応する三次元点を得て、その三次元点間の距離を用いて評価を行う方法も好適である。その場合、ｄｐｉｘに対応する三次元点は画素ｐｉｘに対する三次元点とし、画素ｐに対する三次元点はデプス情報ｒｄｐを用いて計算する必要がある。
【００７０】
次に、補間参照画素群が決定したら、画素補間部１１０２は、画素ｐｉｘに対する参照画像上の対応点ｑｐｉｘに対する画素値を補間し、視差補償画像の画素ｐｉｘの画素値とする（ステップＳ２０４）。補間処理は補間参照画素群における参照画像の画素値を用いて、補間対象位置ｑｐｉｘの画素値を決定する方法であれば、どのような方式を用いてもよい。例えば、各補間参照画素の画素値の重み付き平均として補間対象位置ｑｐｉｘの画素値を決定する方法がある。この場合、その補間参照画素と補間対象位置ｑｐｉｘとの距離に基づいて重みを決定してもよい。なお、距離が近いほど大きな重みを与えてもよいし、Ｂｉｃｕｂｉｃ法やＬａｎｃｚｏｓ法など、一定区間における変化の滑らかさを仮定して生成した距離に依存する重みを用いてもよい。また、補間参照画素をサンプルにして画素値に対するモデル（関数）を推定して、そのモデルに従って補間対象位置ｑｐｉｘの画素値を決定することで補間を行ってもよい。
【００７１】
また、補間参照画素をタップ長として決定した場合、そのタップ長ごとに予め定義された補間フィルタを用いて補間を行うような実施も好適である。例えば、タップ長が１のときは最近傍補間（０次補間）を行い、タップ長が２のときはバイリニアフィルタを用いて補間し、タップ長が４のときはＢｉｃｕｂｉｃフィルタを用いて補間し、タップ長が６のときはＬａｎｃｚｏｓ３フィルタやＡＶＣ−６ｔａｐフィルタを用いて補間するようにしてもよい。
【００７２】
視差補償画像の生成において、固定のタップ長、すなわち、対応点から一定距離に存在する参照画像上の画素を補間対象画素とし、各補間参照画素に対するフィルタ係数を、参照画像デプス情報及び符号化対象画像デプス情報を用いて、補間する画素ごとに設定するようにする方法もある。図５は、この場合の視差補償画像を生成する視差補償画像生成部１１０の構成の変形例を示す図である。図５に示す視差補償画像生成部１１０は、フィルタ係数設定部１１０３と画素補間部１１０４とを備えている。フィルタ係数設定部１１０３は対応点設定部１０９で設定された対応点から予め定められた距離に存在する参照画像の各画素について、対応点の画素値を補間する際に用いるフィルタの係数を決定する。画素補間部１１０４は、設定されたフィルタ係数と参照画像とを用いて、対応点の位置の画素値を補間する。
【００７３】
図６は、対応点設定部１０９および図５に示す視差補償画像生成部１１０で行われる視差補償画像処理（ステップＳ１０３）の動作を示すフローチャートである。図６に示す処理動作は、フィルタ係数を適用的に決定しながら視差補償画像を生成するものであり、符号化対象画像全体に対して、画素ごとに処理を繰り返すことで、視差補償画像を生成している。図６において、図４に示す処理と同じ処理には同じ符号を付与している。まず、画素インデックスをｐｉｘ、画像中の総画素数をｎｕｍＰｉｘｓとすると、ｐｉｘを０に初期化した後（ステップＳ２０１）、ｐｉｘに１ずつ加算しながら（ステップＳ２０５）、ｐｉｘがｎｕｍＰｉｘｓになるまで（ステップＳ２０６）、以下の処理（ステップＳ２０２、ステップＳ２０７、ステップＳ２０８）を繰り返すことで、視差補償画像を生成する。
【００７４】
前述の場合と同様、画素の代わりに予め定められた大きさの領域ごとに処理を繰り返してもよいし、符号化対象画像全体の代わりに予め定められた大きさの領域に対して視差補償画像を生成してもよい。また、両者を組み合わせて、予め定められた大きさの領域ごとに処理を繰り返して、同一または別の予め定められた大きさの領域に対して視差補償画像を生成してもよい。図６に示す処理フローにおいて、画素を「処理を繰り返すブロック」に置き換え、符号化対象画像を「視差補償画像を生成する対象の領域」に置き換えることで、それらの処理フローに相当する。
【００７５】
画素ごとに行われる処理において、まず、対応点設定部１０９は、画素ｐｉｘに対する処理対象画像デプス情報ｄｐｉｘを用いて、画素ｐｉｘに対する参照画像上の対応点を得る（ステップＳ２０２）。ここでの処理は前述の場合と同じである。画素ｐｉｘに対する参照画像上の対応点ｑｐｉｘが得られたら、次にフィルタ係数設定部１１０３は、参照画像デプス情報と、画素ｐｉｘに対する処理対象画像デプス情報ｄｐｉｘとを用いて、参照画像上の対応点から予め定められた距離の範囲内に存在する画素であるところの補間参照画素ごとに、対応点に対する画素値を補間して生成する際に用いるフィルタ係数を決定する（ステップＳ２０７）。なお、参照画像上の対応点が整数画素位置の場合は、対応点が示す整数画素位置の補間参照画素に対するフィルタ係数を１として、その他の補間参照画素に対するフィルタ係数を０とする。
【００７６】
ある補間参照画素に対するフィルタ係数は、その補間参照画素ｐに対する参照デプス情報ｒｄｐを用いて決定する。具体的な決定法には様々な方法を用いることができるが、復号側と同一の手法を用いることが可能であれば、どのような方法を用いてもよい。例えば、ｒｄｐとｄｐｉｘとを比較し、その差が大きいほど小さな重みとなるようなフィルタ係数を決定してもよい。ｒｄｐとｄｐｉｘとの差に基づくフィルタ係数の例としては、単純に差の絶対値に比例する値を用いる方法や、次の式５のようにガウス関数を用いて決定する方法がある。ここで、αおよびβはフィルタの強度を調整するためのパラメータであり、ｅはネイピア数である。
【数５】
2014010584.tif 000007
【００７７】
また、ｒｄｐとｄｐｉｘとの差だけでなく、ｐとｑｐｉｘとの距離が広がるほど小さい重みとなるようなフィルタ係数を決定するような実施も好適である。例えば、次の式６のようにガウス関数を用いてフィルタ係数を決定してもよい。ここでγはｐとｑｐｉｘとの距離の影響の強さを調整するためのパラメータである。
【数６】
2014010584.tif 000008
【００７８】
なお、上述のようにデプス情報を直接比較するのではなく、デプス情報をある共通する情報へと変換したのちに比較してもよい。例えば、デプス情報ｒｄｐを、参照画像を撮影したカメラまたは符号化対象画像を撮影したカメラからその画素に対する被写体までの距離に変換したあとで比較する方法や、デプス情報ｒｄｐを、カメラ画像に平行ではない任意の軸に対する座標値や、任意のカメラペアに対する視差に変換して比較する方法が好適である。さらに、デプス情報から、その画素に対応する三次元点を得て、その三次元点間の距離を用いて評価を行う方法も好適である。その場合、ｄｐｉｘに対応する三次元点は画素ｐｉｘに対する三次元点とし、画素ｐに対する三次元点はデプス情報ｒｄｐを用いて計算する必要がある。
【００７９】
次に、フィルタ係数が決定したら、画素補間部１１０４は、画素ｐｉｘに対する参照画像上の対応点ｑｐｉｘに対する画素値を補間し、画素ｐｉｘにおける視差補償画像の画素値とする（ステップＳ２０８）。ここでの処理は次の式７で与えられる。なお、Ｓは補間参照画素の集合、ＤＣＰｐｉｘは補間された画素値、Ｒｐは画素ｐに対する参照画像の画素値を表す。
【数７】
2014010584.tif 000009
【００８０】
視差補償画像の生成において、上記説明した２つの方法を組み合わせて、補間参照画素の選択と、その補間参照画素に対するフィルタ係数の決定の両方を、参照画像デプス情報及び符号化対象画像デプス情報を用いて、補間する画素ごとに設定する方法もある。図７は、この場合の視差補償画像を生成する視差補償画像生成部１１０の構成の変形例を示す図である。図７に示す視差補償画像生成部１１０は、補間参照画素設定部１１０５と、フィルタ係数設定部１１０６と、画素補間部１１０７とを備えている。補間参照画素設定部１１０５は対応点設定部１０９で設定された対応点の画素値を補間するために用いる参照画像の画素であるところの補間参照画素の集合を決定する。フィルタ係数設定部１１０６は、補間参照画素設定部１１０５で設定された補間参照画素について、対応点の画素値を補間する際に用いるフィルタの係数を決定する。画素補間部１１０７は、設定された補間参照画素とフィルタ係数とを用いて、対応点の位置の画素値を補間する。
【００８１】
図８は、対応点設定部１０９および図７に示す視差補償画像生成部１１０で行われる視差補償画像処理（ステップＳ１０３）の動作を示すフローチャートである。図８に示す処理動作では、フィルタ係数を適用的に決定しながら視差補償画像を生成するものであり、符号化対象画像全体に対して、画素ごとに処理を繰り返すことで、視差補償画像を生成している。図８において、図４に示す処理と同じ処理には同じ符号を付与している。まず、画素インデックスをｐｉｘ、画像中の総画素数をｎｕｍＰｉｘｓとすると、ｐｉｘを０に初期化した後（ステップＳ２０１）、ｐｉｘに１ずつ加算しながら（ステップＳ２０５）、ｐｉｘがｎｕｍＰｉｘｓになるまで（ステップＳ２０６）、以下の処理（ステップＳ２０２、ステップＳ２０９〜ステップＳ２１１）を繰り返すことで、視差補償画像を生成する。
【００８２】
前述の場合と同様、画素の代わりに予め定められた大きさの領域ごとに処理を繰り返してもよいし、符号化対象画像全体の代わりに予め定められた大きさの領域に対して視差補償画像を生成してもよい。また、両者を組み合わせて、予め定められた大きさの領域ごとに処理を繰り返して、同一または別の予め定められた大きさの領域に対して視差補償画像を生成してもよい。図８に示す処理フローにおいて、画素を「処理を繰り返すブロック」に置き換え、符号化対象画像を「視差補償画像を生成する対象の領域」に置き換えることで、それらの処理フローに相当する。
【００８３】
画素ごとに行われる処理において、まず、対応点設定部１０９は、画素ｐｉｘに対する処理対象画像デプス情報ｄｐｉｘを用いて、画素ｐｉｘに対する参照画像上の対応点を得る（ステップＳ２０２）。ここでの処理は前述の場合と同じである。画素ｐｉｘに対する参照画像上の対応点ｑｐｉｘが得られたら、次に補間参照画素設定部１１０５は、参照画像デプス情報と、画素ｐｉｘに対する処理対象画像デプス情報ｄｐｉｘとを用いて、参照画像上の対応点に対する画素値を補間して生成するための補間参照画素の集合（補間参照画素群）を決定する（ステップＳ２０９）。ここでの処理は前述のステップＳ２０３と同じである。
【００８４】
次に、補間参照画素の集合が決定したら、フィルタ係数設定部１１０６は、参照画像デプス情報と、画素ｐｉｘに対する処理対象画像デプス情報ｄｐｉｘとを用いて、決定された補間参照画素ごとに、対応点に対する画素値を補間して生成する際に用いるフィルタ係数を決定する（ステップＳ２１０）。ここでの処理は、与えられた補間参照画素の集合についてフィルタ係数を決定するだけで、前述のステップＳ２０７と同じである。
【００８５】
次に、フィルタ係数が決定したら、画素補間部１１０７は、画素ｐｉｘに対する参照画像上の対応点ｑｐｉｘに対する画素値を補間し、画素ｐｉｘにおける視差補償画像の画素値とする（ステップＳ２１１）。ここでの処理は、ステップＳ２０９で決定された補間参照画素の集合を用いるだけで、前述のステップＳ２０８と同じである。すなわち、前述の式７における補間参照画素の集合Ｓとして、ステップＳ２０９で決定された補間参照画素の集合を用いる。
【００８６】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。前述した図１に示す画像符号化装置１００では、処理対象画像デプス情報と参照画像デプス情報の２種類のデプス情報を用いているが、参照画像デプス情報のみを用いることにしてもよい。図９は、参照画像デプス情報のみを用いる場合の画像符号化装置１００ａの構成例を示す図である。図９示す画像符号化装置１００ａと図１に示す画像符号化装置１００との違いは、処理対象画像デプス情報入力部１０７と処理対象画像デプス情報メモリ１０８とを備えず、対応点設定部１０９の代わりに対応点変換部１１２を備えている点である。なお、対応点変換部１１２は、参照画像デプス情報を用いて、符号化対象画像の整数画素に対する、参照画像上の対応点を設定する。
【００８７】
画像符号化装置１００ａが実行する処理は、次の２点を除き、画像符号化装置１００の実行する処理と同じである。まず１つ目の違いは、図２のフローチャートのステップＳ１０２において、画像符号化装置１００では、参照画像と参照画像デプス情報と処理対象画像デプス情報とが入力されるが、画像符号化装置１００ａでは、参照画像と参照画像デプス情報のみが入力される点である。２つ目の違いは、視差補償画像生成処理（ステップＳ１０３）が、対応点変換部１１２および視差補償画像生成部１１０で行われ、その内容が異なる点である。
【００８８】
画像符号化装置１００ａにおける視差補償画像の生成処理について詳細に説明する。なお、図９に示す視差補償画像生成部１１０の構成は画像符号化装置１００の場合と同じであり、上述した通り、補間参照画素の集合を設定するようにしてもよいし、フィルタ係数を設定するようにしてもよいし、その両方を設定するようにしてもよい。ここでは、補間参照画像の集合を設定する場合について説明する。図１０は、図９に示す画像符号化装置１００ａが行う視差補償画像処理の動作を示すフローチャートである。図１０に示す処理動作は、参照画像全体に対して、画素ごとに処理を繰り返すことで、視差補償画像を生成している。まず、画素インデックスをｒｅｆｐｉｘ、参照画像中の総画素数をｎｕｍＲｅｆＰｉｘｓとすると、ｒｅｆｐｉｘを０に初期化した後（ステップＳ３０１）、ｒｅｆｐｉｘに１ずつ加算しながら（ステップＳ３０６）、ｒｅｆｐｉｘがｎｕｍＲｅｆＰｉｘｓになるまで（ステップＳ３０７）、以下の処理（ステップＳ３０２〜ステップＳ３０５）を繰り返すことで、視差補償画像を生成する。
【００８９】
ここで、画素の代わりに予め定められた大きさの領域ごとに処理を繰り返してもよいし、参照画像全体の代わりに予め定められた領域の参照画像を用いた視差補償画像を生成してもよい。また、両者を組み合わせて、予め定められた大きさの領域ごとに処理を繰り返して、同一または別の予め定められた領域の参照画像を用いた視差補償画像を生成してもよい。図１０に示す処理フローにおいて、画素を「処理を繰り返すブロック」に置き換え、参照画像を「視差補償画像の生成に用いる領域」に置き換えることで、それらの処理フローに相当する。この処理を繰り返す単位を、参照画像デプス情報が与えられる単位に相当する大きさに合わせるような実施や、視差補償画像を生成する対象の領域を、符号化対象画像を領域分割して予測符号化を行うときの領域に対応する参照画像の領域とあわせるような実施も好適である。
【００９０】
画素ごとに行われる処理において、まず、対応点変換部１１２は、画素ｒｅｆｐｉｘに対する参照画像デプス情報ｒｄｒｅｆｐｉｘを用いて、画素ｒｅｆｐｉｘに対する処理対象画像上の対応点ｑｒｅｆｐｉｘを得る（ステップＳ３０２）。ここでの処理は、参照画像と処理対象画像が入れ替わっただけで、前述のステップＳ２０２と同じである。画素ｒｅｆｐｉｘに対する処理対象画像上の対応点ｑｒｅｆｐｉｘが得られたら、その対応点関係から、処理対象画像の整数画素ｐｉｘに対する参照画像上の対応点ｑｐｉｘを推定する（ステップＳ３０３）。この方法は、どのような方法を用いてもよいが、例えば特許文献１に記載の方法を用いてもよい。
【００９１】
次に、処理対象画像の整数画素ｐｉｘに対する参照画像上の対応点ｑｐｉｘが得られたら、画素ｐｉｘに対するデプス情報をｒｄｒｅｆｐｉｘとして、参照画像デプス情報を用いて、参照画像上の対応点に対する画素値を補間して生成するための補間参照画素の集合（補間参照画素群）を決定する（ステップＳ３０４）。ここでの処理は前述のステップＳ２０３と同じである。
【００９２】
次に、補間参照画素群が決定したら、画素ｐｉｘに対する参照画像上の対応点ｑｐｉｘに対する画素値を補間し、視差補償画像の画素ｐｉｘの画素値とする（ステップＳ３０５）。ここでの処理は前述のステップＳ２０４と同じである。
【００９３】
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。図１１は、本発明の第３実施形態による画像復号装置の構成例を示す図である。画像復号装置２００は、図１１に示すように、符号データ入力部２０１、符号データメモリ２０２、参照画像入力部２０３、参照画像メモリ２０４、参照画像デプス情報入力部２０５、参照画像デプス情報メモリ２０６、処理対象画像デプス情報入力部２０７、処理対象画像デプス情報メモリ２０８、対応点設定部２０９、視差補償画像生成部２１０、および画像復号部２１１を備えている。
【００９４】
符号データ入力部２０１は、復号対象となる画像の符号データを入力する。以下では、この復号対象となる画像を復号対象画像と呼ぶ。ここでは復号対象画像はカメラＢの画像を指す。符号データメモリ２０２は、入力された符号データを記憶する。参照画像入力部２０３は、視差補償画像を生成する際に参照画像となる画像を入力する。ここではカメラＡの画像が入力される。参照画像メモリ２０４は、入力された参照画像を記憶する。参照画像デプス情報入力部２０５は、参照画像デプス情報を入力する。参照画像デプス情報メモリ２０６は、入力された参照画像デプス情報を記憶する。処理対象画像デプス情報入力部２０７は、復号対象画像に対するデプス情報を入力する。以下では、この復号対象画像に対するデプス情報を処理対象画像デプス情報と呼ぶ。処理対象画像デプス情報メモリ２０８は、入力された処理対象画像デプス情報を記憶する。
【００９５】
対応点設定部２０９は、処理対象画像デプス情報を用いて、復号対象画像の画素ごとに、参照画像上の対応点を設定する。視差補償画像生成部２１０は、参照画像と対応点の情報を用いて視差補償画像を生成する。画像復号部２１１は、視差補償画像を予測画像として、符号データから復号対象画像を復号する。
【００９６】
次に、図１２を参照して、図１１に示す画像復号装置２００の処理動作を説明する。図１２は、図１１に示す画像復号装置２００の処理動作を示すフローチャートである。まず、符号データ入力部２０１は、符号データ（復号対象画像）を入力し、符号データメモリ２０２に記憶する（ステップＳ４０１）。これと並行して、参照画像入力部２０３は参照画像を入力し、参照画像メモリ２０４に記憶する。また、参照画像デプス情報入力部２０５は参照画像デプス情報を入力し、参照画像デプス情報メモリ２０６に記憶する。さらに、処理対象画像デプス情報入力部２０７は処理対象画像デプス情報を入力し、処理対象画像デプス情報メモリ２０８に記憶する（ステップＳ４０２）。
【００９７】
なお、ステップＳ４０２で入力される参照画像、参照画像デプス情報、処理対象画像デプス情報は、符号化側で使用されたものと同じものとする。これは符号化装置で使用したものと全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化時に使用されたものと異なるものが入力されてもよい。デプス情報に関しては、別途復号したもの以外に、別のカメラに対して復号されたデプス情報から生成されたデプス情報や、複数のカメラに対して復号された多視点画像に対してステレオマッチング等を適用することで推定したデプス情報などを用いることもある。
【００９８】
次に、入力が終了したならば、対応点設定部２０９は、参照画像と参照画像デプス情報、処理対象画像デプス情報とを用いて、復号対象画像の画素または予め定められたブロックごとに参照画像上の対応点または対応ブロックを生成する。これと並行して、視差補償画像生成部２１０は視差補償画像を生成する（ステップＳ４０３）。ここでの処理は、符号化対象画像と復号対象画像など、符号化と復号が異なるだけで、図２に示すステップＳ１０３と同じである。
【００９９】
次に、視差補償画像が得られたならば、画像復号部２１１は視差補償画像を予測画像として、符号データから復号対象画像を復号する（ステップＳ４０４）。復号の結果得られる復号対象画像が画像復号装置２００の出力となる。なお、符号データ（ビットストリーム）を正しく復号できるならば、復号にはどのような方法を用いてもよい。一般的には、符号化時に用いられた方法に対応する方法を用いられる。
【０１００】
ＭＰＥＧ−２やＨ．２６４、ＪＰＥＧなどの一般的な動画像符号化または画像符号化で符号化されている場合は、画像を予め定められた大きさのブロックに分割して、ブロックごとに、エントロピー復号、逆２値化、逆量子化などを施した後、ＩＤＣＴ（Inverse Discrete Cosine Transform）など逆周波数変換を施して予測残差信号を得た後、予測残差信号に対して予測画像を加え、得られた結果を画素値範囲でクリッピングすることで復号を行う。
【０１０１】
なお、復号処理をブロックごとに行う場合、視差補償画像の生成処理（ステップＳ４０３）と復号対象画像の復号処理（ステップＳ４０４）をブロック後に交互に繰り返すことで、復号対象画像を復号してもよい。
【０１０２】
＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。図１１に示す画像復号装置２００では、処理対象画像デプス情報と参照画像デプス情報の２種類のデプス情報を用いているが、参照画像デプス情報のみを用いることにしてもよい。図１３は、参照画像デプス情報のみを用いる場合の画像復号装置２００ａの構成例を示す図である。図１３に示す画像復号装置２００ａと図１１に示す画像復号装置２００との違いは、処理対象画像デプス情報入力部２０７と処理対象画像デプス情報メモリ２０８とを備えず、対応点設定部２０９の代わりに対応点変換部２１２を備えている点である。なお、対応点変換部２１２は、参照画像デプス情報を用いて、復号対象画像の整数画素に対する、参照画像上の対応点を設定する。
【０１０３】
画像復号装置２００ａが実行する処理は、次の２点を除き、画像復号装置２００の実行する処理と同じである。まず１つ目の違いは、図１２に示すステップＳ４０２において、画像復号装置２００では、参照画像と参照画像デプス情報と処理対象画像デプス情報とが入力されるが、画像復号装置２００ａでは、参照画像と参照画像デプス情報のみが入力される点である。２つ目の違いは、視差補償画像生成処理（ステップＳ４０３）が、対応点変換部２１２および視差補償画像生成部２１０で行われ、その内容が異なる点である。画像復号装置２００ａにおける視差補償画像の生成処理については、図１０を参照して説明した処理と同じである。
【０１０４】
上述した説明においては、１フレーム中のすべての画素を符号化および復号する処理を説明したが、一部の画素にのみ本発明の実施形態の処理を適用し、その他の画素では、Ｈ．２６４／ＡＶＣなどで用いられる画面内予測符号化や動き補償予測符号化などを用いて符号化を行ってもよい。その場合には、画素ごとにどの方法を用いて符号化したかを示す情報を符号化および復号する必要がある。また、画素ごとではなくブロック毎に別の予測方式を用いて符号化を行ってもよい。
【０１０５】
また、上述した説明においては、１フレームを符号化および復号する処理を説明したが、複数フレームについて処理を繰り返すことで動画像符号化にも本発明の実施形態を適用することができる。また、動画像の一部のフレームや一部のブロックにのみ本発明の実施形態を適用することもできる。
【０１０６】
上述した説明では画像符号化装置および画像復号装置を中心に説明したが、これら画像符号化装置および画像復号装置の各部の動作に対応したステップによって本発明の画像符号化方法および画像復号方法を実現することができる。
【０１０７】
図１４に、画像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。図１４に示すシステムは、プログラムを実行するＣＰＵ（Central Processing Unit）５０と、ＣＰＵ５０がアクセスするプログラムやデータが格納されるＲＡＭ（Random Access Memory）等のメモリ５１と、カメラ等からの符号化対象の画像信号を入力する符号化対象画像入力部５２（ディスク装置等による画像信号を記憶する記憶部でもよい）と、デプスカメラ等からの符号化対象の画像に対するデプス情報を入力する符号化対象画像デプス情報入力部５３（ディスク装置等によるデプス情報を記憶する記憶部でもよい）と、カメラ等からの参照対象の画像信号を入力する参照画像入力部５４（ディスク装置等による画像信号を記憶する記憶部でもよい）と、デプスカメラ等からの参照画像に対するデプス情報を入力する参照画像デプス情報入力部５５（ディスク装置等によるデプス情報を記憶する記憶部でもよい）と、第１実施形態または第２実施形態として説明した画像符号化処理をＣＰＵ５０に実行させるソフトウェアプログラムである画像符号化プログラム５６１が格納されたプログラム記憶装置５６と、ＣＰＵ５０がメモリ５１にロードされた画像符号化プログラム５６１を実行することにより生成された符号データを、例えばネットワークを介して出力するビットストリーム出力部５７（ディスク装置等による多重化符号データを記憶する記憶部でもよい）とが、バスで接続された構成になっている。
【０１０８】
図１５に、画像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。図１５に示すシステムは、プログラムを実行するＣＰＵ６０と、ＣＰＵ６０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ６１と、画像符号化装置が本手法により符号化した符号データを入力する符号データ入力部６２（ディスク装置等による画像信号を記憶する記憶部でもよい）と、デプスカメラ等からの復号対象の画像に対するデプス情報を入力する復号対象画像デプス情報入力部６３（ディスク装置等によるデプス情報を記憶する記憶部でもよい）と、カメラ等からの参照対象の画像信号を入力する参照画像入力部６４（ディスク装置等による画像信号を記憶する記憶部でもよい）と、デプスカメラ等からの参照画像に対するデプス情報を入力する参照画像デプス情報入力部６５（ディスク装置等によるデプス情報を記憶する記憶部でもよい）と、第３実施形態または第４実施形態として説明した画像復号処理をＣＰＵ６０に実行させるソフトウェアプログラムである画像復号プログラム６６１が格納されたプログラム記憶装置６６と、ＣＰＵ６０がメモリ６１にロードされた画像復号プログラム６６１を実行することにより、符号データを復号して得られた復号対象画像を、再生装置などに出力する復号対象画像出力部６７（ディスク装置等による画像信号を記憶する記憶部でもよい）とが、バスで接続された構成になっている。
【０１０９】
また、図１、図９に示す画像符号化装置、図１１、図１３に示す画像復号装置における各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像符号化処理と画像復号処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷ（World Wide Web）システムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ（Compact Disc）−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【０１１０】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記プログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【０１１１】
以上、図面を参照して本発明の実施形態を説明してきたが、上記実施形態は本発明の例示に過ぎず、本発明が上記実施形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
【産業上の利用可能性】
【０１１２】
本発明は、参照画像における被写体の三次元位置を表すデプス情報を用いて、符号化（復号）対象画像に対して視差補償予測を行う際に、高い符号化効率を達成することが不可欠な用途に適用できる。
【符号の説明】
【０１１３】
１００、１００ａ・・・画像符号化装置、１０１・・・符号化対象画像入力部、１０２・・・符号化対象画像メモリ、１０３・・・参照画像入力部、１０４・・・参照画像メモリ、１０５・・・参照画像デプス情報入力部、１０６・・・参照画像デプス情報メモリ、１０７・・・処理対象画像デプス情報入力部、１０８・・・処理対象画像デプス情報メモリ、１０９・・・対応点設定部、１１０・・・視差補償画像生成部、１１１・・・画像符号化部、１１０３・・・フィルタ係数設定部、１１０４・・・画素補間部、１１０５・・・補間参照画素設定部、１１０６・・・フィルタ係数設定部、１１０７・・・画素補間部、１１２・・・対応点変換部、２００、２００ａ・・・画像復号装置、２０１・・・符号データ入力部、２０２・・・符号データメモリ、２０３・・・参照画像入力部、２０４・・・参照画像メモリ、２０５・・・参照画像デプス情報入力部、２０６・・・参照画像デプス情報メモリ、２０７・・・処理対象画像デプス情報入力部、２０８・・・処理対象画像デプス情報メモリ、２０９・・・対応点設定部、２１０・・・視差補償画像生成部、２１１・・・画像復号部、２１２・・・対応点変換部
【図１】
2014010584.tif 000010
【図２】
2014010584.tif 000011
【図３】
2014010584.tif 000012
【図４】
2014010584.tif 000013
【図５】
2014010584.tif 000014
【図６】
2014010584.tif 000015
【図７】
2014010584.tif 000016
【図８】
2014010584.tif 000017
【図９】
2014010584.tif 000018
【図１０】
2014010584.tif 000019
【図１１】
2014010584.tif 000020
【図１２】
2014010584.tif 000021
【図１３】
2014010584.tif 000022
【図１４】
2014010584.tif 000023
【図１５】
2014010584.tif 000024
【図１６】
2014010584.tif 000025
【図１７】
2014010584.tif 000026
【図１８】
2014010584.tif 000027
【手続補正書】
【提出日】平成27年9月18日(2015.9.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら符号化を行う画像符号化方法であって、
前記符号化対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定ステップと、
前記対応点と対になる前記符号化対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定ステップと、
仮の補間タップ長の補間フィルタを用いて、仮の補間参照画素群を設定し、前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報との差のうち、所定の閾値を超える画素が前記仮の補間参照画素群の中に定められた所定の個数より多く存在する場合は、現在の仮の補間タップ長より小さくしてタップ長を決定し、そうでない場合は、現在の仮の補間タップ長より前記仮の補間タップ長を大きくして、前記仮の補間参照画素群を再設定して処理を繰り返すことにより画素補間のための前記タップ長を決定する補間タップ長決定ステップと、
前記対応点によって示される前記参照画像上の前記小数画素位置の画素値を前記タップ長に従った補間フィルタを用いて生成し、前記整数画素位置の画素値は対応点の画素値を補間参照画素として設定する画素補間ステップと、
前記画素補間ステップにより生成した前記画素値を、前記対応点と対になる前記符号化対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測ステップと
を有する画像符号化方法。
【請求項２】
複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら符号化を行う画像符号化方法であって、
前記符号化対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定ステップと、
前記対応点と対になる前記符号化対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定ステップと、
仮の補間参照画素群を設定し、該補間参照画素群に含まれる１つの選択補間参照画素を選択し、該選択補間参照画素に対する前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報との差が所定の閾値より大きい場合は、前記選択補間参照画素を補間参照画素から除外し、前記差が前記所定の閾値以下の場合には前記選択補間参照画素を前記補間参照画素として採用する処理を繰り返すことにより、画素補間に用いる前記参照画像の整数画素位置の画素を補間参照画素として設定する補間参照画素設定ステップと、
前記補間参照画素の画素値の重み付け和によって、前記対応点によって示される前記参照画像上の前記小数画素位置の画素値を生成し、前記整数画素位置の画素値は対応点の画素値を補間参照画素として設定する画素補間ステップと、
前記画素補間ステップにより生成した前記画素値を、前記対応点と対になる前記符号化対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測ステップと
を有する画像符号化方法。
【請求項３】
前記補間参照画素ごとに、前記補間参照画素に対する前記参照画像デプス情報と、前記被写体デプス情報との差に基づいて、前記差が大きいほど小さな重みとなるように前記補間参照画素に対する補間係数を決定する補間係数決定ステップをさらに有し、
前記補間参照画素設定ステップは、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の前記周辺の整数画素位置の画素を前記補間参照画素として設定し、
前記画素補間ステップは、前記補間係数に基づいた前記補間参照画素の画素値の重み付け和を求めることで、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を生成する
請求項２に記載の画像符号化方法。
【請求項４】
仮の補間タップ長の補間フィルタを用いて、仮の補間参照画素群を設定し、前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報との差のうち、所定の閾値を超える画素が前記仮の補間参照画素群の中に定められた所定の個数より多く存在する場合は、現在の仮の補間タップ長より小さくしてタップ長を決定し、そうでない場合は、現在の仮の補間タップ長より前記仮の補間タップ長を大きくして、前記仮の補間参照画素群を再設定して処理を繰り返すことにより画素補間のための前記タップ長を決定する補間タップ長決定ステップをさらに有し、
前記補間参照画素設定ステップは、前記タップ長の範囲内に存在する画素を前記補間参照画素として設定する
請求項３に記載の画像符号化方法。
【請求項５】
前記補間係数決定ステップは、前記補間参照画素の１つに対する前記参照画像デプス情報と、前記被写体デプス情報との差の大きさが、予め定められた閾値より大きい場合には、前記補間係数をゼロとして前記補間参照画素の１つを前記補間参照画素から除外し、前記差の大きさが前記閾値以内の場合には、前記差に基づいて前記補間係数を決定する
請求項３または４に記載の画像符号化方法。
【請求項６】
前記補間係数決定ステップは、前記補間参照画素の１つに対する前記参照画像デプス情報と前記被写体デプス情報との差と、前記補間参照画素の１つと前記対応点によって示される前記参照画像上の整数画素もしくは小数画素との距離とに基づいて、前記距離が長いほど小さい重みとなるように前記補間係数を決定する
請求項３または４に記載の画像符号化方法。
【請求項７】
前記補間係数決定ステップは、前記補間参照画素の１つに対する前記参照画像デプス情報と、前記被写体デプス情報との差の大きさが、予め定められた閾値より大きい場合には、前記補間係数をゼロとして前記補間参照画素の１つを前記補間参照画素から除外し、前記差の大きさが前記閾値以内の場合には、前記差と、前記補間参照画素の１つと前記対応点によって示される前記参照画像上の整数画素もしくは小数画素との距離とに基づいて、前記距離が長いほど小さい重みとなるように前記補間係数を決定する
請求項３または４に記載の画像符号化方法。
【請求項８】
多視点画像の復号対象画像を復号する際に、復号済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら復号を行う画像復号方法であって、
前記復号対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定ステップと、
前記対応点と対になる前記復号対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定ステップと、
仮の補間タップ長の補間フィルタを用いて、仮の補間参照画素群を設定し、前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報との差のうち、所定の閾値を超える画素が前記仮の補間参照画素群の中に定められた所定の個数より多く存在する場合は、現在の仮の補間タップ長より小さくしてタップ長を決定し、そうでない場合は、現在の仮の補間タップ長より前記仮の補間タップ長を大きくして、前記仮の補間参照画素群を再設定して処理を繰り返すことにより画素補間のための前記タップ長を決定する補間タップ長決定ステップと、
前記対応点によって示される前記参照画像上の前記小数画素位置の画素値を前記タップ長に従った補間フィルタを用いて生成し、前記整数画素位置の画素値は対応点の画素値を補間参照画素として設定する画素補間ステップと、
前記画素補間ステップにより生成した前記画素値を、前記対応点と対になる前記復号対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測ステップと
を有する画像復号方法。
【請求項９】
多視点画像の復号対象画像を復号する際に、復号済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら復号を行う画像復号方法であって、
前記復号対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定ステップと、
前記対応点と対になる前記復号対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定ステップと、
仮の補間参照画素群を設定し、該補間参照画素群に含まれる１つの選択補間参照画素を選択し、該選択補間参照画素に対する前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報との差が所定の閾値より大きい場合は、前記選択補間参照画素を補間参照画素から除外し、前記差が前記所定の閾値以下の場合には前記選択補間参照画素を前記補間参照画素として採用する処理を繰り返すことにより、画素補間に用いる前記参照画像の整数画素位置の画素を補間参照画素として設定する補間参照画素設定ステップと、
前記補間参照画素の画素値の重み付け和によって、前記対応点によって示される前記参照画像上の前記小数画素位置の画素値を生成し、前記整数画素位置の画素値は対応点の画素値を補間参照画素として設定する画素補間ステップと、
前記画素補間ステップにより生成した前記画素値を、前記対応点と対になる前記復号対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測ステップと
を有する画像復号方法。
【請求項１０】
前記補間参照画素ごとに、前記補間参照画素に対する前記参照画像デプス情報と、前記被写体デプス情報との差に基づいて、前記差が大きいほど小さな重みとなるように前記補間参照画素に対する補間係数を決定する補間係数決定ステップをさらに有し、
前記補間参照画素設定ステップは、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の前記周辺の整数画素位置の画素を前記補間参照画素として設定し、
前記画素補間ステップは、前記補間係数に基づいた前記補間参照画素の画素値の重み付け和を求めることで、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を生成する
請求項９に記載の画像復号方法。
【請求項１１】
仮の補間タップ長の補間フィルタを用いて、仮の補間参照画素群を設定し、前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報との差のうち、所定の閾値を超える画素が前記仮の補間参照画素群の中に定められた所定の個数より多く存在する場合は、現在の仮の補間タップ長より小さくしてタップ長を決定し、そうでない場合は、現在の仮の補間タップ長より前記仮の補間タップ長を大きくして、前記仮の補間参照画素群を再設定して処理を繰り返すことにより画素補間のための前記タップ長を決定する補間タップ長決定ステップをさらに有し、
前記補間参照画素設定ステップは、前記タップ長の範囲内に存在する画素を前記補間参照画素として設定する
請求項１０に記載の画像復号方法。
【請求項１２】
前記補間係数決定ステップは、前記補間参照画素の１つに対する前記参照画像デプス情報と、前記被写体デプス情報との差の大きさが、予め定められた閾値より大きい場合には、前記補間係数をゼロとして前記補間参照画素の１つを前記補間参照画素から除外し、前記差の大きさが前記閾値以内の場合には、前記差に基づいて前記補間係数を決定する
請求項１０または請求項１１に記載の画像復号方法。
【請求項１３】
前記補間係数決定ステップは、前記補間参照画素の１つに対する前記参照画像デプス情報と前記被写体デプス情報との差と、前記補間参照画素の１つと前記対応点によって示される前記参照画像上の整数画素もしくは小数画素との距離とに基づいて、前記距離が長いほど小さい重みとなるように前記補間係数を決定する
請求項１０または請求項１１に記載の画像復号方法。
【請求項１４】
前記補間係数決定ステップは、前記補間参照画素の１つに対する前記参照画像デプス情報と、前記被写体デプス情報との差の大きさが、予め定められた閾値より大きい場合には、前記補間係数をゼロとして前記補間参照画素の１つを前記補間参照画素から除外し、前記差の大きさが前記閾値以内の場合には、前記差と、前記補間参照画素の１つと前記対応点によって示される前記参照画像上の整数画素もしくは小数画素との距離とに基づいて、前記距離が長いほど小さい重みとなるように前記補間係数を決定する
請求項１０または請求項１１に記載の画像復号方法。
【請求項１５】
複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら符号化を行う画像符号化装置であって、
前記符号化対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定部と、
前記対応点と対になる前記符号化対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定部と、
仮の補間タップ長の補間フィルタを用いて、仮の補間参照画素群を設定し、前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報との差のうち、所定の閾値を超える画素が前記仮の補間参照画素群の中に定められた所定の個数より多く存在する場合は、現在の仮の補間タップ長より小さくしてタップ長を決定し、そうでない場合は、現在の仮の補間タップ長より前記仮の補間タップ長を大きくして、前記仮の補間参照画素群を再設定して処理を繰り返すことにより画素補間のための前記タップ長を決定する補間タップ長決定部と、
前記対応点によって示される前記参照画像上の前記小数画素位置の画素値を前記タップ長に従った補間フィルタを用いて生成し、前記整数画素位置の画素値は対応点の画素値を補間参照画素として設定する画素補間部と、
前記画素補間部により生成した前記画素値を、前記対応点と対になる前記符号化対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測部と
を備える画像符号化装置。
【請求項１６】
複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら符号化を行う画像符号化装置であって、
前記符号化対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定部と、
前記対応点と対になる前記符号化対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定部と、
仮の補間参照画素群を設定し、該補間参照画素群に含まれる１つの選択補間参照画素を選択し、該選択補間参照画素に対する前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報との差が所定の閾値より大きい場合は、前記選択補間参照画素を補間参照画素から除外し、前記差が前記所定の閾値以下の場合には前記選択補間参照画素を前記補間参照画素として採用する処理を繰り返すことにより、画素補間に用いる前記参照画像の整数画素位置の画素を補間参照画素として設定する補間参照画素設定部と、
前記補間参照画素の画素値の重み付け和によって、前記対応点によって示される前記参照画像上の前記小数画素位置の画素値を生成し、前記整数画素位置の画素値は対応点の画素値を補間参照画素として設定する画素補間部と、
前記画素補間部により生成した前記画素値を、前記対応点と対になる前記符号化対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測部と
を備える画像符号化装置。
【請求項１７】
多視点画像の復号対象画像を復号する際に、復号済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら復号を行う画像復号装置であって、
前記復号対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定部と、
前記対応点と対になる前記復号対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定部と、
仮の補間タップ長の補間フィルタを用いて、仮の補間参照画素群を設定し、前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報との差のうち、所定の閾値を超える画素が前記仮の補間参照画素群の中に定められた所定の個数より多く存在する場合は、現在の仮の補間タップ長より小さくしてタップ長を決定し、そうでない場合は、現在の仮の補間タップ長より前記仮の補間タップ長を大きくして、前記仮の補間参照画素群を再設定して処理を繰り返すことにより画素補間のための前記タップ長を決定する補間タップ長決定部と、
前記対応点によって示される前記参照画像上の前記小数画素位置の画素値を前記タップ長に従った補間フィルタを用いて生成し、前記整数画素位置の画素値は対応点の画素値を補間参照画素として設定する画素補間部と、
前記画素補間部により生成した前記画素値を、前記対応点と対になる前記復号対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測部と
を備える画像復号装置。
【請求項１８】
多視点画像の復号対象画像を復号する際に、復号済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら復号を行う画像復号装置であって、
前記復号対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定部と、
前記対応点と対になる前記復号対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定部と、
仮の補間参照画素群を設定し、該補間参照画素群に含まれる１つの選択補間参照画素を選択し、該選択補間参照画素に対する前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報との差が所定の閾値より大きい場合は、前記選択補間参照画素を補間参照画素から除外し、前記差が前記所定の閾値以下の場合には前記選択補間参照画素を前記補間参照画素として採用する処理を繰り返すことにより、画素補間に用いる前記参照画像の整数画素位置の画素を補間参照画素として設定する補間参照画素設定部と、
前記補間参照画素の画素値の重み付け和によって、前記対応点によって示される前記参照画像上の前記小数画素位置の画素値を生成し、前記整数画素位置の画素値は対応点の画素値を補間参照画素として設定する画素補間部と、
前記画素補間部により生成した前記画素値を、前記対応点と対になる前記復号対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測部と
を備える画像復号装置。
【請求項１９】
コンピュータに、請求項１から７のいずれか１項に記載の画像符号化方法を実行させるための画像符号化プログラム。
【請求項２０】
コンピュータに、請求項８から１４のいずれか１項に記載の画像復号方法を実行させるための画像復号プログラム。
【請求項２１】
請求項１９に記載の画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項２２】
請求項２０に記載の画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。
【国際調査報告】
2014010584.tif 000028
2014010584.tif 000029
2014010584.tif 000030
2014010584.tif 000031