(57)【要約】【課題】信頼度の低い入力距離情報を排除し，多視点距離情報をいくつかの代表視点における広範囲距離情報に統合することで，効率的な多視点距離情報符号化を実現する。【解決手段】三次元点復元部１０６１は，入力された多視点距離情報を構成する各距離情報から，それに対するカメラ情報を用いて被写体上の三次元点を復元する。次に，三次元点再投影部１０６２は，復元された各三次元点が代表視点カメラによって撮影される投影面上の位置を同定し，その位置に対して代表視点カメラからその三次元点までの距離を割り当てる。距離統計情報計算部１０８と距離集合精錬部１０９は，再投影によって得られた距離の中で信頼度の低い距離を持つ被写体上の点を削除する。広範囲距離情報生成部１１０は，その結果をもとに代表視点カメラの投影面上の位置ごとに代表視点カメラに対する距離情報を生成し，広範囲距離情報符号化部１１２は，その距離情報を符号化する。【選択図】図１
2010021843.tif 000002
【特許請求の範囲】
【請求項１】
多視点カメラによって撮影された各画像の各画素に対して，カメラからその画素に写っている被写体までの距離を表した距離情報の集合によって表される多視点距離情報を符号化する多視点距離情報符号化方法において，
前記多視点距離情報を構成する各カメラを基準とした距離情報から，各画素に撮影された被写体上の点の三次元座標を計算する三次元座標復元ステップと，
前記三次元座標復元ステップで得られた三次元座標値を持つ被写体上の各点に対して，その点が予め定められたカメラによって撮影される際の投影面上での位置と，そのカメラから被写体上の点までの距離を計算する三次元座標再投影ステップと，
前記予め定められたカメラおよびそのカメラの投影面上の位置ごとに，前記三次元座標再投影ステップによって同じ位置が得られた１つまたは複数の被写体上の点に対して，前記三次元座標再投影ステップによって得られた距離の値の平均値および分散を求める距離統計情報計算ステップと，
前記予め定められたカメラおよびそのカメラの投影面上の位置ごとに，前記距離統計情報計算ステップで求められた分散の値が予め定められた値以上の場合，前記距離統計情報計算ステップで求められた平均値によって被写体上の点を２つの集合に分け，それぞれの集合において改めて距離の値の分散を求め，大きな分散値を持つ集合に属する被写体上の点を削除する距離集合精錬ステップと，
前記予め定められたカメラの投影面上の位置ごとに，前記距離集合精錬ステップによって残された被写体上の点が持つ距離の値を用いて，その位置における前記予め定められたカメラに対する距離情報を生成する広範囲距離情報生成ステップと，
前記広範囲距離情報生成ステップで生成された距離情報を符号化する広範囲距離情報符号化ステップと，
を有することを特徴とする多視点距離情報符号化方法。
【請求項２】
多視点カメラによって撮影された各画像の各画素に対して，カメラからその画素に写っている被写体までの距離を表した距離情報の集合によって表される多視点距離情報を符号化する多視点距離情報符号化方法において，
前記多視点距離情報を構成する各カメラを基準とした距離情報から，各画素に撮影された被写体上の点の三次元座標を計算する三次元座標復元ステップと，
前記三次元座標復元ステップで得られた三次元座標値を持つ被写体上の各点に対して，その点が予め定められたカメラによって撮影される際の投影面上での位置と，そのカメラから被写体上の点までの距離を計算する三次元座標再投影ステップと，
前記予め定められたカメラおよびそのカメラの投影面上の位置ごとに，前記三次元座標再投影ステップによって同じ位置が得られた１つまたは複数の被写体上の点に対して，前記三次元座標再投影ステップによって得られた距離の値の集合に対して，各距離の値がその位置において発生する割合を計算し，予め定められた比率以下でしか現れない距離の値を持つ被写体上の点を削除する候補削減ステップと，
前記予め定められたカメラの投影面上の位置ごとに，前記候補削減ステップによって残された被写体上の点が持つ距離の値を用いて，その位置における前記予め定められたカメラに対する距離情報を生成する広範囲距離情報生成ステップと，
前記広範囲距離情報生成ステップで生成された距離情報を符号化する広範囲距離情報符号化ステップと，
を有することを特徴とする多視点距離情報符号化方法。
【請求項３】
請求項１または請求項２に記載の多視点距離情報符号化方法において，
撮影を行った多視点カメラの中のいずれかのカメラと同じ位置および向きで，撮影シーンの全背景を視野角内に含む代表視点カメラを，前記予め定められたカメラとして１つまたは複数設定する代表視点カメラ設定ステップと，
前記代表視点カメラ設定ステップで設定された代表視点カメラの情報を符号化する代表視点カメラ情報符号化ステップと，を有し，
前記三次元座標再投影ステップでは，前記代表視点カメラ設定ステップで設定された代表視点カメラごとに，前記三次元座標復元ステップで得られた三次元座標値を持つ被写体上の各点に対して，その点が投影される位置と，そのカメラから被写体上の点までの距離を計算し，
前記広範囲距離情報生成ステップでは，前記代表視点カメラ設定ステップで設定された代表視点カメラごとに，そのカメラに対する距離情報を生成すること
を特徴とする多視点距離情報符号化方法。
【請求項４】
多視点カメラで撮影された各画像の各画素に対して，その画像を撮影したカメラからその画素に写っている被写体までの距離を表した距離情報の集合によって表される多視点距離情報の符号化データを復号する多視点距離情報復号方法において，
符号化データから，１つまたは複数の予め定められたカメラごとに，そのカメラを基準とした広範囲距離情報を復号する広範囲距離情報復号ステップと，
前記広範囲距離情報によって表される各カメラを基準とした距離情報から，各画素に撮影された被写体上の三次元座標を計算する三次元座標復元ステップと，
復号対象の多視点距離情報を構成する距離情報が基準としている復号対象視点カメラごとに，前記三次元座標復元ステップで得られた三次元座標値を持つ被写体上の各点に対して，その点が復号対象視点カメラによって撮影される際の投影面上での位置と，その復号対象視点カメラから被写体上の点までの距離を計算する三次元座標再投影ステップと，
前記復号対象視点カメラおよびその復号対象視点カメラの投影面上の位置ごとに，前記三次元座標再投影ステップによって同じ位置が得られた１つまたは複数の被写体上の点に対して，前記三次元座標再投影ステップによって得られた距離の値の平均値および分散を求める距離統計情報計算ステップと，
前記復号対象視点カメラおよびその復号対象視点カメラの投影面上の位置ごとに，前記距離統計情報計算ステップで求められた分散の値が予め定められた値以上の場合，前記距離統計情報計算ステップで求められた平均値によって被写体上の点を２つの集合に分け，それぞれの集合において改めて距離の値の分散を求め，大きな分散値を持つ集合に属する被写体上の点を削除する距離集合精錬ステップと，
前記復号対象視点カメラの投影面上の位置ごとに，前記距離集合精錬ステップによって残された被写体上の点が持つ距離の値を用いて，その位置におけるその復号対象視点カメラを基準とした距離情報を生成する多視点距離情報復元ステップと，
を有することを特徴とする多視点距離情報復号方法。
【請求項５】
多視点カメラで撮影された各画像の各画素に対して，その画像を撮影したカメラからその画素に写っている被写体までの距離を表した距離情報の集合によって表される多視点距離情報の符号化データを復号する多視点距離情報復号方法において，
符号化データから，１つまたは複数の予め定められたカメラごとに，そのカメラを基準とした広範囲距離情報を復号する広範囲距離情報復号ステップと，
前記広範囲距離情報によって表される各カメラを基準とした距離情報から，各画素に撮影された被写体上の三次元座標を計算する三次元座標復元ステップと，
復号対象の多視点距離情報を構成する距離情報が基準としている復号対象視点カメラごとに，前記三次元座標復元ステップで得られた三次元座標値を持つ被写体上の各点に対して，その点が復号対象視点カメラによって撮影される際の投影面上での位置と，その復号対象視点カメラから被写体上の点までの距離を計算する三次元座標再投影ステップと，
前記復号対象視点カメラおよびその復号対象視点カメラの投影面上の位置ごとに，前記三次元座標再投影ステップによって同じ位置が得られた１つまたは複数の被写体上の点に対して，前記三次元座標再投影ステップによって得られた距離の値の集合に対して，各距離の値がその位置において発生する割合を計算し，予め定められた比率以下でしか現れない距離の値を持つ被写体上の点を削除する候補削減ステップと，
前記復号対象視点カメラの投影面上の位置ごとに，前記候補削減ステップによって残された被写体上の点が持つ距離の値を用いて，その位置におけるその復号対象視点カメラを基準とした距離情報を生成する多視点距離情報復元ステップと，
を有することを特徴とする多視点距離情報復号方法。
【請求項６】
請求項４または請求項５に記載の多視点距離情報復号方法において，
符号化データから，符号化データに含まれる広範囲距離情報が基準とする１つまたは複数の代表視点カメラの情報を復号する代表視点カメラ情報復号ステップを有し，
前記広範囲距離情報復号ステップでは，前記代表視点カメラを基準とした広範囲距離情報を復号すること
を特徴とする多視点距離情報復号方法。
【請求項７】
多視点カメラによって撮影された各画像の各画素に対して，カメラからその画素に写っている被写体までの距離を表した距離情報の集合によって表される多視点距離情報を符号化する多視点距離情報符号化装置において，
前記多視点距離情報を構成する各カメラを基準とした距離情報から，各画素に撮影された被写体上の点の三次元座標を計算する三次元座標復元手段と，
前記三次元座標復元手段で得られた三次元座標値を持つ被写体上の各点に対して，その点が予め定められたカメラによって撮影される際の投影面上での位置と，そのカメラから被写体上の点までの距離を計算する三次元座標再投影手段と，
前記予め定められたカメラおよびそのカメラの投影面上の位置ごとに，前記三次元座標再投影手段によって同じ位置が得られた１つまたは複数の被写体上の点に対して，前記三次元座標再投影手段によって得られた距離の値の平均値および分散を求める距離統計情報計算手段と，
前記予め定められたカメラおよびそのカメラの投影面上の位置ごとに，前記距離統計情報計算手段で求められた分散の値が予め定められた値以上の場合，前記距離統計情報計算手段で求められた平均値によって被写体上の点を２つの集合に分け，それぞれの集合において改めて距離の値の分散を求め，大きな分散値を持つ集合に属する被写体上の点を削除する距離集合精錬手段と，
前記予め定められたカメラの投影面上の位置ごとに，前記距離集合精錬手段によって残された被写体上の点が持つ距離の値を用いて，その位置における前記予め定められたカメラに対する距離情報を生成する広範囲距離情報生成手段と，
前記広範囲距離情報生成手段で生成された距離情報を符号化する広範囲距離情報符号化手段と，
を備えることを特徴とする多視点距離情報符号化装置。
【請求項８】
多視点カメラによって撮影された各画像の各画素に対して，カメラからその画素に写っている被写体までの距離を表した距離情報の集合によって表される多視点距離情報を符号化する多視点距離情報符号化装置において，
前記多視点距離情報を構成する各カメラを基準とした距離情報から，各画素に撮影された被写体上の点の三次元座標を計算する三次元座標復元手段と，
前記三次元座標復元手段で得られた三次元座標値を持つ被写体上の各点に対して，その点が予め定められたカメラによって撮影される際の投影面上での位置と，そのカメラから被写体上の点までの距離を計算する三次元座標再投影手段と，
前記予め定められたカメラおよびそのカメラの投影面上の位置ごとに，前記三次元座標再投影手段によって同じ位置が得られた１つまたは複数の被写体上の点に対して，前記三次元座標再投影手段によって得られた距離の値の集合に対して，各距離の値がその位置において発生する割合を計算し，予め定められた比率以下でしか現れない距離の値を持つ被写体上の点を削除する候補削減手段と，
前記予め定められたカメラの投影面上の位置ごとに，前記候補削減手段によって残された被写体上の点が持つ距離の値を用いて，その位置における前記予め定められたカメラに対する距離情報を生成する広範囲距離情報生成手段と，
前記広範囲距離情報生成手段で生成された距離情報を符号化する広範囲距離情報符号化手段と，
を備えることを特徴とする多視点距離情報符号化装置。
【請求項９】
多視点カメラで撮影された各画像の各画素に対して，その画像を撮影したカメラからその画素に写っている被写体までの距離を表した距離情報の集合によって表される多視点距離情報の符号化データを復号する多視点距離情報復号装置において，
符号化データから，１つまたは複数の予め定められたカメラごとに，そのカメラを基準とした広範囲距離情報を復号する広範囲距離情報復号手段と，
前記広範囲距離情報によって表される各カメラを基準とした距離情報から，各画素に撮影された被写体上の三次元座標を計算する三次元座標復元手段と，
復号対象の多視点距離情報を構成する距離情報が基準としている復号対象視点カメラごとに，前記三次元座標復元手段で得られた三次元座標値を持つ被写体上の各点に対して，その点が復号対象視点カメラによって撮影される際の投影面上での位置と，その復号対象視点カメラから被写体上の点までの距離を計算する三次元座標再投影手段と，
前記復号対象視点カメラおよびその復号対象視点カメラの投影面上の位置ごとに，前記三次元座標再投影手段によって同じ位置が得られた１つまたは複数の被写体上の点に対して，前記三次元座標再投影手段によって得られた距離の値の平均値および分散を求める距離統計情報計算手段と，
前記復号対象視点カメラおよびその復号対象視点カメラの投影面上の位置ごとに，前記距離統計情報計算手段で求められた分散の値が予め定められた値以上の場合，前記距離統計情報計算手段で求められた平均値によって被写体上の点を２つの集合に分け，それぞれの集合において改めて距離の値の分散を求め，大きな分散値を持つ集合に属する被写体上の点を削除する距離集合精錬手段と，
前記復号対象視点カメラの投影面上の位置ごとに，前記距離集合精錬手段によって残された被写体上の点が持つ距離の値を用いて，その位置におけるその復号対象視点カメラを基準とした距離情報を生成する多視点距離情報復元手段と，
を備えることを特徴とする多視点距離情報復号装置。
【請求項１０】
多視点カメラで撮影された各画像の各画素に対して，その画像を撮影したカメラからその画素に写っている被写体までの距離を表した距離情報の集合によって表される多視点距離情報の符号化データを復号する多視点距離情報復号装置において，
符号化データから，１つまたは複数の予め定められたカメラごとに，そのカメラを基準とした広範囲距離情報を復号する広範囲距離情報復号手段と，
前記広範囲距離情報によって表される各カメラを基準とした距離情報から，各画素に撮影された被写体上の三次元座標を計算する三次元座標復元手段と，
復号対象の多視点距離情報を構成する距離情報が基準としている復号対象視点カメラごとに，前記三次元座標復元手段で得られた三次元座標値を持つ被写体上の各点に対して，その点が復号対象視点カメラによって撮影される際の投影面上での位置と，その復号対象視点カメラから被写体上の点までの距離を計算する三次元座標再投影手段と，
前記復号対象視点カメラおよびその復号対象視点カメラの投影面上の位置ごとに，前記三次元座標再投影手段によって同じ位置が得られた１つまたは複数の被写体上の点に対して，前記三次元座標再投影手段によって得られた距離の値の集合に対して，各距離の値がその位置において発生する割合を計算し，予め定められた比率以下でしか現れない距離の値を持つ被写体上の点を削除する候補削減手段と，
前記復号対象視点カメラの投影面上の位置ごとに，前記候補削減手段によって残された被写体上の点が持つ距離の値を用いて，その位置におけるその復号対象視点カメラを基準とした距離情報を生成する多視点距離情報復元手段と，
を備えることを特徴とする多視点距離情報復号装置。
【請求項１１】
請求項１から請求項３までのいずれか１項に記載の多視点距離情報符号化方法をコンピュータに実行させるための多視点距離情報符号化プログラム。
【請求項１２】
請求項１から請求項３までのいずれか１項に記載の多視点距離情報符号化方法をコンピュータに実行させるための多視点距離情報符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１３】
請求項４から請求項６までのいずれか１項に記載の多視点距離情報復号方法をコンピュータに実行させるための多視点距離情報復号プログラム。
【請求項１４】
請求項４から請求項６までのいずれか１項に記載の多視点距離情報復号方法をコンピュータに実行させるための多視点距離情報復号プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，多視点距離情報の符号化および復号技術に関するものである。
【背景技術】
【０００２】
多視点画像とは，複数のカメラで同じ被写体と背景を撮影した複数の画像のことであり，多視点動画像（多視点映像）とは，その動画像のことである。また，ここで言う距離情報とは，ある画像に対して与えられる領域ごとのカメラから被写体までの距離を表す情報である。多視点距離情報とは，多視点画像に対する距離情報であり，通常の距離情報複数個からなる集合となる。カメラから被写体までの距離はシーンの奥行きということもできるため，距離情報は奥行き情報と呼ばれることもある。
【０００３】
一般に，このような距離情報は，カメラで撮影された結果の２次元平面に対して与えられるため，その距離を画像の画素値にマッピングすることで距離画像として表される。２次元平面のある点に対する情報としては，１つの距離という情報のみになるためグレースケール画像として表現することが可能である。なお，距離画像は奥行き画像やデプスマップ(Depth Map) と呼ばれることもある。
【０００４】
距離情報の利用用途の１つとして立体画像がある。一般的な立体画像の表現は，観測者の右目用の画像と左目用の画像からなるステレオ画像であるが，あるカメラにおける画像とその距離情報とを用いて立体画像を表現することができる（詳しい技術は非特許文献１を参照）。
【０００５】
このような１視点における映像と距離情報とを用いて表現された立体映像を符号化する方式には，ＭＰＥＧ−Ｃ  Ｐａｒｔ．３（ＩＳＯ／ＩＥＣ  ２３００２−３）を使用することが可能である（詳しい内容は非特許文献２を参照）。
【０００６】
多視点距離情報は，単視点の距離情報を用いて表現可能な立体映像よりも，大きな視差を持った立体映像を表現するのに利用される（詳細は非特許文献３を参照）。
【０００７】
また，このような立体映像を表現する用途以外に，多視点距離情報は，鑑賞者が撮影カメラの配置を気にせずに自由に視点を移動できる自由視点映像を生成するデータの１つとしても使用される。このような撮影カメラとは別のカメラからシーンを見ているとしたときの合成画像を任意視点画像と呼ぶことがあり，Image-based Rendering の分野で盛んにその生成法が検討されている。多視点映像と多視点距離情報とから任意視点映像を生成する代表的な手法としては，非特許文献４に記載の手法がある。
【０００８】
前述の通り，距離情報はグレースケール動画像とみなすことができ，被写体は実空間上で連続的に存在し，瞬間的に移動することができないため，画像信号と同様に空間的相関および時間的相関を持つといえる。したがって，通常の映像信号を符号化するために用いられる画像符号化方式や動画像符号化方式によって，距離情報は空間的冗長性や時間的冗長性を取り除きながら効率的に符号化される。実際にＭＰＥＧ−Ｃ  Ｐａｒｔ．３では，既存の動画像符号化方式を用いて符号化を行っている。
【０００９】
ここで，従来の一般的な映像信号の符号化方式について説明する。一般に被写体が実空間上で空間的および時間的連続性を持つことから，その見え方は空間的および時間的に高い相関をもつ。映像信号の符号化では，そのような相関性を利用して高い符号化効率を達成している。
【００１０】
具体的には，符号化対象ブロックの映像信号を既に符号化済みの映像信号から予測して，その予測残差のみを符号化することで，符号化される必要のある情報を減らし，高い符号化効率を達成する。代表的な映像信号の予想の手法としては，単視点映像では，隣接するブロックから空間的に予測信号を生成する画面内予測や，近接時刻に撮影された符号化済みフレームから被写体の動きを推定して時間的に予測信号を生成する動き補償予測があり，多視点映像では，これらの他に別のカメラで撮影された符号化済みフレームから被写体の視差を推定してカメラ間で予測信号を生成する視差補償予測がある。各手法の詳細は非特許文献５，非特許文献６などに記載されている。
【００１１】
また，多視点距離情報を符号化するにあたって，多視点距離情報を三次元モデルに変換して符号化することもできる。多視点距離情報から三次元モデルを構築する手法としては，非特許文献７に記載された技術がある。
【００１２】
図１２に，多視点距離情報から三次元モデルを生成して，三次元モデルを符号化する従来手法のフローチャートを示す。
【００１３】
入力された多視点距離情報を構成する入力視点カメラを表すインデックスをｖｉｅｗとし，多視点距離情報を構成する視点数をｎｕｍＶｉｅｗｓとする。まず，入力視点カメラごとの距離情報Ｄviewを入力する［Ｘ１］。次に，ｖｉｅｗを０に初期化した後［Ｘ２］，ｖｉｅｗに１を加算しながら［Ｘ４］，ｖｉｅｗがｎｕｍＶｉｅｗｓになるまで［Ｘ５］，距離情報Ｄviewから被写体の三次元点を復元する［Ｘ３］。すべての入力視点カメラｖｉｅｗの距離情報から復元した被写体の三次元点から三次元モデルを計算し［Ｘ６］，その三次元モデルを符号化する［Ｘ７］。
【００１４】
このようにして生成された三次元モデルの符号化データを復号すれば，デコーダ側で任意の視点からの距離情報を求めることができる。
【００１５】
また，非特許文献８には，距離情報を補助情報として用いながら，全体的に効率的な多視点映像符号化を実現するための符号化手法が記載されている。
【非特許文献１】C. Fehn ，P. Kauff，M. Op de Beeck，F. Emst ，W. IJsselsteijn ，M. Pollefeys，L. Van Gool ，E. Ofek and I. Sexton ，“An Evolutionary and Optimised Approach on 3D-TV ”，Proceedings of International Broadcast Conference ，pp.357-365，Amsterdam ，The Netherlands ，September 2002.
【非特許文献２】W.H.A. Bruls，C. Varekamp ，R. Klein Gunnewiek，B. Barenbrug and A. Bourge，“Enabling Introduction of Stereoscopic(3D) Video: Formats and Compression Standards”，Proceedings of IEEE International Conference on Image Processing，pp.I-89-I-92，San Antonio ，USA ，September 2007.
【非特許文献３】A. Smolic ，K. Mueller，P. Merkle ，N. Atzpadin ，C. Fehn ，M. Mueller，O. Schreer，R. Tanger ，P. Kauff and T. Wiegand ，“Multi-view video plus depth(MVD) format for advanced 3D video systems ”，Joint Video Team of ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6 ，Doc. JVT-W100 ，San Jose，USA ，April 2007.
【非特許文献４】C. L. Zitnick ，S. B. Kang，M. Uyttendaele，S. A. J. Winder and R. Szeliski ，“High-quality Video View Interpolation Using a Layered Representation”, ACM Transactions on Graphics，vol.23，no.3，pp.600-608，August 2004.
【非特許文献５】"Editor's Proposed Draft Text Modifications for Joint Video Specification (ITU-T Rec. H.264 ｜ISO/IEC 14496-10 AVC), Draft 7" ，Document JVT-E022d7 ，September 2002．
【非特許文献６】H. Kimata and M. Kitahara ，“Preliminary results on multiple view video coding(3DAV) ”，document M10976 MPEG Redmond Meeting，July，2004.
【非特許文献７】M. I. Fanany，and I. Kumazawa ，“A neural network for recovering 3D shape from erroneous and few depth maps of shaded images ”，Pattern Recogn. Lett. ，vol.25，no.4，pp.377-389，Mar. 2004.
【非特許文献８】Shinya Shimizu，Masaki Kitahara ，Hideaki Kimata，Kazuto Kamikura and Yoshiyuki Yashima ．“View Scalable Multiview Video Coding using 3-D Warping with Depth Map ”，IEEE Transactions on Circuits and Systems for Video Technology，Vol.17，No.11 ，pp.1485-1495，2007.
【発明の開示】
【発明が解決しようとする課題】
【００１６】
被写体は実空間上で連続であるため高い空間相関をもち，瞬間的に移動することが不可能であるため高い時間相関を持つ。したがって，空間相関と時間相関とを利用する既存の映像符号化方式を用いることで，グレースケール画像として表した距離情報を効率的に符号化することが可能である。
【００１７】
また，カメラ間相関を利用する既存の多視点映像符号化方式を用いることで，グレースケール画像群として表した多視点距離情報を効率的に符号化することが可能である。
【００１８】
しかしながら，カメラによって被写体の絶対位置は変化しないため，各カメラの距離情報を符号化する既存の手法を用いた場合，精度良く予測が行えたとしても，本質的には同じ意味を表す情報を重複して符号化していることになるため，効率的な多視点距離情報の符号化を実現することができない。
【００１９】
与えられた多視点距離情報から撮影した被写体の三次元モデルを構築して，その三次元モデルを符号化することで，同じ被写体上の点の位置を示す情報を複数回符号化するのを回避することが可能である。多視点距離情報から三次元モデルを構築する手法としては，非特許文献７に記載されている方法がある。この方法を用いれば，本質的に同じ意味を持つ情報を重複して符号化しなくてもよい。しかしながら，この方法では，各視点で独立していた多視点距離情報を，１箇所にまとめて独立性を排除して処理を行う。そして，１つの高品質な三次元モデルを構築するためには，グローバルな最適化問題を繰り返し演算などによって解く必要がある。このため，非常に多くの並列化できない演算が必要となってしまうという問題がある。
【００２０】
さらに，三次元モデルを用いることで同じ情報が重複することはなくなるが，一般的な三次元モデル表現である三次元メッシュモデルでは，静的シーンであってもメッシュの各頂点の三次元座標とそれら頂点の連結情報を符号化しなければならないため，効率的に符号化することができない。動的シーンでは，さらにフレームごとに変化するメッシュ情報である動的３次元メッシュモデルを符号化する必要が生じ，グレースケール映像で表される動的距離情報よりも効率的な符号化が困難である。
【００２１】
また，距離の計測において，特殊な距離計測装置ではなく画像から対応点マッチングを用いて距離情報を計測するステレオ法を用いる場合，正確なカメラから被写体までの距離を求めることは困難であり，計測結果には多くの誤った距離情報が含まれる。そのため，前述のような入力された多視点距離情報から１つのモデルなどを生成する場合には，どの距離情報がノイズを含んでいるものかを判別しながら処理をする必要がある。そのような処理は非常に困難であり，多くの演算を必要とする。
【００２２】
本発明は以上のような事情に鑑みてなされたものであって，画像信号からステレオ法などを用いて生成された多視点距離情報を符号化するにあたって，信頼度の低い入力距離情報を判定しながら多視点距離情報をいくつかの代表視点における広範囲距離情報に統合することで，効率的な多視点距離情報符号化を並列演算可能な手法で実現することを目的とする。
【課題を解決するための手段】
【００２３】
前述の課題を解決するために，本発明では多視点距離情報を符号化するに当たり，１つまたは複数の代表視点カメラを定め，符号化対象の多視点距離情報から代表視点カメラに対する広範囲距離情報を生成し，その代表視点カメラごとに得られる広範囲距離情報を符号化することで，効率的な多視点距離情報符号化を実現する。
【００２４】
多視点距離情報から広範囲距離情報を生成する処理は，次の３段階の処理によって構成される。
（１）まず，入力された多視点距離情報を構成する各距離情報から，それに対するカメラ情報を用いて被写体上の三次元点を復元する。
（２）次に，復元された各三次元点が代表視点カメラによって撮影される投影面上の位置を同定し，その位置に対して代表視点カメラからその三次元点までの距離を割り当てる。
（３）次に，代表視点カメラの投影面上の位置ごとに複数得られた距離から信頼度の低い距離を持つ被写体上の点を除外し，多視点距離情報を代表視点カメラを基準とする距離情報に統合した広範囲距離情報を求める。
【００２５】
つまり，広範囲距離情報の生成処理は入力視点カメラによってサンプリングされた点を逆投影して求める処理と，求められた点を代表視点カメラに対して再投影する処理とを用いて構成される。これらの処理は物理現象を利用しているため，カメラによる射影変換を十分にモデル化することが可能であれば，非常に高い精度で代表視点カメラに対する広範囲距離情報を構築することができる。
【００２６】
このような処理により多視点距離情報を広範囲距離情報へと変換することによって，入力視点カメラごとに与えられた同じ被写体に対する距離情報が，代表視点カメラにおいては１つの距離情報となるため，本発明によって同じ被写体に対する距離情報は設定した代表視点カメラの個数だけ符号化すればよくなる。つまり，多視点距離情報を構成する入力視点カメラの個数と同じ回数も三次元位置を表す距離情報を符号化するのを避けることができるため，効率的な符号化が可能となる。
【００２７】
さらに，多視点距離情報のまま符号化する場合には，撮影空間が複数に分割されるため，その分割された空間をまたぐような相関を利用して符号化することができない。一方，広範囲距離情報に変換して符号化する場合，三次元モデルのように効率的な符号化が困難な表現ではないだけでなく，被写体位置の空間相関や時間相関をシーン全体で利用できるようになるため，その点に関しても本発明によって効率的な符号化の実現が可能になるといえる。
【００２８】
なお，たとえ広範囲距離情報を生成する場合であっても，常に１つの代表視点カメラしか用いない場合には，オクルージョンが発生する部分の距離情報を表現することができない。しかしながら，本発明において，複数の代表視点カメラを設定した場合には，オクルージョンが発生する部分の距離情報を表現することができる。
【００２９】
多視点距離情報には同じ被写体上の点に対する距離が複数含まれているため，広範囲距離情報を生成する過程で，復元した三次元点を代表視点カメラへ再投影すると，同じ位置に対して複数の三次元点が投影される。このとき，各三次元点は必ずしも同じ距離を与えるとは限らない。この距離の揺らぎはサンプリング間隔の違いによる影響，投影処理の精度，ノイズの影響によるものであるため，カメラ投影面上の注目位置を含む予め定められた領域に対して与えられた距離のうち，最も多く現れている距離や中央値，平均値を選択することで，多視点距離情報の測定ノイズを低減し，高品質な広範囲距離情報の生成が可能となる。
【００３０】
また，あるカメラに対して手前に存在する被写体が存在する場合，その被写体よりも遠くに存在する被写体を同じカメラから観測することができない。そのため，カメラ投影面上の注目位置を含む予め定められた領域に対して与えられた距離のうち，最も基準としているカメラに近いことを示す距離を選択することで，物理現象に合致した広範囲距離情報を生成することが可能となる。なお，常に最も近いことを示す距離を選ぶのではなく，明らかに遠方に存在する距離のみを取り除いて平均値などを取ることによって，よりノイズにロバストに高品質な広範囲距離情報を生成することも可能となる。
【００３１】
高品質な広範囲距離情報を生成することは，本質的には無駄な情報である測定誤差に対して符号を浪費することがなくなるため，これらの処理によってさらに効率的な多視点距離情報の符号化が実現できるといえる。
【００３２】
復号装置では，以上のようにして生成され符号化された広範囲距離情報を復号し，その広範囲距離情報によって表される各代表視点カメラを基準とした距離情報から，各画素に撮影された被写体上の三次元点を復元し，復号対象の多視点距離情報を構成する距離情報が基準としている復号対象視点カメラごとに，被写体上の各三次元点に対して，その点が復号対象視点カメラによって撮影される際の投影面上での位置と，その復号対象視点カメラから被写体上の点までの距離とを計算することにより，復号対象視点カメラを基準とした距離情報を生成することができる。ここで，復号対象視点カメラを基準とした距離情報とは，目的とする視点位置におけるカメラで撮影された画像の各画素に対して，その画像を撮影したカメラからその画素に写っている被写体までの距離を表す情報である。
【００３３】
本発明における広範囲距離情報の生成処理は，前述の通り，距離情報を用いた逆投影処理，復元された三次元点の再投影処理，複数の候補から１つの値を決定する処理で構成される。逆投影処理および再投影処理は射影変換を用いた処理であり，各カメラで独立した処理であるため，高速な並列演算によって処理することが可能である。また，最後の複数の候補から１つの値を決定する処理は，入力された多視点距離情報に含まれるノイズ成分を除去するために行われる処理であるため，フィルタ演算などの軽量な処理によって構成することができる。
【００３４】
復号時においても，各代表視点カメラに対する処理，または復号対象視点カメラに対する処理を並列に実行することができ，高速演算が可能である。
【００３５】
以上のように，本発明では，同じ意味を持つ距離情報を多数重複して符号化しないために，入力された多視点距離情報を小数の代表視点カメラに対する広範囲距離情報へと変換して符号化を行う。この広範囲距離情報は多視点距離情報を視点ごとに独立させたまま処理できるため，符号量削減と並列演算処理とを両立することが可能となる。
【００３６】
ステレオ法などを用いて画像信号から距離情報を生成する場合，あるカメラでは撮影されるが，別のカメラでは撮影されないことのある領域を含んだ部分において，正確な距離情報が生成できない。これは画像信号から距離情報を生成する処理では，対応点マッチングを行うことで画像間の対応点を見つけ，三角測量を行うことで距離情報を復元するためである。
【００３７】
そのようなステレオ法などで生成された多視点距離情報から復元した被写体の三次元点を代表視点カメラに投影した場合，正しい距離情報が得られていた被写体においては投影面上のほぼ同じ領域に投影された三次元点の持つ距離情報がほぼ一定の値を持つのに対して，ノイズを含んだ距離情報が得られていた被写体においては前景部分に存在する被写体の距離情報と背景部分に存在する被写体の距離情報が混在することになる。つまり，投影面上の同じ領域に対して投影される三次元点のもつ距離情報の分散が，ノイズの少ない領域では非常に小さくなり，ノイズを含む領域では非常に大きくなる。
【００３８】
そこで，本発明では，投影面の領域ごとに投影される三次元点のもつ距離の値の分散を求め，分散が大きな領域では平均値を境にして平均値集合を２つに分け，より信頼度の高い三次元点集合のみを対象として広範囲距離情報を生成することで，高品質な広範囲距離情報の生成を可能にする。
【００３９】
なお，分散を計算する以外の方法としては，投影面上の同じ領域に対して投影される三次元点の持つ距離に対して発生確率を計算し，発生確率の低い距離を持つ三次元点を除外することで，高品質な広範囲距離情報の生成が可能である。
【００４０】
ある代表視点における広範囲距離情報を符号化する際には，既に符号化済みの別の代表視点における広範囲距離情報から，符号化対象の代表視点の広範囲距離情報を予測し，その差分のみを符号化することで，さらに効率的な符号化を実現することが可能である。
【００４１】
これは異なる視点であっても，オクルージョンが発生している領域以外においては同じ距離情報を持つため，予測した差分には符号化や測定ノイズに起因する値という小さな値のみが残されることになり，相対的に符号化すべき信号が小さくなることから，効率的な符号化が実現できるといえる。
【発明の効果】
【００４２】
本発明によれば，ステレオ法などによって求められた誤った距離情報を多く含む多視点距離情報を符号化する場合に，視点数が非常に多い場合においても，符号化対象の多視点距離情報から撮影シーンを包含する視野角の広い広範囲距離情報を生成することで，同じ意味を持つ距離情報が多数重複して符号化するのを回避した効率的な多視点距離情報符号化を並列演算可能な手法で実現することが可能となる。
【発明を実施するための最良の形態】
【００４３】
以下，本発明を実施の形態に従って詳細に説明する。なお，以下の説明では，あるカメラに対する距離情報はグレースケール画像として表されるものとする。
【００４４】
〔多視点距離情報符号化装置〕
まず，本発明の実施の形態に係る多視点距離情報符号化装置について説明する。図１に，多視点距離情報符号化装置の構成例を示す。
【００４５】
図１に示すように，多視点距離情報符号化装置１００は，符号化対象となる多視点距離情報を入力する距離情報入力部１０１と，入力された多視点距離情報を格納する距離情報メモリ１０２と，符号化対象の多視点距離情報が対象としているカメラ群のカメラパラメータ等を入力するカメラ情報入力部１０３と，入力された多視点カメラ情報を格納するカメラ情報メモリ１０４と，広範囲距離情報が基準とするカメラを決定する代表視点設定部１０５と，入力された各カメラに対する距離情報を代表視点に対する距離情報へと変換する距離情報変換部１０６と，変換された距離情報群を蓄積する変換距離情報メモリ１０７と，変換距離情報の中の特定の距離の値の平均値および分散を算出する距離統計情報計算部１０８と，求められた距離の値の平均値と分散値から信頼度の低い被写体上の点を削除する距離集合精錬部１０９と，代表視点における広範囲距離情報を生成する広範囲距離情報生成部１１０と，生成された広範囲距離情報群を蓄積する広範囲距離情報メモリ１１１と，広範囲距離情報を予測符号化する広範囲距離情報符号化部１１２と，代表視点群のカメラ情報を符号化する代表視点情報符号化部１１３とを備える。
【００４６】
距離情報変換部１０６は，距離情報メモリ１０２に格納された各カメラを基準とした距離情報から，各画素に撮影された被写体上の点の三次元座標を計算する三次元点復元部１０６１と，三次元点復元部１０６１で得られた三次元座標値を持つ被写体上の各点に対して，その点が代表視点カメラによって撮影される際の投影面上での位置と，そのカメラから被写体上の点までの距離を計算する三次元点再投影部１０６２とを備える。
【００４７】
三次元点再投影部１０６２が算出した距離をもとに，広範囲距離情報生成部１１０により代表視点における広範囲距離情報を生成するにあたって，距離統計情報計算部１０８は，代表視点カメラおよびそのカメラの投影面上の位置ごとに，三次元点再投影部１０６２によって同じ位置が得られた１つまたは複数の被写体上の点に対して，三次元点再投影部１０６２によって得られた距離の値の平均値および分散を求める。
【００４８】
距離集合精錬部１０９は，代表視点カメラおよびそのカメラの投影面上の位置ごとに，距離統計情報計算部１０８で求められた分散の値が予め定められた値以上の場合，距離統計情報計算部１０８で求められた平均値によって被写体上の点を２つの集合に分け，それぞれの集合において改めて距離の値の分散を求め，大きな分散値を持つ集合に属する被写体上の点を削除する。残った点が持つ距離を用いて広範囲距離情報が生成される。
【００４９】
図２に，このようにして構成される多視点距離情報符号化装置１００の実行する処理フローを示す。この処理フローに従って，図１に示す多視点距離情報符号化装置１００が実行する処理について詳細に説明する。
【００５０】
まず，距離情報入力部１０１より，符号化対象となる多視点距離情報が入力され，距離情報メモリ１０２に格納される［Ａ１］。以下では符号化対象となる多視点距離情報の各視点の距離情報を，インデックスｖｉｅｗを用いてＤviewと表す。なお，各距離情報に記号［］で挟まれた位置を特定可能な情報（座標値もしくは座標値に対応付け可能なインデックス）を付加することで，その視点において特定の画素によってサンプリングされた距離情報を示すものとする。
【００５１】
次に，多視点距離情報が基準としている各カメラのカメラパラメータ等の情報がカメラ情報入力部１０３より入力され，カメラ情報メモリ１０４に格納される［Ａ２］。以下では，Ｄviewが基準としているカメラの内部パラメータ行列をＡview，回転行列をＲview，並進ベクトルをｔviewで表す。カメラパラメータの表現法には様々なものがあるため，以下で用いる数式は，カメラパラメータの定義に従って変更する必要がある。
【００５２】
なお，本実施例では，画像座標ｍと世界座標Ｍの対応関係が，次の式で得られるカメラパラメータ表現を用いているものとする。
【００５３】
【数１】
2010021843.tif 000003
【００５４】
Ａ，Ｒ，ｔは，それぞれカメラの内部パラメータ行列，回転行列，並進ベクトルを表し，チルダ記号は任意スカラ倍を許した斉次座標を表す。ＡとＲは３×３の行列であり，ｔは三次元ベクトルである。
【００５５】
本実施例では，各時刻・各カメラの距離情報は，グレースケール画像として与えられるものとする。そのグレースケール画像の解像度やカメラから被写体までの距離を画素値に対応付ける際に必要な情報も，処理Ａ２で入力されるカメラ情報に含まれるものとする。例えば，対応付けを行う方法によって必要な情報が変化するが，ルックアップテーブル（Look up table ）や，最小値ＭｉｎＤview・最大値ＭａｘＤview・ステップ数ＳｔｅｐＤviewなどが距離と画素値の対応付けに必要な情報となる。後者の場合，距離ｄを量子化するための計算式Ｓview（ｄ）は，距離の値そのものを一様量子化する場合には（式１）で表すことができ，距離の逆数を一様量子化する場合には（式２）で表すことができる。
【００５６】
【数２】
2010021843.tif 000004
【００５７】
符号化対象の多視点距離情報に関する入力が終了した後，代表視点設定部１０５において，広範囲距離情報を生成する基準となる代表視点カメラの集合ＲＥＰを決定し［Ａ３］，そのカメラ情報を代表視点情報符号化部１１３で符号化する［Ａ４］。代表視点カメラとして，予め定められたカメラ群を用いても構わないし，外部から与えても構わないし，入力された多視点距離情報やカメラ情報を用いて適切なカメラ群を決定しても構わない。ただし，多視点距離情報によって表されるシーンのほぼ全てをＲＥＰに対する広範囲距離情報がカバーできる必要がある。
【００５８】
例えば，撮影シーンが平面やほぼ無限遠に存在する風景を撮影したものであるならば，ＲＥＰは多視点距離情報の基準となっている多視点カメラのうち任意の１つのカメラ位置で，その視野角をシーン全体をカバーするように拡大したものとなる。また，何らかの単純な物体がある場合には，入力多視点カメラが１次元配列の場合には，基本的に入力多視点カメラのうち両端に存在するカメラと同じ位置で，その視野角が広いものとすることができる。入力情報に応じて自動的にＲＥＰを選択する手法の一例は後で詳しく述べる。
【００５９】
なお，シーンに応じて最小の要素数となるＲＥＰを選択したほうが符号化効率は高まるが，入力多視点カメラの個数から数を十分に減らすことが可能であれば，符号化対象となる信号の量を減らすことができるため，最小でなくても効率的な多視点距離情報の符号化を実現することが可能である。例えば，両端のみだけではなく，さらに中心のカメラ位置も代表視点カメラに含めても十分効率的な符号化を実現可能である。
【００６０】
本実施例では，入力された多視点距離情報に対して毎回代表視点カメラ群を決定することになっているが，時間的に連続したシーンに対する複数の多視点距離情報を符号化する場合には，前回決定された代表視点カメラ群を繰り返し用いることで，代表視点カメラ群の決定処理および代表視点カメラ情報の符号化処理を省略することが可能である。
【００６１】
代表視点カメラが決定したならば，入力された多視点距離情報から各代表視点カメラにおける広範囲距離情報を生成し符号化する［Ａ５−Ａ１４］。つまり，ＲＥＰに含まれる代表視点カメラを識別するインデックスをｒｅｐとし，ＲＥＰの要素数をｎｕｍＲｅｐｓとすると，ｒｅｐを０に初期化した後［Ａ５］，ｒｅｐに１を加算しながら［Ａ１３］，ｒｅｐがｎｕｍＲｅｐｓになるまで［Ａ１４］，以下の処理［Ａ６−Ａ１２］を繰り返す。
【００６２】
代表視点カメラごとに行われる処理では，まず，広範囲距離情報の生成が行われ［Ａ６−Ａ１１］，その後，生成された広範囲距離情報の符号化が行われる［Ａ１２］。
【００６３】
広範囲距離情報の生成処理は，入力視点カメラごとに与えられた距離情報から被写体の三次元点を復元し，その三次元点を代表視点カメラに対して再投影することで，代表視点カメラに対する変換距離情報を生成するステップ［Ａ６−Ａ１０］と，得られた複数の変換距離情報を用いて１つの距離情報を生成するステップ［Ａ１１］とからなる。
【００６４】
入力視点カメラごとに代表視点カメラに対する変換距離情報を生成する処理は，入力された多視点距離情報を構成する入力視点カメラを表すインデックスをｖｉｅｗ，入力された多視点距離情報を構成する視点数をｎｕｍＶｉｅｗｓとすると，ｖｉｅｗを０に初期化した後［Ａ６］，ｖｉｅｗに１を加算しながら［Ａ９］，ｖｉｅｗがｎｕｍＶｉｅｗｓになるまで［Ａ１０］，距離情報変換部１０６内の三次元点復元部１０６１でｖｉｅｗに対応する距離情報Ｄviewから被写体上の三次元点群を復元し［Ａ７］，距離情報変換部１０６内の三次元点再投影部１０６２で復元された三次元点群を代表視点カメラｒｅｐに対して再投影することで，変換距離情報Ｄ′rep,viewを生成する［Ａ８］。生成された変換距離情報は，変換距離情報メモリ１０７に格納される。三次元点復元部１０６１および三次元点再投影部１０６２で行われる処理の詳細は後で記述する。
【００６５】
入力された全ての距離情報から代表視点カメラｒｅｐに対する変換距離情報が得られたなら，距離統計情報計算部１０８，距離集合精錬部１０９および広範囲距離情報生成部１１０において，変換距離情報を用いて１つの代表視点カメラｒｅｐに対する広範囲距離情報ＬＤrep を生成し，広範囲距離情報メモリ１１１に格納する［Ａ１１］。ここでの処理の詳細は後で記述する。
【００６６】
生成された広範囲距離情報は，その後，広範囲距離情報符号化部１１２で符号化される［Ａ１２］。ここでの符号化はどのような手法を用いても構わない。例えば，前述の通り距離情報はグレースケール画像とみなすことが可能であるため，ＪＰＥＧやＪＰＥＧ２０００といった画像符号化手法を用いて効率的に符号化することが可能であるし，時間的に複数のフレームを符号化するのであれば，ＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの動画像符号化方式を用いることで効率的に符号化することができる。また，代表視点カメラが複数存在する場合，非特許文献６や非特許文献８に記載されているような多視点画像符号化手法や多視点映像符号化手法を用いて符号化を行うことで，全体として効率的な符号化を実現することができる。
【００６７】
本実施例では，代表視点カメラごとに広範囲距離情報を生成して符号化しているが，先に全ての代表視点カメラに対する広範囲距離情報を生成してから符号化を行っても構わない。また，変換距離情報の生成も代表視点カメラごとに行っているが，まとめて先に変換を行っても構わない。
【００６８】
また，本実施例では，三次元点の復元処理が代表視点カメラごとに繰り返される。しかしながら，三次元点の復元処理は入力視点カメラのみに依存して，代表視点カメラに依存しない処理である。そのため，一度計算された三次元点を蓄積することによって，代表視点カメラが異なる場合であっても入力視点カメラが同じ場合に，蓄積されている三次元点を利用することで，三次元点の復元処理［Ａ７］を省略することが可能である。
【００６９】
図３に，処理Ａ７で行われる距離情報から被写体上の三次元点群を復元する処理の詳細フローを示す。ここでは，入力視点カメラｖｉｅｗに対する距離情報Ｄviewを用いて，被写体上の三次元点群を復元する処理を例にとって説明する。
【００７０】
ここでの処理は，距離情報の画素ごとに行われる。つまり，距離情報の画素インデックスをｐｉｘ，画素数をｎｕｍＰｉｘｓで表すと，ｐｉｘを０で初期化した後［Ｂ１］，ｐｉｘに１を加算しながら［Ｂ３］，ｐｉｘがｎｕｍＰｉｘｓになるまで［Ｂ４］，次の（式３）で表されるｐｉｘにおける距離の値を用いた入力視点カメラｖｉｅｗに対する逆投影処理が実行される［Ｂ２］。
【００７１】
【数３】
2010021843.tif 000005
【００７２】
なお，ｇpix がｐｉｘに対する復元された三次元点の座標を表し，（ｕpix ，ｖpix ）はｐｉｘに対する入力された距離情報のグレースケール画像上での位置を表す。
【００７３】
図４に，処理Ａ８で行われる三次元点群を代表視点カメラに対して再投影することで変換距離情報を生成する処理の詳細フローを示す。ここでは，入力視点カメラｖｉｅｗの距離情報から復元された三次元点集合｛ｇpix ｝を代表視点カメラｒｅｐに対して再投影することで，変換距離情報Ｄ′rep,viewを生成する処理を例にとって説明する。
【００７４】
まず，Ｄ′rep,viewの初期化が行われる［Ｃ１］。この初期化では全ての画素に対する値として，最もカメラから遠いことを示す値を代入する。そして三次元点ごとに再投影処理を実行し，得られた画素位置に代表視点ｒｅｐからその三次元点までの距離を代入していく。
【００７５】
三次元点は入力視点カメラｖｉｅｗに対する距離情報と同じ数だけ存在するため，ｐｉｘを０で初期化した後［Ｃ２］，ｐｉｘに１を加算しながら［Ｃ６］，ｐｉｘがｎｕｍＰｉｘｓになるまで［Ｃ７］，次の処理を繰り返す［Ｃ３−Ｃ５］。
【００７６】
三次元点ごとに繰り返される処理では，まず，次の（式４）に従って三次元点ｇpix の投影処理が行われる［Ｃ３］。すなわち，三次元点ｇpix を代表視点カメラｒｅｐに対して投影することで，代表視点カメラｒｅｐの投影面に投影される位置ｐｏｓと，三次元点ｇpix と代表視点カメラｒｅｐとの距離ｄとを計算する。（式４）において，（ｘpix ，ｙpix ，ｚpix ）は，ｇpix が投影される代表視点カメラｒｅｐの投影面上の画素位置の斉次座標を表し，ｚpix が代表視点カメラｒｅｐからｇpix までの距離ｄを表す。
【００７７】
【数４】
2010021843.tif 000006
【００７８】
次に，三次元座標が代表視点ｒｅｐの示すカメラに対して投影されると考えたときに，その被写体がサンプリングされる座標位置（ｘpix ／ｚpix ，ｙpix ／ｚpix ）において，既に得られていた距離と現在の処理で得られた距離とを比較する［Ｃ４］。具体的には（式５）で示す比較が行われる。
【００７９】
【数５】
2010021843.tif 000007
【００８０】
比較の結果，既に得られていた距離のほうがカメラに近い距離を表していれば，その三次元点に対する処理を終了し，次の画素に対して処理を行う。一方，比較の結果，新たに得られた距離ｄのほうがカメラに近い距離を表していれば，次の（式６）に従って量子化処理を行い，処理中の三次元点が代表視点カメラｒｅｐの示すカメラに投影される位置（ｘpix ／ｚpix ，ｙpix ／ｚpix ）の距離情報を更新する［Ｃ５］。
【００８１】
【数６】
2010021843.tif 000008
【００８２】
なお，図４の変換処理では，処理Ｃ５で量子化処理が行われ，その値を処理Ｃ４で逆量子化する可能性がある。演算量の削減のために，別途画素位置ごとに距離バッファを定義し，処理Ｃ５では，量子化を行わずに距離の値をそのまま距離バッファに蓄積し，処理Ｃ４では，逆量子化を行わずに距離バッファに蓄えられた距離の値を用いて比較しても構わない。その場合，処理Ｃ１では無限遠方を示す距離の値で初期化し，処理Ｃ７の比較が成立しなかった後で，距離バッファに蓄えられた距離の値を量子化して変換後の距離情報を生成する。
【００８３】
本実施例では，与えられた距離情報から三次元点群を復元する処理と，三次元点群を代表視点カメラに対して再投影することで変換距離情報を生成する処理とを分離して行った。どちらの処理も入力視点カメラの距離情報ごとに繰り返される処理を持つため，図５で示されるフローに従って連結して行うこともできる。
【００８４】
なお，本フローではカメラ位置が変化しないにも関わらず逆投影と再投影とを行うことで，無駄な演算がされるのを防ぐために，カメラパラメータのチェックを行っている［Ｄ２］。ただし，カメラパラメータが同一であっても量子化手法に違いが存在する場合，異なる距離情報となるため，量子化手法を考慮した距離情報の複写を行う［Ｄ４］。この処理は，具体的には次の（式７）で表される。
【００８５】
【数７】
2010021843.tif 000009
【００８６】
図５における処理Ｄ８は，図３に示す処理Ｂ２の逆投影処理に対応し，図５における処理Ｄ９，Ｄ１０，Ｄ１１は，図４に示す処理Ｃ３，Ｃ４，Ｃ５の再投影処理に対応している。
【００８７】
図６に，距離統計情報計算部１０８，距離集合精錬部１０９，広範囲距離情報生成部１１０において行われる処理Ａ１１の詳細処理フローを示す。ここでは，代表視点カメラｒｅｐに対して生成された変換距離情報群｛Ｄ′rep,view｝viewから，代表視点カメラｒｅｐに対する広範囲距離情報ＬＤrep を生成する処理を例にとって説明する。
【００８８】
ここでの処理は，広範囲距離情報の画素ごとの処理となる。つまり，広範囲距離情報の画素インデックスをｐｉｘとし，代表視点カメラｒｅｐに対する広範囲距離情報の画素数をｎｕｍＰｉｘｓとすると，ｐｉｘを０に初期化した後［Ｅ１］，ｐｉｘに１を加算しながら［Ｅ１４］，ｐｉｘがｎｕｍＰｉｘｓになるまで［Ｅ１５］，以下の処理［Ｅ２−Ｅ１３］を繰り返す。
【００８９】
画素ごとに繰り返される処理は，画素ｐｉｘの広範囲距離情報を計算するに当たって信頼度の高い変換距離情報を与える入力視点カメラ集合を求める処理［Ｅ２−Ｅ１２］と，求められた入力視点カメラ集合に含まれる入力視点カメラの距離情報を用いて得られた変換距離情報を用いて広範囲距離情報を求める処理［Ｅ１３］とからなる。
【００９０】
信頼度の高い変換距離情報を与える入力視点カメラ集合を求める処理では，まず全ての入力視点カメラからなる集合Ｖを定義する［Ｅ２］。次に，集合Ｖに含まれる入力視点カメラの距離情報から生成された画素ｐｉｘと同じ位置の変換距離情報の分散ｖａｒを計算する［Ｅ３］。その後，分散ｖａｒと閾値ｔｈ＿ｖａｒとの大小を判定する［Ｅ４］。ここで，分散ｖａｒが閾値ｔｈ＿ｖａｒよりも小さかった場合，現在の集合Ｖに含まれる入力視点カメラが与える変換距離情報は信頼度が高いと判断して，入力視点カメラ集合を求める処理を終了する。
【００９１】
一方，分散ｖａｒが閾値ｔｈ＿ｖａｒよりも大きかった場合，集合Ｖに含まれる入力視点カメラの距離情報から生成された画素ｐｉｘと同じ位置の変換距離情報の平均ａｖｅを求める［Ｅ５］。そして，平均ａｖｅを閾値として，集合Ｖを平均ａｖｅより大きな変換距離情報の値を持つカメラの集合Ｖ１と，平均ａｖｅ以下の値を持つカメラの集合Ｖ２とに分割する［Ｅ６］。
【００９２】
次に集合Ｖ１，Ｖ２に含まれるカメラの数が閾値を超えているかどうかを判定する。Ｖ１，Ｖ２のどちらを先に判定しても構わないが，本フローでは，まず集合Ｖ１に含まれるカメラの個数Ｃｏｕｎｔ（Ｖ１）が予め定められた閾値ｔｈ＿ｃｏｕｎｔよりも少ないかどうかを調べる［Ｅ７］。もし，閾値ｔｈ＿ｃｏｕｎｔよりも少ない場合，集合Ｖ１はノイズと判断してＶ２をＶとして，新しく得られたＶに含まれる入力視点カメラが信頼度の高い距離情報を与えるかを調べる［Ｅ８］。
【００９３】
集合Ｖ１に含まれるカメラの個数Ｃｏｕｎｔ（Ｖ１）が閾値ｔｈ＿ｃｏｕｎｔよりも大きければ，集合Ｖ２に含まれるカメラの個数Ｃｏｕｎｔ（Ｖ２）が予め定められた閾値ｔｈ＿ｃｏｕｎｔよりも少ないかどうかを調べる［Ｅ９］。同様にｔｈ＿ｃｏｕｎｔよりも少なかった場合，集合Ｖ２をノイズと判断してＶ１をＶとして，新しく得られたＶに含まれる入力視点カメラが信頼度の高い距離情報を与えるかを調べる［Ｅ１０］。
【００９４】
集合Ｖ１とＶ２がともに十分な個数のカメラを含んでいる場合，集合Ｖ１とＶ２それぞれに対して，その集合に含まれる入力視点カメラの距離情報から生成された画素ｐｉｘと同じ位置の変換距離情報の分散ｖａｒ１とｖａｒ２とを求める［Ｅ１１］。そしてｖａｒ１とｖａｒ２の大小を判定し［Ｅ１２］，より小さい分散を与える集合を新たなＶとして，Ｖに含まれる入力視点カメラが信頼度の高い距離情報を与えるかを調べる処理［Ｅ３−Ｅ１２］を繰り返す。
【００９５】
信頼度の高い距離情報を与える入力視点カメラ集合Ｖが得られたら，その集合Ｖに含まれる入力視点カメラの距離情報から生成された変換距離情報のみを用いて，処理中の画素ｐｉｘに対する広範囲距離情報を生成する［Ｅ１３］。ここでの処理には様々な方法を用いることができるが，例えばｐｉｘに対して与えられた変換距離情報の平均値や中央値を，その画素位置における広範囲距離情報とする方法がある。数式を用いるならば（式８）や（式９）で表される。（式９）におけるｍｅｄｉａｎ（）は，中央値を返す関数である。
【００９６】
【数８】
2010021843.tif 000010
【００９７】
また，広範囲距離情報の全ての画素位置に対して，入力された多視点距離情報を構成する距離情報が対応関係を持つとは限らない。そのような画素位置においては，変換距離情報に意味のない値が格納されていると考えられる。したがって，意味のない値を用いて広範囲距離情報を生成するのを避けるために，代表視点カメラｒｅｐの画素ｐｉｘに対して対応点を持たない入力視点カメラを初期化の時点で集合Ｖに含めないようにすることで，より正確な広範囲距離情報を生成することが可能である。
【００９８】
なお，ここでの説明では全ての入力視点カメラｖｉｅｗからの変換距離情報を同等に扱ったが，変換前と変換後のカメラ位置や向きが近いほど，より正確な距離情報を持っていると考えることができるため，距離情報を求める際に変換前と変換後のカメラ位置や向きの類似度に基づいて重み付け平均値を用いることで，より精度を高めることも可能である。
【００９９】
さらに，ここでの説明では，処理対象の画素ｐｉｘと同じ位置の変換距離情報に対して分散や平均を算出したが，画素ｐｉｘを中心とする領域内の画素に対して分散や平均を算出して用いても構わない。一般に同一被写体は実空間上で連続しているため，隣接領域で大きく距離情報が変化することが少ないと考えられる。そのため，このようにすることで，ノイズによって誤った変換距離情報が得られている場合に，そのノイズの影響を少なくすることができる。ただし，大きすぎる領域を設定すると，複数の被写体が領域内に含まれることがあり，広範囲距離情報の生成精度が低下してしまうため，適切な領域を設定する必要がある。
【０１００】
図７は，入力された多視点カメラ情報および多視点距離情報に応じて代表視点カメラ群ＲＥＰを決定する手法の一例を示した処理フローである。この処理は，図２に示す処理Ａ３において，代表視点カメラ群を自動的に選択する場合に行う処理である。
【０１０１】
まず，ＲＥＰの初期化が行われる［Ｆ１］。具体的には，入力された多視点カメラ群の中で，端に位置するカメラと同じ位置で撮影シーン全体を包含する視野角を持ったカメラを初期集合とする。多視点カメラの配置が１次元であれば，両端に位置するカメラと同じ位置のものを含め，２次元であれば対角線上に存在する両端のカメラと同じ位置のものを含める。
【０１０２】
次に，定められたＲＥＰに対して実際に広範囲距離情報を生成し［Ｆ２］，その広範囲距離情報群から多視点距離情報を復元し［Ｆ３］，その復元率を調べる［Ｆ４］。なお，復元率は入力視点ごとに計算され，入力距離情報に対する復元された距離情報が得られた領域の比率で現すことができる。
【０１０３】
広範囲距離情報を生成する処理は，上述の実施例の処理［Ａ５〜Ａ１４］の処理と同じである。なお，処理Ａ１２の符号化処理は必ずしも行う必要はない。広範囲距離情報群から多視点距離情報を復元する処理は，後に述べる図１０に示す実施例の情報［Ｇ５〜Ｇ１３］と同じである。
【０１０４】
そして，計算された復元率が全ての視点において予め定められた閾値を超えているかどうかをチェックする［Ｆ５］。もし閾値を超えていれば，そのときのＲＥＰを代表視点カメラ集合とし，そうでなければ，最も復元率が低かった視点と同じ位置で撮影シーン全体を包含する視野角を持ったカメラをＲＥＰに追加して，処理［Ｆ２〜Ｆ５］を同様に繰り返す。
【０１０５】
次に，本発明の他の実施の形態に係る多視点距離情報符号化装置について説明する。図８に，本実施の形態の多視点距離情報符号化装置の構成例を示す。
【０１０６】
本実施の形態における多視点距離情報符号化装置１００′と，前述した図１に示す多視点距離情報符号化装置１００との違いは，図１に示す距離統計情報計算部１０８と距離集合精錬部１０９が，候補削減部１１４に置き替わっていることである。
【０１０７】
候補削減部１１４は，代表視点カメラおよびそのカメラの投影面上の位置ごとに，三次元点再投影部１０６２によって同じ位置が得られた１つまたは複数の被写体上の点に対して，三次元点再投影部１０６２によって得られた距離の値の集合に対して，各距離の値がその位置において発生する割合を計算し，予め定められた比率以下でしか現れない距離の値を持つ被写体上の点を削除する。このように，投影面上の同じ領域に対して投影される三次元点の持つ距離に対して発生確率を計算し，発生確率の低い距離を持つ三次元点を除外することによっても，高品質な広範囲距離情報の生成を実現することができる。
【０１０８】
なお，ここで各距離の値が発生する割合を計算するときには，例えば１０００から１０１０までの距離の値を一つの距離の値とみなすというように，距離の値に幅を持たせて，その距離幅に入る値の発生する割合を計算するようにしてもよい。
【０１０９】
また，前述した実施の形態と同様に，処理対象の画素ｐｉｘと同じ位置の変換距離情報に対して分散や平均を算出したが，画素ｐｉｘを中心とする領域内の画素に対して分散や平均を算出して用いても構わない。一般に同一被写体は実空間上で連続しているため，隣接領域で大きく距離情報が変化することが少ないと考えられる。そのため，このようにすることで，ノイズによって誤った変換距離情報が得られている場合に，そのノイズの影響を少なくすることができる。ただし，大きすぎる領域を設定すると，複数の被写体が領域内に含まれることがあり，広範囲距離情報の生成精度が低下してしまうため，適切な領域を設定する必要がある。
【０１１０】
〔多視点距離情報復号装置〕
次に，本発明の実施の形態に係る多視点距離情報復号装置について説明する。図９に，多視点距離情報復号装置の構成例を示す。
【０１１１】
図９に示すように，多視点距離情報復号装置２００は，復号対象の多視点距離情報を復号するのに必要となる広範囲距離情報の符号化データを入力する広範囲距離情報符号化データ入力部２０１と，入力された広範囲距離情報符号化データを復号する広範囲距離情報復号部２０２と，復号された広範囲距離情報群を蓄積する広範囲距離情報メモリ２０３と，広範囲距離情報が基準としている代表視点カメラのカメラ情報の符号化データを入力する代表視点情報符号化データ入力部２０４と，代表視点情報の符号化データを復号する代表視点情報復号部２０５と，代表視点情報を用いて広範囲距離情報から多視点距離情報を生成する多視点距離情報生成部２０６とを備える。
【０１１２】
多視点距離情報生成部２０６は，広範囲距離情報メモリ２０３に蓄積された広範囲距離情報群によって表される各カメラを基準とした距離情報から，各画素に撮影された被写体上の三次元座標を計算する三次元点復元部２０６１と，復号対象の多視点距離情報を構成する距離情報が基準としている復号対象視点カメラごとに，三次元点復元部２０６１によって得られた三次元座標値を持つ被写体上の各点に対して，その点が復号対象視点カメラによって撮影される際の投影面上での位置と，その復号対象視点カメラから被写体上の点までの距離を計算し，その位置と距離とを対応付けて蓄積する三次元点再投影部２０６２と，復号対象視点カメラおよびその復号対象視点カメラの投影面上の位置ごとに，三次元点再投影部２０６２によって同じ位置が得られた１つまたは複数の被写体上の点に対して，三次元点再投影部２０６２によって得られた距離の値の平均値および分散を求める距離統計情報計算部２０６３と，復号対象視点カメラおよびその復号対象視点カメラの投影面上の位置ごとに，距離統計情報計算部２０６３で求められた分散の値が予め定められた値以上の場合，距離統計情報計算部２０６３で求められた平均値によって被写体上の点を２つの集合に分け，それぞれの集合において改めて距離の値の分散を求め，大きな分散値を持つ集合に属する被写体上の点を削除する距離集合精錬部２０６４と，復号対象視点カメラの投影面上の位置ごとに，距離集合精錬部２０６４によって残された被写体上の点が持つ距離の値を用いて，その位置におけるその復号対象視点カメラを基準とした距離情報を生成する距離情報生成部２０６５とを備える。
【０１１３】
図１０に，このようにして構成される多視点距離情報復号装置２００の実行する処理フローを示す。この処理フローに従って，本実施例の多視点距離情報復号装置２００の実行する処理について詳細に説明する。
【０１１４】
まず，代表視点情報符号化データ入力部２０４より，符号化データに含まれる広範囲距離情報群が基準としている代表視点カメラ群を表す情報の符号化データが入力され［Ｇ１］，代表視点情報復号部２０５において，代表視点カメラ群ＤｅｃＲＥＰを復号する［Ｇ２］。
【０１１５】
なお，予め定められた代表視点カメラ群を用いる場合には，代表視点情報符号化データ入力部２０４と代表視点情報復号部２０５を備える必要はなく，処理Ｇ１およびＧ２を削除することができる。その場合，以下の説明では，ＤｅｃＲＥＰには予め定められた代表視点カメラ群の情報が格納されているとする。
【０１１６】
また，時間的に連続な多視点距離情報を復号するような場合，毎回代表視点の変更が行われるとは限らない。そのような場合，新しい代表視点情報符号化データが送られてきたときのみ，処理Ｇ１およびＧ２を実行し，送られてこなかった場合には，直前に用いたＤｅｃＲＥＰをそのまま用いる。
【０１１７】
ここでのカメラを示す情報とは，カメラの内部パラメータ行列Ａr ，回転行列Ｒr ，並進ベクトルｔr だけでなく，解像度や距離を画素値に対応付けるのに必要な情報も含まれる。以下では，距離ｄを画素値に対応付ける関数をＳr （ｄ）と表す。なお，ｒは広範囲距離情報を識別するためのインデックスであり，０からｎｕｍＤＲｅｐｓ−１までの値である。ｎｕｍＤＲｅｐｓはＤｅｃＲＥＰの要素数を表す。
【０１１８】
次に，広範囲距離情報符号化データ入力部２０１より，ＤｅｃＲＥＰの各代表視点カメラを基準とした広範囲距離情報の符号化データが入力され［Ｇ３］，広範囲距離情報復号部２０２において広範囲距離情報群｛ＤｅｃＬＤr ｝を復号し，広範囲距離情報メモリ２０３に格納する［Ｇ４］。
【０１１９】
ここでの復号方法は入力された符号化データを生成する際に用いられた符号化手法に対する復号手法であれば，どのような手法を用いても構わない。例えば，ＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの動画像符号化の国際標準方式に準拠した方式で符号化されている場合，ＭＰＥＧ−２やＨ．２６４／ＡＶＣに準拠した復号方式を用いることとなる。
【０１２０】
広範囲距離情報の復号が終了したなら，多視点距離情報生成部２０６にて，復号対象の多視点距離情報を構成する視点カメラごとに距離情報を生成して出力する。つまり，復号対象視点インデックスをｖ，復号対象視点数をｎｕｍＤＶｉｅｗｓとすると，ｖを０に初期化した後［Ｇ５］，ｖに１を加算しながら［Ｇ１２］，ｖがｎｕｍＤＶｉｅｗｓになるまで［Ｇ１３］，以下の処理［Ｇ６−Ｇ１１］を繰り返す。
【０１２１】
１つの復号対象視点の距離情報を生成する処理は，代表視点カメラごとに与えられた広範囲距離情報から被写体の三次元点を復元し，その三次元点を復号対象視点カメラに対して再投影することで，復号対象視点カメラに対する変換距離情報を生成するステップ［Ｇ６−Ｇ１０］と，得られた複数の変換距離情報を用いて１つの距離情報を生成するステップ［Ｇ１１］とからなる。
【０１２２】
代表視点カメラごとに入力視点カメラに対する変換距離情報を生成する処理は，代表視点カメラインデックスｒを０に初期化した後［Ｇ６］，ｒに１を加算しながら［Ｇ９］，ｒがｎｕｍＤＲｅｐｓになるまで［Ｇ１０］，多視点距離情報生成部２０６内の三次元点復元部２０６１で代表視点カメラｒｅｐに対する広範囲距離情報ＤｅｃＬＤr から被写体上の三次元点群を復元し［Ｇ７］，多視点距離情報生成部２０６内の三次元点再投影部２０６２で，復元された三次元点群を復号対象視点カメラｖに対して再投影することで変換距離情報ＤｅｃＤ′v,r を生成する［Ｇ８］。ここで行われる処理は，前述の図３および図４を用いて説明を行った処理と同じである。ただし，Ｄ′をＤｅｃＤ′に，入力視点カメラｖｉｅｗを代表視点カメラｒに，代表視点カメラｒｅｐを復号対象視点カメラｖに，それぞれ読み替える必要がある。
【０１２３】
また，距離統計情報計算部２０６３および距離集合精錬部２０６４が行う処理は，図１に示す多視点距離情報符号化装置１００の距離統計情報計算部１０８および距離集合精錬部１０９が行う処理と同様であり，図６に示す処理［Ｅ３−Ｅ１２］と同様な処理を行うことになる。
【０１２４】
得られた複数の変換距離情報群｛ＤｅｃＤ′v,r ｝r を用いて復号対象視点カメラｖに対する復号距離情報ＤｅｃＤv を生成する処理［Ｇ１１］は，図２で説明した処理［Ａ１１］と同じである。ただし図１０においては，代表視点カメラを復号対象視点カメラに，入力視点カメラを代表視点カメラにそれぞれ読み替える必要がある。
【０１２５】
次に，本発明の他の実施の形態に係る多視点距離情報復号装置について説明する。図１１に，本実施の形態の多視点距離情報復号装置の構成例を示す。
【０１２６】
本実施の形態における多視点距離情報復号装置２００′と，前述した図９に示す多視点距離情報復号装置２００との違いは，図９に示す距離統計情報計算部２０６３と距離集合精錬部２０６４が，候補削減部２０６６に置き替わっていることである。
【０１２７】
候補削減部２０６６は，距離情報生成部２０６５によって復号対象視点カメラを基準とした距離情報を生成する前に，復号対象視点カメラおよびその復号対象視点カメラの投影面上の位置ごとに，三次元点再投影部２０６２によって同じ位置が得られた１つまたは複数の被写体上の点に対して，三次元点再投影部２０６２によって得られた距離の値の集合に対して，各距離の値がその位置において発生する割合を計算し，予め定められた比率以下でしか現れない距離の値を持つ被写体上の点を削除する処理を行う。これによって，信頼度の低い距離を持つ被写体の点を除外した距離を用いて距離情報を復元することが可能になる。
【０１２８】
以上説明した処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
【０１２９】
また，以上の実施の形態では，多視点距離情報符号化装置および多視点距離情報復号装置を中心に説明したが，これらの装置の各部の動作に対応したステップによって，本発明に係る多視点距離情報符号化方法および多視点距離情報復号方法を実現することができる。
【０１３０】
以上の実施の形態による作用・効果について説明する。
【０１３１】
（１）多視点距離情報の符号量削減
多視点距離情報の符号量が削減される理由は，同じ被写体上の点を示す距離情報を符号化する回数が削減されるからである。これは，例えば図２の処理Ａ３，Ａ８，Ａ１１の作用による。図２の処理Ａ３によって代表視点群，すなわち代表視点カメラの集合を決定する際に，入力視点数よりも少ない数の代表視点カメラを設定する。これにより，同じ位置を示す情報は最大でも代表視点カメラの個数だけの符号化で済むことになる。
【０１３２】
また，図２の処理Ａ８によって，入力された多視点距離情報から復元した被写体の三次元点群（図２の処理Ａ７で生成される）を代表視点カメラの投影面に対して投影し，同じ被写体上の点は同じ位置の距離情報としてサンプリングされる。図２の処理Ａ１１においては，同じ位置でサンプリングされた複数の距離情報から１つの距離情報を生成する。これらの作用によって，多視点距離情報の符号量が削減されることになる。
【０１３３】
（２）並列演算可能性向上
各処理がカメラに独立した幾何変換処理またはフィルタ処理で構成可能であることから，並列演算可能性が向上する。これは，例えば図２の処理Ａ８，Ａ１１の作用による。図２の処理Ａ８の作用として，同じ被写体上の点を同定する処理が各入力視点カメラで並列演算できることが挙げられる。ここでの処理は幾何変換処理である。また，図２の処理Ａ１１の作用として，ある被写体に対して１つの距離情報を決定する処理が各代表視点カメラで並列演算できることが挙げられる。ここでの処理はフィルタ演算で実現できる。
【０１３４】
一方，図１２に示したような従来手法における処理Ｘ６は，並列化不可能である。
【０１３５】
（３）符号化効率向上と並列演算可能性向上の両立
この本実施の形態による効果について，２つの従来手法（三次元モデルを使用する場合と使用しない場合）と比較して説明する。
〔三次元モデルを使用する場合の従来手法〕
この場合には，同じ被写体上の点を示す距離情報を複数符号化しなくてよい。したがって，符号量の削減は可能である。しかし，入力された多視点距離情報をグローバルに扱うため，並列処理は不可能である。
〔三次元モデルを使用しない場合の従来手法〕
この場合には，入力された多視点距離情報を視点ごとに扱うため，並列処理が可能である。しかし，同じ被写体上の点を示す距離情報を複数回符号化する。したがって，符号量削減は不可能である。
〔本発明の実施の形態の場合〕
本発明の実施の形態では，同じ被写体上の点を示す距離情報を複数符号化しなくてよい。したがって，符号量の削減が可能である。さらに，広範囲距離情報はローカルに距離情報を取り扱って生成される。したがって，並列処理が可能になっている。
【０１３６】
（４）エラーやノイズを含む多視点距離情報に対して高品質な距離情報符号化を実現
本発明の実施の形態によれば，エラーやノイズの多い部分を判定し，より信頼度の高い広範囲距離情報を生成することができる。ステレオなどで求められた距離情報は被写体境界において精度が低いため，本発明が有効となる。これは，例えば図６に示す処理Ｅ３〜Ｅ１２の作用による。
【０１３７】
図２の処理Ａ８によって三次元点を再投影した際に，エラーやノイズの多い部分では同じ位置に得られた距離情報の分散が高くなるという性質を持つ。このことから図６の処理Ｅ４では，入力多視点距離情報で精度が低い部分を判定する。そして，処理Ｅ５および処理Ｅ１２において，徐々に候補集合を狭めることで広範囲距離情報の生成精度を向上させる。
【０１３８】
以上，図面を参照して本発明の実施の形態を説明してきたが，上記実施の形態は本発明の例示に過ぎず，本発明が上記実施の形態に限定されるものでないことは明らかである。したがって，本発明の精神および範囲を逸脱しない範囲で構成要素の追加，省略，置換，その他の変更を行っても良い。
【図面の簡単な説明】
【０１３９】
【図１】本発明に係る多視点距離情報符号化装置の構成例を示す図である。
【図２】多視点距離情報符号化処理フローチャートである。
【図３】距離情報から被写体上の三次元点を復元する処理の詳細フローチャートである。
【図４】復元された被写体上の三次元点を再投影することによって定められたカメラにおける距離情報を生成する処理の詳細フローチャートである。
【図５】距離情報の変換処理（被写体上の三次元点復元・復元された三次元点の再投影）の詳細フローチャートである。
【図６】距離統計情報計算，距離集合精錬，広範囲距離情報処理の詳細フローチャートである。
【図７】代表視点集合ＲＥＰを決定する手法の一例を示した処理フローチャートである。
【図８】本発明に係る多視点距離情報符号化装置の他の構成例を示す図である。
【図９】本発明に係る多視点距離情報復号装置の構成例を示す図である。
【図１０】多視点距離情報復号処理フローチャートである。
【図１１】本発明に係る多視点距離情報復号装置の他の構成例を示す図である。
【図１２】三次元モデルを生成する従来手法を示すフローチャートである。
【符号の説明】
【０１４０】
１００，１００′  多視点距離情報符号化装置
１０１  距離情報入力部
１０２  距離情報メモリ
１０３  カメラ情報入力部
１０４  カメラ情報メモリ
１０５  代表視点設定部
１０６  距離情報変換部
１０６１  三次元点復元部
１０６２  三次元点再投影部
１０７  変換距離情報メモリ
１０８  距離統計情報計算部
１０９  距離集合精錬部
１１０  広範囲距離情報生成部
１１１  広範囲距離情報メモリ
１１２  広範囲距離情報符号化部
１１３  代表視点情報符号化部
１１４  候補削減部
２００，２００′  多視点距離情報復号装置
２０１  広範囲距離情報符号化データ入力部
２０２  広範囲距離情報復号部
２０３  広範囲距離情報メモリ
２０４  代表視点情報符号化データ入力部
２０５  代表視点情報復号部
２０６  多視点距離情報生成部
２０６１  三次元点復元部
２０６２  三次元点再投影部
２０６３  距離統計情報計算部
２０６４  距離集合精錬部
２０６５  距離情報生成部
２０６６  候補削減部
【図１】
2010021843.tif 000011
【図２】
2010021843.tif 000012
【図３】
2010021843.tif 000013
【図４】
2010021843.tif 000014
【図５】
2010021843.tif 000015
【図６】
2010021843.tif 000016
【図７】
2010021843.tif 000017
【図８】
2010021843.tif 000018
【図９】
2010021843.tif 000019
【図１０】
2010021843.tif 000020
【図１１】
2010021843.tif 000021
【図１２】
2010021843.tif 000022