(57)【要約】【課題】デプスマップの正しいデプス値を不正確なデプス値に変更せず、クラスタ状の画素のデプス値の修正、物体表面近傍の画素の不正確なデプス値を修正するデプスマップフィルタ処理装置を提供する。【解決手段】本発明は、異なるデプスマップの各々の対応する画素の画素情報を比較し、画素間における整合性の有無を判定する整合性判定部と、整合性がないと判定された画素に対してペナルティスコアを与えるペナルティスコア積算部と、デプスマップの各々の全ての組合わせにおける画素間の画素情報の整合性の判定終了後、ペナルティスコアの積算値が所定の第１閾値を超えているか否かの判定を行い、画素の各々のペナルティスコアが示されるペナルティスコアマップを生成する積算値判定部と、ペナルティスコアマップにおける第１閾値を超えている積算値の画素のデプス値を修正するデプス値修正部とを備える。【選択図】図１
2019091122.tif 000002
【特許請求の範囲】
【請求項１】
異なるデプスマップの各々の対応する画素の画素情報を比較し、前記画素間における整合性の有無を判定する整合性判定部と、
整合性がないと判定された画素に対してペナルティスコアを与えるペナルティスコア積算部と、
前記デプスマップの各々の全ての組合わせにおける画素間の前記画素情報の整合性の判定終了後、前記ペナルティスコアの積算値が所定の第１閾値を超えているか否かの判定を行い、前記画素の各々のペナルティスコアが示されるペナルティスコアマップを生成する積算値判定部と、
前記ペナルティスコアマップにおける前記第１閾値を超えている積算値の前記画素のデプス値を修正するデプス値修正部と
を備えることを特徴とするデプスマップフィルタ処理装置。
【請求項２】
前記積算値判定部が、前記積算値が前記第１閾値を超えている場合、前記デプス値の修正後のデプスマップによる画素間の整合性の判定を前記整合性判定部に対して行わせて、デプスマップの修正処理を継続させる
ことを特徴とする請求項１に記載のデプスマップフィルタ処理装置。
【請求項３】
比較する組における一のデプスマップの対象画素のデプス値及び当該一のデプスマップのカメラパラメータから三次元点を生成し、他のデプスマップに前記三次元点を投影し、当該他のデプスマップの対応する参照画素の前記画素情報である参照画素情報を抽出する参照画素抽出部とを
さらに備え、
前記整合性判定部が、
前記参照画素情報と前記対象画素の前記画素情報である対象画素情報とを比較し、前記参照画素情報と前記対象画素情報とが所定の第２閾値未満であるか否かにより、前記整合性の判定を行う
ことを特徴とする請求項１または請求項２に記載のデプスマップフィルタ処理装置。
【請求項４】
前記画素情報が前記画素のデプス値である
ことを特徴とする請求項１から請求項３のいずれか一項に記載のデプスマップフィルタ処理装置。
【請求項５】
前記画素情報が前記画素の画素値である
ことを特徴とする請求項１から請求項３のいずれか一項に記載のデプスマップフィルタ処理装置。
【請求項６】
前記画素情報が前記画素のデプス値及び画素値の各々である
ことを特徴とする請求項１から請求項３のいずれか一項に記載のデプスマップフィルタ処理装置。
【請求項７】
前記デプス値修正部が、
前記ペナルティスコアマップを参照し、前記第１閾値を超えている積算値の前記画素における、当該積算値の最大値を有する画素を最大値画素として抽出し、当該最大値画素のデプス値を修正する
ことを特徴とする請求項３から請求項６のいずれか一項に記載のデプスマップフィルタ処理装置。
【請求項８】
前記デプス値修正部が、
前記画素のデプス値を修正する際、前記デプスマップから三次元形状モデルの三次元点を生成する際に、当該三次元点の生成の計算において無視される不正値に、前記画素のデプス値を変更する
ことを特徴とする請求項１から請求項７のいずれか一項に記載のデプスマップフィルタ処理装置。
【請求項９】
整合性判定部が、異なるデプスマップの各々の対応する画素の画素情報を比較し、前記画素間における整合性の有無を判定する整合性比較過程と、
ペナルティスコア積算部が、整合性がないと判定された画素に対して所定のペナルティスコアを積算するペナルティスコア積算過程と、
積算値判定部が、前記デプスマップの各々の全ての組合わせにおける画素間の前記画素情報の整合性の判定終了後、前記ペナルティスコアの積算値が所定の第１閾値を超えているか否かの判定を行い、前記画素の各々のペナルティスコアが示されるペナルティスコアマップを生成する積算値判定過程と、
デプス値修正部が、前記ペナルティスコアマップにおける前記第１閾値を超えている積算値の前記画素のデプス値を修正するデプス値修正過程と
を含むことを特徴とするデプスマップフィルタ処理方法。
【請求項１０】
コンピュータを、
異なるデプスマップの各々の対応する画素の画素情報を比較し、前記画素間における整合性の有無を判定する整合性比較手段、
整合性がないと判定された画素に対してペナルティスコアを与えるペナルティスコア積算手段、
前記デプスマップの各々の全ての組合わせにおける画素間の前記画素情報の整合性の判定終了後、前記ペナルティスコアの積算値が所定の第１閾値を超えているか否かの判定を行い、前記画素の各々のペナルティスコアが示されるペナルティスコアマップを生成する積算値判定手段、
前記ペナルティスコアマップにおける前記第１閾値を超えている積算値の前記画素のデプス値を修正するデプス値修正手段
として動作させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物が異なる視点から撮像された複数の撮像画像のデプスマップに対し、このデプスマップにおける不正確なデプス値（実際と異なるデプス値）を修正するデプスマップフィルタ処理装置、デプスマップフィルタ処理方法及びプログラムに関する。
【背景技術】
【０００２】
対象物を撮像した複数の撮像画像を用いて、対象物の三次元形状モデルを生成する三次元復元手法がある。この三次元復元手法においては、対象物を任意の視点（撮像画像の撮像位置）から観測した際の対象物までの距離情報（デプス値）を２次元画像として記録したデプスマップが用いられる。
【０００３】
例えば、上記三次元復元手法の一つとして、対象物を異なる視点から撮像した複数の二次元撮像画像（以下、「多視点画像」と示す）に基づいて、その対象物の三次元形状モデルを生成する多視点三次元復元手法がある（例えば、特許文献１参照）。
この多視点三次元復元手法においては、多視点画像間のステレオマッチングを行うことにより、各視点におけるデプスマップを生成し、全ての視点におけるデプスマップを統合することにより、対象物の三次元形状モデルを復元する。
【０００４】
また、ステレオマッチング以外のデプスマップの取得方法としては、デプスカメラ及びＲＧＢ（red green blue）−Ｄ（depth）カメラなどにより、直接的にデプスマップを２次元画像として得る。
このＲＧＢ−Ｄカメラは、カラー画像とデプスマップとの組合わせを撮像する特殊なカメラである。また、代表的なデプスカメラとしては、Time of Flight距離画像センサや、アクティブステレオセンサが挙げられる。Time of Flight距離画像センサ及びアクティブステレオセンサの各々は、対象物に対してレーザ光、パターン光（あるいはスリット光）それぞれを照射し、その反射光の様子を観察することにより、対象物に対応したデプスマップを生成する。
【０００５】
このようなデプスカメラやＲＧＢ−Ｄカメラを用いて、複数の視点からの対象物までの距離を測定し、対象物に対応するデプスマップを取得する。
そして、複数の視点において取得した、対象物に対応するデプスマップを統合することにより、対象物の三次元形状を生成することもできる。
【０００６】
上述したように、三次元復元手法においては、三次元形状モデルを生成する際、三次元形状モデルの復元における中間データあるいは取得データとしてデプスマップを用いることがある。このため、デプスマップにおけるデプス値の精度及びデプスマップ全体の品質の各々が、復元する三次元形状モデルの精度、品質に対して影響を与える重要な要素である。
高精度及び高品質な三次元形状モデルを復元するため、デプスマップを高精度かつ高品質に生成あるいは取得する必要がある。
【０００７】
一方、高精度及び高品質にデプスマップを取得したとしても、取得したデプスマップには、不正確なデプス値が含まれる場合がある。例えば、上述した多視点三次元復元手法にでは、繰り返しパターン領域やテクスチャレス領域における多視点画像間のステレオマッチングに失敗すると、その領域における画素のデプス値に大きな誤差を生じ、実際と異なるデプス値を得ることになる。
【０００８】
また、デプスマップにおいて、撮像画像における対象物体の物体境界を示す輪郭部分は、正確なデプス値を求めることが困難である。このため、得られるデプスマップにおいて、対象物体の物体境界領域におけるデプス値が不正確な数値となり、デプス値の誤差が大きくなり易い。
【０００９】
一方、デプスカメラやＲＧＢ−Ｄカメラを用いた場合、対象物が照射した光の全反射・乱反射などにより、また日光などの照度が高いことなどの周囲の環境からの外乱により、視点から対象物までの距離を正確に測定できない。このため、対象物に対するデプス値に誤差が発生してしまう。
【００１０】
上述したように、様々な要因により、デプスマップにおけるデプス値に誤差が生じる場合があり、デプスマップの品質が低下する。
このように、複数の撮像画像によるステレオマッチングや、デプスカメラやＲＧＢ−Ｄカメラを用いた場合、不正確なデプス値を含まない高品質なデプスマップを得ることは困難である。
したがって、三次元復元手法においては、三次元形状モデルの生成にデプスマップを用いる際、各種方法により得られたデプスマップに対し、不正確なデプス値を修正するフィルタ処理を施すことが必要である。
【００１１】
デプスマップの不正確なデプス値を修正するためのフィルタ処理の一つとして、二次元カラー画像におけるノイズ除去を行うためのノイズ除去フィルタ、例えばバイラテラルフィルタやメディアンフィルタが用いられる。
また、デプスマップに対する他のフィルタ処理としては、デプスマップにおける画素の各々を三次元空間に投影した際の孤立点除去が挙げられる。この孤立点除去は、多視点のデプスマップを用いて対象物に対応する三次元点群を生成する。そして、この生成した三次元点群における三次元点の各々を中心とした一定範囲内に存在する他の三次元点の数が所定の閾値未満である場合、デプスマップにおけるその三次元点に対応する画素のデプス値を修正し、デプスマップの品質を向上する。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２０１７−０２７１０１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
上述したように、二次元カラー画像のノイズ除去フィルタを適用する際、デプスマップに突発的に発生する、例えばいずれかの画素のデプス値にノイズが重畳した場合、この画素単位でのデプス値を修正することはできる。
しかしながら、デプスマップにおいて、クラスタ（複数の隣接する画素を含む領域）単位の複数の画素のデプス値にノイズが重畳した場合、これらの不正確なデプス値を修正することはできない。
【００１４】
一方、上記ノイズ除去フィルタを用いた際、周囲の画素のデプス値と比較されて修正が行われるため、正しいデプス値の画素であっても、デプスマップにおいて周囲の画素のデプス値と大きく異なる場合、この正しいデプス値が不正確なデプス値に変更されてしまう。また、上記ノイズ除去フィルタがデプスマップにおける全ての画素のデプス値を修正するため、各画素のデプス値を平滑化する傾向があり、デプスマップの品質を逆に低下させてしまう場合がある。
【００１５】
また、三次元点群を生成して孤立する三次元点を除去する際、孤立した三次元点を修正することはできるが、三次元空間においてクラスタ状の三次元点にノイズが重畳した場合、孤立点群とは見なされないため、ノイズが重畳したクラスタ状の画素のデプス値を修正することは困難である。
このため、閾値としての画素数を多く設定することで、ある程度の画素数のクラスタ状の画素に発生したデプス値に対応させることは可能である。一方、閾値の画素数を多くすることにより、正確な画素のデプス値を不正確なデプス値に変更する可能性も高くなる。
【００１６】
また、三次元空間における孤立点の除去においては、対象物体の表面からの距離が大きい画素のデプス値を修正することには対処可能である。しかしながら、対象物体の表面からの距離の小さい画素（表面近傍の画素）のデプス値の修正には対処できない。
【００１７】
本発明は、このような状況に鑑みてなされたもので、デプスマップにおける正しいデプス値を不正確なデプス値に変更することなく、かつクラスタ状の画素のデプス値の修正、物体表面近傍の画素の不正確なデプス値を修正することが可能なデプスマップフィルタ処理装置、デプスマップフィルタ処理方法及びプログラムを提供する。
【課題を解決するための手段】
【００１８】
上述した課題を解決するために、本発明のデプスマップフィルタ処理装置は、異なるデプスマップの各々の対応する画素の画素情報を比較し、前記画素間における整合性の有無を判定する整合性判定部と、整合性がないと判定された画素に対してペナルティスコアを与えるペナルティスコア積算部と、前記デプスマップの各々の全ての組合わせにおける画素間の前記画素情報の整合性の判定終了後、前記ペナルティスコアの積算値が所定の第１閾値を超えているか否かの判定を行い、前記画素の各々のペナルティスコアが示されるペナルティスコアマップを生成する積算値判定部と、前記ペナルティスコアマップにおける前記第１閾値を超えている積算値の前記画素のデプス値を修正するデプス値修正部とを備えることを特徴とする。
【００１９】
本発明のデプスマップフィルタ処理装置は、前記積算値判定部が、前記積算値が前記第１閾値を超えている場合、前記デプス値の修正後のデプスマップによる画素間の整合性の判定を前記整合性判定部に対して行わせて、デプスマップの修正処理を継続させることを特徴とする。
【００２０】
本発明のデプスマップフィルタ処理装置は、比較する組における一のデプスマップの対象画素のデプス値及び当該一のデプスマップのカメラパラメータから三次元点を生成し、他のデプスマップに前記三次元点を投影し、当該他のデプスマップの対応する参照画素の前記画素情報である参照画素情報を抽出する参照画素抽出部とをさらに備え、前記整合性判定部が、前記参照画素情報と前記対象画素の前記画素情報である対象画素情報とを比較し、前記参照画素情報と前記対象画素情報とが所定の第２閾値未満であるか否かにより、前記整合性の判定を行うことを特徴とする。
【００２１】
本発明のデプスマップフィルタ処理装置は、前記画素情報が前記画素のデプス値であることを特徴とする。
【００２２】
本発明のデプスマップフィルタ処理装置は、前記画素情報が前記画素の画素値であることを特徴とする。
【００２３】
本発明のデプスマップフィルタ処理装置は、前記画素情報が前記画素のデプス値及び画素値の各々であることを特徴とする。
【００２４】
本発明のデプスマップフィルタ処理装置は、前記デプス値修正部が、前記ペナルティスコアマップを参照し、前記第１閾値を超えている積算値の前記画素における、当該積算値の最大値を有する画素を最大値画素として抽出し、当該最大値画素のデプス値を修正することを特徴とする。
【００２５】
本発明のデプスマップフィルタ処理装置は、前記デプス値修正部が、前記画素のデプス値を修正する際、前記デプスマップから三次元形状モデルの三次元点を生成する際に、当該三次元点の生成の計算において無視される不正値に、前記画素のデプス値を変更することを特徴とする。
【００２６】
本発明のデプスマップフィルタ処理方法は、整合性判定部が、異なるデプスマップの各々の対応する画素の画素情報を比較し、前記画素間における整合性の有無を判定する整合性比較過程と、ペナルティスコア積算部が、整合性がないと判定された画素に対して所定のペナルティスコアを積算するペナルティスコア積算過程と、積算値判定部が、前記デプスマップの各々の全ての組合わせにおける画素間の前記画素情報の整合性の判定終了後、前記ペナルティスコアの積算値が所定の第１閾値を超えているか否かの判定を行い、前記画素の各々のペナルティスコアが示されるペナルティスコアマップを生成する積算値判定過程と、デプス値修正部が、前記ペナルティスコアマップにおける前記第１閾値を超えている積算値の前記画素のデプス値を修正するデプス値修正過程とを含むことを特徴とする。
【００２７】
本発明のプログラムは、コンピュータを、異なるデプスマップの各々の対応する画素の画素情報を比較し、前記画素間における整合性の有無を判定する整合性比較手段、整合性がないと判定された画素に対してペナルティスコアを与えるペナルティスコア積算手段、前記デプスマップの各々の全ての組合わせにおける画素間の前記画素情報の整合性の判定終了後、前記ペナルティスコアの積算値が所定の第１閾値を超えているか否かの判定を行い、前記画素の各々のペナルティスコアが示されるペナルティスコアマップを生成する積算値判定手段、前記ペナルティスコアマップにおける前記第１閾値を超えている積算値の前記画素のデプス値を修正するデプス値修正手段として動作させるためのプログラムである。
【発明の効果】
【００２８】
以上説明したように、本発明によれば、デプスマップにおける正しいデプス値を不正確なデプス値に変更することなく、かつクラスタ状の画素のデプス値の修正、物体表面近傍の画素の不正確なデプス値を修正することが可能なデプスマップフィルタ処理装置、デプスマップフィルタ処理方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の一実施形態によるデプスマップフィルタ処理装置の構成例を示すブロック図である。
【図２】デプスマップ記憶部１０７におけるデプスマップテーブルの構成例を示す図である。
【図３】三次元点Ｍとデプス値Ｄｋ（ｘｐ）から生成した三次元点との各々の可視性の阻害を説明する概念図である。
【図４】対象画素ｘｊのデプス値ＺＭと参照画素ｘｐのデプス値Ｄｋ（ｘｐ）との整合性判定によるペナルティを付加する処理の説明図である。
【図５】ペナルティスコアマップ記憶部１０８に記憶されているペナルティスコアマップテーブルの構成例を示す図である。
【図６】本実施形態によるデプスマップフィルタ処理装置１が行なうデプスマップにおける外れ値のデプス値を修正する処理の動作例を示すフローチャートである。
【図７】最大値を有するペナルティスコアを有する修正対象画素の修正処理について説明する図である。
【図８】対象物の多視点画像から生成したデプスマップを元に、対象物の三次元点群を復元した画像を示す図である。
【発明を実施するための形態】
【００３０】
以下、本発明の一実施形態について、図面を参照して説明する。
図１は、本発明の一実施形態によるデプスマップフィルタ処理装置の構成例を示すブロック図である。図１において、デプスマップフィルタ処理装置１は、デプスマップ入力部１０１、参照画素抽出部１０２、整合性判定部１０３、ペナルティスコア積算部１０４、積算値判定部１０５、デプス値修正部１０６、デプスマップ記憶部１０７及びペナルティスコアマップ記憶部１０８の各々を備えている。ここで、デプスマップは、カメラパラメータである視点位置（三次元座標空間における視点座標）及び視点方向の位置からの対象物体までの深度（奥行き）を画素毎に、白（視点位置に近い）から黒（視点位置から遠い）までのグレースケールで表している。
【００３１】
デプスマップ入力部１０１は、外部装置から供給される、対象物体の三次元形状モデルを生成するために用いるデプスマップ群を入力する。このデプスマップ群は、上記対象物体に対する複数のカメラパラメータ（後述）の各々に対応したデプスマップから構成されている。
また、デプスマップ入力部１０１は、デプスマップ群におけるデプスマップの各々に対し、デプスマップを識別する識別情報であるデプスマップ識別情報を付与し、デプスマップ記憶部１０７に書き込んで記憶させる。
【００３２】
図２は、デプスマップ記憶部１０７におけるデプスマップテーブルの構成例を示す図である。図２におけるデプステーブルは、レコード毎に、デプスマップ識別情報と、カメラパラメータと、デプスマップインデックスとの欄が設けられている。デプスマップ識別情報は、デプスマップ群におけるデプスマップの各々を識別する識別情報である。カメラパラメータは、視点座標及び視点方向を含む、デプスマップに対応する撮像画像（直接にデプスマップとして取得した画像も含まれる）を撮像した撮像装置の各種パラメータである。この視点座標は、対象物体の位置する三次元座標空間における座標位置を示している。視点方向は、対象物体の位置する三次元座標空間における視点座標からの観察方向を示している。このカメラパラメータは、外部パラメータと内部パラメータとを含み、外部パラメータが世界座標系におけるレンズの中心座標、レンズの光軸の方向などであり、内部パラメータが焦点距離、画像中心、画像の分解能（画素数）及び歪収差係数などである。
【００３３】
また、デプスマップインデックスは、デプスマップのデータが記憶されたデプスマップ記憶部１０７におけるアドレスを示している。このアドレスの領域には、デプスマップのデータとして、画素単位にデプス値（深度値）が記載されたマップが書き込まれて記憶されている。すなわち、デプスマップとは、各視点において仮想的に設定された画像座標について、それぞれの画素毎のその視点から対象部までの距離情報（デプス値）が格納された二次元マップである。例えば、入力されたデプスマップは、多視点三次元復元におけるステレオマッチングにより生成されたデプスマップや、デプスカメラやＲＧＢ−Ｄカメラで撮影されたデプスマップなどである。
【００３４】
図１に戻り、参照画素抽出部１０２は、デプスマップ記憶部１０７のデプスマップテーブルを参照し、デプス値を修正する対象のデプスマップである対象デプスマップＤｉ（視点ｉに対応）と、対象デプスマップＤｉと比較するために参照するデプスマップである参照デプスマップＤｋ（視点ｋに対応）との組合わせを抽出する。そして、参照画素抽出部１０２は、対象デプスマップＤｉにおける画素である対象画素ｘｊ（対象デプスマップＤｉに含まれるｎ個の画素のいずれか、１≦ｊ≦ｎ）の各々のデプス値Ｄｉ（ｘｊ）と、カメラパラメータとを用いて、三次元座標空間における各画素に対応する三次元点Ｍをそれぞれ生成する。
【００３５】
また、参照画素抽出部１０２は、生成した三次元点を参照デプスマップＤｋに投影し、投影された位置にある参照デプスマップＤｋにおける画素である参照画素ｘｐ（参照デプスマップＤｋに含まれるｎ個の画素のいずれか、１≦ｐ≦ｎ）を抽出する。
ここで、参照画素抽出部１０２は、対象デプスマップＤｉにおける全ての対象画素のデプス値から三次元点を生成し、三次元点の各々を参照デプスマップに投影して、投影された位置にある参照画素を抽出する。ここで、参照画素抽出部１０２は、デプスマップ記憶部１０７に記憶されている全てのデプスマップの各々の組合わせを抽出し、参照画素ｘｐそれぞれの抽出を行う。このとき、参照画素抽出部１０２は、対象デプスマップＤｉにおけるデプス値から生成した三次元点が参照デプスマップ内に投影されない場合、投影されない三次元点に対応する参照画素の抽出を行わない。
【００３６】
整合性判定部１０３は、対象画素ｘｊの三次元点Ｍと視点ｋとの距離を求め、この距離をデプス値ＺＭとする。すなわち、デプス値ＺＭは、対象画素ｘｊの三次元点Ｍと視点ｋとの距離を示している。
また、整合性判定部１０３は、この対象画素ｘｊに対応して参照画素抽出部１０２が抽出した参照画素ｘｐのデプス値Ｄｋ（ｘｐ）を、デプスマップ記憶部１０７における参照デプスマップＤｋであるデプスマップから読み出す。
【００３７】
そして、整合性判定部１０３は、対象画素ｘｊのデプス値ＺＭと参照画素ｘｐのデプス値Ｄｋ（ｘｐ）とを比較する。例えば、整合性判定部１０３は、対象画素ｘｊのデプス値ＺＭと参照画素ｘｐのデプス値Ｄｋ（ｘｐ）との差分であるデプス値差分（ＺＭ−Ｄｋ（ｘｐ））を求め、このデプス値差分が０以下であるか否かにより（以下の（１）式の関係に基づく）、対象画素ｘｊのデプス値ＺＭと参照画素ｘｐのデプス値Ｄｋ（ｘｐ）との整合性を判定する。
０≧ＺＭ−Ｄｋ（ｘｐ）                …（１）
【００３８】
すなわち、デプス値ＺＭがデプス値Ｄｋ（ｘｐ）より大きい場合には、三次元点Ｍがデプス値Ｄｋ（ｘｐ）から生成した三次元点の可視性を邪魔することなく、対象画素ｘｊのデプス値Ｄｉ（ｘｊ）と参照画素ｘｐのデプス値Ｄｋ（ｘｐ）との整合性が取れていると判定される。一方、デプス値ＺＭがデプス値Ｄｋ（ｘｐ）より小さい場合には、三次元点Ｍがデプス値Ｄｋ（ｘｐ）から生成した三次元点の可視性を邪魔することになり、対象画素ｘｊのデプス値Ｄｉ（ｘｊ）と参照画素ｘｐのデプス値Ｄｋ（ｘｐ）との整合性が取れていないと判定される。
【００３９】
図３は、三次元点Ｍとデプス値Ｄｋ（ｘｐ）から生成した三次元点との各々の可視性の阻害を説明する概念図である。図３（ａ）及び図３（ｂ）の各々は、それぞれ視点ｉの対象デプスマップＤｉにおける対象画素ｘｊから生成した三次元点Ｍが、参照画素ｘｐから生成した三次元点Ｎの可視性を阻害している。ここで、図３（ａ）は、対象画素ｘｊのデプス値ＺＭが外れ値であり、三次元点Ｍが誤った位置に存在している。一方、図３（ｂ）は、参照画素ｘｐのデプス値Ｄｋ（ｘｐ）が外れ値であり、三次元点Ｎが誤った位置に存在している。すなわち、可視性を阻害するケースとしては、誤った三次元点が正しい三次元点の可視性を阻害する図３（ａ）と、正しい三次元点が誤った三次元点の可視性を阻害する図３（ｂ）の場合とがある。
【００４０】
図４は、対象画素ｘｊのデプス値Ｄｉ（ｘｊ）と参照画素ｘｐのデプス値Ｄｋ（ｘｐ）との整合性判定によるペナルティを付加する処理の説明図である。図４（ａ）は、三次元空間における三次元点Ｍ及び三次元点Ｎの視点ｋからのデプス値を比較していることを示している。
視点ｋからの三次元点Ｍのデプス値がＺＭであり、視点ｋからの三次元点Ｎのデプス値がＤｋ（ｘｐ）である。この図４（ａ）のように、デプス値ＺＭとデプス値Ｄｋ（ｘｐ）との各々が（１）式の関係を満たす場合、後述するように、ペナルティスコア積算部１０４により視点ｉの画素ｘｊ及び視点ｋの画素ｘｐの各々のペナルティスコアに対する積算処理が行われる（図４（ａ）の場合、ペナルティスコアをインクリメントする）。
図４（ｂ）は、後述するように、デプス値差分が閾値（デプス差分閾値Dｔｈ）以下であるか否かにより、整合性の判定を行う際、デプス値差分が閾値以下であれば、整合性を有すると判定されることを示している。
【００４１】
また、整合性判定部１０３の比較において、（１）式を用いていたが、以下の（２）式を用いても良い。
Ｄｔｈ≧ＺＭ−Ｄｋ（ｘｐ）            …（２）
（２）式においては、デプス差分閾値Ｄｔｈを設定し、デプス値ＺＭがデプス値Ｄｋ（ｘｐ）に対して、デプス差分閾値Ｄｔｈより小さければ、対象画素ｘｊと参照画素ｘｐとのデプス値の整合性はとれていると判定される。デプス値差分が０以下であるか否かの判定を行った場合には、少しでもデプス値ＺＭがデプス値Ｄｋ（ｘｐ）より小さいと、対象画素ｘｊのデプス値Ｄｉ（ｘｊ）と参照画素ｘｐのデプス値Ｄｋ（ｘｐ）との整合性が無いと判定されてしまう。このため、デプス値差分が微少な誤差範囲（デプスマップ生成時に発生する所定の誤差範囲）にある場合、対象画素ｘｊのデプス値Ｄｉ（ｘｊ）と参照画素ｘｐのデプス値Ｄｋ（ｘｐ）とが整合性ありと判定させるため（判定に対してロバスト性を含ませるため）、上記デプス差分閾値Ｄｔｈを設定している。
【００４２】
また、整合性判定部１０３の比較において、（１）及び（２）式の各々の他に、以下の（３）式を用いても良い。
Ｄｔｈ≧｜ＺＭ−Ｄｋ（ｘｐ）｜        …（３）
（３）式においては、デプス値ＺＭとデプス値Ｄｋ（ｘｐ）とのデプス値差分の絶対値がデプス差分閾値Ｄｔｈ以下であれば、対象画素ｘｊのデプス値ＺＭと参照画素ｘｐのデプス値Ｄｋ（ｘｐ）との整合性があると判定する。一方、デプス値ＺＭとデプス値Ｄｋ（ｘｐ）とのデプス値差分の絶対値がデプス差分閾値Ｄｔｈを超えた場合、対象画素ｘｊのデプス値Ｄｉ（ｘｊ）と参照画素ｘｐのデプス値Ｄｋ（ｘｐ）との整合性がないと判定する。
【００４３】
すなわち、（３）式の場合には、三次元点Ｍとデプス値Ｄｋ（ｘｐ）から生成した三次元点とが対象物体の同一の表面を復元していることを仮定し、三次元点Ｍとデプス値Ｄｋ（ｘｐ）から生成した三次元点との距離が大きい場合、同一の表面を復元できていないとして、デプス値ＺＭとデプス値Ｄｋ（ｘｐ）との整合性が取れていないとする。
整合性判定部１０３は、上述した（１）式、（２）式及び（３）式のいずれかを用いて、対象画素ｘｊのデプス値Ｄｉ（ｘｊ）と参照画素ｘｐのデプス値Ｄｋ（ｘｐ）との整合性の判定を行う。ここで、整合性判定部１０３は、デプスマップの全ての組合わせに対して、参照画素抽出部１０２が抽出した参照画素の各々と、参照画素に対応する対象画素とのデプス値の整合性の判定を行う。
【００４４】
ペナルティスコア積算部１０４は、整合性判定部１０３が整合性が無いと判定した対象画素ｘｊと参照画素ｘｐとの各々にペナルティとして、各画素のペナルティスコアをインクリメントする（「１」を加算する）処理を行う。ペナルティスコアは、デプスマップの画素毎に対応して、ペナルティスコアマップとして付与されている。このペナルティスコアマップは、デプスマップと同様の構成であるが、画素に対してデプス値ではなく、ペナルティスコアがデータとして与えられている。
【００４５】
図５は、ペナルティスコアマップ記憶部１０８に記憶されているペナルティスコアマップテーブルの構成例を示す図である。
図５において、ペナルティスコアテーブルは、レコード毎に、デプスマップ識別情報と、ペナルティスコアマップインデックスとの欄が設けられている。デプスマップ識別情報は、すでに述べたがデプスマップを識別する識別情報である。ペナルティスコアマップインデックスは、ペナルティスコアマップ記憶部１０８におけるペナルティスコアマップのデータが記憶されている領域のアドレスを示している。ペナルティスコアマップは、デプスマップにおける画素の各々と一対一に対応する、ペナルティスコアがデータとして記述された画素から構成されている。すなわち、ペナルティスコアマップは、デプスマップにおける画素の各々に対するペナルティスコアが、それぞれの画素に対応して記述されている。
【００４６】
図１に戻り、ペナルティスコア積算部１０４は、ペナルティスコアマップ記憶部１０８におけるペナルティスコアテーブルを参照し、対象デプスマップＤｉ及び参照デプスマップＤｋの各々のデプスマップ識別情報に対応するペナルティスコアマップを検出する。
そして、ペナルティスコア積算部１０４は、検出したペナルティスコアマップにおける、整合性判定部１０３が整合性が無いとした対象画素ｘｊ及び参照画素ｘｐの各々のペナルティスコアをインクリメントし、ペナルティスコアの積算処理を行う。
上述したペナルティスコアテーブルにおけるペナルティスコアの積算処理を、整合性判定部１０３により整合性が無いと判定された、全ての対象デプスマップ及び参照デプスマップの各々における対象画素、参照画素それぞれに対して行う。
【００４７】
積算値判定部１０５は、ペナルティスコアマップ記憶部１０８に記憶されているペナルティスコアマップの各々を参照し、予め設定されているペナルティスコア閾値以上のペナルティスコアを有する画素の含まれるペナルティスコアマップを抽出する。このとき、積算値判定部１０５は、全てのペナルティスコアマップにおいてペナルティスコア閾値以上のペナルティスコアを有する画素が検出されない場合、デプスマップフィルタ処理装置によるデプスマップのフィルタ処理を終了する。積算値判定部１０５は、ペナルティスコア閾値以上のペナルティスコアを有する画素が検出された場合、デプス値修正部１０６に対してフィルタ処理を継続させる。
【００４８】
ここで、上述した処理において、各画素の積算されたペナルティスコアからなるペナルティスコアマップにおいては、異なるデプスマップにおける対応する他の画素に対して整合性が取れない画素ほどペナルティスコアが大きくなる。したがって、ペナルティスコアマップの各々の画素におけるペナルティスコアは、他の視点のデプスマップの画素と整合性が取れない程度を示している。ペナルティスコアが大きい画素は、多くの他の視点のデプスマップと整合性が取れないため、多数決の論理により、デプス値が不正確である可能性が高いと言える。
【００４９】
デプス値修正部１０６は、積算値判定部１０５が抽出したペナルティスコア閾値以上のペナルティスコアを有する画素から、ペナルティスコアが最も大きい（ペナルティスコアが最大値の）画素を検出し、この画素を修正対象画素として抽出する。そして、デプス値修正部１０６は、抽出した修正対象画素のデプス値を所定の数値に変更することで、デプスマップの修正処理（フィルタ処理）を行う。この所定の数値は、例えば、三次元形状モデルの生成処理において、生成に用いるデプス値として不正値と判定される「０」あるいは負の数値である。
【００５０】
また、デプス値修正部１０６は、デプスマップにおける修正対象画素に隣接する複数の画素のデプス値の平均値を、上記所定の数値としてデプス値の変更することで、デプスマップの修正処理（フィルタ処理）を行う構成としても良い。
また、ペナルティスコア積算部１０４は、ペナルティスコアをインクリメントするのではなく、対象画素のデプス値と参照画素のデプス値のデプス値差分（あるいは絶対値）の積算値をペナルティスコアとする構成としても良い。
【００５１】
また、参照画素抽出部１０２は、対象デプスマップＤｉにおける対象画素ｘｊの三次元点を生成する際、この対象画素ｘｊのデプス値が不正値である場合、この対象画素ｘｊの三次元点の生成を行わない。
また、参照画素抽出部１０２は、生成した三次元点を参照デプスマップＤｋに投影し、投影された位置にある参照デプスマップＤｋにおける画素である参照画素ｘｐを検出した際、この参照画素ｘｐのデプス値が不正値である場合、この参照画素ｘｐの抽出を行わない。
【００５２】
本実施形態においては、積算値判定部１０５がペナルティスコア閾値以上のペナルティスコアを有する画素が検出されなくなるまで、デプスマップのフィルタ処理を繰り返して行う。このため、本実施形態において、上述した不正値に対する処理を加えることにより、すでに前回のフィルタ処理までに三次元形状の生成に用いない処理として、不正値が書き込まれた画素に対して、再度フィルタ処理を行わない構成としている。
【００５３】
図６は、本実施形態によるデプスマップフィルタ処理装置１が行なうデプスマップにおける外れ値のデプス値を修正する処理の動作例を示すフローチャートである。以下に示すフローチャートは、デプスマップフィルタ処理装置１が行なうデプスマップにおける外れ値のデプス値を修正するフィルタ処理の流れを示している。
【００５４】
ステップＳ１：
デプスマップ入力部１０１は、外部装置から供給される、対象物体の三次元形状モデルを生成するために用いるデプスマップ群を入力する。
そして、デプスマップ入力部１０１は、デプスマップ群におけるデプスマップの各々に対し、デプスマップを識別する識別情報であるデプスマップ識別情報を付与し、このデプスマップ識別情報とともにデプスマップをデプスマップ記憶部１０７に書き込んで記憶させる。
また、このとき、ペナルティスコア積算部１０４は、ペナルティスコアマップ記憶部１０８に記憶されている全てのペナルティスコアマップにおける画素のペナルティスコアを「０」として、ペナルティスコアマップに対するリセット処理を行う。
【００５５】
ステップＳ２：
参照画素抽出部１０２は、デプスマップ記憶部１０７のデプスマップテーブルを参照し、デプス値を修正する対象のデプスマップである対象デプスマップＤｉと、対象デプスマップＤｉと比較するた参照デプスマップＤｋとの組合わせを抽出する。
【００５６】
ステップＳ３：
そして、参照画素抽出部１０２は、対象デプスマップＤｉにおける対象画素ｘｊの各々のデプス値Ｄｉ（ｘｊ）と、カメラパラメータとを用いて、三次元座標空間における各画素に対応する三次元点Ｍをそれぞれ生成する。このとき、参照画素抽出部１０２は、この対象画素ｘｊのデプス値が不正値である場合、この対象画素ｘｊの三次元点の生成を行わない。
【００５７】
ステップＳ４：
また、参照画素抽出部１０２は、生成した三次元点を参照デプスマップＤｋに投影し、投影された位置にある参照デプスマップＤｋにおける画素である参照画素ｘｐを抽出する。このとき、参照画素抽出部１０２は、生成した三次元点を参照デプスマップＤｋに投影した位置の参照画素ｘｐのデプス値が不正値である場合、この参照画素ｘｐの抽出を行わない。また、参照画素抽出部１０２は、デプスマップ記憶部１０７に記憶されている全てのデプスマップの各々の組合わせを抽出し、参照画素ｘｐそれぞれの抽出を行う。ここで、参照画素抽出部１０２は、対象デプスマップＤｉにおける全ての対象画素のデプス値から三次元点を生成し、三次元点の各々を参照デプスマップに投影して、投影された位置にある参照画素を抽出する。
【００５８】
ステップＳ５：
整合性判定部１０３は、対象画素ｘｊの三次元点Ｍと視点ｋとの距離を求め、この距離をデプス値ＺＭとする。
また、整合性判定部１０３は、上記対象画素ｘｊに対応して参照画素抽出部１０２が抽出した参照画素ｘｐのデプス値Ｄｋ（ｘｐ）との各々を、デプスマップ記憶部１０７をア参照して、記憶されている参照デプスマップＤｋであるデプスマップから読み出す。このデプス値ＺＭは、三次元点Ｍの視点ｋからの距離を示している。
そして、整合性判定部１０３は、デプス値ＺＭとデプス値Ｄｋ（ｘｐ）とを比較し、デプス値差分（ＺＭ−Ｄｋ（ｘｐ））が０以下であるか否かの判定を行う（上記（１）式の関係に基づく）。このとき、整合性判定部１０３は、デプス値差分（ＺＭ−Ｄｋ（ｘｐ））が０以下である場合、デプス値の整合性があると判定する。一方、整合性判定部１０３は、デプス値差分（ＺＭ−Ｄｋ（ｘｐ））が０を超えた場合、デプス値に整合性がないと判定する。
【００５９】
ステップＳ６：
ペナルティスコア積算部１０４は、整合性判定部１０３が整合性が無いと判定した対象画素ｘｊと参照画素ｘｐとの各々にペナルティを与える。
すなわち、ペナルティスコア積算部１０４は、ペナルティスコアマップ記憶部１０８における対象デプスマップＤｉにおける対象画素ｘｊと、参照デプスマップＤｋにおける参照画素ｘｐとの各々のペナルティスコアをインクリメントする（ペナルティスコアの積算処理を行う）。
【００６０】
ステップＳ７：
ペナルティスコア積算部１０４は、参照画素抽出部１０２が全てのデプスマップの組合わせを作成し、自身が上記デプスマップの組合わせにおける対象画素及び参照画素の各々に対するペナルティ付加の処理が終了したか否かの判定を行う。
このとき、ペナルティスコア積算部１０４は、全てのデプスマップの組合わせにおける対象画素及び参照画素の各々に対するペナルティ付加の処理が終了した場合、処理をステップＳ８へ進める。一方、ペナルティスコア積算部１０４は、全てのデプスマップの組合わせにおける対象画素及び参照画素の各々に対するペナルティ付加の処理が終了していない場合、処理をステップＳ２へ進める。
【００６１】
ステップＳ８：
積算値判定部１０５は、ペナルティスコアマップ記憶部１０８に記憶されているペナルティスコアマップの各々を参照する。そして、積算値判定部１０５は、予め設定されているペナルティスコア閾値以上のペナルティスコアを有する画素の有無を判定する。このとき、積算値判定部１０５は、ペナルティスコア閾値以上のペナルティスコアを有する画素が有った場合、処理をステップＳ９へ進める（すなわち、デプス値の変更処理を継続させる）。一方、積算値判定部１０５は、ペナルティスコア閾値以上のペナルティスコアを有する画素が無い場合、デプスマップフィルタ処理装置によるデプスマップのフィルタ処理を終了する。
【００６２】
ステップＳ９：
デプス値修正部１０６は、積算値判定部１０５が抽出したペナルティスコア閾値以上のペナルティスコアを有する画素の中から、ペナルティスコア（積算値）が最大値の画素を検出し、この画素を修正対象画素として抽出する。
【００６３】
ステップＳ１０：
デプス値修正部１０６は、デプスマップ記憶部１０７における修正対象画素の含まれるデプスマップを抽出し、抽出した修正対象画素のデプス値を所定の数値に変更する（書き換える）ことで、デプスマップの修正処理を行う。この所定の数値は、例えば、三次元形状モデルの生成処理において、生成に用いるデプス値として不正値と判定される「０」あるいは負の数値に変更する。
そして、ペナルティスコア積算部１０４は、ペナルティスコアマップ記憶部１０８における全てのペナルティスコアマップにおける画素の各々のペナルティスコアを「０」としてリセットし、処理をステップＳ２へ進める。
【００６４】
図７は、最大値を有するペナルティスコアを有する修正対象画素の修正処理について説明する図である。図７（ａ）は、ペナルティスコアとして最大値を有する画素の検出を説明している。三次元点Ｍ２に対応する視点Ｐ４のデプスマップＤＰ５における画素と、三次元点Ｍ１に対応する視点Ｐ５のデプスマップＤＰ１に対応する画素とが、ペナルティスコアが「４」で最大値を有している。
このため、デプス値修正部１０６は、三次元点Ｍ１に対応する画素と三次元点Ｍ２に対応する画素との各々のデプス値を、不正値に変更する処理を行う。
【００６５】
これにより、本実施形態によれば、修正対象画素の修正処理の後に、再度、ステップＳ２からステップＳ７におけるペナルティスコアの付加処理を行うことにより、図７に示すように、全体的なペナルティスコアが変化する。この処理を繰り返すことにより、全てのペナルティスコアマップにおける画素のペナルティスコアが、ペナルティスコア閾値未満となり、デプス値の外れ点を低減することができる。
【００６６】
また、本実施形態によれば、他の画素の三次元点の見えを阻害するデプス値を有する画素を検出し、この画素のデプス値を外れ値としてのデプス値を不正値とする処理を行うため、デプスマップにおける正しいデプス値を不正確なデプス値に変更することなく、デプス値の外れ点を低減することができる。
【００６７】
また、本実施形態によれば、画素のデプス値に対応する三次元点の各々を、他の視点のデプスマップに投影し、この三次元点のデプス値を他の視点のデプスマップに変換した（他の視点における三次元点のデプス値を算出）後、投影された位置の画素のデプス値と比較していくため、それぞれの画素を独立して処理していくため、クラスタ状の画素のデプス値の修正、物体表面近傍の画素の不正確なデプス値を精度良く修正することで、スコア値の高いデプス値が修正され、他の視点のデプスマップと整合性が取れたデプスマップを得ることが可能である。
【００６８】
また、本実施形態において、整合性の判定において、デプスマップのデプス値を用いるのではなく、デプスマップの画素の位置と一対一対応する画素を有する撮像画像における画素の画素値を用いても良い。この場合、デプスマップ入力部１０１は、デプスマップと対応する撮像画像を外部装置から読み込み、対応するデプスマップと同一のデプスマップ識別情報を付与し、デプスマップ記憶部１０７に対して書き込んで記憶させる。このときデプスマップテーブルに、撮像画像インデックスを書き込み、この撮像画像インデックスの示すアドレスの領域に撮像画像のデータを書き込んで記憶させる。
すでに上記実施形態において述べたように、参照画素抽出部１０２は、視点ｉの対象デプスマップＤｉにおける対象画素ｘｊのデプス値とカメラパラメータとから三次元点Ｍを作成する。そして、参照画素抽出部１０２は、異なる視点ｋの参照デプスマップＤｋ上に三次元点Ｍを投影し、投影された位置の参照画素ｘｐを抽出する。
【００６９】
そして、整合性判定部１０３は、対象画素ｘｊの画素値と参照画素ｘｐの画素値とを比較する。本実施形態においては、画素値である階調度（カラー画像のＲＧＢ）あるいは、画素値から求めた輝度値を用いる。白黒画像の場合には、グレースケールの階調度が用いられる。
以下の説明において、整合性判定部１０３は、例えば、対象デプスマップＤｉに対応する対象カラー画像Ｉｉの対象画素ｘｉの色Ｉｉ（ｘｊ）と、参照デプスマップＤｋに対応する対象カラー画像Ｉｋの参照画素ｘｐの色Ｉｋ（ｘｐ）との比較を、以下の（４）式の関係式を用いて行う。
【００７０】
｜Ｉｉ（ｘｊ）−Ｉｋ（ｘｐ）｜＞Ｉｔｈ  …（４）
（４）式において、Ｉｔｈは予め設定された画素値閾値である。
整合性判定部１０３は、色Ｉｉ（ｘｊ）と色Ｉｋ（ｘｐ）との差分値の絶対値が画素値閾値Ｉｔｈを超えた場合に、対象画素ｘｉと参照画素ｘｐとの整合性が取れていないと判定する。そして、ペナルティスコア積算部１０４は、対象画素ｘｊ及び参照画素ｘｐの各々のペナルティスコアをインクリメントする。
また、ペナルティスコア積算部１０４は、対象画素ｘｊ及び参照画素ｘｐの各々のペナルティスコアに対し、差分値の絶対値｜Ｉｉ（ｘｊ）−Ｉｋ（ｘｐ）｜を積算する構成としても良い。ペナルティスコア積算処理以降における、ペナルティスコアを用いた画素のデプス値の修正処理については、すでに説明した動作と同様である。
【００７１】
また、（１）式から（３）式のいずれか一つと、（４）式との組合せを、対象画素ｘｊ及び参照画素ｘｐの各々のペナルティスコアの積算処理を行う判定に用いてもよい。
例えば、デプス値の整合性がなく、かつ色の整合性がない場合にペナルティスコアの積算処理を行う構成としても良い。
一方、デプス値の整合性あるいは色の整合性のいずれかがない場合にペナルティスコアの積算処理を行う構成としても良い。
また、本実施形態においては、対象画素と参照画素との整合性が無いと判定された場合、対象画素と参照画素との双方のペナルティスコアの積算処理を行うとして説明したが、対象画素のペナルティスコアの積算処理のみを行う構成としても良い。
【００７２】
また、上述した実施形態においては、デプスマップの修正処理を行うことで、デプスマップ間の対応する画素のデプス値の整合性や、デプスマップとカラー画像間の整合性が変化することにより、ペナルティスコアマップの値も変化する。このため、本実施形態においては、デプスマップのフィルタ処理を、すべてのペナルティスコアマップにおけるすべての画素のペナルティスコアが「１」以下になるまで、ペナルティスコアマップの計算とデプスマップの修正を繰り返し交互に処理する。また、ペナルティスコアの閾値を「１」以外の所定の数値に設定し、すべてのペナルティスコアマップのすべての画素のスコア値がその閾値未満となるまで、ペナルティスコアマップの計算とデプスマップの修正を繰り返し交互に処理する構成としても良い。
【００７３】
図８は、対象物の多視点画像から生成したデプスマップを元に、対象物の三次元点群を復元した画像を示す図である。図８（ａ）は、異なる視点から対象物を撮影したいずれかの視点における多視点画像の一例を示している。
この図８の例においては、図８（ａ）に示した多視点画像を含んだ、異なる視点で撮影された６枚の多視点画像の各々と、撮像装置の多視点画像を撮像したカメラパラメータそれぞれとを用い、ＰａｔｃｈＭａｔｃｈ  Ｓｔｅｒｅｏ法により各視点のデプスマップを生成し、各視点のデプスマップとカメラパラメータとから三次元点群を生成した。
【００７４】
図８（ｂ）は、ＰａｔｃｈＭａｔｃｈ  Ｓｔｅｒｅｏ法により生成したデプスマップに対し、本実施形態においけるデプスマップフィルタ処理を行わずに、生成されたままのデプスマップにより三次元点群を生成した場合の結果を示している。
図８（ｂ）を見て判るように、生成されたままのデプスマップを用いて復元された三次元点群には、多数の不正確な三次元点が含まれる。この不正確な三次元点群は、生成されたデプスマップに含まれる不正確な（外れ値である）デプス値がそのまま三次元点に変換されたため、発生したものである。
【００７５】
図８（ｃ）は、ＰａｔｃｈＭａｔｃｈ  Ｓｔｅｒｅｏ法により生成したデプスマップに対し、本実施形態によるデプスマップフィルタ処理を行った後、修正されたデプスマップを用いて三次元点群を生成した場合の結果を示している。
図８（ｃ）を見て判るように、修正されたデプスマップを用いて復元された三次元点群では、図８（ｂ）に含まれていたような不正確な三次元点群が生成されず、対象物体の三次元形状モデルとして、図８（ｂ）の場合より精度が高い結果となっている。
【００７６】
この結果は、本実施形態によるデプスマップフィルタ処理により、デプスマップに含まれていた不正確な（外れ点である）デプス値を修正することができ、それらの不正確なデプス値が原因で発生していた不正確な三次元点が生成されることを抑制していることを示している。特に、この図８（ｃ）の結果では、図８（ｂ）の結果においてクラスタ状に発生していた不正確な三次元点や、対象物体表面付近に発生していた三次元点についても、修正されていることが確認できる。また、復元された三次元点群による三次元点群形状モデルが図８（ａ）の画像との比較により、不正確な三次元点が修正されているものの、正しく復元されていた三次元点が不当に修正されることがないことも確認できる。
【００７７】
なお、本発明における図１のデプスマップフィルタ処理装置１の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませて実行することにより、デプスマップにおける各画素のデプス値の修正を行う処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷ（World Wide Web）システムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ−ＲＯＭ（Compact Disc - Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ（Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
【００７８】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００７９】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【００８０】
１…デプスマップフィルタ処理装置
１０１…デプスマップ入力部
１０２…参照画素抽出部
１０３…整合性判定部
１０４…ペナルティスコア積算部
１０５…積算値判定部
１０６…デプス値修正部
１０７…デプスマップ記憶部
１０８…ペナルティスコアマップ記憶部
【図１】
2019091122.tif 000003
【図２】
2019091122.tif 000004
【図３】
2019091122.tif 000005
【図４】
2019091122.tif 000006
【図５】
2019091122.tif 000007
【図６】
2019091122.tif 000008
【図７】
2019091122.tif 000009
【図８】
2019091122.tif 000010