(57)【要約】【課題】可能な限り正確なマスク画像を生成する装置を提供する。【解決手段】マスク画像生成装置は、複数の画像に基づき、光線空間の光線について、該光線により生じる画素の画素値、該画素が前景であるか背景であるかの属性を示す属性情報及び属性が前景である場合には該画素の実空間における位置を示す情報を生成する前処理手段と、前記光線空間の属性が前景と背景の光線の境界において、境界を含む不定領域を決定し、決定した不定領域に含まれる光線の属性情報を“不定”に更新する不定領域決定手段と、マッティング手段とを備えており、前記マッティング手段は、光線空間の光線の属性情報に基づき複数のマスク画像を生成するマスク画像生成手段と、生成したマスク画像の属性が不定である画素のマッティングを行う判定手段とを備えている。【選択図】図１
2010237941.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像に基づき、光線空間の光線について、該光線により生じる画素の画素値、該画素が前景であるか背景であるかの属性を示す属性情報及び属性が前景である場合には該画素の実空間における位置を示す情報を生成する前処理手段と、
前記光線空間の属性が前景と背景の光線の境界において、境界を含む不定領域を決定し、決定した不定領域に含まれる光線の属性情報を不定に更新する不定領域決定手段と、
マッティング手段と、
を備えており、
前記マッティング手段は、
光線空間の光線の属性情報に基づき複数のマスク画像を生成するマスク画像生成手段と、
生成したマスク画像の属性が不定である画素のマッティングを行う判定手段と、
を備えているマスク画像生成装置。
【請求項２】
複数の画像に基づき、光線空間の光線について、該光線により生じる画素の画素値、該画素が前景であるか背景であるかの属性を示す属性情報及び属性が前景である場合には該画素の実空間における位置を示す情報を生成する前処理手段と、
前記光線空間の属性が前景と背景の光線の境界において、境界を含む不定領域を決定し、決定した不定領域に含まれる光線の属性情報を不定に更新する不定領域決定手段と、
マッティング手段と、
を備えており、
前記マッティング手段は、
光線空間の属性が不定である光線に対応する画素のマッティングを行う判定手段と、
光線空間の光線の前記マッティング後における属性情報に基づき複数のマスク画像を生成するマスク画像生成手段と、
を備えているマスク画像生成装置。
【請求項３】
不定領域決定手段は、
前景と背景の境界にある属性が前景の第３の光線を複数選択し、選択した第３の光線それぞれについて、第３の光線に対応する第３の画素の実空間の位置である第１の位置と、実空間の１点から発出される各光線の該光線空間における分布に基づき、所定の視点から見た画像内の画素であって第１の位置から発出される第１の光線に対応する第１の画素と、前記所定の視点とは異なる視点から見た画像内の画素であって第１の位置から発出される第２の光線に対応する第２の画素とを求める探索範囲設定手段と、
選択した第３の光線それぞれについて、第１の画素を中心とする所定範囲の領域と、第２の画素を中心とする所定範囲の領域内において、所定サイズの画素ブロックによるブロックマッチングを適用し、最も相関の高い組合せに含まれる２つの画素ブロックの所定位置の画素である第４の画素と第５の画素を求めるブロックマッチング手段と、
前記不定領域を決定する決定手段と、
を備えており、
前記決定手段は、選択した第３の光線それぞれについて、前記光線空間において、第３の光線と、第４の画素に対応する第４の光線及び第５の画素に対応する第５の光線を直線又は曲線で結ぶことにより得た光線空間内の複数の直線又は曲線で囲まれた領域を前記不定領域とする、
請求項１又は２に記載のマスク画像生成装置。
【請求項４】
判定手段は、属性が不定である画素の画素値と、該画素を中心とした所定領域に含まれる属性が前景である画素の画素値の平均値及び分散と、属性が背景である画素の画素値の平均値及び分散に基づき該画素に対する第１の値を算出し、
不定領域内の前景と背景の境界を、前記境界上の画素に対する第１の値の総和が最小となる様に求める、
請求項１から３のいずれか１項に記載のマスク画像生成装置。
【請求項５】
請求項１から４のいずれか１項に記載のマスク画素装置が生成するマスク画像に基づき３次元物体モデル情報を生成する３次元物体モデル情報生成装置。
【請求項６】
請求項１から５のいずれか１項に記載の装置としてコンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マスク画像及び３次元物体モデル情報の生成技術に関する。
【背景技術】
【０００２】
特許文献１には、複数のカメラで撮影した動画像から、任意の位置における画像を再現する自由視点画像生成技術が記載されている。特許文献１によると、被写体を取り囲む様に複数のカメラを配置し、このカメラに囲まれた１つの領域を複数の局所領域に分割し、各カメラが撮影した画像に基づき局所的な光線空間を複数構築して自由視点画像を生成している。ここで、局所的な光線空間を構築するとは、局所領域の境界面を通過する光線を適当な座標軸を使用して表し、この座標空間の座標として表現される光線と、この光線により生じる画像の画素値を対応付けることを言う。
【０００３】
自由視点画像生成のためには、３次元空間における被写体の表面位置を示す情報である３次元物体モデル情報が必要であり、例えば、非特許文献１には、視体積交差法により３次元物体モデル情報を生成する技術が、非特許文献２には、センサを利用して３次元物体モデル情報を生成する技術が記載されている。なお、視体積交差法とは、複数のカメラで撮影した画像の各画素が被写体に対応するものであるか否かを判定し、被写体であるか否かを示す２値画像であるマスク画像を複数生成し、各マスク画像の被写体に対応する画素とカメラパラメータから３次元物体情報を求めるものである。
【０００４】
任意の位置から見た映像を再現する自由視点映像システムのためには、被写体の形状情報、つまり、３次元物体モデル情報を、可能な限り正確に生成することが必要である。ただし、自由視点映像システムでは、例えば、スポーツの試合等、常に動き続ける被写体をも対象とするため、非特許文献２に記載のセンサ等を利用することなく３次元物体モデル情報を生成することが求められる。なお、３次元物体モデル情報は、マスク画像から生成することができるため、正確なマスク画像を生成できれば正確な３次元物体モデル情報を生成できることになる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１５７５６号公報
【非特許文献】
【０００６】
【非特許文献１】Ｔ．Ｍａｔｓｕｙａｍａ、ｅｔ  ａｌ．、“Ｒｅａｌ−ＴｉｍｅＤｙｎａｍｉｃ  ３Ｄ  Ｏｂｊｅｃｔ  Ｓｈａｐｅ  Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ  ａｎｄ  Ｈｉｇｈ−Ｆｉｄｅｌｉｔｙ  Ｔｅｘｔｕｒｅ  Ｍａｐｐｉｎｇ  ｆｏｒ  ３Ｄ  Ｖｉｄｅｏ”、ＩＥＥＥ  Ｔｒａｎｓ．ｏｎ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ、Ｖｏｌ．ＣＳＶＴ-１４、Ｎｏ．３、ｐｐ．３５７−３６９、２００４年
【非特許文献２】Ａ．Ｂａｎｎｏ、ｅｔ  ａｌ．、“Ｆｌｙｉｎｇ  Ｌａｓｅｒ  Ｒａｎｇｅ  Ｓｅｎｓｏｒ  ｆｏｒ  Ｌａｒｇｅ−Ｓｃａｌｅ  Ｓｉｔｅ  Ｍｏｄｅｌｉｎｇ  ａｎｄ  Ｉｔｓ  Ａｐｐｌｉｃａｔｉｏｎｓ  ｉｎ  Ｂａｙｏｎ  Ｄｉｇｉｔａｌ  Ａｒｃｈｉｖａｌ  Ｐｒｏｊｅｃｔ”、Ｉｎｔ．Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ、Ｖｏｌ．７８、Ｎｏ．２−３、ｐｐ．２０７−２２２、２００８年７月
【発明の概要】
【発明が解決しようとする課題】
【０００７】
したがって、本発明は、可能な限り正確なマスク画像又は３次元物体モデル情報を生成する装置及び該装置としてコンピュータを機能させるプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明によるマスク画像生成装置によれば、
複数の画像に基づき、光線空間の光線について、該光線により生じる画素の画素値、該画素が前景であるか背景であるかの属性を示す属性情報及び属性が前景である場合には該画素の実空間における位置を示す情報を生成する前処理手段と、前記光線空間の属性が前景と背景の光線の境界において、境界を含む不定領域を決定し、決定した不定領域に含まれる光線の属性情報を“不定”に更新する不定領域決定手段と、マッティング手段とを備えており、前記マッティング手段は、光線空間の光線の属性情報に基づき複数のマスク画像を生成するマスク画像生成手段と、生成したマスク画像の属性が不定である画素のマッティングを行う判定手段とを備えていることを特徴とする。
【０００９】
本発明によるマスク画像生成装置の他の実施形態によれば、
複数の画像に基づき、光線空間の光線について、該光線により生じる画素の画素値、該画素が前景であるか背景であるかの属性を示す属性情報及び属性が前景である場合には該画素の実空間における位置を示す情報を生成する前処理手段と、前記光線空間の属性が前景と背景の光線の境界において、境界を含む不定領域を決定し、決定した不定領域に含まれる光線の属性情報を“不定”に更新する不定領域決定手段とマッティング手段とを備えており、前記マッティング手段は、光線空間の属性が不定である光線に対応する画素のマッティングを行う判定手段と、光線空間の光線の前記マッティング後における属性情報に基づき複数のマスク画像を生成するマスク画像生成手段とを備えていることを特徴とする。
【００１０】
また、本発明によるマスク画像生成装置の他の実施形態によれば、
前景と背景の境界にある属性が前景の第３の光線を複数選択し、選択した第３の光線それぞれについて、第３の光線に対応する第３の画素の実空間の位置である第１の位置と、実空間の１点から発出される各光線の該光線空間における分布に基づき、所定の視点から見た画像内の画素であって第１の位置から発出される第１の光線に対応する第１の画素と、前記所定の視点とは異なる視点から見た画像内の画素であって第１の位置から発出される第２の光線に対応する第２の画素とを求める探索範囲設定手段と、選択した第３の光線それぞれについて、第１の画素を中心とする所定範囲の領域と、第２の画素を中心とする所定範囲の領域内において、所定サイズの画素ブロックによるブロックマッチングを適用し、最も相関の高い組合せに含まれる２つの画素ブロックの所定位置の画素である第４の画素と第５の画素を求めるブロックマッチング手段と、前記不定領域を決定する決定手段とを備えており、前記決定手段は、選択した第３の光線それぞれについて、前記光線空間において、第３の光線と、第４の画素に対応する第４の光線及び第５の画素に対応する第５の光線を直線又は曲線で結ぶことにより得た光線空間内の複数の直線又は曲線で囲まれた領域を前記不定領域とすることも好ましい。
【００１１】
さらに、本発明によるマスク画像生成装置の他の実施形態によれば、
判定手段は、属性が不定である画素の画素値と、該画素を中心とした所定領域に含まれる属性が前景である画素の画素値の平均値及び分散と、属性が背景である画素の画素値の平均値及び分散に基づき該画素に対する第１の値を算出し、不定領域内の前景と背景の境界を、前記境界上の画素に対する第１の値の総和が最小となる様に求めることも好ましい。
【００１２】
本発明による３次元物体モデル情報生成装置によれば、
前記マスク画素装置が生成するマスク画像に基づき３次元物体モデル情報を生成することを特徴とする。
【００１３】
本発明によるプログラムによれば、
前記装置としてコンピュータを機能させることを特徴とする。
【発明の効果】
【００１４】
前処理手段が判定する各画素の実空間における位置には誤差が含まれている可能性が高く前景と背景の境界は正確ではない。よって、前景と背景の境界において不定領域を決定して、この不定領域に対して種々のマッティグを行うことで前景及び背景の正確な判定を行う。本発明においては、不定領域を実空間の１点から発出される各光線の光線空間における分布に基づき決定し、これにより、マッティングを行う領域を効率的に絞り込むことができ、よって、少ない処理で前景及び背景の正確な判定が可能となる。
【００１５】
マッティングには、例えば、不定領域の画素を中心とする所定範囲に含まれる前景と背景の画素の画素値を使用して前記中心の画素のエネルギー値を定義し、このエネルギー値を使用したダイナミックプログラミング法を用いることで効率的に実施することができる。なお、マッティングは、画像上で行っても、光線空間上で行っても良い。
【図面の簡単な説明】
【００１６】
【図１】本発明によるマスク画像生成装置の機能ブロック図である。
【図２】局所領域を示す図である。
【図３】円筒座標系を示す図である。
【図４】光線空間の各画素の属性を示す図である。
【図５】不定領域決定部のブロック図である。
【図６】探索範囲設定部の処理の説明図である。
【図７】探索範囲設定部の処理の説明図である。
【図８】ブロックマッチング部の処理の説明図である。
【図９】ブロックマッチング部の処理の説明図である。
【図１０】決定部の処理の説明図である。
【図１１】決定部の処理の説明図である。
【図１２】マッティング部のブロック図である。
【図１３】マッティングの説明図である。
【図１４】不定領域決定部の出力結果を示す図である。
【図１５】図１４の光線空間データから生成したマスク画像を示す図である。
【発明を実施するための形態】
【００１７】
本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。
【００１８】
図１は、本発明によるマスク画像生成装置の機能ブロック図である。図１によると、マスク画像生成装置は、保存部１と、前処理部２と、不定領域決定部３と、マッティング部４とを備えている。なお図１は、本発明の説明に必要な部分のみを表示するものである。
【００１９】
マスク画像生成装置は、まず、複数のカメラ１００が撮影した動画像を構成する撮影画像と、これら複数のカメラ１００のカメラパラメータを取り込んで保存部１に保存する。前処理部２は、保存部１に保存されている撮影画像及びカメラパラメータに基づき撮影画像の被写体を判定して３次元物体モデル情報、つまり、被写体表面の実空間での位置を示す情報を生成する。なお、前処理部２における被写体の判定及び３次元物体モデル情報の生成には公知の種々の方法を利用する。
【００２０】
また、前処理部２は、例えば、図２に示す様に点線で囲まれた空間を、実線の円で示す複数の局所領域に分割し、例えば、特許文献１に記載されている方法を使用して、各局所領域に対する光線空間データを生成する。なお、図２は平面図であり、本実施形態において、実際の局所領域は円柱状である。また、局所的な光線空間データとは、局所領域の境界面を通過する光線と、この光線により生じる画像の画素の画素値と、各光線の属性情報を示すデータである。ここで、属性情報とは、光線により生じる画素が被写体に対応しているか否かを示す情報である。以後、被写体に対応する画素又は光線を前景（図面ではＦと表記する。）と、被写体に対応しない画素又は光線を背景（図面ではＢと表記する。）と呼ぶ。
【００２１】
例えば、局所領域を図２に示す円柱状とした場合の座標系としては図３に示す円筒座標系を使用することができる。図３の座標系においては、局所領域を水平に貫く光線を、Ｚ軸からの角度θの値θ０と、原点を通り光線の方向に対して垂直なＰ軸上の位置ｐ０で特定される座標（ｐ０，θ０）に対応させて表している。この様な座標系を使用した場合、被写体表面のある一点から各角度で発出される各光線は、Ｐ−θ平面上では、その空間位置に応じた振幅及び位相の正弦波状に分布することになる。したがって、この局所領域のある水平面内の各光線の属性をＰ−θ平面で表すと、例えば、図４に示す様になる。なお、図４は一例であり、実際の形状は被写体の形状及び位置により決まるものである。
【００２２】
前処理部２が生成する３次元物体モデル情報は正確ではなく誤差が含まれる。つまり、図４の背景と前景との境界線は正確なものではなく再決定する必要がある。このため、不定領域決定部３は、光線空間データの属性情報として、背景及び前景に加えて“不定”（図面ではＵと表記する。）を追加し、各局所領域の光線空間において、属性を不定に変更する光線を決定する。図５は、不定領域決定部３のブロック図である。図５に示す様に、不定領域決定部３は、探索範囲設定部３１と、ブロックマッチング部３２と、決定部３３とを備えている。
【００２３】
以下、ある局所領域９の光線空間に対する不定領域の決定について説明する。まず、図６に示す様に、ある局所領域９に対し局所領域に向かう３つの視点を設定する。図６においては局所領域の境界面上に局所領域の中心を向く視点９１、９２及び９３を設定している。視点９１、９２及び９３から見た画像をそれぞれ画像６１、６２及び６３とすると、各画像の画素値は、図７の光線空間の点線で示す位置の光線に対応する値となる。なお、図７は、光線区間をＰ−θ面に垂直な方向から見た図であり、符号６１、６２及び６３で示す点線は、実際には、Ｐ−θ面に垂直な方向に高さを有する曲面である。また、図７は、Ｐ−θ面の総てではなく、一部のみを示すものであり、よって、画像６１、６２及び６３もその一部のみを示すものである。なお、以後の説明においてＰ−θ面に垂直な方向を高さ方向と呼ぶものとする。
【００２４】
探索範囲設定部３１は、画像６１と画像６２の間にある画像６３から、前処理部２が求めた現時点における背景と前景の境界線上にある属性が前景の画素、つまり、物体表面の画素７３を選択する。上述した様に、実空間のある一点から発出される光線は、光線空間において、その座標系により定まるある曲線又は直線上に分布することになる。図７の実線は画素７３と同じ位置から発出される光線を結んだもの、つまり、前記分布の１つを示すものである。探索範囲設定部３１は、画素７３の３次元物体モデル情報と前記分布から、画像６１と画像６２内にある画素であって、画素７３と同じ空間位置から発出された光線に対応する画素を求める。つまり、図７の例においては、実線と画像６１及び画像６２の交点である、画素８１及び画素８２を探索範囲設定部３１は求めることになる。
【００２５】
ただし、前処理部２が求めた３次元物体モデル情報が正確ではない場合、画素８１及び画素８２は、それぞれ、画素７３に対応する画素、つまり同一位置から発出された光線による画素ではないことになる。よって、探索範囲設定部３１は、図９において点線にて示す様に、画像６１内に画素８１を中心とした探索範囲を設け、同様に、画像６２内に画素８２を中心とした探索範囲を設ける。両画像の探索範囲の大きさは同一としても、例えば、視点９３と視点９１の距離と、視点９３と視点９２の距離に応じて変化させても良い。つまり、視点９３との距離が大きくなる程、探索範囲を大きくする形態であっても良い。
【００２６】
ブロックマッチング部３２は、探索範囲設定部３１が設定した探索範囲に対してブロックマッチングの手法を適用し、画像７３に対応する画像６１及び画像６２内の画素を求める。具体的には、画像６１の探索範囲内にあるブロックと、画像６２の探索範囲内にあるブロックの対応する画素の画素値の差の絶対値の総和、或いは、差の２乗の総和を、ブロックの組合せそれぞれに対して求め、求めた総和の値が一番小さい組合せに含まれる２つのブロックの同じ所定位置にある画素、好ましくは中心画素を対応する画素とする。図８及び図９においては、画像６１の画素７１と、画像６２の画素７２が、画素７３に対応する画素として求められている。
【００２７】
探索範囲設定部３１及びブロックマッチング部３２は、画像６３内の画素７３とは異なる高さや異なる位置にある物体表面の画素に対しても同じ処理を行い、それぞれ、画像６１及び６２内の対応する画素を求める。さらに、探索範囲設定部３１及びブロックマッチング部３２は、視点９３の位置を、視点９１と視点９２の間で動かしながら、同じ処理を行い、画像６３の物体表面の各画素に対応する、画像６１及び６２の画素を求める。
【００２８】
決定部３３は、視点９３の物体表面の画素と、ブロックマッチング部３２が求めた前記視点９３の物体表面の画素に対応する視点９１及び９２の画素を、曲線又は直線で接続する。図８においては、画素７１、７３、７２を曲線にて結んでいる。決定部７３は、探索範囲設定部３１及びブロックマッチング部３２が視点９３を移動させながら求めた各物体表面の画素に対応する視点９１及び９２の画素を、それぞれ、曲線又は直線で結ぶことで、図１０に示す様に、ある領域内に広がった複数の曲線又は直線を求め、図１１に示す様に、これら複数の曲線又は直線の最も外側の曲線又は直線により囲まれた領域を不定領域とする。なお、視点９１及び９２間に設定する視点９３の位置の数や、高さ方向の処理密度は設計事項である。
【００２９】
上記処理は、図７及び８に示すＰ−θ面の画像６１から画像６２の区間のみの処理であるが、不定領域決定部３は、上記処理を光線空間全体に対して行う。つまり、図６における視点９１と９２の位置のみならず、局所領域９の境界面である円周上全体に視点を設定して上述した処理を順次行い、局所領域９の光線空間データの前景と背景の境界において、境界を含む不定領域を決定し、決定した不定領域に含まれる光線の属性情報を不定に変更する。図１４は実際の処理結果を示す図である。なお、図１４はある水平面に関するデータであり、白抜きの部分は不定領域を、不定領域の内側が前景を、不定領域の外側が背景を表している。
【００３０】
マッティング部４は、不定領域に対してマッティングを行って前景又は背景の判定を行う。図１２は、マッティング部４のブロック図である。図１２に示す様にマッティング部４は、マスク画像生成部４１と判定部４２とを備えている。マスク画像生成部４２は、不定領域決定部３が出力する各局所領域に対する光線空間データの光線の属性情報からマスク画像を生成する。図１５は、図１４の光線空間データから得たマスク画像を示す図であり、図１４と同じく白抜きの部分は不定領域を表しており、不定領域に囲まれた人の形状をした部分が前景でありそれ以外の部分が背景である。
【００３１】
図１３は、判定部４２による属性が不定である画素の前景又は背景の振り分けを説明する図である。図１３において、符号９０は、不定領域内の画素であり、点線は、画素９０を中心とするあらかじめ定めた大きさの領域である。判定部４２は、画素９０を中心とする所定の大きさの領域に含まれる前景画素と背景画素それぞれの画素値の平均値ｕ（Ｆ）及びｕ（Ｂ）と、分散ρ２（Ｆ）及びρ２（Ｂ）を求め、
ｕｔ＝（ｕ（Ｆ）＋ｕ（Ｂ））／２
σｔ２＝（σ２（Ｆ）＋σ２（Ｂ））／４
を求める。続いて、画素９０の位置を中心とし、平均値がｖ×ｕｔ、分散がσｔ２である２次元ガウス分布を求め、この２次元ガウス分布に画素９０の位置を代入した値を、画素９０の位置におけるエネルギー値Ｅとする。なお、ｖは画素９０の画素値である。
【００３２】
判定部４２は、上記エネルギー値Ｅに基づきダイナミックプログラミング法により境界線を決定する。具体的には、不定領域において選択する画素のエネルギー値Ｅと、その画素の位置で決まる値λ（ｄ１−ｄ２）２の和、つまり、
ΣＥ＋λΣ（ｄ１−ｄ２）２          （１）
が最小となる様に選択を行い、選択した不定領域の画素を物体表面の点又は背景と前景の境界における背景側の点とする。なお、λは所定の係数であり、式（１）の第２項は不定領域の中心を境界線として選択され易くするためのものである。なお、λは０であっても良い。
【００３３】
また、判定部４２は、上述したダイナミックプログラミング法以外にも、例えば、“Ｂａｙｅｓ  ｍａｔｔｉｎｇ”、“Ｋｎｏｃｋｏｕｔ”、“Ｐｏｉｓｓｏｎ  ｍａｔｔｉｎｇ”といった、公知の種々のマッティング方法を利用することも可能である。なお、マッティング部４は、マスク画像に変換することなく、図１４に示す光線空間データに対して上述した方法によりマッティングを行い、その後にマスク画像に変換することも可能である。具体的には、所定の高さ位置のＰ−θ面それぞれに対して上述した処理を行って境界を決定する。この場合には、処理したＰ−θ面の間の高さにおける境界は、処理したＰ−θ面の境界から決定し、その後、マスク画像に変換する。つまり、この場合、判定部４２とマスク画像生成部４１の順序は入れ替わることになる。
【００３４】
さらに、本発明による３次元物体モデル情報の生成装置は、上記、マスク画像生成装置が出力するマスク画像に対して、例えば、視体積交差法を適用すれことにより３次元物体モデル情報を生成する。
【００３５】
以上、本発明によるマスク画像生成装置は、まず、前処理部２において複数の画像から任意の方法にて３次元物体モデル情報を求める。しかしながら、この３次元物体モデル情報には誤差が含まれている可能性が高い。つまり、前処理部２が決定した前景と背景の境界は正確ではない。よって、不定領域決定部３は、前景と背景の境界の近傍領域に不定領域を設定する。本発明において、不定領域決定部３は、実空間の１点から発出される各光線の光線空間における分布とブロックマッチングによりこの不定領域を決定する。これによりマッティングを行う領域の絞込みを行い、マッティング処理負荷を抑える。マッティングは、光線空間データからマスク画像を生成した後にマスク画像に対して行っても、先に光線空間上で行い、その後にマスク画像を生成しても良い。
【００３６】
マッティングには公知の種々の方法を使用できるが、不定領域の画素を中心とする所定範囲に含まれる前景と背景の画素値に基づき前記中心の画素のエネルギー値を定義してダイナミックプログラミング法を適用することで効率的に前景と背景の境界を判定することができる。
【００３７】
なお、本発明によるマスク画像生成装置及び３次元物体モデル情報の生成装置は、コンピュータを上述した各機能ブロックとして機能させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。さらに、本発明は、ハードウェア及びソフトウェアの組合せによっても実現可能である。
【符号の説明】
【００３８】
１  保存部
２  前処理部
３  不定領域決定部
３１  探索範囲設定部
３２  ブロックマッチング部
３３  決定部
４  マッティング部
４１  マスク画像生成部
４２  判定部
６１、６２、６３  画像
７１、７２、７３、８１、８２  画素
９  局所領域
９１、９２、９３  視点
１００  カメラ
【図１】
2010237941.tif 000003
【図２】
2010237941.tif 000004
【図３】
2010237941.tif 000005
【図４】
2010237941.tif 000006
【図５】
2010237941.tif 000007
【図６】
2010237941.tif 000008
【図７】
2010237941.tif 000009
【図８】
2010237941.tif 000010
【図９】
2010237941.tif 000011
【図１０】
2010237941.tif 000012
【図１１】
2010237941.tif 000013
【図１２】
2010237941.tif 000014
【図１３】
2010237941.tif 000015
【図１４】
2010237941.tif 000016
【図１５】
2010237941.tif 000017