(57)【特許請求の範囲】
【請求項１】
複数の３次元モデルを併合する方法であって、該複数の３次元モデルの各々は、異なるビューポイントを有するカメラの画像から生成され、該方法は、
（ａ）３次元空間における複数の３Ｄ画素を決定することと、
該複数の３Ｄ画素におけるそれぞれの３Ｄ画素に対して、
（ｂ）複数の距離値を決定することであって、各距離値は、該３Ｄ画素から、カメラモデルの視点方向の該複数の３次元モデルからの対応する３次元モデルまでの距離であり、該カメラモデルは、該３次元モデルを生成するために使用されている、ことと、
（ｉ）該複数の距離値からの第一の距離値が、該３Ｄ画素と該第一の距離値に対応する該３次元モデルとの間の距離がしきい値の範囲内にあることを示し、かつ、（ｉｉ）該複数の距離値からの第二の距離値が、該３Ｄ画素が該しきい値の外側かつ該第二の距離値に対応する該３次元モデルの上方にあることを示す場合に、
（ｃ）該第一の距離値に対応する該３次元モデルの該カメラモデルの該視点が、該３Ｄ画素に正対するように配向されている度合を示す第一の信頼度スコアを決定することと、
（ｄ）該第二の距離値に対応する該３次元モデルの該カメラモデルの該視点が、該３Ｄ画素に正対するように配向されている度合を示す第二の信頼度スコアを決定することと、
（ｅ）該決定された第一および第二の信頼度スコアに少なくとも一部基づいて、該３Ｄ画素に対応する点を併合された３次元モデルに含むべきかどうかを決定することであって、該第二の信頼度スコアが、該第一の信頼度スコアよりも事前決定された度合だけ大きい場合に、該３Ｄ画素は、該併合された３次元モデルに含まれない、ことと
を含む方法。
【請求項２】
前記決定すること（ｃ）は、前記３次元モデルと前記カメラモデルの前記視点から前記３Ｄ画素に向かって延びている光線との間の角度に基づいて、該角度がより鋭角になるにつれて、前記点が前記併合された３次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定することを含む、請求項１に記載の方法。
【請求項３】
前記決定すること（ｃ）は、前記３Ｄ画素を基準として決定される近接域における前記対応する３次元モデルのサンプリング間の距離に基づいて、該サンプリング間の距離が増加するにつれて、前記点が前記併合された３次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定することを含む、請求項１に記載の方法。
【請求項４】
（ｆ）（ｉ）前記点が、（ｅ）において、前記併合された３次元モデルに含まれるように決定され、かつ、（ｉｉ）前記複数の決定された距離値からの第三および第四の距離値の両方が、前記３Ｄ画素とそれぞれの３次元モデルとの間の距離が前記しきい値を超過しないことを示す場合に、該第三および第四の距離値の両方に従って、該３Ｄ画素に対する重みを決定することと、
（ｇ）２つの隣接した３Ｄ画素に対して決定された重みに基づいて、該２つの隣接した３Ｄ画素の間で、該併合された３次元モデルの縁をどこに構築すべきかを決定することと
をさらに含む、請求項１に記載の方法。
【請求項５】
前記複数の３次元モデルにおける各３次元モデルは、深度マップとして表現されている、請求項１に記載の方法。
【請求項６】
前記複数の３次元モデルにおける各３次元モデルは、高度フィールドとして表現されている、請求項１に記載の方法。
【請求項７】
前記複数の３次元モデルにおける各３次元モデルは、ステレオ再構築である、請求項１に記載の方法。
【請求項８】
複数の３次元モデルを併合するシステムであって、該複数の３次元モデルの各々は、異なるビューポイントを有するカメラの画像から生成され、該システムは、
１つ以上のプロセッサーと、
該１つ以上のプロセッサーに連結されているメモリーと、
３次元空間における複数の３Ｄ画素を決定するように構成されている３Ｄ画素決定モジュールと、
該複数の３Ｄ画素におけるそれぞれの３Ｄ画素に対して、複数の距離値を決定するように構成されている距離テストモジュールであって、各距離値は、該３Ｄ画素から、カメラモデルの視点方向の該複数の３次元モデルからの３次元モデルまでの距離であり、該カメラモデルは、該３次元モデルを生成するために使用され、該距離テストモジュールは、該１つ以上のプロセッサーに実装されている、距離テストモジュールと、
信頼度スコアモジュールであって、該信頼度スコアモジュールは、（ｉ）該複数の距離値からの第一の距離値が、該３Ｄ画素と該第一の距離値に対応する該３次元モデルとの間の距離がしきい値の範囲内あることを示し、かつ、（ｉｉ）該複数の距離値からの第二の距離値が、該３Ｄ画素が該しきい値の外側かつ該第二の距離値に対応する該３次元モデルの上方にあることを示す場合に、
該第一の距離値に対応する該３次元モデルの該カメラモデルの該視点が、該３Ｄ画素に正対するように配向されている度合を示す第一の信頼度スコアを決定し、
該第二の距離値に対応する該３次元モデルの該カメラモデルの該視点が、該３Ｄ画素に正対するように配向されている度合を示す第二の信頼度スコアを決定する
ように構成されている、信頼度スコアモジュールと、
点セレクターモジュールであって、該点セレクターモジュールは、該決定された第一および第二の信頼度スコアに少なくとも一部基づいて、該３Ｄ画素に対応する点を併合された３次元モデルに含むべきかどうかを決定するように構成され、該第二の信頼度スコアが、該第一の信頼度スコアよりも事前決定された度合だけ大きい場合に、該３Ｄ画素は、該併合された３次元モデルに含まれない、点セレクターモジュールと
を含む、システム。
【請求項９】
前記信頼度スコアモジュールは、前記３次元モデルと前記カメラモデルの前記視点から前記３Ｄ画素に向かって延びている光線との間の角度に基づいて、該角度がより鋭角になるにつれて、前記点が前記併合された３次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定するように構成されている、請求項８に記載のシステム。
【請求項１０】
前記信頼度スコアモジュールは、前記３Ｄ画素を基準として決定された近接域における前記対応する３次元モデルのサンプリング間の距離に基づいて、該サンプリング間の距離が増加するにつれて、前記点が前記併合された３次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定するように構成されている、請求項８に記載のシステム。
【請求項１１】
モデル構築モジュールをさらに含み、該モデル構築モジュールは、（ｉ）前記点が、前記併合された３次元モデルに含まれるように前記点セレクターモジュールによって決定され、かつ、前記複数の決定された距離値からの第三および第四の距離値の両方が、前記３Ｄ画素とそれぞれの３次元モデルとの間の距離が前記しきい値を超過しないことを示す場合に、該第三および第四の距離値の両方に従って、該３Ｄ画素に対する重みを決定し、（ｉｉ）２つの隣接した３Ｄ画素に対して決定された重みに基づいて、該２つの隣接した３Ｄ画素の間で、該併合された３次元モデルの縁をどこに構築すべきかを決定するように構成されている、請求項８に記載のシステム。
【請求項１２】
前記複数の３次元モデルにおける各３次元モデルは、深度マップとして表現されている、請求項８に記載のシステム。
【請求項１３】
前記複数の３次元モデルにおける各３次元モデルは、高度フィールドとして表現されている、請求項８に記載のシステム。
【請求項１４】
前記複数の３次元モデルにおける各３次元モデルは、ステレオ再構築である、請求項８に記載のシステム。
【請求項１５】
非一時的なコンピューター読み込み可能な媒体を含むコンピュータープログラム製品であって、該媒体は、命令を記憶し、該命令は、コンピューティングデバイスによって実行されると、該コンピューティングデバイスに、複数の３次元モデルを併合する動作を実施させ、該複数の３次元モデルの各々は、異なるビューポイントを有するカメラの画像から生成され、該動作は、
（ａ）３次元空間における複数の３Ｄ画素を決定することと
該複数の３Ｄ画素におけるそれぞれの３Ｄ画素に対して、
（ｂ）複数の距離値を決定することであって、各距離値は、該３Ｄ画素から、カメラモデルの視点方向の該複数の３次元モデルからの対応する３次元モデルまでの距離であり、該カメラモデルは、該３次元モデルを生成するために使用されている、ことと、
（ｉ）該複数の距離値からの第一の距離値が、該３Ｄ画素と該第一の距離値に対応する該３次元モデルとの間の距離がしきい値の範囲内にあることを示し、かつ、（ｉｉ）該複数の距離値からの第二の距離値が、該３Ｄ画素が該しきい値の外側かつ該第二の距離値に対応する該３次元モデルの上方にあることを示す場合に、
（ｃ）該第一の距離値に対応する該３次元モデルの該カメラモデルの該視点が、該３Ｄ画素に正対するように配向されている度合を示す第一の信頼度スコアを決定することと、
（ｄ）該第二の距離値に対応する該３次元モデルの該カメラモデルの該視点が、該３Ｄ画素に正対するように配向されている度合を示す第二の信頼度スコアを決定することと、
（ｅ）該決定された第一および第二の信頼度スコアに少なくとも一部基づいて、該３Ｄ画素に対応する点を併合された３次元モデルに含むべきかどうかを決定することであって、該第二の信頼度スコアが、該第一の信頼度スコアよりも事前決定された度合だけ大きい場合に、該３Ｄ画素は、該併合された３次元モデルに含まれない、ことと
を含む、コンピュータープログラム製品。
【請求項１６】
前記決定すること（ｃ）は、前記３次元モデルと前記カメラモデルの前記視点から前記３Ｄ画素に向かって延びている光線との間の角度に基づいて、該角度がより鋭角になるにつれて、前記点が前記併合された３次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定することを含む、請求項１５に記載のコンピュータープログラム製品。
【請求項１７】
前記決定すること（ｃ）は、前記３Ｄ画素を基準として決定された近接域における前記対応する３次元モデルのサンプリング間の距離にも基づいて、該サンプリング間の距離が増加するにつれて、前記点が前記併合された３次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定することをさらに含む、請求項１６に記載のコンピュータープログラム製品。
【請求項１８】
前記動作は、
（ｆ）（ｉ）前記点が、（ｄ）において、前記併合された３次元モデルに含まれるように決定され、かつ、（ｉｉ）前記複数の決定された距離値からの第三および第四の距離値の両方が、前記３Ｄ画素とそれぞれの３次元モデルとの間の距離が前記しきい値を超過しないことを示す場合に、該第三および第四の距離値の両方に従って、該３Ｄ画素に対する重みを決定することと、
（ｇ）２つの隣接した３Ｄ画素に対して決定された重みに基づいて、該２つの隣接した３Ｄ画素の間で、該併合された３次元モデルの縁をどこに構築すべきかを決定することと
をさらに含む、請求項１７に記載のコンピュータープログラム製品。
【請求項１９】
前記複数の３次元モデルにおける各３次元モデルは、深度マップとして表現されている、請求項１５に記載のコンピュータープログラム製品。
【請求項２０】
前記複数の３次元モデルにおける各３次元モデルは、高度フィールドとして表現されている、請求項１５に記載のコンピュータープログラム製品。
【請求項２１】
前記複数の３次元モデルにおける各３次元モデルは、ステレオ再構築である、請求項１５に記載のコンピュータープログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
（背景）
（分野）
実施形態は、一般に、３次元モデリングに関連する。
【背景技術】
【０００２】
（関連技術）
写真家は、しばしば、高所（例えば、航空機）から地球の画像を撮る。そのような航空機からの写真は、異なる視点（ｐｅｒｓｐｅｃｔｉｖｅ）から撮られ得る。航空機からの写真から、３次元モデルは、例えば、ステレオマッチングを使用して構築され得る。ステレオマッチングを使用して構築されたモデルは、完全に正確ではないことがある。例えば、不正確は、基礎をなす画像における変動、カメラの視点における不正確、およびステレオマッチングアルゴリズムの限界によって、導入され得る。
【０００３】
構築された３次元モデルは、関連した視点を有し得る。例えば、３次元モデルは、関連した視点からの深度マップとして表現され得る。各深度マップは、想像上の「カメラ」とシーンの表面との間のピクセルによる距離を提供し得る。深度マップは、深度マップの関連した視点から明白である表面の３次元的特徴を説明することが可能であり得るが、深度マップは、深度マップの視点から見えなくされた３次元的特徴を説明することが不可能であり得る。この理由で、異なる視点を有する複数の深度マップは、３次元シーンを完全に説明するために必要とされ得る。
【発明の概要】
【課題を解決するための手段】
【０００４】
（簡単な概要）
実施形態は、異なるビューポイントを使用して生成された複数の深度マップを併合する。実施形態において、方法は、複数の３次元モデルを併合し、その複数の３次元モデルの各々は、異なるビューポイントを有するカメラの画像から生成された。方法は、３次元空間における複数の３Ｄ画素を決定することを含む。複数の３Ｄ画素におけるそれぞれの３Ｄ画素に対して、複数の距離値が、決定される。各決定された距離値は、３Ｄ画素から、カメラモデルの視点方向の３次元モデルまでの距離であり、そのカメラモデルは、３次元モデルを生成するために使用される。決定された距離値のうちの少なくとも１つが、３Ｄ画素と対応する３次元モデルとの間の距離がしきい値の範囲内にあること、または３Ｄ画素が対応する３次元モデルの上方に位置していることを示す場合、信頼度スコアは、決定され、信頼度スコアは、対応する３次元モデルのカメラモデルの視点が、３Ｄ画素に正対するように配向されている度合を示し、３Ｄ画素に対応する点を併合された３次元モデルに含むべきかどうかが、決定された信頼度スコアに少なくとも一部基づいて、決定される。
【０００５】
システムおよびコンピュータープログラム製品の実施形態も、開示される。
【０００６】
本発明の種々の実施形態の構造および動作と同様に、本発明のさらなる実施形態、特徴、および利点は、添付の図面を参照して下記に詳細に説明される。
本発明はさらに、たとえば、以下を提供する。
（項目１）
複数の３次元モデルを併合する方法であって、該複数の３次元モデルの各々は、異なるビューポイントを有するカメラの画像から生成され、該方法は、
（ａ）３次元空間における複数の３Ｄ画素を決定することと、
該複数の３Ｄ画素におけるそれぞれの３Ｄ画素に対して、
（ｂ）複数の距離値を決定することであって、各距離値は、該３Ｄ画素から、カメラモデルの視点方向の該複数の３次元モデルからの対応する３次元モデルまでの距離であり、該カメラモデルは、該３次元モデルを生成するために使用されている、ことと、
（ｉ）該複数の距離値からの第一の距離値が、該３Ｄ画素と該第一の距離値に対応する該３次元モデルとの間の距離がしきい値の範囲内にあることを示し、かつ、（ｉｉ）該複数の距離値からの第二の距離値が、該３Ｄ画素が該しきい値の外側かつ該第二の距離値に対応する該３次元モデルの上方にあることを示す場合に、
（ｃ）該第一の距離値に対応する該３次元モデルの該カメラモデルの該視点が、該３Ｄ画素に正対するように配向されている度合を示す第一の信頼度スコアを決定することと、
（ｄ）該第二の距離値に対応する該３次元モデルの該カメラモデルの該視点が、該３Ｄ画素に正対するように配向されている度合を示す第二の信頼度スコアを決定することと、
（ｅ）該決定された第一および第二の信頼度スコアに少なくとも一部基づいて、該３Ｄ画素に対応する点を併合された３次元モデルに含むべきかどうかを決定することであって、該第二の信頼度スコアが、該第一の信頼度スコアよりも事前決定された度合だけ大きい場合に、該３Ｄ画素は、該併合された３次元モデルに含まれない、ことと
を含む方法。
（項目２）
前記決定すること（ｃ）は、前記３次元モデルと前記カメラモデルの前記視点から前記３Ｄ画素に向かって延びている光線との間の角度に基づいて、該角度がより鋭角になるにつれて、前記点が前記併合された３次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定することを含む、項目１に記載の方法。
（項目３）
前記決定すること（ｃ）は、前記３Ｄ画素を基準として決定される近接域における前記対応する３次元モデルのサンプリング間の距離に基づいて、該サンプリング間の距離が増加するにつれて、前記点が前記併合された３次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定することを含む、項目１に記載の方法。
（項目４）
（ｆ）（ｉ）前記点が、（ｅ）において、前記併合された３次元モデルに含まれるように決定され、かつ、（ｉｉ）前記複数の決定された距離値からの第三および第四の距離値の両方が、前記３Ｄ画素とそれぞれの３次元モデルとの間の距離が前記しきい値を超過しないことを示す場合に、該第三および第四の距離値の両方に従って、該３Ｄ画素に対する重みを決定することと、
（ｇ）２つの隣接した３Ｄ画素に対して決定された重みに基づいて、該２つの隣接した３Ｄ画素の間で、該併合された３次元モデルの縁をどこに構築すべきかを決定することと
をさらに含む、項目１に記載の方法。
（項目５）
前記複数の３次元モデルにおける各３次元モデルは、深度マップとして表現されている、項目１に記載の方法。
（項目６）
前記複数の３次元モデルにおける各３次元モデルは、高度フィールドとして表現されている、項目１に記載の方法。
（項目７）
前記複数の３次元モデルにおける各３次元モデルは、ステレオ再構築である、項目１に記載の方法。
（項目８）
複数の３次元モデルを併合するシステムであって、該複数の３次元モデルの各々は、異なるビューポイントを有するカメラの画像から生成され、該システムは、
１つ以上のプロセッサーと、
該１つ以上のプロセッサーに連結されているメモリーと、
３次元空間における複数の３Ｄ画素を決定するように構成されている３Ｄ画素決定モジュールと、
該複数の３Ｄ画素におけるそれぞれの３Ｄ画素に対して、複数の距離値を決定するように構成されている距離テストモジュールであって、各距離値は、該３Ｄ画素から、カメラモデルの視点方向の該複数の３次元モデルからの３次元モデルまでの距離であり、該カメラモデルは、該３次元モデルを生成するために使用され、該距離テストモジュールは、該１つ以上のプロセッサーに実装されている、距離テストモジュールと、
信頼度スコアモジュールであって、該信頼度スコアモジュールは、（ｉ）該複数の距離値からの第一の距離値が、該３Ｄ画素と該第一の距離値に対応する該３次元モデルとの間の距離がしきい値の範囲内あることを示し、かつ、（ｉｉ）該複数の距離値からの第二の距離値が、該３Ｄ画素が該しきい値の外側かつ該第二の距離値に対応する該３次元モデルの上方にあることを示す場合に、
該第一の距離値に対応する該３次元モデルの該カメラモデルの該視点が、該３Ｄ画素に正対するように配向されている度合を示す第一の信頼度スコアを決定し、
該第二の距離値に対応する該３次元モデルの該カメラモデルの該視点が、該３Ｄ画素に正対するように配向されている度合を示す第二の信頼度スコアを決定する
ように構成されている、信頼度スコアモジュールと、
点セレクターモジュールであって、該点セレクターモジュールは、該決定された第一および第二の信頼度スコアに少なくとも一部基づいて、該３Ｄ画素に対応する点を併合された３次元モデルに含むべきかどうかを決定するように構成され、該第二の信頼度スコアが、該第一の信頼度スコアよりも事前決定された度合だけ大きい場合に、該３Ｄ画素は、該併合された３次元モデルに含まれない、点セレクターモジュールと
を含む、システム。
（項目９）
前記信頼度スコアモジュールは、前記３次元モデルと前記カメラモデルの前記視点から前記３Ｄ画素に向かって延びている光線との間の角度に基づいて、該角度がより鋭角になるにつれて、前記点が前記併合された３次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定するように構成されている、項目８に記載のシステム。
（項目１０）
前記信頼度スコアモジュールは、前記３Ｄ画素を基準として決定された近接域における前記対応する３次元モデルのサンプリング間の距離に基づいて、該サンプリング間の距離が増加するにつれて、前記点が前記併合された３次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定するように構成されている、項目８に記載のシステム。
（項目１１）
モデル構築モジュールをさらに含み、該モデル構築モジュールは、（ｉ）前記点が、前記併合された３次元モデルに含まれるように前記点セレクターモジュールによって決定され、かつ、前記複数の決定された距離値からの第三および第四の距離値の両方が、前記３Ｄ画素とそれぞれの３次元モデルとの間の距離が前記しきい値を超過しないことを示す場合に、該第三および第四の距離値の両方に従って、該３Ｄ画素に対する重みを決定し、（ｉｉ）２つの隣接した３Ｄ画素に対して決定された重みに基づいて、該２つの隣接した３Ｄ画素の間で、該併合された３次元モデルの縁をどこに構築すべきかを決定するように構成されている、項目８に記載のシステム。
（項目１２）
前記複数の３次元モデルにおける各３次元モデルは、深度マップとして表現されている、項目８に記載のシステム。
（項目１３）
前記複数の３次元モデルにおける各３次元モデルは、高度フィールドとして表現されている、項目８に記載のシステム。
（項目１４）
前記複数の３次元モデルにおける各３次元モデルは、ステレオ再構築である、項目８に記載のシステム。
（項目１５）
非一時的なコンピューター読み込み可能な媒体を含むコンピュータープログラム製品であって、該媒体は、命令を記憶し、該命令は、コンピューティングデバイスによって実行されると、該コンピューティングデバイスに、複数の３次元モデルを併合する動作を実施させ、該複数の３次元モデルの各々は、異なるビューポイントを有するカメラの画像から生成され、該動作は、
（ａ）３次元空間における複数の３Ｄ画素を決定することと
該複数の３Ｄ画素におけるそれぞれの３Ｄ画素に対して、
（ｂ）複数の距離値を決定することであって、各距離値は、該３Ｄ画素から、カメラモデルの視点方向の該複数の３次元モデルからの対応する３次元モデルまでの距離であり、該カメラモデルは、該３次元モデルを生成するために使用されている、ことと、
（ｉ）該複数の距離値からの第一の距離値が、該３Ｄ画素と該第一の距離値に対応する該３次元モデルとの間の距離がしきい値の範囲内にあることを示し、かつ、（ｉｉ）該複数の距離値からの第二の距離値が、該３Ｄ画素が該しきい値の外側かつ該第二の距離値に対応する該３次元モデルの上方にあることを示す場合に、
（ｃ）該第一の距離値に対応する該３次元モデルの該カメラモデルの該視点が、該３Ｄ画素に正対するように配向されている度合を示す第一の信頼度スコアを決定することと、
（ｄ）該第二の距離値に対応する該３次元モデルの該カメラモデルの該視点が、該３Ｄ画素に正対するように配向されている度合を示す第二の信頼度スコアを決定することと、
（ｅ）該決定された第一および第二の信頼度スコアに少なくとも一部基づいて、該３Ｄ画素に対応する点を併合された３次元モデルに含むべきかどうかを決定することであって、該第二の信頼度スコアが、該第一の信頼度スコアよりも事前決定された度合だけ大きい場合に、該３Ｄ画素は、該併合された３次元モデルに含まれない、ことと
を含む、コンピュータープログラム製品。
（項目１６）
前記決定すること（ｃ）は、前記３次元モデルと前記カメラモデルの前記視点から前記３Ｄ画素に向かって延びている光線との間の角度に基づいて、該角度がより鋭角になるにつれて、前記点が前記併合された３次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定することを含む、項目１５に記載のコンピュータープログラム製品。
（項目１７）
前記決定すること（ｃ）は、前記３Ｄ画素を基準として決定された近接域における前記対応する３次元モデルのサンプリング間の距離にも基づいて、該サンプリング間の距離が増加するにつれて、前記点が前記併合された３次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定することをさらに含む、項目１６に記載のコンピュータープログラム製品。
（項目１８）
前記動作は、
（ｆ）（ｉ）前記点が、（ｄ）において、前記併合された３次元モデルに含まれるように決定され、かつ、（ｉｉ）前記複数の決定された距離値からの第三および第四の距離値の両方が、前記３Ｄ画素とそれぞれの３次元モデルとの間の距離が前記しきい値を超過しないことを示す場合に、該第三および第四の距離値の両方に従って、該３Ｄ画素に対する重みを決定することと、
（ｇ）２つの隣接した３Ｄ画素に対して決定された重みに基づいて、該２つの隣接した３Ｄ画素の間で、該併合された３次元モデルの縁をどこに構築すべきかを決定することと
をさらに含む、項目１７に記載のコンピュータープログラム製品。
（項目１９）
前記複数の３次元モデルにおける各３次元モデルは、深度マップとして表現されている、項目１５に記載のコンピュータープログラム製品。
（項目２０）
前記複数の３次元モデルにおける各３次元モデルは、高度フィールドとして表現されている、項目１５に記載のコンピュータープログラム製品。
（項目２１）
前記複数の３次元モデルにおける各３次元モデルは、ステレオ再構築である、項目１５に記載のコンピュータープログラム製品。
（項目２２）
複数の３次元モデルを併合するシステムであって、該複数の３次元モデルの各々は、異なるビューポイントを有するカメラの画像から生成され、該システムは、
１つ以上のプロセッサーと、
該１つ以上のプロセッサーに連結されているメモリーと、
３次元空間における複数の３Ｄ画素を決定する手段と、
該複数の３Ｄ画素におけるそれぞれの３Ｄ画素に対して、複数の距離値を決定する手段であって、各距離値は、該３Ｄ画素から、カメラモデルの視点方向の該複数の３次元モデルからの３次元モデルまでの距離であり、該カメラモデルは、該３次元モデルを生成するために使用され、該距離テストモジュールは、該１つ以上のプロセッサーに実装されている、手段と、
（ｉ）該複数の距離値からの第一の距離値が、該３Ｄ画素と該第一の距離値に対応する該３次元モデルとの間の距離がしきい値の範囲内にあることを示し、かつ、（ｉｉ）該複数の距離値からの第二の距離値が、該３Ｄ画素が該しきい値の外側かつ該第二の距離値に対応する該３次元モデルの上方にあることを示す場合に、
該第一の距離値に対応する該３次元モデルの該カメラモデルの該視点が、該３Ｄ画素に正対するように配向されている度合を示す第一の信頼度スコアを決定し、
該第二の距離値に対応する該３次元モデルの該カメラモデルの該視点が、該３Ｄ画素に正対するように配向されている度合を示す第二の信頼度スコアを決定する
手段と、
該決定された第一および第二の信頼度スコアに少なくとも一部基づいて、該３Ｄ画素に対応する点を併合された３次元モデルに含むべきかどうかを決定する手段であって、該第二の信頼度スコアが、該第一の信頼度スコアよりも事前決定された度合だけ大きい場合に、該３Ｄ画素は、該併合された３次元モデルに含まれない、手段と
を含む、システム。
【０００７】
本明細書中に組み込まれ、本明細書の一部を形成する添付の図面は、本発明を図示し、添付の図面は、説明と共に、本発明の原理を明白にすること、および当業者が本発明を実施することを可能にすることにさらに役立つ。
【図面の簡単な説明】
【０００８】
【図１】図１は、異なるビューポイントから構築されたシーンの深度マップを図示している図である。
【図２】図２は、実施形態に従った、深度マップを併合する方法を図示しているフローチャートである。
【図３】図３は、図１におけるシーンのための３Ｄ画素格子を図示している図である。
【図４Ａ】図４Ａ〜Ｂは、３Ｄ画素格子を使用した距離測定値を図示している図である。
【図４Ｂ】図４Ａ〜Ｂは、３Ｄ画素格子を使用した距離測定値を図示している図である。
【図５】図５は、距離測定値の信頼度スコアを決定する方法を図示している図である。
【図６】図６は、符号付距離フィールドから併合された３次元モデルを構築することを図示している図である。
【図７】図７は、実施形態に従った、深度マップを併合するシステムを図示している図である。
【発明を実施するための形態】
【０００９】
要素が初めて現れる図は、典型的に、対応する参照数字における最も左の桁（単数または複数）によって、示される。図面において、同様の参照数字は、同一または機能的に類似した要素を示し得る。
【００１０】
（実施形態の詳細な説明）
上記で言及したように、異なる視点を有する複数の深度マップは、３次元シーンを完全に説明するために必要とされ得る。全体の３次元シーンの表現を生成するために、複数の深度マップは、１つの３次元的表現に併合される必要があり得る。複数の深度マップをさらに併合するための１つの方法は、共通部分をとることであり得る。共通部分をとるために、任意の測定された深度値より大きい任意の３Ｄ画素は、取り除かれ得る。しかし、本技術は、欠点をこうむり得る。特に、深度マップが、３次元的特徴が実際よりも奥行きの深いことを示す場合の任意の誤った測定値は、併合された深度マップ内へ伝播させられ得る。
【００１１】
深度マップにおけるノイズを補償するために、他の技術は、測定値を平均することにより、深度マップを併合する。しかし、上記で言及されたように、深度マップは、深度マップの関連した視点から明白である３次元的特徴のみを説明し得る。見えなくされた３次元的特徴は、深度マップにおいて全く表現されないこともある。同様に、深度マップの視点に正対していない特徴は、深度マップにおいて低い解像度でのみ表現され得る。これらの深度マップの測定値を、３次元的特徴のよりまっすぐな眺めを有する深度マップからの測定値と共に平均することは、併合された深度マップの正確さを低下させ得る。
【００１２】
少なくとも一部分欠点に対処するために、実施形態は、深度マップの測定値に関連した信頼度水準に基づいて、どの深度マップの測定値を併合して最終的な３次元モデルにするかを選択する。
【００１３】
一実施形態において、種々の深度マップは、複数の３Ｄ画素を含む符号付距離フィールドを決定するために使用され得る。符号付距離フィールドにおける各３Ｄ画素は、評価され得、どのような評価であるかに基づいて、３つの操作のうちの１つが、画素に対して行われることにより、併合された３次元モデルを決定することを助け得る。第一に、しきい値距離「ｔ」が与えられると、符号付距離値のうちの少なくとも１つが、−ｔよりも小さい場合、３Ｄ画素は、空に保たれ得る（例えば、３Ｄ画素に大きな負の値を割り当てる）。３Ｄ画素を空に保つことは、３Ｄ画素を併合された３次元モデルから切り取り得る。第二に、符号付距離値のうちの任意のものが、−ｔとｔとの間にある場合、３Ｄ画素の符号付距離は、それらの値の平均に設定され得る。２つの値の平均をとることによって、２つの併合深度マップは、その３Ｄ画素において併合され得る。第三に、符号付距離のうちの任意のものが、ｔよりも大きい場合、３Ｄ画素は、充填され得る（つまり、３Ｄ画素に大きな正の値を割り当てる）。このように、各３Ｄ画素は、切り取られ、併合され、または充填されることにより、併合された３次元モデルにおける対応する３Ｄ画素を決定し得る。
【００１４】
以下の実施形態の詳細な説明において、「一実施形態」、「実施形態」、「例示の実施形態」等への言及は、説明された実施形態が、特定の特徴、構造、または特性を含み得るが、あらゆる実施形態が、必ずしもその特定の特徴、構造、または特性を含まなくてもよいことを示す。そのうえ、そのような句は、必ずしも同じ実施形態を言及しているわけではない。さらに、特定の特徴、構造、または特性が、実施形態と関連して説明される場合、明示的に説明されていようとなかろうと、他の実施形態に関連したそのような特徴、構造、または特性をもたらすことは、当業者の知識の範囲内であることが思料される。
【００１５】
図は、例証の目的のために２次元断面図を図示しているが、当業者は、断面が、３次元要素を表現し得ることを認識する。
【００１６】
図１は、異なるビューポイントから構築されたシーンの深度マップを図示している図１００を示している。図１００は、仮想カメラ１０２から構築された３次元モデル１１２と、仮想カメラ１０４から構築された３次元モデル１１４とを図示する。両方の３次元モデル１１２および１１４は、建造物１３０を表現し得る。
【００１７】
３次元モデル１１２および１１４は、航空機または衛星の画像から生成されたステレオ再構築であり得る。画像は、種々の斜めまたは天底の視点における頭上カメラによって撮られ得る。画像において、特徴は検出され、互いに関連づけられる。既知の視点情報を使用して、３次元空間における点は、対応する特徴から三角測量される。これらの点は、２つの画像からステレオメッシュを決定するために使用され得る。このように、３次元モデルの情報は、２次元画像から決定され得る。
【００１８】
しかし、３次元モデルの情報は、関連づけられた視点情報も有し得る。例えば、３次元モデルの情報は、特定の仮想カメラから再構築され得る。実施形態において、少なくとも２つの画像のステレオ再構築を使用して決定されたステレオメッシュは、特定のカメラビューポイントに投影し返され得る。３次元モデルが、深度マップとして表現される場合の実施形態において、投影における各画素は、想像上のカメラ視点からその画素におけるステレオメッシュまでの距離を示す値を有し得る。３次元モデルが、高度フィールドとして表現される場合の実施形態において、投影における各画素は、その画素におけるステレオメッシュの高度を示す値を有し得る。どちらの実施形態においても、各ステレオメッシュ自身に対する３次元モデルは、視点情報を関連づけている。３次元モデルは、他の任意のタイプの表面であり得、その表面のために、符号付距離は、計算（例えば、閉じたメッシュ）または別の符号付距離フィールドであり得る。
【００１９】
図１００において、モデル１１２および１１４についての視点情報は、仮想カメラ１０２および１０４によって例証される。仮想カメラ１０２および１０４の各々は、対応する深度マップまたは高度フィールドについての視点またはビューポイントを指定するために必要とされるすべての情報を含み得る。例えば、各仮想カメラモデルは、対応する位置、配向、および視野を有し得る。そのうえ、各仮想カメラモデルは、直交投影または平行投影であり得る。
【００２０】
１つの統合された３次元モデルを生成するために、実施形態は、３次元モデル１１２および３次元モデル１１４を併合する。上記で言及されたように、モデル１１２および１１４を併合するための１つの方法は、２つのモデルの共通部分をとることであり得る。しかし、本技術が適用される場合、建造物１３０が、実際よりも低いことを示しているモデル１１２および１１４における任意の誤差は、最終的な併合されたモデルまで伝播する。例えば、図１００において、モデル１１４は、建造物１３０が、領域１２４において実際よりも低いと示している。モデルが、交わる場合、その誤差は、最終的な併合されたモデルまで伝播する。少なくとも一部分この誤差を避けるために、実施形態は、深度マップの測定値に関連した信頼度水準に基づいて、どの深度マップの測定値を併合して最終的な３次元モデルにするかを選択する。どの深度マップの測定値を併合して最終的な３次元モデルにするかを決定する方法は、図２に図示される。
【００２１】
図２は、実施形態に従った、深度マップを併合する方法２００を図示しているフローチャートである。方法２００は、図３〜６に図示されている例に関連して説明される。
【００２２】
方法２００は、３Ｄ画素格子の構築に関するステップ２０２において始まる。３Ｄ画素格子は、符号付距離フィールドであり得る。３Ｄ画素格子は、入力３次元モデルデータの解像度、または併合された３次元モデルの所望の解像度に従って、構築され得る。入力または所望の出力３次元モデルの解像度が増加する場合、３Ｄ画素格子は、より細かくあり得る。例示の３Ｄ画素格子は、図３に関連して例証される。
【００２３】
図３は、図１におけるシーンのための３Ｄ画素格子を図示している図３００を示す。３Ｄ画素格子における各３Ｄ画素は、３次元空間における関連した位置を有し得る。３Ｄ画素は、３次元環境の全域で規則的に間隔をあけられ得る。３Ｄ画素格子における各３Ｄ画素は、各３Ｄ画素が、併合された３次元モデルの一部であるかどうかについて、独立して評価され得る。
【００２４】
図３００の３Ｄ画素格子における３Ｄ画素は、連続的な解像度を有する規則的な空間であると示されている。しかし、当業者は、他の実施形態は、適応性のある解像度を含み得ることを認識する。規則的に間隔をあけられた３Ｄ画素におけるサンプリングの代わりに、適応性のある解像度を用いる場合、サンプリング点は、表面の近くではより密集し得るが、表面から遠くではむしろ密集しなくてもよい。本実施形態は、より少ないメモリー使用について、より多くの詳細を提供し得る。図２を再び参照すると、各３Ｄ画素またはサンプリング点の評価は、方法２００におけるステップ２０４において始まる。
【００２５】
ステップ２０４において、距離値は、各入力された３次元モデルに対して決定される。特に、距離値は、３Ｄ画素格子における３Ｄ画素と３次元モデルとの間の距離を表現し得る。各入力された３次元モデルに対して、距離は、３次元モデルに関連した視点方向に測定される。より具体的には、距離は、３Ｄ画素からまっすぐに仮想カメラに向かう光線または３Ｄ画素からまっすぐに仮想カメラから離れる光線に沿って測定され得る。３次元モデルが、高度フィールドまたは深度マップとして表現される場合、距離決定は、速い実行に役立つ単純なルックアップを含み得る。
【００２６】
距離は、符号付距離値であり得、符号付距離値の大きさ（絶対値）は、２点間の距離であり得ることを意味しているが、符号付距離値は、正または負にもなり得る。例えば、決定された距離値は、正であることにより、３Ｄ画素が、仮想カメラの視点からの３次元モデルの下方（または内側）に位置していることを示し、負の決定された距離値は、３Ｄ画素が、仮想カメラの視点からの３次元モデルの上方（または外側）に位置していることを示し得る。
【００２７】
ひとたび距離値が、各深度マップに対して決定されると、３Ｄ画素がモデルのはるか下方にあることを示している任意の距離値は、ステップ２０６において放棄される。実施形態において、３Ｄ画素が、モデルのはるか下方にあるかどうかを決定するために、距離値は、距離値がしきい値を超過するかどうかを調べるために評価され得る。しきい値を超過する距離値は、３Ｄ画素が３次元モデルの視点の所与の眺めから見えなくされていることを示し得るので、しきい値を超過する距離値は、放棄される。対象が、３次元モデルの１つの視点からの眺めから見えなくされている一方、他のモデルは、３Ｄ画素のより良い眺めを有する角度から構築され得る。この理由で、３Ｄ画素がモデルの内側深くに位置していることを示している大きな距離値は、有用な情報を提供しなくてもよい。本ステップは、例えば、図４Ａに関連して例証される。
【００２８】
図４Ａは、３Ｄ画素に対する種々の距離測定値を図示している図４００を示す。図１００および図１と同様に、図４００は、対応する仮想カメラ１０２および１０４を有する３次元モデル１１２および１１４を示す。そのうえ、図４００は、仮想カメラ４０６の視点から構築された３次元モデル４１６を示す。図４００は、３Ｄ画素４０２に対して生成された３次元モデルの各々についての距離値を図示する。
【００２９】
特に、図４００は、モデル１１２についての距離４３２と、モデル１１４についての距離４３４と、モデル４１６についての距離４３６とを示す。例えば、仮定のしきい値距離が、５ｍであったと仮定する。図４００に図示されているように、距離４３４は、＋７ｍと測定され、３Ｄ画素４０２が、表面１１４の７ｍ下方にあることを意味している。その例において、距離４３４は、方法２００のステップ２０６において無視される。距離４３６および４３２は、より詳細に下記に説明される。
【００３０】
図２を再び参照すると、ステップ２０６において、モデルの内側深くにある距離測定値を取り除いた後、残りの距離は、評価されることにより、決定ボックス２０８において、距離が、３Ｄ画素がモデルのはるか上方にあることを示すかどうかを決定する。距離が、３Ｄ画素がモデルのはるか上方にあることを示すかどうかを決定するために、距離値は、負のしきい値と比較され得る。距離が、負のしきい値の下方にある（大きさが、しきい値の大きさを超過する）場合、距離は、３Ｄ画素が対応するモデルのはるか上方にあることを示す。そうでなければ、距離は、３Ｄ画素が対応するモデルのはるか上方にあることを示さない。距離測定値が、３Ｄ画素が対応するモデルのはるか上方にあることを示さない場合、方法は、ステップ２１４へ進み、表面のはるか下方（例えば、しきい値のはるか下方）にあると決定された任意の測定値は、放棄され得る。測定値は、単にその測定値に対する信頼度をゼロに設定することによって、放棄され得る。そうでなければ、方法は、ステップ２１０へ進む。決定された距離が、３Ｄ画素がモデルのはるか上方にあることを示す例は、図４Ｂに図示されている。
【００３１】
図４Ｂは、３Ｄ画素に対する種々の距離測定値を図示している図４５０を示す。図１００および図１、ならびに図４Ｂの図４００と同様に、図４５０は、対応する仮想カメラ１０２および１０４を有する３次元モデル１１２および１１４を示す。そのうえ、図４５０は、仮想カメラ４５８の視点から構築された３次元モデル４６８を示す。図４５０は、３Ｄ画素４５２のために生成された３次元モデルの各々についての距離値を図示する。
【００３２】
特に、図４５０は、モデル１１２についての距離４８６と、モデル１１４についての距離４３４と、モデル４１６についての距離４３８とを示す。例えば、仮定のしきい値距離が、−４ｍであったと仮定する。図４００に図示されているように、距離４８６は、−７ｍと測定され、３Ｄ画素４０２が、表面１１４の７ｍ下方にあることを意味している。その例において、距離４８６は、方法２００のステップ２０８において、３Ｄ画素が、３次元モデルのはるか上方にあることを示す。結果として、方法２００は、ステップ２１０へ進む。距離４３６および４３２は、より詳細に下記に説明される。
【００３３】
ステップ２１０において、信頼度スコアは、その距離に対して決定される。信頼度スコアは、深度マップにおいて読み込む距離の質を推定し得る。一般に、特徴のよりまっすぐな通常の眺めは、特徴のより接線に沿った眺めよりも高い解像度、およびことによると良い質を有する。その理由で、信頼度スコアは、対応する３次元モデルのカメラモデルの視点が、３Ｄ画素領域に正対するように配向されている度合を示し得る。信頼度スコアを決定する方法の例は、図５に図示されている。
【００３４】
図５は、距離測定値の信頼度スコアを決定する方法を図示している図５００を示す。図５００は、３Ｄ画素４５２と仮想カメラ４５８から構築された３次元モデル４６８とについて測定された距離４８６における信頼度を決定する方法を図示する。光線５７０は、仮想カメラ４５８から３Ｄ画素４５２を通って延びることにより、点５６０において３次元モデル４６８と交わる。３次元モデル４６８が、深度マップまたは高度フィールドとして表現される場合の実施形態において、位置５６０を決定することは、単純なルックアップを含み得る。光線２７０と３次元モデル４６８の間に、角度５５２が、決定され得る。決定された角度５５２は、信頼度スコアを決定するために使用され得る。角度５５２が、より鈍角になるにつれて、併合された３次元モデルに３Ｄ画素４５２を含む可能性は、増加し得る。同様に、角度５５２が、より鋭角になるにつれて、併合された３次元モデルに３Ｄ画素４５２を含む可能性は、減少し得る。このように、３次元モデルと仮想カメラの視点との間の角度は、併合された３次元モデルを決定することを助けるために使用され得る。
【００３５】
角度に加えて、近くのサンプリング点の頻度も、併合された３次元モデルを決定するために使用され得る。図５００において、３次元モデル４６８は、点５６０においてサンプリングされた。点５６０に隣接したサンプリング点が、決定され得る。サンプリング点間の距離が、決定され得、信頼度スコアが、その距離に基づいて決定され得る。図５００において、点５６０は、サンプリング点５６２に隣接し得る。点５６０と点５６２との間で、距離５５４が、測定され得る。距離値４８６における信頼度の水準を示している信頼度スコアは、測定された距離５５４に基づいて決定され得る。距離５５４が、より長くなるにつれて、併合された３次元モデルに３Ｄ画素４５２を含む可能性は、減少し得る。同様に、距離５５４が、より短くなるにつれて、併合された３次元モデルに３Ｄ画素４５２を含む可能性は、増加し得る。このように、距離５５４と角度５５２との両方が、測定された距離４８６における信頼度の水準を決定するために使用され得る。
【００３６】
他の実施形態において、ステレオマッチングの質は、信頼度スコアを決定するために使用され得る。そのうえ、信頼度スコアは、上記で説明された方法のうちの任意のものの組み合わせを使用して決定され得る。
【００３７】
さらなる例において、重みつき平均は、複数の信頼度値がある場合に使用され得る。例えば、図４を再び参照すると、距離４８２が、信頼度値０．２を有し、距離４８４が、０．５の信頼度値を有し、距離４８６が、信頼度値０．１を有する場合、３Ｄ画素４５２の３Ｄ画素格子に記憶され得る総計の符号付距離値は、（２＊０．２＋３＊０．５−７＊０．１）／（０．２＋０．５＋０．１）＝１．５である。
【００３８】
図２を再び参照すると、ひとたび信頼度スコアが、ステップ２１０において決定されると、信頼度スコアは、ステップ２１２において、併合された３次元モデルに３Ｄ画素を含むべきかどうかを決定するために使用される。実施形態において、ステップ２１２は、近距離と遠距離との両方に対して決定された信頼度スコアを使用し得る。図５に関連して論じられた技術を使用して、値Ｃ近は、近距離に対して決定され得、値Ｃ遠は、遠距離に対して決定され得る。３Ｄ画素は、ステップ２１２において、以下の式が満足される場合に含まれ得る：Ｃ近＜αＣ遠、ここで、αは、事前定義されたバイアス値、または他の事前決定された度合である。このように、方法２００は、ステップ２１２において、３Ｄ画素が、併合された３次元モデルに含まれるべきかどうかを決定する。
【００３９】
３Ｄ画素が含まれない場合、大きな負の距離が、３Ｄ画素格子に記憶され得る。その値は、３Ｄ画素の後のアルゴリズムが、併合された３次元モデルに含まれるべきではないことを示し得る。３Ｄ画素が、含まれる場合（決定ブロック２１６）、符号付距離は、ステップ２１４において３Ｄ画素に対して決定される。符号付距離に加えて、当業者は、重みが使用され得ることを認識する。
【００４０】
ステップ２１４において、符号付距離は、３Ｄ画素に対して決定される。符号付距離は、例えば、ステップ２０６および２０８において論じられた２つのしきい値間で測定された距離測定値に基づいて、決定され得る。これら２つのしきい値間の距離値は、対応する３次元モデルが、３Ｄ画素に近いことを示す。符号付距離は、例えば、３Ｄ画素に十分に近い残りの距離値を平均すること、または重みつき平均をとることによって、決定され得る。ステップ２１４の例は、図４Ａにおける距離４３２および４３６、ならびに図４Ｂにおける距離４８２および４８４に関連して例証される。
【００４１】
図４Ａにおいて、距離４３２および４３６は、３Ｄ画素に十分に近い。特に、それらの距離は、ステップ２０６および２０８に関連して前に説明されたしきい値の範囲内にあり得る。３Ｄ画素４０２に対する符号付距離を決定するために、距離値は、平均され得る。図４００に図示されているように、距離４３６は、３Ｄ画素４０２が、モデル４１６の２メートル下方にあることを示し、＋２ｍの距離値を生み出す。同様に、距離４３２は、３Ｄ画素４０２が、モデル４１６の３メートル上方にあることを示し、−３ｍの距離値を生み出す。それから、それぞれの符号付距離値は、平均され、−０．５の３Ｄ画素４０２に対する重みをもたらし得る。この符号付距離４０２は、３Ｄ画素格子または符号付距離フィールドに記憶され得る。
【００４２】
同様に、図４Ｂにおいて、距離４８２および４８４は、３Ｄ画素に十分に近い。特に、それらの距離は、ステップ２０６および２０８に関連して前に説明されたしきい値の範囲内にあり得る。３Ｄ画素４５２に対する符号付距離を決定するために、距離値は、平均され得る。図４５０に図示されているように、距離４８２は、３Ｄ画素４５２が、モデル４１６の２メートル下方にあることを示し、＋２ｍの距離値を生み出す。同様に、距離４８４は、３Ｄ画素４５２が、モデル４１６の３ｍ下方にあることを示し、＋３ｍの距離値を生み出す。それから、それぞれの符号付距離値は、平均され、＋２．５の３Ｄ画素４５２に対する符号付距離をもたらし得る。この符号付距離４０２はまた、３Ｄ画素格子に記憶され得る。
【００４３】
決定ブロック２１８において、ステップ２０４〜２１６は、ステップ２０２において構築された３Ｄ画素空間における各３Ｄ画素に対して反復される。この反復の結果として、３Ｄ画素格子は、各３Ｄ画素に対する符号付距離値を含み得る。符号付距離のこの３次元行列は、ステップ２２０において、併合された３次元モデルを構築するために使用され得る。併合された３次元モデルは、３Ｄ画素格子における値に基づいて、併合された３次元モデルの縁を画定することによって構築され得る。一例において、縁は、正の値を有する３Ｄ画素と負の値を有する３Ｄ画素との間に画定され得る。正の３Ｄ画素と負の３Ｄ画素との間の位置の間で、縁の位置は、正および負の値の相対的な大きさに基づいて画定され得る。
【００４４】
３Ｄ画素格子から、メッシュ表面を導き出すいくつかの方法があり得る。一例は、マーチングキューブアルゴリズムの使用である。ステップ２２０の別の例は、図６に図示されている。
【００４５】
図６は、実施形態に従って、符号付の符号付距離の行列から併合された３次元モデル６０２を構築することを図示している図６００を示す。特に図６００は、隣接した３Ｄ画素６１２および６１４を有する３Ｄ画素格子を図示する。３Ｄ画素６１２が、関連づけられた正の符号付距離（＋３）を有し、３Ｄ画素６１４が、関連づけられた負の符号付距離（−１）を有するので、３次元モデル６０２は、３Ｄ画素６１２と３Ｄ画素６１４との間のあたりに構築される。さらに、３Ｄ画素６１４の符号付距離の大きさ（１）が、３Ｄ画素６１２の符号付距離の大きさ（３）よりも小さいので、３次元モデル６０２は、３Ｄ画素６１２よりも３Ｄ画素６１４の近くを通過するように構築され得る。３Ｄ画素６１４と３Ｄ画素６１２との間の３次元モデル６０２の位置は、それぞれの符号付距離に線形に比例し得る。このように、併合された３次元モデル６０２は、３Ｄ画素格子を使用して決定され得る。
【００４６】
図７は、実施形態に従った、深度マップを併合するシステム７００を図示している図である。実施形態において、システム７００は、図２における方法に従って動作し得る。システム７００は、複数の入力深度マップ７０２を入力として受信する処理パイプラインサーバー７１０を含む。入力３次元モデル７０２が、深度マップと呼ばれているが、当業者は、３次元モデルデータを表現する他の方法があることを認識する。例えば、３次元モデル７０２は、高度フィールドとしても表現され得る。３次元モデル７０２の各々は、特定の視点からのステレオ再構築であり得る。入力３次元モデル７０２から、処理パイプラインサーバー７１０は、併合されたモデル７３０を生成する。
【００４７】
処理パイプラインサーバー７１０は、３Ｄ画素空間モジュール７１２と、距離テストモジュール７１４と、信頼度スコアモジュール７１６と、点セレクターモジュール７１８と、モデル構築モジュール７２０とを含む。これらのモジュールの各々は、下記に説明される。
【００４８】
３Ｄ画素空間モジュール７１２は、３次元空間における複数の３Ｄ画素を決定するように構成されている。３Ｄ画素は、３次元環境の全域で規則的に間隔をあけられ得る。３Ｄ画素格子における各３Ｄ画素は、各３Ｄ画素が、併合された３次元モデルの一部であるかどうかについて、独立して評価され得る。３Ｄ画素空間モジュール７１２によって生成されうる例示の３Ｄ画素空間は、図３に図示されている。
【００４９】
距離テストモジュール７１４は、複数の３Ｄ画素においてそれぞれの３Ｄ画素に対する複数の距離値を決定するように構成されている。各距離値は、３Ｄ画素から、カメラモデルの視点方向の複数の深度マップ７０２からの３次元モデルまでの距離であり得、そのカメラモデルは、３次元モデルを生成するために使用される。種々の測定された距離の例は、図４Ａ〜Ｂに図示されている。
【００５０】
信頼度スコアモジュール７１６は、距離テストモジュール７１４によって決定されたそれぞれの距離に対する信頼度スコアを決定するように構成されている。信頼度スコアは、対応する３次元モデルのカメラモデルの視点が、３Ｄ画素に正対するように配向されている度合を示し得る。信頼度スコアモジュール７１６は、３次元モデルと、入力３次元モデルの視点から３Ｄ画素を通って延びている光線との間の角度に基づいて、信頼度スコアを決定するように構成され得る。同様に、信頼度スコアモジュール７１６は、３Ｄ画素を基準として決定された近接領域における対応する３次元モデルのサンプリング間の距離に基づいて、信頼度スコアを決定することを決定するように構成され得る。近接領域は、仮想カメラ情報に従ってレンダリングされる場合の３Ｄ画素を示す画素に隣接した画素を含み得る。信頼度スコアモジュール７１６は、図５に関連して説明されたような信頼度値を決定し得る。
【００５１】
点セレクターモジュール７１８は、決定された信頼度スコアに少なくとも一部基づいて、３Ｄ画素に対応する点を併合された３次元モデルに含むべきかどうかを決定するように構成されている。
【００５２】
モデル構築モジュール７２０は、第一および第二の距離値の両方に従って、３Ｄ画素に対する符号付距離を決定するように構成されている。さらに、モデル構築モジュール７２０は、２つの隣接した３Ｄ画素に対して決定された符号付距離に基づいて、２つの隣接した３Ｄ画素の間で、併合された３次元モデルの縁をどこに構築すべきかを決定するように構成されている。モデル構築モジュールの動作は、例えば、図６に関連して説明される。
【００５３】
処理パイプラインサーバー７１０は、任意のコンピューティングデバイスに実装され得る。そのようなコンピューティングデバイスは、パーソナルコンピューター、携帯電話のようなモバイルデバイス、ワークステーション、埋め込みシステム、ゲームコンソール、テレビジョン、セットトップボックス、または他の任意のコンピューティングデバイスを含み得るが、それらに制限されない。さらに、コンピューティングデバイスは、命令の実行および記憶のためのプロセッサーおよびメモリーを有するデバイスを含み得るが、そのデバイスに制限されない。ソフトウェアは、１つ以上のアプリケーションと、オペレーティングシステムとを含み得る。ハードウェアは、プロセッサー、メモリー、およびグラフィカルユーザーインターフェースディスプレイを含み得るが、それらに制限されない。コンピューティングデバイスはまた、複数のプロセッサーと、複数の共有または分離メモリー構成要素とを有し得る。例えば、コンピューティングデバイスは、クラスタコンピューティング環境またはサーバーファームであり得る。
【００５４】
３Ｄ画素空間モジュール７１２、距離テストモジュール７１４、信頼度スコアモジュール７１６、点セレクターモジュール７１８、およびモデル構築モジュール７２０の各々は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせに実装され得る。
【００５５】
概要および要約のセクションは、発明者（単数または複数）によって想定されるような本発明の１つ以上であるがすべてではない例示的実施形態を述べ得、したがって、概要および要約のセクションは、本発明および添付の特許請求の範囲を制限することは決して意図されない。
【００５６】
本発明は、指定された機能およびその関係の実装を例証している機能的な基本構成要素の助けを借りて上記で説明されてきた。これらの機能的な基本成要素の境界は、説明の便利のために、本明細書中に独断的に定義されてきた。指定された機能およびその関係が、適切に実施される限り、代替の境界は、定義され得る。
【００５７】
特定の実施形態の前述の説明は、本発明の一般的な性質を完全に明らかにするので、人々は、技術分野の範囲内の知識を適用することによって、過度な実験なしに、本発明の一般的な概念から逸脱することなしに、そのような特定の実施形態を種々の用途に容易に改変し、かつ／または適合させ得る。したがって、そのような適合および改変は、本明細書中に提示された教示および指導に基づいて、開示された実施形態の均等物の趣意および範囲の範囲内にあることが意図される。本明細書の用語または語法は、教示および指導の見地から当業者によって解釈されるように、本明細書中の語法または用語は、説明の目的のためのものであり、制限の目的のためのものではないことが理解される。
【００５８】
本発明の広さおよび範囲は、上記で説明された例示的実施形態のうちのいずれによっても制限されるべきではないが、本発明の広さおよび範囲は、下記の特許請求の範囲およびその均等物に従ってのみ定義されるべきである。
【図１】
0005592039.tif 000002
【図２】
0005592039.tif 000003
【図３】
0005592039.tif 000004
【図４Ａ】
0005592039.tif 000005
【図４Ｂ】
0005592039.tif 000006
【図５】
0005592039.tif 000007
【図６】
0005592039.tif 000008
【図７】
0005592039.tif 000009