(57)【要約】  三次元多視点再構成方法は、視界が狭い撮像装置（例えば、カメラ）から一連の二次元立体画像を取り出し、視界が広い物体又は風景の三次元表現を再構成する。三次元多視点再構成方法は、隣接するフレームにわたって二次元画素を追跡し、三次元モデル構築を介してフレーム統合を制約する。【選択図】図２
2019512781.tif 000002
【特許請求の範囲】
【請求項１】
装置の非一時的メモリにプログラムされた方法であって、
１つ以上の二次元立体画像を取得する工程と、
前記１つ以上の二次元立体画像を用いて三次元多視点画像を再構成する工程と、
前記三次元多視点画像を表示する工程とを備えることを特徴とする方法。
【請求項２】
前記１つ以上の二次元立体画像を取得する工程は、複数のカメラを利用して前記１つ以上の二次元立体画像を取得する工程を含む、請求項１に記載の方法。
【請求項３】
前記１つ以上の二次元立体画像を取得する工程は、前記１つ以上の二次元立体画像をサーバからダウンロードする工程を含む、請求項１に記載の方法。
【請求項４】
前記１つ以上の二次元立体画像は視界が狭い、請求項１に記載の方法。
【請求項５】
前記三次元多視点画像を再構成する工程は、
前記１つ以上の画像を修正する工程と、
画像間の視差を推定する工程と、
隣接するフレームにわたって二次元画素追跡を実施する工程と、
追跡された二次元画素を三次元座標にマッピングすることによって三次元姿勢を推定する工程と、
前記三次元姿勢に基づいて三次元モデルを構築する工程とを含む、請求項１に記載の方法。
【請求項６】
前記三次元多視点画像を再構成する工程は、
速度を上げるために前記１つ以上の画像のフレームを選択する工程と、
ノイズチェックを実行して、前記１つ以上の画像のうちの画像のノイズが閾値を上回る場合にその画像を破棄する工程と、
速度を上げるために前記１つ以上の画像内の関心領域を選択する工程とを含む、請求項５に記載の方法。
【請求項７】
前記三次元画像は三次元表面を備える、請求項１に記載の方法。
【請求項８】
前記三次元画像は三次元点群を備える、請求項１に記載の方法。
【請求項９】
装置であって、
アプリケーションを記憶するための非一時的メモリを備え、前記アプリケーションは、
１つ以上の二次元立体画像を取得し、
前記１つ以上の二次元立体画像を用いて三次元多視点画像を再構成し、
三次元多視点画像を表示するためのものであり、
装置は、前記メモリに結合されて前記アプリケーションを処理するように構成された処理構成部品を備えることを特徴とする装置。
【請求項１０】
前記１つ以上の二次元立体画像を取得することは、複数のカメラを利用して前記１つ以上の二次元立体画像を取得することを含む、請求項９に記載の装置。
【請求項１１】
前記１つ以上の二次元立体画像を取得することは、前記１つ以上の二次元立体画像をサーバからダウンロードすることを含む、請求項９に記載の装置。
【請求項１２】
前記１つ以上の二次元立体画像は視界が狭い、請求項９に記載の装置。
【請求項１３】
前記三次元多視点画像を再構成することは、
前記１つ以上の画像を修正することと、
画像間の視差を推定することと、
隣接するフレームにわたって二次元画素追跡を実施することと、
追跡された二次元画素を三次元座標にマッピングすることによって三次元姿勢を推定することと、
前記三次元姿勢に基づいて三次元モデルを構築することとを含む、請求項９に記載の装置。
【請求項１４】
前記三次元多視点画像を再構成することは、
速度を上げるために前記１つ以上の画像のフレームを選択することと、
ノイズチェックを実行して、前記１つ以上の画像のうち画像のノイズが閾値を上回る場合にその画像を破棄することと、
速度を上げるために前記１つ以上の画像内の関心領域を選択することとを含む、請求項１３に記載の装置。
【請求項１５】
前記三次元画像は三次元表面を備える、請求項９に記載の装置。
【請求項１６】
前記三次元画像は三次元点群を備える、請求項９に記載の装置。
【請求項１７】
システムであって、
１つ以上の二次元立体画像を取得するための複数のカメラと、
演算装置と、を備え、
前記演算装置は、
前記１つ以上の二次元立体画像を受け取り、
前記１つ以上の二次元立体画像を用いて三次元多視点画像を再構成し、
前記三次元多視点画像を表示するように構成されている、システム。
【請求項１８】
前記１つ以上の二次元立体画像を取得することは、複数のカメラを利用して前記１つ以上の二次元立体画像を取得することを含む、請求項１７に記載のシステム。
【請求項１９】
前記１つ以上の二次元立体画像を取得することは、前記１つ以上の二次元立体画像をサーバからダウンロードすることを含む、請求項１７に記載のシステム。
【請求項２０】
前記１つ以上の二次元立体画像は視界が狭い、請求項１７に記載のシステム。
【請求項２１】
前記三次元多視点画像を再構成することは、
１つ以上の画像を修正することと、
画像間の視差を推定することと、
隣接するフレームにわたって二次元画素追跡を実施することと、
追跡された二次元画素を三次元座標にマッピングすることによって三次元姿勢を推定することと、
前記三次元姿勢に基づいて三次元モデルを構築することとを含む、請求項１７に記載のシステム。
【請求項２２】
前記三次元多視点画像を再構成することは、
速度を上げるために前記１つ以上の画像のフレームを選択することと、
ノイズチェックを実行して前記１つ以上の画像のうちの画像のノイズが閾値を上回っている場合にその画像を破棄することと、
速度を上げるために前記１つ以上の画像内の関心領域を選択することとを含む、請求項２１に記載のシステム。
【請求項２３】
前記三次元画像は三次元表面を備える、請求項１７に記載のシステム。
【請求項２４】
前記三次元画像は三次元点群を備える、請求項１７に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願との相互関連］
この出願は、２０１６年３月９日に出願され名称が「特徴追跡及びモデル登録により三次元多視点を再構成するための方法」である米国仮特許出願第６２／３０５，６９６号の米国特許法第１１９条（ｅ）による優先権を主張し、この特許出願の内容は参照により本明細書に組み込まれる。
本発明は画像解析に関する。より詳細には、本発明は、三次元画像解析に関する。
【背景技術】
【０００２】
一般的な人間の視覚はその視界によって制限され、視界は、光景全体の狭い視野のみを通常カバーする。視界を拡大して環境や物体を広く知るために、いくつかの視野が使用されて人の心の内で環境を再構築する。同様に、コンピュータビジョンにつき、一般的な撮像装置／カメラは、物体又は風景のうち関心がある限られた部分のみを取り込む。さまざまな視野の場面を数枚準備することによって、コンピュータは、三次元でその周りの世界をより広く理解することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
三次元多視点再構成方法は、視界が狭い撮像装置（例えば、カメラ）から一連の二次元立体画像を取り出し、視界が広い物体又は風景の三次元表現を再構成する。三次元多視点再構成方法は、隣接するフレームにわたって二次元画素を追跡し、三次元モデル構築を介してフレーム統合を制約する。
【０００４】
１つの態様において、装置の非一時的メモリにプログラムされた方法は、１つ以上の二次元立体画像を取得する工程と、１つ以上の二次元立体画像を用いて三次元多視点画像を再構成する工程と、三次元多視点画像を表示する工程とを備える。１つ以上の二次元立体画像を取得する工程は、複数のカメラを利用して１つ以上の二次元立体画像を取得する工程を含む。１つ以上の二次元立体画像を取得する工程は、１つ以上の二次元立体画像をサーバからダウンロードする工程を含む。１つ以上の二次元立体画像は視界が狭い。三次元多視点画像を再構成する工程は、１つ以上の画像を修正する工程と、画像間の視差を推定する工程と、隣接するフレームにわたって二次元画素追跡を実施する工程と、追跡された二次元画素を三次元座標にマッピングすることによって三次元姿勢を推定する工程と、三次元姿勢に基づいて三次元モデルを構築する工程とを含む。三次元多視点画像を再構成する工程は、速度を上げるために１つ以上の画像のフレームを選択する工程と、ノイズチェックを実行して、１つ以上の画像のうち画像のノイズが閾値を上回る場合にその画像を破棄する工程と、速度を上げるために１つ以上の画像内の関心領域を選択する工程とを含む。三次元画像は三次元表面を備える。三次元画像は三次元点群を備える。
【０００５】
別の態様において、装置は、アプリケーションを記憶するための非一時的メモリを備え、アプリケーションは、１つ以上の二次元立体画像を取得し、１つ以上の二次元立体画像を用いて三次元多視点画像を再構成し、三次元多視点画像を表示するためであり、装置は、メモリに結合されてアプリケーションを処理するように構成された処理構成部品を備える。１つ以上の二次元立体画像を取得することは、複数のカメラを利用して１つ以上の二次元立体画像を取得することを含む。１つ以上の二次元立体画像を取得することは、１つ以上の二次元立体画像をサーバからダウンロードすることを含む。１つ以上の二次元立体画像は視界が狭い。三次元多視点画像を再構成することは、１つ以上の画像を修正することと、画像間の視差を推定することと、隣接するフレームにわたって二次元画素追跡を実施することと、追跡された二次元画素を三次元座標にマッピングすることによって三次元姿勢を推定することと、三次元姿勢に基づいて三次元モデルを構築することとを含む。三次元多視点画像を再構成することは、速度を上げるために１つ以上の画像のフレームを選択することと、ノイズチェックを実行して、１つ以上の画像のうち画像のノイズが閾値を上回る場合にその画像を破棄することと、速度を上げるために１つ以上の画像内の関心領域を選択することとを含む。三次元画像は三次元表面を備える。三次元画像は三次元点群を備える。
【０００６】
別の態様において、システムは１つ以上の二次元立体画像を取得するための複数のカメラと、演算装置であって、１つ以上の二次元立体画像を受け取り、１つ以上の二次元立体画像を用いて三次元多視点画像を再構成し、三次元多視点画像を表示するように構成された演算装置とを備える。１つ以上の二次元立体画像を取得することは、複数のカメラを利用して１つ以上の二次元立体画像を取得することを含む。１つ以上の二次元立体画像を取得することは、１つ以上の二次元立体画像をサーバからダウンロードすることを含む。１つ以上の二次元立体画像は視界が狭い。三次元多視点画像を再構成することは、１つ以上の画像を修正することと、画像間の視差を推定することと、隣接するフレームにわたって二次元画素追跡を実施することと、追跡された二次元画素を三次元座標にマッピングすることによって三次元姿勢を推定することと、三次元姿勢に基づいて三次元モデルを構築することとを含む。三次元多視点画像を再構成することは、速度を上げるために１つ以上の画像のフレームを選択することと、ノイズチェックを実行して、１つ以上の画像のうちの画像のノイズが閾値を上回っている場合にその画像を破棄することと、速度を上げるために１つ以上の画像内の関心領域を選択することとを含む。三次元画像は三次元表面を備える。三次元画像は三次元点群を備える。
【図面の簡単な説明】
【０００７】
【図１】一部の実施形態により三次元多視点を再構成する方法のフローチャートである。
【図２】一部の実施形態により二次元立体画像を用いて三次元多視点画像を再構成する工程の図である。
【図３】一部の実施形態による多視点再構成の例示的な結果を示す図である。
【図４】一部の実施形態による三次元多視点再構成方法を実施するように構成された例示的な演算装置のブロック図である。
【図５】一部の実施形態による装置のネットワークの図である。
【発明を実施するための形態】
【０００８】
三次元多視点再構成方法は、視界が狭い撮像装置（例えば、カメラ）から一連の二次元立体画像を取り出し、視界が広い物体又は風景の三次元表現を再構成する。
【０００９】
図１は、一部の実施形態により三次元多視点を再構成する方法のフローチャートを例示する。工程１００にて、二次元立体画像を取得する。二次元立体画像は、二次元立体画像を取得するために１つ以上のカメラを使用し、又はサーバ（例えば、クラウドシステム又はインターネット）などの装置から二次元立体画像をダウンロードするなどの任意の方法で取得することができる。一部の実施形態では、二次元立体画像は視界（ＦＯＶ）が狭い。二次元立体画像は、所望の物体又は風景の複数の角度（例えば、物体の各辺、即ち上部、下部、左側、右側、前方、後方及び／又はそれらの間の角度が取り込まれるような様々な角度に由来する立体画像）に由来する。一部の実施形態では、二次元画像はビデオから抽出される。工程１０２にて、二次元立体画像を用いて三次元多視点画像が再構成される。一部の実施形態では、三次元表現はＦＯＶが広い。工程１０４にて、二次元又は三次元画像は表示及び／又は解析される。一部の実施形態では、より少ない又は追加の工程を実施する。一部の実施形態では、工程の順序を変更する。
【００１０】
図２は、一部の実施形態により二次元立体画像を用いて三次元多視点画像を再構成する工程を示す。二次元立体入力フレーム（狭いＦＯＶ）を受け取る。工程２００にて、速度を上げるためのフレームが選択される。一部の実施形態では、工程２００は随意的である。工程２０２にて、画像又は選択されたフレームが修正されて画像を共通の画像平面上に投影する。工程２０４にて、画像間の視差の推定値が計算される。工程２０６にて、三次元表示が投影される。一部の実施形態では、工程２０２〜２０６は、標準的な三次元立体再構成パイプラインの一部である。工程２０８にて、ノイズチェックが実施される。ノイズチェックは、フレーム内のノイズの量を決定し、ノイズの量を閾値と比較するなどの任意の方法で実施することができ、ノイズの量が閾値を上回る場合、フレームは破棄される。一部の実施形態では、工程２０８は随意的である。一部の実施形態では、工程２０８の後、プロセスは工程２１４に進む。工程２１０にて、画像内の関心領域（ＲＯＩ）が選択される。例えば、フレームの一部（例えば、ＲＯＩ）のみが選択される。一部の実施形態では、工程２１０は随意的である。工程２１２にて、隣接するフレームにわたる二次元画素追跡（例えば、オプティカルフロー）が実施される。例えば、二次元における画素の動きを追跡することによって、二次元物体がどの方向に動いているかを判定することが可能である。工程２１４にて、三次元姿勢が推定される。一部の実施形態では、二次元で追跡された点は、三次元姿勢推定値のための三次元座標にマッピングされる。三次元姿勢は、三次元剛性変換（回転、平行移動）を伴うランダムサンプルコンセンサス（ＲＡＮＳＡＣ）アルゴリズムを介して追跡された二次元特徴によって推定される。ＲＡＮＳＡＣは、フレーム−モデル登録のエラーをチェックすることによって修正される。工程２１６にて、推定された三次元姿勢に基づいて三次元モデルが構築される。三次元モデルは、全ての変換された入力を順次統合することによって構築される。例えば、三次元姿勢は、三次元モデルを生成するために結合される。所望の三次元出力は、アプリケーションに基づき、三次元表面レンダリング又はサンプリングを介して構築される。一部の実施形態では、三次元モデルは異なる方法で構築される。工程２１８にて、三次元表面が生成される。工程２２０にて、三次点群元点群が生成される。一部の実施形態では、工程２１８及び２２０の何れか又は両方が随意的である。一部の実施形態では、より少ない又は追加の工程が実施される。一部の実施形態では、工程の順序が変更される。
【００１１】
図３は、一部の実施形態による多視点再構成の例示的な結果を示す。本明細書で説明したように、三次元多視点再構成方法は、二次元立体画像３００を用いて、三次元再構成モデル３０２及び／又はサンプリングされた三次元点群３０４を生成する。
【００１２】
図４は、一部の実施形態による三次元多視点再構成方法を実施するように構成された例示的な演算装置のブロック図を示す。演算装置４００は、画像及びビデオなどの情報を取得し、記憶し、演算し、処理し、通信し及び／表示するために使用することができる。一般に、演算装置４００を実施するのに適するハードウェア構造は、ネットワークインターフェース４０２、メモリ４０４、プロセッサ４０６、入出力装置４０８、バス４１０及び記憶装置４１２を含む。十分な速度の適切なプロセッサが選択される限り、プロセッサの選択は重要ではない。メモリ４０４は、当技術分野で公知の従来の任意の内部記憶装置とすることができる。記憶装置４１２は、ハードドライブ、ＣＤＲＯＭ、ＣＤＲＷ、ＤＶＤ、ＤＶＤＲＷ、高精細度ディスク／ドライブ、超ＨＤドライブ、フラッシュメモリカード、又は他の任意の記憶装置を含むことができる。演算装置４００は、１つ以上のネットワークインターフェース４０２を含むことができる。ネットワークの例は、イーサネット（登録商標）又は他のタイプのＬＡＮに接続されたネットワークカードを含む。入出力装置４０８は、キーボード、マウス、モニタ、スクリーン、プリンタ、モデム、タッチスクリーン、ボタンインターフェース及び他の装置のうちの１つ以上のものを含むことができる。患者間脳登録方法に使用される三次元多視点再構成アプリケーション４３０は、記憶装置４１２及びメモリ４０４に記憶され、アプリケーションが一般的に処理されるように処理するのに適する。演算装置４００に、図４に示すよりも多い又は少ない構成部品を含めることができる。一部の実施形態では、三次元多視点再構成方法ハードウェア４２０が含まれる。図４の演算装置４００は、三次元多視点再構成方法のためのアプリケーション４３０及びハードウェア４２０を含むが、三次元多視点再構成方法は、演算装置によってハードウェア、ファームウェア、ソフトウェア又はそれらの任意の組み合わせで実施することができる。例えば、一部の実施形態では、三次元多視点再構成方法アプリケーション４３０は、メモリにプログラムされ、プロセッサを用いて実行される。別の例において、一部の実施形態では、三次元多視点再構成方法ハードウェア４２０は、三次元多視点再構成方法を実施するように特に設計されたゲートを含む、プログラムされたハードウェア論理である。
【００１３】
一部の実施形態では、三次元多視点再構成方法アプリケーション４３０は、複数のアプリケーション及び／又はモジュールを含む。一部の実施形態では、モジュールは１つ以上のサブモジュールも含む。一部の実施形態では、より少ない又は追加のモジュールを含めることができる。
【００１４】
適切な演算装置の例には、個人コンピュータ、膝のせ型コンピュータ、コンピュータワークステーション、サーバ、大型コンピュータ、手持ち型コンピュータ、携帯情報端末、携帯電話／移動電話、スマート電気器具、ゲーム機、デジタルカメラ、デジタルカムコーダー、カメラ付き携帯電話、スマートフォン、携帯音楽プレーヤ、タブレットコンピュータ、携帯機器、ビデオプレーヤ、ビデオディスク書き込み装置／画像再生装置（例えば、ＤＶＤ書き込み装置／画像再生装置、高精細度ディスク書き込み装置／画像再生装置、超高精細度ディスク書き込み装置／画像再生装置）、テレビジョン、家庭用娯楽機器システム、拡張現実感デバイス、仮想現実感デバイス、スマート宝石類（例えば、スマート時計）、又は他の任意の適切な演算装置を含むことができる。
【００１５】
図５は、一部の実施形態による装置のネットワークの図を例示する。複数のカメラ５００（例えば、ステレオ写真）を利用して画像／ビデオコンテンツを取得する。画像／ビデオコンテンツは、ネットワーク５０２（例えば、インターネット、セルラーネットワーク又は他のネットワーク）を介して演算装置５０４に送信される。一部の実施形態では、コンテンツはネットワークなしで演算装置に直接送信される。演算装置５０４は、本明細書に記載された三次元多視点再構成を実行するように構成されている。演算装置５０４は、サーバ、パーソナルコンピュータ、スマートフォンの任意の装置、又は本明細書に記載された装置の何れか、或いは本明細書に記載された装置の任意の組み合わせとすることができる。一部の実施形態では、演算装置５０４は、複数のカメラ５００のうちの１つ以上のカメラである。言い換えれば、カメラ５００は、三次元多視点再構成方法を実施する。
【００１６】
本明細書に記載した三次元多視点再構成方法を利用するために、画像は、立体写真のカメラを用いて取得する。画像は、次いで三次元多視点再構成を用いて処理される。処理は、人間の関与なしに自動的に行うことができる。
【００１７】
動作時、三次元多視点再構成方法により、ＦＯＶが狭い二次元画像は三次元コンテンツに効率的に変換することが可能となる。速度を上げるために二次元で追跡して、精度を上げるために三次元でモデル構築を使用することによって、より良い結果が得られる。三次元多視点再構成方法は、拡張現実感、三次元印刷、仮想現実感、及びローカライゼーション及びマッピングのための三次元物体及び風景モデリングで使用することができる。
【００１８】
特徴追跡及びモデル登録により三次元多視点を再構成するための方法のいくつかの実施形態
１．装置の非一時的メモリにプログラムされた方法であって、
１つ以上の二次元立体画像を取得する工程と、
１つ以上の二次元立体画像を用いて三次元多視点画像を再構成する工程と、
三次元多視点画像を表示する工程とを備える方法。
２．１つ以上の二次元立体画像を取得する工程は、複数のカメラを利用して１つ以上の二次元立体画像を取得する工程を含む項目１の方法。
３．１つ以上の二次元立体画像を取得する工程は、１つ以上の二次元立体画像をサーバからダウンロードする工程を含む項目１の方法。
４．１つ以上の二次元立体画像は視界が狭い項目１の方法。
５．三次元多視点画像を再構成する工程は、
１つ以上の画像を修正する工程と、
画像間の視差を推定する工程と、
隣接するフレームにわたって二次元画素追跡を実施する工程と、
追跡された二次元画素を三次元座標にマッピングすることによって三次元姿勢を推定する工程と、
三次元姿勢に基づいて三次元モデルを構築する工程とを含む項目１の方法。
６．三次元多視点画像を再構成する工程は、
速度を上げるために１つ以上の画像のフレームを選択する工程と、
ノイズチェックを実行して、１つ以上の画像のうち画像のノイズが閾値を上回る場合にその画像を破棄する工程と、
速度を上げるために１つ以上の画像内の関心領域を選択する工程とを含む項目５の方法。
７．三次元画像は三次元表面を備える項目１の方法。
８．三次元画像は三次元点群を備える項目１の方法。
９．装置であって、
アプリケーションを記憶するための非一時的メモリを備え、アプリケーションは、
１つ以上の二次元立体画像を取得し、
１つ以上の二次元立体画像を用いて三次元多視点画像を再構成し、
三次元多視点画像を表示するためのものであり、
装置は、メモリに結合されてアプリケーションを処理するように構成された処理構成部品を備える装置。
１０．１つ以上の二次元立体画像を取得することは、複数のカメラを利用して１つ以上の二次元立体画像を取得することを含む項目９の装置。
１１．１つ以上の二次元立体画像を取得することは、１つ以上の二次元立体画像をサーバからダウンロードすることを含む項目９の装置。
１２．１つ以上の二次元立体画像は視界が狭い項目９の装置。
１３．三次元多視点画像を再構成することは、
１つ以上の画像を修正することと、
画像間の視差を推定することと、
隣接するフレームにわたって二次元画素追跡を実施することと、
追跡された二次元画素を三次元座標にマッピングすることによって三次元姿勢を推定することと、
三次元姿勢に基づいて三次元モデルを構築することとを含む項目９の装置。
１４．三次元多視点画像を再構成することは、
速度を上げるために１つ以上の画像のフレームを選択することと、
ノイズチェックを実行して、１つ以上の画像のうち画像のノイズが閾値を上回る場合にその画像を破棄することと、
速度を上げるために１つ以上の画像内の関心領域を選択することとを含む、項目１３の装置。
１５．三次元画像は三次元表面を備える項目９の装置。
１６．三次元画像は三次元点群を備える項目９の装置。
１７．システムであって、
１つ以上の二次元立体画像を取得するための複数のカメラと、
演算装置であって、
１つ以上の二次元立体画像を受け取り、
１つ以上の二次元立体画像を用いて三次元多視点画像を再構成し、
三次元多視点画像を表示するように構成された演算装置とを備えるシステム。
１８．１つ以上の二次元立体画像を取得することは、複数のカメラを利用して１つ以上の二次元立体画像を取得することを含む項目１７のシステム。
１９．１つ以上の二次元立体画像を取得することは、１つ以上の二次元立体画像をサーバからダウンロードすることを含む項目１７のシステム。
２０．１つ以上の二次元立体画像は視界が狭い項目１７のシステム。
２１．三次元多視点画像を再構成することは、
１つ以上の画像を修正することと、
画像間の視差を推定することと、
隣接するフレームにわたって二次元画素追跡を実施することと、
追跡された二次元画素を三次元座標にマッピングすることによって三次元姿勢を推定することと、
三次元姿勢に基づいて三次元モデルを構築することとを含む項目１７のシステム。
２２．三次元多視点画像を再構成することは、
速度を上げるために１つ以上の画像のフレームを選択することと、
ノイズチェックを実行して、１つ以上の画像のうち画像のノイズが閾値を上回っている場合にその画像を破棄することと、
速度を上げるために１つ以上の画像内の関心領域を選択することとを含む項目２１のシステム。
２３．三次元画像は三次元表面を備える項目１７のシステム。
２４．三次元画像は三次元点群を備える項目１７のシステム。
【００１９】
本発明が、本発明の構成及び動作の原理の理解を容易にするための詳細を組み込んだ、特定の実施形態に関して説明された。本明細書において特定の実施形態及び実施形態の詳細に言及することは、添付の特許請求の範囲を限定しない。例示のために選択された実施形態において特許請求の範囲によって規定される本発明の精神及び範囲から逸脱することなく、他の様々な変更を行い得ることは、当業者であれば、見てすぐわかる。
【符号の説明】
【００２０】
２００  フレーム選択
２０２  修正
２０４  視差推定
２０６  三次元投影
２０８  ノイズチェック
２１０  関心領域区分
２１２  二次元追跡
２１４  三次元姿勢推定
２１６  三次元モデル構成
【図１】
2019512781.tif 000003
【図２】
2019512781.tif 000004
【図３】
2019512781.tif 000005
【図４】
2019512781.tif 000006
【図５】
2019512781.tif 000007
【国際調査報告】
2019512781.tif 000008