(57)【要約】      （修正有）【課題】対象物体の３Ｄモデルを判定するように、多素子ディスプレイ、カメラ及びコントローラを有するモバイル機器を使用するための方法及びシステムを提供する。【解決手段】多素子ディスプレイ３１６は、光照射野３１４を生成するように構成される。光照射野の少なくとも一部は、対象物体から反射する。カメラ３０４は、対象物体から反射された光照射野の一部に基づいて複数の画像を取得するように構成されている。コントローラは、画像に基づいて対象物体の３Ｄモデルを判定するように構成されている。３Ｄモデルは、対象物体に関する３次元形状及び色情報を含む。或る実施形態においては、光照射野は特定の光パターン、スペクトル成分、及びその他の変調／構成光の形態を含み得る。【選択図】図３Ａ
2014025935.tif 000002
【特許請求の範囲】
【請求項１】
モバイル機器であって、
多素子ディスプレイであり、光照射野を生成するように構成され、その光照射野の少なくとも一部は対象物体から反射する多素子ディスプレイと、
カメラであり、前記対象物体から反射した前記光照射野の前記一部に基づいて複数の画像を取得するように、且つ前記光照射野の少なくとも一つの変調に同期して前記複数の画像を取得するように構成されたカメラと、
コントローラであり、前記複数の画像に基づいて前記対象物体の３Ｄモデルを受け取るように構成され、その３Ｄモデルは、前記対象物体に関する３次元形状及び色情報を含み、前記コントローラは更に、前記３Ｄモデルに基づいて、前記対象物体の形状、前記対象物体の外観、及び前記対象物体の材料のうちの少なくとも一つを判定するように構成されたコントローラと、を備えるモバイル機器。
【請求項２】
請求項１のモバイル機器において、前記コントローラは更に、
検索クエリーを送信し、この検索クエリーは３Ｄモデルを含み、
検索クエリー結果を受信するように構成されているモバイル機器。
【請求項３】
請求項１のモバイル機器において、第２の光照射野を前記対象物体へ向かって与えるように構成されたプロジェクタを更に備えるモバイル機器。
【請求項４】
請求項１のモバイル機器において、前記多素子ディスプレイは複数の発光ダイオードを含むモバイル機器。
【請求項５】
請求項１のモバイル機器において、前記光照射野は、点の配列、ストライプの配列、格子パターン、同心円パターン、エアリー・ディスク、及び干渉パターンのうちの少なくとも一つを含むモバイル機器。
【請求項６】
請求項１のモバイル機器において、前記光照射野は、周囲の光源と比較して前記対象物体へ入射する光子の大部分を与えるように構成されているモバイル機器。
【請求項７】
請求項１のモバイル機器において、前記モバイル機器は、第１の側面と、この第１の側面の反対側の第２の側面とを含み、前記多素子ディスプレイ及び前記カメラは、第１の側面に位置しているモバイル機器。
【請求項８】
請求項１のモバイル機器において、前記コントローラは前記多素子ディスプレイを調整して、前記光照射野が少なくとも一つの変調を示すように構成されると共に、前記カメラは前記光照射野の前記少なくとも一つの変調に同期して前記複数の画像を取得するように構成されているモバイル機器。
【請求項９】
請求項１のモバイル機器において、前記光照射野の前記少なくとも一つの変調は、前記光照射野の色特性を変化させることを含むモバイル機器。
【請求項１０】
請求項９のモバイル機器において、前記コントローラは更に、前記光照射野の前記色特性及び前記対象物体の前記複数の画像に基づいて前記対象物体の材料を判定するように構成されているモバイル機器。
【請求項１１】
請求項１のモバイル機器において、前記光照射野の前記少なくとも一つの変調は、前記光照射野の少なくとも１つの変調は前記光照射野の光度を変化させることを含むモバイル機器。
【請求項１２】
請求項１のモバイル機器において、前記多素子ディスプレイに結合された光修正器を更に備え、その光修正器は前記多素子ディスプレイによって生成された光を修正するように構成されているモバイル機器。
【請求項１３】
請求項１２のモバイル機器において、前記光修正器は、格子、回折格子、及び回折光学素子のうちのの一つ以上からなるモバイル機器。
【請求項１４】
請求項１のモバイル機器において、モータ付マウントを更に含み、前記モバイル機器は、前記モータ付マウントに固定的に取り付けられるように構成されており、前記コントローラは、前記モータ付マウントを制御して、前記モバイル機器を異なる視野の間で移動させるように構成されており、前記カメラは更に、前記異なる視野から複数の画像を取得するように構成されており、前記コントローラは、前記異なる視野からの前記複数の画像に基づいて前記対象物体の前記３Ｄモデルを判定するように構成されているモバイル機器。
【請求項１５】
請求項１のモバイル機器において、前記コントローラは更に、前記対象物体の前記複数の画像に基づいて前記３Ｄモデルのテクスチャーを判定するように構成されており、前記対象物体の材料は、前記３Ｄモデルの前記テクスチャーに基づいて判定されるモバイル機器。
【請求項１６】
請求項１のモバイル機器において、前記コントローラは更に、前記対象物体の前記複数の画像に基づく前記３Ｄモデルの反射率を測定するように構成されており、前記対象物体の材料は、前記３Ｄモデルの前記反射率に基づいて判定されるモバイル機器。
【請求項１７】
対象物体をモバイル機器により照明し、そのモバイル機器は多素子ディスプレイ及びカメラを含み、前記多素子ディスプレイは、変調された光照射野を生成するように構成されており、前記変調された光照射野は対象物体を照明し、
前記カメラを用いて、前記対象物体の複数の画像を取得し、この複数の画像の取得は前記変調された光照射野の少なくとも一つの変調に同期するように構成され、
前記複数の画像に基づく前記対象物体の３Ｄモデルを受け取って、その３Ｄモデルは前記対象物体に関する３次元形及び色情報を含み、
前記３Ｄモデルに基づいて、前記対象物体の形状、前記対象物体の外観、及び前記対象物体の材料のうちの少なくとも一つを判定することを含む方法。
【請求項１８】
請求項１７の方法において、前記対象物体の前記複数の画像に基づいて前記３Ｄモデルのテクスチャーを判定すると共に、前記対象物体の材料の判定は、前記３Ｄモデルの前記テクスチャーに基づく方法。
【請求項１９】
請求項１７の方法において、前記対象物体の前記複数の画像に基づいて前記３Ｄモデルの反射率を測定すると共に、前記対象物体の材料の判定は、前記３Ｄモデルの前記反射率に基づく方法。
【請求項２０】
請求項１７の方法において、前記対象物体の前記複数の画像に基づいて前記３Ｄモデルの色を判定すると共に、前記対象物体の材料の判定は、前記３Ｄモデルの前記色に基づく方法。
【請求項２１】
請求項１７の方法において、前記対象物体は部屋及びこの部屋の内容物を含むと共に、前記対象物体の前記３Ｄモデルを受け取ることは、前記部屋の３Ｄモデルを判定することを含む方法。
【請求項２２】
コンピュータ・デバイスに機能を実行させるように、このコンピュータ・デバイスにより実行可能な記憶された指令を内部に有する非一時的コンピュータ可読媒体であり、前記機能は、
対象物体をコンピュータ・デバイスにより照明し、そのコンピュータ・デバイスは多素子ディスプレイ及びカメラを含むと共に、その多素子ディスプレイは光照射野を生成するように構成されており、前記光照射野は前記対象物体を照明し、
前記カメラを用いて、前記対象物体の複数の画像を取得し、
前記複数の画像に基づく前記対象物体の３Ｄモデルを受け取ると共に、前記３Ｄモデルは前記対象物体に関する３次元形状及び色情報を含み、
前記３Ｄモデルに基づいて、前記対象物体の形状、前記対象物体の外観、前記対象物体の材料のうちの少なくとも一つを判定することを含む非一時的コンピュータ可読媒体。
【請求項２３】
請求項２２の非一時的コンピュータ可読媒体において、前記コンピュータ・デバイスにより機能を実行させるように、前記コンピュータ・デバイスにより実行可能な指令を更に含み、その機能は、前記対象物体の前記複数の画像に基づいて前記３Ｄモデルのテクスチャーを判定することを含み、前記対象物体の材料の判定は、前記３Ｄモデルの前記テクスチャーに基づく非一時的コンピュータ可読媒体。
【請求項２４】
請求項２２の非一時的コンピュータ可読媒体において、前記コンピュータ・デバイスにより機能を実行させるように、前記コンピュータ・デバイスにより実行可能な指令を更に含み、その機能は、前記対象物体の前記複数の画像に基づいて前記３Ｄモデルの反射率を判定することを含み、前記対象物体の材料の判定は、前記３Ｄモデルの前記反射率に基づく非一時的コンピュータ可読媒体。
【請求項２５】
請求項２２の非一時的コンピュータ可読媒体において、前記コンピュータ・デバイスにより機能を実行させるように、前記コンピュータ・デバイスにより実行可能な指令を更に含み、その機能は、前記対象物体の前記複数の画像に基づいて前記３Ｄモデルの色を判定することを含み、前記対象物体の材料の判定は、前記３Ｄモデルの前記色に基づく非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】
この開示事項は米国仮特許出願第６１／６７５，５２５号（出願日：２０１２年７月２５日）の優先権を主張しており、その全体が参照により本明細書に組み込まれている。
【背景】
【０００２】
コンピュータ・グラフィックスにおいて、３次元（３Ｄ）モデリングは、物体の３Ｄ表面の表現の生成に関係する。この表現は３Ｄ物体データ・モデル又は単に３Ｄモデルと称されることがあり、３Ｄレンダリングによる二次元画像としてレンダリング又は表示することができるか、或いは３次元画像として表示することができる。３Ｄ物体データ・モデルは、様々な幾何学的構成要素、例えば三角形、線、曲面などにより接続された３Ｄ空間における点の集まりを用いる３Ｄ物体を表し得る。点クラウド及び幾何学的形状を利用する３Ｄ物体データ・モデルを生成するために様々な技術が存在する。
【概要】
【０００３】
第１の態様では、モバイル機器が与えられる。このモバイル機器は、多素子ディスプレイ、カメラ、及びコントローラを含む。多素子ディスプレイは、光照射野を生成するように構成されている。光照射野の少なくとも一部は対象物体から反射する。カメラは、対象物体から反射した光照射野の少なくとも一部に基づいて複数の画像を取得するように構成されている。このカメラは更に、少なくとも一つの変調に同期して複数の画像を取得するように構成されている。３Ｄモデルは、対象物体に関する三次元形状及び色情報を含む。コントローラは更に、３Ｄモデルに基づいて、対象物体の形状、対象物体の外観、及び対象物体の材料のうちの少なくとも一つを判定するように構成されている。
【０００４】
第２の態様では、方法が与えられる。この方法は、対象物体をモバイル機器で照明することを含む。モバイル機器は、多素子ディスプレイ及びカメラを含む。多素子ディスプレイは、変調された光照射野を生成するように構成されている。この変調された光照射野は、対象物体を照明する。この方法は、カメラを用いて、対象物体の複数の画像を取得することを含む。複数の画像の取得は、変調された光照射野の少なくとも一つの変調に同期するように構成されている。この方法は、複数の画像に基づく対象物体の３Ｄモデルを受け取ることを更に含む。この３Ｄモデルは、対象物体に関する３次元形状及び色情報を含む。この方法は、３Ｄモデルに基づいて、対象物体の形状、対象物体の外観、及び対象物体の材料のうちの少なくとも一つを判定することを更に含む。
【０００５】
第３の態様では、非一時的コンピュータ可読媒体が与えられる。この非一時的コンピュータ可読媒体は、コンピュータ・デバイスにより実行されて、コンピュータ・デバイスに機能を実行させる指令を含み、この機能は、対象物体をコンピュータ・デバイスで照明することを含む。コンピュータ・デバイスは、多素子ディスプレイ及びカメラを含む。多素子ディスプレイは、光照射野を生成するように構成されている。光照射野は、対象物体を照明する。この機能は、カメラを用いて、対象物体の複数の画像を取得することを含む。この機能は、複数の画像に基づく対象物体の３Ｄモデルを受け取ることを更に含む。この３Ｄモデルは、対象物体に関する３次元形状及び色情報を含む。この機能は、３Ｄモデルに基づいて、対象物体の形状、対象物体の外観、及び対象物体の材料のうちの少なくとも一つを判定することを更に含む。
【０００６】
上述の概要は例示のみであって、決して限定を意図するものではない。上述の例示的態様、実施形態、及び特徴に加えて、更なる態様、実施形態、及び特徴は、図面及び以下の詳細な説明を参照することによって明らかになる。
【図面の簡単な説明】
【０００７】
【図１Ａ】図１Ａは例示的実施形態によるサーバー・システムの機能的なブロック図である。
【０００８】
【図１Ｂ】図１Ｂは例示的実施形態による分散コンピューティング・アーキテクチュアの機能的なブロック図である。
【０００９】
【図１Ｃ】図１Ｃは例示的実施形態によるコンピュータ・デバイスの機能的なブロック図である。
【００１０】
【図１Ｄ】図１Ｄは例示的実施形態によるクラウド・ベースのサーバー・システムの機能的なブロック図である。
【００１１】
【図１Ｅ】図１Ｅは例示的実施形態によるコンピュータ・プログラム製品の概略図である。
【００１２】
【図２Ａ】図２Ａは例示的実施形態によるモバイル機器の機能的なブロック図である。
【００１３】
【図２Ｂ】図２Ｂは例示的実施形態によるモバイル機器の正面図である。
【図２Ｃ】図２Ｃは例示的実施形態によるモバイル機器の側面図である。
【図２Ｄ】図２Ｄは例示的実施形態によるモバイル機器の後面図である。
【００１４】
【図３Ａ】図３Ａは例示的実施形態により対象物体の画像を取得するようにモバイル機器を使用するための計画を示す。
【００１５】
【図３Ｂ】図３Ｂは例示的実施形態により対象物体の画像を取得するようにモバイル機器を使用するための計画を示す。
【００１６】
【図３Ｃ】図３Ｃは例示的実施形態により対象物体の画像を取得するようにモバイル機器を使用するための計画を示す。
【００１７】
【図３Ｄ】図３Ｄは例示的実施形態により対象物体の画像を取得するようにモバイル機器を使用するための計画を示す。
【００１８】
【図４】図４は例示的実施形態による方法のフローチャートである。
【詳細な説明】
【００１９】
以下の詳細な説明では、その一部をなす添付図面への参照がなされる。図面においては、文脈で指定しない限りは、同様な符号は同様な構成要素を一般的に特定する。詳細な説明及び図面で説明される実施形態は、限定を意味するものではない。本明細書に示される主題の要旨と目的を逸脱しない限り、その他の実施形態を利用でき、その他の変形例をなし得る。本明細書に一般的に説明されて、図面に図示されたような本開示事項の態様は、多種多様な異なる形態で配置、置換、組み合わせ、分離、及び設計することができ、それらの全てが本明細書に意図されている。
【００２０】
本明細書に説明された例示的実施形態は、モバイル機器の多素子ディスプレイから発生する光照射野で対象物体を照明し、カメラにより、対象物体から反射される光照射野の一部に基づいて複数の画像を取得し、その画像に基づいて対象物体の３Ｄモデルを判定することに関する。
【００２１】
本明細書に開示される幾つかの方法は、モバイル機器のユーザーの相互作用の有無にかかわらず、モバイル機器により部分的に又は完全に実行し得る。特定の実施形態に依存して、モバイル機器は、タブレット型コンピュータ、ラップトップ・コンピュータ、スマートフォン、無線携帯電話、又はその他の任意のモバイル・コンピュータ・デバイスを意味し得る。そのような例の中では、モバイル機器の多素子ディスプレイは、対象物体を照明するために使用し得る。対象物体は、モバイル機器のカメラの視野内の任意の物体であり得る。或る実施形態においては、多素子ディスプレイは、白色光及び／又は着色光を含む光照射野を与え得る。それに加えて、或いはそれに代えて、多素子ディスプレイは、様々な角度から対象物体上に照明を与えるように、多素子ディスプレイの異なる部分から光を生成し得る。多素子ディスプレイから発生する光照射野のその他の変調（例えば、強度、空間的広がり、色、分極化など）が可能である。
【００２２】
光照射野の少なくとも一部が対象物体を照明し得る間、カメラは対象物体と、対象物体から反射した光照射野の部分との画像を取得し得る。取得された画像に基づいて、３Ｄモデルを判定し得る。この３Ｄモデルは、対象物体に関する３次元形状及び色情報を含み得る。対象物体の幾何学的な範囲及び色に加えて、３次元形状及び色情報は、対象物体に関する照明情報などの更なる要素（例えば、対象物体表面の輝度及び反射率）を含み得る。
【００２３】
選択的に、３Ｄモデルに基づく検索クエリーをモバイル機器により送信し得る。検索クエリーは特定の目的の場合（例えば、対象物体の価格及び対象物体が購入可能な場所を検索する）もあり、或いは、検索クエリーは、一般的な（例えば、対象物体に関する更なる情報を一般的に与える）こともある。モバイル機器は、検索クエリー結果も選択的に受信し得る。検索クエリー結果は、例えば、対象物体及び／又は対象物体に類似する物体に関する更なる情報を示すサーバーからの返答を含み得る。検索クエリー結果は、付加的に又は代替的に対象物体の付加的な画像を取得することについての示唆を含み得る。
【００２４】
本明細書に開示される方法の部分は、サーバーにより部分的に実行し得る。例示的実施形態において、サーバーは、対象物体の３Ｄモデルを含む検索クエリー（例えば、モバイル機器からの検索クエリー）を受信し得る。この３Ｄモデルは対象物体の複数の画像に基づくことがあり、且つこの３Ｄモデルは対象物体に関する３次元形状形及び色情報を含み得る。３Ｄモデルは、第１の比較において形状検索データベースと比較し得る。サーバーは、第１の比較に基づいて検索クエリー結果を生成し得る。検索クエリー結果は、対象物体に関する情報、対象物体に類似した一つ以上の物に関する情報や対象物体の更なる画像を得る示唆を含み得る。サーバーは、検索クエリー結果（例えば、モバイル機器に）を送信し得る。
【００２５】
それに加えて、又はそれに代えて、一つ以上のサーバー（例えば、クラウド・ベースのサーバーにおいて）は、対象物体の３Ｄモデルの判定の一部若しくは全てを実行し得る。例えば、モバイル機器は対象の複数の画像を取得し得る。画像がサーバーへ送信されて、このサーバーは対象物体の３Ｄモデルを判定し得る。次いで、この３Ｄモデルはモバイル機器に送信されて受信し得る。サーバーとモバイル機器との間のその他の相互作用は、本開示事項の文脈の範囲内で可能である。
【００２６】
モバイル機器も本明細書に説明される。モバイル機器は、幾つかある要素の中でも特に、多素子ディスプレイ、カメラ、及びコントローラを含み得る。多素子ディスプレイはＬＣＤディスプレイ、或いは、当該分野で公知のその他の任意のマルチ・ピクセル配列ディスプレイとし得る。多素子ディスプレイは、対象物体を照明し得る光照射野を与えるように構成し得る。光照射野の一部は、対象物体から反射し得る。カメラは、対象物体から反射される光照射野の部分に基づいて対象物体の複数の画像を得るように構成し得る。コントローラは、画像に基づいて対象物体の３Ｄモデルを判定するように構成し得る。３Ｄモデルは、対象物体に関する３次元形状及び色情報を含み得る。
【００２７】
選択的に、コントローラは、３Ｄモデルに基づく検索クエリーを送信して、検索クエリー結果を受信するように構成し得る。多素子ディスプレイは、３Ｄモデルに関する幾つかある情報の中でも特に、３Ｄモデルのレンダリングされた表現を示すようにも構成し得る。
【００２８】
本明細書には、記憶された指令を有する非一時的コンピュータ可読媒体も開示される。その指令は、コンピュータ・デバイスに上述の方法で説明したものに類似した機能を実行させるように、コンピュータ・デバイスにより実行可能とし得る。
【００２９】
当業者は、モバイル機器の多素子ディスプレイによって生成された光照射野で対象物体を照明して、対象物体から反射された光照射野の部分に基づいて複数の画像を取得し、その画像に基づいて対象物体の３Ｄモデルを判定するために使用し得る多くの異なる特定の方法及びシステムが存在することを理解するであろう。これらの特定の方法及びシステムの各々は本開示事項の文脈の範囲内で意図されており、幾つかの例示的実施形態を以下に説明する。
【００３０】
図１Ａは、物体データ・モデリングのための例示的システム１００を示す。システム１００は、サーバー１０４へ接続された入力源１０２とデータベース１０６とを含む。サーバー１０４も、データベース１０６及び出力対象１０８に接続して示されている。システム１００はより多くの又はより少ない構成要素を含み、入力源１０２、サーバー１０４、データベース１０６、及び出力対象１０８の各々は同様に複数の要素から成り得るか、或いは、入力源１０２、サーバー１０４、データベース１０６、及び出力対象１０８の各々は同様に相互接続し得る。従って、システム１００の説明された機能の一つ以上は、更なる機能的若しくは物理的構成要素に分割し得るか、或いは、より少ない機能的若しくは物理的構成要素へ統合し得る。幾つかの更なる例では、更なる機能的及び／又は物理的構成要素を、図１Ａに示される例に追加し得る。
【００３１】
システム１００の構成要素は、ネットワーク（図示せず）、例えばローカル・エリア・ネットワーク（ＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、無線ネットワーク（Ｗｉ−Ｆｉ）又はインターネットなどを介して通信することができるように接続若しくは構成し得る。更に、システム１００の任意の構成要素は、有線又は無線通信を用いて互いに結合し得る。例えば、入力源１０２とサーバー１０４との間の通信リンクは、有線接続（例えばシリアル又はパラレル・バス）、又は無線リンク（例えば、ブルートゥース、ＩＥＥＥ  ８０２.１１（ＩＥＥＥ ８０２.１１はＩＥＥＥ  ８０２.１１−２００７、ＩＥＥＥ  ８０２．１１ｎ−２００９、又はその他の任意のＩＥＥＥ  ８０２．１１改訂版を意味し得る））、或いはその他の無線ベースの通信リンクを含み得る。
【００３２】
入力源１０２は、それから３Ｄモデル、又は物体データ・モデルをモバイル機器などで受信し得る源とし得る。或る例では、３Ｄモデル取得（形状及び外観）は、３Ｄの対象物体を走査するように供給元又は製造元により操作することによって達成し得る。例えば、構造光スキャナは対象物体の画像を取得し、対象物体の形状はモノクロ・ステレオ・カメラ及びパターン・プロジェクターを用いて復元し得る。画像から３次元形状及び色情報を復元する様々な方法が当該分野で知られている。例えば、Ｓｔｒｕｃｔｕｒｅ  Ｆｒｏｍ  Ｍｏｔｉｏｎ（ＳＦＭ）、立体知覚、マルチスコピー、構造光による照明、及びその他の技法がコンピュータ視覚の分野で知られており、３Ｄ画像化は、３Ｄモデルを形成するように個々に若しくは様々な組み合わせで使用し得る。
【００３３】
他の例では、入力源１０２は、色テクスチャー情報のために画像を取得するのに用いられるであろう高解像度デジタル一眼レフ（ＤＳＬＲ）カメラを含み得る。更にその他の例では、描画の粗いコンピュータ支援製図（ＣＡＤ）のセットを、各々の物体について受信し得る。更にその他の例では、モバイル機器（例えば、電話、タブレット型コンピュータ、ラップトップ・コンピュータなど）は対象物体の複数の画像を獲得して、その画像から３Ｄモデルを判定し得る。従って、入力源１０２は、３Ｄモデルを様々な形態でサーバー１０４へ与え得る。一つの例として、物体の多重走査は、統合されたメッシュと資産データ・モデルへ処理されて、その形態でサーバー１０４へ与え得る。他の例として、入力源１０２は、検索クエリーの状況の範囲内で３Ｄモデルを与え得る。
【００３４】
或いは、モバイル機器は、光照射野を生成し得る多素子ディスプレイを有し得る。光照射野の一部は、対象物体から反射し得る。モバイル機器は、対象物体から反射される光照射野の一部に基づいて複数の画像を取得し得るカメラを含み得る。モバイル機器からのこれらの画像は、３Ｄモデル情報がシステムにより判定される入力源に相当し得る。或いは、モバイル機器は３Ｄモデルを判定し、この３Ｄモデル（他の情報の中でも特に）は、説明されたシステムへの入力と見做し得る。
【００３５】
サーバー１０４は、モデル・ビルダー１１０、物体データ・モデル・プロセッサ１１２、意味及び検索インデックス１１４、及びグラフィックス・ライブラリ１１６を含む。サーバー１０４の任意の構成要素は、互いに結合し得る。それに加えて、サーバー１０４の任意の構成要素は、代替的に、サーバー１０４に結合する個別の構成要素とし得る。サーバー１０４は、例えば、サーバー１０４の構成要素の機能を実行するように、プロセッサと、プロセッサによって実行可能な指令を含むメモリとを更に含み得る。
【００３６】
モデル・ビルダー１１０は入力源１０２から各物体についてのメッシュ・データ・セットを受信し、それは濃密な表面メッシュ幾何形状を規定するデータ・セットを含み、３Ｄの物体の動画モデルを生成し得る。例えば、モデル・ビルダー１１０はメッシュ表面から一貫性のあるテクスチャー・アンラッピング（ｕｎｗｒａｐｐｉｎｇ）を実行し、その幾何形状からエミュレートされる表面のテクスチャーを判定し得る。
【００３７】
物体データ・モデル・プロセッサ１１２は、入力源１０２から各々の物体についてのメッシュ・データ・セットも受信して、表示メッシュを生成し得る。例えば、走査されたメッシュ画像は、テクスチャー保存デシメーションを利用して大幅に（例えば、５００万から１２０,０００の表面まで）縮小し得る。テクスチャー・マップ生成をマップ・レンダリングのための色テクスチャーを判定するために実行することもできる。テクスチャー・マップの全てを生成するために、各々の画像ピクセルは、予め定められたテクスチャー・ピクセルに関連付けることができる。
【００３８】
意味及び検索インデックス１１４は、縮小されて圧縮された取得された画像又は処理画像を受信して、テクスチャー再サンプリング、更には形状に基づく指標付けを実行し得る。例えば、各々の物体について、意味及び検索インデックス１１４は、画像の構成要素（例えば、ピクセル毎の）に特定のテクスチャー、色、形状、幾何形状、特性、その他を有するものとして、インデックスを付けるか又は分類し得る。
【００３９】
グラフィック・ライブラリ１１６は、例えば、メッシュ・ファイル・サイズを減らすために、ＷｅｂＧＬ又はＯｐｅｎＧＬメッシュ圧縮を含み得る。グラフィックス・ライブラリ１１６は、３Ｄ物体データ・モデル（又は３Ｄモデル）を例えばブラウザにおける表示のための形態で与え得る。或る例では、３Ｄ物体データ・モデル・ビューアは、３Ｄ物体データ・モデルの画像を表示するために使用し得る。３Ｄ物体データ・モデル・ビューアは、例えば、ウェブ・ブラウザ内のＷｅｂＧＬ、又はＯｐｅｎＧＬを用いて実装し得る。
【００４０】
形状検索データベース１０６は、３Ｄ物体データ・モデルについての全てのデータ・セットを、表示のための捕捉された生データから処理されたデータへの幾つもの様々な形態で記憶し得る。更に、形状検索データベース１０６は、３Ｄモデルとの比較のための形状参照ライブラリとして働き得る。例えば、検索クエリーの形態で入力源１０２から３Ｄモデルを受け取ると、３Ｄモデルは、検索クエリー結果を生成するための情報を得る目的で、形状検索データベース１０６と比較し得る。検索クエリー結果は、形状検データベース１０６における物体などの情報を含むことがあり、これは形状、テクスチャー、色、大きさ、境界付けされた体積、輝度、反射率、及び／又はその他の任意の指標付けされた物体特性の任意の組み合わせと同様である。
【００４１】
形状検索データベース１０６は、サーバー１０４へ通信可能に結合されているが、サーバー１０４へ物理的に若しくは別の方式で接続されていることは要求されない。形状検索データベース１０６は、サーバー１０４へ統合し得る。形状検索データベース１０６は、３Ｄモデルと形状検索データベース１０６内の物体との間に一致が存在するか否かを判定する目的で、システム１００のその他の要素と関連して使用し得る。
【００４２】
出力対象１０８は、幾つかの異なる対象、例えばインターネットの上のウェブ・ページ、検索エンジン、データベース、その他を含み得る。出力対象１０８は、３Ｄ物体データ・モデルに基づく製品広告又は製品検索を可能とする３Ｄ物体データ・モデル・ビューアを含み得る。本明細書における例では、出力源１０８は入力源１０２を更に含み得る。例えば、モバイル機器はシステム１００への検索クエリーに３Ｄモデルを与えて、入力源１０２と見做し得る。このような例では、システム１００は検索クエリー結果を生成して、検索クエリー結果をモバイル機器へ送信し得る。従って、モバイル機器は出力対象１０８とも見做し得る。その他の出力対象１０８が可能である。例えば、検索クエリー結果は、システム１００から様々なモバイル機器へ送信し得る。
【００４３】
図１Ｂ、１Ｃ及び１Ｄは、本明細書に説明された少なくとも幾つかの実施形態により配置されたシステムで用いられるコンピュータ・デバイスの例を示す。特定の実施形態に依存して、コンピュータ・デバイスは、パーソナル・コンピュータ、モバイル機器、携帯電話、装着型コンピュータ、タブレット型コンピュータ、又はサーバーとし得る。コンピュータ・デバイスは、対象物体を光照射野で照明して、対象物体から反射される光照射野の一部に基づいて複数の画像を得て、この画像に基づいて対象物体の３Ｄモデルを生成するシステムと方法を実装するために使用し得る。方法は、上述して図１Ａに示し、また、本開示事項中の何処か他の場所に示すように、３Ｄモデルを含む検索クエリーの送信／受信し、この３Ｄモデルを形状検索データベースと比較して、その比較に基づいて検索クエリー結果を生成して、この検索クエリー結果を送信／受信することを選択的に含み得る。
【００４４】
図１Ｂは、ネットワーク１２６を介して、プログラム可能デバイス１２４ａ，１２４ｂ，及びと１２４ｃと通信するように構成されたサーバー・デバイス１２８，１３０を示す。ネットワーク１２６は、ＬＡＮ、ワイド・エリア・ネットワーク（ＷＡＮ）、企業内イントラネット、公衆インターネット、又はネットワーク化されたコンピュータ・デバイスの間で通信経路を与えるように構成されたその他の任意の形式のネットワークに相当し得る。ネットワーク１２６は、一つ以上のＬＡＮ、ＷＡＮ、企業内イントラネット、及び／又は公衆インターネットの組合せにも相当し得る。
【００４５】
図１Ｂは三つのプログラム可能デバイスを示すのみであるが、分散型アプリケーション構造は、数十、数百、数千、又は更に多くのプログラム可能デバイスを果たし得る。更に、プログラム可能デバイス１２４ａ，１２４ｂ，及び１２４c（又は任意の更なるプログラム可能デバイス）は、任意の種類のコンピュータ・デバイス、例えばラップトップ・コンピュータ、タブレット型コンピュータ、デスクトップ・コンピュータ、ネットワーク端末、ワイヤレス通信デバイス（例えば、携帯電話又はスマートフォン）、その他とし得る。或る実施形態において、プログラム可能デバイス１２４ａ，１２４ｂ，及び１２４ｃは、ソフトウェア・アプリケーションの設計及び使用専用とし得る。他の実施形態においては、プログラム可能デバイス１２４ａ，１２４ｂ，及び１２４ｃは、幾つかのタスクを果たすように構成されて、ソフトウェア開発ツール専用とする必要がない汎用コンピュータとし得る。
【００４６】
サーバー・デバイス１２８，１３０は、プログラム可能デバイス１２４ａ，１２４ｂ，及び／又は１２４ｃによって要請されるように、一つ以上のサービスを実行するように構成することができる。例えば、サーバー・デバイス１２８及び／又は１３０は、プログラム可能デバイス１２４ａ−１２４ｃにコンテンツを与えることができる。コンテンツは、ウェブ・ページ、ハイパーテキスト、スクリプト、バイナリデータ（例えばコンパイルされたソフトウェア）、画像、オーディオ及び／又はビデオを含むことができるが、これらに限定されるものではない。このコンテンツは、圧縮及び／又は非圧縮コンテンツを含むことができる。このコンテンツは暗号化及び／又は非暗号化することができる。その他の形式のコンテンツが同様に可能である。
【００４７】
他の例として、サーバー・デバイス１２８及び／又は１３０は、プログラム可能デバイス１２４ａ-１２４ｃにデータベース、検索、計算、グラフィック、音声、ビデオ、ワールドワイド・ウェブ/インターネット利用、及び／又はその他の機能用のソフトウェアへのアクセスを与えることができる。多くのその他のサーバー・デバイスの例が同様に可能である。
【００４８】
図１Ｃは、例示的実施形態によるコンピュータ・デバイス（例えば、システム）のブロック図である。特に、図１Ｃに示されるコンピュータ・デバイス１５０は、サーバー・デバイス１２８，１３０、ネットワーク１２６、及び／又は一つ以上のプログラム可能デバイス１２４ａ，１２４ｂ，及び１２４ｃの一つ以上の機能を実行するように構成することができる。コンピュータ・デバイス１５０は、ユーザー・インターフェース・モジュール１５１、ネットワーク通信インターフェース・モジュール１５２、一つ以上のプロセッサ１５３、及びデータ・ストレージ１５４を含むことがあり、その全てはシステム・バス、ネットワーク又はその他の接続機構１５５によってリンクし得る。
【００４９】
ユーザー・インターフェース・モジュール１５１は、外部ユーザー入力／出力デバイスに対して、データを送信し、及び／又はデータを受信するように操作することができる。例えば、ユーザー・インターフェース・モジュール１５１は、ユーザー入力デバイス（例えば、キーボード、キーパッド、タッチスクリーン、コンピュータ・マウス、トラック・ボール、ジョイスティック、カメラ、音声認識モジュール、及び／又はその他の類似したデバイス）に対して、データを送信及び／又は受信するように構成することができる。ユーザー・インターフェース・モジュール１５１は出力をユーザー・ディスプレイ・デバイス（例えば一つ以上の陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）、デジタル光処理（ＤＬＰ）を用いるディスプレイ、プリンター、電球、及び／又は現在知られているか又は後に開発されるその他の類似のデバイス）に与えるように構成することもできる。ユーザー・インターフェース・モジュール１５１は、一つ又は複数の可聴出力を生成するように構成することもでき、これは例えば、スピーカー、スピーカー・ジャック、音声出力ポート、音声出力デバイス、イヤホン、及び／又はその他の類似したデバイスである。
【００５０】
ネットワーク通信インターフェース・モジュール１５２は、一つ以上の無線インターフェース１５７及び／又は一つ以上の有線インターフェース１５８を含むことができ、これらはネットワーク（例えば図１Ｂに示されるネットワーク１２６）を介して通信するように構成可能である。無線インターフェース１５７は、一つ以上の無線送信機、受信機、及び／又はトランシーバー（例えばブルートゥース・トランシーバー、ＺｉｇＢｅｅトランシーバー、Ｗｉ−Ｆｉトランシーバー、ＷｉＭＡＸトランシーバー、及び／又は無線ネットワークを介して通信するように構成可能なその他の類似した形式の無線トランシーバー）を含むことができる。有線インターフェース１５８は、一つ以上の有線送信機、受信機、及びトランシーバー（例えばイーサネット・トランシーバー、ユニバーサル・シリアル・バス（ＵＳＢ）トランシーバー、或いは、ツイスト・ペア・ワイヤー、同軸ケーブル、光ファイバー・リンク、又は有線ネットワークへの類似した物理的接続を介して通して通信するように構成可能な類似のトランシーバー）を含むことができる。
【００５１】
或る実施形態において、ネットワーク通信インターフェース・モジュール１５２は、信頼性のある、安全な、及び／又は認証された通信を与えるように構成することができる。ここに説明した各通信に対して、信頼性のある通信を保証するための情報（即ち、保証されたメッセージ配信）を、おそらくメッセージ・ヘッダー及び／又はフッター（例えば、パケット/メッセージ配列情報、封入ヘッダー及び／又はフッター、サイズ/時間情報、及び伝達確認情報、例えばＣＲＣ及び／又はパリティ・チェック値）の一部として、与えることができる。通信は一つ以上の暗号プロトコル及び／又はアルゴリズム、例えば、これらに限定されるものではないが、ＤＥＳ、ＡＥＳ、Ｄｉｆｆｉｅ−Ｈｅｌｌｍａｎ、及び／又はＤＳＡを用いて安全にする（例えば、コード化又は暗号化）ことができ、及び／又は、解読／復号することができる。他の暗号のプロトコル及び／又はアルゴリズムを同様に、或いはここに列挙したものに加えて使用することができ、通信を安全に（及び次いで解読/復号）することができる。
【００５２】
プロセッサ１５３は、一つ以上の汎用プロセッサ及び／又は一つ以上の特殊用途プロセッサ（例えば、デジタル信号プロセッサ、アプリケーション特定集積回路など）を含むことができる。プロセッサ１５３は、データ・ストレージ１５４に包含されたコンピュータ可読プログラム指令１５６ａ及び／又は本明細書に説明されたようなその他の指令を実行するように構成することができる。
【００５３】
データ・ストレージ１５４は、一つ以上のコンピュータ可読記憶媒体を含むことができ、これはプロセッサ１５３の少なくとも一つによって読み取り及び／又はアクセスすることができる。一つ以上のコンピュータ可読記憶媒体は揮発性及び／又は不揮発性記憶要素、例えば光学的、磁気的、有機的又はその他のメモリ若しくはディスク・ストレージを含むことができ、これは全体又は一部をプロセッサ１５３の少なくとも一つと統合することができる。或る実施形態において、データ・ストレージ１５４は単独の物理的デバイス（例えば、一つの光学的、磁気的、有機的又はその他のメモリ若しくはディスク記憶ユニット）を用いて実施することができ、一方、他の実施形態においては、データ・ストレージ１５４は二つ以上の物理的デバイスを用いて実施することができる。
【００５４】
データ・ストレージ１５４は、コンピュータ可読プログラム指令１５６ａ、実環境１５６ｂ、及びおそらくは更なるデータを含むことができる。実環境１５６ｂは、少なくとも一つ以上のプロセッサ及び／又はソフトウェア・アプリケーションのスレッドにより用いられたデータの少なくとも幾つかを記憶することができる。或る実施形態においては、データ・ストレージ１５４は、本明細書に説明した方法及び技法の少なくとも一部及び／又は本明細書に説明したデバイス及びネットワークの機能の少なくとも一部を実行するのに要求されるストレージを更に含むことができる。
【００５５】
図１Ｄは、例示的実施形態によるクラウド・ベースのサーバー・システムとして配置されたコンピュータ・クラスタ１５９ａ，１５９ｂ，１５９ｃのネットワーク１２６を図示する。サーバー・デバイス１２８及び／又は１３０は、クラウド・ベースのデバイスとすることができ、これは、クラウド・ベースのアプリケーション及び／又はサービスのプログラム論理及び／又はデータを記憶する。或る実施形態において、サーバー・デバイス１２８及び／又は１３０は、単独のコンピューティング・センターに駐在する単独のコンピュータ・デバイスとすることができる。他の実施形態において、サーバー・デバイス１２８及び／又は１３０は、単独のコンピューティング・センターにおける複数のコンピュータ・デバイス、或いは様々な地理的位置に位置する複数のコンピューティング・センターに位置する複数のコンピュータ・デバイスさえ含むことができる。例えば、図１Ｂは、異なる物理的位置に駐在するサーバー・デバイス１２８及び１３０の各々を図示する。
【００５６】
或る実施形態において、サーバー・デバイス１２８及び／又は１３０におけるデータ及びサービスは、有形のコンピュータ可読媒体（又はコンピュータ可読記憶媒体）に記憶されて、プログラム可能デバイス１２４ａ，１２４ｂ，及び１２４ｃ及び／又はその他のコンピュータ・デバイスによりアクセス可能なコンピュータ可読な情報として符号化することができる。或る実施形態においては、サーバー・デバイス１２８及び／又は１３０のデータは、単独のディスク・ドライブ又はその他の有形の記憶媒体に記憶することができるか、或いは、一つ以上の様々な地理的位置に位置する複数のディスク・ドライブ又はその他の有形な記憶媒体に実装することができる。
【００５７】
図１Ｄは、例示的実施形態によるクラウド・ベースのサーバー・システムを図示する。図１Ｄにおいて、サーバー・デバイス１２８及び／又は１３０の機能は、三つのコンピュータ・クラスタ１５９ａ，１５９ｂ，及び１５８ｃに分配することができる。コンピュータ・クラスタ１５９ａは、一つ以上のコンピュータ・デバイス１５０ａ、クラスタ・ストレージ配列１６０ａ、及びローカル・クラスタ・ネットワーク１６２ａにより接続されたクラスタ・ルーター１６１ａを含むことができる。同様に、コンピュータ・クラスタ１５９ｂは、一つ以上のコンピュータ・デバイス１５０ｂ、クラスタ・ストレージ配列１６０ｂ、及びローカル・クラスタ・ネットワーク１６２ｂにより接続されたクラスタ・ルーター１６１ｂを含むことができる。同様に、コンピュータ・クラスタ１５９ｃは、一つ以上のコンピュータ・デバイス１５０ｃ、クラスタ・ストレージ配列１６０ｃ、及びローカル・クラスタ・ネットワーク１６２ｃにより接続されたクラスタ・ルーター１６１ｃを含むことができる。
【００５８】
或る実施形態においては、コンピュータ・クラスタ１５９ａ，１５９ｂ，及び１５９ｃの各々は、等しい数のコンピュータ・デバイス、等しい数のクラスタ・ストレージ配列、及び等しい数のクラスタ・ルーターを有することができる。しかしながら、他の実施形態においては、各々のコンピュータ・クラスタは、異なる数のコンピュータ・デバイス、異なる数のクラスタ・ストレージ配列、及び異なる数のクラスタ・ルーターを有することができる。各々のコンピュータ・クラスタにおけるコンピュータ・デバイスの数、クラスタ・ストレージ配列の数、及びクラスタ・ルーターの数は、各々のコンピュータ・クラスタに割り当てられる一つ又は複数のタスクに依存することができる。
【００５９】
コンピュータ・クラスタ１５９ａにおいては、例えば、コンピュータ・デバイス１５０ａは、サーバー１３０の様々な演算作業を実行するように構成することができる。一つの実施形態においては、サーバー１３０の様々な機能は、一つ以上のコンピュータ１５０ａ，１５０ｂ，及び１５０ｃに分配することができる。コンピュータ・クラスタ１５９ｂ及び１５９ｃにおけるコンピュータ・デバイス１５０ｂ及び１５０ｃは、コンピュータ・クラスタ１５９ａにおけるコンピュータ・デバイス１５０ａと同様に構成することができる。他方、或る実施形態においては、コンピュータ・デバイス１５０ａ，１５０ｂ，及び１５０ｃは、異なる機能を実行するように構成することができる。
【００６０】
或る実施形態においては、サーバー・デバイス１２８及び／又は１３０に関連する演算タスク及び記憶されたデータは、コンピュータ・デバイス１５０ａ，１５０ｂ，及び１５０ｃに亘って分配することができ、これは少なくとも部分的には以下に基づく。即ち、サーバー・デバイス１２８及び／又は１３０の処理要求、コンピュータ・デバイス１５０ａ，１５０ｂ，及び１５０ｃの処理能力、各コンピュータ・クラスタにおけるコンピュータ・デバイスの間及びコンピュータ・クラスタ自身の間のネットワーク・リンクの待ち時間、及び／又はコスト、速度、耐故障性、弾力性、効率、及び／又はシステム全体のアーキテクチュアの設計目標に寄与するその他の要因である。
【００６１】
コンピュータ・クラスタ１５９ａ，１５９ｂ，及び１５９ｃのクラスタ・ストレージ配列１６０ａ，１６０ｂ，及び１６０ｃは、データ・ストレージ配列とすることができ、これは、ハード・ディスク・ドライブのグループへの読込み及び書込みアクセスを管理するように構成されたディスク配列コントローラを含む。このディスク配列コントローラは、単独で、或いはそれらの各コンピュータ・デバイスと関連して、クラスタ・ストレージ配列に記憶されたデータのバックアップ又は冗長コピーを管理して、ディスク・ドライブ又はその他のクラスタ・ストレージ配列の障害及び／又はネットワーク障害から保護するように構成することもでき、これは、一つ以上のコンピュータ・デバイスの一つ以上のクラスタ・ストレージ配列へのアクセスを防止する。
【００６２】
サーバー・デバイス１２８及び／又は１３０の機能をコンピュータ・クラスタ１５９ａ，１５９ｂ，及び１５９ｃのコンピュータ・デバイス１５０ａ，１５０ｂ，及び１５０ｃに亘って分散できる方式と同様に、これらの構成要素の様々な機能部分及び／又はバックアップ部分は、クラスタ・ストレージ配列１６０ａ，１６０ｂ，及び１６０ｃに亘って分配することができる。例えば、幾つかのクラスタ・ストレージ配列がサーバー・デバイス１２８のデータを記憶するように構成することができ、一方、他のクラスタ・ストレージ配列はサーバー・デバイス１３０のデータを記憶することができる。更に、幾つかのクラスタ・ストレージ配列は、他のクラスタ・ストレージ配列に記憶されたデータのバックアップ・バージョンを記憶するように構成することができる。
【００６３】
コンピュータ・クラスタ１５９ａ，１５９ｂ，及び１５９ｃにおけるクラスタ・ルーター１６１ａ，１６１ｂ，及び１６１ｃは、内部及び外部の通信をコンピュータ・クラスタへ与えるように構成されたネットワーク機器を含むことができる。例えば、コンピュータ・クラスタ１５９ａにおけるクラスタ・ルーター１６１ａは、一つ以上のインターネット切り換え及び経路選択デバイスを含むことができ、これは、（ｉ）コンピュータ・デバイス１５０ａとクラスタ・ストレージ配列１６０ａとの間のローカル・クラスタ・ネットワーク１６２ａを介するローカル・エリア・ネットワーク通信、及び（ｉｉ）コンピュータ・クラスタ１５９ａとコンピュータ・クラスタ１５９ｂ及び１５９ｃとの間のネットワーク１２６へのワイド・エリア・ネットワーク接続１６３ａを介するワイド・エリア・ネットワークを与えるように構成されている。クラスタ・ルーター１６１ｂ及び１６１cはクラスタ・ルーター１６１ａと同様なネットワーク機器を含むことができ、且つクラスタ・ルーター１６１ｂ及び１６１ｃは、コンピュータ・クラスタ１５９ｂ及び１５９ｂについて、クラスタ・ルーター１６１がコンピュータ・クラスタ１５９ａのために果たすのと同様なネットワーク機能を実行することができる。
【００６４】
或る実施形態においては、クラスタ・ルーター１６１ａ，１６１ｂ，及び１６１ｃの形態は少なくとも部分的には以下に基づくことができる。即ち、コンピュータ・デバイス及びクラスタ・ストレージ配列のデータ通信要求、クラスタ・ルーター１６１ａ，１６１ｂ，及び１６１ｃにおけるネットワーク機器のデータ通信能力、ローカル・ネットワーク１６２ａ，１６２ｂ，１６２ｃの待ち時間及びスループット、ワイド・エリア・ネットワーク・リンク１６３ａ，１６３ｂ，及び１６３ｃの待ち時間、スループット、及びコスト、及び／又はコスト、速度、耐故障性、弾力性、効率、及び／又は適度なシステム・アーキテクチュアの設計目標に寄与するその他の要因である。
【００６５】
図２Ａは、モバイル機器２００の機能的ブロック図を示し、これは、多素子ディスプレイからの光照射野で対象物体を照明して、多素子ディスプレイから反射される光照射野の一部に基づいて複数の画像を取得し、本開示事項に説明したように画像から対象物体の３Ｄモデルを判定するように構成されている。
【００６６】
例示的実施形態において、モバイル機器２００は、サブシステム、例えば画像取得システム２０２、測位システム２０４、ディスプレイ２０６、及び周辺機器２０８、並びに電源２１０、コントローラ２１２、メモリ２１４、及びユーザー・インターフェース２１６を含み得る。
【００６７】
画像取得システム２０２は、例えば２Ｄ画像プロセッサ２１８、画像センサ２２０、カメラ光学系２２２、３Ｄモデル・ビルダー２２４、及び光度計２２６などの構成要素を含み得る。測位システム２０４は、例えばジャイロスコープ２２８、加速度計２３０、距離計２３２などの構成要素を含み得る。ディスプレイ２０６は、多素子ディスプレイ・パネル２３４及びディスプレイ・モジュレータ２３６を含むことがあり、周辺機器２０８は無線ス通信インターフェース２３８、タッチパッド/タッチスクリーン２４０、マイクロフォン２４２、スピーカー２４４、及びシャッター・ボタン２４６を含み得る。
【００６８】
多素子ディスプレイはＬＣＤディスプレイ又はその他の任意の多ピクセル配列ディスプレイを含むことがあり、その多ピクセル配列ディスプレイは、或る例では光照射野又は複数の異なった光照射野を与えるように構成し得る。多素子ディスプレイは複数の発光ダイオード（ＬＥＤ）を含むことがあり、その各々のＬＥＤ又はＬＥＤのグループは個別に制御し得る。他の例では、ディスプレイ２０６は二つ以上のディスプレイ・パネルを含むことがあり、その各々は個別に制御し得る。更なる例では、多素子ディスプレイ・パネル２３４の様々な要素は、ピクセル、ＬＥＤ、パネルを含み得るか、或いは、ディスプレイ２０６の部分はディスプレイ２０６の素子と見做し得る。本明細書における或る例では、多素子ディスプレイ・パネル２３４の素子は、多素子ディスプレイ・パネル２３４の他の素子とは独立に作動又は制御し得る。
【００６９】
モバイル機器２００とは、スチルカメラ、ビデオ・カメラ、携帯電話、ウェブ・カム、タブレット・デバイス、又は当該分野で公知のその他の任意の画像取得デバイスを意味し得る。更に、モバイル機器２００は、装着型コンピュータ・システムの一部をなし得るか、及び／又は当該分野で公知の多数のコンピュータに統合し得る。
【００７０】
モバイル機器２００は、３Ｄマシン・ビジョンに使用し得る。例えば、モバイル機器２００の様々な実施形態は、ロボティック制御システム（例えば、自動化走査システム）により実行して、対象物体を多素子ディスプレイの光照射野で照明して、対象物体から反射された光照射野の部分に基づいて画像を取得して、その画像に基づいて対象物体の３Ｄモデルを判定するようになし得る。
【００７１】
電源２１０はモバイル機器２００の様々な構成要素へ電力を供給して、例えば、充電式リチウムイオン電池に相当し得る。当該分野で公知のその他の電源機材及び形式が可能である。
【００７２】
モバイル機器２００の機能の多く又は全ては、コントローラ２１２により制御し得る。コントローラ２１２は、非一時的コンピュータ可読媒体（例えばメモリ２１４）に記憶された指令を実行する一つ以上のプロセッサ（例えばマイクロプロセッサ）を含み得る。コントローラ２１２はユーザー・インターフェース２１６を制御して、多素子ディスプレイ・パネル２３４に３Ｄモデルを表示し得る。更に、コントローラ２１２はディスプレイ・モジュール２３６を制御して、対象物体の照明のための光照射野を生成し得る。コントローラ２１２は、画像取得システム２０２と、モバイル機器２００の様々な構成要素をも制御し得る。コントローラ２１２は、分配方式でモバイル機器２００の個々の構成要素又はサブシステムを制御するのに役立つであろう複数のコンピュータ・デバイスに相当し得る。
【００７３】
指令に加えて、メモリ２１４は、既に取得した２Ｄ画像及び３Ｄモデルなどのデータを記憶し得る。従って、メモリ２１４は３Ｄ物体モデルに関連した情報のデータ記憶としての役割を果たし得る。そのような情報は、対象物体照明、画像取得及び３Ｄモデル構築処理の間の様々な点でモバイル機器２００及びコントローラ２１２により使用し得る。
【００７４】
モバイル機器２００は、モバイル機器２００のユーザーへ情報を与えるか或いはそのユーザーからの入力を受け取るためのユーザー・インターフェース２１６を含み得る。このユーザー・インターフェース２１６は、多素子ディスプレイ・パネル２３４に表示し得る対話型画像のコンテンツ及び／又は配置を制御し得るか、或いは制御可能とし得る。更に、ユーザー・インターフェース２１６は、周辺機器２０８のセット内の一つ以上の入力／出力デバイス、例えばタッチパッド/タッチスクリーン２４０、マイクロフォン２４２、及びスピーカー２４４を含み得る。コントローラ２１２は、ユーザー・インターフェース２１６によって受け取られた入力に基づいてモバイル機器２００の機能を制御し得る。例えば、コントローラ２１２は、画像取得システム２０２がいつ多素子ディスプレイ・パネル２３４からの光照射野で対象物体の照明を開始しなければならないかを制御し、対象物体から反射した光照射野の一部に基づいて複数の画像を取得するために、タッチパッド/タッチスクリーン２４０からのユーザー入力を利用し得る。
【００７５】
画像取得システム２０２は、デジタル・カメラに見られるようなものに類似した幾つかの構成要素を含み得る。具体的には、画像取得システム２０２は、画像センサ２２０に視野を与えるように構成されたカメラ光学系２２２を含み得る。この画像取得システム２０２は、少なくとも、複数の２Ｄ画像ファイルを作成して、更にこの２Ｄ画像ファイルから３Ｄモデルを形成するように画像データを操作するように構成された様々なその他のプロセッサも含み得る。これらのプロセッサは、２Ｄ画像プロセッサ２１８及び３Ｄモデル・ビルダー２２４を含み得る。画像取得システム２０２は、光度計２２６を更に含み得る。或る実施形態においては、この光度計２２６は、対象物体から反射した光照射野の一部に基づく光測定をコントローラ２１２へ与えるように構成し得る。光測定は露出パラメータを設定するのに用いられることがあり、これは対象物体の複数の画像を取得するときに用いるためのＩＳＯ、シャッター速度及び開口設定を含み得る。更に、ユーザー・インターフェース２１６は光測定に反応して働き得る。更に、ユーザー・インターフェース２１６は、光レベルは所定の閾値の下にあると判定されたならば、画像を取得する間に、モバイル機器２００を安定して保つように、ユーザーに指令を要請して与えるか、さもなければ警告を与え得る。これに代えて、ユーザー・インターフェース２１６はユーザーにモバイル機器２００を移動させて、対象物体をより完全に及び／又は異なる位置から対象物体を照明するように要請し得る。
【００７６】
測位システム２０４は、モバイル機器２００の現在の位置と現在の方向に関連したデータをコントローラ２１２へ与えるように構成し得る。
【００７７】
ジャイロスコープ２２８は、マイクロ電気機械システム（ＭＥＭＳ）ジャイロスコープ、光ファイバー・ジャイロスコープ、又は当該分野で公知のその他の形式のジャイロスコープとし得る。ジャイロスコープ２２８は方向情報をコントローラ２１２へ与えるように構成し得る。側位システム２０４は、運動入力データをコントローラ２１２へ与えるように構成されたに加速度計２３０を更に含み得る。この加速度計２３０は、当該分野で公知の形式の公知の加速度計、例えば圧電、光学的、抵抗、容量性、剪断モード、歪み計、弾性表面波、レーザー、ＭＥＭＳなどの一つ又は任意の組み合わせとし得る。
【００７８】
距離計２３２を測位システム２０４に含み得る。或る例示的実施形態において、この距離計２３２は対象物体までの距離を測定するのに用い得る。そのような実施形態においては、距離情報は、カメラ光学系２２２のために適当な焦点を決定するのに用い得る。例えば、距離計２３２は、例えば、超音波又は赤外線照明器及び検出器を用いて、シーンの大まかな深さ地図を生成し得る。この大まかな深さ地図は、対象物体の３Ｄモデルを判定するために、複数の取得画像に関連して用い得る。距離計２３２は、測距のための任意の公知の手段、例えばＬＩＤＡＲ、ＲＡＤＡＲ、マイクロ波距離計などを含み得る。
【００７９】
ディスプレイ２０６は、多素子ディスプレイ・パネル２３４及びディスプレイ・モジュレータ２３６を含み得る。多素子ディスプレイ・パネル２３４は、ＬＣＤディスプレイ、ＬＥＤディスプレイ、又は当該分野で公知のその他の任意の面ディスプレイとし得る。ディスプレイ・モジュレータ２３６は、多素子ディスプレイを調整して、対象物体をその３Ｄモデルの判定を支援し得る様々な光照射野で照明するように構成し得る。例えば、光照射野は、偏光、構造光、着色光、及び多素子ディスプレイ・パネル２３４の異なる部分から生成された光を含み得る。他の形式の光照射野が可能である。ディスプレイ２０６は、様々なグラフィックスをモバイル機器２００のユーザーへ与えるように構成し得る。例えば、ディスプレイ２０６は、画像、テキスト、メニュー、及び指令をユーザーへ表示するように、ユーザー・インターフェース２１６の一部として機能し得る。
【００８０】
このディスプレイ２０６は、代替的に又は付加的に、光照射野を対象物体へ投影するために使用し得るプロジェクタ２３７を含み得る。多素子ディスプレイ・パネル２３４と同様に、プロジェクタ２３７は、ドット、ライン・パターン、エアリー・パターン、スペクトル可変パターンなどを含み得る多数の異なる光照射野を制御し得る。 
或る実施形態においては、プロジェクタは光を対象物体に合焦させて、対象物体が多素子ディスプレイ・パネルよりも多くの光子で照明されるようにする場合がある。
【００８１】
或る実施形態においては、ディスプレイ２０６は周囲の光源と比較して対象物体上に大多数の光子入射を与えるように構成し得る。換言すれば、モバイル機器２００のディスプレイ２０６は、対象物体のための照明を与える優位な光源である場合がある。
【００８２】
ディスプレイ２０６は、このディスプレイ２０６（多素子ディスプレイ・パネル２３４又はプロジェクタの何れか）によって生成された光を修正する目的で、光修正器を含む場合があり、これはモバイル機器２００へ一時的又は恒久的方式の何れかで固定的に取り付け又は結合され得る。光修正器は、格子、回折格子、及び／又はその他の異なる光学素子の任意の組み合わせを含み得るが、これらに限定されるものではない。光照射野へ特性構造（例えば、ドット配列、ライン配列、エアリー・パターンなど）を与える当該分野で公知のその他の光修正器が可能である。
【００８３】
モバイル機器２００は、モバイル機器２００のユーザー又は何処か他への入力及びそこからの出力を与えるように構成し得る一組の周辺機器２０８を含み得る。一つの例では、モバイル機器２００は、一つ以上のデバイスと直接に、或いは通信ネットワークを介して無線通信するための無線通信インターフェースを含み得る。例えば、無線通信インターフェース２３８は、３Ｇ携帯通信、例えば、ＣＤＭＡ、ＥＶＤＯ、ＧＳＭ／ＧＰＲＳ、又は４Ｇ携帯通信、例えばＷｉＭＡＸ又はＬＴＥを使用し得る。代替的に、無線通信インターフェース２３８は、無線ローカル・エリア・ネットワーク（ＷＬＡＮ）と、例えばＷｉＦｉを用いて、通信し得る。或る実施形態においては、無線通信インターフェース２３８は、例えば、赤外線リンク、ブルートゥース、又はＺｉｇＢｅｅを用いて、デバイスと直接に通信し得る。
【００８４】
対象物体の画像を取得して及び／又は本明細書に記載される方法を引き起こすために、シャッター・ボタン２４６をモバイル機器２００のユーザーによって使用し得る。このシャッター・ボタン２４６は、機械式手段により押し下げ得る。或る実施形態において、モバイル機器２００はシャッター・ボタン２４６を有さないこともあり得る。例えば、画像の取得は、完全に自動化し得るか、或いは、他の方式、例えばマイクロフォン２４２を介した音声コマンド、タッチパッド/タッチスクリーン２４０を用いるタッチ入力、又は無線通信インターフェース２３８を介して機器２００と通信する遠隔デバイスに応じて、開始し得る。
【００８５】
モバイル機器２００の構成要素は、それらの各々のシステム内又はその外部で、他の構成要素と相互接続した方式で作動するように構成し得る。例えば、例示的実施形態においては、モバイル機器２００が３Ｄ物体モデル・モードにある間、モバイル機器２００のユーザーはシャッター・ボタン２４６を押し得る。ユーザー入力に応じて、距離計２３２はカメラ光学系２２２の視野内で、関連した対象物体に対する距離を測定し得る。カメラ光学系２２２は、対象物体に自動合焦し得る。多素子ディスプレイ・パネル２３４は、対象物体を光照射野で照明するように、ディスプレイ・モジュレータ２３６により制御し得る。光度計２２５は、コントローラ２１２により制御されて、対象物体から反射した光照射野の少なくとも一部と、カメラ光学系２２２及び画像センサ２２０の様々な特性、例えばアパーチュア及びＩＳＯ設定に基づいて的確な露出を設定し得る。的確な露出に応じて、画像センサ２２０はコントローラ２１２により制御されて、対象物体の複数の画像を取得し得る。画像センサ２２０からの生データは、生画像ファイルを圧縮画像フォーマット、例えばＪｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＪＰＥＧ）標準ファイル・フォーマットに変換する目的で、２Ｄ画像プロセッサ２１８へ送信し得る。この画像は、対象物体の３Ｄモデルを判定する目的で３Ｄモデル・ビルダーへ送信し得る。
【００８６】
図２Ａはモバイル機器２００の様々な構成要素、即ち、無線通信インターフェース２３８、コントローラ２１２、メモリ２１４、画像センサ２２０、多素子ディスプレイ・パネル２３４、及びユーザー・インターフェース２１６をモバイル機器２００に集積して示すが、これらの構成要素の一つ以上はモバイル機器２００から分離して取り付け又は関連付け得る。例えば、画像センサ２２０はモバイル機器２００とは個別に取り付け得る。従って、モバイル機器２００は、個別に配置されるか又は一緒のデバイス要素の形態で設け得る。モバイル機器２００を形成するデバイス要素は、有線又は無線形態の何れかで、一緒に通信可能に結合し得る。
【００８７】
図２Ｂ-２Ｄは、様々な要素、例えばボディ２５２、前向きカメラ２５４、多素子ディスプレイ２５６、シャッター・ボタン２５８、及びその他のボタン２６０を含むモバイル機器２５０を示す。モバイル機器２５０は、後向きカメラ２６２を更に含み得る。前向きカメラ２５４はモバイル機器２５０の側面に位置して、代表的には操作中にユーザーに面するか、或いは多素子ディスプレイを有するデバイスの側面に位置する。後向きカメラ２６２は、前向きカメラ２５４と反対のモバイル機器２５０の側面に位置する。勿論、カメラを前向き及び後向きと称することは任意であり、モバイル機器２５２はモバイル機器２５２の様々な側に位置する複数のカメラを含み得る。モバイル機器２５０の要素は、図２Ａについて記載される要素の一部若しくは全てを含み得る。モバイル機器２５０はタブレット型コンピュータとして図示されているが、その他の実施形態が可能である。例えば、モバイル機器２５０は、他の例の中でも特に、スマートフォン、装着型コンピュータ又はラップトップ・コンピュータとし得る。
【００８８】
多素子ディスプレイ２５６は、ＬＥＤディスプレイ、ＬＣＤディスプレイ、プラズマ・ディスプレイ、或いは当該分野で公知の任意の面発光ディスプレイに相当し得る。この多素子ディスプレイ２５６は、対象物体を照明する光照射野を与えるように構成し得る。この多素子ディスプレイ２５６は、シーンのフラッシュ又は恒常的な照明を与え得る。この多素子ディスプレイ２５６は、構造光、偏光、特定のスペクトル成分を有する光、及び／又は多素子ディスプレイ２５６の特定の部分からの光の一つ以上を含む光照射野を与えるようにも構成し得る。公知であって、物体からの３Ｄモデルの復元に用いられるその他の形式の光照射野は、本開示事項の文脈の範囲内で可能である。
【００８９】
前向きカメラ２５４は、画像センサ及びレンズのような関連光学要素を含み得る。この前向きカメラ２５４は、ズーム能力を与え得るか、固定焦点距離レンズを有し得る。他の実施形態においては、交換レンズを前向きカメラ２５４と共に使用し得る。
【００９０】
前向きカメラ２５４は、可変な機械的アパーチャ及び機械式シャッターを有し得る。この前向きカメラ２５４は、これに代えて、電子式シャッターを含み得る。この前向きカメラ２５４は、静止画像、ビデオ画像、或いはその両方を取得するように構成し得る。更に、この前向きカメラ２５４は、モノスコピック、ステレオスコピック、或いはマルチスコピック・カメラに相当し得る。
【００９１】
モバイル機器２５０は、多素子ディスプレイ２５６及び前向きカメラ２５４を用いて、対象物体の画像を取得するように構成し得る。その画像は、複数の静止画像又はビデオストリームとし得る。画像取得は、シャッター・ボタン２５８を押すか、ソフトキーを押すか、或いは何らかの他のトリガー手段により起動し得る。的確な実施形態に依存して、画像は、特定の時間間隔で自動的に取得し得るとか、シャッター・ボタン２５８を押したとき、対象物体の適切な照明状況のとき、モバイル機器２５０を所定距離移動させたときに、或いは異なる所定の取得予定に応じて取得し得る。
【００９２】
コントローラ、例えば図２Ａのコントローラ２１２は、複数の取得画像に基づいて対象物体の３Ｄモデルを判定するために使用し得る。この３Ｄモデルは、対象物体に関する反射率及び照明情報を含む対象物体に関する情報のその他の形態も含み得る。この３Ｄモデルは対象物体の点クラウド・モデル及び／又はワイヤーフレーム・モデルを含み得る。この３Ｄモデルは、ｓｔｒｕｃｔｕｒｅ  ｆｒｏｍ  ｍｏｔｉｏｎ（ＳＦＭ）及び立体知覚及び／又はマルチスコピー技法を含めて、コンピュータ視覚及び３Ｄ画像化の分野で公知の幾つかの方法を用いて判定し得る。
【００９３】
モバイル機器２５０のコントローラは、３Ｄモデルを含む検索クエリーを送信するように選択的に構成し得る。検索クエリーは、対象物体に関する更に一般的な情報のための要求とし得る。或いは、検索クエリーは、対象物体に関する情報、例えば対象物体の部分とモデル番号についての特定の要請とし得る。対象物体に関するその他の形式の情報のための特定の要請が可能である。検索クエリーは、データ転送のための任意の形式の有線又は無線通信インターフェース（例えば、無線通信インターフェース２３８など）又は任意のその他の手段を介して送信し得る。
【００９４】
モバイル機器２５０のコントローラは、検索クエリー要請を受け取るように更に選択的に構成し得る。検索クエリー要請は、データ転送のための任意の形式の有線又は無線通信リンク或いはその他の手段によって受け取り得る。検索クエリー要請は、例えば、対象物体に類似する物体に関する情報、及び／又は対象物体の更なる画像取得に対する示唆を含み得る。
【００９５】
或る実施形態においては、モバイル機器２５０は、モータ付マウント（例えば、図２Ａに示されるモータ付マウント２４８など）に対して固定的に取り付けるか、或いは結合するように構成し得る。そのようなモータ付マウントは、例えば、モバイル機器を異なる視野の所定のセット、遠近、及び／又は対象物体に関する位置の間で移動させるために用い得る。モータ付マウント２４８は、少なくとも一部はモータ付マウントが異なる視野の所定のセット、遠近、及び／又は対象物体に関する位置の間で移動する間に取得された複数の画像に基づいて対象物体の３Ｄモデルを判定する目的で、コントローラ２１２により制御し得る。
【００９６】
多素子ディスプレイ２５６は、３Ｄモデルのレンダリングされた表現を示すように構成し得る。レンダリングされた表現は、対象物体の画像取得の間、及び／又はその後に、多素子ディスプレイ２５６上に示し得る。レンダリング表現はモバイル機器２５０により公知の３レンダリング技法及び対象物体の３Ｄモデルを用いて生成し得る。多素子ディスプレイ２５６は、対象物体のモノスコピック、ステレオスコピック、又はマルチスコピック画像を含むレンダリング表現を示すように構成し得る。
【００９７】
多素子ディスプレイ２５６は、検索クエリー結果に基づくメッセージを示すようにも、構成し得る。例えば、検索クエリー結果が対象物体の右側の更なる画像を取得するための示唆を含むならば、多素子ディスプレイ２５６は「モバイル機器を対象物体の周りで右に移動せよ」と示し得る。それに加えて、或いはそれに代えて、矢印を多素子ディスプレイ２５６に示して、モバイル機器のユーザーに対象物体に関して特定の方向にモバイル機器を動かすように指示し得る。
【００９８】
図３Ａはモバイル機器を用いて対象物体の画像を取得するための計画３００を図示する。図３Ａは、図２Ａのモバイル機器２００に類似し得るモバイル機器３０２を含む。モバイル機器３０２は、視野を有するカメラ３０４を含み得る。モバイル機器３０２は、対象物体と見做し得るステープラー３０８の局所的環境にあり得る。或る実施形態においては、シャッター・ボタン３０６は、照明と画像取得処理を起動するのに用い得る。多素子ディスプレイ３１６は、対象物体を光照射野３１４で照明するのに用い得る。光照射野は、上述したように、特定の光パターン（例えば、偏光フィルタを用いる偏光、所定のスペクトル成分を有する光、多素子ディスプレイ３１６の異なる場所から指向する光など）を含み得る。或いは、光照射野は、要素として一つ以上のドット配列、ストライプ配列、格子パターン、同心状円パターン、エアリー・ディスク、及び／又は干渉パターンを含み得る。
【００９９】
図３Ｂに図示される一つの例示的計画３１８では、多素子ディスプレイの底部３２２が点灯する一方、上部部分３２０は点灯しない。これは第１の光照射野と見做し得る。図３Ｃは、多素子ディスプレイの上部３２６が点灯する一方、底部３２８が点灯しない計画３２４を図示する。これは第２の光照射野と見做し得る。ステープラー３０８の各画像が、ステープラー３０８が第１の光照射野及び第２の光照射野によって照明されている間に取得されるならば、更なる形状、色、及び（他の特質の中でも特に）テクスチャー情報を画像から判定し得る。例えば、ステープラー・カートリッジ３１０は、高い反射性金属材料、例えばステンレス鋼からなる場合がある。第１の光照射野で照明されるステープラー３０８の画像は、ステープラー・カートリッジ３１０における第１の位置の鏡反射を含み得る。第２の光照射野による照明の下のステープラー３０８の画像は、ステープラー・カートリッジ３１０における第２の位置による鏡反射を含み得る。それぞれの鏡感想（並びに複数の画像のその他の観点）の第１と第２との位置の間の差異は、ステープラー３０８の形状及び材料に関する情報を与え得る。従って、様々に変調された光照射野の下で複数の画像を取得することによって、３Ｄモデルを判定し得る。更に、鏡反射及びその他の公知の光/物質相互作用（例えば、材料に特有の光ルミネセンス、吸収度、及び／又はその他の分光特性）は、対象物体の材料を判定するのに用いられ得る。
【０１００】
実施形態に依存して、光照射野の強度は、多素子ディスプレイ３１６から発する物体への入射光の大部分であることがある。換言すれば、多素子ディスプレイ３１６は、環境光などのその他の光源と比べて主要な光源としての役割を果たし得る。前向きカメラ３０４は、ステープラー３０８の複数の画像を取得するのに用い得る。取得された画像は、ステープラー３０８から反射される多素子ディスプレイ３１６によって生成された光照射野の部分に基づき得る。画像は、対象物体についてのより完全なデータ・セットを得る目的で、（例えば図３Ｄに示されるような）一つ以上の異なる視覚的遠近から取得し得る。
【０１０１】
モバイル機器３０２のコントローラは、取得した画像及び光照射野に基づいてステープラー３０８の３Ｄモデルを判定するように構成し得る。この３Ｄモデルは、当該分野で公知の様々な方法、例えばＳｔｒｕｃｔｕｒｅ  Ｆｒｏｍ  Ｍｏｔｉｏｎ（ＳＦＭ）並びにその他の３Ｄへの２Ｄ変換及び３Ｄモデル構築技法を用いて判定し得る。この３Ｄモデルは、点クラウド又は形状を形成する多角形の集積を含み得る。３Ｄモデルに含み得るその他の情報は、３Ｄモデルの様々な領域に関するテクスチャー、色、反射率、及びその他の情報を含む。
【０１０２】
コントローラは、３Ｄモデルを含む検索クエリーを送信するように選択的に構成し得る。更に、コントローラは検索クエリー結果を受信するように選択的に構成し得る。
【０１０３】
方法４００は、モバイル機器を用いて対象物体を多素子ディスプレイから発生する光照射野で照明し、対象物体の複数の画像を取得し、この画像から３Ｄモデルを判定し、形状、外観、及び材料を含む対象物体の少なくとも一つの態様を判定するために与えられる。この方法は図２-３に示して上述した任意の装置を用いて実行し得るが、他の構成も用い得る。図４は例示的方法におけるステップを示すが、他の実施形態においては、ステップが異なる順序で現れる場合もあり、ステップが追加されるか又は減じられる場合もあるものと理解されたい。
【０１０４】
更に、方法４００は、一つ以上のブロック４０２-４０８に示されるように、一つ以上の操作、機能又は行為を含み得る。ブロックは連続した順序で示されているが、これらのブロックは並行に実行され場合もあり、及び／又はここに説明されたものとは異なる順序で実行し得る。また、様々なブロックは、より少ないブロックに組み合わせたり、更なるブロックへ分割したり、及び／又は、望ましい実施に基づいて削除し得る。更に、方法４００並びに本明細書に開示されたその他の処理及び方法については、各々のブロックはモジュール、区画、又は一部のプログラム・コードを表わし、そのプログラム・コードは、特定の論理的機能又はステップを実行するために、プロセッサ又はコンピュータ・デバイスにより実行可能な一つ以上の指令を含む。このプログラム・コードは、任意の形式のコンピュータ可読媒体、例えば、ディスク又はハード・ドライブを含む記憶デバイスなどに記憶し得る。このコンピュータ可読媒体は、非一時的コンピュータ可読媒体、例えば、レジスタ・メモリのように短時間に亘ってデータを記憶するコンピュータ可読媒体、プロセッサ・キャッシュ及びランダム・アクセス・メモリ（ＲＡＭ）などを含み得る。このコンピュータ可読媒体は、非一時的媒体、例えば読出し専用メモリ（ＲＯＭ）、光学的又は磁気的ディスク、コンパクト・ディスク読出し専用メモリ（ＣＤ−ＲＯＭ）のような二次的又は恒常的長期ストレージなども含み得る。
【０１０５】
ステップ４０２は、対象物体をモバイル機器で照明することを含む。このモバイル機器は、多素子ディスプレイ及びカメラを含む。多素子ディスプレイは、対象物体を照明する変調された光照射野を生成するように構成される。図２Ａを参照すると、対象物体は、モバイル機器２００の画像取得システム２０２の視野内の任意の物体とし得る。ステップ４０２は、モバイル機器２００のユーザー・インターフェース２１６とのユーザー相互作用によって、又は、シャッター・ボタン２４６を押すことによって、起動し得る。或いは、ステップ４０２は自動的に、又は、他の手段により起動し得る。
【０１０６】
ステップ４０２は、図３Ａに示すようにも図示し得る。例示的実施形態においては、前向きカメラ３０４を有するモバイル機器３０２は、多素子ディスプレイ３１６によって生成する光照射野３１４によりステープラー３０８を照明し得る。ステープラー３０８は、対象物体と称することができる。
【０１０７】
ステップ４０４は、カメラ（例えば前向きカメラ３０４）を用いて、対象物体の複数の画像を取得することを含む。ユーザーが３Ｄモデル・モード又はその他のトリガー、例えばシャッター・ボタン３０６又はソフトキーを選択することに応じて、モバイル機器３０２は対象物体の画像の取得を開始し得る。画像取得は、他のトリガーの中でも、特定の計画、特定の時間間隔、カメラの特定の位置/方向に基づいて実行し得る。
【０１０８】
複数の画像は、単眼、立体、又はマルチスコピックのカメラを用いて取得し得る。更に、画像取得は、少なくとも一つの能動距離センサにより完全に又は部分的に実行し得る。モバイル機器の多素子ディスプレイは対象物体を光照射野で照明し、複数の画像は対象物体から反射される生成された光照射野の一部に基づき得る。多素子ディスプレイは、例えば視覚的ＬＥＤ又はＬＣＤディスプレイとし得る。他の実施形態は、任意の他の公知の形式の面発光ディスプレイを含み得る。
【０１０９】
多素子ディスプレイは、一つ以上の特定の空間パターンを有する光照射野、一つ以上の特定スペクトル成分を有する光、構造及び／又は変調された光のその他の形態を含む対象物体のための照明を与え得る。空間光パターンは、対象物体の３Ｄモデルを判定する目的で対象物体に関する３次元情報を復元するために用いられ得る。更に、他の情報、例えば形状、外観、反射率、吸収、材料組成などは、対象物体をそのような光照射野で照明している間に取得される複数の画像における情報によって復元し得る。
【０１１０】
画像取得は、光照射野の一つ以上の変調に同期し得る。例えば、図３Ｂに示されるように、第１の計画３１８は、点灯しない多素子ディスプレイの上部３２０と点灯されている多素子ディスプレイの底部３２２とを含み得る。この多素子ディスプレイによって生成された「半分オン、半分オフ」照明パターンは、対象物体を照明する第１の光照射野と見做し得る。対象物体（この場合は、ステープラー３０８）の画像は、対象物体から反射された第１の光照射野の一部に基づいて取得し得る。
【０１１１】
一つ以上の異なる画像は、図３Ｃにより示される第２の計画３２４の間に取得し得る。そのような計画は、多素子ディスプレイの上部３２６は点灯し、多素子ディスプレイの底部３２８は点灯しない場合がある。第２の計画３２４中に取得される画像は、ステープラー３０８から反射した第２の光照射野の一部に基づく。
【０１１２】
ステップ４０６は、複数の画像に基づいて対象物体の３Ｄモデルを受け取るか、又は判定することを含む。３Ｄモデルは、対象物体に関する３次元形状及び色情報を含み得る。更に、３Ｄモデルは、対象物体に関する照度及び反射率と一般的照明情報に関する情報を含み得る。対象物体に関する他の情報も３Ｄモデルに含まれ得る。ステップ４０６は、モバイル機器２００が対象物体の複数の画像を取得するものとして連続的に実行し得る。例えば、対象画像の新たな画像が取得される間、モバイル機器２００は点クラウド及びカラー情報を３Ｄモデルに加え得る。
【０１１３】
ステップ４０６は、３Ｄモデルを生成するように画像データを処理しているモバイル機器によって、或いは、画像データをサーバーへ与えて、そのサーバーから３Ｄモデル又はそのような機能の組合せを受け取るモバイル機器によって実行し得る。
【０１１４】
ステップ４０８は、３Ｄモデルに基づいて、対象物体の形状、対象物体の外観、及び対象物体の材料の少なくとも一つを判定することを含む。換言すれば、判定された３Ｄモデルに基づいて、更なる情報を対象物体に関して判定し得る。例えば、上述の例を用いて、それぞれ、計画３１８と３２４の第１の光照射野と第２の光照射野によって照明されるときのステープラー３０８の取得された画像の間の比較に基づいて、更なる情報を判定し得る。
【０１１５】
他の情報は、複数の画像に基づいて判定し得る。例えば、３Ｄモデルのテクスチャーは、複数の画像に基づいて判定し得る。上述の例において、異なる空間的場所（図３Ｂ及び３Ｃ）から発する光照射野により取得された画像の差異は、３Ｄモデルの特定のテクスチャーを示唆し得る。他の例においては、取得された画像の領域から検出された（例えば、金属ステープル・カートリッジからの）鏡反射は、３Ｄモデルの対応する領域における滑らかなテクスチャーを示し得る。
【０１１６】
方法の一つの例は、部屋及びこの部屋の内容物の複数の画像を取得するためにモバイル機器を使用することを含み得る。例えば、ユーザーは、複数の画像の取得を開始し得る３次元モデリング・モードを起動し得る。このユーザーは、次いで、多数の視野角からの画像を取得するようにモバイル機器を移動し得る。更に、部屋内の特定の物体を走査し得る。このように、部屋及びその内容物の３Ｄモデルを判定し得る。当業者は、この方法を採用し得る広範なその他の例示的計画が存在することを認識するであろう。その他の計画の各々は、本明細書に意図されている。
【０１１７】
この方法は、選択的ステップ、例えば、少なくとも一部は３Ｄモデルに基づいて、モバイル機器から検索クエリーを送信することを含み得る。検索クエリーは、まさに３Ｄモデルを含み得る。或いは、検索クエリーは、他の検索基準を含み得る。例えば、ユーザーは対象物体に関する価格設定情報を要請し得る。従って、検索クエリーは、３Ｄモデル並びにアイテム価格設定についての特定の要請を含み得る。特定の検索クエリーのその他の例が可能である。対象物体に関する所定の量の情報が３Ｄモデルに取り込まれるならば、選択的な検索クエリー・ステップが生じる場合がある。例えば、少なくとも粗い点クラウド「シェル」が画像から判定されるならば、検索クエリーを送信し得る。或いは、対象物体の画像取得が開始されるならば、検索クエリーを周期的に送信し得る。従って、検索クエリーは、対象物体に関する部分的な３Ｄモデル情報を含み得る。そのような部分的な３Ｄモデル検索クエリーは、例えば、クラウド・ベースのサーバー・システムから有益な検索クエリー結果を可能とするのに充分な場合がある。
【０１１８】
開示された方法における他の選択的ステップは、モバイル機器で検索クエリー結果を受け取ることを含む。検索クエリー結果は、サーバー又はその他の任意のコンピュータ・デバイスからの返答とし得る。検索クエリー結果は、状況に応じて、ｉ）対象物体に関する情報（例えば、対象物体の価格設定、場所、寸法及び型番など）、ｉｉ)対象物体に類似する物体に関する情報、及び／又は、iii)対象物体の更なる画像取得の示唆を含み得る。この選択的方法ステップは、送信された検索クエリー結果の頻度に応じて、連続的に実行し得る。従って、ユーザーは、更なる画像を取得する必要があることをユーザーのモバイル機器を介して通知し得る。検索クエリー結果を介するその他のフィードバック形式が可能である。
【０１１９】
選択的方法ステップの一つの例においては、形状検索データベース、例えば図１Ａを参照して説明した形状検索データベースの他の類似した物体から対象物体の曖昧さをなくすために、更なる３Ｄモデル・データが必要になる場合がある。例えば、図３Ａにおけるステープラー３０８の取得画像に関して、例えばステープラーの後部が前向きカメラ３０４の視野内にないことがあるので、ステープラー３０８の３Ｄモデルの様々な部分は不完全である場合がある。
【０１２０】
対象物体の特定の視点からの更なる画像取得を示唆するために、検索クエリー結果を受け取り得る。これに応じて、欠落した３Ｄモデル・データを補充する目的で、モバイル機器はそれを移動させて更なる画像を取得し得るようにモバイル機器のユーザーへフィードバックを与え得る。例えば、モバイル機器は、ステープラー３０８の後部のより多くの画像を取得するための示唆を受け取って、モバイル機器は、例えば図３Ｄに示すように、３Ｄモデル・データを完成する目的で、新たな視点から画像を取得し得る。その後、新たなデータを３Ｄモデルに加えて、より実質的な検索クエリー結果を得る目的で、一つ又は複数の新たな検索クエリーを送信し得る。
【０１２１】
他の検索クエリー結果形式が可能である。例えば、検索クエリー結果は、対象物体に関する情報を含み得る。上述の例から、ステープラー製造者、ステープラー型式、及び購入場所は、検索クエリー結果に含まれ得る。更に、対象物体に類似した物体に関する情報が検索クエリー結果に含まれ得る。例えば、検索クエリー結果は、対象物体に対する相似体型を有するステープラーに関する情報を含み得る。
【０１２２】
例示的方法、例えば図４の方法４００は、モバイル機器により全て又は一部を実行し得る。従って、そのような方法は、本明細書においてはモバイル機器で実行されるような例示として説明される。しかしながら、例示的方法は他のコンピュータ・デバイスにより全て又は一部を実行し得ることを理解されたい。例えば、例示的方法はクラウド・ベースのサーバー・システムにより全て又は一部を実行でき、そのサーバー・システムは、モバイル機器などのデバイスからデータを受け取る。他の実施形態においては、例示的方法は、その全て又は一部を一つ以上の異なるコンピュータ・デバイス、例えば携帯電話、タブレット型コンピュータ、及び／又はラップトップ又はデスクトップ・コンピュータにより実行し得る。例示的方法のステップを実行することができるコンピュータ・デバイスの他の例又はコンピュータ・デバイスの組み合わせが可能である。
【０１２３】
当業者には、モバイル機器の多素子ディスプレイによって生成された光照射野で対象物体を照明し、対象物体から反射される光照射野の一部に基づいて画像を取得し、その画像に基づいて対象物体の３Ｄモデルを判定するように説明し得るその他の類似の方法があることが理解されよう。それらの類似した方法は、黙示的に本明細書に意図されている。
【０１２４】
或る実施形態においては、開示された方法は、機械可読フォーマットにおける非一時的コンピュータ可読記憶媒体に、又は、他の非一時的媒体又は製品に符号化されたたコンピュータ・プログラム指令として実装し得る。図１Ｅは、本明細書に示した少なくとも幾つかの実施形態に従って構成され、コンピュータ・デバイスにコンピュータ処理を実行させるコンピュータ・プログラムを含む例示的コンピュータ・プログラム製品の概念的な部分図を概略的に示す。
【０１２５】
一つの実施形態においては、例示的コンピュータ・プログラム製品１７０は、信号搬送媒体１７２を用いて与えられる。この信号搬送媒体１７２は一つ以上のプログラミング指令１７４を含む場合があり、これは一つ以上のプロセッサにより実行されたときに、図１Ａ−Ｄ及び図２−４に関して上述した機能又は機能の一部を与え得る。或る例においては、信号搬送媒体１７２は、コンピュータ可読媒体１７６、例えばハード・ディスク・ドライブ、コンパクト・ディスク（ＣＤ）、ディジタル・ビデオ・ディスク（ＤＶＤ）、デジタル・テープ、メモリなどを、これらに限定されることなく、包含し得る。或る実施においては、信号搬送媒体１７２は、コンピュータ記録可能媒体１７８、例えばメモリ、読み込み／書き込み（Ｒ／Ｗ）ＣＤ、Ｒ／Ｗ  ＤＶＤなどを、これらに限定されることなく、包含し得る。或る実施では、信号搬送媒体１７２は、通信媒体１８０、例えばデジタル及び／又はアナログ通信媒体（例えば、光ファイバー・ケーブル、導波管、有線通信リンク、無線通信リンクなど）を、これらに限定されることなく、含み得る。従って、例えば、信号搬送媒体１７２は、通信媒体１８０の無線形態によって伝達し得る。
【０１２６】
一つ以上のプログラミング指令１７４は、例えば、コンピュータ実行可能及び／又は論理実装指令とし得る。或る例では、コンピュータ・デバイス例えば図１Ｃのコンピュータ・デバイス１５０は、コンピュータ可読媒体１７６、コンピュータ記録可能媒体１７８、及び／又は通信媒体１８０の一つ以上により、コンピュータ・デバイス１５０へ伝達されるプログラミング指令１７４に応答して、様々な操作、機能、又は作用を与えるように構成し得る。
【０１２７】
非一時的コンピュータ可読媒体は、互いに離隔して位置し得る複数のデータ記憶要素に分配する場合もあり得る。その記憶された指令の一部若しくは全てを実行するコンピュータ・デバイスは、モバイル機器、例えば図２Ａに図示されるモバイル機器２００とし得る。或いは、記憶された指令の一部若しくは全てを実行するコンピュータ・デバイスは、他のコンピュータ・デバイス、例えば図１Ａに図示されるサーバー１０４とし得る。
【０１２８】
上述の詳細な説明は、添付図面を参照して、開示されたシステム、デバイス、及び方法の様々な特徴と機能を説明する。様々な態様及び実施形態が本明細書に開示されたが、その他の態様及び実施形態は当業者にとって明白である。本明細書に開示された様々な態様及び実施形態は例示の目的であって、限定を意図したものではなく、その真の範囲は以下の請求項によって示される。
【図１Ａ】
2014025935.tif 000003
【図１Ｂ】
2014025935.tif 000004
【図１Ｃ】
2014025935.tif 000005
【図１Ｄ】
2014025935.tif 000006
【図１Ｅ】
2014025935.tif 000007
【図２Ａ】
2014025935.tif 000008
【図２Ｂ】
2014025935.tif 000009
【図２Ｃ】
2014025935.tif 000010
【図２Ｄ】
2014025935.tif 000011
【図３Ａ】
2014025935.tif 000012
【図３Ｂ】
2014025935.tif 000013
【図３Ｃ】
2014025935.tif 000014
【図３Ｄ】
2014025935.tif 000015
【図４】
2014025935.tif 000016