(57)【要約】  本発明の様々な実施形態は、一般に画像及び映像を解析し、操作するためのシステム及び方法に関する。特定の実施形態によれば、本明細書ではサラウンドビューと呼ぶ装置上で提示するための表現を作成するために、位置情報データと共に複数の画像及び映像間の空間的関係を解析する。対応する軸に沿って装置を操作することにより、サラウンドビュー内に含まれるオブジェクトを軸に沿って操作することができる。特定の実施形態では、サラウンドビューを複数の階層に分けることができる。サラウンドビューの対話型且つ没入型の視聴体験を向上させるために、それらの階層の１つ又は複数にエフェクトを適用することができる。
2017501516.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクトの第１のサラウンドビューを取得するステップであって、前記第１のサラウンドビューは前記オブジェクトのマルチビュー対話型デジタルメディア表現に対応し、前記第１のサラウンドビューは第１の階層及び第２の階層を含み、前記第１の階層が第１の奥行きを含み、前記第２の階層が第２の奥行きを含む、取得するステップと、
前記第１のサラウンドビューから前記第１の階層を選択するステップであって、前記第１の奥行き内のデータを選択するステップを含む、選択するステップと、
前記第１のサラウンドビュー内の前記第１の階層にエフェクトを適用し、修正済みの第１の階層を作成するステップと、
前記修正済みの第１の階層及び前記第２の階層を含む第２のサラウンドビューを生成するステップと
を含む、方法。
【請求項２】
前記第１のサラウンドビューが第３の階層を更に含み、前記第３の階層が第３の奥行きを含む、請求項１に記載の方法。
【請求項３】
前記修正済みの第１の階層、前記第２の階層、及び前記第３の階層を使用して前記第２のサラウンドビューを生成する、請求項２に記載の方法。
【請求項４】
前記第１の階層がオブジェクトを含む、請求項１に記載の方法。
【請求項５】
前記オブジェクトが人である、請求項４に記載の方法。
【請求項６】
前記第１の階層がダイナミックシーン要素を含む、請求項１に記載の方法。
【請求項７】
前記エフェクトがぼかしフィルタである、請求項１に記載の方法。
【請求項８】
前記エフェクトがグレースケールフィルタである、請求項７に記載の方法。
【請求項９】
前記エフェクトが前記第１の階層を第１の速度で動かすことを含み、前記第２の階層は第２の速度で動かされ、前記第１の速度が前記第２の速度と異なる、請求項１に記載の方法。
【請求項１０】
前記第１のサラウンドビューが第３の階層を含み、前記第２のサラウンドビューが前記第３の階層を省略する、請求項１に記載の方法。
【請求項１１】
前記第１の階層を選択するステップが、ユーザ入力なしに自動で行われる、請求項１に記載の方法。
【請求項１２】
前記オブジェクトが装置上の表示であり、前記オブジェクトの視角が前記装置を傾け、回転させることによって操作される、請求項１に記載の方法。
【請求項１３】
前記オブジェクトの同一軸に対応する軸に沿って前記装置を回転させることにより、前記オブジェクトの前記視角が操作される、請求項１２に記載の方法。
【請求項１４】
前記オブジェクトが装置上の表示であり、前記オブジェクトの視角が前記ディスプレイ上でスワイプすることによって操作される、請求項１に記載の方法。
【請求項１５】
オブジェクトの第１のサラウンドビューを取得するためのコンピュータコードであって、前記第１のサラウンドビューは前記オブジェクトのマルチビュー対話型デジタルメディア表現に対応し、前記第１のサラウンドビューは第１の階層及び第２の階層を含み、前記第１の階層が第１の奥行きを含み、前記第２の階層が第２の奥行きを含む、コンピュータコードと、
前記第１のサラウンドビューから前記第１の階層を選択するためのコンピュータコードであって、前記第１の階層を選択することが前記第１の奥行き内のデータを選択することを含む、コンピュータコードと、
前記第１のサラウンドビュー内の前記第１の階層にエフェクトを適用し、修正済みの第１の階層を作成するためのコンピュータコードと、
前記修正済みの第１の階層及び前記第２の階層を含む第２のサラウンドビューを生成するためのコンピュータコードと
を含む、コンピュータ可読媒体。
【請求項１６】
前記第１のサラウンドビューが第３の階層を更に含み、前記第３の階層が第３の奥行きを含む、請求項１５に記載のコンピュータ可読媒体。
【請求項１７】
前記修正済みの第１の階層、前記第２の階層、及び前記第３の階層を使用して前記第２のサラウンドビューを生成する、請求項１６に記載のコンピュータ可読媒体。
【請求項１８】
前記第１の階層がオブジェクトを含む、請求項１５に記載のコンピュータ可読媒体。
【請求項１９】
前記第１の階層がダイナミックシーン要素を含む、請求項１５に記載のコンピュータ可読媒体。
【請求項２０】
オブジェクトの第１のサラウンドビューを取得するための手段であって、前記第１のサラウンドビューは前記オブジェクトのマルチビュー対話型デジタルメディア表現に対応し、前記第１のサラウンドビューは第１の階層及び第２の階層を含み、前記第１の階層が第１の奥行きを含み、前記第２の階層が第２の奥行きを含む、手段と、
前記第１のサラウンドビューから前記第１の階層を選択するための手段であって、前記第１の階層を選択することが前記第１の奥行き内のデータを選択することを含む、手段と、
前記第１のサラウンドビュー内の前記第１の階層にエフェクトを適用し、修正済みの第１の階層を作成するための手段と、
前記修正済みの第１の階層及び前記第２の階層を含む第２のサラウンドビューを生成するための手段と
を含む、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本願は、参照によりその全体をあらゆる目的で本明細書に援用する、２０１３年１１月１２日に出願され、「サラウンドビュー提供Frシステム及び方法（Systems and Methods Fr Providing Surround Views）」と題されたHolzerらによる米国仮特許出願第６１／９０３，３５９号（代理人整理番号ＦＹＳＮＰ００１Ｐ）の優先権を米国特許法第１１９条の下で主張する。
【背景技術】
【０００２】
技術分野
本開示は、マルチビュー対話型デジタルメディア表現を提供することを含む、サラウンドビュー内の階層に関する。
【０００３】
従来技術の説明
現代の計算プラットフォーム及び技術が、ネイティブ取得入力ストリームとしてカメラセンサを含むモバイル装置及びウェアラブルデバイスへ移行するにつれ、よりオーソドックスな二次元（２Ｄ）平面画像及び映像と異なる形式により瞬間をデジタル形式で記録し、保存する願望がより顕著になっている。従来のデジタルメディア形式は、概してその視聴者を受動的体験に限定する。例えば、２Ｄ平面画像は１つの角度から見ることができ、ズームイン／ズームアウトに限定される。従って、２Ｄ平面画像等の従来のデジタルメディア形式は、思い出やイベントを容易に高忠実度で再現するには向いていない。
【０００４】
現在の予測（参照：KPCB “Internet Trends 2012” presentation”）は、オンラインでデジタル捕捉されている視覚データの量が数年ごとに倍増することを示している。この視覚データの量が増加すると、現在使用可能なものよりもはるかに包括的な検索及びインデックス付けメカニズムを求める需要も高まる。不都合なことに、２Ｄ画像も２Ｄ映像もそうした目的のためには設計されていない。従って、利用者が視覚データを見てインデックス付けすること、並びにクエリを行い、視覚データから有意味の結果を素早く受け取ることを可能にする改善されたメカニズムが望ましい。
【発明の概要】
【０００５】
概要
本発明の様々な実施形態は、一般に画像及び映像を解析し、操作するためのシステム及び方法に関する。特定の実施形態によれば、本明細書ではサラウンドビューと呼ぶ装置上で提示するための表現を作成するために、位置情報データと共に複数の画像及び映像間の空間的関係を解析する。対応する軸に沿って装置を操作することにより、サラウンドビュー内に含まれるオブジェクトを軸に沿って操作することができる。特定の実施形態では、サラウンドビューを複数の階層に分けることができる。サラウンドビューの対話型且つ没入型の視聴体験を向上させるために、それらの階層の１つ又は複数にエフェクトを適用することができる。
【０００６】
図面の簡単な説明
本開示は、添付図面と組み合わせて解釈される以下の説明を参照することで最も良く理解することができ、添付図面は本発明の特定の実施形態を示す。
【図面の簡単な説明】
【０００７】
【図１】サラウンドビュー取得システムの一例を示す。
【図２】サラウンドビューを生成するためのプロセスフローの一例を示す。
【図３】没入型の体験を作り出すために三次元（３Ｄ）モデルへと融合可能な複数のカメラビューの一例を示す。
【図４Ａ】サラウンドビュー内のコンテンツとコンテキストとの分離の一例を示す。
【図４Ｂ】サラウンドビュー内の階層化の一例を示す。
【図４Ｃ】サラウンドビュー内の階層を修正するためのプロセスの一例を示す。
【図５Ａ】凹状ビューの一例を示し、このビューは背面カメラ捕捉方式を使用する。
【図５Ｂ】凸状ビューの一例を示し、このビューは背面カメラ捕捉方式を使用する。
【図６Ａ】サラウンドビューのための捕捉モードの一例を示す。
【図６Ｂ】サラウンドビューのための捕捉モードの一例を示す。
【図６Ｃ】サラウンドビューのための捕捉モードの一例を示す。
【図６Ｄ】サラウンドビューのための捕捉モードの一例を示す。
【図６Ｅ】サラウンドビューのための捕捉モードの一例を示す。
【図７Ａ】サラウンドビューを生成するために使用可能なデータを記録するためのプロセスの一例を示す。
【図７Ｂ】ダイナミックパノラマ捕捉プロセスの一例を示す。
【図７Ｃ】捕捉装置を回転軸によって回転させる、ダイナミックパノラマ捕捉プロセスの一例を示す。
【図７Ｄ】ダイナミックコンテンツを有するダイナミックパノラマの一例を示す。
【図７Ｅ】３Ｄ効果を有するダイナミックパノラマを捕捉する一例を示す。
【図７Ｆ】視差効果を有するダイナミックパノラマの一例を示す。
【図７Ｇ】オブジェクトパノラマ捕捉プロセスの一例を示す。
【図７Ｈ】オブジェクトパノラマが投影された背景パノラマの一例を示す。
【図７Ｉ】オブジェクトパノラマを構成する複数のオブジェクトの一例を示す。
【図７Ｊ】利用者によるナビゲーションに基づいてオブジェクトパノラマの視角を変更する一例を示す。
【図７Ｋ】自撮りパノラマ捕捉プロセスの一例を示す。
【図７Ｌ】自撮りパノラマが投影された背景パノラマの一例を示す。
【図７Ｍ】利用者によるナビゲーションに基づくパノラマの拡張ビューの一例を示す。
【図８】三次元コンテンツを二次元パノラマコンテキストと混合したサラウンドビューの一例を示す。
【図９】時空サラウンドビューが独立した観測者によって同時に記録されている一例を示す。
【図１０】複合サラウンドビューをより小さい直線部分に分離する一例を示す。
【図１１】複数のサラウンドビューをマルチサラウンドビューへと組み合わせる一例を示す。
【図１２】より正確なサラウンドビューを提供するために、関心のあるオブジェクトの追加のビューを利用者に促すためのプロセスの一例を示す。
【図１３Ａ】検索されるオブジェクトの追加のビューを利用者に促す一例を示す。
【図１３Ｂ】検索されるオブジェクトの追加のビューを利用者に促す一例を示す。
【図１４】サラウンドビューをナビゲートするためのプロセスの一例を示す。
【図１５】サラウンドビューのスワイプによるナビゲーションの一例を示す。
【図１６Ａ】モバイル装置及びブラウザ上に表示されるサラウンドビューの共有サービスの例を示す。
【図１６Ｂ】サラウンドビューに関連するモバイル装置上の通知の例を示す。
【図１７Ａ】オブジェクトのセグメント化を行うためのプロセスの一例を示す。
【図１７Ｂ】様々な角度から見たセグメント化オブジェクトの一例を示す。
【図１８】サラウンドビューの生成に使用可能な様々なデータ源、及びサラウンドビューと共に使用可能な様々な応用例の一例を示す。
【図１９】オブジェクトの視覚的検索を行うためのプロセスの一例を示し、検索クエリはオブジェクトのサラウンドビューを含み、検索されるデータは三次元モデルを含む。
【図２０】オブジェクトの視覚的検索を行うためのプロセスの一例を示し、検索クエリはオブジェクトのサラウンドビューを含み、検索されるデータは二次元画像を含む。
【図２１】視覚的検索プロセスの一例を示す。
【図２２】オブジェクトの視覚的検索を行うためのプロセスの一例を示し、検索クエリはオブジェクトの二次元ビューを含み、検索されるデータはサラウンドビューを含む。
【図２３】本発明の様々な実施形態で使用可能なコンピュータシステムの特定の例を示す。
【発明を実施するための形態】
【０００８】
詳細な説明
次に、本発明者が考える本発明を実行するための最良の態様を含む本発明の幾つかの具体例を詳しく参照する。それらの特定の実施形態の例を添付図面に示す。これらの特定の実施形態に関連して本開示を説明するが、記載する実施形態に本発明を限定することは意図しないことが理解されよう。逆に、添付の特許請求の範囲によって定める本発明の趣旨及び範囲に含まれ得る代替形態、修正形態、及び等価物を対象として含むことを意図する。
【０００９】
以下の説明では、本発明の完全な理解を与えるために数多くの具体的詳細を記載している。本発明の特定の実施形態が、それらの具体的詳細の一部又は全てなしに実施されても良い。他の例では、本発明をむだに不明瞭にしないために、良く知られているプロセス操作については詳しく説明していない。
【００１０】
本発明の様々な態様は、データの冗長性をなくし、利用者に対話型且つ没入型のアクティブ視聴体験を提供する単一の表現、サラウンドビューを作成するために、位置情報データと共に複数の画像及び映像間の空間的関係を解析するためのシステム及び方法に概して関する。様々な実施形態によれば、アクティブとは、画面上に表示される視覚情報の視点を制御する能力を利用者に与える脈絡で記載する。特定の実施形態例では、サラウンドビューのデータ構造（及び関連するアルゴリズム）が、これだけに限定されないが視覚的検索を含む応用例のためにネイティブに構築される。
【００１１】
本発明の様々な実施形態によれば、サラウンドビューはマルチビュー対話型デジタルメディア表現である。図１を参照し、サラウンドビュー取得システム１００の一例が示されている。この実施形態例では、サラウンドビューを生成するために使用可能なフローシーケンスによってサラウンドビュー取得システム１００を示す。様々な実施形態によれば、サラウンドビューを生成するために使用するデータは様々な情報源から来ることができる。とりわけ、サラウンドビューを生成するために、これだけに限定されないが二次元（２Ｄ）画像１０４等のデータを使用することができる。それらの２Ｄ画像は、複数の画像シーケンス、映像データ等のカラー画像データストリーム、又は様々な画像形式の何れかの複数の画像を応用例に応じて含み得る。サラウンドビューを生成するために使用可能な別のデータ源は位置情報１０６を含む。この位置情報１０６は、加速度計、ジャイロスコープ、磁気計、ＧＰＳ、ＷｉＦｉ、ＩＭＵのようなシステム（慣性測定ユニットシステム）等の情報源から取得され得る。サラウンドビューを生成するために使用可能な更に別のデータ源は、奥行画像１０８を含み得る。これらの奥行画像は奥行、３Ｄ、又は視差画像データストリーム等を含むことができ、これだけに限定されないが、ステレオカメラ、飛行時間カメラ、三次元カメラ等の装置によって捕捉され得る。
【００１２】
この実施形態例では、センサ融合ブロック１１０で、データを融合することができる。一部の実施形態では、奥行画像１０８が一切提供されることなしに、２Ｄ画像１０４及び位置情報１０６の両方を含むデータの組合せとして、サラウンドビューを生成することができる。他の実施形態では、センサ融合ブロック１１０で、奥行画像１０８及び位置情報１０６を一緒に使用することができる。応用例及び使用可能なデータに応じて、画像データの様々な組合せを１０６の位置情報と共に使用することができる。
【００１３】
この実施形態例では、センサ融合ブロック１１０で融合したデータを、コンテンツモデリング１１２及びコンテキストモデリング１１４に使用する。図４に関してより詳細に説明するように、画像内で取り上げられる内容をコンテンツとコンテキストに分離することができる。コンテンツは関心のあるオブジェクトとして描写でき、コンテキストは関心のあるオブジェクトを取り巻く風景として描写することができる。様々な実施形態によれば、コンテンツは関心のあるオブジェクトを描く三次元モデルとし得るが、図４に関して以下でより詳細に説明するように一部の実施形態では２次元画像とすることができる。更に一部の実施形態では、コンテキストは、関心のあるオブジェクトを取り巻く風景を描く二次元モデルであり得る。多くの例で、コンテキストは、関心のあるオブジェクトを取り巻く風景の二次元ビューを提供できるが、一部の実施形態では三次元の側面も含み得る。例えばコンテキストは、円柱状の「キャンバス」に沿った「平面」画像として描くことができ、そのため「平面」画像は円柱の表面に表示される。加えて、一部のオブジェクトが三次元オブジェクトとして周囲の風景内で識別される場合等、一部の例は三次元コンテキストモデルを含むことができる。様々な実施形態によれば、コンテンツモデリング１１２及びコンテキストモデリング１１４によって提供されるモデルは、図３に関してより詳細に説明するように画像と位置情報データとを組み合わせることによって生成され得る。
【００１４】
様々な実施形態によれば、サラウンドビューのコンテキスト及びコンテンツは、指定された関心のあるオブジェクトに基づいて求められる。一部の例では、画像及び位置情報データを処理することに基づいて関心のあるオブジェクトが自動で選ばれる。例えば、一連の画像内で主要なオブジェクトを検出する場合、そのオブジェクトをコンテンツとして選択することができる。他の例では、図１に示すように利用者が指定したターゲット１０２が選択され得る。但し一部の応用例では、利用者が指定したターゲットなしにサラウンドビューを生成できることに留意すべきである。
【００１５】
この実施形態例では、改善アルゴリズムブロック１１６で、１つ又は複数の改善アルゴリズムを適用することができる。特定の実施形態例では、使用される捕捉モードの種類に関係なく、サラウンドビューデータの捕捉中に様々なアルゴリズムを使用することができる。それらのアルゴリズムは、ユーザエクスペリエンスを改善するために使用することができる。例えば、サラウンドビューデータの捕捉中、自動フレーム選択、安定化、ビュー補間、フィルタ、及び／又は圧縮を使用することができる。一部の例では、データの取得後にこれらの改善アルゴリズムを画像データに適用することができる。他の例では、これらの改善アルゴリズムをサラウンドビューデータの捕捉中に画像データに適用することができる。
【００１６】
特定の実施形態例によれば、より楽しめるサラウンドビューを作成するために自動フレーム選択を使用することができる。具体的には、フレーム間の遷移がよりスムーズ又はより均等になるように、フレームが自動で選択される。この自動フレーム選択は、一部の応用例ではぶれ検出及び露出過度検出、並びにポーズがより均等に分布するように、ポーズをより均等にサンプリングすることを取り入れることができる。
【００１７】
一部の実施形態例では、映像に使用するのと同様の方法でサラウンドビューに安定化を使用することができる。とりわけ、よりスムーズな遷移、コンテンツに対する改善／強化されたフォーカス等の改善をもたらすために、サラウンドビュー内のキーフレームを安定化することができる。しかし、映像とは異なり、ＩＭＵ情報、奥行情報、コンピュータビジョン技法、安定化する領域を直接選択すること、顔検出等を使用することによる多くの更なる安定化源がサラウンドビューにはある。
【００１８】
例えば、ＩＭＵ情報は安定化に非常に有用であり得る。具体的には、ＩＭＵ情報は、画像の捕捉中に生じ得るカメラの震えについて、時としておおよその又はノイズの多い推定値だが、推定値を与える。そのようなカメラの震えの影響を除去し、打ち消し、且つ／又は低減するためにその推定値を使用することができる。
【００１９】
一部の例では、使用可能な場合、サラウンドビューに安定化を与えるために奥行情報を使用することができる。サラウンドビュー内の関心のある点は二次元ではなく三次元なので、それらの関心のある点はより制約付きであり、検索空間が減ればそれらの点の追跡／マッチングが単純化する。更に、関心のある点のディスクリプタは色情報及び奥行情報の両方を使用することができ、従ってより区別的になる。加えて、奥行情報を使い、自動又は半自動のコンテンツ選択をより容易に行うことができる。例えば利用者が画像の特定のピクセルを選択する場合、その選択を拡張してそのピクセルに接触する全表面を埋めることができる。更に、コンテンツは、奥行きに基づく前景／背景の区別を使用することによって自動で選択することもできる。様々な例において、コンテンツはコンテキストが変わるときにさえ比較的安定したまま／目に見えたままであり得る。
【００２０】
様々な例によれば、サラウンドビューに安定化を与えるためにコンピュータビジョン技法も使用することができる。例えば、キーポイントを検出して追跡することができる。しかし、視差がある動的シーンや静的シーン等の特定のシーンでは、全てを安定化することができる単純なワープは存在しない。その結果、シーンの特定の側面が安定化の注目をより多く集め、シーンの他の側面が注目をあまり集めないトレードオフがある。サラウンドビューは関心のある特定のオブジェクトに焦点を当てることが多いので、一部の例ではサラウンドビューのコンテンツに重み付けすることができ、それにより関心のあるオブジェクトが最大限に安定化される。
【００２１】
サラウンドビュー内の安定化を改善する別の方法は、画面領域を直接選択することを含む。例えば、利用者が或る画面領域に焦点を当てるためにタップし、凸状サラウンドビューを記録する場合、タップされた領域を最大限に安定化することができる。これにより、関心のある特定の領域又はオブジェクトに安定化アルゴリズムの焦点を当てることができる。
【００２２】
一部の例では、安定化を提供するために顔検出を使用することができる。例えば、前面カメラを使って記録する場合、シーン内の関心のあるオブジェクトが利用者であることが往々にしてある。従って、その領域の周りで安定化に重み付けするために顔検出を使用することができる。顔検出が十分正確である場合、安定化する領域として、汎用キーポイントを使用するのではなく顔の特徴自体（目、鼻、口等）を使用することができる。
【００２３】
様々な例によれば、視聴体験を改善するためにビュー補間を使用することができる。とりわけ、安定化されたフレーム間の急な「飛越し」を回避するために、合成された中間ビューをその場でレンダリングすることができる。これは、上記のコンテンツに重み付けしたキーポイントの追跡及びＩＭＵ情報、並びにより密なピクセル間のマッチによって知らされ得る。奥行情報を使用できる場合、ミスマッチピクセルに起因するより少ないアーティファクトが生じ、それによりプロセスが単純化され得る。上記のように、一部の実施形態ではビュー補間をサラウンドビューの捕捉中に適用することができる。他の実施形態では、ビュー補間をサラウンドビューの生成中に適用することができる。
【００２４】
一部の例では、視聴体験を向上させるために、サラウンドビューの捕捉又は生成中にフィルタを使用することもできる。人気のある多くの写真共有サービスが静的な二次元画像に適用可能な審美的フィルタを提供するのと同様に、審美的フィルタをサラウンド画像に同様に適用することができる。しかし、サラウンドビュー表現は二次元画像よりも表現豊かであり、サラウンドビュー内では三次元情報を入手できるので、二次元写真内では不明瞭なエフェクトを含むようにこれらのフィルタを拡張することができる。例えばサラウンドビュー内では、コンテンツが明快でありながらモーションブラーを背景（即ちコンテキスト）に加えることができる。別の例では、サラウンドビュー内の関心のあるオブジェクトに落とし影（drop-shadow）を加えることができる。
【００２５】
様々な例において、改善アルゴリズム１１６として圧縮も使用することができる。とりわけ圧縮は、データのアップロード及びダウンロードコストを減らすことによってユーザエクスペリエンスを高めるために使用することができる。サラウンドビューは空間情報を使用するので、サラウンドビューでは、サラウンドビューの所望の質を維持しながら、典型的な映像よりもはるかに少ないデータが送信され得る。とりわけ、上記のビュー補間と組み合わせたＩＭＵ、キーポイントの追跡、及びユーザ入力は全て、サラウンドビューのアップロード又はダウンロード中に装置との間で転送されなければならないデータ量を減らすことができる。例えば関心のあるオブジェクトを適切に識別できる場合、可変圧縮方式をコンテンツ及びコンテキストについて選ぶことができる。この可変圧縮方式は、一部の例では背景情報（即ちコンテキスト）については低品質の分解能を含むことができ、前景情報（即ちコンテンツ）については高品質の分解能を含むことができる。かかる例では、コンテンツの所望の品質水準を維持しながらコンテキストの品質の一部を犠牲にすることにより、伝送されるデータ量を減らすことができる。
【００２６】
この実施形態では、任意の改善アルゴリズムを適用した後でサラウンドビュー１１８が生成される。サラウンドビューは、マルチビュー対話型デジタルメディア表現を提供することができる。様々な例において、サラウンドビューはコンテンツの三次元モデル及びコンテキストの二次元モデルを含み得る。しかし一部の例では、コンテキストが、円柱状の面や他の形状の面等の面に沿って投影される風景又は背景の「平面」ビューを表すことができ、そのためコンテキストは純粋に二次元ではない。更に他の例では、コンテキストが三次元の側面を含むことができる。
【００２７】
様々な実施形態によれば、サラウンドビューは従来の二次元画像又は映像に勝る数多くの利点を提供する。それらの利点の一部は、動いている風景、動いている取得装置、又はその両方に対処する能力、シーンの一部を三次元でモデリングする能力、不要な冗長情報を除去し、出力データセットのメモリフットプリントを減らす能力、コンテンツとコンテキストを区別する能力、ユーザエクスペリエンスを改善するためにコンテンツとコンテキストとの区別を使用する能力、メモリフットプリントを改善するためにコンテンツとコンテキストとの区別を使用する能力（一例はコンテンツを高品質で圧縮し、コンテキストを低品質で圧縮することである）、高い効率及び精度でサラウンドビューにインデックス付けすることを可能にする特有の特徴のディスクリプタをサラウンドビューに関連させる能力、及び利用者がサラウンドビューと対話し、サラウンドビューの視点を変える能力を含む。特定の実施形態例では、上記の特性をサラウンドビュー表現内にネイティブに組み込み、様々な応用例で使用するための機能を提供することができる。例えば、電子商取引、視覚的検索、３Ｄプリント、ファイル共有、ユーザ対話、娯楽等の様々な分野を向上させるためにサラウンドビューを使用することができる。
【００２８】
様々な実施形態例によれば、サラウンドビュー１１８を生成すると、追加の画像データの取得に関するユーザフィードバック１２０を与えることができる。具体的には、コンテンツ又はコンテキストのより正確なモデルを提供するために追加のビューがサラウンドビューに必要だと判定される場合、利用者は追加のビューを提供するように促され得る。それらの追加のビューがサラウンドビュー取得システム１００によって受け取られると、それらの追加のビューがシステム１００によって処理され、サラウンドビューに組み込まれ得る。
【００２９】
図２を参照し、サラウンドビューを生成するためのプロセスフロー図２００の一例が示されている。この例では、２０２で複数の画像を取得する。様々な実施形態によれば、複数の画像は二次元（２Ｄ）画像又はデータストリームを含み得る。それらの２Ｄ画像は、サラウンドビューを生成するために使用可能な位置情報を含み得る。一部の実施形態では、複数の画像が図１に関して上記で説明したように奥行画像１０８を含み得る。様々な例において、奥行画像は位置情報も含むことができる。
【００３０】
様々な実施形態によれば、２０２で取得される複数の画像は様々な情報源及び特性を含み得る。例えば複数の画像は、複数の利用者から取得され得る。それらの画像は、コンサートで取得された２Ｄ画像や映像等、様々な利用者からインターネットによって集められる同一イベントの画像集とすることができる。一部の例では、複数の画像が異なる時間的情報を有する画像を含み得る。とりわけ画像は、同一の関心のあるオブジェクトについて異なる時点で撮られ得る。例えば、特定の像の複数の画像が異なる時刻、異なる季節等に取得されても良い。他の例では、複数の画像が移動するオブジェクトを表し得る。例えば画像は、道路に沿って進む車両や空を飛ぶ飛行機等、或る風景を進む関心のあるオブジェクトを含み得る。他の例では画像が、踊っている人、走っている人、回っている人等、やはり移動している関心のあるオブジェクトを含み得る。
【００３１】
この実施形態例では、２０４で複数の画像をコンテンツ及びコンテキストモデルへと融合する。様々な実施形態によれば、画像内で取り上げられる内容をコンテンツとコンテキストに分離することができる。コンテンツは関心のあるオブジェクトとして描写でき、コンテキストは関心のあるオブジェクトを取り巻く風景として描写することができる。様々な実施形態によれば、コンテンツは関心のあるオブジェクトを描く三次元モデルとすることができ、コンテンツは一部の実施形態では二次元画像であり得る。
【００３２】
この実施形態例によれば、２０６で１つ又は複数の改善アルゴリズムをコンテンツ及びコンテキストモデルに適用することができる。それらのアルゴリズムは、ユーザエクスペリエンスを改善するために使用することができる。例えば、自動フレーム選択、安定化、ビュー補間、フィルタ、及び／又は圧縮等の改善アルゴリズムを使用することができる。一部の例では、画像の捕捉中にそれらの改善アルゴリズムを画像データに適用することができる。他の例では、データの取得後にそれらの改善アルゴリズムを画像データに適用することができる。
【００３３】
この実施形態では、２０８でコンテンツ及びコンテキストモデルからサラウンドビューを生成する。サラウンドビューは、マルチビュー対話型デジタルメディア表現を提供することができる。様々な例において、サラウンドビューはコンテンツの三次元モデル及びコンテキストの二次元モデルを含み得る。様々な実施形態によれば、捕捉モード及び画像の視点に応じてサラウンドビューモデルが特定の特性を含み得る。例えば、サラウンドビューの様々な様式の幾つかの例は、局所的に凹状のサラウンドビュー、局所的に凸状のサラウンドビュー、及び局所的に平面のサラウンドビューを含む。但しサラウンドビューは、応用例に応じてビュー及び特性の組合せを含み得ることに留意すべきである。
【００３４】
図３を参照し、没入型の体験を作り出すために三次元（３Ｄ）モデルへと融合可能な複数のカメラビューの一例が示されている。様々な実施形態によれば、複数の画像を様々な視点から捕捉し、融合してサラウンドビューを提供することができる。この実施形態例では、関心のあるオブジェクト３０８の近くの位置３２２、３２４、及び３２６のそれぞれに、３台のカメラ３１２、３１４、及び３１６が配置されている。オブジェクト３１０等、関心のあるオブジェクト３０８を風景が取り巻くことができる。それぞれのカメラ３１２、３１４、及び３１６からのビュー３０２、３０４、及び３０６は重複する内容を含む。とりわけ各ビュー３０２、３０４、及び３０６は、関心のあるオブジェクト３０８、及びオブジェクトを取り巻く様々な可視度の風景３１０を含む。例えば、ビュー３０２は、オブジェクトを取り巻く風景３１０の一部である円柱の前にある関心のあるオブジェクト３０８を含む。ビュー３０６は、その円柱の片側に関心のあるオブジェクト３０８を示し、ビュー３０４は、円柱のビューを一切含まずに関心のあるオブジェクトを示す。
【００３５】
この実施形態例では、様々なビュー３０２、３０４、及び３１６並びにその関連する位置３２２、３２４、及び３２６のそれぞれが、サラウンドビューを作成するために使用可能な関心のあるオブジェクト３０８及び周囲のコンテキストに関する豊富な情報源を提供する。例えば一緒に解析する場合、様々なビュー３０２、３０４、及び３２６は関心のあるオブジェクトの様々な側面に関する情報、及び関心のあるオブジェクトと風景との間の関係を提供する。様々な実施形態によれば、この情報を使用して関心のあるオブジェクト３０８をコンテンツへと、及び風景をコンテキストとしてはっきりさせることができる。更に、図１及び図２に関しても上記で説明したように、サラウンドビューを見たときの没入型且つ対話型の体験を作り出すために、これらの視点によって作成される画像に様々なアルゴリズムを適用することができる。
【００３６】
図４Ａは、サラウンドビュー内のコンテンツとコンテキストとの分離の一例を示す。本発明の様々な実施形態によれば、サラウンドビューは、シーン４００についてのマルチビュー対話型デジタルメディア表現である。図４Ａを参照し、シーン４００内に位置する利用者４０２が示されている。利用者４０２は、像等の関心のあるオブジェクトの画像を捕捉している。利用者が捕捉する画像は、サラウンドビューを生成するために使用可能なデジタル視覚データを構成する。
【００３７】
本開示の様々な実施形態によれば、サラウンドビュー内に含まれるデジタル視覚データは、コンテンツ４０４とコンテキスト４０６とに意味論的に及び／又は実用的に分離することができる。特定の実施形態によれば、コンテンツ４０４は関心のあるオブジェクト、人物、又はシーンを含み得る一方、コンテキスト４０６は、コンテンツ４０４を取り巻くシーンの残りの要素を表す。一部の例では、サラウンドビューがコンテンツ４０４を三次元データとして、コンテキスト４０６を二次元のパノラマ背景として表し得る。他の例では、サラウンドビューがコンテンツ４０４及びコンテキスト４０６の両方を二次元のパノラマシーンとして表わし得る。更に他の例では、コンテンツ４０４及びコンテキスト４０６が三次元の成分又は側面を含み得る。特定の実施形態では、サラウンドビューがコンテンツ４０４及びコンテキスト４０６を描く方法が、画像を取得するのに使用される捕捉モードによって決まる。
【００３８】
これだけに限定されないが、オブジェクト、人物、又はそれらの一部しか見えない場合に、オブジェクト、人物、又はオブジェクト若しくは人物の一部を記録すること、広い平面領域を記録すること、捕捉データが無限遠にあるように見える（即ちカメラの近くに対象がない）シーンを記録すること等の一部の例では、コンテンツ４０４とコンテキスト４０６とが同じであり得る。これらの例では、作成されるサラウンドビューが、パノラマ等の他の種類のデジタルメディアと同様の幾つかの特性を有し得る。但し様々な実施形態によれば、サラウンドビューは、それらの既存の種類のデジタルメディアと自らを区別する追加の特徴を含む。例えばサラウンドビューは、移動データを表わし得る。加えてサラウンドビューは、特定の円柱状、球状、又は並進運動に限定されない。カメラ又は他の捕捉装置を用いて画像データを捕捉するために様々な動きを使用することができる。更に、ステッチパノラマと異なり、サラウンドビューは同一オブジェクトの様々な側面を表示することができる。
【００３９】
一部の応用例ではサラウンドビューをコンテンツとコンテキストとに分離することができるが、他の応用例ではサラウンドビューを複数の階層に分けることもできる。図４Ｂを参照し、サラウンドビュー内の階層化の一例が示されている。この例では、階層化されたサラウンドビュー４１０が異なる階層４１８、４２０、及び４２２へとセグメント化されている。各階層４１８、４２０、及び４２２は、オブジェクト（又は１組のオブジェクト）、人、ダイナミックシーン要素、背景等を含み得る。更に、これらの階層４１８、４２０、及び４２２のそれぞれに奥行きを割り当てることができる。
【００４０】
様々な実施形態によれば、異なる階層４１８、４２０、及び４２２を様々な方法で表示することができる。例えば、様々なフィルタ（例えばグレースケールフィルタ、ぼかし等）を一部の階層に適用し、他の階層には適用しないことができる。他の例では、利用者がサラウンドビュー中をスワイプするとき、より優れた三次元効果がもたらされるように、異なる階層を互いに対して異なる速度で動かすことができる。同様に、利用者が視差方向に沿ってスワイプするとき、より優れた三次元効果をもたらすために階層を異なるように移動させることができる。加えて、サラウンドビューから不所望のオブジェクト等を除去できるように、サラウンドビューを表示するときに１つ又は複数の階層を省略することができる。
【００４１】
この例では、利用者４１２が捕捉装置４１４を持って図示されている。利用者４１２は、捕捉装置４１４を捕捉運動４１６に沿って動かす。サラウンドビューを生成するために捕捉画像を使用するとき、奥行きに基づいて階層４１８、４２０、及び４２２を分離する。これらの階層は、応用例に応じてサラウンドビュー内で異なるように処置し又は表示することができる。
【００４２】
図４Ｃを参照し、サラウンドビュー内の修正済みの階層を有するサラウンドビューを生成するためのプロセス４３０の一例が示されている。具体的には、４３２で第１の階層及び第２の階層を有する第１のサラウンドビューを取得する。図４Ｂに関して上記で説明したように、サラウンドビューは異なる階層に分割することができる。この例では、第１の階層が第１の奥行きを含み、第２の階層が第２の奥行きを含む。
【００４３】
次いで、４３４で第１の階層を選択する。様々な例によれば、第１の階層を選択することは、第１の奥行き内のデータを選択することを含む。より詳細には、第１の奥行き内のデータを選択することは、第１の奥行き内に位置する視覚データを選択することを含む。様々な実施形態によれば、第１の階層はオブジェクト、人物、ダイナミックシーン要素、背景等の特徴を含み得る。一部の例では、第１の階層の選択がユーザ入力なしに自動で行われる。他の例では、第１の階層の選択が利用者によって導かれる対話（user-guided interaction）を使用して半自動で行われる。
【００４４】
第１の階層を選択した後、４３６で第１のサラウンドビュー内の第１の階層にエフェクトを適用し、修正済みの第１の階層を作成する。一例では、適用するエフェクトをぼかしフィルタやグレースケールフィルタ等のフィルタとすることができる。別の例では、適用されるエフェクトが、第２の速度で移動する第２の階層に対して第１の階層を第１の速度で動かすことを含み得る。第１の速度が第２の速度と異なる場合、一部の事例では三次元効果を改善することができる。一部の応用例では、視差効果が生じ、それにより三次元効果を作り出すことができる。
【００４５】
次いで４３８で、修正済みの第１の階層及び第２の階層を含む第２のサラウンドビューを生成する。上記のように、第１の階層に１つ又は複数のエフェクトを適用することは、一部の応用例ではサラウンドビューの三次元効果を改善し得る。それらの応用例では、第２のサラウンドビューが第１のサラウンドビューに比べて改善された三次元効果を有し得る。様々な例で他のエフェクトを適用することができ、サラウンドビューの様々な側面を強調し又は強調しないで第２のサラウンドビューをもたらすことができる。加えて一部の応用例では、第２のサラウンドビュー内で階層を省略することができる。とりわけ第１のサラウンドビューが第３の階層を含む場合、第２のサラウンドビューは第３の階層を省略する。一例では、この第３の階層が、生成される第２のサラウンドビュー内で「削除」されるオブジェクト又は人物を含み得る。別の例では、この第３の階層が背景又は背景要素を含むことができ、生成される第２のサラウンドビューがその背景又は背景要素を含まない。当然ながら、応用例に応じて如何なるオブジェクト又は特徴もこの省略される第３の階層内に位置し得る。
【００４６】
図５Ａ〜図５Ｂは、凹状ビュー及び凸状ビューそれぞれの例を示し、どちらのビューも背面カメラ捕捉方式を使用する。とりわけ、カメラ付携帯電話を使用する場合、これらのビューは利用者から見て外方に向く電話の背面にあるカメラを使用する。特定の実施形態では、凹状ビュー及び凸状ビューは、コンテンツ及びコンテキストがサラウンドビュー内で指定される方法に影響し得る。
【００４７】
図５Ａを参照し、凹状ビュー５００の一例が示されており、この図面では利用者が縦軸５０８に沿って立っている。この例では利用者がカメラを持っており、そのため画像の捕捉中にカメラ位置５０２が軸５０８を離れることはない。しかし、利用者が軸５０８を中心に回転すると、カメラが利用者の周りのシーンのパノラマビューを捕捉し、凹状ビューを形成する。この実施形態では、画像が捕捉される方法が原因で、関心のあるオブジェクト５０４及び遠方風景５０６が全て同じように表示される。この例では、凹状ビュー内の全オブジェクトが無限遠に表示され、そのためこのビューによればコンテンツがコンテキストに等しい。
【００４８】
図５Ｂを参照し、関心のあるオブジェクト５２４の画像捕捉時に利用者が場所を変える、凸状ビュー５２０の一例が示されている。この例では、利用者が関心のあるオブジェクト５２４の周りを移動し、カメラ位置５２８、５３０、及び５３２から、関心のあるオブジェクトの様々な側面から写真を撮っている。取得される画像のそれぞれは、関心のあるオブジェクトのビュー及び遠方風景５２６の背景を含む。この例では、関心のあるオブジェクト５２４がコンテンツを表し、遠方風景５２６がこの凸状ビュー内のコンテキストを表す。
【００４９】
図６Ａ〜図６Ｅは、サラウンドビューのための様々な捕捉モードの例を示す。サラウンドビューを捕捉するために様々な動きを使用することができ、それらの動きは或る特定の種類の動きに限定されないが、サラウンドビューに関連して説明する特定の特徴又はビューを捕捉するために、３つの一般的な種類の動きを使用することができる。それらの３種類の動きのそれぞれは、局所的に凹状のサラウンドビュー、局所的に凸状のサラウンドビュー、及び局所的に平面のサラウンドビューをもたらすことができる。一部の例では、サラウンドビューが、同じサラウンドビュー内で様々な種類の動きを含み得る。
【００５０】
図６Ａを参照し、背面に面している凹状サラウンドビューを捕捉する一例が示されている。様々な実施形態によれば、局所的に凹状のサラウンドビューは、カメラ又は他の捕捉装置の視角が異なるサラウンドビューである。一次元では、これは球状の３６０パノラマ（純回転）を捕捉するのに必要な動きになぞらえることができるが、動きはビューが外側に向く任意の曲線スイープ運動に一般化され得る。この例では、体験は（ことによると動的な）コンテキストを眺める静止した観察者のものである。
【００５１】
この実施形態例では、利用者６０２が背面カメラ６０６を使用し、利用者６０２から離れて世界６００に向けて画像を捕捉している。様々な例において説明したように、背面カメラとは、スマートフォンの裏側にあるカメラ等、利用者から見て外方に向くカメラを有する装置を指す。カメラは、ビュー６０４ａ、６０４ｂ、及び６０４ｃが捕捉域６０９の様々な部分を捕捉するように凹状運動６０８で動かされる。
【００５２】
図６Ｂを参照し、背面に面している凸状サラウンドビューを捕捉する一例が示されている。様々な実施形態によれば、局所的に凸状のサラウンドビューは、関心のある単一のオブジェクトの方に視角が集中するサラウンドビューである。一部の例では、局所的に凸状のサラウンドビューは、観察者が同一オブジェクトの複数の側面を見ることができるように、軌道を描くように或る点の周りを回る体験を提供することができる。「関心のあるオブジェクト」であり得るこのオブジェクトは、コンテンツになるようにサラウンドビューからセグメント化することができ、任意のサラウンドデータをコンテキストになるようにセグメント化することができる。過去の技術は、メディア共有景観内のこの種の視角を認識することができない。
【００５３】
この実施形態例では、利用者６０２が背面カメラ６１４を使用し、利用者６０２から離れて世界６００に向けて画像を捕捉している。カメラは、ビュー６１２ａ、６１２ｂ、及び６１２ｃが捕捉域６１１の様々な部分を捕捉するように凸状運動６１０で動かされる。上記のように、世界６００は一部の例では関心のあるオブジェクトを含むことができ、凸状運動６１０は軌道を描くようにそのオブジェクトの周りを回ることができる。ビュー６１２ａ、６１２ｂ、及び６１２ｃは、これらの例ではそのオブジェクトの様々な側面のビューを含み得る。
【００５４】
図６Ｃを参照し、前面に面している凹状サラウンドビューを捕捉する一例が示されている。様々な例において説明したように、前面カメラとは、スマートフォンの前面にあるカメラ等、利用者に面したカメラを有する装置を指す。例えば前面カメラは、一般に「自撮り」（即ち利用者の自画像撮影）を行うために使用される。
【００５５】
この実施形態例では、カメラ６２０が利用者６０２の方を向いている。カメラは、ビュー６１８ａ、６１８ｂ、及び６１８ｃが互いに角度的に分かれるように凹状運動６０６をたどる。捕捉域６１７は、周囲にいる利用者を含む凹状の形をたどる。
【００５６】
図６Ｄを参照し、前面に面している凸状サラウンドビューを捕捉する一例が示されている。この実施形態例では、カメラ６２６が利用者６０２の方を向いている。カメラは、ビュー６２４ａ、６２４ｂ、及び６２４ｃが利用者６０２の方に集中するように凸状運動６２２をたどる。捕捉域６１７は、利用者６０２を取り囲む凹状の形をたどる。
【００５７】
図６Ｅを参照し、背面に面している平面ビューを捕捉する一例が示されている。特定の実施形態例では、局所的に平面のサラウンドビューは、カメラの回転がカメラの並進移動に比べて小さいサラウンドビューである。局所的に平面のサラウンドビューでは、視角がおおよそ平行のままであり、視差効果が優位に立つ。この種のサラウンドビューにも「関心のあるオブジェクト」があり得るが、その位置は異なるビュー内で一定のままではない。過去の技術は、メディア共有景観内のこの種の視角も認識することができない。
【００５８】
この実施形態例では、カメラ６３２が利用者６０２から見て外方に、世界６００の方に向いている。カメラは、捕捉域６２９が概ね直線をたどるように概して直線運動６２８をたどる。ビュー６３０ａ、６３０ｂ、及び６３０ｃは概ね平行な視線を有する。複数のビュー内で見るオブジェクトは、各ビュー内で異なる又はシフトされた背景シーンを有するように見え得る。加えて、異なるビュー内でオブジェクトの僅かに異なる側面を見ることができる場合がある。視差効果を使用し、オブジェクトの位置及び特性に関する情報を、任意の１つの静止画像よりも多くの情報を提供するサラウンドビュー内で生成することができる。
【００５９】
上記のように、サラウンドビュー用の画像を捕捉するために様々なモードを使用することができる。局所的な凹状運動、局所的な凸状運動、及び局所的な直線運動を含むそれらのモードは、別々の画像の捕捉中に又はシーンの継続的記録中に使用することができる。かかる記録は、単一セッション中の一連の画像を捕捉することができる。
【００６０】
本発明の様々な実施形態によれば、数多くの方法で取得したデータからサラウンドビューを生成することができる。図７Ａは、サラウンドビューを生成するために使用可能なデータを記録するためのプロセスの一例を示す。この例では、空間を通してカメラを動かすことによってデータを取得する。具体的には、利用者が捕捉装置７００上の記録ボタン７０２をタップして記録を開始する。捕捉装置の動き７１６は概して左方向をたどるので、オブジェクトの動き７１６によって示すように、オブジェクト７１４は画面を横切るように概ね右方向への移動で動く。具体的には、利用者がビュー７０８内の記録ボタン７０２を押し、捕捉装置をビュー７１０内で左方向に動かす。捕捉装置が左向きに動くと、ビュー７１０とビュー７１２との間でオブジェクト７１４が右に移動しているように見える。一部の例では、利用者が記録を終えるとき、記録ボタン７０２を再びタップすることができる。他の例では、利用者が記録中に記録ボタンをタップしてその状態を保ち、記録を停止するために指を離すことができる。この実施形態では、記録がサラウンドビューを生成するために使用可能な一連の画像を捕捉する。
【００６１】
様々な実施形態によれば、捕捉プロセス内で使用する動きの種類に応じて様々な種類のパノラマをサラウンドビュー内で捕捉することができる。とりわけ、捕捉データに基づいてダイナミックパノラマ、オブジェクトパノラマ、及び自撮りパノラマを生成することができる。一部の実施形態では、図７Ａに関して説明したように捕捉データを記録することができる。
【００６２】
図７Ｂ〜図７Ｆは、サラウンドビューと共に作成可能なダイナミックパノラマに関する例を示す。とりわけ図７Ｂを参照し、ダイナミックパノラマ捕捉プロセス７２０の一例が示されている。この例では、利用者７２２が捕捉装置７２４を捕捉運動７２６に沿って動かす。この捕捉運動７２６は、捕捉装置７２４を回転させること、振ること、平行移動させること等を含み得る。この捕捉プロセス中、シーン７２８のパノラマが生成され、シーン内のダイナミックコンテンツが保たれる。例えば、移動するオブジェクトがダイナミックコンテンツとしてパノラマ内で保存される。
【００６３】
図７Ｃを参照し、捕捉装置７３２を回転軸７３４によって回転させる、ダイナミックパノラマ捕捉プロセス７３０の具体例が示されている。具体的には、回転軸７３４に沿う捕捉装置７３２の中心の周りで捕捉装置７３２を回転させる。この純回転が、シーン７３６のパノラマを捕捉する。様々な例によれば、この種のパノラマは、特定の時点におけるシーン内のエンティティを捕捉する、「平面」シーンを提供することができる。この「平面」シーンは二次元画像とすることができ、又は円柱や面上に投影される画像等とすることができる。
【００６４】
図７Ｄを参照し、ダイナミックコンテンツ７４４を有するダイナミックパノラマ７４０の一例が示されている。図７Ｂ〜図７Ｃに関して上記で説明したようにパノラマを捕捉すると、利用者はダイナミックパノラマ７４０をナビゲートすることができる。この例では、利用者がダイナミックパノラマ７４０をナビゲートするとき、ダイナミックコンテンツ７４４が動画化される。例えば、利用者がシーン７４２を横にスワイプするとき、ダイナミックコンテンツ７４４がシーン７４２に対して動いているように見え得る。
【００６５】
図７Ｅを参照し、３Ｄ効果を有するダイナミックパノラマを捕捉する一例が示されている。この例では、捕捉装置を（図７Ｃにあるように）厳密に捕捉装置のカメラの中心の周りで回転させることがない場合、利用者がダイナミックコンテンツをナビゲートする間、パノラマの様々な部分を異なる速度で動かすことによって３Ｄ効果を得ることができる。捕捉装置を（図７Ｃにあるように）捕捉装置のカメラの中心の周りで回転させることがない場合、標準的なパノラマ捕捉プロセスでは近くの人物又はオブジェクト７５０がアーティファクトを作り出すが、ダイナミックパノラマをスワイプ／ナビゲートするときにオブジェクト７５０を異なる速度で動かすことによって利用者に対する３Ｄの印象を作り出すために、その「不完全さ」を使用することができる。具体的には、図示の捕捉装置７４５は、遠方のシーン７４６及び近くの人物／オブジェクト７５０を捕捉する捕捉運動７４８を使用する。様々な実施形態によれば、近くの人物／オブジェクト７５０の動きをサラウンドビュー内の３Ｄ運動として捕捉できる一方、利用者がサラウンドビューをナビゲートするとき遠方風景７４６は静止して見える。
【００６６】
図７Ｆを参照し、視差効果を有するダイナミックパノラマ７５０の一例が示されている。パノラマ方向７５２に対して垂直にスワイプするとき、視差効果を適用することによって三次元効果を提示することができる。具体的には、パノラマ方向に対して垂直に視差方向７５４に沿ってスワイプするとき、近くのオブジェクトが視差方向７５４に沿って動かされるのに対し、遠くのシーンはそのままであり又は近くのオブジェクトよりも小さく動く。
【００６７】
図７Ｇ〜図７Ｊは、サラウンドビューと共に作成可能なオブジェクトパノラマに関する例を示す。図７Ｇを参照し、オブジェクトパノラマ捕捉プロセスの一例が示されている。具体的には、捕捉装置７６６が捕捉運動７６０にそってオブジェクト７６２の周りで動かされている。捕捉装置７６６の或る特定の例はスマートフォンである。オブジェクト７６２の様々なビュー及び角度を捕捉するとき、捕捉装置７６６は背景７６４のパノラマビューも捕捉する。その結果生じるサラウンドビューはオブジェクト７６２のパノラマビューを含む。
【００６８】
一部の実施形態では、背景パノラマ上にオブジェクトパノラマを投影することによってサラウンドビューを作成することができ、その一例を図７Ｈに示す。具体的には、この種のパノラマ７６８は、背景パノラマ７７０を使用し、前景のオブジェクトパノラマ７７２を背景パノラマ７７０上に投影して構築される。図１７Ａ〜図１７Ｂに関してより詳細に説明するように、一部の例ではオブジェクトパノラマが、サラウンドビューから取られるセグメント化コンテンツであり得る。
【００６９】
様々な実施形態によれば、複数のオブジェクトがオブジェクトパノラマを構成することができる。図７Ｉを参照し、オブジェクトパノラマを構成するオブジェクト群７８０の捕捉プロセスの一例が示されている。図示のように、単一オブジェクト又は捕捉装置に対して同様の距離に位置するオブジェクト群７８０とすることができる前景のオブジェクトの周りを捕捉装置７７６が動くことができる。オブジェクトの様々なビュー及び角度を捕捉するように、捕捉装置７７６は捕捉運動７７８に沿ってオブジェクト又はオブジェクト群７８０の周りを動くことができる。その結果生じるサラウンドビューは、遠方背景７８２をコンテキストとしたオブジェクト群７８０のオブジェクトパノラマを含み得る。
【００７０】
様々な例によれば、オブジェクトパノラマは利用者がオブジェクトの周りをナビゲートすることを可能にする。図７Ｊを参照し、利用者によるナビゲーションに基づいてオブジェクトパノラマの視角を変更する一例が示されている。この例では、サラウンドビューパノラマ７８４の３つのビューを示す。このサラウンドビューパノラマでは、前景オブジェクト７８６が背景パノラマ７８８の前に示されている。利用者がサラウンドビューをスワイプし又はサラウンドビューと他の方法でインタラクションすることによってパノラマをナビゲートすると、オブジェクトの位置、オブジェクトの視角、又はその両方を変えることができる。この例では、利用者がメインパノラマ軸の方向にスワイプすることができる。このナビゲーションは、このビュー内の前景オブジェクト７８６を回転させることができる。一部の例では、前景のオブジェクトパノラマが回転し又は他の方法で動くとき、遠方の背景パノラマ７８８が変わらないこともある。
【００７１】
様々な実施形態によれば、オブジェクトパノラマは視差効果も含むことができる。視差効果は、メインパノラマ軸の方向に対して垂直にスワイプ／ナビゲートするとき見ることができる。図７Ｆと同様に、パノラマ方向に対して垂直にスワイプするとき、三次元効果を提示することができる。とりわけ、視差方向に沿ってパノラマ方向に対して垂直にスワイプすると、近くのオブジェクトが視差方向に沿って動かされるのに対し、遠くのシーンはそのままであり又は近くのオブジェクトよりも小さく動く。
【００７２】
先の例はオブジェクトパノラマ内の静的なコンテンツ及び背景コンテキストに関するが、前景オブジェクト及び背景コンテキスト又はその両方について、ダイナミックコンテンツをオブジェクトパノラマ内に組み込むこともできる。例えばダイナミックコンテンツは、図７Ｄに関して説明したのと同様の方法で特徴付けることができる。同様に、ダイナミックコンテキストもオブジェクトパノラマ内に含めることができる。
【００７３】
サラウンドビュー内に含めることができる別の種類のパノラマは、自撮りパノラマである。一部の例では、図１７Ａ〜図１７Ｂに関してより詳細に説明するように、自撮りパノラマはサラウンドビューから取られるセグメント化コンテンツであり得る。図７Ｋ〜図７Ｌは、サラウンドビューと共に作成可能な自撮りパノラマに関する例を示す。図７Ｋを参照し、自撮りパノラマ捕捉プロセス７９０の一例が示されている。具体的には、利用者７９４が、利用者７９４の画像を捕捉しながら捕捉装置７９２を捕捉運動７９６に沿って動かす。一部の例では、捕捉装置７９２がスマートフォンに含まれているような前面カメラを使用することができる。他の例ではデジタルカメラや他の画像記録装置を使用することができる。背景７９８がコンテキストを与えながら、これらの画像と共に自撮りパノラマが作成される。
【００７４】
図７Ｌを参照し、自撮りパノラマが投影された背景パノラマの一例が示されている。この例では、自撮りパノラマ７２１とともに自撮りパノラマ７２１が投影された背景パノラマ７２５からサラウンドビューパノラマ７２３を構築する。様々な例によれば、図７Ｉに関して説明したオブジェクト又はオブジェクト群と同様に、自撮りパノラマは単一人物又は複数の人を含み得る。この例では、自撮りパノラマがダイナミックコンテンツを含み得る。例えば利用者は、捕捉装置が動くとき捕捉装置を見ることができ、又は捕捉装置を動かしながらじっとしていても良い。自撮りパノラマ７２１を記録する間、利用者の動きを捕捉することができる。これらのダイナミック要素をパノラマ内にマッピングし、結果として生じる自撮りパノラマ７２１とインタクラションする間に、表示することができる。例えば、利用者のまばたきを記録し捕捉することができる。自撮りパノラマのナビゲーションは、図７Ｊに関して説明したのと同様の方法で行うことができる。具体的には、メインパノラマ軸の方向にスワイプ／ナビゲートすることにより、利用者が自撮りパノラマ７２１内の人の位置及び視点を変えることができる。様々な実施形態によれば、自撮りパノラマ７２１も視差効果を含むことができる。これらの視差効果は、メインパノラマ軸の方向に対して垂直にスワイプ／ナビゲートするとき見ることができる。加えて図７Ｆと同様に、パノラマ方向に対して垂直にスワイプするとき、三次元効果を提示することができる。とりわけ、視差方向に沿ってパノラマ方向に対して垂直にスワイプすると、近くのオブジェクトが視差方向に沿って動かされるのに対し、遠くのシーンはそのままであり又は近くのオブジェクトよりも小さく動く。
【００７５】
上記のように、サラウンドビューと共に様々な種類のパノラマを作成することができる。加えて、サラウンドビューは様々な方法で見てナビゲートすることができる。図７Ｍを参照し、利用者によるナビゲーションに基づいて提供されるパノラマの拡張ビューの一例が示されている。この例では、あり得るビュー７２７が、フルパノラマビュー７２９、記録ビュー７３１、及び拡張ビュー７３３を含む。フルパノラマビュー７２９は、サラウンドビュー内の情報のフルビューを含む。記録ビュー７３１は、画像及び／又は記録内で捕捉される視覚データを含む。拡張ビュー７３３は、記録ビュー７３１内の或る時点の間に見ることができるものを超えるが、フルパノラマビュー７２９未満のものを示す。拡張ビュー７３３内で見ることができるパノラマ７２９の部分は、利用者によるナビゲーションによって定められる。拡張ビューはパノラマ内のオブジェクト／人物をたどり、記録中にカメラが見ることができた内容よりも広いビューを示すので、拡張ビュー７３３は自撮りパノラマ又はオブジェクトパノラマに関して特に面白い。とりわけ、サラウンドビューのナビゲート中、より多くのコンテキストが拡張ビュー７３３内で利用者に与えられる。
【００７６】
様々な実施形態によれば、一連の画像を捕捉すると、それらの画像を使用してサラウンドビューを生成することができる。図８を参照し、三次元コンテンツを二次元パノラマコンテキストと混合したサラウンドビューの一例が示されている。この実施形態例では、関心のあるオブジェクト（即ち椅子に座っている人）の周りを捕捉装置が動くように、捕捉装置８２０の動きが局所的な凸状運動をたどる。関心のあるオブジェクトをコンテンツ８０８として描写し、周囲の風景（即ち部屋）をコンテキスト８１０として描写する。この実施形態では、捕捉装置８２０がコンテンツ８０８の周りを左方向に動くとき、捕捉装置に対するコンテンツの回転方向８１２が右方向の反時計回りになる。ビュー８０２、８０４、及び８０６は、椅子に座っている人が部屋に対して回転していく経過を示す。
【００７７】
様々な実施形態によれば、サラウンドビューを生成するために使用する一連の画像は、シーンや関心のあるオブジェクト等を利用者が記録することによって捕捉することができる。加えて一部の例では、サラウンドビューを生成するために使用する一連の画像を取得するために複数の利用者が貢献することができる。図９を参照し、時空サラウンドビューが独立した観測者によって同時に記録されている一例が示されている。
【００７８】
この実施形態例では、カメラ９０４、９０６、９０８、９１０、９１２、及び９１４が様々な位置に配置されている。一部の例では、これらのカメラ９０４、９０６、９０８、９１０、９１２、及び９１４が独立した観測者に関連し得る。例えば、独立した観測者はコンサート、演劇、イベント等の観客であり得る。他の例では、カメラ９０４、９０６、９０８、９１０、９１２、及び９１４を三脚やスタンド等の上に配置することができる。この実施形態では、カメラ９０４、９０６、９０８、９１０、９１２、及び９１４は、世界９０２が背景の風景を与えながら、関心のあるオブジェクト９００のビュー９０４ａ、９０６ａ、９０８ａ、９１０ａ、９１２ａ、及び９１４ａのそれぞれを捕捉するために使用される。一部の例では、カメラ９０４、９０６、９０８、９１０、９１２、及び９１４が捕捉する画像を集約し、単一のサラウンドビュー内で一緒に使用することができる。カメラ９０４、９０６、９０８、９１０、９１２、及び９１４のそれぞれは、関心のあるオブジェクト９００に対する様々な視点を与え、そのためそれらの異なる位置からの画像を集約することは、関心のあるオブジェクト９００の様々な視角に関する情報を与える。加えて、カメラ９０４、９０６、９０８、９１０、９１２、及び９１４は、そのそれぞれの位置から或る時間にわたり一連の画像を提供することができ、そのためそれらの一連の画像から生成されるサラウンドビューが時間的情報を含むことができ、経時的な動きも示すことができる。
【００７９】
様々な実施形態に関して上記で説明したように、サラウンドビューは多岐にわたる捕捉モードに関連し得る。加えて、サラウンドビューは、同一サラウンドビュー内で異なる捕捉モード又は異なる捕捉運動を含み得る。従って、一部の例ではサラウンドビューをより小さい部分に分けることができる。図１０を参照し、複合サラウンドビューをより小さい直線部分に分離する一例が示されている。この例では、複合サラウンドビュー１０００が、Ｌ字のスイープ運動をたどる捕捉域１０２６を含み、Ｌ字のスイープ運動はカメラ１０１０の２つの別々の直線運動１０２２及び１０２４を含む。これらの別々の直線運動に関連するサラウンドビューを直線サラウンドビュー１００２及び直線サラウンドビュー１００４に細分することができる。一部の実施形態では直線運動１０２２及び１０２４を逐次的且つ連続的に捕捉できるが、他の実施形態ではこれらの直線運動１０２２及び１０２４を別々のセッション内でも捕捉できることに留意すべきである。
【００８０】
この実施形態例では、直線サラウンドビュー１００２及び直線サラウンドビュー１００４を独立に処理し、遷移部１００６によって結合して利用者に連続的体験を与えることができる。このような方法で動きをより小さい直線成分に細分することは様々な利点をもたらすことができる。例えば、これらのより小さい直線成分を離散的且つロード可能な部分に細分することは、帯域幅目的でのデータ圧縮を支援することができる。同様に、非直線サラウンドビューも離散的成分に分けることができる。一部の例では、局所的捕捉運動に基づいてサラウンドビューを細分することができる。例えば、複合運動を局所的に凸状の部分と直線部分とに細分することができる。別の例では、複合運動を局所的に凸状の別々の部分に細分することができる。複合サラウンドビュー１０００内には任意の数の運動が含まれても良く、複合サラウンドビュー１０００を応用例に応じて任意の数の別々の部分に細分しても良いことを理解すべきである。
【００８１】
一部の応用例では複合サラウンドビューを分けることが望ましいが、他の応用例では複数のサラウンドビューを結合することが望ましい。図１１を参照し、マルチサラウンドビュー１１００へと組み合わせる複数のサラウンドビューを含むグラフの一例が示されている。この例では、長方形が様々なサラウンドビュー１１０２、１１０４、１１０６、１１０８、１１１０、１１１２、１１１４、及び１１１６を表し、各長方形の長さが各サラウンドビューの主要な運動を示す。サラウンドビュー間の線は、それらのサラウンドビュー間のあり得る遷移部１１１８、１１２０、１１２２、１１２４、１１２６、１１２８、１１３０、及び１１３２を示す。
【００８２】
一部の例では、サラウンドビューが、非常に効率的な方法でシーンを空間的にも時間的にも区分化する方法を提供することができる。非常に大規模なシーンでは、マルチサラウンドビュー１１００のデータを使用することができる。とりわけ、マルチサラウンドビュー１１００は、空間グラフ内でつなぎ合わせられるサラウンドビューの一群を含み得る。それぞれのサラウンドビューは、１人の利用者等の単一の情報源によって、又は複数の利用者等の複数の情報源によって集められ得る。加えて、それぞれのサラウンドビューは逐次的に、同時に、又は様々な時点において完全に無相関に捕捉することができる。但し、それぞれのサラウンドビューをつなぐには、コンテンツ、コンテキスト、位置、又はそれらの特徴の組合せが幾らか重複していなければならない。従って、マルチサラウンドビュー１１００の一部を提供するために、任意の２つのサラウンドビューがコンテンツ、コンテキスト、及び／又は位置について幾らか重複していなければならない。この重複によってそれぞれのサラウンドビューを互いに結び付け、つなぎ合わせてマルチサラウンドビュー１１００を形成することができる。様々な例によれば、前面カメラ、背面カメラ、又は前面／背面カメラと捕捉装置の任意の組合せを使用することができる。
【００８３】
一部の実施形態では、全環境をより十分に捕捉するためにマルチサラウンドビュー１１００の適用範囲を広げることができる。「フォトツアー（photo tours）」が、離散的で空間的に隣接する成分のグラフへと写真を集めるように、複数のサラウンドビューを全シーンのグラフへと結合することができる。一部の例ではこの結合は、これだけに限定されないが、画像マッチング／追跡、奥行マッチング／追跡、ＩＭＵ、ユーザ入力、及び／又はＧＰＳから得られる情報を使用して実現することができる。利用者は、かかるグラフ又はマルチサラウンドビュー内で、記録済みの運動の終点において、又はグラフ内の他のサラウンドビューと重複する任意の場所で様々なサラウンドビューを切り替えることができる。「フォトツアー」に勝るマルチサラウンドビューの１つの利点は、利用者が所望の通りにサラウンドビューをナビゲートすることができ、サラウンドビュー内にはるかに多くの視覚情報を記憶できることである。対照的に従来の「フォトツアー」は、観察者に自動で表示可能な、又は利用者がコンピュータマウス若しくはキーストロークを使ってパノラマ中をパンできるようにすることによって観察者に表示可能な限られたビューを概して有する。
【００８４】
様々な実施形態によれば、サラウンドビューが１組の画像から生成される。それらの画像は、応用例に応じて、サラウンドビューを作成しようとする利用者が捕捉することができ、又は記憶域から取得することができる。サラウンドビューは一定量の可視性に関して限定され又は制限されることがないので、オブジェクト又はシーンの様々なビューに関してはるかに多くの視覚情報を提供することができる。より詳細には、三次元オブジェクトを十分に描くには単一の視点では不明瞭な場合があるが、オブジェクトの複数のビューはより具体的且つ詳細な情報を提供することができる。これらの複数のビューは、視覚的検索クエリがより正確な検索結果をもたらせるようにするのに十分な情報を提供することができる。サラウンドビューはオブジェクトの多くの側面からのビューを提供するので、検索に適した特有のビューをサラウンドビューから選択することができ、又は特有のビューを入手できない場合はかかるビューを利用者に要求することができる。例えば、捕捉され又は他の方法で提供されるデータが、関心のあるオブジェクト又はシーンを十分高い確実性で認識し又は生成することを可能にするのに不十分である場合、捕捉装置を動かし続けるように、又は追加の画像データを提供するように捕捉システムが利用者を導くことができる。特定の実施形態では、より正確なモデルを作成するために追加のビューが必要だとサラウンドビューが判定される場合、追加の画像を提供するように利用者を促すことができる。
【００８５】
図１２を参照し、より正確なサラウンドビューを提供するために、追加の画像を利用者に促すためのプロセス１２００の一例が示されている。この例では、１２０２で画像を捕捉装置又は記憶域から受け取る。次いで１２０４で、関心のあるオブジェクトを認識できるようにするのに、提供された画像が十分かどうかを判定する。関心のあるオブジェクトを認識できるようにするのに画像が不十分な場合、１２０６で、異なる視角からの追加の画像を利用者が提供するためのプロンプトを与える。一部の例では、異なる視角からの１つ又は複数の追加の画像を提供するように利用者を促すことは、１つ又は複数の特定の視角を提案することを含み得る。利用者がアクティブに画像を捕捉している場合、一部の例では、異なる視角が検出されるときに利用者にプロンプトすることができる。様々な実施形態によれば、１つ又は複数の特定の視角を提供するための提案は、既に受け取られている画像に関連する位置に基づいて決定され得る。加えて、異なる視角からの１つ又は複数の追加の画像を提供するように利用者を促すことは、応用例に応じて局所的に凹状のサラウンドビュー、局所的に凸状のサラウンドビュー、局所的に平面のサラウンドビュー等の特定の捕捉モードの使用を提案することを含み得る。
【００８６】
次いで１２０８で、システムがそれらの追加の画像を利用者から受け取る。追加の画像が受け取られると、関心のあるオブジェクトを認識できるようにするのに画像が十分かどうかを再び判定する。このプロセスは、関心のあるオブジェクトを認識できるようにするのに画像が十分だと判定されるまで続く。一部の実施形態では、この時点でこのプロセスを終えることができ、サラウンドビューを生成することができる。
【００８７】
任意選択的に、関心のあるオブジェクトを認識できるようにするのに画像が十分だと判定されると、１２１０で、関心のあるオブジェクトを同様だが一致しないアイテムと区別するのに画像が十分かどうかを判定することができる。この判定はとりわけ視覚的検索を使用する場合に有用な場合があり、その例を図１９〜図２２に関して以下でより詳細に説明する。具体的には、関心のあるオブジェクトは特定の角度から見ることができる際立った特徴を有する場合があり、特定の角度から見るには追加のビューが必要である。例えば人物の肖像写真は、正面角からしか写真を撮らない場合、その人物の髪型を十分に示さない場合がある。その人物が短い髪を有するのか単に髪を後ろに引っ詰めているのかを判定するには、その人物の後ろの追加の写真を提供しなければならない場合がある。別の例では、シャツの片面が無地であり、追加のビューが袖や背中のプリントや他の記章等を示す場合、シャツを着ている人物の写真が追加のプロンプトの根拠となり得る。
【００８８】
一部の例では、関心のあるオブジェクトを同様だが一致しないアイテムと区別するのに画像が十分でないと判定することが、一致する検索結果の数が所定の閾値を上回ると判定することを含む。具体的には、多数の検索結果が見つかる場合、検索基準を狭めるために追加のビューが必要であり得ると判定することができる。例えば、マグカップの検索が２０件超等の多数の一致をもたらす場合、不要な検索結果を除去するためにマグカップの追加のビューが必要な場合がある。
【００８９】
１２１０で、関心のあるオブジェクトを同様だが一致しないアイテムと区別するのに画像が十分でない場合、１２１２で、異なる視角からの追加の画像を利用者が提供するためのプロンプトを与える。一部の例では、異なる視角からの１つ又は複数の追加の画像を提供するように利用者を促すことは、１つ又は複数の特定の視角を提案することを含み得る。利用者がアクティブに画像を捕捉している場合、一部の例では、異なる視角が検出されるときに利用者にプロンプトすることができる。様々な実施形態によれば、１つ又は複数の特定の視角を提供するための提案は、既に受け取られている画像に関連する位置に基づいて決定され得る。加えて、異なる視角からの１つ又は複数の追加の画像を提供するように利用者を促すことは、応用例に応じて局所的に凹状のサラウンドビュー、局所的に凸状のサラウンドビュー、局所的に平面のサラウンドビュー等の特定の捕捉モードの使用を提案することを含み得る。
【００９０】
次いで１２１４で、システムがそれらの追加の画像を利用者から受け取る。追加の画像が受け取られると、関心のあるオブジェクトを同様だが一致しないアイテムと区別するのに画像が十分かどうかを再び判定する。このプロセスは、関心のあるオブジェクトを同様だが一致しないアイテムと区別するのに画像が十分だと判定されるまで続く。次いでこのプロセスが終了し、画像からサラウンドビューを生成することができる。
【００９１】
図１３Ａ〜図１３Ｂを参照し、より正確なサラウンドビューを作成するために追加の画像を利用者に要求するプロンプトの例が示されている。具体的には、装置１３００が検索画面と共に示されている。図１３Ａに視覚的検索クエリ１３０２の一例を示す。この視覚的検索クエリ１３０２は白いマグカップの画像を含む。結果１３０６は様々な白地のマグカップを含む。特定の実施形態では、多数の検索結果が見つかる場合、検索クエリ用の追加の画像データを利用者に要求するためのプロンプト１３０４を与えることができる。
【００９２】
図１３Ｂでは、図１３Ａのプロンプト１３０４に応答し、別の視覚的検索クエリ１３１０の一例が示されている。この視覚的検索クエリ１３１０はオブジェクトの異なる視点を与え、マグカップのグラフィックスに関するより詳細な情報を提供する。この視覚的検索クエリ１３１０は、より的が絞られ、正確な新たな結果１３１２をもたらす。一部の例では、検索が完了したことを利用者に知らせるために追加のプロンプト１３０８を与えることができる。
【００９３】
サラウンドビューが生成されると、特定の実施形態では、そのサラウンドビューを様々な応用例で使用することができる。サラウンドビューの１つの応用例には、利用者がサラウンドビューをナビゲートすること又はサラウンドビューと他の方法でインタクラションすることを可能にすることが含まれる。様々な実施形態によれば、サラウンドビューは、利用者がサラウンドビューとインタラクションするときシーン内に物理的にいる感覚を模擬するように設計される。この体験はカメラの視角だけでなく、見られているサラウンドビューの種類にも依存する。サラウンドビューは特定の固定形状を有することを全般的に必要としないが、特定の実施形態では、凹状のサラウンドビュー、凸状のサラウンドビュー、平面のサラウンドビュー等のサラウンドビューの局所セグメントにわたって様々な種類のジオメトリを表すことができる。
【００９４】
特定の実施形態例では、サラウンドビュー内で表わされるジオメトリの種類によってナビゲーションモードが知らされる。例えば凹状のサラウンドビューでは、装置（スマートフォン等）を回転させる動作は、周囲のシーンを眺める静止した観察者を回す動作を模倣し得る。一部の応用例では、画面を或る方向にスワイプすることがビューを反対方向に回転させ得る。この効果は、利用者を中空円柱内に立たせ、利用者の周りを回転するように中空円柱の壁を押すのと同種のものである。凸状のサラウンドビューの他の例では、装置を回転させることは、装置が傾いている方向に軌道を描くようにビューを回すことができ、そのため関心のあるオブジェクトは中心に置かれたままになる。一部の応用例では、画面を或る方向にスワイプすることが視角を同じ方向に回転させ、つまりかかる応用例は、関心のあるオブジェクトをその軸の周りで回転させる感覚、又はオブジェクトの周りで利用者を回転させる感覚を作り出す。平面ビューに関する一部の例では、装置を回転し又は動かすことが、装置の移動方向にビューを並進移動させ得る。加えて、画面を或る方向にスワイプすることが、あたかも前景オブジェクトを脇に押しやるかのようにビューを反対方向に並進移動させ得る。
【００９５】
一部の例では、利用者がマルチサラウンドビュー又はサラウンドビューのグラフをナビゲートできても良く、それらの中では個々のサラウンドビューを１つずつロードすることができ、更なるサラウンドビューを必要に応じて（例えばそれらのサラウンドビューが現在のサラウンドビューと隣接／重複し且つ／又は利用者がそれらのサラウンドビューの方にナビゲートする場合）ロードすることができる。２つ以上のサラウンドビューが重複するサラウンドビュー内の箇所に利用者が到達した場合、利用者はその重複するサラウンドビューのどれをたどるのかを選択することができる。一部の例では、どのサラウンドビューをたどるのかの選択は、利用者が装置をスワイプし又は動かす方向に基づき得る。
【００９６】
図１４を参照し、サラウンドビューをナビゲートするためのプロセス１４００の一例が示されている。この例では、１４０２で、サラウンドビュー内の関心のあるオブジェクトを見るための要求を利用者から受け取る。様々な実施形態によれば、この要求は、風景やパノラマビューを見るとき等、関心のある特定のオブジェクトなしにサラウンドビューを見るための一般的要求とすることもできる。次いで１４０４で、オブジェクトの三次元モデルにアクセスする。この三次元モデルは、記憶済みのサラウンドビューの全て又は一部を含み得る。例えばこの三次元モデルは、一部の応用例ではセグメント化コンテンツビューであり得る。次いで１４０６で、第１の視点からの最初の画像を出力装置に送る。この第１の視点は、サラウンドビューを出力装置上で見るための開始点の役割を果たす。
【００９７】
この実施形態では、第２の視点から関心のあるオブジェクトを見るための利用者動作を受け取る。この利用者動作は、応用例に応じて入力装置を動かす（例えば傾ける、並進移動させる、回転等させる）ことや、画面をスワイプすること等を含み得る。例えば利用者動作は、局所的に凹状のサラウンドビュー、局所的に凸状のサラウンドビュー、局所的に平面のサラウンドビュー等に関連する運動に対応し得る。様々な実施形態によれば、或る軸の周りで装置を回転させることにより、その軸の周りでオブジェクトビューを回転させることができる。例えば、垂直軸を中心に装置を回転させることにより、オブジェクトビューを垂直軸に沿って回転させることができる。１４１０で、利用者動作の特性に基づいて三次元モデルを処理する。例えば、入力装置の動きを検出することができ、関心のあるオブジェクトの対応する視点を見つけることができる。応用例にもよるが、入力装置及び出力装置の両方がモバイル装置等の中に含まれ得る。一部の例では、要求された画像がサラウンドビューの生成前に捕捉された画像に対応する。他の例では、要求された画像が三次元モデルに基づいて（例えば補間等によって）生成される。１４１２で、この視点からの画像を出力装置に送ることができる。一部の実施形態では、選択画像の精度に関する確度と共に選択画像を出力装置に与えることができる。例えば、特定の視点からの画像を生成するために補間アルゴリズムを使用する場合、確度が異なる場合があり、一部の応用例では利用者に与えられ得る。他の例では、要求された画像を提供するのにサラウンドビュー内の情報が不十分どうかを示すメッセージを出力装置に与えることができる。
【００９８】
一部の実施形態では、１４０６の最初の画像と１４１２の要求された画像との間の中間画像を送ることができる。具体的には、これらの中間画像は、最初の画像に関連する第１の視点と、要求された画像に関連する第２の視点との間にある視点に対応し得る。更にこれらの中間画像は、利用者動作の特性に基づいて選択することができる。例えば中間画像は、利用者動作に関連する入力装置の移動経路をたどることができ、それにより中間画像は関心のあるオブジェクトの視覚ナビゲーションを提供する。
【００９９】
図１５を参照し、サラウンドビューのスワイプによるナビゲーションの一例が示されている。この例では、利用者がサラウンドビューをナビゲートするときの装置１５００の３つのビューが示されている。具体的には、入力１５１０は、装置１５００の画面上での利用者によるスワイプである。利用者が右から左にスワイプするとき、関心のあるオブジェクトがスワイプ方向１５０８に対して移動する。とりわけ画像の経過１５０６、１５０４、及び１５０２によって示すように、入力１５１０は関心のあるオブジェクト（即ちサングラスをかけた男性）を中心に利用者が回ることを可能にする。
【０１００】
この例では、装置の画面上でのスワイプが仮想ビューの回転に対応し得る。但し、他の実施形態例では他の入力モードを使用することができる。例えば、サラウンドビューは、装置を様々な方向に傾け、装置の方位方向を使用してサラウンドビュー内のナビゲーションを導くことによってもナビゲートすることができる。別の例では、ナビゲーションが利用者による画面の動きにも基づき得る。従ってスイープ運動は、あたかも観察者が装置を関心のあるオブジェクトに向けているかのように、利用者がサラウンドビューを見て回ることを可能にし得る。更に別の例では、ウェブブラウザ内のサラウンドビューとのインタラクションを可能にするためにウェブサイトを使用することができる。この例では、スワイプ及び／又は運動センサが使用できない可能性があり、マウスや他のカーソル又は入力装置を使った対話で置換され得る。
【０１０１】
様々な実施形態によれば、サラウンドビューはナビゲーション中に見ることができるタグ付けも含むことができる。タグ付けは、サラウンドビュー内のオブジェクト、人、製品、又は他のアイテムの識別情報を提供することができる。具体的には、サラウンドビュー内のタグ付けは利用者／顧客に製品を提示し、それらの要素又はアイテムを促進するのに非常に強力なツールである。一例では、タグ１５１２が、タグ付けされたアイテムの位置をたどることができ、それによりタグの位置が有効なままである間、アイテムを様々な角度から見ることができる。タグ１５１２は、名前（利用者の名前、製品名等）、説明、ウェブサイト／オンラインショップへのリンク、値段情報、タグ付きオブジェクトを購入するための直接的な選択項目、同様のオブジェクトの一覧等の様々な種類のデータを記憶することができる。一部の例では、利用者がサラウンドビュー内のアイテムを選択するときタグが見えるようになっても良い。他の例では、タグを自動で表示することができる。加えて、一部の応用例ではタグ１５１２を選択することによって追加の情報にアクセスすることができる。例えば利用者がタグを選択すると、説明やリンク等の追加の情報を画面上に表示することができる。
【０１０２】
一部の実施形態では、サラウンドビューの或る視点内の点又は領域を選択することによって利用者がタグ１５１２を作成することができる。この点又は領域は、他の視点内に自動で伝えられる。或いは、顔検出、オブジェクト検出、焦点があったオブジェクト、前景として識別されるオブジェクト等の様々な情報に基づき、タグの位置をアプリケーションによって利用者に自動で提案することができる。一部の例では、知られているオブジェクト又はオブジェクトの種類／クラスのデータベースからオブジェクトの検出を行うことができる。
【０１０３】
この例では、タグ１５１２がサラウンドビュー内のシャツを識別する。当然ながら、名前やブランド等の任意のテキスト又はタイトルを含めることができる。このタグ１５１２は、選択されるどのビュー内でもタグが同じ位置又は同じ点に関連するように、サラウンドビュー内の特定の位置にマップすることができる。上記のように一部の実施形態では、タグ１５１２が、タグをタップし又は他の方法で選択することによってアクセス可能な追加の情報を含むことができる。タグ付けを図１５に示すが、一部の例ではサラウンドビューがタグ付けを含まなくても良いことに留意すべきである。
【０１０４】
様々な実施形態によれば、サラウンドビューは様々な方法で記憶しアクセスすることができる。加えて、サラウンドビューは多くの応用例で使用することができる。図１６Ａを参照し、モバイル装置１６０２及びブラウザ１６０４上のサラウンドビューの共有サービスの例が示されている。応用例に応じて、サラウンドビューは何れのインタフェースによってもアクセスできるので、モバイル装置１６０２及びブラウザ１６０４をオルタネートサムネイル表示１６００として示す。様々な実施形態によれば、これだけに限定されないが、ギャラリー、フィード、及び／又はウェブサイトを含む様々な方法で１組のサラウンドビューを利用者に提示することができる。例えば、サムネイルの集まりを利用者に提示するためにギャラリーを使用することができる。これらのサムネイルは、サラウンドビューから利用者によって又は自動で選択され得る。一部の例ではサムネイルの大きさは、これだけに限定されないが、含まれるコンテンツの構造及び大きさに基づいて自動で選択される大きさや、サラウンドビューの人気等の特性に基づいて変わり得る。別の例では、対話型サムネイルを用いてサラウンドビューを提示するためにフィードを使用することができる。
【０１０５】
この例では、モバイル装置のサラウンドビューのサムネイル１６０２が、サムネイル１６０４及びタイトル／ラベル／説明１６０４を含む。サムネイル１６０４は、サラウンドビューの画像を含むことができる。タイトル／ラベル／説明１６０４は、タイトル、ファイル名、コンテンツの説明、ラベル、タグ等のサラウンドビューに関する情報を含むことができる。
【０１０６】
更にこの例では、ブラウザのサラウンドビューのサムネイル１６０４が、サムネイル１６０６、タイトル／ラベル／説明１６０８、及び通知１６１０を含む。サムネイル１６０６は、サラウンドビューの画像を含むことができる。タイトル／ラベル／説明１６０８は、タイトル、ファイル名、コンテンツの説明、ラベル、タグ等のサラウンドビューに関する情報を含むことができる。加えて、通知１６１０は、サラウンドビューに対するコメント、一致するコンテンツに関する最新情報、提案されるコンテンツ等の情報を含むことができる。モバイル版には不図示だが、一部の実施形態では通知を含めることもでき、レイアウト及びスペース上の理由から省略することもできる。一部の例では、モバイル装置上のサラウンドビューアプリケーションの一部として通知を提供することができる。
【０１０７】
図１６Ｂを参照し、サラウンドビューに関連するモバイル装置上の通知の例が示されている。具体的には、様々な通知形式を含む装置１６２２の代替的通知画面１６２０が示されている。一部の例では、利用者が自分の好みに応じてこれらの画面間を移動することができる。
【０１０８】
この例では、画面１６２４が通知１６２６を含み、通知１６２６は最近のサラウンドビューのコンテンツに基づく利用者への推薦を含む。具体的には、利用者が像を好きだというアプリケーションによる発見に基づき、この推薦はギリシャへの旅行に関する。一部の例では、この発見は、利用者が記憶し又は最近閲覧したサラウンドビュー内で見つかるコンテンツから推論することができる。
【０１０９】
この例では、利用者が記憶や閲覧等したサラウンドビューのコンテンツに基づく通知１６３０を画面１６２８が含む。例えば或る通知は、サラウンドビュー内で提供される利用者の靴と似ており、近くの小売業者で入手可能な靴１足に関する推薦である。この推薦は、小売業者までの地図へのリンクも含む。この推薦は、利用者が保存した靴１足のサラウンドビューに基づき得る。他の通知は、共通の関心事／趣味を共有する別の利用者とつながるための推薦である。この例では推薦が、検出された利用者の帽子への関心に基づく。これらの推薦は、一部のアプリケーションでは「プッシュ」通知として自動で与えることができる。推薦の内容は利用者のサラウンドビュー又は閲覧履歴に基づくことができ、一部の例では図１９〜図２２に関して説明するような視覚的検索アルゴリズムを使用することができる。
【０１１０】
画面１６３０は、この例における別の通知形式１６３２を示す。様々なアプリケーション用の様々なアイコンが画面１６３０上の特色をなしている。サラウンドビューアプリケーション用のアイコンは、何件の通知が利用者を待ち受けているのかを示す、アイコンに埋め込まれた通知１６３２を含む。様々な実施形態によれば、利用者がアイコンを選択すると、通知を表示することができ且つ／又はアプリケーションを起動することができる。
【０１１１】
本開示の様々な実施形態によれば、オブジェクトを静的シーン又は動的シーンからセグメント化し又は分けるために、サラウンドビューを使用することができる。サラウンドビューは、画像データに由来する特徴的な３Ｄモデリング特性及び情報を含むので、サラウンドビューはセグメント化の特有の機会を与える。一部の例では、関心のあるオブジェクトをサラウンドビューのコンテンツとして扱い、シーンの残りの部分をコンテキストとして扱うことにより、オブジェクトを外へセグメント化し、別個のエンティティとして扱うことができる。加えて、一部の例ではセグメント化プロセスを洗練させるためにサラウンドビューのコンテキストを使用することができる。様々な実施形態において、利用者によって導かれるインタラクションを使用してコンテンツを自動で又は半自動で選択することができる。サラウンドビューのオブジェクトをセグメント化する１つの重要な用途は、電子商取引における製品の展示との関連にあり、その一例を図１７Ｂに示す。加えて、視覚的検索の応用例との関連で、大規模データベース上で動作可能な人工知能検索アルゴリズムを訓練するのに適したオブジェクトモデルを生成するために、サラウンドビューに基づくオブジェクトのセグメント化を使用することができる。
【０１１２】
図１７を参照し、オブジェクトのセグメント化を行うためのプロセス１７００の一例が示されている。１７０２で、オブジェクトの第１のサラウンドビューを取得する。次いで１７０４で、第１のサラウンドビューからコンテンツを選択する。一部の例では、コンテンツがユーザ入力なしに自動で選択される。他の例では、コンテンツが、利用者によって導かれるインタクラションを使用して半自動で選択される。次いで１７０６で、コンテンツを第１のサラウンドビューからセグメント化する。一部の例では、複数のカメラ視点からの画像を含む第１のサラウンドビュー内で提供される情報に基づき、コンテンツのモデルを三次元で再構築することによってコンテンツをセグメント化する。特定の実施形態例では、サラウンドビュー内で使用可能な複数のカメラ視点から関心のあるオブジェクト又はその一部を三次元で再構築することにより、反復的最適化アルゴリズム（グラフィカルモデル等）に基づいてセグメント化アルゴリズムを選択し初期設定するためのメカニズムを効率的に使用することができる。このプロセスは、複数のフレームにわたって繰り返し、セグメント化が所望の品質の出力に到達するまで最適化することができる。加えて、コンテンツをセグメント化することは、コンテキストを使用してコンテンツのパラメータを求めることを含み得る。
【０１１３】
この例では、第１のサラウンドビューからコンテンツをセグメント化すると、オブジェクトを取り巻くコンテンツ又は風景なしにオブジェクトを含む第２のサラウンドビューを生成する。１７０８で、この第２のサラウンドビューを提供する。一部の例では、第２のサラウンドビューをデータベース内に記憶することができる。この第２のサラウンドビューは様々な応用例で使用することができる。例えばセグメント化されたコンテンツは、電子商取引で使用するための製品を含む。図１７Ｂに示すように、セグメント化されたコンテンツは製品を様々な視点から表示するために使用することができる。別の応用例は、人工知能を訓練するためのオブジェクトモデルとして第２のサラウンドビューを使用することを含む。更に別の応用例では、第２のサラウンドビューを３Ｄプリントで使用することができる。この応用例では、第２のサラウンドビューのデータが３Ｄプリンタに行く。
【０１１４】
この例では第１のサラウンドビューからコンテンツを外へセグメント化することについて説明するが、他の例では、コンテキストも外へセグメント化できることに留意すべきである。例えば一部の応用例では、背景の風景を外へセグメント化し、第２のサラウンドビューとして提示することができる。具体的には、第１のサラウンドビューからコンテキストを選択することができ、コンテキストが別個の対話型モデルへと分けられるように、そのコンテキストを第１のサラウンドビューからセグメント化することができる。その結果生じるサラウンドビューは、オブジェクトを取り巻く風景を含むが、オブジェクト自体は除去する。セグメント化されたコンテキストモデルも様々な応用例で使用することができる。例えば、結果として生じるサラウンドビューのデータを３Ｄプリンタに送ることができる。一部の例では、それをパノラマ背景として平面又は曲面上にプリントすることができる。コンテキストモデルもプリントする場合、サラウンドビューの三次元「写真」又はモデルを作り出すために、関心のあるオブジェクトをパノラマ背景の前に配置することができる。別の応用例では、外へセグメント化したコンテキストを関心のある別のオブジェクトの背景として使用することができる。或いは、外へセグメント化したコンテンツを、外へセグメント化した新たなコンテキストの中に配置することができる。これらの例では、代わりのコンテンツ又はコンテキストを提供することが、関心のあるオブジェクトを新たな背景等の中に配置することを可能にする。例えば人物のサラウンドビューを様々な背景コンテキストの中に配置し、その人物が或るサラウンドビュー内では砂浜に立っていることを示し、別のサラウンドビュー内では雪の中に立っていることを示すことができる。
【０１１５】
図１７Ｂを参照し、様々な角度から見たセグメント化オブジェクトの一例が示されている。具体的には、運動靴の回転ビュー１７２０が示されている。オブジェクトビュー１７２２、１７２４、１７２６、１７２８、及び１７３０は運動靴を様々な角度又は視点から示す。図示のように、オブジェクト自体が如何なる背景又はコンテキストもなしに表示される。様々な実施形態によれば、セグメント化オブジェクトのこれらの様々なビューはサラウンドビューのコンテンツから自動で取得することができる。この種の回転ビューの１つの応用例は、製品のビューを様々な角度から表示するための電子商取引にある。様々な実施形態によれば、別の応用例は視覚的検索にあり得る。
【０１１６】
様々な実施形態によれば、サラウンドビューは、様々な情報源から得たデータから生成することができ、数多くの応用例で使用することができる。図１８を参照し、サラウンドビューの生成に使用可能な様々な情報源、及びサラウンドビューと共に使用可能な様々な応用例の一例が示されている。この例では、サラウンドビューの生成及び応用例１８００が、インターネットギャラリー１８０２、リポジトリ１８０４、利用者１８０６等の画像データ源１８０８を含む。具体的には、リポジトリはデータベース、ハードドライブ、記憶装置等を含み得る。加えて利用者１８０６は、スマートフォン等での画像捕捉中等、利用者から直接取得される画像及び情報を含み得る。データ源のこれらの特定の例を示すが、データは他の情報源から取得されても良い。特定の実施形態では、この情報を画像データ１８０８として集めてサラウンドビュー１８１０を生成することができる。
【０１１７】
この例では、サラウンドビュー１８１０を様々な応用例で使用することができる。図示のように、サラウンドビューは電子商取引１８１２、視覚的検索１８１４、３Ｄプリント１８１６、ファイル共有１８１８、ユーザ対話１８２０、娯楽１８２２等の応用例で使用することができる。当然ながらこの一覧は例示に過ぎず、サラウンドビューは明確に言及していない他の応用例でも使用することができる。
【０１１８】
セグメント化に関して上記で説明したように、サラウンドビューは電子商取引１８１２で使用することができる。例えばサラウンドビューは、買い物客が製品を様々な角度から見ることを可能にするために使用することができる。一部の応用例では、買い物客がサラウンドビューを使用してサイズ、寸法、及びフィット性を求めることさえできる。具体的には、買い物客は自己モデルを提供し、製品がそのモデルに適合するかどうかをサラウンドビューから明らかにすることができる。図１９〜図２２に関して以下でより詳細に説明するように、サラウンドビューは視覚的検索１８１４でも使用することができる。利用者が視覚的検索クエリに一致する特定の製品を見つけようとするとき等、視覚的検索の応用例の一部は電子商取引にも関係し得る。
【０１１９】
セグメント化の別の応用例は、三次元プリント（３Ｄプリント）１８１６を含む。三次元プリントは、これからの１０年間で世界経済を改善する未来のディスラプティブ技術の１つとして近年認識されている。様々な実施形態によれば、サラウンドビューからコンテンツを３Ｄプリントすることができる。加えて、サラウンドビュー内のパノラマ背景コンテキストもプリントすることができる。一部の例では、思い出を三次元プリント形式で残しておきたい利用者のために、プリントした背景コンテキストが最終的な３Ｄプリント製品を補完し得る。例えばコンテキストは、３Ｄコンテンツの背後にある平面として、又は他の任意の幾何学的形状（球面形状、円柱形状、Ｕ字型等）としてプリントすることができる。
【０１２０】
図１６Ａに関して上記で説明したように、サラウンドビューは利用者がアクセスするためのサムネイルビューと共に記憶することができる。一部の例では、この種の応用例は利用者間のファイル共有１８１８で使用することができる。例えば或るサイトは、現在の写真共有サイトと同様の方法で利用者がサラウンドビューを共有するためのインフラを含み得る。一部の応用例では、ファイル共有１８１８は利用者間で直接実施することもできる。
【０１２１】
更に図１４及び図１５に関して説明したように、サラウンドビューの別の応用例はユーザ対話である。具体的には、利用者は自分自身の楽しみや娯楽のためにサラウンドビューをナビゲートすることができる。この概念を娯楽１８２２に拡張し、サラウンドビューは数多くの方法で使用することができる。例えば、サラウンドビューは広告や映像等で使用することができる。
【０１２２】
先に説明したように、サラウンドビューの１つの応用例は視覚的検索である。図１９、図２０、及び図２２は、サラウンドビューを使用した視覚的検索の例を示す。様々な実施形態によれば、サラウンドビューを使用することは、今日までの他の如何なるデジタルメディア表現よりも検索結果の点ではるかに高い弁別力を実現することができる。とりわけ、サラウンドビュー内のコンテンツとコンテキストとを区別できることは、視覚的検索において使用可能な重要な側面である。
【０１２３】
２Ｄ画像等の既存のデジタルメディア形式は、十分な識別情報をネイティブに使用できないという意味でインデックス付けに適していない。その結果、既存のデジタルメディア形式からかかる情報を抽出するためのアルゴリズム及びメカニズムの研究に何十億ドルも費やされている。この投資は、顔認識等の一部の問題に関しては満足のいく結果をもたらしたが、全般的に、単一画像から３Ｄ形状を把握する問題には既存の技術は適していない。一連の画像又は２Ｄ映像を使用することによって誤検出及び検出漏れの度合いを減らすことができるが、以前より使用可能な３Ｄ空間再構築法は依然として不十分である。
【０１２４】
様々な実施形態によれば、サラウンドビューを生成するために使用される位置ベースの情報等の追加のデータ源が、視覚的認識及び検索の能力を改善する貴重な情報を提供する。特定の実施形態例では、サラウンドビューの２つの成分であるコンテキスト及びコンテンツの両方が視覚的認識プロセスに著しく貢献する。特定の実施形態例では、コンテンツが提供する三次元情報の可用性は、クエリオブジェクト又はシーンの一部を認識するために評価しなければならない仮定の数を著しく減らすことができる。様々な実施形態によれば、コンテンツの三次元情報はカテゴリ化（即ちオブジェクトが属する全般的なカテゴリを見つけること）を助けることができ、二次元テクスチャ情報はオブジェクトの特定のインスタンスについてより多く指示することができる。多くの事例において、サラウンドビュー内のコンテキスト情報は、クエリオブジェクトが位置するシーンの種類を説明することにより、クエリオブジェクトのカテゴリ化も支援することができる。
【０１２５】
オブジェクトの特定のインスタンスを探すために使用可能な情報を提供することに加え、サラウンドビューは、「他のどのオブジェクトが形状及び見た目の点で似ているか？」等の質問に答えるのにもネイティブに適している。ウェブ検索クエリに応答して与えられる上位Ｎ件の最良の一致と同様に、様々な例において、サラウンドビューをオブジェクトのカテゴリ化及び認識アルゴリズムと共に使用して「最も近い一致」を示すことができる。
【０１２６】
サラウンドビューを用いた視覚的検索は、様々な方法で使用し且つ／又は実施することができる。一例では、サラウンドビューを用いた視覚的検索をロボット工学のオブジェクト認識に使用することができる。別の例では、サラウンドビューを用いた視覚的検索をソーシャルメディアのキュレーションに使用することができる。具体的には、様々なソーシャルネットワークに投稿されているサラウンドビューデータを解析し、オブジェクト及びシーンの一部を認識することにより、より優れた＃ハッシュタグインデックスを自動で生成することができる。この種の情報を生成することにより、フィードをキュレーションすることができ、検索体験を向上させることができる。
【０１２７】
サラウンドビューを用いた視覚的検索を使用可能な別の例は、「サーチアンドショップ」と呼ぶことができる買物の脈絡においてである。具体的には、この視覚的検索は、形状及び見た目の点で似ているが、他の近くの店では異なる値段で売られている可能性があるアイテムを認識できるようにし得る。例えば図２１を参照し、視覚的検索クエリは購入可能な同様の製品を与えることができる。
【０１２８】
サラウンドビューを用いた視覚的検索を使用可能な更に別の例では、「サーチアンドフィット」と呼ぶことができる買物の脈絡においてである。様々な実施形態によれば、サラウンドビューのコンテンツは三次元なので正確な測定値を抽出することができ、サラウンドビュー内で表わされる特定のオブジェクトが特定の脈絡でフィットするかどうかを判定するためにその情報を使用することができる（例えば足にフィットする靴や部屋にフィットするランプ等）。
【０１２９】
別の例では、サラウンドビューを用いた視覚的検索は、より優れたマーケティング推薦エンジンを提供するために使用することもできる。例えば、様々な利用者によって生成されるサラウンドビュー内に現れるオブジェクトの種類を解析することにより、「人が日常生活でどのような種類の製品を実際に使用するのか」等の質問に自然、個人的、且つ迷惑にならない方法で答えることができる。この種の情報を集めることは、改善された推薦エンジンを促進し、不所望のスパム又はマーケティング広告を減らし且つ／又は停止し、それにより殆どの利用者の生活の質を高めることができる。図１６Ｂは、本発明の様々な実施形態に従って推薦を提供することができる或る実装形態を示す。
【０１３０】
図１９を参照し、オブジェクトの視覚的検索を行うためのプロセス１９００の一例が示されており、検索クエリはオブジェクトのサラウンドビューを含み、検索されるデータは三次元モデルを含む。１９０２で、第１のサラウンドビューを含む視覚的検索クエリを受け取る。次いで１９０４で、この第１のサラウンドビューを、記憶済みのサラウンドビューと比較する。一部の実施形態では、この比較が、第１のサラウンドビュー内のオブジェクトの第１の測定情報を抽出し、それを１つ又は複数の記憶済みのサラウンドビューから抽出した第２の測定情報と比較することを含み得る。例えばこの種の測定情報は、洋服、靴、アクセサリ等のアイテムを検索するために使用することができる。
【０１３１】
次いで１９０６で、記憶済みの何れかのサラウンドビューが第１のサラウンドビューに対応するかどうかを判定する。一部の例では、この判定は、記憶済みのサラウンドビューの何れかの中の内容が第１のサラウンドビュー内のオブジェクトと形状の点で似ているかどうかに基づく。他の例では、この判定は、記憶済みのサラウンドビュー内の内容の何れかが第１のサラウンドビュー内のオブジェクトと見た目の点で似ているかどうかに基づく。更に他の例では、この判定は、記憶済みのサラウンドビュー内の何れかの内容が第１のサラウンドビュー内に含まれる同様のテクスチャを含むかどうかに基づく。一部の例では、この判定は、記憶済みのサラウンドビューに関連するコンテキストの何れかが第１のサラウンドビューのコンテキストに一致するかどうかに基づく。別の例では、この判定は、記憶済みのサラウンドビューに関連する測定情報が第１のサラウンドビューに関連するオブジェクトに寸法的にフィットするかどうかに基づく。当然ながら、これらの基礎の何れを互いに組み合わせて使用しても良い。
【０１３２】
この判定を行うと、１９０８で、一致した結果の順位付き一覧を生成する。一部の実施形態では、一致した結果の順位付き一覧を生成することが、第１の測定情報に関連するオブジェクトに、記憶済みのサラウンドビューの何れかがどの程度緊密に寸法的にフィットするのかを示すことを含む。様々な実施形態によれば、この順位付き一覧は、一致した結果のサムネイルを表示することを含み得る。一部の例では、小売業者へのリンクをサムネイルと共に含めることができる。加えて一部の応用例では、一致した結果に関する名前、ブランド、値段、情報源等の情報を含めることができる。
【０１３３】
先の例は、記憶済みのサラウンドビュー又は三次元モデルを検索するための視覚的検索クエリとしてサラウンドビューを使用することを含むが、現在のインフラは膨大な二次元画像を依然として含む。例えばインターネットは、容易にアクセス可能な数多くの二次元画像へのアクセスを提供する。従って、一致を得るためにサラウンドビューを使用して記憶済みの二次元画像を検索することは、現在の二次元インフラでのサラウンドビューの有用な応用例を提供することができる。
【０１３４】
図２０を参照し、オブジェクトの視覚的検索を行うためのプロセス２０００の一例が示されており、検索クエリはオブジェクトのサラウンドビューを含み、検索されるデータは二次元画像を含む。２００２で、第１のサラウンドビューを含む視覚的検索クエリを受け取る。次いで２００４で、サラウンドビューからオブジェクトビューを選択する。具体的には、サラウンドビューから１つ又は複数の二次元画像を選択する。これらのオブジェクトビューは記憶済みの二次元画像と比較されるので、複数のビューを選択することで一致を見つける確率を高めることができる。更に、サラウンドビューから１つ又は複数のオブジェクトビューを選択することは、オブジェクトの際立った特徴の認識を可能にするオブジェクトビューを選択することを含み得る。
【０１３５】
この例では、２００６でオブジェクトビューを、記憶済みの画像と比較する。一部の実施形態では、記憶済みの画像の１つ又は複数を、記憶済みのサラウンドビューから抽出することができる。一部の例では、これらの記憶済みのサラウンドビューをデータベースから取得することができる。様々な例において、１つ又は複数のオブジェクトビューを、記憶済みの画像と比較することが、サラウンドビュー内のオブジェクトの形状を、記憶済みの画像と比較することを含む。他の例では、１つ又は複数のオブジェクトビューを、記憶済みの画像と比較することが、サラウンドビュー内のオブジェクトの見た目を、記憶済みの画像と比較することを含む。更に、１つ又は複数のオブジェクトビューを、記憶済みの画像と比較することは、サラウンドビュー内のオブジェクトのテクスチャを、記憶済みの画像と比較することを含む。一部の実施形態では、１つ又は複数のオブジェクトビューを、記憶済みの画像と比較することが、サラウンドビュー内のオブジェクトのコンテキストを、記憶済みの画像と比較することを含む。当然ながら、これらの比較基準の何れを互いに組み合わせて使用しても良い。
【０１３６】
次いで２００８で、記憶済みの何れかの画像がオブジェクトビューに対応するかどうかを判定する。この判定を行うと、２０１０で、一致した結果の順位付き一覧を生成する。様々な実施形態によれば、この順位付き一覧は、一致した結果のサムネイルを表示することを含み得る。一部の例では、小売業者へのリンクをサムネイルと共に含めることができる。加えて一部の応用例では、一致した結果に関する名前、ブランド、値段、情報源等の情報を含めることができる。
【０１３７】
図２１を参照し、視覚的検索プロセス２１００の一例が示されている。この例では、２１０２で画像を取得する。これらの画像は利用者によって捕捉されても、記憶済みのファイルから取り出されても良い。次いで、様々な実施形態によれば、その画像に基づいてサラウンドビューを生成する。このサラウンドビューは、２１０４で送られる視覚的検索クエリとして使用される。この例では、「データベース内の他のどのオブジェクトがクエリオブジェクトに似ているか」等の質問に答えるためにサラウンドビューを使用することができる。図示のように、サラウンドビューはその優れた意味情報能力により、他の「クエリに似た画像」を探すことから、他の「クエリに似たオブジェクト」を探すことに視覚的検索パラダイムをシフトするのを助けることができる。図１９及び図２０に関して上記で説明したように、サラウンドビューを、記憶済みのサラウンドビュー又は画像と比較することができ、２１０６で一致した結果の一覧を提供することができる。
【０１３８】
視覚的検索の先の例は、検索クエリとしてサラウンドビューを使用することを含むが、一部の実施形態では二次元画像の検索クエリを提供することも有用であり得る。図２２を参照し、オブジェクトの視覚的検索を行うためのプロセス２２００の一例が示されており、検索クエリはオブジェクトの二次元ビューを含み、検索されるデータはサラウンドビューを含む。２２０２で、検索しようとするオブジェクトの二次元ビューを含む視覚的検索クエリを受け取る。一部の例では、オブジェクトのサラウンドビューから二次元ビューを取得し、オブジェクトのサラウンドビューはオブジェクトの三次元モデルを含む。次いで２２０４で、二次元ビューをサラウンドビューと比較する。一部の例では、二次元ビューをサラウンドビュー内の１つ又は複数のコンテンツビューと比較することができる。具体的には、二次元ビューは、様々な視角のサラウンドビューから抽出される１つ又は複数の二次元画像と比較することができる。様々な例によれば、サラウンドビューから抽出される二次元画像は、コンテンツの際立った特徴を認識できるようにする視角に対応する。他の例では、二次元ビューを１つ又は複数のサラウンドビューと比較することが、二次元ビューを１つ又は複数のコンテンツモデルと比較することを含む。画像又はモデルを比較するために、オブジェクトの形状、見た目、テクスチャ、コンテキスト等の様々な基準を使用することができる。当然ながら、これらの比較基準の何れを互いに組み合わせて使用しても良い。
【０１３９】
図２３を参照し、本発明の特定の例を実施するために使用可能なコンピュータシステムの具体例を示す。例えば、コンピュータシステム２３００は、上記の様々な実施形態に従ってサラウンドビューを提供するために使用することができる。特定の実施形態例によれば、本発明の特定の実施形態を実施するのに適したシステム２３００は、プロセッサ２３０１、メモリ２３０３、インタフェース２３１１、及びバス２３１５（例えばＰＣＩバス）を含む。インタフェース２３１１は、別々の入出力インタフェースを含むことができ、又は両方の動作をサポートする統一インタフェースとすることができる。適切なソフトウェア又はファームウェアの制御下で動作するとき、プロセッサ２３０１は最適化等のかかるタスクを担う。特別に構成される様々な装置をプロセッサ２３０１の代わりに又はプロセッサ２３０１に加えて使用することができる。完全な実装は、カスタムハードウェアによって行うこともできる。インタフェース２３１１は、概してデータパケット又はデータセグメントをネットワーク上で送受信するように構成される。装置がサポートするインタフェースの特定の例は、イーサネット（登録商標）インタフェース、フレームリレーインタフェース、ケーブルインタフェース、ＤＳＬインタフェース、トークンリングインタフェース等を含む。
【０１４０】
加えて、高速イーサネットインタフェース、ギガビットイーサネットインタフェース、ＡＴＭインタフェース、ＨＳＳＩインタフェース、ＰＯＳインタフェース、ＦＤＤＩインタフェース等の様々な超高速インタフェースが提供され得る。概して、これらのインタフェースは適切なメディアとの通信に適したポートを含み得る。場合によっては、これらは独立プロセッサも含むことができ、一部の事例では揮発性ＲＡＭも含み得る。独立プロセッサは、パケット交換やメディア制御及び管理等の通信集約的タスクを制御することができる。
【０１４１】
特定の実施形態例によれば、システム２３００は、データ及びプログラム命令を記憶するためにメモリ２３０３を使用し、ローカルサイドキャッシュを維持した。プログラム命令は、例えばオペレーティングシステム及び／又は１つ若しくは複数のアプリケーションの動作を制御することができる。メモリは、受信メタデータ及びバッチ要求メタデータを記憶するようにも構成され得る。
【０１４２】
本明細書に記載のシステム／方法を実装するためにかかる情報及びプログラム命令が使用され得るので、本発明は、本明細書に記載の様々な操作を実行するためのプログラム命令や状態情報等を含む有形の機械可読媒体に関する。機械可読媒体の例は、ハードディスク、フロッピディスク、磁気テープ、ＣＤ−ＲＯＭディスクやＤＶＤ等の光学媒体、光ディスク等の光磁気媒体、及び読取専用メモリデバイス（ＲＯＭ）やプログラム可能読取専用メモリデバイス（ＰＲＯＭ）等、プログラム命令を記憶して実行するように特別に構成されるハードウェア装置を含む。プログラム命令の例は、コンパイラによって作成されるような機械コード、及びインタプリタを使用してコンピュータによって実行され得る上位コードを含むファイルの両方を含む。
【０１４３】
上記では便宜上コンポーネント及びプロセスの多くを単数形で記載したが、本開示の技法を実践するために複数のコンポーネント及びプロセスの繰返しも使用できることを当業者なら理解されよう。
【０１４４】
本開示をその特定の実施形態に関してとりわけ図示し説明してきたが、本発明の趣旨又は範囲から逸脱することなしに、開示した実施形態の形態及び詳細の変更を加えることができることを当業者なら理解されよう。従って本発明は、本発明の真の趣旨及び範囲に含まれる全ての改変形態及び均等物を含むように解釈されることを意図する。
【図７Ｅ】
2017501516.tif 000003
【図７Ｇ】
2017501516.tif 000004
【図７Ｈ】
2017501516.tif 000005
【図７Ｉ】
2017501516.tif 000006
【図７Ｊ】
2017501516.tif 000007
【図７Ｋ】
2017501516.tif 000008
【図７Ｌ】
2017501516.tif 000009
【図７Ｍ】
2017501516.tif 000010
【図１】
2017501516.tif 000011
【図２】
2017501516.tif 000012
【図３】
2017501516.tif 000013
【図４Ａ】
2017501516.tif 000014
【図４Ｂ】
2017501516.tif 000015
【図４Ｃ】
2017501516.tif 000016
【図５Ａ】
2017501516.tif 000017
【図５Ｂ】
2017501516.tif 000018
【図６Ａ】
2017501516.tif 000019
【図６Ｂ】
2017501516.tif 000020
【図６Ｃ】
2017501516.tif 000021
【図６Ｄ】
2017501516.tif 000022
【図６Ｅ】
2017501516.tif 000023
【図７Ａ】
2017501516.tif 000024
【図７Ｂ】
2017501516.tif 000025
【図７Ｃ】
2017501516.tif 000026
【図７Ｄ】
2017501516.tif 000027
【図７Ｆ】
2017501516.tif 000028
【図８】
2017501516.tif 000029
【図９】
2017501516.tif 000030
【図１０】
2017501516.tif 000031
【図１１】
2017501516.tif 000032
【図１２】
2017501516.tif 000033
【図１３Ａ】
2017501516.tif 000034
【図１３Ｂ】
2017501516.tif 000035
【図１４】
2017501516.tif 000036
【図１５】
2017501516.tif 000037
【図１６Ａ】
2017501516.tif 000038
【図１６Ｂ】
2017501516.tif 000039
【図１７Ａ】
2017501516.tif 000040
【図１７Ｂ】
2017501516.tif 000041
【図１８】
2017501516.tif 000042
【図１９】
2017501516.tif 000043
【図２０】
2017501516.tif 000044
【図２１】
2017501516.tif 000045
【図２２】
2017501516.tif 000046
【図２３】
2017501516.tif 000047
【国際調査報告】
2017501516.tif 000048