(57)【特許請求の範囲】
【請求項１】
プロセッサベースデバイスが、ユーザデバイスのカメラで見られる場面にある実世界物体を識別し、
プロセッサベースデバイスが、コンテンツ項目にタグ付けされたタグ付き物体の画像認識及び共有化設定の少なくとも一部に基づき、前記実世界物体を前記タグ付き物体にマッチングさせ、
プロセッサベースデバイスが、前記ユーザデバイスのユーザに、前記コンテンツ項目が前記実世界物体に関連付けられていることを通知し、
プロセッサベースデバイスが、前記ユーザから前記コンテンツ項目のリクエストを受信し、
プロセッサベースデバイスが、前記コンテンツ項目を前記ユーザに提供することを備え、
前記共有化設定は、前記実世界物体が、前記マッチングが起こるために前記タグ付き物体を含むか否か、または、前記実世界物体が、前記マッチングが起こるために前記タグ付き物体と１以上の共通属性を共有する任意の物体を含むか否かを備える方法。
【請求項２】
前記実世界物体と前記タグ付き物体との前記マッチングが、前記ユーザデバイスの位置、及び、前記ユーザと前記コンテンツ項目の作者とのソーシャルネットワークコネクションのうち１以上にさらに基づく、請求項１に記載の方法。
【請求項３】
前記通知が、音声通知、ポップアップ通知、バイブレーション、及び、前記ユーザデバイスの前記カメラで見られる前記場面の表示上のアイコンのうち１以上を備える、請求項１に記載の方法。
【請求項４】
前記コンテンツ項目が、テキストコメント、画像、オーディオクリップ、及びビデオクリップのうち１以上を備える、請求項１に記載の方法。
【請求項５】
プロセッサベースデバイス、及び、
前記プロセッサベースデバイスにステップを実施させるよう構成されたコンピュータ読取可能命令セットを保存した非一時的記憶媒体を備え、
前記ステップは、
ユーザデバイスのカメラで見られる場面にある実世界物体を識別することと、
コンテンツ項目にタグ付けされたタグ付き物体の画像認識及び共有化設定の少なくとも一部に基づき、前記実世界物体を前記タグ付き物体にマッチングさせることと、
前記ユーザデバイスのユーザに、前記コンテンツ項目が前記実世界物体に関連付けられていることを通知することと、
前記ユーザから前記コンテンツ項目のリクエストを受信することと、
前記コンテンツ項目を前記ユーザに提供することとを備え、
前記共有化設定は、前記実世界物体が、前記マッチングが起こるために前記タグ付き物体を含むか否か、または、前記実世界物体が、前記マッチングが起こるために前記タグ付き物体と１以上の共通属性を共有する任意の物体を含むか否かを備える装置。
【請求項６】
前記識別された実世界物体と前記タグ付き物体との前記マッチングが、前記ユーザデバイスの位置、及び、前記ユーザと前記コンテンツ項目の作者とのソーシャルネットワークコネクションのうち１以上にさらに基づく、請求項５に記載の装置。
【請求項７】
前記通知が、音声通知、ポップアップ通知、バイブレーション、及び、前記ユーザデバイスの前記カメラで見られる前記場面の表示上のアイコンのうち１以上を備える、請求項５に記載の装置。
【請求項８】
前記コンテンツ項目が、テキストコメント、画像、オーディオクリップ、及びビデオクリップのうち１以上を備える、請求項５に記載の装置。
【請求項９】
プロセッサベースデバイスが、第一ユーザデバイスのカメラで見られる通りの実世界物体の選択をユーザから受信することと、
プロセッサベースデバイスが、前記実世界物体にタグ付けするコンテンツ項目を受信することと、
プロセッサベースデバイスが、前記カメラで前記実世界物体の１以上の画像を撮影することと、
プロセッサベースデバイスが、前記実世界物体の画像のみに、または、１以上の共通属性を前記実世界物体と共有する任意の物体の画像に、前記実世界物体をマッチングさせるかを備える共有化設定を前記ユーザから受信することと、
プロセッサベースデバイスが、前記実世界物体とマッチングする物体を見る第二ユーザデバイスにより検索されるよう構成された前記コンテンツ項目、前記実世界物体の前記１以上の画像、及び前記共有化設定をサーバに保存することとを備える方法。
【請求項１０】
前記コンテンツ項目が、テキストコメント、画像、オーディオクリップ、及びビデオクリップのうち１以上を備える、請求項９に記載の方法。
【請求項１１】
前記共有化設定が、前記コンテンツ項目を閲覧可能な人物を限定することをさらに備える、請求項９に記載の方法。
【請求項１２】
前記共有化設定は、前記ユーザが前記実世界物体に対応する属性リストから選択することで入力される、請求項９乃至１１のいずれか１項に記載の方法。
【請求項１３】
前記属性リストは、前記実世界物体の前記１以上の画像で実施される物体認識を通して生成される、請求項１２に記載の方法。
【請求項１４】
プロセッサベースデバイス、及び、
前記プロセッサベースデバイスにステップを実施させるよう構成されたコンピュータ読取可能命令セットを保存した非一時的記憶媒体を備え、
前記ステップは、
第一ユーザデバイスのカメラで見られる通りの実世界物体の選択をユーザから受信ことと、
前記実世界物体にタグ付けするコンテンツ項目を受信することと、
前記カメラで前記実世界物体の１以上の画像を撮影することと、
前記実世界物体の画像のみに、または、１以上の共通属性を前記実世界物体と共有する任意の物体の画像に、前記実世界物体をマッチングさせるかを備える共有化設定を前記ユーザから受信することと、
前記実世界物体とマッチングする物体を見る第二ユーザデバイスにより検索されるよう構成された前記コンテンツ項目、前記実世界物体の前記１以上の画像、及び前記共有化設定をサーバに保存することとを備える、前記装置。
【請求項１５】
前記コンテンツ項目が、テキストコメント、画像、オーディオクリップ、及びビデオクリップのうち１以上を備える、請求項１４に記載の装置。
【請求項１６】
前記共有化設定では、前記コンテンツ項目を閲覧可能な人物を限定することをさらに備える、請求項１４に記載の装置。
【請求項１７】
前記共有化設定は、前記ユーザが前記実世界物体に対応する属性リストから選択することで入力される、請求項１４乃至１６のいずれか１項に記載の装置。
【請求項１８】
前記属性リストは、前記実世界物体の前記１以上の画像で実施される自動物体認識を通して生成される、請求項１７に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願の相互参照］
本出願は、２０１４年１２月９日に出願され「ＳＣＨＥＭＥＳ  ＦＯＲ  ＲＥＴＲＩＥＶＩＮＧ  ＡＮＤ  ＡＳＳＯＣＩＡＴＩＮＧ  ＣＯＮＴＥＮＴ  ＩＴＥＭＳ  ＷＩＴＨ  ＲＥＡＬ−ＷＯＲＬＤ  ＯＢＪＥＣＴＳ  ＵＳＩＮＧ  ＡＵＧＭＥＮＴＥＤ  ＲＥＡＬＩＴＹ  ＡＮＤ  ＯＢＪＥＣＴ  ＲＥＣＯＧＮＩＴＩＯＮ」と題された米国特許出願第１４／５６５，２３６号の継続でありその利益を請求し、その出願では、２０１４年９月２９日に出願され「ＳＣＨＥＭＥＳ  ＦＯＲ  ＲＥＴＲＩＥＶＩＮＧ  ＡＮＤ  ＡＳＳＯＣＩＡＴＩＮＧ  ＣＯＮＴＥＮＴ  ＩＴＥＭＳ  ＷＩＴＨ  ＲＥＡＬ−ＷＯＲＬＤ  ＯＢＪＥＣＴＳ  ＵＳＩＮＧ  ＡＵＧＭＥＮＴＥＤ  ＲＥＡＬＩＴＹ  ＡＮＤ  ＯＢＪＥＣＴ  ＲＥＣＯＧＮＩＴＩＯＮ」と題された米国仮特許出願第６２／０５７，２１９号の利益を請求し、また、２０１４年９月２９日に出願され「ＭＥＴＨＯＤ  ＡＮＤ  ＡＰＰＡＲＡＴＵＳ  ＦＯＲ  ＲＥＣＯＧＮＩＴＩＯＮ  ＡＮＤ  ＭＡＴＣＨＩＮＧ  ＯＦ  ＯＢＪＥＣＴＳ  ＤＥＰＩＣＴＥＤ  ＩＮ  ＩＭＡＧＥＳ」と題された米国仮特許出願第６２／０５７，２２３号の利益を請求し、その開示内容の全体を参照により本明細書に組み込む。
【０００２】
本出願は、２０１４年１２月９日に出願され「ＭＥＴＨＯＤ  ＡＮＤ  ＡＰＰＡＲＡＴＵＳ  ＦＯＲ  ＲＥＣＯＧＮＩＴＩＯＮ  ＡＮＤ  ＭＡＴＣＨＩＮＧ  ＯＦ  ＯＢＪＥＣＴＳ  ＤＥＰＩＣＴＥＤ  ＩＮ  ＩＭＡＧＥＳ」と題された米国特許出願第１４／５６５，２０４号に関連しており、その開示内容の全体を参照により本明細書に組み込む。
【０００３】
［発明の分野］
本発明は、一般的にコンピュータソフトウェアアプリケーションに関連し、特に拡張現実装置及びソフトウェアに関する。
【背景技術】
【０００４】
拡張現実（ＡＲ）は、現実の視界をコンピュータ生成した知覚入力で変更する一般的な概念である。ＡＲシステムがあるが、それらの適用及びコンテンツは多くが限定される。多くの場合、ＡＲアプリケーションは、開発者による生成制御コンテンツをユーザに提供する単一用途プログラムである。
【発明の概要】
【課題を解決するための手段】
【０００５】
１つの実施形態により提供される方法では、ユーザデバイスのカメラで見られる場面にある実世界物体を識別し、コンテンツ項目にタグ付けされたタグ付き物体の画像認識及び共有化設定の少なくとも一部に基づき、実世界物体をタグ付き物体にマッチングさせ、ユーザデバイスのユーザにコンテンツ項目が実世界物体に関連付けられていることを通知し、ユーザからコンテンツ項目のリクエストを受信し、コンテンツ項目をユーザに提供する。
【０００６】
別の実施形態により提供される装置は、プロセッサベースデバイス、及び、プロセッサベースデバイスにステップを実施させるよう構成されたコンピュータ読取可能命令セットを保存した非一時的記憶媒体を備え、ステップは、ユーザデバイスのカメラで見られる場面にある実世界物体を識別することと、コンテンツ項目にタグ付けされたタグ付き物体の画像認識及び共有化設定の少なくとも一部に基づき、実世界物体をタグ付き物体にマッチングさせることと、ユーザデバイスのユーザに、コンテンツ項目が実世界物体に関連付けられていることを通知することと、ユーザからコンテンツ項目のリクエストを受信することと、コンテンツ項目をユーザに提供することとを備える。
【０００７】
別の実施形態により提供される方法では、第一ユーザデバイスのカメラで見られる通りの実世界物体の選択をユーザから受信し、実世界物体にタグ付けするコンテンツ項目を受信し、カメラで実世界物体の１以上の画像を撮影し、実世界物体の画像のみに、または、１以上の共通属性を実世界物体と共有する任意の物体の画像に、実世界物体をマッチングさせるかを備える共有化設定をユーザから受信し、実世界物体とマッチングする物体を見る第二ユーザデバイスにより検索されるよう構成されたコンテンツ項目、実世界物体の１以上の画像、及び共有化設定をサーバに保存する。
【０００８】
別の実施形態により提供される装置は、プロセッサベースデバイス、及び、プロセッサベースデバイスにステップを実施させるよう構成されたコンピュータ読取可能命令セットを保存した非一時的記憶媒体を備え、ステップは、第一ユーザデバイスのカメラで見られる通りの実世界物体の選択をユーザから受信することと、実世界物体にタグ付けするコンテンツ項目を受信することと、カメラで実世界物体の１以上の画像を撮影することと、実世界物体の画像のみに、または、１以上の共通属性を実世界物体と共有する任意の物体の画像に、実世界物体をマッチングさせるかを備える共有化設定をユーザから受信し、実世界物体とマッチングする物体を見る第二ユーザデバイスにより検索されるよう構成されたコンテンツ項目、実世界物体の１以上の画像、及び共有化設定をサーバに保存することとを備える。
【０００９】
本発明の実施形態の原則を利用した例示的な実施形態を示す以下の詳述内容及び添付図を参考に、本発明の多様な実施形態における特徴及び効果は深く理解されるであろう。
【００１０】
本発明の実施形態における上記及びその他の態様、特徴及び効果は、以下の図面と併せて以下の具体的な説明でより明確になるであろう。
【図面の簡単な説明】
【００１１】
【図１】本発明のいくつかの実施形態による、実世界の場面を見るデバイスを表す図である。
【図２】本発明のいくつかの実施形態による、実世界物体の仮想的なタグ付け方法を表す図である。
【図３】本発明のいくつかの実施形態による、実世界物体にタグ付けされたコンテンツ項目の提供方法を表す図である。
【図４】本発明のいくつかの実施形態による、ユーザインタフェースを表すスクリーンショットである。
【図５】本発明のいくつかの実施形態による、ユーザインタフェースを表すスクリーンショットである。
【図６】本発明のいくつかの実施形態による、ユーザインタフェースを表すスクリーンショットである。
【図７】本発明のいくつかの実施形態による、実世界場面を見るデバイスを表す図である。
【図８】本発明のいくつかの実施形態による、本明細書で示し説明する方法及び技術のうちいずれかの起動、実施、及び／または実行に使用してもよいシステムを表すブロック図である。
【発明を実施するための形態】
【００１２】
拡張現実（ＡＲ）を用いて、ストーリテリングのための実世界物体の付帯情報を提供することができる。以下の説明で焦点を当てた本発明の例示的な実施形態では、ユーザは、ＡＲストーリテリングシステムを介し実世界物体に基づいてストーリを共有し得る。いくつかの実施形態において、ＡＲストーリテリングシステムでは、大いにカスタマイズされ制御された実世界物体についての記憶及びストーリの公表共有方法をユーザに提供する。具体的には、いくつかの実施形態において、ユーザは実世界物体をテキスト、フォト、ビデオ及びオーディオなどのコンテンツ項目にタグ付けし、他のユーザと共有することが出来る。いくつかの実施形態において、本システムは、ユーザ自身の周囲にある実世界物体にタグ付され関連付けられたコンテンツ項目があれば、ユーザに通知する。
【００１３】
いくつかの実施形態において、拡張現実を用いて、ユーザは、物体を、フォト、ビデオまたは音声録音といった個人的なコンテンツに「タグ付け」することが可能である。いくつかの実施形態において、ＡＲシステムでは、画像認識及び／またはグローバルポジショニングシステム（ＧＰＳ）を用いて、他のユーザにより「タグ付け」された実世界にある物体を検出することができる。タグ付き物体を検出すると、本システムは物体についてのアラートを発することができ、ＡＲデバイスの着用者またはユーザがタグに残る情報を再生する（例えば、ビデオを見る、フォトを見る、注記を読むなど）ことができる。タグは、ソーシャルネットワークを通して「フォロー」する人を基にした共有が可能である。タグを、永遠に継続することもでき、ユーザによる選択時間後に終了することもでき、または、特定の閲覧数に限定する（例えば、一人がタグを見た後のみ削除する）こともできる。
【００１４】
本発明の実施形態における適用例として、ユーザが自身のお気に入りの野球帽を自身がホームランボールをキャッチしているビデオにタグ付けすることを含んでもよい。似た帽子を見つけた彼の友達が、タグ付けされていることを確認しそのビデオを見ることができる。別の例として、ユーザが自身のお気に入りのレストランのメニューをユーザのお気に入りアイテムのオーディオメモにタグ付けする。そのメニューを見た他のユーザが友達のおすすめを聞くことが出来る。また別の例として、ユーザが公園のベンチをそこでピクニックをした子供のころの思い出にタグ付けをする。その後近くを通りがかった他のユーザが、思い出話を共有することができる。
【００１５】
本発明のいくつかの実施形態では、画像認識を使いデジタルデータの物理的基準点の提供に焦点を置いており、実世界とユーザが対話してアラートがトリガされ得る。いくつかの実施形態において、タグ付けするために、ユーザはＡＲデバイスを通して所望する物体の位置を示し、タグタイプ（例えば、フォト、ビデオ、オーディオ、テキストなど）を選択し、「ポスト」（例えば、タイトル、ディスクリプション、ハッシュタグなど）を構成する。ＡＲシステムが実世界でタグ付き物体を検出すると、任意の画像オーバーレイを使って、ユーザにアラートし、ユーザに情報を提示することが出来る。このように、本発明のいくつかの実施形態では、拡張現実を介して社会的対話及び／または情報共有が可能である。
【００１６】
図１は、本発明のいくつかの実施形態による、実世界場面を見るデバイスを示している。図１では、ユーザデバイス１１０を使い実世界場面１２０を見ている。実世界場面１２０には、車１２１、木１２２、電柱１２３、及びベンチ１２４などの実世界物体が含まれる。ユーザデバイス１１０は、スマートフォン、タブレットコンピュータ、携帯型コンピュータ、パッド状デバイス、頭部搭載型ディスプレイ、及び／またはウェアラブルデバイスなどの携帯型電子デバイスであってもよい。ユーザデバイス１１０は、ディスプレイスクリーン１１２、及び、タッチスクリーン、カメラ、スピーカ、マイク、ネットワークアダプタ、ＧＰＳセンサ、チルトセンサなどの他の入／出力デバイスを備える。ディスプレイスクリーン１１２は、ユーザデバイス１１０の撮像デバイスが見ている通りの実世界場面１２０の画像と、コンピュータ生成画像を併せて表示し、ＡＲでのストーリテリングを可能にしてもよい。例えば、図１では、括弧１１３が、ディスプレイスクリーン１１２上の車１２１の画像の周りに表示され、車１２１を強調している。ユーザはディスプレイスクリーン１１２上の物体を選択し、仮想的に対話してもよい。例えば、ユーザは物体の１つをコンテンツ項目にタグ付けするか、物体を選択してタグ付けされたコンテンツ項目を見てもよい。図２〜８を参考にして、以下にＡＲストーリテリングの提供方法を詳述する。
【００１７】
図１は実世界場面の画像を再生するディスプレイスクリーン１１２を有するユーザデバイス１１０を示しているが、いくつかの実施形態において、ユーザデバイス１１０は、眼鏡型及び／または頭部搭載型ディスプレイデバイスで使用されるような透明または半透明レンズを含んでもよい。そういったデバイスであれば、ユーザは、当該デバイスの１以上のレンズを通して直接実世界場面１２０を見てもよく、コンピュータ生成画像を実世界場面の直視界にオーバーレイするよう表示し、図１及び図４〜６に示す画像に類似する組合せ視界を生成する。
【００１８】
図２は、本発明のいくつかの実施形態により動作する実世界物体の仮想的なタグ付け方法３００の実施例を示している。いくつかの実施形態において、方法３００のステップを、１以上のサーバデバイス、ユーザデバイス、または、サーバ及びユーザデバイスの組合せにより実施してもよい。
【００１９】
ステップ２１０では、第一ユーザデバイスのカメラで見る場面においてユーザが選択した実世界物体を受信する。ユーザデバイスのカメラで見る場面は、リアルタイムで撮影された画像、または遅れて撮影された画像であってもよい。いくつかの実施形態において、ユーザは物体に対応する画像領域を選択して物体を選択する。本システムでは、選択された領域の画像を物体認識に使用してもよい。いくつかの実施形態において、ユーザは、当該物体が画像の中で大部分を占める物体になるよう実場面の画像をズームまたは構成して、物体を選択してもよい。いくつかの実施形態において、本システムでは、本システムが物体認識で自動的に認識する物体を実世界場面の画像に表示してもよい。例えば、図１に示すように、本システムでは、ユーザによる選択が可能な識別された物体（この場合車１２１）の周りに括弧を付けてもよい。いくつかの実施形態において、まずユーザが画像領域を選択し、次に本システムが画像の選択領域に関連付けられた物体を判断してもよい。例えば、ユーザが車１２１の画像の上部領域をタッチし、本システムが当該領域にある木１２２を識別してもよい。いくつかの実施形態において、選択された実世界物体を本システムに事前に知らせず、本システムがエッジ検出などの画像処理技術を用いて画像内の物体を切り離してもよい。例えば、本システムは電柱として電柱１２３を認識せず、エッジ検出を基に独立した物体として電柱１２３を認識できてもよい。いくつかの実施形態において、名称、型番、物体タイプ、物体カテゴリなどの属性をユーザに入力させ、本システムが未知の物体を「学習する」ことが出来るよう物体について説明するようにしてもよい。
【００２０】
ステップ２２０では、本システムが、実世界物体をタグ付けまたは関連付けするコンテンツ項目を受信する。コンテンツ項目は、テキストコメント、画像、オーディオクリップ、ビデオクリップ、ハイパーリンクなどの１以上であってもよい。本システムでは、ユーザがコンテンツ項目を入力、アップロード、及び／または取り込みを行うインタフェースを提供してもよい。例えば、本システムでは、アップロードするファイルを選択するためのコメントボックス及び／またはボタンを提供してもよい。
【００２１】
ステップ２３０では、実世界物体の１以上の画像をユーザデバイスのカメラで撮影する。その後、撮影された画像を処理して、選択された物体に関連する追加情報を判断してもよい。実世界物体の画像から識別可能な物体の形状、色、相対サイズ、及び他の属性を基に、実世界物体を識別してもよい。例えば、本システムは、車１２１を、その形状及び色に基づき車として識別してもよい。いくつかの実施形態において、本システムはさらに、物体の他の属性を識別してもよい。例えば、本システムでは、撮影した画像と既知の物体データベースにある画像との比較を基に、車１２１のメーカ、型式及び年式を識別してもよい。いくつかの実施形態において、撮影した画像は、物体の特定識別情報を含んでもよい。例えば、画像が車１２１のナンバープレート番号を含んでもよい。他の実施例において、撮影した画像が、収集可能項目である電子デバイスのシリアルナンバーまたは型番、限定版の固有識別子などを含んでもよい。
【００２２】
いくつかの実施形態において、本システムは、ユーザ入力を必要とせず自動的にステップ２３０を実施する。例えば、本システムは、ユーザがステップ２１０において物体を選択すると、実世界物体の１以上の画像を取得してもよい。いくつかの実施形態において、本システムは、ユーザに実世界物体の画像を取得させるようしてもよい。例えば、ステップ２１０で選択された物体が本システムで認識されない場合、本システムは、ユーザに別の角度から物体の画像を取得させるようにし、他の物体画像とよりマッチングするようしてもよい。いくつかの実施形態において、ステップ２４０の後、本システムは、共有化設定に基づきユーザに物体の画像を追加で取得させるようにしてもよい。例えば、ユーザが、外見が似ている他のいずれの車でもなく特に車１２１だけにコンテンツ項目をタグ付けしたい場合、車への現在の視界ではナンバープレートが見えないのであれば、本システムは車のナンバープレートなどの特定識別情報の画像を要求してもよい。
【００２３】
一般的に、本システムでは、多様な既知のコンピュータ物体認識技術を用いて、実世界場面の画像にある物体を認識してもよい。いくつかの実施形態において、物体認識では、画像を既知の物体の基準画像と比較する外観ベース方法を用い、物体を認識してもよい。外観ベース方法の例には、エッジマッチング、グレースケールマッチング、受容域応答のヒストグラムなどを含む。いくつかの実施形態において、物体認識では、物体特徴と画像特徴とのマッチング性に依存する特徴ベース方法を用いてもよい。特徴ベース方法の例には、ポーズクラスタリング、幾何学的ハッシング、スケールインバリアントフィーチャトランスフォーム（ＳＩＦＴ）、決定木などを含む。本システムでは、１以上の物体認識方法を組み合わせて用い、物体識別の精度を向上させてもよい。
【００２４】
ステップ２４０では、共有化設定をユーザから受信する。いくつかの実施形態において、共有化設定では、実世界物体の画像のみに、または、実世界物体と１以上の共通属性を共有する物体の画像に、実世界物体をマッチングさせるかを含む。例えば、実世界物体を特定の実世界物体の画像のみにマッチングさせるよう、ユーザが共有化設定を構成した場合、本システムは、実世界画像に関連付けられた特定識別子について判断し、及び／または、当該特定識別子をユーザに対して要求してもよい。特定識別子は、物体の位置、物体のシリアルナンバー、ナンバープレート番号、または、物体のその他識別テキストもしくは画像に基づいてもよい。例えば、車１２１は、ナンバープレート番号及び／または車体に描かれた文字または絵に基づいて一意に識別されてもよく、ベンチ１２４及び電柱１２３は、位置情報及び／または刻印に基づいて一意に識別されてもよく、野球帽は、野球帽上のサイン、または、野球帽上にある摩耗箇所に基づき一意に識別されてもよく、トロフィは、トロフィ上の文字で一意に識別されてもよいといったことである。いくつかの実施形態において、本システムはこういった識別属性を自動的に判断してもよい。例えば、本システムが画像内のナンバープレート番号、名称、またはシリアルナンバーを検出した場合、本システムは識別属性として当該情報を使用してもよい。別の実施例において、本システムが実世界物体を電柱１２３、ビル、彫刻など静止物として認識した場合、本システムは、物体の位置または画像を撮影したデバイスの位置を識別属性として使用してもよい。いくつかの実施形態において、本システムでは、ユーザに識別属性を指定させるようにしてもよい。例えば、本システムでは、識別属性とする電子デバイスのシリアルナンバーを撮影するか入力させるようにしてもよい。
【００２５】
ユーザが選択して、実世界物体との１以上の共通属性を有する物体の画像に実世界物体をマッチングさせる場合、本システムでは、ユーザにマッチング属性（複数可）を選択させるようにしてもよい。マッチング属性とは、タグ付き物体にタグ付けされたコンテンツ項目を受信するために、物体がタグ付き物体とマッチングしなければならない属性をいう。いくつかの実施形態において、マッチング属性は、物体の外観、画像認識を使って判断される物体の属性、及び／または物体の位置に基づいてもよい。例えば、ユーザは、あらゆる車、同色の車、同一製造メーカの車、同一型式の車、または同一型式で同一年式の車などにマッチングするよう、車１２１を構成してもよい。車の色を画像のみで判断してもよいが、車の製造メーカなどの属性を、画像認識を使って判断してもよい。例えば、本システムでは、車１２１の画像を既知の車の基準画像にマッチングさせて、車のメーカ、型式及び年式を識別してもよい。さらに、共通属性は位置ベースの属性であり得る。例えば、ユーザは、同一公園内の任意のベンチ、同一都市の任意のベンチ、自治体内の任意のベンチ、所定高度超にある任意のベンチなどにマッチングさせるよう、ベンチ１２４を構成してもよい。実世界物体の位置属性情報は、実世界物体の撮影画像についてのデバイスＧＰＳ情報及び／または位置メタデータ情報に基づき判断されてもよい。
【００２６】
いくつかの実施形態において、本システムは、選択された実世界物体について画像認識及び／または位置解析を実施し、選択用識別属性リストをユーザに提示してもよい。ユーザは、実世界物体を別の物体にマッチングさせるのに用いる属性をリストから選択して、共有化設定を構成し得る。例えば、ユーザがユーザデバイス１１０で車１２１を選択した場合、本システムは、
物体の種類：車両
色：グレー
メーカ：デロリアン
型式：ＤＭＣ−１２
年式：１９８１
位置：カリフォルニア州、Ｈｉｌｌ  Ｖａｌｌｅｙ
といった属性リストを生成してもよい。
次に、ユーザは識別属性を１以上選択し、共有化設定におけるマッチング属性を構成してもよい。例えば、ユーザはマッチング属性としてメーカ及び型式を選択することができ、その場合、車１２１にタグ付けされたコンテンツ項目をデロリアンのＤＭＣ−１２の別の画像とだけマッチングするようになる。いくつかの実施形態において、ユーザは、物体の属性を手入力し、共有化設定を構成することができる。例えば、ユーザは、カリフォルニア州のＨｉｌｌ  Ｖａｌｌｅｙから２０マイルまたは５０マイル以内の位置などといった位置ベースの共有化設定を構成してもよい。
【００２７】
いくつかの実施形態において、さらに、共有化設定には、ユーザによるソーシャルネットワークコネクションに基づき実世界物体にタグ付けされたコンテンツ項目を閲覧可能な人物を制限する、ソーシャルネットワークベースの共有化設定を含む。例えば、ユーザは、全「フォロワ」、友達のみ、選択ユーザグループ、またはソーシャルネットワーク内にあるグループのメンバなどとコンテンツ項目を共有するよう選択し得る。
【００２８】
図２ではステップ２２０、２３０及び２４０を順に示しているが、いくつかの実施形態において、これらのステップを別の順番で実施可能である。例えば、いくつかの実施形態において、ユーザは、物体にタグ付けするコンテンツ項目を入力する前に共有化設定を構成してもよい。いくつかの実施形態において、実世界アイテムの１以上の画像を、コンテンツ項目の受信前、または共有化設定の入力後に取得してもよい。いくつかの実施形態において、ステップ２２０〜２４０間ではいつでも、ユーザは前に実施したステップのいずれかに戻り、情報の編集及び／または入力をしてもよい。いくつかの実施形態において、物体タグ付けユーザインタフェースを提供し、ユーザがステップ２２０、２３０及び２４０の２以上を任意の順番で実施できるようにする。いくつかの実施形態において、ステップ２１０でユーザが実世界物体を選択すると、実世界物体の画像が取得される。その後、本システムでは、ステップ２４０において、受信した共有化設定に基づき他にも画像が必要であるかどうかを判断し、ユーザに必要に応じて１以上の画像を取得させるようにする。
【００２９】
ステップ２５０では、ステップ２２０〜２４０で入力したコンテンツ項目、実世界物体の画像、及び共有化設定を、ネットワークアクセスが可能なデータベースに保存し、共有化設定に基づき実世界物体とマッチングしている物体を見る第二ユーザデバイスにより検索されるよう、コンテンツ項目を構成する。これにより、いくつかの実施形態において、コンテンツ項目は、実世界物体にタグ付けまたは関連付けられていると言える。いくつかの実施形態において、コンテンツ項目、実世界物体の画像、及び共有化設定を、ステップ２２０〜２４０で入力された通りに保存する。いくつかの実施形態において、ステップ２５０の後、ユーザは、ユーザデバイス及び／または別のユーザ電子デバイスを使いユーザプロファイルにログインして、ステップ２１０〜２４０において入力された情報の編集または削除に戻ってもよい。
【００３０】
図３は、本発明のいくつかの実施形態により動作する方法３００の実施例を示している。いくつかの実施形態において、方法３００のステップを使って、本明細書で説明するＡＲストーリテリングを提供してもよい。いくつかの実施形態において、方法３００を１以上のサーバデバイス、ユーザデバイス、またはサーバ及びユーザデバイスの組合せにより実施してもよい。
【００３１】
ステップ３１０では、ユーザデバイスのカメラで見る場面にある実世界物体を、画像認識に基づき識別する。本システムでは、任意の既知の画像認識技術を利用してもよい。ユーザデバイスのカメラで見る場面は、リアルタイムに撮影された画像、または遅れて撮影された画像であってもよい。いくつかの実施形態において、ユーザデバイスは、実世界場面の画像をサーバにアップロードし、サーバは画像の中の実世界物体（複数可）を識別する。いくつかの実施形態において、ユーザデバイスは実世界物体の属性（色、グラディエントマップ、エッジ情報など）を識別してサーバに属性をアップロードし、ネットワーク遅延を軽減する。実世界物体は、実世界物体の画像から識別可能な物体の形状、色、相対サイズ、及び他の属性に基づき識別されてもよい。いくつかの実施形態において、物体認証はビデオ画像の複数フレームに基づいてもよい。いくつかの実施形態において、画像を撮影する場合、ユーザデバイスのＧＰＳ位置に部分的に基づき、物体を識別してもよい。例えば、本システムは、デバイスの位置に基づき視覚的に似た２台のベンチを区別することが出来る。いくつかの実施形態において、ステップ３１０では、本システムはユーザデバイスのカメラで見る全ての物体を識別しようとする。
【００３２】
ステップ３２０では、実世界物体をタグ付き物体にマッチングさせる。タグ付き物体は、図２で示すプロセスを介してタグ付けされた実世界物体であってもよい。その場合、いくつかの実施形態において、タグ付き物体は関連付けられたコンテンツ項目を有する。ステップ３２０でのマッチングは、実世界物体の画像認識、及びタグ付き物体の共有化設定に基づく。いくつかの実施形態において、マッチングは、実世界物体の属性と、タグ付き物体データベース内のタグ付き物体との比較に基づいてもよい。例えば、ステップ３１０での実世界物体が赤いスポーツカーである場合、実世界物体を、赤い車、スポーツカーなどとマッチングするよう指定されたタグ付き物体とマッチングさせてもよいが、緑色の車のみに共有化を制限する共有化設定をなされた緑色のスポーツカーにマッチングさせない。いくつかの実施形態において、マッチングは、タグ付き物体についてのソーシャルネットワーク共有化設定にも基づく。例えば、タグ付き物体が作者の「友達」とのみ共有されるよう指定されており、実世界物体を見るためにデバイスを使用するユーザがソーシャルネットワークサービスでコンテンツ項目の作者に繋がっていない場合、実世界物体は当該の特定タグ付き物体にマッチングされない。
【００３３】
いくつかの実施形態において、ステップ３２０でのマッチングは、実世界物体を見るデバイスの位置にも基づいてもよい。例えば、タグ付き物体がある地域内のアイテム（ＧＰＳ座標、アドレス、周辺、都市など）とのみ共有化されるよう構成されていれば、当該タグ付き物体は、当該地域の外部で撮影された実世界物体の画像とマッチングされない。いくつかの実施形態において、ステップ３２０は、ステップ３１０において識別された実世界場面の物体毎に実施される。
【００３４】
ステップ３３０では、マッチングするタグ付き物体がステップ３２０で見つけられれば、ユーザに通知される。音声通知、ポップアップ通知、バイブレーション、及び、ユーザデバイスのカメラで見られる場面の表示上のアイコンのうち１以上で、通知してもよい。例えば、本システムでは、グラフィックインディケータをスクリーン上に表示し、実世界場面にあるアイテムがタグ付けされていることをユーザに示してもよい。グラフィックインディケータは、物体の視界、物体を囲む括弧、または、色／明るさ調整などをオーバーレイして物体を強調するなどするアイコンであってもよい。いくつかの実施形態において、物体が複数のコンテンツ項目にタグ付けられている場合、通知がコンテンツ項目毎のインディケータを含んでもよい。例えば、あるアイテムが異なる二人のユーザによりタグ付けされているか、異なるコンテンツ項目タイプにタグ付けされている場合、グラフィックインディケータは、コンテンツ項目毎に作者及び／またはコンテンツタイプを表示してもよい。
【００３５】
いくつかの実施形態において、位置情報のみに基づき通知し、ユーザに周囲のタグ付き物体を探索させてもよい。例えば、デバイスのＧＰＳ座標とタグ付き物体とのマッチングに基づき、本システムが周囲にタグ付き物体があると判断した場合、本システムはデバイスを振動させるか、デバイスにビープ音を発信させてもよい。その後、ユーザはデバイスのカメラを周囲の物体に向け、タグ付き物体を見つけてもよい。本システムでは、タグ付き物体がカメラの視界内に入ると、グラフィックインディケータをユーザデバイス上に表示させてもよい。
【００３６】
ステップ３４０では、コンテンツ項目のリクエストを受信する。ユーザがユーザインタフェースで実世界物体及び／またはグラフィックインディケータを選択すると、リクエストはユーザデバイスにより生成されてもよい。例えば、ユーザがユーザデバイスのタッチスクリーンに表示されたアイコンをタップし、タグ付き物体またはコンテンツ項目を選択してもよい。いくつかの実施形態において、ある物体が複数のコンテンツ項目にタグ付けされている場合、選択ではコンテンツ項目を選択し、リクエストが特定のコンテンツ項目の表示であってもよい。いくつかの実施形態において、リクエストは自動的にユーザデバイスにより生成され、コンテンツ項目はユーザデバイスに一時的に保存またはキャッシュされてもよい。いくつかの実施形態において、リクエストは、所定のコンテンツ項目タイプに対してのみ必要とされてもよい。例えば、本システムでは、タグ付き物体を検出した場合自動的にテキスト及び画像コンテンツ項目を送信するが、ユーザからリクエストを受信した場合のみオーディオ及びビデオタイプのコンテンツ項目をデバイスにストリームしてもよい。
【００３７】
ステップ３５０では、コンテンツ項目をユーザデバイスに提供する。いくつかの実施形態において、選択されたタグ付き物体と関連付けられた全てのコンテンツ項目をユーザデバイスに提供する。いくつかの実施形態において、選択されたコンテンツ項目のみを提供する。いくつかの実施形態において、ビデオ及びオーディオタイプのコンテンツ項目をストリーミング形式で提供する。
【００３８】
いくつかの実施形態において、ステップ３５０の後、視聴するユーザは、自身のコンテンツ項目を提供することで、コンテンツ項目及び／またはタグ付き物体にコメントを付けるという方法を有してもよい。
【００３９】
図４は、ＡＲストーリテリングを提供するユーザインタフェースの例示的なスクリーンショットを示す。物体選択ユーザインタフェース４１０は、デバイスのカメラで見られる実世界場面の画像を表示しており、ユーザは物体選択ユーザインタフェース４１０を使って実世界物体を仮想コンテンツ項目にタグ付けしてもよい。いくつかの実施形態において、ユーザは物体に関連付けられた実世界場面の一領域を選択し得る。例えば、ユーザはあるエリアをタップし、あるエリアの周囲に線を引き、及び／または、あるエリアの周囲に長方形をクリック及びドラッグして、あるエリアを選択してもよい。いくつかの実施形態において、本システムは選択領域の画像を撮影し、選択領域にある物体を識別しようとする。いくつかの実施形態において、個々の物体をエッジ検出に基づき識別してもよい。いくつかの実施形態において、本システムは、ユーザへの実世界場面にある、本システムで認識した１以上の物体を識別する。例えば、本システムは、実世界場面の画像に括弧４１４または他のグラフィックインディケータをオーバーレイしてもよい。グラフィックインディケータはユーザにより選択可能であってもよい。
【００４０】
物体を実世界場面の視界で選択した後、タグ付けユーザインタフェース４２０を表示してもよい。タグ付けユーザインタフェース４２０は、タグ付けするものとして選択された物体の画像４２２を含んでもよい。さらに、タグ付けユーザインタフェース４２０は、コンテンツ項目を入力し構成する様々な方法を備えてもよい。例えば、ユーザは「コンテンツ追加」ボタン４２４を使って、テキストコメント、画像、オーディオファイル、及び／またはビデオファイルを入力または添付してもよい。また、いくつかの実施形態において、ユーザインタフェースでは、ユーザがユーザインタフェース及び／またはアプリケーションから離れずに、物体にタグ付けする新規画像、オーディオ、及び／またはビデオを保存することもできる。ユーザは「共有化設定」ボタン４２６を使って、本明細書で説明した多様な共有化設定を構成してもよい。例えば、ユーザは、タグ付けユーザインタフェース４２０において、マッチング属性を選択し、ソーシャルネットワーク共有化設定を構成し、及び／または、位置制限を入力してもよい。
【００４１】
図５は、ＡＲストーリテリングを提供するユーザインタフェースの別の例示的なスクリーンショットを示す。タグ付き物体通知ユーザインタフェース５１０を、ユーザデバイスを通して実世界場面を視聴するユーザに表示してもよい。タグ付き物体通知ユーザインタフェース５１０は、１以上のグラフィックインディケータを備え、実世界場面の視界にあるタグ付き物体を識別してもよい。例えば、アイコン５１２は電柱がテキストコメントにタグ付けされていることを表示し、アイコン５１４はベンチがオーディオクリップにタグ付けされていることを表示し、アイコン５１６は車もまたテキストコメントにタグ付けされていることを表示している。いくつかの実施形態において、他タイプのグラフィックインディケータを使って、目に見える形で物体がコンテンツ項目を有していることを表示する。例えば、図４の括弧４１４と同様の括弧、矢印、点滅アイコン、コンテンツ項目の作者のプロフィール画像を含むアイコン、コンテンツ項目のサムネイルなどを使ってもよい。いくつかの実施形態において、物体もしくは周囲の色及び／またはシェーディングを変更して、タグ付き物体をその周囲と区別するようにしてもよい。例えば、図６は、シェーディングされた背景６２０に対し強調された車６１０を表示している。
【００４２】
いくつかの実施形態において、タグ付き物体通知ユーザインタフェース５１０は、タグ付けユーザインタフェース４１０と同一のインタフェースであってもよい。例えば、ユーザがユーザデバイス上でプログラムまたはアプリケーション（もしくは「アプリ」）を起動させると、ユーザには、ユーザデバイスのカメラで見られる実世界場面の画像が提示される。実世界場面にある物体のいずれかがタグ付けされていれば、通知を出してもよい。また、ユーザは場面にある物体のいずれかを選択し、新規コンテンツ項目を物体に仮想的にタグ付けしてもよい。
【００４３】
タグ付き物体またはコンテンツ項目がタグ付き物体通知ユーザインタフェース５１０で選択されると、コンテンツ項目視聴ユーザインタフェース５２０が表示される。コンテンツ項目視聴ユーザインタフェース５２０において、タグ付き物体通知ユーザインタフェース５１０から選択されたコンテンツ項目は検索されユーザに表示される。コンテンツをフルスクリーンで、または、図５に示すように実世界場面の画像のオーバーレイ５２２として、表示してもよい。コンテンツ項目はテキストコメント、画像、オーディオクリップ、及びビデオクリップのうち１以上を含んでもよい。いくつかの実施形態において、複数のコンテンツ項目が１つのタグ付き物体に関連付けられている場合、異なる作者による複数のコンテンツ項目を同時に表示してもよい。
【００４４】
物体選択ユーザインタフェース４１０、タグ付けユーザインタフェース４２０、タグ付き物体通知ユーザインタフェース５１０及びコンテンツ項目視聴ユーザインタフェース５２０はそれぞれ、ユーザデバイス及び／またはサーバデバイスで起動するプログラムまたはアプリケーションの一部であってもよい。いくつかの実施形態において、ユーザインタフェースは、ＡＲサーバと通信してＡＲストーリテリングが可能なユーザインタフェースの画像及びコンテンツを提供する、スマートフォンのアプリケーションの一部であってもよい。いくつかの実施形態において、ユーザインタフェースを生成しサーバで全て提供する。
【００４５】
図７を参照すると、本発明のいくつかの実施形態による、実世界場面を見る眼鏡型ユーザデバイスを表した図が示されている。いくつかの実施形態において、上記ユーザインタフェースも、眼鏡型及び／または頭部搭載型ディスプレイデバイスで実施されてもよい。そういったデバイスを用いて、ユーザは、レンズ７２０を通して直接実世界７１０の場面をデバイスで見てもよく、コンピュータ生成画像７２２を、実世界場面の視界に直接オーバーレイするといった方法でレンズ及び／または着用者の目に投影し、図７に示すような組み合わせた視界を作成してもよい。オーバーレイ画像７２２は、タグ付け用に選択されたか選択可能な物体を表示し、及び／または、本明細書で説明するようにタグ付き物体を識別してもよい。ユーザによる物体選択を、視線検知及び／または音声コマンド認識を介して検出してもよい。いくつかの実施形態において、物体は、デバイスのタッチパッドを通して選択されてもよい。例えば、ユーザはタッチパッド上でスライドさせて、デバイスのレンズを通して見える選択可能物体を「スクロール」してもよい。いくつかの実施形態において、発話コマンドが頭部搭載型ディスプレイのマイクで受け付けられることで、ユーザはテキストコメントまたはオーディオクリップのコンテンツ項目を追加してもよい。いくつかの実施形態において、実世界場面の視界内でジェスチャーし、それをデバイスのカメラで撮影され解釈して、選択することもできる。図７は１つのレンズのフレームのみを示しているが、レンズが２つある頭部搭載型デバイスにも同じ原理が適用されることは理解される。
【００４６】
図８は、本発明のいくつかの実施形態による、本明細書で示し説明した方法及び技術のいずれかの起動、実施及び／または実行に用いられてもよいシステムを表したブロック図である。システム８００は、ユーザデバイス８１０、８２０及び８３０、ＡＲサーバ８４０、ならびに、第三者／ソーシャルネットワークサーバ８７０を備え、ネットワーク８０５を介して通信する。
【００４７】
ユーザデバイス８１０は、スマートフォン、タブレットコンピュータ、携帯型コンピュータもしくはデバイス、パッド状デバイス、頭部搭載型ディスプレイ、及び／またはウェアラブルデバイスなど、任意の携帯型ユーザデバイスであってもよい。ユーザデバイス８１０は、プロセッサ８１１、メモリ８１２、ネットワークインタフェース８１３、カメラ８１４、ディスプレイ８１５、その他１以上の入／出力デバイス８１６、及び、ＧＰＳレシーバ８１７を備えてもよい。プロセッサ８１１は、メモリ８１２に保存されたコンピュータ読取可能命令を実行し、図２〜３を参考に説明した方法の１以上のステップを容易にするよう構成される。メモリ８１２は、ＲＡＭ及び／またはハードドライブメモリデバイスを備えてもよい。ネットワークインタフェース８１３は、ネットワーク８０５を介して少なくともＡＲサーバ８４０とのデータの送受信をするよう構成される。カメラ８１４は、任意の撮像デバイスであってもよい。ディスプレイ８１５は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、反射型液晶パネル（ＬＣｏＳ）ディスプレイ、ＬＥＤ照明ディスプレイなどであってもよい。いくつかの実施形態において、ディスプレイ８１５は、ユーザから入力を受けるよう構成されたタッチディスプレイである。いくつかの実施形態において、ディスプレイ８１５は、レンズにまたは着用者の目に画像を投影する頭部搭載型ディスプレイである。ディスプレイを使って、上の図１〜７を参考に説明した様々なユーザインタフェースを表示してもよい。ＧＰＳレシーバ８１７は、ＧＰＳ信号を検出し座標を判断するよう構成されてもよい。判断されたＧＰＳ座標をシステム８００が用いて、デバイス、画像及び／または物体の位置を判断し得る。さらに、ユーザデバイス８１０は、マイク、スピーカ、チルトセンサ、コンパス、ＵＳＢポート、二次カメラ、グラフィックプロセッサなど、その他入／出力デバイス８１６を備えてもよい。入／出力デバイス８１６を用いて、コンテンツ項目を入力再生してもよい。いくつかの実施形態において、システムはチルトセンサ及びコンパスを使って、画像認識の他に、実世界場面の画像を介してコンピュータ作成グラフィックをより正確に配置する。
【００４８】
ユーザデバイス８２０及び８３０は、ユーザデバイス８１０と類似のユーザデバイスで、１以上の他のユーザに操作されてＡＲストーリテリングシステム８００にアクセスしてもよい。図８では３台のユーザデバイスが表示されているが、システム８００が任意の数のユーザ及びユーザデバイスによりアクセスされてもよいことが理解される。
【００４９】
ＡＲサーバ８４０は、プロセッサ８４２、メモリ８４１、及びネットワークインタフェース８４４を備える。プロセッサ８４２は、メモリ８４１に保存されたコンピュータ読取可能命令を実行し、図２〜３を参考に本明細書で説明した１以上のステップを実施するよう構成される。ＡＲサーバ８４０は、物体データベース８６０及びコンテンツ項目データベース８５０の１以上に接続されるか、１以上を備えてもよい。コンテンツ項目データベース８５０は、タグ付き実世界物体、各物体にタグ付けされたコンテンツ項目（複数可）、ならびに、コンテンツ項目及び／またはタグ付き物体に関連付けられた共有化設定のそれぞれに関する情報を保存してもよい。いくつかの実施形態において、図２のステップ２５０の実施では、コンテンツ項目データベース８５０に情報を保存する。物体データベース８６０は、本システムの物体認識アルゴリズムで使用する既知の物体についてのデータベースを備え、１以上の実世界物体及びその属性を識別してもよい。いくつかの実施形態において、ユーザデバイス８１０のカメラ８１４により撮影された実世界物体の画像は、物体データベース８６０にある物体の１以上の画像と比較される。一致するものがある場合、物体データベース８６０は物体名、物体タイプ、物体モデルなどの物体に関する情報をさらに提供してもよい。
【００５０】
いくつかの実施形態において、物体データベース８６０及びコンテンツ項目データベース８５０の１以上はＡＲサーバ８４０の一部であってもよい。いくつかの実施形態において、物体データベース８６０及びコンテンツ項目データベース８５０を、１つのデータベースとして実施してもよい。いくつかの実施形態において、また、ＡＲサーバ８４０は、物体データベース８６０及びコンテンツ項目データベース８５０の１以上とネットワーク８０５を介して通信する。いくつかの実施形態において、物体データベース８６０は、第三者により維持及び制御されてもよい。
【００５１】
いくつかの実施形態において、物体データベース８６０は、ユーザにより提供された画像及び属性を受信し、ユーザにより提供された情報をデータベースに追加することで、新規の物体を「学習」してもよい。例えば、ユーザが車を撮影し、そのメーカ及び型式を入力すると、物体データベースは以後同じ車の別の画像を認識でき、そのメーカ及び型式の情報を提供できるようしてもよい。ＡＲサーバ８４０を１台しか表示していないが、ＡＲサーバ８４０、物体データベース８６０、及びコンテンツ項目データベース８５０がネットワークを通して接続された１台以上の物理デバイスで実施されてもよいことが理解される。
【００５２】
ソーシャルネットワークサーバ８７０は、ユーザが互いに接続してソーシャルネットワーク及びグループを構築するソーシャルネットワーク機能を提供する。ソーシャルネットワークサーバ８７０は、ＡＲサーバ８４０または第三者サーバの一部であってもよい。ソーシャルネットワークサービスに構築されたコネクション及びグループを用いて、本明細書で説明した共有化設定を構成してもよい。例えば、作者の「友達」のみと共有されるようコンテンツ項目を構成する場合、ＡＲサーバ８４０は、二人のユーザ間のソーシャルネットワークステータスについてソーシャルネットワークサーバ８７０に問合せし、コンテンツ項目を第二ユーザに提供すべきかどうかを判断してもよい。いくつかの実施形態において、ユーザが共有化設定を構成する際、情報がソーシャルネットワークサーバ８７０から検索され、ユーザは自身の友達及び／またはソーシャルグループ間を選択し、コンテンツ項目を共有できるようにする。
【００５３】
いくつかの実施形態において、上記の実施形態、方法、アプローチ、及び／または技術うちの１以上を、プロセッサベース装置またはシステムにより実行可能な１以上のコンピュータプログラムまたはソフトウェアアプリケーションで実施してもよい。例えば、そういったプロセッサベースシステムは、プロセッサベース装置もしくはシステム８００、または、コンピュータ、エンターテイメントシステム、ゲームコンソール機、グラフィックワークステーション、サーバ、クライアント、携帯デバイス、パッド状デバイスなどを備えてもよい。そういったコンピュータプログラムは（複数可）、上記の方法及び／または技術の多様なステップ及び／または特徴の実行に使用されてもよい。つまり、コンピュータプログラム（複数可）を適合させて、プロセッサベース装置またはシステムに上記機能を実行させ実現可能にさせるか、上記機能を実行し実現可能にするようプロセッサベース装置またはシステムを構成してもよい。例えば、そういったコンピュータプログラム（複数可）は、上記方法、ステップ、技術または特徴のいずれかの実施形態の実施に用いられてもよい。別の実施例として、そういったコンピュータプログラム（複数可）は、上記の実施形態、方法、アプローチ、及び／または技術のいずれか１つまたは複数を使用する任意のタイプのツールまたは同様のユーティリティの実施に使用されてもよい。いくつかの実施形態において、コンピュータプログラム（複数可）内の、あるいはコンピュータプログラム（複数可）を用いないプログラムコードマクロ、モジュール、ループ、サブルーチン、コールなどは、上記の方法及び／または技術の多様なステップ及び／または特徴の実行に使用されてもよい。いくつかの実施形態において、コンピュータプログラム（複数可）は、本明細書で説明したコンピュータ読取可能記憶装置または記憶媒体などのコンピュータ読取可能記憶装置または記憶媒体に保存されるか埋め込まれてもよい。
【００５４】
そのため、いくつかの実施形態において、本発明はコンピュータプログラムプロダクツを提供し、当該コンピュータプログラムプロダクツは、コンピュータに入力するコンピュータプログラムを具現化する媒体、及び、本明細書で説明した実施形態、方法、アプローチ及び／または技術のうちいずれか１以上のいずれか１以上のステップを備えるステップをコンピュータに実施または実行させる、媒体に具現化されたコンピュータプログラムを備える。例えば、いくつかの実施形態において、本発明は、プロセッサベース装置またはシステムにステップを実行させるよう適合された１以上のコンピュータプログラムを備える１以上の非一時的なコンピュータ読取可能記憶媒体を提供し、当該ステップでは、ユーザデバイスのカメラで見られる場面の実世界物体を識別し、コンテンツ項目にタグ付けされたタグ付き物体の共有化設定及び画像認識の少なくとも一部に基づき、実世界物体をタグ付き物体にマッチンングさせ、コンテンツ項目が実世界物体と関連付けられていることをユーザデバイスのユーザに通知し、ユーザからコンテンツ項目のリクエストを受信し、ユーザにコンテンツ項目を提供する。別の実施例では、いくつかの実施形態において、本発明は、プロセッサベース装置またはシステムにステップを実行させるよう適合された１以上のコンピュータプログラムを保存している１以上の非一時的コンピュータ読取可能記憶媒体を提供し、ステップは、第一ユーザデバイスのカメラで見られる通りの実世界物体の選択をユーザから受信すること、実世界物体にタグ付けするコンテンツ項目を受信すること、カメラで実世界物体の１以上の画像を撮影すること、実世界物体の画像のみに、または、１以上の共通属性を実世界物体と共有する任意の物体の画像に、実世界物体をマッチングさせるかを含む共有化設定をユーザから受信し、実世界物体とマッチングする物体を見る第二ユーザデバイスにより検索されるよう構成されたコンテンツ項目、実世界物体の１以上の画像、及び共有化設定をサーバに保存することとを備える。
【００５５】
本明細書で開示した発明を特定の実施形態及びその適用を用いて説明してきたが、当業者であれば、本請求項に定める本発明の範囲から逸脱する事無く、多数の変更及び変形が可能であろう。
【図１】
0006410930.tif 000002
【図２】
0006410930.tif 000003
【図３】
0006410930.tif 000004
【図４】
0006410930.tif 000005
【図５】
0006410930.tif 000006
【図６】
0006410930.tif 000007
【図７】
0006410930.tif 000008
【図８】
0006410930.tif 000009