(57)【要約】  本発明のいくつかの態様によれば、拡張現実サービスを提供するための方法が提示される。本方法は、（ａ）カメラを介して画像を受け取るステップと、（ｂ）画像マッチングサーバにおいて入力画像上で画像マッチング操作を実行するステップと、（ｃ）画像が、予め格納された画像のうちの特定画像に一致する場合に、画像が、画像マッチングの結果を使用して拡張現実として実現できるか否かをＡＰＩサーバによって判定するステップと、（ｄ）画像が、拡張現実として実現できると判定された場合に、ＡＲコンテンツサーバによって、拡張現実シナリオを実現するための拡張現実コンテンツを提供するステップと、（ｅ）端末によって、拡張現実コンテンツを使用して拡張現実を実現するステップと、を含む。カメラを介して入力された各種の画像が、端末の限定されたメモリ空間において拡張現実を実現するために必要なデータを格納せずに、拡張現実を実現する前に画像マッチング技術を適用することによって、対応する画像を拡張現実内で実現するために必要なデータのみをサーバから受信することによって、拡張現実として実現することができる。
2015520889.tif 000002
【特許請求の範囲】
【請求項１】
アプリケーション・プログラミング・インターフェイス（ＡＰＩ）サーバを使用して拡張現実サービスを提供するための方法であって、当該方法は：
端末のカメラを介して入力された画像が、ターゲットとなる入力画像上で画像マッチング操作を実行した結果として、予め格納された画像のうちの特定画像に一致すると判定された場合に、ＡＰＩサーバによって、入力画像に関連するコンテンツが、ＡＰＩサーバによって受信されたマッチング結果に基づいて、拡張現実として表示すべきと決定されたか否かを判定するステップと；
入力画像に関連するコンテンツが、拡張現実として表示すべきと決定された場合に、ＡＰＩサーバによって、拡張現実シナリオを実現するための拡張現実コンテンツを提供するように拡張現実（ＡＲ）コンテンツサーバに直接的に要求する、又はＡＰＩサーバによって、端末を経由して拡張現実シナリオを実現するための拡張現実コンテンツを提供するようにＡＲコンテンツサーバに要求するステップと；を含む、
方法。
【請求項２】
拡張現実（ＡＲ）コンテンツサーバを使用して拡張現実サービスを提供するための方法であって、当該方法は：
画像マッチング操作が、端末のカメラを介して入力されたターゲットとなる画像上で実行され且つ入力画像が、予め格納された画像のうちの特定画像に一致すると判定された場合に、及び、入力画像に関連するコンテンツが、ＡＰＩサーバによって受信されたマッチング結果に基づいて、拡張現実として表示すべきと決定されたか否かをＡＰＩサーバが判定するとともに、入力画像に関連するコンテンツが、拡張現実として表示すべきと判定した場合に、ＡＲコンテンツサーバによって、ＡＰＩサーバから拡張現実シナリオを直接的に実現するための拡張現実コンテンツを提供する要求を受信する、又はＡＲコンテンツサーバによって、端末を経由してＡＰＩサーバから拡張現実シナリオを実現するための拡張現実コンテンツを提供する要求を受信するステップと；
ＡＲコンテンツサーバによって、拡張現実コンテンツを端末に送信するステップと；を含む、
方法。
【請求項３】
第１の拡張現実サービス提供サーバを使用して拡張現実サービスを提供するための方法であって、当該方法は：
第１の拡張現実サービス提供サーバが、端末のカメラを介して入力されたターゲットとなる画像上で画像マッチング操作を実行するとともに、入力画像が、第１の拡張現実サービス提供サーバに予め格納された画像のうちの特定画像に一致すると判定した場合に、第１の拡張現実サービス提供サーバによって、入力画像に関連するコンテンツが、マッチング結果に基づいて、拡張現実として表示すべきと決定されたか否かを判定するステップと；
入力画像に関連するコンテンツが、拡張現実として表示すべきと第１の拡張現実サービス提供サーバが判定した場合に、第１の拡張現実サービス提供サーバによって、拡張現実シナリオを実現するための拡張現実コンテンツを提供するようにＡＲコンテンツサーバに直接的に要求する、又は第１の拡張現実サービス提供サーバによって、端末を経由して拡張現実シナリオを実現するための拡張現実コンテンツを提供するようにＡＲコンテンツサーバに要求するステップと；を含む、
方法。
【請求項４】
第２の拡張現実サービス提供サーバを使用して拡張現実サービスを提供するための方法であって、当該方法は：
端末のカメラを介して入力された画像が、ターゲットとなる入力画像上で画像マッチング操作を実行した結果として、予め格納された画像のうちの特定画像に一致すると第２の拡張現実サービス提供サーバが判定した場合に、第２の拡張現実サービス提供サーバによって、入力画像に関連するコンテンツが、第２の拡張現実サービス提供サーバによって受信されたマッチング結果に基づいて、拡張現実として表示すべきと決定されたか否かを判定するステップと；
入力画像に関連するコンテンツが、拡張現実として表示すべきと第２の拡張現実サービス提供サーバが判定した場合に、第２の拡張現実サービス提供サーバによって、拡張現実シナリオを実現するための拡張現実コンテンツを端末に送信するステップであって、前記拡張現実コンテンツは、第２の拡張現実サービス提供サーバによって抽出される、送信するステップと；を含む、
方法。
【請求項５】
第３の拡張現実サービス提供サーバを使用して拡張現実サービスを提供するための方法であって、当該方法は：
第３の拡張現実サービス提供サーバが、端末のカメラを介して入力されたターゲットとなる画像上で画像マッチング操作を実行するとともに、入力画像が、第３の拡張現実サービス提供サーバに予め格納された画像のうちの特定画像に一致すると判定した場合に、及び、入力画像に関連するコンテンツが、ＡＰＩサーバによって受信されたマッチング結果に基づいて、拡張現実として表示すべきとＡＰＩサーバが判定した場合に、第３の拡張現実サービス提供サーバによって、ＡＰＩサーバから拡張現実シナリオを直接的に実現するための拡張現実コンテンツを提供する要求を受信するか、又は第３の拡張現実サービス提供サーバによって、端末を経由してＡＰＩサーバから拡張現実シナリオを実現するための拡張現実コンテンツを提供する要求を受信するステップと；
第３の拡張現実サービス提供サーバによって、拡張現実コンテンツを端末に送信するステップと；を含む、
方法。
【請求項６】
第４の拡張現実サービス提供サーバを使用して拡張現実サービスを提供するための方法であって、当該方法は：
第４の拡張現実サービス提供サーバが、端末のカメラを介して入力されたターゲットとなる画像上で画像マッチング操作を実行するとともに、入力画像が、第４の拡張現実サービス提供サーバに予め格納された画像のうちの特定画像に一致すると判定した場合に、第４の拡張現実サービス提供サーバによって、入力画像に関連するコンテンツが、マッチング結果に基づいて、拡張現実として表示すべきと決定されたか否かを判定するステップと；
入力画像に関連するコンテンツが、拡張現実として表示すべきと判定された場合に、第４の拡張現実サービス提供サーバによって、拡張現実シナリオを実現するための拡張現実コンテンツを端末に送信するステップであって、前記拡張現実コンテンツは、第４の拡張現実サービス提供サーバによって抽出される、送信するステップと；を含む、
方法。
【請求項７】
前記画像は、カメラを介して撮影された単一画像又はプレビュー状態の画像入力である、
請求項１乃至６のいずれか一項に記載の方法。
【請求項８】
前記画像が、プレビュー状態の入力であって、前記端末が移動すると、オブジェクトの相対位置が、前記画像上で移動する場合に、前記画像上に実現された３Ｄ画像も移動する、
請求項７に記載の方法。
【請求項９】
前記入力画像の特徴情報が、画像マッチング操作の結果として、予め格納された画像のうちの特定画像の特徴情報と高い類似度を有すると判定された場合に、前記特定画像に割り当てられた識別記号が、画像マッチングの結果として提供される、
請求項１乃至６のいずれか一項に記載の方法。
【請求項１０】
前記識別記号は、インデックス番号である、
請求項９に記載の方法。
【請求項１１】
前記入力画像に関連するコンテンツが拡張現実として表示すべきと決定されたか否かを判定するステップは、前記入力画像に関連するコンテンツが、拡張現実として表示される画像の識別記号を予め格納し、且つ画像マッチング操作の結果として提供される識別記号と予め格納された識別記号とを比較することにより、拡張現実として表示すべきと決定されたか否かを判定するステップを含む、
請求項１乃至６のいずれか一項に記載の方法。
【請求項１２】
前記拡張現実コンテンツは、ＡＲシナリオデータと、追跡可能な画像データ又は対応するデータを使用して形成された特徴量データと、３Ｄオブジェクトデータとを含み、前記追跡可能な画像データ又は対応するデータを使用して形成された特徴量データは、画像マッチング操作により一致すると判定されたターゲットを端末によって追跡するための画像データ又は画像データの特徴情報である、
請求項１乃至６のいずれか一項に記載の方法。
【請求項１３】
前記ＡＰＩサーバは、前記入力画像上のコンテンツが、拡張現実として表示すべき領域に対応するか、又は汎用画像として再生すべき領域に対応するか否かを判定して、対応する領域に関連するコンテンツを出力する、
請求項１，２及び５のいずれか一項に記載の方法。
【請求項１４】
第１の拡張現実サービス提供サーバは、前記入力画像上のコンテンツが、拡張現実として表示すべき領域に対応するか、又は汎用画像として再生すべき領域に対応するか否かを判定して、対応する領域に関連するコンテンツを出力する、
請求項３に記載の方法。
【請求項１５】
第２の拡張現実サービス提供サーバは、前記入力画像上のコンテンツが、拡張現実として表示すべき領域に対応するか、又は汎用画像として再生すべき領域に対応するか否かを判定して、対応する領域に関連するコンテンツを出力する、
請求項４に記載の方法。
【請求項１６】
第４の拡張現実サービス提供サーバは、前記入力画像上のコンテンツが、拡張現実として表示すべき領域に対応するか、又は汎用画像として再生すべき領域に対応するか否かを判定して、対応する領域に関連するコンテンツを出力する、
請求項６に記載の方法。
【請求項１７】
拡張現実サービスを提供するためのＡＰＩサーバであって、当該ＡＰＩサーバは：
端末のカメラを介して入力された画像が、ターゲットとなる入力画像上で画像マッチング操作を実行した結果として、予め格納された画像のうちの特定画像に一致すると判定された場合に、入力画像に関連するコンテンツが、ＡＲ域判定ユニットによって受信されたマッチング結果に基づいて、拡張現実として表示すべきと決定されたか否かを判定するためのＡＲ領域判定ユニットと；
入力画像に関連するコンテンツが、拡張現実として表示すべきと決定された場合に、拡張現実シナリオを実現するための拡張現実コンテンツを提供するようにＡＲコンテンツサーバに直接的に要求する、又は端末を経由して拡張現実シナリオを実現するための拡張現実コンテンツを提供するようにＡＲコンテンツサーバに要求するためのコンテンツ要求ユニットと；を有する、
ＡＰＩサーバ。
【請求項１８】
拡張現実サービスを提供するためのＡＲコンテンツサーバであって、当該ＡＲコンテンツサーバは：
画像マッチング操作が、端末のカメラを介して入力されたターゲットとなる画像上で実行され且つ入力画像が、予め格納された画像のうちの特定画像に一致すると判定された場合に、及び、入力画像に関連するコンテンツが、ＡＰＩサーバによって受信されたマッチング結果に基づいて、拡張現実として表示すべきと決定されたか否かをＡＰＩサーバが判定し且つ入力画像に関連するコンテンツが、拡張現実として表示すべきと決定されと判定された場合に、ＡＰＩサーバから拡張現実シナリオを直接的に実現するための拡張現実コンテンツを提供する要求を受信する、又は端末を経由してＡＰＩサーバから拡張現実シナリオを実現するための拡張現実コンテンツを提供する要求を受信するためのコンテンツ要求受信ユニットと；
拡張現実コンテンツを端末に送信するためのコンテンツ提供ユニットと；を有する、
ＡＲコンテンツサーバ。
【請求項１９】
拡張現実サービスを提供するための第１の拡張現実サービス提供サーバであって、当該第１の拡張現実サービス提供サーバは：
画像マッチング操作が、端末のカメラを介して入力されたターゲットとなる画像上で実行され、且つ入力画像が、予め格納された画像のうちの特定画像に一致すると判定された場合に、入力画像に関連するコンテンツが、マッチング結果に基づいて、拡張現実として表示すべきと決定されたか否かを判定するためのＡＲ領域判定ユニットと；
入力画像に関連するコンテンツが、拡張現実として表示すべきと判定された場合に、拡張現実シナリオを実現するための拡張現実コンテンツを提供するようにＡＲコンテンツサーバに直接的に要求する、又は端末を経由して拡張現実シナリオを実現するための拡張現実コンテンツを提供するようにＡＲコンテンツサーバに要求するためのコンテンツ要求ユニットと；を有する、
第１の拡張現実サービス提供サーバ。
【請求項２０】
拡張現実サービスを提供するための第２の拡張現実サービス提供サーバであって、当該第２の拡張現実サービス提供サーバは：
端末のカメラを介して入力された画像が、ターゲットとなる入力画像上で画像マッチング操作を実行した結果として、予め格納された画像のうちの特定画像に一致したと判定された場合に、入力画像に関連するコンテンツが、ＡＲ領域判定ユニットにより受信されたマッチング結果に基づいて、拡張現実として表示すべきと決定されたか否かを判定するためのＡＲ領域判定ユニットと；
入力画像に関連するコンテンツが、拡張現実として表示すべきと判定された場合に、拡張現実シナリオを実現するための拡張現実コンテンツを端末に送信するコンテンツ提供ユニットであって、前記拡張現実コンテンツは、前記コンテンツ提供ユニットによって抽出される、コンテンツ提供ユニットと；を有する、
第２の拡張現実サービス提供サーバ。
【請求項２１】
拡張現実サービスを提供するための第３の拡張現実サービス提供サーバであって、当該第３の拡張現実サービス提供サーバは：
画像マッチング操作が、端末のカメラを介して入力されたターゲットとなる画像上で実行され且つ入力画像が、予め格納された画像のうちの特定画像に一致すると判定された場合に、及び、入力画像に関連するコンテンツが、ＡＰＩサーバによって受信されたマッチング結果に基づいて、拡張現実として表示すべきとＡＰＩサーバが判定した場合に、ＡＰＩサーバから拡張現実シナリオを直接的に実現するための拡張現実コンテンツを提供する要求を受信する、又は端末を経由してＡＰＩサーバから拡張現実シナリオを実現するための拡張現実コンテンツを提供する要求を受信するためのコンテンツ要求受信ユニットと；
拡張現実コンテンツを端末に送信するためのコンテンツ提供ユニットと；を有する、
第３の拡張現実サービス提供サーバ。
【請求項２２】
拡張現実サービスを提供するための第４の拡張現実サービス提供サーバであって、当該第４の拡張現実サービス提供サーバは：
画像マッチング操作が、端末のカメラを介して入力されたターゲットとなる画像上で実行され且つ入力画像が、予め格納された画像のうちの特定画像に一致すると判定された場合に、入力画像に関連するコンテンツが、マッチング結果に基づいて、拡張現実として表示すべきと決定されたか否かを判定するためのＡＲ領域判定ユニットと；
入力画像に関連するコンテンツが、拡張現実として表示すべきと決定された場合に、拡張現実シナリオを実現するための拡張現実コンテンツを端末に送信するためのコンテンツ提供ユニットであって、前記拡張現実コンテンツは、前記コンテンツ提供ユニットによって抽出される、コンテンツ提供ユニットと；を有する、
第４の拡張現実サービス提供サーバ。
【請求項２３】
前記画像は、カメラを介して撮影された単一画像又はプレビュー状態の画像入力である、
請求項１７乃至２２のいずれか一項に記載のサーバ。
【請求項２４】
前記画像が、プレビュー状態の入力であって、前記端末が移動すると、オブジェクトの相対位置が、前記画像上を移動する場合に、前記画像上に実現された３Ｄ画像も移動する、
請求項２３に記載のサーバ。
【請求項２５】
前記入力画像の特徴情報が、画像マッチング操作の結果として、予め格納された画像のうちの特定画像の特徴情報と高い類似度を有すると判定された場合に、前記特定画像に割り当てられた識別記号が、画像マッチングの結果として提供される、
請求項１７乃至２２のいずれか一項に記載のサーバ。
【請求項２６】
前記識別記号は、インデックス番号である、
請求項２５に記載のサーバ。
【請求項２７】
前記拡張現実コンテンツは、ＡＲシナリオデータと、追跡可能な画像データ又は対応するデータを使用して形成された特徴量データと、３Ｄオブジェクトデータとを含み、前記追跡可能な画像データ又は対応するデータを使用して形成された特徴量データは、画像マッチング操作により一致すると判定されたターゲットを端末によって追跡するための画像データ又は画像データの特徴情報である、
請求項１７乃至２２のいずれか一項に記載のサーバ。
【請求項２８】
前記ＡＰＩサーバは、前記入力画像上のコンテンツが、拡張現実として表示すべき領域に対応するか、又は汎用画像として再生すべき領域に対応するか否かを判定して、対応する領域に関連するコンテンツを出力する、
請求項１７，１８及び２１のいずれか一項に記載のサーバ。
【請求項２９】
第１の拡張現実サービス提供サーバは、前記入力画像上のコンテンツが、拡張現実として表示すべき領域に対応するか、又は汎用画像として再生すべき領域に対応するか否かを判定して、対応する領域に関連するコンテンツを出力する、
請求項１９に記載のサーバ。
【請求項３０】
第２の拡張現実サービス提供サーバは、前記入力画像上のコンテンツが、拡張現実として表示すべき領域に対応するか、又は汎用画像として再生すべき領域に対応するか否かを判定して、対応する領域に関連するコンテンツを出力する、
請求項２０に記載のサーバ。
【請求項３１】
第４の拡張現実サービス提供サーバは、前記入力画像上のコンテンツが、拡張現実として表示すべき領域に対応するか、又は汎用画像として再生すべき領域に対応するか否かを判定して、対応する領域に関連するコンテンツを出力する、
請求項２２に記載のサーバ。
【請求項３２】
前記画像マッチング操作は、端末又は別個の画像マッチングサーバにおいて実行される、
請求項１，２及び４のいずれか一項に記載の方法。
【請求項３３】
前記画像マッチング操作は、端末又は別個の画像マッチングサーバにおいて実行される、
請求項１７，１８及び２０のいずれか一項に記載のサーバ。
【請求項３４】
請求項１乃至６のいずれか一項に記載の方法を実行させるためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、拡張現実サービスを提供するための方法、サーバ、コンピュータ読み取り可能な記録媒体に関し、より具体的には、限定されたメモリ空間に制限されることなく、画像マッチング技術を用いて、入力画像上のコンテンツが、拡張現実として表示すべき領域に対応するか、又は動画像等として再生すべき領域に対応するか否かを判定して対応する領域に関連するコンテンツを出力するような、拡張現実サービスを提供することができる拡張現実サービスを提供するための方法、サーバ、コンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
拡張現実（ＡＲ）は、ユーザの目に映る現実の世界と追加情報を含む仮想世界とを組み合わせて、１つの画像として結合された世界を示すような仮想現実（バーチャルリアリティ）の一種である。このような拡張現実は、仮想現実に部分的に似ているが、仮想現実は、仮想空間とオブジェクトのみをユーザに提供するのに対し、拡張現実は、現実世界のインプットを基に仮想情報を合成して、現実世界だけでは取得するには困難な、追加情報によって補強された合成情報を提供する。完璧な仮想世界に基づく仮想現実とは異なり、拡張現実は、現実世界の環境に仮想オブジェクトを追加することによって、より鮮明な現実の感覚をユーザに提供することができる。拡張現実サービスの研究及び開発は、１９９０年代後半から、米国と日本とで進展し始め、最近では、種々の拡張現実サービスが、携帯電話、パーソナル・デジタル・アシスタント（ＰＤＡ）、ウルトラモバイル・パーソナルコンピュータ（ＵＭＰＣ）等のモバイル機器の演算機能の改善によって提供されており、及び無線ネットワーク機器において進化している。例えば、現実環境内の物体は、携帯電話のカメラを介して撮影することができ、この物体に関連する属性情報は、仮想的に形成され、画面上に出力すべき現実環境の物体と組み合わせることができる。
【０００３】
このような拡張現実サービスを提供するための従来技術の例は、２０１２年１月１０日に公開された韓国特許公開公報第１０−２０１２−０００３３２３号に、「拡張現実を利用して情報を表示する移動端末及び方法(Mobile terminal and method of displaying information using
augmented reality thereof)」という表題で公開されている。拡張現実に提供されたオブジェクトに関する情報が、端末の限定されたメモリに格納され、且つ拡張現実は、この情報を使用して従来の拡張現実サービス等を提供するように実現されるので、拡張現実で実現可能な画像の量が限定されるという問題が存在する。さらに、ある領域が拡張現実として実現することが必要か否かを単に判定するのみで、様々な種類のコンテンツを再現することは困難であるという問題も存在する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、上述したすべての問題を解決することである。
また、本発明の別の目的は、画像マッチング技術を用いて、対応する画像を拡張現実として実現するために必要なデータをサーバから受信することによって、各種の画像を拡張現実として実現すること、及び端末の限定されたメモリ空間で拡張現実を実現するために必要なデータを格納することなく、拡張現実を実現することができるような、拡張現実サービス、サーバ、コンピュータ読み取り可能な記録媒体を提供するための方法を提示することである。
【０００５】
また、本発明のさらなる目的は、入力画像上のコンテンツが、拡張現実として表示すべき領域に対応するか、又は汎用画像等として再生すべき領域に対応するか否かを判定して、対応する領域に関連するコンテンツを出力するような、拡張現実サービス、サーバ、コンピュータ読み取り可能な記録媒体を提供するための方法を提示することである。
【課題を解決するための手段】
【０００６】
上述した目的を達成するための本発明の代表的な構成は、次の通りである。
本発明のいくつかの態様によれば、アプリケーション・プログラミング・インターフェイス（ＡＰＩ）サーバを使用して拡張現実サービスを提供するための方法が提示される。当該方法は：
端末のカメラを介して入力された画像が、画像マッチングサーバによって、ターゲットとなる入力画像上で画像マッチング操作を実行した結果として、画像マッチングサーバに予め格納された画像のうちの特定画像に一致すると判定された場合に、ＡＰＩサーバによって、入力画像に関連するコンテンツが、ＡＰＩサーバによって受信されたマッチング結果に基づいて、拡張現実として表示すべき決定されたか否かを判定するステップと；
入力画像に関連するコンテンツが、拡張現実として表示すべきと決定された場合に、ＡＰＩサーバによって、拡張現実シナリオを実現するための拡張現実コンテンツを提供するように拡張現実（ＡＲ）コンテンツサーバに直接的に要求する、又はＡＰＩサーバによって、端末を経由して拡張現実シナリオを実現するための拡張現実コンテンツを提供するようにＡＲコンテンツサーバに要求するステップと；を含む。
【０００７】
本発明のいくつかの他の態様によれば、ＡＲコンテンツサーバを使用して拡張現実サービスを提供するための方法が提示される。当該方法は：
画像マッチング操作が、画像マッチングサーバによって、端末のカメラを介して入力されたターゲットとなる画像上で実行され且つ入力画像が、画像マッチングサーバに予め格納された画像のうちの特定画像に一致すると判定された場合に、及び、入力画像に関連するコンテンツが、ＡＰＩサーバによって受信されたマッチング結果に基づいて、拡張現実として表示すべきと決定されたか否かをＡＰＩサーバが判定するとともに、入力画像に関連するコンテンツが、拡張現実として表示すべきと決定されたか否かを判定した場合に、ＡＲコンテンツサーバによって、ＡＰＩサーバから拡張現実シナリオを直接的に実現するための拡張現実コンテンツを提供する要求を受信する、又はＡＲコンテンツサーバによって、端末を経由してＡＰＩサーバから拡張現実シナリオを実現するための拡張現実コンテンツを提供する要求を受信するステップと；
ＡＲコンテンツサーバによって、拡張現実コンテンツを端末に送信するステップと；を含む。
【０００８】
本発明のさらなる態様によれば、第１の拡張現実サービス提供サーバを使用して拡張現実サービスを提供するための方法が提示される。当該方法は：
第１の拡張現実サービス提供サーバが、端末のカメラを介して入力されたターゲットとなる画像上で画像マッチング操作を実行するとともに、入力画像が、第１の拡張現実サービス提供サーバに予め格納された画像のうちの特定画像に一致すると判定した場合に、第１の拡張現実サービス提供サーバによって、入力画像に関連するコンテンツが、マッチング結果に基づいて、拡張現実として表示すべきと決定されたか否かを判定するステップと；
入力画像に関連するコンテンツが、拡張現実として表示すべきと第１の拡張現実サービス提供サーバが判定した場合に、第１の拡張現実サービス提供サーバによって、拡張現実シナリオを実現するための拡張現実コンテンツを提供するようにＡＲコンテンツサーバに直接的に要求する、又は第１の拡張現実サービス提供サーバによって、端末を経由して拡張現実シナリオを実現するための拡張現実コンテンツを提供するようにＡＲコンテンツサーバに要求するステップと；を含む。
【０００９】
本発明のさらなる態様によれば、第２の拡張現実サービス提供サーバを使用して拡張現実サービスを提供するための方法が提示される。当該方法は：
端末のカメラを介して入力された画像が、画像マッチングサーバによって、ターゲットとなる入力画像上で画像マッチング操作を実行した結果として、画像マッチングサーバに予め格納された画像のうちの特定画像に一致すると第２の拡張現実サービス提供サーバが判定した場合に、第２の拡張現実サービス提供サーバによって、入力画像に関連するコンテンツが、第２の拡張現実サービス提供サーバによって受信されたマッチング結果に基づいて、拡張現実として表示すべきと決定されたか否かを判定するステップと；
入力画像に関連するコンテンツが、拡張現実として表示すべきと第２の拡張現実サービス提供サーバが判定した場合に、第２の拡張現実サービス提供サーバによって、拡張現実シナリオを実現するための拡張現実コンテンツを端末に送信するステップであって、拡張現実コンテンツは、第２の拡張現実サービス提供サーバによって抽出される、送信するステップと；を含む。
【００１０】
本発明のさらなる態様によれば、第３の拡張現実サービス提供サーバを使用して拡張現実サービスを提供するための方法が提示される。当該方法は：
第３の拡張現実サービス提供サーバが、端末のカメラを介して入力されたターゲットとなる画像上で画像マッチング操作を実行するとともに、入力画像が、第３の拡張現実サービス提供サーバに予め格納された画像のうちの特定画像に一致すると判定した場合に、及び、入力画像に関連するコンテンツが、ＡＰＩサーバによって受信されたマッチング結果に基づいて、拡張現実として表示すべきとＡＰＩサーバが判定した場合に、第３の拡張現実サービス提供サーバによって、ＡＰＩサーバから拡張現実シナリオを直接的に実現するための拡張現実コンテンツを提供する要求を受信するか、又は第３の拡張現実サービス提供サーバによって、端末を経由してＡＰＩサーバから拡張現実シナリオを実現するための拡張現実コンテンツを提供する要求を受信するステップと；
第３の拡張現実サービス提供サーバによって、拡張現実コンテンツを端末に送信するステップと；を含む。
【００１１】
本発明のさらなる態様によれば、第４の拡張現実サービス提供サーバを使用して拡張現実サービスを提供するための方法が提示される。当該方法は：
第４の拡張現実サービス提供サーバが、端末のカメラを介して入力されたターゲットとなる画像上に画像マッチング操作を実行するとともに、入力画像が、第４の拡張現実サービス提供サーバに予め格納された画像のうちの特定画像に一致すると判定した場合に、第４の拡張現実サービス提供サーバによって、入力画像に関連するコンテンツが、マッチング結果に基づいて、拡張現実として表示すべきと決定されたか否かを判定するステップと；
入力画像に関連するコンテンツが、拡張現実として表示すべきと決定された場合に、第４の拡張現実サービス提供サーバによって、拡張現実シナリオを実現するための拡張現実コンテンツを端末に送信するステップであって、拡張現実コンテンツは、第４の拡張現実サービス提供サーバによって抽出される、送信するステップと；を含む。
【００１２】
本発明のさらなる態様によれば、拡張現実サービスを提供するためのＡＰＩサーバが提供される。当該ＡＰＩサーバは：
端末のカメラを介して入力された画像が、画像マッチングサーバによって、ターゲットとなる入力画像上で画像マッチング操作を実行した結果として、画像マッチングサーバに予め格納された画像のうちの特定画像に一致すると判定された場合に、入力画像に関連するコンテンツが、ＡＲ領域判定ユニットによって受信されたマッチング結果に基づいて、拡張現実として表示すべきと決定されたか否かを判定するためのＡＲ領域判定ユニットと；
入力画像に関連するコンテンツが、拡張現実として表示すべきと決定された場合に、拡張現実シナリオを実現するための拡張現実コンテンツを提供するようにＡＲコンテンツサーバに直接的に要求する、又は端末を経由して拡張現実シナリオを実現するための拡張現実コンテンツを提供するようにＡＲコンテンツサーバに要求するためのコンテンツ要求ユニットと；を有する。
【００１３】
本発明のさらに別の態様によれば、拡張現実サービスを提供するためのＡＲコンテンツサーバが提供される。当該ＡＲコンテンツサーバは：
画像マッチング操作が、画像マッチングサーバによって、端末のカメラを介して入力されたターゲットとなる画像上で実行され且つ入力画像が、画像マッチングサーバに予め格納された画像のうちの特定画像に一致すると判定された場合に、及び、入力画像に関連するコンテンツが、ＡＰＩサーバによって受信されたマッチング結果に基づいて、拡張現実として表示すべきと決定されたか否かをＡＰＩサーバが判定し且つ入力画像に関連するコンテンツが、拡張現実として表示すべきと判定された場合に、ＡＰＩサーバから拡張現実シナリオを直接的に実現するための拡張現実コンテンツを提供する要求を受信する、又は端末を経由してＡＰＩサーバから拡張現実シナリオを実現するための拡張現実コンテンツを提供する要求を受信するためのコンテンツ要求受信ユニットと；
拡張現実コンテンツを端末に送信するためのコンテンツ提供ユニットと；を有する。
【００１４】
本発明のさらに別の態様によれば、拡張現実サービスを提供するための第１の拡張現実サービス提供サーバが提供される。当該第１の拡張現実サービス提供サーバは：
画像マッチング操作が、端末のカメラを介して入力されたターゲットとなる画像上で実行され、且つ入力画像が、予め格納された画像のうちの特定画像に一致すると判定された場合に、入力画像に関連するコンテンツが、マッチング結果に基づいて、拡張現実として表示すべきと決定されたか否かを判定するためのＡＲ領域判定ユニットと；
入力画像に関連するコンテンツが、拡張現実として表示すべきと判定された場合に、拡張現実シナリオを実現するための拡張現実コンテンツを提供するようにＡＲコンテンツサーバに直接的に要求する、又は端末を介して拡張現実シナリオを実現するための拡張現実コンテンツを提供するようにＡＲコンテンツサーバに要求するためのコンテンツ要求ユニットと；を有する。
【００１５】
本発明のさらに別の態様によれば、拡張現実サービスを提供するための第２の拡張現実サービス提供サーバが提供される。当該第２の拡張電実サービス提供サーバは：
端末のカメラを介して入力された画像が、画像マッチングサーバによって、ターゲットとなる入力画像上で画像マッチング操作を実行した結果として、画像マッチングサーバに予め格納された画像のうちの特定画像に一致すると判定された場合に、入力画像に関連するコンテンツが、ＡＲ領域判定ユニットにより受信されたマッチング結果に基づいて、拡張現実として表示すべきと決定されたか否かを判定するためＡＲ領域判定ユニットと；
入力画像に関連するコンテンツが、拡張現実として表示すべきと判定された場合に、拡張現実シナリオを実現するための拡張現実コンテンツを端末に送信するコンテンツ提供ユニットであって、拡張現実コンテンツは、コンテンツ提供ユニットによって抽出される、コンテンツ提供ユニットと；を有する。
【００１６】
本発明のさらに別の態様によれば、拡張現実サービスを提供するための第３の拡張現実サービス提供サーバが提供される。当該第３の拡張現実サービス提供ユニットは：
画像マッチング操作が、端末のカメラを介して入力されたターゲットとなる画像上で実行され且つ入力画像が、予め格納された画像のうちの特定画像に一致すると判定された場合に、及び、入力画像に関連するコンテンツが、ＡＰＩサーバによって受信されたマッチング結果に基づいて、拡張現実として表示すべきとＡＰＩサーバが判定した場合に、ＡＰＩサーバから拡張現実シナリオを直接的に実現するための拡張現実コンテンツを提供する要求を受信する、又は端末を経由してＡＰＩサーバから拡張現実シナリオを実現するための拡張現実コンテンツを提供する要求を受信するためのコンテンツ要求受信ユニットと；
拡張現実コンテンツを端末に送信するためのコンテンツ提供ユニットと；を有する。
【００１７】
本発明のさらに別の態様によれば、拡張現実サービスを提供するための第４の拡張現実サービス提供サーバが提供される。当該第４の拡張現実サービス提供サーバは：
画像マッチング操作が、端末のカメラを介して入力されたターゲットとなる画像上で実行され且つ入力画像が、予め格納された画像のうちの特定画像に一致すると判定された場合に、入力画像に関連するコンテンツが、マッチング結果に基づいて、拡張現実として表示すべきと決定されたか否かを判定するためのＡＲ領域判定ユニットと；
入力画像に関連するコンテンツが、拡張現実として表示すべきと決定された場合に、拡張現実シナリオを実現するための拡張現実コンテンツを端末に送信するためのコンテンツ提供ユニットであって、拡張現実コンテンツは、コンテンツ提供ユニットによって抽出される、コンテンツ提供ユニットと；を有する。
【発明の効果】
【００１８】
本発明のいくつかの実施形態によれば、画像マッチング技術を使用して、対応する画像を拡張現実として実現するために必要なデータをサーバから受信することによって、各種画像を拡張現実として実現することが可能になり、端末の限定されたメモリ空間に拡張現実を実現するために必要なデータを格納せずに、拡張現実を実現する方法が提供される。
【００１９】
また、本発明のいくつかの実施形態によれば、入力画像上のコンテンツが、拡張現実として表示すべき領域に対応するか、又は汎用画像等として再生すべき領域に対応するか否かを判定して、対応する領域に関連するコンテンツを出力することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態による拡張現実サービス提供システムの構成を概略的に示す図である。
【図２】本発明の一実施形態による拡張現実サービス提供システムにおいて拡張現実サービスを提供するためのデータ送受信手順を示す図である。
【図３】本発明の一実施形態による拡張現実サービス提供システムにおいて拡張現実サービスを提供するためのデータ送受信手順を示す図である。
【図４】本発明の一実施形態による拡張現実サービス提供システムにおいて拡張現実サービスを提供するためのデータ送受信手順を示す図である。
【図５】本発明の一実施形態による拡張現実サービス提供システムにおいて拡張現実サービスを提供するためのデータ送受信手順を示す図である。
【図６】本発明の一実施形態による拡張現実サービス提供システムにおいて拡張現実サービスを提供するためのデータ送受信手順を示す図である。
【発明を実施するための形態】
【００２１】
本発明の以下の詳細な説明において、参照が、本発明を実現するような特定の実施形態を例示として示す添付の図面に対して行われる。これらの実施形態は、当業者が本発明を実施できるように十分詳細に説明される。なお、本発明の様々な実施形態は、異なるものの、必ずしも相互に排他的ではないことを理解すべきである。例えば、本明細書で説明され、一実施形態に関連する特定の特徴、構造、及び特性は、本発明の精神及び範囲から逸脱することなく他の実施形態と一緒に実現されてもよい。加えて、開示された各実施形態内の個々の要素の位置又は配置は、本発明の精神及び範囲から逸脱することなく変更してもよいことを理解すべきである。従って、以下の詳細な説明は、限定的な意味で解釈すべきでなく、本発明の範囲は、特許請求の範囲が請求するものと均等なすべての範囲と一緒に適切に解釈することによって、添付の特許請求の範囲のみによって規定される。図面において、同様の参照符号は、様々な方法を通して、同一又は類似の機能を指す。
以下、本発明の好ましい実施形態を、当業者が本発明を容易に実施できるようにするために、添付図面を参照して詳細に説明する。
【００２２】
第１の実施形態
図１は、本発明の一実施形態による拡張現実サービス提供システムの構成を概略的に示す図である。
図１を参照すると、拡張現実サービス提供システムは、端末１００と、画像マッチングサーバ２００と、アプリケーション・プログラミング・インターフェイス（ＡＰＩ）サーバ３００と、拡張現実（ＡＲ）コンテンツサーバ４００とを含むことができる。
端末１００は、デジタル機器である。任意のポータブルデジタル機器には、メモリ手段が設けられており、且つパーソナルコンピュータ（例えば、タブレットコンピュータ、ラップトップコンピュータ等）、パーソナル・デジタル・アシスタント（ＰＤＡ）、ウェブパッド、携帯電話等の動作機能を有するマイクロプロセッサが備え付けられており、このポータブルデジタル機器は、本発明による端末１００として適合することができる。
【００２３】
端末１００は、カメラと、その内部に自然特徴追跡（ＮＦＴ；natural feature tracking）エンジンとを含むことができる。カメラは、従来の汎用撮像素子で構成されており、例えば、電荷結合素子（ＣＣＤ）を使用してデジタル画像信号を形成するようなデジタルカメラであってもよい。また、ＮＦＴエンジンは、提供されたＡＲコンテンツを使用して、カメラを介して入力された画像上で拡張現実を実現するような機能を実行することができる。
【００２４】
画像マッチングサーバ２００は、カメラを介して入力された画像に関する情報をデータベースに格納された複数の画像のそれぞれの情報と比較して、次に、画像マッチングの結果を出力するような機能を実行する。つまり、カメラを介して入力された画像が、予め格納された画像のうちの少なくとも１つに同一（又は類似）しているか否かが検出され、そして、画像が互いに同一であると判定された場合に比較した画像が一致していることを示す信号、又は画像が互いに異なると判定された場合に比較した画像が一致しないことを示す信号が、画像マッチングの結果として出力される。画像が互いに同一又は類似しているか否かは、それぞれの画像から抽出した特徴情報を互いに比較することによって判定することができる。画像同士の間の類似度が、特徴情報の比較の結果として、等しい又は類似度を示す閾値を超えていると判定された場合に、画像は、互いに同一又は類似していると判定することができる。また、データベースに格納された複数の画像のそれぞれは、識別記号を有してもよく、画像マッチングサーバ２００は、複数の画像のうちの一致した画像の識別記号を、画像が一致したことを示す信号として出力する。識別記号の例として、入力画像が特定人物の画像である場合に、対応する人物の名前等を、識別記号として使用することができる。あるいはまた、画像マッチングサーバ２００は、一致した画像のインデックス番号を出力することができ、このインデックス番号は、ＡＰＩサーバ３００内のメモリ格納空間に一致する番号としてもよい。
【００２５】
本発明者らは、既に、「顔認識方法、装置、及び本方法を実行するためのコンピュータ読み取り可能な記録媒体(Face Recognition Method, Apparatus, and Computer-readable Recording
Medium for executing the method)」という表題の韓国特許出願第１０−２０１１−０１０５５４７号において、入力画像を予め格納された画像に照合（一致）させることにより入力画像を認識するための方法及び装置に関する特許出願を提出しており、この明細書は、本発明に組み込まれる。
【００２６】
ＡＰＩサーバ３００は、識別記号又はインデックス番号に一致する画像に関連するコンテンツが、識別記号又はインデックス番号に基づいて、拡張現実として表示すべきと決定されたか否かを判定する機能を実行し、ここで、識別記号又はインデックス番号は、画像マッチングサーバ２００によって決定される。より詳細には、拡張現実として表示すべきと予想される画像の識別記号又はインデックス番号は、ＡＰＩサーバ３００のメモリに予め格納されており、カメラを介して入力された画像に関連するコンテンツが、画像マッチングサーバ２００により決定された識別記号又はインデックス番号と、ＡＰＩサーバ３００に予め格納された識別記号又はインデックス番号とを比較することによって、拡張現実として表示すべきと予想されるか否かを判定する。また、画像に関連するコンテンツが、拡張現実として表示すべきと予想される場合に、ＡＰＩサーバ３００は、各画像について予想される拡張現実シナリオを実現するために必要なコンテンツを呼び出すための信号を出力する機能を実行する。さらに、ＡＰＩサーバ３００は、入力画像上のコンテンツが、拡張現実として表示すべき領域に対応するか、又は汎用画像として再生すべき領域に対応するか否かを判定して、対応する領域に関連するコンテンツを出力することができる。
【００２７】
ＡＲコンテンツサーバ４００が、ＡＰＩサーバ３００から拡張現実シナリオを直接的に実現するための拡張現実コンテンツを提供するように要求される、又は端末を経由して拡張現実シナリオを実現するための拡張現実コンテンツを提供するように要求される場合に、ＡＲコンテンツサーバ４００は、予め格納された拡張現実コンテンツを提供する機能を実行する。より詳細には、拡張現実シナリオを実行するためのデータである拡張現実コンテンツは、ＡＲシナリオデータ、追跡可能な画像データ又は対応するデータを使用して形成された特徴量データ、及び３Ｄオブジェクトデータを含んでもよく、ＸＭＬ形式で形成してもよい。追跡可能な画像データ又は対応するデータを使用して形成された特徴量データは、画像データ又は端末１００に提供された画像データの特徴情報であり、それによって、端末１００が、画像マッチングサーバ２００によって一致すると判定されたターゲットを追跡する（すなわち、ＮＦＴを実行する）ことができ、及び追跡可能な画像データ又は対応するデータを使用して形成された特徴量データは、画像マッチングサーバ２００によって、画像マッチングのために使用された特徴情報から分離されたデータとすることができる。なお、３Ｄオブジェクトデータは、拡張現実シナリオによるオブジェクトの表面上で３Ｄ画像の画像マッチングを行うために使用されるデータである。
【００２８】
端末１００は、画像マッチングサーバ２００、ＡＰＩサーバ３００、ＡＲコンテンツサーバ４００、及び通信ネットワーク５００を介してデータを送受信することができる。ここで、通信ネットワーク５００は、無線通信方式で構成してもよく、移動体通信ネットワーク、衛星通信ネットワーク等の様々な通信ネットワークを含んでもよい。より詳細には、本発明でいう通信ネットワークは、無線ＬＡＮ（ＷＬＡＮ）、符号分割多元接続（ＣＤＭＡ）、広帯域符号分割多元接続（ＷＣＤＭＡ（登録商標））及びグローバルシステムの移動体通信（ＧＳＭ（登録商標））ネットワーク等の各種の周知の通信ネットワークを含む概念として理解すべきである。
【００２９】
これ以降、拡張現実サービス提供システムにおいて拡張現実サービスを提供するためのデータ送受信手順について説明する。図示しないが、ＡＰＩサーバ３００は、ＡＲ領域判定ユニットと、コンテンツ要求ユニットとを含むことができ、ＡＲコンテンツサーバ４００は、コンテンツ要求受信ユニットと、コンテンツ提供ユニットとを含むことができ、ここで、各ユニットは、以下に説明するような拡張現実サービスを提供するための動作を実行することができる。
【００３０】
図２は、本発明の一実施形態による拡張現実サービス提供システムにおいて拡張現実サービスを提供するためのデータ送受信手順を示す図である。図２を参照すると、端末１００は、内部に形成されたカメラを介して画像を受け取る（Ｓ１００）。入力画像は、カメラを介して撮影された単一画像又はプレビュー状態の画像入力であってもよい。入力画像がプレビュー状態の場合であって、端末が移動すると、オブジェクトの相対位置が画像上を移動する場合に、この画像上に実現された３Ｄ画像も一緒に移動することができる。追跡可能な対応する画像データ又は対応するデータを使用して形成された特徴データが、端末１００に（例えば、ダウンロードの形式で）提供されるので、それによって、端末１００は、上述したように画像マッチングサーバ２００によって一致すると判定されたターゲットを追跡する（すなわち、ＮＦＴを実行する）ことができる。
【００３１】
端末１００は、画像マッチングサーバ２００に画像を送信し（Ｓ１１０）、画像マッチングサーバ２００は、入力画像上で画像マッチング操作を実行する（Ｓ１２０）。上述したような従来の周知の様々な方法を、画像マッチング操作に適用してもよい。画像マッチングが、画像マッチングサーバ２００によって完了され、且つ入力画像の特徴情報が、画像マッチングサーバ２００に予め格納された画像のうちの特定画像の特徴情報と高い類似度を有すると判定された場合に、画像マッチングサーバ２００は、画像マッチングの結果を端末１００に送信する（Ｓ１３０）。
【００３２】
端末１００は、画像マッチングサーバ２００から送信されたマッチング結果をＡＰＩサーバ３００に送信し（Ｓ１４０）、ＡＰＩサーバ３００のＡＲ領域判定ユニットは、カメラを介して入力された画像に関連するコンテンツが、マッチング結果を使用して拡張現実として表示すべきと決定されたか否かを判定する（Ｓ１５０）。マッチング結果として出力された情報は、上述したような識別記号又はインデックス番号であってもよい。ＡＰＩサーバ３００は、カメラを介して入力された画像に関連するコンテンツが、画像マッチングサーバ２００により決定された識別記号又はインデックス番号と、ＡＰＩサーバ３００に予め格納された識別記号又はインデックス番号とを比較することによって、拡張現実として表示すべきと決定されたか否かを判定する。また、ＡＰＩサーバ３００は、入力画像上のコンテンツが、拡張現実として表示すべき領域に対応するか、又は汎用画像として再生すべき領域に対応するか否かを判定して、対応する領域に関連するコンテンツを出力することができる。入力画像に関連するコンテンツが、拡張現実として表示すべきと決定された場合に、ＡＰＩサーバ３００のコンテンツ要求ユニットは、対応する画像について予想される拡張現実シナリオを実現するために必要なコンテンツを呼び出すための信号を端末１００に送信する（Ｓ１６０）。
【００３３】
ＡＰＩサーバ３００から拡張現実シナリオを実現するために必要なコンテンツを呼び出すための信号を受信した端末１００は、拡張現実シナリオを実現するために必要な拡張現実コンテンツを提供するようにＡＲコンテンツサーバ４００に要求する（Ｓ１７０）。当然のことながら、本発明は、この態様に限定されるものではなく、ＡＰＩサーバ３００は、端末１００を介さずに、拡張現実シナリオを実現するために必要なコンテンツを端末１００に提供するようにＡＲコンテンツサーバ４００に直接的に要求してもよい。ＡＲコンテンツサーバ４００のコンテンツ要求受信ユニットが、端末１００から拡張現実コンテンツを提供するよう要求する信号を受信した場合に、コンテンツ提供ユニットは、予め格納された拡張現実コンテンツを端末１００に送信する（Ｓ１８０）。
【００３４】
ＡＲコンテンツサーバ４００から拡張現実コンテンツを受信した端末１００は、ＮＦＴエンジンを駆動させることによって、拡張現実コンテンツを使用して拡張現実を実現する（Ｓ１９０）。
画像マッチングサーバ２００、ＡＰＩサーバ３００、及びＡＲコンテンツサーバ４００は、別個のサーバとして構成されるが、本発明は、この態様に限定されるものではなく、それぞれのサーバの一部を統合した形態で提供してもよい。端末１００と各サーバとの間でのデータの送受信手順は、サーバが分離される又は各サーバの一部が統合される場合について、さらに詳細に説明する。
【００３５】
また、各サーバが、統合された形態で提供される場合に、画像マッチングサーバ２００、ＡＰＩサーバ３００、及びＡＲコンテンツサーバ４００のうちの少なくとも一部が、端末１００と通信するようなプログラムモジュールであってもよい。このようなプログラムモジュールは、オペレーティングシステム、アプリケーションプログラムモジュール又は他のプログラムモジュールの形態として物理的に統合サーバに含めることができ、これらのプログラムモジュールを、様々な周知のメモリ装置に格納することができる。さらに、これらのプログラムモジュールは、統合サーバと通信可能なリモート記憶装置に格納することができる。このようなプログラムモジュールは、後述するような本発明による特定の抽象データタイプを実行する又は特定のタスクを実行するような、ルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含むが、プログラムモジュールは、これらの態様に限定されるものではない。
【００３６】
第２の実施形態
図３は、本発明の一実施形態による拡張現実サービス提供システムにおいて拡張現実サービスを提供するためのデータ送受信手順を示す図である。
図３を参照すると、拡張現実サービス提供システムは、端末１００と、第１の拡張現実サービス提供サーバ６００と、ＡＲコンテンツサーバ４００とを含むことができる。端末１００及びＡＲコンテンツサーバ４００は、図１を参照して説明したものと同じであり、第１の拡張現実サービス提供サーバ６００は、図１を参照して説明した画像マッチングサーバ２００とＡＰＩサーバ３００とが統合されるようなサーバである。
【００３７】
図示しないが、第１の拡張現実サービス提供サーバ６００は、画像マッチングユニットに加えて、ＡＲ領域判定ユニットと、コンテンツ要求ユニットとを含んでもよく、各ユニットは、以下で説明するような拡張現実サービスを提供するための操作を実行することができる。
図３に示した拡張現実サービス提供システムにおいて拡張現実サービスを提供するためのデータ送受信手順について、以下に説明する。
【００３８】
まず、端末１００は、内部に形成されたカメラを介して画像を受け取る（Ｓ２００）。画像は、カメラを介して撮影された単一画像又はプレビュー状態の画像入力であってもよい。端末１００は、第１の拡張現実サービス提供サーバ６００に画像を送信し（Ｓ２１０）、第１の拡張現実サービス提供サーバ６００は、入力画像上で画像マッチング操作を実行する（Ｓ２２０）。上述したような従来の周知の様々な方法を、画像マッチング操作に適用してもよい。入力画像の特徴情報が、第１の拡張現実サービス提供サーバ６００によって完了された画像マッチングの結果として、第１の拡張現実サービス提供サーバ６００に予め格納された画像の特徴情報と高い類似度を有すると判定された場合に、第１の拡張現実サービス提供サーバ６００のＡＲ領域判定ユニットは、カメラを介して入力された画像に関連するコンテンツが、画像マッチングの結果を使用して、拡張現実として表示すべきと決定されたか否かを判定する（Ｓ２３０）。マッチング結果は、上述したように、識別記号又はインデックス番号であってもよい。第１の拡張現実サービス提供サーバ６００は、カメラを介して入力された画像に関連するコンテンツが、決定した識別記号又はインデックス番号と、第１の拡張現実サービス提供サーバ６００に予め格納された識別記号又はインデックス番号とを比較することによって、拡張現実として表示すべきと決定されたか否かを判定する。また、第１の拡張現実サービス提供サーバ６００は、入力画像上のコンテンツが、拡張現実として表示すべき領域に対応するか、又は汎用画像として再生すべき領域に対応するか否かを判定して、対応する領域に関連するコンテンツを出力する。画像に関連するコンテンツが、拡張現実として表示される場合に、第１の拡張現実サービス提供サーバ６００のコンテンツ要求ユニットは、対応する画像について予想される拡張現実シナリオを実現するために必要なコンテンツを呼び出すための信号を端末１００に送信する（Ｓ２４０）。
【００３９】
第１の拡張現実サービス提供サーバ６００から拡張現実シナリオを実現するために必要なコンテンツを呼び出すための信号を受信した端末１００は、拡張現実シナリオを実現するために必要な拡張現実コンテンツを提供するようにＡＲコンテンツサーバ４００に要求する（Ｓ２５０）。当然のことながら、本発明は、この態様に限定されるものではなく、第１の拡張現実サービス提供サーバ６００は、端末１００を経由せずに、拡張現実を実現するために必要なコンテンツを端末１００に提供するようにＡＲコンテンツサーバ４００に直接的に要求してもよい。ＡＲコンテンツサーバ４００が、拡張現実コンテンツを提供するように要求する信号を受信した場合に、ＡＲコンテンツサーバ４００は、予め格納した拡張現実コンテンツを端末１００に送信する（Ｓ２６０）。
ＡＲコンテンツサーバ４００から拡張現実コンテンツを受信した端末１００は、ＮＦＴエンジンを駆動させることによって、拡張現実コンテンツを使用して拡張現実を実現する（Ｓ２７０）。
【００４０】
第３の実施形態
図４は、本発明の一実施形態による拡張現実サービス提供システムにおいて拡張現実サービスを提供するためのデータ送受信手順を示す図である。
図４を参照すると、拡張現実サービス提供システムは、端末１００と、画像マッチングサーバ２００と、第２の拡張現実サービス提供サーバ７００とを含むことができる。端末１００及び画像マッチングサーバ２００は、図１を参照して説明したものと同じであり、第２の拡張現実サービス提供サーバ７００は、図１を参照して説明したＡＰＩサーバ３００とＡＲコンテンツサーバ４００とが統合されたようなサーバである。
【００４１】
図示しないが、第２の拡張現実サービス提供サーバ７００は、ＡＲ領域判定ユニットと、コンテンツ提供ユニットとを含んでもよく、各ユニットは、後述するような拡張現実サービスを提供するための動作を実行することができる。
図４に示される拡張現実サービス提供システムにおいて拡張現実サービスを提供するためのデータ送受信手順について、以下に説明する。
【００４２】
まず、端末１００は、内部に形成されたカメラを介して画像を受け取る（Ｓ３００）。画像は、カメラを介して撮影された単一画像又はプレビュー状態の画像入力であってもよい。端末１００は、画像マッチングサーバ２００に画像を送信し（Ｓ３１０）、画像マッチングサーバ２００は、入力画像上で画像マッチング操作を実行する（Ｓ３２０）。上述したような従来の周知の様々な方法を、画像マッチング操作に適用してもよい。画像マッチングが、画像マッチングサーバ２００によって完了され、且つ入力画像の特徴情報が、画像マッチングサーバ２００に予め格納された画像のうちの特定画像の特徴情報と高い類似度を有すると判定された場合に、画像マッチングサーバ２００は、マッチング結果を端末１００に送信する（Ｓ３３０）。
【００４３】
端末１００は、画像マッチングサーバ２００から送信されたマッチング結果を第２の拡張現実サービス提供サーバ７００に送信し（Ｓ３４０）、第２の拡張現実サービス提供サーバ７００のＡＲ領域判定ユニットは、カメラを介して入力された画像に関連するコンテンツが、画像マッチングサーバ２００により決定された識別記号又はインデックス番号と、予め格納された識別記号又はインデックス番号とを比較することによって、拡張現実として表示すべきか否かを判定する（Ｓ３５０）。また、第２の拡張現実サービス提供サーバは、入力画像上のコンテンツが、拡張現実として表示すべき領域に対応するか、又は汎用画像として再生すべき領域に対応するか否かを判定して、対応する領域に関連するコンテンツを出力することができる。入力画像に関連するコンテンツが、拡張現実として表示される場合に、第２の拡張現実サービス提供サーバ７００は、対応する画像について予想される拡張現実シナリオを実現するために必要なコンテンツを抽出する（Ｓ３６０）。次に、第２の拡張現実サービス提供サーバ７００のコンテンツ提供ユニットは、拡張現実シナリオを実現するために必要な予め格納された拡張現実コンテンツを端末１００に送信する（Ｓ３７０）。
第２の拡張現実サービス提供サーバ７００から拡張現実コンテンツを受信した端末１００は、ＮＦＴエンジンを駆動させることによって、拡張現実コンテンツ（Ｓ３８０）を使用して拡張現実を実現する。
【００４４】
第４の実施形態
図５は、本発明の一実施形態による拡張現実サービス提供システムにおいて拡張現実サービスを提供するためのデータ送受信手順を示す図である。
図５を参照すると、拡張現実サービス提供システムは、端末１００と、第３の拡張現実サービス提供サーバ８００と、ＡＰＩサーバ３００とを含むことができる。端末１００及びＡＰＩサーバ３００は、図１を参照して説明したものと同じであり、第３の拡張現実サービス提供サーバ８００は、図１を参照して説明した画像マッチングサーバ２００とＡＲコンテンツサーバ４００とが統合されたようなサーバである。
【００４５】
図示しないが、第３の拡張現実サービス提供サーバ８００は、画像マッチングユニットに加えて、コンテンツ要求受信ユニットと、コンテンツ提供ユニットとを含んでもよく、各ユニットは、以下に説明するような拡張現実サービスを提供するための動作を実行することができる。
図５に示される拡張現実サービス提供システムにおいて拡張現実サービスを提供するためのデータ送受信手順について、以下に説明する。
【００４６】
まず、端末１００は、内部に形成されたカメラを介して画像を受け取る（Ｓ４００）。画像は、カメラを介して撮影された単一画像又はプレビュー状態の画像入力であってもよい。端末１００は、第３の拡張現実サービス提供サーバ８００に画像を送信し（Ｓ４１０）、第３の拡張現実サービス提供サーバ８００の画像マッチングユニットが、入力画像上で画像マッチング操作を実行する（Ｓ４２０）。上述したような従来の周知の様々な方法を、画像マッチング操作に適用してもよい。画像マッチングが、第３の拡張現実サービス提供サーバ８００によって完了され、且つ入力画像の特徴情報が、第３の拡張現実サービス提供サーバ８００に予め格納された画像のうちの特定画像の特徴情報と高い類似度を有すると判定された場合に、第３の拡張現実サービス提供サーバ８００は、画像マッチングの結果を端末１００に送信する（Ｓ４３０）。
【００４７】
端末１００は、第３の拡張現実サービス提供サーバ８００から送信されたマッチング結果をＡＰＩサーバ３００に送信し（Ｓ４４０）、ＡＰＩサーバ３００は、カメラを介して入力された画像に関連するコンテンツが、マッチング結果を使用して、拡張現実として表示すべきと決定されたか否かを判定する（Ｓ４５０）。マッチング結果は、上述したような識別記号又はインデックス番号であってもよい。ＡＰＩサーバ３００は、カメラを介して入力された画像に関連するコンテンツが、第３の拡張現実サービス提供サーバ８００によって決定した識別記号又はインデックス番号と、ＡＰＩサーバ３００に予め格納された識別記号又はインデックス番号とを比較することによって、拡張現実として表示すべきか否かを判定する。入力画像に関連するコンテンツが、拡張現実として表示すべきと決定された場合に、ＡＰＩサーバ３００は、対応する画像について予想される拡張現実シナリオを実現するために必要なコンテンツを呼び出すための信号を端末１００に送信する（Ｓ４６０）。
【００４８】
ＡＰＩサーバ３００から拡張現実シナリオを実現するために必要なコンテンツを呼び出すための信号を受信した端末１００は、拡張現実シナリオを実現するために必要な拡張現実コンテンツを提供するように第３の拡張現実サービス提供サーバ８００のコンテンツ要求受信ユニットに要求する（Ｓ４７０）。当然のことながら、本発明は、この態様に限定されるものではなく、ＡＰＩサーバ３００は、端末１００を経由せずに、拡張現実シナリオを実現するために必要なコンテンツを端末１００に提供するように第３の拡張現実サービス提供サーバ８００のコンテンツ要求受信ユニットに直接的に要求してもよい。第３の拡張現実サービスサーバ８００が、端末１００から拡張現実コンテンツを提供するように要求する信号を受信した場合に、コンテンツ提供ユニットは、予め格納された拡張現実コンテンツを端末１００に送信する（Ｓ４８０）。
第３の拡張現実サービス提供サーバ８００から拡張現実コンテンツを受信した端末１００は、ＮＦＴエンジンを駆動させることによって、拡張現実コンテンツ（Ｓ４９０）を使用して拡張現実を実現する。
【００４９】
第５の実施形態
図６は、本発明の一実施形態による拡張現実サービス提供システムにおいて拡張現実サービスを提供するためのデータ送受信手順を示す図である。
図６を参照すると、拡張現実サービス提供システムは、端末１００と、第４の拡張現実サービス提供サーバ９００とを含むことができる。
端末１００は、図１を参照して説明したものと同じであり、第４の拡張現実サービス提供サーバ９００は、図１を参照して説明した画像マッチングサーバ２００と、ＡＰＩサーバ３００と、ＡＲコンテンツサーバ４００とが、物理的に統合されたようなサーバである。
【００５０】
図示しないが、第４の拡張現実サービス提供サーバ９００は、画像マッチングユニットに加えて、ＡＲ領域判定ユニット、コンテンツ要求ユニット、コンテンツ要求受信ユニット、及びコンテンツ提供ユニット等を含むことができ、各ユニットは、後述するような拡張現実サービスを提供するための動作を実行することができる。図６に示される拡張現実サービス提供システムにおいて拡張現実サービスを提供するためのデータ送受信手順ついて、以下に説明する。
【００５１】
まず、端末１００は、内部に形成されたカメラを介して画像を受け取る（Ｓ５００）。画像は、カメラを介して撮影された単一画像又はプレビュー状態の画像入力であってもよい。端末１００は、第４の拡張現実サービス提供サーバ９００に画像を送信し（Ｓ５１０）、第４の拡張現実サービス提供サーバ９００は、入力画像上で画像マッチング操作を実行する（Ｓ５２０）。上述したような従来の周知の様々な方法を、画像マッチング操作に適用してもよい。入力画像の特徴情報が、第４の拡張現実サービス提供サーバ９００によって完了された画像マッチングの結果として、第４の拡張現実サービス提供サーバ９００に予め格納された画像のうちの特定画像の特徴情報と高い類似度を有すると判定された場合に、第４の拡張現実サービス提供サーバ９００のＡＲ領域判定ユニットは、カメラを介して入力された画像に関連するコンテンツが、画像マッチングの結果を使用して、拡張現実として表示すべきと決定されたか否かを判定する（Ｓ５３０）。また、第４の拡張現実サービス提供サーバは、入力画像上のコンテンツが、拡張現実として表示すべき領域に対応するか、又は汎用画像として再生すべき領域に対応するか否かを判定して、対応する領域に関連するコンテンツを出力することができる。入力画像に関連するコンテンツが、拡張現実として表示すべきと決定された場合に、第４の拡張現実サービス提供サーバ９００は、対応する画像について予想される拡張現実シナリオを実現するために必要なコンテンツを抽出する（Ｓ５４０）。次に、第４の拡張現実サービス提供サーバ９００のコンテンツ提供ユニットは、拡張現実シナリオを実現するために必要な予め格納された拡張現実コンテンツを端末１００に送信する（Ｓ５５０）。
【００５２】
第４の拡張現実サービス提供サーバ９００から拡張現実コンテンツを受信した端末１００は、ＮＦＴエンジンを駆動させることによって、拡張現実コンテンツを使用して拡張現実を実現する（Ｓ５６０）。
図示しないが、画像マッチングサーバは、端末１００に含まれるように構成することができる。すなわち、一致（マッチング）と追跡（トラッキング）との両方が、サーバを使用せずに、一つの端末で実行されるような実施形態を想定することができる。
【００５３】
上述した本発明による実施形態は、様々なコンピュータ構成要素を介して実行され、且つコンピュータ読み取り可能な記録媒体に記録することができるようなプログラム命令の形態で実現することができる。コンピュータ読み取り可能な記録媒体は、単独又は組み合わせた態様で、プログラム命令、データファイル、データ構造等を含むことができる。コンピュータ読み取り可能な記録媒体に記録されたプログラム命令は、特別に設計され且つ本発明のために構成されたプログラム命令、又はコンピュータソフトウェア分野の当業者によって使用されるような公知のプログラム命令であってもよい。コンピュータ読み取り可能な記録媒体としては、例えば、ハードディスクや、フロッピー（登録商標）ディスク、磁気テープ等の磁気媒体、ＣＤ−ＲＯＭや、ＤＶＤ等の光記録媒体、フロプティカルディスクや、ＲＯＭ、ＲＡＭ、フラッシュメモリ等のプログラム命令を格納し且つ実行するように特別に構成されたハードウェア装置等の光磁気記録媒体が挙げられる。プログラム命令は、例えば、インタプリタ等を用いてコンピュータによって実行され得る高級言語コードだけでなく、コンパイラによって生成されたマシンコードも含む。ハードウェア装置は、本発明によるプロセスを実行するために、１つ又は複数のソフトウェアモジュールを使用して動作するように構成することができ、その逆も同様に構成することができる。
【００５４】
上述した説明では、本発明は、特定の構成要素、例示的な実施形態、及び図面等の特定の事項に関連して説明したが、それらの事項は、本発明の全体の理解を助けるためだけに提供されており、本発明は、本実施形態に限定されるものではない。当業者が、これらの説明から実施形態に様々な修正及び変更を加えることができることは明らかであろう。
従って、本発明の精神は、上述した実施形態及び添付の特許請求の範囲に限定されるものではなく、この特許請求の範囲と同等に又は等価的に変更された実施形態は、本発明の範囲内に含まれるとみなされる。
【図１】
2015520889.tif 000003
【図２】
2015520889.tif 000004
【図３】
2015520889.tif 000005
【図４】
2015520889.tif 000006
【図５】
2015520889.tif 000007
【図６】
2015520889.tif 000008
【国際調査報告】
2015520889.tif 000009
2015520889.tif 000010
2015520889.tif 000011
2015520889.tif 000012