(57)【特許請求の範囲】
【請求項１】
オフライン対話のための方法であって、
拡張現実(AR)サーバが、ユーザのオフラインユーザ要件を事前判定するステップと、
ARサーバが、前記ユーザの前記オフラインユーザ要件に整合するサービスを提供するオフライン場所を探索するステップと、
前記ARサーバが、ARクライアントがアップロードした前記ユーザの位置特定されたロケーションに基づいて、前記オフラインユーザ要件に整合する最適なオフライン場所を判定するステップと、
前記ARサーバが、前記ユーザの前記位置特定されたロケーションから前記最適なオフライン場所に行くためのナビゲーション案内データを生成するステップと、
前記ARクライアントが、リアルタイム画像走査によって取得された実像内に前記ナビゲーション案内データを拡張様式で表示し、ナビゲーションプロンプトを前記ユーザに出力するように、前記ARサーバが、前記ナビゲーション案内データを前記ユーザの前記ARクライアントに送信するステップとを含み、
前記ユーザの前記オフラインユーザ要件を事前判定するステップが、
オフライン環境においてキャプチャされた対象オブジェクトが事前判定されたオブジェクトであるかどうかを判定するステップであって、前記オフライン環境の画像情報が、前記ARクライアントによってアップロードされ、前記事前判定されたオブジェクトが、対応するオフラインユーザ要件に関連付けられる、ステップと、
前記対象オブジェクトが前記事前判定されたオブジェクトである場合、前記事前判定されたオブジェクトに関連付けられる前記オフラインユーザ要件を前記ユーザの前記オフラインユーザ要件として判定するステップとを含む、
方法。
【請求項２】
前記ユーザの前記オフラインユーザ要件を事前判定するステップが、
前記ユーザに関連付けられるサービスデータを起動させるステップ、または
前記ユーザの前記位置特定されたロケーションに関連付けられるサービスデータを起動させるステップを含む、
請求項1に記載の方法。
【請求項３】
前記ユーザの前記オフラインユーザ要件を事前判定するステップが、
前記ユーザの前記オフラインユーザ要件を判定するために、前記起動されたサービスデータに関してビッグデータ分析を実行するステップを含む、
請求項2に記載の方法。
【請求項４】
前記ユーザの前記オフラインユーザ要件を事前判定するステップが、
前記ARクライアントが対象オブジェクトに対して画像走査を実行した後、前記対象オブジェクトに対応する画像情報を受信するステップと、
事前判定された画像認識アルゴリズムに基づいて、前記画像情報に対して画像認識を実行するステップとを含む、
請求項1に記載の方法。
【請求項５】
前記事前判定された画像認識アルゴリズムが形状認識アルゴリズムである、
請求項4に記載の方法。
【請求項６】
前記対象オブジェクトが、前記ユーザが手書きしたグラフィカルアイコンである、
請求項4に記載の方法。
【請求項７】
前記対象オブジェクトが前記事前判定されたオブジェクトであるとの判定に応じて、前記対象オブジェクトと前記オフラインユーザ要件との間の関連付け関係を確立するステップをさらに含む、
請求項6に記載の方法。
【請求項８】
前記関連付け関係を確立する前記ステップが、
前記オフラインユーザ要件に関連付けられる情報を検索するためのプロンプト情報をプッシュするステップを含む、
請求項7に記載の方法。
【請求項９】
前記最適なオフライン場所が、前記オフラインユーザ要件に整合し、かつ前記ユーザの前記位置特定されたロケーションの最寄りのオフライン場所である、
請求項1に記載の方法。
【請求項１０】
前記最適なオフライン場所が、前記ユーザの前記ARクライアントを使用して生成された履歴ナビゲーション案内データに基づくARシナリオのモデルに基づいて判定される、
請求項1に記載の方法。
【請求項１１】
オフライン対話のための装置であって、請求項1から10のいずれか一項に記載の方法を実行するように構成された複数のモジュールを含む、
装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、拡張現実の分野に関し、詳細には、拡張現実ベースのオフライン対話の方法および装置に関する。
【背景技術】
【０００２】
拡張現実(AR)技術は、画像のロケーションおよび角度がリアルタイムで計算され、対応する画像、ビデオ、および3Dモデルがそれらの画像上に重畳されて、仮想世界を実世界に融合させ、それにより、ユーザに新しい対話経験を提供する技術である。AR技術は絶えず発展するため、AR技術の適用シナリオも迅速に発展する。したがって、AR技術を使用することによって、オンラインサービスをオフラインサービスとどのように良好に結合させるかが、ユーザ経験を改善するためには重要である。
【発明の概要】
【課題を解決するための手段】
【０００３】
本出願は、ARサーバに適用される、拡張現実ベースのオフライン対話方法(AR)を提供し、この方法は、ユーザのオフラインユーザ要件を事前判定するステップと、ユーザのオフラインユーザ要件に整合するオフラインプレースを探索するステップと、ARクライアントがアップロードしたユーザの位置特定されたロケーションに基づいて、オフラインユーザ要件に整合する最適なオフラインプレースを判定するステップと、ユーザの位置特定されたロケーションから最適なオフラインプレースに到着するためのナビゲーション案内データを生成し、ARクライアントが、リアルタイム画像走査によって取得された実像内にナビゲーション案内データを拡張様式で表示し、ナビゲーションプロンプトをユーザに出力するように、ナビゲーション案内データをユーザのARクライアントに送るステップとを含む。
【０００４】
本出願は、ARクライアントに適用される、拡張現実ベースのオフライン対話方法をさらに提供し、この方法は、ユーザの位置特定されたロケーションをARサーバにアップロードするステップと、ユーザの位置特定されたロケーションから最適なオフラインプレースに到着するためにARサーバが送ったナビゲーション案内データを受信するステップであって、最適なオフラインプレースが、ARサーバが事前判定したユーザのオフラインユーザ要件に整合する、受信するステップと、ユーザのリアルタイム画像走査動作に応じて、リアルタイム画像走査によって取得された実像内にナビゲーション案内データを拡張様式で表示し、ナビゲーションプロンプトをユーザに出力するステップとを含む。
【０００５】
本出願は、ARサーバに適用される、拡張現実ベースのオフライン対話装置をさらに提供し、この装置は、ユーザのオフラインユーザ要件を事前判定するように構成された事前判定モジュールと、ユーザのオフラインユーザ要件に整合するオフラインプレースを探索するように構成された探索モジュールと、ARクライアントがアップロードしたユーザの位置特定されたロケーションに基づいて、オフラインユーザ要件に整合する最適なオフラインプレースを判定するように構成された判定モジュールと、ユーザの位置特定されたロケーションから最適なオフラインプレースに到着するためのナビゲーション案内データを生成し、ARクライアントが、リアルタイム画像走査によって取得された実像内にナビゲーション案内データを拡張様式で表示し、ナビゲーションプロンプトをユーザに出力するように、ナビゲーション案内データをユーザのARクライアントに送るように構成された送信モジュールとを含む。
【０００６】
本出願は、ARクライアントに適用される、拡張現実ベースのオフライン対話装置をさらに提供し、この装置は、ユーザの位置特定されたロケーションをARサーバにアップロードするように構成されたアップロードモジュールと、ユーザの位置特定されたロケーションから最適なオフラインプレースに到着するためにARサーバが送ったナビゲーション案内データを受信することであって、最適なオフラインプレースが、ARサーバが事前判定したユーザのオフラインユーザ要件に整合する、受信することを行うように構成された受信モジュールと、ユーザのリアルタイム画像走査動作に応じて、リアルタイム画像走査によって取得された実像内にナビゲーション案内データを拡張様式で表示し、ナビゲーションプロンプトをユーザに出力するように構成された、表示モジュールとを含む。
【０００７】
本出願は、AR技術に基づいて、オンラインLBSサービスをユーザのオフラインユーザ要件と結合させるオフライン対話モードを提供する。ARサーバは、ユーザのオフラインユーザ要件を事前判定し、ユーザのオフラインユーザ要件に整合するオフラインプレースを探索し、ARクライアントがアップロードしたユーザの位置特定されたロケーションに基づいて、オフラインユーザ要件に整合する最適なオフラインプレースを判定し、ユーザの位置特定されたロケーションから最適なオフラインプレースに到着するためのナビゲーション案内データを生成し、ARクライアントがリアルタイム画像走査によって取得された実像内にナビゲーション案内データを拡張様式で表示し、ナビゲーションプロンプトをユーザに出力することができるように、ナビゲーション案内データをユーザのクライアントに送る。したがって、ユーザに新しいLBSサービスモードを提供するために、AR技術に基づいてオンラインLBSサービスをユーザの事前判定されたオフラインユーザ要件と継ぎ目なく結合させることができ、それによって、ユーザ経験を改善し、複雑なオフライン環境に適応する。
【図面の簡単な説明】
【０００８】
【図１】本出願の一実装形態による、拡張現実ベースのオフライン対話方法を示す処理フローチャートである。
【図２】本出願の一実装形態による、「最寄りの場所で傘をレンタルする」適用シナリオを示す概略図である。
【図３】本出願の一実装形態による、「最寄りの場所で傘をレンタルする」別の適用シナリオを示す概略図である。
【図４】本出願の一実装形態による、拡張現実ベースのオフライン対話装置を示す論理ブロック図である。
【図５】本出願の一実装形態による、拡張現実ベースのオフライン対話装置を含むARサーバのハードウェアの構造図である。
【図６】本出願の一実装形態による、別の拡張現実ベースのオフライン対話装置を示す論理ブロック図である。
【図７】本出願の一実装形態による、拡張現実ベースのオフライン対話装置を含むARクライアントのハードウェアの構造図である。
【発明を実施するための形態】
【０００９】
本出願は、ユーザに新しいLBSサービスモードを提供するために、AR技術に基づいてオンラインロケーションベースのサービス(LBS)をユーザのオフラインユーザ要件と結合させることを意図する。
【００１０】
実装形態では、ARサーバは、ユーザのオフラインユーザ要件を事前判定し、ユーザのオフラインユーザ要件に整合するオフラインプレースを探索し、ARクライアントがアップロードしたユーザの位置特定されたロケーションに基づいて、オフラインユーザ要件に整合する最適なオフラインプレースを判定し、ユーザの位置特定されたロケーションから最適なオフラインプレースに到着するためのナビゲーション案内データを生成し、ARクライアントが、リアルタイム画像走査によって取得された実像内にナビゲーション案内データを拡張様式で表示し、ナビゲーションプロンプトをユーザに出力することができるように、ナビゲーション案内データをユーザのARクライアントに送る。したがって、ユーザに新しいLBSサービスモードを提供するために、AR技術に基づいてオンラインLBSサービスをユーザの事前判定されたオフラインユーザ要件と継ぎ目なく結合させることができ、それにより、ユーザ経験を改善し、複雑なオフライン環境に適応する。
【００１１】
たとえば、オフラインユーザ要件は、ユーザのオフライン傘レンタルサービスである。ARサーバが、ユーザの位置特定されたロケーションと、オンライン天気予報などのサービスデータとを参照して、ユーザの現在のロケーションにおいて雨が降りそうであり、ユーザが場合によっては傘レンタルサービスを必要とすると判定するとき、ARサーバは、オンラインサービスデータベース(たとえば、マップデータおよび店舗データ)を起動させて、傘レンタルサービスを提供することができ、かつユーザの現在のロケーションに最寄りの実店舗を探索し、ユーザが現在のロケーションから実店舗に到着するための案内経路を計画し、次いで、ARクライアント上に拡張様式で表示される必要がある仮想データとしてその案内経路をARクライアントに送ることができる。ARクライアントは、ARシナリオ内に仮想データを拡張様式で表示し、ナビゲーションプロンプトをユーザに出力する。したがって、ユーザは、ユーザが携帯するAR端末を使用することによって、ARシナリオ内に出力されたナビゲーションプロンプトを閲覧して、傘レンタルサービスを提供する最寄りの実店舗に迅速に到着することができる。
【００１２】
本出願は、特定の実装形態を使用することによって特定の適用シナリオを参照しながら下記で説明される。
【００１３】
図1は、本出願の一実装形態による、拡張現実ベースのオフライン対話方法を示す。この方法は、以下のステップを含む。
【００１４】
ステップ101:ARサーバはユーザのオフラインユーザ要件を事前判定する。
【００１５】
前のARクライアントは、AR技術に基づいて開発されたクライアントデバイスであり、オフライン環境で現実のシナリオに対して画像走査を実行し、走査によって取得された画像データをリアルタイムでARサーバに送信するように構成される。加えて、ARクライアントの前景ARエンジンは、背景ARサーバがプッシュした仮想データを視覚的にレンダリングするために使用され、仮想データは、現実のシナリオを走査することによって取得された画像データ(実像など)と重畳され、融合される。
【００１６】
サーバ、サーバクラスタ、またはARクライアントにサービスを提供するサービスクラスタに基づいて構築されたクラウドプラットフォームを含めて、ARサーバは、背景ARエンジンに基づいて、ARクライアントによる走査によって取得された画像に対して画像認識を実行し、オフラインサービスに対する仮想データに対してコンテンツ管理を実行し、画像認識の結果に基づいて、関係する仮想データ(たとえば、ナビゲーション案内データ)をARクライアントにプッシュするように構成される。
【００１７】
実際には、ユーザは、ユーザが携帯するAR端末(AR眼鏡またはARヘルメットなど)を使用するか、またはモバイル端末(スマートフォンなど)上にインストールされたARクライアントを直接使用して、オフライン環境で(ピクチャ、テキスト、または立体オブジェクトなど、サーバ上で定義されている任意のオブジェクトを含み得る)任意の対象オブジェクトに対して画像走査を実行することができる。走査を完了した後、ARクライアントは、走査によって取得された画像情報を背景サーバにアップロードすることができる。背景サーバは、背景ARエンジンに基づいて画像認識を実行し、対象オブジェクトを首尾よく認識した後、背景サーバは、対象オブジェクトに対する仮想データをARクライアントにプッシュする。
【００１８】
ARサーバがプッシュした対象オブジェクトに対応する仮想データを受信した後、ARクライアントは、前景ARエンジンを使用することによって仮想データを視覚的にレンダリングしてARシナリオモデルを作成し、ARシナリオモデル内に仮想データを拡張様式で表示して、オフライン環境をARサーバがプッシュした仮想データに重畳させて仮想データと融合させることができる。
【００１９】
オフラインユーザ要件は、LBSに基づいてサービスをユーザにプッシュするためにARサーバによって使用され得る任意のタイプのオフライン要件を含み得る。
【００２０】
たとえば、オフラインユーザ要件は、傘レンタルサービスを提供する最寄りの実店舗に到着するオフライン環境でのユーザの要件、食事するために最寄りのレストランに到着するレストラン推奨要件、または最寄りのガソリンスタンドまたは充電スタンドに到着するユーザの要件を含んでよく、これらは、この例においてさらに1つずつ列挙されない。
【００２１】
この例では、ユーザがARクライアントを使用してARサーバと対話するプロセスで、ARサーバは、ユーザのオフラインユーザ要件を事前判定し、次いで、事前判定されたオフラインユーザ要件に基づいて、正確なLBSベースのサービスをユーザにプッシュすることができる。
【００２２】
ユーザのオフラインユーザ要件を事前判定するとき、ARサーバは、背景内に記憶されたサービスデータを参照しながらビッグデータ分析を実行することによって、オフラインユーザ要件を積極的に事前判定することができるか、またはARクライアントがオフライン画像走査を実行した後、ARクライアントがアップロードした画像データを認識することによって、オフラインユーザ要件を事前判定することができる。
【００２３】
一実装形態では、ユーザがARクライアントを使用してARサーバと対話するプロセスで、ARサーバは、背景内に記憶されたユーザ要件に関するオンラインサービスデータを起動させることによってビッグデータ分析を実行して、ユーザのオフラインユーザ要件を事前判定することができる。
【００２４】
オンラインサービスデータは、具体的には、ユーザのオフライン要件を表し得る任意のタイプのオンラインデータを含み得る。たとえば、オンラインサービスデータは、具体的には、マップデータ、ソーシャルデータ、環境データなどを含み得る。
【００２５】
ユーザ要件に関するオンラインサービスデータは、ユーザに関連付けられるサービスデータと、ユーザのロケーションに関連付けられるサービスデータとを含み得る。
【００２６】
たとえば、ユーザに関連付けられるデータは、ARサーバによって背景内に記憶され、かつユーザの識別情報(たとえば、ARクライアントにログインするためにユーザが使用するログインアカウント)に関連付けられるオンラインデータであり得る。たとえば、ユーザに関連付けられるオンラインデータは、ユーザのログインアカウントに関連付けられる、ユーザのソーシャルデータ、サービスデータなどを含み得る。ユーザのロケーションに関連付けられるデータは、ARサーバによって背景内に記憶され、かつユーザの位置特定されたロケーションに関連付けられるオンラインデータであり得る。たとえば、ユーザの現在のロケーションに関連付けられるオンラインデータは、天気予報データ、マップデータなどを含み得る。
【００２７】
ユーザのオフラインユーザ要件を事前判定するとき、ARサーバは、ユーザのユーザ識別子に基づいて、背景内に記憶されたユーザに関連付けられるオンラインデータを起動させるか、またはARクライアントが報告したユーザの位置特定されたロケーションに基づいて、背景内に記憶されたユーザの位置特定されたロケーションに関連付けられるオンラインデータを起動させて、ユーザのオフラインユーザ要件を事前判定するように、ビッグデータ分析方法に基づいて要件分析を実行することができる。
【００２８】
たとえば、1つのシナリオでは、ユーザの位置特定されたロケーションに関連付けられるオンラインデータが天気予報データであると仮定する。この場合、ARサーバは、ARクライアントが報告したユーザの位置特定されたロケーションに基づいて、かつオンライン天気予報データを参照しながら分析を実行することによって、ユーザの現在のロケーションにおいて雨が降りそうであるかどうかを判定し、ユーザが現在、傘をレンタルするオフライン要件を有するかどうかをさらに事前判定することができる。
【００２９】
別の例の場合、別のシナリオでは、ユーザに関連付けられるオンラインデータがユーザのアカウント情報に関連付けられる履歴食事注文データであると仮定する。この場合、ARサーバは、ユーザのオンライン履歴食事注文データを参照しながら、食事する場合のユーザの時間規則を分析し、現時点を参照しながら、ユーザが食事するオフライン要件を現在有するかどうかをさらに事前判定することができる。
【００３０】
別の実装形態では、ユーザがARクライアントを使用してARサーバと対話するプロセスで、ユーザは、ARクライアントを使用することによって、オフライン環境で対象オブジェクトを積極的に走査し、ARクライアントを使用することによって、走査によって取得された画像情報をARサーバに積極的に報告してオフライン要件を表すことができる。
【００３１】
対象オブジェクトは、ユーザのオフライン要件を表し得るオフライン環境内の任意のオブジェクトを含む。
【００３２】
たとえば、野外で雨が降りそうであり、ユーザが雨具を持っていないとき、ユーザは、ARクライアントを使用することによってオフライン環境で任意の傘形のピクチャを積極的に走査することができ、次いで、ARクライアントは、走査によって取得された傘形のピクチャをARサーバに報告し、ユーザが傘をレンタルするオフライン要件を有することを表す。
【００３３】
実際には、ARサーバの背景ARエンジンの画像認識機能を十分利用するために、対象オブジェクトは、オフライン要件を表し得る、ユーザが手書きしたグラフィカルアイコンであってもよいことは留意に値する。
【００３４】
たとえば、野外で雨が降りそうであり、ユーザが雨具を持っていないとき、ユーザは、傘形のピクチャを手書きし、次いで、ARクライアントを使用することによって、そのピクチャを積極的に走査することができる。次いで、ARクライアントは、走査によって取得された傘形のピクチャをARサーバに報告して、ユーザが傘をレンタルするオフライン要件を有することを表すことができる。
【００３５】
この方法では、ユーザ経験を改善することができるが、これは、ユーザが、オフラインユーザ要件をARサーバに表すために、任意の形のグラフィカルアイコンを手書きすることができるためである。
【００３６】
この例では、ARサーバは、いくつかの事前判定されたオブジェクトを事前定義し、対応するオフラインユーザ要件を各事前定義された、事前判定されたオブジェクトに関連付けることができる。
【００３７】
たとえば、ARサーバによって事前定義され得る、事前判定されたオブジェクトは、傘形のピクチャ、食器形のピクチャ、バッテリー形のピクチャなどを含み得る。傘形のピクチャは、「最寄りの場所で傘をレンタルする」オフラインユーザ要件に事前に関連付けられてよく、食器ピクチャは、「最寄りの場所で食事する」オフラインユーザ要件に事前に関連付けられてよく、バッテリーピクチャは、「最寄りの場所で充電する」オフラインユーザ要件に事前に関連付けられてよい。当然、列挙した、事前判定されたオブジェクトは単なる例である。実際には、当業者は、ユーザのオフライン要件のタイプに基づいて、事前判定されるオブジェクトをカスタマイズすることができる。
【００３８】
ARクライアントは、対象オブジェクトに対して画像走査を実行し、対象オブジェクトに対応する画像情報をアップロードする。次いで、ARクライアントがアップロードした対象オブジェクトに対応する画像情報を受信した後、ARサーバは、事前判定された画像認識アルゴリズムに基づいて、画像情報に対して画像認識を実行することができる。
【００３９】
画像認識アルゴリズムのタイプは、この例では具体的に限定されない。当業者は、本出願の技術的解決策を実装するとき、関連する技術の記録を参照することができる。たとえば、実装において、画像認識アルゴリズムは、AR技術において最も広く使用されているニューラルネットワークアルゴリズムであり得る。画像認識モデルは受信された画像データに対して画像認識を実行するためのニューラルネットワークアルゴリズムに基づいて、ARサーバ上で構築され得る。
【００４０】
受信された画像データから対象オブジェクトを首尾よく認識するとき、ARサーバは、対象オブジェクトをカスタマイズされた、事前判定されたオブジェクトと整合させて、認識された対象オブジェクトが事前判定されたオブジェクトであるかどうかをさらに判定することができる。
【００４１】
認識された対象オブジェクトが事前判定されたオブジェクトである場合、事前定義された、事前判定されたオブジェクトは対応するオフラインユーザ要件に関連付けられているため、ARサーバは、事前判定されたオブジェクトに関連付けられるオフラインユーザ要件をユーザのオフラインユーザ要件として直接判定することができる。
【００４２】
たとえば、ユーザがARクライアントを使用して、手書きの傘形のピクチャを走査して「最寄りの場所で傘をレンタルする」オフライン要件を表す場合、そのピクチャが傘形のピクチャであることを首尾よく認識したとき、ARサーバは、ユーザが表したオフライン要件が「最寄りの場所で傘をレンタルする」であることを直接判定し、ユーザの要件に応じて、オフラインマップデータを起動させて、傘レンタルサービスを提供し、かつユーザの現在のロケーションに最寄りの実店舗を探索することができる。
【００４３】
異なるユーザが手書きのグラフィカルアイコンを使用することによってオフラインユーザ要件をARサーバに表すとき、異なるユーザが表したオフラインユーザ要件が同じである場合ですら、それらのユーザが描いたグラフィカルアイコン同士の間に明らかな差異が存在することは留意に値する。したがって、事前判定された画像認識アルゴリズムを使用することによって、ARクライアントがアップロードした手書きのグラフィカルアイコンが現在のオブジェクトであることを首尾よく認識し、ユーザのオフラインサービス要件を事前判定した後、ARサーバは、手書きのグラフィカルアイコンとオフラインサービス要件との間の関連付け関係(association relationship)を確立することができる。
【００４４】
この方法では、ARサーバは、ARクライアントを使用することによってユーザが走査したグラフィカルアイコンを収集し、グラフィカルアイコンとグラフィカルアイコンに対応する認識結果との間の関連付け関係を確立して、事前定義された、事前判定されたオブジェクトを常に完成させることができる。したがって、ユーザが、ARクライアントを使用することによって手書きのグラフィカルアイコンを走査することによって、オフライン要件をARクライアントに示すとき、ARサーバは、ユーザによる手書きのアイコンを認識する精度を改善し、異なるユーザによる手書きのグラフィカルアイコン同士の間の差異により場合によって生じる認識エラーにより、ユーザのオフラインユーザ要件を事前判定することができないという問題を軽減するように、事前判定された画像認識アルゴリズムを使用することによってユーザによる手書きのグラフィカルアイコンを認識せずに、ユーザによる手書きのグラフィカルアイコンを事前判定されたオブジェクトと整合させることによって、ユーザのオフライン要件を学習することができる。
【００４５】
この例では、ユーザのオフラインサービス要件を首尾よく事前判定するとき、ARサーバは、事前判定結果をユーザのARクライアントにさらにプッシュすることができる。ARサーバがプッシュした事前判定結果を受信した後、ユーザのARクライアントは、ARシナリオにおいて事前判定結果をユーザに表示することができる。ユーザは事前判定結果を確認し、ARクライアントは、ユーザの確認結果をARサーバにフィードバックする。
【００４６】
たとえば、ARサーバが、ユーザが現在位置するロケーションとオンライン天気予報データとを参照しながら、ユーザが「最寄りの場所で傘をレンタルする」オフライン要件を有すると事前判定した場合、ARサーバは、「雨が降りそうです。最寄りの傘まで行く必要がありますか?」というプロンプト情報をARクライアントにプッシュすることができ、ARクライアントは、ARシナリオにおいてそのプロンプト情報をユーザに出力することができる。ARシナリオにおいてプロンプト情報をユーザに出力するとき、ARクライアントは、確認のために選択するための2つのユーザオプション、すなわち、「Yes」および「No」をユーザにさらに提供することができる。ユーザはARシナリオにおいて「Yes」および「No」を選択してプロンプト情報を確認することができ、次いで、ARクライアントは、確認のためにユーザの選択結果をARサーバにフィードバックすることができる。
【００４７】
ステップ102:ARサーバはユーザのオフラインユーザ要件に整合するオフラインプレースを探索する。
【００４８】
この例では、ユーザのオフラインユーザ要件を事前判定した後、ARサーバは、オフラインプレースに関するオンラインマップデータ統合情報を起動させて、ユーザのオフラインユーザ要件に整合するオフラインプレースを探索することができる。
【００４９】
たとえば、ARサーバが、ユーザが「最寄りの場所で傘をレンタルする」というオフライン要件を有すると事前判定した場合、ARサーバは、オフライン実店舗に関するオンラインマップデータ統合情報を起動させて、傘レンタルサービスを提供し、かつユーザの現在のロケーションの最寄りの実店舗を探索することができる。
【００５０】
ステップ103:ARサーバは、ARクライアントがアップロードしたユーザの位置特定されたロケーションに基づいて、オフラインユーザ要件に整合する最適なオフラインプレースを判定する。
【００５１】
この例では、ARクライアントは、ユーザのロケーションをリアルタイムで位置特定し、ユーザの位置特定されたロケーションをリアルタイムでARサーバにアップロードすることができる。ARクライアントがアップロードした位置特定されたロケーションを受信した後、ARサーバは、ユーザのオフラインユーザ要件に整合し得る見出されたオフラインプレースから最適なオフラインプレースを見出すことができる。
【００５２】
一実装形態では、最適なオフラインプレースは、ユーザのオフラインユーザ要件に整合し、かつユーザの現在のロケーションの最寄りのオフラインプレースであり得る。
【００５３】
この場合、ARサーバは、ARクライアントが報告したユーザの位置特定されたロケーションを基準として使用して、ユーザの現在のロケーションの最寄りのオフラインプレースに対するユーザのオフラインサービス要件に整合するオフラインプレースを探索し、そのオフラインプレースを最適なオフラインプレースとして使用することができる。
【００５４】
当然、ユーザの現在のロケーションとオフラインプレースとに間の距離に基づいて、基準として最適なオフラインプレースを判定することに加えて、実際には、他の要因を包括的に考慮することもできる。たとえば、見出されたオフラインプレースが最適なオフラインプレースであるかどうかは、ユーザがそのオフラインプレースを頻繁に訪れるかどうか、ならびにユーザ満足度およびユーザ習慣などの要因によって測定される。
【００５５】
たとえば、オフラインユーザ要件は「最寄りの場所で食事する」であり、オフラインプレースは、ユーザに近いレストランである。この場合、最適なオフラインプレースが判定されるとき、ユーザの最寄りのレストランを最適なレストランとして判定する代わりに、ユーザがそのレストランを頻繁に訪れるかどうか、ユーザ満足度、ユーザの味見習慣などを包括的に考慮することができる。
【００５６】
ステップ104:ARサーバは、ユーザの位置特定されたロケーションから最適なオフラインプレースに到着するためのナビゲーション案内データを生成し、ナビゲーション案内データをARクライアントに送る。
【００５７】
この例では、ユーザに対する最適なオフラインプレースを判定した後、ARサーバは、オフラインマップデータを起動させて、ユーザがユーザの位置特定されたロケーションから最適なオフラインプレースに到着するためのナビゲーション案内データを生成することができる。
【００５８】
ナビゲーション案内データは、ARサーバがユーザの位置特定されたロケーションから最適なオフラインプレースに到着するための経路に対して3次元画像(たとえば、街路景観画像)を参照しながら統合を実行した後に生成されるナビゲーションデータであり得る。
【００５９】
ARサーバが、ユーザの位置特定されたロケーションに基づいて、ユーザに対して、ユーザの位置特定されたロケーションから最適なオフラインプレースに到着するためのナビゲーション案内データを生成した後、ユーザが、ARクライアントを使用することによって、ARシナリオにおいて出力された事前判定結果を確認した場合、ARサーバは、ARサーバとARクライアントとの間でリアルタイムで交換される仮想データとしてナビゲーション案内データを使用し、その仮想データをARクライアントに送ることができる。
【００６０】
ステップ105:ユーザのリアルタイム画像走査動作に応じて、ARクライアントは、リアルタイム画像走査によって取得された実像内にナビゲーション案内データを拡張様式で表示し、ナビゲーションプロンプトをユーザに出力する。
【００６１】
この例では、ユーザがARクライアントを使用することによって、ARシナリオにおいて出力された事前判定結果を確認した後、ユーザは、ARクライアントを使用することによってオフライン環境でリアルタイム画像走査を実行することができる。加えて、ARサーバが送ったナビゲーション案内データを受信した後、ARクライアントは、前景ARエンジンに基づいて、背景ARサーバがプッシュしたナビゲーション案内データを視覚的にレンダリングしてARシナリオモデルを作成し、ARシナリオモデル内にナビゲーション案内データを拡張様式で表示し、ユーザのARクライアントまたはユーザが携帯するAR端末を使用することによって、ナビゲーション案内データをユーザに出力し、ナビゲーションプロンプトをARシナリオにおいてユーザに出力することができる。この場合、ユーザの視野内に出力されたナビゲーションプロンプトの案内の下で、ユーザは最適なオフラインプレースに迅速に到着することができる。
【００６２】
この方法では、ARサーバは、オンラインサービスデータと、ARクライアントに基づいてユーザが実行した日々の走査によって生成された画像データとを収集することを理解されよう。ARサーバは、ユーザのオフライン要件を事前判定し、オンラインサービスデータに基づいて、ユーザのオフライン要件に整合する最適なオフラインプレースを探索してナビゲーション案内データを生成し、AR技術を使用して生成されたナビゲーション案内データに基づいてARシナリオをモデル形成し、ユーザが、ユーザのオフライン要件に整合し得る最適なオフラインプレースに導かれることが可能であるように、ナビゲーション案内データをユーザに出力する。したがって、新しいLBSサービスモードをユーザに提供するために、AR技術に基づいてオンラインLBSサービスをユーザの事前判定されたオフラインユーザ要件と継ぎ目なく結合させることができ、それによって、ユーザ経験を改善し、複雑なオフライン環境に適応する。
【００６３】
本出願における技術的解決策は、下記において、特定の適用シナリオを参照しながら詳細に説明される。
【００６４】
この例では、オフラインユーザ要件が「最寄りの場所で傘をレンタルする」である一例が説明のために使用される。
【００６５】
このシナリオでは、ユーザの現在のロケーションにおいて雨が降りそうである場合、ユーザは、傘形のグラフィカルアイコンを手書きし、ユーザが携帯するAR端末上にインストールされたARクライアントを使用することによって、グラフィカルアイコンを積極的に走査し、走査によって取得されたグラフィカルアイコンに対応する画像情報をARサーバにアップロードして、「最寄りの場所で傘をレンタルする」オフラインユーザ要件をARサーバに示すことができる。
【００６６】
ARサーバサイドは、傘形のグラフィカルアイコンを事前定義し、グラフィカルアイコンを「最寄りの場所で傘をレンタルする」オフラインユーザ要件に関連付けることができる。ARクライアントがアップロードした画像情報を受信した後、ARサーバは、アルゴリズムを使用することによって画像情報を認識することができる。
【００６７】
一態様では、画像情報が事前定義された傘形のグラフィカルアイコンに整合することを首尾よく認識した後、ARサーバは、「最寄りの場所で傘をレンタルする」をユーザの現在のオフラインユーザ要件として判定し、プロンプト情報「最寄りの傘まで行く必要があるかどうか?」をユーザのARクライアントにプッシュすることができる。
【００６８】
図2を参照すると、ARサーバがプッシュしたプロンプト情報「最寄りの傘まで行く必要があるかどうか?」を受信した後、ユーザのARクライアントは、プロンプト情報をARシナリオにおいてユーザに出力し、ユーザが確認するために選択するための2つのユーザオプション、すなわち、「Yes」および「No」を提供することができる。この場合、ユーザは、「Yes」を選択して、実像に対するリアルタイム走査を開始するようにARクライアントをトリガすることができる。
【００６９】
別の態様では、画像情報が事前定義された傘形のグラフィカルアイコンに整合することを首尾よく認識した後、ARサーバは、オンラインマップデータを起動させて、ユーザの現在のロケーションに近い傘レンタルサービスを提供することができるすべての実店舗を探索して、ユーザの現在のロケーションの最寄りの実店舗を判定し、ユーザの現在のロケーションから実店舗に到着するための経路の街路景観ピクチャに基づいて、ナビゲーション案内データを生成し、ナビゲーション案内データをARクライアントに送ることができる。
【００７０】
図3を参照すると、ARサーバが送ったナビゲーション案内データを受信した後、ARクライアントは、前景ARエンジンに基づいてナビゲーション案内データを視覚的にレンダリングして、傘をレンタルするためのARシナリオモデルを作成し、ナビゲーション案内データをARシナリオモデルにおいて拡張様式で表示し、ユーザが携帯するAR端末を使用することによって、ナビゲーション案内データをユーザに出力し、ナビゲーションプロンプトをARシナリオにおいてユーザに出力することができる。
【００７１】
図3に示すように、ナビゲーションプロンプトは、具体的には、ARクライアントが走査した実像内に表示され、かつ傘レンタルサービスを提供する最寄りの実店舗に到着するための案内矢印と、拡張様式で実店舗のピクチャの上部に表示される、「傘はここにあります」を示す仮想傘アイコンとを含み得る。ユーザが携帯するAR端末上にインストールされたARクライアントは、ARサーバとリアルタイムで対話し、傘を借りるための傘レンタルサービスを提供する最寄りの実店舗に迅速に到着するようにユーザを案内するために、ユーザのロケーションの変化に基づいて、ナビゲーションプロンプトを常に更新することができる。
【００７２】
前の実装形態では、オフラインユーザ要件が「最寄りの場所で傘をレンタルする」である例が説明のために使用されていることは留意に値する。明らかに、ステップ101からステップ105に示した技術的解決策は、このオフライン要件に類似する、ユーザの別のオフライン要件に対応する適用シナリオに適用されてもよい。
【００７３】
たとえば、「最寄りの場所で食事する」適用シナリオでは、ユーザは、食器形のグラフィカルアイコンを手書きし、ユーザが携帯するAR端末上にインストールされたARクライアントを使用することによって、グラフィカルアイコンを積極的に走査し、走査によって取得されたグラフィカルアイコンに対応する画像情報をARサーバにアップロードして、「最寄りの場所で食事する」オフラインユーザ要件をARサーバに表すことができる。ARクライアントがアップロードした画像情報を認識することによって、ユーザのオフライン要件を事前判定した後、ARサーバは、ユーザの最寄りのレストランを探索し、ユーザがユーザの現在のロケーションから最寄りのレストランに到着するためのナビゲーション案内データを生成し、ARシナリオにおいて拡張様式で表示するためにナビゲーション案内データをARクライアントに送り、そのレストランに行くようにユーザを案内するために、ナビゲーションプロンプトをARシナリオにおいてユーザに出力することができる。
【００７４】
別の例の場合、別の「最寄りの場所で充電する」適用シナリオでは、ユーザは、バッテリー形状グラフィカルアイコンを手書きし、ユーザが携帯するAR端末上にインストールされたARクライアントを使用することによってグラフィカルアイコンを積極的に走査し、走査によって取得されたグラフィカルアイコンに対応する画像情報をARサーバにアップロードして、「最寄りの場所で充電する」オフラインユーザ要件をARサーバに表すことができる。ARクライアントがアップロードした画像情報を認識することによって、ユーザのオフライン要件を事前判定した後、ARサーバは、ユーザの最寄りの充填ステーションを探索し、ユーザがユーザの現在のロケーションから最寄りの充電ステーションに到着するためのナビゲーション案内データを生成し、ARシナリオにおいて拡張様式で表示するためにナビゲーション案内データをARクライアントに送り、ユーザが運転する電気自動車を充電するための充電ステーションに行くようにユーザを案内するために、ナビゲーションプロンプトをARシナリオにおいてユーザに出力することができる。
【００７５】
この例では、本出願が適用可能な適用シナリオは、1つずつ列挙されない。
【００７６】
前の実装形態から、AR技術に基づいて、オンラインLBSサービスをユーザのオフラインユーザ要件と結合させるオフライン対話モードが提供されることを理解されよう。ARサーバは、ユーザのオフラインユーザ要件を事前判定し、ユーザのオフラインユーザ要件に整合するオフラインプレースを探索し、ARクライアントがアップロードしたユーザの位置特定されたロケーションに基づいて、オフラインユーザ要件に整合する最適なオフラインプレースを判定し、ユーザの位置特定されたロケーションから最適なオフラインプレースに到着するためのナビゲーション案内データを生成し、ARクライアントがリアルタイム画像走査によって取得された実像内にナビゲーション案内データを拡張様式で表示し、ナビゲーションプロンプトをユーザに出力することができるように、ナビゲーション案内データをユーザのARクライアントに送る。したがって、ユーザに新しいLBSサービスモードを提供するために、オンラインLBSサービスをユーザの事前判定されたオフラインユーザ要件と継ぎ目なく結合させることができ、それにより、ユーザ経験を改善し、複雑なオフライン環境に適応する。
【００７７】
本出願は、前の方法実装形態に対応する装置実装形態を提供する。
【００７８】
図4を参照すると、本出願は、拡張現実ベースのオフライン対話装置40を提供し、装置40はARサーバに適用される。図5を参照すると、拡張現実ベースのオフライン対話装置40を含むARサーバのハードウェアアーキテクチャは、通常、CPU、メモリ、不揮発性メモリ、ネットワークインターフェース、内部バスなどを含む。たとえば、ソフトウェア実装形態では、拡張現実ベースのオフライン対話装置40は、通常、メモリ内にロードされたコンピュータプログラムがCPU内で実行した後にソフトウェアとハードウェアとを結合させる論理装置であると理解され得る。装置40は、ユーザのオフラインユーザ要件を事前判定するように構成された事前判定モジュール401と、ユーザのオフラインユーザ要件に整合するオフラインプレースを探索するように構成された探査モジュール402と、ARクライアントがアップロードしたユーザの位置特定されたロケーションに基づいて、オフラインユーザ要件に整合する最適なオフラインプレースを判定するように構成された判定モジュール403と、ユーザの位置特定されたロケーションから最適なオフラインプレースに到着するためのナビゲーション案内データを生成し、ARクライアントがリアルタイム画像走査によって取得された実像内にナビゲーション案内データを拡張様式で表示し、ナビゲーションプロンプトをユーザに出力するように、ナビゲーション案内データをユーザのARクライアントに送るように構成された送信モジュール404とを含む。
【００７９】
この例では、事前判定モジュール401は、ユーザに関連付けられるサービスデータを起動させるか、またはユーザの位置特定されたロケーションに関連付けられるサービスデータを起動させ、ユーザのオフラインユーザ要件を判定するために、起動されたサービスデータに関してビッグデータ分析を実行するように構成される。
【００８０】
この例では、事前判定モジュール401は、ARクライアントが対象オブジェクトに対して画像走査を実行した後、ARクライアントがアップロードしたオフライン環境において対象オブジェクトに対応する画像情報を受信することと、事前判定された画像認識アルゴリズムに基づいて画像情報に対して画像認識を実行することと、認識された対象オブジェクトが事前判定されたオブジェクトであるかどうかを判定することであって、事前判定されたオブジェクトが対応するオフラインユーザ要件に関連付けられる、判定することと、対象オブジェクトが事前判定されたオブジェクトである場合、事前判定されたオブジェクトに関連付けられるオフラインユーザ要件をユーザのオフラインユーザ要件として判定することとを行うように構成される。
【００８１】
この例では、対象オブジェクトは、ユーザが手書きしたグラフィカルアイコンである。
【００８２】
事前判定モジュール401は、対象オブジェクトが事前判定されたオブジェクトであると認識された場合、対象オブジェクトとオフラインユーザ要件との間の関連付け関係を確立するようにさらに構成される。
【００８３】
この例では、最適なオフラインプレースは、オフラインユーザ要件に整合し、かつユーザの位置特定されたロケーションの最寄りのオフラインプレースである。
【００８４】
図6を参照すると、本出願は、拡張現実ベースのオフライン対話装置60を提供し、装置60はARクライアントに適用される。図7を参照すると、拡張現実ベースのオフライン対話装置60を含むARクライアントのハードウェアアーキテクチャは、通常、CPU、メモリ、不揮発性メモリ、ネットワークインターフェース、内部バスなどを含む。たとえば、ソフトウェア実装形態では、拡張現実ベースのオフライン対話装置60は、通常、メモリ内にロードされたコンピュータプログラムがCPU内で実行した後、ソフトウェアとハードウェアを結合させる論理装置であると理解され得る。装置60は、ユーザの位置特定されたロケーションをARサーバにアップロードするように構成されたアップロードモジュール601と、ユーザの位置特定されたロケーションから最適なオフラインプレースに到着するためにARサーバが送ったナビゲーション案内データを受信することであって、最適なオフラインプレースが、ARサーバが事前判定したユーザのオフラインユーザ要件に整合する、受信することを行うように構成された受信モジュール602と、ユーザのリアルタイム画像走査動作に応じて、リアルタイム画像走査によって取得された実像内にナビゲーション案内データを拡張様式で表示し、ナビゲーションプロンプトをユーザに出力するように構成された表示モジュール603とを含む。
【００８５】
この例では、アップロードモジュール601は、オフライン環境において対象オブジェクトに対してユーザが実行する画像走査動作に応じて、画像情報に対して画像認識を実行した後で、ARサーバがユーザのオフラインユーザ要件を事前判定するように、走査によって取得された対象オブジェクトに対応する画像情報をARサーバにアップロードするようにさらに構成される。
【００８６】
この例では、対象オブジェクトは、ユーザが手書きしたグラフィカルアイコンである。
【００８７】
装置実装形態は、基本的に、方法実装形態に対応するため、関連する部分については、方法実装形態における関連説明を参照することがある。前に説明した装置実装形態は、単なる例である。別個の部分として説明したユニットは、物理的に別個であってよく、または別個でなくてもよく、ユニットとして表示される部分は、物理的ユニットであってよく、またはそうでなくてもよく、1つの位置内に位置してよく、または複数のネットワークユニット上に分散されてもよい。モジュールのうちのいくつかまたはすべては、本出願における解決策の目的を達成するための実際のニーズに基づいて選択され得る。当業者は、創造的な取組みなしに、本出願の実装形態を理解し実装することができる。
【００８８】
前の実装形態で示した、システム、装置、モジュール、またはユニットは、コンピュータチップまたはエンティティを使用することによって実装され得るか、または一定の機能を有する製品を使用することによって実装され得る。典型的な実装デバイスはコンピュータであり、コンピュータは、パーソナルコンピュータ、ラップトップコンピュータ、セルラーフォン、カメラフォン、スマートフォン、携帯情報端末、メディアプレイヤ、ナビゲーションデバイス、電子メール送受信デバイス、ゲームコンソール、タブレットコンピュータ、ウェアラブルデバイス、またはこれらのデバイスの任意の組合せであり得る。
【００８９】
当業者は、ここで、本明細書を考慮し、本開示を実践した後、本出願の別の実装解決策を容易に見出すことができる。本出願は、本出願のいずれの改変、機能、または適応変更更も対象とすることを意図する。これらの改変、機能、または適応変更は、本出願の一般原理に準拠し、本出願で開示されない技術分野における一般的な知識または一般に使用される技術手段を含む。本明細書および実装形態は、単なる例と見なされる。本出願の実際の範囲および趣旨は、以下の特許請求の範囲において指摘される。
【００９０】
本出願は、上記で説明し、添付の図面で示した正確な構造に限定されず、本出願の範囲から逸脱せずに、様々な修正および変更が行われ得ることを理解されたい。本出願の範囲は、添付の特許請求の範囲によってのみ限定される。
【００９１】
前の説明は、本出願の実装形態の単なる例であるが、本出願を限定することを意図しない。本出願の趣旨および原理から逸脱せずに行われるいずれの修正、等化の置換、または改善も、本出願の保護範囲内である。
【符号の説明】
【００９２】
40  拡張現実ベースのオフライン対話装置
60  拡張現実ベースのオフライン対話装置
401  事前判定モジュール
402  探査モジュール
403  判定モジュール
404  送信モジュール
601  アップロードモジュール
602  受信モジュール
603  表示モジュール
【図１】
0006905061.tif 000002
【図２】
0006905061.tif 000003
【図３】
0006905061.tif 000004
【図４】
0006905061.tif 000005
【図５】
0006905061.tif 000006
【図６】
0006905061.tif 000007
【図７】
0006905061.tif 000008