(57)【特許請求の範囲】
【請求項１】
現実感拡張方法において、
識別されるべきオブジェクトの画像情報を含む、該オブジェクトに関する情報を得て、
前記画像情報をサーバに送信して、該画像情報に応じて前記サーバから戻された、前記オブジェクトの拡張情報及び該拡張情報の表示位置情報を受信し、
該表示位置情報に応じて前記拡張情報及び画像情報を合わせて表示し、
前記拡張情報は、
前記オブジェクトの画像情報を識別して、該画像情報の識別されるべき複数の第２のオブジェクト、第２のオブジェクト夫々の名称、第２のオブジェクト夫々の識別確率、及び第２のオブジェクト夫々の位置情報を得て、
対象の第２のオブジェクトの識別確率が所定の閾値より大きいと判定した場合、対象の第２のオブジェクトの名称及び位置情報に応じて識別結果を得て、対象の第２のオブジェクトの識別確率が前記所定の閾値より小さいと判定した場合、対象の第２のオブジェクトの識別確率が前記所定の閾値より大きくなるまで、対象の第２のオブジェクトを再識別し、
得られた識別結果に応じて前記識別されるべきオブジェクトの拡張情報を生成する
ことにより得られた情報であることを特徴とする方法。
【請求項２】
前記情報は、前記オブジェクトの音情報及び位置情報を更に含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記画像情報を前記サーバに送信する際に、前記画像情報を前処理して処理された情報を得て、該処理された情報を前記サーバに送信する、及び／又は
前記表示位置情報に応じて前記拡張情報及び画像情報を合わせて表示する際に、ホログラフィ正面投影表示モードを含む所定のモードで前記拡張情報及び画像情報を合わせて表示することを特徴とする請求項１又は２に記載の方法。
【請求項４】
現実感拡張方法において、
クライアントによって送信された、識別されるべき第１のオブジェクトの画像情報を含む、該第１のオブジェクトに関する情報を受信し、
前記画像情報を識別して識別結果を得て、該識別結果に応じて前記第１のオブジェクトの拡張情報及び該拡張情報の表示位置情報を生成し、
前記クライアントが前記表示位置情報に応じて拡張情報及び画像情報を合わせて表示するように、前記拡張情報及び前記表示位置情報を前記クライアントに戻し、
前記画像情報を識別して識別結果を得る際に、
前記第１のオブジェクトの画像情報を識別して、該画像情報の識別されるべき複数の第２のオブジェクト、第２のオブジェクト夫々の名称、第２のオブジェクト夫々の識別確率、及び第２のオブジェクト夫々の位置情報を得て、
対象の第２のオブジェクトの識別確率が所定の閾値より大きいと判定した場合、対象の第２のオブジェクトの名称及び位置情報に応じて識別結果を得て、対象の第２のオブジェクトの識別確率が前記所定の閾値より小さいと判定した場合、対象の第２のオブジェクトの識別確率が前記所定の閾値より大きくなるまで、対象の第２のオブジェクトを再識別することを特徴とする方法。
【請求項５】
現実感拡張方法において、
クライアントによって送信された、識別されるべき第１のオブジェクトの画像情報を含む、該第１のオブジェクトに関する情報を受信し、
前記第１のオブジェクトに対応するタイプ情報を得て、該タイプ情報に応じて使用されるべき識別モデルの順序を決定し、該順序に従って前記識別モデルを使用して前記情報を識別し、識別結果を得る、及び／又は
前記識別モデルを並行に使用して前記情報を識別して識別結果を得て、
該識別結果に応じて前記第１のオブジェクトの拡張情報及び該拡張情報の表示位置情報を生成し、
前記クライアントが前記表示位置情報に応じて拡張情報及び画像情報を合わせて表示するように、前記拡張情報及び前記表示位置情報を前記クライアントに戻すことを特徴とする方法。
【請求項６】
前記順序に従って前記識別モデルを使用して前記情報を識別し、識別結果を得る際に、ローカル情報源から得られた情報と組み合わせて前記順序に従って前記識別モデルを使用して前記情報を識別し、識別結果を得る、及び／又は
前記識別モデルを並行に使用して前記情報を識別して識別結果を得る際に、ローカル情報源から得られた情報と組み合わせて前記識別モデルを並行に使用して前記情報を識別し、識別結果を得ることを特徴とする請求項５に記載の方法。
【請求項７】
前記情報を識別して識別結果を得る際に、
前記第１のオブジェクトの画像情報を識別して、該画像情報の識別されるべき複数の第２のオブジェクト、第２のオブジェクト夫々の名称、第２のオブジェクト夫々の識別確率、及び第２のオブジェクト夫々の位置情報を得て、
対象の第２のオブジェクトの識別確率が所定の閾値より大きいと判定した場合、対象の第２のオブジェクトの名称及び位置情報に応じて識別結果を得て、対象の第２のオブジェクトの識別確率が前記所定の閾値より小さいと判定した場合、対象の第２のオブジェクトの識別確率が前記所定の閾値より大きくなるまで、対象の第２のオブジェクトを再識別することを特徴とする請求項６に記載の方法。
【請求項８】
前記識別結果に応じて前記第１のオブジェクトの拡張情報を生成する際に、前記識別結果に応じて前記第１のオブジェクトの関連情報をローカル情報源から得て、前記関連情報及び識別結果を統合して前記拡張情報を生成する、及び／又は
前記情報は、前記第１のオブジェクトの音情報及び位置情報を更に含むことを特徴とす
る請求項４乃至７のいずれかに記載の方法。
【請求項９】
識別されるべきオブジェクトの画像情報を含む、該オブジェクトに関する情報を得るように構成された取得モジュールと、
前記画像情報をサーバに送信して、該画像情報に応じて前記サーバから戻された、前記オブジェクトの拡張情報及び該拡張情報の表示位置情報を受信するように構成された通信モジュールと、
前記表示位置情報に応じて前記拡張情報及び前記画像情報を合わせて表示するように構成された表示モジュールと
を備え、
前記拡張情報は、
前記オブジェクトの画像情報を識別して、該画像情報の識別されるべき複数の第２のオブジェクト、第２のオブジェクト夫々の名称、第２のオブジェクト夫々の識別確率、及び第２のオブジェクト夫々の位置情報を得て、
対象の第２のオブジェクトの識別確率が所定の閾値より大きいと判定した場合、対象の第２のオブジェクトの名称及び位置情報に応じて識別結果を得て、対象の第２のオブジェクトの識別確率が前記所定の閾値より小さいと判定した場合、対象の第２のオブジェクトの識別確率が前記所定の閾値より大きくなるまで、対象の第２のオブジェクトを再識別し、
得られた識別結果に応じて前記識別されるべきオブジェクトの拡張情報を生成する
ことにより得られた情報であることを特徴とするクライアントデバイス。
【請求項１０】
前記情報は、前記オブジェクトの音情報及び位置情報を更に含む、及び／又は
前記通信モジュールは、前記画像情報を前処理して処理された情報を得て、該処理された情報を前記サーバに送信するように構成されている、及び／又は
前記表示モジュールは、ホログラフィ正面投影表示モードを含む所定のモードで前記拡張情報及び前記画像情報を合わせて表示するように構成されていることを特徴とする請求項９に記載のクライアントデバイス。
【請求項１１】
クライアントによって送信された、識別されるべき第１のオブジェクトの画像情報を含む、前記第１のオブジェクトに関する情報を受信するように構成された受信モジュールと、
前記画像情報を識別して識別結果を得て、該識別結果に応じて前記第１のオブジェクトの拡張情報及び該拡張情報の表示位置情報を生成するように構成された処理モジュールと、
前記クライアントが前記表示位置情報に応じて前記拡張情報及び前記画像情報を表示するように、前記拡張情報及び表示位置情報を前記クライアントに戻すように構成された戻しモジュールと
を備え、
前記処理モジュールは、
前記第１のオブジェクトの画像情報を識別して、該画像情報の識別されるべき複数の第２のオブジェクト、第２のオブジェクト夫々の名称、第２のオブジェクト夫々の識別確率及び第２のオブジェクト夫々の位置情報を得るように構成された第１の識別サブユニットと、
対象の第２のオブジェクトの識別確率が所定の閾値より大きいと判定した場合、対象の第２のオブジェクトの名称及び位置情報に応じて識別結果を得る、又は、対象の第２のオブジェクトの識別確率が前記所定の閾値より小さいと判定した場合、対象の第２のオブジェクトの識別確率が前記所定の閾値より大きくなるまで対象の第２のオブジェクトを再識別するように構成された第２の識別サブユニットと
を有する識別ユニットを含むことを特徴とするサーバ。
【請求項１２】
クライアントによって送信された、識別されるべき第１のオブジェクトの画像情報を含む、前記第１のオブジェクトに関する情報を受信するように構成された受信モジュールと、
前記情報を識別して識別結果を得て、該識別結果に応じて前記第１のオブジェクトの拡張情報及び該拡張情報の表示位置情報を生成するように構成された処理モジュールと、
前記クライアントが前記表示位置情報に応じて前記拡張情報及び前記画像情報を表示するように、前記拡張情報及び表示位置情報を前記クライアントに戻すように構成された戻しモジュールと
を備え、
前記処理モジュールは、
前記第１のオブジェクトに対応するタイプ情報を得て、該タイプ情報に応じて使用されるべき識別モデルの順序を決定し、該順序に従って対応する識別モデルを使用して前記情報を識別して識別結果を得るように構成された識別ユニット、及び／又は
対応する識別モデルを並行に使用して前記情報を識別して識別結果を得るように構成された識別ユニット
を有していることを特徴とするサーバ。
【請求項１３】
前記識別ユニットは、ローカル情報源から得られる情報と組み合わせて前記順序に従って前記識別モデルを使用して前記情報を識別し、識別結果を得るように構成されている、及び／又は
前記識別ユニットは、前記ローカル情報源から得られる情報と組み合わせて前記識別モデルを並行に使用して前記情報を識別し、識別結果を得るように構成されていることを特徴とする請求項１２に記載のサーバ。
【請求項１４】
前記識別ユニットは、
前記第１のオブジェクトの画像情報を識別して、該画像情報の識別されるべき複数の第２のオブジェクト、第２のオブジェクト夫々の名称、第２のオブジェクト夫々の識別確率及び第２のオブジェクト夫々の位置情報を得るように構成された第１の識別サブユニットと、
対象の第２のオブジェクトの識別確率が所定の閾値より大きいと判定した場合、対象の第２のオブジェクトの名称及び位置情報に応じて識別結果を得る、又は、対象の第２のオブジェクトの識別確率が前記所定の閾値より小さいと判定した場合、対象の第２のオブジェクトの識別確率が前記所定の閾値より大きくなるまで対象の第２のオブジェクトを再識別するように構成された第２の識別サブユニットと
を有することを特徴とする請求項１３に記載のサーバ。
【請求項１５】
前記処理モジュールは、前記識別結果に応じてローカル情報源から前記第１のオブジェクトの関連情報を得て、該関連情報及び前記識別結果を統合し、前記拡張情報を生成するように構成された統合ユニットを有している、及び／又は
前記情報は、前記第１のオブジェクトの音情報及び位置情報を更に含むことを特徴とする請求項１１乃至１４のいずれかに記載のサーバ。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示の実施形態は一般的にコンピュータ技術の分野に関し、より具体的には現実感拡張方法、クライアントデバイス及びサーバに関する。
【背景技術】
【０００２】
拡張現実（AR）技術は、仮想現実感に基づいて開発された新しい技術であり、この技術は、コンピュータシステムによって与えられる情報により現実世界のユーザの知覚を拡張して、仮想オブジェクト、仮想シーン及びシステム命令情報を現実シーンに加えるため、現実感「拡張」が実現される。
【０００３】
現在、ソーシャルアプリケーションプログラム、地図アプリケーションプログラムなどの、AR技術を使用したアプリケーションプログラムにおける現実感拡張コンテンツが、開発者によって完成している。具体的には、開発者は、地理的位置及びイメージマークマッチに基づく現実感拡張コンテンツを準備し、ユーザが現実感拡張コンテンツに応じて所望のオブジェクトの有用な情報を得ることができるようにアプリケーションプログラムのソフトウェア開発キット（SDK ）に現実感拡張コンテンツを密閉する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、AR技術を使用した従来のアプリケーションプログラムは、画像識別に基づいたモードの効果が不十分であるという主な理由により、画像識別情報に基づいた現実感拡張のモードを完全にはサポートしていない可能性がある。特には、ユーザが画像に基づいた従来のアプリケーションプログラムに要求を送信し、画像もアプリケーションプログラムによって識別され得る場合、ユーザが有用な情報を得ることができるように、画像の有用な情報が示され得ない。従って、従来のアプリケーションプログラムによってもたらされる経験は理想的ではない。
【０００５】
本開示の実施形態は、関連技術に存在する問題の少なくとも１つを少なくともある程度まで解決しようとしている。
【０００６】
従って、本開示の第１の目的は、現実感拡張のための新しい相互作用方法を提供し得る現実感拡張方法を提供することである。該現実感拡張方法では、識別されるべきオブジェクトの拡張情報をオブジェクトの画像情報に応じて得ることができ、ひいてはユーザが、拡張情報に応じてオブジェクトの有用な情報を得ることができる。前記方法により、ユーザが識別されるべきオブジェクトを知ることが便利になり、ユーザ経験が高められる。
【０００７】
本開示の第２の目的は、現実感拡張方法を提供することである。
【０００８】
本開示の第３の目的は、クライアントデバイスを提供することである。
【０００９】
本開示の第４の目的は、サーバを提供することである。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本開示の第１の態様の実施形態は現実感拡張方法を提供する。本開示の実施形態に係る現実感拡張方法では、識別されるべきオブジェクトの画像情報を含む、該オブジェクトに関する情報を得て、該情報をサーバに送信して、該情報に応じて前記サーバから戻された、前記オブジェクトの拡張情報及び該拡張情報の表示位置情報を受信し、該表示位置情報に応じて前記拡張情報及び前記画像情報を合わせて表示する。
【００１１】
本開示の実施形態に係る現実感拡張方法では、識別されるべきオブジェクトに関する情報をサーバに送信して、該サーバから戻された、前記オブジェクトの拡張情報及び該拡張情報の表示位置情報を受信し、前記オブジェクトの画像情報及び拡張情報を合わせて表示する。このようにして、ユーザは拡張情報によってオブジェクトの有用な情報を得ることができ、ひいてはユーザが識別されるべきオブジェクトを知ることを便利にする。
【００１２】
本開示の第２の態様の実施形態は現実感拡張方法を提供する。本開示の実施形態に係る現実感拡張方法では、クライアントによって送信された、識別されるべき第１のオブジェクトの画像情報を含む、該第１のオブジェクトに関する情報を受信し、該情報を識別して識別結果を得て、該識別結果に応じて前記第１のオブジェクトの拡張情報及び該拡張情報の表示位置情報を生成し、前記クライアントが前記表示位置情報に応じて拡張情報及び画像情報を合わせて表示するように、前記拡張情報及び前記表示位置情報を前記クライアントに戻す。
【００１３】
本開示の実施形態に係る現実感拡張方法では、クライアントによって送信された、識別されるべき第１のオブジェクトに関する情報を受信し、該情報を識別して識別結果を得て、該識別結果に応じて前記第１のオブジェクトの拡張情報及び該拡張情報の表示位置情報を生成し、前記拡張情報及び前記表示位置情報を前記クライアントに送信する。従って、現実感拡張のための新しい相互作用モードが提供されるため、クライアントは識別されるべき第１のオブジェクトの拡張情報を得ることができる。このようにして、ユーザは拡張情報によってオブジェクトの有用な情報を得ることができ、ひいてはユーザが識別されるべき第１のオブジェクトを知ることを便利にする。
【００１４】
本開示の第３の態様の実施形態はクライアントデバイスを提供する。本開示の実施形態に係るクライアントデバイスは、識別されるべきオブジェクトの画像情報を含む、該オブジェクトに関する情報を得るように構成された取得モジュールと、前記情報をサーバに送信して、該情報に応じて前記サーバから戻された、前記オブジェクトの拡張情報及び該拡張情報の表示位置情報を受信するように構成された通信モジュールと、前記表示位置情報に応じて前記拡張情報及び前記画像情報を合わせて表示するように構成された表示モジュールとを備えている。
【００１５】
本開示の実施形態に係るクライアントデバイスでは、前記取得モジュールは、識別されるべきオブジェクトに関する情報を得て、前記通信モジュールは前記情報をサーバに送信して、該サーバから戻された、前記オブジェクトの拡張情報及び該拡張情報の表示位置情報を受信し、前記表示モジュールは、前記オブジェクトの画像情報及び拡張情報を合わせて表示する。このようにして、ユーザは拡張情報によってオブジェクトの有用な情報を得ることができ、ひいてはユーザが識別されるべきオブジェクトを知ることを便利にする。
【００１６】
本開示の第４の態様の実施形態はサーバを提供する。本開示の実施形態に係るサーバは、クライアントによって送信された、識別されるべき第１のオブジェクトの画像情報を含む、前記第１のオブジェクトに関する情報を受信するように構成された受信モジュールと、前記情報を識別して識別結果を得て、該識別結果に応じて前記第１のオブジェクトの拡張情報及び該拡張情報の表示位置情報を生成するように構成された処理モジュールと、前記クライアントが前記表示位置情報に応じて前記拡張情報及び前記画像情報を表示するように、前記拡張情報及び表示位置情報を前記クライアントに戻すように構成された戻しモジュールとを備えている。
【００１７】
本開示の実施形態に係るサーバでは、前記受信モジュールは、クライアントによって送信された、識別されるべき第１のオブジェクトに関する情報を受信して、前記処理モジュールは前記情報を識別して識別結果を得て、該識別結果に応じて前記第１のオブジェクトの拡張情報及び該拡張情報の表示位置情報を生成し、前記戻しモジュールは、前記拡張情報及び表示位置情報をクライアントに送信する。従って、現実感拡張のための新しい相互作用モードが提供されるため、クライアントは識別されるべき第１のオブジェクトの拡張情報を得ることができる。このようにして、ユーザは拡張情報によってオブジェクトの有用な情報を得ることができ、ひいてはユーザが識別されるべき第１のオブジェクトを知ることを便利にする。
【００１８】
本開示の実施形態の更なる態様及び利点は、以下の記載にある程度述べられており、以下の記載からある程度明らかになるか、又は本開示の実施形態の実施から習得される。
【００１９】
本開示の実施形態のこれら及び他の態様及び利点は、添付図面を参照した以下の記載から明らかになり、より容易に理解される。
【図面の簡単な説明】
【００２０】
【図１】本開示の実施形態に係る現実感拡張方法を示すフローチャートである。
【図２】本開示の実施形態に係る現実感拡張方法を示すフローチャートである。
【図３】本開示の実施形態に係るクライアントデバイスを示す概略図である。
【図４】本開示の実施形態に係るサーバを示す概略図である。
【図５】本開示の別の実施形態に係るサーバを示す概略図である。
【発明を実施するための形態】
【００２１】
本開示の実施形態を詳細に述べる。本開示の実施形態が図面に示されており、図面には同一若しくは同様の要素、又は同一若しくは同様の機能を有する要素が、本明細書を通じて同一の参照番号によって示されている。本明細書に図面を参照して記載されている実施形態は説明及び実例のためのものであり、本開示を限定するためと解釈されてはならない。
【００２２】
本開示の実施形態に係る現実感拡張方法、クライアントデバイス及びサーバを、図面を参照して以下に詳細に述べる。
【００２３】
図１は、本開示の実施形態に係る現実感拡張方法を示すフローチャートである。本実施形態をクライアント側で述べる。図１に示されているように、本開示の実施形態に係る現実感拡張方法は、以下のステップを有する。
【００２４】
ステップS101では、識別されるべきオブジェクトに関する情報を得る。該情報はオブジェクトの画像情報を含む。
【００２５】
ある実施形態では、クライアントは、モバイル端末又は現実感拡張グラスのようなウェアラブル装置であってもよい。モバイル端末は、携帯電話、タブレットコンピュータなどの様々な操作システムを有するあらゆるハードウェアデバイスであってもよい。
【００２６】
ある実施形態では、識別されるべきオブジェクトの情報は、識別されるべきオブジェクトの音情報、位置情報、及びセンサによって取得可能な様々なデータの内の少なくとも１つを更に含む。
【００２７】
ある実施形態では、クライアントは、オンされた後、カメラを用いることにより識別されるべきオブジェクトの画像情報を得て、音収集デバイスを用いることにより識別されるべきオブジェクトの音情報を得て、位置収集モジュールを用いることにより識別されるべきオブジェクトの位置情報を得てもよい。
【００２８】
ステップS102では、前記情報をサーバに送信し、該情報に応じてサーバから戻された、オブジェクトの拡張情報及び拡張情報の表示位置情報を受信する。
【００２９】
ある実施形態では、識別されるべきオブジェクトの拡張情報が、推薦情報、音情報及び地理的なサービス情報の内の少なくとも１つを含んでもよいが、これに限定されなくてもよい。
【００３０】
ある実施形態では、クライアントは、識別されるべきオブジェクトの画像情報、音情報及び位置情報を受信した後、処理された情報に応じて拡張情報を戻すためのサーバの効率を高めるように、画像情報を分割する及び／又は圧縮する、音情報をノイズ除去する及び／又はフィルタ処理するなど、情報を前処理して処理された情報を得てもよい。
【００３１】
ある実施形態では、クライアントは、情報を前処理した後、処理された情報をサーバに送信する。サーバは、識別されるべきオブジェクトの情報を受信した後、情報を識別して識別結果を得て、識別結果に応じて、識別されるべきオブジェクトの拡張情報及び拡張情報の表示位置情報を生成し、拡張情報及び表示位置情報をクライアントに戻す。
【００３２】
ある実施形態では、拡張情報の表示位置情報は、サーバによって識別されるべきオブジェクトの画像情報に予め設定されている位置であって、拡張情報を示すことができる該位置を含んでもよい。
【００３３】
ステップS103では、表示位置情報に応じてオブジェクトの拡張情報及び画像情報を合わせて表示する。  
【００３４】
ある実施形態では、クライアントは、サーバから戻された拡張情報及び表示位置情報を受信して、拡張情報を描画し、クライアントによって得られた画像情報に所定のモードで重ねる。例えば、拡張情報及び画像情報は、画像情報に表示される拡張情報が三次元空間感覚を与えることができるホログラフィ正面投影表示モードで表示されてもよい。このように、拡張情報及び画像情報を合わせて表示することができ、従って、画像情報の現実感を高めて、ユーザが識別されるべきオブジェクトを知ることを便利にする。
【００３５】
ある実施形態では、例えば、中華人民共和国の北京にある紫禁城の画像情報及び地理情報に基づいて紫禁城の拡張情報を得るために、現実感拡張方法を使用する。まず、画像情報をクライアントで得る。クライアントは、（画像情報を分割して圧縮するなど）画像情報を前処理して処理された画像情報を得て、処理された画像情報及び地理情報をサーバに送信する。サーバは、クライアントから送信された、識別されるべきオブジェクト（つまり、紫禁城）の画像情報及び地理情報を受信した後、識別されるべきオブジェクトのタイプをまず検出して、オブジェクトがシーンであると決定し、次に地理情報をまず識別し、その後で画像情報を識別する。具体的には、まず、識別されるべきオブジェクトの地理情報を識別して、オブジェクトの位置情報を得て、その後、画像情報に対応する簡単な情報を得るように画像情報をサーバ内の画像識別モデルに応じて識別する。その後、画像情報の詳細情報及び推薦データを簡単な情報に応じて情報源システムから得る。画像情報の位置情報、詳細情報及び推薦データが、紫禁城の画像情報の拡張情報である。サーバは、紫禁城の画像情報の拡張情報を得た後、拡張情報の表示位置情報を生成して拡張情報及び表示位置情報をクライアントに戻す。最後に、クライアントは紫禁城の画像情報及び拡張情報を合わせて表示する。ある実施形態では、サーバは、紫禁城の画像情報に対応する音声ファイルをローカル情報源から得てもよい。音声ファイルは、紫禁城の画像情報にシーン又はオブジェクトの音声概要を含んでもよい。音声概要を用いて、ユーザは、紫禁城のシーン又はオブジェクトに関する情報を更に学習してもよい。
【００３６】
ある実施形態では、例えば、犬の画像情報及び音情報に基づいて犬の拡張情報を得るために、現実感拡張方法を使用する。まず、犬の画像情報及び音情報をクライアントを介してサーバにアップロードする。サーバは、クライアントから送信された、識別されるべきオブジェクト（つまり犬）の画像情報及び音情報を受信し、まずオブジェクトのタイプを検出して、オブジェクトが動物であると決定し、次に音情報をまず識別して、その後で画像情報を識別する。具体的には、音情報に対応する犬の種類を得るように、ローカルに記憶された音識別モデルに応じて音情報を識別する。その後、犬の名称のような、画像情報に対応する簡単な情報を得るように、ローカルに記憶された画像識別モデルに応じて画像情報を識別する。犬の特性、飼育情報、近くの動物病院などの詳細情報及び推薦データを含む拡張情報を、簡単な情報に応じて情報源システムから得てもよい。画像情報に関する、拡張情報の表示位置情報を生成し、拡張情報及び表示位置情報をクライアントに送信する。クライアントは最後に、ユーザの画像情報及び拡張情報を合わせて表示する。このように、ユーザは犬に関するより完全な知識を有することができ、ひいてはユーザによる犬の飼育を便利にする。
【００３７】
ある実施形態では、例えば、サーバは車輌の画像情報を得た後、（有名な自動車、価格、性能、関連する購入推薦データなどの）拡張情報及び表示位置情報をクライアントに戻してもよく、従って、ユーザはクライアントに示される拡張情報に応じて車輌のより完全な知識を有することができ、ユーザ経験が高められ得る。
【００３８】
本開示の実施形態に係る現実感拡張方法では、識別されるべきオブジェクトに関する情報をサーバに送信し、サーバから戻されたオブジェクトの拡張情報及び拡張情報の表示位置情報を受信し、オブジェクトの画像情報及び拡張情報を合わせて表示する。このように、ユーザは拡張情報によってオブジェクトの有用な情報を得ることができ、ひいてはユーザが識別されるべきオブジェクトを知ることを便利にする。
【００３９】
図２は、本開示の実施形態に係る現実感拡張方法を示すフローチャートである。本実施形態をサーバ側で述べる。図２に示されているように、本開示の実施形態に係る現実感拡張方法は、以下のステップを有する。
【００４０】
ステップS201では、クライアントによって送信された、識別されるべき第１のオブジェクトの情報を受信する。
【００４１】
ある実施形態では、サーバは、クライアントによって送信された、識別されるべきオブジェクトの画像情報だけでなく、識別されるべきオブジェクトの音情報及び位置情報並びに様々なセンサから取得可能なデータの内の少なくとも１つも受信してもよい。
【００４２】
ステップS202では、情報を識別して識別結果を得て、識別結果に応じて第１のオブジェクトの拡張情報及び拡張情報の表示位置情報を生成する。
【００４３】
ある実施形態では、複数の識別モデルを順番に／並行に使用して情報を識別してもよい。ある実施形態では、識別モデルを順番に使用して情報を識別する。本実施形態では、まず、識別されるべきオブジェクトのタイプ情報を得て、使用される識別モデルの順序をタイプ情報に応じて決定し、その後、順序に従って識別モデルを使用して情報を識別し、最後に識別結果を得る。例えば、識別されるべきオブジェクトの音情報をまず識別し、オブジェクトがあるタイプであると識別した後（例えば、ある確率に達した後）、オブジェクトの画像情報を識別し、その後、識別されたあるタイプに基づいて画像情報を更に識別し、それ故、識別確率が高められる。オブジェクトのカテゴリをオブジェクトの特定の名称（例えば識別子）を識別せずに決定する場合、識別結果を得るように、決定したカテゴリでオブジェクトの音情報又は他の情報を識別する。ある実施形態では、識別モデルを並行に使用して情報を識別し、その後、識別結果を得る。例えば、線形の式Y=ax1+bx2+cx3......によってモデルトレーニングを行なうことにより情報を識別してもよい。Y は、識別されるべきオブジェクトの最終識別確率を表わし、x1は、音識別モデルを使用した識別確率を表し、x2は、画像識別確率を使用した識別確率を表し、x3は、位置識別モデルを使用した識別確率を表し、a,b 及びc は、履歴データに応じた識別モデルに対応する係数を表す。この線形の式は本実施形態において単なる例示として使用されており、二次式又は更に複雑な式を本開示の実施形態で使用してもよい。ある実施形態では、識別モデルの順番に従った使用と組み合わせて識別モデルを並行に使用して情報を識別してもよい。このようにして、識別確率及び識別精度の両方を高めることができる。
【００４４】
上述した識別モデルを並行に又は順番に使用した情報の識別が、サーバが統合処理中に使用するアルゴリズムであってもよいことに留意すべきである。サーバが通信機能を有しており、サーバが、通信機能に基づいて上記の典型的なアルゴリズムを使用して識別を行なってもよいことは、本技術分野の当業者に周知である。
【００４５】
ある実施形態では、サーバは、クライアントから送信された、識別されるべき第１のオブジェクトに関する情報を得た後、識別されるべき第１のオブジェクトに関する情報に応じて識別されるべき第１のオブジェクトのタイプ情報を得る。タイプ情報は、動物のタイプ、シーンのタイプなどを含んでもよいが、これらに限定されない。識別されるべき第１のオブジェクトのタイプ情報を得た後、タイプ情報に応じて決定された識別モードで情報を識別して識別結果を得る。ある実施形態では、識別されるべき第１のオブジェクトに関する情報の順序をタイプ情報に応じて決定して、順序に従って第１のオブジェクトを識別し、その後、識別結果を得る。
【００４６】
ある実施形態では、ローカル情報源から得られる情報に応じて情報を識別モードで識別し、識別結果を得る。ローカル情報源を、百度百科（Baidu Encyclopedia）、検索推薦データなどの内の少なくとも１つに基づいて確立してもよい。
【００４７】
ある実施形態では、第１のオブジェクトの画像情報を識別する際に、第１のオブジェクトの画像情報が複数の第２のオブジェクトを含むと判定した場合、画像情報の第２のオブジェクト夫々及び第２のオブジェクト夫々の位置を得るように画像情報を分割し、第２のオブジェクト夫々及び第２のオブジェクト夫々の位置を識別し、その後、画像情報の第２のオブジェクト夫々の名称、識別確率及び位置情報を得る。
【００４８】
ある実施形態では、対象の第２のオブジェクトの識別確率が所定の閾値より大きいと判定した場合、対象の第２のオブジェクトの名称及び位置情報に応じて識別結果を得る。ある実施形態では、対象の第２のオブジェクトの識別確率が所定の閾値より小さいと判定した場合、つまり、現在使用されている識別モデルが適切ではない場合、対象の第２のオブジェクトの識別確率が所定の閾値より大きくなるまで、対象の第２のオブジェクトを別の識別モデルを使用して再識別する。
【００４９】
ある実施形態では、識別結果を得た後、識別されるべき第１のオブジェクトの関連情報を識別結果に応じてローカル情報源から得る。その後、関連情報及び識別結果を統合して、第１のオブジェクトの拡張情報を生成する。
【００５０】
ある実施形態では、本開示の実施形態に係る現実感拡張方法を、２つの犬画像を含む画像情報の拡張情報を得るために使用してもよい。本実施形態の詳細を以下に述べる。
【００５１】
本実施形態では、サーバが画像情報をまず分割して、画像情報の２つの犬画像及び犬画像の位置を得て、２つの犬画像を、犬画像の位置に従って、例えば左から右の順序に従って識別する。例えば、左の犬画像をローカルの画像識別モデルに応じて識別して識別確率を得る。識別確率が80％のような所定の閾値より大きい場合、左の犬画像の名称が現在の画像識別モデルに対応する名称であると判定する。識別確率が80％のような所定の閾値より小さい場合、左の犬画像の識別確率が80％のような所定の閾値より大きくなるまで、左の犬画像を別の画像識別モードを使用して再識別し、その後、左の犬画像の名称を現在の画像識別モデルに応じて決定する。左の犬画像の名称を決定した後、犬の特性、飼育情報、近くの動物病院などの左の犬画像の関連情報をローカル情報源から得て、関連情報及び識別結果（例えば、識別されるべき犬画像の名称）を統合し、犬の拡張情報を生成する。
【００５２】
画像情報における左の犬画像の拡張情報を得た後、右の犬画像の拡張情報を、上述した処理と同様の処理を使用して得てもよい。
【００５３】
ステップS203では、クライアントが拡張情報及び画像情報を合わせて表示するように、拡張情報及び表示位置情報をクライアントに戻す。このようにして、現実感拡張が達成され得る。
【００５４】
本開示のある実施形態によれば、画像情報の拡張情報を得た後、拡張情報をクライアントに戻し、クライアントは拡張情報を受信して、拡張情報を描画し、クライアントによって得られた画像情報に所定の方法で重ね、拡張情報及び画像情報をホログラフィ正面投影表示モードで表示してもよい。このように、クライアントは拡張情報及び画像情報を合わせて表示することができ、ひいては、画像情報の現実感を高めて、ユーザが識別されるべきオブジェクトを知ることを便利にする。
【００５５】
本開示の実施形態に係る現実感拡張方法では、ヒト脳をシミュレートして情報を一体的に処理し、従って、識別されるべき第１のオブジェクトの識別確率を高める。画像識別は現実感拡張方法において重要である場合があり、様々な異なる識別モデルを順番に及び／又は並行に使用して識別してもよい。従って、識別確率を大幅に高めて、有用な情報源を統合し、それに応じて、現実感拡張のための適用を準備してもよい。
【００５６】
本開示の実施形態に係る現実感拡張方法では、クライアントによって送信された、識別されるべき第１のオブジェクトに関する情報を受信し、該情報を識別して識別結果を得て、第１のオブジェクトの拡張情報及び拡張情報の表示位置情報を識別結果に応じて生成し、拡張情報及び表示位置情報をクライアントに送信する。従って、現実感拡張のための新しい相互作用モードが提供されるため、クライアントは識別されるべき第１のオブジェクトの拡張情報を得ることができる。このようにして、ユーザは拡張情報によってオブジェクトの有用な情報を得ることができ、ひいてはユーザが識別されるべき第１のオブジェクトを知ることを便利にする。
【００５７】
本開示の実施形態はクライアントデバイスを更に提供する。クライアントデバイスは、携帯端末、現実感拡張グラスのようなウェアラブル装置などに設けられてもよい。携帯端末は、携帯電話、タブレットコンピュータなどの様々な操作システムを有するハードウェアデバイスを含んでいる。
【００５８】
図３は、本開示の実施形態に係るクライアントデバイスの概略図である。
【００５９】
図３に示されているように、クライアントデバイスは取得モジュール11、通信モジュール12及び表示モジュール13を備えている。
【００６０】
取得モジュール11は、識別されるべきオブジェクトに関する情報を得るように構成されている。
【００６１】
ある実施形態では、識別されるべきオブジェクトに関する情報はオブジェクトの画像情報を含んでいる。
【００６２】
ある実施形態では、識別されるべきオブジェクトに関する情報は、オブジェクトの音情報及び位置情報、並びにセンサによって取得可能な様々なデータを更に含んでいる。
【００６３】
ある実施形態では、識別されるべきオブジェクトに関する情報を得るために、取得モジュール11は、画像収集ユニット、音収集ユニット及び位置収集ユニットのようなユニットの内の少なくとも１つを更に含んでもよい。画像収集ユニットはオブジェクトの画像情報を得るように構成されており、音収集ユニットはオブジェクトの音情報を得るように構成されており、位置収集ユニットはオブジェクトの位置情報を得るように構成されている。
【００６４】
通信モジュール12は、サーバに情報を送信して、該情報に応じてサーバから戻された、オブジェクトの拡張情報及び拡張情報の表示位置情報を受信するように構成されている。
【００６５】
ある実施形態では、拡張情報は推薦情報、音情報及び地理的なサービス情報を含んでもよいが、これらに限定されなくてもよい。
【００６６】
通信モジュール12は、情報を前処理して処理された情報を得て、処理された情報をサーバに送信するように構成されている。ある実施形態では、取得モジュール11がオブジェクトの画像情報、音情報及び位置情報を得た後、通信モジュール12は情報を夫々前処理してもよい。例えば、通信モジュール12は、オブジェクトの画像情報を分割して圧縮し、オブジェクトの音情報をノイズ除去してフィルタ処理することによって情報を前処理してもよい。
【００６７】
通信モジュール12は、オブジェクトに関する情報を前処理した後、処理された情報をサーバに送信するように構成されている。ある実施形態では、サーバは、オブジェクトに関する情報を得た後、情報を識別して識別結果を得て、識別結果に応じてオブジェクトの拡張情報を生成し、更に拡張情報の表示位置情報を与えて、拡張情報及び拡張情報の表示位置情報をクライアントデバイスに戻す。通信モジュール12は、サーバから戻された拡張情報及び表示位置情報を受信する。
【００６８】
表示モジュール13は、表示位置情報に応じてオブジェクトの拡張情報及び画像情報を合わせて表示するように構成されている。従って、現実感拡張が達成され得る。
【００６９】
表示モジュール13は、拡張情報及び画像情報を合わせて所定のモードで表示するように構成されている。ある実施形態では、通信モジュール12がサーバから戻された拡張情報及び表示位置情報を受信した後、表示モジュール13は、拡張情報を描画し、クライアントによって得られた画像情報に所定のモードで重ねる。例えば、表示モジュール13は、画像情報に表示される拡張情報が三次元空間感覚を与えることができるホログラフィ正面投影表示モードで拡張情報及び画像情報を表示してもよい。このように、表示モジュール13は拡張情報及び画像情報を合わせて表示し、ひいては、画像情報の現実感を高めて、ユーザが識別されるべきオブジェクトを知ることを便利にする。
【００７０】
取得モジュール11、通信モジュール12及び表示モジュール13を備えたクライアントデバイスの現実感拡張処理に関しては、図１に示されている現実感拡張方法を言及しているため、本明細書ではその詳細を省略する。
【００７１】
本開示の実施形態に係るクライアントデバイスでは、取得モジュールは、識別されるべきオブジェクトに関する情報を得て、通信モジュールは、サーバに情報を送信して、サーバから戻されたオブジェクトの拡張情報及び拡張情報の表示位置情報を受信し、表示モジュールは、オブジェクトの画像情報及び拡張情報を合わせて表示する。このように、ユーザは拡張情報によってオブジェクトの有用な情報を得ることができ、ひいてはユーザが識別されるべきオブジェクトを知ることを便利にする。
【００７２】
本開示の実施形態はサーバを更に提供する。
【００７３】
図４は、本開示の実施形態に係るサーバの概略図である。
【００７４】
図４に示されているように、サーバは、受信モジュール21、処理モジュール22及び戻しモジュール23を備えている。
【００７５】
受信モジュール21は、クライアントによって送信された、識別されるべき第１のオブジェクトに関する情報を受信するように構成されており、該情報は、第１のオブジェクトの画像情報を含む。
【００７６】
受信モジュール21は、サーバから送信された第１のオブジェクトの画像情報に加えて、第１のオブジェクトの音情報及び位置情報、並びにセンサによって取得可能なデータを受信するように構成されている。
【００７７】
処理モジュール22は、受信モジュール21によって受信した情報を識別して識別結果を得て、識別結果に応じて第１のオブジェクトの拡張情報及び拡張情報の表示位置情報を生成するように構成されている。
【００７８】
戻しモジュール23は、クライアントが表示位置情報に応じて拡張情報及び画像情報を合わせて表示するように、拡張情報及び表示位置情報をクライアントに戻すように構成されている。従って、現実感拡張が実現され得る。
【００７９】
ある実施形態では、図５に示されているように、処理モジュール22は、識別ユニット221 及び統合ユニット222 を有している。
【００８０】
識別ユニット221 は、第１のオブジェクトに対応するタイプ情報を得て、タイプ情報に応じて使用されるべき識別モデルの順序を決定し、順序に従って対応する識別モデルを使用して情報を識別する及び／又は対応する識別モデルを並行に使用して情報を識別して、識別結果を得るように構成されている。統合ユニット222 は、識別結果に応じて第１のオブジェクトの関連情報をローカル情報源から得て関連情報及び識別結果を統合し、第１のオブジェクトの拡張情報を生成するように構成されている。
【００８１】
ある実施形態では、受信モジュール21がクライアントから送信された関連情報を受信した後、識別ユニット221 は、第１のオブジェクトの関連情報に応じて第１のオブジェクトのタイプ情報を得る。タイプ情報は動物、シーンなどを含んでもよいが、これらに限定されない。識別ユニット221 は、タイプ情報を得た後、ローカル情報源からの情報と組み合わせて、順序に従って識別モデルを使用して及び／又は識別モデルを並行に使用して関連情報を識別してもよく、その後、識別結果を得る。
【００８２】
ある実施形態では、識別ユニット221 は、第１の識別サブユニット2211及び第２の識別サブユニット2212を有している。第１の識別サブユニット2211は、第１のオブジェクトの画像情報を識別して、画像情報の識別されるべき複数の第２のオブジェクト、第２のオブジェクト夫々の名称、第２のオブジェクト夫々の識別確率及び第２のオブジェクト夫々の位置情報を得るように構成されている。第２識別サブユニット2212は、対象の第２のオブジェクトの識別確率が所定の閾値より大きいと判定した場合、対象の第２のオブジェクトの名称及び位置情報に応じて識別結果を得るように構成されている。第２識別サブユニット2212は、対象の第２のオブジェクトの識別確率が所定の閾値より小さいと判定した場合、対象の第２のオブジェクトの識別確率が所定の閾値より大きくなるまで、対象の第２のオブジェクトを再識別するように更に構成されている。
【００８３】
受信モジュール21、処理モジュール22及び戻しモジュール23を備えたサーバの現実感拡張処理に関しては、図２に示されている現実感拡張方法を言及しているため、本明細書ではその詳細を省略する。
【００８４】
本開示の実施形態に係るサーバでは、受信モジュールは、クライアントによって送信された、識別されるべき第１のオブジェクトに関する情報を受信し、処理モジュールは情報を識別して識別結果を得て、識別結果に応じて第１のオブジェクトの拡張情報及び拡張情報の表示位置情報を生成し、戻しモジュールは拡張情報及び表示位置情報をクライアントに送信する。従って、現実感拡張のための新しい相互作用モードが提供されるため、クライアントは識別されるべき第１のオブジェクトの拡張情報を得ることができる。このようにして、ユーザは、拡張情報によって第１のオブジェクトの有用な情報を得ることができ、ひいてはユーザが識別されるべき第１のオブジェクトを知ることを便利にする。
【００８５】
本開示の夫々の部分がハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせによって実現されてもよいと理解される。上記の実施形態では、複数のステップ又は方法が、メモリに記憶されて適切な命令実行システムによって実行されるソフトウェア又はファームウェアによって実現されてもよい。例えば、本開示の夫々の部分が別の実施形態で同様にハードウェアによって実現される場合、前記ステップ又は方法は、本技術分野で公知の技術、つまり、データ信号の論理関数を実現するためのロジックゲート回路を有する別個の論理回路、適切な組み合わせロジックゲート回路を有する特定用途向け集積回路、プログラマブルゲートアレイ（PGA ）、フィールドプログラマブルゲートアレイ（FPGA）などの１つ又は組み合わせによって実現されてもよい。
【００８６】
本明細書全体を通じた「実施形態」、「ある実施形態」、「例」、「具体的な例」又は「ある例」への言及は、実施形態又は例に関して述べられている特定の特徴、構造、材料又は特性が本開示の少なくとも１つの実施形態又は例に含まれていることを意味する。本明細書全体を通じたこれらの表現の言及は、必ずしも本開示の同一の実施形態又は例を指さない。更に、特定の特徴、構造、材料又は特性が一若しくは複数の実施形態又は例にあらゆる適切な方法で組み合わせられてもよい。
【００８７】
更に、「第１」及び「第２」のような用語は説明するために本明細書で用いられており、相対的な重要性若しくは意義を示すか意味するか、又は参照された技術的特徴の量を暗に示すように意図されていない。従って、「第１」及び「第２」を用いて定められた特徴はこの特徴の一又は複数を有してもよい。本開示の記載では、「複数の」は特に示されていない場合、この特徴の２又は３以上を意味する。
【００８８】
説明的な実施形態が示され述べられているが、上記の実施形態は本開示を限定すると解釈されることができず、変更、選択及び調整が本開示の趣旨、原理及び範囲から逸脱することなく本実施形態になされ得ることが当業者によって認識される。
【図１】
0005965468.tif 000002
【図２】
0005965468.tif 000003
【図３】
0005965468.tif 000004
【図４】
0005965468.tif 000005
【図５】
0005965468.tif 000006