(57)【要約】【課題】ユーザが興味のある又は関連する空間オブジェクトを効果的に提供する。【解決手段】空間オブジェクト検索並べ替えの方法及びシステムは、モバイル機器において実行される。空間オブジェクト検索並べ替え方法は、先ずモバイル機器の撮影ユニットを起動して実景画像を取得し、システムが画像情報を取得し、システムが同時にモバイル機器の作動時に生成された空間情報を取得し、データベースにおける各空間オブジェクトの空間情報、又はそれに加えて画像情報も比較し、生成された予備的検索結果について並べ替えを行った後、モバイル機器に提供する空間オブジェクトを生成する。並べ替えにおいては、ユーザ関連情報を根拠として関連性の高い空間オブジェクトを提供し、又は、時間、各空間オブジェクトの客観的データ、又はシステムが設定した重み付けを根拠として並べ替えを行うこともできる。最後にモバイル機器が並べ替え順位の高い空間オブジェクトを表示すると共に、その時点での実景の画像と結合する。【選択図】図３
2018049623.tif 000002
【特許請求の範囲】
【請求項１】
モバイル機器において実行される空間オブジェクト検索並べ替え方法において、
前記モバイル機器の撮影ユニットによって実景の画像を取得し、前記空間オブジェクトに対応すると共に画像処理によって生成した色彩領域情報及び線情報を含む画像情報を生成する工程と、
前記モバイル機器の測位回路が生成した測位情報であって地上位置情報及び空間角度情報を含む測位情報を取得する工程と、
前記測位情報及び前記画像情報をクラウドシステムが提供するサーバにアップロードして、前記サーバが前記測位情報を比較し、及び／又は、前記画像情報から生成された予備的検索結果であって前記測位情報及び／又は前記画像情報に対応する複数の前記空間オブジェクトを含む予備的検索結果を比較する工程と、
前記予備的検索結果に対して並べ替えを実行した後に出力された１つの又は複数の空間オブジェクトを前記サーバから受信する工程と、を含み、
前記並べ替えは、ユーザ関連情報に基づいて、関連性の高い空間オブジェクトの優先順位を高く設定し、関連性の低い空間オブジェクトの優先順位を低く設定する、
ことを特徴とする空間オブジェクト検索並べ替え方法。
【請求項２】
前記空間オブジェクトは時間特性を有し、
前記並べ替えは、前記サーバのシステム時間によって前記予備的検索結果をフィルタリングして、時間パラメータが合致しない空間オブジェクトを排除する工程を含み、
前記空間オブジェクトには有効表示時間が設けられており、
前記並べ替えは、前記有効表示期限が前記システム時間を超えた空間オブジェクトを排除する工程を含む、
ことを特徴とする請求項１に記載の空間オブジェクト検索並べ替え方法。
【請求項３】
前記ユーザ関連情報は、データベースに記憶されており、前記サーバが取得したユーザのユーザ識別データであって前記測位情報及び前記画像情報に付随するユーザのユーザ識別データであり、
前記ユーザ関連情報は、前記ユーザが設定した嗜好設定及び履歴データであり、
前記履歴データは、各前記空間オブジェクトに関連する内容に対するアクセス時間及び訪問回数を含み、
前記ユーザ識別データに基づいて前記ユーザに見せない空間オブジェクトを排除し、
前記ユーザ識別データに基づいて前記データベースと比較した後、前記ユーザ識別データに対応する個人空間オブジェクトを得て、前記個人空間オブジェクトの並べ替えにおける優先順位を最も高く設定し、
前記データベースにおける各前記空間オブジェクトは１つの又は複数の内容分類に関連し、前記嗜好設定は前記ユーザが能動的に設定した前記ユーザが興味のある１つの又は複数の内容分類であり、及び／又は、前記クラウドシステムが前記履歴データに基づいて前記ユーザに関する１つの又は複数の前記ユーザが興味のある内容分類を判断する、
ことを特徴とする請求項１に記載の空間オブジェクト検索並べ替え方法。
【請求項４】
前記１つの又は複数の空間オブジェクトの並べ替えの根拠の１つである客観的データは、各前記空間オブジェクトが構築された時間、更新時間、有効時間、クリックレート及び／又は評価であり、前記客観的データに基づいて前記並べ替え時の優先順位を決定し、
及び／又は、
前記１つの又は複数の空間オブジェクトの並べ替えの根拠の１つであるシステム重み付けは、前記空間オブジェクトの提供者が前記クラウドシステムにおいて提供した個別空間オブジェクトに対して重み付けを行ったものであり、前記クラウドシステムは、受信した複数の空間オブジェクトが個別に受信した重み付けに対して前記システム重み付けを演算し、前記システム重み付けが大きいほど、高い優先順位を有する、
ことを特徴とする請求項１に記載の空間オブジェクト検索並べ替え方法。
【請求項５】
前記モバイル機器は、前記サーバが送信したと共に前記並べ替えの後に出力された前記１つの又は複数の空間オブジェクトを受信すると、表示画面によって最も高い優先順位を有する空間オブジェクトを表示し、又は、選択された空間オブジェクトを選択命令に基づいて表示し、
各空間オブジェクトを表示する時に、前記実景の画像と結合し、
前記モバイル機器の前記表示画面に前記空間オブジェクトを表示する時、前記並べ替えを行った他の空間オブジェクトの選択肢をリスト表示する、
ことを特徴とする請求項１乃至４のいずれか一項に記載の空間オブジェクト検索並べ替え方法。
【請求項６】
前記サーバにおいて前記測位情報を比較する場合及び／又は前記サーバにおいて前記画像情報から生成された前記予備的検索結果を比較する場合、前記データベースにおける各空間オブジェクトの時間範囲、可視範囲及びユーザ範囲のいずれか又はそれらの組み合わせと比較し、
前記空間オブジェクトは文字、画像、映像及び音声のいずれか又はそれらの組み合わせである、
ことを特徴とする請求項５に記載の空間オブジェクト検索並べ替え方法。
【請求項７】
クラウドシステムにおいて実行される空間オブジェクト検索並べ替え方法において、
サーバがモバイル機器の測位回路が生成した地上位置情報及び空間角度情報を受信する工程と、
前記サーバが、前記モバイル機器が撮影ユニットを起動して取得した実景画像から生成された画像情報であって前記空間オブジェクトに対応すると共に画像処理によって生成した色彩領域情報及び線情報を含む画像情報を受信する工程と、
前記サーバにおいて、受信した前記測位情報をデータベースにおける測位情報と比較し、及び／又は受信した前記画像情報を前記データベースにおける画像情報と比較することで、前記測位情報及び／又は前記画像情報に対応する複数の前記空間オブジェクトを含む予備的検索結果を生成する工程であって、前記サーバにおいて、前記測位情報を比較する場合及び／又は前記画像情報から生成された前記予備的検索結果を比較する場合、前記データベースにおける各空間オブジェクトの時間範囲、可視範囲及びユーザ範囲のいずれか又はそれらの組み合わせと比較する工程と、
前記予備的検索結果に対して、ユーザ関連情報に基づいて関連性の高い空間オブジェクトの優先順位を高く設定すると共に関連性の低い空間オブジェクトの優先順位を低く設定する並べ替えを実行し、１つの又は複数の空間オブジェクトを出力する工程と、
前記並べ替えを行った前記１つの又は複数の空間オブジェクトを前記モバイル機器に送信する工程と、
を含むことを特徴とする空間オブジェクト検索並べ替え方法。
【請求項８】
前記空間オブジェクトは時間特性を有し、
前記並べ替えは、前記サーバのシステム時間によって前記予備的検索結果をフィルタリングして、時間パラメータが合致しない空間オブジェクトを排除する工程を含み、
前記ユーザ関連情報は、データベースに記憶されており、前記サーバが取得したユーザのユーザ識別データであって前記測位情報及び前記画像情報に付随するユーザのユーザ識別データであり、
前記１つの又は複数の空間オブジェクトの並べ替えの根拠の１つである客観的データは、各前記空間オブジェクトが構築された時間、更新時間、有効時間、クリックレート及び／又は評価であり、
前記客観的データに基づいて前記並べ替え時の優先順位を決定する、
ことを特徴とする請求項７に記載の空間オブジェクト検索並べ替え方法。
【請求項９】
前記１つの又は複数の空間オブジェクトの並べ替えの根拠の１つであるシステム重み付けは、前記空間オブジェクトの提供者が前記クラウドシステムにおいて、提供した個別空間オブジェクトに対して重み付けを行ったものであり、
前記クラウドシステムは、受信した複数の空間オブジェクトが個別に受信した重み付けに対して前記システム重み付けを演算し、
前記システム重み付けが大きいほど、高い優先順位を有する、
ことを特徴とする請求項７又は８に記載の空間オブジェクト検索並べ替え方法。
【請求項１０】
複数の空間オブジェクトにおける個別の空間オブジェクトに対応する測位情報及び／又は画像情報並びに各前記空間オブジェクトに対応する検索条件を格納するための検索データベースと、
前記検索データベースにおける各前記空間オブジェクトに対応する前記測位情報及び／又は前記画像情報並びに前記検索条件とリンクするように識別データが設けられている前記空間オブジェクトを複数記憶するための空間オブジェクトデータベースと、
１つの又は複数のプロセッサを有するサーバであって、
モバイル機器が生成した測位情報を受信する工程と、
前記モバイル機器が撮影ユニットを起動して取得した実景画像から生成された前記画像情報を受信する工程と、
受信した前記測位情報を前記検索データベースにおける前記測位情報と比較し、及び／又は受信した前記画像情報を前記検索データベースにおける前記画像情報と比較することで、受信した前記測位情報及び／又は前記画像情報に対応する複数の前記空間オブジェクトを含む予備的検索結果を生成する工程と、
前記予備的検索結果について、ユーザ関連情報に基づいて関連性の高い空間オブジェクトの優先順位を高く設定すると共に関連性の低い空間オブジェクトの優先順位を低く設定する並べ替えを実行し、１つの又は複数の前記空間オブジェクトを出力する工程と、
並べ替えを行った１つの又は複数の前記空間オブジェクトを前記モバイル機器に送信する工程と、
を含む空間オブジェクト検索並べ替え方法を実行するためのサーバと、
を含むことを特徴とするクラウドシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体空間におけるオブジェクトの検索に関する空間オブジェクト検索並べ替えの方法及びシステムに関し、特にユーザがモバイル機器によって、所在する環境において測位情報に合致する空間オブジェクトを検索すると共に、検索結果を並べ替える空間オブジェクト検索並べ替え方法及びクラウドシステムに関する。
【背景技術】
【０００２】
ユーザは、ウェブブラウザを介して文字検索の方式を利用してインターネットに存在する各種情報を検索することができる。更には、従来技術においては、画像を用いて画像を探す機能も生み出されている。ユーザは、検索のプロセスにおいて１つの又は複数のキーワードを使用することができ、且つウェブサイトが提供するフィルタリング条件を用いて検索結果を収斂して、ユーザが興味のある結果を得ることができる。
【０００３】
更に、検索エンジンは、各種ユーザ関連の情報に基づいてユーザに関する検索結果を提供することができる。例えば、検索エンジンは、検索履歴、興味のある内容にアクセスした行為等の好みを含むようなユーザの個人データ、嗜好設定及び過去の行為に基づいて、並べ替えを行うことで、ユーザが興味のある検索結果を優先的に検索結果ページに表示することができる。また、検索エンジンは、情報の時間性、更新率、他人の評価等の客観的情報を補助的に用いることで検索結果をフィルタリングし、又は並べ替えの根拠とすることができる。
【０００４】
更に、広告主は、検索エンジンの運営業者に広告を出稿することで、検索結果の並べ替えに対して、関連する広告を検索ユーザに提供する等の影響力を持つことができる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来技術において、空間測位の方式に基づいて位置関連オブジェクトを検索できる技術が少ないことに鑑み、本発明は、空間オブジェクト検索並べ替え方法及びクラウドシステムを提供する。本発明は、特に拡張現実技術及びロケーションベースの空間オブジェクト検索の技術を適用し、ユーザが所在位置においてモバイル機器を興味のある空間のある方角を向くように操作することで、その方向の空間オブジェクトを検索できるようにする。
【課題を解決するための手段】
【０００６】
１つの実施例において、空間オブジェクト検索並べ替え方法は、主としてモバイル機器において用いられる。空間オブジェクト検索並べ替えのステップは、モバイル機器とクラウドシステムとが共同で処理する。モバイル機器において実行するステップは、モバイル機器の撮影ユニットを起動し、実景の画像を取得すると共に、生成された例えば実景画像の色彩領域と線などの画像情報を分析することを含む。クラウドシステムにおいて実行するステップは、モバイル機器に対応する地上位置情報及び空間角度情報を含む空間情報であってモバイル機器が生成した空間情報を取得することを含む。上述した画像情報及び空間情報は、クラウドシステムにおけるサーバにアップロードされ、サーバが空間情報（画像情報を含んでもよい）から生成された予備的検索結果を比較する。予備的検索結果は、空間情報に対応する複数の空間オブジェクトを含む。
【０００７】
その後、モバイル機器は、上述した予備的検索結果に対して並べ替えを実行した後に出力された１つの又は複数の空間オブジェクトをサーバから受信する。特に、並べ替えにあたっては、ユーザ関連情報を根拠として、関連性の高い空間オブジェクトの優先順位を高く設定し、関連性の低い空間オブジェクトの優先順位を低く設定することができる。
【０００８】
並べ替えの根拠には、時間を更に含む。空間オブジェクトは、時間特性を有する。並べ替えは、サーバのシステム時間をもとに予備的検索結果をフィルタリングすることを含み、時間パラメータが合致しない空間オブジェクトを排除することができる。又は、空間オブジェクトには有効表示時間が設けられており、並べ替え時に有効表示期限がシステム時間を過ぎている空間オブジェクトを更に排除することができる。
【０００９】
上述したユーザ関連情報は、サーバが取得したユーザのユーザ識別データであって、上述した空間情報に付随するユーザのユーザ識別データである。これにより、ユーザに見せない空間オブジェクトを排除することができると共に、ユーザ識別データに応じた個人空間オブジェクトを得ることができる。ユーザ関連情報は、ユーザが設定した嗜好設定及び履歴データを含む。並べ替えの根拠には、例えば各空間オブジェクトが構築された時間、更新時間、有効時間、クリックレート及び／又は評価等の客観的データを更に含む。即ち、客観的データによって並べ替え時の優先順位を決めることができる。
【００１０】
並べ替えは、更に、空間オブジェクト提供者が個別の空間オブジェクトに対して設定した重み付けに基づいて行うことができる。これにより、クラウドシステムは、受信した複数の空間オブジェクトが個別に受信した重み付けに対してシステム重み付けを演算し、システム重み付けが大きいほど、高い優先順位を有するようにする。
【００１１】
空間オブジェクト検索並べ替え方法がクラウドシステムにおいて実行されるステップは、上述したサーバによって、モバイル機器が生成した測位情報と、撮影ユニットを介して取得した実景画像から生成された画像情報とを受信することを含む。従って、サーバにおいて、受信した測位情報を、データベースの測位情報、又はそれに加えて画像情報と比較することができ、予備的検索結果を生成することができる。以上の各根拠をもとに空間オブジェクトの結果を出力することで、ユーザ側モバイル機器に並べ替え後の空間オブジェクトを提供することが可能である。
【００１２】
１つの実施例において、クラウドシステムは、複数の空間オブジェクトにおける個別の空間オブジェクトに対応する地位情報及び／又は画像情報並びに各空間オブジェクトに対応する検索条件を格納するための検索データベースと、検索データベースにおける各空間オブジェクトに対応する測位情報及び／又は画像情報並びに検索条件とリンクするように識別データが設けられている空間オブジェクトを複数記憶するための空間オブジェクトデータベースと、１つの又は複数のプロセッサを有し、空間オブジェクト検索並べ替え方法を実行するためのサーバと、を含む。
【００１３】
本発明に係るコンピュータ読み取り可能な記憶装置は、モバイル機器において実行されるプログラムを格納するのに用いられる。プログラムは、モバイル機器のプロセッサによって実行され、空間オブジェクト検索並べ替え方法を実行する。
【発明の効果】
【００１４】
本発明に係る空間オブジェクト検索並べ替えの方法及びシステム（例えばクラウドシシステム）によれば、システムにおいて実行される検索及び並べ替えのステップにおいて、複数のユーザがアップロードした測位情報及び実景の画像情報に基づいてデータベースから条件を満たす空間オブジェクトを検索できる以外に、更にユーザ関連情報、時間、客観的データ及びシステムが設定した重み付け等のパラメータによって検索結果をフィルタリングすると共に、並べ替えを行い、ユーザが興味のある又は関連する空間オブジェクトを効果的に提供することができる。
【図面の簡単な説明】
【００１５】
【図１Ａ】ユーザがモバイル機器を操作して空間オブジェクトを構築する状況を示す図である。
【図１Ｂ】ユーザがモバイル機器を操作して空間オブジェクトを構築する状況を示す図である。
【図１Ｃ】ユーザがモバイル機器を操作して空間オブジェクトを構築する状況を示す図である。
【図２Ａ】空間角度情報の取得を示す図である。
【図２Ｂ】空間オブジェクトの背景画像情報の取得を示す図である。
【図３】ユーザがモバイル機器を操作して本発明に係る空間オブジェクト検索並べ替え方法を実施する状況を示す図である。
【図４】本発明に係るシステムにおけるモバイル機器のハードウェア及びソフトウェアモジュールの実施例を示す図である。
【図５】本発明に係るシステムにおけるサーバの機能モジュールの実施例を示す図である。
【図６】本発明に係る空間オブジェクト検索並べ替え方法に係る実施例のフローである。
【図７Ａ】システムが検索結果を提供する実施例を示す図である。
【図７Ｂ】システムが検索結果を提供する実施例を示す図である。
【図８】本発明の空間オブジェクト検索並べ替え方法に係る実施例のフローである。
【図９】本発明の空間オブジェクト検索並べ替え方法に係る実施例のフローである。
【発明を実施するための形態】
【００１６】
本発明が所定の目的を達成するために採用した技術、方法及び効果を更に理解することができるように、以下、図面を用いながら詳しく説明する。当業者は、本明細書及び図面の内容に基づいて、本発明の目的、特徴を具体的に理解することができる。但し、図面は、説明の便宜上、参考のために用いるものに過ぎず、本発明を制限するものではない。
【００１７】
本発明に係る空間オブジェクト検索並べ替えの方法及びシステム、並びにコンピュータ読み取り可能な記憶装置を提供する。システムは、クラウドシステムと、モバイル機器に搭載されるコンピュータ読み取り可能媒体におけるソフトウェアプログラムとを含む。クラウドシステムには、サーバ及びデータベースが設けられている。クラウドシステムは、ユーザ管理インターフェースを提供することで、ユーザがモバイル機器を用いて位置、空間に関する空間情報をアップロードすることができるようにする。システム（例えばクラウドシステム）は、各ユーザがアップロードしたロケーションベースの空間オブジェクトデータを格納しており、検索サービスを提供するデータベースを形成することで、検索エンジンを構築している。そのため、ユーザは、地理的位置に基づいて対応する空間オブジェクトを検索することができる。
【００１８】
システムによって、ユーザは、モバイル機器を操作して所在位置の空間オブジェクトを検索する。モバイル機器を操作することで、モバイル機器内のセンサが生成した測位情報をクラウドシステムに送信すると同時に、カメラ機能を起動して、所在位置の実景画像を取得することができる。画像情報も、測位を補助する情報となる。従って、システムは、測位情報及び画像情報に基づいて対応する空間オブジェクト検索結果を提供することができると共に、並べ替えの結果に基づいてユーザに提供することができる。
【００１９】
本発明に係る空間オブジェクト検索並べ替え方法において、クラウドシステムは、先ず空間オブジェクトの関連データベースを構築する必要がある。データベースの構築方式の１つとしては、ユーザがモバイル機器を操作して自ら空間オブジェクトを構築することが挙げられる。例えば、図１Ａ乃至図１Ｃに示すように、ユーザがモバイル機器を操作してロケーションベースの空間オブジェクトを構築する方法が挙げられる。
【００２０】
図１Ａに示すように、ユーザは、モバイル機器１０を操作し、先ずアプリケーションシステムが提供する例えばスマートデバイス内のＡＰＰなどのソフトウェアプログラムをダウンロードしてインストールする。そして、ソフトウェアプログラムを実行した後、データ構築モードにして、モバイル機器１０のカメラモジュールを起動させる。モバイル機器１０を、データを注記しようとする対象（例えば建築物、商店、観光スポット、物品等の目標対象）の方向に向け、モバイル機器１０のディスプレイを介してこれら目標対象の実景１０１が見えるようにする。その後、拡張現実（Augmented Reality、ＡＲ）の技術によって、ユーザは、モバイル機器１０のタッチディスプレイ、又はその他の入力方式によって、実景１０１のある部位に情報を追加する。当該情報は、文字、画像、映像、音声等の情報であってよい。
【００２１】
本実施例において、ユーザは、著名な観光スポット「エッフェル塔（実景１０１）」の前に立っており、モバイル機器１０を実景１０１の方向に向け、これが「エッフェル塔」であるという情報を注記する。この注記した内容が本発明に係るシステムでいう空間オブジェクト１０３である。
【００２２】
その後、ユーザが実景１０１に注記した情報（空間オブジェクト１０３）を確認した後、モバイル機器１０内のソフトウェアプログラムによって、空間オブジェクト１０３の生成に対応する空間情報をアプリケーションシステムのサーバ（例えばアプリケーションシステムのあるサーバホスト）に送信する。上述した情報（空間オブジェクト１０３）の内容は、文字、画像、映像又は音声、又はそれらの組み合わせであってよい。サーバにアップロードされる空間情報は、空間オブジェクト１０３のデータ、空間オブジェクト１０３を構築した時点のモバイル機器１０の地上位置情報、空間角度情報、及び実景１０１を撮影した画像情報等を含む。このうち、空間角度は、方位角（azimuth angle）と仰角（elevation angle）との組み合わせである。
【００２３】
本実施例において、検索モード及び表示モードにおいて、実景１０１の画像情報は、空間オブジェクト１０３の背後のエッフェル塔を構成する色彩領域、及び色彩領域の間の線である。以上の地上位置情報、空間角度情報、色彩領域情報及び線情報は、空間オブジェクト１０３のパラメータを構成し、アプリケーションシステムにおけるクラウドサーバに併せて記憶される。ユーザがモバイル機器１０を操作して以上のパラメータを生成すると、クラウドサーバは、それらを比較することで空間オブジェクト１０３を取得すると共に表示させることができる。一般的な作動において、クラウドサーバは、空間オブジェクト１０３を得るために少なくとも地上位置情報及び空間角度情報を比較する必要がある。クラウドサーバは、必要に応じて、モバイル機器１０から送信された色彩領域情報、及び／又は更に線情報を引き続き比較することができる。クラウドサーバは、先ず線情報を考慮し、空間オブジェクト１０３を確認することができなかった場合、引き続き色彩領域情報を参考にする。クラウドサーバは、最終的にモバイル機器１０に送信する検索結果を生成する。
【００２４】
更に、ユーザがモバイル機器１０によって空間オブジェクト１０３を表示した場合、ユーザは、ソフトウェアプログラムが提供するインターフェースを介して（例えばリンク画像をクリックすることで）引き続き空間オブジェクト１０３に関するより多くの情報を得ることができる。また、空間オブジェクト１０３は表示されるとリンクボタンにもなるため、ユーザは、そのリンクボタンをクリックすることで、引き続き空間オブジェクト１０３に関するより多くの情報を得ることができる。これらの情報は、システムが提供するものであってもよく、空間オブジェクトを構築した際に加えられた情報であってもよい。例えば、空間オブジェクトが観光スポットの情報である場合、クリックすると観光スポットの紹介、交通情報、付近の店等を得ることができる。空間オブジェクトが店である場合、クリックすると店の更なる情報（例えば店の連絡先、ディスカウントプランなどの情報）を得ることができる。このように、ソフトウェアプログラムが連携の機能を提供することができる。
【００２５】
図１Ｂは、ロケーションベースの空間オブジェクトを構築する他の状況を示す図である。本実施例において、ユーザはモバイル機器１０を操作してソフトウェアプログラムを起動し、データ構築モードにおいて、カメラモジュールを起動し、実景１０２（本実施例ではビル）の方向に向け、ある階の範囲に精確に合わせることで、拡張現実の技術によって空間オブジェクト１０５重ね合わせることができる。本実施例において、空間オブジェクト１０５は画像情報であり、対応する階又は例えばその階に会社があるという実景１０２の内容を伝達することができる。その場合、空間オブジェクト１０５は、前記会社を紹介する文字、ビデオ内容、画像等であってもよく、商品の広告、募集情報等であってもよい。同様に、注記した情報（空間オブジェクト１０５）の空間情報がシステムのサーバに送信される。本実施例において、空間情報は、空間オブジェクト１０５の画像情報、空間オブジェクト１０５を構築した際のモバイル機器１０の地上位置情報、空間角度情報、及び実景１０２の画像情報を含む。本実施例における実景１０２の画像情報としては、例えば空間オブジェクト１０５の背景としてのビルを構成する色彩領域情報及び色彩領域の間に形成された線情報が挙げられる。
【００２６】
空間オブジェクト１０５を構築する空間情報が完成すると、上述した空間オブジェクト１０５に対応する地上位置情報、空間角度情報及び画像情報が、空間オブジェクト１０５を検索するためのパラメータとして、アプリケーションシステムのデータベースにアップロードされる。
【００２７】
更に、空間オブジェクト１０５を構築する際に、ユーザは、空間オブジェクト１０５により多くの機能を与えることができる。例えば、ＵＲＬ等のリンクを構築して、他のユーザが空間オブジェクト１０５を検索して得た際に、例えば他のウェブページへのリンク等の更なる情報を得ることができるようにして、ユーザに対し、よりインタラクティブなサービス（例えばビデオ通信、チャット、売買取引のインターフェースなどのサービス）を提供することができる。
【００２８】
図１Ｃに示すように、実景１０４は室内に置かれたテーブルである。ユーザは、モバイル機器１０を操作して先ず実景１０４の画像を取得すると共に表示させることができる。次いで、プログラムインターフェースを操作して実景１０４の画像に空間オブジェクト１０７を重ね合わせることができる。本実施例においては、テーブルの上に花瓶が加えられているが、実景１０４の画像に加えられるのは文字情報、ビデオ内容又は画像、又は各種情報の組み合わせであってもよい。同様に、ユーザが空間オブジェクト１０７のテーブルにおける位置を確認した後、モバイル機器１０のソフトウェアプログラムが、重ね合わされた空間オブジェクト１０７の空間情報をシステムのサーバに送信する。本実施例の空間情報は、空間オブジェクト１０７の画像情報、及び空間オブジェクト１０７に対応する地上位置情報、空間位置情報及び実景１０４の画像情報を含む。
【００２９】
実景１０４が室内オブジェクトの場合、モバイル機器１０が全地球測位システム（ＧＰＳ）の信号を受信しにくい時、モバイル機器１０におけるソフトウェアプログラムは、モバイル機器１０の直近の全地球測位情報を用いることができ、アプリケーションシステムが直近の位置情報に基づいてモバイル機器１０の所在位置を例えばある建築物内又はある観光スポットの範囲内であると判断することができる。しかしながら、構築された空間オブジェクトを精確に測位することはできない。従って、本発明は、実景の画像情報を測位の根拠とする技術を提供する。即ち、１つの実施例において、前記画像情報は、空間オブジェクトの背景（即ちある実景）の色彩領域情報及び／又は線情報である。
【００３０】
図１Ｃのテーブルに示すように、１つの実施例において、上述した実景１０４の画像は、一般的に空間オブジェクトを加えた背景画像である。テーブルの画像は、モバイル機器１０内のソフトウェアプログラムによる前処理によって色彩領域情報及び線情報にすることができる。強力な演算能力を有するクラウドサーバであれば、直接画像認識を行って正確な空間オブジェクトの所在位置を得ることができるかもしれないが、好ましくは、本来の画像情報に前処理を施すことで、記憶し、比較するのが容易なデジタル情報を形成することができる。理由としては、システムがクイック検索のサービスを提供しようとする場合、システムが強力な演算能力を有するか否かを問わず、全体の実景画像について画像認識を行う必要はなく、前処理を施したデジタル情報を比較するだけで、対応する空間オブジェクトを精確に素早く検索して得ることができるからである。
【００３１】
即ち、本発明に係るクラウドシステムは、空間オブジェクト検索及び並べ替えのサービスを提供するために、サーバ側の演算プロセスにおいて予備的に地上位置情報及び空間角度情報から空間オブジェクトを測位することができる。地上位置情報としては、例えば、全地球測位システムから得られた地上位置情報が挙げられる。空間角度情報としては、例えば、ジャイロスコープの信号から取得されたモバイル機器の空間における方位角及び仰角等の情報が挙げられる。但し、検索モード及び表示モードにおいて、地上位置情報及び空間角度情報では、ある空間オブジェクトを依然として精確に測位することができない場合、クラウドサーバは、引き続き色彩領域情報を比較して、サーバにおけるデータベースがある空間オブジェクトに対応し得るかどうかを確認する。色彩領域情報を加味しても尚、対応する空間オブジェクトを確認することができない場合は、引き続き線情報を比較する。その結果、アプリケーションシステムは、最終的な検索結果として対応する唯一の空間オブジェクトを提供するか、又は、選択肢を提供する。
【００３２】
上述した地上位置情報は、一般的にはモバイル機器における全地球測位システム（ＧＰＳ）等の測位回路によって取得されてもよく、移動基地局の信号若しくはワイヤレスローカルエリアネットワークの信号によって測位を補助することで取得されてもよい。モバイル機器が測位衛星の信号を受信できない状態にある場合、他の信号によって測位を補助することができる外、アプリケーションシステムは、モバイル機器から受信した最後の測位信号を地上位置情報とすることができる。上述した空間角度情報は、モバイル機器から取得された信号である。具体的に言えば、上述した空間角度情報は、モバイル機器におけるジャイロスコープ（gyroscope）等の空間測位回路が生成した信号である。
【００３３】
図２Ａを用いて空間角度情報の取得について説明する。空間座標系は、方位角（Azimuthal angle）φ及び仰角（vertical angle）θによって位置が定められる。本発明におけるモバイル機器２０に空間座標系を適用して、中央の原点にユーザが所持するモバイル機器２０を配し、水平方向は東西南北の方位座標を示す。基準軸（本実施例では北向きの軸）に基づいて、モバイル機器２０の向き（例えばモバイル機器２０の背面のレンズが指す方向Ａ）を取得することができる。方向Ａは、方位角φ及び垂直方向の仰角θを形成する。方位角φ及び仰角θは、モバイル機器２０内の空間測位ユニットによって決定することができる。両者の組み合わせが方向Ａの空間角度情報を形成する。測位衛星２０１によってモバイル機器２０内において形成された水平位置情報を組み合わせることで、モバイル機器２０が指す位置及び方向を適切に測位することができる。モバイル機器２０が指す位置及び方向の空間情報は、アプリケーションシステムのサーバに提供され、サーバにおける演算プロセスによってモバイル機器２０に表示される空間オブジェクトが比較判断される。
【００３４】
図２Ｂは、空間オブジェクトの背景の画像情報の取得を示す図である。図２Ｂに示すように、破線で表示した空間オブジェクト２０３は、背景画像２０５に位置する。空間オブジェクト２０３を構築する際、サーバは、ユーザ側のモバイル機器から、空間オブジェクト２０３の画像、ユーザ側のモバイル機器が所在する地上位置情報及び空間角度情報、並びに背景画像２０５を含む画像情報を取得することができる。これら空間情報によって、空間オブジェクト２０３を測位するパラメータが形成される。更に、ユーザが空間オブジェクト２０３を構築する場合、より多くの情報を注記してリンクを構築することができる。これにより、その後ユーザが検索によって空間オブジェクト２０３を得た場合、他のウェブページ又は商品売買のインターフェースへのリンクを介してより多くの情報を取得することができる。従って、より多くのインタラクティブサービスを提供することができる。
【００３５】
本実施例において、背景画像２０５の画像情報には、画像に前処理を施すことで形成される色彩領域情報及び線情報が含まれる。１つの実施例において、画像の前処理は、モバイル機器においてソフトウェアプログラムが演算を実行することができ、クラウドサーバが演算することもできる。画像の色彩領域の間には縁の線が形成され、線の間が色彩領域である。前記線及び色彩領域は、いずれも空間オブジェクトの所在位置を識別するパラメータとなる。
【００３６】
前処理においては、先ず背景画像２０５における線（図に示す線２２１、２２２、２２３、２２４、２２５、２２６）を識別し、線の間を領域と認識して、領域（２１１、２１２、２１３、２１４、２１５、２１６、２１７）における画像画素の平均値を計算することで、対応する色彩領域情報を形成する。他の実施例において、各領域（２１１、２１２、２１３、２１４、２１５、２１６、２１７）における画像画素に対して正規化演算（ｎｏｒｍａｌｉｚａｔｉｏｎ）を実行して、各領域の特徴値を計算することで、得られた特徴値を当該領域の色彩領域情報とすることができる。画像の前処理方法は、以上に列記した方法に限定されない。また、画像が所在する色空間も特定の色空間に限定されず、ＲＧＢ（赤、緑、青）、ＨＳＶ（色相（Hue）、彩度（Saturation）、輝度（Value））、ＣＭＹＫ（シアン（Cyan）、マゼンタ（Magenta）、イエロー（Yellow）、ブラック）等であってよい。
【００３７】
画像を処理した後、上述した背景画像２０５における線２２１、２２２、２２３、２２４、２２５、２２６の情報を得る。線情報は、表示される空間オブジェクト２０３の根拠となり、画像処理を経た後、空間オブジェクト２０３を確実に平面上に表示させることができる。
【００３８】
図３は、ユーザがモバイル機器を操作して本発明に係る空間オブジェクト検索並べ替え方法を実施する状況を示す図である。
【００３９】
モバイル機器３０は、ユーザが手に持つ携帯電話、タブレットＰＣ等である。本発明に係る空間オブジェクト検索並べ替えを実現する装置としては、スマートグラス（intelligent glasses）、拡張現実眼鏡又は仮想現実眼鏡（AR/VR glasses）又はその他ユーザと共に移動する電子装置である。その主な目的としては、モバイル機器３０における表示画面３０１を介して実景３２の画像を見ることができると同時に、クラウドシステムと接続して、関連する位置及び空間の空間オブジェクトを取得できるようにするためである。
【００４０】
本実施例において、ユーザは、モバイル機器３０を空間において移動させるよう操作する。図２Ａに示すように、モバイル機器３０の空間移動には、方位角（azimuthal angle）上の移動と、仰角（elevational angle）上の移動が含まれる。モバイル機器３０の空間移動に関する空間情報はクラウドシステムに伝送される。クラウドシステムは、当該空間情報を比較した後、空間情報に対応する空間オブジェクトをフィードバックする。更に、モバイル機器３０内において実行されるソフトウェアプログラムは、取得した実景３２の画像から測位を補助する情報を取り込んで、クラウドシステムに伝送して比較させる。最後に、拡張現実（ＡＲ）の技術によって、検索して得た空間オブジェクトを、表示画面３０１に表示された実景３２の画像に重ね合わせることができる。
【００４１】
図４は、本発明に係るクラウドシステム（空間オブジェクト検索並べ替えシステム）及び端末モバイル機器におけるソフトウェアモジュールの実施例を示す図である。
【００４２】
本発明に係るシステムは、クラウドに設けられたサーバ４１を含む。サーバ４１は、コンピュータシステムである。また、サーバ４１は、異なる作業を実行する複数のコンピュータシステムの組み合わせであってもよい。サーバ４１は、主としてユーザ側のモバイル機器４００によってアップロードされた空間オブジェクトデータと、空間オブジェクトに対応する空間情報とを受信することで、データベース（検索データベース４３、空間オブジェクトデータベース４５）を構築する。データベース（検索データベース４３、空間オブジェクトデータベース４５）は、サーバ経由で取得したユーザ側のモバイル機器が生成したデータを格納するのに用いられる。当該データは、特にモバイル機器４００が生成した、特定の空間オブジェクトに対応する空間情報を含む。
【００４３】
データベースはデータ記憶媒体である。データベースは、機能に基づいて検索データベース４３と空間オブジェクトデータベース４５とに分けられる。両者は同一のサーバ内に設けられるようにしてもよく、異なる位置に設けられるようにしてもよい。空間オブジェクトデータベース４５は、主としてモバイル機器４００がアップロードした空間オブジェクトのデータを格納する。空間オブジェクトは、ユーザがモバイル機器４００を介して構築した文字、画像、映像及び音声のいずれか又はそれらの組み合わせであってよい。映像は、平面動画、立体動画を更に含む。空間オブジェクトデータベース４５は、同時に、ユーザがモバイル機器４００を操作して空間オブジェクトを選択する際のデータの出所にもなる。検索データベース４３は、主としてモバイル機器４００がアップロードしたデータにおける空間オブジェクトに対応する他の情報を格納する。例えば、検索データベース４３は、空間オブジェクトの測位情報（地上位置情報、空間角度情報）、及び空間オブジェクトに対応する色彩領域情報及び線情報を格納する。色彩領域情報及び線情報は、主として空間オブジェクトの背景の実景画像から取得され、空間オブジェクトを測位する際の根拠の１つとなる。サーバ４１において演算プロセスが実行されている場合、検索データベース４３に格納される空間情報を比較することで、１つの又は複数の空間オブジェクトを得ることができる。各空間オブジェクトは、それぞれ識別情報（ＩＤ）を有しており、空間オブジェクトデータベース４５を介してユーザ側の装置に提供される。
【００４４】
他の実施例において、ユーザがモバイル機器４００を操作して空間オブジェクトの空間情報を形成すると同時に、検索条件を設定して、検索データベース４３にアップロードすることができる。検索条件は、時間範囲、可視範囲及びユーザ範囲のいずれか又はそれらの組み合わせであり、検索比較の根拠となる。
【００４５】
例えば、ユーザがある実景（実景の前後及びその他実景と関連する位置を含む）において空間オブジェクトを構築した場合、時間範囲を設定することができる。即ち、ユーザが本発明に係るクラウドシステム（空間オブジェクト検索並べ替えシステム）において情報の検索を実行した場合、上述した測位情報及び画像情報を満たす必要があるだけでなく、この時間範囲内に限って空間オブジェクトを検索できるように設定する。可視範囲は、ある視認できる空間オブジェクトについて地上位置を視認できる範囲及び空間角度を視認できる範囲であってもよく、ある実景のある距離範囲及び空間角度範囲であってもよい。ユーザがモバイル機器４００を操作する場合、前記可視範囲内でのみ対応する空間オブジェクトを視認できるようにする。ユーザ範囲は、空間オブジェクトを見ることができる対象ユーザを設定したものであり、一人又は複数人である。各対象ユーザがモバイル機器４００を操作して空間オブジェクトを検索すると、各対象ユーザのユーザ識別データ（ｕｓｅｒ  ＩＤ）をも送信し、サーバが同様に検索条件の１つとする。
【００４６】
従って、クラウドシステム（空間オブジェクト検索並べ替えシステム）は、ユーザがアップロードした大量のデータに基づいてデータベース（検索データベース４３、空間オブジェクトデータベース４５）を構築し、検索エンジンを構築して、ユーザに対して、モバイル機器を操作して空間オブジェクトを検索するサービスを提供することができる。
【００４７】
本発明におけるロケーションベースの空間オブジェクトデータの構築方法及び表示方法を実行するモバイル機器４００は、ネットワーク４０を介してサーバ４１に接続される。モバイル機器４００の主な回路素子としては、各回路素子が生成した信号を処理するデータ処理ユニット４０１と、データ処理ユニット４０１と電気的に接続し、外部装置と接続する通信ユニット４０２と、モバイル機器４００の位置を検知する地上測位ユニット４０３と、モバイル機器４００の空間における位置を検知する空間測位ユニット４０４と、実景画像を取得する撮影ユニット４０５と、ユーザがジェスチャーによって命令を入力できるようにするタッチ表示ユニット４０６と、を含む。
【００４８】
地上測位ユニット４０３は全地球測位システムの関連回路である。地上測位ユニット４０３は、測位衛星からの信号を受信して地上位置情報を生成する。測位にあたっては他の無線基地局からの信号を補助的に用いることができる。空間測位ユニット４０４は、モバイル機器４００内に搭載されるジャイロスコープである。空間測位ユニット４０４は、ジャイロスコープを用いてモバイル機器の空間における位置を検知して、主として方位角φ及び仰角θから成る空間角度情報を形成する。
【００４９】
システムは、モバイル機器４００に搭載されるメモリユニット４０７（コンピュータ読み取り可能媒体）及びメモリユニット４０７に格納されるプログラムを更に含む。プログラムがモバイル機器４００のプロセッサ（１つの又は複数のプロセッサ）によって実行されることで、ロケーションベースの空間オブジェクトデータの構築及び表示のプロセスを実行することができる。以下、プログラムが主な機能を実行する命令について説明する。
【００５０】
画像取込命令４７１は、モバイル機器４００の撮影ユニット４０５を作動させて実景の画像を取得させると共に、当該実景の画像をモバイル機器４００に表示させる。空間オブジェクト処理命令４７２は、ユーザがモバイル機器４００におけるタッチ表示ユニット４０６を操作することで、ある実景付近の位置上（前、後、上、下、左、右等）の空間オブジェクトを構築するよう処理するのに用いられる。ユーザ自ら空間オブジェクトを構築する、又はシステムが提供する空間オブジェクトデータベース４５から空間オブジェクトを選択することによって、サーバ４１に送信する空間オブジェクトのデータが形成される。空間オブジェクトは、文字、画像、映像及び音声のいずれか又はそれらの組み合わせである。測位情報生成命令４７３は、モバイル機器４００における測位回路が生成した信号を取得するのに用いられる。例えば、モバイル機器４００における地上測位ユニット４０３及び空間測位ユニット４０４が生成した測位情報を取得させる。画像情報生成命令４７４は、実景画像を処理して、対応空間オブジェクトに対応する画像情報を生成するのに用いられる。上述した実施例における画像処理の方法によって、測位空間オブジェクトを測位するための色彩領域情報及び線情報を生成させることができる。検索処理命令４７５は、モバイル機器４００が検索モード及び表示モードにおいて生成した測位情報及び画像情報を取得すると共に、測位情報及び画像情報がサーバ４１に送信された後、サーバ４１が生成した検索結果を受信するのに用いられる。データ送受信命令４７６は、モバイル機器４００とサーバ４１との間の接続を構築し、信号の送受信に用いられる。特に、ユーザ側が生成した測位情報又は画像情報を送信し、サーバ４１が生成した検索結果を受信するのに用いられる。空間オブジェクト表示命令４７７は、モバイル機器４００によってサーバ４１が生成した検索結果が受信された際、空間オブジェクトが検索された場合、検索結果に基づいて空間オブジェクトを表示するのに用いられる。１つの実施例において、モバイル機器４００において表示される実景付近に空間オブジェクトを重ね合わせる。
【００５１】
上述した空間オブジェクトは、システムが提供することができる外、ユーザが自ら他のソフトウェアツールを用いて生成することもできる。システムは、ユーザが写真を含む空間オブジェクトを選択利用できるように、画像ライブラリ、映像ライブラリ、音声ライブラリ等をユーザに提供する。
【００５２】
次いで、図５は、本発明に係るシステムにおけるサーバの機能モジュールの実施例を示す図である。回路又はソフトウェアを組み合わせた機能モジュールによってクラウドシステムを説明する。クラウドシステムは、主として、複数の空間オブジェクトにおける個別の空間オブジェクトに対応する空間情報（地上位置情報、空間角度情報を含み、又は色彩領域情報及び線情報を更に含む）を格納する検索データベース４３を含む。各空間オブジェクトには識別データ（ＩＤ）が設けられており、識別データ（ＩＤ）は検索インデックスとして用いられる。各空間オブジェクトは個別の検索条件にも対応しており、例えば、空間オブジェクトを見ることができる時間範囲、可視範囲（方位角及び仰角）及びユーザ範囲（見ることができるユーザを指定した範囲）のいずれか又はそれらの組み合わせが、検索比較の根拠として設定されている。
【００５３】
システム（例えばクラウドシステム）は、空間オブジェクトのデータを、空間オブジェクトの形式に基づいて記憶するための空間オブジェクトデータベース４５が更に設けられている。空間オブジェクトは、文字、画像、映像若しくは音声、又は各種形式の組み合わせを含む。各空間オブジェクトは、各空間オブジェクトの識別データに基づいて検索データベース４３における各空間オブジェクトに対応する空間情報及び検索条件とリンクする。
【００５４】
サーバ４１は、１つの又は複数のプロセッサを有するコンピュータシステムである。サーバ４１は、空間オブジェクト検索並べ替え方法を実行するのに用いられる。サーバ４１は、各ユーザがモバイル機器を操作してネットワーク４０を介して空間オブジェクトを検索できるようにする。サーバ４１は、モバイル機器がアップロードした空間情報に基づいて検索及び並べ替えの結果を提供する。サーバ４１は、ハードウェア又はソフトウェアを組み合わせた方式によって構成されることができる。
【００５５】
サーバ４１には、回路によってデータ取込の目的を達成することができるデータ取込ユニット４１１が設けられている。データ取込ユニット４１１は、サーバ４１のホスト上のネットワークインターフェースを介してネットワーク４０に接続され、各ユーザがモバイル機器を操作することで生成された測位情報及び画像情報等の空間オブジェクトの検索に必要なデータを受信することができる。
【００５６】
ユーザ管理ユニット４１２は、関連するプログラムをメモリに組み合わせることでユーザ管理の目的を達成することができる。ユーザ管理ユニット４１２は、各ユーザのユーザ識別データ、パスワード管理等セキュリティデータを格納するのに用いられる。ユーザ管理ユニット４１２は、ユーザ側モバイル機器から連続して送信される検索データを記録することができ、後日ユーザに情報を提供する際の参考として、例えば検索結果並べ替えの根拠の１つとして、ユーザの履歴記録を形成することができる。特に、ユーザ識別データは、システムが検索結果について並べ替えを行うための重要な根拠の１つである。ユーザ個人と関連する検索結果は、並べ替えにおける優先順位を最も高くして表示することができる。
【００５７】
データ比較ユニット４１３は、モバイル機器がアップロードした測位情報に基づいて検索データベース４３におけるデータを比較すると共に、空間オブジェクトデータベース４５から空間オブジェクトのファイルを取得して、モバイル機器にフィードバックすることができる。データ比較ユニット４１３によって比較して得た結果は、予備的検索結果と見做され、システムが当該予備的検索結果について更に並べ替えを行うことで、ユーザが相対的に興味のある結果を提供する。
【００５８】
予備的検索結果を検索条件フィルタユニット４１４によって処理した後、並べ替えを行った検索結果を提供する。並べ替え時にフィルタリング条件を適用することで、検索結果を一定数内の空間オブジェクトに収斂するようにすると共に、結果がユーザにとって有意義な内容となるようにすることができる。
【００５９】
例えば、並べ替えは、ユーザ関連情報に基づくことができる。ユーザ関連情報は、サーバ４１が取得した、空間情報（測位情報、又は画像情報をも含む）に付随するユーザのユーザ識別データである。即ちユーザ識別データを、ユーザ関連情報としてデータベースに記憶することができる。システムがユーザ識別データを取得すると、先ずユーザ個人に関する空間オブジェクトを提供することができる。空間オブジェクトがある（又はあるユーザ範囲の）ユーザに見せるよう指定して構築されている場合、当該空間オブジェクトは個人空間オブジェクトであり、ユーザ識別データによってフィルタリングした後、指定されたユーザ（１つの又は複数の）に対して、当該個人空間オブジェクトの並べ替えにおける優先順位を最も高く設定することができる。反対に、ユーザ範囲に属しない無関係の他人が当該空間オブジェクトを見ることはないため、あるユーザに見せない空間オブジェクトを排除することができる。
【００６０】
更に、ユーザ関連情報は、ユーザが設定した嗜好設定及び履歴データを含む。データベースにおける各空間オブジェクトは、関連する１つの又は複数の内容分類を設定することができる。ユーザは、システムを使用する際にその嗜好設定を設定することができる。即ちユーザは、興味のある１つの又は複数の内容分類を能動的に設定することができる。履歴データは、システムが収集した、各ユーザの各空間オブジェクトの関連する内容に対するアクセス時間及び訪問回数を含む。システムは、アクセス時間が相対的に長い内容（及びその分類）をユーザが嗜好する内容分類と見做し、同様に、訪問回数もユーザの嗜好を判断する根拠と見做される。従って、クラウドシステムは、履歴データに基づいてユーザが興味を有する１つの又は複数の内容分類を判断することができる。
【００６１】
システムは、関連性の高い空間オブジェクトの優先順位を高く設定し、関連性の低い空間オブジェクトの優先順位を低く設定して、ユーザに提供する検索結果を当該優先順位に基づいて並べ替えることができる。
【００６２】
１つの実施例において、空間オブジェクトは、時間特性を有する。空間オブジェクトを構築した空間オブジェクト提供者は、構築した空間オブジェクトに対して、表示可能な時間（朝、昼又は夜等の時間範囲を設定することができる）を含む時間パラメータを設けることができる。また、空間オブジェクトを構築した空間オブジェクト提供者は、空間オブジェクトが検索される有効表示時間を設定することができる。従って、システムは、サーバのシステム時間に基づいて、時間をパラメータとして予備的検索結果をフィルタリングして、時間パラメータが合致しない空間オブジェクトを排除することができる。即ち、システムは、表示時間が合致しない空間オブジェクトを排除することができ、また、有効表示期限がシステム時間を超えている空間オブジェクトを並べ替え時に排除することができる。
【００６３】
検索条件フィルタユニット４１４は、更に客観的データに基づいて空間オブジェクトを並べ替えることができる。客観的データは、例えば各空間オブジェクトが構築された時間、更新時間、有効時間、クリックレート及び／又は評価等のパラメータである。システムは、これらパラメータに基づいて並べ替え時の優先順位を決定することができる。例えば、空間オブジェクトは、空間オブジェクトの構築時間が新しいほど高い優先順位を有するようにしてもよい。また、空間オブジェクトは、更新率が高いほど高い優先順位を有するようにしてもよい。また、空間オブジェクトは、ある空間オブジェクトに関連する内容に対する訪問率が高いほど高い優先順位を有するようにしてもよい。また、空間オブジェクトに関連する内容に対する他人の評価を参考にして、評価が高いほど高い優先順位を有するようにしてもよい。
【００６４】
また、上述した時間、ユーザ関連情報及び客観的データを並べ替えの根拠とする以外に、システムは、データベースにおける空間オブジェクトに対してシステム重み付けを行うことができる。システム重み付けは、主として空間オブジェクト提供者がクラウドシステムにおいて、提供した個別空間オブジェクトに対して設定する重み付けである。クラウドシステムは、受信した複数の空間オブジェクトが個別に受信した重み付けに対して上述したシステム重み付けを演算し、システム重み付けが大きいほど高い優先順位を有するようにする。
【００６５】
例えば、システム重み付けは広告であってもよく、空間オブジェクト提供者は広告主であり、価格に基づいて高い並べ替えを提供するようシステムに要求すると、当該要求がシステム重み付け設定の根拠となる。また、政府による指示宣伝や大衆に関する情報等も、システム重み付けの設定によって並べ替えの優先順位を変えることができる。
【００６６】
その後、クラウドシステムは、並べ替えユニット４１５によって上述した各並べ替えの根拠に対して並べ替えの決定を行う。並べ替えの決定はシステムが設定する並べ替えシナリオ（scenario）であり、必要に応じて調整することができる。
【００６７】
最後に、データ送信ユニット４１６は、検索請求を生成した各モバイル機器に対して検索及び並べ替えの結果を送信する。モバイル機器は、サーバ４１が送信した並べ替え後に出力された１つの又は複数の空間オブジェクトを受信すると、表示画面を介して優先順位の最も高い空間オブジェクトを表示する、又は、選択された空間オブジェクトを選択命令に基づいて表示する。各空間オブジェクトを表示すると、最初に撮影された実景の画像と結合する。
【００６８】
図６は、本発明に係る空間オブジェクト検索並べ替え方法の実施例を示すフローである。
【００６９】
先ず、ステップＳ６０１において、ユーザは、モバイル機器を操作して起動プログラムを実行する。ステップＳ６０３において、モバイル機器における撮影ユニットを起動する。ステップＳ６０５において、撮影ユニットによって実景画像を取得して、ソフトウェアプログラムが当該実景画像を処理し、当該実景画像の画像特徴を取り込んで、画像情報を生成する。
【００７０】
その後、ステップＳ６０７において、ユーザは、モバイル機器を操作して、センサに空間情報を対応的に生成させる。ソフトウェアプログラムは、モバイル機器における関連する測位回路が生成した地上位置情報及び空間角度情報を取得する。次いで、ステップＳ６０９において、空間画像及び画像情報をクラウドシステムが提供するサーバにアップロードする。サーバは、空間情報（測位情報、又は画像情報をも含む）を比較する。空間情報を比較する場合、各空間オブジェクトの時間範囲、可視範囲（可視地上位置範囲及び可視空間角度範囲を含む）及びユーザ範囲のいずれか又はそれらの組み合わせを更に考慮する。
【００７１】
ステップＳ６１１において、サーバは予備的検索結果を生成する。予備的検索結果は、モバイル機器がアップロードした空間情報に基づいて比較して得られるに過ぎない。システムは、次いで、予備的検索結果について、検索条件によって検索結果をフィルタリングすることを含む並べ替えを行う。
【００７２】
ステップＳ６１３において、サーバは予備的検索結果について並べ替えを行う。並べ替え方法は、図５におけるクラウドシステムが検索条件フィルタユニット４１４によって実行する並べ替えシナリオを参考にすることができる。並べ替え方法は、ユーザ識別データに基づいて、ユーザ関連情報によってユーザと関連する空間オブジェクトを得ることを含む。ユーザ関連情報は、前記ユーザ又はあるユーザ範囲内の個人空間オブジェクト、個人の過去の履歴データ又は嗜好等を含む。ユーザ関連情報による結果は、一般的に高い並べ替え優先順位を有する。他の実施例において、時間を検索結果フィルタリングの条件とすることができ、又は検索して得た空間オブジェクトに関する客観的データ、及びシステムが設定した空間オブジェクトを参考にすることもできる。
【００７３】
最後に、ステップＳ６１５において、並べ替え後の検索結果を送信して、モバイル機器において最上位の並べ替え結果を表示する、又は見ようとする空間オブジェクトを選択肢によってユーザに決定させる。空間オブジェクトを表示する際、表示画面上にはその他の並べ替えられた空間オブジェクトの選択肢をリスト表示することができる。空間オブジェクトは、文字、画像、映像及び音声のいずれか又はそれらの組み合わせである。
【００７４】
表示に関する実施形態は、図７Ａに示すシステムが検索結果を提供する実施例を示す図を参考にすることができる。図７Ａに示すように、モバイル機器７０は、ソフトウェアプログラムが起動するグラフィカルユーザインターフェース７０１を生成する。ユーザは、モバイル機器７０を操作して撮影することで実景画像７０３をリアルタイムに得ることができる。この状態において、ソフトウェアプログラムは、この時点のモバイル機器に対応する地上位置情報及び空間角度情報を生成すると共に、実景の画像情報を取得する。これら空間情報をサーバにアップロードして、データベースと比較することで当該実景に対応する空間オブジェクトを得ることができると共に、特定の検索条件でフィルタリングを行うことができる。その後、検索結果をモバイル機器７０に送信することで、図７Ａに示す空間オブジェクト７０５を表示する。
【００７５】
検索によって様々な結果が生成された場合、図７Ａに示す方式によって、グラフィカルユーザインターフェース７０１の所定位置に検索結果メニュー７０７を表示することができる。検索結果メニュー７０７にリスト表示された結果は、クラウドシステムに基づいて上述した各並べ替えの実施例において生成した結果であり、並べ替えを行った空間オブジェクト１、空間オブジェクト２、空間オブジェクト３、空間オブジェクト４及び空間オブジェクト５を含み、選択して見ることができるようユーザに提供される。並べ替えの根拠はユーザの交友範囲、嗜好、関連性であり、これら根拠に基づいて検索結果を配列する。
【００７６】
上述した複数の空間オブジェクトの検索結果を表示する方式は、図に示す方式に限定されず、空間オブジェクト（１、２、３、４、５、７０５）を左右にスクロールして切り替える方式でもよく、重ね合わせる方式で複数の空間オブジェクトを表示して、ユーザにタッチディスプレイを介して選択と切り替えを行わせることも可能である。更に、各空間オブジェクトは、ユーザがクリックした後、より多くの情報を取得できるよう、リンクボタンとすることができる。又は、他の図案を介して他の情報ページへのリンクをユーザに提供して、後続のインタラクティブの内容を提供することもできる。
【００７７】
図７Ｂは、空間オブジェクトを左右にスクロールすることで切り替える実施例を示す図である。
【００７８】
図７Ｂに示すように、モバイル機器７０のグラフィカルユーザインターフェース７０１'には、上述した実景画像７０３及び対応する空間オブジェクト７０５が表示される。グラフィカルユーザインターフェース７０１'において、ユーザが手の動きを左右させることで（スクロールさせるジェスチャーによって）切り替えるコントロールマーク７１１、７１２を形成する。しかしながら、特定の実施例において、コントロールマーク７１１、７１２を使用しなくともよい。例えば、図７Ｂの下方に示すプレビューアイコン７０９によって、ユーザが現在見ている画像（実景画像７０３、空間オブジェクト７０５）の前又は次の検索結果を表示することで、スクロールによって切り替える画像を提示することができる。
【００７９】
図８は、クラウドシステムにおいて実行されるオブジェクト検索並べ替え方法に係る実施例のフローである。当該フローは、図６に示すモバイル機器において実行されるフローに対しており、クラウドシステムの主要ステップを説明する。
【００８０】
先ずステップＳ８０１において、クラウドシステムにおける特定のサーバは、端末のモバイル機器がアップロードした空間情報を受信する。当該空間情報は、モバイル機器内の測位回路が生成した地上位置情報及び空間角度情報、並びに実景画像から取り込まれた色彩領域情報及び線情報を含む。その後、ステップＳ８０３において、システム側がデータベースに格納された空間情報を比較する。地上位置情報及び空間角度情報が明確に測位されておらず、ある空間オブジェクトを精確に得られなかった場合、モバイル機器が、撮影した実景画像を演算することで得られた色彩領域情報をアプリケーションシステムのサーバにアップロードすることで、比較する他のパラメータとすることができ、又は実景を形成する線情報を連続してアップロードすることで、比較するパラメータの１つとすることができる。
【００８１】
比較後、ステップＳ８０５において、システムが予備的検索結果を生成する。予備的検索結果は、主としてモバイル機器がアップロードした空間情報に基づいて比較することで得られる。予備的検索結果のうち、地上位置情報及び空間角度情報に合致する空間オブジェクトが検索可能範囲（可視範囲）内にある空間オブジェクトである。ステップＳ８０７において、予備的検索結果に検索条件を当てはめることで、各空間オブジェクトの時間範囲及びユーザ範囲に基づいて予備的にフィルタリングを行うことができる。
【００８２】
システムがユーザ識別データを取得した場合、ユーザ識別データによりフィルタリングを実行することができ、ユーザに提供する又はあるユーザ範囲内の個人空間オブジェクトや個人の過去の履歴データ又は嗜好等を含む、ユーザと関連する空間オブジェクトを得ることができる。次いで、ステップＳ８０９において、並べ替え時に、これら個人に関する検索結果は、通常、高い並べ替え優先順位を与えることができる。他の並べ替え条件としては、予備的検索結果における空間オブジェクトの時間特性、客観的データ、及びシステムが各空間オブジェクトについて設定した重み付けを参考にする。
【００８３】
最後に、ステップＳ８１１において、システムが並べ替えを行った検索結果を出力する。
【００８４】
図９は、本発明の空間オブジェクト検索並べ替え方法に係る他の実施例のフローである。
【００８５】
上述した実施例のフローに続いて、ステップＳ９０１において、システムが受信した空間情報（測位情報、画像情報）に基づいてデータベースと比較することで予備的検索結果を得た場合、採用した測位情報が、水平角度及び垂直角度の範囲を含むある空間範囲に含まれていたとき、システムは、空間範囲に基づいてデータベースと比較して、当該空間範囲内において該当する空間オブジェクトを取得する。選択的に、検索の範囲の精度によって、検索並べ替え方法に加えて、実景を撮影した画像情報を補助的に用いて、同様に各空間オブジェクトに対応する画像情報を比較して、より検索条件に合致する空間オブジェクトを取得し、測位情報及び画像情報に合致しない空間オブジェクトをフィルタリングして排除することができる。
【００８６】
ステップＳ９０３において、システム時間によって検索結果をフィルタリングすることで、その時点で表示されない空間オブジェクトを排除し、有効期限を過ぎた空間オブジェクトも排除する（情報の有効時間が設けられている場合）。時間もフィルタリング条件であり、例えば検索結果における空間オブジェクトには、表示が認められる時間を設定することができる。具体的には、朝食屋の広告情報は朝の時間帯のみ表示され、商店のディスカウント情報は午後のある時間帯のみ表示され、個人に提供される情報は設定された時間内のみ表示される等である。
【００８７】
次いで、ステップＳ９０５において、システムは、ユーザ識別データによって検索結果をフィルタリングし、前記ユーザに見せない空間オブジェクトを排除する。ステップＳ９０７において、システムは、ユーザ関連情報を比較した後、ユーザ個人情報を取得する。ユーザ個人情報に属する空間オブジェクトについては、並べ替えにおける優先順位を最も高く設定する、
【００８８】
ステップＳ９０９において、他のユーザ関連情報の並べ替えについて、システムは、ユーザ関連情報に基づいて各空間オブジェクトとの関連度を計算する。例えば個人が設定した嗜好は高い重み付けを行い、高い関連度を有するようにし、システムが履歴データに基づいて判断した嗜好は低い重み付けを行い、低い関連度を有するようにする。更に、ユーザ識別データからユーザと関連する検索条件を得ることができ、ユーザ識別データに直接対応する検索結果以外に（他人が前記ユーザの個人情報を残している場合）、ユーザ管理ユニットから、ユーザ識別データに対応するユーザ嗜好設定や、各空間オブジェクトの対応する内容に対するアクセス時間、訪問回数等の履歴データから判断した嗜好を取得することができる。
【００８９】
ステップＳ９１１において、並べ替えの条件について、システムは更に、例えば空間オブジェクトが構築された時間、更新時間及び有効時間といった、時間と関連する内容を含む客観的データに基づいて並べ替えを行うこともできる（期限を過ぎた空間オブジェクトが検索でヒットする可能性があるが、優先順位の最も低い結果として表示することができる）。即ち客観的データが、検索結果を形成する並べ替えの根拠の１つとなる。更に、例えば、空間オブジェクトの更新率、クリックレート、他のユーザの空間オブジェクトに対する評価といったその他の客観的データも検索結果の並べ替えの根拠となる。従って、評価が高いほど、更新率が高いほど、クリックレートが高いほど、並べ替えの優先順位も高くなる。
【００９０】
ステップＳ９１３において、並べ替え時にシステムが設定した空間オブジェクトの重み付けに基づいて並べ替えを行う。重み付けが高いほど高い並べ替え優先順位を有することができる。システム重み付けを行った空間オブジェクトは、ユーザが興味のない内容、例えば広告（価格要素を含む）、政府による指示宣伝、速報等を含む。広告を例に言えば、システムは、空間オブジェクトの提供者の要求（広告費用を出すこと）に基づいて異なる重み付けを行い、この重み付けが並べ替えの根拠の１つとなる。
【００９１】
最後に、ステップＳ９１５において、上述した各並べ替えのパラメータ（ユーザ関連情報、時間、客観的データ、システム重み付け）について重み付けを管理し、必要に応じて重み付けを調整することで、優先順位を決定する。クラウドシステムは、受信した複数の空間オブジェクトが個別に受信した重み付けに対してシステム重み付けを演算し、システム重み付けが大きいほど高い優先順位を有するようにする。
【００９２】
１つの実施例において、上述したフローの並べ替え後の検索結果において、表示される空間オブジェクトの並べ替えの優先順位は、個人情報が最も高く（重み付けが最も高く）、次いでユーザ関連度であり、その次が客観的データである。
【００９３】
表示において、毎回（毎ページ）表示する数には限度があるため、並べ替え順位の高い選択肢を先（第１ページ）に表示する。即ち、初期設定では先ず並べ替え順位が最も高い空間オブジェクトを表示画面上に表示して、次いでその他の内容を選択肢としてユーザに提供する。同一ページにはシステムが設定した重み付けが高い空間オブジェクトからリスト表示し、１回（又は１ページ）に表示可能な数を超えた場合、ユーザが次のページ内容を確認できるようにし、その場合、並べ替え順位の低い空間オブジェクトを選択肢として表示する。
【００９４】
本発明に係るコンピュータ読み取り可能な記憶装置は、モバイル機器において実行されるプログラムを格納するのに用いられる。プログラムは、モバイル機器のプロセッサによって実行された後、上述した各実施例における空間オブジェクト検索及び並べ替えの方法を実行する。プログラムは、主として、モバイル機器の撮影ユニットを起動する命令、実景の画像を取得して画像情報を生成する命令、モバイル機器が生成した測位情報を取得する命令、及び、測位情報及び画像情報をクラウドシステムにアップロードする命令を含む。その後、サーバが測位情報を比較し、及び／又は画像情報から生成された予備的検索結果を比較する。即ち、プログラムは、予備的検索結果に対して並べ替えを実行した後に出力された１つの又は複数の空間オブジェクトをサーバから受信する命令を更に含む。
【００９５】
このように、本発明に係る空間オブジェクト検索並べ替えの方法及びクラウドシステムによれば、システムにおいて実行される検索及び並べ替えのステップにおいて、複数のユーザがアップロードした測位情報及び実景の画像情報に基づいてデータベースから条件を満たす空間オブジェクトを検索できる以外に、更にユーザ関連情報、時間、客観的データ及びシステムが設定した重み付け等のパラメータによって検索結果をフィルタリングすると共に、並べ替えを行い、ユーザが興味のある又は関連する空間オブジェクトを効果的に提供することができる。
【００９６】
以上は本発明の好ましい実施例に過ぎず、本発明の特許請求の範囲を制限するものではない。従って、本発明の明細書及び図面の内容に基づいてなされた等価の構造変更は、いずれも本発明の特許請求の範囲に含まれる。
【符号の説明】
【００９７】
１０  モバイル機器
１０１、１０２、１０４  実景
１０３、１０５、１０７  空間オブジェクト
φ  方位角
θ  仰角
２０１  測位衛星
２０  モバイル機器
２０３  空間オブジェクト
２０５  背景画像
２２１、２２２、２２３、２２４、２２５、２２６  線
２１１、２１２、２１３、２１４、２１５、２１６、２１７  領域
Ａ  方向
３０  モバイル機器
３０１  表示画面
３２  実景
４０  ネットワーク
４１  サーバ
４３  検索データベース
４５  空間オブジェクトデータベース
４００  モバイル機器
４０１  データ処理ユニット
４０２  通信ユニット
４０３  地上測位ユニット
４０４  空間測位ユニット
４０５  撮影ユニット
４０６  タッチ表示ユニット
４０７  メモリユニット
４７１  画像取込命令
４７２  空間オブジェクト処理命令
４７３  測位情報生成命令
４７４  画像情報生成命令
４７５  検索処理命令
４７６  データ送受信命令
４７７  空間オブジェクト表示命令
４１１  データ取込ユニット
４１２  ユーザ管理ユニット
４１３  データ比較ユニット
４１４  検索条件フィルタユニット
４１５  並べ替えユニット
４１６  データ送信ユニット
７０  モバイル機器
７０１、７０１'  グラフィカルユーザインターフェース
７０３  実景画像
７０５  空間オブジェクト
７０７  検索結果メニュー
１〜５  空間オブジェクト
７１１、７１２  コントロールマーク
７０９  プレビューアイコン
ステップＳ６０１〜Ｓ６１５  空間オブジェクト検索並べ替えフロー
ステップＳ８０１〜Ｓ８１１  空間オブジェクト検索並べ替えフロー
ステップＳ９０１〜Ｓ９１５  空間オブジェクト検索並べ替えフロー
【図１Ａ】
2018049623.tif 000003
【図１Ｂ】
2018049623.tif 000004
【図１Ｃ】
2018049623.tif 000005
【図２Ａ】
2018049623.tif 000006
【図２Ｂ】
2018049623.tif 000007
【図３】
2018049623.tif 000008
【図４】
2018049623.tif 000009
【図５】
2018049623.tif 000010
【図６】
2018049623.tif 000011
【図７Ａ】
2018049623.tif 000012
【図７Ｂ】
2018049623.tif 000013
【図８】
2018049623.tif 000014
【図９】
2018049623.tif 000015