(57)【要約】【課題】通信の遅延が生じ得る環境でも精度よくＡＲ情報を提供する。【解決手段】第１情報処理装置（ＡＲ情報表示装置）は、現実の所定範囲の風景の所定位置にＡＲ情報を重ねて表示し、所定範囲を特定する情報である範囲特定情報を第２情報処理装置（ＡＲ情報提供装置）に送信し、第２情報処理装置は、範囲特定情報に基づき特定される所定範囲の所定位置に対応づけてＡＲ情報を設定し、設定したＡＲ情報を、所定位置を特定する情報である所定位置特定情報とともに第１情報処理装置に送信し、第１情報処理装置は、現在の範囲特定情報を取得し、受信した所定位置特定情報と取得した現在の範囲特定情報とに基づき、受信したＡＲ情報の表示位置を特定し、特定した表示位置に基づきＡＲ情報の表示を制御する。【選択図】図２
2019109319.tif 000002
【特許請求の範囲】
【請求項１】
第１情報処理装置と、
前記第１情報処理装置と通信可能に接続する第２情報処理装置と、
を含んで構成されるＡＲ情報提供システムであって、
前記第１情報処理装置は、
現実の所定範囲の風景の所定位置にＡＲ情報を重ねて表示するＡＲ情報表示部と、
前記所定範囲を特定する情報である範囲特定情報を取得する範囲特定情報取得部と、
前記範囲特定情報を前記第２情報処理装置に送信する範囲特定情報送信部と、
を備え、
前記第２情報処理装置は、
前記範囲特定情報を受信する範囲特定情報受信部と、
前記範囲特定情報に基づき特定される前記所定範囲の前記所定位置に対応づけて前記ＡＲ情報を設定するＡＲ情報設定部と、
設定した前記ＡＲ情報を、前記所定位置を特定する情報である所定位置特定情報とともに前記第１情報処理装置に送信するＡＲ情報送信部と、
を備え、
前記第１情報処理装置は、
前記ＡＲ情報とともに前記所定位置特定情報を受信するＡＲ情報受信部を有し、
前記範囲特定情報取得部は、現在の前記範囲特定情報を取得し、
前記ＡＲ情報表示部は、受信した前記所定位置特定情報と取得した前記現在の範囲特定情報とに基づき、受信した前記ＡＲ情報の表示位置を特定し、特定した前記表示位置に基づき前記ＡＲ情報の表示を制御する、
ＡＲ情報提供システム。
【請求項２】
請求項１に記載のＡＲ情報提供システムであって、
前記範囲特定情報は、前記第１情報処理装置の位置を世界座標系で示した情報、及び前記第１情報処理装置の姿勢を示す情報を含む、
ＡＲ情報提供システム。
【請求項３】
請求項１に記載のＡＲ情報提供システムであって、
前記所定位置特定情報は、前記所定位置を世界座標系で示した情報を含む、
ＡＲ情報提供システム。
【請求項４】
請求項１に記載のＡＲ情報提供システムであって、
前記第１情報処理装置は、
現実の風景の画像データを取得する画像データ取得部と、
取得した前記画像データを前記第２情報処理装置に送信する送信部と、
を有し、
前記第２情報処理装置は、
前記画像データを受信する画像データ受信部と、
受信した前記画像データに基づく画像を表示しつつ前記ＡＲ情報の設定に関する操作入力を受け付けるユーザインタフェースと、
を有する、
ＡＲ情報提供システム。
【請求項５】
請求項２に記載のＡＲ情報提供システムであって、
前記第１情報処理装置は、前記第１情報処理装置の前記位置及び前記姿勢のうちの少なくともいずれかに関する情報を出力する一つ以上のセンサを有する、
ＡＲ情報提供システム。
【請求項６】
請求項５に記載のＡＲ情報提供システムであって、
前記センサは、カメラ、深度カメラ、ＧＰＳ、ジャイロセンサ、加速度センサ、及び方位センサのうちの少なくともいずれかである、
ＡＲ情報提供システム。
【請求項７】
請求項１に記載のＡＲ情報提供システムであって、
前記第２情報処理装置は、
前記所定範囲を含む地図情報を記憶する記憶部と、
前記地図情報に基づく画像を表示しつつ前記ＡＲ情報の設定に関する操作入力を受け付けるユーザインタフェースと、
を有する、
ＡＲ情報提供システム。
【請求項８】
請求項２に記載のＡＲ情報提供システムであって、
前記第２情報処理装置は表示装置と接続し、
前記ＡＲ情報設定部は、前記第１情報処理装置の位置及び姿勢のうちの少なくともいずれかを示す情報を前記表示装置に表示する、
ＡＲ情報提供システム。
【請求項９】
第１情報処理装置と、
前記第１情報処理装置と通信可能に接続する第２情報処理装置と、
を含んで構成されるＡＲ情報提供システムであって、
前記第１情報処理装置は、
現実の所定範囲の風景の所定位置にＡＲ情報を重ねて表示するＡＲ情報表示部と、
前記所定範囲を特定する情報である範囲特定情報を取得する範囲特定情報取得部と、
前記範囲特定情報をタイムスタンプに対応づけて蓄積記憶する範囲特定情報履歴記憶部と、
前記所定範囲の画像データを取得する画像データ取得部と、
取得した前記画像データと前記画像データのタイムスタンプとを前記第２情報処理装置に送信する送信部と、
を有し、
前記第２情報処理装置は、
前記画像データを前記タイムスタンプとともに受信する画像データ受信部と、
受信した前記画像データに基づく画像を表示しつつ前記ＡＲ情報の設定に関する操作入力を受け付けるユーザインタフェースと、
設定した前記ＡＲ情報を、前記所定位置を特定する情報である所定位置特定情報及び前記タイムスタンプとともに前記第１情報処理装置に送信するＡＲ情報送信部と、
を有し、
前記第１情報処理装置は、
前記ＡＲ情報とともに前記所定位置特定情報及び前記タイムスタンプを受信するＡＲ情報受信部と、
蓄積記憶している前記範囲特定情報から、受信した前記タイムスタンプに対応する前記範囲特定情報を特定する範囲特定情報履歴特定部と、
を有し、
前記範囲特定情報取得部は、現在の前記範囲特定情報を取得し、
前記ＡＲ情報表示部は、前記特定した範囲特定情報の履歴、受信した前記所定位置特定情報、及び取得した前記現在の範囲特定情報に基づき、受信した前記ＡＲ情報の表示位置を特定し、特定した前記表示位置に基づき前記ＡＲ情報の表示を制御する、
ＡＲ情報提供システム。
【請求項１０】
請求項９に記載のＡＲ情報提供システムであって、
前記所定位置特定情報は、前記所定位置を前記画像データに基づくカメラ画像の座標系で示した情報を含み、
前記ＡＲ情報表示部は、範囲特定情報履歴特定部が特定した前記範囲特定情報の履歴に基づき、前記ＡＲ情報受信部が受信した前記所定位置特定情報を世界座標系で表された情報に変換する、
ＡＲ情報提供システム。
【請求項１１】
請求項１又は９に記載のＡＲ情報提供システムであって、
前記ＡＲ情報表示部は、特定した前記表示位置が前記現在の範囲特定情報で特定される範囲内であれば、前記受信したＡＲ情報を前記表示位置に表示する、
ＡＲ情報提供システム。
【請求項１２】
請求項１１に記載のＡＲ情報提供システムであって、
前記ＡＲ情報表示部は、特定した前記表示位置が前記現在の範囲特定情報で特定される範囲内でなければ、前記受信したＡＲ情報が存在する方向を示すＡＲ情報を前記範囲内に表示する、
ＡＲ情報提供システム。
【請求項１３】
請求項１に記載のＡＲ情報提供システムにおける前記第１情報処理装置であって、
現実の所定範囲の風景の所定位置にＡＲ情報を重ねて表示するＡＲ情報表示部と、
前記所定範囲を特定する情報である範囲特定情報を取得する範囲特定情報取得部と、
前記範囲特定情報を前記第２情報処理装置に送信する範囲特定情報送信部と、
前記ＡＲ情報とともに前記所定位置特定情報を受信するＡＲ情報受信部と、
を備え、
前記範囲特定情報取得部は、現在の前記範囲特定情報を取得し、
前記ＡＲ情報表示部は、受信した前記所定位置特定情報と取得した前記現在の範囲特定情報とに基づき、受信した前記ＡＲ情報の表示位置を特定し、特定した前記表示位置に基づき前記ＡＲ情報の表示を制御する、
情報処理装置。
【請求項１４】
請求項１に記載のＡＲ情報提供システムにおける前記第２情報処理装置であって、
前記範囲特定情報を受信する範囲特定情報受信部と、
前記範囲特定情報に基づき特定される前記所定範囲の前記所定位置に対応づけて前記ＡＲ情報を設定するＡＲ情報設定部と、
設定した前記ＡＲ情報を、前記所定位置を特定する情報である所定位置特定情報とともに前記第１情報処理装置に送信するＡＲ情報送信部と、
を備える、
情報処理装置。
【請求項１５】
請求項９に記載のＡＲ情報提供システムにおける前記第１情報処理装置であって、
現実の所定範囲の風景の所定位置にＡＲ情報を重ねて表示するＡＲ情報表示部と、
前記所定範囲を特定する情報である範囲特定情報を取得する範囲特定情報取得部と、
前記範囲特定情報をタイムスタンプに対応づけて蓄積記憶する範囲特定情報履歴記憶部と、
前記所定範囲の画像データを取得する画像データ取得部と、
取得した前記画像データと前記画像データのタイムスタンプとを前記第２情報処理装置に送信する送信部と、
、
前記ＡＲ情報とともに前記所定位置特定情報及び前記タイムスタンプを受信するＡＲ情報受信部と、
蓄積記憶している前記範囲特定情報から、受信した前記タイムスタンプに対応する前記範囲特定情報を特定する範囲特定情報履歴特定部と、
を有し、
前記範囲特定情報取得部は、現在の前記範囲特定情報を取得し、
前記ＡＲ情報表示部は、前記特定した範囲特定情報の履歴、受信した前記所定位置特定情報、及び取得した前記現在の範囲特定情報に基づき、受信した前記ＡＲ情報の表示位置を特定し、特定した前記表示位置に基づき前記ＡＲ情報の表示を制御する、
情報処理装置。
【請求項１６】
請求項９に記載のＡＲ情報提供システムにおける前記第２情報処理装置であって、
前記画像データを前記タイムスタンプとともに受信する画像データ受信部と、
受信した前記画像データに基づく画像を表示しつつ前記ＡＲ情報の設定に関する操作入力を受け付けるユーザインタフェースと、
設定した前記ＡＲ情報を、前記所定位置を特定する情報である所定位置特定情報と前記タイムスタンプとともに前記第１情報処理装置に送信するＡＲ情報送信部と、
を有する、
情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＡＲ情報提供システム及び情報処理装置に関する。
【背景技術】
【０００２】
特許文献１には、「遠隔通信システムにおいて情報伝達の迅速性を確保する。」、「互いに通信可能な第１端末と第２端末とを含み、第１端末にて撮影される映像が第１端末および第２端末の両方にて表示され、第２端末において、表示されている映像に示される目標位置にマークを描画するための入力操作が行われると、第１端末および第２端末にて表示される映像にて前記目標位置の動きに追随して動くように前記マークが前記目標位置に重畳表示される遠隔通信システムに含まれるマーク処理装置であって、前記第１端末のユーザへ前記マークの存在を通知する必要性の有無を判定し、必要性有と判定した場合、前記マークの存在を前記ユーザへ通知する通知処理を前記第１端末に実行させる判定部を備えた」と記載されている。
【０００３】
特許文献２には、「指示者が、撮影された現在の画像の範囲外に位置する対象物を、作業員に指示可能とする」、「カメラが撮影した複数の画像から得られる、該カメラの姿勢情報及び該画像の特徴点マップに基づいて、該複数の画像を重ね合わせて３次元パノラマ画像を生成して第１の表示部に表示させ、前記３次元パノラマ画像上でなされた対象物の指定に応じて、前記カメラの現在の姿勢情報に基づいて、指定された該対象物の位置情報を第２の表示部に出力させる処理をコンピュータが行う作業支援方法が提供される」と記載されている。
【０００４】
特許文献３には、「マーカや登録オブジェクト画像を用いることなく、一方の端末のカメラに写る映像に対して、他方の端末から画像的に指示する」、「第１の端末が、カメラによる撮影動画像を逐次、第２の端末へ送信する第１のステップと、第２の端末が、受信した撮影動画像をディスプレイに表示し、当該撮影動画像に対する指示静止画像をユーザに書き込ませる第２のステップと、第２の端末が、ユーザに書き込まれた指示静止画像と、当該指示静止画像を含む所定範囲で撮影動画像を静止画像としてトリミングした撮影静止画像とを、第１の端末へ送信する第３のステップと、第１の端末が、カメラによって撮影された撮影動画像と撮影静止画像とをマッチングさせ、一致した部分の撮影動画像に指示静止画像を重畳させてディスプレイに表示する第４のステップとを有する」と記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１７−３７４３４号公報
【特許文献２】特開２０１７−５８７５２号公報
【特許文献３】特開２０１５−１１５７２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
昨今、設備の保守運用、製品の製造、流通等の様々な業務分野においてＡＲ（Augmented Reality：拡張現実）技術の応用が進められている。特許文献１〜３には、遠隔地に存
在する熟練者や管理者等の遠隔支援者が操作する端末から、現場作業者が所持する端末に対して作業指示や作業を補助する情報をＡＲオブジェクトとして提供することが記載されている。
【０００７】
ここでこのように遠隔に存在する遠隔支援者の端末から現場作業者の端末にＡＲオブジェクトを提供する際は、通信の状態や端末の性能に起因する通信の遅延が問題となる。
【０００８】
例えば、特許文献１，２の構成では、通信遅延により、現場作業者の端末のカメラで撮影され遠隔支援者の端末に送信された映像に基づき作成されたＡＲオブジェクトが現場作業者の端末に送られて表示されるまでの間に現場作業者の端末の位置や方向が変化してしまうことがあり、ＡＲオブジェクトが正しい位置に表示されないことがある。
【０００９】
また特許文献３では、管理者から作業者に画像情報を送る必要があるため通信負荷が高く、画像データの圧縮や伸張に起因する遅延が問題となる。また往路と復路の夫々で圧縮処理が繰り返し行われることで画像マッチングの精度が低下してしまうことも問題となる。
【００１０】
本発明は、通信の遅延が生じ得る環境でも精度よくＡＲ情報を提供することが可能なＡＲ情報提供システム及び情報処理装置を提供することを目的としている。
【課題を解決するための手段】
【００１１】
上記課題を解決するための本発明のうちの一つは、第１情報処理装置と、前記第１情報処理装置と通信可能に接続する第２情報処理装置と、を含んで構成されるＡＲ情報提供システムであって、前記第１情報処理装置は、現実の所定範囲の風景の所定位置にＡＲ情報を重ねて表示するＡＲ情報表示部と、前記所定範囲を特定する情報である範囲特定情報を取得する範囲特定情報取得部と、前記範囲特定情報を前記第２情報処理装置に送信する範囲特定情報送信部と、を備え、前記第２情報処理装置は、前記範囲特定情報を受信する範囲特定情報受信部と、前記範囲特定情報に基づき特定される前記所定範囲の前記所定位置に対応づけて前記ＡＲ情報を設定するＡＲ情報設定部と、設定した前記ＡＲ情報を、前記所定位置を特定する情報である所定位置特定情報とともに前記第１情報処理装置に送信するＡＲ情報送信部と、を備え、前記第１情報処理装置は、前記ＡＲ情報とともに前記所定位置特定情報を受信するＡＲ情報受信部を有し、前記範囲特定情報取得部は、現在の前記範囲特定情報を取得し、前記ＡＲ情報表示部は、受信した前記所定位置特定情報と取得した前記現在の範囲特定情報とに基づき、受信した前記ＡＲ情報の表示位置を特定し、特定した前記表示位置に基づき前記ＡＲ情報の表示を制御する。
【００１２】
その他、本願が開示する課題、及びその解決方法は、発明を実施するための形態の欄、及び図面により明らかにされる。
【発明の効果】
【００１３】
本発明により、通信の遅延が生じ得る環境でも精度よくＡＲ情報を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】第１実施形態のＡＲ情報提供システムの概略的な構成を示す図である。
【図２】第１実施形態のＡＲ情報表示装置の主な構成を示す図である。
【図３】第１実施形態のＡＲ情報表示装置の一例を示す外観図である。
【図４】第１実施形態のＡＲ情報提供装置の主な構成を示す図である。
【図５】第１実施形態のＡＲ情報提供システムにおいて行われる処理を説明するフローチャートである。
【図６】ＡＲ情報表示部が表示する画面の例である。
【図７】（ａ），（ｂ）は、ＡＲ情報表示部が表示する画面の例である。
【図８】第２実施形態のＡＲ情報表示装置の主な構成を示す図である。
【図９】第２実施形態のＡＲ情報提供装置の主な構成を示す図である。
【図１０】第２実施形態のＡＲ情報提供システムにおいて行われる処理を説明するフローチャートである。
【図１１】第３実施形態のＡＲ情報表示装置の主な構成を示す図である。
【図１２】第３実施形態のＡＲ情報提供装置の主な構成を示す図である。
【図１３】第３実施形態のＡＲ情報提供システムにおいて行われる処理を説明するフローチャートである。
【発明を実施するための形態】
【００１５】
以下、実施形態につき適宜図面を参照しつつ説明する。尚、以下の説明において、同一の又は類似する構成に同一の符号を付して重複した説明を省略することがある。また以下の説明において、拡張現実のことをＡＲ（Augmented Reality）と表記することがある。
また以下の説明において、「データベース」のことを「ＤＢ」と、「プログラム」のことを「ＰＧ」と、夫々略記することがある。
【００１６】
［第１実施形態］
図１に第１実施形態として説明するＡＲ情報提供システム１の概略的な構成を示している。ＡＲ情報提供システム１は、ＡＲ情報６（ＡＲオブジェクト）を利用（参照）するＡＲ情報利用者３が装着もしくは携帯するＡＲ情報表示装置１０（第１情報処理装置）と、ＡＲ情報６を提供するＡＲ情報提供者４が操作するＡＲ情報提供装置２０（第２情報処理装置）とを含む。
【００１７】
ＡＲ情報表示装置１０とＡＲ情報提供装置２０とは、通信ネットワーク５を介して双方向通信を行う。通信ネットワーク５は、有線方式や無線方式の通信手段（インターネット（Internet）、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、公衆通
信網、専用線等）や各種通信装置（ルータ、ハブ、ＮＩＣ（Network Interface Card）、無線通信モジュール等）を用いて構成される。
【００１８】
ＡＲ情報利用者３は、例えば、設備の保守運用業務を行う現場の作業員である。ＡＲ情報利用者３は、ＡＲ情報表示装置１０が表示する、ＡＲ情報提供装置２０から送られてきたＡＲ情報６を参照しつつ、設備の点検や修理等の作業を遂行する。
【００１９】
ＡＲ情報提供者４は、例えば、ＡＲ情報利用者３が行う業務の管理者や熟練者等である。ＡＲ情報提供者４は、ＡＲ情報提供装置２０を操作し、作業指示、作業手順、各種アドバイス等の情報を含むＡＲ情報６を設定（生成）する。ＡＲ情報提供者４によって設定されたＡＲ情報６は、ＡＲ情報提供装置２０からＡＲ情報表示装置１０に送信され、ＡＲ情報利用者３に提供される。
【００２０】
図２にＡＲ情報表示装置１０の主な構成を示している。同図に示すように、ＡＲ情報表示装置１０は、プロセッサ１１、記憶装置１２、表示装置１３、通信装置１４、カメラ１５、及び各種センサ１６を備える。同図に示す構成の他、ＡＲ情報表示装置１０は、音声入出力装置（マイクロフォン、スピーカ等）を備えていてもよい。同図では蓄電装置（バッテリ）や電源回路等の基本的なハードウェアについては省略している。
【００２１】
プロセッサ１１は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）を用いて構成される。プロセッサ１１が記憶装置１２に格納されているプログラムを実行することによりＡＲ情報表示装置１０の各種の機能が実現される。
【００２２】
記憶装置１２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＮＶＲＡＭ（Non-volatile memory））、ＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disk Drive）、光学式／磁気式記憶装置等を用いて構成される。
【００２３】
表示装置１３は、現実の風景（本例ではＡＲ情報利用者３が現在眺めている現場の風景）にＡＲ情報を重ねて表示する。表示装置１３は、例えば、ハーフミラーを利用して虚像を形成する虚像投影方式、人の目の水晶体を利用して網膜に直接結像させる網膜投影方式等の方式により、現実の風景にＡＲ情報を重ねて表示する。表示装置１３は、例えば、マイクロディスプレイ（ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（EL:Electro Luminescence）、ＬＥＤ（Light Emitting Diode）等を用いて構成されたもの等）、投射レン
ズ、導光板、ＬＥＤ等の発光デバイス等を含んで構成される。尚、表示装置１３がＡＲ情報を現場の外界光に重ねて表示する方法は必ずしも限定されない。また現実の風景にＡＲ情報を重ねる方式は必ずしも直接的な外界光を利用する光学透過方式でなくてもよく、例えば、ＡＲ情報表示装置１０に装備されたカメラにより撮影された間接的な現実の風景映像にＡＲ情報を重ねるビデオ透過方式であってもよい。
【００２４】
通信装置１４は、通信ネットワーク５を介してＡＲ情報提供装置２０と無線方式又は有線方式により通信する装置であり、例えば、無線通信モジュールやＮＩＣ（Network Interface Card）を用いて構成される。
【００２５】
カメラ１５は、ＡＲ情報表示装置１０の周囲の風景を撮影する装置であり、例えば、光学機構、ＣＣＤ（Charged-coupled devices）方式やＣＭＯＳ(Complementary metal-oxide-semiconductor）方式の撮像素子、映像（画像）処理装置、記憶装置等を備えて構成さ
れる。
【００２６】
各種センサ１６は、ＡＲ情報表示装置１０の状態（現在位置、姿勢、移動）や周囲環境に関する情報を検知して出力する。各種センサ１６は、例えば、深度カメラ（タイムオブフライト（TOF: Time Of Flight）カメラ、ステレオカメラ、レーザレーダ（LiDAR: Laser imaging Detection and Ranging）、赤外線深度センサ、超音波センサ等）、ＧＰＳ（Global Positioning System）、ジャイロセンサ、加速度センサ、方位センサ、赤外線センサ、照度センサ等である。カメラ１５も各種センサ１６として機能させることができる。
【００２７】
図３は、ＡＲ情報表示装置１０の一例として示す、眼鏡型のウェアラブルデバイス（ＨＭＤ（Head Mounted Display））の外観である。ＡＲ情報表示装置１０の本体フレーム１９には、図２に示したＡＲ情報表示装置１０の符号１１〜１６で示す各構成が実装されている。同図に示すＡＲ情報表示装置１０の場合、外界光を透過する眼鏡部分１３２に装着された表示装置１３の表示画面１３１にＡＲ情報が表示される。尚、同図はＡＲ情報表示装置１０の一例に過ぎず、ＡＲ情報表示装置１０は、例えば、スマートフォン、タブレット、各種携帯端末等の他の種類の装置であってもよい。
【００２８】
図２に戻り、記憶装置１２は、ＡＲ情報表示プログラム（以下、ＡＲ情報表示ＰＧ１１１と称する。）、範囲特定情報取得プログラム（以下、範囲特定情報取得ＰＧ１１２と称する。）、範囲特定情報送信プログラム（以下、範囲特定情報送信ＰＧ１１３と称する。）、ＡＲ情報受信プログラム（以下、ＡＲ情報受信ＰＧ１１４と称する。）、及び画像データ送信プログラム（以下、画像データ送信ＰＧ１１５と称する。）を記憶する。記憶装置１２は、更にＯＳ（Operating System）やＤＢＭＳ（Database Management System）を実現するためのプログラムを記憶していてもよい。
【００２９】
以下、ＡＲ情報表示ＰＧ１１１によって実現される機能のことをＡＲ情報表示部と、範囲特定情報取得ＰＧ１１２によって実現される機能のことを範囲特定情報取得部と、範囲特定情報送信ＰＧ１１３によって実現される機能のことを範囲特定情報送信部と、ＡＲ情報受信ＰＧ１１４によって実現される機能のことをＡＲ情報受信部と、画像データ送信ＰＧ１１５によって実現される機能のことを画像データ送信部と、夫々称する。
【００３０】
同図に示すように、記憶装置１２は、ＡＲ情報１２１、地図情報１２２、及びマーカ情報１２３を記憶する。ＡＲ情報１２１、地図情報１２２、及びマーカ情報１２３は、例えば、ＤＢＭＳのデータベースに管理される。
【００３１】
ＡＲ情報１２１は、ＡＲ情報提供装置２０から送られてきたＡＲ情報であり、ＡＲ情報の構成要素となる文字情報、図形情報（平面図形（幾何学図形）、立体等）等を含む。
【００３２】
地図情報１２２は、世界座標系（ワールド座標系）で表されたＡＲ情報表示装置１０の周囲の３次元の地図情報（例えば、立体モデルによるもの）を含む。
【００３３】
マーカ情報１２３は、ＡＲ情報表示装置１０の周囲（本例では作業現場）に固定設置された一つ以上のマーカの夫々についての、世界座標系による設置位置情報と撮影画像からマーカを特定するためのマッチング情報とを含む。
【００３４】
前述したＡＲ情報表示部は、現実の所定範囲の風景の所定位置に重なるように、表示装置１３の表示画面１３１にＡＲ情報を表示する。またＡＲ情報表示部は、ＡＲ情報が存在する方向等のＡＲ情報に関する情報を表示画面１３１に表示する。ＡＲ情報の具体的な表示制御については後述する。
【００３５】
範囲特定情報取得部は、上記の所定範囲を特定する情報である範囲特定情報を取得する。上記の所定範囲は、例えば、ある時点におけるカメラ１５の撮影範囲（画角、視野角等で特定される範囲）と一致する。また範囲特定情報は、例えば、ある時点にＡＲ情報利用者３がＡＲ情報表示装置１０の眼鏡部分１３２を介して周囲を眺めた視野範囲（画角、視野角）と一致する。範囲特定情報取得部は、例えば、各種センサ１６が出力する情報に基づき範囲特定情報を生成する。範囲特定情報は、例えば、ＡＲ情報表示装置１０の現在位置を世界座標系で示した情報と、ＡＲ情報表示装置１０の姿勢（例えば、ＡＲ情報表示装置１０のカメラ１５が向いている方向）を示す情報とを含む。
【００３６】
範囲特定情報送信部は、範囲特定情報取得部が送信した範囲特定情報をＡＲ情報提供装置２０に送信する。範囲特定情報送信部は、送信する範囲特定情報にタイムスタンプ（例えば、当該範囲特定情報を取得した時刻や当該範囲特定情報が生成された時刻）を付帯させる。このタイムスタンプは、例えば、後述する画像データと対応をとるために利用される。
【００３７】
ＡＲ情報受信部は、ＡＲ情報提供装置２０からＡＲ情報を受信し、ＡＲ情報１２１として記憶する。ＡＲ情報受信部が受信するＡＲ情報には、前述した所定位置を特定する情報である所定位置特定情報が付帯する。所定位置特定情報は、例えば、上記所定位置を世界座標で表した情報を含む。
【００３８】
画像データ送信部は、カメラ１５によって撮影され出力される画像データをＡＲ情報提供装置２０に送信する。画像データは、静止画でもよいし、動画データを構成している各フレームであってもよい。画像データにはタイムスタンプ（例えば、画像データ又はフレームを取得した時刻やこれらが生成された時刻）が付帯する。
【００３９】
図４にＡＲ情報提供装置２０の主な構成を示している。同図に示すように、ＡＲ情報提供装置２０は、プロセッサ２１、記憶装置２２、入力装置２３、表示装置２４、及び通信装置２５を備える。同図に示す構成の他、ＡＲ情報提供装置２０は、音声入出力装置（マイクロフォン、スピーカ等）を備えていてもよい。同図では電源回路等の基本的なハードウェアについては省略している。
【００４０】
プロセッサ２１は、例えば、ＣＰＵやＭＰＵを用いて構成される。プロセッサ２１が記憶装置２２に格納されているプログラムを実行することによりＡＲ情報提供装置２０の各種の機能が実現される。記憶装置２２は、例えば、ＲＯＭ、ＲＡＭ、ＮＶＲＡＭ、ＳＳＤ、ＨＤＤ、光学式／磁気式記憶装置等を用いて構成される。入力装置２３は、例えば、マウスやキーボード等であり、ユーザから情報の入力を受け付ける。表示装置２４は、例えば、ＬＣＤ（Liquid Crystal Display）等であり、各種の情報をユーザに提供する。通信装置２５は、通信ネットワーク５を介してＡＲ情報表示装置１０と無線方式又は有線方式により通信する装置であり、例えば、無線通信モジュールやＮＩＣを用いて構成される。
【００４１】
同図に示すように、記憶装置２２は、範囲特定情報受信プログラム（以下、範囲特定情報受信ＰＧ２１１と称する。）、画像データ受信プログラム（以下、画像データ受信ＰＧ２１２と称する。）、ＡＲ情報設定プログラム（以下、ＡＲ情報設定ＰＧ２１３と称する。）、ＡＲ情報送信プログラム（以下、ＡＲ情報送信ＰＧ２１４と称する。）を記憶する。記憶装置１２は、更にＯＳやＤＢＭＳを実現するためのプログラムを記憶してもよい。
【００４２】
以下、範囲特定情報受信ＰＧ２１１によって実現される機能のことを範囲特定情報受信部と、画像データ受信ＰＧ２１２によって実現される機能のことを画像データ受信部と、ＡＲ情報設定ＰＧ２１３によって実現される機能のことをＡＲ情報設定部と、ＡＲ情報送信ＰＧ２１４によって実現される機能のことをＡＲ情報送信部と、夫々称する。
【００４３】
記憶装置２２は、ＡＲ情報２２１及び地図情報２２２を記憶する。ＡＲ情報２２１及び地図情報２２２は、例えば、ＤＢＭＳのデータベースに管理される。ＡＲ情報１２１は、ＡＲ情報設定部により設定されたＡＲ情報である。地図情報２２２は、世界座標系（ワールド座標系）で表された、ＡＲ情報表示装置１０の周囲の３次元の地図情報（例えば、立体モデルによるもの）を含む。地図情報２２２は、ＡＲ情報表示装置１０の記憶装置１２が記憶する地図情報１２２の内容と共通している。
【００４４】
範囲特定情報受信部は、ＡＲ情報表示装置１０から送られてくる範囲特定情報を受信して記憶する。
【００４５】
画像データ受信部は、ＡＲ情報表示装置１０から送られてくる画像データを受信して記憶する。
【００４６】
ＡＲ情報設定部は、ユーザインタフェース（入力装置２３、表示装置２４）を介して行われるユーザとの対話処理によりＡＲ情報の編集操作（ＡＲ情報の新規作成、ＡＲ情報の修正、表示位置の変更等）を受け付けてＡＲ情報を設定する。ＡＲ情報設定部は、設定中のＡＲ情報をカメラ画像に重ねて表示装置２４に表示する。ＡＲ情報設定部は、上記対話処理により生成されたＡＲ情報をＡＲ情報２２１として記憶する。記憶する各ＡＲ情報には、範囲特定情報受信部が受信した範囲特定情報に基づき特定された、前述の所定位置特定情報が付帯する。
【００４７】
ＡＲ情報送信部は、ＡＲ情報設定部が設定したＡＲ情報を所定位置特定情報とともにＡＲ情報表示装置１０に送信する。
【００４８】
続いて、図５に示すフローチャートとともにＡＲ情報提供システム１において行われる処理について説明する。
【００４９】
ＡＲ情報表示装置１０の画像データ送信部は、カメラ１５から画像データを取得し（Ｓ５１１）、取得した画像データをＡＲ情報提供装置２０に送信する（Ｓ５１２）。送信さ
れる各画像データにはタイムスタンプが付帯する。画像データ送信部１１５は、例えば、ＲＴＰ（Real-time Transport Protocol）及びＵＤＰ(User Datagram Protocol)により画像データを送信する。その場合、上記タイムスタンプとしてＲＴＰヘッダのタイムスタンプを用いてもよい。尚、タイムスタンプは必ずしも全ての画像データに付帯させなくてもよく、例えば、時間ずれが実用上問題にならない範囲で間欠的に付帯させるようにしてもよい。また送信する画像データが映像データに基づくものである場合、例えば、フレーム毎にタイムスタンプを送信してもよい。Ｓ５１１〜Ｓ５１２の処理は繰り返し行われる。
【００５０】
ＡＲ情報提供装置２０の画像データ受信部は、ＡＲ情報表示装置１０から送られてくる画像データを受信し（Ｓ５１３）、受信した画像データに基づく画像（以下、カメラ画像と称する。）を表示装置２４に表示する（Ｓ５１４）。このとき、画像データ受信部は、画像データ受信部が行う処理とＡＲ情報設定部が行う処理との間の対応をとるため、受信した画像データに付帯するタイムスタンプをＡＲ情報設定部に通知する。尚、タイムスタンプは必ずしも画像データを受信する度に通知しなくてもよく、例えば、画像データ受信部が行う処理とＡＲ情報設定部が行う処理との間の時間ずれが実用上問題にならない範囲で間欠的に通知するようにしてもよい。また上記の時間ずれが実用上問題にならない場合（例えば、ＡＲ情報提供装置２０の処理能力が高い場合）は上記通知は行わなくてもよい。Ｓ５１３〜Ｓ５１４の処理は繰り返し行われる。
【００５１】
ＡＲ情報表示装置１０の範囲特定情報取得部は、範囲特定情報を取得し（Ｓ５１５）、取得した範囲特定情報をＡＲ情報提供装置２０に送信する（Ｓ５１６）。送信される上記範囲特定情報には画像データと対応をとるためのタイムスタンプが付帯する。本例では、範囲特定情報は、ＡＲ情報表示装置１０の現在位置を世界座標系で示した情報とカメラ１５が向いている方向を示す情報を含む。範囲特定情報取得部は、例えば、ＧＰＳに基づく情報とマーカを撮影した画像データに基づき範囲特定情報を取得する。また範囲特定情報取得部は、例えば、撮影されたマーカのサイズとマーカの縦横の歪みをマーカ情報１２３と照合することにより、ＡＲ情報表示装置１０の正確な現在位置やカメラ１５が向いている正確な方向を取得する。また範囲特定情報取得部は、例えば、深度カメラから取得されるデータと地図情報１２２とを照合することにより、ＡＲ情報表示装置１０の正確な現在位置やカメラ１５が向いている正確な方向を取得する。また範囲特定情報取得部は、例えば、その他の公知の方法により、ＡＲ情報表示装置１０の正確な現在位置やカメラ１５が向いている正確な方向を取得する。Ｓ５１５〜Ｓ５１６の処理は繰り返し行われる。
【００５２】
ＡＲ情報提供装置２０の範囲特定情報受信部は、ＡＲ情報表示装置１０から送られてくる範囲特定情報を受信する（Ｓ５１７）。続いて、ＡＲ情報提供装置２０のＡＲ情報設定部は、ユーザインタフェース（入力装置２３及び表示装置２４）を介した対話処理により、受信した範囲特定情報に基づき特定される所定範囲についてＡＲ情報の設定を開始する（Ｓ５１８）。具体的には、ＡＲ情報設定部は、ユーザインタフェースを介してＡＲ情報の編集を受け付け、それにより生成されたＡＲ情報を上記所定範囲の所定位置を示す情報（世界座標系で示した情報）である所定位置特定情報に対応づけた情報をＡＲ情報２２１として記憶する。ユーザはＡＲ情報を新規に設定することもできるし、予め記憶しているＡＲ情報２２１を利用して設定することもできる。
【００５３】
ＡＲ情報の設定に際し、ＡＲ情報設定部は、設定中のＡＲ情報をカメラ画像に重ねて表示装置２４に表示する。またＡＲ情報設定部は、図６に示すように、ＡＲ情報利用者３の位置と視線方向やＡＲ情報の位置と方向を含む位置情報７と、ＡＲ情報利用者３の近傍の地図情報８を表示する（Ｓ５１９）。これによりユーザは現場のカメラ画像を確認しながら正確な位置（世界座標系の位置）にＡＲ情報を設定することができる。尚、本実施形態では、ＡＲ情報設定部にＡＲ情報利用者３の近くに任意に設定した原点からの相対位置を位置情報７として表示させているが、ＡＲ情報設定部に緯度、経度からなる世界座標系の
座標を位置情報７として表示させてもよい。
【００５４】
ＡＲ情報の設定が終了すると（Ｓ５２０：ＹＥＳ）、ＡＲ情報提供装置２０のＡＲ情報送信部は、生成したＡＲ情報を、当該ＡＲ情報の所定位置特定情報（世界座標系）とともにＡＲ情報表示装置１０に送信する（Ｓ５２１）。Ｓ５１７〜Ｓ５２１の処理は繰り返し行われる。
【００５５】
ＡＲ情報表示装置１０のＡＲ情報受信部は、ＡＲ情報提供装置２０から送られてくるＡＲ情報と所定位置特定情報（世界座標系）とを受信する（Ｓ５２２）。続いて、ＡＲ情報表示装置１０の範囲特定情報取得部は、現在における範囲特定情報（世界座標系）を新たに取得する（Ｓ５２３）。続いて、ＡＲ情報表示装置１０のＡＲ情報表示部は、新たに取得した範囲特定情報（世界座標系）と受信した所定位置特定情報（世界座標系）とを照合し、ＡＲ情報の表示装置１３の表示画面１３１の座標系における表示位置を求める（Ｓ５２４）。このとき、ＡＲ情報表示装置１０のＡＲ情報表示部は、所定位置特定情報に含まれるＡＲ情報表示装置１０の現在位置とカメラ１５が向いている方向からなる位置情報７とを表示する（Ｓ５２５）。
【００５６】
続いて、ＡＲ情報表示装置１０のＡＲ情報表示部は、ＡＲ情報の表示位置が、新たに取得した範囲特定情報から特定される範囲内か否かを判断する（Ｓ５２６）。ＡＲ情報の表示位置が新たに取得した範囲特定情報から特定される範囲内である場合（Ｓ５２６：ＹＥＳ）、ＡＲ情報表示部は、表示画面１３１における、Ｓ５２４で求めた表示位置にＡＲ情報を表示する（Ｓ５２７）。その後、処理はＳ５２２に戻る。
【００５７】
一方、ＡＲ情報の表示位置が範囲特定情報から特定される範囲内でない場合（Ｓ５２６：ＮＯ）、ＡＲ情報表示部は、Ｓ５２４で求めた表示位置が存在する方向を示す情報や、ＡＲ情報が変更された旨の情報等の代替のオブジェクトを表示画面１３１に表示する（Ｓ５２８）。その後、処理はＳ５２２に戻る。
【００５８】
図７（ａ）に、Ｓ５２７でＡＲ情報表示部が表示する画面の一例を、図７（ｂ）に、Ｓ５２８でＡＲ情報表示部が表示する画面の一例を、夫々示す。図７（ａ）に示すように、ＡＲ情報の表示位置が範囲特定情報から特定される範囲内であるため、表示画面１３１のＳ５２４で求めた表示位置にＡＲ情報（符号７１１）と位置情報７が表示されている。一方、図７（ｂ）では、ＡＲ情報の表示位置が範囲特定情報から特定される範囲内でないため、Ｓ５２４で求めた表示位置が存在する方向を示す情報（符号７１２）と位置情報７が表示画面１３１に表示されている。
【００５９】
以上に説明したように、第１実施形態のＡＲ情報提供システム１においては、ＡＲ情報表示装置１０が、ＡＲ情報提供装置２０から送られてくるＡＲ情報と所定位置特定情報（世界座標系）に基づきＡＲ情報の表示を制御するので、位置ずれを生じさせずに精度よくＡＲ情報を提供することができる。またＡＲ情報表示装置１０からＡＲ情報提供装置２０へは、画像データと範囲特定情報を送信するのみであり、ＡＲ情報提供装置２０からＡＲ情報表示装置へは、ＡＲ情報と所定位置特定情報を送信するのみである。そのため、通信量の増大を抑えつつ効率よくＡＲ情報提供装置２０からＡＲ情報表示装置１０にＡＲ情報を提供することができる。
【００６０】
［第２実施形態］
第１実施形態のＡＲ情報提供システム１では、ＡＲ情報表示装置１０からＡＲ情報提供装置２０に画像データを送信し、ＡＲ情報提供装置２０が、ＡＲ情報の設定に際してＡＲ情報をカメラ画像に重ねて表示装置２４に表示する。第２実施形態のＡＲ情報提供システム１では、ＡＲ情報表示装置１０からＡＲ情報提供装置２０に画像データを送信せず、Ａ
Ｒ情報提供装置２０は、記憶している地図情報２２２にＡＲ情報を重ねて表示装置２４に表示しつつ、ユーザとの対話処理によりＡＲ情報の設定を行う。
【００６１】
図８に第２実施形態のＡＲ情報表示装置１０の主な構成を示している。同図に示すように、第２実施形態のＡＲ情報表示装置１０は、プロセッサ１１、記憶装置１２、表示装置１３、通信装置１４、カメラ１５、及び各種センサ１６を備える。これらの構成は基本的に第１実施形態のＡＲ情報表示装置１０と同様である。但し、第２実施形態のＡＲ情報表示装置１０は、記憶装置１２が、画像データ送信ＰＧ１１５（画像データ送信部）を記憶していない点で第１実施形態のＡＲ情報表示装置１０と構成が異なる。
【００６２】
図９に第２実施形態のＡＲ情報提供装置２０の主な構成を示している。同図に示すように、第２実施形態のＡＲ情報提供装置２０は、プロセッサ２１、記憶装置２２、入力装置２３、表示装置２４、及び通信装置２５を備える。これらの構成は基本的に第１実施形態のＡＲ情報提供装置２０と同様である。但し、第２実施形態のＡＲ情報提供装置２０は、記憶装置２２が画像データ受信ＰＧ２１２を記憶していない点、及び、ＡＲ情報設定部が、ユーザとの対話処理によりＡＲ情報の編集を受け付ける際、設定中のＡＲ情報を、地図情報２２２に基づく３次元の地図画像に重ねて表示装置２４に表示する点で第１実施形態のＡＲ情報提供装置２０と構成が異なる。
【００６３】
図１０は、第２実施形態のＡＲ情報提供システム１において行われる処理を説明するフローチャートである。以下、同図とともに上記処理について説明する。
【００６４】
まずＡＲ情報表示装置１０の範囲特定情報取得部は、範囲特定情報を取得し（Ｓ１０１５）、取得した範囲特定情報をＡＲ情報提供装置２０に送信する（Ｓ１０１６）。これらの処理は図５のＳ５１１，Ｓ５１２の処理と同様であるので説明を省略する。
【００６５】
ＡＲ情報提供装置２０の範囲特定情報受信部は、ＡＲ情報表示装置１０から送られてくる範囲特定情報を受信する（Ｓ１０１７）。
【００６６】
続いて、ＡＲ情報提供装置２０のＡＲ情報設定部は、ユーザインタフェース（入力装置２３及び表示装置２４）を介した対話処理により、受信した範囲特定情報に基づき特定される所定範囲についてＡＲ情報の設定を開始する（Ｓ１０１８）。具体的には、ＡＲ情報設定部は、ユーザインタフェースを介してＡＲ情報の編集を受け付け、それにより生成されたＡＲ情報を上記所定範囲の所定位置（世界座標系）を示す情報である所定位置特定情報に対応づけた情報をＡＲ情報２２１として記憶する。尚、ユーザは、上記ＡＲ情報を新規に設定することもできるし、予め記憶しているＡＲ情報２２１を利用して設定することもできる。ＡＲ情報の設定に際し、ＡＲ情報設定部は、設定中のＡＲ情報を地図情報２２２に基づく３次元の地図画像に重ねて表示装置２４に表示する。これによりユーザは３次元の地図画像を確認しながら正確な位置にＡＲ情報を設定することができる。
【００６７】
Ｓ１０１８〜Ｓ１０２７の処理は、Ｓ５１９及びＳ５２５に相当する処理を除いて図５のＳ５１８〜Ｓ５２８の処理と同様であるので説明を省略する。
【００６８】
以上に説明したように、第２実施形態のＡＲ情報提供システム１においては、第１実施形態と同様に、ＡＲ情報表示装置１０が、ＡＲ情報提供装置２０から送られてくるＡＲ情報と所定位置特定情報（世界座標系）とに基づきＡＲ情報の表示を制御するので、位置ずれを生じさせずに精度よくＡＲ情報を提供することができる。またＡＲ情報表示装置１０からＡＲ情報提供装置２０に画像データを送信せず、ＡＲ情報提供装置２０は、設定中のＡＲ情報を地図情報２２２に基づく３次元の地図画像に重ねて表示装置２４に表示しつつ、ユーザとの対話処理によりＡＲ情報の設定を行う。そのため、通信量の増大を抑えつつ
効率よくＡＲ情報提供装置２０からＡＲ情報表示装置１０にＡＲ情報を提供することができる。
【００６９】
［第３実施形態］
第１実施形態のＡＲ情報提供システム１では、ＡＲ情報表示装置１０からＡＲ情報提供装置２０に範囲特定情報を送信し、ＡＲ情報提供装置２０が、範囲特定情報を受信し、受信した範囲特定情報に基づき特定される所定範囲についてＡＲ情報の設定を行っている。第３実施形態のＡＲ情報提供システム１では、ＡＲ情報表示装置１０は範囲特定情報をタイムスタンプと対応づけた履歴情報として記憶し、ＡＲ情報表示装置１０からＡＲ情報提供装置２０に範囲特定情報を送信しない。一方、ＡＲ情報提供装置２０は、ＡＲ情報の設定に際してＡＲ情報をカメラ画像に重ねて表示装置２４に表示しつつユーザとの対話処理によりカメラ画像の範囲（所定範囲）についてＡＲ情報の設定を行い、設定したＡＲ情報を、当該ＡＲ情報に対応づけられている所定位置特定情報、及びＡＲ情報の設定に際して重ねたカメラ画像（画像データ）のタイムスタンプとともにＡＲ情報表示装置１０に送信する。そしてＡＲ情報表示装置１０は、記憶している履歴情報からＡＲ情報とともに受信したタイムスタンプに対応する範囲特定情報の履歴を取得し、ＡＲ情報の世界座標系における表示位置を特定する。
【００７０】
図１１に、第３実施形態のＡＲ情報表示装置１０の主な構成を示している。同図に示すように、第３実施形態のＡＲ情報表示装置１０は、プロセッサ１１、記憶装置１２、表示装置１３、通信装置１４、カメラ１５、及び各種センサ１６を備える。これらの構成は基本的に第１実施形態のＡＲ情報表示装置１０と同様である。但し、第３実施形態のＡＲ情報表示装置１０は、記憶装置１２が、範囲特定情報送信ＰＧ１１３を記憶していない点、並びに、記憶装置１２が、範囲特定情報履歴記憶ＰＧ１１６、範囲特定情報履歴特定ＰＧ１１７、及び範囲特定情報履歴１２４を記憶している点で第１実施形態のＡＲ情報表示装置１０と構成が異なる。
【００７１】
尚、以下の説明において、プロセッサ１１が範囲特定情報履歴記憶ＰＧ１１６を実行することにより実現される機能のことを範囲特定情報履歴記憶部と、プロセッサ１１が範囲特定情報履歴特定ＰＧ１１７を実行することにより実現される機能のことを範囲特定情報履歴特定部と、夫々称する。
【００７２】
図１２に第３実施形態のＡＲ情報提供装置２０の主な構成を示している。同図に示すように、第３実施形態のＡＲ情報提供装置２０は、プロセッサ２１、記憶装置２２、入力装置２３、表示装置２４、及び通信装置２５を備える。これらの構成は基本的に第１実施形態のＡＲ情報提供装置２０と同様である。但し、第２実施形態のＡＲ情報提供装置２０は、記憶装置２２が範囲特定情報受信ＰＧ２１１を記憶していない点、並びに、ＡＲ情報設定部がＡＲ情報とともに画像データに基づくカメラ画像の座標系（以下、カメラ画像座標系と称する。）による所定位置特定情報を生成する点、ＡＲ情報送信部が、ＡＲ情報ととともに、所定位置特定情報（カメラ画像座標系）と、ＡＲ情報の設定に際し重ねて表示したカメラ画像のタイムスタンプとをＡＲ情報表示装置１０に送信する点で、第１実施形態のＡＲ情報提供装置２０と構成が異なる。
【００７３】
図１３は、第３実施形態のＡＲ情報提供システム１において行われる処理を説明するフローチャートである。以下、同図とともに上記処理について説明する。
【００７４】
まず同図におけるＳ１３１１〜Ｓ１３１４の処理は、図５におけるＳ５１１〜Ｓ５１４の処理と同様であるので説明を省略する。
【００７５】
Ｓ１３１５〜Ｓ１３１６では、ＡＲ情報表示装置１０の範囲特定情報取得部が、範囲特
定情報を取得し（Ｓ１３１５）、ＡＲ情報表示装置１０の範囲特定情報履歴記憶部が、範囲特定情報取得部が取得した範囲特定情報を記憶装置１２に範囲特定情報履歴１２４として逐次蓄積記憶する（Ｓ１３１６）。ここで範囲特定情報履歴１２４として蓄積記憶される各範囲特定情報には、画像データのタイムスタンプとの対応をとるためのタイムスタンプが付帯する。本例では、範囲特定情報は、ＡＲ情報表示装置１０の現在位置を世界座標系で示した情報とカメラ１５が向いている方向を示す情報を含むものとする。範囲特定情報取得部は、例えば、ＧＰＳに基づく情報とマーカを撮影した画像データに基づき範囲特定情報を取得する。また範囲特定情報取得部は、例えば、撮影されたマーカのサイズとマーカの縦横の歪みをマーカ情報１２３と照合することにより、ＡＲ情報表示装置１０の正確な現在位置やカメラ１５が向いている正確な方向を取得する。また範囲特定情報取得部は、例えば、深度カメラから取得されるデータと地図情報１２２とを照合することにより、ＡＲ情報表示装置１０の正確な現在位置やカメラ１５が向いている正確な方向を取得する。また範囲特定情報取得部は、例えば、その他の公知の方法により、ＡＲ情報表示装置１０の正確な現在位置やカメラ１５が向いている正確な方向を取得する。
【００７６】
ＡＲ情報提供装置２０のＡＲ情報設定部は、ユーザインタフェース（入力装置２３及び表示装置２４）を介した対話処理により、表示装置２４に表示されているカメラ画像（以下、対象カメラ画像と称する。）の範囲（所定範囲）についてＡＲ情報の設定を開始する（Ｓ１３１８）。具体的には、ＡＲ情報設定部は、ユーザインタフェースを介してＡＲ情報の編集を受け付け、それにより生成されたＡＲ情報を上記所定範囲の所定位置を示す情報（対象カメラ画像の座標系（以下、カメラ画像座標系と称する。）で示した情報）である所定位置特定情報（カメラ画像座標系）に対応づけた情報をＡＲ情報２２１として記憶する。尚、ユーザは、上記ＡＲ情報を新規に設定することもできるし、予め記憶しているＡＲ情報２２１を利用して設定することもできる。ＡＲ情報の設定に際し、ＡＲ情報設定部は、設定中のＡＲ情報をカメラ画像に重ねて表示装置２４に表示する。これによりユーザはカメラ画像を確認しながら正確な位置にＡＲ情報を設定することができる。
【００７７】
ＡＲ情報の編集が終了すると（Ｓ１３１９：ＹＥＳ）、ＡＲ情報提供装置２０のＡＲ情報送信部は、生成したＡＲ情報を、当該ＡＲ情報に対応づけられているカメラ画像座標系で表された所定位置特定情報、及びＳ１３１３で受信した対象カメラ画像の画像データのタイムスタンプとともにＡＲ情報表示装置１０に送信する（Ｓ１３２０）。
【００７８】
ＡＲ情報表示装置１０のＡＲ情報受信部は、ＡＲ情報提供装置２０から送られてくるＡＲ情報、所定位置特定情報（カメラ画像座標系）、及びタイムスタンプを受信する（Ｓ１３２１）。
【００７９】
続いて、ＡＲ情報表示装置１０の範囲特定情報履歴特定部は、受信したタイムスタンプに対応する範囲特定情報（世界座標系）を範囲特定情報履歴１２４から特定（取得）する（Ｓ１３２２）。
【００８０】
続いて、ＡＲ情報表示装置１０のＡＲ情報表示部は、範囲特定情報履歴特定部が特定した上記範囲特定情報（世界座標系）に基づき、Ｓ１３２１で受信した所定位置特定情報（カメラ画像座標系）を世界座標系で表された情報に変換する（Ｓ１３２３）。
【００８１】
続いて、ＡＲ情報表示装置１０の範囲特定情報取得部は、現在での範囲特定情報（世界座標系）を新たに取得する（Ｓ１３２４）。
【００８２】
続いて、ＡＲ情報表示装置１０のＡＲ情報表示部は、Ｓ１３２４で新たに取得した範囲特定情報（世界座標系）とＳ１３２３で世界座標系に変換したＡＲ情報の所定位置特定情報とを照合し、ＡＲ情報の表示装置１３の表示画面１３１の表示位置を求める（Ｓ１３２
５）。
【００８３】
続いて、ＡＲ情報表示装置１０のＡＲ情報表示部は、ＡＲ情報の表示位置が、範囲特定情報から特定される範囲内か否かを判断する（Ｓ１３２６）。ＡＲ情報の表示位置が範囲特定情報から特定される範囲内である場合（Ｓ１３２６：ＹＥＳ）、ＡＲ情報表示部は、表示画面１３１のＳ１３２５で求めた表示位置にＡＲ情報を表示する（Ｓ１３２７）。その後、処理はＳ１３２１に戻る。
【００８４】
一方、ＡＲ情報の表示位置が範囲特定情報から特定される範囲内でない場合（Ｓ１３２６：ＮＯ）、ＡＲ情報表示部は、Ｓ１３２５で求めた表示位置が存在する方向を示す情報や、ＡＲ情報が変更された旨の情報等を含む代替のＡＲ情報（ＡＲオブジェクト）を表示画面１３１に表示する（Ｓ１３２８）。その後、処理はＳ１３２１に戻る。
【００８５】
以上に説明したように、第３実施形態のＡＲ情報提供システム１においては、ＡＲ情報表示装置１０からＡＲ情報提供装置２０に範囲特定情報を送信せず、ＡＲ情報提供装置２０は、ＡＲ情報表示装置１０から送られてくる画像データに基づくカメラ画像をＡＲ情報に重ねて表示装置２４に表示しつつ、ユーザとの対話処理によりＡＲ情報の設定を行う。そのため、ＡＲ情報提供装置２０側では画像データと範囲特定情報の対応をとる必要がなく、通信量の増大を抑えつつ効率よくＡＲ情報提供装置２０からＡＲ情報表示装置１０にＡＲ情報を提供することができる。
【００８６】
ところで、本発明は以上に説明した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記の実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また上記実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【００８７】
また上記の各構成、機能部、処理部、処理手段等は、それらの一部又は全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ等の記録装置、又はＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
【００８８】
また上記の各図において、制御線や情報線は説明上必要と考えられるものを示しており、必ずしも実装上の全ての制御線や情報線を示しているとは限らない。例えば、実際にはほとんど全ての構成が相互に接続されていると考えてもよい。
【００８９】
また以上に説明した各装置の各種機能部、各種処理部、各種データベースの配置形態は一例に過ぎない。各種機能部、各種処理部、各種データベースの配置形態はＡＲ情報提供システム１が備えるハードウェアやソフトウェアの性能、処理効率、通信効率等の観点から最適な配置形態に変更し得る。
【００９０】
また前述したデータベースの構成（スキーマ（Schema）等）は、リソースの効率的な利用、処理効率向上、アクセス効率向上、検索効率向上等の観点から柔軟に変更し得る。
【符号の説明】
【００９１】
１  ＡＲ情報提供システム、３  ＡＲ情報利用者、４  ＡＲ情報提供者、５  通信ネットワーク、６  ＡＲ情報、７  位置情報、８  地図情報、１０  ＡＲ情報表示装置、１１１
ＡＲ情報表示ＰＧ（ＡＲ情報表示部）、１１２  範囲特定情報取得ＰＧ（範囲特定情報
取得部）、１１３  範囲特定情報送信ＰＧ（範囲特定情報送信部）、１１４  ＡＲ情報受信ＰＧ（ＡＲ情報受信部）、１１５  画像データ送信ＰＧ（画像データ送信部）、１１６
範囲特定情報履歴記憶ＰＧ（範囲特定情報履歴記憶部）、１１７  範囲特定情報履歴特定ＰＧ（範囲特定情報履歴特定部）、１２１  ＡＲ情報、１２２  地図情報、１２３  マーカ情報、１２４  範囲特定情報履歴、２０  ＡＲ情報提供装置、２１１  範囲特定情報受信ＰＧ（範囲特定情報受信部）、２１２  画像データ受信ＰＧ（画像データ受信部）、２１３  ＡＲ情報設定ＰＧ（ＡＲ情報設定部）、２１４  ＡＲ情報送信ＰＧ（ＡＲ情報送信部）、２２１  ＡＲ情報、２２２  地図情報
【図１】
2019109319.tif 000003
【図２】
2019109319.tif 000004
【図３】
2019109319.tif 000005
【図４】
2019109319.tif 000006
【図５】
2019109319.tif 000007
【図６】
2019109319.tif 000008
【図７】
2019109319.tif 000009
【図８】
2019109319.tif 000010
【図９】
2019109319.tif 000011
【図１０】
2019109319.tif 000012
【図１１】
2019109319.tif 000013
【図１２】
2019109319.tif 000014
【図１３】
2019109319.tif 000015