(57)【要約】      （修正有）【課題】実在の対象とそれに関する情報とを対応付けて、任意の対象のそれぞれについて任意のデータ形式の情報を関連付け、また、対象同士の位置関係、あるいは対象を広範囲から俯瞰した場合の位置関係等を記録（保存）し、管理することが可能な情報管理装置、情報管理システム、情報管理方法及び情報管理プログラムを提供する。【解決手段】実在する対象を含む対象領域のライブビュー映像を取得可能な撮像手段１５と、ライブビュー映像を表示可能な表示手段１３と、記憶手段１４と、情報管理手段２０と、を有する携帯可能な情報管理装置１０であって、情報管理手段２０は、所定空間における実在する対象の位置を特定する位置特定手段２３と、ライブビュー映像に重ねて対象に対応するマーク画像を表示手段１３に表示するマーク付与手段２１と、実在する対象に関連する情報を、マーク画像に対応付けて記憶手段１４に記憶する関連付け手段２５と、を有する。【選択図】図２
2020098568.tif 000002
【特許請求の範囲】
【請求項１】
実在する対象を含む対象領域のライブビュー映像を取得可能な撮像手段と、
前記ライブビュー映像を表示可能な表示手段と、
記憶手段と、
情報管理手段と、
を有する携帯可能な情報管理装置であって、
前記情報管理手段は、
前記対象の位置を特定する位置特定手段と、
前記ライブビュー映像に重ねて前記対象に対応するマーク画像を前記表示手段に表示するマーク付与手段と、
前記対象に関連する情報を、前記マーク画像に対応付けて前記記憶手段に記憶する関連付け手段と、を有する、
ことを特徴とする情報管理装置。
【請求項２】
前記関連付け手段は、前記位置特定手段が特定した前記対象の位置と、前記情報とを前記マーク画像に対応付ける、
ことを特徴とする請求項１に記載の情報管理装置。
【請求項３】
前記マーク付与手段は、前記マーク画像を複数付与することが可能である、
ことを特徴とする請求項１または請求項２に記載の情報管理装置。
【請求項４】
少なくとも一つの前記マーク画像の位置を全体視して前記表示手段に表示する全体視表示手段を有する、
ことを特徴とする請求項１乃至請求項３のいずれかに記載の情報管理装置。
【請求項５】
前記情報は、撮像データ、文字データおよび音声データの少なくとも何れかである、
ことを特徴とする請求項１乃至請求項４のいずれかに記載の情報管理装置。
【請求項６】
少なくとも前記情報の送受信が可能な情報通信手段を備える、
ことを特徴とする請求項１乃至請求項５のいずれかに記載の情報管理装置。
【請求項７】
異なる空間において、前記情報を共有可能にする連携手段を有する、
ことを特徴とする請求項１乃至請求項６のいずれか一項に記載の情報管理装置。
【請求項８】
請求項１乃至請求項７のいずれか一項に記載の情報管理装置と、
前記情報の管理が可能な他の装置と、を備える、
ことを特徴とする情報管理システム。
【請求項９】
前記他の装置は、サーバ装置であり、
ネットワークを介して前記情報管理装置と前記サーバ装置との間で少なくとも前記情報の送受信を行う、
ことを特徴とする請求項８に記載の情報管理システム。
【請求項１０】
前記他の装置は、他の端末装置であり、
ネットワークを介して前記情報管理装置と前記他の端末装置との間で少なくとも前記情報の送受信を行う、
ことを特徴とする請求項８に記載の情報管理システム。
【請求項１１】
実在する対象に所定の情報を付与して情報管理装置で管理可能なデータとして保存する情報管理方法であって、
実在する対象を含む対象領域のライブビュー映像を撮像手段により取得する撮像工程と、
前記ライブビュー映像を表示手段に表示する表示工程と、
所定空間における前記対象の位置を特定する位置特定工程と、
前記ライブビュー映像に重ねて前記対象に対応するマーク画像を前記表示手段に表示するマーク付与工程と、
前記対象に関連する情報を、前記マーク画像に対応付けて記憶手段に記憶する関連付け工程と、を有する、
ことを特徴とする情報管理方法。
【請求項１２】
前記情報管理装置と、他の装置との間で前記情報の送受信を行う情報通信工程を有する、
ことを特徴とする請求項１１に記載の情報管理方法。
【請求項１３】
実在する対象を含む対象領域のライブビュー映像を撮像手段により取得する撮像ステップと、
前記ライブビュー映像を表示手段に表示する表示ステップと、
所定空間における前記対象の位置を特定する位置特定ステップと、
前記ライブビュー映像に重ねて前記対象に対応するマーク画像を前記表示手段に表示するマーク付与ステップと、
前記対象に関連する情報を、前記マーク画像に対応付けて記憶手段に記憶する関連付けステップと、
をコンピュータに実行させることを特徴とする情報管理プログラム。
【請求項１４】
請求項１３に記載のプログラムであって、
複数の情報管理装置間で前記情報の送受信を行う情報通信ステップを有する、
ことを特徴とする情報管理プログラム。
【請求項１５】
前記空間とは、前記ライブビュー映像を介して認識される仮想空間および、該仮想空間とは別の空間の少なくともいずれかである、
ことを特徴とする請求項７に記載の情報管理装置。
【請求項１６】
前記情報は、仮想空間における位置座標と対応付けられる、
ことを特徴とする請求項１乃至請求項７および請求項１５に記載の情報管理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報管理装置、情報管理システム、情報管理方法および情報管理プログラムに関する。
【背景技術】
【０００２】
従来、実在の空間（場所）や物体に対して、それらに関するデジタル情報（例えば、位置情報や、画像データや文字データなど）を関連付け、情報管理装置（例えば、パーソナルコンピュータ（ＰＣ；personal  computer）など）で管理可能なデータに加工・保存等する技術が知られている。
【０００３】
例えば、特に建築（建設）・土木等の工事現場においては、工事の各段階の状況を写真に撮影し、当該写真を添付した写真台帳を役所などの施工主に提出して、工事の作業状況を報告することが求められる。この場合、当該写真中に、工事名、工種、測点、日付、工事を行う会社名、作業状況などの情報を付加するために、これらの情報を実在の黒板に書き込み、これを現場に立てて撮影するという方法が旧来より採用されている。
【０００４】
そしてこのような手法の利便性を向上させるため、実在の黒板を使用することなく、黒板の画像を合成した工事現場の写真を撮影できるデジタルカメラが知られている（例えば、特許文献１参照）。
【０００５】
また、工事現場の写真を順次撮影して自動的に写真の画像ファイルを整理し、写真台帳及び工程表を作成する負担を軽減するプログラムも知られている（例えば、特許文献２参照）。
【０００６】
更には、全地球無線測位システム（ＧＰＳ；global  positioning  system）を用いた位置情報を利用できないプラント施設において、撮影した画像の仕分け作業として、撮影した画像（点検画像）と撮影場所（点検対象機器の位置）、撮影対象物（点検対象機器）とを効率的に対応付ける技術も知られている（例えば、特許文献３）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第３２８８０１９号公報
【特許文献２】特許第５８３５７８０号公報
【特許文献３】特開２０１６−２０６８２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１，２に記載の技術は、撮影対象の特定の位置（現場の特定の位置）に対して関連する情報（工事日（撮影日）における状況や工事内容等の情報など）を対応づけるものであり、互いの撮影位置（現場）の位置関係（広範囲から俯瞰した撮影位置）を把握することは困難である。
【０００９】
また、特許文献３に記載の技術は、予め決められた点検箇所での撮影に限るものであり、任意の箇所についての撮影・記録は想定されていない。
【００１０】
また、建築・建設工事現場の情報や、修理・修繕箇所や点検箇所の現場の情報を、現場以外の遠隔地にいる者なども含めた複数人で共有する場合においては、工事や作業とは直接関係のない周辺環境情報なども残す必要性が高く、例えば画像データ以外の文字（文書）データ等も必要になるなど、従来の技術では整理しきれない。
【００１１】
特に、情報の共有者の中には当該現場が初見である（現場に赴いたことがない）者が含まれる場合も日常的であり、これらの者にも正確且つ容易に伝えようとすると、周辺環境情報の情報量が増加・複雑化することになる。
【００１２】
例えば、具体的に、室内の壁に生じた傷を修繕するため、複数人でその傷の程度や部位等の情報を共有する場合について説明する。現場に赴いた撮影者は、対象である傷の状況を記録するため、まず当該傷の部位の接写写真（被写体に近接した写真）を撮影する。しかしながら、接写写真であるがゆえに撮影者以外には撮影場所が分かりにくく、ともすれば撮影者自身も撮影場所が不明になる場合がある。
【００１３】
また、対象（傷の部位）を含む現場の状況を正確且つ容易に伝える、または把握するためには、対象についての詳細な情報（例えば、対象の接写写真など）と、俯瞰的な情報（例えば、対象の周辺環境の写真など）の両方の情報が必要となり、これらを互いに関連付け（紐付け）る作業に手間がかかる問題がある。
【００１４】
また、周辺環境情報として、写真（画像データ）のみでは伝え難い情報については、文書（文字データ）等で作成したり図面に書き込みを行なうなど、複数種類のデータ形式の情報（ドキュメント）を作成する必要があるが、これらの情報の作成や情報同士の関連付け、また整理のためのフォルダ分けなどの作業が複雑・煩雑となる問題がある。
【００１５】
また、当該傷の修繕の経過情報の記録や、例えば現場で新たな傷の部位を発見した場合など、突発的に予定外の対象についての記録が必要になる場合もあり、任意の対象について任意のデータ形式で柔軟に記録や管理を行ないたいという要望も高い。
【００１６】
更には、これらの情報をまとめて報告書等を作成することが一般的であるが、その報告書等の作成は、多大な時間と労力を要する問題もある。
【００１７】
なお、これらの点は、これまで黒板を用いていたような建築・建設現場や、予め決められた現場を巡回するような点検現場における情報管理においても、あるいは規模の大小や管理する対象に限らず、例えば会社や店舗などの事務作業の現場における情報管理においても同様に、問題となっている。
【００１８】
本発明は、斯かる実情に鑑み、実在の対象とそれに関する情報とを対応付けて情報管理装置（ＰＣなど）で管理する場合において、任意の対象のそれぞれについて任意のデータ形式の情報を関連付け、また当該対象同士の位置関係、あるいは当該対象を広範囲から俯瞰した場合の位置関係等を効率良く、容易に記録（保存）し、管理することが可能な情報管理装置、情報管理システム、情報管理方法および情報管理プログラムを提供しようとするものである。
【課題を解決するための手段】
【００１９】
本発明は、実在する対象を含む対象領域のライブビュー映像を取得可能な撮像手段と、前記ライブビュー映像を表示可能な表示手段と、記憶手段と、情報管理手段と、を有する携帯可能な情報管理装置であって、前記情報管理手段は、前記対象の位置を特定する位置特定手段と、前記ライブビュー映像に重ねて前記対象に対応するマーク画像を前記表示手段に表示するマーク付与手段と、前記対象に関連する情報を、前記マーク画像に対応付けて前記記憶手段に記憶する関連付け手段と、を有する、ことを特徴とする情報管理装置である。
【００２０】
また、本発明は、上記情報管理装置と、前記情報の管理が可能な他の装置と、を備える、ことを特徴とする情報管理システムである。
【００２１】
また、本発明は、実在する対象に所定の情報を付与して情報管理装置で管理可能なデータとして保存する情報管理方法であって、実在する対象を含む対象領域のライブビュー画像を撮像手段により取得する撮像工程と、前記ライブビュー映像を表示手段に表示する表示工程と、所定空間における前記対象の位置を特定する位置特定工程と、前記ライブビュー映像に重ねて前記対象に対応するマーク画像を前記表示手段に表示するマーク付与工程と、前記対象に関連する情報を、前記マーク画像に対応付けて記憶手段に記憶する関連付け工程と、を有する、ことを特徴とする情報管理方法である。
【００２２】
また、本発明は、実在する対象を含む対象領域のライブビュー映像を撮像手段により取得する撮像ステップと、前記ライブビュー映像を表示手段に表示する表示ステップと、所定空間における前記対象の位置を特定する位置特定ステップと、前記ライブビュー映像に重ねて前記対象に対応するマーク画像を前記表示手段に表示するマーク付与ステップと、前記対象に関連する情報を、前記マーク画像に対応付けて前記記憶手段に記憶する関連付けステップと、をコンピュータに実行させることを特徴とする情報管理プログラムである。
【発明の効果】
【００２３】
本発明の情報管理装置、情報管理システム、情報管理方法および情報管理プログラムによれば、実在の対象とそれに関する情報とを対応付けて情報管理装置（ＰＣなど）で管理する場合において、任意の対象のそれぞれについて任意のデータ形式の情報を関連付け、また当該対象同士の位置関係、あるいは当該対象を広範囲から俯瞰した場合の位置関係等を効率良く、容易に記録（保存）し、管理することができる、という優れた効果を奏し得る。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施形態に係る、情報管理装置の概要を示す外観図である。
【図２】本発明の実施形態に係る、情報管理装置の概要を示すブロック図である。
【図３】本発明の実施形態に係る、情報管理装置の表示の一例を示す図である。
【図４】本発明の実施形態に係る、情報管理装置の表示の一例を示す図である。
【図５】本発明の実施形態に係る、情報管理装置の表示の一例を示す図である。
【図６】本発明の実施形態に係る、情報管理装置が管理する情報の一例を示す図である。
【図７】本発明の実施形態に係る、（Ａ）全体視手段の概要を示すブロック図であり、（Ｂ）情報管理装置の表示の一例を示す図である。
【図８】本発明の実施形態に係る、情報管理装置の表示の一例を示す図である。
【図９】本発明の実施形態に係る、情報管理方法（情報管理処理）の概要を示す図である。
【図１０】本発明の実施形態に係る、情報管理システムの一例を示す概要図である。
【図１１】本発明の実施形態に係る、情報管理装置の概要を示すブロック図である。
【図１２】本発明の実施形態に係る、連携手段の概要図である。
【図１３】本発明の実施形態に係る、連携処理の一例を示す概要図である。
【図１４】本発明の実施形態に係る、連携処理の一例を示す概要図である。
【図１５】本発明の実施形態に係る、連携処理の一例を示す概要図である。
【図１６】本発明の実施形態に係る、連携処理の一例を示す概要図である。
【図１７】本発明の実施形態に係る、連携処理の一例を示す概要図である。
【図１８】本発明の実施形態に係る、連携処理の一例を示す概要図である。
【図１９】本発明の実施形態に係る、連携処理の一例を示す概要図である。
【発明を実施するための形態】
【００２５】
以下、本発明の実施の形態について添付図面を参照して説明する。
【００２６】
＜情報管理装置／全体構成＞
図１および図２は、本発明の実施形態の一例である情報管理装置１０の全体構成を示す図であり、図１が外観の概略図であり、同図（Ａ）が一方の面側の平面図であり、同図（Ｂ）が他方の面側の平面図である。また、図２がハードウェアの構成の概略を示すブロック図である。
【００２７】
図１および図２に示すように、本実施形態の情報管理装置１０は、制御手段１１と、入力手段１２と、表示手段１３と、記憶手段１４と、撮像手段１５と、情報通信手段１６と、状態取得手段１７と、情報管理手段２０などを有する。
【００２８】
図１に示すように、本実施形態の情報管理装置１０は、携帯可能な装置（モバイル端末装置）である。以下の実施形態においては、情報管理装置１０が、本実施形態にかかるプログラム（アプリケーションプログラム）がインストールされたタブレット端末１０１である場合を例に説明するが、これに限らず、情報管理装置１０は例えば、本実施形態にかかるプログラムがインストールされた、または組み込まれた、スマートフォン、携帯電話、ノート型ＰＣ、携帯情報端末（Personal  Data  Assistant；ＰＤＡ）、ハンディ端末、ＧＰＳ端末、デジタルカメラ、ＨＭＤ（Head  Mounted  Display）などであってもよい。
【００２９】
タブレット端末１０１は、無線通信を利用した携帯可能な情報処理端末装置であり、入力手段１２、表示手段１３、撮像手段１５、マイク１８、スピーカ１９等を備える。
【００３０】
表示手段１３は、この例ではタブレット端末１０１のタッチスクリーン（タッチパネルディスプレイ）であり、例えば、液晶ディスプレイ（Liquid  Crystal  Display）や有機ＥＬディスプレイ（Organic  Electro-Luminescence  Display。または、ＯＬＥＤディスプレイ（Organic  Light  Emitting  Diode  Display）ともよばれる。）などのディスプレイ１３に、入力手段１２であるタッチパネルが重畳されている。
【００３１】
表示手段１３は、撮像手段１５で撮影した画像や、撮影対象のライブビュー映像ＬＶを表示可能である。また、各種アプリケーションの実行結果としての画像や、入力手段１２としてのアイコンや、ボタン等の画像、その他画像（文字も含む）を表示可能である。なお、本明細書における「画像」には特に区別して記載しない限り、静止画像および動画像が含まれる。
【００３２】
入力手段１２の操作としては、表示されている画像を指やタッチスクリーンペンでタッチする（タップ、ドラッグ、ピンチアウト、ピンチイン、スワイプ等の動作をする）ことにより、選択、決定、拡大、縮小、移動等の各種操作を行うことができる。また、入力手段１２は、物理ボタン１２１を含む。物理ボタン１２１は例えば、ホームボタンや、音量調整ボタンなどである。
【００３３】
なお、情報管理装置１０が例えば携帯電話やノート型ＰＣなどである場合のように、表示手段（ディスプレイ）１５と、入力手段（例えば、キーボード、物理キー）１２はそれぞれ独立した構成であってもよい。
【００３４】
撮像手段１５は、例えば、撮像用のアプリケーションプログラムと協働してカメラ機能を実現するユニット（カメラユニット）であり、ディスプレイ１３が設けられている面とは異なる面にレンズ１５１が配置される（同図（Ｂ））。
【００３５】
さらに、タブレット端末１０１は、マイク１８、スピーカ１９、その他のセンサ（不図示）等の既知の構成を有している。
【００３６】
図２を参照して、制御手段１１は例えば、演算処理装置（ＣＰＵ；central  processing  unit、ＭＰＵ；microprocessor  unit等））を備え、制御手段１１等によって記憶手段１４に記憶（インストール）されたオペレーティングシステム（ＯＳ；Operating  System）、各種アプリケーションプログラム、ブラウザソフトウェアを実行することによって、以下に説明する機能を含む種々の機能を提供する装置である。
【００３７】
記憶手段１４は、この例では内蔵メモリ（メインメモリ（ＲＡＭ；Random  Access  Memory）、ストレージ、ＲＯＭ（Read  Only  Memory）など）であるが、外部記憶装置を含んでもよい。記憶手段１４には、ＯＳ、ファームウェア、ブラウザソフトウェア、各種アプリケーションプログラム、各種ドライバの他、各種データ（画像データ、テキストデータなど各種アプリケーションプログラムで処理可能なデータ、ドキュメント）などが記憶、保存される。
【００３８】
撮像手段１５は、例えば、撮像用のアプリケーションプログラムと協働してカメラ機能を実現するユニット（カメラユニット）であり、少なくともレンズ１５１と、撮像素子（イメージセンサ）１５３と画像処理プロセッサ１５５などを含み、レンズ１５１を介して認識した対象を撮像素子１５３上で結像し、撮像素子１５３の光電変換により得られる画像（映像）情報を画像データとして記憶手段１４に記憶する。
【００３９】
具体的には、タブレット端末１０１のカメラ機能の起動により、撮像手段１５は、実在する対象を含む対象領域を撮影し、ライブビュー映像ＬＶとして取得して表示手段１３に表示可能である。そして操作者が撮影ボタン（例えば、表示手段１３に表示されるボタン画像や、物理ボタン１３１など）を操作すると、ライブビュー映像ＬＶで表示中の映像情報を画像データとして記憶手段１４に記憶する。記憶された当該画像データが表示手段１３に表示される場合もある。
【００４０】
ここで、本実施形態におけるライブビュー映像ＬＶとは、撮像手段１５がレンズ１５１を通して認識した対象ＯＢをリアルタイムに撮像素子１５３上で結像し、撮像素子１５３の光電変換により得られる画像情報を不揮発性の記憶手段１４を介さず表示手段１３に表示させる映像（画像）をいう。具体的には、本実施形態におけるライブビュー映像ＬＶとは、撮影ボタン等を操作していない状態で、撮像手段１５を介して表示手段１３に対象ＯＢを含む対象領域の実像をリアルタイム表示させている映像をいう。
【００４１】
情報通信手段１６は、タブレット端末１０１がネットワーク（通信回線）を介して他の装置（他のタブレット端末やサーバ装置など）とデータ通信等を行なうためのインターフェイスである。データ通信は、例えばＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near  Field  Communication）等による近距離無線通信や、例えば、ＬＴＥ（Long  Term  Evolution）方式、３Ｇ（3rd  Generation）方式、４Ｇ（4th  Generation）方式、５Ｇ（5th  Generation）方式、ＦＤＭＡ方式、ＴＤＭＡ方式、ＣＤＭＡ方式、Ｗ−ＣＤＭＡの他、ＰＨＳ（Personal  Handyphone  System）などの移動体通信網を介した種々の無線通信方式によって行われる。
【００４２】
状態取得手段１７は、自機の方向（レンズ１５１が向いている方向）や姿勢・位置などの状態を示す情報を取得して記録する手段であり、詳細な図示は省略するが、例えば、３軸方向に対する地磁気を検出して方位を検出する電子コンパスや、３軸方向に対するタブレット端末１０１の傾き角を検知する加速度センサ、ジャイロ（角速度）センサ、深度センサや、単眼カメラを用いたＳＬＡＭ（Simultaneous  Localization  and  Mapping）などである。タブレット端末１０１は、電子コンパスにより検出される方位と、３軸加速度センサやジャイロセンサにより検出される自機の傾き角度・姿勢に基づいて、撮像手段１５のレンズ１５１が向けられている撮像方向（撮像方位）及び撮像角度（画角）を検出することができる。またＳＬＡＭでは、自機を基準となる位置（初期位置）から移動させ、撮像手段１５により複数の周辺環境の画像を取得することにより、自己位置の推定と周辺環境の地図を作成することができる。
【００４３】
また、状態取得手段１７は、ステレオカメラを用いたＳＬＡＭや、赤外線やレーザー等の物体からの反射光を検知して自機の姿勢や位置を検出する手段であってもよい。また、状態取得手段１７には、例えば、携帯電話の無線基地局や、Ｗｉ−Ｆｉ（登録商標）通信のアクセスポイントからの電波強度などによって自機の方向、姿勢、位置（絶対位置）を検出したり、全地球測位システム（Global  Navigation  Satellite  System））のように、衛星からの信号によって自機の方向、姿勢、位置（絶対位置）を検出することができる絶対位置情報取得モジュールが含まれる。
【００４４】
情報管理手段２０は、タブレット端末１０１の記憶手段１４にインストールされたアプリケーションプログラム（本実施形態の情報管理プログラム２０）である。すなわち、タブレット端末１０１に情報管理プログラム２０がインストールされ、上述したタブレット端末１０１の各ハードウェアと協働することにより、情報管理装置１０の情報管理機能が実現する。
【００４５】
引き続き図２を参照して、情報管理手段２０およびこれにより実現される情報管理機能について説明する。
【００４６】
情報管理手段２０は、例えば、仮想的な視覚（および聴覚）処理を実現する手段である仮想視覚処理（仮想視聴覚処理、以下同様）手段２７と、マーク付与手段２１と、位置特定手段２３と、関連付け手段２５と、全体視表示手段２９を有する。仮想視覚処理手段２７は例えば、拡張現実（Augmented  reality；ＡＲ）を実現する拡張現実（ＡＲ）処理手段であり、具体的には、いわゆるＡＲフレームワークまたはＡＲライブラリである。
【００４７】
つまり本実施形態では、仮想視覚処理手段（ＡＲ処理手段）２７を活用して、マーク付与機能（マーク付与手段）２１と、位置特定機能（位置特定手段）２３と、関連付け機能（関連付け手段）２５および全体視表示機能（全体視表示手段２９）とを実現する情報管理プログラム（情報管理手段）２０が構成されている。
【００４８】
本実施形態では、以下、仮想視覚処理手段２７がＡＲ処理手段である場合を例に説明するが、仮想視聴覚処理手段２７は例えば、仮想現実（Virtual  Reality：ＶＲ）を実現する仮想現実（ＶＲ）処理手段（ＶＲプラットフォーム）や、複合現実（Mixed  Reality：ＭＲ）を実現する複合現実（ＭＲ）処理手段（ＭＲプラットフォーム）などであってもよい。
【００４９】
ＡＲ処理手段（ＡＲフレームワーク（ＡＲライブラリ、以下同様））２７は既知の構成であるので、詳細な説明は省略するが、例えば、撮像手段１５を用いて対象領域（実在する場所、現実環境）を撮影することにより、当該対象領域の空間の情報（対象領域の位置情報や対象領域に含まれる物体の情報など）の記憶、認識、推定、解析等を行い、その撮影している対象領域（現実環境）の映像に対して情報を付加・削除・強調・減衰させることによって視覚的に現実環境をあたかも拡張したかのように表現する技術である。
【００５０】
ＡＲフレームワーク２７の一例としては、米Ａｐｐｌｅ社が提供するＡＲＫｉｔ（登録商標）や米Ｇｏｏｇｌｅ社が提供するＡＲＣｏｒｅ（登録商標）、オープンソースのＡＲＴｏｏｌＫｉｔなどがあり、本実施形態ではＡＲフレームワーク２７としてＡＲＫｉｔ（登録商標）を利用する場合を例に説明する。この場合、ＡＲフレームワーク２７では、撮像手段１５を用いて対象領域（実在する場所、現実環境）について空間の情報を記憶、推定、解析等を行い、当該対象領域の映像（ライブビュー映像ＬＶ）のうち「特徴的な点」の情報の配置を記憶することにより、現実環境（例えば、室内等）における物体（例えば現実の壁、椅子、机など）の「特徴的な点」から形状（外形状）を把握し、その形状に沿ってデジタル情報（コンピュータグラフィクス（computer  graphics；ＣＧ）などによるオブジェクト画像を合成し、リアルタイムで表示手段１３に表示することができる。または当該物体が含まれる面（平面（水平面、垂直面など）や曲面）を検出し、当該面にそって、オブジェクト画像を合成し、リアルタイムで表示手段１３に表示することができる。
【００５１】
なお、物体が含まれる面（水平面、垂直面、曲面など）を検出し、現実環境のライブビュー映像ＬＶに映し出された物体の映像に検出した面を示すデジタル情報（例えば、グリッドなどの画像）を合成し（重畳させ）、リアルタイムで表示手段１３に表示してもよい。
【００５２】
また、ＡＲフレームワーク２７によって、物体の形状を認識し、例えば記憶手段に記憶された物体の情報と照合するなどして物体の属性（矩形、円形などの外形状のみでなく「壁」「椅子」「机」などの属性）を認識するものであってもよく、現実環境のライブビュー映像ＬＶに映し出された物体の映像に、デジタル情報（物体に関連するオブジェクト画像など）を合成し（重畳させ）、リアルタイムで表示手段１３に表示させるように構成されていてもよい。
【００５３】
また、合成した（重畳させた）オブジェクト画像の配置やその状況を記録し、保存するように構成されていてもよい。この場合、後のタイミング（数日後・数週間後など）に当該対象領域（現実環境）を訪れて当該ＡＲフレームワーク２７を利用したアプリケーションプログラムを起動すると、以前に配置したオブジェクト画像を同じ位置に表示し、再編集することができる。また関連付け操作（後述する）も行なうことができる。
【００５４】
なお、本実施形態のＡＲ処理手段２７は、上記と同様の機能が実現できるものであれば、ＡＲＫｉｔ（登録商標）に限らず、また特定のフレームワーク（ライブラリ）でなくてもよい（個別に上記機能を有するように作成されたプログラム等であってもよい）。
【００５５】
本実施形態では、位置特定手段２３、マーク付与手段２１、関連付け手段２５および全体視表示手段２９がＡＲ処理手段２７と協働して位置特定処理、マーク付与処理、関連付け処理、全体視表示処理等を行う。
【００５６】
位置特定手段２３は、撮像手段１５により（カメラ機能を起動させ）、基準位置（初期位置）や、後述するマーク付与手段２１によるマーク付与位置を特定し、記憶手段１４に記憶する。
【００５７】
本実施形態の情報管理装置１０は、自機の状態（レンズ１５１が向いている方向、姿勢、位置）を随時把握する。このため、情報管理プログラム２０が実行（起動）されると撮像手段１５が起動してライブビュー映像ＬＶを表示するとともに、位置特定手段２３は基準位置（初期位置）のリセット（新たな基準位置（初期位置）の取得）を行う。初期位置の取得は、例えば、撮像手段１５によって情報管理装置１０の周辺の現実環境（周辺の空間）を異なる視点（異なる画角のライブビュー映像ＬＶを表示させた状態）で複数回撮像し、撮影された複数の画像に基づき、自機の当該現実環境内における位置を把握（推定）することにより行う。
【００５８】
あるいは、予め記憶手段１４に保持する現実環境の空間の情報（環境データ）を用いて初期位置を取得してもよい。具体的には、撮像手段１５によって予め現実環境の空間をスキャンし、その情報（環境データ）を記憶手段１４に記憶する。そして、情報管理プログラム２０の起動時に記憶手段１４から当該環境データをロードし、撮像手段１５で撮像される現実環境の映像と当該環境データとを照合する。そして両者が一致した場合は、その環境データの原点からの相対位置を自機の現在位置として初期位置に設定してもよい。
【００５９】
また、上記いずれの場合も、赤外線やレーザーの反射光を検知して自機の位置を把握するようにしてもよい。
【００６０】
更に位置特定手段２３は、初期位置を取得後、次回の初期位置のリセットが行われるまで随時（逐次）、状態取得手段１７（あるいは必要に応じて位置情報取得モジュール）を用いて自機の初期位置からの状態の変化（水平方向距離、垂直方向距離、角度、方向、姿勢等の変化）の情報（初期位置からの相対的な位置情報；以下、「端末移動情報」という。）を取得(特定)して記憶手段１４に記憶する。
【００６１】
特に建物（室内）の場合、ＧＰＳなどでは自機の状態を正確に取得できない場合もあるが、本実施形態では初期位置を設定し、当該初期位置からの端末移動情報を取得するため、実際の位置情報（絶対位置情報）からの誤差があっても問題はない。
【００６２】
しかしながら、これに限らず、ＧＰＳなどの絶対位置取得モジュールを用いて、自機の絶対位置を取得するものであってもよい。
【００６３】
位置特定手段２３は、また、後述するマーク付与操作に基づき所定空間における対象ＯＢの位置（初期位置からの相対位置）を特定し、記憶手段１４に記憶する。
【００６４】
上述のように位置特定手段２３は、状態取得手段１７を用いて随時、初期位置からの端末移動情報を取得（特定）している。
【００６５】
さらに、位置特定手段２３（状態取得手段１７）は、表示手段１３に表示中のライブビュー映像ＬＶの或るポイント（例えば、ライブビュー映像ＬＶ上の対象ＯＢの位置）を特定することにより、当該ポイントの現実環境における自機からの距離を検出(推定)可能に構成されている。具体的に例えば、位置特定手段２３（状態取得手段１７）は、ユーザがライブビュー映像ＬＶ上で特定したポイントと、自機との離間距離（調整値）を設定可能に構成されている。調整値は、予め、あるいは適宜、ユーザにより設定される。位置特定手段２３は、ユーザによってライブビュー映像ＬＶの或るポイントが特定（タップ、タッチなど）された場合には、設定された調整値を、自機から当該ポイントまでの距離とし、自機の位置に基づき当該ポイントの現実環境における位置を特定する。例えば、調整値が３０ｃｍに設定されている場合、位置特定手段２３は、ユーザによってライブビュー映像ＬＶの或るポイントが特定（タップ、タッチなど）されると、当該ポイントが自機よりも３０ｃｍ前方にあるとし、自機の位置に基づき当該ポイントの現実環境における位置を特定する。調整値は、固定値（例えば、３０ｃｍ、１ｍなど）が設定されているものであってもよいし、ユーザが適宜可変に構成されていてもよい。
【００６６】
また位置特定手段２３は、所定の形状を検出することにより、自機からの距離を検出（推定)可能である。具体的には、ＡＲフレームワーク２７は、ライブビュー映像ＬＶのうち「特徴的な点」を認識することにより、形状検出、例えば、平面の検出（平面検出）が可能である。つまり、例えば現実環境の床や壁を「特徴的な点」として捉え、その床や壁を含む平面を検出することができる。位置特定手段２３はこの平面検出に基づき、当該平面の状態、あるいは、検出した平面をさらに遠方（例えば奥行き方向）に仮想的に延長した状態を示すガイド表示Ｇ（例えば、方眼やドット方眼などによって検出した平面の大きさ、幅、傾き、奥行き等を示すラベル画像）をライブビュー映像ＬＶ上に重ねて表示することができる。そして位置特定手段２３は、ガイド表示上のある位置に対して、自機からの距離を認識（推定）することができる。なお、形状検出は平面検出に限らず、凹凸を有する形状であってもよい。
【００６７】
つまり位置特定手段２３は、ライブビュー映像ＬＶとして対象ＯＢを撮像しつつ、当該対象ＯＢに対応してマーク付与操作を行なうことで、ライブビュー映像ＬＶ上のマーク付与位置に対応した現実環境の位置（現実環境の対象ＯＢの位置）と自機の間の距離を特定（推定）する。そして特定した距離とマーク付与操作位置における初期位置からの端末移動情報に基づき、マーク付与位置、すなわち現実環境における対象ＯＢの初期位置からの相対位置を特定することができる。
【００６８】
マーク付与手段２１は、ユーザによるマーク付与操作に基づき、表示手段１３に表示中のライブビュー映像ＬＶに重ねて、各種情報を付与する対象ＯＢに対応したオブジェクト画像（以下これを「マーク画像Ｍ」という。）を表示する。
【００６９】
図３を参照して具体的に説明する。同図は、マーク付与操作時の情報管理装置１０の表示手段１３における表示の一例を示す図である。
【００７０】
ユーザは、マーク付与操作時に、調整値を用いるか形状検出（この例では、平面検出）を用いるか選択可能に構成されている。ユーザがマーク付与操作時に調整値を用いることを選択した場合、位置特定手段２３は、上述の調整値を用いた方法で位置特定を行う。一方、ユーザがマーク付与操作時に平面検出を用いることを選択した場合、位置特定手段２３は、上述の平面検出を用いた方法で位置特定を行う。
【００７１】
図３（Ａ）は、マーク付与位置の特定に調整値を用いる場合の表示例である。この状態は、予め調整値が例えば３０ｃｍに設定されている場合において、初期位置を設定後、ユーザがマーク付与操作時に調整値を用いることを選択し、対象ＯＢに近接した状態での表示例である。撮像手段１５によって実在する対象ＯＢを含む対象領域（現実環境）が撮影され、当該対象領域のリアルタイムの映像情報がライブビュー映像ＬＶとして表示手段１３に表示されている。
【００７２】
マーク付与手段２１は、同図（Ａ）に示すように、ライブビュー映像ＬＶに重ねてマーク画像Ｍを移動可能に表示する。
【００７３】
この状態でユーザは、表示手段１３に表示中の、マーク画像Ｍを付与すべき対象ＯＢを選択するマーク付与操作を行う。すなわち、ユーザは、例えばマーク画像Ｍをタッチしたまま所望の位置（例えば、ライブビュー映像ＬＶ上の対象ＯＢに重畳する位置、あるいは近傍の位置）にスライドさせるなどして、マーク付与位置を選択（決定）する。
【００７４】
また、マーク付与操作は例えばマーク付与の開始を指示するためマーク付与操作ボタン１２２をタッチ（タップ）するなどした後に、表示中のライブビュー映像ＬＶの所望の位置（例えば、対象ＯＢの位置、または対象周囲の位置）において表示手段１３表面をタッチ（例えば、タップ）してもよい。マーク付与操作ボタン１２２は表示手段１３に表示されるボタン画像であってもよいし、物理ボタン１２１であってもよい。これによりマーク付与手段２１は、表示手段１３上におけるタッチ位置の座標を検出し、タッチ位置にマーク画像Ｍを表示する。
【００７５】
調整値を用いる場合、マーク付与手段２１が表示するマーク画像Ｍは、自機より所定の調整値（この例では３０ｃｍ）分、前方に位置していることを示している。つまりユーザは、対象ＯＢに重畳するように（又はその近傍に）適宜マーク画像Ｍを移動させつつ、調整値に応じて対象ＯＢと自機との距離を確保する。つまり調整値を３０ｃｍとした場合には、対象ＯＢと自機の距離が３０ｃｍになるように適宜移動する。
【００７６】
そして例えば、ユーザのマーク付与位置を決定するための操作（マーク付与位置決定操作）によって、マーク画像Ｍの位置を決定する。このマーク付与位置決定操作は例えば、マーク付与操作ボタン１２２（またはマーク画像Ｍ）の（再度の）操作（タップ、タッチ、ダブルタップ、長押しなど）である。またマーク付与位置決定操作はマーク画像Ｍに対応した対象ＯＢの位置を取得する操作（対象位置取得操作）ともいえる。
【００７７】
位置特定手段２３は、同図（Ａ）に示すように調整値を用いた場合、決定されたマーク画像Ｍの位置（例えば、対象ＯＢの位置）が、自機よりも調整値（この例では３０ｃｍ）前方にあるとし、自機の位置に基づき、マーク画像Ｍに対応する対象ＯＢの現実環境における位置を特定する。このように、調整値を用いる場合には、対象ＯＢが例えば所定の形状を有する物体が存在しない空間の任意の点であっても、マーク画像Ｍを付与し、対象ＯＢの位置を特定することができる。
【００７８】
同図（Ｂ）および同図（Ｃ）は、マーク付与位置の特定に形状検出（例えば、平面検出）を用いる場合の表示例である。この状態は、ユーザがマーク付与操作時に平面検出を用いることを選択し、対象ＯＢが壁（同図（Ｂ））および床（同図（Ｃ））など、平面として検出可能な形状の上に位置する場合の表示例である。撮像手段１５によって実在する対象ＯＢを含む対象領域（現実環境）が撮影され、当該対象領域のリアルタイムの映像情報がライブビュー映像ＬＶとして表示手段１３に表示されている。
【００７９】
マーク付与手段２１は、同図（Ｂ）、同図（Ｃ）に示すように、例えばライブビュー映像ＬＶに重ねてガイド表示Ｇ（例えば、検出した平面を示す方眼状のラベル画像）を表示し、その略中央付近にマーク画像Ｍを固定的に表示する。この場合、ユーザは、固定的に表示されたマーク画像Ｍが対象ＯＢに重畳する（あるいは近傍に位置する）ように情報管理装置（タブレット端末）１０の姿勢や向きまたは位置を任意に移動する。
【００８０】
そして例えば、ユーザのマーク付与位置決定操作（例えば、マーク付与操作ボタン１２２（又はマーク画像Ｍ）操作）などによって、マーク画像Ｍの位置を決定する。
【００８１】
平面検出を用いる場合は、所定の形状を有する実在する物体（床、壁、机など）が必要であるが、検出した平面に沿ったマーク付与操作を行うことができる。例えば、検出した平面が傾斜面であれば傾斜面に沿ってマーク付与操作を行なうことができる。
【００８２】
なお、同図（Ａ）に示す調整値と用いたマーク付与操作と同図（Ｂ）に示す平面検出を用いたマーク付与操作は、ボタン操作など手動によって切り替えても良いし、例えば「特徴的な点」の有無や形状に基づくなどして自動で切り替えるように構成してもよく、自動で切り替え可能とした場合には、ボタン操作などによる手動の切り替えも可能としてもよい。
【００８３】
ユーザによるマーク付与位置決定操作が行なわれると、マーク付与手段２１は例えば、マーク画像Ｍの表示態様を変化させる（例えば、点滅表示させる）などして、後述する関連付け手段２５による情報の関連付けが可能となったことをユーザ(撮影者)に対して示唆する。
【００８４】
タブレット端末１０１に情報管理プログラム２０をインストールした後最初に情報管理プログラム２０を起動させてから当該情報管理プログラム２０が終了するまで、あるいは、前回情報管理プログラム２０を終了させた後に再び情報管理プログラム２０を起動させてから当該情報管理プログラム２０が終了するまで（いずれも電源遮断も含む）の期間、を本明細書では「当該情報管理プログラム２０の実行中」という。そして当該情報管理プログラム２０の実行中において、マーク付与手段２１は、複数の異なった対象ＯＢに対してそれぞれにマーク画像Ｍを付与することができる。
【００８５】
連続して複数の対象ＯＢに対してそれぞれマーク画像Ｍを付与する場合には例えば、マーク付与の開始を指示するためマーク付与操作ボタン１２２を操作（タッチ（タップ））する。これにより例えば、点滅表示などして、後述する関連付け手段２５による情報の関連付けが可能となったことをユーザ(撮影者)に対して示唆していたマーク画像Ｍは静止画表示され、新たなマーク画像Ｍが表示される。
【００８６】
位置特定手段２３は、マーク付与位置決定操作が行なわれた場合、所定空間における対象ＯＢの相対位置を特定する。
【００８７】
具体的には、図３（Ａ）に示す調整値を用いたマーク付与位置決定操作の場合は、位置特定手段２３（状態取得手段１７）は、マーク画像Ｍの位置に基づき、現実環境における自機と対象ＯＢの相対的な距離が調整値であると特定する。また、既に述べているように、随時取得する端末移動情報に基づき、初期位置からマーク付与位置決定操作が行なわれた位置までの相対的な端末移動情報を算出し、初期位置に対する対象ＯＢの相対的な位置を把握し、相対的な位置情報（水平方向距離、垂直方向距離、角度、方向によって、初期位置に対する対象ＯＢの相対位置を特定する情報、以下「対象位置情報」という。）を特定し、記憶手段１４に記憶する。
【００８８】
また、同図（Ｂ）に示す平面検出でのマーク付与位置決定操作の場合は、位置特定手段２３は、ガイド表示Ｇとマーク画像Ｍの位置に基づき、現実環境における自機と対象ＯＢの相対的な距離を推定する。また、同図（Ａ）の場合と同様に、随時取得する端末移動情報と自機と対象ＯＢの相対的な距離に基づき、対象ＯＢの位置を特定し、対象位置情報を記憶手段１４に記憶する。
【００８９】
また、位置特定手段２３は、マーク画像Ｍを付与した対象が、現実環境におけるある一定広さの空間（例えば、室内など）においてどの位置に存在しているかを、複数のマーク画像Ｍを付与した場合には他のマーク画像Ｍとの位置関係も含めて把握し、記憶手段１４に記憶する。
【００９０】
これにより、マーク画像Ｍに対応付けた対象ＯＢが撮像手段１５の撮像対象から外れ（レンズ１５１の画角から外れ）てライブビュー映像ＬＶにおいて表示手段１３の表示領域からもフレームアウトした場合であっても、再び当該対象ＯＢを撮像した場合にはライブビュー映像ＬＶ中の対象ＯＢに重ねて（対象ＯＢの上に、または対象の近傍に）マーク画像Ｍが表示されるようになる。
【００９１】
また対象位置情報は、後述する全体視表示（マップ作成）において利用することができる。
【００９２】
また、マーク付与手段２１は、マーク付与位置決定操作が行なわれた場合、ライブビュー映像ＬＶのうち対象ＯＢ（マーク付与位置の近傍）の「特徴的な点」の情報を取得、解析して現実環境における対象ＯＢの存在を把握してもよい。「特徴的な点」は例えば、対象ＯＢの外形状に対応して示される多数の点などである。マーク付与手段２１は把握した対象ＯＢの情報（例えば、対象ＯＢの大きさなど外形状の情報など）と上記の対象位置情報およびマーク画像Ｍとを対応付けて記憶手段１４に記憶してもよい。
【００９３】
なお、ユーザ（撮影者）はマーク付与操作において、撮像手段（カメラ機能）１５を起動させる撮影ボタン１２３（または物理ボタン１２１）を操作し、これにより画像データを生成して記憶手段１４に記憶される通常の撮影（以下「写真撮影」という。）を行なってもよい。この場合、撮影された写真にはマーク画像Ｍは含まれず、現実環境のみが撮影される。
【００９４】
図４は、ユーザＵがある空間Ｓにおいて情報管理装置１０（情報管理プログラム２０）を使用している状態を示す概要図であり、情報管理装置１０の表示手段１３に、空間Ｓのライブビュー映像ＬＶを表示している状態を示す。またこの状態は、上述の処理によって、空間Ｓ内の４つの対象ＯＢについてそれぞれにマーク画像Ｍの付与が完了しており、ユーザは当該空間Ｓが略見渡せる位置に立って広い画角で撮影している状態である。この場合、撮像手段１５（レンズ１５１）の画角には４つの対象ＯＢ１〜ＯＢ４が収められており、情報管理装置１０（タブレット端末１０１）の表示手段１３には、対象ＯＢ１〜ＯＢ４に対応したマーク画像Ｍ１〜Ｍ４がライブビュー映像に重ねて表示（ＡＲ表示）されている。
【００９５】
なお、当該空間Ｓにおいてライブビュー映像ＬＶを表示した際のマーク画像Ｍ１〜Ｍ４の表示は、実行中の情報管理プログラム２０が終了した際にはリセットされる。しかしながら、例えば、空間の「特徴的な点」を把握し、各対象ＯＢの初期位置からの相対的な位置を対応するマーク画像Ｍ１〜Ｍ４にそれぞれ関連付けて記憶手段１４に記憶してもよい。これにより、現場（当該空間）に再訪するなどして同じ空間Ｓ内で情報管理プログラム２０を再起動（再実行）した場合には、図４に示すようにマーク画像Ｍ１〜Ｍ４をライブビュー映像に重ねて表示（ＡＲ表示）することができる。これにより、現場に始めて訪れたユーザであっても、対象ＯＢの位置を正確に把握することができる。
【００９６】
関連付け手段２５は、ユーザによる関連付け開始操作が行なわれた場合、実在する対象ＯＢに関連する情報（以下、「対象関連情報」という。）を、マーク画像Ｍに対応付けて記憶手段１４に記憶する手段である。ここで、関連付け開始操作とは、静止画表示されているマーク画像Ｍの操作（タッチ、タップ操作など）、あるいは、別途設けられた関連付け操作ボタン１２６の操作であり、関連付け開始操作が行なわれると、例えば、静止画表示されているマーク画像Ｍがその表示態様を変化させ（点滅表示などして）、関連付け手段２５による情報の関連付けが可能となったことをユーザ(撮影者)に対して示唆するように構成されている。本実施形態では、マーク付与位置決定操作が行なわれた場合にも、マーク画像Ｍがその表示態様を変化させ（点滅表示などして）、関連付け手段２５による情報の関連付けが可能となったことをユーザ(撮影者)に対して示唆するように構成されている。つまり、このマーク付与位置決定操作も関連付け開始操作に含まれる。
【００９７】
対象関連情報は、例えば、この情報管理プログラム２０において生成・取得することが可能な対象ＯＢそのものについての情報（例えば、対象ＯＢの位置情報、外形状の情報、対応するマーク画像など）を示す対象基本情報と、ユーザの任意で対象ＯＢに関連付けることが可能な対象付随情報とが含まれる。
【００９８】
具体的には、関連付け手段２５は、所定空間（現実環境）における当該対象の存在を示す情報、すなわち位置特定手段２３が特定した対象ＯＢの位置を示す対象位置情報と、当該対象ＯＢに付与されたマーク画像Ｍ（の画像データ）と、マーク画像Ｍに固有の識別番号（マーク識別番号ＭＩＤ）とを対象基本情報とし、マーク識別番号ＭＩＤをキーにした１つの情報群（データユニット）として、記憶手段１４（例えば、図２および図６に示す関連情報データベース３０等）に登録する。対象基本情報には、「特徴的な点」から解析された対象ＯＢの外形状を示す情報などが含まれてもよい。
【００９９】
また、関連付け手段２５はユーザによって対象ＯＢ（マーク識別番号ＭＩＤ）毎に任意に選択された対象付随情報を、マーク識別番号ＭＩＤに対応する情報群（データユニット）に追加登録する。例えば、ユーザによる関連付け開始操作が行なわれると、マーク画像Ｍの表示態様が変化し（例えば、点滅表示し）、関連付け手段２５による対象付随情報の受付が可能となったこと（対象付随情報の受付期間中であること）をユーザに示唆する。そして関連付け手段２５は、対象付随情報の候補を表示するなどして対象付随情報の入力を待機し、ユーザによって入力（選択）された対象付随情報をデータユニットに追加登録する。
【０１００】
対象付随情報は例えば、写真・ビデオなどの撮像（静止画像、動画像）データ、文字データ（テキストデータ、文章作成ソフトウェアで作成された文書データ、表計算ソフトウェアで作成された表形式のデータなど）、音声データ、その他のデータである。また、対象付随情報には、情報生成手段２２５１（図２参照）によって生成された各種データも含まれる。具体的には情報生成手段２２５１は、例えば情報管理装置１０の音声入力手段１８を介して入力された音声を認識し、文字データを生成する。また、写真・ビデオなどの撮像画像（静止画像、動画像）について人工知能を用いた解析（Artificial  Intelligence解析;ＡＩ解析）を行ない、撮影対象の名称（例えば、「傷」、「扉」など）のタグを生成して画像に付与したタグ付き画像データを生成する。対象付随情報にはこれらの情報も含まれる。
【０１０１】
図５は、対象付随情報を関連付けする場合の表示の一例を示す図である。関連付け手段２５は、対象付随情報の受付期間中（例えば、マーク画像の点滅表示中）にユーザによって選択あるいは入力された各種データについて対象付随情報として関連情報データベース３０への登録を行なう。具体的には、関連付け手段２５は、同図に示すように、所定の記憶手段１４（マーク識別番号ＭＩＤとの対応付けが行なわれていない各種データが保存されている記憶領域、タブレット端末１０１のライブラリなど）から、対応付け（選択）が可能なデータ（ファイル）ＤＤを取得し、例えば一覧形式で表示手段１３に表示する。
【０１０２】
ユーザが表示された一覧から任意に一又は複数のデータを選択（例えばタップなど）すると、関連付け手段２５は選択されたデータを、当該マーク画像Ｍに対応するマーク識別番号ＭＩＤをキーにして関連情報データベース３０に登録する。
【０１０３】
あるマーク画像Ｍについての関連付け処理は、例えばユーザによる関連付け終了操作（例えば、マーク画像Ｍの再度の操作や関連付け操作ボタン１２６の再度の操作など）によって終了する。マーク画像Ｍの表示状態（図３など）においてマーク画像を選択し関連付け開始操作と関連付け終了操作を行なうことにより、関連付け処理は任意のタイミングで繰り返し行うことができる。
【０１０４】
このように、関連付け手段２５が、ユーザに選択させるために一覧表示する各種データは、他のアプリケーションプログラム（カメラアプリケーションプログラム、文書作成アプリケーションプログラムなど）や、タブレット端末１０１の他の機能（録音機能など）によって、任意のタイミング（本情報管理プログラム２０の実行中とは別のタイミング）で記憶手段１４に記憶されたデータである。
【０１０５】
しかしながらこれに限らず、情報管理プログラム２０の実行中にリアルタイムで作成したデータ（情報生成手段２２５１によって生成されたデータ）も関連付けすることができる。
【０１０６】
例えば、対象付随情報が画像データの場合は、ユーザによる関連付け開始操作によってタブレット端末１０１のカメラ機能を起動し、情報管理プログラム２０の実行中に撮像手段１５で撮影した新たな画像データ（静止画データ、動画データ）、すなわち関連情報データベース３０に未登録のデータをマーク識別番号ＭＩＤに対応付けて関連情報データベース３０に追加登録してもよい。また、タブレット端末１０１の記憶手段１４（ライブラリ）に保存されている画像データを例えばサムネイル表示するなどして選択可能とし、ユーザの選択があったデータをマーク識別番号ＭＩＤに対応付けて関連情報データベース３０に追加登録してもよい。また、これら両者を選択可能としてもよい。
【０１０７】
また、対象関連情報が音声データの場合は、ユーザによる関連付け開始操作によってタブレット端末１０１のマイク（録音）機能が起動するようになっていてもよいし、マーク画像Ｍの操作によって、データ（ファイル）の選択と共に、マイク機能の起動が選択可能になるように構成されていてもよく、この場合、情報管理プログラム２０の実行中に録音された音声データをマーク識別番号ＭＩＤに対応付けて関連情報データベース３０に追加登録できる。
【０１０８】
また、対象関連情報が文字データの場合は、ユーザによる関連付け開始操作によってタブレット端末１０１のメモ機能が起動する（図５に示すようにメモ入力欄３１が表示される）ように構成されていてもよいし、ユーザによる関連付け開始操作によって、データ（ファイル）の選択と共に、メモ機能の起動が選択可能になるように構成されていてもよく、この場合、情報管理プログラム２０の実行中に入力された文字データ（テキストデータ）をリアルタイムでマーク識別番号ＭＩＤに対応付けて関連情報データベース３０に追加登録できる。
【０１０９】
関連付け手段２５により、マーク画像Ｍを付した対象ＯＢに関する複数種類の対象関連情報を一括して関連付け、管理することができる。また、後のタイミングであっても、関連付け開始操作を行なうことで、当該マーク画像Ｍ（対象ＯＢ）に対して、対象関連情報を追加することができる。
【０１１０】
図６を参照して、関連情報データベース３０の一例について説明する。図６（Ａ）は、図４に示したように、ライブビュー映像ＬＶにマーク画像Ｍ１〜Ｍ４を重畳表示している表示手段１３の表示例を示す図であり、それぞれの対象ＯＢ１〜ＯＢ４について対象関連情報も対応付けられている状態を示している。
【０１１１】
同図（Ｂ）は関連情報データベース３０の一例を示す図である。既述のごとく、或る一つの対象ＯＢに対しては、固有の識別番号（マーク識別番号ＭＩＤ）を有するマーク画像Ｍが対応付けられる。さらに、当該或る対象ＯＢ（１つのマーク識別番号ＭＩＤ）に対して、対象関連情報（対象基本情報および必要に応じて対象付随情報）が関連付けられ、一つの情報群（データパッケージ）として管理可能となる。例えば、情報管理装置１０は、マーク識別番号ＭＩＤ毎にデータパッケージを一括して記憶手段１４から読み出したり、他の装置へ送受信すること等の処理が可能となっている。
【０１１２】
なお、図示の例では対象基本情報と対象付随情報とを明確に分類しているが、両者は必ずしも明確に分類されるものではなく、対象ＯＢに関連する情報をまとめて対象関連情報として扱うものであってもよい。
【０１１３】
同図（Ｂ）に示すように、一つの対象（例えば、壁面の傷など）ＯＢ１には固有のマーク識別情報ＭＩＤ０１が付与され、これに対象ＯＢ１についての対象関連情報（対象基本情報および対象付随情報）が関連付けられている。
【０１１４】
対象基本情報は例えば、所定空間（例えば、室内）における対象（例えば、傷）ＯＢ１の存在を示す情報（位置情報や、「特徴的な点」に基づく形状を示す情報など）である。
【０１１５】
また、対象関連情報としては例えば、対象ＯＢ１を異なる角度から撮影した複数の写真（画像データＪ１１，Ｊ１２，Ｊ１３）や、対象ＯＢ１の状態を説明する文字データＷ１１，Ｗ１２、音声データＲ１１などである。関連付け手段２５は、マーク識別情報ＭＩＤ０１をキーにして、画像データＪ１１，Ｊ１２，Ｊ１３、文字データＷ１１，Ｗ１２、および音声データＲ１１を対応付けて、一つのデータユニットとして、関連情報データベースに記録している。
【０１１６】
同様に、他の対象（例えば、異なる壁面の傷など）ＯＢ２には固有のマーク識別情報ＭＩＤ０２が付与され、これに対象ＯＢ２についての対象関連情報（対象基本情報と、対象関連情報（画像データＪ２１，Ｊ２２、文字データＷ２１、音声データＲ２１）を対応付けて、一つのデータユニットとして、関連情報データベースに記録している。また、他の対象ＯＢ３、ＯＢ４についてもそれぞれに固有のマーク識別情報ＭＩＤ０３、ＭＩＤ０４が付与され、対応する対象関連情報を対応付けて、一つのデータユニットとして、関連情報データベースに記録している。
【０１１７】
図７は、全体視表示手段２９の概要を示す図であり、同図（Ａ）は全体視表示手段２９の構成ブロック図であり、同図（Ｂ）は、マーク画像Ｍの位置を２次元画像としてマッピングし、視認（俯瞰）している状態を示す情報管理装置１０の表示例である。
【０１１８】
同図（Ａ）に示すように全体視表示手段２９は、少なくともマッピング手段２９１を含む。マッピング手段２９１は、関連情報データベース３０を参照して、所定空間内における１つ以上の対象ＯＢ（マーク画像Ｍ）の位置を同図（Ｂ）に示すようにマッピング（あるいはそれに類する分散的な表示をするなど）して全体視する手段である。ここで「全体視」とは例えば、マーク画像Ｍの位置を２次元画像として視認（俯瞰）すること、あるいは、マーク画像Ｍの位置を３次元画像として視認（俯瞰）すること、あるいは、マーク画像Ｍの位置を３６０度カメラで撮影した３６０度画像（静止画像、動画像）として視認すること、をいう。
【０１１９】
マッピング手段２９１によるマッピングの結果は、２次元画像、３次元画像または３６０度画像として出力（表示手段１３に表示、印刷、電子データとして出力）することが可能である。例えば、同図（Ｂ）に示すマップ３５はマッピングの結果を２次元画像で表示した一例である。本実施形態では、マップ３５の一例として同図（Ｂ）に示す２次元画像を例示しているが、本実施形態のマップ３５はこれに限らず、３次元画像または３６０度画像などで表示されるものも含む。マッピングすることによって、所定空間における或る対象ＯＢの位置、および複数の対象ＯＢ１〜ＯＢ４（マーク画像Ｍ１〜Ｍ４）について互いの位置関係を容易に把握することができる。また、本実施形態のマップ３５は、例えば表示手段１３に表示した場合、表示されているマーク画像Ｍを操作（押下、タッチ、タップなど）することで、当該マーク画像Ｍに対応付けられている対象関連情報を、例えばサムネイルなどで表示、あるいは編集することができいわゆるクリッカブルマップである。
【０１２０】
またマップ３５は、Ｗｅｂブラウザ等でも閲覧可能であり、他の装置との間でデータとして送受信も可能である。
【０１２１】
また、同図（Ａ）に示すように全体視表示手段２９は、照合手段２９２と、環境情報取得手段２９３を含むことが好ましい。これらによって例えば、同図（Ｂ）に示すマップ３５に対応する空間の情報（例えば、設計図面などの２次元画像など）を重ね合わせて表示することができる。
【０１２２】
照合手段２９２は、マーク画像Ｍに対応する対象ＯＢが含まれる空間（環境）の情報（環境データ３６）と、マーク画像Ｍの当該空間内における位置関係を示すマップ３５、または、当該空間内における１つ以上の対象ＯＢ（マーク画像Ｍ）の位置を示す座標データとを照合し、マップ３５の背景に環境データ３６を重ね合わせて出力（表示手段１３に表示、印刷、ＰＤＦファイルや表計算ファイル、画像データなどの電子データ形式での出力）する手段である。環境データ３６とは例えば、マーク画像Ｍに対応する対象ＯＢが含まれる空間の２次元画像（静止画、動画）、当該空間の３次元画像（静止画、動画）、当該空間（例えば、室内）のＣＡＤデータ（例えば、ＢＩＭ（Building  Information  Modeling），ＣＩＭ（Construction  Information  Modeling）で作成されたＣＡＤデータ）、当該空間の点群データ（３ＤＣＧ）、当該空間の３６０度画像（全方向画像）などであり、具体的には例えば、設計図面、見取り図、間取り図、空間の撮影画像（静止画、動画）などである。
【０１２３】
環境データ３６は、例えば後述する環境情報取得手段２９３で生成され、あるいは別途の装置（カメラやＣＡＤなど）によって予め準備されて記憶手段１４に記憶されている。環境データ３６は、ユーザの操作に基づき照合手段２９２によって呼び出されてマッピング手段２９１が生成したマップ３５と照合され、重ね合わせて出力される。この場合、環境データ３６とマップ３５にはそれぞれ照合用の基準となる照合用基準点が付与されており、照合手段２９２は、自動で環境データ３６とマップ３５の照合用基準点をマッチングし、必要に応じて縮尺や回転を行なって、マップ３５の背景に環境データ３６を重ね合わせて出力する。
【０１２４】
より具体的に、空間が建物の室内であって当該室内の対象物Ｂにマーク画像Ｍが対応付けられている場合において、当該室内の設計図面（２次元画像）とマーク画像Ｍのマップ３５とを重ねあわせる場合を例に説明する。
【０１２５】
この場合、設計図面は例えば窓枠の位置と入り口扉の位置などに照合用基準点が付与され、環境データ３６として記憶手段１４に予め記憶される。また、マッピング手段２９１は、同図（Ａ）に示すようなマップ３５を生成する。このマップ３５には、窓枠と入り口扉に対応する位置に照合用基準点が付与されている。なお、マップ３５は例えば図７（Ｂ）に示すように（Ｘ，Ｙ）座標のみの２次元画像として表示されるが、マーク画像Ｍは対応する対象ＯＢの対象位置情報として、（Ｘ，Ｙ，Ｘ）座標の値を有している。このため、照合手段２９２は、照合する環境データ３６の座標軸に応じて、マップ３５の座標軸を選択する。例えば、環境データ３６が２次元画像の場合には、マップ３５の座標軸は（Ｘ，Ｙ）座標のみが選択され２次元画像として表示される。また、環境データ３６が３ＤＣＧの場合には、マップ３５の座標軸は（Ｘ，Ｙ，Ｘ）が使用されるので、３ＤＣＧ内であっても正しい位置にマーク画像Ｍが表示される。
【０１２６】
照合手段２９２は、例えば、照合可能な環境データ３６とマップ３５を一覧形式などで表示手段１３に表示する。ユーザによって照合する環境データ３６とマップ３５とが選択されると、照合手段２９２は、記憶手段１４から対応する環境データ３６とマップ３５を呼び出し、マップ３５の照合用基準点（窓枠）と環境データ３６の照合用基準点（窓枠）とを一致させ、マップ３５の照合用基準点（入り口扉）と環境データ３６の照合用基準点（入り口扉）とを一致させる。このとき、環境用データとマップ３５のサイズや傾きなどが異なる場合には、照合手段２９２は、両者または一方の縮尺を変更し、あるいは回転等を行なうことによって両者のサイズ、方向、位置を一致させる。更に照合手段２９２は、マップ３５の背景に環境データ３６を重ね合わせた照合データ３７を表示手段１３に表示する。照合データ３７はそのまま印刷することができ、また一纏まりのデータユニットとして記憶手段１４に記憶したり、他の装置間との送受信等が可能となる。
【０１２７】
また、既に述べているように本実施形態のマップ３５はクリッカブルマップであり、これと環境データ３６を重ね合わせた照合データ３７もクリッカブルマップである。
【０１２８】
なお、環境データ３６とマップ３５のそれぞれに付与される照合用基準点は、環境データ３６に応じて複数付与されるが、マッチングの際に不足する場合には、一部手動で調整してもよい。
【０１２９】
また、環境データ３６が３６０度画像の場合には、例えば３６０画像を撮影時のカメラ（３６０度カメラ、全方向カメラ）の位置（撮影位置）および撮影方向を、マップ３５上で指定（タップなど）することにより、３６０度画像とマップ２５とを重ね合わせた照合データ３７が生成される。
【０１３０】
なお、予め作成されたマップ３５と環境データ３６は例えば照合用ＩＤなどによって予め紐付けられて記憶手段１４に記憶されていてもよく、ユーザによる照合の操作（例えば、不図示の照合メニューの選択、あるいは照合ボタンの操作など）が行なわれると、照合手段２９２は、照合用ＩＤに基づいて自動的に記憶手段１４から対応する環境データ３６とマップ３５を呼び出し、照合用基準点に基づきマッチングして両者を重ねて出力する構成であってもよい。
【０１３１】
また、照合手段２９２は自動的な照合（マッチング）に限らず、ユーザ操作による手動の照合を可能としてもよい。ユーザは環境データ３６とマップ３５を選択した後、手動操作にて両者を重ね合わせ、例えばピンチ操作やスライド操作などによって両者あるいは一方の拡大、縮小、回転等を行い、照合データ３７を作成することができる。また、自動的な照合と手動による照合の両方を備えても良いし、どちらか一方のみ備えても良いし、いずれかを選択可能に構成してもよい。
【０１３２】
なお、環境データ３６とマップ３５のそれぞれの照合用基準点は、随時変更（再設定）可能に構成される。
【０１３３】
環境情報取得手段２９３は、情報管理装置１０が備える撮像手段１５、あるいは情報管理装置１０とは別の装置（ＣＡＤ，ＰＣ，カメラ、３６０度カメラ等）によって環境データ３６を取得、生成する手段である。環境情報取得手段２９３は、予め環境データ３６を取得・生成して記憶手段１４に記憶する。
【０１３４】
また、全体視表示手段２９は、環境情報取得手段２９３によってリアルタイムで環境データ３６を取得・生成しつつ、照合手段２９２によって環境データ３６とマップ３５を照合させることができる。
【０１３５】
また、例えば、ライブビュー映像ＬＶをガイドとして、環境情報取得手段２９３によって取得した環境データ３６（例えば、図面）とマップ３５とを照合させることもできる。情報管理装置１０は、ユーザによって環境情報取得操作（例えば不図示のボタン操作など）が行なわれると、撮像手段１５を起動し、ライブビュー映像ＬＶを撮像して表示手段１３に表示する。そして環境情報取得手段２９３は照合用基準点の受付を待機する。
【０１３６】
マップ３５は実寸大のスケールおよび位置情報を有している。一方、環境データ３６（例えば、図面）は実寸大のスケールも位置情報も有していない、もしくは有していたとしても当該空間とは違う基準で作られた位置情報やスケールである。このため、マップ３５に対応する現実の空間と、環境データのスケールおよび位置を照合するために、ライブビュー映像ＬＶ[0]上の一辺を指定する。マップ３５は、ライブビュー映像ＬＶが表示する空間を俯瞰的（全体的）に示すものであり、ライブビュー映像ＬＶ[0]上の一辺を指定することで、マップ３５の対応する一辺が特定される。そして、当該一辺に相当する一辺を環境データ３６上で指定することで、現実の空間と環境データ３６を照合させることができる。
【０１３７】
具体的には、ユーザは例えば、室内のライブビュー映像ＬＶ上の一辺（例えば、撮像されている部屋の天井の一辺）を選択して照合用基準点付与操作（例えば、該当位置のスライド操作や当該一辺上の２点のタッチ（タップ）操作など）を行なう。この操作が行なわれると、環境情報取得手段２９３は当該照合用基準点（または点の集合である基準辺あるいは２点間を結ぶ基準辺）を取得・記憶し、必要に応じてライブビュー映像ＬＶ上に基準マーカ等を表示する。
【０１３８】
これにより、ライブビュー映像ＬＶが表示する空間を俯瞰的（全体的）に示すマップ３５の対応する一辺にも照合用基準点（辺）が付与される。
【０１３９】
次に、ユーザによる照合操作（例えば、不図示の照合用ボタンの操作など）が行なわれると、照合手段２９２は、例えば照合可能な環境データ３６を一覧表示するなどしてユーザによる選択を待機する。環境データ３６には、対応する位置（この例では図面の上辺の一つ）に照合用基準点（辺）が付与されている。当該照合用基準点（辺）は、予め付与されたものであってもよいし、マップ３５に照合用基準点を付与後に、環境データ３６に対応する照合用基準点（辺）を（再）設定することができるものであってもよい。
【０１４０】
ユーザによって所定の環境データ３６が選択されると、照合手段２９２は、ライブビュー映像ＬＶ（マップ３５）の照合用基準点（辺）と、環境データ３６の照合用基準点（辺）とが一致するよう、必要に応じて縮尺の変更や回転等を行い、照合データ３７を作成して表示手段１３に表示する。つまり表示手段１３には、環境データ３６に重ねて（その上面に）対応するマップ３５が表示される。
【０１４１】
なお、照合するマップ３５は、ライブビュー映像ＬＶの照合用基準点の位置情報（位置特定手段２３によって特定した現実環境における原点からの相対的な照合用基準点の位置情報）に基づき、照合手段２９２が自動的に記憶手段１４から選択するように構成されていてもよい。また照合手段２９２によって選択されたマップ３５をユーザが手動で変更可能に構成されていてもよい。
【０１４２】
このようにして、全体視表示手段２９は、表示手段１３で室内などのライブビュー映像ＬＶを表示し、その表示に重ねて、対応する空間のマップ３５を表示することができる。
【０１４３】
また、対象の空間内を撮像（スキャンし）、環境情報取得手段２９３によって、リアルタイムで環境データ３６として点群データ（３ＤＣＧ）を取得しつつ、マップ３５を重ねて表示する場合も上記と同様に実施できる。
【０１４４】
環境データ３６が３６０度画像である場合を例に更に説明する。３６０度画像は、３６０度カメラ（全方位カメラ）で撮影したデータである。例えば、室内の３６０度画像を取得するには、予め、室内の例えば略中央に３６０度カメラを配置し、室内全体を３６０度撮影する。この撮影位置は例えば、マーク画像Ｍを付与する際の初期位置とする。そして、３６０度カメラの撮影位置を環境データ３６の照合用基準点とし、マーク画像Ｍの付与操作の初期位置をマップ３５の原点として両者を照合する。あるいは、３６０度カメラの撮影位置は任意の位置とし、例えば３６０度カメラが備えるＧＰＳや、本実施形態の位置特定手段２３と同様の機能などによって、当該３６０度カメラの位置（撮影位置）を取得し、それに基づきマップ３５と照合してもよい。この場合の３６０度カメラは、撮像手段１５の一部として情報管理装置１０に備えている構成であってもよいし、情報管理装置１０とは別体の３６０度カメラであってもよい。また、情報管理装置１０とは別体の３６０度カメラの場合、情報管理装置１０からのリモート操作によって撮影操作を行なえる構成であってもよい。
【０１４５】
なお、図８に示すように、本実施形態では、付与したマーク画像Ｍのリスト形式での一覧表示も可能である。同図は、マーク画像Ｍのリスト形式での一覧（サムネイル）表示の一例を示す図である。同図（Ａ）は一覧表示（マーク画像一覧）の表示例であり、同図（Ｂ）は、マーク画像一覧のうちから特定のマーク画像Ｍ（例えば、マーク画像Ｍ３）を選択した状態の表示例である。
【０１４６】
本実施形態では、マーク付与操作時にマーク画像Ｍを付与した状態で現実環境を撮影することが可能である。また、その場合に撮影された写真は、対象関連情報としてマーク画像Ｍに対応付けられるとともに、マーク画像一覧としてサムネイル表示などが可能である。本実施形態では、ライブビュー映像ＬＶ上でマーク画像Ｍを表示して撮影した場合であっても、撮像し記憶手段１４に記憶される画像は、マーク画像Ｍを含まない現実環境のみが撮影された画像である。一方、マーク画像一覧（サムネイル）での表示（同図（Ａ））や、マーク画像一覧から特定の画像を選択し、表示手段１３の表示領域の全体で表示（プレビュー表示）する場合（同図（Ｂ））には、マーク画像Ｍ（Ｍ３）に紐付けられた対象位置情報に基づき現実環境の画像にマーク画像Ｍ（Ｍ３）を付与して（画像を再構成して）を表示するようにしている。
【０１４７】
情報管理プログラム２０はまた、文書作成手段２２を備えていても良い。文書作成手段２２は、関連情報データベースに格納されたデータユニットを、マーク画像ＩＤ単位で一まとまりに、あるいは個別に取得し、そのまま文書（例えば、報告書など）を作成することができる。文書作成手段２２は、例えば、利用頻度の高い書類（例えば、報告書、見積書、発注書など）については所定の書式を備えていてもよく、これらの書式の選択と、必要なデータユニットの選択・ダウンロードの操作（のみ）によって、必要な書類が作成できるように構成されていてもよい。また必要に応じて、ダウンロードしたデータの加工や編集を許容するようにしてもよい。
【０１４８】
＜情報管理方法（情報管理処理）の流れ＞
図９を参照して本実施形態の情報管理手段（情報管理プログラム）２０による情報管理処理について説明する。
【０１４９】
本実施形態のマーク付与手段２１、位置特定手段２３、関連付け手段２５、全体視表示手段２９及び文書作成手段２２は、ＡＲ処理手段２７とともに情報管理処理を行う。
【０１５０】
図９は情報管理処理を示す概要図である。同図に示すように、情報管理プログラム２０では、初期処理（ステップＳＴＡ）、マーク付与手段２１によるマーク付与処理（ステップＳ０４）、関連付け手段２５による関連付け処理（ステップＳ０５）、全体視表示手段２９による全体視表示処理（ステップＳ０６）、文書作成手段２２による文書作成処理（ステップＳ０７）などを実行可能である。また、初期処理（ステップＳＴＡ）およびマーク付与処理（ステップＳ０４）では、随時、撮像手段１５による撮像処理（ステップＳ０１）、表示手段１３による表示処理（ステップＳ０２）および、位置特定手段２３による位置特定処理（ステップＳ０３）を行う。また、全体視処理（ステップＳ０６）において、撮像処理（ステップＳ０１）、表示処理（ステップＳ０２）および、位置特定処理（ステップＳ０３）を行う場合もある。
【０１５１】
なお、初期処理（ステップＳＴＡ）以降の各ステップ（ステップＳ０１〜ステップＳ０７）は、任意の順番で実行可能である。図９においては、各ステップの名称として便宜上番号を付与（Ｓ０１〜Ｓ０７）しているが、これらは実行順を示すものではない。
【０１５２】
まず、情報管理プログラム２０は、起動される度に所定の初期処理（ステップＳＴＡ）が実行される。この初期処理には、情報管理処理を行なう際の基準位置（初期位置）の初期化と取得が含まれる。
【０１５３】
初期処理（ステップＳＴＡ）では、撮像手段１５が起動し、情報管理装置１０が自機の位置を随時把握するために、位置特定手段２３による基準位置（初期位置）のリセット（新たな基準位置（初期位置）の取得）を行う。初期位置の取得は、例えば、表示手段１３にライブビュー映像ＬＶを表示しつつ、撮像手段１５によって情報管理装置１０の周辺の現実環境（周辺の空間）を複数回撮像し（ステップＳ０２の表示処理、ステップＳ０１の撮像処理）、撮影された画像に基づき、自機の当該現実環境内における位置を把握（推定）することにより行う（ステップＳ０３の位置特定処理）。
【０１５４】
あるいは、撮像手段１５によって予めスキャン（撮像）を行い、記憶手段１４に記憶した現実環境の空間の情報（環境データ３６）を用いて初期位置を取得してもよい。具体的には、初期処理ＳＴＡにおいて、記憶手段１４から環境データ３６をロードし、撮像手段１５で撮像される現実環境の映像と当該環境データ３６とを照合する（ステップＳ０１の撮像処理、ステップＳ０２の表示処理）。そして両者が一致した場合は、その環境データ３６の原点からの相対位置を自機の現在位置として初期位置に設定してもよい（ステップＳ０３の位置特定処理）。
【０１５５】
また、上記いずれの場合も、赤外線やレーザーの反射光を検知して自機の位置を把握するようにしてもよい。
【０１５６】
初期位置を取得後、位置特定手段２３は、初期位置のリセットが行われるまで随時（逐次）、自機の初期位置からの移動情報を取得して記憶手段１４に記憶する。
【０１５７】
マーク付与処理（ステップＳ０４）では、情報を付与したい対象ＯＢについて、個々にマークを付与し、現実環境における対象ＯＢの位置（初期位置からの相対位置）を把握する。マークは、ユーザによるマーク付与操作によって付与される。マーク付与操作が行われた場合、位置特定手段２３はそのタイミングにおける初期位置からの移動情報を取得し（ステップＳ０１の撮像処理、ステップＳ０２の表示処理、ステップＳ０３の位置特定処理）マークの付与位置として記憶手段１４に記憶する。
【０１５８】
関連付け処理（ステップＳ０５）では、関連付け手段２５により、マーク画像Ｍを付した対象ＯＢに関する複数種類の対象関連情報を一括して関連付け、管理する。また、後のタイミングであっても、関連付け開始操作を行なうことで、当該マーク画像Ｍ（対象ＯＢ）に対して、対象関連情報を追加する。
【０１５９】
全体視処理（ステップＳ０６）では、マーク画像Ｍをマップ３５として表示したり、環境データ３６にマップ３５を重ねて表示する。
【０１６０】
文書作成処理（ステップＳ０７）では、例えば所定のフォーマットに対象関連情報等を任意に埋め込み、報告書等を作成する。
【０１６１】
引き続き同図を参照して、本実施形態に係る情報管理方法（情報管理プログラム２０の処理）について、具体的な例を挙げて説明する。ここでは、一例として、建築物の１フロアに設けられた１室内の修理箇所（例えば、壁に生じた傷など）や点検箇所を対象ＯＢとし、それぞれの対象ＯＢについて、情報を付与する場合について説明する。
【０１６２】
例えば建築・建設現場や、設備管理における点検・メンテナンスの現場などにおいては、建築物内の所定の空間（室内）などに生じた修理箇所や点検箇所（対象ＯＢ）について、例えば、報告者（現場の状況を確認する作業者）、修理担当者、点検担当者、現場責任者、施工者など、複数の関係者で当該対象ＯＢおよびその関連情報について情報を共有することが日常的に生じている。
【０１６３】
まず例えば報告者（ユーザ）は、確認作業を行なう或る室内において、本実施形態の情報管理プログラム２０を起動（実行）する。これにより、初期処理（ステップＳＴＡ）としてカメラ機能が起動し、基準位置がリセットされる。具体的には、カメラ機能が起動し、撮像手段１５による撮像が可能な状態となる。撮像手段１５は、レンズ１５１の画角に納まる範囲の室内の現実環境を撮影し、ライブビュー映像ＬＶを取得して（ステップＳ０１）、タブレット端末１０１の表示手段１３に表示する（ステップＳ０２）。
【０１６４】
ユーザは例えば、表示手段１３に表示される複数回の撮影を促すガイドなどに基づき、撮像手段１５によって情報管理装置１０の周辺の現実環境（周辺の空間）を異なる視点（異なる画角のライブビュー映像ＬＶを表示させた状態）で複数回撮像する。位置特定手段２３は、この撮影された複数の画像に基づき、自機の当該現実環境内における位置を把握（推定）することにより初期位置を特定し、記憶手段１４に記憶する（ステップＳ０３）。なお、初期位置の取得方法は、これに限らず、上述の実施形態に記載の方法が適宜採用される。初期位置の設定後、位置特定手段２３は随時端末移動情報を取得し、記憶手段１４に記憶する。また、これに加えて例えば、モーショントラッキングなどを利用して端末の移動経過情報（移動ログ、行動ログ）を合わせて記憶手段１４に記憶し、また再現可能に構成してもよい。
【０１６５】
初期位置の設定後、ユーザは情報を付与すべき実在する対象（例えば、壁の傷）ＯＢに対してマーク画像Ｍを付与する（ステップＳ０４）。ユーザは対象ＯＢに近接可能な場合には近接し、近接不可の場合は遠方から、対象ＯＢを含む対象領域のライブビュー映像ＬＶを取得し（ステップＳ０１、撮像工程（処理））、表示手段１３に表示する（ステップＳ０２、表示工程（処理））。
【０１６６】
ユーザが調整値を用いてマーク付与操作を行なう場合、マーク付与手段２１は、ライブビュー映像ＬＶに重ねて移動可能にマーク画像Ｍを表示する。あるいは、ユーザによるマーク付与の開始を指示する操作（マーク付与操作ボタン１２２）の操作などに基づき、マーク付与手段２１はマーク画像Ｍを表示する。
【０１６７】
ユーザは、ライブビュー映像ＬＶに含まれる対象ＯＢにマーク画像Ｍを付与するため、対象ＯＢに対して調整値分の距離を確保しつつ、表示手段１３を介して（表示手段１３の上から）マーク画像Ｍを対象ＯＢの位置に重畳あるいは近接させるように、マーク画像Ｍのスライド移動等の操作を行なう。そして所望のマーク付与位置までマーク画像Ｍを移動させ、マーク付与位置決定操作（マーク画像Ｍのタップなどの操作やマーク付与操作ボタン１２２操作など）を行ない、マーク画像Ｍの位置を決定する。
【０１６８】
ユーザが平面検出を用いてマーク付与操作を行なう場合、マーク付与手段２１は、ライブビュー映像ＬＶに重ねてガイド表示Ｇ（例えば、検出した平面を示す方眼状のラベル画像）を表示し、その略中央付近にマーク画像Ｍを固定的に表示する。
【０１６９】
ユーザは、ライブビュー映像ＬＶに含まれる対象ＯＢにマーク画像Ｍを付与するため、固定的に表示されたマーク画像Ｍが対象ＯＢに重畳する（あるいは近傍に位置する）ように情報管理装置（タブレット端末）１０の姿勢や向きまたは位置を任意に移動する。そして例えば、ユーザのマーク付与位置決定操作を行い、マーク画像Ｍの位置を決定する。
【０１７０】
ユーザによるマーク付与位置決定操作が行なわれると、マーク付与手段２１は例えば、マーク画像Ｍの表示態様を変化させる（例えば、点滅表示させる）などして、後述する関連付け手段２５による情報の関連付けが可能となったことをユーザ(撮影者)に対して示唆する。
【０１７１】
また、ユーザによるマーク付与位置決定操作が行なわれると、位置特定手段２３は、所定空間における対象ＯＢの相対位置を特定する。
【０１７２】
具体的には、調整値を用いて（図３（Ａ）参照）でマーク付与位置決定操作を行なった場合、位置特定手段２３（状態取得手段１７）は、マーク画像Ｍの位置に基づき、現実環境における自機と対象ＯＢの相対的な距離は調整値であると特定する。また、随時取得する端末移動情報に基づき、初期位置からマーク付与位置決定操作が行なわれた位置までの相対的な端末移動情報を算出し、初期位置に対する対象ＯＢの相対的な位置を把握し、対象位置情報を特定し、記憶手段１４に記憶する。
【０１７３】
また、平面検出（図３（Ｂ）参照）でマーク付与位置決定操作を行なった場合は、位置特定手段２３は、ガイド表示Ｇとマーク画像Ｍの位置に基づき、現実環境における自機と対象ＯＢの相対的な距離を推定する。また、随時取得する端末移動情報と自機と対象ＯＢの相対的な距離に基づき、対象ＯＢの位置を特定し、対象位置情報を記憶手段１４に記憶する。（ステップＳ０３、位置特定工程（処理））
【０１７４】
このようにして、位置特定手段２３は、対象（傷）ＯＢの初期位置からの相対的な位置（対象位置情報）を把握する。
【０１７５】
ユーザによるマーク付与位置決定操作が行なわれると、マーク付与手段２１は例えば、マーク画像Ｍの表示態様を変化させる（例えば、点滅表示させる）などして、当該マーク画像Ｍについて対象関連情報（対象付随情報）の関連付けが可能となったこと（関連付け工程（関連付け処理（ステップＳ０５））の開始）をユーザに示唆する。つまり、ユーザはマーク画像Ｍが点滅表示されている場合に、当該マーク画像Ｍに対して関連する画像データなどの対象付随情報を付与することができる。また、マーク画像Ｍが点滅表示されている場合に撮像手段１５にて撮影した画像データ（対象ＯＢの現実環境での写真など）や、音声入力手段１８を介して入力された音声データ等は、自動でマーク画像Ｍに関連付けることができる。
【０１７６】
連続して複数の対象ＯＢに対してそれぞれマーク画像Ｍを付与する場合には例えば、マーク付与の開始を指示するためマーク付与操作ボタン１２２を操作（タッチ（タップ））する。これにより例えば、点滅表示などして、後述する関連付け手段２５による情報の関連付けが可能となったことをユーザ(撮影者)に対して示唆していたマーク画像Ｍは静止画表示され、新たなマーク画像Ｍが表示される。
【０１７７】
なお、マーク付与工程と関連付け工程は任意のタイミングで行なえる。つまり、複数のマーク画像の付与を行なった後に、それぞれのマーク画像Ｍに対して関連付け処理を行なってもよいし、或るマーク画像Ｍを付与し、引き続き当該マーク画像Ｍに対して関連付け処理を行い、その後に新たなマーク付与の開始を指示するためマーク付与操作ボタン１２２を操作（タッチ（タップ））し、当該新たなマーク画像Ｍについて関連付け処理を行うものであってもよい。
【０１７８】
ステップＳ０５の関連付け工程（処理）では、傷ＯＢの対象関連情報を、マーク画像Ｍ１に対応付けて記憶手段１４に記憶する。
【０１７９】
ユーザがマーク画像Ｍに対してマーク付与位置決定操作あるいは関連付け開始操作（例えば、マーク画像Ｍのタップ操作など）を行なうと、マーク画像Ｍに対して対象関連情報（特に対象付随情報）を付与することができる。関連付け手段２５は関連付け開始操作に応じて、記憶手段１４に記憶されている対応付けが可能なデータ（ファイル）ＤＤを、例えば一覧形式で、それらの中から一または複数が選択可能となるように表示手段１３に表示する（図５参照）。ユーザが関連付けを行なうデータＤＤの選択操作（例えば、当該データのタップ操作など）を行なうと、関連付け手段２５は当該データを対象付随情報としてマーク画像Ｍに固有のマーク識別番号ＭＩＤと関連付けて、関連情報データベース３０に記憶する。ユーザによる対象関連情報の選択および関連付け手段２５による関連付け処理は、例えば、ユーザによる関連付け終了操作（例えば、関連付け操作ボタン１２６（図５参照）が操作されるまで繰り返し実行される。
【０１８０】
あるいは、対象関連情報が画像データの場合は、マーク画像Ｍに対する関連付け開始操作によってタブレット端末１０１のカメラ機能が起動するようになっていてもよい。またマーク画像Ｍに対する関連付け開始操作によって、選択可能なデータ（ファイル）ＤＤの一覧表示からの選択とカメラ機能による撮影とが選択可能になるように構成されていてもよい。関連付け処理の期間中は、カメラ機能で撮影した画像は自動的に対象付随情報として当該マーク画像Ｍに関連付けされる。また、情報生成手段２２５１（図２参照）によって写真・ビデオなどの画像（静止画、動画）についてＡＩ解析を行ない、撮影対象の名称（例えば、「傷」、「扉」など）のタグを生成して画像に付与したタグ付き画像データを生成し、対象付随情報として関連付けしてもよい。
【０１８１】
また、対象関連情報が音声データの場合は、マーク画像Ｍ１に対する関連付け開始操作によってタブレット端末１０１のマイク（録音）機能が起動するようになっていてもよい。関連付け処理の期間中は、マイク機能で録音した音声データは対象付随情報として自動的に当該マーク画像Ｍに関連付けされる。また、情報生成手段２２５１（図２参照）によって入力された音声を認識し、文字データを生成して対象付随情報として関連付けしてもよい。
【０１８２】
また、対象関連情報が文字データの場合は、マーク画像Ｍ１に対する関連付け開始操作によってタブレット端末１０１のメモ機能が起動するようになっていてもよい。関連付け処理の期間中は、メモ機能で入力された文字データ（テキストデータ）は自動的に対象付随情報として当該マーク画像Ｍに関連付けされる。
【０１８３】
なお、関連付け処理中に入力された画像データ、音声データ、文字（テキスト）データ等は、自動的に関連情報データベース３０に登録せず、マーク画像Ｍに関連付ける候補のデータとして一旦、関連情報データベース３０以外の記憶手段１４に記憶されるようにしてもよい。
【０１８４】
また、情報管理プログラム２０の実行中にタブレット端末１０１の撮像手段１５による撮像があった場合、マイク１８による音声データの入力が合った場合、メモ機能による文字データの入力があった場合などにはそれらのデータ（画像データ、音声データ、文字（テキスト）データ等）と、それらの入力地点の端末移動情報とが関連付け手段２５によって、マーク画像Ｍに固有のマーク識別番号ＭＩＤに関連付けられ、関連情報データベース３０に登録される。なお、これらの情報は所定の記憶手段１４に一旦記憶され、後の対象付随情報の関連付け工程においてマーク識別番号ＭＩＤに関連付けられ、関連情報データベース３０に登録される構成であってもよい。
【０１８５】
このようにして、マーク画像Ｍの付与に引き続いて、一または複数の対象関連情報をマーク画像Ｍに関連付けることができる。これにより、例えばマーク画像Ｍを付与したタイミングで、マーク画像Ｍに対して直接的に対象関連情報（対象付随情報）を紐付けることができる。
【０１８６】
具体的には、対象ＯＢ１を異なる角度から撮影したり、対象ＯＢからの距離を徐々に大きくしながら（徐々に画角を広くしながら）撮影した写真を、その場でマーク画像Ｍに紐付けることができる。
【０１８７】
情報量を増やすために多数の画像データ（写真）を取得したとしても、現場を離れたり時間が経過すると、撮影者であってもデータの撮影場所などが不明になり易く、これらの関連付けの作業は煩雑で労力を要する。
【０１８８】
本実施形態によれば、例えば現場に滞在しているうちに、マーク画像Ｍに対象付随情報を紐付けることも可能になるため、ユーザの作業負担を大幅に軽減することができる。
【０１８９】
なお、ある１つのマーク画像Ｍに対して一連の選択操作が終了し関連付け終了操作が行なわれた後であっても、再び同じマーク画像Ｍについて関連付け開始操作を行なうことで、マーク画像Ｍについて対象関連情報の関連付け（追加、修正等）を行なうことができる。
【０１９０】
当該情報管理プログラム２０の実行中は、同じ空間（例えば、室内）において他の対象ＯＢ（例えば他の箇所に発生した傷ＯＢ）について対応するマーク画像Ｍの付与と、当該マーク画像Ｍに対する対象関連情報の関連付けを連続して行なうことができる。
【０１９１】
マーク画像Ｍが複数存在する場合には、それぞれのマーク画像Ｍについて上記と同様の位置特定工程を行い、それぞれの対象ＯＢの空間（例えば室内）における位置を特定する。
【０１９２】
また、マーク付与手段２１およびＡＲ処理手段２７は、マーク付与位置決定操作が行なわれた場合、表示手段１３に表示されている対象ＯＢを含む対象領域のライブビュー映像ＬＶのうち、「特徴的な点」の情報を取得、解析し対象基本情報を取得してもよい。「特徴的な点」は例えば、対象ＯＢの外形状を示す多数の点などである。
【０１９３】
ステップＳ０６の全体視表示工程（処理）では、ユーザが全体視表示操作（例えば、不図示の全体視表示ボタンの操作）を行うと、全体視表示手段２９のマッピング手段２９１が、関連情報データベース３０を参照して、当該室内における全てのマーク画像Ｍの位置関係を全体視できるマップ３５（図７（Ｂ）参照）を作成し、出力することができる。出力は、表示手段１３への表示、印刷、ＰＤＦファイルや表計算ファイルなどの電子データ形式での出力などである。
【０１９４】
表示手段１３に表示されたマップ３５では、各マーク画像Ｍの選択操作が可能であり、ユーザによってあるマーク画像Ｍ（例えば、マーク画像Ｍ１）が選択（タップ操作など）されると、対象関連情報（対象付随情報）がサムネイルまたは一覧表示される。ユーザはこれらの情報の閲覧および編集、データの追加および削除等の操作が可能となる。また、例えばマーク画像Ｍを選択的にマップ３５上に表示するようにしてもよい。マーク画像Ｍが多すぎる場合には、随時必要なもののみマップ３５に表示することができる。
【０１９５】
マーク画像Ｍのマッピングによって、室内における対象（例えば傷）ＯＢの位置、および互いの位置関係を容易に把握することができる。
【０１９６】
また、全体視表示工程（処理）では照合手段２９２によって、マーク画像Ｍに対応する対象ＯＢが含まれる空間（環境）の情報（環境データ３６）と、マーク画像Ｍの当該空間内における位置関係を示すマップ３５とを照合し、マップ３５の背景に環境データ３６を重ね合わせた照合データ３７として出力することができる。
【０１９７】
また、全体視表示工程（処理）では環境情報取得手段２９３によって、情報管理装置１０が備える撮像手段１５、あるいは情報管理装置１０とは別の装置（ＣＡＤ，ＰＣ，カメラ、３６０度カメラ等）によって環境データ３６を取得、生成することができる。環境情報取得手段２９３は、予め環境データ３６を取得・生成して記憶手段１４に記憶することができ、照合手段２９２は、環境情報取得手段２９３が生成して記憶した環境データ３６とマップ３５を重ね合わせて照合データ３７を作成できる。また、環境情報取得手段２９３はリアルタイムで環境データ３６を取得・生成しつつ、照合手段２９２によって環境データ３６とマップ３５を照合させることができる。
【０１９８】
これにより、例えば、室内の画像（写真）や、設計図等をマップ３５に重ねて出力することができ、現場の状況がより把握しやすくなり、特に現場に赴いたことのない担当者にとっても、現場の状況を想定しやすくなる。
【０１９９】
また、マップの状態で（マップ形式のデータとして）、あるいは、照合データ３７として他の装置に送受信することができる。当該マップ形式のデータまたは照合データ３７には、全てのマーク画像Ｍについて、対応する対象関連情報（データユニット）が含まれていることが望ましい。当該マップ形式のデータまたは照合データ３７を受信した他の端末（例えば、他のタブレット端末）は、本情報管理プログラム２０がインストールされている場合には図７（Ｂ）に示すマップ３５または照合データ３７を随時出力（表示手段に表示、印刷、電子データでの出力）することができ、また、マップ形式のデータまたは照合データ３７に対象関連情報も含まれている場合には、マーク画像Ｍの選択により関連付けられている対象関連情報を閲覧、編集等することができる。
【０２００】
なお、全体視表示させるマーク画像Ｍの選択だけでなく、マーク画像Ｍそのものを削除可能にしてもよい。マーク画像Ｍの削除は例えば、上述のマーク付与操作など、マーク画像Ｍに関する操作とは異なるマーク削除操作（例えば、マーク画像にタッチしたままスライドさせるスワイプ操作等）で行なう。またポップアップ等で削除の確認を行なうようにしてもよい。この場合、マーク画像Ｍの消去により自動的に関連する情報も消去されるようにしてもよいし、選択的に消去可能にしてもよいし、関連情報の自動消去は不可（別途の関連情報の消去処理によって消去可能）としてもよい。
【０２０１】
ステップＳ０７の文書作成工程（処理）は、関連情報データベース３０に格納されたデータを利用して文書を作成する工程である。ユーザは、例えば必要な対象ＯＢの選択（例えば、マップ３５として表示されたマーク画像Ｍの少なくとも１つの選択）を行なうと、文書作成手段２２は、当該マーク画像Ｍに関連付けられた対象関連情報を関連情報データベース３０より取得し、所定の書式（例えば報告書など）に埋め込んで自動的に文書を作成する。
【０２０２】
また、文書作成手段２２は、文書を作成するための必要な項目（対象関連情報）を選択的に指定できるように構成されていてもよい。
【０２０３】
また、文書作成手段２２は、利用頻度の高い書類（例えば、報告書、見積書、発注書など）の複数の書式を備えていてもよく、ユーザはこれらの書類の書式の選択と、必要な対象ＯＢの選択（例えば、マップ３５として表示されたマーク画像Ｍの少なくとも１つの選択）、必要に応じて文書を作成するための必要な項目（対象関連情報）を選択することで、容易に文書を作成することができる。また必要に応じて、ダウンロードしたデータの加工や編集を許容するようにしてもよい。
【０２０４】
なお、実際の工程（処理）の手順は、上述の説明の順に限らず、順不同且つ、任意に必要な処理を繰り返し可能である。本実施形態では、対象ＯＢの位置を位置特定手段２３および状態取得手段１７によって特定しており、状態取得手段１７による状態の検出は、基準位置に基づいて行なわれる。
【０２０５】
なお、ＡＲフレームワーク２７によって、物体の形状を認識し、例えば記憶手段に記憶された物体の情報と照合するなどして物体の固有名称（「壁」「椅子」「机」など）を認識するものであってもよく、現実環境のライブビュー映像ＬＶに映し出された物体の映像に、水平面や垂直面以外のデジタル情報（物体に関連するオブジェクト画像など）を合成し（重畳させ）てもよい。
【０２０６】
さらに、合成した（重畳させた）オブジェクト画像の配置やその状況を記録し、保存するように構成されていてもよい。この場合、後のタイミング（数日後・数週間後など）に当該対象領域（現実環境）を訪れて当該ＡＲフレームワーク２７を利用したアプリケーションプログラムを起動すると、以前に配置したオブジェクト画像を同じ位置に表示し、再編集することができる。また関連付け操作も行なうことができる。
【０２０７】
＜情報管理システム＞
次に、本実施形態の情報管理システム１００について説明する。図１０は、情報管理システム１００の全体構成を示す概要図である。
【０２０８】
同図に示すように、情報管理システム１００は、少なくとも１台の情報管理装置１０（例えば、情報管理装置１０Ａ〜１０Ｃ）と、ネットワーク２１０と、ネットワーク１１０に接続するサーバ装置２２０とクラウドサーバ装置２３０などを有する。
【０２０９】
各情報管理装置１０Ａ〜１０Ｃは上述の情報管理装置１０（タブレット端末１０１）と同様の構成であるので、説明は省略する。
【０２１０】
ネットワーク２１０は、各装置間で相互に通信可能な任意の通信網であり、有線通信の通信網であってもよいし、無線通信の通信網であってもよいし、それらの両方により構成されるようにしてもよい。また、ネットワーク２１０が、１の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。例えば、インターネット、公衆電話回線網、所謂３Ｇ回線や４Ｇ回線等の無線移動体用の広域通信網、ＷＡＮ（Wide  Area  Network）、ＬＡＮ（Local  Area  Network）規格に準拠した通信を行う無線通信網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）、ＮＦＣ（Near  Field  Communication）等の近距離無線通信の通信路、赤外線通信の通信路、ＨＤＭＩ（登録商標）（High-Definition  Multimedia  Interface）やＵＳＢ（Universal  Serial  Bus）等の規格に準拠した有線通信の通信網等、任意の通信規格の通信網や通信路がネットワーク２１０に含まれるようにしてもよい。
【０２１１】
各情報管理装置１０は上述のとおり、情報通信手段１６を備え（図２参照）、ネットワーク２１０を介して、他の情報管理装置１０やサーバ装置２２０、クラウドサーバ装置２３０、端末装置２５０との間で、関連情報データベース３０に格納された対象関連情報を、例えばデータパッケージ単位（マーク識別番号ＭＩＤ単位で）、あるいは複数の対象関連情報を一括して送受信が可能に構成されている。
【０２１２】
一例としてサーバ装置２２０やクラウドサーバ装置２３０はそれぞれ記憶手段２２１，２３１を備え、一又は複数の情報管理装置１０が生成した対象関連情報のデータパッケージをネットワーク２１０を介して取得し、記憶手段２２１，２３１に記憶するようにしてもよい。或る情報管理装置１０Ａは、例えば、他の情報管理装置１０Ｃが生成してサーバ装置２２０やクラウドサーバ装置２３０の記憶手段２２１，２３１に格納されている対象関連情報のデータパッケージを取得し、情報管理プログラム２０を起動させて表示手段１３に例えばマップ３５等を表示、閲覧、編集等を行うことができる。
【０２１３】
このように本実施形態の情報管理システム１００によれば、例えば１台の情報管理装置１０を現場に持ち込み、取得した対象ＯＢおよびそれに関する対象関連情報を、ネットワーク２１０を介して複数の装置（他の情報管理装置１０、サーバ装置２２０、クラウドサーバ装置２３０、端末装置２５０など）の間で共有することができる。なお、データの共有方法は、メールに添付して送受信する構成であってもよい。
【０２１４】
＜情報の連携＞
次に、図１１から図１９を参照して本実施形態における対象関連情報の連携（共有）について説明する。
【０２１５】
図１１は、情報管理装置１０の構成の一例を示すブロック図であり、図１２（Ａ）は連携手段（連携処理）の概要を示すブロック図であり、同図（Ｂ）が原点マーカＳＰの一例を示す図である。なお、図１１及び図１２では、連携手段５０が情報管理装置１０（情報管理プログラム２０）内に設けられる構成を例示している。しかしこれに限らず、図１０に示すように情報管理装置１０と他の装置とを備える情報管理システム１００の場合には、連携手段５０は、情報管理装置１０と他の装置とに共用可能に（例えばサーバ装置２２０やクラウドサーバ装置２３０などに）設けられる構成であってもよい。
【０２１６】
図１１を参照して、本実施形態の情報管理装置１０は連携手段５０を有し、異なる空間において、詳細には、異なる空間で扱われるデータにおいて、対象関連情報を連携（共有）可能である。以下、連携手段５０による対象関連情報の連携（共有）を連携処理という場合がある。
【０２１７】
ここで「空間」とは、この例では情報管理装置１０（情報管理プログラム２０）における内部仮想空間ＡＲＳおよび、該内部仮想空間ＡＲＳとは別の仮想空間（仮想２次元空間、仮想３次元空間）をいう。つまり別の仮想空間とは、例えば、同じ情報管理装置１０で認識・生成される別の内部仮想空間ＡＲＳや仮想２次元空間、あるいは、外部の装置やシステム（他の情報管理装置１０、端末装置２５０、他の撮像装置、仮想２次元空間、仮想３次元空間の座標系を有する他の装置など）において認識・生成される仮想３次元空間や仮想２次元空間などである。
【０２１８】
本実施形態の情報管理装置１０は、情報管理プログラム２０が起動されると、（例えば所定のボタン操作などに応じて）情報管理プログラム２０の作業対象となる仮想３次元空間を生成する。
【０２１９】
具体的には、情報管理プログラム２０が実行（起動）され、環境情報取得操作が行なわれると、撮像手段１５が起動してライブビュー映像ＬＶを表示する。環境情報取得操作は例えば、ユーザによる所定のボタン操作などであってもよいし、情報管理プログラム２０による（制御的な）処理開始操作、または他の処理への切替操作などであってもよい。
【０２２０】
環境情報取得操作が行なわれると、情報管理装置１０（の例えば環境情報取得手段２９３）は、仮想作業空間生成操作の受付を待機し、仮想作業空間生成操作が行われた場合、ライブビュー映像ＬＶを介して認識される現実空間に対応する仮想３次元空間を生成する。なお、環境情報取得操作が行なわれると同時に仮想作業空間生成操作が行なわれる構成であってもよい。
【０２２１】
この情報管理装置１０のライブビュー映像ＬＶを介して認識される現実空間に対応する仮想３次元空間を、以下、内部仮想空間ＡＲＳという。内部仮想空間ＡＲＳは、情報管理プログラム２０の作業対象領域であり、内部仮想空間ＡＲＳにおいて（内部仮想空間ＡＲＳで扱うデータとして）マーク画像Ｍの付与や対象関連情報の関連付けが行なわれ、また仮想２次元空間または仮想３次元空間のデータとしてマップ３５が生成される。
【０２２２】
この内部仮想空間ＡＲＳは、仮想作業空間終了操作あるいは情報管理プログラム２０の終了によって消失し、次回の仮想作業生成操作が行われると新たに生成される。仮想作業空間終了操作は例えばユーザによる適宜のボタン操作（例えば、専用のボタン操作や、他の処理への切替操作など）であってもよいし、例えば、情報管理装置１０による初期位置（基準位置）の（再）取得などに基づき、制御手段１１が自動で仮想作業空間終了操作を指示するなどの構成であってもよい。
【０２２３】
なお、環境情報取得手段２９３は、別途の仮想作業空間生成操作の受付を待機する。仮想作業空間生成操作は例えばユーザによる適宜のボタン操作（例えば、専用のボタン操作や、他の処理への切替操作など）であってもよいし、新たな環境情報取得操作であってもよいし、例えば、情報管理装置１０による初期位置（基準位置）の取得などに基づき、制御手段１１が自動で仮想作業空間生成操作を指示するなどの構成であってもよい。
【０２２４】
図１２（Ａ）を参照して、連携手段５０は、例えば、仮想空間１と、仮想空間１とは異なる仮想空間２のそれぞれで扱われるデータにおいて、対象関連情報を連携（共有）可能である。仮想空間１とは異なる仮想空間２とは、仮想空間１の仮想作業空間終了操作後に仮想作業空間生成操作によって新たに生成される仮想空間、あるいは、仮想空間１が生成される装置（例えば情報管理装置１０）とは別の他の装置（例えば、他の情報管理装置１０あるいは、図１０に示す他の装置２２０、２３０、２５０）において生成・取得される仮想空間をいう。
【０２２５】
仮想空間１は、具体的には、内部仮想空間ＡＲＳ，マップ３５、環境データ３６（他の装置で生成・取得されたものも含む）のいずれかであり、仮想空間２は、仮想空間１とは別の仮想区間であって、内部仮想空間ＡＲＳ，情報管理装置１０で生成されるマップ３５、環境データ３６（他の装置で生成・取得されたものも含む）のいずれかである。
【０２２６】
連携の具体例としては、連携手段５０は、或る（１つの）情報管理装置１０内において生成された異なる（複数の）内部仮想空間ＡＲＳ（仮想空間１）と内部仮想空間ＡＲＳ（仮想空間２）の間で、対象関連情報を共有できる。例えば、ユーザがある内部仮想空間ＡＲＳ（仮想空間１）において対象関連情報を設定し、同じ情報管理装置１０内に別のタイミングで生成された（例えば、ある内部仮想空間ＡＲＳ（仮想空間１）の仮想作業空間終了操作後に、再度、仮想作業空間生成操作が行われた場合などに新たに生成された）内部仮想空間ＡＲＳ（仮想空間２）に、登録済みの対象関連情報を連携させて（呼び出して）再表示させることができる。
【０２２７】
あるいは、連携手段５０は、或る情報管理装置１０の内部仮想空間ＡＲＳ（仮想空間１）に登録された対象関連情報について、同じ情報管理装置１０のマップ３５（仮想空間２）に連携させて、当該対象関連情報を再表示させることができる（図７参照）。情報管理装置１０は例えば、ライブビュー映像ＬＶの表示状態からマップ３５の生成操作を行なう（例えば、ユーザによる専用のボタン操作や、他の処理への切替操作などを行なう）と、仮想空間１を終了させて新たに仮想空間２を生成する。
【０２２８】
あるいは、連携手段５０は、異なる複数の情報管理装置１０同士において対象関連情報を共有できる。詳細には連携手段５０は例えば、或る情報管理装置１０の仮想空間１（内部仮想空間ＡＲＳまたはマップ３５）に登録された対象関連情報について、別の情報管理装置１０の仮想空間２（内部仮想空間ＡＲＳまたはマップ３５）に連携させて、当該別の情報管理装置１０において出力（表示等）させることができる。
【０２２９】
あるいは、連携手段５０は、例えば情報管理システム１００（図１０参照）内の情報管理装置１０と他の装置２５０の間において対象関連情報を共有できる。詳細には連携手段５０は例えば、情報管理装置１０の仮想空間１に登録された対象関連情報について、対象関連情報が扱える（管理が可能な）別の装置（例えば、図１０に示す端末装置）２５０内で生成された別の空間（仮想空間２：仮想３次元空間および／または仮想２次元空間に連携させ、当該別の空間で扱うデータと共有することができる。「別の空間で扱うデータ」は例えば、情報管理装置１０とは別の装置（例えば、端末装置２５０など）の仮想空間で扱われるデータであり、例えば、別の装置において別途取得される現実環境の空間の情報（上述の環境データ３６）である。環境データ３６は、例えば、３次元画像データ、３次元ＣＡＤデータ、３ＤＣＧ（３次元空間でのコンピュータグラフィックス）データ，点群データ、３６０度カメラで撮影した３６０度画像（静止画像、動画像）データ、２次元データは２次元画像データ、２次元ＣＡＤデータ、２ＤＣＧ（２次元空間でのコンピュータグラフィックス）データなどがある。また環境データ３６には、情報管理装置１０で撮像された現実環境の画像（動画、静止画）も含まれる。
【０２３０】
連携手段５０は、情報管理装置１０の仮想空間１に登録された対象関連情報を、別の装置（例えば、端末装置２５０など）の環境データ３６（仮想空間２）に連携し、環境データ３６上に出力することができる。また、連携手段５０は、情報管理装置１０とは別の装置（例えば、端末装置２５０など）の環境データ３６（仮想空間２）において登録（設定）された対象関連情報を、情報管理装置１０の仮想空間１に連携し、ライブビュー映像ＬＶ上に表示したり、マップ３５に表示することができる。
【０２３１】
更にまた、連携手段５０は、別の空間（仮想空間１，２）で扱うデータ（環境データ３６等）同士の間で対象関連情報を連携することができる。
【０２３２】
以下、連携処理の詳細について説明する。まず、本実施形態のマーク画像Ｍは、情報管理装置１０の表示手段１３においてライブビュー映像ＬＶに重ねて表示されるオブジェクト画像であり、詳細には、ユーザによるマーク付与操作があった場合、ライブビュー映像ＬＶを介して認識される仮想３次元空間（内部仮想空間）内にマーク付与手段２１によって設定されるものである。つまり本実施形態のマーク画像Ｍはそれぞれ、仮想３次元空間における位置座標（３次元座標）を有している画像である。
【０２３３】
また、対象関連情報は、ユーザによる関連付け開始操作が行なわれた場合、関連付け手段２５によってマーク画像Ｍに対応付けて記憶手段１４に記憶される。詳細には既述のとおり、対象関連情報は、対応するマーク画像Ｍに固有の識別番号（マーク識別番号ＭＩＤ）をキーにした１つの情報群（データユニット）として、記憶手段１４に登録される。つまり、本実施形態のマーク画像Ｍは、仮想３次元空間における位置座標（３次元座標）を有し、対象関連情報を保持可能な情報保持手段（フォルダ）といえる。また、マーク画像Ｍと対応付けられる（保持される）対象関連情報も仮想３次元空間における位置座標（３次元座標）を有するといえる。そして連携手段５０は、マーク画像Ｍが有する３次元座標に基づき、上述の連携処理を行なう。
【０２３４】
本実施形態では、位置特定手段２３、マーク付与手段２１、関連付け手段２５および全体視表示手段２９、および連携手段５０などがＡＲ処理手段２７と協働して位置特定処理、マーク付与処理、関連付け処理、全体視表示処理、連携処理等を行う。
【０２３５】
連携手段５０は、照合手段２９２や環境情報取得手段２９３などとともに、一または複数の情報管理装置１０および／又は一又は複数の他の装置２５０との間で、対象関連情報（それが対応付けられたマーク画像Ｍ）の連携（共有）を行う。なお、照合手段２９２および／又は環境情報取得手段２９３は、連携手段５０に含まれる構成であってもよいし、連携手段５０とは別途の構成であってもよい。例えば、図７に示す例では、全体視表示手段２９が、連携手段５０（環境情報取得手段２９３、照合手段２９２）によって環境データ３６とマップ３５を照合させ、またライブビュー映像ＬＶに重ねて、対応する空間のマップ３５を表示しているが、連携手段５０（環境情報取得手段２９３、照合手段２９２）は、図１０に示す情報管理システム１００の他の装置２２０，２３０，２５０に設けられていても良い。
【０２３６】
図１２（Ｂ）はライブビュー映像ＬＶを表示している情報管理装置１０の概要図である。連携手段５０は、原点マーカＳＰを基準とした仮想空間内の位置座標に基づき、対象関連情報（およびそれが対応付けられたマーク画像Ｍ）の連携を行なう。原点マーカＳＰの詳細については後述するが、情報管理装置１０においては、内部仮想空間ＡＲＳ（ライブビュー映像ＬＶ上）およびマップ３５上でユーザが設定可能であり、また、外部の装置２５０等（仮想２次元空間、仮想３次元空間の座標系を有する装置）においては、環境データ３６上などにおいてユーザが設定可能である。原点マーカＳＰは、仮想空間の始点（原点）と、仮想空間の向きおよびサイズを特定する手段である。原点マーカＳＰは例えば、ユーザが任意で指定する点Ｐ１（原点）と、点Ｐ１を始点とする仮想空間の方向と大きさ（空間ベクトル）を特定する点Ｐ２によって設定可能である。なお、上述の照合用基準点は、この原点マーカＳＰに対応する。
【０２３７】
例えば、上記の例では、照合手段２９２が、ライブビュー映像ＬＶ（マップ３５）の照合用基準点（辺）と、環境データ３６の照合用基準点（辺）とを一致させ、情報管理装置１０の表示手段１３などに環境データ３６に重ねて（その上面に）対応するマップ３５を表示する例を説明したが、これは照合手段２９２が、内部仮想空間ＡＲＳに設定された（またはマップ３５に設定された）原点マーカＳＰと環境データ３６に設定された原点マーカＳＰとを一致させる（仮想空間内の対象関連情報（およびそれが対応付けられたマーク画像Ｍ）の位置座標の原点を含む原点マーカを一致させる）ことを意味している。
【０２３８】
ユーザは連携を開始するため環境情報取得操作（例えば適宜のボタン操作など）を行なう。これにより環境情報取得手段２９３は（仮想作業空間生成操作に応じて）、撮像手段１５を起動し、ライブビュー映像ＬＶを撮像して表示手段１３に表示し、例えばＡＲ処理手段２７を活用して）ライブビュー映像ＬＶを介して認識される現実空間に対応する仮想三次元空間を生成する。
【０２３９】
そして環境情報取得手段２９３は、異なる仮想空間（図１２（Ａ）に示す仮想空間１、仮想空間２）で対象関連情報の連携（共有)を行うために、仮想空間１（例えば、情報管理装置１０の内部仮想空間ＡＲＳ）における基準マーカ（原点マーカＳＰ）の受付を待機する。原点マーカＳＰは、例えば、ユーザによる照合用基準点付与操作によって入力される。この例では、ユーザは照合用基準点付与操作においてライブビュー映像ＬＶ上に２点（点Ｐ１および点Ｐ２）の入力を行なう。点Ｐ１の入力（以下、点Ｐ１入力操作）は、仮想３次元空間における開始位置（始点、又は原点）を特定する操作である。また、点２の入力（以下、点Ｐ２入力操作）は、点Ｐ１を始点とする仮想３次元空間の方向と大きさ（空間ベクトル）を特定する操作である。つまり原点マーカＳＰは、ここでは線分（線状）で示されるマーカであり、空間ベクトルである。そして上述の照合用基準点（辺）は、この原点マーカＳＰに対応する。
【０２４０】
環境情報取得手段２９３は、ユーザの照合用基準点付与操作に応じて、ライブビュー映像ＬＶ上に原点マーカＳＰを表示する。ユーザがライブビュー映像ＬＶを介して視認される対象ＯＢに対してマーク付与操作、マーク付与位置決定操作を行なうと、マーク付与手段２１によってマーク画像Ｍが付与される。
【０２４１】
位置特定手段２３は、マーク付与位置決定操作が行なわれた場合、内部仮想空間ＡＲＳにおけるマーク画像Ｍの相対位置を特定する。具体的には、内部仮想空間ＡＲＳの原点マーカＳＰに対するマーク画像Ｍの相対位置を特定する。既に述べたがマーク画像Ｍは仮想３次元空間内での位置を示す座標を有しており、その座標の原点は、原点マーカＳＰの原点（点Ｐ１）である。
【０２４２】
図１２（Ａ）に示すように、仮想空間１において登録された対象関連情報は、仮想空間１の仮想作業空間終了操作後に仮想作業空間生成操作によって新たに生成される仮想空間２において共有できる。ここで、仮想空間１と仮想空間２とは、同じ現実環境Ｅに対応する別の仮想空間であり、当該現実環境Ｅには少なくとも対象関連情報に対応する対象ＯＢが含まれているものとする。
【０２４３】
例えば、工事現場、建築現場などにおいては、同じ現実環境の或る対象ＯＢについて、異なる日および／又は異なる作業者が作業を行なう場合があり、対象ＯＢについての対象関連情報（状態や進捗等）を随時更新することが好ましい。
【０２４４】
本実施形態では、仮想空間１において原点マーカＳＰ（ＳＰ１）を設定し、また仮想空間２において、仮想空間１の原点マーカＳＰ１に対応する位置、すなわち現実環境Ｅにおける原点マーカＳＰ１と（略）同じ位置（対応する位置）に原点マーカＳＰ２を設定する。これにより、連携手段５０（連携処理）によって仮想空間１の原点マーカＳＰ１と仮想空間２の原点マーカＳＰ２を照合させる（同じ位置と仮定する）ことができる。つまり、仮想空間１におけるマーク画像Ｍ（対象関連情報が関連付けられている）の位置（座標）をそのまま、仮想空間２に表示することで、ある一つの現実環境Ｅに対応する（略）同じ位置にマーク画像Ｍを表示（共有）することができる。
【０２４５】
ここで、原点マーカＳＰ２の付与操作はユーザが行なうが、情報管理装置１０は仮想空間１の原点マーカＳＰ１の位置を把握可能な案内表示ＴＴを表示可能に構成されている。この案内表示ＴＴは、例えば、現実環境における原点マーカＳＰ１の位置を認識可能な表示などであり、具体的には、原点マーカＳＰ１付与時に（自動、又はユーザ操作により）撮像された、原点マーカＳＰ１（表示）付きの現実環境の画像データ（の一覧表示）などである。ユーザはこの案内表示ＴＴに基づき、仮想空間２において、仮想空間１の原点マーカＳＰ１に対応する位置に原点マーカＳＰ２を設定する。
【０２４６】
この連携処理により仮想空間１と仮想空間２の仮想３次元座標の原点が一致するので、例えば仮想空間１における対象関連情報の原点マーカＳＰ１からの位置（座標）を、仮想空間２における原点マーカＳＰ２からの位置（座標）として再現できる。つまり仮想空間２において（仮想空間２で扱うデータ上に）対象関連情報を出力することができ、対象関連情報の共有が行なえる。
【０２４７】
つまり、或る情報管理装置１０の内部仮想空間ＡＲＳで登録された対象関連情報（マーク画像Ｍ）がある場合、初期状態のマップ３５上で原点マーカＳＰ１に対応する位置に原点マーカＳＰ２を設定し、連携手段５０による連携処理を行うことで、マップ３５上にマーク画像Ｍを表示できる。また、外部の装置などにおいて環境データ３６上で原点マーカＳＰに対応する位置に更に別の原点マーカＳＰを設定し、連携処理を行うことで、マーク画像Ｍが表示されたマップ３５に更に重ねて環境データ３６を表示（照合データを作成）することができる。
【０２４８】
また、内部仮想空間ＡＲＳの原点マーカＳＰ１と環境データ３６の原点マーカＳＰ２の連携処理を行うことで、情報管理装置１０のライブビュー映像ＬＶに重ねて環境データ３６を表示できる。また環境データ３６上（のみ）で対象関連情報が設定されている場合、情報管理装置１０のライブビュー映像ＬＶに重ねて、環境データ３６上の対象関連情報を表示でき、また更新ができる。
【０２４９】
図１３から図１６を参照して、連携処理について具体例を挙げて説明する。ここでは、或る情報管理装置１０の内部仮想空間ＡＲＳ１（仮想空間１）で設定した対象関連情報を、同じ情報管理装置１０の別の内部仮想空間ＡＲＳ２（仮想空間２）と連携し、内部仮想空間ＡＲＳ２において対象関連情報を再現（例えば、情報管理装置１０のライブビュー映像ＬＶと重ねて対象関連情報を表示）する場合を例示する。なお、以下の説明において対象関連情報は、マーク画像Ｍと関連付けされているものとする。つまりマーク画像Ｍの位置（座標）が対象関連情報の保持位置（座標）である。
【０２５０】
図１３および図１４は、仮想空間１における作業を説明する図であり、例えば、或る室内（現実環境Ｅ）において壁面の傷（対象ＯＢ）に対する作業を行なう場合を示す。両図においては、ユーザが例えば対象ＯＢが視認できる室内において情報管理装置１０を操作し、そのライブビュー映像ＬＶを介して認識できる仮想空間１において、対象ＯＢに対応してマーク画像Ｍを付与し、マーク画像Ｍに対象関連情報を関連付ける様子を概略的に示している。
【０２５１】
図１３（Ａ）を参照して、ユーザが作業対象の室内（現実環境Ｅ）で情報管理装置１０（情報管理プログラム２０）を起動すると、仮想作業空間生成操作（環境情報取得操作）に応じて、情報管理装置１０は撮像手段１５を起動し、ライブビュー映像ＬＶを撮像して表示手段１３に表示する。また、位置特定手段２３は自機の位置（上述した基準位置（初期位置））をリセットし、その時点における自機の位置（新たな基準位置（初期位置ＦＳ１）の取得を行う。そして、環境情報取得手段２９３は、当該初期位置ＦＳ１を初期の原点（０，０，０）として、ライブビュー映像ＬＶを介して認識される空間に対応する仮想三次元空間（内部仮想空間ＡＲＳ１（仮想空間１））を生成する。また、環境情報取得手段２９３は、内部仮想空間ＡＲＳ１における原点マーカＳＰ１の受付を待機する。
【０２５２】
次にユーザは同図（Ｂ）に示すように照合用基準点付与操作（原点マーカＳＰ１の設定操作）を行なう。より詳細には、内部仮想空間ＡＲＳ１における開始位置を特定するためにユーザはまず、ライブビュー映像ＬＶ上で、任意の点Ｐ１を指定する（点Ｐ１入力操作を行なう）。点Ｐ１は例えば、現実環境Ｅの特定し易い部位にすることが望ましく、例えばライブビュー映像ＬＶ上で視認可能な線分上の一点などがより望ましい。この例ではドアＤの左下端部を点Ｐ１として設定している。
【０２５３】
点Ｐ１入力操作に基づき、環境情報取得手段２９３は、ユーザによって指定された任意の点Ｐ１の位置を、原点（０，０，０）とし、内部仮想空間ＡＲＳ１を再生成する。
【０２５４】
なお、位置特定手段２３は、任意の点Ｐ１の位置が原点（０，０，０）に設定された場合においても起動時（初期位置）の情報を有しており、初期位置からの自機のトレースを行なうことができる。従って、マーク画像Ｍの位置（原点（０，０，０）からの相対位置）を特定することで、自機の位置からの現実空間における対象ＯＢの相対位置も把握可能である。
【０２５５】
図１４（Ａ）は図１３（Ｂ）に続く状態であり、ユーザによる点Ｐ２入力操作が行われた状態である。ユーザは内部仮想空間ＡＲＳ１の方向と大きさ（空間ベクトル）を特定するために、ライブビュー映像ＬＶ上で、任意の点Ｐ２を指定する点Ｐ２入力操作を行なう。点Ｐ２は例えば、現実環境Ｅの特定し易い部位にすることが望ましく、また例えばライブビュー映像ＬＶ上で点Ｐ１と同一線分であると視認可能な線分上の一点などがより望ましい。この例ではドアＤの右下端部を点Ｐ２として設定している。点Ｐ２の位置（ｘ１、ｙ１、ｚ１）は、点Ｐ１（０，０，０）からの相対位置である。
【０２５６】
点Ｐ２入力操作に基づき、環境情報取得手段２９３は、原点マーカＳＰ１を取得し、ライブビュー映像ＬＶ上に表示する。
【０２５７】
また、情報処理装置１０（例えば環境情報取得手段２９３）は、案内表示ＴＴを呼び出し可能に記憶するように構成してもよい。案内表示ＴＴは図１４（Ａ）に示すように、任意の原点マーカＳＰ１が現実環境Ｅのどの位置に対応して設定されたかを示す情報であり、例えば、原点マーカＳＰ１を表示している状態のライブビュー映像ＬＶの画面を撮影した画像（スクリーンショット、プリントスクリーン）である。案内表示ＴＴは例えば、原点マーカＳＰ１の決定操作（ボタン操作など）によって自動で撮影され、あるいはユーザのボタン操作などにより撮影され、記憶手段１４に記憶される。また、照合用基準点付与操作が行われる前には、記憶された案内表示ＴＴがある場合に自動で呼び出され、例えばライブビュー映像ＬＶ上に表示（例えばサムネイル表示など）される。これにより、例えば、仮想空間２においては原点マーカＳＰ２を付与する際に、表示されている案内表示ＴＴに基づき、現実環境Ｅにおける原点マーカＳＰ１と（略）同じ位置（対応する位置）に原点マーカＳＰ２を付与することができ、連携処理（照合処理）の精度を高めることができる。
【０２５８】
図１４（Ｂ）は、ユーザによるマーク付与位置決定操作が行なわた状態である。マーク付与手段２１は、ユーザによって指定された位置にマーク画像Ｍを表示し、位置特定手段２３はマーク画像Ｍの位置（座標（ｘ２、ｙ２、ｚ２））を取得・記憶する。マーク画像Ｍの位置（座標（ｘ２、ｙ２、ｚ２））は、対象関連情報と合わせて記憶手段１４に記憶されてもよいし、マーク画像Ｍの位置情報（座標）として別途、記憶手段１４に記憶されてもよい。
【０２５９】
マーク画像Ｍの位置は内部仮想空間ＡＲＳ１における原点（０，０，０）からの相対位置である。また、関連付け手段２５は、ユーザによる関連付け開始操作が行なわれた場合、対象関連情報を、マーク画像Ｍに対応付けて記憶手段１４に記憶する。すなわち、内部仮想空間ＡＲＳ１内の位置（座標）情報を有するマーク画像Ｍに対応するフォルダ内に対象関連情報が保持される。換言すると、内部仮想空間ＡＲＳ１において、当該内部仮想空間ＡＲＳ１内の位置（座標）情報を有する対象関連情報が登録される。
【０２６０】
そして例えば、仮想空間１における作業を行なったユーザとは別のユーザなどが、同じ現実環境Ｅの対象ＯＢに対して対象関連情報の参照や情報の更新を行なったり、あるいは同じ現実環境Ｅの別の対象ＯＢについて対象関連情報を新たに対応付けたりする場合、仮想空間１の対象関連情報を共有できる。
【０２６１】
図１５および図１６は、仮想空間２における対象関連情報の連携（共有）の様子を示す概要図であり、例えば、内部仮想空間ＡＲＳ１に対して作業を行なったユーザ（先のユーザ）とは別のユーザ（後のユーザ）が同じ現実環境Ｅの同じ対象ＯＢに対する作業を行なう場合を示している。なお先のユーザと後のユーザは同一人であっても良く、仮想空間１とは別の仮想空間２における処理であればよい。
【０２６２】
図１５（Ａ）を参照して、後のユーザが作業対象の室内（現実環境Ｅ）で情報管理装置１０（情報管理プログラム２０）を起動する。この情報管理装置１０は、例えば、先のユーザが使用したものと同一の装置（タブレット端末）である。
【０２６３】
情報管理プログラム２０が起動されると、仮想作業空間生成操作（環境情報取得操作）に応じて、情報管理装置１０は撮像手段１５を起動し、ライブビュー映像ＬＶを撮像して表示手段１３に表示する。また、位置特定手段２３は自機の位置（上述した基準位置（初期位置））をリセットし、その時点における自機の位置（新たな基準位置（初期位置ＦＳ２）の取得を行う。そして、環境情報取得手段２９３は、当該初期位置ＦＳ２を初期の原点（０，０，０）として、ライブビュー映像ＬＶを介して認識される空間に対応する仮想三次元空間（内部仮想空間ＡＲＳ２（仮想空間２））を生成する。また、環境情報取得手段２９３は、内部仮想空間ＡＲＳ２における原点マーカＳＰ２の受付を待機する。
【０２６４】
ここで、初期位置ＦＳ２は、後のユーザが情報管理装置１０を起動した位置であり、現実環境Ｅは同じであっても、先のユーザによる情報管理装置１０の起動の位置（図１３（Ａ）に示す初期位置ＦＳ１）と完全に一致していない場合が多い。その場合初期位置ＦＳ２を原点とする内部仮想空間ＡＲＳ２の座標も、内部仮想空間ＡＲＳ１の座標とは不一致となる。
【０２６５】
同図（Ｂ）に示すように後のユーザは、照合用基準点付与操作（原点マーカＳＰ２の設定操作）を行なう。より詳細には、内部仮想空間ＡＲＳ２における原点マーカＳＰ２の開始位置を特定するために後のユーザはまず、ライブビュー映像ＬＶ上で、任意の点Ｐ１を指定する（点Ｐ１入力操作を行なう）。
【０２６６】
このとき、情報処理装置１０（例えば環境情報取得手段２９３）は、記憶手段１４に記憶されている１または複数の案内表示ＴＴを呼び出し、例えばライブビュー映像ＬＶ上に表示（例えばサムネイル表示など）する。
【０２６７】
後のユーザは、案内表示ＴＴを参照して、仮想空間１で設定された原点マーカＳＰ１と同じ位置（対応する位置）に原点マーカＳＰ２が付されるよう、ライブビュー映像ＬＶ上の点Ｐ１を指定（タップ操作等）する。具体的には、案内表示ＴＴに基づき、ドアＤの左下端部を点Ｐ１として設定する。
【０２６８】
そしてこの点Ｐ１入力操作に基づき、環境情報取得手段２９３は、後のユーザによって指定された点Ｐ１の位置を原点（０，０，０）とし、内部仮想空間ＡＲＳ２を再生成する。すなわち、内部仮想空間ＡＲＳ２は、内部仮想空間ＡＲＳ１と原点（０，０，０）を一致させた状態で（現実環境Ｅにおける同じ位置を原点（０，０，０）として）、再生成される。
【０２６９】
図１６（Ａ）は、図１５（Ｂ）に続く状態である。引き続き後のユーザは案内表示ＴＴを参照して内部仮想空間ＡＲＳ１の原点マーカＳＰ１と同じ位置になるよう、点Ｐ２入力操作を行なう。これにより、点Ｐ２の位置が設定される（例えば、点Ｐ２はドアＤの右下端部に設定される）。点Ｐ２入力操作に基づき、環境情報取得手段２９３は、点Ｐ１と点Ｐ２で規定される線分を、原点マーカＳＰ２として取得し、原点マーカＳＰ２をライブビュー映像ＬＶ上に表示する。
【０２７０】
なお、例えば原点マーカＳＰ１，ＳＰ２を設定する際のユーザの位置や、ライブビュー映像ＬＶの画角が異なるなどして、原点マーカＳＰ１，ＳＰ２自体の表示態様（角度や長さなど）が異なっていても、原点マーカＳＰ１，ＳＰ２はそれぞれ仮想空間1、仮想空間２の空間ベクトルとして設定されており、仮想空間１と仮想空間２の原点（０，０，０）は一致しているため、対象関連情報の共有における影響は（略）ないといってよい。
【０２７１】
このように、案内表示ＴＴを参照して、仮想空間１における原点マーカＳＰ１と（略）同じ位置に仮想空間２の原点マーカＳＰ２を付与することができるので、連携処理（照合処理）の精度を高めることができる。
【０２７２】
後のユーザによって原点マーカＳＰ２が設定され、照合操作（例えば、原点マーカＳＰ２の確定操作または照合開始指示操作、例えば、不図示の照合用ボタンの操作など）が行なわれると、連携手段５０（照合手段２９２）は、情報管理装置１０の記憶手段１４に記憶されている（先のユーザが記憶した）マーク画像Ｍおよび対象関連情報を呼び出し、内部仮想空間ＡＲＳ２内における座標（ｘ２、ｙ２、ｚ２）の位置（原点マーカＳＰ２の点Ｐ１からの相対位置）に、既に記憶されているマーク画像Ｍを表示する。つまり、原点マーカＳＰ２の位置を原点マーカＳＰ１であるとして（原点マーカＳＰ１と照合して）、そこからの相対位置（座標）にマーク画像Ｍを表示する。
【０２７３】
このようにすることで、ユーザや作業の日時が異なる場合であっても、同一の対象ＯＢに対して対象関連情報の共有が可能となる。つまり対象ＯＢに対する作業の進捗や状態等の変化を対象関連情報として随時更新した場合であっても、情報の一元化が可能となる。
【０２７４】
なお、例えば内部仮想空間ＡＲＳ１に複数のマーク画像Ｍ（および対象関連情報）が付与されている場合、付与されている（記憶されている、）全てのマーク画像Ｍ（および対象関連情報）を表示する。従って、一部のマーク画像Ｍのみを抽出して（選択的に）表示したい場合（例えば、現実環境Ｅの一部のみに対して付与されるマーク画像Ｍを選択的に表示したい場合）には、表示するマーク画像Ｍをユーザに選択可能に構成するとよい。具体的には例えば、マーク画像Ｍをグループ化して記憶手段１４に記憶し、また表示の際にはマーク画像Ｍを選択的に（例えばグループ化した状態などで）で適宜の記憶領域（記憶手段１４の一部）に準備（格納）できる構成などにしておくとよい。
【０２７５】
より具体的には、例えば異なる建物での作業や、異なる階（フロア)での作業など、作業対象となる現実環境Ｅが複数存在する場合には、現実環境Ｅ、あるいは現実環境Ｅ内のさらに所定の領域（以下、作業対象領域）毎に、対応するデータユニット（マーク画像Ｍおよび対象関連情報）をグループ分けした状態で記憶可能にするとよい。この場合例えば情報管理プログラム２０の起動時に作業対象領域のグループ（作業対象領域グループ）を設定（指定）可能とし、以降のデータユニットの記憶は設定されている当該作業対象グループに行なうようにしてもよいし、後から作業対象領域グループ内のデータユニットの更新（追加・削除・移動等）が行なえるようにしてもよい。
【０２７６】
作業対象領域グループ毎にデータユニットを記憶する構成の場合、情報管理装置１０（の例えば連携手段５０）は、連携処理の開始時などに作業対象領域グループを選択可能に表示する。ユーザが所定の作業対象領域を選択すると、例えば連携手段５０は、当該作業対象領域グループに含まれるデータユニットの全てを、生成された仮想空間に再現可能なデータとして（所定の記憶領域に）準備する。そしてユーザによって原点マーカＳＰが付与された場合、マーク画像Ｍのそれぞれが有する（仮想空間内の）座標に基づき、原点マーカＳＰの原点（点Ｐ１）からの相対位置として仮想空間内にマーク画像Ｍおよび対象関連情報を表示する。
【０２７７】
＜連携の一例＞
図１７および図１８を参照して、異なる仮想空間１，２における連携の一例を示す。図１７（Ａ）〜同図（Ｄ）は、一例として、或る情報管理装置１０Ａの内部仮想空間ＡＲＳ１（仮想空間１）と、別の情報管理装置１０Ｂの内部仮想空間ＡＲＳ２（仮想空間２）で対象関連情報を共有する例である。マーク識別番号ＭＩＤをキーにした情報群（データユニット）は、複数の装置の間で送受信可能であるので、情報管理装置１０Ａに記憶されるデータユニットを例えば通信手段や連携手段５０を介して別の情報管理装置１０Ｂが取得すれば、情報管理装置１０Ｂにおいてデータユニットを出力できる。この例では、情報管理装置１０Ａのライブビュー映像ＬＶ上で登録したマーク画像Ｍを、別の情報管理装置１０Ｂのライブビュー映像ＬＶ上に表示している場合を示している。なお、マーク画像Ｍには対象関連情報が対応付けられている（マーク画像Ｍのフォルダに対応関連情報が格納されている）ものとする（以下の説明において同様）。
【０２７８】
同図（Ａ）に示すように、或る現実環境Ｅ（例えば、建物Ａ，Ｎ階，Ｘ号室）において情報管理装置１０Ａを操作するユーザは、ライブビュー映像ＬＶ（内部仮想空間ＡＲＳ１）上で原点マーカＳＰ１を設定し、所定の位置（座標（ｘ１、ｙ１、ｚ１）、座標（ｘ２、ｙ２、ｚ２））にそれぞれマーク画像Ｍ１、Ｍ２を付与する。マーク画像Ｍ１、Ｍ２のそれぞれの座標（ｘ１、ｙ１、ｚ１）、座標（ｘ２、ｙ２、ｚ２）は内部仮想空間ＡＲＳ１の原点（０，０，０）を基準とした相対位置である。
【０２７９】
またこの例では、同図（Ｂ）に示すように情報管理装置１０Ａにおいて、複数の作業対象領域１〜３について複数のマーク画像Ｍが付与されている。このような場合、対象外のマーク画像Ｍの表示を避けるため、作業対象領域毎にマーク画像Ｍをグループ分けして記憶手段１４に記憶できる。同図（Ａ）ではユーザはマーク画像Ｍ１，Ｍ２を作業対象領域１グループに保存している。また作業対象領域２グループにはマーク画像Ｍ３，Ｍ４が保存されている。更にデータユニットの送受信では、作業対象領域グループの情報も合わせて送受信可能である。
【０２８０】
同図（Ｃ）に示すように、同じ現実環境Ｅ（例えば、建物Ａ，Ｎ階，Ｘ号室）において情報管理装置１０Ｂを操作するユーザは、まず、該当する作業対象領域グループを選択する。情報管理装置１０Ｂは、情報管理プログラム２０の起動時に選択可能な作業対象領域グループ１〜３を表示し、ユーザに選択させる。ユーザは作業対象領域１グループを選択する。これにより情報管理装置１０Ｂ（連携手段５０）は、作業対象領域１グループに含まれるマーク画像Ｍ１，Ｍ２を、共有するデータとして（所定の記憶領域に）準備する。
【０２８１】
ユーザはライブビュー映像ＬＶ（内部仮想空間ＡＲＳ２）上で原点マーカＳＰ２を設定する。ここで、原点マーカＳＰ２は、現実環境Ｅ（作業対象領域１）における原点マーカＳＰ１と同じ（対応する）位置（この例ではドアＤの左下端）に設定する。連携手段５０は、原点マーカＳＰ１と原点マーカＳＰ２を照合し、共有するデータとして準備されている全てのマーク画像Ｍ（ここではマーク画像Ｍ１，Ｍ２）の位置を特定する。
【０２８２】
同図（Ｄ）に示すように、連携手段５０は、マーク画像Ｍ１、Ｍ２のぞれぞれの位置（座標（ｘ１、ｙ１、ｚ１）、座標（ｘ２、ｙ２、ｚ２））の原点が原点マーカＳＰ２の原点（点Ｐ１）にあるとして、内部仮想空間ＡＲＳ２内の座標（ｘ１、ｙ１、ｚ１）、座標（ｘ２、ｙ２、ｚ２）の位置に、マーク画像Ｍ１、Ｍ２を表示する。
【０２８３】
この結果、情報管理装置１０Ｂのライブビュー映像ＬＶ上（この例ではドアＤの左下端）に重ねてマーク画像Ｍ１、Ｍ２が表示され、保持される対象関連情報の更新等が可能となる。例えば、情報管理装置１０Ｂ側で、新たにマーク画像Ｍを追加することも可能であり、上述の連携手段５０の処理によって情報管理装置１０Ａ側のライブビュー映像ＬＶに重ねて追加したマーク画像Ｍを表示することができる。
【０２８４】
マーク画像Ｍに保持される（関連付けられる）対象関連情報は例えば、マーク画像Ｍに対する操作（例えば、タップ、クリックなど）によって表示可能であり、また、当該対象関連情報の追加・削除・変更等が可能である（以下の実施例において同様）。
【０２８５】
図１７（Ｅ）〜同図（Ｇ）は、一例として、或る情報管理装置１０の内部仮想空間ＡＲＳ１（仮想空間１）と、（例えば同じ）情報管理装置１０のマップ３５（仮想空間２）で対象関連情報を共有する例である。
【０２８６】
この例では、情報管理装置１０のライブビュー映像ＬＶ上で登録したマーク画像Ｍ１、Ｍ２を、マップ３５上に表示している場合を示している。
【０２８７】
同図（Ｅ）に示すように、情報管理装置１０を操作するユーザは、ライブビュー映像ＬＶ（内部仮想空間ＡＲＳ１）上で原点マーカＳＰ１を設定し、所定の位置（座標（ｘ１、ｙ１、ｚ１）、座標（ｘ２、ｙ２、ｚ２））にそれぞれマーク画像Ｍ１、Ｍ２を付与する。それぞれのマーク画像Ｍ１，Ｍ２の座標（ｘ１、ｙ１、ｚ１）、座標（ｘ２、ｙ２、ｚ２）は内部仮想空間ＡＲＳ１の原点（０，０，０）を基準とした相対位置である。
【０２８８】
マップ３５の表示を行う場合、ユーザは、同図（Ｆ）に示すようにマップ３５（仮想空間２）上で原点マーカＳＰ２を設定する。ここで、原点マーカＳＰ２は、現実環境Ｅにおける原点マーカＳＰ１と同じ（対応する）位置（この例では室内奥側の床Ｆの端部）に設定する。
【０２８９】
同図（Ｇ）に示すように、連携手段５０は、原点マーカＳＰ１と原点マーカＳＰ２を照合し、マーク画像Ｍ１，Ｍ２の位置（座標（ｘ１、ｙ１、ｚ１）、座標（ｘ２、ｙ２、ｚ２））の原点が原点マーカＳＰ２にあるとして、マップ３５の座標（ｘ、ｙ）の位置に、マーク画像Ｍを表示する。この結果、マップ３５上にマーク画像Ｍ１，Ｍ２が表示され、保持される対象関連情報の更新等が可能となる。
【０２９０】
例えば、マップ３５側で、新たにマーク画像Ｍを追加することも可能であり、上述の連携手段５０の処理によって情報管理装置１０Ａ側のライブビュー映像ＬＶに重ねて追加したマーク画像Ｍを表示することができる。また、例えばマップ３５（２次元の仮想空間２）側で追加したマーク画像Ｍをライブビュー映像ＬＶに重ねて内部仮想空間ＡＲＳ（３時限の仮想空間２）で表示する場合、マップ３５のマーク画像Ｍの次元が不足（例えば、ｚ座標が不足）する。このような場合、連携手段５０は、不足する座標を（例えば固定値または変数で）付与する。例えば、マップ３５上でマーク画像Ｍを付与した際にはその座標は（ｘ３、ｙ３）であるが、連携手段５０はｚ座標を追加し、マーク画像Ｍの座標を例えば、（ｘ３、ｙ３、１００）などとして記憶手段１４に記憶する。また、不足する次元の座標はユーザが変更可能としてもよい。内部仮想空間ＡＲＳ（ライブビュー映像ＬＶ上）では、ｚ座標追加後の３次元座標に基づき、マーク画像Ｍが表示される。
【０２９１】
図１８（Ａ）〜同図（Ｃ）は、一例として、情報管理装置１０の内部仮想空間ＡＲＳ（仮想空間１）と、別の装置（例えば、図１０に示す端末装置２５０）におけるシステム（例えば、ＢＩＭ（仮想空間２））で扱う環境データ（ＢＩＭデータ）３６で対象関連情報を共有する例である。マーク識別番号ＭＩＤをキーにした情報群（データユニット）は、複数の装置の間で送受信可能であるので、例えば通信手段や連携手段５０を介して情報管理装置１０に記憶されるデータユニットを端末装置２５０が取得すれば、端末装置２５０においてデータユニットを出力できる。
【０２９２】
この例では、情報管理装置１０のライブビュー映像ＬＶ上で登録したマーク画像Ｍを、端末装置２５０（のＢＩＭ等のシステム）で扱う環境データ３６上に表示している場合を示している。
【０２９３】
同図（Ａ）に示すように、情報管理装置１０を操作するユーザは、ライブビュー映像ＬＶ（内部仮想空間ＡＲＳ）上で原点マーカＳＰ１を設定し、所定の位置（座標（ｘ、ｙ、ｚ））にマーク画像Ｍを付与する。マーク画像Ｍの座標（ｘ、ｙ、ｚ）は内部仮想空間ＡＲＳ１の原点（０，０，０）を基準とした相対位置である。
【０２９４】
一方、同図（Ｂ）に示すように端末装置２５０を操作するユーザは、例えばＢＩＭなどのシステム上で環境データ３６に原点マーカＳＰ２を設定する。ここで、原点マーカＳＰ２は、現実環境Ｅにおける原点マーカＳＰ１と同じ（対応する）位置（この例では窓Ｗのの左下端）に設定する。
【０２９５】
同図（Ｃ）に示すように、連携手段５０は、原点マーカＳＰ１と原点マーカＳＰ２を照合し、マーク画像Ｍの位置（座標（ｘ、ｙ、ｚ））の原点が原点マーカＳＰ２にあるとして、環境データ３６内の座標（ｘ、ｙ、ｚ）の位置に、マーク画像Ｍを表示する。この結果、環境データ３６上（この例では窓Ｗの左下端）に重ねてマーク画像Ｍが表示され、保持される対象関連情報の更新等が可能となる。例えば、情報管理装置１０Ｂ側で、新たにマーク画像Ｍを追加することも可能であり、上述の連携手段５０の処理によって情報管理装置１０Ａ側のライブビュー映像ＬＶに重ねて追加したマーク画像Ｍを表示することができる。
【０２９６】
図１８（Ｄ）〜同図（Ｆ）は、一例として、端末装置２５０におけるシステム（例えば、ＢＩＭ（仮想空間１））で扱う環境データ（ＢＩＭデータ）３６と、情報管理装置１０のマップ３５（仮想空間１）で対象関連情報を共有する例である。
【０２９７】
この例では、端末装置２５０のシステム（例えば、ＢＩＭ）上で生成した環境データ３６（例えば、ＣＡＤデータなど）にマーク画像Ｍを新たに登録し、それを情報管理装置１０のマップ３５上に表示している場合を示している。
【０２９８】
同図（Ｄ）に示すように、端末装置２５０のシステムを操作するユーザは、当該システム上で環境データ（例えば、点群データなど）３６上で原点マーカＳＰ１を設定し、所定の位置（座標（ｘ１、ｙ１、ｚ１）、座標（ｘ２、ｙ２、ｚ２））にそれぞれマーク画像Ｍ１、Ｍ２を付与する。マーク画像Ｍ１、Ｍ２の座標（ｘ１、ｙ１、ｚ１）、座標（ｘ２、ｙ２、ｚ２）はそれぞれ環境データ３６に設定した原点マーカＳＰ１の原点（０，０，０）を基準とした相対位置である。
【０２９９】
一方、同図（Ｅ）に示すように情報管理装置１０を操作するユーザは、例えばマップ３５上で原点マーカＳＰ２を設定する。ここで、原点マーカＳＰ２は、現実環境Ｅにおける原点マーカＳＰ１と同じ（対応する）位置（この例では壁面ＷＬの左下端）に設定する。
【０３００】
同図（Ｆ）に示すように、連携手段５０は、原点マーカＳＰ１と原点マーカＳＰ２を照合し、マーク画像Ｍ１、Ｍ２の位置（座標（ｘ１、ｙ１、ｚ１）、座標（ｘ２、ｙ２、ｚ２））の原点が原点マーカＳＰ２にあるとして、マップ３５内の座標（ｘ１、ｙ１、ｚ１）、座標（ｘ２、ｙ２、ｚ２）の位置に、マーク画像Ｍ１、Ｍ２を表示する。この結果、マップ３５上（この例では壁面ＷＬ左下端）に重ねてマーク画像Ｍ１、Ｍ２が表示され、保持される対象関連情報の更新等が可能となる。このように、他の装置（例えば、端末装置２５０）などのシステム（例えば、ＢＩＭ、ＣＩＭなど）で新たに設定したマーク画像Ｍ（対象関連情報）を情報管理装置１０の仮想空間１（マップ３５上やライブビュー映像ＬＶ上）に表示することもできる。
【０３０１】
なお、原点マーカＳＰは、ユーザの操作で設定するものに限らず、点群データや現実環境Ｅの「特徴的な点」（環境データ３６の一部）を原点マーカＳＰとしてもよい。例えば、環境データ３６において、位置を特定可能なドアや窓などに対応する点群データやこれらに対応する「特徴的な点」を原点マーカＳＰとする。そして、マーク画像Ｍが設定された環境データ３６を情報管理装置１０に読み込んで、ライブビュー映像ＬＶで表示しながら原点マーカＳＰと照合する（形状の一致を検出する）。原点マーカＳＰ（例えば、ドアに対応する点群データ）と一致する形状が検出された場合、マーク画像Ｍをライブビュー映像ＬＶ上に表示する。
【０３０２】
図１９は、情報管理装置１０のライブビュー映像ＬＶにおける表示の他の例を示す概要図であり、同図（Ａ）が現実環境Ｅの概要図、同図（Ｂ）、同図（Ｃ）がライブビュー映像ＬＶにおける表示の概要図、同図（Ｄ）が環境データ３６を示す概要図、同図（Ｅ）がライブビュー映像ＬＶにおける表示の概要図である。
【０３０３】
情報管理装置１０のライブビュー映像ＬＶの画角には限界があるため、作業対象領域グループの複数のマーク画像Ｍの全てが表示しきれない場合がある。具体的には、図１９（Ａ）に示すように、現実環境Ｅ（作業対象領域）に対象ＯＢ１〜ＯＢ３があり、それぞれにマーク画像Ｍ１〜Ｍ３が付与されているとする。作業対象領域が広い場合、同図（Ｂ）に示すように情報管理装置１０のライブビュー映像ＬＶのある画角ではマーク画像Ｍ１のみが表示され、マーク画像Ｍ２，Ｍ３が画角内に収まらない場合がある。このような場合、例えばマーク画像Ｍの存在を示唆する手段（例えば、表示リストガイドＤＧ）などを設けるとよい。表示リストガイドＤＧの一例としては同図（Ｂ）に示すように、非表示になっているマーク画像Ｍの位置を示すマーク（同図では矢印）であってもよいし、同図（Ｃ）に示すように非表示になっているマーク画像Ｍのリスト（リスト表示位置によってマーク画像Ｍの位置も示唆されると望ましい）などである。
【０３０４】
また、同図（Ｄ）、同図（Ｅ）は環境データ３６（仮想空間１）上において設定されたマーク画像Ｍ（同図（Ｄ））を、情報管理装置１０のライブビュー映像ＬＶ（仮想空間２、同図（Ｅ））に連携させる一例を示している。上述のように、原点マーカＳＰは線分のマーカに変えて、点群データなどの「特徴的な点」であってもよい。この例では例えば、同図（Ｄ）に破線で示すように、環境データ３６上の壁ＷＬを原点マーカＳＰにしている。
【０３０５】
連携手段５０は、仮想空間２において原点マーカＳＰ（点群データの「特徴的な点」）の照合を行なう。具体的には、点群データと一致する形状を検出する。そして原点マーカＳＰ（この場合、壁ＷＬ）の照合（ライブビュー映像ＬＶ上での壁ＷＬの検出）ができた場合、マーク画像Ｍ１をライブビュー映像ＬＶ上に表示する。このとき、原点マーカＳＰからの相対位置として表示されるマーク画像Ｍ１の位置（同図（Ｅ）に一点鎖線で示す）がライブビュー映像ＬＶの画角に収まっていない場合には、例えば原点マーカＳＰである壁ＷＬの、点群データとしての原点Ｘなどに、マーク画像Ｍ１を表示するようにしてもよい。
【０３０６】
なお、或る仮想空間１において新規で追加されたマーク画像Ｍを別の仮想空間２で表示する場合、マーク画像Ｍの表示態様を変化させて（例えば、点滅表示など行い）、新規に追加されたマーク画像Ｍであることなどを示唆するように構成してもよい。
【０３０７】
また、連携手段５０は、連携処理において、必要に応じて仮想空間の（座標系の）縮尺や回転を行なってもよい。
【０３０８】
また、原点マーカＳＰは、仮想空間の始点（原点）と、向きおよびサイズの３つを特定する手段であればよい。従って、上述の原点マーカＳＰに替えて、画像（例えば、物理マーカ、２次元バーコード、写真など）を原点マーカＳＰとしてもよい。この場合例えば、原点マーカＳＰは、原点、向きおよびサイズを１つの画像で規定する（１ｍ四方の原点マーカＳＰを幅１ｍの扉の前に設定するなど）ものであってもよい。また、原点マーカＳＰは、原点と向きを１つの画像で指定し、サイズを点で指定するものであってもよいし、ユーザに指定される任意の点Ｐ１と点Ｐ２とをそれぞれ画像に置き換えたものであってもよい。
【０３０９】
以上説明したように、本実施形態によれば、ある空間内に存在する対象ＯＢについて周辺環境も含めた広角の映像（ライブビュー映像ＬＶ）を表示した場合に、その空間内に存在する対象ＯＢの位置をマーク画像Ｍで表示することができ、空間内の対象ＯＢの位置を自動的に記憶することができる。
【０３１０】
また、ユーザはライブビュー映像ＬＶを見ながら、対象ＯＢの位置をタッチ（タップ等）操作するのみで、対象ＯＢに対応するマーク画像Ｍを付与することができる。また、マーク画像Ｍを選択することにより当該マーク画像Ｍに紐付け可能なデータが一覧で表示されるため、現場にいながら、視覚的な操作で容易にマーク画像Ｍ（対象ＯＢ）に対象関連情報（位置情報（基準位置からの相対位置）や形状などの情報も含む）を付与することができる。
【０３１１】
また、対象ＯＢの対象位置情報とともに、対象ＯＢの「特徴的な点」から対象ＯＢの属性（「机」、「椅子」など）を対象関連情報として関連付けることにより、マーク画像Ｍは、他の情報管理装置１０であっても、時間や日付が異なっても、同じ空間に赴いて情報管理プログラム２０を実行させることで同じデータとして表示手段１３に表示させることができる。
【０３１２】
従来の技術では、例えば対象ＯＢが壁の傷のような場合、傷ＯＢの状態を示す接写写真は、枚数が多くなったり撮影から時間が経過してしまうと、撮影者であってもどこで撮った写真であるか、不明になりがちである。また、場所の特定や、現場の状況を第三者にも伝えるためには、傷ＯＢの接写から、後退しつつ、周辺環境も含めた広い画角の写真を段階的に撮影するなど、俯瞰的な情報と詳細な情報の両方が必要となる。しかしながらそれらは後に手作業で紐づけ（関連づける）必要があり、枚数が膨大になることから整理には時間が係り、混乱を招いて煩雑となる。
【０３１３】
また、これらを手作業で整理するには、フォルダ分けや図面への書き込みなど複数種類に渡ったドキュメントを残す必要があり、大変煩わしく、作業時間も係る問題もあった。
【０３１４】
また、建築・建設現場や設備管理における点検・メンテナンスの現場等では、対象ＯＢそのものの情報だけでなく、工事や作業に関係する、あるいは直接関係のない周辺環境情報なども残す必要があり、また保存の方法も、画像データや文書データなど多様なデータ形式で柔軟性の高めた方法が望まれていた。
【０３１５】
本実施形態によれば、対象ＯＢを含む空間のライブビュー映像ＬＶを視認しながら、対象ＯＢの位置をタッチ操作（タップ等）することで、リアルタイムで、ライブビュー映像ＬＶに重ねてマーク画像Ｍを表示させることができる。また、同じ情報管理プログラム２０がインストールされた装置（情報管理装置１０）であれば、別の装置であっても同じ空間でライブビュー映像ＬＶを表示させた場合に、マーク画像Ｍが再現される。
【０３１６】
また、マーク画像Ｍはライブビュー映像ＶＬをタッチ操作するのみでその空間における位置関係を自動で取得し、記憶する。
【０３１７】
このように或る空間における対象ＯＢについて、視覚的な操作で容易にマーク画像Ｍを付与し、また当該対象ＯＢ（マーク画像Ｍ）の情報を複数のユーザ（複数の情報管理装置１０）の間で共有することができる。
【０３１８】
さらに、マーク画像Ｍを直接的に操作（タッチ、タップ等）することで、当該マーク画像Ｍに関連する情報（対象関連情報）を容易に紐付けることができる。つまり現場等でマーク画像Ｍと対象関連情報の関連付けを相当程度進めることが可能となる。あるいは、マーク画像Ｍの空間における位置関係を、俯瞰的にマップ３５で表示しつつ、個々のマーク画像Ｍに対して対象関連情報を関連付けることができるので、現場を離れた後であっても、情報の紐付け、整理を容易に行なうことができ、作業負担を大幅に軽減させることができる。
【０３１９】
また、対象ＯＢに関連する情報（対象関連情報）は、パッケージデータとして対象ＯＢ毎に管理（送受信、ダウンロード等）が可能であるため、複数人でのデータ共有が行ない易くなる。さらに、パッケージデータとして文書等に埋め込むことが出来るので、報告書、見積書や発注書などの書類作成の効率が向上し、誤った写真を付するなどの書類作成ミス等も回避することができる。
【０３２０】
更にまた、仮想空間が異なる場合においても、対処関連情報を共有可能となる。具体的には、例えば情報管理装置１０（情報管理プログラム２０）においてライブビュー映像ＬＶ上で登録した対象関連情報（画像やメモなど）を、連携手段５０によって例えば外部のＢＩＭ（Building  Information  Modeling）やＣＩＭ（Construction  Information  Modeling）等で用いられるデータ（ＣＡＤデータや点群データなど）上で再現（共有、参照）し、又は外部のＢＩＭ／ＣＩＭ等で登録された対象関連情報を情報管理装置１０において再現（共有、参照）することができる。
【０３２１】
つまり、建設現場や工事現場などの現実空間において実行される情報管理装置１０のＡＲ空間上と、遠隔の事務所内のＢＩＭ／ＣＩＭ等のデータ上などにおいて双方向に対象関連情報を共有することが可能となり、ファシリティマネジメント（Facility  Management）に大きく寄与できる。
【０３２２】
以上説明した、情報管理装置１０および情報管理システム１００を構成する各装置（ハードウェア）の一部または全てを、当該装置（ハードウェア）と同等の機能を実現するソフトウェアに置き換えてもよい。
【０３２３】
尚、本発明の情報管理装置、情報管理システム、情報管理方法および情報管理プログラムは、上記の例に限らない。
【０３２４】
例えば、上記の実施形態では、対象ＯＢが複数ある場合、それらの位置は、例えば、同じフロアの同じ部屋内に存在する場合を例に説明したが、これに限らない。例えば、複数の対象ＯＢは、フロアの異なる部屋や、異なるフロアに存在する部屋に分散しているものであってもよい。
【０３２５】
また、例えば、複数の対象ＯＢ１、ＯＢ２について、関連性（例えば、親−子の関係）が生じるように関連付けを行なってもよい。具体的には、位置特定手段２３によってマーク画像Ｍの位置を特定するため、複数の対象ＯＢ１、ＯＢ２について、マーク画像Ｍ１，Ｍ２がそれぞれ画角に収まるように広角撮影をするのであるが、マーク画像Ｍ２の広角撮影時に、マーク画像Ｍ１がその画角に収まるように撮影（対象ＯＢ１，ＯＢ２の位置を特定）する。これにより、マーク画像Ｍ１とマーク画像Ｍ２に関連性を持たせるようにしてもよい。例えばこの場合、マーク画像Ｍ１およびそれに紐付けられた対象関連情報が子のデータであり、これを含むように撮影された（位置が特定された）マーク画像Ｍ２およびそれに紐付けられた対象関連情報が親のデータであるように関連付けてもよい。マーク画像Ｍの数やそれらの対象関連情報の量が膨大になるような場合には、それぞれのマーク画像Ｍの親子関係を記録することで、効率よくデータの管理を行なうことができる。
【０３２６】
また、対象ＯＢは、物体形状認識手段によって認識・特定してもよい。
【０３２７】
また、マーク画像Ｍの選択、変更が可能であってもよい。例えば、関連付けられている対象関連情報の属性に応じてマーク画像Ｍの種類が異なるように構成されていてもよい。
【０３２８】
また、照合手段２９２は例えば、３次元画像として表示されているマップ３５の一部に２次元画像の環境データ３６を照合するものであってもよい。例えば、室内の対象ＯＢに対して作成されたマップ３５の床面部分に重畳させて、当該室内の設計図面等の２次元画像を重ねて照合データ３７を作成してもよい。
【０３２９】
また、上記の実施形態では、情報管理装置１０がタブレット端末型の装置である場合を例に説明したが、これに限らず、例えば、ワイヤレスで頭部に装着するヘッドマウントディスプレイ型（あるいは眼鏡型）の装置（眼鏡型のＡＲグラスや、複合現実（ＭＲ）プラットフォーム用デバイス（例えば、ホログラフィックコンピューティングを実現するヘッドマウントディスプレイ型デバイス）など）であってもよい。
【０３３０】
また、上記の実施形態における端末移動情報は、初期位置からの情報管理装置１０の相対的な位置情報として説明したが、これに加えて例えば、モーショントラッキングなどを利用して端末の移動経過情報（移動ログ、行動ログ）を合わせて記憶手段１４に記憶し、また再現可能に構成してもよい。例えば、設備の点検やメンテナンスの現場において、当該情報管理装置１０を使用する場合などに行動ログを再生することにより、前任者あるいは熟練者の点検・メンテナンスの実行順序をトレース・検証することができ、後の作業の効率化が図れる。
【０３３１】
また、本発明の情報管理装置、情報管理システム、情報管理方法および情報管理プログラムは、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【産業上の利用可能性】
【０３３２】
本発明の情報管理装置、情報管理システム、情報管理方法および情報管理プログラムは、建実在する空間に存在する対象に対して情報を付与してデータとして記憶する技術に利用できる。
【符号の説明】
【０３３３】
１０    情報管理装置
１１    制御手段
１２    入力手段
１３    表示手段（ディスプレイ）
１４    記憶手段
１５    撮像手段
１６    情報通信手段
１７    状態取得手段
１８    音声入力手段（マイク）
１９    スピーカ
２０    情報管理手段（情報管理プログラム）
２１    マーク付与手段
２２    文書作成手段
２３    位置特定手段
２５    関連付け手段
２７    仮想視覚処理手段（仮想視聴覚処理手段）、ＡＲ処理手段
２９    全体視表示手段
３０    関連情報データベース
３５    マップ
５０    連携手段
２５０    端末装置
ＡＲＳ    内部仮想空間
Ｅ    現実環境
ＴＴ    案内表示
１００    情報管理システム
１０１    タブレット端末
１１０    ネットワーク
１２１    物理ボタン
１２２    マーク付与操作ボタン
１２３    撮影ボタン
１２６    操作ボタン
１３１    物理ボタン
１５１    レンズ
１５３    撮像素子
１５５    画像処理プロセッサ
２１０    ネットワーク
２２０    サーバ装置
２２１，２３１    記憶手段
２３０    クラウドサーバ装置
２９１    マッピング手段
２９２    照合手段
２９３    環境情報取得手段
【図１】
2020098568.tif 000003
【図２】
2020098568.tif 000004
【図３】
2020098568.tif 000005
【図４】
2020098568.tif 000006
【図５】
2020098568.tif 000007
【図６】
2020098568.tif 000008
【図７】
2020098568.tif 000009
【図８】
2020098568.tif 000010
【図９】
2020098568.tif 000011
【図１０】
2020098568.tif 000012
【図１１】
2020098568.tif 000013
【図１２】
2020098568.tif 000014
【図１３】
2020098568.tif 000015
【図１４】
2020098568.tif 000016
【図１５】
2020098568.tif 000017
【図１６】
2020098568.tif 000018
【図１７】
2020098568.tif 000019
【図１８】
2020098568.tif 000020
【図１９】
2020098568.tif 000021