(57)【要約】【課題】施工中の建物内において、携帯撮像端末においてＡＲマーカを用いることなく、撮像画像と仮想画像とを合成し、正確な竣工イメージを表示する合成画像表示システムを提供する。【解決手段】本発明の合成画像表示システムは、携帯撮像端末とデータサーバとから構成され、データサーバには、竣工中の建物の３次元のコンピュータグラフィック画像が予め書き込まれて記憶され、携帯撮像端末が建物内の画像を撮像し、撮像画像として出力する撮像部と、撮像画像を表示する表示部と、撮像画像と、コンピュータグラフィック画像における当該撮像画像を撮像した同一の位置及び撮像方向の仮想画像とにおいて、同一の特徴点の座標位置を比較する位置制御部と、前記特徴点の座標位置の比較結果により、特徴点の座標位置が重なり合う座標変換を行い、撮像画像に仮想画像を重ね合わせて表示部に表示する画像処理部とを備える。【選択図】図１
2014002645.tif 000002
【特許請求の範囲】
【請求項１】
携帯撮像端末とデータサーバとから構成される合成画像表示システムであり、
前記データサーバには、施工中の建物の３次元のコンピュータグラフィック画像が予め書き込まれて記憶されており、
前記携帯撮像端末が、
前記建物内の画像を撮像し、撮像画像として出力する撮像部と、
前記撮像画像を表示する表示部と、
前記撮像画像と、前記コンピュータグラフィック画像における前記撮像画像を撮像した位置及び撮像方向に対応して撮像した仮想画像とにおいて、同一の特徴点の座標位置を比較する位置制御部と、
前記特徴点の座標位置の比較結果により、前記特徴点の座標位置が重なり合う座標変換を行うことにより、前記撮像画像に対して前記仮想画像を重ね合わせて前記表示部に表示する画像処理部と
を備えることを特徴とする合成画像表示システム。
【請求項２】
前記コンピュータグラフィック画像が、
前記建物内に竣工後に配置される什器や設備配管などをオフジェクト画像とし、当該建物のコンピュータグラフィック画像に付加された画像である
ことを特徴とする請求項１に記載の前記合成画像表示システム。
【請求項３】
前記位置制御部が、
前記建物内の前記携帯撮像端末の位置及び撮像方向を、前記コンピュータグラフィック画像の３次元空間の座標に対応させる
ことを特徴とする請求項１または請求項２に記載の前記合成画像表示システム。
【請求項４】
携帯撮像端末の撮像した画像と、データサーバに記憶されたコンピュータグラフィック画像とを合成する合成画像表示方法であり、
前記データサーバには、施工中の建物の３次元のコンピュータグラフィック画像が予め書き込まれて記憶されており、
前記携帯撮像端末が、
前記建物内の画像を撮像し、撮像画像として出力する撮像過程と、前記撮像画像を表示部に表示する表示過程と、
前記撮像画像と、前記コンピュータグラフィック画像における前記撮像画像を撮像した位置及び撮像方向に対応して撮像した仮想画像とにおいて、同一の特徴点の座標位置を比較する位置制御過程と、
前記特徴点の座標位置の比較結果により、前記特徴点の座標位置が重なり合う座標変換を行うことにより、前記撮像画像に対して前記仮想画像を重ね合わせて前記表示部に表示する画像処理過程と
を含むことを特徴とする合成画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）技術を用いたＢＩＭ（Ｂｕｉｌｄｉｎｇ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｍｏｄｅｌｉｎｇ）データと現実画像とを合成して表示する合成画像表示システム及びその方法に関する。
【背景技術】
【０００２】
建築物及びその外構をＣＧ画像により静止画又は動画として表示し、実際に前記建築物の内部又は外部を歩き回って観察しているのと同様のウォークスルーを行う画像表示技術がある（例えば、特許文献１参照）。
現在、上述したＣＧ画像データを拡張したＢＩＭデータを用い、施工中の現場の完成後の状態を確認する処理が行われている。この際、ユーザが端末内で自身のいる位置を入力し、施工中の現場の画像に対して、ＢＩＭデータの画像とを重ね合わせて表示端末に表示させることが行われている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−１０６４６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述したＡＲ技術は、撮像装置で撮像した現実の画像である撮像画像と、ＢＩＭデータにおけるＣＧ画像（以下、仮想画像）とを合成して表示する技術である。
しかしながら、ＡＲマーカなど、仮想画像を重ねる場所に配置し、コンピュータを用いた画像処理システムに、ＡＲマーカの位置を認識させた後、撮像画像に対して仮想画像を合成して表示するため、予めＡＲマーカを配置する手間がかかっていた。
また、ＡＲマーカに重ねた場合、仮想画像と撮像画像との大きさが合わず、仮想画像と撮像画像との重なり誤差が大きく、ずれが合成されることにより、完成後の竣工イメージを正確に観察することができない。
【０００５】
本発明は、このような事情に鑑みてなされたもので、施工中の建物内において、携帯撮像端末においてＡＲマーカを用いることなく、撮像画像と仮想画像とを合成し、正確な竣工イメージを表示する合成画像表示システム及びその方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の合成画像表示システムは、携帯撮像端末とデータサーバとから構成される合成画像表示システムであり、前記データサーバには、施工中の建物の３次元のコンピュータグラフィック画像が予め書き込まれて記憶されており、前記携帯撮像端末が、前記建物内の画像を撮像し、撮像画像として出力する撮像部と、前記撮像画像を表示する表示部と、前記撮像画像と、前記コンピュータグラフィック画像における前記撮像画像を撮像した位置及び撮像方向に対応して撮像した仮想画像とにおいて、同一の特徴点の座標位置を比較する位置制御部と、前記特徴点の座標位置の比較結果により、前記特徴点の座標位置が重なり合う座標変換を行うことにより、前記撮像画像に対して前記仮想画像を重ね合わせて前記表示部に表示する画像処理部とを備えることを特徴とする。
本発明の合成画像表示方法は、携帯撮像端末の撮像した画像と、データサーバに記憶されたコンピュータグラフィック画像とを合成する合成画像表示方法であり、前記データサーバには、施工中の建物の３次元のコンピュータグラフィック画像が予め書き込まれて記憶されており、前記携帯撮像端末が、前記建物内の画像を撮像し、撮像画像として出力する撮像過程と、前記撮像画像を表示部に表示する表示過程と、前記撮像画像と、前記コンピュータグラフィック画像における前記撮像画像を撮像した位置及び撮像方向に対応して撮像した仮想画像とにおいて、同一の特徴点の座標位置を比較する位置制御過程と、前記特徴点の座標位置の比較結果により、前記特徴点の座標位置が重なり合う座標変換を行うことにより、前記撮像画像に対して前記仮想画像を重ね合わせて前記表示部に表示する画像処理過程とを含むことを特徴とする。
【０００７】
本発明の合成画像表示システムは、前記建物内に竣工後に配置される什器や設備配管などをオフジェクト画像とし、当該建物のコンピュータグラフィック画像に付加された画像であることを特徴とする。
【０００８】
本発明の合成画像表示システムは、前記位置制御部が、前記建物内の前記携帯撮像端末の位置及び撮像方向を、前記コンピュータグラフィック画像の３次元空間の座標に対応させることを特徴とする。
【発明の効果】
【０００９】
この発明によれば、施工中の建物内にて、携帯撮像端末により撮像される画像と、仮想画像（ＢＩＭデータ）とを、ＡＲマーカなどを用いずに簡易な操作により、精度良く重ね合わせることができる。
【図面の簡単な説明】
【００１０】
【図１】この発明の一実施形態による合成画像表示システムの構成例を示すブロック図である。
【図２】データセンタ２における３次元モデルデータベース２２に予め書き込まれて記憶されているＢＩＭデータテーブルの構成例を示す図である。
【図３】位置制御部１６が携帯撮像端末１の位置Ｖpと、携帯撮像端末１の撮像方向Ｐの補正を行う処理を説明する図である。
【図４】位置制御部１６が携帯撮像端末１の位置Ｖpと、携帯撮像端末１の撮像方向Ｐを補正を行う処理を説明する図である。
【図５】本実施形態による合成画像表示システムの処理の動作例を示すフローチャートである。
【図６】携帯撮像端末１が自身の撮像する撮像画像に対して、ＢＩＭデータの仮想画像のオブジェクトを重ねて表示させる操作を説明する図である。
【図７】携帯撮像端末１が自身の撮像する撮像画像に対して、ＢＩＭデータの仮想画像のオブジェクトを重ねて表示させる操作を説明する図である。
【図８】携帯撮像端末１が自身の撮像する撮像画像に対して、ＢＩＭデータの仮想画像のオブジェクトを重ねて表示させる操作を説明する図である。
【図９】携帯撮像端末１が自身の撮像する撮像画像に対して、ＢＩＭデータの仮想画像のオブジェクトを重ねて表示させる操作を説明する図である。
【図１０】携帯撮像端末１が自身の撮像する撮像画像に対して、ＢＩＭデータの仮想画像のオブジェクトを重ねて表示させる操作を説明する図である。
【図１１】携帯撮像端末１が自身の撮像する撮像画像に対して、ＢＩＭデータの仮想画像のオブジェクトを重ねて表示させる操作を説明する図である。
【図１２】携帯撮像端末１が自身の撮像する撮像画像に対して、ＢＩＭデータの仮想画像のオブジェクトを重ねて表示させる操作を説明する図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明の実施の形態について説明する。図１は、この発明の一実施形態による合成画像表示システムの構成例を示す概略ブロック図である。本実施形態の合成画像表示システムは、携帯撮像端末１とデータセンタ２とを備えている。
携帯撮像端末１は、画像の撮像を行い、この撮像された撮像画像とＢＩＭデータにおけるＣＧ（ｃｏｍｐｕｔｅｒ  ｇｒａｐｈｉｃｓ：コンピュータグラフィック）画像との合成を行い、合成結果を表示する。
また、携帯撮像端末１は、撮像部１１、画像処理部１２、変換行列生成部１３、記憶部１４、送受信部１５、位置制御部１６及び表示部１７が備えられている。
データセンタ２には、データサーバ２１と３次元モデルデータベース２２とが備えられている。ここで、携帯撮像端末１とデータセンタ２にデータサーバ２１とは、インターネットを含む情報通信網Ｉと無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）基地局Ｒとを介して接続され、データの送受信を行う。
【００１２】
次に、図２は、データセンタ２における３次元モデルデータベース２２に予め書き込まれて記憶されているＢＩＭデータテーブルの構成例を示す図である。
このＢＩＭデータテーブルは、建物を識別する建物識別情報、各建物における各階を識別するフロア識別情報、各フロアにおける各部屋を識別する識別番号と、部屋毎の２次元画像（天井方向から見た平面画像）及び建物の各部屋の３次元のＣＧ画像の記憶された記憶領域の先頭アドレスを示すインデックスとが対応付けられている。この建物識別情報、フロア識別情報及び部屋識別情報の組合せが、各部屋のＣＧ画像を識別するＣＧ画像識別情報となっている。また、ＣＧ画像は、例えば、実際に竣工される建物内の部屋の寸法で形成されており、竣工後に配置される什器や配管設備などが配置された状態の建物内の様子を示す３次元の仮想空間となっている。
【００１３】
本実施形態においては、オブジェクト画像（オブジェクトの画像、竣工後に配置される什器や設備配管などのＣＧで作成された仮想画像）が配置された室内の３次元の仮想空間の座標系をグローバル座標系としている。また、このグローバル座標系における携帯撮像端末１の位置（座標点）を原点とし、携帯撮像端末１の撮像方向（奥行き方向）をｚ軸とする３次元の座標空間を撮像座標系とする。また、この撮像座標系において、携帯撮像端末１の位置からの視野に入る領域を携帯撮像端末１の表示部１７に表示するために２次元に射影投影した座標系をスクリーン座標系（３次元：撮像座標系からの変換時には奥行きのデータが含まれている）とする。また、表示部１７に表示するため、スクリーン座標系の２次元平面を表示部１７の画面の大きさに合わせるための座標系を表示座標系（２次元）とする。
ここで、グローバル座標系から撮像座標系への変換をビュー変換とし、撮像座標系からスクリーン座標系への変換を射影変換とし、スクリーン座標系から表示座標系への変換をビューポート変換とする。
【００１４】
図１に戻り、データサーバ２１は、携帯撮像端末１から画像要求信号とともに受信されるＣＧ画像識別情報（建物識別情報、フロア識別情報及び部屋識別情報の組み合わせの識別情報）に対応するインデックスを３次元モデルデータベース２２のＢＩＭデータテーブルから読み出す。
また、データサーバ２１は、ＢＩＭデータテーブルから読み出したインデックスの示す記憶領域に記憶されている平面画像とＣＧ画像とを読み出し、読み出した平面画像とＣＧ画像とを携帯撮像端末１へ送信する。
【００１５】
送受信部１５は、無線ＬＡＮ等により、無線ＬＡＮ基地局Ｒ及び情報通信網Ｉを介して、データセンタ２におけるデータサーバ２１との間でデータの送受信を行う。
また、送受信部１５は、データサーバ２１より受信した平面画像及びＣＧ画像のデータを、記憶部１４に書き込んで記憶させる。
撮像部１１は、撮像方向の被写体の画像を撮像し、撮像した撮像画像のデータを記憶部１４に書き込んで記憶させる。
【００１６】
変換行列生成部１３は、各座標系間における変換行列として、グローバル座標系における携帯撮像端末１の座標位置、携帯撮像端末１の撮像方向に基づいて、ビュー変換行列Ｍb、射影変換行列Ｗp、ビューポート変換行列Ｂs、逆ビュー変換行列Ｍb−１、逆射影変換行列Ｗp−１、逆ビューポート変換行列Ｂs−１を生成する。
ここで、ビュー変換行列Ｍbは、３次元のグローバル座標系のオブジェクトの各々の座標値を、携帯撮像端末１の撮像方向を奥行き方向（ｚ軸方向）とした３次元の撮像座標系の座標値に変換するために用いられる。また、射影変換行列Ｗpは、撮像座標系の視錘台における同次クリップ空間であるスクリーン座標系の座標値に変換する。ビューポート変換行列Ｂsは、射影変換されたスクリーン座標系のクリップ平面（ＸＹ平面）の各座標値を、表示部１７の表示画面の表示座標系における座標値に座標変換するために用いられる。
【００１７】
位置制御部１６は、変換行列生成部１３の生成した変換行列の各々を用いて、携帯撮像端末１の位置（視点）及びこの携帯撮像端末１の撮像方向（視線方向）を補正する。
画像処理部１２は、オブジェクトの各座標点が表示座標系に変換された画像データを、表示部１７の表示画面に表示する。
表示部１７は、画像の分解能に応じた入力のためのセンサが表面に設けられており、ユーザたタッチペンなどでタップしたポイントの座標値を読み込み、画像処理部１２へ出力する。
【００１８】
次に、位置制御部１６の行う携帯撮像端末１の位置及び撮像方向の補正処理について説明する。携帯撮像端末１により、これからＢＩＭデータの画像を重ねようとしている方向を撮像する。そして、ユーザは、携帯撮像端末１の表示画面に表示された室内の平面図において、自身の座標位置と、撮像した撮像方向とを、タップして設定する。この時点において、グローバル座標系における暫定的な携帯撮像端末１の位置（Ｖｐ）と、携帯撮像端末１の撮像方向（ベクトルＰ）とが設定される。
【００１９】
変換行列生成部１３は、グローバル座標系におけるユーザが設定した自身の座標値と、撮像方向とにより、ビュー変換行列Ｍb及び射影変換行列Ｗpを生成する。
また、変換行列生成部１３は、予め自身内部の内部記憶部に書き込んで記憶されている表示部１７の表示画面のサイズ、すなわち縦（ｈ）×横（ω）のサイズから、ビューポート変換行列Ｂsを求める。
さらに、変換行列生成部１３は、ビュー変換行列Ｍb、射影変換行列Ｗp及びビューポート変換行列Ｂsの各々の逆行列として、それぞれ逆ビュー変換行列Ｍb−１、逆射影変換行列Ｗp−１、逆ビューポート変換行列Ｂs−１を求める。
【００２０】
画像処理部１２は、ビュー変換行列Ｍbにより、グローバル座標系の座標値を、撮像座標系の座標値に変換する。
また、画像処理部１２は、射影変換行列Ｗpにより、撮像座標系の座標値を、スクリーン座標系の座標値に変換する。
そして、画像処理部１２は、ビューポート変換行列Ｂsにより、スクリーン座標系の座標値を、表示座標系の座標値に変換する。
表示座標系に変換した後、画像処理部１２は、表示座標系に変換した画像を、表示部１７の表示画面に表示させる。
【００２１】
次に、図３は、位置制御部１６が携帯撮像端末１の位置Ｖpと、携帯撮像端末１の撮像方向Ｐの補正を行う処理を説明する図である。図３（ａ）は、携帯撮像端末１の表示部１７の表示画面において、ユーザが自身のいる位置Ｖpと、撮像方向Ｐとを入力した際の表示画面を示す図である。ここで入力されるのはｚ軸及びｘ軸の２次元座標における座標値が入力され、方向Ｐも２次元のベクトルである。高さ方向は、ユーザが携帯撮像端末１に入力しても良いし、予め内部の記憶部１４に書き込まれて記憶されているユーザの身長を用いても良い。
【００２２】
また、図３（ｂ）は、携帯撮像端末１の撮像方向にある壁１００を示す図である。図３（ｂ）において、壁１００には、扉２００があり、携帯撮像端末１の表示部１７の表示画面に表示されている。扉２００のエッジ部分Ｂ１、Ｂ２及びＢ３の各々が後述するターゲットマークに用いる。扉２００Ａはグローバル座標系にあるＢＩＭデータの画像である。ターゲットマークＡ１、Ａ２、Ａ３の各々は、ぞれぞれターゲットマークＢ１、Ｂ２、Ｂ３と対応している。後述するが、このターゲットマークは、表示部１７の表示画面においてユーザにより、順次表示画面をタップすることにより設定される。
【００２３】
この扉２００Ｂの撮像画像と、この扉２００ＡのＢＩＭデータのＣＧ画像から座標変換した仮想画像とはずれて表示されている。このずれは、ユーザが図３（ａ）で入力した携帯撮像端末１の位置Ｖpと撮像方向Ｐとが、実際に携帯撮像端末１の存在する位置と撮像方向Ｐとが異なっていることが起因となっている。このため、グローバル座標系における実際の携帯撮像端末１の位置Ｖpと撮像方向Ｐとを求めることが必要となる。
位置制御部１６は、逆ビューポート変換行列Ｂs−１を用いて、撮像画像のターゲットマークＢ１、Ｂ２及びＢ３の表示座標系の座標位置を、スクリーン座標系の座標値に変換する。
【００２４】
また、位置制御部１６は、逆射影変換行列Ｗp−１を用いて、スクリーン座標系におけるターゲットマークＢ１、Ｂ２及びＢ３の座標位置を、撮像座標系における座標値に変換する。ここで、スクリーン座標系における奥行き方向（ｚ軸方向）の座標値として任意の２点を与える。例えば、０及び５などを、２次元平面の表示座標系から３次元空間のスクリーン座標系に変換した際に加える。したがって、位置制御部１６は、撮像座標系において、ターゲットマークＢ１、Ｂ２及びＢ３の各々を、それぞれＢ１＿１及びＢ１＿２、Ｂ２＿１及びＢ２＿２、Ｂ３＿１及びＢ３＿２の２個の組として求めることになる。
また、位置制御部１６は、逆ビュー変換行列Ｍb−１により、撮像座標系における座標値Ｂ１＿１及びＢ１＿２、Ｂ２＿１及びＢ２＿２、Ｂ３＿１及びＢ３＿２を、グローバル座標系における座標値に変換する。
【００２５】
次に、図４は、位置制御部１６が携帯撮像端末１の位置Ｖpと、携帯撮像端末１の撮像方向Ｐの補正を行う処理を説明する図である。
この図において、壁１００Ｄは、グローバル座標系におけるＢＩＭデータのＣＧ画像における什器のオブジェクトとしての扉の３次元画像である。ターゲットマークＡ１’、Ａ２’、Ａ３’の各々は、それぞれ図３（ｂ）におけるターゲットマークＡ１、Ａ２、Ａ３と対応している。
【００２６】
位置制御部１６は、グローバル座標系において、座標値Ｂ１＿１及び座標値Ｂ１＿２を結ぶ直線Ｌ１、座標値Ｂ２＿１及び座標値Ｂ２＿２を結ぶ直線Ｌ２、座標値Ｂ３＿１及び座標値Ｂ３＿２を結ぶ直線Ｌ３の３本の直線を作成する。
次に、位置制御部１６は、直線Ｌ１、Ｌ２及びＬ３の各々の線上において、ターゲットマークＡ１’、Ａ２’、Ａ３’の各々の座標点が成す三角形ＳＡと相似となる三角形ＳＱを形成する座標点Ｑ１、Ｑ２、Ｑ３を求める。この座標点Ｑ１、Ｑ２及びＱ３の各々は、それぞれターゲットマークＡ１’、Ａ２’、Ａ３’と対応している。
【００２７】
そして、位置制御部１６は、三角形ＳＡ及び三角形ＳＱの各々の重心の座標値として、重心座標値ＣＡ及びＣＱを求め、この重心座標値ＣＡ及びＣＱの距離ｄAQを求める。
また、位置制御部１６は、三角形ＳＡの２次元平面の法線ベクトルＰＡと、三角形ＳＱの２次元平面の法線ベクトルＰＱとを求め、法線ベクトルＰＡに対する法線ベクトルＰＱの角度のずれをＸ軸、Ｙ軸及びＺ軸の各々の角度成分毎に、ずれ角Δθx、Δθｙ、Δθｚ求める。
【００２８】
次に、位置制御部１６は、上記距離ｄAQ及びずれ角Δθx、Δθｙ、Δθｚとにより、予めユーザの入力した携帯撮像端末１の位置（Ｖｐ）と、携帯撮像端末１の撮像方向（ベクトルＰ）との補正の計算を行い、グローバル座標系における携帯撮像端末１の位置Ｖｐと、携帯撮像端末１の撮像方向Ｐとを求める。
ここで行う補正の計算は、例えば、距離ｄAQ及びずれ角Δθx、Δθｙ、Δθｚとに対応し、現在の位置を及びベクトルを補正する補正式などを予め求めておき、暫定的に入力された携帯撮像端末１の位置Ｖｐと、携帯撮像端末１の撮像方向Ｐと、距離ｄAQ及びずれ角Δθx、Δθｙ、Δθｚとを代入して行う。
【００２９】
次に、位置制御部１６は、補正した携帯撮像端末１の位置Ｖｐと、携帯撮像端末１の撮像方向Ｐとを、変換行列生成部１３に対し、変換行列の再計算を指示する制御信号とともに送信する。
次に、変換行列生成部１３は、位置制御部１６から送信された携帯撮像端末１の位置Ｖｐと、携帯撮像端末１の撮像方向Ｐとにより、ビュー変換行列Ｍb及び射影変換行列Ｗpを再度作成する。
そして、変換行列生成部１３は、再作成したビュー変換行列Ｍb及び射影変換行列Ｗpを、画像処理部１２に対して出力する。
この後、画像処理部１２は、再作成されたビュー変換行列Ｍb及び射影変換行列Ｗpを用いて、ビュー変換及び射影変換を行う。
【００３０】
次に、図により本実施形態による合成画像表示システムの処理を説明する。図５は、本実施形態による合成画像表示システムの処理の動作例を示すフローチャートである。図６から図１２の各々は、携帯撮像端末１が自身の撮像する撮像画像に対して、ＢＩＭデータのＣＧ画像を表示座標系に座標変換した仮想画像を重ねて、表示部１７の表示面に表示させる操作を説明する図である。この図６から図１２の各々は、携帯撮像端末１の表示部１７の表示画面である。
【００３１】
ステップＳ１：
ユーザが携帯撮像端末１を起動する。
送受信部１５は、データセンタのデータサーバ２１に対して、作業所（竣工前の建物）のデータを送付する制御信号を、データサーバ２１に対して送信する。
そして、データサーバ２１は、携帯撮像端末１から制御信号を受信すると、３次元モデルデータベース２２のＢＩＭデータテーブルから、全ての建物識別情報（例えば、名称など）を読み出す。
【００３２】
次に、データサーバ２１は、読み出した建物識別情報を携帯撮像端末１へ、応答信号として送信する。
応答信号を受信すると、送受信部１５は、この応答信号から建物識別情報を抽出し、この抽出した建物識別情報を記憶部１４へ書き込んで記憶する。
そして、画像処理部１２は、記憶部１４から建物識別情報を読み出し、例えば携帯撮像端末１の表示部１７の表示画面に図６に示すように表示する。
【００３３】
次に、ユーザは、図６に示すように、一覧表として表示された作業所（ＡＡＡ作業所、ＢＢＢ作業所及びＣＣＣ作業所）から、自身の現在いるＡＡＡ作業所が表示された表示面１７ＡをユーザＵの指によりタップする。
表示部１７は、いずれの位置がユーザＵの指によりタップされたかを示すタップ情報を画像処理部１２へ出力する。
タップ情報が供給されると、画像処理部１２は、いずれの作業所が選択されたかを、タップ情報の位置情報から検出し、検出した作業所の建物識別情報を送受信部１５へ出力する。
【００３４】
ステップＳ２：
次に、送受信部１５は、データセンタのデータサーバ２１に対して、この建物識別情報の示す建物の各階のデータを送付する制御信号を、データサーバ２１に対して送信する。
そして、データサーバ２１は、携帯撮像端末１から制御信号を受信すると、３次元モデルデータベース２２のＢＩＭデータテーブルから、受信した建物識別情報に対応する建物の階の情報を読み出す。このとき、データサーバ２１は、この建物識別情報に対応したインデックスにより、この建物識別情報の示す建物の構造の画像データを、３次元モデルデータベース２２から読み出す。
【００３５】
次に、データサーバ２１は、読み出したフロア識別情報（例えば、階数）を携帯撮像端末１へ、建物の構造を示す画像とともに応答信号として送信する。
応答信号を受信すると、送受信部１５は、この応答信号からフロア識別情報を抽出し、この抽出したフロア識別情報を記憶部１４へ書き込んで記憶する。
そして、画像処理部１２は、記憶部１４からフロア識別情報を読み出し、例えば携帯撮像端末１の表示部１７の表示画面に図７に示すように表示する。
【００３６】
次に、ユーザは、図７に示すように、一覧表として表示された階（１Ｆ、２Ｆ、３Ｆ及び４Ｆ）から、自身の現在いる階、例えば３階（３Ｆ）が表示された表示面１７ＢをユーザＵの指によりタップする。
表示部１７は、いずれの位置がユーザＵの指によりタップされたかを示すタップ情報を画像処理部１２へ出力する。
タップ情報が供給されると、画像処理部１２は、いずれの階が選択されたかを、タップ情報の位置情報から検出し、検出した階のフロア識別情報を送受信部１５へ出力する。
【００３７】
次に、送受信部１５は、データセンタのデータサーバ２１に対して、このフロア識別情報の示す階のＢＩＭデータを送付する制御信号を、データサーバ２１に対して送信する。
そして、データサーバ２１は、携帯撮像端末１から制御信号を受信すると、３次元モデルデータベース２２のＢＩＭデータテーブルから、受信したフロア識別情報に対応するインデックスを読み出す。
【００３８】
次に、データサーバ２１は、このインデックスが示す記憶領域に記憶されたＢＩＭデータ（フロアの平面図の画像データ及びフロアのＣＧ画像の画像データ）を、３次元モデルデータベース２２から読み出す。
そして、データサーバ２１は、読み出したＢＩＭデータを携帯撮像端末１へ応答信号として送信する。
応答信号を受信すると、送受信部１５は、この応答信号からフロアの平面図の画像データ及びフロアのＣＧ画像の画像データを抽出し、この抽出したフロアの平面図及びＣＧ画像の画像データを記憶部１４へ書き込んで記憶する。
そして、画像処理部１２は、記憶部１４からフロアの平面図の画像データを読み出し、例えば表示部１７の表示画面に図８に示すように表示する。
【００３９】
ステップＳ３：
次に、ユーザは、図８に示すように、表示部１７の表示画面に表示されたフロアの平面図において、自身の現在いる位置が表示された表示面１７ＣをユーザＵの指によりタップして入力する。
これにより、表示部１７は、いずれの位置がユーザＵの指によりタップされたかを示すタップ情報を画像処理部１２へ出力する。
このタップ情報により、画像処理部１２は、階が表示された表示面をタップする。
表示部１７は、いずれの位置がタップされたかを示すタップ情報を画像処理部１２へ出力する。
そして、画像処理部１２は、携帯撮像端末１の位置を表示部１７の表示面に表示する。
【００４０】
次に、ユーザは、図８の表示画面において、携帯撮像端末１の位置に対して、撮像する方向をタップして入力する。
これにより、表示部１７は、いずれの位置がタップされたかを示すタップ情報を画像処理部１２へ出力する。
そして、画像処理部１２は、携帯撮像端末１の位置と、新たに入力されたタップ情報の位置とから撮像方向Ｐを求め、この撮像方向Ｐを表示部１７の表示面に表示する。
【００４１】
ステップＳ４：
次に、画像処理部１２は、表示部１７の表示面に現在表示されている携帯撮像端末１の位置と、この携帯撮像端末１の撮像方向とを確定して良いか否かを選択させる画像、例えば確定ボタンと変更ボタンとを、表示部１７の表示面に表示させる。このボタンのいずれかをユーザはタップして選択する。
表示部１７は、ユーザのタップした位置を示すタップ情報を画像処理部１２に出力する。
これにより、画像処理部１２は、タップ情報の示す位置により、確定ボタンあるいは変更ボタンのいすれがタップされたかの判定を行う。
【００４２】
このとき、画像処理部１２は、確定ボタンがタップされた場合に、処理をステップＳ５へ進め、撮像を促す画像を、表示部１７の表示面に表示する。
一方、画像処理部１２は、変更ボタンがタップされた場合に、処理をステップＳ３に戻し、新たな携帯撮像端末１の位置と携帯撮像端末１の撮像方向の入力を促す画像（例えば、撮像ボタン）を、表示部１７の表示面に表示する。
【００４３】
ステップＳ５：
次に、ユーザは、現在自身のいる作業所の部屋Ｒにおける撮像方向Ｐの画像を、図９に示すように、表示部１７の表示面に表示された撮像ボタンの表示領域１７ＤをユーザＵの指によりタップすることにより撮像する。
これにより、表示部１７は、いずれの位置がタップされたかを示すタップ情報を画像処理部１２へ出力する。
画像処理部１２は、入力されたタップ情報の位置から、撮像ボタンがタップされたことを検出し、撮像処理を示す制御信号を撮像部１１に対して出力する。
【００４４】
このとき、撮像部１１は、撮像ボタンがタップされたことを示す制御情報が供給されることにより、画像の撮像処理をおこない、撮像した撮像画像のデータを記憶部１４に書き込んで記憶させる。また、撮像部１１は、この撮像した時点において、携帯撮像端末１に登載されている図示しない方位センサ及び傾きセンサの検出値（方位及び傾き）を、記憶部１４に書き込んで記憶させる。
そして、画像処理部１２は、記憶部１４から撮像画像のデータを読み出し、表示部１７の表示面に表示する。
ここで、変換行列生成部１３は、上記携帯撮像端末１の位置及び携帯撮像端末１の撮像方向から、ビュー変換行列Ｍb、射影変換行列Ｗp及びビューポート変換行列Ｂsの各々の逆行列として、それぞれ逆ビュー変換行列Ｍb−１、逆射影変換行列Ｗp−１、逆ビューポート変換行列Ｂs−１を求める。
【００４５】
ステップＳ６：
次に、画像処理部１２は、表示部１７の表示面に現在表示されている撮像画像を確定して良いか否かを選択させる画像、例えば確定ボタンと変更ボタンとを、表示部１７の表示面に表示させる。このボタンのいずれかをユーザはタップして選択する。
表示部１７は、ユーザのタップした位置を示すタップ情報を画像処理部１２に出力する。
これにより、画像処理部１２は、タップ情報の示す位置により、確定ボタンあるいは変更ボタンのいすれがタップされたかの判定を行う。
【００４６】
このとき、画像処理部１２は、確定ボタンがタップされた場合に、処理をステップＳ７へ進め、撮像を促す画像を、表示部１７の表示面に表示する。
一方、画像処理部１２は、変更ボタンがタップされた場合に、処理をステップＳ５に戻し、新たな撮像画像の撮像処理を促す画像を、表示部１７の表示面に表示する。
【００４７】
ステップＳ７：
次に、画像処理部１２は、記憶部１４からＢＩＭデータの３次元のＣＧ画像のデータを読み出し、ビュー変換行列Ｍbにより、グローバル座標系におけるＢＩＭデータのＣＧ画像の各オブジェクトの座標値を、撮像画像座標系の仮想画像の座標値に変換する。ここでオブジェクトの座標値とは、ターゲットマークとして選択される画像の特徴点の座標値を示している。例えば、扉の四隅（四角形の頂点の座標）、窓の４隅（四角形の頂点）、天井の四隅などである。
そして、画像処理部１２は、射影変換行列Ｗpにより、撮像画像座標系における仮想画像のにおけるオブジェクトの座標値を、スクリーン座標系の座標値に変換する。
また、画像処理部１２は、ビューポート変換行列Ｂsにより、スクリーン座標系におけるオブジェクトの座標値を、表示座標系の座標値に変換する。
画像処理部１２は、表示座標系に変換されたＢＩＭデータを、表示部１７の表示面において、撮像画像に重ねて半透明の状態で表示する。
【００４８】
ステップＳ８：
次に、画像処理部１２は、撮像画像に対するターゲットマークを設定することを促す画像を、表示部１７の表示面に表示する。
この画像により、ユーザは、図１０において図３（ｂ）に示すように、表示部１７の表示面に表示された撮像画像のターゲットマークＢ１、Ｂ２及びＢ３を順番にユーザＵの指によりタップし、ターゲットマークとして設定する。
これにより、表示部１７は、いずれの位置がタップされたかを示すタップ情報を、タップされる毎に画像処理部１２へ出力する。
そして、画像処理部１２は、連続で入力されるタップ情報から順次、ターゲットマークＢ１、Ｂ２及びＢ３の表示座標系における座標値を抽出し、ターゲットマークＢ１、Ｂ２及びＢ３として、記憶部１４に書き込んで記憶させる。
【００４９】
次に、画像処理部１２は、ＣＧ画像が表示座標系に変換された仮想画像（ＢＩＭデータ）に対するターゲットマークを設定することを促す画像を、表示部１７の表示面に表示する。
この画像により、ユーザは、図１１において図３（ｂ）に示すように、表示部１７の表示面に表示されたＢＩＭデータの画像のターゲットマークＡ１、Ａ２及びＡを順番にユーザＵの指によりタップし、ターゲットマークとして設定する。
これにより、表示部１７は、いずれの位置がタップされたかを示すタップ情報を、タップされる毎に画像処理部１２へ出力する。
【００５０】
そして、画像処理部１２は、連続で入力されるタップ情報から順次、ターゲットマークＡ１、Ａ２及びＡ３の表示座標系における座標値を抽出し、ターゲットマークＡ１、Ａ２及びＡ３として、記憶部１４に書き込んで記憶させる。
ここで、ターゲットマークは、オブジェクトの頂点を選択するようにし、各オブジェクトの頂点毎に頂点識別情報が付加され、座標値が変換されても、この頂点識別情報がかならず対応するようにする必要がある。したがって、画像処理部１２は、ターゲットマークＡ１、Ａ２及びＡ３として、記憶部１４に書き込んで記憶させる際、それぞれ頂点識別情報を対応させて書き込んで記憶させる。
【００５１】
ステップＳ９：
次に、位置制御部１６は、ターゲットマークＢ１、Ｂ２及びＢ３の各々の座標値を、記憶部１４から読み出す。
そして、位置制御部１６は、ターゲットマークＢ１、Ｂ２及びＢ３の各々の座標値を、逆ビューポート変換行列Ｂs−１、逆射影変換行列Ｗp−１、逆ビュー変換行列Ｍb−１の各々を順次用い、表示座標系からスクリーン座標系、スクリーン座標系から撮像座標系、撮像座標系からグローバル座標系へと座標値を変換する。
そして、位置制御部１６は、図４に示すように、直線Ｌ１、Ｌ２及びＬ３の各々を生成する。
【００５２】
次に、位置制御部１６は、記憶部１４からターゲットマークＡ１、Ａ２及びＡ３の各々の頂点識別情報を読み出す。
そして、位置制御部１６は、直線Ｌ１、Ｌ２及びＬ３の各々の直線上の１個ずつの座標点を選択し、グローバル座標系におけるターゲットマークＡ１’、Ａ２’及びＡ３’の３個の頂点識別情報に対応する座標値の成す三角形ＳＡに対して相似となる三角形ＳＱを形成する座標点Ｑ１、Ｑ２及びＱ３の各々を求める。
位置制御部１６は、このこの三角形ＳＡと三角形ＳＱとの重心距離ｄAQと、法線ベクトルのずれ角Δθx、Δθy、Δθzとから、携帯撮像端末１の位置及び携帯撮像端末１の撮像方向の補正を行う。
【００５３】
ステップＳ１０：
次に、変換行列生成部１３は、補正された携帯撮像端末１の位置及び携帯撮像端末１の撮像方向により、再度、ビューポート変換行列Ｂs及び射影変換行列Ｗpの生成を行う。
【００５４】
ステップＳ１１：
次に、画像処理部１２は、記憶部１４からＢＩＭデータの３次元のＣＧ画像のデータを読み出し、補正されたビュー変換行列Ｍbにより、グローバル座標系におけるＢＩＭデータの各オブジェクトの座標値を、撮像画像座標系の座標値に変換する。
そして、画像処理部１２は、補正された射影変換行列Ｗpにより、撮像画像座標系におけるオブジェクトの座標値を、スクリーン座標系の座標値に変換する。
【００５５】
また、画像処理部１２は、補正されたビューポート変換行列Ｂsにより、スクリーン座標系におけるオブジェクトの座標値を、表示座標系の座標値に変換する。
画像処理部１２は、表示座標系に変換されたＢＩＭデータを、表示部１７の表示面において、撮像画像に重ねて半透明の状態で表示する。この時点で、撮像画像に対してＣＧ画像から変換された仮想画像が精度良く重なり合った状態となる。
そして、ユーザが携帯撮像端末１の撮像方向を、ターゲットマークＢ１、Ｂ２及びＢ３を設定した方向に向け、表示部１７の表示面における図示しない撮像モードのボタンをタップする。
これにより、表示部１７は、いずれの位置がタップされたかを示すタップ情報を画像処理部１２へ出力する。
【００５６】
次に、画像処理部１２は、入力されたタップ情報の位置から、撮像モードのボタンがタップされたことを検出し、撮像画像に対して仮想画像の重なった画像に対し、現在撮像している画像を重ねて表示する。
そして、ユーザが表示部１７の表示面における撮像画像のターゲットマークＢ１、Ｂ２及びＢ３と、現在撮像している撮像画像における座標点が重ならせて、図示しない決定ボタンをタップする。
【００５７】
これにより、表示部１７は、表示面のいずれの位置がタップされたかを示すタップ情報を画像処理部１２へ出力する。
次に、画像処理部１２は、入力されたタップ情報の位置から、撮像モードのボタンがタップされたことを検出し、補正用の撮像画像を消去し、現在撮像している撮像画像と、仮想画像とを重ねて表示する。
【００５８】
ステップＳ１２：
次に、画像処理部１２は、表示部１７の表示面に対し、撮像の処理を終了するか否かの判定を行うための表示を行う。
例えば、画像処理部１２は、終了ボタンを表示部１７の表示面に表示し、この終了ボタンがタップされた場合に処理を終了し、タップされない場合に処理をステップＳ１３へ進める。
【００５９】
ステップＳ１３：
そして、撮像部１１は、ユーザが図１２に示すように、ユーザが携帯撮像端末１を左右方向あるいは上下方向に撮像方向を変更したりした場合、携帯撮像端末１に登載されている図示しない方位センサ及び傾きセンサの検出値が変化したか否かの判定を行う。
すなわち、撮像部１１は、記憶部に記憶されている撮像画像を撮像した際に書き込んで記憶させた方位及び傾きに対し、現在検出されている方位及び傾きが予め設定した閾値（方位及び傾きの各々に対して設定）を越えた場合、方位及び傾きのいずれかあるいは双方が変化したと検出する。
ここで、撮像部１１は、方位あるいは傾きのいずれかでも変化した場合、処理をステップＳ９へ進め、一方、方位及び傾きのいずれも変化しない場合、処理をステップＳ１１へ進める。ステップＳ９へ進んだ場合、位置制御部１６は、方位及び傾きの変化分により、撮像方向の補正を行う。そして、変換行列生成部１３は、携帯撮像端末１の位置及び補正された携帯撮像端末１の撮像方向により、再度、ビューポート変換行列Ｂs及び射影変換行列Ｗpの生成を行う。
【００６０】
上述したように、本実施形態によれば、施工中の建物内にて、携帯撮像端末１により撮像される撮像画像と、仮想画像（ＢＩＭデータ）とを、ＡＲマーカなどを用いずに簡易な操作により、精度良く重ね合わせることができる。
【００６１】
また、図１における携帯撮像端末１の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより実際に撮像した画像に対し、ＢＩＭデータの仮想空間のオフジェクトを重ねて表示する処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００６２】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００６３】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００６４】
１…携帯撮像端末
２…データセンタ
１１…撮像部
１２…画像処理部
１３…変換行列生成部
１４…記憶部
１５…送受信部
１６…位置制御部
１７…表示部
２１…データサーバ
２２…３次元モデルデータベース
【図１】
2014002645.tif 000003
【図２】
2014002645.tif 000004
【図３】
2014002645.tif 000005
【図４】
2014002645.tif 000006
【図５】
2014002645.tif 000007
【図６】
2014002645.tif 000008
【図７】
2014002645.tif 000009
【図８】
2014002645.tif 000010
【図９】
2014002645.tif 000011
【図１０】
2014002645.tif 000012
【図１１】
2014002645.tif 000013
【図１２】
2014002645.tif 000014