(57)【要約】【課題】携帯型の装置で、実空間中の対象物と設計情報との間の誤差を的確に把握して、設計情報と実際の対象物とを一致可能にすること。【解決手段】情報呈示装置１００には、対象物の３次元設計情報の内、対象物の形状情報のみを形状情報格納部１０３に格納しておき、誤差比較検出部１０４にて、画像入力部１０１により入力された対象物の実際の位置姿勢とこの格納された対象物の形状情報との差分を検出し、形状情報管理部１０５により、その差分の値を上記形状情報格納部１０３に格納してある形状情報に反映させる。【選択図】      図１
2005031045.tif 000002
【特許請求の範囲】
【請求項１】
実空間中の対象物の画像を入力する画像入力手段と、
前記画像入力手段から入力された対象物の画像から、前記画像入力手段と対象物との相対的な３次元位置姿勢関係を検出する３次元位置姿勢関係検出手段と、
対象物の形状情報を格納する形状情報格納手段と、
前記３次元位置姿勢関係検出手段により検出された対象物の位置姿勢と、前記画像入力手段から入力された対象物の部分に対応する前記形状情報格納手段に格納された値とを比較し、入力された対象物の実際の位置姿勢と格納された対象物の形状情報との差分を検出する誤差比較検出手段と、
前記誤差比較検出手段からの差分の値を、前記形状情報格納手段に格納された形状情報に反映させる形状情報管理手段と、
前記画像入力手段から入力された対象物の画像と、前記形状情報格納手段に格納された対象物の形状情報とを、重ね合わせた画像を生成する重畳画像生成手段と、
前記重畳画像生成手段が生成した画像を表示する表示手段と、
を具備することを特徴とする情報呈示装置。
【請求項２】
前記誤差比較検出手段の検出する差分は、形状情報の移動量であることを特徴とする請求項１に記載の情報呈示装置。
【請求項３】
対象物の属性情報を格納する属性情報格納手段をさらに具備し、
前記重畳画像生成手段は、前記属性情報格納手段に格納された属性情報も重ね合わせることを特徴とする請求項１又は２に記載の情報呈示装置。
【請求項４】
入力手段と、
前記入力手段によって入力された属性情報の変更を、前記属性情報格納手段に格納された属性情報に反映させる属性情報管理手段と、
をさらに具備することを特徴とする請求項３に記載の情報呈示装置。
【請求項５】
実空間中の対象物の画像を入力する画像入力手段と、
前記画像入力手段から入力された対象物の画像から、前記画像入力手段と対象物との相対的な３次元位置姿勢関係を検出する３次元位置姿勢関係検出手段と、
対象物の形状情報を格納する形状情報格納手段と、
前記３次元位置姿勢関係検出手段により検出された対象物の位置姿勢と、前記画像入力手段から入力された対象物の部分に対応する前記形状情報格納手段に格納された値とを比較し、入力された対象物の実際の位置姿勢と格納された対象物の形状情報との差分を検出する誤差比較検出手段と、
前記誤差比較検出手段からの差分の値を、前記形状情報格納手段に格納された形状情報に反映させる形状情報管理手段と、
前記画像入力手段から入力された対象物の画像と、前記形状情報格納手段に格納された対象物の形状情報とを、重ね合わせた画像を生成する重畳画像生成手段と、
前記重畳画像生成手段が生成した画像を表示する表示手段と、
を有する情報呈示装置と、
対象物の３次元設計情報を格納する３次元設計情報格納手段と、
前記３次元設計情報格納手段に格納された３次元設計情報から形状情報を生成する形状情報生成手段と、
を有する３次元ＣＡＤと、
から構成される情報呈示システムにおいて、
前記情報呈示装置の形状情報格納手段は、前記３次元ＣＡＤの形状情報生成手段の生成した形状情報を格納することを特徴とする情報呈示システム。
【請求項６】
前記情報呈示装置の形状情報管理手段は、前記誤差比較検出手段からの差分の値を、前記３次元ＣＡＤの３次元設計情報格納手段に格納された３次元設計情報にも反映させることを特徴とする請求項５に記載の情報呈示システム。
【請求項７】
前記情報呈示装置の誤差比較検出手段の検出する差分は、形状情報の移動量であることを特徴とする請求項５又は６に記載の情報呈示システム。
【請求項８】
前記３次元ＣＡＤは、対象物の３次元設計情報から属性情報を生成する属性情報生成手段をさらに有し、
前記情報呈示装置は、前記３次元ＣＡＤの属性情報生成手段の生成した属性情報を格納する属性情報格納手段をさらに有し、
前記情報呈示装置の重畳画像生成手段は、前記属性情報格納手段に格納された属性情報も重ね合わせることを特徴とする請求項５乃至７の何れかに記載の情報呈示システム。
【請求項９】
前記情報呈示装置は、
入力手段と、
前記入力手段によって入力された属性情報の変更を前記属性情報格納手段に格納された属性情報に反映させる属性情報管理手段と、
をさらに有することを特徴とする請求項８に記載の情報呈示システム。
【請求項１０】
前記情報呈示装置の属性情報管理手段は、前記入力手段によって入力された属性情報の変更を、前記３次元ＣＡＤの３次元設計情報格納手段に格納された３次元設計情報にも反映させることを特徴とする請求項９に記載の情報呈示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影された画像に関連する情報を、その撮影画像に重畳して同時に表示することによって、画像観察者により高密度な情報呈示を行うことが可能な情報呈示装置、及び、そのような情報呈示装置を用いた情報呈示システムに関する。
【背景技術】
【０００２】
ＣＣＤ撮影装置などの画像入力手段により入力された実空間中の対象物、例えば現状の建造物の画像と、３次元ＣＡＤシステムが持っている設計情報とを比較し、相互検証することで双方の誤差（ずれ）を検出して、実空間中の対象物に設計情報を一致させるシステムが提案されている（例えば、特許文献１参照）。
【特許文献１】特開２００２−９２０４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記特許文献１には詳細は記されていないが、実空間中の対象物、例えば建造物、の設計情報とは、通常、その建造物の詳細な形状、寸法、材質、部品名等の膨大な情報を意味し、３次元ＣＡＤ等により管理するのが一般的である。
【０００４】
しかしながら、この３次元ＣＡＤ等は、膨大な情報を記録するための大容量な記憶装置や、形状や寸法を詳細に表示するための高性能な表示装置を必要とする。従って、実際には、建築工事や設備工事等の現場に持ち出すような携帯型の装置で実現することは困難である。
【０００５】
本発明は、上記の点に鑑みてなされたもので、携帯型の装置でありながら、実空間中の対象物と設計情報との間の誤差を的確に把握して、設計情報と実際の対象物とを一致させることができる情報呈示装置及びそれを用いた情報呈示システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために、請求項１に記載の発明による情報呈示装置は、
実空間中の対象物の画像を入力する画像入力手段と、
前記画像入力手段から入力された対象物の画像から、前記画像入力手段と対象物との相対的な３次元位置姿勢関係を検出する３次元位置姿勢関係検出手段と、
対象物の形状情報を格納する形状情報格納手段と、
前記３次元位置姿勢関係検出手段により検出された対象物の位置姿勢と、前記画像入力手段から入力された対象物の部分に対応する前記形状情報格納手段に格納された値とを比較し、入力された対象物の実際の位置姿勢と格納された対象物の形状情報との差分を検出する誤差比較検出手段と、
前記誤差比較検出手段からの差分の値を、前記形状情報格納手段に格納された形状情報に反映させる形状情報管理手段と、
前記画像入力手段から入力された対象物の画像と、前記形状情報格納手段に格納された対象物の形状情報とを、重ね合わせた画像を生成する重畳画像生成手段と、
前記重畳画像生成手段が生成した画像を表示する表示手段と、
を具備することを特徴とする。
【０００７】
また、請求項２に記載の発明による情報呈示装置は、請求項１に記載の発明による情報呈示装置において、
前記誤差比較検出手段の検出する差分は、形状情報の移動量であることを特徴とする。
【０００８】
また、請求項３に記載の発明による情報呈示装置は、請求項１又は２に記載の発明による情報呈示装置において、
対象物の属性情報を格納する属性情報格納手段をさらに具備し、
前記重畳画像生成手段は、前記属性情報格納手段に格納された属性情報も重ね合わせることを特徴とする。
【０００９】
また、請求項４に記載の発明による情報呈示装置は、請求項３に記載の発明による情報呈示装置において、
入力手段と、
前記入力手段によって入力された属性情報の変更を、前記属性情報格納手段に格納された属性情報に反映させる属性情報管理手段と、
をさらに具備することを特徴とする。
【００１０】
また、上記の目的を達成するために、請求項５に記載の発明による情報呈示システムは、
実空間中の対象物の画像を入力する画像入力手段と、
前記画像入力手段から入力された対象物の画像から、前記画像入力手段と対象物との相対的な３次元位置姿勢関係を検出する３次元位置姿勢関係検出手段と、
対象物の形状情報を格納する形状情報格納手段と、
前記３次元位置姿勢関係検出手段により検出された対象物の位置姿勢と、前記画像入力手段から入力された対象物の部分に対応する前記形状情報格納手段に格納された値とを比較し、入力された対象物の実際の位置姿勢と格納された対象物の形状情報との差分を検出する誤差比較検出手段と、
前記誤差比較検出手段からの差分の値を、前記形状情報格納手段に格納された形状情報に反映させる形状情報管理手段と、
前記画像入力手段から入力された対象物の画像と、前記形状情報格納手段に格納された対象物の形状情報とを、重ね合わせた画像を生成する重畳画像生成手段と、
前記重畳画像生成手段が生成した画像を表示する表示手段と、
を有する情報呈示装置と、
対象物の３次元設計情報を格納する３次元設計情報格納手段と、
前記３次元設計情報格納手段に格納された３次元設計情報から形状情報を生成する形状情報生成手段と、
を有する３次元ＣＡＤと、
から構成される情報呈示システムにおいて、
前記情報呈示装置の形状情報格納手段は、前記３次元ＣＡＤの形状情報生成手段の生成した形状情報を格納することを特徴とする。
【００１１】
また、請求項６に記載の発明による情報呈示システムは、請求項５に記載の発明による情報呈示システムにおいて、
前記情報呈示装置の形状情報管理手段は、前記誤差比較検出手段からの差分の値を、前記３次元ＣＡＤの３次元設計情報格納手段に格納された３次元設計情報にも反映させることを特徴とする。
【００１２】
また、請求項７に記載の発明による情報呈示システムは、請求項５又は６に記載の発明による情報呈示システムにおいて、
前記情報呈示装置の誤差比較検出手段の検出する差分は、形状情報の移動量であることを特徴とする。
【００１３】
また、請求項８に記載の発明による情報呈示システムは、請求項５乃至７の何れかに記載の発明による情報呈示システムにおいて、
前記３次元ＣＡＤは、対象物の３次元設計情報から属性情報を生成する属性情報生成手段をさらに有し、
前記情報呈示装置は、前記３次元ＣＡＤの属性情報生成手段の生成した属性情報を格納する属性情報格納手段をさらに有し、
前記情報呈示装置の重畳画像生成手段は、前記属性情報格納手段に格納された属性情報も重ね合わせることを特徴とする。
【００１４】
また、請求項９に記載の発明による情報呈示システムは、請求項８に記載の発明による情報呈示システムにおいて、
前記情報呈示装置は、
入力手段と、
前記入力手段によって入力された属性情報の変更を前記属性情報格納手段に格納された属性情報に反映させる属性情報管理手段と、
をさらに有することを特徴とする。
【００１５】
また、請求項１０に記載の発明による情報呈示システムは、請求項９に記載の発明による情報呈示システムにおいて、
前記情報呈示装置の属性情報管理手段は、前記入力手段によって入力された属性情報の変更を、前記３次元ＣＡＤの３次元設計情報格納手段に格納された３次元設計情報にも反映させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、携帯型の装置でありながら、実空間中の対象物と設計情報との間の誤差を的確に把握して、設計情報と実際の対象物とを一致させることができる情報呈示装置及びそれを用いた情報呈示システムを提供することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明を実施するための最良の形態を図面を参照して説明する。
【００１８】
［第１実施形態］  
図１は、本発明の第１実施形態に係る情報呈示装置及びそれを用いた情報呈示システムの構成を示すブロック図である。
【００１９】
この情報呈示システムは、カメラ付きＰＤＡやノートパソコン等の使用者が携帯可能な小型の情報呈示装置１００と、オフィス等に設置された３次元ＣＡＤ２００とからなる。
【００２０】
ここで、上記情報呈示装置１００は、実空間中の対象物の画像を入力（撮影）するカメラ等の画像入力部１０１と、上記画像入力部１０１から入力された対象物の画像から、上記画像入力部１０１と対象物との相対的な３次元位置姿勢関係を検出する３次元位置姿勢関係出力部１０２と、対象物の形状情報を格納するメモリ等の形状情報格納部１０３と、上記３次元位置姿勢関係出力部１０２により検出された対象物の位置姿勢と、上記画像入力部１０１から入力された対象物の部分に対応する上記形状情報格納部１０３に格納された値とを比較し、入力された対象物の実際の位置姿勢と格納された対象物の形状情報との差分を検出する誤差比較検出部１０４と、上記誤差比較検出部１０４からの差分の値を、上記形状情報格納部１０３に格納された形状情報に反映させる形状情報管理部１０５と、上記画像入力部１０１から入力された対象物の画像と、上記形状情報格納部１０３に格納された対象物の形状情報とを、重ね合わせた画像を生成する重畳画像生成部１０６と、上記重畳画像生成部１０６が生成した画像を表示する液晶ディスプレイ等の表示部１０７とから構成されている。さらには、上記３次元位置姿勢関係出力部１０２の検出する上記画像入力部１０１と対象物との相対的な３次元位置姿勢関係に、上記誤差比較検出部１０４からの差分の値を用いて反映させる３次元位置姿勢情報管理部１０８を備えている。そして、上記３次元位置姿勢関係出力部１０２と上記３次元位置姿勢情報管理部１０８とによって、３次元位置姿勢関係検出部１２０が構成されている。
【００２１】
一方、上記３次元ＣＡＤ２００は、対象物の３次元設計情報を格納するハードディスク等の大容量記憶装置である３次元設計情報格納部２０１と、上記３次元設計情報格納部２０１に格納された３次元設計情報から形状情報を生成する形状情報生成部２０２とを備えている。
【００２２】
なお、上記情報呈示装置の形状情報格納部１０３が格納する形状報情報は、上記３次元ＣＡＤ２００の形状情報生成部２０２の生成したものである。この形状情報生成部２０２から形状情報格納部１０３への形状情報の受け渡しは、無線又は有線の通信によるオンラインで行っても良いし、何らかの記憶媒体を介してオフラインで行っても良い。
【００２３】
ここで、「対象物の３次元設計情報」とは、形状、色、材質、部品名、等々の当該対象物を製造・設置するのに必要な情報である。形状情報生成部２０２は、そのような対象物の３次元設計情報の中から、形状の情報のみを抽出するものである。また、対象物及び形状情報はそれぞれ固有の座標系を有しており、対象物についての座標系を実空間、形状情報の座標系をモデル空間と称するものとする。
【００２４】
また、上記情報呈示装置１００の形状情報管理部１０５は、上記形状情報格納部１０３に格納している上記抽出した形状情報と同様に、上記誤差比較検出部１０４からの差分の値を、上記３次元ＣＡＤ２００の３次元設計情報格納部２０１に格納された３次元設計情報、つまり元の形状情報にも反映させるようになっている。この場合も、該形状情報管理部１０５と上記３次元ＣＡＤ２００の３次元設計情報格納部２０１との間の情報の受け渡しは、オンライン／オフラインの何れで行っても構わない。
【００２５】
次に、このような構成における動作を説明する。  
本実施の形態では、まず、前処理として、実空間とモデル空間の関連付け（レジストレーション）作業を実施する。即ち、対象物そのものを使用して、実空間上の対象物と、形状情報から作られたモデル空間上の対象物モデルとを、表示部１０７に重畳表示させ、両者が重なり合うように、モデル空間上の対象物モデルを移動することにより、実空間とモデル空間の関連付け作業を行うものである。そして、この関連付け作業時の対象物モデル移動量を記録し、実空間とモデル空間の関連付けに使用する。
【００２６】
この関連付け作業後は、実空間とモデル空間の座標系の対応付けが完了しているので、重畳表示時に差異がある物は、対象物と対象物モデルとの整合が取れていない（対象物が形状情報通りになっていない）ことになる。
【００２７】
このような実空間とモデル空間の関連付け（レジストレーション）作業は、図２の（Ａ）のフローチャートに示すようにして行われる。
【００２８】
即ち、まず、画像入力部１０１で対象物を撮影する（ステップＳ１１）。なお、このレジストレーションに使用する対象物は、予めその形状情報が実空間とモデル空間とで一致しているのがわかっているものを使用する。また、予めレジストレーションのためのランドマークとして登録しておいても良い。
【００２９】
次に、３次元位置姿勢関係出力部１０２により、上記画像入力部１０１で入力された対象物の画像から、画像入力部１０１と対象物の相対的な３次元位置姿勢を検出する（ステップＳ１２）。この時、実空間とモデル空間の関連付け（レジストレーション）が終了していないため、両者に差異がある。
【００３０】
なお、この３次元位置姿勢の検出は、例えば、対象物そのものをマーカと見なして、特開２００１−１１８１８７号公報や特開２００１−１２６０５１号公報に開示されているマーカ検出や位置姿勢情報の推定方法を適用することで行うことができる。
【００３１】
次に、形状情報格納部１０３の中から、対象物に対応する形状情報を選択する（ステップＳ１３）。この場合、上述のように、このレジストレーションに使用する対象物は予めその形状情報が実空間とモデル空間とで一致しているのがわかっているものを使用するので、自動的に選択することができる。この選択された形状情報は、上記３次元位置姿勢関係出力部１０２により検出された３次元位置姿勢に基づいて変形されて、誤差比較検出部１０４に入力される。
【００３２】
そして、誤差比較検出部１０４により、上記画像入力部１０１からの入力画像と、上記形状情報格納部１０３の中から選択し変形された形状情報との誤差を検出する（ステップＳ１４）。なお、この時の誤差は、実空間とモデル空間の関連付けが正確に行われていないために発生する。即ち、重畳画像生成部１０６によって、上記画像入力部１０１からの入力画像と上記選択された形状情報とを重ね合わせた画像を生成して表示部１０７に表示するものであるが、このとき、表示部１０７の画面１０９には、図３の（Ａ）に示すように、対象物１の画像１Ａと対象物の形状情報から作成した対象物モデル２とがずれて表示されることになる。
【００３３】
よって、３次元位置姿勢関係情報管理部１０８は、上記誤差比較検出部１０４の検出した誤差に基づき、その誤差が最小になるように画像入力部１０１と対象物１との相対的な３次元位置姿勢関係に関する情報を修正する（ステップＳ１５）。
【００３４】
そして、３次元位置姿勢関係情報管理部１０８は、その修正した３次元位置姿勢関係に関する情報を、上記３次元位置姿勢関係出力部１０２に供給することにより、実空間とモデル空間との座標系の関連付けが作業が終了する（ステップＳ１６）。これにより、表示部１０７の画面１０９には、図３の（Ｂ）に示すように、対象物１の画像１Ａと対象物モデル２とが一致して表示されるようになる。
【００３５】
このような前処理の完了後、実空間中の対象物と設計情報（本実施形態では、形状情報）との間の誤差を的確に把握して、設計情報と実際の対象物とを一致させる作業を行うことになる。
【００３６】
即ち、図２（Ｂ）のフローチャートに示すように、まず、画像入力部１０１で対象物１を撮影する（ステップＳ２１）。
【００３７】
次に、３次元位置姿勢関係出力部１０２により、上記画像入力部１０１で入力された対象物１の画像１Ａから、画像入力部１０１と対象物１との相対的な３次元位置姿勢を検出する（ステップＳ２２）。この時、実空間とモデル空間の関連付け（レジストレーション）が終了しているため、両者に差異はない。
【００３８】
次に、形状情報格納部１０３に格納されている複数の形状の情報の中から、上記３次元位置姿勢関係出力部１０２により検出された３次元位置姿勢に該当するデータを検索する（ステップＳ２３）。検索された形状情報は誤差比較検出部１０４に入力される。
【００３９】
そして、誤差比較検出部１０４により、上記画像入力部１０１からの入力画像と、上記形状情報格納部１０３から検索した形状情報との誤差を検出する（ステップＳ２４）。なお、検出する誤差は、例えば、形状情報の移動量である。この移動量は、平行移動や、拡大・縮小、回転や、これらの組み合わせでも、もちろん構わない。
【００４０】
ここで、形状情報管理部１０５によって、その検出した誤差が許容範囲内であるか否かを判別し（ステップＳ２５）、許容範囲内であれば、以降の作業を行う必要がない。
【００４１】
これに対して、検出した誤差が許容範囲内でないならば（ステップＳ２５）、形状情報管理部１０５によって、上記形状情報格納部１０３から検索した形状情報に、その検出した誤差を付加し、形状情報を変更する（ステップＳ２６）。即ち、既に作られてしまった対象物１の形状を変更することはできないので、形状情報を変更するものである。
【００４２】
そして、その形状変更情報を形状情報格納部１０３に格納することで、その変更を反映させる（ステップＳ２７）。
【００４３】
例えば、図４の（Ａ）に示すように、本体１１に部品１２及び１３を取り付けたものを対象物１として撮影したとすると、それに対応する本体１１の形状情報３１、部品１２の形状情報３２、及び部品１３の形状情報３３でなる対象物１の形状情報３が検索され、それらが誤差比較検出部１０４で比較される。またこのとき、重畳画像生成部１０６にて、対象物１の画像１Ａとそれら形状情報２から作成された対象物モデル２（本体１１のモデル２１、部品１２のモデル２２、部品１３のモデル２３）とを重ね合わせた画像を生成して、表示部１０７に表示する。ここで、実際の部品１３の取付位置とその部品１３の形状情報３３とに誤差があると、同図に示すように、表示部１０７の画面１０９に表示される部品１３の画像１３Ａとそのモデル２３とはずれて表示されることになる。この誤差は、上記ステップＳ２６及びステップＳ２７の動作によって、部品１３の形状情報３３が、図４の（Ｂ）に示すように形状情報３３’に変更されることでキャンセルされ、画面１０９に表示される部品１３の画像１３Ａとその変更後のモデル２３’とは一致して、重ね合って表示されることになる。
【００４４】
なお、前述したように、上記形状情報管理部１０５から形状変更情報を、３次元ＣＡＤ２００の３次元設計情報格納部２０１に戻すことも可能である。
【００４５】
［第２実施形態］  
次に、本発明の第２実施形態を説明する。
【００４６】
上記第１実施形態では、実空間とモデル空間の関連付け（レジストレーション）作業において使用する対象物１として、予めその形状情報が実空間とモデル空間とで一致しているのがわかっているものである必要があった。
【００４７】
しかしながら、必ずしもそのような対象物１を準備できない場合がある。
【００４８】
そこで、本実施形態においては、そのようなレジストレーション時に、予めその形状情報が実空間とモデル空間とで一致していない対象物１を使用するため、貼付等により、対象物１上にマーカを移動可能に配置する。
【００４９】
即ち、上記３次元位置姿勢関係出力部１０２によって３次元位置姿勢の検出を行い、誤差比較検出部１０４で、対象物１の画像１Ａと対象物１の形状情報３とを比較した場合、両者の間に誤差が検出される。この場合、マーカを基準とするので、マーカの画像とマーカの形状情報とは一致する。従って、この場合には、例えば図５の（Ａ）に示すように、表示部１０７の画面１０９に表示されるマーカ４の画像４Ａとマーカ４のモデル２４とは一致するものの、対象物１の画像１Ａと対象物モデル２とは、ずれて表示されることになる。
【００５０】
そこで、本実施形態では、上記第１実施形態のように３次元位置姿勢関係情報管理部１０８を用いるのではなく、図５の（Ｂ）に示すように、対象物１に対する実際のマーカ４の位置を移動させることで、対象物１と対象物１の形状情報３とを一致させるものである。即ち、画像観察者が、表示部１０７に表示された、撮影された対象物１の画像１Ａと、その対象物モデル２とを観察しながら、両者が一致するように、マーカ４の位置を移動していくものである。
【００５１】
またこの場合、マーカ４の位置の移動を容易にするために、図６に示すように、表示部１０７の画面１０９に、対象物１の画像１Ａ及び対象物モデル２とマーカ４の画像４Ａ及びマーカ４のモデル２４に加えて、対象物モデル２に対してスケール２５を付加して表示するようにしても良い。このようなスケール２５を表示することで、観察者は、この画面１０９上のスケール２５からずれ量を確認し、その確認したずれ量に応じてマーカ４を移動することができる。
【００５２】
［第３実施形態］  
次に、本発明の第３実施形態を説明する。
【００５３】
本実施形態も上記第２実施形態と同様、レジストレーション時に予めその形状情報が実空間とモデル空間とで一致していない対象物１を使用するものであるが、本実施形態では、マーカ４が貼付もしくは印刷等により対象物１上に配置つれており、マーカ４を移動できない場合である。
【００５４】
即ち、上記３次元位置姿勢関係出力部１０２によって３次元位置姿勢の検出を行い、誤差比較検出部１０４で、対象物１の画像１Ａと対象物１の形状情報３とを比較した場合、両者の間に誤差が検出される。この場合、マーカ４を基準とするので、マーカ４の画像４Ａとマーカ４の形状情報３４とは一致する。従って、この場合には、図７の（Ａ）に示すように、表示部１０７の画面１０９に表示されるマーカ４の画像４Ａとマーカ４のモデル２４とは一致するものの、対象物１の画像１Ａと対象物モデル２とは、ずれて表示されることになる。
【００５５】
よって、３次元位置姿勢関係情報管理部１０８により、３次元位置姿勢関係出力部１０２の検出する画像入力部１０１と対象物１との相対的な３次元位置姿勢関係に、誤差比較検出部１０４からの差分の値を用いて反映させることになるが、本実施形態では、それを、対象物１の形状情報３に対するマーカ４の形状情報３４の位置姿勢を移動し、形状情報３４’とすることにより行う。これにより、図７の（Ｂ）に示すように、表示部１０７の画面１０９に表示されるマーカ４の画像４Ａとマーカ４の移動されたモデル２４’とが一致し、また、対象物１の画像１Ａと対象物モデル２とも一致することとなる。
【００５６】
また、画像入力部１０１により対象物１を複数方向から撮影して静止画とし、何れか一つの静止画上で、対象物１の形状情報３に対するマーカ４の形状情報３４の位置姿勢を移動すると、対の静止画においてもその移動が反映される。図８は、対象物１の形状情報３に対するマーカ４の形状情報３４の移動前を示しており、図９は、対象物１の形状情報３に対するマーカ４の形状情報３４’の移動完了後を示している。
【００５７】
なお、対象物１の特徴的な凹凸や模様をマーカとみなしてレジストレーションを行う場合においても、本実施形態と同様にして一致させることができる。
【００５８】
また、マーカ４の形状情報３４の移動を自動で行ったが、キーボード等により観察者がその移動方向及び移動量を指定するようにしても良いことは勿論である。その場合には、上記第２実施形態で説明したようなスケール２５を対象物モデル２に対して付加して表示することが好ましい。
【００５９】
［第４実施形態］  
次に、本発明の第４実施形態を説明する。
【００６０】
上記第１実施形態では、対象物の形状情報を格納しておき、実際に撮影した対象物との誤差を検出して反映させるようにしていたが、さらに、部品名等の対象物の属性情報も格納しておいて、その属性情報の変更も反映させるようにしても良い。
【００６１】
そのため、本実施形態における情報呈示システムは、図１０のように構成される。
【００６２】
即ち、上記第１実施形態における構成に加えて、３次元ＣＡＤ２００は、３次元設計情報格納部２０１に格納された対象物の３次元設計情報から、属性情報を生成する属性情報生成部２０３をさらに有する。また、情報呈示装置１００は、この３次元ＣＡＤ２００の属性情報生成部２０３の生成した属性情報を格納する属性情報格納部１１０と、入力手段としてのキーボード１１１と、該キーボード１１１によって入力された属性情報の変更を上記属性情報格納部１１０に格納された属性情報に反映させる属性情報管理部１１２と、をさらに有する。
【００６３】
情報呈示装置１００の重畳画像生成部１０６は、画像入力部１０１から入力された対象物の画像と、形状情報格納部１０３に格納された対象物の形状情報とに加えて、上記属性情報格納部１１０に格納された属性情報も、重ね合わせて、表示部１０７に表示する。
【００６４】
また、属性情報生成部２０３から属性情報格納部１１０への属性情報の受け渡しは、無線又は有線の通信によるオンラインで行っても良いし、何らかの記憶媒体を介してオフラインで行っても良い。
【００６５】
さらに、上記情報呈示装置１００の属性情報管理部１１２は、上記属性情報格納部１１０に格納している上記属性情報に対するのと同様に、上記キーボード１１１によって入力された属性情報の変更を、上記３次元ＣＡＤ２００の３次元設計情報格納部２０１に格納された３次元設計情報、つまり元の属性情報にも反映させるようになっている。この場合も、該属性情報管理部１１２と上記３次元ＣＡＤ２００の３次元設計情報格納部２０１との間の情報の受け渡しは、オンライン／オフラインの何れで行っても構わない。
【００６６】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００６７】
例えば、図１１及び図１２に示すように、上記第１実施形態及び／又は第４実施形態における形状情報管理部１０５及び／又は属性情報管理部１１２による３次元ＣＡＤ２００の３次元設計情報格納部２０１への反映を行わなくても構わない。
【００６８】
また、入力手段は、キーボード１１１に限定されず、マウス、トラックボール、タッチパネル等でももちろん構わない。
【００６９】
（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
【００７０】
（１）  実空間中の対象物の画像を入力する画像入力手段と、
前記画像入力手段から入力された対象物の画像から、前記画像入力手段と対象物との相対的な３次元位置姿勢関係を検出する３次元位置姿勢関係検出手段と、
対象物の形状情報を格納する形状情報格納手段と、
前記３次元位置姿勢関係検出手段により検出された対象物の位置姿勢と、前記画像入力手段から入力された対象物の部分に対応する前記形状情報格納手段に格納された値とを比較し、入力された対象物の実際の位置姿勢と格納された対象物の形状情報との差分を検出する誤差比較検出手段と、
前記誤差比較検出手段からの差分の値を、前記形状情報格納手段に格納された形状情報に反映させる形状情報管理手段と、
前記画像入力手段から入力された対象物の画像と、前記形状情報格納手段に格納された対象物の形状情報とを、重ね合わせた画像を生成する重畳画像生成手段と、
前記重畳画像生成手段が生成した画像を表示する表示手段と、
を具備することを特徴とする情報呈示装置。
【００７１】
（対応する実施形態）  
この（１）に記載の情報呈示装置に関する実施形態は、第１実施形態が対応する。  
（作用効果）  
この（１）に記載の情報呈示装置は、対象物の形状情報のみを格納しておき、入力された対象物の実際の位置姿勢とこの格納された対象物の形状情報との差分を検出して、その差分の値を上記格納された形状情報に反映させる。  
従って、この（１）に記載の情報呈示装置によれば、設計情報全てではなくて、その一部である形状情報のみを格納し、それと実際の対象物とを一致させるので、大容量な記憶装置や高性能な表示装置を必要とせず、携帯型の装置で実現できるようになる。
【００７２】
（２）  前記誤差比較検出手段の検出する差分は、形状情報の移動量であることを特徴とする（１）に記載の情報呈示装置。
【００７３】
（対応する実施形態）  
この（２）に記載の情報呈示装置に関する実施形態は、第１実施形態が対応する。  
（作用効果）  
この（２）に記載の情報呈示装置は、入力された対象物の実際の位置姿勢と格納された対象物の形状情報との差分として、形状情報の移動量を検出する。
【００７４】
（３）  対象物の属性情報を格納する属性情報格納手段をさらに具備し、
前記重畳画像生成手段は、前記属性情報格納手段に格納された属性情報も重ね合わせることを特徴とする（１）又は（２）に記載の情報呈示装置。
【００７５】
（対応する実施形態）  
この（３）に記載の情報呈示装置に関する実施形態は、第４実施形態が対応する。  
（作用効果）  
この（３）に記載の情報呈示装置は、対象物の属性情報も格納しておき、入力された対象物の画像と格納された対象物の形状情報とを重ね合わて表示する際に、その格納された属性情報も重ね合わせて表示する。  
従って、この（３）に記載の情報呈示装置によれば、属性情報も確認できるようになる。
【００７６】
（４）  入力手段と、
前記入力手段によって入力された属性情報の変更を、前記属性情報格納手段に格納された属性情報に反映させる属性情報管理手段と、
をさらに具備することを特徴とする（３）に記載の情報呈示装置。
【００７７】
（対応する実施形態）  
この（４）に記載の情報呈示装置に関する実施形態は、第４実施形態が対応する。  
（作用効果）  
この（４）に記載の情報呈示装置は、入力手段によって入力された属性情報の変更を、格納された属性情報に反映させる。  
従って、この（４）に記載の情報呈示装置によれば、属性情報の変更も可能である。
【００７８】
（５）    実空間中の対象物の画像を入力する画像入力手段と、
前記画像入力手段から入力された対象物の画像から、前記画像入力手段と対象物との相対的な３次元位置姿勢関係を検出する３次元位置姿勢関係検出手段と、
対象物の形状情報を格納する形状情報格納手段と、
前記３次元位置姿勢関係検出手段により検出された対象物の位置姿勢と、前記画像入力手段から入力された対象物の部分に対応する前記形状情報格納手段に格納された値とを比較し、入力された対象物の実際の位置姿勢と格納された対象物の形状情報との差分を検出する誤差比較検出手段と、
前記誤差比較検出手段からの差分の値を、前記形状情報格納手段に格納された形状情報に反映させる形状情報管理手段と、
前記画像入力手段から入力された対象物の画像と、前記形状情報格納手段に格納された対象物の形状情報とを、重ね合わせた画像を生成する重畳画像生成手段と、
前記重畳画像生成手段が生成した画像を表示する表示手段と、
を有する情報呈示装置と、
対象物の３次元設計情報を格納する３次元設計情報格納手段と、
前記３次元設計情報格納手段に格納された３次元設計情報から形状情報を生成する形状情報生成手段と、
を有する３次元ＣＡＤと、
から構成される情報呈示システムにおいて、
前記情報呈示装置の形状情報格納手段は、前記３次元ＣＡＤの形状情報生成手段の生成した形状情報を格納することを特徴とする情報呈示システム。
【００７９】
（対応する実施形態）  
この（５）に記載の情報呈示システムに関する実施形態は、第１実施形態が対応する。  
（作用効果）  
この（５）に記載の情報呈示システムは、３次元ＣＡＤにおいて対象物の３次元設計情報から対象物の形状情報を生成し、情報呈示装置には、その対象物の形状情報のみを格納しておき、情報呈示装置において、入力された対象物の実際の位置姿勢とこの格納された対象物の形状情報との差分を検出して、その差分の値を上記格納された形状情報に反映させる。  
従って、この（５）に記載の情報呈示システムによれば、設計情報全てではなくて、その一部である形状情報のみを格納し、それと実際の対象物とを一致させるので、情報呈示装置を、大容量な記憶装置や高性能な表示装置を必要としない携帯型の装置として実現できるようになる。
【００８０】
（６）  前記情報呈示装置の形状情報管理手段は、前記誤差比較検出手段からの差分の値を、前記３次元ＣＡＤの３次元設計情報格納手段に格納された３次元設計情報にも反映させることを特徴とする（５）に記載の情報呈示システム。
【００８１】
（対応する実施形態）  
この（６）に記載の情報呈示システムに関する実施形態は、第１実施形態が対応する。  
（作用効果）  
この（６）に記載の情報呈示システムは、検出された差分の値を、３次元ＣＡＤ側の元の３次元設計情報にも反映させる。  
従って、この（６）に記載の情報呈示システムによれば、情報呈示装置側のデータと３次元ＣＡＤのデータとを一致させることができる。
【００８２】
（７）  前記情報呈示装置の誤差比較検出手段の検出する差分は、形状情報の移動量であることを特徴とする（５）又は（６）に記載の情報呈示システム。
【００８３】
（対応する実施形態）  
この（７）に記載の情報呈示システムに関する実施形態は、第１実施形態が対応する。  
（作用効果）  
この（７）に記載の情報呈示システムは、入力された対象物の実際の位置姿勢と格納された対象物の形状情報との差分として、形状情報の移動量を検出する。
【００８４】
（８）  前記３次元ＣＡＤは、対象物の３次元設計情報から属性情報を生成する属性情報生成手段をさらに有し、
前記情報呈示装置は、前記３次元ＣＡＤの属性情報生成手段の生成した属性情報を格納する属性情報格納手段をさらに有し、
前記情報呈示装置の重畳画像生成手段は、前記属性情報格納手段に格納された属性情報も重ね合わせることを特徴とする（５）乃至（７）の何れかに記載の情報呈示システム。
【００８５】
（対応する実施形態）  
この（８）に記載の情報呈示システムに関する実施形態は、第４実施形態が対応する。  
（作用効果）  
この（８）に記載の情報呈示システムは、３次元ＣＡＤにおいて対象物の３次元設計情報から対象物の属性情報を生成し、情報呈示装置には、さらにその対象物の属性情報も格納しておき、入力された対象物の画像と格納された対象物の形状情報とを重ね合わて表示する際に、さらに、その格納された属性情報も重ね合わせて表示する。  
従って、この（８）に記載の情報呈示システムによれば、属性情報も確認できるようになる。
【００８６】
（９）  前記情報呈示装置は、
入力手段と、
前記入力手段によって入力された属性情報の変更を前記属性情報格納手段に格納された属性情報に反映させる属性情報管理手段と、
をさらに有することを特徴とする（８）に記載の情報呈示システム。
【００８７】
（対応する実施形態）  
この（９）に記載の情報呈示システムに関する実施形態は、第４実施形態が対応する。  
（作用効果）  
この（９）に記載の情報呈示システムは、入力手段によって入力された属性情報の変更を、格納された属性情報に反映させる。  
従って、この（９）に記載の情報呈示システムによれば、属性情報の変更も可能である。
【００８８】
（１０）  前記情報呈示装置の属性情報管理手段は、前記入力手段によって入力された属性情報の変更を、前記３次元ＣＡＤの３次元設計情報格納手段に格納された３次元設計情報にも反映させることを特徴とする（９）に記載の情報呈示システム。
【００８９】
（対応する実施形態）  
この（１０）に記載の情報呈示システムに関する実施形態は、第４実施形態が対応する。  
（作用効果）  
この（１０）に記載の情報呈示システムは、入力された属性情報の変更を、３次元ＣＡＤ側の元の３次元設計情報にも反映させる。  
従って、この（１０）に記載の情報呈示システムによれば、情報呈示装置側のデータと３次元ＣＡＤのデータとを一致させることができる。
【図面の簡単な説明】
【００９０】
【図１】本発明の第１実施形態に係る情報呈示装置及びそれを用いた情報呈示システムの構成を示すブロック図である。
【図２】（Ａ）は実空間とモデル空間の関連付け（レジストレーション）作業の手順を示すフローチャートであり、（Ｂ）は実空間中の対象物と設計情報（形状情報）とを一致させる作業の手順を示すフローチャートである。
【図３】（Ａ）はレジストレーション作業完了前の対象物と表示状態とを示す図であり、（Ｂ）はレジストレーション作業完了後の対象物と表示状態とを示す図である。
【図４】（Ａ）は実空間中の対象物と設計情報（形状情報）とを一致させる作業完了前の対象物と表示状態と対象物の形状情報とを示す図であり、実空間中の対象物と設計情報（形状情報）とを一致させる作業完了後の対象物と表示状態と対象物の形状情報とを示す図である。
【図５】（Ａ）は本発明の第２実施形態におけるレジストレーション作業完了前の対象物と表示状態とを示す図であり、（Ｂ）はレジストレーション作業完了後の対象物と表示状態とを示す図である。
【図６】第２実施形態の変形例を説明するためのレジストレーション作業完了前及び後の対象物と表示状態とを示す図である。
【図７】（Ａ）は本発明の第３実施形態におけるレジストレーション作業完了前の対象物と表示状態と対象物の形状情報とを示す図であり、（Ｂ）はレジストレーション作業完了後の対象物と表示状態と対象物の形状情報とを示す図である。
【図８】第３実施形態の変形例を説明するためのレジストレーション作業完了前の対象物と表示状態と対象物の形状情報とを示す図である。
【図９】第３実施形態の変形例を説明するためのレジストレーション作業完了後の対象物と表示状態と対象物の形状情報とを示す図である。
【図１０】本発明の第４実施形態に係る情報呈示装置及びそれを用いた情報呈示システムの構成を示すブロック図である。
【図１１】第１実施形態の変形例を説明するための情報呈示装置及びそれを用いた情報呈示システムのブロック構成図である。
【図１２】第４実施形態の変形例を説明するための情報呈示装置及びそれを用いた情報呈示システムのブロック構成図である。
【符号の説明】
【００９１】
１…対象物、  １Ａ…対象物の画像、  ２…対象物モデル、  ３…対象物の形状情報、  ４…マーカ、  ４Ａ…マーカの画像、  １１…本体、  １２，１３…部品、  １３Ａ…部品１３の画像、  ２１…本体のモデル、  ２２…部品１２のモデル、  ２３…部品１３のモデル、  ２３’…変更後の部品１３のモデル、  ２４…マーカのモデル、  ２４’…移動されたマーカのモデル、  ２５…スケール、  ３１…本体の形状情報、  ３２…部品１２の形状情報、  ３３…部品１３の形状情報、  ３３’…変更後の部品１３の形状情報、  ３４…マーカの形状情報、  ３４’…マーカの移動された形状情報、  １００…情報呈示装置、  １０１…画像入力部、  １０２…３次元位置姿勢関係出力部、  １０３…形状情報格納部、  １０４…誤差比較検出部、  １０５…形状情報管理部、  １０６…重畳画像生成部、  １０７…表示部、  １０８…３次元位置姿勢関係情報管理部、  １０９…画面、  １１０…属性情報格納部、  １１１…キーボード、  １１２…属性情報管理部、  １２０…３次元位置姿勢関係検出部、  ２００…３次元ＣＡＤ、  ２０１…３次元設計情報格納部、  ２０２…形状情報生成部、  ２０３…属性情報生成部。
【図１】
2005031045.tif 000003
【図２】
2005031045.tif 000004
【図３】
2005031045.tif 000005
【図４】
2005031045.tif 000006
【図５】
2005031045.tif 000007
【図６】
2005031045.tif 000008
【図７】
2005031045.tif 000009
【図８】
2005031045.tif 000010
【図９】
2005031045.tif 000011
【図１０】
2005031045.tif 000012
【図１１】
2005031045.tif 000013
【図１２】
2005031045.tif 000014