(57)【要約】【課題】多数のユーザが同時且つ良好に確認できるように関連情報を呈示すること。【解決手段】情報呈示装置は、所定の撮影範囲を有し、当該撮影範囲内の対象物に固定された光学的な特徴を有する特徴点の一つであるマーカ２６を撮影するカメラを含む画像入力部１０と、上記カメラに対して所定の位置姿勢で配置され、上記マーカ２６に関連した情報を投影するプロジェクタを含む投影部２４と、上記マーカと上記カメラの位置姿勢を認識するマーカ検出部１２及び位置姿勢検出部１４と、上記カメラによって撮影される画像中におけるマーカ２６と上記プロジェクタによって投影される情報との干渉を防止する干渉防止制御部２２と、を備える。【選択図】図１
2007206618.tif 000002
【特許請求の範囲】
【請求項１】
所定の撮影範囲を有し、当該撮影範囲内の対象物に固定された光学的な特徴を有する特徴点を撮影する撮影手段と、
上記撮影手段に対して所定の位置姿勢で配置され、上記特徴点に関連した情報を投影する情報投影手段と、
上記特徴点と上記撮影手段の位置姿勢を認識する認識手段と、
上記撮影手段によって撮影される画像中における特徴点と上記情報投影手段によって投影される情報との干渉を防止する干渉防止制御手段と、
を具備することを特徴とする情報呈示装置。
【請求項２】
上記干渉防止制御手段は、上記情報投影手段が上記特徴点を避けて情報を投影するように、投影されるべき情報を制御することを特徴とする請求項１に記載の情報呈示装置。
【請求項３】
上記干渉防止制御手段は、上記撮影手段が上記特徴点を認識するための特徴点撮影時には上記情報投影手段による情報投影を停止することで、上記特徴点を認識するための特徴点撮影と情報投影とが相補的に実行されるように、上記撮影手段及び上記情報投影手段を制御することを特徴とする請求項１に記載の情報呈示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報を呈示する情報呈示装置に関する。
【背景技術】
【０００２】
従来より、撮影した対象画像（マーカ像）を認識し、それによってその対象画像に関連する情報を呈示する情報呈示装置が各種提案されている。
【０００３】
例えば、特許文献１には、画像入力手段の情報から撮影時の焦点距離と画像切出しサイズとから画角を得る光学情報手段、画角に基づいて撮影者位置及び撮影方向を算出する算出手段、を備えた画像情報付加装置と、一対の図柄を有した標識手段と、標識手段を撮像する方向と同一方向における背景画像とこれに付随する付随情報とを格納した情報格納手段と、を備えた画像情報付加システムであって、一対の図柄の撮影画像から撮影者位置と撮影方向を算出し、これに基づいて情報格納手段から入手した背景画像情報を加工処理して同一視野の背景画像情報を取得するとともに付随情報を取得し、同一視野の背景画像と付随情報を表示する画像情報付加システムが開示されている。
【０００４】
また、特許文献２には、プロジェクタなどの画像投影手段を用いてマーカを投影するシステムが開示されている。
【特許文献１】特開２００３−２４４４８８号公報
【特許文献２】特開２００２−３２４２３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来の情報呈示装置では、ノートＰＣやＰＤＡ等を用いて、作業者に保守・点検等に必要な支援情報を、実際に撮影した対象物の画像に重畳呈示することが行われてきた。しかしながら、実際の作業現場で使用するには、ＰＤＡ等では画面が小さくて、作業者が支援情報を確認するのに不便である。
【０００６】
また、作業者が数名程度である場合には問題とはならないが、大勢の作業者がノートＰＣなどの画面上に呈示された支援情報を用いて同時に作業することは困難であった。
【０００７】
そこで、対象物に情報を直接呈示する手段としてプロジェクタなどの画像投影手段で情報を投影する方法が考えられる。しかしながら、マーカ部に関連した情報をプロジェクタで投影する際に、マーカ部に情報を投影してしまうと、干渉してマーカの認識ができなくなるという問題があった。
【０００８】
本発明は、上記の点に鑑みてなされたもので、多数の作業者等の多数のユーザが同時且つ良好に確認できるように関連情報を呈示可能な情報呈示装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の情報呈示装置の一態様は、
所定の撮影範囲を有し、当該撮影範囲内の対象物に固定された光学的な特徴を有する特徴点を撮影する撮影手段と、
上記撮影手段に対して所定の位置姿勢で配置され、上記特徴点に関連した情報を投影する情報投影手段と、
上記特徴点と上記撮影手段の位置姿勢を認識する認識手段と、
上記撮影手段によって撮影される画像中における特徴点と上記情報投影手段によって投影される情報との干渉を防止する干渉防止制御手段と、
を具備することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、撮影される画像中における特徴点と投影される情報との干渉を防止することができるので、確実に特徴点と撮影手段の位置姿勢を認識することができ、それに基づく関連情報を、多数の作業者等の多数のユーザが同時且つ良好に確認できるように呈示可能な情報呈示装置を提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明を実施するための最良の形態を図面を参照して説明する。
【００１２】
［第１実施形態］
図１は、本発明の第１実施形態に係る情報呈示装置の構成を示す図で、該情報呈示装置は、画像入力部１０、マーカ検出部１２、位置姿勢検出部１４、マーカ情報格納部１６、関連情報生成部１８、関連情報格納部２０、干渉防止制御部２２、及び投影部２４から構成されている。
【００１３】
ここで、上記画像入力部１０は、所定の撮影範囲を有するカメラを含み、そのカメラによって対象物及びその対象物に固定された光学的な特徴を有する特徴点を撮影する。なお、本実施形態では、特徴点を、対象物に貼られているマーカ２６とする。このマーカ２６は、予め定められた形状の枠部と、その内部に記された文字を含む記号や意匠とから構成される。勿論、本発明は、そのようなマーカ２６に限定されるものではなく、例えば、バーコード等の情報を符号化したシンボル、対象物を構成する直線、線分の交点、四角枠の少なくとも３頂点、等、光学的に識別可能な特徴を有するものであれば、どのような特徴点であっても構わない。
【００１４】
上記画像入力部１０のカメラにより取得した画像は、マーカ検出部１２に入力される。このマーカ検出部１２は、マーカ情報格納部１６に格納されている情報に基づいて、入力された画像内から上記マーカ２６の画像を検出し、対応するマーカ２６を同定する。そして、その同定結果を位置姿勢検出部１４に供給する。
【００１５】
なお、マーカ情報格納部１６には、マーカ２６のテンプレート画像やマーカ２６の属するエリア情報、マーカ２６の配置されている位置姿勢情報等のマーカ２６に関する情報が格納されている。
【００１６】
従って、マーカ検出部１２では、画像内からマーカ２６の予め定められた形状、本実施形態では四角枠である枠部を検出する（四角枠の検出は、公知の画像処理手法であるので、説明は省略する）。そして、特徴点が検出できたならば、次に、検出した四角枠の四隅の画像内での座標を検出し、四角枠の内部を抽出してアフィン変換を行い、アフィン変換後の画像とマーカ情報格納部１６に予め登録してあるマーカ２６のテンプレート画像とのパターンマッチングを行うことで、マーカ２６の同定（この場合、マーカ２６の枠部内部に記された記号や意匠が「５０」のマーカであることの同定）を行う。
【００１７】
位置姿勢検出部１４は、上記マーカ検出部１２からの同定結果を用いて、マーカ情報格納部１６に格納されている情報に基づいて、上記同定したマーカ２６に対する画像入力部１０のカメラの位置姿勢を検出し、関連情報生成部１８に供給する。
【００１８】
即ち、上記マーカ検出部１２でマーカ２６が同定されると、マーカ情報格納部１６から対応するマーカの空間定位情報（マーカ２６の属するエリア情報、マーカ２６の配置されている位置姿勢情報）を入手できるので、位置姿勢検出部１４は、画像内でのマーカ２６の四隅の位置から画像入力部１０のカメラの位置姿勢を検出する。
【００１９】
関連情報生成部１８は、上記位置姿勢検出部１４で検出した上記画像入力部１０のカメラの位置姿勢に応じて、関連情報格納部２０から各マーカ２６に直接又は間接に関連付けられた情報を抽出し関連情報を生成し、干渉防止制御部２２に供給する。なお、関連情報格納部２０には、モデル空間上に配置されたモデルの位置姿勢情報や形状情報、属性情報、色情報等の関連情報が格納されている。
【００２０】
例えば、関連情報格納部２０には、マーカ２６の枠部内部に記された記号や意匠が「５０」のマーカに関しては、対応する対象物の３次元モデルや、該３次元モデルのモデル空間でマーカ２６の下に配されたアノテーション情報（「エリア１」、「マーカ５０」等）が関連情報として格納されている。関連情報生成部１８は、その関連情報を読み出して、上記画像入力部１０のカメラの位置姿勢に応じてそれを変形して（傾きを変更したり、情報の大きさを変更したりする）、干渉防止制御部２２に供給する。
【００２１】
干渉防止制御部２２は、上記位置姿勢検出部１４から得られた位置姿勢によりマーカ２６の位置を計算し、関連情報格納部２０から得られたモデル空間に対して投影される画像中でマーカ部分に該当する範囲を切り出す。
【００２２】
投影部２４は、上記画像入力部１０のカメラに対して所定の位置姿勢で配置されたプロジェクタを含み、上記干渉防止制御部２２から得られた情報を投影する。これにより、対象物の表面等に、関連情報の画像２８が投影呈示される。なお、「カメラに対して所定の位置姿勢で配置されたプロジェクタ」とは、カメラとプロジェクタとの配置関係が固定された一体型の構成であっても良いし、別体であっても所定の位置姿勢で設置されたものであっても良い。また、位置姿勢関係が予め決められた位置姿勢に配置されていなくても、何らかの手法によってカメラに対するプロジェクタの位置姿勢が検出できるのであれば、その検出した位置姿勢をもって「所定の位置姿勢で配置された」と見なすことができる。
【００２３】
図２を参照して、本実施形態に係る情報呈示装置での情報呈示の例を説明する。
【００２４】
図２（Ａ）は、実空間における対象物３０を示す図で、画像入力部１０のカメラによって撮影されるマーカ２６が固定されている。図２（Ｂ）は、関連情報格納部２０に格納され、関連情報生成部１８から生成される関連情報を示す図である。これは、上記対象物３０の３次元モデル２８Ａと、該３次元モデルのモデル空間でマーカ２６の下に配されたアノテーション情報２８Ｂ（「エリア１」、「マーカ５０」等）を含む。
【００２５】
このような関連情報を実空間に投影すると、図２（Ｃ）に示すように、マーカ２６の部分にまで情報が投影されてしまい、マーカ検出部１２でのマーカ２６の検出が困難となる。
【００２６】
そこで、本実施形態では、干渉防止制御部２２において、図２（Ｂ）に示すような関連情報生成部１８から得られた関連情報に対して、図２（Ｄ）に示すように、マーカ２６の部分に投影される情報データを切り取ったデータを生成し、それを関連情報として投影部２４へ出力する。従って、投影部２４は、図２（Ｅ）に示すように、このマーカ２６の部分が切り取られた関連情報を実空間に投影するので、マーカ２６の部分のみテキストデータや色情報などの関連情報が投影されないこととなる。これにより、関連情報の投影期間中でも、画像入力部１０のカメラでマーカ２６の部分を撮影して、マーカ検出部１２でマーカ検出を行うことが可能となる。
【００２７】
以上のように、本第１実施形態に係る情報呈示装置では、投影部２４のプロジェクタを用いて特徴点であるマーカ２６を持つ対象物３０に関連情報の画像２８を直接投影呈示するようにし、その際に、マーカ２６の部分には投影しないようにすることで、関連情報投影時も干渉しないようにして、マーカ検出や位置姿勢検出を可能としている。従って、多数のユーザが同時且つ良好に確認できるように関連情報を呈示可能となる。
【００２８】
［第２実施形態］
次に、本発明の第２実施形態を説明する。
【００２９】
図３は、本第２実施形態に係る情報呈示装置の構成を示す図である。該情報呈示装置は、上記第１実施形態と同様、画像入力部１０、マーカ検出部１２、位置姿勢検出部１４、マーカ情報格納部１６、関連情報生成部１８、関連情報格納部２０、干渉防止制御部２２、及び投影部２４から構成されている。
【００３０】
但し、本実施形態においては、関連情報生成部１８で生成された関連情報は直接、投影部２４に入力されている。従って、図２（Ｂ）に示したような関連情報が投影され、図２（Ｃ）に示したように実空間のマーカ２６の部分にも関連情報が投影される。
【００３１】
また、本実施形態における干渉防止制御部２２は、図４に示すような投影動作信号及びマーカ認識動作信号を生成し、投影動作信号を投影部２４に、マーカ認識動作信号を画像入力部１０に、それぞれ供給する。これら投影動作信号及びマーカ認識動作信号は、撮影した画像、投影する関連情報とは無関係に、投影部２４と画像入力部１０とを時分割で動作させるものである。即ち、それぞれの信号は負論理で動作許可しており、投影部２４と画像入力部１０とを時分割で動作許可するように相補的に出力されている。
【００３２】
なお、マーカ２６の認識動作期間は、人が視覚的に問題なく情報が認識できるように、関連情報の投影期間に対して短くなるように制御されている。
【００３３】
このような制御であれば、回路規模、ソフトウェア量などが少ない構成で実現することができる。
【００３４】
以上のように、本第２実施形態による情報呈示装置においては、マーカ検出部１２がマーカ２６を検出するための画像入力部１０のカメラによる撮影時には投影部２４のプロジェクタによる関連情報の投影を停止することで、上記マーカ２６の撮影と関連情報の投影とが相補的に実行されるようにしているので、マーカ２６の部分に関連情報が投影されていてもマーカ検出する期間は関連情報の投影を停止するため干渉することなくマーカ検出が可能となる。
【００３５】
また、関連情報の投影を停止する期間（認識動作期間）を短くすることで、視覚的に支障をきたすことなく情報を投影することができる。
【００３６】
［第３実施形態］
次に、本発明の第３実施形態を説明する。
【００３７】
本第３実施形態に係る情報呈示装置の構成は、上記第１実施形態に係る情報呈示装置の構成と同様であるので、その説明は省略する。
【００３８】
図５は、本第３実施形態に係る情報呈示装置の動作フローチャートを示す図である。
【００３９】
即ち、本実施形態においては、まず、干渉防止制御部２２を動作停止状態に設定する（ステップＳ１０）。
【００４０】
その後、画像入力部１０のカメラでマーカ２６を撮影した画像をマーカ検出部１２に入力する（ステップＳ１２）。マーカ検出部１２では、画像内からマーカ２６の予め定められた形状、本実施形態では四角枠である枠部を検出する（四角枠の検出は、公知の画像処理手法であるので、説明は省略する）。ここで、そのような枠部が検出できなければ、即ち、特徴点であるマーカ２６が検出できなければ（ステップＳ１４）、上記ステップＳ１２に戻る。
【００４１】
これに対して、特徴点が検出できたならば、次に、検出した四角枠の四隅の画像内での座標を検出し、四角枠の内部を抽出してアフィン変換を行い、アフィン変換後の画像とマーカ情報格納部１６に予め登録してあるマーカ２６のテンプレート画像とのパターンマッチングを行うことで、マーカ２６の同定を行う（ステップＳ１６）。ここで、マーカ２６のテンプレート画像と一致しない画像であれば、即ち、対象物３０の特徴点でなければ（ステップＳ１８）、マーカ２６として検出せずに、上記ステップＳ１２に戻る。
【００４２】
こうしてマーカ２６が同定されると、マーカ情報格納部１６から対応するマーカの空間定位情報（マーカ２６の属するエリア情報、マーカ２６の配置されている位置姿勢情報）を入手できるので、位置姿勢検出部１４では、画像内でのマーカ２６の四隅の位置から画像入力部１０のカメラの位置姿勢を検出することが可能になる（ステップＳ２０）。
【００４３】
関連情報生成部１８は、上記位置姿勢検出部１４で検出した上記画像入力部１０のカメラの位置姿勢に応じて、関連情報格納部２０から予め設定された情報を抽出し関連情報を生成し、投影部２４に供給する（ステップＳ２２）。これにより、投影部２４のプロジェクタからの投影が開始される。
【００４４】
その後、はじめて干渉防止制御部２２の動作を開始させ（ステップＳ２４）、マーカ２６を認識中は干渉防止制御部２２が動作していることになる。
【００４５】
以上のように、本第３実施形態による情報呈示装置においては、干渉防止制御部２２をマーカ検出後に動作させるようにしてマーカ２６の検出に支障がでないようにしたので、マーカ２６を検出する前に必要のない制御を行うことがなく消費電流などの低減を図ることができる。
【００４６】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００４７】
（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
【００４８】
（１）  所定の撮影範囲を有し、当該撮影範囲内の対象物に固定された光学的な特徴を有する特徴点を撮影する撮影手段と、
上記撮影手段に対して所定の位置姿勢で配置され、上記特徴点に関連した情報を投影する情報投影手段と、
上記特徴点と上記撮影手段の位置姿勢を認識する認識手段と、
上記撮影手段によって撮影される画像中における特徴点と上記情報投影手段によって投影される情報との干渉を防止する干渉防止制御手段と、
を具備することを特徴とする情報呈示装置。
【００４９】
（対応する実施形態）
この（１）に記載の情報呈示装置に関する実施形態は、第１乃至第３実施形態が対応する。
【００５０】
（作用効果）
この（１）に記載の情報呈示装置は、干渉防止制御手段により、撮影手段によって撮影される画像中における特徴点と情報投影手段によって投影される情報との干渉を防止する。
【００５１】
従って、この（１）に記載の情報呈示装置によれば、撮影される画像中における特徴点と投影される情報との干渉を防止することができるので、確実に特徴点と撮影手段の位置姿勢を認識することができ、それに基づく関連情報を、多数の作業者等の多数のユーザが同時且つ良好に確認できるように呈示可能となる。
【００５２】
（２）  上記干渉防止制御手段は、上記情報投影手段が上記特徴点を避けて情報を投影するように、投影されるべき情報を制御することを特徴とする（１）に記載の情報呈示装置。
【００５３】
（対応する実施形態）
この（２）に記載の情報呈示装置に関する実施形態は、第１実施形態が対応する。
【００５４】
（作用効果）
この（２）に記載の情報呈示装置によれば、特徴点を避けて情報を投影するので、投影された情報が特徴点に干渉することがない。
【００５５】
（３）  上記干渉防止制御手段は、上記撮影手段が上記特徴点を認識するための特徴点撮影時には上記情報投影手段による情報投影を停止することで、上記特徴点を認識するための特徴点撮影と情報投影とが相補的に実行されるように、上記撮影手段及び上記情報投影手段を制御することを特徴とする（１）に記載の情報呈示装置。
【００５６】
（対応する実施形態）
この（３）に記載の情報呈示装置に関する実施形態は、第２実施形態が対応する。
【００５７】
（作用効果）
この（３）に記載の情報呈示装置によれば、特徴点に関連情報が投影されていても、特徴点を認識する期間は関連情報の投影を停止するため、特徴点と投影された関連情報とが干渉することなく、特徴点の認識が可能となる。
【図面の簡単な説明】
【００５８】
【図１】図１は、本発明の第１実施形態に係る情報呈示装置の構成を示す図である。
【図２】図２（Ａ）は、実空間における対象物を示す図、図２（Ｂ）は、関連情報生成部から生成される関連情報を示す図、図２（Ｃ）は、関連情報を実空間に投影した状態を示す図、図２（Ｄ）は、干渉防止制御部で生成されるマーカの部分に投影される情報データを切り取った関連情報を示す図であり、図２（Ｅ）は、図２（Ｄ）の関連情報を実空間に投影した状態を示す図である。
【図３】図３は、本発明の第２実施形態に係る情報呈示装置の構成を示す図である。
【図４】図４は、干渉防止制御部で生成する投影動作信号及びマーカ認識動作信号のタイミングチャートを示す図である。
【図５】図５は、本発明の第３実施形態に係る情報呈示装置の動作フローチャートを示す図である。
【符号の説明】
【００５９】
１０…画像入力部、  １２…マーカ検出部、  １４…位置姿勢検出部、  １６…マーカ情報格納部、  １８…関連情報生成部、  ２０…関連情報格納部、  ２２…干渉防止制御部、  ２４…投影部、  ２６…マーカ、  ２８…関連情報の画像、  ２８Ａ…３次元モデル、  ２８Ｂ…アノテーション情報、  ３０…対象物。
【図１】
2007206618.tif 000003
【図２】
2007206618.tif 000004
【図３】
2007206618.tif 000005
【図４】
2007206618.tif 000006
【図５】
2007206618.tif 000007