(57)【要約】本発明は、現実環境内に合成情報を投影する方法に関する。ここでは画像処理および／またはパターン識別の手段によって、情報の位置とその投影の間でフィードバック結合を行い、この情報を現実環境内の所定の位置に投影する。
2006513509.tif 000002
【特許請求の範囲】
【請求項１】
現実環境内に合成情報を投影する方法であって、
画像処理および／またはパターン識別の手段によって、情報の位置とその投影の間でフィードバック結合を行い、前記情報を現実環境内の所定の位置に投影する、
ことを特徴とする、合成情報を投影する方法。
【請求項２】
前記画像処理の手段によって、前記情報の表示とその投影の間でフィードバック結合を行い、投影時のマッピングエラーを修正する、請求項１記載の方法。
【請求項３】
移動端末機器、殊に通信端末機器であって、
カメラと、現実環境内に合成情報を投影する投影ユニットを有しており、
画像処理および／またはパターン識別のための手段が、情報の位置とその投影の間でのフィードバック結合のために設けられており、前記情報が現実環境の所定の位置に投影される、
ことを特徴とする移動端末機器。
【請求項４】
画像処理のための手段によって、前記情報の表示とその投影の間でフィードバック結合が行われ、投影時のマッピングエラーが修正される、請求項３記載の端末機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現実環境内に合成情報を投影する方法並びにこのために構成された移動端末機器に関する。
【０００２】
合成情報ないしは付加情報を投影することによって現実世界が拡張される。このような手法は一般的に「強化現実技術（Augmented Reality）」と称される。この方法によってユーザに、特定の任務を処理するのに必要である有用な情報が伝達される。
【０００３】
従って例えば整備任務の際に組立工は、整備施設のカメラ画像内に、次の指示ステップがカメラ画像内の装置の相応する位置に人工的に挿入されることによってサポートされる。これは、整備施設の３次元モデル内のカメラ位置の充分な知識に基づいて、合成画像を投影することによって実現される。
【０００４】
このような方法は、例えば手術中にＸ線画像および超音波画像の観察をサポートするために医療分野においても使用される。
【０００５】
テーマ「強化現実技術」に対する全ての公知な用途において、通常は修正されたカメラ画像である結果画像はディスプレイ上に表示される。従ってユーザは常に自身で、修正された画像内の示された位置を、現実環境または周辺内で再び識別しなければならない。非常に複雑な施設において例えば矢印で、施設のカメラ画像において特定の場所が示される場合、場合によっては相応の、一致する位置を現実の施設内で見つけ出すのが非常に困難になってしまう。
【０００６】
本発明の課題は、上述した欠点を回避することである。
【０００７】
この課題は本発明に相応して方法に対しては請求項１に記載された特徴部分の構成によって解決され、移動端末機器に対しては請求項３に記載された特徴部分の構成によって解決される。
【０００８】
本発明では、合成情報が直接的に現実環境内に投影され、相応する画像位置に表示される。これによって、ディスプレイ使用時の上述の欠点が回避される。
【０００９】
本発明の基礎になる考えは、合成情報ないしは付加情報を現実環境内に、投影ユニットと関連したカメラを使用して投影することである。カメラ画像と投影ユニットの間にフードバック結合を実現することによって投影位置が修正される。
【００１０】
本発明の発展形態では、マッピングエラーを補償するためにカメラ画像と投影ユニットの間でフィードバック結合が実現される。
【００１１】
以下で本発明を、図示された実施例に基づいてより詳細に説明する。
【００１２】
現実環境内に合成情報を投影するために、例えば図１に示された携帯電話ＭＴが使用される。携帯電話ＭＴはこのために、周囲からの画像を記録するカメラモジュールＫを背面上に有している。携帯電話はさらに、画像情報を処理するためのプロセッサと、投影ユニットＰを有している。この投影ユニットは例えば回転可能に携帯電話の上面上に配置されている。携帯電話の前面には表示装置ＡＥが設けられている。
【００１３】
カメラ画像は、デジタル画像処理方法によって評価される。これは一般的にパターン識別方法のことであり、例えば結像された対象物を認識し、識別することができる。これによってモデルへの割り当てが可能になる。従って例えば施設の３次元モデルの情報を基礎として、位置が計算される。この位置の下に例えば矢印（図面には詳細に示されていない）が投影ユニットＰによって現実環境内に投影される。
【００１４】
続いて投影結果がカメラ画像内で評価され、フィードバック結合によって矢印の位置が場合によって修正される。上述したように本発明の発展形態では結像自体も、例えばその大きさに関して修正される。
【００１５】
本発明による方法は、投影ユニットとカメラないしカメラモジュールを使用する。カメラ画像を評価することによって、および３Ｄ対象モデルを基礎とすることによって座標が計算される。この座標で合成情報がプロジェクターＰによって現実環境内に投影される。これによってユーザは直接的に対象で付加的な合成情報を見る。この情報はユーザのさらなる活動を定める。
【００１６】
このようにして整備任務の例においては矢印が直接的に、例えば取り替えられるべき部分に投影される。この場合にユーザはディスプレイないしは表示装置ＡＥを見る必要はなく、示された部分を現実環境内で識別する必要もない。これによって強化現実感を伴う環境が格段に容易に、かつより確実になる。
【００１７】
さらにカメラ画像は永続的に、デジタル画像処理方法による投影結果を監視するのに使用される。投影位置（発展形態ではマッピングエラーも）対象物の３次元状態によって検出され、修正される。マッピングエラーは、例えば矢印の傾斜面での写像時に生じる。修正によって、生じ得る歪みが除去される。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施例を示す概略図。
【図１】
2006513509.tif 000003
【手続補正書】
【提出日】平成16年4月20日(2004.4.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
現実環境内に合成情報を投影する方法であって、
現実環境からカメラ画像を生成し、画像処理および／またはパターン識別の手段によってモデルに割り当て、
当該モデルを基礎として前記情報の位置を計算し、環境内に投影し、
モデル内の前記情報の位置とカメラ画像内のその投影される位置の間でカメラ画像を介してフィードバック結合を行い、
前記モデルによって予め定められた現実環境内の位置に前記情報を投影する、
ことを特徴とする、合成情報を投影する方法。
【請求項２】
前記画像処理の手段によって、前記情報の表示とその投影の間でフィードバック結合を行い、投影時のマッピングエラーを修正する、請求項１記載の方法。
【請求項３】
移動端末機器、殊に通信端末機器であって、
カメラと、現実環境内に合成情報を投影する投影ユニットを有しており、
現実環境からカメラ画像が生成され、画像処理および／またはパターン識別の手段によってモデルに割り当てられ、
当該モデルを基礎として前記情報の位置が計算され、環境内に投影され、
モデル内の前記情報の位置とカメラ画像内のその投影される位置の間でカメラ画像を介してフィードバック結合が行われ、
前記情報は前記モデルによって予め定められた現実環境内の位置に投影される、
ことを特徴とする移動端末機器。
【請求項４】
画像処理手段によって、前記情報の表示とその投影の間でフィードバック結合が行われ、投影時のマッピングエラーが修正される、請求項３記載の端末機器。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
テーマ「強化現実技術」に対する全ての公知な用途において、通常は修正されたカメラ画像である結果画像はディスプレイ上に表示される。従ってユーザは常に自身で、修正された画像内の示された位置を、現実環境または周辺内で再び識別しなければならない。非常に複雑な施設において例えば矢印で、施設のカメラ画像において特定の場所が示される場合、場合によっては相応の、一致する位置を現実の施設内で見つけ出すのが非常に困難になってしまう。
ＷＯ−Ａ−０１５４１１０号には投影されるユーザインターフェースが記載されている。入力のために例えばインターフェース上で指がカメラを介して識別され、操作面に関するその位置に関して評価される。位置を識別するためにインターフェースはカメラ画像に対するマーキングを有している。これによって操作面がカメラ画像内のその位置において識別される。


【国際調査報告】
2006513509.tif 000004
2006513509.tif 000005
2006513509.tif 000006
2006513509.tif 000007
2006513509.tif 000008
2006513509.tif 000009