(57)【要約】  ツールを提供するシステム、装置および方法は視野センサ拡張ツールを利用した対象領域の調査に関与する現場または遠隔地の人員の戦術的または戦略的状況認識を増強する。このセンサ増幅ツールは、対象領域、マップ、ドキュメントあるいは他の物体表面を観察する現場または遠隔地人員の位置基準フレームのために調整された対象領域に関する更新された視覚的テキスト、オーディオおよび図形情報を提供する。シースルーモニタを通して観察しているユーザの視野内で可視である物体または対象領域に投影され、それらと位置合わせされた付加物と拡張実物図形は、観察者からのセンサフィードバックによって編集および操作のために投影図形を選択することができる。【選択図】図８
2010512693.tif 000002
【特許請求の範囲】
【請求項１】
情報表示方法であって、
画像捕獲装置の位置を認識可能な基準目印を有した情報表示面に近接させてデジタルペンを使用することで象徴図を発生させるステップと、
該象徴図をプロセッサに伝達するステップと、
該象徴図を象徴物が表す実物図形に変換するステップと、
ディスプレー装置に前記象徴物が表す実物図形を表示するステップと、
を含んでいることを特徴とする方法。
【請求項２】
情報表示方法であって、
画像捕獲装置の位置を認識可能な基準目印を有した情報表示面に近接させてデジタルペンを使用することで象徴図を発生させるステップと、
該象徴図をプロセッサに伝達するステップと、
該象徴図を象徴物が表す実物図形に変換するステップと、
頭部着用ディスプレー装置に前記象徴物が表す実物図形を表示するステップと、
を含んでいることを特徴とする方法。
【請求項３】
情報表示方法であって、
画像捕獲装置の位置を認識可能な基準目印を有した情報表示面に近接させてデジタルペンを使用することで象徴図を発生させるステップと、
該象徴図をプロセッサに伝達するステップと、
該象徴図を象徴物が表す実物図形に変換するステップと、
頭部着用ディスプレー装置に前記象徴物が表す実物図形を表示するステップと、
を含んでいることを特徴とする方法。
【請求項４】
情報表示面に近接して象徴図を発生させると同時に音声情報を記録して認識するステップをさらに含んでいることを特徴とする請求項１記載の方法。
【請求項５】
情報表示面は該情報表示面の少なくとも片面に印刷されたミクロドットを有したミクロパターンを含んでいることを特徴とする請求項１記載の方法。
【請求項６】
情報表示面に対するデジタルペンの位置に関する該デジタルペンの動作を追尾させるようにミクロパターンは該情報表示面上に登録されていることを特徴とする請求項５記載の方法。
【請求項７】
象徴図をプロセッサに伝達するステップはデジタルペンから象徴図と関連するデータを伝達するステップを含んでいることを特徴とする請求項１記載の方法。
【請求項８】
基準目印は画像捕獲装置の視野内で観察可能な物体を含み、該物体は、図形、英数字、地形、象徴物、手描物、印刷物、投影物および等高線で成る群から選択されるものであることを特徴とする請求項１記載の方法。
【請求項９】
基準目印は画像捕獲装置の視野内で観察可能な物体を含み、該物体は、情報表示面の周囲の少なくとも一部に沿って配置された鏡、情報表示面の周囲の少なくとも一部に沿って配置された動作センサ、および情報表示面の周囲の少なくとも一部に沿って配置された音響センサで成る群から選択されるものであることを特徴とする請求項１記載の方法。
【請求項１０】
基準目印は画像捕獲装置の空間的定位に関する情報を提供するために情報表示面に対して配列されていることを特徴とする請求項１記載の方法。
【請求項１１】
象徴図をプロセッサに伝達するステップは無線通信リンクを介して信号を送信するステップを含んでいることを特徴とする請求項１記載の方法。
【請求項１２】
ディスプレー装置に象徴物が表す実物図形を表示するステップはコンピュータモニタに象徴物が表す実物図形を表示するステップを含んでいることを特徴とする請求項１記載の方法。
【請求項１３】
ディスプレー装置に象徴物が表す実物図形を表示するステップは頭部着用ディスプレー装置に象徴物が表す実物図形を表示するステップを含んでいることを特徴とする請求項１記載の方法。
【請求項１４】
頭部着用ディスプレー装置に象徴物が表す実物図形を表示するステップは実質的に透明なスクリーンに象徴物が表す実物図形を表示するステップを含んでいることを特徴とする請求項１３記載の方法。
【請求項１５】
実質的に透明なスクリーンに物体が表す実物図形を表示するステップは、実質的に透明なスクリーンを越えて視野を維持させつつ象徴物が表す実物図形の観察者に実物図形を観察させるステップを含んでいることを特徴とする請求項１記載の方法。
【請求項１６】
画像捕獲装置は相補型金属-酸化物-半導体（ＣＭＯＳ）画像センサを含んでいることを特徴とする請求項１記載の方法。
【請求項１７】
画像捕獲装置は電荷結合デバイス（ＣＣＤ）画像センサを含んでいることを特徴とする請求項１記載の方法。
【請求項１８】
実物図形が表示された後に象徴図が表す実物図形と相互作用するステップをさらに含んでいることを特徴とする請求項１記載の方法。
【請求項１９】
ディスプレー装置に象徴物が表す実物図形を表示するステップは、情報表示面に象徴図が表す実物図形を投影させるステップを含んでいることを特徴とする請求項１記載の方法。
【請求項２０】
実物画と相互作用するステップはジェスチャーと音声コマンドとを利用して実物図形を操作するステップを含んでいることを特徴とする請求項１７記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般的に基準フレーム（座標系）上に情報を表示するためのシステムに関し、特には基準フレームに対して実質的にリアルタイムで改変処理、上重ね処理、あるいはその他の処理が可能な象徴図情報を解釈するためのシステムに関する。                    
【背景技術】
【０００２】
＜優先権主張＞
本願は２００６年１２月７日出願の米国仮特許願６０／８６９０９３の優先権を主張する。
【０００３】
従来のグラフィカルユーザインターフェース（ＧＵＩ）を採用する現場使用のためのインターフェースは、戦闘状況または災害状況における兵士または救助員の状況認識を補強あるいは向上させるべく意図されている。従来のＧＵＩ要素および設計戦略は、特にインターフェースがラップトップコンピュータの表示スクリーンであるか、または解釈が困難なクラスタ化されたデータまたは画像を表示するパーソナルデータアシスタント（ＰＤＡ）の小型スクリーンであるときには、相当程度のヘッドダウン時間を必要とするであろう。このようなインターフェースはユーザの認識システムにしばしば多大な負担をかけ、特に高危険状況においては相当程度の状況認識を必要とする任務に集中できなくする。このヘッドダウン時間は、GUIにより表示面に情報が表示され、又は読み出されている際に、インターフェース要素又は装置の操作や、情報を表示しているGUIを見て理解するのに費やす時間に比例する。ヘッドダウン時間は、GUIを注視することに関連し、そして、兵士がインターフェース装置を操作するのに費やしたヘッドダウン時間は、兵士の状況認識程度を低下させる。このことは現場利用ＧＵＩおよび関連インターフェース装置の意図する目的とは相反する。紙とインクの通常ドキュメントを利用する現存システムは追加された付加内容のコマンドポストコンピュータへの転記にしばしば専用人員を必要とするため、配置人員に対する戦術情報の伝達が遅れ、その遅れのために状況認識が改善しない。
【０００４】
インターフェースによっては三次元外観を含んでいるが、これらは特殊ホログラフィフィルムと高コヒーレント光源（例えばレーザ）を利用するものであり、再生に高速度が必要なダイナミックに変化する画像に容易には対応できず、しかもこれら三次元画像はコヒーレントな光源の組み換えによって再構築を必要とする。
【０００５】
現場使用のための従来インターフェースに関わる別問題は従来型の入出力機構の利便性が低く、多機能ではないことである。それらはユーザの任務を妨害することなくユーザにシステム操作させることも妨げる。場合によってはこのようなことは危険であり、起きてはならない。軍隊の戦闘想定では、現行の戦場システムはウィンドー、アイコン、マウスポインタ、並びに長時間および高度な注意を必要とし、兵士の状況認識度を低下させるようなメニューを備えたグラフィックユーザインターフェースに依存する。偵察ルートを更新する任務のための現行の運用は制限され、場合によっては通信エラーが発生して数分以上の情報更新遅延を引き起こす。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ツールを提供するシステム、装置および方法は視野域知覚増幅ツールを利用した対象領域の調査に関与する現場および遠隔地の人員の戦術または戦略状況認識を補強する。この知覚増幅（増強）ツールは、対象領域に関する更新された可視テキスト、可聴および図形情報を提供し、対象領域の投影内容を見ている現場または遠隔地の人員の位置基準フレームまたは眺望点のために調整が施されたマップ（地図）、ドキュメント（書面）あるいは他の物体の表面上に投影および記録する。
【課題を解決するための手段】
【０００７】
１つの実施例では、このシステムは対象物の象徴図を解釈し、その後にその象徴図をその対象物の実物描写に変換し、その後にそれら写生図を実質的に透明である表示装置あるいは、少なくとも１名の観察者が見ることができる紙ドキュメントのごとき情報含有表面に表示するか、または他の手段により投影する。この実物描写形態は音声コマンドやハンドジェスチャー等による観察者からのセンサ入力によって編集および操作のために選択される。
【０００８】
本発明の１つの特徴では標準の基準目印を有した情報伝達面に近い象徴図が作成され、処理装置に送られる。そこで処理後に象徴図は、その象徴図が表わす実物描写に変換され、その実物描写は表示のために表示装置に伝達される。
【０００９】
本発明の好適な別実施例を、添付図面を利用して以下において詳細に説明する。
【図面の簡単な説明】
【００１０】
【図１】デジタルペンを使用した信号通信においてヘルメット搭載透明ディスプレーを利用するデータ付加、記録および通信システムの１つの実施例を概略的に図示する。
【図２】ヘルメット搭載透明ディスプレーと信号通信する非透明コンピュータモニタと信号通信する非透明ディスプレーを利用するデータ付加、記録および通信システムの１つの実施例を概略的に図示する。
【図３】図２で図示するシステム１０の別実施例を図示する。
【図４】図３で図示するデジタルペンデータドックの断面図である。
【図５】紙マップ（地図）と組み合わせ可能にパターン化された紙基材を概略的に図示する。
【図６】パターン化された紙基材と一体化された紙マップおよびその一体化された紙マップとパターン化された紙基材の拡大差込図を概略的に図示する。
【図７】データ付加、記録および通信システムの１つの実施例を利用する方法を概略的に図示する。
【図８】第１観察者の眺望点から見られる紙マップ上に投影された拡張された実物の象徴図を概略的に図示する。
【図９】第２観察者の眺望点から見られる紙マップ上に投影された象徴図を概略的に図示する。
【図１０】手描付加物をサングラス形態ディスプレーに伝送するために図１で図示するデジタルペンと信号通信するサングラス形態ヘルメット搭載ディスプレーを概略的に図示する。
【図１１】コンピュータディスプレーのハンド活用ゾーンを概略的に図示する。
【図１２】ヘルメット搭載ディスプレー７０の透明ウィンドー７４を通して眺めるユーザの眺望点からの投影都市景観を見ている近辺ユーザによる投影物体の手（ハンド）操作及び／又は音声操作の対象である紙マップ上に投影されている都市景観を概略的に図示する。
【図１３】付加、記録および通信情報のための拡張システムブロック図を概略的および写生的に図示する。
【発明を実施するための形態】
【００１１】
１つの実施例では、本発明は一般的に可視でありテキスト形式の可聴図形情報等である更新情報を提供する拡張ツールを有したシステムに関する。この情報は遠隔地である対象領域と関連する。例えばこの情報はデジタルペンから受領される。この拡張ツールは、例えばテーブルまたは他の表面のような基準フレームに情報を投影し、または別の方法で表示し、そして受領するように機能する。１つの実施例では、この情報の観察者は基準フレームに対して位置を変えることができ、拡張ツールの少なくとも１つの特徴は観察者の変更位置に基づいて情報の更新映像を観察者に提供することである。
【００１２】
１つの実施例では拡張ツールは、ミクロパターン、マクロ象徴図パターンあるいはそれら両方を含む表面に固定された標準の基準目印を有した、異なる形態のシステム内で利用されている。このような実施例ではデジタルペンの動きはミクロパターンと、さらに大きな認識可能象徴図（human-perceptible symbols）を使用して追尾される。この動きはデジタルカメラ等の画像捕獲装置を利用して一連の画像において観察、追尾および捕獲される。これら象徴図はマイクロプロセッサで処理され、表示装置に表示または投影される。
【００１３】
別実施例では実質的に平坦である表面に標準目印が提供され、方向確認点が指定されて、この実質的に平坦である表面のための位置基準システムが確立される。この標準目印は平坦面の境界及び／又は平坦面内に存在できる。搭載画像捕獲装置を有したデジタルペンと、その画像捕獲装置から信号を受信し、画像信号を処理する指示を受信するプロセッサと、その処理された信号を保存するメモリと、その処理された信号を伝達する通信リンクと、表面記録装置とを有したデジタルペンがユーザによって操作され、標準目印に適用される自己位置認識アルゴリズム（orienteering algorithms）により決定される位置で平坦面に写生図が表示される。
【００１４】
このデジタルペンの記録装置はインク排出スタイラス、ローラボール、フェルト先端部、ペンシルカーボン、エッチング液、穿頭またはカッティングエッジを含み、表面に表示される写生図は標準化された象徴図、英数字テキスト付加物、写生図及び／又は対象物の実物描写を含む。平坦面はテーブル面、箱の側面、地図、ドキュメント、本のページ、新聞、雑誌のページまたはインクや他の筆記物体または記録動作を認知受領できる情報掲載表面である。平坦面は実質的に水平であるか、垂直方向の整合に向けて水平から徐々に傾斜しているものでもよい。この平坦面は湾曲していてもよい。実施例によっては標準目印を半球体、球体およびデジタルペンの記録動作を認知受領できる多角形状の表面に適用できる。
【００１５】
複数の写生図画像が画像捕獲装置によって捕獲され、平坦面に対するデジタルペンの位置はデジタルペン処理装置内での自己位置認識処理（orienteering system）によって得られる。この画像捕獲装置は急速連続画像を取得するように設計された搭載静止画像カメラ、スキャナあるいはデジタルビデオカメラを含む。カメラの光学部品は相補型酸化金属半導体（ＣＭＯＳ）画像センサまたは電化結合デバイス（ＣＣＤ）画像センサを利用する。捕獲されて処理された画像はデジタルペン内に保存され、呼び出され、無線手段によってマイクロプロセッサディスプレーに送られるか、あるいはデジタルペンとは別の追加処理のためにマイクロプロセッサディスプレーと信号通信するデジタルペンドッキングステーションを介して伝達される。
【００１６】
マイクロプロセッサディスプレーは観察者の眼上に着用可能で実質的に透明であるスクリーンまたはウィンドーを、例えばヘルメット搭載ディスプレー（ＨＭＤ）、ヘッドアップディスプレー（ＨＵＤ）またはサングラス型モニタの形態で含む。ＨＭＤ、ＨＵＤまたはサングラス型モニタのスクリーンは、実質的に透明であるウィンドーに構築された減光液晶インターフェース層からの複写図（duplicated sketches）の画像を伝達することができる。あるいは部分反射表面または光学コーティングが利用されている実質的に透明なウィンドーに投影された投影物から観察者に見える反射物として画像を伝達することができる。液晶インターフェース層に伝達されるか、部分反射性コーティングに投影される複写図（duplicated sketches）は、ＨＵＤまたはサングラス形態のモニタの実質的に透明なスクリーンまたはウィンドー内に得られる観察者の視野の残り部分を実質的に変更または妨害することなく観察者に可視状態となる。別実施例ではＨＵＤまたはサングラス型モニタは複写図（duplicated sketches）が投影され、観察者の視野の一部に現れるような位置にまで回転する回転ミラーが利用される。
【００１７】
デジタルペンで追尾される写生図は、象徴図情報の解釈の基礎として利用されるようにメモリファイルまたはルックアップリストあるいは表に保存された形状と比較される認識可能な形状を有した標準象徴図を含む。デジタルペンが描いた形状に合致するルックアップの形状が選択され、音声的に報告されるか、描写された付加象徴図と矛盾しない定義的意味を有したアイコンまたは実物写生図と置換される。軍事活動に関するテンプレートである例えば軍用基準２５２５ｂで解説されたアイコンまたは象徴図、あるいは危機管理利用を必要とする民間緊急時に関わるアイコンおよび象徴図がメモリに保存され、デジタルペンで描写された特定描写形状にマッチングさせられる。医療、民間技術、電気技術、建築、発電所、事業、航空、運輸およびコンピュータとソフトウェア産業のための他の形状テンプレートはデジタルペンによって信号通信のコンピュータシステムのメモリに同様に保存される。デジタルペンが描写した象徴図はコンピュータシステムに保存された画像象徴図の全範囲に対してマッチングされる。有利にはテンプレートの認知写生図は投影手段あるいは液晶インターフェース内に表示される。
【００１８】
標準目印の別実施例は、平坦面の周辺の少なくとも一部に沿って位置する印刷されたミクロドットのアレイを含み、ヘッドアップディスプレーまたは情報表示面への直視線視野を備えたヘルメット搭載ディスプレーに対するデジタルペンの位置の方向性を補助する。平坦面が、例えば地図等のドキュメントであるときには標準目印は自己定義様式であり、ドキュメントの基準図（例えばデカルト座標または極座標あるいは他の地理的目印）はデジタルペンに方向性を付与する基準として作用する。周辺の少なくとも一部に沿って位置する他の標準目印はコード化されているか、あるいはデジタルペンを方向付けている様式化された象徴図及び／又は情報表示面の直視線視野を有するヘルメット搭載ディスプレーを含む。さらに別の標準目印は情報表示面のための基準位置を確立するために検出可能な動作、静電荷、磁界および音響エネルギーに反応する圧力センサ、電荷センサ、磁界センサ及び／又は音響センサを利用する。
【００１９】
情報表示面の境界線内に含まれるドットパターンは情報表示面に対するデジタルペン位置の方向性の基礎を提供する。
【００２０】
標準目印の他の実施例は透明モニタに適用される標準目印も含み、透明モニタの位置はデジタルペンによる記録されている平坦、半球、球状、湾曲または他の形状の表面に関して方向付けられる。これでその表面に対するデジタルペンと実質的に透明なモニタの位置追尾または方向付けの能力が提供される。この多面追尾能力（ｍｕｌｔｉ−ｔｒａｃｋｉｎｇ）は重なる表示写生図の表面に対し、および観察者が平坦面を見るための実質的に透明なモニタまたはウィンドーの方向性に関して方向精度を提供する。このように観察モニタ面上またはモニタ面内に投影される表示写生図は、観察者の眺望点あるいは表面に対する位置基準フレームに関して提示または表示される。このように複数の観察者は、実質的に透明なモニタを個別に着用するが、不透明な異なる位置や情報表示面においても、
ヘルメット搭載ディスプレー面の実質的に透明であるスクリーンに対する位置忠実性を有して、あるいはそれぞれの観察者の眺望点に対する方向忠実性を有して投影される拡張された写生図を受領する。
【００２１】
システムによっては平坦面または他の形状面に三次元外観が提供される拡張実物化プロセスによって準備された写生図のオーバーレイまたは投影図が提供される。実質的に透明なディスプレー上に投影またはその内部に現れるデジタル再生された二次元の拡張写生図と同様に、三次元で現れる象徴図は平坦または他の情報表示面に対する観察者の特殊観察位置に対して補整された眺望図である。この拡張実物化プロセスはＡＲＴｏｏｌＫｉｔを利用することができる。このＡＲＴｏｏｌＫｉｔは、デジタルペンおよび実質的に透明であるモニタの画像捕獲装置の方向性と位置の決定に利用されるソフトウェアライブラリを提供する。この平坦または他の情報表示面および実質的に透明なモニタ上に位置する標準目印に基づく計算は、情報表示面内でのデジタル再生拡張を方向付け、実質的に透明なモニタを着用する観察者の眺望基準フレームに対するデジタル再生増幅の方向付けの基礎を提供する。この計算はほぼリアルタイムでこれら標準目印から実行される。このＡＲＴｏｏｌＫｉｔは米国ワシントン州シアトル市のＡＲＴｏｏｌｗｏｒｋ社から入手できる。
【００２２】
この拡張ツールは観察者の眼上に位置する回転眼鏡あるいは観察者によって着用され、現場または遠隔地の人員の位置基準フレーム用に調整されたヘルメット搭載ディスプレーの形態でよい。センサ式増幅ツールからの情報内容は音声および遠隔操作手法によって操作が可能であり、編集が可能で保存でき、呼び出しが可能であり、現場の人員と遠隔地の人員との間で情報交換が可能である。情報内容は調査されている対象領域に関連すると考えられる情報を含む視野内に投影されたほぼ同時的に現れる付加物または自己識別象徴あるいは象徴図を含む。これらツールの適用は民間及び／又は軍関連状況下での危機管理状況を含み、あるいは対象領域、実質的に平坦である表面あるいは視覚拡張が容易な他の可視空間を共通して観察している観察団体間の協調を促す。
【００２３】
付加物と拡張実物化情報はマップ、ドキュメントまたは他の物体の表面と位置合わせが可能であり、視野内のマップ、ドキュメントおよび表面に投影が可能であり、観察人員による観察、編集、相互作用および操作のため、並びに観察人員と現地から離れたデータベースでのデジタル記録との間の無線共有のために利用できるセンサ媒体となる。認知結果としてマップ、ドキュメントまたは表面に投影された付加物および象徴図は音声操作式あるいは遠隔タッチ操作式であり、または情報価値を有して指定され、特定の基準フレームに対して調整された対象領域を観察する現場人員または遠隔人員のそれぞれに提供される特徴を強調するように目印が付けられている。
【００２４】
図面と解説は、向上された状況認識が、更新された戦術情報または戦略情報を必要とする現場人員および遠隔地人員に提供される危機管理想定を実行している個人または団体にツールを提供するシステム、装置および方法も説明する。これらツールは現場人員と遠隔地人員との間で双方向通信を提供する。さらに、視覚的、聴覚的、音響的および対象領域に対する特定位置基準フレームに従った現場人員および遠隔地人員による観察で検出される自己特定図形物で拡張された最新の戦術情報および戦略情報を発生させ、視覚化し、認識させ、操作させて検出する能力を提供する。
【００２５】
特殊実施例は更新された戦術および戦略情報で拡張された対象領域の無妨害センサ眺望を有する現場人員に提供される。拡張された情報の提供は音声コマンド、動作および他の観察者選択相互作用プロセスで編集可能であり、観察対象領域での現場人員の位置基準フレームに対する空間的忠実範囲内で検出される。拡張された情報の中身はユーザの眼上に位置するシースルーモニタの表示面内に投影される。このシースルーモニタまたは透明モニタはヘルメット搭載ディスプレーであるか、あるいはモニタを隠蔽するようにサングラス形態である。ユーザは対象の光景または表面に対して情報拡張を提供するように投射された付加物および図形を有した頭部着用モニタまたはサングラス形態モニタを凝視する。個別に見ると、投影されたアイコン、図形、テキスト及び／又は手描付加物は、登録された記録で実行し拡張し、そして、現場人員と遠隔地人員との間で交信される。これらシステム、方法および装置は、搭載スキャナ、搭載コンピュータメモリ、インクカートリッジおよびユーザ着用コンピュータモニタまたはユーザが見ることができる位置の他のモニタへの通信リンクを有したデジタルペンを利用し、適時に拡張された状況認識情報を提供する。
【００２６】
以下で解説する内容も、情報の付加、記録および通信のためのいくつかのシステムと方法のための特殊実施例を提供する。特に、ユーザによる状況認識を向上するために戦術情報と戦略情報のほぼ同時的更新を提供するように設計されている実施例を提供する。搭載スキャナ、搭載コンピュータメモリ、インクカートリッジおよびユーザ着用コンピュータモニタまたはユーザが見ることができる位置の他のモニタへの通信リンクを有するデジタルペンを利用するシステムと方法が提供されており、適時に拡張された状況認識情報が提供される。
【００２７】
このデジタルペンはインクを受領する紙基材や他の基材に付加物を追加し、搭載スキャナは、コンピュータメモリに保存可能で、ユーザ着用モニタに対してほぼ同時的に伝達するようにメモリから呼び出せる付加物付きの英数字、写生図または他の図形情報を捕獲する。別実施例においては、紙基材はパターン化された下敷層または共同層を有し、英数字および図形付加物に対して基準座標を提供している。この付加物情報は無線通信または有線通信手段でメモリからコンピュータモニタに送信される。このコンピュータモニタは、向上された状況認識を必要とする屋内空間または屋外空間のヘルメット着用者の視界を妨害することなく付加物情報を表示するヘルメット搭載透明ディスプレーまたはシースルーディスプレーを含む。
【００２８】
このシステムには紙マップおよび仮想的で大型である座標処理されて協調的なデジタルフィールドディスプレーおよび入力スクリーンまたは入力媒体の投影および位置合わせのための表面物体として利用される他の物体の使用が含まれる。投影されて位置合わせされたデジタル式に拡張された図形物はユーザに戦略的及び／又は戦術的な重要性を有した情報を迅速に付加させ、迅速活動に関与する人員に迅速に転記させて活動時間が長くなるようにする。投影表示はデジタルマップを含み、モニタ７０と類似する実質的に透明なモニタを利用する他の人々によって観察され、それぞれの眺望点または基準フレームに対して位置的に調整された様々な物理的サイズとスケールの高解像度マップ／写真を提供する。これで仲間と自然に連携する能力が備わる。戦略的及び／又は戦術的情報のほぼ瞬間的な更新のためのデジタルツールは最低限の訓練と試験を必要とする。それによってユーザは容易に適応でき、ユーザは手書き写生図または筆記および場合によっては音声の自然なインターフェースの利用を必要とするだけである。
【００２９】
搭載スキャナ、搭載コンピュータメモリ、インクカートリッジおよびコンピュータモニタへの通信リンクを有したデジタルペンを利用する付加物が作成される紙マップまたは他の携帯式媒体が提供される。デジタルペンはインクを受領できる紙基材および他の基材に負荷し、搭載スキャナはコンピュータメモリに保存可能な付加英数字、写生図または他の図形情報を捕獲する。別実施例では紙基材はパターン化された下敷層または共同層を有し、英数字および図形付加物に基準座標を提供する。付加物情報は無線通信または有線通信によってコンピュータモニタに送られる。コンピュータモニタには、状況認識を必要とする屋内空間または屋外空間のヘルメット着用者の視界を妨害せずに付加物情報を表示するヘルメット搭載透明ディスプレーまたはシースルーディスプレーが含まれる。
【００３０】
実施例によっては搭載スキャナ、搭載コンピュータメモリ、インクカートリッジおよびコンピュータモニタへの通信リンクを有したデジタルペンが提供される。デジタルペンはインクを受領することができる紙基材および他の基材に付加し、コンピュータメモリに保存できる搭載スキャナは付加英数字、写生図または他の図形情報を捕獲する。別実施例では紙基材はパターン化された下敷層または共同層を有し、英数字および図形付加物に基準座標を提供する。付加された情報は無線通信または有線通信にてコンピュータモニタに送られる。コンピュータモニタは、特に状況認識を必要とする屋内空間または屋外空間のヘルメット着用者の視野を妨害せずに付加された情報を表示するヘルメット搭載透明ディスプレーまたはシースルーディスプレーを含む。
【００３１】
別実施例は捕獲された手描付加物を処理し、処理された手描付加物をヘルメット搭載透明モニタに中継する非透明コンピュータモニタを含む。他の別実施例は拡張実物化、ハンド活性およびモニタ表示された物体、アイコンまたは対象領域の操作を利用した追加処理を含む。他の特殊実施例は手描付加物、アイコン表示および他のモニタ表示領域または対象地点情報と関連する情報のマイクロフォン伝達音声入力改変または注釈を含む。
【００３２】
図１はデジタルペン１２と信号通信するヘルメット搭載透明ディスプレー７０を利用したデータ付加、記録および通信システム５を概略的に図示する。このデジタルペン１２は筆記具または作画器具として機能し、ローラ先端部、フェルト先端部または他のインク配布機構を有したインクカートリッジ１４を含む。デジタルペン１２の電子部材は電池、カメラ１８、プロセッサ２２、メモリ２２および無線トランシーバ２８を含む。無線トランシーバ２８はブルーツーストランシーバを含むことができる。デジタルペン１２はユーザ３０によって操作され、対象地点ＰＯＩ４２を有した紙マップ４０と接触係合する。例えば、ＰＯＩ４２は等高線、建造物、貯水池、湖沼、河川、道路、発電所、軍基地、地図座標、地形座標または他の対象領域（ＲＯＩ）の情報を含むことができる。インクカートリッジ１４のインク配布機構は紙マップ４０の表面にユーザ３０による付加物５０、５４、５８、６０の作図を示す。付加物５０、５４、５８、６０は、付加物がユーザ３０によって紙マップ４０に作画されているときに付加物５０、５４、５８、６０の一連の画像を撮影あるいは迅速に取得するカメラ１８の視野内に存在する。紙マップ４０の表面に対する付加物５０、５４、５８、６０の位置は、搭載加速計および搭載速度計（図示せず）によって、または図３と図４において以下で説明するように紙マップ４０内に位置する位置あわせパターンによって決定できる。この位置あわせパターンは、図３に関して以下で解説するように光学機器およびカメラ１８の関連電子部材によって認識できる。無線信号６４は無線トランシーバ２８によって、ユーザ３０によってマップ付加物が創造された位置から離れて利用されている着用者７０のヘルメット７６に着脱式に取り付けられたヘルメット搭載ディスプレー（ＨＭＤ）７０に送信される。ＨＭＤ７０はシースルーまたは透明モニタウィンドー７４とメモリ（図示せず）並びに保存されたデジタルマップファイル８０をＨＭＤ７０のメモリから着用者７８によって呼び出させる操作システムを含み、図８と図９で解説する拡張実物化インターフェースが見られるように設計されたマルチモーダル式である。呼び出し可能なデジタルマップファイル８０は電子ＰＯＩ８２の均等物の形態で紙マップ４０の非負荷ＰＯＩ４２の情報を複製する。
【００３３】
紙マップ４０の付加物（５０、５４、５８、６０）はデジタルマップファイル８０で更新され、透明モニタウィンドー７４に重ねられるが、それは着用者７８の視界を実質的に妨害しない程度である。この図面は着用者７８が存在する地形部（ここではサボテン荒野）を含む。デジタルマップファイル８０は紙マップ４０の付加物５０、５４、５８、６０のデジタル画像均等物である画像付加物１５０、１５４、１５８、１６０で更新される。これら画像付加物１５０、１５４、１５８、１６０は付加物５０、５４、５８、６０が紙マップ４０のＰＯＩ４２と地理的に忠実に位置することによりデジタルマップ８０のＰＯＩ８２に地理的に忠実に位置する。透明モニタウィンドー上またはその内部には、地図座標（０、２０、１、０、Ｎ）、眺望タイプ（勾配、ズーム）、ナビゲーションパネル（Ｎａｖ）およびコントロールステータス（ここでは非使用マークが“自動コントロール”の文字上に付されている）を含んだ情報ツールバー９０が重ねられている。拡張ウィンドー１７０は着用者７８による制御下で操作状態であり、デジタルマップ８０の選択ＰＯＩ８２を選択し、選択されたＰＯＩ８２内でさらに詳細な考察のためにそのサブセクションを拡張する。
【００３４】
図２は軍隊戦闘力戦術（ＢＦＴ）想定で信号通信デジタルペン１２のコンピュータシステム１２０を利用したデータの付加、記録および通信システムの例示的別実施例１０を概略的に図示する。軍隊行動シナリオで解説されているが、以下の解説は軍隊での利用に限定されず、建築設計のごとき民間状況にも適用できる。ここで解説されているようにコンピュータシステム１２０はコマンドおよびコントロールパーソナルコンピュータ（Ｃ２ＰＣ）として作動し、戦闘力コマンド組織（ＦＢＣＢ２）およびコマンドポストオブフューチャ（ＣＰＯＦ）との相互作用性または共立性を提供する。コンピュータシステム１２０は類似状況において民間団体で同様に作用し、複数の人員が見られるように光景を拡張するために付加物またはデジタル物体の複製を伝達する。コンピュータシステム１２０は相当性能のプロセッサ機能、メモリ保存機能およびオペレーションシステムを有しており、以下において図３と図４に関して解説するようにデジタルペーパ上にユーザ３０によって作成される手描付加物で更新されるデジタルマップファイルを呼び出し可能にし、コマンドおよびコントロールコンピュータ通信オペレーション（Ｃ４）をサポートし、集中データベースを更新する。
【００３５】
システム５の操作と同様に、システム１０はマップ付加情報である例えば負荷物５０、５４、５８、６０をコンピュータシステム１２０のディスプレー１６０に送り、そこでマッチするマップファイルはユーザ３０によって作成される手描付加物５０、５４、５８、６０で更新される。ここで、コンピュータシステム１２０は、コンピュータシステム１２０を操作するように設計された車両基地または前線基地（ＦＯＢ）１６５に配置できる。ＦＯＢ１６５から着用者７８はデジタルマップ８０の新メモリファイルを、コンピュータシステム１２０と信号通信するＦＯＢ１６５から伝達される信号１６４を介して更新された画像付加物１５０、１５４、１５８、１６０と共に受領できる。あるいはヘルメット搭載ディスプレー７０の保存デジタルファイル８０は信号１６４を介して伝達される内容を介して更新された画像付加物１５０、１５４、１５８、１６０により改変できる。実施例によっては、コンピュータシステム１２０は保存済みデジタルマップファイルの更新のためにマップ画像付加物１５０、１５４、１５８、１６０をヘルメット搭載ディスプレー７０に直接的に無線送信するか、あるいは更新された画像付加物１５０、１５４、１５８、１６０を含んだマップ８０の新デジタルファイルを受領する。
【００３６】
図３は図２で図示されたシステム１０の例示的別実施例を概略的に図示する。ここではデジタルペンドッキングステーション２００はコンピュータシステム１２０と有線通信している。ユーザ３０がさらに安全な状況で信号送信することを所望するか必要とするなら、デジタルペン１２はドッキングステーション２００との信号通信状態に置かれる。信号ケーブル２０４を介して画像付加物１５０、１５４、１５８、１６０はデジタルペン１２からＦＯＢ１６５の付近で作動するコンピュータシステム１２０へと送られる。信号ケーブル２０４はＵＳＢ、ファイヤワイヤおよび並列ポート形態と直列ポート形態を含むことができる。コンピュータシステム１２０の内部ではマップ付加情報である例えば画像付加物１５０、１５４、１５８、１６０の形態で手描付加物５０、５４、５８、６０がディスプレー１６０に表示され、そこでマッチするマップファイルが更新される。あるいは新マップ画像ファイルが画像付加物１５０、１５４、１５８、１６０で作成される。
【００３７】
前述および以下で記載するシステムと方法の別実施例ではヘルメット搭載ディスプレー７０の着用者７８またはデジタルペン１２とコンピュータシステム１２０を操作するユーザ３０との間の対面型協調または遠隔協調が提供される。対面型協調は自身のデジタルペン１２を有したユーザ３０と共有紙マップ４０を使用するユーザ３０との間で提供される。それぞれのユーザ３０は自身のデジタルペン１２を利用でき、マップ４０に重ねられた同一情報または異なる情報を見ることができる。それぞれのユーザ３０はペーパマップ４０でユーザの視点から付加物を見ることができる。このシステムはまた遠隔地のヘルメット搭載ディスプレー７０の着用者７８との分布協調利用をもサポートする。この場合には異なるヘルメット搭載ディスプレー７０の着用者７８は音声、作図、ハンドジェスチャーおよびオーバーレイされた情報を使用して協調することができる。遠隔地に送られたユーザは自身の紙マップ４０あるいはシースルーモニタ７４内で見られる地形部で与えられた自身のＨＭＤ／ＨＵＤ７０のシースルーディスプレーにオーバーレイされた互いの付加物を見ることができる。
【００３８】
図４は図３のデジタルペンデータドッキングステーション２００の断面図である。上蓋２０８が回動して開き、ドッキングステーション２００の内部にデジタルペン１２を収容させる。下蓋２１０も回動して開き、信号ケーブル２０４をドッキングステーション２００の電気接点２１４と接続させる。電気接点２１４はＵＳＢ、ファイヤワイヤおよび並列形態および直列形態のケーブルと共用できるように設計されている。回路ボード２１８はデジタルペン１２の外部接点（図示せず）を介してメモリ２４に電気接続し、電気接点２１４を介してケーブル２０４への伝達のために画像付加物１５０、１５４、１５８および１６０のスキャン処理された画像を有した画像ファイルを呼び出させるように信号を送る。さらにドッキングステーション２００の内部でスロットに保存された交換インクペン１４が図示されている。
【００３９】
図５は紙マップ２５０と組み合わせ可能なパターンアレイ２４０を有した基材を概略的に図示する。このパターンアレイ２４０はデジタルペン１２のスキャナ１８により見られる複数のドットまたは他の形状あるいは表示を含む。このパターンアレイ２４０は米国特許６８３６５５５、６６８９９６６および６５８６６８８に解説されているアノートパターンを含む。アレイ２４０は準通常グリッド形態で構成されたミクロドットのアレイで成る。ユーザ３０はデジタルペン１２を使用してアノートパターンで設計されたこの紙基材の上に筆記することができる。ユーザ３０が紙基材上に筆記するときカメラ１８はグリッドパターン上のデジタルペンの動きを撮影し、紙基材上のどこをデジタルペンが移動したかを決定できる。薄灰色を提供するアノートパターンに加えて、紙基材自体が、アレイ２４０を知覚するためにスキャナ１８の視認性を阻害しない程度にインクで印刷されたものを有することができる。地図に加えて、他の紙基材である例えば構造化された形態物がパターンアレイ２４０と共に使用可能である。
【００４０】
図６はデジタルペーパハイブリッドマップまたはＮｅｔＥｙｅｓマップ２６０を形成するためにパターンアレイ２４０と合体した紙マップ２５０を図示する。長方形２８０で囲んだ拡張挿入部は印刷マップの部位に対するパターンアレイ２４０を図示する。このハイブリッドマップまたはＮｅｔＥｙｅｓマップ２６０はデジタルペン１２の手描付加マップに対する地理的忠実性と正確性をもってオーバーレイされた画像付加物を有した更新デジタルマップの伝達を受領するように装備されたネットワークで手描付加物の位置を正確に囲むようになっている。
【００４１】
デジタルペン１２、コンピュータシステム１２０およびハイブリッドマップ２６０は障害状態を乗り切るための強靭さを付与する耐久性材料で製造される。増幅実物およびマップ加描物５０、５４、５８、６０のために使用される表示は軍規格２５２５ｂで指定された象徴図を採用できる。
【００４２】
図７は拡張可能マークアップ言語（ＸＭＬ）ドキュメントのマルチキャストインターフェースに集中するデータ付加、記録および通信システムの１実施例を利用した方法を図示する。これらＸＭＬドキュメントは様々な団体の駐在地でデジタルペン１２及び／又はコンピュータシステム１２０を占有あるいは使用している複数のユーザ間の協調プロセスによって付加物により更新されている。例示として、これら団体駐在地は軍隊作戦ＣＰＯＦおよびＦＢＣＢ２コマンド並びにコントロールワークステーションあるいは同様または異なる階層権限を有した他の民間等価体を含むことができる。プロセスブロック３０２で始めてデジタルペン１２を利用する手描付加はパターンアレイ２４０に対して同様に機能するアレイ構造を有した非パターンペーパまたはパターンペーパで実行される。プロセスブロック３１０において付加物５０、５４、５８、６０で解説したように、類似はするが限定はされない少なくとも１つであるが、通常は複数である手描付加物がデジタルペン１２のスキャンカメラ１８によって得られる。その後にプロセスブロック３２０にて、手描付加物の地理座標がマップ含有パターンアレイ２４０から、あるいはデジタルペン１２の搭載加速計および速度計により計算されて決定される。その後、グリッドがプロセスブロック３２４で描写され、プロセス３２８でコマンドおよびコントロールワークステーションに配置されたコンピュータシステム１２０に類似するコンピュータシステムにてインターフェースされる。画像付加物はその後にブロック３３２で描写され、プロセスブロック３３６でコマンドおよびコントロールワークステーションにてディスプレーインクでオーバーレイされる。プロセスブロック３３６のコマンド及びコントロールワークステーションとマルチキャストインターフェースブロック３４４との間にて、プロセスブロック３４０の必要に応じて描写グリッドが適用される。プロセスブロック３５２で、付加物を含むドキュメントンのＸＬＭオーバーレイが準備され、ブロック３５６にてコマンドおよびコントロールワークステーションまたは別のＢＦＡにてディスプレーインクとして提供される。プロセスブロック３５６にてコマンドおよびコントロールワークステーションまたは別のＢＦＡからの入力はプロセスブロック３４４でマルチキャストインターフェースに送られる。その後、コマンドおよびコントロールワークステーションからの入力はディスプレーインクとしてコマンドおよびコントロールワークステーションにプロセスブロック３４８で送られ、プロセス３００が終了する。
【００４３】
図８は第１観察者４０１の内部−外部の眺望で見られる紙マップ上に投影される象徴図を概略的に図示する。第１観察者４０１はヘルメット搭載ディスプレー７０を装着し、透明ウィンドー７４を通してマップ４００を眺める。コンピュータシステム１２０から受信した信号は拡張実物内容を有しており、拡張実物象徴図のフィールドがヘルメット搭載ディスプレー７０の着用者４０１によって見られている紙マップ４００と協調的に位置合わせされた透明モニタウィンドー７０上に投影される。紙マップ４００はそのサイズおよび視認詳細情報に応じた増強解像度を提供し、位置精度を有し、特定ヘルメット搭載ディスププー７０の着用者４０１の基準フレームに関して提供された拡張実物象徴図または図形を配置する天然目印または基準位置を提供する。この象徴図はマップ４００に位置合わせされたヘルメット搭載ディスプレーに投影された軍の表示および作戦関連図形を含むことができる。拡張実物図形は選択式であり、特定ヘルメット搭載ディスプレー７０の着用者４０１により表現される音声または動作コマンドによって反応する。
【００４４】
この図面ではヘルメット搭載ディスプレー７０の着用者４０１の眺望点から、投影象徴図の内部−外部図がヘルメット搭載ディスプレー７０の着用者４０１によって見られる。この投影された象徴図では境界線スクリーン４０４、保護ドーム４０８、４１２、４１６、防護バリア４２０、武器源４２８から放射される攻撃光線４２４および対抗アイコン４３２が紙マップ４００にオーバーレイされている。拡張実物象徴図は以下で解説するようにハンドジェスチャー、デジタルペン１２の操作および音声または言葉によるコマンドの組み合わせを利用してさらに操作される。紙マップ４００にオーバーレイされる拡張実物象徴図の画像ファイルは着用式ヘルメット搭載ディスプレー７０を有する他のユーザに画像ファイルに沿って分離スタンドとして伝達される。紙マップ４００は付加された写真であってもよく、拡張実物図形象徴図は位置忠実性をもって配置される。更新されたマップまたは写真デジタルファイルは画像付加物１５０、１５４、１５８、１６０に類似するデジタルペン付加物のオーバーレイと拡張実物象徴図のオーバーレイを含む。デジタルペン付加物と拡張実物オーバーレイはマップ４００に対して位置忠実性を提供し、座標は中央コマンドおよびコントロールコンピュータシステム及び／又はコンピュータシステム１２０あるいはデジタルペン１２の搭載メモリ２４に類似した脱集中コンピュータシステムのメモリに伝達される。デジタルファイルの更新またはバージョン更新は力学的であり、付加物または拡張実物エンティティの実物または類似トラックを含む。更新マップ４００のデジタルバージョンは複数のユーザによって見られ、例えば地形マップにオーバーレイされた対象地形特徴部または地点である三次元モデルを含む。
【００４５】
そのような拡張実物投影マップは、対象空間と他の対象領域の調査に関わる人員の状況認識の最良化が関与する危機管理実行ツールを提供する。上述の付加物であり、図８で示す拡張実物図形は１枚の紙基材上で描写する能力を提供し、その後にトラフ用ソフトウェア実行可能インストラクションはコンピュータシステムを提供し、どの付加物と図形物体が描写あるいは写生されたかを認識する。その後に創出または写生されたデジタル物体に基づいて供給付加物及び／又は図形象徴図が、言葉認識、音声認識または、例えばハンドジェスチャー等の物理的動作あるいはそれらの組み合わせによって選択され、編集され、操作される。創出されたデジタル物体は着用者７８が見ているシースルーモニタ７４の視野内に投影される。このデジタル物体はマップ物体、ドキュメント物体である例えば新聞、コンピュータ支援設計ＣＡＤ作図、建造物の建築図面、白紙、または付加物、テキスト及び／又は写生物を受領できる全ての表面上に投影および位置合わせできる。全ての付加物、写生物及び／又は拡張実物図形は物体表面に対する観察者頭部の独特の位置に従って位置取りされる。
【００４６】
象徴図は観察者頭部の表面に対する位置を追尾する能力も提供し、ソフトウェア実行可能なコードは表面に位置合わせされた投影物の結像を提供する。投影され、位置合わせされた結像は新物体であるデジタル物体を創出する位置を提供し、別々の公共環境下での表面考査によってさらに増強される。例えばユーザは新聞を見ているがこれから起きる出来事に関連するデジタル物体を創出しているとする（図１０参照）。マップ４００上、マップ４００に沿い、あるいはマップ４００内の標準目印とヘルメット搭載ディスプレー７０は地面を基準としており、静止衛星マッピング技術で追尾されており、またはマップ４００の標準目印と観察者４０１と４０３のヘルメット搭載ディスプレー７０の標準目印の探索および追尾能力を有した他場所の搭載カメラシステム（図示せず）によって追尾される。利用される追尾技術は米国ワシントン州シアトル市ＡＲＴｏｏｌｗｏｒｋｓ社から入手できるＡＲＴｏｏｌｋｉｔとして提供される拡張実物化プロセスを利用できる。これらＡＲＴｏｏｌｋｉｔ追尾技術はハンドジェスチャー、音声、言葉および他の物理的プロセスに反応し、投射された実物描写、象徴図、アイコン、付加物、英数字および他のモニタ提供領域または対象情報地点の相互作用、操作、編集および再配置をさせるように設計された標準目印で作用するようにプログラムできることが有利である。
【００４７】
図９は第２観察者４０３の外部−内部眺望で見られる図８で図示する紙マップ４００に投影された象徴図を概略的に図示する。ここで図示するように第２観察者４０３は第１観察者４０１の対角線上に立脚する。第２観察者４０３はヘルメット搭載ディスプレー７０を装着し、透明ウィンドー７４を通してマップ４００を見つめている。コンピュータシステム１２０から受領した信号は拡張された実物コンテンツを有しており、拡張実物象徴フィールドはヘルメット搭載ディスプレー７０の着用者４０３によって見られている紙マップ４００と座標的に位置合わせされた透明モニタウィンドー７４に投影される。この図面ではヘルメット搭載ディスプレー７０の着用者４０３の眺望点からの投影象徴図の外部−内部眺望はヘルメット搭載ディスプレー７０の着用者４０３によって見られる。ヘルメット搭載ディスプレー７０の着用者７８の異なる位置の追尾によって画像付加物と共に拡張実物象徴図は、同一戦闘地域に対する着用者７８の位置に従って自身を表示する。ここで保護ドーム４０８、４１２、４１６は防御バリア４２０の前方に位置し、そこで攻撃光線４２８はブロックされている。オーバーレイされている情報はそれぞれのユーザ自身の物理的眺望図として観察される。ヘルメット搭載ディスプレー７０の着用者である第１観察者４０１と第２観察者４０３には戦闘地域の異なる投影図で拡張実物投影または付加物投影が提供され、コンピュータシステム１２０またはデジタルペン１２から同一の更新通信を受信する。
【００４８】
図１０はサングラス着用者により着用されているヘッドアップ型シースルー透明ディスプレー５０４を利用するサングラス５００の概略図である。このサングラス５００は図１で図示するデジタルペン１２及び／又は図２と図３で図示するコンピュータシステム１２０と信号通信している。付加物５０、５４、５８、６０に類似する手描付加物は画像付加物１５０、１５４、１５８、１６０として表れ、そこでドキュメントの対象領域５１０がサングラス着用者の視界内に現れる透明ディスプレー５０４にオーバーレイされる（重ねられる）。サングラス着用者は破線で示される傾斜視線によって囲まれたドキュメントの対象領域５１０内で手描画像付加物及び／又は拡張実物象徴図を観察する。
【００４９】
公共施設で着座し、透明ディスプレーウィンドー５０４を通して眺める眼鏡着用者の視野内に、軍隊シナリオ作戦が目立たないように可視化されている。例えばその眼鏡着用者は別のコマンドおよびコントロールセンターから送られる付加象徴図を備えた対象領域５１０内を観察できる。これらコマンドおよびコントロールセンターは、図７の例ではレストランテーブルに着座し、戦術作戦センター（ＴＯＣ）から付加更新情報を受領している眼鏡着用者から離れた場所で実施されている作戦コントロールシステム（ＭＣＳ）関連活動に関与するＣ２ＰＣ、Ｃ４、ＣＰＯＦ、ＦＢＣＢ２として表示されている。
【００５０】
図１１は、動作センサ、音声および言葉を介して仮想的に相互作用式あるいは対話式にプログラム可能な物体表面（例えば紙マップ、ドキュメントあるいはテーブル面）に投影可能なハンドおよび言葉起動ゾーン５５０のフィールドを概略的に図示する。ユーザの手は、動作センサ（図示せず）が、特定の画像操作（例えば付加物選択または拡張実物選択、並びに動作で選択された付加物または選択された象徴図の編集）を表すようにプログラムされた動作を伝達するように動作あるいはジェスチャーする。同様に、特定された音声パターンからの標準化された言葉コマンドがプログラムされ、起動ゾーンを区別的に起動させ、仮想表示面を創出する。１つの実施例においてユーザは基準として紙マップを利用し、ユーザに対して関連デジタル情報をオーバーレイする。このデジタル情報はデジタルペン１２から通信された手描付加物の形態でも、コンピュータシステム１２０から受領した拡張実物図形であってもよい。デジタル手描付加物または拡張実物図形はフィールド起動ゾーン５５０にオーバーレイされる。この起動ゾーン５５０はサイズと位置を変動させることができる。例えば平坦面周囲の少なくとも一部に沿って存在し、及び／又は平坦面内に存在することができる。起動ゾーン５５０はドキュメントまたはマップに敷くデジタル化パッドの形態であってもよく、例えば接触圧力および音声圧力である複数形態の圧力源に個別に反応するものでよい。起動ゾーン５５０はコード化された成句または音声イントネーションで話されるマイクロフォンによって伝達される音に反応するか、あるいは平手打ち音に反応するように個別の音響に対する感度を有することができる。起動ゾーン５５０はハンドウェーブあるいはハンドジェスチャーの種類と程度に反応するように設計することもできる。
【００５１】
別実施例においては、ステレオカメラが物体表面周囲に沿って、あるいは起動ゾーン５５０に対するユーザの手の位置を追尾できる他の位置に配置できる。投影付加物及び／又は図形物体選択並びに操作の目的でユーザの手を認識するため、カメラ追尾データはコンピュータプロセッサに送られる。追尾・認識ソフトウェアは重ねられて投影され、位置合わせされた拡張実物図形物体及び／又は付加物を起動ゾーン５５０上の仮想空間内で選択、描写及び／又はさらに付加処理させる。この追尾・認識ソフトウェアは定められたジェスチャーに反応して認識するようにプログラム可能であり、デジタル紙マップのユーザは対面式と遠隔式にユーザに他のユーザと写生図を共有させ、それぞれ投影され、位置合わせされたオーバーレイがユーザの眺望点に対する位置忠実性で表示されるように異なるユーザ間に追尾能力を提供する。
【００５２】
図１２は投影された仮想物体の位置合わせの目的で、方向付けされた境界、座標および基準目印を確立させるために紙マップ、ドキュメント、テーブル面または他の物体面にオーバーレイされる起動ゾーンフィールド５５０上にオーバーレイされた投影都市景観５６０を概略的に図示する。投影された都市景観５６０は操作可能、編集可能あるいは図１に関して解説したヘルメット搭載ディスプレー７０に類似したシースルーモニタを装備した近隣ユーザと対話式である仮想モデルの例である。この都市景観の仮想モデル５６０は起動ゾーンフィールド５５０上に投影され、ヘルメット搭載ディスプレー７０の透明ウィンドー７４を通して眺めるユーザの眺望から現れる。ユーザは動作センサ（図示せず）と起動フィールド５５０と信号通信する着用可能なスピーカ・マイクロフォン装置５６０を有する。動作センサ（図示せず）はユーザが着用でき、起動フィールド５５０と投影仮想モデル都市景観５６０がその上にオーバーレイされている表面に対するユーザの手の方向性、境界および位置を確定するためにマップ、ドキュメントあるいは表面の周囲に沿って配置される。ヘルメット搭載ディスプイレー７０を着用する近隣ユーザは透明ウィンドー７４を通して眺めており、手動起動ゾーン５５０上にオーバーレイされた三次元モデル上に配置された手動起動可能で付加可能な拡張実物象徴図にオーバーレイされた都市景観５６０を見る。例えば建物、通り、あるいは別な対象領域の投影都市景観５６０内の対象点はハンドジェスチャー及び／又は音声あるいは言葉コマンドによりハイライト処理され、ユーザの位置基準フレームまたは眺望点で方向調整される。付加物５６５もハイライト処理のため、または他の改変編集のために選択できる。
【００５３】
デジタルペン１２のカメラ１８の別実施例はユーザのハンドジェスチャーを追尾し、ハンドジェスチャーに実物マップ上にオーバーレイされる仮想内容の自然ジェスチャー入力を提供させる。例えばユーザは三次元建物または他構造物あるいは対象領域を投影都市景観５６０内で指差し、言葉コマンドを利用して描写される物体に関するさらに多くの情報を伝える。これで手による仮想内容の自然封入ができる。他の現場ユーザは紙マップ４０の一部、ドキュメントあるいは他の物体表面に形成された起動フィールド５５０上に重ねられたデジタルコンテンツに位置合わせされた仲間のハンドジェスチャーをも見ることができる。座標追尾システムはマップの特徴を学習し、階層的に容易に区別できるユニークポイントを確定する。例えばデジタルペン１２のカメラ１８に可視であるマップの選択エリアのサイズに関係なく４つのユニークポイントがいつでも区別できるように４つのユニークポイントを選択することができる。これらのユニークポイントが見つかると、それらはリアルタイムでユーザカメラの正確な位置（および視点）の決定に利用される。このカメラ情報を利用して仮想情報（ライブの三次元データを含む）が実物マップにオーバーレイされ、ユーザ追尾のためのデータが提供される。この追尾性能は知られた可視特徴からユーザ視点を計算することができる。この場合、本発明はマップ情報を利用する。しかしながら見掛け上は、この追尾は車両フード上あるいは装備品ボックス上、等々のカモフラージュ模様からでも機能する。よってこの技術は仮想情報ディスプレーのためにどのような表面でも利用可能とする。
【００５４】
ユーザが描き始めると、付加物５６５に類似するデジタルインクは対等地位、下位地位あるいは上位権限を有した他人によって見られる。各観察者は自身の特殊眺望点に対して方向付けられた仮想モデル都市景観５６０と付加物５６５を見る。１特定実施例は戦闘力表示物、作戦図または他の象徴および絵画描写で成る形態でデジタルペーパ上に地球空間的に位置合わせされた物体をオーバーレイすることで反応を提供する。ハンドジェスチャー、ペン操作および音声コマンドの組み合わせを活用して対等地位のユーザと上位関係を有したユーザは互いにマルチモーダル式に対話あるいは相互作用し、変化して動的である条件下で状況認識を入手して維持する。付加更新、通信および追尾実物並びに仮想ドキュメント更新のためのシステム構造を以下で解説する。
【００５５】
シースルーモニタヘルメット搭載ディスプレー７０によって視覚化される都市景観５６０が描写されている投影三次元形態仮想物体に類似する他の実施例は、ヘルメット搭載ディスプレー７０に類似したモニタを装備していないか、あるいはコンピュータシステム１２０を装備していない人物が見ることができる二次元画像として視覚化される。例えばデジタルペン１２及び／又はコンピュータシステム１２０と信号通信する光学プロジェクタはフィールド用マップ４００または他のドキュメントに都市景観５６０の二次元表示物、画像付加物１５０、１５４、１５８、１６０および５６５に類似した付加物、あるいは図１と図８で図示する二次元等価図４０４、４０８、４１２、４１６、４２０、４２４、４２８、４３２である拡張実物図を投影する。この光学プロジェクタは、例えば携帯電話のごとき手持ち装置に収納でき、眺望位置または二次元投影物を受領するマップ、ドキュメントあるいは物体表面の位置基準フレームに関して二次元投影物が投影されるようにカメラ型追尾装置を装着できる。これらの二次元投影物は図５と図６で図示したパターンアレイ２４０を必要とせずにマップ４００または他のドキュメントに位置合わせできる。投影された二次元内容物の選択、編集および操作は、図１１で図示するフィールド起動ゾーン５５０に類似したデジタイザ面または起動パッドに投影される際に物理的動作、言葉及び／又は音声コマンドに対応するように設計されている。
【００５６】
図１３は情報の付加、記録および通信のためのシステムブロック図６００を概略的および描写的に図示する。例示として、このシステムブロック図は軍用として解説されているが、システム６００の利用は軍用にとどまらない。例えばシステム６００の民間、商用及び／又は政府の利用が可能である。
【００５７】
システム６００はデジタルマップにオーバーレイするか、ＨＭＤ７０の透明モニタ７４を通して眺めているか、コンピュータシステム１２０に類似したモニタを見ているユーザの視界内で実物マップあるいはドキュメント物体上で付加物および図形象徴図にオーバーレイするための付加物および象徴図を提供する３つの入力ブランチを含む。１つの入力ブランチは、戦闘力砲兵サーバ６１２内で更新されたバージョンである遠隔ユーザデータ編集ブロック６０４の受領ハンドあるいは音声操作付加ブロック６０２で開始する。別な入力ブランチは、ブロック６２２でインク翻訳を実行し、その後にブロック６１８で緯緯度によるデジタルインク位置合わせを実行するデジタルペンマークアップマップ６２６である。別な入力ブランチは言葉付加ブロック６４０で開始する。言葉付加は着用式オーディオおよびマイクロフォンセットを利用する。マイクロフォンから発声された言葉での説明は雑音除去オーディオブロック６４４で洗浄または濾過処理され、言葉語捕獲ブロック６４８が続き、ブロック６５２でインターネットプロセスによる音声（ＶＯＩＰ）処理が実行される。その後に言葉付加ブランチはコマンドコントロールコンピュータ通信Ｃ４ＩＳＲシステム６５６を通過し、集中発行および加入リポジトリサーバ６６０に保存され、そこからデジタルインクとＸＭＬドキュメントマークアップがブロック６３０で造られる。ブロック６１４で入力ブランチを通じて処理されたデジタルファイルはＸＭＬマークアップのために準備され、ＢＦＡシステム６１２へマルチキャスト放送される。サーバ６１２はコンピュータシステム１２０及び／又はヘルメット搭載ディスプレー７０により回収され、あるいはそれらに送られるためにブロック６０４と６０８でデジタルファイルを受領して更新する。
【００５８】
解説されているシステムと方法は、状況認識情報のほぼ瞬時的更新を必要とする民間用および軍事用の緊急作戦時に利用できる。例えば、兵士が状況判断、計画および行動報告を為しているときのごとき軍事作戦の場合には、チーム構成員が、パターンアレイ２４０の手描付加物であるデジタル式にイネーブル化された平面状紙マップ上に描写する。そのチーム構成員はその後、マップ更新のために画像付加物を、ヘルメット搭載ディスプレー７０を着用した派遣兵士に無線で送る。あるいはデジタルペン１２をドッキングステーション２００にドッキングし、その後に戦術ネットワークでヘルメット搭載ディスプレー７０を着用する兵士と画像付加物を共有するためにＦＯＢ車両１６５近辺のコンピュータシステム１２０を更新する。
【００５９】
実施例によっては複数スクリーン、スクリーンリソースの乱用利用、および、１好適実施例ではソースウィンドーと標的ウィンドーの両方が開けるようにドラッグアンドドロップ相互作用パラダイムに対応させるように固定ＴＯＣ位置に対処させる。紙マップ２６０に類似したデジタルペーパを利用して戦闘地における１０Ｘ改善を提供するためマルチモーダル（言葉／描写／ジェスチャー）の相互作用によるＣＰＯＦの着用可能な作戦のため、インターフェースの改良による大きな改善がなされる。これでユーザが車両に入ると戦術および戦略情報の更新は３０秒以内に達成できる。もし伝達が無線であれば戦術活動はほぼリアルタイムで更新される。
【００６０】
特定の実施例を図示して解説したが、本発明の精神と範囲内で多くの変更を加えることは可能である。例えば本発明の付加、記録および通信システムは軍隊状況のみならず、向上された状況認識が要求されるストレス条件下での迅速なユーザ相互作用を必要とするどのような状況においても利用できる。緊急対応作業員、建築作業員、法律執行人、等々を含んで困難な移動環境下で活動する民間作業員も軍隊シナリオのために本発明が提供するこの通信、可視化および協調を同様に利用できる。デジタルペンはインク放出メカニズムに限定される必要はない。例えばエッチング溶液を放出する切込みエッジまたは侵食液口を有するスタイラスがインクを受領しない表面用の付加処理の代用として利用できる。ユーザはディスプレーとしてユニークな目印を備えたどのような物体でも利用できる。例えばユーザはテーブルまたは車両に本を置き、このシステムを手描付加物に位置合わせし、対応画像付加物でデジタルファイルを更新することができる。従って本発明の範囲はこれら好適実施例の開示内容に限定されない。本発明の真の範囲は本明細書の「請求の範囲」により定義されたものである。
【図１】
2010512693.tif 000003
【図２】
2010512693.tif 000004
【図３】
2010512693.tif 000005
【図４】
2010512693.tif 000006
【図５】
2010512693.tif 000007
【図６】
2010512693.tif 000008
【図７】
2010512693.tif 000009
【図８】
2010512693.tif 000010
【図９】
2010512693.tif 000011
【図１０】
2010512693.tif 000012
【図１１】
2010512693.tif 000013
【図１２】
2010512693.tif 000014
【図１３】
2010512693.tif 000015
【手続補正書】
【提出日】平成21年8月13日(2009.8.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
情報表示方法であって、
画像捕獲装置の位置を認識可能な基準目印を有した情報表示面に近接させてデジタルペンを使用することで象徴図を発生させるステップと、
該象徴図をプロセッサに伝達するステップと、
該象徴図を象徴物が表す実物図形に変換するステップと、
ディスプレー装置に前記象徴物が表す実物図形を表示するステップと、
を含んでいることを特徴とする方法。
【請求項２】
情報表示方法であって、
画像捕獲装置の位置を認識可能な基準目印を有した情報表示面に近接させてデジタルペンを使用することで象徴図を発生させるステップと、
該象徴図をプロセッサに伝達するステップと、
該象徴図を象徴物が表す実物図形に変換するステップと、
前記象徴物が表す前記実物図形を前記情報表示面に投影させることで前記象徴物が表す実物図形を表示装置に表示するステップと、
を含んでいることを特徴とする方法。
【請求項３】
情報表示方法であって、
画像捕獲装置の位置を認識可能な基準目印を有した情報表示面に近接させてデジタルペンを使用することで象徴図を発生させるステップと、
該象徴図をプロセッサに伝達するステップと、
該象徴図を象徴物が表す実物図形に変換するステップと、
前記象徴物が表す実物図形を表示装置に表示するステップと、
物理的動作および音声コマンドの一方または両方によって前記実物図形と相互作用するステップと、
を含んでいることを特徴とする方法。
【国際調査報告】
2010512693.tif 000016