(57)【特許請求の範囲】
【請求項１】
実際の背景のイメージとコンピュータにより生成されたイメージとからの増補イメージを生成するための電子光学式装置において、前記増補イメージの上下左右の方向が前記景色の上下左右に直接対応しかつ前記イメージの平面に垂直な方向が利用者から前記実際の景色への方向を向くように、前記増補イメージが前記景色に整合し、前記増補イメージがイメージ装置によって生成された情報とデータ記憶手段から呼び出された情報とからなり、前記情報が前記装置によって決定される位置及び前記装置の姿勢に特有のものであり、
イメージ装置と、
位置決定手段と、
姿勢決定手段と、
データ記憶装置と、
コンピュータと、
表示装置とからなり、
前記イメージ装置が、対称軸でありかつ見る方向を定義する光軸と、前記軸に関して対称であり、像面を画定するレンズと、前記像面にある電荷結合素子とを有し、
前記位置決定手段が前記イメージ装置に対応する基準点を有し、
前記姿勢決定手段が前記イメージ装置の見る方向と平行な基準方向を有し、
前記データ記憶装置が、予め記録されたデータを格納する記憶場所と、これらの記憶場所を識別する複数の直交変数と、前記位置決定手段及び姿勢決定手段からの値に応答し、前記実際の景色に対応する特定の予め記録されたデータを含む特定の記憶場所を選択するポインタとを有し、
前記コンピュータが、前記イメージ装置、位置決定手段、姿勢決定手段、データベース及び表示装置と電子的に連絡し、かつ、前記増補イメージに前記実際の景色のイメージからの削除、それへの追加又は補足が含まれることを可能にするグラフィック及びイメージ処理能力を有し、
前記表示装置が、表示面に対して直交する垂直方向を有し、前記垂直方向が前記イメージ装置の対称軸と同一直線上にあり、かつ前記コンピュータと連絡している装置。
【請求項２】
前記表示装置が、両眼のそれぞれに対応する光路を有する双眼鏡形式のビューイング装置に組み込まれている請求項１に記載の装置。
【請求項３】
利用者が、近い位置で前記表示装置を見るのとは対照的に、前記実際の景色を実際に見ているかのように見えかつ感じるように、光学的無限遠に表示装置を表すレンズからなる光学装置を更に有する請求項１又は２に記載の装置。
【請求項４】
前記コンピュータが前記実際の景色の特徴に応答可能である請求項１乃至３のいずれかに記載の装置。
【請求項５】
実際の景色のイメージとコンピュータにより生成されたイメージとからの増補イメージを生成するための電子光学式装置において、前記増補イメージの上下左右の方向が前記景色の上下左右に直接対応しかつ前記イメージの平面に垂直な方向が利用者から前記実際の景色への方向を向くように、前記増補イメージが前記景色に整合し、前記増補イメージが、前記実際の景色のイメージからの削除、それへの追加又は補足を含むように、イメージ装置によって生成された情報とデータ記憶手段から呼び出された情報とからなり、前記情報が前記装置によって決定される位置及び前記装置の姿勢に特有のものであり、
イメージ装置と、
位置決定手段と、
姿勢決定手段と、
データ記憶装置と、
コンピュータと、
表示装置とからなり、
前記イメージ装置が光学的入力を感知可能であり、かつ光を前記コンピュータで処理可能な電子信号に変換することができ、
前記位置決定手段が、前記イメージ装置の位置を決定することができ、かつその位置を表す値を前記コンピュータに提供し、
前記姿勢決定手段が、前記イメージ装置の前記軸によって画定される前記イメージ装置の姿勢を決定することができ、かつその姿勢を表す値を前記コンピュータに提供し、
前記データ記憶装置が、前記イメージ装置の現在の位置及び姿勢によって画定される前記イメージ装置の現在の視野の中にあることが分かっている対象に対応しかつそれを表す、予め記録されているデータを格納し、そのデータを呼び出して前記コンピュータに送信することができ、
前記コンピュータが、前記イメージ装置及びデータ記憶装置から信号を受け取り、かつそれらの信号を複合イメージ信号が形成されるように結合させることができ、かつ更に前記複合イメージを前記表示装置に送信することができ、
前記表示装置が、前記コンピュータの前記複合イメージ信号を、前記イメージ装置の前記軸に整合させた、利用者が見ることができる物理的信号に変換することができ、前記利用者がその周囲の状況を、前記利用者に通常見える前記景色に整合したコンピュータ生成増補イメージと共に見ることができる装置。
【発明の詳細な説明】
技術分野
本発明は、電子視覚装置及び方法に関し、特にナビゲーション、位置及び姿勢装置と組合わせたイメージのオーグメンテーション（増補）に関する。
背景技術
歴史における最初の地図の使用を見つけるためには、相当古くまで記録を調査しなければならない。地図は一般に、単に実際の景色を見ただけではユーザの位置から容易に明らかでないものに対する注意をユーザに与える情報を提供する。例えば、都市の道路地図の使用者は、７マイル離れた第１通り上にいて、エルム通りのトンネルの方向を見ても、そのトンネルを見ることはできない。しかしながら、第１通りの位置であっても、道路地図から使用者はエルム通りにトンネルがあることを判断できる。使用者は、そのトンネルが３マイルの長さであり、第８通りから始まって第11通りまで続いていることを知ることができる。４本の自動車用レーンと１本の自動車用レーンの広さがあるようなトンネルの大きさを表す表示がある場合もある。
残念ながら、地図からの情報を実際の景色に、その情報が実際に見える景色を表しているように変換することは常に可能なわけではない。地図の使用者にとって、実際の世界との関連でどこに何があるかをより良く「感じとる」ために地図を現実に合わせようとすることは共通している。地図を良く知っている人たちは、関心のある景色に情報を変換する際に、地図はその上端の向きが概ね北を指すように描かれているということが殆ど役に立たないことを知っている。どこが北であるかに拘らず、使用者は、実際の景色における前方即ち移動方向が地図上の方向と一致するように地図を回転させてみる傾向がある。これは、（ユーザが南へ移動している場合）地図を「上下逆」に見る結果となり、読みとることが非常に難しい。現実に対する地図の向きを変換することが非常に困難な作業であるにも拘らず、地図上の記号を、それらが表している現実の対象物に変換することはより大きな問題である。地図上のトンネルの記号は、本物のトンネルが実際にどのように見えるかを示していない。非常に多くの場所から見たトンネルの姿を地図上に表すことはどうしようもなく困難なことであるという事実から、簡単な記号が使用されていることを説明できる。更に、地図には、使用者が最初にどの視点からトンネルを見ることになるのかを示す表示、又は使用者がトンネルに近付く際にとる経路を示す表示はない。
最近では、都市の道路地図情報をコンピュータ化し、かつ使用者がとる経路に従って地図を表示することが可能である。この地図は、使用者が町の中の通りを通過する進行状況に従って「リアルタイム」で更新される。従って、コンピュータは、使用者が南の方向へ移動している場合でも、該使用者に関して正しい方向に地図及び文字部分を描き直すことができるので、地図を上下逆にするという問題が解消される。コンピュータが作る地図は、使用者がその行路に沿って移動するにつれて新しい情報で容易に更新することができるモニタに表示される。このタイプの自動車用の地図は当業者に良く知られている。使用者が位置決定する際に役に立つ印がコンピュータによって生成されるような非常に高度な地図が使用可能であり、デジョン（Dejong）による米国特許第5,115,398号等の特許明細書に記載されている。この装置は、その場所の景色を目に見えるように表示し、かつ使用者がとるべき動作を示唆する情報を記号で重ね合わせることができる。例えば、前記特許明細書の第３図に示されているような左ターンである。このような高度なシステムにおいてさえ、高レベルの変換が使用者に要求される。コンピュータが生成する地図は、表示されるイメージをそれらが表す実際の対象物に正確に整合させて提供しようとするものではない。
イメージを補強させた装置は、公知であり、ヘッドアップ表示装置即ちHUD及びヘルメット装着表示装置HMDがある。HUDは、ユーザが通常ホログラフィックミラーや二色性ビームスプリッタのような光学イメージコンバイナを介して本物の景色を見ることができ、その上に、例えば本物又は創造の対象物、車両の速度及び高度等のデータ等のナビゲーション情報を重ね合わせることができる有用な視覚システムである。HUDの第１の目的は、使用者が関心のある景色を覗き込む時間を最大にすることである。戦闘機のパイロットにとって、計器板の近くに配置された表示装置を見て、目の焦点を変えて該装置を読取りかつ関心のある景色に戻すことは、非常に長時間を要し、かつ致命的な誤りを起こす可能性がある。HUDによって戦闘機パイロットは、光学的無限遠にある景色に集中力を連続させながら、同様に無限遠に位置するように目に映る計器を読みとることができ、それによって目の焦点を合わせ直す必要が無くなっている。HUDによって、パイロットは、常に「ヘッドアップ」位置を維持することができる。航空会社の業界では、HUDが視界の悪い状態で航空機を着陸させるために使用されている。特にHUDは、滑走路の境界が霧によってパイロットの視野にぼんやりとしている状態で着陸する場合に有用であり、模擬的な境界線がHUDシステムの光学コンバイナ上に投影されて、使用者の視野のどこに本物の滑走路の境界線があるかを示す。仮想滑走路の投影は、コンピュータとVHF電波を用いる空港の計器着陸方式即ちILSとの間の連絡によって生成されるデータに従って位置決めされる。このILS方式は、コンピュータに２つのデータの数値を提供する。第１はグライドスロープの数値であり、第２は横方向の位置を示す数値であるローカライザである。これらのデータによって、コンピュータは光学的イメージを生成し、投影して前記コインバイナを通過した実際の景色と結合させ、それにより例えば滑走路の境界線のような実際の景色の特定の特徴を強調することができる。重ね合わせの位置決めは、ILSビーム及び他の物理的制限と整合させる航空機のボアサイトの精度に依存する。コンピュータは、本物の景色のイメージを認識することができず、かつその一部分を強調表示することを除いて本物の景色を操作又は処理しようとするものではない。HUDは特に、２つの光による景色を光学的に結合させたものであるという点で特徴を有する。この組合せは、通常使用者の目に映る景色で光学コンバイナを通過する第１の景色と、光学的要素で本物のイメージと結合される第２のコンピュータ生成フォトンイメージとの結合である。HUD装置では、コンピュータが本物の景色における対象物をアドレスして、例えばそれらを変更し又は削除することができない。この装置は、本物のイメージの特徴を、その上に興味ある特徴を描くことによって付加的に強調するだけである。最後に、HUDは非常に大型であり、通常航空機や自動車に搭載され、非常に大きな空間とホログラム及び特別に設計されたレンズを含む複雑な光学機構を必要とする。
ヘルメット装着表示装置HMDは、本物の景色の光学イメージに補強したイメージを結合させる点でHUDと類似しているが、一般に非常に携帯性のある構成要素を有する。マイクロCRD及び小型コンバイナによって、システム全体をヘルメットに装着可能にしている。高速で移動するヘルメットに関してコンピュータ生成イメージを本物の景色に合わせることは複雑な問題である。HUDは、滑走路に関してゆっくりと移動する航空機の移動が遅い軸に、索引されたデータ生成イメージを適合させることができる。このため、HMDは、姿勢及び対気速度のように、パイロットの頭の動きと共に変化しないデータを表示する。HMDは本物のイメージの要素を取り除いたり増補する能力が無いという点でHUDと同じ制限がある。
急速に進歩しているコンピュータ支援視覚システムの分野において成果を上げている別の関連する概念は、バーチャルリアリティー（仮想現実）即ちVRとして知られている。フィクションであるテレビ番組「スタートレック；ザネクストジェネレーション」においておそらく最高に具体化されている「ホロデッキ」は、使用者がその周囲にあるもの全てをコンピュータで作り出して、該使用者が別の場所又は別の場所及び時間にいるように思わせるために行く場所である。
仮想現実システムは、トレーニング手段として特に有用である。例えば、航空機のシュミレーション装置である。学生のパイロットの周囲を本質的にコンピュータインターフェースである仮想の「コックピット」で取り囲み、本物の飛行機内で非常に実際的に存在し、おそらくはコンピュータが作り出す音、イメージ及び機械的刺激で強化された環境を使用者が「感じる」ことができる。使用者がとる動作はコンピュータによって解釈され、かつ該コンピュータがこれらの動作に応答して、使用者の取り囲んでいる刺激を制御する。VR装置は、視覚的風景全体を作り出すことができるが、コンピュータ生成の風景を本物の風景に重ね合わせることはしない。一般に、VR装置は、現実における実際の位置と使用者に与えられる刺激との間に全く連絡がない。VR装置の位置と生成されている風景の位置とは一般に物理的な関係がない。
VRシステムを用いて、未だ存在しないものを視覚化することはできない。例えば、コンピュータは家を、それが立てられる前であっても潜在的な買主が「歩いて見る」ことができるように完全に立体化することができる。買主は、VR雰囲気の中に入り、家が建てられたらこうなるであろうことを正確に表したコンピュータによるイメージ及び刺激の中を進むことができる。このようにして、特定の形の家がどうようなものであるかをその多大な建築コストが発生する前に知ることができる。設計者からの情報で完全にプログラムされているVR装置は、現在存在しているものを予想しないし、VRシステム内に存在する要素と現実に存在するそれらの要素との間に連絡はない。
従来技術のこれらのシステム及び発明は、特定の目的、特徴、利益及び目標を達成するためのもので、それらの中には紛れもなく優れたものもあるが、これらのシステム及び発明は、本発明によってのみ可能であるようなやり方では使用することができない制限や欠点がある。従来のシステム及び発明を用いて、本発明の利益及び目的を実現することはできない。
発明の開示
そこで、現実を増補した装置及び方法からなる視覚装置の発明であって、何らかの本物の景色のイメージがコンピュータプロセッサにより変更されて、その景色の、前記視覚システムのリアルタイムの位置及び姿勢によって識別される記憶位置における記憶された情報を有するデータベースからの情報を含むようにした視覚システムが提供される。本発明の視覚システム第１の機能及び従来技術と対照される点は、該視覚システム使用者が風景を自然に見るように、実際の風景に連続的に整合されたデータ及び増補された実際のイメージを提供することである。増補されたイメージは、本物の景色を表しているが削除、追加及び補足を含んでいる。前記装置のカメラは、簡単な「カムコーダ」（camcorder）型のビデオカメラにおけるように見る方向を定義する光軸を有し、表示されるイメージが本物の景色を、前記光軸に沿って見るときの視点で見えるように正確に表す。このようにして、表示される情報を存在する通りの世界に向けることができる。本発明の視覚システムとカムコーダとの基本的な相違は、イメージのオーグメンテーションにある。カムコーダは、「バッテリ電力低下」インジケータ等のようなデータとイメージとの重ね合わせを提供できるが、見ている風景の「知識」は無い。通常表示されるデータは、視覚装置又は時間及び日付けのような景色と関係のない何かに関係する。本発明によるイメージのオーグメンテーションは、本発明によって見ている景色に特有の情報を含むことができる。
本発明の視覚システムには、様々な景色に関する情報を予め記憶させたデータベースを含むことができる。視覚システムの正確な位置及び姿勢によって、今見ている景色がデータベースに指示される。コンピュータプロセッサは、前記データベースから特定の景色に関する情報を受取り、かつ該視覚システムのカメラによって生成される景色のイメージを増補し、前記データベースに記憶されていた情報と光学的入力からの情報との組合せからなる最終的なイメージを表示装置に提供することができる。特に重要なことは、データベースからのデータと本物のイメージとの間における連絡の可能性である。分析及び処理ルーチンには、実際の景色における項目の認識と、記憶されたデータのアーチファクトとの比較が含まれる。これは、本物のイメージを呼び出されたデータに整合させる上で有用なものになる。ある景色の光学的入力が、例えば深い霧によって視覚システムのカメラから完全に遮断されるような状況では、その景色のイメージが、データベースからの情報だけを含むように生成することができる。別の場合には、大きさが有限であるデータベースが、特定の景色に関する情報を全くもっていない場合がある。この場合には、表示装置に表れるイメージは、全く本物の景色の光学的入力だけからのものになる。このような特別な場合には、本発明の視覚システムは単純なカムコーダや電子双眼鏡と同程度のものになる。また、非常に特別な場合として、本物の景色の特徴が選択的に除去される場合がある。都市風景の明るい光によって海港の比較的暗い航海灯が遮られる場合には、処理ルーチンにおいて町の明かりと航海灯とを区別することが可能である。好ましくない町の光は、最終的なイメージを表示する前に、前記プロセッサにおいて除去することができる。最終イメージでは、重要な航海灯が明確に示され、市街部の明かりは全く存在しなくなる。従って、本発明の最終イメージは、２つのソースから様々に組合わせて、１つの高情報密度のイメージを形成するように互いに重ね合わせた情報から構成することができる。前記２つのソースの情報は比較され、かつ結合されて、表示装置に提示されかつ使用者が見る本物の景色に整合させた単一の増補イメージを形成する。
本発明の装置は、その最も簡単な形態において、以下の６つの主要な構成要素を備えると考えることができる。１）本物の景色に関する光学的情報を収集しかつその情報を電子信号として提供するカメラ、２）前記電子信号を受取るコンピュータプロセッサと、３）前記カメラの位置を測定する装置と、４）前記カメラの姿勢（光軸の方向）を測定し、それにより見ている景色を一意的に識別し、かつデータベース内の位置を識別する装置と、５）様々な景色に関連する情報を記憶させた前記データベースと、前記カメラ及び前記データベースからのデータを前記コンピュータプロセッサが結合して、１つのイメージを完成して表示させる表示装置とからなり、そのイメージは使用者が見ている本物の景色に連続的に整合されている。
前記カメラは、位置及び姿勢の測定が任意の基準に関して該カメラにおいて行われるという点で、位置測定装置及び姿勢測定装置に関連する。前記位置及び姿勢の測定手段は、その測定の値によって特定のイメージデータを記憶している特定のデータベースの位置が特定されるという点でデータベースに関連する。前記位置及び姿勢の測定は、二直交変数のデータベースポインタを画定するものとして考えることができる。前記カメラは、該カメラにおいて生成されるイメージが電子イメージであり、コンピュータプロセッサによって処理されるという点で、コンピュータプロセッサに関連する。前記データベースは、該データベースが前記プロセッサに処理ルーチンにおいて使用するためのイメージを含む情報を提供するという点で、コンピュータに関連する。前記表示装置は、処理した最終イメージを受け取り、かつコンピュータの電気イメージ信号をユーザが見ることができる光学イメージに変換することから、コンピュータに関連する。前記表示装置は、情報が現実に対応しかつ使用者に対して、イメージを本物の景色の方向に変換する必要性なしに最終的な増補イメージを使用者が見ることができる手法で表されるように、前記カメラの光軸に整合されたボアサイトである。
本発明の方法は、その最も簡単な形態において、次の７つの主要なステップを含むものと考えられる。１）景色からの光をレンズでイメージ化する収集ステップ、２）前記収集ステップの光学情報を電気信号に変換する変換ステップ、３）前記カメラの位置を測定する位置決定ステップ、４）前記カメラの姿勢を測定する姿勢決定ステップ、５）データの位置が、前記ステップ３及び４における測定並びに使用者入力したデータに従って選択され、かつコンピュータプロセッサによって呼びだされるデータ呼出しステップ、６）データ記憶装置からのデータ及び電子イメージを結合させて処理する処理ステップ、及び７）処理した最終イメージを表示する表示ステップである。
前記収集ステップの成果物即ち光学イメージは、変換ステップにおいて電気信号に変換される。変換ステップの電子イメージは、処理ステップにおいてプロセッサに送信される。位置決定ステップ及び姿勢決定ステップにおける成果物は、データ呼出しステップにおいて使用される値である。データ呼出しステップの結果は前記プロセッサに送信されて、処理ステップにおいて変換ステップの電子イメージと結合される。処理ステップの成果物即ち増補イメージの最終的電子表示は、表示ステップにおいて送信されかつ光学的フォーマット（形式）で表示される。
本発明は更に、その装置、方法及び用途が以下に記載されるような６つの実施例を提供することによって要約することができる。
要約された本発明の第１の実施例において、船が通関港に接近し、かつ本発明の使用者がその船の航海士である様なシナリオを考えることができる。航海士にとって船の水路の中でその航路を案内するために多くの助けが必要であることは非常に一般的である。海図、コンパス、灯浮標、音波装置、無線航路標識、レーダ、双眼鏡は、船を操るために使用する道具の一部である。位置決定技術における最近の進歩、特にグローバルポジショニングシステム即ちGPSによってナビゲーションの仕事が簡単化されている。GPSによって、航海士は船の位置を北及び東に約±300フィートの範囲内で、ある特別な場合にはそれ以下で知ることを期待することができる。このような優れた位置決定によっても、航海士はその位置に対応する海図上の位置を定め、海図上の記号を識別してその周囲にあるものの精神的なイメージを作り出さなければならない。そして、航海士は眼前の実際の景色を見回して識別可能な対象物を探し、自分の見るものが海図上の記号とどのように対応しているかを決定しなければならない。視界が暗さや機構の状態によって制限され、海図の表示を識別するために特定の光を認識しなければならないことが良くある。これには色付きのせん光灯があり、町の地平線の明るい光と容易に間違えることがある。別の場合には、標識が点灯されておらず暗い中で見つけることができないことがある。例えば沈没船、ケルプ及び浅瀬のような危険なものは一般に海図上に表示されているがそれらは部分的に又は完全に水没している場合があるので、航海士には見えないことがある。航海士は、頭の中で自分の位置を実際の景色におけるものと海図上のそれらとに関して創造しなければならず、また海図が危険を警告している位置を実際の景色の中で創造しなければならない。この処理には、実際の景色、海図の標識、航海士が見た通りの景色、及び航海士が理解している海図の間で多くの複雑な変換及び解釈が必要である。間違える可能性が非常に大きいことは明らかである。多くの非常に優れた熟練した海軍の航海長が、港の中へ安全に繰船するという複雑な仕事に失敗して、悲劇的な結果を生じている。本発明のシステムによって、航海士は確信をもって景色を見て知っているマークを正確に定めることができる。本発明のシステムによって、海図の記号が実際の景色で対応する位置を決定する必要が無くなる。本発明の使用者は、表示装置を自分の目と実際の景色との間に配置して、実際の景色のイメージをその上に海図の記号を重ね合わせて見ることができる。航海士の頭の中では、さもなければ見ることができない浅瀬が存在する位置及びどの光が本当の航海灯であるか、及びどの光が単なる町の光であるかが非常に具体的になる。コンピュータは、本物の景色から記憶されているイメージから迷光のような情報を取り除き、かつ航行のために使用される光のみを表示装置に提供することができる。これが可能であるのは、本発明のデータベースが全ての航海灯の存在を「知って」おり、かつプロセッサがそれ以外のものを排除できるからである。使用者が見る表示装置は、複雑な好ましくないものを除去しかつ有用なデータを及び対象物を付け加えた景色を表したものである。航海士が本発明の装置にいずれかの方向���指示すると、該装置は実際の景色の光学的イメージを記録し、かつ同時に該装置の位置及び姿勢を決定し、観察している景色に関する情報をデータベース上で呼び出す。プロセッサがイメージ及び呼び出されたデータを分析し、これらを結合して最終的に表示されるイメージを形成する。
本発明の要約された別の実施例では、都市計画委員会が提案された建物が都市の地平線でどのように見えるかを知りたい場合がある。当然ながら、地平線の写真を作りかつ提案された建物を写真の中にエアブラシで書込むことが可能である。この一般に用いられている方法では幾つか不十分な部分がある。これは、偏見を持ったディベロッパが「最も良く見える」用に描いた（又は偏見を抱いた反対者又は競争者が「良く見えないところで」描いた）建物の単なる遠景を示しているに過ぎない。この建物は、ディベロッパが描いた場合に市庁舎の次に非常に立派に見えるように表される。写真には一般にただ１つの眺めが示されるだけであるから、他の視点に関してその建物が与える全ての影響を決定することはできない。準備された写真からでは、市庁舎の利用者により楽しまれている美しい湾の景色が建物の建築後に遮られることは明らかでない場合がある。本発明によれば、あらゆる眺めを詳細に見ることが簡単にできる。提案された建物を正確に表すデータを本発明による装置データベースに入力することができる。本発明のカメラを新しい建物の方向に向けると、該カメラ部は見える通りの本物の景色を記録し、かつその信号をプロセッサに送信する。前記装置は、その景色に関してカメラの位置及び姿勢を正確に決定し、かつその視点から建物の遠景を適当に表したデータをデータベースから呼び出す。次に、前記プロセッサは本物の景色を提案された建物のデータと結合して、その特定の配景から建物の最終的なイメージを作り出す。ヘリコプターが建物の位置の周囲を丸く飛んだり、使用者が建物を考えられる全ての視点から見ることさえ可能である。諮問会のメンバーは、計画を承認するかどうか投票する前に、将来の構造が実生活においてどのようなものになるかをあらゆる面から見ることができる。
更に別の要約された実施例では、技術者が工学的問題の分析及び処理を行うために本発明の製品を利用するようなシナリオを選択する。特に、問題が潜水艦内の配管に発見されたような場合である。潜水艦の配管、ポンプ、ケーブル、ワイヤ等を含む複雑な構造は、設計図を見てそれからの情報を実際の世界に変換することによって理解することは非常に困難な場合がある。特定の要素を即座にかつ明確に識別することは、緊急時の船の生存にとって重大な問題である。以下に説明する本発明の光学的な利用によって、光学的な特徴を明確に識別する非常に簡単な方法が得られる。
潜水艦内の技術者には、魚雷室内で魚雷管を使用後に排水するために使用する円錐ポンプについて作業する仕事がある。この仕事を準備する際に、携帯用電子光学視覚装置のデータベースを船の中央コンピュータから、当該ポンプの詳細に関する情報及びポンプが配置されている魚雷室の詳細な情報で交信する。先頭で損害を受けた船の場合や、火事又は電力の供給停止により視界が制限される様な場合には、前記視覚装置によって視覚的及び音響的糸口を介して前記ポンプの位置に案内することができる。様々な配管が隔壁の中及び壁の裏側に設けられているので、前記視覚システムを用いて壁の中を見て、さもなければ隠れている配管を連続的にかつ明確に辿ることができるように配管の位置を「補充」することができる。問題のポンプに到達すると、前記技術者は、視覚装置のカメラの軸をポンプの方向に向ける。前記視覚装置の表示装置では、前記ポンプの本物のイメージが、前記ポンプにより送られる材料のタイプ及び流れの方向のようなポンプの特徴の手掛かり及びポンプの部品番号のようなデータを重ね合わせる。前記視覚装置は、使用者からの入力を受取って、ディスプレイモードへの進行を選択することができる。この入力は、「マウス」又は単純なボタンのような機械的装置によって行うことができ、又は音声認識手段によって電子的に認識される言葉による命令で行うことができる。ポンプを分解しようとする場合には、使用者は言葉で「ステップ」命令により視覚装置に指示を与えて、連続する分解ステップを表示させることができる。この場合、分解は前記視覚システムの表示装置によって提供される手掛かりにより簡単化される。特定の部分を強調表示し、かつその適正な取外しに必要な動作を、使用者がリアルタイムで正しい分解手順を学ぶことができるようにシュミレートすることができる。同様に、組立直す場合も、その順序に関する知識が予めデータベースに入っており、部品帳から現物への翻訳を必要としない方法で使用者に容易に提示されるので、手早く片付けることができる。強調表示された部分及びその部分を組立てる動作は、工作物の本物のイメージの上に重ね合わせることができる。
要約した更に別の実施例では、構造物の火災を消火するような複雑な場合が考えられる。青写真から建物内部の詳細な特徴を読取り、かつその情報を無線で建物の中にいる消防隊員に送信することは消防隊長に一般的な行動である。この方法の問題点は、様々な媒体の間で行われる多数回の翻訳即ち変換に依存していることである。各変換毎に、前記情報は何らかの変換関数に従って歪められて、その精度が制限される。本発明によれば、構造物の詳細な情報が建物の内部にいる消防隊員に直接表示させることができるような新たな方法が提供される。
ビデオカメラと必要な表示装置をその中に組込んだゴーグルセットを標準的な消防士のヘルメットに組付けることができる。表示装置は、有線又は無線でコンピュータプロセッサと連絡させ、該プロセッサも同様に構造物の特徴に関する情報を予め記録されたデータ記憶装置と連絡させる。位置決めシステムによって消防隊員がいる場所及び見ている場所を常に決定することができる。カメラからの本物のイメージを記憶されたデータと結合させて、最終的に増補されたイメージを実現することができる。本物のイメージにおける火災により発生する明るい光がドアのハンドルのような重要な特徴を遮っている場合には、前記プロセッサはその景色から火災を削除しかつドアのハンドルを「書き入れる」ことができる。消防隊員は、さもなければ進むことができないような煙と炎でいっぱいの複雑な建物の中を容易に進むことができる。直接に得た情報が本発明の視覚システムによって直接消防隊員に提供されることによって、消火作業の速度及び効果が大幅に増大する。ヘルメットに取付けられた装置は必然的に小型で機能的なものでなければならない。カメラ、表示装置及び位置決め（位置及び姿勢）手段は、大型で離れた位置に配置されたコンピュータ及び処理手段と無線で連絡されるように構成することができる。この可能性は、本発明の技術的範囲においてその実施態様と考えることができる。
役に立つような本物のイメージがカメラで全く検出されずかつ表示されるイメージがデータ記憶装置からのデータのみからなるような酷い煙場合には、前記視覚システムは仮想現実装置と非常に類似したものになる。大きな相違点は、表示されるイメージが実際と正確に適合し、かつ使用者が見ている方向に向けられていることである。消防隊員がドアを押した場合には、本物のドアが開く。VR方式では、本物のドアが開いているように見えかつ感じるだけでVRシステムのドアは全くのシュミレーションであり、開けられた本物のドアは存在しない。
更に別の要約された実施例では、旅行者が過去の時間を「見る」ことができるビューイング（viewing）装置を提供する。バスいっぱいに乗った旅行者がポンペイの地に到着した場合を考える。携帯用視覚システムを装備した各旅行者は、その土地を思うままに自由に歩き回ることができる。使用者が向かう場所を予め決めておき、該使用者に提供される景色に対応するサウンドトラックを準備することができる。使用者は、前記視覚システムの表示装置を覗き込むと、現に存在する建物と、エトナ火山が噴火する前に見えていた景色のシュミレーションとを見ることができる。使用者は、古代のポンペイで日常生活を送る人々のシュミレーションが見える。使用者には、警告無しに、建物に灰が降りそそぎかつ人々が隠れる場所を求めて走り回る様子が見える。本発明を提供することによって、シュミレートされた過去の出来事を現代において簡単に見ることができる。この態様では、各携帯用装置は、共通のデータ及び処理センタと無線で連絡され、該センタは各個人の装置と個別に通信させることができる。
本発明の最後の要約された実施例では、埋設された配管や電線の位置を決めるために測量技師が地面の中を「見る」ような用途について考える。建設プロジェクトにこのような配管及び電線を取除き又は変更する必要がある場合、又は既存の工作物に干渉しないように新しいプロジェクトを工事する場合、測量技師はこれらの工作物の位置を決めなければならない。測量技師は、過去の建設プロジェクトの書類を便りに、それらの地図に示されている様々な工作物の位置を現実の世界で表示しようとする。同様に、測量技師が行う地図及び他の書類から現実の世界及び掘削装置の運転者への翻訳には、技術と経験が必要である。最近の正確な地図がある場合でも、この仕事は恐ろしいことになる可能性があり、かつ失敗すると非常に高くつく。本物の景色に合わせて、その景色のイメージとその上に重ね合わせた埋設された構造物の位置とを含む表示装置を見ることができれば、注意すべき位置を示すことはつまらないことである。本発明の視覚システムによれば、埋設された配管電線等をデータベースに記録することができる。この場合、埋設プロジェクトの位置は非常に短時間で調査することができる。従来の大部分の地図作成システムは、データ及びイメージと結合させたデータの記号を有する非常に精巧なコンピュータ化された地図であっても、提供されたイメージを使用者が見る実際の世界のイメージに変換することが必要である。HUDは、本物のイメージと現実に合わせたデータのイメージとを結合させるにも係らず、本発明は、本物のイメージとデータ又はデータのイメージとの間で連絡する能力を有する点で区別される。HUDによっては、本発明の認識、整合、好ましくない特徴の抽出及び他の優れた特徴を提供することができない。本発明のみが、自然に見える通りの景色に合わせた増補イメージを生成するシステムが提供される。本発明の第１の目的は、従来のシステムについて全く知られていない能力を有する汎用視覚システムを提供することにある。
本発明の別の主な目的は、測量、工学、旅行、航法その他の分野に対し、使用者に本物の景色に関する追加情報を提供するオーグメンテイションをもって本物の景色をイメージ化することにより現実を増補する装置及び方法を提供することにある。
本発明の別の目的は、使用の時点では存在しないが、いつか将来に景色の一部分となる対象物を含む地形を見るための視覚装置を提供することにある。
本発明の更に別の目的は、カメラ、双眼鏡、望遠鏡、ビデオレコーダ、ヘッドアップ表示装置、ヘルメット装着表示装置等を含む従来の視覚システムでは見ることができない対象物を含む地形を見るための視覚システムを提供することにある。
本発明の更に別の目的は、本物の景色の好ましくない対象物を取除き、かつコンピュータで生成した対象物と置き換えて、使用者にとって重要な対象物を表示することができる視覚システムを提供することにある。
【図面の簡単な説明】
本発明のこれらの特徴及び他の特徴、側面及び利点については、以下の詳細な説明、請求の範囲及び添付図面に基づいてより詳細に説明する。
第１図は、本発明の使用者、実際に見える景色、及び本発明の装置の増補表示装置に映る景色を示す図である。
第２図は、埋設された配管及び下水管（2b）のような本発明がなければ見えない特徴を測量技師が見ることができるような町中の通りの場面を示す図である。
第３図は、本発明の新規な組合せを説明する構成要素及びそれらの相互関係を示すブロック図である。
第４図は、より詳細なブロック図である。
第５図は、前記システムの構成要素の幾つかを電子光学的に示す図である。
発明を実施するための最良の形態
本発明によれば、増補イメージを生成するために使用される知覚システムの装置が提供される。第１図には、本発明の携帯用アセンブリ１を介して峡谷を覗き込んでいる使用者２が示されている。増補イメージ３がユーザに提示され、かつ本物の景色と整合している。この増補イメージ２は、例えば橋４の未だ存在しない本物の景色に付け加えられた情報を表す要素と、実際の景色に存在するが、例えば橋の右側の木のように最終的なイメージには表れず、削除された情報を表す要素と、実際の姿から変形された要素とが含まれる。第２図には、建設現場での測量の実施例が示されている。通常に見える景色は第２図（ａ）のようになる。第２図（ｂ）では、本発明の表示装置において家７と消火栓８とに向かう浄水管５及び埋設された下水管を容易に「見る」ことができる。
本発明の第１の好適実施例では、カメラ９、位置決定手段16、姿勢決定手段15、データ記憶装置12、コンピュータ14、及び表示装置13とからなる電子光学装置が提供される。前記カメラは、視野からの光学入力を像面における光学イメージに変換するために使用され、かつその光学イメージを電子イメージに変換し、かつ該電子イメージをコンピュータに送信する電子光学装置である。前記位置決め手段は、前記カメラの位置を決定するために使用され、前記姿勢手段は、カメラ視野の対称軸によって定義される、カメラを向けた姿勢を決定するために使用される。前記データ記憶装置は、前記位置及び姿勢決定手段と、位置及び姿勢の値が更に前記コンピュータと、それにイメージデータを送信できるように連絡39を有するデータ記憶装置内の位置を示すように連絡しており、前記コンピュータは、前記カメラからの電子イメージと前記データ記憶装置からの電子イメージ４とを比較し、分析し、処理して単一のイメージとして表示されるように結合させる。前記コンピュータは、その景色に特定されるカメラの位置及び姿勢の情報を用いて、該カメラの位置及び姿勢に特有の景色の本物のイメージを増補するように前記表示装置と連絡している。前記装置の主要な構成要素のそれぞれについて以下に詳細に説明する。
カメラ
本発明の好適実施例では、前記装置のカメラ部分は、使用者２が容易に保持することができる携帯用アセンブリ１の中に一体に組み込まれた４つの主要なサブシステムから構成される。これらは、光学式入力レンズアセブリ38、イメージ安定化システム、少なくとも１個の電化結合素子CCD20、及び光学式標定（ranging）システム34が含まれる。
光学入力イメージ化レンズアセンブリは、携帯用カメラユニット１に装着することができる。単一の軸即ち「一眼」システムは商業的に利用可能であり、かつカムコーダやデジタル写真用カメラのような装置に一般に使用されている。前記レンズがズーム機能及び自動焦点機能を有すると好都合であり、これらのシステムは従来技術において十分に開発されている。自動焦点システムは、コンピュータ駆動式とし、かつユーザのオーバライドによって開放できるようにすることができる。レンズのズーム操作は、動力駆動式にし、かつユーザが電子制御スイッチによって手動で制御できるようにすることができ、又は選択した光景に特定の知られた特徴に基づいてコンピュータにより駆動することができる。前記入力レンズの物理的な寸法によって、該レンズのズーム特性と共に変化する前記装置の視野が定義される。視野の関する情報は、イメージ結合ルーチンにおいて使用されるように前記プロセッサに供給することができる。
イメージ安定化システムも同様に電子イメージ化技術において十分に開発されており、公知のシステムを本発明の好適な実施例に用いることができる。イメージ安定化は、固体圧電素子によって歪みを生じ易いプリズムを駆動することによって実現される。敏感なジャイロ35からの動作情報が動作を検出して駆動信号を前記プリズムに供給する。本発明のシステムは、前記各ジャイロからの出力が前記携帯用アセンブリの位置及び姿勢の計算のために制御コンピュータにおいて利用可能にすることができるように変形することができる。これは、例えば潜水艦内部や、手術又は微細操作のような微小な規模での用途に設計されたシステムにおいて、GPS信号へのアクセスがないシステムにとって特に重要である。機械的な安定化システムの代わりとして、電子イメージ安定化システムを用いることができるがイメージの品質を損失させる虞があり、かつ動作が素早い特異の場合にはイメージの入力の連続性が失われる。また、電子イメージ安定化システムは、制御コンピュータに動作情報を提供するように変更することが容易でない。
景色からの光学入力が、前記イメージ安定化システムによって安定化させた後、前記入力レンズのイメージ平面内に位置するように少なくとも１個の電化結合素子即ちCCD上に収束される。可能性がある代替物として、シリコン増感（silicon intensified）カメラ又は他のイメージ変換（image−con）装置があるが、CCDは、その出力がデジタルデータを用いて電子コンピュータに互換性を有するので好都合である。景色からの明視野（light field）は、その景色を表すデジタル電子イメージ信号に変換される。また、CCD装置は極めて一般に入手可能であり、かつ最近のイメージ化装置に使用されており、標準的なCCDは、全く変更することなく又は小さな変更だけで本発明に十分に使用することができる。前記カメラは感色性を有し、色彩イメージを生成するために２つの一般的な方法が可能である。また、人間の可視領域以外のスペクトルの部分に官能するCCD装置が有用であることが分かる。例えば、或るシステムでは、赤外線IRイメージ化に調整されたCCD装置によって利益が得られる場合がある。IR装置の使用は、重要なイメージ情報が可視領域以外のスペクトルにあるような耕種学及び消火のような用途において重要である。
標定システムは、前記システムの複数の機能について有用である。第１の機能は、入力レンズの焦点を提供することである。イメージがCCDに適当に収束するためには、イメージ化される対象物の距離に従って入力レンズを調整する必要がある。第２の機能は、標定情報が処理ステップにおいて、データ記憶装置からのデータに関する本物のイメージの尺度を適当に決定するためのヒントを与えることから有用である。前記カメライメージ及びデータ記憶装置の入力が結合されることによって、尺度は、最終的なイメージが適当に表れるための重要な要件である。別の使用、即ち光学的標定の第３の使用は好ましくないイメージの特徴を排除できることである。例えば、船の索具が海岸の景色を妨げるような場合には、問題となる範囲をイメージプロセッサに入力することが可能である。この場合、前記プロセッサは、選択された前記範囲内にない対象物を除去することができる。例えば音波装置又は超音波装置のような標定システムは、前記カメラからの景色の対象物までの距離即ち範囲を測定することができる。また、レーザ又はレーダシステムを用いることができるが、これは非常に複雑で高価である。前記コンピュータは、標定システムから直接範囲（距離）情報を受取ることができ、又はコンピュータルーチンによって問い合わせを行うことができる入力レンズの焦点位置決め及びズーム条件付け18から範囲情報を受取ることができる。これは、前記焦点及びズームレンズの条件をコンピュータによって読取り可能な電子信号に変換する変換装置付きで前記レンズが設計されている場合に可能である。アクティブ標定システムに代わるもの又はそれに付加するものとして、景色の対象物への距離を、イメージの特徴と該イメージの特徴に対応する前記データベース内の知られている要素との比較から決定することが可能である。この方法は、ローリングス（Rawlings）による米国特許第5,034,812号明細書に開示されている。携帯用カメラの位置及び姿勢が一旦確立されると、コンピュータによって本物のイメージが入力され、かつ分析される。コンピュータ化された地形のデータベースを参照することによって、位置及び従って使用者が選択した特徴への距離及び方位を確立することができる。例えば、その高さが先にデータベースに記憶されている灯台のような対象物を、範囲の決定が可能となるようにレンズの倍率が知られている場合に、本物のイメージから測定することができる。各標定方法は、個別に行うことができ、又は精度を増すように複数の他の方法を組合わせて行うこともできる。
位置決定手段
本発明の好適な実施例によれば、前記装置の位置決定手段はグローバルポジショニングシステムGPS受信機16である。他の実施例について有効に用いることができる別の位置決めシステムも多数存在する。これらには、ロラン（Loran）、グロナス（Glonass）、及びオメガ（Omega）があるがこれに限定されるものではない。GPSは非常に高い精度を有し、かつ高度を測定する能力を有するので、本発明に選択することによって、該システムの高い精度から利益を得られることは明らかである。地下又は潜水艦のような独立した環境下では、位置決め手段は、既知の位置から三角測量の簡素化された様式又は他の位置決定手段にしなければならない。例えば半導体の検査又はマイクロデバイスの製造のような微小な規模での用途の場合には、ナノメータに近いレベルで精度を有するレーザ干渉計による位置測定手段を有すると有用である。本発明は、位置が測定されかつコンピュータプロセッサに入力されるだけで、いずれの位置決め手段の物質に依存するものではない。
本発明の目的は、小型、軽量化かつ携帯性のカメラを備えることである。これを達成するために、かさの大きい演算能力は、携帯カメラと連絡される別個の装置に入れる必要がある。この実施例では、GPS受信機のアンテナ36が前記携帯カメラの中又はそれに近接する位置に設けられていると好都合であり、前記GPS受信機のより大きな処理部分が、背中に背負う形で又は地面に置く装置として他のシステムの演算設備に結合させることができる。船が橋の中に入っているようなGPS信号が使えないような遮られた位置で使用する場合には、アンテナを携帯カメラに関していずれかの既知の位置に配置し、それらの間における既知の一定の変位を電子的処理において取り除くことができる。
姿勢決定手段
本発明の好適実施例によれば、前記装置の姿勢決定手段は３つの選択肢のいずれかであると考えられる。そのいずれによっても、携帯カメラ装置の方位、チルト及びローリングが得られる。前記携帯カメラ内に配置されたフラックスゲートコンパス37によって、±１度の精度で方位情報が提供される。このフラックスゲートコンパスからの出力は、前記コンピュータに対して使用可能にされる。前記イメージ安定化システム内に配置された圧電ジャイロからの出力も同様に前記コンピュータにより使用されて、使用者によって確立されたデータから動作を計算する。このデータは、既知の高さ位置にあるものからのもの、又は前記携帯カメラを介して見ることによって地平線を観察することによって確立することができる。別の選択肢は、二軸電解伏角計に組込まれた三軸磁力計システムである。この変換器は前記カメラ内に配置され、コンピュータに完全な姿勢の決定値を提供するように使用される。更に別の選択肢は、圧電ジャイロを用いて既知のデータから姿勢（方位を含む）を計算することである。この選択肢を採用する理由は、磁界によって正確な方位の読取りが妨げられる（即ち、アーク放電溶接装置、大型変圧器等に近接している）場合を容認できるような用途に加えて、コストが安いことである。前記イメージ安定化システムは既に必要な圧電ジャイロを備えているので、この選択肢を上述した全ての選択肢の中で方位を確定するための任意の方法として提供することが可能でありかつ望ましい。
コンピュータ
本発明の好適な実施例では、前記装置のコンピュータプロセッサは、非常に高速の図形及びビデオ機能を有するマイクロコンピュータであると考えられる。
コンピュータ開発が進歩した状態にあるので、コンピュータの必要な要素の多く、例えば高速フレームグラバー（grabber）22及び容量の大きいキャッシュメモリ23は既に開発されている。テレビゲーム及びコンピュータ生成アニメーションのアプリケーションで使用されるコンピュータ及びソフトウエアは手近な仕事に適しており、かつそれらの仕事に容易に変換することができる。本発明の機能が異常に独特のものであることから、それらの機能を達成するために必要なソフトウエアは、同様に独特なものでなければならない。ROMのようなハードウエア又はソフトウエアで実行されている複雑なシステムの命令セットの設計は専用のものであると考えられる。タスク特定命令セットを有し、かつそれぞれに独自の命令セットを有する本発明の装置が多くあると考えられる。
データ記憶装置
本発明の好適実施例では、前記装置のデータ記憶手段は、例えばCD−ROMのような大容量のメモリ装置であると考えられる。前記メモリ記憶装置は、特定の使用者にとって関心がある特定の景色に関する予めプログラムされた情報をもつことができる。前記位置決定手段及び姿勢決定手段によって、データ記憶装置のポインタが制御される。最も簡単な実施例では、データ記憶装置は２個の変数の直交配列によって定義される位置を有する。位置の値Pn及び姿勢の値Anによって対応する景色SCENE｛Pn,An｝が一意的に定義される。更に進んだ態様では、範囲が同様に重要であり、かつ範囲の変数即ち第３の直交変数によって３次元の配列SCENE｛Pn,An,Rn｝が定義される。Ｒによって定義される変数は、前記カメラの軸に対して垂直などの平面に問題の情報があるかをコンピュータに伝える。更に進んだ態様では、倍率変数Mnを同様に用いて４次元の配列SCENE｛Pn,An,Rn,Mn｝を提供することができる。他の多くの要素を用いて、データを記憶させかつ呼出す方法を制御することができる。現在係わっている仕事に特有の方法はそれぞれ、見ている景色の識別に従ってデータ記憶装置から前記景色に関するデータを選択する一般的な場合の部分集合である。
表示装置
本発明の好適な実施例では、前記装置の表示手段13は一般的な濃度マトリクスLCD32装置であると考えられる。これらは、現在入手可能な最も明るい高速表示装置であり、表示用のアプリケーションと共に非常に一般的に使用されている。別のものとして、プラズマ表示装置、エレクトロルミネッセント、又は他の幾つかの考えられる表示装置を用いることができる。特定のタイプの表示装置は重要でなく、本発明の要旨から外れることなく特定の用途に用いることができる。表示装置の重要な特徴は、コンピュータのビデオカード28から生成される電子信号が、前記カメラを向けている景色の増補された本物のイメージを表す光学的に見ることができるイメージに変換され得ることである。また、本発明の主な特徴は、表示装置を現実に向けさせて、第１図に示されるようなカメラの光軸に関して整合させることである。
その他
本発明の好適な実施例では、前記装置は更に、コンピュータルーチンと対話し、かつ別のコンピュータルーチンを駆動する情報を特定する使用者入力用制御キー29、コンピュータルーチンの制御及び情報の使用者への提供のためにマイクロホンのようなタイプの入力用およびスピーカのようなタイプの出力用の双方の音声変換キー31のような装置を備えると考えられる。視覚装置を人間の使用者に結びつけるものとして知られている標準的な設備及び三脚、レンズのシェード、接眼レンズ用取付具30等のような物理的な条件は全て本発明の装置の適用できると考えられる。
また本発明によれば、増補イメージを生成する方法が提供される。本発明の好適実施例によれば、収集ステップ、変換ステップ、位置決定ステップ、姿勢決定ステップ、データ呼出ステップ、処理ステップ、及び表示ステップとからなる視覚システムの方法が提供される。イメージ化ステップでは、景色の対象物を、該対象物から発生する光が少なくとも１個のレンズの中を伝搬して、２次元の平面でイメージを形成するように前記平面上にイメージ化する。デジタル化ステップでは、２次元の光学的入力を電気信号に変換する。前記位置決定ステップでは、前記カメラの位置を何か任意の基準点に関して決定し、姿勢決定ステップでは前記カメラの姿勢を何か任意の方向に関して決定する。データ呼出ステップでは、データベースからのデータを、先の２つのステップの測定値に従って呼出し、処理ステップでは、デジタル化ステップのイメージ及びデータ呼出ステップのデータを結合して、最終イメージを形成する。表示ステップでは、最終的な電子イメージを光学的イメージに変換し、本当の景色に対応しかつ整合するように表示する。これら主なステップのそれぞれについて以下に詳細に説明する。
収集ステップ
収集ステップでは、前記装置のカメラを景色の方向に向け、かつ光学イメージをレンズによって形成する。前記光学イメージは、前記カメラのレンズの像面に配置されている電子機器上に形成される。所望の視野は、景色の部分を選択的に選べるように前記レンズのズーム機能によって変更することができる。収集ステップは、好適実施例では連続的に行われ、様々な対象物に向けることによって、連続的に表示装置を交信できることになる。多くの収集ステップが素早く連続して行われるような「パンニング」のようなリアルタイム機能が十分に予想される。収集ステップは利用者の影響を受け易い。使用者の入力によって予め選択された範囲を採用した場合には、その入力に従ってコンピュータがレンズを調節する。このことは、使用者が遠く離れた対象物の特徴を見たいが、前景に何か物があって自動標定を止めているような事例においてより明らかである。選択した範囲によって、望ましくない前景の物の収集を排除できる。
変換ステップ
本発明の方法は、景色の光学的表示がデジタルコンピュータで処理され得る電子信号に変換されるという点で、HUD及びHMDのような方法と区別される。本物の景色のイメージは、標準的なビデオ速度でイメージフレームに変換することができる。このようにして、既存のビデオ装置に変更を加える必要がなく、かつその設備を本発明のシステムに容易に組込むことができる。CCDのデジタル信号は、CCDと互換性がある多くの処理ハードウエアが既に当該技術分野に存在することから特に望ましい。CCD装置のイメージのピクセル表示もまたLCD表示装置のイメージのピクセル表示と互換性を有する。CCDのデジタルイメージは、コンピュータプロセッサルーチンに直接送信することができる。
位置決定ステップ
前記カメラの位置は、全地球的（マクロ）用途ではGPS方法を用いて、及び微細な用途にはレーザ干渉計を用いて決定することができる。位置決めステップを用いて、任意の点に関してカメラを配置し、かつその測定結果を、前記カメラを向けている景色に対応する情報がデータベースのどこに配置されているかをコンピュータが識別できるように該コンピュータに中継する。
姿勢決定ステップ
３本全ての回転軸に関するカメラの光軸の姿勢を測定して、該カメラが向いている方向を識別し、それによって更に前記カメラがどの景色に向けられているか及びカメラの視野にはどのように映っているかを識別する。姿勢の値は、一般にデータ記憶装置のポインタ変数の１つを駆動し、かつそれによって位置の数値と組合わせた時に記憶されているデータを一意的に選択する。姿勢は、様々な用途において様々に実現することができる。海での使用には、「方位」及び暗黙の水平線によって景色を一意的に定義することができる。これは、３本全ての回転軸における姿勢の特別な場合と考えられる。多くの用途では、景色が適当に識別されるためには高度を考慮する必要がある。位置及び姿勢ステップの第１の機能はコンピュータに十分な情報を提供して景色をはっきりと識別させることである。
記録データ呼出ステップ
位置及び姿勢の決定が行われたことにより、データベース内の位置を特定するのに必要な最小の情報が得られる。幾つかの簡単な用途については、前記位置及び姿勢の測定によって定められる景色を覗き込んでいるカメラによって生成される本当のイメージを結合させる記憶データを呼出すのに十分な情報である。更に進んだ用途では、目的物への距離及び倍率のような別の要素を特定して、呼出そうとするデータを特定することが必要である。前記データは、呼出された後にプロセッサに送られて、本物のイメージのデータと結合される。
処理ステップ
本物のイメージのデータは前記変換ステップからプロセッサによって受取られ、かつオーグメンテーションデータが前記データ呼出ステップからプロセッサ内に受取られる。特徴認識技術及びイメージ加工ルーチンを２つの形態の情報に適用して最終的に前記２つの情報を所望の形に組合わせたイメージを作り出す。所定の好ましくない情報は、本物の光景のイメージから取り除くことができる。本物の景色のイメージに表れない重要な情報であって前記データの中に見つけられた物は、最終的なイメージの中で強調することができる。
増補イメージの表示
本物のイメージの情報とデータ記憶装置からのデータとからなる増補された本当のイメージが前記プロセッサで組み立てられ、かつ標準的なビデオ形式で表示装置に送られる。次に、最終イメージは、観察者が他の視覚システムでは見ることができないような物及び特徴、実際の景色と全く同じ向きに「見る」ことができるように実際の景色に正確に合わせて表示される。増補された本当のイメージは、リアルタイムで見る実際の景色にコンピュータが生成したオーグメンテーションを結合させた表示が得られるようなビデオ速度で生成することができる。
以上本発明についてその好適な対応に関連して詳細に説明したが、他の実施態様が可能である。従って、請求の範囲に記載される技術的範囲は本明細書に記載される実施態様に制限されるものではない。
本発明の好適な実施例によれば、視覚システムを実現するための装置及び方法が提供される。上述した各実施例は方法及び装置の双方を含むものであり、かつ各好適実施例の装置及び方法は他の実施例の装置及び方法と異なるものである。
【図２ａ】
0003700021.tif 000002
【図１】
0003700021.tif 000003
【図２ｂ】
0003700021.tif 000004
【図３】
0003700021.tif 000005
【図４】
0003700021.tif 000006
【図５】
0003700021.tif 000007