(57)【特許請求の範囲】
【請求項１】
光学軸の方向のシーンを撮るカメラと、
前記光学軸に対して垂直に、または所定の角度だけ斜めに配置され、前記カメラと共に移動可能であり、前記シーンを表示するディスプレイフィールドを含むディスプレイと、
コンパスを含み、前記コンパスを用いて前記カメラの姿勢を決定する姿勢決定手段と、
前記カメラの緯度及び経度から前記カメラの位置を決定する位置決定手段と、
前記カメラ、前記ディスプレイ、前記姿勢決定手段、及び前記位置決定手段に接続されたコンピュータと、
を有するコンピュータ・ビジョン・システムにおいて、
前記ディスプレイフィールドの一部であり、イメージ及びグラフィックスで情報を表示するフィールド領域と、
前記フィールド領域を囲む周辺部と、
を有するグラフィック・ユーザ・インターフェイスを、前記コンピュータによって前記ディスプレイフィールドに生成する装置であり、
前記コンピュータによって前記シーンが前記ディスプレイフィールドに表示されるとき、前記姿勢決定手段から提供される前記カメラの姿勢に関する情報、及び、前記位置決定手段から提供される前記カメラの位置に関する情報に応じて、前記フィールド領域の少なくとも一部又は前記周辺部に表示される情報の内容又は形状を変化させる、グラフィック・ユーザ・インターフェイス生成装置。
【請求項２】
前記姿勢決定手段及び前記位置決定手段と電気的に接続され、前記姿勢決定手段及び前記位置決定手段から提供される情報に応じて、前記フィールド領域に表示される情報の内容を変更する応答メカニズムをさらに含む、請求項１に記載のグラフィック・ユーザ・インターフェイス生成装置。
【請求項３】
前記グラフィック・ユーザ・インターフェイスは、カーソルに応答するサブフィールド領域をさらに含む、請求項１に記載のグラフィック・ユーザ・インターフェイス生成装置。
【請求項４】
前記カーソルは、前記カメラの照準に対応する指標である、請求項３に記載のグラフィック・ユーザ・インターフェイス生成装置。
【請求項５】
前記グラフィック・ユーザ・インターフェイスは、前記カメラの姿勢に応答するサブフィールド領域をさらに含む、請求項１に記載のグラフィック・ユーザ・インターフェイス生成装置。
【請求項６】
前記グラフィック・ユーザ・インターフェイスは、前記カメラの位置に応答するサブフィールド領域をさらに含む、請求項１に記載のグラフィック・ユーザ・インターフェイス生成装置。
【請求項７】
前記グラフィック・ユーザ・インターフェイスは、基準点を備えたポインティング指標をさらに含む、請求項１に記載のグラフィック・ユーザ・インターフェイス生成装置。
【請求項８】
前記グラフィック・ユーザ・インターフェイスは、前記シーンに含まれるイメージに対する前記基準点の場所に応答するサブフィールド領域をさらに含む、請求項７に記載のグラフィック・ユーザ・インターフェイス生成装置。
【請求項９】
前記グラフィック・ユーザ・インターフェイスは、前記シーンに含まれるイメージに対する前記基準点の場所に応答する指標をさらに含む、請求項７に記載のグラフィック・ユーザ・インターフェイス生成装置。
【請求項１０】
前記周辺部の形状は、前記シーンに含まれる三次元物体を前記カメラから見たときの形状と一致する、請求項１に記載のグラフィック・ユーザ・インターフェイス生成装置。
【請求項１１】
前記フィールド領域は複数のサブフィールド領域を含み、前記複数のサブフィールド領域のそれぞれの全体が前記周辺部の内側に含まれる、請求項１に記載のグラフィック・ユーザ・インターフェイス生成装置。
【請求項１２】
前記複数のサブフィールド領域のうち少なくとも一つの形状は、前記シーンに含まれる三次元物体を前記カメラから見たときの形状と一致する、請求項１１に記載のグラフィック・ユーザ・インターフェイス生成装置。
【請求項１３】
前記グラフィック・ユーザ・インターフェイスは、少なくとも三つの辺を有する多角形形状の指標をさらに含み、前記多角形形状の指標の各辺が前記周辺部の辺または前記ディスプレイフィールドの境界線に対応し、前記周辺部は前記カメラから見たときの前記シーンに物理的特徴が対応する、請求項１に記載のグラフィック・ユーザ・インターフェイス生成装置。
【請求項１４】
前記グラフィック・ユーザ・インターフェイスは、前記周辺部上の点と前記多角形形状の指標上の点との間を接続して互いの対応関係を視覚的に示す線状の指標をさらに含む、請求項１３に記載のグラフィック・ユーザ・インターフェイス生成装置。
【請求項１５】
前記グラフィック・ユーザ・インターフェイスは、少なくとも三つの辺を含むサブフィールド領域を更に含み、前記サブフィールド領域では前記辺のうち少なくとも二つが前記カメラの視野の境界線に対応する、請求項１に記載のグラフィック・ユーザ・インターフェイス生成装置。
【請求項１６】
前記グラフィック・ユーザ・インターフェイスは、それぞれ一連の点から成り、所定の対応関係を満たす第１パスと第２パスとの対を少なくとも一つ形成する指標を更に含み、
前記第１パスを前記フィールド領域内に形成し、
前記第２パスを前記ディスプレイフィールド内に、前記シーンの遠近感に一致するように立体的に形成する、
請求項１に記載のグラフィック・ユーザ・インターフェイス生成装置。
【請求項１７】
前記グラフィック・ユーザ・インターフェイスは、前記フィールド領域内の情報に関連するイメージ情報を含む第２フィールド領域をさらに含む、請求項１に記載のグラフィック・ユーザ・インターフェイス生成装置。
【請求項１８】
前記第２フィールド領域は、そこで表示される情報が関連する前記フィールド領域の一部を示す変換ラインを有する、請求項１７に記載のグラフィック・ユーザ・インターフェイス生成装置。
【請求項１９】
コンピュータ・ビジョン・システムとグラフィック・ユーザ・インターフェイス生成装置との組み合わせを含む装置であり、
前記コンピュータ・ビジョン・システムは、
光学軸の方向のシーンを撮るカメラと、
前記カメラの光学軸に対して垂直に、または所定の角度だけ斜めに配置され、前記カメラと共に移動可能であり、前記シーンを表示するディスプレイフィールドを含むディスプレイと、
コンパスを含み、前記コンパスを用いて前記カメラの姿勢を決定する姿勢決定手段と、
前記カメラの緯度及び経度から前記カメラの位置を決定する位置決定手段と、
前記カメラ、前記ディスプレイ、前記姿勢決定手段、及び前記位置決定手段に接続されたコンピュータと、
を備え、
前記グラフィック・ユーザ・インターフェイス生成装置は、
前記ディスプレイフィールドの一部であり、イメージ及びグラフィックスで情報を表示するフィールド領域と、
前記フィールド領域を囲む周辺部と、
を有するグラフィック・ユーザ・インターフェイスを、前記コンピュータによって前記ディスプレイフィールドに生成し、
前記コンピュータによって前記シーンが前記ディスプレイフィールドに表示されるとき、前記姿勢決定手段から提供される前記カメラの姿勢に関する情報、及び、前記位置決定手段から提供される前記カメラの位置に関する情報に応じて、前記フィールド領域の少なくとも一部又は前記周辺部に表示される情報の内容又は形状を変化させる、装置。
【請求項２０】
前記グラフィック・ユーザ・インターフェイスは、
前記フィールド領域の一部であるサブフィールド領域と、
前記フィールド領域及び前記サブフィールド領域を含む前記ディスプレイフィールドを移動可能な指標であるカーソルと、
を更に含み、
前記グラフィック・ユーザ・インターフェイス生成装置は、
通信によってオン状態とオフ状態とを前記コンピュータに伝えるスイッチであり、前記カーソルが前記サブフィールド領域の内部と同じ場所に配置されている期間にオン状態になったとき、前記コンピュータにポイント・アンド・クリック操作を実行させるスイッチ、
を備えている、
請求項１９に記載の装置。
【請求項２１】
光学軸の方向のシーンを撮るカメラと、
前記光学軸に対して垂直に、または所定の角度だけ斜めに配置され、前記カメラと共に移動可能であり、前記シーンを表示するディスプレイフィールドを含むディスプレイと、
コンパスを含み、前記コンパスを用いて前記カメラの姿勢を決定する姿勢決定手段と、
前記カメラの緯度及び経度から前記カメラの位置を決定する位置決定手段と、
前記カメラ、前記ディスプレイ、前記姿勢決定手段、及び前記位置決定手段に接続されたコンピュータと、
を有するコンピュータ・ビジョン・システムにおいて、グラフィック・ユーザ・インターフェイスを前記ディスプレイフィールドに表示する方法であり、
前記グラフィック・ユーザ・インターフェイスは、
前記ディスプレイフィールドの一部であり、イメージ及びグラフィックスで情報を表示するフィールド領域と、
前記フィールド領域を囲む周辺部と、
を備え、
前記カメラでシーンを撮るステップと、
前記コンピュータによって前記シーンのイメージを形成するステップと、
前記コンピュータによって前記グラフィック・ユーザ・インターフェイスを生成するステップと、
前記コンピュータによって前記シーンのイメージを前記グラフィック・ユーザ・インターフェイスと結合して合成イメージを形成するステップと、
前記コンピュータによって前記合成イメージを前記ディスプレイフィールドに表示するステップと、
を含み、
前記合成イメージを形成するステップでは、前記姿勢決定手段から提供される前記カメラの姿勢に関する情報、及び、前記位置決定手段から提供される前記カメラの位置に関する情報に応じて、前記フィールド領域の少なくとも一部又は前記周辺部に表示される情報の内容又はそれらの形状を変化させる方法。
【請求項２２】
前記グラフィック・ユーザ・インターフェイスを前記ディスプレイフィールド内で移動させるステップを含む、請求項２１に記載の方法。
【請求項２３】
前記グラフィック・ユーザ・インターフェイスを移動させるステップは、
前記グラフィック・ユーザ・インターフェイスをカーソルと連動させるステップと、
スイッチのオン状態を検出するステップと、
前記スイッチがオン状態を保つ間、前記グラフィック・ユーザ・インターフェイスを前記ディスプレイフィールド内でドラッグするステップと、
前記スイッチのオフ状態を検出するステップと、
をさらに含む、請求項２２に記載の方法。
【請求項２４】
前記スイッチのオフ状態を検出するステップでは、前記グラフィック・ユーザ・インターフェイスを前記ディスプレイフィールド内の関連する位置にロックする、請求項２３に記載の方法。
【請求項２５】
前記スイッチのオフ状態を検出するステップでは、前記グラフィック・ユーザ・インターフェイスを前記ディスプレイフィールド内で、前記コンパスの示す所定の方角に対応する位置にロックする、請求項２３に記載の方法。
【請求項２６】
前記合成イメージを形成するステップでは、
前記カメラの照準を変化させる間、前記グラフィック・ユーザ・インターフェイスを前記ディスプレイフィールドの中心から外れた位置に維持する、
請求項２１に記載の方法。
【請求項２７】
前記グラフィック・ユーザ・インターフェイスを生成するステップでは、前記シーンに表示される看板の言語を、ユーザによって選択された言語に翻訳する、請求項２１に記載の方法。
【請求項２８】
前記グラフィック・ユーザ・インターフェイスを生成するステップでは、前記グラフィック・ユーザ・インターフェイスを含む平面の法線方向を、前記カメラの照準に関わらず、前記コンパスの示す一定の方角に固定する、請求項２１に記載の方法。
【請求項２９】
前記グラフィック・ユーザ・インターフェイスを移動させるステップは、
基準点をイメージ内の点にロックするステップと、
前記グラフィック・ユーザ・インターフェイスをカーソルと連動させることによって、前記グラフィック・ユーザ・インターフェイスの内部領域を前記カーソルと同じ場所に配置するステップと、
スイッチのオン状態を検出して、前記カーソルを前記グラフィック・ユーザ・インターフェイスのフィールド領域にロックするステップと、
前記カーソルの移動に合わせて、前記フィールド領域を前記基準点の周りで移動させるステップと、
前記スイッチのオフ状態を検出して、前記カーソルを前記フィールド領域から解放するステップと、
を含む、請求項２２に記載の方法。
【請求項３０】
前記グラフィック・ユーザ・インターフェイスを移動させるステップは、
前記グラフィック・ユーザ・インターフェイスをカーソルと連動させることによって、前記グラフィック・ユーザ・インターフェイスのフィールド領域を前記カーソルと同じ場所に配置するステップと、
スイッチのオン状態を検出して、前記カーソルを前記フィールド領域にロックするステップと、
前記ディスプレイフィールドの所定の領域内での前記カーソルの移動に合わせて、前記フィールド領域を前記所定の領域内で移動させるステップと、
前記スイッチのオフ状態を検出して、前記カーソルを前記フィールド領域から解放するステップと、
を含む、請求項２２に記載の方法。
【請求項３１】
前記グラフィック・ユーザ・インターフェイスを移動させるステップは、
前記シーン内を移動する物体を追跡するステップと、
前記物体に対する前記グラフィック・ユーザ・インターフェイスの位置を維持するステップと、
を含む、請求項２２に記載の方法。
【請求項３２】
前記グラフィック・ユーザ・インターフェイスを移動させるステップでは、前記グラフィック・ユーザ・インターフェイスを前記カメラの照準と基準方向との中間の方向に表示する、請求項２２に記載の方法。
【請求項３３】
前記グラフィック・ユーザ・インターフェイスを移動させるステップでは、前記カメラの光学軸のパンに合わせて前記グラフィック・ユーザ・インターフェイスを前記シーン内の平面上で移動させ、パンの角度が９０度に近いほど前記グラフィック・ユーザ・インターフェイスを傾斜させて表示する、請求項２２に記載の方法。
【請求項３４】
背後のイメージを同じサイズに維持したまま、前記周辺部のサイズを増大させる、請求項２１に記載の方法。
【請求項３５】
前記周辺部のサイズを適切なサイズで一定に維持する、請求項２１に記載の方法。
【請求項３６】
前記周辺部をドラッグ・アンド・ドロップ操作に応じて定める、請求項２１に記載の方法。
【発明の詳細な説明】
発明の背景
分野
本発見および本発明は、一般にコンピュータシステムのグラフィック・ユーザ・インターフェイスに関し、特に、ときとしておよび本明細書において“Augmented RealityTM”コンピュータ・ビジョン・システムとして知られるコンピュータ・ビジョン・システムのグラフィック・ユーザ・インターフェイスに関する。本発明のグラフィック・ユーザ・インターフェイスは、高度に専門化されたコンピュータ・ビジョン・システムに関連する相互作用、応答性および機能において非常な新規性を見いだすものである。
コンピュータ・ビジョン・システムの明快で完全な説明は、出願番号０８／１１９，３６０の米国特許係属出願に開示されている。さらに、特にコンピュータ・ビジョン・システムに関連するグラフィック・ユーザ・インターフェイスのいくつかの基本的および予備の説明は、出願番号０８／３０７，３６０の米国特許係属出願の開示に見られる。さらに、グラフィック・ユーザ・インターフェイスに関連する他の概念および観念は、出願番号０８／４１１，２９９の米国特許係属出願の開示において提示されている。これら3つの米国特許係属出願はそれぞれ、本発明に関連しているため、かなり有益な情報を含んでいると考えられる。したがって、これらの文書はそれぞれ、本発明に参照として組み込まれる。
米国特許法第１２０条における規定との合意において、この出願は一部継続出願である。１９９３年９月１０日に出願された０８／１１９，３６０から継続する、１９９５年３月２７日に出願された０８／４１１，２９９から継続し、両方ともその日付以後係属のままである。
従来技術
グラフィック・ユーザ・インターフェイスは、コンピュータが生成するグラフィックデバイスであり、これはコンピュータのユーザがコンピュータシステムに特定の挙動を起こさせるよう対話または命令するために用いられる。一般に認識されているグラフィック・ユーザ・インターフェイスは、「メニュー」として多くのコンピュータユーザに周知である。メニューの一例として、単一リストボックスに提示されるオプション選択のリストが挙げられる。ユーザは、ポインティング装置を介してカーソルでオプションを指し示すことによってオプションを選択できる。ポインティング装置としては、マウス、トラックボール、スクロールキー及び別の触覚を有する手段を挙げることができる。カーソルで選択するものを指し示したままの状態で、実行キーを押すか、またはマウスボタンを「クリック」することにより、選択したオプションに関連する機能を実行するようコンピュータに命令する。
様々なタイプのメニューが異なる方法でユーザと対話するよう構成されている。コンピュータで実行するアプリケーションに応じて、メニューの一タイプがときには他のタイプよりもよい機能を提供する場合もある。ここでは、２つの一般的なタイプを説明して、どのようにグラフィック・ユーザ・インターフェイスが特定のアプリケーションと優先的に対話するのかを説明する。
「ポップアップ」タイプおよび「ドロップダウン」タイプのメニューはそれぞれ異なるように動作し、コンピュータが実行しているアプリケーションに関して、特定の協調性をそれぞれ有している。
「ポップアップ」タイプのメニューは、コンピュータプログラムの特定のイベントにより起動される。それは、一般に正常なプログラムアクティビティを妨げる。たとえば、コンピュータエラーが発生した場合、「ポップアップ」メニューが表示画面の中央に現れ、ユーザに「継続」または「再開」のオプションを提供する。
比較すると、「ドロップダウン」メニューは一般に、ユーザの要求によって起動する。たとえば、「ツールバー」のアイコンは、共通の特徴に関連する一群のタスクを示す。アイコン上にカーソルを持ってくることによって、メニューボックスがアイコンから下方に表示される。メニューはユーザが選択可能な実行できるコマンドオプションのリストを有している。したがって「ポップアップ」タイプのメニューは、「ポップアップ」メニューを起動する内部のまたは自動のメカニズムとより協調し、「ドロップダウン」メニューはユーザが起動する機能により適している。これらは、コンピュータ・グラフィック・ユーザ・インターフェイス・デザインの分野で周知である多くの特徴のうちのわずかである。コンピュータが実行しているアプリケーションは、ときに特定のタイプのグラフィック・ユーザ・インターフェイスを示唆する。高度な特徴を有する、非常にエレガントに設計された「ドロップダウン」メニューは、洗練された描画プログラムとともに使用される。これを十分に示す例は、CorelDRAW!TMという描画ソフトウェアパッケージに用いられるメニューである。高度な描画ソフトウェアパッケージを使用した経験のある者は、アプリケーションの使いやすさおよび効率を、メニュー構成がいかに高めているかを理解するであろう。
簡易パーソナルコンピュータのディスプレイとコンピュータ・ビジョン・システムのディスプレイとの間には、基本的な違いが多く存在する。コンピュータ・ビジョン・システムは、リアルタイムで実際のシーンの補強イメージを公式化するため、電子カメラおよびコンピュータ・グラフィクス・ジェネレータを採用する。コンピュータ・ビジョン・システムのディスプレイに提示される合成イメージは、コンピュータが生成したグラフィクスを用いて修正または補強された光学的に得られたイメージを含む。コンピュータが生成したグラフィクスは、アドレス指定されるシーンで検出された（またはそうでなければ、コンピュータにより「知られて」いる）オブジェクトに関連している。特に、いくつかのオブジェクトはそれらの周知の配置によって認識される。オブジェクトは、「実在の」またはオブジェクトの光学的に得られたイメージによりグラフィックにシミュレートされ、またその上に重ね合わせられる。ユーザにとって、様々な機能を実行するようコンピュータ・ビジョン・システムに命令できることが望ましい。標準メニューまたは他のグラフィック・ユーザ・インターフェイスは、コンピュータ・ビジョン・システムに用いられて、ユーザ・インターフェイス機能を提供できる。しかし、コンピュータ・ビジョン・システムは一般のコンピュータシステムとはかなり異なって機能するため、コンピュータ・ビジョン・システムに最も有用であろうメニューは完全にわからない。
一般のコンピュータシステムには見られない、コンピュータ・ビジョン・システムに関係する特定の機能および特徴は、グラフィック・ユーザ・インターフェイスがそれらの専門化されたシステムに特定の機能および特徴と協調するよう独自に構成することを思い浮かばせる。本発明は、ここで、特にコンピュータ・ビジョン・システムに適用でき、非常に有益で価値のある、グラフィック・ユーザ・インターフェイスのいくつかの構成を発見した。これらの新しいグラフィック・ユーザ・インターフェイスは、これを採用するコンピュータ・ビジョン・システムのユーザに提供する利益を考慮すると、驚くべき成果をもたらす。グラフィック・ユーザ・インターフェイスは操作を容易にし、機能性を高め、イメージの解釈を改善し、シーンの理解度を向上させる。これらのグラフィック・ユーザ・インターフェイスは、従来システムでは使用されないおよびできない方法で動作する。
発明の概要
グラフィック・ユーザ・インターフェイス・システムは、コンピュータ・ビジョン・システムに特定の特徴および機能と対話するために考案されてきた。補強イメージを有するコンピュータ・ビジョン・システムは、景色の中に実在する対象物を認識するために現れるよう構成されたグラフィック・ユーザ・インターフェイスを有する。グラフィック・ユーザ・インターフェイスは、コンピュータ・ビジョン・システムのポインティング方向を認識するよう構成されてもよい。グラフィック・ユーザ・インターフェイスは、コンピュータ・ビジョン・システムが決定する位置および／または姿勢に応答することもできる。グラフィック・ユーザ・インターフェイスは、カメラの照準インジケータに対応するカーソルに応答することもできる。コンピュータ・ビジョン・システムに特定のグラフィック・ユーザ・インターフェイスの多くの構成が存在する。これらは以下のセクションで詳細に提示される。コンピュータ・ビジョン・システムがグラフィック・ユーザ・インターフェイス・デバイスを含む場合、システムの要素に関するグラフィック・ユーザ・インターフェイスの対話性は、いくつかの驚くべき成果をもたらす。本発明は、どのようにグラフィック・ユーザ・インターフェイスがコンピュータ・ビジョン・システムおよびその要素と対話するよう構成されるかに関する。
簡易コンピュータとの比較
簡易コンピュータとコンピュータ・ビジョン・システムの基本的な違いは、コンピュータ・ビジョン・システムでの表示されたイメージが実在する特定の景色に直接対応することである。イメージはリアルタイムでシーンに整列する。コンピュータ・ビジョン・システムは、カメラ軸がシーンの方を指しているため、シーンに向けられる。コンピュータ・ビジョン・システムはシーンといつでも結びついており、位置および姿勢は容易に測定できるため、コンピュータに「知られて」いる。結果として、表示されたイメージはコンピュータ・ビジョン・システムおよびユーザ位置の視点に対応する特定の遠近感を伴って提示される。簡易コンピュータで表示されたイメージは、一般に周囲の環境とは結びつかず、またいかなるシーンにも整列しない。
コンピュータ・ビジョン・システムのポインティング方向をインターフェイスポインタとして使用することの他に、グラフィック・ユーザ・インターフェイスは、照準がポインタとして動作していないときにコンピュータ・ビジョン・システムのポインティング方向に応答するよう構成される。グラフィック・ユーザ・インターフェイスは絶対的なポインティング方向に応答することもできる。
コンピュータ・ビジョン・システムの「ポインティング方向」は、よく理解すべきである重要な特徴である。ポインティング方向は、様々なグラフィック・ユーザ・インターフェイスとかなりの対話性を有している。ポインティング方向はときにインターフェイス・ポインティング・カーソルとして機能するだけでなく、絶対的なポインティング方向は特定のグラフィック・ユーザ・インターフェイスの挙動（behavior）に影響する。
本発明のグラフィック・ユーザ・インターフェイスは、新しいタイプのカーソルすなわち「ポインタ」に応答するようにすることもできる。「ポイント・アンド・クリック」および「ドラッグ・アンド・ドロップ」として知られる操作は、これまでは「マウス」、「トラックボール」、あるいは「パワーポイント」として知られるコンピュータ周辺ポインタで行われていた。これらの各装置により、ユーザはアイコンまたは「ポインタ」を指し示してディスプレイフィールドを横切ることができる。表示されたイメージにおいて何か興味のあるもの、たとえばオブジェクト、イメージまたは別のアイコンと一緒に置かれたとき、コンピュータプログラムが特定の挙動を開始することができる。コンピュータ・ビジョン・システムのポインタは、触覚刺激に応答して動く従来のポインタを含むこともでき、またはビジョンシステムの照準に対応するよう構成することもできる。コンピュータ・ビジョン・システムをいかなる方向にでも指し示することによって、ユーザが表示されたイメージの部分と共に照準を整列させる。コンピュータ・ビジョン・システムを興味あるオブジェクトに指し示すことにより、ユーザはコンピュータへの命令を示すこともできる。ビジョンシステム照準をポインタとして用いることは、完全に新しい概念であると考えられる。
たとえば、ドロップダウンメニューはシーン中のあるオブジェクトと関係づけられる、または「付け」られる。グラフィック・ユーザ・インターフェイスの位置はいつでもそのオブジェクトの明らかな位置に対応するようにさせられる。ビジョンシステムのポインティング方向が水平線を横切ってパンされるとき、シーン中のオブジェクトはディスプレイ上に現れて、横に動く。特定のオブジェクトに関連するメニューは、オブジェクトの横方向の動きを追うよう現せられることもでき、それによってグラフィック・ユーザ・インターフェイスが結びつくオブジェクトについていくことができる。オブジェクトがビジョンシステムの視界から消えた場合でさえ、ドロップダウンメニューも同様に消えることができる。再びオブジェクトがシステムによって獲得される（再び視界に入る）と、ドロップダウンメニューも獲得可能になる。この例は、グラフィック・ユーザ・インターフェイスがリアルタイムでコンピュータ・ビジョン・システムのポインティング方向と対話できること、すなわち、ポインティング方向が調節された場合、グラフィック・ユーザ・インターフェイスはその調整に応答することを示す。
さらに、コンピュータ・ビジョン・システムの絶対的な位置は特定のグラフィック・ユーザ・インターフェイスの挙動を指示する。コンピュータ・ビジョン・システムがパリにある場合、グラフィック・ユーザ・インターフェイスは自動的にフランス語で提示される。同様に、コンピュータ・ビジョン・システムがニューヨークにあると判断された場合、グラフィック・ユーザ・インターフェイスは自動的に英語で提示される。コンピュータ・ビジョン・システムの位置および姿勢の両方の組み合わせがグラフィック・ユーザ・インターフェイスの挙動に影響することもかなり可能である。さらに、ディスプレイフィールド周辺が、グラフィック・ユーザ・インターフェイス上で動作可能となるように作動させることも可能である。コンピュータ・ビジョン・システムに特定の特徴および機能は、有用性を向上させ、コンピュータ・ビジョン・システムのグラフィック・ユーザ・インターフェイスの構成を示唆するために利用することができる。上記の例は、どのようにポインティング方向がグラフィック・ユーザ・インターフェイスに影響するかを示し、位置、位置と姿勢、拡大に向けられた例がここに手短に記述される。いくつかの具体例が続く。
位置
簡単な例により、グラフィック・ユーザ・インターフェイスのコンテンツおよびグラフィック・ユーザ・インターフェイスの挙動を、位置が単独でどのように指示するかを示す。グラフィック・ユーザ・インターフェイスは任意の形状のアイコンでもよいため、州の境界線の形状の小さな地図を、アドレス指定されるシーンのイメージとともに表示することが可能である。コンピュータ・ビジョン・システムが州から州へ移動するとき、地図は現在いる州に対応する形に変化できる。ユーザがミズーリ州のカンザスシティからカンザス州のカンザスシティへの境界を渡る際、ミズーリ州の形のアイコンは、カンザス州の形のアイコンになる。
位置および姿勢
ある状況下では、コンピュータ・ビジョン・システムの位置および姿勢の両方が、グラフィック・ユーザ・インターフェイスの特別版を作成するために使用される。シーンが、特定のオブジェクトたとえばビルボードを含む場合、ビルボードは、ビルボードが見えるすべての位置に関して異なる遠近で現れる。グラフィック・ユーザ・インターフェイスがビルボードと同じ遠近で現れることが望ましい。これを達成するために、コンピュータ・ビジョン・システムの位置および姿勢を決定することにより、コンピュータがビルボードを見ることができる、またはシステムがアドレス指定するあらゆる場所に関連する適切な遠近を計算できるようになる。グラフィック・ユーザ・インターフェイスはビルボードの遠近と同じ遠近で表示される。したがってコンピュータ・ビジョン・システムの位置および姿勢の両方は、本発明のグラフィック・ユーザ・インターフェイスの構成に影響する。
拡大
コンピュータ・ビジョン・システムは、非常に洗練されたズーム機能を有する。コンピュータ・ビジョン・システムのグラフィック・ユーザ・インターフェイスはシステムのズームの的を操作する手助けとなる。グラフィック・ユーザ・インターフェイスはディスプレイフィールドが補強されていないイメージを含む一方で、コンテンツがアドレス指定されるシーンの補強イメージを含むよう、構成することもできる。
イメージ信号から
カメラによって生成される電子イメージ信号は特定の特徴を検出することが、コンピュータによって証明された。検出された特徴を理解しそれと対話するのを助けるため、この情報からグラフィック・ユーザ・インターフェイスが生成される。
本発明を完全に理解するためには、実際のシーンの補強イメージを生成するタイプのコンピュータ・ビジョン・システムを完全に理解すべきである。この文書中においてそれらシステムの完全な開示が行われ、参照され、および組み込まれてきた。手短な見直しが続くが、ここでのかなりの要素はそれらの提示において長きにわたって定義されているため、参照を完全に理解せずには本開示を完全に理解することは期待できない。したがって、組み込まれている文書の見直しをすることが強く推薦される。
コンピュータ・ビジョン・システムの概念の手短な見直し
コンピュータ・ビジョン・システムは、カメラ、コンピュータ、ディスプレイ、ならびに位置ならびに姿勢決定手段を含んでもよい。システムはシーンをアドレス指定し、その補強イメージをディスプレイに生成する。補強イメージは、２つのソースからのイメージ情報を含む。第一のイメージソースは、光学的にシーンのイメージを得て、電子イメージ信号を生成するカメラである。第二のソースは、コンピュータが生成したイメージソースである。位置ならびに姿勢測定から、コンピュータはシーンおよびその中のオブジェクトを認識する。コンピュータは、メモリから認識したオブジェクトに関連するモデルを呼び出し、リアルタイムでコンピュータ・ビジョン・システムの視点から、シーンの真の遠近に照合する遠近を有するコンピュータ生成イメージを組み立てる。光学的に得たイメージは、コンピュータが生成したイメージと組み合わされ、合成または「補強」イメージを形成する。補強イメージはアドレス指定されるシーンが並ぶディスプレイフィールドを有するディスプレイ上で、ユーザに提示される。ユーザは、コンピュータ・ビジョン・システムのディスプレイ上でユーザが見る「ウィンドウ」として現される「現実」の世界を見る。「ウィンドウ」は実際の大きさでおよび適切な遠近で現され、「現実」の世界についてのイメージ情報を含むため、ユーザは多大な恩恵を受ける。コンピュータが最終イメージの部分を生成するため、この情報は、さらに裸眼または電子カメラでは容易に見えないオブジェクトを含むこともできる。
発明の目的
本発明の主要な目的は、コンピュータシステムにグラフィック・インターフェイスを提供することである。
さらなる目的は、コンピュータ・ビジョン・システムにグラフィック・ユーザ・インターフェイスを提供することである。
さらなる目的は、新しいグラフィック・ユーザ・インターフェイスを提供することである。
本発明の目的は、グラフィック・ユーザ・インターフェイスに新しい機能を提供することである。
目的は、補強イメージ中のオブジェクトおよび特徴に応答するグラフィック・ユーザ・インターフェイスを提供することである。
目的は、コンピュータ・ビジョン・システムの機能、特徴およびプロパティに応答するグラフィック・ユーザ・インターフェイスを提供することである。
目的は、コンピュータ・ビジョン・システムの位置または姿勢、あるいは両方に応答するグラフィック・ユーザ・インターフェイスを提供することである。
これらの目的にしたがって、予期する最高の形態を含む特定の好ましい例が、以下に図面を参照する明快な説明とともに詳細に提供される。
【図面の簡単な説明】
図１は、各種タイプのオブジェクトをその内部に有するコンピュータ・ビジョン・システムによってアドレス指定可能な都市景観シーンの図である。
図２は、それぞれがコンピュータ・ビジョン・システムによって別個にアドレス指定可能な、図１のシーン内の対象の３フィールドである。
図３は、照準指標をその内部に有するコンピュータ・ビジョン・システムに対して現れるイメージである。
図４は、グラフィック・ユーザ・インターフェイスをその内部に有するコンピュータ・ビジョン・システムの合成イメージを示す。
図５は、図４と同様の、ただし都市景観シーンの異なる部分からのイメージを示す。
図６は、イメージ信号の分析から検出されるオブジェクトに関連するグラフィック・ユーザ・インターフェイスを図示する。
図７は、コンピュータ・ビジョン・システムからのイメージであって、これと関連づけられるグラフィック・ユーザ・インターフェイスを有する移動オブジェクトを示す。
図８は、イメージポイントにすでにロックされている照準指標とグラフィック・ユーザ・インターフェイスの間の関係を図示する。
図９は、インターフェイスが画面の端から出て現れるコンピュータ・ビジョン・システムのイメージフィールドにおいて、２つのグラフィック・ユーザ・インターフェイスがどのように見えるかを示す。
図１０〜図１２は、グラフィック・ユーザ・インターフェイスおよびイメージフィールド内でこれを位置決めする体系を図示する。
図１３〜図１４は、イメージフィールド内でグラフィック・ユーザ・インターフェイスを位置決めする別の体系に関連するイメージを含む。
図１５は、グラフィック・ユーザ・インターフェイスを有するイメージであって、その位置がシーンに関連しているため、ユーザの位置に応答する。
図１６は、コンピュータ・ビジョン・システム、シーンに関するグラフィック・ユーザ・インターフェイスのわかりやすい場所、さらにコンパスと関係するシーンの幾何学形を示す。
図１７は、同様に、ポインティング方向における変位の幾何学形および結果を示す。
図１８は、同様に、グラフィック・ユーザ・インターフェイスに関する大変位およびその結果を示す。
図１９は、動的に位置決めされたグラフィック・ユーザ・インターフェイスに関連する幾何学形を示す。
図２０は、画像処理されているシーンの幾何学構造を含む幾何学形、すなわち平面と、表示されてその平面上に現れるグラフィック・ユーザ・インターフェイスを示す。
図２１は、グラフィック・ユーザ・インターフェイスがイメージの観察者に垂直に向かい合うように現れる特定の視点からのオブジェクトのイメージである。
図２２は、グラフィック・ユーザ・インターフェイスがその第２視点からのシーンの観察者に垂直に向かい合うように現れる、異なるかつ直交する視点からの図２１のオブジェクトの第２イメージである。
図２３は、業務サービスを促進するパブリシティサインのイメージであり、前記サインは、そこからアドレス指定されている場所に特定の遠近感である。
図２４は、ユーザの視点から見られるようにサインの遠近感と合致する遠近感において、グラフィック・ユーザ・インターフェイスをすでにイメージに追加したサインの第２イメージである。
図２５は、第２グラフィック・ユーザ・インターフェイスが第１グラフィック・ユーザ・インターフェイスのサブフィールドとして提示されるサインの第３イメージである。
図２６は、同様に、第２グラフィック・ユーザ・インターフェイスが第１グラフィック・ユーザ・インターフェイスのサブフィールドとして提示されるサインのイメージである。
図２７は、グラフィック・ユーザ・インターフェイスとアドレス指定されているシーンとの間の空間的広がりにしたがって、ディスプレイフィールドに位置決めされる指標によって支援されるグラフィック・ユーザ・インターフェイスを有するイメージを示す。
図２８は、同様に、グラフィック・ユーザ・インターフェイスの部分との空間的関係にもとづいて、イメージ内に指標を位置決めするグラフィック・ユーザ・インターフェイスを有するイメージを示す。
図２９は、グラフィック・ユーザ・インターフェイスにおいて指標を用いて、コンピュータ・ビジョン・システムの物理的特性に関連づけた空間的情報を視覚形式に変換する体系を図示する。
図３０は、グラフィック・ユーザ・インターフェイスに関連づけた拡大メカニズムを実証する。
図３１は、ズームしたグラフィック・ユーザ・インターフェイスに関連づけた「ドロップ・アンド・ドラッグ」操作を示す。
図３２は、グラフィック・ユーザ・インターフェイスのコンテンツが、アドレス指定されているシーンの一部の拡大イメージを含むグラフィック・ユーザ・インターフェイスを含むシーンのイメージである。
図３３〜図３６は、ディスプレイフィールドの限界（extremity）に応答する特殊化されたグラフィック・ユーザ・インターフェイスの一組の４枚イメージを含む。
図３７は、ユーザの位置に対するその位置に関して他のグラフィック・ユーザ・インターフェイスのカタログ作成を行うグラフィック・ユーザ・インターフェイスを示す。
図３８は、位置および遠近感に関して他のグラフィック・ユーザ・インターフェイスのカタログ作成を行う同様のグラフィック・ユーザ・インターフェイスを示す。
図３９は、ある特定のグラフィック・ユーザ・インターフェイスの位置をさらに詳細に説明するためにマップを組み合わせた同様のグラフィック・ユーザ・インターフェイスを示す。
図４０は、「周知の」オブジェクトに関するグラフィック・ユーザ・インターフェイスの位置がそこで使用される書体の濃淡に作用する体系を示す。
図４１は、本発明の装置のブロック図である。
図４２〜図４４は、サイズまたは透明度において、ポインティング方向とグラフィック・ユーザ・インターフェイスの中心との間のズレに比例して応答するグラフィック・ユーザ・インターフェイスを有するイメージである。
図４５〜図４７は、複雑性において、ポインティング方向に応答するグラフィック・ユーザ・インターフェイスを示す。
図４８〜図５４は、グラフィック・ユーザ・インターフェイス可能コンピュータ・ビジョン・システムとコンピュータを有する受信局との対話を図示する一連のイメージを示す。
特定重要語の定義
この文書を通して使用される特定の用語および言葉は、それらに関連する特別な意味を有する。本発明を完全に理解するために、これらの用語の意味をよく理解することは重要である。したがって、これらの用語をさらに定義する助けとなるように以下を提示する。説明は、意図する意味を明確にするのを助けるべきであり、いかなる用語をも限定する試みに用いられるものではない。言い換えれば、定義は全体的な理解を与えることを目的とし、用語の範囲を記載または限定するよう意図したものではない。真のおよび完全な各用語の範囲は、とりわけ当分野での一般的な使用、その要素への明白な代替、類似分野でのよく似た使用を含む様々な手段によって決定される。リストはアルファベット順であり、最初にリストされる用語には特別な重要性があるわけではない。
補強イメージ
「補強イメージ」とは、少なくとも光学的に得た部分と、コンピュータが生成した部分とを含む合成イメージである。光学的に得た部分は、一般に電子カメラが生成したイメージである。コンピュータが生成した部分は、一般に位置ならびに姿勢決定に従って生成されたイメージまたはイメージの構成部分である。「補強イメージ」はさらに、グラフィック・ユーザ・インターフェイス・デバイスを含むこともある。
コンピュータ生成イメージ
「コンピュータ生成イメージ」とは、コンピュータイメージプロセッサが形成するイメージまたはイメージの構成部分である。プロセッサはイメージが蓄積されたメモリと連絡する。さらに、プロセッサは、位置及び姿勢決定手段と連絡する。この位置及び姿勢決定手段は、コンピュータ・ビジョン・システムの位置および姿勢に基づいて、プロセッサにアドレス指定されるシーンに関連する様々なイメージを生成する。「コンピュータ生成イメージ」はグラフィック・ユーザ・インターフェイス・デバイスを含んでもよい。
ディスプレイフィールド
「ディスプレイフィールド」とは、コンピュータ・ビジョン・システムにおいてイメージが表示される平面を言う。「ディスプレイフィールド」はほぼ平面であり、一般に四角形である。
ドラッグ・アンド・ドロップ
「ドラッグ・アンド・ドロップ」操作は、カーソルがフィールド上を動いている間、スイッチがずっと押されている手順をいう。
フィールド領域
「フィールド領域」とは、任意の境界を有する二次元エリアである。
グラフィック・ユーザ・インターフェイス
「グラフィック・ユーザ・インターフェイス」は、デバイスである。通常、イメージ中にフィールド領域として存在する。コンピュータまたは他のユーザ・インターフェイスの命令を、情報のグラフィック表示を介して容易にするよう機能する。
直角をなす整列
「直角をなす整列」とは、「直角をなす整列」をしているオブジェクト間に直交性を備える幾何学的な構築をいう。
光学軸
「光学軸」とは、カメラを有するコンピュータ・ビジョン・システムのポインティング方向を規定する、回転軸またはレンズの照準である。
光学的に得たイメージ
「光学的に得たイメージ」とは、カメラが形成する電子イメージである。通常、ＣＣＤタイプのイメージ検出器が、アドレス指定されるシーンの電子イメージ信号を形成する。イメージを赤外線または別のスペクトルから作ることも可能である。さらに、「光学的に得たイメージ」には、イメージ装置の一般的な他のフォームの中でもとりわけ、センサ、レーダー、超音波からのイメージが含まれる。
ポイント・アンド・クリック
「ポイント・アンド・クリック」操作は、カーソルをフィールド領域に位置決めするときに、同時にスイッチを押す手順をいう。
ポインティング方向
本発明のコンピュータ・ビジョン・システムは「ポインティング方向」に関係づけられている。一般に、「ポインティング方向」は、カメラレンズの回転軸によって規定され、それと同一線形順序に並んでいる。レンズを有するコンピュータ・ビジョン・システムは、必ず回転軸を有する。カメラレンズを様々な方向に向けることにより、コンピュータ・ビジョン・システムの「ポインティング方向」は変化する。シーンをアドレス指定するためには、カメラ（レンズ軸）をシーン中央の方向に向ける。コンピュータ・ビジョン・システムをカメラなしで有することも可能である。この場合、「ポインティング方向」を任意の基準方向に規定しなければならない。
位置及び姿勢決定手段
「位置及び姿勢決定手段」は、コンピュータ・ビジョン・システムの位置および姿勢を測定もしくは決定する設備である。位置はポインティング方向の線上にあり、コンピュータ・ビジョン・システムディスプレイのイメージ平面内のポイントを基準として決定される。姿勢はコンピュータ・ビジョン・システムのポインティング方向を基準として決定される。
‘実在’オブジェクト
‘実在’オブジェクトとは、コンピュータ・ビジョン・システムがアドレス指定可能なシーン内のオブジェクトである。典型的に、‘実在’オブジェクトは、車または建物等である。‘実在’オブジェクトは、「メニュー」または他の「イメージオブジェクト」などの抽象的なシーンに存在するオブジェクトと区別される。
‘実在’シーン
‘実在’シーンとは、実在オブジェクトからなるシーンをいう。芸術家により描かれる、空間に存在するオブジェクトに対応しない仮想シーンとは区別される。
サブフィールド領域
「サブフィールド領域」とは、フィールド内のまたはフィールドに囲まれた、任意の境界を有する二次元エリアである。
好適な実施例の詳細な説明
本発明のグラフィックユーザーインターフェイスは、このグラフィックユーザインターフェースを採用するシステムのポインティング方向と相互に作用し合う。また、システムの配置と相互に作用し合う。また、アドレス指定されたイメージの遠近感と相互に作用し合う。移動オブジェクトを含む描かれたオブジェクトと相互に作用し合う。現実世界の特定の場所と相互に作用し合う。コンピュータ・ビジョン・システムの外部にある同報通信システムと相互に作用し合う。アドレス指定されたシーンに関連する抽象的な幾何学的構造物と相互に作用し合う。これらの事実から、当技術分野の通常のグラフィック・ユーザ・インターフェイスとここで教示されるグラフィック・ユーザ・インターフェイスとの間の主要な相違を見い出すことができる。簡単なグラフィック・ユーザ・インターフェイスは単に情報をユーザに伝達できるにすぎないが、より複雑なグラフィック・ユーザ・インターフェイスならユーザがコンピュータを操作することができる相互作用メカニズムを提供することができる。
本発明の簡単なコンピュータ・ビジョン・システム
コンピュータ・ビジョン・システムは、カメラ、コンピュータ、位置ならびに姿勢決定手段、およびディスプレイで構成することができる。カメラは光学軸を持つレンズを有していてもよい。光学軸は、カメラ、ひいてはコンピュータ・ビジョン・システムのポインティング方向を画定する。コンピュータ・ビジョン・システムの「姿勢」とはカメラのポインティング方向のことをいう。ディスプレイ（典型的にはフラットパネルタイプの放射ディスプレイ装置）は、一般的に四角形のほぼ平坦なイメージフィールド、または簡単に言うと、「ディスプレイフィールド」を有している。このディスプレイフィールドは、それ自身が存在する平面と直交する「通常の」方向と関連している。「通常の」とは、ここでは一般的な意味「普通の」に対して幾何学的な意味で使用している。ディスプレイの直角方向は、システムのポインティング方向と一般的に整列している。一般化する目的のために、「整列」という用語の使用は以下に詳細に明確化される。ディスプレイフィールドが光学軸と直交する場合、それは整列しているといわれる。場合によっては、ディスプレイの直角方向とカメラのポインティング方向との間に角度的なずれが生じることがある。それでもディスプレイはカメラのポインティング方向と「整列している」と言われるが、これはそこに表示されたイメージがポインティング方向の変化または変位に反応する場合に限られる。カメラがシーンの方向を向いているとき、そのシーンはシステムによって表されていると言われる。この構成において、アドレス指定されたシーンの補強したイメージをディスプレイフィールドに表示できる。視覚的に取り込まれたイメージは、コンピュータで生成されたイメージと合成して合成イメージに形成される。コンピュータで生成されたイメージには、システムの位置及び姿勢の測定に基づいて、適当な遠近感を与えることができる。ユーザは、シーンのイメージを見ながらコンピュータに命令するのが望ましい場合があるため、グラフィック・ユーザ・インターフェイスを提供するという本システムの目的が役立つ。
本発明の簡単なグラフィック・ユーザ・インターフェイス
一般的なパーソナルコンピュータのディスプレイスクリーンに表示されるグラフィック・ユーザ・インターフェイスと同様に、グラフィック・ユーザ・インターフェイスをコンピュータ・ビジョン・システムの合成イメージに重ね合わせることが可能である。
本発明のグラフィック・ユーザ・インターフェイスは、フィールド領域を含んでいる。このフィールド領域はディスプレイフィールドの小数部を占める。フィールド領域は周辺部で境界を区切られている。フィールド領域の境界線はディスプレイフィールドの境界線と一致していてもよい。グラフィック・ユーザ・インターフェイスは、グラフィックおよびイメージを含む情報を有する構成にすることができる。
したがって、本発明は、
光学軸を備えたカメラと、コンピュータと、位置及び姿勢決定手段と、前記光学軸に直角をなして整列されたディスプレイフィールドを有するディスプレイとを有するコンピュータ・ビジョン・システムのグラフィック・ユーザ・インターフェイスにおいて、
フィールド領域と、
周辺部と、
を含み、
前記フィールド領域が、該ディスプレイフィールドのエリアの一部であり、前記周辺部に包含され、シーンが前記コンピュータ・ビジョン・システムによってアドレス指定されている場合にイメージおよびグラフィック情報を表示するために動作可能なグラフィック・ユーザ・インターフェイス
を提供する。
周辺部
簡単なグラフィック・ユーザ・インターフェイスには、フィールド領域の周辺部を形成する四辺によって境界を区切られるものがある。フィールド領域内部の情報は典型的にはグラフィック・ユーザ・インターフェイスに属している。フィールド領域外部の情報は、グラフィック・ユーザ・インターフェイスの操作からほとんど独立して、より一般的なコンピュータアプリケーション（通常はビジョンシステム）に属する。グラフィック・ユーザ・インターフェイス内の情報には、特にテキスト、映像、制御ボタン、メーター、指標、「透明」フィールド、グラフィック、マップ、カラー、デスクトップオブジェクトが含まれる。コンピュータ・ビジョン・システムにおいて、グラフィック・ユーザ・インターフェイス外部の情報には、アドレス指定されたシーンの補強したイメージが含まれる。
したがって、本発明は、さらに
前記周辺部が四角形の形状であり、イメージ形状の情報およびグラフィックスが表示されるエリアを包含し、前記イメージおよびグラフィックスはインターフェイスをコンピュータ・ビジョン・システムのユーザに提供する、上記記載のグラフィック・ユーザ・インターフェイス
を提供する。
以下に述べるほとんどの説明は、情報を含む四角形のフィールドに関するものであるが、もちろん、複雑な周辺部形状を有するコンピュータユーザインターフェイスを構成することもできる。たとえば、文字列をイメージ上に表示することができる（上記で述べた参考の第０８／３０７，３６０号の図１９参照）。このようなグラフィックオブジェクトは、異なる文字列ごとに独自の周辺部を有することになる。本発明のグラフィックインターフェイスは、ウィンドウタイプの四角形のオブジェクトに限定されない。本発明のグラフィック・ユーザ・インターフェイスの多くの利用が、コンピュータイメージングシステムの独自の様態に関しているため、インターフェイスの形でイメージオブジェクトおよび特徴とやりとりを行う傾向がある。以下に示す例のいくつかによってこの概念がより詳細に説明される。
したがって、本発明は、さらに
前記周辺部は、任意の形状であり、かつ情報が表示されるエリアを包含し、該情報は、インターフェイスをコンピュータ・ビジョン・システムのユーザに提供する、上記記載のグラフィック・ユーザ・インターフェイスグラフィック・ユーザ・インターフェイス
を提供する。
グラフィック・ユーザ・インターフェイスのフィールド領域に表示されている情報は、静的または動的なものである。情報が変化する場合、その変化はいくつかのイベントまたは状況により引き起こされる。状況を監視したりイベントの発生を監視するよう操作可能である。さらに、特定の情報を与える手段を所望のプログラミングにより表示させる応答メカニズムが、コンピュータの一部として含まれている。無数の可能性が存在するが、ここでの説明は簡単なものについて述べる。いくつかの情報内容を有するフィールド領域を持つグラフィック・ユーザ・インターフェイス（ＧＵＩ）は、カメラの姿勢またはポインティング方向に反応するように作成することが可能である。カメラが北を向いている場合、表示できる指標が表示される。カメラのポインティング方向が調整されると、指標はそれに応じて変化することができる。
したがって、本発明は、
前記フィールド領域と通信を行う応答メカニズムであって、フィールド領域の情報内容を変更するよう作動する応答メカニズムをさらに含む、上記記載のグラフィック・ユーザ・インターフェイス
を含む。
サブフィールド
バージョンによって、本発明のグラフィック・ユーザ・インターフェイスはさらに、フィールド領域内に完全に含まれるサブフィールド領域を含むことができる。サブフィールド領域は、サブフィールド領域の外部にあるフィールド領域部分に表示される情報から独立した情報を表示することができる。サブフィールド領域をアイコンにし、「ポイント・アンド・クリック」タイプの操作によってアイコンが刺激されると、コンピュータの機能を作動させるようにすることもできる。一般的に、これには二つのステップが含まれる。第一のステップで、ユーザはカーソルをサブフィールド位置上に移動させ、カーソルをサブフィールドと並べた状態にしてスイッチを押すことでコマンドを発生させる。当業者であればこれを「マウスクリック」と連想されるかもしれない。サブフィールドはカーソルに「反応する」と言われる。実際に「ポイント・アンド・クリック」操作に反応するのはコンピュータであるが、当業者ならサブフィールドが反応すると言ってこの問題を簡略化するかもしれない。マウスをクリックしてカーソルがサブフィールドと並んでいる状況を、コンピュータ論理プロセッサにおいてテストする。このサブフィールドは反応するように見えるが単なる視覚的装置である。
したがって、本発明は、さらに
少なくとも１つのサブフィールド領域をさらに含む、上記記載のグラフィック・ユーザ・インターフェイスと、
前記サブフィールドは、カーソルに応答する、上記記載のグラフィック・ユーザ・インターフェイス
を提供する。
グラフィック・ユーザ・インターフェイスの基準点および指示する指標
本発明のグラフィック・ユーザ・インターフェイスは、かなり重要な空間的コンテンツを有するイメージと連携するように使用されることがあるため、グラフィック・ユーザ・インターフェイスと表示されるイメージにおける基準点とを関連づけることが有利な場合が多い。しかし、グラフィック・ユーザ・インターフェイスは必ず、多くのポイントを有する面積を占める二次元の広がりを有するフィールド領域でなければならない。どの一つのポイントも、おそらくほかのどのポイントよりも重要でない。特定のイメージポイントとグラフィック・ユーザ・インターフェイス全体とを関連づけるために、グラフィック・ユーザ・インターフェイスは、その関連を作り出すためのメカニズムを含むことができる。グラフィック・ユーザ・インターフェイスは、一つのポイントに対応するように、指標をグラフィック・ユーザ・インターフェイスに追加する。一つの例として、グラフィック・ユーザ・インターフェイスの上にポインティング用の矢印を取り付ける。矢印の先は基準点に対応させる。矢印の尾は、グラフィック・ユーザ・インターフェイスを基準点と関連づけるグラフィック・ユーザ・インターフェイスの周辺部に取り付ける。このように、グラフィック・ユーザ・インターフェイスは、フィールド領域、周辺部および指示用の指標で構成され、補強したイメージにおける一つのポイントと関連することができる。
したがって、本発明は、さらに
基準点を有し、該周辺部に接続される指標をさらに含む、上記記載のグラフィック・ユーザ・インターフェイス
を提供する。
カーソルとポインティング方向との関係
コンピュータ・ビジョン・システムに関連するきわめて独自の特徴に注目することはこのポイントにおいて非常に重要である。コンピュータ・ビジョン・システムに表示されるイメージは、カメラのポインティング方向に対して独自である。この特徴は、グラフィック・ユーザ・インターフェイスの操作と関連する向きと共に、ここで教示される多くのグラフィック・ユーザ・インターフェイスの重要な基礎を提供するものである。「ポイント・アンド・クリック」操作は一般的なコンピュータコマンド操作であるが、コンピュータ・ビジョン・システムの「ポインティングの」特徴は独自なものである。カメラの照準は、ディスプレイフィールドにおける指標によって表示される。この指標は、光学軸の交点によって定まるポイントおよびディスプレイフィールドが存在する平面に関連する。照準の指標は一般的なカーソルの使用方法と同様に使用することができる。違いは、アドレス指定されたシーンとカーソルとの間に深遠な関係が確立されるという点である。カメラ、ひいてはカーソル（照準インジケータ）のポインティング方向を操作することで、グラフィック・ユーザ・インターフェイスは現実世界のオブジェクトおよび建造物と関連付けられる。このことをさらに説明するための例を示す。コンピュータ・ビジョン・システムには姿勢決定手段が含まれているため、コンピュータには常にカメラのポインティング方向がわかっている。グラフィック・ユーザ・インターフェイスはコンパスのどのポイント（たとえば、真西方向）にも「固定している」ように見えるようにコンピュータで表示することができる。カメラが西を向くように調整して、ユーザはカーソルをグラフィック・ユーザ・インターフェイスと並べる。カメラのポインティング方向とディスプレイフィールド内でグラフィック・ユーザ・インターフェイスが表示される位置との間の関係によって、コンピュータ・ビジョン・システムに独自のグラフィック・ユーザ・インターフェイスを向上させる絶好の機会が提供される。表示されたイメージとカーソル位置との間の連携関係は、本開示にわたって教示されるグラフィック・ユーザ・インターフェイスシステムに優れた利点を与えるように示されている。ユーザはコンピュータ・ビジョン・システム内で「ポイント・アンド・クリック」操作を行うことができる。ユーザは、照準指標によって表示されるカメラのポインティング方向を、ポインティングカーソルとして使用することができる。照準指標がグラフィック・ユーザ・インターフェイスのフィールド領域内にあり、かつスイッチが押されている場合、コンピュータは状態を検索し、所望のコマンドに関するルーチンを送出して応答する。カメラのポインティング方向によって、ほとんどのグラフィック・ユーザ・インターフェイスのアプリケーションで使用されている優れたカーソルが与えられるとはいっても、照準カーソルの使用は本発明の必要条件ではない。実際に、二つ目のカーソルが「トラックボール」「マウス」「アイトラッカー」「パワーポイント」装置などの別の手段によって動かされるコンピュータ・ビジョン・システムのグラフィック・ユーザ・インターフェイスを提供することは可能である。
したがって、本発明は、さらに
該カメラの光学軸が該ディスプレイフィールド内のポイント、好ましくはその中心に対応し、前記コンピュータによって、前記ポイントおよびサブフィールドがスイッチの起動と同時に同一場所に配置される状態となる、上記記載のグラフィック・ユーザ・インターフェイス、
該カーソルが該カメラの照準である、上記記載のグラフィック・ユーザ・インターフェイス、
該光学軸が横たわるラインと、該ディスプレイフィールドが横たわる平面との交差点によって定まる該ディスプレイフィールド内のポイントと、
オン状態およびオフ状態を有するスイッチと、
前記コンピュータと通信を行い、前記ポイントが該フィールド領域内の任意のポイントと同一場所に配置されているかどうかを決定し、さらに前記スイッチの位置を決定する一致決定手段と、
を含み、前記コンピュータが一致の状態に応答する、上記記載のグラフィック・ユーザ・インターフェイス
を提供する。
姿勢に反応するグラフィック・ユーザ・インターフェイスを有する例
グラフィック・ユーザ・インターフェイスは、姿勢決定手段によって決定されるシステムの姿勢に反応する。これを説明する簡単な例として、ディスプレイフィールドに対して位置を固定したグラフィック・ユーザ・インターフェイスは、カメラが常時向いているコンパスの方向の指示を単に表示することができる。西を向いていると、インジケータは「西」というテキストを示す。カメラを９０度右に調整すると、インジケータは「北」を示す。このように、グラフィック・ユーザ・インターフェイスは、照準カーソルに関係なくシステムのポインティング方向に反応する。
したがって、本発明は、さらに
前記サブフィールドは当該システムの姿勢に応答する、上記記載のグラフィック・ユーザ・インターフェイス
を提供する。
グラフィック・ユーザ・インターフェイスは位置に反応することができる
グラフィック・ユーザ・インターフェイスはさらに、位置決定手段によって決定されるシステムの位置に反応することができる。これを説明する簡単な例として、サブフィールドはシステムの緯度および経度に応じた数値を単に表示できる。これは世界的規模の利用に特に役立つ。もっと小さな規模では、別の位置装置を提供することできるだろう。倉庫にいると仮定すると、フィートまたはメートル単位のデカルト座標系が適切である。位置に反応するグラフィック・ユーザ・インターフェイスの第二の簡単な例は、状態のボーダーに応じた形を有するグラフィック・ユーザ・インターフェイスが示された、サマリーにおいて示されている。
したがって、本発明は、さらに
前記サブフィールドは、当該システムの位置に応答する、上記記載のグラフィック・ユーザ・インターフェイス
を提供する。
このポイントに対する説明によって、コンピュータ・ビジョン・システムと連携するよう構成されたグラフィック・ユーザ・インターフェイスに関する簡単な概念を紹介する。以下に、コンピュータ・ビジョン・システムの目的をさらに発展させるためにグラフィック・ユーザ・インターフェイスをいかに構成するかに関する発展した概念のさらなる例および説明を示す。
グラフィック・ユーザ・インターフェイスは位置ならびに姿勢に反応することができる
基準点を有し、それに関連する指標を指し示すグラフィック・ユーザ・インターフェイスを再び考える。作動すると、そこに表示されるテキストは、表されているイメージに関する基準点の位置、より詳細にはシーンにおける特定のオブジェクトに反応する。これはちょっと見ただけでは大したことのようには見えないが、よく観察するとその真の能力を示すものである。コンピュータ・ビジョン・システムがシーンをアドレス指定しており、またディスプレイにおいてシーンの補強されたイメージを表示している場合、グラフィック・ユーザ・インターフェイスはシーンのオブジェクトと連携するよう動作する。シーンのオブジェクトは、記憶された情報を介してコンピュータへ「知られる」。位置及び姿勢の決定は、コンピュータによって使用され、どのオブジェクトが表されているかを正確に決定する。たとえば、西を向いているサンフランシスコのアルカトラズ島のコンピュータ・ビジョン・システムは、シーンにゴールデンゲートブリッジが含まれていることを「知って」いる。橋の記録されたイメージは橋の実像に重ね合わせることができる。ノースタワーに基準点を配置したグラフィック・ユーザ・インターフェイスは、グラフィック・ユーザ・インターフェイスフィールド領域において橋の表示を行うことができる。
したがって、コンピュータ・ビジョン・システムが公知のランドマークを含むシーンを表し、かつグラフィック・ユーザ・インターフェイス基準点がイメージ内のランドマークと対応するように位置されている場合、ランドマークに関するデータはグラフィック・ユーザ・インターフェイスのサブフィールドに表示することができる。グラフィック・ユーザ・インターフェイスの基準点を（グラフィック・ユーザ・インターフェイスを移動させる）異なるランドマークと一致させるだけで、サブフィールドを新しいランドマークに関する新しい情報に更新させる。
グラフィック・ユーザ・インターフェイスはイメージ信号に反応させることができる
コンピュータはカメラにより提供されるイメージ信号をピクセルごとに分析することができる。
テキストフィールドを有し、さらにそれと関連する基準点を有しているグラフィック・ユーザ・インターフェイスを考える。ポイントが、赤のイメージピクセルに対応する場合、そのテキストフィールドはそのポイントにおいてイメージの色を表示することができる。グラフィック・ユーザ・インターフェイスをイメージの別の場所に移動させた場合、その基準点は、おそらくは色の異なる新しいピクセルに関連する。グラフィック・ユーザ・インターフェイスのテキストフィールドは新しい色に応じて新しいテキストを表示することができる。この例は簡単であり、またユーティリティを必要とする傾向にあるが、強力なポイントを示している。グラフィック・ユーザ・インターフェイスは実際の時間においてイメージ信号と相互作用することができる。
したがって、本発明は、さらに
前記グラフィック・ユーザ・インターフェイスは、該カメラによって生成されるイメージ信号に応答する、上記記載のグラフィック・ユーザ・インターフェイス
を提供する。
こうした新規の構成が本当に実用できればかなりの賛辞を得ることは確実である。グラフィック・ユーザ・インターフェイスのコンピュータ・ビジョン・システムとの賢明な結合、および特に姿勢（ポインティング方向）、位置、位置ならびに姿勢を含むこの特異な特徴により驚くべき結果が生み出される。徹底的かつ完全な開示を提供するために、次の実施形態を図を参照して示す。
図１を参照すると、いくつかのグラフィック・ユーザ・インターフェイス装置を示すための都市景観のシーンが興味深い。このシーンは特定のタイプのエンティティーまたはオブジェクトを含んでいる。このシーンは、ａ）ボート１、車２、および空を移動する雲または飛行機を含む移動性のまたは移動するオブジェクトと、ｂ）建物３、地面、および水５を含む固定されたまたは静止したオブジェクトと、ｃ）建物と同様静止する傾向にあるが時々移動することもある、クレーン４などの半静止／移動オブジェクトを含むことができる第三のタイプ、を含む。コンピュータ・ビジョン・システムは、異なる時間における都市景観全体の様々な部分を表すことができる。図１の都市景観を、それぞれコンピュータ・ビジョン・システムで別々に表すことができる一つのシーンを表示する。図２の三つの個々のシーン、２１、２２、２３に分割することは下に表す例にとって役立つ。図３はコンピュータ・ビジョン・システムで表示可能な一つのイメージとしてシーン２１を示す。カメラ照準のグラフィック表示は、イメージの中心の３１で示される。コンピュータ・ビジョン・システムが右にパンすると、照準マークはディスプレイの中心にとどまっているが、イメージは一般的な電気カメラで見られるように普通左に移動するように見える。グラフィック・ユーザ・インターフェイスが図４に示される表示イメージで始まる場合、フィールド領域４１、矢印指標４２、基準点４３、およびサブフィールド４４を含むことができる。サブフィールド４４は基準点４３との関係（重ね合わせ）によってグラフィック・ユーザ・インターフェイスに関連する建物に特に関するデータを含むことができる。コンピュータは、コンピュータ・ビジョン・システムの位置ならびに姿勢を「知っている」ので、オペラハウスをイメージの照準において表示しなければならないことになる。したがって、コンピュータはグラフィック・ユーザ・インターフェイスにおいてオペラハウスに関するサブフィールド情報を表示する。この情報はコンピュータメモリ内に以前記録されていたものであってもよい。
都市景観のほかの目的もまた興味深い。スカイラインにおけるほかの建物を見るためにコンピュータ・ビジョン・システムが右側にパンされる場合、ユーザは新しいグラフィック・ユーザ・インターフェイスを要望できる。図５は位置及び姿勢の測定で判断されるコンピュータ・ビジョン・システムに対するその場所を通してコンピュータに知られる別の建物５１を示している。グラフィック・ユーザ・インターフェイス５２は、サブフィールド４４で示されるものとは異なるサブフィールド５３内に情報を有している。新しい情報は、新しいグラフィック・ユーザ・インターフェイス基準点５４と関連する建物に特異のものである。
一時オブジェクトの中には、データベースの制限によりコンピュータに知られることができないものがある。たとえば、図６は、コンピュータが最後にデータをプログラミングされた時点より後にできたスカイラインにおけるクレーン６１を示している。この場合、「知られていない」オブジェクトはイメージ信号において探知することが可能であるが思い起こすことのできる情報がない。サブフィールド６２はこうした状況を反映する。この目的のために起動されたグラフィック・ユーザ・インターフェイスは、表示するデータを制限されることがある。このグラフィック・ユーザ・インターフェイスは、クレーンの高さ、色、ユーザからの範囲などに関する情報を、サブフィールド６３に表示することができる。
移動するオブジェクトはコンピュータによって追跡可能である。範囲および角度の変化がわかれば、コンピュータは移動するオブジェクトについての情報を計算することができる。図７は、グラフィック・ユーザ・インターフェイス７２が起動してから移動するオブジェクトと関連する場合のセイルボート７１を示している。また、コンピュータデータベースがオブジェクトに関する詳細を知ることができる可能性は低い。しかし、サブフィールド７３はオブジェクト、または速度や色などのオブジェクトのプロパティに関する情報を表示する。
例として、どのようにしてグラフィック・ユーザ・インターフェイスがディスプレイフィールドでの共存を通してシーンの特定のオブジェクトと関連することができるかを示す。従来の例においては、グラフィック・ユーザ・インターフェイスは照準ポイントのオブジェクトで始められた。グラフィック・ユーザ・インターフェイス基準点および照準は並んで示されていた。グラフィック・ユーザ・インターフェイスを照準から「解除し」、それをあるオブジェクトに残して、そのオブジェクトと関連させたままにすることが可能である。「解除」コマンドの際、コンピュータはグラフィック・ユーザ・インターフェイスが位置する場所を記憶し、カメラのポインティング方向へ更なる調整が行われたかどうかに関係なく、それをイメージ内のそのポイントと関連させた状態にさせる。始められてその後解除された図４のグラフィック・ユーザ・インターフェイスは、カメラがパンして離れた場合もオペラハウスに関連したままであり、照準はグラフィック・ユーザ・インターフェイスの基準点とは一致しなくなる。図８は、オペラハウスに特定のデータを有するサブフィールド８２を持つ、オペラハウスに関連するグラフィック・ユーザ・インターフェイス８１のイメージと、照準８４に関連しないイメージの位置に配置されている基準点８３とを示している。グラフィック・ユーザ・インターフェイスの現実世界のポイントに対する関連を維持するいくつかの技術的解決法がある。第一に、解除コマンドに独自の位置及び姿勢値をグラフィック・ユーザ・インターフェイス基準点に割り当てることである。第二に、イメージ信号を調べ、かつパターン認識技術を適用する体系が含まれる。使用可能な特定のメカニズムにかかわらず、コンピュータ・ビジョン・システムのイメージに対して固定されたグラフィック・ユーザ・インターフェイスは非常に新しいものであると考えられている。
グラフィック・ユーザ・インターフェイスは都市景観においていくつかの位置で「残す」ことができるため、これらの多くを様々なポイントで始めることができる。これはいつでもコンピュータ・ビジョン・システムの視野から消すことができるが、なお割り当てられたオブジェクトに関連したままになっている。コンピュータ・ビジョン・システムがオブジェクトを含むシーンを再び獲得すると、グラフィック・ユーザ・インターフェイスは再び現れる。図９は、オブジェクト上に置かれそれに「ロックされた」二つのグラフィック・ユーザ・インターフェイス９１および９２の一部を示している。この例において、ディスプレイフィールド境界線は、グラフィック・ユーザ・インターフェイス周辺部を一部占めるものと考えられている。グラフィック・ユーザ・インターフェイスの一部はこうした制限を越えて広がっているように見えることに注意する。
グラフィック・ユーザ・インターフェイス９１および９２間のわずかな相違に注意する。矢印指標は対向する低いコーナーにおいて配置されている。基準のポイントの位置をユーザが選択可能にすることは有用である。イメージは、好ましくはグラフィック・ユーザ・インターフェイスによってブロックされるべきではない特定の部分を含むことができるため、グラフィック・ユーザ・インターフェイスは調整可能な基準点および支持指標を有することができるようになっている。グラフィック・ユーザ・インターフェイスは、起動後に照準から解除されると、さらに操作することができる。特定のコンピュータルーチンの作動により、グラフィック・ユーザ・インターフェイスをその基準点を中心にしたアーチに沿って変換させることができる。たとえば、照準を使用して、そのフィールド領域のいずれのポイントにおいてもグラフィック・ユーザ・インターフェイスを「つかむ」ことができるようにする。カメラのポインティング方向をさらに調整すると、グラフィック・ユーザ・インターフェイスをその基準点を中心にしたアーチに沿って移動する。図１０ないし図１２はこれがどのような外観をしているかを示している。基準点１０１はそれに関連するアーチ１０２を有している。グラフィック・ユーザ・インターフェイス周辺部に「とりつけられている」矢印指標１０５は、その先端がイメージのポイントに固定されたままである間、その全体周辺部１０４にそって活動して移動可能である。このプロセスの間、矢印の尾１１３が、そこをスライドするように見える周辺部１１４でグラフィック・ユーザ・インターフェイスにとりつけられたままになる。最後に、図１２は、新しい場所におけるグラフィック・ユーザ・インターフェイスを持つ完了された操作と、オペラハウスに対して同じ位置にある基準点１２１を示している。固定されたポイントを中心にするこの回転は有用である一方、アドレス指定されたシーンにおいてオブジェクトとの関係を維持しながらイメージを中心にグラフィック・ユーザ・インターフェイスを移動させる他の可能な体系があることに注目する。オペラハウスは実際にイメージの部分を占めることに注目する。事実、図１０ないし図１２の例に選択された抽出ポイントについて重要なことは何もない。図１３は問題の建物によって占められるイメージを含むアウトライン１３１を示している。「ドラッグ・アンド・ドロップ」操作を使用して、グラフィック・ユーザ・インターフェイスおよびオペラハウスの間の関係を維持しながら図１４に示されるイメージにおける新しい場所にグラフィック・ユーザ・インターフェイスを移動することができる。グラフィック・ユーザ・インターフェイス基準点が建物のどのポイントにおいても関連する限り、そこに表示される情報はその建物に対応するようアレンジされる。グラフィック・ユーザ・インターフェイスをドラッグ・アンド・ドロップすることはあるコンピュータプログラムにおいては一般的な操作であるが、カメラの照準がカーソルとして使用されている場合、こうしてできたイメージは非常に有用で独自の効果を提供し、かなり異った機能を有する。
グラフィック・ユーザ・インターフェイスはユーザが操作しなくても自動的に移動可能である。第一の例は、カメラのイメージ信号と検索動作とを調べることで追跡できる移動オブジェクトに関する。グラフィック・ユーザ・インターフェイスが移動オブジェクトに「固定」される場合、グラフィック・ユーザ・インターフェイスはオブジェクトが移動すると同時に移動する。これは、図７においてまず示されている。第二の例は、図１５に示されている。このイメージは川１５１のシーンと山の範囲１５３とを含む。追跡した跡が補強イメージにおいてハイライトパス１５３で示されている。グラフィック・ユーザ・インターフェイス１５４は、一定の識別可能な大きさを維持しながら、パスをたどるように作成される。ユーザがパス沿いに進むとき、グラフィック・ユーザ・インターフェイスは同じ角度をもって、ユーザに先立ってパスに沿っているように見える。
上記の例は本発明のグラフィック・ユーザ・インターフェイスがコンピュータ・ビジョン・システムによって表示されたオブジェクトとどのように相互作用するかということを明確に示している。以下に、一般的なコンピュータ・ビジョン・システムのユーザ環境においてグラフィック・ユーザ・インターフェイスが有する関係について詳細な検討を示す。以下の説明において、ユーザの視点に関連づけることができる幾何学の概念を思い出していただくと理解しやすい。たとえば、北、南、東、および西のコンパスの方位が挙げられる。上記の部分と比較して、コンパスの方位は表されるシーンおよびその中のいずれの主題とも完全に独立したものである。さらに、カメラのポインティング方向に対する「平行な平面」または「斜めの平面」という考えは、現されているものまたはシーンによって影響されない。うまく設定されたバックグラウンドノートでは、以下のものが注目されるだろう。
コンパス１６１を参照すると、コンパス１６１が向いている方向１６３および視野１６４を有するコンピュータ・ビジョン・システムで説明されている。視野ではグラフィック・ユーザ・インターフェイスフィールド領域１６５を示すことができる。コンピュータはカメラのポインティング方向に関係なく西向きにグラフィック・ユーザ・インターフェイスを保持するようプログラミングすることができる。たとえば、カメラを少し右（北）にパンすると、グラフィック・ユーザ・インターフェイスは視野の左側に移動するように見える。図１７はコンピュータ・ビジョン・システムのポインティング方向を少し調整した図１６と同様の図である。カメラのポインティング方向１７４はもはや西を向いていない。視野１７２が右に移動する（必ずポインティング方向に移動する）と、コンピュータによって維持されている真西向きにされたままのグラフィック・ユーザ・インターフェイス１７３は、視野の左に移動したように見える。コンピュータ・ビジョン・システムが北を向いている場合、視野はもはやグラフィック・ユーザ・インターフェイスを含んでいない。グラフィック・ユーザ・インターフェイスは「消えて」しまい、ディスプレイフィールドに表示されない。図１８は北を向いているカメラ１８２に対応する視野１８１を示している。グラフィック・ユーザ・インターフェイス１８４はユーザに対して西寄りの方位１８５に向いたままである。グラフィック・ユーザ・インターフェイスが表示されていなくても、コンピュータはグラフィック・ユーザ・インターフェイスの位置を記憶している。ユーザがポインティング方向を西に戻した場合、グラフィック・ユーザ・インターフェイスは再獲得される。コンピュータ・ビジョン・システムのグラフィック・ユーザ・インターフェイスを、ユーザ環境の幾何学的またはトポロジ的特徴と連携させるよう構成することができることは今では明白である。もちろん、簡単なパーソナルコンピュータは、典型的に動的に移動可能なディスプレイスクリーンまたは「ポインティング方向」を有していないため、グラフィック・ユーザ・インターフェイスとポインティング方向との連携関係は全く知られていなかった。
さらに複雑な関係も存在する。たとえば、静的なオブジェクトの方向と一時的に向いている方向との結合により、視野に対するグラフィック・ユーザ・インターフェイスの配置の基礎を提供することができる。図１９は、カメラが方向１９２によって示される姿勢と関連しているコンピュータ・ビジョン・システムのカメラ１９１を示している。公知のオブジェクト、またはこの場合における建物１９３は、カメラと建物との間のベクトルによって定義される方向１９４を有している。グラフィック・ユーザ・インターフェイス１９５は角度φ１９７をこうした方向で交差する（bisect）方向１９６に示すことができる。カメラのポインティング方向がΔφの量によって変化する場合、このグラフィック・ユーザ・インターフェイスは半分のΔφの量と等しい量によって変化する。グラフィック・ユーザ・インターフェイスはポインティング方向が変化すると「浮遊している」ように見える。
このポイントにおける変わった現象を理解される方はかなり専門に通じている。グラフィック・ユーザ・インターフェイス１９５は遠近感なしで表示されやすい。常に、方向１９６に対して整列されることが普通である。しかし、これは必要条件ではない。図２０は、建物２０１，カメラ２０２，カメラのポインティング方向２０３，および上向きの方向２０４における地平線からのカメラの提案される回転を有する構造を示す。グラフィック・ユーザ・インターフェイスは、カメラの照準と同時に地平線と常に直交するように見えるように定義されている。グラフィック・ユーザ・インターフェイスは、平面２０６において示されるように見える。カメラを上方向にまっすぐ向けるか、または地平線から９０度に向けると、ユーザは、ユーザの場所から見える、無限に離れた位置にグラフィック・ユーザ・インターフェイスを移動させる。これは、グラフィック・ユーザ・インターフェイスが、ユーザ環境の幾何学的構造物またはトポロジー的特徴と相互作用するように構成した多くの可能な構成の一つを示したものである。ほとんどのアプリケーションにおいて、グラフィック・ユーザ・インターフェイスは、カメラのポインティング方向に対して普通に見えることが期待される。これは、互いに直交する二つの方向から表される一つのオブジェクトを示す図２１および図２２において示されている。同じグラフィック・ユーザ・インターフェイスが、オブジェクトに対してその配置が回転しているように見えるイメージのそれぞれにおいて示されている。グラフィック・ユーザ・インターフェイスは両方の視点からカメラのポインティング方向に対して直交して見えるようにされている。
グラフィック・ユーザ・インターフェイスは、全く知られていなかった方法でカメラのポインティング方向と連携するように構成することができることが現在では容易に理解される。上記の説明は本発明のグラフィック・ユーザ・インターフェイスで達成することができるいくつかの大きな効果を示したものである。グラフィック・ユーザ・インターフェイスとコンピュータ・ビジョン・システムによって作成されたイメージとのさらに別の関係が存在する。これらは必ずしも第一の部分で説明されたオブジェクトの位置または第二の部分で示されたユーザ環境のトポロジ的および幾何学的構成に基づいているわけではないが、これらは表されているイメージの遠近感とより密接に関連している。つぎの部分ではグラフィック・ユーザ・インターフェイスとコンピュータ・ビジョン・システムとのさらなる新規の関係を紹介する。
グラフィック・ユーザ・インターフェイスの一般的な利用はほとんどメニュー選択に関するものである。装置の形に関する価値または機能は一般的にない。したがって、一般的なグラフィック・ユーザ・インターフェイスは典型的には矩形をしている。本発明のグラフィック・ユーザ・インターフェイスはアドレス指定されたシーンにおいて実際のオブジェクトと関連できることがあり、シーンのオブジェクトは一般的に三次元であるため、グラフィック・ユーザ・インターフェイスは三次元オブジェクト、特に遠近感の属性を有していることが好ましい。コンピュータ・ビジョン・システムが実際のオブジェクトのイメージを形成する場合、特定の遠近感を有する二次元の形として表示される。図２３はボートクルーズサービスの会社の広告板を示す。実際のサイン２３１は矩形をしている。しかし、イメージは特定の視点、サインの下および左から取り込まれたため、このサインは遠近図的に表される。イメージの平面においてサインの境界線は四角形を形成する。同様に、テキスト２３２は視点からの遠近感をもたせて示される。広告板のイメージが作られるあらゆる場所について、独自の遠近感およびサインが２次元で表された形が存在する。
グラフィック・ユーザ・インターフェイスがこうしたオブジェクトと連携するようにされている場合、オブジェクトが対応する遠近感で表されると好ましい。たとえば、あるグラフィック・ユーザ・インターフェイスの機能が、サインの書かれた言語をコンピュータ・ビジョン・システムのユーザにわかるような言語に変換した場合、グラフィック・ユーザ・インターフェイスが新しい言葉と一致する遠近感をもって表示されることが役に立つ。図２４は、四角形の周辺部を有し、かつコンピュータ・ビジョン・システムの視点から表示される実際の広告板の形と正確に一致した、グラフィック・ユーザ・インターフェイス２４１を示す。同様に変換テキスト２４２および２４３が適当な遠近感において表示されている。広告板は情報を読み手に中継する簡単な機能を有している。本発明のグラフィック・ユーザ・インターフェイスはユーザの相互作用をさらに提供することができる。表示された例において、特定のサブフィールド２４４は、仮想広告板として構成されているグラフィック・ユーザ・インターフェイスと相互作用するユーザのための機能を示すよう構成されている。このように、今度はユーザは問題のサブフィールドにおいて「クリック」することでサインと相互作用する。ドイツ語「KURS」を有している図２５のサブフィールド２５１は、新しいグラフィック・ユーザ・インターフェイス２５２を表示するように作動することができる。グラフィック・ユーザ・インターフェイス２５２に表示されているイメージは、シーンのどのオブジェクトとも対応しないマップであるため、遠近感なしで最も良く表示することができる。コース２６２はボートクルーズが向かう場所を示すマップにおいて示されている。図２６のサブフィールド２６２は第二の機能に関している。そのサブフィールドを「クリック」することにより、ユーザはドイツ通貨とアメリカ通貨との変換メカニズムが含まれる旅行費用を知ることができる。グラフィック・ユーザ・インターフェイス２６１はシーンのどのオブジェクトとも直接関連しないため、簡単な矩形で表示される。コンピュータ・ビジョン・システムを新しい場所に移動すると、シーンのオブジェクトは新しい形を取るように見える（遠近感は視点により変化する）。遠近法のオブジェクトの形をとるグラフィック・ユーザ・インターフェイスは視点ごとに、同様にその形を変えることができる。これは、コンピュータに「知られている」いずれのオブジェクトの遠近感を計算するのに使用できる位置及び姿勢情報を、コンピュータがコンスタントに更新することにより可能になっている。
本発明は、
前記周辺部は、該コンピュータ・ビジョン・システムの視点から遠近感を伴って現れる前記シーンにおける三次元物体に形状的に対応する、上記記載のグラフィック・ユーザ・インターフェイス
を提供する。
広告板は、遠近図内のオブジェクトをかなり正確に説明するが、それは容易に関知できる奥行きのオブジェクトを考慮する際に観察される効果を説明するものではない。たとえば、六面を有する立方体形を有する広告板がある。さまざまな遠近感からこうした広告板を表す場合、各面を見ることができる。このように、奥行きのあるe次元のオブジェクトを表示するグラフィック・ユーザ・インターフェイスを提供することができる。
本発明の簡単なグラフィック・ユーザ・インターフェイスと同様に、適切な遠近感で表示されるグラフィック・ユーザ・インターフェイスは様々な目的でサブフィールドを組み込むことができる。このサブフィールドは、簡単な矩形または複雑な形にすることができ、いくつかのオブジェクトの遠近感に対応することができる。これらはカーソルおよび「ポイント・アンド・クリック」操作に反応する「プッシュボタン」としてはたらくよう構成することができる。
したがって、本発明は、また
前記フィールド領域は、それぞれが前記グラフィック・ユーザ・インターフェイスの周辺部内に全体的に含まれる複数のサブフィールドを包含する、上記記載のグラフィック・ユーザ・インターフェイス
および、さらに
前記複数のサブフィールドは、該コンピュータ・ビジョン・システムの視点から遠近感を伴って現れる、アドレス指定されている前記シーンにおける三次元物体に形状的に対応する少なくとも１個のサブフィールドを含む、上記記載のグラフィック・ユーザ・インターフェイス
を提供する。
グラフィック・ユーザ・インターフェイスは、情報を含んでもよいが、遠近感を伴って提示されるときほど有用ではない。しかしながら、この情報は、アドレス指定されているシーンの物理局面にも関連づけてもよい。これは、マップを含むグラフィック・ユーザ・インターフェイスの場合である。グラフィック・ユーザ・インターフェイスにおいて表示されるマップ情報は本質であるため、遠近法により歪みが全くなく最もよく理解される。マップは、遠近法によってマップのエリア全体で大きさが変わってしまうため、遠近法を用いない場合に最もよく提示される。しかし、ユーザがそのシーンを見る方向から遠近感を伴ってどのようにシーンと関連づけているがわかる場合には、マップはより有用となる。わかりやすくするために、グラフィック・ユーザ・インターフェイスを矩形形状で生成し、これをある指標と結合させて、シーンにおいてマップの境界線が現れる場所を示す正角マッピング体系を与えることが可能である。したがって、図２７に示すように、矩形形状のグラフィック・ユーザ・インターフェイスにおいてマップを表示させるようにグラフィック・ユーザ・インターフェイスを構成することができる。次に、このマップのグラフィック・ユーザ・インターフェイス２７３を、マップの４辺を表すライン２７１の形状の指標と結合させることができる。正角変換によって、指標は、２辺のディスプレイフィールドを含む６辺を有する形状となる。この指標の一部は、グラフィック・ユーザ・インターフェイスがディスプレイフィールドにおいて位置決めされている場所に応じて、グラフィック・ユーザ・インターフェイスそれ自体の背後に「隠れ」ていてもよい。
したがって、本発明のグラフィック・ユーザ・インターフェイスは、
少なくとも３辺を有する多角形形状の指標をさらに含み、該多角形の各辺が、該フィールド領域の周辺部の辺または該ディスプレイフィールドの境界線に対応し、該フィールド領域の周辺部が、該コンピュータ・ビジョン・システムの視点から現れると、アドレス指定されている前記シーンの一部の物理的特徴に対応する、上記記載のグラフィック・ユーザ・インターフェイスを含む。
グラフィック・ユーザ・インターフェイスの矩形の周辺部とこの矩形とを遠近感を伴って表示する、指標ラインの間の変換ガイドを示すことは有用である。矩形の各角をシーンにおける適切なポイントと結びつける指標２７２を表示することによって、マップと現実世界との間の変換を行うことが視覚的に容易である。
したがって、
前記グラフィック・ユーザ・インターフェイスの周辺部上にある対応するポイントと、互いに関連づけ合った指標の多角形上のポイントとの接続によって視覚的変換を提供する変換ライン形状の指標をさらに含む、上記記載のグラフィック・ユーザ・インターフェイス
を提供する。
上記記載のマップのグラフィック・ユーザ・インターフェイスは、このシーンのイメージに対して適正な遠近感に変換されることになるエリアを備えている。これは、常に、変換されることが望ましいエリアであるとは限らず、場合によっては、ライン、パスまたはルートである。図２８は、１つの遠近感（すなわち、一般的に上から）でのルート２８１を有するマップを示しているが、同一のルートが異なる遠近感でシーンに現れている。グラフィック・ユーザ・インターフェイスのルートと結合した指標２８２は、ユーザに対していずれの視点からルートがどのように現れるかを理解するための手段を呈している。
本発明は、
それぞれのパスが、一連のポイントからなり、
前記フィールド領域内にある第１パスと、
前記ディスプレイフィールド内にあって、前記第１パスに対応し、アドレス指定されている前記シーンのものと対応する遠近感に前記第１パスの遠近感からすでに変換されている遠近感で示される第２パスと、
少なくとも２個のパスを形成する指標をさらに含む、請求の範囲第１項に記載のグラフィック・ユーザ・インターフェイス
を含むものである。
図２７の例は、イメージを変形してマップ境界線を示す場合を提示している。同様に、マップを変形して、コンピュータ・ビジョン・システムの境界線を示すことが可能である。カメラの視野は、円錐である。２次元では、三角形状をとる。図２９は、カメラの視野の度合いを示すために、グラフィック・ユーザ・インターフェイスのマップ上に表示された指標２９１を示している。もちろん、レンズがズーム機能を実行することになった場合、グラフィックスの頂点角度は、その変化に応じる。視野を表す円錐は無限に広がっているため、マップ境界線においてグラフィックスを制限する必要がある。マップのグラフィック・ユーザ・インターフェイスにおける視野を表す指標は、典型的には４辺または３辺の多角形である。
したがって、
その２辺が前記カメラの視野の境界線に対応する、少なくとも３辺を有するサブフィールド領域をさらに含む、上記記載のグラフィック・ユーザ・インターフェイス
を提供する。
グラフィック・ユーザ・インターフェイスは、提示したように形状的に動的であるだけでなく、サイズにおいても同様に動的であってもよい。グラフィック・ユーザ・インターフェイスのフィールド領域がディスプレイフィールドの部分集合である限り、実用上の制限を設けることなくあらゆるサイズであってよい。図３０は、テキスト文字「ｔ」を含む小規模なグラフィック・ユーザ・インターフェイス３０１を示しており、拡大したグラフィック・ユーザ・インターフェイス３０２は同一の文字３０３を有している。大規模なグラフィック・ユーザ・インターフェイスは、ディスプレイフィールドのより広域な部分を占めており、シーンのイメージの多くをブロックしている。単一グラフィック・ユーザ・インターフェイスが小規模なサイズから大規模なサイズに、およびその逆に切り換えることができる使用に、ある特定の用途を見い出すことができる。グラフィック・ユーザ・インターフェイスが小規模な場合、シーンでは詳細な説明を最大に図ることができる。グラフィック・ユーザ・インターフェイスとの対話が望まれる場合、これを「呼出」すことができる。呼出すと、対話を容易に行うために拡大することができる。使用後、その小規模な非干渉サイズに戻すことができる。「呼出」と「戻す」のズームタイプ機能をコンピュータイメージジェネレータのルーチンにインストールすることができる。
追加のタイプのグラフィック・ユーザ・インターフェイスは、別の拡大特徴を包含する。アドレス指定されているシーンの選択箇所の拡大イメージを提供するために、グラフィック・ユーザ・インターフェイスが構成される。ユーザは、「クリック・アンド・ドラッグ」操作によってイメージと対話し、拡大すべき領域を定義できる。これは、都市景観３１１のシーンをアドレス指定している図３１に図示される。カーソルをスタートポイント３１３に位置決めする。ボタンを押したまま、カーソルを矢印の方向にストップポイント３１３までドラッグしていき、そこでボタンを「解除」する。選択されたエリアは、拡大すべきイメージ領域を示している。このエリアの定義に応じて、コンピュータは、拡大イメージをその中に示す新規フィールドを提供する。図３２は、大都市の港を示している。ディスプレイフィールドのエリア３２１には、「クリック・アンド・ドラッグ」によって拡大操作を定義する。第２フィールド３２２には、エリアの拡大イメージが含まれている。
ポインティング方向との対話を有するグラフィック・ユーザ・インターフェイスの多数の例を提示してきた。コンピュータ・ビジョン・システムの別の構成要素では、ある種のグラフィック・ユーザ・インターフェイスとの対話を行うように構成することができる。ディスプレイフィールドの境界線を活動化させて、視野内の境界線の位置に影響を与えるようにグラフィック・ユーザ・インターフェイスに作用させてもよい。この特殊化されたタイプのグラフィック・ユーザ・インターフェイスは、ポインティング方向の変位によって、グラフィック・ユーザ・インターフェイスの周辺部の一部がディスプレイフィールドの境界線と同一場所に配置されるようになるまで、イメージにおける特定のポイントと関連づけられたものを含む。周辺部の一部をディスプレイフィールドの端と同一場所に配置すると、グラフィック・ユーザ・インターフェイスは、その固定位置から解除され、ポインティング方向の次の変位が止むまでシーンを横切って移動する。そのとき、グラフィック・ユーザ・インターフェイスを「ドロップ」またはイメージ内の新規ポイントと関連づけて、ディスプレイフィールドおよびグラフィック・ユーザ・インターフェイスの端が再び同一場所に配置されるまで、そこに固定させたままにする。このようにして、ポインティング方向の変化の程度に関係なくディスプレイフィールド内で継続して残存するように、グラフィック・ユーザ・インターフェイスを作成する。
図３３は、中国の万里の長城３３３およびテキスト情報「万里の長城」を含むグラフィック・ユーザ・インターフェイス３３２のシーンを図示する。アドレス指定されているシーン中のオブジェクトと関連づけられたポイント３３３に、グラフィック・ユーザ・インターフェイスを固定してもよい。ユーザの左へのポインティング方向の変位によって、オブジェクトおよびこの結果グラフィック・ユーザ・インターフェイスが右にシフトして現れるようになる。図３４は、コンピュータ・ビジョン・システムのポインティング方向が数度シフトして、これによって、グラフィック・ユーザ・インターフェイス３４１が、実際のオブジェクト３４２に関連づけられたポイントに固定された状態のディスプレイフィールドの中心よりに移動しているイメージを示す。この場所では、グラフィック・ユーザ・インターフェイスの端は、ディスプレイフィールドの端から離れている。しかしながら、大規模な変位がなされても、これらの端は、最終的にこれと同一場所に配置される。図３５は、右への大規模な変位によって、ディスプレイフィールド３５１の端がグラフィック・ユーザ・インターフェイス３５２を「獲得」し、これを関連づけられたポイント（図示せず）から「アンロック」してしまったイメージを示す。右への連続変位によって、グラフィック・ユーザ・インターフェイスは、ポインティング方向の変位が再び左に変化するまで、シーンに対して移動する。左への変位によって、グラフィック・ユーザ・インターフェイスは、シーンにおける新規ポイントに「ロック」される。図３６は、グラフィック・ユーザ・インターフェイス３６１が端をこれ以上追従しないが、シーンにおける新規ポイント３６２に「ロック」されているイメージを示す。このタイプのグラフィック・ユーザ・インターフェイスは、ユーザがグラフィック・ユーザ・インターフェイスを垂直にディスプレイフィールドに提示させたい一方で、照準ではこれを望んでいない場合に特に有用である。
次に、様々なタイプのグラフィック・ユーザ・インターフェイス、たとえばアドレス指定されているシーンのオブジェクトに関連づけたグラフィック・ユーザ・インターフェイス，周囲の幾何学構造と対話するグラフィック・ユーザ・インターフェイス，拡大体系を提供するグラフィック・ユーザ・インターフェイス，ディスプレイフィールド限界と対話するグラフィック・ユーザ・インターフェイス等を説明する。さらに新規のタイプのグラフィック・ユーザ・インターフェイスが提供される。グラフィック・ユーザ・インターフェイスを操作して、コンピュータ・ビジョン・システムにおいて使用される他のグラフィック・ユーザ・インターフェイスをカタログ作成し、追跡する。これらの特殊化されたグラフィック・ユーザ・インターフェイスは、他のグラフィック・ユーザ・インターフェイスについての位置情報を含んでもよい。たとえば、シーンが空間全体に分布される複数のグラフィック・ユーザ・インターフェイスを含む場合、グラフィック・ユーザ・インターフェイスを位置ダイアグラムにおいてカタログ作成することが有用である。システムユーザの位置がダイアグラムの中心に対応するダイアグラムを作成してもよい。各グラフィック・ユーザ・インターフェイスの位置をこれに関連づけて示すことができる。さらに、現在視野内にはないが、以前ある場所に「配置」されていたグラフィック・ユーザ・インターフェイスでは、ダイアグラムは、これらのグラフィック・ユーザ・インターフェイスの再獲得を容易に行うために、視野に対するその位置を示すことができる。図３７は、４つのグラフィック・ユーザ・インターフェイスをその内部に有するイメージを示す。ポインティング指標を有する第１グラフィック・ユーザ・インターフェイス３７１は、特定の場所をシーン内でマークする。第２グラフィック・ユーザ・インターフェイス３７２をオブジェクト（フクロウ山）に「付け」ると、グラフィック・ユーザ・インターフェイスは単なる場所ラベルとなる。第３グラフィック・ユーザ・インターフェイス３７３は、更新日ならびに時刻を連続して含み、環境条件および即時的なコンピュータ・ビジョン・システムに特定の情報、たとえば位置、ポインティング方向および温度に応答する。ユーザに対するこれらの位置は、第４グラフィック・ユーザ・インターフェイス３７４においてグラフィック的に表されることがある。円形周辺部を有するグラフィック・ユーザ・インターフェイス３７４もまた、視野の程度を示す２本の半径状の線を有する。グラフィック・ユーザ・インターフェイスの中心は、ユーザの位置を表す。グラフィック・ユーザ・インターフェイスを中心に分布する短いラインセグメントは、コンピュータ・ビジョン・システムによって現在アドレス指定可能なグラフィック・ユーザ・インターフェイスに対応する。３つは、視野内の少なくとも一部にあり、他の３つは、視野外にある。
図３８の図は、観察方向に対して直角をなして整列しているグラフィック・ユーザ・インターフェイス３８１と、シーンに対して正確に遠近感を伴って表示される第２グラフィック・ユーザ・インターフェイス３８２を示す。グラフィック・ユーザ・インターフェイス３８３は、着手され、使用されているあらゆるグラフィック・ユーザ・インターフェイスを追跡し、かつカタログ作成する「レーダ」グラフィック・ユーザ・インターフェイスである。また、場所および遠近感を表すことができる。ラインセグメント指標３８４は、直角をなして整列されるグラフィック・ユーザ・インターフェイス３８１を表し、ラインセグメント指標３８５は、遠近感を伴って表示されるグラフィック・ユーザ・インターフェイス３８２を表している。場合によっては、レーダ・グラフィック・ユーザ・インターフェイスをマップ背景で補うことがさらに有用である。図３９は、マップ背景を有するレーダ・グラフィック・ユーザ・インターフェイスを示す。
当該オブジェクトに近接するシーンにおけるオブジェクトに応答するようにグラフィック・ユーザ・インターフェイスを構成することができる。近さの程度を示すために、グラフィック・ユーザ・インターフェイスのテキストは、グラフィック・ユーザ・インターフェイスが関連づけられたオブジェクトに対する近さの程度に比例して濃淡をつけることができる。さらに、新規オブジェクトに近づくにしたがってそのコンテンツを全体的に変化させてもよい。図４０は、周知の山脈を含む風景シーンを示す。そのポインティング指標が「カナリア山頂」にあるように、すでに位置決めされているグラフィック・ユーザ・インターフェイス４０１は、太字のテキストを有する。グラフィック・ユーザ・インターフェイスがカナリア山頂近くの、ただし直接的にはそこにない場所にいずれにおいても再度位置決めされると、グラフィック・ユーザ・インターフェイス４０２におけるテキストは、濃さの淡い活字へとフェードし始める。グラフィック・ユーザ・インターフェイスがイメージにおける周知のポイントから離れるにしたがって、テキストは淡くなる。グラフィック・ユーザ・インターフェイス４０３は、わずかに読むことができるテキストを有し、これによってその位置がカナリア山頂から離れていることを反映している。連続変位によって、グラフィック・ユーザ・インターフェイスは、第２の周知ポイントにより近くなっていく。グラフィック・ユーザ・インターフェイスがカナリア山頂とフクロウ山の間の中間点を交差すると、グラフィック・ユーザ・インターフェイスのテキストのコンテンツは変化して、それを反映する。グラフィック・ユーザ・インターフェイス４０４は、「フクロウ山」を淡いテキストで示し、グラフィック・ユーザ・インターフェイスがフクロウ山から離れているが、これに近づいていることを示す。グラフィック・ユーザ・インターフェイスが周知のポイントにより近くなるように再度位置決めされると、新規テキストは、ますます濃い活字で提示される（グラフィック・ユーザ・インターフェイス４０５および４０６）。最後に、グラフィック・ユーザ・インターフェイス４０７の位置が周知のポイントの正確な位置に直接対応するとき、可能な最も濃いテキストが表示される。
同様の、ただし特異なグラフィック・ユーザ・インターフェイスは、当該システムが特定のオブジェクトをポイントしている程度とほぼ同程度に応答する挙動を有してもよい。図４２は、有名な「トランスアメリカ」のビルを含むサンフランシスコのイメージを示す。このビルに貼り付けられたグラフィック・ユーザ・インターフェイス４２１は、当該システムのポインティング方向とビルに対する方向の間のズレに比例してゆっくりと消えるように作成される。たとえば、当該ビジョン・システムのカメラが離れてパンするにしたがって、グラフィック・ユーザ・インターフェイスはさらに透明になっていき、この背後のシーンが透けて見える。図４３は、フェードしてポインティング方向を反映するグラフィック・ユーザ・インターフェイス４３１を含むイメージが、オブジェクト／グラフィック・ユーザ・インターフェイスの方向に対応していないことを示す。ほぼ同一のメカニズムによって、グラフィック・ユーザ・インターフェイスのサイズが縮小される。図４４は、「トランスアメリカ」のビルから離れたポインティング方向の変位の状態を反映するために、４２１よりも小さく表したグラフィック・ユーザ・インターフェイス４４１を示す。同様のシステムによって、グラフィック・ユーザ・インターフェイスにおいて提示される「詳細な情報」が、ポインティング方向がオブジェクトとより近く対応するように変化する。図４５は、ユーザの位置及び姿勢の変化に応じて移動するマップ４５２と、ビルの内部を示すビデオフィールド４５３と、情報／対話をさらに見い出すように起動できるプッシュボタンサブフィールド４５４とを含むかなり詳細な説明を有するグラフィック・ユーザ・インターフェイス４５１を示す。ポインティング方向が「トランスアメリカ」のビルから離れてパンされると、対話があまり望まれなくなることが予測される。したがって、グラフィック・ユーザ・インターフェイスは、少ない情報を表示させることによって応答する。図４６は、グラフィック・ユーザ・インターフェイス４６１が、都市景観の他の部分に対応する新規のポインティング方向に応答して、複雑性および詳細を減退させるイメージを示す。最後に、図４７は、大規模な変位によって、グラフィック・ユーザ・インターフェイス４７１が最も簡易な形式に縮小されることを示す。
本発明のグラフィック・ユーザ・インターフェイスのうち特殊化されたものには、受信機システムとの対話型のものがある。電磁信号（無線、ＩＲ等）を伝送設備から受け取って、これに信号を戻すように、コンピュータ・ビジョン・システムを構成してもよい。このタイプのリンクアップによって、コンピュータ・ビジョン・システムは、遠隔に配置されているシステムと通信することができる。アポイントメントを予定することを含むサービスの購入等単純な目的を進めるための方法において、データおよび情報をコンピュータ・ビジョン・システムと受信機システムの間で交換してもよい。コンピュータ・ビジョン・システムに特定のグラフィック・ユーザ・インターフェイスとして、人間であるユーザとコンピュータ・ビジョン・システム／受信機システムとの間の対話を提供することができる。このような構成の例を以下に挙げる。
図４８のイメージは、サービスプロバイダ事業のファサードの一部である。ファサードは、ビルの一部として固定してある。その場所は、同報通信および受信設備を備えたコンピュータを収容している。受信機コンピュータは、補完として通信プロトコルを介して複数のコンピュータ・ビジョン・システムと通信するように構成されてもよい。同様に、コンピュータ・ビジョン・システムは、これと通信を行う各種ファサードを訪れてもよい。ファサードがコンピュータ・ビジョン・システムによってアドレス指定されると、グラフィック・ユーザ・インターフェイスは、ファサードとのユーザ対話のための設備を提供する。これには、各種のタイプの対話が多数含まれるが、一例をここに図示する。
図４９は、英語を話すコンピュータ・ビジョン・システムのユーザをファサードがどのように監視するかを示す。当初中国語で書かれたサインを英語の単語「Acupuncture（鍼）」および「Massage（マッサージ）」にグラフィック・ユーザ・インターフェイス４９１で変換する。さらに、命令を含む挨拶をグラフィック・ユーザ・インターフェイス４９２を介して提供する。一方のグラフィック・ユーザ・インターフェイス４９１をクリックすることによって、追加入力を与える応答は影響を受ける。図５０は、４５ドルの全身マッサージと予約設定用のプッシュボタンメカニズムを提供するグラフィック・ユーザ・インターフェイス５０１を有するファサードのイメージを示している。グラフィック・ユーザ・インターフェイス５０２は、先行の選択を確認して、その他の挨拶または命令を提供しうる。図５１は、プッシュボタン５０３の起動に応答して、グラフィック・ユーザ・インターフェイス５１１がどのようにして提示されるかを示す。サブフィールド５１２に関連づけられた情報は、マッサージ施術室の予約を動的にスケジューリングし、他人が予約をするにしたがって時々刻々と変化することが予期される。同報通信設備のコンピュータは、予約され、可能な面会のみを提供するので、時間による予約に応答する。このようにして、ファサードに後に着手するコンピュータ・ビジョン・システムのうちユーザのものは、そのグラフィック・ユーザ・インターフェイスに適切に応答される。このことは、コンピュータ・ビジョン・システムのグラフィック・ユーザ・インターフェイスに提示されるデータが同報通信システムに応答しうることを明らかに示している。さらに、これらの同報通信システムは、コンピュータ・ビジョン・システムからの伝送に応答しうる。
図５２は、タイムスロット午後４時〜午後５時と関連づけられるサブフィールド５２２を選択した結果を表示するグラフィック・ユーザ・インターフェイスを示す。この作用によって、追加のグラフィック・ユーザ・インターフェイス５２３が、予約の確認を問い合わせる。グラフィック・ユーザ・インターフェイス５２４は、テキストによってさらに命令を与える。グラフィック・ユーザ・インターフェイス５２３をクリックすることによって予約を確認すると、ビルのコンピュータをコンピュータ・ビジョン・システムのユーザが操作することができる。ユーザは、必要なプロトコルによって受信局を操作する他機関にアプローチして、同一のコンピュータ・ビジョン・システムを有するこれらの事業と対話してもよい。
図５３は、口座情報に対応する３つのサブフィールド５３２を有するグラフィック・ユーザ・インターフェイス５３１を示す。口座情報は、受信局によって使用され、本発明のグラフィック・ユーザ・インターフェイスとのユーザ対話に応答して送金が受け取られる。グラフィック・ユーザ・インターフェイス５３２は、購入を確認し、さらに命令を与える。図５４は、同様のサマリーの注釈を追加の挨拶とともに提供するグラフィック・ユーザ・インターフェイス５４２を有する最終イメージを示す。
受信局とコンピュータ・ビジョン・システムの結合は、発明を定義するという目的で単一装置として予想されうるが、予め定義されたプロトコルを有し、かつグラフィック・ユーザ・インターフェイス能によって可能となるコンピュータ・ビジョン・システムもまたスタンドアロンとして完成された装置と考えられる。
位置及び姿勢決定に様々な方法で応答するように、グラフィック・ユーザ・インターフェイスを構成できることを明確に示してきた。ここに提示される数例が、位置及び姿勢応答メカニズムを各種グラフィック・ユーザ・インターフェイス装置に組み込むための方法を単に何千も表しているのみであることを理解することは重要である。本発明の要旨と考えられることは、コンピュータ・ビジョン・システムのためのグラフィック・ユーザ・インターフェイスである。
図４１は、互いに関連づけ合ういくつかのシステム要素のブロック図を示す。特に、ディスプレイフィールド４１０は、発光パターンを生成するために動作可能な平面領域である。フィールド領域４１１は、イメージ情報をその内部に有するディスプレイフィールドの一部である。サブフィールド領域４１２は、フィールド領域の一部であり、同様にイメージ情報をその内部に有する。カメラ４１３は、イメージプロセッサ４１５を有するコンピュータ４１４に電子イメージを伝送する。位置及び姿勢決定手段４１６および４１７は、イメージプロセッサに対する出力を有するコンピュータメモリ４１８を駆動する信号をそれぞれ生成する。位置及び姿勢信号と情報とは、さらに相互接続４１９を介してグラフィック・ユーザ・インターフェイス・ジェネレータ４１１１の応答メカニズム４１１０に伝送される。オプショナルに獲得された情報、コンピュータ生成イメージ情報および最終的にグラフィック・ユーザ・インターフェイスからなる合成イメージは、通信線４１１２に沿ってディスプレイに伝送され、そこで合成イメージはディスプレイフィールド内に表示される。
スタンドアロンであるが、グラフィック・ユーザ・インターフェイスが装置であることは確実に理解されるであろうが、一方、信号装置としてグラフィック・ユーザ・インターフェイスとコンピュータ・ビジョン・システムとの結合を予想することは有益でありうる。これは、コンピュータ・ビジョン・システムの要素が、グラフィック・ユーザ・インターフェイスの要素と複雑に関連づけられているという事実によるものである。実際に、一部の要素を共有しているため、これらが別個であると言うことは困難である。たとえば、カメラのポインティング方向は、「ポイント・アンド・クリック」操作のためのグラフィック・ユーザ・インターフェイスのポインタとして機能できる。グラフィック・ユーザ・インターフェイスのフィールド領域は、常に、ディスプレイの平面イメージフィールドの部分集合およびこれと同一面である。コンピュータ・ビジョン・システムとグラフィック・ユーザ・インターフェイスとの接続は、緊密なものであるため、この結合を単一の装置として提示することもある。したがって、本発明は、
コンピュータ・ビジョン・システムとグラフィック・ユーザ・インターフェイスとの結合を含み、
カメラと、
ディスプレイと、
姿勢決定手段と、
位置決定手段と、
コンピュータと、
グラフィック・ユーザ・インターフェイスと、
を備えた装置において、
前記カメラは、光学軸とイメージ平面とを有し、これによって、該コンピュータ・ビジョン・システムによってアドレス指定されているシーンのイメージは、該光学軸が該シーンの方向に指し示されると、該イメージ平面内に形成され、
前記ディスプレイは、互いに関連づけ合う垂直方向を有する平面イメージフィールドを有し、該垂直方向は、前記カメラの光学軸と整列されるか、あるいは角度のズレに整列され、
前記姿勢決定手段は、前記カメラの光学軸と同一線状の基準点を有し、
前記位置決定手段は、該平面イメージフィールドと該姿勢決定手段の基準方向の交差点と同一場所に配置される基準点を有し、
前記コンピュータは、前記カメラ、前記ディスプレイ、前記姿勢決定手段および前記位置決定手段と電気的に接続されており、
前記グラフィック・ユーザ・インターフェイスは、該ディスプレイの平面イメージフィールドの一部であるフィールド領域および該フィールド領域に境界を接する周辺部を有する、装置
を提供する。
グラフィック・ユーザ・インターフェイスとコンピュータ・ビジョン・システムの要素の関係をさらに以下のように定義することができる。
サブフィールド領域と、カーソルと、スイッチと、をさらに含み、
前記サブフィールド領域は、前記フィールド領域の一部であり、周辺部および内部エリアを有し、
前記カーソルは、該フィールド領域および該グラフィック・ユーザ・インターフェイスのサブフィールド領域を含む前記ディスプレイの平面イメージフィールドを中心に可動する指標であり、
前記スイッチは、前記コンピュータと電気的に接続しているオン状態およびオフ状態を有し、前記カーソルを該ディスプレイフィールドにおけるサブフィールドの内部エリアと同一場所に配置した状態で該スイッチがオン状態にある場合、動作起動の際により可能であり、これによって該コンピュータが「ポイント・アンド・クリック」操作に応答可能である、上記記載のコンピュータ・ビジョン・システム。
明白かつ簡潔な文言によって、また本発明者によって予測される最良の形態を含むそのある好適なものを参照して、本発明をかなり詳細に説明してきたが、その他のものも可能である。したがって、添付の請求の範囲の精神およびその範囲は、これに含まれる好適な形態の記載によって限定されるものではない。
【図１】
0004294093.tif 000002
【図２】
0004294093.tif 000003
【図３】
0004294093.tif 000004
【図４】
0004294093.tif 000005
【図５】
0004294093.tif 000006
【図６】
0004294093.tif 000007
【図７】
0004294093.tif 000008
【図８】
0004294093.tif 000009
【図９】
0004294093.tif 000010
【図１０】
0004294093.tif 000011
【図１１】
0004294093.tif 000012
【図１２】
0004294093.tif 000013
【図１３】
0004294093.tif 000014
【図１４】
0004294093.tif 000015
【図１５】
0004294093.tif 000016
【図１６】
0004294093.tif 000017
【図１７】
0004294093.tif 000018
【図１８】
0004294093.tif 000019
【図１９】
0004294093.tif 000020
【図２０】
0004294093.tif 000021
【図２１】
0004294093.tif 000022
【図２２】
0004294093.tif 000023
【図２３】
0004294093.tif 000024
【図２４】
0004294093.tif 000025
【図２５】
0004294093.tif 000026
【図２６】
0004294093.tif 000027
【図２７】
0004294093.tif 000028
【図２８】
0004294093.tif 000029
【図２９】
0004294093.tif 000030
【図３０】
0004294093.tif 000031
【図３１】
0004294093.tif 000032
【図３２】
0004294093.tif 000033
【図３３】
0004294093.tif 000034
【図３４】
0004294093.tif 000035
【図３５】
0004294093.tif 000036
【図３６】
0004294093.tif 000037
【図３７】
0004294093.tif 000038
【図３８】
0004294093.tif 000039
【図３９】
0004294093.tif 000040
【図４０】
0004294093.tif 000041
【図４１】
0004294093.tif 000042
【図４２】
0004294093.tif 000043
【図４３】
0004294093.tif 000044
【図４４】
0004294093.tif 000045
【図４５】
0004294093.tif 000046
【図４６】
0004294093.tif 000047
【図４７】
0004294093.tif 000048
【図４８】
0004294093.tif 000049
【図４９】
0004294093.tif 000050
【図５０】
0004294093.tif 000051
【図５１】
0004294093.tif 000052
【図５２】
0004294093.tif 000053
【図５３】
0004294093.tif 000054
【図５４】
0004294093.tif 000055