(57)【特許請求の範囲】
【請求項１】
一又は複数の無人航空ビーグルの飛行を制御するためにジェスチャーに基づくマンマシンインターフェースによりコンピュータシステムを使用する方法であって、
コンピュータシステムのスクリーン上に表示される情報を、オブジェクトを用いて指し示すこと、
少なくとも二つのカメラによりスクリーン前方のシーンを捉えること、
カメラが捉えたシーンをプロセッサで分析することにより、オブジェクトを識別し、スクリーン上でオブジェクトが指し示す位置とスクリーンからオブジェクトまでの距離とを決定し、且つオブジェクトが指し示す位置とスクリーンからオブジェクトまでの距離との決定に応答してスクリーン上に表示される情報を修正すること、及び
オブジェクトの運動を追跡することにより、スクリーン上でオブジェクトが指し示している位置を決定すること
を含み、
スクリーン上に表示された情報を修正することは、
前記スクリーン上でオブジェクトが指し示す位置にズームボタンが配置されている場合に、オブジェクトが指し示すスクリーンの部分上に表示された航空ビーグルの周辺の地理情報を、決定されたスクリーンからオブジェクトまでの距離に基づいた倍率で拡大することを含む、
方法。
【請求項２】
オブジェクトの縦方向の延長線を決定することにより、スクリーン上でオブジェクトが指し示す位置を決定することを含む、請求項１に記載の方法。
【請求項３】
一定の時間に亘ってスクリーンからオブジェクトまでの距離を決定することと、当該距離に基づいてオブジェクトの運動速度を決定すること、及びスクリーンに向かう又はスクリーンから離れるオブジェクトの運動速度の決定に応答して、スクリーン上に表示される情報を、プロセッサを用いて修正することを含む、請求項１又は２に記載の方法。
【請求項４】
オブジェクトの異なる運動速度に応じて、スクリーン上に表示される情報を、プロセッサを用いて様々に修正することを含む、請求項１から３のいずれか一項に記載の方法。
【請求項５】
一又は複数の無人航空ビーグルの飛行を制御するためのジェスチャーに基づくマンマシンインターフェースを含むコンピュータシステムであって、
情報を表示するスクリーン、
スクリーン前方のシーンを捉えるように配置された少なくとも二つのカメラ、及び
カメラが供給する画像を受信し、画像を分析してスクリーン上に表示された情報を指し示すオブジェクトを識別し、スクリーン上でオブジェクトが指し示す位置とスクリーンからオブジェクトまでの距離とを決定し、オブジェクトが指し示す位置とスクリーンからオブジェクトまでの距離との決定に応答して、スクリーン上に表示される情報を修正するように構成されたプロセッサであって、オブジェクトの運動を追跡することによりスクリーン上でオブジェクトが指し示す位置を決定し、前記スクリーン上でオブジェクトが指し示す位置にズームボタンが配置されている場合に、オブジェクトが指し示すスクリーンの部分上に表示された航空ビーグルの周辺の地理情報を、決定されたスクリーンからオブジェクトまでの距離に基づいた倍率で拡大するように構成されたプロセッサ
を備えるコンピュータシステム。
【請求項６】
プロセッサが、オブジェクトの縦方向の延長線を決定することによりスクリーン上でオブジェクトが指し示す位置を決定するように構成されている、請求項５に記載のコンピュータシステム。
【請求項７】
プロセッサが、オブジェクトの運動速度を決定し、運動速度の決定に応答して、スクリーン上に表示された情報を修正するように構成されている、請求項５又は６に記載のコンピュータシステム。
【請求項８】
一又は複数の無人航空ビーグルの飛行を制御するための、コンピュータシステムの、ジェスチャーに基づくマンマシンインターフェースであって、
情報を表示するスクリーン、
スクリーン前方のシーンを捉えるように配置された少なくとも二つのカメラ、及び
カメラが供給する画像を受信し、画像を分析してスクリーン上に表示された情報を指し示すオブジェクトを識別し、スクリーン上でオブジェクトが指し示す位置とスクリーンからオブジェクトまでの距離とを決定し、オブジェクトが指し示す位置とスクリーンからオブジェクトまでの距離との決定に応答して、スクリーン上に表示される情報を修正するように構成されたプロセッサであって、オブジェクトの運動速度を決定し、運動速度の決定に応答してスクリーン上に表示される情報を修正し、前記スクリーン上でオブジェクトが指し示す位置にズームボタンが配置されている場合に、オブジェクトが指し示すスクリーンの部分上に表示された航空ビーグルの周辺の地理情報を、決定されたスクリーンからオブジェクトまでの距離に基づいた倍率で拡大するように構成されたプロセッサ
を備えるインターフェース。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ジェスチャーに基づくマンマシンインターフェース、例えばコンピュータ上で実行されるプログラムを制御するグラフィカルユーザインターフェースに関するものである。本発明は、多くの種類のプログラムに適用可能であるが、一又は複数の無人航空ビークルの飛行を制御するプログラムを特に対象とする。
【背景技術】
【０００２】
マンマシンインターフェースは、実質的に過去数十年の間に発展した。コンピュータの制御というもっと狭い分野においてさえ、インターフェースは、コマンドラインから、ユーザに対して表示されるグラフィカルなアイコンを選択するためにマウス又は同種のポインティングデバイスを必要とするグラフィカルユーザインターフェースへと進化した。
【０００３】
最近では、タッチスクリーンデバイスが人気である。複数の入力点を可能にするタッチスクリーンデバイスは、ジェスチャーに基づく制御の可能性を開くので特に有利である。アップル社のｉＰｈｏｎｅ（登録商標）は、アイテムの選択、スクロール、ズームイン又はズームアウト、及びアイテムの回転にタッチを使用できる良い例である。タッチスクリーンデバイスは複数の欠点を有している。例えば、スクリーンは、反応時間が長く、精度が低く、及び信頼性が低くなりがちであり、一方でタッチスクリーンの使用頻度が高すぎると残留物及び汚れが蓄積して性能の更なる低下を招く。
【０００４】
スクリーンへの接触を回避することによりタッチスクリーンデバイスの問題の幾つかを回避するシステムが提案されている。代替として、ユーザのジェスチャーを監視して、検出されたジェスチャーに基づく応答が提供される。例えば、スクリーンへのタッチに基づく現行のシステムに類似した、選択、スクロール、ズーム、回転などに、手のジェスチャーを使用できるように、ユーザの手を監視するシステムが提案されている。
【発明の概要】
【０００５】
このような背景に対して、本発明は、ジェスチャーに基づくマンマシンインターフェースによりコンピュータシステムを使用する方法を提供する。本方法は、オブジェクトを使用して、コンピュータシステムのスクリーン上に表示された情報を指し示すこと、及び少なくとも二つのカメラによりスクリーン前方のシーンを捉えることを含む。プロセッサを使用して、カメラが捉えたシーンを分析することによりオブジェクトを識別し、且つスクリーン上でオブジェクトが指し示す位置と、スクリーンからオブジェクトまでの距離とを決定する。プロセッサは、次いで、オブジェクトが指し示す位置と、スクリーンからオブジェクトまでの距離との決定に応答して、スクリーン上に表示された情報を変更する。
【０００６】
このようにして、タッチスクリーンの欠点が回避されうる。更に、オブジェクトがスクリーンからどの程度離れているかに関する情報が使用される。この情報は別の方法でも使用できる。例えば、オブジェクトが指し示しているスクリーンの一部を、決定されたスクリーンからオブジェクトまでの距離に基づく倍率を用いてズームすることにより、スクリーン上に表示された情報を変更することができる。即ち、スクリーンの近くを指し示すことにより、離れた地点を指し示すよりも大きな倍率が適用される。特定の距離よりも離れた地点を指し示すと倍率が１倍になり、一方スクリーンから設定された距離だけ離れた位置で倍率が最大値に到達するといった制限を設定することができる。これらの距離の間における倍率の尺度は制御可能であり、例えば線形的に又は指数関数的に変化させることができる。
【０００７】
本方法は、オブジェクトの運動を追跡することにより、スクリーン上でオブジェクトが指し示す位置を決定することを含むことができる。本方法は、オブジェクトの縦方向の延長線を決定することにより、スクリーン上でオブジェクトが指し示す位置を決定することを含むことができる。これら二つのオプション機能は、二者択一方式で使用することができるか、又は互いの増設機能として使用することができる。
【０００８】
一定の期間に亘ってスクリーンからオブジェクトまでの距離を決定することにより、オブジェクトの運動速度を決定することができる。この速度は、スクリーン上に表示される情報を更に制御するために使用することができる。スクリーンに向かうオブジェクトの高速運動は、スクリーンに向かうオブジェクトの低速運動と異なって解釈することができる。例えば、低速運動が単一回のクリックと解釈されるのに対し、高速運動はダブルクリックと解釈される。
【０００９】
随意で、本方法は、二つのオブジェクトを使用してコンピュータシステムのスクリーン上に表示された情報を指し示すこと、及び少なくとも二つのカメラによりスクリーン前方のシーンを捉えることを含むことができる。プロセッサを使用して、カメラが捉えたシーンを分析することによりオブジェクトを識別し、且つスクリーン上でオブジェクトが指し示す位置と、スクリーンからオブジェクトまでの距離とを決定することができる。プロセッサは、次いで、オブジェクトが指し示す位置と、スクリーンからオブジェクトまでの距離との決定に応答して、スクリーン上に表示された情報を変更する。これにより、更なる機能性が可能になる。例えば、一対のオブジェクトを単独で使用してスクリーン上の異なるコントロールと相関させることにより、例えば音量制御の調節や一領域のズームを行うことができる。これら二つのオブジェクトは一緒に使用してもよい。スクリーン上に表示された画像は、オブジェクトを使用して、例えばオブジェクトを回転させることにより操作することができる。例えば、左のオブジェクトをスクリーンに向かって移動させ、右のオブジェクトをスクリーンから離れる方向へ移動させることにより、垂直軸を中心として画像を時計回りに回転させることができ、上のオブジェクトをスクリーンに向かって移動させ、下のオブジェクトをスクリーンから離れる方向へ移動させることにより、水平軸を中心に画像を回転させることができ、更にはオブジェクトの相対的な整列とオブジェクト間の相対運動とに応じて他の回転が可能である。
【００１０】
多くの異なるオブジェクトを使用してスクリーンを指し示すことができる。例えば、オブジェクトはユーザの手でよい。好ましくは、オブジェクトはユーザの手の伸ばした指とすることができる。このとき、指の先端が、スクリーンからの距離を決定するために使用される点とすることができる。指の延長線を使用して、ユーザが指し示しているスクリーン上の位置を決定することができる。
【００１１】
本発明は、ジェスチャーに基づくマンマシンインターフェースを含むコンピュータシステムも提供する。このコンピュータシステムは、（ａ）情報を表示するスクリーン、（ｂ）スクリーン前方のシーンを捉えるために配置された少なくとも二つのカメラ、及び（ｃ）プロセッサを備える。プロセッサは、カメラが供給する画像を受信して、この画像を分析することにより、スクリーン上に表示された情報を指し示すオブジェクトを識別する。プロセッサはまた、スクリーン上でオブジェクトが指し示す位置と、スクリーンからオブジェクトまでの距離とを決定する。プロセッサは、更に、オブジェクトが指し示す位置と、スクリーンからオブジェクトまでの距離との決定に応答して、スクリーン上に表示された情報を修正する。
【００１２】
随意で、プロセッサは、オブジェクトの運動を追跡することにより、スクリーン上でオブジェクトが指し示す位置を決定する。加えて、又は別の構成として、プロセッサは、オブジェクトの縦方向の延長線を決定することにより、スクリーン上でオブジェクトが指し示す位置を決定する。プロセッサは、決定されたスクリーンからオブジェクトまでの距離に基づく倍率で、オブジェクトが指し示すスクリーンの部分をズームすることができる。本発明の方法に関して上述したように、二つのオブジェクトを使用して、スクリーン上に表示された情報を変更することができる。オブジェクトはユーザの手とすることができ、例えばユーザの手の伸ばした指でよい。
【００１３】
本発明の理解を助けるために、例示のみを目的として添付図面に言及する。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明の一実施形態によるマンマシンインターフェースを含むシステムを示す概略斜視図であり、このシステムは横に並んだ二つのスクリーンと四つのカメラとを備えている。
【図２】図２は、ユーザの視点から見たスクリーンの斜視図であり、ユーザがボタンを指し示すことによりスクリーン上に示されたボタンを選択している様子を示している。
【図３Ａ】図３Ａは、本発明によるマンマシンインターフェースの一実施形態を示すシステムの概略的上面図であり、システムは、一のスクリーンと、一又は複数のカメラとを含み、カメラの視野がどのように合成されるかを示している。
【図３Ｂ】図３Ｂは、本発明によるマンマシンインターフェースの一実施形態を示すシステムの概略的上面図であり、システムは、一のスクリーンと、一又は複数のカメラとを含み、カメラの視野がどのように合成されるかを示している。
【図３Ｃ】図３Ｃは、本発明によるマンマシンインターフェースの一実施形態を示すシステムの概略的上面図であり、システムは、一のスクリーンと、一又は複数のカメラとを含み、カメラの視野がどのように合成されるかを示している。
【図３Ｄ】図３Ｄは、本発明によるマンマシンインターフェースの一実施形態を示すシステムの概略的上面図であり、システムは、一のスクリーンと、一又は複数のカメラとを含み、カメラの視野がどのように合成されるかを示している。
【図３Ｅ】図３Ｅは、図３Ａ〜Ｄに示すシステムの概略的正面図であり、図３Ａに対応している。
【図３Ｆ】図３Ｆは、図３Ａ〜Ｄに示すシステムの概略的正面図であり、図３Ｂに対応している。
【図３Ｇ】図３Ｇは、図３Ａ〜Ｄに示すシステムの概略的正面図であり、図３Ｃに対応している。
【図３Ｈ】図３Ｈは、図３Ａ〜Ｄに示すシステムの概略的正面図であり、図３Ｄに対応している。
【図４】図４は、本発明によるマンマシンインターフェースの一実施形態によるシステムを示す構造図である。
【図５Ａ】図５Ａは、本発明によるマンマシンインターフェースの一実施形態により提供されるズーム機能を示すスクリーンの概略正面図である。
【図５Ｂ】図５Ｂは、本発明によるマンマシンインターフェースの一実施形態により提供されるズーム機能を示すスクリーンの概略正面図である。
【図５Ｃ】図５Ｃは、本発明によるマンマシンインターフェースの一実施形態により提供されるズーム機能を示すスクリーンの概略正面図である。
【発明を実施するための形態】
【００１５】
ジェスチャーに基づくマンマシンインターフェースを含むコンピュータシステム１０が図１に示されている。コンピュータシステム１０は、駆動されると情報を表示する一又は複数のスクリーン１２を含む。情報の表示は、スクリーン１２の前方で、ユーザが自分自身の手１４を用いてジェスチャーを行うことにより、ユーザによって制御可能である。このようなジェスチャーは、スクリーン１２の周囲に配置された四つのカメラ６を使用して記録される。カメラ１６が捉えた画像は、ユーザの手１４の位置を三次元で決定し、手１４の運動を追跡するために分析される。手１４の運動は、コンピュータシステム１０によって、例えばスクリーン１２上に表示されているアイコンの選択、又はスクリーン１２上に表示された一領域のズームに対応するジェスチャーとして解釈される。コンピュータシステム１０は、このようなジェスチャーに応答して、スクリーン１２上に表示された情報を変更する。図２は、ユーザが、ユーザの人差し指１８をスクリーン１２上に示されたボタン２０に向かって前方へ動かす一例を示している。このような運動は、ユーザがボタン２０を押す動作に似ており、コンピュータシステム１０は、これをユーザによるボタン２０の選択と解釈する。これにより、コンピュータシステム１０はスクリーン１２上に新規ビューを表示する。
【００１６】
図１及び２は、横に並んだ二つのスクリーン１２を使用するコンピュータシステム１０を示しているが、任意の数のスクリーン１２が使用可能である。スクリーン１２の前方に、ユーザの腕２２が図解的に示されている。腕２２の運動は、スクリーン１２の四つの角の外側に配置されて、スクリーン１２の中央に向けられた四つのカメラ１６によって捉えられる。したがって、それらのカメラは、ユーザの手１４がスクリーン１２の前方を移動するとき、ユーザの手１４の運動を捕捉する。四つのカメラ１６を使用することにより、スクリーン１２の前方の空間の三次元マップが構築可能である。このように、一のオブジェクト、例えばユーザの指１８の先端の位置を、ｘ、ｙ、ｚ座標系において決定することができる。このような座標軸は図１及び３に示されている。ｘ軸、ｙ軸、ｚ軸三つすべてに基づく空間情報を、マンマシンインターフェースに使用することができる。
【００１７】
図３Ａ〜Ｈは、各カメラ１６の視野２４を合成して、コンピュータシステム１０がオブジェクトの位置決定を行うことができる空間容積を供給する方法を示している。カメラ１６は同一であり、したがって同じ視野２４を有している。図３Ａ及び３Ｅは、単一のカメラ１６のみを示す単一のスクリーン１２の、それぞれ平面図及び正面図である（分かり易く示すため、カメラ１６は図式的に点として示されている）。このように、図は、各カメラ１６により取得された視野２４を明瞭に示している。図３Ｂ及び３Ｆは、同じスクリーン１２のそれぞれ平面図及び正面図であり、ここでは、スクリーン１２の右側に配置された二つのカメラ１６が示されている。図３Ｆは、二つのカメラ１６の視野がどのように合成されるかを示している。図３Ｃ及び３Ｇは、それぞれの四つのカメラ１６すべて及びそれらの視野２４を含むスクリーン１２の平面図及び正面図である。スクリーン１２の前方におけるオブジェクトの位置は、このオブジェクトが少なくとも二つのカメラ１６の視野２４内に捕捉されれば決定できる。このように、オブジェクトの位置は、図３Ｃ及び３Ｇにおける視野２４の重複部分のいずれでも決定することができる。図３Ｄ及び３Ｈは、対象のコア領域２６を示している。このコア領域内で、オブジェクトの位置が決定される。
【００１８】
図４は、コンピュータシステム１０を更に詳細に示している。コンピュータシステム１０は、そのハブとしてコンピュータ４０を有している。コンピュータ４０は、メインプロセッサ４２などの多くの異なる部品を含むことができ、メモリには、スクリーン１２のような周辺機器のドライバ、及びスクリーン１２のような周辺機器を動作させるカードといったプログラムが格納される。
【００１９】
図示のように、フィードライン４４によって四つのカメラ１６が画像処理プロセッサ４６に連結されている。画像処理プロセッサ４６は、メインプロセッサ４２の一部でもよく、又は別個のプロセッサとして提供されてもよい。いずれにしろ、画像処理プロセッサ４６はカメラ１６から静止画像を受信する。画像処理プロセッサ４６は、共通に利用可能なソフトウェアを使用して画像を処理することで画像の質を向上させる。例えば、画像の質が向上するように、輝度、コントラスト、及び鮮明度を改善することができる。処理された画像はメインプロセッサ４２に渡される。メモリに格納された画像分析ソフトウェアは、メインプロセッサ４２によって読み出されて実行され、処理された画像を分析し、スクリーン１２上でユーザが指し示している位置を決定する。言うまでもなく、このような画像分析ソフトウェアは一般に入手可能である。
【００２０】
メインプロセッサ４２は、スクリーン上でユーザが指し示す位置を決定すると、スクリーン１２上に提示された表示に変更が必要であるかどうかを決定する。必要であるという決定を行うと、メインプロセッサ４２は、スクリーン１２上に表示された情報に必要な変更を生じさせる信号を生成する。このような信号は、スクリーン１２上に供給される実際の信号を供給するスクリーンドライバ／カード４８に渡される。
【００２１】
図４に示すように、コンピュータ４０は、スクリーン１２からタッチスクリーン入力を受け取る入力手段５０、即ち、ユーザがスクリーン１２をタッチすることによりスクリーン１２上に表示されたアイコンを選択することを可能にする手段を含むことができる。このような機能の付与は、特定の状況で有用でありうる。例えば、重大な選択には、ユーザがそのような選択を確かに望むことを保証するための追加ステップとして、ユーザによるスクリーン１２のタッチを必要とすることができる。例えば、これは、システムを緊急遮断するボタンに使用することができる。このような動作は明らかに極端であり、ユーザがスクリーン１２をタッチするための要件にこれを反映させることができる。したがって、入力手段５０が提供される。
【００２２】
上述のように、メインプロセッサ４２は、画像処理プロセッサ４６により供給された処理済の静止画像を取得してこれらの画像を分析することにより、ユーザがスクリーン１２を指し示しているか否かを決定する。これは、従来の画像認識技術のいずれか、例えばスクリーン１２の一つに向かって伸びる人差し指１８を有する手１４に関連する形状を識別するように訓練されたソフトウェアを用いて実行することができる。メインプロセッサ４２は、次いで、スクリーン１２上で指１８が指し示す位置を決定する。メインプロセッサ４２は、一又は複数の手についてこのような決定を行うことができ、複数の手について決定できる方が望ましい。例えば、メインプロセッサ４２は、スクリーンを指し示しているすべての手についてこのような決定を行うことができる。後述の説明では、単一の指１８の一実施例に焦点を当てる。言うまでもなく、本方法は、所望の数の指１８、又はスクリーン１２を指し示していると決定されたすべての指について繰返すことができる。
【００２３】
メインプロセッサ４２がスクリーン２上で指１８が指し示している位置を決定する方法は、様々な方法で行うことができる。
【００２４】
一実施形態では、メインプロセッサ４２は、人差し指１８の先端の位置を、ｘ、ｙ、ｚ座標系内で特定する。これは、四つのカメラ１６によって捕捉された画像に基づく三角測量により行うことができる。四つで一組の画像に基づいて人差し指１８の先端の位置が特定されたら、次の組の四つの画像を同様に処理し、人差し指１８の先端の次の位置を決定することができる。このようにして、人差し指１８の先端を追跡することができ、時間の経過に伴い前方へと繰返される人差し指１８先端の運動が追跡されて、そのような動きが継続した場合に到達するスクリーン１２上の位置が決定される。
【００２５】
別の実施形態では、画像を分析することにより、人差し指１８の延長線、即ち指１８が指し示す方向が決定される。当然ながら、この技術を上述の実施形態と組み合わせることにより、例えば、指１８が指し示す方向へ指１８が動くときを特定することができ、これは、指１８が、スクリーン１２上に表示されるオブジェクトを「押している」と解釈されうる。
【００２６】
図５Ａ〜Ｃは、本発明により提供されるズーム機能の一実施形態を示している。上述のように、四つのカメラ１６に囲まれた単一のスクリーン１２が提供されている。カメラ１６及びスクリーン１２は、上述のように動作するコンピュータシステム１０に連結されて、ジェスチャーに基づくマンマシンインターフェースを提供する。
【００２７】
図５Ａ〜Ｃに示す実施例では、スクリーン１２は地図８０と関連情報とを表示している。スクリーン１２の上部はヘッダ情報８２を有しており、選択可能な四つのボタン８４の列がスクリーン１２の左側に提供されている。ボタン８４には、選択できる情報の新規スクリーンを示すテキスト、又はマップ８０上に表示された情報を変更するための新規スクリーンを示すテキストを記載することができる。マップ８０は、スクリーン１２の大部分を占め、スクリーン１２の右下に向かってずれた位置に配置されている。マップ８０は航空機８８をドットで表わしており、ドットには、現在の飛行方向を示す矢印が付されている。参照番号９０で示すように、航空機８８を特定する情報をドットの横に表示することもできる。マップ８０の下端に沿って提供される一行のボックス９２に、更なる情報が供給される。
【００２８】
ユーザが、マップ８０上で対象の航空機８８にズームインして、例えばマップ８０に示された基礎となる地理情報を詳細に表示させたいと考えているとする。これを行うために、ユーザは、ボタン８４の一つを指し示すことによりズームモードを選択することができ、次いでマップ８０上で対象の航空機８８を指し示すことができる。図５Ｂ及び５Ｃに示すように、これにより、ユーザが指し示す領域が、円９４の中に拡大表示される。円９４は、背景のマップ８０の上に表示される。ズームされた円９４と背景マップ８０との縁は、従来技術に周知であるように、必要に応じて融合させることができる。倍率を調整するためには、人差し指１８をスクリーン１２に近づけるか、又はスクリーン１２から遠ざける、即ちｚ方向に動かすだけでよい。人差し指１８をスクリーンに向かって動かすと、倍率が増大する。
【００２９】
このように、ユーザの指１８のｘ、ｙ位置は、拡大されるマップ８０上の領域を決定するために使用され、指１８のｚ位置は、倍率を決定するために使用される。倍率に応じて、ｚ位置の値を設定することができる。例えば、ユーザの指先１８がスクリーン１２から特定の距離、例えば３０ｃｍ以上離れると、倍率が１に設定される。また、スクリーンからの最小距離、例えば５ｃｍを設定することができ、この距離は、ユーザの指１８がスクリーン１２から５ｃｍ以下の距離になると倍率がそれ以上増大しない最大倍率に対応する。これらの距離の間で倍率をどのように変化させるかは、所望通りに選択することができる。例えば、倍率は、距離により線形に変化させてもよく、指数関数的関係のような他の何らかの関係に従ってもよい。
【００３０】
図５Ｂ及び５Ｃは、図５Ｂのスタート位置から、ユーザが人差し指１８をスクリーン１２に近づけながら、対象の航空機８８を指し示すことにより、図５Ｃに示すように倍率が増大する状況を示している。ユーザが指１８を横方向に動かしながらスクリーン１２に近づけると、倍率が増大し、且つ拡大領域が指１８の横方向への動きに従って動く。
【００３１】
当業者には明らかであるように、特許請求の範囲において規定される本発明の範囲を逸脱せずに、上記の実施形態に修正を加えることが可能である。
【００３２】
例えば、スクリーン１２の数は、任意の数に自由に変更することができる。加えて、スクリーン１２の種類を変更することができる。例えば、スクリーン１２は、プラズマスクリーン、ＬＣＤスクリーン、ＯＬＥＤスクリーンなどの平坦なスクリーンとすることができるか、或いはブラウン管や、単に画像が投影される表面とすることができる。複数のスクリーン１２が使用される場合、すべてが共通の種類である必要はない。使用されるカメラ１６の種類も変更可能であるが、ＣＣＤカメラが望ましい。カメラ１６は、可視光を使用して動作することができるが、他の波長で電磁放射を使用することができる。例えば、弱光条件で赤外線カメラを使用することができる。
【００３３】
ソフトウェアは、あらゆるオブジェクトを監視して、スクリーン１２にから選択されたオブジェクトを決定するように訓練することができる。例えば、上述ではユーザの指１８を挙げた。別の構成では、スティック又はワンドのようなポインティングデバイスを使用することができる。
【００３４】
本発明を使用して、ツリー構造に配置されたメニューに極めて効率的にアクセスすることができる。例えば、スクリーン１２上に提示されたボタン又はメニューオプションを指１８で指すことにより、スクリーン１２上に新規情報を表示させることができる。次いで、ユーザはユーザの指１８を動かして、別のボタン又はメニューオプションを指し示し、それによりスクリーン１２上に新規情報を表示させるなどすることができる。したがって、単に指１８を動かしてスクリーン１２の異なる部分を指し示すことにより、ユーザはツリーメニュー構造を極めて迅速にナビゲートすることができる。
【００３５】
ユーザの指１８の位置は、例えば指１８の先端を追跡することにより連続的に決定することができる。これにより、指１８の運動速度を決定することができる。次いで、この速度を使用して、スクリーン１２上の情報を制御することができる。例えば、低速運動が、高速の運動とは異なる応答を誘導するように、スクリーン１２に向かう運動の速度を使用することができる。横方向の運動も、異なる速度が異なる結果を生じさせるように使用することができる。例えば、横方向へのゆっくりとした運動により、スクリーン１２上に表示されたオブジェクトをスクリーン内部で動かすことができ、例えば、左から右へのゆっくりとした運動により、オブジェクトを、スクリーン１２の中央の位置から右側へと動かすことができる。これとは異なり、高速運動は、オブジェクトをスクリーン１２から除去することができ、例えば左から右への高速運動により、オブジェクトはスクリーン１２の右端から飛び去ることができる。
【００３６】
上記のように、メインプロセッサ４２は、ユーザの指１８のような複数のオブジェクトを監視することができる。これにより、複数のオブジェクトを使用してスクリーン１２上の情報を制御することができる。スクリーン上の異なるコントロールと相関させて、新規アイテムを選択し、選択されたアイテムに関する情報の種類を変更するために、一対のオブジェクトを単独で使用することができる。二つのオブジェクトを一緒に使用することができる。スクリーン上に表示された画像は、両手１４を使用して操作することができる。スクリーン１２上に表示されたオブジェクトを回転させることができる。例えば、ユーザは、両手を同じ高さに上げ、各手の人差し指１８で、スクリーン１２上に表示されたオブジェクトの左端と右端を指し示す。左手１４をスクリーン１２の方へ、右手１４をスクリーン１２から離れる方向へ、それぞれ動かすことにより、垂直軸を中心としてオブジェクトを時計回りに回転させることができる。片手１４を他方の手の上方に配置すれば、水平軸を中心にオブジェクトを回転させることができる。指１８の先端同士を結ぶ線に相当する回転軸が画定されうる。
【符号の説明】
【００３７】
１０    コンピュータシステム
１２    スクリーン
１４    ユーザの手
１６    カメラ
１８    ユーザの指
２２    ユーザの腕
２４    カメラの視野
２６    対象コア領域
４０    コンピュータ
４２    メインプロセッサ
４４    フィードライン
４６    画像処理プロセッサ
４８    スクリーンドライバ
５０    タッチスクリーン入力
８０    マップ
８２    ヘッダ情報
８４    ボタン
８６    テキスト
８８    航空機
９０    航空機を特定する情報
９２    ボックス
９４    拡大円
【図１】
0005878698.tif 000002
【図２】
0005878698.tif 000003
【図３Ａ】
0005878698.tif 000004
【図３Ｂ】
0005878698.tif 000005
【図３Ｃ】
0005878698.tif 000006
【図３Ｄ】
0005878698.tif 000007
【図３Ｅ】
0005878698.tif 000008
【図３Ｆ】
0005878698.tif 000009
【図３Ｇ】
0005878698.tif 000010
【図３Ｈ】
0005878698.tif 000011
【図４】
0005878698.tif 000012
【図５Ａ】
0005878698.tif 000013
【図５Ｂ】
0005878698.tif 000014
【図５Ｃ】
0005878698.tif 000015