(57)【要約】平面上のターゲットの位置が、計算により平面上に投影される、指し示す方向を入力することにより示される。ターゲットが輪郭線上に位置すると知られていれば、この位置は明確に特定される。代替的には、ターゲットの位置は連続したステップで当該ターゲットの軸座標を入力することにより特定されることが可能である。他の代替的な手法では、ターゲットを含む画像が転換及び／又は回転され、ターゲットは再び示される。次に２つの方向投影が２次元空間（２‐Ｓｐａｃｅ）でのターゲットの位置を決定するのに用いられる。方向指示は、カメラ又は、一つ以上の無線伝送器等の他の方法により入力されてよい。
2004522220.tif 000002
【特許請求の範囲】
【請求項１】
規定の平面上に位置する未知の点の位置を決定する方法であって、
空間中の線の指示を生じさせるステップと、
前記の空間中の線の平面投影を入力するステップと、
平面中に位置する既知の経路に沿う位置を、前記既知の経路と前記平面投影との交点を決定することにより決定するステップと、
を有する方法。
【請求項２】
前記の生じさせるステップが人間のジェスチャーを含む請求項１に記載の方法。
【請求項３】
前記の入力するステップがカメラを介して画像を取得することを含む請求項２に記載の方法。
【請求項４】
前記の入力するステップがカメラ画像の平面投影を平面投影変換により他の平面へ変換することを含む請求項１に記載の方法。
【請求項５】
前記の生じさせるステップが、ポインティングデバイスを向けることと、カメラによる撮像及び無線受信器による検知の内少なくとも１つにより前記ポインティングデバイスの方向を取得することと、を含む請求項１に記載の方法。
【請求項６】
空間中の他の線の指示を生じさせるステップと、前記の空間中の他の線の他の平面投影を入力するステップと、前記平面中に位置する他の既知の経路に沿う他の位置を、前記他の既知の経路と前記他の平面投影との交点を決定することにより決定するステップと、前記位置及び前記他の位置を示す場所を決定する前記指示から前記平面中のターゲット点の座標を計算するステップと、
を更に有する請求項１に記載の方法。
【請求項７】
前記の計算するステップが前記既知の経路と前記他の既知の経路との交点を計算することを含む請求項６に記載の方法。
【請求項８】
規定の平面上に位置する未知の点の位置を決定する方法であって、
既知の２次元面上のターゲットに向けられた、空間中の第１の線の指示を生じさせるステップと、
前記の空間中の第１の線の第１の指示を入力して前記の空間中の第１の線の第１の平面投影を決定するステップと、
前記平面上の前記ターゲットの位置を変更するステップと、
前記ターゲットに向けられた、空間中の第２の線の指示を生じさせるステップと、
前記の空間中の第２の線の第２の指示を入力して前記の空間中の第２の線の第２の平面投影を決定するステップと、
前記第１及び第２の平面投影に応答して前記ターゲットの位置を計算するステップと、
を有する方法。
【請求項９】
前記の変更するステップが、前記ターゲットを含む場面の画像を投影することと、前記場面中の物体の関係を一定のそれぞれの相対方向及び位置に保つように前記場面の前記画像を変更することと、を含む請求項８に記載の方法。
【請求項１０】
ターゲットの１次元的位置を識別するための画像処理コンピュータであって、
カメラから画像を受信するように当該カメラに接続可能なコントローラを有し、
前記コントローラは、前記画像の内の第１の画像から、第１の方向の前記画像の内の前記第１の画像中の指示の規定の平面への第１の平面投影を計算するようにプログラムされ、
前記コントローラは更に、前記規定の平面に位置する前記第１の平面投影と第１の規定の線との第１の交点を計算するようにプログラムされ、
前記コントローラは更に、前記第１の交点の指示を出力するようにプログラムされる、画像処理コンピュータ。
【請求項１１】
前記コントローラが前記規定の平面に重なる面上の前記第１の規定の線に重なる画像を生じさせるようにプログラムされる請求項１０に記載のコンピュータ。
【請求項１２】
前記コントローラが前記画像の内の第２の画像から、第２の方向の前記画像の内の前記第２の画像中の指示の規定の平面への第２の平面投影を計算するようにプログラムされ、
前記コントローラが前記規定の平面に位置する前記第２の平面投影と第２の規定の線との第２の交点を計算するようにプログラムされ、
前記コントローラが前記第１及び第２の交点に応答してターゲットの位置を計算するようにプログラムされ、
前記第１の交点の前記指示が前記ターゲット位置を含む
請求項１０に記載のコンピュータ。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ターゲットの位置についての情報を入力するシステム及び方法に関し、より特定すれば、単一のカメラ画像を採用するこのようなシステムに関する。
【０００２】
【従来の技術】
コンピュータに基づいた多くのシステムはターゲットの位置についての情報を必要とする。例えば、よく知られているマウスは画面上でコントロール又は座標を選択するのに用いられる。ターゲット位置のデータがコンピュータに入力される他の分野は、自動化されたビデオ会議システムの分野である。例えばユーザは、単純に物体を示すか又はジョイスティックでカメラを制御することにより、目的の物体にカメラを向けることができる。ユーザが、マウス又はジョイスティックの使用無しに、通常他人にターゲットを示すのに用いられるよく知られているジェスチャーを用いることによって、ターゲットを示すことを可能にするシステムに関する研究が多くの面で進行している。
【０００３】
このようなジェスチャーに基づいたシステムは、音声コマンド（各口頭コマンドが例えば「左にパンせよ」、「上へ」、「下へ」等の命令に対応する、基本的に音声に基づいた記号の処理装置である「コマンドコントロール」）及びジョイスティック制御等の明確なコマンドを必要とする従来のシステムよりも直感的であり制御するのがより容易である。
【０００４】
ユーザが指し示すことにより複数のカメラビューを用いて方向を決定する方法がある。例えば、カメラに基づいたシステムはＭａｓａａｋｉ Ｆｕｋｕｍｏｔｏ， Ｙａｓｕｈｉｔｏ Ｓｕｅｎｇａ及びＫｅｎｊｉ Ｍａｓｅによる文献「‘Ｆｉｎｇｅｒ−Ｐｏｉｎｔｅｒ’： Ｐｏｉｎｔｉｎｇ ｉｎｔｅｒｆａｃｅ ｂｙ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ」に詳細に説明されている。ユーザの指示と一致する３次元ベクトルを決定するためには実際の場面の３次元モデルを生じさせるのに複数のアングルのビューが統合されることが必要であるかもしれないため、このようなシステムは多くの場合複雑である。またカメラは、位置を合わせられ、照準を合わせられ、位置及び方向が精密に規定される必要がある。次に、ユーザが指し示しているターゲットを決定するのに３次元モデルが用いられる。ターゲットが既知の面に位置するという限定された状況においては、この複雑さを克服する１つの技術は、較正されていない２つのカメラ及び平面投影変換を、２０００年５月１７日出願の米国特許出願第０９／５７２，９９１号「Ａｐｐａｒａｔｕｓ ａｎｄ ｍｅｔｈｏｄ ｆｏｒ ｉｎｄｉｃａｔｉｎｇ ａ ｔａｒｇｅｔ ｂｙ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ ｗｉｔｈｏｕｔ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｍｏｄｅｌｉｎｇ」に関する他の特許出願に説明されるように用いることであり、当該特許出願の全体はここで完全に述べられるかのように参照によりここに組み込まれる。ここでは較正は必要とされないが、この出願の方法はかなりの間隔で配置されなければならない複数のカメラを必要とする。
【０００５】
マウスは、相対位置を示すことにより画面上で所望の２次元座標の位置を示す。マウスが始めに制御されるとき、このマウスにより示される位置の開始位置は任意である。ユーザは究極的にはフィードバック及び相対的な移動を用いることによってのみターゲット位置を示すことができる。マウスと非常によく似た動作をする、単純な単一のカメラのジェスチャーに基づいた技術が米国特許第５，５９４，４６９号に説明される。この方法では、ユーザのジェスチャーは単一のカメラ及びフィードバックにより示される位置により得られる。次にユーザは、フィードバック信号が所望の結果を示すまでジェスチャーを修正する。例えば、ユーザは手を移動して、この変位の方向及び大きさは画面上のカーソルの相対的な変位の方向及び大きさにマッピングされる。
【０００６】
【発明が解決しようとする課題】
しかし、このシステムには、開始位置が任意であり、（通常視覚的である）フィードバックが必要とされるというマウス又はジョイスティックと同じ欠点がある。
【０００７】
【課題を解決するための手段】
簡単には、平面上のターゲットの位置は平面上に指示方向の投影を入力することにより示される。ターゲットが平面中で輪郭線に位置すると知られていれば、位置は方向投影により明白に特定され、ここで輪郭線と投影との交点が所望のターゲットである。代替的には、ターゲットの２次元的な位置はターゲットの軸座標を連続的なステップで入力することにより特定されることが可能である。他の代替の手法では、ターゲットを含む画像は変換及び／又は回転され、ターゲットは再び示される。次に２つの方向投影の交点が２次元空間（２‐Ｓｐａｃｅ）のターゲットの位置を決定するのに用いられる。方向指示はカメラ又は、１つ以上の無線伝送器、影のキャスティング等の他の方法により入力されることができる。
【０００８】
本システムでの方針は、平面投影変換を上で参照した米国特許出願第０９／５７２，９９１号に開示される態様で用いるが、ここで２つのカメラを用いて単一の方向指示ベクトルの独立の平面投影を共通平面に提供する代わりに、単一のカメラの画像の座標が既知の平面にマッピングされ、２つでなくただ１つの座標情報の次元を提供する、というものである。しかし、この単一次元は複数の態様で用いられることが可能である。例えば、スライダコントロールなどの単一軸コントロールは指し示すジェスチャーにより制御されることが可能である。道路地図に示される道路の一点も示されることが可能である。また、連続したジェスチャー入力、例えば表の行のために１つのジェスチャー、列のために１つのジェスチャーを用いることにより、所望のセルを示すことができる。代替的に、場面の画像が画面及び場面上に示されるターゲットに投影されることが可能である。次に、第１の指示の後に、場面は転換及び／又は回転されターゲットが再び指示されることができる。これらの２つの指し示すことによる指示の２つの平面投影から、ターゲットの位置は単純に２つの投影の交点を見つけることにより導き出されることができる。
【０００９】
本発明は、より完全に理解されるよう以下の説明的な図を参照して特定の好適な実施例に関連して説明される。図を参照すると、示される項目は例であって本発明の好適な実施例の例示的な説明のみを目的とするものであり、本発明の原理及び概念的側面の最も有用であり容易に理解される説明であると信じられるものを提供する目的で提示されるということが強調される。この関連で、本発明の構造的細部を示すことは本発明の根本的理解に必要なもの以上には試みられず、図と共に用いられる説明が、当業者に本発明の幾つかの形が実際上いかに具体化されるかを明らかにする。
【００１０】
【発明の実施の形態】
図１Ａ、１Ｂ及び１Ｃを参照すると、カメラ１５０は開口１５５を備える画面１３５の後ろのプラットホーム１１０に支持される。カメラ１５０は、カメラ１５０が開口１５５を通して場面を見るように画面の前の場面に向けられることができる。カメラ１５０の照準は、開口１５５の端１７０がカメラの画像中に見えるようになっているものである。よって、カメラ１５０の視野は開口１５５によりわずかに削られている。装置２００においては、画面１３５の目的は開口１５５の角２６１−２６４の形で４つのマーカーを提示するということであって、この目的に効果のある装置であれば何でも十分であることに注意されたい。例えば、マーク又はワイヤフレームの物体を備える透明なガラスである。長方形の開口１５５又はワイヤフレームにより設けられる角で合流する直線は、４つの角の座標を識別するのに補間法が用いられることを許容し、これにより小さいマーカーの直接測定に関する座標測定の精度を増加させる、という意味で有益である。
【００１１】
ここで図２を参照すると、装置２００はユーザ３０を見るのに用いられる位置に配置される。セットアップ中に、カメラ２４０はターゲットが位置することができる点の位置、例えば画面２１０及び装置２００の画面１３５の４つの点２６１−２６４がカメラ２４０の視野内にあるような位置及び方向に、一時的に配置される。４つの追加の点２２１−２２４も画面２１０上にマークされる。４つの点２２１−２２４もセットアップカメラ２４０の視野内にある。単一のセットアップ画像がセットアップカメラ２４０に必要な全てのものである。この画像はカメラ１５０の画像中の４つの点２６１−２６４をセットアップカメラ２４０の画像中の４つの点にマッピングする平面投影変換を計算するのに用いられる。このセットアップ変換が一旦計算されたら、これはカメラ１５０の画像中のあらゆる画像座標をセットアップカメラ２４０の画像座標に変換するのに用いられる。セットアップカメラ２４０の画像は全ターゲット位置データの基礎であるか又はこの画像はセットアップ変換を適切に修正することによりいかなる所望の平面にも変換されることができる。実施例では、ユーザ３０の目２３６及び指先２３５の座標は、カメラ１５０の画像の座標からカメラ２４０の画像の座標に変換される。
【００１２】
図は、ユーザ３０が指し示すジェスチャーを用いてターゲット２６０を指し示しているところを示す。人がターゲット２６０等のターゲットを指し示すときに用いられるジェスチャーは、ユーザの指先２３５、ユーザの右目（左目）２３６及びターゲット２６０が直線でつながるというものであるということが実験的に確認されている。ここで図３及び４も参照すると、画面２１０の平面は３５０において示され、ユーザ３０の目２３６及び指先２３５をつなげる直線は３３０において示される。セットアップカメラ２４０の視野におけるターゲット２６０の平面投影は、ユーザ３０の目２３６及び指先２３５により規定される直線即ち方向ベクトル３３０の平面投影に沿って位置する。３２５において示されるカメラ２４０の焦点は、方向ベクトルと共に平面３２０を規定する。平面３２０とターゲットが位置する平面３５０との交線は方向ベクトル３３０の投影を規定する。ターゲット（例えばＴ１）は平面３５０中で特定の線又は輪郭線、例えば垂直軸即ちスライダコントロール３６０に位置すると知られていれば、ターゲット点は直線３３０の平面投影３１０と垂直軸即ちスライダコントロール３６０との交点を見つけることにより得ることができる。
【００１３】
依然図３及び４を参照すると、平面３５０上の任意の点を示すために２つの軸即ちスライダコントロール３６０及び３６５が画面２１０に連続で投影されることが可能であり、第１に垂直位置を例えば垂直軸即ちスライダコントロール３６０に示し、次に水平位置を例えば水平軸即ちスライダコントロール３６５に示すことができる。これは表の列を、次に行を特定することにより特定のセルを選択する手法に類似している。
【００１４】
ここで図５を参照すると、まっすぐではない線４６０において点を特定することができる。方向ベクトル４３０に対応する投影線４１０が曲線即ち輪郭線４６０と１点のみで交差するのであれば、ターゲット点は明確に決定することができる。例えば、道又は他の物体の輪郭上の点はこのような手法により特定することができる。再び、ターゲットは平面４５０に位置すると仮定されている。
【００１５】
ここで図５及び６を共に参照して、第１の位置及び方向において任意の画像が特定されていると仮定しよう。この第１の位置及び方向において、ターゲット４７３は方向ベクトル４３０により示される。一旦これが起これば、ターゲット４７３は方向ベクトル４３０の投影により特定される線４１０により規定される経路上に位置すると知られる。この実施例では、ターゲット４７３が規定の線即ち輪郭線４６０に位置することを必要とするよりもむしろ画像の位置及び／又は方向が変更されて、ユーザは方向ベクトル４３０により表される他の指示を生じさせる。次に平面４５０中で第２投影線４１２が規定される。投影線４１０と４１２との交点がターゲット４７３の位置を示す。当然、明らかに投影線４１０及び４１２は画像に関連して規定される。
【００１６】
上述の実施例ではターゲットは特定の態様（目から指先へ）の指し示すジェスチャーにより示されるが、この指示が他の手法で導出されることができない理由は何もない。例えば、確認装置又はワンドが使用されることが可能である。また、ターゲットは、画面上のターゲットではなく、共通の平面上に実質的に位置するいかなる物体又は画像でもよい。また更に、物体又はターゲットは単一平面上に位置する必要はなく、それぞれが登録マークのそれぞれの組を有する複数の平面上に位置することができる。本発明はターゲットが平らな面ではない面に位置することができるように他の変形を用いることによっても拡張されることが可能である。また他の変形例は方向を示すジェスチャーの態様である。方向を示すための動くジェスチャーに伴うような短い時間間隔に亘っての手又は指の振りの方向等の方向を導出するのに、画像の時間的系列が用いられることが可能である。また、他の適切なアプリケーションはホワイトボードアプリケーションである。また更に、登録マークは画面上のマークである必要はなく、画面の角であってもよい。また、登録マークはセットアップ中の１つの時点で画面上に投影され後に除去されてもよい。登録点座標は次に、セットアップが変更されるまで登録マークに対する他の参照無しに変換を計算するのに用いられてもよい。この技術の他のアプリケーションは、カメラをターゲットに向けることへの使用である。一旦参照画像中の座標が知られれば、カメラがターゲットを捕捉するのに再び照準をあててズームすることが可能である。これは自動ビデオ会議システムの状況で有用になる。
【００１７】
ここで図７を参照すると、本発明のアプリケーションを実施するのに用いられ得る装置及び処理がブロック図で示される。画像プロセッサ５０５がカメラ５０１から画像データを受信する。画像及び座標データはメモリ５１０又は不揮発性記憶装置５２０に記憶されてよい。例えば、変換データは一旦計算されれば不揮発性メモリ５２０及びカメラ５０１からの画像の計算に用いられるメモリ５１０に記憶されることができ、アプリケーション処理５３０に適用され得るターゲットの座標ｘ， ｙを導出することができる。アプリケーション処理は上で説明した連続的なターゲット指定ステップを実行するのに複数の画像処理ステップを命令することができる。ターゲットが指定される度に、音声応答システム等のインジケータ５２２がユーザの入力を示すことができる。音声応答システムでは、ユーザは特定の単語又は命令を言うことにより自分の現在のジェスチャーが完了したことを示すことができる。代替的に、ユーザは同じことをジェスチャー、リモートコントロールボタン又は他の指示器５２２を用いることにより示してもよい。アプリケーション処理５３０は次に出力装置５４０にホワイトボード上の図面又はゲームのアバター（分身）のための制御データ等の出力を生成する。平面投影が無線装置を通じて得られるシステムにおいては、ＲＦ検知器５２４が設けられてもよい。
【００１８】
カメラ５０１により収集された投影データはソナー、ラジオ、超音波医療機器又は平面投影を形成することができる他のあらゆる装置等からも導出されることができることに注意されたい。同様の計算手法が、方向がカメラにより得られるもの以外のポインティングインジケータと関連して用いられ得るということにも注意されたい。例えば、確認チューブ又は無線伝送器を備えるガンサイトの方向がコンピュータにより得られ、画面上のターゲットの位置を決定するのに用いられることができる。無線に基づくライティングタブレット及びネットワーク化されたホワイトボードアプリケーション等が、カメラ全体に対する必要性を避けてポインティングデバイスの方向を決定するのに採用されてもよい。この装置は上で参照として組み込まれた米国特許第０９／５７２，９９１号中でも用いられることが可能であることに注意されたい。
【００１９】
本発明は、前記の説明的実施例の細部には制限されず、本発明の精神又は本質的な特質から離れることなく他の特定の形式で実施され得るということは当業者には明らかである。従ってこれら実施例はあらゆる点において説明的であって制限的でないとみなされるべきであり、本発明の範囲は前記の説明よりも添付の請求項により示され、請求項の意味及び均等物の範囲内での全変更は従って当該請求項中に含まれるように意図されている。
【図面の簡単な説明】
【図１Ａ】本発明の実施例を実施するためのジグの平面図。
【図１Ｂ】図１Ａのジグの正面図。
【図１Ｃ】図１Ａ及び１Ｂの側面図。
【図２】本発明の実施例のために用いられるセットアップ構成の図。
【図３】２つの輪郭線上で示される位置が点を示すのに用いられるセットアップカメラ画像の平面投影座標間の幾何学的関係の図。
【図４】２つの輪郭線上で示される位置が点を示すのに用いられるセットアップカメラ画像の平面投影座標間の幾何学的関係の図。
【図５】２つの位置に移動された単一の輪郭線上で示される位置が点を示すのに用いられるセットアップカメラ画像の平面投影座標間の幾何学的関係。
【図６】２つの位置に移動された単一の輪郭線上で示される位置が点を示すのに用いられるセットアップカメラ画像の平面投影座標間の幾何学的関係。
【図７】本発明を実施するために用いられ得る物理的構成の図。
【図７】
2004522220.tif 000003
【国際公開パンフレット】
2004522220.tif 000004
2004522220.tif 000005
2004522220.tif 000006
2004522220.tif 000007
2004522220.tif 000008
2004522220.tif 000009
2004522220.tif 000010
2004522220.tif 000011
2004522220.tif 000012
2004522220.tif 000013
2004522220.tif 000014
2004522220.tif 000015
2004522220.tif 000016
2004522220.tif 000017
2004522220.tif 000018
2004522220.tif 000019