(57)【要約】【課題】視線追跡システムを使用することによって光学装置の拡大率を制御するための方法とシステムを提供することと、さらに、音声認識システムをズームレンズの基本的な機能制御に組み込むこと。【解決手段】本発明は、自動ズームレンズを含む装置に関し、より詳細には、視線追跡システムに連結されたプロセッサによって制御されるズームレンズに関する。使用者が装置を通じて対象物を見ると、視線追跡システムは、使用者の各目の位置に関するデータを収集する。この目の位置データは、プロセッサに入力され、プロセッサは使用者の焦点を求める。次いで、プロセッサは、所定の、または使用者によって入力されるズーム係数のいずれかに基づいて対象物にズームインまたはズームアウトするようにズームレンズを調節する。【選択図】図１
2004517359.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの調整可能な光学要素と、前記少なくとも１つの調整可能な光学要素と作用し合う、当該光学要素を調整するモーターと、観察者の第一および第二の目の位置データをそれぞれ検出する第一および第二の目の位置センサーと、前記第一および第二の目の位置センサーから位置データを受信し、かつ前記モーターに制御信号を供給する制御装置と、を有する光学システムであって、前記制御装置が、
ｉ） 前記第一および第二の目の位置センサーによって供給される目の位置データから、前記観察者の第一および第二の目それぞれの注視角度を求める視線追跡処理と、
ｉｉ） 前記求められた注視角度α１、α２を使用して、前記観察者の注視距離を求める注視距離処理と、
ｉｉｉ） 前記少なくとも１つの光学要素の調整位置を前記求められた注視距離の関数として求める光学要素位置決め処理と、
を含み、
前記制御装置が、前記少なくとも１つの調整可能な光学要素を前記調整位置に移動させるために制御信号を前記モーターに供給する、
光学システム。
【請求項２】
前記少なくとも１つの調整可能な光学要素が、前記光学システムの使用者に焦点を合わせることのできる少なくとも１つのレンズである、請求項１の光学システム。
【請求項３】
前記少なくとも１つのレンズがズームレンズである、請求項２の光学システム。
【請求項４】
前記第一および第二の目の位置センサーが、それぞれ、前記観察者の前記第一および第二の目に向けられている第一および第二カメラである、請求項１の光学システム。
【請求項５】
前記第一および第二カメラによって検出される前記第一および第二の目の前記目の位置データが、前記第一および第二の目の画像である、請求項４の光学システム。
【請求項６】
前記制御装置の前記視線追跡処理が、前記画像内の前記第一および第二の目の特徴の前記位置を使用して、前記第一および第二の目それぞれの注視角度α１、α２を求める、請求項５の光学システム。
【請求項７】
前記注視距離処理が、式
Ｄ ＝ Ｄｅ ／ （ｔａｎ α１ ＋ ｔａｎ α２）
（Ｄｅは、前記使用者の前記目の間の前記距離を表し、α１は、前記制御装置によって求められた前記第一の目の前記注視角度であり、α２は、前記制御装置によって求められた前記第二の目の前記注視角度）
に従って前記観察者の前記注視距離Ｄを求める、請求項６の光学システム。
【請求項８】
前記光学要素位置決め処理が、前記観察者の前記注視距離から初期距離を求め、前記少なくとも１つの光学要素の前記調整位置が前記初期距離の関数である、請求項１の光学システム。
【請求項９】
前記少なくとも１つの光学要素が、ズームレンズであり、前記初期距離が、前記注視距離がズームされる初期ズーム距離であり、前記調整位置が、前記注視距離における対象物を前記初期ズーム距離にズームする、前記少なくとも１つの光学要素の前記位置である、請求項８の光学システム。
【請求項１０】
前記制御装置が、前記少なくとも１つの調整可能な光学要素を使用者の入力なしに前記調整位置に移動するために制御信号を前記モーターに自動的に供給する、請求項９の光学システム。
【請求項１１】
前記制御装置が、前記観察者の音声命令の検出時に前記ズームレンズを後続のズーム刻み位置にさらに調整するために前記モーターを制御する、請求項１０の光学システム。
【請求項１２】
前記光学要素位置決め処理が、前記観察者からの入力距離を受信し、前記少なくとも１つの光学要素の前記調整位置が前記入力距離の関数である、請求項１の光学システム。
【請求項１３】
前記少なくとも１つの光学要素が少なくとも１つのズームレンズであり、前記入力距離が、前記使用者が前記注視距離をズームするように望むズーム距離であり、前記調整位置が、前記注視距離における対象物を前記入力ズーム距離にズームする、前記少なくとも１つのズームレンズの前記位置である、請求項１２の光学システム。
【請求項１４】
前記注視距離における対象物を前記入力ズーム距離にズームする前記位置に、前記少なくとも１つのズームレンズを移動させるために、前記制御装置が制御信号を前記モーターに供給する、請求項１３の光学システム。
【請求項１５】
制御装置が、前記観察者から音声入力によって前記入力ズーム距離を受信する、請求項１３の光学システム。
【請求項１６】
前記制御装置が、前記観察者の音声命令の検出時に、前記ズームレンズを後続のズーム刻み位置にさらに調整するために前記モーターを制御する、請求項１３の光学システム。
【発明の詳細な説明】
【０００１】
【発明が属する技術分野】
本発明は、使用者の焦点に基づいて光学装置の拡大率を変更するシステムに関し、より詳細には、使用者の注視線の交点を求めることによって拡大率を変更するシステムに関する。
【０００２】
【従来の技術】
双眼鏡、カメラなどの光学装置には、見ている対象物の倍率を調整するためにズームインおよびズームアウトできるシステムがしばしば含まれている。これらの装置に組み込まれているシステムは、手動調整またはモーターのいずれかによってズームレンズを移動させることによって拡大率またはズーム比を変更する。モーター式システムは、代表的には、モーター（例：ステッパーモーター）に連結されたダイヤルまたは押ボタンシステム、またはその他の電子制御を組み込んでいて、このモーターは、レンズを動かしてズーム比を調整する。ボタンを押すことにより、ステッパーモーターを作動させる電子装置に信号が送られる。ステッパーモーターは、レンズシステムに機械的に連結されており、使用者の制御によってレンズを調整してズームインまたはズームアウトする。Ｐｅｌｃｏは、モーター式ズームレンズのメーカーの１つであり、このレンズの動作と仕様は、同社のＷｅｂサイト（ｈｔｔｐ：／／ｗｗｗ．ｐｅｌｃｏ．ｃｏｍ）に掲載されている。
【０００３】
既存のモーター式ズームレンズの１つの問題は、このようなレンズのいずれも、ズームを制御するために使用者は手を使用する必要があることである。
【０００４】
本発明に関連する別の分野には、人の目の動きの方向を追跡するためのさまざまな技術（一般には視線追跡と呼ばれる）が存在する。視線追跡は、目の角度移動と位置の検出または測定に関係する。「目によって制御される媒体：  現状と今後（Ｅｙｅ Ｃｏｎｔｒｏｌｌｅｄ Ｍｅｄｉａ： Ｐｒｅｓｅｎｔ ａｎｄ Ｆｕｔｕｒｅ Ｓｔａｔｅ）」（著者Ｔｈｅｏ Ｅｎｇｅｌｌ−Ｎｉｅｌｓｅｎ、Ａｒｎｅ Ｊｏｈｎ Ｇｌｅｎｓｔｒｕｐ、１９９５年）（アドレス：ｈｔｔｐ：／／ｗｗｗ．ｄｉｋｕ．ｄｋ／￣ｐａｎｉｃ／ｅｙｅｇａｚｅ）には、公知のさまざまな視線追跡技術について説明されており、かつこの文書は、本明細書に参照文献として組み込まれている。これらの各種の技術では、使用者の頭および／または目の動きを追跡することによって、使用者の焦点が求められている。目の動きは、現在の３つの技術、すなわち、目の各部の反射光を検出する、目が移動するときの隣接する皮膚の電位差を測定する、専用に設計されたコンタクトレンズを利用する、技術を使用して検出できる。
【０００５】
市販されている視線追跡システムは、人が見ている方向を検出し、次いで、各システムの目的に応じて注視角度（ｇａｚｅ ａｎｇｌｅ）に関するデータを使用する。例えば、ある視線追跡システムは、人が見ている位置に基づいてコンピュータ画面上のカーソルの動きを制御する。ＳｅｎｓｏＭｏｔｏｒｉｃ Ｉｎｓｔｒｕｍｅｎｔｓ社は、視線追跡システムのメーカーの１つであり、同社から市販されている機器は、＜ｈｔｔｐ：／／ｗｗｗ．ｓｍｉ．ｄｅ＞に掲載されている。このシステムは、使用者の目または目の近くに検出器（例：カメラおよび／またはその他のセンサー）を取り付けることによって、目の小さな角度移動を検出し、目の角度移動に基づいてカーソルを移動させる。ＳｅｎｓｏＭｏｔｏｒｉｃ Ｉｎｓｔｒｕｍｅｎｔｓ社のシステムは、医療診断を目的とした、検出された目の動きの分析についても開示している。
【０００６】
このように、視線追跡システムは、従来、その用途が、目の動きの分析そのもの、または検出された目の注視角度に対応するようにカーソルを移動させるという単純な用途に限定されてきた。
【０００７】
【課題を解決するための手段】
本発明の１つの観点は、視線追跡システムを使用することによって光学装置の拡大率を制御するための方法とシステムを提供することである。
【０００８】
本発明のもう１つの観点は、ズームレンズの基本的な機能を制御するための音声認識システムをさらに組み込むことである。
【０００９】
本発明は、視線追跡システムから受信された注視角度を使用して計算される注視距離パラメータに基づいて光学パラメータを自動的に調整する視線追跡システムを有する光学装置を有する。
【００１０】
本発明の１つの実施例においては、光学装置は、少なくとも１つの調整可能な光学要素と、視線追跡入力センサーと、前記少なくとも１つの光学要素と作用し合うモーターであって、前記少なくとも１つの要素を移動させることができるモーターと、制御装置であって、視線追跡アルゴリズムおよび関連する注視距離アルゴリズムと、前記モーターに制御入力を供給するソフトウェアとをサポートする制御装置と、を有する。制御装置内の視線追跡アルゴリズムが、目の注視角度を求め、かつ視線追跡入力センサーが、目の注視角度に関する入力を受信し、この入力は、制御装置に転送される。計算された注視角度を使用して、注視距離、すなわち、観察者から、目の焦点が合う、または注視している点までの距離を計算する。次いで、計算された距離を使用して、少なくとも１つの光学要素の調整が計算され、少なくとも１つの光学要素の位置の調整を行うために制御信号がモーターに送られる。
【００１１】
もう１つの望ましい実施例においては、双眼鏡は、ズームレンズと、１つ以上の視線追跡カメラと、ズームレンズと作用し合うステッパーモーターと、制御装置であって、視線追跡アルゴリズムおよび関連する注視距離アルゴリズムと、ステッパーモーターに制御入力を供給するソフトウェアとをサポートする制御装置と、を有する。視線追跡カメラは、目の注視角度を求めるために制御装置の視線追跡アルゴリズムによって使用される目の１つ以上の特徴の位置の画像を取得する。注視角度は、注視距離を求めるために、注視距離アルゴリズムによってさらに処理される。さらに、注視距離を使用して、注視距離に焦点を合わせるためのズームレンズの適切な位置が求められ、そしてその位置にズームレンズを移動させるために適切な制御信号が、プロセッサによってステッパーモーターに供給される。
【００１２】
さらに別の望ましい実施例においては、カメラは、ズームレンズと、１つ以上の視線追跡カメラと、ズームレンズと作用し合うステッパーモーターと、制御装置であって、視線追跡アルゴリズムおよび関連する注視距離アルゴリズムと、ステッパーモーターに制御入力を供給するソフトウェアとをサポートする制御装置と、を有する。視線追跡カメラは、目の１つ以上の特徴の位置の画像を取得し、この画像は、目の注視角度を測定するために制御装置の視線追跡アルゴリズムによって使用される。注視角度は、注視距離を求めるために注視距離アルゴリズムによってさらに処理される。さらに、注視距離を使用して、注視距離にカメラの焦点を合わせるためのズームレンズの適切な位置が求められ、そしてその位置にズームレンズを移動させるために適切な制御信号が、プロセッサによってステッパーモーターに供給される。
【００１３】
従って、本発明は、特に、使用者の注視角度および対応する焦点に基づいての光学要素の自動調節を提供する。さらに、本発明は、自動調節が行われる前に入力として音声命令が必要とされる音声認識システムを組み込むことができる。例えば、視線追跡アルゴリズムとその後の処理、および光学要素またはレンズの制御が開始される前に、音声命令が、必要となるようにさせることもできる。これに代えて、このような処理を連動させて実行し、モーターへの最終的な制御命令に音声入力が必要となるようにさせてもよい。
【００１４】
本発明の上記およびその他の観点、特徴、および利点は、以下の詳細な説明と添付の図面から、より明確になるであろう。
【００１５】
【発明を実施するための形態】
本発明の望ましい実施例について、添付の図面を参照しながら以下に説明する。以下の説明において、周知の機能または構造については、それらが、不必要に詳細な説明により本発明の本質を不明瞭にする可能性があるため、詳しくは説明されていない。
【００１６】
図１は、双眼鏡システム１０を有する本発明の実施例により見ている使用者を示す。図１に示されているように、視線追跡サブシステムは、２個のカメラＣ１、Ｃ２と、制御装置１００と、制御装置に格納されている関連するソフトウェアとを有する。使用者の目は、Ｅ１、Ｅ２と示されている。双眼鏡を構成する単眼鏡Ｂ１と単眼鏡Ｂ２も、図示されている。また、ズームレンズＺ１、Ｚ２に接続されているステッパーモーター１０５も示されている。制御装置１００は、後述されるように、制御装置１００の制御信号を生成するソフトウェアを含む。
【００１７】
制御装置１００は、例えば、関連するＲＡＭとＲＯＭを有するプロセッサを有する。このプロセッサは、双眼鏡システム１０に直接取り付けられ、ワイヤ（図示されていない）によってカメラＣ１、Ｃ２に相互接続されていて、これらのカメラから視線追跡情報データを受信する。また、制御装置１００は、ステッパーモーター１０５と１本以上のワイヤ（図示されていない）によって相互接続されていて、このモーターに命令を送り、ズームレンズの位置データを受信する。これに代えて、制御装置１００は、双眼鏡に取り付けられていなく、ワイヤまたはワイヤレス接続によってカメラＣ１、Ｃ２とステッパーモーター１０５とに相互接続されている個別の装置を有することもできる。
【００１８】
カメラＣ１、Ｃ２は、目Ｅ１、Ｅ２の角度移動に関するビデオデータ（視線追跡データ）を制御装置１００に供給する。視線追跡データは、この技術分野において周知の視線追跡技術の１つに適合するものであり、この視線追跡技術は、制御装置１００のソフトウェアに視線追跡アルゴリズムの形式で格納されている。これにより、制御装置１００は、受信された視線追跡データを処理して、法線（すなわち、人がまっすぐ前を見ているときの軸、つまり、単眼鏡Ｂ１、Ｂ２の軸）に対する注視角度を求める。求められた注視角度は、使用者の目の焦点が合っている点（例えば、図１に示されている点Ｏ）までの距離（使用者の焦点距離）を計算するために、使用者の目Ｅ１、Ｅ２の間隔などの他の入力と共に制御装置１００によって使用される。目の間の距離を個別の入力として制御装置１００に供給してもよい。例えば、単眼鏡Ｂ１、Ｂ２が観察者の目に合わせて調整されているときには、一般に、目は各単眼鏡の中心軸に一致する。従って、観察者の目の間の距離は、単眼鏡の中心軸の間隔に実質的に等しく、この間隔は、単眼鏡Ｂ１、Ｂ２の間の調整機構の設定の関数である。単眼鏡Ｂ１、Ｂ２の間の調整機構と作用し合うセンサーが、単眼鏡Ｂ１、Ｂ２の間の調整設定の測度を制御装置１００に提供することができる。これにより、制御装置１００は、例えば、単眼鏡（従って観察者の目）の中心角度の間の距離を調整機構の設定の関数として与える表を使用することにより、目の間隔を求めることができる。
【００１９】
これに代えて、カメラＣ１、Ｃ２によって供給される画像を、類似する方法で使用することができる。例えば、目の測定モードにおいて、各カメラＣ１、Ｃ２によって供給される画像の中心にそれぞれの目が位置するように、単眼鏡Ｂ１、Ｂ２を調整することができる。制御装置１００は、目がこのように画像の中心に位置するときに単眼鏡Ｂ１、Ｂ２の間の調整機構の設定の関数として目の間隔を与える、事前に格納される表を有する。調整機構と作用し合うセンサーによって、目が画像の中心に位置するときの調整設定が制御装置１００に送られる。制御装置１００は、この測定値を使用して目の間隔を調べる。
【００２０】
前述されているように、制御装置１００は、レンズＺ１、Ｚ２の現在位置をメモリに格納する。制御装置は、時間の経過に伴うステッパーモーター１０５によるステップ（「ズーム刻み」と呼ばれる）の数とステップの方向を維持することによって、レンズ位置を追跡することができる。これに代えて、ステッパーモーターおよび／またはレンズと作用し合うセンサーが、制御装置１００からの問い合わせを受信したときに、レンズの現在の位置を制御装置１００に供給するようにすることも可能である。制御装置１００は、視線追跡データに基づいて使用者の焦点距離を計算した後、双眼鏡の焦点にズームの焦点を合わせるためにズームレンズＺ１、Ｚ２を移動させなければならない位置を求める。制御装置１００は、現在位置から使用者の焦点距離までレンズＺ１、Ｚ２を移動させるステップまたはズーム刻み命令を、ステッパーモーター１０５に出力する。従って、双眼鏡は、その距離、従って使用者が注視している点に自動的に焦点を合わせる。
【００２１】
図１Ａは、白い強膜部分２００、（一般には）暗い虹彩部分２０２、中央の瞳孔部分２０４を有する、使用者の目Ｅ１の正面図を描いたものである。図１Ａは、目が、中心に位置する状態を示す。これは、例えば、頭が水平で、かつ目が、使用者の中心軸と呼ばれる軸に沿って水平な地平線（ｌｅｖｅｌ ｈｏｒｉｚｏｎ）を見ているときに相当する。従って、図１Ａの場合、使用者の中心軸は、紙面に垂直の方向にある。図１Ｂは、使用者の中心軸を別の視点から示す、目の側面図である。
【００２２】
前述したように、視線追跡を行うため、図１のカメラＣ１のようなカメラは、図１Ａに示されているような目Ｅ１の画像を、処理のために制御装置１００に供給する。この技術分野において周知のように、目の画像は、カメラＣ１によってＣＣＤアレイのピクセル上に取得される。従って、ＣＣＤアレイの各ピクセルは、取得された画像の対応する部分の輝度の測定値を、制御装置に供給する。図１Ａに戻って、点Ａ（つまり、強膜部分２００と虹彩部分２０２の間の境界上の任意の点）に対応する画像領域内のピクセルは、特定のピクセル間で相対的に大きな輝度の変化を示す。点Ｂ（つまり、虹彩部分２０２と瞳孔２０４の間の境界上の任意の点）に対応するピクセルについても、同じことが起こる。
【００２３】
さらに、制御装置は、使用者の顔の皮膚２０６と目の間の点Ｃなどの基準点を求めることができる。点Ｃは、例えば、強膜部分２００と使用者の皮膚２０６のピクセルの間の輝度の変化によって検出できる。点Ｃは、目の動きに対する、使用者の頭部の固定基準点である。基準点Ｃは、カメラの視野内の使用者の頭の他の点に位置してもよく、後述されるように、他の点を使用して二次元における動きを求めることもできる。また、固定基準点は、例えば、人の頭の画像認識アルゴリズムによって求められる一連の点でもよい。
【００２４】
視線追跡の１つの技術においては、頭に対する目の位置が画像から求められる。この視線追跡技術の原理は、図１Ｃと１Ｄを通じて説明されている。図１Ｃと１Ｄは、異なる注視角度における目Ｅ１の２つの異なる画像を示し、これらの画像は、カメラＣ１によって記録され、カメラのＣＣＤ内の各ピクセルからのデジタル化データの形式で制御装置に送られたものである。図１Ｃは、まっすぐに、すなわち上に定義した中心軸に沿って見ている目を表す。制御装置１００は、前述した、虹彩部分２０２、強膜部分２００、使用者の頭の皮膚２０６の間の輝度の変化を使用して、図に示されているＸ軸に沿った、点Ａ（虹彩部分２０２と強膜部分２００の境界上）と、点Ｃ（強膜部分２００と皮膚２００の境界上）を求める。これから、制御装置１００によって画像距離Ｘ１が求められる。
【００２５】
図１Ｄにおいては、目は、中心軸に対して注視角度をなして、（Ｘ軸沿いに）左を注視している。従って、画像内の点Ａは、図に示されているように点Ｃの方向に移動する。制御装置１００は、図１Ｄの画像内の点ＡとＣの位置を（この場合も目の各特徴の間の輝度の変化を検出することにより）求めることによって、距離Ｘ２を求める。
【００２６】
中心軸に対する目Ｅ１の注視角度は、Ｘ位置の変化、すなわちＸ１ − Ｘ２の関数である。この関数は、制御装置１００によってトレーニングプログラムにおいて求めることができ、このトレーニングプログラムでは、既知の注視角度に対して画像内の目の変位（例えば点ＡＣ間の測定値）が検出されて記録される（例えば、図１のシステムにおいて、目が画像内の中心に位置するときは注視角度は０であり、視野の端を注視しているときは注視角度は単眼鏡の角度幅（ａｎｇｕｌａｒ ｗｉｄｔｈ）に等しい。これらの２つの画像をトレーニングプログラム内に取得することによって、制御装置１００は、変位と注視角度の間の線形相関関係を求めることができる）。制御装置１００は、トレーニングプログラムに集められたデータを使用して、画像内の検出された変位（例：Ｘ１−Ｘ２）に対する注視角度を外挿することができる。
【００２７】
ここで留意すべき点として、目は、必ずしも図１Ｄに示されているように画像のＸ軸に沿って注視するとは限らず、Ｘ軸とＹ軸に対して角度をなすことがある。制御装置１００は、Ｘ方向とＹ方向の両方（すなわちＸ−Ｙ平面における任意の方向）における目の動きに対応する類似の処理を行うことができる。
【００２８】
この技術分野において周知のように、視線追跡の上記の技術および他の技術は、頭の動き、小さい動きの高い解像度、高速の応答時間、二次元における目の動きなどに対応するために、非常に高度になっている。代表的には、視線追跡システムは、これらの他の変数と要因に対応するために、注視角度の処理時に高速画像を使用する。さらに、両目の注視角度が求められる。視線追跡の技術に関連する以下の文書は、本文書に参照文献として組み込まれている。１） 米国特許番号５，８６１，９４０、「目の視線追跡を提供するための目の検出システム（Ｅｙｅ Ｄｅｔｅｃｔｉｏｎ Ｓｙｓｔｅｍ Ｆｏｒ Ｐｒｏｖｉｄｉｎｇ Ｅｙｅ Ｇａｚｅ Ｔｒａｃｋｉｎｇ）」（Ｒｏｂｉｎｓｏｎ氏ら）、２） 米国特許番号６，１５２，５６３、「目の注視方向の追跡器（Ｅｙｅ Ｇａｚｅ Ｄｉｒｅｃｔｉｏｎ Ｔｒａｃｋｅｒ）」（Ｈｕｔｃｈｉｎｓｏｎ氏ら）、３） 「モデルベースの視線追跡システム（Ａ Ｍｏｄｅｌ−Ｂａｓｅｄ Ｇａｚｅ Ｔｒａｃｋｉｎｇ Ｓｙｓｔｅｍ）」（Ｓｔｉｅｆｅｌｈａｇｅｎ、Ｙａｎｇ ＆ Ｗａｉｂｅｌ氏）、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ Ｔｏｏｌｓ、Ｖｏｌ． ６、Ｎｏ．２、ｐ １９３〜２０９、１９９７年、４） 「人工ニューラルネットワークを使用しての非侵入的視線追跡（Ｎｏｎ−ｉｎｔｒｕｓｉｖｅ Ｇａｚｅ Ｔｒａｃｋｉｎｇ Ｕｓｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）」（Ｓｈｕｍｅｅｔ Ｂａｌｕｊａ、Ｄｅａｎ Ｐｏｍｅｒｌｅａｕ氏）、ＣＭＵ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ、ＣＭＵ−ＣＳ−９４−１０２、５） 「人とコンピュータの対話技術における目の動きの使用： 注視による選択（Ｔｈｅ Ｕｓｅ Ｏｆ Ｅｙｅ Ｍｏｖｅｍｅｎｔｓ Ｉｎ Ｈｕｍａｎ−Ｃｏｍｐｕｔｅｒ Ｉｎｔｅｒａｃｔｉｏｎ Ｔｅｃｈｎｉｑｕｅｓ： Ｗｈａｔ Ｙｏｕ Ｌｏｏｋ Ａｔ Ｉｓ Ｗｈａｔ Ｙｏｕ Ｇｅｔ）」（Ｒｏｂｅｒｔ Ｊ．Ｋ． Ｊａｃｏｂ氏）、ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ Ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍｓ、Ｖｏｌ． ９、Ｎｏ． ３、ｐ１５２〜１６９、１９９１年４月、６） 「頑強なリアルタイム追跡パラダイムを使用しての３次元の表情と注視点の推定（３−Ｄ Ｆａｃｉａｌ Ｐｏｓｅ Ａｎｄ Ｇａｚｅ Ｐｏｉｎｔ Ｅｓｔｉｍａｔｉｏｎ Ｕｓｉｎｇ Ａ Ｒｏｂｕｓｔ Ｒｅａｌ−Ｔｉｍｅ Ｔｒａｃｋｉｎｇ Ｐａｒａｄｉｇｍ）」（パターン分析および機械インテリジェンスに関するＩＥＥＥコンピュータ協会技術委員会後援による、顔とジェスチャの自動認識に関する国際会議の議事録（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｔｈｉｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｕｔｏｍａｔｉｃ Ｆａｃｅ ａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ））、１９９８年４月１４〜１６日（奈良）、ｐ１４２〜１４７。
【００２９】
これらに代えて、ＳｅｎｓｏＭｏｔｏｒｉｃ Ｉｎｓｔｒｕｍｅｎｔｓ社の”ＥｙｅＬｉｎｋ Ｇａｚｅ Ｔｒａｃｋｉｎｇ”システムなどの市販されているシステムを使用することもできる（前述したように、ＳｅｎｓｏＭｏｔｏｒｉｃ Ｉｎｓｔｒｕｍｅｎｔｓ社のＥｙｅｌｉｎｋシステムとその他のシステムに関する詳細は、同社のＷｅｂサイト（ｗｗｗ．ｓｍｉ．ｄｅ）に掲載されている）。Ｅｙｅｌｉｎｋシステムにはカメラと視線追跡ソフトウェアが用意されているが、このソフトウェアは、検出された眼の動きに応答してディスプレイ画面上のカーソルの動きを制御する。従って、Ｅｙｅｌｉｎｋシステムを使用する場合、例えば、（Ｅｙｅｌｉｎｋ視線追跡システムによって出力される）カーソル位置を中心軸に対する角位置（ａｎｇｕｌａｒ ｐｏｓｉｔｉｏｎ）に変換するソフトウェアサブルーチンを使用することにより、Ｅｙｅｌｉｎｋシステムを適合化させることが出来る。このようなサブルーチンは、ディスプレイと使用者の間の単純な幾何学的および空間的な関係に基づくことができる。
【００３０】
従って、視線追跡構成要素（すなわちカメラＣ１、Ｃ２、制御装置１００、および関連するソフトウェア）は、図１の双眼鏡システム１０によって使用される視線追跡技術に関係なく、基本的に、観察者の中心角度に対する目Ｅ１、Ｅ２の注視角度を計算する。図２は、遠方の点Ｏに焦点を合わせている、または注視している目Ｅ１、Ｅ２を表す。図２に表されているように、目Ｅ１、Ｅ２は、それぞれ、軸Ｐ１、Ｐ２に対する注視角度α１、α２をなす（軸Ｐ１とＰ２は、それぞれ、目Ｅ１、Ｅ２の中心軸を表す）。図２では、図１において観察者の目Ｅ１、Ｅ２と点Ｏの間に挿入されて示されている単眼鏡Ｚ１、Ｚ２が省略されている。しかしながら、単眼鏡が挿入されている場合においても、目Ｅ１、Ｅ２は、光学分野における当業者には容易に認識されるように、仮想距離Ｄにおける仮想の点Ｏを角度α１、α２で注視する。
【００３１】
また、目Ｅ１とＥ２の間の距離Ｄｅも示されている。前述したように、距離Ｄｅは、例えば、使用者の目の間隔を測定する、または前述したように使用者の目の間隔を検出することによって、制御装置１００から既知である。線Ｐ１、Ｐ２、Ｄは、目Ｅ１とＥ２を結ぶ線に垂直な線である。前述したように制御装置１００が視線追跡角度α１とα２を計算すると、制御装置１００によって次式に従って最初のオーダーの距離Ｄが計算される。
【式１】
2004517359.tif 000003
制御装置は、検索表またはサブルーチンを使用して正接を計算できる。
【００３２】
距離Ｄが求められると、制御装置１００は、ズームの焦点が初期距離ｄ０に自動的に合うように、ズームレンズＺ１、Ｚ２の位置を調整するためにステッパーモーター１０５を制御する。初期距離ｄ０に対応するズーム焦点長ｆは、次のように計算できる。
【式２】
2004517359.tif 000004
ここで、ｄ０は、対象物が現れる初期ズーム距離であり、ｆｈは、使用者（人）の光学系の焦点長である。計算されると、制御装置１００は、光学系の焦点長がｆとなるようにズームレンズＺ１、Ｚ２を移動させるための制御信号をステッパーモーター１０５に送る。実際の位置は、システムの光学の関数である。特定の光学系のズームレンズの位置と焦点長との検索表は、制御装置１００の中にプログラムすることができる。
【００３３】
制御装置１００は、観察者の焦点が合っている距離Ｄにおける対象物が最初の初期ズーム距離に対してさらなる増分だけズームインまたはズームアウトされるように、ズームレンズＺ１、Ｚ２をさらに移動させることができる。使用者は、追加の増分をカメラ焦点長に関連付ける較正プロセスにおいて、増分距離を入力することができる。較正された後、ズーム増分は、前述したステッパーモーター１０５の「ズーム刻み」またはステップに対応する。焦点長ｆとズーム刻みｚの間の関係は、例えば、次式によって与えられる。
【式３】
2004517359.tif 000005
ここで、ａ０，、ａ１、ｆ０は、ズーム刻みあたりの較正を行うために使用者に提供することができる較正パラメータである。レンズＺ１、Ｚ２の動きの範囲におけるズーム刻みに対応する焦点長は、例えば、制御装置１００内の検索表に格納することができる。これに代えて、検索表が、ズーム刻みを、光学系における対応する焦点長を与えるレンズＺ１、Ｚ２の位置（「ズーム刻み位置」）に関連付けることもできる。
【００３４】
ズーム刻みは、距離Ｄにおいて注視されている対象物が、初期距離ｄ０にズームされるようにレンズＺ１、Ｚ２が自動的に移動した後に、使用者が追加のズーミングまたは微調整を行うことを可能にする。ズームインまたはズームアウトに対応するズーム刻み入力は、次のズームインまたはズームアウトのいずれかのズーム刻み位置へのレンズＺ１、Ｚ２の移動を、制御装置１００に命令する。制御装置１００は、レンズＺ１、Ｚ２の現在の位置（すなわち、初期距離ｄ０に対応する位置）に隣接する、ズームインまたはズームアウト方向のズーム刻み位置を求めるのに、検索表を使用する。制御装置１００は、レンズＺ１、Ｚ２をそのズーム刻み位置に移動させるためにステッパーモーター１０５を使用する。
【００３５】
レンズＺ１、Ｚ２が初期距離ｄ０に焦点が合うように移動した後、使用者は、ボタンを使用して手動で、または音声入力により、ズーム刻みをシステムに入力することができる。音声入力の場合、制御装置１００と作用し合うマイクロホンが、双眼鏡システム１０に含まれる。制御装置１００は、例えば、「ズームイン」または「ズームアウト」などの言葉を認識する音声認識ソフトウェアを有することができる。例えば、使用者が「ズームイン」と言うたびに、制御装置１００は、レンズＺ１、Ｚ２をズームインの次のズーム刻み位置に移動させる。使用者が「ズームアウト」と言うたびに、制御装置１００は、レンズＺ１、Ｚ２をズームアウトの次のズーム刻み位置に移動させる。さらに、距離Ｄにおいて注視されている対象物を初期ズーム距離ｄ０に自動的にズームするためには、（例えば、使用者によって発声される言葉「ズーム」などの）使用者入力が最初に必要となるようにしてもよい。それ以降の初期ズームの微同調、または他の理由によるズーム刻み増分単位におけるさらなるズームインまたはズームアウトは、前述した「ズームイン」または「ズームアウト」命令を使用して行うことができる。
【００３６】
さらに、このような音声認識機能は、図１の双眼鏡システム１０を使用して代替の方法によっても使用できる。例えば、音声認識ソフトウェアは、発声された数と言葉「フィート」、「メートル」などの単位を認識することができる。従って、制御装置１００は、使用者が発声する必要なズーム距離（例： 「１０フィート」など）を認識する。制御装置１００は、上記と同じ方程式、すなわち、
【式４】
2004517359.tif 000006
を使用する。ここで、Ｄは、前と同様に対象物の注視距離を表し、ｄは、使用者が発声する必要なズーム距離（この例においては１０フィート）を表す。制御装置１００は、上記の方程式を使用して対応する焦点長ｆを求め、次いで、（例えば、光学系の焦点長をレンズ位置に関連させる検索表を使用して）その焦点距離に対応するレンズＺ１、Ｚ２の位置を求める。対応するレンズ位置を求めた後、制御装置１００は、その位置にレンズを移動させるために制御信号をステッパーモーター１０５に供給し、これにより対象物を、例えば、１０フィートにズームする。このような機能は、前述した自動的な初期ズーミングおよび／またはズーム刻みズーミングに加えることができる。
【００３７】
前述した双眼鏡システム１０の包括的な実施例の制御装置１００による処理について、図３を参照して、以下に説明する（構成要素と距離は、図１と２に示されているものと同一である）。ステップ３００において、視線追跡と音声認識システムが初期化される。このステップは、例えば、目の間の距離Ｄｅの検出と決定を含むことができる。ステップ３０４において、制御装置１００は、使用者が対象物を見ているときの目Ｅ１、Ｅ２の画像データをＣ１、Ｃ２から受信し、ステップ３０６において、視線追跡技術を使用して目Ｅ１、Ｅ２の注視角度α１、α２を求める。ステップ３０８において、制御装置１００は、この注視角度を使用して、例えば、上記の式１を用いて対象物Ｏまでの距離Ｄを計算する。
【００３８】
次いで、ステップ３０９において、制御装置は、使用者によって初期モードが選択されているか否かを調べる。「はい」の場合は、ステップ３１０において、制御装置１００は、対象物を初期距離ｄ０にズームするための光学系の焦点長を（例えば、式２の使用により、または検索表により）計算し、その焦点に対応するズームレンズ位置も（例えば、検索表により）求める（これに代えて、ステップ３１０は、１つにまとめられたステップ、例えば、ズーム距離をズームレンズ位置に関連付ける１つの検索表を有することができる。この場合、初期距離ｄ０を使用してレンズ位置を直接求めることができる）。ステップ３１２において、制御装置は、ズーム音声入力（例えば、発声された言葉「ズーム」）が受信されたか否かを調べる。受信されている場合には、ステップ３１４において、制御装置１００は、初期ズーム位置に対して求められた位置にレンズを移動させるために制御命令をステッパーモーター１０５に送る。
【００３９】
対象物を初期距離ｄ０にズームした後、制御装置１００は、ステップ３１６において、ズーム刻み機能の音声命令が入力されたか否かを調べる。（例えば、「ズームイン」または「ズームアウト」が）入力されている場合、制御装置１００は、ステップ３１８において、前述されている方法によって次のズームインまたはズームアウトのズーム刻み位置にレンズを移動させる。ステップ３１８の実行後、あるいはステップ３１６または３１２における判断が「いいえ」の場合には、処理はステップ３０４に戻る。従って、注視されている対象物は、音声命令が受信されたときにズームされる対象物となっている。
【００４０】
ステップ３０９において、初期ズーミングモードが選択されていないと判断されると、制御装置１００は、ステップ３２２において、音声命令がズーム距離ｄを与える入力（例えば、「１０フィート」）であるか否かを調べる。「はい」の場合、ステップ３２４において、制御装置１００は、その入力距離ｄと（ステップ３０４〜３０８で求められた）注視距離Ｄとを使用して、入力距離ｄに対象物をズームするための光学系の焦点長を（例えば、式４の使用、または検索表により）計算し、その焦点に対応するズームレンズ位置も（例えば、検索表により）求める（これに代えて、ステップ３２４は、１つにまとめられたステップ、例えば、ズーム距離をズームレンズ位置に関連付ける１つの検索表を有することができる。この場合、入力距離ｄを使用してレンズ位置を直接求めることができる）。ステップ３２６において、制御装置１００は、入力ズーム距離に対して求められた位置にレンズを移動させるために、制御命令をステッパーモーター１０５に送る。次いで、処理は、ズーム刻み機能の前述されているステップ３１６に続く（ステップ３１６は、ステップ３２２における判断が「いいえ」の場合に制御装置が進むステップでもある）。
【００４１】
本発明は、そのいくつかの望ましい実施例を参照して図示および説明されているが、当業者には、添付されている請求項によって定義される本発明の精神および範囲を逸脱することなく、本発明における形式および細部に様々な変更を行うことができることは、理解されるであろう。例えば、上記の模範的な実施例においては、本発明は、双眼鏡システムにより説明されているが、当業者は、本発明を、ズーム機能を有する他の種類の光学系（例：カメラ）に容易に適合化させることができるであろう。さらに、本発明はズーミングに限定されず、他の種類の光学調整機能、例えば、カメラ、双眼鏡などの光学系の通常の焦点合わせに適用することもできる。
【図面の簡単な説明】
【図１】本発明の実施例による、レンズを自動的にズーミングするためのシステムの図である。
【図１Ａ】人の目のいくつかの要素を描いた図である。
【図１Ｂ】図１Ａに示されている人の目の側面図である。
【図１Ｃ】視線追跡システムによって取得された人の目の画像の図である。
【図１Ｄ】図１Ｃとは異なる位置における人の目の画像の図である。
【図２】本発明の実施例による、図１に示されているシステムの幾何学的な図である。
【図３】本発明の実施例によるシステムの動作を示すフローチャートである。
【符号の説明】
Ｃ１、Ｃ２  カメラ
Ｂ１、Ｂ２  単眼鏡
Ｅ１、Ｅ２  目
Ｚ１、Ｚ２  ズームレンズ
Ｐ１、Ｐ２  軸
α１、α２  注視角度
１０  双眼鏡システム
１００  制御装置
１０５  ステッパーモーター
２００  強膜部分
２０２  暗い虹彩部分
２０４  瞳孔部分
２０６  皮膚
Ｄｅ  目の間の距離
【図１】
2004517359.tif 000007
【図１Ａ】
2004517359.tif 000008
【図１Ｂ】
2004517359.tif 000009
【図１Ｃ】
2004517359.tif 000010
【図１Ｄ】
2004517359.tif 000011
【図２】
2004517359.tif 000012
【図３】
2004517359.tif 000013
【国際公開パンフレット】
2004517359.tif 000014
2004517359.tif 000015
2004517359.tif 000016
2004517359.tif 000017
2004517359.tif 000018
2004517359.tif 000019
2004517359.tif 000020
2004517359.tif 000021
2004517359.tif 000022
2004517359.tif 000023
2004517359.tif 000024
2004517359.tif 000025
2004517359.tif 000026
2004517359.tif 000027
2004517359.tif 000028
2004517359.tif 000029
2004517359.tif 000030
2004517359.tif 000031
2004517359.tif 000032
2004517359.tif 000033