(57)【要約】  対象追跡システムの所要照射電力を低減する方法であって、（ａ）シーン内の対象の現在位置を特定する工程と、（ｂ）後続するあるフレームについて、関心を持つ上記対象周囲のバンドを特定し、ローリングシャッタ検出器が上記バンドをサンプリングする、開始時刻および停止時刻を決定し、上記ローリングシャッタ検出器が上記バンドをサンプリングしている間のみ上記対象を照射する工程と、（ｃ）後続するあるフレームについて、上記対象の上記追跡システムに対する位置を予測し、周囲光レベルを判定し、上記対象を追跡に適切なかたちで撮像するのに必要な最低限の光出力で上記対象を照射する工程と、を含む。
2016532396.tif 000002
【特許請求の範囲】
【請求項１】
対象追跡システムの所要照射電力を低減する方法であって、
（ａ）一つ以上の照明装置を制御することにより、所定の期間、既定の電力レベルで、既定のビーム形状を有する放射ビームにより対象を照射する工程と、
（ｂ）前記所定の期間において、カメラを制御することにより、シーン内における前記照射された対象の画像を撮影する工程と、
（ｃ）前記画像を処理することにより、前記対象の前記カメラからの距離を含む、前記対象の三次元位置を推定する工程と、
（ｄ）前記対象の前記推定された三次元位置に基づいて、
（ｉ）前記所定の期間の開始時刻および／または終了時刻、
（ｉｉ）前記既定の電力レベル、ならびに
（ｉｉｉ）前記放射ビームを前記対象に対応する位置および距離に集束させる際の前記ビーム形状
の一つ以上を選択的に変化させる工程と、
を含む、方法。
【請求項２】
前記対象は人間の顔である、請求項１に記載の方法。
【請求項３】
前記対象は少なくとも一方の目である、請求項１に記載の方法。
【請求項４】
前記ビーム形状は、動的ビーム整形素子を制御することにより選択的に変化させられる、請求項１から３のいずれか一つに記載の方法。
【請求項５】
前記既定の電力レベルを選択的に変化させる工程は、一つ以上の照明装置を活性化または不活性化させることを含む、請求項１から４のいずれか一つに記載の方法。
【請求項６】
前記既定の電力レベルは、前記対象を検出するのに必要な最低限の電力レベルである、請求項１から５のいずれか一つに記載の方法。
【請求項７】
前記最低限の電力レベルは、前記対象の照明モデルに基づいて決定される、請求項６に記載の方法。
【請求項８】
前記照明モデルは、前記対象をさまざまな照明条件下で観察することを通して、統計分析により構築される、請求項６に記載の方法。
【請求項９】
前記既定の電力レベルは、周囲光の検出に基づいてさらに選択的に変化させられる、請求項１から８のいずれか一つに記載の方法。
【請求項１０】
前記カメラは、複数の光センサから構成される光センサアレイと、順次選択的に動作する複数のシャッタから構成される、対応するシャッタアレイと、を備える、請求項１から９のいずれか一つに記載の方法。
【請求項１１】
前記カメラは、複数の光センサから構成される光センサアレイと、前記光センサのそれぞれを同時に露光するよう動作する、単一のシャッタと、を備える、請求項１から９のいずれか一つに記載の方法。
【請求項１２】
ローリングシャッタ検出器対象追跡システムの所要照射電力を低減する方法であって、
（ａ）第１のフレームについて、シーン内の対象の現在位置を特定する工程と、
（ｂ）後続するあるフレームについて、
関心を持つ前記対象の周囲のバンドを特定し、
ローリングシャッタ検出器が前記バンドをサンプリングする、開始時刻および停止時刻を決定し、
前記ローリングシャッタ検出器が前記バンドをサンプリングしている間のみ前記対象を照射する工程と、
を含む、方法。
【請求項１３】
前記工程（ｂ）は繰返し行われる、請求項１２に記載の方法。
【請求項１４】
前記バンドは、前記シーン内での前記対象の潜在的運動に対応する、上部バッファと下部バッファとを有する、請求項１２に記載の方法。
【請求項１５】
前記対象の特定された位置に基づいて、前記追跡システムに対して、所要照射電力を能動的に管理することをさらに含む、請求項１２から１４のいずれか一つに記載の方法。
【請求項１６】
環境照明条件に基づいて、所要照射電力を能動的に管理することをさらに含む、請求項１２から１５のいずれか一つに記載の方法。
【請求項１７】
前記能動的管理は、
前記照射電力を変調すること、
活性である発光中の照明光源の個数を制御すること、および
前記照明から発する光を前記対象の方向に動的に集束させること、
の少なくとも一つを含む、請求項１５または１６に記載の方法。
【請求項１８】
走査検出器対象追跡システムの所要照射電力を低減する方法であって、
（ａ）シーン内における関心対象の現在位置を特定する工程と、
（ｂ）未来のフレームについて、
前記関心対象の周囲の領域を特定し、
照射エネルギーの投射を、前記関心対象の周囲の領域に局在化する、工程と、
を含む、方法。
【請求項１９】
前記局在化は、前記領域に対する空間的な局在化であるか、または前記走査検出器が前記領域を走査している間の時間的な局在化である、請求項１６に記載の方法。
【請求項２０】
眼追跡システムにおける照明装置の出力電力を制御する方法であって、
（ａ）前記照明装置を制御することにより、ある出力電力レベルで被写体の少なくともある領域を所定の期間、照射する工程であって、前記領域は、前記被写体の片目または両目を含む、工程と、
（ｂ）前記所定の期間、カメラを制御することにより、前記照射された被写体の画像を撮影する工程と、
（ｃ）前記画像を処理することにより、前記画像における前記片目または両目の三次元位置を推定する工程であって、前記三次元位置は前記片目または両目の前記カメラからの距離を含む、工程と、
（ｄ）前記推定された距離に基づき、前記被写体への将来の照射に備えて、前記照明装置の出力電力レベルを選択的に増加または減少させる工程と、
を含む、方法。
【請求項２１】
前記照明装置は複数のＬＥＤを備えており、前記出力電力レベルを増加または減少させる工程は、前記複数のＬＥＤのうち一つ以上を活性化または不活性化することを含む、請求項２０に記載の方法。
【請求項２２】
眼追跡システムにおける照射ビーム形状を動的に制御する方法であって、
（ａ）照明装置を制御することにより、被写体の少なくともある領域を、既定のビーム形状を有する放射ビームで所定の期間照射する工程であって、前記領域は、前記被写体の片目または両目を含む、工程と、
（ｂ）前記所定の期間、カメラを制御することにより、前記照射された領域の画像を撮影する工程と、
（ｃ）前記画像を処理することにより、前記片目または両目の三次元位置を推定する工程であって、前記三次元位置は前記片目または両目の前記カメラからの距離を含む、工程と、
（ｄ）前記片目または両目の前記推定された三次元位置に応じて、動的ビーム整形素子を制御することにより、前記照射ビームの形状を選択的に調整し、それにより前記被写体の片目または両目に対応する位置および距離に前記照射ビームを集束させる工程と、
を含む、方法。
【請求項２３】
対象追跡システムの所要照射電力を低減する方法であって、
（ａ）一つ以上の照明装置を制御することにより、所定の期間、対象を照射する工程と、
（ｂ）前記所定の期間、カメラを制御することにより、前記照射された対象の画像を撮影する工程と、
（ｃ）前記画像を処理することにより、前記対象の三次元位置を推定する工程であって、前記三次元位置は前記対象の前記カメラからの距離を含む、工程と、
（ｄ）前記推定された距離に基づき、後続する複数の画像への照射に備えて前記所定の期間を調整する工程と、
を含む、方法。
【請求項２４】
請求項１から２３のいずれか一つに記載の方法を実行するように構成されたコンピュータプログラム。
【請求項２５】
請求項１から２３のいずれか一つに記載の方法を実行するように構成されたコンピュータシステム。
【請求項２６】
請求項１から２３のいずれか一つに記載の方法を実行するように構成された装置。
【請求項２７】
対象追跡の所要照射電力を低減するシステムであって、
（ａ）所定の期間、既定の電力レベルで、既定のビーム形状を有する放射ビームにより対象を照射する、一つ以上の照明装置と、
（ｂ）前記所定の期間において、前記照射された対象の画像を撮影するカメラと、
（ｃ）プロセッサであって、
（ｉ）前記画像を処理することにより、前記対象の前記カメラからの距離を含む、前記対象の三次元位置を推定し、および
（ｉｉ）前記対象の前記推定された位置および距離に基づいて、
（１）前記所定の期間の開始時刻および／または終了時刻、
（２）前記既定の電力レベル、ならびに
（３）前記放射ビームを前記対象に対応する位置および距離に集束させる際の前記ビーム形状
の一つ以上を選択的に変化させる、プロセッサと、
を備える、システム。
【請求項２８】
眼追跡に用いる照明装置の出力電力を制御するシステムであって、
（ａ）所定の期間、ある出力電力レベルで、被写体の少なくともある領域を照射するように構成された照明装置であって、前記領域は前記被写体の片目または両目を含む、照明装置と、
（ｂ）前記所定の期間において、前記照射された領域の画像を撮影するカメラと、
（ｃ）プロセッサであって、
（ｉ）前記画像を処理することにより、前記片目または両目の前記カメラからの距離を含む、前記画像における前記片目または両目の三次元位置を推定し、および
（ｉｉ）前記推定された距離に基づき、前記被写体への将来の照射に備えて、前記照明装置の出力電力レベルを選択的に増加または減少させる
ように構成された、プロセッサと、
を備える，システム。
【請求項２９】
眼追跡における照射ビーム形状を動的に制御するシステムであって、
（ａ）被写体の少なくともある領域を、既定のビーム形状を有する放射ビームで所定の期間照射するように構成された照明装置であって、前記領域は、前記被写体の片目または両目を含む、照明装置と、
（ｂ）前記所定の期間において、前記照射された領域の画像を撮影するカメラと、
（ｃ）プロセッサであって、
（ｉ）前記画像を処理することにより、前記被写体の片目または両目の前記カメラからの距離を含む、前記片目または両目の三次元位置を推定し、および
（ｉｉ）前記片目または両目の前記推定された三次元位置に応じて、動的ビーム整形素子を制御することにより、前記照射ビームの形状を選択的に調整し、それにより、前記被写体の片目または両目に対応する位置および距離に前記照射ビームを集束させる
ように構成されたプロセッサと、
を備える、システム。
【請求項３０】
対象追跡の所要照射電力を低減するシステムであって、
（ａ）所定の期間、対象を照射するように構成された一つ以上の照明装置と、
（ｂ）前記所定の期間において、前記照射された対象の画像を撮影するカメラと、
（ｃ）プロセッサであって、
（ｉ）前記画像を処理することにより、前記対象の前記カメラからの距離を含む、前記対象の三次元位置を推定し、および
（ｄ）前記推定された距離に基づき、後続する複数の画像への照射に備えて前記所定の期間を調整する
ように構成されたプロセッサと、
を備える、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージセンサと一つ以上の光源とを用いて、低い電力で対象を監視する技術に関する。本発明の具体的な実施の形態は、ｉＰｈｏｎｅ（登録商標）のような携帯機器に注がれるユーザの視線方向の位置や、車両運転時において運転者が注視している位置を追跡することを目的として開発されたものである。
【背景技術】
【０００２】
本願明細書全体を通して、たとえ背景技術を論じていても、そのような技術が既に広く知られているとか、当該技術分野における共通一般知識の一部であるなどと決して自認しているわけではないことには留意されたい。
【０００３】
眼追跡技術を携帯機器に搭載する際の重大な問題点としては、携帯電話のような片手で持てる携帯機器の通常の使用条件（眼からの距離がさまざまに変わること、屋外での使用、サングラス着用時の使用等）下において、眼追跡アルゴリズムにより検出可能なほど明るい反射を角膜表面から生じさせるのに十分なほど眼球を照射するためには、相当な量の電力を消費する必要がある、ということが挙げられる。このような場合の電力消費は、数ワットのオーダーに及ぶことすらあり、それが眼追跡を極端に非効率的であり、珍奇な技術（feature）にしてしまっている。
【０００４】
眼追跡システムを正しく動作可能とするためには照明装置に電力を供給する必要があるが、これには重大な問題点がある。例えば、発光ダイオード（light-emitting diodes (ＬＥＤＳ)）の場合、電子を赤外光子に変換する際の効率はわずか２０％程度であり、与えられたエネルギーの残りは熱として散逸することになる。バッテリを早々と放電させてしまう以外の点でも、ＬＥＤには携帯機器を加熱してしまうという二次的な影響もある。これはさまざまな理由で望ましくない。例えば、高温の車室内で使用される場合、ＬＥＤによってさらなる加熱がもたらされると、高価なヒートシンクを追加しない限り、装置が故障したり、効率が低下したりする事態を招きかねない。
【０００５】
また、眼追跡のためには、照明光源からの制御された赤外光の、たとえば太陽や、電灯またはディスプレイといったその他の光源のような制御されていない環境光に対する比を最大化することが望ましい。この比が高ければ高いほど、眼追跡アルゴリズムが角膜上の反射位置の正しい特定に失敗する可能性が低くなるからである。特に太陽光は眼球に非常に強い反射を生じさせるので、屋外で眼を追跡する場合、このような環境光の反射と拮抗するためには、非常に輝度の高い光で眼球を照射するのが望ましい。
【０００６】
「ローリングシャッタ」センサと呼ばれる（「順次走査センサ」としても知られている）、ある形式のセンサは、画像の各行の画素を順次露光することにより動作する。このためには、センサ上の各行の画素が光を積算している間、照明装置に通電する（活性化する）必要がある。その結果、画像全体を正しく露光するためには、それらの照明装置は１フレーム期間の全体を通して活性である必要がある。例えば、センサが３３ｍｓ（３０Ｈｚ）ごとに新しい画像を生成している場合、たとえ各画素が光子を十分に積算するためにはわずか５ｍｓの時間しか必要としていないとしても、それらの照明装置は３３ｍｓの間ずっと活性である必要があることになる。
【０００７】
「グローバルシャッタ」センサと呼ばれる別の形式のセンサでは、画素アレイ全体が同時に撮像される。これにより、照射光として持続時間が短く光強度の高いフラッシュ光を断続的に与えればよいので、このセンサは節電の観点からは望ましい形式である。前段落で挙げた例の場合、照明装置は、５ｍｓの画素積算期間の間のみ活性であればよい。したがって、グローバルシャッタセンサは、眼追跡に関しては、顕著な節電効果をもたらす。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
とはいうものの、携帯機器の設計に関して言うと、グローバルシャッタセンサが順次走査センサよりも劣っていると考えられている面（複雑性、サイズ、コスト、感度およびノイズ特性等）がそれ以外に多数ある。
【０００９】
Rehnstromを譲受人とし、「眼追跡照明」（“Eye Tracking Illumination”）と題する米国特許出願公開第２０１０／００６６９７５号明細書は、眼追跡システムにおける電力使用の抑制法に関して、いくつか予備的な提言を行っており、眼球を照射する際にビーム方向を制御することも提案している。しかし、Rehnstromは、異なる複数のカメラセンサの動作を考慮しておらず、また被写体の両目がカメラ／照明装置からどれだけの距離離れているかも具体的には考慮に入れていない。したがって、ごく限られた電力節減が達成されるにすぎない。
【００１０】
本発明の目的は、好ましい実施の形態においては、携帯使用を前提とする動作環境に適した、改善された形の低電力眼追跡技術を提供することにある。
【課題を解決するための手段】
【００１１】
本発明の第１の局面によれば、対象追跡システムの所要照射電力を低減する方法が提供される。この方法は、
（ａ）一つ以上の照明装置を制御することにより、所定の期間、既定の電力レベルで、既定のビーム形状を有する放射ビームにより対象を照射する工程と、
（ｂ）上記所定の期間において、カメラを制御することにより、上記照射された対象の画像を撮影する工程と、
（ｃ）上記画像を処理することにより、上記対象の上記カメラからの距離を含む、上記対象の三次元位置を推定する工程と、
（ｄ）上記対象の上記推定された三次元位置に基づいて、
（ｉ）上記所定の期間の開始時刻および／または終了時刻、
（ｉｉ）上記既定の電力レベル、ならびに
（ｉｉｉ）上記ビームを上記対象に対応する位置および距離に集束させる際の上記ビーム形状
の一つ以上を選択的に変化させる工程と、
を含む。
【００１２】
ある実施の形態では、上記対象は人間の顔である。別の実施の形態では、上記対象は少なくとも一方の目である。
【００１３】
上記ビーム形状は、好ましくは、動的ビーム整形素子を制御することにより選択的に変化させられる。上記動的ビーム整形素子は、好ましくは、一つ以上の電子的に制御可能な光学素子を含む。より好ましくは、上記動的ビーム整形素子は、電子光学レンズ、微小電気機械システム（ＭＥＭＳ）ミラーアレイ、液晶位相変調素子、干渉に基づく光学部品、フェーズドアレイ、動的回折素子、およびプリズムのうち一つ以上を含む。
【００１４】
上記既定の電力レベルを選択的に変化させる工程は、好ましくは、一つ以上の照明装置を活性化または不活性化させることを含む。上記複数の照明装置は、好ましくは、複数の赤外ＬＥＤを含む。
【００１５】
上記既定の電力レベルは、好ましくは、上記対象を検出するのに必要な最低限の電力レベルである。上記最低限の電力レベルは、好ましくは、上記対象の照明モデルに基づいて決定される。上記照明モデルは、好ましくは、上記対象をさまざまな照明条件下で観察することを通して、統計分析により構築される。
【００１６】
上記既定の電力レベルは、好ましくは、周囲光の検出に基づいてさらに選択的に変化させられる。
【００１７】
ある実施の形態において、上記カメラは、複数の光センサから構成される二次元の光センサアレイと、順次選択的に動作する複数のシャッタから構成される、対応するシャッタアレイと、を備える。別の実施の形態において、上記カメラは、複数の光センサから構成される二次元の光センサアレイと、上記光センサのそれぞれを同時に露光するよう動作する、単一のシャッタと、を備える。
【００１８】
本発明の第２の局面によれば、イメージセンサ対象追跡システムの所要照射電力を低減する方法が提供される。この方法は、
（ａ）シーン内における関心対象の現在位置を特定する工程と、
（ｂ）未来のフレームについて、
上記関心対象周囲の領域を特定し、
照射エネルギーの投射を、上記領域に局在化する、工程と、
を含む。
【００１９】
上記局在化は、好ましくは、上記領域に対する空間的な局在化であるか、または上記ローリングシャッタ検出器が上記領域を走査している間の時間的な局在化である。
【００２０】
本発明の第３の局面によれば、ローリングシャッタ検出器対象追跡システムの所要照射電力を低減する方法が提供される。この方法は、
（ａ）第１のフレームについて、シーン内の対象の現在位置を特定する工程と、
（ｂ）後続するあるフレームについて、
関心を持つ上記対象周囲のバンドを特定し、
上記ローリングシャッタ検出器が上記バンドをサンプリングする、開始時刻および停止時刻を決定し、
上記ローリングシャッタ検出器が上記バンドをサンプリングしている間のみ上記対象を照射する工程と、
を含む。
【００２１】
上記工程（ｂ）は繰返し行われてもよい。上記対象は人間の顔でありうる。上記対象は少なくとも一方の目でありうる。上記バンドは、好ましくは、上記シーン内での上記対象の潜在的運動に対応する、上部バッファと下部バッファとを有しうる。
【００２２】
上記第３の局面による方法は、好ましくは、上記対象の上記検出された位置に基づいて、上記追跡システムに対して、所要照射電力を能動的に管理することをさらに含む。上記方法は、好ましくは、環境照明条件に基づいて、所要照射電力を能動的に管理することをさらに含む。上記能動的管理は、好ましくは、
上記照射電力を変調すること、
活性である発光中の照明光源の個数を制御すること、および
上記照明から発する光を上記対象の方向に動的に集束させること、
の少なくとも一つを含む。
【００２３】
上記第３の局面による方法の有効性は、上記検出する対象にさまざまな制約を与えることによりさらに向上させることができる。たとえば、上記対象を照射する際の上記必要最低限の電力レベルは、下に挙げる各種制約に基づき、計算し、決定することができる。それらの制約としては、具体的には、（ｉ）上記光源および上記センサアレイに対して測定された、上記対象の位置および向きに基づいて、上記追跡対象の適切な画像を撮影可能なように照明光の強度を決定する、制御モデルを実験により導き出すこと、（ｉｉ）上記照明光源の波長における上記対象の反射特性を必要に応じて事前に調べておくこと、（ｉｉｉ）次のフレームにおける、上記センサに対する上記対象の三次元空間内の位置を必要に応じて予測すること、および（ｉｖ）上記対象上での潜在的干渉反射を補償するために、周囲光の照射レベルを必要に応じて測定すること、が挙げられる。
【００２４】
本発明の第４の局面によれば、眼追跡システムにおける照明装置の出力電力を制御する方法が提供される。この方法は、
（ａ）上記照明装置を制御することにより、ある出力電力レベルで被写体の少なくともある領域を所定の期間、照射する工程であって、上記領域は、上記被写体の片目または両目を含む、工程と、
（ｂ）上記所定の期間、カメラを制御することにより、上記照射された被写体の画像を撮影する工程と、
（ｃ）上記画像を処理することにより、上記画像における上記片目または両目の三次元位置を推定する工程であって、上記三次元位置は上記片目または両目の上記カメラからの距離を含む、工程と、
（ｄ）上記推定された距離に基づき、上記被写体への将来の照射に備えて、上記照明装置の出力電力レベルを選択的に増加または減少させる工程と、
を含む。
【００２５】
好ましくは、上記照明装置は複数のＬＥＤを備えており、上記既定の出力電力レベルを増加または減少させる工程は、上記複数のＬＥＤのうち一つ以上を活性化または不活性化することを含む。
【００２６】
本発明の第５の局面によれば、眼追跡システムにおける照射ビーム形状を動的に制御する方法が提供される。この方法は、
（ａ）照明装置を制御することにより、被写体の少なくともある領域を、既定のビーム形状を有する放射ビームで所定の期間照射する工程であって、上記領域は、上記被写体の片目または両目を含む、工程と、
（ｂ）上記所定の期間、カメラを制御することにより、上記照射された領域の画像を撮影する工程と、
（ｃ）上記画像を処理することにより、上記片目または両目の三次元位置を推定する工程であって、上記三次元位置は上記片目または両目の上記カメラからの距離を含む、工程と、
（ｄ）上記片目または両目の上記推定された三次元位置に応じて、動的ビーム整形素子を制御することにより、上記照射ビームの形状を選択的に調整し、それにより上記被写体の片目または両目に対応する位置および距離に上記ビームを集束させる工程と、
を含む。
【００２７】
本発明の第６の局面によれば、対象追跡システムの所要照射電力を低減する方法が提供される。この方法は、
（ａ）一つ以上の照明装置を制御することにより、所定の期間、対象を照射する工程と、
（ｂ）上記所定の期間、カメラを制御することにより、上記照射された対象の画像を撮影する工程と、
（ｃ）上記画像を処理することにより、上記対象の三次元位置を推定する工程であって、上記三次元位置は上記対象の上記カメラからの距離を含む、工程と、
（ｄ）上記推定された距離に基づき、後続する複数の画像への照射に備えて上記所定の期間を調整する工程と、
を含む。
【００２８】
本発明の第７の局面によれば、上記第１から第６の局面のいずれか一つによる方法を実行するように構成されたコンピュータプログラムが提供される。
【００２９】
本発明の第８の局面によれば、上記第１から第６の局面のいずれか一つによる方法を実行するように構成されたコンピュータシステムが提供される。
【００３０】
本発明の第９の局面によれば、上記第１から第６の局面のいずれか一つによる方法を実行するように構成された装置が提供される。
【００３１】
本発明の第１０の局面によれば、対象追跡の所要照射電力を低減するシステムが提供される。このシステムは、
（ａ）所定の期間、既定の電力レベルで、既定のビーム形状を有する放射ビームにより対象を照射する、一つ以上の照明装置と、
（ｂ）上記所定の期間において、上記照射された対象の画像を撮影するカメラと、
（ｃ）プロセッサであって、
（ｉ）上記画像を処理することにより、上記対象の位置および上記対象の上記カメラからの距離を推定し、および
（ｉｉ）上記対象の上記推定された位置および距離に基づいて、
（１）上記所定の期間の開始時刻および／または終了時刻、
（２）上記既定の電力レベル、ならびに
（３）上記ビームを上記対象に対応する位置および距離に集束させる際の上記ビーム形状
の一つ以上を選択的に変化させる、プロセッサと、
を備える。
【００３２】
本発明の第１１の局面によれば、眼追跡に用いる照明装置の出力電力を制御するシステムが提供される。このシステムは、
（ａ）所定の期間、ある出力電力レベルで、被写体の少なくともある領域を照射するように構成された照明装置であって、上記領域は上記被写体の片目または両目を含む、照明装置と、
（ｂ）上記所定の期間において、上記照射された領域の画像を撮影するカメラと、
（ｃ）プロセッサであって、
（ｉ）上記画像を処理することにより、上記片目または両目の上記カメラからの距離を含む、上記画像における上記片目または両目の三次元位置を推定し、および
（ｉｉ）上記推定された距離に基づき、上記被写体への将来の照射に備えて、上記照明装置の出力電力レベルを選択的に増加または減少させる
ように構成された、プロセッサと、
を備える。
【００３３】
本発明の第１２の局面によれば、眼追跡における照射ビーム形状を動的に制御するシステムが提供される。このシステムは、
（ａ）被写体の少なくともある領域を、既定のビーム形状を有する放射ビームで所定の期間照射するように構成された照明装置であって、上記領域は、上記被写体の片目または両目を含む、照明装置と、
（ｂ）上記所定の期間において、上記照射された領域の画像を撮影するカメラと、
（ｃ）プロセッサであって、
（ｉ）上記画像を処理することにより、上記被写体の片目または両目の上記カメラからの距離を含む、上記片目または両目の三次元位置を推定し、および
（ｉｉ）上記片目または両目の上記推定された三次元位置に応じて、動的ビーム整形素子を制御することにより、上記照射ビームの形状を選択的に調整し、それにより、上記被写体の片目または両目に対応する位置および距離に上記ビームを集束させる
ように構成されたプロセッサと、
を備える。
【００３４】
本発明の第１３の局面によれば、対象追跡の所要照射電力を低減するシステムが提供される。このシステムは、
（ａ）所定の期間、対象を照射するように構成された一つ以上の照明装置と、
（ｂ）上記所定の期間において、上記照射された対象の画像を撮影するカメラと、
（ｃ）プロセッサであって、
（ｉ）上記画像を処理することにより、上記対象の上記カメラからの距離を含む、上記対象の三次元位置を推定し、および
（ｄ）上記推定された距離に基づき、後続する複数の画像への照射に備えて上記所定の期間を調整する
ように構成されたプロセッサと、
を備える。
【図面の簡単な説明】
【００３５】
【図１】図１は、本発明の実施の形態による眼追跡システムを模式的に示す斜視図である。
【図２】図２は、携帯用眼追跡システムの一動作環境を示す図である。
【図３】図３は、ローリングシャッタ検出器の動作を模式的に示す図である。
【図４】図４は、ローリングシャッタ検出器の動作を模式的に示す図である。
【図５】図５は、カメラ視野円錐と、被写体の頭部に対するＬＥＤ照射ビーム幅とを模式的に示す平面図であり、ビーム幅がカメラ視野円錐と一致している状態を示す図である。
【図６】図６は、カメラ視野円錐と、被写体の頭部に対するＬＥＤ照射ビーム幅とを模式的に示す平面図であり、被写体がカメラに近接した位置にある場合に、ビーム幅が眼球の軌跡と整合するように最適化される状況を示す図である。
【図７】図７は、カメラ視野円錐と、被写体の頭部に対するＬＥＤ照射ビーム幅とを模式的に示す平面図であり、被写体がカメラからより遠ざかった位置にある場合に、ビーム幅が眼球の軌跡と整合するように最適化される状況を示す図である。
【図８】図８は、カメラ視野円錐と、被写体の頭部に対するＬＥＤ照射ビーム幅とを模式的に示す平面図であり、被写体の両目がＬＥＤの中心軸を外れた位置にある状況を示す図である。
【図９】図９は、カメラ視野円錐と、被写体の頭部に対するＬＥＤ照射ビーム幅とを模式的に示す平面図であり、片目のみがカメラ視野円錐内に位置している状況を示す図である。
【発明を実施するための形態】
【００３６】
以下、添付の図面を参照して、本発明の実施の形態を説明する。なお以下に記す実施の形態は一例を示すものにすぎない。
【００３７】
好ましい実施の形態によれば、手で持つ形態の装置を用いて人の片目または両目の眼を追跡する、低電力自動追跡システムであって、イメージセンサと、一つ以上のＩＲ（赤外線）ＬＥＤ（light emitting diode）から構成される赤外線照射システムとを備える、自動追跡システムが提供される。しかしながら、本発明が、もっと広く、一枚の画像内、または複数の画像からなるシーケンス内の対象を検出し追跡する技術に関することは理解されたい。この追跡は、リアルタイムまたは準リアルタイムで実行されるものとする。
【００３８】
好ましい実施の形態は、（ｉ）ＩＲ  ＬＥＤが活性化される時間量を最小化し、および（ｉｉ）それらのＩＲ  ＬＥＤが活性である間のその電力レベルを最小化することを目的として、ＩＲ照射を動的に制御する節電技術に関する。
【００３９】
本発明は、眼検出に用いられる各種走査方式の大半に適用可能である。最初に説明するいくつかの実施の形態は、ローリングシャッタシステムに関する。グローバルシャッタシステムに関する実施の形態は、その後で説明する。
【００４０】
本発明の例示的な実施の形態は、以下に示すように実現可能である。まず図１を参照する。図１には、二次元ディスプレイ４を有する携帯機器３を対象に動作する眼追跡システム１が図示されている。そのような装置としては、たとえばスマートフォン、ノートコンピュータ、タブレット装置が挙げられる。
【００４１】
装置３は、照明装置として、被写体７に対して赤外光を投射するように構成された赤外ＬＥＤシステム５を備えている。ＬＥＤシステム５は一つ以上のＬＥＤ素子を備えており、それらのＬＥＤ素子はそれぞれ、制御システム（後述）により独立して電気的に制御可能である。ＬＥＤシステム５が複数のＬＥＤ素子を備える場合、それらの素子はアレイ状、またはその他の空間配列パターンに配置され得る。またＬＥＤシステム５は、ＬＥＤシステム５から出射されたビームの形状および方向を制御する、電気機械レンズのような一つ以上の関連付けられた結合光学素子を備えていてもよい。別の実施の形態では、照明装置は、レーザ光源のような他の種類の複数の光源を備えていてもよい。
【００４２】
ＬＥＤシステム５に隣接して、カメラ９が画像検出器として配置される。別の実施の形態では、カメラ９とＬＥＤシステム５とは離間して配置されるが、それらの位置関係は既知のものとする。カメラ９は、感光センサアレイを備えており、ＬＥＤシステム５による照射と同期する所定のタイミングで、被写体の片目または両目を含む、照射された被写体７の画像を撮影するように構成されている。カメラ９およびＬＥＤシステム５は、被写体の両目をより精度よく撮影するために、好ましくは共にディスプレイ４に近接して配置される。
【００４３】
システム１を図２に模式的に示す。この環境では、携帯用眼追跡ソフトウェアアプリが、シーン内の複数の被写体の眼を追跡する装置３に与えられる。慣性または向きセンサ１１は、この装置の向きを一定に維持するはたらきをする。また、システム全体の動作を制御することを目的として、有意な計算資源１３が設けられる。資源１３は、プロセッサと、装置３の関連するメモリ格納空間とを活用することを含む。装置３は、ネットワーク化資源１７を介して、インターネット、クラウド資源、またはその他のサーバ１５のような外部資源に接続可能である。これらの素子のそれぞれには、局部電池１９により電力が与えられる。ソフトウェア制御カメラ９は、シーンを順次走査またはパルス式走査により撮像することを目的として、センサアレイをローリングシャッタ方式またはグローバルシャッタ方式で制御するように構成される。
【００４４】
この例では携帯機器に関して説明しているが、本発明は、たとえば車両操縦時の運転者の少なくとも一方の眼を追跡する車両眼追跡システムのような、節電が重要となるその他のシステムにも適用可能である。そのような実施の形態では、両目を精度よく撮影するために、カメラおよび照明装置を、ユーザの注視がほぼ向けられているシーンに近接して配置することが好ましい。たとえば、車両内では、カメラおよび照明装置は、好ましくは、たとえば車両のダッシュボード上のような、車両のフロントガラスに隣接した位置に配置される。このような実施の形態では、電池１９は、車両のバッテリを表す。
【００４５】
装置３は、計算資源１３のプログラミング制御下で他の動作責務とともに、ＬＥＤシステム５が赤外光を出射するタイミング、出射に要する電力、および出射する方向をより最適に近いかたちで制御するアルゴリズム（概略は後述）の各工程を実行する。
【００４６】
ＬＥＤタイミング制御
次に図３を参照する。ローリングシャッタシステムでは、その両目が所望の位置にある被写体２３を含む、画像シーン２１が順次走査される。この場合、ローリングシャッタシステム２５は現在のバンド２７を走査する。所定の速度で下向きに走査領域を移動させ、そのバンド２７内の画像を取得する。
【００４７】
カメラセンサにおいて眼の画像が得られると予測される特定のバンドの画素が光を集めている（画像を取得している）ときにのみ、照明となるＬＥＤに対して必要最低限の出力電力を与えることにより、総電力出力を低減可能である。
【００４８】
この目的を達成するために、被写体２３の現在の眼の位置が、カメラにより撮影された複数の画像から構成されるシーケンス内で追跡される。いったん片目または両目が追跡中となれば、次の画像フレーム内において、または複数のフレームから構成されるシーケンス内の特定のフレーム内において、眼の領域がどの位置に来るかを予想することができる。このような予測は、眼の動きモデルに基づく。基本的なモデルでは、眼の位置を予測するにあたって、眼測定の履歴から得られた画像座標に対して、二次元の速度・加速度モデルを用いることがある。より高度な予測方法によれば、次の画像における眼の位置をより精度よく予測することを目的として、携帯機器上の慣性センサから得られた測定値を取り込むこともある。その他の対象の動きモデルも同様にして得ることができる。
【００４９】
正確に露光することが重要と考えられるのは、眼を含む画像領域のみであり、その他の画像領域は実質的に無視してもよい。したがって、上記ＩＲ  ＬＥＤには、センサ上で眼の領域に入る画素が露光されている間のみ、電力を供給するようにすればよい。
【００５０】
したがって、ＬＥＤを照射するアルゴリズムは次のような手順で進行し得る。
・  既知の眼検出方法を用いて現在の眼の位置を獲得し、
・  現在の眼の位置が有効である場合には、走査されたそれぞれのフレームについて、
（ａ）予想される眼の位置を決定し、
（ｂ）携帯機器についての慣性情報を用いて、照射する眼の領域、すなわち上記眼の位置周囲のバンドを決定し、
（ｃ）そのバンドを照射する開始時刻および終了時刻を決定した後、
（ｄ）ＩＲ  ＬＥＤをその開始時刻から終了時刻まで照射する。
【００５１】
上記「眼の領域」は、実際には、最大で二つ（その場合はそれぞれの眼に一つずつ）の矩形領域から構成される。それらの領域は、眼の両端から下まぶたの下方および上まぶたの上方に及ぶ。片目が見えていない場合には、「眼の領域」とは他方の見えているほうの眼の領域のみを指す。一方、両目が見えている場合には、「眼の領域」は、好ましい実施の形態次第で、二つの別々の領域を指すこともあるし、両目を取り囲む単一の境界領域を指すこともある。
【００５２】
現在のフレームで眼の追跡をした後、次のフレームについて眼の領域またはバンドの位置を予測する際には、予測の不確実性に対処して、次の画像では確実に眼が十分に照射されているようにするために、その領域をあるパーセントだけ拡大してもよい。また、眼の領域は、直前の眼の動きや位置に基づいて移動させてもよい。眼の領域のこのような拡大または移動は、眼に対して適用される動きモデルから決定される、予測された眼の動きに基づいて行ってもよい。
【００５３】
眼の現在の位置を見失った場合には、システムは、眼の位置を撮像する標準的な技術（たとえば画像の全体を走査しなおす等）に立ち戻ることも可能である。または、システムは、眼の位置が特定できるようになるまで、眼の領域を順次拡大するように構成されてもよい。
【００５４】
眼の領域は、典型的には、画像全体のわずか数パーセントを占めるにすぎないこともある。したがって、ローリングシャッタセンサの場合は、ＬＥＤが活性である期間の制御による節電という局面は、そのパーセンテージに比例することになる。より詳しくいうと、ローリングシャッタセンサの場合、画像の露光は行単位で行われるので、節電の可能性を左右するのは、眼の画像領域の垂直方向の部分と、垂直方向におけるセンサの総解像度との関係ということになる。したがって、眼の画像領域が１００画素からなり、センサの合計の高さが１０００画素である場合、約９０％の節電が可能である。
【００５５】
節電の度合は、人の眼がカメラに対してどの位置にあり、またどの程度近接しているかによって変わってくる。たとえば眼が画像の全体を占めるほど近くに位置している場合には、本発明のこの局面による節電はなされないが、手で持つ形態の携帯機器の場合は、典型的には眼は画像の垂直方向サイズのわずか数パーセントを占めるにすぎないので、手で持つ形態の携帯機器の場合以外では必要になる照射電力の９０％のオーダーで節電が可能になる。
【００５６】
「グローバルシャッタ」イメージセンサを用いるシステムの場合、センサアレイにおけるすべての素子が光子を同時に積算するので、センサアレイの各素子が積算を行っている時だけは常に光が生成されるように、光源をセンサアレイの電子シャッタと同期させることにより、電力の浪費を避けることができる。
【００５７】
また、グローバルシャッタセンサについての効果的な解決策としては、非常に輝度の高いＬＥＤ光源を提供することにより、各センサ素子において光子を迅速に蓄積させ、それにより、電子シャッタを同一の全光出力に対して、より短い期間で動作するように構成しうるようにすることも挙げられる。より輝度の高い少なくとも一つの光源を用いることにより、その（あるいはそれらの）光源から発する光子の、その他の各種光源（太陽を含む）から発する迷光の光子に対する比が高まる。これにより、システムの対象追跡画像処理要素に対して迷光光源が及ぼす可能性のあるノイズの影響を低減する効果が得られる。対象追跡がこのように改良されると、空間内の対象をより高い信頼性・精度で測定することができるようになり、ひいては総電力のさらなる削減にもつながることになる。
【００５８】
また、グローバルシャッタイメージセンサを用いる実施の形態において、暗さ、コントラスト、両目までの推定距離、および／またはその他のパラメータにより画質を判定するために、撮影した画像に対して画像制御アルゴリズムを適用してもよい。このようにして判定した画質に基づいて、ＬＥＤ光源の照射時間を調整してもよい。こうして調整した照射時間は、後続する一枚以上の画像を撮影する際に被写体を照射する目的で用いられる。照射時間は、後続するフレームごとに、あるいは後続する複数のフレームからなるサブセットごとに計算しなおしてもよい。
【００５９】
このようにして照射時間を自動的に調整すれば、ＬＥＤの出力電力が削減できるのみならず、ユーザに対する安全性の面でも効果が得られる。具体的には、ユーザ／被写体がカメラセンサに近接している場合、その両目は一般に比較的大きく写るので、その検出は比較的容易になる。これに応答して、アルゴリズムに基づき比較的短い照射時間が算出され、被写体は、パルス状の短い単位期間のみ赤外線照射されることになる。一方、ユーザ／被写体がカメラからもっと離間している場合、その両目は一般に比較的小さく写るので、その検出は比較的難しくなる。これに応答して、アルゴリズムに基づき比較的長い照射時間が算出され、被写体は、より長期間だが、より遠距離から赤外線照射されることになる。このように距離とタイミングとの間のトレードオフの結果、一般に、被写体にとっては、ＬＥＤからの赤外線総放射量が少なくなることになる。
【００６０】
ＬＥＤ電力制御
前述したＬＥＤのタイミング制御に加えて、ＩＲの光出力電力の動的制御に動作上の改良を加えることにより、追加的な電力管理を行うこともできる。例えば、バッテリ上でのＩＲ  ＬＥＤ電力放電の削減を目的として、眼に入射する全ＩＲ光出力のレベルを変調または制御してもよい。角膜上に適切な反射を生じさせるためにはＩＲを最高の強度で駆動する必要はないという条件を設定すれば、光出力を低減することができる。そのような条件の具体例としては、眼が携帯機器に近接した位置にある場合や、周囲が暗い状況である場合が挙げられる。
【００６１】
眼に入射するＩＲ光出力は、（１）（順方向駆動電流の、実験に基づき決定した可変デューティサイクルにおける減衰またはパルス変調により）ＬＥＤ順方向駆動電流を変調すること、（２）任意のある時点において発光するＬＥＤの個数を制御すること、および（３）ＩＲ光をＬＥＤ正面に配置された動的レンズ素子を用いて集束させることにより、そのＩＲ光のできるだけ多くが眼の領域に当たるようにすること（後述する）、の一つ以上を用いて制御することができる。
【００６２】
通常、眼追跡アルゴリズムは、さまざまな種類の出力情報をもたらす。それらの情報には、与えられた画像における眼の位置を特定する、視界内の領域のみならず、眼までの距離を測る尺度の推定値（たとえば、両目の間隔や、虹彩の見掛け直径といった画像上の特徴を測る尺度から距離を推定することができる）も含まれる。さらに別の実施の形態では、動的電力測定は、（ａ）次の画像における片目または両目の予測される位置、（ｂ）次の画像におけるＬＥＤから眼までの予測される距離、および（ｃ）携帯機器上で周囲光センサにより測定される周囲光、を用いてもよい。
【００６３】
したがって、眼追跡システムにおけるＩＲ  ＬＥＤの出力電力を制御する方法は、
（ａ）上記ＩＲ  ＬＥＤを制御することにより、第１の出力電力レベルで被写体を所定の期間、照射する工程であって、上記被写体は、その片目または両目を含む、工程と、
（ｂ）上記所定の期間、カメラを制御することにより、上記照射された被写体の画像を撮影する工程と、
（ｃ）上記画像を処理することにより、上記画像における上記被写体の片目または両目の位置と、上記被写体の片目または両目の上記カメラからの距離と、を推定する工程と、
（ｄ）上記推定された距離に基づき、上記被写体への将来の照射に備えて、上記ＩＲ  ＬＥＤに対する第２の出力電力レベルを決定する工程と、
を繰り返し行うことを含む。
【００６４】
この手順は、ローリングシャッタイメージセンサにおいても、グローバルシャッタイメージセンサにおいても、ＬＥＤの照射時間を制御する前述した手順と併せて行ってもよい。出力電力レベルは、各ＬＥＤについて共通の出力電力でもよいし、総電力レベルを変化させるために、異なる複数のＬＥＤについて異なる電力レベルを設定してもよい。このためには、一つ以上のＬＥＤを不活性化することもある。
【００６５】
上記各工程は、後続する複数の被写体画像において、第１の照射出力レベルを第２の出力電力レベルで置き換えた上で、繰り返し行われる。被写体の両目がそれらのＬＥＤからさらに遠いと推定される場合には、より高い出力電力が用いられる。逆に、被写体の両目がそれらのＬＥＤにより近いと推定される場合には、より低い電力レベルが用いられる。
【００６６】
第２の電力レベルは、追跡対象である被写体の両目を識別し、検出するにあたっての必要最低限の電力レベルに設定される。この必要最低限の出力電力レベルは、与えられた画像で検出された周囲光、検出された眼の画素と隣接する画素との間の相対的コントラストレベル、撮影した画像全体の暗さ、ならびに、眼の幾何学形状および／または照明モデルのような実験的に得られた制御モデルにより課せられる各種制約の一つ以上に基づいて設定されてもよい。対象（この場合、両目）の重要な（material）反射特性が、その幾何学的形状モデルと、その向き／姿勢との組み合わせで既知である場合には、センサに適切な画像を獲得させるＬＥＤからの最低限の光出力を予測する目的で、照明モデルを作成することも可能である。周囲の照明が、照明モデルにさらなる情報を与えることもある。同様に、照明モデルは、既知の対象（たとえば両目）を各種形態の照明下で観察し、それらの対象がセンサアレイ上に形成する画像を観察することにより、統計的な手段によっても作成可能である。照明は、センサおよび／または光源から眼までの既知の距離において光出力を最小化するように調整してもよい。
【００６７】
照射ビーム形状の動的制御
次に図５を参照する。図５は、被写体の頭部３１と、その両目３２および３３とを照射するカメラ３０の模式的平面図である。この模式図では、カメラの視野円錐３４は、照明装置であるＬＥＤ（不図示）のビーム３６の幅と実質的に一致する。ビーム３６の径は、被写体の頭部３１の幅よりも実質的に広い。被写体の頭部３１や、その両目３２および３３を照射しない放射は、基本的に無駄になるので、このような放射を最小化することが望ましい。
【００６８】
前述したように、ＩＲ  ＬＥＤにより規定される照射ビームに動的な制御を施すことも可能である。この動的制御は、それらのＬＥＤの内部か、それらに隣接して位置する、一つまたは複数の動的に制御可能な光学素子により実行される。ＩＲの光エネルギーは、片目または両目の視線が投射されることになる、現在追跡中の領域に局在化され得る。このようにして、ＩＲ光エネルギーのより最適に近い位置が与えられる。
【００６９】
ビーム形状を精度よく決定するためには、三次元空間における眼の位置を特定することが必要になる。このためには、（二次元画像フレーム内での）推定される眼の位置、ならびにカメラおよび／またはＬＥＤから片目または両目までの推定される距離の両方が分かっていることが必要になる。この情報を用いて、ＬＥＤビームの径および／または方向を、動的に制御可能な光学素子により調整することにより、眼球の軌跡・幾何学的形状と整合させることもできる。重要なことは、この三次元情報により、片目または両目が位置する狭い領域に光を集束させることを含む、完全なビーム形状調整が可能になる点である。このように集束させることにより、従来の単なる二次元ビーム方向制御方法と比べて、電力の使用をさらに最適に近づけることが可能になる。
【００７０】
図６および図７は、それぞれ、被写体がカメラ３０に近接した位置にある場合（図６）および被写体がカメラ３０からより離間した位置にある場合（図７）に、ＬＥＤビーム幅３６が眼球の軌跡３８と整合するように最適化される状況を模式的に示す図である。後者の場合、ビーム幅は、赤外線放射を眼の領域に対してのみ集束させるように、狭められる。ある画像フレームにおけるこの最適化は、直前の画像フレームにおいて得られた眼の位置および距離の測定値に基づいて行われるか、数枚の連続する直前のフレームを用いた眼の動きモデルに基づいて、上記フレームにおける眼の位置を予測することに基づいて行われる。同様に、ＬＥＤビームの方向を動的に調整してもよい。図８は、被写体の両目３２および３３がカメラ３０およびＬＥＤの中心軸を外れた位置にある状況を模式的に示す図である。図９は、片目３２のみがカメラ３０の視野円錐内に位置している状況を模式的に示す図である。後者の場合、ビーム幅３４は狭められ、検出された一方の眼だけに集束するように指向される。
【００７１】
したがって、眼追跡システムにおける照射ビーム形状を動的に制御する方法は、
（ａ）ＩＲ  ＬＥＤを制御することにより、被写体を既定のビーム形状を有する赤外線放射ビームで所定の期間照射する工程であって、上記被写体は、その片目または両目を含む、工程と、
（ｂ）上記所定の期間、カメラを制御することにより、上記照射された被写体の赤外線画像を撮影する工程と、
（ｃ）上記画像を処理することにより、上記被写体の片目または両目の三次元位置を推定する工程であって、上記三次元位置は上記被写体の片目または両目の上記カメラからの二次元位置および離間距離を含む、工程と、
（ｄ）上記片目または両目の上記推定された位置および距離に応じて、動的ビーム整形素子を制御することにより、上記被写体の片目または両目に対応する位置および距離に上記照射ビームを集束させる工程と、
を繰り返し行うことを含む。
【００７２】
上記方法の結果、撮像中のシーン内での被写体の位置や、被写体の両目のカメラからの距離には関わりなく、照射ビームが被写体の両目に集束される。
【００７３】
上記動的ビーム整形素子は、電気光学レンズ、微小電気機械システム（ＭＥＭＳ）ミラーアレイ、液晶位相変調素子、干渉に基づく光学部品、フェーズドアレイ、動的回折素子、プリズム、およびそれらの組み合わせを含む、複数の電子的に制御可能な光学素子を備えていてもよい。
【００７４】
結論
以上の開示によれば、対象追跡システムの所要照射電力を低減する、有意な複数のシステムおよび複数の方法が提供されることを理解されたい。これにより大幅な節電が達成可能であるが、このことは、バッテリの寿命が限られている携帯機器およびその他の装置には、重大な意味がある。電力の最適化は、以下の三つの局面に集約される。
・必要な時だけ照射する（光源の活性化とタイミングを合わせる）
・必要な場所だけ照射する（光源ビームを（集束により）幅について整形し、かつ方向について整形して、対象物にのみ光子を放出する）
・必要最低限の電力レベルにおいてのみ照射する（照明装置であるＬＥＤの出力電力を、対象を精度よく追跡するのに十分な最低レベルに制御する）
【００７５】
設計されたシステム全体の仕様によっては、任意の複数の検知素子を多種多様に組み合わせて用いてもよいことは明らかであろう。そのような組み合わせには、慣性センサ（が入手可能ならそれ）を使用すること、周囲光センサ（が入手可能ならそれ）を使用すること、一つ以上のＩＲ  ＬＥＤの前で動的レンズ素子を用いること、およびＩＲ光出力に対して動的な制御を追加的に行うこと、が含まれる。
【００７６】
本発明は、眼以外のさまざまな対象を追跡する、各種システムおよび方法にも適用可能であることは理解されたい。
【００７７】
用語の解釈について
本願明細書全体を通して、「一実施の形態」、「いくつかの実施の形態」または「ある実施の形態」というとき、それは、当該実施の形態に関連して説明された、特定の特徴、構造または特性が、本発明の少なくとも一つの実施の形態に含まれることを意味する。したがって、本願明細書の各所で「一実施の形態において」、「いくつかの実施の形態において」または「ある実施の形態において」という表現が見られるが、それらのすべてが（可能性はあるものの）必ずしも同一の実施の形態に言及しているとは限らない。また、それらの特定の特徴、構造および特性は、一つ以上の実施の形態において、本願の開示から当業者には自明である何らかの適切な手法で組み合わせることも可能である。
【００７８】
また、本願明細書においては、共通の構成の対象を記載するにあたって序数形容詞である「第１の」、「第２の」、「第３の」等が用いられているが、これは特に断りのない限り、同様の対象のそれぞれ異なる事例に言及しているというだけのことであり、そのように記載された対象に対して、時間的、空間的、順位上、あるいはその他何らかの順列が与えられなければならないということを示唆しようとしているわけではない。
【００７９】
以下に述べる請求の範囲および以上に述べた説明において、「を備えている（comprising）」、「から構成される（comprised of）」または「を備える（which comprises）」という表現はいずれも、その表現の後に続く複数の要素／特徴が少なくとも含まれていることを意味し、その他の要素／特徴が排除されることは意味しない、開かれた表現である。したがって、「を備えている」という表現が請求の範囲で用いられる場合、その後に列挙される手段・要素・工程に限定されると解釈されるべきではない。一例を挙げれば、要素Ａおよび要素Ｂ「を備えている（comprising）」装置という表現の範囲は、要素Ａおよび要素Ｂのみから成る（consisting of）装置に限定されるべきではない。また本願明細書において用いられている、「を含んでいる（including）」、「を含む（which includes）」、および「を含んだ（that includes）」という表現のいずれもやはり、その表現の後に続く複数の要素／特徴が少なくとも含まれていることを意味し、その他の要素／特徴が排除されることは意味しない、開かれた表現である。したがって、本願において、「を含んでいる（including）」は「を備えている（comprising）」と同義であり、同じ意味を持つ。
【００８０】
また、本願明細書において、「例示的（exemplary）」という表現は、単なる例をいくつか挙げる意味で用いられているのであり、質的な表示を与えているわけではない。すなわち、「例示的な実施の形態（exemplary embodiment）」とは、単に一例として述べられた実施の形態を意味するにすぎず、必ずしも模範となる質を有する実施の形態に言及しているわけではない。
【００８１】
なお上に述べた本発明の例示的な実施の形態の説明において、本発明のさまざまな特徴が、単一の実施の形態、一つの図面、あるいはその説明の中に盛り込まれていることもあるが、それは、本願の開示を流れ良く行い、本発明のさまざまな局面のうちの一つ以上を理解する一助とすることが目的でなされているものである。したがって、このような開示の方法が採られているからといって、それは、請求の範囲に記載された発明では、各請求項に明確に記載された特徴よりも多数の特徴が必要になるという意図を反映していると解釈されるべきではない。むしろ以下に述べる請求の範囲が示すように、本発明の局面は、上に開示した単一の実施の形態の全特徴を下回る数の特徴の組み合わせにも存する。したがって、この「詳細な説明」の後に続く請求の範囲の内容は、このように断り書きをしているのであるから、「詳細な説明」においても明示的に援用されるものとする。ただし、それぞれの請求項は、本発明の別々の実施の形態を示すものとして、それ自体で完結したものでもあることも理解されたい。
【００８２】
また、本願明細書で述べたいくつかの実施の形態では、他の実施の形態に含まれる特徴のいくつかを含んではいるものの、含んでいない特徴もある場合があるが、異なる複数の実施の形態の各種特徴の組み合わせが本発明の範囲に入るものであり、それによりそれぞれ異なる複数の実施の形態が形成されることは、当業者には理解可能であろう。たとえば、以下に述べる請求の範囲において、請求の範囲に記載された複数の実施の形態をどのように組み合わせて用いてもよい。
【００８３】
また、本願明細書に述べた実施の形態の中には、コンピュータシステムのプロセッサや、その機能を実現するその他の手段により実現可能な方法として、またはそのような方法の各要素の組み合わせとして記載されている実施の形態もある。したがって、そのような方法、あるいは方法の各要素を実行するのに必要な各種命令を持つプロセッサは、その方法、あるいはその方法の各要素を実行する手段を形成する。また、装置の実施形態について本願明細書で記載した一要素は、本発明を実施することを目的として、その要素により実行される機能を実現する手段の一例である。
【００８４】
以上の説明において、具体的な細部について多数述べた。しかしながら、本発明の各種実施の形態は、そのような具体的細部なしでも実施可能であることは理解されたい。別の例では、既によく知られている方法、構造および技術については、本願明細書の理解の妨げとならないように、詳しくは述べていない。
【００８５】
また、「結合された（coupled）」という用語が、以下の請求の範囲において用いられるとき、それが直接の接続に限定されると解釈されるべきではないことにも留意されたい。「結合された（coupled）」および「接続された（connected）」という用語が、それらの派生語と共に用いられることもある。これらの用語が同義語として使われているわけではないことは理解されたい。したがって、「装置Ｂに結合された（coupled）装置Ａ」という表現の範囲は、装置Ａの出力が装置Ｂの入力に直接接続された装置またはシステムに限定されるわけではない。これはむしろ、装置Ａの出力と装置Ｂの入力との間には経路が存在し、その経路は、その他の装置や手段を含む経路でもありうることを意味する。「結合された（coupled）」は、二つ以上の要素が直接物理的または電気的に接触していることを意味する場合もあるし、二つ以上の要素が直接には接触していないが、互いに連携または相互作用することを意味する場合もある。
【００８６】
したがって、本出願人が本発明の好ましい実施の形態とみなすものを以上に述べたが、それらの実施の形態に対して、本発明の趣旨を逸脱することなく、その他さまざまな改良をさらに施すことが可能であることは当業者には理解可能であろう。また、そのような改変・改良のすべてを本発明の範囲に入るものとして請求の範囲に記載していることは理解されたい。たとえば、上に述べた各種方式はすべて、単に使用可能な各種手順を表しているにすぎない。上で参照した各ブロック図には機能性を付加または削除することも可能であり、各機能ブロック間でその動作を相互に交換することも可能である。また、上に述べた各方法について、本発明の範囲内で、複数の工程を追加または削除することも可能である。
【図１】
2016532396.tif 000003
【図２】
2016532396.tif 000004
【図３】
2016532396.tif 000005
【図４】
2016532396.tif 000006
【図５】
2016532396.tif 000007
【図６】
2016532396.tif 000008
【図７】
2016532396.tif 000009
【図８】
2016532396.tif 000010
【図９】
2016532396.tif 000011
【国際調査報告】
2016532396.tif 000012
2016532396.tif 000013
2016532396.tif 000014
2016532396.tif 000015
2016532396.tif 000016
2016532396.tif 000017