(57)【特許請求の範囲】
【請求項１】
画像センサと、所定の視野を有する集光入射レンズとを備えた光学装置であって、当該光学装置は、それぞれ光を通過させるか遮断させるかの２つの状態を設定可能な少なくとも２つのマスク素子を有する動的に設定可能な光バリアをさらに備え、当該動的に設定可能な光バリアは、前記マスク素子の少なくとも１つを透光状態に設定できるように構成され、前記画像センサは全体で、前記マスク素子が透光状態に設定されたときに、前記所定の視野の一部に対応する画像を取得するように構成され、前記少なくとも２つのマスク素子は、前記少なくとも２つのマスク素子のうちの１つが透光状態に設定されたときに前記画像センサによって取得される画像が、前記少なくとも２つのマスク素子のうちの別のマスク素子が透光状態に設定されたときに前記画像センサによって取得される画像とは、前記所定の視野の異なる部分を表すように構成され、前記画像センサは、前記少なくとも２つのマスク素子がそれぞれ透光状態に設定されたときに行われる複数の画像取得工程を介し、前記視野全体に対応する画像を、単一の画像取得工程で得られる画像よりも高解像度で取得することを特徴とする光学装置。
【請求項２】
前記少なくとも２つのマスク素子は、前記画像センサ及び前記集光入射レンズの光軸と直交するように配置されたマスク素子のアレイとして構成されていることを特徴とする請求項１記載の光学装置。
【請求項３】
前記動的に設定可能な光バリアを制御し、前記画像センサから画像を受け取る演算装置をさらに備えることを特徴とする請求項１又は２記載の光学装置。
【請求項４】
前記演算装置は、前記画像センサから受け取った画像に幾何学的歪みを加えるように構成されており、当該幾何学的歪みは、あらかじめ決定され、選択されたマスク素子の機能として特定されていることを特徴とする請求項３記載の光学装置。
【請求項５】
マイクロプリズムアレイをさらに備え、当該マイクロプリズムアレイの各マイクロプリズムは、異なるマスク素子に対応していることを特徴とする請求項１〜４のいずれか１項に記載の光学装置。
【請求項６】
第２の集光入射レンズと第２の画像センサとをさらに備え、当該第２の画像センサによって取得された画像は前記所定の視野を表すことを特徴とする請求項１〜５のいずれか１項に記載の光学装置。
【請求項７】
選択されるマスク素子は、前記第２の画像センサから取得した画像を処理する一機能として特定されることを特徴とする請求項３に従属する請求項６記載の光学装置。
【請求項８】
前記動的に設定可能な光バリアはＬＣＤタイプであることを特徴とする請求項１〜７のいずれか１項に記載の光学装置。
【請求項９】
画像センサと、所定の視野を有する集光入射レンズとを備えた光学系において画像を取得する方法であって、光学装置は、それぞれ光を通過させるか遮断させるかの２つの状態を設定可能な少なくとも２つのマスク素子を有する動的に設定可能な光バリアをさらに備え、当該動的に設定可能な光バリアは、前記マスク素子の少なくとも１つを透光状態に設定できるように構成され、前記画像センサは全体で、前記マスク素子が透光状態に設定されたときに、前記所定の視野の一部に対応する画像を取得するように構成され、前記少なくとも２つのマスク素子は、前記少なくとも２つのマスク素子のうちの１つが透光状態に設定されたときに前記画像センサによって取得される画像が、前記少なくとも２つのマスク素子のうちの別のマスク素子が透光状態に設定されたときに前記画像センサによって取得される画像とは、前記所定の視野の異なる部分を表すように構成される方法において、
マスク素子を特定し、
特定された前記マスク素子を選択して、当該特定されたマスク素子を透光状態に設定し、そして
前記画像センサから、前記少なくとも２つのマスク素子がそれぞれ透光状態に設定されたときに行われる複数の画像取得工程を介し、前記視野全体に対応する画像を、単一の画像取得工程で得られる画像よりも高解像度で取得する
工程を備えることを特徴とする方法。
【請求項１０】
補正用の幾何変形を求め、それを前記画像センサから取得した画像に適用する工程をさらに備えることを特徴とする請求項９記載の方法。
【請求項１１】
前記補正用の幾何変形は、選択されたマスク素子の機能として得られることを特徴とする請求項１０記載の方法。
【請求項１２】
前記所定の視野を表す画像を取得する工程をさらに備え、前記マスク素子を特定する工程は、前記所定の視野を表す画像を処理する工程を備えることを特徴とする請求項９〜１１のいずれか１項に記載の方法。
【請求項１３】
前記所定の視野を表す画像を処理する工程は、関心領域を特定する工程を備えることを特徴とする請求項１２記載の方法。
【請求項１４】
プログラム可能な装置のためのコンピュータプログラム製品であって、当該コンピュータプログラムは、前記プログラム可能な装置に展開され、当該装置によって実行されるときに、請求項９〜１３のいずれか１項に係る方法の各工程を実行するための命令を備えるコンピュータプログラム。
【請求項１５】
請求項９〜１３のいずれか１項に係る方法を実現するためのコンピュータプログラムの命令を記憶するコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像センサに関し、特に低解像度画像センサから高解像度画像を得るための方法及び装置に関する。
【背景技術】
【０００２】
凝視追跡は、主にコンピュータインターフェースにおいて使用され、ユーザとコンピュータとの間の相互作用を高める。その目的は、基準フレーム内の、通常は画像センサを通して取得した画像に対応する基準フレーム内の、点又は一組の点（即ち軌跡）の座標を提供することにある。そのような点又は軌跡は、グラフィカルユーザインターフェースで対象を選択したり、フライトシミュレータで目標を確認したり、視覚障害の診断をしたりするなどの、多くの用途で利用することができる。
【０００３】
ある特定の実施例によれば、赤外線を目に当てて明るい瞳孔を取得し、その反射光を画像センサで拾う。そして、その結果取得した画像を処理し、画像内の反射光の位置を検出する。赤外線光源及び画像センサの位置を知ることにより、凝視点を決定することが可能になる。
【０００４】
回折と被写界深度（ＤｏＦ）との兼ね合いのためには、絞りｆ６が使われ、最適な濃度及び感度を得るためには、画像センサの画素サイズは約３μｍに設定されることがある。
【０００５】
“Eye Gaze Tracking for Human Computer Interaction”と題された論文（Heiko
Drewes, 2010, Dissertation, LMU M&uuml;nchen: Faculty of Mathematics, Computer
Science and Statistics）で述べられているように、ユーザの目については、虹彩の像を追跡するのに約１００画素の解像度が必要であるというのが一般的な認識であり、その平均サイズ（irissize）は、約１１ｍｍである。
【０００６】
水平方向の視野（FoV）が５０°で、ユーザの目とディスプレイ（画像センサと対応している）との距離が４０ｃｍであるとすると、水平視野（FoVsize）は当該ディスプレイ上での約３７ｃｍに対応する。
【０００７】
したがって、距離４０ｃｍでの視野５０°に必要な画素数（nbpixels）、つまり画像センサ幅は以下のように表される：
【数１】
0006738697.tif 000002
【０００８】
このような画素数によって、センサに面した３７ｃｍの水平領域全体をカバーし、サイズ１１ｍｍの対象のために１００画素の解像度を確保することが可能になる。
【０００９】
この結果、画素幅を３μｍとすると、画像センサ幅は約１０．２ｍｍ（３，４００ｘ３μｍ）となる。
【００１０】
約５０°に等しい視野で、画像センサ幅（Swidth）が１０．２ｍｍの場合、レンズの焦点距離（f）は約１１ｍｍである：
【数２】
0006738697.tif 000003
【００１１】
参考までに、絞りｆ６の１１ｍｍレンズによって、距離４０ｃｍで約６．２ｃｍの被写界深度（ＤｏＦ）が得られる。
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかし、そうした光学系は目の追跡を可能にする反面、欠点もある。特に、画素幅３μｍで１０．２ｍｍ幅の画像センサは実に高価である。
【００１３】
その結果、低解像度画像センサを用いて高解像度画像を得ることのできる光学系、特に追跡アルゴリズムの効率的な実現を可能にする光学系を妥当な価格で提供する必要がある。
【００１４】
本発明は、上述の問題点の少なくとも一つに対処すべく考え出されたものである。
【課題を解決するための手段】
【００１５】
このような背景において、本発明は、画像センサの解像度を上げるための解決法を提供する。
【００１６】
本発明の第１の態様によれば、画像センサと、所定の視野を有する集光入射レンズとを備えた光学装置が提供され、当該光学装置は、少なくとも２つのマスク素子を有する動的に設定可能な光バリアをさらに備え、当該動的に設定可能な光バリアは、前記マスク素子の少なくとも１つを透光状態に設定できるように構成され、前記少なくとも２つのマスク素子は、前記少なくとも２つのマスク素子のうちの１つが透光状態に設定されたときに前記画像センサによって取得される画像が、前記少なくとも２つのマスク素子のうちの別のマスク素子が透光状態に設定されたときに前記画像センサによって取得される画像とは、前記所定の視野の異なる部分を表すように構成されることを特徴とする。
【００１７】
したがって、本発明の光学装置は、実シーンの異なる部分を表す異なる画像を取得することを可能にし、その解像度は同一の画像センサから単一の取得工程で得た当該実シーンの一画像の解像度よりも高い。この光学系は、特に、凝視追跡などの用途に適合する。換言すれば、本発明は、センサを大型化することなく視野を広げることを可能にする。この効果は、被写界深度を実質的に増減させることなく得られる。
【００１８】
一態様においては、前記マスク素子の１つのみを透光状態に設定することができる。
【００１９】
一態様においては、前記少なくとも２つのマスク素子は、前記画像センサ及び前記集光入射レンズの光軸と直交するように配置されたマスク素子のアレイとして構成されている。
【００２０】
一態様においては、前記光学装置は、前記動的に設定可能な光バリアを制御し、前記画像センサから画像を受け取る演算装置をさらに備える。
【００２１】
一態様においては、前記演算装置は、前記画像センサから受け取った画像に幾何学的歪みを加えるように構成されており、当該幾何学的歪みは、あらかじめ決定され、選択されたマスク素子の機能として特定されている。
【００２２】
一態様においては、前記光学装置は、マイクロプリズムアレイをさらに備え、当該マイクロプリズムアレイの各マイクロプリズムは、異なるマスク素子に対応している。
【００２３】
一態様においては、前記光学装置は、第２の集光入射レンズと第２の画像センサとをさらに備え、当該第２の画像センサによって取得された画像は前記所定の視野を表す。
【００２４】
一態様においては、選択されるマスク素子は、前記第２の画像センサから取得した画像を処理する一機能として特定される。
【００２５】
一態様においては、前記動的に設定可能な光バリアはＬＣＤタイプである。
【００２６】
本発明の第２の態様によれば、画像センサと、所定の視野を有する集光入射レンズとを備えた光学系において画像を取得する方法であって、光学装置は、少なくとも２つのマスク素子を有する動的に設定可能な光バリアをさらに備え、当該動的に設定可能な光バリアは、前記マスク素子の少なくとも１つを透光状態に設定できるように構成され、前記少なくとも２つのマスク素子は、前記少なくとも２つのマスク素子のうちの１つが透光状態に設定されたときに前記画像センサによって取得される画像が、前記少なくとも２つのマスク素子のうちの別のマスク素子が透光状態に設定されたときに前記画像センサによって取得される画像とは、前記所定の視野の異なる部分を表すように構成される方法において、マスク素子を特定し、特定された前記マスク素子を選択して、当該特定されたマスク素子を透光状態に設定し、そして前記画像センサから画像を取得する工程を備えることを特徴とする方法が提供される。
【００２７】
したがって、本発明の方法は、実シーンの異なる部分を表す異なる画像を取得することを可能にし、その解像度は同一の画像センサから単一の取得工程で得た当該実シーンの一画像の解像度よりも高い。それは、特に、凝視追跡などの用途に適合する。
【００２８】
一態様においては、前記マスク素子の１つのみを透光状態に設定することができる。
【００２９】
一態様においては、前記方法は、補正用の幾何変形を求め、それを前記画像センサから取得した画像に適用するステップをさらに備える。
【００３０】
一態様においては、前記補正用の幾何変形は、選択されたマスク素子の機能として得られる。
【００３１】
一態様においては、前記方法は、前記所定の視野を表す画像を取得する工程をさらに備え、前記マスク素子を特定する工程は、前記所定の視野を表す画像を処理する工程を備える。
【００３２】
一態様においては、前記所定の視野を表す画像を処理する工程は、関心領域を特定する工程を備える。
【００３３】
本発明の各部分はソフトウェアにおいて実現可能なので、適切なキャリア媒体上の、そして、特に、適切な有形のキャリア媒体又は適切な一時的なキャリア媒体上の、プログラム可能な装置に供給されるコンピュータ読み取り可能なコードとしての実施態様が可能である。有形の非一時的なキャリア媒体は、フロッピー（商標登録）ディスク、ＣＤ−ＲＯＭ、ハードディスクドライブ、磁気テープ装置、ソリッドステートメモリデバイスなどの記憶媒体を備えてよい。一時的なキャリア媒体には、電気信号、電子信号、光信号、音響信号、磁気信号、又は電磁気信号、例えばマイクロウェーブあるいは高周波信号などの信号が含まれてよい。
【図面の簡単な説明】
【００３４】
【図１】画像センサを照射する光が通過するピンホールが当該画像センサの主軸からオフセットされているときに生じる一般的な光学効果を示す図（図１ａ〜図１ｃ）である。
【図２】本発明の第１の実施形態に係る光学系の構成の一例を示すブロック図である。
【図３】図２に示されるような動的ＬＣＤバリアとマイクロプリズムアレイとから成る構成の一例を示す図である。
【図４】図２で説明したような光学系において２つの異なるマスク素子が選択された様子を示す図（図４ａ及び図４ｂ）である。
【図５】図２で説明したような画像センサから画像を取得する方法の手順を示すフローチャートである。
【図６】本発明の第２の実施形態に係る光学系の構成の一例を示すブロック図である。
【図７】図５で説明したような画像センサから画像を取得する方法においてマスク素子を特定するための方法の手順を示すフローチャートである。
【図８】本発明の１つ又は複数の実施形態を実現するための演算装置の模式ブロック図である。
【発明を実施するための形態】
【００３５】
以下、本発明の実施形態を図面に基づいて説明する。以下に説明する実施形態では、画像センサは、複数の「ピンホール」から選択された１つの「ピンホール」を通過した光によって照射され、「ピンホール」は、各々、特定のプリズムと対応しており、当該プリズムは、対応する「ピンホール」を通過した光を前記画像センサに導く。
【００３６】
使用する「ピンホール」を適切に選ぶことによって、画像センサが像として取得する現実のシーンの一部を選択することができる。
【００３７】
図１は、図１ａ〜１ｃから成り、画像センサを照射する光が通過するピンホールが当該画像センサの主軸からオフセットされているときに生じる一般的な光学効果を示す。
【００３８】
図１ａに示すように、画像センサ１００は、光バリア１１０に配設されたピンホール１０５を通過する光によって照射される。ピンホール１０５は、画像センサ１００の光軸１１５（画像センサに対して垂直でその中心上にある軸）の上方に配置されている。
【００３９】
したがって、画像センサ１００と、ピンホール１０５を有する光バリア１１０とを備える上記構成により、画像センサ１００の光軸１１５の上方に位置する現実の対象、例えばエッフェル塔１２５の上部１２０、を表す像を取得することが可能になる。
【００４０】
同様に、図１ｂは、光バリア１１０’に配設されたピンホール１０５’を通過する光によって照射される画像センサ１００を表し、ピンホール１０５’は画像センサ１００の光軸１１５上に中心がある。
【００４１】
その結果、画像センサ１００と、ピンホール１０５’を有する光バリア１１０’とから成る上記構成により、画像センサ１００に面する現実の対象、例えばエッフェル塔１２５の中央部１２０’、を表す像を取得することが可能になる。
【００４２】
同じく、図１ｃは、光バリア１１０”に配設されたピンホール１０５”を通過する光によって照射される画像センサ１００を表し、ピンホール１０５”は、画像センサ１００の光軸１１５の下方に位置している。
【００４３】
したがって、画像センサ１００と、ピンホール１０５”を有する光バリア１１０”とから成る上記構成により、画像センサ１００の光軸１１５の下方に位置する現実の対象、例えばエッフェル塔１２５の下部１２０”、を表す像を取得することが可能になる。
【００４４】
図１を参照して説明した光学効果に基づいて、本発明の実施形態は、選択的な光バリアとして使用されて動的ＬＣＤバリアと呼ばれるＬＣＤディスプレイ（液晶表示装置）などの動的に設定可能な光バリアを用いて、１つの「ピンホール」を選択することに関する。
【００４５】
勿論、選択的に光をブロックしたりバリアを通したりするのにＬＣＤ以外の技術を使用することも可能である。
【００４６】
特定の実施形態によれば、ＬＣＤバリアは、画像センサへの照射を最適化するために集光入射レンズ及び／又はマイクロプリズムアレイと組み合わされる。
【００４７】
エレクトロウェッティングレンズなどに基づくオートフォーカス素子が用いられてもよい。
【００４８】
なお、画像センサを照射する光を通すピンホールが当該画像センサの主軸からオフセットされ、かつ光をセンサに導くのにプリズムが使われる場合には、幾何学的な歪みが現れる。しかし、軸点の収差（球面収差）と見なせる、そのような歪みは計算可能であり、したがって、標準的な補正用の幾何変形を用いて補償できる。
【００４９】
図２は、本発明の第１の実施形態に係る光学系の構成の一例を示すブロック図である。
【００５０】
図示のように、光学系２００は、集光入射レンズ２０５、動的ＬＣＤバリア２１０、マイクロプリズムアレイ２１５、画像センサ２２０、及び演算装置２２５を備える。集光入射レンズ２０５、動的ＬＣＤバリア２１０、マイクロプリズムアレイ２１５、及び画像センサ２２０は光学的に一列に並んでいる。
【００５１】
画像センサ２２０と動的ＬＣＤバリア２１０とは演算装置２２５によって制御され、演算装置２２５は画像センサ２２０によって取得された画像を受け取る。演算装置２２５は、遠隔の装置、例えばリモートサーバーと通信するためのネットワークインターフェースを備えていてもよい。
【００５２】
動的ＬＣＤバリア２１０は、通常は、個別に制御されて光を遮るか又は通して「ピンホール」の役割を果たすマスク素子のアレイである。動的ＬＣＤバリア２１０は、例えば５ｘ５又は１０ｘ１０のマスク素子のアレイであり得る。勿論、横列のマスク素子の数は縦列のマスク素子の数とは異なっていてもよい。同様に、各マスク素子のサイズもまちまちでよい。
【００５３】
特定の実施形態によれば、動作時には、光を通すマスク素子を除くすべてのマスク素子が光を遮断するのが好都合である。
【００５４】
また、他の実施形態によれば、例えば、単一のマスク素子が十分な光を通すほどに大きくなく、かつ／又は数個のマスク素子が単一のマイクロプリズムと対応している場合には、動作時には、光を通す一組のマスク素子を除き、他のすべてのマスク素子が光を遮断する。
【００５５】
マスク素子は、得られる画像が重なるように又は重ならないように配列可能である。
【００５６】
マイクロプリズムアレイ２１５は、１つのマイクロプリズムが動的ＬＣＤバリアの各マスク素子と（又は、画像センサの光軸上に整合しているマスク素子に関してはマイクロプリズムを使う必要がないのでマスク素子の大部分と）対応するように配置された一組のマイクロプリズムから成るものでよい。特定の実施形態によれば、１つのマイクロプリズムが、一括制御されてよい動的ＬＣＤバリアの数個のマスク素子に対応している。
【００５７】
各マイクロプリズムは、対応するマスク素子を通過した光を画像センサへと導くことを目的としている。
【００５８】
特定の実施形態によれば、レンズがマイクロプリズムと組み合わせられていてもよい。これは、マスク素子のサイズが全てのマスク素子について同じではない場合（又は、各マイクロプリズムに対応するマスク素子の数が異なる場合）に特に役立つ。
【００５９】
なお、明快さのために、図２に示す光学装置には、オートフォーカス装置が図示されていない。しかし、光学系には、標準でそのような装置が実装されていてよい。
【００６０】
図３は、図２の動的ＬＣＤバリア２１０とマイクロプリズムアレイ２１５とを備える構成の一例を示している。
【００６１】
説明の都合上、動的ＬＣＤバリア２１０は、総じて３００で示される同様のマスク素子の５ｘ５のアレイであり、１番目及び４番目の縦列且つ４番目及び５番目の横列にそれぞれ位置するマスク素子３００-１-４、３００-４-５を備える。
【００６２】
図示の例によれば、光を通す１つのマスク素子、例えばマスク素子３００-１-４、を除くすべてのマスク素子が光を遮断する。
【００６３】
特定の実施形態によれば、あるマスク素子を透光状態に設定すると、他のすべてのマスク素子が遮光状態に設定される。例えば、図３に示す設定から、マスク素子３００-２-３（２番目の縦列且つ３番目の横列に位置する）が透光状態に設定されると、マスク素子３００-１-４は遮光状態に設定される。
【００６４】
図３に示すように、マイクロプリズムアレイ２１５の各マイクロプリズムは特定のマスク素子に対応している。説明の都合上、マイクロプリズム３０５-１-４はマスク素子３００-１-４に対応して、マスク素子３００-１-４を通過する光を図３に示す構成に対応する画像センサに導くものとする。
【００６５】
同様のマスク素子の５ｘ５のアレイとマイクロプリズムの５ｘ５のアレイであるとし、背景技術の項で論じた例（それによると画像センサ幅は３，４００画素に等しくなる）を考慮すると、同様の結果を得るのに、画像センサ幅を６８０画素に減らすことができる。その結果、やはり３μｍサイズの画素であるとしても、画像センサ幅は２ｍｍに等しくなる（従来技術の１０．２ｍｍに対して）。
【００６６】
図４は、図４ａ及び図４ｂから成り、図２で説明した光学系のような光学系において、２つの異なるマスク素子が選択された様子を示している。
【００６７】
同図に示すように、マスク素子４００を選択する（その結果、光がマスク素子４００を通過する）と、位置４０５に位置する現実の対象の像が取得可能となり、一方、マスク素子４１０を選択する（その結果、光がマスク素子４１０を通過する）と、位置４１５に位置する現実の対象の像が取得可能となる。
【００６８】
したがって、光学系２００は、解像度及び／又は視野を低減させることなく、画像センサを小型化することを可能にする。
【００６９】
図５は、図２で説明した画像センサのような画像センサから画像を取得する方法の手順を示すフローチャートである。
【００７０】
同図に示すように、最初のステップ（ステップ５００）において、画像センサの光軸に対する各マスク素子の相対位置から生じる幾何変形を求める。
【００７１】
実施形態によれば、マスク素子は各々個別に考慮されて、対応するマスク素子が透光状態に設定された際に得られる画像における幾何変形が求められる。
【００７２】
求められた幾何変形は、次に、対応するマスク素子の位置から生じる該幾何変形を補正するために画像センサから取得した画像に適用する補正用の幾何変形を算出するのに使用される。
【００７３】
なお、微小な幾何変形は無視してよい。
【００７４】
例えば、特定の実施形態では、画像センサの光軸上に中心があるマスク素子とそのマスク素子に近接したマスク素子に関しては、補正用の幾何変形は算出されない。
【００７５】
算出された補正用の幾何変形は、後に画像取得の際に使用するために記憶される。
【００７６】
次に、どのマスク素子を選択して透光状態にするかを判別する（ステップ５０５）。マスク素子をどのように選択するかは主に用途次第である。
【００７７】
例えば、全高解像度画像を得る必要がある用途には、各マスク素子を循環的に選択するのが好ましい。
【００７８】
これに対して、凝視追跡の用途では、関心領域に対応する高解像度の部分画像（即ち、目を表す画像部分）だけが処理される。したがって、その部分高解像度画像に対応するマスク素子だけが（次から次に）選択される。そうした用途の例の実施例については、図６及び図７を用いて説明する。
【００７９】
次に、特定されたマスク素子が選択されて透光状態に設定され（ステップ５１０）、１つ又は数個の画像が取得される（ステップ５１５）。
【００８０】
画像が取得されると、取得された画像に幾何補正を施すか否かが判別される（ステップ５２０）。
【００８１】
取得した画像に幾何補正を施す場合には、選択されたマスク素子に対応する補正用の幾何変形を求め、取得した画像に適用する（ステップ５２５）。
【００８２】
一方、取得した画像に幾何補正を施さない場合、あるいは取得した画像に幾何補正が施された後には、他の画像を取り込むか否かを判別するためのテストを行う（ステップ５３０）。
【００８３】
他の画像を取り込む場合には、ここまでの６つのステップ（ステップ５０５〜５３０）を繰り返す。即ち、図示のようにアルゴリズムがステップ５０５にループしている。
【００８４】
ステップ５０５〜５３０の処理は、通常、図２で説明した光学系２００の演算装置２２５で行われる。ステップ５００の処理は、リモート・コンピュータ又はサーバーで行うことが可能である。
【００８５】
特定の実施形態によれば、本発明の光学系は、１つ又は数個のマスク素子を選ぶのに使用される関心領域（ＲＯＩ）を決定するのに使用される、少なくとも１つの他の画像センサをさらに備える。
【００８６】
図６は、本発明の第２の実施形態に係る光学系の構成の一例を示すブロック図である。
【００８７】
図２で説明した光学系２００と同様に、光学系６００は、集光入射レンズ６０５、動的ＬＣＤバリア６１０、マイクロプリズムアレイ６１５、画像センサ６２０、及び演算装置６２５を備える。集光入射レンズ６０５、動的ＬＣＤバリア６１０、マイクロプリズムアレイ６１５、及び画像センサ６２０は光学的に一列に並んでいる。
【００８８】
画像センサ６２０と動的ＬＣＤバリア６１０とは演算装置６２５によって制御され、演算装置６２５は画像センサ６２０によって取得された画像を受け取る。演算装置６２５は、リモートサーバーと通信するためのネットワークインターフェースを備えていてもよい。
【００８９】
動的ＬＣＤバリア６１０は、やはり、通常、個別に制御されて光を遮るか又は通して「ピンホール」の役割を果たすマスク素子のアレイである。動的ＬＣＤバリア６１０は、例えば５ｘ５又は１０ｘ１０のマスク素子のアレイであり得る。勿論、横列のマスク素子の数は縦列のマスク素子の数とは異なっていてもよい。同様に、各マスク素子のサイズもまちまちでよい。
【００９０】
動作時には、光を通すマスク素子を除くすべてのマスク素子が光を遮断するのが好都合である。
【００９１】
マイクロプリズムアレイ６１５は、１つのマイクロプリズムが動的ＬＣＤバリアの各マスク素子と（又は、画像センサの光軸上に整合しているマスク素子に関してはマイクロプリズムを使う必要がないのでマスク素子の大部分と）対応するように配置された一組のマイクロプリズムから成るものでよい。
【００９２】
各マイクロプリズムは、対応するマスク素子を通過した光を画像センサへと導くことを目的としている。
【００９３】
特定の実施形態によれば、レンズがマイクロプリズムと組み合わせられていてもよい。これは、マスク素子のサイズが全てのマスク素子について同じではない場合に特に役立つ。
【００９４】
光学系６００は、光学的に一列に並んでいる集光入射レンズ６３０と画像センサ６３５とをさらに備えている。集光入射レンズ６３０の視野は集光入射レンズ６０５の視野と略同一であるのが好ましい。
【００９５】
画像センサ６３５は、集光入射レンズ６３０の全視野を表す低解像度画像を取得するように構成するのが好ましい。
【００９６】
画像センサ６２０及び６３５並びに動的ＬＣＤバリア６１０は、演算装置６２５によって制御され、演算装置６２５は画像センサ６２０及び６３５によって取得された画像を受け取る。動的ＬＣＤバリア６１０におけるマスク素子の選択は、画像センサ６３５によって取得された画像の処理に基づいて行われるのが好都合である。
【００９７】
説明の都合上、凝視追跡の用途では、画像センサ６３５の使用により画像中の顔を検出することができ、したがって、目の像を含むと思われる画像部分を動的に選ぶことが可能となる。
【００９８】
なお、明快さのために、図６に示す光学装置にも、やはり、オートフォーカス装置が図示されていない。しかし、光学系には、標準でそのような装置が実装されてよい。両画像センサ間の視差は、追跡すべき対象（例えば、両目）の距離を推定するのに使用することができ、したがって、オートフォーカスの設定に使用できる。
【００９９】
特定の実施形態によれば、図５で説明したステップ５０５〜５３０の処理は演算装置６２５によって行うことができる。ステップ５０５の処理（マスク素子の特定）は図７で説明するステップを含むのが好都合である。
【０１００】
図７は、図５で説明したような画像センサなどの画像センサから画像を取得する方法においてマスク素子を特定するための方法の手順を示すフローチャートである。
【０１０１】
同図に示すように、最初のステップでは、全低解像度画像を取得する（ステップ７００）。このような画像は、図６で説明した光学系６００の画像センサ６３５を用いて取得することができる。
【０１０２】
次に、取得した画像を処理して、高解像度画像を得るためのシーンの一部に対応する関心領域（ＲＯＩ）を特定する（ステップ７０５）。
【０１０３】
説明の都合上、このようなステップは、標準的な特徴認識アルゴリズムに基づくことが可能である。
【０１０４】
そして、関心領域を特定した後、特定された関心領域に対応する１つ又は複数のマスク素子、即ち当該関心領域を表す画像の取得を可能にするマスク素子を特定する（ステップ７１０）。
【０１０５】
次に、図５で説明したステップ５１０〜５３０を実行することにより画像センサ６２０を用いて高解像度画像を得ることが可能になる。この画像は集光入射レンズ６３０の視野の一部を表す。
【０１０６】
図２及び図６で説明した装置並びに図５で説明した方法により、現実のシーンの異なる部分を表す異なる画像を得ることが可能になり、その解像度が特に凝視追跡を可能にする。
【０１０７】
図８は、本発明の１つ又は複数の実施形態を実現するための演算装置８００、例えば、図２及び図６でそれぞれ説明した演算装置２２５又は演算装置６２５、の模式ブロック図である。
【０１０８】
演算装置８００は、通信バスを有し、当該通信バスは以下のものに接続されている：
・ＣＰＵと表記されている、マイクロコンピュータなどの中央演算処理装置８０５；
・ＲＡＭと表記されている、本発明の実施形態の方法の実行可能なコード並びに本発明の実施形態に応じて画像を取得する方法を実行するのに必要な変数やパラメータを記録するのに適合したレジスタを記憶し、そのメモリ容量が、例えば拡張ポートに接続されるオプションのＲＡＭにより拡張可能であるランダムアクセスメモリ８１０；
・ＲＯＭと表記されている、本発明の実施形態を実施するためのコンピュータプログラムを記憶するリードオンリーメモリ８１５；及び
・デジタルデータ（特に設定データと取得した画像）が送受信可能な通信ネットワークに通常接続されるネットワークインターフェース８２０。ネットワークインターフェース８２０は、単一のネットワークインターフェースであること、又は、一組の異なるネットワークインターフェース（例えば、有線と無線のインターフェース、あるいは異なる種類の有線又は無線のインターフェース）から成ることが可能である。データパケットは、ＣＰＵ８０５で動作するソフトウェアアプリケーションの制御下で、送信の際にはネットワークインターフェースに書き込まれ、受信の際にはネットワークインターフェースから読み取られる。
【０１０９】
オプションとしては、演算装置８００の通信バスは以下のものに接続されていてもよい：
・ＨＤと表記されている、大容量記憶装置として使用されるハードディスク８２５；及び／又は
・ユーザからの入力を受け付け、ユーザに情報を表示し、そして／あるいは外部装置とのデータを送受信するのに使用可能なユーザインターフェース及び／又は入力／出力インターフェース８３０。
【０１１０】
実行可能なコードはリードオンリーメモリ８１５、ハードディスク８２５、又は例えばディスクなどの着脱可能なデジタル媒体のいずれかに記憶されてよい。変形例としては、プログラムの実行可能なコードは、実行する前にハードディスク８２５などの演算装置８００の記憶手段の１つに記憶するために、ネットワークインターフェース８２０を介して通信ネットワークにより受信可能である。
【０１１１】
中央演算処理装置８０５は、本発明の実施形態に係る単一又は複数のプログラムの命令又はソフトウェアコードの一部の実行を制御し、指示するが、それらの命令は前述の記憶手段の１つに記憶される。電源投入後、ＣＰＵ８０５は、ソフトウェアアプリケーションに関する命令が例えばＲＯＭ８１５又はハードディスク８２５から展開された後で、当該指示をメインのＲＡＭメモリ８１０から実行することができる。そのようなソフトウェアアプリケーションは、ＣＰＵ８０５によって実行されると、本明細書に開示されたアルゴリズムの各ステップを実行させる。
【０１１２】
ここに開示されたアルゴリズムのステップはいずれも、プログラム可能な計算機、例えばＰＣ（パーソナルコンピュータ）、ＤＳＰ（デジタルシグナルプロセッサ）、マイクロコントローラなどが一組の命令又はプログラムを実行することにより、ソフトウェアとして実現されてもよいし、機械又はＦＰＧＡ（フィールドプログラマブルゲートアレイ）あるいはＡＳＩＣ
（特定用途向け集積回路）などの専用コンポーネントによりハードウェアとして実現されてもよい。
【０１１３】
以上、具体的な実施形態を参照しながら本発明を説明したが、本発明はこれらの実施形態に限定されるものではなく、本発明の範囲を逸脱しない変更は、当業者には明らかであろう。
【０１１４】
また、上記の説明のための実施形態を参照することにより、さらに多くの修正や変形が当該技術に通じたものには自ずと想起されるであろうが、上記実施形態はあくまで例として説明されたにすぎず、したがって本発明の範囲を制限するものではなく、本発明の範囲は添付された請求項によってのみ決定される。特に、異なる実施形態の異なる特徴は適宜入れ替えてもよい。
【０１１５】
また、請求項における「〜を備える」という文言は、他の要素や工程を排除するものではなく、単数の要素の記述はそれが複数であることを排除するものではない。異なる特徴が互いに異なる従属項において列挙されているということだけで、それらの特徴の組み合わせが好都合に使用できないということを示しているものではない。
【図１】
0006738697.tif 000004
【図２】
0006738697.tif 000005
【図３】
0006738697.tif 000006
【図４】
0006738697.tif 000007
【図５】
0006738697.tif 000008
【図６】
0006738697.tif 000009
【図７】
0006738697.tif 000010
【図８】
0006738697.tif 000011