(57)【特許請求の範囲】
【請求項１】
カメラ手段，光源，光路形成手段，および演算手段を含み、前記光路形成手段により、被験者が、その顔面を前記カメラ手段側から前記光源により照射され、瞳孔を含む顔面の像が前記カメラ手段に結像される関係を保って配置され、結像されたデータを演算して瞳孔を検出する瞳孔検出装置であって、
前記光源は、
被験者の瞳孔内反射が明瞳孔となる第１の波長成分を含む第１の照明光源と、
被験者の瞳孔内反射が暗瞳孔となる第２の波長成分を含み、瞳孔以外については前記第１の照明光源と同等の照明効果を呈する第２の照明光源とを含み、前記第２の照明光源の強度が前記第１の照明光源との関係で調整され、
前記カメラ手段は、
前記第１の照明光源による第１の画像データ獲得手段と、
前記第２の照明光源による第２の画像データ獲得手段とを含み、
前記光路形成手段は、
前記カメラ手段の第１の画像データ獲得手段と第２の画像データ獲得手段とを前記顔面に対して共通光軸で対向させ、
前記第１の照明光源からの光が前記顔面側から見て前記共通光軸の開口部内から発射され、前記第２の照明光源からの光が前記共通光軸の開口部の外周に近接し、かつ、互いに回転対称となるような複数の位置から発射するように配置し、
前記演算手段は、前記第１の画像データと前記第２の画像データを演算処理して瞳孔を検出する手段であり、
前記第１の照明光源は、前記光路形成手段により、複数の短波長用の発光素子の発光を結合して照射角調整光学手段を介して前記共通光軸の開口部内から発射される瞳孔検出装置。
【請求項２】
前記第２の照明光源は、前記光路形成手段により、前記照射角調整光学手段の外周に配置された１以上の長波長用の発光素子の発光を前記共通光軸の開口部外から発射される請求項１記載の瞳孔検出装置。
【請求項３】
前記第１および第２の照明光源からの光は前記共通光軸に配置された光分割手段を介して結合されるように構成されている請求項１記載の瞳孔検出装置。
【請求項４】
前記第２の照明光源は、前記共通光軸の開口部外に直接設けられた複数の長波長用の発光素子の発光を前記共通光軸の開口部外から発射される請求項１記載の瞳孔検出装置。
【請求項５】
カメラ手段，光源，光路形成手段，および演算手段を含み、前記光路形成手段により、被験者が、その顔面を前記カメラ手段側から前記光源により照射され、瞳孔を含む顔面の像が前記カメラ手段に結像される関係を保って配置され、結像されたデータを演算して瞳孔を検出する瞳孔検出装置であって、
前記光源は、
被験者の瞳孔内反射が明瞳孔となる第１の波長成分を含む第１の照明光源と、
被験者の瞳孔内反射が暗瞳孔となる第２の波長成分を含み、瞳孔以外については前記第１の照明光源と同等の照明効果を呈する第２の照明光源とを含み、前記第２の照明光源の強度が前記第１の照明光源との関係で調整され、
前記カメラ手段は、
前記第１の照明光源による第１の画像データ獲得手段と、
前記第２の照明光源による第２の画像データ獲得手段とを含み、
前記光路形成手段は、
前記カメラ手段の第１の画像データ獲得手段と第２の画像データ獲得手段とを前記顔面に対して共通光軸で対向させ、
前記第１の照明光源からの光が前記顔面側から見て前記共通光軸の開口部内から発射され、前記第２の照明光源からの光が前記共通光軸の開口部の外周に近接し、かつ、互いに回転対称となるような複数の位置から発射するように配置し、
前記演算手段は、前記第１の画像データと前記第２の画像データを演算処理して瞳孔を検出する手段であり、
前記第１および第２の照明光源は、複数の短波長用の発光素子と前記発光素子の外側に配置された１以上の長波長用の発光素子の発光を前記共通光軸に配置された光分割手段を介して結合されるように構成されている瞳孔検出装置。
【請求項６】
明瞳孔像を発生させる第１の波長成分を含む第１の照明光源と、
暗瞳孔像を発生させる第２の波長成分を含み瞳孔以外については前記第１の照明光源と同等の照明効果を呈する強度の第２の照明光源と、
前記各光源による照明像をそれぞれ撮像する、光学系が実質的に同一であり共通光軸に配置される第１および第２の撮像手段とを準備して、
前記第１の照明光源を共通光軸の関係にある前記第１および第２の撮像手段の開口内から、前記第２の照明光源を共通光軸の関係にある開口部の外周に近接し、かつ、互いに回転対称となるような複数の位置から照明光が射出されるように配置する配置ステップと、
前記第１の照明光源を起動して照明する第１の照明ステップと、
前記第２の照明光源を起動して照明する第２の照明ステップと、
前記各照明下に前記各照明像をそれぞれ撮像して第１の画像データと第２の画像データを獲得するデータ獲得ステップと、
前記第１の画像データと前記第２の画像データを差分演算処理して瞳孔を検出する演算ステップとを含み、
前記配置ステップでは、前記第１の照明光源が、複数の短波長用の発光素子の発光を結合して照射角調整光学手段を介して前記共通光軸の開口部内から発射されるように配置される瞳孔検出方法。
【請求項７】
明瞳孔像を発生させる第１の波長成分を含む第１の照明光源と、
暗瞳孔像を発生させる第２の波長成分を含み瞳孔以外については前記第１の照明光源と同等の照明効果を呈する強度の第２の照明光源と、
前記各光源による照明像をそれぞれ撮像する、光学系が実質的に同一であり共通光軸に配置される第１および第２の撮像手段とを準備して、
前記第１の照明光源を共通光軸の関係にある前記第１および第２の撮像手段の開口内から、前記第２の照明光源を共通光軸の関係にある開口部の外周に近接し、かつ、互いに回転対称となるような複数の位置から照明光が射出されるように配置する配置ステップと、
前記第１の照明光源を起動して照明する第１の照明ステップと、
前記第２の照明光源を起動して照明する第２の照明ステップと、
前記各照明下に前記各照明像をそれぞれ撮像して第１の画像データと第２の画像データを獲得するデータ獲得ステップと、
前記第１の画像データと前記第２の画像データを差分演算処理して瞳孔を検出する演算ステップとを含み、
前記配置ステップでは、前記第１および第２の照明光源が、複数の短波長用の発光素子と前記発光素子の外側に配置された１以上の長波長用の発光素子の発光を前記共通光軸に配置された光分割手段を介して結合されるように配置される瞳孔検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＣＤカメラ等を用いた遠隔の瞳孔を検出する技術において、光源の位置の違いと、光源の波長の違いによる網膜反射量の違いの両方を利用することにより、瞳孔の位置等を検出する瞳孔検出装置および方法に関する。
【背景技術】
【０００２】
瞳孔は、それ自体が小さいことと、基本的にどの方向から見ても円もしくは楕円に見えるだけでなく、黒目と違ってまぶたに隠れにくいため、頭部の姿勢を測定するための特徴点として利用されている。それを利用して、瞳孔の移動量をパソコン画面上のカーソル移動に対応させたのが「瞳孔マウス」であり、頭部の動きによりカーソルを動かすことができる技術に関する出願がなされている（特許文献１（特開２００５−１８２２４７））。
【０００３】
非特許文献１は、瞳孔を安定して高精度に検出するために、設置位置の異なる２つの同波長の光源を交互に点灯させて、それらによって生ずる瞳孔から明るい画像（明瞳孔画像）と暗い画像（暗瞳孔画像）を得てそれらを差分することにより、瞳孔を検出しやすくする技術を開示している。明瞳孔画像を得るためには、カメラの光軸上もしくはその近傍に光源を設置し、暗瞳孔画像を得るためには、カメラの光軸から離れたところに光源を設置する必要がある。この文献の方法では、これら２つの光源をビデオカメラの奇数フィールドと偶数フィールドに同期させて、交互に点燈させ、明瞳孔画像と暗瞳孔画像を交互に得て、画像差分を行なうことで、瞳孔以外の背景部を相殺させ、瞳孔部だけを浮き彫りにし、瞳孔を検出しやすくしている。しかし、その効果は、ひとつにカメラの光軸からどれだけ離れた光源を、どれだけ離れたところに設置するかにかかっており、効果をできるだけ大きくするためには、光軸からかなり離れたところに設置する必要があり、装置全体が大きくなる傾向があり、汎用性に欠ける結果となっている。
さらに、光軸から離れたところにある光源を分散して配置することは、光源が眼鏡反射として写りやすく、それも瞳孔検出に際して大きな問題となっている。
【０００４】
さらに、特許文献２（特許第２９８８２３５号）はカメラの光軸上の光源（共軸系照明）のほかに、光軸から大きくずれた左右の位置にそれぞれ１個ずつ光源（非共軸系照明）を配置する方法を提示している。この方法によれば、明瞳孔画像と暗瞳孔画像を差分したときに、カメラの共軸系照明の角膜反射像と非共軸系照明の角膜反射が互いに打ち消し合わないため、差分画像から角膜反射を検出でき、その角膜反射が視線方向を検出するのに役立つという利点がある。
しかし、このように共軸系照明と非共軸系照明を大きく離していると、それらによる眼鏡反射像同士も互いに打ち消しあわないため、眼鏡反射による雑音像が現れ、これを取り除くのが困難である。
【０００５】
アジレントテクノロジーズ社の出願に係る特許文献３（特開２００４−２６１５９８）は、明瞳孔画像を得るために、波長の異なる光源の一方をカメラの光軸に近い位置に配置し、暗瞳孔画像を得るためにもう一方をカメラの光軸から離れた位置に配置する構成を開示している。この文献では、これらの光源をほぼ同時に点燈させ、光学系にて波長分離を行い、明瞳孔画像と暗瞳孔画像を得てそれらの差分を行い、瞳孔像を抽出する方法について述べている。ここで２波長を用いたのは、同時に明瞳孔画像と暗瞳孔画像を得るためであり、２波長のうちどちらを光軸に近くすべきかについての示唆はない。なおこの文献の段落（００３５）の最後に、「従来のシリコン・ベースの検出器で測定すると、レチナール・リターン信号は、一般に、９５０ｎｍの波長に比べて、８００ｎｍのほうが強くなり、従って、この場合、短いほうの波長と軸上光源を関連づけるのが望ましい。」と述べられている。しかしこれは、カメラの感度に関する記述であり、カメラの感度が高ければ、瞳孔以外の部分の画像も明るくなるため、画像差分による瞳孔検出のしやすさへの効力はない。
【０００６】
また、特許文献４（特開平２−２２４６３７）は、波長の異なるＬＥＤを２重リング状に並べて、内側のリングを点燈させたとき明瞳孔画像を得て、外側のリングを点燈させて暗瞳孔画像を得る方法を提案している。
この文献は、前述の特許文献３（特開２００４−２６１５９８）の場合と同様に、単に異なる波長によって得た画像を波長の相違によって分離するために用いており、後述する本願発明で利用する「網膜反射量の波長による違い」については考慮されていない。
【０００７】
本件発明者の提案に係る特許文献５（特願２００５−２４１７２８）記載の発明は、カメラの開口部の中から２つの波長の光を発射させる方法である。この場合、分岐ファイバを用いて２波長の光を混合して発射させるため、２つの波長のそれぞれの光源による光をほぼ同一の輝度プロファイルを持たせることが可能であり、顔の各部において両波長によってほとんど同じ輝度分布を得ることができるので、見事に相殺させることが可能であること、さらに、角膜反射や眼鏡反射も同様に差分により相殺させやすい点で瞳孔検出においては有利である。
【０００８】
しかし、角膜反射が消えてしまうため、視線検出など角膜反射を検出する用途では使用しにくい。その他にも、眼球中心位置や角膜球中心を求める必要のある場合にも、角膜反射像の検出が必要なため同様のことが言える。また、瞳孔検出のみを目的とした例えば中心波長が８５０ｎｍのＬＥＤと９５０ｎｍのＬＥＤによる瞳孔輝度の差は非常に大きいわけではない。特に周囲が非常に明るい環境下では、カメラの画像において瞳孔画像自体が飽和しないようにするためには、絞りを絞る、アンプゲインを下げる、シャッタ速度を短くするなどの方法により対応するが、それはどれもゲインを下げることにほぼ等価であり、差分画像の瞳孔画像の輝度が下がるため、瞳孔検出が難しくなる。したがって、波長の違いからだけではなく、明瞳孔と暗瞳孔の効果を強く出す方法が必要である。
【０００９】
特許文献６（特表２００２−５１３１７６）記載の発明は、２波長の反射率が顔や目の表面では同じであるが、網膜では異なることを利用している点は、後述する本発明の提案と共通する。しかし、２種類の波長のＬＥＤをカメラの開口部の周りにリング状に並べた（カメラの光軸から同距離に２種類の波長のＬＥＤをならべた）構成であり本発明の構成とは異なる。
【特許文献１】特開２００５−１８２２４７
【特許文献２】特許第２９８８２３５号
【特許文献３】特開２００４−２６１５９８
【特許文献４】特開平２−２２４６３７
【特許文献５】特願２００５−２４１７２８
【特許文献６】特表２００２−５１３１７６
【非特許文献１】「多光源による瞳孔検出と追跡（Pupil detection and tracking using multiple light sources ）」，著者  Ｃ．Ｈ．モリモト他（C.H. Morimoto, D. Koons, A. Amir, M. Flickner ），イメージおよびビジョンのコンピューティング１８（２０００）３３１−３３５（Image and Vision Computing 18 (2000) 331-335）
【００１０】
前述した瞳孔検出に重要な関連をもつ技術として角膜反射の測定技術があり、瞳孔の検出と関連してまたは独立して、姿勢とか視線の検出に利用できる。後述する３つの特許文献はいずれも本願発明者の発明に係るものであり、角膜反射に関連し、視線の検出等に利用されている。特許文献７記載の発明は視線検出方法および視線検出装置、特許文献８記載の発明は三次元視点計測装置、特許文献９に係る発明は距離イメージセンサを用いた視線検出装置を開示している。角膜の位置はカメラと光源の位置に密接に関連しているが、これらの発明では、光源について、明瞳孔と暗瞳孔照明に関連する分析はなされていない。
【特許文献７】特開２００５−１８５４３１
【特許文献８】特開２００５−１９８７４３
【特許文献９】特開２００５−２３００４９
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明の主たる目的は、カメラ手段側から２種類の光源により瞳孔を含む顔面を照射して画像を獲得し、瞳孔を検出する瞳孔検出装置において、光源の質と配置に改良を加え瞳孔検出を確実にする瞳孔検出装置を提供することにある。
本発明の他の目的は瞳孔検出を確実に実施できる瞳孔検出方法を提供することにある。
本発明のさらに他の実用上の目的は前述した装置や方法の検出結果の信頼性を向上させるとともに、従来障害と成り得た高い輝度に原因する雑音性の反射の除去を可能にするとともに、同様に高い輝度に原因する角膜反射を瞳孔検出と同時に可能にすることにある。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明による請求項１記載の瞳孔検出装置は、
カメラ手段，光源，光路形成手段，および演算手段を含み、光路形成手段により、被験者が、その顔面をカメラ手段側から光源により照射され、瞳孔を含む顔面の像がカメラ手段に結像される関係を保って配置され、結像されたデータを演算して瞳孔を検出する瞳孔検出装置であって、
光源は、
被験者の瞳孔内反射が明瞳孔となる第１の波長成分を含む第１の照明光源と、
被験者の瞳孔内反射が暗瞳孔となる第２の波長成分を含み、瞳孔以外については第１の照明光源と同等の照明効果を呈する第２の照明光源とを含み、第２の照明光源の強度が第１の照明光源との関係で調整され、
カメラ手段は、
第１の照明光源による第１の画像データ獲得手段と、
第２の照明光源による第２の画像データ獲得手段とを含み、
光路形成手段は、
カメラ手段の第１の画像データ獲得手段と第２の画像データ獲得手段とを顔面に対して共通光軸で対向させ、
第１の照明光源からの光が顔面側から見て共通光軸の開口部内から発射され、第２の照明光源からの光が共通光軸の開口部の外周に近接し、かつ、互いに回転対称となるような複数の位置から発射するように配置し、
演算手段は、第１の画像データと第２の画像データを演算処理して瞳孔を検出する手段であり、
第１の照明光源は、光路形成手段により、複数の短波長用の発光素子の発光を結合して照射角調整光学手段を介して共通光軸の開口部内から発射される。
【００１３】
本発明による請求項２記載の瞳孔検出装置は、請求項１記載の瞳孔検出装置において、
前記第２の照明光源は、前記光路形成手段により、前記照射角調整光学手段の外周に配置された１以上の長波長用の発光素子の発光を前記共通光軸の開口部外から発射されるように構成されている。
本発明による請求項３記載の瞳孔検出装置は、請求項１記載の瞳孔検出装置において、
前記第１および第２の照明光源からの光は前記共通光軸に配置された光分割手段、ハーフミラー等を介して結合されるように構成されている。
本発明による請求項４記載の瞳孔検出装置は、請求項１記載の瞳孔検出装置において、
前記第２の照明光源は、前記共通光軸の開口部外に直接設けられた複数の長波長用の発光素子の発光を前記共通光軸の開口部外から発射されるように構成されている。
本発明による請求項５記載の瞳孔検出装置は、
カメラ手段，光源，光路形成手段，および演算手段を含み、光路形成手段により、被験者が、その顔面をカメラ手段側から光源により照射され、瞳孔を含む顔面の像がカメラ手段に結像される関係を保って配置され、結像されたデータを演算して瞳孔を検出する瞳孔検出装置であって、
光源は、
被験者の瞳孔内反射が明瞳孔となる第１の波長成分を含む第１の照明光源と、
被験者の瞳孔内反射が暗瞳孔となる第２の波長成分を含み、瞳孔以外については第１の照明光源と同等の照明効果を呈する第２の照明光源とを含み、第２の照明光源の強度が第１の照明光源との関係で調整され、
カメラ手段は、
第１の照明光源による第１の画像データ獲得手段と、
第２の照明光源による第２の画像データ獲得手段とを含み、
光路形成手段は、
カメラ手段の第１の画像データ獲得手段と第２の画像データ獲得手段とを顔面に対して共通光軸で対向させ、
第１の照明光源からの光が顔面側から見て共通光軸の開口部内から発射され、第２の照明光源からの光が共通光軸の開口部の外周に近接し、かつ、互いに回転対称となるような複数の位置から発射するように配置し、
演算手段は、第１の画像データと第２の画像データを演算処理して瞳孔を検出する手段であり、
前記第１および第２の照明光源は、複数の短波長用の発光素子と前記発光素子の外側に配置された１以上の長波長用の発光素子の発光を前記共通光軸に配置された光分割手段、ハーフミラー等を介して結合されるように構成されている。
【００１４】
本発明による請求項６記載の瞳孔検出方法は、
明瞳孔像を発生させる第１の波長成分を含む第１の照明光源と、
暗瞳孔像を発生させる第２の波長成分を含み瞳孔以外については第１の照明光源と同等の照明効果を呈する強度の第２の照明光源と、
各光源による照明像をそれぞれ撮像する、光学系が実質的に同一であり共通光軸に配置される第１および第２の撮像手段とを準備して、
第１の照明光源を共通光軸の関係にある第１および第２の撮像手段の開口内から、第２の照明光源を共通光軸の関係にある開口部の外周に近接し、かつ、互いに回転対称となるような複数の位置から照明光が射出されるように配置する配置ステップと、
第１の照明光源を起動して照明する第１の照明ステップと、
第２の照明光源を起動して照明する第２の照明ステップと、
各照明下に各照明像をそれぞれ撮像して第１の画像データと第２の画像データを獲得するデータ獲得ステップと、
第１の画像データと第２の画像データを差分演算処理して瞳孔を検出する演算ステップとを含み、
配置ステップでは、第１の照明光源が、複数の短波長用の発光素子の発光を結合して照射角調整光学手段を介して共通光軸の開口部内から発射されるように配置される。
また、本発明による請求項７記載の瞳孔検出方法は、
明瞳孔像を発生させる第１の波長成分を含む第１の照明光源と、
暗瞳孔像を発生させる第２の波長成分を含み瞳孔以外については第１の照明光源と同等の照明効果を呈する強度の第２の照明光源と、
各光源による照明像をそれぞれ撮像する、光学系が実質的に同一であり共通光軸に配置される第１および第２の撮像手段とを準備して、
第１の照明光源を共通光軸の関係にある第１および第２の撮像手段の開口内から、第２の照明光源を共通光軸の関係にある開口部の外周に近接し、かつ、互いに回転対称となるような複数の位置から照明光が射出されるように配置する配置ステップと、
第１の照明光源を起動して照明する第１の照明ステップと、
第２の照明光源を起動して照明する第２の照明ステップと、
各照明下に各照明像をそれぞれ撮像して第１の画像データと第２の画像データを獲得するデータ獲得ステップと、
第１の画像データと第２の画像データを差分演算処理して瞳孔を検出する演算ステップとを含み、
配置ステップでは、第１および第２の照明光源が、複数の短波長用の発光素子と発光素子の外側に配置された１以上の長波長用の発光素子の発光を共通光軸に配置された光分割手段を介して結合されるように配置される。
【発明の効果】
【００１５】
本発明装置および方法によれば、従来の同種装置や方法と比較して、小形にかかわらず瞳孔および角膜反射を検出しやすくなった。
同波長を同じサイズで２重リング状に並べるのに対して、使用環境が明るい場合にも瞳孔および角膜反射をロバストに検出できる。
また、眼鏡をしている場合に対する対処も画像処理が容易となり、眼鏡を掛けている場合にも、眼光反射を瞳孔と誤判断することなく、瞳孔が検出できる。
２波長分離することにより、ほぼ同時に２波長の光源を瞬間的に点灯させることで振動に対して強くすることができる。角膜反射点（領域）の検出が瞳孔検出と同時に可能となる。
【発明を実施するための最良の形態】
【００１６】
本発明の原理は、照明用の光源として短波長（たとえば８５０ｎｍ）と長波長（たとえば９５０ｎｍ）の２種類を準備し、それらの配置をイメージセンサを用いる２つのカメラの共通光軸およびレンズ開口との関係を考慮して決定する。
これにより、短波長による明瞳孔画像データと長波長による暗瞳孔画像データを確実に取得して、瞳孔検出を行うものである。長波長の光源を開口に近接して配置することにより好ましくない雑音光の発生を防止している。
【００１７】
（瞳孔検出の第１の実施形態）
図１は、本発明による瞳孔検出装置の第１の実施形態を示す光路図である。
図において、対物レンズ９，レンズ８，短波長用バンドパスフィルタ５，レンズ３，および短波長用イメージセンサ１は、第１のカメラの主要部を形成している。
対物レンズ９，レンズ８，長波長用バンドパスフィルタ６，レンズ４，および長波長用イメージセンサ２は、第２のカメラの主要部を形成している。
これら２つのカメラの光軸にハーフミラー（もしくはダイクロイックミラー）７が配置され、外見上は２つのカメラが光軸を共有した配置になっている。
対物レンズ９の物体側に照明光源結合用のハーフミラー１０が設けられている。
【００１８】
短波長用光源（開口部内）２１は、短波長用発光素子２１ａ〜２１ｄから構成されており、分岐ファイバ２３ａ〜２３ｄにより結合部２４に接続されている。結合部２４の前面に照射角調整用レンズ２５が配置されている。照射角調整用レンズ２５の周囲に長波長用光源２６を形成する複数の長波長用発光素子２６ａ〜が配置されている。この長波長用発光素子２６ａ〜の個数は、短波長用光源との関係で調整される。図中、正面図の示す矢印の方向から照射角調整用レンズ２５と長波長用発光素子２６ｎ方向を見た図を正面図として拡大して示してある。この例は、長波長用発光素子２６ａ〜を１４個配置した例と長波長用発光素子２６ｊ〜を４個配置した例と、また、長波長用発光素子２６ｋ〜を４個十字に配置した例の３例を示してある。
【００１９】
短波長用光源と長波長用光源を同時に起動すると、各照明光はハーフミラー１０で反射されて、顔を照射する。このとき、顔の方からみると短波長用光源の光は、カメラの共通光軸を含む開口内から照射され、長波長用光源の光は、カメラの共通光軸から離れた開口内に外接する位置から照射されることになる。これらの照明による明瞳孔像を含む顔の像と、暗瞳孔像を含む顔の像は、ハーフミラー１０を透過してレンズ９，８を透過し、ハーフミラー７により分離され、短波長（８５０ｎｍ）を含む光は、バンドパスフィルタ５を透過し、レンズ３により短波長用イメージセンサ１上に結像される。ハーフミラー１０を透過してハーフミラー７により反射分離された長波長（９５０ｎｍ）を含む光は、バンドパスフィルタ６を透過し、レンズ４により長波長用イメージセンサ２上に結像される。
【００２０】
各イメージセンサ１，２の出力は、図示しない演算回路により画素単位で差分演算が行われ、瞳孔像が検出される。この状態と同時角膜検出の原理を図４を参照して説明する。図４は、各イメージセンサ１，２の出力の差分画像を形成する１走査線を取り出して示した図である。
短波長用イメージセンサ１上に結像される明瞳孔のレベルは周囲の部分より高く角膜反射のレベルはさらに高い。長波長用イメージセンサ２上に結像される暗瞳孔のレベルは明瞳孔のレベルより小さくその領域は明瞳孔の領域と略等しい。長波長用イメージセンサ２上の角膜反射の中心は明瞳孔のそれと一致し、角膜反射の領域は明瞳孔の角膜反射の領域よりも広くなり、反射のレベルは明瞳孔の場合よりも低くなる。これらを差分した結果、図４に示す走査波形が得られることになる。
すなわち、角膜反射は、短波長用光源と長波長用光源の位置が異なるため、明瞳孔画像と暗瞳孔画像の差分によって相殺されない。その結果、図４において差分画像中に高輝度部分（短波長用光源による角膜反射）および、低輝度部分（長波長用光源による角膜反射）として残る。
図４から理解できるように、明瞳孔画像や暗瞳孔画像から角膜反射を検出するよりも、差分画像から検出したほうが閾値の設定が容易となる。これにより角膜反射検出のロバスト性が高まる。特に、被験者の周囲に明るいものが存在するときには、角膜の表面にはそれら外乱が写るため、角膜反射と区別しにくいが、差分をすることで、それら外乱は消失するため、非常に有利である。なお、角膜反射像は瞳孔像の内部（前述の例）か、ごく近傍に常に存在することと、ほぼ小さな点として写る。それに対して高輝度の眼鏡反射の領域は形状的に大きい。したがって、瞳孔の近傍の小さな点を探索することで、眼鏡反射との区別ができる。
また、図４に示すように、明瞳孔画像から暗瞳孔画像を差分したときの輝度部分布を一次元的に表現するとわかるように、瞳孔は、正の閾値で検出する。それに対して、短波長用（開口部内）光源による角膜反射を検出しようとすると、瞳孔の輝度がそれの面積にほぼ比例して変化するため、閾値設定が多少難しい面があるが、負の閾値を設定し、それにより長波長用（開口部外）光源による角膜反射像の中心（重心）を検出することで、閾値の設定が容易にでき、ロバスト性が向上する。
長波長用（開口部外）光源による角膜反射を用いた場合でも、その角膜反射を生じさせる光源がカメラの光軸上に存在するとみなすことができるため、前述した特許文献７〜９に示したような視線検出などに応用できる。
【００２１】
（瞳孔検出の第２の実施形態）
図２に示す瞳孔検出の第２の実施形態においては、第１のカメラと第２のカメラおよび短波長用光源の構成は、前述した第１の実施形態のそれと異ならないので、同一の数字を付して説明を省略する。ハーフミラー１０の物体側に各カメラの開口に対応する円形孔を有する支持板２９を設けてある。この円形孔の外周に沿って長波長用光源２８を形成する長波長用の発光素子２８ａ〜を配置してある。
図中、正面図を付した矢印方向からカメラ側を見た図を正面図として示す。
この例は、長波長用発光素子２８ａ〜を１４個配置した例と長波長用発光素子２８ｊ〜を４個配置した例と、また、長波長用発光素子２８ｋ〜を４個十字に配置した例の３例を示してある。
【００２２】
短波長用光源と長波長用光源を同時に起動すると、短波長照明光はハーフミラー１０で反射されて、顔を照射する。一方、長波長照明光は、直接顔に向けて発射される。顔の方からみると短波長用光源の光は、カメラの共通光軸を含む開口内から照射され、長波長用光源の光は、カメラの共通光軸から離れた開口に外接する位置から照射されることになる。これらの照明による明瞳孔像を含む顔の像と、暗瞳孔像を含む顔の像は、ハーフミラー１０を透過し、レンズ９，８を透過し、ハーフミラー７により分離され、短波長（８５０ｎｍ）を含む光は、バンドパスフィルタ５を透過し、レンズ３により短波長用イメージセンサ１上に結像される。ハーフミラー１０を透過してハーフミラー７により反射分離された長波長（９５０ｎｍ）を含む光は、バンドパスフィルタ６を透過し、レンズ４により長波長用イメージセンサ２上に結像される。
【００２３】
各イメージセンサ１，２の出力は、図示しない演算回路により画素単位で差分演算が行われ、瞳孔像が検出される。このとき、角膜反射領域または反射点も前述と同様に検出可能である。
【００２４】
（瞳孔検出の第３の実施形態）
図３に示す瞳孔検出の第３の実施形態においては、第１のカメラと第２のカメラの構成は、前述した第１および第２の実施形態のそれと異ならないので、同一の数字を付して説明を省略する。ハーフミラー１０の下側に基板３２を配置し、この基板上に図中正面図に示すように長波長用光源３１を形成する長波長用の発光素子３１ａ〜を７個配置してある。この長波長用の発光素子３１ａ〜の内側に短波長用の発光素子３０ａ〜を７個配置してある。
【００２５】
短波長用光源と長波長用光源を同時に起動すると、短波長用照明光と長波長用照明光は、ハーフミラー１０で反射されて、顔を照射する。顔の方からみると短波長用光源の光は、カメラの共通光軸を含む開口内から照射され、長波長用光源の光は、カメラの共通光軸から離れた開口に外接する位置から照射されることになる。これらの照明による明瞳孔像を含む顔の像と、暗瞳孔像を含む顔の像は、ハーフミラー１０を透過し、レンズ９，８を透過し、ハーフミラー７により分離され、短波長（８５０ｎｍ）を含む光は、バンドパスフィルタ５を透過し、レンズ３により短波長用イメージセンサ１上に結像される。ハーフミラー１０を透過してハーフミラー７により反射分離された長波長（９５０ｎｍ）を含む光は、バンドパスフィルタ６を透過し、レンズ４により長波長用イメージセンサ２上に結像される。
【００２６】
各イメージセンサ１，２の出力は、図示しない演算回路により画素単位で差分演算が行われ、瞳孔像が検出される。このとき、角膜反射領域または反射点も前述と同様に検出可能である。
【産業上の利用可能性】
【００２７】
本発明による瞳孔検出装置によれば、瞳孔の検出が正確にできる。これを利用して、瞳孔の移動量をパソコン画面上のカーソル移動に対応させるヒューマンインターフェイスの開発の分野に利用することができる。また照明環境の極端に異なる所でも瞳孔検出が可能であるから、乗用車，トラックの運転者の視線を検出したり、眠気を検知したり、余所見運転を検出する運転援助の機器開発の産業分野にも利用できる。
【図面の簡単な説明】
【００２８】
【図１】本発明による瞳孔検出装置の第１の実施形態を示す光路図である。
【図２】本発明による瞳孔検出装置の第２の実施形態を示す光路図である。
【図３】本発明による瞳孔検出装置の第３の実施形態を示す光路図である。
【図４】瞳孔像の検出と同時角膜検出の原理を説明するための波形図である。
【符号の説明】
【００２９】
１  短波長用イメージセンサ
２  長波長用イメージセンサ
３，４  レンズ
５  短波長用バンドパスフィルタ
６  長波長用バンドパスフィルタ
７  ハーフミラー（またはダイクロイックミラー）
８  レンズ
９  対物レンズ
１０  ハーフミラー
１１  平行光
２１  短波長用光源（開口部内用）
２１ａ〜２１ｄ  短波長用発光素子
２３ａ〜２３ｄ  分岐ファイバ
２４  結合部（シリンドリカルレンズ）
２５  照射角調整用レンズ
２６  長波長用光源（開口部外用）
２６ａ  長波長用発光素子
３０  短波長用光源（開口部内用）
３１  長波長用光源（開口部外用）
【図１】
0004613315.tif 000002
【図２】
0004613315.tif 000003
【図３】
0004613315.tif 000004
【図４】
0004613315.tif 000005