(57)【特許請求の範囲】
【請求項１】
頭部に装着可能であり、使用者の瞳孔を検出する頭部装着型瞳孔検出装置であって、
視界前方を避けた位置に配置され、眼球からの反射光を受光して眼球像を生成する受光部と、
前記眼球からの反射光を前記受光部上に導光する光学系と、
前記眼球像から瞳孔を検出する瞳孔検出手段と、
映像を表示する表示部と、
前記表示部に表示させる映像を制御する表示制御部とを備え、
前記表示部は、映像光を前記光学系によって眼球に導光し、前記映像を拡大した虚像の表示画面を形成し、
前記受光部の受光視野は、少なくとも一方向において、前記表示画面を観察する際の眼球の動きによる瞳孔の可動範囲よりも小さく、かつ、前記表示画面を観察する際の眼球の動きによる瞳孔中心の可動範囲よりも大きいことを特徴とする頭部装着型瞳孔検出装置。
【請求項２】
前記光学系は、眼球前方の視野内に配置される、眼球からの反射光を前記受光部に向けて反射する少なくとも１つの反射部を有し、
前記反射部の少なくとも一方の幅は、人の平均的な瞳孔径である４ｍｍよりも小さいことを特徴とする、請求項１に記載の頭部装着型瞳孔検出装置。
【請求項３】
前記瞳孔検出手段は、前記眼球像から、瞳孔位置、瞳孔中心位置、又は瞳孔径の少なくとも一つを検出することを特徴とする、請求項１または２に記載の頭部装着型瞳孔検出装置。
【請求項４】
前記表示制御部は、前記検出した瞳孔位置又は瞳孔中心位置に対応する前記表示画面上の視線位置を識別し、該識別結果に基づいて前記表示部を制御することを特徴とする、請求項３に記載の頭部装着型瞳孔検出装置。
【請求項５】
前記表示制御部は、前記検出した瞳孔位置又は瞳孔中心位置から前記表示画面上の視線の有無を識別し、該識別結果に基づいて前記表示部を制御することを特徴とする、請求項３に記載の頭部装着型瞳孔検出装置。
【請求項６】
前記瞳孔検出手段は、前記検出した瞳孔中心位置が前記受光部の受光視野内に位置するか否かを判定し、
前記表示制御部は、前記瞳孔中心位置が前記受光部の受光視野内に位置する場合には、前記表示部に映像を表示させ、前記瞳孔中心位置が前記受光部の受光視野内に位置しない場合には、前記表示部に映像を表示させないことを特徴とする、請求項５に記載の頭部装着型瞳孔検出装置。
【請求項７】
前記瞳孔検出手段は、前記受光部の受光視野内における前記瞳孔の面積が所定の値以上であるか否かを判定し、
前記表示制御部は、前記受光部の受光視野内における前記瞳孔の面積が所定の値以上である場合には、前記表示部に映像を表示させ、前記受光部の受光視野内における前記瞳孔の面積が所定の値より小さい場合には、前記表示部に映像を表示させないことを特徴とする、請求項５に記載の頭部装着型瞳孔検出装置。
【請求項８】
前記瞳孔検出手段は、前記受光部の受光強度が所定の値以下であるか否かを判定し、
前記表示制御部は、前記受光部の受光強度が所定の値以下である場合には、前記表示部に映像を表示させ、前記受光部の受光強度が所定の値より大きい場合には、前記表示部に映像を表示させないことを特徴とする、請求項５に記載の頭部装着型瞳孔検出装置。
【請求項９】
前記瞳孔検出手段は、前記眼球像の瞳孔の一部が欠けている場合には、該一部が欠けている瞳孔の輪郭から曲率を算出して、前記瞳孔位置、瞳孔中心位置、又は瞳孔径の少なくとも一つを検出することを特徴とする、請求項３から８のいずれか一項に記載の頭部装着型瞳孔検出装置。
【請求項１０】
前記光学系は、視界の正面を見ているときには、前記受光部の受光視野内に瞳孔の中心が入らないように構成されていることを特徴とする、請求項１から９のいずれか一項に記載の頭部装着型瞳孔検出装置。
【請求項１１】
頭部に装着可能であり、使用者の瞳孔を検出する頭部装着型瞳孔検出装置であって、
視界前方を避けた位置に配置され、眼球からの反射光を受光して眼球像を生成する受光部と、
前記眼球からの反射光を前記受光部上に導光する光学系と、
前記眼球像から瞳孔を検出する瞳孔検出手段と、
映像を表示する表示部と、
前記表示部に表示させる映像を制御する表示制御部とを備え、
前記受光部の眼球に対する受光視野は、少なくとも一方向において眼球の動きによる瞳孔の可動範囲よりも小さくなるよう制限され、
前記瞳孔検出手段は、前記眼球像から瞳孔中心位置を検出し、前記検出した瞳孔中心位置が前記受光部の受光視野内に位置するか否かを判定し、
前記表示制御部は、前記瞳孔中心位置が前記受光部の受光視野内に位置する場合には、前記表示部に映像を表示させ、前記瞳孔中心位置が前記受光部の受光視野内に位置しない場合には、前記表示部に映像を表示させないことを特徴とする頭部装着型瞳孔検出装置。
【請求項１２】
頭部に装着可能であり、使用者の瞳孔を検出する頭部装着型瞳孔検出装置であって、
視界前方を避けた位置に配置され、眼球からの反射光を受光して眼球像を生成する受光部と、
前記眼球からの反射光を前記受光部上に導光する光学系と、
前記眼球像から瞳孔を検出する瞳孔検出手段と、
映像を表示する表示部と、
前記表示部に表示させる映像を制御する表示制御部とを備え、
前記受光部の眼球に対する受光視野は、少なくとも一方向において眼球の動きによる瞳孔の可動範囲よりも小さくなるよう制限され、
前記瞳孔検出手段は、前記眼球像から、瞳孔位置、瞳孔中心位置、又は瞳孔径の少なくとも一つを検出し、前記受光部の受光視野内における前記瞳孔の面積が所定の値以上であるか否かを判定し、
前記表示制御部は、前記受光部の受光視野内における前記瞳孔の面積が所定の値以上である場合には、前記表示部に映像を表示させ、前記受光部の受光視野内における前記瞳孔の面積が所定の値より小さい場合には、前記表示部に映像を表示させないことを特徴とする頭部装着型瞳孔検出装置。
【請求項１３】
頭部に装着可能であり、使用者の瞳孔を検出する頭部装着型瞳孔検出装置であって、
視界前方を避けた位置に配置され、眼球からの反射光を受光して眼球像を生成する受光部と、
前記眼球からの反射光を前記受光部上に導光する光学系と、
前記眼球像から瞳孔を検出する瞳孔検出手段とを備え、
前記受光部の眼球に対する受光視野は、少なくとも一方向において眼球の動きによる瞳孔の可動範囲よりも小さくなるよう制限され、
前記光学系は、視界の正面を見ているときには、前記受光部の受光視野内に瞳孔の中心が入らないように構成されていることを特徴とする頭部装着型瞳孔検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、頭部に装着可能であり、使用者の瞳孔を検出する、頭部装着型瞳孔検出装置に関するものである。
【背景技術】
【０００２】
従来、頭部装着型表示装置等に組み込まれ、観察者の視線を検出して画像の観察状態を調整する画像観察装置が知られている（例えば、特許文献１参照）。また、モバイル環境での利用を考慮した小型の視線検出装置も提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３６８３９３４号公報
【特許文献２】特開２００２−１４３０９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載の画像観察装置は大型であるため、モバイル環境には適さず、外界視界も確保できず、使用することができないという問題があった。また、特許文献２に記載の視線検出装置は、眼球を広い範囲で撮影しようとするために、眼前にある程度距離をおいた位置にカメラを配置しなければならず、邪魔であり、カメラの背景の視界が遮られるものであった。そのため、測定実験等には用いられるが、一般の使用者が日々装着するには向いていないという問題があった。
【０００５】
本発明の目的は、上記問題を解決するため、小型でモバイル環境でも使用でき、外界視界を確保した頭部装着型瞳孔検出装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明に係る頭部装着型瞳孔検出装置は、眼球前方の視界を避けた位置に受光部を配置するとともに、光学系にて眼球からの反射光を導光する。その際、受光部の受光視野範囲を制限することで光学系を小型化する。さらに、光学系の一部に含まれ、視界前方に配置される反射部の幅を、眼球の動きによる瞳孔の可動範囲よりも小さくする。
【０００７】
すなわち、本発明に係る頭部装着型瞳孔検出装置は、頭部に装着可能であり、使用者の瞳孔を検出する頭部装着型瞳孔検出装置であって、視界前方を避けた位置に配置され、眼球からの反射光を受光して眼球像を生成する受光部と、前記眼球からの反射光を前記受光部上に導光する光学系と、前記眼球像から瞳孔を検出する瞳孔検出手段と、映像を表示する表示部と、前記表示部に表示させる映像を制御する表示制御部とを備え、前記表示部は、映像光を前記光学系によって眼球に導光し、前記映像を拡大した虚像の表示画面を形成し、前記受光部の受光視野は、少なくとも一方向において、前記表示画面を観察する際の眼球の動きによる瞳孔の可動範囲よりも小さく、かつ、前記表示画面を観察する際の眼球の動きによる瞳孔中心の可動範囲よりも大きいことを特徴とする。
【０００８】
本頭部装着型瞳孔検出装置によれば、受光部を視界前方を避けた位置に配置するため、使用者の視界前方の視野を遮ることがない。また、受光部の受光視野を小さく制限することで、光学系を小型化、薄型化できるため、必要最低限の視野範囲を確保し使用者の視界を極力遮ることなく、瞳孔を検出することができる。また、表示手段を一体に搭載することにより、同一の光学系を用いて、虚像映像を観察することができ、映像観察時の瞳孔の状態も検出することができる。
【０００９】
また、本発明に係る頭部装着型瞳孔検出装置において、前記光学系は、眼球前方の視野内に配置される、眼球からの反射光を前記受光部に向けて反射する少なくとも１つの反射部を有し、前記反射部の少なくとも一方の幅は、人の平均的な瞳孔径である４ｍｍよりも小さいことを特徴とする。
【００１０】
本頭部装着型瞳孔検出装置によれば、眼前に配置される光学系を小型化することで、外観上装置の存在を目立たなくするとともに、眼前に配置される反射部を人の平均的な瞳孔径以下とすることで、装着者から見た外界をシースルーとして視認することができるため、装着者も装置の存在を気にせずに利用することができる。
【００１７】
また、本発明に係る頭部装着型瞳孔検出装置において、前記瞳孔検出手段は、前記眼球像から、瞳孔位置、瞳孔中心位置、又は瞳孔径の少なくとも一つを検出することを特徴とする。
【００１８】
本頭部装着型瞳孔検出装置によれば、瞳孔の状態に応じて表示部の制御を切替えることができる。
【００１９】
また、本発明に係る頭部装着型瞳孔検出装置において、前記表示制御部は、前記検出した瞳孔位置又は瞳孔中心位置に対応する前記表示画面上の視線位置を識別し、該識別結果に基づいて前記表示部を制御することを特徴とする。
【００２０】
本頭部装着型瞳孔検出装置によれば、視線（瞳孔）の移動だけで表示画面に表示されたメニュー項目を選択し、選択したメニュー内容を表示させることができる。
【００２１】
また、本発明に係る頭部装着型瞳孔検出装置において、前記表示制御部は、前記検出した瞳孔位置又は瞳孔中心位置から前記表示画面上の視線の有無を識別し、該識別結果に基づいて前記表示部を制御することを特徴とする。
【００２２】
本頭部装着型瞳孔検出装置によれば、視界を遮らない光学系であるため、瞳孔位置の検出により、外界に視線位置があることを検出することができる。
【００２３】
また、本発明に係る頭部装着型瞳孔検出装置において、前記瞳孔検出手段は、前記検出した瞳孔中心位置が前記受光部の受光視野内に位置するか否かを判定し、前記表示制御部は、前記瞳孔中心位置が前記受光部の受光視野内に位置する場合には、前記表示部に映像を表示させ、前記瞳孔中心位置が前記受光部の受光視野内に位置しない場合には、前記表示部に映像を表示させないことを特徴とする。
【００２４】
本頭部装着型瞳孔検出装置によれば、簡易な処理で瞳孔位置を検出でき、表示画面内の視線の有無を判断して表示制御を切替えることができる。
【００２５】
また、本発明に係る頭部装着型瞳孔検出装置において、前記受光部の受光視野内における前記瞳孔の面積が所定の値以上であるか否かを判定し、前記表示制御部は、前記受光部の受光視野内における前記瞳孔の面積が所定の値以上である場合には、前記表示部に映像を表示させ、前記受光部の受光視野内における前記瞳孔の面積が所定の値より小さい場合には、前記表示部に映像を表示させないことを特徴とする。
【００２６】
本頭部装着型瞳孔検出装置によれば、簡易な処理で瞳孔位置を検出でき、表示画面内の視線の有無を判断して表示制御を切替えることができる。
【００２７】
また、本発明に係る頭部装着型瞳孔検出装置において、前記瞳孔検出手段は、前記受光部の受光強度が所定の値以下であるか否かを判定し、前記表示制御部は、前記受光部の受光強度が所定の値以下である場合には、前記表示部に映像を表示させ、前記受光部の受光強度が所定の値より大きい場合には、前記表示部に映像を表示させないことを特徴とする。
【００２８】
本頭部装着型瞳孔検出装置によれば、簡易な処理で瞳孔位置を検出でき、表示画面内の視線の有無を判断して表示制御を切替えることができる。
【００２９】
また、本発明に係る頭部装着型瞳孔検出装置において、前記瞳孔検出手段は、前記眼球像の瞳孔の一部が欠けている場合には、該一部が欠けている瞳孔の欠けていない部分の輪郭から曲率を算出して、前記瞳孔位置、瞳孔中心位置、又は瞳孔径の少なくとも一つを検出することを特徴とする。
【００３０】
本頭部装着型瞳孔検出装置によれば、受光した眼球像が瞳孔の一部が欠けている場合であっても、瞳孔位置、瞳孔中心位置、及び瞳孔径を検出することができる。
【００３１】
また、本発明に係る頭部装着型瞳孔検出装置において、前記光学系は、視界の正面を見ているときには、前記受光部の受光視野内に瞳孔の中心が入らないように構成されていることを特徴とする。
【００３２】
本頭部装着型瞳孔検出装置によれば、正面視界を遮らず外界を確保することができ、また外界を見ているときには瞳孔中心が検出されないため、この場合には瞳孔検出以外の処理を停止したり、駆動周波数を低下させたりして省電力化を図ることができる。
【発明の効果】
【００３３】
このように、本発明によれば、小型でモバイル環境でも使用でき、外界視界を確保した頭部装着型瞳孔検出装置を提供することができるようになる。
【図面の簡単な説明】
【００３４】
【図１】本発明による第１の実施形態の頭部装着型瞳孔検出装置の外観図である。
【図２】本発明による第１の実施形態の頭部装着型瞳孔検出装置の機能ブロック図である。
【図３】本発明による第１の実施形態の頭部装着型瞳孔検出装置の光学系を示す図である。
【図４】本発明による第１の実施形態の頭部装着型瞳孔検出装置の受光部の受光視野を示す図である。
【図５】本発明による第１の実施形態の頭部装着型瞳孔検出装置のシースルー効果を示す図である。
【図６】本発明による第２の実施形態の頭部装着型瞳孔検出装置の外観図である。
【図７】本発明による第２の実施形態の頭部装着型瞳孔検出装置の光学系を示す図である。
【図８】本発明による第２の実施形態の頭部装着型瞳孔検出装置の受光部の受光視野を示す図である。
【図９】本発明による第３の実施形態の頭部装着型瞳孔検出装置の機能ブロック図である。
【図１０】本発明による第３の実施形態の頭部装着型瞳孔検出装置の光学系を示す図である。
【図１１】本発明による第３の実施形態の頭部装着型瞳孔検出装置の受光部の受光視野を示す図である。
【図１２】本発明による第３の実施形態の頭部装着型瞳孔検出装置の表示画面上の視野位置検出を示す図である。
【図１３】本発明による第３の実施形態の頭部装着型瞳孔検出装置のメニュー操作の動作を示すフローチャートである。
【図１４】本発明による第３の実施形態の頭部装着型瞳孔検出装置の瞳孔中心検知による視線有無判断の動作を示すフローチャートである。
【図１５】本発明による第３の実施形態の頭部装着型瞳孔検出装置の瞳孔中心検知による視線有無判断の動作を説明する図である。
【図１６】本発明による第３の実施形態の頭部装着型瞳孔検出装置の瞳孔面積による視線有無判断の動作を示すフローチャートである。
【図１７】本発明による第３の実施形態の頭部装着型瞳孔検出装置の瞳孔面積による視線有無判断の動作を説明する図である。
【図１８】本発明による第３の実施形態の頭部装着型瞳孔検出装置の受光強度による視線有無判断の動作を示すフローチャートである。
【図１９】本発明による第４の実施形態の頭部装着型瞳孔検出装置の光学系を示す図である。
【図２０】本発明による第４の実施形態の頭部装着型瞳孔検出装置の受光部の受光視野を示す図である。
【図２１】本発明による第４の実施形態の頭部装着型瞳孔検出装置の配置を説明する図である。
【発明を実施するための形態】
【００３５】
以下、本発明による頭部装着型瞳孔検出装置（以下、単に「瞳孔検出装置」という）の実施形態について、図面を参照して説明する。
【００３６】
（第１の実施形態）
図１は、第１の実施形態の瞳孔検出装置の外観図である。図２は、第１の実施形態の瞳孔検出装置の機能ブロック図である。瞳孔検出装置１は、光学系１１、受光部１２、画像処理部１３及び瞳孔検出部１４を内蔵する筐体１５と、照明部１６と、固定部１７とを備える。
【００３７】
照明部１６は、筐体１５によって保持され、眼球を不可視光（例えば、赤外光）により照明する。照明部１６は必須の構成ではないが、瞳孔の検出率を向上させるために、眼球を照明して眼球からの反射光を増加させるのに好適である。
【００３８】
光学系１１は、使用者の眼球からの反射光を光学系１１から取り込み、受光部１２上に導光する。
【００３９】
受光部１２は、使用者の視界前方を避けた位置に配置され、光学系１１によって導光される眼球からの反射光を受光して眼球像を生成し、画像処理部１３に出力する。受光部１２は、例えば、受光素子、又はＣＣＤやＣＭＯＳなどの撮像素子である。
【００４０】
画像処理部１３は、受光部１２から取得した眼球像に対して瞳孔を抽出する画像処理理を行い、瞳孔検出部１４に出力する。
【００４１】
瞳孔検出部１４は、画像処理部１３から取得した眼球像から、瞳孔位置や瞳孔中心位置を検出する。そして、瞳孔（瞳孔中心）が受光部１２の受光視野内のどこに位置するか、又は受光視野内に位置するか否かを判定し、瞳孔検出信号を外部に出力する。画像処理部１３から取得した眼球像の瞳孔の一部が欠けている場合には、例えば、欠けていない部分の瞳孔の輪郭から曲率を算出し、曲率中心の位置を瞳孔中心位置とする。
【００４２】
固定部１７は、筐体１５を使用者の頭部に装着可能とするための固定部材である。固定部１７は、例えば、図１に示すように眼鏡フレームに固定し、眼鏡フレームを介して頭部に装着可能とするものであってもよいし、直線状に耳まで延在させて耳に固定するものであってもよい。すなわち、筐体１５を頭部に固定できるものであればよい。眼鏡を使用する場合には、光学系１１は眼鏡レンズの外側に配置される。
【００４３】
図３は瞳孔検出装置１の光学系を示す図であり、図３（ａ）は瞳孔検出装置１の正面図を示し、図３（ｂ）は瞳孔検出装置１の上面図と眼球からの反射光の光路を示す。光学系１１は、接眼レンズ１１１と、反射部１１２と、結像レンズ１１３とを有する。眼球からの反射光は、光学系１１の眼前の接眼レンズ１１１を通って反射部１１２に入射される。反射部１１２は、入射された光を反射し、結像レンズ１１３を経て受光部１２に受光される。
【００４４】
図４は受光部の受光視野を示す図であり、図４（ａ）は従来の瞳孔検出装置における受光部の受光視野を示し、図４（ｂ）は本実施形態の瞳孔検出装置１における受光部１２の受光視野を示す。従来の瞳孔検出装置では、瞳孔の位置を検出するために、眼球の動きによる瞳孔の可動範囲を全てカバーした領域を撮影できるように、つまり受光部の受光視野Ｂが瞳孔の可動範囲Ａを含むように受光視野角を設定している。しかし、そのためには眼の前に大きな接眼光学系を配置する必要があり、また、視野角を確保するためにカメラを顔から離した位置（視界を遮る位置）に配置する必要があったため、日常モバイル環境等の使用には向いていなかった。一方、本実施形態の瞳孔検出装置１は、接眼レンズ１１１及び反射部１１２の垂直方向の幅が狭くなっているため、図４（ｂ）に示すように、受光部１２の受光視野Ｂの垂直方向の視野が瞳孔可動範囲Ａよりも狭くなる。
【００４５】
図５は、瞳孔検出装置１のシースルー効果を説明する図である。図５（ａ）は、接眼光学系の幅が瞳孔よりも大きい従来の瞳孔検出装置５を使用した場合の外界の遮蔽の様子を示す。この場合には、接眼光学系で覆われる方向の外界光は眼球へ侵入できず、映像に背景が重畳されることなく死角となる。
【００４６】
図５（ｂ）は、瞳孔検出装置１を使用した場合の外界の遮蔽の様子を示す。瞳孔検出装置１は、眼球正面方向から見た場合に、接眼レンズ１１１及び反射部１１２の垂直方向の幅が人の平均的な瞳孔径よりも小さくなっている。そのため正面方向の外界光も瞳孔を通り網膜に到達することが可能なため、光学系の背後の景色も同時に重畳されて見ることができる（シースルーとなる）。瞳孔検出装置１の接眼レンズ１１１及び反射部１１２の垂直方向の幅は、人の平均的な瞳孔径が４ｍｍ程度なので、外界視界を確保するために、４ｍｍ以下とするのが好適である。
【００４７】
よって、本実施形態の瞳孔検出装置１によれば、垂直方向の視野範囲を制限することで、光学系を小型なものとすることができ、また眼球に接近して配置することが可能であり、装着していて煩わしくなく、外観上も目立たなくすることができる。また、垂直方向にシースルー効果を得ることができる。
【００４８】
（第２の実施形態）
次に、本発明による第２の実施形態の瞳孔検出装置について、図面を参照して説明する。なお、第１の実施形態と同じ構成要素には同一の参照番号を付して説明を省略する。
【００４９】
図６は、第２の実施形態の瞳孔検出装置２の外観図である。瞳孔検出装置２は、光学系１１（反射部１８を除く）、受光部１２、画像処理部１３及び瞳孔検出部１４を内蔵する筐体１５と、照明部１６と、固定部１７と、反射部１８とを備える。瞳孔検出装置２の機能ブロック図は、第１の実施形態の瞳孔検出装置１の機能ブロック図（図２）と同様である。
【００５０】
反射部１８は、眼鏡レンズに備えられる。反射部１８は、例えば平面鏡であり、照明部１６にて照明された眼球からの反射光を反射して筐体１５へ入射させる。
【００５１】
筐体１５は、固定部１７を介して眼鏡のテンプル部に取り付けられる。
【００５２】
図７は、瞳孔検出装置２の光学系を示す図であり、図７（ａ）は瞳孔検出装置２の正面図を示す。ただし、瞳孔検出装置２を装着した際には、筐体１５は使用者の正面視界を遮らない位置に配置されるため、正面視界内に位置するのは反射部１８のみとなる。図７（ｂ）は瞳孔検出装置２の上面図と眼球からの反射光の光路を示す。光学系１１は、反射部１８と、結像レンズ１１３とを有する。眼球からの反射光は、反射部１８で反射され、結像レンズ１１３を経て受光部１２に受光される。
【００５３】
図８は、瞳孔検出装置２の受光部１２の受光視野を示す図である。図７で示すように、反射部１８は水平方向の幅が狭くなっているため、受光部１２の受光視野Ｂの水平方向の視野が瞳孔可動範囲Ａよりも狭くなる。
【００５４】
よって、本実施形態の瞳孔検出装置２によれば、水平方向の視野範囲を制限することで、光学系を小型なものとすることができ、装着していて煩わしくなく、外観上も目立たなくすることができる。また、水平方向にシースルー効果を得ることができる。
【００５５】
（第３の実施形態）
次に、本発明による第３の実施形態の瞳孔検出装置について、図面を参照して説明する。なお、第１の実施形態と同じ構成要素には同一の参照番号を付して説明を省略する。
【００５６】
第３の実施形態の瞳孔検出装置３の外観図は、第１の実施形態の瞳孔検出装置１の外観図（図１）と同様である。図９は、瞳孔検出装置３の機能ブロック図である。瞳孔検出装置１は、光学系１１、受光部１２、画像処理部１３、瞳孔検出部１４、表示部１９及び表示制御部２０を内蔵する筐体１５と、照明部１６と、固定部１７とを備える。第１の実施形態の瞳孔検出装置１と比較して、表示部１９及び表示制御部２０を更に備える点で相違する。
【００５７】
表示制御部２０は、表示部１９の駆動回路を有しており、映像信号を表示部１９に出力する。また、表示制御部２０は、瞳孔検出部１４から取得した瞳孔検出信号に基づいて、表示部を制御する。
【００５８】
表示部１９は、表示制御部２０から入力される映像信号に基づいて映像を表示し、映像光を光学系１１によって眼球に導光し、映像を拡大した虚像の表示画面を形成する。
【００５９】
瞳孔検出部１４は、画像処理部１３から取得した眼球像から、瞳孔位置や瞳孔中心位置を検出する。そして、瞳孔（瞳孔中心）が受光部１２の受光視野内のどこに位置するか、又は受光視野内に位置するか否かを判定し、瞳孔検出信号を表示制御部２０に出力する。画像処理部１３から取得した眼球像の瞳孔の一部が欠けている場合には、例えば、欠けていない部分の瞳孔の輪郭から曲率を算出し、曲率中心の位置を瞳孔中心位置とする。
【００６０】
また、瞳孔検出部１４は、画像処理部１３から取得した眼球像から、瞳孔径を検出する。画像処理部１３から取得した眼球像の瞳孔の一部が欠けている場合には、例えば、欠けていない部分の瞳孔の輪郭から曲率を算出し、曲率半径を瞳孔の半径とする。
【００６１】
瞳孔径は、瞳孔位置や瞳孔中心位置を求める際に利用することができる。また、瞳孔径に応じて、表示制御部２０により、表示部１９を制御することができる。瞳孔は周囲の明るさの環境等で変化し、明るい環境であれば瞳孔径は小さくなり、暗い環境であれば瞳孔径は大きくなるため、例えば、瞳孔径が小さい場合には表示部１９の表示輝度を明るくするように制御し、瞳孔径が大きい場合には表示部１９の表示輝度を暗くするように制御する。特に、外界光も瞳孔を通過するシースルーの瞳孔検出装置３においては、周囲が明るい環境のときには表示輝度を明るくすることにより、周囲の外光に負けないで観察することができ、周囲が暗い環境のときには表示輝度を暗くすることにより、眩しさを感じることなく観察することができる。
【００６２】
図１０は、瞳孔検出装置３の光学系を示す図である。光学系１１は、接眼レンズ１１１と、反射部１１２と、結像レンズ１１３と、ビームスプリッタ１１４とを有する。
【００６３】
図１０（ａ）に示すように、表示部１９から射出される映像光は、ビームスプリッタ１１４を通過し、光学系１１により眼球に導光される。一方、図１０（ｂ）に示すように、眼球からの反射光は、光学系１１により導光され、ビームスプリッタ１１４で反射されて受光部１２に眼球像を形成する。これにより映像を観察しながら瞳孔の検出を行うことが可能である。なお、ビームスプリッタ１１４はハーフミラーでもよいし、眼球照明用の不可視光として用いられた赤外光のみを反射するものや、特定の偏光光のみを反射するものでもよい。
【００６４】
図１１（ａ）は、虚像の表示画面を観察しているときの、眼球の動きによる瞳孔の可動範囲を示した図である。図中の点ａは表示画面の左上隅を見たときの瞳孔中心を示し、点ｂは表示画面の右上隅を見たときの瞳孔中心を示し、点ｃは表示画面の右下隅を見たときの瞳孔中心を示し、点ｄは表示画面の左下隅を見たときの瞳孔中心を示し、点ｅは表示画面の中心を見たときの瞳孔中心を示す。よって、表示画面観察時の瞳孔中心可動範囲Ｄは、点ａ〜点ｅを結んだ領域で示される。表示画像の画角が水平画角１０度程度の場合、瞳孔位置は約±１ｍｍ程度移動するため、点ａと点ｂ、点ｂと点ｃ、点ｃと点ｄ、点ｄと点ａの距離はそれぞれ約２ｍｍとなる。また、領域Ｃは表示画面観察時の瞳孔の可動範囲を示す。
【００６５】
図１１（ｂ）は、瞳孔検出装置３の受光部１２の受光視野を示す図である。受光視野Ｅは、表示画面観察時の瞳孔中心可動範囲Ｄを含み、かつ、受光視野Ｅの垂直方向の幅が表示画面観察時の瞳孔可動範囲Ｃの垂直方向の幅よりも小さくなるように設定される。受光視野Ｅの垂直方向の幅を瞳孔径以下の視野とすることで、瞳孔を検出するのに必要な視野範囲をカバーしつつ、最小限の視野に抑えることができる。このため、光学系１１の垂直方向の寸法も瞳孔径以下程度に極力小型化でき、シースルーを兼ね備えた光学系とすることができる。
【００６６】
図１２は、表示画面上の視線位置の検出について説明する図である。図１２（ａ）に示すように表示画面観察時の瞳孔中心可動範囲Ｄの内部に位置する瞳孔中心を検出することで、その位置に対応する表示画面内の視線位置を検出することができる。図１２（ｂ）はメニュー画面の例を示す図であり、図中の円はそれぞれメニュー項目を示している。表示画面が図１２（ｂ）に示すようなメニュー画面の場合、瞳孔中心を検出し、検出した瞳孔中心位置に対応する表示画面上の視線位置を識別することにより、瞳孔中心位置に対応するメニュー項目の内容を表示させることができる。したがって、視線（瞳孔）の移動だけで表示画面に表示されたメニュー項目を選択し、選択したメニュー内容を表示させることができる。
【００６７】
図１３は、頭部装着型瞳孔検出装置３のメニュー操作の動作を示すフローチャートである。頭部装着型瞳孔検出装置３は、表示部１９及び表示制御部２０にて生成したメニュー画面の映像光を、光学系１１によって、眼球に導光する（ステップＳ１０１）。次に、照明部１６によって照射された眼球からの反射光を、光学系１１によって受光部１２に導光して眼球像を取得する（ステップＳ１０２）。そして、画像処理部１３によって瞳孔を抽出し（ステップＳ１０３）、瞳孔検出部１４によって、瞳孔中心位置を検出する（ステップＳ１０４）。さらに、表示制御部２０によって、瞳孔中心位置がメニュー画面のどのメニュー位置と対応するかを判断し、該当するメニュー項目を表示部１９に表示させる（ステップＳ１０５）。
【００６８】
次に、瞳孔検出装置３による表示画面上の視線有無の判断について、図面を参照して以下に説明する。
【００６９】
モバイル環境で瞳孔検出装置３を常時装着することを想定すると、使用者が表示部１９によって表示される表示画面を見ていないとき（正面を向いているとき）は、受光部１２に瞳孔中心が検知されないような位置に光学系１１を配置するのが好適である。これにより、外界視界が確保され、モバイル環境などでも使用することができる。さらに、このような位置に光学系１１を配置することで、瞳孔検出装置３は、使用者が表示画面を見ているか見ていないかを判断することができ、これにより、瞳孔中心が検出されないとき（正面を向いているとき）には、表示部１９及び表示制御部２０の処理を停止したり、駆動周波数を低下させたりという省電力処理が可能となる。
【００７０】
図１４は、表示画面上の視線有無判断の第１の例であり、瞳孔中心検知による視線有無判断の動作を示すフローチャートである。頭部装着型瞳孔検出装置３は、照明部１６、光学系１１及び受光部１２によって眼球像を取得し（ステップＳ２０１）、画像処理部１３によって瞳孔を抽出する（ステップＳ２０２）する。そして、瞳孔検出部１４によって、瞳孔中心位置を検出し（ステップＳ２０３）、瞳孔中心が受光部１２の受光視野Ｅ内に位置する否かを判定する（ステップＳ２０４）。受光視野Ｅ内に瞳孔中心がある場合には、表示制御部２０によって、表示画面を見ていると判断し（ステップＳ２０５）、受光視野Ｅ内に瞳孔中心がない場合には、表示画面を見ていないと判断する（ステップＳ２０６）。表示制御部２０は、表示画面を見ているか否かの判断結果に基づいて表示部１９の制御を切替える。例えば、表示画面を見ている場合には表示画像を表示させ、表示画像を見ていない場合には表示画像の表示を停止する。
【００７１】
すなわち、表示制御部２０は、図１５（ａ）に示すように、瞳孔の中心が受光視野Ｅ内に位置する場合には、表示画面を見ていると判断し、図１５（ｂ）に示すように、瞳孔の中心が受光視野Ｅ内に位置しない場合には、表示画面を見ていないと判断する。瞳孔検出装置３は視野範囲が制限されているため、受光視野Ｅに瞳孔中心が入っているときは、表示画面を見ているとみなすことができる。これにより、簡易な処理手段で表示画面上の視線の有無を判断することができる。
【００７２】
図１６は、表示画面上の視線有無判断の第２の例であり、瞳孔面積検知による視線有無判断の動作を示すフローチャートである。頭部装着型瞳孔検出装置３は、照明部１６、光学系１１及び受光部１２によって眼球像を取得し（ステップＳ３０１）、画像処理部１３によって瞳孔を抽出する（ステップＳ３０２）。そして、瞳孔検出部１４によって受光視野Ｅ内の瞳孔の面積を算出し（ステップＳ３０３）、算出した瞳孔の面積が閾値以上であるか否かを判定する（ステップＳ３０４）。閾値以上である場合には、表示制御部２０によって、表示画面を見ていると判断し（ステップＳ３０５）、閾値よりも小さい場合には、表示画面を見ていないと判断し（ステップＳ３０６）、判断結果に基づいて表示部１９の制御を切替える。
【００７３】
すなわち、図１７（ａ）に示すように、受光視野Ｅ内の瞳孔の面積が閾値以上の場合には表示画面を見ていると判断し、図１７（ｂ）に示すように、視野範囲Ｅ内の瞳孔の面積が閾値より小さい場合には、表示画面を見ていないと判断する。瞳孔検出装置３は視野範囲が制限されているため、受光視野内に一定以上の瞳孔が入っているときは表示画面を見ているとみなすことができる。これにより、簡易な処理手段で表示画面上の視線有無を判断することができる。
【００７４】
図１８は、表示画面上の視線有無判断の第３の例であり、受光強度による視線有無判断の動作を示すフローチャートである。頭部装着型瞳孔検出装置３は、照明部１６、光学系１１及び受光部１２によって眼球像を取得し（ステップ４０１）、瞳孔検出部１４によって、受光部１２が受光した眼球からの反射光の受光強度が閾値以下であるか否かを判定する（ステップＳ４０２）。眼球からの反射光の受光強度が閾値以下である場合には、表示制御部２０によって、表示画面を見ていると判断し（ステップＳ４０３）、眼球からの反射光の受光強度が閾値よりも大きい場合には、表示画面を見ていないと判断し（ステップＳ４０４）、判断結果に基づいて表示部１９の制御を切替える。
【００７５】
瞳孔検出装置３は視野範囲が制限されているため、受光視野内に一定以上瞳孔が入ることで反射光の強度が減少し、減少の度合いで表示画面を見ているとみなすことができる。これにより、簡易な処理手段で表示画面上の視線有無を判断することができる。この視線有無判断の第３の例によれば、瞳孔の画像を抽出する必要はないため、画像処理部１３を備える必要がなく、瞳孔検出装置３をより小型化することができる。
【００７６】
本実施形態の瞳孔検出装置３によれば、表示手段を一体に搭載することにより、同一の光学系を用いて、虚像映像を観察することができるようになる。また、表示画面観察時の瞳孔を検出することで、メニュー操作や、表示画面を見ていない場合の省電力処理を行うことができるようになる。
【００７７】
（第４の実施形態）
次に、本発明による第４の実施形態の瞳孔検出装置について、図面を参照して説明する。なお、第２の実施形態と同じ構成要素には同一の参照番号を付して説明を省略する。
【００７８】
第４の実施形態の瞳孔検出装置４の外観図は、第２の実施形態の瞳孔検出装置２の外観図（図６）と同様であり、瞳孔検出装置４の機能ブロック図は、瞳孔検出装置３の機能ブロック図（図９）と同様である。第２の実施形態の瞳孔検出装置２と比較して、表示部１９及び表示制御部２０を更に備える点で相違する。
【００７９】
図１９は、第４の実施形態の瞳孔検出装置４の光学系を示す図である。光学系１１は、反射部１８と、結像レンズ１１３と、ビームスプリッタ１１４とを有する。図１９（ａ）に示すように、表示部１９から射出される映像光は、ビームスプリッタ１１４を通過し、光学系１１により眼球に導光される。一方、図１９（ｂ）に示すように、眼球からの反射光は、光学系１１により導光され、ビームスプリッタ１１４で反射されて受光部１２に眼球像を形成する。
【００８０】
図２０は、瞳孔検出装置４の受光部１２の受光視野を示す図である。受光視野Ｅは、表示画面観察時の瞳孔中心可動範囲Ｄを含み、かつ、受光部の受光視野Ｅの水平方向の幅が表示画面観察時の瞳孔可動範囲Ｃの水平方向の幅よりも小さくなるように設定される。受光部の受光視野Ｅの水平方向の幅を平均的な瞳孔径以下の視野とすることで、瞳孔を検出するのに必要な視野範囲をカバーしつつ、最小限の視野に抑えることができる。このため、光学系１１の水平方向の幅も瞳孔径以下程度に極力小型化でき、シースルーを兼ね備えた光学系とすることができる。これにより映像を観察しながら瞳孔の検出を行うことが可能である。
【００８１】
モバイル環境で瞳孔検出装置４を常時装着することを想定すると、使用者が表示部１９によって表示される表示画面を見ていないとき（正面を向いているとき）は、受光部１２に瞳孔中心が検出されないような位置に光学系１１を配置するのが好適である。例えば、図２１（ａ）に示すように、反射部１８を瞳孔の正面から少しずらした位置に配置し、使用者が正面を向いているときには光学系が視界正面を遮らないようにする。このように配置すると、正面を向いているときには、図２１（ｂ）に示すように瞳孔中心は受光視野Ｅから外れた所に位置することとなる。
【００８２】
本実施形態の瞳孔検出装置４によれば、表示手段を一体に搭載することにより、同一の光学系を用いて、虚像映像を観察することができるようになる。また、表示画面観察時の瞳孔を検出することで、メニュー操作や、表示画面を見ていない場合の省電力処理を行うことができるようになる。
【００８３】
上述の各実施形態は、個々に代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。従って、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
【産業上の利用可能性】
【００８４】
このように、本発明によれば、小型でシースルー効果のある瞳孔検出装置を提供でき、瞳孔を検出する任意の用途に有用である。
【符号の説明】
【００８５】
１，２，３，４  瞳孔検出装置
１１    光学系
１２    受光部
１３    画像処理部
１４    瞳孔検出部
１５    筐体
１６    照明部
１７    固定部
１９    表示部
２０    表示制御部
１１１  接眼レンズ
１８,１１２  反射部
１１３  結像レンズ
１１４  ビームスプリッタ
【図１】
0005622431.tif 000002
【図２】
0005622431.tif 000003
【図３】
0005622431.tif 000004
【図４】
0005622431.tif 000005
【図５】
0005622431.tif 000006
【図６】
0005622431.tif 000007
【図７】
0005622431.tif 000008
【図８】
0005622431.tif 000009
【図９】
0005622431.tif 000010
【図１０】
0005622431.tif 000011
【図１１】
0005622431.tif 000012
【図１２】
0005622431.tif 000013
【図１３】
0005622431.tif 000014
【図１４】
0005622431.tif 000015
【図１５】
0005622431.tif 000016
【図１６】
0005622431.tif 000017
【図１７】
0005622431.tif 000018
【図１８】
0005622431.tif 000019
【図１９】
0005622431.tif 000020
【図２０】
0005622431.tif 000021
【図２１】
0005622431.tif 000022