(57)【要約】【課題】装置の大型化、コスト高を招くことを防止でき、単一画像センサでアイトラッキングとユーザ認証の両方を行うことを可能とする眼体検査装置、眼体検査装置の駆動方法、およびヘッドマウントディスプレイを提供する。【解決手段】眼体検査装置５０は、第１の動作モード時に、所定範囲の赤外帯域の赤外光ＬＮＩＲを被検体である眼体ＥＢに照射する第１の光源５１と、第２の動作モード時に、所定範囲の可視帯域の可視光ＬＶＢを被検体である眼体に照射する第２の光源５２と、光電変換を行う画素が配置され、第１の光源より照射され眼体で反射された反射赤外光ＬＲＬＩＮ、および、第２の光源より照射され眼体で反射された反射可視光ＬＲＶＢを検出可能な画像センサ５３と、を含む。【選択図】図３
2019072028.tif 000002
【特許請求の範囲】
【請求項１】
第１の動作モード時に、所定範囲の赤外帯域の赤外光を被検体である眼体に照射する第１の光源と、
第２の動作モード時に、所定範囲の可視帯域の可視光を被検体である眼体に照射する第２の光源と、
光電変換を行う画素が配置され、前記第１の光源より照射され前記眼体で反射された反射赤外光、および、前記第２の光源より照射され前記眼体で反射された反射可視光を検出可能な画像センサと、を含み、
前記画像センサは、
可視波長および近赤外波長の両波長帯域を含む波長帯域において高い透過率を有し、    赤色フィルタ領域、緑色フィルタ領域、および青色フィルタ領域に区分けされたカラーフィルタと、
前記カラーフィルタを透過した光を光電変換し、光電変換して得られた電荷を出力する機能を有し、前記赤色フィルタ領域に対応する赤色光電変換領域、前記緑色フィルタ領域に対応する緑色光電変換領域、および前記青色フィルタ領域に対応する青色光電変換領域に区分けされた光電変換部と、を含む
眼体検査装置。
【請求項２】
前記第１の動作モードは、アイトラッキング動作モードであり、
前記第２の動作モードは、ユーザ認証動作モードである
請求項１記載の眼体検査装置。
【請求項３】
前記第１の動作モード時において、前記第１の光源による赤外光は、近赤外領域において放射輝度を持ち、眼体による前記反射赤外光には前記第１の光源によって照らされる波形のみが存在し、
前記画像センサは、近赤外領域に絞られた近赤外画像の信号を得る
請求項１または２記載の眼体検査装置。
【請求項４】
前記第２の光源による可視光は、白色光である
請求項１から３のいずれか一に記載の眼体検査装置。
【請求項５】
前記第２の光源による可視光は、緑色光である
請求項１から３のいずれか一に記載の眼体検査装置。
【請求項６】
前記第２の動作モード時において、前記第２の光源による可視光である白色光は、赤色、緑色、青色の３色の波長を含む可視領域において放射輝度を持ち、眼体による前記反射白色光には前記第２の光源によって照らされる波形のみが存在し、
前記画像センサは、赤色、緑色、青色の３色に応じたカラー画像の信号を得る
請求項４記載の眼体検査装置。
【請求項７】
前記第２の動作モード時において、前記第２の光源による可視光である緑色光は、緑色波長を含む可視領域において放射輝度を持ち、眼体による前記反射緑光には前記第２の光源によって照らされる波形のみが存在し、
前記画像センサは、主として緑色に応じたカラー画像の信号を得る
請求項５記載の眼体検査装置。
【請求項８】
所定範囲の赤外帯域の赤外光を被検体である眼体に照射する第１の光源と、
所定範囲の可視帯域の可視光を被検体である眼体に照射する第２の光源と、
光電変換を行う画素が配置され、前記第１の光源より照射され前記眼体で反射された反射赤外光、および、前記第２の光源より照射され前記眼体で反射された反射可視光を検出可能な画像センサと、を含み、
前記画像センサは、
可視波長および近赤外波長の両波長帯域を含む波長帯域において高い透過率を有し、    赤色フィルタ領域、緑色フィルタ領域、および青色フィルタ領域に区分けされたカラーフィルタと、
前記カラーフィルタを透過した光を光電変換し、光電変換して得られた電荷を出力する機能を有し、前記赤色フィルタ領域に対応する赤色光電変換領域、前記緑色フィルタ領域に対応する緑色光電変換領域、および前記青色フィルタ領域に対応する青色光電変換領域に区分けされた光電変換部と、を含む
眼体検査装置の駆動方法であって、
第１の動作モード時に、
前記第１の光源により、所定範囲の赤外帯域の赤外光を被検体である眼体に照射し、
前記第１の光源より照射され前記眼体で反射された反射赤外光を前記画像センサの前記カラーフィルタを介して前記光電変換部に入射させ、
第２の動作モード時に、
前記第２の光源により、所定範囲の可視帯域の可視光を被検体である眼体に照射し、
前記第２の光源より照射され前記眼体で反射された反射可視光を前記画像センサの前記カラーフィルタを介して前記光電変換部に入射させる
眼体検査装置の駆動方法。
【請求項９】
ユーザの頭部に装着され、眼前に配置された表示部によってユーザ個人に画像を提示することが可能で、眼体検査装置を備えたヘッドマウントディスプレイであって、
前記眼体検査装置は、
第１の動作モード時に、所定範囲の赤外帯域の赤外光を被検体である眼体に照射する第１の光源と、
第２の動作モード時に、所定範囲の可視帯域の可視光を被検体である眼体に照射する第２の光源と、
光電変換を行う画素が配置され、前記第１の光源より照射され前記眼体で反射された反射赤外光、および、前記第２の光源より照射され前記眼体で反射された反射可視光を検出可能な画像センサと、を含み、
前記画像センサは、
可視波長および近赤外波長の両波長帯域を含む波長帯域において高い透過率を有し、
赤色フィルタ領域、緑色フィルタ領域、および青色フィルタ領域に区分けされたカラーフィルタと、
前記カラーフィルタを透過した光を光電変換し、光電変換して得られた電荷を出力する機能を有し、前記赤色フィルタ領域に対応する赤色光電変換領域、前記緑色フィルタ領域に対応する緑色光電変換領域、および前記青色フィルタ領域に対応する青色光電変換領域に区分けされた光電変換部と、を含む
ヘッドマウントディスプレイ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、眼体検査装置、眼体検査装置の駆動方法、およびヘッドマウントディスプレイに関するものである。
【背景技術】
【０００２】
ユーザの頭部に装着され、眼前に配置されたディスプレイ等によってユーザ個人に画像を提示することが可能な、ヘッドマウントディスプレイ（ＨＭＤ）が知られている(たとえば、特許文献１参照)。
近年では、ＶＲ(Virtual Reality:バーチャルリアリティ：仮想現実)およびＡＲ(Augmented Reality:拡張現実)アプリケーションに対応したＨＭＤも普及してきている。
【０００３】
また、ＨＤＭで適用される重要な技術として、アイトラッキング(Eye Tracking)技術がある(たとえば、特許文献２参照)。
アイトラッキング技術は、ユーザのフォーカスオブジェクト／キャラクタ（たとえば、キャラクタの目を見て、キャラクタがユーザのフォーカスポイントに基づいて反応する）の正確な情報をディスプレイ上に提供するＶＲ／ＡＲ製品の重要部分となり、浸漬を加速し、これは、ＶＲ／ＡＲをより価値のあるものにする。
【０００４】
また、スマートフォンや自動車のように、いわゆるＶＲ／ＡＲ  ＨＭＤ装置が普及するにつれて、ユーザ認証（生体認証）技術も不可欠となる（たとえば、特許文献３参照）。
【０００５】
たとえば、特定領域のスポット波長（たとえば７４０nm）のＬＥＤ光を照射することで、眼球や眼球周りの目の部分の静脈を選択的に映し出すことができ、ユーザの心拍数や健康状態を知る上でカギとなる静脈動画像を得ることも可能である（たとえば、特許文献４、非特許文献１参照）。
【０００６】
このようなＨＭＤは、画面の明るさ、レンズの位置およびオーディオの音量など、装置自身の嗜好を、ユーザに適合し快適に変更することができる。
ＨＭＤがスマートフォンのようなインターネットに接続されている場合、ＨＭＤ装置は、クレジットカード番号およびユーザＩＤ／パスワードのような専有情報に対処することができる。
また、ＨＭＤは、現在のＩｏＴ(Internet of Things)会社がウェブブラウザ上で行うように、ＶＲ／ＡＲ空間内の広告など、より親密な情報をユーザに提供することができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−７０８１７号公報
【特許文献２】特開平５−３３３２５９号公報
【特許文献３】特開２００８−１１３７０４号公報
【特許文献４】特開２０１０−２１８号公報
【非特許文献】
【０００８】
【非特許文献１】Review article: Towards a Low-Cost Mobile Subcutaneous Vein Detection Solution Using Near-Infrared Spectroscopy, The Scientific World Journal Volume 2014, Article ID 365902, 15 pages.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、アイトラッキングでは、可視光が破壊的であることから、ＮＩＲ(Near InfraRed)センサを使用する必要がある。
この場合、ユーザの眼球に赤外帯域の光（赤外光）を照射し、その眼球からの反射光をＮＩＲセンサによって検出する。
【００１０】
一方、ユーザ認証、ここでは虹彩認証では、もともと識別精度が他の手法よりも高く安全ではあるが、より認識精度を高めて更なる誤認識率を低減するには、可視光を検出するＲＧＢセンサが必要である。
【００１１】
したがって、上記したようなＨＤＭにおいて、アイトラッキング系とユーザ認証系を搭載する場合、現状では、２つの画像センサまたは機械的構成部品を必要とし、装置の大型化、コスト高を招くという不利益がある。
【００１２】
本発明は、装置の大型化、コスト高を招くことを防止でき、単一画像センサでアイトラッキングとユーザ認証の両方を行うことを可能とする眼体検査装置、眼体検査装置の駆動方法、およびヘッドマウントディスプレイを提供することにある。
【課題を解決するための手段】
【００１３】
本発明の第１の観点の固体撮像装置は、第１の動作モード時に、所定範囲の赤外帯域の赤外光を被検体である眼体に照射する第１の光源と、第２の動作モード時に、所定範囲の可視帯域の可視光を被検体である眼体に照射する第２の光源と、光電変換を行う画素が配置され、前記第１の光源より照射され前記眼体で反射された反射赤外光、および、前記第２の光源より照射され前記眼体で反射された反射可視光を検出可能な画像センサと、を含み、前記画像センサは、可視波長および近赤外波長の両波長帯域を含む波長帯域において高い透過率を有し、赤色フィルタ領域、緑色フィルタ領域、および青色フィルタ領域に区分けされたカラーフィルタと、前記カラーフィルタを透過した光を光電変換し、光電変換して得られた電荷を出力する機能を有し、前記赤色フィルタ領域に対応する赤色光電変換領域、前記緑色フィルタ領域に対応する緑色光電変換領域、および前記青色フィルタ領域に対応する青色光電変換領域に区分けされた光電変換部と、を含む。
【００１４】
本発明の第２の観点は、所定範囲の赤外帯域の赤外光を被検体である眼体に照射する第１の光源と、所定範囲の可視帯域の可視光を被検体である眼体に照射する第２の光源と、光電変換を行う画素が配置され、前記第１の光源より照射され前記眼体で反射された反射赤外光、および、前記第２の光源より照射され前記眼体で反射された反射可視光を検出可能な画像センサと、を含み、前記画像センサは、可視波長および近赤外波長の両波長帯域を含む波長帯域において高い透過率を有し、赤色フィルタ領域、緑色フィルタ領域、および青色フィルタ領域に区分けされたカラーフィルタと、前記カラーフィルタを透過した光を光電変換し、光電変換して得られた電荷を出力する機能を有し、前記赤色フィルタ領域に対応する赤色光電変換領域、前記緑色フィルタ領域に対応する緑色光電変換領域、および前記青色フィルタ領域に対応する青色光電変換領域に区分けされた光電変換部と、を含む眼体検査装置の駆動方法であって、第１の動作モード時に、前記第１の光源により、所定範囲の赤外帯域の赤外光を被検体である眼体に照射し、前記第１の光源より照射され前記眼体で反射された反射赤外光を前記画像センサの前記カラーフィルタを介して前記光電変換部に入射させ、第２の動作モード時に、前記第２の光源により、所定範囲の可視帯域の可視光を被検体である眼体に照射し、前記第２の光源より照射され前記眼体で反射された反射可視光を前記画像センサの前記カラーフィルタを介して前記光電変換部に入射させる。
【００１５】
本発明の第３の観点のヘッドマウントディスプレイは、ユーザの頭部に装着され、眼前に配置された表示部によってユーザ個人に画像を提示することが可能で、眼体検査装置を備えたヘッドマウントディスプレイであって、前記眼体検査装置は、第１の動作モード時に、所定範囲の赤外帯域の赤外光を被検体である眼体に照射する第１の光源と、第２の動作モード時に、所定範囲の可視帯域の可視光を被検体である眼体に照射する第２の光源と、光電変換を行う画素が配置され、前記第１の光源より照射され前記眼体で反射された反射赤外光、および、前記第２の光源より照射され前記眼体で反射された反射可視光を検出可能な画像センサと、を含み、前記画像センサは、可視波長および近赤外波長の両波長帯域を含む波長帯域において高い透過率を有し、赤色フィルタ領域、緑色フィルタ領域、および青色フィルタ領域に区分けされたカラーフィルタと、前記カラーフィルタを透過した光を光電変換し、光電変換して得られた電荷を出力する機能を有し、前記赤色フィルタ領域に対応する赤色光電変換領域、前記緑色フィルタ領域に対応する緑色光電変換領域、および前記青色フィルタ領域に対応する青色光電変換領域に区分けされた光電変換部と、を含む。
【発明の効果】
【００１６】
本発明によれば、装置の大型化、コスト高を招くことを防止でき、単一画像センサでアイトラッキングとユーザ認証の両方を行うことが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態に係るＡＲ ヘッドマウントディスプレイ（ＨＤＭ）を模式的に示す図である。
【図２】本発明の実施形態に係るＶＲ ヘッドマウントディスプレイ（ＨＤＭ）を模式的に示す図である。
【図３】本発明の実施形態に係る眼体検査装置の構成例を模式的に示す図である。
【図４】本発明の実施形態に係る第１の光源としての近赤外ＬＥＤ（ＮＩＲＬＥＤ）のスペクトル相対放射輝度の例を示す図である。
【図５】本発明の実施形態に係る第２の光源としての白色ＬＥＤ（ＷＬＥＤ）のスペクトル相対放射輝度の例を示す図である。
【図６】本発明の実施形態に係る第２の光源としての緑色ＬＥＤ（ＧＬＥＤ）のスペクトル相対放射輝度の例を示す図である。
【図７】本発明の実施形態に係る眼体検査装置における画像センサの画素の構成例を模式的に示す簡略断面図である。
【図８】本発明の実施形態に係る画像センサの画素のスペクトル相対量子効率の一例を示す図である。
【図９】ＮＩＲＬＥＤにより構成される第１の光源をアクティブにした場合に得られるＮＩＲ画像について説明するための図である。
【図１０】ＷＬＥＤにより構成される第２の光源をアクティブにした場合に得られるＲＧＢ画像について説明するための図である。
【図１１】ＧＬＥＤにより構成される第２の光源をアクティブにした場合に得られるＲＧＢ画像について説明するための図である。
【図１２】本実施形態に係る眼体検査装置の動作の概要を説明するためのフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態を図面に関連付けて説明する。
【００１９】
図１は、本発明の実施形態に係るＡＲ ヘッドマウントディスプレイ（ＨＤＭ）を模式的に示す図である。
図２は、本発明の実施形態に係るＶＲ ヘッドマウントディスプレイ（ＨＤＭ）を模式的に示す図である。
【００２０】
本実施形態のＡＲ ＨＭＤ１０およびＶＲ ＨＤＭ１０Ａは、基本的に、表示部２０、支持部３０、入力操作部４０、および眼体検査装置５０を有する。
【００２１】
ＨＭＤ１０，１０Ａは、全体としてメガネ型形状あるいはゴーグル型形状の筐体６０を有し、ユーザが頭部に装着して外界を視認しつつ、入力操作部４０から入力された情報に基づく画像をユーザに提示させることが可能に構成される。
【００２２】
ここでは、ＡＲ ＨＭＤ１０を例に構造の概要について説明する。
ＨＤＭ１０は、左右の目にそれぞれ対応して構成される２個の表示部２０Ｒ、２０Ｌを有する。
【００２３】
支持部３０は、ユーザの頭部に装着可能に構成され、表示部２０Ｒ，２０Ｌと筐体６０を支持することが可能に構成されている。ただし、支持部３０の構成は特に制限されない。
たとえば、支持部３０は、ユーザの顔面および左右の側頭部に対向して配置されることが可能な本体３１、および本体３１に取り付けられ、ユーザの顔面の中央に配置されるフロント部３２を有する。本体３１は、例えば、合成樹脂、金属等の材料で形成され、左右の側頭部に配置される端部がユーザの耳に係止可能に構成される。
【００２４】
支持部３０の本体３１は、表示部２０Ｒ，２０Ｌと、表示部２０Ｒ，２０Ｌの外縁部に取り付けられた筐体６０を支持するように構成される。
表示部２０Ｒ，２０Ｌは、本体３１とフロント部３２とによって、装着時に、ユーザの左右の目にそれぞれ対向するよう配置される。
【００２５】
入力操作部４０は、本実施形態において、タッチセンサ部や制御部、記憶部を含み、ユーザに提示される画像を制御する。
【００２６】
このような構成を有するＨＭＤ１０，１０Ａは、画面の明るさ、レンズの位置およびオーディオの音量など、装置自身の嗜好を、ユーザに適合し快適に変更することができる。
ＨＭＤ１０，１０Ａがスマートフォンのようなインターネットに接続されている場合、ＨＭＤ装置は、クレジットカード番号およびユーザＩＤ／パスワードのような専有情報に対処することができる。
また、ＨＭＤ１０，１０Ａは、現在のＩｏＴ(Internet of Things)会社がウェブブラウザ上で行うように、ＶＲ／ＡＲ空間内の広告など、より親密な情報をユーザに提供することができる。
【００２７】
（眼体検査装置５０の構成）
そして、本実施形態に係るＨＭＤ１０，１０Ａは、第１の動作モードによるアイトラッキングと第２の動作モードによるユーザ認証（ここでは虹彩認証）が可能な眼体検査装置５０が搭載されている。
本実施形態において、眼体検査装置５０は、表示部２０Ｒまたは２０Ｌのユーザの顔面の眼の領域と対向し、ユーザの眼体（眼球）に光源による赤外光および可視光を照射可能な位置に配置されている。
図１の例では、表示部２０Ｒの中央付近の上部側に配置されている。ただし、この位置は一例であって、これに限定されるものではない。
【００２８】
図３は、本発明の実施形態に係る眼体検査装置の構成例を模式的に示す図である。
【００２９】
眼体検査装置５０は、図３に示すように、第１の光源５１、第２の光源５２、画像センサ５３、および光源駆動制御部５４を主構成要素として有している。
なお、以下の説明において、第１の動作モードＭＯＤ１は、アイトラッキング動作モードであり、第２の動作モードＭＯＤ２は、ユーザ認証動作モードである。
【００３０】
第１の光源５１は、光源駆動制御部５４の制御の下、第１の動作モードＭＯＤ１時に、所定範囲の赤外帯域（８００ｎｍ〜１０００ｎｍ）の赤外光ＬＮＩＲを被検体である眼体ＥＢに照射する。
第１の光源５１は、赤外帯域（８００ｎｍ〜１０００ｎｍ）の赤外光ＬＮＩＲを出射する近赤外ＬＥＤ（ＮＩＲＬＥＤ）により構成される。
【００３１】
図４は、本発明の実施形態に係る第１の光源としての近赤外ＬＥＤ（ＮＩＲＬＥＤ）のスペクトル相対放射輝度の例を示す図である。
図４において、横軸が波長（Wavelength）を示し、縦軸が相対放射輝度(Relative Radiance power)を示している。
【００３２】
第１の動作モードＭＯＤ１時において、第１の光源５１による赤外光ＬＮＩＲは、図３に示すように、近赤外領域（８００ｎｍ〜１０００ｎｍ）において放射輝度を持ち、眼体ＥＢによる反射赤外光ＬＲＮＩＲには第１の光源５１によって照らされる波形ＷＦＮＩＲのみが存在する。
【００３３】
第２の光源５２は、光源駆動制御部５４の制御の下、第２の動作モードＭＯＤ２時に、所定範囲の可視帯域（４００ｎｍ〜７００ｎｍ）の可視光ＬＶＢを被検体である眼体ＥＢに照射する。
第２の光源５２は、可視帯域（４００ｎｍ〜７００ｎｍ）の白色（Ｗ）光ＬＷを出射する白色ＬＥＤ（ＷＬＥＤ）、または緑色（Ｇ）を含む可視帯域（４５０ｎｍ〜６００ｎｍ）の緑色（Ｇ）光ＬＧを出射する緑色ＬＥＤ（ＧＬＥＤ）により構成される。
【００３４】
図５は、本発明の実施形態に係る第２の光源としての白色ＬＥＤ（ＷＬＥＤ）のスペクトル相対放射輝度の例を示す図である。
図５において、横軸が波長（Wavelength）を示し、縦軸が相対放射輝度(Relative Radiance power)を示している。
【００３５】
第２の動作モードＭＯＤ２時において、第２の光源５２による可視光である白色光ＬＷは、図５に示すように、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３色の波長を含む可視領域（４００ｎｍ〜７００ｎｍ）において放射輝度を持ち、眼体ＥＢによる反射白色光ＬＲＷには第２の光源５１によって照らされる波形ＷＦＷのみが存在する。
【００３６】
図６は、本発明の実施形態に係る第２の光源としての緑色ＬＥＤ（ＧＬＥＤ）のスペクトル相対放射輝度の例を示す図である。
図６において、横軸が波長（Wavelength）を示し、縦軸が相対放射輝度(Relative Radiance power)を示している。
【００３７】
第２の動作モードＭＯＤ２時において、第２の光源５２による可視光である緑色光（ＬＧ）は、図６に示すように、緑色波長を含む可視領域（４５０ｎｍ〜６００ｎｍ）において放射輝度を持ち、眼体ＥＢによる反射緑光ＬＲＧには第２の光源５２によって照らされる波形ＷＦＧのみが存在する。
【００３８】
画像センサ５３は、光電変換を行う画素が配置され、第１の光源５１より照射され眼体ＥＢで反射された反射赤外光ＬＲＮＩＲ、および、第２の光源５２より照射され眼体ＥＢで反射された反射可視光ＬＲＶＢ（ＬＲＷ，ＬＲＧ）を検出可能で、光電変換により得られた検出結果信号を図示しない画像信号処理系に出力する。
【００３９】
画素は、可視波長（４００ｎｍ〜７００ｎｍ）および近赤外波長（８００ｎｍ〜１０００ｎｍ）の両波長帯域を含む波長帯域において高い透過率を有するＮＩＲ厚膜エピＢＳＩピクセルを含んで構成されている。
【００４０】
図７は、本発明の実施形態に係る眼体検査装置における画像センサの画素の構成例を模式的に示す簡略断面図である。
【００４１】
画素５００は、マイクロレンズアレイ５１０、ノッチカラーフィルタアレイ５２０、ＮＩＲ厚膜ＢＳＩピクセル機能を含む光電変換部５３０を主構成要素として構成されている。
【００４２】
カラーフィルタアレイ５２０は、各カラー画素を形成するように、赤色（Ｒ）フィルタ領域５２１、緑色（Ｇ）フィルタ領域５２２、および青色（Ｂ）フィルタ領域５２３に区分けされている。
各赤色（Ｒ）フィルタ領域５２１、緑色（Ｇ）フィルタ領域５２２、および青色（Ｂ）フィルタ領域５２３の光入射側には、マイクロレンズアレイ５１０のマイクロレンズＭＣＬが配置されている。
【００４３】
光電変換部５３０は、第１基板面５４１側と、第１基板面５４１側と対向する側の第２基板面５４２側とを有する半導体基板５４０に対して埋め込むように形成され、受光した光の光電変換機能および電荷蓄積機能を有するように形成されている。
【００４４】
光電変換部５３０は、カラーフィルタアレイ５２０を透過した光を光電変換し、光電変換して得られた電荷を出力する機能を有し、赤色（Ｒ）フィルタ領域５２１に対応する赤色（Ｒ）光電変換領域５３１、緑色（Ｇ）フィルタ領域５２２に対応する緑色（Ｇ）光電変換領域５３２、および青色（Ｂ）フィルタ領域５２３に対応する青色（Ｂ）光電変換領域５３３に区分けされている。
【００４５】
赤色（Ｒ）光電変換領域５３１、緑色（Ｇ）光電変換領域５３２、および青色（Ｂ）光電変換領域５３３の区分けは、たとえば図６に示すように、ＢＤＴＩ(Backside Deep Trench Isolation)により行われている。
【００４６】
光電変換部５３０は、第１基板面５４１側（裏面側）にカラーフィルタアレイ５２０が配置されている。
光電変換部５３０は、赤色（Ｒ）光電変換領域５３１、緑色（Ｇ）光電変換領域５３２、および青色（Ｂ）光電変換領域５３３の第２基板面５４２側（前面側）には、光電変換し蓄積した電荷に応じた信号を出力する出力トランジスタ等を含む出力部５３４．５３５．５３６が形成されている。
【００４７】
図８は、本発明の実施形態に係る画像センサの画素のスペクトル相対量子効率の一例を示す図である。
図８において、横軸が波長（Wavelength）を示し、縦軸が相対量子効率(Relative Quantum Efficiency)を示している。
【００４８】
上記した構成を有する画像センサ５００における各カラー画素は、図８に示すように、可視範囲（４００ｎｍ〜７００ｎｍ）において固有の特定の応答性を有するだけでなく、近赤外（NIR）領域（８００ｎｍ〜１０００ｎｍ）においても高い応答性を有する。
【００４９】
ここで、第１の光源５１と第２の光源５２を選択的に切り替えて得られるＮＩＲ画像およびＲＧＢ画像について考察する。
【００５０】
図９は、ＮＩＲＬＥＤにより構成される第１の光源をアクティブにした場合に得られるＮＩＲ画像について説明するための図である。
図９において、横軸が波長（Wavelength）を示し、縦軸が相対量子効率(Relative Quantum Efficiency)および相対放射輝度(Relative Radiance power)を示している。
【００５１】
第１の動作モードＭＯＤ１時において、ＮＩＲＬＥＤにより構成される第１の光源５１をアクティブにした場合、第１の光源５１による赤外光ＬＮＩＲは、図４および図９に示すように、近赤外領域（８００ｎｍ〜１０００ｎｍ）において放射輝度を持ち、眼体ＥＢによる反射赤外光ＬＲＮＩＲには第１の光源５１によって照らされる波形ＷＦＮＩＲのみが存在する。
したがって、画像センサ５３は、ＮＩＲ（近赤外）領域に絞られた純粋なＮＩＲ（近赤外）画像の信号を得ることができる。
すなわち、ＮＩＲ領域以外の放射輝度はゼロであるため、正確なＮＩＲ画像を得ることができる。
【００５２】
図１０は、ＷＬＥＤにより構成される第２の光源をアクティブにした場合に得られるＲＧＢ画像について説明するための図である。
図１０において、横軸が波長（Wavelength）を示し、縦軸が相対量子効率(Relative Quantum Efficiency)および相対放射輝度(Relative Radiance power)を示している。
【００５３】
第２の動作モードＭＯＤ２時において、ＷＬＥＤにより構成される第２の光源５２をアクティブにした場合、第２の光源５２による可視光である白色光ＬＷは、図５および図１０に示すように、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３色の波長を含む可視領域（４００ｎｍ〜７００ｎｍ）において放射輝度を持ち、眼体ＥＢによる反射白色光ＬＲＷには第２の光源５１によって照らされる波形ＷＦＷのみが存在する。
画像センサ５３は、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３色に応じたカラー画像の信号を得ることができる。
【００５４】
Ｗ（白色）ＬＥＤは、Ｇ（緑色）ＬＥＤと比較して、広い波長帯域があり、３原色ＲＧＢのピーク波長がカバーされている。
したがって、ＲＧＢカラー画像の精度は非常に高く、認証のための虹彩認識に使用することができる。
ＮＩＲ領域には放射輝度がゼロであるため、ＮＩＲ反射による汚染はないといえる。
波長はＮＩＲよりも短いので、ピクセル間の光学的および電気的クロストークは非常に小さく、鮮明な画像を得ることができる。そして、非常に正確な色情報も得られる。
したがって、Ｗ（白色）ＬＥＤ光源は、虹彩認証を行うのに最適である。
【００５５】
図１１は、ＧＬＥＤにより構成される第２の光源をアクティブにした場合に得られるＲＧＢ画像について説明するための図である。
図１１において、横軸が波長（Wavelength）を示し、縦軸が相対量子効率(Relative Quantum Efficiency)および相対放射輝度(Relative Radiance power)を示している。
【００５６】
第２の動作モードＭＯＤ２時において、ＧＬＥＤにより構成される第２の光源５２をアクティブにした場合、第２の光源５２による可視光である緑色光（ＬＧ）は、図６および図１１に示すように、緑色波長を含む可視領域（４５０ｎｍ〜６００ｎｍ）において放射輝度を持ち、眼体ＥＢによる反射緑光ＬＲＧには第２の光源５２によって照らされる波形ＷＦＧのみが存在する。
画像センサ５３は、主として緑色（Ｇ）に応じたカラー画像の信号を得ることができる。
【００５７】
Ｇ（緑色）ＬＥＤが点灯している場合、Ｒ（赤色）／Ｇ（緑色）／Ｂ（青色）の３原色はこのＧ（緑色）の波形範囲に関連があり、したがってＲＧＢカラー画像が再構成される。
ＧＬＥＤは、色の精度はあまり高くはないが、虹彩認識に使用するには十分である。
緑色以外の波形領域には放射輝度がゼロであり、ＮＩＲ反射による汚染はないといえる。
ＮＩＲ成分がＲＧＢカラー画像と混合されると、灰色の洗い流し効果によって色精度が大幅に低下する（画像は灰色を帯びる）。
【００５８】
光源駆動制御部５４は、図示しない制御系によるモード信号ＭＯＤを受けて、モード信号ＭＯＤが第１の動作モードＭＯＤ１を指定している場合、アイトラッキング動作モードであるとして、制御信号ＣＴＬ１により第１の光源５１を駆動して赤外光ＬＮＩＲを眼体ＥＢに照射させる。
光源駆動制御部５４は、図示しない制御系によるモード信号ＭＯＤを受けて、モード信号ＭＯＤが第２の動作モードＭＯＤ２を指定している場合、ユーザ認証(虹彩認証)動作モードであるとして、制御信号ＣＴＬ２により第２の光源５２を駆動して可視光ＬＶＢ（ＬＷ、ＬＧ）を眼体ＥＢに照射させる。
【００５９】
ここで、本実施形態に係る眼体検査装置１０の動作の概要を図１２に関連付けて説明する。
図１２は、本実施形態に係る眼体検査装置１０の動作の概要を説明するためのフローチャートである。
【００６０】
光源駆動制御部５４が、図示しない制御系によるモード信号ＭＯＤを受けて、モード信号ＭＯＤが第１の動作モードＭＯＤ１を指定している場合、アイトラッキング動作モードであるとして、制御信号ＣＴＬ１により第１の光源５１が駆動される（ＳＴ１、ＳＴ２）。
【００６１】
第１の光源５１では、光源駆動制御部５４の制御の下、第１の動作モードＭＯＤ１時に、所定範囲の赤外帯域（８００ｎｍ〜１０００ｎｍ）の赤外光ＬＮＩＲが被検体である眼体ＥＢに照射される（ＳＴ３）。
第１の動作モードＭＯＤ１時において、ＮＩＲＬＥＤにより構成される第１の光源５１をアクティブにした場合、第１の光源５１による赤外光ＬＮＩＲは、近赤外領域（８００ｎｍ〜１０００ｎｍ）において放射輝度を持ち、眼体ＥＢによる反射赤外光ＬＲＮＩＲには第１の光源５１によって照らされる波形ＷＦＮＩＲのみが存在し、この反射赤外光ＬＲＮＩＲが画像センサ５３で受光される（ＳＴ４）。
そして、画像センサ５３では、ＮＩＲ（近赤外）領域に絞られた純粋なＮＩＲ（近赤外）画像の信号が得られる。すなわち、画僧センサ５３では、ＮＩＲ領域以外の放射輝度はゼロであるため、正確なＮＩＲ画像を得ることができる。
【００６２】
光源駆動制御部５４が、図示しない制御系によるモード信号ＭＯＤを受けて、モード信号ＭＯＤが第２の動作モードＭＯＤ２を指定している場合、ユーザ認証動作モードであるとして、制御信号ＣＴＬ２により第２の光源５２が駆動される（ＳＴ１、ＳＴ５、ＳＴ６）。
【００６３】
第２の光源５２は、光源駆動制御部５４の制御の下、第２の動作モードＭＯＤ２時に、所定範囲の可視帯域（４００ｎｍ〜７００ｎｍ）の可視光ＬＶＢたとえば白色光ＬＷが被検体である眼体ＥＢに照射される（ＳＴ７）。
【００６４】
第２の動作モードＭＯＤ２時において、ＷＬＥＤにより構成される第２の光源５２をアクティブにした場合、第２の光源５２による可視光である白色光ＬＷは、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３色の波長を含む可視領域（４００ｎｍ〜７００ｎｍ）において放射輝度を持ち、眼体ＥＢによる反射白色光ＬＲＷには第２の光源５１によって照らされる波形ＷＦＷのみが存在し、この反射白色光ＬＲＷが画像センサ５３で受光される（ＳＴ８）。
そして、画像センサ５３は、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３色に応じたカラー画像の信号が得られる。
【００６５】
Ｗ（白色）ＬＥＤは、Ｇ（緑色）ＬＥＤと比較して、広い波長帯域があり、３原色ＲＧＢのピーク波長がカバーされている。
したがって、ＲＧＢカラー画像の精度は非常に高く、認証のための虹彩認識に使用することができる。
ＮＩＲ領域には放射輝度がゼロであるため、ＮＩＲ反射による汚染はないといえる。
波長はＮＩＲよりも短いので、ピクセル間の光学的および電気的クロストークは非常に小さく、鮮明な画像を得ることができる。そして、非常に正確な色情報も得られる。
【００６６】
以上説明したように、本実施形態によれば、ＨＭＤ１０は、第１の動作モードによるアイトラッキングと第２の動作モードによるユーザ認証（ここでは虹彩認証）が可能な眼体検査装置５０が搭載されている。
眼体検査装置５０は、第１の光源５１、第２の光源５２、画像センサ５３、および光源駆動制御部５４を主構成要素として有している。
【００６７】
第１の光源５１は、光源駆動制御部５４の制御の下、第１の動作モードＭＯＤ１時に、所定範囲の赤外帯域（８００ｎｍ〜１０００ｎｍ）の赤外光ＬＮＩＲを被検体である眼体ＥＢに照射する。
第１の光源５１は、赤外帯域（８００ｎｍ〜１０００ｎｍ）の赤外光ＬＮＩＲを出射する近赤外ＬＥＤ（ＮＩＲＬＥＤ）により構成される。
【００６８】
第２の光源５２は、光源駆動制御部５４の制御の下、第２の動作モードＭＯＤ２時に、所定範囲の可視帯域（４００ｎｍ〜７００ｎｍ）の可視光ＬＶＢを被検体である眼体ＥＢに照射する。
第２の光源５２は、可視帯域（４００ｎｍ〜７００ｎｍ）の白色（Ｗ）光ＬＷを出射する白色ＬＥＤ（ＷＬＥＤ）、または緑色（Ｇ）を含む可視帯域（４５０ｎｍ〜６００ｎｍ）の緑色（Ｇ）光ＬＷＴを出射する緑色ＬＥＤ（ＧＬＥＤ）により構成される。
画像センサ５３は、光電変換を行う画素が配置され、第１の光源５１より照射され眼体ＥＢで反射された反射赤外光ＬＲＮＩＲ、および、第２の光源５２より照射され眼体ＥＢで反射された反射可視光ＬＲＶＢ（ＬＲＷ，ＬＲＧ）を検出可能で、光電変換により得られた検出結果信号を図示しない画像信号処理系に出力する。
画素は、可視波長（４００ｎｍ〜７００ｎｍ）および近赤外波長（８００ｎｍ〜１０００ｎｍ）の両波長帯域を含む波長帯域において高い透過率を有するＮＩＲ厚膜エピＢＳＩピクセルを含んで構成されている。
【００６９】
したがって、本実施形態によれば、装置の大型化、コスト高を招くことを防止でき、単一画像センサでアイトラッキングとユーザ認証の両方を行うことを可能とする眼体検査装置を実現することが可能となる。
【００７０】
また、第１の動作モード時に、画像センサ５３は、ＮＩＲ（近赤外）領域に絞られた純粋なＮＩＲ（近赤外）画像の信号を得ることができる。
すなわち、ＮＩＲ領域以外の放射輝度はゼロであるため、正確なＮＩＲ画像を得ることができる。
【００７１】
また、第２の動作モード時に、ＧＬＥＤにより構成される第２の光源５２をアクティブにした場合、画像センサ５３は、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３色に応じたカラー画像の信号を得ることができる。
Ｗ（白色）ＬＥＤは、Ｇ（緑色）ＬＥＤと比較して、広い波長帯域があり、３原色ＲＧＢのピーク波長がカバーされている。
したがって、ＲＧＢカラー画像の精度は非常に高く、認証のための虹彩認識に使用することができる。
ＮＩＲ領域には放射輝度がゼロであるため、ＮＩＲ反射による汚染はないといえる。
波長はＮＩＲよりも短いので、ピクセル間の光学的および電気的クロストークは非常に小さく、鮮明な画像を得ることができる。そして、非常に正確な色情報も得られる。
したがって、Ｗ（白色）ＬＥＤ光源は、虹彩認証を行うのに最適である。
【００７２】
また、第２の動作モード時に、ＷＬＥＤにより構成される第２の光源５２をアクティブにした場合、画像センサ５３は、主として緑色（Ｇ）に応じたカラー画像の信号を得ることができる。
Ｇ（緑色）ＬＥＤが点灯している場合、Ｒ（赤色）／Ｇ（緑色）／Ｂ（青色）の３原色はこのＧ（緑色）の波形範囲に関連があり、したがってＲＧＢカラー画像が再構成される。
ＧＬＥＤは、色の精度はあまり高くはないが、虹彩認識に使用するには十分である。
緑色以外の波形領域には放射輝度がゼロであり、ＮＩＲ反射による汚染はないといえる。
【００７３】
なお、眼体検査装置において、可視領域か近赤外（ＮＩＲ）領域の二次元的な構成に限らず、ＲＧＢ領域やＮＩＲ領域のマルチバンド構成（波長帯域が狭いバンドが複数個あり、それがＲＧＢ領域やＮＩＲ領域を包含）も対象とすることも可能である。
【符号の説明】
【００７４】
１０・・・ＡＲ ＨＭＤ、１０Ａ・・・ＶＲ ＨＭＤ、２０・・・表示部、３０・・・支持部、４０・・・入力操作部、５０・・・眼体検査装置、５１・・・第１の光源、５２・・・第２の光源、５３・・・画像センサ、５４・・・光源駆動制御部、５００・・・画素、５２１・・・マイクロレンズアレイ、５２０・・・カラーフィルタアレイ、５３０・・・光電変換部。
【図１】
2019072028.tif 000003
【図２】
2019072028.tif 000004
【図３】
2019072028.tif 000005
【図４】
2019072028.tif 000006
【図５】
2019072028.tif 000007
【図６】
2019072028.tif 000008
【図７】
2019072028.tif 000009
【図８】
2019072028.tif 000010
【図９】
2019072028.tif 000011
【図１０】
2019072028.tif 000012
【図１１】
2019072028.tif 000013
【図１２】
2019072028.tif 000014
【手続補正書】
【提出日】平成29年10月31日(2017.10.31)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】図１
【補正方法】変更
【補正の内容】
【図１】
2019072028.tif 000015
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2019072028.tif 000016
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図３
【補正方法】変更
【補正の内容】
【図３】
2019072028.tif 000017
【手続補正４】
【補正対象書類名】図面
【補正対象項目名】図４
【補正方法】変更
【補正の内容】
【図４】
2019072028.tif 000018
【手続補正５】
【補正対象書類名】図面
【補正対象項目名】図５
【補正方法】変更
【補正の内容】
【図５】
2019072028.tif 000019
【手続補正６】
【補正対象書類名】図面
【補正対象項目名】図６
【補正方法】変更
【補正の内容】
【図６】
2019072028.tif 000020
【手続補正７】
【補正対象書類名】図面
【補正対象項目名】図７
【補正方法】変更
【補正の内容】
【図７】
2019072028.tif 000021
【手続補正８】
【補正対象書類名】図面
【補正対象項目名】図８
【補正方法】変更
【補正の内容】
【図８】
2019072028.tif 000022
【手続補正９】
【補正対象書類名】図面
【補正対象項目名】図９
【補正方法】変更
【補正の内容】
【図９】
2019072028.tif 000023
【手続補正１０】
【補正対象書類名】図面
【補正対象項目名】図１０
【補正方法】変更
【補正の内容】
【図１０】
2019072028.tif 000024
【手続補正１１】
【補正対象書類名】図面
【補正対象項目名】図１１
【補正方法】変更
【補正の内容】
【図１１】
2019072028.tif 000025
【手続補正１２】
【補正対象書類名】図面
【補正対象項目名】図１２
【補正方法】変更
【補正の内容】
【図１２】
2019072028.tif 000026