(57)【要約】【課題】装置規模および費用を抑制することを課題とする。【解決手段】撮像装置は、所定の波長近傍をピークとする光を照射する照射部を有する。さらに、撮像装置は、照射部が照射をする光の波長近傍よりも長い波長に対する感度が、照射部が照射をする光の波長近傍よりも短い波長に対する感度よりも低い受光素子と、照射部が照射をする光のピークとなる波長の近傍よりも短い波長を遮断するフィルタとを有する。【選択図】図４
2014187554.tif 000002
【特許請求の範囲】
【請求項１】
所定の波長近傍をピークとする光を照射する照射部と、
前記照射部が照射をする光の波長近傍よりも長い波長に対する感度が、前記照射部が照射をする光の波長近傍よりも短い波長に対する感度よりも低い受光素子と、前記照射部が照射をする光のピークとなる波長の近傍よりも短い波長を遮断するフィルタとを有する受光部と、
を有する撮像装置。
【請求項２】
前記受光部が、ＣＭＯＳセンサであることを特徴とする、請求項１に記載の撮像装置。
【請求項３】
前記照射部が照射をする光の波長が、太陽光の波長のうち、前後の波長に比べて照射量が低減をする波長であることを特徴とする、請求項１乃至請求項２に記載の撮像装置。
【請求項４】
所定の波長近傍をピークとする光を照射する照射部と、前記照射部が照射をする光のピークとなる波長の近傍よりも短い波長を遮断するフィルタと、前記照射部が照射をする光の波長近傍よりも長い波長に対する感度が、前記照射部が照射をする光の波長近傍よりも短い波長に対する感度よりも低い受光素子とを有する受光部とを有する撮像部と、
前記撮像部によって撮像された画像から得られる瞳孔および角膜反射の位置を用いて、視線の方向を検出する検出部と
を有する情報処理装置。
【請求項５】
所定の波長近傍をピークとする光を照射する照射部と、前記照射部が照射をする光のピークとなる波長の近傍よりも短い波長を遮断するフィルタと、前記照射部が照射をする光の波長近傍よりも長い波長に対する感度が、前記照射部が照射をする光の波長近傍よりも短い波長に対する感度よりも低い受光素子とを有する受光部とを有する撮像部と、
前記撮像部によって撮像された画像から得られる瞳孔および角膜反射の位置を用いて、視線の方向を検出する検出部と
を有する携帯端末装置。
【請求項６】
所定の波長近傍をピークとする光を照射する照射部と、前記照射部が照射をする光のピークとなる波長の近傍よりも短い波長を遮断するフィルタと、前記照射部が照射をする光の波長近傍よりも長い波長に対する感度が、前記照射部が照射をする光の波長近傍よりも短い波長に対する感度よりも低い受光素子とを有する受光部とを有する撮像部と、
前記撮像部によって撮像された画像から得られる瞳孔および角膜反射の位置を用いて、視線の方向を検出する検出部と
を有する表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、情報処理装置、携帯端末装置及び表示装置に関する。
【背景技術】
【０００２】
ユーザの負担が少ないマンマシンインタフェースに視線検出が活用されている。かかる視線検出では、赤外光を照射する光源およびイメージセンサを用いて、赤外光の角膜での反射と瞳孔の位置から視線の向きが判断される。
【０００３】
このように、視線検出で赤外光を照射する場合には、イメージセンサの受光感度が可視光の波長に近いほど高い特性を持つので、光源から可視光の波長に近い近赤外を照射する方が角膜の反射を得やすい。
【０００４】
しかし、光源からは、目標とするピークの波長の周辺の波長帯の成分も照射される。また、光源は、その個体差によって目標とする波長のピークと実際に照射される波長のピークとの間にブレが生じることもある。
【０００５】
このため、視線検出に可視光の波長に近い近赤外を用いる場合には、光源から照射される照明の成分に可視光の波長が含まれることがある。それゆえ、利用者には、赤いちらつきが見えることになり、利用者がそのちらつきに煩わしさを感じることがある。
【０００６】
例えば、光源から照射される照明のピークの相対発光強度が８５０ｎｍであるとする。この場合、照明には、ピークに比べて相対発光強度は低いものの約７５０ｎｍから約９００ｎｍまでの波長帯の成分が含まれており、可視光の上界と言われる７６０ｎｍから８３０ｎｍの波長の成分も含まれる。
【０００７】
一方、視線検出に可視光の波長から離れた赤外光を用いる場合には、可視光の波長から離れるにつれてイメージセンサの受光感度が下がるので、可視光の波長に近い波長を照射する場合に比べて、角膜の反射が得にくい。
【０００８】
さらに、角膜の反射を観測する場合に、照明以外の太陽光等が外乱光となって悪影響を及ぼすことがある。かかる太陽光は、特定の波長で照度が大きく減衰することが知られている。例えば、赤外光の波長と重複する領域で一例を挙げれば、９３５ｎｍ周辺の波長などで他の波長帯に比べて太陽光の照度が大きく減衰する。
【０００９】
このことから、太陽光による影響を抑えることを目的として、太陽光の照度が大きく減衰する特定の波長の照明を対象物に照射し、入射する光のうち特定の波長のみをイメージセンサに透過させるバンドパスフィルタを用いる方法が提案されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０００−２８３１５号公報
【特許文献２】特開２００９−５５１０７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、上記の技術では、装置規模および費用の抑制に限界がある。
【００１２】
例えば、上記のバンドパスフィルタを用いる場合には、透過させる波長よりも短波長と長波長が透過しないようにするために、それぞれの波長を透過しない、複数のフィルタを用いることになる。そのため、一定の波長以上あるいは以下の波長のみを透過させるハイパスフィルタやローパスフィルタを用いる場合に比べると、サイズ的に大きくなり、且つ、高価になる。したがって、視線検出にバンドパスフィルタを用いると、その装置は高価になり、且つ、小型化が困難になる。
【００１３】
１つの側面では、装置規模および費用を抑制できる撮像装置、情報処理装置、携帯端末装置及び表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
一態様の撮像装置は、所定の波長近傍をピークとする光を照射する照射部を有する。さらに、前記撮像装置は、前記照射部が照射をする光の波長近傍よりも長い波長に対する感度が、前記照射部が照射をする光の波長近傍よりも短い波長に対する感度よりも低い受光素子と、前記照射部が照射をする光のピークとなる波長の近傍よりも短い波長を遮断するフィルタとを有する受光部を有する。
【発明の効果】
【００１５】
一実施形態によれば、装置規模および費用を抑制できる。
【図面の簡単な説明】
【００１６】
【図１】図１は、実施例１に係る情報処理装置の構成を示す図である。
【図２】図２は、分光放射照度分布の一例を示す図である。
【図３】図３は、相対発光強度の分布の一例を示す図である。
【図４】図４は、カメラモジュールの内部構成を示す図である。
【図５】図５は、光学フィルタの特性の一例を示す図である。
【図６】図６は、受光感度分光特性の一例を示す図である。
【発明を実施するための形態】
【００１７】
以下に添付図面を参照して本願に係る撮像装置、情報処理装置、携帯端末装置及び表示装置について説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【実施例１】
【００１８】
図１は、実施例１に係る情報処理装置の構成を示す図である。図１に示す情報処理装置１には、ユーザの負担が少ないマンマシンインタフェースとして視線検出が適用されている。かかる情報処理装置１には、情報処理を行うコンピュータとしての機能を提供する本体１００とは別体に設けられたディスプレイ３に、ＬＥＤ５（Light  Emitting  Diode）と、カメラモジュール１０とが設置される。
【００１９】
これらＬＥＤ５及びカメラモジュール１０は、視線検出を実現するために、ＬＥＤ５によって照射される近赤外光がディスプレイ３を閲覧するユーザの角膜で反射し、その角膜反射がカメラモジュール１０のレンズ部１１に入射する位置に互いが配置される。なお、ＬＥＤ５は、照明の出射光と入射光との経路が重複しないように、カメラモジュール１０と所定の間隔、例えば５ｃｍ程度離れた位置に配置される。
【００２０】
このうち、ＬＥＤ５は、近赤外光を照射する光源である。一例として、ＬＥＤ５は、発光強度のピークを約９４０ｎｍの波長とする近赤外光を照射する。かかるピークの波長及びその周辺を含む波長帯は、太陽光の照度が局所的に大きく減衰する特定の波長帯と重複する。なお、図１の例では、ＬＥＤ５が１つ設けられる場合を例示したが、ＬＥＤ５を複数設けることとしてもかまわない。
【００２１】
図２は、分光放射照度分布の一例を示す図である。図３は、相対発光強度の分布の一例を示す図である。図２に示す縦軸は、照度を指し、図２に示す横軸は、波長を指す。また、図３に示す縦軸は、相対発光強度を指し、図３に示す横軸は、波長を指す。図２に示すように、太陽光は、赤外領域における全体の傾向として、波長が長くなるにつれて照度が緩やかに弱まってゆく傾向にあるが、９００ｎｍ及び１０００ｎｍの間の波長帯のように、その照度が大きく低下する波長帯を持つ。すなわち、太陽光の照度は、９３５ｎｍ近傍よりも短い波長から９３５ｎｍ近傍にかけて急激に落ち込み、９３５ｎｍ近傍を過ぎるあたりから、９３５ｎｍ近傍よりも短い波長からの落ち込みに比べると、緩やかに上昇をしている。一方、図３に示すように、照明光は、９４０ｎｍの波長をピークとする強度分布を持ち、ピークから離れた裾の部分が８５０ｎｍから１０００ｎｍまでの波長帯に延びる強度分布を持つ。このように、太陽光の照度が大きく減衰する９００ｎｍ及び１０００ｎｍ間の波長帯と、ＬＥＤ５が照射する近赤外光のピークの部分及びその裾の部分とを重複させる。
【００２２】
これによって、カメラモジュール１０が受光する光の成分のうち角膜反射の検出がなされる波長帯において外乱となる太陽光の成分の強度を下げ、照明の成分の強度を相対的に向上させることができる。
【００２３】
カメラモジュール１０は、後述するレンズ部１１を介して受光する光を電気信号に変換する撮像装置である。図４は、カメラモジュール１０の内部構成を示す図である。図４に示すように、カメラモジュール１０は、レンズ部１１と、短波長カットフィルタ１２と、カバーガラス１３ａと、ＣＭＯＳ（Complementary  Metal-Oxide  Semiconductor）センサ１３と、出力制御部１５とを有する。
【００２４】
レンズ部１１は、外部からの入射光をＣＭＯＳセンサ１３に結像させるレンズ群である。例えば、一例として、ユーザがディスプレイ３の正面から水平方向に約４００ｍｍ程度離れた位置でディスプレイ３を閲覧するとともに、カメラモジュール１０がディスプレイ３の正面中央から鉛直の下向きに約３００ｍｍ程度離れた位置に配置される場合を想定する。このとき、カメラモジュール１０からユーザの角膜までの距離は、約５００ｍｍ程度となる。このような配置の下、視線検出の目標とする顔の目の部分、すなわち角膜反射および瞳孔を所定の画素以上で撮像できるように、レンズ部１１のレンズの厚み、枚数や形状及びＣＭＯＳセンサ１３の解像度が設計される。例えば、図４の例で言えば、入射側から順に、外部からの入射光を絞り、入射光をＣＭＯＳセンサ１３の受光面に集める凸レンズ１１ａと、画面のゆがみ、いわゆるディストネーションや色滲みを抑制する凹レンズや非球面レンズなどのレンズ１１ｂ〜１１ｄとが設けられる。
【００２５】
なお、図４の例では、カメラモジュール１０のレンズ部１１をレンズ１１ａ〜１１ｄの４枚のレンズで凹凸レンズや非球面レンズを組み合わせて構成する場合を例示したが、必ずしもレンズ部１１を４枚のレンズで構成せずともよい。これらレンズ部１１の厚み、枚数や形状およびＣＭＯＳセンサ１３の解像度は、視線検出が実装される電子機器やその電子機器が使用される環境で決まる要件定義によって任意に変更することができる。
【００２６】
短波長カットフィルタ１２は、レンズ部１１を介して受光する光の成分のうち所定の波長未満の成分を除去するとともに、それ以上の波長の成分を透過する光学フィルタである。なお、上記の短波長カットフィルタは、ロングパスフィルタとも呼ばれる。
【００２７】
ここで、上記の短波長カットフィルタ１２は、外乱となる太陽光の成分が可及的に遮断されるとともに、ＬＥＤ５によって照射される近赤外光の成分が透過するように、カットオフ波長が設定される。図５は、光学フィルタの特性の一例を示す図である。図５に示す縦軸は、透過率を指し、図５に示す横軸は、波長を指す。図５に示すように、短波長カットフィルタ１２は、５０％の透過率を有するカットオフ波長が９００ｎｍ±１０ｎｍに設計される。かかる短波長カットフィルタ１２は、８８０ｎｍよりも波長が短い成分の光を遮断するとともに、９３０ｎｍよりも波長が長い成分の光を透過する透過率依存性を有する。
【００２８】
このように、上記の短波長カットフィルタ１２をレンズ部１１及びＣＭＯＳセンサ１３の受光面の間に配置することによって、ＬＥＤ５によって照射される近赤外光の波長帯よりも短い波長の外乱成分、すなわち太陽光を始め、白熱電灯やクリプトン球などの外乱成分を遮断できる。一方、短波長カットフィルタ１２を透過する光の成分には、ＬＥＤ５によって照射される近赤外光の波長帯の成分、すなわち角膜反射が現れる９４０ｎｍ周辺の波長帯の成分を始め、１０００ｎｍ以降の波長で局所的な減衰が終了する太陽光等の外乱成分が含まれる。
【００２９】
ＣＭＯＳセンサ１３は、相補性金属酸化膜半導体を用いた撮像素子である。一例として、図６に示す受光感度分光特性を持つＣＭＯＳセンサ１３が採用される。
【００３０】
図６は、受光感度分光特性の一例を示す図である。図６に示す縦軸は、受光感度を指し、図６に示す横軸は、波長を指す。さらに、図６に示す実線は、Ｂ（blue）のサブピクセルの受光感度を指し、破線は、Ｒ（red）のサブピクセルの受光感度を指し、一点鎖線は、Ｇ（green）のサブピクセルの受光感度を指す。図６に示すように、約８５０ｎｍの波長よりも短い波長帯では、Ｒ、Ｇ及びＢの各々の受光感度にばらつきがある一方で、約８５０ｎｍの波長よりも長い波長帯では、各々の受光感度にばらつきはなく、波長が長くなるにしたがって光電変換の量子効率もなだらかに低下する特性を持つ。
【００３１】
かかる受光感度分光特性を持つＣＭＯＳセンサ１３は、Ｒ、Ｇ及びＢの各々の受光感度が８５０ｎｍ以降の波長で右肩下がりとなり、波長が９５０ｎｍ程度となるまでは一定の受光感度を有するが、１０００ｎｍ以降では受光感度がおおよそゼロになる。このため、短波長カットフィルタ１２を透過する成分のうち、１０００ｎｍ以降の波長で局所的な減衰が終了する太陽光等の外乱成分が信号に変換されにくくなる一方で、角膜反射が現れる９４０ｎｍ周辺の波長帯の成分は信号に変換されやすくなる。
【００３２】
このように、外乱成分のうち９４０ｎｍ周辺の波長帯よりも短い波長の成分が短波長カットフィルタ１２によって遮断される。一方、短波長カットフィルタ１２を透過する外乱成分のうち９００ｎｍ及び１０００ｎｍの間の波長帯では、外乱の主成分となる太陽光の照度が大きく減衰するので、ＬＥＤ５によって照射される９４０ｎｍ周辺の波長帯の強度が相対的に高くなる。さらに、短波長カットフィルタ１２を透過する外乱成分のうち太陽光の局所的な減衰が終了する１０００ｎｍ以降の波長では、ＣＭＯＳセンサ１３の受光感度が各々の色成分で抑えられており、光電変換されにくい。したがって、角膜反射が現れる９４０ｎｍ周辺の波長帯よりも短い波長成分を遮断し、かつ長い波長成分の光電変換の量子効率を抑制する結果、角膜反射が現れる９４０ｎｍ周辺の波長帯に絞って光電変換される。この結果、Ｓ／Ｎ比（Signal  to  Noise  ratio）を向上させることができる。
【００３３】
出力制御部１５は、ＣＭＯＳセンサ１３によって出力された信号の出力制御を実行する処理部である。一態様としては、出力制御部１５は、ＣＭＯＳセンサ１３によって出力された信号を増幅したり、ＡＤ（Analog  to  Digital）変換を行ったりすることによって生成された画像のデジタル信号を所定の出力先へ出力する。かかる出力先の一例としては、情報処理装置１の本体１００へ出力することができる。これによって、本体１００では、ユーザの目が映る画像から角膜反射の重心および瞳孔の重心を検出し、これら角膜反射の重心および瞳孔の重心の相対的な位置変化を視線の角度へ換算することによって視線の方向を検出することができる。かかる視線の方向は、一例として、画面の自動スクロールやズームなどの操作に用いることができる。
【００３４】
［実施例１の効果］
上述してきたように、本実施例に係る情報処理装置１は、照明の発光強度のピークとする波長よりも波長が短い成分を遮断する短波長カットフィルタと、ピークの波長よりも波長が長い成分の受光感度が抑えられたイメージセンサとを用いるので、装置規模および費用を抑制できる。
【００３５】
これを具体的に説明すると、図６に示したＣＭＯＳセンサの受光感度分光特性から見れば、波長が約９４０ｎｍ周辺である成分の受光感度よりも波長が約８５０ｎｍ周辺である成分の受光感度の方が高い。このため、一見すると、ＬＥＤから約８５０ｎｍの波長を発光強度のピークとする照明を照射する方が角膜反射の現れる波長の成分を効率よく光電変換できると考えられる。ところが、太陽光の放射照度は、約８５０ｎｍ周辺の波長帯で大きく減衰することはなく、外乱も大きい。このため、ＬＥＤから約８５０ｎｍの波長を発光強度のピークとして照明を照射させた場合には、信号の強度を十分に得ることができても外乱が大きく、Ｓ／Ｎ比が大きくなるとは限らない。したがって、角膜反射の様子が良好に撮像された画像を得るのは困難である。
【００３６】
一方、本実施例のように、ＬＥＤ５から約９４０ｎｍの波長を発光強度のピークとして照明を照射させた場合には、約８５０ｎｍの波長を発光強度のピークとする場合よりも信号の強度は低くなるものの、図２に示したように、約９００ｎｍ〜約１０００ｎｍの波長帯で太陽光の放射照度は大きく減衰する。このため、ＬＥＤ５によって照射される９４０ｎｍ周辺の波長帯の発光強度を外乱成分よりも相対的に高くできる結果、Ｓ／Ｎ比の向上を期待できる。したがって、角膜反射の様子が良好に撮像された画像を得やすくなる。
【００３７】
さらに、本実施例のように、外乱成分のうち９４０ｎｍ周辺の波長帯よりも短い波長の成分については短波長カットフィルタ１２を用いて遮断するものの、外乱成分のうち角膜反射が現れない１０００ｎｍ以降の波長では、長波長カットフィルタを用いない。つまり、１０００ｎｍ以降の波長で受光感度が鈍くなるというＣＭＯＳセンサの受光感度分光特性を利用し、受光感度の弱点を転じて長波長カットフィルタ、いわゆるショートパスフィルタとして機能させる。したがって、外乱成分を抑制するためにバンドパスフィルタを用いずともＳ／Ｎ比を向上させることができる結果、装置規模および費用を抑制できる。
【実施例２】
【００３８】
さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
【００３９】
［実装機器の応用例］
上記の実施例１では、上記のＬＥＤ５及びカメラモジュール１０を情報処理装置１に適用する場合を例示したが、任意の電子機器に上記のＬＥＤ５及びカメラモジュール１０を適用できる。
【００４０】
例えば、パーソナルコンピュータのみならず、スマートフォン、携帯電話機やＰＨＳなどの移動体通信装置に上記のＬＥＤ５及びカメラモジュール１０を適用することもできるし、移動体通信網に接続しないＰＤＡなどのタブレット端末にもできる。また、デスクトップ型のパーソナルコンピュータのように、本体と表示装置が別体として構成されている場合には、カメラモジュール１０によって撮像された画像をディスプレイに出力し、ディスプレイで視線の向きを検出させてからその検出結果を本体へ入力させることとしてもかまわない。
【００４１】
［短波長カットフィルタの応用例］
また、上記の実施例１では、短波長カットフィルタ１２をレンズ部１１及びＣＭＯＳセンサ１３の間に配置する場合を例示したが、レンズ部１１の前方に配置される保護板上に同様の光学特性を持つ塗装を施すこととしてもかまわない。
【００４２】
［適用範囲］
上記の実施例１では、ＬＥＤ５に近赤外光を照射させる場合を例示したが、必ずしも赤外光を照射させずともよい。例えば、太陽光の放射照度は、可視光の波長でも、７５８ｎｍ〜７６０ｎｍ近辺では、その前後に比べて大きく減衰する。このため、植物のクロロフィル蛍光の画像を観測する場合にも、上記のＬＥＤ５及びカメラモジュール１０を援用することができる。この場合には、７５８ｎｍ〜７６０ｎｍの前後の何れかで受光感度が落ちる受光素子と、短波長カットフィルタまたは長波長カットフィルタとを用いることで、バンドパスフィルタを用いることなく、所望の波長の光のみを取得することが可能である。
【符号の説明】
【００４３】
１    情報処理装置
３    ディスプレイ
５    ＬＥＤ
１０    カメラモジュール
１１    レンズ部
１２    短波長カットフィルタ
１３ａ  カバーガラス
１３    ＣＭＯＳセンサ
１５    出力制御部
【図１】
2014187554.tif 000003
【図２】
2014187554.tif 000004
【図３】
2014187554.tif 000005
【図４】
2014187554.tif 000006
【図５】
2014187554.tif 000007
【図６】
2014187554.tif 000008