(57)【要約】【課題】顔認証によるセキュリティをより強化する。【解決手段】比較部は、赤外光が照射された人物を被写体とした可視光画像における人物の眼領域と、人物を被写体とした赤外光画像における人物の眼領域とを比較し、判定部は、比較部の比較結果を用いて、人物に対して行われた顔認証の認証結果が正しいか否かを判定する。本技術は、例えば、顔認証によりセキュリティロックを解除する携帯端末に適用することができる。【選択図】図７
2014078052.tif 000002
【特許請求の範囲】
【請求項１】
赤外光が照射された人物を被写体とした可視光画像における前記人物の眼領域と、前記人物を被写体とした赤外光画像における前記人物の前記眼領域とを比較する比較部と、
前記比較部の比較結果を用いて、前記人物に対して行われた顔認証の認証結果が正しいか否かを判定する判定部と
を備える認証装置。
【請求項２】
前記判定部は、前記可視光画像の前記眼領域と前記赤外光画像の前記眼領域とに差分がある場合、前記認証結果が正しいと判定する
請求項１に記載の認証装置。
【請求項３】
前記可視光画像における前記人物に対して顔認証を行う顔認証部をさらに備え、
前記判定部は、前記比較部の比較結果を用いて、前記顔認証部の認証結果が正しいか否かを判定する
請求項２に記載の認証装置。
【請求項４】
レンズより入射される光のうちの可視光に対応する前記可視光画像と、前記レンズより入射される光のうちの赤外光に対応する前記赤外光画像を同時に出力する撮像部をさらに備える
請求項３に記載の認証装置。
【請求項５】
前記可視光画像または前記赤外光画像の前記眼領域を検出する眼領域検出部をさらに備え、
前記比較部は、前記眼領域検出部により検出された前記眼領域を表す座標情報を用いて、前記可視光画像の前記眼領域と前記赤外光画像の前記眼領域とを比較する
請求項４に記載の認証装置。
【請求項６】
前記可視光画像における前記人物の顔を検出する顔検出部をさらに備え、
前記顔認証部は、前記顔検出部により検出された前記顔の顔画像を用いて、前記人物に対して顔認証を行い、
前記眼領域検出部は、前記顔検出部により検出された前記顔の顔画像における前記眼領域を検出する
請求項５に記載の認証装置。
【請求項７】
レンズより入射される光のうちの可視光に対応する前記可視光画像を出力する第１の撮像部と、
前記レンズより入射される光のうちの赤外光に対応する前記赤外光画像を出力する第２の撮像部とをさらに備える
請求項３に記載の認証装置。
【請求項８】
前記可視光画像の前記眼領域を検出する第１の眼領域検出部と、
前記赤外光画像の前記眼領域を検出する第２の眼領域検出部とをさらに備え、
前記比較部は、前記第１の眼領域検出部により検出された前記可視光画像の前記眼領域を表す第１の座標情報、および、前記第２の眼領域検出部により検出された前記赤外光画像の前記眼領域を表す第２の座標情報を用いて、前記可視光画像の前記眼領域と前記赤外光画像の前記眼領域とを比較する
請求項７に記載の認証装置。
【請求項９】
前記可視光画像における前記人物の顔を検出する第１の顔検出部と、
前記赤外光画像における前記人物の顔を検出する第２の顔検出部をさらに備え、
前記顔認証部は、前記第１の顔検出部により検出された前記顔の顔画像を用いて、前記人物に対して顔認証を行い、
前記第１の眼領域検出部は、前記第１の顔検出部により検出された前記顔の顔画像における前記眼領域を検出し、
前記第２の眼領域検出部は、前記第２の顔検出部により検出された前記顔の顔画像における前記眼領域を検出する
請求項８に記載の認証装置。
【請求項１０】
可視光を遮断する第１のフィルタと赤外光を遮断する第２のフィルタとを切り替えて用いることで、レンズより入射される光のうちの可視光に対応する前記可視光画像と、前記レンズより入射される光のうちの赤外光に対応する前記赤外光画像を出力する撮像部をさらに備える
請求項３に記載の認証装置。
【請求項１１】
前記比較部は、前記可視光画像の前記眼領域と前記赤外光画像の前記眼領域とを２値化して差分を求める
請求項３に記載の認証装置。
【請求項１２】
前記比較部は、前記可視光画像の前記眼領域における輝度分布と、前記赤外光画像の前記眼領域における輝度分布の差分を求める
請求項３に記載の認証装置。
【請求項１３】
前記比較部は、前記可視光画像の前記眼領域における黒領域の輪郭と、前記赤外光画像の前記眼領域における黒領域の輪郭の差分を求める
請求項３に記載の認証装置。
【請求項１４】
前記赤外光画像の前記眼領域においてプルキニエ像を検出するプルキニエ像検出部をさらに備え、
前記判定部は、前記比較部の比較結果および前記プルキニエ像検出部の検出結果を用いて、前記人物に対して行われた顔認証の認証結果が正しいか否かを判定する
請求項３に記載の認証装置。
【請求項１５】
前記人物に対して照射される前記赤外光を発光する赤外光発光部をさらに備える
請求項３に記載の認証装置。
【請求項１６】
前記人物に対して可視光を照射する可視光光源をさらに備える
請求項３に記載の認証装置。
【請求項１７】
赤外光が照射された人物を被写体とした可視光画像における前記人物の眼領域と、前記人物を被写体とした赤外光画像における前記人物の前記眼領域とを比較する比較ステップと、
前記比較ステップの比較結果を用いて、前記人物に対して行われた顔認証の認証結果が正しいか否かを判定する判定ステップと
を含む認証方法。
【請求項１８】
赤外光が照射された人物を被写体とした可視光画像における前記人物の眼領域と、前記人物を被写体とした赤外光画像における前記人物の前記眼領域とを比較する比較ステップと、
前記比較ステップの比較結果を用いて、前記人物に対して行われた顔認証の認証結果が正しいか否かを判定する判定ステップと
を含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、認証装置および方法、並びにプログラムに関し、特に、顔認証によるセキュリティを強化することができるようにする認証装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、可視光を用いた撮像と赤外光を用いた撮像とを利用して、撮像対象を認識することが行われている。
【０００３】
例えば、カーナビゲーション装置におけるジェスチャ認識において、可視光カメラを用いた認識に加え、赤外線カメラを用いて赤外光の反射強度を求め、認識対象との距離を判別することで、ジェスチャ認識の精度を高めるようにした技術がある（例えば、特許文献１参照）。
【０００４】
また、車載用カメラにより道路標識等を認識する技術において、可視光カメラにより得られた可視光画像から情報を抽出するとともに、赤外光を照射して赤外線カメラにより得られる赤外光画像から情報を抽出することで、認識精度を高めるようにした技術がある（例えば、特許文献２参照）。
【０００５】
さらに、可視光受光部と非可視光受光部とが水平方向の１画素列毎に交互に配列された受光部を備える固体撮像装置を用いて、撮像対象を認識する際に非可視光を照射して撮像することで、撮像対象を浮かび上がらせ、道路の白線等の認識精度を高めるようにした技術がある（例えば、特許文献３参照）。
【０００６】
また、可視光画像と赤外光画像とを取得することで、眼鏡を着用している人物であっても精度良く瞳孔の位置を検出するようにした技術がある（例えば、特許文献４参照）。
【０００７】
さらに、血管パターンの撮像を、可視光光源を用いた可視光カメラと、赤外光光源を用いた赤外光カメラとを用いて行い、それらの撮像結果を比較することによって、生体認証の精度を高めるようにした技術がある（例えば、特許文献５参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００９−１０４２９７号公報
【特許文献２】特開２００９−２０１０６４号公報
【特許文献３】特開２００７−１２４６７６号公報
【特許文献４】特開２００１−３４０３００号公報
【特許文献５】特開２００６−１４８４７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、可視光を用いた撮像と赤外光を用いた撮像とを利用して、顔認証の精度を高めるようにした技術は提案されていない。
【００１０】
本技術は、このような状況に鑑みてなされたものであり、顔認証によるセキュリティをより強化することができるようにするものである。
【課題を解決するための手段】
【００１１】
本技術の一側面の認証装置は、赤外光が照射された人物を被写体とした可視光画像における前記人物の眼領域と、前記人物を被写体とした赤外光画像における前記人物の前記眼領域とを比較する比較部と、前記比較部の比較結果を用いて、前記人物に対して行われた顔認証の認証結果が正しいか否かを判定する判定部とを備える。
【００１２】
前記判定部は、前記可視光画像の前記眼領域と前記赤外光画像の前記眼領域とに差分がある場合、前記認証結果が正しいと判定する
【００１３】
前記可視光画像における前記人物に対して顔認証を行う顔認証部をさらに備え、
前記判定部は、前記比較部の比較結果を用いて、前記顔認証部の認証結果が正しいか否かを判定する
【００１４】
レンズより入射される光のうちの可視光に対応する前記可視光画像と、前記レンズより入射される光のうちの赤外光に対応する前記赤外光画像を同時に出力する撮像部をさらに備える
【００１５】
前記可視光画像または前記赤外光画像の前記眼領域を検出する眼領域検出部をさらに備え、
前記比較部は、前記眼領域検出部により検出された前記眼領域を表す座標情報を用いて、前記可視光画像の前記眼領域と前記赤外光画像の前記眼領域とを比較する
【００１６】
前記可視光画像における前記人物の顔を検出する顔検出部をさらに備え、
前記顔認証部は、前記顔検出部により検出された前記顔の顔画像を用いて、前記人物に対して顔認証を行い、
前記眼領域検出部は、前記顔検出部により検出された前記顔の顔画像における前記眼領域を検出する
【００１７】
レンズより入射される光のうちの可視光に対応する前記可視光画像を出力する第１の撮像部と、
前記レンズより入射される光のうちの赤外光に対応する前記赤外光画像を出力する第２の撮像部とをさらに備える
【００１８】
前記可視光画像の前記眼領域を検出する第１の眼領域検出部と、
前記赤外光画像の前記眼領域を検出する第２の眼領域検出部とをさらに備え、
前記比較部は、前記第１の眼領域検出部により検出された前記可視光画像の前記眼領域を表す第１の座標情報、および、前記第２の眼領域検出部により検出された前記赤外光画像の前記眼領域を表す第２の座標情報を用いて、前記可視光画像の前記眼領域と前記赤外光画像の前記眼領域とを比較する
【００１９】
前記可視光画像における前記人物の顔を検出する第１の顔検出部と、
前記赤外光画像における前記人物の顔を検出する第２の顔検出部をさらに備え、
前記顔認証部は、前記第１の顔検出部により検出された前記顔の顔画像を用いて、前記人物に対して顔認証を行い、
前記第１の眼領域検出部は、前記第１の顔検出部により検出された前記顔の顔画像における前記眼領域を検出し、
前記第２の眼領域検出部は、前記第２の顔検出部により検出された前記顔の顔画像における前記眼領域を検出する
【００２０】
可視光を遮断する第１のフィルタと赤外光を遮断する第２のフィルタとを切り替えて用いることで、レンズより入射される光のうちの可視光に対応する前記可視光画像と、前記レンズより入射される光のうちの赤外光に対応する前記赤外光画像を出力する撮像部をさらに備える
【００２１】
前記比較部は、前記可視光画像の前記眼領域と前記赤外光画像の前記眼領域とを２値化して差分を求める
【００２２】
前記比較部は、前記可視光画像の前記眼領域における輝度分布と、前記赤外光画像の前記眼領域における輝度分布の差分を求める
【００２３】
前記比較部は、前記可視光画像の前記眼領域における黒領域の輪郭と、前記赤外光画像の前記眼領域における黒領域の輪郭の差分を求める
【００２４】
前記赤外光画像の前記眼領域においてプルキニエ像を検出するプルキニエ像検出部をさらに備え、
前記判定部は、前記比較部の比較結果および前記プルキニエ像検出部の検出結果を用いて、前記人物に対して行われた顔認証の認証結果が正しいか否かを判定する
【００２５】
前記人物に対して照射される前記赤外光を発光する赤外光発光部をさらに備える
【００２６】
前記人物に対して可視光を照射する可視光光源をさらに備える
【００２７】
本技術の一側面の認証方法は、赤外光が照射された人物を被写体とした可視光画像における前記人物の眼領域と、前記人物を被写体とした赤外光画像における前記人物の前記眼領域とを比較する比較ステップと、前記比較ステップの比較結果を用いて、前記人物に対して行われた顔認証の認証結果が正しいか否かを判定する判定ステップとを含む。
【００２８】
本技術の一側面のプログラムは、赤外光が照射された人物を被写体とした可視光画像における前記人物の眼領域と、前記人物を被写体とした赤外光画像における前記人物の前記眼領域とを比較する比較ステップと、前記比較ステップの比較結果を用いて、前記人物に対して行われた顔認証の認証結果が正しいか否かを判定する判定ステップとを含む処理をコンピュータに実行させる。
【００２９】
本技術の一側面においては、赤外光が照射された人物を被写体とした可視光画像における人物の眼領域と、人物を被写体とした赤外光画像における人物の眼領域とが比較され、比較結果を用いて、人物に対して行われた顔認証の認証結果が正しいか否かが判定される。
【発明の効果】
【００３０】
本技術の一側面によれば、顔認証によるセキュリティをより強化することが可能となる。
【図面の簡単な説明】
【００３１】
【図１】本技術の認証結果判定装置の機能構成例を示すブロック図である。
【図２】可視光画像と赤外光画像における眼領域の差について説明する図である。
【図３】可視光画像と赤外光画像における眼領域の差について説明する図である。
【図４】認証結果判定処理について説明するフローチャートである。
【図５】本技術の一実施の形態としての携帯端末のハードウェア構成例を示すブロック図である。
【図６】RGB画素とIR画素の出力の例について説明する図である。
【図７】本技術を適用した携帯端末の第１の実施の形態の機能構成例を示すブロック図である。
【図８】図７の携帯端末による認証処理について説明するフローチャートである。
【図９】RGB画素の眼領域とIR画素の眼領域の比較の例について説明する図である。
【図１０】RGB画素の眼領域とIR画素の眼領域の比較の例について説明する図である。
【図１１】RGB画素の眼領域とIR画素の眼領域の比較の例について説明する図である。
【図１２】本技術を適用した携帯端末の第２の実施の形態の機能構成例を示すブロック図である。
【図１３】図１２の携帯端末による認証処理について説明するフローチャートである。
【図１４】本技術を適用した携帯端末の第３の実施の形態の機能構成例を示すブロック図である。
【図１５】図１４の携帯端末による認証処理について説明するフローチャートである。
【図１６】本技術を適用した携帯端末の第４の実施の形態の機能構成例を示すブロック図である。
【図１７】図１６の携帯端末による認証処理について説明するフローチャートである。
【図１８】本技術を適用した携帯端末の第５の実施の形態の機能構成例を示すブロック図である。
【図１９】図１８の携帯端末による認証処理について説明するフローチャートである。
【図２０】本技術を適用した携帯端末の第６の実施の形態の機能構成例を示すブロック図である。
【図２１】図２０の携帯端末による認証処理について説明するフローチャートである。
【図２２】本技術を適用した携帯端末の第７の実施の形態の機能構成例を示すブロック図である。
【図２３】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００３２】
以下、本技術の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
１．本技術の概要
２．第１の実施の形態
３．第２の実施の形態
４．第３の実施の形態
５．第４の実施の形態
６．第５の実施の形態
７．第６の実施の形態
８．第７の実施の形態
【００３３】
＜１．本技術の概要＞
[認証結果判定装置の機能構成例]
図１は、本技術が適用される認証装置としての認証結果判定装置の機能構成例を示している。
【００３４】
図１の認証結果判定装置１は、人物の顔を認証する顔認証装置に含まれるか、または顔認証装置に接続されて、顔認証装置の認証結果が正しいか否かを判定する。
【００３５】
認証結果判定装置１は、比較部２と判定部３を備えている。
【００３６】
比較部２は、顔認証装置により顔認証が行われる人物を撮像した可視光画像（以下、RGB画像という）と、赤外光画像（以下、IR画像という）とを比較する。具体的には、比較部２は、所定の赤外光光源により赤外光が照射された人物を被写体としたRGB画像における人物の眼の部分（以下、眼領域という）と、その人物を被写体としたIR画像における人物の眼領域とを比較し、その比較結果を、判定部３に供給する。
【００３７】
なお、RGB画像における人物とIR画像における人物とは、同一人物であることは言うまでもない。
【００３８】
判定部３は、比較部２からの比較結果を用いて、顔認証装置により上述した人物に対して行われた顔認証の認証結果が正しいか否かを判定する。具体的には、判定部３は、RGB画像おける眼領域とIR画像における眼領域との差に基づいて、顔認証の認証結果が正しいか否かを判定する。
【００３９】
ここで、図２および図３を参照して、RGB画像とIR画像における眼領域の差について説明する。
【００４０】
図２Ａ，Ｂはそれぞれ、実際の人物を被写体として撮像した場合のRGB画像の眼領域およびIR画像の眼領域を示し、図３Ａ，Ｂは、写真等に写った人物を被写体として撮像した場合のRGB画像の眼領域およびIR画像の眼領域を示している。
【００４１】
図２に示されるように、実際の人物を撮像した場合のRGB画像の眼領域とIR画像の眼領域とは、その見え方が異なる。具体的には、実際の人物を撮像した場合のRGB画像の眼領域においては、（虹彩の色が暗い色の場合、）瞳孔と虹彩とでコントラストの差は大きくならないが、実際の人物を撮像した場合のIR画像の眼領域おいては、虹彩が明るく写り、瞳孔と虹彩とでコントラストの差は大きくなる。また、実際の人物を撮像した場合のIR画像の眼領域には、赤外光を照射するための赤外光光源が角膜表面で反射した像であるプルキニエ像が見られる。
【００４２】
一方、図３に示されるように、写真等の人物を撮像した場合のRGB画像の眼領域とIR画像の眼領域とは、その見え方が同様となる。また、写真等の人物を撮像した場合のIR画像の眼領域には、プルキニエ像は見られない。
【００４３】
すなわち、比較部２による比較の結果、RGB画像の眼領域とIR画像の眼領域とに差がある場合、RGB画像およびIR画像の被写体は実際の人物であり、RGB画像の眼領域とIR画像の眼領域とに差がない場合、RGB画像およびIR画像の被写体は実際の人物ではなく、写真等に写っている人物と言える。
【００４４】
したがって、判定部３は、顔認証装置から認証ＯＫを示す認証結果が供給された場合、比較部２からの比較結果が、RGB画像の眼領域とIR画像の眼領域とに差があることを示していれば、顔認証装置による認証は、実際の人物の顔に対して行われているので、その認証結果は正しいと判定し、その認証結果を図示せぬ表示装置等に出力する。また、判定部３は、顔認証装置から認証ＯＫを示す認証結果が供給された場合、比較部２からの比較結果が、RGB画像の眼領域とIR画像の眼領域とに差がないことを示していれば、顔認証装置による認証は、写真等に写った顔に対して行われているので、その認証結果は正しくないと判定し、その認証結果が正しくない旨を出力する。
【００４５】
なお、判定部３は、顔認証装置から認証ＮＧを示す認証結果が供給された場合には、その認証結果をそのまま出力する。
【００４６】
[認証結果判定処理について]
ここで、図４のフローチャートを参照して、認証結果判定装置１による認証結果判定処理について説明する。
【００４７】
ステップＳ１において、比較部２は、赤外光が照射された人物を被写体としたRGB画像における人物と、その人物を被写体としたIR画像における人物の眼領域とを比較し、その比較結果を判定部３に供給する。
【００４８】
ステップＳ２において、判定部３は、比較部２からの比較結果、すなわち、図２および図３を参照して説明したような、RGB画像おける眼領域とIR画像における眼領域との差に基づいて、顔認証の認証結果が正しいか否かを判定し、出力する。上述したように、認証結果が正しいと判定された場合にはその認証結果が出力され、認証結果が正しくないと判定された場合にはその認証結果が正しくない旨が出力される。
【００４９】
以上の処理によれば、RGB画像の眼領域とIR画像の眼領域とが比較され、その比較結果を用いて、顔認証の認証結果が正しいか否かが判定されるので、可視光を用いた撮像と赤外光を用いた撮像とを利用して、顔認証の精度を高めることができるようになり、ひいては、顔認証によるセキュリティをより強化することが可能となる。
【００５０】
以下、上述した本技術の実施の形態について説明する。
【００５１】
＜２．第１の実施の形態＞
[携帯端末のハードウェア構成例]
図５は、本技術を適用した認証装置としての携帯端末のハードウェア構成例を示すブロック図である。
【００５２】
図５の携帯端末１１は、例えば、撮像機能を備えた携帯電話機等として構成され、人物を被写体として撮像し、その人物に対して顔認証を行うことで、セキュリティロックを解除する。
【００５３】
図５の携帯端末１１は、レンズ２１、特殊フィルタ２２、イメージセンサ２３、CDS（Correlated Double Sampling）/AGC（Automatic Gain Control）回路２４、A/D（Analog/Digital）変換回路２５、DSP（Digital Signal Processor）２６、CPU（Central Processing Unit）２７、タイミングジェネレータ２８、ディスプレイ２９、およびEEPROM（Electrically Erasable Programmable Read Only Memory）３０から構成される。
【００５４】
レンズ２１は、単眼の単焦点レンズとして構成され、被写体からの光を集光し、集光した光を、特殊フィルタ２２を介してイメージセンサ２３に入射させる。イメージセンサ２３は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)センサ等から構成され、レンズ２１から特殊フィルタ２２を介して入射する光を受光し、その光を、受光量に応じた電気信号としての画像信号（アナログ信号）に光電変換して、CDS/AGC回路２４に供給する。
【００５５】
特殊フィルタ２２は、可視光域とともに、近赤外光の波長帯に透過帯を持つ分光特性を有する。イメージセンサ２３の前面（図中、左側）には、カラーフィルタアレイ２３ａ（図６）が配置されている。カラーフィルタアレイ２３ａは、イメージセンサ２３の１画素ごとに割り当てられたカラーフィルタから構成される。
【００５６】
図６には、ベイヤ配列において、Ｇ画素のうちの半分（Ｒ，Ｇ，Ｂ，Ｇからなる、隣接する２×２（＝４）画素のうちの１つのＧ画素）が、図中黒塗りで示されるIR（InfraRed）透過フィルタで構成されるカラーフィルタアレイ２３ａの配列例が示されている。
【００５７】
すなわち、イメージセンサ２３によれば、図６に示されるように、Ｒ，Ｇｂ（またはＧｒ），Ｂ画素（RGB画素）を間引きした出力をデモザイクして得られるＲ画像、Ｇ画像、Ｂ画像からなる可視光画像（RGB画像）と、Ｇｒ（またはＧｂ）画素（IR画素）を間引きした出力をデモザイクして得られる赤外光画像（IR画像）が得られる。
【００５８】
図５に戻り、CDS/AGS回路２４は、イメージセンサ２３において発生する１／ｆノイズを除去するとともに、CPU２７の制御に基づいて、イメージセンサ２３から供給された画像信号の大きさ（レベル）が一定になるようにゲインを調整してA/D変換回路２５に出力する。さらに、CDS/AGS回路２４は、CPU２７の制御に基づいて、イメージセンサ２３における電荷の蓄積時間を電気的に変化させる電子シャッタ処理も行う。
【００５９】
A/D変換回路２５は、CDS/AGS回路２４から出力されたアナログ信号である画像信号を、デジタル信号である画像データに変換して、DSP２６に供給する。A/D変換回路２５によって得られる画像データとしては、上述したRGB画像の画像データと、IR画像の画像データとがある。
【００６０】
DSP２６は、A/D変換回路２５からの画像データ（RGB画像およびIR画像の画像データ）に対して、所定の画像処理を施し、その結果をディスプレイ２９またはEEPROM３０に供給する。
【００６１】
CPU２７は、携帯端末１１の各部を制御する。
【００６２】
タイミングジェネレータ２８は、CPU２７の制御に基づいて、各種のタイミング信号を発生し、イメージセンサ２３、CDS/AGC回路２４、およびA/D変換回路２５に供給する。
【００６３】
ディスプレイ２９は、CPU２７の制御に基づいて、所定の画像を表示したり、DSP２６からの画像処理の結果に応じた表示を行う。また、ディスプレイ２９は、タッチパネル機能を備えており、携帯端末１１に対して操作入力を行うための操作画面の表示を行う。
【００６４】
EEPROM３０は、いわゆる不揮発性のメモリであり、電源が落とされても、記憶保持した情報が失われることがなく、各種の設定パラメータや、DSP２６からの画像処理の結果等を記憶保持する。
【００６５】
[携帯端末の機能構成例]
次に、図７を参照して、携帯端末１１の機能構成例について説明する。
【００６６】
図７の携帯端末１１は、撮像部５１、IR発光部５２、顔検出部５３、眼領域検出部５４、顔認証部５５、比較部５６、プルキニエ像検出部５７、および判定部５８から構成される。
【００６７】
撮像部５１は、図２で説明したレンズ２１、特殊フィルタ２２、イメージセンサ２３を備える他、図示しないが、CDS/AGC回路２４およびA/D変換回路２５を備える。すなわち、撮像部５１は、被写体を撮像し、RGB画像およびIR画像を同時に出力する。また、撮像部５１は、ゲイン調整や電子シャッタ処理を行う。
【００６８】
IR発光部５２は、タイミングジェネレータ２８のタイミング信号により撮像部５１と同期して、撮像部５１が撮像するタイミングで赤外光を発光することで、赤外光を被写体に照射する。なお、IR発光部５２は、撮像部５１と同期せずに、常時赤外光を発光するようにしてもよい。
【００６９】
顔検出部５３は、撮像部５１からのRGB画像から顔を検出し、顔が検出された領域である顔検出領域の位置および大きさに基づいて顔画像を抽出して、眼領域検出部５４および顔認証部５５に供給する。例えば、顔検出部５３は、予め複数の顔の顔画像を学習しておくことで、RGB画像の被写体としての人物の顔を検出する。
【００７０】
眼領域検出部５４は、顔検出部５３からの顔画像において眼領域を検出し、RGB画像における眼領域の位置を表す情報（座標情報）を、比較部５６およびプルキニエ像検出部５７に供給する。例えば、眼領域検出部５４は、予め複数の眼の画像を学習しておくことで、眼領域を検出する。
【００７１】
顔認証部５５は、顔検出部５３からの顔画像を用いて、RGB画像における人物に対して顔認証を行い、その認証結果を比較部５６および判定部５８に供給する。例えば、顔認証部５５は、顔検出部５３からの顔画像と、予め登録されている携帯端末１１の所有者の顔画像のマッチングを行うことで、顔認証を行う。
【００７２】
比較部５６は、顔認証部５５から、認証ＯＫを示す認証結果が供給された場合、眼領域検出部５４からの座標情報を用いて、RGB画像の眼領域とIR画像の眼領域とを比較し、その比較結果を判定部５８に供給する。
【００７３】
プルキニエ像検出部５７は、眼領域検出部５４からの座標情報を用いて、撮像部５１からのIR画像の眼領域においてプルキニエ像を検出し、その検出結果を判定部５８に供給する。
【００７４】
判定部５８は、比較部５６からの比較結果、および、プルキニエ像検出部５７からの検出結果を用いて、顔認証部５５からの認証結果が正しいか否かを判定し、その判定結果をディスプレイ２９に出力する。
【００７５】
[認証処理について]
次に、図８のフローチャートを参照して、携帯端末１１による認証処理について説明する。
【００７６】
例えば、タッチパネル機能を備えるディスプレイ２９に対して、操作者により認証処理開始の指示を示す操作入力が行われると、ステップＳ１１において、撮像部５１は、その操作者を被写体として撮像する。ここで、撮像部５１による撮像のタイミングに合わせて、IR発光部５２が発光する。これにより、赤外光が照射された操作者を被写体としたRGB画像およびIR画像が取得され、RGB画像は顔検出部５３および比較部５６に、IR画像は比較部５６およびプルキニエ像検出部５７にそれぞれ供給される。
【００７７】
ステップＳ１２において、顔検出部５３は、撮像部５１からのRGB画像において顔を検出し、顔検出領域の位置および大きさに基づいて顔画像を抽出して、眼領域検出部５４および顔認証部５５に供給する。
【００７８】
ステップＳ１３において、眼領域検出部５４は、顔検出部５３からの顔画像において眼領域を検出し、RGB画像における眼領域の位置を表す座標情報を、比較部５６およびプルキニエ像検出部５７に供給する。眼領域の検出は、左右両方の眼について行われるようにしてもよいし、左右いずれか一方の眼について行われるようにしてもよい。
【００７９】
ステップＳ１４において、顔認証部５５は、顔検出部５３からの顔画像を用いて、撮像部５１により取得されたRGB画像における操作者に対して顔認証を行う。
【００８０】
なお、ステップＳ１３とステップＳ１４とは、並列して実行されてもよい。
【００８１】
ステップＳ１５において、顔認証部５５は、顔認証の認証結果が認証ＯＫを示す場合、その認証結果を比較部５６および判定部５８に供給し、処理はステップＳ１６に進む。
【００８２】
ステップＳ１６において、比較部５６は、顔認証部５５からの認証結果を取得すると、眼領域検出部５４からの座標情報を用いて、RGB画像の眼領域とIR画像の眼領域とを比較し、その比較結果を判定部５８に供給する。なお、眼領域検出部５４からの座標情報は、RGB画像における眼領域の位置を表すものであるが、撮像部５１により取得されるRGB画像とIR画像とは同一画角で同時に撮像されるため、眼領域検出部５４からの座標情報により、IR画像における眼領域の位置も特定される。
【００８３】
すなわち、比較部５６は、眼領域検出部５４からの座標情報によって特定されるRGB画像の眼領域とIR画像の眼領域とを比較する。
【００８４】
具体的には、例えば、比較部５６は、図９に示されるように、RGB画像の眼領域の輝度情報を所定の閾値を用いて２値化した２値化眼領域画像７１と、IR画像の眼領域の輝度情報を所定の閾値を用いて２値化した２値化眼領域画像７２との差分をとり、差分画像７３を得る。
【００８５】
実際の人物を撮像した場合のRGB画像の眼領域とIR画像の眼領域とは、瞳孔と虹彩とで明るさが異なるため、差分画像７３は、虹彩部分に値を持った画像となる。
【００８６】
一方、写真等の人物を撮像した場合のRGB画像の眼領域とIR画像の眼領域とは、瞳孔と虹彩とで明るさが同一となるため、差分画像７３は、全体的に値を持たない画像となる。
【００８７】
なお、虹彩の明るさ（色）には個人差があるので、２値化処理に用いられる閾値は、例えば、国や地域毎に設定されるようにしてもよい。
【００８８】
また、比較部５６は、図１０に示されるように、RGB画像の眼領域における黒領域の輪郭と、IR画像の眼領域における黒領域の輪郭の差分を求めるようにしてもよい。
【００８９】
実際の人物を撮像した場合のRGB画像の眼領域においては、瞳孔および虹彩の部分が黒領域となり、実際の人物を撮像した場合のIR画像の眼領域においては、瞳孔のみが黒領域となる。したがって、実際の人物を撮像した場合のRGB画像の眼領域における黒領域の輪郭の径（図１０Ａ）と、IR画像の眼領域における黒領域の輪郭の径（図１０Ｂ）との間に差分が生じる。
【００９０】
一方、写真等の人物を撮像した場合のRGB画像の眼領域においては、瞳孔および虹彩の部分が黒領域となり、写真等の人物を撮像した場合のIR画像の眼領域においても、瞳孔および虹彩の部分が黒領域となる。したがって、写真等の人物を撮像した場合のRGB画像の眼領域における黒領域の輪郭の径と、IR画像の眼領域における黒領域の輪郭の径との間に差分は生じない。
【００９１】
なお、RGB画像およびIR画像の眼領域における黒領域は、上述した２値化処理によって求めることができる。
【００９２】
さらに、比較部５６は、図１１に示されるように、RGB画像の眼領域における輝度分布と、IR画像の眼領域における輝度分布の差分を求めるようにしてもよい。
【００９３】
実際の人物を撮像した場合のRGB画像の眼領域においては、瞳孔および虹彩の部分が暗い色となるので低輝度側の輝度分布が大きくなり、実際の人物を撮像した場合のIR画像の眼領域においては、虹彩の部分が明るくなるので、高輝度側の輝度分布が大きくなる。したがって、実際の人物を撮像した場合のRGB画像の眼領域についての輝度ヒストグラム（図１１Ａ）と、IR画像の眼領域についての輝度ヒストグラム（図１１Ｂ）との間に差分が生じる。
【００９４】
一方、写真等の人物を撮像した場合のRGB画像の眼領域においては、瞳孔および虹彩の部分が暗い色となるので低輝度側の輝度分布が大きくなり、写真等の人物を撮像した場合のIR画像の眼領域においても、瞳孔および虹彩の部分が暗い色となるので低輝度側の輝度分布が大きくなる。したがって、実際の人物を撮像した場合のRGB画像の眼領域についての輝度ヒストグラムと、IR画像の眼領域についての輝度ヒストグラムとの間に差分は生じない。
【００９５】
このようにして、比較部５６は、RGB画像の眼領域とIR画像の眼領域とを比較し、差分を求めることができるが、差分を求める手法は上述したものに限られない。
【００９６】
図８のフローチャートに戻り、ステップＳ１７において、プルキニエ像検出部５７は、撮像部５１からのIR画像における、眼領域検出部５４からの座標情報で特定される眼領域においてプルキニエ像を検出し、その検出結果を判定部５８に供給する。具体的には、撮像部５１からのIR画像が、実際の人物を撮像した場合のIR画像であれば、眼領域からプルキニエ像が検出され、撮像部５１からのIR画像が、写真等の人物を撮像した場合のIR画像であれば、眼領域からプルキニエ像は検出されない。
【００９７】
ステップＳ１８において、判定部５８は、比較部５６からの比較結果、および、プルキニエ像検出部５７からの検出結果を用いて、顔認証部５５からの認証結果が正しいか否かを判定し、処理はステップＳ１９に進む。
【００９８】
すなわち、判定部５８は、比較部５６からの比較結果が、RGB画像の眼領域とIR画像の眼領域とに差分があることを示し、かつ、プルキニエ像検出部５７からの検出結果が、IR画像の眼領域からプルキニエ像が検出されたことを示している場合、顔認証が行われた人物は実際の人物であるので、認証結果（認証ＯＫ）は正しいと判定する。
【００９９】
また、判定部５８は、比較部５６からの比較結果が、RGB画像の眼領域とIR画像の眼領域とに差分がないことを示すか、または、プルキニエ像検出部５７からの検出結果が、IR画像の眼領域からプルキニエ像が検出されないことを示している場合、顔認証が行われた人物は写真等の人物であるので、認証結果（認証ＯＫ）は正しくないと判定する。
【０１００】
ところで、ステップＳ１５において、顔認証の認証結果が認証ＮＧを示す場合、顔認証部５５は、その認証結果を判定部５８に供給し、処理はステップＳ１９に進む。
【０１０１】
ステップＳ１９において、判定部５８は、認証結果を、ディスプレイ２９に出力する。
【０１０２】
具体的には、ステップＳ１８において認証結果（認証ＯＫ）が正しいと判定された場合、判定部５８は、認証ＯＫである旨をディスプレイ２９に出力する。このとき、携帯端末１１にかけられているセキュリティロックは解除される。
【０１０３】
一方、ステップＳ１８において認証結果（認証ＯＫ）が正しくないと判定された場合、判定部５８は、認証に失敗した旨をディスプレイ２９に出力する。この場合、携帯端末１１にかけられているセキュリティロックは解除されない。
【０１０４】
また、ステップＳ１５において、顔認証の結果が認証ＮＧであった場合、判定部５８は、認証ＮＧである旨をディスプレイ２９に出力する。この場合ももちろん、携帯端末１１にかけられているセキュリティロックは解除されない。
【０１０５】
以上の処理によれば、RGB画像の眼領域とIR画像の眼領域とが比較され、その比較結果を用いて、顔認証の認証結果が正しいか否かが判定されるようになる。
【０１０６】
従来の認証処理においては、例えば、携帯端末の所有者の顔写真を用いることで、なりすましによる顔認証に成功し、セキュリティロックが解除される恐れがあった。一方、本技術においては、RGB画像の眼領域とIR画像の眼領域とが比較されることで、顔写真を用いた、なりすましによる顔認証が成功した場合であっても、その認証結果は正しくないと判定されるようになる。したがって、本技術によれば、可視光を用いた撮像と赤外光を用いた撮像とを利用して、顔認証の精度を高めることができ、顔認証によるセキュリティをより強化することが可能となる。
【０１０７】
また、以上の処理においては、１つの撮像部によりRGB画像とIR画像とが同一画角で同時に撮像されるので、光軸を調整したり、撮像タイミングの同期をとる等といった処理を行う必要がなく、処理の負荷を低減することができる。
【０１０８】
ところで、以上においては、顔画像から眼領域が検出されるようにしたが、眼領域を精度良く検出することができるならば、RGB画像全体から眼領域が検出されるようにしてもよい。
【０１０９】
＜３．第２の実施の形態＞
[携帯端末の機能構成例]
図１２は、本技術を適用した携帯端末の第２の実施の形態の機能構成例を示している。
【０１１０】
なお、図１２の携帯端末１１１において、図７の携帯端末１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１１１】
すなわち、図１２の携帯端末１１１において、図７の携帯端末１１と異なるのは、眼領域検出部５４に代えて、眼領域検出部１５１を設けた点である。
【０１１２】
眼領域検出部１５１は、撮像部５１からのRGB画像から眼領域を検出し、RGB画像における眼領域の位置を表す座標情報を、比較部５６およびプルキニエ像検出部５７に供給する。眼領域検出部１５１もまた、予め複数の眼の画像を学習しておくことで、眼領域を検出する。
【０１１３】
[認証処理について]
次に、図１３のフローチャートを参照して、図１２の携帯端末１１１による認証処理について説明する。
【０１１４】
なお、図１３のフローチャートのステップＳ１１１，Ｓ１１２，Ｓ１１４乃至Ｓ１１９の処理は、図８のフローチャートのステップＳ１１，Ｓ１２，Ｓ１４乃至Ｓ１９の処理と基本的に同様であるので、その説明は省略する。
【０１１５】
すなわち、ステップＳ１１３において、眼領域検出部１５１は、撮像部５１により取得されたRGB画像において眼領域を検出し、RGB画像における眼領域の位置を表す座標情報を、比較部５６およびプルキニエ像検出部５７に供給する。眼領域の検出は、左右両方の眼について行われるようにしてもよいし、左右いずれか一方の眼について行われるようにしてもよい。
【０１１６】
以上の処理によっても、RGB画像の眼領域とIR画像の眼領域とが比較され、その比較結果を用いて、顔認証の認証結果が正しいか否かが判定されるようになるので、可視光を用いた撮像と赤外光を用いた撮像とを利用して、顔認証の精度を高めることができ、顔認証によるセキュリティをより強化することが可能となる。
【０１１７】
以上においては、RGB画像全体から眼領域が検出されるようにしたが、IR画像全体から眼領域が検出されるようにしてもよい。
【０１１８】
＜４．第３の実施の形態＞
[携帯端末の機能構成例]
図１４は、本技術を適用した携帯端末の第３の実施の形態の機能構成例を示している。
【０１１９】
なお、図１４の携帯端末２１１において、図７の携帯端末１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１２０】
すなわち、図１４の携帯端末２１１において、図７の携帯端末１１と異なるのは、眼領域検出部５４に代えて、眼領域検出部２５１を設けた点である。
【０１２１】
眼領域検出部２５１は、撮像部５１からのIR画像から眼領域を検出し、IR画像における眼領域の位置を表す座標情報を、比較部５６およびプルキニエ像検出部５７に供給する。眼領域検出部２５１もまた、予め複数の眼の画像を学習しておくことで、眼領域を検出する。
【０１２２】
[認証処理について]
次に、図１５のフローチャートを参照して、図１４の携帯端末２１１による認証処理について説明する。
【０１２３】
なお、図１５のフローチャートのステップＳ２１１，Ｓ２１２，Ｓ２１４乃至Ｓ２１９の処理は、図８のフローチャートのステップＳ１１，Ｓ１２，Ｓ１４乃至Ｓ１９の処理と基本的に同様であるので、その説明は省略する。
【０１２４】
すなわち、ステップＳ２１３において、眼領域検出部２５１は、撮像部５１により取得されたIR画像において眼領域を検出し、IR画像における眼領域の位置を表す座標情報を、比較部５６およびプルキニエ像検出部５７に供給する。眼領域の検出は、左右両方の眼について行われるようにしてもよいし、左右いずれか一方の眼について行われるようにしてもよい。
【０１２５】
以上の処理によっても、RGB画像の眼領域とIR画像の眼領域とが比較され、その比較結果を用いて、顔認証の認証結果が正しいか否かが判定されるようになるので、可視光を用いた撮像と赤外光を用いた撮像とを利用して、顔認証の精度を高めることができ、顔認証によるセキュリティをより強化することが可能となる。
【０１２６】
なお、図１４の携帯端末２１１に、撮像部５１からのIR画像において顔を検出し、顔画像を抽出して、眼領域検出部２５１に供給する顔検出部を設けるようにしてもよい。これにより、眼領域検出部２５１による眼領域の検出の負荷を低減することができる。
【０１２７】
以上においては、１つの撮像部によりRGB画像とIR画像とが撮像されるようにしたが、２つの撮像部それぞれによりRGB画像とIR画像とが撮像されるようにしてもよい。
【０１２８】
＜５．第４の実施の形態＞
[携帯端末の機能構成例]
図１６は、本技術を適用した携帯端末の第４の実施の形態の機能構成例を示している。
【０１２９】
なお、図１６の携帯端末３１１において、図７の携帯端末１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１３０】
すなわち、図１６の携帯端末３１１において、図７の携帯端末１１と異なるのは、撮像部５１に代えて撮像部３５１，３５２を設け、眼領域検出部２５１を新たに設け、比較部５６に代えて比較部３５３を設けた点である。
【０１３１】
なお、眼領域検出部２５１は、図１４の携帯端末２１１に設けられたものと同様であるので、その説明は省略する。
【０１３２】
撮像部３５１は、レンズ３６１、IRカットフィルタ３６２、イメージセンサ３６３を備える他、図示せぬCDS/AGC回路およびA/D変換回路を備える。すなわち、撮像部３５１は、被写体を撮像し、得られたRGB画像を出力する。
【０１３３】
撮像部３５２は、レンズ３７１、可視光カットフィルタ３７２、イメージセンサ３７３を備える他、図示せぬCDS/AGC回路およびA/D変換回路を備える。すなわち、撮像部３５２は、被写体を撮像し、得られたIR画像を出力する。
【０１３４】
なお、撮像部３５１，３５２、およびIR発光部５２は、タイミングジェネレーション２８のタイミング信号により、互いに同期して動作するものとする。
【０１３５】
比較部３５３は、顔認証部５５から認証ＯＫを示す認証結果が供給された場合、眼領域検出部５４からの座標情報と眼領域検出部２５１からの座標情報とを用いて、RGB画像の眼領域とIR画像の眼領域とを比較し、その比較結果を判定部５８に供給する。
【０１３６】
[認証処理について]
次に、図１７のフローチャートを参照して、図１６の携帯端末３１１による認証処理について説明する。
【０１３７】
なお、図１７のフローチャートのステップＳ３１４乃至Ｓ３１６，Ｓ３１８乃至Ｓ３２０の処理は、図８のフローチャートのステップＳ１３乃至Ｓ１５，Ｓ１７乃至Ｓ１９の処理と基本的に同様であるので、その説明は省略する。
【０１３８】
すなわち、ステップＳ３１１において、撮像部３５１，３５２は、操作者を被写体として撮像する。ここで、撮像部３５１，３５２による撮像のタイミングに合わせて、IR発光部５２が発光する。これにより、赤外光が照射された操作者を被写体としたRGB画像およびIR画像が取得され、RGB画像は顔検出部５３および比較部３５３に、IR画像はプルキニエ像検出部５７、眼領域検出部２５１、および比較部３５３にそれぞれ供給される。
【０１３９】
ステップＳ３１２において、眼領域検出部２５１は、撮像部３５２により取得されたIR画像において眼領域を検出し、IR画像における眼領域の位置を表す座標情報を、プルキニエ像検出部５７および比較部３５３に供給する。
【０１４０】
そして、ステップＳ３１３乃至ステップＳ３１６の処理の後、ステップＳ３１７において、比較部３５３は、眼領域検出部５４からの座標情報と眼領域検出部２５１からの座標情報とを用いて、RGB画像の眼領域とIR画像の眼領域とを比較し、その比較結果を判定部５８に供給する。なお、眼領域検出部５４からの座標情報は、RGB画像における眼領域の位置を表し、眼領域検出部２５１からの座標情報は、IR画像の眼領域における位置を表すものであるが、RGB画像とIR画像とは異なる画角で撮像されるため、RGB画像の眼領域の位置とIR画像の眼領域の位置は、異なる画角の分だけ調整されて特定される。
【０１４１】
なお、比較部３５３により、RGB画像の眼領域とIR画像の眼領域とを比較し、差分を求める手法は、図９乃至図１１を参照して説明した手法等が用いられる。
【０１４２】
以上の処理によっても、RGB画像の眼領域とIR画像の眼領域とが比較され、その比較結果を用いて、顔認証の認証結果が正しいか否かが判定されるようになるので、可視光を用いた撮像と赤外光を用いた撮像とを利用して、顔認証の精度を高めることができ、顔認証によるセキュリティをより強化することが可能となる。
【０１４３】
以上においては、IR画像における眼領域はIR画像全体から検出されるようにしたが、IR画像において顔画像を抽出し、その顔画像からIR画像における眼領域が検出されるようにしてもよい。
【０１４４】
＜６．第５の実施の形態＞
[携帯端末の機能構成例]
図１８は、本技術を適用した携帯端末の第５の実施の形態の機能構成例を示している。
【０１４５】
なお、図１８の携帯端末４１１において、図１６の携帯端末３１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１４６】
すなわち、図１８の携帯端末４１１において、図１６の携帯端末３１１と異なるのは、顔検出部４５１を新たに設け、眼領域検出部２５１に代えて眼領域検出部４５２を設けた点である。
【０１４７】
顔検出部４５１は、撮像部３５２からのIR画像において顔を検出し、顔が検出された顔検出領域の位置および大きさに基づいて顔画像を抽出して、眼領域検出部４５２に供給する。なお、ここでは、顔検出部５３により抽出された顔画像と、顔検出部４５１により検出された顔画像とを互いに区別するため、それぞれRGB顔画像、IR顔画像という。
【０１４８】
眼領域検出部４５２は、顔検出部４５１からのIR顔画像から眼領域を検出し、眼領域の位置を表す座標情報を、プルキニエ像検出部５７および比較部３５３に供給する。
【０１４９】
[認証処理について]
次に、図１９のフローチャートを参照して、図１８の携帯端末４１１による認証処理について説明する。
【０１５０】
なお、図１９のフローチャートのステップＳ４１１，Ｓ４１４乃至Ｓ４２１の処理は、図１７のフローチャートのステップＳ３１１，Ｓ３１３乃至Ｓ３２０の処理と基本的に同様であるので、その説明は省略する。
【０１５１】
すなわち、ステップＳ４１２において、顔検出部４５１は、撮像部３５２からのIR画像において顔を検出し、顔検出領域の位置および大きさに基づいてIR顔画像を抽出して、眼領域検出部４５２に供給する。
【０１５２】
ステップＳ４１３において、眼領域検出部４５２は、顔検出部４５１からのIR顔画像において眼領域を検出し、IR画像における眼領域の位置を表す座標情報を、プルキニエ像検出部５７および比較部３５３に供給する。
【０１５３】
以上の処理によっても、RGB画像の眼領域とIR画像の眼領域とが比較され、その比較結果を用いて、顔認証の認証結果が正しいか否かが判定されるようになるので、可視光を用いた撮像と赤外光を用いた撮像とを利用して、顔認証の精度を高めることができ、顔認証によるセキュリティをより強化することが可能となる。
【０１５４】
また、IR画像における眼領域をIR顔画像から検出するようにしたので、眼領域の検出精度を高めることができ、ひいては、比較部３５３における画角調整の精度を高めることができる。
【０１５５】
以上においては、２つの撮像部それぞれによりRGB画像とIR画像とが撮像されるようにしたが、１つの撮像部において、IRカットフィルタと可視光カットフィルタとを切り替えて用いることで、RGB画像とIR画像とが撮像されるようにすることもできる。
【０１５６】
＜７．第６の実施の形態＞
[携帯端末の機能構成例]
図２０は、本技術を適用した携帯端末の第６の実施の形態の機能構成例を示している。
【０１５７】
なお、図２０の携帯端末５１１において、図１６の携帯端末３１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１５８】
すなわち、図２０の携帯端末５１１において、図１６の携帯端末３１１と異なるのは、撮像部３５１，３５２に代えて、撮像部５５１を設けた点である。
【０１５９】
撮像部５５１は、レンズ５６１、フィルタ切替部５６２、およびイメージセンサ５６３を備える。フィルタ切替部５６２は、レンズ５６１とイメージセンサ５６３の間に配置される光学フィルタを、IRカットフィルタ５６２ａと可視光カットフィルタ５６２ｂとの間で切り替える。このような構成により、撮像部５５１は、被写体を撮像し、得られたRGB画像およびIR画像を出力する。この構成において、RGB画像およびIR画像は、同一画角で、異なるタイミングで撮像され、取得される。
【０１６０】
なお、IR発光部５２は、撮像部５５１がIR画像を撮像するタイミングで赤外光を発光すればよい。
【０１６１】
[認証処理について]
次に、図２１のフローチャートを参照して、図２０の携帯端末５１１による認証処理について説明する。
【０１６２】
なお、図２１のフローチャートのステップＳ５１５乃至Ｓ５２２の処理は、図１７のフローチャートのステップＳ３１３乃至３２０の処理と基本的に同様であるので、その説明は省略する。
【０１６３】
すなわち、ステップＳ５１１において、撮像部５５１は、操作者を被写体として撮像する。このとき、レンズ５６１とイメージセンサ５６３の間には、フィルタ切替部５６２によって、可視光カットフィルタ５６２ｂが配置されている。また、撮像部５５１による撮像のタイミングに合わせて、IR発光部５２が発光する。これにより、赤外光が照射された操作者を被写体としたIR画像が取得され、IR画像はプルキニエ像検出部５７、眼領域検出部２５１、および比較部３５３に供給される。
【０１６４】
ステップＳ５１２において、眼領域検出部２５１は、撮像部５５１により取得されたIR画像において眼領域を検出し、IR画像における眼領域の位置を表す座標情報を、プルキニエ像検出部５７および比較部３５３に供給する。
【０１６５】
ステップＳ５１３において、フィルタ切替部５６２は、レンズ５６１とイメージセンサ５６３の間に配置される光学フィルタを、可視光カットフィルタ５６２ｂからIRカットフィルタ５６２ａに切り替える。
【０１６６】
ステップＳ５１４において、撮像部５５１は、操作者を被写体として撮像する。このとき、レンズ５６１とイメージセンサ５６３の間には、IRカットフィルタ５６２ａが配置されているので、操作者を被写体としたRGB画像が取得され、RGB画像は顔検出部５３および比較部３５３に供給される。
【０１６７】
以上の処理によっても、RGB画像の眼領域とIR画像の眼領域とが比較され、その比較結果を用いて、顔認証の認証結果が正しいか否かが判定されるようになるので、可視光を用いた撮像と赤外光を用いた撮像とを利用して、顔認証の精度を高めることができ、顔認証によるセキュリティをより強化することが可能となる。
【０１６８】
なお、図２１のフローチャートを参照して説明した認証処理においては、IR画像が取得された後にRGB画像が取得されるものとしたが、その順番は逆であってもよい。
【０１６９】
また、図２０の携帯端末５１１に、撮像部５１１からのIR画像において顔を検出し、顔画像を抽出して、眼領域検出部２５１に供給する顔検出部を設けるようにしてもよい。これにより、眼領域検出部２５１による眼領域の検出の負荷を低減することができる。
【０１７０】
＜８．第７の実施の形態＞
[携帯端末の機能構成例]
図２２は、本技術を適用した携帯端末の第７の実施の形態の機能構成例を示している。
【０１７１】
なお、図２２の携帯端末６１１において、図７の携帯端末１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１７２】
すなわち、図２２の携帯端末６１１において、図７の携帯端末１１と異なるのは、可視光光源６５１を設けた点である。
【０１７３】
可視光光源６５１は、常時発光し、可視光を被写体に照射する。なお、可視光光源６５１は、タイミングジェネレータ２８のタイミング信号により撮像部５１と同期して、撮像部５１が撮像するタイミングで発光し、可視光を被写体に照射するようにしてもよい。
【０１７４】
このような構成により、暗所での認証処理であっても、精度を下げることなく確実に顔認証を行うことができる。
【０１７５】
なお、可視光光源６５１は、上述した第２乃至第６の実施の形態の構成に追加することができる。
【０１７６】
また、以上においては、本技術を、顔認証によりセキュリティロックを解除する携帯端末に適用した例について説明したが、人物を被写体として撮像し顔認証を行う機器であれば適用可能であり、例えば、本技術を、ネットワークへのログオンを顔認証により許可するパーソナルコンピュータや、施設への入場を顔認証により許可する入場管理システム、パスポートの本人確認を行う出入国管理システム等に適用することができる。
【０１７７】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【０１７８】
図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１７９】
コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
【０１８０】
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。
【０１８１】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
【０１８２】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１８３】
そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
【０１８４】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１８５】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１８６】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１８７】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１８８】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１８９】
また、本技術は以下のような構成をとることができる。
（１）
赤外光が照射された人物を被写体とした可視光画像における前記人物の眼領域と、前記人物を被写体とした赤外光画像における前記人物の前記眼領域とを比較する比較部と、
前記比較部の比較結果を用いて、前記人物に対して行われた顔認証の認証結果が正しいか否かを判定する判定部と
を備える認証装置。
（２）
前記判定部は、前記可視光画像の前記眼領域と前記赤外光画像の前記眼領域とに差分がある場合、前記認証結果が正しいと判定する
（１）に記載の認証装置。
（３）
前記可視光画像における前記人物に対して顔認証を行う顔認証部をさらに備え、
前記判定部は、前記比較部の比較結果を用いて、前記顔認証部の認証結果が正しいか否かを判定する
（１）または（２）に記載の認証装置。
（４）
レンズより入射される光のうちの可視光に対応する前記可視光画像と、前記レンズより入射される光のうちの赤外光に対応する前記赤外光画像を同時に出力する撮像部をさらに備える
（３）に記載の認証装置。
（５）
前記可視光画像または前記赤外光画像の前記眼領域を検出する眼領域検出部をさらに備え、
前記比較部は、前記眼領域検出部により検出された前記眼領域を表す座標情報を用いて、前記可視光画像の前記眼領域と前記赤外光画像の前記眼領域とを比較する
（３）または（４）に記載の認証装置。
（６）
前記可視光画像における前記人物の顔を検出する顔検出部をさらに備え、
前記顔認証部は、前記顔検出部により検出された前記顔の顔画像を用いて、前記人物に対して顔認証を行い、
前記眼領域検出部は、前記顔検出部により検出された前記顔の顔画像における前記眼領域を検出する
（５）に記載の認証装置。
（７）
レンズより入射される光のうちの可視光に対応する前記可視光画像を出力する第１の撮像部と、
前記レンズより入射される光のうちの赤外光に対応する前記赤外光画像を出力する第２の撮像部とをさらに備える
（３）に記載の認証装置。
（８）
前記可視光画像の前記眼領域を検出する第１の眼領域検出部と、
前記赤外光画像の前記眼領域を検出する第２の眼領域検出部とをさらに備え、
前記比較部は、前記第１の眼領域検出部により検出された前記可視光画像の前記眼領域を表す第１の座標情報、および、前記第２の眼領域検出部により検出された前記赤外光画像の前記眼領域を表す第２の座標情報を用いて、前記可視光画像の前記眼領域と前記赤外光画像の前記眼領域とを比較する
（３）または（７）に記載の認証装置。
（９）
前記可視光画像における前記人物の顔を検出する第１の顔検出部と、
前記赤外光画像における前記人物の顔を検出する第２の顔検出部をさらに備え、
前記顔認証部は、前記第１の顔検出部により検出された前記顔の顔画像を用いて、前記人物に対して顔認証を行い、
前記第１の眼領域検出部は、前記第１の顔検出部により検出された前記顔の顔画像における前記眼領域を検出し、
前記第２の眼領域検出部は、前記第２の顔検出部により検出された前記顔の顔画像における前記眼領域を検出する
（８）に記載の認証装置。
（１０）
可視光を遮断する第１のフィルタと赤外光を遮断する第２のフィルタとを切り替えて用いることで、レンズより入射される光のうちの可視光に対応する前記可視光画像と、前記レンズより入射される光のうちの赤外光に対応する前記赤外光画像を出力する撮像部をさらに備える
（３）に記載の認証装置。
（１１）
前記比較部は、前記可視光画像の前記眼領域と前記赤外光画像の前記眼領域とを２値化して差分を求める
（３）乃至（１０）のいずれかに記載の認証装置。
（１２）
前記比較部は、前記可視光画像の前記眼領域における輝度分布と、前記赤外光画像の前記眼領域における輝度分布の差分を求める
（３）乃至（１０）のいずれかに記載の認証装置。
（１３）
前記比較部は、前記可視光画像の前記眼領域における黒領域の輪郭と、前記赤外光画像の前記眼領域における黒領域の輪郭の差分を求める
（３）乃至（１０）のいずれかに記載の認証装置。
（１４）
前記赤外光画像の前記眼領域においてプルキニエ像を検出するプルキニエ像検出部をさらに備え、
前記判定部は、前記比較部の比較結果および前記プルキニエ像検出部の検出結果を用いて、前記人物に対して行われた顔認証の認証結果が正しいか否かを判定する
（３）乃至（１３）のいずれかに記載の認証装置。
（１５）
前記人物に対して照射される前記赤外光を発光する赤外光発光部をさらに備える
（３）乃至（１４）のいずれかに記載の認証装置。
（１６）
前記人物に対して可視光を照射する可視光光源をさらに備える
（３）乃至（１５）のいずれかに記載の認証装置。
（１７）
赤外光が照射された人物を被写体とした可視光画像における前記人物の眼領域と、前記人物を被写体とした赤外光画像における前記人物の前記眼領域とを比較する比較ステップと、
前記比較ステップの比較結果を用いて、前記人物に対して行われた顔認証の認証結果が正しいか否かを判定する判定ステップと
を含む認証方法。
（１８）
赤外光が照射された人物を被写体とした可視光画像における前記人物の眼領域と、前記人物を被写体とした赤外光画像における前記人物の前記眼領域とを比較する比較ステップと、
前記比較ステップの比較結果を用いて、前記人物に対して行われた顔認証の認証結果が正しいか否かを判定する判定ステップと
を含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０１９０】
１  認証結果判定装置，  ２  比較部，  ３  判定部，  １１  携帯端末，  ５１  撮像部，  ５２  IR発光部，  ５３  顔検出部，  ５４  眼領域検出部，  ５５  顔認証部，  ５６  比較部，  ５７  プルキニエ像検出部，  ５８  判定部
【図１】
2014078052.tif 000003
【図２】
2014078052.tif 000004
【図３】
2014078052.tif 000005
【図４】
2014078052.tif 000006
【図５】
2014078052.tif 000007
【図６】
2014078052.tif 000008
【図７】
2014078052.tif 000009
【図８】
2014078052.tif 000010
【図９】
2014078052.tif 000011
【図１０】
2014078052.tif 000012
【図１１】
2014078052.tif 000013
【図１２】
2014078052.tif 000014
【図１３】
2014078052.tif 000015
【図１４】
2014078052.tif 000016
【図１５】
2014078052.tif 000017
【図１６】
2014078052.tif 000018
【図１７】
2014078052.tif 000019
【図１８】
2014078052.tif 000020
【図１９】
2014078052.tif 000021
【図２０】
2014078052.tif 000022
【図２１】
2014078052.tif 000023
【図２２】
2014078052.tif 000024
【図２３】
2014078052.tif 000025