(57)【特許請求の範囲】
【請求項１】
被認証者の目を目画像として撮像する撮像部と、
前記被認証者の目を照明する照明部と、
前記目画像の中から眼鏡反射の有無と位置とを検出する眼鏡反射検出部と、
前記目画像の中から瞳孔の有無と位置とを検出する瞳孔検出部と、
前記眼鏡反射検出部が眼鏡反射があることを検出した場合、前記瞳孔の位置に対する前記眼鏡反射の位置の相対位置を判定する相対位置判定部と、
前記撮像部を前記相対位置判定部が判定した相対位置と同じ方向に移動させるための指示を与える指示部とを備えたことを特徴とする目画像撮像装置。
【請求項２】
被認証者の目を目画像として撮像する撮像部と、
前記被認証者の目を照明する照明部と、
前記目画像の中から眼鏡反射の有無と位置とを検出する眼鏡反射検出部と、
前記目画像の中から瞳孔の有無と位置とを検出する瞳孔検出部と、
前記眼鏡反射検出部が眼鏡反射があることを検出した場合、前記瞳孔の位置に対する前記眼鏡反射の位置の相対位置を判定する相対位置判定部と、
前記被認証者の顔の向きを前記相対位置判定部が判定した相対位置と逆の方向に移動させるための指示を与える指示部とを備えたことを特徴とする目画像撮像装置。
【請求項３】
前記指示部は音声による指示を出すための音声出力部を有することを特徴とする請求項１または請求項２に記載の目画像撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、携帯端末に搭載可能な虹彩認証装置などに用いられる目画像撮像装置に関する。
【０００２】
【従来の技術】
一般に虹彩認証装置は、近赤外線を被認証者の目に当て、カメラを用いて目および目の周辺画像（以下、目画像と略記する）を撮像し、得られた目画像から虹彩情報を抽出して、すでに登録されている虹彩情報データベースの虹彩情報と比較照合することにより個人認証を行うものである。この個人認証において、被認証者の虹彩情報を正確に抽出するためには目の良好な画像を精度よく撮像する必要がある。しかしながら、被認証者が眼鏡をかけている場合、眼鏡による反射光（以下、眼鏡反射と略記する）が虹彩部分に重なり、虹彩情報が抽出できない場合がある。
【０００３】
このため、あらかじめ様々な入射角を持つ複数の照明を設置しておき、眼鏡反射の生じない照明だけを選択的に使用して、眼鏡反射のない目画像を撮像する技術（たとえば、特許文献１参照）、または、異なる位置に眼鏡反射のある複数の画像を合成して眼鏡反射のない１枚の画像を得る技術（たとえば、特許文献２参照）などが提案されている。
【０００４】
【特許文献１】
特開平１０−５１９５号公報
【特許文献２】
特表２００２−５０１２６５号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、これらの技術は、複数の照明をカメラから離れた場所に設置し、それらの照明の光軸がカメラの光軸に対し様々な角度を持つことが必要であり、小型、軽量が強く望まれる携帯電話機などの携帯端末装置に適用するにあたっては、照明をカメラから離れた場所に設置することはできないという課題があった。また、複数の画像を構成するためには試行回数が多くなるという課題があった。
【０００６】
本発明はこのような課題を解決するものであり、被認証者が眼鏡をかけている場合であっても、複数の照明をカメラから離れた場所に設置することなく、少ない試行回数で良好な目画像が得られる目画像撮像装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の目画像撮像装置は、被認証者の目を目画像として撮像する撮像部と、被認証者の目を照明する照明部と、目画像の中から眼鏡反射の有無と位置を検出する眼鏡反射検出部と、目画像の中から瞳孔の有無と位置を検出する瞳孔検出部と、眼鏡反射検出部が眼鏡反射を検出した場合、瞳孔の位置と眼鏡反射の位置との相対位置にもとづき眼鏡反射のない目画像を得るための撮像部の移動すべき方向または被認証者の顔の向きの移動すべき方向を指示する指示部とを備えたことを特徴とする。この構成により、被認証者が眼鏡をかけており目画像に眼鏡反射が重畳している場合であっても、眼鏡反射を避けるための方向を被認証者に知らせるので、速やかに眼鏡反射のない良好な目画像を得ることができる。
【０００８】
また、本発明の目画像撮像装置は、指示部の指示内容を記憶する記憶部を備え、指示部が記憶部に記憶された内容にもとづき撮像部の移動すべき方向または被認証者の顔の向きの移動すべき方向を指示することを特徴とする。この構成により、過去の被認証者の画像取込みの癖にもとづいてあらかじめ眼鏡反射を避けるための指示を被認証者に与えることができるので、速やかに眼鏡反射のない目画像を取得することが可能となる。
【０００９】
また、本発明の目画像撮像装置は、指示部が音声による指示を出すための音声出力部を有することを特徴とする。この構成により、被認証者は認証中であっても視線を移動することなしに指示を受取ることができる。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態における目画像撮像装置について、図面を用いて説明する。
【００１１】
（実施の形態１）
図１は本発明の実施の形態１における目画像撮像装置のブロック図である。本実施の形態における目画像撮像装置１００は、近赤外線を被認証者の目に照射する照明部１１０、目を撮像する撮像部１２０、眼鏡反射の有無とその位置および瞳孔位置を検出するとともに認証用の目画像を出力する信号処理部１３０、被認証者に指示を与える指示部１４０、および各ブロックを制御するための制御部１５０を備えている。
【００１２】
照明部１１０は、近赤外線照明１１１と照明制御部１１２とを有し、目画像取得に適した光量の近赤外線を被認証者の目に照射する。
【００１３】
撮像部１２０は、レンズ１２１、可視光カットフィルタ１２２、撮像素子１２３、画像信号変換部１２４および誘導ミラー１２５を有する。本実施の形態においては、レンズ１２１として固定焦点レンズを用いることにより光学系の小型化と低コスト化を実現している。誘導ミラー１２５は被認証者が自らの目を映すことにより目を正しい撮像位置へ誘導する。そして、被認証者の目は、近赤外線照明１１１により照射され、レンズ１２１および可視光カットフィルタ１２２を通して撮像素子１２３で撮像される。画像信号変換部１２４は、撮像素子１２３の出力信号から画像信号成分を取り出し、ゲイン調整など画像信号として必要な変換を行った上で、画像信号として出力する。以下、この画像信号を目画像と略記し、撮像部１２０が目画像を出力するまでの一連の動作を画像取込みと略記する。
【００１４】
信号処理部１３０は、画質判定部１３１、眼鏡反射検出部１３２、瞳孔検出部１３３を有する。画質判定部１３１は、撮像された画像信号の輝度、コントラスト、合焦判定を行い、虹彩認証に適した画像であるか否かを判定する。ここで、図２は目画像の一例を示す図であり、虹彩１１以外に、眼鏡３０による近赤外線照明１１１の反射光、すなわち眼鏡反射５０も取込んでいるものとして、説明を続ける。眼鏡反射検出部１３２は、取得した画像信号を２値化して高輝度領域を抽出し、近赤外線照明１１１からの角膜反射６０による小さな高輝度部分以外に、大きな面積を持つ高輝度領域が存在した場合これを眼鏡反射５０と判定し、その重心５１を求める。瞳孔検出部１３３は、取得した画像信号を２値化して低輝度領域を抽出し、その形状と大きさから瞳孔１２であることを判定し、その瞳孔中心１３を求める。
【００１５】
指示部１４０は、相対位置判定部１４１、メッセージ作成部１４２、スピーカ１４６、液晶表示部１４８を有する。相対位置判定部１４１は、眼鏡反射５０が検出された場合、瞳孔中心１３に対する眼鏡反射の重心５１の相対位置を判定する。メッセージ作成部１４２は、相対位置判定部１４１から出力された信号にもとづいて眼鏡反射５０を避けるための指示として適切なメッセージを作成し、これらのメッセージはスピーカ１４６を用いて音声メッセージに変換され、また液晶表示部１４８にも表示される。
【００１６】
なお、実施の形態１においては、瞳孔検出の方法として画像信号の低輝度領域を抽出する方法について説明したが、上記以外にも、たとえば一般的な瞳孔の形状を持つテンプレートを用いたパターンマッチングによる方法、あるいは近赤外線照明１１１の照明光が角膜で反射することによって生じる角膜反射６０を検出し、その近傍でパターンマッチングする方法を用いてもよい。
【００１７】
つぎに、本発明の実施の形態１における目画像撮像装置の動作について説明する。なお、ここでは目画像撮像装置が虹彩認証装置に用いられているものとして、メッセージ例を記載する。
【００１８】
図３は、本発明の実施の形態１における目画像撮像装置の動作手順を示すフローチャートである。被認証者が認証開始操作を行って認証を始めると、まずメッセージ作成部１４２は認証を始める旨のメッセージ、たとえば「認証を始めます。」などを作成する。そしてその内容を液晶表示部１４８に表示し、スピーカ１４６を通して音声メッセージとして出力する（Ｓ１２）。
【００１９】
つぎに、撮像部１２０が画像の取込みを行う（Ｓ２１）。画質判定部１３１は取込んだ画像が虹彩認証に使用可能かどうか判定し（Ｓ２２）、使用不可能であればステップＳ２１へ戻り画像の再取込みを行う。使用可能であれば、瞳孔検出部１３３が瞳孔１２および瞳孔中心１３を検出し、眼鏡反射検出部１３２が眼鏡反射５０およびその重心５１を検出する（Ｓ２３）。このとき瞳孔１２、眼鏡反射５０ともに検出できなかった場合（Ｓ２４）は目そのものの画像を取込んでいないと考えられるのでステップＳ２１に戻る。
【００２０】
瞳孔１２、眼鏡反射５０ともに検出した場合（Ｓ２５）、相対位置判定部１４１は、瞳孔中心１３に対する眼鏡反射５０の重心５１の相対位置関係を計算し、眼鏡反射５０の相対位置を示す信号、たとえば「上」、「下」などを出力する（Ｓ３１）（以下、信号が示す内容をかぎ括弧「  」を用いて記載する。たとえば上を示す信号は単に「上」、不明を示す信号は単に「不明」などと記載する。）。メッセージ作成部１４２は眼鏡反射５０の重心５１の相対位置にもとづき眼鏡反射５０を避ける方向にカメラの移動を指示する旨のメッセージ、たとえば眼鏡反射５０が瞳孔１２の上にある場合には「眼鏡反射があります。カメラを上に移動してください。」などを作成しその内容を液晶表示部１４８に表示する。またスピーカ１４６を通して音声メッセージとして出力する（Ｓ３２）。そしてステップＳ２１に戻る。なお、後述する理由により、音声メッセージについてはこのステップで毎回出力する必要はない。
【００２１】
眼鏡反射５０は検出したが瞳孔１２が検出できない場合（Ｓ２６）には、瞳孔１２そのものを捉えていないか、あるいは瞳孔１２の位置と眼鏡反射５０の位置が重なっていると考えられる。この場合、相対位置判定部１４１は眼鏡反射５０の相対位置を判定できないので「不明」を出力する。メッセージ作成部１４２はカメラの移動を指示する旨のメッセージ、たとえば「眼鏡反射があります。カメラを移動してください。」などを作成しその内容を液晶表示部１４８に表示する。またスピーカ１４６を通して音声メッセージとして出力する（Ｓ４１）。そしてステップＳ２１に戻る。ここでも音声メッセージを毎回出力する必要はない。
【００２２】
また、瞳孔１２を検出し眼鏡反射５０を検出しなかった場合は、適切な目画像が取込めたと考えられるので、相対位置判定部１４１は適切な目画像取込み成功を表す信号「ＯＫ」を出力する。メッセージ作成部１４２は適切な目画像取込みに成功した旨のメッセージ、たとえば「画像を取込みました。」などを作成し、その内容を画像あるいは音声で出力してもよい（Ｓ１３）。そして目画像取込み動作を終了する。
【００２３】
なお、撮像素子の画像取込みは普通、１秒間に１０回から１００回の高速で行われ、一方、音声メッセージの出力は１回あたり２〜３秒かかるのが普通である。したがって音声メッセージを毎回出力することはできず、数秒に１回程度かそれ以下の割合で出力することになる。このとき、前回の音声メッセージが終了した時点で新たな音声メッセージを出力する構成でもよいが、一定期間、相対位置判定部１４１の出力を監視し、同一出力が所定の回数以上出力された場合に初めて音声メッセージを出すようにすればより実用的である。音声メッセージは被認証者が認証中であっても視線を移動することなしにメッセージを受取ることができるという利点がある。
【００２４】
画面表示で指示を出す場合は毎回メッセージを出すことが可能であるが、音声メッセージと同様に所定回数の蓄積の後メッセージを出してもよい。
【００２５】
つぎに、相対位置判定部１４１の出力と、メッセージ作成部１４２で作成すべきメッセージの内容との関係について説明する。図４（ａ）は目１０、カメラ２０、近赤外線照明１１１および眼鏡３０の相対的位置、図４（ｂ）はそのときの目画像４０の一例を示す図である。図４（ａ）に示すように、目画像４０を撮像するためには、カメラ２０の光軸上またはその近傍に瞳孔１２が位置しなければならない。また、近赤外線照明１１１の光軸は小型実装する必要上、カメラ２０の光軸からあまり離すことができない。一方、眼鏡３０による近赤外線照明１１１の反射光、すなわち眼鏡反射５０は、眼鏡３０の反射面によって生じる照明の虚像２５の位置によって決まる。したがって図４（ｂ）に示すように、眼鏡反射５０が瞳孔１２の上にあるときはカメラ２０を上に上げると眼鏡反射５０がさらに上に移動し目画像４０から外れることになる。したがって、相対位置判定部１４１の出力が「上」の場合には、「カメラを上に移動してください。」というメッセージを作成する。あるいは「顔を下げてください。」というメッセージでもよい。他の方向についても同様である。図４（ｃ）は眼鏡反射５０の相対位置とそれを避けるためのカメラの移動方向、あるいは顔の移動方向を示す図である。このように、カメラを移動する場合には眼鏡反射５０の相対位置と同じ方向に動かすことが望ましく、顔を移動する場合には眼鏡反射５０の相対位置と逆の方向に動かすことが望ましい。
【００２６】
なお本実施の形態においては、このときの相対位置判定部１４１の出力として、「上」、「下」、「ＯＫ」、「不明」のいずれかを出力するものとして説明したが、たとえば、これらに「右」、「左」、「右上」などを加えてもよく、さらに詳細に反射光の相対位置ベクトルを用いて（Ｘ座標値、Ｙ座標値）を出力してもよい。
【００２７】
以上のように本発明の実施の形態１においては、最初に取込んだ画像に眼鏡反射が含まれた場合であっても、カメラをどちらに動かせばよいか、あるいは顔をどちらに動かせばよいか適切な指示を被認証者に与える指示部により、複数の照明をカメラから離れた場所に設置することなく、少ない試行回数で良好な目画像取込みが可能となる。
【００２８】
（実施の形態２）
図５は本発明の実施の形態２における目画像撮像装置のブロック図である。実施の形態２における目画像撮像装置２００は、実施の形態１と同様に照明部１１０、撮像部１２０、信号処理部１３０、指示部２４０、制御部１５０を備えている。実施の形態１と異なるところは、指示部２４０の中に記憶部２４３を設けている点である。
【００２９】
記憶部２４３は、過去に目画像取込みを行い音声メッセージを出力した場合または目画像取込み成功のメッセージを出力した場合に相対位置判定部１４１の出力を記憶するものとする。メッセージ作成部２４２は、相対位置判定部１４１の出力にもとづき適切なメッセージを作成するだけでなく、記憶部２４３に蓄積されている過去のメッセージにもとづいて適切なメッセージを作成する。
【００３０】
つぎに、本発明の実施の形態２における目画像撮像装置の動作について説明する。図６は、本発明の実施の形態２における目画像撮像装置の動作手順を示すフローチャートである。
【００３１】
被認証者が認証開始操作を行って認証を始めるとき、まずメッセージ作成部２４２は、記憶部２４３に蓄積されている過去のデータを参照し、最も頻度の多いデータを選び出す（Ｓ１１）。たとえば最新の５回分のデータの内容を参照するものとして、記憶内容が新しいほうから「ＯＫ」、「上」、「ＯＫ」、「上」、「上」であれば、前回の認証時に「眼鏡反射があります。カメラを上に移動してください。」という音声メッセージを１回出力し、前々回の認証時に同メッセージを２回以上出力したことがわかる。この場合、最も頻度の高い値は「上」であるから、被認証者の癖として、あるいは不慣れなため、これから取込む目画像４０の瞳孔１２の上に眼鏡反射５０の生じる可能性が高いことを示している。したがって、あらかじめ予想される眼鏡反射５０を避けるための指示内容をスピーカ１４６を通して音声メッセージとして出力する。音声メッセージとしては、たとえば「カメラをいつもより上げてから、認証を始めてください。」などである。もし、被認証者が慣れてきて、記憶内容が新しいほうから、たとえば「ＯＫ」、「ＯＫ」、「ＯＫ」、「下」、「ＯＫ」となった場合には、最頻値は「ＯＫ」となるので、この場合は通常どおりメッセージ作成部２４２は認証を始める旨のメッセージ、たとえば「認証を始めます。」などを作成する。その内容を液晶表示部１４８に表示し、スピーカ１４６を通して音声メッセージとして出力する（Ｓ１２）。
【００３２】
つぎに、目画像４０の取込み（Ｓ２１）、画質判定（Ｓ２２）、眼鏡反射５０および瞳孔１２検出（Ｓ２３）を行う。このとき、瞳孔１２、眼鏡反射５０ともに検出できなかった場合（Ｓ２４）はステップＳ２１に戻る。
【００３３】
瞳孔１２、眼鏡反射５０ともに検出した場合（Ｓ２５）は、眼鏡反射５０の相対位置を判定し（Ｓ３１）、メッセージを出力する（Ｓ３２）。そして、そのときの相対位置判定部１４１の出力内容、たとえば「上」、「下」などを記憶部２４３に書込む（Ｓ３３）。そしてステップＳ１１に戻る。なお、このとき実施の形態１と同様に、音声メッセージについてはこのステップで毎回出力する必要はない。また上述したように、ステップＳ３３における記憶部２４３への書込みも毎回行う必要はなく、本実施の形態においては音声メッセージを出力した場合に記憶部２４３への書込みを行う。
【００３４】
眼鏡反射５０は検出したが瞳孔１２が検出できない場合（Ｓ２６）は、相対位置判定部１４１は「不明」を出力し、メッセージ作成部２４２はカメラの移動を指示する旨のメッセージを出力する（Ｓ４１）。そして、その内容、すなわち「不明」を記憶部２４３に書込む（Ｓ４２）。そしてステップＳ１１に戻る。ここでも音声メッセージを毎回出力する必要はなく、また、ステップＳ４２における記憶部２４３への書込みも毎回行う必要はなく、音声メッセージを出力した場合に記憶部２４３への書込みを行う。
【００３５】
瞳孔位置を検出し眼鏡反射５０を検出しなかった場合は、相対位置判定部１４１は目画像取込み成功を表す信号「ＯＫ」を出力する。メッセージ作成部２４２は目画像取込みに成功した旨のメッセージを出力する（Ｓ１３）。そして、その内容、すなわち「ＯＫ」を記憶部２４３に書込む（Ｓ４２）。そして目画像取込み動作を終了する。
【００３６】
なお、実施の形態２においては、被認証者が認証開始操作を行って認証を始めるとき、メッセージ作成部２４２が記憶部２４３に蓄積されている過去のデータを参照し最も頻度の多いデータを選び出したが、他の方法を用いてデータを選んでもよい。たとえば、記憶部２４３に蓄積されている過去のデータのうち最も新しいデータを選んでもよく、過去のデータに対して新しいものほど大きな重み係数をかけて重み係数の和が最大になるデータを選択してもよい。
【００３７】
また、実施の形態１または実施の形態２で説明したように眼鏡反射５０の位置はカメラ２０と顔の相対的な位置により決まるため、被認証者にカメラ２０を移動する旨の指示をメッセージとして出力してもよく、カメラ２０を移動するかわりに被認証者の顔を動かす旨の指示であってもよい。したがって、たとえば「カメラを上に移動してください。」というメッセージのかわりに「顔を下げてください。」というメッセージでもよい。
【００３８】
さらに、実施の形態１または実施の形態２においては、画面表示部には相対位置判定部の出力をもとに作成したメッセージを表示するものとしたが、メッセージは音声だけとし、画面表示部には、たとえば図４（ｂ）のような撮像素子が取込んだ画像そのもの、または、瞳孔位置と眼鏡反射の位置がリアルタイムでわかるような表示を行ってもよい。この場合は、音声メッセージにしたがって目画像撮像装置を移動したときの撮像された眼鏡反射の位置の移動の関係がリアルタイムで把握でき、動かすべき方向と大きさが直感的にわかるため、迅速にカメラを最適な位置に移動することができる。
【００３９】
被認証者に対してカメラの位置、あるいは顔の向きを指示する手段としては上記以外にも様々なものが考えられる。図７は被認証者に指示を与える他の手段を示す図である。図７（ａ）は、液晶表示部１４８上に顔を模した表示９０とともに動かすべき顔の向きを示す矢印７０を表示するものである。図７（ｂ）は撮像部１２０のレンズ１２１の周囲に指示用ＬＥＤ８０を複数配置し、動かすべき顔の向きに対応する指示用ＬＥＤを点灯させるものである。認証中、被認証者は誘導ミラー１２５を通してレンズ１２１を見るので、この位置に配置された指示用ＬＥＤ８０で指示を出すと視線が殆ど移動しないので、認証の妨げにならない。
【００４０】
以上のように、本発明の実施の形態２における目画像撮像装置においては、眼鏡をかけた被認証者が画像を取込む場合、記憶部に記憶された過去の被認証者の画像取込みの癖にもとづいて、眼鏡反射を取込み難い方向にカメラを移動する指示を与える指示部により、初期に取込む画像に眼鏡反射が含まれる確率が小さくなる。
【００４１】
【発明の効果】
以上のように本発明によれば、被認証者が眼鏡をかけている場合であっても、複数の照明をカメラから離れた場所に設置することなく、少ない試行回数で眼鏡反射のない良好な目画像を取得することができる目画像撮像装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における目画像撮像装置のブロック図
【図２】目画像の一例を示す図
【図３】本発明の実施の形態１における目画像撮像装置の動作手順を示すフローチャート
【図４】（ａ）は目、カメラ、近赤外線照明および眼鏡の相対的位置の関係を示す図
（ｂ）は目画像の一例を示す図
（ｃ）は眼鏡反射の相対位置とそれを避けるためのカメラの移動方向、あるいは顔の移動方向を示す図
【図５】本発明の実施の形態２における目画像撮像装置のブロック図
【図６】本発明の実施の形態２における目画像撮像装置の動作手順を示すフローチャート
【図７】本発明の実施の形態１または実施の形態２において、披認証者に指示を与える他の手段を示す図
【符号の説明】
１０  目
１１  虹彩
１２  瞳孔
１３  瞳孔中心
２０  カメラ
２５  照明の虚像
３０  眼鏡
４０  目画像
５０  眼鏡反射
５１  重心
６０  角膜反射
７０  矢印
８０  指示用ＬＥＤ
９０  顔を模した表示
１００，２００  目画像撮像装置
１１０  照明部
１１１  近赤外線照明
１１２  照明制御部
１２０  撮像部
１２１  レンズ
１２２  可視光カットフィルタ
１２３  撮像素子
１２４  画像信号変換部
１２５  誘導ミラー
１３０  信号処理部
１３１  画質判定部
１３２  眼鏡反射検出部
１３３  瞳孔検出部
１４０，２４０  指示部
１４１  相対位置判定部
１４２，２４２  メッセージ作成部
１４６  スピーカ
１４８  液晶表示部
１５０  制御部
２４３  記憶部
【図１】
0003642336.tif 000002
【図２】
0003642336.tif 000003
【図３】
0003642336.tif 000004
【図４】
0003642336.tif 000005
【図５】
0003642336.tif 000006
【図６】
0003642336.tif 000007
【図７】
0003642336.tif 000008