(57)【要約】【課題】虹彩認証精度を向上する画像合成装置等を提供する。【解決手段】画像合成装置は、第１の偏光方向を有する直線偏光と、第２の偏光方向を有する直線偏光とを出力する照明装置と、複数の画素を有する第３の偏光方向の画像、及び複数の画素を有する第４の偏光方向の画像を撮像するカメラと、前記複数の画素毎に、前記第３の偏光方向の画像及び前記第４の偏光方向の画像を用いて、虹彩認証用の認証画像を合成する制御回路とを備え、前記第１の偏光方向、前記第２の偏光方向、前記第３の偏光方向は、及び前記第４の偏光方向はそれぞれ異なり、前記カメラは、前記第１の偏光方向の直線偏光を用いて、前記第３の偏光方向の画像を取得し、且つ前記第２の偏光方向の直線偏光を用いて、前記第４の偏光方向の画像を取得する。【選択図】図２
2019153284.tif 000002
【特許請求の範囲】
【請求項１】
第１の偏光方向を有する直線偏光と、第２の偏光方向を有する直線偏光とを出力する照明装置と、
複数の画素を有する第３の偏光方向の画像、及び複数の画素を有する第４の偏光方向の画像を撮像するカメラと、
前記複数の画素毎に、前記第３の偏光方向の画像及び前記第４の偏光方向の画像を用いて、虹彩認証用の認証画像を合成する制御回路とを備え、
前記第１の偏光方向、前記第２の偏光方向、前記第３の偏光方向は、及び前記第４の偏光方向はそれぞれ異なり、
前記カメラは、前記第１の偏光方向の直線偏光を用いて、前記第３の偏光方向の画像を取得し、且つ前記第２の偏光方向の直線偏光を用いて、前記第４の偏光方向の画像を取得する、
画像合成装置。
【請求項２】
前記第１の偏光方向は、前記第２の偏光方向に対して、４５度異なり、
前記第３の偏光方向は、前記第１の偏光方向に対して、９０度異なる直線方向であり、
前記第４の偏光方向は、前記第２の偏光方向に対して、９０度異なる直線方向である、
請求項１に記載の画像合成装置。
【請求項３】
前記照明装置は、
少なくとも１つの第１の光源と、
少なくとも１つの第２の光源と、
前記第１の光源の前方に位置する前記第１の偏光方向を有する第１の偏光板と、
前記第２の光源の前方に位置する前記第２の偏光方向を有する第２の偏光板とを有し、
前記第１の光源は、前記第１の偏光板を介して、前記第１の偏光方向を有する直線偏光を出力し、
前記第２の光源は、前記第２の偏光板を介して、前記第２の偏光方向を有する直線偏光を出力する、
請求項１または２に記載の画像合成装置。
【請求項４】
前記カメラは、前記照明装置が前記第１の偏光方向の直線偏光を出力したとき、前記第３の偏光方向の画像を撮像し、且つ前記照明装置が前記第２の偏光方向の直線偏光を出力したとき、前記第４の偏光方向の画像を撮像する、
請求項１〜３のいずれか一項に記載の画像合成装置。
【請求項５】
前記制御回路は、
前記認証画像の合成において、
前記第３の偏光方向の画像と前記第４の偏光方向の画像との間で、対応する画素同士の画素値を比較し、
前記対応する画素同士の画素値のうちのより大きい画素値を、前記認証画像の各画素の画素値に決定する、
請求項１〜４のいずれか一項に記載の画像合成装置。
【請求項６】
前記制御回路は、
前記認証画像の合成において、
前記第３の偏光方向の画像と前記第４の偏光方向の画像との間で、対応する画素同士の画素値を比較し、
前記対応する画素同士の画素値の平均値を、前記認証画像の各画素の画素値に決定する、
請求項１〜４のいずれか一項に記載の画像合成装置。
【請求項７】
第１の偏光方向を有する直線偏光と、第２の偏光方向を有する直線偏光とを出力する照明装置と、
複数の画素を有する第３の偏光方向の画像、及び複数の画素を有する第４の偏光方向の画像を撮像するカメラと、
前記複数の画素毎に、前記第３の偏光方向の画像及び前記第４の偏光方向の画像を用いて、虹彩認証用の認証画像を合成する制御回路とを備え、
前記第１の偏光方向及び前記第２の偏光方向は異なり、
前記第３の偏光方向及び前記第４の偏光方向は異なり、
前記カメラは、前記第１の偏光方向の直線偏光及び前記第２の偏光方向の直線偏光を用いて、前記第３の偏光方向の画像を取得し、且つ前記第１の偏光方向の直線偏光及び前記第２の偏光方向の直線偏光を用いて、前記第４の偏光方向の画像を取得する、
画像合成装置。
【請求項８】
前記第１の偏光方向は、前記第２の偏光方向に対して、９０度異なり、
前記第３の偏光方向は、前記第１の偏光方向に対して、９０度異なる直線方向であり、
前記第４の偏光方向は、前記第２の偏光方向に対して、９０度異なる直線方向である、
請求項７に記載の画像合成装置。
【請求項９】
前記照明装置は、
少なくとも１つの光源と、
前記光源の前方に位置する前記第１の偏光方向を有する第１の偏光板と、
前記光源の前方に位置する前記第２の偏光方向を有する第２の偏光板とを有し、
前記光源は、前記第１の偏光板を介して、前記第１の偏光方向を有する直線偏光を出力し、
前記光源は、前記第２の偏光板を介して、前記第２の偏光方向を有する直線偏光を出力する、
請求項７または８に記載の画像合成装置。
【請求項１０】
拡散板をさらに備え、
前記拡散板は、前記照明装置、前記拡散板及び前記第１の偏光板の順、及び、前記照明装置、前記拡散板及び前記第２の偏光板の順で配置され、
前記照明装置の光軸方向で見たとき、前記第１の偏光板及び前記第２の偏光板は、前記拡散板以上の大きさであり、前記拡散板は、前記照明装置以上の大きさである、
請求項９に記載の画像合成装置。
【請求項１１】
前記制御回路は、
前記認証画像の合成において、
前記第３の偏光方向の画像と前記第４の偏光方向の画像との間で、対応する画素同士の画素値を比較し、
前記対応する画素同士の画素値のうちのより小さい画素値を、前記認証画像の各画素の画素値に決定する、
請求項７〜１０のいずれか一項に記載の画像合成装置。
【請求項１２】
前記制御回路は、
前記認証画像の合成において、
前記第３の偏光方向の画像と前記第４の偏光方向の画像との間で、対応する画素同士の画素値を比較し、
前記対応する画素同士の画素値の平均値を、前記認証画像の各画素の画素値に決定する、
請求項７〜１０のいずれか一項に記載の画像合成装置。
【請求項１３】
右回りの円偏光と、左回りの円偏光とを出力する照明装置と、
複数の画素を有する右回りの偏光方向の画像、及び複数の画素を有する左回りの偏光方向の画像を撮像するカメラと、
前記複数の画素毎に、前記右回りの偏光方向の画像及び前記左回りの偏光方向の画像を用いて、虹彩認証用の認証画像を合成する制御回路とを備え、
前記カメラは、前記右回りの円偏光及び前記左回りの円偏光を用いて、前記右回りの偏光方向の画像を取得し、且つ前記右回りの円偏光及び前記左回りの円偏光を用いて、前記左回りの偏光方向の画像を取得する、
画像合成装置。
【請求項１４】
前記照明装置は、
少なくとも１つの光源と、
前記光源の前方に位置する前記右回りの偏光方向を有する右回り偏光板と、
前記光源の前方に位置する前記左回りの偏光方向を有する左回り偏光板とを有し、
前記光源は、前記右回り偏光板を介して、前記右回りの円偏光を出力し、
前記光源は、前記左回り偏光板を介して、前記左回りの円偏光を出力する、
請求項１３に記載の画像合成装置。
【請求項１５】
前記制御回路は、
前記認証画像の合成において、
前記右回りの偏光方向の画像と前記左回りの偏光方向の画像との間で、対応する画素同士の画素値を比較し、
前記対応する画素同士の画素値のうちのより小さい画素値を、前記認証画像の各画素の画素値に決定する、
請求項１３または１４に記載の画像合成装置。
【請求項１６】
前記制御回路は、
前記認証画像の合成において、
前記右回りの偏光方向の画像と前記左回りの偏光方向の画像との間で、対応する画素同士の画素値を比較し、
前記対応する画素同士の画素値の平均値を、前記認証画像の各画素の画素値に決定する、
請求項１３または１４に記載の画像合成装置。
【請求項１７】
第１の偏光方向を有する第１の直線偏光と、第２の偏光方向を有する第２の直線偏光と、第３の偏光方向を有する第３の直線偏光と、第４の偏光方向を有する第４の直線偏光とを同時に出力する照明装置と、
複数の画素を有する前記第１の偏光方向の第５の画像、複数の画素を有する前記第２の偏光方向の第６の画像、複数の画素を有する前記第３の偏光方向の第７の画像、及び複数の画素を有する前記第４の偏光方向の第８の画像を撮像するカメラと、
前記複数の画素毎に、前記第５の画像、前記第６の画像、前記第７の画像、及び前記第８の画像を用いて、虹彩認証用の認証画像を合成する制御回路とを備え、
前記第１の偏光方向、前記第２の偏光方向、前記第３の偏光方向、及び前記第４の偏光方向はそれぞれ４５度づつ異なり、
前記カメラは、前記第１の直線偏光、前記第２の直線偏光、前記第３の直線偏光、及び前記第４の直線偏光を用いて、前記第５の画像、前記第６の画像、前記第７の画像、及び前記第８の画像それぞれを取得する、
画像合成装置。
【請求項１８】
前記照明装置は、
少なくとも１つの光源と、
前記光源の前方に位置する前記第１の偏光方向を有する第１の偏光板と、
前記光源の前方に位置する前記第２の偏光方向を有する第２の偏光板と、
前記光源の前方に位置する前記第３の偏光方向を有する第３の偏光板と、
前記光源の前方に位置する前記第４の偏光方向を有する第４の偏光板とを有し、
前記光源は、前記第１の偏光板を介して、前記第１の偏光方向を有する直線偏光を出力し、
前記光源は、前記第２の偏光板を介して、前記第２の偏光方向を有する直線偏光を出力し、
前記光源は、前記第３の偏光板を介して、前記第３の偏光方向を有する直線偏光を出力し、
前記光源は、前記第４の偏光板を介して、前記第４の偏光方向を有する直線偏光を出力する、
請求項１７に記載の画像合成装置。
【請求項１９】
前記制御回路は、
前記認証画像の合成において、
前記第５の画像、前記第６の画像、前記第７の画像、及び前記第８の画像の間で、対応する画素同士の画素値を比較し、
前記対応する画素同士の画素値のうちの最も小さい画素値を、前記認証画像の各画素の画素値に決定する、
請求項１７または１８に記載の画像合成装置。
【請求項２０】
前記制御回路は、
前記認証画像の合成において、
前記第５の画像、前記第６の画像、前記第７の画像、及び前記第８の画像の間で、対応する画素同士の画素値を比較し、
前記対応する画素同士の画素値の平均値を、前記認証画像の各画素の画素値に決定する、
請求項１７または１８に記載の画像合成装置。
【請求項２１】
請求項１〜２０のいずれか一項に記載の画像合成装置と、
虹彩認証回路とを備えた虹彩認証システムであって、
前記虹彩認証回路は、
複数のユーザＩＤと複数の参照画像とが対応付けられている虹彩認証情報を取得し、
前記認証画像と虹彩認証情報とを参照して、ユーザＩＤを特定する、
虹彩認証システム。
【請求項２２】
第１の偏光方向を有する第１の直線偏光と、第２の偏光方向を有する第２の直線偏光とを順次出力し、
前記１の直線偏光を出力したとき、画像を撮像することによって、複数の画素を有する第３の偏光方向の第３の画像を取得し、
前記２の直線偏光を出力したとき、画像を撮像することによって、複数の画素を有する第４の偏光方向の第４の画像を取得し、
前記複数の画素毎に、前記第３の画像及び前記第４の画像を用いて、虹彩認証用の認証画像を合成し、
前記第１の偏光方向、前記第２の偏光方向、前記第３の偏光方向は、及び前記第４の偏
光方向はそれぞれ異なり、
上記処理の少なくとも１つは、少なくとも１つの制御回路によって実行される、
画像合成方法。
【請求項２３】
前記第１の偏光方向は、前記第２の偏光方向に対して、４５度異なり、
前記第３の偏光方向は、前記第１の偏光方向に対して、９０度異なる直線方向であり、
前記第４の偏光方向は、前記第２の偏光方向に対して、９０度異なる直線方向である、請求項２２に記載の画像合成方法。
【請求項２４】
前記認証画像の合成において、
前記第３の画像と前記第４の画像との間で、対応する画素同士の画素値を比較し、
前記対応する画素同士の画素値のうちのより大きい画素値を、前記認証画像の各画素の画素値に決定する、
請求項２２または２３に記載の画像合成方法。
【請求項２５】
前記認証画像の合成において、
前記第３の画像と前記第４の画像との間で、対応する画素同士の画素値を比較し、
前記対応する画素同士の画素値の平均値を、前記認証画像の各画素の画素値に決定する、
請求項２２または２３に記載の画像合成方法。
【請求項２６】
第１の偏光方向を有する第１の直線偏光と、第２の偏光方向を有する第２の直線偏光とを一緒に出力し、
前記１の直線偏光及び前記第２の直線偏光を出力したとき、画像を撮像し、
前記画像から、複数の画素を有する第３の偏光方向の第３の画像と、複数の画素を有する第４の偏光方向の第４の画像とを取得し、
前記複数の画素毎に、前記第３の画像及び前記第４の画像を用いて、虹彩認証用の認証画像を合成し、
前記第１の偏光方向及び前記第２の偏光方向は異なり、
前記第３の偏光方向及び前記第４の偏光方向は異なり、
上記処理の少なくとも１つは、少なくとも１つの制御回路によって実行される、
画像合成方法。
【請求項２７】
前記第１の偏光方向は、前記第２の偏光方向に対して、９０度異なり、
前記第３の偏光方向は、前記第１の偏光方向に対して、９０度異なる直線方向であり、
前記第４の偏光方向は、前記第２の偏光方向に対して、９０度異なる直線方向である、請求項２６に記載の画像合成方法。
【請求項２８】
前記認証画像の合成において、
前記第３の画像と前記第４の画像との間で、対応する画素同士の画素値を比較し、
前記対応する画素同士の画素値のうちのより小さい画素値を、前記認証画像の各画素の画素値に決定する、
請求項２６または２７に記載の画像合成方法。
【請求項２９】
前記認証画像の合成において、
前記第３の画像と前記第４の画像との間で、対応する画素同士の画素値を比較し、
前記対応する画素同士の画素値の平均値を、前記認証画像の各画素の画素値に決定する、
請求項２６または２７に記載の画像合成方法。
【請求項３０】
右回りの円偏光と左回りの円偏光とを一緒に出力し、
前記右回りの円偏光及び前記左回りの円偏光を出力したとき、画像を撮像し、
前記画像から、複数の画素を有する右回りの偏光方向の画像と、複数の画素を有する左回りの偏光方向の画像とを取得し、
前記複数の画素毎に、前記右回りの偏光方向の画像及び前記左回りの偏光方向の画像を用いて、虹彩認証用の認証画像を合成し、
上記処理の少なくとも１つは、少なくとも１つの制御回路によって実行される、
画像合成方法。
【請求項３１】
前記認証画像の合成において、
前記右回りの偏光方向の画像と前記左回りの偏光方向の画像との間で、対応する画素同士の画素値を比較し、
前記対応する画素同士の画素値のうちのより小さい画素値を、前記認証画像の各画素の画素値に決定する
請求項３０に記載の画像合成方法。
【請求項３２】
前記認証画像の合成において、
前記右回りの偏光方向の画像と前記左回りの偏光方向の画像との間で、対応する画素同士の画素値を比較し、
前記対応する画素同士の画素値の平均値を、前記認証画像の各画素の画素値に決定する請求項３０に記載の画像合成方法。
【請求項３３】
第１の偏光方向を有する第１の直線偏光と、第２の偏光方向を有する第２の直線偏光と、第３の偏光方向を有する第３の直線偏光と、第４の偏光方向を有する第４の直線偏光とを同時に出力し、
前記第１の直線偏光、前記第２の直線偏光、前記第３の直線偏光、及び前記第４の直線偏光を出力したとき、画像を撮像し、
前記画像から、複数の画素を有する前記第１の偏光方向の第５の画像と、複数の画素を有する前記第２の偏光方向の第６の画像と、複数の画素を有する前記第３の偏光方向の第７の画像と、複数の画素を有する前記第４の偏光方向の第８の画像とを取得し、
前記複数の画素毎に、前記第５の画像、前記第６の画像、前記第７の画像、及び前記第８の画像を用いて、虹彩認証用の認証画像を合成し、
前記第１の偏光方向、前記第２の偏光方向、前記第３の偏光方向、及び第４の偏光方向はそれぞれ４５度づつ異なり、
上記処理の少なくとも１つは、少なくとも１つの制御回路によって実行される、
画像合成方法。
【請求項３４】
前記認証画像の合成において、
前記第５の画像、前記第６の画像、前記第７の画像、及び前記第８の画像の間で、対応する画素同士の画素値を比較し、
前記対応する画素同士の画素値のうちの最も小さい画素値を、前記認証画像の各画素の画素値に決定する、
請求項３３に記載の画像合成方法。
【請求項３５】
前記認証画像の合成において、
前記第５の画像、前記第６の画像、前記第７の画像、及び前記第８の画像の間で、対応する画素同士の画素値を比較し、
前記対応する画素同士の画素値の平均値を、前記認証画像の各画素の画素値に決定する、
請求項３３に記載の画像合成方法。
【請求項３６】
請求項２２〜３５のいずれか一項に記載の画像合成方法で生成された前記認証画像を取得し、
複数のユーザＩＤと複数の参照画像とが対応付けられている虹彩認証情報を取得し、
前記認証画像と前記虹彩認証情報とを参照して、ユーザＩＤを特定し、
上記処理の少なくとも１つは、少なくとも１つの制御回路によって実行される、
虹彩認証方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像合成装置、虹彩認証システム、画像合成方法及び虹彩認証方法に関する。
【背景技術】
【０００２】
近年、カメラで撮像された人物の顔から本人認証する認証技術が飛躍的に進歩している。このような認証技術の１つとして、虹彩認証技術がある。虹彩認証技術は、他人を本人と誤認識する率（他人受容率ＦＡＲ）が極めて低い方法である。例えば、特許文献１は、人物の顔の画像の虹彩を抽出し、虹彩のコードと基準の虹彩のコードとの類似性から、虹彩の同一性を判定する技術を開示している。特許文献２は、虹彩への外光の映り込みによる認証制度の低下を抑制する虹彩認証技術を開示している。具体的には、外光の映り込み位置が異なる複数の虹彩画像と、登録虹彩データとを用いて、登録虹彩データに対する虹彩画像の認証が行われる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３３０７９３６号公報
【特許文献２】特許第３５８６４５６号公報
【非特許文献】
【０００４】
【非特許文献１】市橋裕一、川畑州一、石川和夫、畑田豊彦著、「眼球結像系における偏光特性とその解析」、日本眼科光学学会誌、 1989年、第10巻、第1号、p.87-92
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の技術は、虹彩への外光の映り込みを考慮していない。特許文献２の技術では、虹彩画像を撮影する際の人の顔の向きが指定される。これらの技術はいずれも、制限された虹彩画像を対象としており、高い虹彩認証精度を有しているとはいえない。
【０００６】
そこで、本開示は、虹彩認証精度を向上する画像合成装置、虹彩認証システム、画像合成方法及び虹彩認証方法を提供する。
【課題を解決するための手段】
【０００７】
本開示の一態様に係る画像合成装置は、第１の偏光方向を有する直線偏光と、第２の偏光方向を有する直線偏光とを出力する照明装置と、複数の画素を有する第３の偏光方向の画像、及び複数の画素を有する第４の偏光方向の画像を撮像するカメラと、前記複数の画素毎に、前記第３の偏光方向の画像及び前記第４の偏光方向の画像を用いて、虹彩認証用の認証画像を合成する制御回路とを備え、前記第１の偏光方向、前記第２の偏光方向、前記第３の偏光方向は、及び前記第４の偏光方向はそれぞれ異なり、前記カメラは、前記第１の偏光方向の直線偏光を用いて、前記第３の偏光方向の画像を取得し、且つ前記第２の偏光方向の直線偏光を用いて、前記第４の偏光方向の画像を取得する。
【０００８】
本開示の一態様に係る画像合成装置は、第１の偏光方向を有する直線偏光と、第２の偏光方向を有する直線偏光とを出力する照明装置と、複数の画素を有する第３の偏光方向の画像、及び複数の画素を有する第４の偏光方向の画像を撮像するカメラと、前記複数の画素毎に、前記第３の偏光方向の画像及び前記第４の偏光方向の画像を用いて、虹彩認証用の認証画像を合成する制御回路とを備え、前記第１の偏光方向及び前記第２の偏光方向は異なり、前記第３の偏光方向及び前記第４の偏光方向は異なり、前記カメラは、前記第１の偏光方向の直線偏光及び前記第２の偏光方向の直線偏光を用いて、前記第３の偏光方向の画像を取得し、且つ前記第１の偏光方向の直線偏光及び前記第２の偏光方向の直線偏光を用いて、前記第４の偏光方向の画像を取得する。
【０００９】
本開示の一態様に係る画像合成装置は、右回りの円偏光と、左回りの円偏光とを出力する照明装置と、複数の画素を有する右回りの偏光方向の画像、及び複数の画素を有する左回りの偏光方向の画像を撮像するカメラと、前記複数の画素毎に、前記右回りの偏光方向の画像及び前記左回りの偏光方向の画像を用いて、虹彩認証用の認証画像を合成する制御回路とを備え、前記カメラは、前記右回りの円偏光及び前記左回りの円偏光を用いて、前記右回りの偏光方向の画像を取得し、且つ前記右回りの円偏光及び前記左回りの円偏光を用いて、前記左回りの偏光方向の画像を取得する。
【００１０】
本開示の一態様に係る画像合成装置は、第１の偏光方向を有する第１の直線偏光と、第２の偏光方向を有する第２の直線偏光と、第３の偏光方向を有する第３の直線偏光と、第４の偏光方向を有する第４の直線偏光とを同時に出力する照明装置と、複数の画素を有する前記第１の偏光方向の第５の画像、複数の画素を有する前記第２の偏光方向の第６の画像、複数の画素を有する前記第３の偏光方向の第７の画像、及び複数の画素を有する前記第４の偏光方向の第８の画像を撮像するカメラと、前記複数の画素毎に、前記第５の画像、前記第６の画像、前記第７の画像、及び前記第８の画像を用いて、虹彩認証用の認証画像を合成する制御回路とを備え、前記第１の偏光方向、前記第２の偏光方向、前記第３の偏光方向、及び前記第４の偏光方向はそれぞれ４５度づつ異なり、前記カメラは、前記第１の直線偏光、前記第２の直線偏光、前記第３の直線偏光、及び前記第４の直線偏光を用いて、前記第５の画像、前記第６の画像、前記第７の画像、及び前記第８の画像それぞれを取得する。
【００１１】
本開示の一態様に係る虹彩認証システムは、上記画像合成装置と、虹彩認証回路とを備えた虹彩認証システムであって、前記虹彩認証回路は、複数のユーザＩＤと複数の参照画像とが対応付けられている虹彩認証情報を取得し、前記認証画像と虹彩認証情報とを参照して、ユーザＩＤを特定する。
【００１２】
本開示の一態様に係る画像合成方法は、第１の偏光方向を有する第１の直線偏光と、第２の偏光方向を有する第２の直線偏光とを順次出力し、前記１の直線偏光を出力したとき、画像を撮像することによって、複数の画素を有する第３の偏光方向の第３の画像を取得し、前記２の直線偏光を出力したとき、画像を撮像することによって、複数の画素を有する第４の偏光方向の第４の画像を取得し、前記複数の画素毎に、前記第３の画像及び前記第４の画像を用いて、虹彩認証用の認証画像を合成し、前記第１の偏光方向、前記第２の偏光方向、前記第３の偏光方向は、及び前記第４の偏光方向はそれぞれ異なり、上記処理の少なくとも１つは、少なくとも１つの制御回路によって実行される。
【００１３】
本開示の一態様に係る画像合成方法は、第１の偏光方向を有する第１の直線偏光と、第２の偏光方向を有する第２の直線偏光とを一緒に出力し、前記１の直線偏光及び前記第２の直線偏光を出力したとき、画像を撮像し、前記画像から、複数の画素を有する第３の偏光方向の第３の画像と、複数の画素を有する第４の偏光方向の第４の画像とを取得し、前記複数の画素毎に、前記第３の画像及び前記第４の画像を用いて、虹彩認証用の認証画像を合成し、前記第１の偏光方向及び前記第２の偏光方向は異なり、前記第３の偏光方向及び前記第４の偏光方向は異なり、上記処理の少なくとも１つは、少なくとも１つの制御回路によって実行される。
【００１４】
本開示の一態様に係る画像合成方法は、右回りの円偏光と左回りの円偏光とを一緒に出力し、前記右回りの円偏光及び前記左回りの円偏光を出力したとき、画像を撮像し、前記画像から、複数の画素を有する右回りの偏光方向の画像と、複数の画素を有する左回りの偏光方向の画像とを取得し、前記複数の画素毎に、前記右回りの偏光方向の画像及び前記左回りの偏光方向の画像を用いて、虹彩認証用の認証画像を合成し、上記処理の少なくとも１つは、少なくとも１つの制御回路によって実行される。
【００１５】
本開示の一態様に係る画像合成方法は、第１の偏光方向を有する第１の直線偏光と、第２の偏光方向を有する第２の直線偏光と、第３の偏光方向を有する第３の直線偏光と、第４の偏光方向を有する第４の直線偏光とを同時に出力し、前記第１の直線偏光、前記第２の直線偏光、前記第３の直線偏光、及び前記第４の直線偏光を出力したとき、画像を撮像し、前記画像から、複数の画素を有する前記第１の偏光方向の第５の画像と、複数の画素を有する前記第２の偏光方向の第６の画像と、複数の画素を有する前記第３の偏光方向の第７の画像と、複数の画素を有する前記第４の偏光方向の第８の画像とを取得し、前記複数の画素毎に、前記第５の画像、前記第６の画像、前記第７の画像、及び前記第８の画像を用いて、虹彩認証用の認証画像を合成し、前記第１の偏光方向、前記第２の偏光方向、前記第３の偏光方向、及び第４の偏光方向はそれぞれ４５度づつ異なり、上記処理の少なくとも１つは、少なくとも１つの制御回路によって実行される。
【００１６】
本開示の一態様に係る虹彩認証方法は、上記画像合成方法で生成された前記認証画像を取得し、複数のユーザＩＤと複数の参照画像とが対応付けられている虹彩認証情報を取得し、前記認証画像と前記虹彩認証情報とを参照して、ユーザＩＤを特定し、上記処理の少なくとも１つは、少なくとも１つの制御回路によって実行される。
【００１７】
なお、上記の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）等の不揮発性の記録媒体を含む。
【発明の効果】
【００１８】
本開示の画像合成装置等によると、虹彩認証精度を向上することが可能になる。
【図面の簡単な説明】
【００１９】
【図１】図１は、実施の形態１に係る虹彩認証システムの機能的な構成の一例を示すブロック図である。
【図２】図２は、実施の形態１に係る虹彩認証システムの各構成要素による処理の流れの一例を示す概略図である。
【図３】図３は、実施の形態１に係る照明装置の模式的な正面図である。
【図４Ａ】図４Ａは、実施の形態１に係るカメラの偏光撮像素子の構成を模式的に示す平面図である。
【図４Ｂ】図４Ｂは、図４Ａのモザイク偏光フィルタにおける偏光フィルタのグループの１単位を示す平面図である。
【図５Ａ】図５Ａは、環境光及び照明光が角膜又は眼鏡で鏡面反射する状況を示す概略図である。
【図５Ｂ】図５Ｂは、図５Ａにおける眼鏡の正面図である。
【図５Ｃ】図５Ｃは、図５Ａにおける角膜の正面図である。
【図６】図６は、バンドパスフィルタにおける環境光の鏡面反射の除去特性を示す図である。
【図７Ａ】図７Ａは、カメラに正対する角膜における照明光の鏡面反射の発生状態を示す図である。
【図７Ｂ】図７Ｂは、カメラに正対する眼鏡及び角膜における照明光の鏡面反射の発生状態を示す図である。
【図７Ｃ】図７Ｃは、カメラに対して斜めを向いた角膜における照明光の鏡面反射の発生状態を示す図である。
【図８Ａ】図８Ａは、角膜における複屈折現象を説明する図であり、直線偏光照明が角膜に入射及び反射する状況を示す概略図である。
【図８Ｂ】図８Ｂは、角膜における複屈折現象を説明する図であり、角膜に入射する直線偏光照明を示す模式的な正面図である。
【図８Ｃ】図８Ｃは、角膜における複屈折現象を説明する図であり、角膜で反射した直線偏光照明を示す模式的な正面図である。
【図９】図９は、角膜における黒十字パターンの発生状態の一例を模式的に示す図である。
【図１０Ａ】図１０Ａは、偏光方向に応じて変化する、凸レンズを使った黒十字の発生パターンの一例を示す図である。
【図１０Ｂ】図１０Ｂは、偏光方向に応じて変化する、凸レンズを使った黒十字の発生パターンの一例を示す図である。
【図１１Ａ】図１１Ａは、黒十字パターンを除去する偏光画像合成部の処理の一例を示す概略図である。
【図１１Ｂ】図１１Ｂは、偏光画像合成部の処理による黒十字パターン除去の原理を示す周期関数の一例を示す図である。
【図１２】図１２は、実施の形態１に係る虹彩認証システムの動作の一例を示すフローチャートである。
【図１３】図１３は、実施の形態２に係る虹彩認証システムの機能的な構成の一例を示すブロック図である。
【図１４】図１４は、実施の形態２に係る虹彩認証システムの各構成要素による処理の流れの一例を示す概略図である。
【図１５Ａ】図１５Ａは、実施の形態２に係る照明装置の模式的な正面図である。
【図１５Ｂ】図１５Ｂは、図１５Ａの照明装置の模式的な分解図である。
【図１６Ａ】図１６Ａは、実施の形態２に係るカメラの偏光撮像素子の構成を模式的に示す平面図である。
【図１６Ｂ】図１６Ｂは、図１６Ａのモザイク偏光フィルタにおける偏光フィルタのグループの１単位を示す平面図である。
【図１７】図１７は、角膜での鏡面反射領域の輝点における反射光の偏光状態を示す概略図である。
【図１８】図１８は、虹彩での拡散反射領域における反射光の偏光状態を示す概略図である。
【図１９】図１９は、鏡面反射の輝点を除去する偏光画像合成部の処理の一例を示す概略図である。
【図２０Ａ】図２０Ａは、円偏光を用いて虹彩認証する従来技術の虹彩認証装置の一例を図２と同様に示す図である。
【図２０Ｂ】図２０Ｂは、図２０Ａの光学系の詳細を模式的に示す図である。
【図２１】図２１は、実施の形態３に係る虹彩認証システムの機能的な構成の一例を示すブロック図である。
【図２２】図２２は、実施の形態３に係る虹彩認証システムの各構成要素による処理の流れの一例を示す概略図である。
【図２３Ａ】図２３Ａは、実施の形態３に係る照明装置の模式的な正面図である。
【図２３Ｂ】図２３Ｂは、図２３Ａの照明装置３２０の模式的な分解図である。
【図２４Ａ】図２４Ａは、実施の形態３に係るカメラの偏光撮像素子の構成を模式的に示す平面図である。
【図２４Ｂ】図２４Ｂは、図２４Ａのモザイク偏光フィルタにおける偏光フィルタのグループの１単位を示す平面図である。
【図２５】図２５は、実施の形態３に係る偏光撮像素子の変形例の構成を模式的に示す図である。
【図２６】図２６は、鏡面反射の輝点を除去する偏光画像合成部の処理の一例を示す概略図である。
【図２７】図２７は、実施の形態４に係る虹彩認証システムの機能的な構成の一例を示すブロック図である。
【図２８】図２８は、実施の形態４に係る虹彩認証システムの各構成要素による処理の流れの一例を示す概略図である。
【図２９】図２９は、実施の形態４に係る照明装置の模式的な正面図である。
【図３０Ａ】図３０Ａは、実施の形態４に係るカメラの撮像センサの構成を模式的に示す平面図である。
【図３０Ｂ】図３０Ｂは、図３０Ａのモザイク偏光フィルタにおける偏光フィルタのグループの１単位を示す平面図である。
【図３１】図３１は、鏡面反射の輝点を除去する偏光画像合成部の処理の一例を示す概略図である。
【発明を実施するための形態】
【００２０】
［発明者の知見］
まず、本発明者の知見を説明する。背景技術の欄でも記載したように、近年、カメラで撮像された人物の顔から本人認証する顔認証技術が注目され、飛躍的に進歩している。人物を認証する手法としては、指紋認証、静脈認証及び網膜認証等の各種のバイオメトリクスを使った技術が存在する。しかしながら、近年、顔認証の中でも、カジュアル認証技術の要求が高くなっている。カジュアル認証は、認証装置に対して所定の位置、向き及び姿勢等をとらない無意識状態の被認証者を認証することである。顔のカジュアル認証において、カメラに対して無意識な被認証者に対して、数メートルの距離から非接触でカメラ撮像することによって認証する技術のニーズが高くなっている。しかしながら、顔認証では、マスク等による顔の隠蔽又は極端な表情による顔の変動による誤認識が生じ得る。さらに、顔認証では、双子の顔のように極めて似た顔の区別が困難である場合がある。つまり、顔認証には、他人を本人と誤認識しやすいという本質的な問題がある。
【００２１】
そこで、本発明者は、他人を本人と誤認識する率である他人受容率ＦＡＲが極めて低い方法として従来より利用されている虹彩認証技術に着目し、虹彩認証技術と顔認証とを組み合わせることによる高精度なカジュアル認証を検討した。例えば、虹彩認証パターンは、カメラで撮像された虹彩画像に対して特殊な周波数強調処理を実施することにより得られる。このような虹彩認証パターンは、極めてランダム性の高い画像情報である。この虹彩認証パターンは、虹彩認証技術の分野では、地球上の全人口内でもＦＡＲが１／１００００とも言われている。このため、虹彩認証パターンを用いた虹彩認証技術では、双子の眼の場合も本人と間違えることは全くありえない。また、虹彩認証パターンは、個人においての経年変化又はケガ等による変動も少なく、認証機能を維持できる。
【００２２】
特許文献１は、従来の虹彩認証技術のうちの基本的な技術を開示する。当該技術では、最初に眼球画像から瞳孔中心及び虹彩中心が検出され、瞳孔及び虹彩は、異なる中心及び半径を有する円としてモデル化される。次に、ドーナツ型である虹彩画像は、瞳孔中心に設定された極座標軸を使って矩形の画像に展開され、ガボールフィルタ等を使って２値の虹彩認証パターンに変換される。認証処理は、虹彩認証パターン同士の間の信号のハミング距離で判定される。
【００２３】
従来の虹彩認証技術においては、ＩＲ（赤外）照明を用いたＩＲ（赤外）撮像が前提である。そして、撮像時に眼球又は眼鏡に照明光の反射光が映り込むことは、度々発生していた。例えば、特許文献２は、被認証者自身の認証時の協力が得られる場合の虹彩認証技術を開示している。特許文献２の虹彩認証技術では、被認証者が積極的に協力することによって、虹彩認証パターンに意図しない照明の反射光が映り込まないように、被認証者に対する撮像の角度及び距離が調整される。しかしながら、本発明者が着目するカジュアル虹彩認証技術では、ＩＲ照明及びＩＲカメラに対して被認証者が無意識のうちに、ＩＲ照明及びＩＲカメラを使用して遠距離から、当該被認証者の顔画像が撮像され、当該顔画像を用いて虹彩認証が行われる。この場合、ＩＲ照明光が角膜又はメガネのレンズ上で反射し、眼球の瞳孔又は虹彩を隠蔽したとしても、それを回避するための協力は被認証者から得られない。そこで、本発明者は、照明装置側で照明光を工夫することを検討し、偏光子を用いた直線偏光にて被験者を照射することを検討した。さらに、本発明者は、撮像側での工夫を検討し、カメラに偏光板である検光子を設置することを検討した。そして、本発明者は、直線偏光の偏光方向と、偏光板の偏光方向とを直交させることで、画像から照明の反射光を除去することに着目した。しかしながら、非特許文献１に記載されているように、上記のような直交偏光技術を用いた眼球撮影では、虹彩表面を覆う本来透明な角膜の複屈折特性によって、明暗縞状の複屈折パターン（「黒十字パターン（Polarization Cross）」とも呼ばれる）が発生し、本来の虹彩パターン上に重畳してしまう。このため、虹彩認証が失敗するという問題がある。
【００２４】
つまり、認証時に被認証者の協力が得られないカジュアル虹彩認証において、直交偏光を用いて角膜及び眼鏡からの照明光の反射を除去しようという試みに対して、角膜の複屈折特性に起因するアーティファクトのパターンが現れ、その影響のため、従来の虹彩認証技術が認証できないという問題がある。本発明者は、上述の様々な問題を解決することにより、高精度な虹彩認証を可能にするために、以下の技術を創案した。
【００２５】
本開示の第１の態様に係る画像合成装置は、第１の偏光方向を有する直線偏光と、第２の偏光方向を有する直線偏光とを出力する照明装置と、複数の画素を有する第３の偏光方向の画像、及び複数の画素を有する第４の偏光方向の画像を撮像するカメラと、前記複数の画素毎に、前記第３の偏光方向の画像及び前記第４の偏光方向の画像を用いて、虹彩認証用の認証画像を合成する制御回路とを備え、前記第１の偏光方向、前記第２の偏光方向、前記第３の偏光方向は、及び前記第４の偏光方向はそれぞれ異なり、前記カメラは、前記第１の偏光方向の直線偏光を用いて、前記第３の偏光方向の画像を取得し、且つ前記第２の偏光方向の直線偏光を用いて、前記第４の偏光方向の画像を取得する。
【００２６】
上記態様によると、第３の偏光方向と異なる第１の偏光方向の直線偏光を用いて取得された第３の偏光方向の画像は、眼球の角膜における正反射に起因する鏡面反射の像を低減することができる。第４の偏光方向と異なる第２の偏光方向の直線偏光を用いて取得された第４の偏光方向の画像は、眼球の角膜における鏡面反射の像を低減することができる。偏光方向が異なる第３の偏光方向の画像及び第４の偏光方向の画像では、角膜の複屈折に起因する像が現れる場合でも異なる位置に現れ得る。よって、第３の偏光方向の画像及び第４の偏光方向の画像を合成した認証画像では、角膜の鏡面反射の像及び角膜の複屈折に起因する像が低減される。従って、認証画像の虹彩領域は、認証に適した画像となり得る。なお、例えば、直線偏光の第１の偏光方向を９０度とし、第２の偏光方向を１３５度とすることができる。また、画像の第３の偏光方向を０度とし、第４の偏光方向を４５度とすることができる。
【００２７】
本開示の第１の態様に係る画像合成装置において、前記第１の偏光方向は、前記第２の偏光方向に対して、４５度異なり、前記第３の偏光方向は、前記第１の偏光方向に対して、９０度異なる直線方向であり、前記第４の偏光方向は、前記第２の偏光方向に対して、９０度異なる直線方向であってもよい。
【００２８】
上記態様によると、第１の偏光方向と第３の偏光方向との差異が９０度であることによって、第３の偏光方向の画像における角膜の鏡面反射の像の除去率が向上する。第２の偏光方向と第４の偏光方向との差異が９０度であることによって、第４の偏光方向の画像における角膜の鏡面反射の像の除去率が向上する。さらに、第１の偏光方向はと第２の偏光方向との差異が４５度であることによって、第３の偏光方向の画像及び第４の偏光方向の画像の間で、角膜の複屈折に起因する像が重複する領域が少なくなる。よって、認証画像の虹彩領域において、角膜の複屈折に起因する像の除去率が向上する。
【００２９】
本開示の第１の態様に係る画像合成装置において、前記照明装置は、少なくとも１つの第１の光源と、少なくとも１つの第２の光源と、前記第１の光源の前方に位置する前記第１の偏光方向を有する第１の偏光板と、前記第２の光源の前方に位置する前記第２の偏光方向を有する第２の偏光板とを有し、前記第１の光源は、前記第１の偏光板を介して、前記第１の偏光方向を有する直線偏光を出力し、前記第２の光源は、前記第２の偏光板を介して、前記第２の偏光方向を有する直線偏光を出力してもよい。
【００３０】
上記態様によると、第１の光源を点灯することによって、第１の偏光方向を有する直線偏光が照射され、第２の光源を点灯することによって、第２の偏光方向を有する直線偏光が照射される。第１の偏光方向を有する直線偏光及び第２の偏光方向を有する直線偏光の照射の制御が容易になる。
【００３１】
本開示の第１の態様に係る画像合成装置において、前記カメラは、前記照明装置が前記第１の偏光方向の直線偏光を出力したとき、前記第３の偏光方向の画像を撮像し、且つ前記照明装置が前記第２の偏光方向の直線偏光を出力したとき、前記第４の偏光方向の画像を撮像してもよい。
【００３２】
上記態様によると、第３の偏光方向の画像及び第４の偏光方向の画像それぞれにおいて、不要な直線偏光の像が含まれることを抑えることができる。
【００３３】
本開示の第１の態様に係る画像合成装置において、前記制御回路は、前記認証画像の合成において、前記第３の偏光方向の画像と前記第４の偏光方向の画像との間で、対応する画素同士の画素値を比較し、前記対応する画素同士の画素値のうちのより大きい画素値を、前記認証画像の各画素の画素値に決定してもよい。
【００３４】
上記態様において、第３の偏光方向の画像及び第４の偏光方向の画像それぞれでは、角膜の複屈折に起因する像の画素値が小さくなる。第３の偏光方向の画像と第４の偏光方向の画像との間で、対応する画素同士の画素値のうちのより大きい画素値は、角膜の複屈折に起因する像でない可能性が高い。このような画素値を認証画像の各画素の画素値に決定することによって、認証画像では、角膜の複屈折に起因する像が効果的に除去され得る。
【００３５】
本開示の第１の態様に係る画像合成装置において、前記制御回路は、前記認証画像の合成において、前記第３の偏光方向の画像と前記第４の偏光方向の画像との間で、対応する画素同士の画素値を比較し、前記対応する画素同士の画素値の平均値を、前記認証画像の各画素の画素値に決定してもよい。
【００３６】
上記態様によると、第３の偏光方向の画像と第４の偏光方向の画像との間で、対応する画素同士の画素値の平均値は、角膜の複屈折に起因する像の影響を低減した値となり得る。このような画素値を認証画像の各画素の画素値に決定することによって、認証画像では、角膜の複屈折に起因する像が効果的に除去され得る。
【００３７】
本開示の第２の態様に係る画像合成装置は、第１の偏光方向を有する直線偏光と、第２の偏光方向を有する直線偏光とを出力する照明装置と、複数の画素を有する第３の偏光方向の画像、及び複数の画素を有する第４の偏光方向の画像を撮像するカメラと、前記複数の画素毎に、前記第３の偏光方向の画像及び前記第４の偏光方向の画像を用いて、虹彩認証用の認証画像を合成する制御回路とを備え、前記第１の偏光方向及び前記第２の偏光方向は異なり、前記第３の偏光方向及び前記第４の偏光方向は異なり、前記カメラは、前記第１の偏光方向の直線偏光及び前記第２の偏光方向の直線偏光を用いて、前記第３の偏光方向の画像を取得し、且つ前記第１の偏光方向の直線偏光及び前記第２の偏光方向の直線偏光を用いて、前記第４の偏光方向の画像を取得する。
【００３８】
上記態様によると、第３の偏光方向の画像及び第４の偏光方向の画像はそれぞれ、偏光方向が異なる２つの直線偏光を用いて取得された画像であるため、角膜の複屈折に起因する像の発生が抑えられる。さらに、偏光方向が異なる第３の偏光方向の画像及び第４の偏光方向の画像では、角膜の鏡面反射の像が現れる場合でも異なる位置に現れ得る。よって、第３の偏光方向の画像及び第４の偏光方向の画像を合成した認証画像では、角膜の鏡面反射の像及び角膜の複屈折に起因する像が低減される。従って、認証画像の虹彩領域は、認証に適した画像となり得る。なお、例えば、直線偏光の第１の偏光方向を０度とし、第２の偏光方向を９０度とすることができる。また、画像の第３の偏光方向を０度とし、第４の偏光方向を９０度とすることができる。
【００３９】
本開示の第２の態様に係る画像合成装置において、前記第１の偏光方向は、前記第２の偏光方向に対して、９０度異なり、前記第３の偏光方向は、前記第１の偏光方向に対して、９０度異なる直線方向であり、前記第４の偏光方向は、前記第２の偏光方向に対して、９０度異なる直線方向であってもよい。
【００４０】
上記態様によると、第３の偏光方向の画像における角膜の鏡面反射の像が現れ得る領域と、第４の偏光方向の画像における角膜の鏡面反射の像が現れ得る領域との重複を低減することができる。よって、認証画像において、角膜の鏡面反射の像の除去率が向上する。
【００４１】
本開示の第２の態様に係る画像合成装置において、前記照明装置は、少なくとも１つの光源と、前記光源の前方に位置する前記第１の偏光方向を有する第１の偏光板と、前記光源の前方に位置する前記第２の偏光方向を有する第２の偏光板とを有し、前記光源は、前記第１の偏光板を介して、前記第１の偏光方向を有する直線偏光を出力し、前記光源は、前記第２の偏光板を介して、前記第２の偏光方向を有する直線偏光を出力してもよい。
【００４２】
上記態様によると、光源を点灯することによって、第１の偏光方向を有する直線偏光及び第２の偏光方向を有する直線偏光が一緒に照射される。第１の偏光方向を有する直線偏光及び第２の偏光方向を有する直線偏光の照射の制御が容易になる。
【００４３】
本開示の第２の態様に係る画像合成装置は、拡散板をさらに備え、前記拡散板は、前記照明装置、前記拡散板及び前記第１の偏光板の順、及び、前記照明装置、前記拡散板及び前記第２の偏光板の順で配置され、前記照明装置の光軸方向で見たとき、前記第１の偏光板及び前記第２の偏光板は、前記拡散板以上の大きさであり、前記拡散板は、前記照明装置以上の大きさであってもよい。
【００４４】
上記態様によると、拡散板によって拡散された後に第１の偏光板又は第２の偏光板を透過した直線偏光は、眼鏡又は角膜上での鏡面反射の像の輝度を低下させることができる。さらに、偏光板の消光比が低い場合においても、直線偏光の鏡面反射の像の除去の実現が可能である。また、第１の偏光板及び第２の偏光板が拡散板よりも大きいため、拡散板によって拡散された照明光の全体が、第１の偏光板又は第２の偏光板に入射し得る。よって、拡散板によって拡散された照明光が、第１の偏光板及び第２の偏光板のいずれによる偏光も受けずに、被写体を照射することが抑制される。
【００４５】
本開示の第２の態様に係る画像合成装置において、前記制御回路は、前記認証画像の合成において、前記第３の偏光方向の画像と前記第４の偏光方向の画像との間で、対応する画素同士の画素値を比較し、前記対応する画素同士の画素値のうちのより小さい画素値を、前記認証画像の各画素の画素値に決定してもよい。
【００４６】
上記態様によると、第３の偏光方向の画像及び第４の偏光方向の画像それぞれでは、角膜の鏡面反射の像の画素値が大きくなる。第３の偏光方向の画像と第４の偏光方向の画像との間で、対応する画素同士の画素値のうちのより小さい画素値は、角膜の鏡面反射の像でない可能性が高い。このような画素値を認証画像の各画素の画素値に決定することによって、認証画像では、角膜の鏡面反射の像が効果的に除去され得る。
【００４７】
本開示の第２の態様に係る画像合成装置において、前記制御回路は、前記認証画像の合成において、前記第３の偏光方向の画像と前記第４の偏光方向の画像との間で、対応する画素同士の画素値を比較し、前記対応する画素同士の画素値の平均値を、前記認証画像の各画素の画素値に決定してもよい。
【００４８】
上記態様によると、第３の偏光方向の画像と第４の偏光方向の画像との間で、対応する画素同士の画素値の平均値は、角膜の鏡面反射の像の影響を低減した値となり得る。このような画素値を認証画像の各画素の画素値に決定することによって、認証画像では、角膜の鏡面反射の像が効果的に除去され得る。
【００４９】
本開示の第３の態様に係る画像合成装置は、右回りの円偏光と、左回りの円偏光とを出力する照明装置と、複数の画素を有する右回りの偏光方向の画像、及び複数の画素を有する左回りの偏光方向の画像を撮像するカメラと、前記複数の画素毎に、前記右回りの偏光方向の画像及び前記左回りの偏光方向の画像を用いて、虹彩認証用の認証画像を合成する制御回路とを備え、前記カメラは、前記右回りの円偏光及び前記左回りの円偏光を用いて、前記右回りの偏光方向の画像を取得し、且つ前記右回りの円偏光及び前記左回りの円偏光を用いて、前記左回りの偏光方向の画像を取得する。
【００５０】
上記態様によると、右回りの円偏光の画像及び左回りの円偏光の画像はそれぞれ、右回りの円偏光及び左回りの円偏光を用いて取得された画像であるため、角膜の複屈折に起因する像の発生が抑えられる。さらに、右回りの円偏の画像及び左回りの円偏光の画像では、角膜の鏡面反射の像が現れる場合でも異なる位置に現れ得る。よって、右回りの円偏の画像及び左回りの円偏光の画像を合成した認証画像では、角膜の鏡面反射の像及び角膜の複屈折に起因する像が低減される。従って、認証画像の虹彩領域は、認証に適した画像となり得る。
【００５１】
本開示の第３の態様に係る画像合成装置において、前記照明装置は、少なくとも１つの光源と、前記光源の前方に位置する前記右回りの偏光方向を有する右回り偏光板と、前記光源の前方に位置する前記左回りの偏光方向を有する左回り偏光板とを有し、前記光源は、前記右回り偏光板を介して、前記右回りの円偏光を出力し、前記光源は、前記左回り偏光板を介して、前記左回りの円偏光を出力してもよい。
【００５２】
上記態様によると、光源を点灯することによって、右回りの円偏光及び左回りの円偏光が一緒に照射される。右回りの円偏光及び左回りの円偏光の照射の制御が容易になる。
【００５３】
本開示の第３の態様に係る画像合成装置において、前記制御回路は、前記認証画像の合成において、前記右回りの偏光方向の画像と前記左回りの偏光方向の画像との間で、対応する画素同士の画素値を比較し、前記対応する画素同士の画素値のうちのより小さい画素値を、前記認証画像の各画素の画素値に決定してもよい。
【００５４】
上記態様によると、右回りの円偏光の画像及び左回りの円偏光の画像それぞれでは、角膜の鏡面反射の像の画素値が大きくなる。右回りの円偏光の画像及び左回りの円偏光の画像の間で、対応する画素同士の画素値のうちのより小さい画素値は、角膜の鏡面反射の像でない可能性が高い。このような画素値を認証画像の各画素の画素値に決定することによって、認証画像では、角膜の鏡面反射の像が効果的に除去され得る。
【００５５】
本開示の第３の態様に係る画像合成装置において、前記制御回路は、前記認証画像の合成において、前記右回りの偏光方向の画像と前記左回りの偏光方向の画像との間で、対応する画素同士の画素値を比較し、前記対応する画素同士の画素値の平均値を、前記認証画像の各画素の画素値に決定してもよい。
【００５６】
上記態様によると、右回りの円偏光の画像及び左回りの円偏光の画像の間で、対応する画素同士の画素値の平均値は、角膜の鏡面反射の像の影響を低減した値となり得る。このような画素値を認証画像の各画素の画素値に決定することによって、認証画像では、角膜の鏡面反射の像が効果的に除去され得る。
【００５７】
本開示の第４の態様に係る画像合成装置は、第１の偏光方向を有する第１の直線偏光と、第２の偏光方向を有する第２の直線偏光と、第３の偏光方向を有する第３の直線偏光と、第４の偏光方向を有する第４の直線偏光とを同時に出力する照明装置と、複数の画素を有する前記第１の偏光方向の第５の画像、複数の画素を有する前記第２の偏光方向の第６の画像、複数の画素を有する前記第３の偏光方向の第７の画像、及び複数の画素を有する前記第４の偏光方向の第８の画像を撮像するカメラと、前記複数の画素毎に、前記第５の画像、前記第６の画像、前記第７の画像、及び前記第８の画像を用いて、虹彩認証用の認証画像を合成する制御回路とを備え、前記第１の偏光方向、前記第２の偏光方向、前記第３の偏光方向、及び前記第４の偏光方向はそれぞれ４５度づつ異なり、前記カメラは、前記第１の直線偏光、前記第２の直線偏光、前記第３の直線偏光、及び前記第４の直線偏光を用いて、前記第５の画像、前記第６の画像、前記第７の画像、及び前記第８の画像それぞれを取得する。
【００５８】
上記態様によると、第５〜第８の画像はそれぞれ、第１〜第４の偏光方向を有する直線偏光を用いて取得された画像であるため、角膜の複屈折に起因する像の発生が抑えられる。さらに、第５〜第８の画像では、角膜の鏡面反射の像が現れる場合でも異なる位置に現れ得る。よって、第５〜第８の画像を合成した認証画像では、角膜の鏡面反射の像及び角膜の複屈折に起因する像が低減される。特に、合成する画像の数量が多くなると、全ての画像における同じ位置に角膜の鏡面反射の像が現れる確率が低くなる。従って、認証画像の虹彩領域は、認証に適した画像となり得る。なお、例えば、直線偏光の第１の偏光方向、第２の偏光方向、第３の偏光方向及び第４の偏光方向をそれぞれ、０度、４５度、９０度及び１３５度とすることができる。また、画像の第１の偏光方向、第２の偏光方向、第３の偏光方向及び第４の偏光方向をそれぞれ、０度、４５度、９０度及び１３５度とすることができる。
【００５９】
本開示の第４の態様に係る画像合成装置において、前記照明装置は、少なくとも１つの光源と、前記光源の前方に位置する前記第１の偏光方向を有する第１の偏光板と、前記光源の前方に位置する前記第２の偏光方向を有する第２の偏光板と、前記光源の前方に位置する前記第３の偏光方向を有する第３の偏光板と、前記光源の前方に位置する前記第４の偏光方向を有する第４の偏光板とを有し、前記光源は、前記第１の偏光板を介して、前記第１の偏光方向を有する直線偏光を出力し、前記光源は、前記第２の偏光板を介して、前記第２の偏光方向を有する直線偏光を出力し、前記光源は、前記第３の偏光板を介して、前記第３の偏光方向を有する直線偏光を出力し、前記光源は、前記第４の偏光板を介して、前記第４の偏光方向を有する直線偏光を出力してもよい。
【００６０】
上記態様によると、光源を点灯することによって、第１〜第４の偏光方向を有する直線偏光が一緒に照射される。第１〜第４の偏光方向を有する直線偏光の照射の制御が容易になる。
【００６１】
本開示の第４の態様に係る画像合成装置において、前記制御回路は、前記認証画像の合成において、前記第５の画像、前記第６の画像、前記第７の画像、及び前記第８の画像の間で、対応する画素同士の画素値を比較し、前記対応する画素同士の画素値のうちの最も小さい画素値を、前記認証画像の各画素の画素値に決定してもよい。
【００６２】
上記態様によると、第５の画像、第６の画像、第７の画像及び第８の画像それぞれでは、角膜の鏡面反射の像の画素値が大きくなる。第５の画像、第６の画像、第７の画像及び第８の画像の間で、対応する画素同士の画素値のうちの最も小さい画素値は、角膜の鏡面反射の像でない可能性が高い。このような画素値を認証画像の各画素の画素値に決定することによって、認証画像では、角膜の鏡面反射の像が効果的に除去され得る。
【００６３】
本開示の第４の態様に係る画像合成装置において、前記制御回路は、前記認証画像の合成において、前記第５の画像、前記第６の画像、前記第７の画像、及び前記第８の画像の間で、対応する画素同士の画素値を比較し、前記対応する画素同士の画素値の平均値を、前記認証画像の各画素の画素値に決定してもよい。
【００６４】
上記態様によると、第５の画像、第６の画像、第７の画像及び第８の画像の間で、対応する画素同士の画素値の平均値は、角膜の鏡面反射の像の影響を低減した値となり得る。このような画素値を認証画像の各画素の画素値に決定することによって、認証画像では、角膜の鏡面反射の像が効果的に除去され得る。
【００６５】
本開示の第５の態様に係る画像合成装置は、第１の偏光方向を有する第１の直線偏光と、第２の偏光方向を有する第２の直線偏光と、第３の偏光方向を有する第３の直線偏光とを出力する照明装置と、複数の画素を有する第４の偏光方向の第４の画像、複数の画素を有する第５の偏光方向の第５の画像、及び複数の画素を有する第６の偏光方向の第６の画像を撮像するカメラと、前記複数の画素毎に、前記第４の画像、前記第５の画像、及び前記第６の画像を用いて、虹彩認証用の認証画像を合成する制御回路とを備え、前記第１の偏光方向、前記第２の偏光方向及び前記第３の偏光方向はそれぞれ異なり、前記第４の偏光方向、前記第５の偏光方向及び前記第６の偏光方向はそれぞれ異なり、前記カメラは、前記第１の直線偏光、前記第２の直線偏光及び前記第３の偏光方向の直線偏光を用いて、前記第４の画像、前記第５の画像及び前記第６の画像それぞれを取得する。
【００６６】
上記態様によると、第４〜第６の画像はそれぞれ、第１〜第３の偏光方向を有する直線偏光を用いて取得された画像であるため、角膜の複屈折に起因する像の発生が抑えられる。さらに、第４〜第６の画像では、角膜の鏡面反射の像が現れる場合でも異なる位置に現れ得る。よって、第４〜第６の画像を合成した認証画像では、角膜の鏡面反射の像及び角膜の複屈折に起因する像が低減される。特に、合成する画像の数量が多くなると、全ての画像における同じ位置に角膜の鏡面反射の像が現れる確率が低くなる。従って、認証画像の虹彩領域は、認証に適した画像となり得る。なお、例えば、直線偏光の第１の偏光方向、第２の偏光方向及び第３の偏光方向をそれぞれ、０度、４５度、９０度及び１３５度のうちのいずれかとすることができる。また、画像の第４の偏光方向、第５の偏光方向及び第６の偏光方向をそれぞれ、０度、４５度、９０度及び１３５度のうちのいずれかとすることができる。
【００６７】
本開示の一態様に係る虹彩認証システムは、上記画像合成装置と、虹彩認証回路とを備えた虹彩認証システムであって、前記虹彩認証回路は、複数のユーザＩＤと複数の参照画像とが対応付けられている虹彩認証情報を取得し、前記認証画像と虹彩認証情報とを参照して、ユーザＩＤを特定する。上記態様によると、上記の画像合成装置と同様の効果が得られる。さらに、上記の画像合成装置の認証画像を用いることによって、精度の高いユーザの特定が可能になる。
【００６８】
本開示の第１の態様に係る画像合成方法は、第１の偏光方向を有する第１の直線偏光と、第２の偏光方向を有する第２の直線偏光とを順次出力し、前記１の直線偏光を出力したとき、画像を撮像することによって、複数の画素を有する第３の偏光方向の第３の画像を取得し、前記２の直線偏光を出力したとき、画像を撮像することによって、複数の画素を有する第４の偏光方向の第４の画像を取得し、前記複数の画素毎に、前記第３の画像及び前記第４の画像を用いて、虹彩認証用の認証画像を合成し、前記第１の偏光方向、前記第２の偏光方向、前記第３の偏光方向は、及び前記第４の偏光方向はそれぞれ異なり、上記処理の少なくとも１つは、少なくとも１つの制御回路によって実行される。上記態様によると、本開示の第１の態様に係る画像合成装置と同様の効果が得られる。
【００６９】
本開示の第１の態様に係る画像合成方法において、前記第１の偏光方向は、前記第２の偏光方向に対して、４５度異なり、前記第３の偏光方向は、前記第１の偏光方向に対して、９０度異なる直線方向であり、前記第４の偏光方向は、前記第２の偏光方向に対して、９０度異なる直線方向であってもよい。
【００７０】
本開示の第１の態様に係る画像合成方法では、前記認証画像の合成において、前記第３の画像と前記第４の画像との間で、対応する画素同士の画素値を比較し、前記対応する画素同士の画素値のうちのより大きい画素値を、前記認証画像の各画素の画素値に決定してもよい。
【００７１】
本開示の第１の態様に係る画像合成方法では、前記認証画像の合成において、前記第３の画像と前記第４の画像との間で、対応する画素同士の画素値を比較し、前記対応する画素同士の画素値の平均値を、前記認証画像の各画素の画素値に決定してもよい。
【００７２】
本開示の第２の態様に係る画像合成方法は、第１の偏光方向を有する第１の直線偏光と、第２の偏光方向を有する第２の直線偏光とを一緒に出力し、前記１の直線偏光及び前記第２の直線偏光を出力したとき、画像を撮像し、前記画像から、複数の画素を有する第３の偏光方向の第３の画像と、複数の画素を有する第４の偏光方向の第４の画像とを取得し、前記複数の画素毎に、前記第３の画像及び前記第４の画像を用いて、虹彩認証用の認証画像を合成し、前記第１の偏光方向及び前記第２の偏光方向は異なり、前記第３の偏光方向及び前記第４の偏光方向は異なり、上記処理の少なくとも１つは、少なくとも１つの制御回路によって実行される。上記態様によると、本開示の第２の態様に係る画像合成装置と同様の効果が得られる。
【００７３】
本開示の第２の態様に係る画像合成方法において、前記第１の偏光方向は、前記第２の偏光方向に対して、９０度異なり、前記第３の偏光方向は、前記第１の偏光方向に対して、９０度異なる直線方向であり、前記第４の偏光方向は、前記第２の偏光方向に対して、９０度異なる直線方向であってもよい。
【００７４】
本開示の第２の態様に係る画像合成方法では、前記認証画像の合成において、前記第３の画像と前記第４の画像との間で、対応する画素同士の画素値を比較し、前記対応する画素同士の画素値のうちのより小さい画素値を、前記認証画像の各画素の画素値に決定してもよい。
【００７５】
本開示の第２の態様に係る画像合成方法では、前記認証画像の合成において、前記第３の画像と前記第４の画像との間で、対応する画素同士の画素値を比較し、前記対応する画素同士の画素値の平均値を、前記認証画像の各画素の画素値に決定してもよい。
【００７６】
本開示の第３の態様に係る画像合成方法は、右回りの円偏光と左回りの円偏光とを一緒に出力し、前記右回りの円偏光及び前記左回りの円偏光を出力したとき、画像を撮像し、前記画像から、複数の画素を有する右回りの偏光方向の画像と、複数の画素を有する左回りの偏光方向の画像とを取得し、前記複数の画素毎に、前記右回りの偏光方向の画像及び前記左回りの偏光方向の画像を用いて、虹彩認証用の認証画像を合成し、上記処理の少なくとも１つは、少なくとも１つの制御回路によって実行される。上記態様によると、本開示の第３の態様に係る画像合成装置と同様の効果が得られる。
【００７７】
本開示の第３の態様に係る画像合成方法では、前記認証画像の合成において、前記右回りの偏光方向の画像と前記左回りの偏光方向の画像との間で、対応する画素同士の画素値を比較し、前記対応する画素同士の画素値のうちのより小さい画素値を、前記認証画像の各画素の画素値に決定してもよい。
【００７８】
本開示の第３の態様に係る画像合成方法では、前記認証画像の合成において、前記右回りの偏光方向の画像と前記左回りの偏光方向の画像との間で、対応する画素同士の画素値を比較し、前記対応する画素同士の画素値の平均値を、前記認証画像の各画素の画素値に決定してもよい。
【００７９】
本開示の第４の態様に係る画像合成方法は、第１の偏光方向を有する第１の直線偏光と、第２の偏光方向を有する第２の直線偏光と、第３の偏光方向を有する第３の直線偏光と、第４の偏光方向を有する第４の直線偏光とを同時に出力し、前記第１の直線偏光、前記第２の直線偏光、前記第３の直線偏光、及び前記第４の直線偏光を出力したとき、画像を撮像し、前記画像から、複数の画素を有する前記第１の偏光方向の第５の画像と、複数の画素を有する前記第２の偏光方向の第６の画像と、複数の画素を有する前記第３の偏光方向の第７の画像と、複数の画素を有する前記第４の偏光方向の第８の画像とを取得し、前記複数の画素毎に、前記第５の画像、前記第６の画像、前記第７の画像、及び前記第８の画像を用いて、虹彩認証用の認証画像を合成し、前記第１の偏光方向、前記第２の偏光方向、前記第３の偏光方向、及び第４の偏光方向はそれぞれ４５度づつ異なり、上記処理の少なくとも１つは、少なくとも１つの制御回路によって実行される。上記態様によると、本開示の第４の態様に係る画像合成装置と同様の効果が得られる。
【００８０】
本開示の第４の態様に係る画像合成方法では、前記認証画像の合成において、前記第５の画像、前記第６の画像、前記第７の画像、及び前記第８の画像の間で、対応する画素同士の画素値を比較し、前記対応する画素同士の画素値のうちの最も小さい画素値を、前記認証画像の各画素の画素値に決定してもよい。
【００８１】
本開示の第４の態様に係る画像合成方法では、前記認証画像の合成において、前記第５の画像、前記第６の画像、前記第７の画像、及び前記第８の画像の間で、対応する画素同士の画素値を比較し、前記対応する画素同士の画素値の平均値を、前記認証画像の各画素の画素値に決定してもよい。
【００８２】
本開示の第５の態様に係る画像合成方法は、第１の偏光方向を有する第１の直線偏光と、第２の偏光方向を有する第２の直線偏光と、第３の偏光方向を有する第３の直線偏光とを一緒に出力し、前記第１の直線偏光、前記第２の直線偏光、及び前記第３の直線偏光を出力したとき、画像を撮像し、前記画像から、複数の画素を有する第４の偏光方向の第４の画像と、複数の画素を有する第５の偏光方向の第５の画像と、複数の画素を有する第６の偏光方向の第６の画像とを取得し、前記複数の画素毎に、前記第４の画像、前記第５の画像、及び前記第６の画像を用いて、虹彩認証用の認証画像を合成し、前記第１の偏光方向、前記第２の偏光方向及び前記第３の偏光方向はそれぞれ異なり、前記第４の偏光方向、前記第５の偏光方向及び前記第６の偏光方向はそれぞれ異なり、上記処理の少なくとも１つは、少なくとも１つの制御回路によって実行される。上記態様によると、本開示の第５の態様に係る画像合成装置と同様の効果が得られる。
【００８３】
本開示の一態様に係る虹彩認証方法は、上記画像合成方法で生成された前記認証画像を取得し、複数のユーザＩＤと複数の参照画像とが対応付けられている虹彩認証情報を取得し、前記認証画像と前記虹彩認証情報とを参照して、ユーザＩＤを特定し、上記処理の少なくとも１つは、少なくとも１つの制御回路によって実行される。上記態様によると、上記の画像合成方法と同様の効果が得られる。さらに、上記の画像合成方法で生成された認証画像を用いることによって、精度の高いユーザの特定が可能になる。
【００８４】
なお、上記の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ等の不揮発性の記録媒体を含む。また、装置は、１つ以上の装置で構成されてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよく、分離した２つ以上の機器内に分かれて配置されてもよい。本明細書及び特許請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。
【００８５】
以下、本開示に係る画像合成装置等について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ（工程）、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。
【００８６】
（実施の形態１）
実施の形態１に係る画像合成装置１００及び画像合成装置１００を備える虹彩認証システム１を説明する。以下の実施の形態において、画像合成装置１００は、異なる偏光方向の偏光が照射された眼球の撮像画像を合成することにより、虹彩認証用の合成画像を生成する。虹彩認証システム１は、虹彩認証用の合成画像を、データベースの虹彩画像と照合することにより、当該合成画像の虹彩を認証する。
【００８７】
［１−１．虹彩認証システム１の構成］
実施の形態１に係る虹彩認証システム１の構成を説明する。図１は、実施の形態１に係る虹彩認証システム１の機能的な構成の一例を示すブロック図である。図２は、実施の形態１に係る虹彩認証システム１の各構成要素による処理の流れの一例を示す概略図である。図１に示すように、虹彩認証システム１は、画像合成装置１００と、虹彩認証部１１０と、虹彩認証パターンデータベース（以下、「虹彩認証パターンＤＢ」とも表記する）１２０と、出力部１３０とを備える。画像合成装置１００は、処理部１０と、照明装置２０と、カメラ３０とを備える。処理部１０は、同期部１１と、記憶部１２と、画素選択部１３と、偏光画像合成部１４とを含む。
【００８８】
［画像合成装置１００］
（照明装置２０）
図１及び図２に示すように、画像合成装置１００の照明装置２０は、カメラ３０の被写体に対して偏光を照射する。本実施の形態では、被写体は、人の眼球Ｅである。照明装置２０は、２つの異なる偏光方向の光を照射する。照明装置２０は、照明部２０ａと、偏光部２０ｂとを含む。照明部２０ａは、光を出射し、偏光部２０ｂは、照明部２０ａの出射光を直線偏光にする。照明部２０ａの照射光の例は、赤外光及び可視光である。照明部２０ａの例は、照明器具、照明回路、ＬＥＤ（発光ダイオード：Light Emitting Diode）素子等の発光素子、赤外球等の電球、レーザー光出射装置である。
【００８９】
図３は、実施の形態１に係る照明装置２０の模式的な正面図である。図３及び他の図において、照明装置の正面図及び平面図は、照明光の照射方向に対向して照明装置を見た図であり、カメラの被写体から照明装置を見た図である。また、照明装置の正面図及び平面図において、後述する偏光透過軸の方向である偏光方向を示す直線矢印及び円状の矢印が記載されているが、これらの矢印の向きは、カメラから被写体を見たとき、つまり、照明装置から被写体を見たときの向きを示す。
【００９０】
図２及び図３に示すように、照明部２０ａは、開口部２０ｃの周りに円環状に配置された複数の第一光源２０ａａ及び第二光源２０ａｂを含む。本実施の形態では、第一光源２０ａａ及び第二光源２０ａｂは、円周に沿って交互に配置されている。第一光源２０ａａ及び第二光源２０ａｂの例は、ＬＥＤ素子等の発光素子、赤外球等の電球、又はレーザー光源である。照明部２０ａは、複数の第一光源２０ａａを同時に発光させるように構成され、それにより、リング状の照明光を出射する。また、照明部２０ａは、複数の第二光源２０ａｂを同時に発光させるように構成され、それにより、リング状の照明光を出射する。第一光源２０ａａ及び第二光源２０ａｂは、互いから独立して点灯するように構成される。このような照明部２０ａは、２チャンネル構成のリング照明である。
【００９１】
偏光部２０ｂは、照明部２０ａと被写体との間に配置された偏光フィルタであり、偏光部２０ｂの例は、偏光板又は偏光フィルムである。偏光部２０ｂは、開口部２０ｃの周りに円環状に配置された複数の第一偏光フィルタ２０ｂａ及び第二偏光フィルタ２０ｂｂを含む。第一偏光フィルタ２０ｂａ及び第二偏光フィルタ２０ｂｂの例は、偏光板又は偏光フィルムである。本実施の形態では、第一偏光フィルタ２０ｂａ及び第二偏光フィルタ２０ｂｂは、円周に沿って交互に配置されている。
【００９２】
第一偏光フィルタ２０ｂａは、カメラ３０のカメラ座標系における画像面内の角度、つまり方位角で９０°（９０度）の方向に偏光透過軸を有する。第一偏光フィルタ２０ｂａは、第一光源２０ａａと被写体との間に配置され、第一光源２０ａａの出射光を、方位角９０°の直線偏光に変える。なお、カメラ座標系における画像面内において、上記方位角は、時計回り、つまり右回りの方向に増加し、水平方向の方位角は０°であり、鉛直方向の方位角は９０°である。上記方位角は、カメラから被写体に向かって見たときの向きを示す。これは、後述する右回り及び左回りの円偏光の偏光透過軸の方向も同様であり、右回りの偏光透過軸の方向は、カメラ座標系の画像面内における時計回りの方向であり、左回りの偏光透過軸の方向は、反時計回りの方向である。そして、照明装置２０からカメラ３０に向かって見たとき、図３に示す矢印の左右の向きが逆になり、右回り及び左回りの回転方向も逆になる。なお、本明細書及び特許請求の範囲において、偏光透過軸の方位角のことを、単に「偏光方向」とも表現する。
【００９３】
第二偏光フィルタ２０ｂｂは、カメラ３０のカメラ座標系における画像面内の方位角で１３５°の方向に偏光透過軸を有する。第一偏光フィルタ２０ｂａ及び第二偏光フィルタ２０ｂｂの偏光透過軸の方位角は、互いに対して４５°異なる。第二偏光フィルタ２０ｂｂは、第二光源２０ａｂと被写体との間に配置され、第二光源２０ａｂの出射光を、方位角１３５°の直線偏光に変える。第一偏光フィルタ２０ｂａ及び第二偏光フィルタ２０ｂｂはそれぞれ、第一光源２０ａａ及び第二光源２０ａｂに対応して配置されている。
【００９４】
照明装置２０は、第一光源２０ａａ及び第二光源２０ａｂを時間的に順次発光させることによって、互いに４５°異なる９０°及び１３５°の偏光方向の直線偏光であるリング形状の照明光Ｌを時間的に順次、認証対象者の眼球Ｅに照射する。眼球Ｅの角膜及び虹彩部分で反射した戻り光は、ドーナツ型の照明装置２０の中心の開口部２０ｃを通過し、カメラ３０に入射する。なお、本実施の形態では、照明装置２０とカメラ３０との間に、バンドパスフィルタ４０が配置されているが、必須ではない。バンドパスフィルタ４０が配置されることによって、眼球Ｅからの戻り光は、バンドパスフィルタ４０を通過した後、カメラ３０に入射する。なお、認証対象者は、カメラ３０の視野内に存在する特定の人であってもよく、任意の人であってもよい。
【００９５】
（カメラ３０）
図１及び図２に示すように、画像合成装置１００のカメラ３０は、デジタル画像を撮像する。カメラ３０は、静止画及び動画のいずれを撮像してもよい。カメラ３０は、偏光撮像素子３０ａと、対物レンズ３０ｂとを備える。対物レンズ３０ｂは、眼球Ｅで反射した戻り光を受光し、偏光撮像素子３０ａへ集光する。偏光撮像素子３０ａは、対物レンズ３０ｂが偏光撮像素子３０ａ上で結像する像を画像化する。
【００９６】
図４Ａは、実施の形態１に係るカメラ３０の偏光撮像素子３０ａの構成を模式的に示す平面図である。図４Ｂは、図４Ａのモザイク偏光フィルタ３０ａｂにおける偏光フィルタのグループの１単位を示す平面図である。図４Ａ及図４Ｂ並びに他の図において、偏光撮像素子及び偏光フィルタのグループの平面図は、カメラから被写体を見たときの図である。これらの平面図において、後述する偏光透過軸の方向である偏光方向を示す直線矢印及び円状の矢印が記載されているが、これらの矢印の向きは、カメラから被写体を見たときの向きを示す。
【００９７】
図４Ａに示すように、偏光撮像素子３０ａは、受光素子を有する撮像素子３０ａａと、撮像素子３０ａａ上に配置されるモザイク偏光フィルタ３０ａｂとを備える。モザイク偏光フィルタ３０ａｂの例は、モザイク偏光板又は偏光フィルムである。撮像素子３０ａａは、画像化する画像の画素それぞれに対応する複数の受光素子を有している。１つの受光素子は、１つの画素の画素値を生成する。受光素子は、受光した光の輝度等の光の特性を示す信号を処理部１０の記憶部１２に出力する。なお、画素値の例は、輝度である。
【００９８】
撮像素子３０ａａの例は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ及びＣＣＤ（Charge−Coupled Device）イメージセンサ等のイメージセンサである。モザイク偏光フィルタ３０ａｂは、対物レンズ３０ｂと撮像素子３０ａａとの間に配置され、偏光撮像素子３０ａに入射する光を偏光し、撮像素子３０ａａに出力する。モザイク偏光フィルタ３０ａｂは、撮像素子３０ａａ全体を覆って配置される。モザイク偏光フィルタ３０ａｂの例は、ワイヤグリッドである。対物レンズ３０ｂから偏光撮像素子３０ａに集められた光は、モザイク偏光フィルタ３０ａｂを通過した後、撮像素子３０ａａに入射する。
【００９９】
図４Ａ及び図４Ｂに示すように、モザイク偏光フィルタ３０ａｂは、平面的に配置された複数の偏光フィルタで構成されている。偏光フィルタの例は、偏光板又は偏光フィルムである。撮像素子３０ａａの受光素子それぞれに対して、１つの偏光フィルタが配置されている。このような複数の偏光フィルタは、受光素子と同様に格子状に配列されている。複数の偏光フィルタは、複数の第一直線偏光フィルタ３０ａｃａと複数の第二直線偏光フィルタ３０ａｃｂとで構成されている。カメラ３０のカメラ座標系における画像面内において、第一直線偏光フィルタ３０ａｃａの偏光透過軸の角度である方位角は０°であり、第二直線偏光フィルタ３０ａｃｂの偏光透過軸の方位角は４５°である。方位角０°の軸は、カメラ３０及び撮像素子３０ａａの水平方向の基準軸である。複数の第一直線偏光フィルタ３０ａｃａ及び複数の第二直線偏光フィルタ３０ａｃｂ、並びに、撮像素子３０ａａの複数の受光素子は、方位角０°の方向及び方位角９０°の方向に、格子状に並ぶ。なお、第一直線偏光フィルタ３０ａｃａの偏光透過軸の方位角０°は、照明装置２０の第一偏光フィルタ２０ｂａの偏光透過軸の方位角９０°と垂直である。第二直線偏光フィルタ３０ａｃｂの偏光透過軸の方位角４５°は、照明装置２０の第二偏光フィルタ２０ｂｂの偏光透過軸の方位角１３５°と垂直である。つまり、第一直線偏光フィルタ３０ａｃａ及び第二直線偏光フィルタ３０ａｃｂの偏光透過軸の方位角は、照明装置２０の第一偏光フィルタ２０ｂａ及び第二偏光フィルタ２０ｂｂの偏光透過軸の方位角と垂直であるように構成される。
【０１００】
１つの点Ｐを中心として、２つの第一直線偏光フィルタ３０ａｃａ及び２つの第二直線偏光フィルタ３０ａｃｂが隣接して配置されている。第一直線偏光フィルタ３０ａｃａ及び第二直線偏光フィルタ３０ａｃｂは、点Ｐを中心とする回転方向で交互に配置されている。このような２つの第一直線偏光フィルタ３０ａｃａ及び２つの第二直線偏光フィルタ３０ａｃｂは、１つの偏光フィルタグループ３０ａｃを形成する。１つの偏光フィルタグループ３０ａｃにおいて、２つの第一直線偏光フィルタ３０ａｃａ及び２つの第二直線偏光フィルタ３０ａｃｂは、縦２つ及び横２つからなる２×２の配列で正方形状に配置されている、つまり、格子状に配置されている。
【０１０１】
モザイク偏光フィルタ３０ａｂにおいて、複数の偏光フィルタグループ３０ａｃは、格子状に、つまりモザイク状に配列されている。そして、複数の第一直線偏光フィルタ３０ａｃａ及び第二直線偏光フィルタ３０ａｃｂは、格子状に、つまりモザイク状に配列されている。第一直線偏光フィルタ３０ａｃａ及び撮像素子３０ａａの受光素子は、入射光を０°の方向に偏光して受光するマイクロ偏光画素を形成し、第二直線偏光フィルタ３０ａｃｂ及び撮像素子３０ａａの受光素子は、入射光を４５°の方向に偏光して受光するマイクロ偏光画素を形成する。このような偏光撮像素子３０ａによって取得される１つの画像は、０°及び４５°の方向に偏光された画素である偏光画素を含む。なお、モザイク偏光フィルタ３０ａｂは、照明装置２０の第一偏光フィルタ２０ｂａ及び第二偏光フィルタ２０ｂｂの偏光透過軸の方位角と垂直である２種類の偏光透過軸の偏光フィルタを含めばよい。このため、モザイク偏光フィルタは、より一般的な０°、４５°、９０°及び１３５°の偏光透過軸からなる４種類の偏光フィルタで構成されてもよい。この場合、偏光撮像素子では、該当する偏光透過軸を有する偏光画素が選択されて用いられてもよい。
【０１０２】
上述のようなカメラ３０では、眼球Ｅで反射した光は、対物レンズ３０ｂによって、モザイク偏光フィルタ３０ａｂ上に結像し、さらに、モザイク偏光フィルタ３０ａｂによって偏光を受けた後、撮像素子３０ａａによって受光される。撮像素子３０ａａは、各受光素子で検出した光の特性を示す信号等の情報を処理部１０の記憶部１２に出力する。このとき、撮像素子３０ａａは、処理部１０の同期部１１の信号に基づいて、照明装置２０が第一光源２０ａａ及び第二光源２０ａｂを交互に点灯する期間それぞれにおいて、画像を露光して撮像する。カメラ３０は、各点灯期間において、０°及び４５°の異なる偏光透過軸方向の偏光フィルタを介した２種類の偏光画素からなる偏光画像をほぼ同一視点から同時に取得することができる。このような偏光画像を用いることによって、これらの偏光画像相互の画素を一致させた画像処理は容易に可能である。
【０１０３】
（処理部１０）
図１及び図２を参照しつつ、画像合成装置１００の処理部１０の各構成要素を説明する。処理部１０の同期部１１、画素選択部１３及び偏光画像合成部１４からなる各構成要素は、ＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）等のプロセッサ、並びに、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read-Only Memory）等のメモリなどからなるコンピュータシステム（図示せず）により構成されてもよい。各構成要素の一部又は全部の機能は、ＣＰＵ又はＤＳＰがＲＡＭを作業用のメモリとして用いてＲＯＭに記録されたプログラムを実行することによって達成されてもよい。また、各構成要素の一部又は全部の機能は、電子回路又は集積回路等の専用のハードウェア回路によって達成されてもよい。各構成要素の一部又は全部の機能は、上記のソフトウェア機能とハードウェア回路との組み合わせによって構成されてもよい。プログラムは、アプリケーションとして、インターネット等の通信網を介した通信、モバイル通信規格による通信、その他の無線ネットワーク、有線ネットワーク、又は放送等で提供されるものであってもよい。ここで、処理部１０は、制御回路の一例である。
【０１０４】
また、記憶部１２は、種々の情報の格納及び取り出しを可能にする。例えば、記憶部１２は、カメラ３０によって取得された撮像画像を格納する。記憶部１２は、処理部１０及び／又はカメラ３０を動作させるためのプログラムを格納してもよい。これらのプログラムは、処理部１０及びカメラ３０が有する図示しないメモリに格納されてもよい。記憶部１２は、例えば、ＲＯＭ、ＲＡＭ、フラッシュメモリなどの半導体メモリ、ハードディスクドライブ、又はＳＳＤ（Solid State Drive）等の記憶装置によって実現される。
【０１０５】
同期部１１は、照明装置２０の２種類の照明のタイミングと、カメラ３０の撮像のタイミングとを同期させるように、照明装置２０及びカメラ３０の動作を制御する。具体的には、同期部１１は、照明装置２０の第一光源２０ａａ及び第二光源２０ａｂそれぞれの点灯及び消灯を制御し、第一光源２０ａａ及び第二光源２０ａｂを時間的に順次点灯させる。さらに、同期部１１は、第一光源２０ａａの点灯中に、カメラ３０に少なくとも１回撮像させ、少なくとも１つの画像を取得させる。同期部１１は、第二光源２０ａｂの点灯中に、カメラ３０に少なくとも１回撮像させ、少なくとも１つの画像を取得させる。さらに、同期部１１は、第一光源２０ａａの点灯中でのカメラ３０の撮像タイミングと、第二光源２０ａｂの点灯中でのカメラ３０の撮像タイミングとを、偏光画像合成部１４に出力する。
【０１０６】
画素選択部１３は、カメラ３０の偏光撮像素子３０ａで取得された画像において、第一直線偏光フィルタ３０ａｃａを介して取得された画素と、第二直線偏光フィルタ３０ａｃｂを介して取得された画素とを再集積処理することによって、２種類の偏光画像を生成する。２種類の偏光画像のうちの第一偏光画像は、第一直線偏光フィルタ３０ａｃａを介して取得される画素である偏光画素Ｃ０からなる画像である。第二偏光画像は、第二直線偏光フィルタ３０ａｃｂを介して取得される画素である偏光画素Ｃ４５からなる画像である。以下において、偏光透過軸の方向がα°である直線偏光フィルタを介して取得される偏光画素を、「偏光画素Ｃα」とも表現する。画素選択部１３は、記憶部１２からカメラ３０の撮像画像を取得し、当該撮像画像から、偏光画素Ｃ０からなる偏光画像及び偏光画素Ｃ４５からなる偏光画像を生成し、偏光画像合成部１４に出力する。なお、偏光画像はいずれも、偏光撮像素子３０ａの撮像画像の縦横サイズをそれぞれＨ及びＷとすると、縦Ｈ／２及び横Ｗ／２のサイズの縮小画像である。偏光画像間での各画素の位置は、ほぼ位置ズレの無い同一のサンプリング位置とみなすことができる。
【０１０７】
偏光画像合成部１４は、同期部１１から取得される第一光源２０ａａ及び第二光源２０ａｂの点灯中でのカメラ３０の撮像タイミングと、画素選択部１３から取得される偏光画素Ｃ０及び偏光画素Ｃ４５それぞれからなる偏光画像とを対応付ける。例えば、カメラ３０の撮像画像は、撮像時刻の情報を含み、当該撮像画像から生成された偏光画像も同じ撮像時刻の情報を含む。偏光画像合成部１４は、偏光画像の撮像時刻と、各点灯での撮像タイミングとを対応付けることによって、偏光画像の撮像時に点灯していた光源を特定する。偏光画像合成部１４は、第一光源２０ａａ及び第二光源２０ａｂの隣り合う２つの点灯期間中に撮像された２つの撮像画像の偏光画像を用いて、画像合成する。具体的には、偏光画像合成部１４は、第一光源２０ａａの点灯期間中、つまり、９０°の直線偏光の照明（これを「直線偏光照明Ｌ９０」又は「直線偏光Ｌ９０」とも表現する）期間中に撮像された撮像画像の偏光画素Ｃ０からなる偏光画像Ｌ９０Ｃ０と、第二光源２０ａｂの点灯期間中、つまり、１３５°の直線偏光の照明（これを「直線偏光照明Ｌ１３５」又は「直線偏光Ｌ１３５」とも表現する）期間中に撮像された撮像画像の偏光画素Ｃ４５からなる偏光画像Ｌ１３５Ｃ４５とを合成する。偏光画像合成部１４は、上述のように画像を合成することによって、眼球Ｅの保有者を認証するための認証用合成画像を生成する。偏光画像合成部１４は、認証用合成画像を虹彩認証部１１０に出力する。なお、２つの撮像画像に対応する２つの点灯期間は、隣り合ってなくてもよい。
【０１０８】
［虹彩認証部１１０］
虹彩認証部１１０は、虹彩認証パターンＤＢ１２０に格納された複数の参照画像の情報と、認証用合成画像とを照合することによって、当該認証用合成画像に対応するユーザＩＤつまり識別情報を特定する。複数の参照画像はそれぞれ、人の眼球の像を含む画像であり、当該眼球の保有者のユーザＩＤと対応付けられている。参照画像及びユーザＩＤは、互いに対応付けられ、虹彩認証情報として、虹彩認証パターンＤＢ１２０に格納されている。例えば、虹彩認証部１１０は、複数の参照画像のうちから、認証用合成画像との所定以上の類似度を有する参照画像を決定し、決定された参照画像に対応付けられているユーザＩＤを特定する。複数の参照画像とは、典型的には、特許文献１で開示される２値画像パターンである。例えば、複数の参照画像のそれぞれと、認証用合成画像との類似度は、信号間距離として求められる。この処理の詳細については特許文献１に参照される。虹彩認証部１１０は、ユーザＩＤの特定結果を出力部１３０に出力する。
【０１０９】
虹彩認証部１１０は、画像合成装置１００の処理部１０の各構成要素について例示されたいずれかの構成を有してもよい。虹彩認証部１１０は、画像合成装置１００を搭載する機器内に配置されてもよく、当該機器とは他の機器に配置されてもよい。他の機器に配置された虹彩認証部１１０は、有線通信又は無線通信を介して、画像合成装置１００と情報を授受してもよい。有線通信及び無線通信はそれぞれ、いかなる通信であってもよい。
【０１１０】
［虹彩認証パターンＤＢ１２０］
虹彩認証パターンＤＢ１２０は、参照画像及びユーザＩＤを含む虹彩認証情報を格納する。虹彩認証パターンＤＢ１２０は、記憶部１２に関して例示されたいずれかの構成を有してもよい。虹彩認証パターンＤＢ１２０には、１つのユーザＩＤに対して、１つの参照画像が格納されてもよく、複数の参照画像が格納されてもよい。参照画像は、ユーザＩＤに対応する人の眼球、つまり、虹彩の像を含む画像である。虹彩認証パターンＤＢ１２０は、画像合成装置１００を搭載する機器内に配置されてもよく、当該機器の外に配置されてもよい。上記機器の外に配置された虹彩認証パターンＤＢ１２０は、無線通信を介して、画像合成装置１００と情報を授受してもよい。この場合、虹彩認証パターンＤＢ１２０は、クラウドサーバに配置され、インターネット等の通信網を介して、画像合成装置１００と無線通信を行ってもよく、他のいかなる無線通信を行ってもよい。
【０１１１】
［出力部１３０］
出力部１３０は、虹彩認証部１１０による認証結果を、虹彩認証システム１の外部の機器等に出力する。出力部１３０は、ディスプレイ及びスピーカ等の表示装置に、視覚的及び／又は聴覚的に認証結果を出力してもよい。出力部１３０は、無線通信を介して、外部の機器に認証結果を出力してもよい。出力部１３０は、虹彩認証部１１０によって、認証用合成画像に対応するユーザＩＤが特定された場合、当該ユーザの情報を出力し、特定されなかった場合、認証不可能であることを示す情報を出力してもよい。出力部１３０は、処理部１０の各構成要素について例示されたいずれかの構成を有してもよい。出力部１３０は、外部の装置等と接続するためのインターフェースであってもよい。出力部１３０は、画像合成装置１００を搭載する機器内に配置されてもよく、虹彩認証部１１０と同様に、当該機器とは他の機器に配置されてもよい。
【０１１２】
本実施の形態では、カメラ３０の偏光撮像素子３０ａの図示しない制御部、処理部１０、及び虹彩認証部１１０は、互いに別の処理部を構成しているが、全てが同じ処理部を構成してもよく、いずれか２つが同じ処理部を構成してもよい。
【０１１３】
［１−２．画像合成装置１００の処理の詳細］
画像合成装置１００の処理の詳細を説明する。まず、人の眼での光の反射を説明する。図５Ａは、環境光及び照明光が角膜又は眼鏡で鏡面反射する状況を示す概略図である。図５Ｂは、図５Ａにおける眼鏡の正面図である。図５Ｃは、図５Ａにおける角膜の正面図である。以下において、照明装置２０は、赤外光を出射するＩＲ照明装置であるとして説明する。
【０１１４】
図５Ａに示すように、屋内外において照明装置２０を用いて人の顔面を撮影する場合、照明装置２０の直線偏光の照明光Ｌと、太陽光等の周囲環境からの外光である環境光ＥＬとが同時に、上記人の眼球Ｅに直接に入射する、又は、上記人が眼鏡１４０をかけている場合、眼鏡１４０に直接入射する。照明光Ｌは、ＩＲ波長域を有する。照明光Ｌ及び環境光ＥＬは、眼球Ｅの角膜表面、及び眼鏡１４０のガラス表面で反射し、角膜表面及びガラス表面上において、強い鏡面反射による高輝度反射スポットを発生する。図５Ｂは、上記人が眼鏡１４０をかけている場合の眼鏡及び眼球の領域の撮影画像の例を示し、眼鏡１４０のガラス表面での典型的な鏡面反射状態を示す。図５Ｂの撮像画像では、環境光ＥＬによる鏡面反射部分ＲＥＬと、照明光Ｌによる鏡面反射部分ＲＬとの両方が観察される。図５Ｃは、画像合成装置１００が、照明光ＬのＩＲ波長域以外の波長領域をカットするバンドパスフィルタ４０を備えるケースでの眼球の領域の撮影画像の例を示す。このようなバンドパスフィルタ４０を用いることで、環境光ＥＬによる鏡面反射部分ＲＥＬが除去され得る。
【０１１５】
バンドパスフィルタ４０の機能を説明する。図６は、バンドパスフィルタ４０における環境光ＥＬの鏡面反射の除去特性を示す図である。例えば、照明光Ｌの波長を典型的に９４０ｎｍとした場合、最適なバンドパスフィルタ４０として、９４０ｎｍ近傍の透過域を有する狭帯域フィルタが用いられる。これによって、９４０ｎｍの照明光Ｌ以外の光による反射光は、除去できることが明らかである。しかしながら、この方法では照明光Ｌによる鏡面反射部分ＲＬは除去できない。
【０１１６】
例えば、図７Ａは、カメラ３０に正対する角膜における照明光の鏡面反射の発生状態を示す図である。図７Ｂは、カメラ３０に正対する眼鏡及び角膜における照明光の鏡面反射の発生状態を示す図である。図７Ｃは、カメラ３０に対して斜めを向いた角膜における照明光の鏡面反射の発生状態を示す図である。図７Ａに示すように、カメラ３０に正対した裸眼では、リング状の照明光の反射像は、黒い瞳孔のほぼ中心内部に位置する。このような照明光の反射像の位置は、リング照明である照明装置２０の位置がカメラ３０の撮像視線とほぼ同軸に近いことと、角膜の凸曲面によってリング状の照明光の虚像が縮小される効果とに起因する。虹彩認証においては、瞳孔部分の画像は用いられず、虹彩部分の画像が用いられるため、照明光の反射像がこのような状態であれば、虹彩認証において何ら問題はない。
【０１１７】
しかしながら、図７Ｂに示すように、眼鏡をかけた状態の眼球では、眼鏡のガラス表面におけるリング状の照明光の反射像は、眼鏡のガラス表面がほぼフラットであるため、非常に大きくなる。このため、照明光の反射像の輝度の飽和領域は、瞳孔及び虹彩を隠蔽してしまう。また、眼鏡のガラス表面と角膜表面との間で多重反射が発生するため、多数の反射像が出現して虹彩、つまり虹彩パターンを隠蔽する。
【０１１８】
また、図７Ｃに示すように、眼鏡が無くても、視線がカメラの撮像視線からずれている斜め裸眼のケースでは、リング状の照明光の反射像は、虹彩領域に位置するため、認証に重要な虹彩、つまり虹彩パターンの画像の一部が欠落してしまう。
【０１１９】
この種の鏡面反射の除去には偏光撮像が有効であることは、従来より既知である。そのために、ＩＲ照明光の直線偏光と、カメラに設置される偏光フィルタとを用いて、両者の間で偏光方向が直交する直交偏光状態を作る偏光撮像方法がある。しかしながら、このような直交偏光状態で眼球を撮像すると、撮像画像に角膜の複屈折に起因する像である複屈折パターンが発生し、それが虹彩に重畳し正確な虹彩認証ができないという大きな課題がある。
【０１２０】
図８Ａ〜図８Ｃを参照しつつ、角膜に発生する複屈折パターンを説明する。なお、図８Ａは、角膜における複屈折現象を説明する図であり、直線偏光照明が角膜に入射及び反射する状況を示す概略図である。図８Ｂは、角膜における複屈折現象を説明する図であり、角膜に入射する直線偏光照明を示す模式的な正面図である。図８Ｃは、角膜における複屈折現象を説明する図であり、角膜で反射した直線偏光照明を示す模式的な正面図である。
【０１２１】
非特許文献１によれば、眼球の角膜は、正面から見た場合の極座標系におけるｒ方向及びθ方向でそれぞれ、異なる屈折率を有する。なお、ｒ方向は、角膜の中心からの半径方向であり、θ方向は、角膜の中心の周りの回転方向である。このような角膜の構成物質は、複屈折物質と呼ばれる。複屈折物質に直線偏光が入射すると、直線偏光は、２つの振動方向で振動しつつ透過する。透過の過程における２つの振動方向での光の速度が異なるため、２つの振動方向での振動の位相にズレが生じ、直線偏光が楕円偏光又は円偏光に変化する場合がある。なお、本明細書及び特許請求の範囲において、円偏光及び楕円偏光をまとめて、「円偏光」と表記する場合もあれば、「楕円偏光」と表記する場合もある。よって、「円偏光」及び「楕円偏光」はいずれも、円偏光及び楕円偏光を含み得る。
【０１２２】
図８Ａに示すように、直線偏光Ｌ０は、眼球Ｅの角膜Ｅａの直上つまり正面から角膜Ｅａに入射すると、直線偏光Ｌ０の一部は、空気と角膜Ｅａとの境界反射光となり、直線偏光Ｌ０の残りの光は、透明な角膜Ｅａと房水Ｅｂとを透過し、不透明な虹彩Ｅｃに到達して反射する。当該反射光は再度、房水Ｅｂ及び角膜Ｅａを透過し空気中に出射されカメラ３０に到達する。直線偏光が角膜を２回透過する過程で、直線偏光の２つの振動方向の光の位相が、ｒ方向及びθ方向で互いにずれて楕円偏光に変化してカメラ３０に到達する。なお、直線偏光Ｌ０は、紙面に垂直であり且つ破線を含む水平面に沿う０°の方向の振動面を有する直線偏光である。
【０１２３】
図８Ｂは、正面から角膜Ｅａを見たときの複屈折のＦ（Ｆａｓｔ）軸及びＳ（Ｓｌｏｗ）軸の分布を示す。Ｆａｓｔ軸は、進相軸とも呼ばれ、光の進む速度が速い、つまり位相が進む方位の軸である。Ｓｌｏｗ軸は、遅相軸とも呼ばれ、光の進む速度が遅い、つまり位相が遅れる方位の軸である。Ｆａｓｔ軸及びＳｌｏｗ軸は直交する。図８Ｂでは、ｒ方向の軸がＦａｓｔ軸となり、θ方向の軸がＳｌｏｗ軸となる設定が仮定されている。図８ＢをＸ軸及びＹ軸の直交座標系で考えると、θ＝０°及び１８０°に対応するＸ軸の方向、並びに、θ＝９０°及び２７０°に対応するＹ軸の方向のみが、特別な向きとなる。このとき、Ｆ軸及びＳ軸の一方は、Ｙ軸及びＸ軸の一方に一致し、Ｆ軸及びＳ軸の他方は、Ｙ軸及びＸ軸の他方に一致する。
【０１２４】
図８Ｃは、複屈折の効果を考慮した、角膜Ｅａの正面でのカメラ３０に到達する偏光状態の分布を示す。図８Ｃは、角膜Ｅａに入射する偏光方向０°の直線偏光Ｌ０は、上記Ｆ軸及びＳ軸の分布により、どのような偏光への影響を受けるかを示している。Ｆ軸及びＳ軸の方向がＸ軸及びＹ軸の方向である場合では、２つの振動方向の光で位相ずれが発生しても、直線偏光Ｌ０には位相ずれが発生するだけで、入射した直線偏光Ｌ０は、同じ偏光状態のまま反射し戻ってくる。Ｆ軸及びＳ軸の方向がＸ軸及びＹ軸以外の角度の方向である場合では、直線偏光Ｌ０をＸ軸方向及びＹ軸方向の振動方向に分解した光の間で位相差が発生するため、これらの光の合成結果は楕円偏光を形成する。図８Ｃは、特にＦ軸及びＳ軸の方向がＸ軸及びＹ軸と４５度をなす場合の直線偏光Ｌ０が楕円偏光に変化する様子を示し、この場合、２つの振動方向の光の位相ずれが最大である。
【０１２５】
図９は、上述した角膜の複屈折の効果によってカメラの撮像画像に写し出される複屈折パターンの典型例を示す。具体的には、図９は、角膜における黒十字パターンの発生状態の一例を模式的に示す。偏光状態を観測できる偏光カメラであるカメラ３０によって、光量＝１の照明光の直線偏光が眼球で反射しそのまま直線偏光として戻ってくる像を撮像する場合、照明光及びカメラ３０の偏光フィルタの偏光方向が直交する直交偏光状態では、理想的には、当該偏光フィルタに対応する偏光画素の輝度＝０となる。また、照明光及び偏光フィルタの偏光方向が平行である平行偏光状態では、理想的には、当該偏光フィルタに対応する偏光画素の輝度＝１となる。しかしながら、光量＝１の直線偏光が円偏光として戻ってくる場合、照明光及び偏光フィルタの偏光方向が平行及び直交状態のいずれでも、偏光画素の輝度は１／２となる。このため、角膜を正面から見た２次元平面上で偏光状態の分布が異なる場合、撮像画像では、偏光状態の分布が明暗の輝度パターンとなって現れる。
【０１２６】
具体的には、照明光の偏光方向が０°であり且つカメラ３０の偏光フィルタの偏光方向が９０°である直交偏光状態（以下、「直交偏光状態Ｌ０Ｃ９０」とも表現する）の場合、Ｘ軸及びＹ軸上の画素は、そのまま戻ってきた直線偏光の像を示すため、理想的には、当該画素は、その輝度＝０となり暗くなる。しかしながら、Ｘ軸及びＹ軸に対して斜め方向の軸上の画素は、円偏光の像を示すため、輝度＝１／２の灰色となる。これにより、図９の画像Ｌ０Ｃ９０及び画像Ｌ０Ｃ９０イメージに示されるように、いわゆる「黒十字パターン」が現れる。
【０１２７】
図１０Ａ及び図１０Ｂを参照しつつ、凸レンズを用いた模擬的な角膜を反射板上に配置して観測される黒十字パターンの挙動を説明する。なお、図１０Ａ及び図１０Ｂは、偏光方向に応じて変化する、凸レンズを使った黒十字の発生パターンの一例を示す図である。図１０Ａは、偏光方向９０°である直線偏光Ｌ９０を凸レンズ上方つまり前方から照射したときの、偏光方向０°の偏光画素を有するカメラの撮像画像Ｌ９０Ｃ０を示す。直交偏光画像を観測するケースである撮像画像Ｌ９０Ｃ０では、黒十字パターンの黒い領域は上下左右の位置に現れる。図１０Ｂは、偏光方向１３５°である直線偏光Ｌ１３５を凸レンズ前方から照明したときの、偏光方向４５°の偏光画素を有するカメラの撮像画像Ｌ１３５Ｃ４５を示す。撮像画像Ｌ１３５Ｃ４５も、直交偏光画像を観測するケースに該当し、この場合、黒十字パターンは、図１０Ａに対して４５°回転することがわかる。撮像画像Ｌ９０Ｃ０は、偏光画像合成部１４が合成に用いる偏光画像Ｌ９０Ｃ０に対応し、撮像画像Ｌ１３５Ｃ４５は、偏光画像合成部１４が合成に用いる偏光画像Ｌ１３５Ｃ４５に対応する。
【０１２８】
図１１Ａ及び図１１Ｂは、図１０Ａ及び図１０Ｂに示される黒十字パターンの挙動の原理を用いて、黒十字パターンを解消する偏光画像合成部１４の処理を説明する図である。なお、図１１Ａは、黒十字パターンを除去する偏光画像合成部１４の処理の一例を示す概略図である。図１１Ｂは、偏光画像合成部１４の処理による黒十字パターン除去の原理を示す周期関数の一例を示す図である。図１１Ａに示すように、偏光画像合成部１４は、偏光画像Ｌ９０Ｃ０と偏光画像Ｌ１３５Ｃ４５とを取得する。偏光画像Ｌ９０Ｃ０は、直線偏光Ｌ９０の照明時に撮像された画像のうちの直交偏光状態の偏光画素から生成された画像である。偏光画像Ｌ１３５Ｃ４５は、直線偏光Ｌ１３５の照明時に撮像された画像のうちの直交偏光状態の偏光画素から生成された画像である。
【０１２９】
偏光画像合成部１４は、画像処理により、偏光画像Ｌ９０Ｃ０と偏光画像Ｌ１３５Ｃ４５との間で、画像上における略同じ画素位置、つまり、対応する画素同士の画素値を比較し、画素値がより大きい（明るい）画素を選択する。偏光画像合成部１４は、各画素位置に対して、上記のように選択された画素を適用することによって、新規の１つの画像１００１を合成する、つまり生成する。言い換えれば、偏光画像合成部１４は、対応する画素同士の画素値のうち、より大きい画素値を、合成画像１００１の各画素の画素値に決定する。ここで、合成画像１００１は、認証画像の一例である。
【０１３０】
このような合成画像１００１では、黒十字パターンを解消した虹彩画像を得ることができる。偏光画像Ｌ９０Ｃ０及び偏光画像Ｌ１３５Ｃ４５は、１つの撮像画像からの画像であり、偏光画像Ｌ９０Ｃ０の各画素の位置と、偏光画像Ｌ１３５Ｃ４５の各画素の位置とは、上記撮像画像内において異なる。このため、偏光画像Ｌ９０Ｃ０と偏光画像Ｌ１３５Ｃ４５との間での比較対象の２つの画素は、同じ位置に位置する場合もあれば、互いの位置の近傍に位置する場合もある。例えば、比較対象の２つの画素は、同じ偏光フィルタグループ３０ａｃ内の画素から選ばれてもよい。
【０１３１】
言い換えれば、合成画像１００１を合成画像Ｉｍａｇｅとして表現すると、合成画像Ｉｍａｇｅは、下記の式１のような処理を画素ごとに実施することにより生成できる。なお、下記の式における「ｍａｘ」は、２つの数値の大きいほうを選択する処理を示し、「Ｌ９０Ｃ０」及び「Ｌ１３５Ｃ４５」はそれぞれ、偏光画像Ｌ９０Ｃ０及びＬ１３５Ｃ４５の対応画素の画素値を示す。
【０１３２】
Ｉｍａｇｅ＝ｍａｘ（Ｌ９０Ｃ０，Ｌ１３５Ｃ４５）                  （式１）
【０１３３】
もちろん合成画像Ｉｍａｇｅの合成方法はこれに限らない。例えば、下記の式２のように、偏光画像Ｌ９０Ｃ０及びＬ１３５Ｃ４５の間の対応する画素の画素値に重み係数Ｗをつけて加算することによって、画素値を合成し、合成画像１００１の各画素の画素値に合成値を適用してもよい。
【０１３４】
Ｉｍａｇｅ＝Ｗ×（Ｌ９０Ｃ０）＋（１−Ｗ）×（Ｌ１３５Ｃ４５）    （式２）
【０１３５】
また、下記の式３のように、特にＷ＝１／２として、偏光画像Ｌ９０Ｃ０及びＬ１３５Ｃ４５の間の対応する画素同士の画素値の平均値を計算し、合成画像１００１の各画素の画素値に平均値を適用してもよい。
【０１３６】
Ｉｍａｇｅ＝（Ｌ９０Ｃ０＋Ｌ１３５Ｃ４５）／２                    （式３）
【０１３７】
なお、図１１Ｂのように、振幅Ａ且つ輝度のオフセット値Ｃを有する周期９０°（π／２）の２つの周期関数の位相が、互いに４５°（π／４）ずれている場合、両者の平均値がちょうど周期関数のオフセット値Ｃに相当するという性質から、式３から得られる輝度は、本来の虹彩輝度の推定値として適切であると考えられる。
【０１３８】
２つの周期関数のうち、Ｌ９０Ｃ０で示される周期関数は、偏光画像Ｌ９０Ｃ０に関する周期関数を示す。この周期関数は、照明光の直線偏光Ｌ９０の偏光方向及び偏光画素Ｃ０の偏光方向を、これらの間の９０°の差異を維持しつつ変化させたときの固定点での輝度の変化を示す。Ｌ１３５Ｃ４５で示される周期関数は、偏光画像Ｌ１３５Ｃ４５に関する周期関数を示す。この周期関数は、照明光の直線偏光Ｌ１３５の偏光方向及び偏光画素Ｃ４５の偏光方向を、これらの間の９０°の差異を維持しつつ変化させたときの固定点での輝度の変化を示す。よって、偏光画像Ｌ９０Ｃ０の周期関数と偏光画像Ｌ１３５Ｃ４５の周期関数との位相の差異は、４５°（π／４）である。
【０１３９】
合成画像１００１として得られる虹彩画像は、通常の非偏光で撮像された虹彩画像とほぼ同等である。このため、合成画像１００１と従来の虹彩認証処理とを用いて、虹彩を保有する個人を認証することが可能である。
【０１４０】
［１−３．虹彩認証システム１の動作］
図１２を参照しつつ、虹彩認証システム１の動作を説明する。なお、図１２は、実施の形態１に係る虹彩認証システム１の動作の一例を示すフローチャートある。まず、ステップＳ１において、処理部１０の同期部１１は、照明のタイミングと撮像のタイミングとを同期させつつ、照明装置２０に前方の認証対象者を照明させ、カメラ３０に前方の当該対象者を撮像させる。認証対象者は、照明装置２０及びカメラ３０に正対していてもよく、照明装置２０及びカメラ３０を横切るような正対していなくてもよい。撮像画像は、認証対象者の眼を外側から写した像を含む眼球画像である。同期部１１は、照明装置２０に、直線偏光Ｌ９０と直線偏光Ｌ１３５とを順次照射させ、直線偏光Ｌ９０の照射期間中及び直線偏光Ｌ１３５の照射期間中それぞれにおいて、カメラ３０に撮像させる。カメラ３０は、２種類の撮像画像を記憶部１２に格納する。各撮像画像には、撮像時刻の情報が含まれている。
【０１４１】
次いで、ステップＳ２において、処理部１０の画素選択部１３は、記憶部１２から、各撮像画像を取得し、各撮像画像において、画素を選択する。具体的には、画素選択部１３は、各撮像画像において、カメラ３０の偏光撮像素子３０ａにおける偏光透過軸の方位角０°の第一直線偏光フィルタ３０ａｃａに対応する受光素子で取得された画素である偏光画素Ｃ０を抽出し、抽出された偏光画素Ｃ０を再集積することによって、新しい画像である偏光画像を生成する。また、画素選択部１３は、偏光透過軸の方位角４５°の第二直線偏光フィルタ３０ａｃｂに対応する受光素子で取得された画素である偏光画素Ｃ４５を抽出し、抽出された偏光画素Ｃ４５を再集積することによって新しい偏光画像を生成する。直線偏光Ｌ９０の撮像画像から抽出された偏光画素Ｃ０の偏光画像Ｌ９０Ｃ０と、直線偏光Ｌ９０の撮像画像から抽出された偏光画素Ｃ４５の偏光画像Ｌ９０Ｃ４５と、直線偏光Ｌ１３５の撮像画像から抽出された偏光画素Ｃ０の偏光画像Ｌ１３５Ｃ０と、直線偏光Ｌ１３５の撮像画像から抽出された偏光画素Ｃ４５の偏光画像Ｌ１３５Ｃ４５とが、生成される。各偏光画像には、当該偏光画像を構成する偏光画素の情報が含まれる。
【０１４２】
次いで、ステップＳ３において、処理部１０の偏光画像合成部１４は、同期部１１から取得される直線偏光Ｌ９０及びＬ１３５の照明中での撮像画像の撮像時刻と、画素選択部１３で生成された偏光画像の撮像時刻とを対応付け、各偏光画像の撮像時に照射された直線偏光を特定する。これにより、偏光画像合成部１４は、偏光画像Ｌ９０Ｃ０、Ｌ９０Ｃ４５、Ｌ１３５Ｃ０及びＬ１３５Ｃ４５を特定する。偏光画像合成部１４は、４種類の偏光画像のうちから、２つの偏光画像のペアを抽出する。２つの偏光画像のペアでは、各偏光画像における照明の直線偏光の偏光方向と受光素子の偏光方向とが直交し、且つ、２つの偏光画像の間で照明の直線偏光の偏光方向が異なる。このとき、２つの偏光画像の間で受光素子の偏光方向も異なることになる。よって、偏光画像合成部１４は、偏光画像Ｌ９０Ｃ０及びＬ１３５Ｃ４５のペアを抽出対象に決定する。さらに、偏光画像合成部１４は、互いの撮像時刻が最も近い偏光画像Ｌ９０Ｃ０及びＬ１３５Ｃ４５のペアを抽出する。このような偏光画像Ｌ９０Ｃ０及びＬ１３５Ｃ４５は、連続する直線偏光Ｌ９０及びＬ１３５の照明の際に取得された画像である。
【０１４３】
そして、偏光画像合成部１４は、抽出された偏光画像Ｌ９０Ｃ０及びＬ１３５Ｃ４５を合成する。このとき、偏光画像合成部１４は、偏光画像Ｌ９０Ｃ０及びＬ１３５Ｃ４５の間で、ほぼ同じ画素位置の画素同士のうち、より画素値が大きい画素を抽出する。偏光画像合成部１４は、各画素位置において、より画素値が大きい画素を抽出し、抽出された画素を集積することによって、新しい合成画像１００１を生成する。偏光画像合成部１４は、合成画像１００１を虹彩認証部１１０に出力する。
【０１４４】
次いで、ステップＳ４において、虹彩認証部１１０は、虹彩認証パターンＤＢ１２０に格納された複数の参照画像の情報と、合成画像１００１とを照合することによって、合成画像１００１に対応するユーザＩＤを特定する。例えば、虹彩認証部１１０は、複数の参照画像のうちから、既存の画像照合技術を用いることによって、合成画像１００１との所定以上の類似度を有する参照画像を決定し、決定された参照画像に対応付けられているユーザＩＤを特定する。虹彩認証部１１０は、特定されたユーザＩＤを出力部１３０に出力し、ユーザＩＤが特定されなかった場合、ユーザ認証不可を示す情報を出力部１３０に出力する。
【０１４５】
次いで、ステップＳ５において、出力部１３０は、取得されたユーザＩＤに対応するユーザに関する情報を、表示装置等の外部機器に出力する。ユーザＩＤが特定されなかった場合、出力部１３０は、ユーザ認証不可を示す情報を外部機器に出力する。出力部１３０は、図示しない他のデータベースにアクセスすることによって、ユーザＩＤに対応するユーザに関する情報を取得してもよい。
【０１４６】
［１−４．効果］
以上のように、実施の形態１に係る画像合成装置１００は、２種類の異なる偏光方向の直線偏光を順次、認証対象者の眼球に照射し且つ照射に同期して撮像し、２つの撮像画像を取得する。さらに、画像合成装置１００は、２つの撮像画像から複数の偏光画像を取得する。画像合成装置１００は、複数の偏光画像から、眼鏡及び角膜に発生する正反射に起因する照明光源の鏡面反射の像を除去しつつ、角膜上の複屈折に起因する黒十字パターンも同時に除去し、虹彩認証可能な虹彩画像を生成する。そして、画像合成装置１００によれば、認証対象者が意識することなく虹彩認証が実施される、いわゆるカジュアル虹彩認証においても、画像処理の障害となっていた眼鏡及び角膜上の照明光源の鏡面反射の像と、角膜上に発生する複屈折によるアーティファクトとを同時に除去できる。
【０１４７】
（実施の形態２）
実施の形態２に係る画像合成装置２１００を説明する。実施の形態２に係る画像合成装置２１００は、照明装置２２０及びカメラ２３０の構成で、実施の形態１と異なる。このため、処理部２１０は、同期部を備えない。以下において、実施の形態１と異なる点を中心に説明し、実施の形態１と同様の点の説明を省略する。
【０１４８】
図１３は、実施の形態２に係る虹彩認証システム２の機能的な構成の一例を示すブロック図である。図１４は、実施の形態２に係る虹彩認証システム２の各構成要素による処理の流れの一例を示す概略図である。図１３及び図１４に示すように、虹彩認証システム２は、画像合成装置２１００と、実施の形態１と同様の虹彩認証部１１０、虹彩認証パターンＤＢ１２０及び出力部１３０とを備える。画像合成装置２１００は、処理部２１０と、照明装置２２０と、カメラ２３０とを備える。処理部２１０は、記憶部１２と、画素選択部２１３と、偏光画像合成部２１４とを含む。画像合成装置２１００は、照明装置２２０とカメラ２３０との間に、バンドパスフィルタ４０を備えるが、必須ではない。
【０１４９】
図１４、図１５Ａ及び図１５Ｂに示すように、照明装置２２０は、照明部２２０ａと、偏光部２２０ｂとを含む。なお、図１５Ａは、実施の形態２に係る照明装置２２０の模式的な正面図である。図１５Ｂは、図１５Ａの照明装置２２０の模式的な分解図である。照明部２２０ａは、複数の光源２２０ａｃが表面全体に配置された円環板状の発光部２２０ａｂと、発光部２２０ａｂと偏光部２２０ｂとの間に配置される円環板状の拡散板２２０ａａとを含む。光源２２０ａｃの構成は、実施の形態１の第一光源２０ａａ及び第二光源２０ａｂと同様であってもよい。発光部２２０ａｂは、複数の光源２２０ａｃを同時に発光させるように構成され、それにより、リング状の照明光を拡散板２２０ａａに向かって出射する。照明部２２０ａは、１チャンネルのリング照明を構成する。
【０１５０】
拡散板２２０ａａは、発光部２２０ａｂの複数の光源２２０ａｃ全体を覆うように配置されている。拡散板２２０ａａ及び発光部２２０ａｂは、開口部２２０ｃの周りを囲む。拡散板２２０ａａは、複数の光源２２０ａｃの出射光を拡散しつつ透過させ、偏光部２２０ｂに向かって放出する。拡散板２２０ａａは、光を拡散しつつ透過させる構成を有すれば、いかなる構成であってもよい。拡散板２２０ａａは、ＬＥＤ等の点光源からの出射光を面光源からの出射光のように変換する。拡散板２２０ａａによって拡散された後に偏光部２２０ｂから出射される直線偏光は、眼鏡又は角膜上の鏡面反射の輝点の輝度を低下させることができる。さらに、上記直線偏光は、偏光部２２０ｂの偏光フィルタの消光比が低い場合においても、偏光の鏡面反射の輝点の除去をより効果的に実現できるという効果を奏することが、本発明者の実験によって確認されている。なお、拡散板２２０ａａは、必須でない。
【０１５１】
偏光部２２０ｂは、開口部２２０ｃの周りに円環状に配置された複数の第一偏光フィルタ２２０ｂａ及び第二偏光フィルタ２２０ｂｂを含む。本実施の形態では、２つの第一偏光フィルタ２２０ｂａ及び２つの第二偏光フィルタ２２０ｂｂは、円周に沿って交互に且つ隣接して配置されている。第一偏光フィルタ２２０ｂａは、方位角０°の偏光透過軸を有する偏光フィルタであり、第二偏光フィルタ２２０ｂｂは、方位角９０°の偏光透過軸を有する偏光フィルタである。第一偏光フィルタ２２０ｂａ及び第二偏光フィルタ２２０ｂｂの数量は、１つ以上のいかなる数量であってもよく、第一偏光フィルタ２２０ｂａ及び第二偏光フィルタ２２０ｂｂの配置もいかなる配置であってもよい。
【０１５２】
照明光の出射方向に沿って、発光部２２０ａｂ、拡散板２２０ａａ、及び第１の偏光フィルタとしての第一偏光フィルタ２２０ｂａは、この順に位置している。さらに、照明光の出射方向に沿って、発光部２２０ａｂ、拡散板２２０ａａ、及び第２の偏光フィルタとしての第二偏光フィルタ２２０ｂｂは、この順に位置している。また、円環板状の発光部２２０ａｂにおける光源２２０ａｃが配置される表面に垂直な方向、つまり、発光部２２０ａｂの出射光の光軸方向で照明装置２２０を見たとき、発光部２２０ａｂ、拡散板２２０ａａ、及び偏光部２２０ｂのそれぞれの大きさは、発光部２２０ａｂのサイズ≦拡散板２２０ａａのサイズ≦偏光部２２０ｂのサイズの条件を満たす。言い換えると、発光部２２０ａｂの出射光の光軸方向で照明装置２２０を見たとき、第一偏光フィルタ２２０ｂａ及び第二偏光フィルタ２２０ｂｂは、拡散板２２０ａａの全てを覆うように配置され、同時に、拡散板２２０ａａは、円環板状の発光部２２０ａｂにおける光源２２０ａｃの全てを覆うように配置されている。
【０１５３】
上述のような照明装置２２０は、０°及び９０°の偏光方向の直線偏光が混合した照明光Ｌを、認証対象者の眼球Ｅに照射する。つまり、照明装置２２０は、偏光方向が直交する２種類の直線偏光Ｌ０及びＬ９０を、眼球Ｅに向かっては同時に出射する。眼球Ｅの角膜及び虹彩部分で反射した戻り光は、照明装置２２０の中心の開口部２２０ｃを通過し、カメラ２３０に入射する。バンドパスフィルタ４０が配置されることによって、眼球Ｅからの戻り光は、バンドパスフィルタ４０を通過した後、カメラ２３０に入射する。
【０１５４】
図１４に示すように、カメラ２３０は、偏光撮像素子２３０ａを備える。さらに、図１６Ａ及び図１６Ｂに示すように、偏光撮像素子２３０ａは、実施の形態１と同様に、撮像素子３０ａａと、モザイク偏光フィルタ２３０ａｂとを備える。モザイク偏光フィルタ２３０ａｂでは、複数の偏光フィルタグループ２３０ａｃが、格子状に配列されている。なお、図１６Ａは、実施の形態２に係るカメラ２３０の偏光撮像素子２３０ａの構成を模式的に示す平面図である。図１６Ｂは、図１６Ａのモザイク偏光フィルタ２３０ａｂにおける偏光フィルタのグループ２３０ａｃの１単位を示す平面図である。各偏光フィルタグループ２３０ａｃは、２つの第一直線偏光フィルタ２３０ａｃａと、２つの第二直線偏光フィルタ２３０ａｃｂとを含む。第一直線偏光フィルタ２３０ａｃａ及び第二直線偏光フィルタ２３０ａｃｂは、点Ｐを中心とする回転方向で交互に配置されている。第一直線偏光フィルタ２３０ａｃａは、方位角０°の偏光透過軸を有し、第二直線偏光フィルタ２３０ａｃｂは、方位角９０°の偏光透過軸を有する。
【０１５５】
このような偏光撮像素子２３０ａの受光素子は、方位角０°の偏光透過軸を有するマイクロ偏光画素と、方位角９０°の偏光透過軸を有するマイクロ偏光画素とを形成する。カメラ２３０は、１回の撮像によって、０°及び９０°の２つの直交する偏光方向の偏光画素を含む１つの撮像画像を取得することができる。つまり、カメラ２３０は、異なる偏光方向の偏光画像をほぼ同一視点から同時に取得することができる。
【０１５６】
処理部２１０の画素選択部２１３は、撮像画像において、第一直線偏光フィルタ２３０ａｃａに対応する受光素子で取得された偏光画素Ｃ０を再集積することによって、偏光画素Ｃ０からなる偏光画像を生成する。画素選択部２１３は、撮像画像において、第二直線偏光フィルタ２３０ａｃｂに対応する受光素子で取得された偏光画素Ｃ９０を再集積することによって、偏光画素Ｃ９０からなる偏光画像を生成する。
【０１５７】
処理部２１０の偏光画像合成部２１４は、偏光画素Ｃ０からなる偏光画像と偏光画素Ｃ９０からなる偏光画像とを合成して、新たな合成画像を生成する。
【０１５８】
ここで、図１７及び図１８を参照しつつ、眼球Ｅにおける照明光の反射を説明する。なお、図１７は、角膜Ｅａでの鏡面反射領域の輝点における反射光の偏光状態を示す概略図である。図１８は、虹彩Ｅｃでの拡散反射領域における反射光の偏光状態を示す概略図である。図１７及び図１８では、説明を簡略化するために、本来、同軸上に近い位置に配置されているカメラ２３０及び照明装置２２０が、異なる軸上に配置されて描かれている。
【０１５９】
まず、図１７を参照しつつ、照明装置２２０から出射される直線偏光Ｌ０及びＬ９０が、角膜Ｅａ及び眼鏡表面で鏡面反射する場合を、角膜Ｅａを例にとって説明する。認証対象者の眼球Ｅの表面の角膜Ｅａは、透明でなめらかな表面を有している。このため、例えば、第一偏光フィルタ２２０ｂａから出射される直線偏光Ｌ０は、角膜Ｅａ上の反射輝点ＢＳ１で反射し、このとき、反射の法則に従って、反射輝点ＢＳ１での法線ベクトルＶｎ１に対して、入射角と略同じ反射角で反射してカメラ２３０に入射し、反射光は、直線偏光Ｌ０の偏光状態を維持する。また、第二偏光フィルタ２２０ｂｂから出射される直線偏光Ｌ９０は、角膜Ｅａ上の反射輝点ＢＳ１と異なる反射輝点ＢＳ２で反射し、このとき、反射輝点ＢＳ２での法線ベクトルＶｎ２に対して、入射角と略同じ反射角で反射してカメラ２３０に入射し、反射光は、直線偏光Ｌ９０の偏光状態を維持する。従って、照明装置２２０が２種類の直線偏光Ｌ０及びＬ９０を出射するように構成されている場合、直線偏光Ｌ０及びＬ９０が同時に照射されても、それぞれの反射輝点は、撮像画像上では異なる画素位置にあり、各画素位置において異なる偏光状態を維持する特徴がある。
【０１６０】
次に、図１８を参照しつつ、照明装置２２０から出射される直線偏光Ｌ０及びＬ９０が、虹彩Ｅｃで反射する場合を説明する。虹彩領域は、反射光を拡散させる拡散反射領域を構成する。虹彩領域における反射では、虹彩表面の粗さ及び表層における光の多重散乱による影響が生じる。このため、直線偏光Ｌ０及びＬ９０が有していた偏光状態は、虹彩領域での反射の際に解消され、反射光である反射戻り光Ｌｒは非偏光状態となる。よって、虹彩領域の画像は、非偏光照明で照射されたのと同じ状態であるため、虹彩領域の画像には、複屈折による黒十字パターンは発生しない。
【０１６１】
さらに、偏光画像合成部２１４の処理の詳細を説明する。図１９は、鏡面反射の輝点を除去する偏光画像合成部２１４の処理の一例を示す概略図である。図１９に示すように、画素選択部２１３によって生成された偏光画像Ｃ０では、眼球Ｅの角膜Ｅａ上に、リング状の照明光の鏡面反射像が映り込む。しかしながら、カメラ２３０の特性から、偏光部２２０ｂにおける偏光方向０°の第一偏光フィルタ２２０ｂａから出射された直線偏光Ｌ０に対応するリング部分のみの輝点ＢＳが観測される。そして、偏光方向９０°の第二偏光フィルタ２２０ｂｂから出射された直線偏光Ｌ９０に対応するリング部分の輝点は観測されない。
【０１６２】
同様に、画素選択部２１３によって生成された偏光画像Ｃ９０では、眼球Ｅの角膜Ｅａ上に、第二偏光フィルタ２２０ｂｂから出射された直線偏光Ｌ９０に対応するリング部分のみの輝点ＢＳが観測される。そして、第一偏光フィルタ２２０ｂａから出射された直線偏光Ｌ０に対応するリング部分の輝点は観測されない。
【０１６３】
さらに、角膜Ｅａの背後にあたる虹彩Ｅｃの領域では、複屈折による黒十字パターンは存在しない。
【０１６４】
このため、偏光画像合成部２１４は、同一の撮像画像から生成された２つの偏光画像Ｃ０及びＣ９０を取得すると、画像処理により、偏光画像Ｃ０及びＣ９０間で、画像上における略同じ画素位置の画素同士の画素値を比較し、画素値がより小さい（暗い）画素を選択する。さらに、偏光画像合成部２１４は、各画素位置に対して、上記のように選択された画素を適用することによって、新規の１つの画像２００１を合成する。このような合成画像２００１によって、鏡面反射による輝点が解消された虹彩画像を得ることができる。そして、この虹彩画像は、通常の非偏光照明で撮像された虹彩画像と略同等であるため、従来の虹彩認証処理を用いた個人認証が適用可能である。
【０１６５】
以上のように、実施の形態２に係る画像合成装置２１００は、２種類の直線偏光を同時に認証対象者の眼球に照射し、ワンショットで撮像された撮像画像を取得する。さらに、画像合成装置２１００は、１つの撮像画像から複数の偏光画像を取得する。画像合成装置２１００は、複数の偏光画像から、眼鏡及び角膜に発生する正反射に起因する鏡面反射の像を除去しつつ、角膜上の複屈折に起因するパターンを同時に除去して、虹彩認証可能な虹彩画像を生成する。具体的には、実施の形態２に係る画像合成装置２１００は、空間的に直交する直線偏光照明を混合して照射するため、撮像画像に角膜における複屈折に起因するパターンが発生しない。一方、眼鏡及び角膜からの照明の正反射に起因する鏡面反射の像は、偏光を維持した状態で撮像されるが、画像合成装置２１００によって除去され得る。このように、ワンショットの撮像により、眼鏡及び眼球の角膜からの照明の正反射の像を除去しつつ従来の虹彩パターン認証を実施できるという効果が奏される。
【０１６６】
本実施形態では、偏光照明装置を工夫して直交する２種の分割偏光照明を一度に眼球に投射している。この光は眼球に到達すると角膜では鏡面反射するため異なる偏光分割照明の複数の反射像となり、これらは偏光の性質を維持するため直交する偏光フィルタで反射を除去でき照明の鏡面反射を除去できる第一の利点がある。さらに従来、このように偏光照明と偏光フィルタを直交させると、角膜の複屈折により虹彩上に黒十字アーティファクトが発生し虹彩認証が困難になるという課題があったが、本実施形態では角膜を透過する光は異なる偏光が光路上、角膜上で散乱して混合し非偏光になるため黒十字アーティファクトも発生しないという第二の利点がある。
【０１６７】
さらに本実施形態におけるワンショット撮像の利点につき説明する。無意識な認証を目的とするカジュアル虹彩認証においては、被験者の顔や眼球は常に動いている可能性がある。この状態では、実施の形態１のように２回の照明と撮像を実施し２枚の画像を画素ズレなく取得して画像処理するためには、眼球トラッキングなどを実施して画素の位置合わせが必要となり処理負担が大きくなってしまう。ワンショット撮像により画素ズレの問題もなくなり、装置構成においても照明と撮像の同期装置が不要となる大きな利点がある。
【０１６８】
また、実施の形態２に係る画像合成装置２１００では、偏光画像合成部２１４は、２つの偏光画像上における略同じ画素位置の２つの画素のうちの画素値がより小さい（暗い）画素を、合成画像の画素として決定していたが、これに限定されない。偏光画像合成部２１４は、実施の形態１で説明したように、２つの画素の画素値に重み付けをすることによって、画素値を決定してもよく、２つの画素の画素値の平均値を画素値に決定してもよい。
【０１６９】
（実施の形態３）
実施の形態３に係る画像合成装置３１００を説明する。実施の形態３に係る画像合成装置３１００は、照明装置３２０が円偏光を照射する点で、実施の形態１及び２と異なる。以下において、実施の形態１及び２と異なる点を中心に説明し、実施の形態１又は２と同様の点の説明を省略する。
【０１７０】
ここで、図２０Ａ及び図２０Ｂを参照しつつ、円偏光を眼球に照射する技術を説明する。なお、図２０Ａは、円偏光を用いて虹彩認証する従来技術の虹彩認証装置の一例を図２と同様に示す図である。図２０Ｂは、図２０Ａの光学系の詳細を模式的に示す図である。図２０Ａの従来技術の虹彩認証装置は、カメラ３０Ａと、非偏光の照明装置３２０ａと、円偏光板３５０とを備える。
【０１７１】
図２０Ａは、虹彩認証装置の光学系の重なり状態を示す。認証対象者の眼Ｅから見て、眼Ｅに近い層に円偏光板３５０が配置され、より遠い層にリング状の照明装置３２０ａが配置されている。カメラ３０Ａは、通常のカメラであり、照明装置３２０ａの開口部の内側に配置されている。照明装置３２０ａは、実施の形態２の照明装置２２０の発光部２２０ａｂと同様の構成であり、非偏光の照明光を出射する。円偏光板３５０は、ドーナツ型ではなく、照明装置３２０ａ全体を覆う。このため、照明装置３２０ａから眼球Ｅへの入射光と、眼球Ｅから照明装置３２０ａへの戻り光との両方が、円偏光板３５０を透過する。つまり、照明装置３２０ａからカメラ３０Ａに至る光は、円偏光板３５０を計２回透過する。
【０１７２】
照明装置３２０ａからの非偏光の照明光は、円偏光板３５０によって、１方向、つまり図２０Ａでは左回りに回転する左回り円偏光に変換され、この左回り円偏光は、認証対象者の眼Ｅに照射され、角膜又は眼鏡等で鏡面反射する。そして、この鏡面反射の戻り光は、右回りに回転する右回り円偏光となる。一方、円偏光は、虹彩領域では拡散して反射し、拡散反射光を形成する。このため、拡散反射により円偏光は解消され、非偏光の戻り光が形成される。右回り円偏光及び非偏光の戻り光は、再度円偏光板３５０に入射するが、入射光と逆回転の右回り円偏光は、円偏光板３５０によって遮断される。このため、虹彩の拡散反射像のみが、カメラ３０Ａで撮像される。このように、角膜の複屈折パターンは、円偏光を眼Ｅに照射する場合には発生しない。また、拡散反射光によって得られる虹彩の拡散反射像は、通常の非偏光の照明で撮像された虹彩画像と同等である。このため、虹彩の拡散反射像の画像と従来の虹彩認証処理とを用いて、撮像画像に対応する個人認証することができる。
【０１７３】
しかしながら、上述のような従来技術では、照明装置３２０ａの照明光として右回り円偏光及び左回り円偏光のいずれかを一方を選択する必要がある。このため、左回り及び右回りの円偏光の間で光学特性が変わる性質、いわゆる円２色性を有する生体媒質では、新たな不具合が発生する可能性がある。そこで、本発明者は、左回り及び右回りの円偏光を均等に用いる構成を検討した。左回り及び右回りの円偏光を同時に照明する照明装置を使う実施の形態３に係る画像合成装置３１００を考案した。
【０１７４】
図２１は、実施の形態３の虹彩認証システム３の機能的な構成の一例を示すブロック図である。図２２は、実施の形態３に係る虹彩認証システム３の各構成要素による処理の流れの一例を示す概略図である。図２１及び図２２に示すように、虹彩認証システム３は、画像合成装置３１００と、実施の形態１と同様の虹彩認証部１１０、虹彩認証パターンＤＢ１２０及び出力部１３０とを備える。画像合成装置３１００は、処理部３１０と、照明装置３２０と、カメラ３３０とを備える。処理部３１０は、記憶部１２と、画素選択部３１３と、偏光画像合成部３１４とを含む。画像合成装置３１００は、照明装置３２０とカメラ３３０との間に、バンドパスフィルタ４０を備えるが、必須ではない。
【０１７５】
図２２、図２３Ａ及び図２３Ｂに示すように、照明装置３２０は、照明部３２０ａと、偏光部３２０ｂとを含む。なお、図２３Ａは、実施の形態３に係る照明装置３２０の模式的な正面図である。図２３Ｂは、図２３Ａの照明装置３２０の模式的な分解図である。照明部３２０ａは、実施の形態２の発光部２２０ａｂと同様の構成である。偏光部３２０ｂは、実施の形態２の偏光部２２０ｂと同様の直線偏光フィルタ３２０ｂ１と、４分の１波長板３２０ｂ２（「λ／４板３２０ｂ２」とも呼ぶ）とを含む。λ／４板３２０ｂ２は、入射光における直交する２つの偏光成分にλ／４、つまり９０°の位相差をつけて、入射偏光の状態を変える素子である。直線偏光フィルタ３２０ｂ１は、方位角０°の偏光透過軸を有する２つの第一直線偏光フィルタ３２０ｂ１ａと、方位角９０°の偏光透過軸を有する２つの第二直線偏光フィルタ３２０ｂ１ｂとで構成される。照明光の出射方向に沿って、照明部３２０ａ、直線偏光フィルタ３２０ｂ１及びλ／４板３２０ｂ２の順で配置されている。
【０１７６】
第一直線偏光フィルタ３２０ｂ１ａ及びλ／４板３２０ｂ２は、照明部３２０ａからの照明光を右回りの円偏光ＲＣに変換する。第二直線偏光フィルタ３２０ｂ１ｂ及びλ／４板３２０ｂ２は、照明部３２０ａからの照明光を左回りの円偏光ＬＣに変換する。このため、図２３Ａに示すように、偏光部３２０ｂは、２つの第一直線偏光フィルタ３２０ｂ１ａに対応する位置に、右回りの回転方向の偏光透過軸を有し且つ右回り円偏光ＲＣを形成するフィルタである２つの第一偏光フィルタ３２０ｂａを有する。偏光部３２０ｂは、２つの第二直線偏光フィルタ３２０ｂ１ｂに対応する位置に、左回りの回転方向の偏光透過軸を有し且つ左回り円偏光ＬＣを形成するフィルタである２つの第二偏光フィルタ３２０ｂｂを有する。第一偏光フィルタ３２０ｂａ及び第二偏光フィルタ３２０ｂｂは、円環状の偏光部３２０ｂの周方向に交互に配置されている。なお、第一偏光フィルタ３２０ｂａ及び第二偏光フィルタ３２０ｂｂの数量は、１つ以上のいかなる数量であってもよく、第一偏光フィルタ３２０ｂａ及び第二偏光フィルタ３２０ｂｂの配置もいかなる配置であってもよい。
【０１７７】
上述のような照明装置３２０は、実施の形態２の照明装置２２０に対して、照明装置２２０と被写体である認証対象者との間に、λ／４板３２０ｂ２を配置することによっても実現することができる。
【０１７８】
照明装置３２０は、実施の形態２の照明装置２２０と同様に、１チャンネルのリング照明を構成する。このような照明装置３２０は、互いに逆向きの左回り円偏光ＬＣ及び右回り円偏光ＲＣを同時に出射し、左回り円偏光ＬＣ及び右回り円偏光ＲＣが混合した照明光Ｌを、認証対象者の眼球Ｅに照射する。眼球Ｅの角膜及び虹彩部分で反射した戻り光は、照明装置３２０の中心の開口部３２０ｃを通過し、さらに、バンドパスフィルタ４０を透過し、カメラ３３０に入射する。
【０１７９】
図２２に示すように、カメラ３３０は、偏光撮像素子３３０ａを備える。さらに、図２４Ａ及び図２４Ｂに示すように、偏光撮像素子３３０ａは、実施の形態１と同様に、撮像素子３０ａａと、モザイク偏光フィルタ３３０ａｂとを備える。モザイク偏光フィルタ３３０ａｂでは、複数の偏光フィルタグループ３３０ａｃが、格子状に配列されている。なお、図２４Ａは、実施の形態３に係るカメラ３３０の偏光撮像素子３３０ａの構成を模式的に示す平面図である。図２４Ｂは、図２４Ａのモザイク偏光フィルタ３３０ａｂにおける偏光フィルタのグループ３３０ａｃの１単位を示す平面図である。
【０１８０】
各偏光フィルタグループ３３０ａｃは、２つの右回り円偏光フィルタ３３０ａｃａと、２つの左回り円偏光フィルタ３３０ａｃｂとを含む。右回り円偏光フィルタ３３０ａｃａ及び左回り円偏光フィルタ３３０ａｃｂの例は、円偏光板又は円偏光フィルムである。右回り円偏光フィルタ３３０ａｃａ及び左回り円偏光フィルタ３３０ａｃｂは、点Ｐを中心とする回転方向で交互に配置されている。右回り円偏光フィルタ３３０ａｃａは、右回りの回転方向の偏光透過軸を有し、例えば、方位角０°の偏光透過軸を有する直線偏光フィルタとλ／４板とが積層されることによって形成される。左回り円偏光フィルタ３３０ａｃｂは、左回りの回転方向の偏光透過軸を有し、例えば、方位角９０°の偏光透過軸を有する直線偏光フィルタとλ／４板とが積層されることによって形成される。
【０１８１】
このような偏光撮像素子３３０ａの受光素子は、右回り円偏光の回転方向に偏光透過軸を有するマイクロ偏光画素と、左回り円偏光の回転方向に偏光透過軸を有するマイクロ偏光画素とを形成する。カメラ３３０は、１回の撮像によって、右回り及び左回りの偏光方向の偏光画素を含む１つの撮像画像を取得することができる。つまり、カメラ３３０は、異なる偏光方向の偏光画像をほぼ同一視点から同時に取得することできる。
【０１８２】
上述のようなカメラ３３０は、実施の形態２のカメラ２３０に対して、カメラ２３０と照明装置２２０との間において、カメラ２３０の対物レンズ２３０ｂを覆うようにλ／４板を配置することによっても実現することができる。例えば、図２５に示すように、偏光撮像素子３３０ａの偏光フィルタグループ３３０ａｃに対応する、右回り及び左回りの円偏光の受光素子からなるモザイクパターンは、実施の形態２の偏光撮像素子２３０ａに改良を加える必要はなく、実現可能である。なお、図２５は、実施の形態３に係る偏光撮像素子の変形例の構成を模式的に示す図である。具体的には、０°及び９０°の直線偏光を含む偏光撮像素子２３０ａの偏光フィルタグループ２３０ａｃの受光素子に対して、偏光撮像素子２３０ａと被写体との間に、λ／４板３６０を配置することによって、偏光フィルタグループ３３０ａｃに対応するモザイクパターンは実現可能である。このとき、λ／４板３６０は、そのＦ軸（Ｆａｓｔ軸）及びＳ軸（Ｓｌｏｗ）が、偏光フィルタグループ２３０ａｃの０°の偏光透過軸に対して４５°の角度をなすように、配置される。
【０１８３】
処理部３１０の画素選択部３１３は、撮像画像において、右回り円偏光フィルタ３３０ａｃａに対応する受光素子で取得された偏光画素ＣＲを再集積することによって、偏光画素ＣＲからなる偏光画像を生成する。画素選択部３１３は、撮像画像において、左回り円偏光フィルタ３３０ａｃｂに対応する受光素子で取得された偏光画素ＣＬを再集積することによって、偏光画素ＣＬからなる偏光画像を生成する。つまり、１つの撮像画像から、偏光方向が同一の回転方向である偏光画素どうしが集積処理され、２つの偏光画像が生成される。
【０１８４】
処理部３１０の偏光画像合成部３１４は、偏光画素ＣＲからなる偏光画像と偏光画素ＣＬからなる偏光画像とを合成して、新たな合成画像を生成する。図２６に示すように、偏光画像合成部３１４は、合成処理することによって、角膜又は眼鏡における鏡面反射の像を画像から除去する。なお、図２６は、鏡面反射の輝点を除去する偏光画像合成部３１４の処理の一例を示す概略図である。画素選択部３１３によって生成された偏光画像ＣＲでは、眼球の角膜上にリング状の照明光の鏡面反射像が映り込む。しかしながら、カメラ３３０の特性から、偏光部３２０ｂの第一偏光フィルタ３２０ｂａから出射された右回り円偏光ＲＣに対応するリング部分のみの輝点ＢＳが観測される、そして、第二偏光フィルタ３２０ｂｂから出射された左回り円偏光ＬＣに対応するリング部分の輝点は観測されない。
【０１８５】
同様に、画素選択部３１３によって生成された偏光画像ＣＬでは、眼球の角膜上に、第二偏光フィルタ３２０ｂｂから出射された左回り円偏光ＬＣに対応するリング部分のみの輝点ＢＳが観測される。そして、第一偏光フィルタ３２０ｂａから出射された右回り円偏光ＲＣに対応するリング部分の輝点は観測されない。
【０１８６】
さらに、角膜の背後にある虹彩の領域では、照明装置３２０から出射された右回り円偏光及び左回り円偏光は、互いに加算されることによって非偏光となり、眼球に入射する。このため、虹彩領域では、複屈折による黒十字パターンは存在しない。
【０１８７】
そこで、偏光画像合成部３１４は、同一の撮像画像から生成された２つの偏光画像ＣＲ及びＣＬを取得すると、画像処理により、偏光画像ＣＲ及びＣＬの間で、画像上における略同じ画素位置の画素同士の画素値を比較し、画素値がより小さい（暗い）画素を選択する。さらに、偏光画像合成部３１４は、各画素位置に対して、上記のように選択された画素を適用することによって、新規の１つの画像３００１を合成する。このような合成画像３００１によって、鏡面反射による輝点が解消された虹彩画像を得ることができる。そして、この虹彩画像は、通常の非偏光照明を用いて撮像された虹彩画像と略同等であるため、従来の虹彩認証処理を用いた個人認証が適用可能である。
【０１８８】
以上のように、実施の形態３に係る画像合成装置３１００は、２種類の円偏光を同時に認証対象者の眼球に照射し、ワンショットで撮像された撮像画像を取得する。さらに、画像合成装置３１００は、１つの撮像画像から複数の偏光画像を取得する。画像合成装置３１００は、複数の偏光画像から、眼鏡及び角膜に発生する鏡面反射の像を除去しつつ、角膜上の複屈折によるパターンを同時に除去して、虹彩認証可能な虹彩画像を生成する。具体的には、実施の形態３に係る画像合成装置３１００は、円偏光照明を照射して撮像するため、撮像画像において、角膜における複屈折に起因するパターンが発生しない。一方、眼鏡及び角膜からの照明の正反射の像は、円偏光を維持した状態で撮像されるため、画像合成装置３１００によって除去され得る。このように、ワンショットの撮像により、眼鏡及び眼球の角膜からの照明の正反射の像を除去しつつ従来の虹彩パターン認証を実施できるという効果が奏される。
【０１８９】
また、実施の形態３に係る画像合成装置３１００では、偏光画像合成部３１４は、２つの偏光画像上における略同じ画素位置の２つの画素のうちの画素値がより小さい（暗い）画素を、合成画像の画素として決定していたが、これに限定されない。偏光画像合成部３１４は、実施の形態１で説明したように、２つの画素の画素値に重み付けをすることによって、画素値を決定してもよく、２つの画素の画素値の平均値を画素値に決定してもよい。
【０１９０】
（実施の形態４）
実施の形態４に係る画像合成装置４１００を説明する。実施の形態１及び２では、照明装置は、異なる２つの偏光方向の直線偏光を照射するが、実施の形態４に係る画像合成装置４１００では、照明装置４２０が異なる４つの偏光方向の直線偏光を照射する。以下において、実施の形態１〜３と異なる点を中心に説明し、実施の形態１〜３と同様の点の説明を省略する。
【０１９１】
図２７は、実施の形態４に係る虹彩認証システム４の機能的な構成の一例を示すブロック図である。図２８は、実施の形態４に係る虹彩認証システム４の各構成要素による処理の流れの一例を示す概略図である。図２７及び図２８に示すように、虹彩認証システム４は、画像合成装置４１００と、実施の形態１と同様の虹彩認証部１１０、虹彩認証パターンＤＢ１２０及び出力部１３０とを備える。画像合成装置４１００は、処理部４１０と、照明装置４２０と、カメラ４３０とを備える。処理部４１０は、記憶部１２と、画素選択部４１３と、偏光画像合成部４１４とを含む。画像合成装置４１００は、実施の形態１と同様にバンドパスフィルタ４０を備えるが、必須ではない。
【０１９２】
図２８及び図２９に示すように、照明装置４２０は、照明部４２０ａと、偏光部４２０ｂとを含む。なお、図２９は、実施の形態４に係る照明装置４２０の模式的な正面図である。照明部４２０ａは、実施の形態２の照明装置２２０の発光部２２０ａｂと同様の構成である。照明部４２０ａは、１チャンネルのリング照明を構成する。
【０１９３】
偏光部４２０ｂは、開口部４２０ｃの周りに円環状に配置された第一偏光フィルタ４２０ｂａ、第二偏光フィルタ４２０ｂｂ、第三偏光フィルタ４２０ｂｃ及び第四偏光フィルタ４２０ｂｄを含む。本実施の形態では、第一偏光フィルタ４２０ｂａ、第二偏光フィルタ４２０ｂｂ、第三偏光フィルタ４２０ｂｃ及び第四偏光フィルタ４２０ｂｄは、円周に沿ってこの順に並ぶ。第一偏光フィルタ４２０ｂａは、方位角０°の偏光透過軸を有する。第二偏光フィルタ４２０ｂｂは、方位角４５°の偏光透過軸を有する。第三偏光フィルタ４２０ｂｃは、方位角９０°の偏光透過軸を有する。第四偏光フィルタ４２０ｂｄは、方位角１３５°の偏光透過軸を有する。なお、各偏光部の数量は、１つ以上のいかなる数量であってもよく、各偏光部の配置もいかなる配置であってもよい。なお、方位角は、カメラを基準にしたカメラ座標系で定義されているため、照明装置４２０を正面から見る場合、方位角４５°及び１３５°の矢印の左右の向きが逆になる。
【０１９４】
上述のような照明装置４２０は、偏光方向０°、４５°、９０°及び１３５°の直線偏光を同時に出射し、これらの直線偏光が混合した照明光Ｌを、認証対象者の眼球Ｅに照射する。眼球Ｅの角膜及び虹彩部分で反射した戻り光は、照明装置４２０の中心の開口部４２０ｃを通過し、さらに、バンドパスフィルタ４０を透過し、カメラ４３０に入射する。
【０１９５】
図２８に示すように、カメラ４３０は、偏光撮像素子４３０ａを備える。さらに、図３０Ａ及び図３０Ｂに示すように、偏光撮像素子４３０ａは、実施の形態１と同様に、撮像素子３０ａａと、モザイク偏光フィルタ４３０ａｂとを備える。モザイク偏光フィルタ４３０ａｂでは、複数の偏光フィルタグループ４３０ａｃが、格子状に配列されている。なお、図３０Ａは、実施の形態４に係るカメラ４３０の偏光撮像素子４３０ａの構成を模式的に示す平面図である。図３０Ｂは、図３０Ａのモザイク偏光フィルタ４３０ａｂにおける偏光フィルタのグループ４３０ａｃの１単位を示す平面図である。
【０１９６】
各偏光フィルタグループ４３０ａｃは、第一直線偏光フィルタ４３０ａｃａと、第二直線偏光フィルタ４３０ａｃｂと、第三直線偏光フィルタ４３０ａｃｃと、第四直線偏光フィルタ４３０ａｃｄとを含む。第一直線偏光フィルタ４３０ａｃａ、第二直線偏光フィルタ４３０ａｃｂ、第三直線偏光フィルタ４３０ａｃｃ及び第四直線偏光フィルタ４３０ａｃｄは、点Ｐを中心とする右回りの回転方向でこの順で配置されている。第一直線偏光フィルタ４３０ａｃａは、方位角０°の偏光透過軸を有する。第二直線偏光フィルタ４３０ａｃｂは、方位角４５°の偏光透過軸を有する。第三直線偏光フィルタ４３０ａｃｃは、方位角９０°の偏光透過軸を有する。第四直線偏光フィルタ４３０ａｃｄは、方位角１３５°の偏光透過軸を有する。
【０１９７】
このような偏光撮像素子４３０ａの受光素子は、方位角０°、４５°、９０°及び１３５°それぞれの偏光透過軸を有するマイクロ偏光画素を形成する。カメラ４３０は、１回の撮像によって、０°、４５°、９０°及び１３５°の４５°毎異なる４つの偏光方向の偏光画素Ｃ０、Ｃ４５、Ｃ９０及びＣ１３５を含む１つの撮像画像を取得することができる。つまり、カメラ４３０は、異なる偏光方向の偏光画像をほぼ同一視点から同時に取得することできる。
【０１９８】
処理部４１０の画素選択部４１３は、撮像画像において、第一直線偏光フィルタ４３０ａｃａに対応する受光素子で取得された偏光画素Ｃ０を再集積することによって、偏光画素Ｃ０からなる偏光画像を生成する。画素選択部４１３は、撮像画像において、第二直線偏光フィルタ４３０ａｃｂに対応する受光素子で取得された偏光画素Ｃ４５を再集積することによって、偏光画素Ｃ４５からなる偏光画像を生成する。画素選択部４１３は、撮像画像において、第三直線偏光フィルタ４３０ａｃｃに対応する受光素子で取得された偏光画素Ｃ９０を再集積することによって、偏光画素Ｃ９０からなる偏光画像を生成する。画素選択部４１３は、撮像画像において、第四直線偏光フィルタ４３０ａｃｄに対応する受光素子で取得された偏光画素Ｃ１３５を再集積することによって、偏光画素Ｃ１３５からなる偏光画像を生成する。
【０１９９】
処理部４１０の偏光画像合成部４１４は、偏光画素Ｃ０からなる偏光画像と、偏光画素Ｃ４５からなる偏光画像と、偏光画素Ｃ９０からなる偏光画像と、偏光画素Ｃ１３５からなる偏光画像とを合成して、新たな合成画像を生成する。図３１に示すように、偏光画像合成部４１４は、合成処理することによって、角膜又は眼鏡における鏡面反射の像を画像から除去する。なお、図３１は、鏡面反射の輝点を除去する偏光画像合成部４１４の処理の一例を示す概略図である。
【０２００】
画素選択部２１３によって生成された偏光画像Ｃ０では、眼球Ｅの角膜上に、リング状の照明光の鏡面反射像が映り込む。しかしながら、カメラ４３０の特性から、偏光部４２０ｂにおける偏光方向０°の第一偏光フィルタ４２０ｂａから出射された直線偏光Ｌ０に対応するリング部分は、非常に強い輝点ＢＳｓとして観測される。第二直線偏光フィルタ４３０ａｃｂ及び第四直線偏光フィルタ４３０ａｃｄそれぞれから出射された直線偏光Ｌ４５及びＬ１３５に対応するリング部分は、弱い輝点ＢＳｗとして観測される。第三直線偏光フィルタ４３０ａｃｃから出射された直線偏光Ｌ９０に対応するリング部分は観測されない。
【０２０１】
同様に、偏光画像Ｃ４５では、眼球Ｅの角膜上において、直線偏光Ｌ４５に対応するリング部分は、非常に強い輝点ＢＳｓとして観測される。直線偏光Ｌ０及びＬ９０に対応する部分は、弱い輝点ＢＳｗとして観測される。直線偏光Ｌ１３５に対応するリング部分は観測されない。
【０２０２】
同様に、偏光画像Ｃ９０では、眼球Ｅの角膜上において、直線偏光Ｌ９０に対応するリング部分は、非常に強い輝点ＢＳｓとして観測される。直線偏光Ｌ４５及びＬ１３５に対応するリング部分は、弱い輝点ＢＳｗとして観測される。直線偏光Ｌ０に対応するリング部分は観測されない。
【０２０３】
同様に、Ｃ１３５画像では、眼球Ｅの角膜上において、直線偏光Ｌ１３５に対応するリング部分は、非常に強い輝点ＢＳｓとして観測される。直線偏光Ｌ０及びＬ９０に対応するリング部分は、弱い輝点ＢＳｗとして観測される。直線偏光Ｌ４５に対応するリング部分は観測されない。
【０２０４】
また、角膜及びメガネの背後にある虹彩領域には、０°、４５°、９０°及び１３５°という４５°毎の均等な間隔の４つ偏光方向の直線偏光Ｌ０、Ｌ４５、Ｌ９０及びＬ１３５が入射する。しかしながら、直線偏光Ｌ０、Ｌ４５、Ｌ９０及びＬ１３５は、互いを加算することによって非偏光を形成し、非偏光として虹彩領域入射する。このため、虹彩領域の画像には、複屈折による黒十字パターンは存在しない。
【０２０５】
そこで、偏光画像合成部４１４は、同一の撮像画像から生成された４つの偏光画像Ｃ０、Ｃ４５、Ｃ９０及びＣ１３５を取得すると、画像処理により、４つの偏光画像Ｃ０、Ｃ４５、Ｃ９０及びＣ１３５間で、画像上における略同じ画素位置の画素同士の画素値を比較し、画素値が最も小さい（暗い）画素を選択する。さらに、偏光画像合成部４１４は、各画素位置に対して、上記のように選択された画素を適用することによって、新規の１つの画像４００１を合成する。このような合成画像４００１によって、鏡面反射による輝点は解消された虹彩画像を得ることができる。そして、この虹彩画像は、通常の非偏光照明を用いて撮像された虹彩画像と略同等であるため、従来の虹彩認証処理を用いた個人認証が適用可能である。
【０２０６】
以上のように、実施の形態４に係る画像合成装置４１００は、４種類の直線偏光を同時に認証対象者の眼球に照射し、ワンショットで撮像された撮像画像を取得する。さらに、画像合成装置４１００は、１つの撮像画像から複数の偏光画像を取得する。画像合成装置４１００は、複数の偏光画像から、眼鏡及び角膜に発生する鏡面反射の像を除去しつつ、角膜上の複屈折によるパターンを同時に除去して、虹彩認証可能な虹彩画像を生成する。また、本実施の形態では、実施の形態２よりも、同一の撮像画像から生成される偏光画像の数量が多く、各偏光画像における偏光方向は異なる。このように、合成する偏光画像の数量が多くなると、全ての偏光画像における同じ位置に角膜の鏡面反射の像が現れる確率が低くなる。よって、全ての偏光画像上における略同じ画素位置の画素のうちの画素値が最も小さい（暗い）画素は、虹彩を的確に写しうる。
【０２０７】
また、実施の形態４に係る画像合成装置４１００では、偏光画像合成部４１４は、４つの偏光画像上における略同じ画素位置の４つの画素のうちの画素値が最も小さい（暗い）画素を、合成画像の画素として決定していたが、これに限定されない。偏光画像合成部４１４は、実施の形態１で説明したように、４つの画素の画素値に重み付けをすることによって、画素値を決定してもよく、４つの画素の画素値の平均値を画素値に決定してもよい。
【０２０８】
また、実施の形態４に係る画像合成装置４１００では、照明装置４２０によって、異なる４つの偏光方向の直線偏光が照射され、カメラ４３０の偏光撮像素子４３０ａは、異なる４つの偏光方向の偏光画素を含む画像を生成したが、これに限定されない。照明装置４２０は、少なくとも３つの異なる偏光方向の直線偏光を照射すればよく、偏光撮像素子４３０ａは、少なくとも３つの異なる偏光方向の偏光画素を含む画像を生成すればよい。直線偏光の偏光方向の数量と偏光画素の偏光方向の数量とは、同じであることが好ましい。
【０２０９】
［その他］
以上、１つ又は複数の態様に係る画像合成装置等について、実施の形態及び変形例に基づいて説明したが、本開示は、これらの実施の形態及び変形例に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態及び変形例に施したものや、異なる実施の形態及び変形例における構成要素を組み合わせて構築される形態も、１つ又は複数の態様の範囲内に含まれてもよい。
【０２１０】
例えば、実施の形態１〜４において、照明装置は全てリング状であるとして説明しているが、照明装置は必ずしも、リング状の構成とする必要はない。照明装置は、偏光方向が異なる少なくとも２つの偏光を、同時に又は一方ずつ出射できる構成であればよい。例えば、照明装置は、カメラの光軸から非対称にずれた角度の位置に配置された異なる２種類の照明装置で構成されてもよい。そして、２種類の照明装置は、順次又は同時に、認証対象者の眼球を照射してもよい。
【０２１１】
また、実施の形態２において、照明装置２２０は、照明部２２０ａの発光部２２０ａｂと偏光部２２０ｂとの間に、拡散板２２０ａａを有していたが、拡散板２２０ａａは、実施の形態１、３及び４の照明装置にも、実施の形態２と同様に配置されてもよい。
【０２１２】
例えば、カジュアル虹彩認証では、認証対象者から一定の距離を維持した状態で、認証対象者が撮像される。リング照明を使用した場合、照明光の光軸とカメラの光軸とが一致すると、網膜面からの反射光は、入射光の光路を戻る。これにより、いわゆる「赤目」現象が発生し、瞳孔が黒くならずに虹彩よりも高い輝度で明るく撮像されてしまう。これの現象を防止するためには、照明光の光軸をカメラの光軸から若干の角度ずらすことも有効である。この場合、照明光が角膜の正面から角膜に入射しなくなり、角膜曲面の透明媒質への照明光の入射角が変わるため、複屈折による黒十字パターン形状は、若干変化するが、画像合成処理装置の処理の実施に問題はない。
【０２１３】
また、実施の形態４において、照明装置４２０は、異なる４つの偏光方向の直線偏光を出射し、カメラ４３０の偏光撮像素子４３０ａは、異なる方向の偏光透過軸を有する４つの直線偏光フィルタ４３０ａｃａ、４３０ａｃｂ、４３０ａｃｃ及び４３０ａｃｄを介して画像を取得していたが、これに限定されない。照明装置は、偏光方向が異なる少なくとも３つの直線偏光を出射すればよく、偏光撮像素子は、偏光透過軸の方向が異なる少なくとも３つの直線偏光フィルタを介して画像を取得すればよい。
【０２１４】
また、実施の形態及び変形例において、照明装置の偏光透過軸の方位角は、４５°単位で設定され、偏光フィルタの偏光透過軸の方位角は、４５°単位で設定されていたが、これに限定されない。それぞれの偏光透過軸の方位角は、いかなる単位の角度で設定されてもよい。なお、既存の偏光板の偏光透過軸の方位角は、４５°単位で設定されているため、偏光透過軸の方位角を４５°単位で設定すると、既存の偏光板をそのまま利用できる。よって、コストの低減が可能である。
【０２１５】
また、上述したように、本開示の技術は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ等の不揮発性の記録媒体を含む。
【０２１６】
例えば、上記実施の形態及び変形例に係る画像合成装置等に含まれる各処理部は典型的には集積回路であるＬＳＩ（Large Scale Integration：大規模集積回路）として実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
【０２１７】
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０２１８】
なお、上記実施の形態及び変形例において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵなどのプロセッサ等のプログラム実行部が、ハードディスク又は半導体メモリ等の記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【０２１９】
また、上記構成要素の一部又は全部は、脱着可能なＩＣ（Integrated Circuit）カード又は単体のモジュールから構成されてもよい。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等から構成されるコンピュータシステムである。ＩＣカード又はモジュールは、上記のＬＳＩ又はシステムＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカード又はモジュールは、その機能を達成する。これらＩＣカード及びモジュールは、耐タンパ性を有するとしてもよい。
【０２２０】
本開示の画像合成方法等は、ＭＰＵ（Micro Processing Unit）及びＣＰＵ等のプロセッサ、ＬＳＩ等の回路、ＩＣカード又は単体のモジュール等によって、実現されてもよい。
【０２２１】
さらに、本開示の技術は、ソフトウェアプログラム又はソフトウェアプログラムからなるデジタル信号によって実現されてもよく、プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【０２２２】
また、上記で用いた序数、数量等の数字は全て、本開示の技術を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。また、構成要素間の接続関係は、本開示の技術を具体的に説明するために例示するものであり、本開示の機能を実現する接続関係はこれに限定されない。
【０２２３】
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを１つの機能ブロックとして実現したり、１つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
【産業上の利用可能性】
【０２２４】
本開示の技術は、虹彩を含む画像から虹彩認証に有用な虹彩の画像を生成する技術に広く適用することができる。例えば、本開示の技術は、撮像時に認証対象者の協力を得られにくい車載カメラにおけるドライバーモニタリング、サイネージ又は監視カメラにおける個人特定などの分野における虹彩認証技術に幅広く利用可能である。
【符号の説明】
【０２２５】
１，２，３，４  虹彩認証システム
１０，２１０，３１０，４１０  処理部（制御回路）
１１  同期部
１２  記憶部
１３，２１３，３１３，４１３  画素選択部
１４，２１４，３１４，４１４  変億画像合成部
２０，２２０，３２０，４２０  照明装置
３０，２３０，３３０，４３０  カメラ
１００，２１００，３１００，４１００  画像合成装置
１１０  虹彩認証部
１２０  虹彩認証パターンデータベース
【図１】
2019153284.tif 000003
【図２】
2019153284.tif 000004
【図３】
2019153284.tif 000005
【図４Ａ】
2019153284.tif 000006
【図４Ｂ】
2019153284.tif 000007
【図５Ａ】
2019153284.tif 000008
【図５Ｂ】
2019153284.tif 000009
【図５Ｃ】
2019153284.tif 000010
【図６】
2019153284.tif 000011
【図７Ａ】
2019153284.tif 000012
【図７Ｂ】
2019153284.tif 000013
【図７Ｃ】
2019153284.tif 000014
【図８Ａ】
2019153284.tif 000015
【図８Ｂ】
2019153284.tif 000016
【図８Ｃ】
2019153284.tif 000017
【図９】
2019153284.tif 000018
【図１０Ａ】
2019153284.tif 000019
【図１０Ｂ】
2019153284.tif 000020
【図１１Ａ】
2019153284.tif 000021
【図１１Ｂ】
2019153284.tif 000022
【図１２】
2019153284.tif 000023
【図１３】
2019153284.tif 000024
【図１４】
2019153284.tif 000025
【図１５Ａ】
2019153284.tif 000026
【図１５Ｂ】
2019153284.tif 000027
【図１６Ａ】
2019153284.tif 000028
【図１６Ｂ】
2019153284.tif 000029
【図１７】
2019153284.tif 000030
【図１８】
2019153284.tif 000031
【図１９】
2019153284.tif 000032
【図２０Ａ】
2019153284.tif 000033
【図２０Ｂ】
2019153284.tif 000034
【図２１】
2019153284.tif 000035
【図２２】
2019153284.tif 000036
【図２３Ａ】
2019153284.tif 000037
【図２３Ｂ】
2019153284.tif 000038
【図２４Ａ】
2019153284.tif 000039
【図２４Ｂ】
2019153284.tif 000040
【図２５】
2019153284.tif 000041
【図２６】
2019153284.tif 000042
【図２７】
2019153284.tif 000043
【図２８】
2019153284.tif 000044
【図２９】
2019153284.tif 000045
【図３０Ａ】
2019153284.tif 000046
【図３０Ｂ】
2019153284.tif 000047
【図３１】
2019153284.tif 000048