産経新聞社賞

虹彩認証技術の研究開発

1
2
3

日本電気株式会社
日本電気株式会社
日本電気株式会社

バイオメトリクス研究所
生体認証・映像分析統括部
事業開発統括部

戸泉 貴裕 1 庄司 悠歩 1 荻野 有加 1
羽根 秀宜 2 大網 亮磨 3 伊藤 厚史 1

小林 佑也 2
塚田 正人 1

1 ．緒

言

近年、生体認証技術の高精度化により、社会の様々なシーンに生体認証が浸透してきている。生体認証は一人ひとり固有の身体的特徴を鍵として認証する。このため、生体認証はIC カードや鍵などと比べてなりすましや偽造が困難であり、より確実なセキュリティを必要とする場面での本人確認に適している。また、物理的に何かを持ち歩く必要がないため、持ち忘れや紛失することもない。
生体認証ではさらに複数の身体的特徴を組み合わせて認証するマルチモーダル生体認証を活用することで、鍵の数を増やし、より高いセキュリティを実現できる。身体的特徴には、顔、虹彩、指紋、静脈、声、耳音響など、様々な鍵として認証可能な要素が存在する。マルチモーダル生体認証では、このうちの複数の身体的特徴を組み合わせることで、より高精度かつ安定した個人認証を実現できる。一方で、身体的特徴の組み合わせによっては複数のセンサや認証手段が必要になり、また、場合によっては手袋等を外す必要があるなどのユーザビリティにおける課題が生じることがある。このような身体的特徴の中で、顔と虹彩は同じ顔部分の画像を用いるため、上記のような課題が生じず、マルチモーダル生体認証の相性が非常によい。
顔と虹彩のうち、顔の認証技術は広く研究が進んでおり、様々な技術やデータセットが公開されている。一方で虹彩の認証技術はまだ発展途上であり、特に識別性能を向上するために有効な深層学習を用いる部分に多くの改善の余地が残されている。このような理由から
我々は虹彩認証に着目した研究開発を行ってきた。虹彩認証は人の目の虹彩部分の模様を用いて個人を識別する技術である。虹彩はその撮影の困難さから他人の虹彩情報を盗み取ることが非常に難しいため、生体認証の中でも特に高いセキュリティを実現できる。人の虹彩部分の模様は生後に形成され、幼児期に形成が終わると生涯不変となり、この模様から左右の目や双子を識別できる。一方で、その識別性能は虹彩を撮影した画像の品質に強く依存する
ため、ピンボケや目の表面における照明反射などが含まれる低品質な画像に対しては、虹彩円の検出がうまくいかず識別性能が大きく低下する。そのため、低品質な画像でも頑健に虹彩円を検出できる虹彩検出器を開発することが重要な課題となる。
本稿では、低品質な虹彩画像に頑健な、深層学習を用いた虹彩円の検出技術について述べる。従来技術と比較して、提案法では高速かつ高精度に虹彩円を検出し、さらに虹彩認証の性能を向上できることを示す。さらに米国国立標準技術研究所（NIST）が実施している虹彩認証のベンチマークテスト IREX10 での認証性能世界 1 位獲得への本技術の貢献について紹介する。また、本技術は NEC の製品である顔・虹彩マルチモーダル生体認証端末に搭載され、常に安定した高い認識性能での本人確認を実現することで、生体認証の導入が難しかった決済などの市場での利便性の向上や、社会の安全・安心の実現に貢献している。このような製品化への貢献についても紹介する。

2 ．研究開発の背景と課題
図 1（a）に虹彩認証における一般的な虹彩円検出のフレームワークを示す。従来の一般的な虹彩認証技術では、まず虹彩領域のセグメンテーションを行う必要があり、この処理の頑健性を向上させるための深層学習が用いられてきた。一方で、深層学習を用いた虹彩領域の― 2 ―セグメンテーションは、計算コスト、訓練データの正解付けコスト（アノテーションコスト）、頑健性の 3 つの面で改善の余地があった。具体的には、セグメンテーションのタスクは回帰やクラス分類などの他のタスクと比較して、計算コストとアノテーションコストが高いという課題がある。虹彩画像で一般的に用いられる 640 × 480 画素の解像度の画像に対して虹彩領域のセグメンテーションを行うには大きな計算コストが必要で、システムに高価なGraphics processing unit（GPU）などを搭載する必要があった。この計算コストは、ユーザーがゲートを通過する間での高速な認証が要求される Iris on the move（IOTM）などでは、特に重要な課題となっている。また正解付けの際に、画像の全ての画素に対して細かく領域を指定する必要があるため、アノテーションコストも非常に高い。検出精度と頑健性に関しては、虹彩円検出の観点でみると、セグメンテーションの結果が頑健であっても、その後の虹彩円検出には深層学習が適用されている例がなく、ノイズやパラメータの影響を受けやすいモデルベースで構成されていることが一般的である。

図1

虹彩円検出のフレームワーク。

そこで我々は、上述した従来方式の課題を鑑みて、図 1（b）に示すように、虹彩領域のセグメンテーションを行わずに、深層学習を用いた回帰モデルを新たに導入し、入力画像から直接虹彩検出を行う方式を開発した。回帰モデルは顔認証における顔特徴点の検出に使われている技術であり、一般的にセグメンテーションモデルと比較して、ネットワークのサイズが小さいため、高速に動作する。また、回帰モデルの出力として特徴点だけでなく、虹彩や瞳孔の円パラメータ（中心座標と半径）を直接検出することで、ノイズの影響を受けやすい虹彩円検出の処理を行う必要がなくなるため、高い頑健性を実現できる。以降、低い計算コス
トかつ高い頑健性と検出精度を達成できる深層学習を用いた虹彩円の直接検出技術について詳細に説明する。

3 ．虹彩検出と虹彩認証
上述の課題を解決するために開発した我々の虹彩の検出技術と認証技術の特徴について説明する。なお、本章で紹介する技術内容は［1］の発表内容に基づくものであるが、［1］の内容に加えて、3 章での評価方法に新たに intersection over union（IoU）の結果を追加し、4 章では虹彩認証のベンチマークテストの結果を本技術の活用先について新規に述べる。

― 3 ―虹彩円検出の高速化と高精度化を実現するため、我々は新しくセグメンテーションを介さずに画像から円パラメータを直接回帰する虹彩円検出法を提案する。提案法はダウンサンプリングされた画像から虹彩円とまぶたの特徴点を同時に検出することにより高速な虹彩円検出を実現する。さらに瞳孔円のパラメータを補正するネットワークを導入することにより高精度な瞳孔円検出を実現する。瞳孔円のパラメータは虹彩特徴抽出に敏感であるため、この再検出が虹彩認証の性能を向上させることを示す。我々の手法はセグメンテーションを必要とせずに瞳孔円と虹彩円を検出するため、アノテーション効率も大幅に改善する。実験では提案法が従来のセグメンテーションベースの手法と比較して速度と精度の両面で高い検出性能を達成できることを示す。さらに検出だけでなく認識エンジンの性能も向上させることも示す。
図 2 に 提 案 法 の 概 要 を 示 す。 提 案 法 は 虹 彩 検 出 ネ ッ ト ワ ー ク（ILN: iris localizationnetwork）と瞳孔補正ネットワーク（PRN: pupil refinement network）の 2 つで構成される。
ノイズとパラメータに敏感な円フィッティングを避けるため、ILN はダウンサンプリングされた画像から 2 つの円と 8 つの点を直接検出する。加えて PRN は ILN の結果を基に切り抜いた Region of interest（ROI）画像から数画素の精度で瞳孔を検出する。ROI 画像は瞳孔検出のみを目的とし、虹彩正規化には利用しない。虹彩の正規化はオリジナルの入力画像と検出結果を用いて行う。

図 2 提案する虹彩円検出手法の構成。提案法は虹彩検出ネットワーク（ILN）と瞳孔補正ネットワーク（PRN）で構成される。

図 3 に検出対象の円と点の構成を示す。提案法では、特徴点の位置関係は左右の目で同等となるように設計する。つまり、P1 の位置は左右の目の両方で画像に左側の目の端となり、目じりや目がしらに依存させない。これらの円と点はターゲットベクトル k としてまとめる。
円は x, y, r の 3 要素を持ち、点は x, y の 2 要素を持つ。このため 2 つの円と 8 つの点で構成されるベクトル k は 22 次元となる。

図3

提案法の検出対象である瞳孔円、虹彩円と特徴点の構成。

― 4 ―ILN と PRN のネットワークアーキテクチャは VGG 構造で構成される。ILN は入力画像のスケールパラメータ s とネットワークのチャネル幅パラメータ m をパラメータとして持つ。入力画像のサイズは 640 s × 480 s にリサイズし、ネットワークの各層のチャネル数は m倍にする。入力層のチャネル数は 1 とし、最終層のチャネル数は 22 とする。RPN は ROI 画像を入力とする。ROI 画像は ILN が検出した虹彩円の中心から虹彩半径の大きさで矩形を切り抜く。切り抜いた画像を 128 × 128 のサイズにリサイズして PRN に入力する。PRN はスケールパラメータを持たず、チャネル幅パラメータ m は ILN と共通の値を設定する。
PRN は入力画像チャネル数を 1 、出力ベクトルのチャネル数は瞳孔円を表現する 3 とする。
セグメンテーションと異なり、回帰モデルでは重要な出力に重みをつけることができる。
重みはそれぞれの出力要素に対して与える。ILN では、瞳孔円と虹彩円に関する要素の重みを大きくし、まぶたの点の重みを小さく与える。これは虹彩認証において、瞳孔円と虹彩円の検出精度が虹彩認証の認識性能に影響しやすいからである。PRN の出力については全て同じ値の重みを与える。提案法の損失関数は L1 ノルムを用いて下記のように表現される。

ここで I は入力画像、（f ）i , k i , wi は出力ベクトル、正解ベクトル、重みベクトルの i 番目の要素を表す。 は出力ベクトル （I）fの次元数である。
虹彩認証を行うためには、検出した虹彩円からまぶた領域を取り除く必要がある。提案法
では、虹彩円と同時に検出したまぶたの特徴点を使ってまぶたのマスクを生成する。図 4 にまぶたの 8 つの特徴点を結んで作ったまぶたのマスクを示す。まぶたの特徴点の数はアノテーションコストを考慮し、マスクを作るための最小の数として 8 つとしている。なお、提案法は従来のセグメンテーションのようにまつげや眼鏡などでの表面反射を直接検出することができないが、これらはマスクと単純な異常検知手法を用いて検出できる。本稿では四分位数を用いて画素値に閾値を設け、25 % 以下の暗い領域（まつげ）と 75 % 以上の明るい領域（表面反射）を除去することで虹彩領域を抽出する。

図48 つのまぶたの特徴点を結んで抽出したまぶたのマスク

評価用のデータセットとして、CASIA v4-thousand, CASIA v4-distance［2］, IITD［3］,
MMU1 , MMU2［4］を用いた。我々の手法は虹彩認証での利用を前提したものであるため、データセットは NIR で撮影されたものを選択した。CASIA v4 -distance は顔画像のデータ― 5 ―セットであるため、目の中心位置を手動でラベル付けを行い、目画像を切り出した。各デー
タセットの画像は 640 × 480 のサイズにリサイズした。一部アスペクト比が 4 : 3 ではないものは一部の辺を複製して、アスペクト比を 4 : 3 に直してからリサイズした。CAISA-v4
thousand はネットワークの訓練に利用し、その他のデータセットを評価に利用した。深層
学習ベースの手法は訓練データのドメインに依存しやすく、他のデータドメインでの性能、つまり汎化性が保証されないことが多い。したがって、提案法の有意性を示すためには汎化性の評価が必須である。このような理由から提案法のモデルは CASIA v4 -thousand で学習し、評価は他のデータセットで行う。
ILN と PRN はそれぞれ独立に学習した。入力画像の画素値は［0,1］となるように正規化し、出力ベクトル k の各要素は訓練データの正解を用いて計算した各要素の平均と標準偏差を用いて正規化した。ILN の学習では学習率 0 .001 , 重み減衰 0 .00001 として SGD を最適化器として学習した。損失の瞳孔円と虹彩円の重みは 3 .0 とし、特徴点の重みは全て 1 .0 とした。
スケールパラメータ s とネットワークのチャネル幅パラメータ m はそれぞれ、s ＝ 0 .2 , m＝ 0 .25 とした。PRN の学習では訓練データの正解の虹彩円パラメータを用いて ROI 画像を切り抜き、瞳孔円の出力ベクトルもこれに合わせて変換した。ROI 画像は虹彩円の半径の 1.2倍の領域を矩形に切り抜き、切り抜いた画像を 128 × 128 のサイズにリサイズして PRN へ入力した。その他の学習パラメータは ILN と共通とした。また、学習時に入力画像に対してガウスブラー、明るさとコントラスト、縦と横のシフト、スケール、そして回転のデータ拡張を行った。出力ベクトルも入力画像のデータ拡張に合わせて変換した。
提案法の検出速度と精度を評価するため、5 つの従来法を用意した。虹彩セグメンテーションの最先端手法として、IrisDenseNet［5］と BiSEU-net［6］, 虹彩円検出の最先端手法として、
IrisParseNet［7］, 最も高速な手法として CC-Net［8］, モデルベースの手法として OSIRIS［9］を選択した。
虹彩円検出の評価指標として、正解図形と推定図形の距離であるハウスドルフ距離とintersection over union（IoU）を計算した。推定結果を C, 正解データを G とするとハウスドルフ距離は下記のように定義できる。

ここで c と g はそれぞれ C と G の上の任意の点である。計算したハウスドルフ距離は虹彩画像の大きさへの依存性をなくすため、目の端と端の距離を使って正規化し、計算した距離の平均値で評価した。IoU は領域の重なり度合いを示す指標であり、推定領域と正解領域の共通部分の面積を、これらの和集合の面積で割った値をつくり、それをさらにテストデータセット全体で平均をとった平均 IoU で評価する。比較する領域は虹彩円と瞳孔円のそれぞれの内側の領域とした。
表 1 と表 2 に虹彩円と瞳孔円の検出の汎化性の評価結果を示す。数値は平均ハウスドルフ距離（表 1）と平均 IoU（表 2）で、先行研究と提案法との検出精度を比較した。提案法の PRNは瞳孔円の補正を行うため、ILN+PRN の虹彩円の結果は ILN のみの結果と同じである。特にハウスドルフ距離では提案法は他のセグメンテーションベースの方法と比較して良い汎化性能を示していることが確認できる。
このような結果となった理由として、
セグメンテーション手法は領域を推定するためドメインの違いに多い輝度変化に弱いが、提案法はエッジ情報― 6 ―を抽出するために輝度変化に強くドメインの違いに強かったと考えられる。平均 IoU の結果をみると、瞳孔円の平均 IoU は、提案法は全てのデータセットで他の手法よりも良い結果となった。虹彩円の平均 IoU については、従来法の性能がよくなるデータセットがあるものの、他の手法と比較して全てのデータセットで安定して高い性能を達成できている。
表1

虹彩円検出の汎化性能の評価結果（平均ハウスドルフ距離）

表2

虹彩円検出の汎化性能の評価結果（推定時間と平均 IoU）

表 2 には平均 IoU の結果に加えて推定時間の計測値も示す。提案法はセグメンテーションを行わないため、CPU での演算速度は他の従来法と比較して、高い検出精度と安定した汎化性能を維持しながら、従来法と比較して高速に動作できることがわかる。虹彩認証を搭載するシステムでは常に GPU やクラウドを活用できるとは限らないため、このような高速化は非常に重要である。
虹彩円の検出精度が虹彩認証の認識性能にどう影響するかを調査した。認識性能がデータセットのドメインに影響しないように、CNN 手法ではない認証エンジンとして、オープンソースとして公開されている虹彩認証エンジン OSIRIS［9］を利用した。OSIRIS の処理を虹彩円検出までの処理と認証処理とに分け、虹彩円検出処理を提案法や従来法へと置き換えた。
提案法は虹彩円検出後に虹彩領域の画素値の四分位数を用いた閾値処理によってセグメンテーションマップを生成した。また、従来法の中で検出精度が最もよかった IrisDenseNetを比較対象として評価した。評価は CASIA v4 -distance に対して、図 5 に示す Detection
error trade-oﬀ（DET）curve で行った。DET curve は横軸が他人受け入れ率、縦軸が本人拒否率であり、左下に近いほど認識性能がよい。等価エラー率（EER: equal error rate）でみると、我々の手法は ILN が 0.072 で ILN+PRN が 0.062 となり、従来法の IrisDenseNet が 0.098― 7 ―となった。従来法と比較して提案法の検出精度が虹彩の認識性能にも貢献していることを確認した。

図 5 各検出手法を比較した虹彩認証の結果の Detection error trade-off curve。左下ほど認識性能がよい。

4 ．ベンチマークテストでの世界 No.1 の獲得と虹彩認証技術を用いた製品
ここまでに説明してきた虹彩検出技術の学習と評価では、従来技術との比較のために公開データセットを用いていた。ベンチマークテストや製品化では、商用利用可能な公開データセットに加えて、さらに社内での実証実験などにより収集した訓練データを増強し続けることにより、虹彩検出の精度や虹彩認証の性能を継続的に強化している。これらの強化の結果、米国国立標準技術研究所（NIST）が実施している虹彩認証のベンチマークテスト IREX10 において、2021 年 8 月にエラー率 0 .41 % を達成し、虹彩認証の認識性能の世界第 1 位を獲得した［10］。図 6（a）に、2021 年 8 月時点の各社の認識性能（エラー率）の比較を示す。IREX10 でのエラー率は他人受け入れ率が 10 ‑2 のときの本人拒否率で定義される。2021 年 8 月時点での参加機関は 7 機関であり、我々は 2 位以下の機関に大きな差をつけて世界 1 位を達成した。
一方で、NIST IREX10 は on-going の評価であり、1 回の提出の後に 4 か月の間を空ければいつでも再提出が可能である。つまり、1 位を獲得した認識性能も常に他機関によって更新される可能性があり、1 位を維持し続けることは非常に難しい。このため、1 位を獲得した後も我々は徹底した虹彩認証エンジンの性能改善を継続している。図 6（b）に 2024 年 2 月時点での認識エラー率の比較を示す。現在、我々の虹彩認証エンジンはエラー率 0 .22 % を達成しており、多数の企業・研究機関が IREX10 に参加する中、約 2 年半のあいだ世界第 1位を維持している。表では 7 機関に絞って表示しているが、現在の参加機関は 25 機関であり、競合する機関が増えたことで IREX10 の最新結果の更新の頻度もさらに増えている。

― 8 ―

図6

NIST IREX10 での認識性能評価結果

我々が開発した虹彩認証の技術は弊社の製品である顔・虹彩マルチモーダル生体認証端末（図 7）に搭載され、本製品は 2023 年春に販売を開始した［11 , 12］。顔・虹彩マルチモーダル
生体認証端末は、それぞれが、NIST が実施するベンチマークテストで世界第 1 位の認識性能を獲得している顔認証と虹彩認証の認証結果を組みあわせることで、さらに高性能な認証を実現している。従来虹彩認証で課題であった利便性の改善にも取りくみ、車椅子を利用している人から高身長の人まで、端末に顔を向けるだけですぐに認証が可能な端末を開発した。
さらに、顔認証と虹彩認証を組み合わせているため、眼鏡やマスク、ゴーグル等をしたままでも認証できる。他のマルチモーダル生体認証と比較して、顔と虹彩のマルチモーダル生体認証は、（I）顔と虹彩を同時に撮影できるため 1 アクションで認証可能であること、（II）荷物や手袋で両手がふさがっていても見るだけで認証可能であること、などの利点を持つ。

図7

NEC 製の顔・虹彩マルチモーダル生体認証端末（Bio-IDiom Multimodal Device）

図 8 に顔・虹彩マルチモーダル生体認証システムの今後の応用先を示す。顔・虹彩マルチモーダル生体認証端末の、マスクやサングラスなどで一部が隠れている場合でも両者を組み合わせることにより高い認識性能を安定して維持できる特長を活かして、今後は、（1）国家レベルの大人数を対象とした認証や入国審査、（2）高いセキュリティが求められる施設の入退、（3）衛生面に配慮した服装やマスク着用が必要な食品工場、クリーンルーム、医療現場での入退、（4）ATM での本人確認や店舗での決済、などの様々なシーンでの活用を目指す。

― 9 ―

図8

5 ．結

顔虹彩マルチモーダル生体認証の応用先の例

言

本論文では、我々の開発した虹彩認証技術と活用事例を紹介した。社会の様々なシーンに生体認証が浸透する中で、人々の安全・安心を満たすための高セキュリティかつ高い認識性能を実現できる虹彩認証技術の研究開発は必要不可欠である。我々は虹彩認証における虹彩円検出に対して深層学習を用いた回帰モデルを導入することで、速度と精度と頑健性の全てで従来法を凌駕できることを示した。また、本技術は NIST IREX10 での認識性能世界 1 位の獲得に強く貢献し、さらには NEC 製のマルチモーダル生体認証端末に搭載され、常に安定した高い精度での本人確認の実現することで、重要セキュリティエリアへの入退など、これまで生体認証の導入が難しかった市場への導入が進んでいる。我々は今後も虹彩認証技術をはじめとする画像認識技術の開発と、その成果の社会実装につとめ、安全、安心、公平、効率で豊かな社会の実現に貢献していく所存である。

参考文献[1] T. Toizumi, K. Takahashi, and M. Tsukada, “Segmentation-free Direct Iris Localization
Networks”, IEEE/CVF WACV, 2023.
[2] Biometrics Ideal Test. CASIA iris image database. http://biometrics.idealtest.org/.
[3] Ajay Kumar, and Arun Passi, “Comparison and combination of iris matchers for reliable personalauthentication.” Pattern recognition, 43(3):1016‑1026, 2010.
[4] MMU iris database. http://pesonna.mmu.edu.my/ccteo/, 2010.
[5] M. Arsalan, et al., “IrisDenseNet: Robust iris segmentation using densely connected fully
convolutional networks in the images by visible light and near-infrared light camera sensors”,
Sensors, 18(5):1501, 2018.
[6] Q. Zhao, J. Jiang, Z. Lei, and J. Yi, “Detection method of eyes opening and closing ratio fordriver’s fatigue monitoring”, IET Intelligent Transport Systems, 15(1):31‑42, 2021.
[7] C. Wang, et al., “Towards complete and accurate iris segmentation using deep multi-task attention
network for non-cooperative iris recognition”, IEEE Transactions on information forensics andsecurity, 15:2944‑2959, 2020.
[8] Z. Fang and A. Czajka, “Open source iris recognition hardware and software with presentation
attack detection”, In 2020 IEEE IJCB, pages 1‑8. IEEE, 2020.
[9] N. Othman, B. Dorizzi, and S. Garcia-Salicetti, “OSIRIS: An open source iris recognition― 10 ―

software”, Pattern Recognition Letters, 82:124‑131, 2016.
[10] NEC, NEC、顔認証に続き虹彩認証でも米国国立機関による精度評価で第 1 位を獲得
し、2 冠を達成 , https://jpn.nec.com/press/202109/20210902_01.html[11] NEC, NEC、世界 No.1 の顔認証技術と虹彩認証技術を搭載したマルチモーダル生体認
証ソリューションを販売開始 , https://jpn.nec.com/press/202211/20221108_01.html[12] NEC, マルチモーダル生体認証 ,https://jpn.nec.com/biometrics/multimodal/index.html― 11 ―