(57)【要約】  ユーザのバイオメトリック特性、例えば１つの指紋又は複数の指先の複数の指紋のセット等を有する当該ユーザの物体の画像を用いて当該ユーザを識別するための方法であって、モバイル装置の光学センサによって物体の画像を取得するステップと、画像をニューラルネットワークへ供給するステップと、画像をニューラルネットワークによって処理することにより、画像中の物体の位置及び物体の両方を識別するステップと、識別された物体からバイオメトリック特性を抽出するステップと、バイオメトリック特性を記憶装置に記憶し、及び／又は、少なくともバイオメトリック特性を入力として識別手段へ供給するステップであって、当該バイオメトリック特性がユーザを識別するか否かを判定するために入力を処理することを含むステップと、を有することを特徴とする方法。【選択図】図１
2021517330.tif 000002
【特許請求の範囲】
【請求項１】
ユーザのバイオメトリック特性、例えば１つの指紋又は複数の指先の複数の指紋のセット等を有する当該ユーザの物体の画像を用いて当該ユーザを識別するための方法であって、
モバイル装置の光学センサによって前記物体の前記画像を取得するステップと、
前記画像をニューラルネットワークへ供給するステップと、
前記画像を前記ニューラルネットワークによって処理することにより、前記画像中の前記物体の位置及び前記物体の両方を識別するステップと、
識別された前記物体から前記バイオメトリック特性を抽出するステップと、
前記バイオメトリック特性を記憶装置に記憶し、及び／又は、少なくとも前記バイオメトリック特性を入力として識別手段へ供給するステップであって、前記識別手段は、当該バイオメトリック特性が前記ユーザを識別するか否かを判定するために前記入力を処理することを含むステップと、
を有することを特徴とする方法。
【請求項２】
前記物体は少なくとも１つの指先であり、
前記バイオメトリック特性は前記指先の指紋であり、
前記識別手段によって前記入力を処理することは、
前記指紋からバイオメトリック特徴を、例えば細かい特徴の位置及び種類等を抽出するステップと、
抽出された前記バイオメトリック特徴を、記憶装置に記憶されたバイオメトリック特徴と比較するステップと、
を含み、
前記抽出されたバイオメトリック特徴と前記記憶されたバイオメトリック特徴との差が閾値を下回る場合、前記識別手段は前記指紋によって前記ユーザが識別されると判定し、
前記バイオメトリック特徴と前記記憶されたバイオメトリック特徴との差が閾値を上回る場合、前記識別手段は前記指紋によって前記ユーザが識別されないと判定する、
請求項１記載の方法。
【請求項３】
前記画像は複数の指先を有し、
前記方法はさらに、前記画像中における各指先の位置を識別し、前記識別手段による前記ユーザの識別のために各指先の指紋を使用することを含む、
請求項２記載の方法。
【請求項４】
前記識別手段は、前記画像中の全ての指先の指紋の組み合わされた識別精度が特定の閾値を上回ると判定することによって、前記指先の指紋によりユーザが識別されると判定し、又は、
前記識別手段は、前記指先ごとに前記指紋のバイオメトリック特徴と当該指先の指紋の記憶されたバイオメトリック特徴との差が閾値を下回るか否かを判定し、判定された全ての差が対応する前記閾値を下回る場合にのみ前記指先の指紋によってユーザが識別されると判定することにより、前記指先の前記指紋によりユーザが識別されると判定する、
請求項３記載の方法。
【請求項５】
前記画像は、前記モバイル装置の光学センサとしてのカメラによって取得される、
請求項１から４までのいずれか１項記載の方法。
【請求項６】
前記ニューラルネットワークは複数の層を有し、
前記画像を入力として前記ニューラルネットワークによって処理することは、当該ニューラルネットワークの第１層によって入力を処理することにより第１の中間出力を生成するステップと、各先行層の出力を各後続層によって処理するステップと、を有し、
前記複数の各層は、各層における前記入力の処理順に、深度畳み込み層と、第１のバッチ正規化部と、第１の整流線形ユニットと、点畳み込み層と、第２のバッチ正規化部と、第２の整流線形ユニットとをそれぞれ有する、深度で分離可能な畳み込みであり、
前記複数の層を用いて前記入力を処理することにより、前記ニューラルネットワークは出力として、前記物体の識別結果と前記画像中における前記物体の位置とを得る、
請求項１から５までのいずれか１項記載の方法。
【請求項７】
前記物体の位置を識別することは、Ｑ×Ｒ個のグリッドセルを有するグリッドに前記画像を分離し、各グリッドセル内に、当該グリッドセルにおける予め定められた位置と予め定められた幾何学的特性とを有する少なくとも１つの境界ボックスを作成することを含み、
前記出力を生成することはさらに、前記境界ボックスの位置及び幾何学的特性を修正することにより、前記物体の位置に最も一致する修正後位置と修正後幾何学的特性とを有する修正後境界ボックスを得ることを含む、
請求項１から６までのいずれか１項記載の方法。
【請求項８】
前記境界ボックスの位置は、前記グリッドセルの中心を基準として二次元で算出され、
前記境界ボックスの幾何学的特性は、当該境界ボックスの高さ及び幅を含み、さらに、前記物体が前記境界ボックス内にある確率が各境界ボックスに関連付けられる、
請求項７記載の方法。
【請求項９】
前記方法はさらに、前記画像と、前記指先の位置を識別する前記境界ボックスとを表示するステップを含む、
請求項８記載の方法。
【請求項１０】
前記画像を前記ニューラルネットワークにより処理することは、前記画像から、前記画像中の各画素の色値を表す少なくとも１つのマトリクスＩを生成するステップと、前記マトリクスを前記ニューラルネットワークへ入力として供給するステップと、を含み、
前記画像はＮ×Ｍ個の画素を有し、
前記マトリクスＩはＮ×Ｍ個の値を有するマトリクスであり、
前記マトリクスＩの成分はＩijによって与えられ、ここでｉ及びｊは整数であり、ｉ＝１・・・Ｎかつｊ＝１・・・Ｍである、
請求項６から９までのいずれか１項記載の方法。
【請求項１１】
各深度畳み込み層は、サイズＳ×Ｔのマトリクスである予め定められたカーネルＫであって成分Ｓabを有するカーネルＫを、前記マトリクスＩに適用し、ここでＳ，Ｔ＜Ｎ、Ｓ，Ｔ＜Ｍであり、
前記カーネルを前記マトリクスに適用することは、サイズ（Ｎ＋２Ｐw）×（Ｍ＋２Ｐh）を有するマトリクスＺのサイズ（Ｎ×Ｍ）S,Tの各削減マトリクスＲと前記マトリクスＫとの内積を算出することを含み、
前記マトリクスＲは前記カーネルＫと同一サイズであり、
前記マトリクスＺの成分Ｚcdは、
【数１】
2021517330.tif 000022
により与えられ、
【数２】
2021517330.tif 000023
であり、
出力として、
【数３】
2021517330.tif 000024
のサイズを有するマトリクスＰが供給され、
ここでＷw及びＷhはストライド幅を定義し、前記マトリクスＰの各成分Ｐijは、ｉｊ番目の前記削減マトリクスＲと前記カーネルＫとの内積の値であり、
前記マトリクスＰは前記深度畳み込み層から出力として前記第１のバッチ正規化部へ供給される、
請求項１０記載の方法。
【請求項１２】
前記カーネルのサイズＳ及びＴは全ての深度畳み込み層において等しく、又は、少なくとも１つの深度畳み込み層及び／若しくは前記カーネルＫの少なくとも１つの成分について異なっており、Ｓa'b'≠Ｓa≠a',b≠b'である、
請求項１１記載の方法。
【請求項１３】
前記バッチ正規化部は、正規化された削減マトリクスＰ’を前記整流線形ユニットへ供給し、前記整流線形ユニットは整流関数を各成分Ｐ’ijに適用し、前記整流関数は、
【数４】
2021517330.tif 000025
を有する
2021517330.tif 000026
を算出し、
2021517330.tif 000027
は、前記整流線形ユニットが第１の整流線形ユニットである場合には前記点畳み込み層へ出力として供給され、若しくは、前記整流線形ユニットが前記第２の整流線形ユニットである場合には前記ニューラルネットワークの次の層へ供給され、及び／又は、
前記点畳み込み層は、先行層から受け取った
2021517330.tif 000028
の各成分に重みαを乗じることにより、
2021517330.tif 000029
に前記重みαを適用する、
請求項１０から１２までのいずれか１項記載の方法。
【請求項１４】
前記方法の各ステップを前記モバイル装置上で実施する、
請求項１から１３までのいずれか１項記載の方法。
【請求項１５】
光学センサと、プロセッサと、実行可能な指令を記憶する記憶ユニットと、を備えたモバイル装置であって、
前記指令は、前記モバイル装置の前記プロセッサによって実行されたときに前記プロセッサに請求項１から１４までのいずれか１項記載の方法を実行させる
ことを特徴とするモバイル装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、請求項１記載のユーザを識別するバイオメトリック特性を有する画像中の物体を使用して当該ユーザを識別するための方法と、請求項１５記載の当該方法を実施するために適したモバイル装置と、に関する。
【背景技術】
【０００２】
画像認識は一般に広く用いられており、多岐にわたる用途で使用することができる。例えば、画像中の特定の人物及び顔又は物体の認識は、ソーシャルネットワークや他のメディアによって過剰に使用されている。さらに、より最近のスマートフォンでは、識別技術は例えば指紋センサによってユーザを識別するためにも用いられている。
【０００３】
従来の技術は、「ブルートフォース（総当たり、brute force）」を使用するか、又は物体を識別するために特化して訓練されたより新規のネットワークを使用するか否かにかかわらず、画像中の物体の識別を達成するためには相当量のコンピュータリソースを必要とする。
【０００４】
しかしより最近では、画像中の物体の格段に高速かつ高信頼性の識別を可能にする「ＹＯＬＯ（You Only Look Once）」技術が提供されている。この技術の基本的原理は、Redmon et al. による論文“You Only Look Once: Unified, Real-Time Object Detection”及びRedmon et al. による論文“YOLO9000: Better, Faster, Stronger”に説明がある。
【０００５】
「ＹＯＬＯ」技術の基本的コンセプトは、取得された画像を複数のグリッドに分離し、訓練されたニューラルネットワークを使用して、取得された当該画像をそれぞれ処理する複数の削減層と畳み込み層とを含むニューラルネットワークを用いて当該グリッドセルのうちいずれか１つ又は複数内の物体を識別することである。
【０００６】
ここで使用されるニューラルネットワークは、多数の物体の動画像（ビデオ映像）であっても適切な結果を得ることができ、なおかつリアルタイム検出を行うことができるが、指先のような非常に特異な物体の他の識別に対しては未だ適していないことが分かっている。その結果、物体を識別するために要する時間が長くなる。
【０００７】
その上、ニューラルネットワークが比較的複雑であるため、物体のリアルタイム識別を可能にするためには相当量のコンピュータリソースが必要となり、このことも、スマートフォンやタブレットのような現在の水準のモバイル装置に対してＹＯＬＯ技術の適用が適していない理由である。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記点に鑑みて、本発明の課題は、ユーザを高速で識別すると同時に格段に高い検出精度を提供し、なおかつ、識別に使用されるモバイル装置とのユーザのインタラクションを簡素化できる方法及びシステムを提供することである。さらに、識別のために必要なコンピュータリソースを、現在の世代のモバイル装置に当該識別を実装できる程度に削減できると有利である。
【課題を解決するための手段】
【０００９】
上記課題の解決手段は、請求項１記載のモバイル計算機上に実装される方法と、請求項１５記載のモバイル計算機である。本発明の好適な実施形態は従属請求項に記載されている。
【００１０】
ユーザの１つの指紋又は複数の指先の複数の指紋のセット等のバイオメトリック特性を有する当該ユーザの物体の画像を用いて当該ユーザを識別するための本発明の方法は、
モバイル装置の光学センサによって物体の画像を取得するステップと、
画像をニューラルネットワークへ供給するステップと、
画像をニューラルネットワークによって処理することにより、画像中の物体の位置及び物体の両方を識別するステップと、
識別された物体からバイオメトリック特性を抽出するステップと、
バイオメトリック特性を記憶装置に記憶し、及び／又は、少なくともバイオメトリック特性を入力として識別手段へ供給するステップと、
を有し、
識別手段は、バイオメトリック特性がユーザを識別するか否かを判定するために入力を処理することを含む。
【００１１】
ここで記憶装置は、モバイル装置自体に関連付けられた任意の装置、又は、モバイル装置の外部に設けられた遠隔の記憶装置とすることができる。例えば記憶装置は、モバイルインターネット手段又は他の伝送手段等のデータ伝送手段を介してのバイオメトリック特性の転送先である会社のサーバに関連付けられた記憶部とすることができる。
【００１２】
バイオメトリック特性を識別手段へ供給するステップもまた、バイオメトリック特性をモバイル装置内部で例えば特定のアプリケーションへ転送すること、又は、適切な伝送手段を介してバイオメトリック特性を、例えば銀行若しくはソーシャルネットワーク等のログインサーバのような遠隔の識別手段へ転送すること、のいずれかを含むことができる。
【００１３】
画像を取得するステップは好適には、自由に撮影された画像を介して、又は、手若しくは指の画像の自由な撮影を許容するアプリケーションを介して行われる。具体的には、手又は指の画像の自由な撮影を許容するアプリケーションとは、識別のための画像を撮影するためにユーザが自己の手又は指を配置すべき態様を当該ユーザに示唆するマスクを提供しないものである、ということである。
【００１４】
当該方法により、識別のためにどのように振る舞うべきか、又はどのようにモバイル装置とインタラクションすべきかについて如何なる制約も受けずに、ユーザを簡単かつ高信頼性で識別することができる。
【００１５】
一実施形態では、物体は少なくとも１つの指先であり、バイオメトリック特性は当該指先の指紋であり、識別手段によって入力を処理するステップは、指紋から例えば細かい特徴の位置や種類等のバイオメトリック特徴を抽出するステップと、抽出されたバイオメトリック特徴と記憶装置に記憶されたバイオメトリック特徴とを比較するステップと、を含み、抽出されたバイオメトリック特徴と記憶されたバイオメトリック特徴との差が閾値を下回る場合、識別手段は指紋によってユーザが識別されると判定し、バイオメトリック特徴と記憶されたバイオメトリック特徴との差が閾値を上回る場合、識別手段は指紋によってユーザが識別されないと判定する。
【００１６】
バイオメトリック特徴は、ユーザのバイオメトリック識別を行うことができる全ての特徴、又は、ユーザの識別をそのバイオメトリック特性や潜在的な他の特性によって少なくとも支援できる任意の特徴とすることができる。
【００１７】
上記閾値は、画像を用いて取り出され又は取得されたバイオメトリック特徴が、記憶されたバイオメトリック特徴と一致しているか否か、及びどの程度一致しているかを示す数値とすることができる。例えば、閾値は０≦ｘ≦１の実数ｘとすることができる。ここで大きいｘは、取得されたバイオメトリック特徴と記憶されたバイオメトリック特徴との差が有意であると認められるが、ユーザの識別は行うことができることを意味している。ｘが小さいほど、識別結果を得るため、取得されたバイオメトリック特徴は記憶されたバイオメトリック特徴と良好に一致する必要がある。
【００１８】
閾値を必要に応じた値に設定することにより、識別のセキュリティを向上させることができる。
【００１９】
本実施形態のより具体的な実装では、画像は１つより多くの指先を含み、本方法はさらに、識別手段によって画像中の各指先の位置を識別し、ユーザの識別のために各指先の指紋を使用するステップを含む。
【００２０】
例えば識別のために全ての指を使用することにより、ユーザを識別するための方法は失敗しにくくなる。というのも、複数の指紋を偽装するためには相当量のリソースを要することとなり、その可能性は低くなるからである。
【００２１】
本実施形態の一態様では、識別手段は、画像中の全ての指先の指紋の組み合わされた識別精度が所与の閾値を上回ると判定することによって、指先の指紋によりユーザが識別されると判定し、又は、識別手段は、指先ごとに指紋のバイオメトリック特徴と当該指先の指紋の記憶されたバイオメトリック特徴との差が閾値を下回るか否かを判定し、判定された全ての差が対応する閾値を下回る場合にのみ指先の指紋によってユーザが識別されると判定することにより、指先の指紋によりユーザが識別されると判定する。
【００２２】
上述の組み合わされた識別精度は、別々に取り出された各バイオメトリック特徴の識別精度の組み合わせと解すべきものである。これは例えば、各指紋のバイオメトリック特徴は他の指紋とは別々に評価される、ということである。上記の実施形態では、差が所与の閾値を下回る場合、バイオメトリック特徴は記憶されたバイオメトリック特徴と一致するとみなされる。取得されたバイオメトリック特徴と記憶されたバイオメトリック特徴との一致の相対的な値が、識別精度となることができる。例えば、１本の指先の取得されたバイオメトリック特性と記憶されたバイオメトリック特性とが９９．９％マッチングする場合、識別精度の値を０．９９９とすることができる。その際には、全ての識別精度の総和をとることができ、この総和が、例えば取得された１つのバイオメトリック特徴が記憶されたバイオメトリック特徴と一致するとみなされるか否かを示す閾値に依存し得る閾値を上回る場合、ユーザは、取得されたバイオメトリック特徴によって識別されたとみなされる。
【００２３】
一実施形態では、画像はモバイル装置の光学センサとしてのカメラによって取得される。ほぼ全ての現在入手可能なスマートフォンが少なくとも１つのカメラを備えているので、上記実施形態により、本発明の方法は例えばスマートフォン等の現在の世代のモバイル装置に適用可能となる。
【００２４】
一実施形態では、画像を入力としてニューラルネットワークにより処理するステップは、当該ニューラルネットワークの第１層によって入力を処理することにより第１の中間出力を生成するステップと、各層における入力の処理順に深度畳み込み層（depthwise convolutional layer）と、第１のバッチ正規化部と、第１の整流線形ユニット（正規化線形ユニット、rectified linear unit）と、点畳み込み層（pointwise convolutional layer）と、第２のバッチ正規化部と、第２の整流線形ユニットとをそれぞれ有する深度で分離可能な畳み込みである複数の層をニューラルネットワークが有し、各先行層の出力を各後続層によって処理し、前記複数の層を用いて入力を処理することにより、ニューラルネットワークは出力として物体の識別結果と画像中における物体の位置とを得るステップと、を含む。
【００２５】
深度畳み込み層は意図されているところによれば、例えば３×３のサイズのマトリクスであるカーネルを含む、元の画像に相当する特徴マップ（マトリクス）の乗算又は内積を使用して、別のマトリクスを算出する。かかる層を用いることは、識別効率の面でより効率的である。その理由は特に、マックスプーリング層によって情報損失が生じ、この情報損失により、必要な繰り返しが多くなってしまうからである。この点において、上記実施形態にて提案する深度畳み込み層は、そのパラメータ感度に関して一般に使用されている畳み込み層より高効率となる。
【００２６】
深度畳み込み層及び点畳み込み層は、「深度畳み込みサブレイヤ」及び「点畳み込みサブレイヤ」とも称され得る。実際、これらはニューラルネットワークの「層の中の層」であるから、サブレイヤとなる。
【００２７】
この特殊な実施態様の深度畳み込み層を、上記実施形態における点畳み込み層、バッチ正規化部及び整流線形ユニットと共に適用することにより、ニューラルネットワークが画像中の指先等のバイオメトリック特性を有する物体のリアルタイム識別を行うために必要とされるコンピュータリソースは、現在公知のニューラル技術と比較して有意に削減される。というのも公知のＹＯＬＯ技術は、使用されるニューラルネットワーク内の層群のうち一層としてマックスプーリング層を利用するからである。
【００２８】
一実施形態では、出力を生成するステップは処理中に画像を、Ｑ×Ｒ個のグリッドセルを有するグリッドに分離するステップを含み、当該ステップでは各グリッドセルにおいて少なくとも１つの境界ボックスが作成され、境界ボックスはグリッドセルにおける予め定められた位置と、予め定められた幾何学的特性と、を有し、出力を生成するステップはさらに、境界ボックスの位置及び幾何学的特性を修正することにより、物体の位置に最もマッチングする修正後位置と修正後幾何学的特性とを有する修正後境界ボックスを得るステップを含む。
【００２９】
取得された画像を、事前定義された境界ボックスを有するグリッドセルに分離することにより、最終結果における境界ボックスを用いて物体の位置及び物体自体をマーキングすることによって、識別された物体を的確に表示してそのフィードバックを提供することが可能になる。
【００３０】
本実施形態のより特殊な一実施態様では、境界ボックスの位置は二次元におけるグリッドセルの中心を基準として計算され、境界ボックスの幾何学的特性は境界ボックスの高さ及び幅を含み、さらに、物体が境界ボックス内に含まれる確率が、各境界ボックスに関連付けられる。
【００３１】
境界ボックスを対応する確率に関連付けることにより、境界ボックスを表すマトリクス又はベクトルを提供することが可能になり、また、これをマトリクス又はベクトルの形態で表される他の物体と合成しなければならない場合に、グラフィック処理ユニットによって高精度の効率で処理することができる。これにより、必要なコンピュータリソースが一層削減される。
【００３２】
より具体的には、出力は次元Ｑ×Ｒ×Ｂ×ＡのテンソルＴとすることができる。ここでＡは、各グリッドセル内の相違する境界ボックスの数であり、Ｂは、次元５を有する各境界ボックスに関連付けられたベクトルであり、Ｂは以下のように表される。
【数１】
2021517330.tif 000003
【００３３】
これにより得られたテンソルは、グラフィック処理ユニットによって高効率で処理することができる。さらに、かかるテンソルの形態で識別結果を供給することにより、特定の物体を識別する確率が最も高い結果を容易に導き出すことができる。
【００３４】
さらに、出力を出力するステップは、画像と、各グリッドセルの中の境界ボックスのうち最も高い確率を有する修正後境界ボックスと、を表示するステップを含むことができる。
【００３５】
最も高い確率を有するグリッドセルのみを供給することにより、それぞれ識別された物体を含む境界ボックスを通じて、ユーザに位置及び物体の識別結果が提供され、かかる境界ボックスは、認識しやすいフィードバックを提供する。さらに、修正後境界ボックスは、上記実施形態において出力として供給される結果テンソルの中で１つのベクトルのみを表すので、ユーザ又は他のプログラムによって容易に抽出することができ、修正後境界ボックスの各座標のみをとることによって更に処理を行うために使用することができる。
【００３６】
画像中における指先の位置を識別する上述の手法は、他の手法より使用リソース量が少なくなるため好適となり得るが、他の手法も用いることができる。例えば、指先が存在する可能性がある領域について最初に提案をすることができる。その後、かかる提案を処理することにより、提案の領域内に指先等の物体が本当に存在するか否かを見出すことができる。
【００３７】
他の一実施形態では、画像をニューラルネットワークによって処理するステップは、画像中の各画素の色値を表す少なくとも１つのマトリクスＩを当該画像から作成して、当該マトリクスを入力としてニューラルネットワークへ供給するステップを含み、ここで画像はＮ×Ｍ個の画素を有し、マトリクスＩはＮ×Ｍ個の値を有するマトリクスであり、マトリクスＩの成分はＩijによって与えられ、ここでｉ及びｊは整数であり、ｉ＝１・・・Ｎ、ｊ＝１・・・Ｍである。
【００３８】
画像を色値ごとにマトリクスに分離することにより、各色値を別個に処理することができ、これによって識別効率を向上し、なおかつ所要コンピュータリソースを削減できるという利点が奏される。
【００３９】
より具体的には、各深度畳み込み層はマトリクスＩに、サイズＳ×Ｔのマトリクスである予め定義されたカーネルＫを適用し、ここでＳ，Ｔ＜Ｎ、Ｓ，Ｔ＜Ｍであり、成分Ｓabを含み、マトリクスにカーネルを適用することは、マトリクスＫと、マトリクスＺのサイズ（Ｎ×Ｍ）S,Tの各削減マトリクスＲと、の内積を算出することを含み、ここで、マトリクスＲはカーネルＫと等しいサイズを有し、マトリクスＺはサイズ（（Ｎ＋２Ｐw）×（Ｍ＋２Ｐh））を有し、
【数２】
2021517330.tif 000004
であるマトリクスＺcdの成分は、
【数３】
2021517330.tif 000005
によって与えられ、出力として、
【数４】
2021517330.tif 000006
のサイズを有するマトリクスＰを提供し、ここで、Ｗw及びＷhはストライド幅を定義し、マトリクスＰの各成分Ｐijはｉｊ番目の削減マトリクスＲとカーネルＫとの内積の値であり、マトリクスＰは深度畳み込み層から出力として第１のバッチ正規化部へ供給される。
【００４０】
かかるカーネルにより、特徴マップにおいて隣り合う画素から得られた情報を適切に重み付けすることができると共に如何なる情報も失われることがなくなり、このことによって、ニューラルネットワークにおいて複数の連続する層が物体の識別をサポートできる効率を向上することができる。こうするためにカーネルは、画像を受け取る前すなわちニューラルネットワークの訓練中に得られた特定の重み又はパラメータに相当する成分を含む。
【００４１】
本発明の一認識は、上記実施形態の各方法を実施できるアプリケーション又は他のプログラムが実際にモバイル装置に装備される前に上記の訓練が行われる場合、このモバイル装置上で必要とされるコンピュータリソースを削減できるという利点が得られることである。
【００４２】
深度畳み込み層と点畳み込み層とを用いて分離可能な畳み込みを実装することは、この組み合わせが識別及び所要コンピュータリソースの観点で性能改善を示すという理由により最も有利であるというのが本発明の認識であるが、深度畳み込み層を指又は指先の識別に特化した畳み込み層に置き換えることも可能である。よって、本発明の説明は深度畳み込み層の使用に着目してなされているが、畳み込み層を用いて本発明を実装することも可能である。
【００４３】
他の一実施形態では、バッチ正規化部はマトリクスＰからＶ＝（ΣijＰij）／（ｎ・ｍ）を計算することによって平均値Ｖを算出し、成分Ｐ’ij＝Ｐij−Ｖを有するバッチ正規化された削減マトリクスＰ’を作成する。
【００４４】
このような正規化を施すことにより、各層による画像の処理全体を通じてオーバーエクスポジション等の意図しない作用をフィルタリング除去することができ、これにより画像中の物体を識別する効率を向上することができる。
【００４５】
さらに、全ての畳み込み層においてカーネルのサイズＳ及びＴを等しくすることができ、又は、少なくとも１つの畳み込み層についてカーネルのサイズＳ及びＴが異なることができる。
【００４６】
各畳み込み層（すなわち複数の各深度畳み込み層）について同一のカーネルを選択することにより、これにより得られる、対応するモバイル装置にインストールされるプログラムのサイズを削減することができる。一方、畳み込み層のうち少なくとも１つについて異なるカーネルを使用すると、カーネルが適切に構成されていれば、識別失敗に関する公知の問題を回避することができる。例えば、識別プロシージャの開始の際に大きなカーネル（サイズＳ及びＴが大きいことに相当する）を用いると、画像のより重要な部分を取り出して照準を当てることができ、これにより識別効率を向上することができる。
【００４７】
特殊な一実施形態では、サイズＳ，Ｔ＝３であり、全ての深度畳み込み層においてサイズＳ，Ｔは等しく、成分のうち少なくとも１つはＳa'b'≠Ｓa≠a',b≠b'である。
【００４８】
また、本発明の一認識は、対応するカーネルは当該カーネルのサイズと、識別効率と、各方法を実装するために必要なコンピュータリソースと、の間で最良のトレードオフとなり、これによって識別精度及び所要コンピュータリソースに対して全体的な効率を向上することができる。
【００４９】
他の一実施形態では、バッチ正規化部は正規化された削減マトリクスＰ’を整流線形ユニットへ供給し、整流線形ユニットは各成分Ｐ’ijに、
【数５】
2021517330.tif 000007
を有する
2021517330.tif 000008
を計算する整流関数（正規化線形関数、rectification function）を適用する。この
2021517330.tif 000009
は、整流線形ユニットが第１の整流線形ユニットである場合には点畳み込み層へ出力として供給され、又は、整流線形ユニットが第２の整流線形ユニットである場合にはニューラルネットワークの次の層へ供給される。
【００５０】
この整流関数によって、ニューラルネットワークの各層の後に、識別精度に悪影響を与える可能性のある画像中の部分をフィルタリング除去することができる。これにより、誤識別の数を削減することができ、また、これに応じて適切な識別精度を達成するために必要な反復回数も削減することができ、これによりコンピュータリソースを節約することができる。
【００５１】
また、点畳み込み層が、先行層から受け取った
2021517330.tif 000010
の各成分に重みαを乗算することにより、
2021517330.tif 000011
に重みαを付与するよう構成することもできる。
【００５２】
特徴マップ内の各点に同一の重みαを付与した場合でも、本実施形態は画像中の一部（識別に有意な影響を及ぼさないマトリクス中の成分に相当する一部）を効率的に減衰することができる。この減衰は、マトリクス中のかかる一部の絶対的な寄与度を低減し、整流線形ユニットと共に次のサイクルで当該一部を除外することにより達成される。
【００５３】
好適な一実施形態では、上記で説明した方法の各ステップはモバイル装置上で実施される。
【００５４】
これは少なくとも、画像の処理とユーザの識別とを含む上記の方法のステップを含むことができる。ここでも、画像又はバイオメトリック特徴又はバイオメトリック特性の記憶はモバイル装置の内部又は外部の任意の記憶装置によって行うことができる。さらに、ユーザを識別する識別ステップを、例えば会社のサーバ等のモバイル装置とは別の装置上で行うことも可能である。
【００５５】
各ステップを専らモバイル装置上でのみ行うことにより、例えば、実際の識別プロセスを実行するサーバ等へのデータ伝送のためにチャネルを空けておく必要が無くなる。よって物体識別は、モバイルネットワーク又はローカルエリアネットワークへアクセスできない領域でも用いることができる。
【００５６】
本発明のモバイル装置は、光学センサと、プロセッサと、実行可能な指令を記憶する記憶ユニットと、を備えており、当該指令は、モバイル装置のプロセッサによって実行されたときにプロセッサに上記のいずれかの実施形態の方法を実行させるものである。
【図面の簡単な説明】
【００５７】
【図１】本発明のユーザを識別するための方法の全体的な概観図である。
【図２】画像から抽出されたバイオメトリック特徴を用いて識別を実施する詳細な流れ図である。
【図３】一実施形態の画像中の物体を識別する全体的な処理フローを示す略図である。
【図４】一実施形態のニューラルネットワーク内の一層の構造と、当該一層におけるデータの処理とを概略的に示す図である。
【図５】境界ボックスを用いた手の画像の処理の略図である。
【図６】ニューラルネットワークを訓練するプロセスを示す略図である。
【図７】一実施形態の画像を取得して当該画像中の物体を識別するためのモバイル装置を示す図である。
【発明を実施するための形態】
【００５８】
図１は、ユーザの物体の画像を用いて当該ユーザを識別するための本発明の方法の全体的な概観図である。本方法はステップ１１において開始し、ステップ１１ではかかる物体の画像を取得する。ユーザのこの物体は、ユーザの識別を可能にするバイオメトリック特性を有することとなる。具体的には、物体はユーザの一本の指先若しくは手又は複数本の指先とすることができ、この画像から取得されるバイオメトリック特性は、少なくとも一本の指先の指紋、又は、例えば２，３若しくは４本の指先の指紋のセットとすることもできる。
【００５９】
画像は、例えばカメラ等の光学センサによって取得することができる。より好適には、当該光学センサは、一般的に入手可能なスマートフォン等のモバイル装置の光学センサである。カメラは、１メガピクセル以上の高精細画像を取得できるカメラとすることができる。
【００６０】
その後、取得された画像はステップ１２における処理のためにニューラルネットワークへ供給される。このニューラルネットワークについては、下記にて詳細に説明する。画像をニューラルネットワークへ供給するステップは、モバイル装置内部で、ニューラルネットワークを実現する該当のアプリケーションへ画像を転送又は伝送すること、又は、遠隔の場所へ画像を供給すること、のいずれかを含むことができる。これは、サーバ又は他の計算主体とすることができる。しかし、モバイル装置に内蔵されたニューラルネットワークへ画像を供給するのが好適である。
【００６１】
その後ステップ１３において、画像はニューラルネットワークによって処理される。これについては、下記にて図３〜６を参照して詳細に説明する。いかなる場合であっても、ニューラルネットワークによる画像の処理によって、画像内におけるバイオメトリック特性を有する物体の位置と、物体自体と、の両方が識別される。具体的には、例えば物体が指先である場合、ニューラルネットワークは画像中の当該指先を識別し（すなわち、ニューラルネットワークは画像中に当該指先が存在することを判定する）、画像内における当該指先の位置を識別する。画像内における指先の位置を識別するステップは、例えば、当該指先に属する全ての画素、又は、画像全体と完全同一ではない当該画像中の部分セクション、例えば画像の領域全体の１／１０に相当するセクションを少なくとも識別することを含むことができる。
【００６２】
次のステップ１４において、識別された物体からバイオメトリック特性を抽出する。かかる抽出は例えば、識別された指先のうち実際に指紋を構成する部分のみを抽出することを含むことができる。
【００６３】
その後、バイオメトリック特性をさらに処理することができる。これは、ステップ１５及び１６によって示されている。
【００６４】
ステップ１５において、バイオメトリック特性は単に記憶される。バイオメトリック特性を記憶するステップは、バイオメトリック特性を好適には不揮発性の記憶装置に記憶することを含むことができる。この記憶装置は、モバイル装置自体に内蔵されたソリッドステート記憶装置又は遠隔の記憶場所等の記憶装置とすることができる。遠隔の記憶場所は、会社のサーバ又は他の任意の遠隔記憶場所とすることができる。この場合には、バイオメトリック特性はデータパケットの形態（例えば画像又はＰＤＦ又は数値等の形態）で、例えばＬＡＮ接続若しくはＷＬＡＮ接続等のデータ伝送手段又はモバイルインターネットを介して転送される。
【００６５】
バイオメトリック特性を任意の態様で記憶することの他に付加的に、又はステップ１５によりバイオメトリック特性を記憶することに代えて代替的に、バイオメトリック特性はステップ１６に従って識別手段へ入力として転送することもできる。この識別手段は、バイオメトリック特性を有するユーザの物体の画像を撮影するために用いられたモバイル装置に内蔵されているアプリケーションとすることができ、又は、例えばユーザを識別するためにバイオメトリック特性を使用して例えばソーシャルネットワーク若しくは銀行口座等へのログイン等の他のステップを実行するログインサーバ又は他の主体等の、遠隔の識別手段とすることもできる。
【００６６】
図２は、バイオメトリック特性が指紋である場合にバイオメトリック特性を使用してどのようにユーザを識別できるかを詳細に説明する図であり、この場合、物体は少なくとも１本の指先である。
【００６７】
図２の方法はステップ２１で開始し、当該ステップでは、指先からバイオメトリック特徴を抽出する。よって、これらのステップは少なくとも、図１にて説明したステップ１４において、識別された物体からバイオメトリック特性を抽出するステップの後に行われる。
【００６８】
指先からバイオメトリック特徴を抽出するステップは、例えば指紋の位置及び細かい特徴（minutia）の種類を抽出することを含むことができる。また、細かい特徴の非常に具体的な種類のみを抽出することも可能である（例えば、指紋における２つ以上の線の交差等）。
【００６９】
この情報を使用してユーザを識別するためには、もちろん、対応するバイオメトリック特徴の形態で参照が存在することが必要である。そのため、上記にて図１を参照して説明した識別手段が、特定のユーザに係るバイオメトリック特徴を記憶した記憶装置に関連付けられ、又は、かかる記憶装置を備えている場合があり得る。例えば、１つ又は複数のバイオメトリック特徴を例えば画像、数値、又は他のデータ構造の形態で記憶したファイルが、ユーザごとに存在することが可能である。
【００７０】
次のステップ２２において、指紋から得られたバイオメトリック特徴を、対応して記憶されたバイオメトリック特徴と比較する。このステップは、例えば記憶されたバイオメトリック特徴が細かい特徴の複数の場所によって表されている場合、抽出されたバイオメトリック特徴における対応する場所を比較することを含むことができる。もちろん、取得されたバイオメトリック特徴と記憶されたバイオメトリック特徴とを比較するための他の手段も公知であり、また使用可能であり、例えば画像認識技術又は周波数変換等を用いることができる。取得されたバイオメトリック特徴と記憶されたバイオメトリック特徴とを比較するステップは本発明では、取得されたバイオメトリック特徴と記憶されたバイオメトリック特徴との一致度を計算できるように行われる。換言すると、この比較によって、記憶されたバイオメトリック特徴と取得されたバイオメトリック特徴との差が算出される。この差は１つの実数又はテンソル又はベクトル又は他の任意の数学的構造とすることができる。また、記憶されたバイオメトリック特徴画像から、取得されたバイオメトリック特徴画像を画素ごとに減じることにより得られる差分画像とすることもできる。
【００７１】
取得されたバイオメトリック特徴が記憶されたバイオメトリック特徴と一致するか否かを判定するために使用できる閾値、すなわちユーザを識別できる閾値を設けることができる。
【００７２】
これに応じてステップ２３では、取得されたバイオメトリック特徴と記憶されたバイオメトリック特徴との差が上記の閾値を上回るか又は下回るかを判定する。当該閾値を下回る場合、ステップ２５において、ユーザがバイオメトリック特徴によって識別されると判定する。差が閾値を上回る場合には、上記判定結果ではなく、ステップ２４においてユーザがバイオメトリック特徴によって識別されないと判定する。
【００７３】
これによって識別手段は、取得された指紋によってユーザが識別されたこと、又は、取得された指紋によってユーザが識別されなかったことのいずれかを判定することとなる。
【００７４】
図１及び図２では、ユーザを識別するために使用される指先が１つのみである場合であって当該指先が画像中に存在する場合に、撮影当初の画像から取得されたバイオメトリック特性を用いてユーザを識別する態様を説明した。
【００７５】
しかしながら、識別手段は１本の指先のみを評価するだけでなく、ユーザを識別するために画像上に存在する２本又は全ての指先等の複数の指先を評価することも可能である。１本の指先又は複数の指先の指紋から取得されたバイオメトリック特徴と記憶されたバイオメトリック特徴とを識別手段によって照合する態様は、図２を参照して説明した態様に相当する。
【００７６】
しかし複数の指紋を評価する場合には、複数のバイオメトリック特徴の組み合わされた識別精度が所与の閾値を上回る場合にのみユーザが識別されたとするか、又は、図２のステップ２２及び２３にて説明した取得されたバイオメトリック特徴と記憶されたバイオメトリック特徴との比較を行うことによって、取得された指先ごとにステップ２５の結果が得られた場合にのみユーザが識別されたとすることができる。
【００７７】
図２を参照して説明した方法は画像中の指紋ごとに行われ、取得されたバイオメトリック特徴と記憶されたバイオメトリック特徴との差が各取得された指紋ごとに所与の閾値を下回る場合にのみユーザが識別されるので、後者の場合が明確である。他の全ての場合では、ユーザは識別されないとすることができる。
【００７８】
しかし、画像中の全ての指先の指紋の組み合わされた識別精度が所与の閾値を上回る場合にユーザが識別されたとする場合には、各指先ごとに、取得されたバイオメトリック特徴と記憶されたバイオメトリック特徴との比較の結果として、図２のステップ２３の差が閾値を下回ることを要しない。
【００７９】
例えば、あるバイオメトリック特徴の識別精度が０（非識別）〜１（取得されたバイオメトリック特徴と記憶されたバイオメトリック特徴とが完全一致）の範囲の数値とすると、組み合わされた識別精度が、バイオメトリック特徴ごとに単独で得られる別々の識別精度の総和によって求められる場合、組み合わされた識別精度の値は４未満とすることができる（４は、４つの指紋の識別精度が満点であることに相当する）。
【００８０】
例えば、組み合わされた識別精度に対応する閾値は３．５とすることができる。この場合、ユーザを識別するためには、例えば各指紋の識別精度が約０．９であれば足りることとなる。というのも、これらの識別精度の総和（すなわち組み合わされた識別精度）は３．６となり、総和の閾値を上回るからである。他の一例として、３つの指紋が０．９５の識別精度で識別される場合を考えると、４番目の指は例えば０．７５の精度で識別されるだけで足りることとなる。
【００８１】
なお、識別精度は、取得されたバイオメトリック特徴と記憶されたバイオメトリック特徴との相対的な類似度又は一致度と考えることができる。よって、取得されたバイオメトリック特徴が記憶されたバイオメトリック特徴と９０％一致する場合、識別精度（すなわち、当該バイオメトリック特徴によってどの程度正確にユーザを識別できるか）は０．９となる。
【００８２】
識別精度の他の値を使用すること、又は閾値の他の値を使用することも可能であることは明らかである。さらに、組み合わされた識別精度を求める手段は他にも存在する。例えば、複数の識別精度の平均値を求めることにより、又は、複数の識別精度の積を求めることにより、組み合わされた識別精度を算出することができる。
【００８３】
後続の複数の図では、取得当初の画像をステップ１２〜１４に従って処理して最終的にバイオメトリック特性を抽出する処理を詳細に説明すると共に、指先を高精度で識別できるようにするためニューラルネットワークをどのように訓練できるかについての説明を行う。
【００８４】
図３は、一実施形態の図１のステップ１２〜１４の一実施態様を示す流れ略図である。ここで説明する方法は、取得された画像中のユーザのバイオメトリック特性を保持する物体を識別できるようにするためのものである。本発明では、この画像は最初のステップ１０１において（図１のステップ１１に相当）、好適にはモバイル計算機の光学センサによって取得される。このモバイル計算機は、スマートフォン又はタブレットコンピュータ又は他の相応の装置とすることができる。したがって、光学センサは通常はカメラとなるが、赤外線カメラ又は他の光学センサとすることも可能である。このカメラは、１メガピクセル（ＭＰ）の解像度を有するカメラ、若しくはＨＤカメラとすることができ、又は、より低解像度のカメラとすることもできる。好適には、取得された画像の解像度は、１画素あたり３色値で少なくとも２２４×２２４である。
【００８５】
取得された画像は物体を含むことができ、この物体は本発明では、当該物体自体（例えば指先等）について識別されるだけでなく画像中における自己の位置について識別されるものである。ここでは、物体はユーザの適切な識別を可能にするユーザのバイオメトリック特性を保持又は保有していることを想定している。具体的には、物体は指紋を有する１本の指先又は複数の指先のセット等の物体でなければならない。ユーザを個人識別するために指紋を使用できること、すなわち、非常に特殊な一部の事例を除いて指先は各人ごとに一意であるから、取得された指紋に基づいて２人の人間を区別できることが知られている。
【００８６】
図１以降の図は「画像」について記載しているが、本発明はリアルタイムの物体識別を可能とするものであるから、必要とされる処理時間は数ｍｓの範囲内となり、これにより、例えば光学センサによって取得されたビデオ映像又はライブストリーム等の複数の連続画像中の物体を適切に識別することもできる。よって、「画像」との用語は単一画像を指すだけでなく、ビデオストリーム等の非常に短時間で連続して取得される複数の画像も指すと解すべきである。
【００８７】
実際には、スマートフォンにおいて慣用されているように、カメラを起動すると、写真を撮影することなくカメラの現在のビューがスマートフォンのユーザに供給される。よって、この「仮のビュー」は、カメラによって撮影された通常は比較的低解像度の複数の画像から構成される。かかる複数の画像に対しても、本願に記載の発明の方法を使用することができる。
【００８８】
本方法の第２のステップ１０２では、取得された画像（又は連続して取得された複数の画像）が図１のステップ１２に従ってニューラルネットワークへ供給される。このニューラルネットワークはモバイル装置に搭載されるのが好適であるが、必須ではない。
【００８９】
ニューラルネットワークは、モバイル装置上で実行されるアプリケーション（アプリ）又は他の任意のプログラムで実装することができる。本発明の好適な一実施形態では、ニューラルネットワークによって実行される後続の処理及び本発明の方法で実施される他のあらゆるステップは、モバイル装置外部のいかなる計算主体にもアクセスする必要なく実施されるので、モバイル装置の「オフライン」モードで本方法を実施することもできる。
【００９０】
ステップ１０２は、画像を特段処理することなく、又は画像のいかなる他の前処理も行うことなく、ニューラルネットワークへ画像を直接転送することにより実現することができる。しかしこのステップは、例えば取得当初の画像の解像度を変更し、具体的には低減する等の画像の前処理を含むこともできる。本発明の一認識は、特に画像中に指先が識別された場合、２２４×２２４×３（「３」は、画像の青、赤及び緑の３色の色値に相当する）の同等の低解像度で足りる、ということである。取得された画像が、指先を識別するために必要な２２４×２２４の画像解像度より格段に高い解像度を有する場合、ステップ１０２又はステップ１０２とステップ１０３との間に設けられるステップは、画像の解像度を低減することを含むことができる。この前処理は、輝度条件の変更、画像内のガンマ値の変更、又は適切と考えられる他の任意の前処理を提供するステップ等の他のステップを含むことができる。
【００９１】
ステップ１０２において画像が入力としてニューラルネットワークへ供給された後、この入力はステップ１０３において、物体の識別及び／又は画像中における当該物体の位置の識別を可能にする出力を生成するように、ニューラルネットワークによって処理される。物体が指先である場合、上記の処理は具体的には、画像中に存在する少なくとも１本の指先が（例えばラベルの形態で）識別されると共に、当該指先の位置（例えば当該指先を構成する画素の各座標）も何らかの態様で出力に含まれる、ということになる。これは後述のように、識別された指先に相当する位置において当該指先を包囲し包含する境界ボックスを設け、この位置において境界ボックスを当該指先に重畳することにより、達成することができる。画像を基準とするこの境界ボックスの座標は、その後、指先の位置として使用することができる。
【００９２】
ステップ１０３における入力（すなわち、実質的には受け取った画像）の処理は、ニューラルネットワークを用いることによって多数の態様で容易化することができる。いかなる場合においても、ニューラルネットワークは、バイオメトリック特性を保有する意図された物体を識別するために特化して訓練されたニューラルネットワークであることを想定している。より好適には、ニューラルネットワークは、光学センサが少なくとも１本の指先の画像を撮影できる限りにおいて、当該光学センサに対する指先の位置及び配置如何にかかわらず、入力画像中において指先を識別するために訓練されたものである。この処理は、後述するように、ニューラルネットワークの複数の層による入力の処理を含むことができる。
【００９３】
本発明では、これは少なくとも、入力をニューラルネットワークの第１の層によって処理することにより第１の中間出力を生成し、その後、ニューラルネットワークの処理方向において第１の層の次の層により第１の中間出力を処理することにより、第２の中間出力を生成することを含む。その後、この第２の中間出力はニューラルネットワーク内の次の層へ転送され、この次の層において第２の中間出力が処理されて第３の中間出力が生成され、これ以降は、ニューラルネットワーク内の全ての層が各自受け取った中間出力を処理完了するまで、同様の処理がなされる。ニューラルネットワークの最後の層が「最終的な」出力を供給し、これはその後、後述のようにステップ１０４において出力することができる。
【００９４】
本発明ではさらに、ニューラルネットワークの各層が深度で分離可能な畳み込みフィルタとなるように、２つの畳み込み層から構成されている。この深度で分離可能な畳み込みフィルタは、「深度分離可能畳み込み」とも称される。この深度分離可能畳み込み（すなわちニューラルネットワークの層）は、当該深度分離可能畳み込みによる入力の処理順に、深度畳み込み層、第１のバッチ正規化部、及び第１の整流線形ユニットを備えている。第１の整流線形ユニットの後の処理順に、点畳み込み層、第２のバッチ正規化部、及び第２の整流線形ユニットが設けられており、整流線形ユニットからの出力を受け取った第２の整流線形ユニット又は処理モジュールは、ニューラルネットワークにおける次の層へ中間出力を転送する。
【００９５】
ニューラルネットワークの全ての層によって画像を処理した後は、最終的に位置及び物体自体を識別する出力が生成される。
【００９６】
このことはステップ１０４で行われ、ステップ１０４ではニューラルネットワークの出力が出力される。本発明の複数の好適な実施形態では、この出力は「修正画像」とすることができ、識別された物体及びその位置についてのユーザフィードバックを提供するために、識別された指先を囲む境界ボックスによって当該画像を強調することができる。
【００９７】
しかし、この出力は、モバイル装置のディスプレイ又はモバイル装置に関連付けられた他のいかなるディスプレイ上にも表示する必要はない。実際、出力は後述のように、画像中における指先の位置（具体的には、指先を構成する画像の画素の座標）を正しく識別するマトリクス又はテンソルの形態とすることができ、このマトリクス又はテンソルは後続の処理モジュールへ転送することができ、この後続の処理モジュールはこの情報を使用して、具体的には指先を識別する座標を使用して、識別された指先にさらなる処理を施す。出力はその後、図１のステップ１４により、識別された物体からバイオメトリック特性を抽出するために使用することができる。
【００９８】
このさらなる処理は好適には、ユーザの指紋を識別するために、識別された指先を評価することを含むことができる。例として、指先から高解像画像が取得される場合を考察すると、本発明の方法は、最初のステップにおいて、上述のステップ１０１〜１０４を含む方法を用いて画像中における指先の位置を識別し、その後、最終的な出力を他の画像処理コンポーネントへ転送することを含むことができる。この他の画像処理コンポーネントは、指紋を識別するために指先及びその位置を識別する出力を使用して高解像画像を評価する。これは、図２を参照して説明したように、ユーザを識別して例えば他のプロセスのセキュリティを向上するために使用することができる。例えば、ユーザが自己のモバイル装置を用いて銀行振込を行うために本発明の方法を使用して自己を識別する場合、本発明の方法は、当該ユーザの正しい一意の識別を可能にすることにより、銀行振込のセキュリティを向上することができる。というのも、ユーザの指紋は当該個人を一意に識別するからである。
【００９９】
本発明は、指先を識別するために相応の方法を用いて銀行振込を行うことに限定されるものではなく、例えばモバイル装置の機能や、ユーザの識別及び認証を要求する他の任意のアクティビティ等にアクセスするために、ユーザを識別するために使用することもできる。
【０１００】
図４は、本発明の一実施形態のニューラルネットワークの一層２００における受け取った入力の内部処理を示す図である。この層２００は、ニューラルネットワークによる元の入力の処理順で、上述のステップ１０２の後に元の入力を受け取る最初の層、若しくは、ニューラルネットワークの他の２つの層２４０と２５０との間に配されたいずれかの中間層とすることができ、又は、層２００は最終的に、図１を参照して説明したステップ１０４に従って出力を供給するニューラルネットワークの最後の層とすることもできる。
【０１０１】
いかなる場合においても層２００は、少なくとも何らかの形で取得当初の画像に対応する入力２３０を受け取る。この入力は好適には、次元Ｎ×Ｍを有する少なくとも１つのマトリクスの形態であり、ここでＮ及びＭは、０より大きい整数である。マトリクスは例えば、少なくとも１つの色値（例えば赤）について画像中の画素を表すものとすることができる。よって、このマトリクスの成分は、当該特定の画素の当該色（本事例では赤）の値に相当する値を有することができる。以下の記載から明らかであるように、入力は取得された画像と同一でなくてもよく、ニューラルネットワーク内の層による何らかの処理によって、又は何らかの前処理（例えば上述の解像度低減処理等）によって元の画像を表すマトリクスから得られたマトリクスＰとすることができる。
【０１０２】
しかし説明の簡素化のため、入力２３０は、取得当初の画像を表すＮ×Ｍマトリクスに相当し、当該Ｎ×Ｍマトリクスの各成分は当該画像中の各画素の一色（例えば赤）の値に相当すると仮定する。この考え方は、元のＮ×Ｍマトリクスをニューラルネットワークの各層で処理した変換後のどのような他のマトリクスにも、容易に適用することができる。
【０１０３】
ここで、図４に例示した処理によれば、入力２３０は処理のために深度畳み込み層２１１によって受け取られる。下記では、深度畳み込み層によって入力マトリクス２３０をどのように処理できるかに関する比較的簡単な例を提示する。これは、カーネルＫを用いて当該マトリクスとの内積を算出することを含む。このカーネルは、いわゆる「ストライド」でマトリクス全体で実行される。下記の例は値１の水平方向ストライド幅及び垂直方向ストライド幅を用いているが、ストライド幅が０より大きい整数であれば、１より大きい他の任意の値を使用することができる。カーネルＫはサイズがＳ×Ｔであり、ここでＳ及びＴは整数であり、かつＮ及びＭより小さい。
【０１０４】
さらに、サイズＮ×Ｍの元の入力マトリクスＩ（すなわち入力マトリクス２３０）のみがカーネルとの内積を算出するために使用されると仮定する。しかし、カーネルとの内積を算出するために、拡張されたマトリクスＺを用いることも可能である。この拡張されたマトリクスＺは、元のマトリクスＩの最初の行の上と最後の行の下とに行を「付加」し、最初の列の左側と最後の列の右側とに列を「付加」することによって得られるものである。
【０１０５】
これは「パディング」と称される。パディングは通常、行方向に数Ｐwの行を追加し、列方向に数Ｐhの列を追加することを含む。数ＰwはＳ−１に等しくすることができ、数ＰhはＴ−１に等しくすることができ、これにより、Ｚとカーネルとで算出されたいかなる内積も、元のマトリクスＩの少なくとも１つの成分を含むこととなる。よって、これにより得られるマトリクスＺのサイズは（Ｎ＋２Ｐw）×（Ｍ＋２Ｐh）となる。このことから、マトリクスＺは以下の成分を有することとなる：
【数６】
2021517330.tif 000012
【０１０６】
ここで、全ての内積を算出してこれらを行及び列に従って適切に配列することによって得られる新たなマトリクスは、一般的に
【数７】
2021517330.tif 000013
のサイズとなる。ここで、Ｗwは行方向のストライド幅であり、Ｗhは列方向のストライド幅である。サイズＳ×Ｔの所与のカーネルＫを得るためには、新たなマトリクスのサイズが整数となるパディング及びストライド幅のみが許容されることが明らかである。さらに、ストライド幅ＷwはＳより小さく、かつストライド幅ＷhはＴより小さいことが好適である。その理由は、そうしないとマトリクスＩにおけるカーネルの動きが、元のマトリクスのうち新たなマトリクスの算出で除外されてしまう行又は列が出てきてしまうものになってしまうからである。
【０１０７】
以下では説明の簡素化のため、元のマトリクスＩに対してはパディングを行わず、水平方向及び垂直方向のストライドのストライド幅は１であると仮定する。さらに、カーネルはサイズＳ×Ｓのマトリクスであると仮定する。すなわち、Ｓ＝Ｔである特殊な事例を想定する。任意のパディング及びストライド幅及び任意のカーネルサイズに対して以下の説明を適用することは、以下の思想により容易に行える。
【０１０８】
深度畳み込み層２１１では、受け取った入力マトリクス２３０を使用して、サイズＳ×ＳのカーネルＫとの内積を求める。ここで、Ｓ＜Ｎ，Ｍである。この内積は、元のＮ×Ｍマトリクスの各削減マトリクスごとに計算され、削減マトリクスのサイズはＳ×Ｓであり、元のＮ×Ｍマトリクスのコヒーレントな成分を含む。一例としてＳ＝３の場合を考察すると、元のＮ×Ｍマトリクスの第１の削減マトリクスＲは成分ｉ＝１，２，３；ｊ＝１，２，３を有し、９個の成分から構成され、カーネルＫとの内積を計算するとその結果は単一の数となる。元のＮ×Ｍマトリクスの行方向における次の削減マトリクスは、ｉを１増分したマトリクスであり、これにより当該方向における次のマトリクスは、元のＮ×Ｍマトリクスのｉ＝２，３，４；ｊ＝１，２，３の要素から構成されることとなる。その後、このマトリクスはカーネルとの次の内積を算出するために使用される。なお、ここで提示した一例のＳ＝３であるＳ×Ｓマトリクスは単なる一例であり、他のカーネルを使用することも可能である。
【０１０９】
列／カラム方向において次のサイズ（Ｎ×Ｍ）sの削減マトリクスＲを算出するためには、元のＮ×Ｍマトリクスの要素の添え字ｊを１増分する。これは、行方向において最後の削減マトリクスまで行われ、この最後の削減マトリクスは、Ｓ＝３の場合にはｉ＝Ｎ−Ｓ＋１，Ｎ−Ｓ＋２，Ｎ−Ｓ＋３となる。上述のことは列についても同様に行われ、ｊ＝Ｍ−Ｓ＋１，Ｍ−Ｓ＋２，Ｍ−Ｓ＋３となる。これらの内積を計算することにより、サイズが（Ｎ−Ｓ＋１）×（Ｍ−Ｓ＋１）の新たなマトリクスであるマトリクスＰが算出される。その成分Ｐijは、元のＮ×Ｍマトリクスの各削減マトリクスとカーネルＫとから計算された各内積に相当する。なお、実際にはこのサイズのマトリクスが層２００の点畳み込み層へ転送される。
【０１１０】
カーネルＫは、意図されている物体を適切に識別するためにニューラルネットワークを訓練する学習プロセスによって得られた成分である。ニューラルネットワークの層２００において使用されるこのカーネルＫは、各ニューラルネットワークの他の層において使用されるカーネルと同一のサイズ及び成分である必要はない。また、カーネルの各成分は互いに同一である必要はなく、少なくとも０以上の数である。かかる成分は、ニューラルネットワークの学習を通じて得られる「重み」を表すものとみなすことができる。
【０１１１】
深度畳み込み層によるマトリクス２３０の処理の結果は、行方向ではΔｉ＝１の距離と列方向ではΔｊ＝１の距離とを有するストライドでカーネルを元のＮ×Ｍマトリクス上で移動させる場合、上述のように、サイズ（Ｎ−Ｓ＋１）×（Ｍ−Ｓ＋１）のマトリクス２３１となる。しかし、このストライドがΔｉ＝２やΔｊ＝３のようなより大きな距離を有する場合（これは列についても同様にあり得る）、これに応じて結果２３１の次元が上述のように変化することとなる。
【０１１２】
後続の処理において、この結果２３１は第１のバッチ正規化部２１２へ転送される。この第１のバッチ正規化部２１２は、図４中の矢印で示されている処理順において深度畳み込み層２１１の次である。このバッチ正規化部は、受け取った結果マトリクス２３１の正規化を試行する。この正規化は、（Ｎ−Ｓ＋１）×（Ｍ−Ｓ＋１）マトリクスの各成分の総和を算出し、これを（Ｎ−Ｓ＋１）×（Ｍ−Ｓ＋１）マトリクスの成分の数によって除算することにより達成される。要素Ｐijを有する（Ｎ−Ｓ＋１）×（Ｍ−Ｓ＋１）マトリクス（以下「Ｐ」で示す）の平均値Ｖは、次のように与えられる：
【数８】
2021517330.tif 000014
ここでｎ及びｍは、Ｎ×Ｍマトリクスの行数及びカラム／列数、又はマトリクスＰの行数及び列数を表す。要素ＰijはマトリクスＰの成分であり、所与の要素Ｐijは、当該マトリクスの第ｉ番目の行かつ第ｊ番目の列の要素である。
【０１１３】
その後、バッチ正規化部は元のマトリクスの各成分Ｐijから平均値Ｖを差し引くことにより削減マトリクスＰ’を算出し、Ｐ’ij＝Ｐij−Ｖとなる。これによって削減マトリクスＰ’内の値は正規化され、一方向又は他方向における変則値（anomalies、極端に大きい値又は極端に小さい値）がフィルタリング除去される。
【０１１４】
第１のバッチ正規化部２１２によって生成された結果２３２は、（図４の例では）未だサイズが（Ｎ−Ｓ＋１）×（Ｍ−Ｓ＋１）であるマトリクスとなる。というのもこれ以前では、マトリクスの次元削減が行われていないからである。
【０１１５】
結果２３２はその後、第１のバッチ正規化部２１２の次の第１の整流線形ユニット２１３へ供給される。
【０１１６】
この整流線形ユニットは、
2021517330.tif 000015
を算出することによって、マトリクス２３２の各成分をさらに修正する。ここで、
【数９】
2021517330.tif 000016
である。
【０１１７】
これにより、０より小さい値はバッチ正規化部を通過した後は０に設定され、これにより、以下説明する深度畳み込み層における更なる処理に影響を及ぼさなくなる。このことは、具体的には例えば、バッチ正規化部において算出された平均値を下回る色値はこれ以降考慮されず、平均値Ｖと少なくとも一致する値のみが計算の次のステップの結果に影響を及ぼす、ということである。
【０１１８】
よって、第１の整流線形ユニット２１３によって出力される結果２３３は依然として（Ｎ−Ｓ＋１）×（Ｍ−Ｓ＋１）の形状／サイズのマトリクスであり、このマトリクスは点畳み込み層２２１へ転送される。
【０１１９】
点畳み込み層２２１は結果２３４を生成する。この結果２３４は、点畳み込み層２２１が（Ｎ−Ｓ＋１）×（Ｍ−Ｓ＋１）マトリクス２３３の各成分をとって当該各成分に重みαを乗じることによって生成される。αは好適には、常に０より大きい数であり、この数は（Ｎ−Ｓ＋１）×（Ｍ−Ｓ＋１）マトリクスの各成分に対して同一である。よって、点畳み込み層２２１から得られる結果２３４は、同一サイズの（Ｎ−Ｓ＋１）×（Ｍ−Ｓ＋１）であるが各成分に重みαを乗じたマトリクスとなる。
【０１２０】
その後、結果２３４は第２のバッチ正規化部２２２へ供給され、この第２のバッチ正規化部２２２において第１のバッチ正規化部２１２について説明した態様で正規化されて、同じ次元の正規化マトリクスＰ’が結果２３５として算出される。このマトリクス／結果２３５は第２の整流線形ユニット２２３へ転送され、第２の整流線形ユニット２２３において
2021517330.tif 000017
を得るために整流関数が適用され、この結果／マトリクスはニューラルネットワークにおける次の層へ転送され、又は、ニューラルネットワークにおいて次の層がもはや無い場合には、結果２３６は出力として供給される。
【０１２１】
本発明の一認識は、指先を識別するためには図４にて説明した層２００と同一の層を１３個設けるのが最も好適である。というのも、指先の識別精度及びその位置の識別精度が比較的高くなると同時に、各方法の実装に必要なコンピュータリソースが削減され、このことによってモバイル装置により適用しやすくなるからである。
【０１２２】
図５は、複数の境界ボックスと、複数のグリッドへの元の画像の分離とを用いて指先の識別（具体的には、指先を構成する元の画像内の画素の識別）を行えるよう、図４に記載されているコンセプトを拡張した他の一実施形態を示す図である。なお、以下説明するステップはニューラルネットワーク内の各層において元の画像を処理した後に行うことができ、又は、ニューラルネットワークの最後の層において画像を処理完了した後にしか行うことができず、ひいては図３のステップ１０４で出力を出力する直前にしか行うことができない。
【０１２３】
図５で説明する実施形態は、ニューラルネットワークの層から受け取った出力に基づいて本発明に従い指先又は他の物体を高精度で完璧に識別できる、既に学習済みのニューラルネットワークであると仮定する。
【０１２４】
図５の実施形態では、ニューラルネットワークの層から受け取った出力も、指先を含む手３５０の画像３００の形態で何らかの態様で表現できると仮定する。よって、ここでは「画像」についてのみ説明するが、画像以外にも図２で説明した出力マトリクスのうちいずれかを用いることも可能であることが明らかである。
【０１２５】
最初のステップにおいて、受け取った画像３００は複数のグリッドセル３１０，３１１及び３１３に分離される。各方向のグリッドセルの数は限定されることはないが、好適な一実施形態では、画像３００は水平方向に１３個のグリッドセルと、垂直方向に１３個のグリッドセルとに分離され、一般的表現のＱ×Ｒではなく１３×１３グリッドが生成される。
【０１２６】
次のステップにおいて、各グリッドセルの中心点３３０を識別し、この中心点３３０を用いて、各グリッドセルの座標の原点をグリッドセル相互間で別々に確立する。この中心３３０まわりに、通常は方形の形状である少なくとも１つの境界ボックス３３１及び３３２が配置され、ここでは、グリッドセル３１３で分かるように、境界ボックス３３１及び３３２は初期高さｈ0及び幅又は横幅ｂ0を有する。各グリッドセルの境界ボックスが複数である場合には、その値は互いに異なることができる。例えば、各グリッドセルの最小の境界ボックスについては初期値ｈ0及びｂ0をとることができ、各グリッドセルの他の境界ボックスの寸法を計算するために、これらの値を１．５倍又は２倍又は任意の倍率で増加することができる。
【０１２７】
なお、各グリッドセルの座標系における境界ボックスの位置、例えば境界ボックス３３１の位置は、各グリッドセルにおける中心点３３０すなわち各座標系の原点を基準とする境界ボックス３３１の中心点の位置によって表されることとなる。よって、グリッドセル３１１における各境界ボックスの位置は２つの座標ｘ及びｙによって表すことができる。境界ボックスの幅及び高さは、０より大きい２つの値によって表すことができる当該境界ボックスの幾何学的特性を表すと考えられる。
【０１２８】
これらの境界ボックスは後で指先の位置を識別するために用いられるが、
これらの各境界ボックスに、境界ボックスが識別対象の指先を含む確率である第５の値を関連付けることも可能である。
【０１２９】
よって、各境界ボックスは
【数１０】
2021517330.tif 000018
の形態の５次元のベクトルによって表すことができる。
【０１３０】
これはすなわち、各グリッドセルが各々の境界ボックスと共に、次元Ｑ×Ｒ×Ｂ×Ａを有するテンソルＴの形態で表すことができる、ということである。ここで、Ａはグリッドセル１つあたりの境界ボックス数である。指先を識別するための最も好適な事例は、Ｑ＝Ｒ＝１３、Ｂ＝５（ベクトルｂの次元）であり、Ａは３〜１０の整数、最も好適には５に設定することができる。
【０１３１】
上記にて説明したように、ニューラルネットワークは特定の物体、好適には指先を識別するために既に完璧に学習済みであると仮定する。これは、指先を表す可能性が最も高い画素の特定のパターンをニューラルネットワークが識別可能であることを含む。これは、そのスポットの色値、又は輝度等の他の特性の特定のパターンをいうことができる。しかし、画像３００の指先の表示は任意であり、ニューラルネットワークを学習するために使用された指先とサイズ及び配置が一致しない指先である場合もあり得ることが明らかである。
【０１３２】
しかし、境界ボックス及びグリッドを用いることにより、指先を含む可能性が最も高い特定の境界ボックスをニューラルネットワークが識別することができる。この特定の境界ボックスを識別するためには、ニューラルネットワーク（又は、これに関連付けられ画像３００を処理する構成要素）は各グリッドセルの各境界ボックス内の画素の値を、当該ニューラルネットワークが事前に学習した指先に相当する画素のパターンと比較する。この最初の段階では、完全一致が見つかる可能性は極めて低いが、指先の少なくとも一部分を含む可能性が他の境界ボックスより既に高い境界ボックスが出てくることとなる。
【０１３３】
図５に示されている事例では、例えば、グリッドセル３１３内に点Ｍを中心として配された境界ボックス３４１は、手３５０の指先の一部を含む。これに対して、グリッドセル３１０及び３１１はいずれも、指先の一部を含む境界ボックスを含まない。続けて本方法が境界ボックス３４１内の画素値と、場合によっては境界ボックス３４０内の画素値とを評価する場合、そのプロセスは、境界ボックス３４１が指先に相当するパターンを境界ボックス３４０より含むことを判定することができる。
【０１３４】
このことに鑑みて、本方法は、境界ボックス３３１及び３３２（及び場合によっては他のグリッドセルの他の境界ボックス）のいずれも指先を含まないと結論付けることができ、これらの境界ボックスのＢベクトルの確率値を０にセットすることができる。
【０１３５】
点Ｍを中心として配された境界ボックス３４０及び３４１が指先の少なくとも一部を含むので、これらの境界ボックスは実際に指先を含む可能性があると考えることができ、その確率値は最初のステップでは０より大きい。
【０１３６】
より小さい境界ボックス３４０が、指先に相当する可能性のあるパターンによって略完全に埋め尽くされている一方、より大きい境界ボックス３４１については、本プロセスによって指先に相当するパターンを含むと考えられるのは、当該境界ボックス３４１の左側の境界のみである。
【０１３７】
これにより、本方法は続いて損失関数を計算することができる。この損失関数は、各境界ボックス３４１及び３４０内で識別されたパターンと、実際に指先に相当する学習から得られたパターンとの差を決定するものである。
【０１３８】
次のステップにおいて本方法は、各境界ボックスのサイズ及び位置を修正することにより上記の差を最小にすることを試みる。これについては、学習済みのパターンに合わせて差を最小にするため、より大きな境界ボックス３４１を開始点として使用してその位置及び形状を修正すること、又は、より小さい境界ボックス３４０を開始点として使用してその位置及びサイズを修正することが可能である。
【０１３９】
この最小化プロセスは最初に、図３に示されているように各グリッドセルの中心点Ｍまわりにｘ軸に沿った方向に少量移動させてから、その後にこれに直交するｙ軸に沿った方向に少量移動させることにより（又は、先にｙ軸に沿った方向に移動させてからその後にｘ軸に沿った方向に移動させることにより）、境界ボックスの位置を修正することを含むことができる（以下では、境界ボックス３４１がその後の計算に用いられると仮定する）。この移動は、正及び負のｘ軸及びｙ軸に沿った移動となり、位置ごとに、学習により得られたパターンと画像中で識別された実際のパターンとの差関数を求めるために比較が行われることとなる。これにより、座標に基づいて差ｄ（ｘ，ｙ）を表す二次元関数を計算することができる。
【０１４０】
これに基づいて傾き∇xyｄを計算することができ、これにより、学習済みのパターンとの一致を増大し、好適には最大化するため（関数ｄ（ｘ，ｙ）の値を最小にすることに相当する）座標系においてどの方向に境界ボックスを移動すべきかを判断することができる。これは、∇xyｄ＝０の場合に当てはまる。
【０１４１】
その結果、関数ｄ（ｘ，ｙ）が最小値をとる新たな中心点Ｍ’に向かう方向ｒに沿って境界ボックスは移動することができる。次のステップにおいて、一方向又は二方向におけるサイズ（すなわち高さ及び／又は幅）の増加又は減少が高さｈ及び幅ｂに応じてｅ（ｈ，ｂ）により表すことができる元のパターンに対する他の差関数の値を変化させるか否かを判断するため、位置Ｍ’における当該境界ボックスのサイズを増加又は減少することができる。この関数は、位置Ｍ’を有し高さｈf及び幅ｂfを有する特定の境界ボックスと学習済みのパターンとの差が最小になるように最小化される。
【０１４２】
その後、この境界ボックスは、画像３００のうち指先を含む部分を識別する確率ｐが最も高い最終的な境界ボックスとして用いられることとなる。この境界ボックスに係る出力ベクトルは、以下の形態を有することとなる。
【数１１】
2021517330.tif 000019
【０１４３】
このプロセスの結果として、次元Ｑ×Ｒ×Ｂ×Ａを有するテンソルＴが出力され、各グリッドセル内の境界ボックスごとに当該グリッドセルの中心を基準とするｘ及びｙ位置と、当該境界ボックスの幅及び高さと、当該境界ボックスが指先を識別し又は含む確率と、が得られる。
【０１４４】
隣のグリッドセルの境界ボックスが同じ方向に移動して互いに重なり合うのを阻止するため、また、別のグリッドセルの境界ボックスが他のグリッドセル内に入ってしまうのを阻止するため、本方法は境界ボックスの中心の移動がその元のグリッドセル内でしか行えないようにすることができる。
【０１４５】
よって、この結果は複数のベクトルＢを含むテンソルとなり、これらのベクトルのうち１つ又は複数は指先を識別する確率が高く、その他のベクトルは確率が低い。確率が低いベクトルは、その全ての値を０にセットすることにより完全に無視することができ、これによりテンソルを処理する際に必要な処理労力を削減することができる。
【０１４６】
その後、確率が最も高いベクトルＢを使用して、画像のさらなる処理、具体的には指先を識別する当該画像の一部分のさらなる処理を行うことができ、これによって例えば指先を処理して指紋を識別することによりモバイル装置のユーザを識別することができる。
【０１４７】
上記のアプローチは、識別された指紋等のバイオメトリック特性をさらに処理するために使用される境界ボックスを適切に識別できるものであるが、以下では、破棄すべき境界ボックスについて説明する。
【０１４８】
上記にて説明したように、境界ボックスのベクトルｂは、当該境界ボックスが指紋を含み又は表す可能性を示す確率ｐを含む。この確率ｐを用いて、全ての境界ボックス（又はその各ベクトル）を、最も高い確率値ｐを有するベクトルｂから降順にソートすることができる。
【０１４９】
これが完了すると、値ｐが最も高い境界ボックスから降順にリストを順次処理することができる。この順次処理は、リストから値ｐを有する特定の境界ボックスを選択し、この特定の境界ボックスについて、他の境界ボックスとの交差の量を計算することを含むことができる。これは具体的には、選択された特定の境界ボックスの面積と、他の境界ボックスの面積とを比較することであり、これらの境界ボックスが共有する全ての面積（すなわち境界ボックスが交差し合う面積）が、算出される交差部に寄与する。
【０１５０】
交差の量は、選択された境界ボックスの面積に対する比率として計算することができる。これにより、算出された交差部ごとに無次元の値が得られ、この無次元の値は、０（交差部なし）から１（検討対象の残りの境界ボックスが、選択された当該境界ボックスの領域と完全に交差し、又は当該領域を覆う）までの範囲である。
【０１５１】
次のステップにおいて、事前設定された閾値を用いて境界ボックスを無視若しくは破棄し、又はこれらを除外することができる。上記の例では、この閾値は０．７５の計算された交差量とすることができる。交差量がこの閾値を超える選択された境界ボックスと他の境界ボックスとの各対について、値ｐが低い境界ボックスを無視し、又は上記のリストから除外することができる。
【０１５２】
その結果、最終的に指の指先を表す１つの境界ボックスのみが残ることとなる。もちろん上記ステップの結果として、画像中にて視認可能な指の数に依存して最大４つの境界ボックスが残ることがあり得る。
【０１５３】
図６及び以下の説明では、図４を参照して説明したカーネルＫの重み及び重みαと、実際に指先を識別するパターンと、をニューラルネットワークが学習するために、ニューラルネットワークをどのようにして適切に訓練できるかを説明する。
【０１５４】
図６の方法は、訓練データ４０１及び事前設定された境界ボックス４０８の準備から開始する。この訓練データは、例えば複数の指先の画像、又は、１つの画像中に他の物体と共に表されている複数の指等の複数の画像により構成することができる。これら複数の画像は、同一画像を回転、強調、暗色化、拡大、又は他の修正を施した複製を用いて増加したものとすることができ、このような複製を訓練データとして導入する。項目４０８で準備される境界ボックスは、訓練データに含まれる画像に対応する境界ボックスであって、識別対象の物体に正しく関連付けられた境界ボックス、すなわち、正しいサイズ及び正しい位置と、図５を参照して説明した相応の確率値とを有する境界ボックスである。かかる境界ボックスは、訓練データ中の全ての画像に対して画像ごとに設けられる。
【０１５５】
次のステップにおいて、ニューラルネットワークの他に最適化部４０７及び損失関数計算部４０６がさらに設けられた訓練環境下で、ニューラルネットワークに１つの特定の入力画像４０２が供給される。
【０１５６】
この入力画像は、第１段階において、深度畳み込み層と第１のバッチ正規化部と第１の整流線形ユニット４０３（これら３つは「ＤＣＢＲ」としてまとめられている）を用いて処理され、その後、点畳み込み層と第２のバッチ正規化部と第２の整流線形ユニット（これら３つはＰＣＢＲとしてまとめられている）へ転送され、図４での説明に従い処理される。これは具体的には、各セクション４０３及び４０４それぞれにおいて点畳み込み層（ＰＣ）及び深度畳み込み層（ＤＣ）のカーネルＫに係る対応する重みを用いて、図６に示されているステップ又はセクション４０３及び４０４を図４にて説明したように、好適には１３回実行する、ということである。項目４０３及び４０４の第１及び第２のバッチ正規化部並びに整流線形ユニットは、上記にて図５を参照して説明したように動作する。
【０１５７】
その結果、図５によれば、出力は図５の第１の成分Ｔqrbaを有するサイズＱ×Ｒ×Ｂ×Ａの第１のテンソルＴとなる。この結果はその後、損失関数に供給され、損失関数では当該結果と事前設定された境界ボックスとが比較されることにより、結果４０５と、４０８から得られた正しい境界ボックスとの差が特定される。損失関数４０６により得られたこの差はその後、最適化部４０７へ供給され、最適化部４０７の方は、各点畳み込み層及び各深度畳み込み層の重み、すなわちαとカーネルＫの成分を修正する。これは具体的には、ネットワークの全ての層に対して同時に、又は各層ごとに別個に、点畳み込み層の重みαと深度畳み込み層のカーネルＫの成分を操作する、ということになる。
【０１５８】
これらの新たな値を用いて、まさに同一の画像について上記サイクルが繰り返され、その結果得られる成分Ｔ’qrbaを有するテンソルＴ’が損失関数へ供給されて正しい境界ボックスと比較され、この比較の結果が最適化部４０７へ供給されて、最適化部４０７は再び重みを修正する。
【０１５９】
この手順は、上記の結果のテンソルＴ(n)、特に識別された境界ボックスと、項目４０８の事前定義された境界ボックスと、の差が、意図された識別精度に実質的に相当する所与の閾値を超える限り行われる。
【０１６０】
そのあと、訓練データ４０１から次の入力画像４０２が取られて、対応する境界ボックスが損失関数に供給される。その後、この新たな画像について上記のプロセスを再び繰り返し、点畳み込み層及び深度畳み込み層に係る最適な重みが求められる。これは、重みの特定の組み合わせによって全ての入力画像の識別精度が適切になるまで繰り返される。このようにして得られた重みの組み合わせは、最終的な重み４１０として出力される。
【０１６１】
この最終的な重みはその後、モバイル装置上で本発明の方法を実行するアプリケーションに導入される。
【０１６２】
このようにして本発明のコンセプトでは、モバイル装置に供給されるニューラルネットワークは既にバイオメトリック特性を保有する特定の物体の識別、好適には指先の識別に完全に適したものとなっているので、さらに学習を行う必要なく当該ニューラルネットワークを用いることができ、モバイル装置で必要とされるコンピュータリソースをさらに削減することができる。
【０１６３】
総合的に、上記にて図３及び図４を参照して説明した点畳み込み層と深度畳み込み層とバッチ正規化部と整流線形ユニットとを使用すると共に、図３で説明したように元の画像を複数のグリッドセルに分離して各対応する境界ボックスを特定することにより、１メガバイト未満のアプリケーションを提供することができ、これによりインターネット等を介して他のデータソースに何らアクセスしなくても、モバイル装置単独で使用することができる。これにより、無線ネットワーク等へのアクセスが不可能である環境下での適用に適したものとなる。さらに、この用途を実行するために必要なプロセッサ性能を最小限に抑えつつ、上記にて説明したように、後で指先の指紋によって行われるユーザの識別に使用できる指先の適切な識別結果を得ることができる。
【０１６４】
上記の説明は、指の指紋を保持する側を示す手又は指の画像に焦点を当てたが、ユーザは１本又は複数本の指を、他方の側すなわち裏側から光学センサに偶然又は意図的に提示することがあり得る。指のこのような画像からは、指紋は視認できないので抽出することができない。
【０１６５】
指紋を保持する指先の画像を、指紋を見せずに爪又は指関節を見せる指先の画像と区別するためには、以下の手順を用いることができ、この手順は、識別精度を向上するように上記にて説明した方法を拡張することができる。
【０１６６】
上記の例では、境界ボックスは以下のベクトルにより特徴付けられた。
【数１２】
2021517330.tif 000020
また上記の例では、指紋を保持する指先の側を表示する指の画像のみを用いて訓練を行った。
【０１６７】
指先の両側（すなわち、指紋を保持する側と爪又は指関節を保持する側）から画像を撮影できる場合には、画像中で識別される物体の２つのクラス、すなわち、指紋を見せる指先である物体と、爪又は指関節を見せる指先である物体と、を考慮することが有利である。
【０１６８】
この場合、上述のベクトルに１次元ｃを追加して以下のように拡張することができる：
【数１３】
2021517330.tif 000021
ここで、ｃはいわゆるクラスである。第１のクラスは肯定的な識別結果（指紋を保持する指先を識別できる）とすることができ、第２のクラスは否定的な識別結果（指先は爪又は指関節を保持する）とすることができる。このクラスは、例えば肯定的な識別結果の場合には値１、否定的な識別結果の場合には値０によって表すことができる。ベクトルｂに含まれる他の値とは異なり、クラスは離散値であり、クラスの数に相当する限られた数の異なる値しかとれないことが明らかである。
【０１６９】
その後、第１のクラス又は第２のクラスのいずれかに属する画像を区別できるようにするため、（指紋を保持する指先を含む画像と境界ボックス４０８とを示す訓練データのみが供給されるのではなく）肯定的及び否定的な識別結果をニューラルネットワークへ供給して上記の訓練を行うことができる。ここで、指紋を示さずそれ以外のものを示す指の複数の画像が考えられ、この画像が示すものは、あらゆるものが考えられる。かかる「物体」は全て第２のクラス（すなわち否定的な識別結果）に分類することができ、これによりニューラルネットワークは、指紋を保持する指先の画像を、指先の「他のあらゆる」画像と区別するよう訓練される。訓練のために設けられる境界ボックスはもちろん、ネットワークを適切に訓練できるようにするため、正しいクラスｃを含むこととなる。
【０１７０】
画像中の指紋を保持する全ての指先を識別するためには、上記のプロセスは、指先の位置を表す境界ボックスであって第２のクラス（すなわち否定的な識別結果）に属すると考えられる境界ボックスを全て無視することとなり、これにより、バイオメトリック特性を見せない指先の画像又は当該画像の一部の以降の処理が阻止される。
【０１７１】
本発明の方法を実施できる場面を提示するため、図７に、本発明の一実施形態のスマートフォンの形態のモバイル装置を示す。
【０１７２】
モバイル装置５００は、現在公知のスマートフォンとして構成されている。モバイル装置５００は光学センサ５２０を備えており、これは好適には、モバイル装置５００におけるディスプレイ５３０の設置場所である側とは反対側のカメラの裏面に設けられている。カメラは、１ＭＰ又は２ＭＰ以上の解像度を有するカメラとすることができ、例えばＨＤカメラとすることができる。カメラにはフラッシュライトを備え付けることができるが、これは必須ではない。カメラはまた、解像度を低くしたリアルタイム画像を撮影するよう構成することもでき、カメラが起動されるとディスプレイ５３０は、カメラが実際に「見ている」ものを表示することができる。これは例えば手５１０とすることができる。
【０１７３】
本発明の一実施形態では、撮影画像に対して本発明の方法を実施した後、ディスプレイ５３０上に表示されている手の画像上にて、手の指先を識別する境界ボックス５１１〜５１４を強調する。上記にて詳細に説明したように、識別された境界ボックスは表示される必要はなく、例えば、指先に関連付けられた指紋を識別することによりユーザが識別されるように指先に相当する画像の一部分を処理するため、モバイル装置内部でさらに処理することができる。
【図１】
2021517330.tif 000030
【図２】
2021517330.tif 000031
【図３】
2021517330.tif 000032
【図４】
2021517330.tif 000033
【図５】
2021517330.tif 000034
【図６】
2021517330.tif 000035
【図７】
2021517330.tif 000036
【国際調査報告】
2021517330.tif 000037
2021517330.tif 000038