(57)【要約】  モーフィングまたは平均化された画像を検出するための装置３０であって、モーフィングまたは平均化された画像が、２つまたはそれ以上の対象に対応する２つまたはそれ以上の異なる原画像からの情報を含む人工的に生成された画像である。装置は、入力画像３３を受信し、該画像の特性を示す記述子特徴のセットを出力するための特徴抽出モジュールと、記述子特徴に基づいて、入力画像を、該画像がモーフィングまたは平均化されていることを示す第１のクラスまたは該画像がモーフィングまたは平均化されていないことを示す第２のクラスのいずれかに割り当てる分類部モジュール３６とを備える。特徴抽出モジュールは、分類部モジュールに相補的な記述子特徴を提供する複数のニューラルネットワーク３１、３２を含む。装置は、各ニューラルネットワークからの記述子特徴データを組み合わせ、融合された特徴データを分類部モジュールに送信するための融合モジュール３５をさらに備える。分類部モジュールは、モーフィングまたは平均化された画像およびモーフィングまたは平均化されていない画像を含む訓練データセットを用いて画像を分類するように訓練された機械学習システムを含む。【選択図】  図６
2020525947.tif 000002
【特許請求の範囲】
【請求項１】
モーフィングまたは平均化された顔画像を検出するための装置であって、前記モーフィングまたは平均化された画像が、２つまたはそれ以上の対象に対応する２つまたはそれ以上の異なる原画像からの情報を含む人工的に生成された画像であり、
入力画像を受信し、該画像の特性を示す記述子特徴のセットを出力するための特徴抽出モジュールと、
前記記述子特徴に基づいて、前記入力画像を、該画像がモーフィングまたは平均化されていることを示す第１のクラスまたは該画像がモーフィングまたは平均化されていないことを示す第２のクラスのいずれかに割り当てる分類部モジュールとを備え、
前記分類部モジュールが、モーフィングまたは平均化された画像およびモーフィングまたは平均化されていない画像を含む訓練データセットを用いて１つの画像を分類するように訓練された機械学習システムを含むことを特徴とする、装置。
【請求項２】
前記特徴抽出モジュールは、機械学習システムを含み、前記記述子特徴は、画像を含む訓練データセットの使用から決定されるパラメータに依存する、請求項１に記載の装置。
【請求項３】
前記訓練データセットは、モーフィングまたは平均化された画像およびモーフィングまたは平均化されていない画像を含む、請求項２に記載の装置。
【請求項４】
前記モーフィングまたは平均化された画像は、モーフィングまたは平均化された顔画像である、請求項１〜３のいずれかに記載の装置。
【請求項５】
前記画像から目的の領域を抽出または正規化し、前処理された前記画像を前記特徴抽出モジュールに送信するように構成された画像前処理モジュールをさらに備える、請求項１〜４のいずれかに記載の装置。
【請求項６】
前記特徴抽出モジュールは、記述子特徴のセットを提供するために前記入力画像のパッチを用いて畳み込まれるフィルタのセットを含む、請求項１〜５のいずれかに記載の装置。
【請求項７】
前記記述子特徴のセットは、畳み込みによって導出される２進量のストリングを含む、請求項６に記載の装置。
【請求項８】
前記分類部モジュールは、線形サポートベクトルマシンまたは確率的協調表現分類部を含む、請求項１〜７のいずれかに記載の装置。
【請求項９】
前記特徴抽出モジュールは、少なくとも１つの畳み込みニューラルネットワークを含む、請求項１〜８のいずれかに記載の装置。
【請求項１０】
前記特徴抽出モジュールは、前記分類部モジュールに相補的な記述子特徴を提供する複数の統計的にほぼ独立したニューラルネットワークを含む、請求項９に記載の装置。
【請求項１１】
前記ニューラルネットワークは、３つまたはそれ以上の畳み込み層を有する深層畳み込みニューラルネットワークを含む、請求項９または１０に記載の装置。
【請求項１２】
前記記述子特徴は、各深層畳み込みニューラルネットワークの最初の全結合層から抽出される、請求項１１に記載の装置。
【請求項１３】
各ニューラルネットワークからの記述子特徴データを組み合わせ、融合された前記特徴データを前記分類部モジュールに送信するための特徴レベル融合モジュールをさらに備える、請求項１０〜１２のいずれかに記載の装置。
【請求項１４】
前記ニューラルネットワークは、画像がモーフィングまたは平均化されているか否かを判定するのに適した記述子特徴を提供するようにそのフィルタを訓練するために、モーフィングまたは平均化された画像およびモーフィングまたは平均化されていない画像を含む画像のセットを用いて個々に訓練される、請求項９〜１３のいずれかに記載の装置。
【請求項１５】
モーフィングまたは平均化された画像を検出するための装置であって、前記モーフィングまたは平均化された画像が、２つまたはそれ以上の対象に対応する２つまたはそれ以上の異なる原画像からの情報を含む人工的に生成された画像であり、
入力画像を受信し、該画像の特性を示す記述子特徴のセットを出力するための特徴抽出モジュールと、
前記記述子特徴に基づいて、前記入力画像を、該画像がモーフィングまたは平均化されていることを示す第１のクラスまたは該画像がモーフィングまたは平均化されていないことを示す第２のクラスのいずれかに割り当てる分類部モジュールとを備え、
前記特徴抽出モジュールが、前記分類部モジュールに相補的な記述子特徴を提供する複数のニューラルネットワークを含み、
前記装置が、各ニューラルネットワークからの記述子特徴データを組み合わせ、融合された前記特徴データを前記分類部モジュールに送信するための融合モジュールをさらに備え、
前記分類部モジュールが、モーフィングまたは平均化された画像およびモーフィングまたは平均化されていない画像を含む訓練データセットを用いて前記画像を分類するように訓練された機械学習システムを含むことを特徴とする、装置。
【請求項１６】
前記ニューラルネットワークは、異なる深層畳み込みニューラルネットワークである、請求項１５に記載の装置。
【請求項１７】
前記ニューラルネットワークは統計的に独立している、請求項１５または１６に記載の装置。
【請求項１８】
前記モーフィングまたは平均化された画像は、モーフィングまたは平均化された顔画像である、請求項１５〜１７のいずれかに記載の装置。
【請求項１９】
請求項２〜１４のいずれかに記載された前記装置の機能をさらに備える、請求項１５に記載の装置。
【請求項２０】
前記モーフィングまたは平均化された画像が、２つまたはそれ以上の対象に対応する２つまたはそれ以上の異なる原画像からの情報を含む人工的に生成された画像であり、
入力画像を受信するステップと、
該画像の特性を示す記述子特徴のセットを生成するステップと、
前記記述子特徴に基づいて、前記画像を、該画像がモーフィングまたは平均化されていることを示す第１のクラスまたは該画像がモーフィングまたは平均化されていないことを示す第２のクラスのいずれかに割り当てることによって分類するステップとを含み、
前記分類ステップが、モーフィングまたは平均化された画像およびモーフィングまたは平均化されていない画像を含む訓練データセットを用いて１つの画像を分類するように訓練された機械学習システムを使用することを含むことを特徴とする、方法。
【請求項２１】
前記記述子特徴を生成するステップは、前記分類部モジュールに相補的な記述子特徴を提供する複数の好ましくは統計的にほぼ独立したニューラルネットワークを使用することを含み、各ニューラルネットワークからの記述子特徴データは、分類に先立って組み合わされる、請求項２０に記載の方法。
【請求項２２】
前記分類ステップにおいて使用される分類部を訓練するステップをさらに含む、請求項２０または２１に記載の方法。
【請求項２３】
モーフィングまたは平均化された画像およびモーフィングまたは平均化されていない画像を含む画像のセットを用いて、前記記述子特徴を生成する特徴抽出モジュールを、画像がモーフィングまたは平均化されているか否かを判定するのに適した記述子特徴を該モジュールが提供するように訓練するステップを含む、請求項２０〜２２のいずれかに記載の方法。
【請求項２４】
請求項１〜１８のいずれかに記載された前記装置を使用することを含む、請求項２０〜２３のいずれかに記載の方法。
【請求項２５】
コンピュータに請求項２０〜２４のいずれかに記載の前記方法を実行させるようにプログラミングまたは構成されたことを特徴とする、ソフトウェア製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作された画像の検出に関し、特に、身元確認および関連するセキュリティ対策を無効にするために操作された画像に関する。限定的ではないが、特に、本発明は、例えば、パスポートや他の身分証明書類、係る書類の申請、国境管理用途または銀行業務用途で使用される際にモーフィングまたは平均化された顔画像の検出に関する。
【背景技術】
【０００２】
顔認識は、日常生活の一部となっている汎用バイオメトリクス方法である。顔の生体的特性を、とりわけ、制限のある状況において観察する個人自動認識により、非常に高い精度が実現される。この事実によって、顔のバイオメトリクスは、国際国境管理において主要な位置を占めることとなった。顔認識システムは、過去４０年にわたって信号・パターン認識アルゴリズムから集められた知識に基づいており、これにより、正確かつ確実な顔認識アルゴリズムが得られている。このような性能の向上によって、顔のバイオメトリクスは、科学捜査から、監視、電子商取引および行政手続の電子申請（e-Government applications）に対する物理的および論理的なアクセス制御までにわたる多様な用途で使用できるようになっている。
【０００３】
バイオメトリクスによる顔基準画像は、電子パスポートおよびビザの申請の重要な一部となっており、係るパスポートは１０年間の導入期間に８億通近く発行されている。顔認識が国境管理シナリオのために選択された理由の１つは、偽陰性システムの決定の場合、国境管理官によって視認による比較を行うことができるからである。これは、他のバイオメトリクス様式（例えば、指紋認識）と比較して明確な利点である。これらの事実により、自動国境管理（Automatic Border Control：ＡＢＣ）の電子ゲート（e-gates）において顔認識の適用が正当化されている。典型的なＡＢＣシステムにおいて、電子機械可読旅行文書（electronic Machine Readable Travel Document：ｅＭＲＴＤ）とパスポート保持者（すなわち、国境警備員にｅＭＲＴＤを提示している個人）との関係は、その場で取り込まれた顔画像とｅＭＲＴＤパスポートに記憶されている基準顔画像とを比較することによって自動的に確認される。これにより、非常に確実かつ正確な国境管理処理が容易となる。実際、国際民間航空機関（International Civil Aviation Organization：ＩＣＡＯ）は、ｅＭＲＴＤ用の主要な識別子として顔画像を要求することを決定した。したがって、顔画像は、全世界のすべての電子パスポートに存在する唯一のバイオメトリクス基準である。
【０００４】
ＡＢＣシステムが広く採用されるようになるにつれ、異なる種類の攻撃に対するその顔認識サブシステムの脆弱性が注目されるようになってきている。これらの攻撃は、大きく２つのタイプに分類することができる。すなわち、ＡＢＣシステムに対する攻撃と、ｅＭＲＴＤバイオメトリクス基準に対する攻撃である。
【０００５】
前者のタイプの攻撃は、典型的には、顔の偽造物を提示することにより、パスポートゲートにおいて撮像機器（またはカメラ）に対して行われる。係る攻撃は、顔スプーフィングまたは提示攻撃と呼ばれる。しかし、これらの攻撃は、顔の偽造物（すなわち、人工提示攻撃器具）を作成し、また、それをＡＢＣ電子ゲートに提示するのに多大な労力を要する。さらに、この種の攻撃が成功するのは、ｅＭＲＴＤパスポートに提示される顔の偽造物に類似し得る顔写真を攻撃者が準備することを可能にする紛失または盗難ｅＭＲＴＤパスポートに攻撃者がアクセスすることができる場合に限られる。
【０００６】
後者のタイプの攻撃には、基準画像を置き換えることを目的として、（盗難）パスポートの論理データ構造（ＬＤＳ）に記憶されたバイオメトリクスデータを操作することが含まれる。しかし、係る攻撃は、顔画像データ集合全体にわたって算出されるハッシュを変更することを含むことになるため、容易に見つかるはずである。したがって、より効果的な手法は、パスポート申請プロトコルおよび発行用プロトコルにおける不備を利用することである。本明細書においてさらに記載され、本発明の実施形態が関連するのは、この種の攻撃である。
【０００７】
この種の攻撃は、実施が容易である。なぜなら、パスポート発行手続の大部分では、申請過程において（印刷された）顔写真を受け付けるからである。さらに、いくつかの国々では、パスポートの更新およびビザの申請用のウェブポータルにアップロードされたデジタル写真が受け付けられる。いずれの場合も、攻撃者が操作された顔写真をパスポート発行機関に提出し、それによって、物理的および電子的なセキュリティ機能を備えかつ操作された写真を含む正式なｅＭＲＴＤパスポートを受領する機会を攻撃者に与えることになる。バイオメトリクスキオスク（biometric kiosk）の使用によってこの問題に対処することは可能であるものの、これらは、ほんの少数のパスポート申請局でしか使用されていない。
【０００８】
係る攻撃の実行に必要な画像操作を行うためのソフトウェアは、無料で入手することができる。例えば、画像のリタッチ、特に、顔画像のリタッチを可能にするソフトウェアは、オンラインソーシャルメディアによってしばしば提供される。様々な異なる種類の顔画像の改変（例えば、幾何学形状、アスペクト比および美化）が、リタッチ画像のカテゴリーに含まれ、係る攻撃に利用され得る。実際、リタッチ画像に起因する係る攻撃のリスクが認識されている。非特許文献１は、自動顔認識の性能に対するデジタル改変の影響を示す研究論文である。この論文は、リタッチされた画像を検出するアルゴリズムも紹介している。
【０００９】
顔モーフィングは、申請者によって提供される画像に常に依拠しているｅＭＲＴＤパスポートおよびビザの発行プロトコルに対する最も重大な攻撃となりつつある画像操作の別形体である。 以下に説明するように、顔モーフィングは複雑な問題を引き起こすものである一方、多数のモーフィング用ソフトウェア製品が無料で入手可能であるため、モーフィング顔画像の生成の複雑性はかなり低い。例えば、ＧＩＭＰツールおよびＧＡＰツールは、高品質のモーフィング顔画像を最小限の労力で生成することができる。
【００１０】
顔モーフィング（全体的な顔モーフィングもしくは平均化、または部分に基づく顔モーフィングもしくは平均化によって行われる）の目的は、２つまたはそれ以上の異なる対象に対応する２つまたはそれ以上の異なる顔原画像から得られる固有の情報を用いて人工的に生成された新たな顔画像を生成することである。したがって、顔モーフィングは、顔画像のリタッチとは異なる。なぜなら、後者は、１つの対象に対応するただ１つの顔原画像から得られる固有の情報に依拠しているからである。生成されたモーフィング顔画像は、モーフィングされた顔に寄与した多数個のデータ対象に対応する顔の外観特徴を実質的に形成する。おそらく驚くべきことには、得られる画像は、人間の専門家（例えば、国境警備員）にとっても、また、自動バイオメトリクス顔認識システム用の類似度スコアに関しても、両方の対象に非常に類似したものとなる。
【００１１】
これにより、任意の攻撃者（例えば、よく知られている犯罪者）が自身の顔画像を他の誰か（例えば、犯罪歴のない誰か）とモーフィングし、両者によって使用可能なｅＭＲＴＤパスポートを申請するという機会が与えられる。ｅＭＲＴＤパスポートは国境管理用のＡＢＣシステムと共に現在広く使用可能となっているため、攻撃者は、このような攻撃をパスポート文書を偽造することなく行うことができる。したがって、国境管理処理の安全を保障するためには、この種の攻撃を減らす必要がある。
【００１２】
上記登録処理が顔モーフィングによる攻撃に対して脆弱であることは、民間の顔認識アルゴリズムについて示されている。また、モーフィング画像を人間が検出することが困難であることも実験によって示されている（顔認識の専門家であっても、モーフィング顔画像の検出に失敗している）。
【００１３】
さらなる問題は、印刷された画像が提出される国々のほとんどで使用されているパスポート申請処理に伴い、モーフィング顔画像は、ＩＤ文書の生成についてのＩＳＯ／ＩＥＣ規格に準じて典型的には３００ｄｐｉの解像度で印刷され、その後再びスキャンされる（パスポート事務所において）可能性があるということである。モーフィング画像の再デジタル化されたバージョンでは、モーフィング画像の検出に役立ったかもしれないピクセルレベルの情報が失われている。また、デジタルモーフィングされた画像は、モーフィング画像がパスポート／ビザ発行のために任意の対象によって提出される高品質画像に類似するように、印刷および提出に先立って視覚的品質を向上させ、ゴースト外観を除去するために、リタッチを行うことが可能である。ＡＢＣシステムは、係る画像を採用するｅＭＲＴＤパスポートに対して特に脆弱であることが示されている。
【先行技術文献】
【非特許文献】
【００１４】
【非特許文献１】IEEE Transactions on Information Forensics and Security, Vol 11, No.9, September 2016, (IEEE, USA), Bharati, Singh, Vatsa & Bowyer, "Detecting Facial Retouching Using Supervised Deep Learning", pp 1903-1913
【発明の概要】
【発明が解決しようとする課題】
【００１５】
今日までのところ、１つの画像に基づいてモーフィング顔画像を自動的かつ確実に検出するための手法は、本発明者らの研究の他には存在していない。
【課題を解決するための手段】
【００１６】
本発明の第１の態様によれば、モーフィングまたは平均化された画像を検出するための装置であって、前記モーフィングまたは平均化された画像が、２つまたはそれ以上の対象に対応する２つまたはそれ以上の異なる原画像からの情報を含む人工的に生成された画像であり、入力画像を受信し、当該画像の特性を示す記述子特徴のセットを出力するための特徴抽出モジュールと、前記記述子特徴に基づいて、前記入力画像を、当該画像がモーフィングまたは平均化されていることを示す第１のクラスまたは当該画像がモーフィングまたは平均化されていないことを示す第２のクラスのいずれかに割り当てる分類部モジュールとを備え、前記分類部モジュールが、モーフィングまたは平均化された画像およびモーフィングまたは平均化されていない画像を含む訓練データセットを用いて１つの画像を分類するように訓練された機械学習システムを含むことを特徴とする装置が提供される。
【００１７】
したがって、本発明は、分類部を訓練するための訓練データのセットを用いた機械学習によって、モーフィングまたは平均化された写真などのモーフィングまたは平均化された画像（部分または画像全体に基づく）を検出する装置を提供する。特に、訓練済み装置が、画像がモーフィングまたは平均化されているか否かを判定するために分析する１つの入力画像を用いてこれを行うことができる。前記訓練データセットは、モーフィングまたは平均化された画像およびモーフィングまたは平均化されていない画像のセットを含み得る。
【００１８】
前記装置は１つの入力画像それ自体を分析することによって判定を行うことが可能であるが、勿論、多数の係る画像を順にまたは同時にこのように分析するために使用されてもよい。
【００１９】
好ましくは、前記特徴抽出モジュールは、前記記述子特徴が画像を含む訓練データセットの使用から決定されるパラメータに依存するような機械学習システムをさらに含む。
【００２０】
本発明は、概して、モーフィングまたは平均化された画像の検出に用いることができるが、上述のパスポートおよびＩＤ文書の写真のモーフィングに関する公知の問題に鑑み、前記装置は、好ましくは、モーフィングまたは平均化された顔画像を検出し、前記分類部モジュールが前記１つの入力画像がモーフィングまたは平均化されているか否かを判定するように構成される。
【００２１】
１つの生の画像が上記装置に入力され得るが、入力画像は、可能な限り標準化されることが非常に好ましい。したがって、前記装置は、好ましくは、上記画像から目的の領域、例えば人間の顔、を抽出または正規化し、前処理された前記画像を前記特徴抽出モジュールに送信するように構成された画像前処理モジュールをさらに備える。
【００２２】
人間の顔を抽出するために、任意の適した顔検出器アルゴリズム、例えば、Ｖｉｏｌａ−Ｊｏｎｅｓアルゴリズムを用いてもよい。前処理は、例えばアフィン変換によって画像を方向付けることおよび／または画像をシステムへの入力に適した適切なサイズにクロッピングすることを含み得る。
【００２３】
原理的には、任意の適した特徴抽出システムを使用することができるが、前記特徴抽出モジュールは、有用には、記述子特徴のセットを提供するために前記入力画像のパッチを用いて畳み込まれるフィルタのセットを含んでもよい。パッチは、重なり合わなくてもよく、すなわち、画像をタイルのように並べてもよく、または任意の適した「ストライド」、すなわち、それらの中心間のピクセル数、の分だけ重なり合っていてもよい。画像のパッチおよびフィルタは、典型的には同じサイズの行列とみなすことができ、畳み込みは、行列の対応する要素を乗算することを含んでもよく、また、得られた結果を合計し、１つのフィルタにつき１つのスカラーを与えることを含んでもよい。
【００２４】
出力値のセットを提供するために、複数の係るフィルタが各パッチを用いて畳み込まれるのが好ましい。
【００２５】
前記記述子特徴のセットは、前記畳み込み、例えば、２進化された統計的画像特徴（Binarised Statistical Image Features：ＢＳＩＦ）から導出される２進量のストリングを含んでいてもよい。本明細書に記載されるように、これには、上述のスカラー値のそれぞれに１または０の２進値を割り当てることが含まれる。
【００２６】
本発明は、３×３、５×５、７×７、９×９、１１×１１、１３×１３、１５×１５および１７×１７といったフィルタサイズおよび５、６、７、８、９、１０、１１および１２といった８つの異なるビット長を使用し得る。例えば、ビット長が１２である１１×１１のサイズのフィルタが、正確性の点で、他のフィルタと比べて最も優れた性能を提供し得る。
【００２７】
前記分類部モジュールは、任意の適したタイプであり得る。同モジュールは、例えば、線形サポートベクトルマシン（linear support vector machine）または確率的協調表現分類部（probabilistic collaborative representation classifier）を含み得る。
【００２８】
本発明の好ましい形態において、前記特徴抽出モジュールは、少なくとも１つの畳み込みニューラルネットワークを含む。係るネットワークは、学習可能なフィルタ（「カーネル」ともいう）のセットをそれぞれ有する１つまたはそれ以上の畳み込み層（段階）を含む。好ましくは、前記ニューラルネットワークは、深層畳み込みニューラルネットワーク（Ｄ−ＣＮＮ）である。「深層」という用語は、複数の係るフィルタが備えられていることを意味する。３つまたはそれ以上の畳み込み層が備えられていることが好ましいが、これらの層が、５つまたはそれ以上存在することが最も好ましく、７つまたはそれ以上存在することがさらにより好ましい。
【００２９】
Ｄ−ＣＮＮの最初の畳み込み層は、その入力として、画像のパッチのセットを受信する。パッチは、重なり合っていてもよく、各パッチの中心間のピクセル数は「ストライド」と呼ばれる。白黒画像の場合、各パッチは、ｍ×ｎの寸法を有し、上記入力画像がカラーである場合、各パッチは、ｍ×ｎ×（ＲＧＢの場合）の寸法を有し、ｍおよびｎは、選択されたパッチの行および列である。
【００３０】
フィルタは、概して、寸法においてパッチに対応しており、各畳み込みは、各行列の対応するメンバを乗算し、その結果を合計することにより算出される。換言すれば、各フィルタは、入力量（パッチ）の幅および高さにわたって畳み込まれ、活性化マップ（activation map）が形成されてもよい。すべてのフィルタのマップのスタックにより、深さ寸法が形成されてもよい。したがって、層によって出力される行列の寸法は、適用されるパッチ数およびフィルタ数に対応し得る。
【００３１】
畳み込み層は、典型的には、所与のパッチからの出力として提供される行列が次の段階の入力を形成するように直列に配置される。これらの畳み込み層は、好ましくは各パッチを個別に（すなわち、並列に）取り扱うため、「全結合」とは異なり、これらは単に「局所結合」される。
【００３２】
深層ＣＮＮはまた、例えば、ｊ×ｋ個の値のセットがセット中の最大値に対応する１つの値によって置換される「最大プーリング」によって、例えば、データが「簡略化される」ように有意な特徴が抽出される「プーリング」層も有し得る。
【００３３】
前記装置は１つのニューラルネットワークを備えていてもよいが、前記特徴抽出モジュールは、前記分類部モジュールに相補的な記述子特徴を提供する複数の統計的に（少なくともほぼ）独立したニューラルネットワークを備えることが好ましい。
【００３４】
以下に記載されるように、これにより、「クロスチェック」を有効に実現する独立した記述子特徴を分類部が考慮することができるようになり、それによってシステムの信頼性が大きく向上するという点で、相乗効果がもたらされる。これは、ニューラルネットワークが同じデータに対して訓練される場合であっても、当該ネットワークが実質的に異なるアーキテクチャを有する場合には、特有の相補的な記述子特徴が当該ネットワークによって提供されることになるという、本発明者らによる認識に基づいている。
【００３５】
この概念は、特に、また単独で、進歩性を有すると考えられる。したがって、別の態様によれば、モーフィングまたは平均化された画像を検出するための装置であって、前記モーフィングまたは平均化された画像が、２つまたはそれ以上の対象に対応する２つまたはそれ以上の異なる原画像からの情報を含む人工的に生成された画像であり、入力画像を受信し、当該画像の特性を示す記述子特徴のセットを出力するための特徴抽出モジュールと、前記記述子特徴に基づいて、前記入力画像を、当該画像がモーフィングまたは平均化されていることを示す第１のクラスまたは当該画像がモーフィングまたは平均化されていないことを示す第２のクラスのいずれかに割り当てる分類部モジュールとを備え、前記特徴抽出モジュールが、前記分類部モジュールに相補的な記述子特徴を提供する複数の（好ましくは、統計的にほぼ独立した）ニューラルネットワークを含み、前記装置が、各ニューラルネットワークからの記述子特徴データを組み合わせ、融合された前記特徴データを前記分類部モジュールに送信するための融合モジュールをさらに備え、前記分類部モジュールが、モーフィングまたは平均化された画像およびモーフィングまたは平均化されていない画像を含む訓練データセットを用いて１つの画像を分類するように訓練された機械学習システムを含む装置が提供される。
【００３６】
「統計的にほぼ独立している」という用語は、それらが相補的な記述子特徴を提供し、それによって、１つのニューラルネットワークを使用する場合と比べて、検出の精度が著しく改善されることを意味する。
【００３７】
上述のように、前記ニューラルネットワークは、好ましくはＤ−ＣＮＮである。原理的には、前記記述子特徴はＤ−ＣＮＮの任意の層から得ることができるが、これらが各深層畳み込みニューラルネットワークの最初の全結合層から抽出されることが好ましい。本発明のこの態様は、他の態様に関連して記載される好適な機能または随意的な機能のいずれを備えていてもよい。特に、モーフィング顔画像の検出に適合させてもよい。
【００３８】
前記装置は２つのニューラルネットワークからの出力を使用するため、前記装置は、各深層畳み込みニューラルネットワークからの記述子特徴データを組み合わせ、融合された（例えば、連結された）前記特徴データを前記分類部モジュールに送信するための特徴レベル融合（feature level fusion）モジュールをさらに備えることが好ましい。
【００３９】
画像認識／物体検出および認識を目的としたニューラルネットワークは、係る目的のために正常な画像に基づいて事前訓練された状態で入手可能である。前記分類部はモーフィングまたは平均化された画像を検出するように別途訓練されるため、係るネットワークをさらに訓練することなく本発明において使用することが可能である。しかし、画像がモーフィングまたは平均化されているか否かを判断するのに適した記述子特徴を提供するようにそれらのフィルタを訓練するために、前記ニューラルネットワークは、モーフィングまたは平均化された画像およびモーフィングまたは平均化されていない画像（例えば、モーフィングされかつ正常な画像）を含む画像のセットを用いて個別に訓練されることが好ましい。
【００４０】
任意の適したＤ−ＣＮＮ、特に、適切な画像データベースに対して訓練済み（または微調整済みの）Ｄ−ＣＮＮを本発明において使用することができるが、本発明は、好ましくは、２つの一般的な事前訓練済みＤ−ＣＮＮ、すなわち、ＶＧＧ１９およびＡｌｅｘＮｅｔを使用する。本発明者らは、これらのＤ−ＣＮＮが統計的にほぼ独立していると判定した。
【００４１】
ＶＧＧ１９は、多数（一例として、１６〜１９）の層を有する非常に小さい（すなわち、３×３）畳み込みフィルタを使用する。一方、ＡｌｅｘＮｅｔは、やや大きめのフィルタ（例えば、最初の層におけるストライドが４である１１×１１）および８つの層（うち５つが畳み込み層）を使用する。これには、一部の出力がゼロに設定されているいくつかの「ドロップアウト」層も含まれる。
【００４２】
本発明は、対応する方法にも適用され、したがって、別の態様によれば、本発明は、前記モーフィングまたは平均化された画像が、２つまたはそれ以上の対象に対応する２つまたはそれ以上の異なる原画像からの情報を含む人工的に生成された画像であり、入力画像を受信するステップと、当該画像の特性を示す記述子特徴のセットを生成するステップと、前記記述子特徴に基づいて、前記画像を、当該画像がモーフィングまたは平均化されていることを示す第１のクラスまたは当該画像がモーフィングまたは平均化されていないことを示す第２のクラスのいずれかに割り当てることによって分類するステップとを含み、前記分類ステップが、モーフィングまたは平均化された画像およびモーフィングまたは平均化されていない画像を含む訓練データセットを用いて１つの画像を分類するように訓練された機械学習システムを使用することを含むことを特徴とする方法を提供する。
【００４３】
上述したように、前記記述子特徴を生成するステップは、好ましくは、前記分類部モジュールに相補的な記述子特徴を提供する複数の統計的にほぼ独立したニューラルネットワーク、好ましくは、Ｄ−ＣＮＮを使用することを含み、各ニューラルネットワークからの記述子特徴データは、分類に先立って組み合わされる。
【００４４】
同様に、前記方法は、前記分類ステップにおいて使用される分類部を使用に先立って訓練するステップをさらに含み得る。同方法はまた、モーフィングまたは平均化された画像およびモーフィングまたは平均化されていない画像を含む画像のセットを用いて、前記記述子特徴を生成する特徴抽出モジュールを、画像がモーフィングまたは平均化されているか否かを判定するのに適した記述子特徴を当該モジュールが提供するように訓練するステップを含み得る。
【００４５】
実際、前記方法は、本発明の装置に関連して上述された好適な機能または随意的な機能のいずれかまたはすべてに対応するステップをさらに含み得る。
【００４６】
具体的な例としては、本発明の特定の用途は、パスポート／ビザ発行所に提示され得るか、あるいは、実際、犯罪または詐欺目的で自動パスポートゲートに提示され得るモーフィングまたは平均化された画像の検出にある。したがって、本発明は、パスポートまたは他の身分証明書類に関連するモーフィング画像を検出することによって係る行為を防止する方法、および係る目的で自動化された装置（係る装置を備える自動パスポートゲートを含む）に好適に適用される。
【００４７】
本発明は、典型的にはメモリ、プロセッサおよびデータ記憶装置を含むコンピュータまたは他の適したデータ処理装置を用いて概して実現される。したがって、本発明はまた、係る装置を本発明の装置および／または方法を実現するようにプログラミングまたは構成するためのソフトウェア製品にも適用される。したがって、本発明の別の態様よれば、係るソフトウェア製品が提供される。
【００４８】
本発明の上記態様は、モーフィングまたは平均化された画像の検出に特に着目したものであるが、上述の装置および方法は、他の方法で操作された（例えば、リタッチされた）画像を検出するために同様に使用され得ることが理解される。したがって、本発明は、操作された画像の検出においてより広く使用することができる。
【００４９】
したがって、本発明の別の態様よれば、操作された画像を検出するための装置であって、入力画像を受信し、当該画像の特性を示す記述子特徴のセットを出力するための特徴抽出モジュールと、前記記述子特徴に基づいて、前記入力画像を、当該画像が操作されていることを示す第１のクラスまたは当該画像が操作されていないことを示す第２のクラスのいずれかに割り当てる分類部モジュールとを備え、前記特徴抽出モジュールが、前記分類部モジュールに相補的な記述子特徴を提供する複数のニューラルネットワークを含み、前記装置が、各ニューラルネットワークからの記述子特徴データを組み合わせ、融合された前記特徴データを前記分類部モジュールに送信するための融合モジュールをさらに備え、前記分類部モジュールが、操作された画像および操作されていない画像を含む訓練データセットを用いて１つの画像を分類するように訓練された機械学習システムを含む装置が提供される。また、本発明のさらに別の態様において、対応する方法も提供される。本発明のこれらの態様は、本発明の上述の態様に関連して上述された随意的な機能および／またはステップの恩恵を同様に受けることが理解される。
【図面の簡単な説明】
【００５０】
【図１】図１は、本発明の第１の実施形態に係るモーフィング顔画像検出システムのブロック図である。
【図２】図２は、図１の実施形態のＢＳＩＦ段階の定性的な結果を示す図である。図２（ａ）は正規化された顔画像の集合、図２（ｂ）はＢＳＩＦ特徴を示す対応する画像の集合、図２（ｃ）はそれらのＢＳＩＦ特徴のヒストグラム、図２（ｄ）は同ヒストグラムの拡大部分をそれぞれ示す。
【図３】図３は、モーフィング画像の生成に用いる対象の一対の写真である。
【図４】図４は、モーフィング画像データベースの生成に用いる対象対の正規化された画像および対応するモーフィング画像のセットである。
【図５】図５は、データベースからのモーフィング画像をモーフィング画像の生成元である対象と比較することによって得られた散乱比較スコアを示すグラフである。
【図６】図６は、本発明の第２の実施形態に係るモーフィング顔画像検出システムを示すブロック図である。
【図７】図７は、第２の実施形態で使用された３×３のフィルタサイズを有する（ａ）公知のＡｌｅｘＮｅｔネットワークおよび（ｂ）公知のＶＧＧ１９ネットワークでそれぞれ使用された深層畳み込みニューラルネットワークの畳み込み層において使用されたフィルタの重みを示す。
【図８】図８は、第２の実施形態で使用されたモーフィング画像データベースの生成に用いる対象対の正規化された画像および対応するモーフィング画像のセットである。
【図９】図９は、ＩＧ−ＳＶＭ法の性能（ａ）を第２の実施形態の性能（ｂ）と比較する一対のグラフである。
【発明を実施するための形態】
【００５１】
以下に、添付の図面を参照し、本発明についての好適な実施形態を、あくまで例として説明する。
【００５２】
まず図１を参照すると、ローバストなモーフィング顔画像検出のためのシステムの第１の実施形態１０のブロック図が示されている。同システムは、２つの主要な段階を有する。すなわち、前処理１１およびモーフィング顔検出１２である。
【００５３】
第１のステップは、検出される画像１３をシステムに入力するためのものである。
【００５４】
次に、前処理段階１１は、正規化された顔領域を抽出する。これには、まず、画像内の顔を検出することが含まれる。これは、ローバストであり実際のシナリオにおいて良好に機能する周知の物体検出フレームワークであるＶｉｏｌａ−Ｊｏｎｅｓアルゴリズムを用いて行われる。なお、他の任意の顔検出器、例えば、Ｄ−ＣＮＮに基づく顔検出器を使用してもよい。次のステップにおいて、画像１３を正規化し、アフィン変換を用いて回転を補正し、最後に、正規化された画像をｘ×ｙ個のピクセル（ここでは、１２０×１２０個のピクセル）にリサイズする。これにより、標準サイズの正規化された画像１４の出力が得られる。
【００５５】
概略的には、モーフィング顔検出段階１２は、正規化された顔画像１４から抽出された微小テクスチャ（micro-texture）特徴の解析に基づくものである。これは、２進化された統計的画像特徴（Binarised Statistical Image Features）（ＢＳＩＦ）フィルタ１５を用いて行われ、その出力（検出された特徴のセット）は、線形サポートベクトルマシン（ＳＶＭ）１６に渡されて分類される。これにより、画像は、「正常な顔」１７または「モーフィング顔」１８（すなわち、拒否される）のいずれかに分類される。
【００５６】
ＢＳＩＦフィルタリングは、画像記述子を提供するための公知の技術である（J. Kannala and E. Rahtu. "BSIF: Binarized Statistical Image Features" 21st International Conference on Pattern Recognition (ICPR), 2012 pages 1363-1366を参照）。まず、グレースケール画像を、０が平均強度を示すように、すなわち、正規化された画像を表す行列が正と負の値を有するように正規化し、次いで、Ｉ×Ｉ個のピクセルの正方形パッチに分割する。すなわち、各パッチはＩ×Ｉ個の実数行列で表される。
【００５７】
次いで、各パッチに対して、それぞれが同様にＩ×Ｉ個の実数行列である一連のｎ個の線形フィルタで畳み込みを行い、フィルタ応答を得る。各フィルタについてのフィルタ応答は、各行列の対応するメンバを乗算し、その結果を合計することにより算出される。次いで、０より大きい場合には１の出力、そうでない場合には０の出力を与えることにより、合計を２進化する。ｎ個のフィルタのセットが適用されるので、ｎ個の２進ビットのストリングが得られ、その値は、画像のＢＳＩＦ記述子（特徴）を構成し、それを分類するために用いることができる。
【００５８】
図１を参照すると、段階１５において、上記の特徴が画像から得られる。使用される特定のフィルタセットは、オープンソースのセットである。これは元々、１３個の異なる自然風景画像からランダムにサンプルされた５０，０００個の画像パッチを用いた機械学習訓練段階によって得られたものである（A. Hyvearinen, J. Hurri, and P. O. Hoyer. Natural Image Statistics, volume 39. Springer, 2009を参照）。この機械学習は、教師なし学習であり、独立成分分析法を用いたものであった（J. H. van Hateren and A. van der Schaaf. Independent component filters of natural images compared with simple cells in primary visual cortex. Proceedings of the Royal Society of London. Series B: Biological Sciences,265 (1394):359-366,1998を参照）。得られたフィルタは、統計的に高度に独立している。したがって、上記フィルタのセットは、画像認識用に最適化されているが、本実施形態においてはモーフィング画像検出に関して特別に訓練されていない。
【００５９】
ＢＳＩＦフィルタは教師なし学習に基づいて生成されるため、異なるサイズを有する任意の数のフィルタが使用され得る。本発明者らは、３×３、５×５、７×７、９×９、１１×１１、１３×１３、１５×１５および１７×１７といった８つの異なるフィルタサイズを、５、６、７、８、９、１０、１１および１２といった８つの異なるビット長を用いて評価した。開発データセット（下記を参照）に対する実験に基づき、正確性の点で最も好ましいものとして、ビット長が１２である１１×１１のフィルタサイズを選択した。
【００６０】
図２は、正常な顔画像およびモーフィング顔画像の両方について上記好ましいフィルタサイズを用いて得られたＢＳＩＦ特徴の定性的な出力を示している。第１および第２の対象２０、２１の正規化された画像を、これら２つの対象の正規化されたモーフィング画像２２と共に図２（ａ）に示す。
【００６１】
フィルタを適用した結果が図２（ｂ）に示されており、同図において、ＢＳＩＦ特徴（すなわち、各パッチの記述子）は、これらが関連しているパッチの位置においてグレースケールに変換されて示されている。加えて、図２（ｃ）に示すヒストグラムは、各パッチについての記述子の値をビンの線形シーケンスで示している。１２個のフィルタが使用されているため、各記述子のビット長は１２であり、したがって、寸法は、１×４０９６（すなわち、２12）である。
【００６２】
なお、ＢＳＩＦヒストグラムの特徴（図２（ｃ））は、正常な顔画像とモーフィング顔画像との間のヒストグラムプロファイルにおけるバラツキを示している。この違いは、図２（ｄ）に示されるように、３つの顔画像すべてについての対応するビンにおけるヒストグラムプロファイルを拡大することによってさらに明らかとなる。
【００６３】
図１を再び参照すると、記述子データ（すなわち、図２（ｃ）に示すデータ）は、次いで、線形ＳＶＭ分類部１６に渡される。これは、正の（正常な顔）サンプルおよび負の（モーフィング）サンプル（例えば、以下の実験を参照）の大きいセットを用いて、これらを高い信頼度で区別できるように周知の方法で事前に訓練されている。したがって、ＳＶＭ分類部は、記述子データを用いて、提示された顔画像が正常な（参照符号１７）クラスまたはモーフィング（参照符号１８）クラスに属しているかを判定し、対応する出力をユーザに提供する。このシステムが使用される場所、例えば、パスポート／ビザ発行所では、画像にモーフィングクラスを割り当てることにより、当該画像は拒否されることになる。
【００６４】
第１の実施形態の変形例において、ＢＳＩＦ特徴抽出システムに代えて、後述する第２の実施形態において用いられるような単一の深層畳み込みニューラルネットワーク（Ｄ−ＣＮＮ）が使用される（記載されるどちらのＤ−ＣＮＮを使用してもよい）。第２の実施形態（第２の実施形態の特徴レベル融合は必要ではない）との関連でも説明されるように、Ｄ−ＣＮＮの最初の全結合層から入力を受信し得る、第２の実施形態の分類部システムを使用してもよい。
【００６５】
［実験］
本発明者らは、１１０個のデータ対象から得られた異なる組み合わせの顔画像を用いて生成された４５０個のモーフィング画像で構成される新規な大型モーフィング顔データベースを構築した。データ収集における最初のステップは、ｅＭＲＴＤパスポート仕様に規定されるＩＣＡＯの取り込み規格に従って顔画像を取り込むことであった。この点で、本発明者らは、まず、スタジオ環境において、均一な照明、均一な背景、ニュートラルな姿勢および通常の顔の表情で正面顔画像を収集した。画像は、三脚に載置され、対象から２メートルの距離に配置されたキャノンＥＯＳ  ５５０Ｄ  ＤＳＬＲカメラを用いて取り込んだ。図３は、２つのデータ対象の取り込まれた高品質顔画像の例を示す。
【００６６】
次いで、無料で入手可能なＧＮＵ画像操作プログラム（GNU Image Manipulation Program）v２．８（ＧＩＭＰ）ツールおよびＧＩＭＰアニメーションパッケージ（GIMP Animation Package)（ＧＡＰ）ツールを用いて、モーフィング顔画像を生成した。モーフィングされる２つの顔画像を手動で位置合わせし、ＧＡＰツールに対する入力として供した。次いで、ＧＡＰツールは、ある対象から別の対象への移行を示す画像フレームのシーケンスを生成した。最終のモーフィング画像を、モーフィング処理への貢献対象の顔との類似性を確認することによって手動で選択した。図４は、それぞれに対して２つの異なる対象を用いて得られたモーフィング顔画像の３つの例を示しているが、モーフィング画像はまた、３つの対象を用いて同様に生成した。左の列は第１の対象の画像を示し、第２の列は第２の対象の画像を示し、第３の列はそれぞれのモーフィング画像を示している。
【００６７】
モーフィング顔データベースを適切に評価し、モーフィング顔検出アルゴリズムをベンチマークテストするために、４５０個のモーフィング画像のデータベース全体を３つの独立したサブセットに分割した。すなわち、訓練セット、開発セットおよび試験セットである。訓練セットは２００個のモーフィング画像で構成され、これらは、ＳＶＭ分類部を訓練するためだけに使用した。開発セットは５０個のモーフィング画像で構成され、これらは、特にＢＳＩＦフィルタの大きさおよび長さの選択において、提案されるスキームのパラメータを調整するために使用した。試験セットは２００個のモーフィング画像で構成され、これらは、モーフィング顔検出アルゴリズムの結果を報告するためだけに使用した。
【００６８】
モーフィング顔画像データベースに対し、Ｎｅｕｒｏｔｅｃｈｎｏｌｏｇｙ（http://www.neurotechnology.com/verilook.htmlを参照）から入手可能な市販のＶｅｒｉｌｏｏｋ顔認識ＳＤＫを用いて脆弱性分析を行った。分析は、モーフィング顔画像をＶｅｒｉｌｏｏｋに登録し、モーフィング画像の生成に使用したデータ対象のうちの１つに対応するプローブサンプルを使用することによって行った。したがって、登録されたモーフィング顔のそれぞれについて、モーフィング顔画像の生成に使用された対象の数に応じて、２つまたは３つの異なる比較スコアが得られた。
【００６９】
図５は、Ｖｅｒｉｌｏｏｋ顔ＳＤＫを用いて４５０個のモーフィング画像で構成されるデータベース全体に対して得られた散乱比較スコアを示す。これらのスコアの有効性は、ＦＲＯＮＴＥＸ（欧州対外国境管理協力機関）のガイドラインに従って評価される。ＦＲＯＮＴＥＸは、検証モードで動作するＡＢＣシステムにおける顔検証アルゴリズムは他人受入率（ＦＡＲ）が０．００１（０.１％）またはそれよりも良好となる性能を実現するものであるのがよいと推奨している。本構成において、ＦＲＲは、０．０５（５％）を上回らないほうがよい。実験においては、ＳＤＫによって得られた閾値スコアを用いたが、これは、上記特定のＦＡＲ＝０.１％に対して３６である。図５の赤色の垂直線は、目標ＦＡＲ＝０.１％に対応する検証閾値を示している。したがって、３６を超える比較スコアは、検証の成功とみなされる。図５から分かるように、すべてのモーフィング画像がこの閾値と良好に一致しており、これにより、実際の用途についてのモーフィング顔画像の攻撃ポテンシャル（attack potential）が示されている。
【００７０】
第１の実施形態を自動モーフィング顔検出に用いた定量的な結果について、４つの異なる最新の特徴抽出スキーム、すなわち、画質解析（Image Quality Analysis：ＩＱＡ）、局所バイナリパターン（Local Binary Patterns：ＬＢＰ）、局所位相量子化（Local Phase Quantisation：ＬＰＱ）および２Ｄ高速フーリエ変換（２ＤＦＦＴ）の比較評価と共に以下に説明する。これらの比較器は、問題に対するその関連性および近年の入力データ攻撃検出（Presentation Attach Detection）研究におけるその精度を考慮して選択された。これらの特徴抽出スキームの分類は、提案されるスキームに合わせて、線形ＳＶＭを用いて行った。
【００７１】
結果を定量化するため、２つの異なる性能評価メトリクスを定義した。すなわち、（ｉ）正常な顔画像として分類されるモーフィング顔画像（ＮＦＣＭ）（換言すれば、正常な顔画像がモーフィング顔画像として分類される比率）および（ｉｉ）正常な顔画像として分類されるモーフィング顔画像（ＭＦＣＮ）（換言すれば、正常な顔として分類されるモーフィング顔画像の比率）である。全体的な精度は、ＡＣＥＲ＝（ＮＦＣＭ＋ＭＦＣＮ）／２として定義される平均分類エラー率（ＡＣＥＲ）を用いて測定することができる。
【００７２】
表１は、第１の実施形態（表中の「提案される方法」）の定量的な結果を、本研究において使用した４つの異なるベースラインアルゴリズムと共に示している。
【００７３】
【表１】
2020525947.tif 000003
【００７４】
得られた結果に基づき、以下のことが観察される。
・最も優れた性能は、ＡＣＥＲが１．７３％である第１の実施形態（「提案される方法」）の使用について認められる。
・最も優れたＭＦＣＮは、ＭＦＣＮが１．７３％である画質解析特徴について認められるが、この設定のＮＦＣＭ値は７３.３７％とかなり高く、実際のシナリオにおいては適用不可能である。
【００７５】
したがって、ＢＳＩＦフィルタに基づく統計的な画像の使用は、従来の特徴抽出技術と比較して最も優れた性能を示した。得られた結果は、自動モーフィング顔検出についての第１の実施形態の適用可能性を示している。
【００７６】
以下に、本発明の第２の実施形態について、他の図面を参照して説明する。本実施形態は、印刷・スキャン処理を経ており、したがって「デジタル」モーフィング画像よりも検出が困難であるモーフィング画像の認識に特に適している。印刷・スキャン処理は、最も広く採用されているパスポート申請処理に対応するものである。
【００７７】
図６は、第２の実施形態のシステム３０を示すブロック図である。より詳細に後述されるように、同システムは、モーフィング顔画像を検出するための、２つの事前訓練済み深層畳み込みニューラルネットワーク（Ｄ−ＣＮＮ）３１、３２の特徴レベル融合に基づいている。使用されるニューラルネットワークは、画像認識において使用されるものとして公知であり、当該目的で事前訓練済みである。
【００７８】
畳み込みニューラルネットワークは、１つまたはそれ以上の畳み込み層（段階）を含み、これらはそれぞれ、上述の実施形態において使用されたものに類似する学習可能なフィルタ（「カーネル」ともいう）のセットを有する。「深層」という用語は、複数の係るフィルタが備えられていることを意味する。
【００７９】
第１の実施形態において用いられたＢＳＩＦ特徴抽出システムと同様、Ｄ−ＣＮＮの第１の畳み込み層は、上記画像のパッチのセットをその入力として受信する。パッチは重なり合っていてもよく、各パッチの中心間のピクセル数は「ストライド」と呼ばれる。白黒画像の場合、各パッチは、ｍ×ｎの寸法を有し、入力画像がカラーである場合、各パッチは、ｍ×ｎ×３（ＲＧＢの場合）の寸法を有し、ｍ、ｎは、画像パッチの行および列である。フィルタは、それぞれ、寸法においてパッチに対応しており、各フィルタについてのフィルタ応答（すなわち、畳み込み）は、各行列の対応するメンバを乗算し、その結果を合計することにより算出される。換言すれば、各フィルタは、入力量（パッチ）の幅および高さにわたって畳み込まれ、活性化マップが形成される。すべてのフィルタについてのマップのスタックにより、深さ寸法が形成される。したがって、上記層によって出力される行列の寸法は、適用されるパッチ数およびフィルタ数に対応している。
【００８０】
畳み込み層は、所与のパッチからの出力として提供される行列が次の段階の入力を形成するように直列に配置される。これらの畳み込み層は各パッチを個別に（すなわち、並列に）取り扱うため、「全結合」とは異なり、これらは単に「局所結合」される。
【００８１】
深層ＣＮＮはまた、例えば、ｊ×ｋ個の値のセットがセット中の最大値に対応する１つの値によって置換される「最大プーリング」によって、例えば、データが「簡略化される」ように有意な特徴が抽出される「プーリング」層も有する。
【００８２】
複数の畳み込み層（および、通常、プーリング層）に続いて、画像全体の特性に基づいてデータを受信し、入力画像を多数の分類のうち１つに割り当てる出力を提供する分類段階を含む１つまたはそれ以上の全結合層が存在する。
【００８３】
本実施形態において用いる２つの公知の深層ＣＮＮ（画像認識用に設計された）は、いくつかの全結合層が後に続く、多数の畳み込み層およびプーリング層をそれぞれ有する。これらは、ＢＳＩＦシステムに関連して記載したものと概して同様の方法で画像認識のために事前に訓練されている（すなわち、訓練データセットが機械学習処理において用いられ、それにより、画像認識のための最適なフィルタが学習される）。
【００８４】
図６を再び参照すると、第２の実施形態のシステムは、（ｉ）ブロック３４における画像３３の前処理、（ｉｉ）ブロック３５における２つのＤ−ＣＮＮ３１、３２の特徴レベル融合および（ｉｉｉ）ブロック３６における分類を含む３つの主要な機能ブロックを用いて構築される。各ブロックの機能については以下に述べる。
【００８５】
前処理ブロック３４は、それぞれ、第１の実施形態に関連して記載した対応するブロック１１と概して類似している。したがって、Ｖｉｏｌａ−Ｊｏｎｅｓアルゴリズムを用いて顔画像３３から顔検出を行い、検出された顔領域を正規化して、アフィン変換を用いて回転を補正し、画像を一例として２２７×２２７個のピクセルにリサイズする（このサイズは、当該サイズの画像を用いて同じく事前に訓練されたＤ−ＣＮＮの入力層のサイズに適合可能であるという理由で使用される）。
【００８６】
次いで、２つの異なるＤ−ＣＮＮのそれぞれに対して同様の前処理済み出力を与える。
【００８７】
システムは、２つの一般的な事前訓練済みＤ−ＣＮＮ、具体的には、ＶＧＧ１９（参照符号３１）およびＡｌｅｘＮｅｔ（参照符号３２）を使用する（(i) K. Simonyan and A. Zisserman. "Very deep convolutional networks for large-scale image recognition". arXiv preprint arXiv:1409.1556, 2014 and A. Krizhevsky, I. Sutskever; and (ii) G. E. Hinton. "Imagenet classification with deep convolutional neural networks". In Advances in neural information processing systems, pages 1097-1105, 2012をそれぞれ参照）。
【００８８】
ＶＧＧ１９は、多数（一例として１６〜１９）の層を有する非常に小さい（すなわち、３×３）畳み込みフィルタを使用する。一方、ＡｌｅｘＮｅｔは、やや大きいフィルタ（例えば、最初の層におけるストライドが４である１１×１１）および８つの層（うち５つが畳み込み層）を使用する（一部の出力がゼロに設定されたいくつかの「ドロップアウト」層も有する）。各Ｄ−ＣＮＮの畳み込み層およびプーリング層を図面において概略的に示す。
【００８９】
いずれのＤ−ＣＮＮも同じ大型のＩｍａｇｅＮｅｔデータベースに対して訓練される。しかし、これらは異なる構成（すなわち、アーキテクチャ）に基づいているため、同じデータベースに対して訓練されているにもかかわらず、モーフィング顔画像の検出に適した相補的な特徴を提供する。
【００９０】
Ｄ−ＣＮＮは、モーフィング顔データベース（以下を参照）を用いて使用される前に微調整される。
【００９１】
２つのネットワークの組み合わせは特徴レベルで行われ、特徴レベルでは、畳み込み層のセットを用いて各ネットワークから抽出された特徴が例えば連結によって融合される。図６から分かるように、出力は、両方のネットワーク３１、３２の最初の全結合層（ＦＣ−６）から抽出される。この層は、特にＡｌｅｘＮｅｔにおいてドロップアウト層が使用される前に完全な特徴を利用するために選択される。次いで、特徴レベル融合ブロック３５において、これらの特徴を連結して１つのベクトルを形成し、次いで、ベクトルを分類ブロック３６に入力する。
【００９２】
第１の実施形態の分類部と同様、公知の方法で事前に訓練された分類ブロック３６は、この特徴ベクトルを用いて画像が正常であるかモーフィングされているか（したがって、拒否されるべきか）を判定する。使用される分類部は、分類を行うための他のクラスと共に試験サンプルの尤度比を最大化する、確率的協調表現分類部（Ｐ−ＣＲＣ）である。
【００９３】
第１の実施形態と同様、第２の実施形態の分類部３６は、正常な画像およびモーフィング画像の両方を含むモーフィング顔画像データベースからの訓練データセットを用いて訓練される。このデータベースの詳細を表２に記載する。
【００９４】
【表２】
2020525947.tif 000004
【００９５】
ただし、さらに、この訓練データセットは、画像認識において事前に訓練済みであるが、モーフィング画像に関しては事前に訓練されていないＶＧＧ１９ネットワークおよびＡｌｅｘＮｅｔネットワークを個別に微調整するために使用される。この微調整には、個々のＤ−ＣＮＮを、画像をそれらが上述のように組み合わされる前に、正常な画像またはモーフィング画像に分類するように訓練することが含まれる。
【００９６】
ネットワークを微調整する間、最後の層に対し、ネットワークのその他の層と比べて高い値の学習率が適用される。使用された学習パラメータは、重み学習率係数が１０、バイアス学習率係数が２０であった。
【００９７】
［分析］
微調整済みのＶＧＧ１９およびＡｌｅｘＮｅｔのネットワーク特徴を可視化するために、両方のＤ−ＣＮＮからの３番目の畳み込み層（Ｃｏｎｖ３）からの特徴を図７に示す。
【００９８】
図７（ａ）は、畳み込みフィルタのサイズが３×３で長さが３８４の微調整済みＡｌｅｘＮｅｔからのＣｏｎｖ３の特徴を示している。興味深いことに、各畳み込みフィルタが顔の特徴およびテクスチャの特徴を示していることが観察される。さらに、強調表示領域（異なる色で示す）は、微調整済みのＡｌｅｘＮｅｔによって学習された顔特有の特徴を示している。
【００９９】
同様のことが、図７（ｂ）からも観察される。同図は、畳み込みフィルタのサイズが３×３で長さが２５６のＣｏｎｖ３層を有する微調整済みＶＧＧ１９についての対応する図である。図７（ｂ）の強調表示領域は、ＶＧＧ１９の微調整によって学習された顔の特性からの要素を示している。
【０１００】
２つの微調整済みＤ−ＣＮＮネットワークからの特徴が相補的な情報（したがって、相乗効果）をもたらす度合いを、該当する相互相関関数（ＣＣ）を以下のように計算することによって調べた。
【０１０１】
【数１】
2020525947.tif 000005
【０１０２】
以下の表３に結果を示す。
【０１０３】
【表３】
2020525947.tif 000006
【０１０４】
なお、ＣＣ値（表中では「ＣＣＣ」と称する）はいずれも非常に低く、これにより、２つのＤ−ＣＮＮから得られた特徴が本質的に相補的である、すなわち、これらが組み合わせにおいて相乗効果を有するということが示されている。
【０１０５】
分類部のモーフィング検出性能を調べるため、ＡｌｅｘＮｅｔから抽出されたＦＣ−６特徴をＦA、ＶＧＧ１９から抽出されたＦＣ−６特徴をＦVとする。次いで、抽出された特徴を、これらを連結することによって組み合わせ、Ｐ−ＣＲＣ（ＳＶＭやＲａｎｄｏｍ  Ｆｏｒｅｓｔといった他の同等の分類部を使用することもできる）を訓練するために使用する１つの特徴ベクトルＴｒF＝［ＦA｜｜ＦV］を形成した。次いで、試験顔画像ＦTeをＡｌｅｘＮｅｔネットワークおよびＶＧＧ１９ネットワークのＦＣ−６層に対して個別に投影し、対応する特徴を得た。これらをＦｔｅAおよびＦｔｅVとする。次いで、特徴連結を用いてこれらの特徴を組み合わせ、特にＰ−ＣＲＣを用いた試験特徴ベクトルとして使用する１つのベクトルＴｅF＝［ＦｔｅA｜｜ＦｔｅV］を形成し、モーフィング検出スコアを得た。本研究で用いたＰ−ＣＲＣは、以下の式で表される、学習された特徴ベクトル対プローブ特徴ベクトルに対する正則化最小二乗（Regularised Least Square Regression：ＬＳＲ）を使用する。
【０１０６】
【数２】
2020525947.tif 000007
【０１０７】
［実験］
１０４個の対象で構成された一般に入手可能な顔データベースを用いて生成されたモーフィング顔画像データベースについて、第２の実施形態を評価した。モーフィング顔画像は、ＧＮＵ画像操作プログラムv２.８（ＧＩＭＰ）およびＧＩＭＰアニメーションパッケージ（ＧＡＰ）ツールなどの無料で入手可能なソフトウェアパッケージを用い、標識点の位置合わせを手動で行い、高品質モーフィング画像を得た。次いで、パスポート発行手続の実際のシナリオをシミュレーションするため、デジタルモーフィング画像を印刷・スキャンしたバージョンを生成した。
【０１０８】
したがって、高品質写真用紙（３００グラム）および印刷解像度１２００ｄｐｉのＨＰ  Ｐｈｏｔｏｓｍａｒｔ５５２０を用い、それぞれのデジタルモーフィング画像を印刷した。次のステップにおいて、２つの異なる種類のスキャナ、すなわち（ｉ）ＨＰのＰｈｏｔｏ  Ｓｃａｎｎｅｒおよび（ｉｉ）リコーのオフィススキャナを用い、印刷された画像をスキャンした。ｅＰａｓｓにおける顔画像参照に関するＩＣＡＯ仕様に従い、印刷された写真を３００ｄｐｉとなるようにスキャンした。
【０１０９】
図８は、デジタルモーフィング画像４０（上の行）、ＨＰのスキャナ４１を用いて印刷・スキャンした画像（中央の行）およびリコーのスキャナ４２を用いて印刷・スキャンした画像（下の行）の例を示す。図８の各行の中央の画像４４は、モーフィング顔画像の両側に示す２つの異なる対象４３、４５を用いて生成されたモーフィング顔画像に対応している。
【０１１０】
図８から分かるように、知覚的な画質は、印刷・スキャン処理に伴って劣化する。この影響により、検出がより困難なものとなる。本研究で使用されるデータベースは、訓練および試験に用いられる２つのばらばらの（あるいは重なり合わない）サブセットに分割された３５２個の真正顔画像および４３１個のモーフィング顔画像（デジタル、ＨＰを用いた印刷・スキャン、リコーを用いた印刷・スキャンなどの３つのバージョン全てについて）を有する。訓練セットおよび試験セットについて、サンプルの分布は上記表２に示されている。
【０１１１】
モーフィング顔画像を生成する処理は、真正画像の質と比べて異なる質をもたらす画像に対する一連の前処理操作および後処理操作を含む。分類部がモーフィングの影響ではなく、質／圧縮差を検出する場合があるため、このような差分的な質指標は、モーフィング検出性能を偏らせ得る。したがって、本発明者らは、真正顔画像およびモーフィング顔画像の両方に対して前処理操作および後処理操作の同等のシーケンスを適用することにより、モーフィング画像と真正顔画像が同じ質を有するよう、さらに留意した。
【０１１２】
ＩＳＯ／ＩＥＣ  ３０１０７−３に従って以下のように規定される攻撃提示分類エラー率（Attack Presentation Classification Error Rate：ＡＰＣＥＲ）と真正提示分類エラー率（Bona Fide Presentation Classification Error Rate：ＢＰＣＥＲ）との相関を示す検出誤りトレードオフ（Detection Error Trade-off：ＤＥＴ）プロットを用い、モーフィング顔検出アルゴリズムの性能を報告する。
・ＡＰＣＥＲ：特定のシナリオにおいて、攻撃提示（すなわち、モーフィングされた顔サンプル）が誤って真正提示として分類される割合。
・ＢＰＣＥＲ：特定のシナリオにおいて、真正な提示が誤って提示攻撃（すなわち、モーフィング画像）として分類される割合。
加えて、５％および１０％での固定ＡＰＣＥを設定し、対応するＢＰＣＥＲを報告することにより、結果を報告する。モーフィング顔検出アルゴリズムによって得られるＡＰＣＥＲおよびＢＰＣＥＲの両方の値が低いほど、最も優れた検出性能を示す。
【０１１３】
最新のモーフィング顔検出アルゴリズムを用いた本発明者らのベンチマークにおける方法のローバスト性を評価するため、２つの異なる実験を行った。
【０１１４】
実験１：本実験においては、デジタル顔画像データベースおよび印刷・スキャン済みモーフィング顔画像データベースについて、提案される方法の検出性能を最新の方法と共に個別に評価した。本実験では、訓練データおよび試験データが同じソース（デジタル、印刷・スキャン済み（ＨＰ）または印刷・スキャン済み（リコー））からのものとなるように、検出スキームの性能を分析した。したがって、検出方法では、検出される印刷・スキャン済みモーフィング顔画像の生成に使用するプリンタ／スキャナの種類が予めわかっている。
【０１１５】
実験２：本実験は、本実施形態のモーフィング顔検出アルゴリズムを含むモーフィング顔検出アルゴリズムのローバスト性を試験するために設計されたものである。モーフィング検出方法は、異なるデータソースに対して訓練および試験した。例えば、モーフィング顔検出アルゴリズムをデータベースのデジタルバージョンに対して訓練し、印刷スキャン済みバージョン（ＨＰまたはリコー）に対して試験した。本実験により、モーフィング検出アルゴリズムの汎化能力が示された。さらに、世界中の異なるパスポート発行当局で異なるスキャナが使用されているので、実験２はまた、モーフィング顔画像の検出の現実的なシナリオにも対処している。
【０１１６】
以下の表４は、デジタルサブセット、ＨＰ印刷・スキャン済みサブセットおよびリコー印刷・スキャン済みサブセットに対して個別に評価された４つの異なる最新アルゴリズムを用いたベンチマークにおける提案されるスキームの定量的な結果を示している。
【０１１７】
【表４】
2020525947.tif 000008
【０１１８】
図９は、３つのモーフィング顔データタイプすべてに対する画像勾配（ＩＧーＳＶＭ）に基づく提案される方法および最新の方法の性能を示すＤＥＴ曲線を示している。簡略化のため、２本のＤＥＴ曲線のみを含んでいるが、すべての結果の詳細は上記表４に示されている。以下は、実験１から得られる主な所見である。
・第２の実施形態のシステムは、モーフィング顔データベースのデジタルバージョンおよび印刷・スキャン済みバージョンの両方に対する３つの個別評価すべてにおいて、最も優れた検出性能を示した。同システムは、デジタル画像データベースに対して最小の検出等価エラー率（Ｄ−ＥＥＲ（％））８．２３％、印刷・スキャン済み画像データベース（ＨＰ）に対してＤ−ＥＥＲ１７.６４％、印刷・スキャン済み画像データベース（リコー）に対してＤ−ＥＥＲ１２．４７％を示した。２番目に優れた検出性能は、ＢＳＩＦ-ＳＶＭスキームについて認められる。
・全体として、微小テクスチャスキームに基づく最新スキームの検出性能は、データベースの３つのバージョンすべてに対して劣化した性能を示している。
・第２の実施形態のシステムを含むモーフィング検出アルゴリズムの検出性能は、データベースのデジタルバージョンに対して、印刷・スキャン済みバージョンと比べて劣化していることが示されている。しかし、リコーを用いて生成された印刷・スキャン済みデータベースに対する本実施形態の性能は、Ｄ−ＥＥＲが１２.４７％、ＡＰＣＥＲ＝５％でのＢＰＣＥＲ＝１６.４３％という妥当な性能を示していることは興味深い。このことは、デジタルモーフィング顔画像および印刷・スキャン済みモーフィング顔画像の両方の検出に対する提案されるスキームのローバスト性を示している。
・スキャナの種類もまた、モーフィング顔検出アルゴリズムの性能に影響を及ぼす。上記実験により、高品質の印刷写真をフォトスキャナと共に用いることによってモーフィング検出がより困難となることが明らかとなった。このことは上記実験において証明されている。なぜなら、本実施形態を含むモーフィング顔検出アルゴリズムの性能は、リコー製オフィススキャナを用いて生成された印刷・スキャン済みデータベースと比べて、ＨＰ製フォトスキャナを用いて生成された印刷・スキャン済みデータベースに対して高いエラー率を示しているからである。
【０１１９】
実験２に従ったデータベース交差評価に対する提案されるスキームおよび最新のスキームの性能を以下の表５に示す。
【０１２０】
【表５】
2020525947.tif 000009
【０１２１】
簡略を期すため、提案されるスキームの結果は、ＢＳＩＦ-ＳＶＭに基づく２番目に優れた方法と共に示されている。以下は、実験２から推論される主要な所見である。
・モーフィング検出アルゴリズムの性能は、実験１で得られた結果のそれと比較して劣化している。
・最も優れた検出性能は、最新のスキームと比べて向上した性能を顕著に示す本実施形態について認められる。
・本実施形態の最も優れた検出性能は、訓練データが、モーフィング顔データベースのデジタルバージョンに対応している場合およびデータベースの印刷・スキャン済みバージョンを試験する場合に観察される。このことは、最新スキームと比較した場合の本実施形態のローバスト性を示している。したがって、広範にわたる実験に基づき、第２の実施形態のシステムは、異なる種類のスキャナから生成されたデジタルバージョンおよび印刷・スキャン済みバージョンの両方におけるモーフィング顔画像の検出の最も優れた方法であることが明らかとなった。同システムはまた、実験２で示されたプロトコルに従ったデータベース交差評価に対して最も優れた性能を示しており、他の最新の方法と比較した場合の提案される方法の適用可能性を示すものである。
【図１】
2020525947.tif 000010
【図２】
2020525947.tif 000011
【図３】
2020525947.tif 000012
【図４】
2020525947.tif 000013
【図５】
2020525947.tif 000014
【図６】
2020525947.tif 000015
【図７】
2020525947.tif 000016
【図８】
2020525947.tif 000017
【図９】
2020525947.tif 000018
【国際調査報告】
2020525947.tif 000019
2020525947.tif 000020