(57)【要約】【課題】高精度な顔認証を実現する画像識別装置を提供する。【解決手段】画像識別装置は、画像取得部１１０で取得した画像に含まれる登録用の顔画像を顔認証辞書記憶部１５０に登録し、登録用の顔画像を学習して生成される低解像辞書と高解像辞書とのペア辞書を高解像化辞書記憶部１９０に記憶する。画像識別装置は、画像取得部１１０で取得した画像に含まれる認証用の顔画像をペア辞書を用いて高解像化することで、高解像画像を生成し、生成した高解像画像と登録用の顔画像とに基づいて、認証用の顔画像の識別を行う。【選択図】図２
2019096146.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得する画像取得手段と、
前記画像取得手段で取得した画像に含まれる登録用の顔画像を登録する登録手段と、
前記登録用の顔画像を学習して低解像辞書と高解像辞書とのペア辞書を生成する学習手段と、
生成された前記ペア辞書が記憶される記憶手段と、
前記画像取得手段で取得した画像に含まれる認証用の顔画像を前記ペア辞書を用いて高解像化することで、高解像画像を生成する高解像化画像生成手段と、
前記高解像化画像生成手段で生成した前記高解像画像と前記登録手段に登録される前記登録用の顔画像とに基づいて、前記認証用の顔画像の識別を行う顔識別手段と、を備えることを特徴とする、
画像識別装置。
【請求項２】
前記学習手段は、前記登録手段に登録される全ての人物に共通な辞書である前記ペア辞書を生成することを特徴とする、
請求項１記載の画像識別装置。
【請求項３】
前記学習手段は、前記登録手段に登録される人物ごとに前記ペア辞書を生成することを特徴とする、
請求項１記載の画像識別装置。
【請求項４】
前記学習手段は、前記登録手段に登録されていない顔画像を学習した辞書を初期値とし、前記登録用の顔画像を学習して前記ペア辞書を生成することを特徴とする、
請求項１〜３のいずれか１項記載の画像識別装置。
【請求項５】
前記高解像化画像生成手段は、前記画像取得手段で取得した１枚の顔画像に、前記記憶手段に記憶されている人物ごとのペア辞書を利用して複数枚の高解像画像を生成することを特徴とする、
請求項４記載の画像識別装置。
【請求項６】
前記画像取得手段で取得した前記画像から、低解像の顔画像と高解像の顔画像とを生成する学習データ生成手段をさらに備え、
前記学習手段は、前記低解像の顔画像と前記高解像の顔画像とを学習して、前記低解像辞書と前記高解像辞書とを生成することを特徴とする、
請求項１〜５のいずれか１項記載の画像識別装置。
【請求項７】
前記学習データ生成手段は、前記画像取得手段で取得した前記画像から、顔の位置や大きさが異なる複数枚の変換顔画像からなる動画像を生成して、前記動画像から切り出した顔画像を生成し、
前記学習手段は、前記切り出した顔画像を学習することで前記ペア辞書を生成することを特徴とする、
請求項６記載の画像識別装置。
【請求項８】
前記学習データ生成手段は、前記画像取得手段で取得した前記画像から顔画像を切り取ることで前記高解像の顔画像を生成し、前記切り取った顔画像を縮小することで前記低解像の顔画像を生成することを特徴とする、
請求項６記載の画像識別装置。
【請求項９】
前記学習データ生成手段は、縮小した顔画像にボケ及びノイズの少なくとも一方を付与することで前記低解像の顔画像を生成することを特徴とする、
請求項８記載の画像識別装置。
【請求項１０】
情報処理装置が、
外部装置から取得した画像から人物の登録用の顔画像を抽出して所定の登録手段に登録し、かつ前記登録用の顔画像を学習することで生成した低解像辞書と高解像辞書とのペア辞書を所定の記憶手段に記憶しておき、
外部装置から取得した認証用の顔画像を前記ペア辞書を用いて高解像化することで、高解像画像を生成し、前記高解像画像と前記登録手段に登録される前記登録用の顔画像とに基づいて、前記認証用の顔画像の顔認証を行うことを特徴とする、
画像識別方法。
【請求項１１】
コンピュータを、
画像を取得する画像取得手段、
前記画像取得手段で取得した画像に含まれる登録用の顔画像を登録する登録手段、
前記登録用の顔画像を学習して低解像辞書と高解像辞書とのペア辞書を生成する学習手段、
生成された前記ペア辞書が記憶される記憶手段、
前記画像取得手段で取得した画像に含まれる認証用の顔画像を前記ペア辞書を用いて高解像化することで、高解像画像を生成する高解像化画像生成手段、
前記高解像化画像生成手段で生成した前記高解像画像と前記登録手段に登録される前記登録用の顔画像とに基づいて、前記認証用の顔画像の識別を行う顔識別手段、
として機能させるためのコンピュータプログラム。
【請求項１２】
請求項１１記載のコンピュータプログラムを記憶する、コンピュータにより読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像識別技術に関する。
【背景技術】
【０００２】
カメラ等の撮像装置により撮像した画像から人物の顔画像を抽出し、該顔画像により人物を特定する顔認証技術が広く用いられるようになっている。非特許文献１は、入力された輝度顔画像からＬＢＰ（Local Binary Pattern）特徴と呼ばれる特徴量を抽出して、ＬＢＰ特徴量に応じて人物を特定する技術を開示する。この技術では、ＬＢＰ特徴量と、予め登録された輝度顔画像から抽出した特徴量とを比較することで、入力された顔から人物を特定する。このような顔認証技術は、これまでデジタルカメラのオートシャッタや入退出管理に見られるように、撮像装置から被写体までの距離が短いなどの、比較的良好な撮影条件下で用いられている。
【０００３】
近年では監視カメラで取得するような遠方にある小さな顔やボケなどの低解像画像に対する顔認証の研究が行われている。低解像画像による顔認証に対する１つの手段として、画像の高解像化がある。例えば非特許文献２は、ある人物の顔画像を別人の顔画像の線形和で近似するFace hallucinationという技術を開示する。非特許文献３は、高解像化した画像を利用して顔認証を行うhallucination技術を用いた技術を開示する。
【０００４】
・hallucination技術の説明
hallucination技術は、低解像顔画像から高解像顔画像を生成する技術である。その原理の概要は、入力された低解像顔画像を他人の高解像顔画像で近似するというものである。図１６のhallucination技術の説明図により、hallucination技術の詳細を説明する。
図１６に示すように、予め様々な人物の顔画像を利用して高解像辞書と低解像辞書がペアとなっている高解像化辞書（数式１）を学習により用意する。高解像辞書と低解像辞書のペアは、数式２に示すように複数格納されている。また、高解像化辞書を構成する第１のペア、第１のペアを構成する低解像辞書、第１のペアを構成する高解像辞書のそれぞれは、数式３のように記述される。高解像化辞書と低解像辞書と高解像辞書との関係は数式４のとおりである。
【０００５】
【数１】
2019096146.tif 000003
【０００６】
高解像化辞書Ｄとして輝度画像を用いる場合には、高解像の輝度画像と低解像の輝度画像がペアとなって格納される。例えば、高解像の輝度画像は、映像中の顔が誰かを特定することが十分に可能なくらい鮮明な画像である。低解像の輝度画像は、顔が小さすぎるために又は顔がボケるために映像中の顔が誰かを特定するのが難しい画像である。
次に、入力された低解像顔画像ＩＬから低解像部分画像が切り出される。この低解像部分画像は、高解像化辞書Ｄに記憶されている高解像辞書と低解像辞書のペア辞書（数式２）のうち、低解像辞書の線形和で近似される。数式５は近似の結果である。これにより、低解像部分画像を近似する低解像辞書と結合係数α（α１、α２、α３、…）が求まる。そして、低解像辞書に対応する高解像辞書と結合係数α（α１、α２、α３、…）を用いて高解像部分画像が生成される。数式６は生成された高解像部分画像を表す。
【０００７】
【数２】
2019096146.tif 000004
【０００８】
なお、高解像化辞書Ｄは、輝度画像ではなく、エッジなどのような顔画像に共通な基底画像を利用しても良い。基底画像の例としては、非特許文献４のように主成分分析による固有顔などがある。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】T. Pajdla, and J. Matas, “Face Recognitionwith Local Binary Patterns”, ECCV, pp. 469 - 481, 2004
【非特許文献２】K. Huang, R. Hu, “Facehallucination via K-selection mean constrained sparse representation”, ICIP, pp. 882 - 885, 2012
【非特許文献３】B. Li, H. Chang, “HallucinatingFacial Images and Features”, ICPR, pp. 1-4, 2008
【非特許文献４】M. Turk, A. Pentland, Eigenfaces forRecognition, Journal of Cognitive Neurosicence, Vol. 3, No. 1, 1991, pp. 71-86
【発明の概要】
【発明が解決しようとする課題】
【００１０】
非特許文献２のように別人の顔の線形和で近似するFace hallucination技術は、予め用意しておく高解像化辞書Ｄが、画像の高解像化で重要になる。高解像化辞書Ｄは、小さい顔やボケなどの少ない情報に加え、ノイズが付加された状態からでも様々な人物の顔を十分に近似するだけの表現能力が必要である。そうでなければ、高解像化後の顔画像は本人とは似ていない顔画像となり、それを顔認証技術へ投入しても、本人とは別人の人物であると判定されてしまう可能性があるためである。しかし、実際には小さい顔やボケなど少ない情報から様々な人物の顔を十分に表現するだけでなく、ノイズなどにも対応可能な高解像化辞書Ｄを用意することは、非常に難しい。
【００１１】
本発明は、上記課題に鑑みてなされたものであり、遠方にあるような小さな顔やボケ、さらにはノイズが含まれる顔画像に対しても高精度な顔認証を実現する画像識別装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の画像識別装置は、画像を取得する画像取得手段と、前記画像取得手段で取得した画像に含まれる登録用の顔画像を登録する登録手段と、前記登録用の顔画像を学習して低解像辞書と高解像辞書とのペア辞書を生成する学習手段と、生成された前記ペア辞書が記憶される記憶手段と、前記画像取得手段で取得した画像に含まれる認証用の顔画像を前記ペア辞書を用いて高解像化することで、高解像画像を生成する高解像化画像生成手段と、前記高解像化画像生成手段で生成した前記高解像画像と前記登録手段に登録される前記登録用の顔画像とに基づいて、前記認証用の顔画像の識別を行う顔識別手段と、を備えることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、遠方にあるような小さい顔やボケ、更にはノイズが含まれる顔画像に対しても高精度な顔認証を実現することができる。
【図面の簡単な説明】
【００１４】
【図１】高解像化辞書を学習する際の顔の種類の説明図。
【図２】画像識別装置の機能ブロック図。
【図３】顔識別処理を表すフローチャート。
【図４】顔識別処理を表すフローチャート。
【図５】高解像化辞書学習データ生成部の詳細な構成図。
【図６】高解像化辞書学習データ生成処理を表すフローチャート。
【図７】切り出し画像の説明図。
【図８】切り出し画像の説明図。
【図９】低解像画像の説明図。
【図１０】動画圧縮ノイズを想定する場合のノイズ付与の説明図。
【図１１】学習データを複数のブロックに分割したときの例示図。
【図１２】ペア辞書の説明図。
【図１３】ペア辞書の説明図。
【図１４】登録された顔画像だけを利用して高解像化辞書を学習する効果の説明図。
【図１５】高解像化辞書による効果の説明図。
【図１６】hallucination技術の説明図。
【発明を実施するための形態】
【００１５】
以下、図面を参照して、実施形態を詳細に説明する。
【００１６】
顔認証技術に注目すると、近似すべき顔の種類は、限定的になる。つまり顔認証技術は、入力された顔画像が予め登録された顔画像と同一人物の顔であることを判定する技術であるため、あらゆる顔を十分に表現できる高解像化辞書Ｄを学習する必要はない。そのために顔認証技術は、予め登録した顔だけを十分に表現できる高解像化辞書Ｄを用意すればよい。本実施形態では顔認証で登録された登録顔画像を高解像化辞書Ｄに利用することによって、登録顔画像だけを十分に近似するだけの高解像化辞書Ｄを生成する。また、画像処理だけでは再現できない動画圧縮によって生じるノイズにも対応可能となるように、登録顔画像から動画像を生成し、生成した動画像から切り出した顔画像を利用して高解像化辞書Ｄを学習する。
【００１７】
図１は、hallucination技術で利用される高解像化辞書Ｄを学習する際の顔の種類の説明図である。従来の技術では、予めインターネットなどから収集するなど顔認証で登録された人物とは別の顔画像（例えば、Ｘさん、Ｙさん、Ｚさん）を利用して高解像化辞書Ｄを学習する。そして、顔認証ではその高解像化辞書Ｄを利用して、入力された顔画像に対する高解像化を行っている。
【００１８】
これに対して本実施形態は、登録された顔画像（例えば、Ａさん、Ｂさん）から１つの共通な高解像化辞書Ｄを学習する（第１手法）、或いは登録された顔画像から個人ごとの高解像化辞書Ｄを学習する（第２手法）。これは、上述したように、顔認証技術では登録された人物かどうかだけを判定できればよいので、登録顔画像だけを近似する高解像化辞書Ｄを学習することで顔認証精度向上を狙うものである。
【００１９】
（構成）
図２は、本実施形態の画像識別装置の機能ブロック図である。この画像識別装置は、不図示のＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）を備える情報処理装置により実現される。この情報処理装置は、カメラ等の撮像装置を搭載、或いは撮像装置に接続されて構成される。ＣＰＵは、ＲＯＭに格納されるコンピュータプログラムを、ＲＡＭを作業領域に用いて実行することで、情報処理装置を画像識別装置として機能させる。画像識別装置は、顔認証のための、画像取得部１１０、顔検出部１２０、顔器官検出部１３０、特徴抽出部１４０、顔認証辞書記憶部１５０、及び顔識別部１６０として機能する。また画像識別装置は、高解像化のための、高解像化辞書学習データ生成部１７０、高解像化辞書学習部１８０、高解像化辞書記憶部１９０、及び高解像化画像生成部２００として機能する。各機能ブロックは、少なくとも一部がハードウェアにより実現されていてもよい。
【００２０】
（処理）
画像識別装置は、以上のような各機能ブロックにより、顔画像の登録及び高解像化辞書の学習を行う第１動作モードと、画像の高解像化及び顔認証を行う第２動作モードと、で動作する。図３、図４は、これら第１、第２動作モードによる顔識別処理を表すフローチャートである。
【００２１】
画像識別装置は、まず、動作モードが第１モードであるか否かを判定する（Ｓ１０００）。動作モードは、例えば不図示の入力装置を用いてユーザにより設定される。第１モードである場合、画像識別装置は、第１動作モードによる動作を開始する（Ｓ１０００：Y）。第２動作モードである場合、画像識別装置は、図４に示す第２動作モードによる動作を開始する（Ｓ１０００：N）。
【００２２】
（第１動作モード：画像登録と高解像化辞書学習モード）
第１動作モードは、顔認証に利用される顔画像の登録と、画像を高解像化するための辞書を学習するための動作モードである。ここでは、顔画像の登録に用いる登録用画像は、登録する人物の顔画像を含み、良好な照明環境下で撮影された高解像画像を想定している。高解像画像は、顔画像から人物の特定が可能な解像度を有する画像である。
【００２３】
画像取得部１１０は、撮像装置から登録用画像を取得をする（Ｓ１１００）。撮像装置は、レンズなどの集光素子、光を電気信号に変換する撮像素子、アナログ信号をデジタル信号に変換するＡＤ変換器を備え、撮像した画像を表すデジタル画像データを生成する。撮像素子は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device）イメージセンサなどである。画像取得部１１０は、デジタル画像データとして登録用画像を取得する。画像取得部１１０は、登録用画像に対して間引き処理等を行うことによって、例えば、ＶＧＡ（６４０×４８０［pixel］）やＱＶＧＡ（３２０×２４０［pixel］）に変換した登録用画像を取得することも可能である。また、画像取得部１１０は、撮像装置の他に、フラッシュメモリなどの記憶媒体を介して登録用画像を取得してもよい。いずれにせよ画像取得部１１０は、外部装置から画像を取得する。画像取得部１１０は、取得した登録用画像を顔検出部１２０及び高解像化辞書学習データ生成部１７０へ送信する。
【００２４】
顔検出部１２０は、登録用画像から顔や左右の目、口などの重心位置を検出する（Ｓ１２００）。顔検出部１２０は、例えば「P. Viola, M. Jones, “Rapid Object Detection using a Boosted Cascade of Simple Features”, in Proc. Of CVPR, vol.1, pp.511-518, December, 2001」に開示される技術により、この処理を行う。
顔検出部１２０は、検出した顔や左右の目、口などの重心位置から、アフィン変換などを利用して顔の大きさが所定のサイズで顔の向きが正立するような顔画像である第１の正規化画像を生成する（Ｓ１２０１）。なお、顔の大きさは左右の目の間のユークリッド距離として定義する方法などがある。第１動作モードでは、顔検出部１２０は、生成した第１の正規化画像を顔器官検出部１３０へ送信する。
【００２５】
顔器官検出部１３０は、第１の正規化画像から、目尻や目頭などのより細かな特徴点の重心位置を検出する（Ｓ１３００）。特徴抽出部１４０は、例えば「T. F. Cootes， C. J. Taylor, D. H. Cooper, and J. Graham,  “Active Shape Models -Their Training and Application”, Computer Vision and Image Understanding, Vol. 61, No. 1, January, pp. 38 - 59, 1995」に開示される技術により、この処理を行う。
顔器官検出部１３０は、検出した特徴点の重心位置を利用して、顔の大きさが所定のサイズで顔の向きが正立するような顔画像である第２の正規化画像を生成する（Ｓ１３０１）。第１動作モードでは、顔器官検出部１３０は、生成した第２の正規化画像を特徴抽出部１４０及び高解像化辞書学習データ生成部１７０へ送信する。
【００２６】
特徴抽出部１４０は、第２の正規化画像に対して特徴抽出領域を設定し、設定した領域に対して非特許文献１に示すようなＬＢＰ特徴を抽出する（Ｓ１４００）。特徴抽出部１４０は、抽出したＬＢＰ特徴に当該顔の人物を特定する個人ＩＤに紐付けた、顔認証に用いる辞書を顔認証辞書記憶部１５０に記憶させる（Ｓ１５００）。
【００２７】
以上のＳ１０００〜Ｓ１５００の処理は、顔認証で一般的に行われる登録処理である。顔認証辞書記憶部１５０は、登録用の顔画像が登録される登録部となる。以下の処理では、画像識別装置が、登録用の顔画像を利用して、高解像化に必要な高解像化辞書Ｄを学習する。
【００２８】
高解像化辞書学習データ生成部１７０は、画像取得部１１０から受信する登録用画像及び顔器官検出部１３０から受信する第２の正規化画像に基づいて高解像化辞書Ｄを学習するために必要なデータ（高解像化辞書学習データ）を生成する（Ｓ１７００）。具体的には、高解像化辞書学習データ生成部１７０は、登録用画像から高解像画像と低解像画像とが１対１で対応するペア画像を生成する。図５は、高解像化辞書学習データ生成部１７０の詳細な構成図である。高解像化辞書学習データ生成部１７０は、画像切り取り部１７１、縮小画像生成部１７２、ボケ付与部１７３、及びノイズ付与部１７４を備える。図６は、Ｓ１７００の高解像化辞書学習データ生成処理を表すフローチャートである。
【００２９】
画像切り取り部１７１は、Ｓ１３０１の処理で生成された第２の正規化画像から少なくとも１つの切り出し画像を生成する。図７、図８は、切り出し画像の説明図である。図７の例では、画像切り取り部１７１は、顔領域中心が切り出し画像中心と一致するような切り出し画像１７１０１及び顔領域中心が切り出し画像中心よりも左側になるような切り出し画像１７１０２を生成する。Ｓ１２００の処理（顔検出）やＳ１３００の処理（顔器官検出）では、ある程度の検出誤差が生じる。この検出誤差に対応可能な高解像化辞書Ｄを作成するために、切り出し画像１７１０２が生成される。図８の例では、画像切り取り部１７１は、位置の他に顔の向きにも対応可能となるように、３Ｄモデルを利用して正面向きの顔画像である切り出し画像１７１０１から斜め横向きの顔画像１７１０３を生成する。３Ｄモデルの処理は、例えば「I. Kemelmacher-Shlizerman, “3D Face Reconstruction from a Single Image Using a Single Reference Face Shape”, PAMI, pp. 394 - 405, 2011」に開示される。
【００３０】
以上のように高解像化辞書学習データ生成部１７０は、正規化された登録用画像（第２の正規化画像）からの切り出しや３Ｄモデルの利用により、高解像化辞書Ｄを学習するために必要な高解像画像を生成する。
次に高解像化辞書学習データ生成部１７０は、高解像化辞書Ｄを学習するために必要な低解像画像を生成する。本実施形態では、画像の縮小、ボケ付与、及びノイズ付与により低解像画像を生成する。ボケ及びノイズは、例えば不図示の入力装置を用いてユーザにより付与するか否かが設定される。そのために、画像の縮小のみで低解像画像が生成される場合もあり、縮小した画像にボケ及びノイズの少なくとも一方が付与されて低解像画像が生成される場合もある。図９は、低解像画像の説明図である。
【００３１】
縮小画像生成部１７２は、第２の正規化画像から少なくとも１つの縮小画像を生成する（Ｓ１７２０）。この処理は、遠方にある小さい顔に対して高解像化可能となるようにするためである。画像の拡大・縮小方法は、バイキュービック、バイリニアなど様々な方法があるが、本実施形態ではバイリニアを利用する。図９の例では、切り出し画像１７１０１から縮小画像１７２０１が生成される。また、斜め横向きの顔画像１７１０３から縮小画像が生成されてもよい。
【００３２】
ボケ付与部１７３は、縮小画像生成部１７２が生成した縮小画像１７２０１に対してボケを付与するか否かを判定する（Ｓ１７３０）。ボケを付与する場合（Ｓ１７３０：Y）、ボケ付与部１７３は、縮小画像１７２０１に対してボケを付与した画像１７３０１（図９参照）を生成する（Ｓ１７３１）。ボケ付与には様々な方法があるが、本実施形態のボケ付与部１７３は、予め決められたカーネルサイズと標準偏差に従ったガイシアンフィルタを用いてボケを付与する。これは、焦点距離などによって生じたボケに対しても高解像化可能となるようにするためである。
【００３３】
ボケを付与しない場合（Ｓ１７３０：N）、或いはボケ付与後に、ノイズ付与部１７４は、縮小画像１７２０１に対してノイズを付与するか否かを判定する（Ｓ１７４０）。ノイズを付与する場合（Ｓ１７４０：Y）、ノイズ付与部１７４は、縮小画像１７２０１に対してノイズを付与した画像１７４０１（図９参照）を生成する（Ｓ１７４１）。センサノイズを想定する場合、ノイズ付与部１７４は、予め決められた平均と標準偏差に従ったガイシアンノイズを付与する。また、センサノイズだけでなく、Ｈ２６４などのフレーム間にわたる動画圧縮ノイズを想定する場合のノイズ付与を図１０の説明図により説明する。ノイズ付与部１７４は、図１０のように、縮小画像から、顔位置がシフトした複数枚の変換顔画像を生成し、この生成された複数枚の変換顔画像にＨ２６４などのコーデックを用いることで動画像を生成する。ノイズ付与部１７４は、生成した動画像から再び静止画像を取得することで動画圧縮ノイズを付与する。
【００３４】
ノイズを付与しない場合（Ｓ１７４０：N）、或いはノイズ付与により、高解像化辞書学習データ生成部１７０は、低解像画像の生成処理を終了する。この処理により高解像化辞書学習データ生成部１７０は、登録用画像から図９のような様々な低解像の縮小画像１７２０１、画像１７３０１、１７４０１を生成する。
以上のように高解像化辞書学習データ生成部１７０は、Ｓ１７００の処理により、高解像化辞書Ｄの学習に利用する学習データとして、高解像画像と低解像画像とのペア画像を生成する。
【００３５】
高解像化辞書Ｄを学習するための学習データの生成処理が終了すると、高解像化辞書学習部１８０は、該学習データを利用して高解像化辞書Ｄの学習を行う（Ｓ１８００）。高解像化を図１６に示すように局所領域毎に行うため、高解像化辞書学習部１８０は、Ｓ１７００の処理で生成された学習データを複数のブロックに分割する。図１１は、学習データを複数のブロックに分割したときの例示図である。ｐブロック目の高解像化辞書Ｄｐは、数式１で表される。
【００３６】
ｐブロック目の高解像化辞書Ｄｐの学習は、例えば非特許文献２に開示されるように、以下の数式７を満足する、つまり、ｐブロック目の画像ＩｐとＤｐαｐとのＬ２ノルムが最小となるＤｐ、αｐを求めることで行われる。数式７の右辺の第２項は、過適合を防止するための罰則項であり、一般的にはＬ１正則化項とも呼ばれる。
【００３７】
【数３】
2019096146.tif 000005
【００３８】
ｐブロック目の画像Ｉｐは、登録用画像からの切り出し画像１７１０１をブロックに分割した際のｐブロック目の高解像画像と、切り出し画像１７１０１から生成したｐブロック目の低解像画像と、を連結した画像である。低解像画像は、縮小画像１７２０１、更にはノイズやボケが付加された画像１７３０１、１７４０１である。
高解像化辞書Ｄｐは、pブロック目の高解像辞書と低解像辞書とを連結したペア辞書である。高解像化辞書Ｄｐは、学習する最初の段階では乱数などの初期値が設定される。但し、高解像化辞書Ｄｐは、予め登録されていない人物の顔画像を利用して高解像化辞書を学習しておき、これが初期値として設定されても良い。
Ｗ１とＷ２は、それぞれ１つの分割画像のサイズである。αｐは、線形結合係数である。
【００３９】
数式７を満たす方法は、様々な手法があるが、本実施形態では非特許文献２と同様にＫ−ＳＶＤ法を利用する。つまり、高解像化辞書学習部１８０は、学習画像Ｉｐを現在の高解像化辞書Ｄｐの線形結合Ｄｐαｐで近似表現した後、その差に対して特異分解を行い、固有値の大きさなどを利用してその差が小さくなる方向へ高解像化辞書の係数を更新する。従って、ここで作成される高解像化辞書ＤＩｐは、固有顔のような基底画像となる。但し高解像化辞書学習部１８０の処理は、これに限られるものではない。
【００４０】
図１２は、Ｓ１８００の学習処理により生成されるペア辞書の説明図である。Ｓ１８００の学習処理が終了すると、図１２に示すように、ブロックの位置ごとの高解像辞書と低解像辞書とのペア辞書（高解像化辞書）を取得することができる。
【００４１】
冒頭で説明した第１手法で生成される高解像化辞書は、登録された顔画像から１つの共通な高解像化辞書を学習する。画像Ｉｐは、登録された全ての人物のｐブロック目の分割画像になる。従って第１手法では、学習後には図１２に示すように、１つの高解像化辞書（ペア辞書）が生成される。
【００４２】
第２手法で生成される高解像化辞書は、登録された顔画像から個人ごとの高解像化辞書を学習する。画像Ｉｐは、登録された顔画像の中で同一人物のｐブロック目の分割画像になる。従って第２手法では、学習後には図１３に示すように人物毎の高解像化辞書（ペア辞書）が生成される。図１３もＳ１８００の学習処理により生成されるペア辞書の説明図である。
【００４３】
高解像化辞書を生成した高解像化辞書学習部１８０は、生成した高解像化辞書をブロック位置ｐとともにメモリである高解像化辞書記憶部１９０に記憶する（Ｓ１９００）。以上のようにして、第１動作モード（画像登録と高解像化辞書学習モード）の処理が終了する。
【００４４】
（第２動作モード：高解像化と顔認証モード）
第２動作モードは、入力される認証用の顔画像（認証用画像）に対して高解像化を行い、高解像化された認証用の顔画像を利用して顔認証を行う動作モードである。
【００４５】
図４に示すＳ１１０１〜Ｓ１２０３の処理は、第１動作モードのＳ１１０１〜Ｓ１２０１の処理と同様である。但し、画像取得部１１０が取得する画像は認証用画像であり、顔検出部１２０が生成する第１の正規化画像は認証用画像から生成される。第２動作モードでは、顔検出部１２０は、顔検出結果及び第１の正規化画像を高解像化画像生成部２００へ送信する。
【００４６】
高解像化画像生成部２００は、高解像化辞書記憶部１９０からＳ１９００の処理で記憶された高解像化辞書Ｄを取得する（Ｓ２０００）。高解像化画像生成部２００は、高解像化辞書Ｄを用いて第１の正規化画像を高解像化する（Ｓ２００１）。高解像化画像生成部２００は、まず、Ｓ１２０１による顔検出結果に基づいて高解像化を行うか否かを判定する。例えば、高解像化画像生成部２００は、左右の目のユークリッド距離が所定閾値以下である場合に高解像化を行うと判定する。
高解像化を行う場合、高解像化画像生成部２００は、図１１のように正規化された入力顔画像ｊＬ（第１の正規化画像）を複数のブロックに分割する。次に高解像化画像生成部２００は、入力顔画像ｊＬのｐブロック目の画像を数式８に示すように、高解像化辞書Ｄｐのうちの低解像辞書を用いて線形和で近似し、線形結合係数を求める。
【００４７】
【数４】
2019096146.tif 000006
【００４８】
次に高解像化画像生成部２００は、数式９に示すように低解像辞書に対応する高解像辞書と線形結合係数の線形和により、pブロック目の高解像画像を生成する。
【００４９】
【数５】
2019096146.tif 000007
【００５０】
高解像化画像生成部２００は、以上のような処理を全てのブロックに対して行う。第１手法（登録された顔画像から１つの共通な高解像化辞書を学習する）の場合、高解像化辞書は、登録された全ての顔画像に共通である。そのために入力顔画像のｐブロック目の画像からは１個の高解像画像が生成される。第２手法（登録された顔画像から個人ごとの高解像化辞書を学習する）の場合、高解像化辞書は、登録された人物の数だけ存在する。そのために入力顔画像のｐブロック目の画像からはｎ個の高解像画像が生成される。
高解像化画像生成部２００は、以上のように入力顔画像のｐブロック目の画像から高解像画像を生成する処理を全ブロックに対して行い、それらの結果を連結することで高解像画像を生成する。なお、上述した第２手法では、言うまでもないが１枚の認証用の顔画像からｎ枚の高解像画像が得られる。
【００５１】
顔器官検出部１３０は、図３のＳ１３００、Ｓ１３０１の処理と同様の処理により、高解像化画像生成部２００により生成された高解像画像から第２の正規化画像を生成する（Ｓ１３０２、Ｓ１３０３）。特徴抽出部１４０は、図３のＳ１４００の処理と同様の処理により、第２の正規化画像から特徴量を抽出する（Ｓ１４０１）。顔識別部１６０は、顔認証に用いる辞書を顔認証辞書記憶部１５０から取得する（Ｓ１６００）。顔識別部１６０は、非特許文献１に例示するように、取得した顔認証に用いる辞書とＳ１４０１の処理で抽出した特徴量に基づいて、顔認証を行う（Ｓ１６０１）。
以上のように登録される顔画像に基づく顔認証が行われる。
【００５２】
登録された顔画像だけを利用して高解像化辞書Ｄを学習する効果について説明する。図１４は、登録された顔画像だけを利用して高解像化辞書Ｄを学習する効果の説明図である。入力された低解像の顔画像がＡさんである場合、Ａさんの顔画像から生成した高解像化辞書を利用して低解像の顔画像を高解像化すると、Ａさんに似た高解像顔画像が生成される。Ｂさんの顔画像から生成した高解像化辞書を利用してＡさんの低解像の顔画像を高解像化する場合、Ｂさんに似た高解像顔画像が生成される。つまり、入力された低解像の顔画像と高解像化辞書との人物が一致した場合には本人らしい高解像顔画像が生成されるが、入力された低解像の顔画像と高解像化辞書との人物が一致しない場合には本人らしくない高解像顔画像が生成される。
【００５３】
図１５は、高解像化辞書Ｄによる効果の説明図である。図示するように、様々な人物の顔画像で学習した高解像化辞書Ｄにより高解像化したＡさんの顔画像と登録顔画像との類似度よりも、Ａさんの顔画像だけで学習した高解像化辞書Ｄにより高解像化したＡさんの顔画像と登録顔画像との類似度の方がより高くなる。このように、登録用画像だけを利用して高解像化辞書Ｄを学習することで、顔認証精度が向上するという効果が得られる。
【００５４】
以上のような本実施形態の画像識別装置は、顔認証に用いる登録画像だけを表現できるような高解像化辞書Ｄを学習して利用することで、低解像の顔画像に対して高精度な顔認証を実現することができる。また、画像識別装置は、登録された顔画像から動画像を生成し、生成した動画像から切り出した顔画像を高解像化辞書Ｄの学習に利用することで、ガウシアンノイズなどの画像処理だけでは再現できない動画圧縮によって生じるノイズにも対応する。そのために画像識別装置は、高精度な顔認証を実現することが可能となる。
【００５５】
本発明は、上述の各実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2019096146.tif 000008
【図２】
2019096146.tif 000009
【図３】
2019096146.tif 000010
【図４】
2019096146.tif 000011
【図５】
2019096146.tif 000012
【図６】
2019096146.tif 000013
【図７】
2019096146.tif 000014
【図８】
2019096146.tif 000015
【図９】
2019096146.tif 000016
【図１０】
2019096146.tif 000017
【図１１】
2019096146.tif 000018
【図１２】
2019096146.tif 000019
【図１３】
2019096146.tif 000020
【図１４】
2019096146.tif 000021
【図１５】
2019096146.tif 000022
【図１６】
2019096146.tif 000023