(57)【要約】【課題】認識に用いる情報を適切なタイミングで更新可能とする。【解決手段】判定装置は、抽出部と、判定部と、出力制御部と、を備える。抽出部は、入力画像から属性を抽出する。判定部は、抽出された属性と、認識に使用するパラメータの学習に使用した第１学習画像の属性との差分に基づいて、パラメータを学習するか否かを判定する。出力制御部は、パラメータを学習すると判定された場合に、パラメータの学習処理を実行する時期を出力する。【選択図】図１
2019164414.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から属性を抽出する抽出部と、
抽出された前記属性と、認識に使用するパラメータの学習に使用した第１学習画像の属性との差分に基づいて、前記パラメータを学習するか否かを判定する判定部と、
前記パラメータを学習すると判定された場合に、前記パラメータの学習処理を実行する時期を出力する出力制御部と、
を備える判定装置。
【請求項２】
前記パラメータの学習で使用する学習データを記憶する記憶部と、
前記パラメータを学習すると判定された場合に、抽出された前記属性と、前記学習データとに基づいて、前記学習処理が実行可能となる時期を予測する予測部と、をさらに備え、
前記出力制御部は、予測された時期を出力する、
請求項１に記載の判定装置。
【請求項３】
前記判定部は、前記第１学習画像の属性の第１統計分布と、前記入力画像から抽出された属性の第２統計分布と、の差分に基づいて、前記パラメータを学習するか否かを判定し、
前記予測部は、前記学習データおよび入力が予想される入力画像から得られる属性の統計分布が、前記第２統計分布となる時期を、前記学習処理が実行可能となる時期として予測する、
請求項２に記載の判定装置。
【請求項４】
前記判定部は、前記第１学習画像の属性の第１統計分布と、前記入力画像から抽出された属性の第２統計分布と、の差分に基づいて、前記パラメータを学習するか否かを判定する、
請求項１に記載の判定装置。
【請求項５】
前記入力画像は、顔を撮像した画像であり、
前記属性は、顔の大きさ、照明方向、顔の向き、性別、および、年齢のうち少なくとも１つである、
請求項１に記載の判定装置。
【請求項６】
入力画像から属性を抽出する抽出ステップと、
抽出された前記属性と、認識に使用するパラメータの学習に使用した第１学習画像の属性との差分に基づいて、前記パラメータを学習するか否かを判定する判定ステップと、
前記パラメータを学習すると判定された場合に、前記パラメータの学習処理を実行する時期を出力する出力制御ステップと、
を含む判定方法。
【請求項７】
コンピュータを、
入力画像から属性を抽出する抽出部と、
抽出された前記属性と、認識に使用するパラメータの学習に使用した第１学習画像の属性との差分に基づいて、前記パラメータを学習するか否かを判定する判定部と、
前記パラメータを学習すると判定された場合に、前記パラメータの学習処理を実行する時期を出力する出力制御部と、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、判定装置、判定方法およびプログラムに関する。
【背景技術】
【０００２】
顔認識技術を用いた本人認証システムを運用する際、高い認識性能を実現するため、および、認識性能が低下したときの対応のために、登録辞書を更新する方法がある。例えば、顔認識時に使用した入力画像を使い、個人辞書を更新する手法が提案されている。その手法では、撮影環境も合わせて計測し、過去の撮影環境の分布に基づいて過去の入力画像の重みを変えて個人辞書の更新を認識ごとに、または、定期的に行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−０３１１０３号公報
【非特許文献】
【０００４】
【非特許文献１】Takeshi  Mita,  Toshimitsu  Kaneko,  Bjorn  Stenger,  Osamu  Hori:  “Discriminative  Feature  Co-Occurrence  Selection  for  Object  Detection”.  IEEE  Transaction  Pattern  Analysis  and  Machine  Intelligence  Volume  30,  Number  7,  July  2008,  pp.  1257-1269
【非特許文献２】Tomoki  Watanabe,  Satoshi  Ito,  Kentaro  Yoko:  “Co-occurrence  Histogram  of  Oriented  Gradients  for  Human  Detection”,  IPSJ  Transaction  on  Computer  Vision  and  Applications  Volume  2  March  2010,  pp.39-47
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、認識に用いる情報を適切なタイミングで更新できない場合があった。
【課題を解決するための手段】
【０００６】
実施形態の判定装置は、抽出部と、判定部と、出力制御部と、を備える。抽出部は、入力画像から属性を抽出する。判定部は、抽出された属性と、認識に使用するパラメータの学習に使用した第１学習画像の属性との差分に基づいて、パラメータを学習するか否かを判定する。出力制御部は、パラメータを学習すると判定された場合に、パラメータの学習処理を実行する時期を出力する。
【図面の簡単な説明】
【０００７】
【図１】本実施形態の判定装置のブロック図。
【図２】学習分布の一例を示す図。
【図３】入力画像から抽出された属性値の例を示す図。
【図４】属性値から推定された統計分布の例を示す図。
【図５】予測処理の概念を説明するための図。
【図６】本実施形態における判定処理の一例を示すフローチャート。
【図７】判定装置のハードウェア構成図。
【発明を実施するための形態】
【０００８】
以下に添付図面を参照して、この発明にかかる判定装置の好適な実施形態を詳細に説明する。
【０００９】
上記のように、従来技術では、顔認識などの認識処理に用いる情報を適切なタイミングで更新できない場合があった。例えば個人辞書ではなく、ニューラルネットワークモデルなどの認識に用いるモデルのパラメータを再学習により更新するシステムでは、更新するパラメータおよびシステムの構成によっては、登録数に応じて更新処理にかかる時間が膨大になる場合がある。そのため、従来のように認識ごとの学習および更新は難しい。また、適切なタイミングは変化するため、定期的に更新することは最適な方法ではない。例えば、顔認識の運用開始時および撮影環境が変化した場合は、早い段階で学習および更新する必要があるが、環境の変化がない場合では不要である。さらに、学習および更新が必要な場合であっても、適切なタイミングですぐに学習および更新が実施できるとは限らない。
【００１０】
本実施形態にかかる判定装置は、例えば顔認識を用いた本人認証システムに適用できる。本実施形態にかかる判定装置は、顔認識で使用しているパラメータについて再学習の必要があるかを判定し、再学習が必要であれば、再学習に必要なデータが揃う時期を予測し、その時期を提示する。なお適用可能なシステムは顔認識を用いたシステムに限られるものではない。例えば、画像から顔以外の物体（人物の全身または一部、車両などの移動体）を認識するシステムなどにも適用可能である。
【００１１】
図１は、本実施形態の判定装置１００の機能構成例を示すブロック図である。判定装置１００は、記憶部１２１と、抽出部１０１と、判定部１０２と、予測部１０３と、出力制御部１０４と、学習部１０５と、認識部１０６と、を備える。
【００１２】
記憶部１２１は、判定装置１００による各種処理で使用される各種データを記憶する。例えば記憶部１２１は、後述する認識部１０６が顔認識に用いるパラメータを記憶する。パラメータは、例えば、顔認識に用いるモデルのパラメータである。顔認識に用いるモデルはどのようなモデルであってもよいが、例えば、ニューラルネットワークモデルなどを適用できる。
【００１３】
また記憶部１２１は、顔認識のパラメータの再学習で使用する学習データ、および、入力された入力画像を記憶する。学習データは、例えば学習用の画像であってもよいし、画像から事前に抽出された特徴量（特徴ベクトル）であってもよい。記憶部１２１は、予め学習用に用意した画像を学習データとして記憶してもよい。予め用意した画像は、顔認識のパラメータの学習に使用した画像でもよい。
【００１４】
記憶部１２１は、フラッシュメモリ、メモリカード、ＲＡＭ（Random  Access  Memory）、ＨＤＤ（Hard  Disk  Drive）、および、光ディスクなどの一般的に利用されているあらゆる記憶媒体により構成することができる。
【００１５】
抽出部１０１は、入力画像から属性を抽出する。例えば抽出部１０１は、顔認識技術を用いた本人認証システムに入力される顔画像から、その画像の属性を抽出する。抽出する属性は、例えば、顔の大きさ、顔に当たる照明の方向（照明方向）、顔の向き、性別、および、年齢（年代）などである。抽出部１０１は、１つの属性を抽出してもよいし、複数の属性を抽出してもよい。
【００１６】
抽出部１０１は、例えば、画像から顔を検出し、検出した顔の大きさを抽出する。顔を検出する手法は、例えば非特許文献１などの手法を用いることができる。抽出部１０１は、顔を検出した後、例えば、非特許文献２などの手法を用いて、性別および年齢（年代）を判定する。非特許文献２の手法は、入力されたパターンを「男性」または「女性」の２つに分ける手法である。
【００１７】
判定部１０２は、認識に使用するパラメータを学習するか否かを判定する。例えば判定部１０２は、抽出された属性と、パラメータの学習に使用した画像（第１学習画像）の属性と、を分析し、両者の差分に基づいて、パラメータを再学習するか否かを判定する。
【００１８】
判定部１０２は、まずパラメータの学習に使用したデータの属性から統計分布（第１統計分布）を算出する。例えば判定部１０２は、これらの属性値の平均および標準偏差を算出し、正規分布で表現した統計分布を算出してもよい。また、属性値ごとの画像数をカウントしたヒストグラムを作成し、面積を１に正規化した統計分布を使用してもよい。これを以下では、学習分布と呼ぶ。図２は、学習分布の一例を示す図である。図２は、１つの属性値についての度数（画像数）を表す分布の例である。複数の属性値を用いる場合は、例えば属性値の個数に対応する次元数の分布を用いればよい。
【００１９】
次に判定部１０２は、抽出部１０１で抽出されたＮ個（Ｎは２以上の整数）の属性値から、入力画像から抽出される属性値の統計分布（第２統計分布）を推定する。Ｎ個の属性値は、例えば、過去から現在までに入力されたＮ個の入力画像から抽出された属性値である。図３は、６個（Ｎ＝６）の入力画像から抽出された属性値（丸印）の例を示す図である。
【００２０】
例えば判定部１０２は、Ｎ個の属性値の平均および標準偏差を算出し、正規分布で表現した統計分布を推定してもよい。また、属性値ごとの画素数をカウントしたヒストグラムを作成し、面積を１に正規化した統計分布を推定してもよい。推定した統計分布を以下では、入力分布と呼ぶ。図４は、図３に示す属性値から推定された統計分布４０１の例を示す図である。
【００２１】
次に判定部１０２は、学習分布と入力分布との差を抽出する。例えば、平均と標準偏差を使った正規分布で各分布を表現している場合、判定部１０２は、分布の差として平均の差を用いてもよい。また判定部１０２は、標準偏差で正規化後の平均の差を用いてもよい。さらに判定部１０２は、分布間のカルバック・ライブラー情報量を用いてもよい。ヒストグラムを用いる場合は、判定部１０２は、単純に学習分布と入力分布の重なる部分の面積を算出して分布間の差としてもよい。
【００２２】
最後に判定部１０２は、算出した学習分布と入力分布の差を予め定めた閾値と比較し、差が閾値以上の場合はパラメータの再学習が必要と判定し、その差が閾値未満であれば、再学習は不要と判定する。学習分布と入力分布の重なる部分の面積を分布間の差とする場合は、判定部１０２は、差が閾値以上の場合に再学習は不要と判定し、差が閾値未満の場合に再学習が必要と判定してもよい。
【００２３】
予測部１０３は、再学習を行うと判定された場合に、再学習が実行可能となる時期（学習時期）を予測する。例えば予測部１０３は、抽出された属性と、記憶部１２１に記憶された学習データとに基づいて再学習が実行可能となる時期を予測する。
【００２４】
予測部１０３は、まず、判定部１０２により推定された入力分布となるように、画像の属性を参照して、記憶部１２１に記憶された画像を選択する。例えば予測部１０３は、入力分布のヒストグラムを作成し、ヒストグラムの属性値と一致する属性値が抽出された画像を記憶部１２１から選択する。ヒストグラムの画像数の総数は、予め設定した再学習に必要とされる画像数を用いてもよい。
【００２５】
次に予測部１０３は、属性値ごとに、入力分布に足りない画像数を算出する。例えば面積を１に正規化したヒストグラムを入力分布とする場合、予測部１０３は、再学習に必要とされる画像数の総数と、入力分布（ヒストグラム）とから、ヒストグラムの属性値ごとに必要となる画像数を算出することができる。予測部１０３は、属性値ごとに、必要な画像数から、記憶部１２１から選択した画像の個数を減算することにより、不足する画像の個数を算出する。
【００２６】
次に予測部１０３は、今後入力が予想される画像の属性値が入力分布になると仮定して、その入力分布に基づいて各属性値で不足する画像が補充されるために必要となる画像の個数を算出する。例えば予測部１０３は、各属性値に対して、入力分布に基づいた出現確率を算出する。例えば面積を１に正規化した入力分布であれば、各属性値の度数を出現確率とすることができる。予測部１０３は、算出した出現確率と、不足する画像数を入力画像数で除算した値とが一致するような入力画像数を、必要となる画像の個数として算出する。予測部１０３は、各属性値に対して求められた画像の個数の合計を、再学習に必要な入力画像数として算出する。
【００２７】
次に予測部１０３は、算出した入力画像数と、認識の頻度とに基づいて、再学習が実行可能となる時期を算出する。認識の頻度は、例えば、認識部１０６により過去に実行された認識処理の回数などから算出することができる。例えば必要な入力画像数が１００であり、認識の頻度が１０回／日であれば、予測部１０３は、再学習が実行可能となる時期は現在から１０日後であると予測する。
【００２８】
このように、予測部１０３は、記憶された学習データおよび入力が予想される入力画像から得られる属性の統計分布が、入力分布となる時期を、学習処理が実行可能となる時期として予測する。図５は、予測処理の概念を説明するための図である。図５の斜線部に示す画像集合５０１は、予測される入力分布（破線）と、記憶された学習データの分布（実線）との差分に相当する画像の集合である。予測部１０３は、画像集合５０１に相当する画像が入力される時期を、学習が実行可能となる時期として予測する。
【００２９】
出力制御部１０４は、学習時期などの、各種情報の出力を制御する。例えば出力制御部１０４は、図示しない表示装置に対して学習時期を表示する。出力制御部１０４は、学習時期とともに、画像が不足している属性値、および、属性値ごとの不足する画像数を合わせて出力してもよい。学習時期の出力方式は、表示装置に表示する方式に限られず、例えば、指定された宛先にネットワークを介して送信する方式などを用いてもよい。
【００３０】
学習部１０５は、パラメータの学習を行う。学習部１０５は、例えば、学習時期を提示されたユーザ等による学習の開始指示に従い、パラメータの学習処理を実行する。学習部１０５は、予測された学習時期となったときに、学習処理を開始してもよい。パラメータの学習方法は、認識に用いるモデルに応じて適宜決定すればよい。例えばニューラルネットワークモデルを用いる場合は、誤差逆伝播法などを用いることができる。
【００３１】
認識部１０６は、学習されたパラメータを用いた認識処理を実行する。例えば認識部１０６は、入力画像または入力画像から抽出された特徴量を、パラメータを学習したモデルに入力することにより、認識処理を実行する。出力制御部１０４は、認識処理の結果を表示装置などに出力してもよい。
【００３２】
上記各部（抽出部１０１、判定部１０２、予測部１０３、出力制御部１０４、学習部１０５、および、認識部１０６）は、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵ（Central  Processing  Unit）などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣ（Integrated  Circuit）、または、ＧＰＵ（Graphics  Processing  Unit）などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。
【００３３】
上記各部は、２以上の装置に分散して備えるように構成してもよい。例えば、クラウド環境上に構築されたサーバ装置が上記各部のうち一部を備え、サーバ装置にアクセスする端末装置（パーソナルコンピュータ、携帯端末など）が残りの構成部を備えてもよい。サーバ装置が上記判定装置１００として機能してもよい。
【００３４】
次に、このように構成された本実施形態にかかる判定装置１００による判定処理について説明する。図６は、本実施形態における判定処理の一例を示すフローチャートである。
【００３５】
抽出部１０１は、入力された画像を受け付ける（ステップＳ１０１）。抽出部１０１は、受け付けた画像から属性を抽出する（ステップＳ１０２）。判定部１０２は、抽出された属性および学習に使用した画像の属性の統計分析を行い、属性の統計分布（入力分布、学習分布）を算出する（ステップＳ１０３）。
【００３６】
判定部１０２は、算出した統計分布を用いて、再学習が必要か否かを判定する（ステップＳ１０４）。例えば判定部１０２は、学習分布と入力分布との差分と閾値とを比較し、差分が閾値以上の場合はパラメータの再学習が必要と判定し、差分が閾値未満であれば、再学習は不要と判定する。
【００３７】
再学習が必要な場合（ステップＳ１０４：Ｙｅｓ）、予測部１０３は、学習時期を予測する（ステップＳ１０５）。
【００３８】
再学習が必要でない場合（ステップＳ１０４：Ｎｏ）、および、学習時期が予測された後、出力制御部１０４は、再学習の要否の判定結果、および、学習時期が予測された場合は予測された学習時期を出力する（ステップＳ１０６）。
【００３９】
例えばユーザに学習時期を提示する構成であれば、ユーザは、提示された学習時期を参照して、再学習を開始する時期を適切に判断することが可能となる。学習部１０５が、予測された学習時期に学習を開始するように構成する場合は、出力制御部１０４は、学習部１０５に対して学習時期を出力すればよい。
【００４０】
図７は、判定装置１００のハードウェア構成の一例を表すブロック図である。図７に示すように、判定装置１００は、ＣＰＵ５１と、判定装置１００で実行されるプログラムなどを記憶するＲＯＭ（Read  Only  Memory）５２と、ＲＡＭ５３と、ＨＤＤ５４と、ＨＤＤ５４とのインタフェイスであるＩ／Ｆ５５と、データ入力用のインタフェイスであるＩ／Ｆ５６と、表示装置などに情報を提示するためのインタフェイスであるＩ／Ｆ５７と、バス６１とを備えており、通常のコンピュータを利用したハードウェア構成となっている。なおＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、Ｉ／Ｆ５５、Ｉ／Ｆ５６、および、Ｉ／Ｆ５７は、バス６１を介して互いに接続されている。
【００４１】
判定装置１００では、ＣＰＵ５１が、ＲＯＭ５２からプログラムをＲＡＭ５３上に読み出して実行することにより、上記各部がコンピュータ上で実現され、ＨＤＤ５４に記憶されているデータ等を用いて、Ｉ／Ｆ５６から入力されたデータに対する処理を行う。
【００４２】
なお、プログラムはＨＤＤ５４に記憶されていてもよい。また、プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact  Disk  Read  Only  Memory）、ＣＤ−Ｒ（Compact  Disk  Recordable）、メモリカード、ＤＶＤ（Digital  Versatile  Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供されるようにしてもよい。
【００４３】
また、プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、プログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。
【００４４】
プログラムは、コンピュータを上述した判定装置の各部として機能させうる。このコンピュータは、ＣＰＵ５１がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。
【００４５】
このように、本実施形態にかかる判定装置では、認識に使用するパラメータについて再学習の必要があるかを判定し、再学習が必要であれば、再学習に必要なデータが揃う時期を予測し、その時期を提示することができる。これにより、認識に用いる情報（パラメータ）を適切なタイミングで更新することが可能となる。この結果、認識に使用するパラメータを、現在の入力環境に適した状態に保ち、高い認識性能を維持することが可能となる。
【００４６】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００４７】
１００  判定装置
１０１  抽出部
１０２  判定部
１０３  予測部
１０４  出力制御部
１０５  学習部
１０６  認識部
１２１  記憶部
【図１】
2019164414.tif 000003
【図２】
2019164414.tif 000004
【図３】
2019164414.tif 000005
【図４】
2019164414.tif 000006
【図５】
2019164414.tif 000007
【図６】
2019164414.tif 000008
【図７】
2019164414.tif 000009