(57)【特許請求の範囲】
【請求項１】
フレーム画像に映り込んだ人又は顔についての属性を認識する学習済物体認識用ニューラルネットワークを用いて、前記人又は顔の属性を認識する学習用属性認識部と、
フレーム画像に映り込んだ人又は顔の中から属性の認識に適している人又は顔を検出する学習済物体検出用ニューラルネットワークが、前記学習用属性認識部による前記属性の認識結果が正しかった人又は顔を、前記属性の認識に適している人又は顔として検出するように、前記学習済物体検出用ニューラルネットワークの再学習を行う再学習部と、
前記再学習部による再学習後の前記学習済物体検出用ニューラルネットワークを用いて、所定の撮影エリアを撮影する１つ以上のカメラから入力されたフレーム画像に映り込んだ人又は顔の中から、属性の認識に適している人又は顔を検出する人顔検出部と、
前記人顔検出部による検出対象となった前記フレーム画像に映り込んだ人又は顔を識別して、識別した人又は顔毎に、識別情報を付与する識別情報付与部と、
前記識別情報が付与された人又は顔についての前記属性の認識を未だ行っておらず、かつ、前記識別情報が付与された人又は顔が、前記人顔検出部によって前記属性の認識に適していると検出された人又は顔であるときに限り、この人又は顔の前記属性を、前記学習用属性認識部と同種の学習済物体認識用ニューラルネットワークを用いて認識する属性認識部とを備える属性認識システム。
【請求項２】
前記学習用属性認識部による前記人又は顔の属性の認識結果が正しいか否かの検証結果に基づいて、前記学習済物体検出用ニューラルネットワークの再学習用データセットの正解ラベルを編集する再学習用データセット編集部をさらに備え、
前記再学習部は、前記再学習用データセット編集部による編集後の再学習用データセットを用いて、前記学習済物体検出用ニューラルネットワークの再学習を行うことを特徴とする請求項１に記載の属性認識システム。
【請求項３】
前記学習用属性認識部による前記人又は顔の属性の認識結果が正しいか否かを検証することにより、前記人顔検出部と同種の学習済物体検出用ニューラルネットワークによる前記属性の認識に適している人又は顔の検出結果が正しいか否かを検証する検出結果検証部をさらに備え、
前記再学習用データセット編集部は、前記検出結果検証部による前記検証結果に基づいて、前記学習済物体検出用ニューラルネットワークの再学習用データセットの正解ラベルを自動的に付与することを特徴とする請求項２に記載の属性認識システム。
【請求項４】
前記検出結果検証部は、前記人顔検出部と同種の学習済物体検出用ニューラルネットワークによる前記属性の認識に適している人又は顔の検出結果と、前記学習用属性認識部による前記属性の認識結果とに基づいて、前記人顔検出部と同種の学習済物体検出用ニューラルネットワークによる前記属性の認識に適している人又は顔の検出結果を検証することを特徴とする請求項３に記載の属性認識システム。
【請求項５】
前記検出結果検証部は、前記学習用属性認識部及び前記属性認識部の学習済物体認識用ニューラルネットワークよりも精度の高い推論を行うことが可能な学習済高精度物体認識用ニューラルネットワークを用いた、前記人又は顔の属性の認識結果と、前記学習用属性認識部による前記属性の認識結果とを比較して、前記人顔検出部と同種の学習済物体検出用ニューラルネットワークによる前記属性の認識に適している人又は顔の検出結果を検証することを特徴とする請求項３又は請求項４に記載の属性認識システム。
【請求項６】
前記属性は、性別及び年齢であることを特徴とする請求項１乃至請求項５のいずれか一項に記載の属性認識システム。
【請求項７】
フレーム画像に映り込んだ人又は顔についての属性を認識する学習済物体認識用ニューラルネットワークを用いて、前記人又は顔の属性を認識する学習用属性認識部と、
前記学習用属性認識部による前記人又は顔の属性の認識結果が正しいか否かの検証結果に基づいて、フレーム画像に映り込んだ人又は顔の中から属性の認識に適している人又は顔を検出する学習済物体検出用ニューラルネットワークの再学習用データセットの正解ラベルを編集する再学習用データセット編集部と、
前記再学習用データセット編集部による編集後の再学習用データセットを用いて、前記学習済物体検出用ニューラルネットワークが、前記学習用属性認識部による前記属性の認識結果が正しかった人又は顔を、前記属性の認識に適している人又は顔として検出するように、前記学習済物体検出用ニューラルネットワークの再学習を行う再学習部とを備える学習サーバ。
【請求項８】
前記属性は、性別及び年齢であることを特徴とする請求項７に記載の学習サーバ。
【請求項９】
コンピュータを、
学習済物体検出用ニューラルネットワークを用いて、所定の撮影エリアを撮影する１つ以上のカメラから入力されたフレーム画像に映り込んだ人又は顔の中から、属性の認識に適している人又は顔を検出する人顔検出部と、
前記人顔検出部による検出対象となった前記フレーム画像に映り込んだ人又は顔を識別して、識別した人又は顔毎に、識別情報を付与する識別情報付与部と、
前記識別情報が付与された人又は顔についての前記属性の認識を未だ行っておらず、かつ、前記識別情報が付与された人又は顔が、前記人顔検出部によって前記属性の認識に適していると検出された人又は顔であるときに限り、この人又は顔の前記属性を学習済物体認識用ニューラルネットワークを用いて認識する属性認識部として機能させるための属性認識プログラムであって、
前記学習済物体検出用ニューラルネットワークは、前記属性認識部の学習済物体認識用ニューラルネットワークと同種の学習済物体認識用ニューラルネットワークによる前記属性の認識結果が正しかった人又は顔を、前記属性の認識に適している人又は顔として検出するように再学習された学習済物体検出用ニューラルネットワークであることを特徴とする属性認識プログラム。
【請求項１０】
前記属性は、性別及び年齢であることを特徴とする請求項９に記載の属性認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、属性認識システム、学習サーバ、及び属性認識プログラムに関する。
【背景技術】
【０００２】
従来から、監視カメラや、いわゆるＡＩ（Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ）カメラ等のカメラで撮影したフレーム画像に映り込んだ人の顔を検出して、検出した顔（画像）に基づいて、性別・年齢等の属性の認識（分類）を行うようにした属性認識システムがある。
【０００３】
この種のシステムでは、一般に、一つのフレーム画像に映りこんだ人の顔（画像）のみから、性別・年齢等の属性の認識を正確に行うことは難しい。そこで、連続して取得した複数のフレーム画像に映りこんだ人の顔（画像）から、性別・年齢等の属性の認識を行うようにしたシステムがある（例えば、特許文献１参照）。このシステムでは、連続して取得した複数のフレーム画像の全てについて、これらのフレーム画像に映り込んだ人の顔を検出し、検出した全ての顔について、性別・年齢等の属性の認識処理を行い、（１）所定の属性である確率が高い認識結果（判定結果）のみを用いて、属性の総合判断を行うか、（２）上記属性についての全ての認識結果の平均値（所定の属性である確率の平均値）に基づいて、属性を判断する。
【０００４】
上記の（１）は、例えば、認識対象の属性が性別であり、判定確率の閾値を８０％とした場合に、男性の確率が９３％の認識結果と、男性の確率が８１％の認識結果とを用いて、連続して取得した複数のフレーム画像に映りこんだ（ある）人が、男性と（総合）判断する方法である。また、上記の（２）は、以下のような判断方法である。すなわち、例えば、連続して取得した複数のフレーム画像の数が６枚であって、これらのフレーム画像に映りこんだ（ある）人が、男性である確率が、それぞれ、９３％、６７％、４５％、７４％、８１％、７４％であり、女性である確率が、それぞれ、７％、３３％、５５％、２６％、１９％、２６％であるとする。この場合に、これらの確率の平均値をとって、上記の人が、男性である確率を、７２（＝（９３＋６７＋４５＋７４＋８１＋７４）／６）％、女性である確率を、２８（＝（７＋３３＋５５＋２６＋１９＋２６）／６）％と計算して、上記の複数のフレーム画像に映りこんだ（ある）人が、男性と判断する方法である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４７７８５３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところが、上記特許文献１に示される従来のシステムでは、上記（１）又は（２）のいずれの方法を採った場合にも、連続して取得した複数のフレーム画像の全てについて、これらのフレーム画像に映り込んだ人の顔を検出し、検出した全ての顔について、性別・年齢等の属性の認識処理を行っている。言い換えると、連続して取得した複数のフレーム画像（における顔画像）の全てについて、性別・年齢等の属性の認識処理を行っている。このため、性別・年齢等の属性の認識（分類）処理の負荷が大きくなるという問題がある。
【０００７】
本発明は、上記課題を解決するものであり、一つのフレーム画像に映りこんだ人又は顔のみから、性別・年齢等の属性の認識を正確に行うことができるようにして、上記の属性の認識処理の負荷を小さくすることが可能な属性認識システム、学習サーバ、及び属性認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の第１の態様による属性認識システムは、フレーム画像に映り込んだ人又は顔についての属性を認識する学習済物体認識用ニューラルネットワークを用いて、前記人又は顔の属性を認識する学習用属性認識部と、フレーム画像に映り込んだ人又は顔の中から属性の認識に適している人又は顔を検出する学習済物体検出用ニューラルネットワークが、前記学習用属性認識部による前記属性の認識結果が正しかった人又は顔を、前記属性の認識に適している人又は顔として検出するように、前記学習済物体検出用ニューラルネットワークの再学習を行う再学習部と、前記再学習部による再学習後の前記学習済物体検出用ニューラルネットワークを用いて、所定の撮影エリアを撮影する１つ以上のカメラから入力されたフレーム画像に映り込んだ人又は顔の中から、属性の認識に適している人又は顔を検出する人顔検出部と、前記人顔検出部による検出対象となった前記フレーム画像に映り込んだ人又は顔を識別して、識別した人又は顔毎に、識別情報を付与する識別情報付与部と、前記識別情報が付与された人又は顔についての前記属性の認識を未だ行っておらず、かつ、前記識別情報が付与された人又は顔が、前記人顔検出部によって前記属性の認識に適していると検出された人又は顔であるときに限り、この人又は顔の前記属性を、前記学習用属性認識部と同種の学習済物体認識用ニューラルネットワークを用いて認識する属性認識部とを備える。
【０００９】
この属性認識システムにおいて、前記学習用属性認識部による前記人又は顔の属性の認識結果が正しいか否かの検証結果に基づいて、前記学習済物体検出用ニューラルネットワークの再学習用データセットの正解ラベルを編集する再学習用データセット編集部をさらに備え、前記再学習部は、前記再学習用データセット編集部による編集後の再学習用データセットを用いて、前記学習済物体検出用ニューラルネットワークの再学習を行うことが望ましい。
【００１０】
この属性認識システムにおいて、前記学習用属性認識部による前記人又は顔の属性の認識結果が正しいか否かを検証することにより、前記人顔検出部と同種の学習済物体検出用ニューラルネットワークによる前記属性の認識に適している人又は顔の検出結果が正しいか否かを検証する検出結果検証部をさらに備え、前記再学習用データセット編集部は、前記検出結果検証部による前記検証結果に基づいて、前記学習済物体検出用ニューラルネットワークの再学習用データセットの正解ラベルを自動的に付与することが望ましい。
【００１１】
この属性認識システムにおいて、前記検出結果検証部は、前記人顔検出部と同種の学習済物体検出用ニューラルネットワークによる前記属性の認識に適している人又は顔の検出結果と、前記学習用属性認識部による前記属性の認識結果とに基づいて、前記人顔検出部と同種の学習済物体検出用ニューラルネットワークによる前記属性の認識に適している人又は顔の検出結果を検証するようにしてもよい。
【００１３】
この属性認識システムにおいて、前記検出結果検証部は、前記学習用属性認識部及び前記属性認識部の学習済物体認識用ニューラルネットワークよりも精度の高い推論を行うことが可能な学習済高精度物体認識用ニューラルネットワークを用いた、前記人又は顔の属性の認識結果と、前記学習用属性認識部による前記属性の認識結果とを比較して、前記人顔検出部と同種の学習済物体検出用ニューラルネットワークによる前記属性の認識に適している人又は顔の検出結果を検証するようにしてもよい。
【００１４】
この属性認識システムにおいて、前記属性は、性別及び年齢であってもよい。
【００１５】
本発明の第２の態様による学習サーバは、フレーム画像に映り込んだ人又は顔についての属性を認識する学習済物体認識用ニューラルネットワークを用いて、前記人又は顔の属性を認識する学習用属性認識部と、前記学習用属性認識部による前記人又は顔の属性の認識結果が正しいか否かの検証結果に基づいて、フレーム画像に映り込んだ人又は顔の中から属性の認識に適している人又は顔を検出する学習済物体検出用ニューラルネットワークの再学習用データセットの正解ラベルを編集する再学習用データセット編集部と、前記再学習用データセット編集部による編集後の再学習用データセットを用いて、前記学習済物体検出用ニューラルネットワークが、前記学習用属性認識部による前記属性の認識結果が正しかった人又は顔を、前記属性の認識に適している人又は顔として検出するように、前記学習済物体検出用ニューラルネットワークの再学習を行う再学習部とを備える。
【００１６】
この学習サーバにおいて、前記属性は、性別及び年齢であってもよい。
【００１７】
本発明の第３の態様による属性認識プログラムは、コンピュータを、学習済物体検出用ニューラルネットワークを用いて、所定の撮影エリアを撮影する１つ以上のカメラから入力されたフレーム画像に映り込んだ人又は顔の中から、属性の認識に適している人又は顔を検出する人顔検出部と、前記人顔検出部による検出対象となった前記フレーム画像に映り込んだ人又は顔を識別して、識別した人又は顔毎に、識別情報を付与する識別情報付与部と、前記識別情報が付与された人又は顔についての前記属性の認識を未だ行っておらず、かつ、前記識別情報が付与された人又は顔が、前記人顔検出部によって前記属性の認識に適していると検出された人又は顔であるときに限り、この人又は顔の前記属性を学習済物体認識用ニューラルネットワークを用いて認識する属性認識部として機能させるための属性認識プログラムであって、前記学習済物体検出用ニューラルネットワークは、前記属性認識部の学習済物体認識用ニューラルネットワークと同種の学習済物体認識用ニューラルネットワークによる前記属性の認識結果が正しかった人又は顔を、前記属性の認識に適している人又は顔として検出するように再学習された学習済物体検出用ニューラルネットワークである。
【００１８】
この属性認識プログラムにおいて、前記属性は、性別及び年齢であってもよい。
【発明の効果】
【００１９】
本発明の第１の態様による属性認識システム、及び第３の態様による属性認識プログラムによれば、識別情報が付与された人又は顔についての属性の認識を未だ行っておらず、かつ、識別情報が付与された人又は顔が、上記の属性の認識に適していると検出された人又は顔であるときに限り、この人又は顔の属性を学習済物体認識用ニューラルネットワークを用いて認識するようにした。これにより、一つのフレーム画像に映りこんだ、上記の属性の認識に適している人又は顔のみから、性別・年齢等の属性の認識を正確に行うことができる。従って、上記特許文献１に記載された従来のシステムと異なり、属性の認識処理の負荷を小さくすることができる。
【００２０】
また、本発明の第２の態様による学習サーバによれば、フレーム画像に映り込んだ人又は顔についての属性を学習用属性認識部を用いて認識し、この属性の認識結果が正しいか否かの検証結果に基づいて、学習済物体検出用ニューラルネットワークの再学習用データセットの正解ラベルを編集した上で、編集後の再学習用データセットを用いて、上記の学習済物体検出用ニューラルネットワークが、上記の学習用属性認識部による属性の認識結果が正しかった人又は顔を、属性の認識に適している人又は顔として検出するように、上記の学習済物体検出用ニューラルネットワークの再学習を行うことができる。この再学習により、上記の学習済物体検出用ニューラルネットワークが、フレーム画像に映り込んだ人又は顔の中から、属性の認識に適している人又は顔を、高精度に検出するようにすることができる。従って、この再学習後の学習済物体検出用ニューラルネットワークによって属性の認識に適していると検出された、一つのフレーム画像における人又は顔のみから、性別・年齢等の属性の認識を正確に行うことができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態の属性認識システムの概略の構成を示すブロック構成図。
【図２】図１中の分析ボックスの概略のハードウェア構成を示すブロック図。
【図３】同分析ボックスにおけるＣＰＵの機能ブロック構成図。
【図４】図１中の学習サーバの概略のハードウェア構成を示すブロック図。
【図５】上記属性認識システムにおける、主要機器が果たす機能の概要と、主なデータの流れを示すブロック構成図。
【図６】上記分析ボックスの通常運用時における顔検出処理と性別年齢推定処理のフローチャート。
【図７】上記分析ボックスのアプリパッケージに含まれるベクトル化モデルが行うベクトル化処理の説明図。
【図８】上記学習サーバにおける再学習用データセットの作成処理と再学習処理のフローチャート。
【図９】本発明の変形例１の属性認識システムにおける、主要機器が果たす機能の概要と、主なデータの流れを示すブロック構成図。
【発明を実施するための形態】
【００２２】
以下、本発明を具体化した実施形態による属性認識システム、学習サーバ、及び属性認識プログラムについて、図面を参照して説明する。図１は、本実施形態による属性認識システム１０の概略の構成を示すブロック構成図である。本実施形態では、分析ボックス１（請求項における「コンピュータ」）、及びこの分析ボックス１に接続されるネットワークカメラ（ＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）カメラ）２が、チェーン店等の店舗Ｓ内に配される場合の例について説明する。図１に示すように、属性認識システム１０は、店舗Ｓ内に、上記の分析ボックス１とカメラ２に加えて、ハブ４と、ルータ５とを備えている。上記の分析ボックス１は、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）３とハブ４とを介して、複数のカメラ２と接続され、これらのカメラ２の各々から入力された画像を分析する。具体的には、分析ボックス１は、カメラ２の各々から入力された画像に対する物体検出処理（顔検出処理）と、この物体検出処理で検出された物体の画像に対する物体認識処理（性別・年齢等の属性認識処理を含む）とを行う。
【００２３】
また、属性認識システム１０は、クラウドＣ上のＡＩ分析サーバ７、管理サーバ８、及び学習サーバ６を備えている。ＡＩ分析サーバ７は、分析ボックス１からの物体認識結果に基づいて、例えば、各店舗内における人物の行動を分析し、分析結果の情報を、マーケティングや防犯等の種々の用途のアプリケーションが使い易いデータに変換して出力する。
【００２４】
上記の管理サーバ８は、各店舗に配された多数の分析ボックス１、及びこれらの分析ボックス１に接続されたカメラ２の管理を行う。具体的には、管理サーバ８は、各店舗の分析ボックス１へのアプリパッケージのインストールや、これらの分析ボックス１に接続されたカメラ２の起動及び停止等の制御を行う。なお、このアプリパッケージは、学習済の物体検出用ニューラルネットワークモデル（以下、「物体検出用ＮＮモデル」という）と、１種類以上の学習済の物体認識用ニューラルネットワークモデル（以下、「物体認識用ＮＮモデル」という）と、これらのニューラルネットワークモデル（以下、「ＮＮモデル」という）の使い方（処理の順番）を記載した制御用スクリプトとを含んだパッケージ・プログラムである。より具体的に説明すると、上記のアプリパッケージは、学習済の物体検出用ＮＮモデルである顔検出モデル（図６等参照）と、学習済の物体認識用ＮＮモデルである性別・年齢推定モデル（図６等参照）及びベクトル化モデルと、これらのＮＮモデルの処理の順番を記載した制御用スクリプトとを含んだパッケージ・プログラムである。
【００２５】
上記の学習サーバ６の詳細については後述するが、この学習サーバ６は、上記の分析ボックス１にインストールされるアプリパッケージに含まれる顔検出モデルの再学習用データセットの正解ラベルを編集する機能と、この編集後の再学習用データセットを用いて、上記の顔検出モデルの再学習を行う機能とを有している。なお、上記の再学習とは、（分析ボックス１にインストールされている）顔検出モデルの推定精度を高く維持するために、上記の再学習用データセットを用いて、学習済の顔検出モデルの学習をやり直す処理である。この再学習が済むと、再学習後の新しいバージョンの顔検出モデルが、学習サーバ６から、管理サーバ８を介して、分析ボックス１にインストールされる。
【００２６】
次に、図２を参照して、分析ボックス１のハードウェア構成について説明する。分析ボックス１は、装置全体の制御及び各種演算を行うＣＰＵ１１と、各種のデータやプログラムを格納するハードディスク１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、ＤＮＮ推論用プロセッサである推論チップ（以下、「チップ」と略す）１４ａ〜１４ｈと、通信制御ＩＣ１５とを備えている。ＣＰＵ１１は、一般的な汎用ＣＰＵ、又は多数の映像ストリームを同時処理するため並列処理性能を高めるように設計されたＣＰＵである。また、ハードディスク１２に格納されるデータには、カメラ２の各々から入力された映像ストリーム（のデータ）をデコードした後の映像データ（フレーム画像のデータ）が含まれ、ハードディスク１２に格納されるプログラムには、上記のアプリパッケージ（請求項及び図５中の「属性認識プログラム」に相当）に加えて、図５の説明で述べる分析ボックスＯＳ５４のプログラムが含まれている。
【００２７】
上記の（推論）チップ１４ａ〜１４ｈは、ＤＮＮ（Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ）推論に最適化されたプロセッサ（推論専用チップ）であることが望ましいが、一般的な用途に用いられる汎用のＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、又はその他のプロセッサであってもよい。また、上記の各チップ１４ａ〜１４ｈは、１つのボードコンピュータ上に複数のチップ（推論用プロセッサ）が集積（搭載）されたデバイスであってもよい。
【００２８】
図２に示すように、上記の（推論）チップ１４ａ〜１４ｈは、ＰＣＩ  Ｅｘｐｒｅｓｓ又はＵＳＢにより、ＣＰＵ１１に接続される。また、上記の通信制御ＩＣ１５は、Ｅｔｈｅｒｎｅｔ規格のＬＡＮへの接続用のポートであるＬＡＮポート１６を有している。
【００２９】
図３は、図１中の分析ボックス１におけるＣＰＵ１１の機能ブロックを示す。分析ボックス１は、機能ブロックとして、人顔検出部２１と、識別情報付与部２２と、属性認識部２３と、プロセッサ割当部２４とを備えている。人顔検出部２１は、所定の撮影エリアを撮影する複数のカメラ２から入力されたフレーム画像に映り込んだ（人の）顔の中から、性別・年齢の推定（請求項における「属性の認識」）に適している顔を検出する。識別情報付与部２２は、上記の人顔検出部２１による検出対象となったフレーム画像に映り込んだ顔を識別して、識別した顔（の人）毎に、ＩＤ（識別情報）を付与する。  
【００３０】
上記の属性認識部２３は、上記の識別情報付与部２２によりＩＤ（識別情報）が付与された顔（の人）についての性別及び年齢の推定（「属性の認識」）を未だ行っておらず、かつ、上記のＩＤが付与された顔が、人顔検出部２１によって性別・年齢の推定に適していると検出された顔であるときに限り、この顔（の人）の性別及び年齢を推定する。また、プロセッサ割当部２４は、アプリパッケージの各インスタンスに含まれる物体検出用ＮＮモデル（顔検出モデル）、及び物体認識用ＮＮモデル（性別・年齢推定モデル及びベクトル化モデル）の各々の推論処理に必要な推論時間と使用頻度とに基づいて、複数のチップ１４のうち、物体検出用ＮＮモデルにおける推論処理、及び物体認識用ＮＮモデルの各々における推論処理に用いるチップ（推論用プロセッサ）の割り当てを行う。
【００３１】
次に、図４を参照して、学習サーバ６のハードウェア構成について説明する。学習サーバ６は、装置全体の制御及び各種演算を行うＣＰＵ３１（請求項における「再学習用データセット編集部」、「検出結果検証部」、及び「再学習部」に相当）と、各種のデータやプログラムを格納するハードディスク３２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３３と、ディスプレイ３４と、操作部３５と、通信部３６と、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）機器の接続用のポートであるＵＳＢコネクタ３７とを備えている。このＵＳＢコネクタ３７には、画像データ等を記憶したＵＳＢメモリカード４５を接続することができる。
【００３２】
上記のハードディスク１２に格納されるプログラムには、上記の（分析ボックス１にインストールされるアプリパッケージに含まれる）顔検出モデルの再学習用データセットの正解ラベルを編集する再学習用データセット編集プログラム４１と、この再学習用データセット編集プログラム４１による編集後の再学習用データセットを用いて、上記の顔検出モデルの再学習を行う再学習プログラム４２とが含まれている。
【００３３】
また、上記のハードディスク１２に格納されるデータには、画像データＤＢ３８と、アノテーション情報付データセット３９と、再学習用データセット４０とが含まれている。
【００３４】
上記の画像データＤＢ３８は、アノテーション情報付データセット３９、及び再学習用データセット４０に使用する、人が映った多数のフレーム画像を格納するデータベースである。この画像データＤＢ３８内のフレーム画像は、上記の通信部３６を介して、分析ボックス１等の他のコンピュータから入力してもよいし、上記のＵＳＢメモリカード４５から入力してもよい。また、上記のアノテーション情報付データセット３９は、上記の画像データＤＢ３８から入力された各フレーム画像に、顔のバウンディングボックス情報（以下、「顔ボックス」という）と、各顔ボックスについての性別年齢ラベルを付けたデータセットである。ここで、上記の顔のバウンディングボックス情報とは、フレーム画像中に検出された顔の位置、幅、及び高さの情報を意味する。また、上記の再学習用データセット４０は、上記のアノテーション情報付データセット３９に含まれる各フレーム画像に、上記の顔ボックスと、Ｐｏｓｉｔｉｖｅ／Ｎｅｇａｔｉｖｅのラベルを付けた、（学習済）顔検出モデルの再学習用データセットである。
【００３５】
次に、図５を参照して、属性認識システム１０において、図１中の主要機器（分析ボックス１、学習サーバ６、及び管理サーバ８）が果たす機能の概要と、主なデータの流れについて説明する。図５は、図１中の主要機器における、機能ブロックと、ＮＮモデルと、主なデータファイルを示す。図５に示すように、管理サーバ８は、そのハードディスク５１に、アプリパッケージを格納したアプリケーションＤＢ５２を格納している。アプリケーションＤＢ５２に格納されているアプリパッケージは、学習済の顔検出モデルと、学習済の性別・年齢推定モデル及びベクトル化モデルと、これらのＮＮモデルの処理の順番を記載した制御用スクリプトとを備えたアプリパッケージである。このアプリパッケージは、アプリ配信部５３により分析ボックス１に配信される。
【００３６】
分析ボックス１は、管理サーバ８から受信した上記のアプリパッケージを、図５に示す属性認識プログラム５５としてインストールする。また、分析ボックス１は、管理サーバ８から、分析ボックスＯＳ５４も受信する。この分析ボックスＯＳ５４は、分析ボックス１内の属性認識プログラム５５のインスタンス等のアプリケーションの制御を行うと共に、管理サーバ８との送受信を行う。なお、上記の属性認識プログラム５５は、図３中における人顔検出部２１と、識別情報付与部２２と、属性認識部２３に相当する処理を行うためのアプリパッケージである。
【００３７】
学習サーバ６は、上記の画像データＤＢ３８にフレーム画像を入力するための画像入力部６１を備えている。これらのフレーム画像は、上記の通信部３６を介して、分析ボックス１等の他のコンピュータから入力してもよいし、上記のＵＳＢメモリカード４５から入力してもよい。すなわち、上記の画像入力部６１は、上記の通信部３６であってもよいし、図４中のＵＳＢコネクタ（ＵＳＢポート）３７であってもよい。
【００３８】
上記の画像データＤＢ３８へのフレーム画像の入力処理が完了すると、学習サーバ６のＣＰＵ３１は、画像データＤＢ３８に格納された各フレーム画像について、学習済の単純顔検出モデル６２を用いて顔を検出することにより、顔ボックス情報を付加する。ここで、上記の単純顔検出モデル６２とは、対象となるフレーム画像に映りこんだ顔を検出して、検出した顔に顔ボックス（顔のバウンディングボックス情報）を付けるだけの単純な顔検出処理用のＮＮモデルである。ただし、この単純顔検出モデル６２は、通常運用時に、上記の分析ボックス１における顔検出処理に用いられる顔検出モデル６４よりも、（単なる顔の検出処理については、）精度の高い推論を行うことが可能な顔検出モデルであることが望ましい。また、学習サーバ６のＣＰＵ３１は、上記の単純顔検出モデル６２により検出された顔について、通常運用時に上記の分析ボックス１における性別・年齢の推定に用いられる性別・年齢推定モデル６５（図６参照）よりも精度の高い推論を行うことが可能な学習済の物体認識用ＮＮモデルである高精度性別・年齢推定モデル６３を用いて、性別・年齢の推定を行って、この推定結果を表す性別年齢ラベル（アノテーション情報）を、上記の顔ボックスが付いたフレーム画像に付加することにより、アノテーション情報付データセット３９を作成する。
【００３９】
なお、上記の説明では、学習サーバ６のＣＰＵ３１が、上記の単純顔検出モデル６２により検出された顔について、精度の高い推論を行うことが可能な学習済の高精度性別・年齢推定モデル６３を用いて性別・年齢の推定を行うことにより、性別年齢ラベル（アノテーション情報）を求める場合の例を示したが、システム管理者等の人が、学習サーバ６の操作部３５を用いて、上記の性別年齢ラベル（アノテーション情報）を入力するようにしてもよい。
【００４０】
上記のアノテーション情報付データセット３９の作成が終了すると、学習サーバ６のＣＰＵ３１は、アノテーション情報付データセット３９に格納された各フレーム画像について、分析ボックス１において通常運用時に使用される顔検出モデル６４と性別・年齢推定モデル６５とを用いて、顔検出処理と性別・年齢の推定処理とを行う。そして、学習サーバ６のＣＰＵ３１の検出結果検証部６６は、上記の通常運用時に使用される顔検出モデル６４と性別・年齢推定モデル６５とを用いた性別・年齢の推定結果と、アノテーション情報付データセット３９に含まれる性別年齢ラベル（アノテーション情報）の内容とを比較して、上記の性別・年齢推定モデル６５による性別・年齢の推定結果を検証することにより、顔検出モデル６４による検出結果（顔検出モデル６４によるＰｏｓｉｔｉｖｅ、Ｎｅｇａｔｉｖｅの分類結果）が正しいか否かを検証する。
【００４１】
学習サーバ６のＣＰＵ３１の再学習用データセット編集部６７は、上記の検出結果検証部６６による検証結果に基づいて、上記の顔検出モデル６４の再学習用データセット４０の正解ラベル（Ｐｏｓｉｔｉｖｅ又はＮｅｇａｔｉｖｅ）を編集する。そして、学習サーバ６のＣＰＵ３１の再学習部６８は、上記の再学習用データセット編集部６７による編集後の再学習用データセットを用いて、上記の顔検出モデル６４の再学習を行う。
【００４２】
上記の再学習後の顔検出モデル６４（図６及び図８における「性別・年齢推定に適している顔を、Ｐｏｓｉｔｉｖｅと検出できる顔検出モデル７０」に相当）は、一旦、学習サーバ６から管理サーバ８に送られて、管理サーバ８のアプリケーションＤＢ５２に格納された後、適当なタイミングで、管理サーバ８から、各店舗内の分析ボックス１にインストールされる。
【００４３】
なお、図５中の学習サーバ６が使用する顔検出モデル６４は、必ずしも、分析ボックス１において通常運用時に使用される顔検出モデルと同様な顔検出モデル（検出した顔が、性別・年齢の推定に適していれば、Ｐｏｓｉｔｉｖｅと出力し、性別・年齢の推定に適していなければ、Ｎｅｇａｔｉｖｅと出力する顔検出モデル）である必要はなく、上記の単純顔検出モデル６２と同様に、対象となるフレーム画像に映りこんだ顔を検出して、検出した顔に顔ボックスを付けるだけの単純な顔検出モデルであってもよいし、人と顔の両方を検出して、検出した人及び顔にボックス（バウンディングボックス情報）を付ける人顔検出処理用のＮＮモデルであってもよい。
【００４４】
次に、図６のフローチャートを参照して、上記の分析ボックス１の通常運用時における顔検出処理と性別年齢推定処理の流れを説明する。分析ボックス１のＣＰＵ１１の人顔検出部２１は、所定の撮影エリアを撮影する複数のカメラ２から入力されたフレーム画像に映り込んだ顔の中から、性別・年齢の推定に適している顔を検出する（Ｓ１）。より正確に言うと、上記の人顔検出部２１は、上記のフレーム画像に映り込んだ顔を検出して、検出した顔に、顔ボックス（顔のバウンディングボックス情報）と共に、検出した顔が、性別・年齢の推定に適している顔であれば、Ｐｏｓｉｔｉｖｅ、検出した顔が、性別・年齢の推定に適していない顔であれば、Ｎｅｇａｔｉｖｅという分類結果を出力する。
【００４５】
上記Ｓ１の顔検出処理が終了すると、分析ボックス１のＣＰＵ１１の識別情報付与部２２は、上記の人顔検出部２１による検出対象となったフレーム画像に映り込んだ顔を識別して、識別した顔（の人）毎に、人物ＩＤを付与する（Ｓ２）。具体的には、識別情報付与部２２は、現在及び過去の人顔検出部２１による検出結果に基づいて、物体追跡技術等により、検出した顔の人物に、同じ人物ＩＤを付与する。
【００４６】
上記の人物ＩＤの付与に、物体追跡（トラッキング）技術を用いる場合は、分析ボックス１のＣＰＵ１１の識別情報付与部２２は、１）過去一定期間のフレーム画像群において同一人物ＩＤが付与された顔の検出位置・サイズ・検出時刻より、当該人物ＩＤの現在のフレーム画像における顔の検出位置・サイズを、カルマンフィルター等を用いて推定し、２）当該推定された顔の検出位置・サイズと、現在のフレーム画像で検出された顔の検出位置・サイズとのオーバーラップ領域のサイズを計算し、３−１）当該オーバーラップ領域のサイズが一定以上であり、かつ最大のものを選択し、当該選択されたものの人物ＩＤを引き継ぐ、３−２）当該オーバーラップ領域のサイズが一定以上のものが存在しない場合は、新規の人物ＩＤを割り振る、という、いわゆる物体追跡処理による実装としてもよい。
【００４７】
また、分析ボックス１のＣＰＵ１１の識別情報付与部２２は、上記のアプリパッケージ（図５の属性認識プログラム５５）に含まれるベクトル化モデルを利用して、同じ人の顔か否かを識別して、この識別結果に基づいて、人物ＩＤを付与してもよい。具体的には、分析ボックス１のＣＰＵ１１の識別情報付与部２２は、上記のベクトル化モデルを用いて、異なるフレーム画像に映っていた顔の画像をベクトル化し、これらのベクトルに基づいて、これらの画像の類似度に基づく距離を求める。そして、この距離に基づいて、これらの画像に映っていた顔が、同じ人の顔か否かを識別する。この例では、上記の距離の算出に、Ｄｉｓｔ関数を用いる。
【００４８】
より詳細に説明すると、分析ボックス１のＣＰＵ１１の識別情報付与部２２は、図７に示すように、異なるフレーム画像３３ａ、３３ｂについて、上記の顔検出モデル７０による検出対象となった顔の画像（以下、「顔画像」という）５７ａ、５７ｂを、ベクトル化モデル（のＤＮＮモデル）に入力することにより、ベクトル化モデルが、図７に示すように、上記の顔画像５７ａ、５７ｂを、ベクトルＶ１、Ｖ２に変換して出力する。これらのベクトルＶ１、Ｖ２は、例えば、１２８次元のベクトルである。
【００４９】
上記の顔画像５７ａから求めたベクトルＶ１と、顔画像５７ｂから求めたベクトルＶ２とを、Ｄｉｓｔ関数に入力すると、上記の顔画像５７ａに写っていた顔５８ａと、顔画像５７ｂに写っていた顔５８ｂとが、同じ人の顔である場合には、Ｄｉｓｔ関数の出力値が所定の値（例えば、１５）よりも小さくなる。これに対して、図７に示す例の場合は、Ｄｉｓｔ関数の出力値（３２）が所定の値（１５）以上であるので、顔画像５７ａに写っていた顔５８ａと、顔画像５７ｂに写っていた顔５８ｂとが、違う人の顔であるということになる。ここで、上記のＤｉｓｔ関数は、入力されたベクトル間の距離を求める関数である。
【００５０】
分析ボックス１のＣＰＵ１１の識別情報付与部２２は、上記のようにして、各フレーム画像に映り込んだ顔が、同じ人の顔か否かを識別して、この識別の結果、同じ人の顔に、同じ人物ＩＤを付与し、異なる人の顔に、異なる人物ＩＤを付与する。なお、識別情報付与部２２は、上記の物体追跡処理による人物ＩＤ付与及び、及び上記のベクトル間距離による人物ＩＤ付与を組み合わせたものであってもよい。具体的には、物体追跡処理による人物ＩＤ付与は、複数の人物が交差した際にＩＤ付与誤りが発生する可能性が高いため、複数人物の交差後においては、ベクトル間距離算出を利用して、人物交差以前の各人物のベクトルと人物交差後の各人物のベクトルを比較し、人物交差後の人物ＩＤを修正する。
【００５１】
上記Ｓ２の人物ＩＤ付与処理が終了すると、分析ボックス１のＣＰＵ１１の属性認識部２３は、人顔検出部２１による検出対象となったフレーム画像中の顔（画像）について、この顔（画像）についての分類結果がＰｏｓｉｔｉｖｅであり（図６のＳ３でＹＥＳ）、かつ、この顔（の人）と同じ人物ＩＤが付与された顔についての性別・年齢の推定を、未だ行っていない場合に限り（Ｓ４でＹＥＳ）、性別・年齢推定モデル６５を用いて、上記の顔（画像）についての性別・年齢の推定を行う（Ｓ５）。これに対して、分析ボックス１のＣＰＵ１１の属性認識部２３は、人顔検出部２１による検出対象となったフレーム画像中の顔（画像）について、この顔（画像）についての分類結がＮｅｇａｔｉｖｅである場合（Ｓ３でＮＯ）、又はこの顔（の人）と同じ人物ＩＤが付与された顔についての性別・年齢の推定を既に行っている場合には（Ｓ４でＮＯ）、この顔（画像）についての性別・年齢の推定処理を行わない（Ｓ６）。
【００５２】
すなわち、分析ボックス１のＣＰＵ１１の属性認識部２３は、上記Ｓ２で付与された人物ＩＤの顔についての性別・年齢の推定を未だ行っておらず、かつ、この人物ＩＤが付与された顔が、人顔検出部２１によって性別・年齢推定に適していると検出された顔であるときに限り、この顔についての性別・年齢の推定を行う。
【００５３】
次に、図８のフローチャートを参照して、図５の説明で述べた学習サーバ６における処理のうち、上記のアノテーション情報付データセット３９の作成処理の終了後における、再学習用データセット４０の作成処理と再学習処理の流れについて、詳述する。学習サーバ６のＣＰＵ３１は、アノテーション情報付データセット３９に格納された各フレーム画像について、分析ボックス１において通常運用時に使用される（学習済）顔検出モデル６４を用いた顔検出処理を行う（Ｓ１１）。そして、学習サーバ６のＣＰＵ３１は、上記図６に示す分析ボックス１の通常運用時における性別・年齢推定の場合と異なり、上記の顔検出モデル６４による検出対象となったフレーム画像中の顔（画像）について、この顔（画像）に対応する顔ボックスと共に出力された分類結果がＰｏｓｉｔｉｖｅである場合も、Ｎｅｇａｔｉｖｅである場合も、性別・年齢推定モデル６５を用いて、上記の顔（画像）についての性別・年齢推定を行う（Ｓ１２）。
【００５４】
次に、学習サーバ６のＣＰＵ３１（の検出結果検証部６６）は、上記の通常運用時に使用される顔検出モデル６４と性別・年齢推定モデル６５とを用いた性別・年齢の推定結果と、アノテーション情報付データセット３９に含まれる性別年齢ラベル（アノテーション情報）の内容とを比較して、上記の顔検出モデル６４と性別・年齢推定モデル６５とを用いた性別・年齢の推定結果の検証（Ｓ１３）を開始する。
【００５５】
上記Ｓ１３の推定結果の検証処理において、まず、学習サーバ６のＣＰＵ３１（の検出結果検証部６６）は、そもそも、上記Ｓ１１で顔検出モデル６４による顔検出ができていたか否かを判定（検証）する。具体的には、ＣＰＵ３１の検出結果検証部６６は、上記Ｓ１１で顔検出モデル６４による顔検出の対象になった（アノテーション情報付データセット３９中の）フレーム画像における顔ボックス内の顔（画像）を、顔検出モデル６４が検出できていたか否かを判定（検証）する（Ｓ１４）。
【００５６】
また、ＣＰＵ３１の検出結果検証部６６は、上記Ｓ１４で顔検出モデル６４による顔検出ができていたと判定した場合には（Ｓ１４でＹＥＳ）、上記Ｓ１２における（性別・年齢推定モデル６５による）性別・年齢の推定結果が正しいか否かを判定（検証）する（Ｓ１５）。具体的には、検出結果検証部６６は、上記Ｓ１２における（性別・年齢推定モデル６５による）性別・年齢の推定結果と、アノテーション情報付データセット３９に含まれる性別年齢ラベル（学習済の高精度性別・年齢推定モデル６３を用いた性別・年齢の推定結果であるアノテーション情報）とを比較して、これらの内容（性別・年齢の推定結果）に差があるか否かに基づいて、性別・年齢推定モデル６５による性別・年齢の推定結果が正しいか否かを判定（検証）する。
【００５７】
例えば、性別・年齢推定モデル６５により推定した性別と、アノテーション情報（性別年齢ラベル）における性別とが同じで、しかも、性別・年齢推定モデル６５により推定した年齢と、アノテーション情報（性別年齢ラベル）における年齢とが、同じ年齢層に入る場合には、検出結果検証部６６は、性別・年齢推定モデル６５による性別・年齢の推定結果が正しいと判定する。逆に、性別・年齢推定モデル６５により推定した性別と、アノテーション情報における性別とが異なるか、又は性別・年齢推定モデル６５により推定した年齢と、アノテーション情報における年齢とが、同じ年齢層に入らない場合には、検出結果検証部６６は、性別・年齢推定モデル６５による性別・年齢の推定結果が正しくない（間違っている）と判定する。
【００５８】
そして、学習サーバ６のＣＰＵ３１（の再学習用データセット編集部６７）は、上記Ｓ１４及びＳ１５の判定（検証）結果に基づいて、顔検出モデル６４の再学習用データセット４０の正解ラベル（Ｐｏｓｉｔｉｖｅ（肯定的）、又はＮｅｇａｔｉｖｅ（否定的））を編集する。
【００５９】
具体的には、ＣＰＵ３１（の再学習用データセット編集部６７）は、上記Ｓ１４の判定において、顔検出モデル６４による顔検出ができていると判定し（Ｓ１４でＹＥＳ）、かつ、Ｓ１５の判定において、性別・年齢推定モデル６５による性別・年齢の推定結果が正しいと判定した場合には（Ｓ１５でＹＥＳ）、上記の顔検出モデル６４による検出対象となった、（アノテーション情報付データセット３９に含まれる）フレーム画像に付けられた顔ボックスに、Ｐｏｓｉｔｉｖｅのラベルを付けて（Ｓ１６）、この顔ボックスとＰｏｓｉｔｉｖｅのラベルの付いたフレーム画像（のデータ）を、再学習用データセット４０に格納する。
【００６０】
また、上記Ｓ１４の判定において、顔検出モデル６４による顔検出ができていないと判定した場合（Ｓ１４でＮＯ）、又はＳ１５の判定において、性別・年齢推定モデル６５による性別・年齢の推定結果が間違っている（正しくない）と判定した場合には（Ｓ１５でＮＯ）、ＣＰＵ３１（の再学習用データセット編集部６７）は、上記の顔検出モデル６４による検出対象となった、（アノテーション情報付データセット３９に含まれる）フレーム画像に付けられた顔ボックスに、Ｎｅｇａｔｉｖｅのラベルを付けて（Ｓ１７）、この顔ボックスとＮｅｇａｔｉｖｅのラベルの付いたフレーム画像（のデータ）を、再学習用データセット４０に格納する。
【００６１】
学習サーバ６のＣＰＵ３１（の再学習用データセット編集部６７）は、上記のような再学習用データセット４０の編集処理を行うことにより、顔ボックス及びＰｏｓｉｔｉｖｅ／Ｎｅｇａｔｉｖｅのラベルの付いた、顔検出モデル６４用の（再）学習用データセットである再学習用データセット４０を作成（編集）する。そして、学習サーバ６のＣＰＵ３１の再学習部６８が、上記の再学習用データセット４０を用いて、上記の顔検出モデル６４の再学習を行う（Ｓ１８）。これにより、上記図６に示す分析ボックス１の通常運用時における顔検出処理（Ｓ１）で使用する、（性別・年齢推定に適している顔を、Ｐｏｓｉｔｉｖｅと検出できる）顔検出モデル７０を得ることができる。
【００６２】
上記のように、本実施形態の属性認識システム１０、及び属性認識プログラム５５によれば、人物ＩＤが付与された顔についての性別・年齢の推定を未だ行っておらず、かつ、人物ＩＤが付与された顔が、人顔検出部２１によって性別・年齢推定に適していると検出された顔であるときに限り、この顔についての性別・年齢の推定を行うようにした。これにより、一つのフレーム画像に映りこんだ、性別・年齢の推定に適している顔のみから、性別・年齢の推定を正確に行うことができる。従って、上記特許文献１に記載された従来のシステムと異なり、性別・年齢等の属性の認識処理の負荷を小さくすることができる。
【００６３】
また、本実施形態の属性認識システム１０によれば、学習サーバ６が、学習済の顔検出モデル６４を用いて、性別・年齢の推定に適している顔を検出し、この検出結果の検証結果に基づいて、顔検出モデル６４の再学習用データセット４０の正解ラベルを編集する。そして、学習サーバ６が、編集後の再学習用データセット４０を用いて、学習済の顔検出モデル６４の再学習を行うことができる。この再学習後の顔検出モデル７０によって、フレーム画像に映り込んだ顔の中から、性別・年齢の推定に適している顔を、高精度に検出することができる。従って、この再学習後の顔検出モデル７０によって性別・年齢の推定に適していると検出された、一つのフレーム画像における顔のみから、性別・年齢の推定を正確に行うことができる。
【００６４】
また、本実施形態の属性認識システム１０によれば、学習サーバ６のＣＰＵ３１が、学習済の顔検出モデル６４による性別・年齢の推定に適している顔の検出結果を自動的に検証して、この検証結果に基づいて、顔検出モデル６４の再学習用データセット４０の正解ラベルを自動的に付与するようにした。これにより、学習サーバ６のＣＰＵ３１が、顔検出モデル６４の再学習用データセット４０を自動的に編集（作成）することができる。
【００６５】
また、本実施形態の属性認識システム１０によれば、学習サーバ６のＣＰＵ３１が、顔検出モデル６４による性別・年齢の推定に適している顔の検出結果（主に、フレーム画像に付けた顔ボックス）と、性別・年齢推定モデル６５による性別・年齢の推定結果とに基づいて、顔検出モデル６４による性別・年齢の推定に適している顔の検出結果を検証するようにした。これにより、顔検出モデル６４による顔の検出結果、及び性別・年齢推定モデル６５による性別・年齢の推定結果のいずれか一方のみに基づいて、顔検出モデル６４による性別・年齢の推定に適している顔の検出結果を検証した場合と比べて、顔検出モデル６４による性別・年齢の推定に適している顔の検出結果を、正確に検証することができる。
【００６６】
また、本実施形態の属性認識システム１０によれば、学習サーバ６のＣＰＵ３１（の検出結果検証部６６）が、通常運用時に使用される性別・年齢推定モデル６５よりも精度の高い推論を行うことが可能な学習済の高精度性別・年齢推定モデル６３を用いた性別・年齢の推定結果と、性別・年齢推定モデル６５による性別・年齢の推定結果とを比較して、顔検出モデル６４による性別・年齢の推定に適している顔の検出結果を検証するようにした。これにより、学習サーバ６のＣＰＵ３１が、性別・年齢推定モデル６５による性別・年齢の推定結果に基づいて、顔検出モデル６４による性別・年齢の推定に適している顔の検出結果を自動的に検証することができる。
【００６７】
また、本実施形態の学習サーバ６によれば、フレーム画像に映り込んだ顔の中から、性別・年齢の推定に適している顔を検出する学習済の顔検出モデル６４の検出結果の検証結果に基づいて、顔検出モデル６４の再学習用データセット４０の正解ラベルを編集して、編集後の再学習用データセット４０を用いて、学習済の顔検出モデル６４の再学習を行うことができる。この再学習により、再学習後の顔検出モデル７０が、フレーム画像に映り込んだ顔の中から、性別・年齢の推定に適している顔を、高精度に検出することができるようになる。従って、この再学習後の顔検出モデル７０によって性別・年齢の推定に適していると検出された、一つのフレーム画像における顔のみから、性別・年齢の推定を正確に行うことができる。
【００６８】
変形例：
なお、本発明は、上記の各実施形態の構成に限られず、発明の趣旨を変更しない範囲で種々の変形が可能である。次に、本発明の変形例について説明する。
【００６９】
変形例１： 
上記の実施形態では、学習サーバ６のＣＰＵ３１が、精度の高い推論を行うことが可能な学習済の高精度性別・年齢推定モデル６３を用いた性別・年齢の推定結果（アノテーション情報）と、通常運用時に使用される性別・年齢推定モデル６５を用いた性別・年齢の推定結果とを比較して、上記の性別・年齢推定モデル６５による性別・年齢の推定結果を検証することにより、顔検出モデル６４による検出結果を検証し、この検証結果に基づいて、顔検出モデル６４の再学習用データセット４０の正解ラベル（Ｐｏｓｉｔｉｖｅ又はＮｅｇａｔｉｖｅ）を自動的に付与するようにした。けれども、これに限られず、例えば、学習サーバ６のＣＰＵ３１が、図９に示すように、通常運用時に使用される顔検出モデル６４よりも精度の高い推論を行うことが可能な学習済の高精度顔検出モデル７２（請求項における「学習済高精度物体検出用ニューラルネットワーク」）を備えて、この高精度顔検出モデル７２による検出結果に基づいて、再学習用データセット４０（内の画像）への正解ラベルを自動的に付与するようにしてもよい。
【００７０】
この変形例では、例えば、図９に示すように、学習サーバ６のＣＰＵ３１が、分析ボックス１の画像送信部５６から、通常運用時に使用される顔検出モデル６４による顔検出結果と、この顔検出処理の対象となったフレーム画像（データ）とを、通信部３６（図４参照）により受信して、受信したデータに基づき、顔ボックスの付いたフレーム画像から構成される元データセット７１を作成する。そして、学習サーバ６のＣＰＵ３１は、元データセット７１に格納された各フレーム画像を、上記の高精度顔検出モデル７２で検出して、この高精度顔検出モデル７２による高精度な顔検出結果（顔ボックス、及びＰｏｓｉｔｉｖｅ／Ｎｅｇａｔｉｖｅの分類結果）を、正しい顔検出結果と考えて、検出結果検証部６６による検証を行う。そして、この検証結果（正確には、高精度顔検出モデル７２による顔検出結果）に基づいて、再学習用データセット編集部６７は、顔検出モデル６４の再学習用データセット４０の正解ラベルを自動的に付与する。すなわち、上記の高精度顔検出モデル７２による顔検出処理の対象になった各フレーム画像に、高精度顔検出モデル７２による顔検出結果（顔ボックス、及びＰｏｓｉｔｉｖｅ／Ｎｅｇａｔｉｖｅのラベル）を付加することにより、再学習用データセット４０を作成する。
【００７１】
なお、上記のように、元データセット７１を、分析ボックス１から受信した、顔ボックスの付いたフレーム画像から構成されるものとするのではなく、元データセット７１を、分析ボックス１から受信した、顔ボックスとＰｏｓｉｔｉｖｅ／Ｎｅｇａｔｉｖｅのラベルの付いたフレーム画像から構成されるものとして、高精度顔検出モデル７２による顔検出結果（顔ボックス、及びＰｏｓｉｔｉｖｅ／Ｎｅｇａｔｉｖｅの分類結果）が、分析ボックス１から受信した（顔検出モデル６４の）顔検出結果と異なる場合には、元データセット７１における顔検出結果（顔ボックス、及びＰｏｓｉｔｉｖｅ／Ｎｅｇａｔｉｖｅのラベル）を、高精度顔検出モデル７２による顔検出結果で修正したデータを、再学習用データセット４０に格納するようにしてもよい。
【００７２】
変形例２： 
上記の実施形態では、学習サーバ６のＣＰＵ３１の検出結果検証部６６が、性別・年齢推定モデル６５による性別・年齢の推定結果と、アノテーション情報付データセット３９に含まれる性別年齢ラベル（学習済の高精度性別・年齢推定モデル６３を用いた性別・年齢の推定結果であるアノテーション情報）とを比較して、これらの内容（性別・年齢の推定結果）に差があるか否かに基づいて、性別・年齢推定モデル６５による性別・年齢の推定結果が正しいか否かを判定（検証）することにより、顔検出モデル６４による、性別・年齢推定に適している顔の検出結果を検証して、この検証結果に基づいて、ＣＰＵ３１の再学習用データセット編集部６７が、顔検出モデル６４の再学習用データセット４０の正解ラベル（Ｐｏｓｉｔｉｖｅ又はＮｅｇａｔｉｖｅ）を自動的に編集（付与）するようにした。けれども、これに限られず、性別・年齢推定モデルによる性別・年齢の推定結果が正しいか否かをシステム管理者等の人が判定して（顔検出モデルによる、性別・年齢推定に適している顔の検出結果を人が検証して）、この判定（検証）結果に基づいて、システム管理者等の人が、顔検出モデルの再学習用データセットの正解ラベルを編集（手入力）するようにしてもよい。
【００７３】
変形例３： 
上記の実施形態では、分析ボックス１のＣＰＵ１１の属性認識部２３が、人顔検出部２１で検出した顔（の人）についての性別及び年齢の推定を行う場合の例を示したが、これに限られず、例えば、分析ボックスのＣＰＵの属性認識部が、人検出部で検出した人物領域から、服装や持ち物等の個人を識別するために有用な属性を認識するようにしてもよい。これにより、本発明の属性認識システムを、例えば、買い物かごを持っている人を検出（認識）する属性認識システムや、店員と客の分類を行う属性認識システムに適用することができる。
【００７４】
変形例４： 
上記の実施形態では、分析ボックス１のＣＰＵ１１が、人顔検出部２１と識別情報付与部２２と属性認識部２３とを備える構成にしたが、この構成に限られず、例えば、各店舗に配するカメラを、いわゆるエッジコンピューティング機能を有するＡＩ（Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ）カメラにして、このＡＩカメラに、学習済の顔検出モデルと、学習済の性別・年齢推定モデル及びベクトル化モデルと、これらのＮＮモデルの処理の順番を記載した制御用スクリプトとを備えたアプリパッケージをインストールして、ＡＩカメラが、上記の人顔検出部、識別情報付与部、及び属性認識部の機能を備えるようにしてもよい。また、属性認識システムに含まれる、分析ボックス以外のコンピュータに、上記のアプリパッケージをインストールして、このコンピュータが、上記の人顔検出部、識別情報付与部、及び属性認識部の機能を備えるようにしてもよい。
【００７５】
変形例５： 
上記の実施形態では、属性認識システム１０が、クラウドＣ上に、学習サーバ６とＡＩ分析サーバ７と管理サーバ８とを備える場合の例を示したが、属性認識システムの構成はこれに限られず、例えば、クラウド上に、学習サーバと管理サーバを備えていてもよいし、学習サーバのみを備えていてもよい。
【符号の説明】
【００７６】
１    分析ボックス（コンピュータ）
２    ネットワークカメラ（カメラ）
６    学習サーバ
１０  属性認識システム
２１  人顔検出部
２２  識別情報付与部
２３  属性認識部
４０  再学習用データセット
５５  属性認識プログラム
６３  高精度性別・年齢推定モデル（学習済高精度物体認識用ニューラルネットワーク）
６４  顔検出モデル（学習済物体検出用ニューラルネットワーク）
６５  性別・年齢推定モデル（学習済物体認識用ニューラルネットワーク）
６６  検出結果検証部
６７  再学習用データセット編集部
６８  再学習部
７０  顔検出モデル（再学習後の「学習済物体検出用ニューラルネットワーク」）
７２  高精度顔検出モデル（学習済高精度物体検出用ニューラルネットワーク）
【要約】
【課題】属性認識システム、学習サーバ、及び属性認識プログラムにおいて、一つのフレーム画像に映りこんだ人又は顔のみから、性別・年齢等の属性の認識を正確に行えるようにして、属性の認識処理の負荷を小さくする。
【解決手段】人物ＩＤが付与された顔についての性別・年齢の推定を未だ行っておらず、かつ、人物ＩＤが付与された顔が、人顔検出部２１によって性別・年齢推定に適していると検出された顔であるときに限り（Ｓ３とＳ４でＹＥＳ）、この顔についての性別・年齢の推定を行うようにした（Ｓ５）。これにより、一つのフレーム画像に映りこんだ、性別・年齢の推定に適している顔のみから、性別・年齢の推定を正確に行うことができる。従って、従来のシステムと異なり、性別・年齢等の属性の認識処理の負荷を小さくすることができる。
【選択図】図６【図１】
0006651085.tif 000002
【図２】
0006651085.tif 000003
【図３】
0006651085.tif 000004
【図４】
0006651085.tif 000005
【図５】
0006651085.tif 000006
【図６】
0006651085.tif 000007
【図７】
0006651085.tif 000008
【図８】
0006651085.tif 000009
【図９】
0006651085.tif 000010