(57)【要約】      （修正有）【課題】チェーン店の各店舗に設置するカメラの数を抑えて、チェーン店の各店舗の新規開店費用や維持費用を削減することが可能な学習システム、サーバ及びプログラムを提供する。【解決手段】学習システムにおいて、サーバ２は、複数のカメラによる撮影画像から抽出された特徴量に基づいて、特徴量画像を描画する描画処理部と、撮影画像の欠落により生じる特徴量画像の欠落部分を含む特徴量画像の全体に対して、学習済のニューラルネットワークを適用することで、特徴量画像の欠落部分を補間する特徴量画像補間部と、全てのカメラによる撮影画像から抽出された特徴量に基づいて描画処理部が描画した特徴量画像に基づく学習用画像を用いて、学習完了前のニューラルネットワークの機械学習を行う機械学習部とを備える。【選択図】図２
2020042367.tif 000002
【特許請求の範囲】
【請求項１】
系列に属する店舗が同じレイアウトを有するチェーン店の店舗に配された複数のカメラと、前記複数のカメラと通信を行うサーバとを備えた学習システムであって、
前記サーバは、
前記複数のカメラによる撮影画像から抽出された特徴量に基づいて、特徴量画像を描画する描画処理部と、
前記チェーン店のある店舗に配置されたカメラの数が、本来配置されるべきカメラの数よりも少ないために、前記撮影画像が欠落している場合に、これらの撮影画像の欠落により生じる前記特徴量画像の欠落部分を含む前記特徴量画像の全体に対して、学習済のニューラルネットワークを適用することで、前記特徴量画像の欠落部分を補間する特徴量画像補間部と、
前記本来配置されるべきカメラのうち前記ある店舗に欠けているカメラを備えた前記系列に属する他の店舗において、前記他の店舗に配置された全てのカメラによる撮影画像から抽出された特徴量に基づいて前記描画処理部が描画した前記特徴量画像に基づく学習用画像を用いて、学習完了前の前記ニューラルネットワークの機械学習を行う機械学習部と、
を備える学習システム。
【請求項２】
前記他の店舗は、前記系列に属する前記ある店舗以外の店舗のうち、本来配置されるべき全てのカメラを備えた店舗であり、
前記機械学習部は、前記他の店舗に配置された、前記本来配置されるべき全てのカメラによる撮影画像から抽出された特徴量に基づいて前記描画処理部が描画した前記特徴量画像に基づく学習用画像を用いて、学習完了前の前記ニューラルネットワークの機械学習を行うことを特徴とする請求項１に記載の学習システム。
【請求項３】
前記特徴量画像は、前記複数のカメラによる撮影画像から抽出された特徴量を色を用いて可視化したヒートマップ画像であることを特徴とする請求項１又は請求項２に記載の学習システム。
【請求項４】
前記特徴量は、複数の種類の特徴量のデータから構成される多次元データであり、
前記特徴量画像は、前記多次元データを色を用いて可視化したカラーのヒートマップ画像であることを特徴とする請求項３に記載の学習システム。
【請求項５】
前記描画処理部は、前記複数のカメラによる撮影画像から抽出された所定の時間分の前記特徴量に基づいて、前記ヒートマップ画像を描画することを特徴とする請求項３又は請求項４に記載の学習システム。
【請求項６】
前記特徴量は、前記複数のカメラの各々による撮影画像そのものであり、
前記サーバにおける描画処理部は、前記複数のカメラの各々による撮影画像に基づいて、これらの画像を組み合わせた画像である店舗内の画像を、特徴量画像として描画し、
前記学習済のニューラルネットワークは、前記ある店舗に配置されたカメラの数が、本来配置されるべきカメラの数よりも少ないために、前記撮影画像が欠落している場合に、欠落した撮影画像を補間することにより、前記ある店舗内の画像を完成させることを特徴とする請求項１又は請求項２に記載の学習システム。
【請求項７】
前記ニューラルネットワークは、生成モデルのニューラルネットワークであり、前記特徴量画像補間部は、前記学習済のニューラルネットワークを用いて、前記特徴量画像の欠落部分を生成することにより、前記欠落部分を補間することを特徴とする請求項１乃至請求項６のいずれか一項に記載の学習システム。
【請求項８】
系列に属する店舗が同じレイアウトを有するチェーン店のある店舗に配された複数のカメラと通信可能なサーバであって、
前記複数のカメラによる撮影画像から抽出された特徴量に基づいて、特徴量画像を描画する描画処理部と、
前記チェーン店のある店舗に配置されたカメラの数が、本来配置されるべきカメラの数よりも少ないために、前記撮影画像が欠落している場合に、これらの撮影画像の欠落により生じる前記特徴量画像の欠落部分を含む前記特徴量画像の全体に対して、学習済のニューラルネットワークを適用することで、前記特徴量画像の欠落部分を補間する特徴量画像補間部と、
前記本来配置されるべきカメラのうち前記ある店舗に欠けているカメラを備えた前記系列に属する他の店舗において、前記他の店舗に配置された全てのカメラによる撮影画像から抽出された特徴量に基づいて前記描画処理部が描画した前記特徴量画像に基づく学習用画像を用いて、学習完了前の前記ニューラルネットワークの機械学習を行う機械学習部と、
を備えるサーバ。
【請求項９】
前記特徴量画像は、前記複数のカメラによる撮影画像から抽出された特徴量を色を用いて可視化したヒートマップ画像であることを特徴とする請求項８に記載のサーバ。
【請求項１０】
コンピュータを、
系列に属する店舗が同じレイアウトを有するチェーン店のある店舗に配された複数のカメラによる撮影画像から抽出された特徴量に基づいて、特徴量画像を描画する描画処理部と、
前記チェーン店のある店舗に配置されたカメラの数が、本来配置されるべきカメラの数よりも少ないために、前記撮影画像が欠落している場合に、これらの撮影画像の欠落により生じる前記特徴量画像の欠落部分を含む前記特徴量画像の全体に対して、学習済のニューラルネットワークを適用することで、前記特徴量画像の欠落部分を補間する特徴量画像補間部と、
前記本来配置されるべきカメラのうち前記ある店舗に欠けているカメラを備えた前記系列に属する他の店舗において、前記他の店舗に配置された全てのカメラによる撮影画像から抽出された特徴量に基づいて前記描画処理部が描画した前記特徴量画像に基づく学習用画像を用いて、学習完了前の前記ニューラルネットワークの機械学習を行う機械学習部
として機能させるための、特徴量画像描画補間プログラム。
【請求項１１】
前記特徴量画像は、前記複数のカメラによる撮影画像から抽出された特徴量を色を用いて可視化したヒートマップ画像であることを特徴とする請求項１０に記載の特徴量画像描画補間プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習システム、サーバ、及び特徴量画像描画補間プログラムに関する。
【背景技術】
【０００２】
従来から、販売店やレストラン等の店舗には、監視カメラや、いわゆるＡＩ（Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ）カメラ等のカメラが、店内の各所に設置されている。これらのカメラは、万引き等の犯罪の防止や、顧客及び従業員の行動の把握等のために用いられるので（特許文献１等参照）、例えば、４００平方メートル程度の規模のドラッグストア各店舗に、５０台程度のカメラを設置することで、店舗内の顧客や従業員の行動等がデータ化され、様々な分析に応用することが可能である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−９３２８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが、上記の監視カメラや、ＡＩカメラ等のカメラは、高価であるため、各店舗に多くのカメラを設置することは、店舗の新規開店費用（イニシャルコスト）や、店舗の維持費用（ランニングコスト）の上昇につながる。
【０００５】
本発明は、上記課題を解決するものであり、チェーン店の各店舗に設置するカメラの数を抑えて、チェーン店の各店舗の新規開店費用や維持費用を削減することが可能な学習システム、サーバ、及び特徴量画像描画補間プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の第1の態様による学習システムは、系列に属する店舗が同じレイアウトを有するチェーン店の店舗に配された複数のカメラと、前記複数のカメラと通信を行うサーバとを備えた学習システムであって、前記サーバは、前記複数のカメラによる撮影画像から抽出された特徴量に基づいて、特徴量画像を描画する描画処理部と、前記チェーン店のある店舗に配置されたカメラの数が、本来配置されるべきカメラの数よりも少ないために、前記撮影画像が欠落している場合に、これらの撮影画像の欠落により生じる前記特徴量画像の欠落部分を含む前記特徴量画像の全体に対して、学習済のニューラルネットワークを適用することで、前記特徴量画像の欠落部分を補間する特徴量画像補間部と、前記本来配置されるべきカメラのうち前記ある店舗に欠けているカメラを備えた前記系列に属する他の店舗において、前記他の店舗に配置された全てのカメラによる撮影画像から抽出された特徴量に基づいて前記描画処理部が描画した前記特徴量画像に基づく学習用画像を用いて、学習完了前の前記ニューラルネットワークの機械学習を行う機械学習部とを備える。
【０００７】
この学習システムにおいて、前記他の店舗は、前記系列に属する前記ある店舗以外の店舗のうち、本来配置されるべき全てのカメラを備えた店舗であり、
前記機械学習部は、前記他の店舗に配置された、前記本来配置されるべき全てのカメラによる撮影画像から抽出された特徴量に基づいて前記描画処理部が描画した前記特徴量画像に基づく学習用画像を用いて、学習完了前の前記ニューラルネットワークの機械学習を行うことが望ましい。
【０００８】
この学習システムにおいて、前記特徴量画像は、前記複数のカメラによる撮影画像から抽出された特徴量を色を用いて可視化したヒートマップ画像であることが望ましい。
【０００９】
この学習システムにおいて、前記特徴量は、複数の種類の特徴量のデータから構成される多次元データであり、前記特徴量画像は、前記多次元データを色を用いて可視化したカラーのヒートマップ画像であることが望ましい。
【００１０】
この学習システムにおいて、前記描画処理部は、前記複数のカメラによる撮影画像から抽出された所定の時間分の前記特徴量に基づいて、前記ヒートマップ画像を描画することが望ましい。
【００１１】
この学習システムにおいて、前記特徴量は、前記複数のカメラの各々による撮影画像そのものであり、前記サーバにおける描画処理部は、前記複数のカメラの各々による撮影画像に基づいて、これらの画像を組み合わせた画像である店舗内の画像を、特徴量画像として描画し、前記学習済のニューラルネットワークは、前記ある店舗に配置されたカメラの数が、本来配置されるべきカメラの数よりも少ないために、前記撮影画像が欠落している場合に、欠落した撮影画像を補間することにより、前記ある店舗内の画像を完成させるものであってもよい。
【００１２】
この学習システムにおいて、前記ニューラルネットワークは、生成モデルのニューラルネットワークであり、前記特徴量画像補間部は、前記学習済のニューラルネットワークを用いて、前記特徴量画像の欠落部分を生成することにより、前記欠落部分を補間するようにしてもよい。
【００１３】
本発明の第２の態様によるサーバは、系列に属する店舗が同じレイアウトを有するチェーン店のある店舗に配された複数のカメラと通信可能なサーバであって、前記複数のカメラによる撮影画像から抽出された特徴量に基づいて、特徴量画像を描画する描画処理部と、前記チェーン店のある店舗に配置されたカメラの数が、本来配置されるべきカメラの数よりも少ないために、前記撮影画像が欠落している場合に、これらの撮影画像の欠落により生じる前記特徴量画像の欠落部分を含む前記特徴量画像の全体に対して、学習済のニューラルネットワークを適用することで、前記特徴量画像の欠落部分を補間する特徴量画像補間部と、前記本来配置されるべきカメラのうち前記ある店舗に欠けているカメラを備えた前記系列に属する他の店舗において、前記他の店舗に配置された全てのカメラによる撮影画像から抽出された特徴量に基づいて前記描画処理部が描画した前記特徴量画像に基づく学習用画像を用いて、学習完了前の前記ニューラルネットワークの機械学習を行う機械学習部とを備える。
【００１４】
このサーバにおいて、前記特徴量画像は、前記複数のカメラによる撮影画像から抽出された特徴量を色を用いて可視化したヒートマップ画像であることが望ましい。
【００１５】
本発明の第３の態様による特徴量画像描画補間プログラムは、コンピュータを、系列に属する店舗が同じレイアウトを有するチェーン店のある店舗に配された複数のカメラによる撮影画像から抽出された特徴量に基づいて、特徴量画像を描画する描画処理部と、前記チェーン店のある店舗に配置されたカメラの数が、本来配置されるべきカメラの数よりも少ないために、前記撮影画像が欠落している場合に、これらの撮影画像の欠落により生じる前記特徴量画像の欠落部分を含む前記特徴量画像の全体に対して、学習済のニューラルネットワークを適用することで、前記特徴量画像の欠落部分を補間する特徴量画像補間部と、前記本来配置されるべきカメラのうち前記ある店舗に欠けているカメラを備えた前記系列に属する他の店舗において、前記他の店舗に配置された全てのカメラによる撮影画像から抽出された特徴量に基づいて前記描画処理部が描画した前記特徴量画像に基づく学習用画像を用いて、学習完了前の前記ニューラルネットワークの機械学習を行う機械学習部として機能させるための、特徴量画像描画補間プログラムである。
【００１６】
この特徴量画像描画補間プログラムにおいて、前記特徴量画像は、前記複数のカメラによる撮影画像から抽出された特徴量を色を用いて可視化したヒートマップ画像であることが望ましい。
【発明の効果】
【００１７】
本発明の第１の態様による学習システム、第２の態様によるサーバ、及び第３の態様による特徴量画像描画補間プログラムによれば、本来配置されるべきカメラのうち、ある店舗に欠けているカメラを備えた（同じ）系列に属する他の店舗において、この他の店舗に配置された全てのカメラによる撮影画像から抽出された特徴量に基づいて描画した特徴量画像に基づく学習用画像用いて、学習完了前のニューラルネットワークの機械学習を行うようにした。ここで、いわゆるチェーン店では、系列に属する各店舗が同じレイアウトを有している。このため、上記のように、本来配置されるべきカメラのうち、ある店舗に欠けているカメラを備えた（同じ）系列に属する他の店舗における撮影画像から抽出された特徴量に基づいて描画した特徴量画像に基づく学習用画像を用いて、ニューラルネットワークの機械学習を行うことにより、同じ系列に属するある店舗に配置されたカメラの数が、本来配置されるべきカメラの数よりも少ないために、本来配置されるべきカメラのうち、いくつかのカメラによる撮影画像が欠落している場合でも、これらの撮影画像の欠落により生じる特徴量画像の欠落部分を、学習済のニューラルネットワークを用いて、補間することができる。
【００１８】
これにより、チェーン店の各店舗に配置するカメラの数を、本来配置されるべきカメラの数よりも少なくした場合でも、本来配置されるべきカメラの数と同じ数のカメラを配置した場合と遜色のない特徴量画像を得ることができる。従って、チェーン店の各店舗に設置するカメラの数を抑えて、チェーン店の各店舗の新規開店費用や維持費用を削減することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態の学習システムの概略の構成を示すブロック構成図。
【図２】同学習システムに含まれるエッジカメラとサーバの機能ブロック構成図。
【図３】同学習システムにおける画像補間ネットワーク（及びディスクリミネータ）の学習の準備処理のフローチャート。
【図４】同学習システムのエッジカメラにおける撮影エリアと、撮影エリア毎の特徴量の説明図。
【図５】上記エッジカメラによる撮影画像を、店内全体の撮影画像を再現するように並べたときの撮影エリアの説明図。
【図６】上記図３の学習の準備処理の説明図。
【図７】同学習システムにおける欠落部分を含むヒートマップ画像（欠落ヒートマップ画像）の生成処理と、欠落ヒートマップ画像の補間処理のフローチャート。
【図８】上記図７の欠落ヒートマップ画像の生成処理と、欠落ヒートマップ画像の補間処理の説明図。
【図９】同学習システムにおける画像補間ネットワークの説明図。
【図１０】同学習システムにおける画像補間ネットワークに含まれる各層の説明図。
【図１１】同学習システムにおけるディスクリミネータの説明図。
【図１２】同学習システムにおけるディスクリミネータに含まれる各層の説明図。
【図１３】同学習システムにおける画像補間ネットワーク及びディスクリミネータの機械学習の説明図。
【発明を実施するための形態】
【００２０】
以下、本発明を具体化した実施形態による学習システム、サーバ、及び特徴量画像描画補間プログラムについて、図面を参照して説明する。図１は、本実施形態による学習システムの概略の構成を示すブロック図である。この学習システム１０は、複数のエッジカメラ１（いわゆるＡＩ（Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ）カメラ：請求項における「カメラ」に相当）と、これらのエッジカメラ１と通信を行う（クラウド上の）サーバ２とを備えている。上記のエッジカメラ１は、いわゆるエッジコンピューティング機能を有するカメラであり、系列に属する店舗が同じレイアウトを有するチェーン店の各店舗に配されている。なお、図１には、１つのエッジカメラ１のみを示しているが、チェーン店の各店舗には、複数のエッジカメラ１が設置されている。チェーン店の各店舗に本来配置されるべきエッジカメラ１の数は、例えば、５０台以上であるが、一部の店舗のみに、本来配置されるべきエッジカメラ１のうちの全て（５０台以上のエッジカメラ１）が設置され、他の多くの店舗では、本来配置されるべき数よりも少ない数（例えば、５台〜１０台）のエッジカメラ１しか設置されていない。
【００２１】
上記のエッジカメラ１は、カメラ部１１と、装置全体の制御と各種演算を行うＣＰＵ１２と、通信部１３とを備えている。上記のＣＰＵ１２には、不図示のＧＰＵ（ディスクリートＧＰＵ）を備えること、または不図示の外付けのＧＰＵ（グラフィックスカードや、ＵＳＢ等でエッジカメラ１と接続が可能な機械学習計算用ＧＰＵを搭載したデバイス）を接続することが望ましい。
【００２２】
また、エッジカメラ１は、各種のデータやプログラムを記憶するメモリ１４を備えている。メモリ１４に記憶されているプログラムには、エッジカメラ側制御プログラム１５が含まれている。なお、本エッジカメラ側制御プログラム１５の一部または全部が、不図示のＧＰＵ内のメモリに記憶される場合もある。
【００２３】
上記のサーバ２は、装置全体の制御と各種演算を行うＣＰＵ２１を備えている。また、サーバ２は、通信部２２を有しており、通信部２２を介して、エッジカメラ１と通信を行う。通信部２２は、通信用ＩＣを備えている。
【００２４】
また、サーバ２は、各種のプログラムやデータを記憶するハードディスク２３と、各種のプログラムの実行時に、実行するプログラムやデータをロードするＲＡＭ２４と、ディスプレイ２５と、各種の入力指示操作に用いられる操作部３０とを備えている。上記のハードディスク２３には、ヒートマップ描画補間プログラム２６と、画像補間ネットワークＩと、ディスクリミネータＤと、画像補間ネットワークＩの学習用の訓練データセット２９とが格納されている。画像補間ネットワークＩと、ディスクリミネータＤとは、生成モデルの一種であるＧＡＮ（正確に言うと、ＤＣＧＡＮ（Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋｓ））のＧｅｎｅｒａｔｏｒと、Ｄｉｓｃｒｉｍｉｎａｔｏｒとに相当する。ハードディスク２３は、上記の画像補間ネットワークＩのパラメータデータ２７と、ディスクリミネータＤのパラメータデータ２８も、格納している。なお、図には示していないが、サーバ２も、ＧＰＵを備えることが望ましい。
【００２５】
図２は、上記のエッジカメラ１側の機能ブロックと、サーバ２側の機能ブロックを示す。エッジカメラ１側のＣＰＵ１２は、特徴量抽出部３０を有している。特徴量抽出部３０は、自機（エッジカメラ１）による撮影画像から、女性人数、男性人数、滞留時間等の特徴量を抽出する。なお、特徴量抽出部３０は、撮影画像における男性人数や女性人数の検出に、例えば、Ｒ−ＣＮＮベースの物体検出エンジンを用いる。Ｒ−ＣＮＮベースの物体検出エンジンは、入力画像における、オブジェクトらしい領域を抽出する機能と、この抽出された領域に対してＣＮＮを適用して、抽出された領域の画像が、どのクラスに属するかを分類する機能とを含んでいる。
【００２６】
また、サーバ２側のＣＰＵ２１は、描画処理部３１と、特徴量画像補間部３２と、機械学習部３３とを有している。上記の描画処理部３１は、複数のエッジカメラ１による撮影画像から上記の特徴量抽出部３０により抽出された特徴量に基づいて、ヒートマップ画像（請求項における「特徴量画像」）を描画する。このヒートマップ画像は、複数のエッジカメラ１による撮影画像から抽出された特徴量を色を用いて可視化した画像である。上記の特徴量抽出部３０により抽出された特徴量が、複数の種類の特徴量のデータから構成される多次元データの場合には、上記のヒートマップ画像は、多次元データを色を用いて可視化したカラーのヒートマップ画像となる。
【００２７】
上記の特徴量画像補間部３２は、チェーン店のある店舗に配置されたエッジカメラ１の数が、本来配置されるべきエッジカメラ１の数よりも少ないために、エッジカメラ１による撮影画像が欠落している場合に、これらの撮影画像の欠落により生じるヒートマップ画像の欠落部分を含むヒートマップ画像の全体に対して、学習済の画像補間ネットワークＩ（請求項における「学習済のニューラルネットワーク」）を適用することで、ヒートマップ画像の欠落部分を補間する。
【００２８】
上記の機械学習部３３は、本来配置されるべきエッジカメラ１のうち、ある店舗に欠けているエッジカメラ１を備えた、同じ系列に属する他の店舗において、この他の店舗に配置された全てのエッジカメラ１による撮影画像から抽出された上記の特徴量に基づいて、描画処理部３１が描画したヒートマップ画像に基づく学習用画像を用い、学習完了前の画像補間ネットワークＩ（及びディスクリミネータＤ）の機械学習を行う。より正確に言うと、機械学習部３３は、系列に属するある店舗以外の店舗のうち、本来配置されるべき全てのエッジカメラ１を備えた他の店舗における、全てのエッジカメラ１による撮影画像から抽出された上記の特徴量に基づいて、描画処理部３１が描画したヒートマップ画像に基づく学習用画像を用いて、学習完了前の画像補間ネットワークＩ（及びディスクリミネータＤ）の機械学習を行う。
【００２９】
上記のエッジカメラ１側の特徴量抽出部３０の機能は、エッジカメラ１側のＣＰＵ１２がエッジカメラ側制御プログラム１５を実行することにより実現される。また、サーバ２側のＣＰＵ２１内の各ブロック（描画処理部３１、特徴量画像補間部３２、及び機械学習部３３）の機能は、ＣＰＵ２１がヒートマップ描画補間プログラム２６を実行することにより実現される。ただし、この構成に限られず、例えば、上記のＣＰＵ１２及びＣＰＵ２１における各ブロックの機能の少なくとも一つを、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）等によって構成される個別のハードウェアによって実現してもよい。
【００３０】
次に、図３のフローチャートに加えて、図４乃至図６を参照して、上記画像補間ネットワークＩ（及びディスクリミネータＤ）の学習の準備処理について、説明する。この学習の準備処理は、サーバ２が、本来配置されるべき全てのエッジカメラ１から時々刻々と送信される各時刻ｔの特徴量を用いて、描画処理部３１により描画したヒートマップ画像を、学習用画像（の基になる画像）として、繰り返し、訓練データセットに格納する処理である。
【００３１】
この学習の準備処理において、上記エッジカメラ１のＣＰＵ１２の特徴量抽出部３０が、自機（エッジカメラ１）による撮影画像を、図４に示す４×４（４行４列）の撮影エリアＡＲｉに分け、時刻ｔにおける撮影エリアＡＲｉ毎の特徴量ａｉｔを抽出（判定）して、特徴量ａｉｔを含む撮影エリア特徴量情報ｃｉｔを、サーバ２に送信する処理を繰り返す（Ｓ１）。ここで、ｉは、撮影エリアの番号を示す。この撮影エリアの番号ｉには、本来配置されるべき全てのエッジカメラ１による撮影画像に含まれる撮影エリアの通し番号が付与される。より詳細に言うと、撮影エリアの番号ｉには、図５に示すように、全てのエッジカメラ１による撮影画像を、店内全体の撮影画像を再現するように並べたときに、店内全体の撮影画像に含まれる撮影エリアの通し番号が付与される。図５に示す例では、店舗内に、８行８列の６４台のエッジカメラを並べており、この場合には、撮影エリアの番号ｉの最大値は、（８×４）×（８×４）＝３２×３２＝１０２４になる。
【００３２】
上記の撮影エリアＡＲｉ毎の撮影エリア特徴量情報ｃｉｔは、下記の式（１）で表される。
ｃｉｔ＝｛ｘｉ，ｙｉ，ａｉｔ｝・・・（１）
【００３３】
上記のｘｉ，ｙｉは、それぞれ、撮影エリアＡＲｉのｘ座標方向（横方向）とｙ座標方向（縦方向）の位置を表し、ａｉｔは、時刻ｔにおける撮影エリアＡＲｉ毎の特徴量ａｉｔを表す。上記の撮影エリアＡＲｉのｘ座標方向（横方向）とｙ座標方向（縦方向）の位置とは、例えば、撮影エリアＡＲｉ内のｘ座標の最小値とｙ座標の最小値である。なお、式（１）に示すように、撮影エリアＡＲｉのｘ座標方向の位置ｘｉとｙ座標方向の位置ｙｉとは、時刻ｔに関わらず、不変である。
【００３４】
また、上記の時刻ｔにおける撮影エリアＡＲｉ毎の特徴量ａｉｔは、例えば、時刻ｔにおける撮影エリアＡＲｉ内に含まれる（滞留している）男性の人数、女性の人数、滞留時間である。この場合には、特徴量ａｉｔは、下記の式（２）で表される。ここで、滞留時間は、例えば、撮影エリアＡＲｉに滞留している（留まっている）人のうち、滞留時間が一番長い人の滞留時間である。ただし、現在、撮影エリアＡＲｉに滞留している人の滞留時間の平均値を、滞留時間の値としてもよい。
ａｉｔ＝｛男性人数ｉｔ、女性人数ｉｔ、滞留時間ｉｔ｝・・・（２）
【００３５】
図４における下の部分には、各時刻における撮影エリアＡＲｉ毎の特徴量ａｉｔを示している。例えば、図４に示すように、ａｉｔ＝｛１，１，４｝の場合は、時刻ｔにおける撮影エリアＡＲｉ内に含まれる（滞留している）男性の人数＝１人、女性の人数＝１人、滞留時間＝４秒である。
【００３６】
サーバ２は、全てのエッジカメラ１から取得した全撮影エリアＡＲ１〜ＡＲｎの時刻ｔにおける撮影エリア特徴量情報ｃ１ｔ〜ｃｎｔを、下記の式（３）に示すように、特徴量情報ｃｔとして、まとめる。
ｃｔ＝｛ｃ０ｔ，ｃ１ｔ，・・・，ｃｎｔ｝・・・（３）
【００３７】
そして、サーバ２は、全てのエッジカメラ１より取得した、時刻（ｔ−Ｔ）から時刻ｔにおける特徴量情報ｃ（ｔ−Ｔ）〜ｃｔから、時刻ｔのヒートマップ画像ＨＭｔを生成する（Ｓ２）。ここで、Ｔは、所定の時間であり、例えば、３０秒に設定される。上記のヒートマップ画像ＨＭｔは、上記の所定の時間Ｔ分の特徴量情報ｃ（ｔ−Ｔ）〜ｃｔに含まれる特徴量を、色を用いて可視化したものである。より詳細に説明すると、時刻ｔにおける特徴量情報ｃｔに含まれる特徴量ａ１ｔ〜ａｎｔは、上記式（２）に示されるように、例えば、女性人数、男性人数、及び滞留時間のデータから構成される多次元データである。この例の場合は、例えば、特徴量ａｉｔに含まれる男性人数ｉｔ、女性人数ｉｔ、滞留時間ｉｔを、それぞれ、Ｒ（赤）、Ｂ（青）、Ｇ（緑）で表すことにより、上記のヒートマップ画像ＨＭｔは、カラーのヒートマップ画像になる。
【００３８】
ただし、ヒートマップ画像ＨＭｔは、上記のように、所定の時間Ｔ分の特徴量情報ｃ（ｔ−Ｔ）〜ｃｔに基づいて生成したものであり、時刻（ｔ−Ｔ）〜時刻ｔの各々の時刻における特徴量情報ｃ（ｔ−Ｔ）〜ｃｔから生成した、時刻（ｔ−Ｔ）〜時刻ｔのカラーのヒートマップ画像を、合成したものである。この各時刻におけるカラーのヒートマップ画像を合成する際には、時間が遡るに従って、合成対象となるヒートマップ画像におけるＲ，Ｇ，Ｂの輝度値への重み付けが小さくなるように（直近の時刻ｔにおけるＲ，Ｇ，Ｂの輝度値への重み付けが一番大きく、最も古い時刻（ｔ−Ｔ）におけるＲ，Ｇ，Ｂの輝度値への重み付けが一番が一番小さくなるように）した上で、これらのヒートマップ画像を合成することが望ましい。
【００３９】
図５に示すように、撮影エリアの数が、３２行３２列である場合は、各撮影エリアを１ピクセルで表すと、ヒートマップ画像ＨＭｔの大きさは、３２×３２＝１０２４ピクセルになる。
【００４０】
サーバ２のＣＰＵ２１は、図３中の上記Ｓ２で生成したヒートマップ画像ＨＭｔを、学習用画像の基になる画像として訓練データセット２９（図２参照）に追加する（図３のＳ３）。
【００４１】
上記図３の処理を、学習システム１０全体で見ると、図６に示すように、学習システム１０は、全エッジカメラ１で取得した時刻（ｔ−Ｔ）〜時刻ｔの撮影画像から、全撮影エリアにおける時刻（ｔ−Ｔ）〜時刻ｔの特徴量情報ｃ（ｔ−Ｔ）〜ｃｔを抽出して、この（所定の）時間Ｔ分の特徴量情報ｃ（ｔ−Ｔ）〜ｃｔに基づいて、ヒートマップ画像ＨＭｔを生成し、時事刻々と生成されるヒートマップ画像ＨＭｔを、学習用画像（の基になる画像）として訓練データセット２９に追加する処理を繰り返す。そして、学習時には、訓練データセット２９に格納された各時刻におけるヒートマップ画像（例えば、ヒートマップ画像ＨＭｔ）と、各時刻におけるヒートマップ画像に対応するランダムマスクとに基づいて、画像補間ネットワークＩの（機械）学習を行う。すなわち、ランダムマスクを施したヒートマップ画像を学習用画像として用いて、画像補間ネットワークＩの（機械）学習を行う。なお、正確に言うと、本実施形態では、画像補間ネットワークＩとして、ＤＣＧＡＮのＧｅｎｅｒａｔｏｒに相当するネットワークを使用するので、上記のＧｅｎｅｒａｔｏｒに相当する画像補間ネットワークＩの学習時には、ディスクリミネータＤ（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）の学習も行う。画像補間ネットワークＩ（及びディスクリミネータＤ）の（機械）学習処理については、後で、詳述する。
【００４２】
次に、上記の機械学習後の画像補間ネットワークＩ（学習済みの画像補間ネットワークＩ）を用いた、ヒートマップ画像の補間処理について、説明する。この学習済みの画像補間ネットワークＩによる画像補間処理は、いわゆるニューラルネットワークの推論処理に相当する。上記の本来配置されるべき数よりも少ない数（例えば、５台〜１０台）のエッジカメラ１しか設置されていない店舗では、配置されたエッジカメラ１の数が、本来配置されるべきエッジカメラ１の数よりも少ないために、撮影画像に欠落が生じる。このため、店舗内に配置されたエッジカメラ１の数が、本来配置されるべきエッジカメラ１の数よりも少ない場合には、店舗内に配置された全エッジカメラ１からの撮影画像を図５に示すように並べた画像に、図８に示すような欠落部分が生じる。学習済みの画像補間ネットワークＩは、上記のように、撮影画像が欠落している場合に、これらの撮影画像の欠落により生じるヒートマップ画像の欠落部分を補間する。
【００４３】
図７のフローチャートと図８を参照して、上記のヒートマップ画像の補間処理の詳細について、説明する。まず、本来配置されるべき数よりも少ないエッジカメラ１が配置された店舗における各エッジカメラ１が、自機の撮影画像から、時刻ｔにおける撮影エリアＡＲｉ毎の特徴量ａＬｉｔを抽出（判定）して、特徴量ａＬｉｔを含む撮影エリア特徴量情報ｃＬｉｔを、サーバ２に送信する処理を繰り返す（Ｓ１１）。
【００４４】
上記の撮影エリアＡＲｉ毎の撮影エリア特徴量情報ｃＬｉｔは、上記の式（１）と同様な下記の式（４）で表される。
ｃＬｉｔ＝｛ｘＬｉ，ｙＬｉ，ａＬｉｔ｝・・・（４）
【００４５】
上記のｘＬｉ，ｙＬｉ，ａＬｉｔは、それぞれ、式（１）におけるｘｉ，ｙｉ，ａｉｔに相当する。なお、上特徴量ａＬｉｔは、上記の特徴量ａｉｔと同様に、特徴量として、男性人数、女性人数、及び滞留時間を含んでおり、上記式（２）と同様の式で表される。
【００４６】
サーバ２は、各エッジカメラ１から取得することができた、時刻ｔにおける撮影エリア特徴量情報ｃＬ１ｔ〜ｃＬｍｔを、下記の式（５）に示すように、特徴量情報ｃＬｔとして、まとめる。ただし、上記のｍは、上記式（３）におけるｎよりも小さい数である。
ｃＬｔ＝｛ｃＬ０ｔ，ｃＬ１ｔ，・・・，ｃＬｍｔ｝・・・（５）
【００４７】
そして、サーバ２は、各エッジカメラ１から取得することができた、時刻（ｔ−Ｔ）から時刻ｔにおける特徴量情報ｃＬ（ｔ−Ｔ）〜ｃＬｔから、時刻ｔの欠落ヒートマップ画像ＨＭＬｔを生成する（Ｓ１２）。ただし、ヒートマップ画像補間処理を行うときは、上記のように、撮影画像に欠落が生じている場合であるので、各エッジカメラ１からサーバ２に送信される各時刻の撮影エリア特徴量情報（例えば、時刻ｔの撮影エリア特徴量情報ｃＬ１ｔ〜ｃＬｎｔ）にも、欠落が生じる。このため、図８に示すように、時刻（ｔ−Ｔ）から時刻ｔにおける撮影エリア特徴量情報をまとめた特徴量情報ｃＬ（ｔ−Ｔ）〜ｃＬｔより生成された欠落ヒートマップ画像ＨＭＬｔにも、欠落部分が生じる。
【００４８】
図８に示すように、欠落ヒートマップ画像ＨＭＬｔを、学習済みの画像補間ネットワークＩに入力すると（図７のＳ１３）、学習済みの画像補間ネットワークＩが、（補間済みの）補間ヒートマップ画像ＩＨＭｔを出力する（図７のＳ１４）。すなわち、学習済みの画像補間ネットワークＩが、入力された欠落ヒートマップ画像ＨＭＬｔにおける欠落部分を補間する。
【００４９】
上記のように、学習済みの画像補間ネットワークＩを用いて、各時刻の欠落ヒートマップ画像を補間することにより、チェーン店の各店舗に配置するエッジカメラ１の数を、本来配置されるべきエッジカメラ１の数よりも少なくした場合でも、本来配置されるべきエッジカメラ１の数と同じ数のエッジカメラ１を配置した場合と遜色のないヒートマップ画像（補間ヒートマップ画像ＩＨＭｔ）を得ることができる。従って、チェーン店の各店舗に設置するエッジカメラ１の数を抑えて、チェーン店の各店舗の新規開店費用や維持費用を削減することができる。
【００５０】
次に、ＤＣＧＡＮのＧｅｎｅｒａｔｏｒに相当する画像補間ネットワークＩと、ＤＣＧＡＮのＤｉｓｃｒｉｍｉｎａｔｏｒに相当するディスクリミネータＤについて、図９乃至図１２を参照して、説明する。画像補間ネットワークＩは、ＦＣＮ（Ｆｕｌｌｙ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋ）ベースのニューラルネットワークであり、図９及び図１０に示すように、多数の畳み込み層（ｃｏｎｖｏｌｕｔｉｏｎ  ｌａｙｅｒ）から構成されている。より正確に言うと、画像補間ネットワークＩにおける各畳み込み層（ｃｏｎｖｏｌｕｔｉｏｎ  ｌａｙｅｒ）の後ろには、ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ  Ｌｉｎｅａｒ  Ｕｎｉｔ）層が存在する。また、画像補間ネットワークＩにおける出力層（図１０中の“ＯＵＴＰＵＴ”）は、シグモイド関数付きの畳み込み層である。
【００５１】
なお、図１０中の「タイプ」は、層（レイヤー）のタイプ（種類）を示し、「フィルターサイズ」は、カーネル（畳み込み演算用のフィルター）の大きさを示す。また、「Ｄｉｌａｔｉｏｎ」は、Ｄｉｌａｔｅｄ  Ｃｏｎｖｏｌｕｔｉｏｎ（フィルター（カーネル）との積を取る相手の間隔をあける畳み込みのこと）における間隔の大きさを示し、「ストライド」は、フィルターを適用する窓（ｗｉｎｄｏｗ）の間隔を示す。図１０中の「出力チャンネル数」は、各層（レイヤー）の出力チャンネル数（フィルターの数に相当）を示す。図１０の「タイプ」欄において、ｃｏｎｖ．，ｄｅｃｏｎｖ．，ｄｉｌａｔｅｄ  ｃｏｎｖ．，ｏｕｔｐｕｔは、それぞれ、通常の畳み込み層（ｃｏｎｖｏｌｕｔｉｏｎ  ｌａｙｅｒ）、ｄｅｃｏｎｖｏｌｕｔｉｏｎを行う（アップサンプリング（アンプーリング）を行ってから畳み込む）ｌａｙｅｒ、上記のＤｉｌａｔｅｄ  Ｃｏｎｖｏｌｕｔｉｏｎを行うｌａｙｅｒ、出力層（ｏｕｔｐｕｔ  ｌａｙｅｒ）を示す。
【００５２】
図９及び図１０に示すように、画像補間ネットワークＩは、２つ目と４つ目の畳み込み層において、畳み込み時のストライドを２×２にすることにより、元の画像のサイズＨ×Ｗを、それぞれ、（Ｈ／２）×（Ｗ／２）と、（Ｈ／４）×（Ｗ／４）に縮小しつつ、畳み込みを行う。このように、画像の縮小処理を行いつつ、畳み込み処理を繰り返すことにより、画像における特徴の位置情報が曖昧になる。この後、Ｄｉｌａｔｅｄ  Ｃｏｎｖｏｌｕｔｉｏｎ（フィルターとの積を取る相手の間隔をあける畳み込み）を行うことにより、受容野（あるピクセルに影響を与える入力部分）を増やす。そして、最後から３つ目と５つ目の畳み込み層（ｄｅｃｏｎｖ．）において、ストライドを（１／２）×（１／２）にして、ｄｅｃｏｎｖｏｌｕｔｉｏｎを行うことにより、一旦、（Ｈ／４）×（Ｗ／４）にした画像のサイズを、それぞれ、（Ｈ／２）×（Ｗ／２）と、Ｈ×Ｗに復元しつつ、畳み込み処理を繰り返す。なお、図９におけるＨ×Ｗは、例えば、３２（ピクセル）×３２（ピクセル）である。
【００５３】
図８に示すような学習済みの画像補間ネットワークＩによる推論時には、画像補間ネットワークＩへの入力画像は、欠落ヒートマップ画像ＨＭＬｔである。この推論時には、サーバ２側のＣＰＵ２１における特徴量画像補間部３２は、入力された欠落ヒートマップ画像ＨＭＬｔに対する画像補間ネットワークＩの適用後に、入力された欠落ヒートマップ画像ＨＭＬｔにおける欠落部分のみを、画像補間ネットワークＩの出力層からの出力画像（図９における出力ヒートマップ画像）で置き換える。すなわち、サーバ２側のＣＰＵ２１における特徴量画像補間部３２は、入力された欠落ヒートマップ画像ＨＭＬｔにおける欠落部分の画像については、画像補間ネットワークＩの出力層からの出力画像（出力ヒートマップ画像）で置き換えるが、欠落ヒートマップ画像ＨＭＬｔにおける欠落部分以外の部分の画像については、入力された欠落ヒートマップ画像ＨＭＬｔ（における部分画像）を、そのまま用いて、図８に示す補間ヒートマップ画像ＩＨＭｔを生成する。
【００５４】
一方、図６に示すような画像補間ネットワークＩ（及びディスクリミネータＤ）の学習時には、画像補間ネットワークＩへの入力画像（学習用画像）は、ランダムマスク情報付のヒートマップ画像である。すなわち、学習時における画像補間ネットワークＩへの入力画像は、欠落部分がないヒートマップ画像ＨＭｔに、ランダムな位置と大きさのマスク領域を設けた画像である。この学習時には、サーバ２側のＣＰＵ２１における特徴量画像補間部３２は、上記のマスク領域を有するヒートマップ画像（以下、「マスク付きヒートマップ画像」）に対して、画像補間ネットワークＩを適用した後、入力されたマスク付きヒートマップ画像におけるマスク領域のみを、画像補間ネットワークＩの出力層からの出力画像（図９における出力ヒートマップ画像）で置き換える。すなわち、サーバ２側のＣＰＵ２１における特徴量画像補間部３２は、推論時と同様に、入力されたマスク付きヒートマップ画像におけるマスク領域の画像については、画像補間ネットワークＩの出力層からの出力画像（出力ヒートマップ画像）で置き換えるが、マスク付きヒートマップ画像におけるマスク領域以外の部分の画像については、入力されたマスク付きヒートマップ画像（における部分画像）を、そのまま用いて、補間ヒートマップ画像ＩＨＭｔを生成する。そして、学習時には、この補間ヒートマップ画像ＩＨＭｔは、ディスクリミネータＤに送られて、ディスクリミネータＤの学習に用いられる。
【００５５】
なお、上記の推論時に学習済みの画像補間ネットワークＩへ入力される欠落ヒートマップ画像ＨＭＬｔにおける欠落部分の画像、及び学習時に画像補間ネットワークＩへ入力されるマスク付きヒートマップ画像におけるマスク領域の画像については、画像補間ネットワークＩへ入力する前に、これらの画像（欠落部分及びマスク領域の画像）の各ピクセルにおけるＲ，Ｇ，Ｂの輝度値が、それぞれ、訓練データセット２９内の全てのヒートマップ画像の平均的なＲ，Ｇ，Ｂの輝度値の値になるようにしておくことが望ましい。
【００５６】
次に、上記のディスクリミネータＤについて、説明する。このディスクリミネータＤは、入力された画像が、全てのエッジカメラ１より取得した特徴量情報に基づいて生成した（本物の）ヒートマップ画像（例えば、図６に示すヒートマップ画像ＨＭｔ）であるか、画像補間ネットワークＩを用いて生成（補間）した補間ヒートマップ画像（例えば、補間ヒートマップ画像ＩＨＭｔ）であるかを識別するネットワークである。画像補間ネットワークＩ、及びディスクリミネータＤの学習時には、ディスクリミネータＤは、入力画像が、画像補間ネットワークＩを用いて生成（補間）した補間ヒートマップ画像であるか、（補間により生成したものではない）本物のヒートマップ画像であるかを正しく識別するように学習する。一方、画像補間ネットワークＩは、補間により生成した補間ヒートマップ画像を、ディスクリミネータＤが、（補間により生成したものではない）本物のヒートマップ画像であると分類（識別）を誤るように、学習を行う。このように、画像補間ネットワークＩとディスクリミネータＤとが競い合うようにして学習を進めることにより、画像補間ネットワークＩが、（補間により生成したものではない）本物のヒートマップ画像に近い補間ヒートマップ画像を生成することができる。この学習処理の詳細については、後述する。
【００５７】
ここで、図１１及び図１２を参照して、ディスクリミネータＤの構成について説明する。これらの図に示すように、ディスクリミネータＤは、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）ベースのネットワークであり、３つの畳み込み層と、１つの全結合層（ｆｕｌｌｙ  ｃｏｎｎｅｃｔｅｄ  ｌａｙｅｒ：図１２中の“ＦＣ”）から構成されている。上記の３つの畳み込み層の各々は、２（ピクセル）×２（ピクセル）のストライドを採用することにより画像のサイズを小さくする（画像解像度を減らす）一方で、各層における出力フィルタの数を、直前の畳み込み層の倍に増やしている。なお、図１１における入力画像のサイズ（Ｈ×Ｗ）は、３２（ピクセル）×３２（ピクセル）である。ディスクリミネータＤの出力層（図１２中の“ＦＣ”）は、シグモイド関数付きの全結合層であり、入力画像が上記の本物のヒートマップ画像である確率（に対応する値）を出力する。なお、図１２における「タイプ」、「フィルターサイズ」、「ストライド」、及び「出力チャンネル数」の意味は、図１０と同じである。また、図１２の「タイプ」欄において、ｃｏｎｖ．，及びＦＣは、それぞれ、通常の畳み込み層（ｃｏｎｖｏｌｕｔｉｏｎ  ｌａｙｅｒ）、及び全結合層（ｆｕｌｌｙ  ｃｏｎｎｅｃｔｅｄ  ｌａｙｅｒ）を示す。
【００５８】
次に、図１３を参照して、上記サーバ２側のＣＰＵ２１の機械学習部３３が行う、画像補間ネットワークＩ及びディスクリミネータＤの機械学習について説明する。本来配置されるべき全てのエッジカメラ１から時々刻々と送信される各時刻の特徴量を用いて、描画処理部３１により描画されたヒートマップ画像が、所定の枚数以上、訓練データセット２９に格納された後、ユーザが、操作部３０により、サーバ２に対して、機械学習の開始を指示すると、ＣＰＵ２１の機械学習部３３は、繰り返し数ＩＴに１をセットして初期化すると共に、画像補間ネットワークＩ及びディスクリミネータＤのパラメータ（畳み込み層については、フィルタ及びバイアス）の初期化（初期値のセット）を行う（Ｓ２１）。
【００５９】
次に、ＣＰＵ２１の機械学習部３３は、訓練データセット２９から、（欠落部分のない）ヒートマップ画像のミニバッチをランダムに選択して（Ｓ２３）、このミニバッチに含まれる各ヒートマップ画像Ｘｉについて、補間領域を表すバイナリーマスク（補間領域マスク）であるマスクＭＩｉをランダムに生成する（Ｓ２４）。そして、ＣＰＵ２１の機械学習部３３は、ミニバッチに含まれる各ヒートマップ画像Ｘｉと、このヒートマップ画像Ｘｉに対応するマスクＭＩｉに基づいて、下記の式（６）の重み付き二乗和誤差の損失関数を用いて、画像補間ネットワークＩのパラメータ（フィルタ及びバイアス）を更新する処理を、ミニバッチ単位で行う（Ｓ２６）。このミニバッチ単位の更新処理は、画像補間ネットワークＩの学習を安定させるために行われる処理であり、繰り返し数ＩＴがＩＴｉｎｔ１になるまでの間（Ｓ２５でＹＥＳ）、上記Ｓ２３乃至Ｓ２６の処理が繰り返される。下記の式（６）の損失関数は、上記の補間領域を表すマスクＭＩｉを考慮した重み付き二乗和誤差の損失関数である。
【数１】
2020042367.tif 000003
【００６０】
上記式（６）において、Ｌ（Ｘｉ，ＭＩｉ）は、ヒートマップ画像Ｘｉと、このヒートマップ画像Ｘｉに対応するマスクＭＩｉに基づいて、求めた誤差（損失）を表す。また、Ｃ（Ｘｉ，ＭＩｉ）は、入力画像と補間領域マスクに、ヒートマップ画像ＸｉとマスクＭＩｉを用いたときの、画像補間ネットワークＩを、関数形式で示したものであり、入力画像と補間領域マスクに、ヒートマップ画像ＸｉとマスクＭＩｉを用いたときの、画像補間ネットワークＩからの出力画像に相当する。また、式（６）における||・||は、ノルムを表す。
【００６１】
なお、上記Ｓ２６におけるパラメータ更新処理では、ＣＰＵ２１の機械学習部３３は、ミニバッチに含まれる各ヒートマップ画像Ｘｉについて、上記式（６）で求めた誤差Ｌ（Ｘｉ，ＭＩｉ）を求めた上で、求めた全ての誤差の平均値を計算し、その勾配の方向にパラメータを更新する。ＣＰＵ２１の機械学習部３３は、学習に使用するヒートマップ画像のミニバッチを変更しながら、上記Ｓ２６のパラメータ更新処理を、ＩＴｉｎｔ１回分繰り返す。
【００６２】
そして、上記の繰り返し数ＩＴがＩＴｉｎｔ１を超えると（Ｓ２５でＮＯ）、ＣＰＵ２１の機械学習部３３は、一旦、画像補間ネットワークＩのパラメータの更新を停止して、ＩＴｉｎｔ２回分、ディスクリミネータＤのパラメータの更新処理を繰り返す。具体的には、ＣＰＵ２１の機械学習部３３は、繰り返し数ＩＴが（ＩＴｉｎｔ１＋ＩＴｉｎｔ２）になるまで（Ｓ２７でＹＥＳ）、上記Ｓ２３、及びＳ２４の処理に加えて、損失関数に交差エントロピー誤差を用いて、ディスクリミネータＤのパラメータを更新する処理を、ミニバッチ単位で行う（Ｓ２８）。この更新処理は、ミニバッチに含まれる各ヒートマップ画像ＸｉとマスクＭＩｉを用いたときの、画像補間ネットワークＩからの出力画像（偽物の画像）と、ミニバッチに含まれる各ヒートマップ画像Ｘｉ（本物の画像）の両方を用いて、確率的勾配降下法により行われる。なお、上記の画像補間ネットワークＩからの出力画像（偽物の画像）には、図９における出力ヒートマップ画像を用いてもよいし、補間ヒートマップ画像ＩＨＭｔを用いてもよい。
【００６３】
繰り返し数ＩＴが（ＩＴｉｎｔ１＋ＩＴｉｎｔ２）を超えると（Ｓ２７でＮＯ）、ＣＰＵ２１の機械学習部３３は、学習の最終段階として、画像補間ネットワークＩとディスクリミネータＤの両方の学習（訓練）を、一緒に行う段階に入る。ここで、上記の画像補間ネットワークＩとディスクリミネータＤとから構成されるＤＣＧＡＮの目的式は、一般的なＧＡＮの目的式に相当する下記の式（７）と、上記の式（６）の損失関数を組み合わせた、下記の式（８）になる。
【数２】
2020042367.tif 000004
【数３】
2020042367.tif 000005
【００６４】
上記式（７）及び式（８）において、Ｅ［・］は、期待値を表す。また、αは、重み付け用のハイパーパラメータである。なお、式（７）の一般的なＧＡＮの目的式における損失関数は、下記の式（９）である。また、上記式（８）における損失関数は、下記の式（１０）である。この式（１０）の損失関数は、上記式（６）の重み付き二乗和誤差の損失関数と、式（９）のＧＡＮの損失関数とを組み合わせた（結合した）損失関数であるので、以下の説明において、式（１０）を、結合損失関数という。
【数４】
2020042367.tif 000006
【００６５】
繰り返し数ＩＴが（ＩＴｉｎｔ１＋ＩＴｉｎｔ２）を超えると（Ｓ２７でＮＯ）、ＣＰＵ２１の機械学習部３３は、繰り返し数ＩＴがＩＴｋになるまで、損失関数に上記式（１０）の結合損失関数を用いて、画像補間ネットワークＩとディスクリミネータＤのパラメータを、ミニバッチ単位で更新する処理を行う（Ｓ２９）。この更新処理が１回終了する度に、繰り返し数ＩＴの加算（インクリメント）が行われ、繰り返し数ＩＴがＩＴｋを超えるまで（Ｓ２２でＹＥＳ）、Ｓ２９の更新処理が繰り返される。画像補間ネットワークＩのパラメータ（重みとバイアス）をθｃと表すと、パラメータθｃに関する結合損失関数の確率的勾配（ミニバッチに含まれる全ヒートマップ画像Ｘｉについての「パラメータθｃに関する結合損失関数の勾配」の平均値）は、以下の式（１１）で表される。式（１１）において、ｍは、ミニバッチに含まれるヒートマップ画像Ｘｉの数である。
【数５】
2020042367.tif 000007
【００６６】
また、ディスクリミネータＤのパラメータをθｄと表すと、パラメータθｄに関する結合損失関数の確率的勾配は、以下の式（１２）で表される。式（１２）におけるｍも、ミニバッチに含まれるヒートマップ画像Ｘｉの数である。
【数６】
2020042367.tif 000008
【００６７】
上記Ｓ２９のパラメータ更新処理において、ＣＰＵ２１の機械学習部３３は、画像補間ネットワークＩのパラメータθｃについては、上記式（１０）の結合損失関数の値を減らすように、パラメータθｃを勾配方向に微小量だけ更新する。一方、ディスクリミネータＤのパラメータθｄについては、ＣＰＵ２１の機械学習部３３は、上記式（１０）の結合損失関数の値を増やすように、ディスクリミネータＤのパラメータをθｄを、勾配方向に微小量だけ更新する。このような画像補間ネットワークＩのパラメータθｃとディスクリミネータＤのパラメータθｄの更新を繰り返すことにより、画像補間ネットワークＩとディスクリミネータＤの機械学習が完了して、学習済の画像補間ネットワークＩを得ることができる。上記のように、ＣＰＵ２１の機械学習部３３は、ミニバッチを用いた確率的勾配降下法により、画像補間ネットワークＩとディスクリミネータＤの機械学習を行う。
【００６８】
上記のように、本実施形態の学習システム１０によれば、系列に属する店舗のうち、本来配置されるべき全てのエッジカメラ１を備えた他の店舗における、全てのエッジカメラ１による撮影画像から抽出された特徴量に基づいて描画したヒートマップ画像ＨＭｔに基づく学習用画像（マスク付きヒートマップ画像）を用いて、学習完了前の画像補間ネットワークＩ（及びディスクリミネータＤ）の機械学習を行うようにした。ここで、いわゆるチェーン店では、系列に属する各店舗が同じレイアウトを有している。このため、上記のように、本来配置されるべき全てのエッジカメラ１を備えた他の店舗における撮影画像から抽出された特徴量に基づいて描画したヒートマップ画像ＨＭｔに基づく学習用画像を用いて、画像補間ネットワークＩ（及びディスクリミネータＤ）の機械学習を行うことにより、同じ系列に属するある店舗に配置されたエッジカメラ１の数が、本来配置されるべきエッジカメラ１の数よりも少ないために、本来配置されるべきエッジカメラ１のうち、いくつかのエッジカメラ１による撮影画像が欠落している場合でも、これらの撮影画像の欠落により生じるヒートマップ画像（欠落ヒートマップ画像ＨＭＬｔ）の欠落部分を、学習済の画像補間ネットワークＩを用いて、補間することができる。
【００６９】
これにより、チェーン店の各店舗に配置するエッジカメラ１の数を、本来配置されるべきエッジカメラ１の数よりも少なくした場合でも、本来配置されるべきエッジカメラ１の数と同じ数のエッジカメラ１を配置した場合と遜色のないヒートマップ画像（補間ヒートマップ画像ＩＨＭｔ）を得ることができる。従って、チェーン店の各店舗に設置するエッジカメラ１の数を抑えて、チェーン店の各店舗の新規開店費用や維持費用を削減することができる。
【００７０】
また、本実施形態のサーバ２、及びヒートマップ描画補間プログラム２６によっても、上記と同様な効果を得ることができる。
【００７１】
また、本実施形態の学習システム１０によれば、複数のエッジカメラ１による撮影画像から抽出された特徴量に基づいて描画する画像（請求項における「特徴量画像」）を、複数のエッジカメラ１による撮影画像から抽出された特徴量を色を用いて可視化したヒートマップ画像としたことにより、従業員等のユーザが、該当の店舗における現時点の特徴を、視覚的に把握することができる。
【００７２】
また、本実施形態の学習システム１０によれば、複数のエッジカメラ１による撮影画像から抽出される特徴量を、複数の種類の特徴量のデータから構成される多次元データとし、この特徴量に基づいて描画する画像（請求項における「特徴量画像」）を、上記の多次元データを色を用いて可視化したカラーのヒートマップ画像とした。これにより、従業員等のユーザが、該当の店舗における現時点の複数種類の特徴を、容易に視覚的に把握することができる。
【００７３】
また、本実施形態の学習システム１０によれば、複数のエッジカメラ１による撮影画像から抽出された所定の時間分の特徴量（例えば、特徴量情報ｃ（ｔ−Ｔ）〜ｃｔ）に基づいて、ヒートマップ画像を描画するようにした。これにより、ある店舗に配置されたエッジカメラ１の数が、本来配置されるべきエッジカメラ１の数よりも少ないために、撮影画像が欠落している場合でも、これらの撮影画像から抽出された特徴量に基づいて描画する欠落ヒートマップ画像ＨＭＬｔ、及び学習済の画像補間ネットワークＩを用いた補間後の補間ヒートマップ画像ＩＨＭｔに、現時点ｔよりも前の所定の時間分の特徴量を反映することができる。従って、従業員等のユーザが、複数のエッジカメラ１により撮影した現時点の撮影画像には映っていない特徴を、把握することができる。
【００７４】
また、本実施形態の学習システム１０によれば、画像補間ネットワークＩ及びディスクリミネータＤ（請求項における「ニューラルネットワーク」）を、生成モデルの一種であるＤＣＧＡＮのニューラルネットワークとし、特徴量画像補間部３２が、学習済の画像補間ネットワークＩを用いて、欠落ヒートマップ画像ＨＭＬｔの欠落部分を生成することにより、この欠落部分を補間するようにした。ＤＣＧＡＮは、画像のディープラーニングに適したＣＮＮを使った生成モデルであるため、ＤＣＧＡＮのニューラルネットワークを用いて、欠落ヒートマップ画像ＨＭＬｔの欠落部分を生成することにより、補間後のヒートマップ画像（補間ヒートマップ画像ＩＨＭｔ）を、妥当な画像にすることができる。
【００７５】
変形例：
なお、本発明は、上記の各実施形態の構成に限られず、発明の趣旨を変更しない範囲で種々の変形が可能である。次に、本発明の変形例について説明する。
【００７６】
変形例１： 
上記の実施形態では、請求項における「特徴量画像」が、複数のエッジカメラ１による撮影画像から抽出された特徴量を色を用いて可視化したヒートマップ画像である場合の例を示したが、撮影画像から抽出される特徴量を、複数のエッジカメラの各々による撮影画像そのものとして、サーバが、複数のエッジカメラの各々による撮影画像に基づいて、これらの画像を組み合わせた画像である店舗内の画像を、特徴量画像として描画するようにしてもよい。この例の場合には、学習済のニューラルネットワーク（上記実施形態の「学習済みの画像補間ネットワークＩ」に相当）は、ある店舗に配置されたエッジカメラの数が、本来配置されるべきエッジカメラの数よりも少ないために、撮影画像が欠落している場合に、欠落した撮影画像を補間することにより、この店舗内の画像を完成させる。
【００７７】
この変形例１においても、上記実施形態の場合と同様に、補間後の画像を、所定の時間分の特徴量（変形例１の場合は、複数のエッジカメラの各々による所定の時間分の撮影画像）を反映したものにすることが望ましい。ただし、上記実施形態の場合には、補間前の欠落部分を有するヒートマップ画像（欠落ヒートマップ画像ＨＭＬｔ）自体が、所定の時間分の特徴量（例えば、特徴量情報ｃ（ｔ−Ｔ）〜ｃｔ）に基づいて描画されているので、補間時には、過去の欠落ヒートマップ画像を考慮する必要はなく、現時点の欠落ヒートマップ画像のみを考慮すれば、補間後の画像を、所定の時間分の特徴量を反映したものにすることができる。しかしながら、変形例１では、補間対象になる画像が、撮影画像そのものであるため、補間処理時に、過去の撮影画像を考慮しなければ、補間後の画像を、所定の時間分の特徴量（撮影画像）を反映したものにすることができない。そして、補間後の画像を、所定の時間分の特徴量を反映したものにすることができないと、ある時刻の撮影画像の欠落部分にのみ現れている特徴（例えば、欠落部分に存在する人）を、従業員等のユーザが把握することができない。
【００７８】
従って、この変形例１のように、撮影画像から抽出される特徴量を、複数のエッジカメラの各々による撮影画像そのものとして、サーバが、複数のエッジカメラの各々による撮影画像を組み合わせた画像である店舗内の画像を、特徴量画像として描画する場合には、３ＤＣＮＮ等の時系列方向を意識したＣＮＮ、又は再帰型ニューラルネットワーク（ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を用いることが望ましい。ここで、再帰型ニューラルネットワークは、現在の入力情報だけではなく、過去の入力情報を、現在の出力情報に反映することが可能なニューラルネットワークである。上記の３ＤＣＮＮ等の時系列方向を意識したＣＮＮ、又は再帰型ニューラルネットワークを用いることにより、補間後の画像を、複数のエッジカメラの各々による所定の時間分の撮影画像を反映したものにすることが可能である。
【００７９】
変形例２： 
上記の実施形態では、請求項におけるニューラルネットワークが、生成モデルの一種であるＤＣＧＡＮである場合の例について示したが、ヒートマップ画像等の特徴量画像の欠落部分の補間に用いるニューラルネットワークは、これに限られず、例えば、ＷＧＡＮ（Ｗａｓｓｅｒｓｔｅｉｎ  ＧＡＮ）等の他の種類の生成モデルのニューラルネットワークであってもよいし、生成モデル以外のニューラルネットワークであってもよい。
【００８０】
変形例３： 
上記の実施形態では、エッジカメラ側が、エッジカメラによる撮影画像から特徴量を抽出する場合の例について示したが、これに限られず、サーバ側が、エッジカメラから送信された撮影画像より特徴量を抽出するようにしてもよい。また、上記の実施形態では、クラウド上のサーバが、エッジカメラによる撮影画像から抽出された特徴量に基づいて、特徴量画像を描画する場合の例について示したが、店舗内に配置されたサーバが、上記の特徴量画像の描画処理を行って、描画した特徴量画像を、クラウド上のサーバに送信するようにしてもよい。
【００８１】
変形例４： 
上記の実施形態では、請求項における「特徴量」が、３種類の特徴量のデータ（男性人数ｉｔ、女性人数ｉｔ、滞留時間ｉｔ）から構成される３次元データである場合の例について示したが、請求項における「特徴量」は、何次元のデータであってもよく、例えば、４種類の特徴量のデータから構成される４次元データであってもよい。
【符号の説明】
【００８２】
１    エッジカメラ（カメラ）
２    サーバ
１０  学習システム
２６  ヒートマップ描画補間プログラム（特徴量画像描画補間プログラム）
３１  描画処理部
３２  特徴量画像補間部
３３  機械学習部
Ｔ    所定の時間
【図１】
2020042367.tif 000009
【図２】
2020042367.tif 000010
【図３】
2020042367.tif 000011
【図４】
2020042367.tif 000012
【図５】
2020042367.tif 000013
【図６】
2020042367.tif 000014
【図７】
2020042367.tif 000015
【図８】
2020042367.tif 000016
【図９】
2020042367.tif 000017
【図１０】
2020042367.tif 000018
【図１１】
2020042367.tif 000019
【図１２】
2020042367.tif 000020
【図１３】
2020042367.tif 000021