(57)【要約】【課題】空間における物体の滞留領域の混雑状況を、低コストに又は高精度に推定する。【解決手段】空間を撮影した複数の第１画像の各々から検出された物体について、検出された各物体の位置情報と、前記複数の第１画像の各々における各物体の検出状況と、に基づき、前記複数の第１画像間で相互に関連する物体をグループ化し、前記グループ化の結果に基づき、前記空間において各物体が滞留する滞留領域を推定する。【選択図】図１
2019101664.tif 000002
【特許請求の範囲】
【請求項１】
空間を撮影した複数の第１画像の各々から検出された物体について、検出された各物体の位置情報と、前記複数の第１画像の各々における各物体の検出状況と、に基づき、前記複数の第１画像間で相互に関連する物体をグループ化し、
前記グループ化の結果に基づき、前記空間において各物体が滞留する滞留領域を推定する、
処理をコンピュータに実行させる、推定プログラム。
【請求項２】
前記空間を撮影した第２画像から検出された物体の位置情報と、推定された前記空間における前記滞留領域の情報と、に基づき、前記滞留領域の混雑度を推定する、
処理を前記コンピュータに実行させる、請求項１に記載の推定プログラム。
【請求項３】
所定数以上の第１画像間において同一位置に存在すると判断した前記所定数以上の物体を一の静的物体と対応付けて管理する、
処理を前記コンピュータに実行させ、
前記グループ化は、前記複数の第１画像間で、距離に関する条件を満たす静的物体同士を前記相互に関連する物体としてグループ化する、
請求項１又は請求項２に記載の推定プログラム。
【請求項４】
前記管理は、前記所定数以上の第１画像間において、物体の画像成分が一致すると判断した前記所定数以上の物体を前記一の静的物体と対応付けて管理する、
請求項３に記載の推定プログラム。
【請求項５】
前記グループ化は、
前記複数の第１画像の各々における各物体の検出状況を示す情報であって、前記静的物体ごとに、前記複数の第１画像の各々において当該静的物体に対応付けられた物体が存在するか否かを示す情報を生成し、
前記生成した情報に基づき、対応する物体が一の第１画像内に存在する静的物体同士をグループ化の対象から除外する、
請求項３又は請求項４に記載の推定プログラム。
【請求項６】
前記グループ化は、階層化クラスタリングを行なう、
請求項１〜５のいずれか１項に記載の推定プログラム。
【請求項７】
前記空間における前記滞留領域の数をデータベースから取得する、
処理を前記コンピュータに実行させ、
前記グループ化は、取得した前記滞留領域の数のグループを作成するように、非階層化クラスタリングを行なう、
請求項１〜５のいずれか１項に記載の推定プログラム。
【請求項８】
前記物体は人体の頭部であり、
前記滞留領域は座席領域であり、
画像の特徴量を検出するニューラルネットワークを用いて、前記複数の第１画像の各々から人体の頭部である前記物体を検出する、
処理を前記コンピュータに実行させる、請求項１〜７のいずれか１項に記載の推定プログラム。
【請求項９】
空間を撮影した複数の第１画像の各々から検出された物体について、検出された各物体の位置情報と、前記複数の第１画像の各々における各物体の検出状況と、に基づき、前記複数の第１画像間で相互に関連する物体をグループ化するグループ化部と、
前記グループ化の結果に基づき、前記空間において各物体が滞留する滞留領域を推定する推定部と、
をそなえる推定システム。
【請求項１０】
空間を撮影した複数の第１画像の各々から検出された物体について、検出された各物体の位置情報と、前記複数の第１画像の各々における各物体の検出状況と、に基づき、前記複数の第１画像間で相互に関連する物体をグループ化し、
前記グループ化の結果に基づき、前記空間において各物体が滞留する滞留領域を推定する、推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、推定プログラム、推定システム、及び推定方法に関する。
【背景技術】
【０００２】
店舗の混雑状況を把握する手法として、例えば、食券制等の店舗における利用者による発券機の利用状況を分析することで、利用者のサービスの提供待ち状況を把握する手法が知られている。
【０００３】
上記の手法では、店舗の混雑状況を把握できるが、座席の混雑状況、例えば、座席の着席又は空席状況等を把握することは困難である。
【０００４】
座席の混雑状況を把握する手法としては、各座席に加圧センサを設置したり、店舗に赤外線センサを設置したりする手法が知られている。加圧センサを用いた手法では、例えば、座席ごとに加圧センサを１つずつ取り付けることで、各座席における着席状況を検出し、店舗の混雑状況を把握できる。また、赤外線センサを用いた手法では、例えば、店舗に設置した赤外線センサにより、人体からの赤外線を検知することで、人の居る位置や人数を把握できる。
【０００５】
しかし、これらの手法では、例えば、座席ごとに加圧センサを１つずつ取り付けたり、人体からの赤外線の検知が困難な座席領域を分析用のソフトウェアに設定したり、といった導入コストや、分析用のソフトウェアの運用及び保守等の運用コスト等が発生し得る。
【０００６】
従って、例えば、飲食店のような１００以上の座席を有する店舗の場合、店舗ごとに上述したコストが発生し得るため、容易に導入することは難しい。
【０００７】
ところで、店舗に設置した監視カメラにより撮影された映像を分析することで、店舗における混雑状況を把握する手法も知られている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１０−８６３００号公報
【特許文献２】特開２０１７−１５６９５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、監視カメラの映像を分析する手法では、監視カメラの角度（例えば店舗内の撮影方向の角度や画角）、映像の解像度、撮影条件等が、認識精度に大きく影響を与える。また、例えば、混雑状況の監視対象とするエリアを指定して監視したり、撮影した映像と空席画像との比較により監視したりすることもできる。しかし、これらの監視を行なうためには、店舗の座席位置の情報や監視カメラの設定・設置条件等の種々の条件をソフトウェアに設定することになる。
【００１０】
なお、座席位置の情報としては、上記の例においては座席配置図が挙げられる。座席位置（領域）は、空間において人物等の物体が滞留する「滞留領域」の一例である。
【００１１】
多くの店舗を有する企業の場合、このようなソフトウェアへの設定を店舗ごとに行なうことになるため、多大なコストが発生し得る。
【００１２】
１つの側面では、本発明は、空間における物体の滞留領域の混雑状況を、低コストに又は高精度に推定することを目的とする。
【課題を解決するための手段】
【００１３】
１つの側面では、推定プログラムは、以下の処理をコンピュータに実行させてよい。前記処理は、空間を撮影した複数の第１画像の各々から検出された物体について、検出された各物体の位置情報と、前記複数の第１画像の各々における各物体の検出状況と、に基づき、前記複数の第１画像間で相互に関連する物体をグループ化してよい。また、前記処理は、前記グループ化の結果に基づき、前記空間において各物体が滞留する滞留領域を推定してよい。
【発明の効果】
【００１４】
１つの側面では、空間における物体の滞留領域の混雑状況を、低コストに又は高精度に推定することができる。
【図面の簡単な説明】
【００１５】
【図１】一実施形態に係る混雑度推定システムの構成例を示すブロック図である。
【図２】一実施形態に係る動作フェーズの一例を示す図である。
【図３】一実施形態に係るサーバによる物体の検出例を示す図である。
【図４】検出情報の一例を示す図である。
【図５】静的ボックス及び非静的ボックスの一例を示す図である。
【図６】ボックスの座標の類似性判定処理の一例を示す図である。
【図７】ボックス自体の類似性判定処理の一例を示す図である。
【図８】座席位置の推定処理の一例を示す図である。
【図９】階層化クラスタリングの距離指標の一例を示す図である。
【図１０】座席位置の推定手順の一例を示す図である。
【図１１】（ａ）〜（ｃ）は、推定した混雑度の一例を示す図である。
【図１２】混雑度の提示態様の一例を示す図である。
【図１３】一実施形態に係る座席位置推定フェーズの動作例を示すフローチャートである。
【図１４】一実施形態に係る座席位置推定フェーズの動作例を示すフローチャートである。
【図１５】一実施形態に係る混雑状況推定フェーズの動作例を示すフローチャートである。
【図１６】一実施形態に係るコンピュータのハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。例えば、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。なお、以下の実施形態で用いる図面において、同一符号を付した部分は、特に断らない限り、同一若しくは同様の部分を表す。
【００１７】
〔１〕一実施形態
上述のように、監視カメラにより撮影された映像を分析して座席の混雑状況を把握するには、座席配置図の情報や監視カメラの設定・設置条件等をソフトウェアに設定することになり、店舗数が増えるほどコストが増大し得る。
【００１８】
そこで、一実施形態では、監視カメラにより撮影された映像に基づき、座席位置を推定することができる推定システムについて説明する。
【００１９】
例えば、一実施形態に係る推定システムは、以下の処理を行なってよい。
【００２０】
・空間を撮影した複数の第１画像の各々から検出された物体について、検出された各物体の位置情報と、複数の第１画像の各々における各物体の検出状況と、に基づき、複数の第１画像間で相互に関連する物体をグループ化する。
【００２１】
・グループ化の結果に基づき、空間において各物体が滞留する滞留領域を推定する。
【００２２】
以上の処理により、一実施形態に係る推定システムは、複数の第１画像に基づいて、各物体が滞留する滞留領域、例えば、人が居る座席位置を推定することができる。なお、滞留領域は、人物が留まる特定の領域を意味し、例えば、椅子や座布団等の着席領域に限らず、立っている領域（空間）を含んでよい。立っている領域の一例としては、立食（或いは、「立ち食い」と呼ばれる）形式の飲食店等や、顧客が立ったままサービスの提供を受ける施設等において、店舗から顧客に対して割り当てられる立席領域が挙げられる。
【００２３】
空間を撮影した第１画像に基づき、空間における滞留領域を推定することで、例えば、空間を撮影した画像と、推定した滞留領域とに基づいて、滞留領域の混雑状況を容易に推定することができる。
【００２４】
例えば、監視カメラの映像に基づき座席の混雑状況を推定する際に、座席位置の情報等の条件をソフトウェアに設定する（或いは更新する）といった処理を不要とすることができ、低コスト化を実現できる。
【００２５】
また、事前に用意された座席配置図の情報を用いて座席の混雑状況を把握する場合、撮影した画像を、監視カメラの設定・設置条件等に基づき補正等を行なった上で、座席配置図と比較するため、混雑状況を正確に推定できない場合がある。これに対し、一実施形態に係る推定システムは、滞留領域の推定及び混雑状況の推定において、いずれも撮影した画像を利用した処理が行なわれる。従って、監視カメラの設定・設置条件等の影響を低減でき、混雑状況を高精度に推定することができる。
【００２６】
以上のことから、一実施形態に係る推定システムは、推定した滞留領域の情報に基づいて、例えば、空間における滞留領域の利用状況を、低コストに又は高精度に推定することができる。
【００２７】
なお、空間を撮影する監視カメラは、防犯等の目的により、店舗等において導入され利用されている可能性が高い。このため、座席の混雑状況の推定に監視カメラを用いることにより、既存の設備を利用できることから、加圧センサや赤外線センサ、或いは発券機等を新たに導入して座席の混雑状況を推定するよりも、コストを抑制することができる。
【００２８】
〔１−１〕一実施形態の構成例
以下、一実施形態の構成例について説明する。図１は一実施形態に係る混雑度推定システム１の構成例を示すブロック図である。混雑度推定システム１は、推定対象の施設における滞留領域の混雑度を推定するシステムであり、上述した推定システムの一例である。混雑度推定システム１は、図１に示すように、例示的に、１以上（図１の例では複数）の監視カメラ２と、サーバ４と、をそなえてよい。
【００２９】
なお、監視カメラ２及びサーバ４は、例えば、ネットワーク５により相互に通信可能に接続されてよい。
【００３０】
ネットワーク５は、例えば、ＬＡＮ（Local Area Network）或いはＷＡＮ（Wide Area Network）、又はこれらの組み合わせを含む、インターネット及びイントラネットの少なくとも一方であってよい。また、ネットワーク５は、ＶＰＮ（Virtual Private Network）等の仮想ネットワークを含んでもよい。なお、ネットワーク５は、有線ネットワーク及び無線ネットワークの一方又は双方により形成されてよい。
【００３１】
監視カメラ２は、撮影方向における空間を撮影し、画像系列、例えば、動画像等の時系列に並んだ複数の画像（「フレーム」と称されてもよい）を取得してよい。
【００３２】
監視カメラ２は、例えば店舗３に設置されてよく、一例として、店舗３の店内及び店外に存在する顧客用の座席（好ましくは顧客用の全ての座席）を撮影範囲に含むように配置されてよい。
【００３３】
店舗３の店内及び店外の全ての座席を撮影範囲に含めるために、例えば、複数の監視カメラ２が互いの死角を補完する（或いは一部の撮影範囲が重なる）ような位置に設置されてもよいし、１以上の可動式の監視カメラ２が設置されてもよい。或いは、これらの組み合わせが採用されてもよい。
【００３４】
監視カメラ２は、取得した映像をネットワーク５を介してサーバ４に送信してよい。例えば、監視カメラ２は、取得した映像を図示しないレコーダ等に蓄積し、所定のタイミングで、レコーダ内のデータをサーバ４に送信してもよい。所定のタイミングとしては、所定の時刻の到来、所定時間の経過、レコーダへの蓄積容量、蓄積フレーム数、等の種々の条件が用いられてよい。又は、監視カメラ２は、レコーダを介さずに、撮影した映像をサーバ４に送信してもよい。レコーダを介さない場合、例えば、監視カメラ２は、１〜数フレームごとに（略リアルタイムに）映像を送信してもよい。
【００３５】
監視カメラ２としては、例えば、ボックス型カメラ、ドームカメラ、ネットワークカメラ等が挙げられる。なお、ネットワークカメラとしては、ＩＰ（Internet Protocol）カメラ等が挙げられる。また、店内又は店外の照明が暗い店舗３においては、監視カメラ２として赤外線カメラ等の暗視カメラが用いられてもよい。監視カメラ２は、例えば、防犯カメラ、監視カメラ、街頭カメラ、定点カメラ等の種々の用途のカメラが用いられてよい。
【００３６】
サーバ４は、監視カメラ２が撮影した映像に基づき、店舗３における座席位置を推定し、推定した座席位置と、監視カメラ２が撮影した映像と、に基づき、店舗３における座席の混雑度を推定してよい。サーバ４の詳細については後述する。
【００３７】
なお、サーバ４が推定した座席の混雑度の情報は、例えば、図１に示すように、端末装置６に提供されてよい。一例として、サーバ４は、Ｗｅｂサーバの機能（例えば、後述する情報提示部１４）を有してよく、Ｗｅｂサーバの機能により、ネットワーク５を介して、店舗３の混雑度を表すＷｅｂページを端末装置６に表示させてもよい。
【００３８】
端末装置６は、サーバ４が推定した店舗３の混雑度の情報を受け取るコンピュータである。例えば、端末装置６は、店舗３の座席の混雑状況に関心のある店舗３の利用候補者が有するコンピュータであってよい。端末装置６としては、例えば、デスクトップ、ラップトップ又はモバイル等のＰＣ（Personal Computer）、タブレット、スマートホン、携帯電話等の各種情報処理装置が挙げられる。
【００３９】
端末装置６は、例えば、ネットワーク５を介して、サーバ４との間で、店舗３の座席の混雑状況取得に関する要求の送信、及び、混雑状況の推定結果に関する応答の受信等の種々の通信を行なってよい。
【００４０】
なお、図１に例示するように、端末装置６が無線通信を行なうＰＣ、タブレット、スマートホン、携帯電話等である場合、ネットワーク５との接続は、基地局７を介したモバイルネットワーク経由で行なわれてよい。
【００４１】
端末装置６は、例示的に、ユーザからの情報（操作要求）の入力手段、ユーザへの情報の出力手段、及び、サーバ４との間の通信手段、等をそなえてよい。
【００４２】
〔１−２〕サーバ４の動作フェーズ
次に、サーバ４の動作フェーズについて説明する。
【００４３】
サーバ４は、上述のように、監視カメラ２が撮影した映像に基づき、座席位置を推定してよい。そして、サーバ４は、推定した座席位置と、監視カメラ２が撮影した（例えば最新の）映像と、に基づいて、座席の（例えば最新の）混雑状況を推定してよい。
【００４４】
映像に基づく座席位置の推定には、種々の画像認識技術が用いられてよいが、一実施形態においては、例示的に、ニューラルネットワーク（ＮＮ；Neural Network）を用いたディープラーニング（Deep Learning）による検出モデルが用いられるものとする。
【００４５】
なお、店舗３の提供するサービス内容や時間帯等にも依るが、店舗３において顧客が座席を使用する期間は、十数分〜数十分（或いは１時間以上）であると考えられる。監視カメラ２は、少なくとも１秒間に１フレーム（１ＦＰＳ；Frame Per Second）以上の画像データを撮影可能であるが、顧客の着席、離席、退席等の座席の変化を検出するために全てのフレームのデータを分析することは非効率である。
【００４６】
このため、機械学習では、撮影された画像データのうちの一部のフレームの画像データが用いられればよい。例えば、一実施形態においては、映像から５分間隔等の所定のサンプリング間隔で取得されたフレームがニューラルネットワークに入力されてよい。
【００４７】
また、一実施形態においては、座席位置の推定のために、例えば、数時間〜数日間の推定期間が設けられてよい。以下の説明では、例示的に、３日間の推定期間（所定期間）が設けられるものとする。
【００４８】
以上の点から、一実施形態に係る手法は、図２に例示するフェーズに分けて実施されてよい。例えば、図２に示すように、監視カメラ２の運用が行なわれている店舗３に対して、監視カメラ２の映像をサーバ４に送信するための設定を行ない、所定期間として３日間の座席位置推定フェーズが設けられてよい。
【００４９】
座席位置推定フェーズにより、座席位置が推定されると、次いで、サーバ４による混雑状況推定フェーズが開始されてよい。混雑状況推定フェーズでは、サーバ４は、推定された座席位置と、監視カメラ２より送られてくる画像データとに基づいて、所定のタイミングで混雑状況の推定を行なってよい。
【００５０】
このように、座席位置推定フェーズは、一実施形態に係る手法の初期設定フェーズと位置付けられてよく、混雑状況推定フェーズは、一実施形態に係る手法の通常運用フェーズと位置付けられてよい。
【００５１】
なお、店舗３においては、例えば店舗内のレイアウト変更や、顧客又は従業員等による座席の移動が発生する可能性がある。そこで、座席位置推定フェーズの終了後、混雑状況推定フェーズにおいても、推定した座席位置を更新するための座席位置推定（更新）フェーズが実施されてもよい。座席位置推定（更新）フェーズは、座席位置推定フェーズと同様の処理に実施可能であるため、以下の説明では、これらを区別せずに、単に座席位置推定フェーズと表記する。
【００５２】
〔１−３〕サーバ４の構成例
次に、サーバ４の構成例について説明する。サーバ４は、店舗３、店舗３を有する企業等、又はデータセンタ等に設置される１以上のコンピュータの一例である。サーバ４としては、例えば、種々の物理サーバ装置及び／又は仮想サーバ装置が挙げられる。サーバ４の少なくとも一部の機能は、例えばクラウドサービスにより提供されるリソース、フレームワーク、アプリケーション等を利用して実現されてもよい。また、サーバ４の少なくとも一部の機能は、複数のコンピュータに分散又は冗長化して配置されてもよい。
【００５３】
図１に示すように、サーバ４は、例示的に、メモリ部１１、制御部１２、ＮＮ１３、及び、情報提示部１４をそなえてよい。
【００５４】
メモリ部１１は、サーバ４の処理に用いられる種々の情報を格納する。メモリ部１１が格納する情報については、サーバ４の機能の説明において後述する。なお、メモリ部１１としては、メモリ、例えばＲＡＭ（Random Access Memory）等の揮発性メモリ、並びに、記憶部、例えばＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）等の記憶装置、の一方又は双方が挙げられる。
【００５５】
制御部１２は、座席位置の推定及び混雑状況の推定に関する制御を行なう。図１に示すように、制御部１２は、例示的に、情報取得部１２１、静的ボックス判定部１２２、座席推定部１２３、及び、混雑度算出部１２４をそなえてよい。
【００５６】
情報取得部１２１は、監視カメラ２（店舗３）から送信された映像データを受信し、メモリ部１１に映像データ１１１として格納してよい。なお、一実施形態において、制御部１２及びＮＮ１３は、５分間隔で撮影された、時系列に並んだ画像データ（フレーム）を用いてよい。時系列に並んだ画像データは、複数の第１画像の一例である。
【００５７】
例えば、情報取得部１２１は、受信した映像データから５分間隔でフレームを抽出した情報を、映像データ１１１としてメモリ部１１に格納してもよい。或いは、店舗３又は監視カメラ２において、撮影した映像データから５分間隔で抽出したフレーム群が、映像データとしてサーバ４に送信されてもよい。
【００５８】
なお、映像データ１１１は、少なくともＮ（Ｎは整数；例えば“５”）フレームの画像データを含んでよい。情報取得部１２１は、メモリ部１１の記憶容量節約の観点から、映像データ１１１のデータサイズ或いはフレーム数等に上限を設け、上限を超えるフレームについて、撮影日時が過去のフレーム順に映像データ１１１内のフレームを削除してもよい。
【００５９】
静的ボックス判定部１２２及び座席推定部１２３は、座席位置推定フェーズにおいて、ＮＮ１３と協働して、映像データ１１１から店舗３の座席位置を推定する。換言すれば、静的ボックス判定部１２２及び座席推定部１２３は、以下のグループ化部、及び、推定部の一例である。
【００６０】
グループ化部は、空間を撮影した複数の第１画像の各々から検出された物体について、検出された各物体の位置情報と、複数の第１画像の各々における各物体の検出状況と、に基づき、複数の第１画像間で相互に関連する物体をグループ化してよい。推定部は、グループ化の結果に基づき、空間において各物体が滞留する滞留領域を推定してよい。
【００６１】
混雑度算出部１２４は、推定した座席位置に基づいて、店舗３の混雑度を算出する。換言すれば、混雑度算出部１２４は、空間を撮影した第２画像から検出された物体の位置情報と、推定された空間における滞留領域の情報と、に基づき、滞留領域の混雑度を推定する混雑度推定部の一例である。
【００６２】
情報提示部１４は、例えば、Ｗｅｂサーバ或いはＤＢ（Database）サーバの機能を有してよく、端末装置６からの要求に応じて、端末装置６に対して、混雑度算出部１２４が算出した混雑度の情報を提示してよい。
【００６３】
以下、サーバ４の機能及び動作の一例について説明する。
【００６４】
〔１−３−１〕ＮＮの説明
まず、ＮＮ１３について説明する。ＮＮ１３は、監視カメラ２が空間を撮影した複数の第１画像の各々から、物体を検出する。例えば、ＮＮ１３は、メモリ部１１に格納された、５分間隔の複数の画像データを含む映像データ１１１に基づき物体を検出してよい。
【００６５】
ＮＮ１３は、事前に、画像データから検出対象の物体を検出するように機械学習が行なわれたシステムであってよい。例えば、ＮＮ１３には、画像データから人物の頭部を検出する検出モデルが適用されてよい。人物の頭部は、検出対象の物体の一例である。
【００６６】
図３にＮＮ１３による物体の検出例を示す。図３に例示するように、ＮＮ１３は、入力された画像データから、人物の頭部の位置及びスコアを算出してよい。なお、図３は、監視カメラ２により撮影された撮影空間３０の画像に対して、ＮＮ１３が当該画像に基づいて検出した頭部の位置及びスコアを当て嵌めた様子を示す。撮影空間３０の画像は、画像の左上を（０，０）とし、画像の右下を（ｘ，ｙ）とする座標系を有してよい。ｘは画像の横幅（width）のサイズ、ｙは画像の高さ（height）のサイズを、それぞれピクセル数で示した値であってよい。
【００６７】
頭部の位置は、例えば、頭部を囲う矩形形状の領域として特定されてよい。以下、頭部を囲う矩形形状を「ボックス」と表記する場合がある。なお、ボックスの形状は、矩形形状に限定されるものではなく、円形状、楕円形状、多角形状等であってもよい。
【００６８】
スコアは、最大値を“１．０００”とする、検出した領域が人体の頭部であるという確からしさ（尤度）を示す情報の一例である。なお、図３の例は１２時（“12:00”）に撮影されたフレームである。
【００６９】
検出対象の物体を人物（人体）の頭部とすることにより、人体のうちの監視カメラ２に移りやすい部位を捉えることができ、検出精度を向上させることができる。また、ディープラーニングにより物体を検出することにより、正面の顔以外にも、種々の姿勢或いは状態における人物の頭部を検出できる。
【００７０】
例えば、ＮＮ１３は、背面（後頭部；図３の符号Ａ参照）、上面（頭頂部（俯いた姿勢）；符号Ｂ参照）、側面（横顔；符号Ｃ参照）等、人物の頭部が種々の姿勢であっても、正確に頭部を検出することができる。
【００７１】
また、ＮＮ１３は、頭部が他の物体に隠れている状態、例えば、椅子に遮られている状態（符号Ｄ参照）や、着帽状態（符号Ｅ参照）、或いは混雑した場所において他人や障害物に遮られている状態等であっても、正確に頭部を検出することができる。
【００７２】
ＮＮ１３は、検出した頭部の位置及びスコアを検出情報１１２としてメモリ部１１に格納してよい。検出情報１１２はフレームごとに生成されてもよいし、検出情報１１２においてフレームの識別情報が物体に対応付けられてもよい。なお、検出情報１１２は、種々のフォーマットのファイルであってよく、一例として、ＣＳＶ（Comma-Separated Values）等の形式のファイルであってよい。
【００７３】
図４は検出情報１１２の一例である。図４に示すように、検出情報１１２は、例示的に、「Ｎｏ．」、「ｘ１」、「ｙ１」、「ｘ２」、「ｙ２」、「スコア」の情報が含まれてよい。なお、図４の例は、１つのフレーム（画像）において検出された物体の情報を示す。
【００７４】
「Ｎｏ．」は検出した物体を識別する情報である。「Ｎｏ．」はフレームを識別する情報を更に含んでもよい。「ｘ１」及び「ｙ１」は、検出した頭部のボックスの左上の頂点の座標（ｘ１，ｙ１）を示し、「ｘ２」及び「ｙ２」は、検出した頭部のボックスの右下の頂点の座標（ｘ２，ｙ２）を示してよい。スコアは、（ｘ１，ｙ１）、（ｘ２，ｙ２）で表されるボックスの尤度を示してよい。なお、ＮＮ１３により検出情報１１２に設定されるボックスは、スコアが“０．５００”以上であるボックスに制限されてもよい。
【００７５】
〔１−３−２〕静的ボックス判定部の説明
静的ボックス判定部１２２は、座席位置の推定の前処理として、人物の頭部の検出結果である検出情報１１２に基づいて、座席に座っている人の頭部位置を判定してよい。
【００７６】
なお、静的ボックス判定部１２２による以下の処理の少なくとも一部は、ＮＮを用いたディープラーニングにより実行されてもよい。例えば、静的ボックス判定部１２２は、ＮＮをそなえてもよく、或いは、ＮＮ１３が更に以下の処理を実行するように構成されてもよい。
【００７７】
静的ボックス判定部１２２は、例えば、或るフレームに係る頭部の検出結果を、過去数フレームに係る頭部の検出結果と比較し、同じ位置に留まっているボックスを抽出する。同じ位置に留まっているボックスには、例えば、店舗３において、座席に着席している人物（の頭部）が含まれてよい。換言すれば、静的ボックス判定部１２２は、監視カメラ２の撮影画像から、撮影画像ごとに、滞留領域に留まっている物体を含む、滞留している物体を検出する。
【００７８】
フレーム間のボックスの同一性判定には、ボックスの座標（例えば、大きさ及び位置）の類似性判定、及び、ボックス自体の類似性判定が用いられてよい。
【００７９】
以下、静的ボックス判定部１２２による「座っている人」の頭部位置のデータを取得する手法の一例について説明する。なお、以下の説明において、座っている人の頭部位置のボックスを「静的ボックス」と表記する。
【００８０】
静的ボックス判定部１２２は、過去フレームに係る頭部の検出結果のデータを、以下の２種類のデータに分けて管理してよい。
【００８１】
（ａ）静的ボックスのデータ。
【００８２】
（ｂ）過去Ｎフレームにおける、静的ボックス以外の非静的ボックスのデータ。なお、Ｎ＝５であるものとする。
【００８３】
静的ボックス判定部１２２は、例えば、静的ボックス及び非静的ボックスのデータを、ボックス情報１１３としてメモリ部１１に格納してよい。ボックス情報１１３は、例えば、静的ボックスのデータとして、静的ボックスごとに、複数のフレームにおける当該静的ボックスに対応すると判断したボックスの識別情報を含んでよい。また、ボックス情報１１３は、非静的ボックスのデータとして、複数のフレームにおける静的ボックスではないボックスの識別情報を含んでよい。
【００８４】
このように、静的ボックス判定部１２２は、所定数以上の第１画像間において同一位置に存在すると判断した所定数以上の物体を一の静的物体と対応付けて管理する管理部の一例である。
【００８５】
静的ボックス判定部１２２は、例えば、各時刻の画像データに対して、検出された物体の位置及び各フレームにおける各物体の検出状況に基づいて、以下の（ｉ）〜（iii）の処理を実行してよい。
【００８６】
以下の説明において、「現在の時刻のフレーム」とは、判定対象のフレームと読み替えてもよい。すなわち、静的ボックス判定部１２２は、判定対象のフレーム内で検出された各物体を、当該フレームよりも過去のＮフレームと比較してよい。また、静的ボックス判定部１２２は、判定を行なうと、次の（５分後の）フレームを判定対象のフレームとして、当該フレームよりも過去のＮフレームと比較してよい。
【００８７】
（ｉ）静的ボックス判定部１２２は、現在の時刻のフレームにおいて検出されたボックスを過去の時刻のフレームの静的ボックスと比較し、同一と判定したボックスを静的ボックスのデータに追加する。
【００８８】
なお、静的ボックス判定部１２２は、検出情報１１２から、各時刻のフレームにおいて検出されたボックスの情報を取得してよい。フレーム間において静的ボックスが同一であるか否かの判定手法は後述する。
【００８９】
（ii）静的ボックス判定部１２２は、現在の時刻フレームにおいて検出されたボックスのうち、静的ボックスと判別されなかったボックスを、過去Ｎフレームの静的ボックス以外の非静的ボックスのデータと比較する。そして、静的ボックス判定部１２２は、静的ボックスの条件を満たすボックスの組み合わせを検出すると、当該ボックスを新たな静的ボックスのデータに追加する。
【００９０】
例えば、静的ボックス判定部１２２は、Ｎ（Ｎ＝５）フレーム中のＭフレームに、互いに同一であると判定できるボックスが含まれていれば、これらのボックスのグループを新たに静的ボックスと判定してよい。なお、Ｍは、Ｎ未満の整数であり、例えば「３」等であってよい。
【００９１】
（iii）静的ボックス判定部１２２は、Ｍフレーム連続で観測（検出）されなかった静的ボックスについて、当該ボックスのデータを例えば記憶部のファイルに書き出し、メモリ上の静的ボックスのデータからは削除してよい。このような状況としては、例えば、着席していた人物が離席した等の事象が挙げられる。
【００９２】
なお、上述のように、メモリ部１１は、メモリ及び記憶部の一方又は双方であってよい。従って、上記（iii）の処理は、過去Ｎフレーム中のＭフレームにおいて検出されたアクティブな静的ボックスのデータをメモリに格納し、過去Ｍフレームにおいて検出されていない非アクティブな静的ボックスのデータを記憶部に退避させる、ことを意味する。
【００９３】
図５は、時刻“10:00”、“10:05”、“10:10”の３フレームにおける静的ボックス及び非静的ボックスの一例を示す図である。図５に示すように、例えば、３フレームにおいて同一であると判定された、右上がりの網掛けで示すボックス、及び、右下がりの網掛けで示すボックスは、それぞれ、静的ボックス（“static box 1”及び“static box 2”）であると判定される。一方、過去５フレーム中で同一であると判定されたフレームが３フレームに満たない白背景のボックスは、非静的ボックス（“non-static box”）であると判定される。
【００９４】
次に、フレーム間のボックスの同一性の判定手法について説明する。
【００９５】
（ボックスの座標の類似性判定）
はじめに、ボックスの座標の類似性判定の手法について説明する。静的ボックス判定部１２２は、フレーム間のボックス同士の座標を比較し、比較結果が閾値を超える場合、両者を「異なるボックス」と判定してよい。比較対象の座標は、大きさ及び位置の少なくとも一方を含んでよい。
【００９６】
静的ボックス判定部１２２は、ボックスの座標の類似性判定により、サイズが大きく異なる、及び／又は、位置（換言すれば距離）が大きく離れている、ボックスのペアを、静的ボックスの判定対象から除外してよい。これにより、その後のボックス自体の類似性判定における計算量を削減することができる。
【００９７】
図６は、ボックスの座標の類似性判定処理の一例を示す図である。図６に例示するように、静的ボックス判定部１２２は、フレーム間のボックスの大きさの比較、及び、フレーム間のボックスの位置の比較、の少なくとも一方を実行してよい。なお、図６の例では、比較する２つのフレームとして、現在のフレーム（ｆ）及び１つ過去のフレーム（ｆ−１）を用いている。
【００９８】
例えば、静的ボックス判定部１２２は、図６の左上に示すように、比較する２つのボックスのサイズ比が閾値、例えば“１．３”、以下であるか否かを判定する。なお、ボックスサイズ比は、例えば、（大きい方のボックスサイズ）／（小さい方のボックスサイズ）により求められてよい。ボックスサイズは、例えば、ボックスの幅及び高さの平均であってよく、（ｗｉｄｔｈ＋ｈｅｉｇｈｔ）／２により求められてよい。
【００９９】
また、例えば、静的ボックス判定部１２２は、図６の右上に示すように、比較する２つのボックス間の距離が、閾値、例えば“平均ボックスサイズ×１．５”以下であるか否かを判定する。なお、平均ボックスサイズは、比較する２つのボックス又は静的ボックスの平均のボックスサイズであってよい。或いは、平均ボックスサイズは、現在のフレーム、過去のＮフレーム、又は、これまで分析した全てのフレーム等において検出されたボックスの平均ボックスサイズであってよい。
【０１００】
静的ボックス判定部１２２は、上記の２つの判定により、ボックスのサイズ比、及び、ボックス間の距離、のうちの少なくとも一方が、対応する閾値よりも大きい場合、２つのボックスを静的ボックスの判定対象から除外してよい。
【０１０１】
（ボックス自体の類似性判定）
次に、ボックス自体の類似性判定の手法について説明する。静的ボックス判定部１２２は、例えば、比較する２つのボックスのクロップ画像の類似性、及び、ボックス同士の重なり、をそれぞれスコア化し、これらのスコアの総合スコアを算出してよい。そして、静的ボックス判定部１２２は、総合スコアが閾値（例えば“１”）以上であれば、２つボックスが同一であると判定してよい。
【０１０２】
なお、クロップ画像とは、画像データから物体（一実施形態では頭部）を切り出した画像である。クロップ画像の類似性のスコアを求めることは、例えば、色ヒストグラムの類似性のスコアを求めること、及び、ピクセル差分の類似性のスコアを求めること、を含んでよい。
【０１０３】
図７は、ボックス自体の類似性判定処理の一例を示す図である。図７に例示するように、静的ボックス判定部１２２は、以下のスコアを算出してよい。
【０１０４】
（Ｉ）色ヒストグラムの類似性のスコア：“sim_color”
【０１０５】
色ヒストグラムとしては、例えば、ＲＧＢ（Red Green Blue）値のヒストグラムが挙げられる。
【０１０６】
（II）ピクセル差分による類似性のスコア：“sim_pixel”
【０１０７】
ピクセル差分による類似性は、例えば、ＮＲＭＳＥ（Normalized Root Mean-Squared Error）等の手法により求められてよい。ＮＲＭＳＥによるピクセル差分の算出手法については、例えば、［ｈｔｔｐ:／／ｓｃｉｋｉｔ．ｉｍａｇｅ．ｏｒｇ／ｄｏｃｓ／ｄｅｖ／ａｐｉ／ｓｋｉｍａｇｅ．ｍｅａｓｕｒｅ．ｈｔｍｌ＃ｓｋｉｍａｇｅ．ｍｅａｓｕｒｅ．ｃｏｍｐａｒｅ＿ｎｒｍｓｅ］に記載されている。
【０１０８】
（III）ボックスの重なりの度合い：ＩｏＵ（Intersection over Union）
【０１０９】
ＩｏＵは、２つのボックス（換言すれば領域）の重なりの度合いを示す情報である。例えば、ＩｏＵは、図７に示すように、座標系において２つの領域を重ねた場合に、２つの領域を結合した結合領域（ＯＲ領域）に対する、重複する重複領域（ＡＮＤ領域）の比率を示す。
【０１１０】
なお、上記（Ｉ）〜（III）のスコアは、ニューラルネットワークにより算出されてもよい。
【０１１１】
静的ボックス判定部１２２は、算出した上記（Ｉ）〜（III）のスコアに基づいて、“sim_color * sim_pixel + IoU”を総合スコアとして算出する。総合スコアは、物体の画像成分が一致するか否かを判断するための指標の一例である
【０１１２】
そして、静的ボックス判定部１２２は、総合スコアが閾値（例えば“１”）以上か否かを判定する。総合スコアが閾値以上の場合、静的ボックス判定部１２２は、比較する２つのボックスがフレーム間で同一のボックスであると判定してよい。
【０１１３】
なお、静的ボックス判定部１２２は、上記（ｉ）の処理における、現在のフレームのボックスと過去のフレームの静的ボックスとの比較では、以下のようにして類似性の判定を行なってよい。例えば、静的ボックス判定部１２２は、現在のフレームにおける比較対象のボックスと、過去の複数のフレームの各々における比較対象の静的ボックスと、の間で、それぞれ類似性の総合スコアを算出してよい。そして、静的ボックス判定部１２２は、算出した類似性の総合スコアの平均値を計算し、平均値が閾値（例えば“１”）よりも大きいか否かを判定してよい。平均値が閾値よりも大きい場合に、比較対象のボックスは、静的ボックスに追加されてよい。
【０１１４】
また、静的ボックス判定部１２２は、上記（ii）の処理における、現在のフレームのボックスと過去のフレームの非静的ボックスとの比較では、以下のようにして類似性の判定を行なってよい。例えば、静的ボックス判定部１２２は、現在のフレームにおける比較対象のボックスと、過去の複数のフレームの各々における非静的ボックスと、の間で、それぞれ類似性を算出してよい。そして、静的ボックス判定部１２２は、過去Ｎ（例えば“５”）フレーム中のＭ（例えば“３”）フレームにおいて、算出した類似性の総合スコアが閾値（例えば“１”）よりも大きいか否かを判定してよい。Ｍフレーム以上で総合スコアが閾値よりも大きい場合に、比較対象のボックス及び比較した非静的ボックスは、新たに静的ボックスと判定されてよい。
【０１１５】
以上のように、静的ボックス判定部１２２は、ボックス自体の類似性を判定することにより、座席位置の誤検出の確率を低減させることができる。
【０１１６】
例えば、レジ前やトイレ前等の位置は、座席以外に顧客が留まる可能性のある場所である。このような場所は、５分間隔のフレーム間において、ボックスが連続して検出される可能性がある。
【０１１７】
これに対し、静的ボックス判定部１２２は、ボックス自体の類似性を判定することにより、例えば、比較するボックスが互いに異なる人物の頭部である場合には、総合スコアが閾値以下となり、静的ボックスと判定されない。これにより、レジ前やトイレ前のような座席以外の場所において、互いに異なる人物の頭部が複数のフレームに亘って検出されたとしても、当該場所が座席位置として検出される可能性を低減又は排除することができ、座席位置の正確に推定することができる。
【０１１８】
〔１−３−３〕座席推定部の説明
座席推定部１２３は、ボックス情報１１３として蓄積した「座っている人」の情報に基づいて、座席位置を推定し、推定した座席位置の情報を座席情報１１４としてメモリ部１１に格納する。
【０１１９】
なお、座席推定部１２３による以下の処理の少なくとも一部は、ＮＮを用いたディープラーニングにより実行されてもよい。例えば、座席推定部１２３は、ＮＮをそなえてもよく、或いは、ＮＮ１３が更に以下の処理を実行するように構成されてもよい。
【０１２０】
例えば、座席推定部１２３は、静的ボックス判定部１２２が判定した「座っている人」の位置データ（静的ボックス）を一定期間（一実施形態では３日程度）蓄積したボックス情報１１３を利用し、座席位置及び座席数を推定してよい。
【０１２１】
一例として、座席推定部１２３は、静的ボックスの情報を元にクラスタリングを行ない、推測されたクラスタの数を座席数として扱い、各クラスタの位置を各座席の位置情報として扱ってよい。なお、静的ボックスの情報としては、位置、サイズ、及び、観測された時刻（フレーム）が挙げれられる。また、各クラスタの位置は、各クラスタに含まれる静的ボックスの位置の平均値に基づき算出されてよい。
【０１２２】
一実施形態においては、店舗３の座席数は、初期設定の簡略化のために、取得・設定されていないものとする。この場合、クラスタリングのアルゴリズムは、階層型クラスタリングをベースとしてよい。
【０１２３】
例えば、図８に示すように、座席推定部１２３は、観測された全ての静的ボックスが別々のクラスタである状態を初期状態とし（“static boxes”参照）、距離の近いクラスタを同一クラスタとしてマージしてよい（“clustering result”参照）。マージする距離に閾値を設けることで、距離の離れたクラスタ同士はマージされずに残るため、座席推定部１２３は、残った各クラスタを最終的な座席データと推定してよい（“estimated seat positions”参照）。
【０１２４】
ここで、クラスタとは、観測された静的ボックスをグループ化したものであり、複数の第１画像間で相互に関連する物体の一例である。同一クラスタ内の静的ボックス同士は、同じ座席に座った別の人の観測結果と考えられる。すなわち、一実施形態においては、最終的に残ったクラスタの位置を物体が滞留する位置と捉え、物体が滞留する位置を、座席位置として捉えることによって、座席位置を推定するのである。
【０１２５】
以下、図９を参照して、階層化クラスタリングを行なうための距離指標について説明する。図９は、階層化クラスタリングの距離指標の一例を示す図である。
【０１２６】
座席推定部１２３は、距離計算のためのクラスタの代表値を設定してよい。図９の例では、座席推定部１２３は、各静的ボックスについて、クラスタ内の静的ボックスの中心座標の平均値を（ｃｘ，ｃｙ）、ボックスサイズの平均値をｓｉｚｅ、クラスタ内に含まれる静的ボックスの数をｎ、としてよい。また、座席推定部１２３は、クラスタ内に含まれる静的ボックスについて、観測のあった時刻（フレーム）を“１”、観測の無い時刻（フレーム）を“０”、とする２値の配列を生成し、例えばメモリ部１１に保持してよい。配列は、複数の第１画像の各々における各物体の検出状況を示す情報の一例である。
【０１２７】
座席推定部１２３は、上記の代表値を用いて、図９に例示するように、下記の（１）〜（３）式を算出することで、クラスタ間の距離指標を求めてよい。
【０１２８】
【数１】
2019101664.tif 000003
【０１２９】
ここで、（ｃｘＡ，ｃｙＡ），ｓｉｚｅＡ，ｎＡは、それぞれ、クラスタＡの座標、サイズ、静的ボックス数を示し、（ｃｘＢ，ｃｙＢ），ｓｉｚｅＢ，ｎＢは、それぞれ、クラスタＢの座標、サイズ、静的ボックス数を示す。
【０１３０】
なお、上記（３）式のうち、“penalty”以外の部分は、ｗａｒｄ法を用いた階層化クラスタリングの距離指標と同じである。これに対して、一実施形態では、ｗａｒｄ法の距離指標に“penalty”を追加することにより、座席位置及び座席数の推定精度を向上させている。
【０１３１】
例えば、クラスタＡ及びクラスタＢ間で同時刻（同一フレーム）に静的ボックス、換言すれば「座っている人」、が観測された場合、これらのクラスタには、互いに別の座席が存在することが予想される。
【０１３２】
このため、上記（３）式では、クラスタＡ及びクラスタＢ間で同時刻（同一フレーム）に静的ボックスが観測された場合に、観測された回数に応じてクラスタ間の距離を大きくするようなペナルティ項を追加している。例えば、座席推定部１２３は、観測時刻の配列同士のＡＮＤを取り、ＡＮＤ結果の配列のＳＵＭ（合計値）をペナルティとして、上記（３）式に適用してよい。
【０１３３】
このように、座席推定部１２３は、静的物体ごとに、複数の第１画像の各々において当該静的物体に対応付けられた物体が存在するか否かを示す情報を生成してよい。そして、座席推定部１２３は、生成した情報に基づき、対応する物体が一の第１画像内に存在する静的物体同士をグループ化の対象から除外してよい。
【０１３４】
座席推定部１２３は、上記（３）式により得られるｄｗａｒｄを距離指標として用い、全ての静的ボックスのデータが別々のクラスタである初期状態から（図１０の「初期状態」参照）、以下の手順により、階層化クラスタリングを実行してよい。
【０１３５】
例えば、座席推定部１２３は、クラスタ間の距離指標（ｄｗａｒｄ）が最も小さいクラスタペアを決定し、下記（４）式の停止条件（stop condition）を満たすか否かを判定する。
【０１３６】
【数２】
2019101664.tif 000004
【０１３７】
上記（４）式の停止条件を満たす場合、座席推定部１２３は、階層化クラスタリングを終了し、残っているクラスタの情報を座席情報１１４としてメモリ部１１に格納する。
【０１３８】
一方、上記（４）式の停止条件を満たさない場合、座席推定部１２３は、当該クラスタペアをマージして新しいクラスタとする。
【０１３９】
座席推定部１２３は、上記の処理を、停止条件が満たされるか、或いは、クラスタ数が１になるまで繰り返し実行する。
【０１４０】
このように、階層化クラスタリングによりマージされずに残ったクラスタがそれぞれ座席位置として推定される（図１０の「座席位置の推定結果」参照）。座席推定部１２３は、クラスタに含まれる静的ボックスの中心座標の平均値（ｃｘ，ｃｙ）、及び、ボックスサイズの平均値（ｓｉｚｅ）を、座席の位置及び参考サイズのデータとして用いてよい。
【０１４１】
なお、座席推定部１２３は、マージされずに残ったクラスタのうち、クラスタ内に含まれるサンプル数（ｎの値）が極端に少ないクラスタを、ノイズと判断して座席情報から除外してもよい。サンプル数が極端に少ないクラスタとは、例えば、他のクラスタ内に含まれるサンプル数の平均値の数％（例示的に、２％）以下のクラスタであってよい。
【０１４２】
〔１−３−４〕混雑度算出部の説明
混雑度算出部１２４は、混雑状況推定フェーズにおいて、頭部の検出結果と座席情報１１４とを用いて、混雑度を算出する。
【０１４３】
例えば、混雑度算出部１２４は、人の頭部の検出結果と座席情報１１４の各座席位置との距離を算出し、距離の近い検出結果及び座席位置のペアから順に、座席位置に対して、座席位置から閾値以下の距離に存在する人の頭部の検出結果を割り当てる。
【０１４４】
これにより、頭部の検出結果が割り当てられた座席（人の居る座席）の情報と、検出結果が割り当てられない座席（空席）の情報と、が得られる。なお、頭部の検出位置と座席位置とが所定の距離以上離れている場合は、座席位置に対して当該頭部を割り当てなくてよい。
【０１４５】
人の頭部の検出結果としては、例えば、混雑状況推定フェーズにおいて取得された第２の画像における物体の検出結果が用いられてよい。一例として、人の頭部の検出結果は、メモリ部１１に格納された検出情報１１２に含まれる、最新の（或いは端末装置６から要求された時刻の）検出対象のフレームにおいて検出された物体の情報が用いられてよい。
【０１４６】
混雑度算出部１２４は、例えば、“人の居る座席数／全座席数”を算出することにより、検出対象のフレームに基づく混雑率を算出してよい。また、混雑度算出部１２４は、算出した混雑率に対して、“０．３”，“０．６”等の閾値を設けることにより、「空いている」／「通常」／「混んでいる」等の混雑状況の程度を表す混雑度（離散値）を推定してよい。なお、上記の例では、３段階の混雑度を推定するものとしたが、閾値の数を増減させることにより、混雑度の段階数を増減させてもよい。
【０１４７】
なお、上述のように、混雑状況推定フェーズ中に座席位置推定（更新）フェーズが実行される場合には、静的ボックス判定部１２２及び座席推定部１２３は、第２（第１）の画像における物体の検出結果を用いて、座席情報１１４を推定（更新）してよい。
【０１４８】
図１１に混雑度算出部１２４による混雑度の推定結果の一例を示す。なお、図１１は、監視カメラ２により撮影された撮影空間３０の画像に対して、混雑度算出部１２４が当該画像に基づいて検出した、人の居る座席と、空席とを当て嵌めた様子を示す。図１１においては、座席位置を丸の記号で示し、人が着席している座席位置を四角の記号で示している。
【０１４９】
図１１（ａ）は混雑度が「空いている」場合、例えば混雑率が“０．３”未満である場合を示す。図１１（ｂ）は混雑度が「通常」の場合、例えば混雑率が“０．３”以上且つ“０．６”未満である場合を示す。図１１（ｃ）は混雑度が「混んでいる」場合、例えば混雑率が“０．６”以上である場合を示す。
【０１５０】
混雑度算出部１２４は、推定した混雑度の情報を、混雑度情報１１５としてメモリ部１１に格納してよい。
【０１５１】
なお、図１１（ａ）において符号Ａで示すように、座席位置の情報が存在しないエリアで検出された物体には、座席が割り当てられなくてよく、この場合、当該物体は混雑率の算出に考慮しなくてよい。これにより、店員や移動中の顧客等が混雑率の算出に影響を与えないようにすることができる。なお、図１１（ａ）においては、座席が割り当てられない物体を二重線の四角の記号で示している。
【０１５２】
〔１−３−５〕情報提示部の説明
情報提示部１４は、制御部１２により推定された混雑度の情報を、例えば端末装置６に提示してよい。
【０１５３】
図１２は、情報提示部１４による端末装置６への情報の提示例を示す図である。情報提示部１４は、例えば、図１２に示すように、端末装置６からの要求に応じて、端末装置６の表示装置６０に対して、混雑度算出部１２４による推定結果である混雑度情報１１５に基づく店舗３の混雑度を提示してよい。
【０１５４】
提示される情報は、１つの店舗３に関する情報であってもよいし、図１２に示すように複数の店舗３の各々に関する情報であってもよい。また、情報提示部１４は、図１２に示すように、店舗３の空席状況を閲覧できるようにしてもよい。空席情報は、例えば、推定した座席位置に基づきマップを生成し、当該マップに対して、空席或いは人が着席している座席を特定（例えば印を付ける等）した情報であってよい。
【０１５５】
なお、端末装置６及び情報提示部１４は、一例として、端末装置６がＷｅｂクライアント、情報提示部１４がＷｅｂサーバとして機能してよい。この場合、端末装置６からのリクエストに応じて、情報提示部１４がＷｅｂページを生成し、生成したＷｅｂページを端末装置６に応答してよい。なお、リクエストは、例えば、所定のＵＲＬ（Uniform Resource Locator）に対するｈｔｔｐ（Hypertext Transfer Protocol）リクエストであってよい。また、Ｗｅｂページは、例えば、ｈｔｍｌ（HyperText Markup Language）等のマークアップ言語により生成されてよい。
【０１５６】
以上のように、一実施形態によれば、サーバ４は、ＮＮ１３により、監視カメラ２の映像における人物の頭部を検出し、検出した頭部の位置を、静的ボックス判定部１２２及び座席推定部１２３により、例えばディープラーニングにより学習してよい。
【０１５７】
人物の頭部が頻繁に滞留する、例えば停止する場所は、座席の位置と推定することができる。従って、映像から検出した人物の頭部が、推定した座席位置に重なるか否かを判定することにより、座席に人が居るか否かを判断でき、混雑率を算出できるようになる。
【０１５８】
また、静的ボックス判定部１２２及び座席推定部１２３による処理によって、監視カメラ２の映像から座席位置を推定することができるため、店舗３の座席位置のマップや座席数を事前に取得しなくても、一実施形態に係る手法を適用できる。
【０１５９】
例えば、店舗３において、監視カメラ２の映像をサーバ４に送信する等の簡素な初期設定を行なうことで、一実施形態に係る手法を容易に店舗３に適用でき、高精度に座席の混雑率を把握可能となる。特に、多くの店舗３の座席の混雑状況を把握する際には、煩雑な初期設定等が不要となるため、従来のように１店舗ごとに監視カメラ２の撮影領域等の設定を行なうといった、多くのコストを削減できる。
【０１６０】
一実施形態に係る手法は、例えば、以下のような場面に適用し、又は、応用することができる。
【０１６１】
・店舗３の混雑状況をリアルタイムに監視及び数値化する。
・施設や店舗３の経営者が混雑状況を把握し、店舗戦略に活用する。
・施設や店舗３の利用者が、混雑状況を端末装置６のモバイルアプリ等で確認し、施設や店舗３に行くか否かの意思決定を行なう。
【０１６２】
〔１−４〕動作例
次に、図１３〜図１５を参照して、上述の如く構成された混雑度推定システム１の動作例を説明する。
【０１６３】
〔１−４−１〕座席位置推定フェーズの動作例
はじめに、図１３及び図１４を参照して、座席位置推定フェーズの動作例を説明する。
【０１６４】
サーバ４では、制御部１２の情報取得部１２１が、店舗３に設置された監視カメラ２の映像データを取得し、映像データ１１１としてメモリ部１１に格納する。
【０１６５】
図１３に例示するように、サーバ４のＮＮ１３は、映像データ１１１から一定間隔（例えば５分間隔）でフレームを取得し（ステップＳ１）、フレームから人物の頭部のボックスを検出する（ステップＳ２）。なお、ＮＮ１３は、検出したボックスを検出情報１１２としてメモリ部１１に格納してよい。
【０１６６】
制御部１２の静的ボックス判定部１２２は、検出情報１１２に基づいて、現在（例えば最新）のフレーム内の各ボックスを、過去Ｎ（例えばＮ＝５）フレーム内のボックスと比較する（ステップＳ３）。
【０１６７】
なお、ボックス間の比較は、ボックスのサイズ及び／又はボックス間の距離、の比較によるスクリーニングと、色ヒストグラム、ピクセル差分、及びＩｏＵ等を用いたボックスの類似性の総合スコア同士の比較と、を含んでよい（図６及び図７参照）。
【０１６８】
静的ボックス判定部１２２は、比較した現在のフレーム内のボックスが過去のフレーム内のいずれかの静的ボックスと同一か否かを判定する（ステップＳ４）。
【０１６９】
ボックスが過去のフレーム内のいずれかの静的ボックスと同一の場合（ステップＳ４でＹｅｓ）、静的ボックス判定部１２２は、当該ボックスを、ボックス情報１１３における当該静的ボックスのデータに追加し（ステップＳ５）、処理がステップＳ８に移行する。
【０１７０】
一方、ボックスが過去のフレーム内のいずれの静的ボックスとも同一ではない場合（ステップＳ４でＮｏ）、過去Ｎフレーム中のＭ（例えばＭ＝３）フレームに、ボックスと同一の非静的ボックスが存在するか否かを判定する（ステップＳ６）。ステップＳ６の条件を満たさない場合（ステップＳ６でＮｏ）、処理がステップＳ８に移行する。
【０１７１】
一方、ステップＳ６の条件を満たす場合（ステップＳ６でＹｅｓ）、静的ボックス判定部１２２は、ボックス情報１１３において、これらのボックス及び非静的ボックスを新たな静的ボックスとして管理し（ステップＳ７）、処理がステップＳ８に移行する。
【０１７２】
ステップＳ８では、過去Ｍフレーム連続で観測のない（すなわち検出されていない）静的ボックスが存在するか否かを判定する。該当する静的ボックスが存在しない場合（ステップＳ８でＮｏ）、処理がステップＳ１０に移行する。
【０１７３】
一方、該当する静的ボックスが存在する場合（ステップＳ８でＹｅｓ）、静的ボックス判定部１２２は、当該静的ボックスをファイルに書き出し、メモリ上から削除する（ステップＳ９）。そして、静的ボックス判定部１２２は、現在のフレームにおいて全てのボックスを比較したか否かを判定する（ステップＳ１０）。
【０１７４】
全てのボックスを比較していない場合（ステップＳ１０でＮｏ）、処理がステップＳ３に移行し、比較を未実施のボックスについて比較を行なう。一方、全てのボックスを比較した場合（ステップＳ１０でＹｅｓ）、静的ボックス判定部１２２は、ボックス情報１１３の蓄積を開始してから所定期間、例えば３日間が経過したか否かを判定する（ステップＳ１１）。
【０１７５】
所定期間が経過していない場合（ステップＳ１１でＮｏ）、処理がステップＳ１に移行し、次に入力されるフレームについて、上記の処理を実行する。
【０１７６】
一方、所定期間が経過した場合（ステップＳ１１でＹｅｓ）、処理が図１４のステップＳ１２に移行する。なお、この場合、ＮＮ１３及び静的ボックス判定部１２２は、座席位置推定（更新）フェーズとして、入力される映像データ１１１に基づき処理を継続してもよい。
【０１７７】
図１４のステップＳ１２では、座席推定部１２３が、各静的ボックスを初期のクラスタとして、各クラスタの代表値を設定する。例えば、座席推定部１２３は、クラスタ内の静的ボックスの中心座標の平均値（ｃｘ，ｃｙ）、ボックスサイズの平均値“ｓｉｚｅ”、クラスタ内の静的ボックス数“ｎ”、クラスタ内の静的ボックスの観測有無を示す配列、等を設定してよい。なお、配列には、例えば、フレームごとに、静的ボックスが観測されていれば“１”、観測されていなければ“０”が設定されてよい。
【０１７８】
次いで、座席推定部１２３は、クラスタのペアごとに、クラスタ間の距離指標（ｄｗａｒｄ）を算出する（ステップＳ１３）。なお、距離指標（ｄｗａｒｄ）は、上記（３）式により算出されてよい。距離指標（ｄｗａｒｄ）の算出には、クラスタペアの配列同士のＡＮＤ結果のＳＵＭ（合計値）により求められるペナルティが加味されてよい（図９参照）。
【０１７９】
座席推定部１２３は、距離指標（ｄｗａｒｄ）が最小となるクラスタペアを決定し（ステップＳ１４）、当該クラスタペアが停止条件を満たすか否かを判定する（ステップＳ１５）。停止条件は、上記（４）式により算出されてよい（図９参照）。
【０１８０】
クラスタペアが停止条件を満たさない場合（ステップＳ１５でＮｏ）、座席推定部１２３は、当該クラスタペアをマージして新しいクラスタとする（ステップＳ１６）。
【０１８１】
座席推定部１２３は、残りクラスタ数が１であるか否かを判定する（ステップＳ１７）。残りクラスタ数が１ではない場合（ステップＳ１７でＮｏ）、処理がステップＳ１３に移行する。
【０１８２】
ステップＳ１５でクラスタペアが停止条件を満たす場合（ステップＳ１５でＹｅｓ）、又は、ステップＳ１７で残りクラスタ数が１の場合（ステップＳ１７でＹｅｓ）、処理がステップＳ１８に移行する。
【０１８３】
ステップＳ１８では、座席推定部１２３は、クラスタ内の静的ボックス数が他のクラスタの静的ボックス数の所定割合（例えば２％）以下であるクラスタを削除する。
【０１８４】
そして、座席推定部１２３は、残ったクラスタを座席情報１１４と出力、例えばメモリ部１１に格納し（ステップＳ１９）、座席位置推定フェーズの処理が終了する。
【０１８５】
〔１−４−２〕混雑状況推定フェーズの動作例
次に、図１５を参照して、混雑状況推定フェーズの動作例を説明する。
【０１８６】
図１５に例示するように、ＮＮ１３は、映像データ１１１から一定間隔（例えば５分間隔）でフレームを取得し（ステップＳ２１）、フレームから人物の頭部のボックスを検出する（ステップＳ２２）。なお、ＮＮ１３は、検出したボックスを検出情報１１２としてメモリ部１１に格納してよい。また、座席位置推定（更新）フェーズが行なわれる場合、座席位置推定（更新）フェーズにおける図１３のステップＳ１及びＳ２の処理は、ステップＳ２１及びＳ２２の処理に置き換えられてよい（ステップＳ１及びＳ２の処理を省略してもよい）。
【０１８７】
制御部１２の混雑度算出部１２４は、検出情報１１２における現在（例えば最新）のフレームのボックスと、座席情報１１４における座席位置との間の距離を算出する（ステップＳ２３）。なお、距離は、ボックス及び座席位置のそれぞれの中心座標或いは平均座標間の距離であってよい。
【０１８８】
次いで、混雑度算出部１２４は、距離の近い順に、座席位置に対して、距離が閾値以下のボックスを割り当てる（ステップＳ２４）。
【０１８９】
そして、混雑度算出部１２４は、ボックスを割り当てられた、換言すれば人の居る、座席数をカウントし（ステップＳ２５）、混雑率として、“人の居る座席数／全座席数”を算出する（ステップＳ２６）。
【０１９０】
混雑度算出部１２４は、算出した混雑率が、第１の閾値の一例である“０．３”未満か否かを判定する（ステップＳ２７）。混雑率が“０．３”未満の場合（ステップＳ２７でＹｅｓ）、混雑度算出部１２４は、混雑度を「空いている」と推定し（ステップＳ２８）、混雑度情報１１５をメモリ部１１に格納して、処理がステップＳ３２に移行する。
【０１９１】
混雑率が“０．３”以上の場合（ステップＳ２７でＮｏ）、混雑度算出部１２４は、混雑率が、第２の閾値の一例である“０．６”未満か否かを判定する（ステップＳ２９）。混雑率が“０．６”未満（且つ“０．３”以上）の場合（ステップＳ２９でＹｅｓ）、混雑度算出部１２４は、混雑度を「通常」と推定し（ステップＳ３０）、混雑度情報１１５をメモリ部１１に格納して、処理がステップＳ３２に移行する。
【０１９２】
一方、混雑率が“０．６”以上の場合（ステップＳ２９でＮｏ）、混雑度算出部１２４は、混雑度を「混んでいる」と推定し（ステップＳ３１）、混雑度情報１１５をメモリ部１１に格納して、処理がステップＳ３２に移行する。
【０１９３】
ステップＳ３２では、サーバ４の情報提示部１４が、混雑度情報１１５に基づき、店舗３の混雑度の情報を提示する。例えば、情報提示部１４は、端末装置６からの要求に応じて、店舗３の混雑度の情報を含むＷｅｂページを端末装置６に表示させてよい。
【０１９４】
以上により、混雑状況推定フェーズの処理が終了する。
【０１９５】
〔１−５〕ハードウェア構成例
次に、図１６を参照して、一実施形態に係るサーバ４のハードウェア構成例について説明する。以下、サーバ４の一例としてコンピュータ１０を例に挙げて、コンピュータ１０のハードウェア構成例について説明する。なお、端末装置６についても、サーバ４と同様のハードウェア構成をそなえてよい。
【０１９６】
図１６に示すように、コンピュータ１０は、例示的に、プロセッサ１０ａ、メモリ１０ｂ、記憶部１０ｃ、ＩＦ（Interface）部１０ｄ、Ｉ／Ｏ（Input / Output）部１０ｅ、及び読取部１０ｆをそなえてよい。
【０１９７】
プロセッサ１０ａは、種々の制御や演算を行なう演算処理装置の一例である。プロセッサ１０ａは、コンピュータ１０内の各ブロックとバス１０ｉで相互に通信可能に接続されてよい。プロセッサ１０ａとしては、例えば、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ等の集積回路（ＩＣ）が用いられてもよい。なお、ＣＰＵはCentral Processing Unitの略称であり、ＭＰＵはMicro Processing Unitの略称である。ＤＳＰはDigital Signal Processorの略称であり、ＡＳＩＣはApplication Specific Integrated Circuitの略称であり、ＦＰＧＡはField-Programmable Gate Arrayの略称である。
【０１９８】
メモリ１０ｂは、種々のデータやプログラム等の情報を格納するハードウェアの一例である。メモリ１０ｂとしては、例えばＲＡＭ等の揮発性メモリが挙げられる。
【０１９９】
記憶部１０ｃは、種々のデータやプログラム等の情報を格納するハードウェアの一例である。記憶部１０ｃとしては、例えばＨＤＤ等の磁気ディスク装置、ＳＳＤ等の半導体ドライブ装置、不揮発性メモリ等の各種記憶装置が挙げられる。不揮発性メモリとしては、例えば、フラッシュメモリ、ＳＣＭ（Storage Class Memory）、ＲＯＭ（Read Only Memory）等が挙げられる。
【０２００】
なお、図１に示すメモリ部１１は、例えば、サーバ４のメモリ１０ｂ及び記憶部１０ｃの少なくとも一方の記憶領域により実現されてもよい。
【０２０１】
また、記憶部１０ｃは、コンピュータ１０の各種機能の全部若しくは一部を実現するプログラム１０ｇを格納してよい。プロセッサ１０ａは、記憶部１０ｃに格納されたプログラム１０ｇをメモリ１０ｂに展開して実行することにより、図１に示すサーバ４としての機能を実現できる。
【０２０２】
ＩＦ部１０ｄは、ネットワーク５との間の接続及び通信の制御等を行なう通信インタフェースの一例である。例えば、ＩＦ部１０ｄは、ＬＡＮ、或いは、光通信（例えばＦＣ（Fibre Channel；ファイバチャネル））等に準拠したアダプタを含んでよい。例えば、プログラム１０ｇは、当該通信インタフェースを介してネットワーク５からコンピュータ１０にダウンロードされ、記憶部１０ｃに格納されてもよい。
【０２０３】
Ｉ／Ｏ部１０ｅは、マウス、キーボード、又は操作ボタン等の入力部、並びに、タッチパネルディスプレイ、ＬＣＤ（Liquid Crystal Display）等のモニタ、プロジェクタ、又はプリンタ等の出力部、の一方又は双方を含んでよい。
【０２０４】
読取部１０ｆは、記録媒体１０ｈに記録されたデータやプログラムの情報を読み出すリーダの一例である。読取部１０ｆは、記録媒体１０ｈを接続可能又は挿入可能な接続端子又は装置を含んでよい。読取部１０ｆとしては、例えば、ＵＳＢ（Universal Serial Bus）等に準拠したアダプタ、記録ディスクへのアクセスを行なうドライブ装置、ＳＤカード等のフラッシュメモリへのアクセスを行なうカードリーダ等が挙げられる。なお、記録媒体１０ｈにはプログラム１０ｇが格納されてもよく、読取部１０ｆが記録媒体１０ｈからプログラム１０ｇを読み出して記憶部１０ｃに格納してもよい。
【０２０５】
記録媒体１０ｈとしては、例示的に、磁気／光ディスクやフラッシュメモリ等の非一時的な記録媒体が挙げられる。磁気／光ディスクとしては、例示的に、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク、ＨＶＤ（Holographic Versatile Disc）等が挙げられる。フラッシュメモリとしては、例示的に、ＵＳＢメモリやＳＤカード等が挙げられる。なお、ＣＤとしては、例示的に、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ等が挙げられる。また、ＤＶＤとしては、例示的に、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等が挙げられる。
【０２０６】
上述したコンピュータ１０のハードウェア構成は例示である。従って、サーバ４における、コンピュータ１０内でのハードウェアの増減（例えば任意のブロックの追加や削除）、分割、任意の組み合わせでの統合、又は、バスの追加若しくは削除等は適宜行なわれてもよい。
【０２０７】
〔２〕その他
上述した一実施形態に係る技術は、以下のように変形、変更して実施することができる。
【０２０８】
例えば、図１に示すサーバ４の各機能ブロックは、それぞれ任意の組み合わせで併合してもよく、分割してもよい。また、図１に示す制御部１２の各機能ブロックは、それぞれ任意の組み合わせで併合してもよく、分割してもよい。
【０２０９】
さらに、図１６に示すコンピュータ１０のプロセッサ１０ａは、シングルプロセッサやシングルコアプロセッサに限定されるものではなく、マルチプロセッサやマルチコアプロセッサであってもよい。
【０２１０】
上述した一実施形態では、映像に対する人の頭部の検出モデルの認識結果に基づき滞留領域を推定する手法を用いて、店舗映像の入力から混雑度を算出する処理について説明した。しかしながら、推定した滞留領域の情報は、上述した態様での利用に限定されるものではなく、種々の分析或いは推定に用いられてもよい。
【０２１１】
また、一実施形態において、座席推定部１２３は、階層化クラスタリングを行なうものとしたが、これに限定されるものではない。例えば、店舗３に設けられた座席の数が事前に判明している場合には、座席推定部１２３は、座席数と同数のクラスタを作成するように、非階層化クラスタリングを行なってもよい。
【０２１２】
座席数の情報は、例えば、サーバ４或いは管理者等によりネットワーク５を介してインターネット等から取得され、データベース、例えばメモリ部１１に格納されてよい。この場合、情報取得部１２１は、座席推定部１２３によるクラスタリングに際して、メモリ部１１から、撮影空間３０における座席数の情報を取得する取得部の一例として機能してよい。
【０２１３】
店舗３の座席数の情報は、インターネットにおいて施設や店舗３のホームページや、紹介サイト等に掲載されている場合が多く、容易に取得可能である。従って、初期設定におけるコストの増加を抑制しつつ、正確な座席数に基づき座席位置を正確に推定することができる。
【０２１４】
さらに、一実施形態において、サーバ４が１つの監視カメラ２からの映像データに基づいて座席位置及び混雑度を推定するものとしたが、これに限定されるものではない。
【０２１５】
例えば、サーバ４は、店舗３に設けられた複数の監視カメラ２の各々から映像データを取得する場合、監視カメラ２ごとに、座席位置及び混雑度を推定してよい。そして、サーバ４は、推定した監視カメラ２ごとの混雑度（或いは混雑率）を例えば平均化することで、店舗３における混雑度を推定してよい。
【０２１６】
〔３〕付記
以上の実施形態に関し、さらに以下の付記を開示する。
【０２１７】
（付記１）
空間を撮影した複数の第１画像の各々から検出された物体について、検出された各物体の位置情報と、前記複数の第１画像の各々における各物体の検出状況と、に基づき、前記複数の第１画像間で相互に関連する物体をグループ化し、
前記グループ化の結果に基づき、前記空間において各物体が滞留する滞留領域を推定する、
処理をコンピュータに実行させる、推定プログラム。
【０２１８】
（付記２）
前記空間を撮影した第２画像から検出された物体の位置情報と、推定された前記空間における前記滞留領域の情報と、に基づき、前記滞留領域の混雑度を推定する、
処理を前記コンピュータに実行させる、付記１に記載の推定プログラム。
【０２１９】
（付記３）
所定数以上の第１画像間において同一位置に存在すると判断した前記所定数以上の物体を一の静的物体と対応付けて管理する、
処理を前記コンピュータに実行させ、
前記グループ化は、前記複数の第１画像間で、距離に関する条件を満たす静的物体同士を前記相互に関連する物体としてグループ化する、
付記１又は付記２に記載の推定プログラム。
【０２２０】
（付記４）
前記管理は、前記所定数以上の第１画像間において、物体の画像成分が一致すると判断した前記所定数以上の物体を前記一の静的物体と対応付けて管理する、
付記３に記載の推定プログラム。
【０２２１】
（付記５）
前記グループ化は、
前記複数の第１画像の各々における各物体の検出状況を示す情報であって、前記静的物体ごとに、前記複数の第１画像の各々において当該静的物体に対応付けられた物体が存在するか否かを示す情報を生成し、
前記生成した情報に基づき、対応する物体が一の第１画像内に存在する静的物体同士をグループ化の対象から除外する、
付記３又は付記４に記載の推定プログラム。
【０２２２】
（付記６）
前記グループ化は、階層化クラスタリングを行なう、
付記１〜５のいずれか１項に記載の推定プログラム。
【０２２３】
（付記７）
前記空間における前記滞留領域の数をデータベースから取得する、
処理を前記コンピュータに実行させ、
前記グループ化は、取得した前記滞留領域の数のグループを作成するように、非階層化クラスタリングを行なう、
付記１〜５のいずれか１項に記載の推定プログラム。
【０２２４】
（付記８）
前記物体は人体の頭部であり、
前記滞留領域は座席領域であり、
画像の特徴量を検出するニューラルネットワークを用いて、前記複数の第１画像の各々から人体の頭部である前記物体を検出する、
処理を前記コンピュータに実行させる、付記１〜７のいずれか１項に記載の推定プログラム。
【０２２５】
（付記９）
空間を撮影した複数の第１画像の各々から検出された物体について、検出された各物体の位置情報と、前記複数の第１画像の各々における各物体の検出状況と、に基づき、前記複数の第１画像間で相互に関連する物体をグループ化するグループ化部と、
前記グループ化の結果に基づき、前記空間において各物体が滞留する滞留領域を推定する推定部と、
をそなえる推定システム。
【０２２６】
（付記１０）
前記空間を撮影した第２画像から検出された物体の位置情報と、推定された前記空間における前記滞留領域の情報と、に基づき、前記滞留領域の混雑度を推定する混雑度推定部、
をそなえる、付記９に記載の推定システム。
【０２２７】
（付記１１）
所定数以上の第１画像間において同一位置に存在すると判断した前記所定数以上の物体を一の静的物体と対応付けて管理する管理部、をそなえ、
前記グループ化部は、前記複数の第１画像間で、距離に関する条件を満たす静的物体同士を前記相互に関連する物体としてグループ化する、
付記９又は付記１０に記載の推定システム。
【０２２８】
（付記１２）
前記管理部は、前記所定数以上の第１画像間において、物体の画像成分が一致すると判断した前記所定数以上の物体を前記一の静的物体と対応付けて管理する、
付記１１に記載の推定システム。
【０２２９】
（付記１３）
前記グループ化部は、
前記複数の第１画像の各々における各物体の検出状況を示す情報であって、前記静的物体ごとに、前記複数の第１画像の各々において当該静的物体に対応付けられた物体が存在するか否かを示す情報を生成し、
前記生成した情報に基づき、対応する物体が一の第１画像内に存在する静的物体同士をグループ化の対象から除外する、
付記１１又は付記１２に記載の推定システム。
【０２３０】
（付記１４）
前記グループ化部は、階層化クラスタリングにより前記グループ化を行なう、
付記９〜１３のいずれか１項に記載の推定システム。
【０２３１】
（付記１５）
前記空間における前記滞留領域の数をデータベースから取得する取得部、をそなえ、
前記グループ化部は、取得した前記滞留領域の数のグループを作成するように、非階層化クラスタリングにより前記グループ化を行なう、
付記９〜１３のいずれか１項に記載の推定システム。
【０２３２】
（付記１６）
前記物体は人体の頭部であり、
前記滞留領域は座席領域であり、
画像の特徴量を検出するニューラルネットワークであって、前記複数の第１画像の各々から人体の頭部である前記物体を検出する前記ニューラルネットワーク、をそなえる、付記９〜１５のいずれか１項に記載の推定システム。
【０２３３】
（付記１７）
空間を撮影した複数の第１画像の各々から検出された物体について、検出された各物体の位置情報と、前記複数の第１画像の各々における各物体の検出状況と、に基づき、前記複数の第１画像間で相互に関連する物体をグループ化し、
前記グループ化の結果に基づき、前記空間において各物体が滞留する滞留領域を推定する、推定方法。
【０２３４】
（付記１８）
前記空間を撮影した第２画像から検出された物体の位置情報と、推定された前記空間における前記滞留領域の情報と、に基づき、前記滞留領域の混雑度を推定する、
付記１７に記載の推定方法。
【０２３５】
（付記１９）
所定数以上の第１画像間において同一位置に存在すると判断した前記所定数以上の物体を一の静的物体と対応付けて管理し、
前記グループ化は、前記複数の第１画像間で、距離に関する条件を満たす静的物体同士を前記相互に関連する物体としてグループ化する、
付記１７又は付記１８に記載の推定方法。
【０２３６】
（付記２０）
前記管理は、前記所定数以上の第１画像間において、物体の画像成分が一致すると判断した前記所定数以上の物体を前記一の静的物体と対応付けて管理する、
付記１９に記載の推定方法。
【符号の説明】
【０２３７】
１    混雑度推定システム
２    監視カメラ
３    店舗
４    サーバ
５    ネットワーク
６    端末装置
１０    コンピュータ
１１    メモリ部
１１１    映像データ
１１２    検出情報
１１３    ボックス情報
１１４    座席情報
１１５    混雑度情報
１２    制御部
１２１    情報取得部
１２２    静的ボックス判定部
１２３    座席推定部
１２４    混雑度算出部
１３    ＮＮ（ニューラルネットワーク）
１４    情報提示部
【図１】
2019101664.tif 000005
【図２】
2019101664.tif 000006
【図３】
2019101664.tif 000007
【図４】
2019101664.tif 000008
【図５】
2019101664.tif 000009
【図６】
2019101664.tif 000010
【図７】
2019101664.tif 000011
【図８】
2019101664.tif 000012
【図９】
2019101664.tif 000013
【図１０】
2019101664.tif 000014
【図１１】
2019101664.tif 000015
【図１２】
2019101664.tif 000016
【図１３】
2019101664.tif 000017
【図１４】
2019101664.tif 000018
【図１５】
2019101664.tif 000019
【図１６】
2019101664.tif 000020