(57)【要約】      （修正有）【課題】待ち行列に並ぶオブジェクトの数をより精度よく計測することを目的とする情報処理装置、システム、情報処理方法及びプログラムを提供する。【解決手段】計測システムにおいて計測処理は、入力画像から、待ち行列の領域を特定し、特定された待ち行列の領域に基づいて、待ち行列に並んでいるオブジェクトの数を計測する。また、待ち行列が占める領域を認識する識別器を用いて領域を特定する。さらに、画素単位でカテゴリが付与された学習用画像と、学習用画像から抽出されたオブジェクトの動作情報と、に基づき予め学習された認識器を用いて、入力画像から、前記待ち行列の領域を特定する。【選択図】図４
2018106339.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から、待ち行列の領域を特定する特定手段と、
前記特定手段により特定された前記待ち行列の領域に基づいて、前記待ち行列に並んでいるオブジェクトの数を計測する計測手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
撮像装置により撮影された画像を、前記入力画像として取得する取得手段を更に備え、
前記特定手段は、前記取得手段により取得された前記入力画像から、前記待ち行列の領域を特定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記特定手段は、前記入力画像から前記待ち行列が占める領域を認識する認識器を用いて、前記入力画像から、前記待ち行列の領域を特定することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記特定手段は、前記入力画像の各画素について、前記待ち行列の領域であるか否かを認識することで、前記入力画像から前記待ち行列が占める領域を認識する前記認識器を用いて、前記入力画像から、前記待ち行列の領域を特定することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記特定手段は、画素単位でカテゴリが付与された学習用画像と、前記学習用画像から抽出されたオブジェクトの動作情報と、に基づき予め学習された前記認識器を用いて、前記入力画像と前記入力画像から抽出されたオブジェクトの動作情報とに基づいて、前記入力画像から、前記待ち行列の領域を特定することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記特定手段は、Ｆｕｌｌｙ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋｓ（ＦＣＮ）である前記認識器を用いて、前記入力画像から、前記待ち行列の領域を特定することを特徴とする請求項４又は５に記載の情報処理装置。
【請求項７】
前記計測手段は、前記特定手段により特定された前記待ち行列の領域に含まれるオブジェクトの数を、前記待ち行列に並んでいるオブジェクトの数として計測することを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
【請求項８】
前記特定手段により特定された領域を、個別の待ち行列の領域に分割する分割手段を更に備え、
前記計測手段は、前記分割手段により分割された領域毎に、前記特定手段により特定された前記待ち行列の領域に基づいて、前記待ち行列に並んでいるオブジェクトの数を計測することを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
【請求項９】
前記計測手段により計測されたオブジェクトの数が設定された閾値よりも大きい場合、前記計測手段により計測されたオブジェクトの数が設定された閾値よりも大きいことを示す情報を出力する出力手段を更に備えることを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
【請求項１０】
入力画像から、待ち行列の領域を特定する特定手段と、
前記特定手段により特定された前記待ち行列の領域に基づいて、前記待ち行列に並んでいるオブジェクトの数を計測する計測手段と、
前記計測手段により計測された前記待ち行列に並んでいるオブジェクトの数を示す情報を出力する出力手段と、
を備えることを特徴とするシステム。
【請求項１１】
情報処理装置が実行する情報処理方法であって、
入力画像から、待ち行列の領域を特定する特定ステップと、
前記特定ステップで特定された前記待ち行列の領域に基づいて、前記待ち行列に並んでいるオブジェクトの数を計測する計測ステップと、
を含むことを特徴とする情報処理方法。
【請求項１２】
コンピュータを、請求項１乃至９の何れか１項に記載の情報処理装置の各手段として、機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、システム、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来から、例えばコンビニエンスストア等の店舗におけるレジ待ちの待ち行列等の待ち行列において、待ち行列に並んでいるオブジェクトの数を、その待ち行列が撮影された画像に基づいて、計測するシステムが存在している。
特許文献１には、レジ待ちの人数を計測するエリアを事前に人手で定義し、定義されたエリア内の人物を検出する処理によって、そのエリア内のレジ待ち人数を計測する技術について開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１４９９１８号公報
【特許文献２】特開２０１０−２７７５４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１においては、レジ待ちエリアを事前に人手で定義する必要があり、レジ待ちエリアを定義する手間がかかり利便性が低いという課題がある。また、レジ待ちエリアに人物がいると、レジ待ち人数として計測されてしまう。レジ待ちエリアに商品が配置されると、その商品を取りに来た人物・見に来た人物もレジ待ち人数として計測されてしまうこととなるため、レジ待ちエリアに商品を配置することができないという課題がある。
また、特許文献１では、店舗内が混雑している状況で、レジ待ちエリア内に、レジ待ちの人物、店舗内を移動する人物、商品を見る人物等が混在する場合に計測できないという課題がある。更に、特許文献１の発明では、店舗内でレジ待ちの待ち行列が発生する場所が不定で、状況によってレジ待ちする人物の並びが変わってしまうような場合、レジ待ちエリアを事前に定義できず、レジ待ち人数を計測することができないという課題がある。
【０００５】
また、特許文献２には、店舗内の滞在者と移動者を区別して抽出することで混雑状況を把握する技術について開示されている。しかし、特許文献２においても、移動者と滞在者とを区別するだけでは、商品を見るために立ち止まっている人物とレジ待ちの人物を区別することができず、レジ待ち人数を計測することはできないという課題がある。また、特許文献２では、店舗内が混雑していて、移動者も非常にゆっくりとしか移動できない場合には、移動者と滞在者が区別できず、レジ待ち人数を把握することができないという課題がある。
以上のように、従来技術では、混雑している店舗内におけるレジ待ちの待ち行列のように、待ち行列に並んでいないオブジェクトの動きが非常にゆっくりであったり、待ち行列が形成される位置が不定であったりするような場合に、待ち行列に並んでいるオブジェクトの数を計測できなかった。
本発明は、待ち行列に並ぶオブジェクトの数をより精度よく計測することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の情報処理装置は、入力画像から、待ち行列の領域を特定する特定手段と、前記特定手段により特定された前記待ち行列の領域に基づいて、前記待ち行列に並んでいるオブジェクトの数を計測する計測手段と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、待ち行列に並ぶオブジェクトの数をより精度よく計測することができる。
【図面の簡単な説明】
【０００８】
【図１】計測システムのシステム構成の一例を示す図である。
【図２】計測システムの構成要素のハードウェア構成の一例を示す図である。
【図３】計測システムの機能構成の一例を示す図である。
【図４】計測処理の一例を示すフローチャートである。
【図５】レジ待ち状況閲覧画面の一例を示す図である。
【図６】アラート発報処理の一例を示すフローチャートである。
【図７】レジ管理テーブルの一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面に基づいて説明する。
【００１０】
＜第１の実施形態＞
図１は、計測システムのシステム構成の一例を示す図である。計測システムは、待ち行列に並んでいるオブジェクトの数を計測するシステムであり、本実施形態では、コンビニエンスストア等の店舗内でレジ待ちしている人物で構成される待ち行列に並んでいる人数を計測する。本実施形態では、待ち行列に並ぶオブジェクトは、店舗内でレジ待ちをする人物であるとする。
計測システムは、ＮＷ（ネットワーク）カメラ１１０、管理サーバ１２０、解析サーバ１３０、レコーダ１５０を含む。ＮＷカメラ１１０、管理サーバ１２０、解析サーバ１３０、レコーダ１５０は、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）１４０を介して、相互に接続されている。ＮＷカメラ１１０、管理サーバ１２０、解析サーバ１３０、レコーダ１５０は、インターネット等の他のネットワークを介して、相互に接続されていることとしてもよい。
【００１１】
ＮＷカメラ１１０は、並んでいるオブジェクトの数の計測対象である待ち行列を撮影し、撮影した静止画、動画等の画像を、ネットワークを介して、外部の装置等に送信する撮像装置である。
管理サーバ１２０は、待ち行列に並んでいるオブジェクトの状況に関する情報を管理するサーバ装置、パーソナルコンピュータ（ＰＣ）、タブレット装置等の情報処理装置である。
解析サーバ１３０は、ＮＷカメラ１１０により撮影された画像、レコーダ１５０に記憶されている画像、管理サーバ１２０が管理する情報等に基づいて、待ち行列に並んでいるオブジェクトの数を計測する処理を行うサーバ装置、ＰＣ、タブレット装置等の情報処理装置である。
レコーダ１５０は、ＮＷカメラ１１０により撮影された画像を記憶するための記憶装置を有するサーバ装置、ＰＣ等の情報処理装置である。また、レコーダ１５０は、外付けのハードディスク、ＮＡＳ（Ｎｅｔｗｏｒｋ  Ａｔｔａｃｈｅｄ  Ｓｔｏｒａｇｅ）等の記憶装置であるとしてもよい。
【００１２】
図２は、計測システムの構成要素のハードウェア構成の一例を示す図である。
図２（ａ）は、管理サーバ１２０のハードウェア構成の一例を示す図である。
管理サーバ１２０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０３、入力コントローラ２０５、ビデオコントローラ２０６、メモリコントローラ２０７、通信Ｉ／Ｆコントローラ２０８を含む。各要素は、システムバス２０４を介して相互に接続される。
ＣＰＵ２０１は、システムバス２０４に接続される各要素を統括的に制御する中央演算装置である。ＲＯＭ２０２は、各種プログラムや設定データ等を記憶する記憶装置である。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する記憶装置である。
入力コントローラ２０５は、ユーザからの入力を受け付けるデバイスであるマウス、キーボード、タッチパネル、タッチパッド等のポインティングデバイスで構成される入力デバイス２０９からの入力を受け付けるコントローラである。入力デバイス２０９がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンを選択（指等でタッチ）することにより、各種の指示が入力される。また、タッチパネルは、マルチタッチスクリーン等の、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。
【００１３】
ビデオコントローラ２０６は、ディスプレイ２１０等の外部出力装置への表示を制御するコントローラである。ディスプレイ２１０は、外付けのディスプレイであってもよいし、本体と一体になったノート型パソコンのディスプレイ等であってもよい。ビデオコントローラ２０６は、ディスプレイ２１０ではなく、例えばプロジェクタ等の他の外部出力装置への表示を制御することとしてもよい。また、入力デバイス２０９と外部出力装置とは、単体のタッチパネルとして構成されることとしてもよい。
ビデオコントローラ２０６は、表示制御を行うためのビデオメモリ（ＶＲＡＭ）を制御することが可能で、ビデオメモリ領域としてＲＡＭ２０３の一部を利用することもできるし、別途設置された専用のビデオメモリを利用することもできる。
メモリコントローラ２０７は、外部メモリ２１１へのアクセスを制御するコントローラである。外部メモリ２１１は、ブートプログラム、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤＤ）、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、フレキシブルディスク（ＦＤ）、ＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等で構成される。
通信Ｉ／Ｆコントローラ２０８は、ネットワークを介した外部機器との接続・通信に利用されるコントローラであり、ネットワークを介した通信制御処理を実行する。通信Ｉ／Ｆコントローラ２０８は、例えば、ＴＣＰ／ＩＰを用いた通信やＩＳＤＮ等の電話回線、携帯電話の３Ｇ回線等を用いた通信を行うことができる。
【００１４】
ＲＯＭ２０２、又は外部メモリ２１１は、ＣＰＵ２０１が実行する制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）や、本実施形態の処理を実現するためのコンピュータ読み取り実行可能なプログラム、必要な各種データ（データテーブルを含む）等を記憶する。
ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２又は外部メモリ２１１から、ＲＡＭ２０３にロードし、ロードしたプログラムを実行することでロードしたプログラムに応じた各種動作を実現する。
ＣＰＵ２０１が、ＲＯＭ２０２又は外部メモリ２１１に記憶されたプログラムに基づき処理を実行することによって、図３で後述する管理サーバ１２０の機能及び図６で後述するフローチャートの処理における管理サーバ１２０の処理が実現される。
また、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上に画像を表示する。また、ＣＰＵ２０１は、ディスプレイ２１０上のマウスカーソル等を介したユーザからの指示を受け付けることができる。
また、解析サーバ１３０のハードウェア構成は、図２（ａ）と同様である。
解析サーバ１３０のＣＰＵが、解析サーバ１３０のＲＯＭ又は解析サーバ１３０の外部メモリに記憶されたプログラムに基づき処理を実行することによって、図３で後述する解析サーバ１３０の機能及び図４で後述するフローチャートの処理が実現される。
【００１５】
図２（ｂ）は、ＮＷカメラ１１０のハードウェア構成の一例を示す図である。
ＮＷカメラ１１０は、ＣＰＵ２２１、ＲＯＭ２２２、ＲＡＭ２２３、撮影部２２４、通信Ｉ／Ｆコントローラ２２５を含む。ＣＰＵ２２１、ＲＯＭ２２２、ＲＡＭ２２３、撮影部２２４、通信Ｉ／Ｆコントローラ２２５は、システムバス２２６を介して相互に接続されている。
ＣＰＵ２２１は、システムバス２２６に接続される各要素を統括的に制御する中央演算装置である。ＲＯＭ２２２は、各種プログラムや設定データ等を記憶する記憶装置である。ＲＡＭ２２３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する記憶装置である。
撮影部２２４は、ＣＣＤ、ＣＭＯＳ等の撮像素子やレンズを介して、画像を撮影する撮影部である。通信Ｉ／Ｆコントローラ２２５は、ネットワークを介した外部機器との接続・通信に利用されるコントローラであり、ネットワークを介した通信制御処理を実行する。通信Ｉ／Ｆコントローラ２２５は、例えば、ＴＣＰ／ＩＰを用いた通信やＩＳＤＮ等の電話回線、携帯電話の３Ｇ回線等を用いた通信を行うことができる。
ＣＰＵ２２１は、処理の実行に際して必要なプログラム等をＲＯＭ２２２から、ＲＡＭ２２３にロードし、ロードしたプログラムを実行することでロードしたプログラムに応じた各種動作を実現する。ＣＰＵ２２１が、ＲＯＭ２２２に記憶されたプログラムに基づき処理を実行することによって、図３で後述するＮＷカメラ１１０の機能及び図４で後述するフローチャートの処理におけるＮＷカメラ１１０の処理が実現される。
【００１６】
図２（ｃ）は、レコーダ１５０のハードウェア構成の一例である。
レコーダ１５０は、ＣＰＵ２４１、ＲＯＭ２４２、ＲＡＭ２４３、ストレージ部２４４、通信Ｉ／Ｆコントローラ２４５を含む。ＣＰＵ２４１、ＲＯＭ２４２、ＲＡＭ２４３、ストレージ部２４４、通信Ｉ／Ｆコントローラ２４５は、システムバス２４６を介して相互に接続されている。
ＣＰＵ２４１は、システムバス２４６に接続される各要素を統括的に制御する中央演算装置である。ＲＯＭ２４２は、各種プログラムや設定データ等を記憶する記憶装置である。ＲＡＭ２４３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する記憶装置である。
ストレージ部２４４は、ＲＯＭ２４２よりも大容量の記憶装置であり、ＨＤＤやＳＳＤ等により構成され、ＮＷカメラ１１０により撮影された画像を記憶するために利用される。通信Ｉ／Ｆコントローラ２４５は、ネットワークを介した外部機器との接続・通信に利用されるコントローラであり、ネットワークを介した通信制御処理を実行する。通信Ｉ／Ｆコントローラ２４５は、例えば、ＴＣＰ／ＩＰを用いた通信やＩＳＤＮ等の電話回線、携帯電話の３Ｇ回線等を用いた通信を行うことができる。
ＣＰＵ２４１は、処理の実行に際して必要なプログラム等をＲＯＭ２４２から、ＲＡＭ２４３にロードし、ロードしたプログラムを実行することでロードしたプログラムに応じた各種動作を実現する。ＣＰＵ２４１が、ＲＯＭ２４２に記憶されたプログラムに基づき処理を実行することによって、図３で後述するレコーダ１５０の機能及びレコーダ１５０の処理が実現される。
【００１７】
図３は、計測システムの機能構成の一例を示す図である。
ＮＷカメラ１１０は、映像送信部３１１を含む。
映像送信部３１１は、撮影部２２４により撮影された画像を、解析サーバ１３０やレコーダ１５０に送信する。
管理サーバ１２０は、管理データベース３２１、待ち状況管理部３２２、待ち状況閲覧部３２３、画像生成部３２４を含む。
管理データベース３２１は、待ち行列が発生し得るレジ等の管理用の情報を記憶するデータベースであり、管理サーバ１２０のＲＯＭ、外部メモリ等に実装される。待ち状況管理部３２２は、管理データベース３２１から取得した情報に基づいて、待ち行列の待ち状況を管理し、待ち状況に応じてアラートを発報したりする。待ち状況閲覧部３２３は、待ち行列の待ち状況を示す画像を、管理データベース３２１から取得し、管理サーバ１２０のディスプレイに表示したりして、ユーザが待ち行列の待ち状況を閲覧できるようにする。画像生成部３２４は、待ち行列の待ち状況を示す画像を生成する。
【００１８】
解析サーバ１３０は、映像受信部３３１、待ち領域認識部３３２、待ち行列数認識部３３３、待ち行列分割部３３４、待ち行列割り当て部３３５、待ち数計測部３３６を含む。
映像受信部３３１は、ＮＷカメラ１１０により撮影された画像を、ＮＷカメラ１１０から受信する。待ち領域認識部３３２は、映像受信部３３１により受信された映像から、待ち行列が占める領域を認識する。待ち行列数認識部３３３は、待ち領域認識部３３２により認識された領域に基づいて、形成されている待ち行列の数を認識する。待ち行列分割部３３４は、待ち領域認識部３３２により認識された領域を、待ち行列数認識部３３３に認識された数の個別の待ち行列に分割する。
待ち行列割り当て部３３５は、待ち行列分割部３３４により分割された各待ち行列が、どのレジに対応するかを割当てる。本実施形態では、待ち行列がレジに並んでいる人物から構成されるため、待ち行列割り当て部３３５は、各待ち行列に対して、対応するレジを割当てることになる。しかし、待ち行列が例えば遊園地のアトラクションの順番を待っている人物から構成される等の他のことを待っている人物から構成される場合、待ち行列割り当て部３３５は、各待ち行列に対応するアトラクション等の他のものを割当てることになる。待ち数計測部３３６は、待ち行列割り当て部３３５により各レジを割り当てられた待ち行列に並んでいるオブジェクトの数を認識する。
レコーダ１５０は、録画データベース３５１を含む。録画データベース３５１は、ＮＷカメラ１１０により撮影された映像の情報を記憶するデータベースであり、レコーダ１５０のストレージ部２４４に実装される。
【００１９】
次に図４、図６のフローチャートを用いて、本実施形態の計測システムが実行する処理について説明する。
図４は、待ち行列に並んでいるオブジェクトの計測処理の一例を示すフローチャートである。本実施形態では、計測システムは、コンビニエンスストア等の店舗における各レジについて、レジ待ちの待ち行列の領域を特定し、特定した領域に基づいて、待ち行列内に何人の人物が並んでいるのかを計測する処理を行う。
Ｓ４０１において、映像送信部３１１は、解析サーバ１３０に対して、撮影した画像と、ＮＷカメラ１１０を示すカメラＩＤと、を送信する。本実施形態では、映像送信部３１１は、設定された間隔（例えば、０、３３秒毎等）で静止画である撮影した画像を解析サーバ１３０に送信することとする。
Ｓ４０２において、映像受信部３３１は、Ｓ４０１で送信された画像とカメラＩＤとを受信する。本実施形態では、映像受信部３３１は、ＮＷカメラ１１０から設定された間隔（例えば、０、０３３秒毎等）で周期的に静止画を受信する。そして、解析サーバ１３０は、Ｓ４０２で受信した画像と、過去にＮＷカメラ１１０から受信した画像と、に基づいて、以降の処理を行うこととする。しかし、解析サーバ１３０は、過去にＮＷカメラ１１０から受信した画像を用いずに、以降の処理を行うこととしてもよい。Ｓ４０２で受信された画像は、入力画像の一例である。
【００２０】
Ｓ４０３において、待ち領域認識部３３２は、Ｓ４０２で受信した画像に基づいて、その画像においてレジ待ちの待ち行列が占める領域を抽出する。待ち領域認識部３３２は、例えば、「Ｆｕｌｌｙ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋｓ（ＦＣＮ）」という認識器を用いて、画像からレジ待ちの待ち行列が占める領域の抽出を行う。ＦＣＮとは、事前に画素単位にカテゴリを付与された画像を、学習データとして学習しておくことで、画素単位のカテゴリ予測を行う、畳み込みニューラルネットワークを応用した認識器である。ＦＣＮは、画像中の画素毎に、その画素が待ち行列の領域であるか否かを認識することで、待ち行列の領域を認識する認識器の一例である。以下では、学習データとして用いられる画像を学習用画像とする。
待ち領域認識部３３２は、ＦＣＮ等の画像中の画素毎に、その画素が待ち行列の領域であるか否かを認識することで、待ち行列の領域を認識する認識器を用いることで、画像中の待ち行列を、より実際の形に近い形で認識できる。例えば、待ち領域認識部３３２は、画像中の待ち行列を含む矩形領域を検出することで、待ち行列の領域を認識する認識器を用いて、待ち行列が占める領域を認識する場合、認識結果として、待ち行列が占める領域以外の領域も含む矩形領域を認識することとなる。本実施形態のように、待ち領域認識部３３２は、画像中の画素毎に、その画素が待ち行列の領域であるか否かを認識する認識器を用いる場合、画素毎に待ち行列が占める領域か否かを決定できるので、より実際の形に近い待ち行列が占める領域を認識することとなる。
【００２１】
本実施形態では、待ち領域認識部３３２は、レジ待ちの待ち行列が占める領域をより精度よく認識するため、Ｓ４０２で受信した画像自体の他に、画像に含まれるオブジェクト（人物）の動き、加速度等のオブジェクトの動作情報の情報も利用する。オブジェクトの動作情報とは、オブジェクトの動作に関する情報であり、例えばオブジェクトの速度や加速度等の情報である。本実施形態では、待ち領域認識部３３２は、予め、待ち行列が占める領域が特定されている学習用画像、学習用画像中の人物の動き、及び学習用画像中の人物の加速度に基づいて、学習されたＦＣＮを用いる。待ち領域認識部３３２は、認識対象の画像から各人物の動き、及び加速度を取得して、Ｓ４０２で受信した認識対象の画像と、認識対象の画像から各人物の動き、及び加速度を予め学習されたＦＣＮに入力することで、認識対象の画像中の待ち行列が占める領域を認識する。このように、待ち領域認識部３３２は、画像のみでなく、画像中の人物の動作情報も加味した認識器を用いることにより、待ち領域認識部３３２は、画像のみから待ち行列が占める領域を認識する認識器を用いる場合に比べて、より精度よく待ち行列が占める領域を認識できる。
待ち領域認識部３３２は、例えば、動画である画像から人物の動きを、現在のフレームと前のフレームとを利用して、Ｇｕｎｎａｒ  Ｆａｒｎｅｂａｃｋのアルゴリズム「Ｔｗｏ−Ｆｒａｍｅ  Ｍｏｔｉｏｎ  Ｅｓｔｉｍａｔｉｏｎ  Ｂａｓｅｄ  ｏｎ  Ｐｏｌｙｎｏｍｉａｌ  Ｅｘｐａｎｓｉｏｎ」等によって画素毎に計算される密なオプティカルフローを用いることができる。
待ち領域認識部３３２は、例えば、公知技術である「Ｍｏｔｉｏｎ  Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  ｗｉｔｈ  Ａｃｃｅｌｅｒａｔｉｏｎ  Ｉｍａｇｅ」に開示されている方法を用いて、計算した密なオプティカルフローを微分することで、加速度を取得することができる。
【００２２】
本実施形態では、待ち領域認識部３３２は、画像と、画像から抽出された動き及び加速度と、を入力とするＦＣＮを用いることとした。しかし、待ち領域認識部３３２は、画像と、画像中の人物の動きと、を入力とするＦＣＮを用いることとしてもよい。また、待ち領域認識部３３２は、画像と、画像中の人物の加速度と、を入力とするＦＣＮを用いることとしてもよい。そのような場合、待ち領域認識部３３２は、Ｓ４０２で受信した画像から取得した動きや加速度の情報を用いずに、レジ待ちの待ち行列が占める領域を認識することとしてもよい。
また、待ち領域認識部３３２は、ＦＣＮ以外にも、画像の画素単位のカテゴリ予測が可能な領域分割技術（Ｓｅｍａｎｔｉｃ  Ｓｅｇｍｅｎｔａｔｉｏｎという分野）を用いることで、待ち行列が占める領域を認識してもよい。
待ち領域認識部３３２は、画像と動きと加速度とを全てを連結して入力を受け付けるＦＣＮを用いてもよいし、画像、動き、加速度の入力をそれぞれ個別に受付けるＦＣＮを用いてもよい。画像、動き、加速度の入力をそれぞれ個別に受付けるＦＣＮは、それぞれ個別に待ち行列であるか否かを示す認識結果を出力する。そして、待ち領域認識部３３２は、出力されたそれぞれの認識結果を統合し、最終的な待ち行列の領域の認識結果を取得する。  
【００２３】
また、待ち領域認識部３３２は、ＦＣＮの学習や入力に用いられる動き及び加速度の情報として、画像における認識対象のフレームの過去の設定された数（例えば１０個）のフレームから取得される動き及び加速度の情報を用いる。
ＦＣＮは、画像における画素毎にその画素がレジ待ちの待ち行列の領域であるか否かを示す情報を応答する。そのため、待ち領域認識部３３２は、Ｓ４０３の処理により、Ｓ４０２で受信した画像に対して、レジ待ちの待ち行列が占める領域であると認識された画素の画素値を１、それ以外の画素の画素値を０とした２値画像を取得する。
Ｓ４０４において、待ち行列数認識部３３３は、Ｓ４０３で取得されたレジ待ちの待ち行列が占める領域の２値画像に基づいて、現在のレジ待ちの待ち行列の数を取得する。待ち行列数認識部３３３は、例えば、１つ又は複数の待ち行列が撮影された画像と、その画像に対応する待ち行列の数とを学習させた「Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ（ＣＮＮ）」を用いて、待ち行列の数を認識する。また、待ち行列数認識部３３３は、Ｓ４０３で取得された２値画像に対して「Ｔｏｐｏｌｏｇｉｃａｌ  ｓｔｒｕｃｔｕｒａｌ  ａｎａｌｙｓｉｓ  ｏｆ  ｄｉｇｉｔｉｚｅｄ  ｂｉｎａｒｙ  ｉｍａｇｅｓ  ｂｙ  ｂｏｒｄｅｒ  ｆｏｌｌｏｗｉｎｇ」を用いて、輪郭抽出を行い、抽出した輪郭線のうち独立した輪郭線の個数に基づいて、待ち行列の数を認識することとしてもよい。
また、待ち行列数認識部３３３は、管理データベース３２１から現在稼働中のレジが幾つあるかを示す情報を取得し、取得した情報が示す数を、待ち行列の数としてもよい。また、待ち行列数認識部３３３は、そもそもレジが１つしかないような場合、待ち行列の数を１つであるとしてもよい。
【００２４】
Ｓ４０５において、待ち行列分割部３３４は、Ｓ４０３で認識したレジ待ち列領域を、Ｓ４０４で認識した待ち行列の数の待ち行列に分割する。待ち行列分割部３３４は、例えば、ｋ−ｍｅａｎｓを用いて、Ｓ４０３で取得された２値画像のうち待ち行列と認識されている（画素値が１である）各画素を、Ｓ４０４で認識された待ち行列の数になるようにクラスタリングすることで、Ｓ４０３で認識したレジ待ち列領域を、Ｓ４０４で認識した待ち行列の数の待ち行列に分割する。
本実施形態では、解析サーバ１３０は、Ｓ４０４でレジ待ちの待ち行列の数を認識してから、Ｓ４０５で領域分割をすることとした。しかし、解析サーバ１３０は、例えば、Ｓ４０５と同様のクラスタリング処理を設定された回数（１〜稼働レジ数分のクラスタ数の回数）行い、それぞれのクラスタリング処理の結果、ＢＩＣやＡＩＣ等の設定された基準値が最も小さくなる（最もクラスタリングのあてはまりがよい）場合のクラスタリング数を、レジ待ちの待ち行列の数として、また、その場合のクラスタリングされた領域を、各待ち行列の領域として、Ｓ４０４とＳ４０５との処理を一括して実行してもよい。より具体的には、解析サーバ１３０は、稼働レジ数が３つの場合、クラスタ数１、２、３のそれぞれについて、クラスタリング処理を行い、得られたＢＩＣを比較し、ＢＩＣが最小となる場合のクラスタ数を、待ち行列の数として決定する。また、解析サーバ１３０は、その際のクラスタリングされた領域を、各待ち行列の領域として取得する。
また、解析サーバ１３０は、Ｘ−ｍｅａｎｓというクラスタリング手法を用いて、Ｓ４０４とＳ４０５との処理を一括で実施することとしてもよい。
【００２５】
Ｓ４０６において、待ち行列割り当て部３３５は、管理データベース３２１から、Ｓ４０２で受信したカメラＩＤに対応するＮＷカメラ１１０により撮影可能なレジのうち、現在稼働しているレジの座標情報を取得する。
Ｓ４０７において、待ち行列割り当て部３３５、待ち数計測部３３６は、Ｓ４０５で分割された領域から１つずつ選択して、選択した領域毎にＳ４０８〜Ｓ４０９の処理を行うように制御する。以下では、Ｓ４０７で選択された領域を、選択領域とする。
Ｓ４０８において、待ち行列割り当て部３３５は、選択領域を、Ｓ４０６で座標情報が取得されたレジのうち、どのレジに対応する待ち行列の領域であるかを割り当てる。待ち行列割り当て部３３５は、例えば、選択領域の外接矩形を特定し、特定した外接矩形の中心座標と、Ｓ４０６で取得された各座標とのユークリッド距離を計算し、最も距離の短い座標に対応するレジに対応する待ち行列に割り当てる。
【００２６】
Ｓ４０９において、待ち数計測部３３６は、選択領域に基づいて、選択領域に対応する待ち行列に並んでいる人物の数を計測する。待ち数計測部３３６は、例えば、Ｓ４０２で受信された画像に対して人物検出処理や人物の頭部の検出処理を行う。そして、待ち数計測部３３６は、検出した人物や頭のうち、選択領域の外接矩形内に設定された割合（例えば、５０％等）以上が含まれているもの個数を、選択領域に対応する待ち行列に並んでいる人物として計測する。また、待ち数計測部３３６は、例えば、待ち行列が撮影された画像と、その待ち行列に並んでいる人物の数と、に基づいて学習されたＣＮＮを用いて、待ち行列に並んでいる人物の数を認識することとしてもよい。
また、待ち数計測部３３６は、検出した人物や頭のうち、選択領域の外接矩形内に全体が含まれているものを、選択領域に対応する待ち行列に並んでいる人物として計測してもよい。また、待ち数計測部３３６は、検出した人物や頭のうち、選択領域の外接矩形内に一部が含まれているものを、選択領域に対応する待ち行列に並んでいる人物として計測してもよい。
更に、待ち数計測部３３６は、Ｓ４０９の処理で、計測した人物の数を管理データベース３２１に登録するよう制御する。
Ｓ４１０において、待ち数計測部３３６は、Ｓ４０５で分割された領域全てについて、Ｓ４０８〜Ｓ４０９の処理を実行したか否かを判定する。待ち数計測部３３６は、Ｓ４０５で分割された領域全てについて、Ｓ４０８〜Ｓ４０９の処理を実行したと判定した場合、Ｓ４１１の処理に進む。待ち数計測部３３６は、Ｓ４０５で分割された領域の中にＳ４０８〜Ｓ４０９の処理を実行していない領域が存在すると判定した場合、Ｓ４０７の処理に進む。
【００２７】
Ｓ４１１において、待ち数計測部３３６は、Ｓ４０５で分割された領域の情報と、Ｓ４０５で分割された領域それぞれについてＳ４０９で認識した各領域に対応する待ち行列に並んでいる人物の数の情報とを、管理サーバ１２０の管理データベース３２１に記憶するよう制御する。
そして、管理サーバ１２０の画像生成部３２４は、Ｓ４１１の処理で管理データベース３２１に記憶されたＳ４０５で分割された領域の情報に基づいて、レジ待ちの待ち行列が占める領域の認識結果を示す画像を生成し、生成した画像を、管理データベース３２１に登録し、登録した場所を示すパスの情報を、管理データベース３２１に記憶されているレジの管理用の情報である図７で後述するレジ管理テーブルに記憶する。
レジ待ちの待ち行列が占める領域の認識結果を示す画像は、例えば、Ｓ４０５で分割された個別の待ち行列の領域を、それぞれ色分けして、元の画像に重畳して表示させた画像であり、現在レジ待ちの待ち行列となっている領域はどこで、何個の待ち行列があるか、が視覚的に確認できる画像である。
待ち状況閲覧部３２３は、管理サーバ１２０の入力デバイス２０９を介したユーザの操作に基づいて、管理データベース３２１に登録されている画像生成部３２４により生成された画像を、ディスプレイ２１０等に表示する。図５は、待ち状況閲覧部３２３によりディスプレイ２１０にレジ待ちの待ち行列が占める領域の認識結果が表示されている様子の一例を示す図である。待ち状況閲覧部３２３は、Ｓ４１１で記憶された各待ち行列に並んでいる人物の数の情報に基づいて、図５のレジ待ち人数表示欄等に対して、各待ち行列に並んでいる人数を表示することができる。図５の例では、レジ待ち領域認識結果欄に３つの待ち行列が占める領域が表示されていることが分かる。待ち状況閲覧部３２３は、Ｓ４１１で記憶された各待ち行列に並んでいる人物の数の情報に基づいて、Ｓ４０９で認識された人数を表示してもよいし、過去に並んでいた人数との移動平均の人数を表示してもよい。図５の例では、レジ待ち人数表示欄に各待ち行列に並んでいる人数が表示されている。
【００２８】
また、待ち状況閲覧部３２３は、管理データベース３２１に登録されている画像生成部３２４により生成された待ち行列の部分が色分け等された画像と、待ち行列の部分が色分け等されていない元の画像と、を並べて表示することとしてもよい。
また、待ち状況閲覧部３２３は、レジ待ちの待ち行列が占める領域の認識結果を示す画像と併せて、カメラ切替ボタンをディスプレイ２１０に表示してもよい。そして、待ち状況閲覧部３２３は、カメラ切替ボタンの選択を検知すると、ＮＷカメラ１１０を切替えて、切替えた後のＮＷカメラ１１０により撮影された画像について、画像生成部３２４により生成されたレジ待ちの待ち行列が占める領域の認識結果を示す画像をディスプレイ２１０に表示する。
また、待ち状況閲覧部３２３は、外部の情報処理装置から、管理データベース３２１に登録されている画像生成部３２４により生成された画像の要求を受信した場合、要求元に対して管理データベース３２１に登録されている画像生成部３２４により生成された画像を送信することとしてもよい。その場合、外部の情報処理装置は、例えば、表示部に表示することで、外部の情報処理装置のユーザに送信された画像を提示する。
【００２９】
図６は、管理サーバ１２０によるアラート発報処理の一例を示すフローチャートである。本実施形態では、待ち状況管理部３２２は、現在のレジ待ちの人数と、設定された閾値と、を比較し、比較の結果に応じて、アラートを発報する。
Ｓ６０１において、待ち状況管理部３２２は、管理データベース３２１から、登録されているＮＷカメラ１１０の情報を取得する。本実施形態では、待ち状況管理部３２２は、複数のＮＷカメラ１１０の情報を取得することとする。そして、待ち状況管理部３２２は、取得した情報に対応するＮＷカメラ１１０から１つずつ選択して、選択したＮＷカメラ１１０それぞれに対して、Ｓ６０２〜Ｓ６１１の処理を実行するよう制御する。以下では、Ｓ６０１で選択されたＮＷカメラ１１０を、選択カメラとする。
Ｓ６０２において、待ち状況管理部３２２は、管理データベース３２１から、選択カメラにより撮影可能なレジのうち、稼働しているレジの情報を取得する。以下では、稼働しているレジを、稼働レジとする。
Ｓ６０３において、待ち状況管理部３２２は、アラートを発した回数を示す数であるアラート発報数を０に初期化する。
【００３０】
Ｓ６０４において、待ち状況管理部３２２は、Ｓ６０２で取得した情報が示す稼働しているレジから一つずつ選択し、選択したレジそれぞれに対して、Ｓ６０５〜Ｓ６０８の処理を実行するよう制御する。以下では、Ｓ６０４で選択されたレジを選択レジとする。
Ｓ６０５において、待ち状況管理部３２２は、管理データベース３２１から、選択レジについてのレジ待ちの人数を取得する。
Ｓ６０６において、待ち状況管理部３２２は、管理データベース３２１から、選択レジについて、アラートを発報するか否かを決定するための閾値であるアラート設定値を取得する。
Ｓ６０７において、待ち状況管理部３２２は、Ｓ６０５で取得したレジ待ちの人数と、Ｓ６０６で取得したアラート設定値の大小を比較する。待ち状況管理部３２２は、Ｓ６０５で取得したレジ待ちの人数の方が大きい場合、Ｓ６０８の処理に進む。待ち状況管理部３２２は、Ｓ６０５で取得したレジ待ちの人数がＳ６０６で取得したアラート設定値以下である場合、ステップＳ６０９へ進む。
【００３１】
Ｓ６０８において、待ち状況管理部３２２は、選択レジに対するアラートを発報し、アラート発報数に１を加算し、管理サーバ１２０のＲＡＭ等に記憶する。待ち状況管理部３２２は、例えば、店舗の店員が所持するスマートフォンに、選択レジにアラート設定値を超える人数の待ち行列が形成されたことを示すショートメッセージを通知することで、アラートを発報する。また、待ち状況管理部３２２は、例えば、店舗の店員が所持するスマートフォンに、選択レジに対する応援を求めることを示すショートメッセージを通知することで、アラートを発報することとしてもよい。このように、待ち状況管理部３２２は、アラートを発報することによって、選択レジに対する会計業務の応援を実施することができる。
Ｓ６０９において、待ち状況管理部３２２は、選択カメラにより撮影可能なレジのうち全ての稼働レジに対してＳ６０５〜Ｓ６０８の処理を行ったか否かを判定する。待ち状況管理部３２２は、行ったと判定した場合、Ｓ６１０の処理に進む。また、待ち状況管理部３２２は、行っていないレジがあると判定した場合、Ｓ６０５の処理に進む。
【００３２】
Ｓ６１０において、待ち状況管理部３２２は、管理データベース３２１から、選択カメラにより撮影可能なレジの総数を取得する。待ち状況管理部３２２は、アラート発報数とＳ６０２で取得した情報に対応する稼働レジの数とが等しく、かつ、取得したレジの総数がＳ６０２で取得した情報に対応する稼働レジ数より大きいか否かを判定する。待ち状況管理部３２２は、アラート発報数とＳ６０２で取得した稼働レジ数とが等しく、かつ、取得したレジの総数がＳ６０２で取得した情報に対応する稼働レジの数より大きいと判定した場合、Ｓ６１１の処理に進む。また、待ち状況管理部３２２は、アラート発報数とＳ６０２で取得した情報に対応する稼働レジの数とが等しくなく、又は、取得したレジの総数がＳ６０２で取得した情報に対応する稼働レジの数以下であると判定した場合、Ｓ６１２の処理に進む。
Ｓ６１１において、待ち状況管理部３２２は、選択カメラに対するアラートを発報する。待ち状況管理部３２２は、例えば、店舗の店員が所持するスマートフォンに、稼働レジ全てについてアラート設定値を超える人数の待ち行列が形成されており、かつ、まだ稼働していないレジがあることを示すショートメッセージを通知する。これにより、店員は、選択カメラが撮影している店舗の、稼働していないレジを稼働させることができ、レジ数待ちを緩和させることができるようになる。
Ｓ６１２において、待ち状況管理部３２２は、登録されている全てのＮＷカメラ１１０に対して、Ｓ６０２〜Ｓ６１１の処理を実行したか否かを判定する。待ち状況管理部３２２は、登録されている全てのＮＷカメラ１１０に対して、Ｓ６０２〜Ｓ６１１の処理を実行したと判定した場合、図６の処理を終了する。待ち状況管理部３２２は、Ｓ６０２〜Ｓ６１１の処理を実行していないＮＷカメラ１１０が存在すると判定した場合、Ｓ６０１の処理に進む。
【００３３】
図７のレジ管理テーブル７０１は、管理データベース３２１に登録されているレジの管理用の情報の一例である。待ち状況管理部３２２は、Ｓ６０１、Ｓ６０２、Ｓ６０７、Ｓ６１０等の処理で、管理データベース３２１からレジ管理テーブル７０１に含まれる各種の情報を取得し、取得した情報に基づいて、それぞれの処理を行う。
レジ管理テーブル７０１は、ＮＷカメラ１１０と店舗の各レジの情報とを管理するテーブルである。レジ管理テーブル７０１は、ＮＷカメラＩＤ７０２、レジ数７０３、レジ座標７０４、レジ稼働状況７０５、レジ待ち人数アラート設定７０６、レジ待ち人数７０７、レジ待ち認識結果画像パス７０８の項目を含む。
ＮＷカメラＩＤ７０２の項目は、ＮＷカメラ１１０を識別するための項目であり、ＮＷカメラ１１０を識別するカメラＩＤが登録される。
【００３４】
レジ数７０３の項目には、対応するＮＷカメラＩＤ７０２が示すＮＷカメラ１１０が撮影する範囲に含まれるレジの数が登録される。
レジ座標７０４の項目には、対応するＮＷカメラＩＤ７０２が示すＮＷカメラ１１０が撮影する範囲に含まれる各レジの、撮影される画像中における座標が登録される。例えば、レジ座標７０４には、対応するレジ数７０３の値がｎであれば、カンマ区切りでｎ個の座標が登録される。
レジ稼働状況７０５の項目には、対応するＮＷカメラＩＤ７０２が示すＮＷカメラ１１０が撮影する範囲に含まれる各レジの稼働状況を示す情報が登録される。本実施形態では、レジ稼働状況７０５の項目には、稼働中であることを示す情報として「Ｔｒｕｅ」の文字列が、稼働していないことを示す情報として「Ｆａｌｓｅ」の文字列が登録される。また、例えば、レジ稼働状況７０５には、対応するレジ数７０３の値がｎであれば、カンマ区切りでｎ個の文字列が登録される。待ち状況管理部３２２は、レジ稼働状況７０５に登録されている文字列が「Ｔｒｕｅ」か「Ｆａｌｓｅ」かを判定することで、各レジの稼働状況を把握できる。
【００３５】
レジ待ち人数アラート設定７０６の項目には、対応するＮＷカメラＩＤ７０２が示すＮＷカメラ１１０が撮影する範囲に含まれる稼働中のレジについてのアラート設定値を示す数値が登録される。例えば、レジ待ち人数アラート設定７０６には、稼働中のレジ数７０３の値がｎであれば、カンマ区切りでｎ個の数値が登録される。
レジ待ち人数７０７の項目には、対応するＮＷカメラＩＤ７０２が示すＮＷカメラ１１０が撮影する範囲に含まれる各レジの現在の待ち人数が登録される。レジ待ち人数７０７には、レジ稼働状況７０５に「Ｔｒｕｅ」が登録されているレジについての待ち人数の値が登録される。稼働中のレジが複数ある場合、レジ待ち人数７０７には、レジについての待ち人数の値が、カンマ区切りで登録される。
レジ待ち認識結果画像パス７０８の項目には、対応するＮＷカメラＩＤ７０２が示すＮＷカメラ１１０が撮影する範囲のレジ待ち状況を認識した結果の確認用の画像ファイルのパスが登録される。
【００３６】
以上、本実施形態では、計測システムは、待ち行列が撮影された画像を、画像の画素毎に待ち行列であるか否かを認識する認識器を用いて認識することで、画像中で待ち行列が占める領域を特定した。そして、計測システムは、特定した領域に含まれる人物の数を計測することで、待ち行列に並んでいる人物の数を計測した。これにより、計測システムは、店舗内の人物が非常にゆっくりとした移動しなかったり、待ち行列が形成される位置が不定であったりしても、より精度よく待ち行列に並んでいる人物の数を計測できる。
また、計測システムは、特定した待ち行列の領域を、別個の待ち行列に分割して、別個の待ち行列毎に、待ち行列に並んでいる人物を計測することとした。これにより、計測システムは、より詳しい待ち行列における人物の待ち状況を把握できる。
また、計測システムは、待ち行列に並んでいる人物の数が設定された閾値を超えると、店員等のユーザの保有する端末装置に、その旨を示す情報を出力することで、その旨を通知することとした。これにより、計測システムは、待ち状況を、ユーザに提示することで、ユーザに待ち状況の改善を促すことができる。
【００３７】
本実施形態では、計測システムは、コンビニエンスストア等の店舗内でレジ待ちしている人物で構成される待ち行列に並んでいる人数を計測することとした。しかし、計測システムは、他の待ち行列に並んでいるオブジェクトの数を計測することとしてもよい。例えば、計測システムは、混雑している遊園地のアトラクション等に並んでいる人物で構成される待ち行列に並んでいる人数を計測することとしてもよい。計測システムは、画像から、動物、車両、ドローン等の人物以外のオブジェクトにより形成される待ち行列の領域を認識して、認識した領域から待ち行列に並んでいるオブジェクトの数を計測することとしてもよい。
本実施形態では、解析サーバ１３０は、ＮＷカメラ１１０から送信された画像から待ち行列の領域を認識して、認識した領域に対応する待ち行列に並んでいる人物の数を計測することとした。しかし、解析サーバ１３０は、レコーダ１５０から、録画データベース３５１に記憶されている画像を取得して、取得した画像から待ち行列の領域を認識して、認識した領域に対応する待ち行列に並んでいる人物の数を計測することとしてもよい。
本実施形態では、管理サーバ１２０がレジ待ちの待ち行列が占める領域の認識結果を示す画像を生成することとした。しかし、解析サーバ１３０がレジ待ちの待ち行列が占める領域の認識結果を示す画像を生成することとしてもよい。その場合、解析サーバ１３０は、レジ待ちの待ち行列が占める領域の認識結果を示す画像を生成する画像生成部を含む。解析サーバ１３０の画像生成部は、Ｓ４１１で、レジ待ちの待ち行列が占める領域の認識結果を示す画像を生成し、生成した画像を、管理データベース３２１に登録し、登録した場所を示すパスの情報を、管理データベース３２１に記憶されているレジの管理用の情報である図７で後述するレジ管理テーブルに記憶する。
【００３８】
本実施形態では、待ち状況管理部３２２は、待ち行列に並んでいる人物の数が閾値を超えたら、アラートを発報することとした。しかし、例えば、待ち状況管理部３２２は、以下のような処理を行うこととしてもよい。即ち、待ち状況管理部３２２は、Ｓ４０５で分割された待ち行列の形状に基づいて、整列作業（待ち行列の位置の調整作業）を要するか否かを判定し、整列作業を要すると判定した場合、整列作業を要する旨を示すメッセージを店舗の店員の形態する端末装置に送信することとしてもよい。待ち状況管理部３２２は、例えば、Ｓ４０５で分割された待ち行列の形状が、直線状の形状であるか否かを判定し、直線状であれば、整列作業を要しないと判定し、直線状でなければ、整列作業を要すると判定する。また、待ち状況管理部３２２は、待ち行列の形状が整列作業を要する形状であるか否かを認識する予め学習された認識器を用いて、Ｓ４０５で分割された待ち行列の形状が整列作業を要するか否かを判定してもよい。また、管理サーバ１２０は、アラートの発報についての履歴情報を管理データベース３２１に登録することとしてもよい。
店舗内における商品棚やレジのレイアウトによっては、レジ待ちの待ち行列が直線状でなく、グネグネと曲がった曲線状のような複雑な形状となる場合がある。そこで、管理サーバ１２０は、例えば、管理データベース３２１に登録されているアラートの発報の履歴情報に基づいて、設定された期間（例えば、直近の１月等）内にある店舗のあるレジについて、整列作業を要することを示すアラートを発報した回数が設定された閾値以上である場合、レイアウトに問題があるとして、レイアウトの改善を促すメッセージを、その店舗の店員が携帯する端末装置等に送信することとしてもよい。これにより、計測システムは、レイアウトの改善を促すことができる。
【００３９】
以上、本実施形態の処理について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
また、本発明におけるプログラムは、図４、５に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は図４、５の処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは図１の各装置の処理方法ごとのプログラムであってもよい。
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。
【００４０】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【００４１】
１３０  解析サーバ
１２０  管理サーバ
１１０  ＮＷカメラ
【図１】
2018106339.tif 000003
【図２】
2018106339.tif 000004
【図３】
2018106339.tif 000005
【図４】
2018106339.tif 000006
【図５】
2018106339.tif 000007
【図６】
2018106339.tif 000008
【図７】
2018106339.tif 000009