(57)【要約】【課題】売り場から持ち出された商品の動線を検知して、店舗側に提示することが可能なシステムを提供する。【解決手段】撮影装置とサーバとが相互に接続された動線分析システムであって、撮影装置で撮影された撮影画像に基づいて、顧客に持ち出された商品が移動した軌跡に関する動線情報を生成する動線情報生成手段と、動線情報生成手段で生成された動線情報の終点に対応する売り場と商品との対応関係に基づいて、商品が置かれた位置を示す位置情報を表示する表示制御手段と、を備えることを特徴とする。【選択図】図６
2019113976.tif 000002
【特許請求の範囲】
【請求項１】
撮影装置とサーバとが相互に接続された動線分析システムであって、
前記撮影装置で撮影された撮影画像に基づいて、顧客に持ち出された商品が移動した軌跡に関する動線情報を生成する動線情報生成手段と、
前記動線情報生成手段で生成された動線情報の終点に対応する売り場と前記商品との対応関係に基づいて、前記商品が置かれた位置を示す位置情報を表示する表示制御手段と、を備えることを特徴とする動線分析システム。
【請求項２】
前記表示制御手段は、前記動線情報生成手段で生成された動線情報の始点と終点との対応関係に基づいて、前記位置情報を表示することを特徴とする請求項１に記載の動線分析システム。
【請求項３】
前記表示制御手段は、前記動線情報生成手段で生成された動線情報の終点が該動線情報の始点と異なる場合に前記位置情報を表示することを特徴とする請求項１または２に記載の動線分析システム。
【請求項４】
前記表示制御手段は、前記動線情報生成手段で生成された動線情報の終点が該動線情報の始点と異なる場合であって、ＰＯＳレジ端末に対応する位置と異なる場合に前記位置情報を表示することを特徴とする請求項１乃至３のいずれか１項に記載の動線分析システム。
【請求項５】
前記表示制御手段は、前記動線情報生成手段で生成された動線情報の終点に基づいて異なる緊急度を示す前記位置情報を表示することを特徴とする請求項１乃至４のいずれか１項に記載の動線分析システム。
【請求項６】
前記動線情報生成手段は、前記撮影装置で撮影された撮影画像に基づいて、前記商品と前記商品を持ち出した顧客を対応づけるとともに、該顧客の動線情報を用いて前記商品の動線情報を生成することを特徴とする請求項１乃至５のいずれか１項に記載の動線分析システム。
【請求項７】
撮影装置とサーバとが相互に接続された動線分析システムの制御方法であって、
前記撮影装置で撮影された撮影画像に基づいて、顧客に持ち出された商品が移動した軌跡に関する動線情報を生成する動線情報生成工程と、
前記動線情報生成工程で生成された動線情報の終点に対応する売り場と前記商品との対応関係に基づいて、前記商品が置かれた位置を示す位置情報を表示する表示制御工程と、を備えることを特徴とする動線分析システム。
【請求項８】
コンピュータを、請求項１から６のいずれか１項に記載された動線分析システムの各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置で撮影された撮影画像を用いた動線分析システム、動線分析システムの制御方法、およびプログラムに関する。
【背景技術】
【０００２】
カメラが設置された撮影現場において、対象領域を移動する人物の動線情報の分析を行うシステムが知られている。
【０００３】
特許文献１には、店舗内に設置されたカメラ装置とサーバ装置とが相互に接続された動線分析システムであって、特定の条件に対応する移動体の動線情報を重畳した動線分析画像を生成する動線監視システムが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−１２３０２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上述のような店舗において、顧客は、売り場から持ち出した商品を検討の結果買わない場合がある。このような場合に、顧客は、商品を持ち出した売り場とは異なる場所に返却する場合がある。したがって、店舗側としては、商品の品質が劣化してしまうおそれや、売り場が雑然となってしまうおそれがある。このため、店舗側としては、このような状態をなるべく早く把握するとともに対処できることが好ましい。しかしながら、従来の動線監視システムでは、移動体の動線情報を取得し得るものの、こういった課題に対しては何ら対処がなされていなかった。
【０００６】
そこで、本発明は、上記課題に鑑みてなされたものであり、売り場から持ち出された商品の動線を検知して、店舗側に提示することが可能なシステムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
そこで、本発明は、撮影装置とサーバとが相互に接続された動線分析システムであって、前記撮影装置で撮影された撮影画像に基づいて、顧客に持ち出された商品が移動した軌跡に関する動線情報を生成する動線情報生成手段と、前記動線情報生成手段で生成された動線情報の終点に対応する売り場と前記商品との対応関係に基づいて、前記商品が置かれた位置を示す位置情報を表示する表示制御手段と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、売り場から持ち出された商品の動線を検知して、店舗側に提示することが可能なシステムを提供することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態における情報処理システムの一例を示す図である。
【図２】本実施形態におけるサーバおよびクライアント端末のハードウェア構成の一例を示す図である。
【図３】本実施形態における撮影装置のハードウェア構成の一例を示す図である。
【図４】本実施形態における情報処理システムの機能構成の一例を示す図である。
【図５】本実施形態における撮影画像からの移動体の検出処理の一例を示す図である。
【図６】本実施形態における動線情報生成処理の一例を示すフローチャートである。
【図７】本実施形態における商品の動線検出結果のデータベースの一例を示す図である。
【図８】本実施形態におけるクライアント端末の表示画面の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の１つである。
【００１１】
本実施形態における情報処理システムの一例を図１に示す。図１は、本実施形態における情報処理システムのシステム構成の一例を示す図である。情報処理システムは、店舗内に配置された撮影装置により店舗内を監視するためのシステムであり、サーバ１０１と、クライアント端末１０２と、撮影装置１０３と、を備える。なお、本実施形態の情報処理システムは、店舗内の商品の動線を分析する動線分析システムとして機能する。
【００１２】
図１において、撮影装置（ネットワークカメラ）１０３は、店舗内のフロアに１または複数台配置されている。撮影装置１０３は、店舗の出入口、各売り場を撮影可能な位置に配置されている。また、店舗に複数のフロア（フロアＡ、フロアＢ）がある場合には、各フロア単位で複数の撮影装置１０３が配置されている。各撮影装置１０３は、サーバ１０１とネットワーク１０４を介して接続されている。
【００１３】
ネットワーク１０４は、サーバ１０１と、クライアント端末１０２と、撮影装置１０３と、を相互に通信可能に接続する。ネットワーク１０４は、例えばローカルネットワーク等の通信規格を満たす複数のルータ、スイッチ、ケーブル等から構成される。なお、本実施形態においては装置間を相互に通信を行うことができるものであればその通信規格、規模、構成を問わない。例えば、ネットワーク１０４は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ  ＬＡＮ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等により構成されてもよい。
【００１４】
次に、図２を用いて、サーバ１０１、及びクライアント端末１０２に適用可能なハードウェア構成の一例について説明する。
【００１５】
図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  ／  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
【００１６】
２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードして、ロードしたプログラムを実行することで各種動作を実現するものである。
【００１７】
また、２０５は入力コントローラで、キーボード（ＫＢ）２０９等のポインティングデバイス等からの入力を制御する。２０６はビデオコントローラで、ディスプレイ２１０（液晶、ブラウン管を問わない）等の表示器への表示を制御する。
【００１８】
２０７はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。
【００１９】
２０８は通信Ｉ／Ｆコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。
【００２０】
なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。
【００２１】
本実施形態を実現するための後述する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる設定ファイル等も外部メモリ２１１に格納されており、これらについての詳細な説明も後述する。以上で、図２の説明を終了する。
【００２２】
次に、図３を用いて、図１に示した撮影装置１０３のハードウェア構成の一例について説明する。図３は、本実施形態における、撮影装置１０３のハードウェアの構成の一例を示す図である。
【００２３】
ＣＰＵ３０１は、システムバス３０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ３０２あるいは外部メモリ３０５には、ＣＰＵ３０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  ／  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、撮影装置１０３の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ３０３は、ＣＰＵ３０１の主メモリ、ワークエリア等として機能する。
【００２４】
ＣＰＵ３０１は、処理の実行に際して必要なプログラム等をＲＡＭ３０３にロードして、プログラムを実行することで各種動作を実現するものである。
【００２５】
メモリコントローラ（ＭＣ）３０６は、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ、画像データ等を記憶するハードディスク（ＨＤ）やＰＣＭＣＩＡカードスロットにアダプタを介して接続されるＣＦメモリやスマートメディア（登録商標）等の外部メモリ３０５へのアクセスを制御する。
【００２６】
カメラ部３０７は、画像処理部３０８と接続されており、監視対象に対して向けられたレンズを透過して得られた光をＣＣＤやＣＭＯＳ等の受光セルによって光電変換を行った後、ＲＧＢ信号や補色信号を画像処理部３０８に対して出力する。
【００２７】
画像処理部３０８は、ＲＧＢ信号や補色信号に基づいて、ホワイトバランス調整、ガンマ処理、シャープネス処理を行い、更に、ＹＣ信号処理を施して輝度信号Ｙとクロマ信号（以下、ＹＣ信号）を生成し、ＹＣ信号を所定の圧縮形式（例えばＪＰＥＧフォーマット、あるいはＭｏｔｉｏｎＪＰＥＧフォーマット等）で圧縮し、この圧縮されたデータは、画像データとして外部メモリ３０５へ一時保管される。
【００２８】
通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）３０９は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行しており、外部メモリ３０５に記憶された画像データは、通信Ｉ／Ｆコントローラ３０９によって外部機器へ送信される。
【００２９】
次に、図４を用いて、本実施形態における情報処理システムの機能構成の一例について説明する。尚、図４に示す機能構成はあくまで一例であり、用途や目的に応じて様々な構成例があるため、これに限定されない。これらの各機能は、サーバ１０１のＣＰＵ２０１、クライアント端末１０２のＣＰＵ２０１、撮影装置１０３のＣＰＵ３０１、あるいはこれらが協業することにより実行される。
【００３０】
撮影装置１０３は、撮影画像取得部４３１と、商品検出部４３２と、動線情報生成部４３３とを備える。
【００３１】
撮影画像取得部４３１は、撮影画像を取得する機能部である。撮影画像は、カメラ部３０７で撮影された動画の各フレームの画像である。撮影画像取得部４３１は、所定のフレームレート（例えば、２０ｆｐｓ）で撮影画像を取得する。
【００３２】
商品検出部４３２は、撮影画像取得部４３１から出力された撮影画像のフレームに対して所定の画像処理（例えば人物検出処理、物体検出処理）を行うことで、撮影画像のフレームに含まれる移動体（例えば人物、および物体）の有無を検出する。商品検出部４３２は、撮影画像のフレームに含まれる移動体を検出した場合には、撮影画像のフレームに対する移動体に関する情報並びに移動体の検出領域に関する情報（例えばフレームにおける移動体の座標情報）を動線情報生成部４３３に出力する。なお、商品検出部４３２は、撮影画像のフレームに含まれる移動体を検出しなかった場合には、移動体の検出領域に関する情報（例えば所定のヌル情報）を動線情報生成部４３３に出力する。更に、商品検出部４３２は、人物だけが移動しているか、人物が所定の商品を持って移動しているかを特定する。
【００３３】
ここで、図５を用いて撮影画像から移動体を分離する処理について説明する。
【００３４】
５００は、撮影装置が撮影した動画の３フレーム分（フレーム１、フレーム２、フレーム３）の撮影画像である。移動体分離画像５１０は、撮影画像５００から移動体のみを抽出した画像である。図５において、撮影画像５００および移動体分離画像５１０は、紙面の上側から下側に向かって時間変化している例を示す。ここでは、店舗に来店した人物５０１が、４つ積みあがった複数の商品５０２の中から１つの商品５０３を持ち出す場合について説明する。また、撮影画像５００と移動体分離画像５１０のうち同一のフレーム番号の画像はそれぞれ対応関係にある。撮影画像の各フレームにおいて、移動体（例えば人物５０１と、商品５０３）の情報と移動体以外（例えば背景または５０４）の情報とに分離する。なお、移動体である人物５０１が商品５０３を持ち運ぶ様子を示す撮影画像のフレーム２、３では、人物５０１が持ち運ぶ商品５０３の画素に対応する輝度及び色差の値は時間軸方向に沿って変化する。一方、移動体ではない商品５０４は、時間方向に沿って変化しない。そのため、商品検出部４３２は、人物５０１が持ち運ぶ商品５０３を移動体とみなすことができる。したがって、商品検出部４３２は、人物５０１だけが移動しているか、人物が所定の商品を持って移動しているかを特定することができる。また、商品検出部４３２は、複数の商品のうち、移動する商品と、移動していない商品とを特定することができる。また、商品検出部４３２は、移動していない商品と、移動している商品とを比較することで、持ち出された商品を特定してもよい。これは、人物が商品を手に持った場合には、撮影画像に全ての特徴が映らない場合があるため、画像解析での処理が困難な場合があるためである。以下、図５の説明から図４の説明に戻る。
【００３５】
動線情報生成部４３３は、商品検出部４３２で検出した結果を基に、撮影画像取得部４３１から出力された撮影画像の情報と、過去の移動体の検出領域に関する情報（例えば、撮影画像や座標）を用いて、現在と過去の検出領域に関する情報の対応づけを行う。動線情報生成部４３３は、撮影画像の情報と現在と過去の検出領域に関する情報とを対応づけて動線情報としてサーバ１０１に出力する。つまり、動線情報は、移動体の座標情報の変化量であるとともに、顧客に持ち出された商品が移動した軌跡に関する情報であるといえる。また、動線情報生成部４３３は、フレーム間の撮影画像の変化を基に動線情報を生成するとも言える。現在の検出領域とは、例えば、図５におけるフレーム３の検出領域であり、過去の検出領域とは、例えば、フレーム２の検出領域である。動線情報生成部４３３は、動線情報を取得する場合に、商品と商品を持ち出した顧客を対応づけるとともに、顧客の動線情報を用いて商品の動線情報を生成してもよい。これは、小さい商品の場合は、撮影範囲の死角になることがあるためである。このため、動線情報生成部４３３は、顧客が持ち出す動作を検出するとともに、顧客と商品とを対応づけることで、動線検出の精度を向上することができる。
【００３６】
サーバ１０１は、動線情報分析部４１１と、表示制御部４１２とを備える。
【００３７】
動線情報分析部４１１は、複数の撮影画像に対して動線情報生成部４３３から出力された動線情報を基に、撮影画像のフレームにおける移動体（人物および商品）の滞留位置又は通過位置に関する動線情報を抽出して生成する。動線情報分析部４１１は、複数の撮影画像のフレームに対する動線情報を用いることで、撮影画像のフレームの中で、移動体が滞留した位置又は通過した位置に関する正確な動線情報を抽出して生成することができる。
【００３８】
動線情報分析部４１１は、複数の撮影装置１０３から動線情報（顧客に持ち出された商品が移動した軌跡）を取得することができる。動線情報分析部４１１は、複数の撮影装置１０３からの動線情報を結合することで、店舗のフロア全体の商品の軌跡を取得することができる。具体的には、動線情報分析部４１１は、撮影装置１０３間で撮影時刻が同一である動線情報を結合させる。さらに、動線情報分析部４１１は、複数の撮影装置１０３のうち撮影範囲が重複あるいは隣接する動線情報を基に、複数の動線情報を結合させる。
【００３９】
更に、動線情報分析部４１１は、移動体の動線情報から動線の始点と終点を特定する。このため、動線情報分析部４１１は、顧客に持ち出された商品が元の売り場からどこの売り場へ移動したか特定することが可能となる。つまり、動線情報分析部４１１は、動線情報生成部４３３で生成された動線情報の終点に対応する売り場と商品との対応関係に基づいて、顧客に持ち出された商品が置かれた位置を示す位置情報を特定できる。なお、動線情報分析部４１１は、顧客に持ち出された商品の属性（名称）を画像解析により特定してもよいし、動線情報の始点の座標から特定することができる。具体的には、動線情報分析部４１１は、動線情報の始点の座標とフロアレイアウトにおける売り場の座標との対応関係に基づいて、顧客に持ち出された商品の属性を特定できる。
【００４０】
表示制御部４１２は、動線情報分析部４１１で分析した動線情報および商品が置かれた位置を示す位置情報をクライアント端末１０２へ表示するように制御する。なお、表示制御部４１２が表示する画面については図８を用いて後述する。
【００４１】
クライアント端末１０２は、操作部４２１と表示部４２２とを備える。
【００４２】
操作部４２１は、ユーザからの入力操作を受け付ける機能部である。具体的には、入力デバイス２０９等への入力操作を受け付ける機能部である。なお、クライアント端末１０２は、タッチパネルのように、入力デバイス２０９とディスプレイ２１０が一体となっている場合には、ディスプレイ２１０が入力デバイス２０９として機能する。
【００４３】
表示部４２２は、例えばディスプレイ２１０であり、サーバ１０１の表示制御部４１２の制御により、表示画面を表示する。図８は、クライアント端末１０２に表示される表示画面の一態様である。なお、図８については後述する。
【００４４】
次に、図６を用いて、本実施形態における動線情報生成処理について説明する。図６は、本実施形態における動線情報生成処理の一例を示すフローチャートである。
【００４５】
Ｓ６０１において、撮影装置１０３は、撮影画像を取得する。ここで、フロアに配置される複数の撮影装置１０３のそれぞれは、動画での撮影を行う。
【００４６】
Ｓ６０２において、撮影装置１０３は、移動体を検出する。なお、撮影装置１０３は、検出した移動体のうち、人物以外の移動体（商品）が検出された場合に、Ｓ６０３の処理を実行する。
【００４７】
Ｓ６０３において、撮影装置１０３は、検出した移動体の情報に基づいて、動線情報を生成する。なお、図４で説明した通り、動線情報の生成方法は、動画の複数フレームの撮影画像から生成する。
【００４８】
Ｓ６０４において、撮影装置１０３は、サーバに動線情報を送信する。
【００４９】
Ｓ６０５において、サーバ１０１は、複数の撮影装置からの動線情報を結合する。当該結合処理により、特定された商品におけるフロア全体の動線情報が生成される。
【００５０】
Ｓ６０６において、サーバ１０１は、動線の終点がＰＯＳレジ端末であるか否かを判定する。具体的には、サーバ１０１は、フロアでのＰＯＳレジ端末の座標が、動線の終点と所定の範囲内にあるか否かを判定する。サーバ１０１は、動線の終点がＰＯＳレジ端末である場合には、当該情報を記憶させない。これは、商品が適切に会計されたことを示すため、あえて通知する必要がないためである。なお、サーバ１０１は、顧客に持ち出された商品が元の売り場に戻された場合、即ち動線の始点と終点とがほぼ一致する場合には、当該情報を記憶させないようにしてもよい。これは、商品が元の位置に適切に戻されたことを示すためである。そして、サーバ１０１は、動線の終点がＰＯＳレジ端末でない場合には、Ｓ６０７の処理を実行する。
【００５１】
Ｓ６０７において、サーバ１０１は、動線の終点に対応する売り場と、商品の属性とが一致するか否かを判定する。サーバ１０１は、動線の終点に対応する売り場と、商品の属性とが一致する場合には、当該情報を記憶させない。これは、商品が適切な位置に返却されたことを示すため、あえて通知する必要がないためである。一方で、サーバ１０１は、動線の終点に対応する売り場と、商品の属性とが一致しない場合には、Ｓ６０８の処理を実行する。
【００５２】
Ｓ６０８において、サーバ１０１は、動線の終点に対応する売り場と、商品の属性との相関関係から緊急度を判定する。
【００５３】
Ｓ６０９において、サーバ１０１は、上述の動線情報をサーバ１０１の外部メモリ２１１に記憶させる。
【００５４】
Ｓ６１０において、サーバ１０１は、動線情報に基づく表示画面を、クライアント端末へ表示する。以上が、本実施形態における動線情報生成処理についての説明となる。
【００５５】
次に、図７を用いて、動線情報生成処理の結果を記憶するデータベースについて説明する。図７は、商品の動線検出結果のデータベースの一例を示す図である。データベース７００は、検出された商品と、商品が置かれた売り場との関係の示す一覧である。
【００５６】
日時７０１は、商品７０２が売り場７０３に置かれた時間である。日時７０１は、売り場７０３に置かれた時間に限定されず、持ち出された時間や、持ち出しから売り場に置かれるまでの時間を記憶したものであってもよい。
【００５７】
商品７０２は、売り場から持ち出された商品であって、動線生成が生成されたものを示す。すなわち、商品７０２は、顧客に売り場から持ち出されて、購入されず、元の売り場とは異なる売り場に戻された商品の一覧である。
【００５８】
売り場７０３は、商品７０２が戻された売り場である。
【００５９】
緊急度７０４は、商品７０２と戻された売り場との属性に基づいて決定される情報である。具体的には、緊急度７０４は、商品７０２と戻された売り場との属性が近いほど、低く設定される。一方で、緊急度７０４は、商品７０２と戻された売り場との属性が遠いほど、高く設定される。例えば、商品「アイス」が売り場「乳製品」に戻された場合には、通常の保存状態よりも温度が低い位置に放置された可能性が高い。そのため、アイスの品質が劣化する可能性があるため、緊急度は「中」となる。別の例として、商品「セーター」が売り場「肌着」に戻された場合には、売り場が煩雑になるものの、品質が劣化する可能性は低いため、緊急度は「低」である。そして、商品「魚」が売り場「日用品」に戻された場合には、放置しておくと品質が劣化する可能性が極めて高いため、緊急度は「高」である。以上が、データベース７００についての説明である。
【００６０】
次に、図８を用いて、クライアント端末１０２に表示される表示画面を説明する。図８は、クライアント端末１０２の表示画面の一例を示す図である。図８におけるフロアレイアウト画面８００は、フロアのレイアウトを示す画面である。フロアレイアウト画面８００は、予めＣＡＤ等で作られたレイアウト画面である。なお、図８における撮影装置１０３は、フロア内における撮影装置１０３の配置を示したものであり、実際のフロアレイアウト画面８００には表示されない。フロアレイアウト画面８００は、動線情報が表示されていない状態の表示画面であり、動線情報表示画面８１０は、動線情報が表示されている状態の表示画面である。ここで、動線情報表示画面８１０上で、データベース７００のデータがどのように表示されるかを説明する。動線情報８１１は、商品「アイス」の動線情報であり、冷凍食品売り場から、乳製品売り場に移動したことを矢印で示している。同様に、動線情報８１２は、商品「セーター」に関する動線情報である。そして、動線情報８１３は、商品「魚」に関する動線情報である。なお、動線情報８３１は、顧客に持ち出された商品がＰＯＳレジ端末に運ばれて購入された場合の動線である。動線情報表示画面８１０は、購入された商品の動線（例えば、動線情報８３１）を表示する場合には、適切な位置に商品が配置されなかったものとこれらを識別可能（例えば、破線と実線等）に表示する。なお、動線情報表示画面８１０は、動線情報８３１を表示しなくてもよい。
【００６１】
位置情報８２１、位置情報８２２、位置情報８２３は、動線情報の終点に対応する位置に表示される。位置情報８２１は、商品「アイス」が置かれた位置を示す表示である。位置情報８２１は、データベース７００の緊急度７０４を示している。位置情報８２１は、商品「アイス」の緊急度７０４として「中」が表示される。位置情報８２２は、商品「セーター」に関する表示であり、位置情報８２３は、商品「魚」に関する表示である。
【００６２】
なお、動線情報表示画面８１０は、商品の属性ごとに表示態様を変えて表示してもよいし、特定の属性の商品だけを表示してもよい。これらはユーザの操作により相互に切り替えができる。さらに、動線情報表示画面８１０は、緊急度ごとに表示態様を変えて表示してもよいし、特定の緊急度の商品だけを表示してもよい、これらはユーザの操作により相互に切り替えができる。さらに、動線情報表示画面８１０は、特定の期間の商品の動線情報のみを表示してもよい。特定の期間とは、例えば、１日、６時間等である。そして、動線情報表示画面８１０は、上述した、商品の属性、緊急度、期間をそれぞれ特定して表示してもよい。例えば、動線情報表示画面８１０は、商品「肉」、緊急度「高」、期間「３時間」等の設定が可能となる。
【００６３】
以上、上述の本実施形態によれば、情報処理システムは、撮影装置とサーバとが相互に接続された動線分析システムである。そして、動線分析システムは、撮影装置で撮影された撮影画像に基づいて、顧客に持ち出された商品が移動した軌跡に関する動線情報を生成し（動線情報生成部４３３）、動線情報の終点に対応する売り場と商品との対応関係に基づいて、商品が置かれた位置を示す位置情報を表示する（図７、図８等）。このことにより、売り場から持ち出された商品の動線を検知して、店舗側に提示することが可能なシステムを提供することができる。
【００６４】
さらに、動線分析システムは、生成された動線情報の始点と終点との対応関係に基づいて、位置情報を表示する。このことにより、動線分析システムは、適切に会計が行われた場合や、元の売り場に商品が戻された場合については、動線情報や位置情報を表示しないようにできる。このため、商品と該商品が置かれた位置の関係を動線情報表示画面を見るだけで直感的に容易に把握できるという効果もある。
【００６５】
さらに、動線分析システムは、撮影装置で撮影された撮影画像に基づいて、商品と商品を持ち出した顧客を対応づけるとともに、該顧客の動線情報を用いて商品の動線情報を生成している。このことにより、商品が撮影範囲から見えづらいような場合であっても、商品の動線情報を容易に取得することができる。
【００６６】
なお、本実施形態は、コンピュータや制御コンピュータがプログラム（コンピュータプログラム）を実行することによって実現することもできる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したＣＤ−ＲＯＭ等のコンピュータが読み取り可能な記録媒体又はかかるプログラムを伝送するインターネット等の伝送媒体も実施例として適用することができる。また、上記のプログラムも実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。
【００６７】
以上、実施形態に基づいて詳述してきたが、特定の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲の様々な形態も本発明の範疇に含まれる。さらに、上述した実施形態は一実施形態を示すものにすぎず、上述した実施形態から容易に想像可能な発明も本発明の範疇に含まれる。
【符号の説明】
【００６８】
１０１    サーバ
１０３    撮影装置
４１１    動線情報分析部
４１２    表示制御部
４３１    撮影画像取得部
４３２    商品検出部
４３３    動線情報生成部
【図１】
2019113976.tif 000003
【図２】
2019113976.tif 000004
【図３】
2019113976.tif 000005
【図４】
2019113976.tif 000006
【図５】
2019113976.tif 000007
【図６】
2019113976.tif 000008
【図７】
2019113976.tif 000009
【図８】
2019113976.tif 000010