(57)【要約】【課題】閉空間内での利用者の行動と、利用者に利用される利用物と、を精度よく関連付ける。【解決手段】情報処理装置４０であって、店内で利用されるカートに対応するカートＩＤと、カートを利用する顧客に対応する顧客ＩＤと、を取得するＩＤ取得部４３１と、カートＩＤと顧客ＩＤとが関連付けられて記憶される記憶部４２と、店内を撮像する撮像装置によりカートＩＤに対応する識別標識が撮像された撮像画像を取得する画像取得部４３２と、撮像画像に撮像された識別標識からカートＩＤを特定するカートＩＤ特定部４３３と、撮像画像に撮像された人物の店内での行動に対応する行動ＩＤを特定する行動特定部４３４と、を有してなり、カートは、識別標識を備え、カートＩＤ特定部により特定されたカートＩＤと、行動ＩＤと、が関連付けられて記憶部に記憶される、ことを特徴とする。【選択図】図７
2020173711.tif 000002
【特許請求の範囲】
【請求項１】
店内で利用されるカートに対応するカートＩＤと、前記カートを利用する顧客に対応する顧客ＩＤと、を取得するＩＤ取得部と、
前記カートＩＤと、前記顧客ＩＤと、が関連付けられて記憶される記憶部と、
前記店内を撮像する撮像装置により前記カートＩＤに対応する識別標識が撮像された撮像画像を取得する画像取得部と、
前記撮像画像に撮像された前記識別標識から前記カートＩＤを特定するカートＩＤ特定部と、
前記撮像画像に撮像された人物の前記店内での行動に対応する行動ＩＤを特定する行動特定部と、
を有してなり、
前記カートは、前記識別標識を備え、
前記カートＩＤ特定部により特定された前記カートＩＤと、前記行動ＩＤと、が関連付けられて前記記憶部に記憶される、
ことを特徴とする情報処理装置。
【請求項２】
前記カートと前記人物との前記撮像画像内の位置関係を特定する位置関係特定部、
を有してなり、
前記カートＩＤと前記行動ＩＤとは、前記位置関係に基づいて、前記記憶部に記憶される、
請求項１記載の情報処理装置。
【請求項３】
前記位置関係特定部は、前記カートの一部と前記人物との前記撮像画像内の位置関係に基づいて、前記カートと前記人物との前記撮像画像内の前記位置関係を特定する、
請求項２記載の情報処理装置。
【請求項４】
前記行動特定部は、前記撮像画像に撮像された被写体に基づいて、前記行動を特定する、
請求項１記載の情報処理装置。
【請求項５】
前記行動特定部は、前記被写体と前記人物との前記撮像画像内の位置関係に基づいて、前記行動を特定する、
請求項４記載の情報処理装置。
【請求項６】
前記人物に報知される販促情報が表示される表示装置と通信回線を介して接続し、
前記記憶部は、複数の販促情報のそれぞれに対応する販促ＩＤを記憶し、
前記複数の販促情報の中から前記表示装置に表示される前記販促情報に対応する前記販促ＩＤを決定する販促決定部、
を有してなり、
前記販促決定部は、前記カートＩＤ特定部により特定された前記カートＩＤに基づいて、前記販促ＩＤを決定する、
請求項１記載の情報処理装置。
【請求項７】
前記販促決定部は、前記カートＩＤ特定部により特定された前記カートＩＤと関連付けられて前記記憶部に記憶されている前記行動ＩＤに基づいて、前記販促ＩＤを決定する、
請求項６記載の情報処理装置。
【請求項８】
前記販促決定部は、前記カートＩＤ特定部により特定された前記カートＩＤと関連付けられて前記記憶部に記憶されている前記顧客ＩＤに基づいて、前記販促ＩＤを決定する、
請求項６記載の情報処理装置。
【請求項９】
前記カートと前記表示装置との前記店内の位置関係を特定する位置関係特定部、
を有してなり、
前記販促決定部は、前記位置関係に基づいて、前記販促ＩＤを決定する、
請求項６記載の情報処理装置。
【請求項１０】
前記行動ＩＤは、前記行動ＩＤと関連付けられて前記記憶部に記憶されている前記カートＩＤと関連付けられる前記顧客ＩＤに対応する前記顧客の顧客関連情報として、前記顧客ＩＤに関連付けられて前記記憶部に記憶され、
前記販促決定部は、前記顧客関連情報に基づいて、前記販促ＩＤを決定する、
請求項６記載の情報処理装置。
【請求項１１】
前記表示装置に表示された前記販促情報に対する前記人物の反応に対応する反応ＩＤを特定する販促反応特定部、
を有してなり、
前記カートＩＤ特定部により特定された前記カートＩＤと、前記反応ＩＤと、が関連付けられて前記記憶部に記憶される、
請求項６記載の情報処理装置。
【請求項１２】
前記反応ＩＤは、前記反応ＩＤと関連付けられて前記記憶部に記憶されている前記カートＩＤと関連付けられる前記顧客ＩＤに対応する前記顧客の顧客関連情報として、前記顧客ＩＤに関連付けられて前記記憶部に記憶され、
前記販促決定部は、前記顧客関連情報に基づいて、前記販促ＩＤを決定する、
請求項１１記載の情報処理装置。
【請求項１３】
複数の表示装置のそれぞれと通信回線を介して接続し、
前記複数の表示装置の中から販促が表示される販促表示装置を決定する表示装置決定部、
を有してなり、
前記表示装置決定部は、前記カートＩＤ特定部により特定された前記カートＩＤに基づいて、前記販促表示装置を決定する、
請求項１記載の情報処理装置。
【請求項１４】
前記表示装置決定部は、前記カートＩＤと関連付けられて前記記憶部に記憶されている前記行動ＩＤに基づいて、前記販促表示装置を決定する、
請求項１３記載の情報処理装置。
【請求項１５】
前記カートは、前記表示装置を備える、
請求項６記載の情報処理装置。
【請求項１６】
前記表示装置は、前記店内に配置される、
請求項６記載の情報処理装置。
【請求項１７】
コンピュータを、請求項１記載の情報処理装置として機能させる、
ことを特徴とする情報処理プログラム。
【請求項１８】
店内で利用されるカートに対応するカートＩＤと、前記カートを利用する顧客に対応する顧客ＩＤと、が関連付けられて記憶される記憶部、
を有してなる情報処理装置により実行される情報処理方法であって、
前記情報処理装置が、
前記カートＩＤと、前記顧客ＩＤと、を取得するステップと、
前記カートＩＤと、前記顧客ＩＤと、を関連付けて前記記憶部に記憶するステップと、
前記店内を撮像する撮像装置により前記カートＩＤに対応する識別標識が撮像された撮像画像を取得するステップと、
前記撮像画像に撮像された前記識別標識から前記カートＩＤを特定するステップと、
前記撮像画像に撮像された人物の前記店内での行動に対応する行動ＩＤを特定するステップと、
を有してなり、
前記カートは、前記識別標識を備え、
特定された前記カートＩＤと、前記行動ＩＤと、が関連付けられて前記記憶部に記憶される、
ことを特徴とする情報処理方法。
【請求項１９】
店内を撮像する撮像装置と、
前記店内で利用されるカートに対応するカートＩＤと、前記カートを利用する顧客に対応する顧客ＩＤと、を取得するＩＤ取得部と、
前記カートＩＤと、前記顧客ＩＤと、が関連付けられて記憶される記憶部と、
前記撮像装置により前記カートＩＤに対応する識別標識が撮像された撮像画像を取得する画像取得部と、
前記撮像画像に撮像された前記識別標識から前記カートＩＤを特定するカートＩＤ特定部と、
前記撮像画像に撮像された人物の前記店内での行動に対応する行動ＩＤを特定する行動特定部と、
を有してなり、
前記カートは、前記識別標識を備え、
前記カートＩＤ特定部により特定された前記カートＩＤと、前記行動ＩＤと、が関連付けられて前記記憶部に記憶される、
ことを特徴とする情報処理システム。
【請求項２０】
閉空間内で利用される利用物に対応する利用物ＩＤと、前記利用物を利用する利用者に対応する利用者ＩＤと、を取得するＩＤ取得部と、
前記利用物ＩＤと、前記利用者ＩＤと、が関連付けられて記憶される記憶部と、
前記閉空間内を撮像する撮像装置により前記利用物ＩＤに対応する識別標識が撮像された撮像画像を取得する画像取得部と、
前記撮像画像に撮像された前記識別標識から前記利用物ＩＤを特定する利用物ＩＤ特定部と、
前記撮像画像に撮像された人物の前記閉空間内での行動に対応する行動ＩＤを特定する行動特定部と、
を有してなり、
前記利用物は、前記識別標識を備え、
前記利用物ＩＤ特定部により特定された前記利用物ＩＤと、前記行動ＩＤと、が関連付けられて前記記憶部に記憶される、
ことを特徴とする情報処理装置。
【請求項２１】
コンピュータを、請求項２０記載の情報処理装置として機能させる、
ことを特徴とする情報処理プログラム。
【請求項２２】
閉空間内で利用される利用物に対応する利用物ＩＤと、前記利用物を利用する利用者に対応する利用者ＩＤと、が関連付けられて記憶される記憶部、
を有してなる情報処理装置により実行される情報処理方法であって、
前記情報処理装置が、
前記利用物ＩＤと、前記利用者ＩＤと、を取得するステップと、
前記利用物ＩＤと、前記利用者ＩＤと、を関連付けて前記記憶部に記憶するステップと、
前記閉空間内を撮像する撮像装置により前記利用物ＩＤに対応する識別標識が撮像された撮像画像を取得するステップと、
前記撮像画像に撮像された前記識別標識から前記利用物ＩＤを特定するステップと、
前記撮像画像に撮像された人物の前記閉空間内での行動に対応する行動ＩＤを特定するステップと、
を有してなり、
前記利用物は、前記識別標識を備え、
特定された前記利用物ＩＤと、前記行動ＩＤと、が関連付けられて前記記憶部に記憶される、
ことを特徴とする情報処理方法。
【請求項２３】
閉空間内を撮像する撮像装置と、
前記閉空間内で利用される利用物に対応する利用物ＩＤと、前記利用物を利用する利用者に対応する利用者ＩＤと、を取得するＩＤ取得部と、
前記利用物ＩＤと、前記利用者ＩＤと、が関連付けられて記憶される記憶部と、
前記撮像装置により前記利用物ＩＤに対応する識別標識が撮像された撮像画像を取得する画像取得部と、
前記撮像画像に撮像された前記識別標識から前記利用物ＩＤを特定する利用物ＩＤ特定部と、
前記撮像画像に撮像された人物の前記閉空間内での行動に対応する行動ＩＤを特定する行動特定部と、
を有してなり、
前記利用物は、前記識別標識を備え、
前記利用物ＩＤ特定部により特定された前記利用物ＩＤと、前記行動ＩＤと、が関連付けられて前記記憶部に記憶される、
ことを特徴とする情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置と、情報処理プログラムと、情報処理方法と、情報処理システムと、に関する。
【背景技術】
【０００２】
近年、スーパーマーケットなどの小売店において、利用者（人物）と、利用者が購入予定の商品を入れるショッピングカートなどの利用物（入れ物）と、を関連付ける技術が提案されている（例えば、特許文献１参照）。
【０００３】
特許文献１に開示された技術は、店内を撮像するカメラで撮像された撮像画像から利用物と利用者とを認識して、店内での利用者の行動パターンを特定する。次いで、同技術は、特定した行動パターンに基づいて、利用物と１人の利用者とを関連付け、または、利用物と複数の利用者（グループ）とを関連付ける。その結果、同技術において、ＰＯＳ（Point Of Sales）システムなどの購買履歴データを利用することにより、利用者や利用者の属するグループの行動分析や売り上げ分析などの分析が実行可能である。
【０００４】
特許文献１に開示された技術は、撮像画像から利用者を抽出して、画像処理により同利用者を認識する。しかしながら、画像処理により撮像画像から利用者を認識する場合、認識精度を上げるために、画像処理を実行する装置（以下「画像処理装置」という。）にかかる処理の負荷は、大きい。そのため、画像処理装置には、高い演算性能が求められる。
【０００５】
また、特許文献１に開示された技術では、利用者の行動パターンに基づいて、利用物と利用者とが関連付けられる。そのため、利用物と利用者との関連付けが更新されたとき、関連付けの精度は、低下し得る。その結果、利用物と利用者との関連付けに誤りが生じ得る。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第５７０４２７９号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、閉空間内での利用者の行動と、閉空間内で利用者に利用される利用物と、を精度よく関連付け可能な情報処理装置と、情報処理プログラムと、情報処理方法と、情報処理システムと、を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、情報処理装置であって、店内で利用されるカートに対応するカートＩＤと、カートを利用する顧客に対応する顧客ＩＤと、を取得するＩＤ取得部と、カートＩＤと顧客ＩＤとが関連付けられて記憶される記憶部と、店内を撮像する撮像装置によりカートＩＤに対応する識別標識が撮像された撮像画像を取得する画像取得部と、撮像画像に撮像された識別標識からカートＩＤを特定するカートＩＤ特定部と、撮像画像に撮像された人物の店内での行動に対応する行動ＩＤを特定する行動特定部と、を有してなり、カートは、識別標識を備え、カートＩＤ特定部により特定されたカートＩＤと、行動ＩＤと、が関連付けられて記憶部に記憶される、ことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、閉空間内での利用者の行動と、閉空間内で利用者に利用される利用物と、を精度よく関連付け可能である。
【図面の簡単な説明】
【００１０】
【図１】本発明にかかる情報処理システムの実施の形態を示すシステム構成図である。
【図２】図１の情報処理システムを用いる店舗の構成例を示す構成図である。
【図３】図１の情報処理システムが備える利用物を模式的に示す模式図である。
【図４】図３の利用物が備える処理装置の機能ブロック図である。
【図５】図１の情報処理システムが備える撮像装置の機能ブロック図である。
【図６】図１の情報処理システムが備える広告表示装置の機能ブロック図である。
【図７】本発明にかかる情報処理装置の実施の形態を示す機能ブロック図である。
【図８】図７の情報処理装置が備える記憶部に記憶される情報の例を示す模式図である。
【図９】図７の情報処理装置が備える記憶部に記憶される情報の別の例を示す模式図である。
【図１０】図７の情報処理装置が備える記憶部に記憶される情報のさらに別の例を示す模式図である。
【図１１】図７の情報処理装置が備える記憶部に記憶される情報のさらに別の例を示す模式図である。
【図１２】図７の情報処理装置が備える記憶部に記憶される情報のさらに別の例を示す模式図である。
【図１３】図７の情報処理装置が備える記憶部に記憶される情報のさらに別の例を示す模式図である。
【図１４】図７の情報処理装置が備える記憶部に記憶される情報のさらに別の例を示す模式図である。
【図１５】図７の情報処理装置が備える記憶部に記憶される情報のさらに別の例を示す模式図である。
【図１６】図７の情報処理装置が備える記憶部に記憶される情報のさらに別の例を示す模式図である。
【図１７】図７の情報処理装置が備える記憶部に記憶される情報のさらに別の例を示す模式図である。
【図１８】図１の情報処理システムの動作を示すフローチャートである。
【図１９】図１８の動作に含まれるＩＤ特定処理のフローチャートである。
【図２０】図１９のＩＤ特定処理のシーケンス図である。
【図２１】図１８の動作に含まれる行動特定処理のフローチャートである。
【図２２】図２１の行動特定処理のシーケンス図である。
【図２３】図１８の動作に含まれる表示装置決定処理のフローチャートである。
【図２４】図２３の表示装置決定処理のシーケンス図である。
【図２５】図１８の動作に含まれる販促ＩＤ決定処理のフローチャートである。
【図２６】図２５の販促ＩＤ決定処理のシーケンス図である。
【図２７】図１８の動作に含まれる反応特定処理のフローチャートである。
【図２８】図２７の反応特定処理のシーケンス図である。
【図２９】図１８の動作に含まれる更新処理のフローチャートである。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら、本発明にかかる情報処理装置と、情報処理プログラムと、情報処理方法と、情報処理システムと、の実施の形態について説明する。
【００１２】
●情報処理システム●
先ず、本発明にかかる情報処理システム（以下「本システム」という。）の実施の形態について説明する。
【００１３】
本システムは、閉空間内において、利用者と利用物とを関連付けることにより、利用物と、利用者の行動と、を関連付ける。また、本システムは、閉空間内における利用者の行動に応じて、利用者に対応する販促情報を利用者に提供する。さらに、本システムは、利用者に提供した販促情報に対する利用者の反応を得る。
【００１４】
「閉空間」は、任意の範囲で区画される三次元的な空間であり、本システムが利用者の行動を特定可能な空間である。閉空間は、物理的に区画される空間と、物理的に区画されない空間と、を含む。すなわち、例えば、閉空間は、スーパーマーケットやコンビニエンスストアなどの店舗の内部空間（売場）、多数の店舗が連なるショッピングモールや空港の免税店の各店舗の内部空間、店舗の屋外売場や駐車場などの屋外の空間、を含む。
【００１５】
「利用者」は、閉空間内において利用物を利用しながら行動する人物である。すなわち、例えば、利用者は、売場内において商品を購入する客である。
【００１６】
「利用物」は、閉空間内において利用者に利用される物品である。すなわち、例えば、利用物は、店舗内において利用者に利用されるショッピングカートや、台車、買い物かご、ＩＤ付ストラップ（タグ）、を含む。
【００１７】
「販促情報」は、利用者の商品の購買意欲を促進させる広告や、割引クーポンなどの情報である。
【００１８】
「利用者の行動」は、閉空間内において、利用者が商品（棚）の前で立ち止まる行為、利用者が商品に触れる行為、利用者が商品を利用物に載せる行為、利用者が商品の前を通り過ぎる行為、利用者が販促情報を見る行為、利用者が商品をカートから棚に戻す行為、を含む。
【００１９】
「利用者の反応」は、利用者が販促情報を見た後における、利用者が商品（棚）の前で立ち止まる行為、利用者が商品を利用物に載せる行為、利用者が商品の前を通り過ぎる行為、利用者が販促情報を見る行為、利用者が商品をカートから棚に戻す行為、を含む。すなわち、利用者の反応は、利用者が販促情報を見た後における、利用者の行動である。つまり、利用者の行動は、利用者の反応を含む。
【００２０】
以下に説明する実施の形態は、スーパーマーケットの売場内において、本発明にかかる情報処理装置により、ショッピングカートを利用する客の行動を特定する場合を例にして、本発明の内容を説明する。すなわち、スーパーマーケットの売場は本発明にかかる閉空間の例であり、ショッピングカートは本発明にかかる利用物の例であり、客は本発明にかかる利用者（顧客）の例である。
【００２１】
図１は、本システムの実施の形態を示すシステム構成図である。
図２は、店舗の構成例を示す構成図である。
図２は、店舗Ｓｈの売場Ｒ内に５つの棚Ｓｃ（１−５）が配置され、売場Ｒ内を３人の客Ｈｍ（１−３）が買い物をしている状態を示す。
【００２２】
本システム１は、ショッピングカート（以下「カート」という。）１０と、撮像装置２０と、広告表示装置３０と、本発明にかかる情報処理装置（以下「本装置」という。）４０と、ＰＯＳ（Point Of Sales）端末５０と、操作端末６０と、を有してなる。
【００２３】
本装置４０は、カート１０、撮像装置２０、広告表示装置３０、ＰＯＳ端末５０、操作端末６０のそれぞれと、有線通信方式または無線通信方式を利用するネットワークＮ（通信回線）を介して、接続される。ネットワークＮは、例えば、インターネット、移動体通信網、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、Ｗｉ−Ｆｉ（登録商標）などの通信網である。
【００２４】
カート１０は、売場Ｒ内で買い物をする客Ｈｍが代金を支払うまでの間、購入しようとする商品を一時的に入れる（載せる）入れ物である。カート１０は、売場Ｒ内で客Ｈｍに利用され、客Ｈｍと共に売場Ｒ内を移動する。本実施の形態において、本システム１は、複数（本実施の形態では６つ）のカート１０（１−６）を備える。カート１０の構成は、後述する。
【００２５】
なお、本実施の形態におけるカートの数は、「６」に限定されない。
【００２６】
撮像装置２０は、売場Ｒ内を撮像する。撮像装置２０は、例えば、売場Ｒ内の静止画を所定の時間間隔で撮像するカメラユニットである。撮像装置２０は、売場Ｒ内の棚Ｓｃと通路、広告表示装置３０、売場Ｒ内を移動する客Ｈｍとカート１０、の撮像が可能なように、売場Ｒの天井面や壁面に配置される。本実施の形態において、本システム１は、少なくとも１つ（本実施の形態では７つ）の撮像装置２０（１−７）を備える。撮像装置２０の構成は、後述する。
【００２７】
なお、撮像装置は、後述する撮像部２３（図５参照）を含むカメラ機能を備える端末装置であればよい。すわなち、例えば、撮像装置は、カメラ機能を備えるスマートフォン、携帯電話、タブレット端末、ノートパソコン、通信機能を備えるデジタルカメラでもよい。
【００２８】
なお、本実施の形態における撮像装置の数は、「７」に限定されない。
【００２９】
また、本実施の形態における撮像装置は、動画を撮像してもよく、動画と静止画とを撮像してもよい。
【００３０】
さらに、本実施の形態において、各撮像装置が撮像する売場内の領域は、重複してもよい。すなわち、例えば、複数の撮像装置が、売場Ｒ内の共通する領域を撮像してもよい。この場合、同領域を撮像する各撮像装置の向きは、異なる。
【００３１】
さらにまた、本実施の形態における撮像装置の配置は、売場の天井面や壁面に限定されない。すなわち、例えば、撮像装置は、通路を挟んで対向して配置される棚に配置されてもよい。具体的には、撮像装置は、棚の棚板や、棚板に取り付けられるプライスレールに配置されてもよい。
【００３２】
広告表示装置３０は、売場Ｒ内で買い物をする客Ｈｍに販促情報を報知する。広告表示装置３０は、例えば、いわゆるデジタルサイネージ装置である。広告表示装置３０は、売場Ｒ内に配置される。本実施の形態において、本システム１は、少なくとも１つ（本実施の形態では９つ）の広告表示装置３０（１−９）を備える。広告表示装置３０の構成は、後述する。
【００３３】
なお、本実施の形態における広告表示装置の数は、「９」に限定されない。
【００３４】
本装置４０は、撮像装置２０により撮像された撮像画像に基づいて、客Ｈｍの行動を、客Ｈｍが利用するカート１０に関連付けて特定する。本装置４０は、例えば、サーバなどのパーソナルコンピュータである。本装置４０は、例えば、店舗Ｓｈの事務所Ｏｆに配置される。本装置４０の構成は、後述する。
【００３５】
本装置４０は、前述のとおり、例えば、パーソナルコンピュータで実現される。本装置４０では、本発明にかかる情報処理プログラム（以下「本プログラム」という。）が動作して、本プログラムが本装置４０のハードウェア資源と協働して、後述する本発明にかかる情報処理方法（以下「本方法」という。）を実現する。すなわち、本プログラムは、コンピュータを本装置４０として機能させる。
【００３６】
ＰＯＳ端末５０は、商品の決済処理や、商品の販売データの生成処理などの情報処理を実行する。ＰＯＳ端末５０は、例えば、公知のレジスタ端末である。ＰＯＳ端末５０は、例えば、売場Ｒ内の会計場に配置される。本実施の形態において、本システム１は、３つのＰＯＳ端末５０（１−３）を備える。ＰＯＳ端末５０の構成と、ＰＯＳ端末５０の処理とは周知であるため、ＰＯＳ端末５０の構成と処理それぞれの詳細な説明は、省略する。
【００３７】
なお、本実施の形態におけるＰＯＳ端末の数は、「３」に限定されない。
【００３８】
操作端末６０は、店舗Ｓｈの店員に操作される端末である。操作端末６０は、例えば、パーソナルコンピュータである。操作端末６０は、例えば、店舗Ｓｈの事務所Ｏｆに配置される。
【００３９】
なお、本装置が、ＰＯＳ端末と操作端末それぞれの機能を備えてもよい。すなわち、例えば、本装置とＰＯＳ端末と操作端末とは、共通するパーソナルコンピュータでもよい。
【００４０】
●カートの構成
図３は、カート１０を側方から見た状態を模式的に示す模式図である。
同図は、カート１０に載置される買い物かごＢａと、カート１０を利用する客Ｈｍと、を破線で示す。
【００４１】
カート１０は、フレーム１１と、複数の車輪１２（１，２・・・）と、少なくとも１つの識別標識１３（１，２，３・・・）と、処理装置１４と、読取装置１５と、を備える。
【００４２】
フレーム１１は、カート１０の骨格を構成する。フレーム１１は、カート１０の把持部１１１、商品や買い物かごＢａを載せる載置部１１２、などの部位を形成する。
【００４３】
車輪１２は、フレーム１１に取り付けられ、フレーム１１の移動を補助する。
【００４４】
識別標識１３は、本システム１（本装置４０）がカート１０を識別するためにカート１０に割り当てられるカート１０固有の標識である。識別標識１３は、例えば、バーコードやＱＲコード（登録商標）などの二次元コードである。識別標識１３は、フレーム１１の前部や側部など撮像装置２０により撮像され易い位置に取り付けられる。
【００４５】
なお、識別標識は、カートを識別可能であればよく、二次元コードに限定されない。すなわち、例えば、識別標識は、数字やアルファベットなどの文字でもよい。
【００４６】
また、識別標識は、フレームに直接形成されてもよい。すなわち、例えば、識別標識は、フレームに刻印されてもよく、フレームの凹凸により現されてもよい。
【００４７】
図４は、処理装置１４の機能ブロック図である。
【００４８】
処理装置１４は、本システム１（カート１０）が後述する情報処理を実行する端末である。処理装置１４は、例えば、タブレット端末である。処理装置１４は、通信部１４１と、記憶部１４２と、表示部１４３と、制御部１４４と、を備える。
【００４９】
通信部１４１は、ネットワークＮを介して、本装置４０と通信する。通信部１４１は、例えば、通信モジュールや通信回路などの通信インターフェイスである。
【００５０】
記憶部１４２は、本システム１（カート１０）が後述する情報処理を実行するために必要な情報を記憶する。記憶部１４２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどの記憶媒体である。記憶部１４２は、例えば、会員マスタデータベースＭＤＢ１（以下「会員ＭＤＢ１」という。）、商品マスタデータベースＭＤＢ２（以下「商品ＭＤＢ２」という。）、などのデータベース、客Ｈｍが読取装置１５により読み取る商品の情報、を記憶する。会員ＭＤＢ１と商品ＭＤＢ２それぞれの詳細は、後述する。
【００５１】
表示部１４３は、客Ｈｍが処理装置１４を操作するための操作部として機能すると共に、客Ｈｍへの販促情報を報知する報知部として機能する。すなわち、表示部１４３は、本発明における表示装置の例として機能し得る。表示部１４３は、例えば、タッチパネル式のモニタである。
【００５２】
制御部１４４は、プログラムに従って各種の情報処理を実行して、処理装置１４全体の動作を制御する。制御部１４４は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）などのプロセッサや、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などの集積回路と、ＲＡＭ（Read Access Memory）、ＲＯＭ（Read Only Memory）などの半導体メモリと、により構成される。
【００５３】
なお、処理装置は、後述する情報処理を実行可能な端末であればよく、タブレット端末に限定されない。すなわち、例えば、処理装置は、パーソナルコンピュータ、ＰＤＡ（Personal Digital Assistant）、携帯電話、スマートフォンでもよい。
【００５４】
読取装置１５は、客Ｈｍや商品の情報を読み取る。読取装置１５は、例えば、商品コード（例えば、商品に付される二次元コード）や会員コード（例えば、会員カードに付される二次元コード）を光学的に読取可能なバーコードリーダなどの光学読取装置である。
【００５５】
なお、会員コードと商品コードそれぞれは、２次元コードに限定されない。すなわち、例えば、会員コードと商品コードそれぞれは、バーコード（１次元コード）でもよい。
【００５６】
処理装置１４と読取装置１５とは、１つのカート端末を構成する。カート端末は、フレーム１１のうち、客Ｈｍが容易にカート端末を操作可能な位置（例えば、把持部１１１の近傍）に配置される。
【００５７】
なお、本発明におけるカートは、買い物かごを介さず、商品を直接入れることが可能なかご部を備えてもよい。
【００５８】
また、本システムは、異なる種類のカートを備えてもよい。すなわち、例えば、本システムは、子供用の小型のカートや、大量の商品を搭載し得る大型のカート、１つの買い物かごを搭載する中型のカート、を備えてもよい。
【００５９】
●撮像装置の構成
図５は、撮像装置２０の機能ブロック図である。
【００６０】
撮像装置２０は、通信部２１と、記憶部２２と、撮像部２３と、制御部２４と、を備える。
【００６１】
通信部２１は、ネットワークＮを介して、本装置４０と通信する。通信部２１は、例えば、通信モジュールや通信回路などの通信インターフェイスである。
【００６２】
記憶部２２は、撮像部２３が撮像した撮像画像を記憶する。記憶部２２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどの記憶媒体である。
【００６３】
撮像部２３は、売場Ｒ内を撮像する。撮像部２３は、例えば、レンズ群、シャッター、撮像素子、Ａ／Ｄ変換器などにより構成される。撮像部２３により撮像された撮像画像は、記憶部２２に記憶される。
【００６４】
制御部２４は、プログラムに従って各種の情報処理を実行して、撮像装置２０全体の動作を制御する。制御部２４は、例えば、ＣＰＵ、ＭＰＵ、ＤＳＰなどのプロセッサやＡＳＩＣ、ＦＰＧＡなどの集積回路と、ＲＡＭ、ＲＯＭなどの半導体メモリと、により構成される。
【００６５】
●広告表示装置の構成
図６は、広告表示装置３０の機能ブロック図である。
【００６６】
広告表示装置３０は、通信部３１と、記憶部３２と、表示部３３と、撮像部３４と、制御部３５と、を備える。
【００６７】
通信部３１は、ネットワークＮを介して、本装置４０と通信する。通信部３１は、例えば、通信モジュールや通信回路などの通信インターフェイスである。
【００６８】
記憶部３２は、販促情報や撮像部３４が撮像した撮像画像を記憶する。記憶部３２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどの記憶媒体である。
【００６９】
表示部３３は、客Ｈｍに対して販促情報を報知する。表示部３３は、例えば、液晶ディスプレイ（Liquid Crystal Display）、有機ＥＬディスプレイ（Organic Electro-Luminescence Display）、ＬＥＤディスプレイ（Light Emitting Diode Display）などのモニタである。表示部３３は、本発明における表示装置の例である。
【００７０】
撮像部３４は、売場Ｒ内のうち、広告表示装置３０の周囲（例えば、表示部３３の前方）を撮像する。撮像部３４は、例えば、レンズ群、シャッター、撮像素子、Ａ／Ｄ変換器などにより構成される。撮像部３４により撮像された撮像画像は、記憶部３２に記憶される。
【００７１】
制御部３５は、プログラムに従って各種の情報処理を実行して、広告表示装置３０全体の動作を制御する。制御部３５は、例えば、ＣＰＵ、ＭＰＵ、ＤＳＰなどのプロセッサやＡＳＩＣ、ＦＰＧＡなどの集積回路と、ＲＡＭ、ＲＯＭなどの半導体メモリと、により構成される。
【００７２】
●情報処理装置の構成
図７は、本装置４０の実施の形態を示す機能ブロック図である。
【００７３】
本装置４０は、通信部４１と、記憶部４２と、制御部４３と、を備える。
【００７４】
通信部４１は、ネットワークＮを介して、カート１０と、撮像装置２０と、広告表示装置３０と、ＰＯＳ端末５０と、操作端末６０と、通信する。通信部４１は、例えば、通信モジュールや通信回路などの通信インターフェイスである。
【００７５】
記憶部４２は、本装置４０が後述する本方法を実行するために必要な情報を記憶する。記憶部４２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどの記憶媒体である。
【００７６】
記憶部４２は、会員ＭＤＢ１、商品ＭＤＢ２、棚マスタデータベースＭＤＢ３（以下「棚ＭＤＢ３」という。）、カートマスタデータベースＭＤＢ４（以下「カートＭＤＢ４」という。）、撮像装置マスタデータベースＭＤＢ５（以下「撮像装置ＭＤＢ５」という。）、表示装置マスタデータベースＭＤＢ６（以下「表示装置ＭＤＢ６」という。）、販促情報マスタデータベースＭＤＢ７（以下「販促情報ＭＤＢ７」という。）、行動マスタデータベースＭＤＢ８（以下「行動ＭＤＢ８」という。）、反応マスタデータベースＭＤＢ９（以下「反応ＭＤＢ９」という。）、行動履歴マスタデータベースＭＤＢ１０（以下「行動履歴ＭＤＢ１０」という。）、反応履歴マスタデータベースＭＤＢ１１（以下「反応履歴ＭＤＢ１１」という。）、購入履歴マスタデータベースＭＤＢ１２（以下「購入履歴ＭＤＢ１２」という。）、ログイン情報データベースＤＢ１（以下「ログインＤＢ１」という。）、カート位置情報データベースＤＢ２（以下「カート位置ＤＢ２」という。）、表示装置データベースＤＢ３（以下「表示装置ＤＢ３」という。）、行動データベースＤＢ４（以下「行動ＤＢ４」という。）、反応データベースＤＢ５（以下「反応ＤＢ５」という。）、などのデータベースを記憶する。各データベースＭＤＢ１−ＭＤＢ１２，ＤＢ１−ＤＢ５それぞれの詳細は、後述する。
【００７７】
制御部４３は、プログラムに従って各種の情報処理を実行して、本装置４０全体の動作を制御する。制御部４３は、例えば、ＣＰＵ、ＭＰＵ、ＤＳＰなどのプロセッサやＡＳＩＣ、ＦＰＧＡなどの集積回路と、ＲＡＭ、ＲＯＭなどの半導体メモリと、により構成される。
【００７８】
制御部４３は、ＩＤ取得部４３１と、画像取得部４３２と、カートＩＤ特定部４３３と、行動特定部４３４と、位置関係特定部４３５と、販促決定部４３６と、販促反応特定部４３７と、表示装置決定部４３８と、を備える。
【００７９】
ＩＤ取得部４３１は、通信部４１を介して、カート１０から同カート１０のカートＩＤと、同カート１０の利用者の利用者ＩＤと、を取得する。ＩＤ取得部４３１によるＩＤの取得方法は、後述する。
【００８０】
「利用者ＩＤ」は、本装置４０（本システム１，カート１０）が複数の客Ｈｍそれぞれを識別するために用いる情報であって、カート１０を利用する各客Ｈｍに対応する識別情報である。利用者ＩＤは、本発明における顧客ＩＤの例である。利用者ＩＤは、例えば、客Ｈｍによる会員登録などの行為に基づいて、予め、本システム１の使用者により発行されている。利用者ＩＤは、顧客関連情報に関連付けられて記憶部４２に記憶されている。
【００８１】
「顧客関連情報」は、例えば、客Ｈｍの年齢や性別などの属性に関する情報、客Ｈｍの保有するポイント残高やプリペイド残高などの有価価値に関する情報、後述する行動ＩＤや反応ＩＤなどの客Ｈｍの売場Ｒ内の行動・反応に関する情報、商品の購入履歴に関する情報、を含む。
【００８２】
「カートＩＤ」は、本装置４０（本システム１）が複数のカート１０それぞれを識別するために用いる情報であって、売場Ｒ内で客Ｈｍに利用される各カート１０に対応する識別情報である。カートＩＤは、本発明における利用物ＩＤの例である。カートＩＤは、例えば、カート１０ごとに、予め、本システム１の使用者により発行されている。
【００８３】
画像取得部４３２は、撮像装置２０により撮像された撮像画像を、記憶部４２から取得する。画像取得部４３２による撮像画像の取得方法は、後述する。
【００８４】
なお、本実施の形態における画像取得部は、通信部を介して、撮像装置から直接、撮像画像を取得してもよい。
【００８５】
カートＩＤ特定部４３３は、撮像画像に撮像された識別標識１３からカートＩＤを特定する。カートＩＤ特定部４３３は、本発明における利用物ＩＤ特定部の例である。カートＩＤ特定部４３３によるカートＩＤの特定方法は、後述する。
【００８６】
行動特定部４３４は、撮像画像に撮像された客Ｈｍ（人物）の売場Ｒ内での行動に対応する行動ＩＤを特定する。行動特定部４３４による行動ＩＤの特定方法は、後述する。
【００８７】
「行動ＩＤ」は、本装置４０（本システム１）が前述した「利用者の行動」それぞれを識別するために用いる情報であって、利用者の行動に対応する識別情報である。行動ＩＤは、例えば、行動の種類ごとに、予め、本システム１の使用者により発行されている。
【００８８】
位置関係特定部４３５は、カート１０の一部と客Ｈｍとの撮像画像内の位置関係に基づいて、カート１０と客Ｈｍとの撮像画像内の位置関係を特定する。位置関係特定部４３５による位置関係の特定方法は、後述する。
【００８９】
販促決定部４３６は、複数の販促情報の中から広告表示装置３０に表示される販促情報に対応する販促ＩＤを決定する。販促決定部４３６による販促ＩＤの決定方法は、後述する。
【００９０】
「販促ＩＤ」は、本装置４０（本システム１）が複数の販促情報それぞれを識別するために用いる情報であって、販促情報に対応する識別情報である。販促ＩＤは、例えば、販促情報ごとに、予め、本システム１の使用者により発行されている。
【００９１】
販促反応特定部４３７は、広告表示装置３０に表示された販促情報に対する客Ｈｍの反応に対応する反応ＩＤを特定する。販促反応特定部４３７による反応ＩＤの特定方法は、後述する。
【００９２】
「反応ＩＤ」は、本装置４０（本システム１）が前述した「利用者の反応」それぞれを識別するために用いる情報であって、利用者の反応に対応する識別情報である。反応ＩＤは、例えば、反応の種類ごとに、予め、本システム１の使用者により発行されている。
【００９３】
表示装置決定部４３８は、複数の広告表示装置３０の中から広告や割引クーポンなどの販促情報が表示される広告表示装置３０を決定する。表示装置決定部４３８による広告表示装置３０の決定方法は、後述する。
【００９４】
●データベース●
次に、各データベースＭＤＢ１−ＭＤＢ１２，ＤＢ１−ＤＢ５について説明する。
【００９５】
●会員マスタデータベース
図８は、会員ＭＤＢ１に記憶される情報の例を示す模式図である。
【００９６】
「会員ＭＤＢ１」は、例えば、利用者ＩＤと、顧客関連情報の一部と、が客Ｈｍごとに関連付けられて記憶されるデータベースである。
【００９７】
同図は、例えば、利用者ＩＤ「Ｕ００１」の客Ｈｍに対して、顧客関連情報「４０歳」「男」「１，０００Ｐ」「１０，０００円」が関連付けられて会員ＭＤＢ１に記憶されていることを示す。
【００９８】
ここで、「情報Ｘに情報Ｙが関連付けられる」は、情報Ｘと情報Ｙとが相互に結び付けられていることを示す。その結果、例えば、本システム１（カート１０，本装置４０）は、情報Ｘを用いてデータベースを参照することで、情報Ｘと関連付けられてデータベースに記憶されている情報Ｙを、データベースから読み出し可能である。また、例えば、本システム１（カート１０，本装置４０）は、情報Ｙを用いてデータベースを参照することで、情報Ｙと関連付けられてデータベースに記憶されている情報Ｘを、データベースから読み出し可能である。すなわち、例えば、本システム１（カート１０，本装置４０）は、利用者ＩＤ「Ｕ００１」を用いて会員ＭＤＢ１を参照することで、顧客関連情報「４０歳」「男」「１，０００Ｐ」「１０，０００円」を会員ＭＤＢ１から読出可能である。以下、他のデータベースについても同様である。
【００９９】
●商品マスタデータベース
【０１００】
「商品ＭＤＢ２」は、例えば、商品ＩＤと、商品関連情報と、が商品ごとに関連付けられて記憶されるデータベースである。
【０１０１】
「商品ＩＤ」は、本システム１（カート１０，本装置４０）が複数の商品それぞれを識別するために用いる情報であって、各商品に対応する識別情報である。商品ＩＤは、例えば、商品ごとに、予め、本システム１の使用者により発行されている。
【０１０２】
「商品関連情報」は、例えば、商品の名称や値段などの商品の属性に関する情報、商品の配置に関する情報、商品の在庫に関する情報、商品の期限に関する情報、を含む。
【０１０３】
本システム１（カート１０、本装置４０）は、例えば、商品ＩＤを用いて商品ＭＤＢ２を参照することで、商品ＩＤに対応する商品の属性、配置、在庫などの商品関連情報を読出可能である。
【０１０４】
●棚マスタデータベース
「棚ＭＤＢ３」は、例えば、棚ＩＤと、棚位置情報と、区画ＩＤと、区画ＩＤに対応する商品ＩＤと、が棚Ｓｃごとに関連付けられて記憶されるデータベースである。
【０１０５】
「棚ＩＤ」は、本システム１（本装置４０）が各棚Ｓｃそれぞれを識別するために用いる情報であって、各棚Ｓｃに対応する識別情報である。棚ＩＤは、例えば、棚Ｓｃごとに、予め、本システム１の使用者により発行されている。
【０１０６】
「棚位置情報」は、売場Ｒ内において、各棚Ｓｃの配置されている位置（座標）に関する情報である。
【０１０７】
「区画ＩＤ」は、本システム１（本装置４０）が各棚Ｓｃ内の区画（棚割）を識別するために用いる情報であって、棚Ｓｃ内の区画（棚割）に対応する識別情報である。区画ＩＤは、例えば、行と列とを用いて表される。すなわち、例えば、区画ＩＤ「ａ１」は、棚Ｓｃの「ａ」列「１」行目の区画を示す。
【０１０８】
「棚Ｓｃ内の区画」は、棚Ｓｃにおいて、商品が陳列される（配置される）領域である。区画は、商品ごとに定められる。
【０１０９】
本システム１（本装置４０）は、例えば、棚ＩＤを用いて棚ＭＤＢ３を参照することで、棚ＩＤに対応する棚の棚位置情報、棚割ごとの商品、を読出可能である。
【０１１０】
●カートマスタデータベース
「カートＭＤＢ４」は、例えば、カートＩＤと、識別標識１３と、カート属性情報と、がカート１０ごとに関連付けられて記憶されるデータベースである。
【０１１１】
「カート属性情報」は、例えば、カート１０の種類・大きさ、カート１０の購入先、カート１０の購入年月日、などのカート１０の属性に関する情報である。
【０１１２】
本システム１（本装置４０）は、例えば、識別標識１３を用いてカートＭＤＢ４を参照することで、識別標識１３に対応するカート１０のカートＩＤ、カート１０の種類や大きさ、を読出可能である。
【０１１３】
●撮像装置マスタデータベース
「撮像装置ＭＤＢ５」は、例えば、撮像装置ＩＤと、撮像装置位置情報と、撮像エリア情報と、が撮像装置２０ごとに関連付けられて記憶されるデータベースである。
【０１１４】
「撮像装置ＩＤ」は、本システム１（本装置４０）が各撮像装置２０それぞれを識別するために用いる情報であって、各撮像装置２０に対応する識別情報である。撮像装置ＩＤは、例えば、撮像装置２０ごとに、予め、本システム１の使用者により発行されている。
【０１１５】
「撮像装置位置情報」は、売場Ｒ内において、各撮像装置２０が配置されている位置（座標）に関する情報である。
【０１１６】
「撮像エリア情報」は、各撮像装置２０が撮像する売場Ｒの領域に関する情報である。すなわち、撮像エリア情報は、撮像画像に撮像された被写体の位置に関する情報を含む。
【０１１７】
本システム１（本装置４０）は、例えば、撮像装置ＩＤを用いて撮像装置ＭＤＢ５を参照することで、撮像装置ＩＤに対応する撮像装置２０に撮像された被写体の位置を読出可能である。
【０１１８】
●表示装置マスタデータベース
「表示装置ＭＤＢ６」は、例えば、表示装置ＩＤと、表示装置位置情報と、撮像エリア情報と、が広告表示装置３０ごとに関連付けられて記憶されるデータベースである。
【０１１９】
「表示装置ＩＤ」は、本システム１（本装置４０）が各広告表示装置３０それぞれを識別するために用いる情報であって、各広告表示装置３０に対応する識別情報である。
【０１２０】
「表示装置位置情報」は、売場Ｒ内において、各広告表示装置３０が配置されている位置に関する情報である。
【０１２１】
「撮像エリア情報」は、広告表示装置３０の撮像部３４が撮像する売場Ｒの領域に関する情報である。すなわち、撮像エリア情報は、撮像画像に撮像された被写体の位置に関する情報を含む。
【０１２２】
本システム１（本装置４０）は、例えば、表示装置ＩＤを用いて表示装置ＭＤＢ６を参照することで、表示装置ＩＤに対応する広告表示装置３０の位置や、撮像部３４に撮像された被写体の位置を読出可能である。
【０１２３】
●販促情報マスタデータベース
「販促情報ＭＤＢ７」は、例えば、販促ＩＤと、販促情報と、が販促情報ごとに関連付けられて記憶されるデータベースである。
【０１２４】
本システム１（本装置４０）は、例えば、販促ＩＤを用いて販促情報ＭＤＢ７を参照することで、販促ＩＤに対応する販促情報を読出可能である。
【０１２５】
●行動マスタデータベース
図９は、行動ＭＤＢ８に記憶される情報の例を示す模式図である。
【０１２６】
「行動ＭＤＢ８」は、例えば、行動ＩＤと、客Ｈｍの行動と、が客Ｈｍの行動ごとに関連付けられて記憶されるデータベースである。
【０１２７】
同図は、例えば、行動ＩＤ「Ａ００１」に対して、客Ｈｍの行動「商品の前に立ち止まる」が関連付けられて行動ＭＤＢ８に記憶されていることを示す。
【０１２８】
本システム１（本装置４０）は、例えば、行動ＩＤを用いて行動ＭＤＢ８を参照することで、行動ＩＤに対応する客Ｈｍの行動を読出可能である。
【０１２９】
●反応マスタデータベース
図１０は、反応ＭＤＢ９に記憶される情報の例を示す模式図である。
【０１３０】
「反応ＭＤＢ９」は、例えば、反応ＩＤと、客Ｈｍの反応と、が客Ｈｍの反応ごとに関連付けられて記憶されるデータベースである。
【０１３１】
同図は、例えば、反応ＩＤ「Ｒ００２」に対して、客Ｈｍの反応「商品に触れる」が関連付けられて反応ＭＤＢ９に記憶されていることを示す。
【０１３２】
本システム１（本装置４０）は、例えば、反応ＩＤを用いて反応ＭＤＢ９を参照することで、反応ＩＤに対応する客Ｈｍの反応を読出可能である。
【０１３３】
●行動履歴マスタデータベース
図１１は、行動履歴ＭＤＢ１０に記憶される情報の例を示す模式図である。
【０１３４】
「行動履歴ＭＤＢ１０」は、例えば、利用者ＩＤと、行動履歴情報と、が客Ｈｍごとに関連付けられて記憶されるデータベースである。
【０１３５】
「行動履歴情報」は、利用者ＩＤに対応する客Ｈｍの過去の行動ＩＤの履歴に関する情報である。行動履歴情報は、例えば、行動ＩＤと行動時刻情報と行動位置情報とを含む。
【０１３６】
「行動時刻情報」は、本システム１（本装置４０）が特定した人物の行動が撮像装置２０に撮像された時刻に関する情報である。すなわち、本実施の形態では、行動時刻情報は、人物の行動を撮像した撮像画像が撮像された時刻である。行動時刻情報は、例えば、画像メタデータとして、撮像画像から取得される。
【０１３７】
「行動位置情報」は、本システム１（本装置４０）が人物の行動を特定したとき、その人物が行動した位置（座標）に関する情報である。行動位置情報は、例えば、人物の行動を撮像した撮像装置２０の撮像エリア情報や、撮像画像に撮像された棚Ｓｃの棚位置情報である。
【０１３８】
同図は、例えば、利用者ＩＤ「Ｕ００１」に対して、行動ＩＤ「Ａ００５，Ａ００１，・・・，Ａ００１」、行動時刻情報「Ｔ１，Ｔ２，・・・，Ｔｎ」、行動位置情報「Ｘ１，Ｘ２，・・・，Ｘｎ」が関連付けられて行動履歴ＭＤＢ１０に記憶されていることを示す。
【０１３９】
本システム１（本装置４０）は、例えば、利用者ＩＤを用いて行動履歴ＭＤＢ１０を参照することで、利用者ＩＤに対応する利用者（客Ｈｍ）の過去の行動履歴を読出可能である。
【０１４０】
●反応履歴マスタデータベース
図１２は、反応履歴ＭＤＢ１１に記憶される情報の例を示す模式図である。
【０１４１】
「反応履歴ＭＤＢ１１」は、例えば、利用者ＩＤと、反応履歴情報と、が客Ｈｍごとに関連付けられて記憶されるデータベースである。
【０１４２】
「反応履歴情報」は、利用者ＩＤに対応する客Ｈｍの過去の反応ＩＤの履歴に関する情報である。反応履歴情報は、例えば、反応ＩＤと反応時刻情報と反応位置情報とを含む。
【０１４３】
「反応時刻情報」は、本システム１（本装置４０）が特定した人物の反応が撮像装置２０に撮像された時刻に関する情報である。すなわち、本実施の形態では、反応時刻情報は、人物の反応を撮像した撮像画像が撮像された時刻である。反応時刻情報は、例えば、画像メタデータとして、撮像画像から取得される。
【０１４４】
「反応位置情報」は、本システム１（本装置４０）が人物の反応を特定したとき、その人物が反応した位置（座標）に関する情報である。反応位置情報は、例えば、人物の反応を撮像した撮像装置２０の撮像エリア情報や、撮像画像に撮像された棚Ｓｃの棚位置情報である。
【０１４５】
同図は、例えば、利用者ＩＤ「Ｕ００１」に対して、反応ＩＤ「Ｒ００４，Ｒ００４，・・・，Ｒ００１」、反応時刻情報「Ｔ１１，Ｔ１２，・・・，Ｔ１ｎ」、反応位置情報「Ｘ１１，Ｘ１２，・・・，Ｘ１ｎ」が関連付けられて反応履歴ＭＤＢ１１に記憶されていることを示す。
【０１４６】
本システム１（本装置４０）は、例えば、利用者ＩＤを用いて反応履歴ＭＤＢ１１を参照することで、利用者ＩＤに対応する利用者（客Ｈｍ）の過去の反応履歴を読出可能である。
【０１４７】
●購入履歴マスタデータベース
「購入履歴ＭＤＢ１２」は、例えば、利用者ＩＤと、商品購入履歴情報と、が客Ｈｍごとに関連付けられて記憶されるデータベースである。
【０１４８】
「商品購入履歴情報」は、利用者ＩＤに対応する客Ｈｍが過去に購入した商品の履歴に関する情報である。商品購入履歴情報は、例えば、商品と、商品の数と、購入日時と、に関する情報を含む。
【０１４９】
本システム１（本装置４０）は、例えば、利用者ＩＤを用いて購入履歴ＭＤＢ１２を参照することで、利用者ＩＤに対応する客Ｈｍの商品の購入履歴を読出可能である。
【０１５０】
●ログイン情報データベース
図１３は、ログインＤＢ１に記憶される情報の例を示す模式図である。
【０１５１】
「ログインＤＢ１」は、例えば、カートＩＤと、ログイン時刻と、利用者ＩＤと、が客Ｈｍにログインされている（利用されている）カート１０ごとに関連付けられて記憶されるデータベースである。
【０１５２】
同図は、例えば、カートＩＤ「Ｃ００１」に対して、ログイン時刻「Ｔ２１」利用者ＩＤ「Ｕ００１」が関連付けられてログインＤＢ１に記憶されていることを示す。
【０１５３】
本システム１（本装置４０）は、カートＩＤを用いてログインＤＢ１を参照することで、カートＩＤに対応するカート１０の利用者ＩＤ（客Ｈｍ）を読出可能である。
【０１５４】
●カート位置情報データベースＤＢ２
図１４は、カート位置ＤＢ２に記憶される情報の例を示す模式図である。
【０１５５】
「カート位置ＤＢ２」は、例えば、カートＩＤと、時刻情報と、カート位置情報と、が客Ｈｍにログインされている（利用されている）カート１０ごとに関連付けられて記憶されるデータベースである。
【０１５６】
「時刻情報」は、カート１０が撮像装置２０に撮像された時刻に関する情報である。すなわち、本実施の形態では、時刻情報は、撮像画像が撮像された時刻である。時刻情報は、例えば、画像メタデータとして、撮像画像から取得される。
【０１５７】
「カート位置情報」は、売場Ｒ内における、時刻情報ごとのカート１０の位置（座標）に関する情報である。カート位置情報は、例えば、カート１０を撮像した撮像装置２０の撮像エリア情報や、撮像画像に撮像された棚Ｓｃの棚位置情報である。
【０１５８】
同図は、例えば、カートＩＤ「Ｃ００１」に対して、時刻情報「Ｔ３１，Ｔ３２，・・・，Ｔ３ｎ」カート位置情報「Ｘ３１，Ｘ３２，・・・，Ｘ３ｎ」が関連付けられてカート位置ＤＢ２に記憶されていることを示す。
【０１５９】
本システム１（本装置４０）は、カートＩＤを用いてカート位置ＤＢ２を参照することで、客Ｈｍにログインされているカート１０の移動履歴を読出可能である。
【０１６０】
●表示装置データベース
図１５は、表示装置ＤＢ３に記憶される情報の例を示す模式図である。
【０１６１】
「表示装置ＤＢ３」は、例えば、表示装置ＩＤと、表示している販促情報に対応する販促ＩＤと、販促情報の報知の対象であるカート１０に対応するカートＩＤと、が広告表示装置３０ごとに関連付けられて記憶されるデータベースである。
【０１６２】
同図は、例えば、表示装置ＩＤ「Ｐ００１」に対して、販促ＩＤ「ａａａ１」カートＩＤ「Ｃ００１」が関連付けられて表示装置ＤＢ３に記憶されていることを示す。
【０１６３】
本システム１（本装置４０）は、表示装置ＩＤを用いて表示装置ＤＢ３を参照することで、広告表示装置３０が報知している販促情報と、広告表示装置３０が販促情報を報知しているカート１０と、を読出可能である。
【０１６４】
●行動データベース
図１６は、行動ＤＢ４に記憶される情報の例を示す模式図である。
【０１６５】
「行動ＤＢ４」は、例えば、カートＩＤと、同カートＩＤに関連付けられている人物（客Ｈｍ）の行動ＩＤと、行動時刻情報と、行動位置情報と、が関連付けられて記憶されるデータベースである。
【０１６６】
同図は、例えば、カートＩＤ「Ｃ００１」に対して、行動ＩＤ「Ａ００５，Ａ００１，・・・，Ａ００５」行動時刻情報「Ｔ４１，Ｔ４２，・・・，Ｔ４ｎ」行動位置情報「Ｘ４１，Ｘ４２，・・・，Ｘ４ｎ」が関連付けられて行動ＤＢ４に記憶されていることを示す。
【０１６７】
本システム１（本装置４０）は、カートＩＤを用いて行動ＤＢ４を参照することで、カート１０を利用している客Ｈｍの行動履歴を読出可能である。
●反応データベース
図１７は、反応ＤＢ５に記憶される情報の例を示す模式図である。
【０１６８】
「反応ＤＢ５」は、例えば、カートＩＤと、同カートＩＤに関連付けられている人物（客Ｈｍ）の反応ＩＤと、反応時刻情報と、反応位置情報と、が関連付けられて記憶されるデータベースである。
【０１６９】
同図は、例えば、カートＩＤ「Ｃ００１」に対して、反応ＩＤ「Ｒ００５，Ｒ００１，・・・，Ｒ００２」反応時刻情報「Ｔ５１，Ｔ５２，・・・，Ｔ５ｎ」反応位置情報「Ｘ５１，Ｘ５２，・・・，Ｘ５ｎ」が関連付けられて反応ＤＢ５に記憶されていることを示す。
【０１７０】
本システム１（本装置４０）は、カートＩＤを用いて反応ＤＢ５を参照することで、カート１０を利用している客Ｈｍの反応履歴を読出可能である。
【０１７１】
なお、各データベースに関連付けて記憶される情報は、本実施の形態に限定されない。また、各データベースに記憶される情報は、複数のデータベースで重複して記憶されてもよい。さらに、記憶部は、本実施の形態における複数のデータベースを統合した１または複数のデータベースを記憶してもよい。
【０１７２】
●本システムの動作●
次に、本システム１の動作について、説明する。
【０１７３】
図１８は、本システム１の動作を示すフローチャートである。
【０１７４】
本システム１の動作は、ＩＤ特定処理（Ｓ１）と、行動特定処理（Ｓ２）と、表示装置決定処理（Ｓ３）と、販促ＩＤ決定処理（Ｓ４）と、反応特定処理（Ｓ５）と、更新処理（Ｓ６）と、を含む。
【０１７５】
「ＩＤ特定処理（Ｓ１）」は、客Ｈｍの利用者ＩＤと、客Ｈｍが利用するカート１０のカートＩＤと、を特定する処理である。本システム１は、ＩＤ特定処理（Ｓ１）により、カート１０に対応する客Ｈｍを特定する。
【０１７６】
「行動特定処理（Ｓ２）」は、撮像画像に基づいて、カート１０に関連付けられる人物（客Ｈｍ）の行動に対応する行動ＩＤを特定する処理である。本システム１は、行動特定処理（Ｓ２）により、カート１０を介して、カート１０を利用する客Ｈｍの行動を特定する。その結果、本システム１は、カートＩＤに関連付けられた利用者ＩＤに対応する客Ｈｍの行動の履歴を取得可能である。
【０１７７】
「表示装置決定処理（Ｓ３）」は、カートＩＤに基づいて、客Ｈｍに販促情報を報知する（表示する）広告表示装置３０を決定する処理である。本システム１は、表示装置決定処理（Ｓ３）により、客Ｈｍの行動・購買の履歴に基づいて、客Ｈｍに対して適切な販促情報を報知可能である。
【０１７８】
「販促ＩＤ決定処理（Ｓ４）」は、カートＩＤに関連付けられた客Ｈｍの行動ＩＤや利用者ＩＤに基づいて、客Ｈｍに報知する販促情報に対応する販促ＩＤを決定する処理である。本システム１は、販促ＩＤ決定処理（Ｓ４）により、客Ｈｍの行動・購買の履歴に基づいて、客Ｈｍに対して適切な販促情報を報知可能である。
【０１７９】
「反応特定処理（Ｓ５）」は、販促情報に対する客Ｈｍの反応に対応する反応ＩＤを特定する処理である。本システム１は、反応特定処理（Ｓ５）により、客Ｈｍに対する販促情報の影響（効果）を判定可能である。
【０１８０】
「更新処理（Ｓ６）」は、行動特定処理（Ｓ２）で特定した客Ｈｍの行動ＩＤと、反応特定処理（Ｓ５）で特定した客Ｈｍの反応ＩＤと、に基づいて、行動履歴ＭＤＢ１０と反応履歴ＭＤＢ１１それぞれに記憶される情報を更新する処理である。
【０１８１】
●ＩＤ特定処理
図１９は、本システム１のＩＤ特定処理（Ｓ１）のフローチャートである。
図２０は、本システム１のＩＤ特定処理（Ｓ１）のシーケンス図である。
【０１８２】
ＩＤ特定処理（Ｓ１）は、例えば、客Ｈｍがカート１０の情報処理システムにログインすることにより、開始される。情報処理システムは、カート１０の記憶部１４２に記憶されている。情報処理システムへのログインは、例えば、カート１０を利用する客Ｈｍが、自身が所持する会員カードに付された会員コードをカート１０の読取装置１５に読み取らせることにより、実行される。
【０１８３】
先ず、カート１０の制御部１４４は、読取装置１５に１次元コードや２次元コードなどのコードが読み取られたとき（Ｓ１０１）、同コードが会員コードか否かを判定する（Ｓ１０２）。コードの判定は、例えば、制御部１４４が記憶部１４２に記憶されている会員ＭＤＢ１を参照することにより、実行される。コードが会員コードでないとき（Ｓ１０２の「Ｎｏ」）、制御部１４４は、次のコードが読み取られるまで待機する。
【０１８４】
一方、コードが会員コードのとき（Ｓ１０２の「Ｙｅｓ」）、制御部１４４は、記憶部１４２から会員ＭＤＢ１を読み出し、会員コードに対応する利用者ＩＤを特定する（Ｓ１０３）。
【０１８５】
次いで、制御部１４４は、自機のカートＩＤと、会員コードに対応する利用者ＩＤと、を関連付けて（Ｓ１０４）、記憶部１４２に記憶する（Ｓ１０５）。すなわち、制御部１４４は、カートＩＤと利用者ＩＤとを関連付ける関連付部として機能する。本システム１（本装置４０）は、この関連付けにより、カート１０と、カート１０を利用している客Ｈｍと、を１：１の関係として認識可能である。
【０１８６】
次いで、制御部１４４は、通信部１４１を介して、カートＩＤと、カートＩＤに関連付けられた利用者ＩＤとを本装置４０に送信する（Ｓ１０６）。
【０１８７】
本装置４０の制御部４３（ＩＤ取得部４３１）は、通信部４１を介して、カート１０からカートＩＤと、カートＩＤに関連付けられた利用者ＩＤと、を取得（受信）する（Ｓ１０７）。
【０１８８】
本装置４０の制御部４３は、カートＩＤと、カートＩＤに関連付けられた利用者ＩＤと、を記憶部４２のログインＤＢ１に記憶する（Ｓ１０８）。すなわち、記憶部４２には、カートＩＤと利用者ＩＤとが、関連付けられて記憶される。
【０１８９】
なお、カートの制御部に代えて、本装置の制御部が、カートのカートＩＤと、同カートの読取装置により読み取られた会員コードと、を同カートから受信し、会員コードに対応する利用者ＩＤを特定し、カートＩＤと利用者ＩＤとを関連付けて、本装置の記憶部（ログインＤＢ１）に記憶してもよい。
【０１９０】
●行動特定処理
図２１は、本システム１の行動特定処理（Ｓ２）のフローチャートである。
図２２は、本システム１の行動特定処理（Ｓ２）のシーケンス図である。
【０１９１】
先ず、撮像装置２０は、撮像処理を実行する（Ｓ２０１）。撮像処理（Ｓ２０１）において、撮像装置２０は、撮像部２３を用いて、売場Ｒ内の撮像領域が撮像された撮像画像を撮像する。撮像画像は、記憶部２２に記憶されると共に、通信部２１を介して、本装置４０に送信される。
【０１９２】
次いで、本装置４０の制御部４３は、通信部４１を介して、撮像装置２０から撮像画像を受信して、記憶部４２に記憶する（Ｓ２０２）。
【０１９３】
次いで、制御部４３（画像取得部４３２）は、記憶部４２から撮像画像を取得する（Ｓ２０３）。
【０１９４】
次いで、制御部４３（カートＩＤ特定部４３３）は、撮像画像に対して公知の画像処理を実行して、撮像画像にカート１０の識別標識１３が撮像されているか否かを判定する（Ｓ２０４）。画像処理は、例えば、公知のパターンマッチング処理である。
【０１９５】
識別標識１３が撮像されていないとき（Ｓ２０４の「Ｎｏ」）、本システム１の処理は、処理（Ｓ２０１）に戻る。
【０１９６】
一方、識別標識１３が撮像されているとき（Ｓ２０４の「Ｙｅｓ」）、制御部４３（カートＩＤ特定部４３３）は、例えば、識別標識１３を用いてカートＭＤＢ４を参照して、識別標識１３に対応するカートＩＤを特定する（Ｓ２０５）。このとき、制御部４３は、カート１０のカート位置情報と時刻情報とを取得して、カート位置情報と時刻情報とを記憶部４２のカート位置ＤＢ２に記憶する。
【０１９７】
カート位置情報は、例えば、撮像エリア情報に基づいて、取得される。また、時刻情報は、例えば、撮像画像のメタデータに基づいて、取得される。
【０１９８】
次いで、制御部４３は、撮像画像に対して公知の画像処理を実行して、撮像画像に人物が撮像されているか否かを判定する（Ｓ２０６）。
【０１９９】
「公知の画像処理」は、例えば、機械学習ベースのディープラーニング画像認識（例えば、ＳＳＤ：Single Shot Multibox Detectorモデルや、ＹＯＬＯ：You Only Look Onceモデルなど）を利用して人物（物体）を検出する処理、あるいは、同ディープラーニング画像認識と公知の骨格化技術とを組み合わせて人物（物体）を検出する処理である。
【０２００】
人物が撮像されていないとき（Ｓ２０６の「Ｎｏ」）、本システム１の処理は、処理（Ｓ２０１）に戻る。
【０２０１】
一方、人物が撮像されているとき（Ｓ２０６の「Ｙｅｓ」）、制御部４３（位置関係特定部４３５）は、カート１０と人物との撮像画像内の位置関係を特定する（Ｓ２０７）。
【０２０２】
位置関係は、例えば、撮像画像に対して前述の処理（Ｓ２０６）と同様の公知の画像処理を実行してカート１０を特定して、カート１０と処理（Ｓ２０６）で検出された人物との距離を算出することにより、特定される。本実施の形態において、カート１０と人物との撮像画像内の位置関係は、カート１０と人物との間の距離である。同距離は、例えば、特定されたカート１０の画像の重心と、特定された人物の画像の重心と、の間の距離である。具体的には、例えば、制御部４３（位置関係特定部４３５）は、処理（Ｓ２０６）において検出した人物の撮像画像における重心位置座標（ｘＨ，ｙＨ）と、本処理（Ｓ２０７）において検出したカート１０の撮像画像における重心位置座標（ｘＣ，ｙＣ）と、を算出する。次いで、制御部４３（位置関係特定部４３５）は、撮像画像において、重心位置座標（ｘＨ，ｙＨ）と重心位置座標（ｘＣ，ｙＣ）との間の直線距離を算出する。このように、制御部４３（位置関係特定部４３５）は、カート１０と人物との間の距離を算出して、算出した距離をカート１０と人物との位置関係として特定する。制御部４３（位置関係特定部４３５）は、特定した位置関係（例えば、重心位置座標間の距離）を記憶部４２に記憶する。
【０２０３】
なお、制御部（位置関係特定部）は、公知の画像処理によりカートの一部を特定し、カートの一部と人物との撮像画像内の位置関係を、カートと人物との位置関係として特定してもよい。換言すれば、制御部（位置関係特定部）は、カートの一部と人物との撮像画像内の位置関係に基づいて、カートと人物との撮像画像内の位置関係を特定してもよい。すなわち、例えば、制御部（位置関係特定部）は、カートの処理装置と人物との間の距離（例えば、撮像画像における処理装置の重心位置座標と、撮像画像における人物の重心位置座標と、の間の直線距離）を、カートと人物との撮像装置内の位置関係として特定してもよい。
【０２０４】
次いで、制御部４３（行動特定部４３４）は、撮像画像に撮像された人物の売場Ｒ内での行動を特定する（Ｓ２０８）。本実施の形態において、行動特定部４３４が特定する人物の行動は、前述のとおり、人物が商品（棚Ｓｃ）の前で立ち止まる行為、人物が商品に触れる行為、人物が商品をカート１０に載せる行為、人物が商品（棚Ｓｃ）の前を通り過ぎる行為、人物が販促情報を見る行為、人物が商品をカート１０から棚Ｓｃに戻す行為、を含む。
【０２０５】
人物の行動を特定する処理（Ｓ２０８）において、制御部４３（行動特定部４３４）は、例えば、公知の骨格化技術（例えば、骨格モデリングによる骨格の抽出）を用いて、処理（Ｓ２０６）において特定された人物の画像の骨格化を実行する。次いで、制御部４３（行動特定部４３４）は、例えば、骨格の形状と、骨格と商品（または、棚Ｓｃ）との間の位置関係（距離）と、に基づいて、利用者の行動として予め定められている複数の行動（以下「既定行動群」という。）の中から、撮像された人物の行動を特定する。この場合、商品や棚Ｓｃは、本発明における被写体の例である。
【０２０６】
なお、制御部（行動特定部）は、骨格の抽出後に、骨格の各関節の角度に基づいて、既定行動群の中から、撮像された人物の行動を特定してもよい。すなわち、例えば、制御部（行動特定部）は、抽出した骨格から、肩、肘、腰、膝などの関節の角度を算出して、人物ごとに各関節の角度の多次元時系列データを生成する。次いで、制御部（行動特定部）は、多次元時系列データを公知のクラスタリング技術を用いてクラス分類して、既定行動群の中から、撮像された人物の行動を特定する。この場合、既定行動群は、例えば、行動マスタデータベースに記憶されている。
【０２０７】
なお、制御部（行動特定部）は、公知の画像処理により、撮像画像から商品を特定して、骨格と商品との間の位置関係を特定してもよい。また、制御部（行動特定部）は、骨格の形状と、骨格と棚の区画との位置関係と、に基づいて、人物の行動を特定してもよい。
【０２０８】
また、制御部（行動特定部）は、時系列で撮像された複数の撮像画像の差分に基づいて、人物の行動を特定してもよい。
【０２０９】
さらに、制御部（行動特定部）は、異なる方向から撮像された複数の撮像画像を用いて、人物の行動を特定してもよい。この場合、人物の行動に予め優先順位が定められて記憶部に記憶されていて、制御部（行動特定部）は、優先順位の高い行動を、人物の行動として特定してもよい。すなわち、例えば、商品に触れる行為の優先順位が商品の前に立ち止まる行為の優先順位よりも高く定められていて、棚の正面を撮像した撮像画像に基づいて商品の前に立ち止まる行為が特定され、棚の側面を撮像した撮像画像に基づいて商品に触れる行為が特定されているとき、制御部（行動特定部）は、商品に触れる行為を人物の行動として特定してもよい。
【０２１０】
さらにまた、制御部（行動特定部）は、客がカートの読取装置に商品を読み取らせる行為を、人物が商品をカートに載せる行為として特定してもよい。
【０２１１】
制御部４３（行動特定部４３４）は、撮像された人物の行動を特定したとき、例えば、その行動が撮像された撮像画像に基づいて、行動時刻情報と行動位置情報とを取得する。
【０２１２】
次いで、制御部４３（行動特定部４３４）は、記憶部４２に記憶されている行動ＭＤＢ８を参照して、特定した行動に対応する行動ＩＤを特定する（Ｓ２０９）。
【０２１３】
次いで、制御部４３は、前述のカート１０と人物との位置関係に基づいて、撮像画像に撮像されたカート１０と人物とを関連付ける（Ｓ２１０）。
【０２１４】
ここで、撮像画像に複数の人物が撮像されているとき、制御部４３は、カート１０と人物との間の距離が最も近い人物をカート１０と関連付ける。すなわち、例えば、撮像画像に２人の人物（例えば、人物Ａ，人物Ｂ）と１つのカート１０とが撮像され、人物Ａの重心位置座標とカート１０の重心位置座標との間の距離が人物Ｂの重心位置座標とカート１０の重心位置座標との間の距離よりも大きいとき、制御部４３は、人物Ｂとカート１０とを関連付ける。
【０２１５】
次いで、制御部４３は、カート１０に関連付けた人物の行動ＩＤと、行動時刻情報と、行動位置情報と、をカートＩＤに関連付けて、記憶部４２の行動ＤＢ４に記憶する（Ｓ２１１）。このように、カートＩＤと行動ＩＤとは、カート１０と人物との間の撮像画像内の位置関係に基づいて、記憶部４２の行動ＤＢ４に記憶される。
【０２１６】
なお、記憶部に次の撮像画像が記憶されている場合において、撮像画像に識別標識が撮像されていないとき（Ｓ２０４の「Ｎｏ」）、または、人物が撮像されていないとき（Ｓ２０６の「Ｎｏ」）、本システムの処理は、処理（Ｓ２０３）に戻ってもよい。
【０２１７】
●表示装置決定処理
図２３は、本システム１の表示装置決定処理（Ｓ３）のフローチャートである。
図２４は、本システム１の表示装置決定処理（Ｓ３）のシーケンス図である。
【０２１８】
先ず、撮像装置２０は、撮像処理を実行する（Ｓ３０１）。撮像処理（Ｓ３０１）において、撮像装置２０は、撮像部２３を用いて、売場Ｒ内の撮像領域が撮像された撮像画像を撮像する。撮像画像は、記憶部２２に記憶されると共に、通信部２１を介して、本装置４０に送信される。
【０２１９】
次いで、本装置４０の制御部４３は、通信部４１を介して、撮像装置２０から撮像画像を受信して、記憶部４２に記憶する（Ｓ３０２）。
【０２２０】
次いで、制御部４３（画像取得部４３２）は、記憶部４２から撮像画像を取得する（Ｓ３０３）。
【０２２１】
次いで、制御部４３（カートＩＤ特定部４３３）は、撮像画像に対して公知の画像処理を実行して、撮像画像にカート１０の識別標識１３が撮像されているか否かを判定する（Ｓ３０４）。
【０２２２】
識別標識１３が撮像されていないとき（Ｓ３０４の「Ｎｏ」）、本システム１の処理は、処理（Ｓ３０１）に戻る。
【０２２３】
なお、記憶部に次の撮像画像が記憶されている場合において、撮像画像に識別標識が撮像されていないとき（Ｓ３０４の「Ｎｏ」）、本システムの処理は、処理（Ｓ３０３）に戻ってもよい。
【０２２４】
一方、識別標識１３が撮像されているとき（Ｓ３０４の「Ｙｅｓ」）、制御部４３（カートＩＤ特定部４３３）は、例えば、識別標識１３を用いてカートＭＤＢ４を参照して、識別標識１３に対応するカートＩＤを特定する（Ｓ３０５）。このとき、制御部４３（カートＩＤ特定部４３３）は、カート１０のカート位置情報と時刻情報とを取得して、カート位置情報と時刻情報とを記憶部４２のカート位置ＤＢ２に記憶する。
【０２２５】
次いで、制御部４３（表示装置決定部４３８）は、複数の広告表示装置３０の中から、販促情報が表示される広告表示装置３０を決定する（Ｓ３０６）。
【０２２６】
ここで、販促情報が表示される広告表示装置３０は、例えば、カートＩＤ特定部４３３により特定されたカートＩＤに基づいて、決定される。すなわち、例えば、制御部４３（表示装置決定部４３８）は、カートＩＤに関連付けられてログインＤＢ１に記憶されている利用者ＩＤを用いて、購入履歴ＭＤＢ１２を参照して、商品購入履歴情報を取得する。次いで、制御部４３（表示装置決定部４３８）は、同情報からカート１０の利用者（客Ｈｍ）が過去に購入している商品を特定して、同商品を陳列している棚Ｓｃに近い広告表示装置３０を販促情報が表示される広告表示装置３０として決定する。
【０２２７】
なお、制御部（表示装置決定部）は、カートＩＤと関連付けられて行動ＤＢ４に記憶されている行動ＩＤに基づいて、広告表示装置を決定してもよい。すなわち、例えば、制御部（表示装置決定部）は、行動ＩＤに基づいて、カートの利用者（客）の購入し得る商品を推測して、同商品を陳列している棚に近い広告表示装置を販促情報が表示される広告表示装置として決定してもよい。換言すれば、制御部（表示装置決定部）は、利用者の過去の行動から利用者の次の行動を予測し、利用者の次の行動を促し得る広告表示装置を販促情報が表示される広告表示装置として決定してもよい。
【０２２８】
次いで、制御部４３（販促決定部４３６）は、処理（Ｓ３０６）において取得した商品購入履歴情報や行動ＩＤに基づいて、処理（Ｓ３０６）において決定した広告表示装置３０に表示される販促情報に対応する販促ＩＤを決定する（Ｓ３０７）。
【０２２９】
次いで、制御部４３は、通信部４１を介して、処理（Ｓ３０７）で決定した販促ＩＤに対応する販促情報を、処理（Ｓ３０６）で決定した広告表示装置３０に送信する（Ｓ３０８）。
【０２３０】
次いで、広告表示装置３０の制御部３５は、通信部３１を介して、販促情報を受信して、販促情報を記憶部３２に記憶する（Ｓ３０９）。
【０２３１】
次いで、制御部３５は、記憶部３２から販促情報を読み出して、表示部３３に販促情報を表示させる（Ｓ３１０）
【０２３２】
●販促ＩＤ決定処理
図２５は、本システム１の販促ＩＤ決定処理（Ｓ４）のフローチャートである。
図２６は、本システム１の販促ＩＤ決定処理（Ｓ４）のシーケンス図である。
【０２３３】
先ず、広告表示装置３０は、撮像処理を実行する（Ｓ４０１）。撮像処理（Ｓ４０１）において、広告表示装置３０は、撮像部３４を用いて、売場Ｒ内のうち、自機（広告表示装置３０）の近くの領域が撮像された撮像画像を撮像する。撮像画像は、記憶部３２に記憶されると共に、通信部３１を介して、本装置４０に送信される。
【０２３４】
次いで、本装置４０の制御部４３は、通信部４１を介して、広告表示装置３０から撮像画像を受信して、記憶部４２に記憶する（Ｓ４０２）。
【０２３５】
次いで、制御部４３（画像取得部４３２）は、記憶部４２から撮像画像を取得する（Ｓ４０３）。
【０２３６】
次いで、制御部４３（カートＩＤ特定部４３３）は、撮像画像に対して公知の画像処理を実行して、撮像画像にカート１０の識別標識１３が撮像されているか否かを判定する（Ｓ４０４）。画像処理は、例えば、公知のパターンマッチング処理である。
【０２３７】
識別標識１３が撮像されていないとき（Ｓ４０４の「Ｎｏ」）、本システム１の処理は、処理（Ｓ４０１）に戻る。
【０２３８】
一方、識別標識１３が撮像されているとき（Ｓ４０４の「Ｙｅｓ」）、制御部４３（カートＩＤ特定部４３３）は、例えば、識別標識１３を用いてカートＭＤＢ４を参照して、識別標識１３に対応するカートＩＤを特定する（Ｓ４０５）。
【０２３９】
次いで、制御部４３は、撮像画像に複数のカート１０が撮像されているか否かを判定する（Ｓ４０６）。
【０２４０】
撮像画像に複数のカート１０が撮像されているとき（Ｓ４０６の「Ｙｅｓ」）、制御部４３（位置関係特定部４３５）は、各カート１０と広告表示装置３０との売場Ｒ内の位置関係を特定する（Ｓ４０７）。
【０２４１】
位置関係は、例えば、撮像画像に対して公知の画像処理を実行して各カート１０の撮像画像内の位置を特定することにより、特定される。
【０２４２】
次いで、制御部４３は、複数のカート１０のうち、広告表示装置３０に最も近いカート１０を特定する（Ｓ４０８）。また、撮像画像に１つのカート１０が撮像されているとき（Ｓ４０６の「Ｎｏ」）、制御部４３は、同カート１０を広告表示装置３０に最も近いカート１０として特定する（Ｓ４０８）。
【０２４３】
次いで、制御部４３（販促決定部４３６）は、カートＩＤに基づいて、複数の販促情報の中から広告表示装置３０の表示部３３に表示される販促情報に対する販促ＩＤを決定する（Ｓ４０９）。すなわち、例えば、制御部４３（販促決定部４３６）は、カートＩＤと関連付けられて記憶部４２に記憶されている利用者ＩＤに基づいて、販促ＩＤを決定する。具体的には、制御部４３（販促決定部４３６）は、利用者ＩＤを用いて購入履歴ＭＤＢ１２を参照して、利用者ＩＤに対応する客Ｈｍの商品購入履歴情報を取得する。次いで、制御部４３（販促決定部４３６）は、商品購入履歴情報に基づいて、利用者ＩＤに対応する客Ｈｍの商品の購買意欲を促し得る販促情報に対応する販促ＩＤを決定する。換言すれば、制御部４３（販促決定部４３６）は、客Ｈｍの過去の購買履歴に基づいて、客Ｈｍの嗜好に合致し得る商品の広告やクーポン情報を決定する。
【０２４４】
なお、制御部（販促決定部）は、例えば、利用者ＩＤを用いて行動履歴ＭＤＢ１０を参照して、利用者ＩＤに対応する客の行動履歴情報を取得し、同行動履歴情報に基づいて、販促ＩＤを決定してもよい。換言すれば、制御部（販促決定部）は、客の過去（前回以前の来店時）の行動の履歴に基づいて、客の行動を促し得る商品の広告やクーポン情報を決定してもよい。
【０２４５】
また、制御部（販促決定部）は、例えば、利用者ＩＤを用いて反応履歴ＭＤＢ１１を参照して、利用者ＩＤに対応する客の反応履歴情報を取得し、同反応履歴情報に基づいて、販促ＩＤを決定してもよい。換言すれば、制御部（販促決定部）は、客の過去（前回以前の来店時）の反応の履歴に基づいて、客の反応を促し得る商品の広告やクーポン情報を決定してもよい。
【０２４６】
さらに、制御部（販促決定部）は、例えば、カートＩＤを用いて行動ＤＢ４を参照して、カートＩＤに関連付けられている人物（客）の行動ＩＤを取得し、同行動ＩＤに対応する利用者の行動に基づいて、販促ＩＤを決定してもよい。換言すれば、制御部（販促決定部）は、客の過去（今回の来店時）の行動の履歴に基づいて、客の次の行動を促し得る商品の広告やクーポン情報を決定してもよい。
【０２４７】
さらにまた、制御部（販促決定部）は、例えば、カートＩＤを用いて反応ＤＢ５を参照して、カートＩＤに関連付けられている人物（客）の反応ＩＤを取得し、同反応ＩＤに対応する利用者の反応に基づいて、販促ＩＤを決定してもよい。換言すれば、制御部（広告決定部）は、客の過去（今回の来店時）の反応の履歴に基づいて、客の次の反応を促し得る商品の広告やクーポン情報を決定してもよい。
【０２４８】
次いで、制御部４３は、通信部４１を介して、決定した販促ＩＤに対応する販促情報を広告表示装置３０に送信する（Ｓ４１０）。
【０２４９】
次いで、広告表示装置３０の制御部３５は、通信部３１を介して、販促情報を受信して、販促情報を記憶部３２に記憶する（Ｓ４１１）。
【０２５０】
次いで、制御部３５は、記憶部３２から販促情報を読み出して、表示部３３に販促情報を表示させる（Ｓ４１２）。
【０２５１】
なお、広告表示装置の制御部は、本装置から販促ＩＤを受信してもよい。この場合、表示装置ＭＤＢ６は、広告表示装置の記憶部に記憶される。
【０２５２】
また、本システムは、撮像装置により撮像された撮像画像に基づいて、販促ＩＤ決定処理を実行してもよい。すなわち、例えば、本装置の制御部は、撮像画像からカートと広告表示装置それぞれを特定し、カートと広告表示装置との間の位置関係に基づいて、複数のカートのうち、広告表示装置に最も近いカートを、販促情報が報知されるカートとして特定してもよい。また、例えば、本装置の制御部は、カートと広告表示装置との間の位置関係に基づいて、複数の広告表示装置のうち、カートに最も近い広告表示装置を販促情報が表示される広告表示装置として決定してもよい。
【０２５３】
●反応特定処理
図２７は、本システム１の反応特定処理（Ｓ５）のフローチャートである。
図２８は、本システム１の反応特定処理（Ｓ５）のシーケンス図である。
【０２５４】
反応特定処理（Ｓ５）の処理のうち、以下の処理（Ｓ５０４−Ｓ５１１）は、前述の行動特定処理（Ｓ２）の処理（Ｓ２０４−Ｓ２１１）と、特定する対象が行動と反応とで異なる点を除き、共通する。そのため、反応特定処理（Ｓ５）の各処理の詳細の説明は、省略する。
【０２５５】
先ず、撮像装置２０は、撮像処理を実行する（Ｓ５０１）。撮像処理（Ｓ５０１）において、撮像装置２０は、撮像部２３を用いて、販促ＩＤ決定処理（Ｓ４）において決定された販促ＩＤに対応する商品が陳列されている棚Ｓｃが撮像された撮像画像を撮像する。撮像画像は、記憶部２２に記憶されると共に、通信部２１を介して、本装置４０に送信される。
【０２５６】
次いで、本装置４０の制御部４３は、通信部４１を介して、撮像装置２０から撮像画像を受信して、記憶部４２に記憶する（Ｓ５０２）。
【０２５７】
次いで、制御部４３（画像取得部４３２）は、記憶部４２から撮像画像を取得する（Ｓ５０３）。
【０２５８】
次いで、制御部４３（カートＩＤ特定部４３３）は、撮像画像に対して公知の画像処理を実行して、撮像画像に処理（Ｓ４０５）で特定されたカート１０の識別標識１３が撮像されているか否かを判定する（Ｓ５０４）。画像処理は、例えば、公知のパターンマッチング処理である。
【０２５９】
識別標識１３が撮像されていないとき（Ｓ５０４の「Ｎｏ」）、本システム１の処理は、処理（Ｓ５０１）に戻る。
【０２６０】
一方、識別標識１３が撮像されているとき（Ｓ５０４の「Ｙｅｓ」）、制御部４３（カートＩＤ特定部４３３）は、カート１０のカートＩＤを特定する（Ｓ５０５）と共に、カート位置情報と時刻情報とを取得して、カート位置情報と時刻情報とを記憶部４２のカート位置ＤＢ２に記憶する。
【０２６１】
次いで、制御部４３は、撮像画像に対して前述の処理（Ｓ２０６）と同様の公知の画像処理を実行して、撮像画像に人物が撮像されているか否かを判定する（Ｓ５０６）。
【０２６２】
人物が撮像されていないとき（Ｓ５０６の「Ｎｏ」）、本システム１の処理は、処理（Ｓ５０１）に戻る。
【０２６３】
一方、人物が撮像されているとき（Ｓ５０６の「Ｙｅｓ」）、制御部４３（位置関係特定部４３５）は、カート１０と人物との撮像画像内の位置関係を特定する（Ｓ５０７）。
【０２６４】
次いで、制御部４３（販促反応特定部４３７）は、撮像画像に撮像された人物の売場Ｒ内での反応（行動）を特定する（Ｓ５０８）。制御部４３（販促反応特定部４３７）は、撮像された人物の反応を特定したとき、例えば、その反応が撮像された撮像画像に基づいて、反応時刻情報と反応位置情報とを取得する。本実施の形態において、制御部４３（販促反応特定部４３７）が特定する人物の反応は、前述のとおり、人物が商品（棚Ｓｃ）の前で立ち止まる行為、人物が商品に触れる行為、人物が商品をカート１０に載せる行為、人物が商品（棚Ｓｃ）の前を通り過ぎる行為、人物が販促情報を見る行為、人物が商品をカート１０から棚Ｓｃに戻す行為、を含む。
【０２６５】
次いで、制御部４３（販促反応特定部４３７）は、記憶部４２に記憶されている反応ＭＤＢ９を参照して、特定した反応に対応する反応ＩＤを特定する（Ｓ５０９）。
【０２６６】
次いで、制御部４３は、前述のカート１０と人物との位置関係に基づいて、撮像画像に撮像されたカート１０と人物とを関連付ける（Ｓ５１０）。
【０２６７】
ここで、撮像画像に複数の人物が撮像されているとき、制御部４３は、カート１０との距離が最も近い人物をカート１０と関連付ける。
【０２６８】
次いで、制御部４３は、カート１０に関連付けた人物の反応ＩＤと、反応時刻情報と、反応位置情報と、をカートＩＤに関連付けて、記憶部４２の反応ＤＢ５に記憶する（Ｓ５１１）。このように、カートＩＤと反応ＩＤとは、カート１０と人物との間の撮像画像内の位置関係に基づいて、記憶部４２の反応ＤＢ５に記憶される。
【０２６９】
なお、記憶部に次の撮像画像が記憶されている場合において、撮像画像に識別標識が撮像されていないとき（Ｓ５０４の「Ｎｏ」）、または、人物が撮像されていないとき（Ｓ５０６の「Ｎｏ」）、本システムの処理は、処理（Ｓ５０３）に戻ってもよい。
【０２７０】
●更新処理
図２９は、更新処理（Ｓ６）のフローチャートである。
【０２７１】
更新処理（Ｓ６）は、例えば、客Ｈｍがカート１０の情報処理システムからログオフすることにより、実行される。情報処理システムからのログオフは、例えば、客Ｈｍがカート１０の利用を終了したとき（例えば、ＰＯＳ端末５０がカート１０に載せられた商品の決済処理を完了させたとき）、実行される。
【０２７２】
客Ｈｍがカート１０の情報処理システムからログオフしたとき（Ｓ６０１）、本装置４０の制御部４３は、通信部４１を介して、ＰＯＳ端末５０からカート１０にログインしていた客Ｈｍの商品購入履歴情報を取得する（Ｓ６０２）。
【０２７３】
次いで、制御部４３は、購入履歴ＭＤＢ１２を記憶部４２から読み出して、ＰＯＳ端末５０から取得した商品購入履歴情報を用いて、購入履歴ＭＤＢ１２の情報を更新する（Ｓ６０３）。更新された購入履歴ＭＤＢ１２は、記憶部４２に記憶される。
【０２７４】
次いで、制御部４３は、行動ＤＢ４と行動履歴ＭＤＢ１０とを記憶部４２から読み出して、行動ＤＢ４に記憶されている情報を用いて、行動履歴ＭＤＢ１０の情報を更新する（Ｓ６０４）。具体的には、行動ＤＢ４に記憶されている行動ＩＤと行動時刻情報と行動位置情報それぞれは、カートＩＤと関連付けられる利用者ＩＤに対応する客Ｈｍの顧客関連情報として、利用者ＩＤに関連付けられて行動履歴ＭＤＢ１０に記憶される。更新された行動履歴ＭＤＢ１０は記憶部４２に記憶され、行動ＤＢ４はリセット（削除）される。
【０２７５】
次いで、制御部４３は、反応ＤＢ５と反応履歴ＭＤＢ１１とを記憶部４２から読み出して、反応ＤＢ５に記憶されている情報を用いて、反応履歴ＭＤＢ１１の情報を更新する（Ｓ６０５）。具体的には、反応ＤＢ５に記憶されている反応ＩＤと反応時刻情報と反応位置情報それぞれは、カートＩＤと関連付けられる利用者ＩＤに対応する客Ｈｍの顧客関連情報として、利用者ＩＤに関連付けられて反応履歴ＭＤＢ１１に記憶される。更新された反応履歴ＭＤＢ１１は記憶部４２に記憶され、反応ＤＢ５はリセット（削除）される。
【０２７６】
●まとめ●
以上説明した実施の形態によれば、本システム１（本装置４０）は、カートＩＤと利用者ＩＤとを関連付けて記憶する。すなわち、本システム１（本装置４０）は、カート１０とその利用者（客Ｈｍ）とを１：１の関係で特定する。その結果、本実施の形態における情報処理システム１（情報処理装置４０）は、カートＩＤを特定することで、カートＩＤに関連付けて記憶される情報を利用者の情報として特定可能である。
【０２７７】
また、以上説明した実施の形態によれば、本システム１（本装置４０）は、撮像画像において、カート１０と共に撮像された人物の行動に対応する行動ＩＤをカートＩＤに関連付けて記憶する。その結果、本システム１（本装置４０）は、カートＩＤを介して、行動ＩＤに対応する行動をした人物を、同カートＩＤに対応するカート１０の利用者（客Ｈｍ）として特定（推定）可能である。すなわち、本実施の形態におけるシステム１（情報処理装置４０）は、カート１０を介して、閉空間（売場Ｒ）内での利用者の行動と、利用者に利用されるカート１０と、を精度よく関連付ける。
【０２７８】
このように、本システム１（本装置４０）は、識別標識１３を用いた画像処理によりカート１０のみを追跡し、画像処理によりカート１０の利用者（客Ｈｍ）を追跡しない。本システム１（本装置４０）は、ＩＤ同士の関連付けにより、カート１０を特定した時点で、間接的にカート１０の利用者を特定する。換言すれば、本システム１（本装置４０）は、カート１０を特定する処理のみで、瞬間的にカート１０の利用者を特定可能である。その結果、本実施の形態におけるシステム１（情報処理装置４０）は、画像認識により客を識別する従来の情報処理システム（従来の情報処理装置）と比較して、高い演算能力を必要とすることなく、閉空間内での利用者の行動と、利用者に利用される利用物と、を精度よく関連付け可能である。
【０２７９】
また、本システム１（本装置４０）は、撮像画像から個人を特定するための顔写真の登録やディープラーニング処理を必要としない。したがって、本実施の形態におけるシステム１（情報処理装置４０）は、画像認識により客を識別する従来の情報処理システム（従来の情報処理装置）と比較して、高い演算能力を必要とすることなく、閉空間内での利用者の行動と、利用者に利用される利用物と、を精度よく関連付け可能である。
【０２８０】
さらに、以上説明した実施の形態によれば、本システム１（本装置４０）は、カート１０と人物との撮像装置内の位置関係に基づいて、カートＩＤと行動ＩＤとを関連付けて記憶部４２に記憶する。すなわち、例えば、本システム１（本装置４０）は、カート１０と人物との間の距離が最も短い人物を、カート１０の利用者（客Ｈｍ）としてカート１０に関連付ける。通常、売場Ｒ内で買い物をする客Ｈｍはカート１０と共に移動し、客Ｈｍがカート１０から離れて行動することは稀である。そのため、本実施の形態におけるシステム１（情報処理装置４０）は、カート１０と、カート１０の利用者（客Ｈｍ）と、を高い精度で関連付け可能である。
【０２８１】
さらにまた、以上説明した実施の形態によれば、本システム１（本装置４０）は、カートＩＤに基づいて、販促情報に対応する販促ＩＤを決定する。前述のとおり、カートＩＤと行動ＩＤとは関連付けられているため、本システム１（本装置４０）は、売場Ｒ内における利用者（客Ｈｍ）の行動に基づいて、利用者に向けて報知する販促情報を決定可能である。また、前述のとおり、カートＩＤと利用者ＩＤとは関連付けられているため、本システム１（本装置４０）は、利用者ＩＤに関連付けられる商品購入履歴情報などの情報に基づいて、利用者に向けて報知する販促情報を決定可能である。したがって、本実施の形態におけるシステム１（情報処理装置４０）は、客Ｈｍの過去（今回の来店時）の行動の履歴に基づいて、客Ｈｍの次の行動を促し得る商品の広告やクーポン情報を客Ｈｍに対して報知可能である。
【０２８２】
さらにまた、以上説明した実施の形態によれば、本システム１（本装置４０）は、カート１０と広告表示装置３０との位置関係に基づいて、販促情報に対応する販促ＩＤを決定する。そのため、本実施の形態におけるシステム１（情報処理装置４０）は、広告表示装置３０に近いカート１０の利用者に向けて、その利用者に適した商品の広告や割引クーポンを報知可能である。
【０２８３】
さらにまた、以上説明した実施の形態によれば、本システム１（本装置４０）は、カートＩＤと、販促情報に対する人物（客Ｈｍ）の反応に対応する反応ＩＤと、を関連付けて記憶部４２に記憶する。そのため、本システム１（本装置４０）は、販促情報に対する利用者の反応の履歴、すなわち、広告の効果を効果的に取得可能である。その結果、本実施の形態におけるシステム１（情報処理装置４０）は、販促情報に対する利用者の反応の履歴に基づいて、利用者に対して効果的な販促情報を決定可能である。
【０２８４】
さらにまた、以上説明した実施の形態によれば、本システム１（本装置４０）は、行動ＩＤや反応ＩＤをカートＩＤに関連付けられる利用者ＩＤに対応する利用者（客Ｈｍ）の顧客関連情報として記憶する。そのため、本実施の形態におけるシステム１（情報処理装置４０）は、客Ｈｍの過去（前回以前の来店時）の行動の履歴に基づいて、客Ｈｍの次の行動を促し得る商品の広告やクーポン情報を客Ｈｍに対して報知可能である。
【０２８５】
さらにまた、以上説明した実施の形態によれば、本システム１（本装置４０）は、カートＩＤに基づいて、複数の広告表示装置３０の中から、カートＩＤに対応するカート１０の利用者に向けて販促情報を報知する広告表示装置３０を決定する。したがって、本実施の形態におけるシステム１（情報処理装置４０）は、客Ｈｍの過去（今回の来店時）の行動・反応の履歴に基づいて、客Ｈｍの次の行動を促し得る商品の広告やクーポン情報を客Ｈｍに対して報知可能である。
【０２８６】
なお、以上説明した実施の形態では、本装置４０の制御部４３（販促決定部４３６）は、広告表示装置３０に販促情報を送信していた。これに代えて、本装置の制御部は、カートに販促情報を送信してもよい。この場合、本装置の制御部は、例えば、処理（Ｓ４０５）と同様にカートＩＤを特定し、処理（Ｓ４０９）と同様に販促ＩＤを決定し、決定した販促ＩＤに対応する販促情報を、特定されたカードＩＤに対応するカートに送信する。次いで、カートの制御部は、受信した販促情報を記憶部に記憶すると共に、表示部に表示する。この表示部は、本発明における表示装置として機能する。その結果、本実施の形態におけるシステム（情報処理装置）は、カートの利用者の過去の行動の履歴や購買履歴に基づいて、カートの利用者（客）ごとに、個別に商品の広告やクーポン情報を報知可能である。
【０２８７】
また、本システム（本装置）は、カートと、カートの利用者と、を１：１の関係で特定できればよく、カートの利用者を特定の個人として特定しなくてもよい。すなわち、例えば、本システム（本装置）は、店舗から貸与される入場カードや、カートに備えられる指紋識別装置などの客識別手段により、一時的な利用者ＩＤを生成して、同利用者ＩＤとカートＩＤとを関連付けてもよい。この場合であっても、本実施の形態におけるシステム（情報処理装置）は、客の過去（今回の来店時）の行動の履歴や反応の履歴に基づいて、販促ＩＤを決定可能である。
【０２８８】
さらに、本システム（本装置）は、例えば、販促ＩＤ決定処理において、利用者（客）の利用物に応じて、広告表示装置の表示部に表示される販促情報に対応する販促ＩＤを決定してもよい。すなわち、例えば、客の利用物がカートのとき、本システムは、重量の重い商品（例えば、２４缶入りのビールケース）の販促ＩＤを表示部に表示される販促情報の販促ＩＤとして決定し、客の利用物が買い物かごのとき、本システムは、重量の軽い商品（例えば、６缶入りのビールパック）の販促ＩＤを表示部に表示される販促情報の販促ＩＤとして決定してもよい。
【０２８９】
さらにまた、本システムは、利用物として、識別標識を備える買い物かごを用いてもよい。この場合、例えば、利用者は、売場に配置されるログイン端末に会員カードと、買い物かごの識別標識と、をログイン端末に読み込ませてもよい。また、例えば、利用者が会員カードをストラップなどにより首からかけることで、会員コードと識別標識とが撮像画像に撮像されてもよい。
【０２９０】
さらにまた、本システムは、利用物として、小型の処理装置を備える買い物かごを用いてもよい。
【０２９１】
さらにまた、広告表示装置は、撮像部を備えなくてもよい。この場合、反応特定処理は、撮像装置により撮像された撮像画像に基づいて、実行される。
【０２９２】
さらにまた、広告表示装置のうち、一部の装置は撮像部を備え、他の一部の装置は撮像部を備えなくてもよい。
【０２９３】
さらにまた、本システム（本装置）は、撮像画像から人物を検出する際に、人物の特徴量（例えば、服の色・模様）を抽出して、同特徴量をカートＩＤ（若しくは、カートＩＤに関連付けられる利用者ＩＤ）に関連付けて記憶してもよい。この場合、本システム（本装置）は、カートと人物との位置関係に代えて、あるいは、同位置関係と共に、同特徴量に基づいて、カートと人物とを関連付けてもよい。この構成によれば、本システム（本装置）は、例えば、処理（Ｓ２１０）において、撮像画像に複数の人物が撮像されているとき、カートと人物との間の距離が最も近い人物ではなく、特徴量が最も合致する人物をカートと関連付けてもよい。
【０２９４】
さらにまた、本システム（本装置）は、ＩＤ特定処理において、客がカートの情報処理システムにログインする際に、例えば、客を撮像した撮像画像から客の特徴量を抽出して、カートＩＤと利用者ＩＤと特徴量とを関連付けて記憶部に記憶してもよい。
【０２９５】
さらにまた、撮像装置は、広範囲を撮像可能な広角カメラでもよい。この場合、店舗の売場に配置される撮像装置の数が減る。そのため、撮像装置の配置用の配線の自由度が増し、撮像装置を設置可能なスペースが少ない店舗において、撮像装置は、効率的に配置可能である。
【０２９６】
さらにまた、以上説明した実施の形態によれば、本装置４０は、１つのコンピュータにより構成されていた。これに代えて、本装置は、複数のコンピュータにより構成されてもよい。すなわち、例えば、本システムは、複数のコンピュータで構成され、本装置として機能するコンピュータ群を備えてもよい。具体的には、例えば、本装置（コンピュータ群）は、撮像画像やデータベースを記憶する記憶部を備えるコンピュータと、本情報処理を実行する制御部を備えるコンピュータと、により構成されてもよい。また、例えば、複数のコンピュータが、ＩＤ取得部、画像取得部、カートＩＤ特定部、行動特定部、位置関係特定部、販促決定部、販促反応特定部、表示装置決定部それぞれの機能を分散して備えてもよい。この場合、複数のコンピュータは、通信回線を通じて情報の送受信をしてもよく、あるいは、可搬記憶媒体を用いて情報の譲受をしてもよい。
【０２９７】
さらにまた、本システム（本装置）は、少なくとも、ＩＤ特定処理と行動特定処理とを実行すればよい。すなわち、例えば、本システム（本装置）は、表示装置実行処理と販促ＩＤ実行処理と反応特定処理のうち、一部または全部の処理を実行しなくてもよい。また、本システム（本装置）は、ＩＤ特定処理と行動特定処理と表示装置実行処理と販促ＩＤ実行処理と反応特定処理と更新処理それぞれを並列に処理してもよく、あるいは、連続して処理してもよい。
【０２９８】
さらにまた、本システム（本装置）は、行動特定処理と表示装置実行処理と販促ＩＤ実行処理と反応特定処理それぞれを並列に処理しなくてもよい。すなわち、例えば、本システム（本装置）は、表示装置実行処理の後に行動特定処理を実行してもよく、反応特定処理の後に表示装置実行処理を実行してもよい。
【０２９９】
さらにまた、以上説明した実施の形態は、特許請求の範囲に記載される発明の内容を不当に限定するものではない。また、以上説明した実施の形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。
【０３００】
以下、これまで説明した本発明にかかる情報処理装置の特徴をまとめて記載しておく。
【０３０１】
（特徴１）
店（例えば、売場Ｒ）内で利用されるカート（例えば、カート１０）に対応するカートＩＤと、前記カートを利用する顧客（例えば、客Ｈｍ）に対応する顧客ＩＤ（例えば、利用者ＩＤ）と、を取得するＩＤ取得部（例えば、ＩＤ取得部４３１）と、
前記カートＩＤと、前記顧客ＩＤと、が関連付けられて記憶される記憶部（例えば、記憶部４２）と、
前記店内を撮像する撮像装置（例えば、撮像装置２０）により前記カートＩＤに対応する識別標識（例えば、識別標識１３）が撮像された撮像画像を取得する画像取得部（例えば、画像取得部４３２）と、
前記撮像画像に撮像された前記識別標識から前記カートＩＤを特定するカートＩＤ特定部（例えば、カートＩＤ特定部４３３）と、
前記撮像画像に撮像された人物（例えば、客Ｈｍ）の前記店内での行動に対応する行動ＩＤを特定する行動特定部（例えば、行動特定部４３４）と、
を有してなり、
前記カートは、前記識別標識を備え、
前記カートＩＤ特定部により特定された前記カートＩＤと、前記行動ＩＤと、が関連付けられて前記記憶部に記憶される、
ことを特徴とする情報処理装置（例えば、情報処理装置４０）。
【０３０２】
（特徴２）
前記カートと前記人物との前記撮像画像内の位置関係を特定する位置関係特定部（例えば、位置関係特定部４３５）、
を有してなり、
前記カートＩＤと前記行動ＩＤとは、前記位置関係に基づいて、前記記憶部に記憶される、
特徴１記載の情報処理装置。
【０３０３】
（特徴３）
前記位置関係特定部は、前記カートの一部と前記人物との前記撮像画像内の位置関係に基づいて、前記カートと前記人物との前記撮像画像内の前記位置関係を特定する、
特徴２記載の情報処理装置。
【０３０４】
（特徴４）
前記行動特定部は、前記撮像画像に撮像された被写体（例えば、棚Ｓｃ）に基づいて、前記行動を特定する、
特徴１記載の情報処理装置。
【０３０５】
（特徴５）
前記行動特定部は、前記被写体と前記人物との前記撮像画像内の位置関係に基づいて、前記行動を特定する、
特徴４記載の情報処理装置。
【０３０６】
（特徴６）
前記人物に報知される販促情報が表示される表示装置（例えば、広告表示装置３０）と通信回線（例えば、ネットワークＮ）を介して接続し、
前記記憶部は、複数の販促情報のそれぞれに対応する販促ＩＤを記憶し、
前記複数の販促情報の中から前記表示装置に表示される前記販促情報に対応する前記販促ＩＤを決定する販促決定部（例えば、販促決定部４３６）、
を有してなり、
前記販促決定部は、前記カートＩＤ特定部により特定された前記カートＩＤに基づいて、前記販促ＩＤを決定する、
特徴１記載の情報処理装置。
【０３０７】
（特徴７）
前記販促決定部は、前記カートＩＤ特定部により特定された前記カートＩＤと関連付けられて前記記憶部に記憶されている前記行動ＩＤに基づいて、前記販促ＩＤを決定する、
特徴６記載の情報処理装置。
【０３０８】
（特徴８）
前記販促決定部は、前記カートＩＤ特定部により特定された前記カートＩＤと関連付けられて前記記憶部に記憶されている前記顧客ＩＤに基づいて、前記販促ＩＤを決定する、
特徴６記載の情報処理装置。
【０３０９】
（特徴９）
前記カートと前記表示装置との前記店内の位置関係を特定する位置関係特定部（例えば、位置関係特定部４３５）、
を有してなり、
前記販促決定部は、前記位置関係に基づいて、前記販促ＩＤを決定する、
特徴６記載の情報処理装置。
【０３１０】
（特徴１０）
前記行動ＩＤは、前記行動ＩＤと関連付けられて前記記憶部に記憶されている前記カートＩＤと関連付けられる前記顧客ＩＤに対応する前記顧客の顧客関連情報として、前記顧客ＩＤに関連付けられて前記記憶部に記憶され、
前記販促決定部は、前記顧客関連情報に基づいて、前記販促ＩＤを決定する、
特徴６記載の情報処理装置。
【０３１１】
（特徴１１）
前記表示装置に表示された前記販促情報に対する前記人物の反応に対応する反応ＩＤを特定する販促反応特定部（例えば、販促反応特定部４３７）、
を有してなり、
前記カートＩＤ特定部により特定された前記カートＩＤと、前記反応ＩＤと、が関連付けられて前記記憶部に記憶される、
特徴６記載の情報処理装置。
【０３１２】
（特徴１２）
前記反応ＩＤは、前記反応ＩＤと関連付けられて前記記憶部に記憶されている前記カートＩＤと関連付けられる前記顧客ＩＤに対応する前記顧客の顧客関連情報として、前記顧客ＩＤに関連付けられて前記記憶部に記憶され、
前記販促決定部は、前記顧客関連情報に基づいて、前記販促ＩＤを決定する、
特徴１１記載の情報処理装置。
【０３１３】
（特徴１３）
複数の表示装置のそれぞれと通信回線を介して接続し、
前記複数の表示装置の中から販促が表示される販促表示装置を決定する表示装置決定部（例えば、表示装置決定部４３８）、
を有してなり、
前記表示装置決定部は、前記カートＩＤ特定部により特定された前記カートＩＤに基づいて、前記販促表示装置を決定する、
特徴１記載の情報処理装置。
【０３１４】
（特徴１４）
前記表示装置決定部は、前記カートＩＤと関連付けられて前記記憶部に記憶されている前記行動ＩＤに基づいて、前記販促表示装置を決定する、
特徴１３記載の情報処理装置。
【０３１５】
（特徴１５）
前記カートは、前記表示装置を備える、
特徴６記載の情報処理装置。
【０３１６】
（特徴１６）
前記表示装置は、前記店内に配置される、
特徴６記載の情報処理装置。
【符号の説明】
【０３１７】
１        情報処理システム
１０      カート（利用物）
１３      識別標識
２０      撮像装置
３０      広告表示装置
３３      表示部（表示装置）
４０      情報処理装置
４２      記憶部
４３１    ＩＤ取得部
４３２    画像取得部
４３３    カートＩＤ特定部
４３４    行動特定部
４３５    位置関係特定部
４３６    販促決定部
４３７    販促反応特定部
４３８    表示装置決定部
【図１】
2020173711.tif 000003
【図２】
2020173711.tif 000004
【図３】
2020173711.tif 000005
【図４】
2020173711.tif 000006
【図５】
2020173711.tif 000007
【図６】
2020173711.tif 000008
【図７】
2020173711.tif 000009
【図８】
2020173711.tif 000010
【図９】
2020173711.tif 000011
【図１０】
2020173711.tif 000012
【図１１】
2020173711.tif 000013
【図１２】
2020173711.tif 000014
【図１３】
2020173711.tif 000015
【図１４】
2020173711.tif 000016
【図１５】
2020173711.tif 000017
【図１６】
2020173711.tif 000018
【図１７】
2020173711.tif 000019
【図１８】
2020173711.tif 000020
【図１９】
2020173711.tif 000021
【図２０】
2020173711.tif 000022
【図２１】
2020173711.tif 000023
【図２２】
2020173711.tif 000024
【図２３】
2020173711.tif 000025
【図２４】
2020173711.tif 000026
【図２５】
2020173711.tif 000027
【図２６】
2020173711.tif 000028
【図２７】
2020173711.tif 000029
【図２８】
2020173711.tif 000030
【図２９】
2020173711.tif 000031