カメラ画像活用による
人物属性/動線/棚前行動取得事例のご紹介
2016年 7月 27日
日本電気株式会社

人物属性/動線/棚前行動取得技術とは▌店舗内に設置された既設、または新設のカメラやセンサを用いて、来店者の人数、年齢・性別や移動経路、棚前での手の動きを取得する技術です。
店舗入り口(店内側)
カメラ

3

店舗内全体
カメラ

人物属性取得人物動線取得人数、年齢・性別

移動経路、滞留時間© NEC Corporation 2016

特定の棚前専用センサ(ステレオカメラ等)

人物棚前行動取得
商品接触、商品保持

属性取得技術概要▌人物の顔を認識し、認識領域に対してパターン照合を行い、人物の年齢、性別を推定する技術です。
属性取得の流れ
特徴量データ11111,001…11101

・・・①顔に寄ったカメラ画像を入力②画像中の顔領域をサーチして切りだす

11111,001…11101

・・・

照合用サンプルをDBに保持照合、判断プログラム

照合、判断プログラム

今回の特徴量は、30代女性の特徴量と最も合致

特徴量
照合用
DB④照合用DBと特徴量データを照合する⑤照合結果により、年齢性別を推定し、特徴量データは破棄③切り出した顔領域を特徴量データに変換し、使用した画像は破棄

人数、属性データ
ID001,時刻,30,0ID002,時刻,20,1ID003,時刻,50,1ID004,時刻,30,0ID005,時刻,60,1・・・⑥推定結果をテキストデータとして保存
使用画像は、弊社資料上への利用許諾済みの人物の画像です4© NEC Corporation 2016

人数、属性データの解釈例▌人数、属性データの解釈例
 ID、時刻で集計・時間帯ごとの入場者(退場者)の把握
 ID、性別で集計・来店者の性別毎の人数構成比の把握
 ID、年齢で集計・来店者の年齢毎の人数構成比の把握

5© NEC Corporation 2016

動線取得技術概要▌動体領域の認識と頭部領域のマッチング、動きの予測によって人物を追跡する技術です。
動線取得の流れ←動体領域認識

頭部検知→①斜め上から見下ろしたカメラ
画像を入力②動体領域を認識し、領域に対して頭部検知し、人物判断③人物と判断した動体を追跡対象とする

動線データ
ID010,時刻,255,456
ID010,時刻,256,457
ID010,時刻,257,457
ID010,時刻,257,458
ID010,時刻,258,459
・・・

ID010,(551,223)④追跡対象の足元を推定し、座標化する。座標化した画像は破棄⑤マップ上の座標に変換後、座標群としてテキストデータを保存
使用画像は、弊社資料上への利用許諾済みの人物の画像です6© NEC Corporation 2016

動線データの解釈例▌動線データの解釈例
 ID毎に座標変化を連続描画
・個々の動線の把握

 特定の範囲内毎の座標数の集計
・通過状況/混雑状況の把握

7© NEC Corporation 2016

棚前行動取得技術概要▌距離情報から立体物を認識し、人物判定や手の動作を判定する技術です。
棚前行動取得の流れ①真上からのステレオ画像※等を入力②距離情報に変換

棚前行動データ(465,187,301)

ID020,(412,352)④判定された人物や手伸ばし位置を座標化

ID020,時刻,412,352,465,187,301
ID020,時刻,412,352,465,187,302
ID020,時刻,412,353,465,184,300
ID020,時刻,413,353,464,184,299
ID020,時刻,410,360,455,201,287
・・・③距離情報から立体を認識し、人物判定や手伸ばし判定を行う※ステレオ画像とは...
２眼レンズのカメラで視野の若干異なる画像を同時に撮影したものです。
人間の目の原理と同様、視差を利用して、距離を取得することが出来ます。

⑤座標群をテキストデータで保存し、距離情報は破棄
使用画像は、弊社資料上への利用許諾済みの人物の画像です8© NEC Corporation 2016

棚前行動データの解釈例▌棚前行動データの解釈例
 商品該当箇所毎に手伸ばし回数を集計
・棚内商品への接触回数の把握

1 4

5 2 3 2 1 . 1 1 3 3 0 088339© NEC Corporation 2016

633.

2 .

3.

2.

.

113.

1 . 4 2 1 2

1 1 1 11

 ID毎に商品該当箇所の手伸ばし回数を集計
・来店者毎の商品興味の推定

3.

. .

134.

1 1

1.

.

32

2

1 .

.

ID001,ドリンクA,ドリンクB,ドリンクC
ID002,ドリンクA,ドリンクD
ID003,ドリンクA,ドリンクF
ID004,ドリンクB,ドリンクF
ID005,ドリンクA・・・

システム上の実装方式▌ 属性/動線/棚前行動取得プログラムは、一時メモリ上で動作し、画像の取得、解析、破棄においても一時メモリ上で完了する実装としています。
パソコン、サーバ(コンピュータ)
一時メモリ(RAM)カメラ

属性/動線/棚前行動取得プログラム②画像取得コマンド
③画像送信

画像取得
プログ
ラム

④画像入力

保存領域(ハードディスク)
Ethernet

10© NEC Corporation 2016

⑤入力画像の解析

解析エンジン・特徴量化、座標化、距離情報化、
テキストデータ化⑥テキストデータ保存①プログラムのロード

属性/動線/棚前行動
取得プログラム

ID020,時刻,412,352,465,187,301
ID020,時刻,412,352,465,187,302
ID020,時刻,412,353,465,184,300
ID020,時刻,413,353,464,184,299
ID020,時刻,410,360,455,201,287・・・⑦特徴量データ/画像/
距離情報破棄(一時メモリから消去)

来店者の属性/行動取得が求められる背景▌ 市場の成熟、消費者のニーズ・購買行動の多様化に伴い、画一的な/旧来のISM(インストアマーチャンダイジング)効果の低減▌ 顧客満足度や顧客経験価値向上のため、①「購買された結果」だけではなく「購買前の行動、状態」や「非購買者の行動、状態」の定量的な可視化、分析による品揃え/商品配置/レイアウト/プロモーション等の仮説 検証が必要となっている②来店客の「購買前の行動、状態」に基づいたオペレーション最適化が必要となっている

POS
データ

来店

立止り

回遊検討

購買前の行動・状態/非購買者の行動・状態

購買された結果

カメラ/センサを活用した解析技術により定量的なデータ取得が可能
顧客満足度の低下/低い顧客経験価値

品切れで欲しい商品が買えなかった11

どの商品もピンとこない

レジで待たされる欲しい商品がどこにあるか分からない© NEC Corporation 2016

聞きたいのに店員がいない

購入

分析
属性/
行動データ

仮説検証
オペレーション
最適化

従来より取得可能
旧来のISM考案のメイン
顧客満足度向上/高い顧客経験価値
楽しい買い物ができた
興味の湧く商品がたくさんあった

レジ待ち無し！

(ご参考) POSとID-POSの違い▌POSデータは個人を識別することが出来ないデータ。ID-POSデータは、会員情報DB等と組み合わせて個人識別が可能な情報(=ID)が格納されているデータ。
POSデータ

ID-POSデータ
会員カード、ポイントカード等

・年月日：20160727
・時刻：16:45
・購入商品：
パンA 120円 1個
パンB 150円 1個ドリンクC 130円 2個・店舗名・レジ番号
・店員ID ・・・12© NEC Corporation 2016

・会員番号：0018755
・年月日：20160727
・時刻：16:45
・購入商品：
パンA 120円 1個
パンB 150円 1個ドリンクC 130円 2個
会員番号をキーにして会員情報DB等と照らし合わせると「誰が買った」の把握が可能

・店舗名
・レジ番号
・店員ID ・・・

適用ケース①

来店者人数、属性取得
COCN案 タイプ0想定▌目的
 ①オペレーション改善によるレジ混雑の緩和
 ②オペレーション改善による人員最適配置によるフロア内作業効率化▌概要
 来店者人数と年齢・性別から、店内での平均滞在時間、滞在人数を推測し、レジ到達人数を予測。レジ到達人数の予測から、一定の混雑人数となりそうな時間帯を予測し、レジ対応従業員の人数を最適化し、来店者のレジ待ち時間を低減する。
 レジが混雑しない時間は、フロア内作業（清掃や品出し、整列等）を優先的に行うよう従業員配置し、店内環境向上、欠品防止を図る。
清掃

レジ

品出し

清掃

レジ

品出し

清掃

レジ

品出し

清掃

レジ清掃© NEC Corporation 2016

レジ品出し
品出し

品出し
品出し
レジ

清掃

滞在時間
過去履歴DB

13

レジ
清掃

清掃
レジ

品出し

適用ケース②

属性、動線、棚前行動取得
COCN案 タイプ1想定▌目的 最適な品揃えや棚割、レイアウト変更等による顧客満足度や顧客経験価値の向上▌概要
 来店者の属性や移動経路、滞留箇所、棚前での商品選定の特性を定量的に取得し分析する
ことにより、通過困難場所や利用されにくい通路、アクセスされていない棚や商品を把握し、品揃えや棚割り、レイアウトの変更等を実施し、属性毎に求める商品への容易なアプローチを促すことで顧客満足度や顧客体験の向上を図る。

データ
集計

・・・14

© NEC Corporation 2016

データ
分析
行動データ
DB

ID001
・30代
・女性
・通路A→通路C→通路E→・・・
・棚F：35秒
棚S：28秒・棚Fの商品Aを保持
・棚Sの商品Kを保持

適用ケース③

属性、動線、棚前行動取得＋POSデータ
COCN案 タイプ1?

▌目的 最適な品揃えや棚割、レイアウト変更等による顧客満足度や顧客経験価値の向上▌概要
 来店者の属性や移動経路、滞留箇所、棚前での商品選定の特性に加え、POSによる売上実績データ(IDは無し)と、レジ前まで到達し停止した動線を後から時間で突合。より深化した、インストアマーチャンダイジングの仮説検証を実施し、顧客満足度や顧客体験の向上を図る。

データ
集計

・・・データ
分析
行動データ
DB

POS
データ
15

© NEC Corporation 2016

ID001
・30代
・女性
・通路A→通路C→通路E→・・・
・棚F：35秒
棚S：28秒・棚Fの商品Aを保持
・棚Sの商品Kを保持
・17時45分にレジ前停止

適用ケース④

属性取得＋リピーター判定
COCN案 タイプ2想定▌目的

 より個々の来店者の嗜好に合わせた品揃えの拡充やプロモーション施策による顧客満足度、顧客経験価値の向上▌概要 属性取得時の「特徴量データ」を破棄せず一定期間保持することで、来店者のリピートの把握が可能（個人特定は不可）。リピーターの属性や来店時間帯を把握することで、より来店者の嗜好に則した品揃えやプロモーション（買い合わせ割引等）を検討、実施することにより、顧客満足度、顧客体験の向上を図る。
ID0001さんをはじめ、日曜日にはリピーターが多い

ID000111111,001…1

特徴量
テンポラリ
DB

照合プログラム

・・・
・・・
・・・
・・・

データ
集計

照合結果

POS
データ
※本適用ケースは、要望あるものの実施には慎重姿勢
16© NEC Corporation 2016

データ分析

システムの運用について▌ 属性/動線/棚前行動取得を実施させていただく場合、プライバシー配慮および情報セキュリティの観点から、以下の点に留意してシステムの設置、運用をお願いしております。

店外(店舗入口、Web)
カメラ画像による属性取得実施のご案内
・・・・・・・・・・・・・・・・・・・・・

実施告知文
掲示のお願いカメラ

デフォルトパスワード
変更設定

NWはローカルのみ（店内に閉じる）

店内目的外利用の明示のお願い（「マーケティング用カメラ」等）
Ethernet（可搬容易な場合）セキュ
リティワイヤ取付またはセ
キュリティボックス内設置

コンピュータバックヤード等、不特定多数が接触できない場所への設置指定された作業者以外操作、データアクセス不可

店舗、本部での問合せ対応体制の構築のお願い
17© NEC Corporation 2016

実施関係者

(ご参考) 公知文例 - 店舗内
ご案内
当店では、カメラ映像を元にお客様の来店・混雑状況を推定し、一層のサービス向上に役立てる実証実験を実施しております。
カメラの映像は保存せず、個人が特定できない数値データに即時変換し分析を行っています。
～ ※注釈 ～
・映像から推定している情報は【滞留状況、流れ、来店者数、性別、年齢、商品保持状態】となります。
・詳細は以下のホームページでご覧頂けます。
URL：WWW//●●●●●●●●●●●●●●●●●●●

18© NEC Corporation 2016

(ご参考) 公知文例 - Web上
(お客様会社名)では、お客様への一層のサービス向上を実現するため、店舗内カメラの映像を元にお客様のご来店状況を分析する実証実験を行っています。
店舗内カメラの映像は、即時に数値データに変換し、分析を行います。
映像から分析している数値データは、お客様の滞留状況、流れ、来店者数、性別、年齢、商品保持状態をそれぞれ推定したデータとなります。
数値データおよび分析結果には、個人を特定可能な情報は含まれません。
・データ取得期間：1/xx～1/xx
・データ取得場所：○○○・データ取得用カメラ台数： 台
本件に関するお問い合わせ先 xxx@xxxx.com

19© NEC Corporation 2016