資料2

カメラ画像活用による
人物属性/動線/棚前⾏動取得事例のご紹介
2016年 10月 24日
日本電気株式会社

人物属性/動線/棚前⾏動取得技術とは▌店舗内に設置された既設、または新設のカメラやセンサを用いて、来店者の人数、年齢・性別や移動経路、棚前での⼿の動きを取得する技術です。
店舗入り口(店内側)
カメラ3

店舗内全体
カメラ

人物属性取得人物動線取得人数、年齢・性別

移動経路、滞留時間© NEC Corporation 2016

NEC Confidential

特定の棚前専用センサ(ステレオカメラ等)

人物棚前⾏動取得
商品接触、商品保持

属性取得技術概要▌人物の顔を認識し、認識領域に対してパターン照合を⾏い、人物の年齢、性別を推定する技術です。
属性取得の流れ

特徴量データ11111,001…11101

・・・①顔に寄ったカメラ画像を入⼒②画像中の顔領域をサーチして切りだす

11111,001…11101

・・・

照合用サンプルをDBに保持照合、判断プログラム

照合、判断プログラム

今回の特徴量は、30代⼥性の特徴量と最も合致特徴量照合用
DB④照合用DBと特徴量データを照合する⑤照合結果により、年齢性別を推定し、特徴量データは破棄③切り出した顔領域を特徴量データに変換し、使用した画像は破棄
人数、属性データ
ID001,時刻,30,0ID002,時刻,20,1ID003,時刻,50,1ID004,時刻,30,0ID005,時刻,60,1・・・⑥推定結果をテキストデータとして保存
使用画像は、弊社資料上への利用許諾済みの人物の画像です4© NEC Corporation 2016

NEC Confidential人数、属性データの解釈例▌人数、属性データの解釈例
ID、時刻で集計・時間帯ごとの入場者(退場者)の把握
ID、性別で集計・来店者の性別毎の人数構成比の把握
ID、年齢で集計・来店者の年齢毎の人数構成比の把握

5© NEC Corporation 2016

NEC Confidential

動線取得技術概要▌動体領域の認識と頭部領域のマッチング、動きの予測によって人物を追跡する技術です。
動線取得の流れ←動体領域認識

頭部検知→①斜め上から⾒下ろしたカメラ
画像を入⼒②動体領域を認識し、領域に対して頭部検知し、人物判断③人物と判断した動体を追跡対象とする

動線データ
ID010,時刻,255,456
ID010,時刻,256,457
ID010,時刻,257,457
ID010,時刻,257,458
ID010,時刻,258,459
・・・

ID010,(551,223)④追跡対象の足元を推定し、座標化する。座標化した画像は破棄⑤マップ上の座標に変換後、座標群としてテキストデータを保存
使用画像は、弊社資料上への利用許諾済みの人物の画像です6© NEC Corporation 2016

NEC Confidential

動線データの解釈例▌動線データの解釈例
ID毎に座標変化を連続描画
・個々の動線の把握

特定の範囲内毎の座標数の集計
・通過状況/混雑状況の把握

7© NEC Corporation 2016

NEC Confidential

棚前⾏動取得技術概要▌距離情報から⽴体物を認識し、人物判定や⼿の動作を判定する技術です。
棚前⾏動取得の流れ①真上からのステレオ画像※等を入⼒(465,187,301)

ID020,(412,352)④判定された人物や⼿伸ばし位置を座標化②距離情報に変換

棚前⾏動データ
ID020,時刻,412,352,465,187,301
ID020,時刻,412,352,465,187,302
ID020,時刻,412,353,465,184,300
ID020,時刻,413,353,464,184,299
ID020,時刻,410,360,455,201,287
・・・③距離情報から⽴体を認識し、人物判定や⼿伸ばし判定を⾏う※ステレオ画像とは...
２眼レンズのカメラで視野の若⼲異なる画像を同時に撮影したものです。
人間の目の原理と同様、視差を利用して、距離を取得することが出来ます。

⑤座標群をテキストデータで保存し、距離情報は破棄
使用画像は、弊社資料上への利用許諾済みの人物の画像です8© NEC Corporation 2016

NEC Confidential

棚前⾏動データの解釈例▌棚前⾏動データの解釈例
商品該当箇所毎に⼿伸ばし回数を集計
・棚内商品への接触回数の把握

1 45 2 3 2 1 . 1 1 3 3 0 088339© NEC Corporation 2016

NEC Confidential

363.

2 .

3.

2.

.

113.

1 . 4 2 1 2

1 1 1 1

1

ID毎に商品該当箇所の⼿伸ばし回数を集計
・来店者毎の商品興味の推定

3.

. .

134.

1 11.

.

3221 .

.

ID001,ドリンクA,ドリンクB,ドリンクC
ID002,ドリンクA,ドリンクD
ID003,ドリンクA,ドリンクF
ID004,ドリンクB,ドリンクF
ID005,ドリンクA・・・

システム上の実装方式▌ 属性/動線/棚前⾏動取得プログラムは、⼀時メモリ上で動作し、画像の取得、解析、破棄においても⼀時メモリ上で完了する実装としています。
パソコン、サーバ(コンピュータ)
一時メモリ(RAM)
カメラ属性/動線/棚前⾏動取得プログラム②画像取得コマンド
③画像送信

画像取得
プログ
ラム

④画像⼊⼒

保存領域(ハードディスク)
Ethernet

10© NEC Corporation 2016

⑤⼊⼒画像の解析

解析エンジン・特徴量化、座標化、距離情報化、テキストデータ化⑥テキストデータ保存①プログラムのロード

属性/動線/棚前⾏動
取得プログラム

NEC Confidential

ID020,時刻,412,352,465,187,301
ID020,時刻,412,352,465,187,302
ID020,時刻,412,353,465,184,300
ID020,時刻,413,353,464,184,299
ID020,時刻,410,360,455,201,287・・・⑦特徴量データ/画像/
距離情報破棄(一時メモリから消去)

来店者の属性/⾏動取得が求められる背景▌ 市場の成熟、消費者のニーズ・購買⾏動の多様化に伴い、画⼀的な/旧来のISM(インストアマーチャンダイジング)効果の低減▌ 顧客満足度や顧客経験価値向上のため、①「購買された結果」だけではなく「購買前の⾏動、状態」や「非購買者の⾏動、状態」の定量的な可視化、分析による品揃え/商品配置/レイアウト/プロモーション等の仮説 検証が必要となっている②来店客の「購買前の⾏動、状態」に基づいたオペレーション最適化が必要となっている

POS
データ

来店

⽴⽌り

回遊

検討

購買前の⾏動・状態/非購買者の⾏動・状態

購買された結果

カメラ/センサを活用した解析技術により定量的なデータ取得が可能
顧客満足度の低下/低い顧客経験価値

品切れで欲しい商品が買えなかった11

どの商品もピンとこない

レジで待たされる欲しい商品がどこにあるか分からない© NEC Corporation 2016

購入

聞きたいのに店員がいない
NEC Confidential

分析
属性/
⾏動
データ

仮説検証
オペレーション最適化

従来より取得可能
旧来のISM考案のメイン
顧客満足度向上/高い顧客経験価値
楽しい買い物ができた
興味の湧く商品がたくさんあった

レジ待ち無し！

(ご参考) POSとID-POSの違い▌POSデータは個人を識別することが出来ないデータ。ID-POSデータは、会員情報DB等と組み合わせて個人識別が可能な情報(=ID)が格納されているデータ。
POSデータ

ID-POSデータ
会員カード、ポイントカード等

・年⽉⽇：20160727
・時刻：16:45
・購入商品：
パンA 120円 1個
パンB 150円 1個ドリンクC 130円 2個

会員番号をキーにして会員情報DB等と照らし合わせると「誰が買った」の把握が可能

・店舗名
・レジ番号
・店員ID ・・・
12

© NEC Corporation 2016

NEC Confidential

・会員番号：0018755
・年⽉⽇：20160727
・時刻：16:45
・購入商品：
パンA 120円 1個
パンB 150円 1個ドリンクC 130円 2個
・店舗名
・レジ番号
・店員ID ・・・

適用ケース①

来店者人数、属性取得
COCN案 タイプ0想定▌目的①オペレーション改善によるレジ混雑の緩和②オペレーション改善による人員最適配置によるフロア内作業効率化▌概要
来店者人数と年齢・性別から、店内での平均滞在時間、滞在人数を推測し、レジ到達人数を予測。レジ到達人数の予測から、⼀定の混雑人数となりそうな時間帯を予測し、レジ対応従業員の人数を最適化し、来店者のレジ待ち時間を低減する。
レジが混雑しない時間は、フロア内作業（清掃や品出し、整列等）を優先的に⾏うよう従業員配置し、店内環境向上、欠品防⽌を図る。

▌データの生成と保持
入店時に撮影した画像から特徴量データを生成（画像は即時破棄）
特徴量データから人物属性を推定、混雑予測に反映した後で破棄
清掃
清掃

レジ

品出し

清掃

レジ

品出し

清掃

レジ

品出し

清掃

レジ

清掃

レジ

品出し
品出し

© NEC Corporation 2016

NEC Confidential

品出し
品出し
レジ

清掃

滞在時間
過去履歴DB

13

レジ

清掃
レジ

品出し

適用ケース②

属性、動線、棚前⾏動取得
COCN案 タイプ1想定▌目的

最適な品揃えや棚割、レイアウト変更等による顧客満足度や顧客経験価値の向上▌概要
来店者の属性や移動経路、滞留箇所、棚前での商品選定の特性を定量的に取得し分析する
ことにより、通過困難場所や利用されにくい通路、アクセスされていない棚や商品を把握し、品揃えや棚割り、レイアウトの変更等を実施し、属性毎に求める商品への容易なアプローチを促すことで顧客満足度や顧客体験の向上を図る。

▌データの生成と保持
入店時に撮影した画像から特徴量データを生成（画像は即時破棄）
特徴量データは、対象者が退店するまで保持
データ
集計

・・・14

© NEC Corporation 2016

データ
分析
⾏動データ
DBNEC ConfidentialID001
・30代
・⼥性
・通路A→通路C→通路E→・・・
・棚F：35秒
棚S：28秒・棚Fの商品Aを保持
・棚Sの商品Kを保持

適用ケース③

属性、動線、棚前⾏動取得＋POSデータ
COCN案 タイプ1?

▌目的最適な品揃えや棚割、レイアウト変更等による顧客満足度や顧客経験価値の向上▌概要
来店者の属性や移動経路、滞留箇所、棚前での商品選定の特性に加え、POSによる売上実績データ(IDは無し)と、レジ前まで到達し停⽌した動線を後から時間で突合。より深化した、インストアマーチャンダイジングの仮説検証を実施し、顧客満足度や顧客体験の向上を図る。

▌データ生成と保持
入店時に撮影した画像から特徴量データを生成（画像は即時破棄）
特徴量データは、対象者が退店するまで保持
データ
集計

・・・15

© NEC Corporation 2016

データ
分析
⾏動データ
DBPOS
データ
NEC ConfidentialID001
・30代
・⼥性
・通路A→通路C→通路E→・・・
・棚F：35秒
棚S：28秒・棚Fの商品Aを保持
・棚Sの商品Kを保持
・17時45分にレジ前停止

適用ケース④

属性取得＋リピーター判定
COCN案 タイプ2想定▌目的より個々の来店者の嗜好に合わせた品揃えの拡充やプロモーション施策による顧客満足度、顧客経験価値の向上▌概要
属性取得時の「特徴量データ」を破棄せず⼀定期間保持することで、来店者のリピートの把握が可能（個人特定は不可）。リピーターの属性や来店時間帯を把握することで、より来店者の嗜好に則した品揃えやプロモーション（買い合わせ割引等）を検討、実施することにより、顧客満足度、顧客体験の向上を図る。

▌データ生成と保持
入店時に撮影した画像から特徴量データを生成（画像は即時破棄）
特徴量データを⼀定期間保持（取り扱い商品により期間は様々であると想定）
ID0001さんをはじめ、日曜日にはリピーターが多い

ID000111111,001…1

特徴量
テンポラリDB

照合プログラム

・・・・・・・・・・・・

照合結果

POS
データ
16

© NEC Corporation 2016

データ
集計
データ分析

※本適用ケースは、要望あるものの実施には慎重姿勢
NEC Confidential

システムの運用について▌ 属性/動線/棚前⾏動取得を実施させていただく場合、プライバシー配慮および情報セキュリティの観点から、以下の点に留意してシステムの設置、運用をお願いしております。

店外(店舗入口、Web)
カメラ画像による属性取得実施のご案内
・・・・・・・・・・・・・・・・・・・・・

実施告知文
掲示のお願いカメラ

デフォルトパスワード
変更設定
NWはローカルのみ（店内に閉じる）

店内目的外利用の明示のお願い（「マーケティング用カメラ」等）
Ethernet（可搬容易な場合）セキュ
リティワイヤ取付またはセキュリティボックス内設置

コンピュータバックヤード等、不特定多数が接触できない場所への設置指定された作業者以外操作、データアクセス不可

店舗、本部での問合せ対応体制の構築のお願い
17© NEC Corporation 2016

NEC Confidential

実施関係者

(ご参考) 公知⽂例 - 店舗内
ご案内
当店では、カメラ映像を元にお客様の来店・混雑状況を推定し、一層のサービス向上に役⽴てる実証実験を実施しております。
カメラの映像は保存せず、個人が特定できない数値データに即時変換し分析を⾏っています。
〜 ※注釈 〜
・映像から推定している情報は【滞留状況、流れ、来店者数、性別、年齢、商品保持状態】となります。
・詳細は以下のホームページでご覧頂けます。
URL：WWW//●●●●●●●●●●●●●●●●●●●

18© NEC Corporation 2016

NEC Confidential

(ご参考) 公知⽂例 - Web上
(お客様会社名)では、お客様への一層のサービス向上を実現するため、店舗内カメラの映像を元にお客様のご来店状況を分析する実証実験を⾏っています。
店舗内カメラの映像は、即時に数値データに変換し、分析を⾏います。
映像から分析している数値データは、お客様の滞留状況、流れ、来店者数、性別、年齢、商品保持状態をそれぞれ推定したデータとなります。
数値データおよび分析結果には、個人を特定可能な情報は含まれません。
・データ取得期間：1/xx〜1/xx
・データ取得場所：○○○・データ取得用カメラ台数： 台
本件に関するお問い合わせ先 xxx@xxxx.com

19© NEC Corporation 2016

NEC Confidential