(57)【要約】【課題】装置設置の手間とコストを低くする。【解決手段】動き算出部１０３は、棚周辺カメラ１０１で撮影された画像を複数のブロックに分割し、ブロック毎の撮影画像の動きを算出する。棚領域推定部１０８は、ブロック毎の撮影画像の動きの所定方向の大きさを積算して積算値を算出し、２つに分割された領域の各積算値の平均の差と積算値に基づいて棚領域を推定する。棚領域進入判定部１０６は、棚領域進入判定部１０６は、人物領域情報と棚領域情報とに基づき、人物の一部が棚領域に進入したか否かを判定する。領域差分計算部１０９は棚領域に進入する前の時刻と進入後の時刻との領域差分を計算する。顧客興味判定部１１０は、領域差分が大きい時に人物が棚の商品に興味があると判定する。【選択図】図１
2012173903.tif 000002
【特許請求の範囲】
【請求項１】
監視対象の棚を含む所定範囲の領域の撮影画像の領域を複数のブロックに分割し、各ブロック毎の前記撮影画像の動きを算出する動き算出手段と、
前記ブロック毎の前記撮影画像の動きの所定方向の大きさを積算して積算値を算出し、前記複数のブロックのうち前記所定方向と直交する方向に隣接する２つのブロックのうち一方のブロックからなる第１の領域の前記積算値の平均と他方のブロックからなる第２の領域の前記積算値の平均との差が最も大きく、かつ、前記積算値の平均が小さな方のブロックからなる領域を棚領域と推定する棚領域推定手段と、
前記撮影画像から人物を検出する人物検出手段と、
前記人物の一部が前記棚領域に進入したことを判定する棚領域進入判定手段と、
前記棚領域進入判定手段により前記人物の一部が前記棚領域に進入したと判定された時刻より前と後の時刻における前記棚領域の撮影画像の差分を計算する領域差分計算手段と、
前記領域差分計算手段により計算された前記棚領域の撮影画像の差分が予め設定した閾値より大きいときに、前記人物が前記棚の商品に興味があると判定する顧客興味判定手段と
を備えることを特徴とする棚監視装置。
【請求項２】
監視対象の棚を含む所定範囲の領域の撮影画像の領域を複数のブロックに分割し、各ブロック毎の前記撮影画像の動きを算出する動き算出手段と、
前記ブロック毎の前記撮影画像の動きの所定方向の大きさを積算して積算値を算出し、前記複数のブロックのうち前記所定方向と直交する方向に隣接する２つのブロックのうち一方のブロックからなる第１の領域の前記積算値の平均と他方のブロックからなる第２の領域の前記積算値の平均との差が最も大きく、かつ、前記積算値の平均が小さな方のブロックからなる領域を棚領域と推定する棚領域推定手段と、
前記撮影画像から人物を検出する人物検出手段と、
前記人物の一部が前記棚領域に進入したことを判定する棚領域進入判定手段と、
前記棚の周辺位置にいる前記人物の視線を検出する視線検出手段と、
前記棚領域進入判定手段により前記人物の一部が前記棚領域に進入したと判定され、かつ、前記視線検出手段により前記人物の視線が前記棚方向に向いていると検出されたときに、前記人物が前記棚の商品に興味があると判定する顧客興味判定手段と
を備えることを特徴とする棚監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は棚監視装置に係り、特に顧客が小売店舗等の商品陳列棚に陳列されている商品に対して興味を持ったか否かを監視する棚監視装置に関する。
【背景技術】
【０００２】
小売店舗等の商品陳列棚において、特に、一般にＰＯＰ（Point Of Purchase advertising）と呼ばれる商品広告を設置している場合に、顧客が商品に対して興味を持ったかどうかを調べることは、ＰＯＰ設置の効果や商品陳列の良し悪しを判断するために重要である。従来、そのような顧客興味を検出するための技術が知られている。
【０００３】
例えば、特許文献１には、商品棚、及び商品棚の周辺に位置する顧客を撮影した映像に基づき、顧客が商品棚の前方に滞留した時間、及び顧客の身体の一部が商品棚内に進入したことを検出して、顧客が商品を手に取ったことを判定する顧客動作分析装置が提案されている。この顧客動作分析装置によれば、顧客による商品の購入行動を検出できるので、顧客が商品に興味を持ったことを判定できる。
【０００４】
また、例えば、特許文献２には、商品に付設した変位検出センサにより、商品棚における商品変位を検出し、顧客が商品を手に取ったことを判定する商品陳列状態監視システムが提案されている。この商品陳列状態監視システムによれば、顧客による商品の購入行動を検出できるので、顧客が商品に興味を持ったことを判定できる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−０４８４３０号公報
【特許文献２】特開２００９−２３７６９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載されている顧客動作分析装置では、商品棚、及び商品棚の周辺に位置する顧客を撮影した映像において、商品棚に該当する領域を予め設定しておき、顧客の身体の一部が商品棚内に進入したことを検出している。そのため、顧客動作分析装置を小売店舗等に設置する際に、映像における商品棚の領域を設定する手間がかかることが課題である。
【０００７】
また、特許文献２に記載されている商品陳列状態監視システムでは、商品の一つ一つに変位検出センサを付設し、商品変位を検出している。そのため、変位検出センサ付設の手間とコストがかかることが課題である。
【０００８】
本発明は以上の点に鑑みなされたもので、装置設置の手間とコストを低くすることができる棚監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するため、本発明の棚監視装置は、監視対象の棚を含む所定範囲の領域の撮影画像の領域を複数のブロックに分割し、各ブロック毎の撮影画像の動きを算出する動き算出手段と、ブロック毎の撮影画像の動きの所定方向の大きさを積算して積算値を算出し、複数のブロックのうち所定方向と直交する方向に隣接する２つのブロックのうち一方のブロックからなる第１の領域の積算値の平均と他方のブロックからなる第２の領域の積算値の平均との差が最も大きく、かつ、積算値の平均が小さな方のブロックからなる領域を棚領域と推定する棚領域推定手段と、撮影画像から人物を検出する人物検出手段と、人物の一部が棚領域に進入したことを判定する棚領域進入判定手段と、棚領域進入判定手段により人物の一部が棚領域に進入したと判定された時刻より前と後の時刻における棚領域の撮影画像の差分を計算する領域差分計算手段と、領域差分計算手段により計算された棚領域の撮影画像の差分が予め設定した閾値より大きいときに、人物が棚の商品に興味があると判定する顧客興味判定手段とを備えることを特徴とする。
【００１０】
また、上記の目的を達成するため、本発明の棚監視装置は、監視対象の棚を含む所定範囲の領域の撮影画像の領域を複数のブロックに分割し、各ブロック毎の撮影画像の動きを算出する動き算出手段と、ブロック毎の撮影画像の動きの所定方向の大きさを積算して積算値を算出し、複数のブロックのうち所定方向と直交する方向に隣接する２つのブロックのうち一方のブロックからなる第１の領域の積算値の平均と他方のブロックからなる第２の領域の積算値の平均との差が最も大きく、かつ、積算値の平均が小さな方のブロックからなる領域を棚領域と推定する棚領域推定手段と、撮影画像から人物を検出する人物検出手段と、人物の一部が棚領域に進入したことを判定する棚領域進入判定手段と、棚の周辺位置にいる人物の視線を検出する視線検出手段と、棚領域進入判定手段により人物の一部が棚領域に進入したと判定され、かつ、視線検出手段により人物の視線が棚方向に向いていると検出されたときに、人物が棚の商品に興味があると判定する顧客興味判定手段とを備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、小売店舗等において商品に対する顧客の興味を検出する棚監視装置において、装置を設置するための手間とコストを低くすることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の棚監視装置の第１の実施の形態のブロック図である。
【図２】図１の棚監視装置の設置例を示す図である。
【図３】図１の棚監視装置の棚周辺カメラにより撮影される棚周辺画像の一例を示す図である。
【図４】図１の棚監視装置の棚領域推定部における棚領域推定処理において、予め定められた時間間隔で定期的に動作している棚領域推定処理のうちの１周期分の主要な処理を説明するフローチャートである。
【図５】図１の棚監視装置の棚領域推定部の棚領域推定処理における画面のブロック分割を説明する図である。
【図６】図１の棚監視装置の棚領域進入判定部における棚領域進入判定処理を説明するフローチャートである。
【図７】図１の棚監視装置の顧客興味判定部における顧客興味判定処理を説明するフローチャートである。
【図８】本発明の棚監視装置の第２の実施の形態のブロック図である。
【図９】図８の棚監視装置の設置例を示す図である。
【図１０】図８の棚監視装置の顧客興味判定部における顧客興味判定処理を説明するフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の各実施の形態について図面を参照して詳細に説明する。
【００１４】
（第１の実施の形態）
＜棚監視装置の構成＞
図１は、本発明になる棚監視装置の第１の実施の形態のブロック図を示す。同図に示すように、本実施の形態の棚監視装置１は、棚周辺カメラ１０１と、画像記憶部１０２と、動き算出部１０３と、動き情報記憶部１０４と、人物検出部１０５と、棚領域進入判定部１０６と、棚領域情報記憶部１０７と、棚領域推定部１０８と、領域差分計算部１０９と、顧客興味判定部１１０と、顧客興味情報記憶部１１１と、進入前時刻記憶部１１２とにより構成される。
【００１５】
棚周辺カメラ１０１は、商品棚、及びその周辺の設置領域を撮影するものである。そして、棚周辺カメラ１０１は、撮影した画像を、例えば３０ｆｐｓ、すなわち１秒間に３０フレームの頻度で、撮影時刻と関連付けて画像記憶部１０２に記憶させる。
【００１６】
画像記憶部１０２は、例えばハードディスク等の記憶装置により構成され、棚周辺カメラ１０１から供給される撮影画像と撮影時刻とを関連付けて記憶する。
【００１７】
動き算出部１０３は、例えば１秒等の予め定められた時間間隔で動作し、画像記憶部１０２から画像を読み出し、画像を適切なブロックに分割したときのブロック毎の動き、いわゆるオプティカルフローを算出する。具体的には、画像記憶部１０２に最後に記憶された画像、すなわち最新のフレームと、最後に記憶された画像より予め定められた所定の時間だけ前に記憶された画像、すなわち最新のフレームより予め定められた所定のフレーム数だけ前のフレームとを読み出し、画像を予め定められた所定の大きさのブロックに分割し、ブロックマッチング等のオプティカルフロー算出の既知の手法により動き情報を算出する。そして、動き算出部１０３は、算出した動き情報、すなわち画像のブロック毎の移動の方向と大きさを表すベクトル値を動き情報記憶部１０４に記憶させる。なお、上記の所定の時間、または所定のフレーム数は、動き算出の精度を考慮して適切に定める。また、上記のブロックの所定の大きさは、動き算出の精度を考慮して適切に定める。動き情報記憶部１０４は、例えばハードディスク等の記憶装置により構成され、動き算出部１０３から供給される動き情報を記憶する。
【００１８】
人物検出部１０５は、例えば１／３０秒等の予め定められた時間間隔で動作し、画像記憶部１０２から画像、及び読み出す画像の撮影時刻を読み出し、読み出した画像から人物を検出する。具体的には、例えば、特許文献１に記載の動体検出処理を行い、検出された動体を人物とする。そして、検出された人物について、画像における人物領域情報、及び画像の撮影時刻を棚領域進入判定部１０６に供給する。
【００１９】
棚領域進入判定部１０６は、人物検出部１０５から人物領域情報、及び画像の撮影時刻が供給されると、棚領域進入判定を行う。具体的には、棚領域進入判定部１０６は、棚領域情報記憶部１０７から棚領域情報を読み出し、人物領域情報と棚領域情報とに基づき、人物の一部が棚領域に進入したか否かを判定する。そして、画像の撮影時刻と、進入したか否かを示す情報と、進入した場合には画像における進入した領域を示す情報とを、顧客興味判定部１１０に供給する。棚領域情報記憶部１０７は、例えばハードディスク等の記憶装置により構成され、画像における棚の領域を示す棚領域情報を記憶する。
【００２０】
棚領域推定部１０８は、例えば１日等の予め定められた時間間隔で動作し、棚領域推定処理を行う。そして、棚領域推定部１０８は、推定された画像における棚の領域を示す棚領域情報を棚領域情報記憶部１０７に記憶させる。なお、棚監視装置１を、棚領域推定処理を動作させるためのボタン等の操作手段を備える構成とし、利用者の操作により棚領域推定処理を動作させる構成としてもよい。
【００２１】
領域差分計算部１０９は、棚領域進入判定部１０６により人物の一部が棚領域に進入したと判定された時刻より前と後の時刻における棚領域の撮影画像の差分を計算する。具体的には、領域差分計算部１０９は、顧客興味判定部１１０から差分を計算すべき画像の領域、第１の撮影時刻、及び第２の撮影時刻が供給されると、供給された第１の撮影時刻及び第２の撮影時刻のそれぞれの時刻に撮影された第１の画像及び第２の画像を画像記憶部１０２から読み出し、読み出した第１の画像及び第２の画像の顧客興味判定部１１０から供給された領域における差分を計算し、計算した領域差分を顧客興味判定部１１０に供給する。領域差分の計算は、例えば第１の画像及び第２の画像における領域内の画素値の差分値の平均を求めることによって行う。
【００２２】
顧客興味判定部１１０は、棚領域進入判定部１０６から棚領域に進入があること、または進入がないことを示す信号、及び画像の撮影時刻が供給されると、顧客興味判定処理を行う。具体的には、顧客興味判定部１１０は、供給された棚領域に進入したか否かを示す情報が棚領域に進入したことを示す場合には、進入する前の画像の撮影時刻を進入前時刻として進入前時刻記憶部１１２に記憶させる。
【００２３】
更に、顧客興味判定部１１０は、領域差分計算部１０９に差分を計算すべき画像の領域、第１の画像の撮影時刻、及び第２の画像の撮影時刻を供給し、領域差分の計算を指示する。そして、領域差分計算部１０９から供給される画像差分を予め設定された閾値と比較し、その比較結果に応じて商品棚に陳列された商品に対する顧客の興味を判定し、判定した顧客の興味に関する顧客興味情報を顧客興味情報記憶部１１１に記憶させる。
【００２４】
顧客興味情報記憶部１１１は、例えばハードディスク等の記憶装置により構成され、顧客興味判定部１１０から供給される顧客興味情報を記憶する。進入前時刻記憶部１１２は、例えばハードディスク等の記憶装置により構成され、顧客興味判定部１１０から供給される進入前時刻を記憶する。
【００２５】
なお、本実施の形態の棚監視装置１は、画像記憶部１０２と、動き情報記憶部１０４と、棚領域情報記憶部１０７と、顧客興味情報記憶部１１１と、進入前時刻記憶部１１２とを別々の記憶装置として構成しているが、各々の記憶部を部分的に共用したり、全ての記憶部を１つの記憶装置で共用したりする構成としてもよい。
＜棚監視装置の設置例＞
次に、棚監視装置１を小売店舗等に設置する際の設置の仕方について、具体例を示して説明する。
【００２６】
図２は、本発明になる棚監視装置の第１の実施の形態の設置例を示す。同図において、設置例２は、棚監視装置１による顧客興味検出の対象となる商品が、水平に近い角度の商品棚２０３に陳列されていることを想定している。
【００２７】
このような環境において、棚監視装置１に備えられた棚周辺カメラ１０１を、顧客２０２と商品棚２０３とを同時に撮影できる商品棚２０３の上方に設置する。これにより、棚周辺カメラ１０１による撮影画像には、顧客２０２、顧客２０２が通行する通路、及び商品棚２０３が同時に撮影される。
【００２８】
図３は、棚監視装置１の棚周辺カメラ１０１により撮影される棚周辺画像の一例を示す。図２に示したように棚周辺カメラ１０１を設置することにより、図３に示すように棚周辺画像３は、下部が棚領域画像３０２となり、上部が顧客２０２が通行する通路領域画像３０１となる。なお、顧客２０２が商品棚に手を伸ばす等の動作を行わない限り、棚領域画像３０２に顧客２０２の画像の一部が入ることはない。
＜棚監視装置の作用＞
棚監視装置１は、主に棚領域推定処理と、棚領域進入判定処理と、顧客興味判定処理とを行う。よって以下に、これらの処理について詳細に説明する。
≪棚領域推定処理≫
まず、棚監視装置１の棚領域推定部１０８における棚領域推定処理について図４を参照して説明する。
【００２９】
図４は、棚監視装置１の棚領域推定部１０８における棚領域推定処理において、予め定められた時間間隔で定期的に動作している棚領域推定処理のうちの１周期分の主要な処理を示したフローチャートである。
【００３０】
棚領域推定部１０８は、棚領域推定処理を開始すると、動き情報記憶部１０４から動き情報を読み出す（ステップＳ１０１）。なお、動き情報記憶部１０４には、動き算出部１０３により予め定められた時間間隔で定期的に算出された動き情報が蓄積して記憶されているが、ここではそれらの動き情報を全て読み出す。
【００３１】
次に、棚領域推定部１０８は、動きの横方向の大きさを計算する（ステップＳ１０２）。具体的な計算方法について、以下で図を用いて詳細に説明する。
【００３２】
図５は、棚監視装置１の棚領域推定部１０８の棚領域推定処理における画面のブロック分割の説明図を示す。図５は、図３に示した棚周辺画像３の全画像領域をブロック分割した図で、ブロックに分割したときの横方向ｘのブロック数をＭ、縦方向ｙのブロック数をＮとし、それぞれ１からＭまで、及び１からＮまでの番号を割り振っている。ここで、図５において、時刻ｔにおける横方向ｉ番目、縦方向ｊ番目のブロックの画像の動きが、
［ｘt(i,j)，ｙt(i,j)］
に示すように横方向ｘと縦方向ｙの２次元ベクトルで表されているときに、ｘ軸の値の絶対値｜ｘt(i,j)｜を横方向の大きさとする。ここで、ｉは１からＭまでの自然数であり、ｊは１からＮまでの自然数である。
【００３３】
次に、棚領域推定部１０８は、画面のブロック毎に画像の動きの横方向の大きさを積算する（ステップＳ１０３）。具体的には、ステップＳ１０２で求めたブロック毎の画像の動きの横方向の大きさを、次式
【００３４】
【数１】
2012173903.tif 000003
に示すようにブロック毎の画像を全ての時刻で足し合わせることにより、横方向の大きさの積算値Ａ（ｉ,ｊ）を求める。
【００３５】
次に、棚領域推定部１０８は、縦方向の各ブロック間で画面を上下に分割した場合の各領域の積算値の平均の差を計算する（ステップＳ１０４）。具体的には、図５に示す縦方向のｎ番目のブロックと、ｎ＋１番目のブロックとの間で画面を上下に分割し（ｎ番目のブロックからなる上側の領域とｎ＋１番目のブロックからなる下側の領域とに分割し）、それぞれの領域のステップＳ１０３で求めた動きの横方向の大きさの積算値に基づき、（２）式の計算式で積算値の平均の差を求める。
【００３６】
【数２】
2012173903.tif 000004
そして、１からＮ−１までのそれぞれのｎの値について、上下それぞれの領域の積算値の平均の差を計算する。
【００３７】
次に、棚領域推定部１０８は、ステップＳ１０４で求めた上下領域の積算値の平均の差が最大となる分割位置の下領域を棚領域と判定する（ステップＳ１０５）。すなわち、ステップＳ１０４でｎの値を１からＮ−１まで変化させたときの（２）式の値が最大となるｎを求め、縦方向のｎ＋１番目のブロックから下の領域を棚領域と判定する。これは棚領域では動きが無いから、棚領域の積算値の平均が最も小さく、縦方向のｎ番目のブロックと、ｎ＋１番目のブロックとの間での動きの横方向の大きさの積算値の平均の差が最大となるからである。なお、図５はｎ＝Ｊの例を示している。
【００３８】
次に、棚領域推定部１０８は、ステップＳ１０５で棚領域と判定された画面における棚領域を示す棚領域情報を棚領域情報記憶部１０７に記憶させる（ステップＳ１０６）。
【００３９】
以上の棚領域推定処理により、画面における通路領域は顧客の通行により横方向の動きが大きくなる傾向があるのに比べ、棚領域は横方向の動きが小さくなる傾向があると想定されるため、横方向の動きが小さい領域を判定することにより、棚領域を判定することができる。
【００４０】
なお、ブロック毎の動き、いわゆるオプティカルフローに基づいて画面を分割する方法は、上記のステップＳ１０４及びステップＳ１０５の方法に限定されない。例えば、予め定めた閾値により、ステップＳ１０３で求めた動きの横方向の大きさを積算値が閾値より小さい領域を棚領域と判定するようにしてもよい。
≪棚領域進入判定処理≫
次に、棚監視装置１の棚領域進入判定部１０６における棚領域進入判定処理について図６を参照して説明する。図６は、棚監視装置１の棚領域進入判定部１０６における棚領域進入判定処理のフローチャートを示す。
【００４１】
棚領域進入判定部１０６は、人物検出部１０５から人物領域情報、及び画像の撮影時刻が供給されると棚領域進入判定処理を開始し、棚領域情報記憶部１０７から棚領域情報を読み出す（ステップＳ２０１）。
【００４２】
次に、棚領域進入判定部１０６は、人物検出部１０５から供給された人物領域と、ステップＳ２０１で読み出した棚領域情報が示す棚領域との重なりの大きさを計算する（ステップＳ２０２）。具体的には、人物領域と棚領域とで重なる画素の数を数え、その画素数を大きさとする。
【００４３】
次に、棚領域進入判定部１０６は、ステップＳ２０２で求めた人物領域と棚領域との重なりの大きさが予め定めた閾値以上か否かを判定する（ステップＳ２０３）。重なりの大きさが閾値以上であると判定された場合、ステップＳ２０４へ処理を移行し、重なりの大きさが閾値以上ではない、すなわち閾値より小さいと判定された場合、ステップＳ２０５へ処理を移行する。なお、ここで用いる閾値は、棚領域進入判定の精度を考慮して適切に定める。
【００４４】
ステップＳ２０３で重なりの大きさが閾値以上であると判定された場合、棚領域進入判定部１０６は、画面における人物領域と棚領域とが重なっている領域を進入領域情報とし、人物検出部１０５から供給された画像の撮影時刻と、進入領域情報とともに進入があることを示す信号とを顧客興味判定部１１０に供給する（ステップＳ２０４）。
【００４５】
一方、ステップＳ２０３で重なりの大きさが閾値より小さいと判定された場合、棚領域進入判定部１０６は、人物検出部１０５から供給された画像の撮影時刻と、進入がないことを示す信号とを顧客興味判定部１１０に供給する（ステップＳ２０５）。
≪顧客興味判定処理≫
次に、棚監視装置１の顧客興味判定部１１０における顧客興味判定処理について図７を参照して説明する。図７は、棚監視装置１の顧客興味判定部１１０における顧客興味判定処理のフローチャートを示す。
【００４６】
顧客興味判定部１１０は、棚領域進入判定部１０６から棚領域に進入があること、または進入がないことを示す情報、及び画像の撮影時刻が供給されると顧客興味判定処理を開始し、棚領域に進入があるか否か、すなわち供給された信号が進入があることを示す信号なのか、あるいは進入がないことを示す信号なのかを判定する（ステップＳ３０１）。棚領域に進入があると判定された場合、ステップＳ３０２へ処理を移行し、棚領域に進入がないと判定された場合、ステップＳ３０４へ処理を移行する。
【００４７】
ステップＳ３０１で棚領域に進入があると判定された場合、顧客興味判定部１１０は、前回の顧客興味判定処理におけるステップＳ３０１で棚領域に進入があると判定されたか否かを判定する（ステップＳ３０２）。前回の顧客興味判定処理で棚領域に進入があると判定された場合、顧客興味判定処理を終了し、前回の顧客興味判定処理で棚領域に進入がないと判定された場合、ステップＳ３０３へ処理を移行する。
【００４８】
ステップＳ３０２で前回の顧客興味判定処理で棚領域に進入がないと判定された場合、顧客興味判定部１１０は、今回、棚領域に進入があったと判断し、前回の顧客興味判定処理で棚領域進入判定部１０６から供給された画像の撮影時刻を、進入前時刻として進入前時刻記憶部１１２に記憶させる（ステップＳ３０３）。
【００４９】
一方、ステップＳ３０１で棚領域に進入がないと判定された場合、顧客興味判定部１１０は、前回の顧客興味判定処理におけるステップＳ３０１で棚領域に進入があると判定されたか否かを判定する（ステップＳ３０４）。前回の顧客興味判定処理で棚領域に進入があると判定された場合、ステップＳ３０５へ処理を移行し、前回の顧客興味判定処理で棚領域に進入がないと判定された場合、顧客興味判定処理を終了する。
【００５０】
ステップＳ３０４で前回の顧客興味判定処理で棚領域に進入があると判定された場合、顧客興味判定部１１０は、進入前時刻記憶部１１２から進入前時刻を読み出す（ステップＳ３０５）。続いて、顧客興味判定部１１０は、棚領域差分計算処理を実行する（ステップＳ３０６）。具体的には、棚領域進入判定部１０６から供給された進入領域情報を、棚領域差分を計算すべき領域の情報とし、ステップＳ３０５で読み出した進入前時刻を第１の画像の撮影時刻とし、棚領域進入判定部１０６から供給された画像の撮影時刻を第２の画像の撮影時刻とし、それら棚領域差分を計算すべき領域の情報、第１の画像の撮影時刻、及び第２の画像の撮影時刻を領域差分計算部１０９にそれぞれ供給し、領域差分の計算を指示する。そして、領域差分計算部１０９から供給される進入領域の差分を受信する。
【００５１】
次に、顧客興味判定部１１０は、ステップＳ３０６で領域差分計算部１０９から供給された進入領域の差分が、予め定められた閾値以上であるか否かを判定する（ステップＳ３０７）。進入領域の差分が閾値以上であると判定された場合、ステップＳ３０８へ処理を移行し、進入領域の差分が閾値以上ではない、すなわち閾値より小さいと判定された場合、顧客興味判定処理を終了する。なお、ここで用いる閾値は、顧客が商品棚から商品を手に取ることにより、手に取る前と後との商品棚の画像に生じる違いを考慮して適切に定める。
【００５２】
ステップＳ３０７で進入領域の差分が閾値以上であると判定された場合、顧客興味判定部１１０は、顧客が商品を手に取ったと判定し、顧客が商品に興味があることを示す顧客興味情報を顧客興味情報記憶部１１１に記憶させる（ステップＳ３０８）。
【００５３】
以上の顧客興味判定処理により、顧客が商品に興味があることを示す顧客興味情報が顧客興味情報記憶部１１１に蓄積して記憶されるため、図１には図示しない顧客興味情報読み出し手段により顧客興味情報記憶部１１１から顧客興味情報を読み出し、マーケティング等に利用することができる。
【００５４】
このように、本実施の形態の棚監視装置１によれば、棚周辺カメラ１０１を図２に示したように、顧客２０２と商品棚２０３とを同時に撮影できる商品棚２０３の上方に設置するだけでよいので、特許文献１記載の顧客動作分析装置を小売店舗等に設置する際に、映像における商品棚の領域を設定する場合や、特許文献２に記載の商品陳列状態監視システムのように商品の一つ一つに変位検出センサを付設する場合に比べて、装置を設置するための手間とコストを低くすることができる。
【００５５】
なお、棚監視装置１の顧客興味判定部１１０における顧客興味判定処理は、人物の一部が棚領域に進入する前後の進入領域の画像差分の大きさに基づき、顧客が商品を手に取ったことを判定しているが、画像差分を用いずに商品を手に取ったことを判定する構成としてもよい。その場合、図１の棚監視装置１の構成において、領域差分計算部１０９と、進入前時刻記憶部１１２が不要となる。また、図７の顧客興味判定処理において、ステップＳ３０２と、ステップＳ３０３と、ステップＳ３０５と、ステップＳ３０６と、ステップＳ３０７が不要となる。
【００５６】
なお、本実施の形態の棚監視装置１は、顧客興味判定処理により商品に対する顧客の興味を判定し、顧客興味情報を記憶する構成としているが、マーケティングに利用するためのその他の情報も合わせて記憶するようにしてもよい。例えば、棚周辺カメラ１０１の撮影画像を分析することにより、顧客の棚周辺における滞留時間を計測したり、顧客の年齢や性別等の属性を推定し、顧客興味情報とともに記憶するようにしてもよい。
【００５７】
なお、上述した本実施の形態の棚監視装置１は、コンピュータにインストールした棚監視プログラムを実行させることにより実現することもできる。この棚監視プログラムは、例えば、棚監視プログラムが記憶された記録媒体から読み出され、中央処理装置（ＣＰＵ）で実行されることにより棚監視装置１を構成するようにしてもよいし、通信ネットワークを介して伝送されてインストールされ、ＣＰＵで実行されることにより棚監視装置１を構成するようにしてもよい。
【００５８】
（第２の実施の形態）
次に、本発明になる棚監視装置の第２の実施の形態について説明する。
【００５９】
本実施の形態の棚監視装置は、小売店舗等において商品に対する顧客の興味を検出する棚監視装置に関し、小売店舗等における棚監視装置の設置環境が第１の実施の形態とは異なる例である。
＜棚監視装置の構成＞
図８は、本発明になる棚監視装置の第２の実施の形態のブロック図を示す。同図に示すように、本実施の形態の棚監視装置８は、棚周辺カメラ１０１と、画像記憶部１０２と、動き算出部１０３と、動き情報記憶部１０４と、人物検出部１０５と、棚領域進入判定部１０６と、棚領域情報記憶部１０７と、棚領域推定部１０８と、顔カメラ８０１と、顧客興味判定部８０３と、顧客興味情報記憶部１１１と、視線検出部８０２とにより構成される。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。
【００６０】
図８において、顔カメラ８０１は、顧客の顔周辺を撮影し、撮影した画像を視線検出部８０２に供給する。視線検出部８０２は、顧客興味判定部８０３から顧客の視線検出を指示されると、顔カメラ８０１から供給される画像を解析し、顧客の視線を検出し、検出された視線角度、すなわち顔カメラ８０１の正面に向かう角度を０度とし、正面からの縦方向、及び横方向の視線のずれの角度を顧客興味判定部８０３に供給する。なお、顧客の視線検出には、例えば、特開２００７−２８６９９５号公報に記載されている視線方向計測部における視線方向計測処理の方法を用いることができる。
【００６１】
顧客興味判定部８０３は、棚領域進入判定部１０６から棚領域に進入があること、または進入がないことを示す信号、及び画像の撮影時刻が供給されると、顧客興味判定処理を行う。具体的には、顧客興味判定部８０３は、棚領域進入判定部１０６から棚領域に進入があることを示す信号が供給された場合には、視線検出部８０２に顧客の視線検出を指示する。そして、視線検出部８０２から供給される顧客の視線角度に基づき、商品に対する顧客の興味を判定する。そして、判定された顧客の興味に関する顧客興味情報を顧客興味情報記憶部１１１に記憶させる。
【００６２】
なお、本実施の形態の棚監視装置８は、画像記憶部１０２と、動き情報記憶部１０４と、棚領域情報記憶部１０７と、顧客興味情報記憶部１１１とを別々の記憶装置として構成しているが、各々の記憶部を部分的に共用したり、全ての記憶部を１つの記憶装置で共用したりする構成としてもよい。
＜棚監視装置の設置例＞
次に、棚監視装置８を小売店舗等に設置する際の設置の仕方について、具体例を示して説明する。
【００６３】
図９は、本発明になる棚監視装置の第２の実施の形態の設置例を示す。同図において、設置例９は、本実施の形態の棚監視装置８による顧客興味検出の対象となる商品が、複数の段に商品を陳列することのできる垂直の商品棚９０１の一部の段に陳列されていることを想定している。
【００６４】
このような環境において、棚監視装置８に備えられた棚周辺カメラ１０１を、顧客９０２と商品棚９０１とを同時に撮影できる商品棚９０１の上方の天井に設置する。これにより、棚周辺カメラ１０１による撮影画像には、顧客９０２、顧客９０２が通行する通路、及び商品棚９０１が上方から同時に撮影される。なお、棚周辺カメラ１０１の設置向きは、画像の上部が通路領域となり、下部が棚領域となるような向きにする。すなわち、図９において、棚周辺カメラ１０１の上部が図９の左側に位置するように設置する。
【００６５】
また、棚監視装置８に備えられた顔カメラ８０１を、商品棚９０１の顧客興味検出の対象となる商品が陳列されている段に近接して設置する。これにより、顔カメラ８０１による撮影画像には、顧客興味検出の対象となる商品に視線を向けている顧客９０２の顔がほぼ正面から撮影される。
＜棚監視装置の作用＞
本実施の形態の棚監視装置８は、主に棚領域推定処理と、棚領域進入判定処理と、顧客興味判定処理とを行う。これらのうち、棚領域推定処理、及び棚領域進入判定処理は、第１の実施の形態の棚監視装置１における棚領域推定処理、及び棚領域進入判定処理と同一であるので、説明を省略する。よって以下に、本実施の形態特有の顧客興味判定処理について詳細に説明する。
≪顧客興味判定処理≫
本実施の形態の顧客興味判定処理は、棚監視装置８の顧客興味判定部８０３により行われる。図１０は、本実施の形態の棚監視装置８の顧客興味判定部８０３における顧客興味判定処理のフローチャートを示す。
【００６６】
顧客興味判定部８０３は、棚領域進入判定部１０６から供給される信号が、棚領域に進入があること、または進入がないことを示す情報、及び画像の撮影時刻が供給されると顧客興味判定処理を開始し、棚領域に進入があるか否か、すなわち供給された信号が進入があることを示す信号なのか、あるいは進入がないことを示す信号なのかを判定する（ステップＳ４０１）。棚領域に進入があると判定された場合、ステップＳ４０２へ処理を移行し、棚領域に進入がないと判定された場合、顧客興味判定処理を終了する。
【００６７】
ステップＳ４０１で棚領域に進入があると判定された場合、顧客興味判定部８０３は、視線検出処理を行う（ステップＳ４０２）。具体的には、顧客興味判定部８０３は、視線検出部８０２に顧客の視線検出を指示し、視線検出部８０２から供給される顧客の視線角度を受信する。
【００６８】
次に、顧客興味判定部８０３は、ステップＳ４０２で視線検出部８０２から供給された顧客の視線角度が正面か否かを判定する（ステップＳ４０３）。具体的には、顧客興味判定部８０３は、縦方向及び横方向の視線角度の絶対値が、縦方向及び横方向のそれぞれに対して予め定められた閾値以下であるか否かを判定する。顧客興味判定部８０３は、視線角度が正面である、すなわち縦方向及び横方向の視線角度の絶対値がそれぞれの閾値以下であると判定した場合、ステップＳ４０４へ処理を移行し、視線角度が正面ではない、すなわち縦方向及び横方向の視線角度の絶対値がそれぞれの閾値以下ではない、すなわち閾値より大きいと判定した場合、顧客興味判定処理を終了する。
【００６９】
ステップＳ４０３で視線角度が正面であると判定された場合、顧客興味判定部８０３は、顧客が商品を手に取ったと判定し、顧客が商品に興味があることを示す顧客興味情報を顧客興味情報記憶部１１１に記憶させる（ステップＳ４０４）。
【００７０】
以上の顧客興味判定処理により、顧客が商品に興味があることを示す顧客興味情報が顧客興味情報記憶部１１１に蓄積して記憶されるため、図８には図示しない顧客興味情報読み出し手段により顧客興味情報記憶部１１１から顧客興味情報を読み出し、マーケティング等に利用することができる。
【００７１】
このように、本実施の形態の棚監視装置８によれば、図９に示すように棚周辺カメラ１０１を顧客９０２と商品棚９０１とを同時に撮影できる商品棚９０１の上方に設置し、かつ、顔カメラ８０１を商品棚８０１に設置するだけでよいので、特許文献１記載の顧客動作分析装置を小売店舗等に設置する際に、映像における商品棚の領域を設定する場合や、特許文献２に記載の商品陳列状態監視システムのように商品の一つ一つに変位検出センサを付設する場合に比べて、装置を設置するための手間とコストを低くすることができる。
【００７２】
なお、本実施の形態の棚監視装置８は、顧客興味判定処理により商品に対する顧客の興味を判定し、顧客興味情報を記憶する構成としているが、マーケティングに利用するためのその他の情報も合わせて記憶するようにしてもよい。例えば、棚周辺カメラ１０１の撮影画像を分析することにより、顧客の棚周辺における滞留時間を計測したり、顔カメラ８０１の撮影画像を分析することにより、顧客の年齢や性別等の属性を推定し、顧客興味情報とともに記憶するようにしてもよい。
【００７３】
なお、上述した本実施の形態の棚監視装置８は、コンピュータにインストールした棚監視プログラムを実行させることにより実現することもできる。この棚監視プログラムは、例えば、棚監視プログラムが記憶された記録媒体から読み出され、ＣＰＵで実行されることにより棚監視装置８を構成するようにしてもよいし、通信ネットワークを介して伝送されてインストールされ、ＣＰＵで実行されることにより棚監視装置８を構成するようにしてもよい。
【符号の説明】
【００７４】
１、８  棚監視装置
１０１  棚周辺カメラ
１０２  画像記憶部
１０３  動き算出部
１０４  動き情報記憶部
１０５  人物検出部
１０６  棚領域進入判定部
１０７  棚領域情報記憶部
１０８  棚領域推定部
１０９  領域差分計算部
１１０  顧客興味判定部
１１１  顧客興味情報記憶部
１１２  進入前時刻記憶部
８０１  顔カメラ
８０２  視線検出部
８０３  顧客興味判定部
【図１】
2012173903.tif 000005
【図２】
2012173903.tif 000006
【図３】
2012173903.tif 000007
【図４】
2012173903.tif 000008
【図５】
2012173903.tif 000009
【図６】
2012173903.tif 000010
【図７】
2012173903.tif 000011
【図８】
2012173903.tif 000012
【図９】
2012173903.tif 000013
【図１０】
2012173903.tif 000014