(57)【要約】  商品分析システム８００は、検出手段８１０と、分類手段８２０と、特定手段８３０とを備えている。検出手段８１０は、商品棚が撮影された映像から商品棚の変化領域を検出する。分類手段８２０は、検出された変化領域における商品棚の変化を分類する。特定手段８３０は、変化の分類に基づいて、顧客が商品に興味を持ったが購入しなかった頻度を特定する。
2019171574.tif 000002
【特許請求の範囲】
【請求項１】
商品棚が撮影された映像から前記商品棚の変化領域を検出する検出手段と、
検出された変化領域における前記商品棚の変化を分類する分類手段と、
前記変化の分類に基づいて、顧客が商品に興味を持ったが購入しなかった頻度を特定する特定手段とを備えた
ことを特徴とする商品分析システム。
【請求項２】
商品棚を撮影した映像を表示する表示手段を備え、
前記表示手段は、商品棚を撮影した映像に対して、顧客が商品に興味を持ったが購入しなかった頻度に応じた態様の画像を重畳して表示する
請求項１記載の商品分析システム。
【請求項３】
表示手段は、商品棚を撮影した映像に対して、顧客が商品に興味を持ったが購入しなかった頻度に応じた態様の画像を変化領域に重畳して表示する
請求項２記載の商品分析システム。
【請求項４】
分類手段は、商品棚の変化を、当該商品棚から商品を取ったことによる変化、当該商品棚に商品が配置されたことによる変化、または、当該商品棚に配置された商品の位置をずらしたことによる変化、のいずれかに分類し、
特定手段は、商品棚に商品が配置されたことによる変化、または、商品棚に配置された商品の位置をずらしたことによる変化が生じた当該商品を対象に、顧客が商品に興味を持ったが購入しなかった頻度を特定する
請求項１から請求項３のうちのいずれか１項に記載の商品分析システム。
【請求項５】
特定手段は、商品棚の変化の分類と、当該商品棚の棚割り情報とに基づいて、顧客が興味を持ったが購入されなかった商品を特定する
請求項１から請求項４のうちのいずれか１項に記載の商品分析システム。
【請求項６】
特定手段は、特定した商品を当該商品のカテゴリまたは当該商品を陳列する領域ごとに頻度を特定する
請求項５記載の商品分析システム。
【請求項７】
特定手段は、商品棚から商品を取ったことによる変化が生じた当該商品を対象に、顧客が商品を購入した頻度を特定し、
表示手段は、顧客が商品を購入した頻度と顧客が商品に興味を持ったが購入しなかった頻度とを区別可能な態様の画像を変化領域にそれぞれ重畳させて表示する
請求項２または請求項３記載の商品分析システム。
【請求項８】
表示手段は、商品棚を撮影した映像に対して、顧客が商品に興味を持ったが購入しなかった頻度に応じた色の画像を変化領域に重畳して表示する
請求項２、請求項３または請求項７記載の商品分析システム。
【請求項９】
商品棚が撮影された映像から前記商品棚の変化領域を検出し、
検出された変化領域における前記商品棚の変化を分類し、
前記変化の分類に基づいて、顧客が商品に興味を持ったが購入しなかった頻度を特定する
ことを特徴とする商品分析方法。
【請求項１０】
コンピュータに、
商品棚が撮影された映像から前記商品棚の変化領域を検出する検出処理、
検出された変化領域における前記商品棚の変化を分類する分類処理、および、
前記変化の分類に基づいて、顧客が商品に興味を持ったが購入しなかった頻度を特定する特定処理
を実行させるための商品分析プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顧客が興味を持つ商品を分析する商品分析システム、商品分析方法および商品分析プログラムに関する。
【背景技術】
【０００２】
コンビニエンスストアやスーパーマーケットなどの商品の販売店舗において、顧客が興味を示す商品を把握することは重要である。また、顧客が興味を示す商品だけでなく、顧客の興味を引くような商品の陳列位置を把握できれば、商品の売上増加につながる可能性がある。【０００３】
顧客が実際に購入した商品は、顧客が興味を示す商品として把握することが可能である。一方、顧客が興味を示していても購入に至らなければ、その商品を把握することは難しい。そこで、商品が置かれた商品棚に対する顧客の動向を把握することで、顧客の興味を把握する方法が各種提案されている。【０００４】
例えば、特許文献１には、店舗レイアウトを評価する方法が記載されている。特許文献１に記載された方法では、店舗に設置される商品棚の画像を取得し、センサや画像を用いて取得した商品棚の近辺において来店者がとった行動の統計をグラフィック等で表示する。【０００５】
また、撮影画像の背景情報に基づいて、前景領域を検出する背景差分方が特許文献２および非特許文献１に記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】国際公開第２０１５／０４０６６１号
【特許文献２】特開２００８−１７６５０４号公報
【非特許文献】
【０００７】
【非特許文献１】Ｚｏｒａｎ  Ｚｉｖｋｏｖｉｃ、「Ｉｍｐｒｏｖｅｄ  Ａｄａｐｔｉｖｅ  Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ  ｆｏｒ  Ｂａｃｋｇｒｏｕｎｄ  Ｓｕｂｔｒａｃｔｉｏｎ」、Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  １７ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  （ＩＣＰＲ’０４）、米国、ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ、２００４年８月、Ｖｏｌｕｍｅ２−Ｖｏｌｕｍｅ０２、ｐ．２８−３１
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に記載された方法では、万引き防止用のタグで商品の把持を検出するセンサや、手伸ばし（陳列された商品に対して手を伸ばす行為）および来店者の接近に関する人感センサを用いて、手伸ばし回数を算出する。しかし、顧客の行動に着目した場合、商品棚に手を伸ばす行為には、商品棚の商品を手に取った行為だけでなく、商品棚に取った商品を戻す行為も含まれる。そのため、特許文献１に記載された方法では、これらの違いを把握することは困難である。【０００９】
また、特許文献１に記載された方法では、顧客の行動を把握するための設備導入やタグの導入が必要になり、コストが高くなってしまうという問題がある。【００１０】
そこで、本発明は、顧客が購入に至らなかった商品に対しても、顧客が興味を示す商品を分析できる商品分析システム、商品分析方法および商品分析プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の商品分析システムは、商品棚が撮影された映像から商品棚の変化領域を検出する検出手段と、検出された変化領域における商品棚の変化を分類する分類手段と、変化の分類に基づいて、顧客が商品に興味を持ったが購入しなかった頻度を特定する特定手段とを備えたことを特徴とする。【００１２】
本発明の商品分析方法は、商品棚が撮影された映像から商品棚の変化領域を検出し、検出された変化領域における商品棚の変化を分類し、変化の分類に基づいて、顧客が商品に興味を持ったが購入しなかった頻度を特定することを特徴とする。【００１３】
本発明の商品分析プログラムは、コンピュータに、商品棚が撮影された映像から商品棚の変化領域を検出する検出処理、検出された変化領域における商品棚の変化を分類する分類処理、および、変化の分類に基づいて、顧客が商品に興味を持ったが購入しなかった頻度を特定する特定処理を実行させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、顧客が購入に至らなかった商品に対しても、顧客が興味を示す商品を分析できる。
【図面の簡単な説明】
【００１５】
【図１】商品分析システムの第１の実施形態の構成例を示すブロック図である。
【図２】商品分析システム１の利用シーンの例を示す説明図である。の利用シーンの例を示す説明図である。
【図３】画像処理装置１００の構成例を示すブロック図である。
【図４】棚割り情報の例を示す説明図である。
【図５】変化領域に重み付けした例を示す説明図である。
【図６】頻度に応じたヒートマップ表示の例を示す説明図である。
【図７】頻度を別領域に表示する例を示す説明図である。
【図８】店舗マップから商品棚を表示する例を示す説明図である。
【図９】商品カテゴリの一覧から商品棚を表示する例を示す説明図である。
【図１０】分類装置１０の例を示すブロック図である。
【図１１】検出部１２０Ａの動作例を示す説明図である。
【図１２】第一の例における画像処理装置１００の動作例を示すフローチャートである。
【図１３】分類結果の例を示す説明図である。
【図１４】画像処理装置１００に含まれる分類装置１０の他の例を示すブロック図である。
【図１５】第二の例における画像処理装置１００の動作例を示すフローチャートである。
【図１６】画像処理装置１００に含まれる分類装置１０の他の例を示すブロック図である。
【図１７】第三の例における分類装置１０を備える画像処理装置１００の動作例を示すフローチャートである。
【図１８】画像処理装置１００に含まれる分類装置１０の他の例を示すブロック図である。
【図１９】第四の例における分類装置１０を備える画像処理装置１００の動作例を示すフローチャートである。
【図２０】画像処理装置１００に含まれる分類装置１０の他の一例を示すブロック図である。
【図２１】第五の例における分類装置１０を備える画像処理装置１００の動作例を示すフローチャートである。
【図２２】画像処理装置１００に含まれる分類装置１０の他の一例を示すブロック図である。
【図２３】第六の例における分類装置１０を備える画像処理装置１００の動作例を示すフローチャートである。
【図２４】前景領域検出部１２１の動作例を説明する説明図である。
【図２５】前景領域検出部１２１の動作例を説明する説明図である。
【図２６】前景領域検出部１２１の動作例を説明する説明図である。
【図２７】本発明による商品分析システムの概要を示すブロック図である。
【図２８】各装置の各構成要素を実現する情報処理装置のハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態を図面を参照して説明する。
【００１７】
［第１の実施形態］
図１は、本発明に商品分析システムの第１の実施形態の構成例を示すブロック図である。本実施形態の商品分析システム１は、画像処理装置１００と、撮像装置２と、出力装置３とを備えている。画像処理装置１００は、撮像装置２および出力装置３と通信可能に接続している。
【００１８】
なお、本実施形態では、画像処理装置１００が、撮像装置２および出力装置３と別個の構成であるとして説明を行う。ただし、画像処理装置１００は、撮像装置２に内蔵される構成であってもよいし、出力装置３に内蔵される構成であってもよい。また、撮像装置２は、複数であってもよい。また、撮像装置２が撮像する映像は、動画像であってもよいし、連続する静止画像であってもよい。
【００１９】
出力装置３は、例えば、ディスプレイなどの表示装置であってもよいし、ＰＯＳ（ｐｏｉｎｔ ｏｆ ｓａｌｅｓ）端末であってもよい。また、出力装置３はこれに限定されず、スピーカや携帯端末であってもよい。
【００２０】
図２は、商品分析システム１の利用シーンの例を示す説明図である。図２を参照すると、商品分析システム１では、撮像装置２が、店舗の商品棚４を撮像する。そして、撮像装置２は、撮像した撮像画像を示す映像信号を、画像処理装置１００に送信する。
【００２１】
撮像装置２は、例えば、店舗などに設置されている監視カメラである。撮像装置２は、例えば、店舗内などにおいて商品棚４を撮像可能な所定位置に設置されている。また、撮像装置２には、その撮像装置２を識別するためのカメラＩＤなどが予め割り当てられている。撮像装置２は、撮像画像を取得する。この際、撮像装置２は、例えば、自身が有する時計などを参照して、撮像画像を取得した時刻である撮像時刻を取得した撮像画像に関連付ける。このように、撮像装置２は、商品棚４などの様子を示す撮像画像を取得する。
【００２２】
なお、撮像装置２が撮像する映像は、動画像であってもよいし、連続する静止画像であってもよい。また、本実施形態において、撮像装置２が取得する撮像画像は、カラー画像（以下、ＲＧＢ（Ｒｅｄ  Ｇｒｅｅｎ  Ｂｌｕｅ）画像と呼ぶ）および距離画像の少なくともいずれかである。なお、撮像装置２が取得する撮像画像は、例えば、ＲＧＢ画像以外の色空間の画像であってもよい。
【００２３】
上述したように、撮像装置２は、取得した撮像画像を示す映像信号を、画像処理装置１００に送信する。撮像装置２は、撮像画像を撮像装置２の内部または画像処理装置１００とは異なる記憶装置に格納してもよい。
【００２４】
図３は、画像処理装置１００の構成例を示す説明図である。本実施形態の画像処理装置１００は、取得部１１０と、検出部１２０と、分類部１３０と、第１記憶部１４０と、特定部１５０と、出力制御部１６０と、第２記憶部１７０とを含む。具体的には、画像処理装置１００は、例えば、演算装置および記憶装置（図示せず）を含む。そして、画像処理装置１００は、例えば、記憶装置に格納されたプログラムを演算装置で実行することで、上記各処理部を実現する。なお、図３に例示する画像処理装置１００は、本開示に特有な構成について示したものである。画像処理装置１００は、図３に示されていない他の部材を含んでいてもよい。この点は、第２の実施形態以降についても同様である。
【００２５】
取得部１１０は、撮像装置２が商品棚４を撮像することによって得た撮像画像を示す映像信号を取得する。取得部１１０は、撮像装置２から送信された映像信号を受信してもよい。取得部１１０は、撮像装置２の内部または撮像装置２および画像処理装置１００とは異なる記憶装置に格納された撮像画像に基づいて変換された映像信号を取得してもよい。なお、画像処理装置１００が撮像装置２に内蔵されている場合、取得部１１０は、撮像画像そのものを取得する構成であってもよい。
【００２６】
取得部１１０は、取得した映像信号を、その映像信号を構成するＲＧＢ画像と距離画像の少なくとも一方または両方に変換する。そして、取得部１１０は、変換した画像（ＲＧＢ画像と距離画像の少なくとも一方または両方）を検出部１２０および分類部１３０に供給する。なお、取得部１１０が映像信号を変換することによって得たＲＧＢ画像および距離画像は、撮像装置２が商品棚４を撮像した撮像画像を表すため、単に撮像画像とも呼ぶ。
【００２７】
第１記憶部１４０は、検出部１２０および分類部１３０による処理が行われる際に用いるデータを格納する。第１記憶部１４０が格納するデータは、図面を変えて説明される。
【００２８】
検出部１２０は、商品棚４に関する変化領域を検出する。例えば、撮影画像に含まれる、商品棚４に陳列された商品が、撮像画像よりも前に取得された画像（例えば背景画像）に含まれない場合、検出部１２０は、この商品の領域を検出する。また、例えば、背景画像に含まれる、商品棚４に陳列された商品が、撮像画像に含まれない場合、検出部１２０は、この商品の領域を検出する。また、撮影画像に含まれる、商品棚４に陳列された商品と背景画像に含まれる商品との見え方が異なる場合、検出部１２０は、この商品の領域を検出する。
【００２９】
また、撮像画像が商品棚４と撮像装置２との間に人物や物体が存在した時に撮像された場合、検出部１２０は、商品棚４を撮像した撮像画像に含まれる人物や物体の領域を、検出する。このように、検出部１２０は、商品棚４の内部の変化領域、商品棚４と撮像装置２との間の物体による、撮像画像における変化領域等の、商品棚４に関する変化領域を検出する。
【００３０】
検出部１２０は、例えば、検出した変化領域の画素値を２５５、それ以外を０で表した、撮像画像と同じサイズの２値画像を生成してもよい。検出部１２０は、変化領域の検出結果として、生成した２値画像を分類部１３０に供給する。このとき、検出部１２０は２値画像に、２値画像の生成に用いた撮像画像を示す情報を付与して、その２値画像を分類部１３０に供給してもよいし、２値画像と共にその撮像画像を分類部１３０に供給してもよい。
【００３１】
なお、検出結果は、検出した変化領域を示す情報を含んでいればよい。検出部１２０は、例えば、検出した変化領域（画素値が２５５の領域）の位置を表す情報とその大きさとを変化領域の検出に用いた撮像画像を示す情報および背景画像を示す情報に関連付け、検出結果として出力してもよい。このように、検出部１２０が出力する検出結果は、どのような形式であってもよい。検出部１２０の内部構成は、図面を変えて説明される。
【００３２】
分類部１３０は、変化領域における商品棚４に関する変化を分類する。分類部１３０は、検出部１２０から供給された検出結果（２値画像）と、事前に学習した商品棚４に関する変化のモデル、または、撮像画像の撮像時刻よりも前に撮像された画像を示す距離情報とに基づいて、検出された変化領域に対応する領域の画像の状態の変化を分類する。
【００３３】
画像の状態とは、例えば、画像に商品が含まれるまたは含まれない状態、画像に顧客が含まれるまたは含まれない状態、画像に買い物かごが含まれるまたは含まれない状態、画像に買い物カートが含まれるまたは含まれない状態等である。分類部１３０は、変化領域における商品棚４に関する変化を、例えば、「商品棚４に商品が含まれなくなったことによる変化」、「商品棚４に商品が新たに含まれたことによる変化」、「商品棚４に陳列された商品の見た目が変わったことによる変化」に分類する。他にも、分類部１３０は、「商品棚４の前に人物が存在することによる変化」、「商品棚４の前に買い物カートがあることによる変化」、「照明が変わったことによる変化」などの変化の種類に分類してもよい。
【００３４】
なお、「商品棚４に商品が含まれなくなったことによる変化」は、顧客が商品を手に取ったことを示すことから、「商品棚から商品を取ったことによる変化」ということができる。また、「商品棚４に商品が新たに含まれたことによる変化」は、顧客が商品を戻したことを示すことから、「商品棚に商品が配置された（置かれた）ことによる変化」ということができる。また、「商品棚４に陳列された商品の見た目が変わったことによる変化」は、顧客が手に取った商品を戻したことにより商品が元の位置からずれたことを示すことから、「商品棚に配置された商品の位置をずらしたことによる変化」ということができる。
【００３５】
このように、分類部１３０は、商品棚の変化を、「商品棚から商品を取ったことによる変化」、「商品棚に商品が配置されたことによる変化」、または、「商品棚に配置された商品の位置をずらしたことによる変化」、のいずれかに分類してもよい。「商品棚から商品を取ったことによる変化」は、顧客が（興味を持って）商品を購入したことを表していると言える。一方、「商品棚に商品が配置されたことによる変化」、または、「商品棚に配置された商品の位置をずらしたことによる変化」は、顧客が興味を持ったが購入されなかった商品が存在したことを表していると言える。
【００３６】
なお、分類部１３０が変化領域における状態の変化を分類する種類は、一例であり、これらに限定されない。また、例えば、「商品棚４に陳列された商品の見た目が変わったことによる変化」は、「異なる商品になったためによる見た目の変化」なのか、「商品の姿勢が変わったことによる見た目の変化」なのか等更に詳細に分類されてもよい。分類部１３０の内部構成は、図面を変えて説明される。
【００３７】
分類部１３０は、上述する分類結果を、特定部１５０に供給する。分類結果は、変化領域の変化の種類を示す情報と、取得部１１０が取得した撮像画像上における、変化領域に外接する矩形を表す情報（変化領域情報と呼ぶ）と、検出部１２０が出力した、変化領域の検出結果である２値画像と、撮像画像に含まれる商品棚４に関する情報とを含む。
【００３８】
ここで、変化領域情報は、例えば、注目領域に外接する矩形の４隅のｘ座標値とｙ座標値で構成されていてもよいし、その外接矩形の４隅のうち、少なくとも１つの隅を表すｘ座標およびｙ座標、並びにその外接矩形の幅および高さで構成されてもよい。なお、変化領域情報は、矩形を表す情報に限定されず、その他の形状を表す情報であってもよいし、変化領域を囲む枠を表す情報であってもよい。
【００３９】
撮像画像に含まれる商品棚４に関する情報は、撮像画像を撮像した位置を示す情報であってもよいし、商品棚４の位置を示す情報であってもよいし、商品棚４を特定可能な識別子であってもよい。
【００４０】
第２記憶部１７０は、棚割り情報１７１を格納する。なお、第２記憶部１７０は、画像処理装置１００とは異なる記憶装置で実現されてもよいし、特定部１５０に内蔵されてもよい。また、第２記憶部１７０は、第１記憶部１４０と一体となって実現されてもよい。
【００４１】
棚割り情報１７１は、各店舗の商品棚に対して予め準備された商品の配置位置を表す情報である。棚割り情報は、例えば、商品棚番号（段）および列の番号と、その番号の位置に配置される商品名とを対応付けた情報である。また、撮像装置２が撮像する位置と商品棚の位置とは予め対応付けて管理される。そのため、撮像装置２が撮像する画像の商品棚の領域と棚割り情報とを対応付けることで、商品を特定することが可能になる。
【００４２】
図４は、棚割り情報の例を示す説明図である。図４に示す例では、画像Ｉ１は、撮像装置であるカメラＩＤ＝１のカメラで撮像された画像であるとする。また、図４に例示する棚割り情報Ｉ２は、商品棚の段および列で特定される範囲に配置される商品を表す。例えば、画像Ｉ１に含まれる商品Ｉ３の位置情報が、外接矩形の４隅で表された位置情報（例えば、位置情報（１０，０，３０，５０））に一致するとする。この場合、商品Ｉ３は、棚割り情報Ｉ２の１段目の１列に対応付けられた商品ａであると特定される。
【００４３】
特定部１５０は、分類部１３０によって分類された商品棚４の変化に基づいて、顧客が商品に興味を持った頻度を特定する。本実施形態では、特定部１５０は、特に、顧客が商品に興味を持ったが購入しなかった頻度を特定する。なお、特定部１５０は、顧客が商品を購入した頻度を特定してもよい。
【００４４】
例えば、分類部１３０によって、商品棚の変化が、「商品棚から商品を取ったことによる変化」、「商品棚に商品が配置されたことによる変化」、または、「商品棚に配置された商品の位置をずらしたことによる変化」、のいずれかに分類されたとする。この場合、特定部１５０は、上述するように、「商品棚から商品を取ったことによる変化」で対象になる商品を、顧客が（興味を持って）購入した商品の対象としてもよい。また、特定部１５０は、「商品棚に商品が配置されたことによる変化」、または、「商品棚に配置された商品の位置をずらしたことによる変化」で対象になる商品を、顧客が興味を持ったが購入されなかった商品の対象としてもよい。
【００４５】
また、商品の頻度を特定する対象は、個々の商品であってもよく、検出された変化領域の商品であってもよい。また、集計単位も任意であり、個々の商品だけでなく、その商品の置かれた棚を単位としてもよく、その商品の種別（分類）を単位としてもよい。
【００４６】
頻度を特定する対象が個々の商品の場合、特定部１５０は、変化した領域に含まれる商品ごとに頻度を積算してもよい。また、頻度を特定する対象が検出された変化領域の商品である場合、特定部１５０は、変化した領域ごとに頻度を積算してもよい。領域ごとに頻度を積算する場合、特定部１５０は、個々の商品を特定する必要はない。特定部１５０は、変化の分類ごとに、変化領域として検出された回数に応じてその変化領域に重み付けした値を、その変化領域に含まれる商品に関する頻度として特定してもよい。
【００４７】
図５は、変化領域に重み付けした例を示す説明図である。図５に例示するように３つの変化領域Ｒ１〜Ｒ３が検出され、いずれも、「商品棚に配置された商品の位置をずらしたことによる変化」に分類される変化であるとする。このとき、特定部１５０は、例えば、変化領域Ｒ１〜Ｒ３全てで重複する領域の重みを３とし、変化領域Ｒ１〜Ｒ３のうち、２つの変化領域が重複する領域の重みを２とし、いずれの変化領域とも重複しない領域の重みを１としてもよい。そして、特定部１５０は、変化領域に対応する重みを、顧客が商品に興味を持ったが購入しなかった頻度として特定してもよい。
【００４８】
なお、図５に示す例では、特定部１５０は、重複した変化領域の数を重みとして算出したが、重複した変化領域の数に応じて単調増加するように重みを決定すればよい。また、図５に示す例では、特定部１５０は、変化領域全体を対象として重み付けを行ったが、例えば、変化領域の中心から所定の範囲を対象に重み付けしてもよい。
【００４９】
特定部１５０は、商品棚の変化の分類と、その商品棚の棚割り情報１７１とに基づいて、商品棚で変化した対象の商品を特定する。本実施形態では、特定部１５０は、特に、商品棚の変化の分類と、その商品棚の棚割り情報とに基づいて、顧客が興味を持ったが購入されなかった商品を特定する。特定部１５０は、商品棚の変化の分類が、「商品棚に商品が配置されたことによる変化」、または、「商品棚に配置された商品の位置をずらしたことによる変化」である場合、棚割り情報に基づいて、商品棚で変化した対象の商品を、顧客が興味を持ったが購入されなかった商品と特定する。
【００５０】
出力制御部１６０は、特定部１５０から頻度を特定した結果を受け取る。そして、出力制御部１６０は、顧客が商品に興味を持った頻度を認識可能な態様で出力装置３が出力するように制御する制御信号を送信する。以下の説明では、説明を簡略化するため、出力制御部１６０が出力装置３を制御して出力させる処理を、単に出力制御部１６０が出力すると記す。また、出力制御部１６０の指示に応じて、以下に例示する画面を出力装置３に表示させることから、出力制御部１６０のことを表示手段ということができる。
【００５１】
本実施形態の出力制御部１６０は、商品棚を撮影した映像を表示する。その際、出力制御部１６０は、顧客が商品に興味を持ったが購入しなかった頻度に応じた画像を、その映像中の対応する領域に関連付けて表示する。ここで、対応する領域に関連付けて表示する方法には、その頻度が示す対象に重畳させて表示することや、その領域を示す情報とともに別領域に表示することを含む。
【００５２】
また、頻度に応じた画像とは、例えば、頻度そのものの値を示す画像や、頻度に応じて表されるヒートマップなどが挙げられる。例えば、頻度を特定した対象が検出された変化領域の商品の場合、出力制御部１６０は、商品棚を撮影した映像に対して、ヒートマップのように、顧客が商品に興味を持ったが購入しなかった頻度（例えば、重み）に応じた態様の画像を変化領域に重畳して表示してもよい。
【００５３】
図６は、顧客が商品に興味を持ったが購入しなかった頻度に応じたヒートマップ表示の例を示す説明図である。図６に示す例では、商品棚の左上の領域に対してヒートマップが主に重畳表示されていることから、この領域に存在する商品に対する顧客の興味の高さを把握できる。
【００５４】
また、例えば、頻度を特定した対象が個々の商品の場合、出力制御部１６０は、商品棚を撮影した映像とともに、顧客が商品に興味を持ったが購入しなかった頻度を棚番号や商品名とともに別領域に表示してもよい。
【００５５】
図７は、顧客が商品に興味を持ったが購入しなかった頻度を別領域に表示する例を示す説明図である。例えば、図６に例示する商品棚の右上の商品が、棚割り情報に基づいて「商品ａ」と特定されたとする。この場合、出力制御部１６０は、顧客が興味を持ったが購入しなかった商品名（「商品ａ」）と、その頻度（例えば、重み）とを対応付けた情報を、映像とは別領域に表示してもよい。図７に示す例では、出力制御部１６０が商品棚を撮像した映像を左側に、頻度及び商品名を左側に表示していることを示す。
【００５６】
また、出力制御部１６０は、顧客が商品に興味を持ったが購入しなかった頻度だけでなく、顧客が（興味を持って）商品を購入した頻度との関係を示す値を表示してもよい。出力制御部１６０は、例えば、購入された頻度が高い商品の場合に第一スコアを低く算出し、顧客が興味を持ったが購入しなかった頻度が高い商品の場合に第一のスコアを高く算出するようにしてもよい。そして、出力制御部１６０は、そのスコアに応じた色（例えば、スコアが低い場合に赤色、スコアが高い場合に青色）の画像を、商品棚を撮影した映像に重畳させて表示してもよい。
【００５７】
また、他にも、出力制御部１６０は、商品を購入した頻度と興味を持ったが購入しなかった頻度に基づいて、第二のスコアを算出してもよい。出力制御部１６０は、例えば、商品を購入した頻度と興味を持ったが購入しなかった頻度とを加算した値に対する、興味を持ったが購入しなかった頻度を第二のスコアとして算出してもよい。また、出力制御部１６０は、集計の単位を、個々の商品だけでなく、商品棚の列の単位や、商品のカテゴリ単位にしてもよい。
【００５８】
また、出力制御部１６０は、商品を購入した頻度と興味を持ったが購入しなかった頻度とを、それぞれ区別可能な態様で重畳させて表示してもよい。出力制御部１６０は、例えば、商品に興味を持ったが購入しなかった頻度をヒートマップ表示し、商品を購入した頻度を数値や網掛けの程度で表示してもよい。
【００５９】
また、店舗内に複数の商品棚が存在することを考慮し、出力制御部１６０は、初期状態で店舗を俯瞰した店舗マップを表示し、対象の商品棚を選択させるようにしてもよい。
【００６０】
図８は、店舗マップから商品棚を表示する例を示す説明図である。図８に示す例では、まず、出力制御部１６０は、店舗マップを表示し（図８（ａ）参照）、ユーザからの商品棚の指定を受け付ける。出力制御部１６０は、指定された商品棚を表示し、併せて、商品に興味を持ったが購入しなかった頻度を重畳表示する（図８（ｂ）参照）。
【００６１】
また、出力制御部１６０は、店舗マップからではなく、商品の分類から対象の商品棚を選択させるようにしてもよい。
【００６２】
図９は、商品カテゴリの一覧から商品棚を表示する例を示す説明図である。図９に示す例では、まず、出力制御部１６０は、商品カテゴリの一覧を表示する（図９（ａ）参照）。一覧から商品カテゴリが指定されると、出力制御部１６０は、該当する商品が存在する商品棚を表示し、併せて、商品に興味を持ったが購入しなかった頻度を重畳表示する（図９（ｂ）参照）。また、出力制御部１６０は、図９に例示するように、階層的に商品カテゴリの一覧を表示するようにしてもよい。
【００６３】
このように出力制御部１６０が、商品棚を撮影した映像に対して、顧客が商品に興味を持ったが購入しなかった頻度に応じた態様の画像を変化領域に重畳して表示することで、より頻度が高い商品をレジスターの前に配置するなど、棚割りの再設計を行うことが容易になる。
【００６４】
次に、取得部１１０、検出部１２０、分類部１３０および第１記憶部１４０の構成例について説明する。以下では、取得部１１０、検出部１２０、分類部１３０および第１記憶部１４０を含む装置を、分類装置１０と呼ぶ。
【００６５】
（分類装置１０の第一の例）
図１０は、本実施形態の画像処理装置１００に含まれる分類装置１０の例を示すブロック図である。分類装置１０は、取得部１１０Ａ、検出部１２０Ａ、分類部１３０Ａ、および、第１記憶部１４０Ａを含む。
【００６６】
第１記憶部１４０Ａは、第１記憶部１４０の一例である。第１記憶部１４０Ａは、背景情報１４１と、棚変化モデル１４２とを格納する。背景情報１４１は、検出部１２０Ａにおいて撮像画像と比較するための基準になる画像であり、背景画像とも呼ぶ。背景情報１４１は、例えば、撮像画像と同じ種類の画像であることが好ましい。本実施形態では、上述した通り、撮像画像はＲＧＢ画像であるため、背景情報１４１もＲＧＢ画像であることが好ましい。なお、背景情報１４１は、取得部１１０Ａから検出部１２０Ａに対し、最初に供給された撮像画像であってもよいし、事前に与えられた画像であってもよい。
【００６７】
棚変化モデル１４２は、事前に学習した、商品棚４の変化をモデル化したものである。棚変化モデル１４２は、例えば、一般的に広く知られているＣｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋなどの機械学習を用いて学習されることによって得られてもよい。
【００６８】
棚変化モデル１４２は、例えば、商品棚４に商品が含まれる画像と商品棚４に商品が含まれない画像とを用いて学習された「商品棚４に商品が含まれなくなったことによる変化」または「商品棚４に商品が新たに含まれたことによる変化」を表す。また、棚変化モデル１４２は、複数の商品の画像および各商品の形状が変化した複数の画像を用いて学習された「商品棚４に陳列された商品の見た目が変わったことによる変化」を表す。また、棚変化モデル１４２は、商品棚４の前に何も対象物が存在しない状態で撮像された撮像画像と、商品棚４の前に人物などの対象物が存在する状態で撮像された撮像画像とを用いて学習された、「商品棚４の前に人物が存在することによる変化」、「商品棚４の前に買い物カートがあることによる変化」等を表す。また、棚変化モデル１４２は、様々な環境下で画像を用いて学習された、例えば、「照明が変わったことによる変化」を表してもよい。
【００６９】
また、棚変化モデル１４２の学習データは、例えば、変化前後の２つのＲＧＢ画像を結合した６チャネル画像でもよいし、変化前後の２つのＲＧＢ画像のＲ成分、Ｇ成分、またはＢ成分のいずれか１つを結合した２チャネル画像でもよい。また、学習データは、例えば、変化前後の２つのＲＧＢ画像のＲ成分、Ｇ成分、またはＢ成分のいずれか２つを結合した４チャネル画像でもよいし、変化前後の２つのＲＧＢ画像をグレースケール画像に変換してから結合した２チャネル画像でもよい。また、学習データは、変化前後のＲＧＢ画像をＨＳＶ（Ｈｕｅ Ｓａｔｕｒａｔｉｏｎ Ｖａｌｕｅ）色空間など他の色空間に変換し、他の色空間への変換後の色空間における１つまたは複数のチャネルを結合した画像でもよい。
【００７０】
また、棚変化モデル１４２の学習データは、ＲＧＢ画像のようなカラー画像から生成されたものであってもよいし、カラー画像と距離画像との両方を用いて生成されたものであってもよい。
【００７１】
図１０に例示するように、検出部１２０Ａは、前景領域検出部１２１と、背景情報更新部１２３とを有する。
【００７２】
前景領域検出部１２１は、取得部１１０Ａから供給された撮像画像を受け取る。また、前景領域検出部１２１は、撮像画像に対応する背景情報１４１を第１記憶部１４０Ａから取得する。上述した通り、背景情報１４１はＲＧＢ画像である。前景領域検出部１２１は、２つのＲＧＢ画像（撮像画像および背景情報１４１）を比較し、その２つのＲＧＢ画像の間で変化した領域を変化領域として検出する。前景領域検出部１２１は、背景画像である背景情報１４１と撮像画像であるＲＧＢ画像とを比較するため、前景領域を検出するとも言える。
【００７３】
なお、前景領域検出部１２１が変化領域を検出する方法は特に限定されず、既存の技術を採用してもよい。前景領域検出部１２１は、例えば、非特許文献１に開示されている背景差分法を用いて、変化領域を検出してもよい。
【００７４】
前景領域検出部１２１は、変化領域の検出結果として、生成した２値画像を分類部１３０Ａに供給する。このとき、前景領域検出部１２１は２値画像に、２値画像の生成に用いた撮像画像を示す情報および背景情報１４１を示す情報を付与して、その２値画像を分類部１３０Ａに供給してもよいし、２値画像と共にその撮像画像および背景情報１４１を分類部１３０Ａに供給してもよい。
【００７５】
背景情報更新部１２３は、取得部１１０Ａから供給された撮像画像と、第１記憶部１４０Ａに格納されている背景情報１４１であるＲＧＢ画像とに基づいて、背景情報１４１を更新する。背景情報更新部１２３が、背景情報１４１を更新する方法は特に限定されず、例えば、非特許文献１と同様の方法を採用してもよい。
【００７６】
検出部１２０Ａの動作を、図１１を参照してさらに説明する。図１１は、検出部１２０Ａの動作例を示す説明図である。図１１（ａ）は撮像画像の一例であり、図１１（ｂ）は第１記憶部１４０Ａに格納された、撮像画像に対応する背景情報１４１の一例であり、図１１（ｃ）は、変化領域の検出結果である２値画像の例を示す。
【００７７】
撮像画像と背景情報１４１とが異なる点は、商品Ｇ１、商品Ｇ２および商品Ｇ３の領域である。商品Ｇ１は、背景情報１４１には含まれないが、撮像画像には含まれる。また、商品Ｇ３は、背景情報１４１には含まれるが、撮像画像には含まれない。また、撮像画像に含まれる商品Ｇ２の位置には、背景情報１４１上では他の商品が陳列されている。したがって、前景領域検出部１２１は、商品Ｇ２の領域も変化があった領域として検出する。よって、前景領域検出部１２１は、図１１（ｃ）に例示する、商品Ｇ１、商品Ｇ２および商品Ｇ３の領域に相当する部分を白で表現し、その他の部分を黒で表現した２値画像を生成する。
【００７８】
以降の説明において、変化領域は、図１１（ｃ）に例示する白色の部分のそれぞれを示す。つまり、変化領域とは、例えば、画素値が２５５の画素であり、且つ、その画素に隣接する画素の何れかの画素値が２５５の画素の集合である。前景領域検出部１２１は、図１１（ｃ）に示す例では、３つの変化領域を検出する。
【００７９】
分類部１３０Ａは、分類部１３０の一例である。分類部１３０Ａは、第１抽出部１３１と、第２抽出部１３２と、領域変化分類部１３４とを有する。
【００８０】
第１抽出部１３１は、前景領域検出部１２１から、検出結果である２値画像を受け取る。また、第１抽出部１３１は、２値画像の生成に用いた撮像画像を第１記憶部１４０Ａから取得する。なお、第１抽出部１３１は、撮像画像を２値画像と共に前景領域検出部１２１から受け取ってもよい。
【００８１】
第１抽出部１３１は、撮像画像から変化領域の画像を抽出する。具体的には、第１抽出部１３１は、撮像画像と、その撮像画像と同じサイズである２値画像とを用いて、２値画像における画素値が２５５の領域に対応する撮像画像上の領域の画像を第１注目画像として抽出する。２値画像が図１１（ｃ）に示す例の場合、第１抽出部１３１は、撮像画像から３つの第１注目画像を抽出する。上述した通り、撮像画像はＲＧＢ画像であるため、抽出された第１注目画像も、ＲＧＢ画像である。
【００８２】
なお、第１抽出部１３１は、変化領域ごとに、その変化領域と同じ形状の領域の第１注目画像を抽出してもよいし、変化領域に外接する所定の形状の枠と同じ形状の枠で囲まれる領域の画像を第１注目画像として抽出してもよい。なお、変化領域に外接する枠の形状は、例えば、矩形、楕円形などどのような形状であってもよい。また、第１抽出部１３１は、変化領域に外接する枠よりも所定のサイズ分大きい枠で囲まれる領域の画像を第１注目画像として抽出してもよい。
【００８３】
第１抽出部１３１は、抽出した第１注目画像を領域変化分類部１３４に供給する。なお、第１抽出部１３１が抽出した第１注目画像の撮像画像上における領域を第１注目領域とも呼ぶ。
【００８４】
第２抽出部１３２は、前景領域検出部１２１から、検出結果である２値画像を受け取る。また、第２抽出部１３２は、２値画像の生成に用いた背景情報１４１を第１記憶部１４０Ａから取得する。なお、第２抽出部１３２は、背景情報１４１を２値画像と共に前景領域検出部１２１から受け取ってもよい。
【００８５】
第２抽出部１３２は、背景情報１４１から変化領域の画像を抽出する。具体的には、第２抽出部１３２は、背景画像である背景情報１４１と２値画像とを用いて、２値画像における画素値が２５５の領域に対応する背景情報１４１上の領域の画像を第２注目画像として抽出する。第２注目画像の抽出方法は、第１注目画像の抽出方法と同様である。第２抽出部１３２は、抽出した第２注目画像を領域変化分類部１３４に供給する。なお、第２抽出部１３２が抽出した第２注目画像の背景情報１４１上における領域を第２注目領域とも呼ぶ。
【００８６】
領域変化分類部１３４は、第１抽出部１３１から第１注目画像を受け取る。また、領域変化分類部１３４は、第２抽出部１３２から第２注目画像を受け取る。領域変化分類部１３４は、第１記憶部１４０Ａに格納された棚変化モデル１４２に基づいて、第２注目画像の状態から、その第２注目画像に対応する第１注目画像の状態への変化を、例えば上述した種類に分類する。領域変化分類部１３４は、例えば、第２注目画像の状態から第１注目画像の状態への変化を、棚変化モデル１４２と比較した結果に基づいて、その変化を分類する。
【００８７】
なお、領域変化分類部１３４は、例えば、棚変化モデルを作成した機械学習法（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋなど）を用いて、商品棚４に関する変化を上述した種類の何れかに分類してもよい。
【００８８】
領域変化分類部１３４は、分類結果を、特定部１５０に供給する。また、領域変化分類部１３４は、分類結果を、例えば、第１記憶部１４０Ａに格納してもよい。
【００８９】
次に、図１２を参照して、本実施形態の第一の例における画像処理装置１００の動作を説明する。図１２は、本実施形態の第一の例における画像処理装置１００の動作例を示すフローチャートである。
【００９０】
まず、取得部１１０Ａが、商品棚４を撮像した映像信号からＲＧＢ画像である撮像画像を取得する（ステップＳ６１）。取得部１１０Ａは取得した撮像画像を検出部１２０Ａおよび分類部１３０Ａに供給する。
【００９１】
次に、検出部１２０Ａの前景領域検出部１２１が、取得部１１０Ａから供給された、ＲＧＢ画像である撮像画像と、第１記憶部１４０Ａに格納されている、ＲＧＢ画像である背景情報１４１とを用いて、２つのＲＧＢ画像の間で変化した領域を変化領域として検出する（ステップＳ６２）。そして、前景領域検出部１２１は、変化領域の検出結果を分類部１３０Ａに供給する。例えば、分類部１３０Ａは、検出した変化領域の画素を２５５とし、その他の領域の画素を０とした２値画像を生成し、該２値画像を、変化領域の検出結果として分類部１３０Ａに供給する。
【００９２】
また、背景情報更新部１２３は、撮像画像と背景情報１４１とを用いて背景情報１４１を更新する（ステップＳ６３）。なお、ステップＳ６３は、ステップＳ６１の後であれば、どのタイミングで行われてもよい。
【００９３】
分類部１３０Ａの第１抽出部１３１が、取得部１１０Ａから供給された撮像画像と、前景領域検出部１２１から供給されたその撮影画像に関連する検出結果とに基づいて、撮像画像上における、検出結果によって示される変化領域に対応する領域（第１注目領域）の画像を、第１注目画像として抽出する（ステップＳ６４）。第１抽出部１３１は、抽出した第１注目画像を領域変化分類部１３４に供給する。
【００９４】
また、分類部１３０Ａの第２抽出部１３２が、前景領域検出部１２１から供給された検出結果と、第１記憶部１４０Ａから取得した、その検出結果を得るために用いた背景情報１４１とに基づいて、第１抽出部１３１と同様の動作により、背景情報１４１から第２注目画像を抽出する（ステップＳ６５）。第２抽出部１３２は、抽出した第２注目画像を領域変化分類部１３４に供給する。なお、ステップＳ６４とステップＳ６５とは同時に行われてもよいし、逆順で行われてもよい。
【００９５】
そして、領域変化分類部１３４は、第１抽出部１３１から供給された第１注目画像と、第２抽出部１３２から供給された第２注目画像と、第１記憶部１４０Ａに格納された棚変化モデル１４２とに基づいて、商品棚４に関する変化（第２注目画像における状態から第１注目画像における状態への変化）を分類する（ステップＳ６６）。
【００９６】
ここで、領域変化分類部１３４による分類結果の一例を図１３に示す。図１３は、分類部１３０Ａの領域変化分類部１３４が出力する分類結果の例を示す説明図である。領域変化分類部１３４は、例えば、図１３に例示する分類結果７０を出力する。
【００９７】
図１３に例示するように、分類結果７０は、第２注目画像７１と、第１注目画像７２と、変化の種類７３と、変化領域情報７４と、変化領域の検出結果である２値画像を示す２値画像識別子７５と、撮像画像に含まれる商品棚４に関する商品棚情報７６とを含む。２値画像識別子７５は、例えば、第１記憶部１４０Ａ等に格納された、検出部１２０Ａが出力した２値画像を示す識別子である。商品棚情報７６は、例えば、商品棚４を特定可能な識別子である。なお、図１３に示す分類結果７０は一例であり、分類結果７０が図１３に示す情報以外の情報を含んでもよい。分類結果７０は、例えば、撮像画像に関する情報（識別子、撮像時刻など）や第１注目画像７２の撮像画像における位置を示す情報などを含んでもよい。
【００９８】
ステップＳ６６終了後、特定部１５０は、分類部１３０によって分類された商品棚４の変化に基づいて、顧客が商品に興味を持ったが購入しなかった頻度を特定する（ステップＳ６７）。そして、出力制御部１６０は、商品棚４を撮影した映像に対して、顧客が商品に興味を持ったが購入しなかった頻度に応じた態様の画像を重畳して表示する（ステップＳ６８）。
【００９９】
そして、画像処理装置１００は、取得部１１０Ａが次の映像信号を受信したか否か（次の撮像画像があるか否か）を判定する（ステップＳ６９）。次の撮像画像がある場合（ステップＳ６９にてＹＥＳ）、処理はステップＳ６１に移行し、次の撮像画像がない場合（ステップＳ６９にてＮＯ）、画像処理装置１００は、動作を終了する。
【０１００】
以上のように、本実施形態の第一の例における画像処理装置１００は、検出部１２０が、商品棚４が撮影された映像から商品棚４の変化領域を検出し、分類部１３０Ａが、検出された変化領域における商品棚４の変化を分類する。そして、特定部１５０が、変化の分類に基づいて、顧客が商品に興味を持ったが購入しなかった頻度を特定する。そのため、顧客が購入に至らなかった商品に対しても、顧客が興味を示す商品を分析できる。
【０１０１】
さらに、画像処理装置１００は、出力制御部１６０（出力装置３）が、商品棚４を撮影した映像に対して、顧客が商品に興味を持ったが購入しなかった頻度に応じた態様の画像を変化領域に重畳して表示する。そのため、商品棚の配置による顧客の興味状況を把握することが可能になる。
【０１０２】
また、本例における分類装置１０は、検出部１２０Ａが商品棚を撮像した撮像画像と、その撮像画像の撮像時刻よりも前に撮像された画像を示す背景情報とを比較することによって、商品棚４に関する変化領域を検出する。そして、分類部１３０Ａが、事前に学習した商品棚４に関する変化のモデルである棚変化モデル１４２に基づいて、変化領域における商品棚４に関する変化を分類する。
【０１０３】
上述した通り、棚変化モデル１４２は、商品棚４に関する変化を表すモデルであるため、分類部１３０Ａは、変化領域として検出された領域における商品棚４に関する変化を、商品が商品棚４から取られたことや商品が補充されたことなどの種類に分類する。
【０１０４】
したがって、本例の分類装置１０を備える画像処理装置１００は、商品棚４の商品に変化があったことだけではなく、その変化がどのような種類の変化なのかを特定できる。したがって、商品が取られた状態であるのか、商品棚４が補充された状態であるのかなどの商品棚４の状態をより正確に判別することができる。
【０１０５】
（分類装置１０の第二の例）
図１４は、本実施形態の画像処理装置１００に含まれる分類装置１０の他の例を示すブロック図である。分類装置１０は、取得部１１０Ａ、検出部１２０Ｂ、分類部１３０Ａ、および、第１記憶部１４０Ｂを含む。第二の例における分類装置１０は、前景領域検出部２２１が検出した変化領域を複数のＲＧＢ画像間で追跡する。なお、前述した図面に含まれる要素と同じ機能を有する要素については、同じ符号を付し、その説明を省略する。
【０１０６】
検出部１２０Ｂは、検出部１２０の一例である。また、第１記憶部１４０Ｂは第１記憶部１４０の一例である。
【０１０７】
第１記憶部１４０Ｂは、第１記憶部１４０Ａと同様に、背景情報１４１および棚変化モデル１４２を格納する。また、第１記憶部１４０Ｂは、前景領域検出部２２１による検出結果を前景領域情報２４３として格納する。前景領域情報２４３については、後述される。
【０１０８】
検出部１２０Ｂは、前景領域検出部２２１と、背景情報更新部２２３と、前景領域追跡部２２４とを有する。
【０１０９】
前景領域検出部２２１は、前景領域検出部１２１と同様の動作により変化領域を検出する。そして、前景領域検出部２２１は、前景領域検出部１２１と同様に、例えば、検出した変化領域の画素値を２５５、それ以外を０で表した２値画像を検出結果として生成する。そして、前景領域検出部２２１は、検出結果である２値画像に、その２値画像の生成に用いた撮像画像の撮像時刻を関連付ける。前景領域検出部２２１は、撮像画像の撮像時刻が関連付けられた検出結果を背景情報更新部２２３と、前景領域追跡部２２４とに供給する。また、前景領域検出部２２１は、この検出結果を前景領域情報２４３として第１記憶部１４０Ｂに格納する。つまり、前景領域情報２４３は、撮像画像の撮像時刻が関連付けられた２値画像である。
【０１１０】
前景領域追跡部２２４は、前景領域検出部２２１が検出した変化領域を複数の撮像画像の間で追跡する。前景領域追跡部２２４は、前景領域検出部２２１から供給された検出結果（２値画像）を受け取る。また、前景領域追跡部２２４は、検出結果である２値画像に関連付けられた、その２値画像に関連する撮像画像の撮像時刻よりも前に撮像された撮像画像から生成された２値画像である前景領域情報２４３を第１記憶部１４０Ｂから取得する。そして、前景領域追跡部２２４は、各２値画像によって表される各変化領域を対応付ける処理を行うことにより、その変化領域を追跡する。ここで、前景領域追跡部２２４は、例えば、前景領域検出部２２１から供給された２値画像と、第１記憶部１４０Ｂから取得した前景領域情報２４３とによって表される変化領域の面積、形状および外接矩形のアスペクト比の少なくとも１つに基づいて、類似度を算出し、算出した類似度が最も高くなる変化領域同士を対応付けてもよい。また、前景領域検出部２２１が、検出した変化領域に含まれる色情報を撮像画像から抽出し、取得した色情報を検出結果に関連付ける構成の場合、前景領域追跡部２２４はその色情報を用いて、追跡を行ってもよい。なお、前景領域検出部２２１は、変化領域の色情報の代わりに変化領域の画像を検出結果に関連付けてもよい。
【０１１１】
そして、前景領域追跡部２２４は、追跡した結果が、所定の時間以上の場合、前景領域検出部２２１から供給された検出結果である２値画像を分類部１３０Ａに供給する。なお、このとき前景領域追跡部２２４は２値画像に、２値画像の生成に用いた撮像画像を示す情報および背景情報１４１を示す情報を付与して、その２値画像を分類部１３０Ａに供給してもよい。また、前景領域追跡部２２４は２値画像に、その２値画像と共にその撮像画像および背景情報１４１を分類部１３０Ａに供給してもよい。また、２値画像に複数の変化領域が含まれ、変化領域の何れかが所定の時間以上追跡されていない場合、前景領域追跡部２２４は、所定の時間以上追跡された変化領域を示す情報と共に、２値画像を分類部１３０Ａに供給してもよい。
【０１１２】
また、２値画像に複数の変化領域が含まれる場合、前景領域追跡部２２４は、１つの２値画像に１つの変化領域が含まれるように複数の２値画像を生成してもよい。前景領域追跡部２２４は、例えば、所定の時間以上追跡された変化領域のみが含まれる２値画像を分類部１３０Ａに供給し、所定の時間以上追跡されていない変化領域が含まれる２値画像を破棄してもよい。なお、前景領域追跡部２２４は、前景領域検出部２２１から変化領域ごとの２値画像を検出結果として受け取ってもよい。前景領域検出部２２１が変化領域ごとに２値画像を生成する方法については、後述される。
【０１１３】
また、前景領域追跡部２２４は、背景情報１４１の更新を示す更新信号を背景情報更新部２２３に供給する。
【０１１４】
また、前景領域追跡部２２４は、例えば、変化領域の移動量が所定の閾値以上である場合、変化領域に含まれる物体が動体であると判定し、その変化領域を分類部１３０Ａに供給せずに破棄してもよい。これにより、本例における分類装置１０を備える画像処理装置１００は、「商品棚４の前に人物が存在することによる変化」など、商品の増減に無関係な商品棚４に関する変化を削除できるため、商品の陳列状態をより正確に監視できる。
【０１１５】
なお、前景領域追跡部２２４は、変化領域に含まれる物体が動体であると判定した判定結果を、その変化領域に関連付けて分類部１３０Ａに供給してもよい。そして、分類部１３０Ａは、変化領域に判定結果が関連付けられている場合、この変化領域における商品棚４に関する変化を、商品棚４に陳列された商品以外の変化に関連する種類に分類してもよい。分類部１３０Ａは、例えば、変化領域における商品棚４に関する変化を、「商品棚４の前に人物が存在することによる変化」、「商品棚４の前に買い物カートがあることによる変化」等、商品以外の変化に関する種類に分類してもよい。
【０１１６】
また、前景領域追跡部２２４は、変化領域の追跡後、例えば、分類部１３０Ａに変化領域を示す検出結果を供給する場合に値が１の更新信号を、その変化領域を示す情報と共に背景情報更新部２２３に供給してもよい。また、前景領域追跡部２２４は、分類部１３０Ａに検出結果を供給しない場合に値が０の更新信号を、その変化領域を示す情報と共に背景情報更新部２２３に供給してもよい。
【０１１７】
値が１の更新信号とは、背景情報１４１における変化領域に対応する部分の画像を更新することを示す指示であり、値が０の更新信号とは、背景情報１４１における変化領域に対応する部分の画像を更新しないことを示す指示である。例えば、追跡の結果に含まれる追跡の時間や、画像処理装置１００の外部装置から送信される商品の購入情報や仕入情報、店員の作業情報等に基づくと、変化領域に含まれる商品が購入されたまたは補充された可能性が高いとする。この場合、前景領域追跡部２２４は、商品棚４の背景を更新するように、値が１の更新信号を出力してもよい。
【０１１８】
背景情報更新部２２３は、取得部１１０Ａから供給された撮像画像と、前景領域検出部２２１から供給された検出結果と、背景情報１４１と、前景領域追跡部２２４から供給された更新信号とに基づいて、背景情報更新部１２３と同様の動作により背景情報１４１を更新する。
【０１１９】
なお、背景情報更新部２２３は、背景情報１４１によって示されるＲＧＢ画像のうち、例えば、前景領域検出部２２１から供給された検出結果によって示される変化領域に該当する部分の画像を更新しなくてもよい。背景情報更新部２２３は、例えば、上述した値が０の更新信号を前景領域追跡部２２４から受け取った場合、変化領域に対応する領域の背景情報を更新しない。
【０１２０】
前景領域追跡部２２４は、分類部１３０Ａに検出結果を出力しない場合、値が０の更新信号を背景情報更新部２２３に供給する。分類部１３０に検出結果を出力しない場合とは、例えば、追跡結果が所定の時間未満である場合、または、変化領域の移動量が所定の閾値以上である場合である。背景情報更新部２２３は、このように、追跡結果が第１の所定の条件を満たす場合に、値が０の更新信号を受け取り、変化領域に対応する領域の背景情報を更新しない。言い換えると、背景情報更新部２２３は、背景情報１４１のうち、変化領域に対応する領域以外を更新する。これにより、取得部１１０Ａが次に取得した撮像画像の、更新を行なわなかった領域に対応する領域が前景領域検出部２２１によって変化領域として検出されやすくなる。
【０１２１】
また、背景情報更新部２２３は、例えば、前景領域追跡部２２４から供給された更新信号の値が１の場合に、背景情報１４１によって示されるＲＧＢ画像のうち、前景領域検出部２２１から供給された検出結果によって示される変化領域に該当する部分の画像を更新してもよい。前景領域追跡部２２４は、追跡結果が所定の時間以上である場合、追跡した変化領域を表す検出結果を分類部１３０に供給すると、値が１の更新信号を背景情報更新部２２３に供給する。つまり、追跡結果が所定の時間以上追跡された結果であるという第２の所定の条件を満たす場合、背景情報更新部２２３は、前景領域追跡部２２４から値が１の更新信号を受け取り、背景情報１４１における該変化領域に該当する部分の画像を更新してもよい。これにより、背景情報更新部２２３は、第１記憶部１４０Ｂに格納された背景情報１４１をその時点において取得部１１０Ａが取得した撮像画像に近づけることができる。したがって、本例における分類装置１０を備える画像処理装置１００は、上記変化領域に対応する次に取得部１１０Ａが取得する撮像画像上の領域を、前景領域検出部２２１が変化領域として検出することを防ぐことができる。
【０１２２】
分類部１３０Ａは、第一の例において説明した動作によって、商品棚４に関する変化を分類する。このとき、第１抽出部１３１および第２抽出部１３２は、前景領域検出部２２１から供給された検出結果である２値画像と、所定の時間以上追跡された変化領域を示す情報とを共に受け取った場合、所定の時間以上追跡された変化領域に対して、それぞれ第１注目画像および第２注目画像の抽出処理を行ってもよい。
【０１２３】
次に、図１５を参照して、本実施形態の第二の例における画像処理装置１００の動作を説明する。図１５は、本実施形態の第二の例における画像処理装置１００の動作例を示すフローチャートである。図１５に例示するステップＳ１３１〜Ｓ１３２は、それぞれ、図１２に例示するステップＳ６１〜Ｓ６２と同様である。
【０１２４】
ステップＳ１３２の終了後、前景領域検出部２２１は、第１記憶部１４０Ｂに前景領域情報２４３を格納する（ステップＳ１３３）。上述した通り、前景領域情報２４３は、撮像時刻が関連付けられた検出結果である。
【０１２５】
次に、前景領域追跡部２２４が、前景領域検出部２２１から供給された検出結果と、前景領域情報２４３とに基づいて、変化領域を追跡する（ステップＳ１３４）。前景領域追跡部２２４は、所定の時間以上追跡した変化領域を示す２値画像を、分類部１３０Ａに供給する。前景領域追跡部２２４は、背景情報１４１の更新を示す更新信号を背景情報更新部２２３に供給する。
【０１２６】
背景情報更新部２２３は、取得部１１０Ａから供給された撮像画像と、前景領域検出部２２１から供給された変化領域の検出結果と、背景情報１４１と、前景領域追跡部２２４から供給された更新信号とに基づいて、背景情報１４１を更新する（ステップＳ１３５）。
【０１２７】
なお、ステップＳ１３５は、ステップＳ１３４以降の任意のタイミングで行われてもよい。
【０１２８】
そして、第二の例における分類装置１０を備える画像処理装置１００は、図１２に例示するステップＳ６４〜Ｓ６９と同様の処理であるステップＳ１３６〜Ｓ１４１を実行する。
【０１２９】
以上のように、本実施形態の第一の例における画像処理装置１００は、検出部１２０Ｂが検出した変化領域を複数の撮像画像の間で追跡し、分類部１３０Ａがその追跡結果に基づいて、商品棚４に関する変化を分類する。検出部１２０Ｂは、例えば、追跡した結果が所定の時間以上の場合、検出結果を分類部１３０Ａに供給し、所定の時間未満の場合、検出結果を分類部１３０Ａに供給しない。したがって、分類部１３０Ａは、所定の時間以上追跡が行われた変化領域に対して、商品棚４に関する変化を分類する。したがって、変化領域が連続して検出されていない領域を分類しないため、実際に変化が生じている領域を精度よく分類することができる。
【０１３０】
また、検出部１２０Ｂは、更に、変化領域の移動量が所定の閾値未満の場合、検出結果を分類部１３０Ａに供給し、所定の閾値以上の場合、検出結果を分類部１３０Ａに供給しない。変化領域の移動量が所定の閾値以上の物体は、商品以外の物体である。よって、分類部１３０Ａが行う分類処理の対象を、商品棚４の商品に絞ることができるため、商品棚４の商品に対する分類精度をより高めることができる。また、第二の例における分類装置１０を備える画像処理装置１００は、分類部１３０Ａが人物などの動体を商品棚４の変化として分類することを防ぐことができる。  
【０１３１】
（分類装置１０の第三の例）
図１６は、本実施形態の画像処理装置１００に含まれる分類装置１０の他の例を示すブロック図である。分類装置１０は、取得部１１０Ｃ、検出部１２０Ａ、分類部１３０Ｃ、および、第１記憶部１４０Ｃを含む。なお、本実施形態では商品分析システム１が備える撮像装置２は、それぞれ異なる種類の画像を取得する複数の撮像装置であってもよい。撮像装置２は、例えば、ＲＧＢ画像を取得するＲＧＢカメラと、距離画像を取得するデプスカメラであってもよい。この場合、ＲＧＢカメラとデプスカメラとは近接する位置に設けられ同じ対象（商品棚４）を撮像する。また、ＲＧＢカメラとデプスカメラとは時刻同期がとられており、ほぼ同時刻に商品棚４を撮像することが好ましい。つまり、デプスカメラは、ＲＧＢカメラによって撮像されたＲＧＢ画像の撮影時刻から所定の時間内に、且つ、ＲＧＢ画像の撮像範囲を撮像した距離画像を出力するカメラであることが好ましい。また、撮像装置２は、複数の種類の画像（例えば、ＲＧＢ画像および距離画像）を取得可能なセンサであってもよい。撮像装置２は、例えば、ＲＧＢＤカメラであってもよい。
【０１３２】
第三の例における分類装置１０は、第２取得部３１２が取得した距離画像である第２撮像画像に基づいて、変化領域における商品棚４に関する変化を分類する。なお、前述した図面に含まれる要素と同じ機能を有する要素については、同じ符号を付し、その説明を省略する。
【０１３３】
取得部１１０Ｃは、第１取得部３１１と、第２取得部３１２とを有する。
【０１３４】
第１取得部３１１は、上述した取得部１１０Ａと同様に、ＲＧＢ画像である撮像画像を取得する。以降、第１取得部３１１が取得するＲＧＢ画像である撮像画像を第１撮像画像と呼ぶ。
【０１３５】
第２取得部３１２は、第１取得部３１１と同様に撮像装置２が商品棚４を撮像することによって得た撮像画像を示す映像信号を受け取り、その映像信号から距離画像を取得する。第２取得部３１２は、第１取得部３１１が取得する映像信号とは異なる種類の映像信号を受け取る。例えば、第１取得部３１１が取得する映像信号がＲＧＢ画像を構成する映像信号の場合、第２取得部３１２は、距離画像を構成する映像信号を取得する。ここで、距離画像は、例えば、撮像装置２から対象物までの距離の値を持った画像を意味してもよい。また、距離画像の各画素は、例えば、０から２５５の値で構成されていてもよい。このとき、各画素の値すなわち距離値は、例えば、情報取得装置に対象物が近ければ０に近づき、対象物が遠ければ２５５に近づくようにしてもよい。なお、距離画像の各画素の値はこれに限定されない。本例では、第２取得部３１２が取得する第２撮像画像が、グレースケールの距離画像であるとして説明を行う。
【０１３６】
なお、第２取得部３１２は、第１取得部３１１と同様に、撮像装置２の内部または撮像装置２および画像処理装置１００とは異なる記憶装置に格納された撮像画像に基づいて変換された映像信号を取得してもよい。また、画像処理装置１００が撮像装置２に内蔵されている場合、第２取得部３１２は、撮像画像そのものを取得する構成であってもよい。
【０１３７】
第２取得部３１２は、取得した映像信号を、その映像信号を構成する距離画像に変換し、その距離画像を分類部１３０Ｃに供給する。第２取得部３１２が映像信号を変換することによって得た距離画像、または、撮像装置２から取得した撮像画像を以下では第２撮像画像と呼ぶ。
【０１３８】
なお、第１取得部３１１と、第２取得部３１２とは一体となって形成されてもよい。また、第１撮像画像と第２撮像画像とは、撮像された位置を示す情報および撮像時刻に基づいて、互いに関連付けられている。
【０１３９】
第１記憶部１４０Ｃは、第１記憶部１４０Ａおよび第１記憶部１４０Ｂと同様に背景情報１４１を格納する。また、第１記憶部１４０Ｃは、距離情報３４４を格納する。距離情報３４４については後述される。
【０１４０】
分類部１３０Ｃは、第１抽出部３３１と、第２抽出部３３２と、領域変化分類部３３４と、距離情報更新部３３５とを有する。
【０１４１】
第１抽出部３３１は、第２撮像画像から変化領域の画像を抽出する。具体的には、第１抽出部３３１は、第２取得部３１２から供給された距離画像である第２撮像画像と、前景領域検出部１２１から供給された検出結果である２値画像とを用いて、２値画像における画素値が２５５の領域に対応する第２撮像画像上の領域の画像を第１注目画像として抽出する。第１抽出部３３１は、上述した第１抽出部１３１と同様の方法で第１注目画像を抽出すればよい。そして、第１抽出部３３１は、抽出した第１注目画像を領域変化分類部３３４に供給する。
【０１４２】
第２抽出部３３２は、前景領域検出部１２１が２値画像を生成する際に用いた第１撮像画像に関連付けられた第２撮像画像である距離画像が、撮像された時刻より前の距離画像から、変化領域の画像を抽出する。具体的には、第２抽出部３３２は、前景領域検出部１２１から、検出結果である２値画像を受け取る。また、第２抽出部３３２は、２値画像の生成に用いた第１撮像画像の撮像時刻よりも前に撮像された第２撮像画像である、距離情報３４４を第１記憶部１４０Ｃから取得する。
【０１４３】
距離情報３４４は、後述する第２取得部３１２によって更新される第２撮像画像であり、第２取得部３１２が取得した距離画像である。距離情報３４４には、撮像時刻が関連付けられている。上述した通り、第１撮像画像と第２撮像画像とは時刻同期がとられているため、第１撮像画像の撮像時刻と、その第１撮像画像に関連付けられた第２撮像画像の撮像時刻とは略同じになる。したがって、第２抽出部３３２は、第１抽出部３３１が抽出処理を行う対象の第２撮像画像よりも前に撮像された（過去の）第２撮像画像から、変化領域の画像を第２注目画像として抽出すると言える。
【０１４４】
なお、第２抽出部３３２は、第１抽出部３３１が第１注目画像を抽出する方法と同様の方法で第２注目画像を抽出する。第２抽出部３３２は、抽出した第２注目画像を領域変化分類部３３４に供給する。
【０１４５】
距離情報更新部３３５は、第２取得部３１２から供給された距離画像と、第１記憶部１４０Ｃに格納されている距離情報３４４とに基づいて、距離情報３４４を更新する。距離情報更新部３３５は、例えば、背景情報更新部１２３と同様の動作により、距離情報３４４を更新してもよい。
【０１４６】
領域変化分類部３３４は、変化領域における距離情報に基づいて、変化領域における商品棚４に関する変化を分類する。領域変化分類部３３４は、まず、第１抽出部３３１から第１注目画像を受け取る。また、領域変化分類部３３４は、第２抽出部３３２から第２注目画像を受け取る。領域変化分類部３３４は、第１注目画像と第２注目画像とに基づいて、変化領域における商品棚４に関する変化を分類する。
【０１４７】
領域変化分類部３３４は、例えば、第１注目画像における各画素の値（距離値）から第２注目画像における各画素の値（距離値）を減算することにより得られた演算結果に基づいて、変化を分類してもよい。例えば、演算結果が第１の所定の閾値以上の値の場合、すなわち、第１注目画像に含まれる対象物の方が第２注目画像に含まれる対象物より奥にあるとする。この場合、領域変化分類部３３４は、変化領域における商品棚４に関する変化を「商品棚４に商品が含まれなくなったことによる変化」と分類してもよい。また、例えば、演算結果が第２の所定の閾値以下の値の場合、すなわち、第１注目画像に含まれる対象物の方が第２の注目画像に含まれる対象物よりも撮像装置２側にあるとする。この場合、領域変化分類部３３４は、変化領域における商品棚４に関する変化を「商品棚４に商品が新たに含まれたことによる変化」と分類してもよい。また、それ以外の場合、領域変化分類部３３４は、変化領域における商品棚４に関する変化を「商品棚４に陳列された商品の見た目が変わったことによる変化」または「照明が変わったことによる変化」等に分類してもよい。
【０１４８】
また、領域変化分類部３３４は、例えば、第１注目画像における各画素の距離値と第２注目画像における各画素の距離値とをクラスタリングし、最も要素数の多いクラスの距離値を、各注目画像を代表する距離値とし、さらに各注目画像のクラスのクラスタの座標を求めてもよい。そして、領域変化分類部３３４は、例えば、各注目画像を代表する距離値の差分の絶対値が第３の所定の閾値以内であり、かつ、各注目画像のクラスのクラスタの座標が第４の所定の閾値以上離れている場合に、変化領域における商品棚４に関する変化を「商品棚４に陳列された商品の見た目が変わったことによる変化」に分類してもよい。
【０１４９】
また、領域変化分類部３３４は、例えば、事前に設定した、撮像装置２から商品棚４までの距離値から第１注目画像を代表する距離値を減算した結果を用いて、変化領域における商品棚４に関する変化を、商品棚４に陳列された商品の変化に関連する種類または商品棚４に陳列された商品以外の物体による変化に関する種類に分類してもよい。例えば、上記結果が正の値、すなわち、撮像画像のうちの変化領域の部分の画像に含まれる対象物が撮像装置２と商品棚４との間に存在するとする。この場合、領域変化分類部３３４は、その変化領域における商品棚４に関する変化を商品棚４に陳列された商品以外の物体による変化に関する種類に分類してもよい。商品棚４に陳列された商品以外の物体による変化に関する種類とは、例えば、「商品棚４の前に人物が存在することによる変化」、「商品棚４の前に買い物カートがあることによる変化」および「商品棚４の前に人物と買い物かごとがあることによる変化」の少なくとも１つである。また、上記結果が正の値以外ならば、領域変化分類部３３４は、その変化領域における商品棚４に関する変化を商品棚４に陳列された商品の変化に関連する種類に分類してもよい。このように、領域変化分類部３３４は、第１注目画像と事前に設定された距離値とを用いて分類処理を行うことにより、分類処理にかかる処理コストを低減させることができる。
【０１５０】
次に、図１７を参照して、第三の例における分類装置１０を備える画像処理装置１００の動作を説明する。図１７は、第三の例における分類装置１０を備える画像処理装置１００の動作例を示すフローチャートである。
【０１５１】
図１７に例示するステップＳ１５１では、図１２に例示するＳ６１と同様に、第１取得部３１１が商品棚４を撮像した映像信号からＲＧＢ画像である第１撮像画像を取得する（ステップＳ１５１）。また、第２取得部３１２は、商品棚４を撮像した映像信号から距離画像である第２撮像画像を取得する（ステップＳ１５２）。なお、第２撮像画像の撮像時刻が第１撮像画像の撮影時刻から所定の時間内であり、第２撮像画像の撮像範囲が第１撮像画像の撮像範囲であればよく、第２取得部３１２が第２撮像画像を取得するタイミングは、ステップＳ１５５の前までであればよい。
【０１５２】
そして、図１２に例示するステップＳ６２およびステップＳ６３と同様に、前景領域検出部１２１が変化領域を検出し（ステップＳ１５３）、背景情報更新部１２３が背景情報１４１を更新する（ステップＳ１５４）。
【０１５３】
そして、分類部１３０Ｃの第１抽出部３３１が、第２取得部３１２から供給された第２撮像画像と、前景領域検出部１２１から供給された検出結果とに基づいて、第２撮像画像上における、検出結果によって示される変化領域に対応する領域（第１注目領域）の画像を、第１注目画像として抽出する（ステップＳ１５５）。第１抽出部３３１は、抽出した第１注目画像を領域変化分類部３３４に供給する。
【０１５４】
また、分類部１３０Ｃの第２抽出部３３２が、前景領域検出部１２１から供給された検出結果と、第１記憶部１４０Ｃから取得した、第１抽出部３３１に供給された第２撮像画像の撮像時刻よりも前に撮像された第２撮像画像を示す距離情報３４４とに基づいて、第１抽出部３３１と同様の動作により、距離情報３４４から第２注目画像を抽出する（ステップＳ１５６）。第２抽出部３３２は、抽出した第２注目画像を領域変化分類部３３４に供給する。なお、ステップＳ１５５とステップＳ１５６とは同時に行われてもよいし、逆順で行われてもよい。
【０１５５】
そして、領域変化分類部３３４が第１注目画像の各画素の値と、第２注目画像の各画素の値との比較結果に基づいて、変化領域における商品棚４に関する変化を分類する（ステップＳ１５７）。
【０１５６】
次に、距離情報更新部３３５は、第２取得部３１２から供給された第２撮像画像と、距離情報３４４とに基づいて、距離情報３４４を更新する（ステップＳ１５８）。そして、分類装置１０は、図１２に例示するステップＳ６７〜ステップＳ６８と同様の処理を行う（ステップＳ１５９〜ステップＳ１６０）。
【０１５７】
そして、本例における分類装置１０を備える画像処理装置１００は、第１取得部３１１が次の映像信号を受信し、且つ、第２取得部３１２が次の映像信号を受信したか否か（次の第１撮像画像および第２撮像画像があるか否か）を判定する（ステップＳ１６１）。次の第１撮像画像および第２撮像画像がある場合（ステップＳ１６１にてＹＥＳ）、処理はステップＳ１５１に移行する。一方、次の第１撮像画像および第２撮像画像の少なくとも何れかがない場合（ステップＳ１６１にてＮＯ）、本例における分類装置１０を備える画像処理装置１００は、動作を終了する。
【０１５８】
以上のように、第三の例における分類装置１０を備える画像処理装置１００の検出部１２０Ａは、ＲＧＢ画像である第１撮像画像と、第１撮像画像の撮像時刻よりも前に撮像された画像を示す背景情報１４１とを比較することによって、変化領域を検出する。また、第三の例における分類装置１０を備える画像処理装置１００の分類部１３０Ｃは、距離画像である第２撮像画像に含まれる各画素の値と、その第２撮像画像の撮像時刻よりも前に撮像された距離情報３４４の各画素の値との比較結果に基づいて、商品棚４に関する変化を分類する。このような構成であっても、商品棚４の状態をより正確に判別することができる。
【０１５９】
（分類装置１０の第四の例）
図１８は、本実施形態の画像処理装置１００に含まれる分類装置１０の他の例を示すブロック図である。分類装置１０は、取得部１１０Ｃ、検出部１２０Ｂ、分類部１３０Ｄ、および、第１記憶部１４０Ｄを含む。
【０１６０】
本例における分類装置１０は、検出部１２０Ｂが、更に前景領域追跡部２２４を備え、前景領域検出部２２１が検出した変化領域を複数のＲＧＢ画像間で追跡する。なお、前述した図面に含まれる要素と同じ機能を有する要素については、同じ符号を付し、その説明を省略する。
【０１６１】
なお、本例において、前景領域追跡部２２４は、更新信号を距離情報更新部４３５に出力してもよい。
【０１６２】
第１記憶部１４０Ｄは、第１記憶部１４０Ｃと同様に、背景情報１４１および距離情報３４４を格納し、更に、前景領域情報２４３を格納する。
【０１６３】
分類部１３０Ｄは、第１抽出部３３１と、第２抽出部３３２と、領域変化分類部３３４と、距離情報更新部４３５とを有する。距離情報更新部４３５は、距離情報更新部３３５と同様の動作により、距離情報を更新する。
【０１６４】
また、距離情報更新部４３５は、距離情報３４４によって示される距離画像のうち、例えば、前景領域検出部２２１から供給された２値画像によって示される変化領域に該当する部分を更新しなくてもよい。つまり、距離情報更新部４３５は、距離情報３４４によって示される距離画像のうち、変化領域に該当する部分以外の部分を更新してもよい。距離情報更新部４３５は、変化領域に該当する部分の距離情報を更新しないことにより、第２取得部３１２が取得する第２撮像画像と、その第２撮像画像の撮像時刻より前（過去の時刻）に撮像された距離画像とにおいて、変化領域に該当する部分の差分が明確になる。
【０１６５】
また、距離情報更新部４３５は、例えば、前景領域追跡部２２４から供給された更新信号の値が１の場合に、距離情報３４４によって示される距離画像のうち、前景領域検出部２２１から供給された検出結果によって示される変化領域に該当する部分を更新してもよい。すなわち、距離情報更新部４３５は、前景領域追跡部２２４が追跡した変化領域を表す検出結果（２値画像）が分類部１３０Ｄに供給された後に、距離情報３４４における該変化領域に該当する部分の距離情報を更新してもよい。これにより、距離情報更新部４３５は、第１記憶部１４０Ｄに格納された距離情報３４４をその時点において第２取得部３１２が取得した第２撮像画像に近づけることができる。したがって、本例における分類装置１０を備える画像処理装置１００は、変化領域に対応する次に第２取得部３１２が取得する第２撮像画像上の領域を用いた、領域変化分類部３３４による距離値の比較の結果の精度をより高めることができる。
【０１６６】
次に、図１９を参照して、第四の例における分類装置１０を備える画像処理装置１００の動作を説明する。図１９は、第四の例における分類装置１０を備える画像処理装置１００の動作例を示すフローチャートである。
【０１６７】
図１９に例示するステップＳ１７１〜ステップＳ１７３は、それぞれ図１７に例示するステップＳ１５１〜Ｓ１５３と同様の処理である。
【０１６８】
ステップＳ１７３の終了後、前景領域検出部２２１は、上述したステップＳ１３３と同様に、第１記憶部１４０Ｄに前景領域情報２４３を格納する（ステップＳ１７４）。そして、上述したステップＳ１３４と同様に、前景領域追跡部２２４が、前景領域検出部１２１から供給された検出結果と、前景領域情報２４３とに基づいて、変化領域を追跡する（ステップＳ１７５）。前景領域追跡部２２４は、所定の時間以上追跡した変化領域を示す２値画像を、分類部１３０Ｄに供給する。前景領域追跡部２２４は、背景情報１４１の更新を示す更新信号および距離情報３４４の更新を示す更新信号を、それぞれ背景情報更新部２２３および距離情報更新部４３５に供給する。
【０１６９】
背景情報更新部２２３は、上述したステップＳ１３５と同様に、第１取得部３１１から供給された第１撮像画像と、前景領域検出部２２１から供給された変化領域の検出結果と、背景情報１４１と、前景領域追跡部２２４から供給された更新信号とに基づいて、背景情報１４１を更新する（ステップＳ１７６）。
【０１７０】
その後、分類装置１０は、図１７に例示するステップＳ１５５〜ステップＳ１５７と同様の処理を行う（ステップＳ１７７〜ステップＳ１７９）。そして、距離情報更新部４３５は、第２取得部３１２から供給された第２撮像画像と、距離情報３４４と、前景領域追跡部２２４から供給された更新信号とに基づいて、距離情報３４４を更新する（ステップＳ１８０）。
【０１７１】
その後、分類装置１０は、図１７に例示するステップＳ１５９〜ステップＳ１６１と同様の処理を行う（ステップＳ１８１〜ステップＳ１８３）。
【０１７２】
以上のように、本例における分類装置１０は、第三の例における分類装置１０に、更に、第二の例で説明した前景領域追跡部２２４を含む。このような構成であっても、実際に変化が生じている領域を精度よく分類することができる。
【０１７３】
（分類装置１０の第五の例）
図２０は、本実施形態の画像処理装置１００に含まれる分類装置１０の他の一例を示すブロック図である。上述した第一の例から第四の例では、検出部１２０Ａまたは検出部１２０Ｂに入力される撮像画像がＲＧＢ画像であることを例に説明を行った。ただし、検出部に入力される画像は、距離画像であってもよい。第五の例では、分類装置１０の検出部に距離画像が入力される場合について例示する。なお、前述した図面に含まれる要素と同じ機能を有する要素については、同じ符号を付し、その説明を省略する。
【０１７４】
第五の例における分類装置１０は、取得部１１０Ｅと、検出部１２０Ｅと、分類部１３０Ｅと、第１記憶部１４０Ｅとを含む。
【０１７５】
取得部１１０Ｅは、上述した第２取得部３１２と同様に、距離画像である撮像画像を取得する。取得部１１０Ｅは、取得した撮像画像を検出部１２０Ｅと分類部１３０Ｅとに供給する。
【０１７６】
第１記憶部１４０Ｅは、背景情報５４１を格納する。背景情報５４１は、検出部１２０Ｅにおいて撮像画像と比較するための基準となる画像であり、背景画像とも呼ぶ。上述した通り、本例において撮像画像は距離画像である。したがって、背景情報５４１は、撮像画像と同じ種類の画像である距離画像であることが好ましい。なお、背景情報５４１は、取得部１１０Ｅから検出部１２０Ｅに対し、最初に供給された撮像画像であってもよいし、事前に与えられた画像であってもよい。背景情報５４１は、上述した距離情報３４４と同様である。
【０１７７】
検出部１２０Ｅは、前景領域検出部５２１と、背景情報更新部５２３とを有する。前景領域検出部５２１は、取得部１１０Ｅから供給された撮像画像を受け取る。また、前景領域検出部５２１は、撮像画像に対応する背景情報５４１を第１記憶部１４０Ｅから取得する。前景領域検出部５２１は、２つの距離画像の間で変化した領域を変化領域（前景領域）として検出する。前景領域検出部５２１は、例えば、前景領域検出部１２１と同様の動作により、変化領域を検出してもよい。前景領域検出部５２１は、変化領域の検出結果として、前景領域検出部１２１と同様に、検出した変化領域の画素値を２５５、それ以外を０で表した２値画像を生成し、生成した２値画像を分類部１３０Ｅに供給する。
【０１７８】
背景情報更新部５２３は、取得部１１０Ｅから供給された撮像画像と、第１記憶部１４０Ｅに格納されている背景情報５４１である距離画像とに基づいて、背景情報５４１を更新する。ここで、背景情報更新部５２３は、例えば、背景情報更新部１２３と同様の動作により背景情報５４１を更新してもよい。
【０１７９】
分類部１３０Ｅは、第１抽出部５３１と、第２抽出部５３２と、領域変化分類部３３４とを有する。
【０１８０】
第１抽出部５３１は、第１抽出部３３１と同様に、第１注目画像を、撮像画像から抽出する。そして、第１抽出部５３１は、抽出した第１注目領域を領域変化分類部３３４に供給する。
【０１８１】
第２抽出部５３２は、背景情報５４１から変化領域の画像を第２注目画像として抽出する。第２抽出部５３２による第２注目画像の抽出方法は、第２抽出部３３２と同様である。
【０１８２】
領域変化分類部３３４は、第三の例において説明した領域変化分類部３３４と同様に、変化領域における距離情報に基づいて、変化領域における商品棚４に関する変化を分類する。
【０１８３】
次に、図２１を参照して、第五の例における分類装置１０を備える画像処理装置１００の動作を説明する。図２１は、第五の例における分類装置１０を備える画像処理装置１００の動作例を示すフローチャートである。
【０１８４】
まず、取得部１１０Ｅが、商品棚４を撮像した映像信号から距離画像である撮像画像を取得する（ステップＳ１９１）。取得部１１０Ｅは取得した撮像画像を検出部１２０Ｅおよび分類部１３０Ｅに供給する。
【０１８５】
次に、検出部１２０Ｅの前景領域検出部５２１が、取得部１１０Ｅから供給された、距離画像である撮像画像と、第１記憶部１４０Ｅに格納されている、距離画像である背景情報５４１とを用いて、２つの距離画像の間で変化した領域を変化領域として検出する（ステップＳ１９２）。そして、前景領域検出部５２１は、変化領域の検出結果を分類部１３０Ｅに供給する。
【０１８６】
また、背景情報更新部５２３は、撮像画像と背景情報５４１とを用いて背景情報５４１を更新する（ステップＳ１９３）。なお、ステップＳ１９３は、ステップＳ１９１の後であれば、どのタイミングで行われてもよい。
【０１８７】
分類部１３０Ｅの第１抽出部５３１が、取得部１１０Ｅから供給された撮像画像と、前景領域検出部５２１から供給されたその撮影画像に関連する検出結果とに基づいて、撮像画像上における、検出結果によって示される変化領域に対応する領域（第１注目領域）の画像を、第１注目画像として抽出する（ステップＳ１９４）。第１抽出部５３１は、抽出した第１注目画像を領域変化分類部３３４に供給する。
【０１８８】
また、分類部１３０Ｅの第２抽出部５３２が、前景領域検出部５２１から供給された検出結果と、第１記憶部１４０Ｅから取得した、その検出結果を得るために用いた背景情報５４１とに基づいて、第１抽出部５３１と同様の動作により、背景情報５４１から第２注目画像を抽出する（ステップＳ１９５）。第２抽出部５３２は、抽出した第２注目画像を領域変化分類部３３４に供給する。なお、ステップＳ１９４とステップＳ１９５とは同時に行われてもよいし、逆順で行われてもよい。
【０１８９】
そして、領域変化分類部３３４は、第１抽出部５３１から供給された第１注目画像と、第２抽出部５３２から供給された第２注目画像とに基づいて、商品棚４に関する変化（第２注目画像における状態から第１注目画像における状態への変化）を分類する（ステップＳ１９６）。
【０１９０】
そして、分類装置１０は、図１２に例示するステップＳ６７〜ステップＳ６８と同様の処理を行う（ステップＳ１９７〜ステップＳ１９８）。そして、分類装置１０を備える画像処理装置１００は、取得部１１０Ｅが次の映像信号を受信したか否か（次の撮像画像があるか否か）を判定する（ステップＳ１９９）。次の撮像画像がある場合（ステップＳ１９９にてＹＥＳ）、処理はステップＳ１９１に移行し、次の撮像画像がない場合（ステップＳ１９９にてＮＯ）、画像処理装置１００は、動作を終了する。
【０１９１】
以上のように、本例における分類装置１０の検出部１２０Ｅは、距離画像である撮像画像と、撮像画像の撮像時刻よりも前に撮像された画像を示す背景情報５４１とを比較することによって、変化領域を検出する。そして、分類部１３０Ｅは、撮像画像に含まれる各画素の値と、背景情報５４１の各画素の値との比較結果に基づいて、商品棚４に関する変化を分類する。このような構成であっても、商品棚４の状態をより正確に判別することができる。
【０１９２】
（分類装置１０の第六の例）
図２２は、本実施形態の画像処理装置１００に含まれる分類装置１０の他の一例を示すブロック図である。本例における分類装置１０を備える画像処理装置１００は、前景領域検出部６２１が検出した変化領域を複数の距離画像間で追跡する。なお、前述した図面に含まれる要素と同じ機能を有する要素については、同じ符号を付し、その説明を省略する。
【０１９３】
分類装置１０は、取得部１１０Ｅ、検出部１２０Ｆ、分類部１３０Ｅ、および、第１記憶部１４０Ｆを含む。
【０１９４】
第１記憶部１４０Ｆは、第１記憶部１４０Ｅと同様に背景情報５４１を格納する。更に第１記憶部１４０Ｆは、前景領域情報２４３を格納する。
【０１９５】
検出部１２０Ｆは、前景領域検出部６２１と、背景情報更新部６２３と、前景領域追跡部２２４とを有する。
【０１９６】
前景領域検出部６２１は、前景領域検出部５２１と同様の動作により変化領域を検出する。そして、前景領域検出部６２１は、前景領域検出部５２１と同様に、例えば、検出した変化領域の画素値を２５５、それ以外を０で表した２値画像を検出結果として生成する。そして、前景領域検出部６２１は、検出結果である２値画像に、該２値画像の生成に用いた撮像画像の撮像時刻を関連付ける。前景領域検出部６２１は、撮像画像の撮像時刻が関連付けられた検出結果を背景情報更新部６２３と、前景領域追跡部２２４とに供給する。また、前景領域検出部６２１は、この検出結果を前景領域情報２４３として第１記憶部１４０Ｆに格納する。
【０１９７】
背景情報更新部６２３は、取得部１１０Ｅから供給された撮像画像と、前景領域検出部６２１から供給された検出結果と、背景情報５４１と、前景領域追跡部２２４から供給された更新信号とに基づいて、背景情報更新部５２３と同様の動作により背景情報５４１を更新する。なお、背景情報更新部６２３は、背景情報更新部２２３と同様に、変化領域に該当する部分の画像を更新しなくてもよいし、更新してもよい。
【０１９８】
また、前景領域追跡部２２４は、距離画像から生成した２値画像を用いて、第二の例における前景領域追跡部２２４と同様に、変化領域の追跡を行う。
【０１９９】
次に、図２３を参照して、第六の例における分類装置１０を備える画像処理装置１００の動作を説明する。図２３は、第六の例における分類装置１０を備える画像処理装置１００の動作例を示すフローチャートである。図２３に例示するステップＳ２１１〜Ｓ２１２は、それぞれ、図２１に例示するステップＳ１９１〜Ｓ１９２と同様である。
【０２００】
ステップＳ２１２の終了後、前景領域検出部６２１は、第１記憶部１４０Ｆに前景領域情報２４３を格納する（ステップＳ２１３）。上述した通り、前景領域情報２４３は、撮像時刻が関連付けられた検出結果である。
【０２０１】
次に、前景領域追跡部２２４が、前景領域検出部６２１から供給された検出結果と、前景領域情報２４３とに基づいて、変化領域を追跡する（ステップＳ２１４）。前景領域追跡部２２４は、所定の時間以上追跡した変化領域を示す２値画像を、分類部１３０Ｅに供給する。前景領域追跡部２２４は、背景情報５４１の更新を示す更新信号を背景情報更新部６２３に供給する。
【０２０２】
背景情報更新部６２３は、取得部１１０Ｅから供給された撮像画像と、前景領域検出部６２１から供給された変化領域の検出結果と、背景情報５４１と、前景領域追跡部２２４から供給された更新信号とに基づいて、背景情報５４１を更新する（ステップＳ２１５）。
【０２０３】
なお、ステップＳ２１５は、ステップＳ２１４以降の任意のタイミングで行われてもよい。
【０２０４】
そして、本例における分類装置１０を備える画像処理装置１００は、図２１に例示するステップＳ１９４〜Ｓ１９９と同様の処理であるステップＳ２１６〜Ｓ２２１を実行する。
【０２０５】
以上のように、本例における分類装置１０は、第五の例の分類装置１０に、更に、第二の例における前景領域追跡部２２４を含む。このような構成であっても、実際に変化が生じている領域を精度よく分類することができる。
【０２０６】
（前景領域検出部の変形例）
上述した各例の分類装置１０に含まれる前景領域検出部（より詳しくは、前景領域検出部１２１、前景領域検出部２２１、前景領域検出部５２１およち前景領域検出部６２１）は、更に、予め登録された棚領域情報を用いて、変化領域に含まれる対象物が商品棚４内の商品以外であることを特定してもよい。
【０２０７】
本変形例では、第一の例における分類装置１０の前景領域検出部１２１の変形例について説明を行う。ただし、本変形例の内容を、第二の例２から第六の例における前景領域検出部にも適用可能である。
【０２０８】
図２４、図２５および図２６は、本変形例における前景領域検出部１２１の動作例を説明する説明図である。
【０２０９】
前景領域検出部１２１が、取得部１１０Ａから供給された撮像画像と、背景情報１４１とを比較することにより変化領域を検出し、例えば、図２４に例示する、変化領域を表す２値画像である検出結果２１を生成したとする。この検出結果には、変化領域２２、変化領域２３、変化領域２４の３つの変化領域が含まれるとする。前景領域検出部１２１は、検出結果２１に対して、一般的なラベリング方法で変化領域ごとに別々の２値画像である検出結果２１Ａ、検出結果２１Ｂおよび検出結果２１Ｃを生成する。
【０２１０】
つまり、前景領域検出部１２１は、検出結果に複数の変化領域が含まれる場合、各変化領域が別々の２値画像に含まれるような複数の２値画像を生成する。
【０２１１】
そして、前景領域検出部１２１は、予め登録された棚領域情報と、複数の２値画像のそれぞれとに基づいて、変化領域が商品の変化に関する変化を検出した領域か否かを判定する。
【０２１２】
棚領域情報は、商品棚４における商品が陳列される領域を示す。商品分析システム１は、商品棚４の商品を監視しているため、棚領域情報によって示される、商品が陳列される領域を監視対象領域とも呼び、棚領域情報を、監視領域情報とも呼ぶ。棚領域情報は、例えば、取得部１１０Ａが取得する撮像画像と同じ大きさの画像であって、監視対象の商品棚４の監視対象領域の画素値を２５５、それ以外を０で表した２値画像であってもよい。また、棚領域情報に含まれる監視対象領域は、例えば、１つでもよいし複数でもよい。棚領域情報は、例えば、事前に第１記憶部１４０Ａに格納されてもよい。なお、棚領域情報は、取得部１１０Ａが取得する撮像画像に含まれる商品棚４を特定する情報を含む。
【０２１３】
前景領域検出部１２１は、取得部１１０Ａが取得した撮像画像に含まれる商品棚４に関連する、例えば、図２５に例示する棚領域情報２５を用いて、検出結果２１Ａ、検出結果２１Ｂまたは検出結果２１Ｃと、対応する画素ごとに論理積の演算を行う。図２５に例示するように、棚領域情報２５において、監視対象領域は、白で表現されているため、棚領域情報２５は、６つの監視対象領域を含む。
【０２１４】
図２６に例示する演算結果２６Ａは、棚領域情報２５と検出結果２１Ａとの論理積演算の結果である。また、演算結果２６Ｂは、棚領域情報２５と検出結果２１Ｂとの論理積の演算の結果である。また、演算結果２６Ｃは、棚領域情報２５と検出結果２１Ｃとの論理積の演算の結果である。
【０２１５】
人物やカートのような商品以外の物体は、複数の棚の領域にまたがっている。そのため、検出結果２１Ａと棚領域情報２５との論理積の演算を行った結果、図２６に例示する左側の演算結果２６Ａのように、変化領域を表す、画素値が２５５の部分（白色の部分）は、複数の領域に分割される。一方、演算結果２６Ｂおよび演算結果２６Ｃの変化領域を表す部分（白色の部分）は、それぞれ、検出結果２１Ｂおよび検出結果２１Ｃに示すように変化がなく、一続きの領域（画素値が２５５の画素であり、且つ、該画素に隣接する画素の何れかの画素値が２５５の画素の集合）である。商品棚４の陳列領域（監視対象領域）に陳列される商品は、複数の監視対象領域にまたがらない。したがって、演算結果２６Ａのように、変化領域が複数の領域に分割される場合、前景領域検出部１２１は、この変化領域に対する変化を、商品以外による変化であるとし、分類部１３０Ａに供給する検出結果に含めない。言い換えると、前景領域検出部１２１は、検出結果２１Ｂと検出結果２１Ｃとを、分類部１３０Ａに供給する。
【０２１６】
これにより、分類部１３０Ａは、商品棚４に陳列された商品に対する変化の分類処理を行うことができるため、商品以外の物体の影響によって、商品に対する変化の分類精度の低下を防ぐことができる。また、前景領域検出部１２１が、分類部１３０Ａの分類処理を行うよりも前に、変化領域における変化が商品以外の物体による変化であると分類できるため、分類部１３０Ａの処理量を低減させることができる。
【０２１７】
なお、上述した各実施の形態において、撮像装置２が撮像する撮像画像は、例えば、ワゴンに積層された商品を撮像した撮像画像であってもよい。画像処理装置は、ワゴンに積層された商品を撮像した撮像画像と、背景画像とを比較して、変化領域を検出することができる。したがって、各実施形態における画像処理装置１００は、商品のフェイスが全て見えるように陳列された商品棚に限定されず、様々な陳列方法で陳列された商品を撮像した撮像画像を用いることができる。  
【０２１８】
次に、本発明の概要を説明する。図２７は、本発明による商品分析システムの概要を示すブロック図である。本発明による商品分析システム８００（例えば、商品分析システム１）は、商品棚が撮影された映像から商品棚の変化領域を検出する検出手段８１０（例えば、検出部１２０）と、検出された変化領域における商品棚の変化を分類する分類手段８２０（例えば、分類部１３０）と、変化の分類に基づいて、顧客が商品に興味を持ったが購入しなかった頻度を特定する特定手段８３０（例えば、特定部１５０）とを備えている。
【０２１９】
そのような構成により、顧客が購入に至らなかった商品に対しても、顧客が興味を示す商品を分析できる。
【０２２０】
また、商品分析システム８００は、商品棚を撮影した映像を表示する表示手段（例えば、出力制御部１６０、出力装置３））を備えていてもよい。そして、表示手段は、商品棚を撮影した映像に対して、顧客が商品に興味を持ったが購入しなかった頻度に応じた態様の画像を重畳して表示してもよい。
【０２２１】
具体的には、表示手段は、商品棚を撮影した映像に対して、顧客が商品に興味を持ったが購入しなかった頻度に応じた態様の画像を変化領域に重畳して表示してもよい。
【０２２２】
また、分類手段８２０は、商品棚の変化を、その商品棚から商品を取ったことによる変化、その商品棚に商品が配置されたことによる変化、または、その商品棚に配置された商品の位置をずらしたことによる変化、のいずれかに分類してもよい。そして、特定手段８３０は、商品棚に商品が配置されたことによる変化、または、商品棚に配置された商品の位置をずらしたことによる変化が生じた商品を対象に、顧客が商品に興味を持ったが購入しなかった頻度を特定してもよい。
【０２２３】
また、特定手段８３０は、商品棚の変化の分類と、その商品棚の棚割り情報（例えば、棚割り情報１７１）とに基づいて、顧客が興味を持ったが購入されなかった商品を特定してもよい。
【０２２４】
また、特定手段８３０は、特定した商品を商品のカテゴリまたは商品を陳列する領域ごとに頻度を特定してもよい。
【０２２５】
また、特定手段８３０は、商品棚から商品を取ったことによる変化が生じた商品を対象に、顧客が商品を購入した頻度を特定してもよい。そして、表示手段は、顧客が商品を購入した頻度と顧客が商品に興味を持ったが購入しなかった頻度とを区別可能な態様の画像を変化領域にそれぞれ重畳させて表示してもよい。
【０２２６】
また、表示手段は、商品棚を撮影した映像に対して、顧客が商品に興味を持ったが購入しなかった頻度に応じた色の画像を変化領域に重畳して表示してもよい。
【０２２７】
（ハードウェア構成について）
本開示の各実施形態において、各装置の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、例えば、図２８に例示する情報処理装置９００とプログラムとの任意の組み合わせにより実現される。図２８は、各装置の各構成要素を実現する情報処理装置９００のハードウェア構成例を示すブロック図である。情報処理装置９００は、一例として、以下のような構成を含む。
【０２２８】
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３
・ＲＡＭ９０３にロードされるプログラム９０４
・プログラム９０４を格納する記憶装置９０５
・記録媒体９０６の読み書きを行うドライブ装置９０７
・通信ネットワーク９０９と接続する通信インタフェース９０８
・データの入出力を行う入出力インタフェース９１０
・各構成要素を接続するバス９１１
【０２２９】
各実施形態における各装置の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が取得して実行することで実現される。各装置の各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１がＲＡＭ９０３にロードして実行される。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が該プログラムを読み出してＣＰＵ９０１に供給してもよい。
【０２３０】
各装置の実現方法には、様々な変形例が存在する。各装置は、例えば、構成要素ごとにそれぞれ別個の情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つの情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。
【０２３１】
また、各装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
【０２３２】
各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
【０２３３】
各装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
【０２３４】
なお、上述した各実施形態は、本開示の好適な実施の形態であり、上記各実施の形態にのみ本開示の範囲を限定するものではなく、本開示の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。
【符号の説明】
【０２３５】
１  商品分析システム
２  撮像装置
３  出力装置
４  商品棚
１０  分類装置
１００  画像処理装置
１１０  取得部
１２０  検出部
１２１  前景領域検出部
１２３  背景情報更新部
１３０  分類部
１３１  第１抽出部
１３２  第２抽出部
１３４  領域変化分類部
１４０  第１記憶部
１４１  背景情報
１４２  棚変化モデル
１５０  特定部
１６０  出力制御部
１７０  第２記憶部
１７１  棚割り情報
２２１  前景領域検出部
２２３  背景情報更新部
２２４  前景領域追跡部
２４３  前景領域情報
３１１  第１取得部
３１２  第２取得部
３３１  第１抽出部
３３２  第２抽出部
３３４  領域変化分類部
３３５  距離情報更新部
３４４  距離情報
４３５  距離情報更新部
５２１  前景領域検出部
５２３  背景情報更新部
５３１  第１抽出部
５３２  第２抽出部
５４１  背景情報
【図１】
2019171574.tif 000003
【図２】
2019171574.tif 000004
【図３】
2019171574.tif 000005
【図４】
2019171574.tif 000006
【図５】
2019171574.tif 000007
【図６】
2019171574.tif 000008
【図７】
2019171574.tif 000009
【図８】
2019171574.tif 000010
【図９】
2019171574.tif 000011
【図１０】
2019171574.tif 000012
【図１１】
2019171574.tif 000013
【図１２】
2019171574.tif 000014
【図１３】
2019171574.tif 000015
【図１４】
2019171574.tif 000016
【図１５】
2019171574.tif 000017
【図１６】
2019171574.tif 000018
【図１７】
2019171574.tif 000019
【図１８】
2019171574.tif 000020
【図１９】
2019171574.tif 000021
【図２０】
2019171574.tif 000022
【図２１】
2019171574.tif 000023
【図２２】
2019171574.tif 000024
【図２３】
2019171574.tif 000025
【図２４】
2019171574.tif 000026
【図２５】
2019171574.tif 000027
【図２６】
2019171574.tif 000028
【図２７】
2019171574.tif 000029
【図２８】
2019171574.tif 000030
【手続補正書】
【提出日】令和2年8月14日(2020.8.14)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】図３
【補正方法】変更
【補正の内容】
【図３】
2019171574.tif 000031
【国際調査報告】
2019171574.tif 000032
2019171574.tif 000033
2019171574.tif 000034
2019171574.tif 000035