(57)【要約】  画像処理装置は、監視対象である商品が撮影されている撮像画像に基づいて、前記商品の陳列状態の変化を検出する変化検出手段と、前記変化検出手段が検出した前記商品の陳列状態の変化と、撮像画像に含まれる人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する陳列検出手段と、を有する。
2019111501.tif 000002
【特許請求の範囲】
【請求項１】
監視対象である商品が撮影されている撮像画像に基づいて、前記商品の陳列状態の変化を検出する変化検出手段と、
前記変化検出手段が検出した前記商品の陳列状態の変化と、撮像画像に含まれる人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する陳列検出手段と、
を有する
画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記変化検出手段が検出した前記商品の陳列状態の変化を前記人物に基づいて関連付ける関連付け手段を有し、
前記陳列検出手段は、前記関連付け手段が関連づけた結果に基づいて、前記商品が、取られた場所とは異なる場所に戻されたことを検出する
画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記関連付け手段は、
前記変化検出手段が検出した前記商品の陳列状態の変化と前記人物とを関連付けて、前記商品の陳列状態の変化と前記人物との関係を示す関連性情報を生成する関連性生成手段と、
前記関連性生成手段が生成した前記関連性情報のうち同一人物の前記関連性情報を統合する関連性統合手段と、
を有し、
前記陳列検出手段は、前記関連性統合手段が統合した結果に基づいて、前記商品が、取られた場所とは異なる場所に戻されたことを検出する
画像処理装置。
【請求項４】
請求項１から請求項３までのいずれかに記載の画像処理装置であって、
前記変化検出手段は、前記商品の陳列状態の変化を検出するとともに、前記人物を検出するよう構成されており、
前記陳列検出手段は、前記変化検出手段が検出した前記商品の陳列状態の変化と前記人物とに基づいて、前記商品が、取られた場所とは異なる場所に戻されたことを検出する
画像処理装置。
【請求項５】
請求項１から請求項４までのいずれかに記載の画像処理装置であって、
撮像画像に基づいて人物の動線データを生成する動線データ生成手段を有し、
前記陳列検出手段は、前記変化検出手段が検出した前記商品の陳列状態の変化と前記動線データ生成手段が生成した前記動線データとに基づいて、前記商品が、取られた場所とは異なる場所に戻されたことを検出する
画像処理装置。
【請求項６】
請求項５に記載の画像処理装置であって、
前記動線データ生成手段は、人物を識別するための識別子と当該人物が訪問した前記商品の位置に応じた識別子とを含む情報である前記動線データを生成する
画像処理装置。
【請求項７】
請求項１から請求項６までのいずれかに記載の画像処理装置であって、
前記変化検出手段は、監視対象である商品が撮影されている撮像画像と、当該撮像画像よりも前に撮像された画像を示す背景情報とを比較することで、前記商品の陳列状態の変化を検出する
画像処理装置。
【請求項８】
請求項７に記載の画像処理装置であって、
前記背景情報を更新する背景情報更新手段を有し、
前記背景情報更新手段は、予め定められた条件を満たす場合、前記背景情報のうち、前記商品の陳列が変化した領域である変化領域に相当する部分以外を更新する
画像処理装置。
【請求項９】
請求項１から請求項８までのいずれかに記載の画像処理装置であって、
前記陳列検出手段による検出結果に基づいて所定の報知を行う報知手段を有し、
前記報知手段は、報知の緊急性に応じて報知のタイミングを制御する
画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置であって、
前記報知手段は、所定の条件を満たす場合、報知を保留するよう構成されるとともに、前記所定の条件を満たし、かつ、緊急性を有する場合、報知を保留せずに実行する
画像処理装置。
【請求項１１】
請求項９または請求項１０に記載の画像処理装置であって、
前記報知手段は、前記陳列検出手段が、前記商品が取られた場所とは異なる場所に戻されたことを検出した前記商品の種類に応じて、報知の緊急性を判断する
画像処理装置。
【請求項１２】
画像処理装置が、
監視対象である商品が撮影されている撮像画像に基づいて、前記商品の陳列状態の変化を検出し、
検出した前記商品の陳列状態の変化と、撮像画像に含まれる人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する
画像処理方法。
【請求項１３】
画像処理装置に、
監視対象である商品が撮影されている撮像画像に基づいて、前記商品の陳列状態の変化を検出する変化検出手段と、
前記変化検出手段が検出した前記商品の陳列状態の変化と、撮像画像に含まれる人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する陳列検出手段と、
を実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、記録媒体に関する。
【背景技術】
【０００２】
コンビニエンスストアやスーパーマーケットなどの小売店や各種店舗などにおいては、監視カメラなどを用いて商品などの監視対象の監視を行うことが知られている。【０００３】
例えば、特許文献１には、商品の陳列状況を監視するとともに、監視結果に応じた報知を行う商品モニタリング装置が記載されている。具体的には、特許文献１には、商品状態検知部と、人物状態検知部と、報知判定部と、報知部と、を有する商品モニタリング装置が記載されている。特許文献１によると、商品状態検知部は、商品の陳列エリアを撮像した映像に基づいて、陳列された商品の配置に乱れがある陳列乱れ状態や陳列された商品の個数に不足がある陳列不足状態などの商品の陳列状態を検知する。また、人物状態検知部は、店舗内を撮像した映像に基づいて検出される人物の検出結果に基づいて、店舗内における人物滞在状況を検知する。そして、報知判定部は、商品状態検知部の検知結果及び人物状態検知部の検知結果に基づいて、商品管理作業を店員に指示する報知の可否を判定する。特許文献１によると、このような構成により、人物滞在状態を考慮した商品管理作業を指示する報知を行うことが可能となる。【０００４】
また、関連する技術として、例えば、特許文献２がある。特許文献２には、画像処理により、人物領域抽出部で抽出した各来店者に対して、商品を手に持ったか、又は、商品を棚に戻したかを判断するための技術が記載されている。例えば、特許文献２には、来店者の外接矩形の大きさに応じて、来店者が物体を手に取ったことを判断する旨が記載されている。【０００５】
また、関連する技術として、例えば、特許文献３がある。特許文献３には、店舗内での客の動線を検出し、当該動線に対応する位置に陳列されている商品と客とを関連付ける装置が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】国際公開第２０１５／０７９６２２号
【特許文献２】特開２００５−３４７９０５号公報
【特許文献３】特許第６１７２３８０号
【非特許文献】
【０００７】
【非特許文献１】Ｚｏｒａｎ  Ｚｉｖｋｏｖｉｃ、「Ｉｍｐｒｏｖｅｄ  Ａｄａｐｔｉｖｅ  Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ  ｆｏｒ  Ｂａｃｋｇｒｏｕｎｄ  Ｓｕｂｔｒａｃｔｉｏｎ」、Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  １７ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  （ＩＣＰＲ’０４）、米国、ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ、２００４年８月、Ｖｏｌｕｍｅ２−Ｖｏｌｕｍｅ０２、ｐ．２８−３１
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に記載の装置では、任意の棚の商品の陳列乱れや陳列不足を検出するに留まっており、顧客が商品を間違った場所に戻す場合について何ら考慮されていない。そのため、特許文献１に記載の装置では、顧客が棚の別の場所に商品を戻してしまった場合や他の棚の商品を戻してしまった場合などを検出することが出来なかった。【０００９】
同様に、特許文献２に記載されている技術も、商品を手に持ったか、又は棚に戻したかを検出しているのみであり、顧客が本来の置き場所とは別の場所に商品を戻してしまうことなどを検出することが出来なかった。また、特許文献３に記載の装置では、客の動線と関連付けた商品を決済処理の候補とするに留まっており、決済前に客が商品を棚に戻したか否かは分からない。すなわち、特許文献３では、客が商品を間違った場所に戻す場合について何ら考慮されていなかった。【００１０】
以上のように、特許文献１から特許文献３までに記載された技術では、顧客が本来の置き場所とは別の場所に商品を戻してしまうことを検出することが出来ない、という問題が生じていた。【００１１】
そこで、本発明の目的は、顧客が本来の置き場所とは別の場所に商品を戻してしまうことを検出することが出来ない、という問題を解決する画像処理装置、画像処理方法、記録媒体を提供することにある。
【課題を解決するための手段】
【００１２】
かかる目的を達成するため本発明の一形態である画像処理装置は、
監視対象である商品が撮影されている撮像画像に基づいて、前記商品の陳列状態の変化を検出する変化検出手段と、
前記変化検出手段が検出した前記商品の陳列状態の変化と、撮像画像に含まれる人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する陳列検出手段と、
を有する
という構成をとる。【００１３】
また、本発明の他の形態である画像処理方法は、
画像処理装置が、
監視対象である商品が撮影されている撮像画像に基づいて、前記商品の陳列状態の変化を検出し、
検出した前記商品の陳列状態の変化と、撮像画像に含まれる人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する
という構成をとる。【００１４】
また、本発明の他の形態である記録媒体は、
画像処理装置に、
監視対象である商品が撮影されている撮像画像に基づいて、前記商品の陳列状態の変化を検出する変化検出手段と、
前記変化検出手段が検出した前記商品の陳列状態の変化と、撮像画像に含まれる人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する陳列検出手段と、
を実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００１５】
本発明は、以上のように構成されることにより、顧客が本来の置き場所とは別の場所に商品を戻してしまうことを検出することが出来ない、という問題を解決する画像処理装置、画像処理方法、記録媒体を提供することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施形態に係る商品モニタリングシステムの構成の一例を示す図である。
【図２】商品モニタリングシステムの利用シーンの一例を説明するための図である。
【図３】画像処理装置の構成の一例を示す機能ブロック図である。
【図４】第１変化検出部と第１記憶部の構成の一例を示す機能ブロック図である。
【図５】前景領域検出部の動作を説明するための図である。
【図６】領域変化分類部が出力する分類結果の一例を示す図である。
【図７】第１関連性生成部が生成する商品と人物の関連性情報の一例を示す図である。
【図８】図７に示した商品と人物の関連性情報を統合した一例を示す図である。
【図９】第１の実施形態に係る画像処理装置の動作の流れの一例を示すフローチャートである。
【図１０】第２の実施形態に係る画像処理装置の構成の一例を示す機能ブロック図である。
【図１１】第１関連性生成部と第２関連性生成部が生成する商品と人物の関連性情報の一例を示す図である。
【図１２】図１１に示した商品と人物の関連性情報を統合した一例を示す図である。
【図１３】第２の実施形態に係る画像処理装置の動作の流れの一例を示すフローチャートである。
【図１４】本発明の第３の実施形態に係る商品モニタリングシステムの構成の一例を示す図である。
【図１５】第３の実施形態に係る画像処理装置の構成の一例を示す機能ブロック図である。
【図１６】動線データの一例を示す図である。
【図１７】第１関連性生成部が生成する商品と人物の関連性情報の一例を示す図である。
【図１８】図１６に示した商品と人物の関連性情報を統合した一例を示す図である。
【図１９】第３の実施形態に係る画像処理装置の動作の流れの一例を示すフローチャートである。
【図２０】第４の実施形態に係る画像処理装置の構成の一例を示す機能ブロック図である。
【図２１】第４の実施形態に係る画像処理装置の動作の流れの一例を示すフローチャートである。
【図２２】第５の実施形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。
【図２３】第５の実施形態に係る画像処理装置の動作の流れの一例を示すフローチャートである。
【図２４】変形例における前景領域検出部の動作を説明するための図である。
【図２５】変形例における前景領域検出部の動作を説明するための図である。
【図２６】変形例における前景領域検出部の動作を説明するための図である。
【図２７】各実施形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示的に説明する図である。
【図２８】第６の実施形態に係る画像処理装置の構成の一例を示す機能ブロック図である。
【発明を実施するための形態】
【００１７】
［第１の実施形態］
本発明の第１の実施形態を図１から図９までを参照して説明する。図１は、商品モニタリングシステム１の構成の一例を示す図である。図２は、商品モニタリングシステム１の利用シーンの一例を説明するための図である。図３は、画像処理装置１００の構成の一例を示す機能ブロック図である。図４は、第１変化検出部１２０と第１記憶部１３０の構成の一例を示す機能ブロック図である。図５は、前景領域検出部１２１の動作を説明するための図である。図６は、領域変化分類部１２６が出力する分類結果の一例を示す図である。図７は、第１関連性生成部１４０が生成する商品と人物の関連性情報の一例を示す図である。図８は、関連性統合部１５０が、図７に示した商品と人物の関連性情報を統合した一例を示す図である。図９は、画像処理装置１００の動作の流れの一例を示すフローチャートである。
【００１８】
第１の実施形態では、撮像画像に基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する商品モニタリングシステム１について説明する。後述するように、本実施形態の商品モニタリングシステム１は、撮像装置２が撮像した撮像画像に基づいて、商品棚３の変化を検出するとともに、撮像画像に含まれる人物や物体の領域を検出する。そして、商品モニタリングシステム１は、商品棚３の変化と抽出した人物とを関連付けるとともに、人物を基準として関連づけた情報を統合する。このように、商品モニタリングシステム１は、抽出した人物に基づいて、商品棚３の変化を関連付けるよう構成されている。これにより、商品モニタリングシステム１は、顧客が一度手に取った商品を別の商品棚３に置いた場合など、商品が取られた場所とは異なる場所に戻されたことを検出する。
【００１９】
図１は、本実施の形態に係る画像処理装置１００を含む商品モニタリングシステム１の構成の一例を示す図である。図１に示す通り、商品モニタリングシステム１は、画像処理装置１００と撮像装置２とを含む。画像処理装置１００は、例えば、ネットワークＮを介して撮像装置２と通信可能に接続している。
【００２０】
なお、本実施形態においては、画像処理装置１００は撮像装置２と別個の構成であるとして説明を行う。しかしながら、画像処理装置１００は撮像装置２に内蔵される構成であってもよい。つまり、撮像装置２が後述する画像処理装置１００としての機能を有していても構わない。また、画像処理装置１００が撮像装置２としての機能を有していても構わない。
【００２１】
また、図１では、撮像装置２が１つの場合について例示している。しかしながら、商品モニタリングシステム１が有する撮像装置２の数は１つに限定されない。商品モニタリングシステム１は、例えば、複数の撮像装置２を有していても構わない。
【００２２】
図２は、商品モニタリングシステム１の利用シーンの一例を説明するための図である。図２を参照すると、商品モニタリングシステム１では、撮像装置２が、店舗の商品棚３を撮像する。そして、撮像装置２は、撮像した撮像画像を示す映像信号を、画像処理装置１００に送信する。
【００２３】
撮像装置２は、例えば、店舗などに設置されている監視カメラである。撮像装置２は、例えば、店舗内などにおいて商品棚３を撮像可能な所定位置に設置されている。また、撮像装置２には、当該撮像装置２を識別するためのカメラＩＤなどが予め割り当てられている。撮像装置２は、撮像画像を取得する。この際、撮像装置２は、例えば、自身が有する時計などを参照して、撮像画像を取得した時刻である撮像時刻を取得した撮像画像に関連付ける。このように、撮像装置２は、商品棚３などの様子を示す撮像画像を取得する。
【００２４】
なお、撮像装置２が撮像する映像は、動画像であってもよいし、連続する静止画像であってもよい。また、本実施形態においては、撮像装置２が取得する撮像画像は、カラー画像（以下、ＲＧＢ（Ｒｅｄ  Ｇｒｅｅｎ  Ｂｌｕｅ）画像と呼ぶ）である。撮像装置２が取得する撮像画像は、例えば、ＲＧＢ画像以外の色空間の画像であってもよい。
【００２５】
上述したように、撮像装置２は、取得した撮像画像を示す映像信号を、画像処理装置１００に送信する。撮像装置２は、撮像画像を撮像装置２の内部または画像処理装置１００とは異なる記憶装置に格納してもよい。
【００２６】
画像処理装置１００は、撮像画像を分析することで、商品が取られた場所とは異なる場所に戻されたことを検出する情報処理装置である。図３は、画像処理装置１００の構成の一例を示している。画像処理装置１００は、例えば、図３に示す通り、第１取得部１１０と、第１変化検出部１２０（変化検出手段）と、第１記憶部１３０と、第１関連性生成部１４０（関連付け手段、関連性生成手段）と、関連性統合部１５０（関連付け手段、関連性統合手段）と、陳列検出部１６０（陳列検出手段）とを備える。例えば、画像処理装置１００は、図示しない演算装置と記憶装置とを有している。そして、画像処理装置１００は、例えば、図示しない記憶装置に格納されたプログラムを演算装置で実行することで、上記各処理部を実現する。
【００２７】
なお、図３に示す画像処理装置１００は、本開示に特有な構成について示したものである。画像処理装置１００は、図３に示されていない部材を有してもよい。この点は、第２の実施形態以降についても同様である。
【００２８】
第１取得部１１０は、撮像装置２が商品棚３を撮像することによって得た撮像画像を示す映像信号を取得する。第１取得部１１０は、撮像装置２から送信された映像信号を受信してもよい。第１取得部１１０は、撮像装置２の内部または撮像装置２および画像処理装置１００とは異なる記憶装置に格納された撮像画像に基づいて変換された映像信号を取得してもよい。
【００２９】
なお、上述したように、画像処理装置１００は撮像装置２に内蔵される構成であってもよい。このような構成の場合、第１取得部１１０は、撮像画像そのものを取得する構成であってもよい。
【００３０】
第１取得部１１０は、取得した映像信号を、該映像信号を構成するＲＧＢ画像に変換する。そして、第１取得部１１０は、変換したＲＧＢ画像を第１変化検出部１２０に供給する。なお、第１取得部１１０が映像信号を変換することによって得たＲＧＢ画像は、撮像装置２が商品棚３を撮像した撮像画像を表すため、単に撮像画像とも呼ぶ。
【００３１】
図４は、第１変化検出部１２０と第１記憶部１３０の構成の一例をより詳細に示す機能ブロック図である。図４を参照して、第１変化検出部１２０と第１記憶部１３０の詳細を説明する。
【００３２】
第１記憶部１３０は、ハードディスクやメモリなどの記憶装置である。第１記憶部１３０には、背景情報１３１と棚変化モデル１３２と、前景情報１３３と、人物情報１３４とを格納する。なお、第１記憶部１３０は、画像処理装置１００とは異なる記憶装置で実現されてもよいし、第１変化検出部１２０に内蔵されてもよい。また、背景情報１３１と棚変化モデル１３２と前景情報１３３と人物情報１３４は、同一の記憶装置に格納されてもよいし、別々の記憶装置に格納されてもよい。
【００３３】
背景情報１３１は、第１変化検出部１２０において撮像画像と比較するための基準となる画像である。背景情報１３１は、背景画像とも呼ぶ。背景情報１３１は、例えば、撮像画像と同じ種類の画像であることが好ましい。本実施形態では、上述した通り、撮像画像はＲＧＢ画像である。そのため、背景情報１３１もＲＧＢ画像であることが好ましい。なお、背景情報１３１は、第１取得部１１０から第１変化検出部１２０に対して最初に供給された撮像画像であってもよいし、事前に与えられた画像であってもよい。
【００３４】
また、後述するように、背景情報１３１は、更新可能な情報である。背景情報１３１を更新する際の処理の詳細は、後述する。
【００３５】
棚変化モデル１３２は、事前に学習した、商品棚３の変化をモデル化したものである。棚変化モデル１３２は、例えば、予め記憶装置１３０に格納されている。棚変化モデル１３２は、例えば、一般的に広く知られているＣｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋなどの機械学習を用いて学習されることによって得られてもよい。
【００３６】
例えば、棚変化モデル１３２は、商品棚３に商品が含まれる画像と商品棚３に商品が含まれない画像とを用いて学習された「商品棚３に商品が含まれなくなったことによる変化」または「商品棚３に商品が新たに含まれたことによる変化」を表す。また、棚変化モデル１３２は、複数の商品の画像および各商品の形状が変化した複数の画像を用いて学習された「商品棚３に陳列された商品の見た目が変わったことによる変化」を表す。また、棚変化モデル１３２は、商品棚３の前に何も対象物が存在しない状態で撮像された撮像画像と、商品棚３の前に人物などの対象物が存在する状態で撮像された撮像画像とを用いて学習された、「商品棚３の前に人物が存在することによる変化」、「商品棚３の前に買い物カートがあることによる変化」等を表す。また、棚変化モデル１３２は、様々な環境下で画像を用いて学習された、例えば、「照明が変わったことによる変化」を表してもよい。
【００３７】
棚変化モデル１３２の学習データは、例えば、変化前後の２つのＲＧＢ画像を結合した６チャネル画像でもよいし、変化前後の２つのＲＧＢ画像のＲ成分、Ｇ成分、またはＢ成分のいずれか１つを結合した２チャネル画像でもよい。また、学習データは、例えば、変化前後の２つのＲＧＢ画像のＲ成分、Ｇ成分、またはＢ成分のいずれか２つを結合した４チャネル画像でもよいし、変化前後の２つのＲＧＢ画像をグレースケール画像に変換してから結合した２チャネル画像でもよい。また、学習データは、変化前後のＲＧＢ画像をＨＳＶ（Ｈｕｅ  Ｓａｔｕｒａｔｉｏｎ  Ｖａｌｕｅ）色空間など他の色空間に変換し、他の色空間への変換後の色空間における１つまたは複数のチャネルを結合した画像でもよい。
【００３８】
また、棚変化モデル１３２の学習データは、ＲＧＢ画像のようなカラー画像から生成されたものであってもよいし、カラー画像と距離画像との両方を用いて生成されたものであってもよい。
【００３９】
前景情報１３３は、前景領域検出部１２１により格納される情報である。前景情報１３３は、前景領域検出部１２１が背景画像である背景情報１３１と撮像画像であるＲＧＢ画像とを比較した結果検出する、ＲＧＢ画像のうちの背景画像と異なる領域である前景領域（変化領域）を示す情報を含んでいる。具体的には、例えば、前景情報１３３は、撮像画像の撮像時刻が関連付けられた２値画像である。なお、前景情報１３３を格納する処理の詳細は後述する。
【００４０】
人物情報１３４は、前景領域追跡部１２３により格納される情報である。人物情報１３４は、例えば、前景領域追跡部１２３が抽出した人物領域に撮像装置のＩＤ（カメラＩＤ）や人物ＩＤや撮像画像上の位置や撮像画像の撮像時刻などを関連付けることで生成される。後述するように、人物領域は、例えばＲＧＢ画像である。換言すると、人物情報１３４は、例えば、格納された人物領域の色、面積、形状および外接矩形のアスペクト比などを示す情報を含むことが出来る。なお、人物情報１３４を格納する処理の詳細も後述する。
【００４１】
第１変化検出部１２０は、商品棚３に関する変化領域を検出する。
【００４２】
例えば、第１変化検出部１２０は、撮像画像に含まれる商品棚３に陳列された商品が、撮像画像よりも前に取得された画像（例えば背景画像）に含まれない場合、当該商品の領域を検出する。また、例えば、第１変化検出部１２０は、背景画像に含まれる商品棚３に陳列された商品が、撮像画像に含まれない場合、当該商品の領域を検出する。また、例えば、第１変化検出部１２０は、撮像画像に含まれる商品棚３に陳列された商品と背景画像に含まれる商品との見え方が異なる場合、当該商品の領域を検出する。このように、第１変化検出部１２０は、撮像画像に基づいて、商品が減った（無くなった）、商品が増えた（新たに出現した）、商品の見た目が変わった、などの商品の陳列状態の変化を検出する。
【００４３】
また、例えば、第１変化検出部１２０は、撮像画像が商品棚３と撮像装置２との間に人物や物体が存在した時に撮像された場合、商品棚３を撮像した撮像画像に含まれる人物や物体の領域を検出する。
【００４４】
以上のように、第１変化検出部１２０は、商品の陳列状態が変化した領域である商品棚３の内部の変化領域や、商品棚３と撮像装置２との間の人物・物体による撮像画像における変化領域等の商品棚３に関する変化領域を検出する。
【００４５】
図４に示す通り、第１変化検出部１２０は、前景領域検出部１２１と、背景情報更新部１２２（背景情報更新手段）と、前景領域追跡部１２３と、第１抽出部１２４と、第２抽出部１２５と、領域変化分類部１２６とを備える。
【００４６】
前景領域検出部１２１は、第１取得部１１０から供給された撮像画像を受け取る。また、前景領域検出部１２１は、撮像画像に対応する背景情報１３１を第１記憶部１３０から取得する。上述した通り、背景情報１３１はＲＧＢ画像である。前景領域検出部１２１は、２つのＲＧＢ画像である撮像画像と背景情報１３１とを比較する。そして、前景領域検出部１２１は、比較した２つのＲＧＢ画像の間で変化した領域を変化領域として検出する。前景領域検出部１２１は、背景画像である背景情報１３１と撮像画像であるＲＧＢ画像とを比較するため、背景画像と異なる領域である前景領域を検出するとも言える。
【００４７】
なお、本実施形態においては、前景領域検出部１２１が変化領域を検出する方法は特に限定しない。前景領域検出部１２１は、既存の技術を用いて変化領域を検出するよう構成することが出来る。例えば、前景領域検出部１２１は、非特許文献１に開示されている背景差分法を用いて、変化領域を検出してもよい。前景領域検出部１２１は、検出した変化領域の画素値を２５５、それ以外を０で表した２値画像を生成してもよい。
【００４８】
ここで、前景領域検出部１２１の動作の一例について、図５を参照してより詳しく説明する。図５は、前景領域検出部１２１の動作を説明するための図である。図５の（ａ）は撮像画像の一例であり、図５の（ｂ）は第１記憶部１３０に格納された撮像画像に対応する背景情報１３１の一例である。また、図５の（ｃ）は、変化領域の検出結果である２値画像の一例を示す図である。
【００４９】
図５（ａ）、図５（ｂ）を参照すると、撮像画像と背景情報１３１とでは、商品Ｇ１、商品Ｇ２、商品Ｇ３の３つの領域に差異がある。例えば、図５（ａ）、図５（ｂ）の場合、商品Ｇ１は、背景情報１３１には含まれないが、撮像画像には含まれる。また、商品Ｇ３は、背景情報１３１には含まれるが、撮像画像には含まれない。また、撮像画像に含まれる商品Ｇ２の位置には、背景情報１３１上では他の商品が陳列されている。したがって、前景領域検出部１２１は、商品Ｇ２の領域も変化があった領域として検出する。このような場合、前景領域検出部１２１は、例えば、図５の（ｃ）に示すような、商品Ｇ１、商品Ｇ２および商品Ｇ３の領域に相当する部分を白で表現し、その他の部分を黒で表現した２値画像を生成する。
【００５０】
なお、以降の説明において、変化領域とは、図５の（ｃ）の白色の部分のそれぞれを示す。つまり、変化領域とは、例えば、画素値が２５５の画素であり、且つ、該画素に隣接する画素の何れかの画素値が２５５の画素の集合である。前景領域検出部１２１は、図５の（ｃ）の例では、３つの変化領域を検出する。
【００５１】
例えば上述したように、前景領域検出部１２１は、撮像画像と同じサイズの２値画像を生成する。また、前景領域検出部１２１は、検出結果である２値画像に、該２値画像の生成に用いた撮像画像の撮像時刻を関連付ける。前景領域検出部１２１は、２値画像に、２値画像の生成に用いた撮像画像を示す情報や背景情報１３１を示す情報などを関連付けても構わない。そして、前景領域検出部１２１は、撮像画像の撮像時刻などが関連付けられた検出結果を、背景情報更新部１２２と、前景領域追跡部１２３とに供給する。また、前景領域検出部１２１は、撮像画像の撮像時刻が関連付けられた検出結果を、前景情報１３３として第１記憶部１３０に格納する。
【００５２】
なお、前景領域検出部１２１による検出結果は、検出した変化領域を示す情報を含んでいればよい。例えば、前景領域検出部１２１は、検出した変化領域（画素値が２５５の領域）の位置を表す情報とその大きさとを変化領域の検出に用いた撮像画像を示す情報および背景画像を示す情報に関連付け、検出結果として出力してもよい。このように、前景領域検出部１２１が出力する検出結果は、どのような形式であってもよい。
【００５３】
また、前景領域検出部１２１は、検出結果である２値画像に、撮像画像の撮像時刻を関連付けるとともに、撮像画像から抽出した変化領域に含まれる色情報を関連付けても構わない。前景領域検出部１２１は、変化領域の色情報の代わりに、変化領域の画像を検出結果に関連付けてもよい。このように、前景領域検出部１２１は、撮像時刻以外の情報も検出結果に関連付けても構わない。
【００５４】
また、図５（Ｃ）の場合のように、前景領域検出部１２１が生成する２値画像には、複数の変化領域が含まれる場合がある。このような場合には、前景領域検出部１２１は、変化領域毎の２値画像を生成しても構わない。前景領域検出部１２１が変化領域毎に２値画像を生成する方法については、前景領域検出部１２１の変形例として、後述する。
【００５５】
前景領域追跡部１２３は、前景領域検出部１２１が検出した変化領域を複数の撮像画像の間で追跡する。前景領域追跡部１２３は、追跡した結果に応じて、２値画像を第１抽出部１２４および第２抽出部１２５に供給したり、人物領域を抽出したりする。また、前景領域追跡部１２３は、背景情報１３１の更新を示す更新信号を背景情報更新部１２２に供給する。
【００５６】
例えば、前景領域追跡部１２３は、前景領域検出部１２１から供給された検出結果（２値画像）を受け取る。また、前景領域追跡部１２３は、検出結果である２値画像に関連付けられた、該２値画像に関連する撮像画像の撮像時刻よりも前に撮像された撮像画像から生成された２値画像である前景情報１３３を第１記憶部１３０から取得する。そして、前景領域追跡部１２３は、各２値画像によって表される各変化領域を対応付ける処理を行うことにより、該変化領域を追跡する。
【００５７】
前景領域追跡部１２３は、様々な方法を用いて変化領域を追跡できる。例えば、前景領域追跡部１２３は、前景領域検出部１２１から供給された２値画像と、第１記憶部１３０から取得した前景情報１３３とによって表される変化領域の、面積、形状および外接矩形のアスペクト比の少なくとも１つに基づいて、類似度を算出する。そして、前景領域追跡部１２３は、算出した類似度が最も高くなる変化領域同士を対応付けることで、変化領域を追跡する。また、色情報を検出結果に関連付ける構成の場合、前景領域追跡部１２３は、該色情報を用いて追跡を行ってもよい。前景領域追跡部１２３は、検出結果に関連付けられた変化領域の画像に基づいて追跡を行ってもよい。
【００５８】
前景領域追跡部１２３は、追跡した結果が所定の時間（任意の時間を設定して構わない）以上であるか、または、変化領域の移動量が所定の閾値（任意の値を設定して構わない）以上であるかを確認する。
【００５９】
変化領域の移動量が所定の閾値未満であり、追跡した結果が所定の時間以上である場合、前景領域追跡部１２３は、前景領域検出部１２１から供給された検出結果である２値画像を第１抽出部１２４および第２抽出部１２５に供給する。このとき、前景領域追跡部１２３は、例えば、２値画像に、２値画像の生成に用いた撮像画像を示す情報および背景情報１３１を示す情報を付与して、該２値画像を第１抽出部１２４および第２抽出部１２５に供給する。前景領域追跡部１２３は、例えば、２値画像と共に、対応する撮像画像および背景情報１３１を第１抽出部１２４および第２抽出部１２５に供給してもよい。また、２値画像に複数の変化領域が含まれ、変化領域の何れかが所定の時間以上追跡されていない場合、前景領域追跡部１２３は、所定の時間以上追跡された変化領域を示す情報と共に、２値画像を第１抽出部１２４および第２抽出部１２５に供給してもよい。
【００６０】
なお、２値画像に複数の変化領域が含まれる場合、前景領域追跡部１２３は、１つの２値画像に１つの変化領域が含まれるように複数の２値画像を生成してもよい。例えば、所定の時間以上追跡された変化領域のみが含まれる２値画像を第１抽出部１２４および第２抽出部１２５に供給し、所定の時間以上追跡されていない変化領域が含まれる２値画像を破棄してもよい。なお、前景領域追跡部１２３は、前景領域検出部１２１から変化領域毎の２値画像を検出結果として受け取ってもよい。
【００６１】
また、変化領域の移動量が所定の閾値以上である場合、前景領域追跡部１２３は、変化領域に含まれる物体が動体であると判定する。このように変化領域に含まれる物体が動体であると判定した場合、前景領域追跡部１２３は、該変化領域を第１抽出部１２４および第２抽出部１２５に供給しない。これにより、画像処理装置１００は「商品棚３の前に人物が存在することによる変化」など、商品の増減に無関係な商品棚３に関する変化を削除できる。これにより、商品の陳列状態をより正確に監視することが可能となる。
【００６２】
なお、前景領域追跡部１２３は、変化領域に含まれる物体が動体であると判定した判定結果を、該変化領域に関連付けて第１抽出部１２４および第２抽出部１２５に供給してもよい。そして、領域変化分類部１２６は、変化領域に判定結果が関連付けられている場合、この変化領域における商品棚３に関する変化を、商品棚３に陳列された商品以外の変化に関連する種類に分類してもよい。例えば、領域変化分類部１２６は、変化領域における商品棚３に関する変化を、「商品棚３の前に人物が存在することによる変化」、「商品棚３の前に買い物カートがあることによる変化」等、商品以外の変化に関する種類に分類してもよい。
【００６３】
前景領域追跡部１２３は、撮像画像から動体と判定した変化領域を人物領域として抽出する。具体的には、前景領域追跡部１２３は、撮像画像と、該撮像画像と同じサイズである２値画像とを用いて、２値画像における画素値が２５５の領域に対応する撮像画像上の領域の画像を第１注目画像として抽出する。上述した通り、撮像画像はＲＧＢ画像である。そのため、抽出された人物領域も、ＲＧＢ画像である。
【００６４】
なお、前景領域追跡部１２３は、動体と判定された変化領域毎に、該変化領域と同じ形状の領域の人物領域を抽出してもよいし、変化領域に外接する所定の形状の枠と同じ形状の枠で囲まれる領域を人物領域として抽出してもよい。変化領域に外接する枠の形状は、例えば、矩形、楕円形などどのような形状であってもよい。また、前景領域追跡部１２３は、変化領域に外接する枠よりも所定のサイズ分大きい枠で囲まれる領域を人物領域として抽出してもよい。
【００６５】
次に、前景領域追跡部１２３は、抽出した人物領域に撮像装置２のＩＤ（カメラＩＤ）や、例えば抽出した人物領域ごとに付与する人物ＩＤ、撮像画像上の位置、撮像画像の撮像時刻などを関連付ける。そして、関連付けた情報を人物情報１３４として第１記憶部に格納する。なお、撮像画像上の位置は、例えば、動体と判定された変化領域の外接矩形の四隅の座標値でもよいし、四隅の少なくとも１か所の座標値と外接矩形の幅および高さで表現されてもよい。
【００６６】
また、前景領域追跡部１２３は、背景情報１３１の更新を示す更新信号を背景情報更新部１２２に供給する。
【００６７】
例えば、前景領域追跡部１２３は、変化領域の追跡後、第１抽出部１２４および第２抽出部１２５に変化領域を示す検出結果を供給する場合に、値が１の更新信号を、変化領域を示す情報と共に背景情報更新部１２２供給する。値が１の更新信号は、背景情報１３１における変化領域に対応する部分の画像を更新することを示している。また、前景領域追跡部１２３は、第１抽出部１２４および第２抽出部１２５に検出結果を供給しない場合に、値が０の更新信号を、該変化領域を示す情報と共に背景情報更新部１２２に供給してもよい。値が０の更新信号は、背景情報１３１における変化領域に対応する部分の画像を更新しないことを示している。なお、第１抽出部１２４および第２抽出部１２５に検出結果を出力しない場合とは、例えば、追跡結果が所定の時間未満である場合、または、変化領域の移動量が所定の閾値以上である場合である。
【００６８】
なお、前景領域追跡部１２３は、上記例示した以外のタイミングで、背景情報１３１の更新を示す更新信号を背景情報更新部１２２に供給してもよい。例えば、前景領域追跡部１２３は、画像処理装置１００の外部装置から送信される商品の購入情報や仕入情報、店員の作業情報等に基づいて、変化領域に含まれる商品が購入されたまたは補充された可能性が高いと判断される場合に、商品棚３の背景を更新するように値が１の更新信号を出力してもよい。前景領域追跡部１２３は、追跡の結果に含まれる追跡の時間等に基づいて、背景情報１３１の更新を示す更新信号を背景情報更新部１２２に供給してもよい。
【００６９】
背景情報更新部１２２は、第１取得部１１０から供給された撮像画像と、前景領域検出部１２１から供給された検出結果と、第１記憶部１３０に格納されている背景情報１３１であるＲＧＢ画像と、前景領域追跡部１２３から供給された更新信号とに基づいて背景情報１３１を更新する。背景情報更新部１２２が背景情報１３１を更新する方法は特に限定されず、例えば、非特許文献１と同様の方法を採用してもよい。
【００７０】
なお、背景情報更新部１２２は、背景情報１３１によって示されるＲＧＢ画像のうち、例えば、前景領域検出部１２１から供給された検出結果によって示される変化領域に該当する部分の画像を更新しなくてもよい。例えば、背景情報更新部１２２は、上述した値が０の更新信号を前景領域追跡部１２３から受け取った場合、変化領域に対応する領域の背景情報を更新しない。
【００７１】
上述したように、前景領域追跡部１２３は、第１抽出部１２４および第２抽出部１２５に検出結果を出力しない場合、値が０の更新信号を背景情報更新部１２２に供給する。背景情報更新部１２２は、このように、追跡結果が第１の所定の条件を満たす場合に、値が０の更新信号を受け取り、変化領域に対応する領域の背景情報を更新しない。言い換えると、追跡結果が第１の所定の条件を満たす場合、背景情報更新部１２２は、背景情報１３１のうち、変化領域に対応する領域以外を更新する。これにより、第１取得部１１０が次に取得した撮像画像の、更新を行なわなかった領域に対応する領域が前景領域検出部１２１によって変化領域として検出されやすくなる。
【００７２】
また、背景情報更新部１２２は、例えば、前景領域追跡部１２３から供給された更新信号の値が１の場合に、背景情報１３１によって示されるＲＧＢ画像のうち、前景領域検出部１２１から供給された検出結果によって示される変化領域に該当する部分の画像を更新する。上述したように、前景領域追跡部１２３は、追跡結果が所定の時間以上である場合、追跡した変化領域を表す検出結果を第１抽出部１２４および第２抽出部１２５に供給するとともに、値が１の更新信号を背景情報更新部１２２に供給する。つまり、追跡結果が所定の時間以上追跡された結果であるという第２の所定の条件を満たす場合、背景情報更新部１２２は、前景領域追跡部１２３から値が１の更新信号を受け取り、背景情報１３１における該変化領域に該当する部分の画像を更新する。これにより、背景情報更新部１２２は、第１記憶部１３０に格納された背景情報１３１をその時点において第１取得部１１０が取得した撮像画像に近づけることができる。したがって、画像処理装置１００は、上記変化領域に対応する次に第１取得部１１０が取得する撮像画像上の領域を、前景領域検出部１２１が変化領域として検出することを防ぐことができる。
【００７３】
第１抽出部１２４は、前景領域追跡部１２３から、検出結果である２値画像を受け取る。また、第１抽出部１２４は、２値画像の生成に用いた撮像画像を第１取得部１１０から取得する。なお、第１抽出部１２４は、撮像画像を２値画像と共に前景領域追跡部１２３から受け取ってもよい。
【００７４】
第１抽出部１２４は、撮像画像から変化領域の画像を抽出する。具体的には、第１抽出部１２４は、撮像画像と、該撮像画像と同じサイズである２値画像とを用いて、２値画像における画素値が２５５の領域に対応する撮像画像上の領域の画像を第１注目画像として抽出する。例えば、２値画像が図５の（ｃ）の場合、第１抽出部１２４は、撮像画像から３つの第１注目画像を抽出する。上述した通り、撮像画像はＲＧＢ画像であるため、抽出された第１注目画像も、ＲＧＢ画像である。
【００７５】
なお、第１抽出部１２４は、変化領域毎に、該変化領域と同じ形状の領域の第１注目画像を抽出してもよいし、変化領域に外接する所定の形状の枠と同じ形状の枠で囲まれる領域の画像を第１注目画像として抽出してもよい。変化領域に外接する枠の形状は、例えば、矩形、楕円形などどのような形状であってもよい。また、第１抽出部１２４は、変化領域に外接する枠よりも所定のサイズ分大きい枠で囲まれる領域の画像を第１注目画像として抽出してもよい。
【００７６】
第１抽出部１２４は、抽出した第１注目画像を領域変化分類部１２６に供給する。なお、第１抽出部１２４が抽出した第１注目画像の撮像画像上における領域を第１注目領域とも呼ぶ。また、第１抽出部１２４は第１注目領域の位置情報を取得し、当該位置情報と撮像時刻を関連付けて、それらを第１関連性生成部１４０に供給する。なお、第１注目領域の位置情報は、例えば、第１注目領域の外接矩形の四隅の座標値でもよいし、四隅の少なくとも１か所の座標値と外接矩形の幅および高さで表現されてもよい。また、外接矩形が円形ならば、例えば、円の中心座標と円の半径でもよい。また、外接矩形が楕円形ならば、例えば、楕円の中心座標と楕円の長径と短径でもよい。
【００７７】
第２抽出部１２５は、前景領域追跡部１２３から、検出結果である２値画像を受け取る。また、第２抽出部１２５は、２値画像の生成に用いた背景情報１３１を第１記憶部１３０から取得する。なお、第２抽出部１２５は、背景情報１３１を２値画像と共に前景領域追跡部１２１から受け取ってもよい。
【００７８】
第２抽出部１２５は、背景情報１３１から変化領域の画像を抽出する。具体的には、第２抽出部１２５は、背景画像である背景情報１３１と２値画像とを用いて、２値画像における画素値が２５５の領域に対応する背景情報１３１上の領域の画像を第２注目画像として抽出する。第２注目画像の抽出方法は、第１注目画像の抽出方法と同様である。第２抽出部１２５は、抽出した第２注目画像を領域変化分類部１２６に供給する。なお、第２抽出部１２５が抽出した第２注目画像の背景情報１３１上における領域を第２注目領域とも呼ぶ。
【００７９】
変化領域分類部１２６は、変化領域における商品棚３に関する変化を分類し、分類結果を第１関連性生成部１４０に供給する。領域変化分類部１２６は、第１抽出部１２４および第２抽出部１２５から供給された、第１注目領域および第２注目領域と、第１記憶部１３０に格納された棚変化モデル１３２とに基づいて、背景画像上の検出された変化領域に対応する領域の画像の状態から、撮像画像上の変化領域に対応する領域の画像の状態への変化を分類する。画像の状態とは、例えば、画像に商品が含まれるまたは含まれない状態、画像に顧客が含まれるまたは含まれない状態、画像に買い物かごが含まれるまたは含まれない状態、画像に買い物カートが含まれるまたは含まれない状態等、である。領域変化分類部１２６は、棚変化モデル１３２に基づいて、変化領域における商品棚３に関する変化を、例えば、「商品棚３に商品が含まれなくなったことによる変化」、「商品棚３に商品が新たに含まれたことによる変化」、「商品棚３に陳列された商品の見た目が変わったことによる変化」、「商品棚３の前に人物が存在することによる変化」、「商品棚３の前に買い物カートがあることによる変化」、「照明が変わったことによる変化」などの、変化の種類に分類する。なお、領域変化分類部１２６が変化領域における状態の変化を分類する種類は、一例であり、これらに限定されない。また、例えば、「商品棚３に陳列された商品の見た目が変わったことによる変化」は、「異なる商品になったためによる見た目の変化」なのか、「商品の姿勢が変わったことによる見た目の変化」なのか等更に詳細に分類されてもよい。
【００８０】
より詳細に説明すると、領域変化分類部１２６は、第１抽出部１２４から第１注目画像を受け取る。また、領域変化分類部１２６は、第２抽出部１２５から第２注目画像を受け取る。そして、領域変化分類部１２６は、第１記憶部１３０に格納された棚変化モデル１３２に基づいて、第２注目画像の状態から、該第２注目画像に対応する第１注目画像の状態への変化を、例えば上述した種類に分類する。換言すると、領域変化分類部１２６は、第２注目画像の状態から第１注目画像の状態への変化を、棚変化モデル１３２と比較した結果に基づいて分類する。
【００８１】
図６は、領域変化分類部１２６が出力する分類結果の一例を示す図である。領域変化分類部１２６は、例えば、図６に示すような分類結果９０を出力する。
【００８２】
図６に示す通り、分類結果９０は、例えば、第２注目画像９１と、第１注目画像９２と、変化の種類９３とを含む。なお、図６に示す分類結果９０は一例であり、分類結果９０が図６に示す情報以外の情報を含んでもよい。例えば、分類結果９０は、撮像画像に関する情報（識別子、撮像時刻など）や第１注目画像９２の撮像画像における位置を示す情報などを含んでもよい。
【００８３】
なお、領域変化分類部１２６は、例えば、棚変化モデル１３２を作成した機械学習法（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋなど）を用いて、商品棚３に関する変化を上述した種類の何れかに分類してもよい。
【００８４】
以上が、第１変化検出部１２０の構成の一例である。
【００８５】
第１関連性生成部１４０は、第１変化検出部１２０から変化領域の分類結果と当該変化領域の位置情報を受け取る。また、第１関連性生成部１４０は、第１記憶部１３０から人物情報１３４を取得する。そして、第１関連性生成部１４０は、変化領域の位置情報に紐づいた当該変化領域の撮像時刻と、人物情報１３４に紐づいた当該人物の撮像時刻とに基づいて、当該変化領域に対応する商品（商品の陳列状態の変化）と人物との関係を示す、商品と人物の関連性情報を生成する。その後、第１関連性生成部１４０は、生成した商品と人物の関連性情報を関連性統合部１５０に供給する。
【００８６】
具体的には、例えば、第１関連性生成部１４０は、変化領域を検出した撮像時刻より前の時刻に撮像された人物の中から、当該変化領域と交差した人物を抽出する。そして、第１関連性生成部１４０は、抽出された人物の中で最も当該変化領域の撮像時刻に近い時刻で撮像された人物と当該変化領域を関連付ける。
【００８７】
図７に第１関連性生成部１４０が生成する商品と人物の関連性情報の一例を示す。図７には、撮像装置のＩＤを示すカメラＩＤと、当該撮像装置に映った人物を示す人物ＩＤと、商品棚の変化領域の位置情報と、当該変化の分類結果が例示されている。図７では、変化領域の位置情報は、変化領域の外接矩形の１つの隅の座標値と外接矩形の幅と高さで表現されている。また、変化の種類は、「商品棚３に商品が含まれなくなったことによる変化」を「商品減少」、「商品棚３に商品が新たに含まれたことによる変化」を「商品増加」として示されている。
【００８８】
なお、第１関連性生成部１４０は、例えば、生成した人物と商品の関連性情報と、第１記憶部１３０に格納されている人物情報１３４とを関連付けて、関連性統合部１５０に供給してもよい。また、第１関連性生成部１４０は、撮像画像に関する情報（識別子、撮像時刻など）を関連性情報に付与しても構わない。
【００８９】
関連性統合部１５０は、第１関連性生成部１４０から商品と人物の関連性情報を受け取る。そして、関連性統合部１５０は、受け取った関連性情報に同一人物の関連性情報が存在する場合、それらを１つに統合する。その後、関連性統合部１５０は、統合した関連性情報を陳列検出部１６０に供給する。
【００９０】
関連性統合部１５０は、例えば、第１記憶部１３０の人物情報１３４に格納された人物領域の色、面積、形状および外接矩形のアスペクト比の少なくとも１つに基づいて、類似度を算出する。そして、関連性統合部１５０は、算出した類似度が最も高くなる人物領域同士を同一人物と判定する。上述したように、関連性統合部１５０は、同一人物と判定した関連性情報を統合する。
【００９１】
図７に示した商品と人物の関連性情報を統合した一例を図８に示す。図８に示す一例では、図７の人物ＩＤが１と４の関連性情報が１つに統合されている。また、図７の人物ＩＤが２と３の関連性情報も１つに統合されている。つまり、図８では、図７の人物ＩＤ１と人物ＩＤ４の人物が同一人物であり、図７の人物ＩＤ２と人物ＩＤ３の人物が同一人物である場合の一例を示している。なお、図８では、統合の一例として、関連性情報を統合する際に、２つの人物ＩＤを比較し、小さな人物ＩＤを統合後の関連性情報の人物ＩＤとして採用している。しかしながら、例えば、大きな人物ＩＤを採用してもよい。また、例えば、関連性情報を統合した後に、人物ＩＤを付与しなおしてもよい。
【００９２】
陳列検出部１６０は、関連性統合部１５０から統合した関連性情報を受け取り、関連性統合部１５０が統合した関連性情報に基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する。例えば、陳列検出部１６０は、商品を取得した場所と商品を戻した場所を比較することなどにより、商品が取られた場所とは異なる場所に戻されたことを検出する。
【００９３】
図８を参照して陳列検出部１６０の動作を具体的に説明する。陳列検出部１６０は、人物ＩＤごとに位置情報と変化の種類を比較する。例えば、図７に示す一例では、人物ＩＤが１の人物が、カメラＩＤが１の撮像装置に映る商品棚の（１０、０）の場所から商品を取得し、（２５０、３００）の場所に商品を戻している。また、取得した商品と戻した商品は、外接矩形の幅と高さがともに（３０、５０）であり、同一の商品と判断される。これより、陳列検出部１６０は、人物ＩＤが１の人物が、商品を取得した棚と同じ棚ではあるが異なる場所に戻したことを検知する。なお、図７に示す一例では、人物ＩＤが２の人物は、同一の商品を取得した場所と同一の場所に戻している。そのため、陳列検出部１６０は、この行動を、商品が取られた場所とは異なる場所に戻されたとは検出しない。
【００９４】
このように、陳列検出部１６０は、例えば、同一人物が商品を異なる場所に戻したことを検知することで、商品が取られた場所とは異なる場所に戻されたことを検出する。なお、陳列検出部１６０は、例えば、同じ場所に戻したものの商品の見た目が変わっている場合などにも、商品が取られた場所とは異なる場所に戻されたことを検出する。
【００９５】
以上が、画像処理装置１００が有する各構成の一例である。
【００９６】
次に、図９を参照して本実施の形態に係る画像処理装置１００の動作の流れについて説明する。図９は、本実施の形態に係る画像処理装置１００の動作の流れの一例を示すフローチャートである。
【００９７】
図９を参照すると、第１取得部１１０が、商品棚３を撮像した映像信号からＲＧＢ画像である撮像画像を取得する（ステップＳ１００１）。第１取得部１１０は取得した撮像画像を第１変化検出部１２０に供給する。
【００９８】
第１変化検出部１２０の前景領域検出部１２１は、第１取得部１１０から供給されたＲＧＢ画像である撮像画像と、第１記憶部１３０に格納されているＲＧＢ画像である背景情報１３１とを用いて、２つのＲＧＢ画像の間で変化した領域を変化領域（前景領域）として検出する（ステップＳ１００２）。そして、前景領域検出部１２１は、変化領域の検出結果を背景情報更新部１２２と前景領域追跡部１２３に供給する。例えば、前景領域検出部１２１は、検出した変化領域の画素を２５５とし、その他の領域の画素を０とした２値画像を生成し、該２値画像を、変化領域の検出結果として背景情報更新部１２２と前景領域追跡部１２３に供給する。
【００９９】
また、前景領域検出部１２１は、第１記憶部１３０に前景情報１３３を格納する（ステップＳ１００３）。上述した通り、前景情報１３３は、撮像時刻が関連付けられた検出結果である。
【０１００】
前景領域追跡部１２３は、前景領域検出部１２１から供給された検出結果と、前景情報１３３とに基づいて、変化領域を追跡する（ステップＳ１００４）。前景領域追跡部１２３は、所定の時間以上追跡した変化領域を示す２値画像を、第１抽出部１２４と第２抽出部１２５に供給する。前景領域追跡部１２３は、背景情報１３１の更新を示す更新信号を背景情報更新部１２２に供給する。
【０１０１】
なお、前景領域追跡部１２３は、追跡の結果、変化領域の移動量が所定の閾値以上である場合、変化領域に含まれる物体が動体であると判定して、判定した変化領域を人物領域として抽出する。その後、前景領域追跡部１２３は、人物領域に所定の情報を関連付けて人物情報１３４として第１記憶部に格納する。
【０１０２】
背景情報更新部１２２は、第１取得部１１０から供給された撮像画像と、前景領域検出部１２１から供給された変化領域の検出結果と、背景情報１３１と、前景領域追跡部１２３から供給された更新信号とに基づいて、背景情報１３１を更新する（ステップＳ１００５）。なお、ステップＳ１００５は、ステップＳ１００４以降の任意のタイミングで行われてもよい。
【０１０３】
第１抽出部１２４は、第１取得部１１０から供給された撮像画像と、前景領域追跡部１２３から供給された該撮像画像に関連する検出結果とに基づいて、撮像画像上における、検出結果によって示される変化領域に対応する領域（第１注目領域）の画像を、第１注目画像として抽出する（ステップＳ１００６）。第１抽出部１２４は、抽出した第１注目画像を領域変化分類部１２６に供給する。
【０１０４】
第２抽出部１２５は、前景領域追跡部１２３から供給された検出結果と、第１記憶部１３０から取得した、該検出結果を得るために用いた背景情報１３１とに基づいて、第１抽出部１２４と同様の動作により、背景情報１３１から第２注目画像を抽出する（ステップＳ１００７）。第２抽出部１２５は、抽出した第２注目画像を領域変化分類部１２６に供給する。なお、ステップＳ１００６とステップＳ１００７とは同時に行われてもよいし、逆順で行われてもよい。
【０１０５】
領域変化分類部１２６は、第１抽出部１２４から供給された第１注目画像と、第２抽出部１２５から供給された第２注目画像と、第１記憶部１３０に格納された棚変化モデル１３２とに基づいて、商品棚３に関する変化（第２注目画像における状態から第１注目画像における状態への変化）を分類する（ステップＳ１００８）。
【０１０６】
第１関連性生成部１４０は、第１変化検出部１２０の領域変化分類部１２６から変化領域の分類結果と当該変化領域の位置情報を受け取る。また、第１関連性生成部１４０は、第１記憶部１３０から人物情報１３４を取得する。そして、第１関連性生成部１４０は、変化領域を検出した撮像時刻より前の時刻に撮像された人物の中から、当該変化領域と交差した人物を抽出する。その後、第１関連性生成部１４０は、抽出された人物の中で最も当該変化領域の撮像時刻に近い時刻で撮像された人物と当該変化領域を関連付ける（ステップＳ１００９）。これにより、第１関連性生成部１４０は、関連性情報を生成する。
【０１０７】
関連性統合部１５０は、第１関連性生成部１４０から商品と人物の関連性情報を受け取り、同一人物の関連性情報が存在する場合、それらを１つに統合する。関連性統合部１５０は、例えば、第１記憶部１３０の人物情報１３４に格納された人物領域の色、面積、形状および外接矩形のアスペクト比の少なくとも１つに基づいて、類似度を算出する。そして、関連性統合部１５０は、算出した類似度が最も高くなる人物領域同士を同一人物と判定する。その後、関連性統合部１５０は、同一人物と判定した人物を含む関連性情報を１つに統合する（ステップＳ１０１０）。
【０１０８】
陳列検出部１６０は、関連性統合部１５０から統合した関連性情報を受け取る。そして、陳列検出部１６０は、商品を取得した場所と商品を戻した場所とを比較することなどにより、商品が取られた場所とは異なる場所に戻されたことを検出する（ステップＳ１０１１）。また、陳列検出部１６０は、商品の見た目が変化した場合などに、商品が取られた場所とは異なる場所に戻されたことを検出する。
【０１０９】
画像処理装置１００は、第１取得部１１０が次の映像信号を受信したか否か（次の撮像画像があるか否か）を判定する（ステップＳ１０１２）。次の撮像画像がある場合（ステップＳ１０１２にてＹＥＳ）、処理はステップＳ１００１に移行する。一方、次の撮像画像がない場合（ステップＳ１０１２にてＮＯ）、画像処理装置１００は、動作を終了する。
【０１１０】
以上のように、本実施形態に係る画像処理装置１００は、第１変化検出部１２０と第１関連性生成部１４０と、関連性統合部１５０と、陳列検出部１６０と、を有している。このような構成により、第１変化検出部１２０は、商品棚を撮像した撮像画像と、該撮像画像の撮像時刻よりも前に撮像された画像を示す背景情報１３１とを比較することによって、商品棚３に関する変化領域を検出する。そして、第１変化検出部は、検出した変化領域と、事前に学習した商品棚３に関する変化のモデルである棚変化モデル１３２とに基づいて、変化領域における商品棚３に関する変化を分類する。また、関連性情報生成部１４０は、商品に関する変化と検出した人物との関連性情報を生成する。そして、関連性統合部１５０は、人物ごとに関連性情報を統合する。これにより、陳列検出部１６０は、商品を間違った場所に戻すなど、商品が取られた場所とは異なる場所に戻されたことを検出することが出来る。つまり、上記構成によると、撮像画像に基づいて、商品が取られた場所とは異なる場所に戻されたことを検出することが可能となる。換言すると、画像処理装置１００によると、別途ＲＦＩＤ（radio frequency identifier）タグなど撮像画像以外の手段を用いることなく、商品が取られた場所とは異なる場所に戻されたことを検出することが出来る。
【０１１１】
なお、上述した通り、棚変化モデル１３２は、商品棚３に関する変化を表すモデルである。そのため、第１変化検出１２０は、変化領域として検出された領域における商品棚３に関する変化を、商品が商品棚３から取られたことや商品が補充されたことなどの種類に分類することが出来る。
【０１１２】
したがって、本実施形態に係る画像処理装置１００によれば、商品棚３の商品に変化があったことだけではなく、その変化がどのような種類の変化なのかを特定することができる。その結果、画像処理装置１００は、商品が取られた状態であるのか、商品棚３が補充された状態であるのかなどの商品棚３の状態をより正確に判別することができる。
【０１１３】
本実施形態で説明した画像処理装置１００によると、このような分類結果と人物検出結果から、人物ごとに、商品棚３に陳列された商品を取ったのか、商品棚３に商品を戻したのか等が分かる。その結果、画像処理装置１００は、商品が取られた場所とは異なる場所に戻されたことを検出できる。例えば、冷蔵商品を常温棚に戻すなど、商品が取られた場所とは異なる場所に戻されると、販売機会損失や商品廃棄ロスなどが発生し店舗の売上に大きな影響を及ぼす。そのため、このような事態が発生した場合には、それを解消するための商品管理作業を速やかに実施することが好ましい。上述したように、画像処理装置１００は、商品が取られた場所とは異なる場所に戻されたことを検出できる。その結果、画像処理装置１００は、商品が取られた場所とは異なる場所に戻されることによる販売機会損失や商品廃棄ロスなどの発生を低減することが可能となる。
【０１１４】
なお、本実施形態においては、撮像装置２は、商品棚３を撮像するとした。しかしながら、撮像装置２が撮像する対象は、商品棚３に限定されない。例えば、撮像装置２は、ワゴンに積層された商品を撮像しても構わない、つまり、撮像装置２が撮像する撮像画像は、ワゴンに積層された商品を撮像した撮像画像であってもよい。画像処理装置１００は、ワゴンに積層された商品を撮像した撮像画像と、背景画像とを比較して、変化領域を検出することができる。以上のように、画像処理装置１００は、商品のフェイスが全て見えるように陳列された商品棚に限定されず、様々な陳列方法で陳列された商品を撮像した撮像画像を用いることができる。
【０１１５】
＜第２の実施形態＞
次に、図１０から図１３までを参照して、本発明の第２の実施形態について説明する。図１０は、画像処理装置２００の構成の一例を示す機能ブロック図である。図１１は、第１関連性生成部１４０と第２関連性生成部２４０が生成する商品と人物の関連性情報の一例を示す図である。図１２は、商品と人物の関連性情報を統合した一例を示す図である。図１３は、画像処理装置２００の動作の流れの一例を示すフローチャートである。
【０１１６】
本実施形態においては、複数台の撮像装置２で異なる商品棚３を監視する商品モニタリングシステム１について説明する。後述するように、本実施形態における画像処理装置２００は、異なる商品棚３の監視結果に基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する。すなわち、本実施形態で説明する画像処理装置２００によると、商品を取得した商品棚３と商品を戻した商品棚３とが異なる場合でも、商品が取られた場所とは異なる場所に戻されたことを検出することが出来る。
【０１１７】
本実施形態における画像処理装置２００は、第１の実施形態で説明した図１に示す画像処理装置１００と同様に、撮像装置２と通信可能に接続している。
【０１１８】
図１０は、画像処理装置２００の構成の一例を示している。図１０に示す通り、本実施形態に係る画像処理装置２００は、第１取得部１１０と、第２取得部２１０と、第１変化検出部１２０と、第２変化検出部２２０と、第１記憶部１３０と、第２記憶部２３０と、第１関連性生成部１４０と、第２関連性生成部２４０と、関連性統合部２５０と、陳列検出部１６０とを備える。このように、本実施形態に係る画像処理装置２００は、画像処理装置１００が有する関連性統合部１５０に代えて、関連性統合部２５０を備えている。さらに、画像処理装置２００は、画像処理装置１００が有する構成に加えて、第２取得部２１０と、第２変化検出部２２０と、第２記憶部２３０と、第２関連性生成部２４０と、を備える。
【０１１９】
なお、上記では、前述した第１の実施形態で説明した図面に含まれる要素と同じ機能を有する要素については、同じ符号を付している。以下、本実施形態に特徴的な構成について説明する。
【０１２０】
第２取得部２１０は、第１取得部１１０と同様の動作によりＲＧＢ画像を取得する。そして、第２取得部２１０は、第２変化検出部２２０にＲＧＢ画像を供給する。例えば、第２取得部２１０は、第１取得部１１０が取得する映像信号の送信元である撮像装置２とは異なる商品棚３を監視する撮像装置２から映像信号を取得する。
【０１２１】
第２記憶部２３０は、第１記憶部１３０と同様の構成である。そのため、詳細な説明は省略する。なお、第２記憶部２３０は、第１記憶部１３０と同一の記憶装置であっても構わないし、異なる記憶装置であっても構わない。
【０１２２】
第２変化検出部２２０は、第２変化検出部１２０と同様の構成である。第２変化検出部２２０は、第１変化検出部１２０と同様の動作により、商品棚３に関する変化領域を検出する。そして、第２変化検出部２２０は、検出した変化領域と、事前に学習した商品棚３に関する変化のモデルである棚変化モデル１３２とに基づいて、変化領域における商品棚３に関する変化を分類する。その後、第２変化検出部２２０は、第１注目領域の位置情報と撮像時刻を関連付けて、第２関連性生成部２４０に供給する。また、第２変化検出部２２０は、変化領域における商品棚３に関する変化を分類した結果を第２関連性生成部２４０に供給する。
【０１２３】
第２関連性生成部２４０は、第１関連性生成部１４０と同様の構成である。第２関連性生成部２４０は、第１関連性生成部と同様の動作により、商品と人物の関連性情報を生成する。そして、第２関連性生成部２４０は、生成した関連性情報を関連性統合部２５０に供給する。
【０１２４】
図１１に第１関連性生成部１４０と第２関連性生成部２４０が生成する商品と人物の関連性情報の一例を示す。図１１には、図６と同様に、撮像装置のＩＤを示すカメラＩＤと、当該撮像装置に映った人物を示す人物ＩＤと、商品棚の変化領域の位置情報と、当該変化の分類結果が例示されている。図１１に示す例では、人物ＩＤが１と２の人物が、カメラＩＤが１の撮像装置で撮像されたこと、人物ＩＤが３と４の人物が、カメラＩＤが２の撮像装置で撮像されたことを示している。なお、図１１で示す例では、例えば、カメラＩＤが１の情報が第１関連性生成部１４０で生成された情報であり、カメラＩＤが２の情報が第２関連性生成部２４０で生成された情報である。
【０１２５】
関連性統合部２５０は、第１関連性生成部１４０および第２関連性生成部２４０から、それぞれ商品と人物の関連性情報を受け取り、同一人物の関連性情報が存在する場合、それらを１つに統合する。そして、関連性統合部２５０は、統合した関連性情報を陳列検出部１６０に供給する。関連性統合部２５０は、例えば、関連性統合部１５０と同様の動作により複数の関連性情報を統合する。
【０１２６】
関連性統合部２５０が図１１に示した商品と人物の関連性情報を統合した一例を図１２に示す。図１２に示す一例では、図１１の人物ＩＤが１と３の関連性情報が１つに統合されている。
【０１２７】
陳列検出部１６０は、関連性統合部２５０から統合した関連性情報を受け取り、商品を取得した場所と商品を戻した場所を比較することなどにより、商品が取られた場所とは異なる場所に戻されたことを検出する。
【０１２８】
陳列検出部１６０の動作は、第１の実施形態と同様である。例えば、陳列検出部１６０は、人物ＩＤごとに位置情報と変化の種類を比較する。具体的には、図１２に示す一例では、人物ＩＤが１の人物が、カメラＩＤが１の撮像装置に映る商品棚の（１０、０、３０、５０）の場所から商品を取得し、カメラＩＤが２の撮像装置に映る商品棚の（１００、２５０、５０、７０）の場所に商品を戻している。これより、陳列検出部１６０は、人物ＩＤが１の人物が、商品を取得した棚とは別の棚に商品を戻したことを検知する。
【０１２９】
以上が、画像処理装置２００に特徴的な構成である。
【０１３０】
次に、図１３を参照して本実施の形態に係る画像処理装置２００の動作の流れについて説明する。図１３は、本実施の形態に係る画像処理装置２００の動作の流れの一例を示すフローチャートである。
【０１３１】
図１３を参照すると、画像処理装置２００が図９で示すステップＳ１００１からステップＳ１００９までの処理と同様の処理を行うことにより、第１関連性生成部１４０が関連性を生成する（ステップＳ２００１）。同様に、ステップＳ１００１からステップＳ１００９までの処理と同様の処理を行うことにより、第２関連性生成部２４０が関連性を生成する（ステップＳ２００２）。なお、ステップＳ２００１の処理とステップ２００２の処理とは、並列で行われても構わないし、どちらかが先に行われても構わない。
【０１３２】
関連性統合部２５０は、第１関連性生成部１４０と第２関連性生成部２４０から、それぞれ商品と人物の関連性情報を受け取る。そして、関連性統合部２５０は、同一の撮像装置２、または、複数の撮像装置２の間で、同一人物の商品と人物の関連性情報が存在する場合、それらを１つに統合する（ステップＳ２００３）。なお、関連性統合部２５０は、例えば、関連性統合部１５０と同様の動作により、同一人物を判定する。
【０１３３】
陳列検出部１６０は、関連性統合部１５０から受け取った関連性情報に基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する（ステップＳ２００４）。画像処理装置２００は、第１取得部１１０、又は、第２取得部２１０が次の映像信号を受信したか否か（次の撮像画像があるか否か）を判定する（ステップＳ２００５）。次の撮像画像がある場合（ステップＳ２００５にてＹＥＳ）、処理はステップＳ２００１、ステップＳ２００２に移行する。一方、次の撮像画像がない場合（ステップＳ２００５にてＮＯ）、画像処理装置２００は、動作を終了する。
【０１３４】
なお、ステップＳ２００４、ステップＳ２００５の処理は、第１の実施形態で説明した図９のステップＳ１０１１、ステップＳ１０１２の処理と同様の処理である。
【０１３５】
以上のように、本実施形態に係る画像処理装置２００は、第１関連性生成部１４０と、第２関連性生成部２４０と、を有している。また、関連性統合部２５０は、第１関連性生成部１４０が生成した関連性情報と第２関連性生成部が生成した関連性情報とを統合する。つまり、関連性統合部２５０は、複数台の撮像装置２で撮像された異なる商品棚３に関する、商品と人物の関連性情報を統合する。その結果、第１の実施の形態と同様の効果が得られるだけでなく、画像処理装置２００は、客が商品を取得した棚と商品を戻した棚が異なる場合でも、商品が取られた場所とは異なる場所に戻されたことを検出できる。これにより、第１の実施の形態よりも店舗内の広範囲に渡って商品陳列の不備による販売機会損失や商品廃棄ロスなどを低減できる。
【０１３６】
なお、第２の実施形態では、画像処理装置２００が、第１取得部１１０と第１変化検出部１２０と第１記憶部１３０と第１関連性生成部１４０とからなる第１の処理部と、第２取得部２１０と第２変化検出部２２０と第２記憶部２３０と第２関連性生成部２４０とからなる第２の処理部と、を有する場合について説明した。つまり、第２の実施形態では、画像処理装置２００が各種処理部を２つ有する場合について説明した。しかしながら、画像処理装置２００が有する各種処理部の数は、２つに限定されない。例えば、画像処理装置２００は、３つ以上の任意の数の各種処理部を有しても構わない。換言すると、画像処理装置２００は、３つ以上の複数の異なる商品棚３を監視する撮像装置２から送信された撮像画像を処理するよう構成されていても構わない。
【０１３７】
＜第３の実施形態＞
次に、図１４から図１９までを参照して、本発明の第３の実施形態について説明する。図１４は、商品モニタリングシステム４の構成の一例を示す図である。図１５は、画像処理装置３００の構成の一例を示す機能ブロック図である。図１６は、動線データの一例を示す図である。図１７は、第１関連性生成部３４０が生成する商品と人物の関連性情報の一例を示す図である。図１８は、商品と人物の関連性情報を統合した一例を示す図である。図１９は、画像処理装置３００の動作の流れの一例を示すフローチャートである。
【０１３８】
本実施形態においては、第１の実施形態で説明した画像処理装置１００が有する構成に加えて、顧客の動線データを生成するための構成を有する画像処理装置３００について説明する。後述するように、画像処理装置３００は、生成した動線データを用いて関連性情報を生成する。これにより、より高精度に、商品が取られた場所とは異なる場所に戻されたことを検出することが可能となる。
【０１３９】
図１４を参照すると、本実施形態における商品モニタリングシステム４は、商品棚３を撮像する撮像装置２に加えて、一般的な監視カメラと同様に店舗内の通路を撮像する撮像装置５を有する。撮像装置５は、撮像装置２と同様に、ネットワークＮを介して画像処理装置３００と通信可能に接続されている。
【０１４０】
撮像装置５は、例えば、店舗などに設置されている監視カメラである。撮像装置５は、例えば、店舗内の各通路を撮像可能な位置に設置されている。撮像装置５の構成は、撮像装置２と同様で構わない。
【０１４１】
なお、商品モニタリングシステム４は、撮像装置５を１つ有しても構わないし、複数有しても構わない。つまり、商品モニタリングシステム４は、１台の撮像装置５により店舗内の各通路を撮像するよう構成しても構わないし、複数台の撮像装置５により店舗内の各通路を撮像するよう構成しても構わない。また、本実施形態においては、商品モニタリングシステム４が撮像装置２と別の撮像装置５を有するとした。しかしながら、商品モニタリングシステム４は、例えば、複数の撮像装置２が撮像した撮像画像に基づいて顧客の動線データを取得するよう構成しても構わない。つまり、商品モニタリングシステム４は、商品棚３を撮像する複数の撮像装置２が撮像した撮像画像に基づいて顧客の動線データを取得するよう構成しても構わない。
【０１４２】
画像処理装置３００は、第３取得部３１０が取得したＲＧＢ画像から顧客の店舗内での移動経路を示す動線データを生成する。そして、画像処理装置３００は、生成した動線データと商品棚３の変化領域とに基づいて、商品と人物の関連性情報を生成する。
【０１４３】
図１５は、画像処理装置３００の構成の一例を示している。図１５に示す通り、本実施形態に係る画像処理装置３００は、第１取得部１１０と、第１変化検出部１２０と、第１記憶部１３０と、第１関連性生成部３４０と、第３取得部３１０と、動線データ生成部３２０と、関連性統合部１５０と、陳列検出部１６０とを備える。このように、本実施形態に係る画像処理装置３００は、画像処理装置１００の第１関連性生成部１４０に代えて、第１関連性生成部３４０を備えている。さらに、画像処理装置３００は、画像処理装置１００が有する構成に加えて、第３取得部３１０と動線データ生成部３２０を備える。
【０１４４】
なお、上記では、前述した第１の実施形態、第２の実施形態で説明した図面に含まれる要素と同じ機能を有する要素については、同じ符号を付している。以下、本実施形態に特徴的な構成について説明する。
【０１４５】
第３取得部３１０は、第１取得部１１０と同様の動作により、撮像装置５からＲＧＢ画像を取得し、動線データ生成部３２０にＲＧＢ画像を供給する。なお、第３取得部３１０が取得するＲＧＢ画像は、一般的な監視カメラと同様に店舗の通路を撮像した画像である。
【０１４６】
動線データ生成部３２０は、少なくとも１つの撮像装置５で撮像されたＲＧＢ画像を用いて、店舗内における人物の動線データを生成する。動線データ生成部３２０が生成する動線データは、例えば、顧客を識別する人物ＩＤと、顧客が訪問した商品棚３の識別子である商品棚ＩＤと、を含む情報である。動線データ生成部３２０が動線データを生成する方法は特に限定されない。例えば、動線データ生成部３２０は、特許文献３に記載の方法を用いて動線データを生成することが出来る。つまり、動線データ生成部３２０は、例えば、人物の顔認識を行って同一のデータが得られる人物を同一人物として検出したり、服装などの顧客の特徴を示す情報を抽出して同一人物を検出したりすることで、撮像画像中の顧客を識別する。また、動線データ生成部３２０は、顧客が商品棚３の前に一定時間留まった、顧客と商品棚３との間の距離が所定距離以下になった、などの方法により、顧客が商品棚３を訪問したと判断する。そして、動線データ生成部３２０は、顧客を識別するための人物ＩＤと顧客が訪れた商品棚ＩＤとを対応付けることで動線データを生成する。なお、動線データ生成部３２０は、上記例示した以外の方法を用いて動線データを生成しても構わない。
【０１４７】
図１６は、動線データ生成部３２０が生成する動線データの一例を示す図である。図１６に示す動線データは、人物を示す人物ＩＤと、当該人物が訪れた商品棚を示す用品棚ＩＤと、当該商品棚を撮像している撮像装置を示すカメラＩＤとで構成されている。図１６より、３人の人物が商品棚Ａを訪れたことが分かる。また、人物ＩＤが１の人物と人物ＩＤが２の人物が２回商品棚Ａを訪れたことが分かる。なお、図１６で示す例では、例えば、上から順番に古い順で商品棚Ａに訪問している。また、例えば、商品棚ＩＤとカメラＩＤは事前に対応付けておいてもよい。
【０１４８】
動線データ生成部３２０は、例えば、図１６で示すような動線データを生成する。そして、動線データ生成部３２０は、生成した動線データと当該動線データの撮像画像の時刻を関連付けて、それらを第１関連性生成部３４０に供給する。換言すると、動線データ生成部３２０は、動線データ中の各人物が各商品棚を訪問した時間を動線データに含めて第１関連性生成部３４０に供給する。
【０１４９】
第１関連性生成部３４０は、第１変化検出部１２０から変化領域の分類結果と当該変化領域の位置情報を受け取る。また、第１関連性生成部３４０は、動線データ生成部３２０から動線データを取得する。そして、第１関連性生成部３４０は、変化領域の位置情報に紐づいた当該変化領域の撮像時刻と、動線データに紐づいた撮像時刻とに基づいて当該変化領域に対応する商品と人物の関連性情報を生成する。その後、第１関連性生成部３４０は、生成した商品と人物の関連性情報を関連性統合部１５０に供給する。
【０１５０】
具体的には、第１関連性生成部３４０は、変化領域を検出した撮像時刻より前の時刻に生成された動線データの中から、最も当該変化領域の撮像時刻に近い時刻に商品棚に訪れた人物と当該変化領域を関連付ける。
【０１５１】
図１７に第１関連性生成部３４０が生成する商品と人物の関連性情報の一例を示す。図１７には、撮像装置のＩＤを示すカメラＩＤと、当該撮像装置に映った人物を示す人物ＩＤと、商品棚を示す商品棚ＩＤと、当該商品棚の変化領域の位置情報と、当該変化の分類結果が例示されている。
【０１５２】
このように、第１関連性生成部３４０は、人物情報１３４の代わりに動線データを用いることで関連性情報を生成するよう構成されている。第１関連性生成部３４０は、関連性情報を生成する際に人物情報１３４も用いるよう構成しても構わない。
【０１５３】
関連性統合部１５０は、第１関連性生成部３４０から商品と人物の関連性を受け取り、同一人物の関連性が存在する場合、それらを１つに統合する。そして、関連性統合部１５０は、統合した関連性を陳列検出部１６０に供給する。
【０１５４】
具体的には、関連性統合部１５０は、人物ＩＤに基づいて同一人物の関連性を統合する。図１７に示した商品と人物の関連性を統合した一例を図１８に示す。図１８に示す一例では、図１７の人物ＩＤが１の人物の関連性情報が１つに統合されている。また、人物ＩＤが２の人物の関連性情報も１つに統合されている。
【０１５５】
陳列検出部１６０の動作は、第１の実施形態や第２の実施形態で説明したものと同様である。そのため、説明は省略する。
【０１５６】
以上が、画像処理装置３００に特徴的な構成の一例である。
【０１５７】
次に、図１９を参照して本実施の形態に係る画像処理装置３００の動作の流れについて説明する。図１９は、本実施の形態に係る画像処理装置３００の動作の流れの一例を示すフローチャートである。
【０１５８】
図１９を参照すると、画像処理装置３００が図９で示すステップＳ１００１からステップＳ１００８までの処理と同様の処理を行うことにより、領域変化分類部１２６は、変化を分類する（ステップＳ３００１）。
【０１５９】
第３取得部３１０は、店舗の通路を撮像した撮像装置５から送信された映像信号からＲＧＢ画像である撮像画像を取得する（ステップＳ３００２）。第３取得部３１０は取得した撮像画像を動線データ生成部３２０に供給する。
【０１６０】
動線データ生成部３２０は、少なくとも１つの撮像装置で撮像されたＲＧＢ画像を用いて、店舗内における人物の動線データを生成する（ステップＳ３００３）。そして、動線データ生成部３２０は、生成した動線データと当該動線データの撮像画像の時刻を関連付けて、それらを第１関連性生成部３４０に供給する。
【０１６１】
なお、ステップＳ３００２、ステップＳ３００３の処理は、ステップＳ３００１の処理と実行順序を入れ替えてもよいし、同時に実行してもよい。
【０１６２】
第１関連性生成部３４０は、第１変化検出部１２０から変化領域の分類結果と当該変化領域の位置情報を受け取る。また、第１関連性生成部３４０は、動線データ生成部３２０から動線データを取得する。そして、第１関連性生成部３４０は、変化領域の位置情報に紐づいた当該変化領域の撮像時刻と、動線データに紐づいた撮像時刻とに基づいて当該変化領域に対応する商品と人物の関連性情報を生成する（ステップＳ３００４）。具体的には、第１関連性生成部３４０は、変化領域を検出した撮像時刻より前の時刻に生成された動線データの中から、最も当該変化領域の撮像時刻に近い時刻に商品棚に訪れた人物と当該変化領域を関連付ける。そして、第１関連性生成部３４０は、生成した商品と人物の関連性情報を関連性統合部１５０に供給する。
【０１６３】
その後、画像処理装置３００は、図９で示すステップＳ１０１０からステップＳ１０１２までと同様の処理であるステップＳ３００５からステップＳ３００７までの処理を行う。
【０１６４】
以上のように、本実施形態に係る画像処理装置３００は、第３取得部３１０と動線データ生成部３２０とを有している。このような構成により、動線データ生成部３２０は、第３取得部３１０から供給されたＲＧＢ画像に基づいて、動線データを生成する。そして、画像処理装置３００は、商品棚３を撮像したＲＧＢ画像から検出した変化領域および当該変化領域を分類した分類結果と、店舗の通路を撮像したＲＧＢ画像から生成した動線データとに基づいて、商品と人物の関連性情報を生成する。撮像装置５により撮像される、動線データの生成に用いられる店舗の通路を撮像した撮像画像では、人物の全身が撮像されている。そのため、商品棚３を撮像したＲＧＢ画像よりも撮像画像中の人物の特定が容易となる。つまり、画像処理装置３００のように、動線データを用いて関連性情報を生成すると、人物情報１３４を用いて関連性情報を生成する場合よりも高精度に関連性情報を生成することが期待できる。したがって、本実施形態に係る画像処理装置３００は、第１の実施の形態に係る画像処理装置１００よりも高精度に関連性情報を統合できる。これにより、商品が取られた場所とは異なる場所に戻されたことを検出する精度が向上するため、画像処理装置３００は、画像処理装置１００よりも商品陳列の不備による販売機会損失や商品廃棄ロスなどを低減できる。
【０１６５】
＜第４の実施形態＞
次に、図２０、図２１を参照して、本発明の第４の実施形態について説明する。図２０は、画像処理装置４００の構成の一例を示す機能ブロック図である。図２１は、画像処理装置４００の動作の流れの一例を示すフローチャートである。
【０１６６】
本実施形態においては、第２の実施形態で説明した画像処理装置２００が有する構成に加えて、第３の実施形態で説明した、顧客の動線データを生成するための構成を有する画像処理装置４００について説明する。つまり、本実施形態では、第２の実施形態で説明した各構成と第３の実施形態で説明した各構成とを組み合わせた場合について説明する。
【０１６７】
本実施形態における画像処理装置４００は、第１の実施形態で説明した図１に示す画像処理装置１００と同様に、撮像装置２と通信可能に接続している。
【０１６８】
図２０は、画像処理装置４００の構成の一例を示している。図２０に示す通り、本実施形態に係る画像処理装置４００は、
第１取得部１１０と、第２取得部２１０と、第１変化検出部１２０と、第２変化検出部２２０と、第１記憶部１３０と、第２記憶部２３０と、第１関連性生成部３４０と、第２関連性生成部４４０と、第３取得部３１０と、動線データ生成部３２０と、関連性統合部２５０と、陳列検出部１６０とを備える。このように、本実施形態に係る画像処理装置４００は、第２の実施形態で説明した画像処理装置２００が有する構成を有するとともに、第３取得部３１０と動線データ生成部３２０を備えている。換言すると、本実施形態に係る画像処理装置４００は、画像処理装置２００の第１関連性生成部１４０に代えて第１関連性生成部３４０を備えるとともに、第２関連性生成部２４０に代えて第２関連性生成部４４０を備えている。さらに、画像処理装置４００は、第３取得部３１０と動線データ生成部３２０を備えている。
【０１６９】
なお、上記では、前述した第１の実施形態、第２の実施形態、第３の実施形態で説明した図面に含まれる要素と同じ機能を有する要素については、同じ符号を付している。以下、本実施形態に特徴的な構成について説明する。
【０１７０】
第２関連性生成部４４０は、第２変化検出部２２０から変化領域の分類結果と当該変化領域の位置情報を受け取る。また、第２関連性生成部４４０は、動線データ生成部３２０から動線データを取得する。そして、第２関連性生成部４４０は、第１関連性生成部３４０と同様の動作により、商品と人物の関連性情報を生成し、生成した関連性情報を関連性統合部２５０に供給する。
【０１７１】
このように、第２関連性生成部４４０は、第１関連性生成部３４０と同様に、動線データを用いて関連性情報を生成する。第１関連性生成部３４０と第２関連性生成部４４０が関連性情報を生成した後の処理は、第２の実施形態で説明した場合と同様である。そのため、詳細な説明は省略する。
【０１７２】
以上が、画像処理装置４００に特徴的な構成の一例である。
【０１７３】
次に、図２１を参照して本実施形態に係る画像処理装置４００の動作の流れについて説明する。図２１は、本実施の形態に係る画像処理装置４００の動作の流れの一例を示すフローチャートである。
【０１７４】
図２１を参照すると、画像処理装置４００が図９で示すステップＳ１００１からステップＳ１００８までの処理と同様の処理を行うことにより、第１変化検出部１２０は、変化を分類する（ステップＳ４００１）。また、同様に、第２変化検出部２２０は、変化を分類する（ステップＳ４００２）。
【０１７５】
第３取得部３１０は、店舗の通路を撮像した撮像装置５から送信された映像信号からＲＧＢ画像である撮像画像を取得する（ステップＳ４００３）。第３取得部３１０は取得した撮像画像を動線データ生成部３２０に供給する。
【０１７６】
動線データ生成部３２０は、少なくとも１つの撮像装置で撮像されたＲＧＢ画像を用いて、店舗内における人物の動線データを生成する（ステップＳ４００４）。そして、動線データ生成部３２０は、生成した動線データと当該動線データの撮像画像の時刻を関連付けて、それらを第１関連性生成部３４０に供給する。
【０１７７】
なお、ステップＳ４００３、ステップＳ４００４の処理は、第３の実施形態で説明したステップＳ３００２、ステップＳ３００２の処理と同様の処理である。また、ステップＳ４００３、ステップＳ４００３の処理は、ステップＳ４００１の処理やステップＳ４００２の処理と実行順序を入れ替えてもよいし、同時に実行してもよい。
【０１７８】
第１関連性生成部３４０は、動線データを用いて関連性情報を生成する（ステップＳ４００５）。また、第２関連性生成部４４０は、動線データを用いて関連性情報を生成する（ステップＳ４００６）。
【０１７９】
なお、ステップＳ４００５の処理とステップＳ４００６の処理は、第３の実施形態で説明したステップＳ３００４の処理と同様の処理である。また、ステップＳ４００５の処理とステップＳ４００６の処理は、どちらが先に実行されても構わないし、同時に実行してもよい。
【０１８０】
その後、画像処理装置４００は、図９で示すステップＳ１０１０からステップＳ１０１２までと同様の処理であるステップＳ４００７からステップＳ４００９までの処理を行う。
【０１８１】
以上のように、本実施の形態に係る画像処理装置４００は、第２の実施の形態に係る画像処理装置２００の第２関連性生成部２４０に代えて、第２関連性生成部４４０を備えている。さらに、画像処理装置４００は、第３取得部３１０と動線データ生成部３２０を備える。したがって、本実施の形態に係る画像処理装置４００は、上述した第２の実施形態に係る画像処理装置２００と同様に、店舗内の広範囲に渡って商品陳列の不備による販売機会損失や商品廃棄ロスなどを低減できる。かつ、画像処理装置４００は、上述した第３の実施形態に係る画像処理装置３００と同様に、商品と人物の関連性情報を高精度に統合できる。関連性情報を高精度に統合できることにより、商品が取られた場所とは異なる場所に戻されたことを検出する精度が向上する。従って、本実施形態における画像処理装置４００によると、画像処理装置２００よりも商品陳列の不備による販売機会損失や商品廃棄ロスなどを低減できる。
【０１８２】
＜第５の実施形態＞
次に、図２２、図２３を参照して、本発明の第５の実施形態について説明する。図２２は、画像処理装置５００の構成の一例を示す機能ブロック図である。図２３は、画像処理装置５００の動作の流れの一例を示すフローチャートである。
【０１８３】
本実施形態においては、第１の実施形態で説明した画像処理装置１００が有する構成に加えて、報知部５１０を有する画像処理装置５００について説明する。画像処理装置５００が報知部５１０を有することで、例えば、陳列検出部１６０が、商品が取られた場所とは異なる場所に戻されたことを検出した際に、店舗の店員等に対する報知を行うことが出来る。
【０１８４】
本実施形態における画像処理装置５００は、第１の実施形態で説明した図１に示す画像処理装置１００と同様に、撮像装置２と通信可能に接続している。
【０１８５】
図２２は、画像処理装置５００の構成の一例を示している。図２２に示す通り、本実施形態に係る画像処理装置５００は、第１取得部１１０と、第１変化検出部１２０と、第１記憶部１３０と、第１関連性生成部１４０と、関連性統合部１５０と、陳列検出部１６０と、報知部５１０（報知手段）とを備える。このように、本実施形態に係る画像処理装置５００は、第１の実施形態で説明した画像処理装置１００が有する構成を有するとともに、報知部５１０を有している。
【０１８６】
なお、上記では、前述した第１の実施形態、第２の実施形態、第３の実施形態、第４の実施形態で説明した図面に含まれる要素と同じ機能を有する要素については、同じ符号を付している。以下、本実施形態に特徴的な構成について説明する。
【０１８７】
陳列検出部１６０は、関連性統合部１５０から統合した関連性情報を受け取り、商品を取得した場所と商品を戻した場所を比較することにより、商品が取られた場所とは異なる場所に戻されたことを検出する。陳列検出部１６０は、例えば、検出結果を示す信号を報知部に供給する。検出結果を示す信号は、例えば、商品が取られた場所とは異なる場所に戻されたことを検出した場合に１、商品が取られた場所とは異なる場所に戻されたことを検出しなかった場合に０であってもよい。
【０１８８】
報知部５１０は、陳列検出部１６０から検出結果を受け取る。そして、報知部５１０は、受け取った検出結果が、商品が取られた場所とは異なる場所に戻されたことを示す信号であった場合に、例えば、店舗の作業員が保有している端末に、商品が取られた場所とは異なる場所に戻されたことを検出した旨を報知する。また、報知部５１０は、受け取った検出結果が、商品が取られた場所とは異なる場所に戻されたことを示す信号であった場合に、例えば、店舗のＰＯＳ（Ｐｏｉｎｔ  ｏｆ  ｓａｌｅｓ）端末に、商品が取られた場所とは異なる場所に戻されたことを検出した旨を報知してもよいし、本部のコンピュータに、商品が取られた場所とは異なる場所に戻されたことを検出した旨を報知してもよい。報知部５１０は、受け取った検出結果が、商品が取られた場所とは異なる場所に戻されたことを示す信号であった場合に、店舗または本部に設置された記憶媒体に、商品が取られた場所とは異なる場所に戻されたことを検出した旨を格納してもよい。報知部５１０は、所定のランプなどに、商品が取られた場所とは異なる場所に戻されたことを検出したことを報知してもよい。
【０１８９】
報知部５１０は、上記例示した報知のいずれか、又は、複数を組み合わせた報知を行うことが出来る。
【０１９０】
以上が、画像処理装置５００に特徴的な構成の一例である。
【０１９１】
次に、図２３を参照して本実施の形態に係る画像処理装置５００の動作の流れについて説明する。図２３は、本実施の形態に係る画像処理装置５００の動作の流れの一例を示すフローチャートである。
【０１９２】
図２３を参照すると、画像処理装置３００が図９で示すステップＳ１００１からステップＳ１０１１までの処理と同様の処理を行うことにより、陳列検出部１６０は、商品が取られた場所とは異なる場所に戻されたことを検出する（ステップＳ５００１）。陳列検出部１６０は、例えば、検出結果を示す信号を報知部に供給する。
【０１９３】
ステップＳ５０１１終了後、報知部５１０は、陳列検出部１６０から検出結果を受け取る。受け取った検出結果が、商品が取られた場所とは異なる場所に戻されたことを示す信号であった場合、報知部５１０は、店舗の作業員が保有する端末にその旨を報知する（ステップＳ５００２）。
【０１９４】
そして、画像処理装置５００は、図９に示すステップＳ１０１２と同様の処理であるステップＳ５００３を実行する。
【０１９５】
以上のように、本実施形態に係る画像処理装置５００は、画像処理装置１００に報知部５１０を加えた構成を有している。このような構成により、商品が取られた場所とは異なる場所に戻された際に、その旨を店舗の作業員に速やかに報知することができる。これにより、商品陳列の不備による販売機会損失や商品廃棄ロスなどを低減できる。
【０１９６】
なお、報知部５１０は、店舗内の状況などが予め定められた所定の条件を満たす場合、報知を行うタイミングを保留するよう構成しても構わない。
【０１９７】
例えば、報知部５１０は、店舗内における顧客の滞在状況に応じて、報知を保留するか否か判断するよう構成しても構わない。例えば、報知部５１０は、撮像装置２などが取得した撮像画像に基づいて、レジに顧客が並んでいる（所定の数以上並んでいる）と判断できる間、報知を保留するよう構成することが出来る。また、報知部５１０は、例えば、撮像装置２などが取得した撮像画像に基づいて、商品が取られた場所とは異なる場所に戻されたことを検出した作業対象の商品棚３の前に顧客がいると判断される間、報知を保留するよう構成することが出来る。画像処理装置５００が動線データを取得するよう構成されている場合、報知部５１０は、例えば、動線データに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出した作業対象の商品棚３の前に顧客が来ると判断される場合に、報知を保留するよう構成しても構わない。このように、報知部５１０は、店舗内に存在する顧客の数や顧客の場所などの顧客の滞在状況が所定の条件を満たす場合、報知を保留するよう構成することが出来る。なお、報知部５１０は、保留する理由が無い場合や無くなった場合に、報知を行う。
【０１９８】
また、報知部５１０は、商品が戻された商品棚３や、異なる場所に戻された商品の種類や性質、異なる場所に戻された商品と戻された商品棚３の関係などに基づいて報知の緊急性を判断し、報知の緊急性に基づいて報知するタイミングを制御しても構わない。例えば、生鮮食品や冷凍食品、アイスなどを、非冷凍コーナーや非冷蔵コーナーに戻した場合、すぐに報知しないと影響が大きくなることが想定される。また、商品と商品が戻された商品棚３との関係が、例えば、洗剤などの非食品が生成食品のコーナーに戻された場合など好ましくない所定の場合、速やかに是正することが望ましい。このように、異なる場所に戻された商品の種類等に応じて報知に緊急性があると判断される場合、報知部５１０は、すぐに報知するよう構成することが出来る。つまり、上記のような報知に緊急性がある場合、例えば、上述した保留する条件を満たす場合でも、報知部５１０は、保留せずに報知する。一方で、上記のような緊急性が無い場合、報知部５１０は、保留する条件を満たさなくなるまで報知を保留する。このように、報知部５１０は、報知の緊急性を示す情報を取得して、取得した情報に基づいて報知のタイミングを制御するよう構成しても構わない。なお、生鮮食品や冷凍食品など、取られた場所とは異なる場所に戻された商品の種類や性質は、例えば、領域変化分類部１２６や第１抽出部１２４などが第１注目画像等に基づいて判断するよう構成することが出来る。商品の種類、性質は、例えば、陳列検出部１６０が、取られた場所とは異なる場所に商品が戻されたことを検出した後、関連性情報に付与された撮像画像に関する情報（識別子、撮像時刻など）から撮像画像を取得し、取得した撮像画像に基づいて判断するよう構成しても構わない。
【０１９９】
以上のように、報知部５１０は、店舗内における顧客の滞在状況や商品の種類、性質等に応じて緊急性を判断し、報知の緊急性に応じて報知するタイミングを制御するよう構成しても構わない。報知部５１０は、上記例示した以外の情報に基づいて報知するタイミングを制御するよう構成しても構わない。
【０２００】
なお、本実施形態においては、第１の実施形態で説明した画像処理装置１００が報知部５１０を有する場合について説明した。しかしながら、報知部５１０は、画像処理装置１００以外の上述した各画像処理部が有しても構わない。例えば、第２の実施形態で説明した画像処理装置２００、第３の実施形態で説明した画像処理装置３００、第４の実施形態で説明した画像処理装置４００が、報知部５１０を有しても構わない。画像処理装置２００、画像処理装置３００、画像処理装置４００が報知部５１０を有する場合の報知部５１０が実行する処理は、画像処理装置１００が有する場合と同様である。上記いずれの場合も、本実施形態で説明した各種変形例を採用することが出来る。
【０２０１】
＜前景領域検出部の変形例＞
次に、上述した各実施形態の画像処理装置が有する第１変化検出部１２０または第２変化検出部２２０に含まれる前景領域検出部の処理の変形例について説明する。
【０２０２】
変形例においては、第１変化検出部１２０または第２変化検出部２２０に含まれる前景領域検出部は、予め登録された棚領域情報を更に用いて、変化領域に含まれる対象物が商品棚３内の商品以外であることを特定する。
【０２０３】
なお、本変形例では、画像処理装置１００の前景領域検出部１２１の変形例について説明を行う。しかしながら、本変形例は、画像処理装置２００、画像処理装置３００、画像処理装置４００、画像処理装置５００、報知部５１０を有する画像処理装置１００以外の装置のいずれに対しても適用可能である。
【０２０４】
図２４から図２６は、本変形例における前景領域検出部１２１の動作を説明するための図である。
【０２０５】
例えば、前景領域検出部１２１が、第１取得部１１０から供給された撮像画像と、背景情報１３１とを比較することにより変化領域を検出し、例えば、図２４に示すような、変化領域を表す２値画像である検出結果７１を生成したとする。この検出結果には、変化領域７２、変化領域７３、変化領域７４の３つの変化領域が含まれるとする。このような場合、前景領域検出部１２１は、検出結果７１に対して、一般的なラベリング方法で変化領域毎に別々の２値画像である検出結果７１Ａ、検出結果７１Ｂおよび検出結果７１Ｃを生成する。
【０２０６】
つまり、前景領域検出部１２１は、検出結果に複数の変化領域が含まれる場合、各変化領域が別々の２値画像に含まれるような複数の２値画像を生成する。
【０２０７】
そして、前景領域検出部１２１は、予め登録された棚領域情報と、複数の２値画像のそれぞれとに基づいて、変化領域が商品の変化に関する変化を検出した領域か否かを判定する。
【０２０８】
棚領域情報は、商品棚３における商品が陳列される領域を示す。商品モニタリングシステム１は、商品棚３の商品を監視している。そのため、棚領域情報によって示される、商品が陳列される領域を監視対象領域とも呼ぶ。また、棚領域情報を、監視領域情報とも呼ぶ。棚領域情報は、例えば、第１取得部１１０が取得する撮像画像と同じ大きさの画像であって、監視対象の商品棚３の監視対象領域の画素値を２５５、それ以外を０で表した２値画像であってもよい。また、棚領域情報に含まれる監視対象領域は、例えば、１つでもよいし複数でもよい。棚領域情報は、例えば、事前に第１記憶部１３０に格納されてもよい。なお、棚領域情報は、第１取得部１１０が取得する撮像画像に含まれる商品棚３を特定する情報を含む。
【０２０９】
前景領域検出部１２１は、第１取得部１１０が取得した撮像画像に含まれる商品棚３に関連する、例えば、図２５に示すような棚領域情報７５を用いて、検出結果７１Ａ、検出結果７１Ｂまたは検出結果７１Ｃと、対応する画素ごとに論理積の演算を行う。図３０に示す通り、棚領域情報７５において、監視対象領域は、白で表現されているため、棚領域情報７５は、６つの監視対象領域を含む。
【０２１０】
図２６に示す演算結果７６Ａは、棚領域情報７５と検出結果７１Ａとの論理積演算の結果である。また、演算結果７６Ｂは、棚領域情報７５と検出結果７１Ｂとの論理積の演算の結果である。また、演算結果７６Ｃは、棚領域情報７５と検出結果７１Ｃとの論理積の演算の結果である。
【０２１１】
人物やカートのような商品以外の物体は、複数の棚の領域にまたがっている。そのため、検出結果７１Ａと棚領域情報７５との論理積の演算を行った結果、図２６の左側に示す演算結果７６Ａのように、変化領域を表す、画素値が２５５の部分（白色の部分）は、複数の領域に分割される。一方、演算結果７６Ｂおよび演算結果７６Ｃの変化領域を表す部分（白色の部分）は、それぞれ、検出結果７１Ｂおよび検出結果７１Ｃと変化が無く、一続きの領域（画素値が２５５の画素であり、且つ、該画素に隣接する画素の何れかの画素値が２５５の画素の集合）である。商品棚３の陳列領域（監視対象領域）に陳列される商品は、複数の監視対象領域にまたがらない。したがって、演算結果７６Ａのように、変化領域が複数の領域に分割される場合、前景領域検出部１２１は、この変化領域に対する変化を、商品以外による変化であると。このような場合、前景領域検出部１２１は、例えば、前景領域追跡部１２３に供給する検出結果に含めない。言い換えると、前景領域検出部１２１は、検出結果７１Ｂと検出結果７１Ｃとを、前景領域追跡部１２３に供給する。
【０２１２】
このような構成により、前景領域追跡部１２３は、商品棚３に陳列された商品に対する変化を第１抽出部１２４および第２抽出部１２５に供給できる。言い換えると、領域変化分類部１２６は、商品棚３に陳列された商品に対する変化の分類処理を行うことができるため、商品以外の物体の影響によって、商品に対する変化の分類精度の低下を防ぐことができる。また、前景領域検出部１２１が、変化領域における変化が、商品以外の物体による変化であると、領域変化分類部１２６の分類処理を行うよりも前に分類することができるため、領域変化分類部１２６の処理量を低減させることができる。
【０２１３】
＜ハードウェア構成について＞
本開示の各実施形態において、各画像処理装置が有する各構成要素は、機能単位のブロックを示している。各画像処理装置が有する各構成要素の一部又は全部は、例えば図２７に示すような情報処理装置６００とプログラムとの任意の組み合わせにより実現される。図２７は、各画像処理装置の各構成要素を実現する情報処理装置６００のハードウェア構成の一例を示すブロック図である。情報処理装置６００は、一例として、以下のような構成を含む。
・ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）６０１
・ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）６０２
・ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）６０３
・ＲＡＭ６０３にロードされるプログラム群６０４
・プログラム群６０４を格納する記憶装置６０５
・情報処理装置６００外部の記録媒体６１０の読み書きを行うドライブ装置６０６
・情報処理装置６００外部の通信ネットワーク６１１と接続する通信インタフェース６０７
・データの入出力を行う入出力インタフェース６０８
・各構成要素を接続するバス６０９
【０２１４】
上述した各実施形態における各画像処理装置が有する各構成要素は、これらの機能を実現するプログラム群６０４をＣＰＵ６０１が取得して実行することで実現する。各画像処理装置が有する各構成要素の機能を実現するプログラム群６０４は、例えば、予め記憶装置６０５やＲＯＭ６０２に格納されており、必要に応じてＣＰＵ６０１がＲＡＭ６０３にロードして実行する。なお、プログラム群６０４は、通信ネットワーク６１１を介してＣＰＵ６０１に供給されてもよいし、予め記録媒体６１０に格納されており、ドライブ装置６０６が該プログラムを読み出してＣＰＵ６０１に供給してもよい。
【０２１５】
なお、各画像処理装置の実現方法には、様々な変形例がある。例えば、各画像処理装置は、構成要素毎にそれぞれ別個の情報処理装置６００とプログラムとの任意の組み合わせにより実現されてもよい。また、各画像処理装置が備える複数の構成要素が、一つの情報処理装置６００とプログラムとの任意の組み合わせにより実現されてもよい。
【０２１６】
また、各画像処理装置が有する各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現することが出来る。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
【０２１７】
各画像処理装置が有する各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
【０２１８】
各画像処理装置が有する各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
【０２１９】
＜第６の実施形態＞
次に、図２８を参照して、本発明の第６の実施形態について説明する。第６の実施形態では、画像処理装置８０の構成の概要について説明する。
【０２２０】
図２８を参照すると、画像処理装置８０は、変化検出手段８１と、陳列検出手段８２と、を有している。例えば、画像処理装置８０は、図示しないＣＰＵなどの演算装置と図示しない記憶装置とを有している。画像処理装置８０は、例えば、記憶装置に格納されたプログラムを演算装置が実行することで、上記各処理手段を実現する。
【０２２１】
変化検出手段８１は、監視対象である商品が撮影されている撮像画像に基づいて、商品の陳列状態の変化を検出する。例えば、変化検出手段８１は、画像処理装置８０の外部から撮像画像を取得する。または、変化検出手段８１は、画像処理装置８０が撮像した撮像画像を取得する。そして、変化検出手段８１は、取得した撮像画像に基づいて、商品の陳列状態の変化を検出する。
【０２２２】
陳列検出手段８２は、変化検出手段８１が検出した商品の陳列状態の変化と、撮像画像に含まれる人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する。例えば、陳列検出手段８２は、変化検出手段８１が検出した結果を受け取る。そして、陳列検出手段８２は、商品の陳列状態の変化と、人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する。
【０２２３】
このように、本実施形態における画像処理装置８０は、変化検出手段８１と、陳列検出手段８２と、を有している。このような構成により、画像処理手段８０は、変化検出手段８１が検出した監視対象の変化と、撮像画像に含まれる人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出することが出来る。
【０２２４】
また、上述した画像処理装置８０は、当該画像処理装置８０に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、画像処理装置に、監視対象である商品が撮影されている撮像画像に基づいて、監視対象の変化を検出する変化検出手段と、変化検出手段が検出した監視対象の変化と、撮像画像に含まれる人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する陳列検出手段と、を実現するためのプログラムである。
【０２２５】
また、上述した画像処理装置８０により実行される画像処理方法は、画像処理装置が、監視対象である商品が撮影されている撮像画像に基づいて、監視対象の変化を検出し、検出した監視対象の変化と、撮像画像に含まれる人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する、という方法である。
【０２２６】
上述した構成を有する、プログラム、又は、画像処理方法、の発明であっても、上記画像処理装置８０と同様の作用を有するために、上述した本発明の目的を達成することが出来る。
【０２２７】
＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における画像処理装置などの概略を説明する。但し、本発明は、以下の構成に限定されない。
【０２２８】
（付記１）
監視対象である商品が撮影されている撮像画像に基づいて、前記商品の陳列状態の変化を検出する変化検出手段と、
前記変化検出手段が検出した前記商品の陳列状態の変化と、撮像画像に含まれる人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する陳列検出手段と、
を有する
画像処理装置。
（付記２）
付記１に記載の画像処理装置であって、
前記変化検出手段が検出した前記商品の陳列状態の変化を前記人物に基づいて関連付ける関連付け手段を有し、
前記陳列検出手段は、前記関連付け手段が関連づけた結果に基づいて、前記商品が、取られた場所とは異なる場所に戻されたことを検出する
画像処理装置。
（付記３）
付記２に記載の画像処理装置であって、
前記関連付け手段は、
前記変化検出手段が検出した前記商品の陳列状態の変化と前記人物とを関連付けて、前記商品の陳列状態の変化と前記人物との関係を示す関連性情報を生成する関連性生成手段と、
前記関連性生成手段が生成した前記関連性情報のうち同一人物の前記関連性情報を統合する関連性統合手段と、
を有し、
前記陳列検出手段は、前記関連性統合手段が統合した結果に基づいて、前記商品が、取られた場所とは異なる場所に戻されたことを検出する
画像処理装置。
（付記４）
付記１から付記３までのいずれかに記載の画像処理装置であって、
前記変化検出手段は、前記商品の陳列状態の変化を検出するとともに、前記人物を検出するよう構成されており、
前記陳列検出手段は、前記変化検出手段が検出した前記商品の陳列状態の変化と前記人物とに基づいて、前記商品が、取られた場所とは異なる場所に戻されたことを検出する
画像処理装置。
（付記５）
付記１から付記４までのいずれかに記載の画像処理装置であって、
撮像画像に基づいて人物の動線データを生成する動線データ生成手段を有し、
前記陳列検出手段は、前記変化検出手段が検出した前記商品の陳列状態の変化と前記動線データ生成手段が生成した前記動線データとに基づいて、前記商品が、取られた場所とは異なる場所に戻されたことを検出する
画像処理装置。
（付記５−１）
付記５に記載の画像処理装置であって、
前記動線データ生成手段は、人物を識別するための識別子と当該人物が訪問した前記商品の位置に応じた識別子とを含む情報である前記動線データを生成する
画像処理装置。
（付記６）
付記１から付記５までのいずれかに記載の画像処理装置であって、
前記変化検出手段は、監視対象である商品が撮影されている撮像画像と、当該撮像画像よりも前に撮像された画像を示す背景情報とを比較することで、前記商品の陳列状態の変化を検出する
画像処理装置。
（付記７）
付記６に記載の画像処理装置であって、
前記背景情報を更新する背景情報更新手段を有し、
前記背景情報更新手段は、予め定められた条件を満たす場合、前記背景情報のうち、前記商品の陳列が変化した領域である変化領域に相当する部分以外を更新する
画像処理装置。
（付記８）
付記１から付記７までのいずれかに記載の画像処理装置であって、
前記陳列検出手段による検出結果に基づいて所定の報知を行う報知手段を有し、
前記報知手段は、報知の緊急性に応じて報知のタイミングを制御する
画像処理装置。
（付記８−１）
付記８に記載の画像処理装置であって、
前記報知手段は、所定の条件を満たす場合、報知を保留するよう構成されるとともに、前記所定の条件を満たし、かつ、緊急性を有する場合、報知を保留せずに実行する
画像処理装置。
（付記８−２）
付記８又は付記８−１に記載の画像処理装置であって、
前記報知手段は、前記陳列検出手段が、前記商品が取られた場所とは異なる場所に戻されたことを検出した前記商品の種類に応じて、報知の緊急性を判断する
画像処理装置。
（付記９）
画像処理装置が、
監視対象である商品が撮影されている撮像画像に基づいて、前記商品の陳列状態の変化を検出し、
検出した前記商品の陳列状態の変化と、撮像画像に含まれる人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する
画像処理方法。
（付記９−１）
付記９に記載の画像処理方法であって、
検出した前記商品の陳列状態の変化を前記人物に基づいて関連付け、
関連づけた結果に基づいて、前記商品が、取られた場所とは異なる場所に戻されたことを検出する
画像処理方法。
（付記９−２）
付記９−１に記載の画像処理方法であって、
前記関連付けでは、
検出した前記商品の陳列状態の変化と前記人物とを関連付けて、前記商品の陳列状態の変化と前記人物との関係を示す関連性情報を生成し、
生成した前記関連性情報のうち同一人物の前記関連性情報を統合し、
統合した結果に基づいて、前記商品が、取られた場所とは異なる場所に戻されたことを検出する
画像処理方法。
（付記１０）
画像処理装置に、
監視対象である商品が撮影されている撮像画像に基づいて、前記商品の陳列状態の変化を検出する変化検出手段と、
前記変化検出手段が検出した前記商品の陳列状態の変化と、撮像画像に含まれる人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する陳列検出手段と、
を実現させるためのプログラム
（付記１０−１）
付記１０に記載のプログラムであって、
前記変化検出手段が検出した前記商品の陳列状態の変化を前記人物に基づいて関連付ける関連付け手段を有し、
前記陳列検出手段は、前記関連付け手段が関連づけた結果に基づいて、前記商品が、取られた場所とは異なる場所に戻されたことを検出する
プログラム。
（付記１０−２）
付記１０−１に記載のプログラムであって、
前記関連付け手段は、
前記変化検出手段が検出した前記商品の陳列状態の変化と前記人物とを関連付けて、前記商品の陳列状態の変化と前記人物との関係を示す関連性情報を生成する関連性生成手段と、
前記関連性生成手段が生成した前記関連性情報のうち同一人物の前記関連性情報を統合する関連性統合手段と、
を有し、
前記陳列検出手段は、前記関連性統合手段が統合した結果に基づいて、前記商品が、取られた場所とは異なる場所に戻されたことを検出する
プログラム。
【０２２９】
なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
【０２３０】
以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることが出来る。
【０２３１】
なお、本願発明は、日本国にて２０１７年１２月４日に特許出願された特願２０１７−２３２４５１号の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
【符号の説明】
【０２３２】
１  商品モニタリングシステム
２  撮像装置
３  商品棚
１００  画像処理装置
１１０  第１取得部
１２０  第１変化検出部
１２１  前景領域検出部
１２２  背景情報更新部
１２３  前景領域追跡部
１２４  第１抽出部
１２５  第２抽出部
１２６  領域変化分類部
１３０  第１記憶部
１３１  背景情報
１３２  棚変化モデル
１３３  前景情報
１３４  人物情報
１４０  第１関連性生成部
１５０  関連性統合部
１６０  陳列検出部
２００  画像処理装置
２１０  第２取得部
２２０  第２変化検出部
２３０  第２記憶部
２４０  第２関連性生成部
２５０  関連性統合部
４  商品モニタリングシステム
５  撮像装置
３００  画像処理装置
３１０  第３取得部
３２０  動線データ生成部
３４０  第１関連性生成部
４００  画像処理装置
４４０  第２関連性生成部
５００  画像処理装置
５１０  報知部
６００  情報処理装置
６０１  ＣＰＵ
６０２  ＲＯＭ
６０３  ＲＡＭ
６０４  プログラム群
６０５  記憶装置
６０６  ドライブ装置
６０７  通信インタフェース
６０８  入出力インタフェース
６０９  バス
６１０  記録媒体
６１１  通信ネットワーク
７１  検出結果
７２  変化領域
７３  変化領域
７４  変化領域
７５  棚領域情報
７６  演算結果
８０  画像処理装置
８１  変化検出手段
８２  陳列検出手段
９０  分類結果
９１  第２注目画像
９２  第１注目画像
９３  変化の種類
【図１】
2019111501.tif 000003
【図２】
2019111501.tif 000004
【図３】
2019111501.tif 000005
【図４】
2019111501.tif 000006
【図５】
2019111501.tif 000007
【図６】
2019111501.tif 000008
【図７】
2019111501.tif 000009
【図８】
2019111501.tif 000010
【図９】
2019111501.tif 000011
【図１０】
2019111501.tif 000012
【図１１】
2019111501.tif 000013
【図１２】
2019111501.tif 000014
【図１３】
2019111501.tif 000015
【図１４】
2019111501.tif 000016
【図１５】
2019111501.tif 000017
【図１６】
2019111501.tif 000018
【図１７】
2019111501.tif 000019
【図１８】
2019111501.tif 000020
【図１９】
2019111501.tif 000021
【図２０】
2019111501.tif 000022
【図２１】
2019111501.tif 000023
【図２２】
2019111501.tif 000024
【図２３】
2019111501.tif 000025
【図２４】
2019111501.tif 000026
【図２５】
2019111501.tif 000027
【図２６】
2019111501.tif 000028
【図２７】
2019111501.tif 000029
【図２８】
2019111501.tif 000030
【手続補正書】
【提出日】令和2年5月28日(2020.5.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
監視対象である商品が撮影されている撮像画像に基づいて、前記商品の陳列状態の変化を検出する変化検出手段と、
前記変化検出手段が検出した前記商品の陳列状態の変化と、撮像画像に含まれる人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する陳列検出手段と、
を有する
画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記変化検出手段が検出した前記商品の陳列状態の変化を前記人物に基づいて関連付ける関連付け手段を有し、
前記陳列検出手段は、前記関連付け手段が関連づけた結果に基づいて、前記商品が、取られた場所とは異なる場所に戻されたことを検出する
画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記関連付け手段は、
前記変化検出手段が検出した前記商品の陳列状態の変化と前記人物とを関連付けて、前記商品の陳列状態の変化と前記人物との関係を示す関連性情報を生成する関連性生成手段と、
前記関連性生成手段が生成した前記関連性情報のうち同一人物の前記関連性情報を統合する関連性統合手段と、
を有し、
前記陳列検出手段は、前記関連性統合手段が統合した結果に基づいて、前記商品が、取られた場所とは異なる場所に戻されたことを検出する
画像処理装置。
【請求項４】
請求項１から請求項３までのいずれかに記載の画像処理装置であって、
前記変化検出手段は、前記商品の陳列状態の変化を検出するとともに、前記人物を検出するよう構成されており、
前記陳列検出手段は、前記変化検出手段が検出した前記商品の陳列状態の変化と前記人物とに基づいて、前記商品が、取られた場所とは異なる場所に戻されたことを検出する
画像処理装置。
【請求項５】
請求項１から請求項４までのいずれかに記載の画像処理装置であって、
撮像画像に基づいて人物の動線データを生成する動線データ生成手段を有し、
前記陳列検出手段は、前記変化検出手段が検出した前記商品の陳列状態の変化と前記動線データ生成手段が生成した前記動線データとに基づいて、前記商品が、取られた場所とは異なる場所に戻されたことを検出する
画像処理装置。
【請求項６】
請求項５に記載の画像処理装置であって、
前記動線データ生成手段は、人物を識別するための識別子と当該人物が訪問した前記商品の位置に応じた識別子とを含む情報である前記動線データを生成する
画像処理装置。
【請求項７】
請求項１から請求項６までのいずれかに記載の画像処理装置であって、
前記変化検出手段は、監視対象である商品が撮影されている撮像画像と、当該撮像画像よりも前に撮像された画像を示す背景情報とを比較することで、前記商品の陳列状態の変化を検出する
画像処理装置。
【請求項８】
請求項１から請求項７までのいずれかに記載の画像処理装置であって、
前記陳列検出手段による検出結果に基づいて所定の報知を行う報知手段を有し、
前記報知手段は、報知の緊急性に応じて報知のタイミングを制御する
画像処理装置。
【請求項９】
画像処理装置が、
監視対象である商品が撮影されている撮像画像に基づいて、前記商品の陳列状態の変化を検出し、
検出した前記商品の陳列状態の変化と、撮像画像に含まれる人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する
画像処理方法。
【請求項１０】
画像処理装置に、
監視対象である商品が撮影されている撮像画像に基づいて、前記商品の陳列状態の変化を検出する変化検出手段と、
前記変化検出手段が検出した前記商品の陳列状態の変化と、撮像画像に含まれる人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する陳列検出手段と、
を実現させるためのプログラム。
【国際調査報告】
2019111501.tif 000031
2019111501.tif 000032
2019111501.tif 000033
2019111501.tif 000034