(57)【要約】【課題】画像の検出精度を高める画像検出プログラムを提供することを目的とする。【解決手段】撮像画像を格子状に分割して得られた複数の格子画像のそれぞれについて、比較対象画像の中で、最も高い相関が得られる画像部分を特定する処理Ｓ１０２と、特定した画像部分が、比較対象画像中のどの領域に対応するかを判断する処理Ｓ１０３と、撮像画像内における複数の格子画像の位置関係と、複数の格子画像に対応する比較対象画像中の領域の位置関係との一致性に応じて、撮像画像から比較対象画像を検出する処理Ｓ１０７をコンピュータに実行させる。【選択図】図８
2017062623.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像を格子状に分割して得られた複数の格子画像のそれぞれについて、比較対象画像の中で、最も高い相関が得られる画像部分を特定し、
特定した前記画像部分が、前記比較対象画像中のどの領域に対応するかを判断し、
前記撮像画像内における前記複数の格子画像の位置関係と、前記複数の格子画像に対応する前記比較対象画像中の領域の位置関係との一致性に応じて、前記撮像画像から前記比較対象画像を検出する、
処理をコンピュータに実行させる画像検出プログラム。
【請求項２】
前記撮像画像及び前記比較対象画像は、カラー画像であることを特徴とする請求項１に記載の画像検出プログラム。
【請求項３】
前記撮像画像は商品を陳列した陳列棚を含む画像であり、前記比較対象画像は前記商品の画像であることを特徴とする請求項１又は２に記載の画像検出プログラム。
【請求項４】
前記撮像画像は商品を包んだ包装を陳列した陳列棚を含む画像であり、前記比較対象画像は前記包装の画像であることを特徴とする請求項１から３のいずれか１項に記載の画像検出プログラム。
【請求項５】
前記包装の前景の色と前記包装の背景の色とのコントラストが所定のコントラスト以上であることを特徴とする請求項４に記載の画像検出プログラム。
【請求項６】
前記陳列棚に陳列された前記包装の前景の一部は店舗用品により隠れていることを特徴とする請求項４又は５に記載の画像検出プログラム。
【請求項７】
撮像画像を格子状に分割して得られた複数の格子画像のそれぞれについて、比較対象画像の中で、最も高い相関が得られる画像部分を特定し、
特定した前記画像部分が、前記比較対象画像中のどの領域に対応するかを判断し、
前記撮像画像内における前記複数の格子画像の位置関係と、前記複数の格子画像に対応する前記比較対象画像中の領域の位置関係との一致性に応じて、前記撮像画像から前記比較対象画像を検出する、
処理をコンピュータが実行する画像検出方法。
【請求項８】
撮像画像を格子状に分割して得られた複数の格子画像のそれぞれについて、比較対象画像の中で、最も高い相関が得られる画像部分を特定し、特定した前記画像部分が、前記比較対象画像中のどの領域に対応するかを判断する処理手段と、
前記撮像画像内における前記複数の格子画像の位置関係と、前記複数の格子画像に対応する前記比較対象画像中の領域の位置関係との一致性に応じて、前記撮像画像から前記比較対象画像を検出する検出手段と、
を有する画像検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本件は、画像検出プログラム、画像検出方法、及び画像検出装置に関する。
【背景技術】
【０００２】
ドラッグストア、コンビニエンスストア、スーパーマーケットといった小売店では、定期的に商品陳列棚の陳列状態（例えば商品配置）を変更する棚替が行われている。棚替の際には事前に棚替後の陳列状態を決定する棚割が行われている。すなわち、棚割によって決定された陳列状態に従って棚替が行われている。
【０００３】
棚割は、個々の商品の売り上げ実績、メーカーやサプライヤーからの商品情報などに基づいて、陳列状態を検討して売れ筋商品を見極めなければならず、手間がかかることが多い。このため、棚割を効率的に行うための種々の技術が提案されている。
【０００４】
例えば商品の陳列状態を撮像した撮像画像をコンピュータに取り込み、その撮像画像中の各商品についてコンピュータが記憶する商品マスタ画像とマッチング処理を行い、個々の商品を識別する技術が知られている（例えば特許文献１参照）。また、照合対象物品を撮像した画像データと予め記憶された複数の物品のマスタ画像データとを照合して複数の物品の中から照合対象物品に該当する物品を高精度かつ簡易に抽出する技術も知られている（例えば特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１８７４８２号公報
【特許文献２】特開２０１４−４４４８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところが、商品陳列棚を撮像した撮像画像では、商品の一部に商品陳列棚の棚板や値札などが重なっていたり、商品同士が重なっていたりすることがある。このような撮像画像に基づいて個々の商品に対応する比較対象の画像を検出した場合、個々の商品に対応しない画像を誤って検出する可能性がある。
【０００７】
そこで、１つの側面では、画像の検出精度を高める画像検出プログラム、画像検出方法、及び画像検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本明細書に開示の画像検出プログラムは、撮像画像を格子状に分割して得られた複数の格子画像のそれぞれについて、比較対象画像の中で、最も高い相関が得られる画像部分を特定し、特定した前記画像部分が、前記比較対象画像中のどの領域に対応するかを判断し、前記撮像画像内における前記複数の格子画像の位置関係と、前記複数の格子画像に対応する前記比較対象画像中の領域の位置関係との一致性に応じて、前記撮像画像から前記比較対象画像を検出する、処理をコンピュータに実行させる画像検出プログラムである。
【０００９】
本明細書に開示の画像検出方法は、撮像画像を格子状に分割して得られた複数の格子画像のそれぞれについて、比較対象画像の中で、最も高い相関が得られる画像部分を特定し、特定した前記画像部分が、前記比較対象画像中のどの領域に対応するかを判断し、前記撮像画像内における前記複数の格子画像の位置関係と、前記複数の格子画像に対応する前記比較対象画像中の領域の位置関係との一致性に応じて、前記撮像画像から前記比較対象画像を検出する、処理をコンピュータが実行する画像検出方法である。
【００１０】
本明細書に開示の画像検出装置は、撮像画像を格子状に分割して得られた複数の格子画像のそれぞれについて、比較対象画像の中で、最も高い相関が得られる画像部分を特定し、特定した前記画像部分が、前記比較対象画像中のどの領域に対応するかを判断する処理手段と、前記撮像画像内における前記複数の格子画像の位置関係と、前記複数の格子画像に対応する前記比較対象画像中の領域の位置関係との一致性に応じて、前記撮像画像から前記比較対象画像を検出する検出手段と、を有する画像検出装置である。
【発明の効果】
【００１１】
本明細書に開示の画像検出プログラム、画像検出方法、及び画像検出装置によれば、画像の検出精度を高めることができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、陳列商品検出システムの一例を説明するための図である。
【図２】図２は、サーバ装置のハードウェア構成の一例である。
【図３】図３は、サーバ装置の機能ブロック図の一例である。
【図４】図４は、撮像画像記憶部の一例である。
【図５】図５は、電子ファイル記憶部の一例である。
【図６】図６は、マスタ画像記憶部の一例である。
【図７】図７は、成績情報記憶部の一例である。
【図８】図８は、サーバ装置の動作の一例を示すフローチャートである。
【図９】図９は、格子画像とマスタ画像との照合の一例を説明するための図である。
【図１０】図１０は、領域パターン定義ファイルの一例を説明するための図である。
【図１１】図１１は、撮像画像構成領域から領域パターン定義ファイルと同じ領域パターンを抽出する様子の一例を説明するための図である。
【図１２】図１２は、サーバ装置の出力結果の一例である。
【図１３】図１３は、サーバ装置の出力結果の別の一例である。
【発明を実施するための形態】
【００１３】
以下、本件を実施するための形態について図面を参照して説明する。
【００１４】
図１は、陳列商品検出システムＳの一例を説明するための図である。陳列商品検出システムＳは、図１に示すように、端末装置１００と画像検出装置としてのサーバ装置２００とを含んでいる。図１では、端末装置１００の一例としてタブレット端末が示されているが、端末装置１００はタブレット端末に限定されず、携帯型の端末装置であればスマートフォンやフィーチャーフォンなどであってもよい。
【００１５】
端末装置１００の背面側（表示部１１０の裏側）には、不図示のアウトカメラが設けられている。アウトカメラは背面側の方向に位置する所定の撮像領域ＡＲ０内を撮像する。したがって、図１に示すように、アウトカメラを複数の商品１０を陳列した陳列棚２０の方向に向けて撮像者が撮像すれば、端末装置１００は撮像領域ＡＲ０内の画像を撮像画像ＩＭとして取得する。端末装置１００が取得する撮像画像ＩＭはカラー画像（より詳しくはフルカラー画像）である。尚、陳列棚２０の棚板２１，２２，２３には商品１０の種類毎に値札２４が付けられている。また、撮像者には、小売店の店員、小売店を管理する本部や地域統括店の担当者（例えばスーパーバイザ）、メーカーの担当者などが含まれる。
【００１６】
ここで、上述した商品１０には例えば菓子を含む食料品、清涼飲料水やアルコール類を含む飲料品、調味料、日用品、家電製品など商取引の対象となる種々の品物が含まれる。商品１０は包装に包まれている場合もあるし、包装に包まれていない場合もある。具体的には、食料品そのものは包装容器に包まれて販売されており、飲料品そのものは缶やペットボトル、紙パックなどにより包装されて販売されている。カメラ、エアコン、洗濯機、冷蔵庫などの家電製品は包装に包まれずに店頭に並べられている。このため、食料品、飲料品、調味料、日用品などであれば、上述した撮像画像ＩＭには、商品１０そのものではなく、商品１０を包んだ包装を陳列した陳列棚２０が含まれることになる。
【００１７】
端末装置１００は、図１に示すように、自己の通信機能により撮像画像ＩＭをサーバ装置２００に向けて送信する。端末装置１００から送信された撮像画像ＩＭは無線基地局ＢＳにより受け付けられる。そして、無線基地局ＢＳは通信ネットワークＮＷを介して受け付けた撮像画像ＩＭをクラウドＣＬ上のサーバ装置２００に送信する。尚、通信ネットワークＮＷとしては例えばインターネットがある。また、無線基地局ＢＳに代えてアクセスポイントを利用し、通信ネットワークＮＷとしてLocal Area Network（ＬＡＮ）を利用するようにしてもよい。
【００１８】
サーバ装置２００は受信した撮像画像ＩＭに含まれる個々の商品１０に対応するカラー（より詳しくはフルカラー）のマスタ画像を比較対象画像として記憶している。マスタ画像は個々の商品１０の包装の画像であってもよい。サーバ装置２００は受信した撮像画像ＩＭを記憶し、記憶した撮像画像ＩＭとマスタ画像とに基づいて、バッチ処理などを利用した種々の情報処理を夜間に実行する。
【００１９】
詳細は後述するが、例えばサーバ装置２００は撮像画像ＩＭを格子状に分割し、分割により得られた複数の部分画像（以下、格子画像と呼ぶ）のそれぞれについて複数のマスタ画像のそれぞれと照合処理を実行する。すなわち、サーバ装置２００は１つの撮像画像ＩＭ全体を分割した格子画像と、いずれも分割していない複数のマスタ画像全体のそれぞれとの照合処理を実行する。そして、サーバ装置２００は照合処理の照合結果に基づいて、撮像画像ＩＭに含まれる個々の商品１０に対応するマスタ画像を検出する。サーバ装置２００は、検出したマスタ画像を撮像画像ＩＭ上の対応部分に配置する。
【００２０】
次に、図２を参照して、上述したサーバ装置２００のハードウェア構成について説明する。尚、上述した端末装置１００については基本的にサーバ装置２００と同様のハードウェア構成であるため説明を省略する。
【００２１】
図２は、サーバ装置２００のハードウェア構成の一例である。図２に示すように、サーバ装置２００は、少なくともCentral Processing Unit（ＣＰＵ）２００Ａ、Random Access Memory（ＲＡＭ）２００Ｂ、Read Only Memory（ＲＯＭ）２００Ｃ及びネットワークＩ／Ｆ（インタフェース）２００Ｄを含んでいる。サーバ装置２００は、必要に応じて、Hard Disk Drive（ＨＤＤ）２００Ｅ、入力Ｉ／Ｆ２００Ｆ、出力Ｉ／Ｆ２００Ｇ、入出力Ｉ／Ｆ２００Ｈ、ドライブ装置２００Ｉの少なくとも１つを含んでいてもよい。ＣＰＵ２００Ａ、ＲＡＭ２００Ｂ、ＲＯＭ２００Ｃ、ネットワークＩ／Ｆ２００Ｄ、ＨＤＤ２００Ｅ、入力Ｉ／Ｆ２００Ｆ、出力Ｉ／Ｆ２００Ｇ、入出力Ｉ／Ｆ２００Ｈ、ドライブ装置２００Ｉは、内部バス２００Ｊによって互いに接続されている。少なくともＣＰＵ２００ＡとＲＡＭ２００Ｂとが協働することによってコンピュータが実現される。
【００２２】
入力Ｉ／Ｆ２００Ｆには、入力装置７１０が接続される。入力装置７１０としては、例えばキーボードやマウスなどがある。
出力Ｉ／Ｆ２００Ｇには、表示装置７２０が接続される。表示装置７２０としては、例えば液晶ディスプレイがある。
入出力Ｉ／Ｆ２００Ｈには、半導体メモリ７３０が接続される。半導体メモリ７３０としては、例えばUniversal Serial Bus（ＵＳＢ）メモリやフラッシュメモリなどがある。入出力Ｉ／Ｆ２００Ｈは、半導体メモリ７３０に記憶されたプログラムやデータを読み取る。
入力Ｉ／Ｆ２００Ｆ及び入出力Ｉ／Ｆ２００Ｈは、例えばＵＳＢポートを備えている。出力Ｉ／Ｆ２００Ｇは、例えばディスプレイポートを備えている。
【００２３】
ドライブ装置２００Ｉには、可搬型記録媒体７４０が挿入される。可搬型記録媒体７４０としては、例えばCompact Disc（ＣＤ）−ＲＯＭ、Digital Versatile Disc（ＤＶＤ）といったリムーバブルディスクがある。ドライブ装置２００Ｉは、可搬型記録媒体７４０に記録されたプログラムやデータを読み込む。
ネットワークＩ／Ｆ２００Ｄは、例えばポートとPhysical Layer Chip（ＰＨＹチップ）とを備えている。サーバ装置２００は、ネットワークＩ／Ｆ２００Ｄを介してネットワークＮＷと接続される。
【００２４】
上述したＲＡＭ２００Ｂには、ＲＯＭ２００ＣやＨＤＤ２００Ｅに記憶されたプログラムがＣＰＵ２００Ａによって格納される。ＲＡＭ２００Ｂには、可搬型記録媒体７４０に記録されたプログラムがＣＰＵ２００Ａによって格納される。格納されたプログラムをＣＰＵ２００Ａが実行することにより、後述する各種の機能が実現され、また、後述する各種の動作が実行される。尚、プログラムは後述するフローチャートに応じたものとすればよい。
【００２５】
次に、図３から図７を参照して、上述したサーバ装置２００の機能について説明する。
【００２６】
図３は、サーバ装置２００の機能ブロック図の一例である。図４は、撮像画像記憶部２０１の一例である。図５は、電子ファイル記憶部２０２の一例である。図６は、マスタ画像記憶部２０３の一例である。図７は、成績情報記憶部２０４の一例である。
【００２７】
サーバ装置２００は、図３に示すように、撮像画像記憶部２０１、電子ファイル記憶部２０２、マスタ画像記憶部２０３、成績情報記憶部２０４、画像処理部２０５、処理手段としての画像照合部２０６、領域パターン抽出部２０７、及び検出手段としての画像検出部２０８を含んでいる。
【００２８】
撮像画像記憶部２０１は、端末装置１００から送信された撮像画像ＩＭを記憶する。上述したように、撮像画像ＩＭは撮像領域ＡＲ０内を撮像したカラー画像である。撮像画像ＩＭは、図４に示すように、陳列棚２０の棚板２１，２２，２３に並べられた複数の商品１０の画像を含んでいる。例えば１段目の棚板２１には商品１０の画像としてビスケットの画像を含んでいる。２段目の棚板２２には商品１０の画像としてポテトチップスの画像を含んでいる。３段目の棚板２３には商品１０の画像としてチョコレートの画像を含んでいる。また、図４に示すように、商品１０の画像の一部は、値札２４やポップ２５といった店舗用品によって隠れている。尚、値札２４やポップ２５以外にも、撮像状態（例えば撮像位置や撮像角度など）によっては商品１０の画像の一部が棚板２１，２２，２３の少なくとも１つによって隠れていたり、商品１０同士が重なりあって隠れていたりする場合がある。
【００２９】
電子ファイル記憶部２０２は、サーバ装置２００が実行する情報処理で利用する各種の電子ファイルを記憶する。より詳しくは、図５に示すように、電子ファイル記憶部２０２は、格子サイズ定義ファイルＦ１、複数の領域パターン定義ファイルＦ２、格子数判断定義ファイルＦ３、及び格子割合判断定義ファイルＦ４を記憶する。
【００３０】
格子サイズ定義ファイルＦ１は、撮像画像ＩＭを正方形の格子状に分割する際の各格子のサイズを定義しているファイルである。格子サイズ定義ファイルＦ１は、例えばｍ×ｍ画素（ｍは自然数）といった格子のサイズを定義する情報を含んでいる。画像処理部２０５は、格子サイズ定義ファイルＦ１を利用して撮像画像ＩＭをｍ×ｍ画素の複数の格子画像に分割する。
【００３１】
領域パターン定義ファイルＦ２は、マスタ画像を縦方向と横方向に均等に分割し、分割して得られた複数の矩形領域の各々に割り当てられた領域情報を商品１０に対応するように２次元に並べたファイルである。詳細は後述するが、本実施形態では一例としてマスタ画像を９分割するため、領域パターン定義ファイルＦ２は、Ａ領域、Ｂ領域、Ｃ領域、Ｄ領域、Ｅ領域、Ｆ領域、Ｇ領域、Ｈ領域、Ｉ領域の９つの領域情報を含んでいる。図５では、単にＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉと示している。尚、マスタ画像の分割数は適宜変更してもよい。
【００３２】
格子数判断定義ファイルＦ３は、格子画像の数を判断するための格子数を閾値情報として定義しているファイルである。より詳しくは、格子数判断定義ファイルＦ３は、値札２４などによって隠れていない露出した商品１０又はその包装（以下、適宜商品１０と記載）の格子画像の数を判断するための格子数を定義している。上述したように、画像処理部２０５が撮像画像ＩＭを複数の格子画像に分割した場合に、商品１０の画像によってはその一部が値札２４の画像などによって隠れている場合がある。この場合、商品１０の画像は商品１０を表す格子画像と値札２４を表す格子画像を含むことになる。例えば、商品１０の画像の大部分が値札２４を表す格子画像で隠れていると、商品１０を特定できない可能性が高い。このため、画像検出部２０８は、格子数判断定義ファイルＦ３を利用して商品１０の露出部分の格子画像の数を判断する。この結果、商品１０を特定できない可能性が大きく低下する。
【００３３】
格子割合判断定義ファイルＦ４は、同一商品で構成される格子画像の割合を判断するための格子割合を閾値情報として定義しているファイルである。例えば画像照合部２０６が商品１０の画像を構成する格子画像を利用してマスタ画像の領域情報を出力する場合、照合結果によっては、その商品１０とは別の商品を表すマスタ画像の領域情報を出力することがある。画像照合部２０６が別の商品を表すマスタ画像の領域情報を多く出力すると、最終的に、画像検出部２０８はその商品１０とは別の商品を表すマスタ画像を検出する。このため、画像検出部２０８は商品１０を表すマスタ画像を検出する際に、格子割合判断定義ファイルＦ４を利用して、その商品１０の特定精度を向上させる。
【００３４】
マスタ画像記憶部２０３は、商品１０のマスタ画像を含むマスタ情報を記憶する。マスタ画像記憶部２０３は、図６に示すように、マスタテーブルＴ１によりマスタ情報をマスタ画像毎に管理する。マスタ情報は、商品ＩＤ、商品名、マスタ画像、Japanese Article Numberコード（ＪＡＮコード）、仕入先などを構成要素としている。商品ＩＤは、商品１０を識別する識別情報である。商品名は、商品１０の名称やその略称であり、マスタ情報の入力者などにより適切な名称などが付与される。マスタ画像は、個々の商品１０に対応するカラー画像である。ＪＡＮコードは、日本の共通商品コードである。仕入先は商品１０の仕入先であり、例えばメーカーやサプライヤーなどが該当する。尚、マスタ情報には、入数、発注単位、価格、棚段（例えば１段目、２段目など）、陳列形態（例えば２フェースなど）が含まれていてもよい。
【００３５】
成績情報記憶部２０４は、画像照合部２０６の処理結果を成績情報として記憶する。成績情報記憶部２０４は、図７に示すように、成績テーブルＴ２により成績情報を格子画像の位置座標毎に管理する。成績情報は、格子画像の位置、マスタ画像、対応する領域情報、及び最高相関度を構成要素としている。格子画像の位置は、撮像画像ＩＭを複数の格子画像に分割した場合における各格子画像の位置座標である。本実施形態では、左上隅に位置する格子画像の位置座標を座標（１，１）と、右下隅に位置する格子画像の位置座標を座標（１２，１１）としている（詳細は図９参照）。マスタ画像は、最高相関度を算出したマスタ画像の商品名であり、対応する領域情報は、そのマスタ画像の領域情報である。
【００３６】
例えば、位置座標（１，２）に位置する格子画像は最高相関度「８９％」であるが、その最高相関度は商品名「チョコ（ビター）」のマスタ画像における領域情報「領域Ｂ」との照合結果に基づいて得られた相関度である。最高相関度は、格子画像とマスタ画像とを照合した結果、格子画像がマスタ画像内で最も高い相関が得られた画像領域部分におけるその格子画像とその画像領域部分との相関度を表している。尚、相関度は例えば類似度などによって表される。類似度は、画像の色、形状、テクスチャ、特徴点などさまざまな特徴量を利用して算出される。
【００３７】
画像処理部２０５は、撮像画像ＩＭを複数の格子画像に分割する。より詳しくは、画像処理部２０５は、撮像画像記憶部２０１から撮像画像ＩＭを抽出し、電子ファイル記憶部２０２から格子サイズ定義ファイルＦ１を抽出する。そして、画像処理部２０５は、格子サイズ定義ファイルＦ１利用して撮像画像ＩＭを分割する。これにより、ｍ×ｍ画素の複数の格子画像が得られる。また、画像処理部２０５は、マスタ画像記憶部２０３から全てのマスタ画像を抽出し、各マスタ画像をまず縦方向に３つに均等に区切り、３つに均等に区切ったマスタ画像をさらに横方向に３つに均等に区切る。これにより、９つの領域に区切られたマスタ画像が得られる（詳細は図９参照）。画像処理部２０５は、９つの領域に区切られたマスタ画像の各領域に対し、互いに異なる領域情報（上述した領域Ａ、領域Ｂなど）を割り当てる。画像処理部２０５は、格子画像を画像照合部２０６に送信し、領域情報を割り当てたマスタ画像をマスタ画像記憶部２０３に上書き保存する。
【００３８】
画像照合部２０６は、画像処理部２０５から送信された格子画像を受信すると、領域情報が割り当てられたマスタ画像をマスタ画像記憶部２０３から全て抽出し、受信した複数の格子画像のそれぞれと複数のマスタ画像のそれぞれとをマスタ画像ごとに照合（マッチング）する。そして、画像照合部２０６は、複数の格子画像のそれぞれについて、マスタ画像の中で最も高い相関が得られる画像部分を特定し、特定した画像部分が、マスタ画像中のどの領域に対応するかを判断する。画像照合部２０６は、判断を終えると、格子画像の位置、最高相関度、その最高相関度を得たマスタ画像の商品名と領域情報を含む処理結果を成績情報として成績情報記憶部２０４に保存する。これにより、成績情報記憶部２０４は成績情報を記憶する（図７参照）。また、画像照合部２０６は成績情報を保存し終えると、領域パターン抽出部２０７に実行指令を送信する。
【００３９】
領域パターン抽出部２０７は、画像照合部２０６から送信された実行指令を受信すると、成績情報記憶部２０４から全ての成績情報を抽出し、電子ファイル記憶部２０２から領域パターン定義ファイルＦ２を抽出する。そして、領域パターン抽出部２０７は、全ての成績情報から後述する撮像画像構成領域を生成し、領域パターン定義ファイルＦ２により定義される領域パターンと同じ領域パターンを撮像画像構成領域から抽出する。領域パターン抽出部２０７は、抽出した領域パターンを画像検出部２０８に送信する。
【００４０】
画像検出部２０８は、領域パターン抽出部２０７から送信された領域パターンを受信する。画像検出部２０８は、受信した領域パターンにより特定される複数の格子画像の位置関係と、複数の格子画像に対応するマスタ画像中の領域の位置関係との一致性に応じて、撮像画像ＩＭからマスタ画像を検出する。より詳しくは、画像検出部２０８は、まず、電子ファイル記憶部２０２から格子数判断定義ファイルＦ３を抽出し、受信した領域パターンを構成する複数の格子画像の数が格子数判断定義ファイルＦ３により定義される所定の格子数以上であるか否かを判断する。これは、領域パターンを構成する複数の格子画像の数が所定の格子数未満である場合、商品１０を特定する精度が低下するためである。
【００４１】
さらに、画像検出部２０８は、格子画像の数が所定の格子数以上であると判断した場合、電子ファイル記憶部２０２から格子割合判断定義ファイルＦ４を抽出し、複数の格子画像に対応するマスタ画像が格子割合判断定義ファイルＦ４により定義される格子割合以上の割合で、同一商品で構成されているか否かを判断する。画像検出部２０８は、複数の格子画像に対応するマスタ画像が格子割合以上の割合で、同一商品で構成されていると判断した場合、そのマスタ画像が複数の格子画像で構成される商品１０に対応すると判断し、そのマスタ画像を検出する。画像検出部２０８はマスタ画像を検出すると、検出したマスタ画像を撮像画像ＩＭ上の該当部分に配置する。
【００４２】
続いて、図８から図１３を参照して、サーバ装置２００の動作について説明する。
【００４３】
図８は、サーバ装置２００の動作の一例を示すフローチャートである。図９は、格子画像ＩＭ−Ｋとマスタ画像ＩＭ−Ｍとの照合の一例を説明するための図である。図１０は、領域パターン定義ファイルＦ２の一例を説明するための図である。図１１は、撮像画像構成領域ＫＲから領域パターン定義ファイルＦ２と同じ領域パターンＲＰを抽出する様子の一例を説明するための図である。図１２は、サーバ装置２００の出力結果の一例である。図１３は、サーバ装置２００の出力結果の別の一例である。
【００４４】
図８に示すように、画像処理部２０５は格子サイズ定義ファイルＦ１に基づいて撮像画像ＩＭを分割する（ステップＳ１０１）。より詳しくは、画像処理部２０５は撮像画像記憶部２０１から撮像画像ＩＭを抽出し、電子ファイル記憶部２０２から格子サイズ定義ファイルＦ１を抽出する。画像処理部２０５は、撮像画像ＩＭと格子サイズ定義ファイルＦ１を抽出した後、格子サイズ定義ファイルＦ１を利用して撮像画像ＩＭを分割する。これにより、図９に示すように、撮像画像ＩＭは１３２個の正方形の格子画像ＩＭ−Ｋに分割される。各格子画像ＩＭ−Ｋの位置座標はｘｙ座標により特定される。
【００４５】
また、画像処理部２０５はステップＳ１０１の処理の際に、マスタ画像記憶部２０３から全てのマスタ画像を抽出し、抽出した全てのマスタ画像をそれぞれ９個の領域に区切る。これにより、図９に示すように、抽出したマスタ画像ＩＭ−Ｍは、領域ＡＲ１，ＡＲ２，ＡＲ３，ＡＲ４，ＡＲ５，ＡＲ６，ＡＲ７，ＡＲ８，ＡＲ９に区切られる。画像処理部２０５は９個の領域ＡＲ１，ＡＲ２，ＡＲ３，ＡＲ４，ＡＲ５，ＡＲ６，ＡＲ７，ＡＲ８，ＡＲ９に区切ったマスタ画像にそれぞれ領域情報「領域Ａ」、「領域Ｂ」、「領域Ｃ」、「領域Ｄ」、「領域Ｅ」、「領域Ｆ」、「領域Ｇ」、「領域Ｈ」、「領域Ｉ」を順に割り当て、そのマスタ画像をマスタ画像記憶部２０３に上書き保存する。尚、図９では、一例として商品名「ポテチ（コンソメ）」のマスタ画像ＩＭ−Ｍが９個の領域に区切られているが、商品名「チョコ（ビター）」のマスタ画像や商品名「ビスケット」のマスタ画像なども同様に区切られる。
【００４６】
ステップＳ１０１の処理が完了すると、次いで、画像照合部２０６は、最も高い相関が得られる画像部分を特定する（ステップＳ１０２）。より詳しくは、画像照合部２０６は、マスタ画像記憶部２０３から領域情報が割り当てられたマスタ画像を全て抽出し、複数の格子画像のそれぞれと複数のマスタ画像のそれぞれとをマスタ画像ごとに照合して画像部分を特定する。
【００４７】
例えば、図９に示すように、画像照合部２０６は位置座標（６，５）に位置する格子画像ＩＭ−Ｋを、商品名「ポテチ（コンソメ）」のマスタ画像ＩＭ−Ｍ上を横方向に１画素ずつ移動させながら、マスタ画像ＩＭ−Ｍ上の各画像部分で、格子画像ＩＭ−Ｋと各画像部分との相関度を算出する。画像照合部２０６は要求に応じて格子画像ＩＭ−Ｋを正規化してから相関度を算出するようにしてもよい。格子画像ＩＭ−Ｋがマスタ画像ＩＭ−Ｍ上の右端に位置し、その行の照合処理が終わると、画像照合部２０６はその格子画像ＩＭ−Ｋを縦方向に１画素分ずらして再び左端から移動させ、同様に相関度を算出する。そして、画像照合部２０６はマスタ画像ＩＭ−Ｍ中で最も高い相関が得られる画像部分を特定する。図９では、位置座標（６，５）に位置する格子画像ＩＭ−Ｋを一例として説明しているが、各位置座標に位置する全ての格子画像ＩＭ−Ｋについても同様である。また、図９では、格子画像ＩＭ−Ｋの比較対象として商品名「ポテチ（コンソメ）」のマスタ画像ＩＭ−Ｍを説明しているが、画像照合部２０６は全てのマスタ画像に対して照合処理を実行し、最も高い相関が得られるマスタ画像の画像部分を特定する。
【００４８】
ステップＳ１０２の処理が完了すると、次いで、画像照合部２０６は、特定した画像部分に対応するマスタ画像中の領域を判断する（ステップＳ１０３）。図９に示すように、マスタ画像ＩＭ−Ｍは９個の領域ＡＲ１，ＡＲ２，ＡＲ３，ＡＲ４，ＡＲ５，ＡＲ６，ＡＲ７，ＡＲ８，ＡＲ９に区切られている。したがって、画像照合部２０６は、特定した画像部分が領域ＡＲ１，ＡＲ２，ＡＲ３，ＡＲ４，ＡＲ５，ＡＲ６，ＡＲ７，ＡＲ８，ＡＲ９のいずれに対応するのか判断する。例えば図９では位置座標（６，５）に位置する格子画像ＩＭ−Ｋは文字「コンソメ」の一部「コン」を含むため、画像照合部２０６はその格子画像ＩＭ−Ｋが領域情報「Ｅ領域」の領域ＡＲ５に対応すると判断する可能性が高い。画像照合部２０６は、位置座標（６，５）と、その位置座標に位置する格子画像ＩＭ−Ｋに対して最も高く相関すると判断したマスタ画像と、対応する領域情報と、相関度とを含む処理結果を成績情報として成績情報記憶部２０４に保存する。この結果、成績情報記憶部２０４は全ての位置座標に位置する格子画像ＩＭ−Ｋの成績情報を記憶する（図７参照）。
【００４９】
ここで、図７に示すように、例えば位置座標（６，７）に位置する格子画像ＩＭ−Ｋに対して最も高く相関すると判断したマスタ画像は商品名「キャンディ」のマスタ画像である。図９に示すように、位置座標（６，７）に位置する格子画像ＩＭ−Ｋは値札２４を表しており、位置座標（６，７）に位置する格子画像ＩＭ−Ｋに対して最も高く相関すると判断したマスタ画像は、商品名「ポテチ（コンソメ）」のマスタ画像でなく、商品名「キャンディ」のマスタ画像である。このように、商品１０の一部が値札２４などによって隠れていると、必ずしも適切なマスタ画像と最も高く相関するとは限らない。
【００５０】
また、例えば位置座標（７，３）に位置する格子画像ＩＭ−Ｋに対して最も高く相関すると判断したマスタ画像は商品名「ポテチ（塩）」のマスタ画像である。図９に示すように、位置座標（７，３）に位置する格子画像ＩＭ−Ｋは商品名「ポテチ（コンソメ）」の商品１０を表しているが、位置座標（７，３）に位置する格子画像ＩＭ−Ｋに対して最も高く相関すると判断したマスタ画像は、商品名「ポテチ（コンソメ）」のマスタ画像でなく、商品名「ポテチ（塩）」のマスタ画像である。このように、商品１０同士の前景の模様（例えばデザイン）が類似していると、必ずしも適切なマスタ画像と最も高く相関するとは限らない。
【００５１】
図１０（ａ）〜（ｄ）を参照して値札２４などにより隠れた場合を具体的に説明すると、図１０（ａ）に示すように、例えば商品１０が値札２４などによって隠れていない場合、その商品１０を構成する格子画像ＩＭ−Ｋに対応する領域パターン定義ファイルＦ２１は、１行目に領域情報「領域Ａ」、「領域Ｂ」、「領域Ｂ」、「領域Ｃ」が順に並んで配置され、２〜４行目に領域情報「領域Ｄ」、「領域Ｅ」、「領域Ｅ」、「領域Ｆ」が順に並んで配置され、５行目に領域情報「領域Ｇ」、「領域Ｈ」、「領域Ｈ」、「領域Ｉ」が順に並んで配置されるパターンになる。
【００５２】
ところが、図１０（ｂ）に示すように、例えば商品１０の前に別の商品が重なって商品１０の一部（例えば右側部）が隠れている場合、その商品１０を構成する格子画像ＩＭ−Ｋに対応する領域パターン定義ファイルＦ２２は、１〜３列目は上述した領域パターン定義ファイルＦ２１と同じであるが、４列目は別の商品で隠れていることにより、４列目に領域情報「領域Ａ」、「領域Ｄ」、「領域Ｄ」、「領域Ｄ」、「領域Ｇ」が順に並んで配置されるパターンになる。
【００５３】
また、図１０（ｃ）に示すように、例えば商品１０の前に値札２４とポップ２５が重なって商品１０の一部（例えば下部）が隠れている場合、その商品１０を構成する格子画像ＩＭ−Ｋに対応する領域パターン定義ファイルＦ２３は、１〜３行目は上述した領域パターン定義ファイルＦ２１と同じであるが、４行目と５行目の２列目と３列目は値札２４とポップ２５で隠れていることにより、例えば４行目と５行目の２列目と３列目に領域情報「領域Ｅ」が配置されるパターンになる。
【００５４】
さらに、図１０（ｄ）に示すように、例えば商品１０の前に別の商品が重なるとともに、値札２４とポップ２５が重なって商品１０の一部（例えば右側部と下部）が隠れている場合、その商品１０を構成する格子画像ＩＭ−Ｋに対応する領域パターン定義ファイルＦ２４は、１列目並びに２列目及び３列目の１〜３行目は上述した領域パターン定義ファイルＦ２１と同じであるが、それ以外は別の商品並びに値札２４及びポップ２５で隠れていることにより、例えば４列目に領域情報「領域Ａ」、「領域Ｄ」、「領域Ｄ」、「領域Ｄ」、「領域Ｇ」が順に並んで配置されるとともに、４行目と５行目の２列目と３列目に領域情報「領域Ｅ」が配置されるパターンになる。この場合、商品１０を特定可能な部分が著しく狭くなる。
【００５５】
尚、図１０では一例として領域パターン定義ファイルＦ２１〜Ｆ２４を説明したが、商品１０の隠れ方、商品１０が隠れる量、商品１０を隠す物、マスタ画像の区切り方などによって、上述した領域パターン定義ファイルＦ２１〜Ｆ２４以外に種々の領域パターン定義ファイルを用意してもよい。
【００５６】
図８に戻り、ステップＳ１０３の処理が完了すると、領域パターン抽出部２０７は、同じ領域パターンがあるか否かを判断する（ステップＳ１０４）。より詳しくは、領域パターン抽出部２０７は、まず、成績情報記憶部２０４から成績情報を抽出し、抽出した成績情報に含まれる位置座標に従って領域情報を並べた撮像画像構成領域を生成する。具体的には、図１１に示すように、領域パターン抽出部２０７は、複数の領域情報によって構成された撮像画像構成領域ＫＲを生成する。図７と対比して説明すると、例えば位置座標（１，１）には領域情報「領域Ａ」（単に「Ａ」と図示）が配置される。同様に、例えば位置座標（１，２）には領域情報「領域Ｂ」（単に「Ｂ」と図示）が配置され、位置座標（１２，１１）には領域情報「領域Ｉ」（単に「Ｉ」と図示）が配置される。ただし、配置された各領域情報にはマスタ画像が関連付けられていない。
【００５７】
次に、領域パターン抽出部２０７は、電子ファイル記憶部２０２から領域パターン定義ファイルＦ２を全て抽出し、領域パターン定義ファイルＦ２のいずれか１つを選択して、選択した領域パターン定義ファイルＦ２と同じ領域パターンが撮像画像構成領域ＫＲにあるか否かを判断する。ここで、図１１に示すように、位置座標（５，３）、（８，３）、（５，７）、（８，７）で特定される長方形の領域から位置座標（６，６）、（７，６）、（６，７）、（７，７）で特定される正方形の領域を除いた領域パターンＲＰは、領域パターン定義ファイルＦ２３（図１０（ｃ）参照）と同じである。このため、領域パターン抽出部２０７は、同じ領域パターンがあると判断する（ステップＳ１０４：ＹＥＳ）。一方、領域パターン定義ファイルＦ２３と同じ領域パターンが撮像画像構成領域ＫＲにない場合、領域パターン抽出部２０７は、同じ領域パターンがないと判断する（ステップＳ１０４：ＮＯ）。この場合、領域パターン抽出部２０７は再びステップＳ１０４の処理を繰り返す。すなわち、領域パターン抽出部２０７は、別の領域パターン定義ファイルＦ２（例えば領域パターン定義ファイルＦ２４など）を選択して、選択した別の領域パターン定義ファイルＦ２と同じ領域パターンが撮像画像構成領域ＫＲにあるか否かを判断する。
【００５８】
図８に戻り、ステップＳ１０４の処理が完了すると、次いで、画像検出部２０８は、領域パターンの格子数が所定数以上であるか否かを判断する（ステップＳ１０５）。より詳しくは、画像検出部２０８は、まず、電子ファイル記憶部２０２から格子数判断定義ファイルＦ３を抽出し、抽出した格子数判断定義ファイルＦ３により定義される格子数を所定数として取得する。次に、画像検出部２０８は、領域パターン抽出部２０７が判断した領域パターンを構成する格子画像の格子数を計数する。最後に、画像検出部２０８は、計数した格子数が所定数以上であるか否かを判断する。
【００５９】
例えば格子数判断定義ファイルＦ３に格子数「１３」が定義されている場合、領域パターン抽出部２０７が領域パターン定義ファイルＦ２３（図１０（ｃ）参照）と同じ領域パターンがあると判断していれば、その領域パターンは格子領域数「１６」であるため、画像検出部２０８は、計数した格子数が所定数以上であると判断する（ステップＳ１０５：ＹＥＳ）。一方、領域パターン抽出部２０７が領域パターン定義ファイルＦ２４（図１０（ｄ）参照）と同じ領域パターンがあると判断していれば、その領域パターンは格子領域数「１１」であるため、画像検出部２０８は、計数した格子数が所定数以上でないと判断する（ステップＳ１０５：ＮＯ）。この場合、画像検出部２０８は、後続の処理を実行せずに、ステップＳ１０４の処理に戻る。すなわち、商品１０の大部分が隠れていると商品１０を特定する精度が低下するため、ステップＳ１０５の処理により、なるべく商品１０の露出部分を利用して商品１０を特定する精度の向上を図っている。
【００６０】
ステップＳ１０５の処理が完了すると、次いで、画像検出部２０８は、領域パターンを構成する格子が所定割合以上同一商品で構成されているか否かを判断する（ステップＳ１０６）。より詳しくは、画像検出部２０８は、まず、電子ファイル記憶部２０２から格子割合判断定義ファイルＦ４を抽出し、抽出した格子割合判断定義ファイルＦ４により定義される格子割合を所定割合として取得する。次に、画像検出部２０８は、ステップＳ１０５の処理で判断した領域パターンを構成する全ての格子における同一商品の格子の割合を算出する。最後に、画像検出部２０８は、算出した割合が所定割合以上であるか否かを判断する。
【００６１】
例えば、成績情報記憶部２０４（図７参照）に記憶された位置座標（６，７）及び位置座標（７，７）を除く位置座標（５，３）から位置座標（８，７）までの成績情報（図１１に示す領域パターンＲＰに対応）では、位置座標（７，３）の成績情報を除き、マスタ画像「ポテチ（コンソメ）」と判断されている。このため、例えば画像検出部２０８は割合「９５％」近くを算出する。したがって、格子割合判断定義ファイルＦ４に格子割合「８０％」が定義されていれば、画像検出部２０８は、領域パターンを構成する格子が所定割合以上同一商品で構成されていると判断する（ステップＳ１０６：ＹＥＳ）。
【００６２】
一方、仮に位置座標（５，５）から位置座標（８，５）までの成績情報において、マスタ画像「ポテチ（塩）」などと判断されている場合、画像検出部２０８は割合「７５％」近くを算出すると想定される。この場合、画像検出部２０８は、領域パターンを構成する格子が所定割合以上同一商品で構成されていないと判断し（ステップＳ１０６：ＮＯ）、後続の処理を実行せずに、ステップＳ１０４の処理に戻る。すなわち、領域パターンが同一商品で構成されていないと判断される場合、必ずしも商品１０を特定できないため、ステップＳ１０６の処理により、商品１０を特定する精度の向上を図っている。
【００６３】
ステップＳ１０６の処理が完了すると、画像検出部２０８は、同一商品に対応するマスタ画像を検出して、撮像画像ＩＭの該当部分にそのマスタ画像を配置する（ステップＳ１０７）。これにより、図１２に示すように、撮像画像ＩＭ上の該当部分にマスタ画像ＩＭ−Ｍが配置される。尚、マスタ画像を検出できなかった場合、２段目の右側に配置された商品名「ポテチ（激辛）」に示すように、該当部分にマスタ画像は配置されない。尚、図１３に示すように、マスタ画像ＩＭ−Ｍの配置に代えて、画像検出部２０８はマスタ画像を含むマスタ情報が有する文字情報を陳列棚２０の陳列状態に対応付けた画像を生成してもよい。
【００６４】
図８に戻り、ステップＳ１０７の処理が完了すると、画像検出部２０８は、未選択の領域パターン定義ファイルＦ２があるか否かを判断する（ステップＳ１０８）。画像検出部２０８は、未選択の領域パターン定義ファイルＦ２があると判断した場合（ステップＳ１０８：ＹＥＳ）、ステップＳ１０４の処理を実行する。したがって、領域パターン抽出部２０７は、未選択の領域パターン定義ファイルＦ２の中から別の領域パターン定義ファイルＦ２を新たに選択して、撮像画像構成領域ＫＲの中に別の領域パターン定義ファイルＦ２と同じ領域パターンがあるか否かを判断する。一方、画像検出部２０８は、未選択の領域パターン定義ファイルＦ２がないと判断した場合（ステップＳ１０８：ＮＯ）、処理を終了する。
【００６５】
以上説明したように、本実施形態によれば、画像照合部２０６は撮像画像ＩＭを格子状に分割して得られた複数の格子画像ＩＭ−Ｋのそれぞれについて、比較対象のマスタ画像ＩＭ−Ｍの中で、最も高い相関が得られる画像部分を特定し、特定した画像部分が、マスタ画像ＩＭ−Ｍ中のどの領域に対応するかを判断する。そして、画像検出部２０８は、撮像画像ＩＭ内における複数の格子画像ＩＭ−Ｋの位置関係と、複数の格子画像ＩＭ−Ｋに対応するマスタ画像ＩＭ−Ｍ中の領域の位置関係との一致性に応じて、撮像画像ＩＭからマスタ画像ＩＭ−Ｍを検出する。これにより、画像の検出精度を高めることができる。
【００６６】
特に、撮像画像ＩＭ及びマスタ画像ＩＭ−Ｍとしてモノクロ画像を利用した場合、格子画像ＩＭ−Ｋとマスタ画像ＩＭ−Ｍを比較しても色の違いが明確に表現されないことにより算出する相関度が高くなる場合がある。この場合、画像検出部２０８は撮像画像ＩＭに含まれる商品１０とは別の商品１０を表すマスタ画像ＩＭ−Ｍを検出するおそれがある。ところが、本実施形態では、撮像画像ＩＭ及びマスタ画像ＩＭ−Ｍとしてカラー画像を利用している。これにより、格子画像ＩＭ−Ｋとマスタ画像ＩＭ−Ｍを比較すると色の違いが顕著に表現されることにより異なる商品１０に対しては算出する相関度が低くなる。すなわち、本実施形態では、撮像画像ＩＭに含まれる商品１０を表すマスタ画像ＩＭ−Ｍを検出する精度を高めることができる。
【００６７】
さらに、本実施形態では、商品１０の包装の前景の色とその包装の背景の色とのコントラストが所定のコントラスト以上であること望ましい。例えば、商品１０が精米、醤油、豆腐、煎餅などである場合、その商品１０の包装は透明であることが多く、商品１０の包装の前景の色とその背景の色とのコントラストがはっきりせず、算出する相関度が高くなる傾向にある。ところが、商品１０の包装の前景の色とその包装の背景の色とのコントラストが所定のコントラスト以上であることにより、異なる商品１０に対しては算出する相関度が低くなる。すなわち、撮像画像ＩＭに含まれる商品１０を表すマスタ画像ＩＭ−Ｍを検出する精度をさらに高めることができる。
【００６８】
以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、上述した実施形態では、画像検出部２０８は、撮像画像ＩＭ上において縦及び横に並んだ複数の格子画像ＩＭ−Ｋの位置関係と、縦及び横に並んだ複数の格子画像ＩＭ−Ｋに対応するマスタ画像ＩＭ−Ｍ中の領域ＡＲ１，ＡＲ２，ＡＲ３，ＡＲ４，ＡＲ５，ＡＲ６，ＡＲ７，ＡＲ８，ＡＲ９の位置関係との一致性に応じて、撮像画像ＩＭからマスタ画像ＩＭ−Ｍを検出した。このような検出に代えて、画像検出部２０８は、撮像画像ＩＭ上において縦又は横に並んだ複数の格子画像ＩＭ−Ｋの位置関係と、縦又は横に並んだ複数の格子画像ＩＭ−Ｋに対応するマスタ画像ＩＭ−Ｍ中の領域ＡＲ１，ＡＲ２，ＡＲ３，ＡＲ４，ＡＲ５，ＡＲ６，ＡＲ７，ＡＲ８，ＡＲ９の位置関係との一致性に応じて、撮像画像ＩＭからマスタ画像ＩＭ−Ｍを検出するようにしてもよい。
【００６９】
なお、以上の説明に関して更に以下の付記を開示する。
（付記１）撮像画像を格子状に分割して得られた複数の格子画像のそれぞれについて、比較対象画像の中で、最も高い相関が得られる画像部分を特定し、特定した前記画像部分が、前記比較対象画像中のどの領域に対応するかを判断し、前記撮像画像内における前記複数の格子画像の位置関係と、前記複数の格子画像に対応する前記比較対象画像中の領域の位置関係との一致性に応じて、前記撮像画像から前記比較対象画像を検出する、処理をコンピュータに実行させる画像検出プログラム。
（付記２）前記撮像画像及び前記比較対象画像は、カラー画像であることを特徴とする付記１に記載の画像検出プログラム。
（付記３）前記撮像画像は商品を陳列した陳列棚を含む画像であり、前記比較対象画像は前記商品の画像であることを特徴とする付記１又は２に記載の画像検出プログラム。
（付記４）前記撮像画像は商品を包んだ包装を陳列した陳列棚を含む画像であり、前記比較対象画像は前記包装の画像であることを特徴とする付記１から３のいずれか１項に記載の画像検出プログラム。
（付記５）前記包装の前景の色と前記包装の背景の色とのコントラストが所定のコントラスト以上であることを特徴とする付記４に記載の画像検出プログラム。
（付記６）前記陳列棚に陳列された前記包装の前景の一部は店舗用品により隠れていることを特徴とする付記４又は５に記載の画像検出プログラム。
（付記７）撮像画像を格子状に分割して得られた複数の格子画像のそれぞれについて、比較対象画像の中で、最も高い相関が得られる画像部分を特定し、特定した前記画像部分が、前記比較対象画像中のどの領域に対応するかを判断し、前記撮像画像内における前記複数の格子画像の位置関係と、前記複数の格子画像に対応する前記比較対象画像中の領域の位置関係との一致性に応じて、前記撮像画像から前記比較対象画像を検出する、処理をコンピュータが実行する画像検出方法。
（付記８）撮像画像を格子状に分割して得られた複数の格子画像のそれぞれについて、比較対象画像の中で、最も高い相関が得られる画像部分を特定し、特定した前記画像部分が、前記比較対象画像中のどの領域に対応するかを判断する処理手段と、前記撮像画像内における前記複数の格子画像の位置関係と、前記複数の格子画像に対応する前記比較対象画像中の領域の位置関係との一致性に応じて、前記撮像画像から前記比較対象画像を検出する検出手段と、を有する画像検出装置。
（付記９）前記撮像画像及び前記比較対象画像は、カラー画像であることを特徴とする付記８に記載の画像検出装置。
（付記１０）前記撮像画像は商品を陳列した陳列棚を含む画像であり、前記比較対象画像は前記商品の画像であることを特徴とする付記８又は９に記載の画像検出装置。
（付記１１）前記撮像画像は商品を包んだ包装を陳列した陳列棚を含む画像であり、前記比較対象画像は前記包装の画像であることを特徴とする付記８から１０のいずれか１項に記載の画像検出装置。
（付記１２）前記包装の前景の色と前記包装の背景の色とのコントラストが所定のコントラスト以上であることを特徴とする付記１１に記載の画像検出装置。
（付記１３）前記陳列棚に陳列された前記包装の前景の一部は店舗用品により隠れていることを特徴とする付記１１又は１２に記載の画像検出装置。
【符号の説明】
【００７０】
Ｓ  陳列商品検出システム
１００  端末装置
２００  サーバ装置
２０１  撮像画像記憶部
２０２  電子ファイル記憶部
２０３  マスタ画像記憶部
２０４  成績情報記憶部
２０５  画像処理部
２０６  画像照合部
２０７  領域パターン抽出部
２０８  画像検出部
【図１】
2017062623.tif 000003
【図２】
2017062623.tif 000004
【図３】
2017062623.tif 000005
【図４】
2017062623.tif 000006
【図５】
2017062623.tif 000007
【図６】
2017062623.tif 000008
【図７】
2017062623.tif 000009
【図８】
2017062623.tif 000010
【図９】
2017062623.tif 000011
【図１０】
2017062623.tif 000012
【図１１】
2017062623.tif 000013
【図１２】
2017062623.tif 000014
【図１３】
2017062623.tif 000015