(57)【要約】【課題】  本発明は，画像処理システムを目的とする。【解決手段】  処理対象の画像情報における第１の領域において所定条件を充足する第２の領域のレイアウト情報と，標本とする対象物におけるブロックのレイアウト情報とを用いて，レイアウトの類似性の判定を行い，比較処理の候補とする対象物を特定する候補処理部と，前記処理対象の画像情報の第１の領域または第２の領域と，前記候補処理部で候補として特定した対象物の標本情報またはブロックとを用いて比較処理をすることで，前記第１の領域に写っている対象物を特定する比較処理部と，を有する画像処理システムである。【選択図】  図１
2020194443.tif 000002
【特許請求の範囲】
【請求項１】
画像情報に写っている対象物を特定する画像処理システムであって，
前記画像処理システムは，
処理対象の画像情報における第１の領域において所定条件を充足する第２の領域のレイアウト情報と，標本とする対象物におけるブロックのレイアウト情報とを用いて，レイアウトの類似性の判定を行い，比較処理の候補とする対象物を特定する候補処理部と，
前記処理対象の画像情報の第１の領域または第２の領域と，前記候補処理部で候補として特定した対象物の標本情報またはブロックとを用いて比較処理をすることで，前記第１の領域に写っている対象物を特定する比較処理部と，
を有することを特徴とする画像処理システム。
【請求項２】
前記候補処理部は，
第２の領域のレイアウト情報と，標本とする対象物のブロックのレイアウト情報との共通部分および／または差分の面積を算出し，その算出結果を用いて所定の評価値を算出し，
前記算出した評価値が閾値以上の場合，前記対象物を候補リストに追加する，
ことを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記候補処理部は，
処理対象の画像情報における第１の領域において所定条件を充足する第２の領域を特定し，
前記特定した第１の領域の所定範囲における第２の領域のレイアウト情報と，前記標本とする対象物の画像情報において前記第１の領域の所定範囲の大きさに対応する領域のブロックのレイアウト情報と用いて，レイアウトの類似性の判定を行う，
ことを特徴とする請求項１または請求項２に記載の画像処理システム。
【請求項４】
前記候補処理部は，
前記レイアウトの類似性の判定を行う処理を，前記標本とする対象物の画像情報において，前記第１の領域の所定範囲の大きさに対応する領域をずらしながら行い，
前記比較処理部は，
前記対象物の画像情報において，前記候補処理部でもっとも類似性が高いと判定した領域の標本情報またはブロックと，前記処理対象の画像情報の第１の領域または第２の領域とを用いて比較処理をすることで，前記第１の領域に写っている対象物を特定する，
ことを特徴とする請求項３に記載の画像処理システム。
【請求項５】
前記比較処理部は，
前記処理対象の画像情報の第２の領域と，前記候補処理部で候補として特定した対象物のブロックとを対応づけ，
前記対応づけた第２の領域とブロックとを用いて，画像情報および／または文字情報の類似性を判定することで，前記比較処理を実行する，
ことを特徴とする請求項１から請求項４のいずれかに記載の画像処理システム。
【請求項６】
前記画像処理システムは，
画像情報とそれに対応する深さ情報を用いて生成した３次元モデルの一部または全部について，平面に展開する平面展開画像情報を生成し，前記生成した平面展開画像情報の一部または全部を，前記処理対象の画像情報とする画像情報処理部，
を有することを特徴とする請求項１から請求項５のいずれかに記載の画像処理システム。
【請求項７】
画像情報に写っている対象物を特定する画像処理システムであって，
前記画像処理システムは，
処理対象の画像情報におけるフェイス領域において所定条件を充足するブロックのレイアウト情報と，標本とする対象物のブロックのレイアウト情報とを用いて，レイアウトの類似性の判定を行い，比較処理の候補とする対象物を特定する候補処理部と，
前記処理対象の画像情報におけるフェイス領域若しくはブロックの領域の画像情報および／または特徴量と，前記候補処理部で候補として特定した対象物の標本情報，ブロックの領域の画像情報および／または特徴量とを用いて比較処理をすることで，前記フェイス領域に写っている対象物を特定する比較処理部と，
を有することを特徴とする画像処理システム。
【請求項８】
コンピュータを，
処理対象の画像情報における第１の領域において所定条件を充足する第２の領域のレイアウト情報と，標本とする対象物におけるブロックのレイアウト情報とを用いて，レイアウトの類似性の判定を行い，比較処理の候補とする対象物を特定する候補処理部，
前記処理対象の画像情報の第１の領域または第２の領域と，前記候補処理部で候補として特定した対象物の標本情報またはブロックとを用いて比較処理をすることで，前記第１の領域に写っている対象物を特定する比較処理部，
として機能させることを特徴とする画像処理プログラム。
【請求項９】
コンピュータを，
処理対象の画像情報におけるフェイス領域において所定条件を充足するブロックのレイアウト情報と，標本とする対象物のブロックのレイアウト情報とを用いて，レイアウトの類似性の判定を行い，比較処理の候補とする対象物を特定する候補処理部，
前記処理対象の画像情報におけるフェイス領域若しくはブロックの領域の画像情報および／または特徴量と，前記候補処理部で候補として特定した対象物の標本情報，ブロックの領域の画像情報および／または特徴量とを用いて比較処理をすることで，前記フェイス領域に写っている対象物を特定する比較処理部，
として機能させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，画像処理システムに関する。
【背景技術】
【０００２】
ある画像情報に，判定対象とする対象物が写っているかを判定することが求められる場合がある。たとえば商品の陳列棚を撮影した画像情報に，判定対象とする商品が写っているかを判定することで，その商品が陳列されていたかを判定する場合などがその一例としてあげられる。
【０００３】
このように，画像情報に対象物が写っているかを判定する場合には，通常，処理対象となる画像情報と，対象物の画像情報との画像マッチング処理を実行することが一般的である。たとえば，下記特許文献１には，商品ごとの登録画像をもとに，自動販売機を撮影した画像情報に対して画像認識技術を用いることで，自動販売機が取り扱う商品を把握するシステムが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１９１４２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の具体的な処理は，複数の方向から自動販売機を撮影し，撮影した各画像の位置関係を合わせた後，撮影した各画像を重畳することで合成画像を生成する。そして，生成した合成画像に，自動販売機に陳列される可能性のある商品を表す登録画像を照合することで，自動販売機が取り扱う商品を特定している。
【０００６】
合成画像と，商品を表す登録画像との照合処理（マッチング処理）の際には，それぞれの特徴量を用いることで処理を実行することが一般的である。しかし，比較対象とする商品が多くなる場合，登録画像の数が多くなり，照合処理（マッチング処理）の精度を高めることはできない。また計算時間が膨大にかかる課題がある。
【課題を解決するための手段】
【０００７】
そこで本発明者は上記課題に鑑み，陳列棚などを撮影した画像情報に写っている商品などの対象物を特定する際に，計算時間を従来よりも要することなく，マッチング処理の精度を向上させる画像処理システムを発明した。
【０００８】
第１の発明は，画像情報に写っている対象物を特定する画像処理システムであって，前記画像処理システムは，処理対象の画像情報における第１の領域において所定条件を充足する第２の領域のレイアウト情報と，標本とする対象物におけるブロックのレイアウト情報とを用いて，レイアウトの類似性の判定を行い，比較処理の候補とする対象物を特定する候補処理部と，前記処理対象の画像情報の第１の領域または第２の領域と，前記候補処理部で候補として特定した対象物の標本情報またはブロックとを用いて比較処理をすることで，前記第１の領域に写っている対象物を特定する比較処理部と，を有する画像処理システムである。
【０００９】
本発明のように構成することで，比較処理（マッチング処理）において比較対象とする標本の対象物の数を減らすことができるので，計算時間を従来よりも減らすことができる。
【００１０】
上述の発明において，前記候補処理部は，第２の領域のレイアウト情報と，標本とする対象物のブロックのレイアウト情報との共通部分および／または差分の面積を算出し，その算出結果を用いて所定の評価値を算出し，前記算出した評価値が閾値以上の場合，前記対象物を候補リストに追加する，画像処理システムのように構成することができる。
【００１１】
比較処理の候補とする対象物を絞り込むためには，本発明のような処理を実行することが好ましい。またレイアウト情報は画像情報ではなく座標情報であるため，これらの処理を実行しても，高速化を実現することができる。
【００１２】
上述の発明において，前記候補処理部は，処理対象の画像情報における第１の領域において所定条件を充足する第２の領域を特定し，前記特定した第１の領域の所定範囲における第２の領域のレイアウト情報と，前記標本とする対象物の画像情報において前記第１の領域の所定範囲の大きさに対応する領域のブロックのレイアウト情報と用いて，レイアウトの類似性の判定を行う，画像処理システムのように構成することができる。
【００１３】
対象物の表面は平面とは限らず，たとえば円柱のように曲面となっている可能性がある。対象物の表面が曲面の場合，その対象物を撮影した画像情報においては，中心から左右方向に離れるにつれ，歪みが大きくなる。そこで，第１の領域の中央部付近を切り出し，標本とする対象物の画像情報においても，切り出した中央部付近に対応する大きさでレイアウト情報のマッチング処理を行うことで，対象物の表面が曲面であることによる歪みの影響を減らすことができる。
【００１４】
上述の発明において，前記候補処理部は，前記レイアウトの類似性の判定を行う処理を，前記標本とする対象物の画像情報において，前記第１の領域の所定範囲の大きさに対応する領域をずらしながら行い，前記比較処理部は，前記対象物の画像情報において，前記候補処理部でもっとも類似性が高いと判定した領域の標本情報またはブロックと，前記処理対象の画像情報の第１の領域または第２の領域とを用いて比較処理をすることで，前記第１の領域に写っている対象物を特定する，画像処理システムのように構成することができる。
【００１５】
中央部付近を切り出す場合，それをずらしながら行った上で，もっとも類似性が高いと判定した領域の標本情報等を用いて比較処理を行うことで，比較処理の精度を向上させることができる。
【００１６】
上述の発明において，前記比較処理部は，前記処理対象の画像情報の第２の領域と，前記候補処理部で候補として特定した対象物のブロックとを対応づけ，前記対応づけた第２の領域とブロックとを用いて，画像情報および／または文字情報の類似性を判定することで，前記比較処理を実行する，画像処理システムのように構成することができる。
【００１７】
比較処理では，本発明のようにブロック同士の比較を行ってもよい。
【００１８】
上述の発明において，前記画像処理システムは，画像情報とそれに対応する深さ情報を用いて生成した３次元モデルの一部または全部について，平面に展開する平面展開画像情報を生成し，前記生成した平面展開画像情報の一部または全部を，前記処理対象の画像情報とする画像情報処理部，を有する画像処理システムのように構成することができる。
【００１９】
処理対象とする画像情報は，陳列棚などを撮影した画像情報を２次元のまま取り扱う画像情報のほか，一度，３次元モデルを生成し，それを平面展開した画像情報としてもよい。それによって，より精度よく処理を実行することができる。
【００２０】
第７の発明は，画像情報に写っている対象物を特定する画像処理システムであって，前記画像処理システムは，処理対象の画像情報におけるフェイス領域において所定条件を充足するブロックのレイアウト情報と，標本とする対象物のブロックのレイアウト情報とを用いて，レイアウトの類似性の判定を行い，比較処理の候補とする対象物を特定する候補処理部と，前記処理対象の画像情報におけるフェイス領域若しくはブロックの領域の画像情報および／または特徴量と，前記候補処理部で候補として特定した対象物の標本情報，ブロックの領域の画像情報および／または特徴量とを用いて比較処理をすることで，前記フェイス領域に写っている対象物を特定する比較処理部と，を有する画像処理システムである。
【００２１】
本発明のように構成しても，第１の発明と同様の技術的効果を得ることができる。
【００２２】
第１の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，処理対象の画像情報における第１の領域において所定条件を充足する第２の領域のレイアウト情報と，標本とする対象物におけるブロックのレイアウト情報とを用いて，レイアウトの類似性の判定を行い，比較処理の候補とする対象物を特定する候補処理部，前記処理対象の画像情報の第１の領域または第２の領域と，前記候補処理部で候補として特定した対象物の標本情報またはブロックとを用いて比較処理をすることで，前記第１の領域に写っている対象物を特定する比較処理部，として機能させる画像処理プログラムである。
【００２３】
第７の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，処理対象の画像情報におけるフェイス領域において所定条件を充足するブロックのレイアウト情報と，標本とする対象物のブロックのレイアウト情報とを用いて，レイアウトの類似性の判定を行い，比較処理の候補とする対象物を特定する候補処理部，前記処理対象の画像情報におけるフェイス領域若しくはブロックの領域の画像情報および／または特徴量と，前記候補処理部で候補として特定した対象物の標本情報，ブロックの領域の画像情報および／または特徴量とを用いて比較処理をすることで，前記フェイス領域に写っている対象物を特定する比較処理部，として機能させる画像処理プログラムである。
【発明の効果】
【００２４】
本発明の画像処理システムを用いることによって，陳列棚などを撮影した画像情報に写っている商品などの対象物を特定する際に，計算時間を従来よりも要することなく，マッチング処理の精度を向上させることが可能となる。
【図面の簡単な説明】
【００２５】
【図１】本発明の画像処理システムの全体の処理機能の一例を模式的に示すブロック図である。
【図２】本発明の画像処理システムで用いるコンピュータのハードウェア構成の一例を模式的に示すブロック図である。
【図３】本発明の画像処理システムにおける全体処理の処理プロセスの一例を示すフローチャートである。
【図４】本発明の画像処理システムにおけるブロックを特定する処理の処理プロセスの一例を示すフローチャートである。
【図５】本発明の画像処理システムにおける候補特定処理の処理プロセスの一例を示すフローチャートである。
【図６】撮影画像情報の一例を示す図である。
【図７】図６の撮影画像情報に対して正置化処理を実行した画像情報の一例を示す図である。
【図８】フェイス領域の画像情報の一例を示す図である。
【図９】フェイス領域の画像情報においてブロックを特定した状態の一例を示す図である。
【図１０】フェイス領域の画像情報において特定したブロックのレイアウト情報と，それを画像情報上で解釈する場合を模式的に示した図である。
【図１１】標本情報に対応する画像情報と，その画像情報におけるブロックのレイアウト情報と，それを画像情報上で解釈する場合を模式的に示した図である。
【図１２】レイアウトマッチング処理の一例を模式的に示す図である。
【図１３】対応するブロックの領域がある箇所，対応するブロックの領域がない箇所の組み合わせを模式的に示す図である。
【図１４】図１３についての一例を示す図である。
【図１５】レイアウトマッチング処理のほかの一例を模式的に示す図である。
【図１６】ブロックの種別を示すタグ情報一例を示す図である。
【図１７】ブロック同士の対応関係の一例を示す図である。
【図１８】実施例３における処理を模式的に示す図である。
【図１９】総合的な指標値として出現頻度を用いた場合の，ブロックとタグ情報の種別，絞込表の一例を模式的に示す図である。
【図２０】撮影した画像情報と深さ情報による深さマップとの対応関係を模式的に示す図である。
【図２１】撮影した画像情報と深さマップに基づく３次元モデル化の処理の一例を示す図である。
【図２２】平面展開の処理の一例を模式的に示す図である。
【図２３】３次元モデル化の後に実行するスティッチング処理を模式的に示す図である。
【図２４】３次元モデル化の後に実行するスティッチング処理を模式的に示す図である。
【図２５】視点方向決定処理において，基準を特定する処理を模式的に示す図である。
【図２６】各面をラベリングする処理の一例を模式的に示す図である。
【図２７】パッケージタイプが缶の場合のフェイスを特定するイメージ図である。
【図２８】パッケージタイプが瓶の場合のフェイスを特定するイメージ図である。
【図２９】パッケージタイプが箱物の場合のフェイスを特定するイメージ図である。
【図３０】パッケージタイプが吊るし商品の場合のフェイスを特定するイメージ図である。
【発明を実施するための形態】
【００２６】
本発明の画像処理システム１の全体の処理機能の一例のブロック図を図１に示す。画像処理システム１は，管理端末２と入力端末３とを用いる。
【００２７】
管理端末２は，画像処理システム１の中心的な処理機能を実現するコンピュータである。また，入力端末３は，店舗の陳列棚などを撮影した画像情報を取得する端末である。また，後述する比較処理（マッチング処理）で用いる標本とする商品などの対象物を撮影し，取得してもよい。
【００２８】
画像処理システム１における管理端末２，入力端末３は，コンピュータを用いて実現される。図２にコンピュータのハードウェア構成の一例を模式的に示す。コンピュータは，プログラムの演算処理を実行するＣＰＵなどの演算装置７０と，情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と，情報を表示するディスプレイなどの表示装置７２と，情報の入力が可能なキーボードやマウスなどの入力装置７３と，演算装置７０の処理結果や記憶装置７１に記憶する情報をインターネットやＬＡＮなどのネットワークを介して送受信する通信装置７４とを有している。
【００２９】
コンピュータがタッチパネルディスプレイを備えている場合には，表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは，たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが，それに限定するものではない。
【００３０】
タッチパネルディスプレイは，そのディスプレイ上で，直接，所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で，表示装置７２と入力装置７３の機能が一体化した装置である。
【００３１】
入力端末３は，上記の各装置のほか，カメラなどの撮影装置を備えていてもよい。入力端末３として，携帯電話，スマートフォン，タブレット型コンピュータなどの可搬型通信端末を用いることもできる。入力端末３は，撮影装置で可視光などによる画像情報（後述する撮影画像情報または対象物画像情報）を撮影する。
【００３２】
本発明における各手段は，その機能が論理的に区別されているのみであって，物理上あるいは事実上は同一の領域を為していてもよい。本発明の各手段における処理は，その処理順序を適宜変更することもできる。また，処理の一部を省略してもよい。たとえば後述する視点方向を決定する処理を省略することもできる。その場合，視点方向を決定する処理をしていない画像情報に対する処理を実行することができる。また，管理端末２における機能の一部または全部を入力端末３で実行してもよい。
【００３３】
画像処理システム１は，画像情報入力受付処理部２０と画像情報記憶部２１と画像情報処理部２２と候補処理部２３と比較処理部２４と標本情報処理部２５と標本情報記憶部２６とを有する。
【００３４】
画像情報入力受付処理部２０は，入力端末３で撮影した画像情報（撮影画像情報）の入力を受け付け，後述する画像情報記憶部２１に記憶させる。たとえば店舗の陳列棚の撮影画像情報の入力を受け付け，画像情報記憶部２１に記憶させる。入力端末３からは，撮影画像情報のほか，撮影日時，撮影対象を示す情報，たとえば店舗名などの店舗識別情報，画像情報を識別する画像情報識別情報などをあわせて入力を受け付けるとよい。図６に，撮影画像情報の一例を示す。図６では，陳列棚に３段の棚段があり，そこに商品が陳列されている状態を撮影した撮影画像情報を模式的に示すものである。
【００３５】
画像情報記憶部２１は，入力端末３から受け付けた撮影画像情報，撮影日時，画像情報識別情報などを対応づけて記憶する。
【００３６】
画像情報処理部２２は，画像情報入力受付処理部２０で受け付けた撮影画像情報について，撮影画像情報を正対した状態とする正置化処理，撮影画像情報から標本情報と比較処理（マッチング処理）を実行する領域（フェイス領域）を特定するフェイス処理，フェイス領域において所定の条件を充足する特徴領域（ブロック）を特定するブロック特定処理を実行する。
【００３７】
正置化処理とは，一般的に，単に撮影対象物を撮影した場合には，撮影対象物を正対した状態で撮影することは困難であることから，それを正対した状態に補正する処理であり，撮影装置のレンズの光軸を撮影対象である平面の垂線方向に沿って，十分に遠方から撮影した場合と同じになるように画像情報を変形させる処理である。このような補正処理の一例として台形補正処理がある。なお，画像情報に歪みがある場合，歪み補正処理を付加してもよい。図７に，図６の撮影画像情報に対して正置化処理を実行した状態の画像情報を示す。
【００３８】
なお，撮影画像情報が正対した状態で撮影された画像情報である場合，あるいは歪みがない場合には，正置化処理，歪み補正処理を実行しなくてもよい。
【００３９】
撮影画像情報とは，本発明の処理対象となる画像情報であればよい。正置化処理などの撮影画像情報に対する補正処理が実行された後の画像情報も撮影画像情報に含まれる。
【００４０】
また，画像情報処理部２２は，撮影対象を撮影する際に，複数枚で撮影した場合，それを一つの画像情報に合成する処理を実行し，合成処理を実行した画像情報に対して，正置化処理，フェイス処理，ブロック特定処理を実行してもよい。複数枚の画像情報を一つの画像情報に合成する処理としては，公知の手法を用いることもできる。
【００４１】
フェイス処理とは、撮影画像情報において，後述する標本情報と比較処理を実行するための領域（フェイス領域）を特定する。たとえば商品の陳列棚を撮影した撮影画像情報であって，標本情報が商品である場合，フェイス領域として，陳列棚に陳列されている商品の領域や商品のラベルの領域を特定する。商品がペットボトル飲料の場合には，商品のラベルの領域をフェイス領域とし，商品が箱に入った商品（たとえばお菓子）の場合には，商品のパッケージ全体をフェイス領域とするなど，商品に応じて，適宜，フェイス領域を設定できる。なお，商品がペットボトル飲料の場合にも，商品の領域をフェイス領域としてもよい。
【００４２】
フェイス領域の特定方法はさまざまな方法があり，標本情報の特性に合わせて任意に設定することができる。標本情報が商品（たとえばペットボトル飲料）であって，陳列棚を撮影した撮影画像情報から商品のラベルの領域をフェイス領域として特定する場合には，たとえば，陳列棚の棚段と棚段の間の領域（棚段領域）における商品と商品との間に生じる縦の細く狭い陰影を特定する，画像の繰り返しパターンを特定する，パッケージの上辺の段差を特定する，商品幅が同一であるなどの制約に基づいて区切り位置を特定する，などによって，商品の領域を特定する。そして，その商品の領域の中から，所定の矩形領域をラベルの領域として特定し，その領域をフェイス領域として特定する。
【００４３】
フェイス領域の特定方法は，商品のカテゴリや商品の形態によって任意の方法を採用可能であり，上記に限定するものではない。また，自動的に特定したフェイス領域に対して，オペレータによる修正入力を受け付けてもよい。さらに，オペレータからフェイス領域の位置の入力を受け付けるのでもよい。
【００４４】
さらに画像情報処理部２２は，深層学習（ディープラーニング）を用いてフェイス領域を特定してもよい。この場合，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，上記撮影画像情報を入力し，その出力値に基づいて，フェイス領域を特定してもよい。また学習モデルとしては，さまざまな撮影画像情報にフェイス領域を正解データとして与えたものを用いることができる。
【００４５】
画像情報処理部２２は，以上のように特定したフェイス領域を切り出す。フェイス領域を切り出すとは，撮影画像情報から特定したフェイス領域を実際に切り出してもよいし，後述の処理の処理対象としてその領域を設定することも含まれる。
【００４６】
フェイス領域を切り出す場合には，上述の各処理で特定したフェイス領域をそのまま切り出してもよいし，複数の方法によりフェイス領域の特定を行い，各方法で特定したフェイス領域の結果を用いて切り出す対象とするフェイス領域を特定してもよい。たとえば，陳列棚の棚段と棚段の間の領域（棚段領域）における商品と商品との間に生じる縦の細く狭い陰影を特定することで商品の領域を特定し，その領域から所定の矩形領域を特定する方法と，深層学習によりフェイス領域を特定する方法とを行い，それらの各方法で特定したフェイス領域の結果同士について，あらかじめ定めた演算によって，最終的に切り出す対象とするフェイス領域を特定してもよい。切り出すフェイス領域の特定方法は，上記に限定するものではなく，任意に設定することができる。
【００４７】
図８に，撮影画像情報からフェイス領域として，商品（ペットボトル飲料のラベル部分）を切り出した場合の一例を示す。
【００４８】
画像情報処理部２２がフェイス領域を特定すると，画像情報処理部２２は，そのフェイス領域のうち，商品を特定し得る情報がある矩形領域をブロックとして特定する。ブロックとして特定する領域は，フェイス領域の画像情報のうち，その内部に集中して共通の特徴を有する領域であり，フェイス領域の画像情報を特徴付ける特徴的な領域である。ブロックとして特定する領域には，商品名や商品のロゴなどが表示された領域となる。
【００４９】
画像情報処理部２２がフェイス領域からブロックを特定するための方法としては，たとえば３つの方法があるが，それに限定するものではないし，それらを複数組み合わせてもよい。
【００５０】
第１の方法としては，対象物のブロックに共通する画像的な特徴を抽出して判定する方法である。すなわち，フェイス領域の画像情報内で，互いに明確に弁別可能な限定された個数の色で構成され，かつ色と色の境界が明確である（エッジが明瞭）という特徴を有する矩形領域を，ブロックとして特定する方法である。
【００５１】
まずフェイス領域の画像情報を構成する各画素の色について，所定の色数のパレット色に色数を減色して検出する。またフェイス領域の画像情報を，所定の大きさのメッシュに分割し，パレット色ごとの分布マップを生成する。そして各パレットで，一定の密度以上で分布しており，かつ縦横の大きさが所定の閾値内に収まる局所的なグループを検出することで，矩形領域を特定する。
【００５２】
そして各グループについて，全パレット色の分布マップを参照し，その矩形領域に含まれるパレットの数が所定数，たとえば３以内であるかを判定し，所定数以内である場合には，そのグループ領域内にエッジが所定の閾値以上あるかを判定する。エッジの判定については，フェイス領域の画像情報に対して，エッジ検出処理を行っておき，それに基づいて閾値以上あるかを判定できる。そして，これらの条件を充足するグループを囲む矩形領域をブロックとして特定をする。
【００５３】
以上のような方法によって，フェイス領域からブロックを特定することができる。
【００５４】
フェイス領域からブロックを特定するための第２の方法としては，フェイス領域の画像情報から局所特徴量等の特徴量を抽出する。そして，広い範囲（所定以上の広さの範囲）にわたって共通の特徴が分布している領域を検出し，その領域をフェイス領域の「地」の部分として消し込む。そして残った領域について，互いに共通の特徴量が分布している領域を特定し，それらを囲む矩形領域をブロックとして特定をする。
【００５５】
フェイス領域からブロックを特定するための第３の方法としては，機械学習あるいは深層学習（ディープラーニング）などのＡＩ技術によってフェイス領域の画像情報からブロックを検出することもできる。この場合，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，フェイス領域の画像情報を入力し，その出力値に基づいて，ブロックを特定してもよい。また学習モデルとしては，さまざまなフェイス領域の画像情報にブロックを正解データとして与えたものを用いることができる。なお，撮影画像情報からフェイス領域の特定とブロックの特定とを同時に行っても良い。
【００５６】
なお，第３の方法における機械学習あるいは深層学習などのＡＩ技術を用いるほかの例として，次のようなものがある。あらかじめ，上述の学習モデルとして与える正解データ（さまざまなフェイス領域の画像情報にブロックを与えたもの）におけるブロック領域内の特徴量（この特徴量は色，局所特徴量など複数でも良い）と，ブロック領域外の特徴量とを抽出しておき，それぞれを正例，負例として，ＳＶＭ（サポートベクターマシン support vector machine）などの判定モジュール（判定機）を構成する。そしてこのＳＶＭなどの判定モジュールに対して，フェイス領域の画像情報の各点，たとえばフェイス領域の画像情報を所定の大きさのメッシュに分割してそのメッシュ内の点を入力し，各点についてブロックの領域に属しているか否かを判定させる。この判定結果において，ブロックの領域に属していると判定したメッシュの領域を囲む領域をブロックとして特定をする。
【００５７】
フェイス領域からブロックを特定する処理としては上記の３つの方法に限定されず，ほかの方法を用いてもよい。また上記の３つあるいはほかの方法のうち複数を組み合わせて特定しても良い。
【００５８】
図９にフェイス領域からブロックを特定した場合の一例を模式的に示す。図９では，図８のフェイス領域からブロックを特定した場合を示している。図９における矩形領域が特定したブロックである。
【００５９】
以上のように画像情報処理部２２でフェイス領域の画像情報からブロックを特定すると，候補処理部２３は，当該特定したブロックと，後述する標本情報記憶部２６に記憶する標本情報に対応するブロックとの間のレイアウトの類似性の判定処理であるレイアウトマッチング処理を実行する。レイアウトマッチング処理としては，たとえば，フェイス領域の画像情報からブロックを抽出する。ここでブロックを抽出するとは，たとえば，フェイス領域の画像情報におけるブロックのレイアウト情報（位置情報）を抽出する。これを模式的に示すのが図１０である。図１０（ａ）がフェイス領域の画像情報におけるブロックを示すものであり，図１０（ｂ）がレイアウト情報を座標で示した場合であり，図１０（ｃ）がレイアウト情報を画像情報上で解釈する場合を模式的に示したものである。図１０（ａ）におけるブロックはそれぞれ「region」との名称を付して各ブロックを識別しており，図１０（ａ）では，「region1」〜「region5」まで５つのブロックがある場合を示している。また，それぞれのブロックのレイアウト情報は，矩形領域の２点，たとえば左上と右下の座標によって表されており，「ａ」がｘ座標，「ｂ」がｙ座標を示している。なお，レイアウト情報を２点ではなく４点で示してもよいし，１点からの距離で示すなど，各ブロックの位置情報が特定できるのであればさまざまな方法を用いることができる。図１０（ｃ）では図１０（ｂ）のレイアウト情報をフェイス領域の画像情報で示したものであり，フェイス領域の画像情報の左上を原点とした場合の相対座標で各ブロックの領域を示している。
【００６０】
候補処理部２３は，同様に，標本情報記憶部２６に記憶する対象物の標本情報に対応するブロックを抽出する。抽出した対象物に対応するブロックを模式的に示すのが図１１である。図１１（ａ）は抽出した対象物またはそれに対応する画像情報であり，図１１（ｂ）は抽出した対象物に対応する画像情報におけるブロックを示すものであり，図１１（ｃ）がレイアウト情報を座標で示した場合であり，図１１（ｄ）がレイアウト情報を画像情報上で解釈する場合を模式的に示したものである。図１１（ａ）は対象物の標本情報またはそれに対応する画像情報であるので，後述するように，撮影画像情報に写っている対象物を特定するための比較処理の際に用いるものである。そのため，撮影画像情報から切り出したフェイス領域よりもノイズなどが少なく，鮮明であることが多い。また，シールなど不要なものも存在していないことが一般的である。図１１（ｂ）の画像情報におけるブロックは，後述するように，オペレータが特定したものであってもよいし，上述の画像情報処理部２２と同様の処理で自動的に特定したものであってもよいし，自動的に特定したブロックに対してオペレータが適宜，取捨選択や付加等の修正したものであってもよい。図１１（ｂ）におけるブロックはそれぞれ「REGION」との名称を付して各ブロックを識別しており，図１１（ｂ）では，「REGION1」〜「REGION6」まで６つのブロックがある場合を示している。また，それぞれのブロックのレイアウト情報は，矩形領域の２点，たとえば左上と右下の座標によって表されており，「ｘ」がｘ座標，「ｙ」がｙ座標を示している。なお，レイアウト情報を２点ではなく４点で示してもよいし，１点からの距離で示すなど，各ブロックの位置情報が特定できるのであればさまざまな方法を用いることができる。図１１（ｄ）では図１１（ｃ）のレイアウト情報をフェイス領域の画像情報で示したものであり，フェイス領域の画像情報の左上を原点とした場合の相対座標で各ブロックの領域を示している。
【００６１】
図１０（ａ）におけるブロックと図１１（ｂ）におけるブロックとは必ずしも一致しない。たとえば図１０（ａ）において図１１（ｂ）の「REGION3」と「REGION4」は一つのブロック「region2」として認識されており，また図１０（ａ）では図１１（ｂ）の「REGION2」は認識されていない。さらに図１０（ａ）ではラベル部分にシールが付されていることで，「region5」が過剰に認識されている。
【００６２】
候補処理部２３は，フェイス領域の画像情報から抽出したブロックのレイアウト情報と，標本情報記憶部２６に記憶する対象物に対応するブロックのレイアウト情報とを用いて，それらのレイアウト情報の類似性を示す評価値，たとえば類似度を算出する。レイアウト情報の類似性を示す評価値は，レイアウト情報の類似度に限られず，その類似性を示す情報であればいかなるものであってもよい。たとえば評価値として類似度を用いる場合，類似度を算出するためには，さまざまな方法を用いることができるが，たとえば以下のような処理を用いることができる。
【００６３】
まずフェイス領域の画像情報と標本情報記憶部２６に記憶する対象物に対応する標本情報またはそれに対応する画像情報のサイズを合わせる（この場合の面積はいずれも共通Ｓとなる）。そして，フェイス領域の画像情報におけるブロックのレイアウト情報と，標本情報記憶部２６に記憶する対象物の標本情報またはそれに対応する画像情報に対応するブロックのレイアウト情報とに基づき，それらのインターセクション（共通部分）や差分などを算出する。そしてブロック間のＡＮＤ，ＯＲ，ＮＯＴなどの論理演算を行い，その面積をそれぞれ求める。この処理の一例を模式的に図１２に示す。図１２では，対応するブロックの領域がある箇所を黒，対応するブロックの領域がない箇所を白で示している。この組み合わせを模式的に示すのが図１３である。図１３（ａ）は，各ブロック間の演算による面積の組み合わせを示すものであり，図１３（ｂ）は，図１３（ａ）の４つの組み合わせについて，ＴＰ（True Positive），ＦＮ（False Negative），ＦＰ（False Positive），ＴＮ（True Negative）と，予測結果と真の値の関係と同様の名称を付したものである。ここで，標本とする対象物に対応する画像情報のレイアウト情報を真（True）の値，フェイス領域の画像情報のレイアウト情報をそれに対する予測結果と見なしている。たとえば，ＴＰは，フェイス領域の画像情報のレイアウト情報があると見なした箇所が，標本とする対象物に対応する画像情報では実際にレイアウト情報が合った，という意味に解釈する。
【００６４】
そして候補処理部２３は，図１３（ａ）のように算出した各面積を用いて，類似度を算出する。たとえば類似度としてＦ値を用いる場合，以下の数１のように算出する。
（数１）
2020194443.tif 000003
ここで，Precisionは適合率（正と予測したデータのうち，実際に正であるものの割合），Recallは再現率（実際に正であるもののうち，正であると予測されたものの割合）である。
【００６５】
たとえば，あるフェイス領域の画像情報から抽出したブロックのレイアウト情報と，標本情報記憶部２６に記憶するある対象物に対応するブロックのレイアウト情報とを用いて，図１２に示すように，それらのインターセクションや差分などを算出し，ブロック間の論理演算を行った結果の面積が図１４であったとする。このとき，適合率（Precision）は０．８６（＝０．３／（０．３＋０．０５）），再現率（Recall）は０．７５（＝０．３／（０．３＋０．１））であるので，Ｆ値は０．８０（＝２×０．７５×０．８６／（０．７５＋０．８６））として算出できる。
【００６６】
そしてここで算出したＦ値が所定の閾値ＴＨ以上であれば，候補処理部２３は，その対象物の識別情報を候補リストに追加する。
【００６７】
なお，候補処理部２３は類似度を算出するためには，Ｆ値以外の指標を用いてもよいし，また，正解率（Accuracy。正や負と予測したデータのうち，実際にそうであるものの割合）や，特異度（Specificity。実際に負であるもののうち，負であると予測されたものの割合）を用いてもよい。正解率，特異度は，数２を用いて算出できる。
（数２）
2020194443.tif 000004
【００６８】
候補処理部２３は，この処理を，標本情報記憶部２６に記憶する比較対象とする対象物について実行する。比較対象とする対象物は，標本情報記憶部２６に記憶するすべての対象物であってもよいし，何らかの方法で絞り込みをした一部の対象物であってもよい。
【００６９】
そして候補処理部２３は，候補リストに追加された類似度が高い順にソートし，そのうち上位所定数，たとえば上位１０件の対象物を候補として特定する。
【００７０】
比較処理部２４は，候補処理部２３で特定した候補とした対象物の標本情報と，フェイス領域の画像情報との比較処理（マッチング処理）を実行する。たとえばフェイス領域の画像情報の特徴量を抽出し，抽出した特徴量と，候補とした対象物の特徴量などの標本情報との比較処理を実行することで，フェイス領域の画像情報と標本情報との類似性を判定し，そのフェイス領域に含まれる対象物の識別情報，たとえば商品名などを判定する。
【００７１】
なお比較処理としては，フェイス領域の画像情報の全体と標本情報とをマッチングするのみならず，フェイス領域の画像情報の一部，たとえば特徴領域（ブロック）の画像情報の特徴量を抽出し，標本情報の特徴量と比較処理を実行してもよい。
【００７２】
また，特徴量以外の方法により比較処理を行ってもよい。
【００７３】
さらに，比較処理部２４は，深層学習（ディープラーニング）を用いて標本情報との比較処理を実行してもよい。この場合，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，上記フェイス領域の画像情報の全部または一部を入力し，その出力値に基づいて，類似する標本情報を特定してもよい。学習モデルとしては，さまざまなフェイス領域の画像情報に標本情報を正解データとして与えたものを用いることができる。
【００７４】
標本情報処理部２５は，撮影画像情報に写っている対象物を特定するための比較処理の際に用いる対象物の標本情報を生成し，後述する標本情報記憶部２６に記憶させる。標本情報とは対象物を撮影した画像情報（対象物画像情報）および／またはその特徴量の情報である。標本情報には，対象物の識別情報，例えば商品名，型番，ＪＡＮコードなどの商品コード，対象物画像情報におけるブロックおよびそのレイアウト情報を対応づけて記憶している。対象物画像情報としては，対象物全体の画像情報であってもよいし，対象物の一部分，たとえば対象物がペットボトル飲料の場合にはラベル部分の画像情報であってもよい。なお，標本情報として，対象物画像情報の特徴量の情報を用いる場合には，処理の都度，特徴量を抽出する必要がなくなる。ブロックとしては，当該対象物画像情報を特徴付ける特徴的な領域であって，たとえば商品名，ロゴなどを囲む矩形領域が該当する。
【００７５】
標本情報処理部２５は，一つの対象物について一つの標本情報を生成してもよいし，一つの対象物について複数の角度，たとえば商品を正対化して撮影する場合に，写らない位置にある表面を写すため，正面，背面，上面，下面，両側面程度の角度からの標本情報を生成してもよい。また，一つの対象物に複数の外装（パッケージなど）がある場合には，一つの対象物にそれぞれの外装の場合の標本情報やブロックを対応づけても良い。また，標本情報に対応づけるブロックとしては，一つであってもよいが，複数のブロックが対応づけられていると良い。
【００７６】
標本情報は，標本とする対象物を撮影した対象物画像情報に対して，上述の画像情報処理部２２と同様の処理を実行することで，ブロックを抽出してもよいし，抽出したブロックからオペレータが商品の特定のために必要なブロックのみを取捨選択や付加などをしても良い。また画像情報処理部２２のように自動的に抽出処理を実行するのではなく，読み込んだ対象物の画像情報からオペレータがブロックを指定しても良い。
【００７７】
標本情報記憶部２６は，標本情報処理部２５において生成した標本情報を，対象物の識別情報，例えば商品名，型番，ＪＡＮコードなどの商品コード，対象物画像情報におけるブロックおよびそのレイアウト情報などに対応づけて記憶する。
【実施例１】
【００７８】
つぎに本発明の画像処理システム１を用いた処理プロセスの一例を図３乃至図５のフローチャートを用いて説明する。本実施例では，店舗の陳列棚を撮影し，陳列棚にある商品を特定する場合を説明する。そのため，撮影画像情報としては商品が陳列されている店舗の陳列棚であり，標本情報における対象物としては陳列される可能性のある商品となる。
【００７９】
まずオペレータは，標本情報とする商品を正対位置から撮影し，撮影した対象物画像情報，識別情報，商品名，商品コードを対応づけて標本情報記憶部２６に記憶させておく。また，対象物画像情報に対して画像情報処理部２２における処理と同様の処理を標本情報処理部２５が実行し，ブロックを抽出する。そして抽出したブロックのうち，標本情報として用いるブロック，たとえば商品名，ロゴなどの含まれたブロックのみを標本情報に対応づけるブロックとして，ブロックとその位置情報（レイアウト情報）を標本情報記憶部２６に記憶させておく。また，対象物画像情報から所定の処理を実行することで，局所特徴量などの特徴量を抽出し，対象物画像情報に対応づけて記憶させておく。
【００８０】
このような標本情報に対する処理を，複数の商品，好ましくは陳列棚に陳列される可能性のあるすべての商品についてあらかじめ実行しておく。
【００８１】
そして店舗の陳列棚を撮影した撮影画像情報を入力端末３から管理端末２の画像情報入力受付処理部２０が受け付けると（Ｓ１００），画像情報記憶部２１に，撮影日時，撮影画像情報の識別情報などと対応づけて記憶させる。
【００８２】
受け付けた撮影画像情報に対して，画像情報処理部２２は，撮影画像情報が正対した状態となるように補正する正置化処理を実行する（Ｓ１１０）。そして，正置化した撮影画像情報からフェイス領域を特定するフェイス処理を実行し（Ｓ１２０），特定したフェイス領域からブロックを特定する（Ｓ１３０）。
【００８３】
上述のように，フェイス領域からブロックを特定するためには，上述のようにたとえば第１の方法から第３の方法のような各種の方法があるが，たとえば第１の方法による場合には，以下のような処理を実行する。この場合の処理プロセスの一例を図４のフローチャートを用いて説明する。
【００８４】
まずフェイス領域の画像情報を構成する各画素の色について，たとえば全体を代表する１６色など，所定の色数のパレット色に色数を減色して，パレット色を検出する（Ｓ２００）。また，フェイス領域の短辺をたとえば１６分割する正方形のメッシュで分割し，各メッシュがどのパレット色となるかを定め，パレット色ごとのその色の有無の分布マップを生成する（Ｓ２１０）。
【００８５】
そして，フェイス領域の画像情報の各メッシュに対して，一定の距離にある飛び地を候補とするよう膨張処理を分布マップに対して行い，その分布マップが，所定の範囲に収まるグループを検出する（Ｓ２２０）。所定の範囲としては，たとえば，横幅が全体の１／１０〜２／３，縦の高さが全体の１／２０〜１／２，面積が全体の１／１００〜１／１０の閾値の条件に収まる分布マップ（膨張処理を施した分布マップ）のグループを検出する。
【００８６】
そして各グループについて，全パレット色の分布マップを参照し，その領域に含まれるパレットの数が所定数，たとえば３以内であるかを判定する（Ｓ２３０）。すなわち，グループの領域における全パレット色の分布マップを参照し，グループの領域内に多くの色数を含む場合にはイメージイラストである可能性が高く，商品を特定するような特徴的な領域であるロゴなどではないと考えられるので，そのようなグループを除外する。
【００８７】
Ｓ２３０において，グループの領域内に含まれるパレットの数が所定数以内である場合には，そのグループ領域内にエッジが所定の閾値以上あるかを判定する（Ｓ２４０）。エッジの判定については，フェイス領域の画像情報に対して，あらかじめエッジ検出処理を行っておき，それに基づいて閾値以上あるかを判定できる。グループ領域内にエッジが閾値以上に存在しない場合には，ロゴではない可能性が高いので，そのグループを除外する。
【００８８】
そして，これらの条件を充足するグループを囲む矩形領域をブロックとして特定をする（Ｓ２５０）。
【００８９】
この処理を，Ｓ２２０でグルーピングしたグループに対して実行する（Ｓ２６０）。
【００９０】
以上のような方法によって，フェイス領域からブロックを特定することができる。
【００９１】
画像情報処理部２２でフェイス領域の画像情報からブロックを特定すると，候補処理部２３は，当該特定したブロックと，後述する標本情報記憶部２６に記憶する対象物に対応するブロックとの間のレイアウトマッチング処理を実行することで，候補となる商品を特定する（Ｓ１４０）。候補となる商品の特定処理の処理プロセスの一例を図５のフローチャートを用いて説明する。
【００９２】
具体的には，候補処理部２３は，比較対象とするすべての商品について，フェイス領域の画像情報から抽出したブロックのレイアウト情報と，商品に対応するブロックのレイアウト情報とをに基づいて，それらのインターセクション，差分などを算出し，またブロック間のＡＮＤ，ＯＲ，ＮＯＴなどの論理演算を行い，その面積をそれぞれ求めてレイアウトマッチングを行う（Ｓ３１０）。そして，たとえばＦ値などの類似度を算出し，それが所定の閾値ＴＨ以上であれば，その商品を候補リストに追加する（Ｓ３２０）。そして，つぎの商品について，同様の処理を実行する（Ｓ３３０）。
【００９３】
そして比較対象とするすべての商品についてレイアウトマッチング処理を行うと，候補処理部２３は，候補リストに追加された類似度を高い順にソートし（Ｓ３４０），そのうち上位所定数，たとえば上位１０件の商品を候補として特定する。
【００９４】
Ｓ１４０において候補処理部２３が，比較処理の候補となる商品を特定すると，比較処理部２４は，フェイス領域の画像情報の特徴量を抽出し，抽出した特徴量と，候補として特定した商品の標本情報の特徴量とを比較することで比較処理を行う（Ｓ１５０）。この比較の際には，フェイス領域の画像情報の大きさと，標本情報における画像情報の大きさ，縮尺，回転なども極力近づけた上で比較処理を行う。この比較処理を候補として特定した各商品について行う。
【００９５】
そしてこの比較処理の結果，候補として特定した商品のうち，もっとも類似度が高いと判定した商品を，当該フェイス領域の商品として特定し，当該フェイス領域と，商品識別情報，商品名，商品コードなどと対応づける（Ｓ１６０）。
【００９６】
撮影画像情報に写っている陳列棚には，複数の商品が陳列されていることが一般的であるから，陳列されている商品に応じたフェイス領域が切り出されていることが一般的である。そのため，それぞれのフェイス領域について，上述の各処理を実行することで，陳列棚に陳列されている商品や陳列位置を特定することができる。商品の陳列位置は，フェイス領域の縦，横方向の順番などで特定することができるほか，撮影画像情報における座標として特定することもできる。
【実施例２】
【００９７】
対象物の表面が曲面の場合，左右方向にずれるにつれて，画像の歪みが発生する。そこで，以下のような処理を実行することがよい。
【００９８】
すなわち，候補処理部２３は，レイアウト情報の類似度を算出する際に，図１２に示すように，フェイス領域の画像情報の全体におけるブロックのレイアウト情報，対象物に対応する画像情報の全体におけるブロックのレイアウト情報を用いて類似度を算出する処理を実行するほか，フェイス領域の画像情報の一部におけるブロックのレイアウト情報と，対象物に対応する画像情報の一部におけるブロックのレイアウト情報とを用いて類似度を算出してもよい。この処理の一例を模式的に図１５に示す。
【００９９】
図１５に示すように，本実施例の場合，フェイス領域の画像情報の左右の一定割合，たとえば１／４程度を除外して，フェイス領域の画像情報の中央線から１／４程度ずつ（中央部１／２程度）を切り出した画像情報におけるブロックのレイアウト情報と，対象物に対応する画像情報について，上述のフェイス領域の画像情報から切り出した幅と同一またはほぼ同じ幅を切り出し，切り出した後のレイアウト情報を用いて，インターセクションや差分などを算出する。そしてブロック間のＡＮＤ，ＯＲ，ＮＯＴなどの論理演算を行い，その面積をそれぞれ求める。そして，上述と同様に類似度を算出する。
【０１００】
つぎに，対象物に対応する画像情報の切り出し位置を，所定量だけずらして同様の処理を実行する。なお，この切り出し位置をずらした状態のブロックのレイアウト情報をあらかじめ用意しておいてもよい。
【０１０１】
そして，もっとも高い類似度と閾値ＴＨとを比較し，それが閾値ＴＨ以上であれば，候補リストに追加する。また，閾値ＴＨ以上となったもっとも高い類似度のときの，標本情報に対応する画像情報の切り出し位置を記憶しておいてもよい。この場合，比較処理部２４におけるフェイス領域の画像情報の特徴量と標本情報に対応する画像情報の特徴量との比較処理の際に，記憶した切り出し位置で標本情報に対応する画像情報を切り出して，その特徴量を比較することが好ましい。
【０１０２】
候補処理部２３は，もっとも高い類似度と閾値ＴＨとを比較するのではなく，類似度を算出するたびに閾値ＴＨと比較し，それが閾値ＴＨ以上であれば，候補リストに追加して，切り出し位置をずらす処理を終了し，つぎの標本情報に対応する画像情報のブロックの処理を行うようにしてもよい。これによって，対象物に対応する画像情報を所定量ずつずらして切り出す処理を，類似度が閾値ＴＨ以上となった時点で終了できるので，処理速度を高速化することができる。
【０１０３】
なお，上述では，フェイス領域の画像情報の中央部１／２程度を切り出した画像情報におけるブロックのレイアウト情報を，対象物の画像情報において同範囲で，所定量だけずらしながらレイアウトマッチング処理を行うことを示したが，その反対の処理を行ってもよい。すなわち，対象物の画像情報の中央部１／２程度を切り出した画像情報におけるブロックのレイアウト情報を，フェイス領域の画像情報において同一またはほぼ同じ幅を切り出してレイアウトマッチング処理を，フェイス領域の画像情報で所定量だけずらして繰り返すようにしてもよい。
【実施例３】
【０１０４】
実施例１および実施例２においては，比較処理部２４は，候補処理部２３で候補として特定した対象物の標本情報の対応する画像情報の一部または全部の画像情報の特徴量と，フェイス領域の一部または全部の画像情報の特徴量とを比較することで，標本情報とフェイス領域の画像情報との類似性を判定し，そのフェイス領域に含まれる対象物の識別情報，たとえば商品名などを判定していた。
【０１０５】
本実施例では，候補処理部２３で候補として特定した対象物のブロックと，フェイス領域の一部または全部のブロックとを比較することで，標本情報とフェイス領域の画像情報との類似性を判定し，そのフェイス領域に含まれる対象物の識別情報，たとえば商品名などを判定する場合を説明する。
【０１０６】
この場合，標本情報記憶部２６には，当該ブロックに対応づけて，そのブロックの種別を示すタグ情報を記憶しておくことよい。タグ情報の一例を図１６に示す。そして各タグについて，それぞれあらかじめ定めた前処理をし，その処理結果を標本情報記憶部２６に対応づけて記憶させておく。たとえばタグ情報がイメージ画像であればその画像情報を切り出して登録，タグ情報が商品名ロゴやコピー，定格であればＯＣＲ処理をしておき，テキスト情報として記憶させておく。
【０１０７】
そして比較処理部２４は，候補処理部２３で候補として特定した対象物のブロックと，フェイス領域の一部または全部のブロックとの比較の際に，まずブロック同士の対応関係を特定する。この場合，フェイス領域の画像情報と標本情報の画像情報との位置と縮尺とを合わせた上で，標本情報に対応するブロックからみてフェイス領域の画像情報のインターセクションがもっとも大きいブロックを求める，あるいは標本情報に対応するブロックのレイアウト情報の中心を特定し，その中心がもっとも近い，フェイス領域の画像情報におけるブロックを求める，などの処理によって，ブロック同士の対応関係を特定できる。ブロック同士の対応関係の一例を図１７に示す。
【０１０８】
そしてブロック同士の対応関係を特定すると，標本情報に対応するブロックに対する前処理を，対応するフェイス領域の画像情報のブロックに対して実行し，その結果を算出する。そして，前処理の結果同士の比較を行う。たとえば画像情報であれば，特徴量を用いた類似性の評価や，テキスト情報であればテキストマッチングなどの比較を行う。この処理の一例を図１８に示す。
【０１０９】
比較処理部２４は，以上のようにブロック同士の比較を行った結果を用いて，その標本情報との一致度の総合的な指標値を算出する。たとえば，商品名の一致度は高評価，メーカー名の一致度は低評価となるような設定をあらかじめ行っておき，それに基づく総合的な指標値を算出する。この一致度の評価は，たとえばブロックに対応するタグ情報の種別に応じて，一致したときの重みを決定する数値が関係づけられる。重み付けの数値はブロックに対応するタグ情報の種別で定まっていてもよいし，たとえば対象物が商品の場合には商品カテゴリ内の出現頻度などでもよい。出現頻度を用いる場合には，何と何が一致した場合にはどこまで絞り込めるかを表にしておき，商品などの対象物を１つにまで絞り込めたら，対象物を特定できたとする。図１９（ａ）はブロックとタグ情報の種別の対応関係の一例を示しており，図１９（ｂ）は絞り込みの表の一例を示している。
【０１１０】
比較処理部２４は，以上のような比較処理を，候補として特定した商品などの対象物について行い，総合的な指標値がもっとも高い対象物を，当該フェイス領域の商品として特定する。
【実施例４】
【０１１１】
実施例１乃至実施例３では撮影画像情報として，２次元の画像情報のまま撮影をした場合を説明したが，撮影対象と撮影装置との距離情報を考慮して，撮影画像情報から３次元モデル化をし，さらに，そこから２次元の画像情報に投影した場合の画像情報を，本発明の画像処理システム１で処理対象とする撮影画像情報としてもよい。なお，この場合，標本情報における対象物の画像情報についても同様の処理が実行されている。この場合の処理を以下に説明する。
【０１１２】
本実施例の入力端末３では，カメラなどの撮影装置で可視光などによる画像情報を撮影するほか，撮影対象と撮影装置との距離情報（深さ情報）を２次元情報として取得する。深さ情報がマッピングされた情報を，本明細書では深さマップとよぶ。深さマップは，撮影装置で撮影した画像情報に対応しており，撮影した画像情報に写っている物までの深さ情報が，撮影した画像情報と対応する位置にマッピングされている。深さマップは，少なくとも撮影した画像情報に対応する範囲をメッシュ状に区切り，そのメッシュごとに深さ情報が与えられている。メッシュの縦，横の大きさは，取得できる深さ情報の精度に依存するが，メッシュの縦，横の大きさが小さいほど精度が上げられる。通常は，１ｍｍから数ｍｍの範囲であるが，１ｍｍ未満，あるいは１ｃｍ以上であってもよい。
【０１１３】
深さ情報を取得する場合，撮影対象の撮影の際に，特定の波長の光線，たとえば赤外線を照射してそれぞれの方向からの反射光の量や反射光が到達するまでの時間を計測することで撮影対象までの距離情報（深さ情報）を取得する，あるいは特定の波長の光線，たとえば赤外線のドットパターンを照射し，反射のパターンから撮影対象までの距離情報（深さ情報）を計測するもののほか，ステレオカメラの視差を利用する方法があるが，これらに限定されない。なお，深さ情報が撮影装置（三次元上の一点）からの距離で与えられる場合には，かかる深さ情報を，撮影装置の撮影面（平面）からの深さ情報に変換をしておく。このように深さ情報を取得するための装置（深さ検出装置）を入力端末３は備えていてもよい。
【０１１４】
画像情報と深さ情報とはその位置関係が対応をしている。図２０では，陳列棚を撮影対象として撮影した画像情報と深さ情報による深さマップとの対応関係を示している。図２０（ａ）が撮影した画像情報，図２０（ｂ）がそれに対応する深さマップを模式的に示した図である。
【０１１５】
画像情報入力受付処理部２０は，入力端末３で撮影した，陳列棚などの撮影対象の画像情報の入力を受け付け，画像情報記憶部２１に記憶させる。また，画像情報入力受付処理部２０は，入力端末３で撮影した画像情報に対する深さ情報や深さマップの入力を受け付け，撮影した画像情報に対応づけて，画像情報記憶部２１に記憶させる。なお，入力端末３から深さマップではなく，深さ情報を受け付けた場合には，それをマッピングして深さマップを生成する。
【０１１６】
撮影対象を撮影した画像情報と深さ情報，深さマップは，画像情報を撮影する際に同時に撮影，情報が取得され，その情報の入力を受け付けるようにすることが好ましい。
【０１１７】
画像情報処理部２２は，陳列棚などを撮影した画像情報と深さマップに基づいて３次元モデルに変換をする。すなわち，撮影した画像情報と深さマップとは対応しているので，まず深さマップにおける深さ情報に基づいて３次元モデルに変換をし，そこに撮影した画像情報を対応づけてテクスチャマッピングをする。図２１に撮影した画像情報と深さマップに基づく３次元モデル化の処理の一例を示す。なお，図２１では飲料のペットボトルを３次元モデル化する場合を示している。図２１（ａ）は撮影した画像情報である。画像情報処理部２２は，同時に深さマップを取得しているので，深さマップにおける各メッシュの深さ情報に基づいて，３次元モデルに変換をする。そして深さマップにおける各メッシュの位置に，撮影した画像情報の対応する画素の色情報などを貼り付けるテクスチャマッピングをすることで，図２１（ｂ）乃至（ｄ）のように３次元モデル化をすることができる。図２１（ｂ）は左方向からの視点，図２１（ｃ）は正面からの視点，図２１（ｄ）は右方向からの視点を示している。
【０１１８】
画像情報処理部２２は，陳列棚などを撮影した画像情報と深さマップに基づいて，３次元モデルを生成すると，それを平面展開する平面展開処理を実行する。平面展開とは，３次元モデルを平面（２次元）に展開することを意味する。３次元モデルを平面展開する方法はさまざまな方法があり，限定するものではない。
【０１１９】
平面展開の方法の一例としては，３次元モデルの内側に投影の中心を定め，そこから投影をすることで，平面に展開する方法がある。画像情報処理部２２における平面展開の処理の一例を図２２を用いて説明する。図２２（ａ）はペットボトルを撮影した画像情報であり，その上面図は，略六角形状になっている。なお実際の形状はより細かく凹凸があるが，ここでは説明のため，六角形で示す。そして，図２２（ａ）の画像情報をその深さマップを用いて３次元モデル化した場合に，上方から見た場合の位置関係が図２２（ｂ）である。この場合，撮影装置（カメラ）の陰になっている箇所の深さ情報は存在しないので，図２２（ｂ）に示すように，上方から見た場合，空白がある。そして，平面展開する対象物の任意の箇所に投影の中心軸を特定する。たとえば陳列棚に陳列される商品であって，その形状が箱形，袋型ではなく，円柱型，ボトル型などの表面が平面ではなく規則的な曲面の場合には，その横幅とその表面の形状から，回転軸の中心点を求め，投影の中心軸として特定する。なお，投影の中心軸を特定するためには，上記のように限らず，任意の方法であってよい。投影の中心軸を特定した状態が図２２（ｃ）である。そして，特定した投影の中心軸から，対象物の表面を，任意に設定した投影面に投影する。これを模式的に示すのが図２２（ｄ）である。なお，図２２（ｄ）のように，３次元モデルの面と投影面との位置が一致しない場合，その離間する距離に応じた投影結果の画像情報の縦横の大きさを，適宜の縮尺率によって調整する。一方，図２（ｅ）のように，３次元モデルの面と投影面との位置を一致させる場合には，その縮尺率の調整処理は設けなくてもよい。なお，図２２（ｂ）乃至（ｅ）は，いずれも上方からの図である。
【０１２０】
画像情報処理部２２は，このような平面展開の処理を行うことで，３次元モデルを２次元（平面）に展開し，２次元の画像情報（平面展開画像情報）に変換することができる。なお，上述では，投影による処理で３次元モデルから平面展開画像情報に変換する処理を行ったが，平面展開処理において，３次元モデルから平面展開画像情報に変換する処理はほかの処理によってもよい。
【０１２１】
画像情報処理部２２は，このように生成した平面展開画像情報を，上述の実施例１および実施例２における撮影画像情報として取り扱い，フェイス処理以降の処理を実行すれば，実施例１および実施例２と同様の処理を実行できる。
【０１２２】
また標本情報処理部２５は，上述の画像情報処理部２２と同様に，対象物を撮影した画像情報と深さマップとから３次元モデルを生成し，その３次元モデルに基づいて平面展開画像情報を生成する。そして平面展開画像情報の全部または一部（たとえばラベル部分）を標本情報として標本情報記憶部２６に記憶させることで，実施例１および実施例２と同様の処理を実行できる。
【実施例５】
【０１２３】
実施例４の処理の変形例として，スティッチング処理を実行する場合を説明する。
【０１２４】
画像情報処理部２２は，撮影対象を撮影する際に，複数枚で撮影した場合，それを一つの画像情報に合成するスティッチング処理を実行してもよい。スティッチング処理は，３次元モデル化の前であってもよいし，３次元モデル化の後であってもよい。３次元モデル化の前のスティッチング処理，３次元モデル化の後のスティッチング処理のいずれも公知の手法を用いることもできる。
【０１２５】
３次元モデル化の前に行う場合には，各撮影画像情報間で対応点を検出することでスティッチング処理を実行する。この際に，撮影画像情報同士で対応点が特定できるので，特定した対応点の位置に対応する深さマップ同士も同様に対応づける。これによって，３次元モデル化の前にスティッチング処理を実行できる。
【０１２６】
また，３次元モデル化の後に行う場合には，２つの３次元モデルにおける凹凸形状の類似性を深さ情報から特定し，形状が類似（深さ情報に基づく凹凸のパターンが所定範囲内に含まれている）している領域内において，その領域に対応する，当該３次元モデルの元となった撮影画像情報同士で対応点を検索することで，３次元モデル化の後にスティッチング処理を実行できる。これを模式的に示すのが図２３である。図２３（ａ）および（ｂ）は横に並ぶ棚段を撮影した撮影画像情報であり，図２３（ｃ）は図２３（ａ）に基づく３次元モデル，図２３（ｄ）は図２３（ｂ）に基づく３次元モデルである。この場合，図２４に示すように，たとえば撮影画像情報において，スティッチング処理のための基準１０１，たとえば棚段を写り込むように撮影をしておけば，その基準１０１が同一の視点方向になるように３次元モデルを回転する。そして深さ情報に基づく凹凸形状の類似を判定する。そして特定した類似する領域１００内における対応点を検索することで，スティッチング処理を実行できる。図２４（ａ）は図１９（ａ）の３次元モデルを，図２４（ｂ）と同一の視点方向となるように回転させた状態である。そして図２４（ａ）と図２４（ｂ）の破線領域１００が，深さ情報に基づいて判定した凹凸形状の類似の領域１００である。また，一点鎖線領域１０１が，同一の視点方向になるように３次元モデルを回転させるための基準とする棚段である。なお基準１０１とするものは撮影対象によって任意に特定することができるが、好ましくは２以上の直線で構成されるものであることがよい。
【０１２７】
以上のような処理を実行することで，３次元モデル化の前または後のいずれであってもスティッチング処理を実行することができる。また，複数枚の撮影画像情報を用いない場合にはスティッチング処理は実行しなくてもよい。
【実施例６】
【０１２８】
実施例４の処理の変形例として，画像情報処理部２２は，３次元モデル化処理を実行した後，撮影対象とした３次元モデルが正対する位置となるように，その視点方向を決定する処理を実行し，その後，平面展開をする処理を実行してもよい。たとえば撮影対象が商品の陳列棚やそこにある商品である場合，陳列棚や商品が正対する位置（正面となる位置）になるように視点方向を決定する。
【０１２９】
視点方向を決定する処理としては，３次元モデルにおける基準が，正対する位置となるためのあらかじめ定めた条件を充足するように視点方向を決定すればよい。基準および条件は撮影対象などに応じて任意に設定することができる。たとえば陳列棚を撮影する際には，陳列棚の棚段の前面１０２を基準とし，条件としては，陳列棚の複数の棚段の前面１０２がいずれも水平となり，かつ互いに垂直の位置となるように，視点を撮影範囲の上下左右で中央に移動させることで，実現できる。棚段の前面１０２は，通常，商品の陳列棚を撮影した場合，陳列棚の前面が一番手前に位置する（もっとも前に位置している）ので３次元モデルの深さ情報から棚段の前面１０２を特定することができる。この処理を模式的に示すのが図２５である。図２５（ａ）は陳列棚を撮影した撮影画像情報であり，図２５（ｂ）はその陳列棚の深さマップにおいて，深さ情報を白黒の濃度で表現した図であり（黒の場合が手前に位置する（深さ情報の値が小さい）），図２５（ｃ）は深さマップに基づく３次元モデルであり，深さ情報を色に変換したものである。そして画像情報処理部２２は，深さ情報に基づいて陳列棚の棚段の前面を特定し，その棚段が上述の条件を充足するように視点方向を決定する。また視点方向の決定処理で用いた基準と，上述の３次元モデル化後のスティッチング処理における基準とは同一の基準を用いてもよい。たとえばいずれの場合も陳列棚の棚段の前面を基準として用いることができる。
【０１３０】
図２５（ｃ）ではわかりやすさのため，撮影画像情報をテクスチャマッピングする前の状態で処理をする場合を示しているが，テクスチャマッピングをした後の３次元モデルに対して視点方向の決定処理を実行してもよい。なお，視点方向の決定処理は，上述に限らず，任意の処理で実現することができる。
【０１３１】
なお，もともと撮影画像情報が正対した位置から撮影されているなどの場合には，視点方向の決定処理は実行しなくてもよい。
【実施例７】
【０１３２】
実施例４乃至実施例６の処理では，平面展開画像情報に対してフェイス処理を実行することで，フェイス領域の画像情報を特定していたが，３次元モデルからフェイス領域を特定し，特定したフェイス領域について平面展開処理を実行して平面展開画像情報としても良い。
【０１３３】
３次元モデルからフェイス領域の特定方法はさまざまな方法があり，標本情報の特性に合わせて任意に設定することができる。たとえば，３次元モデルにおいて所定条件を充足する面の位置と範囲を特定し，その面と，あらかじめ定めた標本情報の表面モデルのタイプに応じた条件を充足するかをマッチングし，条件を充足する面をフェイス領域として特定する。たとえば上述と同様に，標本情報が商品であり，陳列棚を撮影した撮影画像情報から３次元モデルを生成し，商品のフェイス領域を特定する処理の場合には，以下のような処理が実行できる。
【０１３４】
まず，微細な凹凸を除外するために高周波をフィルタアウトした上で，垂直に近い，正対した一定以上の面積を持つ面，直立した円筒の面，全体に凸のゆがんだ多面体の領域の面を検出し，３次元空間内の位置と範囲を特定する。たとえば，深さ情報が一定の範囲内であり，法線が安定して正面を向いていれば平面，深さ情報について垂直方向の相関性が強く，水平方向に凸であれば円筒，水平方向および垂直方向のいずれも凸，または法線が安定していなければ凸のゆがんだ多面体の領域の面のように特定をする。そして，検出した各面をラベリングをする。図２６では５つの面を検出し，それぞれ１から５のラベリングをした状態を示している。そして検出した面について，たとえば深さ情報の平均値などに基づいて，最前面から，順に最前面からの距離（これをレベルとする）を算出する。そして算出したレベルに基づいて，各面の前後関係を特定する。図２６では，１，２の面のレベルは０ｃｍであり，３，４の面のレベルは３ｃｍ，５の面のレベルは２０ｃｍのように算出をする。そして，最前面が１，２の面，その次に奥に位置するのが３，４の面，最背面が５の面として，５つの面の前後関係を特定する。
【０１３５】
そして画像情報処理部２２は，このように特定した面の前後関係を用いて，面の種別を特定する。すなわち，最前面であって，深さマップにある狭い横長の平面を，棚板の前面および商品タグ面，最背面を棚段の後板面，また，棚段の前面と深さ情報が同一または近接（一定範囲，たとえば数ｃｍ以内）しており，中空にある垂直の長方形は商品タグの面として特定をする。そして，好ましくは，それ以外の面を商品面（商品が陳列される可能性のある面）として特定をする。したがって，図２６の例では，１，２の面を棚板の前面および商品タグ面，３，４の面を商品面，５の面を棚体の後板面として特定をする。
【０１３６】
このように特定した商品面において，いずれかのタイミングにおいて入力を受け付けた商品のパッケージタイプに基づいて，対応する処理を実行する。パッケージタイプとしては，缶，瓶（ペットボトルを含む。以下同様），缶と瓶の併存，箱物，吊るし商品などがあるが，それらに限定をするものではない。
【０１３７】
パッケージタイプが缶または瓶であった場合，一定の大きさの範囲内にある円筒の領域を缶または瓶のフェイス領域として特定する。これを模式的に示すのが，図２７および図２８である。図２７はパッケージタイプが缶の場合を示すイメージ図であり，図２８はパッケージタイプが瓶の場合を示すイメージ図である。
【０１３８】
パッケージタイプが缶と瓶の併存であった場合，一定の大きさの範囲内に円筒があり，上方に小さな円筒がない領域を缶のフェイス領域，一定の大きさの範囲内に円筒があり，上方に小さな円筒がある領域を瓶のフェイス領域として特定をする。
【０１３９】
パッケージタイプが箱物であった場合，一定の大きさの範囲内にある垂直の長方形の平面の領域を箱物のフェイス領域として特定をする。これを模式的に示すのが図２９である。
【０１４０】
また，パッケージタイプが吊るし商品であった場合，一定のサイズの範囲内にあり，中空に浮いた長方形の平面または凹凸面の領域を，吊るし商品のフェイス領域として特定をする。これを模式的に示すのが図３０である。
【０１４１】
なお，画像情報処理部２２は，パッケージタイプの選択を受け付けずフェイス領域を特定してもよい。この場合，商品面の領域と，パッケージタイプごとの判定処理をそれぞれ実行することで，フェイス領域としての条件が成立するかを判定する。そして，フェイス領域を構成する面が存在する場合には，その面が構成するフェイス領域を特定し，あらかじめ定められたパッケージタイプの優先条件に基づいて，フェイス領域がどのようなパッケージタイプであるかを特定する。
【０１４２】
３次元モデルからフェイス領域を特定する処理は，商品などのカテゴリや形状などによって任意の方法を採用可能であり，上記に限定するものではない。また，自動的に特定したフェイス領域に対して，オペレータによる修正入力を受け付けてもよい。さらに，オペレータからフェイス領域の位置の入力を受け付けるのでもよい。
【０１４３】
さらに画像情報処理部２２は，深層学習（ディープラーニング）を用いてフェイス領域を特定してもよい。この場合，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，上記３次元モデルを入力し，その出力値に基づいて，フェイス領域を特定してもよい。また学習モデルとしては，さまざまな３次元モデルにフェイス領域を与えたもの正解データとして用いることができる。
【０１４４】
画像情報処理部２２は，以上のように特定したフェイス領域を切り出す。フェイス領域を切り出すとは，３次元モデルから特定したフェイス領域を実際に切り出してもよいし，後述の処理の処理対象としてその領域を設定することも含まれる。
【０１４５】
フェイス領域を切り出す場合には，上述の各処理で特定したフェイス領域をそのまま切り出してもよいし，複数の方法によりフェイス領域の特定を行い，各方法で特定したフェイス領域の結果を用いて切り出す対象とするフェイス領域を特定してもよい。たとえば，３次元モデルから所定条件を充足する面の位置と範囲を特定し，表面モデルのタイプに応じた条件を充足するかをマッチングしてフェイス領域を特定する方法と，深層学習によりフェイス領域を特定する方法とを行い，あらかじめ定めた演算によって，最終的に切り出す対象とするフェイス領域を特定してもよい。切り出すフェイス領域の特定方法は，上記に限定するものではなく，任意に設定することができる。
【０１４６】
画像情報処理部２２は，画像情報処理部２２において切り出したフェイス領域について，実施例３と同様の平面展開処理を実行し，フェイス領域についての平面展開画像情報を生成する。そして，このように生成した平面展開画像情報を，上述の実施例１および実施例２における撮影画像情報として取り扱い，ブロック特定処理以降の処理を実行すれば，実施例１および実施例２と同様の処理を実行できる。
【０１４７】
また標本情報処理部２５は，上述の画像情報処理部２２と同様に，対象物を撮影した画像情報と深さマップとから３次元モデルを生成し，その３次元モデルに基づいてフェイス領域を切り出す。そして切り出したフェイス領域から平面展開画像情報を生成し，平面展開画像情報を標本情報として標本情報記憶部２６に記憶させることで，実施例１および実施例２と同様の処理を実行できる。
【０１４８】
上述の各実施例における各処理については，本発明の明細書に記載した順序に限定するものではなく，その目的を達成する限度において適宜，変更することが可能である。
【０１４９】
また，本発明の画像処理システム１は，店舗の陳列棚を撮影した撮影画像情報から，陳列棚に陳列した商品を対象物として，その商品の陳列状況を特定する場合に有効であるが，それに限定するものではない。すなわち，ある撮影対象物を撮影した場合に，その所望の対象物が写っている領域を撮影した画像情報から特定する際に，広く用いることができる。
【産業上の利用可能性】
【０１５０】
本発明の画像処理システム１を用いることによって，陳列棚などを撮影した画像情報に写っている商品などの対象物を特定する際に，計算時間を従来よりも要することなく，比較処理の精度を向上させることが可能となる。
【符号の説明】
【０１５１】
１：画像処理システム
２：管理端末
３：入力端末
２０：画像情報入力受付処理部
２１：画像情報記憶部
２２：画像情報処理部
２３：候補処理部
２４：比較処理部
２５：標本情報処理部
２６：標本情報記憶部
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置
【図１】
2020194443.tif 000005
【図２】
2020194443.tif 000006
【図３】
2020194443.tif 000007
【図４】
2020194443.tif 000008
【図５】
2020194443.tif 000009
【図６】
2020194443.tif 000010
【図７】
2020194443.tif 000011
【図８】
2020194443.tif 000012
【図９】
2020194443.tif 000013
【図１０】
2020194443.tif 000014
【図１１】
2020194443.tif 000015
【図１２】
2020194443.tif 000016
【図１３】
2020194443.tif 000017
【図１４】
2020194443.tif 000018
【図１５】
2020194443.tif 000019
【図１６】
2020194443.tif 000020
【図１７】
2020194443.tif 000021
【図１８】
2020194443.tif 000022
【図１９】
2020194443.tif 000023
【図２０】
2020194443.tif 000024
【図２１】
2020194443.tif 000025
【図２２】
2020194443.tif 000026
【図２３】
2020194443.tif 000027
【図２４】
2020194443.tif 000028
【図２５】
2020194443.tif 000029
【図２６】
2020194443.tif 000030
【図２７】
2020194443.tif 000031
【図２８】
2020194443.tif 000032
【図２９】
2020194443.tif 000033
【図３０】
2020194443.tif 000034
【手続補正書】
【提出日】令和2年8月20日(2020.8.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
陳列棚を撮影した画像情報に写っている商品を特定する画像処理システムであって，
前記画像処理システムは，
前記画像情報におけるフェイス領域において所定条件を充足する領域であるブロックのレイアウト情報と，標本とする商品におけるブロックのレイアウト情報とを用いて，前記ブロック同士のレイアウトの類似性の判定を行い，比較処理の候補とする商品を特定する候補処理部と，
前記画像情報のフェイス領域と，前記候補処理部で候補として特定した商品の標本情報とを用いて比較処理をすることで，前記フェイス領域に写っている商品を特定する比較処理部と，を有しており，
前記候補処理部は，
前記画像情報のフェイス領域におけるブロックのレイアウト情報と，標本とする商品のブロックのレイアウト情報との共通部分および／または差分の面積を用いて所定の評価値を算出し，
前記算出した評価値が閾値以上の場合，前記標本とした商品を候補として特定する，
ことを特徴とする画像処理システム。
【請求項２】
前記候補処理部は，
前記画像情報におけるフェイス領域において所定条件を充足するブロックを特定し，
前記特定したフェイス領域の所定範囲におけるブロックのレイアウト情報と，前記標本とする商品の画像情報において前記フェイス領域の所定範囲の大きさに対応する領域のブロックのレイアウト情報と用いて，レイアウトの類似性の判定を行う，
ことを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記候補処理部は，
前記レイアウトの類似性の判定を行う処理を，前記標本とする商品の画像情報において，前記フェイス領域の所定範囲の大きさに対応する領域をずらしながら行い，
前記比較処理部は，
前記商品の画像情報において，前記候補処理部でもっとも類似性が高いと判定した領域の標本情報と，前記画像情報のフェイス領域とを用いて比較処理をすることで，前記フェイス領域に写っている商品を特定する，
ことを特徴とする請求項２に記載の画像処理システム。
【請求項４】
前記比較処理部は，
前記画像情報のブロックと，前記候補処理部で候補として特定した商品のブロックとを対応づけ，
前記対応づけたブロックを用いて，画像情報および／または文字情報の類似性を判定することで，前記比較処理を実行する，
ことを特徴とする請求項１から請求項３のいずれかに記載の画像処理システム。
【請求項５】
陳列棚を撮影した画像情報に写っている商品を特定する画像処理システムであって，
前記画像処理システムは，
前記陳列棚を撮影した画像情報とそれに対応する深さ情報を用いて生成した３次元モデルの一部または全部について，平面に展開する平面展開画像情報を生成し，前記生成した平面展開画像情報の一部または全部を，処理対象の画像情報とする画像情報処理部と，
前記処理対象の画像情報におけるフェイス領域において所定条件を充足する領域であるブロックのレイアウト情報と，標本とする対象物におけるブロックのレイアウト情報とを用いて，前記ブロック同士のレイアウトの類似性の判定を行い，比較処理の候補とする商品を特定する候補処理部と，
前記処理対象の画像情報のフェイス領域と，前記候補処理部で候補として特定した商品の標本情報とを用いて比較処理をすることで，前記フェイス領域に写っている商品を特定する比較処理部と，
を有することを特徴とする画像処理システム。
【請求項６】
コンピュータを，
陳列棚を撮影した画像情報におけるフェイス領域において所定条件を充足する領域であるブロックのレイアウト情報と，標本とする商品におけるブロックのレイアウト情報とを用いて，前記ブロック同士のレイアウトの類似性の判定を行い，比較処理の候補とする商品を特定する候補処理部，
前記画像情報のフェイス領域と，前記候補処理部で候補として特定した商品の標本情報とを用いて比較処理をすることで，前記フェイス領域に写っている商品を特定する比較処理部，として機能させる画像処理プログラムであって，
前記候補処理部は，
前記処理対象の画像情報のフェイス領域におけるブロックのレイアウト情報と，標本とする商品のブロックのレイアウト情報との共通部分および／または差分の面積を用いて所定の評価値を算出し，
前記算出した評価値が閾値以上の場合，前記標本とした商品を候補として特定する，
ことを特徴とする画像処理プログラム。
【請求項７】
コンピュータを，
陳列棚を撮影した画像情報とそれに対応する深さ情報を用いて生成した３次元モデルの一部または全部について，平面に展開する平面展開画像情報を生成し，前記生成した平面展開画像情報の一部または全部を，処理対象の画像情報とする画像情報処理部，
前記処理対象の画像情報におけるフェイス領域において所定条件を充足する領域であるブロックのレイアウト情報と，標本とする対象物におけるブロックのレイアウト情報とを用いて，前記ブロック同士のレイアウトの類似性の判定を行い，比較処理の候補とする商品を特定する候補処理部，
前記処理対象の画像情報のフェイス領域と，前記候補処理部で候補として特定した商品の標本情報とを用いて比較処理をすることで，前記フェイス領域に写っている商品を特定する比較処理部，
として機能させることを特徴とする画像処理プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
第１の発明は，陳列棚を撮影した画像情報に写っている商品を特定する画像処理システムであって，前記画像処理システムは，前記画像情報におけるフェイス領域において所定条件を充足する領域であるブロックのレイアウト情報と，標本とする商品におけるブロックのレイアウト情報とを用いて，前記ブロック同士のレイアウトの類似性の判定を行い，比較処理の候補とする商品を特定する候補処理部と，前記画像情報のフェイス領域と，前記候補処理部で候補として特定した商品の標本情報とを用いて比較処理をすることで，前記フェイス領域に写っている商品を特定する比較処理部と，を有しており，前記候補処理部は，前記画像情報のフェイス領域におけるブロックのレイアウト情報と，標本とする商品のブロックのレイアウト情報との共通部分および／または差分の面積を用いて所定の評価値を算出し，前記算出した評価値が閾値以上の場合，前記標本とした商品を候補として特定する，画像処理システムである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
また，比較処理の候補とする対象物を絞り込むためには，本発明のような処理を実行することが好ましい。またレイアウト情報は画像情報ではなく座標情報であるため，これらの処理を実行しても，高速化を実現することができる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
上述の発明において，前記候補処理部は，前記画像情報におけるフェイス領域において所定条件を充足するブロックを特定し，前記特定したフェイス領域の所定範囲におけるブロックのレイアウト情報と，前記標本とする商品の画像情報において前記フェイス領域の所定範囲の大きさに対応する領域のブロックのレイアウト情報と用いて，レイアウトの類似性の判定を行う，画像処理システムのように構成することができる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
上述の発明において，前記候補処理部は，前記レイアウトの類似性の判定を行う処理を，前記標本とする商品の画像情報において，前記フェイス領域の所定範囲の大きさに対応する領域をずらしながら行い，前記比較処理部は，前記商品の画像情報において，前記候補処理部でもっとも類似性が高いと判定した領域の標本情報と，前記画像情報のフェイス領域とを用いて比較処理をすることで，前記フェイス領域に写っている商品を特定する，画像処理システムのように構成することができる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
上述の発明において，前記比較処理部は，前記画像情報のブロックと，前記候補処理部で候補として特定した商品のブロックとを対応づけ，前記対応づけたブロックを用いて，画像情報および／または文字情報の類似性を判定することで，前記比較処理を実行する，画像処理システムのように構成することができる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
第５の発明は，陳列棚を撮影した画像情報に写っている商品を特定する画像処理システムであって，前記画像処理システムは，前記陳列棚を撮影した画像情報とそれに対応する深さ情報を用いて生成した３次元モデルの一部または全部について，平面に展開する平面展開画像情報を生成し，前記生成した平面展開画像情報の一部または全部を，処理対象の画像情報とする画像情報処理部と，前記処理対象の画像情報におけるフェイス領域において所定条件を充足する領域であるブロックのレイアウト情報と，標本とする対象物におけるブロックのレイアウト情報とを用いて，前記ブロック同士のレイアウトの類似性の判定を行い，比較処理の候補とする商品を特定する候補処理部と，前記処理対象の画像情報のフェイス領域と，前記候補処理部で候補として特定した商品の標本情報とを用いて比較処理をすることで，前記フェイス領域に写っている商品を特定する比較処理部と，を有する画像処理システムである。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】削除
【補正の内容】
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】削除
【補正の内容】
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
第１の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，陳列棚を撮影した画像情報におけるフェイス領域において所定条件を充足する領域であるブロックのレイアウト情報と，標本とする商品におけるブロックのレイアウト情報とを用いて，前記ブロック同士のレイアウトの類似性の判定を行い，比較処理の候補とする商品を特定する候補処理部，前記画像情報のフェイス領域と，前記候補処理部で候補として特定した商品の標本情報とを用いて比較処理をすることで，前記フェイス領域に写っている商品を特定する比較処理部，として機能させる画像処理プログラムであって，前記候補処理部は，前記処理対象の画像情報のフェイス領域におけるブロックのレイアウト情報と，標本とする商品のブロックのレイアウト情報との共通部分および／または差分の面積を用いて所定の評価値を算出し，前記算出した評価値が閾値以上の場合，前記標本とした商品を候補として特定する，画像処理プログラムである。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
第５の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，陳列棚を撮影した画像情報とそれに対応する深さ情報を用いて生成した３次元モデルの一部または全部について，平面に展開する平面展開画像情報を生成し，前記生成した平面展開画像情報の一部または全部を，処理対象の画像情報とする画像情報処理部，前記処理対象の画像情報におけるフェイス領域において所定条件を充足する領域であるブロックのレイアウト情報と，標本とする対象物におけるブロックのレイアウト情報とを用いて，前記ブロック同士のレイアウトの類似性の判定を行い，比較処理の候補とする商品を特定する候補処理部，前記処理対象の画像情報のフェイス領域と，前記候補処理部で候補として特定した商品の標本情報とを用いて比較処理をすることで，前記フェイス領域に写っている商品を特定する比較処理部，として機能させる画像処理プログラムである。