(57)【要約】【課題】  撮影した画像情報において領域を特定する情報処理システムを目的とする。【解決手段】  画像情報と深さ情報とを用いる情報処理システムであって，情報処理システムは，深さ情報に基づいて形成した３次元の表面モデルを用いて商品面または深さフェイス領域を特定する深さ処理部と，特定した商品面または深さフェイス領域を用いて，画像情報における画像フェイス領域を特定する画像認識処理部と，を有する情報処理システムである。【選択図】  図１
2020021520.tif 000002
【特許請求の範囲】
【請求項１】
画像情報と深さ情報とを用いる情報処理システムであって，
前記情報処理システムは，
前記深さ情報に基づいて形成した３次元の表面モデルを用いて商品面または深さフェイス領域を特定する深さ処理部と，
前記特定した商品面または深さフェイス領域を用いて，前記画像情報における画像フェイス領域を特定する画像認識処理部と，
を有することを特徴とする情報処理システム。
【請求項２】
前記画像認識処理部は，
前記特定した画像フェイス領域と標本情報との類似性を判定することで，前記画像フェイス領域に陳列されている商品の商品識別情報を特定する，
ことを特徴とする請求項１に記載の情報処理システム。
【請求項３】
画像情報と深さ情報とを用いる情報処理システムであって，
前記情報処理システムは，
前記深さ情報に基づいて形成した３次元の表面モデルを用いて，陳列棚における商品タグ配置領域を特定する深さ処理部と，
前記深さ処理部で特定した商品タグ配置領域を用いて，前記画像情報における商品タグ領域を特定する画像認識処理部と，
を有することを特徴とする情報処理システム。
【請求項４】
前記画像認識処理部は，
前記特定した商品タグ領域の一部または全部に対してＯＣＲ認識処理を行うことで，商品タグに記載される情報を認識する，
ことを特徴とする請求項３に記載の情報処理システム。
【請求項５】
画像情報と深さ情報とを用いる情報処理システムであって，
前記情報処理システムは，
前記深さ情報を用いて商品面または深さフェイス領域の後方にある領域を特定する深さ処理部と，
前記特定した領域を用いて，前記画像情報における商品が陳列されていない領域を特定し，陳列棚に商品の抜けがあることを判定する画像認識処理部と，
を有することを特徴とする情報処理システム。
【請求項６】
画像情報と深さ情報とを用いる情報処理システムであって，
前記情報処理システムは，
前記深さ情報に基づいて形成した３次元の表面モデルを用いてあらかじめ定めた領域を特定する深さ処理部と，
前記画像情報において，前記深さ処理部で特定した領域に対応する領域を特定する画像認識処理部と，
を有することを特徴とする情報処理システム。
【請求項７】
コンピュータを，
深さ情報に基づいて形成した３次元の表面モデルを用いて商品面または深さフェイス領域を特定する深さ処理部，
前記特定した商品面または深さフェイス領域を用いて，前記画像情報における画像フェイス領域を特定する画像認識処理部，
として機能させることを特徴とする情報処理プログラム。
【請求項８】
コンピュータを，
深さ情報に基づいて形成した３次元の表面モデルを用いて，陳列棚における商品タグ配置領域を特定する深さ処理部，
前記深さ処理部で特定した商品タグ配置領域を用いて，画像情報における商品タグ領域を特定する画像認識処理部，
として機能させることを特徴とする情報処理プログラム。
【請求項９】
コンピュータを，
深さ情報を用いて商品面または深さフェイス領域の後方にある領域を特定する深さ処理部，
前記特定した領域を用いて，画像情報における商品が陳列されていない領域を特定し，陳列棚に商品の抜けがあることを判定する画像認識処理部，
として機能させることを特徴とする情報処理プログラム。
【請求項１０】
コンピュータを，
前記深さ情報に基づいて形成した３次元の表面モデルを用いてあらかじめ定めた領域を特定する深さ処理部，
前記画像情報において，前記深さ処理部で特定した領域に対応する領域を特定する画像認識処理部，
として機能させることを特徴とする情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，撮影した画像情報において領域を特定するための情報処理システムに関する。
【背景技術】
【０００２】
小売業界においては，商品の陳列状況が商品の販売に影響することが知られている。そのため，商品の製造会社，販売会社としては，自社または他社のどのような商品が店舗に陳列されているのかを把握することで，自社商品の開発戦略，販売戦略につなげることができる。
【０００３】
一方，その実現のためには，店頭に陳列されている商品の正確な特定が重要である。そこで，店舗の陳列棚を撮影し，その画像情報から陳列されている商品を，人間が手作業で特定をすることが考えられる。この場合，ほぼ正確に商品を特定することができる。しかし，商品の陳列状況を継続的に把握するためには，一定期間ごとにその陳列状況を把握しなければならないが，店舗の陳列棚を撮影した画像情報から毎回，人間が商品を特定するのは負担が大きく，また非効率である。
【０００４】
そこで店舗の陳列棚を撮影した画像情報から，そこに陳列されている商品や商品タグを自動的に特定し，陳列している商品に関する情報を把握することが求められる。たとえば商品ごとの標本画像をもとに，店舗の陳列棚を撮影した画像に対して画像認識技術を用いる方法がある。これらの従来技術として，たとえば，下記特許文献１乃至特許文献３に示すような技術を用いて，商品の陳列状況を管理するシステムが存在する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−３４２２３０号公報
【特許文献２】特開平５−３３４４０９号公報
【特許文献３】国際公開２０１２／０２９５４８
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１の発明は，商品をどの陳列棚に陳列すべきかの知識がない者であっても，商品の陳列ができるように支援するシステムである。そのため，実際に陳列されている商品の情報を把握することはできない。また特許文献２は，商品の陳列を支援する棚割支援システムにおいて，商品画像の入力を支援するシステムである。しかし特許文献２のシステムでは，棚割支援システムを利用する際の商品画像の入力を支援するのみであって，このシステムを用いたとしても，実際に陳列されている商品の情報を把握することはできない。
【０００７】
特許文献３は，陳列棚に空き空間がある場合に，その空き空間に陳列すべき商品を特定したり，陳列棚に陳列すべき商品を置き間違えた場合にそれを通知する発明である。この発明でも，商品と，陳列棚に陳列されている商品との画像マッチング処理を行って，陳列棚に陳列されている商品を特定しているが，認識精度が低いのが実情である。
【０００８】
陳列棚を撮影した画像に対して，商品の標本画像をもとに画像認識技術を用いる場合，標本画像と，陳列棚を撮影した画像における商品の陳列部分の領域との画像特徴量同士の類似性を利用して商品を認識する。商品の陳列部分の領域の画像特徴量は，陳列棚を撮影した画像から，商品の陳列部分として特定する領域の範囲によって変わりうる。そのため，部分画像をより正確に特定できれば，標本画像とのマッチングの際の精度向上につなげることができる。また陳列棚を撮影した画像から，商品タグに記載されている情報をＯＣＲ認識する場合も，商品タグとして認識する領域の正確性によって，認識精度が変わりうる。
【課題を解決するための手段】
【０００９】
本発明者は，陳列棚を撮影した画像情報における商品が陳列されている領域または商品タグの領域を精度よく特定するための情報処理システムを発明した。
【００１０】
第１の発明は，画像情報と深さ情報とを用いる情報処理システムであって，前記情報処理システムは，前記深さ情報に基づいて形成した３次元の表面モデルを用いて商品面または深さフェイス領域を特定する深さ処理部と，前記特定した商品面または深さフェイス領域を用いて，前記画像情報における画像フェイス領域を特定する画像認識処理部と，を有する情報処理システムである。
【００１１】
本発明では，物理的な深さ情報により商品面または深さフェイス領域を特定し，それを用いて，画像情報における画像フェイス領域を特定することから，画像情報のみから特定をする従来の方法よりも，精度よく特定することができる。
【００１２】
上述の発明において，前記画像認識処理部は，前記特定した画像フェイス領域と標本情報との類似性を判定することで，前記画像フェイス領域に陳列されている商品の商品識別情報を特定する，情報処理システムのように構成することができる。
【００１３】
画像フェイス領域を精度よく特定できているので，標本情報との類似性の判定処理の精度を向上させることができる。
【００１４】
第３の発明は，画像情報と深さ情報とを用いる情報処理システムであって，前記情報処理システムは，前記深さ情報に基づいて形成した３次元の表面モデルを用いて，陳列棚における商品タグ配置領域を特定する深さ処理部と，前記深さ処理部で特定した商品タグ配置領域を用いて，前記画像情報における商品タグ領域を特定する画像認識処理部と，を有する情報処理システムである。
【００１５】
商品に関する情報を特定したい場合，商品を特定するほか，商品タグに記載される情報から特定する方法もある。そこで本発明では，物理的な深さ情報により商品タグ配置領域を特定し，それを用いて，画像情報における商品タグ領域を特定することで，従来よりも精度よく商品タグ領域を特定することを可能とする。
【００１６】
上述の発明において，前記画像認識処理部は，前記特定した商品タグ領域の一部または全部に対してＯＣＲ認識処理を行うことで，商品タグに記載される情報を認識する，情報処理システムのように構成することができる。
【００１７】
商品タグ領域を精度よく特定できているので，商品タグに記載されている情報の文字認識処理の認識精度を向上させることができる。
【００１８】
第５の発明は，画像情報と深さ情報とを用いる情報処理システムであって，前記情報処理システムは，前記深さ情報を用いて商品面または深さフェイス領域の後方にある領域を特定する深さ処理部と，前記特定した領域を用いて，前記画像情報における商品が陳列されていない領域を特定し，陳列棚に商品の抜けがあることを判定する画像認識処理部と，を有する情報処理システムである。
【００１９】
商品の陳列状況の判定において，陳列されている商品を特定するほか，商品の欠品（本来，商品が陳列されるべき場所に商品が陳列されていない状態）を特定することも同様に重要である。商品が陳列されていない領域を画像情報のみから判定する場合，従来は，商品のあるべき位置が周囲より暗い，背景色と同じ色であるなどに基づいて判定をしている。しかしこのような方法では，照明の状態や撮影の角度によっては精度を保つことが難しい場合がある。そこで，本発明のように深さ情報を用いることで，従来よりも高い精度で判定をすることができる。
【００２０】
第６の発明は，画像情報と深さ情報とを用いる情報処理システムであって，前記情報処理システムは，前記深さ情報に基づいて形成した３次元の表面モデルを用いてあらかじめ定めた領域を特定する深さ処理部と，前記画像情報において，前記深さ処理部で特定した領域に対応する領域を特定する画像認識処理部と，を有する情報処理システムである。
【００２１】
本発明の情報処理システムは，用途を問わずに適用することもできる。すなわち，ある撮影対象物を撮影した場合に，その所望の対象物が写っている領域を画像情報から特定する際に，広く用いることができる。そして，本発明の処理を実行することで，精度よく，所望の対象物が写っている領域を画像情報から特定することができる。
【００２２】
第１の発明は，本発明のプログラムを、コンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，深さ情報に基づいて形成した３次元の表面モデルを用いて商品面または深さフェイス領域を特定する深さ処理部，前記特定した商品面または深さフェイス領域を用いて，前記画像情報における画像フェイス領域を特定する画像認識処理部，として機能させる情報処理プログラムのように構成することができる。
【００２３】
第３の発明は，本発明のプログラムを、コンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，深さ情報に基づいて形成した３次元の表面モデルを用いて，陳列棚における商品タグ配置領域を特定する深さ処理部，前記深さ処理部で特定した商品タグ配置領域を用いて，画像情報における商品タグ領域を特定する画像認識処理部，として機能させる情報処理プログラムのように構成することができる。
【００２４】
第５の発明は，本発明のプログラムを、コンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，深さ情報を用いて商品面または深さフェイス領域の後方にある領域を特定する深さ処理部，前記特定した領域を用いて，画像情報における商品が陳列されていない領域を特定し，陳列棚に商品の抜けがあることを判定する画像認識処理部，として機能させる情報処理プログラムのように構成することができる。
【００２５】
第６の発明は，本発明のプログラムを、コンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，前記深さ情報に基づいて形成した３次元の表面モデルを用いてあらかじめ定めた領域を特定する深さ処理部，前記画像情報において，前記深さ処理部で特定した領域に対応する領域を特定する画像認識処理部，として機能させる情報処理プログラムのように構成することができる。
【発明の効果】
【００２６】
本発明の情報処理システムを用いることによって，撮影対象物を撮影した画像情報から，所定の領域を精度よく特定することができる。とくに，陳列棚を撮影した画像における商品の陳列部分，商品タグの領域を精度よく特定することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の情報処理システムの処理機能の一例を模式的に示すブロック図である。
【図２】本発明の情報処理システムにおける深さ処理部の処理機能の一例を模式的に示すブロック図である。
【図３】本発明の情報処理システムにおける画像認識処理部の処理機能の一例を模式的に示すブロック図である。
【図４】本発明の情報処理システムで用いるコンピュータのハードウェア構成の一例を模式的に示すブロック図である。
【図５】本発明の情報処理システムにおける全体の処理プロセスの一例を示すフローチャートである。
【図６】撮影画像情報と深さ情報による深さマップとの対応関係を模式的に示す図である。
【図７】撮影画像情報の一例を示す図である。
【図８】深さ情報をマッピングした深さマップの一例を模式的に示す図である。
【図９】図７の撮影画像情報を正置化した正置画像情報の一例を示す図である。
【図１０】深さマップについて，撮影画像情報に対して実行した正置化処理と同様の正置化処理を実行することを模式的に示す図である。
【図１１】図８の深さマップに対して，正置化処理を実行した状態の深さマップの一例を模式的に示す図である。
【図１２】面種別特定処理部での面種別の特定処理の一例を示す図である。
【図１３】パッケージタイプが缶の場合のフェイスを特定するイメージ図である。
【図１４】パッケージタイプが瓶の場合のフェイスを特定するイメージ図である。
【図１５】パッケージタイプが箱物の場合のフェイスを特定するイメージ図である。
【図１６】パッケージタイプがつるし商品の場合のフェイスを特定するイメージ図である。
【図１７】商品タグ領域の画像情報を二値化した画像情報を示す図である。
【図１８】ボックスを生成した状態を示す図である。
【図１９】ブロックを生成した状態を示す図である。
【図２０】商品タグに表記された商品名，ＯＣＲ認識の結果，商品辞書に記憶する商品名のうち編集距離が最小の商品名，編集距離の一例を示す図である。
【図２１】最終候補の文字数ごとの確定してよい編集距離の対応関係の表の一例を示す図である。
【図２２】標本情報記憶部に記憶される標本情報の一例を示す図である。
【図２３】陳列棚におけるフェイス領域を模式的に示す図である。
【図２４】撮影画像情報の一例を示す図である。
【図２５】撮影画像情報に対して，正置化処理が実行された撮影画像情報正置画像情報の一例を示す図である。
【図２６】実施例２における画像認識処理部の処理機能の一例を示すブロック図である。
【図２７】実施例３における画像認識処理部の処理機能の一例を示すブロック図である。
【図２８】図２５の正置画像情報から商品タグ領域を切り出した状態を示す図である。
【図２９】正置化した商品タグ領域の画像情報を示す図である。
【図３０】実施例４において商品タグ領域，商品面などを模式的に示す図である。
【図３１】実施例４における処理を模式的に示す図である。
【図３２】パッケージタイプが缶，瓶の場合に，深さフェイス領域に対応する画像フェイス領域を切り出す処理の一例を模式的に示す図である。
【図３３】パッケージタイプが箱物，吊るし商品の場合に，深さフェイス領域に対応する画像フェイス領域を切り出す処理の一例を模式的に示す図である。
【発明を実施するための形態】
【００２８】
本発明の情報処理システム１の処理機能の一例をブロック図で図１乃至図３に示す。情報処理システム１は，管理端末２と入力端末３とを用いる。図１は情報処理システム１の全体の処理機能の一例を示すブロック図であり，図２は後述する深さ処理部２３の処理機能の一例を示すブロック図であり，図３は後述する画像認識処理部２４の処理機能の一例を示すブロック図である。
【００２９】
管理端末２は，情報処理システム１を運営する企業等の組織が利用するコンピュータである。また，入力端末３は，店舗の陳列棚を撮影した画像情報，深さ情報の入力を行う端末である。
【００３０】
情報処理システム１における管理端末２，入力端末３は，コンピュータを用いて実現される。図４にコンピュータのハードウェア構成の一例を模式的に示す。コンピュータは，プログラムの演算処理を実行するＣＰＵなどの演算装置７０と，情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と，情報を表示するディスプレイなどの表示装置７２と，情報の入力が可能なキーボードやマウスなどの入力装置７３と，演算装置７０の処理結果や記憶装置７１に記憶する情報をインターネットやＬＡＮなどのネットワークを介して送受信する通信装置７４とを有している。
【００３１】
コンピュータがタッチパネルディスプレイを備えている場合には，表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは，たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが，それに限定するものではない。
【００３２】
タッチパネルディスプレイは，そのディスプレイ上で，直接，所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で，表示装置７２と入力装置７３の機能が一体化した装置である。
【００３３】
入力端末３は，上記の各装置のほか，カメラなどの撮影装置を備えている。入力端末３として，携帯電話，スマートフォン，タブレット型コンピュータなどの可搬型通信端末を用いることもできる。入力端末３は，撮影装置で可視光による画像情報（撮影画像情報）を撮影するほか，撮影対象と撮影装置との距離情報（深さ情報）を２次元情報として取得する。深さ情報がマッピングされた情報を，本明細書では深さマップとよぶ。深さマップは，撮影画像情報に対応しており，撮影画像情報に写っている各対象物までの深さ情報が，撮影画像情報と対応する位置にマッピングされている。深さマップは，少なくとも撮影画像情報に対応する範囲をメッシュ状に区切り，そのメッシュごとに深さ情報が与えられている。メッシュの縦，横の大きさは，取得できる深さ情報の精度に依存するが，メッシュの縦，横の大きさが小さいほど精度が上げられる。通常は，１ｍｍから数ｍｍの範囲であるが，１ｍｍ未満，あるいは１ｃｍ以上であってもよい。
【００３４】
深さ情報を取得する場合，撮影装置における陳列棚の撮影の際に，特定の波長の光線，たとえば赤外線を照射してそれぞれの方向からの反射光の量や反射光が到達するまでの時間を計測することで撮影対象までの距離情報（深さ情報）を取得する，あるいは特定の波長の光線，たとえば赤外線のドットパターンを照射し，反射のパターンから撮影対象までの距離情報（深さ情報）を計測するもののほか，ステレオカメラの視差を利用する方法があるが，これらに限定されない。なお，深さ情報が撮影装置（三次元上の一点）からの距離で与えられる場合には，かかる深さ情報を，撮影装置の撮影面（平面）からの深さ情報に変換をしておく。このように深さ情報を取得するための装置（深さ検出装置）を入力端末３は備えている。
【００３５】
撮影画像情報と深さ情報とはその位置関係が対応をしている。撮影画像情報と深さ情報による深さマップとの対応関係を図６（ａ），（ｂ）に模式的に示す。
【００３６】
本発明における各手段は，その機能が論理的に区別されているのみであって，物理上あるいは事実上は同一の領域を為していても良い。本発明の各手段における処理は，その処理順序を適宜変更することもできる。また，処理の一部を省略してもよい。たとえば後述する正置化処理を省略することもできる。その場合，正置化処理をしていない画像情報に対する処理を実行することができる。
【００３７】
情報処理システム１は，撮影画像情報入力受付処理部２０と深さ入力受付処理部２１と正置化処理部２２と深さ処理部２３と画像認識処理部２４と画像情報記憶部２５と標本情報記憶部２６と商品識別情報記憶部２７とを有する。
【００３８】
撮影画像情報入力受付処理部２０は，入力端末３で撮影した店舗の陳列棚の画像情報（撮影画像情報）の入力を受け付け，後述する画像情報記憶部２５に記憶させる。入力端末３からは，撮影画像情報のほか，撮影日時，店舗名などの店舗識別情報，画像情報を識別する画像情報識別情報などをあわせて入力を受け付けるとよい。図７に撮影画像情報の一例を示す。図７では，陳列棚に３段の棚段があり，そこに商品が陳列されている撮影画像情報である。
【００３９】
深さ入力受付処理部２１は，入力端末３で撮影した店舗の陳列棚に対する深さ情報や深さマップの入力を受け付け，撮影画像情報入力受付処理部２０で入力を受け付けた撮影画像情報に対応づけて，後述する画像情報記憶部２５に記憶させる。図８に，深さ情報をマッピングした深さマップの一例を模式的に示す。なお，入力端末３から深さマップではなく，深さ情報を受け付けた場合には，それをマッピングして深さマップを生成する。
【００４０】
正置化処理部２２は，画像情報記憶部２５に記憶した撮影画像情報に対して，撮影対象物が正対した状態になるように補正する処理（正置化処理），たとえば台形補正処理を実行した正置画像情報を生成する。台形補正処理は，撮影画像情報に写っている陳列棚の棚段が水平に，そこに陳列されている商品に対する商品タグが垂直になるように行う補正処理である。正置化とは，撮影装置のレンズの光軸を撮影対象である平面の垂線方向に沿って，十分に遠方から撮影した場合と同じになるように画像情報を変形させることであり，たとえば台形補正処理がある。
【００４１】
正置化処理部２２が実行する台形補正処理は，撮影画像情報において４頂点の指定の入力を受け付け，その各頂点を用いて台形補正処理を実行する。指定を受け付ける４頂点としては，陳列棚の棚段の４頂点であってもよいし，陳列棚の棚位置の４頂点であってもよい。また，２段，３段の棚段のまとまりの４頂点であってもよい。４頂点としては任意の４点を指定できる。図９に図７の撮影画像情報を正置化した撮影画像情報（正置画像情報）の一例を示す。
【００４２】
また正置化処理部２２は，撮影画像情報に対して実行した正置化処理と同様の正置化処理（同一の変換処理）を深さマップに対しても実行する。これを模式的に示すのが図１０（ａ），（ｂ）である。図１０（ａ）は，図６（ａ）の撮影画像情報に対して正置化処理を実行した正置画像情報である。図１０（ｂ）は，図６（ｂ）の深さマップについて，図１０（ａ）の正置化処理と同様の正置化処理を施した状態の深さマップを示す図である。図１１に，図８の深さマップに対して，正置化処理を実行した状態の深さマップの一例を模式的に示す。
【００４３】
このように深さマップに対しても正置画像情報と同様の処理を実行することで，正置画像情報と同じ位置関係で深さ情報を特定することができる。
【００４４】
深さ処理部２３は，深さマップに基づいて，商品が陳列される可能性のある領域（深さフェイス領域）を特定する。また，商品タグが配置される可能性のある領域（商品タグ配置領域）を特定する。
【００４５】
深さ処理部２３は，異常値除去処理部２３０と面種別特定処理部２３１と深さフェイス特定処理部２３２とを有する。
【００４６】
異常値除去処理部２３０は，深さマップにおける深さ情報の異常値を除去する。異常値としては，たとえば深さ情報の平均値から所定範囲以上乖離しているなどによって判定できる。また異常値として判定した場合，そのメッシュにおける深さ情報は，当該メッシュの周囲の深さ情報の平均値をとるなどすればよい。
【００４７】
面種別特定処理部２３１は，深さマップにおける深さ情報に基づいて面（平面のほか曲面も含む）を検出し，検出した面の種別，たとえば棚段の前面，商品タグ面，商品面，棚段の後板面などを特定する。図１２に面種別特定処理部２３１での面種別の特定処理の一例を示す。図１２（ａ）は，深さ情報に基づいて検出した面を斜め上方からイメージ化した図であり，図１２（ｂ）は，深さ情報に基づいて検出した面を側面からイメージ化した図である。
【００４８】
面種別特定処理部２３１は，微細な凹凸を除外するために高周波をフィルタアウトした上で，深さ情報に基づいて３次元の表面モデルを形成することで，垂直に近い，正対した一定以上の面積を持つ面，直立した円筒の面，全体に凸のゆがんだ多面体の領域の面を検出し，３次元空間内の位置と範囲を特定する。たとえば，深さ情報が一定の範囲内であり，法線が安定して正面を向いていれば平面，深さ情報について垂直方向の相関性が強く，水平方向に凸であれば円筒，水平方向および垂直方向のいずれも凸，または法線が安定していなければ凸のゆがんだ多面体の領域の面のように特定をする。そして，検出した各面をラベリングをする。図１２では５つの面を検出し，それぞれ１から５のラベリングをした状態を示している。そして検出した面について，たとえば深さ情報の平均値などに基づいて，最前面から，順に最前面からの距離（これをレベルとする）を算出する。そして算出したレベルに基づいて，各面の前後関係を特定する。図１２では，１，２の面のレベルは０ｃｍであり，３，４の面のレベルは３ｃｍ，５の面のレベルは２０ｃｍのように算出をする。そして，最前面が１，２の面，その次に奥に位置するのが３，４の面，最背面が５の面として，５つの面の前後関係を特定する。
【００４９】
面種別特定処理部２３１は，このように特定した面の前後関係を用いて，面の種別を特定する。すなわち，最前面であって，深さマップにある狭い横長の平面を，棚板の前面および商品タグ面，最背面を棚段の後板面，また，棚段の前面と深さ情報が同一または近接（一定範囲，たとえば数ｃｍ以内）しており，中空にある垂直の長方形は商品タグの面として特定をする。そして，好ましくは，それ以外の面を商品面（商品が陳列される可能性のある面）として特定をする。したがって，図１２の例では，１，２の面を棚板の前面および商品タグ面，３，４の面を商品面，５の面を棚体の後板面として特定をする。
【００５０】
深さフェイス特定処理部２３２は，面種別特定処理部２３１で特定した商品面において，深さフェイス領域を特定する処理を実行する。
【００５１】
深さフェイス特定処理部２３２における深さフェイス領域の特定処理としては以下のように実行をする。
【００５２】
まず，いずれかのタイミングにおいて入力を受け付けた商品のパッケージタイプに基づいて，対応する処理を実行する。パッケージタイプとしては，缶，瓶（ペットボトルを含む。以下同様），缶と瓶の併存，箱物，吊るし商品などがあるが，それらに限定をするものではない。
【００５３】
パッケージタイプが缶または瓶であった場合，一定の大きさの範囲内にある円筒の領域を缶または瓶の深さフェイス領域として特定する。これを模式的に示すのが，図１３および図１４である。図１３はパッケージタイプが缶の場合を示すイメージ図であり，図１４はパッケージタイプが瓶の場合を示すイメージ図である。
【００５４】
パッケージタイプが缶と瓶の併存であった場合，一定の大きさの範囲内に円筒があり，上方に小さな円筒がない領域を缶の深さフェイス領域，一定の大きさの範囲内に円筒があり，上方に小さな円筒がある領域を瓶の深さフェイス領域として特定をする。
【００５５】
パッケージタイプが箱物であった場合，一定の大きさの範囲内にある垂直の長方形の平面の領域を箱物の深さフェイス領域として特定をする。これを模式的に示すのが図１５である。
【００５６】
また，パッケージタイプが吊るし商品であった場合，一定のサイズの範囲内にあり，中空に浮いた長方形の平面または凹凸面の領域を，吊るし商品の深さフェイス領域として特定をする。これを模式的に示すのが図１６である。
【００５７】
なお，深さマップ特定処理部は，パッケージタイプの選択を受け付けず深さフェイス領域を特定してもよい。この場合，商品面の領域と，パッケージタイプごとの判定処理をそれぞれ実行することで，深さフェイス領域としての条件が成立するかを判定する。そして，深さフェイス領域を構成する面が存在する場合には，その面が構成する深さフェイス領域を特定し，あらかじめ定められたパッケージタイプの優先条件に基づいて，深さフェイス領域がどのようなパッケージタイプであるかを特定する。
【００５８】
画像認識処理部２４は，撮影画像情報入力受付処理部２０で受け付けた撮影画像情報または正置画像情報と，深さ処理部２３で特定した面とに基づいて，陳列棚の商品タグ配置領域面にある商品タグに記載されている商品識別情報を認識する。また，撮影画像情報入力受付処理部２０で受け付けた撮影画像情報または正置画像情報と，深さ処理部２３で特定した商品面または深さフェイス領域とに基づいて，撮影画像情報情報または正置画像情報に写っている陳列棚の棚段に陳列されている商品の商品識別情報を認識する処理を実行する。商品識別情報としては，商品名のほか，その商品に対して割り当てられているＪＡＮコードなどがあるが，それに限定されない。商品を識別することができる情報であればいかなるものでもよい。
【００５９】
画像認識処理部２４は，商品タグ内情報特定処理部２４０と商品識別情報特定処理部２４１とを有する。
【００６０】
商品タグ内情報特定処理部２４０は，深さ処理部２３で特定した商品タグ面の領域に対応する撮影画像情報の領域（商品タグ領域）を切り出し，商品タグ領域に記載されている情報をＯＣＲ認識などにより特定する処理を実行する。ＯＣＲ認識をする場合には，商品タグ領域として特定した領域のすべてまたは一部について行うことができる。商品タグ領域として特定したすべての領域に行うとノイズなどにより誤認識が発生する可能性が高いので，ＯＣＲ認識をする対象領域を限定することが好ましい。商品タグ領域に対してＯＣＲ認識するにはさまざまな方法を用いることができるが，たとえば以下の２つの方法のいずれかを用いることができる。なお，本明細書において，画像情報を切り出すとは，実際に処理対象として画像情報から分離するほか，その領域の画像情報を分離せずに，処理対象の範囲として特定する場合も含まれる。
【００６１】
第１の方法としては，特定した商品タグ領域において，まず二値化処理を行う。二値化処理としては，ＨＳＶ色空間の明度を用いる方法，大津の手法，赤色を抽出する手法（商品タグの数字や文字列には黒色のほか赤色も使用頻度が高い）などのうち一または複数を組み合わせて抽出したものを候補として選定する方法がある。
【００６２】
そして，二値化した画像情報においてラベリング処理を実行する。ラベリング処理とは，二値画像情報において，白または黒が連続した画素に同一の番号（識別情報）を割り振る処理を実行することで，連続する画素同士を一つの島（グループ）化する処理である。そしてラベリング処理によって検出した島を含む矩形領域（ボックス）を生成し，ボックスの高さ，幅，ベースラインを求める。ボックスを生成する際には，同一番号にラベリングされた領域を囲む最小の，垂直，水平の線分で囲まれた長方形を生成することが好ましいが，それに限定しない。なおボックスを生成する際に，あらかじめ定めた閾値となる高さ，幅を充足しない島はノイズとしてボックスを生成せず，そのまま処理対象から除去する。たとえば高さが小さすぎる島は横罫線や画像上のゴミの可能性があり，幅が広すぎる島はロゴなどの可能性があり，これらはノイズとして除去をする。
【００６３】
商品タグで使用される文字は，一般的には，太字のゴシック体など文字全体の輪郭が明確な字体が用いられることが多い。そのため，画像情報に多少のピンぼけがある場合でも，一つの文字列を形成する文字群は，ベースラインと高さがそろった島として検出することができる。
【００６４】
そして商品タグ内情報特定処理部２４０は，所定の類似性を有する隣接したボックス同士を併合し，ブロックを構成する。すなわち，ベースラインと高さが所定範囲内で一致し，高さおよび幅が一定の閾値の範囲内にある連続するボックスを併合し，ブロックを構成する。この際に，併合するブロックの間にある小さいボックスなどもまとめて一つのブロックとして構成する。これによって，濁点，半濁点，ハイフンなども一つのブロックに取り込まれることとなる。ブロックは，ＯＣＲ認識の対象となる領域である。そして，ブロックのうち，高さがもっとも高いブロックを価格領域（税抜価格領域）と推定し，ＯＣＲ認識を行う。また，ほかのブロックについても同様に，ＯＣＲ認識を行う。以上のような処理を実行することで，商品タグ領域において複数行にわたって自由にレイアウトされた原稿部分に対しＯＣＲ認識を行うよりも精度よく，文字認識処理を実行することができる。この処理を模式的に示すのが図１７乃至図１９である。図１７は二値化した画像情報であり，図１８はボックス（破線で示す領域）を生成した状態を示す図である。また図１９はブロック（破線で示す領域）を生成した状態を示す図である。
【００６５】
以上のようにして商品タグ内情報特定処理部２４０は，商品タグに記載した情報をＯＣＲ認識することができる。
【００６６】
第２の方法としては，商品タグの画像情報をテンプレートとして保持しておき，テンプレートとした画像情報と商品タグ領域の画像情報とを比較する処理である。テンプレートとした商品タグの画像情報には，あらかじめ税抜価格，税込価格，メーカー名，商品名などの商品識別情報，定格が表記されるそれぞれの文字枠の位置，大きさ（高さ，幅）が設定される。そして，商品タグ特定処理部で特定した商品タグ領域から，該当箇所の画像情報を切り出し，ＯＣＲ認識処理を実行する。この際に，価格，メーカー名，商品名などの商品識別情報，定格によって使用される文字種別（たとえば数字，ローマ字，記号，かな漢字のどれを含むかなど）を制約条件として定めておくことで，ＯＣＲ認識処理の精度を向上させることができる。
【００６７】
以上のように商品タグ内情報特定処理部２４０は，読み取った情報の整合性を確認する処理を実行してもよい。整合性確認処理としては，辞書照合による整合性の確認処理，ロジカルチェックの２種類を行うことが好ましい。
【００６８】
辞書照合による整合性の確認処理は，たとえば以下のように実行する。情報処理システム１には，陳列棚に陳列される可能性のある商品の商品名などの商品識別情報と，それに対応するコード情報（たとえばＪＡＮコード）とを対応づけて記憶する商品辞書（図示せず）を備えている。そして，商品タグ内情報特定処理部２４０で認識した価格を示す領域から読み取った文字列以外の文字列と，商品辞書に登録されたすべての商品名などの商品識別情報との文字列類似度評価を行う。たとえば編集距離（レーベンシュタイン距離）やジャロ・ウィンクラー距離などを用いることができる。
【００６９】
上記で求めた文字列類似度の最大値が一つであるならば，その商品名などの商品識別情報を最終候補とする。そして最終候補となった商品名などの商品識別情報の文字列の長さに対して，許容できる類似度をあらかじめ定めておき，許容できる類似度以上であれば商品名などの商品識別情報を同定する。許容できる類似度に達していなければ，読み取った文字列は未確定とする。また，最大値の類似度の商品が複数ある場合には，読み取った文字列は未確定とする。
【００７０】
文字列類似度評価の一つである編集距離とは，二つの文字列がどの程度異なっているかを示す距離の一種であって，具体的には，一文字の挿入，削除，置換によって，一方の文字列をもう一方の文字列に変形するのに必要な手順の最小回数である。図２０に商品タグに表記された商品名，ＯＣＲ認識の結果，商品辞書に記憶する商品名のうち編集距離が最小の商品名，編集距離の一例を示す。また，図２１に，最終候補の文字数ごとの確定してよい編集距離の対応関係の表を示す。なお，本明細書では編集距離を用いて処理をする場合を説明するが，置換が挿入，削除よりも類似度が大きくなるよう定義された字列類似度評価であってもよい。
【００７１】
そして，上記の最小の編集距離の商品名などの商品識別情報を求めた後，ＯＣＲ認識結果から商品名などの商品識別情報の該当部分を除いた文字列に対し，別に備える定格辞書（図示せず）に記憶する各定格との編集距離，メーカー名辞書（図示せず）に記憶する各メーカー名との編集距離をそれぞれ求める。たとえば図２０における「のどごし  生  ３５０ｍｌ」の例では，「３５０ｍｌ」の部分に対し，定格の辞書における「３５０ｍｌ」と編集距離０で一致し，定格部分の文字列であることを同定する。同様に，メーカー名についても編集距離を求め，最小の編集距離にある文字列をメーカー名であることを同定する。そしてＯＣＲ認識結果から定格部分，メーカー名部分の各文字列を取り除いて，取り除いた残りの文字列に対し，商品名辞書における最短の編集距離にある文字列を求め，許容できる編集距離であるか否かを判定する。許容できる編集距離内であれば，商品名などの商品識別情報，メーカー名，定格を確定する。このような処理をすることで，商品名などの商品識別情報に定格，メーカー名が含まれる場合にも適切に確定をすることができる。なお，定格辞書とは，陳列棚に陳列される可能性のある商品の定格（容量など）を記憶する辞書である。メーカー名辞書とは，陳列棚に陳列される可能性のある商品のメーカー名を記憶する辞書である。
【００７２】
商品タグ内情報特定処理部２４０による認識結果を最終的に利用者が判断，承認するため，認識結果の選択等の入力を受け付ける表示を行う際には，確定した文字列，未確定の文字列が特定可能な方法で表示が行われているとよい。たとえば確定した文字列と未確定の文字列との色を分ける，確定の文字列および／または未確定の文字列には確定または未確定を示す情報を付するなどがある。未確定の文字列については，最小の編集距離となった商品名などの商品識別情報が複数ある場合には，各商品識別情報を表示してもよい。
【００７３】
商品タグ内情報特定処理部２４０におけるロジカルチェック（認識した情報の論理的整合性の判定処理）は以下のように行うことができる。たとえば価格領域として２つの価格を読み取った場合，一つは税抜価格，一つは税込価格となるが，税抜価格が税込価格よりも高くなっている場合には，それらを逆転して認識させる。また，税抜価格に消費税率を乗算して得た値が税込価格とは一致しない場合には，いずれかまたは双方に誤認識があるとする。さらに，商品名などの商品識別情報を認識した場合には，その商品または商品カテゴリの通常の価格帯に収まっているか，を判定する。また，商品名などの商品識別情報，メーカー名，定格の対応関係が一致しているかを判定してもよい。
【００７４】
以上のように商品タグ内の情報の整合性を確認することで，撮影画像情報に写っている商品タグに記載される情報を確定することができる。このように確定した情報は，たとえば表形式で出力をすることができる。
【００７５】
商品識別情報特定処理部２４１は，深さ処理部２３で特定した深さフェイス領域に対応する正置画像情報の領域（画像フェイス領域）を切り出す。これを模式的に示すのが図３２および図３３である。図３２（ａ）は商品のパッケージタイプが缶の場合に，深さフェイス領域に対応する画像フェイス領域を切り出す状態を模式的に示す図である。図３２（ｂ）は商品のパッケージタイプが瓶の場合に，深さフェイス領域に対応する画像フェイス領域を切り出す状態を模式的に示す図である。また図３３（ａ）は商品のパッケージタイプが箱物の場合に，深さフェイス領域に対応する画像フェイス領域を切り出す状態を模式的に示す図である。図３３（ｂ）は商品のパッケージタイプが吊るし商品の場合に，深さフェイス領域に対応する画像フェイス領域を切り出す状態を模式的に示す図である。なお，商品のパッケージタイプによって，切り出しの際のルールをテンプレートとしてあらかじめ設定しておくことが好ましい。たとえば商品のパッケージタイプが瓶の場合には，瓶本体からキャップの位置までを一つとして切り出すルールを設定しておけばよい。
【００７６】
このように正置画像情報から切り出した画像フェイス領域と，後述する標本情報記憶部２６に記憶する標本情報とのマッチング処理を行うことで，陳列棚の棚段に陳列されている商品の商品識別情報を特定する。具体的には，まず，処理対象となる画像フェイス領域の画像情報と，標本情報記憶部２６に記憶する標本情報との類似性を判定し，その類似性がもっとも高い標本情報に対応する商品識別情報を特定し，特定した類似性があらかじめ定めた閾値以上であれば，画像フェイス領域の各座標で構成されるフェイスに表示されている商品の商品識別情報として特定をする。
【００７７】
なお，自動的に特定した画像フェイス領域について，担当者による修正入力を受け付けてもよい。さらに，担当者から画像フェイス領域の位置の入力を受け付けるのでもよい。特定した画像フェイス領域の座標は，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，深さ情報や深さマップ，フェイスを識別するためのフェイス識別情報とを対応づけて管理する。また画像フェイス領域を示す座標としては，その領域を特定するための各点の座標であり，画像フェイス領域が矩形の場合には，正置画像情報におけるたとえば４点，右上と左下，左上と右下の２点の座標などでよい。画像フェイス領域が多角形のときには，各頂点の座標であるとよい。また，正置画像情報における陳列棚など，画像情報における所定箇所（たとえば陳列棚の左上の頂点）を基準とした相対座標である。
【００７８】
正置画像情報における画像フェイス領域と標本情報との類似性を判定するには，以下のような処理を行う。まず，商品識別情報特定処理部２４１における商品識別情報の特定処理の前までの処理において，正置画像情報の棚段における画像フェイス領域と，標本情報との方向が同じ（横転や倒立していない）となっており，また，それぞれの大きさが概略同じとなっている（所定範囲以上で画像情報の大きさが異なる場合には，類似性の判定の前にそれぞれの大きさが所定範囲内となるようにサイズ合わせをしておく）。
【００７９】
商品識別情報特定処理部２４１は，正置画像情報における画像フェイス領域と，標本情報との類似性を判定するため，正置画像情報における画像フェイス領域の画像特徴量（たとえば局所特徴量）に基づく特徴点と，標本情報との画像特徴量（たとえば局所特徴量）に基づく特徴点を，それぞれ抽出する。そして，画像フェイス領域の特徴点と，標本情報の特徴点とでもっとも類似性が高いペアを検出し，それぞれで対応する点の座標の差を求める。そして，差の平均値を求める。差の平均値は，画像フェイス領域の画像情報と，標本情報との全体の平均移動量を示している。そして，すべての特徴点のペアの座標差を平均の座標差と比較し，外れ度合いの大きなペアを除外する。そして，残った対応点の数で類似性を順位付ける。
【００８０】
以上のような方法で正置画像情報の画像フェイス領域と，標本情報との類似性を算出できる。また，その精度を向上させるため，さらに，色ヒストグラム同士のＥＭＤ（Ｅａｒｔｈ  Ｍｏｖｅｒｓ  Ｄｉｓｔａｎｃｅ）を求め，類似性の尺度としてもよい。これによって，撮影された画像情報の明度情報等の環境変化に比較的強い類似性の比較を行うことができ，高精度で特定をすることができる。
【００８１】
類似性の判定としては，ほかにも，各画像フェイス領域の画像情報のシグネチャ（画像特徴量と重みの集合）同士のＥＭＤを求め，類似性の尺度としてもよい。シグネチャの画像特徴量としては，たとえば画像フェイス領域のＨＳＶ色空間内の頻度分布を求め，色相と彩度に関してグルーピングを行って，特徴の個数とＨＳＶ色空間内の領域による画像特徴量とすることができる。色相と彩度についてグルーピングを行うのは，撮影条件に大きく左右されないように，明度への依存度を下げるためである。
【００８２】
また，処理の高速化のため，シグネチャとＥＭＤの代わりに，適宜の色空間内での画像情報の色コリログラムや色ヒストグラムなどの画像特徴量間のＬ２距離等の類似性を用いることもできる。
【００８３】
類似性の判定は，上述に限定をするものではない。特定した商品識別情報は，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，フェイスを識別するためのフェイス識別情報に対応づけて商品識別情報記憶部２７に記憶する。
【００８４】
画像情報記憶部２５は，入力端末３から受け付けた撮影画像情報，深さ情報や深さマップ，撮影日時，店舗識別情報，画像情報識別情報などを対応づけて記憶する。撮影画像情報とは，本発明の処理対象となる画像情報であればよい。一般的には，単に撮影した場合，撮影対象物を正対した状態で撮影することが困難であることから，それを正対した状態に補正する補正処理，たとえば台形補正処理などを実行することがよい。一つの陳列棚を複数枚で撮影した場合に，それが一つの画像情報として合成された画像情報も含まれる。また，歪み補正処理が実行された後の画像情報も撮影画像情報に含まれる。
【００８５】
標本情報記憶部２６は，正置画像情報に写っている陳列棚の棚段に陳列されている商品がどの商品であるかを識別するための標本情報を記憶する。標本情報は，陳列棚に陳列される可能性のある商品を，上下，左右，斜めなど複数の角度から撮影をした画像情報である。図２２に標本情報記憶部２６に記憶される標本情報の一例を示す。図２２では，標本情報として，缶ビールをさまざまな角度から撮影をした場合を示しているが，缶ビールに限られない。標本情報記憶部２６は，標本情報と，商品識別情報とを対応付けて記憶する。
【００８６】
なお，標本情報記憶部２６には，商品の標本画像情報とともに，または標本画像情報に代えて，標本画像情報から抽出された，類似性の算出に必要となる情報，たとえば画像特徴量とその位置のペアの情報を記憶していてもよい。標本情報は，標本画像情報のほか，類似性の算出に必要となる情報であってもよい。この場合，商品識別情報特定処理部２４１は，画像フェイス領域と，標本情報とのマッチング処理を行う際に，標本情報について毎回，画像特徴量を算出せずともよくなり，計算時間を短縮することができる。
【００８７】
商品識別情報記憶部２７は，陳列棚の棚段の各フェイスに表示されている商品の商品識別情報を記憶する。たとえば，商品識別情報に対応付けて，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，深さ情報や深さマップの識別情報，フェイスを識別するためのフェイス識別情報に対応づけて商品識別情報記憶部２７に記憶する。図２３に陳列棚を撮影した撮影画像情報における画像フェイス領域を模式的に示す。
【実施例１】
【００８８】
つぎに本発明の情報処理システム１の処理プロセスの一例を図５のフローチャートを用いて説明する。
【００８９】
店舗の陳列棚が撮影された撮影画像情報，深さ情報をマッピングした深さマップは，入力端末３から入力され，管理端末２の撮影画像情報入力受付処理部２０，深さ入力受付処理部２１でその入力を受け付ける（Ｓ１００）。また，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報の入力を受け付ける。図２４に撮影画像情報の一例を示す。深さマップの一例が図８である。そして，撮影画像情報入力受付処理部２０，深さ入力受付処理部２１は，入力を受け付けた撮影画像情報，深さ情報や深さマップ，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報を対応づけて画像情報記憶部２５に記憶させる。
【００９０】
管理端末２において所定の操作入力を受け付けると，正置化処理部２２は，画像情報記憶部２５に記憶する撮影画像情報を抽出し，台形補正処理などの正置化処理を行うための頂点である棚位置（陳列棚の位置）の４点の入力を受け付け，正置化処理を実行する（Ｓ１１０）。このようにして正置化処理が実行された撮影画像情報（正置画像情報）の一例が，図２５である。
【００９１】
また正置化処理部２２は，上述で正置化処理をした撮影画像情報に対応する深さマップに対して，同様の正置化処理を実行する（Ｓ１１０）。これによって，正置画像情報と深さマップとを同じ位置関係で対応づけることができる。
【００９２】
以上のように撮影画像情報，深さマップに対する正置化処理の実行後，深さ処理部２３における異常値除去処理部２３０は，深さ情報の平均値から所定範囲以上乖離している深さ情報を異常値として除去する（Ｓ１２０）。
【００９３】
そして，深さ処理部２３における面種別特定処理部２３１は，深さマップの深さ情報に基づいて面を検出し，面種別を特定する（Ｓ１３０）。
【００９４】
すなわち，面種別特定処理部２３１は，ローパスフィルタリングをした上で，深さ情報に基づいて３次元の表面モデルを形成し，平面，円筒の面，凸のゆがんだ多面体の領域の面を特定する。そして，検出した各面をラベリングし，各面の深さ情報に基づいてレベルを算出する。そして算出したレベルに基づいて，各面の前後関係を特定する。このように特定した面の前後関係を用いて，各面について，棚段の前面，商品タグ面，棚段の後板面，商品面として面の種別を特定する。
【００９５】
このように各面を特定すると，深さフェイス特定処理部２３２は，管理端末２において入力を受け付けた，陳列棚の棚段に陳列される商品のパッケージタイプに基づいて（Ｓ１４０），面種別特定処理部２３１で特定した商品面に対し，深さフェイス領域を特定する処理を実行する（Ｓ１５０）。
【００９６】
そして深さフェイス特定処理部２３２が商品面についての深さフェイス領域を特定すると，画像認識処理部２４の商品識別情報特定処理部２４１が，特定した深さフェイス領域に対応する正置画像情報の領域を画像フェイス領域として切り出し（Ｓ１６０），標本情報記憶部２６に記憶する標本情報とマッチング処理を行うことで，当該画像フェイス領域における商品の商品識別情報を特定する（Ｓ１７０)。これを画像フェイス領域ごとに行うことで，陳列棚の棚段に陳列されている商品の商品識別情報が特定できる。
【００９７】
すなわち，処理対象となる正置画像情報における画像フェイス領域と，標本情報記憶部２６に記憶する標本情報との類似性を判定し，その類似性がもっとも高い標本情報に対応する商品識別情報を特定し，特定した類似性があらかじめ定めた閾値以上であれば，上記座標で構成される画像フェイス領域に表示されている商品の商品識別情報として特定をする。そして，商品識別情報特定処理部２４１は，特定した商品識別情報を，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，深さ情報や深さマップ，フェイスを識別するためのフェイス識別情報に対応づけて商品識別情報記憶部２７に記憶する。
【００９８】
以上のような処理を実行することで，撮影した画像情報において商品が陳列されている領域を適切に設定することができるので，標本情報と類似性の比較をする際の精度を高めることができる。
【００９９】
一方，面種別特定処理部２３１において商品タグ面を特定すると，画像認識処理部２４における商品タグ内情報特定処理部２４０が，特定した商品タグ面に対応する正置画像情報の領域（商品タグ領域）を切り出し（Ｓ１８０），商品タグ領域に記載されている情報をＯＣＲ認識などにより特定する処理を実行する（Ｓ１９０）。
【０１００】
すなわち，処理対象となる正置画像情報の商品タグ領域に対してＯＣＲ認識を行い，商品タグに記載された商品識別情報，価格などの情報を特定する処理を実行する。そして特定した商品タグに記載された情報を，商品タグ内情報特定処理部２４０は，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，深さ情報や深さマップ，フェイスを識別するためのフェイス識別情報に対応づけて商品識別情報記憶部２７に記憶する。なお，商品識別情報については，商品識別情報特定処理部２４１でも認識しているので，２つの認識結果が一致している場合にはそのまま登録をし，認識結果が相違している場合にはエラー表示を行うようにしてもよい。また，優先度を設け，いずれかの認識結果を優先して登録をするようにしてもよい。
【０１０１】
以上のような処理を実行することで，撮影した画像情報において商品タグの領域を適切に設定することができるので，ＯＣＲ認識による商品タグに記載されている情報の認識精度を向上させることができる。
【実施例２】
【０１０２】
上述の実施例１では，商品識別情報特定処理部２４１が，深さフェイス特定処理部２３２で特定した深さフェイス領域に対応する正置画像情報の画像フェイス領域と，標本情報との類否判定処理を行う場合を説明したが，それに代えてまたはそれに加えて，面種別特定処理部２３１で特定した商品面の領域に基づいて，正置画像情報で対応する領域を特定し，そこから画像フェイス領域を特定して標本情報との類否の判定処理を実行するように構成してもよい。
【０１０３】
本実施例における画像認識処理部２４の処理機能の一例を図２６のブロック図に示す。本実施例の画像認識処理部２４では，さらに画像フェイス特定処理部２４２を備える。
【０１０４】
画像フェイス特定処理部２４２は，深さフェイス特定処理部２３２で特定した商品面の領域に基づいて，正置画像情報で対応する領域（商品陳列領域）を特定する。画像フェイス特定処理部２４２における画像フェイス領域の特定処理は，深さフェイス特定処理部２３２で特定した商品面に対応する正置画像情報の商品陳列領域において，商品と商品との間に生じる細く狭い陰影を特定する，画像の繰り返しパターンを特定する，パッケージの上辺の段差を特定する，商品幅が同一であるなどの制約に基づいて区切り位置を特定する，などによって，画像フェイス領域を特定する。
【０１０５】
画像フェイス領域の特定処理としては，商品のカテゴリや商品の形態によって，任意の方法を採用可能であり，上記に限定するものではない。
【０１０６】
一般的には，一つの棚段には，同じような種類の商品が置かれることが多い。その場合，商品の大きさもほぼ同じ大きさである。そこで，商品陳列領域において一つの画像フェイス領域を特定した場合，その領域を棚段において反復して設定することで，当該商品陳列領域における画像フェイス領域を特定してもよい。
【０１０７】
画像フェイス特定処理部２４２における二回目以降の画像フェイス領域の特定処理は，同一の陳列棚の同一の棚段の商品陳列領域について，前回（Ｎ−１回目）の正置画像情報で特定した画像フェイス領域の座標を，今回（Ｎ回目）の正置画像情報で特定した画像フェイス領域の座標とするようにしてもよい。
【０１０８】
そして商品識別情報特定処理部２４１は，画像フェイス特定処理部２４２で特定した画像フェイス領域と，標本情報記憶部２６に記憶する標本情報との類否判定を行うことで，当該画像フェイス領域にある商品の商品識別情報を特定する。
【０１０９】
本実施例のように，画像フェイス特定処理部２４２における，深さマップに基づいて特定した商品面を用いて正置画像情報における画像フェイス領域を特定する処理は，たとえば深さフェイス特定処理部２３２で深さフェイス領域を特定できなかった場合に実行してもよいし，深さフェイス特定処理部２３２の処理と併存させてもよい。処理を併存させる場合としては，たとえば深さフェイス特定処理部２３２で特定した深さフェイス領域が所定の幅以上であった場合がある。この場合，商品面の全体（商品陳列領域の全体）にわたって画像フェイス特定処理部２４２の処理を実行してもよいし，所定の幅以上であった深さフェイス領域に対して画像フェイス特定処理部２４２の処理を実行してもよい。
【実施例３】
【０１１０】
上述の実施例１では，深さ処理部２３が特定した商品タグ面に対応する領域（商品タグ領域）を正置画像情報からそのまま特定をする処理を実行していた。しかし商品タグは，商品の購入者から視認しやすいように，棚段の前面にやや上方に傾いて取り付けられていることも多い。その場合，撮影画像情報を正置化処理しただけでは，商品タグが棚段の前面でやや上方に傾いた状態となる。そのため，商品タグ内情報特定処理部２４０におけるＯＣＲ認識処理を行う場合の認識精度に影響を与える可能性がある。そこで，本実施例では，正置画像情報における商品タグ面に対応する領域（商品タグ領域）について，さらに正置化することで，商品タグを正対した状態に補正する場合を説明する。
【０１１１】
本実施例における画像認識処理部２４の処理機能の一例を図２７のブロック図に示す。本実施例の画像認識処理部２４では，さらに，商品タグ領域正置化処理部２４３を有する。
【０１１２】
商品タグ領域正置化処理部２４３は，面種別特定処理部２３１で特定した商品タグ面に対応する正置画像情報の領域（商品タグ領域）を切り出し，商品タグ領域の画像情報を正置化する正置化処理を実行する。図２８に，図２５の正置画像情報から商品タグ領域を切り出した状態を示す図である。図２８（ａ）が図２５の上段にある商品タグ領域，図２８（ｂ）が図２５の下段にある商品タグ領域である。なお，図２８において，一点鎖線で示しているのが棚段の前面に対応する正置画像情報の領域であり，実線で示しているのが商品タグ領域の画像情報である。なお，以下の説明では，商品タグ面に対して正置化処理を実行する場合であるが，商品タグは棚段の前面に位置することが多い。そのため，棚段の前面および／または商品タグ領域に対して正置化処理をすることでもよい。その場合は，商品タグ領域を棚段の前面に対応する正置画像情報の領域に読み替えればよい。
【０１１３】
商品タグ領域正置化処理部２４３は，以下のような処理を実行することで，正置画像情報における商品タグ領域を正置化する。すなわち，正置画像情報における商品タグ領域において，エッジ検出を行い，左右の両端に近い箇所で，一定の長さ以上の垂直に近い輪郭線（たとえば７０度から１１０度のように，垂直（９０度）から所定範囲の角度内の輪郭線）を特定する。なお，左右の両端に近い箇所の輪郭線を抽出することが好ましいが，それに限定しない。図２８の正置画像情報の商品タグ領域の場合，Ｌ１乃至Ｌ４をそれぞれ特定する。なお，特定する輪郭線Ｌ１乃至Ｌ４は，実際に商品タグ領域に描画するわけではない。そして図２８（ａ）のＬ１，Ｌ２，図２８（ｂ）のＬ３，Ｌ４が，それぞれ垂直線となるように，商品タグ領域に対する台形補正処理をそれぞれ実行する。
【０１１４】
このような処理を実行することで，商品タグ領域の画像情報を正置化し，図２９に示す正置化した商品タグ領域の画像情報を得られる。なお，商品タグ領域正置化処理部２４３の処理を実行することで，商品タグ内情報特定処理部２４０のＯＣＲ認識の精度を向上させることができる。
【０１１５】
そして，商品タグ内情報特定処理部２４０は，正置化処理をした商品タグ領域に対して，実施例１におけるＯＣＲ認識処理を実行する。
【実施例４】
【０１１６】
上述の実施例３では，商品タグが棚段の前面でやや上方に傾いた状態で取り付けられている状態を補正するため，商品タグ領域について正置化処理を実行する一例を示した。本実施例では別の正置化処理として，面種別特定処理部２３１で特定した商品タグ面の法線が視点方向を向くように，商品タグ面に対応する正置画像情報の領域である商品タグ領域を３次元空間上で回転させることにより，より正確に正置化処理を実行することができる。
【０１１７】
商品タグ領域，商品面などを模式的に示すのが図３０である。図３０（ａ）は，商品タグ面，商品面を斜め上方からイメージ化した図であり，図３０（ｂ）は，商品タグ面，商品面を側面からイメージ化した図である。
【０１１８】
商品タグ領域正置化処理部２４３は，面種別特定処理部２３１で特定した商品タグ面の法線ベクトルを算出し，その法線ベクトルが，撮影装置における深さ情報を取得するための深さ検出装置，たとえば赤外線照射装置やステレオカメラを向くように，商品タグ面を３次元空間上で垂直方向および／または水平方向へ回転させる変換を特定する。そして，面種別特定処理部２３１で特定した商品タグ面に対応する正置画像情報における商品タグ領域に，特定した垂直方向および／または水平方向へ回転させる変換を実施する。これを模式的に示すのが図３１である。図３１（ａ）は正面からの図であり，図３１（ｂ）は側面からの図である。
【０１１９】
本実施例のような正置化処理を実行することで，商品タグ面の輪郭がいびつな形状である場合や商品タグが陳列棚の前面に左右方向に傾いて設置されている場合でも，より精度よく正置化することができる。
【０１２０】
なお，上述における商品タグ面の特定としては，面種別特定処理部２３１において検出した面と，その面のレベルによる前後関係とに基づいて，商品識別情報特定処理部２４１において深さ処理部２３で特定した深さフェイス領域における面よりも前側の面（レベルが小さい面）を商品タグ面として特定してもよい。たとえば前回（Ｎ−１回目）の処理で特定した深さフェイス領域における面を用いて，今回（Ｎ回目）の処理における商品タグ面，商品面の特定に用いてもよい。
【実施例５】
【０１２１】
本発明の情報処理システムにおいて，さらに陳列棚に陳列されている商品の欠品を特定できるように構成してもよい。この場合，深さ処理部２３において，深さ情報を用いて面種別特定処理部２３１が検出した商品面よりも所定値または所定割合だけレベルが後方（レベルが大きい）の面の部分であって，商品面と水平方向がそろっている領域を「空」として判定をする。そして画像認識処理部２４は，深さ処理部２３において「空」と判定した領域に対応する正置画像情報における領域について，陳列棚において商品が陳列されていない領域として判定をする。
【０１２２】
このような処理を実行することによって，陳列棚に商品の抜け（「空」である）があることを判定することができる。
【０１２３】
通常，画像情報のみから「空」を判定するためには，本来，商品があるべき位置が周囲よりも暗い，背景色と同じ色であるなどに基づいて特定をするが，照明の状態や撮影の角度によっては精度を保つことが難しい場合がある。しかし，本実施例のように，撮影画像情報または正置画像情報に対応した深さ情報を用いて商品面のレベルを特定し，特定した商品面よりも一定程度後退している領域を「空」として判定することで，画像情報のみから「空」を判定するよりも高い精度で判定をすることができる。
【実施例６】
【０１２４】
上述の実施例１乃至実施例５の処理を，適宜，組み合わせることもできる。またその各処理については，本発明の明細書に記載した順序に限定するものではなく，その目的を達成する限度において適宜，変更することが可能である。また，深さ処理部２３，画像認識処理部２４における各処理は，撮影画像情報に対して正置化処理を実行した正置画像情報に対して実行したが，撮影画像情報に対して実行をしてもよい。その場合，正置画像情報を，撮影画像情報と読み替えればよい。また撮影画像情報，正置画像情報を総称して，単に画像情報とする。
【０１２５】
さらに，本発明の情報処理システムは，店舗の陳列棚を撮影した撮影画像情報の場合に有効であるが，それに限定するものではない。すなわち，ある撮影対象物を撮影した場合に，その所望の対象物が写っている領域を撮影した画像情報から特定する際に，広く用いることができる。そして，上述の各処理を実行することで，精度よく，所望の対象物が写っている領域を画像情報から特定することができる。
【産業上の利用可能性】
【０１２６】
本発明の情報処理システム１を用いることによって，撮影対象物を撮影した画像情報から，所定の領域を精度よく特定することができる。とくに，陳列棚を撮影した画像における商品の陳列部分，商品タグの領域を精度よく特定することができる。
【符号の説明】
【０１２７】
１：情報処理システム
２：管理端末
３：入力端末
２０：撮影画像情報入力受付処理部
２１：深さ入力受付処理部
２２：正置化処理部
２３：深さ処理部
２４：画像認識処理部
２５：画像情報記憶部
２６：標本情報記憶部
２７：商品識別情報記憶部
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置
２３０：異常値除去処理部
２３１：面種別特定処理部
２３２：深さフェイス特定処理部
２４０：商品タグ内情報特定処理部
２４１：商品識別情報特定処理部
２４２：画像フェイス特定処理部
２４３：商品タグ領域正置化処理部
【図１】
2020021520.tif 000003
【図２】
2020021520.tif 000004
【図３】
2020021520.tif 000005
【図４】
2020021520.tif 000006
【図５】
2020021520.tif 000007
【図６】
2020021520.tif 000008
【図７】
2020021520.tif 000009
【図８】
2020021520.tif 000010
【図９】
2020021520.tif 000011
【図１０】
2020021520.tif 000012
【図１１】
2020021520.tif 000013
【図１２】
2020021520.tif 000014
【図１３】
2020021520.tif 000015
【図１４】
2020021520.tif 000016
【図１５】
2020021520.tif 000017
【図１６】
2020021520.tif 000018
【図１７】
2020021520.tif 000019
【図１８】
2020021520.tif 000020
【図１９】
2020021520.tif 000021
【図２０】
2020021520.tif 000022
【図２１】
2020021520.tif 000023
【図２２】
2020021520.tif 000024
【図２３】
2020021520.tif 000025
【図２４】
2020021520.tif 000026
【図２５】
2020021520.tif 000027
【図２６】
2020021520.tif 000028
【図２７】
2020021520.tif 000029
【図２８】
2020021520.tif 000030
【図２９】
2020021520.tif 000031
【図３０】
2020021520.tif 000032
【図３１】
2020021520.tif 000033
【図３２】
2020021520.tif 000034
【図３３】
2020021520.tif 000035