(57)【要約】  本発明は、複数種類の認識対象各々の画像及び／又は特徴量を含む登録データを用いた画像認識処理により、処理対象の画像に含まれる１つ又は複数の認識対象を認識する画像処理部（１２）と、処理対象の画像内でエリアを１つ又は複数指定するとともに、エリアに対応付けて属性情報を指定するエリア毎属性指定部（１１）と、画像処理部（１２）による画像認識処理の結果と、エリア毎属性指定部（１１）が指定したエリアおよび属性情報とに基づき、処理対象の画像に含まれる１つ又は複数の認識対象を決定する決定部（１３）と、を有する画像処理装置（１０）を提供する。
2018016214.tif 000002
【特許請求の範囲】
【請求項１】
複数種類の認識対象各々の画像及び／又は特徴量を含む登録データを用いた画像認識処理により、処理対象の画像に含まれる１つ又は複数の前記認識対象を認識する画像処理手段と、
前記処理対象の画像内でエリアを１つ又は複数指定するとともに、前記エリアに対応付けて属性情報を指定するエリア毎属性指定手段と、
前記画像処理手段による画像認識処理の結果と、前記エリア毎属性指定手段が指定した前記エリアおよび前記属性情報とに基づき、前記処理対象の画像に含まれる１つ又は複数の前記認識対象の認識結果を決定する決定手段と、
を有する画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記エリア毎属性指定手段は、
前記処理対象の画像を表示する手段と、
表示した前記処理対象の画像上で、前記エリア及び前記属性情報を指定する入力情報をユーザから受付け、前記入力情報に基づいて、前記エリアおよび前記属性情報を指定する手段と、
を有する画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記エリア毎属性指定手段は、
前記処理対象の画像内の文字列を認識する手段と、
認識した文字列に基づき前記エリア及び前記属性情報を指定する手段と、
を有する画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記認識対象は、棚に陳列された商品であり、
前記エリア毎属性指定手段は、棚に付された値札の文字列、及び、商品に付された文字列の少なくとも一方を認識し、当該文字列に基づき前記エリア及び前記属性情報を指定する画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記エリア毎属性指定手段は、複数の前記値札各々に対応して前記エリアを指定するとともに、前記値札各々に記載された値段に対応する前記属性情報を、前記値札各々に対応する前記エリアに指定する画像処理装置。
【請求項６】
請求項１から５のいずれか１項に記載の画像処理装置において、
前記認識対象の中には、外観デザインが同一又は類似し、かつ、大きさが互いに異なる類似認識対象群が含まれ、
前記エリア毎属性指定手段は、前記エリア毎に、前記大きさを識別する前記属性情報を指定する画像処理装置。
【請求項７】
請求項６に記載の画像処理装置において、
前記決定手段は、第１の前記エリアに位置する第１の前記認識対象に対する前記画像認識処理の結果が、前記第１のエリアに対応して指定された前記属性情報と矛盾する場合、前記第１の認識対象の前記認識結果として、前記画像認識処理の結果で示される前記認識対象が属する前記類似認識対象群の中の前記属性情報と合致する前記認識対象を決定する画像処理装置。
【請求項８】
請求項６に記載の画像処理装置において、
前記決定手段は、第１の前記エリアに位置する第１の前記認識対象に対する前記画像認識処理の結果の中に同じ前記類似認識対象群に属する複数の前記認識対象が含まれる場合、前記第１の認識対象の前記認識結果として、当該複数の前記認識対象の中の前記第１のエリアに対応して指定された前記属性情報と合致する前記認識対象を決定する画像処理装置。
【請求項９】
請求項１から８のいずれか１項に記載の画像処理装置において、
前記決定手段が決定した前記認識結果に基づき、前記認識対象毎に前記処理対象の画像上で抽出された数をカウントするカウント手段と、
前記認識対象毎にカウントされた数が予め定められた条件を満たすか判断する判断手段と、
をさらに有する画像処理装置。
【請求項１０】
請求項１から９のいずれか１項に記載の画像処理装置において、
前記認識対象は、棚に陳列された商品であり、
前記画像処理手段は、認識した前記認識対象各々の陳列位置を特定する画像処理装置。
【請求項１１】
請求項１０に記載の画像処理装置において、
前記処理対象の画像内で認識した商品の商品コードと、前記処理対象の画像内で認識した当該商品各々の数とを、陳列順に並べた情報を出力する画像処理装置。
【請求項１２】
コンピュータが、
複数種類の認識対象各々の画像及び／又は特徴量を含む登録データを用いた画像認識処理により、処理対象の画像に含まれる１つ又は複数の前記認識対象を認識する画像処理工程と、
前記処理対象の画像内でエリアを１つ又は複数指定するとともに、前記エリアに対応付けて属性情報を指定するエリア毎属性指定工程と、
前記画像処理工程による画像認識処理の結果と、前記エリア毎属性指定工程により指定された前記エリアおよび前記属性情報とに基づき、前記処理対象の画像に含まれる１つ又は複数の前記認識対象を決定する決定工程と、
を有する画像処理方法。
【請求項１３】
コンピュータを、
複数種類の認識対象各々の画像及び／又は特徴量を含む登録データを用いた画像認識処理により、処理対象の画像に含まれる１つ又は複数の前記認識対象を認識する画像処理手段、
前記処理対象の画像内でエリアを１つ又は複数指定するとともに、前記エリアに対応付けて属性情報を指定するエリア毎属性指定手段、
前記画像処理手段による画像認識処理の結果と、前記エリア毎属性指定手段が指定した前記エリアおよび前記属性情報とに基づき、前記処理対象の画像に含まれる１つ又は複数の前記認識対象を決定する決定手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
特許文献１には、ハンディターミナルを用いて、棚に並べられた商品を所定の順番でスキャニングし、スキャンデータを用いて棚割レイアウトを生成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２２０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の技術の場合、商品１つ１つに対してスキャニング操作を行う必要がある。このため、作業に要する時間や労力の負担が大きい。【０００５】
本発明者らは、上記問題を解決するため、画像認識技術を利用することを検討した。しかし、複数の商品の中には、外観デザインが同一又は類似し、かつ、商品の大きさが互いに異なる類似商品群（例：３５０ｍｌ缶のドリンクＡ及び５００ｍｌ缶のドリンクＡ、９０ｇの菓子Ｂ及び２１０ｇの菓子Ｂ等）が含まれる。画像認識技術でこのような類似商品群を精度よく認識するのは難しい。なお、認識対象が商品以外の場合にも同様の問題が起こり得る。【０００６】
本発明は、画像認識技術を用いて認識対象を認識する処理の精度を向上させることを課題とする。
【課題を解決するための手段】
【０００７】
本発明によれば、
複数種類の認識対象各々の画像及び／又は特徴量を含む登録データを用いた画像認識処理により、処理対象の画像に含まれる１つ又は複数の前記認識対象を認識する画像処理手段と、
前記処理対象の画像内でエリアを１つ又は複数指定するとともに、前記エリアに対応付けて属性情報を指定するエリア毎属性指定手段と、
前記画像処理手段による画像認識処理の結果と、前記エリア毎属性指定手段が指定した前記エリアおよび前記属性情報とに基づき、前記処理対象の画像に含まれる１つ又は複数の前記認識対象の認識結果を決定する決定手段と、
を有する画像処理装置が提供される。【０００８】
また、本発明によれば、
コンピュータが、
複数種類の認識対象各々の画像及び／又は特徴量を含む登録データを用いた画像認識処理により、処理対象の画像に含まれる１つ又は複数の前記認識対象を認識する画像処理工程と、
前記処理対象の画像内でエリアを１つ又は複数指定するとともに、前記エリアに対応付けて属性情報を指定するエリア毎属性指定工程と、
前記画像処理工程による画像認識処理の結果と、前記エリア毎属性指定工程により指定された前記エリアおよび前記属性情報とに基づき、前記処理対象の画像に含まれる１つ又は複数の前記認識対象を決定する決定工程と、
を有する画像処理方法が提供される。【０００９】
また、本発明によれば、
複数種類の認識対象各々の画像及び／又は特徴量を含む登録データを用いた画像認識処理により、処理対象の画像に含まれる１つ又は複数の前記認識対象を認識する画像処理手段、
前記処理対象の画像内でエリアを１つ又は複数指定するとともに、前記エリアに対応付けて属性情報を指定するエリア毎属性指定手段、
前記画像処理手段による画像認識処理の結果と、前記エリア毎属性指定手段が指定した前記エリアおよび前記属性情報とに基づき、前記処理対象の画像に含まれる１つ又は複数の前記認識対象を決定する決定手段、
として機能させるプログラムが提供される。
【発明の効果】
【００１０】
本発明によれば、画像認識技術を用いて認識対象を認識する処理の精度が向上する。
【図面の簡単な説明】
【００１１】
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。【００１２】
【図１】本実施形態の装置のハードウエア構成の一例を概念的に示す図である。
【図２】本実施形態の画像処理装置の機能ブロック図の一例である。
【図３】本実施形態の画像処理装置が使用するデータの一例を模式的に示す図である。
【図４】本実施形態の処理画像の一例を模式的に示す図である。
【図５】本実施形態の処理画像でエリア及び属性情報を指定する処理の一例を説明するための図である。
【図６】本実施形態の画像処理装置が出力する画面の一例を模式的に示す図である。
【図７】本実施形態の画像処理装置の処理の流れの一例を示すフローチャートである。
【図８】本実施形態の画像処理装置が使用するデータの一例を模式的に示す図である。
【図９】本実施形態の画像処理装置の機能ブロック図の一例である。
【図１０】本実施形態の実施例の構成例を示す機能ブロック図である。
【発明を実施するための形態】
【００１３】
まず、本実施形態の装置（画像処理装置）のハードウエア構成の一例について説明する。本実施形態の装置が備える各部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
【００１４】
図１は、本実施形態の装置のハードウエア構成を例示するブロック図である。図１に示すように、装置は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。なお、周辺回路４Ａを有さなくてもよい。
【００１５】
バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置（例：キーボード、マウス、マイク等）、外部装置、外部サーバ、外部センサ等から情報を取得するためのインターフェイスや、出力装置（例：ディスプレイ、スピーカ、プリンター、メーラ等）、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
【００１６】
以下、本実施の形態について説明する。なお、以下の実施形態の説明において利用する機能ブロック図は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。これらの図においては、各装置は１つの機器により実現されるよう記載されているが、その実現手段はこれに限定されない。すなわち、物理的に分かれた構成であっても、論理的に分かれた構成であっても構わない。なお、同一の構成要素には同一の符号を付し、適宜説明を省略する。
【００１７】
＜第１の実施形態＞
まず、本実施形態の概要について説明する。本実施形態の画像処理装置は、複数種類の認識対象各々の外観画像又は外観の特徴量を含む登録データを用いて画像認識処理を行い、処理対象の画像（以下、「処理画像」）に含まれる１つ又は複数の認識対象を認識する。
【００１８】
また、画像処理装置は、処理画像内でエリアを１つ又は複数指定するとともに、当該エリアに対応付けて属性情報を指定する。例えば、ユーザが、３５０ｍｌ缶が並ぶ画像上のエリアを指定するとともに、当該エリアに対応付けて３５０ｍ缶（属性情報）を指定する入力を行う。そして、画像処理装置は、ユーザの入力内容に従い、処理画像上で１つ又は複数のエリアを指定するとともに、各エリアに対応付けて属性情報を指定する。
【００１９】
次いで、画像処理装置は、画像認識処理の結果と、指定したエリアおよび属性情報とに基づき、処理画像に含まれる１つ又は複数の認識対象の認識結果を決定する。本実施形態の画像処理装置は、画像認識処理の結果をそのまま認識結果とするのでなく、必要に応じて画像認識処理の結果をエリア及び属性情報で校正した結果を認識結果とする。これにより、画像認識処理の精度を向上させる。
【００２０】
次に、本実施形態の画像処理装置の構成について詳細に説明する。図２に、本実施形態の画像処理装置１０の機能ブロック図の一例を示す。図示するように、画像処理装置１０は、エリア毎属性指定部１１と、画像処理部１２と、決定部１３とを有する。
【００２１】
画像処理部１２は、複数種類の認識対象各々の画像（例：外観画像）及び／又は特徴量（例：外観の特徴量）を含む登録データを用いた画像認識処理により、処理画像に含まれる１つ又は複数の認識対象を認識する。処理画像は、例えば、商品が陳列された棚を撮影した画像である。
【００２２】
認識対象は、例えば店舗で陳列・販売される商品である。このような認識対象としては、飲料、食品、日用品、家電、雑貨等が例示されるが、これらに限定されない。その他、認識対象は、工場等で利用される工業品（例：原料等）等であってもよいし、会社等に在庫されている在庫品等であってもよい。
【００２３】
各種認識対象は、各々固有の外観の特徴を有する。認識対象の中には、外観デザインが同一又は類似し、かつ、大きさが互いに異なる類似認識対象群が含まれる。例えば、容量違いの商品（例：１３５ｍｌ缶のドリンクＡ、３５０ｍｌ缶のドリンクＡ、５００ｍｌ缶のドリンクＡ、３５０ｍ缶×６本のドリンクＡ、及び、５００ｍ缶×６本のドリンクＡ）等が類似認識対象群となる。なお、類似認識対象群に属する認識対象の数は様々であり、ここで例示したものに限定されない。
【００２４】
次に、登録データについて説明する。登録データは、複数種類の認識対象各々を識別する情報（例：商品コード、商品名等）と、各々の外観画像及び／又は外観の特徴量とを対応付けたデータである。ある類似認識対象群に属する複数の認識対象は、各々、異なる種類の認識対象である。
【００２５】
なお、登録データにおいては、１つの認識対象に対応付けて、複数の外観画像及び／又は外観の特徴量が登録されてもよい。例えば、認識対象を複数の方向（例：正面、上面、右側面、左側面、背面、底面等）各々から観察した際の外観画像及び／又は外観の特徴量が登録されてもよい。
【００２６】
また、登録データにおいては、一部または全部の認識対象に対応付けて、各認識対象の属性情報が登録されてもよい。属性情報は、同じ類似認識対象群に属する複数の認識対象を識別する情報（例：大きさを識別する情報）を含む。
【００２７】
図３に、登録データの一例を模式的に示す。図示する登録データは、認識対象が店舗で陳列・販売される商品である場合のものである。図示する登録データは、商品コード、商品名、属性情報、類似グループＩＤ（identifier）及び外観データを互いに対応付けている。
【００２８】
類似グループＩＤは、複数の類似認識対象群各々を識別する情報である。同じ類似認識対象群に属する複数の商品に対して、同じ類似グループＩＤが付される。外観データは、各商品の外観の特徴量、各商品の外観画像のファイル名、保存場所等の情報を含み得る。
【００２９】
次に、画像認識処理について説明する。画像処理部１２は、登録データを用いた画像認識処理により、処理画像内に含まれる１つ又は複数の認識対象を認識する。すなわち、画像処理部１２は、処理画像内に含まれる認識対象を抽出するとともに、その商品コードや商品名等を特定する。
【００３０】
画像認識処理のアルゴリズムは設計的事項であり、特段制限されない。以下一例を説明するが、これらに限定されない。
【００３１】
例えば、処理画像上で所定の大きさ及び形状の処理エリアを決定し、当該処理エリア内の画像（処理エリア画像）と、複数種類の認識対象各々の外観画像及び／又は外観の特徴量（登録データ）とを用いた演算処理により、当該処理エリア内に認識対象が存在するか否か、存在する場合はその詳細（商品コードや商品名）を判別してもよい。例えば、処理エリア画像と、一の認識対象の登録データとの類似度が所定値以上である場合、当該処理エリア内にその認識対象が存在すると判別してもよい。そして、処理エリアの位置及び大きさを処理画像上で変化させながら、上記処理を繰り返し行うことで、処理画像内に含まれる１つ又は複数の認識対象を認識してもよい。
【００３２】
その他、輪郭抽出処理で処理画像内の輪郭を抽出した後、予め登録している認識対象の輪郭形状と合致又は所定レベル以上類似するものを処理エリアとして特定してもよい。そして、処理エリア内の画像と、複数種類の認識対象各々の外観画像及び／又は外観の特徴量（登録データ）とを用いた演算処理により、処理エリア内に認識対象が存在するか否か、存在する場合はその詳細（商品コードや商品名）を判別してもよい。そして、特定した処理エリアすべてに対して上記処理を行うことで、処理画像内に含まれる１つ又は複数の認識対象を認識してもよい。
【００３３】
画像処理部１２は、画像認識処理の結果として、少なくとも、認識した認識対象各々を識別する情報（例：商品コード、商品名等）と、各々の処理画像内の位置（例：上記処理エリアの位置）とを対応付けた１つ又は複数のペアを出力する。処理画像内の位置を示す情報は、例えば座標を用いて処理エリアの位置、大きさ、形状等を示す情報であってもよい。
【００３４】
なお、１つの上記処理エリアに対応して、複数の認識対象が認識された場合（例：類似度が所定レベル以上のものが複数ある場合）、その処理画像内の位置（例：上記処理エリアの位置）と、認識された複数の認識対象とを対応付けた画像認識処理の結果を出力してもよい。すなわち、上記ペアにおける認識した認識対象を識別する情報（例：商品コード、商品名等）と、処理画像内の位置（例：上記処理エリアの位置）との関係は、多対１であってもよい。
【００３５】
その他、１つの上記処理エリアに対応して、複数の認識対象が認識された場合（例：類似度が所定レベル以上のものが複数ある場合）、その処理画像内の位置（例：上記処理エリアの位置）と、最も類似度が高い認識対象を識別する情報（例：商品コード、商品名等）とを対応付けた画像認識処理の結果を出力してもよい。
【００３６】
また、処理画像として、棚に陳列された商品を撮影した画像が入力された場合、画像処理部１２は、以下のような内容をさらに特定し、画像認識処理の結果として出力してもよい。
【００３７】
例えば、画像処理部１２は、認識した認識対象各々の棚における陳列位置を特定し、画像認識処理の結果として出力してもよい。棚における陳列位置は、棚段番号（例：処理画像に写る段を下から数えた段番号）、及び、棚位置（例：処理画像に写る各段の商品を左から数えた位置番号。）を含んでもよい。
【００３８】
その他、画像処理部１２は、認識対象各々のフェース面（処理画像に写る面。正面、上面、右側面、左側面、背面、底面等。）を特定し、画像認識処理の結果として出力してもよい。その他、画像処理部１２は、認識対象各々のフェース回転（正面がどちらにどれだけ回転した状態で処理画像に写っているか。０度、左９０度、１８０度、右９０度等。）を特定し、画像認識処理の結果として出力してもよい。これらは、認識対象を複数の方向（例：正面、上面、右側面、左側面、背面、底面等）各々から観察した際の外観画像及び／又は外観の特徴量（登録データ）を用いて画像認識処理を行うことで、特定できる。
【００３９】
図２に戻り、エリア毎属性指定部１１は、処理画像内でエリアを１つ又は複数指定するとともに、指定したエリア各々に対応付けて属性情報を指定する。指定する属性情報は、同じ類似認識対象群に属する複数の認識対象を識別する情報（図３の属性情報参照）を含む。
【００４０】
本実施形態のエリア毎属性指定部１１は、処理画像を表示する手段と、表示した処理画像上で、エリア及び属性情報を指定する入力情報をユーザから受付け、当該入力情報に基づいてエリアおよび属性情報を指定する手段と、を有する。すなわち、本実施形態のエリア毎属性指定部１１は、ユーザ入力に基づき、エリア及び属性情報を指定する。
【００４１】
処理画像の表示は、ディスプレイ、投影装置等のあらゆる出力装置を介して実現される。エリア及び属性情報のユーザ指定の受付けは、キーボード、マウス、タッチパネルディスプレイ、操作ボタン、カメラ、マイク等、あらゆる入力装置を介して実現される。
【００４２】
図４に、エリア毎属性指定部１１により表示された処理画像Ｐの一例を模式的に示す。図は、棚に陳列された商品を撮影した画像であるが、商品を省略している。棚は、複数の棚板により複数段（図では４段）に分かれている。各段に対応して商品を陳列する空間（商品陳列部１０２）が存在する。棚板及び底板の前面には、値札１０３を設置する値札設置部１０１が存在する。各値札１０３は、対応する商品の陳列位置に対応して設置される。図では、値札１０３は、棚を正面から観察した平面視で、対応する商品の下（好ましくは真下）に位置するよう設置されている。
【００４３】
次に、図５を用いて、処理画像Ｐ上でエリア及び属性情報の指定をユーザから受付ける処理の一例を説明する。
【００４４】
例えば、ユーザは、所定の入力装置を操作し、処理画像Ｐ内の所定のエリアを指定する。すると、図示するように、エリア毎属性指定部１１は、指定されたエリアを示す枠３００を処理画像Ｐに重ねて表示する。そして、エリア毎属性指定部１１は、指定されたエリアに対応して属性情報を指定する入力を受付ける。図示する例では、枠３００に対応付けて属性情報の入力を受付けるウインドウを表示している。当該ウインドウでは、属性情報を選択するＧＵＩ（graphical user interface）部品（ドロップダウンリスト）と、属性情報の決定、及び、指定したエリアの解除を行うためのＧＵＩ部品（選択ボタン）とが表示されている。なお、その他のＧＵＩ部品を用いてもよい。
【００４５】
エリア毎属性指定部１１は、処理画像Ｐのすべてを埋めるように、１つ又は複数のエリアの指定を受付けてもよい。その他、エリア毎属性指定部１１は、処理画像Ｐ内の一部のみを埋めるように、１つ又は複数のエリアの指定を受付けてもよい。すなわち、処理画像Ｐ内にエリアとして指定されない部分が存在してもよい。
【００４６】
図２に戻り、決定部１３は、画像処理部１２による画像認識処理の結果と、エリア毎属性指定部１１が指定したエリアおよび属性情報とに基づき、処理画像に含まれる１つ又は複数の認識対象の認識結果を決定する。
【００４７】
ここで、決定部１３による決定処理の一例を説明する。例えば、決定部１３は、エリア毎属性指定部１１により指定された第１のエリアに位置する第１の認識対象に対する画像認識処理の結果が、当該第１のエリアに対応して指定された属性情報と矛盾するか、判断してもよい。そして、矛盾する場合、決定部１３は、第１の認識対象の認識結果として、画像認識処理の結果で示される認識対象が属する類似認識対象群の中の属性情報と合致する認識対象を決定してもよい。一方、矛盾しない場合、決定部１３は、第１の認識対象に対する画像認識処理の結果を、第１の認識対象の認識結果としてもよい。
【００４８】
当該処理の一例を説明する。まず、決定部１３は、画像認識処理の結果に含まれる１つ又は複数の上記ペア（少なくとも、認識した認識対象を識別する情報（例：商品コード、商品名等）と、処理画像内の位置（例：上記処理エリアの位置）とを対応付けたペア）の中から、処理画像内の位置が上記第１のエリアに含まれる（例：すべてが含まれる、一部が含まれる、又は、所定割合以上が含まれる）ものを抽出する。
【００４９】
その後、決定部１３は、登録データ（図３参照）と、抽出したペアに含まれる認識対象の識別情報（商品コード、商品名等）とを用いて、ペア毎に認識対象の属性情報を特定する。次いで、決定部１３は、特定した属性情報と、第１のエリアに対応して指定された属性情報が一致するか否かをペア毎に判断する。そして、一致しない場合、決定部１３はそのペアの画像認識処理の結果は矛盾すると判断する。一方、一致する場合、決定部１３はそのペアの画像認識処理の結果は矛盾しないと判断する。
【００５０】
矛盾すると判断した場合、決定部１３は、登録データ（図３参照）と、そのペアに含まれる認識対象の識別情報とを用いて、画像認識処理で認識された認識対象と同じ類似認識対象群に属する認識対象（同じ類似グループＩＤを対応付けられている認識対象）を特定する。そして、特定した認識対象の中から、属性情報が、第１のエリアに対応して指定された属性情報と一致するものを特定する。そして、決定部１３は、処理中の上記ペアに含まれる認識対象の識別情報を、新たに特定した認識対象の識別情報に変更する。
【００５１】
例えば、属性情報「３５０ｍｌ缶」が指定されている第１のエリアに位置する認識対象に対する画像認識処理の結果（類似度が最も高い認識対象）が、「商品Ａ：５００ｍｌ缶」であった場合、決定部１３は、矛盾すると判断する。そして、決定部１３は、当該認識対象に対する認識結果として、「商品Ａ：３５０ｍｌ缶」を決定する。
【００５２】
次に、決定部１３による決定処理の他の例を説明する。例えば、決定部１３は、第１のエリアに位置する第１の認識対象に対する画像認識処理の結果の中に同じ類似認識対象群に属する複数の認識対象が含まれる場合、第１の認識対象の認識結果として、当該複数の認識対象の中の第１のエリアに対応して指定された属性情報と合致する認識対象を決定してもよい。
【００５３】
当該処理の一例を説明する。まず、決定部１３は、上記ペア（少なくとも、認識した認識対象を識別する情報（例：商品コード、商品名等）と、処理画像内の位置（例：上記処理エリアの位置）とを対応付けたペア）の中から、認識した認識対象を識別する情報（例：商品コード、商品名等）と、処理画像内の位置（例：上記処理エリアの位置）との関係が多対１となっているものを抽出する。そして、決定部１３は、登録データ（図３参照）を参照し、抽出したペア各々に含まれる複数の認識対象を識別する情報の中から、属性情報が第１のエリアに対応して指定された属性情報と合致するものを抽出する。そして、決定部１３は、抽出した認識対象を識別する情報を、処理中のペアに含まれる処理画像内の位置の認識結果として決定する。
【００５４】
例えば、属性情報「３５０ｍｌ缶」が指定されている第１のエリアに位置する認識対象に対する画像認識処理の結果として、「商品Ａ：５００ｍｌ缶」、「商品Ａ：３５０ｍｌ缶」及び「商品Ａ：１３５ｍｌ缶」が認識されている場合、決定部１３は、「商品Ａ：３５０ｍｌ缶」をその認識対象の画像認識処理の結果として決定する。なお、第１のエリアに位置する認識対象に対する画像認識処理の結果の中に、第１のエリアに対応して指定された属性情報と合致する認識対象が複数存在する場合（例：商品Ａ３５０ｍｌ缶、商品Ｂ３５０ｍｌ缶）、決定部１３は、その中の類似度が最も高い認識対象を認識結果として決定してもよい。
【００５５】
決定部１３は、例えば上述のようにして決定した認識結果を出力する。なお、決定部１３は、エリア毎属性指定部１１によりエリア指定されていない部分に位置する認識対象においては、画像認識処理の結果をそのまま認識結果として出力することができる。
【００５６】
画像処理装置１０は、決定部１３から出力された認識結果をディスプレイ、投影装置等の出力装置を介して出力してもよい。例えば、画像処理装置１０は、処理画像と重ねて、決定部１３により決定された認識結果を出力してもよい。
【００５７】
図６に、出力画像の一例を模式的に示す。当該図では、処理画像の一部のみを拡大表示している。当該図では、認識対象（商品１０４）が認識された処理画像内の位置に対応付けて枠２００を表示するとともに、各枠２００に対応付けて認識結果の内容を識別する付属情報２０１が付されている。付属情報２０１は、例えば、文字、数字、記号、絵等により構成されてもよい。付属情報２０１は、例えば、画像認識処理で算出された類似度を示してもよい。その他、付属情報２０１は、決定部１３により決定された認識結果は画像認識処理の結果から変更されているか否かを示してもよい。なお、付属情報２０１は、枠２００の構成の違い（例：色の違い、形状の違い、大きさの違い、線の違い等）により上述の内容を示すものであってもよい。
【００５８】
なお、当該画面上でマウスオーバー等により１つの枠２００を指定する操作を受付けると、画像処理装置１０は、その枠に対応する認識結果を表示してもよい。すなわち、「商品Ａ：３５０ｍｌ缶」等の情報が表示されてもよい。
【００５９】
また、画像処理装置１０は、当該画面上で、認識処理の結果を修正する入力を受付けてもよい。例えば、画像処理装置１０は、１つの枠２００を指定する操作を受付けた後、その枠２００に対応する認識処理の結果を変更する入力を受付けてもよい。そして、画像処理装置１０は、当該入力に応じて、決定部１３により決定された認識結果を変更してもよい。
【００６０】
また、画像処理装置１０は、当該画面上で、新たなデータを上記登録データとして登録する入力を受付けてもよい。例えば、ユーザは、当該画面上で、処理画像の一部エリアを指定するとともに、そのエリアに表示された画像を、所定の認識対象に対応付けて登録データとして登録する入力を行ってもよい。
【００６１】
例えば、エリアの指定を受付けた後、画像処理装置１０は、対応付ける認識対象を「登録済みの認識対象から選択」するか、「新たに指定」するかの選択を受付けてもよい。
【００６２】
「登録済みの認識対象から選択」の選択を受付けた場合、画像処理装置１０は、例えば、ドロップダウリスト等のＧＵＩ部品を用いて、登録データに登録されている認識対象の識別情報（例：商品コード、商品名）の中からの選択を受付けてもよい。当該処理の利用場面としては、例えば、すでに登録されている認識対象を新たな向きから撮影した画像を登録データとして登録する場合等が考えられる。
【００６３】
一方、「新たに指定」の選択を受付けた場合、画像処理装置１０は、例えば、入力ダイアログ等のＧＵＩ部品を用いて、新たな認識対象の識別情報の入力を受付けてもよい。当該処理の利用場面としては、新商品など、登録データに登録されていない新たな認識対象の画像を新たに登録する場合等が考えられる。
【００６４】
次に、図７のフローチャートを用いて、本実施形態の画像処理装置１０の処理の流れの一例を説明する。
【００６５】
まず、画像処理装置１０は、処理画像を取得する（Ｓ１０）。
【００６６】
Ｓ１０の後、エリア毎属性指定部１１は、処理画像内でエリアを１つ又は複数指定するとともに、当該エリアに対応付けて属性情報を指定する（Ｓ１１）。本実施形態では、エリア毎属性指定部１１は、処理画像を表示し、表示した処理画像上でエリア及び属性情報の指定をユーザから受付ける。
【００６７】
また、Ｓ１０の後、画像処理部１２は、複数種類の認識対象各々の外観画像及び／又は外観の特徴量を含む登録データを用いた画像認識処理により、処理画像に含まれる１つ又は複数の認識対象を認識する（Ｓ１２）。なお、Ｓ１１及びＳ１２の処理順は、図７に示す順に限定されない。
【００６８】
その後、決定部１３は、Ｓ１１で指定された内容、及び、Ｓ１２での画像認識の処理に基づき、認識結果を決定する。
【００６９】
次に、本実施形態の作用効果を説明する。本実施形態では、画像認識処理の結果をそのまま認識結果とするのでなく、処理画像上で指定されたエリア及び属性情報を用いて校正した後の内容を認識結果とすることができる。例えば、各エリアに対応付けて類似認識対象群を識別する値（属性情報）を指定し、それに基づき画像認識処理の結果を校正する。このため、画像認識処理により類似認識対象群を精度よく認識できないという問題を、改善することができる。
【００７０】
ところで、本実施形態の一例では、認識対象が棚に陳列された商品であるが、この場合、同じ属性情報の商品がまとまって陳列されることが多い。すなわち、処理画像上で、同じ属性情報の商品は一塊になって写っていることが多い。本実施形態では、エリア及び属性情報の指定をユーザ入力に基づき行うが、上述のような事情のため、ユーザは同じ属性情報の商品が写るエリアを一度に指定して、当該属性情報を指定することができる。すなわち、処理画像上で指定するエリアの数は少なくすむ。このため、ユーザの負担が大きくなる不都合を軽減できる。
【００７１】
また、本実施形態では、認識結果を画面表示し（図６参照）、その画面から新たな登録データ（マスタ画像など）の登録を行うことができる。例えば、ユーザは、当該画面から、認識されてない認識対象（枠２００がないもの）を把握し、その認識対象の登録データを新たに登録することができる。また、ユーザは、当該画面から、画像認識処理における類似度が低かった認識対象を把握し（例：付属情報２０１に基づき把握）、その認識対象の画像を新たに登録することができる。このように、本実施形態によれば、処理画像を用いて、新たな登録データの登録を行うことができる。このため、処理を繰り返すほど、登録データを充実させることができる。結果、画像認識処理の精度が向上する。
【００７２】
また、本実施形態では、認識対象が棚に陳列された商品である場合、認識した認識対象各々の陳列位置を特定することができる。本実施形態によれば、ハンディターミナルを用いて、棚に並べられた商品を所定の順番でスキャニングするという面倒な作業を行うことなく、精度よく、陳列された商品の陳列レイアウトを再現することができる。
【００７３】
本実施形態の変形例として、画像処理部１２は、エリア毎属性指定部１１が指定した内容を用いて、画像認識処理を行ってもよい。すなわち、エリア毎属性指定部１１が指定した第１のエリア内の画像に対して画像認識処理を行う場合、登録データ（図３参照）の中の第１のエリアに対応して指定された属性情報に対応するデータのみを用いて処理を行ってもよい。例えば、第１のエリアに対応して「３５０ｍｌ缶」（属性情報）が指定されている場合、第１のエリア内の画像に対する画像認識処理においては、属性情報「３５０ｍｌ缶」を対応付けられた認識対象の外観データのみを用いて、画像認識処理を行ってもよい。このようにしても、画像認識処理の精度を向上させることができる。
【００７４】
＜第２の実施形態＞
本実施形態の画像処理装置１０は、処理画像内の文字列を認識し、認識した文字列に基づきエリア及び属性情報を指定する機能を有する点で、第１の実施形態と異なる。以下、詳細に説明する。
【００７５】
本実施形態の画像処理装置１０の機能ブロック図の一例は、第１の実施形態同様、図２で示される。図示するように、画像処理装置１０は、エリア毎属性指定部１１と、画像処理部１２と、決定部１３とを有する。エリア毎属性指定部１１を除く画像処理装置１０の構成は、第１の実施形態と同様である。
【００７６】
エリア毎属性指定部１１は、処理画像内のエリアを１つ又は複数指定するとともに、各エリアに対応付けて属性情報を指定する。本実施形態のエリア毎属性指定部１１は、処理画像内の文字列を認識する手段と、認識した文字列に基づきエリア及び属性情報を指定する手段と、を有する。
【００７７】
例えば、エリア毎属性指定部１１は、棚に陳列された商品の処理画像（図４参照）において、棚の値札設置部１０１に設置された値札１０３の文字列を認識する。そして、画像処理装置１０は、認識した値札１０３の文字列の位置に基づきエリアを指定するとともに、認識した文字列の内容に基づき、属性情報を指定する。
【００７８】
まず、値札１０３の文字列の位置に基づきエリアを指定する処理例を説明する。例えば、エリア毎属性指定部１１は、画像処理で棚の棚板や底板を認識することで、棚が有する複数の段各々を特定する。そして、エリア毎属性指定部１１は、複数の段各々を、各段に対応して認識した複数の値札１０３の文字列（例：格段の下側の商品陳列部１０２に設置された値札１０３の文字列、格段の上側の商品陳列部１０２に設置された値札１０３の文字列等）各々の位置に基づき、複数のエリアに分割する。例えば、隣接する「値札１０３の文字列」間の所定位置（例：中央）を、隣接する２つのエリアの境界としてもよい。
【００７９】
次に、値札１０３の文字列の内容に基づき属性情報を指定する処理例を説明する。例えば、エリア毎属性指定部１１は、値札１０３に記載された値段を認識してもよい。また、エリア毎属性指定部１１は、図８に示すように、価格帯毎に属性情報を定めた対応情報を予め保持しておいてもよい。そして、エリア毎属性指定部１１は、当該対応情報及び認識した値段に基づき、各エリアに対応する属性情報を指定してもよい。
【００８０】
その他、エリア毎属性指定部１１は、値札１０３に記載された属性情報（例：３５０ｍｌ缶、５００ｍｌ缶）を認識してもよい。そして、エリア毎属性指定部１１は、認識した属性情報を、各エリアに対応付けて指定してもよい。
【００８１】
なお、エリア毎属性指定部１１は、棚に付された値札１０３の文字列に代えて又は加えて、認識対象（商品）に付された文字列（商品の包装に印刷等された文字列）を認識してもよい。具体的には、エリア毎属性指定部１１は、３５０ｍｌ、５００ｍｌ等の属性情報を認識してもよい。また、エリア毎属性指定部１１は、商品名を認識してもよい。そして、エリア毎属性指定部１１は、商品名及び属性情報が同一の認識対象が写るエリアを指定し、そのエリアに対応付けて当該属性情報を指定してもよい。
【００８２】
次に、図７のフローチャートを用いて、本実施形態の画像処理装置１０の処理の流れの一例を説明する。
【００８３】
まず、画像処理装置１０は、処理画像を取得する（Ｓ１０）。
【００８４】
Ｓ１０の後、エリア毎属性指定部１１は、処理画像内のエリアを１つ又は複数指定するとともに、各エリアに対応付けて属性情報を指定する（Ｓ１１）。本実施形態では、エリア毎属性指定部１１は、処理画像内の文字列を認識し、認識した文字列に基づきエリア及び属性情報を指定する。
【００８５】
また、Ｓ１０の後、画像処理部１２は、複数種類の認識対象各々の外観画像及び／又は外観の特徴量を含む登録データを用いた画像認識処理により、処理画像に含まれる１つ又は複数の認識対象を認識する（Ｓ１２）。なお、Ｓ１１及びＳ１２の処理順は、図７に示す順に限定されない。
【００８６】
その後、決定部１３は、Ｓ１１で指定された内容、及び、Ｓ１２での画像認識の処理に基づき、認識結果を決定する。
【００８７】
次に、本実施形態の作用効果を説明する。本実施形態の画像処理装置１０によれば、第１の実施形態と同様の作用効果を実現できる。
【００８８】
また、本実施形態の画像処理装置１０は、処理画像内で認識した文字列に基づき、エリア及び属性情報を指定することができる。このため、処理画像内でエリア及び属性情報を指定するユーザ負担を軽減することができる。
【００８９】
＜第３の実施形態＞
本実施形態の画像処理装置１０は、認識対象毎に処理画像上で抽出された数をカウントし、カウントした数が予め定められた条件を満たすか判断する機能を有する点で、第１及び第２の実施形態と異なる。以下、詳細に説明する。
【００９０】
図９に、本実施形態の画像処理装置１０の機能ブロック図の一例を示す。図示するように、画像処理装置１０は、エリア毎属性指定部１１と、画像処理部１２と、決定部１３と、カウント部１４と、判断部１５とを有する。エリア毎属性指定部１１、画像処理部１２及び決定部１３の構成は、第１及び第２の実施形態と同様である。
【００９１】
カウント部１４は、決定部１３が決定した認識処理に基づき、認識対象毎に処理画像上で抽出された数をカウントする。認識対象が棚に陳列された商品の場合、棚の最前列に陳列された商品が認識される。そして、カウント部１４は、このような商品の数、すなわち各商品の列数をカウントすることとなる。
【００９２】
判断部１５は、認識対象毎にカウントされた数が予め定められた条件を満たすか判断する。
【００９３】
画像処理装置１０は、認識対象毎の判断結果（「満たす」または「満たさない」）を出力することができる。出力は、ディスプレイ、投影装置、メーラ、プリンター等のあらゆる出力装置を介して実現される。
【００９４】
次に、本実施形態の作用効果を説明する。本実施形態の画像処理装置１０によれば、第１及び第２の実施形態と同様の作用効果を実現できる。
【００９５】
また、本実施形態の画像処理装置１０は、認識対象毎に、処理画像上で抽出された数が所定の条件を満たすか判断し、その結果を出力することができる。認識対象が棚に陳列された商品の場合、商品毎に棚で割り振られた列数をカウントし、それが所定の条件を満たすか判断することができる。例えば、メーカーと小売店との間で、各商品の陳列列数の取り決めがなされているような場合、本実施形態の画像処理装置１０を用い、店舗の棚を撮影した画像を処理させることで、各商品の陳列列数が上記取り決め通りになっているか否かを、容易に把握することができる。
【００９６】
＜実施例＞
次に、本実施形態の画像処理装置１０を用いた実施例を説明する。当該実施例では、認識対象は店舗の棚に陳列された商品である。
【００９７】
図１０に、当該実施例で登場するシステムの構成例を示す。図示するように、サーバ（画像処理装置１０）と、クライアント端末２０と、撮影／通信装置３０とを有する。クライアント端末２０は、例えば、ＰＣ（personal computer）、タブレット端末、スマートフォン、携帯電話等である。撮影／通信装置３０は、例えば、スマートフォン、携帯電話等である。なお、撮影／通信装置３０は、物理的及び／又は論理的に分かれた複数の装置で構成されてもよい。例えば、撮影／通信装置３０は、撮影機能を有する装置（例：カメラ）と、通信機能を有する装置（例：ＰＣ）とで構成されてもよい。なお、クライアント端末２０及び撮影／通信装置３０は、同じ装置であってもよいし、異なる装置であってもよい。
【００９８】
以下、処理の流れとともに、各装置の処理内容を説明する。まず、作業員は、所定の店舗に赴き、撮影／通信装置３０を用いて、棚に陳列された商品を撮影する。１つの画像ファイルに、陳列状況を把握したい棚部分（例：飲料の陳列スペース）すべてを含めて撮影してもよい。その他、当該棚部分を複数の画像ファイルに分けて撮影してもよい。
【００９９】
その後、作業員は、撮影／通信装置３０を用いて、撮影した画像ファイルを画像処理装置１０にアップロードする。例えば、作業員は、店舗識別情報、撮影日時、作業員識別情報などの属性情報と対応付けて、画像ファイルをアップロードする。
【０１００】
なお、陳列状況を把握したい棚部分を複数の画像ファイルに分けて撮影した場合、作業員は、撮影／通信装置３０を用いてそれらを結合して１つの画像ファイルにした後に、アップロードしてもよい。または、複数の画像ファイルをそのまま、互いに対応付けてアップロードしてもよい。
【０１０１】
画像処理装置１０は、アップロードされた画像ファイルを属性情報と対応付けて記憶装置に蓄積する。なお、陳列状況を把握したい棚部分を撮影した複数の画像ファイルが互いに対応付けてアップロードされた場合、画像処理装置１０は、それらを結合して１つの画像ファイルにした後に、蓄積してもよい。
【０１０２】
作業員は、１つ又は複数の店舗に赴き、上記処理を行う。
【０１０３】
その後、作業員は、クライアント端末２０を操作して、画像処理装置１０にアクセスする。そして、記憶装置に蓄積されている所定の画像ファイルを処理画像として指定し、画像認識処理を実行させる。すると、画像処理装置１０の画像処理部１２は、画像認識処理を実行する。
【０１０４】
また、作業員は、クライアント端末２０のディスプレイに処理画像を表示させ、エリア及び属性情報の指定を行う。クライアント端末２０は、指定されたエリア及び属性情報を画像処理装置１０に送信する。画像処理装置１０のエリア毎属性指定部１１は、指定されたエリア及び属性情報を取得し、その入力内容に基づきエリア及び属性情報を指定する。
【０１０５】
その後、画像処理装置１０の決定部１３は、エリア毎属性指定部１１が指定した内容と、画像処理部１２による画像認識処理の結果とを用いて、認識結果を決定する。
【０１０６】
その後、決定部１３により決定された認識結果がクライアント端末２０に送信される。クライアント端末２０は、当該認識結果をディスプレイに表示する。例えば、図６に示すように、処理画像上に結果を重ねた画面が表示される。
【０１０７】
作業員は、クライアント端末２０を操作し、結果の修正、新たな登録データの登録等の入力を行う。クライアント端末２０は、入力された内容を画像処理装置１０に送信する。画像処理装置１０は、受信した内容に基づき、結果の修正、新たな登録データの登録等を行う。
【０１０８】
以上により、決定部１３により決定された認識結果、又は、当該認識結果を作業員が修正した後の認識結果が、処理画像に対応付けてサーバ側のデータベースに蓄積される。なお、サーバ（画像処理装置１０）は、当該データを用いて、処理画像内で認識した商品の商品コードと、処理対象の画像内で認識した商品各々の数（列数）とを、陳列順に並べた情報を出力してもよい。例えば、サーバは、クライアント端末２０からの要求に応じて、当該情報をクライアント端末２０に送信してもよい。そして、クライアント端末２０は、ディスプレイ等を介して当該情報を出力してもよい。当該情報は、例えばＣＳＶファイルでサーバから出力されてもよい。
【０１０９】
以下、参考形態の例を付記する。
１．  複数種類の認識対象各々の画像及び／又は特徴量を含む登録データを用いた画像認識処理により、処理対象の画像に含まれる１つ又は複数の前記認識対象を認識する画像処理手段と、
前記処理対象の画像内でエリアを１つ又は複数指定するとともに、前記エリアに対応付けて属性情報を指定するエリア毎属性指定手段と、
前記画像処理手段による画像認識処理の結果と、前記エリア毎属性指定手段が指定した前記エリアおよび前記属性情報とに基づき、前記処理対象の画像に含まれる１つ又は複数の前記認識対象の認識結果を決定する決定手段と、
を有する画像処理装置。
２．  １に記載の画像処理装置において、
前記エリア毎属性指定手段は、
前記処理対象の画像を表示する手段と、
表示した前記処理対象の画像上で、前記エリア及び前記属性情報を指定する入力情報をユーザから受付け、前記入力情報に基づいて、前記エリアおよび前記属性情報を指定する手段と、
を有する画像処理装置。
３．  １に記載の画像処理装置において、
前記エリア毎属性指定手段は、
前記処理対象の画像内の文字列を認識する手段と、
認識した文字列に基づき前記エリア及び前記属性情報を指定する手段と、
を有する画像処理装置。
４．  ３に記載の画像処理装置において、
前記認識対象は、棚に陳列された商品であり、
前記エリア毎属性指定手段は、棚に付された値札の文字列、及び、商品に付された文字列の少なくとも一方を認識し、当該文字列に基づき前記エリア及び前記属性情報を指定する画像処理装置。
５．  ４に記載の画像処理装置において、
前記エリア毎属性指定手段は、複数の前記値札各々に対応して前記エリアを指定するとともに、前記値札各々に記載された値段に対応する前記属性情報を、前記値札各々に対応する前記エリアに指定する画像処理装置。
６．  １から５のいずれかに記載の画像処理装置において、
前記認識対象の中には、外観デザインが同一又は類似し、かつ、大きさが互いに異なる類似認識対象群が含まれ、
前記エリア毎属性指定手段は、前記エリア毎に、前記大きさを識別する前記属性情報を指定する画像処理装置。
７．  ６に記載の画像処理装置において、
前記決定手段は、第１の前記エリアに位置する第１の前記認識対象に対する前記画像認識処理の結果が、前記第１のエリアに対応して指定された前記属性情報と矛盾する場合、前記第１の認識対象の前記認識結果として、前記画像認識処理の結果で示される前記認識対象が属する前記類似認識対象群の中の前記属性情報と合致する前記認識対象を決定する画像処理装置。
８．  ６に記載の画像処理装置において、
前記決定手段は、第１の前記エリアに位置する第１の前記認識対象に対する前記画像認識処理の結果の中に同じ前記類似認識対象群に属する複数の前記認識対象が含まれる場合、前記第１の認識対象の前記認識結果として、当該複数の前記認識対象の中の前記第１のエリアに対応して指定された前記属性情報と合致する前記認識対象を決定する画像処理装置。
９．  １から８のいずれかに記載の画像処理装置において、
前記決定手段が決定した前記認識結果に基づき、前記認識対象毎に前記処理対象の画像上で抽出された数をカウントするカウント手段と、
前記認識対象毎にカウントされた数が予め定められた条件を満たすか判断する判断手段と、
をさらに有する画像処理装置。
１０．  １から９のいずれかに記載の画像処理装置において、
前記認識対象は、棚に陳列された商品であり、
前記画像処理手段は、認識した前記認識対象各々の陳列位置を特定する画像処理装置。
１１．  １０に記載の画像処理装置において、
前記処理対象の画像内で認識した商品の商品コードと、前記処理対象の画像内で認識した当該商品各々の数とを、陳列順に並べた情報を出力する画像処理装置。
１２−１．  コンピュータが、
複数種類の認識対象各々の画像及び／又は特徴量を含む登録データを用いた画像認識処理により、処理対象の画像に含まれる１つ又は複数の前記認識対象を認識する画像処理工程と、
前記処理対象の画像内でエリアを１つ又は複数指定するとともに、前記エリアに対応付けて属性情報を指定するエリア毎属性指定工程と、
前記画像処理工程による画像認識処理の結果と、前記エリア毎属性指定工程により指定された前記エリアおよび前記属性情報とに基づき、前記処理対象の画像に含まれる１つ又は複数の前記認識対象を決定する決定工程と、
を有する画像処理方法。
１２−２．  １２−１に記載の画像処理方法において、
前記エリア毎属性指定工程は、
前記処理対象の画像を表示する工程と、
表示した前記処理対象の画像上で、前記エリア及び前記属性情報を指定する入力情報をユーザから受付け、前記入力情報に基づいて、前記エリアおよび前記属性情報を指定する工程と、
を有する画像処理方法。
１２−３．  １２−１に記載の画像処理方法において、
前記エリア毎属性指定工程は、
前記処理対象の画像内の文字列を認識する工程と、
認識した文字列に基づき前記エリア及び前記属性情報を指定する工程と、
を有する画像処理方法。
１２−４．  １２−３に記載の画像処理方法において、
前記認識対象は、棚に陳列された商品であり、
前記エリア毎属性指定工程では、棚に付された値札の文字列、及び、商品に付された文字列の少なくとも一方を認識し、当該文字列に基づき前記エリア及び前記属性情報を指定する画像処理方法。
１２−５．  １２−４に記載の画像処理方法において、
前記エリア毎属性指定工程では、複数の前記値札各々に対応して前記エリアを指定するとともに、前記値札各々に記載された値段に対応する前記属性情報を、前記値札各々に対応する前記エリアに指定する画像処理方法。
１２−６．  １２−１から１２−５のいずれかに記載の画像処理方法において、
前記認識対象の中には、外観デザインが同一又は類似し、かつ、大きさが互いに異なる類似認識対象群が含まれ、
前記エリア毎属性指定工程では、前記エリア毎に、前記大きさを識別する前記属性情報を指定する画像処理方法。
１２−７．  １２−６に記載の画像処理方法において、
前記決定工程では、第１の前記エリアに位置する第１の前記認識対象に対する前記画像認識処理の結果が、前記第１のエリアに対応して指定された前記属性情報と矛盾する場合、前記第１の認識対象の前記認識結果として、前記画像認識処理の結果で示される前記認識対象が属する前記類似認識対象群の中の前記属性情報と合致する前記認識対象を決定する画像処理方法。
１２−８．  １２−６に記載の画像処理方法において、
前記決定工程では、第１の前記エリアに位置する第１の前記認識対象に対する前記画像認識処理の結果の中に同じ前記類似認識対象群に属する複数の前記認識対象が含まれる場合、前記第１の認識対象の前記認識結果として、当該複数の前記認識対象の中の前記第１のエリアに対応して指定された前記属性情報と合致する前記認識対象を決定する画像処理方法。
１２−９．  １２−１から１２−８のいずれかに記載の画像処理方法において、
前記コンピュータが、
前記決定工程で決定した前記認識結果に基づき、前記認識対象毎に前記処理対象の画像上で抽出された数をカウントするカウント工程と、
前記認識対象毎にカウントされた数が予め定められた条件を満たすか判断する判断工程と、
をさらに実行する画像処理方法。
１２−１０．  １２−１から１２−９のいずれかに記載の画像処理方法において、
前記認識対象は、棚に陳列された商品であり、
前記画像処理工程では、認識した前記認識対象各々の陳列位置を特定する画像処理方法。
１２−１１．  １２−１０に記載の画像処理方法において、
前記処理対象の画像内で認識した商品の商品コードと、前記処理対象の画像内で認識した当該商品各々の数とを、陳列順に並べた情報を出力する画像処理方法。
１３−１．  コンピュータを、
複数種類の認識対象各々の画像及び／又は特徴量を含む登録データを用いた画像認識処理により、処理対象の画像に含まれる１つ又は複数の前記認識対象を認識する画像処理手段、
前記処理対象の画像内でエリアを１つ又は複数指定するとともに、前記エリアに対応付けて属性情報を指定するエリア毎属性指定手段、
前記画像処理手段による画像認識処理の結果と、前記エリア毎属性指定手段が指定した前記エリアおよび前記属性情報とに基づき、前記処理対象の画像に含まれる１つ又は複数の前記認識対象を決定する決定手段、
として機能させるプログラム。
１３−２．  １３−１に記載のプログラムにおいて、
前記エリア毎属性指定手段を、
前記処理対象の画像を表示する手段、及び、
表示した前記処理対象の画像上で、前記エリア及び前記属性情報を指定する入力情報をユーザから受付け、前記入力情報に基づいて、前記エリアおよび前記属性情報を指定する手段、
として機能させるプログラム。
１３−３．  １３−１に記載のプログラムにおいて、
前記エリア毎属性指定手段を、
前記処理対象の画像内の文字列を認識する手段、及び、
認識した文字列に基づき前記エリア及び前記属性情報を指定する手段、
として機能させるプログラム。
１３−４．  １３−３に記載のプログラムにおいて、
前記認識対象は、棚に陳列された商品であり、
前記エリア毎属性指定手段は、棚に付された値札の文字列、及び、商品に付された文字列の少なくとも一方を認識し、当該文字列に基づき前記エリア及び前記属性情報を指定するプログラム。
１３−５．  １３−４に記載のプログラムにおいて、
前記エリア毎属性指定手段は、複数の前記値札各々に対応して前記エリアを指定するとともに、前記値札各々に記載された値段に対応する前記属性情報を、前記値札各々に対応する前記エリアに指定するプログラム。
１３−６．  １３−１から１３−５のいずれかに記載のプログラムにおいて、
前記認識対象の中には、外観デザインが同一又は類似し、かつ、大きさが互いに異なる類似認識対象群が含まれ、
前記エリア毎属性指定手段は、前記エリア毎に、前記大きさを識別する前記属性情報を指定するプログラム。
１３−７．  １３−６に記載のプログラムにおいて、
前記決定手段は、第１の前記エリアに位置する第１の前記認識対象に対する前記画像認識処理の結果が、前記第１のエリアに対応して指定された前記属性情報と矛盾する場合、前記第１の認識対象の前記認識結果として、前記画像認識処理の結果で示される前記認識対象が属する前記類似認識対象群の中の前記属性情報と合致する前記認識対象を決定するプログラム。
１３−８．  １３−６に記載のプログラムにおいて、
前記決定手段は、第１の前記エリアに位置する第１の前記認識対象に対する前記画像認識処理の結果の中に同じ前記類似認識対象群に属する複数の前記認識対象が含まれる場合、前記第１の認識対象の前記認識結果として、当該複数の前記認識対象の中の前記第１のエリアに対応して指定された前記属性情報と合致する前記認識対象を決定するプログラム。
１３−９．  １３−１から１３−８のいずれかに記載のプログラムにおいて、
前記コンピュータを、
前記決定手段が決定した前記認識結果に基づき、前記認識対象毎に前記処理対象の画像上で抽出された数をカウントするカウント手段、及び、
前記認識対象毎にカウントされた数が予め定められた条件を満たすか判断する判断手段、
として機能させるプログラム。
１３−１０．  １３−１から１３−９のいずれかに記載のプログラムにおいて、
前記認識対象は、棚に陳列された商品であり、
前記画像処理手段は、認識した前記認識対象各々の陳列位置を特定するプログラム。
１３−１１．  １３−１０に記載のプログラムにおいて、
前記処理対象の画像内で認識した商品の商品コードと、前記処理対象の画像内で認識した当該商品各々の数とを、陳列順に並べた情報を出力するプログラム。
【０１１０】
この出願は、２０１６年７月２１日に出願された日本出願特願２０１６−１４３０９５号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図１】
2018016214.tif 000003
【図２】
2018016214.tif 000004
【図３】
2018016214.tif 000005
【図４】
2018016214.tif 000006
【図５】
2018016214.tif 000007
【図６】
2018016214.tif 000008
【図７】
2018016214.tif 000009
【図８】
2018016214.tif 000010
【図９】
2018016214.tif 000011
【図１０】
2018016214.tif 000012
【国際調査報告】
2018016214.tif 000013
2018016214.tif 000014
2018016214.tif 000015
2018016214.tif 000016