(57)【要約】      （修正有）【課題】複数の物品を撮影した画像に基づいて、画像中の個々の物品と予め記憶された複数の物品とを照合処理の計算負荷を低減させつつ、適切に照合する。【解決手段】個々の物品の単品画像から所定の種類の属性における属性内容を抽出する属性抽出部２３と、種類の異なる複数の物品について、物品ごとに物品の複数の種類の属性における各属性内容を表す属性情報を予め対応付けた物品情報を参照して、抽出された所定の種類の属性における属性内容に基づいて複数の単品画像に共通する蓋然性の高い、所定の種類とは異なるさらなる種類の属性における属性内容を推定し、推定されたさらなる種類の属性における属性内容を推定属性内容とする属性限定部２４と、推定属性内容に基づいて、物品情報に登録された物品のうち、推定属性内容に該当する物品についてのみ、単品画像に対応する各物品との照合を行う照合部２５とを備える。【選択図】図１
2014044478.tif 000002
【特許請求の範囲】
【請求項１】
種類の異なる複数の物品について、該物品ごとに該物品の複数の種類の属性における各属性内容を表す属性情報を予め対応付けた物品情報を記憶する物品情報記憶部と、
複数の前記物品を撮影した画像から個々の前記物品の単品画像を抽出する画像抽出部と、
複数の前記単品画像から所定の種類の属性における属性内容を抽出する属性抽出部と、
前記物品情報を参照して、前記抽出された前記所定の種類の属性における前記属性内容に基づいて前記複数の単品画像に共通する蓋然性の高い、前記所定の種類とは異なるさらなる種類の属性における属性内容を推定し、推定された前記さらなる種類の属性における属性内容を推定属性内容とする属性限定部と、
前記推定属性内容に基づいて、前記物品情報に登録された物品のうち、前記推定属性内容に該当する物品についてのみ、前記単品画像に対応する各物品との照合を行う照合部とを備えたことを特徴とする物品照合装置。
【請求項２】
前記属性限定部が、前記抽出された前記所定の種類の属性における属性内容に基づいて、前記単品画像に対応する各物品が前記所定の種類の属性における各属性内容に該当する割合を割合情報として算出し、前記割合情報に基づいて前記推定属性内容を推定することを特徴とする請求項１記載の物品照合装置。
【請求項３】
前記物品情報記憶部が、前記物品情報に基づいて、前記さらなる種類の属性における各属性内容について、該さらなる種類の属性における各属性内容に該当する場合に前記所定の種類の属性における各属性内容にも該当する頻度を対応付けた頻度情報をさらに記憶し、
前記属性限定部が、前記頻度情報と前記割合情報に基づいて、前記推定属性内容を推定することを特徴とする請求項２記載の物品照合装置。
【請求項４】
前記属性限定部が、前記頻度情報および前記割合情報に基づいて、前記さらなる種類の属性における各属性内容について、前記さらなる種類の属性における各属性内容である場合に前記所定の種類の属性における各属性内容に該当する頻度を、前記複数の物品が前記所定の種類の属性における各属性内容に該当する割合に応じて重み付けして積算した評価値を算出し、前記評価値を用いて前記推定属性内容を推定することを特徴とする請求項３記載の物品照合装置。
【請求項５】
前記属性限定部が、前記所定の種類の属性として、前記さらなる種類の属性とは異なる複数の種類の前記属性における各属性内容について各種類の属性ごとに前記評価値をそれぞれ算出し、算出された複数の前記評価値を積算した値を新たな評価値として用いて前記推定属性内容を推定することを特徴とする請求項４記載の物品照合装置。
【請求項６】
前記属性限定部が、前記さらなる種類の属性における各属性内容に基づいて、前記評価値に基づいてそれぞれ優先度を付けて複数の前記推定属性内容を推定し、
前記照合部が前記優先度の順に複数の前記推定属性内容に該当する物品にのみ、前記単品画像に対応する各物品との照合を行うことを特徴とする請求項３から５のいずれか１項記載の物品照合装置。
【請求項７】
前記所定の種類の属性またはさらなる種類の属性が、前記物品のサイズ、製造者、出版社、製造年、発売年、著作者、前記物品の外観に含まれる書体、前記物品の外観に含まれる色数のいずれかを表す属性であることを特徴とする請求項１から６のいずれか１項記載の物品照合装置。
【請求項８】
前記画像が、収納棚または陳列台によって区画された１つの領域を表していることを特徴とする請求項１から７のいずれか１項記載の物品照合装置。
【請求項９】
前記物品が、所定のデータを記憶した記録媒体、書籍および化粧品のいずれか１つであることを特徴とする請求項１から８のいずれか１項記載の物品照合装置。
【請求項１０】
物品照合装置における物品照合方法であって、
複数の物品を撮影した画像から個々の前記物品の単品画像を抽出するステップと、
複数の前記単品画像から所定の種類の属性における属性内容を抽出するステップと、
種類の異なる複数の前記物品について、該物品ごとに該物品の複数の種類の属性における各属性内容を表す属性情報を予め対応付けた物品情報を参照して、前記抽出された前記所定の種類の属性における前記属性内容に基づいて前記複数の単品画像に共通する蓋然性の高い、前記所定の種類とは異なるさらなる種類の属性における属性内容を推定し、推定された前記さらなる種類の属性における属性内容を推定属性内容とするステップと、
前記推定属性内容に基づいて、前記物品情報に登録された物品のうち、前記推定属性内容に該当する物品についてのみ、前記単品画像に対応する各物品との照合を行うステップとを有することを特徴とする物品照合方法。
【請求項１１】
コンピュータに、
複数の物品を撮影した画像から個々の前記物品の単品画像を抽出するステップと、
複数の前記単品画像から所定の種類の属性における属性内容を抽出するステップと、
種類の異なる複数の前記物品について、該物品ごとに該物品の複数の種類の属性における各属性内容を表す属性情報を予め対応付けた物品情報を参照して、前記抽出された前記所定の種類の属性における前記属性内容に基づいて前記複数の単品画像に共通する蓋然性の高い、前記所定の種類とは異なるさらなる種類の属性における属性内容を推定し、推定された前記さらなる種類の属性における属性内容を推定属性内容とするステップと、
前記推定属性内容に基づいて、前記物品情報に登録された物品のうち、前記推定属性内容に該当する物品についてのみ、前記単品画像に対応する各物品との照合を行うステップとを実行させることを特徴とする物品照合プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の物品を撮影した画像中の物品を予め記憶した物品と照合する物品照合装置およびこの物品照合装置を用いた物品照合方法並びに物品照合プログラムに関するものである。
【背景技術】
【０００２】
従来、商品を最終消費者に販売する小売業においては、実際の在庫の数量を確認して、在庫管理表に記載のある在庫の数量と実際の在庫の数量との差異を把握する在庫管理のための商品の照合作業が定期的に行われている。例えば、店舗にある全ての商品について、商品に付されたバーコードを読み込んで商品番号を取得し、取得した商品番号に基づいて商品ごとに個数を集計して照合在庫表を作成し、予め記憶されていた管理在庫表と比較することにより、実際の在庫の数量との差異情報を取得することが行われている。
【０００３】
しかし、近来の商品の多様化に伴い、大型の店舗などでは、多様な多数の商品が存在する場合も多い。このため、１つ１つ商品のバーコードを読み取って在庫管理のための商品の照合作業をすることはコストや作業時間を要するものであるため小売業者の大きな負担となっている。このため、店舗の在庫商品を自動的に認証して集計する技術が期待されている。
【０００４】
このような問題を解決するために、特許文献１は、在庫管理のための商品の照合作業の際に、収納棚におかれた複数の商品を撮影した画像から、１つの商品を認識し、認識した商品の画像を、予め商品にその商品の画像と文字情報を対応付けたマスターファイルと照合し、認識した商品の画像がマスターファイルに登録された画像と一致しない場合には、認識した商品の画像から抽出した文字情報をマスターファイルに登録された文字情報と照合し、画像情報又は文字情報が一致する商品を在庫管理ファイルに記録するシステムを開示している。
【０００５】
また、特許文献２は、移動体に搭載されたカメラの映像を解析して物品の文字情報および物品の位置を特定し、文字情報に基づいて物品の位置を検出する技術を提案している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３４９３００７号公報
【特許文献２】特許第４１３５５５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献２の手法は、文字情報に基づいて自動的に在庫管理ための照合処理ができるものではなく、特許文献１の手法は、多数の種類の商品に対してそれぞれ画像を照合する必要があるため、商品数や種類が多くなるほど照合のための計算負荷や処理時間が大きくなってしまう。また、特許文献２の手法によれば、文字情報に対応する物品の位置が分かるだけであって、同じ文字が付されている互いに異なる複数の物品が存在する場合などには物品を誤認識して特定してしまう可能性があった。
【０００８】
本発明は上記事情に鑑みてなされたものであり、複数の物品を撮影した画像に基づいて、画像中の個々の物品と予め記憶された複数の物品とを照合処理の計算負荷を低減させつつ、適切に照合できる物品照合装置および物品照合方法並びに物品照合プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る物品照合装置は、種類の異なる複数の物品について、物品ごとに物品の複数の種類の属性における各属性内容を表す属性情報を予め対応付けた物品情報を記憶する物品情報記憶部と、複数の物品を撮影した画像から個々の物品の単品画像を抽出する画像抽出部と、複数の単品画像から所定の種類の属性における属性内容を抽出する属性抽出部と、物品情報を参照して、抽出された所定の種類の属性における属性内容に基づいて複数の単品画像に共通する蓋然性の高い、所定の種類とは異なるさらなる種類の属性における属性内容を推定し、推定されたさらなる種類の属性における属性内容を推定属性内容とする属性限定部と、推定属性内容に基づいて、物品情報に登録された物品のうち、推定属性内容に該当する物品についてのみ、単品画像に対応する各物品との照合を行う照合部とを備えたことを特徴とするものである。
【００１０】
本発明に係る物品照合方法は、物品照合装置に実行させる物品照合方法であって、複数の物品を撮影した画像から個々の物品の単品画像を抽出するステップと、複数の単品画像から所定の種類の属性における属性内容を抽出するステップと、種類の異なる複数の物品について、物品ごとに物品の複数の種類の属性における各属性内容を表す属性情報を予め対応付けた物品情報を参照して、抽出された所定の種類の属性における属性内容に基づいて複数の単品画像に共通する蓋然性の高い、所定の種類とは異なるさらなる種類の属性における属性内容を推定し、推定されたさらなる種類の属性における属性内容を推定属性内容とするステップと、推定属性内容に基づいて、物品情報に登録された物品のうち、推定属性内容に該当する物品についてのみ、単品画像に対応する各物品との照合を行うステップを有することを特徴とするものである。
【００１１】
本発明にかかる物品照合プログラムは、コンピュータに上記方法を実行させることを特徴とするものである。
【００１２】
また、本発明の物品照合装置において、「物品」は、有体物であればいかなるものでもよく、例えば、陳列して販売可能な有形の物品に好適に適用可能である。例えば、物品を、所定のデータを記憶した記録媒体、書籍および化粧品のいずれか１つとすることができる。
【００１３】
上記所定のデータを記憶した記録媒体は、例えば、音声と画像およびコンピュータソフトウェアのいずれかのデータを任意の記録手法により磁気メディアまたは光学メディアなどの記録メディアに記録した商品が挙げられる。また、記録メディアの代表的な例として、ＤＶＤ、ＢＤ、ＣＤ、メモリーカード、磁気テープなどが挙げられる。
【００１４】
上記「属性」は、物品に属する情報を分類することができる区分を意味し、物品に属する情報を分類できるものであればいかなる観点で分類されたものであってもよい。例えば、所定の種類の属性またはさらなる種類の属性における「属性」として、物品のサイズ、分類、製造者、出版社、製造年、発売年、著作者、物品の外観に含まれる書体、物品の外観に含まれる色数のいずれかを表す属性とすることができる。
【００１５】
また、上記「分類」は、例えば、物品が書籍である場合、例えば、文庫本、単行本、漫画、雑誌などを分類における属性内容とすることができる。また、物品が音楽ＣＤである場合、例えば、クラシック、ポップミュージック、映画音楽などを分類における属性内容とすることができる。物品が動画ＤＶＤである場合、例えば、アクション、アニメ、ホラー、ドキュメンタリーなどを分類における属性内容とすることができる。また、化粧品における分類は、例えば、口紅、マスカラ、アイシャドウなどのように化粧品の種類を分類における属性内容とすることができる。
【００１６】
また、本発明の物品照合装置において、属性限定部が、抽出された前記所定の種類の属性における属性内容に基づいて、単品画像に対応する各物品が所定の種類の属性における各属性内容に該当する割合を割合情報として算出し、割合情報に基づいて推定属性内容を推定することが好ましい。
【００１７】
また、本発明の物品照合装置において、物品情報記憶部が、物品情報に基づいて、第さらなる種類の属性における各属性内容について、さらなる種類の属性における各属性内容に該当する場合に所定の種類の属性における各属性内容にも該当する頻度を対応付けた頻度情報をさらに記憶し、属性限定部が、頻度情報と割合情報に基づいて、推定属性内容を推定することが好ましい。
【００１８】
また、本発明の物品照合装置において、属性限定部が、頻度情報および割合情報に基づいて、さらなる種類の属性における各属性内容について、さらなる種類の属性における各属性内容である場合に所定の種類の属性における各属性内容に該当する頻度を、複数の物品が所定の種類の属性における各属性内容に該当する割合に応じて重み付けして積算した評価値を算出し、評価値を用いて推定属性内容を推定することが好ましい。
【００１９】
また、本発明の物品照合装置において、属性限定部が、所定の種類の属性として、さらなる種類の属性とは異なる複数の種類の属性における各属性内容について各種類の属性ごとに評価値をそれぞれ算出し、算出された複数の評価値を積算した値を新たな評価値として用いて推定属性内容を推定することが好ましい。
【００２０】
また、本発明の物品照合装置において、属性限定部が、さらなる種類の属性における各属性内容に基づいて、評価値に基づいてそれぞれ優先度を付けて複数の推定属性内容を推定し、照合部が優先度の順に複数の前記推定属性内容に該当する物品にのみ、単品画像に対応する各物品との照合を行うことが好ましい。
【００２１】
また、本発明の物品照合装置において、画像が、収納棚または陳列台によって区画された１つの領域を表していることが好ましい。
【発明の効果】
【００２２】
本発明によれば、種類の異なる複数の物品について、複数の物品を撮影した画像から個々の物品の単品画像を抽出し、複数の単品画像から所定の種類の属性における属性内容を抽出し、物品ごとに物品の複数の種類の属性における各属性内容を表す属性情報を予め対応付けた物品情報を参照して、抽出された所定の種類の属性における属性内容に基づいて複数の単品画像に共通する蓋然性の高い、所定の種類とは異なるさらなる種類の属性における属性内容を推定し、推定されたさらなる種類の属性における属性内容を推定属性内容とし、推定属性内容に基づいて、物品情報に登録された物品のうち、推定属性内容に該当する物品についてのみ、単品画像に対応する各物品との照合を行っている。
【００２３】
物品を陳列して販売する店舗や、物品を陳列して貸与する図書館などでは種類や用途などに関する属性内容が類似または共通する物品は近接して配置されている場合が多いため、本発明によれば、所定の範囲内を撮影して得られた画像を用いて、この画像に含まれる所定の範囲内に配置された複数の照合対象物品から共通する属性内容を推定することにより、好適に複数の照合対象物品に共通する属性内容を推定することができる。そして、推定した推定属性内容を用いて、予め記憶した物品情報のうち、推定属性内容に該当する物品のみ単品画像に対応する物品との照合を行っているため、予め記憶した全ての属性内容に該当する物品に対してそれぞれ照合を行う場合よりも照合処理にかかる計算量及び計算時間を低減できる。また、推定属性内容に該当する物品のみ単品画像に対応する物品との照合を行っているため、推定属性内容以外の属性内容に該当する物品候補が誤って照合されてしまうことを低減できる。従って、複数の物品を撮影した画像に基づいて、画像中の複数の物品を、照合処理の負担を低減しつつ、適切に照合できる。
【図面の簡単な説明】
【００２４】
【図１】本発明の物品照合装置の一実施形態を用いた物品照合システムの概略構成を示すブロック図
【図２】物品マスターテーブルの一例を示す図
【図３】照合結果在庫テーブルの一例を示す図
【図４】本発明の物品照合装置の一実施形態を用いた物品照合システムの作用を説明するためのフローチャート
【図５】属性限定処理を説明するためのフローチャート
【図６】割合テーブルの一例を示す図
【図７】頻度テーブルの一例を示す図
【図８】物品マスターテーブルを作成する物品マスターテーブル登録システムの一実施形態の概略構成を示すブロック図
【図９】図８に示す物品マスターテーブル登録システムの作用を説明するためのフローチャート
【図１０】部分特徴情報を取得する方法を説明するためのフローチャート
【発明を実施するための形態】
【００２５】
以下、本発明の物品照合装置および方法並びにプログラムの一実施形態を用いた物品照合システムについて、図面を参照しながら詳細に説明する。本実施形態の物品照合システムは、陳列棚に陳列された物品を撮影した画像データを取得し、その画像データと、物品マスターテーブルに予め登録された在庫の物品情報と照合することによって物品の在庫管理処理を行うものである。図１は、本実施形態の物品照合システム１の概略構成を示すブロック図である。
【００２６】
本実施形態の物品照合システム１は、図１に示すように、物品照合装置２０と、物品照合装置に接続されたモニタ３０と、物品照合装置２０に接続され、照合対象の複数の物品を撮影した画像を物品照合装置２０に提供するカメラ１０とを備え、物品照合装置２０は通信ネットワークを介して先述の物品マスターテーブルにアクセス可能に物品マスターテーブル登録システム２に接続されている。
【００２７】
本実施形態における物品照合装置２０は、ユーザが物品の在庫状況を管理する在庫テーブルを確認及び／または編集する際に使用するコンピュータであり、キーボード及びマウスからなる不図示の入力装置を備え、オペレーションシステムなどの標準的なソフトウェアがインストールされている。物品照合装置２０は、ＣＤ−ＲＯＭ等の記録媒体からインストールされたプログラムによって制御されて、本実施形態の物品照合装置２０として機能する。また、プログラムは、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされたものであってもよい。
【００２８】
物品照合装置２０は、複数の物品を陳列した１つの収納棚を表す画像を撮影して得られた画像を取得して記憶する画像取得部２１（画像バッファ）と、種類の異なる複数の物品について物品ごとに物品の属性を表す属性情報を予め対応付けた物品マスターテーブルＴ１（物品情報）を記憶するマスターデータベース２７（物品情報記憶部）と、照合対象の複数の物品を撮影した画像から個々の物品を単品画像として抽出する単品画像抽出部２２（画像抽出部）と、取得した単品画像から所定の種類の属性における属性内容を抽出する属性抽出部２３と、抽出された所定の種類の属性における属性内容に基づいて複数の物品に共通する蓋然性の高い所定の種類の属性とは異なるさらなる種類の属性における属性内容を推定し、推定した属性内容を推定属性内容とする属性限定部２４と、推定属性内容に基づいて、物品マスターテーブルＴ１に登録された物品のうち、推定属性内容に該当する物品についてのみ、単品画像に対応する物品との照合を行う第１照合部２５と、第１照合部２５による照合処理により照合が完了しなかった物品について物品マスターテーブルＴ１に登録された物品とのさらなる照合処理を行う第２照合部２６と、物品照合装置２０を通信ネットワークに接続するための通信部２９を備える。
【００２９】
なお、マスターデータベース２７は、ハードディスクなどの公知の記憶媒体により構成される記憶装置であり、上述した物品マスターテーブルＴ１とともに、図１に示すような照合結果在庫テーブルＴ２および管理在庫テーブルＴ３と、後述の頻度テーブルＴ４と、後述の割合テーブルＴ５を記憶するものである。以下、物品照合装置２０の物品照合処理に先だって、物品マスターテーブルＴ１と、照合結果在庫テーブルＴ２および管理在庫テーブルＴ３について説明する。
【００３０】
図２は、物品マスターテーブルＴ１の一例を示すものである。物品マスターテーブルＴ１は、図２に示すように、複数の物品を識別するための物品コード（識別情報）と、その各物品コードによって特定される物品の全体画像情報、類似物品コード、属性情報および部分特徴情報とを対応付けたものである。
【００３１】
ここで、物品としては、陳列棚に陳列されて展示販売される物品であれば如何なるものでもよい。このような展示販売される物品としては、たとえば化粧品や書籍のほか、映像情報が記録されたＤＶＤやＢＤ、音楽情報が記録されたＣＤ、ソフトウェアアプリケーションが記録されたＣＤ−ＲＯＭ、メモリカード、磁気テープなどといった所定の情報が記録された記録媒体商品などがある。また、物品としては、上述したような商品として販売されるものに限らず、図書館の陳列棚に陳列される書籍などでもよい。
【００３２】
本実施形態の物品マスターテーブルＴ１は、上述したような化粧品、書籍、ＤＶＤなどの物品のうちのいずれか１つについて作成されたものである。
【００３３】
物品マスターテーブルＴ１における物品コードは、上述したように個々の物品を識別するための識別情報であり、たとえば物品が化粧品の場合には、ＪＡＮ（Japanese Article Number）コードが使用される。また、物品が書籍の場合には、ＩＳＢＮ（International Standard Book Number）コードが使用される。物品コードとしては、ＪＡＮやＩＳＢＮに限らず、個々の物品を識別できるものであれば如何なるものを用いてもよい。なお、同一の物品については同じ物品コードが付されるため、たとえば同一の物品が在庫として複数個存在したとしても、その物品に対応する物品コードのテーブルは１つだけ存在するものとする。
【００３４】
全体画像情報は、物品の全体的な外観を表すものであり、具体的には、たとえば物品全体を前後左右からカメラなどによって撮影した画像データである。物品マスターテーブルＴ１に登録される全体画像情報は、画像データそのものでも良いし、画像データが保存されたデータサーバのＵＲＬ（Uniform Resource Locator）や保存フォルダのディレクトリなどといった接続先のリンク情報でもよい。また、全体画像情報は、物品を陳列棚に陳列した際に正面方向となり得る方向から撮影した画像データを含むものであるが、たとえば円筒形状の物品である場合には、前後左右方向に限らず、その他の方向からの画像データを含めるようにしてもよい。
【００３５】
類似物品コードは、物品コードによって特定される物品と類似した全体画像情報を有する物品の物品コードである。
【００３６】
属性情報は、物品の複数の属性と各属性の属性内容を対応付けた情報である。ここでいう、「属性」は、物品に属する情報を分類することができる区分を意味し、物品に属する情報を分類できるものであればいかなる観点で分類されたものであってもよい。たとえば物品が化粧品である場合には、属性の種類としては、たとえば図２に示すように、その化粧品の「製品名」、化粧品の「価格」、化粧水、口紅、ファンデーションなどといった化粧品の「分類」（分類）、化粧品の「メーカ」、化粧品の「製造年」、化粧品の「サイズ（高さ）」や「サイズ（幅）」などがある。
【００３７】
また、たとえば物品が書籍である場合には、属性の種類としては、たとえば、書籍の「タイトル」、書籍の「価格」、文庫本、単行本、漫画、雑誌などといった書籍の「分類」、書籍の「出版社」、書籍の「シリーズ番号」、1巻、２巻、３巻といった書籍の「巻数」、１月号、２月号、３月号といった書籍の「号数」、書籍の「発行年」、所定のサイズ規格により分類したＡ４、Ｂ５、Ｂ６などの書籍の「サイズ」や、物品の外観に含まれる文字や記号について、ゴシック体、明朝体などの「フォント」などがある。
【００３８】
また、たとえば物品がＤＶＤである場合には、属性の種類としては、たとえば、ＤＶＤに記録された映画などの「タイトル」、ＤＶＤの「価格」、アクション、アニメ、ホラー、ドキュメンタリーなどといったＤＶＤに記録された映画の「分類」、ＤＶＤを発行している「発行元」、ＤＶＤの「規格品番記号」、1巻、２巻、３巻といったＤＶＤの「巻数」、ＤＶＤの「発行年」、ＤＶＤのパッケージの「サイズ（高さ）」や「サイズ（幅）」などがある。
【００３９】
また、上記属性における「属性内容」は、上記属性における具体的な情報の内容を意味する。例えば、上述した例によれば、物品が書籍などの著作物である場合に、属性が「分類」である場合には、文庫本、単行本、漫画、雑誌などが属性内容に相当する。また、属性が、「メーカ」、「出版社」または「著作者」である場合には、会社などの団体名または個人名を属性内容とすることができる。また、属性が「サイズ」の場合には、例えば、所定のサイズ規格により分類したＡ４、Ｂ５、Ｂ６、または、所定方向の長さや面積などにより分類した所定の数値や所定の数値範囲を属性内容とすることができる。また、属性が「製造年」や「発行年」である場合には、2012年、2011年などの具体的な年号を属性内容とすることができる。また、属性が物品の外観に含まれる「フォント」である場合には、ゴシック体、明朝体などの具体的な書体の種類名を属性内容とすることができる。また、属性が物品の外観に含まれる「色数」である場合には、１色、２色、３色などを属性内容とすることができる。
【００４０】
なお、上記説明では、化粧品、書籍、ＤＶＤおよびＣＤの属性について説明したが、これに限らず、物品の種類に応じて種々の属性および属性内容からなる属性情報が登録されるものとする。
【００４１】
物品マスターテーブルＴ１には、上述したような属性情報が物品ごとに対応付けられて登録される。
【００４２】
部分特徴情報は、物品の外観の一部の範囲の情報である。具体的には、物品の外観の一部の範囲に現れている上述した属性内容と、その属性内容が現れている一部の範囲の位置情報とが部分特徴情報として登録される。
【００４３】
図２では、一部の範囲の位置情報として、水平方向をＸ方向、垂直方向をＹ方向とした場合のＸ座標、Ｙ座標およびサイズとが登録される。一部の範囲のＸ座標およびＹ座標としては、一部の範囲を矩形領域で定義した場合には、たとえばその矩形領域の左上の角の点の位置座標や、矩形領域の中心座標などを用いることができる。また、一部の範囲のサイズとしては、一部の範囲のＸ方向のサイズとＹ方向のサイズとが登録される。なお、上記一部の範囲の位置情報は、物品の全体的な外観における相対的な位置情報であって、物品の外観の一部の範囲に現れている属性内容が正面方向に向いているときの位置情報とする。部分特徴情報は必ずしも１つでなくてもよく、属性内容とその位置情報との組み合わせを複数組登録するようにしてもよい。
【００４４】
そして、物品マスターテーブルＴ１には、市場において販売されている多数の物品について、物品コードと、上述した全体画像情報、類似物品コード、属性情報および部分特徴情報とが対応付けられて登録されている。なお、物品マスターテーブルＴ１は、後述する物品マスターテーブル登録システム２における物品マスターテーブル作成装置５０によって作成されるものであるが、その作成方法については後で詳述する。
【００４５】
図３は、照合結果在庫テーブルＴ２の一例を示すものである。照合結果在庫テーブルＴ２は、図３に示すように、各物品コードとその物品コードによって特定される物品の在庫数とが対応付けられたものである。そして、照合結果在庫テーブルＴ２は、上述した第１の照合部２５または第２の照合部２６における照合処理の結果に基づいて更新されるものである。具体的には、照合処理によって単品画像に対応する物品に１つの物品候補が物品マスターテーブルＴ１から抽出された際、照合結果在庫テーブルＴ２におけるその物品の物品コードの在庫数が１つインクリメントされて照合結果在庫テーブルＴ２が更新される。
【００４６】
管理在庫テーブルＴ３も、照合結果在庫テーブルＴ２と同様に、各物品コードとその物品コードによって特定される物品の在庫数とが対応付けられたものであるが、管理在庫テーブルＴ３は、店舗や図書館などに物品が搬入および搬出される毎に更新されるものである。具体的には、管理在庫テーブルＴ３は、店舗や図書館などに物品が搬入される度に、その物品の物品コードに対応する在庫数が１つインクリメントされ、かつ物品が搬出される度に、その物品の物品コードに対応する在庫数が１つデクリメントされて更新されるものである。なお、店舗における物品の搬入とは物品が入荷されたことを意味し、物品の搬出とはその物品が売れて持ち出されたことを意味する。
【００４７】
つまり、管理在庫テーブルＴ３は、店舗や図書館などにおいて管理されている物品の在庫状況を表すものであり、照合結果在庫テーブルＴ２は、実際に店舗や図書館内に存在する物品の在庫状況を表すものである。管理在庫テーブルＴ３と照合結果在庫テーブルＴ２とは、本来、上述した照合処理が終了した時点において一致するものである。しかしながら、たとえば物品が盗まれたり、物品の搬入や搬出の時点において管理在庫テーブルＴ３の更新にミスがあったりした場合にはこれらのテーブルは一致しないことになる。照合結果在庫テーブルＴ２と管理在庫テーブルＴ３とはモニタ３０に表示されるものである。
【００４８】
次に、本実施形態の物品照合システム１の作用について、図４に示すフローチャートを参照しながら説明する。
【００４９】
まず、物品照合処理に先立って、ユーザによってカメラ１０を用いて陳列棚に並んだ物品の撮影が行われる。具体的には、ここでは、複数の商品が陳列された棚板を複数有する１つの陳列棚の全体が含まれるようにカメラ１０の撮影範囲が設定されて撮影が行われる。そして、カメラ１０によって撮影された画像データは、有線または無線によってカメラ１０に接続された物品照合装置２０の画像取得部２１によって取得されて一旦記憶される。
【００５０】
そして、ユーザが物品照合処理用のソフトウェアを起動し、入力装置を用いて画像取得部２１に記憶されている上述の１つの陳列棚を撮影した画像を選択し、物品照合処理開始ボタンを選択すると、これらの指定操作および選択操作を受け付けて、物品照合装置２０が物品照合処理を開始する。
【００５１】
まず、単品画像抽出部２２が、画像取得部２１に記憶された画像データを読出し、読み出した画像データから１つ１つの物品の単品画像（単品画像データ）をそれぞれ区分して抽出する（Ｓ１０）。ここでは、単品画像抽出部２２は、画像取得部２１から照合対象の複数の物品を撮影した画像を１つ取得し、周知のテンプレートマッチング法を用いて予め記憶した物品の外形と一致する領域を照合対象物品領域とすることにより、この画像から個々の物品領域を認識し、個々の物品の単品画像データを抽出する。なお、単品画像データの抽出については、その他の種々の公知な方法を用いることができる。
【００５２】
次いで、属性抽出部２３は、マスターデータベース２７からメモリ上に物品マスターテーブルＴ１を取得する（Ｓ１２）。
【００５３】
そして、属性抽出部２３は、取得した物品の単品画像ごとに物品の属性内容を抽出する（Ｓ１４）。
【００５４】
ここでは、属性抽出部２３は、単品画像を２値化して１つ以上の塊領域を抽出してラベリングを行い、周知の方法により各塊領域からそれぞれ文字を認識し、認識された文字を周知の自然言語処理技術により解析して文字情報として認識する。そして、単品画像中の文字情報を、予め記憶された対応付けテーブル（不図示）に基づいて、「製造年」、「メーカ」などの各種類の属性における属性内容または「物品コード」を取得する。なお、不図示の対応付けテーブルは、属性内容を表す既知の文字情報と既知の物品コードを登録したテーブルであり、マスターデータベース２７に記憶されている。
【００５５】
属性抽出部２３は、単品画像から抽出された文字情報に、対応付けテーブルに登録された文字情報が含まれている場合には、その単品画像はその文字情報に対応する各種類の属性における属性内容に該当すると認識する。なお、単品画像中の文字情報から物品コードが抽出された場合には、属性抽出部２３は、後述の物品属性情報データベース５９を参照し、種々の物品コードによって表される物品に対応付けられた属性内容を抽出して取得する。本実施形態では、複数の単品画像から物品コードが抽出され、「サイズ」における属性内容が取得されたとする。また、単品画像から抽出された文字情報には、ひらがな、カタカナ、漢字や英文字などだけでなく、数字や記号なども含まれるものとする。また、複数の文字などからなるものだけでなく、１つの文字なども含むものとする。
【００５６】
また、属性抽出部２３は、単品画像の「色数」、単品画像に含まれる文字情報中の文字の「フォント」などの複数の種類の属性について、周知の方法により単品画像が該当する属性内容を抽出して取得する。なお、例えば、属性抽出部２３は、種類の異なる複数のフォントで表された文字と、単品画像に含まれる文字情報中の文字とを、文字サイズを統一して比較し、単品画像に含まれる文字と最も一致する文字のフォントを、単品画像に含まれる文字のフォントとして取得することができ、単品画像の色ヒストグラムを用いて、所定の色ごとに、所定のしきい値を超える色の数を色数として取得することができる。
【００５７】
ここで、図４の属性限定処理（Ｓ１６）について、図５に示すフローチャートを参照しながら詳細に説明する。
【００５８】
属性限定部２４は、画像から抽出した照合対象の複数の単品画像から抽出した各属性内容に基づいて割合テーブルＴ５を算出する（Ｓ４０）。
【００５９】
割合テーブルＴ５は、画像抽出された全ての単品画像に基づいて、全部の単品画像に対応する物品のうち、各単品画像に対応する物品が所定の種類の属性における各属性内容に該当する割合を対応付けたものである。ここでは、属性限定部２４によって、予め設定された「サイズ」と「フォント」について上記割合テーブルＴ５が作成される。
【００６０】
図６に、割合テーブル（割合情報）の一例として、「サイズ」についての割合テーブルＴ５ａと「フォント」についての割合テーブルＴ５ｂの例を示す。割合テーブルＴ５ａに示すように、本実施形態では、陳列棚に配置されていた複数の物品のサイズについて、Ａ４サイズと判断された照合対象の物品の数が全照合対象物品数の７０％であり、Ｂ５サイズと判断された照合対象の物品の数が全照合対象物品数の１５％であり、Ａ６サイズと判断された照合対象の物品の数が全照合対象物品数の１５％と算出されている。また、割合テーブルＴ５ｂに示すように、本実施形態では、陳列棚に配置されていた複数の物品のフォントについて、ゴシック体と判断された照合対象の物品の数が全照合対象物品数の４０％であり、明朝体と判断された照合対象の物品の数が全照合対象物品数の３０％であり、その他のフォントと判断された照合対象の物品の数が全照合対象物品数の３０％と算出されている。
【００６１】
続いて、属性限定部２４は、頻度テーブルＴ４をマスターデータベース２７からメモリ上に取得する（Ｓ４２）。なお、頻度テーブルＴ４は、後述の物品マスターテーブル作成装置５０により作成され、物品照合装置２０によってネットワークを介して取得されてマスターデータベース２７に記憶されたものである。
【００６２】
頻度テーブルＴ４は、物品マスターテーブルＴ１に登録された全物品について「分類」（さらなる種類の属性）における各属性内容（Ａ類、Ｂ類、Ｃ類）について、「分類」における各属性内容である場合に、「分類」以外の所定の種類の属性における各属性に該当する頻度を対応付けたものである。図７に、「サイズ」（所定の種類の属性）についての頻度テーブルＴ４ａと、「メーカ」についての頻度テーブルＴ４ｂと、「製造年」についての頻度テーブルＴ４ｃと、「フォント」についての頻度テーブルＴ４ｄと、「色数」についての頻度テーブルＴ４ｅの例を示す。図７のサイズ（所定の種類の属性）についての頻度テーブルＴ４ａに示すように、サイズについての頻度テーブルＴ４ａには、物品マスターテーブルＴ１に登録されたＡ類に該当する物品の数に対して、サイズがＡ４、Ｂ５、Ｂ６である物品数の割合はそれぞれ、７０％、２０％、１０％と算出されている。また同様に、物品マスターテーブルＴ１に登録されたＢ類に該当する物品の数に対して、サイズがＡ４、Ｂ５、Ｂ６である物品数の割合はそれぞれ、２０％、６０％、２０％と算出されており、物品マスターテーブルＴ１に登録されたＣ類に該当する物品の数に対して、サイズがＡ４、Ｂ５、Ｂ６である物品数の割合はそれぞれ、１０％、１０％、８０％と算出されている。
【００６３】
なお、図７では具体的な数値は記載されていないが、メーカについての頻度テーブルＴ４ｂと、製造年についての頻度テーブルＴ４ｃと、色数についての頻度テーブルＴ４ｅにも図７の各○％の部分に算出された具体的な数値が挿入されている。
【００６４】
そして、属性限定部２４は、割合テーブルＴ５と頻度テーブルＴ４に基づいて、サイズおよびフォントにおける各属性内容に基づいて複数の照合対象の物品に共通する蓋然性の高い「分類」における属性内容を第１の属性推定方法により推定し、推定された分類における属性内容を推定属性内容として決定する（Ｓ４４）。本実施形態において用いる属性限定部２４による第１の属性推定方法について、具体例を用いて説明する。
【００６５】
第１の属性推定方法では、属性限定部２４は、図６に示すサイズ（所定の種類の属性）に関する割合テーブルＴ５ａに基づいて、照合対象の物品の該当する割合が最も大きい属性内容であるＡ４を検出する。そして、この検出した属性内容Ａ４と図７に示した頻度テーブルＴ４ａに基づいて、Ａ類である場合にＡ４に該当する頻度７０％、Ｂ類である場合にＡ４に該当する頻度２０％、Ｃ類である場合にＡ４に該当する頻度１０％を比較し、評価値が最も高い属性内容であるＡ類を推定属性内容と決定する。また、第１の属性推定方法の変形例として、属性限定部２４は、頻度が所定のしきい値以上の複数の属性内容を推定属性内容としてそれぞれ決定し、決定した推定属性内容に頻度の大きさが小さくなるにつれて優先度が低くなるように優先度をそれぞれ付してもよい。例えば、属性限定部２４は、頻度が所定のしきい値以上の複数の属性内容（Ａ類とＢ類）をそれぞれ推定属性内容とし、頻度の大きさに応じてＡ類、Ｂ類の順に優先度が低くなるように優先度を付して推定属性内容を決定してもよい。
【００６６】
図４に示すように、上記の属性推定処理により推定属性内容が決定されると、第１照合部２５は、物品マスターテーブルＴ１に登録された物品のうち、各推定属性内容に該当する物品についてのみ物品マスターテーブルＴ１に登録された全体画像情報の画像データと単品画像データとの第１の物品照合処理を行う（Ｓ１８）。なお、第１照合部２５は、優先順位が付された複数の推定属性内容が決定されている場合には優先度の高い推定属性内容の順に、物品マスターテーブルＴ１に登録された物品のうち、推定属性内容に該当する物品の画像データと単品画像データとの物品照合を行い、物品照合が完了しなかった物品については、物品マスターテーブルＴ１に登録された物品のうち、さらに次に高い優先度の推定属性内容に該当する物品の画像データと単品画像データとの物品照合処理を繰り返すようにしてもよい。
【００６７】
ここでは、第１照合部２５は、照合対象物品の単品画像と、物品マスターテーブルＴ１に登録された物品の全体画像情報の画像データとのテンプレートマッチングを行い、周知の画像間の相関を評価する評価関数を用いて類似度を表す値を算出する。なお、第１照合部２５による画像の類似度を算出する処理は、画像の類似度算出できる周知のいかなる方法を用いてもよい。
【００６８】
そして、算出された値をしきい値条件により判断して、しきい値が表す所定の基準よりも類似度が大きい（類似する）全体画像情報の画像データが１つだけ抽出された場合には、第１照合部２５は、画像データに対応する物品を決定する。第１照合部２５は、同様に、物品マスターテーブルＴ１に登録された全体画像情報の画像データと、抽出された全ての単品画像データとの第１の物品照合処理をそれぞれ行って、全ての単品の画像データに対して、全体画像情報の画像データがそれぞれ１つずつ抽出された場合には（Ｓ２０，ＹＥＳ）、マスターデータベース２５上の照合結果在庫テーブルＴ２に照合結果を反映（出力）する。つまり、照合結果在庫テーブルＴ２において、抽出された全体画像ごとに、その全体画像が抽出された回数分、抽出された全体画像に対応する物品の物品コードに対応する在庫数をそれぞれインクリメントして、照合結果在庫テーブルＴ２を更新する（Ｓ２８）。次いで、更新された照合結果在庫テーブルＴ２を、ユーザが確認できるように、モニタ３０に表示する（Ｓ３０）。
【００６９】
一方、第１の照合処理によって複数の物品候補が抽出された場合には（Ｓ２０，ＮＯ、Ｓ２２，ＹＥＳ）、第２照合部２６において、第２の照合処理が行われる（Ｓ２４）。ここでは、第２照合部２６は、複数の物品候補の色、サイズ、フォント、製造者、製造年について属性内容を物品マスターテーブルＴ１から取得し、単品画像から抽出した複数の属性内容とそれぞれ比較して、属性内容が一致する件数が最も多い物品候補を抽出する。なお、これに限定されず第２照合部２６は、単品画像に対する複数の物品候補から１つの物品を決定するものであれば、周知の種々の照合方法によりさらなる照合処理を適用するものであってよい。
【００７０】
上述した第２の照合処理によって照合対象物品ごとに１つの物品候補が抽出された場合には、第２照合部２６は、画像データに対応する物品を決定する。そして、第２照合部２６は、同様に、複数の候補が抽出された全ての単品画像データについて第２の物品照合処理をそれぞれ行って、全ての単品の画像データに対して、全体画像情報の画像データがそれぞれ１つずつ抽出された場合には（Ｓ２６，ＹＥＳ）、照合結果在庫テーブルＴ２に照合結果を反映する。つまり、該当物品の物品コードに対応する在庫数を１つインクリメントして照合結果在庫テーブルＴ２を更新する（Ｓ２８）。そして、更新された照合結果在庫テーブルＴ２を、モニタ３０に表示する（Ｓ３０）。
【００７１】
一方、第１または第２の照合処理によって照合対象物品ごとに１つの物品候補が抽出されなかった場合には（Ｓ２２，物品候補なし、および、Ｓ２６，ＮＯ）、該当物品を抽出することができなかった照合対象物品の単品の画像データおよび該当物品を抽出することができなかった旨がモニタ３０に表示される（Ｓ３２）。そして、モニタ３０を確認したユーザは、必要に応じて、照合対象物品の外観や物品コードなどを手作業によって直接確認して、マニュアル操作により、マスターデータベース２７上の照合結果在庫テーブルＴ２における該当物品の物品コードに対応する在庫数に照合結果を反映して更新する。そして、更新された照合結果在庫テーブルＴ２を表示する（Ｓ３０）。
【００７２】
また、照合結果在庫テーブルＴ２の表示の際に、本実施形態にかかる物品照合処理により得られた照合結果在庫テーブルＴ２と、予め記憶していた管理在庫テーブルＴ３との物品の在庫数の差異を算出し、物品の在庫数の差異について視認可能に表示することが好ましい。また、更新された照合結果在庫テーブルＴ２を、モニタ３０に表示する処理は、上述の例のように全ての照合処理が終了してから行ってもよく、個々の照合処理が終了する度に行ってもよい。
【００７３】
上記本実施形態によれば、商品を展示して販売を行う店舗や書籍を陳列する図書館でよく用いられる、種類や用途が類似または共通する物品（照合対象物品）を所定の近傍範囲内に配置するという陳列方法を好適に利用して、所定の範囲内を撮影して得られた画像を用いて、この画像に含まれる所定の範囲内に配置された複数の照合対象物品から共通する属性内容を推定することにより、好適に複数の照合対象物品に共通する属性内容を推定することができる。そして、推定した推定属性内容を用いて、予め記憶した物品情報のうち、推定属性内容に該当する物品のみ複数の単品画像との照合を行っているため、予め記憶した全ての属性に該当する物品に対してそれぞれ照合を行う場合よりも照合処理にかかる計算量及び計算時間を低減できる。また、推定属性内容に該当する物品のみ単品画像に対応する物品との照合を行っているため、推定属性内容以外の属性内容に該当する物品候補が誤って照合されてしまうことを低減できる。従って、複数の物品を撮影した画像に基づいて、画像中の複数の照合対象物品をそれぞれ容易かつ適切に照合できる。また、複数の照合対象物品を陳列状態で撮影した画像を用いて照合処理を実施した場合には、１つ１つの物品の物品コードを確認するなどの作業の必要がないため、物品の配置を整える手間や確認する時間が低減される。
【００７４】
また、上記実施形態に用いる照合対象物品を撮影して得られた画像は、同一または共通の属性内容に該当する照合対象物品を近接して配置することが多い範囲を撮影したものを用いることが好適である。この観点から、上記の実施形態のように、１つの収納棚や陳列台などの範囲を撮影した画像を用いることにより、好適に共通する推定属性内容を推定することができる。また、同一または共通の属性に該当する照合対象物品を近接して配置することが多い所定の範囲を撮影したものを用いるものであれば、上記実施形態に用いる物品照合処理を１枚の画像単位で実施してもよく、複数の画像単位で実施してもよい。また、収納棚単位だけでなく、複数の棚板で区切られる収納棚の１つの区画を所定の範囲として、撮影した画像を用いても同様の効果が得られる。
【００７５】
また、上記の実施形態では、さらなる種類の属性が撮影画像において物品の陳列位置を決定する際に用いられた区分である場合には、照合対象物品に共通する属性内容を正確に推定できる。上記実施形態における「分類」をさらなる種類の属性として上記物品照合処理に適用した場合には、種類や用途が類似または共通する物品は近接して配置するという陳列方法において、物品の陳列位置を決定する際に用いられた区分として「分類」が良く用いられるため、照合対象物品に共通する属性内容を好適に推定できる。
【００７６】
また、さらなる種類の属性を、複数の照合対象物品に統一して付された一連の文字列である「物品シリーズ名」としてもよい。ここでいう、一連の文字列は、文字だけでなく、数字、記号も任意の組合せで含むものであってよい。例えば、物品が化粧品である場合に、さらなる種類の属性を「物品シリーズ名」とすることが好適であり、例えば、クレンジングオイル、クレンジングゲル、洗顔フォーム、化粧水、美容液、保湿クリーム、日焼け止めクリーム、などの一連のスキンケア用化粧品に付された物品シリーズ名や、化粧下地、コンシーラー、ファンデーション、フェースパウダーなどの一連のベースメイク用化粧品に付された物品シリーズ名を用いることができる。また、例えば、物品が書籍やＤＶＤである場合には、「物品シリーズ名」は、１つの作品を複数巻に分けて出版した際の作品名を用いることができる。
【００７７】
また、所定の種類の属性またはさらなる種類の属性として、物品のサイズ、製造者、出版社、製造年、発売年、著作者、物品の外観に含まれる書体、物品の外観に含まれる色数のいずれかを表す属性を好適に適用することができる。
【００７８】
なお、本実施形態に限定されず、属性限定部２４は、例えば、以下の第２の属性推定方法を用いて推定属性内容を決定することができる。
【００７９】
第２の属性推定方法では、頻度テーブルＴ４および割合テーブルＴ５に基づいて、さらなる種類の属性について、さらなる種類の属性である場合に他の所定の種類の属性の属性に該当する頻度を、複数の照合対象物品が他の所定の種類の属性の属性に該当する割合に応じて重み付けして積算した評価値を算出し、評価値を用いて推定属性内容を推定する。
【００８０】
図７および８を用いて具体的に説明する。属性限定部２４は、複数の照合対象物品の属性内容に基づいて、「サイズ」（所定の種類の属性）の各属性内容について、複数の照合対象物品の該当する割合を表す割合テーブルＴ５aを算出して取得する。そして、複数の照合対象物品が、「分類」（さらなる種類）のＡ類に共通して該当する蓋然性を表す評価値として、割合テーブルＴ５aと頻度テーブルＴ４ａに基づいて、「分類」のＡ類について、「分類」がＡ類の場合に「サイズ」が各属性内容（Ａ４、Ｂ５、Ｂ６）である頻度を、画像中の照合対象物品の「サイズ」が各属性内容（Ａ４、Ｂ５、Ｂ６）に該当する割合でそれぞれ重み付けして、重み付け総和を求める。また、Ｂ類およびＣ類についても同様に、評価値を求める。そして、評価値が最も高い属性内容であるＡ類を推定属性内容と決定する。
【００８１】
以下に、割合テーブルＴ５ａおよび頻度テーブルＴ４ａに基づいて算出した評価値を示す。
サイズに基づくA分類の評価値＝70×70＋20×15＋10×15＝5350
サイズに基づくB分類の評価値＝20×70＋60×15＋20×15＝2600
サイズに基づくC分類の評価値＝10×70＋10×15＋80×15＝2050
【００８２】
また、第２の属性推定方法の変形例として、属性限定部２４は、頻度が所定のしきい値以上の複数の属性内容を推定属性内容としてそれぞれ決定し、決定した推定属性内容に頻度の大きさが小さくなるにつれて優先度が低くなるように優先度をそれぞれ付してもよい。例えば、属性限定部２４は、頻度が所定のしきい値以上の複数の属性内容（Ａ類とＢ類）をそれぞれ推定属性内容とし、頻度の大きさに応じてＡ類、Ｂ類の順に優先度が低くなるように優先度を付して推定属性内容を決定してもよい。
【００８３】
さらに、属性限定部２４は、第３の属性推定方法を用いて推定属性内容を決定してもよい。
【００８４】
第３の属性推定方法では、頻度テーブルＴ４および割合テーブルＴ５に基づいて、所定の種類の属性として、さらなる種類の属性とは異なる複数の種類の属性における各属性内容について各種類の属性ごとに評価値をそれぞれ算出し、算出された複数の評価値を積算した値を新たな評価値として用いて推定属性内容を推定する。
【００８５】
図７および８に示す、割合テーブルＴ５ａ、割合テーブルＴ５ｂ、頻度テーブルＴ４ａおよび頻度テーブルＴ４ｄを用いて具体的に説明する。第３の属性推定方法においては、属性限定部２４は、複数の単品画像に基づいて所定の種類（「サイズ」および「フォント）の各属性内容について、画像中の照合対象物品の該当する割合テーブルＴ５ａ、割合テーブルＴ５ｂをそれぞれ算出して取得する。そして、「サイズ」について、割合テーブルＴ５ａと頻度テーブルＴ４ａに基づいて第２の属性推定方法と同様の方法に評価値を算出し、「フォント」についても、割合テーブルＴ５ｂと頻度テーブルＴ４ｄに基づいて第２の属性推定方法と同様の方法に評価値を算出する。そして、「分類」（さらなる種類の属性）についての「サイズ」に基づく評価値と「フォント」に基づく評価値の合計を総合評価値（新たな評価値）として用いる。そして、評価値が最も高い属性内容であるＡ類を推定属性内容と決定する。
【００８６】
以下に、割合テーブルＴ５ａ、割合テーブルＴ５ｂ、頻度テーブルＴ４ａおよび頻度テーブルＴ４ｃに基づいて算出した評価値を示す。
サイズに基づくA分類の評価値＝70×70＋20×15＋10×15＝5350
サイズに基づくB分類の評価値＝20×70＋60×15＋20×15＝2600
サイズに基づくC分類の評価値＝10×70＋10×15＋80×15＝2050
フォントに基づくA分類の評価値＝80×40＋10×30＋10×30＝3800
フォントに基づくB分類の評価値＝30×40＋30×30＋40×30＝3300
フォントに基づくC分類の評価値＝10×40＋30×30＋60×30＝3100
A分類の評価値=(サイズに基づくA分類の評価値)＋(フォントに基づくA分類の評価値)＝5350＋3800＝9150
B分類の評価値=(サイズに基づくB分類の評価値)＋(フォントに基づくB分類の評価値)＝2600＋3300＝5900
C分類の評価値=(サイズに基づくC分類の評価値)＋(フォントに基づくC分類の評価値)＝2050＋3100＝5150
【００８７】
また、第３の属性推定方法の変形例として、属性限定部２４は、頻度が所定のしきい値以上の複数の属性内容を推定属性内容としてそれぞれ決定し、決定した推定属性内容に頻度の大きさが小さくなるにつれて優先度が低くなるように優先度をそれぞれ付してもよい。例えば、属性限定部２４は、頻度が所定のしきい値以上の複数の属性内容（Ａ類とＢ類）をそれぞれ推定属性内容とし、頻度の大きさに応じてＡ類、Ｂ類の順に優先度が低くなるように優先度を付して推定属性内容を決定してもよい。
【００８８】
なお、第３の属性推定方法において、所定の種類の属性を上記のように１種類の属性としてもよく、ｎ種類の属性（ｎ＞１）としてもよい。所定の種類の属性をｎ種類の属性とした場合には、それぞれｎ種類の属性のそれぞれについて第１の属性方法と同様の方法で割合テーブルＴ５を算出し、さらなる種類の各属性について、それぞれｎ種類の属性のそれぞれについて割合テーブルＴ５と頻度テーブルＴ４を用いて第２の属性方法と同様の方法でそれぞれ評価値を算出し、算出されたｎ個の評価値を積算して、新たな評価値として用いることができる。
【００８９】
また、第１ないし第３の推定属性内容決定方法によれば、抽出された所定の種類の属性における属性内容に基づいて、それぞれの照合対象物品が所定の種類の属性における各属性内容に該当する割合を表す割合テーブルＴ５に基づいて推定属性内容を推定しているため、画像中の複数の物品に共通する所定の種類の属性を好適に算出できる。また、さらなる種類の属性における各属性内容である場合に所定の種類の属性における各属性内容となる頻度を表す頻度テーブルＴ４を用いているため、画像中に含まれる複数の照合対象物品の中に、所定の種類の属性における属性内容が不明な照合対象物品があったとしても、他の照合対象物品の所定の種類の属性における属性内容が抽出されれば、所定の種類の属性の属性内容が不明な照合対象物品についても属性内容を限定して照合処理を実施することができ、物品マスターテーブルＴ１との照合処理の計算処理を低減させることができる。
【００９０】
また、上記第２および第３の推定属性内容決定方法によれば、属性限定部２４が、頻度テーブルＴ４および割合テーブルＴ５に基づいて、さらなる種類の属性における各属性内容について、さらなる種類の属性における各属性内容である場合に所定の種類の属性における各属性内容に該当する頻度を、複数の照合対象物品が所定の種類の属性における各属性内容に該当する割合に応じて重み付けして積算した評価値を算出し、評価値を用いて推定属性内容を推定しているため、より正確に推定属性内容を決定できる可能性が高い。このため、より好適に属性内容を限定して物品を照合することができる。
【００９１】
さらに、上記第３の推定属性内容決定方法によれば、所定の種類の属性として、さらなる種類の属性とは異なる複数の種類の属性における各属性内容について各種類の属性ごとに評価値をそれぞれ算出し、算出された複数の評価値を積算した値を新たな評価値として用いて推定属性内容を推定するため、より正確に推定属性内容を決定できる可能性が高い。このため、より好適に属性内容を限定して物品を照合することができる。
【００９２】
また、第１ないし第３の推定属性内容決定方法によれば、属性限定部２４が、複数のさらなる種類の各属性における各属性内容について、評価値に基づいてそれぞれ優先度を対応付けて複数の推定属性内容を推定し、照合部が優先度の順に複数の推定属性内容に該当する物品にのみ、複数の照合対象物品との照合を行っているため、物品マスターテーブルＴ１に登録された各物品について、複数の照合対象物品の該当する可能性の高い属性内容から順に照合処理を行うことができ、照合処理にかかる処理時間および計算負荷を効果的に低減することができる。
【００９３】
上記実施形態において、物品は、陳列して販売可能な任意の商品とすることができる。例えば、物品を、音声と画像およびコンピュータソフトウェアのうち少なくとも１つを任意の記録手法により記録したＣＤ、ＤＶＤ、ＢＤ、磁気テープなどの記録媒体商品、書籍および化粧品のいずれかとした場合に、本実施形態の物品照合装置２０による物品照合処理を好適に適用することができる。
【００９４】
また、上記実施形態において、物品照合装置２０は第２照合部２６を省略した構成としてもよい。
【００９５】
次に、上述した物品マスターテーブルＴ１を作成する物品マスターテーブル登録システムについて説明する。図８は、物品マスターテーブル登録システム２の概略構成を示すブロック図である。
【００９６】
本実施形態の物品マスターテーブル登録システム２は、図８に示すように、カメラ４０と、物品マスターテーブル作成装置５０と、モニタ７０とを備えている。
【００９７】
カメラ４０は、物品マスターテーブルＴ１への登録対象の物品の全体的な外観を撮影するものであり、カメラ４０によって物品の全体的な外観を撮影した画像データに基づいて、物品マスターテーブルＴ１に登録される全体画像情報が取得される。したがって、カメラ４０による撮影は、たとえば登録対象物品の前後左右方向から行われる。また、上記画像データに物品コードを表すバーコード画像が含まれる場合には、そのバーコード画像に基づいて、物品マスターテーブルＴ１に登録される物品コードが取得される。なお、登録対象物品の全体的な外観の画像データに物品コードを表すバーコード画像が含まれていない場合には、そのバーコード画像が含まれる部分がカメラ４０によって別途撮影される。また、バーコード画像をバーコードリーダによって別途読み取るようにしてもよい。なお登録対象物品の撮影については、１つの物品毎に行われる。
【００９８】
また、本実施形態においては、カメラ４０によって撮影された画像データを用いて登録対象の物品の全体画像情報や物品コードを取得するようにしたが、たとえば物品が書籍であるような場合には、スキャナを用いて画像データを取得するようにしてもよい。
【００９９】
また、物品の全体的な外観の画像データやバーコード画像を含む画像データは、必ずしもカメラによる撮影やスキャナによる光電的な読取りによって取得する必要はなく、たとえば書籍については、書籍を編集する過程において予め作成された表表紙、裏表紙および背表紙の画像データを取得し、その画像データに基づいて全体画像情報や物品コードを取得するようにしてもよい。
【０１００】
物品マスターテーブル作成装置５０は、図８に示すように、画像取得部５１、画像領域抽出部５２、類似判断部５３、部分領域抽出部５４、文字認識部５５、物品コード領域抽出部５６、物品コード認識部５７、物品属性取得部５８、物品属性情報データベース５９、文字一致判断部６０、マスターデータベース６１および通信部６３を備えている。
【０１０１】
画像取得部５１は、カメラ４０によって撮影された登録対象物品の画像データを取得し、これを半導体メモリやハードディスクなどの記憶媒体に一旦記憶するものである。
【０１０２】
画像領域抽出部５２は、画像取得部５１から登録対象物品の画像データを読み出し、その画像データから物品の背景の画像データを削除することによって物品領域画像データを取得するものである。なお、物品領域画像データの取得方法については、種々の公知の方法を用いることができる。画像領域抽出部５２によって取得された物品領域画像データ（たとえば前後左右の画像データ）は、登録対象物品の全体画像情報として物品マスターテーブル６２に登録される。
【０１０３】
類似判断部５３は、画像領域抽出部５２において取得された物品領域画像データを取得し、その物品領域画像データと、既に物品マスターテーブル６２に登録されている複数の物品の全体画像情報とを照合し、登録対象物品の物品領域画像データと類似する画像データを含む全体画像情報を有する物品コードを類似物品コードとして取得するものである。物品領域画像データと登録済の物品の全体画像情報との照合は、たとえばテンプレートマッチングを用いて類似度を算出することによって行うようにすればよい。類似判断部５３によって取得された類似物品コードは、登録対象物品の類似物品コードとして物品マスターテーブル６２に登録される。
【０１０４】
部分領域抽出部５４は、画像領域抽出部５２によって取得された物品領域画像データが入力され、その物品領域画像データに基づいて、登録対象物品の上述した属性内容が現れている可能性がある部分領域を抽出するものである。
【０１０５】
具体的には、部分領域抽出部５４は、物品領域画像データ内において文字情報が現れている領域を部分領域として抽出する。部分領域抽出部５４は、たとえば物品領域画像データを２値化し、その２値化データに対してラベリングを施し、そのラベリングの情報に基づいて文字情報が存在すると思われる塊領域を部分領域として抽出する。なお、ここでいう文字情報には、ひらがな、カタカナ、漢字や英文字などだけでなく、数字や記号なども含まれるものとする。また、複数の文字などからなるものだけでなく、１つの文字なども含むものとする。
【０１０６】
なお、文字情報の領域（部分領域）の抽出方法については、これに限らず、種々の公知の方法を用いることができる。また、部分領域は１つに限らず、複数の文字情報の領域が抽出された場合には、その複数の文字情報の領域を部分領域として抽出するようにしてもよい。部分領域抽出部５４によって抽出された部分領域のラベリングデータは、文字認識部５５に出力される。
【０１０７】
文字認識部５５は、部分領域抽出部５４によって抽出された部分領域内のラベリングデータに基づいて文字認識処理を行って部分領域内に存在する文字情報を認識する。文字認識処理については既に公知であるので詳細な説明は省略する。文字認識部５５において認識された文字情報は文字一致判断部６０に出力される。
【０１０８】
物品コード領域抽出部５６は、画像取得部５１から登録対象物品の画像データを読み出し、その画像データから物品コードを表すバーコード画像が存在する領域を物品コード領域として抽出するものである。バーコード画像が存在する領域の抽出については、所定長の線分が複数配列されている領域を抽出するようにすればよいが、その抽出方法については種々の公知の方法を用いることができる。物品コード領域抽出部５６によって抽出された物品コード領域の情報は物品コード認識部５７に出力される。
【０１０９】
物品コード認識部５７は、入力された物品コード領域の情報に基づいて、物品コード領域内に存在するバーコード画像を認識することによって、登録対象物品の物品コードを取得するものである。物品コード認識部５７によって取得された物品コードは、登録対象物品の物品コードとして物品マスターテーブル６２に登録される。
【０１１０】
物品属性取得部５８は、物品コード認識部５７において認識された物品コードを取得し、その物品コードの内容に基づいて、物品属性情報データベース５９から登録対象物品の属性とその属性内容を取得するものである。属性としては、上述したとおり、たとえば「シリーズ番号」、「巻数」、「号数」、「規格品番記号」または「製造年」などがあり、属性内容とは、「シリーズ番号」、「巻数」、「号数」、「規格品番記号」または「製造年」を表す具体的な数字である。そして、物品属性取得部５８において取得された属性とその属性内容は、登録対象物品の属性情報として物品マスターテーブル６２に登録される。なお、登録対象物品の属性情報としては、物品コードに基づいて取得されるものに限らず、たとえばユーザによる入力部を用いた設定入力によって取得されるものでもよい。物品属性取得部５８によって取得された属性内容については、文字一致判断部６０にも出力される。
【０１１１】
そして、文字一致判断部６０は、文字認識部５５において認識された文字情報と、物品属性取得部５８から取得された属性内容とを比較し、これらが一致する場合には、その文字情報によって表される属性内容およびその属性と、その文字情報が存在する部分領域の位置情報とを、登録対象物品の部分特徴情報として物品マスターテーブル６２に登録する。具体的には、たとえば、文字認識部５５において認識された文字情報と物品属性取得部５８から取得された属性情報の内容とがともに「２２２３３３」であった場合には、その「２２２３３３」と、その「２２２３３３」の属性情報の種類（たとえばシリーズ番号など）と、その「２２２３３３」の文字情報が存在する部分領域の位置情報とを、登録対象物品の部分特徴情報として物品マスターテーブル６２に登録する。一方、文字認識部５５において認識された文字情報と、物品属性取得部５８から取得された属性内容とを比較し、これらが一致しない場合には、文字一致判断部６０は、その文字情報を部分特徴情報としては登録しないものである。
【０１１２】
物品属性情報データベース５９は、種々の物品コードによって表される属性や属性内容を記憶したものである。
【０１１３】
マスターデータベース６１は、登録物品対象の物品マスターテーブル６２を記憶するものである。物品マスターテーブル６２の詳細については、上述した物品照合装置２０のマスターデータベース２７に記憶されている物品マスターテーブルＴ１と同様である。また、マスターデータベース６１に、物品マスターテーブル６２における各物品の全体画像情報の画像データ６２ａを記憶するようにしてもよい。
【０１１４】
物品マスターテーブル作成装置５０における物品マスターテーブル６２は、新しい登録対象物品のテーブルが登録される度に更新されるものである。そして、物品照合装置２０の要求に応じて物品マスターテーブル作成装置５０における物品マスターテーブル６２は、通信部６３および通信ネットワークを介して物品照合システム１の物品照合装置２０に出力され、物品マスターテーブル作成装置５０における物品マスターテーブル６２の内容が、物品照合装置２０における物品マスターテーブルＴ１に上書きされることによって物品マスターテーブルＴ１が更新される。物品照合装置２０の物品マスターテーブルＴ１の更新は、物品マスターテーブル作成装置５０の物品マスターテーブル６２が更新される度に更新するようにしてもよいし、所定の期間毎に定期的に行うようにしてもよいし、ユーザによる更新指示入力に応じて任意のタイミングで行うようにしてもよい。
【０１１５】
また、物品マスターテーブル作成装置５０は、新しい登録対象物品のテーブルが登録される度に物品マスターテーブル作成装置５０における不図示の頻度テーブルを更新する。そして、物品照合装置２０の要求に応じて物品マスターテーブル作成装置５０における頻度テーブルは、通信部６３および通信ネットワークを介して物品照合装置２０に出力され、物品マスターテーブル作成装置５０における頻度テーブルの内容が、物品照合装置２０における頻度テーブルＴ４に上書きされることによって頻度テーブルＴ４が更新される。物品照合装置２０の頻度テーブルＴ４の更新は、物品マスターテーブル作成装置５０の頻度テーブルが更新される度に更新するようにしてもよいし、所定の期間毎に定期的に行うようにしてもよいし、ユーザによる更新指示入力に応じて任意のタイミングで行うようにしてもよい。
【０１１６】
モニタ７０は、物品マスターテーブル６２や、画像領域抽出部５２によって取得された物品領域画像データなどを表示するものである。
【０１１７】
次に、本実施形態の物品マスターテーブル登録システム２の作用について、図９および図１０に示すフローチャートを参照しながら説明する。
【０１１８】
まず、登録対象の物品がユーザによって所定の位置に設置される（Ｓ５０）。そして、ユーザによってカメラ４０を用いて登録対象の物品の全体的な外観が撮影される（Ｓ５２）。なお、このとき物品の全体的な外観の画像データに物品コードを表すバーコード画像が含まれていない場合には、そのバーコード画像が含まれる部分がカメラ４０によって別途撮影される。
【０１１９】
次いで、カメラ４０によって撮影された画像データは、有線または無線によってカメラ４０に接続された物品マスターテーブル作成装置５０の画像取得部５１によって取得されて一旦記憶される。
【０１２０】
画像取得部５１によって取得された画像データは物品コード領域抽出部５６に出力され、物品コード領域抽出部５６は、入力された画像データから物品コードを表すバーコード画像が存在する領域を物品コード領域として抽出する（Ｓ５４）。
【０１２１】
そして、物品コード領域抽出部５６によって抽出された物品コード領域の情報は物品コード認識部５７に出力され、物品コード認識部５７は、入力された物品コード領域の情報に基づいて、物品コード領域内に存在するバーコード画像を認識し（Ｓ５６）、登録対象物品の物品コードを取得する（Ｓ５８）。物品コード認識部５７によって取得された物品コードは、登録対象物品の物品コードとして物品マスターテーブル６２に登録される。
【０１２２】
次に、画像取得部５１によって取得された画像データは画像領域抽出部５２に出力され、画像領域抽出部５２は、入力された画像データから物品の背景の画像データを削除することによって物品領域画像データを取得する。そして、画像領域抽出部５２によって取得された物品領域画像データ（たとえば前後左右の画像データ）は、登録対象物品の全体画像情報として物品マスターテーブル６２に登録される（Ｓ６０）。
【０１２３】
また、画像領域抽出部５２によって取得された物品領域画像データは類似判断部５３に出力され、類似判断部５３は、入力された物品領域画像データと、既に物品マスターテーブル６２に登録されている複数の物品の全体画像情報とを照合し、登録対象物品の物品領域画像データと類似する画像データを含む全体画像情報を有する物品コードを類似物品コードとして取得する（Ｓ６２）。類似判断部５３によって取得された類似物品コードは、登録対象物品の類似物品コードとして物品マスターテーブル６２に登録される。
【０１２４】
次に、物品コード認識部５７において認識された物品コードが物品属性取得部５８に出力され、物品属性取得部５８は、その物品コードの内容に基づいて、物品属性情報データベース５９から登録対象物品の属性とその属性内容を取得する（Ｓ６４）。そして、物品属性取得部５８において取得された属性とその属性内容は、登録対象物品の属性情報として物品マスターテーブル６２に登録される。
【０１２５】
そして、さらに登録対象物品について部分特徴情報が取得されるが、この部分特徴情報の取得の作用については、図１０に示すフローチャートを参照しながら説明する。
【０１２６】
まず、画像領域抽出部５２によって取得された物品領域画像データが部分領域抽出部５４に入力され、部分領域抽出部５４は、入力された物品領域画像データに基づいて、物品領域画像データ内において文字情報が現れている領域を部分領域として抽出する（Ｓ７０）。
【０１２７】
そして、部分領域抽出部５４によって抽出された部分領域のラベリングデータが、文字認識部５５に出力され、文字認識部５５は、部分領域内のラベリングデータに基づいて文字認識処理を行って部分領域内に存在する文字情報を認識する（Ｓ７２）。文字認識部５５において認識された文字情報は文字一致判断部６０に出力される。
【０１２８】
一方、物品属性取得部５８において物品コードに基づいて取得された属性内容も文字一致判断部６０に出力される。
【０１２９】
そして、文字一致判断部６０は、文字認識部５５において認識された文字情報と、物品属性取得部５８から取得された属性内容とを比較し、これらが一致する場合には、その文字情報によって表される属性内容と、その文字情報が存在する部分領域の位置情報とを、登録対象物品の部分特徴情報として物品マスターテーブル６２に登録する（Ｓ７６）。一方、文字認識部５５において認識された文字情報と、物品属性取得部５８から取得された属性内容とを比較し、これらが一致しない場合には、文字一致判断部６０は、その文字情報を部分特徴情報としては登録しない。
【０１３０】
上述したようにして、新しい登録対象物品の物品マスターテーブル６２への登録が行われる。
【０１３１】
上記実施形態の物品マスターテーブル登録システム２によれば、部分特徴情報の属性情報と位置情報とを高精度かつ簡易に抽出することができる。
【０１３２】
なお、本実施形態に限定されず、臨床情報表示装置の構成要素の一部または全部は、1台のワークステーションにより構成されたものであってもよく、ネットワークを介して接続された一台以上のワークステーション、サーバ、記憶装置によって構成されたものであってもよい。なお、各機器は、ＣＤ−ＲＯＭ等の記録媒体からインストールされた本明細書の臨床情報表示を行うプログラムによって制御される。また、プログラムは、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされたものであってもよい。
【０１３３】
また、上述した各実施形態は、あくまでも本発明の一態様を示すものであり、本発明の趣旨を逸脱しない範囲内で任意に変形および応用が可能である。
【符号の説明】
【０１３４】
１          物品照合システム
２          物品マスターテーブル登録システム
１０、４０  カメラ
２０        物品照合装置
２１        画像取得部
２２        単品画像抽出部（画像抽出部）
２３        属性抽出部
２４        属性限定部
２５        第１照合部
２６        第２照合部
２７        マスターデータベース
３０、６０  モニタ
５０        物品マスターテーブル作成装置
Ｔ１        物品マスターテーブル
Ｔ２        照合結果在庫テーブル
Ｔ３        管理在庫テーブル
Ｔ４        頻度テーブル（頻度情報）
Ｔ５        割合テーブル（割合情報）
【図１】
2014044478.tif 000003
【図２】
2014044478.tif 000004
【図３】
2014044478.tif 000005
【図４】
2014044478.tif 000006
【図５】
2014044478.tif 000007
【図６】
2014044478.tif 000008
【図７】
2014044478.tif 000009
【図８】
2014044478.tif 000010
【図９】
2014044478.tif 000011
【図１０】
2014044478.tif 000012