(57)【要約】      （修正有）【課題】複数の物品を撮影した画像に基づいて、画像中の照合対象物品に対応する複数の物品候補が抽出された場合に、照合対象物品をより正確に照合する。【解決手段】複数の照合対象物品を撮影した画像を取得し、取得した画像と、種類の異なる複数の物品について、物品ごとに各物品の全体的な外観を表す全体画像情報を予め対応付けた物品情報とに基づいて第１の照合を行う第１照合部２３と、第１照合部における第１の照合によって、照合対象物品に対して抽出された複数の物品候補からなる物品候補群が、複数の照合対象物品について抽出された場合に、複数の物品候補群に含まれる各物品候補数が互いに一致するという第１の照合条件に基づいて物品候補群に含まれる複数の物品候補を郡単位で照合する第２照合部２４とを備える。【選択図】図１
2014044479.tif 000002
【特許請求の範囲】
【請求項１】
種類の異なる複数の物品について、該物品ごとに前記各物品の全体的な外観を表す全体画像情報を予め対応付けた物品情報を記憶する物品情報記憶部と、
複数の照合対象物品を撮影した画像を取得し、該取得した画像と、前記物品情報とに基づいて第１の照合を行う第１照合部と、
該第１照合部における第１の照合によって、前記照合対象物品に対して抽出された複数の前記物品候補からなる物品候補群が、複数の前記照合対象物品について抽出された場合に、前記物品候補群が抽出された前記照合対象物品の数と、複数の前記物品候補群に含まれる各物品候補数が互いに一致するという第１の照合条件に基づいて前記物品候補群に含まれる前記複数の物品候補を郡単位で照合する第２照合部とを備えたことを特徴とする物品照合装置。
【請求項２】
前記物品情報は、前記物品ごとに該物品に関連する所定の種類の数値を表す第１の属性における属性内容を表す第１の属性情報がさらに対応付けられており、
前記第２照合部が、前記物品情報に基づいて、前記物品候補ごとに前記第１の属性情報を抽出し、抽出された複数の前記物品候補の前記第１の属性情報が共通する所定範囲に属するという第２の照合条件にも基づいて、前記物品候補群に含まれる前記複数の物品候補を郡単位で照合することを特徴とする請求項１記載の物品照合装置。
【請求項３】
前記第１の属性情報が、前記物品の価格を表す情報であることを特徴とする請求項２記載の物品照合装置。
【請求項４】
前記物品情報は、前記物品ごとに該物品に関連するさらなる所定の種類の数値を表す第２の属性における属性内容を表す第２の属性情報がさらに対応付けられており、
前記第２照合部が、前記物品情報に基づいて、前記物品候補ごとに前記第２の属性情報を抽出し、前記物品候補群ごとに、該物品候補群に含まれる複数の前記物品候補の前記第２の属性情報の合計値を算出し、前記第２の属性情報の合計値が一致するという第３の照合条件にも基づいて、前記物品候補群に含まれる前記複数の物品候補を郡単位で照合することを特徴とする請求項１から３のいずれか１項記載の物品照合装置。
【請求項５】
前記第２の属性情報が、前記物品の所定方向の長さ、または、前記物品の色ヒストグラムを表す情報であることを特徴とする請求項４記載の物品照合装置。
【請求項６】
前記物品情報は、前記物品ごとに該物品の第３の属性における属性内容を表す第３の属性情報がさらに対応付けられており、
前記第２照合部が、前記物品情報に基づいて、前記物品候補ごとに前記第３の属性情報をさらに抽出し、複数の前記物品候補群に含まれる複数の前記物品候補の前記第３の属性情報の組合せが一致するという第４の照合条件にも基づいて、前記物品候補群に含まれる前記複数の物品候補を郡単位で照合することを特徴とする請求項１から５のいずれか１項記載の物品照合装置。
【請求項７】
前記第３の属性情報が、前記物品の識別情報であることを特徴とする請求項６記載の物品照合装置。
【請求項８】
前記物品が、所定のデータを記録した記録媒体、書籍および化粧品のいずれか１つであることを特徴とする請求項１から７のいずれか１項記載の物品照合装置。
【請求項９】
物品照合装置における物品照合方法であって、
複数の照合対象物品を撮影した画像を取得し、該取得した画像と、種類の異なる複数の物品について、物品ごとに前記各物品の全体的な外観を表す全体画像情報を予め対応付けた物品情報とに基づいて第１の照合を行う第１の照合ステップと、
該第１の照合ステップによって、前記照合対象物品に対して抽出された複数の前記物品候補からなる物品候補群が、複数の前記照合対象物品について抽出された場合に、前記物品候補群が抽出された前記照合対象物品の数と、複数の前記物品候補群に含まれる各物品候補数が互いに一致するという第１の照合条件に基づいて前記物品候補群に含まれる前記複数の物品候補を郡単位で照合する第２の照合ステップを有することを特徴とする物品照合方法。
【請求項１０】
コンピュータに、
複数の照合対象物品を撮影した画像を取得し、該取得した画像と、種類の異なる複数の物品について、物品ごとに前記各物品の全体的な外観を表す全体画像情報を予め対応付けた物品情報とに基づいて第１の照合を行う第１の照合ステップと、
該第１の照合ステップによって、前記照合対象物品に対して抽出された複数の前記物品候補からなる物品候補群が、複数の前記照合対象物品について抽出された場合に、前記物品候補群が抽出された前記照合対象物品の数と、複数の前記物品候補群に含まれる各物品候補数とが互いに一致するという第１の照合条件に基づいて前記物品候補群に含まれる前記複数の物品候補を郡単位で照合する第２の照合ステップとを実行させることを特徴とする物品照合プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の物品を撮影した画像中の物品を予め記憶した物品と照合する物品照合装置およびこの物品照合装置を用いた物品照合方法並びに物品照合プログラムに関するものである。
【背景技術】
【０００２】
従来、商品を最終消費者に販売する小売業においては、実際の在庫の数量を確認して、在庫管理表に記載のある在庫の数量と実際の在庫の数量との差異を把握する在庫管理のための商品の照合作業が定期的に行われている。例えば、店舗にある全ての商品について、商品に付されたバーコードを読み込んで商品番号を取得し、取得した商品番号に基づいて商品ごとに個数を集計して照合在庫表を作成し、予め記憶されていた管理在庫表と比較することにより、実際の在庫の数量との差異情報を取得することが行われている。
【０００３】
しかし、近来の商品の多様化に伴い、大型の店舗などでは、多様な多数の商品が存在する場合も多い。このため、１つ１つ商品のバーコードを読み取って在庫管理のための商品の照合作業をすることはコストや作業時間を要するものであるため小売業者の大きな負担となっている。このため、在庫管理のための物品の照合作業を低減する技術が期待されている。
【０００４】
このような問題を解決するために、特許文献１は、在庫管理のための商品の照合作業の際に、収納棚におかれた複数の商品を撮影した画像から、１つの商品を認識し、認識した商品の画像を、予め商品にその商品の画像と文字情報を対応付けたマスターファイルと照合し、認識した商品の画像がマスターファイルに登録された画像と一致しない場合には、認識した商品の画像から抽出した文字情報をマスターファイルに登録された文字情報と照合し、画像情報又は文字情報が一致する商品を在庫管理ファイルに記録するシステムを開示している。
【０００５】
また、特許文献２ないし４は、ユーザによる物品の照合作業を部分的に支援し、作業負担を軽減する技術を開示している。特許文献２は、移動体に搭載されたカメラの映像を解析して物品の文字情報および物品の位置を特定し、文字情報に基づいて物品の位置を検出する技術を提案している。
【０００６】
また、特許文献３は、ＲＦＩＤタグが付された複数の物品を携帯型のＲＦＩＤタグ読取装置で認識する際に、物品のＲＦＩＤタグの位置や向きによるＲＦＩＤタグが認識漏れの有無を判定するために、画像中のＲＦＩＤタグの件数と、ＲＦＩＤタグ読取装置で読み取ったＲＦＩＤタグの件数を比較することにより、ＲＦＩＤタグの認識漏れを検出する技術を提案している。
【０００７】
また、特許文献４は、図書館等で、図書館の管理データ上コンテナ内にあるはずの図書の総重量と、実際にコンテナ内にある図書を実測した総重量を比較することで、図書館が管理する図書に不明の図書があるのか、データのミスがあるのかを検出する技術を開示している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第３４９３００７号公報
【特許文献２】特許第４１３５５５６号公報
【特許文献３】特開２００８−６５３８６号公報
【特許文献４】特開２００５−６７７４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ここで、ユーザの負担低減のためには、在庫管理のための物品の照合作業が自動的に実施されることが好ましい。しかし、特許文献１の手法によって、照合対象の物品を撮影した画像と物品ごとに予め登録した物品の画像とに基づいて物品の照合作業を行う場合には、１つの画像に対して概観が類似する複数の物品候補が抽出されると、画像に対応する物品を特定できない。また、特許文献２の手法も、物品候補が複数抽出された場合に、在庫管理ための照合処理ができるものではない。また、特許文献３および４の手法によれば、複数の物品の数や全体重量を用いて、予め登録していた物品と一括して照合ができるものの、全体として重さや物品数が同じであれば、予め登録していた物品とは異なる種類の物品が入っていても区別ができないため、より正確に照合することが求められる。
【００１０】
本発明は上記事情に鑑みてなされたものであり、照合対象の物品を撮影した画像と物品ごとに予め登録した物品の画像とに基づいて物品の照合作業を行う際、画像中の１つの物品に対して複数の物品候補が抽出された場合に、より正確に照合できる物品照合装置および物品照合方法並びに物品照合プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係る物品照合装置は、種類の異なる複数の物品について、物品ごとに各物品の全体的な外観を表す全体画像情報を予め対応付けた物品情報を記憶する物品情報記憶部と、複数の照合対象物品を撮影した画像を取得し、取得した画像と、物品情報とに基づいて第１の照合を行う第１照合部と、第１照合部における第１の照合によって、照合対象物品に対して抽出された複数の物品候補からなる物品候補群が、複数の照合対象物品について抽出された場合に、物品候補群が抽出された照合対象物品の数と、複数の物品候補群に含まれる各物品候補数が互いに一致するという第１の照合条件に基づいて物品候補群に含まれる複数の物品候補を郡単位で照合する第２照合部とを備えたことを特徴とするものである。
【００１２】
本発明に係る物品照合方法は、物品照合装置における物品照合方法であって、複数の照合対象物品を撮影した画像を取得し、取得した画像と、種類の異なる複数の物品について、物品ごとに各物品の全体的な外観を表す全体画像情報を予め対応付けた物品情報とに基づいて第１の照合を行う第１の照合ステップと、第１の照合ステップによって、照合対象物品に対して抽出された複数の物品候補からなる物品候補群が、複数の照合対象物品について抽出された場合に、物品候補群が抽出された照合対象物品の数と、複数の物品候補群に含まれる各物品候補数が互いに一致するという第１の照合条件に基づいて物品候補群に含まれる複数の物品候補を郡単位で照合する第２の照合ステップを有することを特徴とするものである。
【００１３】
本発明にかかる物品照合プログラムは、コンピュータに上記方法を実行させることを特徴とするものである。
【００１４】
また、本発明の物品照合装置において、「物品」は、有体物であればいかなるものでもよく、例えば、陳列して販売可能な有形の物品に好適に適用可能である。例えば、物品を、所定のデータを記憶した記録媒体、書籍および化粧品のいずれか１つとすることができる。
【００１５】
上記所定のデータを記憶した記録媒体は、例えば、音声と画像およびコンピュータソフトウェアのいずれかのデータを任意の記録手法により磁気メディアまたは光学メディアなどの記録メディアに記録した商品が挙げられる。また、記録メディアの代表的な例として、ＤＶＤ、ＢＤ、ＣＤ、メモリーカード、磁気テープなどが挙げられる。
【００１６】
上記「属性」は、物品に属する情報を分類することができる区分を意味し、物品に属する情報を分類できるものであればいかなる観点で分類されたものであってもよい。例えば、所定の種類の属性またはさらなる種類の属性における「属性」として、物品の所定方向の長さなどの物品のサイズ、価格、物品の外観の色ヒストグラム、分類、製造者、出版社、製造年、発売年、著作者、物品の外観に含まれる書体、物品の外観に含まれる色数のいずれかを表す属性とすることができる。
【００１７】
上記「物品候補群に含まれる複数の物品候補を郡単位で照合する」とは、物品候補群が抽出された複数の照合対象物品について物品候補の中から個々に該当する物品を特定せず、物品候補群が抽出された複数の照合対象物品が照合対象物品群に含まれる複数の物品候補にそれぞれ該当していると判断して、物品候補群が抽出された複数の照合対象物品を一括して照合することを意味する。この結果、物品候補群が抽出された複数の照合対象物品が各照合対象物品群に含まれる複数の物品候補と個々に照合されることなく、物品候補群が抽出された複数の照合対象物品の全てについて、該当する物品が検出されたと一括して判断される。そして、照合対象物品群に含まれる複数の物品が照合対象物品に該当するとして、管理情報テーブル等の更新等が行われる。
【００１８】
また、本発明の物品照合装置において、物品情報は、物品ごとに物品に関連する所定の種類の数値を表す第１の属性における属性内容を表す第１の属性情報がさらに対応付けられており、第２照合部が、物品情報に基づいて、物品候補ごとに第１の属性情報を抽出し、抽出された複数の物品候補の第１の属性情報が共通する所定範囲に属するという第２の照合条件にも基づいて、物品候補群に含まれる複数の物品候補を郡単位で照合することが好ましい。この場合に、第１の属性情報として物品に関連する数値を表す任意の属性情報を用いることができ、例えば、第１の属性情報が、物品の価格を表す情報であることが好ましい。
【００１９】
また、本発明の物品照合装置において、物品情報は、物品ごとに物品に関連するさらなる所定の種類の数値を表す第２の属性における属性内容を表す第２の属性情報がさらに対応付けられており、第２照合部が、物品情報に基づいて、物品候補ごとに第２の属性情報を抽出し、物品候補群ごとに、物品候補群に含まれる複数の物品候補の第２の属性情報の合計値を算出し、第２の属性情報の合計値が一致するという第３の照合条件にも基づいて、物品候補群に含まれる複数の物品候補を郡単位で照合することが好ましい。この場合に、第２の属性情報として物品に関連する数値を表す任意の属性情報を用いることができ、例えば、第２の属性情報が、物品の幅や高さや径などの物品の所定方向の長さ、または、物品の色ヒストグラムを表す情報であることが好ましい。
【００２０】
また、本発明の物品照合装置において、物品情報は、物品ごとに物品の第３の属性における属性内容を表す第３の属性情報がさらに対応付けられており、第２照合部が、物品情報に基づいて、物品候補ごとに第３の属性情報をさらに抽出し、複数の物品候補群に含まれる複数の物品候補の第３の属性情報の組合せが一致するという第４の照合条件にも基づいて、物品候補群に含まれる複数の物品候補を郡単位で照合することが好ましい。この場合に、第３の属性情報として任意の属性情報を用いることができ、例えば、第３の属性情報が、物品の識別情報であることが好ましい。
【００２１】
なお、上記第１の属性情報、第２の属性情報、第３の属性情報は、それぞれが互いに異なるものであってもよく、第１ないし第３の属性情報の全てが同一の種類の情報であってもよく、第１ないし第３の属性情報から選ばれた２つの属性情報が同一の種類の情報であってもよい。
【発明の効果】
【００２２】
本発明によれば、複数の照合対象物品を撮影した画像を取得し、取得した画像と、種類の異なる複数の物品について、物品ごとに各物品の全体的な外観を表す全体画像情報を予め対応付けた物品情報とに基づいて第１の照合を実行し、第１の照合によって、照合対象物品に対して抽出された複数の物品候補からなる物品候補群が、複数の照合対象物品について抽出された場合に、物品候補群が抽出された照合対象物品の数と、複数の物品候補群に含まれる各物品候補数が互いに一致するという第１の照合条件に基づいて物品候補群に含まれる複数の物品候補を郡単位で照合する第２の照合を実行している。
【００２３】
このため、物品候補群が抽出された照合対象物品の数と、複数の物品候補群に含まれる各物品候補数が一致するという第１の照合条件に基づいて、比較的簡易な処理により、複数の照合対象物品と予め記憶された複数の物品候補とをまとめて照合できる。また、撮影された物品の画像と、物品情報における全体画像情報とに基づいて物品候補として抽出し、概観を表す画像に基づいて抽出された物品候補の中で、第１の照合条件に基づいて照合が行われるため、単に物品の数同士を比較する場合よりも、精度良く照合を行うことができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の物品照合装置の一実施形態を用いた物品照合システムの概略構成を示すブロック図
【図２】物品マスターテーブルの一例を示す図
【図３】照合結果在庫テーブルの一例を示す図
【図４】本発明の物品照合装置の一実施形態を用いた物品照合システムの作用を説明するためのフローチャート
【図５】第２照合処理を説明するためのフローチャート
【図６】物品マスターテーブルを作成する物品マスターテーブル登録システムの一実施形態の概略構成を示すブロック図
【図７】図６に示す物品マスターテーブル登録システムの作用を説明するためのフローチャート
【図８】部分特徴情報を取得する方法を説明するためのフローチャート
【発明を実施するための形態】
【００２５】
以下、本発明の物品照合装置および方法並びにプログラムの一実施形態を用いた物品照合システムについて、図面を参照しながら詳細に説明する。本実施形態の物品照合システムは、陳列棚に陳列された物品を撮影した画像データを取得し、その画像データと、物品マスターテーブルに予め登録された在庫の物品情報と照合することによって物品の在庫管理処理を行うものである。図１は、本実施形態の物品照合システム１の概略構成を示すブロック図である。
【００２６】
本実施形態の物品照合システム１は、図１に示すように、物品照合装置２０と、物品照合装置に接続されたモニタ３０と、物品照合装置２０に接続され、照合対象の複数の物品を撮影した画像を物品照合装置２０に提供するカメラ１０とを備え、物品照合装置２０は通信ネットワークを介して先述の物品マスターテーブルにアクセス可能に物品マスターテーブル登録システム２に接続されている。
【００２７】
本実施形態における物品照合装置２０は、ユーザが物品の在庫状況を管理する在庫テーブルを確認及び／または編集する際に使用するコンピュータであり、キーボード及びマウスからなる不図示の入力装置を備え、オペレーションシステムなどの標準的なソフトウェアがインストールされている。物品照合装置２０は、ＣＤ−ＲＯＭ等の記録媒体からインストールされたプログラムによって制御されて、本実施形態の物品照合装置２０として機能する。また、プログラムは、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされたものであってもよい。
【００２８】
物品照合装置２０は、複数の物品を陳列した１つの収納棚を表す画像を撮影して得られた画像を取得して記憶する画像取得部２１（画像バッファ）と、種類の異なる複数の物品について物品ごとに各物品の全体的な外観を表す全体画像情報と、物品の属性を表す属性情報とを予め対応付けた物品マスターテーブルＴ１（物品情報）を記憶するマスターデータベース２５（物品情報記憶部）と、照合対象の複数の物品を撮影した画像から個々の物品を単品画像として抽出する単品画像抽出部２２（画像抽出部）と、物品マスターテーブルＴ１に基づいて、登録された物品の全体画像情報と単品画像とを比較し、単品画像に該当する物品を照合する第１照合部２３と、第１照合部２３による照合処理により照合が完了しなかった物品について物品マスターテーブルＴ１に登録された物品とのさらなる照合処理を行う第２照合部２４と、物品照合装置２０を通信ネットワークに接続するための通信部２６を備える。
【００２９】
なお、マスターデータベース２５は、ハードディスクなどの公知の記憶媒体により構成される記憶装置であり、上述した物品マスターテーブルＴ１とともに、図１に示すような照合結果在庫テーブルＴ２および管理在庫テーブルＴ３とを記憶するものである。以下、物品照合装置２０の物品照合処理に先だって、物品マスターテーブルＴ１と、照合結果在庫テーブルＴ２および管理在庫テーブルＴ３について説明する。
【００３０】
図２は、物品マスターテーブルＴ１の一例を示すものである。物品マスターテーブルＴ１は、図２に示すように、複数の物品を識別するための物品コード（識別情報）と、その各物品コードによって特定される物品の全体画像情報、類似物品コード、属性情報および部分特徴情報とを対応付けたものである。
【００３１】
ここで、物品としては、陳列棚に陳列されて展示販売される物品であれば如何なるものでもよい。このような展示販売される物品としては、たとえば化粧品や書籍のほか、映像情報が記録されたＤＶＤやＢＤ、音楽情報が記録されたＣＤ、ソフトウェアアプリケーションが記録されたＣＤ−ＲＯＭ、メモリカード、磁気テープなどといった所定の情報が記録された記録媒体商品などがある。また、物品としては、上述したような商品として販売されるものに限らず、図書館の陳列棚に陳列される書籍などでもよい。
【００３２】
本実施形態の物品マスターテーブルＴ１は、上述したような化粧品、書籍、ＤＶＤなどの物品のうちのいずれか１つについて作成されたものである。
【００３３】
物品マスターテーブルＴ１における物品コードは、上述したように個々の物品を識別するための識別情報であり、たとえば物品が化粧品の場合には、ＪＡＮ（Japanese Article Number）コードが使用される。また、物品が書籍の場合には、ＩＳＢＮ（International Standard Book Number）コードが使用される。物品コードとしては、ＪＡＮやＩＳＢＮに限らず、個々の物品を識別できるものであれば如何なるものを用いてもよい。なお、同一の物品については同じ物品コードが付されるため、たとえば同一の物品が在庫として複数個存在したとしても、その物品に対応する物品コードのテーブルは１つだけ存在するものとする。
【００３４】
全体画像情報は、物品の全体的な外観を表すものであり、具体的には、たとえば物品全体を前後左右からカメラなどによって撮影した画像データである。物品マスターテーブルＴ１に登録される全体画像情報は、画像データそのものでも良いし、画像データが保存されたデータサーバのＵＲＬ（Uniform Resource Locator）や保存フォルダのディレクトリなどといった接続先のリンク情報でもよい。また、全体画像情報は、物品を陳列棚に陳列した際に正面方向となり得る方向から撮影した画像データを含むものであるが、たとえば円筒形状の物品である場合には、前後左右方向に限らず、その他の方向からの画像データを含めるようにしてもよい。
【００３５】
類似物品コードは、物品コードによって特定される物品と類似した全体画像情報を有する物品の物品コードである。
【００３６】
属性情報は、物品の複数の属性と各属性の属性内容を対応付けた情報である。ここでいう、「属性」は、物品に属する情報を分類することができる区分を意味し、物品に属する情報を分類できるものであればいかなる観点で分類されたものであってもよい。たとえば物品が化粧品である場合には、属性の種類としては、たとえば図２に示すように、その化粧品の「製品名」、化粧品の「価格」、化粧水、口紅、ファンデーションなどといった化粧品の「分類」（分類）、化粧品の「メーカ」、化粧品の「製造年」、化粧品の「サイズ（高さ）」や「サイズ（幅）」や、所定の方向から見た商品の外観画像（例えば、箱入りの商品であれば、商品の箱の正面画像など）から抽出した「色ヒストグラム」などがある。
【００３７】
また、たとえば物品が書籍である場合には、属性の種類としては、たとえば、書籍の「タイトル」、書籍の「価格」、文庫本、単行本、漫画、雑誌などといった書籍の「分類」、書籍の「出版社」、書籍の「シリーズ番号」、1巻、２巻、３巻といった書籍の「巻数」、１月号、２月号、３月号といった書籍の「号数」、書籍の「発行年」、所定のサイズ規格により分類したＡ４、Ｂ５、Ｂ６などの書籍の「サイズ」や、物品の外観に含まれる文字や記号について、ゴシック体、明朝体などの「フォント」や、所定の方向から見た書籍の外観画像から抽出した「色ヒストグラム」などがある。
【００３８】
また、たとえば物品がＤＶＤである場合には、属性の種類としては、たとえば、ＤＶＤに記録された映画などの「タイトル」、ＤＶＤの「価格」、アクション、アニメ、ホラー、ドキュメンタリーなどといったＤＶＤに記録された映画の「分類」、ＤＶＤを発行している「発行元」、ＤＶＤの「規格品番記号」、1巻、２巻、３巻といったＤＶＤの「巻数」、ＤＶＤの「発行年」、ＤＶＤのパッケージの「サイズ（高さ）」や「サイズ（幅）」、所定の方向から見たＤＶＤの外観画像から抽出した「色ヒストグラム」などがある。
【００３９】
また、上記属性における「属性内容」は、上記属性における具体的な情報の内容を意味する。例えば、上述した例によれば、物品が書籍などの著作物である場合に、属性が「分類」である場合には、文庫本、単行本、漫画、雑誌などが属性内容に相当する。また、属性が、「メーカ」、「出版社」または「著作者」である場合には、会社などの団体名または個人名を属性内容とすることができる。また、属性が「サイズ」の場合には、例えば、所定のサイズ規格により分類したＡ４、Ｂ５、Ｂ６、または、所定方向の長さや面積などにより分類した所定の数値や所定の数値範囲を属性内容とすることができる。また、属性が「製造年」や「発行年」である場合には、2012年、2011年などの具体的な年号を属性内容とすることができる。また、属性が物品の外観に含まれる「フォント」である場合には、ゴシック体、明朝体などの具体的な書体の種類名を属性内容とすることができる。また、属性が物品の外観に含まれる「色数」である場合には、１色、２色、３色などを属性内容とすることができる。また、属性が物品の外観に含まれる「色ヒストグラム」である場合には、画像の全体画像情報から抽出した、ＲＧＢなどの所定の色に対する色ヒストグラムを属性内容とすることができる。なお、物品マスターテーブルＴ１に登録される色ヒストグラムは、色ヒストグラムのデータそのものでも良いし、色ヒストグラムのデータが保存されたデータサーバのＵＲＬ（Uniform Resource Locator）や保存フォルダのディレクトリなどといった接続先のリンク情報でもよい。
【００４０】
また、上記「分類」は、物品が音楽ＣＤである場合、例えば、クラシック、ポップミュージック、映画音楽などを分類における属性内容とすることができる。物品が動画ＤＶＤである場合、例えば、アクション、アニメ、ホラー、ドキュメンタリーなどを分類における属性内容とすることができる。また、化粧品における分類は、例えば、口紅、マスカラ、アイシャドウなどのように化粧品の種類を分類における属性内容とすることができる。
【００４１】
なお、上記説明では、化粧品、書籍、ＤＶＤおよびＣＤの属性について説明したが、これに限らず、物品の種類に応じて種々の属性および属性内容からなる属性情報が登録されるものとする。
【００４２】
物品マスターテーブルＴ１には、上述したような属性情報が物品ごとに対応付けられて登録される。なお、本実施形態において、物品マスターテーブルＴ１には、物品ごとに対応付けられた価格（第１の属性情報）、物品の幅（第２の属性情報）、および、物品の識別情報である物品コード（第３の属性情報）を表す情報が対応付けられており、これらの第１ないし第３の属性情報が、上記物品マスターテーブルＴ１に基づいて、後述の第２照合部２４による第２の照合処理に用いられる。
【００４３】
部分特徴情報は、物品の外観の一部の範囲の情報である。具体的には、物品の外観の一部の範囲に現れている上述した属性内容と、その属性内容が現れている一部の範囲の位置情報とが部分特徴情報として登録される。
【００４４】
図２では、一部の範囲の位置情報として、水平方向をＸ方向、垂直方向をＹ方向とした場合のＸ座標、Ｙ座標およびサイズとが登録される。一部の範囲のＸ座標およびＹ座標としては、一部の範囲を矩形領域で定義した場合には、たとえばその矩形領域の左上の角の点の位置座標や、矩形領域の中心座標などを用いることができる。また、一部の範囲のサイズとしては、一部の範囲のＸ方向のサイズとＹ方向のサイズとが登録される。なお、上記一部の範囲の位置情報は、物品の全体的な外観における相対的な位置情報であって、物品の外観の一部の範囲に現れている属性内容が正面方向に向いているときの位置情報とする。部分特徴情報は必ずしも１つでなくてもよく、属性内容とその位置情報との組み合わせを複数組登録するようにしてもよい。
【００４５】
そして、物品マスターテーブルＴ１には、市場において販売されている多数の物品について、物品コードと、上述した全体画像情報、類似物品コード、属性情報および部分特徴情報とが対応付けられて登録されている。なお、物品マスターテーブルＴ１は、後述する物品マスターテーブル登録システム２における物品マスターテーブル作成装置５０によって作成されるものであるが、その作成方法については後で詳述する。
【００４６】
図３は、照合結果在庫テーブルＴ２の一例を示すものである。照合結果在庫テーブルＴ２は、図３に示すように、各物品コードとその物品コードによって特定される物品の在庫数とが対応付けられたものである。そして、照合結果在庫テーブルＴ２は、上述した第１の照合部２３または第２の照合部２４における照合処理の結果に基づいて更新されるものである。具体的には、照合処理によって単品画像に対応する物品に１つの物品候補が物品マスターテーブルＴ１から抽出された際、照合結果在庫テーブルＴ２におけるその物品の物品コードの在庫数が１つインクリメントされて照合結果在庫テーブルＴ２が更新される。
【００４７】
管理在庫テーブルＴ３も、照合結果在庫テーブルＴ２と同様に、各物品コードとその物品コードによって特定される物品の在庫数とが対応付けられたものであるが、管理在庫テーブルＴ３は、店舗や図書館などに物品が搬入および搬出される毎に更新されるものである。具体的には、管理在庫テーブルＴ３は、店舗や図書館などに物品が搬入される度に、その物品の物品コードに対応する在庫数が１つインクリメントされ、かつ物品が搬出される度に、その物品の物品コードに対応する在庫数が１つデクリメントされて更新されるものである。なお、店舗における物品の搬入とは物品が入荷されたことを意味し、物品の搬出とはその物品が売れて持ち出されたことを意味する。
【００４８】
つまり、管理在庫テーブルＴ３は、店舗や図書館などにおいて管理されている物品の在庫状況を表すものであり、照合結果在庫テーブルＴ２は、実際に店舗や図書館内に存在する物品の在庫状況を表すものである。管理在庫テーブルＴ３と照合結果在庫テーブルＴ２とは、本来、上述した照合処理が終了した時点において一致するものである。しかしながら、たとえば物品が盗まれたり、物品の搬入や搬出の時点において管理在庫テーブルＴ３の更新にミスがあったりした場合にはこれらのテーブルは一致しないことになる。照合結果在庫テーブルＴ２と管理在庫テーブルＴ３とはモニタ３０に表示されるものである。
【００４９】
次に、本実施形態の物品照合システム１の作用について、図４に示すフローチャートを参照しながら説明する。
【００５０】
まず、物品照合処理に先立って、ユーザによってカメラ１０を用いて陳列棚に並んだ物品の撮影が行われる。具体的には、ここでは、複数の商品が陳列された棚板を複数有する１つの陳列棚の全体が含まれるようにカメラ１０の撮影範囲が設定されて撮影が行われる。そして、カメラ１０によって撮影された画像データは、有線または無線によってカメラ１０に接続された物品照合装置２０の画像取得部２１によって取得されて一旦記憶される。
【００５１】
そして、ユーザが物品照合処理用のソフトウェアを起動し、入力装置を用いて画像取得部２１に記憶されている上述の１つの陳列棚を撮影した画像を選択し、物品照合処理開始ボタンを選択すると、これらの指定操作および選択操作を受け付けて、物品照合装置２０が物品照合処理を開始する。
【００５２】
まず、単品画像抽出部２２が、画像取得部２１に記憶された画像データを読出し、読み出した画像データから１つ１つの物品の単品画像（単品画像データ）をそれぞれ区分して抽出する（Ｓ１０）。ここでは、単品画像抽出部２２は、画像取得部２１から照合対象の複数の物品を撮影した画像を１つ取得し、周知のテンプレートマッチング法を用いて予め記憶した物品の外形と一致する領域を照合対象物品領域とすることにより、この画像から個々の物品領域を認識し、個々の物品の単品画像データを抽出する。なお、単品画像データの抽出については、その他の種々の公知な方法を用いることができる。
【００５３】
次いで、第１照合部２３は、物品マスターテーブルＴ１に登録された全体画像情報の画像データと、抽出された全ての単品画像データとの第１の物品照合処理をそれぞれ行う（Ｓ１２）。
【００５４】
ここでは、第１照合部２３は、照合対象物品の単品画像と、物品マスターテーブルＴ１に登録された物品の全体画像情報の画像データとのテンプレートマッチングを行い、周知の画像間の相関を評価する評価関数を用いて類似度を表す値を算出する。なお、第１照合部２３による画像の類似度を算出する処理は、画像の類似度算出できる周知のいかなる方法を用いてもよい。
【００５５】
そして、算出された値をしきい値条件により判断して、しきい値が表す所定の基準よりも類似度が大きい（類似する）全体画像情報の画像データが１つだけ抽出された場合には、画像データに対応する物品を決定する。全ての単品の画像データに対して、全体画像情報の画像データがそれぞれ１つずつ抽出された場合には（Ｓ１４，ＹＥＳ）、第１照合部２３は、マスターデータベース２５上の照合結果在庫テーブルＴ２に照合結果を反映（出力）する。つまり、照合結果在庫テーブルＴ２において、抽出された全体画像ごとに、その全体画像が抽出された回数分、抽出された全体画像に対応する物品の物品コードに対応する在庫数をそれぞれインクリメントして、照合結果在庫テーブルＴ２を更新する（Ｓ２２）。次いで、更新された照合結果在庫テーブルＴ２を、ユーザが確認できるように、モニタ３０に表示する（Ｓ２４）。
【００５６】
一方、第１の照合処理によって複数の物品候補が抽出された場合には（Ｓ１４，ＮＯ、Ｓ１６，複数の物品候補）、第２照合部２４において、第２の照合処理が行われる（Ｓ１８）。
【００５７】
ここで、図４の第２照合処理（Ｓ１８）について、図５に示すフローチャートを参照しながら詳細に説明する。
【００５８】
第２照合部２４は、第１照合部２３における第１の照合によって、照合対象物品に対して抽出された複数の物品候補からなる物品候補群が、複数の照合対象物品について抽出された場合に、物品候補群が抽出された照合対象物品の数と、複数の物品候補群に含まれる各物品候補数が互いに一致するという第１の照合条件を満足するか否かを判別する（Ｓ４０）。
【００５９】
ここでは、第１の照合処理によって、複数の物品候補が抽出された（照合対象物品群が抽出された）照合対象物品からなる照合対象物品群Ｇ（A,B,C）を例に、第２照合部２４による照合処理を説明する。なお、照合対象物品Ａを含む単品画像データについて物品候補群Ｇａ（a1,a2,a3）が抽出され、照合対象物品Ｂを含む単品画像データについて物品候補群Ｇｂ（b1,b2,b3）が抽出され、照合対象物品Ｃを含む単品画像データについて物品候補Ｇｃ（c1,c2,c3）が抽出されたものとする。また、a1,a2,a3,b1,b2,b3,c1,c2,c3はそれぞれ物品候補群に含まれる物品候補を表す。
【００６０】
上記例では、照合対象物品群Ｇの照合物品数は、A,B,Cの３件であり、照合対象物品Ａについての物品候補群Ｇａの物品候補数はa1,a2,a3の３件であり、同様に、照合対象物品Ｂについての物品候補群Ｇｂの物品候補数はb1,b2,b3の３件であり、照合対象物品Ｃについての物品候補群Ｇｃの物品候補数はc1,c2,c3の３件である。このため、上記例は、複数の物品候補が抽出された照合物品数および各物品候補群に含まれる物品候補数がそれぞれ共通しており、第１の照合条件を満足している。
【００６１】
第１の照合条件を満足している場合には、第２照合部２４は、物品マスターテーブルＴ１に基づいて、物品候補ごとに第３の属性情報である物品コードをさらに抽出し、複数の物品候補群に含まれる複数の物品候補の物品コードの属性情報の組合せが一致するという第４の照合条件を満足するか否かをさらに判別する。第１の照合条件または第４の照合条件を満足しない場合には（Ｓ４０、Ｎｏ）、第２照合部２４は、照合対象物品の画像データを未照合画像データとして記憶して（Ｓ４６）、第２の照合処理を終了する。
【００６２】
次に、上記第４の照合条件を満足する場合、すなわち、照合対象物品Ａについての物品候補群Ｇａの各物品候補a1,a2,a3と、同様に、照合対象物品Ｂについての物品候補群Ｇｂの各物品候補b1,b2,b3と、照合対象物品Ｃについての物品候補群Ｇｃの各物品候補c1,c2,c3はそれぞれ組み合わせが一致している場合には（Ｓ４０、Ｙｅｓ）、第２照合部２４は、物品マスターテーブルＴ１に基づいて、物品候補ごとに第１の属性情報である価格を抽出し、抽出された複数の物品候補の第１の属性情報が共通する所定範囲に属するという第２の照合条件を満足するか否かを判別する（Ｓ４２）。
【００６３】
第２照合部２４は、照合対象物品Ａについての物品候補a1,a2,a3、照合対象物品Ｂについての物品候補b1,b2,b3、照合対象物品Ｃについての物品候補c1,c2,c3について、それぞれの価格をそれぞれ物品マスターテーブルＴ１から取得する。そして、第２照合部２４は、物品候補群Ｇａに属する複数の物品候補の価格が下記式（１）を満たすか否かを判断する。なお、下記式（１）において、候補物品のｔはしきい値であり、しきい値ｔを１に近い値に設定するほど、複数の候補物品の価格がより近似している場合を判断できる。例えば、しきい値ｔを０．８以上の値とすることが好ましい。なお、下記式（１）に替えて、第２の照合条件を、複数の物品候補の第１の属性情報が全て一致する（共通する所定範囲に属する）と規定してもよい。
Min{a1,a2,a3}/Max{a1,a2,a3} ≧ t          （１）
【００６４】
ここでは、しきい値ｔ＝０．８であり、a1,a2,a3の価格が全て同一であり、b1,b2,b3の価格が全て同一であり、c1,c2,c3の価格が全て同一であり、式（１）が満足されているものとする。なお、第２照合部２４は、物品候補群から選択される任意の群のみに第２の照合条件を満足するか否かを判別してもよく、物品候補群から選択される全ての群に第２の照合条件を満足するか否かを判別してもよい。また、第２の照合条件を、複数の種類の第１の属性情報について、各物品候補群に含まれる各第１の属性情報がそれぞれの所定範囲に属するか否かを判別するようにしてもよい。
【００６５】
第２の照合条件を満足しない場合には（Ｓ４２，Ｎｏ）、第２照合部２４は、照合対象物品の画像データを未照合画像データとして記憶して（Ｓ４６）、第２の照合処理を終了する。また、第２の照合条件を満足している場合には（Ｓ４２、Ｙｅｓ）、第２照合部２４は、物品マスターテーブルＴ１に基づいて、物品候補ごとに第２の属性情報である物品の幅を抽出し、物品候補群ごとに、物品候補群に含まれる複数の物品候補の幅の合計値を算出し、第２の属性情報の合計値が一致するという第３の照合条件を満足するか否かを判別する（Ｓ４４）。
【００６６】
第２照合部２４は、物品候補群Ｇａに含まれる各物品候補a1,a2,a3の幅の合計値と、物品候補群Ｇｂに含まれる各物品候補b1,b2,b3の幅の合計値と、物品候補群Ｇｃに含まれる各物品候補c1,c2,c3の幅の合計値とが一致する場合には、第３の照合条件を満足すると判別して（Ｓ４４，Ｙｅｓ）、第２の照合処理を終了する。一方、第３の照合条件を満足しない場合には（Ｓ４４，Ｎｏ）、第２照合部２４は、照合対象物品の画像データを未照合画像データとして記憶して（Ｓ４６）、第２の照合処理を終了する。
【００６７】
また、第３の照合条件を、物品候補群に含まれる物品候補の幅（第２の属性情報）の合計値と、照合対象物品の幅（第２の属性情報）の合計値とが一致すると変形して規定してもよい。この場合には、第２照合部２４は、単品画像データから照合対象物品Ａ、Ｂ、Ｃの幅を、周知の方法により抽出し、照合対象物品Ａ、Ｂ、Ｃの幅の合計値と、物品候補群に含まれる物品候補の合計値とが一致するか否かを判断する。
【００６８】
また、各幅などの特定の数値は、幅の測定条件や抽出条件により誤差が生じる場合があるため、上記「合計値が一致する」とは、各幅の値が、厳密に一致する場合だけでなく、合計値が誤差の範囲内である場合も含む。
【００６９】
また、第２の属性情報として、RGBの色ごとの色ヒストグラムを用いてもよい。また、第３の照合条件を、複数の種類の第２の属性情報について、各物品候補群に含まれる第２の属性情報の合計値が一致するか否かを判別するようにしてもよい。例えば、第３の照合条件を、(i)各物品候補群に含まれる物品候補の幅の合計値が一致し、かつ、(ii)各物品候補群に含まれる色ヒストグラムの合計値が一致すると設定してもよい。
【００７０】
図４に示すように、上述した第２の照合処理において、全ての照合条件を満足する場合には、第２照合部２４は、照合対象物品群Ｇと物品候補群Ｇａの要素の一対一の対応関係は不明であるものの、照合対象物品群Ｇ(A,B,C)が物品候補群Ｇａ(a1,a2,a3)と同一であると判断して、照合対象物品群Ｇ(A,B,C)に含まれる各照合対象物品に対応する物品が一括して決定され（Ｓ２０，ＹＥＳ）、マスターデータベース２５上の照合結果在庫テーブルＴ２に照合結果を反映（出力）する。つまり、第２照合部２４は、物品候補群Ｇａに含まれる各物品a1,a2,a3の物品コードに対応する在庫数を１つインクリメントして照合結果在庫テーブルＴ２を更新する（Ｓ２２）。次いで、ユーザが結果を確認できるように、更新された照合結果在庫テーブルＴ２をモニタ３０に表示する（Ｓ２４）。
【００７１】
一方、第２の照合処理によっていずれかの照合条件を満足しなかった場合には（Ｓ２０，ＮＯ）、記憶された未照合画像データおよび該当物品を抽出することができなかった旨がモニタ３０に表示される（Ｓ２８）。そして、モニタ３０を確認したユーザは、必要に応じて、照合対象物品の外観や物品コードなどを手作業によって直接確認して、マニュアル操作により、マスターデータベース２５上に照合結果を反映して、照合結果在庫テーブルＴ２を更新する（Ｓ２２）。そして、更新された照合結果在庫テーブルＴ２をモニタ３０に表示する（Ｓ２４）。
【００７２】
なお、第２の照合処理によって該当物品が抽出されなかった場合に限らず、上述した第１の照合処理において該当する物品候補が抽出されなかった場合には（Ｓ１６，Ｎｏ）、照合対象物品の画像データを未照合画像データとして記憶される（Ｓ２６）。そして、記憶された未照合画像データおよび該当する物品候補を抽出することができなかった旨がモニタ３０に表示される（Ｓ２８）。そして、モニタ３０を確認したユーザは、必要に応じて、照合対象物品の外観や物品コードなどを手作業によって直接確認して、マニュアル操作により、マスターデータベース２５上に照合結果を反映して、照合結果在庫テーブルＴ２を更新する（Ｓ２２）。そして、更新された照合結果在庫テーブルＴ２をモニタ３０に表示する（Ｓ２４）。
【００７３】
また、照合結果在庫テーブルＴ２の表示の際に、本実施形態にかかる物品照合処理により得られた照合結果在庫テーブルＴ２と、予め記憶していた管理在庫テーブルＴ３との物品の在庫数の差異を算出し、物品の在庫数の差異について視認可能に表示することが好ましい。また、更新された照合結果在庫テーブルＴ２を、モニタ３０に表示する処理は、上述の例のように全ての照合処理が終了してから行ってもよく、個々の照合処理が終了してから行ってもよい。
【００７４】
上記本実施形態によれば、複数の照合対象物品を撮影した画像を取得し、取得した画像と、種類の異なる複数の物品について、物品ごとに各物品の全体的な外観を表す全体画像情報を予め対応付けた物品情報とに基づいて第１の照合を実行し、第１の照合によって、照合対象物品に対して抽出された複数の物品候補からなる物品候補群が、複数の照合対象物品について抽出された場合に、物品候補群が抽出された照合対象物品の数と、複数の物品候補群に含まれる各物品候補数が互いに一致するという第１の照合条件に基づいて物品候補群に含まれる複数の物品候補を郡単位で照合する第２の照合を実行している。
【００７５】
このため、物品候補群が抽出された照合対象物品の数と、複数の物品候補群に含まれる各物品候補数を比較するという、比較的簡易な処理により、物品候補群が抽出された複数の照合対象物品と予め記憶された複数の物品候補とを適切に照合できる。また、第１の照合条件に基づいて郡単位で一括照合を行っているため、物品候補群が抽出された複数の照合対象物品について物品候補の中から個々に該当する物品を抽出する処理を行うことなく、照合処理の計算負荷が必要以上に増大することを抑制することができる。また、撮影された物品の画像と、物品情報における全体画像情報とが類似する物品を物品候補として抽出し、概観を表す画像が類似している物品候補の中で、第１の照合条件に基づいて照合が行われるため、単に物品の数同士を比較する場合よりも、精度良く照合を行うことができる。
【００７６】
また、上記実施形態では、物品情報が、物品ごとに物品に関連する所定の種類の数値を表す第１の属性における属性内容を表す第１の属性情報がさらに対応付けられており、第２照合部が、物品情報に基づいて、物品候補ごとに第１の属性情報を抽出し、抽出された複数の物品候補の第１の属性情報が共通する所定範囲に属するという第２の照合条件にも基づいて、物品候補群に含まれる複数の物品候補を郡単位で照合しているため、より正確に物品の照合を行うことができる。
【００７７】
また、複数巻にわたって発行されている書籍など、同一シリーズの物品には、類似の外観を有する場合もある。同一シリーズの物品は一般に近接して配置される場合も多いため、撮影された画像に所定のシリーズの照合対象物品が複数含まれている場合には、類似の概観を有する同一シリーズの複数の物品が、複数の所定のシリーズの照合対象物品に対してそれぞれ物品候補として抽出される可能性が高いと考えられる。また、同一シリーズの物品が、同じまたは類似の属性情報を有する場合が多い。このため、複数の物品候補の第１の属性情報が共通する所定範囲に属するという第２の照合条件を照合に用いることにより、群単位の照合を好適に行うことができ、照合処理の負荷を好適に低減できる可能性が高い。例えば、書籍やＤＶＤなどにおいては、同一シリーズの物品は同じ価格帯に属する場合が多いため、本実施形態のように第１の属性情報を物品の価格を表す情報とした場合には、好適に群単位の照合を行うことができる。
【００７８】
また、上記実施形態では、物品情報は、物品ごとに物品に関連するさらなる所定の種類の数値を表す第２の属性における属性内容を表す第２の属性情報がさらに対応付けられており、第２照合部が、物品情報に基づいて、物品候補ごとに第２の属性情報を抽出し、物品候補群ごとに、物品候補群に含まれる複数の物品候補の第２の属性情報の合計値を算出し、第２の属性情報の合計値が一致するという第３の照合条件にも基づいて、物品候補群に含まれる複数の物品候補を郡単位で照合しているため、より正確に物品の照合を行うことができる。
【００７９】
また、第２の属性情報が、物品の幅や高さや径などの物品の所定方向の長さ、または、物品の色ヒストグラムを表す情報である場合には、比較的簡易な処理により、複数の物品候補をより精度よく照合できる。
【００８０】
また、上記実施形態では、物品情報は、物品ごとに物品の第３の属性における属性内容を表す第３の属性情報がさらに対応付けられており、第２照合部が、物品情報に基づいて、物品候補ごとに第３の属性情報をさらに抽出し、複数の物品候補群に含まれる複数の物品候補の第３の属性情報の組合せが一致するという第４の照合条件にも基づいて、物品候補群に含まれる複数の物品候補を郡単位で照合しているため、より正確に物品の照合を行うことができる。
【００８１】
また、第３の属性情報が、物品の識別情報であるため、好適に物品候補の組合せを判別することができる。
【００８２】
また、店舗や図書館などでは、同一シリーズの物品など関連する物品が近接して配置される場合が多く、同一シリーズの物品の外観が類似している場合には１つの単品の画像データに対して複数の物品候補が抽出される可能性があるため、上記実施形態に用いる照合対象物品を撮影して得られた画像は、同一シリーズの照合対象物品を近接して配置することが多い範囲を撮影したものを用いることが好適である。この観点から、上記の実施形態のように、１つの収納棚や陳列台などの範囲を撮影した画像を用いることができる。また、上記実施形態に用いる物品照合処理は、１枚の画像単位で実施してもよく、複数の画像単位で実施してもよい。
【００８３】
上記実施形態において、物品は、陳列して販売可能な任意の商品とすることができる。例えば、物品を、音声と画像およびコンピュータソフトウェアのうち少なくとも１つを任意の記録手法により記録したＣＤ、ＤＶＤ、ＢＤ、磁気テープなどの記録媒体商品、書籍および化粧品のいずれかとした場合に、本実施形態の物品照合装置２０による物品照合処理を好適に適用することができる。
【００８４】
また、上記実施形態のように、第２照合部２４は、第２の照合条件に基づく照合処理（Ｓ４２）、第３の照合条件に基づく照合処理（Ｓ４４）、第４の照合条件に基づく照合処理の全てを行ってもよく、第２ないし第４の照合条件に基づく照合処理から任意に選択される1つ以上の照合処理のみを行ってもよく、第２ないし第４の照合条件に基づく照合処理を全て省略してもよい。また、第１ないし第４の照合条件に基づく照合処理から選択される２つ以上の照合処理を行う場合、選択された各照合処理を任意の順序で実施してもよく、同時に実施してもよい。また、第１ないし第４の照合条件を満足しているか否かを判断するために、それぞれ任意の方法を用いることができる。第１および第２の属性情報として物品に関連する数値を表す任意の属性情報を用いることができ、第３の属性情報として物品に関連する任意の属性情報を用いることができる。また、上記第１の属性情報、第２の属性情報、第３の属性情報は、それぞれが互いに異なるものであってもよく、第１ないし第３の属性情報の全てが同一の種類の情報であってもよく、第１ないし第３の属性情報から選ばれた２つの属性情報が同一の種類の情報であってもよい。
【００８５】
また、上記実施形態において、物品照合装置２０は、第２の照合処理により照合できなかった単品画像データに対して、周知の種々の照合方法によるさらなる照合処理を適用するものであってもよい。
【００８６】
次に、上述した物品マスターテーブルＴ１を作成する物品マスターテーブル登録システムについて説明する。図６は、物品マスターテーブル登録システム２の概略構成を示すブロック図である。
【００８７】
本実施形態の物品マスターテーブル登録システム２は、図６に示すように、カメラ４０と、物品マスターテーブル作成装置５０と、モニタ７０とを備えている。
【００８８】
カメラ４０は、物品マスターテーブルＴ１への登録対象の物品の全体的な外観を撮影するものであり、カメラ４０によって物品の全体的な外観を撮影した画像データに基づいて、物品マスターテーブルＴ１に登録される全体画像情報が取得される。したがって、カメラ４０による撮影は、たとえば登録対象物品の前後左右方向から行われる。また、上記画像データに物品コードを表すバーコード画像が含まれる場合には、そのバーコード画像に基づいて、物品マスターテーブルＴ１に登録される物品コードが取得される。なお、登録対象物品の全体的な外観の画像データに物品コードを表すバーコード画像が含まれていない場合には、そのバーコード画像が含まれる部分がカメラ４０によって別途撮影される。また、バーコード画像をバーコードリーダによって別途読み取るようにしてもよい。なお登録対象物品の撮影については、１つの物品毎に行われる。
【００８９】
また、本実施形態においては、カメラ４０によって撮影された画像データを用いて登録対象の物品の全体画像情報や物品コードを取得するようにしたが、たとえば物品が書籍であるような場合には、スキャナを用いて画像データを取得するようにしてもよい。
【００９０】
また、物品の全体的な外観の画像データやバーコード画像を含む画像データは、必ずしもカメラによる撮影やスキャナによる光電的な読取りによって取得する必要はなく、たとえば書籍については、書籍を編集する過程において予め作成された表表紙、裏表紙および背表紙の画像データを取得し、その画像データに基づいて全体画像情報や物品コードを取得するようにしてもよい。
【００９１】
物品マスターテーブル作成装置５０は、図６に示すように、画像取得部５１、画像領域抽出部５２、類似判断部５３、部分領域抽出部５４、文字認識部５５、物品コード領域抽出部５６、物品コード認識部５７、物品属性取得部５８、物品属性情報データベース５９、文字一致判断部６０、マスターデータベース６１および通信部６３を備えている。
【００９２】
画像取得部５１は、カメラ４０によって撮影された登録対象物品の画像データを取得し、これを半導体メモリやハードディスクなどの記憶媒体に一旦記憶するものである。
【００９３】
画像領域抽出部５２は、画像取得部５１から登録対象物品の画像データを読み出し、その画像データから物品の背景の画像データを削除することによって物品領域画像データを取得するものである。なお、物品領域画像データの取得方法については、種々の公知の方法を用いることができる。画像領域抽出部５２によって取得された物品領域画像データ（たとえば前後左右の画像データ）は、登録対象物品の全体画像情報として物品マスターテーブル６２に登録される。
【００９４】
類似判断部５３は、画像領域抽出部５２において取得された物品領域画像データを取得し、その物品領域画像データと、既に物品マスターテーブル６２に登録されている複数の物品の全体画像情報とを照合し、登録対象物品の物品領域画像データと類似する画像データを含む全体画像情報を有する物品コードを類似物品コードとして取得するものである。物品領域画像データと登録済の物品の全体画像情報との照合は、たとえばテンプレートマッチングを用いて類似度を算出することによって行うようにすればよい。類似判断部５３によって取得された類似物品コードは、登録対象物品の類似物品コードとして物品マスターテーブル６２に登録される。
【００９５】
部分領域抽出部５４は、画像領域抽出部５２によって取得された物品領域画像データが入力され、その物品領域画像データに基づいて、登録対象物品の上述した属性内容が現れている可能性がある部分領域を抽出するものである。
【００９６】
具体的には、部分領域抽出部５４は、物品領域画像データ内において文字情報が現れている領域を部分領域として抽出する。部分領域抽出部５４は、たとえば物品領域画像データを２値化し、その２値化データに対してラベリングを施し、そのラベリングの情報に基づいて文字情報が存在すると思われる塊領域を部分領域として抽出する。なお、ここでいう文字情報には、ひらがな、カタカナ、漢字や英文字などだけでなく、数字や記号なども含まれるものとする。また、複数の文字などからなるものだけでなく、１つの文字なども含むものとする。
【００９７】
なお、文字情報の領域（部分領域）の抽出方法については、これに限らず、種々の公知の方法を用いることができる。また、部分領域は１つに限らず、複数の文字情報の領域が抽出された場合には、その複数の文字情報の領域を部分領域として抽出するようにしてもよい。部分領域抽出部５４によって抽出された部分領域のラベリングデータは、文字認識部５５に出力される。
【００９８】
文字認識部５５は、部分領域抽出部５４によって抽出された部分領域内のラベリングデータに基づいて文字認識処理を行って部分領域内に存在する文字情報を認識する。文字認識処理については既に公知であるので詳細な説明は省略する。文字認識部５５において認識された文字情報は文字一致判断部６０に出力される。
【００９９】
物品コード領域抽出部５６は、画像取得部５１から登録対象物品の画像データを読み出し、その画像データから物品コードを表すバーコード画像が存在する領域を物品コード領域として抽出するものである。バーコード画像が存在する領域の抽出については、所定長の線分が複数配列されている領域を抽出するようにすればよいが、その抽出方法については種々の公知の方法を用いることができる。物品コード領域抽出部５６によって抽出された物品コード領域の情報は物品コード認識部５７に出力される。
【０１００】
物品コード認識部５７は、入力された物品コード領域の情報に基づいて、物品コード領域内に存在するバーコード画像を認識することによって、登録対象物品の物品コードを取得するものである。物品コード認識部５７によって取得された物品コードは、登録対象物品の物品コードとして物品マスターテーブル６２に登録される。
【０１０１】
物品属性取得部５８は、物品コード認識部５７において認識された物品コードを取得し、その物品コードの内容に基づいて、物品属性情報データベース５９から登録対象物品の属性とその属性内容を取得するものである。属性情報の種類としては、上述したとおり、たとえば「シリーズ番号」、「巻数」、「号数」、「規格品番記号」または「製造年」などがあり、属性情報の内容とは、「シリーズ番号」、「巻数」、「号数」、「規格品番記号」または「製造年」を表す具体的な数字である。そして、物品属性取得部５８において取得された属性とその属性内容は、登録対象物品の属性情報として物品マスターテーブル６２に登録される。なお、登録対象物品の属性情報としては、物品コードに基づいて取得されるものに限らず、たとえばユーザによる入力部を用いた設定入力によって取得されるものでもよい。物品属性取得部５８によって取得された属性内容については、文字一致判断部６０にも出力される。
【０１０２】
そして、文字一致判断部６０は、文字認識部５５において認識された文字情報と、物品属性取得部５８から取得された属性内容とを比較し、これらが一致する場合には、その文字情報によって表される属性内容と、その文字情報が存在する部分領域の位置情報とを、登録対象物品の部分特徴情報として物品マスターテーブル６２に登録する。具体的には、たとえば、文字認識部５５において認識された文字情報と物品属性取得部５８から取得された属性情報の内容とがともに「２２２３３３」であった場合には、その「２２２３３３」と、その「２２２３３３」の属性情報の種類（たとえばシリーズ番号など）と、その「２２２３３３」の文字情報が存在する部分領域の位置情報とを、登録対象物品の部分特徴情報として物品マスターテーブル６２に登録する。一方、文字認識部５５において認識された文字情報と、物品属性取得部５８から取得された属性内容とを比較し、これらが一致しない場合には、文字一致判断部６０は、その文字情報を部分特徴情報としては登録しないものである。
【０１０３】
物品属性情報データベース５９は、種々の物品コードによって表される属性や属性内容を記憶したものである。
【０１０４】
マスターデータベース６１は、登録物品対象の物品マスターテーブル６２を記憶するものである。物品マスターテーブル６２の詳細については、上述した物品照合装置２０のマスターデータベース２５に記憶されている物品マスターテーブルＴ１と同様である。また、マスターデータベース６１に、物品マスターテーブル６２における各物品の全体画像情報の画像データ６２ａを記憶するようにしてもよい。
【０１０５】
物品マスターテーブル作成装置５０における物品マスターテーブル６２は、新しい登録対象物品のテーブルが登録される度に更新されるものである。そして、物品照合装置２０の要求に応じて物品マスターテーブル作成装置５０における物品マスターテーブル６２は、通信部６３および通信ネットワークを介して物品照合システム１の物品照合装置２０に出力され、物品マスターテーブル作成装置５０における物品マスターテーブル６２の内容が、物品照合装置２０における物品マスターテーブルＴ１に上書きされることによって物品マスターテーブルＴ１が更新される。物品照合装置２０の物品マスターテーブルＴ１の更新は、物品マスターテーブル作成装置５０の物品マスターテーブル６２が更新される度に更新するようにしてもよいし、所定の期間毎に定期的に行うようにしてもよいし、ユーザによる更新指示入力に応じて任意のタイミングで行うようにしてもよい。
【０１０６】
モニタ７０は、物品マスターテーブル６２や、画像領域抽出部５２によって取得された物品領域画像データなどを表示するものである。
【０１０７】
次に、本実施形態の物品マスターテーブル登録システム２の作用について、図７および図８に示すフローチャートを参照しながら説明する。
【０１０８】
まず、登録対象の物品がユーザによって所定の位置に設置される（Ｓ５０）。そして、ユーザによってカメラ４０を用いて登録対象の物品の全体的な外観が撮影される（Ｓ５２）。なお、このとき物品の全体的な外観の画像データに物品コードを表すバーコード画像が含まれていない場合には、そのバーコード画像が含まれる部分がカメラ４０によって別途撮影される。
【０１０９】
次いで、カメラ４０によって撮影された画像データは、有線または無線によってカメラ４０に接続された物品マスターテーブル作成装置５０の画像取得部５１によって取得されて一旦記憶される。
【０１１０】
画像取得部５１によって取得された画像データは物品コード領域抽出部５６に出力され、物品コード領域抽出部５６は、入力された画像データから物品コードを表すバーコード画像が存在する領域を物品コード領域として抽出する（Ｓ５４）。
【０１１１】
そして、物品コード領域抽出部５６によって抽出された物品コード領域の情報は物品コード認識部５７に出力され、物品コード認識部５７は、入力された物品コード領域の情報に基づいて、物品コード領域内に存在するバーコード画像を認識し（Ｓ５６）、登録対象物品の物品コードを取得する（Ｓ５８）。物品コード認識部５７によって取得された物品コードは、登録対象物品の物品コードとして物品マスターテーブル６２に登録される。
【０１１２】
次に、画像取得部５１によって取得された画像データは画像領域抽出部５２に出力され、画像領域抽出部５２は、入力された画像データから物品の背景の画像データを削除することによって物品領域画像データを取得する。そして、画像領域抽出部５２によって取得された物品領域画像データ（たとえば前後左右の画像データ）は、登録対象物品の全体画像情報として物品マスターテーブル６２に登録される（Ｓ６０）。
【０１１３】
また、画像領域抽出部５２によって取得された物品領域画像データは類似判断部５３に出力され、類似判断部５３は、入力された物品領域画像データと、既に物品マスターテーブル６２に登録されている複数の物品の全体画像情報とを照合し、登録対象物品の物品領域画像データと類似する画像データを含む全体画像情報を有する物品コードを類似物品コードとして取得する（Ｓ６２）。類似判断部５３によって取得された類似物品コードは、登録対象物品の類似物品コードとして物品マスターテーブル６２に登録される。
【０１１４】
次に、物品コード認識部５７において認識された物品コードが物品属性取得部５８に出力され、物品属性取得部５８は、その物品コードの内容に基づいて、物品属性情報データベース５９から登録対象物品の属性とその属性内容を取得する（Ｓ６４）。そして、物品属性取得部５８において取得された属性とその属性内容は、登録対象物品の属性情報として物品マスターテーブル６２に登録される。
【０１１５】
そして、さらに登録対象物品について部分特徴情報が取得されるが、この部分特徴情報の取得の作用については、図８に示すフローチャートを参照しながら説明する。
【０１１６】
まず、画像領域抽出部５２によって取得された物品領域画像データが部分領域抽出部５４に入力され、部分領域抽出部５４は、入力された物品領域画像データに基づいて、物品領域画像データ内において文字情報が現れている領域を部分領域として抽出する（Ｓ７０）。
【０１１７】
そして、部分領域抽出部５４によって抽出された部分領域のラベリングデータが、文字認識部５５に出力され、文字認識部５５は、部分領域内のラベリングデータに基づいて文字認識処理を行って部分領域内に存在する文字情報を認識する（Ｓ７２）。文字認識部５５において認識された文字情報は文字一致判断部６０に出力される。
【０１１８】
一方、物品属性取得部５８において物品コードに基づいて取得された属性内容も文字一致判断部６０に出力される。
【０１１９】
そして、文字一致判断部６０は、文字認識部５５において認識された文字情報と、物品属性取得部５８から取得された属性内容とを比較し、これらが一致する場合には、その文字情報によって表される属性内容と、その文字情報が存在する部分領域の位置情報とを、登録対象物品の部分特徴情報として物品マスターテーブル６２に登録する（Ｓ７６）。一方、文字認識部５５において認識された文字情報と、物品属性取得部５８から取得された属性内容とを比較し、これらが一致しない場合には、文字一致判断部６０は、その文字情報を部分特徴情報としては登録しない。
【０１２０】
上述したようにして、新しい登録対象物品の物品マスターテーブル６２への登録が行われる。
【０１２１】
上記実施形態の物品マスターテーブル登録システム２によれば、部分特徴情報の属性情報と位置情報とを高精度かつ簡易に抽出することができる。
【０１２２】
なお、本実施形態に限定されず、臨床情報表示装置の構成要素の一部または全部は、1台のワークステーションにより構成されたものであってもよく、ネットワークを介して接続された一台以上のワークステーション、サーバ、記憶装置によって構成されたものであってもよい。なお、各機器は、ＣＤ−ＲＯＭ等の記録媒体からインストールされた本明細書の臨床情報表示を行うプログラムによって制御される。また、プログラムは、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされたものであってもよい。
【０１２３】
また、上述した各実施形態は、あくまでも本発明の一態様を示すものであり、本発明の趣旨を逸脱しない範囲内で任意に変形および応用が可能である。
【符号の説明】
【０１２４】
１          物品照合システム
２          物品マスターテーブル登録システム
１０、４０  カメラ
２０        物品照合装置
２１        画像取得部
２２        単品画像抽出部（画像抽出部）
２３        第１照合部
２４        第２照合部
２５        マスターデータベース
３０、６０  モニタ
５０        物品マスターテーブル作成装置
Ｔ１        物品マスターテーブル
Ｔ２        照合結果在庫テーブル
Ｔ３        管理在庫テーブル
【図１】
2014044479.tif 000003
【図２】
2014044479.tif 000004
【図３】
2014044479.tif 000005
【図４】
2014044479.tif 000006
【図５】
2014044479.tif 000007
【図６】
2014044479.tif 000008
【図７】
2014044479.tif 000009
【図８】
2014044479.tif 000010