(57)【要約】【課題】正確性かつ迅速性を備えた商品判別システムを提供すること。【解決手段】ラベルを撮像するカメラ３０と、ラベルのサンプル画像を記憶するラベル画像ＤＢ５２ａと、ラベル画像とラベルのサンプル画像とを相互に照合するラベル照合判定部５４ａと、商品を撮像するカメラ３１と、商品のサンプル画像を記憶する商品画像ＤＢ５２ｂと、商品画像と商品のサンプル画像とを相互に照合する商品照合判定部５４ｂと、ラベル判定結果と商品判定結果とに基づいて商品の正常性を判定する統合判定部５４ｃとを備える。【選択図】図２
2009180653.tif 000002
【特許請求の範囲】
【請求項１】
製造ラインを流れる商品を判別する商品判別システムであって、
商品のラベルの外観を撮像するラベル画像撮像手段と、
判定基準となるラベルのサンプル画像を記憶するラベル画像記憶手段と、
前記ラベル画像撮像手段によって撮像されたラベル画像と前記ラベル画像記憶手段にて記憶されたラベルのサンプル画像とを相互に照合することで、前記ラベルの適否を判定するラベル照合手段と、
商品の外観を撮像する商品画像撮像手段と、
判定基準となる商品のサンプル画像を記憶する商品画像記憶手段と、
前記商品画像撮像手段によって撮像された商品画像と前記商品画像記憶手段にて記憶された商品のサンプル画像とを相互に照合することで、前記商品の適否を判定する商品照合手段と、
前記ラベル照合手段の判定結果と前記商品照合手段の判定結果とに基づいて、前記商品の正常性を判定する統合判定手段と、
を備えることを特徴とする商品判別システム。
【請求項２】
前記ラベルのサンプル画像と前記商品のサンプル画像との相互の対応関係を特定するための対応関係情報を記憶する対応関係情報記憶手段と、
判別に使用する前記ラベルのサンプル画像又は前記商品のサンプル画像の一方の選択を受け付ける選択手段と、
前記選択手段にて選択された前記ラベルのサンプル画像又は前記商品のサンプル画像の一方と、前記対応関係情報記憶手段に記憶された対応関係情報とに基づいて、前記選択手段にて選択された前記ラベルのサンプル画像又は前記商品のサンプル画像の一方に対応する前記ラベルのサンプル画像又は前記商品のサンプル画像の他方を特定する特定手段と、
を備えることを特徴とする請求項１に記載の商品判別システム。
【請求項３】
前記ラベル画像記憶手段には、前記ラベル照合手段の判定基準となる情報として、前記ラベル画像と前記ラベルのサンプル画像との相互間のラベル類似度に対する許容度であるラベル許容度が記憶され、
前記ラベル照合手段は、前記ラベル画像記憶手段にて記憶された前記ラベル許容度に基づいて、前記ラベルの適否を判定すること、
を特徴とする請求項１又は２に記載の商品判別システム。
【請求項４】
前記商品画像記憶手段には、前記商品照合手段の判定基準となる情報として、前記商品画像と前記商品のサンプル画像との相互間の商品類似度に対する許容度である商品許容度が記憶され、
前記商品照合手段は、前記商品画像記憶手段にて記憶された前記商品許容度に基づいて、前記商品の適否を判定すること、
を特徴とする請求項１から３のいずれか一項に記載の商品判別システム。
【請求項５】
前記商品の正常性の判定基準となる情報として、前記ラベル類似度と前記商品類似度との和に対する許容度である統合許容度を記憶する統合判定記憶手段を備え、
前記統合判定手段は、前記ラベル類似度と前記商品類似度との和を算定し、当該算定結果と、前記統合判定記憶手段にて記憶された前記統合許容度とに基づいて、前記商品の正常性を判定すること、
を特徴とする請求項３及び４に記載の商品判別システム。
【請求項６】
前記統合判定記憶手段には、前記ラベル類似度に対するラベル係数と前記商品類似度に対する商品係数とが記憶され、
前記統合判定手段は、前記統合判定記憶手段にて記憶された前記ラベル係数を前記ラベル類似度に乗じると共に、前記統合判定記憶手段にて記憶された前記商品係数を前記商品類似度に乗じ、これら乗算結果の和を算定し、当該算定結果と前記統合許容度とに基づいて、前記商品の正常性を判定すること、
を特徴とする請求項５に記載の商品判別システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、商品の適否を判別し、この判別結果に基づいて各種の処理を行う商品判別システムに関する。
【背景技術】
【０００２】
従来から、製造した商品の適否を判別し、この判別結果に基づいて各種の処理を行う商品判別システムが使用されている。このような商品判別システムの一例として、商品のイメージ情報に基づいて当該商品の品名や単価等を自動的に出力させる商品情報処理装置が提案されている（例えば特許文献１参照）。
【０００３】
この商品情報処理装置は、まず、製造ラインをながれる商品を所定の位置にあるテレビカメラ１で撮影させる。次に、撮影した画像から画像処理装置によって商品を特徴づける情報を抽出し、この情報を第２記憶手段に記憶させる。この第２記憶手段は、第１記憶手段に登録された呼出番号と対応するエリアに上述した情報を記憶する。なお、第１記憶手段は、呼出番号に基づいた商品情報（商品の品名やバーコード等）を記憶する。そして、所定の位置にあるテレビカメラ２で撮影した画像を上述した第２記憶手段に登録した画像と照合させて、一致する商品の呼出番号を第２記憶手段から読みだし、その呼出番号に基づいて第１記憶手段に記憶された商品情報をプリンタに出力させる。
【０００４】
【特許文献１】特開平６−９２３３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の商品判別システムは、正確性及び迅速性に問題が生じていた。
【０００６】
まず、正確性については、類似商品を判別する精度が悪かった。例えば、従来の商品判別システムは、商品の色、大きさ等が類似していたり、製造ライン上での搬送により商品の中身の位置が変わったりすることで、商品を特徴づける情報の抽出が困難となっていた。その結果、判定基準となる商品を特徴づける情報と類似する商品を絞ることができず、精度が低下していた。
【０００７】
また、迅速性については、商品判別に時間を要していた。例えば、従来の商品判別システムは、製造ライン上の商品を一律に判別していた。その結果、判別基準となる商品と同一の商品であっても非類似な商品であっても同様の処理が行われるため、時間効率が悪かった。
【０００８】
本発明は、上記に鑑みてなされたものであって、正確性かつ迅速性を備えた商品判別システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決し、目的を達成するために、請求項１に記載の本発明は、製造ラインを流れる商品を判別する商品判別システムであって、商品のラベルの外観を撮像するラベル画像撮像手段と、判定基準となるラベルのサンプル画像を記憶するラベル画像記憶手段と、前記ラベル画像撮像手段によって撮像されたラベル画像と前記ラベル画像記憶手段にて記憶されたラベルのサンプル画像とを相互に照合することで、前記ラベルの適否を判定するラベル照合手段と、商品の外観を撮像する商品画像撮像手段と、判定基準となる商品のサンプル画像を記憶する商品画像記憶手段と、前記商品画像撮像手段によって撮像された商品画像と前記商品画像記憶手段にて記憶された商品のサンプル画像とを相互に照合することで、前記商品の適否を判定する商品照合手段と、前記ラベル照合手段の判定結果と前記商品照合手段の判定結果とに基づいて、前記商品の正常性を判定する統合判定手段とを備える。
【００１０】
請求項２に記載の本発明は、請求項１に記載の本発明において、前記ラベルのサンプル画像と前記商品のサンプル画像との相互の対応関係を特定するための対応関係情報を記憶する対応関係情報記憶手段と、判別に使用する前記ラベルのサンプル画像又は前記商品のサンプル画像の一方の選択を受け付ける選択手段と、前記選択手段にて選択された前記ラベルのサンプル画像又は前記商品のサンプル画像の一方と、前記対応関係情報記憶手段に記憶された対応関係情報とに基づいて、前記選択手段にて選択された前記ラベルのサンプル画像又は前記商品のサンプル画像の一方に対応する前記ラベルのサンプル画像又は前記商品のサンプル画像の他方を特定する特定手段とを備える。
【００１１】
請求項３に記載の本発明は、請求項１又は２に記載の本発明において、前記ラベル画像記憶手段には、前記ラベル照合手段の判定基準となる情報として、前記ラベル画像と前記ラベルのサンプル画像との相互間のラベル類似度に対する許容度であるラベル許容度が記憶され、前記ラベル照合手段は、前記ラベル画像記憶手段にて記憶された前記ラベル許容度に基づいて、前記ラベルの適否を判定することを特徴とする。
【００１２】
請求項４に記載の本発明は、請求項１から３のいずれか一項に記載の本発明において、前記商品画像記憶手段には、前記商品照合手段の判定基準となる情報として、前記商品画像と前記商品のサンプル画像との相互間の商品類似度に対する許容度である商品許容度が記憶され、前記商品照合手段は、前記商品画像記憶手段にて記憶された前記商品許容度に基づいて、前記商品の適否を判定することを特徴とする。
【００１３】
請求項５に記載の本発明は、請求項３及び４に記載の本発明において、前記商品の正常性の判定基準となる情報として、前記ラベル類似度と前記商品類似度との和に対する許容度である統合許容度を記憶する統合判定記憶手段を備え、前記統合判定手段は、前記ラベル類似度と前記商品類似度との和を算定し、当該算定結果と、前記統合判定記憶手段にて記憶された前記統合許容度とに基づいて、前記商品の正常性を判定することを特徴とする。
【００１４】
請求項６に記載の本発明は、請求項５に記載の本発明において、前記統合判定記憶手段には、前記ラベル類似度に対するラベル係数と前記商品類似度に対する商品係数とが記憶され、前記統合判定手段は、前記統合判定記憶手段にて記憶された前記ラベル係数を前記ラベル類似度に乗じると共に、前記統合判定記憶手段にて記憶された前記商品係数を前記商品類似度に乗じ、これら乗算結果の和を算定し、当該算定結果と前記統合許容度とに基づいて、前記商品の正常性を判定することを特徴とする。
【発明の効果】
【００１５】
請求項１に記載の本発明によれば、ラベル照合手段の判定によって商品の種類を絞り込み、商品照合手段の判定によって商品の実体を把握し、これらの判定結果から統合判定手段によって商品の正常性を統合的に最終判定することで、商品判別の精度を向上させることができる。また、商品照合手段にくらべて処理時間が早いラベル照合手段の処理を優先させた場合、ラベル画像の適否で不適切と判定された商品に関して商品画像の適否を判定しないように設定すれば、この商品の処理時間を短縮させることができる。
【００１６】
また、請求項２に記載の本発明によれば、ラベルのサンプル画像又は商品のサンプル画像のどちらか一方を選択すれば、ラベル及び商品の画像の一方に対応するラベル及び商品の画像の他方を特定できるので、ラベルのサンプル画像及び商品のサンプル画像を正確かつ迅速に選択できる。
【００１７】
また、請求項３に記載の本発明によれば、ラベル類似度に対するラベル許容度を考慮して判定を行なうことで、ラベルの識別の容易度に応じてラベル判定を行なうことができ、識別容易なラベルについては判定許容度を高め、識別困難なラベルについては判定許容度を下げる等、ラベル判定の迅速性や正確性を向上させることができる。
【００１８】
また、請求項４に記載の本発明によれば、商品類似度に対する商品許容度を考慮して判定を行なうことで、商品の識別の容易度に応じて商品判定を行なうことができ、識別容易な商品については判定許容度を高め、識別困難な商品については判定許容度を下げる等、商品判定の迅速性や正確性を向上させることができる。
【００１９】
また、請求項５に記載の本発明によれば、ラベル判定結果と商品判定結果を数値情報に変換した上で判定を行なうことができ、これら両方の判定結果に基づいた統合的な判定を行なうことができる。特に、ラベル類似度と商品類似度との和に対する許容度である統合許容度を考慮して判定を行なうことで、他に似ている商品が存在しない商品の場合には判定許容度を高め、他に似ている商品が存在する商品の場合には判定許容度を下げる等、商品の統合判定の迅速性や正確性を向上させることができる。
【００２０】
また、請求項６に記載の本発明によれば、ラベル判定や商品判定に乗じる係数を設定することで、統合判定に与える各判定結果の影響度をこの係数を変えることで調整でき、商品の統合判定の迅速性や正確性を容易に調整することができる。
【発明を実施するための最良の形態】
【００２１】
以下に添付図面を参照して、この発明に係る商品判別システムの実施の形態を詳細に説明する。まず、〔I〕本実施の形態の基本的概念を説明した後、〔II〕本実施の形態の具体的内容について説明し、〔III〕最後に、本実施の形態に対する変形例について説明する。ただし、本実施の形態によって本発明が限定されるものではない。
【００２２】
〔I〕本実施の形態の基本的概念
まず、本実施の形態の基本的概念について説明する。本実施の形態に係る商品判別システムは、製造した商品の適否を判別し、この判別結果に基づいて各種の処理を行うものである。本実施形態で対象とする「商品」は任意であるが、容器等に梱包された商品であって、お弁当、総菜、麺類、デザート等が該当する。
【００２３】
本実施の形態に係る商品判別システムの特徴の一つは、概略的には、商品のラベル画像の適否を判定するラベル照合手段と、商品画像の適否を判定する商品照合手段と、これらの判定結果から商品の正常性を統合的に判定する統合判定手段とを備えている点にある。これにより、ラベル照合手段の判定によって商品の種類を絞り込み、商品照合手段の判定によって商品の実体を把握し、これらの判定結果から統合判定手段によって商品の適否を判定することで、商品判別の精度を向上させることができる。また、ラベル照合手段の処理を優先させた場合、ラベル画像の適否で不適切と判定された商品に関して商品画像の適否を判定しないように設定すれば、この商品の処理時間を短縮させることができる。ちなみに、ラベルのような文字の画像処理は、ОＣＲ（光学文字認識）に見られるように、ほとんどの書体を高い識字率で変換することができる。よって、文字の画像処理は、写真の画像処理に比べて正確かつ迅速な処理ができる。
【００２４】
〔II〕本実施の形態の具体的内容
次に、本実施の形態の具体的内容について説明する。
【００２５】
（全体構成）
本実施の形態について説明する。図１は、本発明の実施の形態に係る商品判別システムの全体図を示している。図１に示すように、商品判別システム１は、コンベア１０、ラベラー２０、カメラ３０、カメラ３１、ケーブル４０、ケーブル４１、及び照合装置５０を備えている。なお、コンベア１０、ラベラー２０、カメラ３０、カメラ３１、ケーブル４０、及びケーブル４１については、特記する構成を除いて従来と同様に構成できるため、その詳細な説明は省略する。
【００２６】
（全体構成−コンベア）
コンベア１０は、商品等を連続的に運搬するものであり、例えば、輪状のベルトを回転させ、その上に商品を載せて運搬するベルトコンベアとして構成されている。このコンベア１０は、商品を検知するための図示しないセンサを２組備えている。このセンサは、コンベア１０の長さ方向に沿って所定の間隔で設けられている。そして、コンベア１０の上流側の所定位置（以下「第１位置」）に配置されたセンサの上方にはカメラ３０、コンベア１０の下流側の所定位置（以下「第２位置」）に配置されたセンサの上方にはカメラ３１が設けられている。
【００２７】
（全体構成−ラベラー）
ラベラー２０は、商品にラベルを貼付するものであり、カメラ３０よりもコンベア１０の上流側に設置されている。このラベラー２０のラベル貼付方法は任意であるが、例えば、所定の位置にセンサを設けて、このセンサがコンベア１０を流れる商品を検知すると、そのタイミングで商品にラベルを貼付するようにしてもよい。
【００２８】
（全体構成−カメラ）
カメラ３０は、ラベラー２０により商品に貼付されたラベルを撮像するものであり、特許請求の範囲のラベル画像撮像手段に対応している。具体的には、カメラ３０は、第１位置においてセンサがコンベア１０を流れる商品を検知した際に、そのタイミングで商品に貼付されたラベルを撮像する。ラベルを撮像した後、カメラ３０の撮像したラベル画像は、ケーブル４０を介して照合装置５０に出力される。
【００２９】
カメラ３１は、商品を撮像するものであり、特許請求の範囲の商品画像撮像手段に対応している。具体的には、カメラ３１は、第２位置においてセンサがコンベア１０を流れる商品を検知した際に、そのタイミングで商品を撮像する。商品撮像後、カメラ３１の撮像した商品画像は、ケーブル４１を介して照合装置５０に出力される。
【００３０】
（全体構成−照合装置）
照合装置５０は、カメラ３０又はカメラ３１が撮像した商品画像と当該照合装置５０が記憶している商品のサンプル画像を照合して、商品の適否を判定するものである。図２は、照合装置５０の電気的構成をカメラ３０、３１と共に機能概念的に示すブロック図である。照合装置５０の電気的構成は、設定部５１、記憶部５２、表示部５３、及び制御部５４に大別される。
【００３１】
（照合装置の構成−設定部）
設定部５１は、照合装置５０の動作設定をするためのものであり、特許請求の範囲の選択手段に対応している。具体的には、設定部５１は、キーボード又はマウスのような入力機器として構成されており、これらを介して記憶部５２に記憶されている商品のサンプル画像等を選択したり、各種の数値を記憶部５２に入力することができる。
【００３２】
（照合装置の構成−記憶部）
記憶部５２は、ラベル及び商品のサンプル画像データといった各種の情報を記憶するものであり、例えばＨＤ（Ｈａｒｄ  Ｄｉｓｋ）にて構成されている。この記憶部５２に対する情報の入力方法は任意であるが、例えば、ＣＤ等の電子媒体に記憶された商品情報を図示しない読取り装置を介して読み込むことで、各種の情報を記憶部５２に入力することができる。この記憶部５２は、機能概念的に、ラベル画像ＤＢ５２ａ、商品画像ＤＢ５２ｂ、及び設定テーブル５２ｃを備えている。
【００３３】
ラベル画像ＤＢ５２ａは、ラベルに関する情報（以下「ラベル関連情報」）を記憶するものであり、特許請求の範囲のラベル画像記憶手段及び対応関係情報記憶手段に対応している。図３は、ラベル関連情報の構成例である。ラベル関連情報は、弁当ＩＤ、ラベル画像ファイル、及びラベル許容度を相互に関係付けて構成されている。弁当ＩＤは、商品情報を一意に識別する識別番号であり、特許請求の範囲における対応関係情報に対応する。また、ラベル画像ファイルは、カメラ３０で撮像したラベル画像と照合するための各ラベルのサンプル画像である。ラベル許容度は、ラベル画像とラベルのサンプル画像との相互間のラベル類似度に対する許容の程度を示す情報であり、ラベル画像とラベルのサンプル画像との照合結果に対する許容差（ばらつき範囲）である。例えば、判定対象になる商品と同一のコンベア１０にて製造され得る他の各種の商品の各々のラベルの中で、当該判定対象になる商品のラベルと外観的に類似しているラベルが存在しないことが予め判っている場合には、当該判定対象になる商品のラベルに対するラベル許容度を比較的大きな数値として設定することで、ラベルの照合精度を緩和する。以下では、ラベル画像とラベルのサンプル画像とが相互に完全に一致する場合を１００％とし、この１００％に対する許容差をラベル許容度とする。
【００３４】
商品画像ＤＢ５２ｂは、商品に関する情報（以下「商品関連情報」）を記憶するものであり、特許請求の範囲における商品画像記憶手段及び対応関係情報記憶手段に対応する。図４は、商品関連情報の構成例である。商品関連情報は、弁当ＩＤ、商品画像ファイル、及び商品許容度を相互に関係付けて構成されている。弁当ＩＤは、ラベル画像ＤＢ５２ａに記憶される弁当ＩＤと共通する。商品画像ファイルは、カメラ３１で撮像した商品画像と照合するための各商品のサンプル画像である。商品許容度は、商品画像と商品のサンプル画像との相互間の商品類似度に対する許容の程度を示す情報であり、商品画像と商品のサンプル画像との照合結果に対する許容差（ばらつき範囲）である。例えば、判定対象になる商品と同一のコンベア１０にて製造され得る他の各種の商品の中で、当該判定対象になる商品と外観的に類似している商品が存在しないことが予め判っている場合には、当該判定対象になる商品に対する商品許容度を比較的大きな数値として設定することで、商品の照合精度を緩和する。以下では、商品画像と商品のサンプル画像とが相互に完全に一致する場合を１００％とし、この１００％に対する許容差を商品許容度とする。
【００３５】
設定テーブル５２ｃは、商品の正常性を統合判定するための情報（以下「統合判定情報」）を記憶するものであり、特許請求の範囲における統合判定記憶手段に対応する。図５は、統合判定情報の構成例を示す図である。統合判定情報は、弁当ＩＤ、弁当名、統合許容度、ラベル係数、及び商品係数を相互に関係付けて構成去れている。弁当ＩＤは、ラベル画像ＤＢ５２ａに記憶される弁当ＩＤと共通する。弁当名は、各弁当の名称である。統合許容度は、ラベル類似度と商品類似度との和に対する許容の程度を示す情報である。例えば、判定対象になる商品と同一のコンベア１０にて製造され得る他の各種の商品中で、当該判定対象になる商品に対して、作業者が誤って混在させる可能性が高いような商品が存在しない場合には（例えば同一のコンベア１０上で製造される商品Ａと商品Ｂの具材が相互に全く異なるものである場合や、具材が相互に類似している場合であっても商品Ａと商品Ｂの製造時間が離れているような場合）、当該判定対象になる商品に対する統合許容度を比較的大きな数値として設定することで、商品の統合的な判定精度を緩和する。以下では、商品が正常である場合を１００％とし、この１００％に対する許容差を統合許容度とする。また、ラベル係数及び商品係数は、商品の正常性を判定する際の計算に用いられる係数である。
【００３６】
（照合装置の構成−表示部）
表示部５３とは、照合装置５０に関するデータを表示するものであり、例えば、商品画像ＤＢ５２ｂに記憶されている商品情報等を表示する。表示部５３の種類は任意であるが、例えば、ディスプレイ等が該当する。
【００３７】
（照合装置の構成−制御部）
制御部５４は、照合装置５０の動作を制御するものである。この制御部５４の具体的構成は任意であるが、例えば、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）などの制御プログラム、各種の処理手順などを規定したプログラム、所要データを格納するための内部メモリ、及び、これらのプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備えて構成される。この制御部５４は、機能概念的に、ラベル照合判定部５４ａ、商品照合判定部５４ｂ、統合判定部５４ｃ、及び特定部５４ｄを備えている。
【００３８】
ラベル照合判定部５４ａは、カメラ３０で撮像したラベル画像と、ラベル画像ＤＢ５２ａで記憶されたラベルのサンプル画像の一部又は全部とを照合して、ラベル画像の適否を判定するもので、特許請求の範囲におけるラベル照合手段に対応する。商品照合判定部５４ｂは、カメラ３１で撮像したラベル画像と、商品画像ＤＢ５２ｂで記憶された商品のサンプル画像の一部又は全部とを照合して、商品画像の適否を判定するもので、特許請求の範囲における商品照合手段に対応する。統合判定部５４ｃは、ラベル照合判定部５４ａと商品照合判定部５４ｂの判定結果から、商品の正常性を統合的に判定するものであり、特許請求の範囲における統合判定手段に対応する。特定部５４ｄは、記憶部５２の商品情報を特定するものであり、特許請求の範囲における特定手段に対応する。これら各部の具体的機能は、以下の商品判別処理の中で説明する。
【００３９】
（商品判別システムによる処理の流れ）
次に、商品判別システム１によって行われる商品判別処理の概略を説明する。図６は、商品判別システム１による処理の流れを示したフローチャートである。なお、特記しない制御に関しては、制御部５４が行うこととする。
【００４０】
まず、制御部５４は、ラベル画像ＤＢ５２ａに記憶されたラベルのサンプル画像及び商品画像ＤＢ５２ｂに記憶された商品のサンプル画像が選択される迄待機し（ＳＡ−１、Ｎｏ）、これらサンプル画像が選択された場合には（ＳＡ−１、Ｙｅｓ）、次のステップに進む。サンプル画像の選択については、例えば、以下のように行われる。すなわち、ユーザーが設定部５１を介してラベル画像ＤＢ５２ａに記憶されたラベルのサンプル画像を選択すると、特定部５４ｄは、当該選択されたサンプル画像に関連付けてラベル画像ＤＢ５２ａに格納されている弁当ＩＤを特定し、この弁当ＩＤに関連付けて商品画像ＤＢ５２ｂに格納されている商品のサンプル画像を自動的に特定する。逆に、ユーザーが設定部５１を介して商品のサンプル画像を選択することで、ラベルのサンプル画像を自動的に特定するようにしてもよい。あるいは、ユーザーが設定部５１を介して、設定テーブル５２ｃの弁当ＩＤや弁当名を選択することで、弁当ＩＤに基づいてラベル画像ＤＢ５２ａやラベル画像ＤＢ５２ａを参照することで、商品のサンプル画像やラベルのサンプル画像を自動的に特定するようにしてもよい。
【００４１】
次に、制御部５４は、コンベア１０を流れる商品が第１位置に到達する迄待機し（ＳＡ−２、Ｎｏ）、商品が第１位置に到達した場合には（ＳＡ−２、Ｙｅｓ）、そのタイミングでカメラ３０により商品のラベルを撮像する（ＳＡ−３）。
【００４２】
そして、ラベル照合判定部５４ａは、ステップＳＡ−１で選択されたラベルのサンプル画像とＳＡ−３で撮像されたラベル画像とを相互に照合することで、両者間のラベル類似度を算定する（ＳＡ−４）。このラベル類似度算定の具体的な内容任意であるが、例えば、公知の画像処理ロジックを用いて、両画像間におけるパターンマッチングを行うことでラベル類似度を算定する。あるいは、各画像の特徴点における、色面積、位置、明度を求め、これらを相互に対比することでラベル類似度を算定する。そして、ラベル照合判定部５４ａは、算定したラベル類似度とラベル許容度とに基づいてラベルの適否を判定する（ＳＡ−５）。このラベル許容度は、ステップＳＡ−１で選択されたラベルのサンプル画像に基づいてラベル画像ＤＢ５２ａから取得する。このラベルの適否を判定する具体的方法は任意であるが、例えば、「かつ弁当」に貼付されたラベルの色面積に関する画像処理の結果、ラベル画像の色面積が５００ｍｍ２、ラベルのサンプル画像の色面積が４８０ｍｍ２、かつ、ラベル許容度が±５％であった場合、ラベル類似度は（５００×１００）／４８０＝１０４％と算定され、１００％±５％の範囲内であるため、ラベルは適切であると判定される。
【００４３】
そして、ラベル照合判定部５４ａは、ラベルが適切でないと判定した場合（ＳＡ−５、Ｎｏ）、記憶部５２に「ラベル適否フラグ＝ＯＦＦ」を格納し（ＳＡ−６）、適切であると判定した場合（ＳＡ−５、Ｙｅｓ）、記憶部５２に「ラベル適否フラグ＝ＯＮ」を格納する（ＳＡ−７）。
【００４４】
次いで、制御部５４は、ステップＳＡ−７において「ラベル適否フラグ＝ＯＮ」とした場合には、コンベア１０を流れる商品が第２位置に到達する迄待機し（ＳＡ−８、Ｎｏ）、商品が第２位置に到達した場合には（ＳＡ−８、Ｙｅｓ）、そのタイミングでカメラ３１により商品を撮像する（ＳＡ−９）。なお、ステップＳＡ−６において「ラベル適否フラグ＝ＯＦＦ」とした場合、商品が第２位置に到達してもカメラ３１により商品を撮像しないものとし、あるいは、撮像した画像の照合は行わないものとする。
【００４５】
次に、商品照合判定部５４ｂは、ステップＳＡ−１において選択された商品のサンプル画像とステップＳＡ−９において撮像された商品画像とを相互に照合することで、両者間の商品類似度を算定する（ＳＡ−１０）。この商品類似度算定の具体的な内容任意であるが、例えば、上述したラベル照合と同様の画像処理を行う。そして、商品照合判定部５４ｂは、算定した商品類似度と商品許容度とに基づいて、ラベルの適否を判定する（ＳＡ−１１）。この商品許容度は、ステップＳＡ−１で選択された商品のサンプル画像に基づいて商品画像ＤＢ５２ｂから取得する。この商品の適否を判定する具体的方法は任意であるが、例えば、「かつ弁当」に盛り付けられた「とんかつ」を特徴点として抽出し、この特徴点の色面積に関する画像処理の結果、商品画像の色面積が２０００ｍｍ２、商品のサンプル画像の相関値が１８５０ｍｍ２、かつ、商品許容度が±１０％であった場合、商品類似度は（２０００×１００）／１８００＝１０８％と算定され、１００％±１０％の範囲内であるため、商品は適切であると判定される。
【００４６】
そして、商品照合判定部５４ｂは、商品が適切でないと判定した場合（ＳＡ−１１、Ｎｏ）、記憶部５２に「商品適否フラグ＝ＯＦＦ」を格納し（ＳＡ−１３）、適切であると判定した場合（ＳＡ−１１、Ｙｅｓ）、記憶部５２に「商品適否フラグ＝ＯＮ」を格納する（ＳＡ−１２）。
【００４７】
このようにステップＳＡ−６において「ラベル適否フラグ＝ＯＦＦ」とした場合、あるいは、ステップＳＡ−１２やＳＡ−１３において商品適否フラグの格納を終えた後、統合判定部５４ｃは、ラベル類似度、商品類似度、統合許容度、ラベル係数、及び商品係数に基づいて、商品の正常性を統合的に判定する（ＳＡ−１４）。この判定の具体的方法は任意であるが、例えば、「かつ弁当」の適否を判定する場合、式（１）を用いて「かつ弁当」に対する統合判定値を算出し、この統合判定値を統合許容度と比較する。この際に使用するラベル係数、商品係数、及び統合許容度は、ステップＳＡ−１で選択されたサンプル画像に対応する弁当ＩＤをラベル画像ＤＢ５２ａや商品画像ＤＢ５２ｂから取得し、この弁当ＩＤに基づいて設定テーブル５２ｃを参照することで取得する。
【００４８】
（数１）
Ｚ＝（αＸ＋βＹ）／２・・・式（１）
【００４９】
ここで、Ｚは判定値、ＸはステップＳＡ−４で算定したラベル類似度、ＹはステップＳＡ−１０で算定した商品類似度、αはラベル係数、及びβは商品係数を示す。例えば、ラベル類似度が１０４％、商品類似度が１０８％、ラベル係数が０．９５、商品係数が０．９０、統合許容度が±３％である場合、Ｚ＝９８％と算定され、１００％±３％の範囲内であるため、商品は正常であると判定される。例えば、ラベル判定の信頼性が高い場合にはラベル係数を１に近い値に設定することで、当該ラベル判定の結果をそのまま統合判定に反映させることができる。なお、ラベル適否フラグをＯＦＦとした場合にはＸ＝０、商品適否フラグをＯＦＦとした場合にはＹ＝０として判定値の算定を行うことで、判定値Ｚが非正常と判定されるようにしてもよい。
【００５０】
そして、商品が正常であると判定された場合（ＳＡ−１４、Ｙｅｓ）、表示部５３は商品ＯＫと出力する（ＳＡ−１５）。一方、商品が正常でないと判定された場合（ＳＡ−１４、Ｎｏ）、表示部５３は商品ＮＧと出力する（ＳＡ−１６）。この後、次の商品の適否を判定するためにＳＡ−２の直前に戻り、この処理が繰り返される。
【００５１】
（効果）
このように実施の形態によれば、ラベル画像の適否を判定するラベル照合判定部５４ａと、商品画像の適否を判定する商品照合判定部５４ｂと、ラベル照合判定部５４ａ及び商品照合判定部５４ｂの判定結果から商品の適否を判定する統合判定部５４ｃとを備えている。これにより、ラベル照合判定部５４ａの判定によって商品の種類を絞り込み、商品照合判定部５４ｂの判定によって商品の実体を把握し、これらの判定結果から統合判定部５４ｃによって商品の正常性を統合的に判定することで、商品判別の精度を向上させることができる。また、ラベル照合判定部５４ａ、商品照合判定部５４ｂ、及び統合判定部５４ｃは、商品画像間の類似度に基づいて判定することで、商品間の画像の位置・大きさ・色等の差異を反映させることができる。また、ラベル照合判定部５４ａの処理を優先させ、ラベル画像の適否で不適切と判定された商品に対して商品画像の適否を判定しないように設定しているので、この商品の処理時間を短縮させることができる。
【００５２】
〔III〕本実施の形態に対する変形例
以上、本発明に係る実施の形態について説明したが、本発明の具体的な構成及び手段は、特許請求の範囲に記載した各発明の技術的思想の範囲内において、任意に改変及び改良することができる。以下、このような変形例について説明する。
【００５３】
（解決しようとする課題や発明の効果について）
まず、発明が解決しようとする課題や発明の効果は、前記した内容に限定されるものではなく、本発明によって、前記に記載されていない課題を解決したり、前記に記載されていない効果を奏することもでき、また、記載されている課題の一部のみを解決したり、記載されている効果の一部のみを奏することがある。
【００５４】
（本発明の処理の流れについて）
実施の形態は、ラベル適否フラグをＯＦＦにした場合、商品照合判定部５４ｂは商品画像の適否を判定しないと説明したが、ラベル適否フラグをＯＦＦにした場合であっても、商品照合判定部５４ｂは商品画像の適否を判定させてもよい。また、ラベル適否フラグ又は商品適否フラグをＯＦＦとした場合、統合判定部５４ｃを介さずに、表示部５３に商品ＮＧと出力させてもよい。
【産業上の利用可能性】
【００５５】
この発明に係る商品判別システム１は、製造ラインを流れる商品と商品の画像を照合することで商品の適否を判別し、この判別結果に基づいて各種の処理を行うシステム及び方法に適用でき、特に商品の判別に正確性かつ迅速性を図るために有用である。
【図面の簡単な説明】
【００５６】
【図１】本発明の実施の形態に係る商品判別システムの全体図である。
【図２】照合装置の電気的構成をカメラと共に機能概念的に示すブロック図である。
【図３】ラベル関連情報の構成例を示す図である。
【図４】商品関連情報の構成例を示す図である。
【図５】統合判定情報の構成例を示す図である。
【図６】商品判別システムによる処理の流れを示したフローチャートである。
【符号の説明】
【００５７】
１  商品判別システム
１０  コンベア
２０  ラベラー
３０、３１  カメラ
４０、４１  ケーブル
５０  照合装置
５１  設定部
５２  記憶部
５２ａ  ラベル画像ＤＢ
５２ｂ  商品画像ＤＢ
５２ｃ  設定テーブル
５３  表示部
５４  制御部
５４ａ  ラベル照合判定部
５４ｂ  商品照合判定部
５４ｃ  統合判定部
５４ｄ  特定部
Ｍ  商品
【図１】
2009180653.tif 000003
【図２】
2009180653.tif 000004
【図３】
2009180653.tif 000005
【図４】
2009180653.tif 000006
【図５】
2009180653.tif 000007
【図６】
2009180653.tif 000008