(57)【特許請求の範囲】
【請求項１】
搬送手段によって所定の搬送方向に搬送される対象物が所定のハウジング内を通過する際に、当該対象物を撮像して取得される画像情報、及び／又は、当該対象物に付された識別ラベルに基づいて、前記対象物を商品として識別する商品識別手段と、
対象物に対応する商品が前記商品識別手段によって特定できなかった場合においては、当該対象物が前記ハウジング外における所定位置まで前記搬送手段によって搬送されるのを待って前記搬送手段を停止させる駆動制御手段と、を備えること
を特徴とする商品処理システム。
【請求項２】
前記搬送手段は、ベルトを有するベルトコンベアであり、
前記商品識別手段は、前記搬送方向において前記ベルトコンベアの途中に配置され、
前記駆動制御手段には、前記商品識別手段から前記所定位置までの距離を示す距離情報が、前記商品識別手段によって対象物が検出されてから当該対象物に関する前記停止を行うまでの前記ベルトの移動距離として設定されていること
を特徴とする請求項１に記載の商品処理システム。
【請求項３】
前記駆動制御手段は、前記ベルトコンベアを停止した後、前記所定位置まで移動した前記対象物に対応する商品がオペレータの操作によって特定された場合、前記ベルトコンベアを再駆動させること
を特徴とする請求項２に記載の商品処理システム。
【請求項４】
前記ベルトコンベアは、切替手段の操作に応じて、その駆動／停止を切り替えるように構成され、
前記駆動制御手段は、前記ベルトコンベアを停止した後、前記ベルトコンベアの駆動指令が前記切替手段から入力された場合、前記停止を解除して前記ベルトコンベアを再駆動させること
を特徴とする請求項２に記載の商品処理システム。
【請求項５】
前記ハウジングには当該ハウジング内を通過中の前記対象物に対して複数方向からの画像情報を取得すべく複数のカメラが設けられており、
前記商品識別手段は、前記複数のカメラが撮像することにより取得された複数方向からの画像情報に基づいて前記対象物を商品として識別すること
を特徴とする請求項１から請求項４の何れか一項に記載の商品処理システム。
【請求項６】
搬送手段によって所定の搬送方向に搬送される対象物が所定のハウジング内を通過する際に、当該対象物を撮像して取得される画像情報、及び／又は、当該対象物に付された識別ラベルに基づいて、前記対象物を商品として識別する商品識別ステップと、
対象物に対応する商品が前記商品識別ステップで特定できなかった場合においては、当該対象物が前記ハウジング外における所定位置まで前記搬送手段によって搬送されるのを待って前記搬送手段を停止させる駆動制御ステップと、を含むこと
を特徴とする商品処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、商品処理システム及び商品処理方法に関する。
【背景技術】
【０００２】
近年、商品を撮像することで得られる画像情報に基づいて商品を識別する商品識別装置が普及しつつある。この商品識別装置をキャッシュレジスタの精算に用いることで、バーコードを付していない青果類等の売上登録が容易になるという利点がある。
【０００３】
例えば、特許文献１には、商品の撮像によって得られる画像情報に基づいて商品の外観特徴量を抽出する特徴量抽出手段と、所定の認識辞書ファイルの特徴量データと外観特徴量との比較に基づいて類似度を算出する類似度算出手段と、類似度算出手段によって算出される類似度に基づいて対象商品の候補を出力する候補出力手段と、を備える商品識別装置について記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−９２９７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１では、オペレータ（店員）がカゴから取り上げた商品を読取窓にかざし、商品識別装置によって商品を撮像・識別した後、この商品を別のカゴに入れていくという作業を繰り返す態様になっている。
【０００６】
一方、顧客自身が商品をベルトコンベアに次々と載せ、精算が終了した商品を顧客自身が袋に詰めていくというベルトコンベア式のシステムが知られている。これによって、商品をカゴから取り出して別のカゴへ移すという作業をオペレータが行う必要がなくなる。
このようなシステムは、例えば、ベルトコンベアの途中にトンネル形の商品識別装置を設け、商品識別装置によって識別された商品については自動的に売上登録し、商品識別装置によって識別されなかった（一つの商品に絞れなかった）ものについてはオペレータの操作で売上登録する構成になっている。
【０００７】
つまり、ベルトコンベア式のシステムは、オペレータ自身が商品をカゴから取り出して売上登録するのではなく、ベルトコンベアによって搬送されてくる商品を売上登録するように構成されている。したがって、次々と搬送されてくる商品（対象物）と、商品識別装置の識別対象となった商品（対象物）と、の対応関係をオペレータが把握しにくく、オペレータにとって使い勝手が悪いという問題があった。
【０００８】
そこで、本発明は、対象物に関する識別結果を容易に把握可能な商品処理システム及び商品処理方法を提供することを課題とする。
【課題を解決するための手段】
【０００９】
前記課題を解決するために、本発明は、
搬送手段によって所定の搬送方向に搬送される対象物が所定のハウジング内を通過する際に、当該対象物を撮像して取得される画像情報、及び／又は、当該対象物に付された識別ラベルに基づいて、前記対象物を商品として識別する商品識別手段と、
対象物に対応する商品が前記商品識別手段によって特定できなかった場合においては、当該対象物が前記ハウジング外における所定位置まで前記搬送手段によって搬送されるのを待って前記搬送手段を停止させる駆動制御手段と、を備えることを特徴とする商品処理システムである。
【００１０】
また、本発明は、
搬送手段によって所定の搬送方向に搬送される対象物が所定のハウジング内を通過する際に、当該対象物を撮像して取得される画像情報、及び／又は、当該対象物に付された識別ラベルに基づいて、前記対象物を商品として識別する商品識別ステップと、
対象物に対応する商品が前記商品識別ステップで特定できなかった場合においては、当該対象物が前記ハウジング外における所定位置まで前記搬送手段によって搬送されるのを待って前記搬送手段を停止させる駆動制御ステップと、を含むことを特徴とする商品処理方法である。
【発明の効果】
【００１１】
本発明によれば、対象物に関する識別結果を容易に把握可能な商品処理システム及び商品処理方法を提供できる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１実施形態に係る商品処理システムの外観斜視図である。
【図２】商品処理システムの構成図である。
【図３】商品識別装置のマイクロコンピュータを含む機能ブロック図である。
【図４】商品識別装置が実行する処理を示すフローチャートである。
【図５】モータ制御回路が実行する処理を示すフローチャートである。
【図６】本発明の第２実施形態に係る商品処理システムのモータ制御回路が実行する処理を示すフローチャートである。
【発明を実施するための形態】
【００１３】
本発明の実施形態について、適宜図面を参照しながら詳細に説明する。以下では、商品処理システムＳ（図１参照）のベルトコンベア１（図１参照）に載せられた商品を「対象物」と記すことがあるものとする。また、図１に示すように、前後・上下・左右を定義する。
【００１４】
≪第１実施形態≫
図１は、第１実施形態に係る商品処理システムＳの外観斜視図である。
商品処理システムＳは、商品の精算等を行うためのシステムであり、商品を搬送するベルトコンベア１（搬送手段）と、商品を識別する商品識別装置２（商品識別手段）と、精算等を行うＰＯＳ端末３と、ベルトコンベア１に関するオペレータの操作（踏込み）を受け付けるフットスイッチ４（切替手段）と、ベルトコンベア１の駆動／停止を制御するモータ制御回路５（駆動制御手段：図２参照）と、を備えている。
【００１５】
なお、図１ではオペレータ（店員）や顧客の図示を省略したが、オペレータはベルトコンベア１の左側（紙面手前側）でＰＯＳ端末３を操作しており、顧客はベルトコンベア１の右側（紙面奥側）で金銭の支払い等を行うものとする。
また、購入対象である商品は、ベルトコンベア１の上流端付近で顧客によってカゴ（図示せず）から取り出され、ベルト１２上に１つずつ載せられる。そして、金銭の支払いが終わった後、載置台Ｃ上で顧客によって商品が袋に詰められる。
【００１６】
ベルトコンベア１は、環状を呈する幅広のベルト１２を回転させることによって、商品である対象物を所定の搬送方向（図１の矢印を参照）に搬送する装置である。
ベルトコンベア１は、軸線が平行となるように並べられた複数のローラ１１と、このローラ１１上を摺動するように張られた環状のベルト１２と、各ローラ１１を回転自在に軸支する支持具１３と、ローラ１１を回転させるモータ１４と、モータ１４の回転角（機械角）を検出する回転角センサ１５（図２参照）と、を備えている。
なお、図１では、複数のローラ１１のうち、モータ１４の回転子に連結されたキャリアローラのみを図示し、ベルト１２との摩擦力で回転するフリーローラについては図示を省略している。
【００１７】
また、本実施形態では、ベルト１２として光透過性を有する透明（又は半透明）のベルトを用いている。これは、後記するカメラ２２１〜２２４によって、上下左右の４方向から対象物を撮像するためである。つまり、ベルト１２の下側に配置されたカメラ２２２によって、対象物を下側からも撮像できるように光透過性のベルト１２を用いている。
【００１８】
図１に示すフットスイッチ４は、オペレータの踏込操作によってモータ１４の駆動／停止を切り替えるものであり、ＰＯＳ端末３の下方に配置されている。オペレータが足でフットスイッチ４を踏むたびに、モータ制御回路５（図２参照）によって、モータ１４の駆動／停止（つまり、ベルト１２上の対象物の移動／停止）が切り替わるようになっている。
【００１９】
モータ制御回路５（図２参照）は、ベルトコンベア１のローラ１１（キャリアローラ）に連結されたモータ１４を制御するものである。モータ制御回路５は、回転角センサ１５、フットスイッチ４、及び、後記する信号送信回路２３と電気的に接続されている。モータ制御回路５は、回転角センサ１５の検出値に基づいてモータ１４を所定の回転速度で駆動するようになっている。
【００２０】
また、モータ制御回路５は、商品識別装置２の識別結果に応じてモータ１４の駆動／停止を切り替える機能も有している。具体的に説明すると、モータ制御回路５は、商品識別装置２によって対象物に対応する商品が特定されない場合において、この対象物が搬送方向（図１の矢印を参照）の所定位置まで移動したときに、モータ制御回路５によってモータ１４（ベルトコンベア１）を停止させるようになっている。前記した「所定位置」とは、例えば、搬送方向におけるＰＯＳ端末３の位置である。
【００２１】
分かりやすくいうと、商品識別装置２によって商品が特定できなかった対象物については、この対象物がオペレータの目の前（ＰＯＳ端末３の付近）まで移動したときに、モータ制御回路５によってベルトコンベア１を停止するようになっている。つまり、フットスイッチ４が踏まれていないにも関わらずベルトコンベア１を強制停止させることで、対象物（オペレータの目の前にある対象物）に対応する商品が、商品識別装置２では特定されなかったことをオペレータに知らせるようになっている。
【００２２】
なお、商品識別装置２からＰＯＳ端末３の設置位置（所定位置）までの距離ｘ１（図１参照）を示す距離情報が、商品識別装置２によって対象物が検出されてから当該対象物に関する停止を行うまでのベルト１２の移動距離として、モータ制御回路５に記憶（設定）されている。
【００２３】
図１に示す商品識別装置２は、ベルトコンベア１によって所定の搬送方向（図１の矢印を参照）に搬送される対象物を、当該対象物を撮像して取得される画像情報に基づき、商品として識別する装置である。なお、対象物に対応する商品を特定できなかった場合には、その旨の情報や、一又は複数の候補商品を示す情報が、商品識別装置２からＰＯＳ端末３に出力されるようになっている。
【００２４】
図１に示すように、商品識別装置２は、ハウジング２１と、カメラ２２１〜２２４と、信号送信回路２３と、を備えている。
ハウジング２１は、孔部Ｈを有し、縦断面視で四角枠状を呈している。そして、この孔部Ｈを貫通するようにベルト１２が配置されている。つまり、商品識別装置２は、搬送方向においてベルトコンベア１の途中に配置され、ベルトコンベア１によって対象物が搬送される途中で、その対象物を識別するようになっている。
【００２５】
図１に示すカメラ２２１は、対象物を上から撮像するものであり、ハウジング２１の上壁に設置されている。カメラ２２２は、対象物を下から撮像するものであり、ハウジング２１の下壁に設置されている。カメラ２２３は、対象物を左から撮像するものであり、ハウジング２１の左壁に設置されている。カメラ２２４は、対象物を右から撮像するものであり、ハウジング２１の右壁に設置されている。
【００２６】
このように本実施形態では、カメラ２２１〜２２４によって、対象物を上下左右の４方向から撮像する構成になっている。なお、図１では図示を省略したが、上下左右から商品に光を照射する光源が、ハウジング２１の上壁・下壁・左壁・右壁にそれぞれ設置されている。
前記したように、ベルト１２は光透過性を有しているため、下壁に設置された光源（図示せず）からの光がベルト１２を透過して対象物に照射され、カメラ２２２によって対象物を下側からも撮像できるようになっている。ちなみに、搬送方向においてハウジング２１に対応する範囲には、ローラ１１が設置されていない。したがって、カメラ２２２による対象物の撮像が、ローラ１１によって阻害されるおそれはない。
【００２７】
カメラ２２１〜２２４は、例えば、カラーＣＣＤ（Charge-Coupled Device）イメージセンサ、カラーＣＭＯＳイメージセンサ（Complementary Metal Oxide Semiconductor）であり、ＣＰＵ２４１（図２参照）からの指令に従って所定のフレームレートで（例えば、１秒間に３０回の）撮像を行うようになっている。
【００２８】
信号送信回路２３は、後記する「商品識別処理」の結果に基づく信号をモータ制御回路５に送信する機能を有している。詳細については後記するが、商品識別装置２によって実行される「商品識別処理」の結果は、以下に示す（Ａ）、（Ｂ）、（Ｃ）のいずれかに該当する。
（Ａ）対象物を商品として特定できた場合
（Ｂ）対象物を商品として特定できないものの、その候補商品が挙げられた場合
（Ｃ）対象物を商品として特定できず、候補商品も挙げられない場合
【００２９】
信号送信回路２３は、「商品識別処理」の結果が（Ｂ）又は（Ｃ）に該当する場合、ベルトコンベア１を停止させるための停止信号をモータ制御回路５に送信する。なお、ベルトコンベア１を停止させるタイミングについては後記する。
【００３０】
図２は、商品処理システムＳの構成図である。
商品識別装置２は、前記したハウジング２１（図１参照）、カメラ２２１〜２２４（図２では「カメラ２２」と記載）、及び信号送信回路２３の他、マイクロコンピュータ２４と、インタフェース２５と、電源２６と、を備えている。
マイクロコンピュータ２４は、商品識別装置２が備えるカメラ２２１〜２２４や信号送信回路２３を制御するものであり、ＣＰＵ２４１と、ＲＯＭ２４２と、ＲＡＭ２４３と、を含んで構成される。
【００３１】
ＣＰＵ２４１、ＲＯＭ２４２、及びＲＡＭ２４３はバス接続され、ＲＯＭ２４２に記憶されたプログラムを読み出してＲＡＭ２４３に展開し、ＣＰＵ２４１が各種処理を実行するようになっている。ＣＰＵ２４１には、カメラ２２と、信号送信回路２３と、インタフェース２５と、電源２６と、が内部バスや入出力回路（図示せず）を介して接続されている。
【００３２】
インタフェース２５は、商品識別装置２とＰＯＳ端末３との間でデータの送受信するためのものであり、ＰＯＳ端末３が備えるインタフェース３６に接続されている。
電源２６は、商品識別装置２が備える各機器の電源であり、前記した各機器に接続されている。
【００３３】
ＰＯＳ端末３は、商品識別装置２によって商品が一つに特定された場合（前記した（Ａ））、その商品の商品分類、商品名、単価等の売上登録に係る情報を売上マスタファイル（不図示）に記録して売上登録するようになっている。
また、ＰＯＳ端末３は、商品識別装置２よって商品が一つに特定されなかった場合（前記した（Ｂ）、（Ｃ）の場合）、オペレータの操作によって特定された商品を売上登録し、さらに商品が特定されたことを示す信号をモータ制御回路５に出力するようになっている。
【００３４】
図２に示すように、ＰＯＳ端末３は、マイクロコンピュータ３１と、ディスプレイ３２と、タッチパネル３３と、キーボード３４と、顧客用ディスプレイ３５と、インタフェース３６と、ＨＤＤ３７（Hard Disk Drive）と、ドロワ３８と、プリンタ３９と、電源４０と、を備えている。
【００３５】
マイクロコンピュータ３１は、ＰＯＳ端末３が備える各機器を制御するものであり、ＣＰＵ３１１、ＲＯＭ３１２、及びＲＡＭ３１３を含んで構成される。ＣＰＵ３１１、ＲＯＭ３１２、及びＲＡＭ３１３はバス接続され、ＲＯＭ３１２に記憶されたプログラムを読み出してＲＡＭ３１３に展開し、ＣＰＵ３１１が各種処理を実行するようになっている。
【００３６】
また、ＣＰＵ３１１には、ディスプレイ３２、タッチパネル３３、キーボード３４、顧客用ディスプレイ３５、インタフェース３６、ＨＤＤ３７、ドロワ３８、プリンタ３９、及び電源４０が、内部バスや入出力回路（図示せず）を介して接続されている。
【００３７】
ディスプレイ３２は、インタフェース３６を介して商品識別装置２から入力される情報や、タッチパネル３３等を介したオペレータの操作に基づき、ＣＰＵ３１１からの指令に従って、商品に関する情報を表示するものである。
タッチパネル３３は、ディスプレイ３２に表示された情報に関するオペレータの操作を受け付けるものである。
キーボード３４は、売上登録の仮締め（仮会計）を行う際に押下される仮締めキー３４１と、売上登録の締め（会計）を行う際に押下される締めキー３４２と、数字キー・各種演算子キーを含むテンキー３４３と、を備えている。
【００３８】
顧客用ディスプレイ３５は、ＣＰＵ３１１からの指令に従って、売上登録に関する情報を顧客に提示するものである。
インタフェース３６は、商品識別装置２とＰＯＳ端末３との間でデータを送受信するためのものであり、商品識別装置２が備えるインタフェース２５に接続されている。
【００３９】
ＨＤＤ３７には、プログラムや各種ファイルが格納されている。ＨＤＤ３７に記憶されているプログラムや各種ファイルはＰＯＳ端末３の起動時に、その全部又は一部がＲＡＭ３１３にコピーされ、ＲＡＭ３１３にコピーされたプログラムがＣＰＵ３１１によって実行される。ＨＤＤ３７には、各商品に関する特徴量ファイル３７１が格納されている。特徴量ファイル３７１は、店舗に陳列して販売する商品の各々について、商品の識別情報や商品価格等の情報と、その商品の基準画像情報との関連付けが設定された商品ファイルである。
【００４０】
ドロワ３８は、現金等を収納するものであり、キーボード３４を介した所定の操作によって開くようになっている。
プリンタ３９は、ＣＰＵ３１１からの指令に従って、商品に関する取引内容をレシートに印字するものである。
電源４０は、ＰＯＳ端末３が備える各機器の電源であり、前記した各機器に接続されている。
【００４１】
図３は、商品識別装置２のマイクロコンピュータ２４を含む機能ブロック図である。
マイクロコンピュータ２４は、画像情報取得部２４ａと、対象物検出部２４ｂと、特徴量抽出部２４ｃと、類似度算出部２４ｄと、類似度判定部２４ｅと、情報出力部２４ｆと、を備えている。前記した各構成の機能は、マイクロコンピュータ２４のＣＰＵ２４１（図２参照）が、ＲＯＭ２４２（図２参照）に格納されたプログラムを実行することによって具現化される。
【００４２】
画像情報取得部２４ａは、カメラ２２（図１に示すカメラ２２１〜２２４）に撮像オン信号を出力し、撮像によって得られる対象物のフレーム画像を順次取り込んでＲＡＭ２４３（図２参照）に保存する。
対象物検出部２４ｂは、画像情報取得部２４ａによって取得されたフレーム画像に含まれる対象物の全部又は一部を、パターンマッチング等に基づいて検出する。例えば、対象物検出部２４ｂは、前記したフレーム画像を二値化して輪郭線を抽出し、この輪郭線に基づいて対象物を検出する。
【００４３】
特徴量抽出部２４ｃは、前記したフレーム画像から特徴量を抽出する。具体的には、特徴量抽出部２４ｃは、対象物が検出されたフレーム画像から、対象物の色合い、形状（表面の凹凸を含む）、大きさ等の特徴量を画像情報として抽出する。
【００４４】
このように画像中に含まれる対象物を認識することは、一般物体認識（generic object recognition）と呼ばれている。柳井啓司著の「一般物体認識の現状と今後」では、一般物体認識の研究のサーベイを手法に加えて、データセット、評価ベンチマークを行い、更にその今後について展望している。
柳井 啓司，「一般物体認識の現状と今後」，[online]、情報処理学会論文誌，2007年11月15日，Vol.48，No.SIG16、1-24頁，[平成２６年１１月２７日検索]，インターネット<URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>
【００４５】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術は、以下の文献に記載されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on，[平成２６年１１月２７日検索]，インターネット<URL: http://mi.eng.cam.ac.uk/~cipolla/publications/inproceedings/2008-CVPR-semantic-texton-forests.pdf>
【００４６】
特徴量抽出部２４ｃは、カメラ２２１〜２２４（図１参照）によって対象物を上下左右から撮像することで取得される４方向のフレーム画像それぞれについて特徴量を抽出する。
【００４７】
類似度算出部２４ｄは、特徴量抽出部２４ｃによって抽出された特徴量等の画像情報と、ＨＤＤ３７に格納されている各商品の基準画像情報と、を比較参照し、対象物と各商品との類似度を算出する。ここで「類似度」とは、商品に対して対象物がどの程度類似しているかを示す値である。対象物の画像が商品の画像に完全一致している場合には類似度が１００％になり、対象物の画像が商品の画像と大きく異なっている場合には類似度が低くなる。
【００４８】
類似度判定部２４ｅは、類似度算出部２４ｄによって算出された類似度に基づいて商品を特定したり、一又は複数の候補商品を挙げたりする機能を有している。類似度判定部２４ｅの判定結果は、前記したＡ（商品を特定できた場合）、Ｂ（候補商品が挙げられた場合）、Ｃ（商品を特定できず、候補商品も挙げられなかった場合）のいずれかに該当する。
【００４９】
情報出力部２４ｆは、類似度判定部２４ｅの判定結果に基づく情報をＰＯＳ端末３のマイクロコンピュータ３１に出力する。具体的には、対象物に対応する商品が特定された場合、情報出力部２４ｆは、特定した商品の商品ＩＤ等をＰＯＳ端末３に出力する。この場合、ＰＯＳ端末３側では、この商品がそのまま売上登録される。
【００５０】
また、対象物に対応する商品が特定されなかった場合において、対象物に関する候補商品が挙げられたときには、情報出力部２４ｆは、候補商品の商品ＩＤ等をＰＯＳ端末３に出力する。この場合、ＰＯＳ端末３側ではオペレータの操作によって選択された候補商品が売上登録される。
また、対象物に対応する商品が特定されず候補商品も挙げられなかった場合には、情報出力部２４ｆは、その旨の情報をＰＯＳ端末３に出力する。この場合、ＰＯＳ端末３側ではオペレータの操作によって入力された商品が売上登録される。
【００５１】
図４は、商品識別装置２が実行する処理を示すフローチャートである。
なお、図４に示す処理中、ベルトコンベア１によって対象物（商品）が搬送されているものとする。
ステップＳ１０１において商品識別装置２は、対象物検出部２４ｂによって、対象物が検出されたか否かを判定する。前記したように、商品識別装置２は、対象物の撮像によって得られるフレーム画像から、パターンマッチング等に基づいて対象物を検出する。
【００５２】
対象物が検出された場合（Ｓ１０１→Ｙｅｓ）、商品識別装置２の処理はステップＳ１０２に進む。一方、対象物が検出されていない場合（Ｓ１０１→Ｎｏ）、商品識別装置２はステップＳ１０１の処理を繰り返す。
【００５３】
ステップＳ１０２において商品識別装置２は、特徴量抽出部２４ｃによって、対象物のフレーム画像から特徴量を抽出する。すなわち、商品識別装置２は、撮像によって得られた対象物のフレーム画像から、対象物の色合い、形状、大きさ等の特徴量を画像情報として抽出する。前記したように、カメラ２２１〜２２４によって対象物を撮像することで取得される上下左右の４方向のフレーム画像それぞれについて、オブジェクト認識に基づく画像情報が抽出される。
【００５４】
ステップＳ１０３において商品識別装置２は、カメラ２２１〜２２４によって撮像された対象物の画像情報と、特徴量ファイル３７１（図３参照）に登録されている各商品の基準画像情報と、の類似度αを、類似度算出部２４ｄによって算出する。
【００５５】
商品識別装置２は、例えば、次のようにして類似度を算出する。すなわち、商品識別装置２は、カメラ２２１によって対象物を上から撮像して得られたフレーム画像に基づく画像情報（特徴量）と、特徴量ファイル３７１に格納されている各商品の基準画像情報と、を比較参照することによって、類似度αを算出する。なお、特徴量ファイル３７１には、商品のそれぞれについて、上下左右の４方向に対応する基準画像情報が格納されている。
【００５６】
次に、商品識別装置２は、１つの商品の４方向の基準画像情報のうち、上からの撮像によって得られた対象物の画像情報との類似度が最も高いもの（方向）を特定する。さらに、商品識別装置２は、他の方向（類似度が最も高かった方向を上として、下・左・右）に対応する基準画像情報と、対象物を下・左・右から撮像して得られたフレーム画像に基づく画像情報（特徴量）と、をそれぞれ比較参照することによって、各方向における類似度を算出する。商品識別装置２は、このような処理を各商品について行う。
【００５７】
通常、顧客は、対象物（商品）の向きに特に注意を払わずに、対象物を次々にベルト１２に載せていく。したがって、仮に１つのカメラの撮像結果のみに基づいて類似度を算出した場合、対象物の載せ方によっては、この対象物に対応する商品との類似度が低くなる可能性がある。
これに対して本実施形態では、上下左右の４方向から対象物を撮像して得られる画像情報に基づいて、各方向に対応する類似度が算出される。したがって、次に説明する類似度の判定処理（Ｓ１０４、Ｓ１０８）の精度を高めることができる。
【００５８】
ステップＳ１０４において商品識別装置２は、類似度判定部２４ｅによって、上下左右の４方向全てにおいて、類似度が第１閾値α１（例えば、７０％）以上である商品が存在するか否かを判定する。なお、第１閾値α１は、対象物に対応する商品を特定する際の判定基準となる閾値であり、予め設定されている。
【００５９】
上下左右の４方向全てにおいて、類似度が第１閾値α１以上である商品が存在する場合（Ｓ１０４→Ｙｅｓ）、商品識別装置２の処理はステップＳ１０５に進む。
ステップＳ１０５において商品識別装置２は、対象物に対応する商品を特定する。なお、類似度が第１閾値α１以上である商品が一つに絞られている場合には、商品識別装置２は、対象物を当該商品として特定する。また、類似度が第１閾値α１以上である商品が複数存在する場合、商品識別装置２は、例えば、類似度の最大値を与える商品を、対象物に対応する商品として特定する。
【００６０】
ステップＳ１０６において商品識別装置２は、情報出力部２４ｆによって、ステップＳ１０５で特定した商品に関する商品情報（商品ＩＤ等）をＰＯＳ端末３に送信する。これによって、ステップＳ１０１で検出した対象物が、ステップＳ１０５で特定した商品として売上登録される。
【００６１】
また、ステップＳ１０４で上下左右の４方向全てにおいて類似度が第１閾値α１以上である商品が存在しない場合（Ｓ１０４→Ｎｏ）、商品識別装置２の処理はステップＳ１０７に進む。
ステップＳ１０７において商品識別装置２は、信号送信回路２３（図２参照）によって、ベルトコンベア１を停止させるための停止信号をモータ制御回路５（図２参照）に出力する。なお、停止信号を受けたときのモータ制御回路５の動作については後記する。
【００６２】
ステップＳ１０８において商品識別装置２は、類似度判定部２４ｅによって、上下左右の４方向全てにおいて類似度が第２閾値α２（例えば、５０％）以上である商品が存在するか否かを判定する。なお、第２閾値α２は、対象物の候補となる候補商品を挙げるか否かの判定基準となる閾値であり、予め設定されている。
【００６３】
上下左右の４方向全てにおいて、類似度が第２閾値α２以上である商品が存在する場合（Ｓ１０８→Ｙｅｓ）、商品識別装置２の処理はステップＳ１０９に進む。
ステップＳ１０９において商品識別装置２は、情報出力部２４ｆによって、ステップＳ１０８で特定した候補商品に関する情報（商品ＩＤ等）をＰＯＳ端末３に送信する。これによって、候補商品の選択画面（候補商品が一つである場合には、確認画面）が、ＰＯＳ端末３のディスプレイ３２に表示される。
【００６４】
ステップＳ１０８で、上下左右の４方向全てにおいて類似度が第２閾値α２以上である商品が存在しない場合（Ｓ１０８→Ｎｏ）、商品識別装置２の処理はステップＳ１１０に進む。なお、ベルトコンベア１によって所定の搬送方向に搬送される対象物を、この対象物を撮像して取得される画像情報に基づいて商品として識別する「商品識別処理」（商品識別ステップ）には、ステップＳ１０２〜Ｓ１０５、Ｓ１０８の処理が含まれる。
【００６５】
ステップＳ１１０において商品識別装置２は、情報出力部２４ｆによって、商品が特定されなかった旨の情報をＰＯＳ端末３に送信する。これによって、商品が特定されなかったことがＰＯＳ端末３のディスプレイ３２に表示される。
【００６６】
図５は、モータ制御回路５（図２参照）が実行する処理を示すフローチャートである。
ステップＳ２０１においてモータ制御回路５は、商品識別装置２から停止信号を受信したか否かを判定する。前記したように、停止信号は、対象物に対応する商品が特定されなかった場合に商品識別装置２からモータ制御回路５に出力される信号である（Ｓ１０７：図４参照）。
【００６７】
商品識別装置２から停止信号を受信していない場合（Ｓ２０１→Ｎｏ）、モータ制御回路５はステップＳ２０１の処理を繰り返す。つまり、ベルトコンベア１によって次々と搬送されてくる各対象物に関して商品が特定されている間は（Ｓ１０４→Ｙｅｓ、Ｓ１０５：図４参照）、モータ制御回路５はベルトコンベア１を駆動させ続ける。この場合においてオペレータは、フットペダル４を踏むことなく（ベルトコンベア１を止めることなく）、目の前を通り過ぎていく対象物の売上登録をディスプレイ３２を見て確認する。
また、ステップＳ２０１で商品識別装置２から停止信号を受信した場合（Ｓ２０１→Ｙｅｓ）、モータ制御回路５の処理はステップＳ２０２に進む。
【００６８】
ステップＳ２０２においてモータ制御回路５は、商品識別装置２によって対象物が検出されたときを基準とするベルト１２の移動距離ｘ（つまり、この対象物の移動距離）を算出する。すなわち、モータ制御回路５は、ステップＳ２０１の停止信号を受信したときのモータ１４の回転角を基準として、回転角センサ１５（図２参照）の検出値に基づいてベルト１２の移動距離ｘを算出する。
【００６９】
ステップＳ２０３においてモータ制御回路５は、ステップＳ２０２で算出した移動距離ｘが、所定距離ｘ１以上であるか否かを判定する。この所定距離ｘ１（図１参照）は、前記したように、商品識別装置２の識別対象となった対象物がオペレータの目の前（ＰＯＳ端末３の付近）まで移動したか否かの判定基準となる閾値である。
【００７０】
ベルト１２の移動距離ｘが所定距離ｘ１以上である場合（Ｓ２０３→Ｙｅｓ）、モータ制御回路５の処理はステップＳ２０４に進む。この場合、商品識別装置２の識別対象となった対象物（商品が特定されなかった対象物）は、搬送方向においてＰＯＳ端末３の付近まで移動している。
一方、ベルト１２の移動距離ｘが所定距離ｘ１未満である場合（Ｓ２０３→Ｎｏ）、モータ制御回路５の処理はステップＳ２０２に戻る。この場合、商品識別装置２の識別対象となった対象物は、ＰＯＳ端末３に向かって下流側に移動している。
【００７１】
ステップＳ２０４においてモータ制御回路５は、ベルトコンベア１を停止させる。例えば、商品等が特定されなかった対象物Ｊ１（図１参照）がＰＯＳ端末３の付近まで移動したときに、モータ制御回路５によってベルトコンベア１が停止される。これによって、オペレータは、目の前にある対象物Ｊ１が商品として特定されなかったことを容易に把握できる。
なお、対象物に対応する商品が特定されない場合において、この対象物が搬送方向における所定位置まで移動したときにベルトコンベア１を停止させる駆動制御処理（駆動制御ステップ）には、ステップＳ２０１〜Ｓ２０４の処理が含まれる。
【００７２】
ステップＳ２０５においてモータ制御回路５は、オペレータの操作によって対象物に対応する商品が特定されたか否かを判定する。つまり、モータ制御回路５は、ディスプレイ３２（図１参照）に表示された候補商品のうち一つが選択されたり、オペレータの操作によって商品ＩＤが入力されたりすることで、対象物に対応する商品が特定されたか否かを判定する。なお、商品が特定されたことを示す信号がＰＯＳ端末３からモータ制御回路５に出力するようになっている。
【００７３】
対象物に対応する商品が特定された場合（Ｓ２０５→Ｙｅｓ）、モータ制御回路５の処理はステップＳ２０６に進む。一方、対象物に対応する商品が特定されていない場合（Ｓ２０５→Ｎｏ）、モータ制御回路５の処理はステップＳ２０４に戻る。つまり、モータ制御回路５は、オペレータの操作によって対象物に対応する商品が特定されるまでは、ベルトコンベア１を停止状態にする。
【００７４】
ステップＳ２０６においてモータ制御回路５は、ベルトコンベア１を再駆動する。つまり、対象物に対応する商品がオペレータの操作によって特定された場合（Ｓ２０５→Ｙｅｓ）、モータ制御回路５はベルトコンベア１を再駆動して対象物を下流側に移動させる（Ｓ２０６）。ステップＳ２０６の処理を行った後、モータ制御回路５の処理は「ＳＴＡＲＴ」に戻る（ＲＥＴＵＲＮ）。
【００７５】
＜効果＞
本実施形態では、次々と搬送されてくる各対象物に関して商品が特定されている間は（Ｓ１０４→Ｙｅｓ、Ｓ１０５）、ベルトコンベア１が駆動され続ける（Ｓ２０１→Ｎｏ）。したがって、オペレータは、自動的に売上登録される結果をＰＯＳ端末３のディスプレイ３２を見て確認しさえすればよく、対象物を取ってカメラの前にかざすといった動作を行う必要がない。したがって、本実施形態によれば、従来よりもオペレータの作業負担を大幅に軽減できる。
【００７６】
また、商品識別装置２によって対象物に対応する商品が特定されなかった場合には（Ｓ１０４→Ｎｏ、Ｓ１０７）、この対象物がＰＯＳ端末３の付近（オペレータの目の前）まで移動してきたときにベルトコンベア１が強制的に停止される（Ｓ２０４）。したがって、オペレータは、ディスプレイ３２に表示された商品（候補商品、又は識別できなかった旨の情報）と、商品識別装置２の識別対象となった対象物と、の対応関係を容易に把握できる。このように本実施形態によれば、対象物に関する識別結果を容易に把握可能な商品処理システムＳを提供できる。
また、ベルトコンベア１の停止時にオペレータの目の前にある対象物については、まだ売上登録されていないことをオペレータに気付かせることができる。
【００７７】
また、本実施形態では、対象物を上下左右の４方向から撮像し、撮像によって得られる画像情報に基づいて対象物を識別する構成になっている。したがって、対象物を一方向から撮像する場合と比較して、対象物に対応する商品を正確に特定できる。なお、顧客がベルト１２上に対象物を載せる際、その特徴がよく出ている方向で撮像されるように気を配ることは稀である。本実施形態によれば、対象物を４方向から撮像するため、ベルト１２上における対象物の向きに関わらず、この対象物に対応する商品を正確に特定できる。
【００７８】
≪第２実施形態≫
第２実施形態は、商品識別装置２によって対象物に対応する商品が特定されない場合において、フットスイッチ４が踏まれたときにベルトコンベア１を再駆動する点が第１実施形態とは異なっている。つまり、第１実施形態では、オペレータの操作によって対象物に対応する商品が特定された場合にベルトコンベア１を再駆動していたのに対して（Ｓ２０５→Ｙｅｓ、Ｓ２０６：図５参照）、第２実施形態では、オペレータによってフットスイッチ１７が踏まれた場合にベルトコンベア１を再駆動する（Ｓ３０５→Ｙｅｓ、Ｓ２０６：図６参照）点が異なっている。
なお、商品処理システムＳの構成（図１、図２、図３参照）、及び商品識別装置２が実行する処理（図４参照）については、第１実施形態と同様である。したがって、第１実施形態とは異なる部分（モータ制御回路５が実行する処理）について説明し、第１実施形態と重複する部分については説明を省略する。
【００７９】
図６は、第２実施形態に係る商品処理システムＳのモータ制御回路５が実行する処理を示すフローチャートである。なお、第１実施形態で説明した処理（図５参照）と重複する部分については、同一のステップ番号を付している。
ステップＳ２０４でベルトコンベア１を停止した後、モータ制御回路５の処理はステップＳ３０５に進む。なお、この時点においてオペレータの目の前（搬送方向においてＰＯＳ端末３の付近）には、商品識別装置２によって商品を特定できなかった対象物があるものとする。
【００８０】
ステップＳ３０５においてモータ制御回路５は、オペレータによってフットスイッチ４（図１参照）が踏まれたか否かを判定する。通常、オペレータは、対象物に対応する商品を選択等して売上登録を行った後、フットスイッチ４を踏んでベルトコンベア１を再駆動させる。つまり、ステップＳ３０５では、対象物に対応する商品が特定されたか否かの判定が間接的に行われているともいえる。
【００８１】
ステップＳ３０５でフットスイッチ４が踏まれていない場合（Ｓ３０５→Ｎｏ）、モータ制御回路５の処理はステップＳ２０４に戻る。つまり、モータ制御回路５は、オペレータによってフットスイッチ４が踏まれない間はベルトコンベア１を停止状態にする。
オペレータによってフットスイッチ４が踏まれた場合（Ｓ３０５→Ｙｅｓ）、ステップＳ２０６においてモータ制御回路５はベルトコンベア１を再駆動する。
【００８２】
＜効果＞
本実施形態では、ベルトコンベア１を停止した後（Ｓ２０４）、オペレータによってフットスイッチ４が踏まれた場合に（Ｓ３０５→Ｙｅｓ）、モータ制御回路５はベルトコンベア１の停止を解除して再駆動する（Ｓ２０６）。これによって、オペレータの目の前にある売上登録済みの商品を下流側に移動させ、ベルトコンベア１で次々と搬送されてくる各対象物に関して、商品識別装置２による商品識別処理と、ＰＯＳ端末３による売上登録と、を行うことができる。
【００８３】
≪変形例≫
以上、本発明に係る商品処理システムＳについて各実施形態により説明したが、本発明はこれらの記載に限定されるものではなく、種々の変更を行うことができる。
例えば、各実施形態では、カメラ２２１〜２２４（図１、図６参照）によって上下左右の４方向から対象物を撮像する構成について説明したが、これに限らない。例えば、対象物を斜め方向で見下ろすように設置された一つのカメラの撮像結果に基づいて、対象物を識別するようにしてもよい。
【００８４】
また、２方向（例えば、上・右）、又は３方向（例えば、上・右・左）から対象物を撮像し、その撮像結果に基づいて対象物を識別するようにしてもよい。なお、対象物を下側から撮像しない場合には、ベルト１２として光透過性を有しない通常のベルトを用いればよい。
【００８５】
また、各実施形態では、対象物を撮像して得られる画像情報（特徴量）に基づいて、対象物を識別する構成について説明したが、これに限らない。例えば、商品識別装置２に代えて、対象物に付されたバーコード（識別ラベル）を読み取るバーコードスキャナ（商品識別手段：図示せず）をベルトコンベア１の途中に配置してもよい。この場合においてモータ制御回路５は、バーコードスキャナによってバーコードが読み取られた対象物については、ＰＯＳ端末３の前を素通りさせるようにベルトコンベア１の駆動を継続する。また、バーコードが読み取れなかった対象物については、その対象物がＰＯＳ端末３の付近まで移動したときにベルトコンベア１を停止させる。これによってオペレータは、バーコードが読み取られた対象物（素通りする対象物）と、バーコードが読み取れなかった対象物（目の前で止まる対象物）と、を正確に把握できる。
【００８６】
また、商品識別装置２がバーコードスキャナも備えており、対象物を撮像して得られる画像情報、及び／又は、対象物に付されたバーコード（識別ラベル）に基づいて対象物を識別する構成にしてもよい。この構成において、バーコードに基づいて特定される商品と、画像情報に基づいて特定される商品と、が異なる場合には、確実性が高いバーコードを優先させるようにすることが好ましい。
【００８７】
また、各実施形態では、商品識別装置２によって商品を特定できなかった対象物がオペレータの目の前まで移動したときにベルトコンベア１を停止させる構成について説明したが、これと併せて商品識別装置２の識別結果をオペレータに報知するようにしてもよい。例えば、搬送方向においてＰＯＳ端末３の付近に表示ランプ（報知手段：図示せず）を設置し、ベルトコンベア１が強制停止されたときに表示ランプを点灯する（つまり、識別結果を報知する）ようにしてもよい。これによってオペレータは、商品識別装置２の識別結果に基づいてベルトコンベア１が停止されたことを確認し、安心して業務を続けることができる。
【００８８】
また、第１実施形態と第２実施形態とを組み合わせ、ベルトコンベア１を停止した後（Ｓ２０４）、オペレータの操作によって対象物に対応する商品が特定されたか（Ｓ２０５→Ｙｅｓ）、又は、フットスイッチ４が踏まれた場合に（Ｓ３０５→Ｙｅｓ）、ベルトコンベア１を再駆動するようにしてもよい。
【００８９】
また、各実施形態では、商品処理システムＳを商品の売上登録に用いる場合について説明したが、これに限らない。例えば、ベルトコンベアを用いて商品を分類や管理等を行うシステムにも、各実施形態の商品処理システムＳを適用できる。
【００９０】
また、各実施形態で説明した処理（図４〜図６等）を、プログラムによって別のコンピュータに実行させるようにしてもよい。前記したプログラムは、通信回線を介して提供することもできるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【００９１】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
【００９２】
（付記）
［１］
搬送手段によって所定の搬送方向に搬送される対象物を、当該対象物を撮像して取得される画像情報、及び／又は、当該対象物に付された識別ラベルに基づいて、商品として識別する商品識別手段と、
対象物に対応する商品が前記商品識別手段によって特定されない場合において、当該対象物が前記搬送方向における所定位置まで移動したときに前記搬送手段を停止させる駆動制御手段と、を備えることを特徴とする商品処理システムである。
［２］
前記搬送手段は、ベルトを有するベルトコンベアであり、
前記商品識別手段は、前記搬送方向において前記ベルトコンベアの途中に配置され、
前記駆動制御手段には、前記商品識別手段から前記所定位置までの距離を示す距離情報が、前記商品識別手段によって対象物が検出されてから当該対象物に関する前記停止を行うまでの前記ベルトの移動距離として設定されていることを特徴とする請求項１に記載の商品処理システムである。
［３］
前記駆動制御手段は、前記ベルトコンベアを停止した後、前記所定位置まで移動した前記対象物に対応する商品がオペレータの操作によって特定された場合、前記ベルトコンベアを再駆動させることを特徴とする請求項２に記載の商品処理システムである。
［４］
前記ベルトコンベアは、切替手段の操作に応じて、その駆動／停止を切り替えるように構成され、
前記駆動制御手段は、前記ベルトコンベアを停止した後、前記ベルトコンベアの駆動指令が前記切替手段から入力された場合、前記停止を解除して前記ベルトコンベアを再駆動させることを特徴とする請求項２に記載の商品処理システムである。
［５］
搬送手段によって所定の搬送方向に搬送される対象物を、当該対象物を撮像して取得される画像情報、及び／又は、当該対象物に付された識別ラベルに基づいて、商品として識別する商品識別ステップと、
対象物に対応する商品が前記商品識別ステップで特定されない場合において、当該対象物が前記搬送方向における所定位置まで移動したときに前記搬送手段を停止させる駆動制御ステップと、を含むことを特徴とする商品処理方法である。
【符号の説明】
【００９３】
Ｓ  商品処理システム
１  ベルトコンベア（搬送手段）
１２  ベルト
１３  支持具
１４  モータ
１５  センサ
１５  回転角センサ
２  商品識別装置（商品識別手段）
２１  ハウジング
２２，２２１，２２２，２２３，２２４  カメラ
２３  信号送信回路
２４  マイクロコンピュータ
２４ａ  画像情報取得部
２４ｂ  対象物検出部
２４ｃ  特徴量抽出部
２４ｄ  類似度算出部
２４ｅ  類似度判定部
２４ｆ  情報出力部
３  ＰＯＳ端末
４  フットスイッチ（切替手段）
５  モータ制御回路（駆動制御手段）
【図１】
0006311590.tif 000002
【図２】
0006311590.tif 000003
【図３】
0006311590.tif 000004
【図４】
0006311590.tif 000005
【図５】
0006311590.tif 000006
【図６】
0006311590.tif 000007