(57)【要約】【課題】直感的で誤操作の少ない商品登録操作と、その取消操作とが可能な商品登録装置等を提供する。【解決手段】商品登録装置１は、商品識別装置２における商品の認識領域の一方の側である第１領域における物体の有無を検知する左光電センサ２６Ｌと、この認識領域の他方の側である第２領域における物体の有無を検知する右光電センサ２６Ｒと、この認識領域の画像を撮像するカメラ２７とを備える。カメラ２７が撮像した認識領域の画像から物体を検知して商品を特定すると共に、左光電センサ２６Ｌ、右光電センサ２６Ｒ、カメラ２７による各領域の検知結果の時系列に応じて、ＰＯＳ端末３に商品登録処理と商品の仮登録の取消処理のいずれかを行わせる。【選択図】図１
2018152144.tif 000002
【特許請求の範囲】
【請求項１】
商品の認識領域に隣接した検知領域における物体の有無を検知する検知手段と、
前記認識領域の画像を撮像する撮像手段と、
前記撮像手段が撮像した前記認識領域の画像から物体を検知して商品を特定すると共に
、前記検知領域、前記認識領域の各検知結果の時系列に応じて、商品仮登録処理と仮登録
取消処理と商品返品処理のいずれかを行う制御手段と、
を備え、
前記制御手段は、
前記検知領域、前記認識領域の各検知結果の時系列が第１の時系列である場合に前記商
品仮登録処理を行い、
前記検知領域、前記認識領域の各検知結果の時系列が前記第１の時系列とは異なる第２
の時系列である場合に、特定された商品が前記仮登録処理によって仮登録中の商品である
ならば前記仮登録取消処理を行い、仮登録中の商品でないならば前記商品返品処理を行う
、
ことを特徴とする商品登録装置。
【請求項２】
前記検知手段は更に、所定の色を検知可能であり、
前記制御手段は、前記検知手段が所定の色を検知したならば、商品仮登録処理の際に、
併せて商品を値引きする、
ことを特徴とする請求項１に記載の商品登録装置。
【請求項３】
前記検知手段は、
前記認識領域の一方の側である第１領域における物体の有無を検知する第１検知手段と
、
前記認識領域の他方の側である第２領域における物体の有無を検知する第２検知手段と
、
を含んで構成されることを特徴とする請求項１に記載の商品登録装置。
【請求項４】
前記制御手段は、前記第１、第２領域のいずれかで物体を検知したのちに前記撮像手段
が撮像した前記認識領域の画像から物体を検知して商品を特定したならば、前記第１領域
、前記第２領域、前記認識領域の各検知結果の時系列に応じて、商品仮登録処理と仮登録
取消処理と商品返品処理のいずれかを行う、
ことを特徴とする請求項３に記載の商品登録装置。
【請求項５】
前記制御手段は、
前記撮像手段が撮像した前記認識領域の画像からオブジェクトを認識することによって
物体を検出し、
前記撮像手段が撮像した前記認識領域の画像と、辞書に記録された各取扱商品の基準画
像とが、との程度類似しているかを示す類似度によって当該物体がいずれの商品であるか
を特定する、
ことを特徴とする請求項３に記載の商品登録装置。
【請求項６】
前記制御手段は、前記撮像手段が撮像した前記認識領域の画像に含まれるデータコード
によって前記物体である商品を検知して特定する、
ことを特徴とする請求項３に記載の商品登録装置。
【請求項７】
商品の認識領域に隣接した検知領域における物体の有無を検知する検知手段と、
前記認識領域の画像を撮像する撮像手段と、
商品仮登録処理と仮登録取消処理と商品返品処理のいずれかを行う制御手段と、
を備える商品登録装置の商品登録方法であって、
前記制御手段は、
前記検知領域、前記認識領域の各検知結果の時系列が第１の時系列である場合に前記商
品仮登録処理を行い、
前記検知領域、前記認識領域の各検知結果の時系列が前記第１の時系列とは異なる第２
の時系列である場合に、特定された商品が前記仮登録処理によって仮登録中の商品である
ならば前記仮登録取消処理を行い、仮登録中の商品でないならば前記商品返品処理を行う
、
ことを特徴とする商品登録装置の商品登録方法。
【請求項８】
商品の認識領域に隣接した検知領域における物体の有無を検知する検知手段と、
前記認識領域の画像を撮像する撮像手段と、
を備える商品登録装置に、
前記撮像手段が撮像した前記認識領域の画像から物体を検知させ、
前記物体である商品を特定させ、
前記検知領域、前記認識領域の各検知結果の時系列が第１の時系列である場合に商品仮
登録処理を行わせ、
前記検知領域、前記認識領域の各検知結果の時系列が前記第１の時系列とは異なる第２
の時系列である場合に、特定された商品が前記仮登録処理によって仮登録中の商品である
ならば前記仮登録取消処理を行わせ、仮登録中の商品でないならば前記商品返品処理を行
わせるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、商品登録装置、商品登録方法およびプログラムに関する。
【背景技術】
【０００２】
従来、電子式キャッシュレジスタ（商品登録装置）は、バーコード読み取り部によって、商品に付与されたバーコードなどのデータコードを読み取り、この商品を識別していた。商品に付与されたバーコードは、メーカコードの情報と、アイテムコードの情報と、チェックディジットの情報とを含んで構成される。商品登録装置は、チェックディジットの情報によって正しくバーコードが読み取れたことを判断したのち、アイテムコードの情報によって、この商品を識別する。バーコードを予め商品の包装などに印刷しておくことで、キャッシュレジスタのオペレータの負担を軽減することができる。
しかし、包装されていない商品、例えば青果品などは、バーコードを個々に貼り付けることは極めて煩雑であり、時間とコストとが掛かる。従来は青果品などに対して、オペレータが商品コードや金額をキーボードで入力するという運用がなされていた。
【０００３】
近年では、青果品などをオブジェクト認識して識別し、識別された商品を売上登録する商品登録装置が普及しはじめている。この商品登録装置は、青果品などを撮影した画像情報から外観の特徴量を抽出し、予め用意された特徴量データベースと比較することで、この物品がいずれの商品であるかを識別する。これにより、予め包装されていない商品であっても、バーコードを個々に貼り付けることなく商品登録装置が認識できるので、店舗側の負担を軽減することができる。
【０００４】
ところでスーパーマーケットにおいて顧客が商品を購入するときには、買物カゴなどに商品を入れた後、キャッシュレジスタのオペレータに精算を依頼する。
キャッシュレジスタのオペレータは、商品を売上登録する際、この顧客に係る第１の買物カゴに入っている各商品を順番に商品登録装置に読み込ませ、第２の買物カゴに入れる。ここで顧客が、いずれかの商品の購入をキャンセルしたいと申し出たとき、オペレータは、商品の登録を訂正するためキーボード操作を必要としていた。この操作は非定常的な操作であるため、オペレータがこの操作を習得していない場合が多い。よって、オペレータのチーフなどが呼ばれて、このキャンセル作業を行わなければならず、キャンセルまでに多くの作業工数と時間とを要するという問題があった。これは、バーコード読み取り機能を有する商品登録装置と、オブジェクト認識機能を有する商品登録装置に共通する問題である。
【０００５】
特許文献１の解決手段には、「撮像手段が撮像した物体の画像を含むフレーム画像に含まれる前記物体の画像と、辞書に登録された各登録商品の基準画像とが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、前記類似度に基づいて前記物体に対応する前記登録商品の候補を抽出する商品候補抽出手段と、前記登録商品の候補が一の場合は当該登録商品の候補を仮確定商品とし、または、前記登録商品の候補が複数の場合は選択された一の登録商品の候補を仮確定商品とし、当該仮確定商品を前記物体に対応する前記登録商品として確定する確定手段と、前記確定手段による確定前に、前記フレーム画像の色の属性が所定の基準値を超えたと判断した場合、または当該色の属性の単位時間当たりの変化量が所定の基準値を超えたと判断した場合には、前記仮確定商品に対して予め定められた特殊処理を実行する特殊処理実行手段と、を備える。」と記載されている。
【０００６】
特許文献２の課題には、「オブジェクト認識の結果に関する何らかの処理のための操作の効率化を図る。」と記載され、その解決手段には、「実施形態の商品読取装置は、認識手段、識別手段、判定手段、処理手段および確定手段を含む。認識手段は、撮像手段が撮像した画像からその画像に含まれるオブジェクトを認識する。識別手段は、前記認識手段が認識した前記オブジェクトから買上商品の候補となる候補商品を識別する。判定手段は、前記認識手段が認識した前記オブジェクトのうちの特定のオブジェクトの前記画像内での変化パターンを判定する。処理手段は、前記判定手段が判定した変化パターンに関連付けられた処理を前記識別手段による識別の結果に関連して行う。確定手段は、予め定められた確定条件が成立した場合、前記候補商品のうちで選択候補となっている商品を識別する商品コードを買上商品の商品コードとして確定する。」と記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１３−１８２３２３号公報
【特許文献２】特開２０１３−１８２４５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に記載の発明によれば、オペレータは、キーボード操作をすることなしに商品登録をキャンセルすることができる。しかし、特許文献１に記載の発明は、商品登録のキャンセル操作として、オブジェクト認識用のカメラに手をかざすという操作が必要である。このカメラに手をかざす操作は、キャンセル操作としては直感的でなく、習熟しにくいという問題がある。また、オペレータがこの操作を知らないときには、商品登録をキャンセルできないことに代わりはない。
【０００９】
特許文献２に記載の発明によれば、オペレータは、キーボード操作をすることなしに商品登録をキャンセルすることができる。しかし、特許文献１に記載の発明は、商品登録のキャンセルの際には、認識したオブジェクトの変化を利用している。よって、オブジェクトの誤認識により、誤って各種操作を実行するおそれがあった。
また、バーコード読み取り機能を有する商品登録装置は、上記操作を認識できないため、商品登録のキャンセルを実現できない。
【００１０】
本発明は、直感的で誤操作の少ない商品仮登録操作と仮登録取消操作と商品返品操作を
可能にすることを課題とする。
【課題を解決するための手段】
【００１１】
請求項１は、商品の認識領域に隣接した検知領域における物体の有無を検知する検知手
段と、前記認識領域の画像を撮像する撮像手段と、前記撮像手段が撮像した前記認識領域
の画像から物体を検知して商品を特定すると共に、前記検知領域、前記認識領域の各検知
結果の時系列に応じて、商品仮登録処理と仮登録取消処理と商品返品処理のいずれかを行
う制御手段と、を備え、前記制御手段は、前記検知領域、前記認識領域の各検知結果の時
系列が第１の時系列である場合に前記商品仮登録処理を行い、前記検知領域、前記認識領
域の各検知結果の時系列が前記第１の時系列とは異なる第２の時系列である場合に、特定
された商品が前記仮登録処理によって仮登録中の商品であるならば前記仮登録取消処理を
行い、仮登録中の商品でないならば前記商品返品処理を行う、ことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、直感的で誤操作の少ない商品仮登録操作と仮登録取消操作と商品返品
操作とが可能となる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施形態における商品登録装置の外観を示す斜視図である。
【図２】第１の実施形態における商品登録装置の概略を示す構成図である。
【図３】第１の実施形態における商品登録装置の概略を示す機能ブロック図である。
【図４】第１の実施形態における商品識別装置の正面図である。
【図５】第１の実施形態における商品登録操作と商品登録の取消操作を示す説明図である。
【図６】第１の実施形態における商品登録処理を示すフローチャートである。
【図７】第１の実施形態における商品登録の取消処理を示すフローチャートである。
【図８】第１の実施形態の第１変形例の商品登録処理を示すフローチャートである。
【図９】第１の実施形態の第２変形例の商品登録方向決定処理を示すフローチャートである。
【図１０】第２の実施形態における商品識別装置の正面図である。
【図１１】第２の実施形態における商品登録の取消処理を示すフローチャートである。
【図１２】第３の実施形態における商品登録装置の概略を示す構成図である。
【図１３】第３の実施形態における商品登録操作とその訂正操作を示す説明図である。
【図１４】第３の実施形態における商品登録訂正操作と再登録操作を示す説明図である。
【図１５】第３の実施形態における商品登録／訂正処理を示すフローチャート（その１）である。
【図１６】第３の実施形態における商品登録／訂正処理を示すフローチャート（その２）である。
【図１７】第３の実施形態の変形例の商品登録／取消処理を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以降、本発明を実施するための形態を、各図を参照して詳細に説明する。なお、同一の要素が異なる図に示されていても同一の符号を付与して、その重複する説明を省略することがある。
【００１５】
（第１の実施形態）
図１は、第１の実施形態における商品登録装置１の外観を示す斜視図である。
図１に示すように、商品登録装置１は、各商品を登録する商品識別装置２と、各取引に係る商品の売上登録と精算とを行うＰＯＳ端末３とを備える。この商品識別装置２は、商品に関する情報を読み取って登録するＰＯＳ接続用スキャナである。
商品識別装置２は、横長テーブル状のカウンタ台５の長手方向の中央に設置されている。商品識別装置２は、薄型の矩形状のハウジング５１を備える。このハウジング５１の正面には、読取窓５２を介してカメラ２７（図２参照）が配置されている。読取窓５２の左側には、左光電センサ２６Ｌが配置されている。読取窓５２の右側には、右光電センサ２６Ｒが配置されている。
【００１６】
ハウジング５１の上部には、表示・操作部２２が取り付けられている。表示・操作部２２には、ディスプレイ２２１が設けられている。このディスプレイ２２１の表面には、タッチパネル２２２（図２参照）が積層されている。ディスプレイ２２１の右隣には、キーボード２３が配置されている。キーボード２３の右隣には、不図示のカードリーダのカード読取溝が設けられている。表示・操作部２２の左奥側には、顧客に情報を提供するための顧客用ディスプレイ２４が裏向きに設置されている。
【００１７】
ＰＯＳ端末３は、チェックアウト台６上のドロワ３７の上面に載置されている。このドロワ３７は、ＰＯＳ端末３によって開放動作の制御を受ける。
ＰＯＳ端末３の上面には、オペレータ（店員）が操作するためのキーボード３３が配置されている。このオペレータから見てキーボード３３の上部奥側には、情報を表示するディスプレイ３２１が設けられている。このディスプレイ３２１の表面には、タッチパネル３２２（図２参照）が積層されている。ディスプレイ３２１よりもさらに奥側には、情報を表示する顧客用ディスプレイ３４が左右方向に回転可能に設置されている。なお、図１に示す顧客用ディスプレイ３４は、図の手前側に向いている。この顧客用ディスプレイ３４は、図の奥側に向くように回転させることによって、顧客に向けて情報を表示する。
【００１８】
ＰＯＳ端末３が載置されているチェックアウト台６とＬ字を形成するようにして、横長テーブル状のカウンタ台５が配置されている。カウンタ台５の上面には、荷受け面が形成されている。顧客は、図１の左側から右側に移動しつつ、商品の登録処理を受ける。つまり、カウンタ台５の荷受け面には、商品を収納する第１の買物カゴ４Ｌと、第２の買物カゴ４Ｒとが載置される。以下、第１の買物カゴ４Ｌと、第２の買物カゴ４Ｒとを特に区別しないときには、単に買物カゴ４と記載する場合がある。これら買物カゴ４は、いわゆるカゴ形状のものに限るものではなく、トレーなどであってもよい。また、買物カゴ４は、いわゆるカゴ形状のものに限らず、箱状や袋状などであってもよい。
第１の買物カゴ４Ｌは、顧客によって持ち込まれたものであり、一つの取引に係る商品が収納される。第２の買物カゴ４Ｒは、第１の買物カゴ４Ｌから商品識別装置２を挟んだ位置に載置される。第１の買物カゴ４Ｌ内の商品は、商品識別装置２を操作するオペレータにより取り出され、第２の買物カゴ４Ｒに移動される。この移動過程で、商品が商品識別装置２の読取窓５２にかざされる。このとぎ、読取窓５２内に配置されたカメラ２７（図２参照）は商品を撮像する。
【００１９】
商品識別装置２では、カメラ２７により撮像された画像に含まれる商品が、後記する特徴量ファイル３６１（図２参照）に記録されたどの商品に対応するかを指定させるための画面をディスプレイ２２１に表示する。商品識別装置２は更に、指定された商品の商品ＩＤをＰＯＳ端末３に通知する。ＰＯＳ端末３は、商品識別装置２から通知される商品ＩＤに基づき、当該商品ＩＤに対応する商品の商品分類、商品名、単価などの売上登録に係る情報を、売上マスタファイル（不図示）などに記録して、売上登録を行う。
【００２０】
図２は、第１の実施形態における商品登録装置１の概略を示す構成図である。
商品登録装置１は、商品識別装置２とＰＯＳ端末３とを含んで構成される。
商品識別装置２は、マイクロコンピュータ２１と、表示・操作部２２と、インタフェース２５と、左光電センサ２６Ｌと、右光電センサ２６Ｒと、カメラ２７と、スピーカ２８と、電源２９とを含んで構成される。
マイクロコンピュータ２１は、ＣＰＵ（Central Processing Unit）２１１にＲＯＭ（Read Only Memory）２１２とＲＡＭ（Random Access Memory）２１３とがバス接続されて構成されている。ＲＯＭ２１２には、ＣＰＵ２１１によって実行されるプログラムが記憶される。
ＣＰＵ２１１には、表示・操作部２２と、インタフェース２５と、右光電センサ２６Ｒと、左光電センサ２６Ｌと、カメラ２７、スピーカ２８とが、内部バスや各入出力回路（不図示）を介して接続される。
【００２１】
表示・操作部２２は、ディスプレイ２２１と、タッチパネル２２２と、顧客用ディスプレイ２４と、キーボード２３とを含んで構成され、ＣＰＵ２１１によって動作が制御される。
ディスプレイ２２１は、ＣＰＵ２１１の指示により、オペレータに対する情報を表示する。タッチパネル２２２は、ディスプレイ２２１により表示した情報に対する操作の入力を受ける。顧客用ディスプレイ２４は、ＣＰＵ２１１の指示により、顧客に対する情報を表示する。
キーボード２３は、複数の操作キーで構成され、オペレータの操作入力を受け付ける。
インタフェース２５は、ＰＯＳ端末３のインタフェース３５に接続して、ＰＯＳ端末３との間でデータ送受信を可能にする。
【００２２】
左光電センサ２６Ｌと右光電センサ２６Ｒとは、例えば、拡散反射形の光電センサであり、投光器と受光器とが一体で形成される。この投光部から出た光が検出対象の物体（商品）にあたると、この物体から反射した光が受光部に入射して光量が増加し、この物体の検出が行える。
カメラ２７は、カラーＣＣＤイメージセンサやカラーＣＭＯＳイメージセンサなどであり、ＣＰＵ２１１の制御の下で、読取窓５２（図１参照）からの撮像を行う撮像手段である。カメラ２７は、例えば３０［ｆｐｓ］の動画像の撮像を行う。カメラ２７が所定のフレームレートで順次撮像したフレーム画像（撮像画像）は、ＲＡＭ２１３に保存される。
【００２３】
スピーカ２８は、予め設定された警告音などを発生する。スピーカ２８は、ＣＰＵ２１１の制御の下で警告音や音声による報知を行う。
電源２９は、この商品識別装置２の各部に電力を供給する。
【００２４】
インタフェース２５は、ＰＯＳ端末３のインタフェース３５に接続して、ＰＯＳ端末３との間でデータ送受信を可能にする。
【００２５】
ＰＯＳ端末３は、マイクロコンピュータ３１と、ディスプレイ３２１と、タッチパネル３２２と、キーボード３３と、顧客用ディスプレイ３４と、インタフェース３５と、ＨＤＤ３６と、ドロワ３７と、プリンタ３８と、電源３９とを含んで構成される。
マイクロコンピュータ３１は、情報処理を実行する。このマイクロコンピュータ３１は、各種演算処理を実行し各部を制御するＣＰＵ３１１に、ＲＯＭ３１２とＲＡＭ３１３とがバス接続されて構成される。ＣＰＵ３１１には、ドロワ３７と、キーボード３３と、ディスプレイ３２１と、タッチパネル３２２と、顧客用ディスプレイ３４と、ＨＤＤ３６（Hard Disk Drive）とが、内部バスや各入出力回路を介して接続されている。これらは、ＣＰＵ３１１による制御を受ける。
【００２６】
ディスプレイ３２１は、ＣＰＵ３１１の指示により、オペレータに対する情報を表示する。タッチパネル３２２は、ディスプレイ３２１により表示した情報に対する操作の入力を受ける。顧客用ディスプレイ３４は、ＣＰＵ３１１の指示により、顧客に対する情報を表示する。
キーボード３３は、仮締めキー３３１と、締めキー３３２と、テンキー３３３とを含んで構成され、オペレータの操作入力を受け付ける。テンキー３３３は、０から９までの数字キーと各種演算子キーとで構成される。
【００２７】
ＨＤＤ３６には、プログラムや各種ファイルが記憶されている。ＨＤＤ３６に記憶されているプログラムや各種ファイルは、ＰＯＳ端末３の起動時に、その全部または一部がＲＡＭ３１３にコピーされてＣＰＵ３１１により実行される。ＨＤＤ３６には、例えば特徴量ファイル３６１が記録されるが、商品販売データ処理用のプログラムが記録されてもよい。特徴量ファイル３６１は、店舗に陳列して販売する取扱商品の各々について、商品の売上登録にかかる情報と、その商品の画像との関連付けが設定された商品ファイルであり、取扱商品の辞書として機能する。
【００２８】
インタフェース３５は、商品識別装置２に接続され、商品識別装置２との間でデータ送受信を可能とする。
プリンタ３８は、レシートなどに印字を行う。ＰＯＳ端末３は、ＣＰＵ３１１の制御のもとで、各取引の取引内容をレシートに印字する。
電源３９は、このＰＯＳ端末３の各部に電力を供給する。
【００２９】
図３は、第１の実施形態における商品登録装置１の概略を示す機能ブロック図である。以下の説明では、適宜図１と図２とを参照する。
商品識別装置２のＣＰＵ２１１は、ＲＯＭ２１２に格納されるプログラムを実行することにより、画像取得部９０と、物体検出部９１、時系列判断部９２、類似度演算部９３、類似度判断部９４、確定通知部９５、候補商品提示部９６、入力取得部９７、情報出力部９８の各部を具現化する。また、同様に、ＰＯＳ端末３のＣＰＵ３１１は、ＨＤＤ３６に格納されるプログラムを実行することにより、売上登録部９９１、売上取消部９９２の各部を具現化する。ＰＯＳ端末３のＨＤＤ３６には更に、特徴量ファイル３６１が格納される。
【００３０】
画像取得部９０は、カメラ２７に撮像オン信号を出力して、このカメラ２７に撮像動作を開始させる。更に画像取得部９０は、カメラ２７が撮像してＲＡＭ２１３に保存されたフレーム画像を順次取り込む。画像取得部９０によるフレーム画像の取り込みは、ＲＡＭ２１３に保存された順に行われる。
【００３１】
物体検出部９１は、画像取得部９０によって取り込まれたフレーム画像に含まれる物体の全部または一部を、パターンマッチング技術などを用いて検出する。
具体的には、オペレータが売上登録のために商品を読取窓５２に向けると、画像取得部９０は、カメラ２７によって、この商品の画像を撮影する。物体検出部９１は、取り込まれたフレーム画像を二値化して輪郭線を抽出する。次いで物体検出部９１は、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して、この商品である物体を検出する。
【００３２】
別の具体的方法を以下に示す。オペレータが売上登録のために、商品を手で把持して読取窓５２に向けると、画像取得部９０は、カメラ２７によって、この商品および手の画像を撮影する。物体検出部９１は、取り込まれたフレーム画像から肌色領域の有無を検出する。肌色領域が検出された場合、すなわち、店員の手が検出された場合に、物体検出部９１は、この肌色領域の近傍において輪郭線を検出する。これにより、オペレータの手が把持していると思われる商品の輪郭を抽出する。物体検出部９１は、手の形状を示す輪郭が検出され、手の輪郭の近傍にそれ以外の物体の輪郭が更に検出された場合、この物体の輪郭から商品を検出する。
【００３３】
時系列判断部９２は、右光電センサ２６Ｒの物体の検知結果と、カメラ２７の撮影画像による物体の検知結果と、左光電センサ２６Ｌの物体の検知結果との時系列により、対応する処理を判断する。
【００３４】
類似度演算部９３は、カメラ２７が撮像した商品の画像から、この商品の色合いや表面の凹凸状況などの表面の状態を特徴量として読み取る。類似度演算部９３は、この商品の輪郭や大きさは考慮しない。これにより類似度演算部９３は、処理時間を短縮することができる。
類似度演算部９３は更に、特徴量ファイル３６１に記録された各商品（以下、取扱商品という）の商品画像から、当該取扱商品の色合いや表面の凹凸状況などの表面の状態を特徴量として読み取り、撮影した商品の特徴量とそれぞれ比較することで、撮影した商品と特徴量ファイル３６１に記録された取扱商品との類似度を算出する。ここで類似度とは、特徴量ファイル３６１に記録されている各商品が想定する商品画像を１００％の類似度とした場合に、商品の全部または一部の画像がどの程度まで類似しているかを示すものである。なお、類似度演算部９３は、例えば、色合いと表面の凹凸状況との重み付けを変えて類似度を算出してもよい。
【００３５】
このように、画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。柳井啓司著の「一般物体認識の現状と今後」では、一般物体認識の研究のサーベイを手法に加えて、データセット、評価ベンチマークを行い、更にその今後について展望している。
柳井啓司，「一般物体認識の現状と今後」，[online]、情報処理学会論文誌，２００７年１１月１５日，Vol.48，No.SIG16、1-24頁，[平成２６年９月８日検索]，インターネット
【００３６】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術は、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”， Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on，[平成２６年９月８日検索]，インターネット
【００３７】
なお、撮像された商品の画像と、特徴量ファイル３６１に記録された取扱商品の商品画像との類似度の算出方法は特に問わないものとする。例えば、撮像された商品の画像と、特徴量ファイル３６１に記録された各取扱商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。
【００３８】
類似度を絶対評価として算出する場合、撮像された商品の画像と、特徴量ファイル３６１に記録された各取扱商品とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合には、各取扱商品との類似度の総和が１．０（１００％）となるよう算出する。例えば、特徴量ファイル３６１に４つの商品＃１〜＃４が記録されていたとする。このとき撮像された商品は、例えば、商品＃１に対して類似度が０．６５、商品＃２に対しては類似度が０．２、商品＃３に対しては類似度が０．１、商品＃４に対しては類似度が０．０５などのように算出する。
【００３９】
類似度判断部９４は、画像取得部９０が取り込んだフレーム画像ごとに、商品の画像と、特徴量ファイル３６１に記録されている商品画像との類似度を比較する。本実施形態では、取扱商品の商品画像と、商品の撮影画像との類似度は、複数の条件が設けられている。類似度判断部９４は、これら満たされる条件に応じて取扱商品の確定あるいは商品の候補を選定する。類似度に関する条件は特に限定されるものではないが、以下では条件Ｘ，Ｙ，Ｚを用いる場合について説明する。
【００４０】
ここで、条件Ｘおよび条件Ｙは、フレーム画像上の物体を、特徴量ファイル３６１に記録された取扱商品のうちの一つとして確定するための条件である。また、条件Ｚは、フレーム画像上の物体から、特徴量ファイル３６１に記録された取扱商品の候補を抽出するための条件である。
【００４１】
類似度判断部９４は、例えば、条件Ｘまたは／および条件Ｙを満たす取扱商品を、フレーム画像上の物体に一対一で対応する商品であると判定する。また、類似度判断部９４は、条件Ｚを満たす取扱商品については、確定商品ではなく、カメラ２７が撮像した商品の候補であると判定する。そして、類似度判断部９４は、特徴量ファイル３６１に記録された複数の取扱商品から条件Ｚを満たす取扱商品を抽出することにより、撮影した商品に対する取扱商品の候補を抽出する。
【００４２】
条件Ｘ〜Ｚは類似度に応じて段階的に設定されればその詳細は特に限定されるものではないが、一例として、予め設定された複数の閾値によって条件Ｘ〜Ｚを設けることができる。ここでは、閾値Ｔｘ〜Ｔｚによって条件Ｘ〜Ｚを設定する場合について説明する。なお、閾値Ｔｘ〜Ｔｚの順に小さくなるものとする。
【００４３】
類似度判断部９４は、取扱商品との類似度が予め定められた閾値Ｔｘ以上となった回数をカウントし、この回数が所定回数以上となった場合に条件Ｘが満たされたと判定する。
【００４４】
また、類似度判断部９４は、取扱商品との類似度が閾値Ｔｘ未満、かつ、閾値Ｔｙ以上となった場合に、条件Ｙが満たされたと判定する。そして、条件Ｙを満たした取扱商品は、確定商品ではあるがオペレータによる確認操作を要すると判定する。
更に、類似度判断部９４は、取扱商品との類似度が閾値Ｔｙ未満、かつ、閾値Ｔｚ以上である場合に、条件Ｚが満たされたと判定する。
【００４５】
なお、各条件Ｘ〜Ｚは、類似度の大きさなどに応じて適宜設定可能であり、前記した例に限定されるものではない。
【００４６】
確定通知部９５は、カメラ２７によって撮像された商品が、条件Ｘまたは／および条件Ｙを満たした取扱商品であるとして一意的に確定されたことを、画像出力や音声出力などによってオペレータや客に報知する。
【００４７】
より詳細には、確定通知部９５は、条件Ｘを満たした取扱商品が、カメラ２７によって撮像された商品（確定商品）として一意的に確定されたことを示す確定画面をディスプレイ２２１に表示させ、確定商品に関する情報をスピーカ２８に出力する。スピーカ２８は、入力された情報を出力することにより、確定商品を示す情報をオペレータや客に報知する。
【００４８】
また、確定通知部９５は、条件Ｙを満たした取扱商品（確定商品）が、カメラ２７によって撮像された商品であるか否かの最終確認操作を受け付ける確認画面をディスプレイ２２１に表示する。
【００４９】
なお、確定通知部９５は、確認画面が表示されるタイミングに合わせて、確定商品に関する情報をスピーカ２８に音声を出力する。
【００５０】
候補商品提示部９６は、条件Ｚを満たした取扱商品に関する情報を、商品候補としてディスプレイ２２１に表示させる。より詳細には、候補商品提示部９６は、条件Ｚを満たした取扱商品の写真画像および商品名を特徴量ファイル３６１から読み出し、類似度演算部９３が算出した類似度の高いものから、ディスプレイ２２１に順次出力する。ディスプレイ２２１には、商品候補の写真画像および商品名が類似度の高いものから順に表示される。
【００５１】
なお、ディスプレイ２２１に商品候補の写真画像が表示されていても、これら商品候補に対する選択操作を受け付けない場合には、画像取得部９０による画像の取得処理と、物体検出部９１による物体の検出処理と、および類似度演算部９３による類似度の演算処理とは継続される。
【００５２】
入力取得部９７は、タッチパネル２２２またはキーボード２３を介してディスプレイ２２１の表示に対応する各種入力操作を受け付ける。例えば入力取得部９７は、表示された写真画像に係る商品が確定商品であることを最終確認した旨の入力操作（確認操作）を受け付ける。確定通知部９５は、入力取得部９７が確認操作を受け付けた場合に確定画面をディスプレイ２２１に表示する。
【００５３】
入力取得部９７は、ディスプレイ２２１に表示された商品候補の写真画像の中からいずれか１つの写真画像に対する選択操作を受け付ける。入力取得部９７は、選択された写真画像の取扱商品を、商品に対する確定商品であるとして受け付ける。なお、物体検出部９１が複数の商品を検出可能である場合には、入力取得部９７は商品候補の中から、複数の商品候補の選択操作を受け付けてもよい。確定通知部９５は、入力取得部９７が選択操作を受け付けた場合に、受け付けた商品候補を確定商品として表示させた確定画面をディスプレイ２２１に表示させる。
【００５４】
情報出力部９８は、上述のようにして確定された確定商品について、その商品を示す情報（例えば、商品ＩＤや商品名や値引き情報など）を、インタフェース２５を介してＰＯＳ端末３に出力する。
【００５５】
なお、情報出力部９８は、タッチパネル２２２またはキーボード２３を介して別途入力された販売個数を、商品ＩＤなどと共にＰＯＳ端末３に出力してもよい。また、情報出力部９８がＰＯＳ端末３に出力する情報としては、情報出力部９８が特徴量ファイル３６１から読み出した商品ＩＤを直接通知してもよいし、商品ＩＤを特定することが可能な商品名、または、商品画像、写真画像のファイル名をＰＯＳ端末３に通知してもよい。
【００５６】
ＰＯＳ端末３の売上登録部９９１は、情報出力部９８から出力された商品ＩＤと販売個数とに基づいて、対応する商品の売上登録を行う。具体的にいうと、売上登録部９９１は、特徴量ファイル３６１を参照して、通知された商品ＩＤおよび、これに対応する商品分類、商品名、単価、販売個数を売上マスタファイルなどに記録して売上登録（仮登録）を行う。
ＰＯＳ端末３の売上取消部９９２は、情報出力部９８から出力された商品ＩＤと販売個数とに基づいて、対応する商品の売上登録の取消を行う。具体的にいうと、売上取消部９９２は、特徴量ファイル３６１を参照して、通知された商品ＩＤおよび、これに対応する商品分類、商品名、単価、販売個数を売上マスタファイルから検索して削除する。これにより、売上取消部９９２は、１取引内における売上登録（仮登録）を取り消すことができ、取引後（精算後）における返品を処理することもできる。
【００５７】
図４は、第１の実施形態における商品識別装置２の正面図である。
商品識別装置２は、カウンタ台５に設置されている。商品識別装置２は、薄型の矩形状のハウジング５１と、このハウジング５１の上部に取り付けられた表示・操作部２２と、表示・操作部２２の左奥側に裏向きに設置された顧客用ディスプレイ２４とを含んで構成される。
このハウジング５１の正面には、読取窓５２が設けられる。
読取窓５２には、照明２７１とカメラ２７（撮像手段）とが配置される。認識領域８Ｍは、カメラ２７が物体を撮影し、この物体を検知して商品を特定する領域である。
読取窓５２の左側には、左光電センサ２６Ｌ（第１検知手段）が配置されている。読取窓５２の右側には、右光電センサ２６Ｒ（第２検知手段）が配置されている。領域８Ｌ（第１領域）は、認識領域８Ｍの一方の側であり、左光電センサ２６Ｌが物体を検知する領域である。領域８Ｒ（第２領域）は、認識領域８Ｍの他方の側であり、右光電センサ２６Ｒが物体を検知する領域である。
左光電センサ２６Ｌ（第１検知手段）は、商品の認識領域８Ｍの一方の側である領域８Ｌにおける物体の有無を検知する。左光電センサ２６Ｌは、所定の奥行きの範囲で物体の有無を検知する。
右光電センサ２６Ｒ（第２検知手段）は、この認識領域８Ｍの他方の側である領域８Ｒにおける物体の有無を検知する。右光電センサ２６Ｒは、所定の奥行きの範囲で物体の有無を検知する。なお、左光電センサ２６Ｌが第２検知手段であり、右光電センサ２６Ｒが第１検知手段であってもよい。
オペレータが第１の買物カゴ４Ｌの商品を読取窓５２にかざすとき、オペレータは、直感的で自然な操作で商品を左光電センサ２６Ｌに検知させることができる。オペレータが商品識別装置２が認識した商品を第２の買物カゴ４Ｒに移動するとき、オペレータは、直感的で自然な操作で商品を右光電センサ２６Ｒに検知させることができる。
この商品識別装置２は、左光電センサ２６Ｌと、右光電センサ２６Ｒと、カメラ２７とによる物体の検知結果の時系列に応じて、ＰＯＳ端末３に商品登録処理と商品登録の取消処理のいずれかを行わせる。
【００５８】
図５（ａ），（ｂ）は、第１の実施形態における商品登録操作と商品登録の取消操作を示す説明図である。
図５（ａ）は、商品登録操作の説明図である。
商品登録操作にあたり、オペレータは、第１の買物カゴ４Ｌの商品を取り出して、読取窓５２のカメラ２７にかざしたのち、第２の買物カゴ４Ｒに入れる。この操作は、従来の商品登録装置と同様であり、直感的で自然な操作である。
このとき、商品識別装置２は、左光電センサ２６Ｌが物体を検知したのちカメラ２７の撮影画像から物体を検知して商品を特定する。このとき商品識別装置２は、商品を特定する直前に左光電センサ２６Ｌが物体を検知しているので、この商品の仮登録を行う。
このように、商品識別装置２は、右光電センサ２６Ｒの検知結果と、カメラ２７の撮影画像による物体の検知結果と、左光電センサ２６Ｌの検知結果との時系列により、商品登録操作を特定することができる。
【００５９】
図５（ｂ）は、商品登録の取消操作の説明図である。
商品登録の取消操作にあたり、オペレータは、第２の買物カゴ４Ｒの商品を取り出して、読取窓５２のカメラ２７にかざしたのち、第１の買物カゴ４Ｌに戻す。この操作は、商品登録操作の逆順であり、直感的で自然な操作である。
このとき、商品識別装置２は、右光電センサ２６Ｒが物体を検知したのちカメラ２７の撮影画像から物体を検知して商品を特定する。このとき商品識別装置２は、商品を特定する直前に右光電センサ２６Ｒが物体を検知しているので、この商品登録の取消を行う。
このように、商品識別装置２は、右光電センサ２６Ｒの検知結果と、カメラ２７の撮影画像による物体の検知結果と、左光電センサ２６Ｌの検知結果との時系列により、商品登録の取消操作を特定することができる。
なお、商品識別装置２は、カメラ２７による商品特定と、光電センサによる物体の移動方向の判別で、商品登録操作と商品登録の訂正操作とを区別して特定し、商品登録処理と商品登録の取消処理とを切り替えてもよい。
【００６０】
図６は、第１の実施形態における商品登録処理を示すフローチャートである。
第１の実施形態の商品登録処理は、例えば、オペレータ（店員）が、第１の買物カゴ４Ｌ（図１参照）の商品を取り出して、読取窓５２のカメラ２７にかざしたのち、第２の買物カゴ４Ｒに入れるまでの一連の処理である。
ステップＳ１０において、商品識別装置２のＣＰＵ２１１は、左光電センサ２６Ｌがオンしたか否かを判断する。ＣＰＵ２１１は、左光電センサ２６Ｌがオンしたと判断しなかったならば（Ｎｏ）、ステップＳ１０の処理に戻り、左光電センサ２６Ｌがオンしたと判断したならば（Ｙｅｓ）、ステップＳ１１の処理に進む。具体的にいうと、左光電センサ２６Ｌのオンは、認識領域８Ｍの一方の側である領域８Ｌにおける物体の検知であり、オペレータが第１の買物カゴ４Ｌから商品を取って、読取窓５２のカメラ２７にかざそうとしていることを意味する。
【００６１】
ステップＳ１１において、画像取得部９０は、カメラ２７に撮像オン信号を出力してカメラ２７による商品画像のキャプチャ（撮像）を開始する。画像取得部９０は、カメラ２７が撮像してＲＡＭ２１３に保存したフレーム画像（撮像画像）を取り込む。
ステップＳ１２において、物体検出部９１は、画像取得部９０が取り込んだフレーム画像に対してオブジェクト認識処理を行い、商品である物体の全部または一部の認識（検出）を試みる。
ステップＳ１３において、物体検出部９１は、商品である物体の全部または一部の認識に成功したか否かを判断する。物体検出部９１は、商品である物体の認識に成功したならば（Ｙｅｓ）、ステップＳ１４の処理に進み、商品である物体の認識に成功しなかったならば（Ｎｏ）、ステップＳ１１の処理に戻る。ステップＳ１１〜Ｓ１３を具体的にいうと、オペレータが商品を読取窓５２のカメラ２７にかざし、商品識別装置２が、この商品である物体の検出に成功する一連の処理である。
【００６２】
ステップＳ１４において、類似度演算部９３は、商品の全部または一部の画像から商品の特徴量を読み取る。更に類似度判断部９４が、類似度が所定閾値以上となる取扱商品が特徴量ファイル３６１にあるか否かを判定し、この商品の商品名と商品単価とを検索して呼び出す。これにより、商品識別装置２は、この商品を確定することができる。
ステップＳ１５において、情報出力部９８は、確定した取扱商品の商品ＩＤなどをＰＯＳ端末３に出力して仮登録させる。ＰＯＳ端末３の売上登録部９９１は、この商品ＩＤに基づき、商品を仮登録する。このとき確定通知部９５は、確定商品の写真画像を含む確定画面をディスプレイ２２１に表示させるとともに、確定商品の商品名を音声で通知する。ステップＳ１５の処理が終了すると、図６の処理が終了する。
【００６３】
この商品登録処理により、オペレータは、キーボード操作をすることなしに商品登録できる。また商品識別装置２は、各領域での物体の有無の検知結果で判断しているので、画像によるオブジェクト認識と比べて誤検出が少なく、安定して操作可能である。
【００６４】
図７は、第１の実施形態における商品登録の取消処理を示すフローチャートである。
第１の実施形態の商品登録の取消処理は、例えば、オペレータ（店員）が、第２の買物カゴ４Ｒ（図１参照）に移動した仮登録済みの商品を取り出して、読取窓５２のカメラ２７にかざしたのち、第１の買物カゴ４Ｌに戻すまでの一連の処理である。またはオペレータが、精算済みの商品を読取窓５２のカメラ２７にかざして返品を行う処理である。
ステップＳ２０において、商品識別装置２のＣＰＵ２１１は、右光電センサ２６Ｒがオンしたか否かを判断する。ＣＰＵ２１１は、右光電センサ２６Ｒがオンしたと判断しなかったならば（Ｎｏ）、ステップＳ２０の処理に戻り、右光電センサ２６Ｒがオンしたと判断したならば（Ｙｅｓ）、ステップＳ２１の処理に進む。具体的にいうと、右光電センサ２６Ｒのオンは、認識領域８Ｍ（図４参照）の他方の側である領域８Ｒにおける物体の検知であり、オペレータが、第２の買物カゴ４Ｒから商品を取り出して、読取窓５２のカメラ２７にかざそうとしていることを意味する。
【００６５】
ステップＳ２１において、画像取得部９０は、カメラ２７に撮像オン信号を出力してカメラ２７による商品画像のキャプチャ（撮像）を開始する。画像取得部９０は、カメラ２７が撮像してＲＡＭ２１３に保存したフレーム画像（撮像画像）を取り込む。
ステップＳ２２において、物体検出部９１は、画像取得部９０が取り込んだフレーム画像に対してオブジェクト認識処理を行い、商品である物体の全部または一部の認識（検出）を試みる。
ステップＳ２３において、物体検出部９１は、商品である物体の全部または一部の認識に成功したか否かを判断する。物体検出部９１は、商品である物体の認識に成功したならば（Ｙｅｓ）、ステップＳ２４の処理に進み、商品である物体の認識に成功しなかったならば（Ｎｏ）、ステップＳ２１の処理に戻る。ステップＳ２１〜Ｓ２３を具体的にいうと、オペレータが商品を読取窓５２のカメラ２７にかざし、商品識別装置２が、この商品である物体の検出に成功するまでの一連の処理である。
【００６６】
ステップＳ２４において、類似度演算部９３は、商品の全部または一部の画像から商品の特徴量を読み取る。更に類似度判断部９４が、類似度が所定閾値以上となる取扱商品が特徴量ファイル３６１にあるか否かを判定し、この商品の商品名と商品単価とを検索して呼び出す。これにより、商品識別装置２は、この商品を確定することができる。
ステップＳ２５において、確定通知部９５は、確定した商品が現取引で仮登録中の商品と一致するか否かを判断する。確定通知部９５は、確定した商品が現取引で仮登録中の商品と一致すると判断したならば（Ｙｅｓ）、ステップＳ２６の処理に進み、一致すると判断しなかったならば（Ｎｏ）、ステップＳ２７の処理に進む。
ステップＳ２６において、情報出力部９８は、確定した取扱商品の商品ＩＤなどをＰＯＳ端末３に出力して、商品の仮登録を訂正させる。ＰＯＳ端末３の売上取消部９９２は、この商品ＩＤに基づき、商品の仮登録を訂正（キャンセル）する。このとき確定通知部９５は、確定商品の写真画像を含む画面をディスプレイ２２１に表示させるとともに、確定商品の商品名と、これをキャンセルする旨を音声で通知する。ステップＳ２６の処理が終了すると、図７の処理が終了する。
ステップＳ２７において、情報出力部９８は、確定した取扱商品の商品ＩＤなどをＰＯＳ端末３に出力して、商品の返品処理を行わせる。ＰＯＳ端末３の売上取消部９９２は、この商品ＩＤに基づき、商品の返品処理を行う。このとき確定通知部９５は、確定商品の写真画像を含む画面をディスプレイ２２１に表示させるとともに、確定商品の商品名と、これを返品する旨を音声で通知する。ステップＳ２７の処理が終了すると、図７の処理が終了する。
【００６７】
この商品登録の取消処理により、オペレータは、キーボード操作をすること無しに商品登録を取り消すことができる。また、商品識別装置２は、各領域での物体の有無の検知結果で判断しているので、画像によるオブジェクト認識と比べて誤検出が少なく、安定して操作可能である。
【００６８】
図８は、第１の実施形態の第１変形例の商品登録処理を示すフローチャートである。
第１の実施形態の第１変形例の商品登録処理は、例えば、オペレータが、第１の買物カゴ４Ｌ（図１参照）の商品を読取窓５２のカメラ２７にかざしたのち、第２の買物カゴ４Ｒに移動する一連の処理である。このとき、商品に赤値札が付与されていたならば、自動で値引き処理を実行する。
ステップＳ３０において、商品識別装置２のＣＰＵ２１１は、左光電センサ２６Ｌが商品に貼られた赤値札を検出したか否かを判断する。ＣＰＵ２１１は、左光電センサ２６Ｌが赤色を検知したとき、赤値札を検出したと判断する。ＣＰＵ２１１は、左光電センサ２６Ｌが赤値札を検出したならば（Ｙｅｓ）、ステップＳ３１の処理に進み、左光電センサ２６Ｌが赤値札を検出しなかったならば（Ｎｏ）、ステップＳ３２の処理に進む。
ステップＳ３１において、商品識別装置２のＣＰＵ２１１は、値引きフラグをオンする。このとき、商品には赤値札が貼られており、値引き対象となっている。
【００６９】
ステップＳ３２において、商品識別装置２のＣＰＵ２１１は、左光電センサ２６Ｌがオンしたか否かを判断する。ＣＰＵ２１１は、左光電センサ２６Ｌがオンしたと判断しなかったならば（Ｎｏ）、ステップＳ３０の処理に戻り、左光電センサ２６Ｌがオンしたと判断したならば（Ｙｅｓ）、ステップＳ３３の処理に進む。具体的にいうと、左光電センサ２６Ｌのオンは、認識領域８Ｍの一方の側である領域８Ｌにおける物体の検知であり、オペレータが第１の買物カゴ４Ｌから商品を取り出して、読取窓５２のカメラ２７にかざそうとしていることを意味する。
【００７０】
ステップＳ３３〜Ｓ３６の処理は、図６に示したステップＳ１１〜Ｓ１４の処理と同様である。
ステップＳ３７において、商品識別装置２のＣＰＵ２１１は、値引きフラグがオンであるか否かを判断する。ＣＰＵ２１１は、値引きフラグがオンでないならば（Ｎｏ）、ステップＳ３８の処理に進み、値引きフラグがオンであるならば（Ｙｅｓ）、ステップＳ３９の処理に進む。
ステップＳ３８において、情報出力部９８は、確定した取扱商品の商品ＩＤなどをＰＯＳ端末３に出力して仮登録させる。ＰＯＳ端末３の売上登録部９９１は、この商品ＩＤに基づき、商品を仮登録する。このとき確定通知部９５は、確定商品の写真画像を含む確定画面をディスプレイ２２１に表示させるとともに、確定商品の商品名を音声で通知する。このステップＳ３８の処理が終了すると、図８の処理が終了する。
【００７１】
ステップＳ３９において、情報出力部９８は、確定した取扱商品の商品ＩＤなどと値引き情報とをＰＯＳ端末３に出力して仮登録させる。ＰＯＳ端末３の売上登録部９９１は、この商品ＩＤにもとづき、商品７を値引きして仮登録する。このとき確定通知部９５は、確定商品の写真画像を含む確定画面をディスプレイ２２１に表示させるとともに、確定商品の商品名と、値引きした旨とを音声で通知する。このステップＳ３９の処理が終了すると、図８の処理が終了する。
【００７２】
このように、左光電センサ２６Ｌは、物体の有無と共に色を検知できる。商品識別装置２は、商品に貼り付けた値引きシールなどを特徴的な色として、この色を検知することで、商品登録処理に伴う値引き処理などを、キーボード操作なしに実行することができる。
【００７３】
図９は、第１の実施形態の第２変形例の商品登録方向決定処理を示すフローチャートである。
顧客は、図１の右側から左側に移動しつつ、商品の登録処理を受けることが考えられる。つまり、未精算の買物カゴ４を右側に配置し、仮登録された商品または売上登録済の商品に係る買物カゴ４を左側に配置する場合である。これを実現するには、例えば、各取引における最初の商品が、左光電センサ２６Ｌと右光電センサ２６Ｒのうちいずれで検出されたかを判断すればよい。
【００７４】
ステップＳ５０において、商品識別装置２のＣＰＵ２１１は、右光電センサ２６Ｒがオンしたか否かを判断する。ＣＰＵ２１１は、右光電センサ２６Ｒがオンしたと判断しなかったならば（Ｎｏ）、ステップＳ５６の処理に進み、右光電センサ２６Ｒがオンしたと判断したならば（Ｙｅｓ）、ステップＳ５１の処理に進む。
ステップＳ５１において、ＣＰＵ２１１は、この取引の最初の商品であるか否かを判断する。ＣＰＵ２１１は、この取引の最初の商品であると判断したならば（Ｙｅｓ）、ステップＳ５２の処理に進み、この取引の最初の商品であると判断なかったならば（Ｎｏ）、ステップＳ５４の処理に進む。
ステップＳ５２において、ＣＰＵ２１１は、右から左を商品の登録方向と定義する。以降、この取引において、最初に右光電センサ２６Ｒがオンしたのちに、フレーム画像でオブジェクト認識された商品は、商品登録処理が行われる。
ステップＳ５３において、ＣＰＵ２１１は、この商品に係る商品登録処理を行う。商品登録処理とは、例えば図６のステップＳ１１以降で示したような処理であり、現取引において、この商品を仮登録する処理である。ＣＰＵ２１１は、ステップＳ５３の商品登録処理が終了すると、図９の処理を終了する。
【００７５】
ステップＳ５４において、ＣＰＵ２１１は、商品の登録方向が右から左と定義されているか否かを判断する。ＣＰＵ２１１は、商品の登録方向が右から左と定義されていたならば（Ｙｅｓ）、ステップＳ５３の処理に進み、商品の登録方向が右から左と定義されていなかったならば（Ｎｏ）、ステップＳ５５の処理に進む。
ステップＳ５５において、ＣＰＵ２１１は、この商品に係る取消処理を行う。取消処理とは、例えば図７のステップＳ２１以降で示したような処理であり、例えば、現取引において、この商品が仮登録中の商品と一致するならば、その仮登録をキャンセルする処理である。ＣＰＵ２１１は、ステップＳ５５の取消処理が終了すると、図９の処理を終了する。
ステップＳ５６において、商品識別装置２のＣＰＵ２１１は、左光電センサ２６Ｌがオンしたか否かを判断する。ＣＰＵ２１１は、左光電センサ２６Ｌがオンしたと判断しなかったならば（Ｎｏ）、ステップＳ５０の処理に戻り、右光電センサ２６Ｒがオンしたと判断したならば（Ｙｅｓ）、ステップＳ５７の処理に進む。
【００７６】
ステップＳ５７において、ＣＰＵ２１１は、この取引の最初の商品であるか否かを判断する。ＣＰＵ２１１は、この取引の最初の商品であると判断したならば（Ｙｅｓ）、ステップＳ５８の処理に進み、この取引の最初の商品であると判断なかったならば（Ｎｏ）、ステップＳ６０の処理に進む。
ステップＳ５８において、ＣＰＵ２１１は、左から右を商品の登録方向と定義する。以降、この取引において、最初に左光電センサ２６Ｌがオンしたのちに、フレーム画像でオブジェクト認識された商品は、商品登録処理が行われる。
ステップＳ５９において、ＣＰＵ２１１は、この商品に係る商品登録処理を行う。商品登録処理とは、例えば図６のステップＳ１１以降で示したような処理であり、現取引において、この商品を仮登録する処理である。このときの商品の移動方向は、ステップＳ５３における商品の移動方向とは逆となる。
ＣＰＵ２１１は、ステップＳ５９の商品登録処理が終了すると、図９の処理を終了する。
ステップＳ６０において、ＣＰＵ２１１は、商品の登録方向が左から右と定義されているか否かを判断する。ＣＰＵ２１１は、商品の登録方向が左から右と定義されていたならば（Ｙｅｓ）、ステップＳ５９の処理に進み、商品の登録方向が左から右と定義されていなかったならば（Ｎｏ）、ステップＳ６１の処理に進む。
【００７７】
ステップＳ６１において、ＣＰＵ２１１は、この商品に係る取消処理を行う。取消処理とは、例えば図７のステップＳ２１以降で示したような処理であり、例えば、現取引において、この商品が仮登録中の商品と一致するならば、その仮登録をキャンセルする処理である。このときの商品の移動方向は、ステップＳ５５における商品の移動方向とは逆となる。ＣＰＵ２１１は、ステップＳ６１の取消処理が終了すると、図９の処理を終了する。
このように処理することで、商品識別装置２は、各取引における最初の商品の移動方向で商品登録処理を行い、その反対方向で商品登録の取消処理を行うように動作可能である。これにより、商品識別装置２の向きに制約されず、店舗をレイアウトすることができる。
なお、ステップＳ５１，Ｓ５７では、各取引における最初の商品を検知したセンサにより、商品登録方向を定義しているが、商品登録装置１の電源オン後の最初の商品の移動方向や、この商品登録装置１の使用開始時の最初の商品の移動方向であってもよく、限定されない。
【００７８】
（第２の実施形態）
図１０は、第２の実施形態における商品識別装置２Ａの正面図である。図４に示した第１の実施形態の商品識別装置２と同一の要素には同一の符号を付与している。
第２の実施形態の商品識別装置２Ａは、第１の実施形態の商品識別装置２とは異なり、右光電センサ２６Ｒ（第２検知手段）が配置されていない。それ以外は、第１の実施形態の商品識別装置２と同様に構成されている。
【００７９】
第２の実施形態の商品登録処理は、第１の実施形態と同様である。しかし、第２の実施形態の商品登録の取消処理は、例えば、オペレータ（店員）が、第２の買物カゴ４Ｒ（図１参照）に移動した登録済みの商品を取り出して、読取窓５２のカメラ２７にかざしたのち、左光電センサ２６Ｌに検知させてキャンセルし、第１の買物カゴ４Ｌに戻すまでの一連の処理である。
図１１は、第２の実施形態における商品登録の取消処理を示すフローチャートである。
ステップＳ４０〜Ｓ４２の処理は、第１実施形態のステップＳ２１〜Ｓ２３（図７参照）の処理と同様に、商品を撮影してオブジェクト認識する処理である。
ステップＳ４３において、商品識別装置２のＣＰＵ２１１は、左光電センサ２６Ｌがオンしたか否かを判断する。ＣＰＵ２１１は、左光電センサ２６Ｌがオンしたと判断しなかったならば（Ｎｏ）、ステップＳ４３の処理に戻り、左光電センサ２６Ｌがオンしたと判断したならば（Ｙｅｓ）、ステップＳ４４の処理に進む。具体的にいうと、左光電センサ２６Ｌのオンは、認識領域８Ｍ（図４参照）に隣接する領域８Ｌにおける物体の検知であり、オペレータが、第２の買物カゴ４Ｒから商品を取り出して、読取窓５２のカメラ２７にかざしたのち、第１の買物カゴ４Ｌに戻そうとしていることを意味する。
ステップＳ４４において、類似度演算部９３は、商品の全部または一部の画像から商品の特徴量を読み取る。更に類似度判断部９４が、類似度が所定閾値以上となる取扱商品が特徴量ファイル３６１にあるか否かを判定し、この商品の商品名と商品単価とを検索して呼び出す。これにより、商品識別装置２は、この商品を確定することができる。
ステップＳ４５において、確定通知部９５は、確定した商品が現取引で仮登録中の商品と一致するか否かを判断する。確定通知部９５は、確定した商品が現取引で仮登録中の商品と一致すると判断したならば（Ｙｅｓ）、ステップＳ４６の処理に進み、一致すると判断しなかったならば（Ｎｏ）、ステップＳ４７の処理に進む。
ステップＳ４６において、情報出力部９８は、確定した取扱商品の商品ＩＤなどをＰＯＳ端末３に出力して、商品の仮登録を訂正させる。ＰＯＳ端末３の売上取消部９９２は、この商品ＩＤに基づき、商品の仮登録を訂正（キャンセル）する。このとき確定通知部９５は、確定商品の写真画像を含む画面をディスプレイ２２１に表示させるとともに、確定商品の商品名と、これをキャンセルする旨を音声で通知する。ステップＳ４６の処理が終了すると、図１１の処理が終了する。
ステップＳ４７において、情報出力部９８は、確定した取扱商品の商品ＩＤなどをＰＯＳ端末３に出力して、商品の返品処理を行う。ＰＯＳ端末３の売上取消部９９２は、この商品ＩＤに基づき、商品を返品処理（キャンセル）する。このとき確定通知部９５は、確定商品の写真画像を含む画面をディスプレイ２２１に表示させるとともに、確定商品の商品名と、これを返品処理する旨を音声で通知する。ステップＳ４７の処理が終了すると、図１１の処理が終了する。ここで商品の返品処理とは、仮登録された商品が本登録されて精算されたのちに、この商品に係る取引を取り消す処理のことをいう。
このように、２つの光電センサを設置することなく、片側に１つの光電センサを設置することによっても、オペレータは、キーボード操作をすること無しに商品を登録でき、この商品登録を取り消すことができる。
【００８０】
（第３の実施形態）
図１２は、第３の実施形態における商品登録装置１Ｂの概略を示す構成図である。図２に示した第１の実施形態の商品登録装置１と同一の要素には、同一の符号を付与している。
第３の実施形態の商品登録装置１Ｂは、第１の実施形態とは異なる商品識別装置２Ｂを備えている。この商品識別装置２Ｂは、第１の実施形態の商品識別装置２（図２参照）とは異なり、右光電センサ２６Ｒと左光電センサ２６Ｌとを備えていない。それ以外は、第１の実施形態の商品識別装置２と同様に構成されている。
第３の実施形態の商品識別装置２Ｂは、読取窓５２の左右の領域で物体を検知し、読取窓５２の中央の認識領域で、この物体を認識して商品を特定する。これにより、右光電センサ２６Ｒと左光電センサ２６Ｌとが不要となる。すなわち、第３の実施形態におけるカメラ２７は、商品の認識領域と、この認識領域の一方の側である第１領域と、この認識領域の他方の側である第２領域を含んだ画像を撮像する撮像手段である。
ＣＰＵ２１１は、カメラ２７が撮像した画像のうち、左右の領域から物体の有無を検知し、中央の認識領域の画像によって物体を検知して商品を特定する。ＣＰＵ２１１は更に、これら検知結果の時系列に応じて、ＰＯＳ端末３に商品登録処理と商品登録の取消処理のいずれかを行わせる。
なお、第３の実施形態の商品識別装置２Ｂは、左側領域で物体を検知し、読取窓５２の中央の認識領域で、この物体を認識して商品を特定したとき、この商品を仮登録する。その反対に、右側領域で物体を検知し、読取窓５２の中央の認識領域で、この物体を認識して商品を特定したとき、この商品の仮登録を訂正（キャンセル）する。
【００８１】
図１３（ａ），（ｂ）は、第３の実施形態における商品登録操作とその訂正操作を示す説明図である。
図１３（ａ）は、商品登録操作の説明図である。
図１３に示すように、読取窓５２の前方は、左側の領域８Ｌ（第１領域）と、中央の認識領域８Ｍと、右側の領域８Ｒ（第２領域）とに区分される。商品識別装置２Ｂは、領域８Ｌ，８Ｒの物体を検知可能である。
商品登録操作にあたり、オペレータは、第１の買物カゴ４Ｌの商品を読取窓５２のカメラ２７にかざしたのち、第２の買物カゴ４Ｒに移動する。この操作は、従来の商品登録装置と同様であり、直感的で自然な操作である。
このとき、商品識別装置２Ｂは、カメラ２７の撮影画像から物体を検知する。商品識別装置２Ｂは、左側の領域８Ｌで物体を検知したのち、認識領域８Ｍで物体を検知して商品を特定し、その後は右側の領域８Ｒで物体を検知する。
このように、領域８Ｌ，８Ｒにおける物体の検知結果と、認識領域８Ｍにおける物体の検知結果との時系列により、商品登録操作を特定することができる。
【００８２】
図１３（ｂ）は、商品の仮登録直後の訂正操作の説明図である。
商品の仮登録操作にあたり、オペレータは、第１の買物カゴ４Ｌの商品を読取窓５２のカメラ２７にかざして商品を特定する。その直後にオペレータは、この商品を第１の買物カゴ４Ｌに戻して仮登録をキャンセルする。この操作は、直感的で自然な操作である。
このとき、商品識別装置２Ｂは、カメラ２７の撮影画像から物体を検知する。商品識別装置２Ｂは、左側の領域８Ｌで物体を検知したのち、認識領域８Ｍで物体を検知して商品を特定し、再び左側の領域８Ｌで物体を検知する。
このように、領域８Ｌ，８Ｒにおける物体の検知結果と、認識領域８Ｍにおける物体の検知結果との時系列により、商品の仮登録直後の訂正操作を特定することができる。
【００８３】
図１４は、第３の実施形態における商品登録訂正操作と再登録操作を示す説明図である。
図１４（ａ）は、商品登録訂正操作の説明図である。
ここでいう商品登録訂正操作とは、第２の買物カゴ４Ｒに入れた仮登録済みの商品を訂正（キャンセル）する操作である。登録の直後に訂正する図１３（ｂ）に示した操作とは異なる。
商品登録訂正操作にあたり、オペレータは、第２の買物カゴ４Ｒの商品を読取窓５２のカメラ２７にかざしたのち、第１の買物カゴ４Ｌに戻す。この操作は、商品の仮登録操作の逆順であり、直感的で自然な操作である。
このとき、商品識別装置２Ｂは、カメラ２７の撮影画像から物体を検知する。商品識別装置２Ｂは、右側の領域８Ｒで物体を検知したのち、認識領域８Ｍで物体を検知して商品を特定し、その後は左側の領域８Ｌで物体を検知する。
このように、領域８Ｌ，８Ｒにおける物体の検知結果と、認識領域８Ｍにおける物体の検知結果との時系列により、商品登録訂正操作を特定することができる。
【００８４】
図１４（ｂ）は、商品登録訂正操作直後の再登録操作の説明図である。
商品登録訂正操作にあたり、オペレータは、第２の買物カゴ４Ｒの商品を読取窓５２のカメラ２７にかざす。オペレータは、この訂正を取りやめて第２の買物カゴ４Ｒに戻して、この商品を再び仮登録する。この操作は、商品仮登録操作のキャンセルの逆順であり、直感的で自然な操作である。
このとき、商品識別装置２Ｂは、カメラ２７の撮影画像から物体を検知する。商品識別装置２Ｂは、右側の領域８Ｒで物体を検知したのち、認識領域８Ｍで物体を検知して商品を特定し、再び右側の領域８Ｒで物体を検知する。
このように、領域８Ｌ，８Ｒにおける物体の検知結果と、認識領域８Ｍにおける物体の検知結果との時系列により、商品登録訂正操作後の再登録操作を特定することができる。
【００８５】
図１５は、第３の実施形態における商品登録／訂正処理を示すフローチャート（その１）である。
ステップＳ７０において、画像取得部９０は、カメラ２７に撮像オン信号を出力してカメラ２７による商品画像のキャプチャ（撮像）を開始する。画像取得部９０は、カメラ２７が撮像してＲＡＭ２１３に保存したフレーム画像（撮像画像）を取り込む。
ステップＳ７１において、物体検出部９１は、画像取得部９０が取り込んだフレーム画像に対してオブジェクト認識処理を行い、商品である物体の全部または一部の認識（検出）を試みる。
【００８６】
ステップＳ７２において、物体検出部９１は、領域８Ｌ，８Ｒで商品である物体の全部または一部の認識に成功したか否かを判断する。物体検出部９１は、左側の領域８Ｌで物体の認識に成功したならば（左領域）、ステップＳ７３の処理に進み、右側の領域８Ｒで物体の認識に成功したならば（右領域）、ステップＳ７４の処理に進み、物体の認識に成功しなかったならば（非検知）、ステップＳ７０の処理に戻る。
ステップＳ７３において、ＣＰＵ２１１は、この物体を左側の領域８Ｌで最初に検知したことを記憶し、ステップＳ７５の処理に進む。このときオペレータは、第１の買物カゴ４Ｌの商品を取り出して、左側の領域８Ｌに移動させている。
ステップＳ７４において、ＣＰＵ２１１は、この物体を右側の領域８Ｒで最初に検知したことを記憶する。このときオペレータは、第２の買物カゴ４Ｒの商品を取り出して、右側の領域８Ｒに移動させている。
【００８７】
ステップＳ７５，Ｓ７６の処理は、ステップＳ７０，Ｓ７１の処理と同様である。
ステップＳ７７において、物体検出部９１は、認識領域８Ｍで商品である物体の全部または一部の認識に成功したか否かを判断する。物体検出部９１は、商品である物体の認識に成功したならば（Ｙｅｓ）、ステップＳ７８の処理に進み、物体の認識に成功しなかったならば（Ｎｏ）、ステップＳ７５の処理に戻る。
ステップＳ７８において、類似度演算部９３は、商品の全部または一部の画像から商品の特徴量を読み取る。更に類似度判断部９４が、類似度が所定閾値以上となる取扱商品が特徴量ファイル３６１にあるか否かを判定し、この商品の商品名と商品単価とを検索して呼び出す。これにより、商品識別装置２Ｂは、この商品を確定することができる。
ステップＳ７９において、ＣＰＵ２１１は、この物体を最初に検知した領域が、領域８Ｌ，８Ｒのうちいずれかを判断する。ＣＰＵ２１１は、この物体を最初に検知した領域が左側の領域８Ｌならば（左領域）、ステップＳ８０の処理に進み、この物体を最初に検知した領域が右側の領域８Ｒならば（右領域）、ステップＳ８１の処理に進む。
【００８８】
ステップＳ８０において、情報出力部９８は、確定した取扱商品の商品ＩＤなどをＰＯＳ端末３に出力して仮登録させる。ＰＯＳ端末３の売上登録部９９１は、この商品ＩＤにもとづき、商品を仮登録する。このときオペレータは、第１の買物カゴ４Ｌの商品を取り出して、左側の領域８Ｌを介して認識領域８Ｍに移動させ、カメラ２７にかざしている。
ステップＳ８０の処理の後、ノードＡを介して図１６（ａ）のステップＳ８３の処理に進む。
ステップＳ８１において、確定通知部９５は、確定した商品が現取引で仮登録中の商品と一致するか否かを判断する。確定通知部９５は、確定した商品が現取引で仮登録中の商品と一致すると判断したならば（Ｙｅｓ）、ステップＳ８２の処理に進み、一致すると判断しなかったならば（Ｎｏ）、図１５の処理を終了する。
ステップＳ８２において、情報出力部９８は、確定した取扱商品の商品ＩＤなどをＰＯＳ端末３に出力して、仮登録を訂正させる。ＰＯＳ端末３の売上取消部９９２は、この商品ＩＤにもとづき、商品の仮登録を訂正（キャンセル）する。このときオペレータは、第２の買物カゴ４Ｒの商品を取り出して、右側の領域８Ｒを介して認識領域８Ｍに移動させ、カメラ２７にかざしている。
ステップＳ８２の処理の後、ノードＢを介して図１６（ｂ）のステップＳ８７の処理に進む。
【００８９】
図１６（ａ），（ｂ）は、第３の実施形態における商品登録／訂正処理を示すフローチャート（その２）である。
図１６（ａ）は、図１５のステップＳ８０の処理後の一連の処理を示している。
ステップＳ８３，Ｓ８４の処理は、ステップＳ７０，Ｓ７１（図１５参照）の処理と同様である。
ステップＳ８５において、物体検出部９１は、領域８Ｌ，８Ｒで商品である物体の全部または一部の認識に成功したか否かを判断する。物体検出部９１は、左側の領域８Ｌで物体の認識に成功したならば（左領域）、ステップＳ８６の処理に進み、右側の領域８Ｒで物体の認識に成功したならば（右領域）、図１６（ａ）の処理を終了し、物体の認識に成功しなかったならば（非検知）、ステップＳ８３の処理に戻る。
ステップＳ８６において、情報出力部９８は、ステップＳ７８（図１５参照）で確定した取扱商品の商品ＩＤなどをＰＯＳ端末３に出力して、仮登録を訂正させる。ＰＯＳ端末３の売上取消部９９２は、この商品ＩＤにもとづき、商品の仮登録を訂正（キャンセル）する。このときオペレータは、第１の買物カゴ４Ｌの商品を取り出して、左側の領域８Ｌを介して認識領域８Ｍに移動させてカメラ２７にかざしたのち、再び第１の買物カゴ４Ｌに戻している（図１３（ｂ）参照）。
ステップＳ８６の処理が終了すると、図１６（ａ）の処理を終了する。
【００９０】
図１６（ｂ）は、図１５のステップＳ８１の処理後の一連の処理を示している。
ステップＳ８７，Ｓ８８の処理は、ステップＳ７０，Ｓ７１（図１５参照）の処理と同様である。
ステップＳ８９において、物体検出部９１は、領域８Ｌ，８Ｒで商品である物体の全部または一部の認識に成功したか否かを判断する。物体検出部９１は、左側の領域８Ｌで物体の認識に成功したならば（左領域）、ステップＳ９０の処理に進み、右側の領域８Ｒで物体の認識に成功したならば（右領域）、図１６（ｂ）の処理を終了し、物体の認識に成功しなかったならば（非検知）、ステップＳ８７の処理に戻る。
ステップＳ９０において、情報出力部９８は、ステップＳ７８（図１５参照）で確定した取扱商品の商品ＩＤなどをＰＯＳ端末３に出力して仮登録させる。ＰＯＳ端末３の売上登録部９９１は、この商品ＩＤにもとづき、商品を仮登録する。このときオペレータは、第２の買物カゴ４Ｒの商品を取り出して、右側の領域８Ｒを介して認識領域８Ｍに移動させてカメラ２７にかざしたのち、再び第２の買物カゴ４Ｒに戻している（図１４（ｂ）参照）。
ステップＳ９０の処理が終了すると、図１６（ｂ）の処理を終了する。
【００９１】
図１７は、第３の実施形態の変形例の商品登録／取消処理を示すフローチャートである。
この変形例は、オペレータが、認識領域８Ｍで商品を特定したのち、この商品を左右いずれの買物カゴ４に入れるかにより、商品登録処理と商品登録の取消処理のいずれかを実行するものである。この変形例では、商品を左右いずれの側から認識領域８Ｍに移動させるかを問わない。
ステップＳ１００，Ｓ１０１の処理は、ステップＳ７０，Ｓ７１（図１５参照）の処理と同様である。
ステップＳ１０２において、物体検出部９１は、認識領域８Ｍで商品である物体の全部または一部の認識に成功したか否かを判断する。物体検出部９１は、商品である物体の認識に成功したならば（Ｙｅｓ）、ステップＳ１０３の処理に進み、物体の認識に成功しなかったならば（Ｎｏ）、ステップＳ１００の処理に戻る。
ステップＳ１０３において、物体検出部９１は、認識領域８Ｍにおける物体の認識結果を記憶する。
【００９２】
ステップＳ１０４，Ｓ１０５の処理は、ステップＳ７０，Ｓ７１（図１５参照）の処理と同様である。
ステップＳ１０６において、物体検出部９１は、領域８Ｌ，８Ｒで商品である物体の全部または一部の認識に成功したか否かを判断する。物体検出部９１は、右側の領域８Ｒで物体の認識に成功したならば（右領域）、ステップＳ１０７の処理に進み、左側の領域８Ｌで物体の認識に成功したならば（左領域）、ステップＳ１０９の処理に進み、物体の認識に成功しなかったならば（非検知）、ステップＳ１０４の処理に戻る。
ステップＳ１０７において、類似度演算部９３は、ステップＳ１０２で認識成功したときの画像から商品の特徴量を読み取る。更に類似度判断部９４が、類似度が所定閾値以上となる取扱商品が特徴量ファイル３６１にあるか否かを判定し、この商品の商品名と商品単価とを検索して呼び出す。これにより、商品識別装置２Ｂは、この商品を確定することができる。
【００９３】
ステップＳ１０８において、情報出力部９８は、確定した取扱商品の商品ＩＤなどをＰＯＳ端末３に出力して仮登録させる。ＰＯＳ端末３の売上登録部９９１は、この商品ＩＤにもとづき、商品を仮登録する。ステップＳ１０８の処理が終了すると、図１７の処理を終了する。
ステップＳ１０９の処理は、ステップＳ１０７の処理と同様である。
ステップＳ１１０において、確定通知部９５は、確定した商品が現取引で仮登録中の商品と一致するか否かを判断する。確定通知部９５は、確定した商品が現取引で仮登録中の商品と一致すると判断したならば（Ｙｅｓ）、ステップＳ１１１の処理に進み、一致すると判断しなかったならば（Ｎｏ）、図１７の処理を終了する。
ステップＳ１１１において、情報出力部９８は、確定した取扱商品の商品ＩＤなどをＰＯＳ端末３に出力して、仮登録を訂正させる。ＰＯＳ端末３の売上取消部９９２は、この商品ＩＤにもとづき、商品の仮登録を訂正（キャンセル）する。ステップＳ１１１の処理が終了すると、図１７の処理を終了する。
このように、オペレータは、商品識別装置２Ｂに商品を認識させた後に、左右の領域８Ｌ，８Ｒのいずれかに商品を通過させることによっても、商品登録処理と商品登録訂正処理（取消処理）のいずれかを実行することができる。よって、商品識別装置２Ｂは、キーボード操作なしに、直感的で誤操作の少ない商品登録処理と、その取消処理とを実行可能である。
【００９４】
（変形例）
本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能であり、例えば、次の（ａ）〜（ｄ）のようなものがある。
（ａ）  商品の特定は、オブジェクト認識に限定されない。例えば、読取窓にバーコードスキャナやバーコードリーダなどを組み込んで、商品に印刷されたバーコードなどを読み取って商品を特定してもよい。
（ｂ）  センサの位置は、認識領域（読取窓）の左右に限定されず、例えば上下に設置されていてもよい。また、読取窓（カメラ）に近い位置と遠い位置に設置されてもよい。このとき、両センサの検知領域に挟まれた領域が、カメラによる商品の認識領域となる。
（ｃ）  左右の領域の検知手段は、光電センサに限定されず、物体が検知可能な任意のセンサであればよく、例えば超音波センサ、レーザセンサ、赤外線センサなどであってもよい。
（ｄ）  各領域での商品の検知結果の時系列と、商品登録処理と商品登録の取消処理との対応は任意でよい、例えば、最初に右側の領域で物体検知したのちに、認識領域で商品を認識したときに、ＰＯＳ端末に商品登録処理を行わせてもよい。最初に左側の領域で物体検知したのちに、認識領域で商品を認識したときに、ＰＯＳ端末に商品登録の取消処理を行わせてもよい。
【００９５】
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
商品の認識領域に隣接した検知領域における物体の有無を検知する検知手段と、
前記認識領域の画像を撮像する撮像手段と、
前記撮像手段が撮像した前記認識領域の画像から物体を検知して商品を特定すると共に、前記検知領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行う制御手段と、
を備えることを特徴とする商品登録装置。
＜請求項２＞
前記検知手段は更に、所定の色を検知可能であり、
前記制御手段は、前記検知手段が所定の色を検知したならば、商品登録処理の際に、併せて商品を値引きする、
ことを特徴とする請求項１に記載の商品登録装置。
＜請求項３＞
前記検知手段は、
前記認識領域の一方の側である第１領域における物体の有無を検知する第１検知手段と、
前記認識領域の他方の側である第２領域における物体の有無を検知する第２検知手段と、
を含んで構成されることを特徴とする請求項１に記載の商品登録装置。
＜請求項４＞  商品の認識領域、および当該認識領域に隣接した検知領域を含んだ画像を撮像する撮像手段と、
前記撮像手段が撮像した画像のうち前記検知領域から物体の有無を検知し、前記認識領域の画像によって物体を検知して商品を特定すると共に、前記検知領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行う制御手段と、
を備えることを特徴とする商品登録装置。
＜請求項５＞
前記検知領域は、
当該認識領域の一方の側である第１領域と、当該認識領域の他方の側である第２領域と、
を含んで構成されることを特徴とする請求項４に記載の商品登録装置。
＜請求項６＞
前記制御手段は、前記第１、第２領域のいずれかで物体を検知したのちに前記撮像手段が撮像した前記認識領域の画像から物体を検知して商品を特定したならば、前記第１領域、前記第２領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行う、
ことを特徴とする請求項３または請求項５に記載の商品登録装置。
＜請求項７＞
前記制御手段は、前記撮像手段が撮像した前記認識領域の画像から物体を検知して商品を特定したのちに前記第１、第２領域のいずれかで物体を検知したならば、前記第１領域、前記第２領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行う、
ことを特徴とする請求項３または請求項５に記載の商品登録装置。
＜請求項８＞
前記取消処理は、一取引内における登録のキャンセル、または取引終了後における返品処理である、
ことを特徴とする請求項１ないし請求項５のいずれか１項に記載の商品登録装置。
＜請求項９＞
前記制御手段は、前記物体を前記第１領域で検知したのちに前記認識領域で検知したならば、前記第１領域と前記認識領域の検知結果の時系列に応じて商品登録処理または商品登録訂正処理を行い、
その後、前記第１領域で再び物体を検知したならば、前記第１領域と前記認識領域の検知結果の時系列に応じて実施した商品登録処理または商品登録訂正処理を取り消す、
ことを特徴とする請求項３または請求項５に記載の商品登録装置。
＜請求項１０＞
前記制御手段は、最初の商品の移動方向と同一方向商品に対しては、商品登録処理を行い、当該移動方向とは反対に移動する商品に対しては、商品登録訂正処理を行う、
ことを特徴とする請求項３または請求項５に記載の商品登録装置。
＜請求項１１＞
前記制御手段は、
前記撮像手段が撮像した前記認識領域の画像からオブジェクトを認識することによって物体を検出し、
前記撮像手段が撮像した前記認識領域の画像と、辞書に記録された各取扱商品の基準画像とが、との程度類似しているかを示す類似度によって当該物体がいずれの商品であるかを特定する、
ことを特徴とする請求項３または請求項５に記載の商品登録装置。
＜請求項１２＞
前記制御手段は、前記撮像手段が撮像した前記認識領域の画像に含まれるデータコードによって前記物体である商品を検知して特定する、
ことを特徴とする請求項３または請求項５に記載の商品登録装置。
＜請求項１３＞
商品の認識領域に隣接した検知領域における物体の有無を検知する検知手段と、
前記認識領域の画像を撮像する撮像手段と、
商品登録処理または取消処理を行う制御手段と、
を備える商品登録装置の商品登録方法であって、
前記制御手段は、
前記撮像手段が撮像した前記認識領域の画像から物体を検知し、
前記物体である商品を特定し、
前記検知領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行う、
ことを特徴とする商品登録装置の商品登録／取消方法。
＜請求項１４＞
商品の認識領域に隣接した検知領域における物体の有無を検知する検知手段と、
前記認識領域の画像を撮像する撮像手段と、
を備える商品登録装置に、
前記撮像手段が撮像した前記認識領域の画像から物体を検知させ、
前記物体である商品を特定させ、
前記検知領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行わせるための商品登録／取消プログラム。
【符号の説明】
【００９６】
１，１Ｂ  商品登録装置
２，２Ａ，２Ｂ  商品識別装置
２１  マイクロコンピュータ
２１１  ＣＰＵ  （制御手段）
２１２  ＲＯＭ
２１３  ＲＡＭ
２２  表示・操作部
２２１  ディスプレイ
２２２  タッチパネル
２３  キーボード
２４  顧客用ディスプレイ
２５  インタフェース
２６Ｌ  左光電センサ  （第１検知手段または第２検知手段）
２６Ｒ  右光電センサ  （第２検知手段または第１検知手段）
２７  カメラ  （撮像手段）
２７１  照明
２８  スピーカ
２９  電源
３  ＰＯＳ端末
３１  マイクロコンピュータ
３１１  ＣＰＵ
３１２  ＲＯＭ
３１３  ＲＡＭ
３３  キーボード
３２１  ディスプレイ
３２２  タッチパネル
３４  顧客用ディスプレイ
３５  インタフェース
３６  ＨＤＤ
３６１  特徴量ファイル  （辞書）
３７  ドロワ
３８  プリンタ
３９  電源
４  買物カゴ
５  カウンタ台
５１  ハウジング
５２  読取窓
６  チェックアウト台
７  商品
８Ｌ  領域  （第１領域または第２領域）
８Ｍ  認識領域
８Ｒ  領域  （第２領域または第１領域）
９０  画像取得部
９１  物体検出部
９２  時系列判断部
９３  類似度演算部
９４  類似度判断部
９５  確定通知部
９６  候補商品提示部
９７  入力取得部
９８  情報出力部
９９１  売上登録部
９９２  売上取消部
【図１】
2018152144.tif 000003
【図２】
2018152144.tif 000004
【図３】
2018152144.tif 000005
【図４】
2018152144.tif 000006
【図５】
2018152144.tif 000007
【図６】
2018152144.tif 000008
【図７】
2018152144.tif 000009
【図８】
2018152144.tif 000010
【図９】
2018152144.tif 000011
【図１０】
2018152144.tif 000012
【図１１】
2018152144.tif 000013
【図１２】
2018152144.tif 000014
【図１３】
2018152144.tif 000015
【図１４】
2018152144.tif 000016
【図１５】
2018152144.tif 000017
【図１６】
2018152144.tif 000018
【図１７】
2018152144.tif 000019
【手続補正書】
【提出日】平成30年8月3日(2018.8.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
商品の認識領域の一方に隣接した第１検知領域における物体の有無を検知する第１検知手段と、
前記認識領域の他方に隣接した第２検知領域における物体の有無を検知する第２検知手段と、
前記認識領域における物体を撮像する撮像手段と、
前記撮像手段が撮像した前記認識領域における物体の画像に基づいて当該物体に該当する商品を認識する制御手段と、
を備え、
前記制御手段は、
前記第１検知領域で物体を検知したのちに、前記撮像手段が撮像した前記認識領域における物体の画像に基づいて当該物体に該当する商品を認識した場合に、商品仮登録処理を行い、
前記第２検知領域で物体を検知したのちに、前記撮像手段が撮像した前記認識領域における物体の画像に基づいて当該物体に該当する商品を認識した場合に、認識された商品が前記商品仮登録処理によって仮登録中の商品であるならば仮登録取消処理を行う一方で、仮登録中の商品でないならば商品返品処理を行う、
ことを特徴とする商品登録装置。
【請求項２】
商品の認識領域の一方に隣接した第１検知領域における物体の有無を検知する第１検知手段と、
前記認識領域の他方に隣接した第２検知領域における物体の有無を検知する第２検知手段と、
前記認識領域における物体を撮像する撮像手段と、
前記撮像手段が撮像した前記認識領域における物体の画像に基づいて当該物体に該当する商品を認識する制御手段と、
を備え、
前記制御手段は、
前記撮像手段が撮像した前記認識領域における物体の画像に基づいて当該物体に該当する商品を認識したのちに、前記第２検知領域で物体を検知した場合に、商品仮登録処理を行い、
前記撮像手段が撮像した前記認識領域における物体の画像に基づいて当該物体に該当する商品を認識したのちに、前記第１検知領域で物体を検知した場合に、認識された商品が前記商品仮登録処理によって仮登録中の商品であるならば仮登録取消処理を行う一方で、仮登録中の商品でないならば商品返品処理を行う、
ことを特徴とする商品登録装置。
【請求項３】
商品の認識領域の一方に隣接した検知領域における物体の有無を検知する検知手段と、
前記認識領域における物体を撮像する撮像手段と、
前記撮像手段が撮像した前記認識領域における物体の画像に基づいて当該物体に該当する商品を認識する制御手段と、
を備え、
前記制御手段は、
前記検知領域で物体を検知したのちに、前記撮像手段が撮像した前記認識領域における物体の画像に基づいて当該物体に該当する商品を認識した場合に、商品仮登録処理を行い、
前記撮像手段が撮像した前記認識領域における物体の画像に基づいて当該物体に該当する商品を認識したのちに、前記検知領域で物体を検知した場合に、認識された商品が前記商品仮登録処理によって仮登録中の商品であるならば仮登録取消処理を行う一方で、仮登録中の商品でないならば商品返品処理を行う、
ことを特徴とする商品登録装置。
【請求項４】
商品の認識領域の一方に隣接した検知領域における物体の有無を検知する検知手段と、
前記認識領域における物体を撮像する撮像手段と、
前記撮像手段が撮像した前記認識領域における物体の画像に基づいて当該物体に該当する商品を認識する制御手段と、
を備え、
前記制御手段は、
前記撮像手段が撮像した前記認識領域における物体の画像に基づいて当該物体に該当する商品を認識したのちに、前記検知領域で物体を検知した場合に、商品仮登録処理を行い、
前記検知領域で物体を検知したのちに、前記撮像手段が撮像した前記認識領域における物体の画像に基づいて当該物体に該当する商品を認識した場合に、認識された商品が前記商品仮登録処理によって仮登録中の商品であるならば仮登録取消処理を行う一方で、仮登録中の商品でないならば商品返品処理を行う、
ことを特徴とする商品登録装置。
【請求項５】
前記検知手段は更に、所定の色を検知可能であり、
前記制御手段は、前記検知手段が所定の色を検知したならば、商品仮登録処理の際に、併せて値引処理を実行する、
ことを特徴とする請求項１から４の何れか一項に記載の商品登録装置。
【請求項６】
商品の認識領域の一方に隣接した第１検知領域における物体の有無を検知する第１検知手段と、
前記認識領域の他方に隣接した第２検知領域における物体の有無を検知する第２検知手段と、
前記認識領域における物体を撮像する撮像手段と、
を備える商品登録装置のコンピュータを、
前記撮像手段が撮像した前記認識領域における物体の画像に基づいて当該物体に該当する商品を認識する制御手段と、
として機能させ、
前記制御手段は、
前記第１検知領域で物体を検知したのちに、前記撮像手段が撮像した前記認識領域における物体の画像に基づいて当該物体に該当する商品を認識した場合に、商品仮登録処理を行い、
前記第２検知領域で物体を検知したのちに、前記撮像手段が撮像した前記認識領域における物体の画像に基づいて当該物体に該当する商品を認識した場合に、認識された商品が前記商品仮登録処理によって仮登録中の商品であるならば仮登録取消処理を行う一方で、仮登録中の商品でないならば商品返品処理を行う、
ことを特徴とするプログラム。
【請求項７】
商品の認識領域の一方に隣接した第１検知領域における物体の有無を検知する第１検知手段と、
前記認識領域の他方に隣接した第２検知領域における物体の有無を検知する第２検知手段と、
前記認識領域における物体を撮像する撮像手段と、
を備える商品登録装置のコンピュータを、
前記撮像手段が撮像した前記認識領域における物体の画像に基づいて当該物体に該当する商品を認識する制御手段と、
として機能させ、
前記制御手段は、
前記撮像手段が撮像した前記認識領域における物体の画像に基づいて当該物体に該当する商品を認識したのちに、前記第２検知領域で物体を検知した場合に、商品仮登録処理を行い、
前記撮像手段が撮像した前記認識領域における物体の画像に基づいて当該物体に該当する商品を認識したのちに、前記第１検知領域で物体を検知した場合に、認識された商品が前記商品仮登録処理によって仮登録中の商品であるならば仮登録取消処理を行う一方で、仮登録中の商品でないならば商品返品処理を行う、
ことを特徴とするプログラム。
【請求項８】
商品の認識領域の一方に隣接した検知領域における物体の有無を検知する検知手段と、
前記認識領域における物体を撮像する撮像手段と、
を備える商品登録装置のコンピュータを、
前記撮像手段が撮像した前記認識領域における物体の画像に基づいて当該物体に該当する商品を認識する制御手段と、
として機能させ、
前記制御手段は、
前記検知領域で物体を検知したのちに、前記撮像手段が撮像した前記認識領域における物体の画像に基づいて当該物体に該当する商品を認識した場合に、商品仮登録処理を行い、
前記撮像手段が撮像した前記認識領域における物体の画像に基づいて当該物体に該当する商品を認識したのちに、前記検知領域で物体を検知した場合に、認識された商品が前記商品仮登録処理によって仮登録中の商品であるならば仮登録取消処理を行う一方で、仮登録中の商品でないならば商品返品処理を行う、
ことを特徴とするプログラム。
【請求項９】
商品の認識領域の一方に隣接した検知領域における物体の有無を検知する検知手段と、
前記認識領域における物体を撮像する撮像手段と、
を備える商品登録装置のコンピュータを、
前記撮像手段が撮像した前記認識領域における物体の画像に基づいて当該物体に該当する商品を認識する制御手段と、
として機能させ、
前記制御手段は、
前記撮像手段が撮像した前記認識領域における物体の画像に基づいて当該物体に該当する商品を認識したのちに、前記検知領域で物体を検知した場合に、商品仮登録処理を行い、
前記検知領域で物体を検知したのちに、前記撮像手段が撮像した前記認識領域における物体の画像に基づいて当該物体に該当する商品を認識した場合に、認識された商品が前記商品仮登録処理によって仮登録中の商品であるならば仮登録取消処理を行う一方で、仮登録中の商品でないならば商品返品処理を行う、
ことを特徴とするプログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、商品登録装置、およびプログラムに関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明の商品登録装置は、商品の認識領域の一方に隣接した第１検知領域における物体の有無を検知する第１検知手段と、前記認識領域の他方に隣接した第２検知領域における物体の有無を検知する第２検知手段と、前記認識領域における物体を撮像する撮像手段と、前記撮像手段が撮像した前記認識領域における物体の画像に基づいて当該物体に該当する商品を認識する制御手段と、を備え、前記制御手段は、前記第１検知領域で物体を検知したのちに、前記撮像手段が撮像した前記認識領域における物体の画像に基づいて当該物体に該当する商品を認識した場合に、商品仮登録処理を行い、前記第２検知領域で物体を検知したのちに、前記撮像手段が撮像した前記認識領域における物体の画像に基づいて当該物体に該当する商品を認識した場合に、認識された商品が前記商品仮登録処理によって仮登録中の商品であるならば仮登録取消処理を行う一方で、仮登録中の商品でないならば商品返品処理を行う、ことを特徴とする。