(57)【要約】【課題】セルフチェックアウト時の商品登録の抜けや個数違いへの対応を可能とする。【解決手段】商品に付されたコードシンボルまたは商品の外観のいずれかに合致する商品情報を販売データとして登録し、前記販売データに基づく所定の処理を行う販売データ処理装置であって、オペレータの入力操作を受け付ける操作部と、前記コードシンボルまたは商品の外観を撮像する第１撮像部と、前記第１撮像部の出力に基づいて商品を認識する認識部と、前記第１撮像部の撮像領域を含む所定の領域を、前記第１撮像部の撮像方向と異なる方向から撮像する第２撮像部と、前記第２撮像部の出力から、手の動作を検知する動作検知部と、前記第２撮像部の出力から、手が持った物を検知する物体検知部と、前記動作検知部および前記物体検知部の出力が、前記認識部または前記第１撮像部の出力と整合するかを判断する照合部と、を備える。【選択図】図４
2018160140.tif 000002
【特許請求の範囲】
【請求項１】
商品に付されたコードシンボルまたは商品の外観のいずれかに合致する商品情報を販売データとして登録し、前記販売データに基づく所定の処理を行う販売データ処理装置であって、
オペレータの入力操作を受け付ける操作部と、
前記コードシンボルまたは商品の外観を撮像する第１撮像部と、
前記第１撮像部の出力に基づいて商品を認識する認識部と、
前記第１撮像部の撮像領域を含む所定の領域を、前記第１撮像部の撮像方向と異なる方向から撮像する第２撮像部と、
前記第２撮像部の出力から、手の動作を検知する動作検知部と、
前記第２撮像部の出力から、手が持った物を検知する物体検知部と、
前記動作検知部および前記物体検知部の出力が、前記認識部または前記第１撮像部の出力と整合するかを判断する照合部と、
を備える販売データ処理装置。
【請求項２】
前記第２撮像部の撮像方向は、上から下を見下ろす方向である
ことを特徴とする請求項１に記載の販売データ処理装置。
【請求項３】
前記照合部は、物を持った手の移動と物を持たない手の移動との間に、前記操作部からの販売データ登録か前記認識部または前記第１撮像部の出力があれば、整合と判断する
ことを特徴とする請求項１または２に記載の販売データ処理装置。
【請求項４】
前記照合部は、さらに、物を持った手の移動方向および物を持たない手の移動方向を、前記判断の材料とする
ことを特徴とする請求項３に記載の販売データ処理装置。
【請求項５】
前記操作部からの販売データ登録または前記認識部が選出した商品情報に関連付けられた商品の外観に関する情報と前記第２撮像部の出力とに基づいて、前記物体検知部が検知した物体の個数を判断する個数判断部をさらに備え、
前記照合部は、オペレータの入力値と前記個数判断部の出力とが合致する場合、整合と判断する
ことを特徴とする請求項１〜４のいずれか１つに記載の販売データ処理装置。
【請求項６】
前記照合部が整合しないと出力した場合に、その旨を報知する報知部をさらに備える
ことを特徴とする請求項１〜５のいずれか１つに記載の販売データ処理装置。
【請求項７】
オペレータの入力操作を受け付ける操作部と、商品に付されたコードシンボルまたは商品の外観を撮像する第１撮像部と、前記第１撮像部の撮像領域を含む所定の領域を、前記第１撮像部の撮像方向と異なる方向から撮像する第２撮像部と、を備え、前記コードシンボルまたは商品の外観のいずれかに合致する商品情報を販売データとして登録し、前記販売データに基づく所定の処理を行う販売データ処理装置のコンピュータを、
前記第１撮像部の出力に基づいて商品を認識する認識部と、
前記第２撮像部の出力から、手の動作を検知する動作検知部と、
前記第２撮像部の出力から、手が持った物を検知する物体検知部と、
前記動作検知部および前記物体検知部の出力が、前記認識部または前記第１撮像部の出力と整合するかを判断する照合部と、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、販売データ処理装置およびプログラムに関する。
【背景技術】
【０００２】
従来、オペレータの操作により作動し、商品に付されたコードまたは商品の外観のいずれかに合致する商品情報を販売データとして登録し、決済等の所定の処理を行う販売データ処理装置が用いられている。このような装置の一種に、客がオペレータとなり、商品登録から決済までを行うセルフチェックアウト装置がある。セルフチェックアウト装置は客が操作するものであるので、不慣れによる誤操作や不正行為への対策が講じられている。
【０００３】
セルフチェックアウト装置において想定される誤操作や不正行為の一例としては、いくつか購入するうちの一部について商品登録が行われないことや、同一商品を複数個購入する場合の登録個数の違いなどがある。後者の具体例としては、同一商品を複数購入する場合に、商品を読み込ませはするものの、個数の入力を行わなかったり、異なる個数を入力してしまったりすることである。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明が解決しようとする課題は、セルフチェックアウト時の商品登録の抜けや個数違いへの対応を可能とすることである。
【課題を解決するための手段】
【０００５】
実施形態の販売データ処理装置は、商品に付されたコードシンボルまたは商品の外観のいずれかに合致する商品情報を販売データとして登録し、前記販売データに基づく所定の処理を行うものであって、オペレータの入力操作を受け付ける操作部と、前記コードシンボルまたは商品の外観を撮像する第１撮像部と、前記第１撮像部の出力に基づいて商品を認識する認識部と、前記第１撮像部の撮像領域を含む所定の領域を、前記第１撮像部の撮像方向と異なる方向から撮像する第２撮像部と、前記第２撮像部の出力から、手の動作を検知する動作検知部と、前記第２撮像部の出力から、手が持った物を検知する物体検知部と、前記動作検知部および前記物体検知部の出力が、前記認識部または前記第１撮像部の出力と整合するかを判断する照合部と、を備える。
【図面の簡単な説明】
【０００６】
【図１】図１は、実施形態のセルフＰＯＳの外観の一例を示す斜視図である。
【図２】図２は、セルフＰＯＳのハードウェア構成の一例を示すブロック図である。
【図３】図３は、制御部の機能構成の一例を示すブロック図である。
【図４】図４は、検知処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【０００７】
（第１の実施形態）
実施形態について図面を用いて説明する。本実施形態では、セルフチェックアウト装置（以下、セルフＰＯＳと称する）を販売データ処理装置の一例として説明する。図１は、セルフＰＯＳ１の外観の一例を示す斜視図である。
【０００８】
セルフＰＯＳ１は、客がオペレータとなる装置であって、客の操作により、店舗で販売される商品の売上登録処理および決済処理を実行する。売上登録処理においてセルフＰＯＳ１はまず、取引において販売される商品に付されたバーコード等のシンボルを光学的に読み取るなどにより商品コードを取得する。売上登録処理においてセルフＰＯＳ１は次に、商品コードに関連付けて記憶された商品情報（商品名や価格等）を表示するとともに、集計対象として記憶する。
【０００９】
決済処理においてセルフＰＯＳ１はまず、集計対象とされた商品情報に基づいて当該取引に係る合計金額を計算して表示し、顧客から預かった預り金に基づいて釣銭を計算して表示する。決済処理においてセルフＰＯＳ１は次に、釣銭の発行を釣銭機に指示する。決済処理後の商品情報や決済情報（合計金額、預り金額、釣銭額等）は、レシートに印字されて発行される。
【００１０】
セルフＰＯＳ１は、本体部１１０、第１の載置台１２０および第２の載置台１３０を備えている。本体部１１０は、二つの載置台１２０，１３０の間に設けられ、データ登録や決済を行う。
【００１１】
第１の載置台１２０は、データ登録前の商品が入れられた籠を載せるための台であって、本体部１１０の側面部に固定されている。第２の載置台１３０は、データ登録済の商品を載せるための台であって、本体部１１０を挟んで第１の載置台１２０の反対側に設置されている。
【００１２】
第２の載置台１３０は、データ登録済の商品を入れる持帰り袋を掛けるためのフック１３２や、データ登録済の商品を持帰り袋に入れる前に一時的に置いておくための一時置台１３３を備える。一時置台１３３には、例えば卵やパンなど、破損や変形のおそれがあるために最後に袋詰めしたいものなどが置かれる。
【００１３】
また、第２の載置台１３０は、計量器１３１を内蔵している。セルフＰＯＳ１は、計量器１３１の出力から、袋詰めされた商品が適切にデータ登録されたか判断している。判断は、データ登録と袋詰めとのタイミングを確認することで行ってもよいし、さらには、各商品の商品情報として重量を予め記憶しておき、データ登録された商品の重量と計量器１３１による計量値の増分とを比較するなどしてもよい。
【００１４】
なお、第１の載置台１２０にも計量器を内蔵したセルフＰＯＳもある。このタイプのセルフＰＯＳは、商品の総重量がデータ登録の前後で変わらないことを確認している。
【００１５】
このようなセルフＰＯＳ１において、オペレータである客は、第１の載置台１２０上の商品を手に取り、同商品のデータ登録を本体部１１０で行い、同商品を第２の載置台１３０に置く。この動作を客は繰り返し行い、商品が第１の載置台１２０上から第２の載置台１３０上へすべて移動したら、本体部１１０で決済を行う。
【００１６】
本体部１１０は、表示部１１１、タッチパネル１１２、商品読取部１１３、プリンタ１１４、釣銭器１１５、監視カメラ１１６、および報知ランプ１１７を備えている。
【００１７】
表示部１１１は、例えば液晶表示器であって、オペレータに向けた情報を表示する。例えば、表示部１１１は、顧客にセルフＰＯＳ１の操作方法を知らせるための案内画面や、各種の入力画面や、商品読取部１１３が読み込んだ商品情報を表示する登録画面を、表示する。また、表示部１１１は、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする精算画面等を表示する。
【００１８】
タッチパネル１１２は、操作部の一例であって、表示部１１１の表面に重ねて設けられて、表示部１１１の表示内容に応じた各種操作を受け付ける。
【００１９】
商品読取部１１３は、商品から情報を読み取る（商品を認識する）ものであって、読取窓１１３ａにかざされた商品を撮像して得た画像に基づいたデータ検索により、商品情報を得る。
【００２０】
なお、商品によっては、読取窓１１３ａにかざしても商品登録ができないものがある。このような商品としては、例えばコロッケなど、客自らパッキングする惣菜がある。このような商品を登録するにあたっては、オペレータは、タッチパネル１１２に表示させた候補から購入する商品を選択し、必要に応じて個数を入力する。
【００２１】
プリンタ１１４は、レシートなどを印字し、発行する。
【００２２】
釣銭器１１５は、オペレータが向き合う側に、紙幣入金口１１５ａ、紙幣出金口１１５ｂ、硬貨入金口１１５ｃ、硬貨出金口１１５ｄを備え、精算用の金銭を受け入れ、釣銭を排出する。
【００２３】
監視カメラ１１６は、セルフＰＯＳ１に対して行われたことを監視するものであって、オペレータの動作、特に手の動きを確認可能な程度の範囲を、撮像する。
【００２４】
報知ランプ１１７は、必要に応じて作動され、点灯もしくは点滅により、周囲に、セルフＰＯＳ１に異常が発生していることや、店員を呼ぶ必要があることなどを知らせる。
【００２５】
次に、図２は、セルフＰＯＳ１のハードウェア構成の一例を示すブロック図である。セルフＰＯＳ１は、ＣＰＵ（Central  Processing  Unit）１０１、ＲＯＭ（Read  Only  Memory）１０２、ＲＡＭ（Random  Access  Memory）１０３、記憶部１０４、通信インタフェース１０５、接続インタフェース１０６，１０７を、さらに備えている。
【００２６】
ＣＰＵ１０１は、セルフＰＯＳ１の動作を統括的に制御する。ＲＯＭ１０２は、各種プログラムやデータを記憶する。ＲＡＭ１０３は、各種プログラムを一時的に記憶するとともに、各種データを書き換え自在に記憶する。また、ＲＡＭ１０３は、画像データテーブルＴ１を記憶する。なお、画像データテーブルＴ１は、ＲＡＭ１０３に限らず、記憶部１０４等の他の記憶媒体に記憶されていてもよいし、ストアサーバ等の他の機器に記憶されていてもよい。
【００２７】
記憶部１０４は、ＨＤＤ（Hard  Disk  Drive）やＳＳＤ（Solid  State  Drive）等の不揮発性の記憶装置である。記憶部１０４は、制御プログラムＰ１と、ＰＬＵファイルＦ１とを記憶する。なお、ＰＬＵファイルＦ１は、記憶部１０４に限らず、他の記憶媒体に記憶されていてもよいし、ストアサーバ等の他の機器に記憶されていてもよい。
【００２８】
制御プログラムＰ１は、オペレーティングシステムや、セルフＰＯＳ１が備えている機能を実現させるためのプログラムである。制御プログラムＰ１には、本実施形態に係る特徴的な機能を実現させるためのプログラムが含まれる。
【００２９】
ＰＬＵファイルＦ１は、店舗で販売される各種商品の各々について、商品の売上登録に係る情報を格納する商品ファイルである。ＰＬＵファイルＦ１は、商品ごとに、商品コード、商品情報、照合用特徴量、認識分類などを、関連付けて記憶している。
【００３０】
商品コードは、商品を識別可能な識別情報であって、例えば所定桁の数で表される。商品情報は、商品が属する商品分類、商品名、単価等の情報を含む。照合用特徴量は、商品の標準的な形状、表面の色合い、模様、凹凸状況等の外観の特徴をパラメータ化したものである。尚、照合用特徴量は、後述する類似度の判定に用いられる照合用のデータである。
【００３１】
認識分類は、その商品の認識に用いる認識方法を指示するための情報である。認識方法としては、コードシンボル認識か、一般物体認識が設定される。
コードシンボル認識は、バーコードや２次元コード等のコードシンボルが示している商品コードを読み取ることにより商品を認識する方法であって、コードシンボルが付されている商品に対して設定される認識方法である。
一般物体認識は、コードシンボルが付されていない商品に対して設定される認識方法であって、一般物体認識により商品を認識する方法である。一般物体認識は、オブジェクト認識とも呼ばれ、商品を撮像した画像と、照合用特徴量とを比較することなどにより、商品を認識する方法である。
なお、照合用特徴量と、認識分類とは、ＰＬＵファイルＦ１とは異なるファイルに記憶されていてもよい。
【００３２】
さらに、本実施形態では、ＰＬＵファイルＦ１は、商品の標準的な大きさをも記憶している。なお、実施にあたっては、商品の標準的な大きさを記憶するものがＰＬＵファイルＦ１でなく別のファイルであってもよい。
【００３３】
ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、記憶部１０４と、通信インタフェース１０５と、接続インタフェース１０６と、プリンタ１１４と、釣銭器１１５と、計量器１３１とは、バスを介して接続されている。また、表示部１１１と、タッチパネル１１２とは、接続インタフェース１０７を介して接続インタフェース１０６に接続されている。さらに、商品読取部１１３および監視カメラ１１６は、接続インタフェース１０６に接続されている。
【００３４】
商品読取部１１３は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、接続インタフェース２０４、撮像部２０５および音声出力部２０６を、備えている。ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、接続インタフェース２０４と、撮像部２０５と、音声出力部２０６とは、バスを介して接続されている。
【００３５】
ＣＰＵ２０１は、商品読取部１１３を統括的に制御する。ＲＯＭ２０２は、各種プログラムやデータを記憶する。ＲＡＭ２０３は、各種プログラムを一時的に記憶するとともに、各種データを書き換え自在に記憶する。接続インタフェース２０４は、接続インタフェース１０６に接続されている。
【００３６】
撮像部２０５は、第１撮像部の一例であって、顧客が商品読取部１１３の読取窓１１３ａ（図１参照）にかざした商品を撮像し、撮像画像を得る。ＣＰＵ２０１は、撮像画像にコードシンボルが含まれていれば、コード認識で商品を認識する。また、ＣＰＵ２０１は、撮像画像にコードシンボルが含まれていなければ、一般物体認識で商品を認識する。
【００３７】
音声出力部２０６は、エラーが発生した場合などに、音声を出力することにより、オペレータや外部に対して、異常の発生を報知する。
【００３８】
監視カメラ１１６は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、接続インタフェース３０４、撮像部３０５および音声出力部３０６を、備えている。ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、接続インタフェース３０４と、撮像部３０５と、音声出力部３０６とは、バスを介して接続されている。
【００３９】
ＣＰＵ３０１は、監視カメラ１１６を統括的に制御する。ＲＯＭ３０２は、各種プログラムやデータを記憶する。ＲＡＭ３０３は、各種プログラムを一時的に記憶するとともに、各種データを書き換え自在に記憶する。接続インタフェース３０４は、接続インタフェース１０６に接続されている。
【００４０】
音声出力部３０６は、エラーが発生した場合などに、音声を出力することにより、オペレータや外部に対して、異常の発生を報知する。
【００４１】
撮像部３０５は、第２撮像部の一例であって、撮像部２０５の撮像方向と異なる方向から撮像を行う。撮像部２０５がセルフＰＯＳ１の奥から手前に向かって撮像するのに対し、撮像部３０５は、オペレータの頭上から下を見下ろす向きで撮像する。
【００４２】
また、撮像部３０５は、撮像部２０５が撮像する領域を含む所定の領域を、撮像する。撮像部２０５が撮像するのは、読取窓１１３ａの正面の領域（第１領域）である。撮像部３０５が撮像する領域（第２領域）は、少なくとも、第１領域と、第１の載置台１２０の平面視領域と、第２の載置台１３０の平面視領域と、を含む。また、第２領域は、紙幣入金口１１５ａ、紙幣出金口１１５ｂ、硬貨入金口１１５ｃ、硬貨出金口１１５ｄが撮像部３０５に撮像されるように設定されていると、より好ましい。
【００４３】
さらに、撮像部３０５は、例えば、ＲＧＢ−Ｄカメラや、ステレオカメラであると、好ましい。
【００４４】
図３は、制御部１０，２０，３０の機能構成の一例を示すブロック図であって、（ａ）は制御部１０、（ｂ）は制御部２０、（ｃ）は制御部３０が備える機能部を例示している。
【００４５】
ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３とは、制御部１０を構成する。制御部１０は、ＲＯＭ１０２が記憶しＣＰＵ１０１が実行するプログラムに応じて各種機能部を実現し、商品登録部１１、精算部１２、照合部１３、および異常報知部１４として機能する。
【００４６】
商品登録部１１は、売上登録処理を行う。すなわち、商品登録部１１は、商品読取部１１３が読み取った商品情報を、集計対象としてＲＡＭ１０３に記憶する。
【００４７】
精算部１２は、決済処理を行う。すなわち、精算部１２は、商品登録部１１により登録された商品情報に基づいて、当該取引の代金を算出し、釣銭器１１５を介して客と金銭の受け渡しを行い、レシートを発行する。
【００４８】
照合部１３については、後述する。
【００４９】
異常報知部１４は、報知部の一例であって、報知ランプ１１７の作動状態（点灯、点滅、消灯）を制御する。
【００５０】
ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３とは、制御部２０を構成する。制御部２０は、ＲＯＭ２０２が記憶しＣＰＵ２０１が実行するプログラムに応じて各種機能部を実現し、コード認識部２１およびオブジェクト認識部２２として機能する。
【００５１】
コード認識部２１およびオブジェクト認識部２２は、認識部の例であって、撮像部２０５の出力に基づいて商品を認識する。コード認識部２１は、コードシンボル認識を行う。オブジェクト認識部２２は、一般物体認識を行う。
【００５２】
ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３とは、制御部３０を構成する。制御部３０は、ＲＯＭ３０２が記憶しＣＰＵ３０１が実行するプログラムに応じて各種機能部を実現し、動作検知部３１、物体検知部３２、および個数判断部３３として機能する。
【００５３】
動作検知部３１は、撮像部３０５の出力を解析して、手の動作を検知する。物体検知部３２は、撮像部３０５の出力を解析して、手が持った物を検知する。つまり、物体検知部３２は、オペレータの手が物を持っていることを検知する。なお、動作検知部３１および物体検知部３２としては、例えば、インテルのリアルセンス（RealSense）テクノロジーを利用可能である。
【００５４】
個数判断部３３は、コード認識部２１およびオブジェクト認識部２２が選出した商品情報に関連付けられた商品の外観に関する情報と、撮像部３０５の出力とに基づいて、物体検知部３２が検知した物体の個数を判断する。個数判断部３３が用いる商品の外観に関する情報は、商品の標準的な形状や、商品の標準的な大きさである。
【００５５】
商品の標準的な形状が分かれば、撮像部３０５の出力した撮像画像と比較することにより、物体の個数を判断することができる。また、インテルのリアルセンス（RealSense）テクノロジーを利用して、撮像部３０５の出力した撮像画像の中の物体と撮像部３０５との距離を算出し、この距離と、商品の標準的な大きさとを考え合わせることにより、物体の個数を判断することができる。
【００５６】
そして、照合部１３は、オペレータによる商品登録に係る入力と、撮像部３０５に由来する出力とが、整合するかを判断する。商品登録に係る入力については、タッチパネル１１２および撮像部２０５に由来する出力から判断する。撮像部２０５に由来する出力は、読取窓１１３ａに物体がかざされたことの検知でもよいし、コード認識部２１またはオブジェクト認識部２２の出力でもよい。撮像部３０５に由来する出力は、動作検知部３１、物体検知部３２、および個数判断部３３の出力である。
【００５７】
より具体的には、照合部１３は、物を持った手の移動と物を持たない手の移動との間に、商品登録に係る入力（売上登録処理）があることをもって、「整合」と判断する。
【００５８】
これに対して、物を持った手の移動と物を持たない手の移動との間に商品登録に係る入力がなかった場合には、オペレータが、商品を読取窓１１３ａにかざさなかった可能性がある。この場合、続いて所定の事象が検知されると、照合部１３は、整合しない（不整合）と判断する。所定の事象としては、例えば、計量器１３１による計量値の増加や、物を持たなかった手が第１の載置台１２０上の物を手に取ること、などが考えられる。
【００５９】
なお、照合部１３は、判断の材料に、物を持った手の移動方向および物を持たない手の移動方向を、加えてもよい。
つまり、照合部１３は、順方向に（第１の載置台１２０から第２の載置台１３０へ向かって）物を持った手が移動する間に商品登録に係る入力があった場合に「整合」と判断してもよい。
また、照合部１３は、物を持った手が順方向に移動する間に商品登録に係る入力がなく、そのまま逆方向に（第２の載置台１３０から第１の載置台１２０へ向かって）物を持たない手が移動した場合、「不整合」と判断してもよい。
【００６０】
さらに、照合部１３は、個数判断部３３の出力をも、判断の材料に加える。照合部１３は、個数判断部３３の出力が、オペレータの入力値と合致する場合、「整合」と判断する。ここで、照合部１３は、オペレータが個数として数値を入力した場合、当該数値を、オペレータの入力値とする。また、照合部１３は、オペレータが数値を入力しない場合には、オペレータが「１」を入力したもの（入力値＝１）とする。
【００６１】
セルフＰＯＳ１において同一商品を複数個登録する場合には、商品読取部１１３に商品をかざす前（あるいは後）に、個数を手入力する。商品読取部１１３にかざした商品の購入数が１である場合には、個数の手入力は不要である。例えば、オペレータである客が、みかんを２個手に持ち、個数の手入力なしに読取窓１１３ａにかざし、それらのみかんを第２の載置台１３０上の持帰り袋に入れたとする。この場合、オブジェクト認識部２２は、商品はみかんであると認識する。これを受けて個数判断部３３は、みかんが２個である（もしくは、少なくとも１個ではない）と判断する。そしてこれを受けて照合部１３は、オペレータの入力値と個数判断部３３との出力が整合しないと判断する。
【００６２】
異常報知部１４は、照合部１３が整合しないと出力した場合に、報知ランプ１１７によりその旨を報知する。
【００６３】
このようなセルフＰＯＳ１における商品登録抜けおよび登録個数違いに対応するための検知処理の流れについて、以下に説明する。図４は、検知処理の流れの一例を示すフローチャートである。この例では、手の移動方向をも判断の材料に加味している。
【００６４】
検知処理においては、まず、制御部１０が、精算を行うタイミングであるかを判断する（ステップＳ１）。ここでの精算とは、精算部１２による決済処理である。精算を行うタイミングであれば（ステップＳ１のＹｅｓ）、制御部１０は、検知処理を終了する。精算を行うタイミングでなければ（ステップＳ１のＮｏ）、制御部１０は、処理をステップＳ２へ進める。精算を行うタイミングであるかは、タッチパネル１１２に、商品登録を終えて精算に移る旨を指示する操作が行われたか、によって判断する。
【００６５】
ステップＳ２においては、制御部１０は、動作検知部３１および物体検知部３２の出力から、物を持った手が順方向に移動したかを判断する。物を持った手が順方向に移動することが検知されなければ（ステップＳ２のＮｏ）、制御部１０は、処理をステップＳ１へ戻す。物を持った手が順方向に移動することが検知されると（ステップＳ２のＹｅｓ）、制御部１０は、処理をステップＳ３へ進める。
【００６６】
ステップＳ３においては、制御部１０は、商品登録に係る入力があったかを判断する。ステップＳ３において入力ありの場合（ステップＳ３のＹｅｓ）、制御部１０は、照合部１３の出力から、不整合なしかを判断する（ステップＳ４）。不整合なしの場合（ステップＳ４のＹｅｓ）、制御部１０は、商品登録に係る入力に基づいて売上登録処理を行う（ステップＳ５）。
【００６７】
ステップＳ４において、不整合ありの場合（ステップＳ４のＮｏ）、制御部１０は、異常報知部１４により報知ランプ１１７を作動させて異常を報知して（ステップＳ６）、処理を終了する。
【００６８】
ステップＳ３において入力なしの場合（ステップＳ３のＮｏ）、制御部１０は、動作検知部３１および物体検知部３２の出力から、物を持たない手だけが戻って（すなわち逆方向に移動して）第１の載置台１２０上の物を持ったかを判断する（ステップＳ７）。ステップＳ７の判断がＮｏの場合には、制御部１０は処理をステップＳ３へ戻し、商品登録に係る入力を待機する。
【００６９】
ステップＳ７において、物を持たずに戻った手が次の商品を持った場合には、制御部１０は、処理をステップＳ７のＹｅｓからステップＳ８へと進める。そしてステップＳ８において制御部１０は、異常報知部１４により報知ランプ１１７を作動させて異常を報知して、処理を終了する。
【００７０】
以上のように、本実施形態によれば、商品登録に係るオペレータの入力、オペレータの手の移動、手の移動方向、手が物体を持っているか、手に持たれた物体の個数、などを判断の材料として、整合性を判断し、不整合の場合に、異常を報知することができる。これにより、店員は、オペレータである客の操作に異常があることを知ることができるので、該当のセルフＰＯＳ１における客の操作の訂正を行うことができる。よって、本実施形態によれば、セルフチェックアウト時の商品登録の抜けや個数違いへの対応を可能とすることができる。
【００７１】
なお、本実施形態では、セルフＰＯＳ１は、ＣＰＵ１０１，２０１，３０１を備え、ＣＰＵ１０１，２０１，３０１が、商品登録部１１、精算部１２、照合部１３、および異常報知部１４、コード認識部２１、オブジェクト認識部２２、動作検知部３１、物体検知部３２、および個数判断部３３を分担して実現しているが、実施にあたっては、１つのＣＰＵが全機能部を実現してもよいし、２または４つ以上のＣＰＵで分担して実現してもよい。
【００７２】
また、本実施形態では、撮像部３０５は、オペレータの頭上から下を見下ろす向きで撮像しているが、実施にあたっては、撮像部２０５の撮像方向と異なる方向から撮像するのであればよく、見下ろす向きに限らない。
【００７３】
なお、本実施形態のセルフＰＯＳ１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。
【００７４】
本実施形態のセルフＰＯＳ１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００７５】
さらに、本実施形態のセルフＰＯＳ１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のセルフＰＯＳ１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００７６】
本実施形態のセルフＰＯＳ１で実行されるプログラムは、上述した各部（商品登録部１１、精算部１２、照合部１３、および異常報知部１４、コード認識部２１、オブジェクト認識部２２、動作検知部３１、物体検知部３２、および個数判断部３３）を含むモジュール構成となっている。ＣＰＵ（プロセッサ）１０１，２０１，３０１は、上記記憶媒体からプログラムを読み出して実行することにより、上記各部を主記憶装置上にロードする。これにより、商品登録部１１、精算部１２、照合部１３、および異常報知部１４、コード認識部２１、オブジェクト認識部２２、動作検知部３１、物体検知部３２、および個数判断部３３が、主記憶装置上に生成される。
【００７７】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７８】
１    …セルフＰＯＳ（販売データ処理装置）
１１０…本体部
１１１…表示部
１１２…タッチパネル（操作部）
１１３…商品読取部、１１３ａ…読取窓
１１４…プリンタ
１１５…釣銭器
１１５ａ…紙幣入金口、１１５ｂ…紙幣出金口
１１５ｃ…硬貨入金口、１１５ｄ…硬貨出金口
１１６…監視カメラ
１１７…報知ランプ
１２０…第１の載置台
１３０…第２の載置台
１３１…計量器
１３２…フック
１３３…一時置台
１０１…ＣＰＵ
１０２…ＲＯＭ
１０３…ＲＡＭ、Ｔ１…画像データテーブル
１０４…記憶部、Ｆ１…ＰＬＵファイル、Ｐ１…制御プログラム
１０５…通信インタフェース
１０６…接続インタフェース
１０７…接続インタフェース
２０１…ＣＰＵ
２０２…ＲＯＭ
２０３…ＲＡＭ
２０４…接続インタフェース
２０５…撮像部（第１撮像部）
２０６…音声出力部
３０１…ＣＰＵ
３０２…ＲＯＭ
３０３…ＲＡＭ
３０４…接続インタフェース
３０５…撮像部（第２撮像部）
３０６…音声出力部
１０  …制御部
１１  …商品登録部
１２  …精算部
１３  …照合部
１４  …異常報知部（報知部）
２０  …制御部
２１  …コード認識部（認識部）
２２  …オブジェクト認識部（認識部）
３０  …制御部
３１  …動作検知部
３２  …物体検知部
３３  …個数判断部
【先行技術文献】
【特許文献】
【００７９】
【特許文献１】特開２０１２−４８７４２号公報
【図１】
2018160140.tif 000003
【図２】
2018160140.tif 000004
【図３】
2018160140.tif 000005
【図４】
2018160140.tif 000006