(57)【要約】【課題】オブジェクト認識の認識結果の確認にかかる手間を軽減することができる販売データ処理装置、情報処理装置およびプログラムを提供する。【解決手段】販売データ処理装置は、撮像制御手段と、抽出手段と、第１送信手段と、第１受信手段とを備える。前記撮像制御手段は、撮像部に画像を撮像させる。前記抽出手段は、前記撮像制御手段が撮像させた前記画像に含まれている物品の候補物品を抽出する。前記第１送信手段は、前記抽出手段が抽出した前記候補物品の物品識別情報と、当該候補物品の前記画像とを送信する。前記第１受信手段は、前記第１送信手段が送信した前記画像に含まれている前記物品と、前記物品識別情報の前記候補物品とが適合しているかの確認結果が示された確認結果情報を受信する。【選択図】図５
2019153104.tif 000002
【特許請求の範囲】
【請求項１】
撮像部に画像を撮像させる撮像制御手段と、
前記撮像制御手段が撮像させた前記画像に含まれている物品の候補物品を抽出する抽出手段と、
前記抽出手段が抽出した前記候補物品の物品識別情報と、当該候補物品の前記画像とを送信する第１送信手段と、
前記第１送信手段が送信した前記画像に含まれている前記物品と、前記物品識別情報の前記候補物品とが適合しているかの確認結果が示された確認結果情報を受信する第１受信手段と、
を備える販売データ処理装置。
【請求項２】
前記抽出手段は、前記画像に含まれている前記物品の候補となる金券を抽出する、
請求項１に記載の販売データ処理装置。
【請求項３】
視認性を向上させる画像処理を前記画像に対して実行する画像処理手段を更に備え、
前記第１送信手段は、前記画像処理手段が前記画像処理により生成した処理画像を送信する、
請求項１又は２に記載の販売データ処理装置。
【請求項４】
複数の販売データ処理装置に対応付けられた情報処理装置であって、
画像と、当該画像に含まれている物品の候補物品を示す物品識別情報とを受信する受信手段と、
前記受信手段が受信した前記画像と、前記物品識別情報の前記物品に関する情報とを表示する表示制御手段と、
前記受信手段が受信した前記画像に含まれている前記物品と、前記物品識別情報の前記候補物品とが適合しているかの確認結果を入力する入力手段と、
前記入力手段が受け付けた前記確認結果を送信する送信手段と、
を備える情報処理装置。
【請求項５】
前記表示制御手段は、前記受信手段が受信した前記画像と、前記物品識別情報が示す物品の見本画像とを表示させる、
請求項４に記載の情報処理装置。
【請求項６】
コンピュータを、
撮像部に画像を撮像させる撮像制御手段と、
前記撮像制御手段が撮像させた前記画像に含まれている物品の候補物品を抽出する抽出手段と、
前記抽出手段が抽出した前記候補物品の物品識別情報と、当該候補物品の前記画像とを送信する第１送信手段と、
前記第１送信手段が送信した前記画像に含まれている前記物品と、前記物品識別情報の前記候補物品とが適合しているかの確認結果が示された確認結果情報を受信する第１受信手段と、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、販売データ処理装置、情報処理装置およびプログラムに関する。
【背景技術】
【０００２】
従来、撮像部が撮像した撮像画像から対象物品の特徴量を抽出し、予め用意された照合用の特徴量と比較することで、対象物品の種別等を識別する一般物体認識（オブジェクト認識）に関する技術がある。このオブジェクト認識を用いて、販売対象の商品を識別するＰＯＳ（Point  Of  Sales）システムが提案されている。
【０００３】
また、販売対象の商品を登録する登録処理と、登録処理により登録された商品の会計処理とを顧客の操作により実行するセルフＰＯＳ端末が知られている。セルフＰＯＳ端末に対しても、オブジェクト認識を用いて販売対象の商品を識別する機能の導入が求められている。
【０００４】
しかしながら、オブジェクト認識による対象物品の認識精度は未だ完璧ではない。そこで、店員がオブジェクト認識の認識結果を確認する方法が考えられる。ところが、オブジェクト認識の度に、店員がセルフＰＯＳ端末まで出向き確認するのでは煩雑である。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、オブジェクト認識の認識結果の確認にかかる手間を軽減することができる販売データ処理装置、情報処理装置およびプログラムを提供することである。
【課題を解決するための手段】
【０００６】
実施形態の販売データ処理装置は、撮像制御手段と、抽出手段と、第１送信手段と、第１受信手段とを備える。前記撮像制御手段は、撮像部に画像を撮像させる。前記抽出手段は、前記撮像制御手段が撮像させた前記画像に含まれている物品の候補物品を抽出する。前記第１送信手段は、前記抽出手段が抽出した前記候補物品の物品識別情報と、当該候補物品の前記画像とを送信する。前記第１受信手段は、前記第１送信手段が送信した前記画像に含まれている前記物品と、前記物品識別情報の前記候補物品とが適合しているかの確認結果が示された確認結果情報を受信する。
【図面の簡単な説明】
【０００７】
【図１】図１は、本実施形態にかかるセルフＰＯＳシステムの一例を示す説明図である。
【図２】図２は、セルフＰＯＳ端末のハードウェア構成の一例を示すブロック図である。
【図３】図３は、金券情報テーブルのデータ構成の一例を説明する説明図である。
【図４】図４は、アテンダント端末のハードウェア構成の一例を示すブロック図である。
【図５】図５は、セルフＰＯＳシステムの各種装置が備える特徴的な機能構成の一例を示すブロック図である。
【図６】図６は、確認画面の一例を示す説明図である。
【図７】図７は、本実施形態のセルフＰＯＳ端末が実行する金券確認処理の一例を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、添付図面を参照して、販売データ処理装置、情報処理装置およびプログラムの実施形態を詳細に説明する。なお、以下に説明する実施形態は、販売データ処理装置、情報処理装置およびプログラムの一実施形態であって、その構成や仕様等を限定するものではない。本実施形態の販売データ処理装置、情報処理装置およびプログラムは、スーパーマーケット等の店舗において顧客が操作するセルフＰＯＳ端末及びアテンダント端末への適用例である。また、本実施形態では、オブジェクト認識の対象物品として、商品券や図書券等の商品の支払いに用いられる金券を認識する場合を例に説明する。
【０００９】
図１は、本実施形態にかかるセルフＰＯＳシステム１の一例を示す説明図である。セルフＰＯＳシステム１は、スーパーマーケット等の小売店において、顧客自身が購入する商品の商品登録や会計を行うシステムである。セルフＰＯＳシステム１は、複数台のセルフＰＯＳ端末１０と、アテンダント端末２０とを備える。セルフＰＯＳ端末１０と、アテンダント端末２０とは、有線又は無線により通信可能に接続されている。
【００１０】
セルフＰＯＳ端末１０は、販売対象の商品を登録する登録処理と、登録処理により登録された商品の会計処理とを顧客の操作により実行する販売データ処理装置である。セルフＰＯＳ端末１０は、スキャナ１０５（図２参照）を備えている。スキャナ１０５は、スキャナ１０５の前方にかざされた金券等の物品を撮像する。セルフＰＯＳ端末１０は、スキャナ１０５が撮像した画像に含まれている金券の種別をオブジェクト認識により認識する。
【００１１】
アテンダント端末２０は、アテンダントと呼ばれる店員が操作するＰＯＳ端末やパーソナルコンピュータ等の情報処理装置である。アテンダント端末２０は、複数のセルフＰＯＳ端末１０に対応付けられている。そして、アテンダント端末２０は、対応付けられている複数のセルフＰＯＳ端末１０の状態を表示する。また、アテンダント端末２０は、セルフＰＯＳ端末１０の状態に応じて、セルフＰＯＳ端末１０を補助する。
【００１２】
セルフＰＯＳ端末１０は、オブジェクト認識によりスキャナ１０５が撮像した金券の候補である候補金券を一又は複数抽出する。セルフＰＯＳ端末１０を操作する顧客は、抽出された一又は複数の候補金券から、会計に利用する金券の種別を選択する。セルフＰＯＳ端末１０は、撮像した金券と、選択された候補金券とが適合しているか否かの確認を要求する確認要求情報をアテンダント端末２０に送信する。
【００１３】
確認要求情報には、セルフＰＯＳ端末コード、金券コード、金券枚数、及び処理画像が含まれている。セルフＰＯＳ端末コードは、セルフＰＯＳ端末１０を識別可能な識別情報である。すなわち、セルフＰＯＳ端末コードは、確認要求情報の要求元のセルフＰＯＳ端末１０を示す情報である。金券コードは、金券の種別を識別可能な識別情報である。すなわち、金券コードは、一又は複数の候補金券から選択された一の候補金券の種別を示す情報である。金券枚数は、利用する金券の枚数を示す情報である。処理画像は、セルフＰＯＳ端末１０が撮像した金券の画像である。また、一取引で複数の種別の金券を利用する場合、確認要求情報には、種別ごとの金券コード、金券枚数、及び処理画像が含まれている。
【００１４】
アテンダント端末２０は、受信した確認要求情報に含まれている各種情報を表示する。そして、アテンダント端末２０は、確認要求情報に含まれている処理画像の金券と、確認要求情報に含まれている金券コードの金券とが適合しているか否かの店員の確認を受け付ける。アテンダント端末２０は、確認要求情報に含まれているセルフＰＯＳ端末コードのセルフＰＯＳ端末１０に、店員の確認結果が示された確認結果情報を送信する。そして、セルフＰＯＳ端末１０は、確認結果情報に含まれる確認結果を表示する。また、セルフＰＯＳ端末１０は、確認結果に応じた処理を実行する。
【００１５】
次に、セルフＰＯＳシステム１の各種装置のハードウェア構成について説明する。
【００１６】
図２は、セルフＰＯＳ端末１０のハードウェア構成の一例を示すブロック図である。セルフＰＯＳ端末１０は、制御部１０１、記憶部１０２、通信インタフェース１０３、入出金部１０４、スキャナ１０５、カードリーダ１０６、プリンタ１０７、表示操作部１０８、及び表示灯１０９を備える。これら各部は、データバスやアドレスバス等のシステムバス１１０を介して相互に接続している。
【００１７】
制御部１０１は、セルフＰＯＳ端末１０の全体の動作を制御し、セルフＰＯＳ端末１０が有する各種の機能を実現するコンピュータである。制御部１０１は、ＣＰＵ（Central  Processing  Unit）と、ＲＯＭ（Read  Only  Memory）と、ＲＡＭ（Random  Access  Memory）とを備える。ＣＰＵは、セルフＰＯＳ端末１０の動作を統括的に制御する。ＲＯＭは、各種プログラムやデータを記憶する記憶媒体である。ＲＡＭは、各種プログラムや各種データを一時的に記憶する記憶媒体である。そして、ＣＰＵは、ＲＡＭをワークエリア（作業領域）としてＲＯＭ又は記憶部１０２等に格納されたプログラムを実行する。
【００１８】
記憶部１０２は、ＨＤＤ（Hard  Disk  Drive）やＳＳＤ（Solid  State  Drive）などの記憶装置である。記憶部１０２は、制御プログラム１１１と、金券情報テーブル１１２とを記憶する。
【００１９】
制御プログラム１１１は、オペレーティングシステムや、セルフＰＯＳ端末１０が備えている機能を発揮させるためのプログラムである。制御プログラム１１１には、本実施形態に係る特徴的な機能を発揮させるプログラムが含まれる。
【００２０】
図３は、金券情報テーブル１１２のデータ構成の一例を説明する説明図である。金券情報テーブル１１２は、金券の各種情報を記憶する情報テーブルである。金券情報テーブル１１２は、金券コード、名称、金額、見本画像、特徴量、及び利用可否を関連付けて記憶する。金券コードは、金券の種別を識別可能な識別情報である。名称は、金券の名称を示す情報である。金額は、金券が有している価値を示す情報である。見本画像は、金券の見本となる画像の情報である。特徴量は、金券の外観の特徴を示す照合用の情報である。金券の外観の特徴には、金券の大きさや、金券の形状や、金券に印字されている数字や文字等の文字情報や、金券の色彩等が含まれる。利用可否は、会計に利用可能な金券であるか否かを示す情報である。
【００２１】
通信インタフェース１０３は、ネットワークを介して接続された装置との通信を実行する。例えば、通信インタフェース１０３は、ネットワークを介して接続されたアテンダント端末２０との通信を実行する。
【００２２】
入出金部１０４は、会計処理等の処理において、貨幣の入金と出金とを実行する自動釣銭機である。入出金部１０４は、入金口から入金された硬貨や紙幣等の貨幣を収納部に収納する。また、入出金部１０４は、釣銭として硬貨や紙幣等の貨幣を収納部から出金口に出金する。
【００２３】
スキャナ１０５は、セルフＰＯＳ端末１０の前方にかざされた物品を撮像するカラーＣＣＤイメージセンサやカラーＣＭＯＳイメージセンサ等の撮像部や照明を備える。スキャナ１０５は、例えば３０ｆｐｓ（Frame  Per  Second）等のフレームレートで画像を撮像する。スキャナ１０５は、順次撮像した画像をＲＡＭ等に記憶する。
【００２４】
カードリーダ１０６は、クレジットカード等の決済に用いるカードの記憶媒体が記憶する情報の読み取りを実行する装置である。
【００２５】
プリンタ１０７は、一取引における取引内容をレシート用紙に印字する。
【００２６】
表示操作部１０８は、例えばタッチパネルが積層された液晶表示装置である。
【００２７】
表示灯１０９は、セルフＰＯＳ端末１０に異常が発生したこと等を店員に通知する警告灯である。
【００２８】
図４は、アテンダント端末２０のハードウェア構成の一例を示すブロック図である。アテンダント端末２０は、制御部２０１、記憶部２０２、通信インタフェース２０３、表示部２０４、及び操作部２０５を備える。これら各部は、データバスやアドレスバス等のシステムバス２０６を介して相互に接続している。
【００２９】
制御部２０１は、アテンダント端末２０の全体の動作を制御し、アテンダント端末２０が有する各種の機能を実現するコンピュータである。制御部２０１は、ＣＰＵと、ＲＯＭと、ＲＡＭとを備える。ＣＰＵは、アテンダント端末２０の動作を統括的に制御する。ＲＯＭは、各種プログラムやデータを記憶する記憶媒体である。ＲＡＭは、各種プログラムや各種データを一時的に記憶する記憶媒体である。そして、ＣＰＵは、ＲＡＭをワークエリア（作業領域）としてＲＯＭ又は記憶部２０２等に格納されたプログラムを実行する。
【００３０】
記憶部２０２は、ＨＤＤやＳＳＤなどの記憶装置である。記憶部２０２は、制御プログラム２０７と、金券情報テーブル２０８とを記憶する。
【００３１】
制御プログラム２０７は、オペレーティングシステムや、アテンダント端末２０が備えている機能を発揮させるためのプログラムである。制御プログラム２０７には、本実施形態に係る特徴的な機能を発揮させるプログラムが含まれる。
【００３２】
金券情報テーブル２０８は、セルフＰＯＳ端末１０の記憶部１０２に記憶された金券情報テーブル１１２と同様に、金券の各種情報を記憶する情報テーブルである。
【００３３】
通信インタフェース２０３は、ネットワークを介して接続された装置との通信を実行する。例えば、通信インタフェース２０３は、ネットワークを介して接続されたセルフＰＯＳ端末１０との通信を実行する。
【００３４】
表示部２０４は、例えば液晶表示装置である。なお、表示部２０４は、例えばタッチパネルが積層された液晶表示装置であってもよい。
【００３５】
操作部２０５は、例えばキーボードやマウス等の操作を入力する入力装置である。
【００３６】
次に、セルフＰＯＳシステム１の各種装置が備える特徴的な機能について説明する。ここで、図５は、セルフＰＯＳシステム１の各種装置が備える特徴的な機能構成の一例を示すブロック図である。
【００３７】
セルフＰＯＳ端末１０の制御部１０１は、記憶部１０２の制御プログラム１１１をＲＡＭに展開し、制御プログラム１１１に従って動作することで、図５に示す各機能部をＲＡＭ上に生成する。具体的には、セルフＰＯＳ端末１０の制御部１０１は、機能部として、通信制御部１００１、操作制御部１００２、商品登録部１００３、撮像制御部１００４、金券検出部１００５、特徴量抽出部１００６、類似度算出部１００７、候補抽出部１００８、利用判定部１００９、表示制御部１０１０、画像生成部１０１１、確認制御部１０１２、金券登録部１０１３、及び会計処理部１０１４を備える。
【００３８】
通信制御部１００１は、通信インタフェース１０３を制御して、ネットワークに接続された装置との通信を制御する。例えば、通信制御部１００１は、アテンダント端末２０との通信を制御する。
【００３９】
操作制御部１００２は、表示操作部１０８を制御して、各種操作を受け付ける。
【００４０】
商品登録部１００３は、販売対象の商品を登録する商品登録処理を制御する。例えば、商品登録部１００３は、スキャナ１０５が商品を識別可能な商品コードを読み取った場合に、読み取った商品コードにより特定される商品を登録する。なお、商品登録部１００３は、商品コードの読み取りに限らず、操作入力により特定された商品を登録してもよい。
【００４１】
撮像制御部１００４は、撮像制御手段の一例である。撮像制御部１００４は、スキャナ１０５を制御して、画像を撮像させる。そして、撮像制御部１００４は、スキャナ１０５が順次撮像した画像をＲＡＭ等に記憶させる。
【００４２】
金券検出部１００５は、撮像制御部１００４がスキャナ１０５に撮像させた画像に含まれている金券を検出する。例えば、金券検出部１００５は、画像に含まれる金券の全部または一部を、パターンマッチング技術等を用いて検出する。具体的には、金券検出部１００５は、画像を２値化した画像から輪郭線等を抽出する。金券検出部１００５は、予め用意した画像から抽出した輪郭線と、検出対象の画像から抽出した輪郭線との差分に基づいて金券を検出する。ここで、予め用意した画像は、金券等が含まれていない背景をスキャナ１０５が撮像した画像である。よって、金券検出部１００５は、検出対象の画像に金券が含まれていることを条件に、予め用意した画像から抽出した輪郭線にはない輪郭線を、検出対象の画像から抽出した輪郭線から検出することができる。そして、金券検出部１００５は、予め用意した画像から抽出した輪郭線にはない輪郭線に基づいて金券を検出する。
【００４３】
特徴量抽出部１００６は、スキャナ１０５が撮像した画像から金券検出部１００５が検出した金券の外観の特徴量を抽出する。すなわち、特徴量抽出部１００６は、金券の大きさや、金券の形状や、金券に印字されている数字や文字等の文字情報や、金券の色彩等の特徴量を抽出する。
【００４４】
類似度算出部１００７は、金券情報テーブル１１２に登録された金券の照合用特徴量と、特徴量抽出部１００６が抽出した金券の特徴量とを比較することで、金券情報テーブル１１２に登録された金券の種別ごとの類似度を算出する。ここで、類似度は、金券情報テーブル１１２に記憶されている金券の照合用特徴量を１００％＝「類似度：１．０」とした場合に、金券の全部または一部がどの程度類似しているかを示すものである。なお、類似度算出部１００７は、例えば、大きさと形状と文字情報と色彩とでは、重み付けを変えて類似度を算出してもよい。
【００４５】
このように画像中に含まれる物体を認識することは一般物体認識（generic  object  recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井  啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６  [平成３０年２月２３日検索]，インターネット<URL:  http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf  >
【００４６】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie  Shottonら，“Semantic  Texton  Forests  for  Image  Categorization  and  Segmentation”，[平成３０年２月２３日検索]，インターネット<URL:  http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf  >
【００４７】
なお、金券情報テーブル１１２に登録された各種金券の照合用特徴量と、特徴量抽出部１００６が抽出した金券の特徴量との類似度の算出方法は特に問わないものとする。例えば、類似度算出部１００７は、金券情報テーブル１１２に登録された金券の照合用特徴量と、特徴量抽出部１００６が抽出した金券の特徴量との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。
【００４８】
候補抽出部１００８は、抽出手段の一例である。候補抽出部１００８は、撮像制御部１００４が撮像させた画像に含まれている物品の候補となる候補物品を示す物品識別情報を抽出する。さらに詳しくは、候補抽出部１００８は、類似度算出部１００７が算出した各種金券ごとの類似度に基づいて、撮像制御部１００４がスキャナ１０５に撮像させた画像に含まれる金券の候補の金券コードを抽出する。例えば、候補抽出部１００８は、類似度が閾値以上の一又は複数の金券の金券コードを、候補金券として抽出する。
【００４９】
利用判定部１００９は、候補抽出部１００８が抽出した候補金券が会計に利用可能であるか否かを判定する。例えば、利用判定部１００９は、候補抽出部１００８が抽出した候補金券の金券コードに関連付けられている金券情報テーブル１１２の利用可否に基づいて利用可能であるか否かを判定する。利用判定部１００９は、金券情報テーブル１１２の利用可否に可能と設定されている場合に、会計に利用可能と判定する。また、利用判定部１００９は、金券情報テーブル１１２の利用可否に不可と設定されている場合に、会計への利用不可と判定する。
【００５０】
表示制御部１０１０は、表示操作部１０８を制御して、各種画面を表示させる。例えば、表示制御部１０１０は、セルフＰＯＳ端末１０の操作を案内する操作画面を表示する。さらに詳しくは、表示制御部１０１０は、例えば金券認識画面を表示させる。金券認識画面は、オブジェクト認識において、候補抽出部１００８が抽出した候補金券から確認要求の対象となる一の候補金券を選択させる画面である。
【００５１】
金券認識画面には、画像表示領域と、候補選択領域とが含まれている。画像表示領域は、撮像制御部１００４がスキャナ１０５に撮像させた画像を表示する領域である。候補選択領域は、候補抽出部１００８が抽出した候補金券の其々を表示する領域である。候補選択領域には、例えば金券情報テーブル１１２から読み出した、各候補金券の金券コードや、名称や、金額や、見本画像等が含まれている。セルフＰＯＳ端末１０の操作者となる顧客は、候補選択領域から一の候補金券を選択する。
【００５２】
また、表示制御部１０１０は、候補選択領域から一の候補金券が選択された場合に、選択された候補金券の利用枚数の入力を要求する枚数入力画面を表示する。例えば、枚数入力画面には、置数ボタンが含まれている。顧客は、所望の置数ボタンを選択することで利用枚数を入力する。
【００５３】
また、表示制御部１０１０は、利用判定部１００９の判定結果に基づいて、候補金券の金券が利用可能か否かを示す画面を表示させる。例えば、表示制御部１０１０は、候補金券の金券が利用不可の場合、利用不可であることを示すメッセージ等を表示する。
【００５４】
また、表示制御部１０１０は、通信制御部１００１が送信した確認要求情報に対する応答として、アテンダント端末２０から受信した確認結果情報を表示させる。例えば、表示制御部１０１０は、通信制御部１００１が送信した確認要求情報に含まれている処理画像の金券と、確認要求情報に含まれている金券コードの候補金券とが適合しているか否かの店員の確認結果を表示させる。
【００５５】
画像生成部１０１１は、画像処理手段の一例である。画像生成部１０１１は、撮像制御部１００４がスキャナ１０５に撮像させた画像に対して、視認性を向上させる画像処理を実行することで処理画像を生成する。例えば、画像生成部１０１１は、トリミング処理や、台形補正処理等の画像処理を、撮像制御部１００４がスキャナ１０５に撮像させた画像に対して実行する。トリミング処理は、スキャナ１０５が撮像した画像から、金券部分の画像を切り出す処理である。台形補正処理は、トリミング処理により切り出した金券部分の画像を矩形形状に修正する処理である。例えば、スキャナ１０５にかざした金券が傾いている場合等、スキャナ１０５が撮像した画像の金券は台形になってしまう。画像生成部１０１１は、台形補正処理により台形の物品を矩形形状に修正する。
【００５６】
確認制御部１０１２は、第１送信手段、及び第１受信手段の一例である。確認制御部１０１２は、通信制御部１００１と協働で、候補金券に対する確認要求情報の送信を制御する。さらに詳しくは、確認制御部１０１２は、金券認識画面で選択された候補金券の金券コードと、枚数入力画面で入力された候補金券の利用枚数と、画像生成部１０１１が候補金券の画像から生成した処理画像とを含む確認要求情報をアテンダント端末２０に送信する。なお、確認要求情報は、最終的にアテンダント端末２０に到達すればよい。すなわち、確認制御部１０１２は、確認要求情報を中継する中継装置に確認要求情報を送信してもよい。この場合には、中継装置がアテンダント端末２０に確認要求情報を送信する。
【００５７】
また、確認制御部１０１２は、送信した確認要求情報に対する確認結果情報を受信する。確認結果情報には、確認要求情報に含まれている処理画像の金券と、確認要求情報に含まれている金券コードの候補金券とが適合しているかの確認結果が含まれている。
【００５８】
金券登録部１０１３は、確認結果情報に含まれる確認結果が承認である場合、確認要求情報の確認対象の候補金券を利用対象の金券として登録する。一方、金券登録部１０１３は、確認結果情報に含まれる確認結果が拒否である場合、確認要求情報の確認対象の候補金券は利用対象の金券として登録しない。
【００５９】
会計処理部１０１４は、商品登録部１００３が販売登録した商品の会計処理を制御する。例えば、会計処理部１０１４は、商品登録部１００３が販売登録した商品の合計価格を算出する。また、会計処理部１０１４は、顧客から受領した金額から合計価格を減算してお釣りを算出する。さらに、会計処理部１０１４は、金券登録部１０１３により利用対象の金券が登録されている場合には、販売登録した商品の合計価格から登録されている金券の合計金額を減算する。このようにして、会計処理部１０１４は、請求金額を算出する。
【００６０】
アテンダント端末２０の制御部２０１は、記憶部２０２の制御プログラム２０７をＲＡＭに展開し、制御プログラム２０７に従って動作することで、図５に示す各機能部をＲＡＭ上に生成する。具体的には、アテンダント端末２０の制御部２０１は、機能部として、通信制御部２００１、操作制御部２００２、及び表示制御部２００３を備える。
【００６１】
通信制御部２００１は、第２送信手段、及び第２受信手段の一例である。通信制御部２００１は、通信インタフェース２０３を制御して、ネットワークに接続された装置との通信を制御する。例えば、通信制御部２００１は、セルフＰＯＳ端末１０との通信を制御する。例えば、通信制御部２００１は、セルフＰＯＳ端末１０から確認要求情報を受信する。また、通信制御部２００１は、確認要求情報に含まれているセルフＰＯＳ端末コードのセルフＰＯＳ端末１０に、確認要求情報に対する確認結果情報を送信する。
【００６２】
操作制御部２００２は、入力手段の一例である。操作制御部２００２は、操作部２０５を制御して、各種操作を受け付ける。また、操作制御部２００２は、表示部２０４にタッチパネルが積層されている場合、表示部２０４を制御して、各種操作を受け付ける。例えば、操作制御部２００２は、表示制御部２００３が表示した画面において、通信制御部２００１が受信した確認要求情報に含まれている処理画像の金券と、金券コードの候補金券とが適合しているか否かの確認結果を入力する操作を受け付ける。
【００６３】
表示制御部２００３は、表示制御手段の一例である。表示制御部２００３は、表示部２０４を制御して、各種画面を表示させる。例えば、表示制御部２００３は、対応付けられているセルフＰＯＳ端末１０の其々の状態を表示する状態一覧画面を表示させる。さらに詳しくは、表示制御部２００３は、通信制御部２００１が確認要求情報を受信した場合に、例えば確認画面Ｇ１を表示する。
【００６４】
ここで、図６は、確認画面Ｇ１の一例を示す説明図である。確認画面Ｇ１は、セルフＰＯＳ端末１０が撮像した金券と、セルフＰＯＳ端末１０で選択された候補金券とが適合しているか否かを確認する画面である。確認画面Ｇ１には、セルフＰＯＳ端末表示領域Ｇ１１と、一又は複数の確認対象表示領域Ｇ１２と、合計表示領域Ｇ１３とが含まれている。
【００６５】
セルフＰＯＳ端末表示領域Ｇ１１は、確認要求情報を送信したセルフＰＯＳ端末１０のセルフＰＯＳ端末コードを表示する領域である。確認対象表示領域Ｇ１２は、確認対象の其々の候補金券に関する情報を表示する領域である。すなわち、確認対象表示領域Ｇ１２は、確認要求情報に含まれている金券コードの金券に関する情報を表示する領域である。図６に示す確認画面Ｇ１は、確認要求情報に２種類の候補金券が含まれていた為に、２つの確認対象表示領域Ｇ１２が含まれている。
【００６６】
確認対象表示領域Ｇ１２には、番号と、名称と、金額と、枚数と、小計と，スキャン画像と、見本画像と、ＯＫボタンＧ１２１と、ＮＧボタンＧ１２２とが含まれている。番号は、確認要求情報に含まれている候補金券の通し番号である。名称は、確認要求情報に含まれている金券コードに、金券情報テーブル２０８で関連付けられている候補金券の名称である。金額は、確認要求情報に含まれている金券コードに、金券情報テーブル２０８で関連付けられている候補金券の金額である。枚数は、確認要求情報に含まれている候補金券の利用枚数である。小計は、金額に枚数を乗算した数値である。スキャン画像は、確認要求情報に含まれている処理画像である。見本画像は、確認要求情報に含まれている金券コードに、金券情報テーブル２０８で関連付けられている候補金券の見本画像である。
【００６７】
ＯＫボタンＧ１２１と、ＮＧボタンＧ１２２とは、確認要求情報に含まれている処理画像の金券と、確認要求情報に含まれている金券コードの候補金券とが適合しているかの確認結果を入力するボタンである。ＯＫボタンＧ１２１は、セルフＰＯＳ端末１０が撮像した金券が、セルフＰＯＳ端末１０で選択された候補金券に適合する場合に押下されるボタンである。ＮＧボタンＧ１２２は、セルフＰＯＳ端末１０が撮像した金券が、セルフＰＯＳ端末１０で選択された候補金券に適合しない場合に押下されるボタンである。
【００６８】
合計表示領域Ｇ１３は、確認対象表示領域Ｇ１２の其々の金券の小計の合計金額を表示する領域である。また、合計表示領域Ｇ１３には、ＯＫボタンＧ１３１と、ＮＧボタンＧ１３２とが含まれている。ＯＫボタンＧ１３１は、合計金額が正しい場合に押下されるボタンである。ＮＧボタンＧ１３２は、合計金額が誤りである場合に押下されるボタンである。そして、通信制御部２００１は、ＯＫボタンＧ１３１、又はＮＧボタンＧ１３２が押下された場合に、ＯＫボタンＧ１２１と、ＮＧボタンＧ１２２とにより入力された各種金券の確認結果を含む確認結果情報を送信する。
【００６９】
次に、セルフＰＯＳ端末１０が実行する金券確認処理について説明する。ここで、図７は、本実施形態のセルフＰＯＳ端末１０が実行する金券確認処理の一例を示すフローチャートである。
【００７０】
操作制御部１００２は、一取引の会計で金券の利用を明示する操作を受け付ける（ステップＳ１１）。金券の利用を明示する操作を受け付けていないことを条件に（ステップＳ１１；Ｎｏ）、セルフＰＯＳ端末１０は、ステップＳ１１に移行して待機する。
【００７１】
金券の利用を明示する操作を受け付けたことを条件に（ステップＳ１１；Ｙｅｓ）、セルフＰＯＳ端末１０は、金券認識処理を実行する（ステップＳ１２）。
【００７２】
さらに詳しくは、表示制御部１０１０は、利用する金券をスキャナ１０５の前方にかざすことを案内する案内画面を表示させる。撮像制御部１００４は、スキャナ１０５の前方を所定のフレームレートで撮像する。金券検出部１００５は、画像から金券を検出する検出処理を、撮像制御部１００４が撮像させた画像に対して実行する。特徴量抽出部１００６は、金券検出部１００５が金券を検出したことを条件に、画像の金券部分から金券の特徴量を抽出する。類似度算出部１００７は、特徴量抽出部１００６が抽出した特徴量と、金券情報テーブル１１２に記憶された各種金券の照合用の特徴量とを比較して、各種金券ごとの類似度を算出する。候補抽出部１００８は、類似度に基づいて候補金券を抽出する。
【００７３】
ここで、撮像制御部１００４は、所定のフレームレートで画像を撮像させる。そこで、金券検出部１００５と、特徴量抽出部１００６と、類似度算出部１００７と、候補抽出部１００８は、所定のフレームレートで撮像された各画像に対して金券認識処理を実行して、累積結果に基づいて候補金券を抽出してもよい。例えば、候補抽出部１００８は、所定の類似度以上の画像が閾値以上の場合に該当する金券を候補金券として抽出してもよい。
【００７４】
候補抽出部１００８は、金券認識処理により候補金券を抽出したか否かを判定する（ステップＳ１３）。候補金券を抽出していないことを条件に（ステップＳ１３；Ｎｏ）セルフＰＯＳ端末１０は、ステップＳ１３で待機する。
【００７５】
候補金券を抽出したことを条件に（ステップＳ１３；Ｙｅｓ）、利用判定部１００９は、候補金券を会計に利用可能であるか否かを判定する（ステップＳ１４）。
【００７６】
候補金券を会計に利用できないことを条件に（ステップＳ１４；Ｎｏ）、表示制御部１０１０は、候補金券を会計に利用できないこと通知する画面を表示させる（ステップＳ１５）。また、セルフＰＯＳ端末１０は、ステップＳ１１に移行する。
【００７７】
候補金券を会計に利用可能であることを条件に（ステップＳ１４；Ｙｅｓ）、表示制御部１０１０は、顧客が利用しようとしている金券を候補金券から選択させる金券認識画面を表示させる（ステップＳ１６）。
【００７８】
ステップＳ１４において、候補抽出部１００８が抽出した複数の候補金券のうち一部の候補金券が利用不可の場合、セルフＰＯＳ端末１０は、ステップＳ１５に移行せずに、ステップＳ１６に移行しもよい。この場合、表示制御部１０１０は、候補金券のうち利用不可の候補金券はその旨の明示し、利用可能な候補金券は選択可能であることを明示した金券認識画面を表示させてもよい。
【００７９】
操作制御部１００２は、候補金券を選択する操作を受け付けたか否かを判定する（ステップＳ１７）。候補金券を選択する操作を受け付けていないことを条件に（ステップＳ１７；Ｎｏ）、セルフＰＯＳ端末１０は、ステップＳ１７で待機する。
【００８０】
候補金券を選択する操作を受け付けたことを条件に（ステップＳ１７；Ｙｅｓ）、操作制御部１００２は、選択した候補金券の利用枚数を入力する操作を受け付けたか否かを判定する（ステップＳ１８）。利用枚数を入力する操作を受け付けたていないことを条件に（ステップＳ１８；Ｎｏ）、セルフＰＯＳ端末１０は、ステップＳ１８で待機する。
【００８１】
利用枚数を入力する操作を受け付けたことを条件に（ステップＳ１８；Ｙｅｓ）、操作制御部１００２は、他にも利用する金券があるか否かを選択させる操作を受け付ける（ステップＳ１９）。他にも利用する金券があることが選択されたことを条件に（ステップＳ１９；Ｎｏ）、セルフＰＯＳ端末１０は、ステップＳ１２に移行して、利用する金券を認識する金券認識処理を実行する。
【００８２】
他に利用する金券が無いことが選択されたことを条件に（ステップＳ１９；Ｙｅｓ）、確認制御部１０１２は、自装置に対応付けられたアテンダント端末２０に、候補金券の確認を要求する確認要求情報を送信する（ステップＳ２０）。
【００８３】
通信制御部１００１は、確認要求情報に対する確認結果情報を受信したか否かを判定する（ステップＳ２１）。確認結果情報を受信していないことを条件に（ステップＳ２１；Ｎｏ）、セルフＰＯＳ端末１０は、ステップＳ２１で待機する。
【００８４】
確認結果情報を受信したことを条件に（ステップＳ２１；Ｙｅｓ）、表示制御部１０１０は、確認結果情報を表示させる（ステップＳ２２）。
【００８５】
セルフＰＯＳ端末１０は、金券確認処理を以上により終了する。
【００８６】
以上のように、本実施形態に係るセルフＰＯＳ端末１０によれば、スキャナ１０５は、かざされた金券を撮像する。セルフＰＯＳ端末１０は、オブジェクト認識により撮像した画像に含まれている金券の候補を抽出する。また、セルフＰＯＳ端末１０は、抽出した金券の候補を示す金券コードと、撮像した画像とをアテンダント端末２０に送信して、金券コードと、画像の金券とが適合しているかの確認を要求する。そして、セルフＰＯＳ端末１０は、アテンダント端末２０から確認要求に対する確認結果を受信する。よって、店員は、セルフＰＯＳ端末１０に出向くことなく、アテンダント端末２０において金券を確認することができる。よって、本実施形態に係るセルフＰＯＳ端末１０は、オブジェクト認識の認識結果の確認にかかる手間を軽減することができる。
【００８７】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００８８】
また、上記実施形態では、オブジェクト認識の対象物品として、商品券や図書券等の商品の支払いに用いられる金券を認識する場合を例に説明した。しかしながら、オブジェクト認識の対象物品は、金券に限らない。例えば、オブジェクト認識の対象物品は、商品であってもよい。セルフＰＯＳ端末１０は、候補商品の確認要求情報をアテンダント端末２０に送信することで、アテンダント端末２０の店員により画像に含まれている物品と、確認要求情報の候補商品とが適合しているか確認される。よって、セルフＰＯＳ端末１０は、実際に販売する商品とは異なる商品が販売登録してしまう可能性を低減させることができる。
【００８９】
また、オブジェクト認識の対象物品が商品の場合には、アテンダント端末２０は、セルフＰＯＳ端末１０がオブジェクト認識により商品を認識するごとに、撮像した画像の物品と候補商品とが適合しているか否かを判定してもよい。
【００９０】
または、アテンダント端末２０は、一取引での販売対象の商品を一括して確認してもよい。この場合、セルフＰＯＳ端末１０は、例えば商品登録を終了する操作が入力された場合に、商品登録で撮像した一又は複数の画像と、一又は複数の候補商品とをアテンダント端末２０に送信する。アテンダント端末２０は、受信した一又は複数の画像と、一又は複数の候補商品とを表示して、撮像した画像の物品と候補商品とが適合しているか否かの入力を受け付ける。
【００９１】
また、オブジェクト認識の対象物品が商品の場合には、アテンダント端末２０は、類似度に応じて、撮像した画像の物品と候補商品とが適合しているかの確認を店員に要求してもよい。例えば、アテンダント端末２０は、受信した確認要求情報の画像から抽出された特徴量と、選択された候補商品との類似度が閾値未満のであることを条件に、確認画面Ｇ１を表示して店員に確認を求める。このように、アテンダント端末２０は、店員の確認対象を減らすことで、店員の負担を軽減することができる。
【００９２】
また、セルフＰＯＳ端末１０は、一又は複数の候補商品から顧客が選択した一の候補商品の類似度が閾値未満であることを条件に、確認要求情報をアテンダント端末２０に送信してもよい。そして、セルフＰＯＳ端末１０は、一又は複数の候補商品から顧客が選択した一の候補商品の類似度が閾値以上であることを条件に、確認要求情報をアテンダント端末２０に送信しなくてもよい。この場合においても、店員による確認対象が少なくなるため、セルフＰＯＳ端末１０は、店員の負担を軽減することができる。
【００９３】
また、オブジェクト認識の対象物品が金券の場合にも、アテンダント端末２０は、類似度に応じて、撮像した画像の物品と候補金券とが適合しているかの確認を店員に求めてもよい。しかし、金券の重要性を考慮して、アテンダント端末２０は、類似度に関わらず撮像した画像の物品と候補金券とが適合しているかの確認をアテンダント端末２０に要求することが好ましい。
【００９４】
上記実施形態や変形例の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らないものとする。例えば、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
【００９５】
また、上記実施形態や変形例の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよいし、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。
【符号の説明】
【００９６】
１  セルフＰＯＳシステム
１０  セルフＰＯＳ端末
２０  アテンダント端末
１０５  スキャナ
１００１、２００１  通信制御部
１００２、２００２  操作制御部
１００３  商品登録部
１００４  撮像制御部
１００５  金券検出部
１００６  特徴量抽出部
１００７  類似度算出部
１００８  候補抽出部
１００９  利用判定部
１０１０、２００３  表示制御部
１０１１  画像生成部
１０１２  確認制御部
１０１３  金券登録部
１０１４  会計処理部
【先行技術文献】
【特許文献】
【００９７】
【特許文献１】特開２０１６−０９５７６５公報
【図１】
2019153104.tif 000003
【図２】
2019153104.tif 000004
【図３】
2019153104.tif 000005
【図４】
2019153104.tif 000006
【図５】
2019153104.tif 000007
【図６】
2019153104.tif 000008
【図７】
2019153104.tif 000009