(57)【要約】【課題】商品を購入するユーザが商品の代金の精算を行うための、改善された精算装置および精算方法を提供する。【解決手段】精算装置は、台上に置かれた商品を撮影する第１のカメラと、商品の画像に基づいて、商品を認識する商品画像認識回路と、商品の認識結果を表示する表示装置と、商品の認識結果の訂正指示の入力を受け付ける入力装置と、音声を検出するマイクと、音声を音声認識する音声認識回路と、音声認識の結果に含まれるキーワードに基づいて商品の候補を抽出する制御回路と、を備え、表示装置は、候補を表示し、入力装置は、候補の選択をユーザから受け付け、制御回路は、選択に基づいて、商品の認識結果を訂正する。【選択図】図１
2020197758.tif 000002
【特許請求の範囲】
【請求項１】
台上に置かれた商品を撮影する第１のカメラと、
前記商品の画像に基づいて、前記商品を認識する商品画像認識回路と、
前記商品の認識結果を表示する表示装置と、
前記商品の認識結果の訂正指示の入力を受け付ける入力装置と、
音声を検出するマイクと、
前記音声を音声認識する音声認識回路と、
前記音声認識の結果に含まれるキーワードに基づいて前記商品の候補を抽出する制御回路と、
を備え、
前記表示装置は、前記候補を表示し、
前記入力装置は、前記候補の選択をユーザから受け付け、
前記制御回路は、前記選択に基づいて、前記商品の認識結果を訂正する、
精算装置。
【請求項２】
前記キーワードは、メーカー名、商品名、ブランド名、ジャンル名、およびシリーズ名の１つまたは２つ以上の組み合わせである、請求項１に記載の精算装置。
【請求項３】
前記第１のカメラは、前記台に対向して設けられる、請求項１または２に記載の精算装置。
【請求項４】
前記マイクは、指向性を備えるマイクアレイを含む、請求項１から３のいずれか一項に記載の精算装置。
【請求項５】
ユーザの顔を撮影する第２のカメラと、
前記第２のカメラによって撮影された画像に基づいて、前記ユーザを認識する顔画像認識回路と、
前記認識されたユーザに対して、前記商品の代金を課金処理する精算処理回路と、
を備える、
請求項１から４のいずれか一項に記載の精算装置。
【請求項６】
前記マイクは、前記第１のカメラおよび前記第２のカメラの間に設けられる、請求項５に記載の精算装置。
【請求項７】
前記表示装置は、前記台、前記第２のカメラ、および前記マイクに隣り合って設けられる、請求項５または６に記載の精算装置。
【請求項８】
前記制御回路は、前記ユーザまたは前記ユーザの属性に応じて、前記表示装置が表示する前記候補の順序を変更する、請求項５から７のいずれか一項に記載の精算装置。
【請求項９】
前記入力装置は、前記表示装置の表示面に設けられるタッチパネルを備える、請求項１から８のいずれか一項に記載の精算装置。
【請求項１０】
カメラが、台上に置かれた商品を撮影し、
商品画像認識回路が、前記商品の画像に基づいて、前記商品を認識し、
表示装置が、前記商品の認識結果を表示し、
入力装置が、前記商品の認識結果の訂正指示の入力を受け付け、
マイクが、音声を検出し、
音声認識回路が、前記音声を音声認識し、
制御回路が、前記音声認識の結果に含まれるキーワードに基づいて前記商品の候補を抽出し、
前記表示装置が、前記候補を表示し、
前記入力装置が、前記候補の選択をユーザから受け付け、
前記制御回路が、前記選択に基づいて、前記商品の認識結果を訂正する、
精算方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、精算装置および精算方法に関する。
【背景技術】
【０００２】
商品毎の売り上げを販売時点において管理する、販売時点情報管理（ＰＯＳ、Point Of Sales）システムを導入する店舗が増えている。ＰＯＳシステムにおいて使用されるレジスタは、来店客が購入する商品のパッケージに印刷されたバーコードを読み取るバーコードリーダーを備え、レジスタは、読み取られたバーコードに基づいて、商品を特定し登録する。バーコードを備えない商品（例えば、野菜、果物）を登録するために、表示部および操作部を備える商品登録装置が提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−６８５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、人件費高騰による店舗従業員確保の困難化に伴い、商品を購入する来店客が店舗従業員の介入なしに商品の代金を精算するセルフレジの需要が高まりつつある。しかしながら、特許文献１に記載の商品登録装置のような、店舗従業員の使用を想定した商品登録装置をセルフレジに転用して来店客に使用させると、様々な困難が生じる。例えば、商品のパッケージにおけるバーコードの印刷位置は、商品によって異なる。したがって、来店客がバーコードをスキャンするために商品毎にバーコードを探すため、精算に時間がかかり、来店客に過度の負担を強いる結果となる。また、タッチパネルディスプレイにおいて商品の画像が表示される位置を把握していない来店客は、店舗が扱う商品数が多い場合、商品毎に商品の画像を探すため、精算に時間がかかり、来店客に過度の負担を強いる結果となる。
【０００５】
本開示の一実施例は、商品を購入するユーザが商品の代金の精算を行うための、改善された精算装置および精算方法の提供に資する。
【課題を解決するための手段】
【０００６】
本開示に係る精算装置は、台上に置かれた商品を撮影する第１のカメラと、前記商品の画像に基づいて、前記商品を認識する商品画像認識回路と、前記商品の認識結果を表示する表示装置と、前記商品の認識結果の訂正指示の入力を受け付ける入力装置と、音声を検出するマイクと、前記音声を音声認識する音声認識回路と、前記音声認識の結果に含まれるキーワードに基づいて前記商品の候補を抽出する制御回路と、を備え、前記表示装置は、前記候補を表示し、前記入力装置は、前記候補の選択をユーザから受け付け、前記制御回路は、前記選択に基づいて、前記商品の認識結果を訂正する、構成を採る。
【０００７】
本開示に係る精算方法は、カメラが、台上に置かれた商品を撮影し、商品画像認識回路が、前記商品の画像に基づいて、前記商品を認識し、表示装置が、前記商品の認識結果を表示し、入力装置が、前記商品の認識結果の訂正指示の入力を受け付け、マイクが、音声を検出し、音声認識回路が、前記音声を音声認識し、制御回路が、前記音声認識の結果に含まれるキーワードに基づいて前記商品の候補を抽出し、前記表示装置が、前記候補を表示し、前記入力装置が、前記候補の選択をユーザから受け付け、前記制御回路が、前記選択に基づいて、前記商品の認識結果を訂正する、構成を採る。
【０００８】
なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【０００９】
本開示の一実施例によれば、商品を購入するユーザが商品の代金の精算を行うための、改善された精算装置および精算方法を提供できる。
【００１０】
本開示の一実施例における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
【図面の簡単な説明】
【００１１】
【図１】本開示に係る精算装置の外部構成の一例を示す図
【図２】本開示に係る精算装置の内部構成の一例を示す図
【図３】本開示に係る精算装置の動作の一例を示すフローチャート
【図４】図３のステップＳ１０２における精算装置の動作の一例を示すフローチャート
【図５】精算画面の一例を示す図
【図６】図３のステップＳ１０８における精算装置の動作の一例を示すフローチャート
【図７】図６のステップＳ３０４，Ｓ３０８における精算装置の動作の一例を示すフローチャート
【図８】図７のステップＳ４０４における精算装置の動作の一例を示すフローチャート
【図９】商品訂正画面の一例を示す図
【図１０】図７のステップＳ５０６における精算装置の動作の一例を示すフローチャート
【図１１】商品指定画面の一例を示す図
【図１２】商品指定画面の一例を示す図
【図１３】図７のステップＳ４１０における精算装置の動作の一例を示すフローチャート
【図１４】図７のステップＳ４１４における精算装置の動作の一例を示すフローチャート
【図１５】図３のステップＳ１１０における精算装置の動作の一例を示すフローチャート
【発明を実施するための形態】
【００１２】
以下、本開示の実施の形態について、図面を参照して詳細に説明する。なお、以下に説明する実施の形態は一例であり、本開示は以下の実施の形態により限定されるものではない。
【００１３】
［精算装置１０の構成］
図１は、本開示に係る精算装置１０の外部構成の一例を示す図である。図２は、本開示に係る精算装置１０の内部構成の一例を示す図である。
【００１４】
精算装置１０は、ユーザが、購入する商品の代金の精算に用いる装置である。ユーザは、例えば、来店客である。精算装置１０は、例えば、店舗の商品陳列棚と出口との間に設置される。精算装置１０は、精算台（台、撮影領域）１１０と、第１のカメラ１３０と、タッチパネルディスプレイ１５０と、第２のカメラ１６０と、マイク１７０と、音声認識部（音声認識回路）２１０と、商品画像認識部（商品画像認識回路）２２０と、顔画像認識部（顔画像認識回路）２３０と、精算処理部（精算処理回路）２４０と、メモリ２６０と、ストレージ２７０と、プロセッサ（制御回路）２８０と、を備える。
【００１５】
精算台１１０は、ユーザが購入する商品を載置するための台である。精算台１１０は、商品を容易かつ安定的に載置することが可能であるように、例えば、精算装置１０の天板１２０の部分に設けられる。精算台１１０は、第１のカメラ１３０により撮影される画像からの商品の特定が容易になるように、例えば、白色、灰色、黒色といった一つの色を呈するのが好ましい。
【００１６】
第１のカメラ１３０は、ユーザが購入する商品を撮影する。第１のカメラ１３０は、例えば、精算装置１０の天井部１４０の部分に、精算台１１０に対向して設けられる。第１のカメラ１３０は、例えば、ＣＣＤ（Charge Coupled Device）センサ、または、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを含む。
【００１７】
タッチパネルディスプレイ１５０は、ディスプレイ（表示装置）１５２と、入力装置１５４と、を備える。タッチパネルディスプレイ１５０は、例えば、精算装置１０の天板１２０の部分に設けられる。一例において、タッチパネルディスプレイ１５０は、精算台１１０と、第２のカメラ１６０と、マイク１７０と、に隣り合って設けられる。ディスプレイ１５２は、ユーザに対して精算画面３００（図５参照）、商品訂正画面４００（図９参照）、商品指定画面５００（図１１参照）、または商品指定画面６００（図１２参照）を表示する。ディスプレイ１５２は、例えば、液晶モニタまたはＯＬＥＤ（Organic Light Emtting Diode）モニタである。入力装置１５４は、ユーザによるタッチ操作およびタッチ操作が行われた位置を検出する。入力装置１５４は、例えば、抵抗膜方式、静電容量方式、超音波表面弾性波方式、赤外線光学イメージング方式、または、電磁誘導方式のタッチパネルを含む。
【００１８】
第２のカメラ１６０は、ユーザの顔を撮影する。第２のカメラ１６０は、タッチパネルディスプレイ１５０を操作するユーザの顔を撮影しやすいように、例えば、精算装置１０の天板１２０の部分の、タッチパネルディスプレイ１５０の奥側に設けられる。第２のカメラ１６０は、例えば、ＣＣＤセンサ、または、ＣＭＯＳセンサを含む。
【００１９】
マイク１７０は、音声を検知し、電気信号に変換する。音声は、ユーザの発話を含む。マイク１７０は、例えば、指向性を有するマイクアレイを含む。マイク１７０は、タッチパネルディスプレイ１５０を操作するユーザの発話を検知しやすいように、例えば、精算装置１０の天板１２０の部分の、タッチパネルディスプレイ１５０の奥側であって、精算台１１０と第２のカメラ１６０の間に設けられる。
【００２０】
音声認識部２１０は、検知された音声に対して、音声認識を実行し、ユーザの発話に対応する文字列を生成する。一例において、音声認識部２１０は、音声認識を実行するプロセッサを備える。プロセッサは、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）である。
【００２１】
商品画像認識部２２０は、商品を撮影した画像から、撮影された商品を認識（または、識別）する。一例において、商品画像認識部２２０は、プロセッサを備える。プロセッサは、例えば、ＣＰＵ、ＧＰＵ、ＡＳＩＣ、またはＦＰＧＡである。プロセッサは、例えば、線形分類器、ＳＶＭ（Support Vector Machine）、またはニューラルネットワークといった教師あり学習手法を用いて、商品を撮影した画像および学習済みデータに基づいて、撮影された商品を認識（または、識別）する。ここで、学習済みデータは、商品を撮影した画像と商品を特定する情報との関係を予め学習させることによって得られたデータである。
【００２２】
顔画像認識部２３０は、ユーザの顔を撮影した画像または動画から、撮影されたユーザを認識（または、識別）する。一例において、商品画像認識部２２０は、プロセッサを備える。プロセッサは、例えば、ＣＰＵ、ＧＰＵ、ＡＳＩＣ、またはＦＰＧＡである。プロセッサは、例えば、線形分類器、ＳＶＭ、またはニューラルネットワークといった教師あり学習手法を用いて、顔を撮影した画像および学習済みデータに基づいて、撮影されたユーザを認識（または、識別）する。ここで、学習済みデータは、ユーザの顔を撮影した画像とユーザを特定する情報との関係を予め学習させることによって得られたデータである。
【００２３】
精算処理部２４０は、認識された人物に代金を精算する。一例において、精算処理部２４０は、例えば、銀行またはクレジットカードのサーバと接続するためのネットワークインターフェースと、銀行またはクレジットカード会社にあるユーザの口座に対して、プロセッサ２８０が算出した代金の課金処理を行うためのプロセッサと、を備える。
【００２４】
一例において、精算装置１０は、例えば、商品認識装置２５０をさらに備える。
【００２５】
商品認識装置２５０は、入力したバーコードから商品を特定する識別子を特定する。商品認識装置２５０は、例えば、バーコードリーダーである。バーコードは、１次元バーコードまたは２次元バーコードである。１次元バーコードは、例えば、ＪＡＮ、ＥＡＮ、ＵＰＣ、ＣＯＤＥ３９、ＣＯＤＥ１２８、ＮＷ−７、またはＩＴＦである。２次元バーコードは、例えば、ＱＲコード（登録商標）である。
【００２６】
メモリ２６０またはストレージ２７０は、商品を示す情報（商品情報）を記憶する。商品情報は、例えば、店舗が取り扱う商品を示す画像と、商品に関するキーワードと、商品の値段と、を含む。商品に関するキーワードは、例えば、商品名を含む。ここで、商品名とは、商品を特定する名称であり、例えば、商標、商標の略称、登録商標、登録商標の略称である。
【００２７】
一例において、商品に関するキーワードは、さらに、店舗が取り扱う商品のメーカー（製造元）名と、ブランド名と、ジャンル名と、シリーズ名と、の少なくとも１つを含む。なお、メーカー名、ブランド名と、ジャンル名と、シリーズ名は短縮語や崩し言葉（アイスコーヒーをアイコと短縮するなど）でも良い。
【００２８】
ここで、ブランド名とは、特定の商品群を識別するために用いられる名称であり、例えば、商号、商号の略称、商標、商標の略称、登録商標、登録商標の略称である。また、ジャンル名（または、カテゴリ名）とは、商品を指し示す普通名称または慣用名称を含み、ジャンル（または、カテゴリ）とは、ジャンル名（または、カテゴリ名）によって指し示される商品の範囲である。ジャンル名は、例えば、「おにぎり」、「チョコ（チョコレート）」、「焼きそば」である。また、シリーズ名とは、バリエーションを有する商品を包括的に特定する名称である。シリーズ名は、例えば、バリエーション「ＡＡＡラーメン醤油味」および「ＡＡＡラーメン味噌味」を有する商品の包括的な名称「ＡＡＡラーメン」、バリエーション「ＢＢＢスナック塩味」および「ＢＢＢスナックカレー味」を有する商品の包括的な名称「ＢＢＢスナック」である。
【００２９】
一例において、メモリ２６０またはストレージ２７０は、商品に関するキーワードまたはその組み合わせに基づいて商品情報をルックアップするためのデータベースを備える。また、一例において、メモリ２６０またはストレージ２７０は、商品認識装置２５０によって特定される識別子に基づいて商品情報をルックアップするためのデータベースを備える。
【００３０】
プロセッサ２８０は、精算装置１０の各構成要素を制御して、図３、図４、図６、図７、図８、図１０、図１３、図１４、および図１５を参照して後述する処理を実行する。プロセッサ２８０は、例えば、ＣＰＵ、ＧＰＵ、ＡＳＩＣ、またはＦＰＧＡである。
【００３１】
［精算装置１０の動作］
図３は、本開示に係る精算装置１０の動作の一例を示すフローチャートである。以下のボタン等はいずれも、「修正」等をユーザが発声することによる音声認識によっても押下処理が可能である。
【００３２】
ステップＳ１０２において、精算装置１０は、商品画像認識処理を実行する。商品画像認識処理の詳細については、図４を参照して後述する。
【００３３】
ステップＳ１０４において、入力装置１５４は、ボタンの押下を受け付ける。ボタンは、例えば、タッチパネルディスプレイ１５０に表示されたボタンである。
【００３４】
ステップＳ１０６において、プロセッサ２８０は、押下されたボタンの種類を判定する。判定されるボタンの種類は、例えば、修正ボタン、追加ボタン、削除ボタン、または精算ボタンである。これらのボタンの詳細については、図５を参照して後述する。
【００３５】
ステップＳ１０８において、プロセッサ２８０は、商品訂正処理を実行する。商品訂正処理の詳細については、図６を参照して後述する。
【００３６】
ステップＳ１１０において、プロセッサ２８０は、ユーザが購入する商品の精算処理を実行する。精算処理の詳細については、図１５を参照して後述する。その後、精算装置１０は、フローを終了する。
【００３７】
［商品画像認識処理］
図４は、図３のステップＳ１０２（商品画像認識処理）における精算装置１０の動作の一例を示すフローチャートである。
【００３８】
ステップＳ２０２において、第１のカメラ１３０は、商品の画像を撮影する。ここで、撮影する商品の個数は、１個以上の任意の数であってよい。第１のカメラ１３０は、例えば、ユーザが精算台１１０上に商品を載置したことを検知したことに応じて、商品の画像を撮影する。第１のカメラ１３０は、例えば、撮影する画像が静止画像であるか否かを判定し、撮影する画像が精算台１１０の静止画像以外の静止画像である場合、ユーザが精算台１１０上に商品を載置したことを検知する。
【００３９】
ステップＳ２０４において、商品画像認識部２２０は、撮影された画像から、商品を認識する。なお、必要に応じて、精算装置１０は、ステップＳ２０２およびステップＳ２０４を繰り返し実行してもよい。
【００４０】
ステップＳ２０６において、プロセッサ２８０は、認識された全ての商品を含む購入商品リストを生成する。プロセッサ２８０は、生成した購入商品リストをメモリ２６０またはストレージ２７０に記憶させる。
【００４１】
ステップＳ２０８において、プロセッサ２８０は、メモリ２６０またはストレージ２７０に記憶させた購入商品リストを表示する。その後、精算装置１０は、フローを終了する。
【００４２】
図５は、精算画面３００の一例を示す図である。精算画面３００は、例えば、タッチパネルディスプレイ１５０のディスプレイ１５２（図１，図２参照）に表示される。
【００４３】
精算画面３００は、例えば、購入商品リスト表示３１０と、追加ボタン３４０と、精算ボタン３５０と、を備える。
【００４４】
購入商品リスト表示３１０は、ステップＳ２０６において生成された購入商品リストの表示である。購入商品リスト表示３１０は、購入商品リストに含まれる商品の表示（購入商品表示）３２０ａ，３２０ｂと、スクロールバー３３０と、を含む。
【００４５】
購入商品表示３２０ａ，３２０ｂは、それぞれ、商品画像表示３２１と、商品名表示３２３と、値段表示３２５と、修正ボタン３２７と、削除ボタン３２９と、を含む。プロセッサ２８０は、例えば、メモリ２６０またはストレージ２７０から読み出した商品情報に基づいて、精算画面３００に、商品画像表示３２１と、商品名表示３２３と、値段表示３２５と、を表示させる。
【００４６】
スクロールバー３３０は、購入商品リスト表示３１０に含まれる購入商品表示３２０ａ，３２０ｂの個数が多い場合に、ディスプレイ１５２に表示させる購入商品表示３２０ａ，３２０ｂをユーザに指定させるためのユーザインターフェースである。
【００４７】
修正ボタン３２７と、追加ボタン３４０と、削除ボタン３２９と、は、ユーザが商品訂正処理を指示するためのボタンである。ここで、商品訂正処理とは、ユーザが購入商品リスト表示３１０を訂正する場合に実行される処理である。商品訂正処理は、商品修正処理と、商品追加処理と、商品削除処理と、を含む。商品訂正処理については、図６等を参照して後述する。
【００４８】
精算ボタン３５０は、ユーザが商品精算処理を指示するためのボタンである。精算処理の詳細については、図１５を参照して後述する。
【００４９】
［商品訂正処理］
ユーザが実際に購入した商品と、購入商品リスト表示３１０に含まれる購入商品表示３２０ａ，３２０ｂとが一致しない場合、ユーザは、修正ボタン３２７、追加ボタン３４０、または削除ボタン３２９を押下する。押下に応じて実行される商品訂正処理を、以下に説明する。
【００５０】
図６は、図３のステップＳ１０８（商品訂正処理）における精算装置１０の動作の一例を示すフローチャートである。
【００５１】
ステップＳ３０２において、プロセッサ２８０は、精算画面３００（図５参照）において押下されたボタンの種類を判定する。判定されるボタンの種類は、例えば、修正ボタン３２７、追加ボタン３４０、または削除ボタン３２９、である。
【００５２】
押下されたボタンの種類が追加ボタン３４０であった場合（ステップＳ３０２：追加）、商品追加処理を実行するために、ステップＳ３０４において、プロセッサ２８０は、指定商品を決定するための商品指定処理を実行する。商品指定処理の詳細については、図７を参照して後述する。
【００５３】
ステップＳ３０６において、プロセッサ２８０は、メモリ２６０またはストレージ２７０が記憶する購入商品リストに、決定された指定商品を追加する。
【００５４】
押下されたボタンの種類が修正ボタン３２７であった場合（ステップＳ３０２：修正）、商品修正処理を実行するために、ステップＳ３０８において、プロセッサ２８０は、指定商品を決定するための商品指定処理を実行する。商品指定処理の詳細については、図７を参照して後述する。
【００５５】
ステップＳ３１０において、プロセッサ２８０は、メモリ２６０またはストレージ２７０が記憶する購入商品リストの対象商品を、決定された指定商品と入れ替える。ここで、対象商品は、押下された修正ボタン３２７に対応する商品（例えば、図５に示される商品「ＡＡＡチョコ」または商品「ＢＢＢ缶コーヒー」）である。
【００５６】
押下されたボタンの種類が削除ボタン３２９であった場合（ステップＳ３０２：削除）、商品削除処理を実行するために、ステップＳ３１２において、プロセッサ２８０は、メモリ２６０またはストレージ２７０が記憶する購入商品リストの対象商品を削除する。ここで、対象商品は、押下された削除ボタン３２９に対応する商品（例えば、図５に示される商品「ＡＡＡチョコ」または商品「ＢＢＢ缶コーヒー」）である。
【００５７】
ステップＳ３１４において、プロセッサ２８０は、精算画面３００において、購入商品リストの表示を更新する。その後、プロセッサ２８０は、商品訂正処理を終了する。
【００５８】
［商品指定処理］
図７は、図６のステップＳ３０４，Ｓ３０８（商品指定処理）における精算装置１０の動作の一例を示すフローチャートである。
【００５９】
ステップＳ４０２において、プロセッサ２８０は、マイク１７０が音声入力を検知したか否かを判定する。
【００６０】
マイク１７０が音声入力を検知した場合（ステップＳ４０２：Ｙｅｓ）、ステップＳ４０４において、精算装置１０は、音声認識商品指定処理を実行する。音声認識商品指定処理の詳細については、図８を参照して後述する。
【００６１】
ステップＳ４０６において、プロセッサ２８０は、商品指定が完了した、即ち、ステップＳ４０４において、指定商品が確定したか否かを判定する。商品指定が完了していない場合（ステップＳ４０６：Ｎｏ）、精算装置１０は、処理をステップＳ４０２に移す。一方、商品指定が完了した場合（ステップＳ４０６：Ｙｅｓ）、プロセッサ２８０は、フローを終了する。
【００６２】
マイク１７０が音声入力を検知しなかった場合（ステップＳ４０２：Ｎｏ）、ステップＳ４０８において、プロセッサ２８０は、入力装置１５４がタッチパネル入力を検知したか否かを判定する。
【００６３】
入力装置１５４がタッチパネル入力を検知しなかった場合（ステップＳ４０８：Ｙｅｓ）、ステップＳ４１０において、プロセッサ２８０は、タッチパネル商品指定処理を実行する。タッチパネル商品指定処理の詳細については、図１３を参照して後述する。その後、プロセッサ２８０は、フローを終了する。
【００６４】
入力装置１５４がタッチパネル入力を検知しなかった場合（ステップＳ４０８：Ｎｏ）、ステップＳ４１２において、プロセッサ２８０は、商品認識装置２５０がバーコードの入力を検知したか否かを判定する。
【００６５】
商品認識装置２５０がバーコードの入力を検知した場合（ステップＳ４１２：Ｙｅｓ）ステップＳ４１４において、精算装置１０は、バーコード商品指定処理を実行する。バーコード商品指定処理の詳細については、図１４を参照して後述する。その後、プロセッサ２８０は、フローを終了する。
【００６６】
なお、精算装置１０が商品認識装置２５０を備えない実施の形態においては、ステップＳ４１２およびＳ４１４は、省略できる。この場合、入力装置１５４がタッチパネル入力を検知しなかった場合（ステップＳ４０８：Ｎｏ）、プロセッサ２８０は、処理をステップＳ４０２に移す。
【００６７】
［音声認識商品指定処理］
図８は、図７のステップＳ４０４（音声認識商品指定処理）における精算装置１０の動作の一例を示すフローチャートである。
【００６８】
ステップＳ５０２において、音声認識部２１０は、検知された音声に対して、音声認識を実行する。
【００６９】
ステップＳ５０４において、プロセッサ２８０は、音声認識の結果に認識対象のキーワードが含まれるか否かを判定する。例えば、プロセッサ２８０は、ストレージ２７０に予め格納された、認識対象のキーワードが登録されたデータベースから、音声認識の結果を検索する。
【００７０】
音声認識の結果に認識対象のキーワードが含まれる場合（ステップＳ５０４：Ｙｅｓ）、ステップＳ５０６において、プロセッサ２８０は、商品絞り込み処理を実行する。商品絞り込み処理の詳細については、図１０を参照して後述する。
【００７１】
ステップＳ５０８において、ディスプレイ１５２は、商品絞り込み処理によって抽出された商品の一覧を表示する。表示の一例については、図１１および図１２を参照して後述する。
【００７２】
ステップＳ５１０において、入力装置１５４は、商品の指定（選択）を受け付ける。その後、精算装置１０は、フローを終了する。
【００７３】
一方、音声認識の結果に認識対象のキーワードが含まれない場合（ステップＳ５０４：Ｎｏ）、精算装置１０は、フローを終了する。
【００７４】
図９は、商品訂正画面４００の一例を示す図である。商品訂正画面４００は、例えば、タッチパネルディスプレイ１５０のディスプレイ１５２（図１，図２参照）に表示される。
【００７５】
商品訂正画面４００は、ガイダンス表示４１０と、ジャンル選択画面４２０と、を備える。ジャンル選択画面４２０は、ジャンルボタン４２２ａ，４２２ｂ，４２２ｃを備える。ジャンルボタン４２２ａ，４２２ｂ，４２２ｃには、ジャンル名が表示され、ユーザが押下によりジャンルを指定するためのボタンである。
【００７６】
ガイダンス表示４１０は、ユーザに対して、ジャンルボタン４２２ａ，４２２ｂ，４２２ｃの押下に代えて、音声入力によっても商品またはジャンルを指定できることを示す表示である。ガイダンス表示４１０は、「おにぎり」、「ＤＤＤ（ＤＤＤメーカ）のチョコ」、「焼きそば」といった、ジャンル名またはメーカー名とジャンル名との組み合わせの発話の一例を示すためのガイダンス吹き出し表示４１２を含んでもよい。ガイダンス表示４１０の内容は、例えば、ジャンルボタン４２２ａ，４２２ｂ，４２２ｃのジャンル名に基づいて生成される。
【００７７】
図１０は、図８のステップＳ５０６（商品絞り込み処理）における精算装置１０の動作の一例を示すフローチャートである。
【００７８】
ステップＳ６０２において、プロセッサ２８０は、メーカー名に該当するキーワードが、音声認識結果に含まれるか否かを判定する。
【００７９】
メーカー名に該当するキーワードが音声認識結果に含まれる場合（ステップＳ６０２：Ｙｅｓ）、ステップＳ６０４において、プロセッサ２８０は、ジャンル名に該当するキーワード（例えば、「チョコ（チョコレート）」、「おにぎり」、「缶コーヒー」）が、音声認識結果に含まれるか否かを判定する。
【００８０】
ジャンル名に該当するキーワードが、音声認識結果に含まれる場合（ステップＳ６０４：Ｙｅｓ）、ステップＳ６０６において、プロセッサ２８０は、キーワードに該当する商品を抽出する。抽出された商品は、商品訂正処理後の購入商品リストに含まれうる商品の候補である。その後、プロセッサ２８０は、フローを終了する。また、ジャンル名に該当するキーワードが、音声認識結果に含まれない場合（ステップＳ６０４：Ｎｏ）、プロセッサ２８０は、フローを終了する。
【００８１】
一方、メーカー名に該当するキーワードが音声認識結果に含まれない場合（ステップＳ６０２：Ｎｏ）、ステップＳ６０８において、プロセッサ２８０は、ブランド名に該当するキーワードが、音声認識結果に含まれるか否かを判定する。
【００８２】
ブランド名に該当するキーワードが音声認識結果に含まれる場合（ステップＳ６０８：Ｙｅｓ）、プロセッサ２８０は、処理をステップＳ６０６に移す。一方、ブランド名に該当するキーワードが音声認識結果に含まれない場合（ステップＳ６０８：Ｎｏ）、ステップＳ６１０において、プロセッサ２８０は、ジャンル名に該当するキーワード（例えば、「チョコ（チョコレート）」、「おにぎり」、「缶コーヒー」））が、音声認識結果に含まれるか否かを判定する。
【００８３】
ジャンル名に該当するキーワードが含まれる場合（ステップＳ６１０：Ｙｅｓ）、プロセッサ２８０は、処理をステップＳ６０６に移す。一方、ジャンル名に該当するキーワードが音声認識結果に含まれない場合（ステップＳ６１０：Ｎｏ）、ステップＳ６１２において、プロセッサ２８０は、商品名に該当するキーワード（例えば、「ＥＥＥおにぎり」、「ＦＦＦおにぎり」）が、音声認識結果に含まれるか否かを判定する。
【００８４】
商品名に該当するキーワードが含まれる場合（ステップＳ６１２：Ｙｅｓ）、プロセッサ２８０は、処理をステップＳ６０６に移す。一方、商品名に該当するキーワードが音声認識結果に含まれない場合（ステップＳ６１２：Ｎｏ）、プロセッサ２８０は、フローを終了する。
【００８５】
図１１は、商品指定画面５００の一例を示す図である。商品指定画面５００は、例えば、タッチパネルディスプレイ１５０のディスプレイ１５２（図１，図２参照）に表示される。一例において、商品指定画面５００は、図８のステップＳ５０６において、商品絞り込み処理によって抽出された商品の数が所定の数以下である場合に、表示される。
【００８６】
商品指定画面５００は、抽出された商品の表示５１０ａ，５１０ｂを備える。商品の表示５１０ａ，５１０ｂは、それぞれ、商品画像表示５１２と、商品名表示５１４と、値段表示５１６と、指定ボタン５１８と、を含む。プロセッサ２８０は、例えば、メモリ２６０またはストレージ２７０から読み出した商品情報に基づいて、商品指定画面５００に、商品画像表示５１２と、商品名表示５１４と、値段表示５１６と、を表示させる。指定ボタン５１８は、ユーザが商品の指定を指示するためのボタンである。
【００８７】
図１２は、商品指定画面６００の一例を示す図である。商品指定画面６００は、例えば、タッチパネルディスプレイ１５０のディスプレイ１５２（図１，図２参照）に表示される。一例において、商品指定画面５００は、図８のステップＳ５０６において、商品絞り込み処理によって抽出された商品の数が所定の数より大きい場合に、表示される。
【００８８】
商品指定画面６００は、ガイダンス表示６１０と、抽出された商品の一覧表示画面６２０と、を備える。抽出された商品の一覧表示画面６２０は、抽出された商品の表示６２２ａ，６２２ｂを備える。商品の表示６２２ａ，６２２ｂは、それぞれ、商品画像表示６３２と、商品名表示６３４と、値段表示６３６と、指定ボタン６３８と、を含む。プロセッサ２８０は、例えば、メモリ２６０またはストレージ２７０から読み出した商品情報に基づいて、商品指定画面６００に、商品の表示６２２ａ，６２２ｂは、それぞれ、商品画像表示６３２と、商品名表示６３４と、値段表示６３６と、を表示させる。指定ボタン６３８は、ユーザが商品の指定を指示するためのボタンである。
【００８９】
ガイダンス表示６１０は、ユーザに対して、指定ボタン６３８の押下に代えて、音声入力によってさらに商品の絞り込みを実行できることを示す表示である。例えば、ユーザが「お菓子」を発話した場合、ガイダンス表示６１０は、「お菓子」を絞り込むための発話の一例、例えば、「チョコレート、ガム、あめ」を示すためのガイダンス吹き出し表示６１２を含んでもよい。ガイダンス表示６１０の内容は、例えば、商品の一覧表示画面６２０に含まれる商品名に基づいて生成される。
【００９０】
一例において、プロセッサ２８０は、ユーザまたはユーザの属性に応じて、抽出された商品の表示６２２ａ，６２２ｂの順序を変更する。ユーザの属性は、例えば、ユーザの推定年齢またはユーザの推定性別である。例えば、第２のカメラ１６０が、ユーザを撮影し、顔画像認識部２３０が、ユーザの顔画像または顔動画に基づいて、ユーザまたはユーザの属性を認識する。プロセッサ２８０は、ユーザまたはユーザの属性の認識の結果に基づいて、抽出された商品の表示６２２ａ，６２２ｂの順序を変更する。例えば、メモリ２６０またはストレージ２７０は、ユーザが過去に購入した商品を記憶し、プロセッサ２８０は、ユーザが過去に購入した商品が他の商品に優先するように、抽出された商品の表示６２２ａ，６２２ｂの順序を変更する。
【００９１】
［タッチパネル商品指定処理］
図１３は、図７のステップＳ４１０（タッチパネル商品指定処理）における精算装置１０の動作の一例を示すフローチャートである。
【００９２】
ステップＳ７０２において、ディスプレイ１５２は、ジャンルの一覧を表示する。ジャンルの数が多く、一度に表示できない場合、ディスプレイ１５２は、ジャンルの一部とともに、例えば、スクロールバー、スクロールボタン、または、タブを表示してもよい。
【００９３】
ステップＳ７０４において、入力装置１５４は、ユーザからのジャンルの指定を受け付ける。
【００９４】
ステップＳ７０６において、ディスプレイ１５２は、ユーザから指定されたジャンルに属する商品の一覧を表示する。商品の数が多く、一度に表示できない場合、ディスプレイ１５２は、商品の一部とともに、例えば、スクロールバー、スクロールボタン、または、タブを表示してもよい。
【００９５】
ステップＳ７０８において、入力装置１５４は、ユーザからの商品の指定を受け付ける。その後、精算装置１０は、フローを終了する。
【００９６】
［バーコード商品指定処理］
図１４は、図７のステップＳ４１４（バーコード商品指定処理）における精算装置１０の動作の一例を示すフローチャートである。
【００９７】
ステップＳ８０２において、商品認識装置２５０は、入力したバーコードから商品の識別子を特定する。
【００９８】
ステップＳ８０４において、プロセッサ２８０は、識別子で特定される商品を指定する。その後、精算装置１０は、フローを終了する。
【００９９】
［精算処理］
図１５は、図３のステップＳ１１０（精算処理）における精算装置１０の動作の一例を示すフローチャートである。
【０１００】
ステップＳ９０２において、第２のカメラ１６０が、ユーザの顔画像または顔動画を撮影する。
【０１０１】
ステップＳ９０４において、顔画像または顔動画からユーザを認識する。ステップＳ９０２およびステップＳ９０４は、ユーザを認識できるまで、繰り返し実行されてもよい。
【０１０２】
ステップＳ９０６において、精算処理部２４０は、認識されたユーザに商品の代金を課金する。その後、精算装置１０は、フローを終了する。
【０１０３】
本開示によれば、ユーザは、バーコードリーダーを使用せずに、商品を精算装置１０に登録し、購入代金を精算できる。したがって、来店客は、精算装置１０を用いることにより、バーコードリーダーを用いる負担をなくすまたは低減することができ、精算にかかる時間を短縮できる。
【０１０４】
また、本開示によれば、タッチパネルディスプレイ１５０に表示される商品が多い場合、ユーザ（来店客）が発話によって商品を絞り込むことができる。したがって、来店客は、精算装置１０を用いることにより、タッチパネルディスプレイを用いた商品の画像の選択による負担を低減することができ、精算にかかる時間を短縮できる。例えば、店舗が扱う商品数が多く、商品の候補が数百種類に亘る場合であっても、ディスプレイ上には全商品一覧または全商品カテゴリが表示され、来店客がその中から目的の商品を選択するといった、操作が煩雑になる状況を回避できる。また、来店客は、精算装置１０を用いることにより、目的の商品を選ぶまでの手間を短縮できる。
【０１０５】
また、本開示によれば、来店客は、発話のみに基づいて購入商品の登録を完了しなくてもよく、また、商品を絞り込むためのステップ数も少ない場合が多い。したがって、来店客は、精算装置１０を用いることにより、精算処理を素早く完了できる。
【０１０６】
また、本開示によれば、商品絞り込み処理において、商品に関するキーワードの組み合わせに基づいて、商品が絞り込まれ、ユーザ（来店客）は、絞り込まれた商品の中からタッチパネルディスプレイ１５０を介して商品を指定（選択）できる。したがって、商品名の正確な名前を一意に理解して発話することが難しいために、商品名と異なるキーワードを来店客が発話した場合であっても、精算装置１０が発話に基づき商品を絞り込むことにより、来店客による商品の指定（選択）が容易になる。したがって、来店客の発話内容が曖昧であっても許容される場合が多くなり、店舗従業員がいない場合であっても、来店客は、精算装置１０を容易に操作できる。
【０１０７】
また、本開示によれば、商品認識装置２５０（例えば、バーコードリーダー）は、必須の構成要素ではない。したがって、商品認識装置２５０を省略することにより、精算装置１０の設置空間の省スペース化を図ることができる。
【０１０８】
（その他の実施の形態）
本開示において、例えば、図５に示される精算画面３００には、修正ボタン３２７、削除ボタン３２９、追加ボタン３４０、精算ボタン３５０が含まれる。また、例えば、図１１に示される商品指定画面５００および図１２に示される商品指定画面６００には、指定ボタン６３８が含まれる。しかしながら、精算画面３００、図９に示される商品訂正画面４００、商品指定画面５００、および商品指定画面６００には、修正ボタン３２７、削除ボタン３２９、追加ボタン３４０、精算ボタン３５０、および指定ボタン６３８のいずれとも異なるボタンが表示されてもよい。
【０１０９】
一例において、精算装置１０の制御フローの変更を指示するための他のボタンが表示されてもよい。例えば、精算画面３００には、精算装置１０に、図７に示されるステップＳ４０４，Ｓ４０６の音声認識商品指定処理を再実行することを指示する、音声認識やり直しボタンが表示されてもよい。また、例えば、商品訂正画面４００、商品指定画面５００、または商品指定画面６００には、精算装置１０に、図８に示されるステップＳ５０６の商品絞り込み処理を再実行することを指示する、商品絞り込みやり直しボタンが表示されてもよい。例えば、メモリ２６０またはストレージ２７０が、各ステップにおける購入商品リスト、商品絞り込みの結果といった精算装置１０の操作状態の履歴を記憶し、音声認識やり直しボタンまたは商品絞り込みやり直しボタンが押下されたことに応じて、操作状態を過去に遡って更新してもよい。
【０１１０】
本開示において、例えば、図１０に示される商品絞り込み処理のフローチャートにおいて、商品に関するキーワードとして、メーカー名、ブランド名、ジャンル名、および商品名が記載されている。しかしながら、商品に関するキーワードとして、シリーズ名を用いる実施の形態も考えられる。例えば、図１０において、ステップＳ６１０およびステップＳ６１２の間に、ステップＳ６１１として、プロセッサ２８０がシリーズ名に該当するキーワードが含まれるか否かを判定するステップを挿入してもよい。
【０１１１】
本開示において、図３に示されるように、精算ボタンが押下された後、ステップＳ１１０の精算処理が実行される。しかしながら、ステップＳ１１０の精算処理のうち、図１５に示されるステップＳ９０２およびステップＳ９０４は、精算ボタンが押下される前に実行されてもよい。
【０１１２】
本開示において、図４に示されるようにステップＳ２０４において商品の画像を認識した後に、ステップＳ２０６において購入商品リストが生成される。これに代えて、ステップＳ２０２およびＳ２０４を省略し、ステップＳ２０６において、プロセッサ２８０が店舗の全商品からなる購入商品リストを生成する実施の形態も考えられる。この場合、精算装置１０の構成から、第１のカメラ１３０と商品画像認識部２２０とを省略してもよい。
【０１１３】
本開示において、図１に示されるように、マイク１７０は、精算装置１０の天板１２０の部分の、タッチパネルディスプレイ１５０の奥側であって、精算台１１０と第２のカメラ１６０の間に設けられる。これに代えて、マイク１７０は、精算装置１０に接続された受話器に設けられる実施の形態も考えられる。マイク１７０を受話器に設けることにより、来店客は、自分の発話内容が他人に聞こえないように発話するのがより容易になる。
【０１１４】
上述の実施の形態においては、各構成要素に用いる「・・・部」という表記は、「・・・回路（circuitry）」、「・・・デバイス」、「・・・ユニット」、又は、「・・・モジュール」といった他の表記に置換されてもよい。
【０１１５】
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、開示の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。
【０１１６】
本開示はソフトウェア、ハードウェア、又は、ハードウェアと連携したソフトウェアで実現することが可能である。上記実施の形態の説明に用いた各機能ブロックは、部分的に又は全体的に、集積回路であるＬＳＩとして実現され、上記実施の形態で説明した各プロセスは、部分的に又は全体的に、一つのＬＳＩ又はＬＳＩの組み合わせによって制御されてもよい。ＬＳＩは個々のチップから構成されてもよいし、機能ブロックの一部または全てを含むように一つのチップから構成されてもよい。ＬＳＩはデータの入力と出力を備えてもよい。ＬＳＩは、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。集積回路化の手法はＬＳＩに限るものではなく、専用回路、汎用プロセッサ又は専用プロセッサで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。本開示は、デジタル処理又はアナログ処理として実現されてもよい。さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【０１１７】
本開示は、通信機能を持つあらゆる種類の装置、デバイス、システム（通信装置と総称）において実施可能である。通信装置の、非限定的な例としては、電話機（携帯電話、スマートフォン等）、タブレット、パーソナル・コンピューター（ＰＣ）（ラップトップ、デスクトップ、ノートブック等）、カメラ（デジタル・スチル／ビデオ・カメラ等）、デジタル・プレーヤー（デジタル・オーディオ／ビデオ・プレーヤー等）、着用可能なデバイス（ウェアラブル・カメラ、スマートウオッチ、トラッキングデバイス等）、ゲーム・コンソール、デジタル・ブック・リーダー、テレヘルス・テレメディシン（遠隔ヘルスケア・メディシン処方）デバイス、通信機能付きの乗り物又は移動輸送機関（自動車、飛行機、船等）、及び上述の各種装置の組み合わせがあげられる。
【０１１８】
通信装置は、持ち運び可能又は移動可能なものに限定されず、持ち運びできない又は固定されている、あらゆる種類の装置、デバイス、システム、例えば、スマート・ホーム・デバイス（家電機器、照明機器、スマートメーター又は計測機器、コントロール・パネル等）、自動販売機、その他ＩｏＴ（Ｉｎｔｅｒｎｅｔ  ｏｆ  Ｔｈｉｎｇｓ）ネットワーク上に存在し得るあらゆる「モノ（Things）」をも含む。
【０１１９】
通信には、セルラーシステム、無線ＬＡＮシステム、通信衛星システム等によるデータ通信に加え、これらの組み合わせによるデータ通信も含まれる。また、通信装置には、本開示に記載される通信機能を実行する通信デバイスに接続又は連結される、コントローラやセンサ等のデバイスも含まれる。例えば、通信装置の通信機能を実行する通信デバイスが使用する制御信号やデータ信号を生成するような、コントローラやセンサが含まれる。
【０１２０】
また、通信装置には、上記の非限定的な各種装置と通信を行う、あるいはこれら各種装置を制御する、インフラストラクチャ設備、例えば、基地局、アクセスポイント、その他あらゆる装置、デバイス、システムが含まれる。
【０１２１】
本開示に係る精算装置は、台上に置かれた商品を撮影する第１のカメラと、前記商品の画像に基づいて、前記商品を認識する商品画像認識回路と、前記商品の認識結果を表示する表示装置と、前記商品の認識結果の訂正指示の入力を受け付ける入力装置と、音声を検出するマイクと、前記音声を音声認識する音声認識回路と、前記音声認識の結果に含まれるキーワードに基づいて前記商品の候補を抽出する制御回路と、を備え、前記表示装置は、前記候補を表示し、前記入力装置は、前記候補の選択をユーザから受け付け、前記制御回路は、前記選択に基づいて、前記商品の認識結果を訂正する。
【０１２２】
本開示に係る精算装置において、前記キーワードは、メーカー名、商品名、ブランド名、ジャンル名、およびシリーズ名の１つまたは２つ以上の組み合わせである。
【０１２３】
本開示に係る精算装置において、前記第１のカメラは、前記台に対向して設けられる。
【０１２４】
本開示に係る精算装置において、前記マイクは、指向性を備えるマイクアレイを含む。
【０１２５】
本開示に係る精算装置において、ユーザの顔を撮影する第２のカメラと、前記第２のカメラによって撮影された画像に基づいて、前記ユーザを認識する顔画像認識回路と、前記認識されたユーザに対して、前記商品の代金を課金処理する精算処理回路と、を備える。
【０１２６】
本開示に係る精算装置において、前記マイクは、前記第１のカメラおよび前記第２のカメラの間に設けられる。
【０１２７】
本開示に係る精算装置において、前記表示装置は、前記台、前記第２のカメラ、および前記マイクに隣り合って設けられる。
【０１２８】
本開示に係る精算装置において、前記制御回路は、前記ユーザまたは前記ユーザの属性に応じて、前記表示装置が表示する前記候補の順序を変更する。
【０１２９】
本開示に係る精算装置において、前記入力装置は、前記表示装置の表示面に設けられるタッチパネルを備える。
【０１３０】
本開示に係る精算方法は、カメラが、台上に置かれた商品を撮影し、商品画像認識回路が、前記商品の画像に基づいて、前記商品を認識し、表示装置が、前記商品の認識結果を表示し、入力装置が、前記商品の認識結果の訂正指示の入力を受け付け、マイクが、音声を検出し、音声認識回路が、前記音声を音声認識し、制御回路が、前記音声認識の結果に含まれるキーワードに基づいて前記商品の候補を抽出し、前記表示装置が、前記候補を表示し、前記入力装置が、前記候補の選択をユーザから受け付け、前記制御回路が、前記選択に基づいて、前記商品の認識結果を訂正する。
【産業上の利用可能性】
【０１３１】
本開示は、スーパーマーケット、コンビニエンスストアといった、複数の商品の購入代金をまとめて精算する精算システムに有用である。
【符号の説明】
【０１３２】
１０  精算装置
１１０  精算台
１２０  天板
１３０  第１のカメラ
１４０  天井部
１５０  タッチパネルディスプレイ
１６０  第２のカメラ
１７０  マイク
２１０  音声認識部
２２０  商品画像認識部
２３０  顔画像認識部
２４０  精算処理部
２５０  商品認識装置
２６０  メモリ
２７０  ストレージ
２８０  プロセッサ
【図１】
2020197758.tif 000003
【図２】
2020197758.tif 000004
【図３】
2020197758.tif 000005
【図４】
2020197758.tif 000006
【図５】
2020197758.tif 000007
【図６】
2020197758.tif 000008
【図７】
2020197758.tif 000009
【図８】
2020197758.tif 000010
【図９】
2020197758.tif 000011
【図１０】
2020197758.tif 000012
【図１１】
2020197758.tif 000013
【図１２】
2020197758.tif 000014
【図１３】
2020197758.tif 000015
【図１４】
2020197758.tif 000016
【図１５】
2020197758.tif 000017