(57)【要約】  本発明は、商品を載置する台の載置面をカメラで撮影した画像を解析し、画像の中の商品を認識する認識部（１１）と、認識された商品を会計対象として登録する登録部（１２）と、会計対象として登録された商品のリストをディスプレイに表示する第１の表示部（１３）と、リストの中から１つ以上の商品を選択する第１の選択部（１４）と、選択された商品を特定する情報を、載置面に表示する第２の表示部（１５）とを有する登録システム（１０）を提供する。
2019181034.tif 000002
【特許請求の範囲】
【請求項１】
商品を載置する台の載置面をカメラで撮影した画像を解析し、前記画像の中の商品を認識する認識手段と、
認識された前記商品を会計対象として登録する登録手段と、
会計対象として登録された前記商品のリストをディスプレイに表示する第１の表示手段と、
前記リストの中から１つ以上の前記商品を選択する第１の選択手段と、
選択された前記商品を特定する情報を、前記載置面に表示する第２の表示手段と、
を有する登録システム。
【請求項２】
請求項１に記載の登録システムにおいて、
前記第１の選択手段は、前記リストの中から１つ以上の前記商品を選択する第１の選択入力に基づき、前記商品を選択する登録システム。
【請求項３】
請求項１に記載の登録システムにおいて、
前記第１の選択手段は、所定の条件に合った前記商品を前記リストの中から選択する登録システム。
【請求項４】
請求項１から３のいずれか１項に記載の登録システムにおいて、
前記台はタッチパネルディスプレイであり、前記タッチパネルディスプレイの表示面が前記載置面となり、
前記タッチパネルディスプレイを介した第２の選択入力に基づき、前記商品の中の１つ以上を選択する第２の選択手段をさらに有し、
前記第１の表示手段は、前記リストにおいて、前記第２の選択入力に基づき選択された前記商品を識別表示する登録システム。
【請求項５】
コンピュータが、
商品を載置する台の載置面をカメラで撮影した画像を解析し、前記画像の中の商品を認識する認識工程と、
認識された前記商品を会計対象として登録する登録工程と、
会計対象として登録された前記商品のリストをディスプレイに表示する第１の表示工程と、
前記リストの中から１つ以上の前記商品を選択する第１の選択工程と、
選択された前記商品を特定する情報を、前記載置面に表示する第２の表示工程と、
を実行する登録方法。
【請求項６】
コンピュータを、
商品を載置する台の載置面をカメラで撮影した画像を解析し、前記画像の中の商品を認識する認識手段、
認識された前記商品を会計対象として登録する登録手段、
会計対象として登録された前記商品のリストをディスプレイに表示する第１の表示手段、
前記リストの中から１つ以上の前記商品を選択する第１の選択手段、
選択された前記商品を特定する情報を、前記載置面に表示する第２の表示手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、登録システム、登録方法及びプログラムに関する。
【背景技術】
【０００２】
画像解析で商品を認識し、会計対象として登録する技術が検討されている。関連する技術が特許文献１乃至３に開示されている。【０００３】
特許文献１は、ベルトコンベアー上の商品を撮影した画像を解析して商品を認識する処理を実行した後、信頼度が所定の範囲内である場合は商品候補をディスプレイに表示するとともにその商品が端末付近まで移動したときに表示ランプを点灯させ、その中から指定された商品を会計対象として登録する装置を開示している。【０００４】
特許文献２は、台に載置された商品をカメラで撮影し、商品の外観の特徴量に基づくパターンマッチングで商品を認識し、認識した商品を会計対象として登録する装置を開示している。【０００５】
特許文献３は、台に載置された商品をカメラで撮影し、商品の外観の特徴量に基づくパターンマッチングで商品を認識し、認識した商品を会計対象として登録する装置を開示している。当該装置は、認識できた商品の載置位置に所定のマークを投影する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１６−１１０５３８号公報
【特許文献２】特開２０１７−２２０２０６号公報
【特許文献３】ＷＯ２０１７／１２６２５３号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献３に開示の技術のように、商品の載置位置及び操作端末のディスプレイの両方に会計関連の情報を表示する場合、表示内容を適切に制御することで会計処理の作業効率が向上する。特許文献１乃至３は、当該技術思想を記載も示唆もしていない。【０００８】
本発明は、商品の載置位置及び操作端末のディスプレイの両方に表示される会計関連の情報を適切に制御し、会計処理の作業効率を向上させることを課題とする。
【課題を解決するための手段】
【０００９】
本発明によれば、
商品を載置する台の載置面をカメラで撮影した画像を解析し、前記画像の中の商品を認識する認識手段と、
認識された前記商品を会計対象として登録する登録手段と、
会計対象として登録された前記商品のリストをディスプレイに表示する第１の表示手段と、
前記リストの中から１つ以上の前記商品を選択する第１の選択手段と、
選択された前記商品を特定する情報を、前記載置面に表示する第２の表示手段と、
を有する登録システムが提供される。【００１０】
また、本発明によれば、
コンピュータが、
商品を載置する台の載置面をカメラで撮影した画像を解析し、前記画像の中の商品を認識する認識工程と、
認識された前記商品を会計対象として登録する登録工程と、
会計対象として登録された前記商品のリストをディスプレイに表示する第１の表示工程と、
前記リストの中から１つ以上の前記商品を選択する第１の選択工程と、
選択された前記商品を特定する情報を、前記載置面に表示する第２の表示工程と、
を実行する登録方法が提供される。【００１１】
また、本発明によれば、
コンピュータを、
商品を載置する台の載置面をカメラで撮影した画像を解析し、前記画像の中の商品を認識する認識手段、
認識された前記商品を会計対象として登録する登録手段、
会計対象として登録された前記商品のリストをディスプレイに表示する第１の表示手段、
前記リストの中から１つ以上の前記商品を選択する第１の選択手段、
選択された前記商品を特定する情報を、前記載置面に表示する第２の表示手段、
として機能させるプログラムが提供される。
【発明の効果】
【００１２】
本発明によれば、商品の載置位置及び操作端末のディスプレイの両方に表示される会計関連の情報を適切に制御することで、会計処理の作業効率を向上させることができる。
【図面の簡単な説明】
【００１３】
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。【００１４】
【図１】本実施形態の登録システム１０のハードウエア構成例を示す図である。
【図２】本実施形態の登録システム１０の機能ブロック図の一例を示す図である。
【図３】本実施形態のコンピュータ５のハードウエア構成の一例を示す図である。
【図４】本実施形態の登録システム１０により第１のディスプレイ７に出力される情報の一例を模式的に示す図である。
【図５】本実施形態の登録システム１０により第２のディスプレイ２に出力される情報の一例を模式的に示す図である。
【図６】本実施形態の登録システム１０により第１のディスプレイ７に出力される情報の一例を模式的に示す図である。
【図７】本実施形態の登録システム１０により第２のディスプレイ２に出力される情報の一例を模式的に示す図である。
【図８】本実施形態の登録システム１０により第２のディスプレイ２に出力される情報の一例を模式的に示す図である。
【図９】本実施形態の登録システム１０の処理の流れの一例を示すフローチャートである。
【図１０】本実施形態の登録システム１０により第１のディスプレイ７に出力される情報の一例を模式的に示す図である。
【図１１】本実施形態の登録システム１０により第２のディスプレイ２に出力される情報の一例を模式的に示す図である。
【図１２】本実施形態の登録システム１０の機能ブロック図の一例を示す図である。
【発明を実施するための形態】
【００１５】
＜第１の実施形態＞
まず、本実施形態の登録システムのハードウエア構成例、及び、処理の概要を説明する。
【００１６】
図１に示すように、登録システムは、載置台１と、第２のディスプレイ２と、第１のディスプレイ７を有する操作端末６と、コンピュータ５と、カメラ４とを有する。図示する例では、カメラ４は支柱３に取り付けられている。なお、図示する構成例はあくまで一例であり、これに限定されない。
【００１７】
カメラ４とコンピュータ５とは、有線及び／又は無線で互いに通信可能に構成される。また、コンピュータ５と操作端末６とは、有線及び／又は無線で互いに通信可能に構成される。さらに、第２のディスプレイ２とコンピュータ５とは、有線及び／又は無線で互いに通信可能に構成される。
【００１８】
第２のディスプレイ２は、載置台１の一部を構成するとともに、各種情報を表示する。会計対象の１つ又は複数の商品は、載置台１の上、より詳細には第２のディスプレイ２の上に載置される。カメラ４は、第２のディスプレイ２を上方から撮影する位置に設置される。カメラ４により生成された画像は、コンピュータ５に送信される。コンピュータ５は画像を解析し、画像内に存在する物体を検出するとともに、検出した物体がいずれの商品であるかを認識する。そして、認識した商品を会計対象として登録する。会計対象として登録された商品のリストは、操作端末６の第１のディスプレイ７に表示される。
【００１９】
操作端末６は、会計対象として登録された商品のリストの中から１つ又は複数を選択する入力を受付ける。例えば、ユーザは、登録内容の変更（商品名変更、数量変更、値引き処理等）を行う際に、当該処理の対象となる商品を上記リストの中から選択する。この入力に応じて、コンピュータ５は、選択された商品を特定する情報を第２のディスプレイ２に表示する。例えば、選択された商品の載置位置に所定のマークが表示される。
【００２０】
このような本実施形態の登録システム１０によれば、第１のディスプレイ７に表示されている商品のリストの中から１つ又は複数が選択されると、その選択された商品を特定する情報が第２のディスプレイ２に表示される。このように複数のディスプレイ（第１のディスプレイ７及び第２のディスプレイ２）に表示する内容を適切に連動させることで、ユーザは自身の入力内容（どの商品を選択したか）等を容易に把握することができる。結果、会計処理の作業効率が向上する。
【００２１】
以下、本実施形態の登録システム１０の構成を詳細に説明する。図２に、本実施形態の登録システム１０の機能ブロック図の一例を示す。図示するように、登録システム１０は、認識部１１と、登録部１２と、第１の表示部１３と、第１の選択部１４と、第２の表示部１５とを有する。登録システム１０は、物理的及び／又は論理的に分かれた複数の装置により実現されてもよいし、物理的及び／又は論理的に１つの装置により実現されてもよい。物理的及び／又は論理的に分かれた複数の装置により実現される場合、複数の装置は有線及び／又は無線で互いに通信可能に構成される。
【００２２】
登録システム１０が備える各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
【００２３】
図３は、コンピュータ５のハードウエア構成を例示するブロック図である。図３に示すように、コンピュータ５は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。周辺回路４Ａを有さなくてもよい。なお、物理的及び／又は論理的に分かれた複数の装置によりコンピュータ５が実現される場合、各装置が当該ハードウエア構成を備えることができる。
【００２４】
バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置（例：キーボード、マウス、マイク、カメラ等）、外部装置、外部サーバ、外部センサー等から情報を取得するためのインターフェイスや、出力装置（例：ディスプレイ、スピーカ、プリンター、メーラ等）、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
【００２５】
図２に戻り、各機能部の機能構成を説明する。
【００２６】
認識部１１は、商品を載置する台の載置面をカメラで撮影した画像を解析し、画像の中の商品を認識する。認識部１１は、図１に示す第２のディスプレイ２の表示面（情報を表示する面）をカメラ４で撮影した画像を解析する。
【００２７】
例えば、認識部１１は、当該画像に対して二値化、輪郭抽出処理等を行うことで、物体が存在する領域を検出することができる。また、認識部１１は、検出した物体各々の画像内の位置を特定することができる。画像内の位置は、画像内の任意の点を原点とし、任意の方向をｘ軸及びｙ軸とした２次元座標系（以下、「画像座標系」）で示される。
【００２８】
そして、認識部１１は、検出した物体の画像に現れる外観の特徴（画像内の物体が存在する領域の特徴）と、予め登録されている複数の商品各々の外観の特徴（参照情報）とを照合することで、その物体がいずれの商品であるかを特定する（商品認識）。商品の外観の特徴は、色、表面の凹凸、形状等が例示されるが、これらに限定されない。
【００２９】
例えば、認識部１１は、外観の特徴を登録している商品毎に、検出された物体との類似度を算出する。そして、算出した類似度に基づき、各物体がいずれの商品であるかを特定する。
【００３０】
認識部１１は、類似度が条件（例：第１の基準値以上）を満たす商品が１つである場合、その物体はその商品であるという認識結果を出力することができる。一方、認識部１１は、類似度が条件（例：第１の基準値以上）を満たす商品が１つも存在しない場合、又は、類似度が条件（例：第１の基準値以上）を満たす商品が複数存在する場合、「その物体を認識できない」という認識結果を出力することができる。なお、算出した類似度に基づき各物体がいずれの商品であるかを特定する処理の詳細は、ここでの例示に限定されない。
【００３１】
登録部１２は、認識部１１により認識された商品を会計対象として登録する。例えば、登録部１２は、認識部１１により認識された商品の商品情報（例：価格、商品名等）を商品マスタから取得し、登録する。
【００３２】
第１の表示部１３は、会計対象として登録された商品のリスト（以下、「登録商品リスト」）をディスプレイに表示する。第１の表示部１３は、図１の第１のディスプレイ７に登録商品リストを表示する。図４に、第１のディスプレイ７に表示された登録商品リストの一例を示す。図示する例の場合、「昭和の板チョコ」と「超炭酸（ライム味）」が会計対象として登録されている。
【００３３】
第２の表示部１５は、載置台１の載置面を構成する第２のディスプレイ２に各種情報を表示する。
【００３４】
例えば、第２の表示部１５は、会計対象として登録された商品（例：認識部１１により認識された商品）を示す情報を第２のディスプレイ２に表示することができる。また、第２の表示部１５は、会計対象として登録されていない商品（例：認識部１１により認識されなかった商品）を示す情報を第２のディスプレイ２に表示することができる。
【００３５】
図５に、第２の表示部１５により第２のディスプレイ２に表示された情報の一例を模式的に示す。図示する例では、会計対象として登録された商品（例：認識部１１により認識された商品）の載置位置にマークＭ１が表示されている。また、会計対象として登録されていない商品（例：認識部１１により認識されなかった商品）の載置位置にマークＭ２が表示されている。図５の商品Ｐ１は図４の「昭和の板チョコ」に対応し、図５の商品Ｐ２は図４の「超炭酸（ライム味）」に対応する。
【００３６】
第２の表示部１５は、「画像座標系の座標」を「第２のディスプレイ２の座標系の座標」に変換する変換ルールを予め保持しておく。「画像座標系の座標」は、画像内の任意の位置を原点とし、任意の方向をｘ軸方向及びｙ軸方向と定めた座標系で示される。「第２のディスプレイ２の座標系の座標」は第２のディスプレイ２の表示領域内の任意の位置を原点とし、任意の方向をｘ軸方向及びｙ軸方向と定めた座標系で示される。
【００３７】
第２の表示部１５は、当該変換ルールに基づき、認識部１１により検出された各物体の画像座標系の座標を第２のディスプレイ２の座標系の座標に変換する。そして、第２の表示部１５は、当該変換により得られた第２のディスプレイ２の座標系の座標を囲むように、又は、その座標に近接して、各種情報（マークＭ１、Ｍ２等）を表示する。
【００３８】
なお、表示される情報は、文字、数字、記号等の他の情報とすることもできる。また、図示する例では商品の載置位置を内包するように情報を表示しているが、載置位置の近傍に情報を表示してもよい。また、マークＭ１とマークＭ２とは形状の違いで互いを識別しているが、色の違い、濃淡の違い等、他の表示形態の違いで互いを識別してもよい。
【００３９】
図２に戻り、第１の選択部１４は、ユーザによる第１の選択入力に基づき、登録商品リストの中から１つ以上の商品を選択する。本実施形態の第１の選択入力は、登録商品リストの中から１つ以上の商品を選択する入力である。第１の選択入力は、タッチパネルディスプレイ、物理ボタン、マイク等のあらゆる入力装置を介して実現される。例えば、図１に示す第１のディスプレイ７はタッチパネルディスプレイであり、図４に示す登録商品リストに対するタッチ操作（例：選択する商品の商品情報が表示されている領域に対するタッチ操作）により、１つ以上の商品が選択されてもよい。その他、登録商品リストで示される通番を指定する入力を物理ボタンやマイク等を介して受付けることで、１つ以上の商品が選択されてもよい。
【００４０】
第１の表示部１３は、第１の選択入力に基づき、図６に示すように、第１のディスプレイ７における表示内容を切り替えることができる。第１の表示部１３は、第１の選択入力で選択された商品（図の場合、「昭和の板チョコ」）を他の商品（選択されていない商品）と識別表示している。図では、「昭和の板チョコ」の「Ｎｏ．」の項目が強調表示されている。
【００４１】
また、第２の表示部１５は、第１の選択入力に基づき、図７に示すように、第２のディスプレイ２における表示内容を切り替えることができる。図示する例では、第２の表示部１５は、第１の選択入力で選択された商品を特定する情報（点滅するマークＭ１）を、第２のディスプレイ２に表示している。
【００４２】
このように、第１のディスプレイ７に対するタッチ操作に応じて、第１のディスプレイ７の表示内容のみならず、第２のディスプレイ２の表示内容をも切り替えることができる。ユーザは、タッチ操作した第１のディスプレイ７の表示内容のみならず、第２のディスプレイ２の表示内容からも、現時点で選択している商品（自身の操作内容）を把握することができる。
【００４３】
また、当該表示によれば、ユーザは、第１のディスプレイ７に表示されている商品リストの中の商品名と、第２のディスプレイ２上に載置されている商品との対応関係を把握することができる。図６及び図７の表示内容より、図７に示す商品Ｐ１は図６に示す「昭和の板チョコ」と認識され、商品登録されていることが分かる。
【００４４】
なお、第１の表示部１３は、図６に示すように、第１の選択入力に応じて、選択された商品に関して実行する処理内容の一覧を、選択可能に第１のディスプレイ７に表示することができる。図示する例では、「消去」、「数量変更」、「商品名変更」、「値引き処理」が表示されている。第１の選択部１４は、当該処理内容の一覧から１つを選択する入力を受付けることができる。
【００４５】
「消去」を選択されると、登録部１２は、第１の選択入力で選択された商品を、会計対象から消去する。これにより、その商品は登録商品リストから消去される。例えば、図６に示すように「昭和の板チョコ」が選択されている状態で「消去」が選択されると、登録部１２は「昭和の板チョコ」を会計対象から消去する。そして、第１の表示部１３は図６に示す登録商品リストから「昭和の板チョコ」を消去する。
【００４６】
「数量変更」を選択されると、第１の表示部１３は変更後の数量を選択するための情報を第１のディスプレイ７に表示する。そして、第１の選択部１４は任意の数量を選択する入力を受付ける。登録部１２は、第１の選択入力で選択された商品の「数量」を、上記処理で選択された数量に変更する。
【００４７】
例えば、図６に示すように「昭和の板チョコ」が選択されている状態で「数量変更」が選択され、さらに、数量「２」が選択されると、登録部１２は会計対象として登録している「昭和の板チョコ」の数量を「２」に変更する。そして、第１の表示部１３は図６に示す登録商品リストにおける「昭和の板チョコ」の数量を「２」に変更する。
【００４８】
「商品名変更」を選択されると、第１の表示部１３は変更後の商品名を選択するための情報を第１のディスプレイ７に表示する。例えば、第１の表示部１３は、認識部１１による商品認識において類似度が基準値以上であった商品の名称の一覧を、変更後の商品名（変更候補）として選択可能に表示してもよい。そして、第１の選択部１４は変更候補の中から任意の商品名を選択する入力を受付ける。登録部１２は、第１の選択入力で選択された商品の「商品名」を、上記処理で選択された商品名に変更する。また、変更後の商品名の商品情報（単価等）を商品マスタから取得し、登録する。
【００４９】
例えば、図６に示すように「昭和の板チョコ」が選択されている状態で「商品名変更」が選択され、さらに、変更候補の中から「昭和の板チョコ（限定モデル）」が選択されると、登録部１２は会計対象から「昭和の板チョコ」を消去し、新たに「昭和の板チョコ（限定モデル）」を追加する。そして、第１の表示部１３は図６に示す登録商品リストにおける「昭和の板チョコ」を消去し、新たに「昭和の板チョコ（限定モデル）」を追加する。
【００５０】
「値引き処理」が選択されると、第１の表示部１３は値引き内容（例：「３０円引き」、「３０％引き」等）を選択するための情報を第１のディスプレイ７に表示する。そして、第１の選択部１４は任意の値引き内容を選択する入力を受付ける。登録部１２は、第１の選択入力で選択された商品の「単価」を、上記処理で選択された値引き内容を反映させた単価に変更する。
【００５１】
例えば、図６に示すように「昭和の板チョコ」が選択されている状態で「値引き処理」が選択され、さらに、「３０円引き」が選択されると、登録部１２は会計対象として登録している「昭和の板チョコ」の単価を、元の単価である「１２７円」から、３０円引き後の「９７円」に変更する。そして、第１の表示部１３は図６に示す登録商品リストにおける「昭和の板チョコ」の単価を「９７円」に変更する。
【００５２】
なお、第２の表示部１５は、図８に示すように、値引き処理をされた商品を示す情報を第２のディスプレイ２に表示してもよい。図示する例の場合、値引き処理をされた商品は商品Ｐ１であり、当該商品Ｐ１の載置位置の近傍に「値引済み」の文字が表示されている。当該表示によれば、ユーザは、第２のディスプレイ２の表示内容に基づき、値引き対象の商品が確実に値引き処理されていることを把握することができる。
【００５３】
次に、図９のフローチャートを用いて、本実施形態の登録システム１０の処理の流れの一例を説明する。
【００５４】
ユーザは、会計対象の商品を、例えば図１の第２のディスプレイ２の上に載置する。第２のディスプレイ２の上に載置された商品はカメラ４により撮影される。カメラ４により生成された画像は、コンピュータ５に送信される。
【００５５】
認識部１１は、カメラ４により生成された画像を取得すると（Ｓ１０）、当該画像に対して二値化、輪郭抽出処理等を行い、物体が存在する領域を検出することで、画像の中の１つ又は複数の物体を検出する（Ｓ１１）。次いで、認識部１１は、Ｓ１１で検出した１つ又は複数の物体各々がいずれの商品であるか認識する（Ｓ１２）。具体的には、認識部１１は、検出した物体の画像に現れる外観の特徴（画像内の物体が存在する領域の特徴）と、予め登録されている複数の商品各々の外観の特徴（参照情報）とを照合することで、各物体がいずれの商品であるかを特定する。
【００５６】
Ｓ１３では、登録部１２は、Ｓ１２で認識された商品の商品情報（例：価格、商品名等）を商品マスタから取得し、会計対象として登録する。また、第１の表示部１３は、図４に示すように、会計対象として登録された商品のリスト（登録商品リスト）を第１のディスプレイ７に表示する。さらに、第２の表示部１５は、図５に示すように、会計対象として登録された商品（Ｓ１２で商品認識された物体）を示す情報（図５のマークＭ１）、及び、会計対象として登録されていない商品（Ｓ１２で商品認識された物体）を示す情報（図５のマークＭ２）を第２のディスプレイ２に表示することができる。
【００５７】
少なくとも１つの商品を含む登録商品リストが表示された後、第１の選択部１４は登録商品リストの中から１つ以上の商品を選択する第１の選択入力を受付けることができる。第１の選択入力を受付けると（Ｓ１４のＹｅｓ）、第２の表示部１５は、図７に示すように、第１の選択入力で選択された商品を特定する情報（例：点滅するマークＭ１）を、第２のディスプレイ２に表示する（Ｓ１５）。また、第１の表示部１３は、図６に示すように、第１の選択入力で選択された商品（図の場合、「昭和の板チョコ」）を他の商品（選択されていない商品）と識別表示することができる。
【００５８】
図９のフローチャートでは示してないが、その後、ユーザ入力に基づき、第１の選択入力で選択された商品に関して各種処理（「消去」、「数量変更」、「商品名変更」、「値引き処理」等）が実行されてもよい。
【００５９】
精算処理を開始する入力がなければ（Ｓ１６のＮｏ）、Ｓ１０に戻って同様の処理が繰り返す。なお、認識部１１は、例えば画像の時系列な変化に基づき、第２のディスプレイ２に新たに載置された物体と、第２のディスプレイ２に載置され続けている物体とを識別することができる。そして、新たな物体が検出されると、登録部１２は、その物体に対するＳ１２の認識結果に基づき、新たな商品を会計対象として登録する。
【００６０】
精算処理を開始する入力がなされると（Ｓ１６のＹｅｓ）、登録システム１０は精算処理を行う。例えば、登録システム１０は、登録されている商品に基づき算出された支払合計金額の支払いとして、現金の入力を受付け、必要に応じて釣銭の出力やレシートの出力を行ってもよい。また、登録システム１０は、クレジットカード情報の入力を受付け、クレジット会社のシステムと通信し、決済処理を行ってもよい。また、登録システム１０は、精算処理のための情報（登録された商品を示す情報、支払合計金額等）を他の精算装置に送信してもよい。また、登録システム１０は、顧客から預かった預かり金額の入力を受付けたり、それに基づき釣銭額を算出してディスプレイ（例：第１のディスプレイ７）に表示したり、算出した釣銭を払い出したりしてもよい。
【００６１】
以上説明した本実施形態の登録システム１０によれば、第１のディスプレイ７に表示されている商品の中から１つ又は複数が選択されると、その選択された商品を特定する情報（例：図７の点滅するマークＭ１）が第２のディスプレイ２に表示される。また、第１のディスプレイ７においてその商品を識別可能に表示することができる（図６参照）。このように複数のディスプレイ（第１のディスプレイ７及び第２のディスプレイ２）に表示する会計関連の情報を適切に連動させることで、ユーザは自身の入力内容等を容易に把握することができる。結果、会計処理の作業効率が向上する。
【００６２】
例えば、本実施形態の登録システム１０によれば、ユーザは、「消去」、「数量変更」、「商品名変更」、「値引き処理」等の各種処理の対象とする商品を、第１のディスプレイ７に表示された登録商品リストから選択することができる。その後、ユーザは、図６に示すような第１のディスプレイ７の表示内容や、図７に示すような第２のディスプレイ２の表示内容に基づき、処理対象が正しく選択されているかを把握することができる。
【００６３】
さらに、本実施形態の登録システム１０によれば、第１のディスプレイ７に表示された登録商品リストから選択された商品を、第２のディスプレイ２で明示できるので、ユーザは、第２のディスプレイ２上に載置された商品と、第１のディスプレイ７に表示された登録商品リストの中の商品との対応関係を容易に把握できる。ユーザは、把握した対応関係に基づき、各商品が画像解析で正しく認識され、正しく登録されているかを確認することができる。
【００６４】
ここで、本実施形態の変形例を説明する。第１の選択部１４は、複数の商品を選択する第１の選択入力を受付けることができる。この場合の第１の表示部１３及び第２の表示部１５による表示は、図１０及び図１１のようになる。図示する例では、商品Ｐ１（昭和の板チョコ）及びＰ２（超炭酸（ライム味）が選択されている。このように複数の商品を選択できる場合、複数の商品に対して一度に各種処理（「消去」、「数量変更」、「値引き処理」等）を行うことができる。結果、会計処理の作業効率が向上する。
【００６５】
＜第２の実施形態＞
本実施形態は、タッチパネルディスプレイである第２のディスプレイ２を介して商品を選択できる点で、第１の実施形態と異なる。
【００６６】
本実施形態の登録システム１０のハードウエア構成の一例は、第１の実施形態と同様である。
【００６７】
登録システム１０の機能ブロック図の一例は、図１２で示される。図示するように、登録システム１０は、認識部１１と、登録部１２と、第１の表示部１３と、第１の選択部１４と、第２の表示部１５と、第２の選択部１６とを有する。認識部１１、登録部１２及び第１の選択部１４の構成は、第１の実施形態と同様である。
【００６８】
第２の選択部１６は、タッチパネルディスプレイ（第２のディスプレイ２）を介した第２の選択入力に基づき、会計対象として登録された商品の中の１つ以上を選択する。第１の表示部１３は、登録商品リストにおいて、第２の選択入力で選択された商品を他の商品（選択されていない商品）と識別表示することができる。また、第２の表示部１５は、第２の選択入力で選択された商品を特定する情報を、第２のディスプレイ２に表示することができる。
【００６９】
第２の選択入力は、例えば、図５に示す状態において、いずれかのマークＭ１をタップする操作で実現されてもよい。例えば商品Ｐ１のマークＭ１がタップされると、第２の選択部１６は商品Ｐ１を選択してもよい。当該選択に応じて、第２の表示部１５は、図７に示すように第２のディスプレイ２における表示内容を切り替える。図示する例では、第１の表示部１３は、第２の選択入力で選択された商品を特定する情報（点滅するマークＭ１）を、商品Ｐ１の載置位置に表示している。また、第１の表示部１３は、図６に示すように、登録商品リストにおいて、第２の選択入力で選択された商品（図の場合、「昭和の板チョコ」）を他の商品（選択されていない商品）と識別表示することができる。
【００７０】
このように、第２のディスプレイ２に対するタッチ操作に応じて、第２のディスプレイ２の表示内容のみならず、第１のディスプレイ７の表示内容をも切り替えることができる。ユーザは、タッチ操作した第２のディスプレイ２の表示内容のみならず、第１のディスプレイ７の表示内容からも、現時点で選択している商品（自身の操作内容）を把握することができる。
【００７１】
第１の表示部１３及び第２の表示部１５のその他の構成は、第１の実施形態と同様である。
【００７２】
以上説明した本実施形態の登録システム１０によれば、第１の実施形態と同様な作用効果が実現される。また、１つの商品を選択する操作を第２のディスプレイ２からもできる本実施形態の登録システム１０によれば、操作の自由度が向上する。結果、会計処理の作業効率が向上する。
【００７３】
ここで、本実施形態の変形例を説明する。第２の選択部１６は、複数の商品を選択する第２の選択入力を受付けることができる。この場合の第１の表示部１３及び第２の表示部１５による表示は、図１０及び図１１のようになる。図示する例では、商品Ｐ１（昭和の板チョコ）及びＰ２（超炭酸（ライム味）が選択されている。このように複数の商品を選択できる場合、複数の商品に対して一度に各種処理（「消去」、「数量変更」、「値引き処理」等）を行うことができる。結果、会計処理の作業効率が向上する。
【００７４】
＜第３の実施形態＞
本実施形態の登録システム１０は、所定の条件に合った商品を登録商品リストの中から選択し、識別可能に表示する点で第１及び第２の実施形態と異なる。
【００７５】
本実施形態の登録システム１０のハードウエア構成の一例は、第１及び第２の実施形態と同様である。
【００７６】
登録システム１０の機能ブロック図の一例は、図２又は図１２で示される。図示するように、登録システム１０は、認識部１１と、登録部１２と、第１の表示部１３と、第１の選択部１４と、第２の表示部１５とを有し、さらに第２の選択部１６を有してもよい。認識部１１、登録部１２、第１の表示部１３、第２の表示部１５及び第２の選択部１６の構成は、第１及び第２の実施形態と同様である。
【００７７】
第１の選択部１４は、所定の条件に合った商品を登録商品リストの中から選択する。第１の表示部１３は、登録商品リストにおいて、第１の選択部１４により選択された商品を他の商品（選択されていない商品）と識別表示することができる（図６参照）。また、第２の表示部１５は、第１の選択部１４により選択された商品を特定する情報を、第２のディスプレイ２に表示することができる（図７参照）。
【００７８】
所定の条件は、「値引き処理をされた商品」、「消費期限／賞味期限が切れている商品」、「所定個数以上まとめて購入すると値引き等の特典を受けられる対象であるが、購入個数が条件を満たしていない商品」、「購入者にもれなく景品をプレゼントする対象の商品」、「購入制限（年齢、個数等）がある商品」等である。
【００７９】
「値引き処理をされた商品」を選択し、第２のディスプレイ２及び第１のディスプレイ７において識別表示することで、ユーザは、値引き対象の商品が確実に値引きされていることを把握できる。なお、第１の表示部１３及び第２の表示部１５は、選択された商品が「値引き処理をされた商品」であることを示す情報をさらに表示してもよい。
【００８０】
「消費期限／賞味期限が切れている商品」を選択し、第２のディスプレイ２及び第１のディスプレイ７において識別表示することで、消費期限／賞味期限が切れている商品を購入／販売しようとしていることをユーザに注意喚起できる。なお、第１の表示部１３及び第２の表示部１５は、選択された商品が「消費期限／賞味期限が切れている商品」であることを示す情報をさらに表示してもよい。
【００８１】
ここで、各商品の消費期限／賞味期限を特定する手段の一例を説明する。例えば、各商品に付されたコード（バーコード、２次元コード等）が各商品の消費期限／賞味期限を示してもよい。そして、認識部１１は画像解析で画像に含まれる各商品のコードを検出し、検出したコードのパターンを解析することで、各商品の消費期限／賞味期限を認識してもよい。
【００８２】
「所定個数以上まとめて購入すると値引き等の特典を受けられる対象であるが、購入個数が条件を満たしていない商品」を選択し、第２のディスプレイ２及び第１のディスプレイ７において識別表示することで、ユーザは、当該状況、すなわち「特典対象の商品を購入しようとしているが、個数が条件を満たさないため現時点では特典を受けられない状況」を把握できる。結果、顧客は特典を受けるため、購入個数を増やす等の対応を行うことができる。なお、第１の表示部１３及び第２の表示部１５は、選択された商品が「所定個数以上まとめて購入すると値引き等の特典を受けられる対象であるが、購入個数が条件を満たしていない商品」であることを示す情報をさらに表示してもよい。また、第１の選択部１４は、会計対象として登録されている個数と特典を受けるための個数とに基づきその差分を算出してもよい。そして、第１の表示部１３及び第２の表示部１５は、「あと○○個購入すれば、○○の特典を受けられます」という案内を表示してもよい。
【００８３】
例えば、予め、購入個数が条件を満たすと特典を付与する対象の商品及び購入個数の条件を示す特典条件情報が登録されていてもよい。そして、第１の選択部１４は、当該特典条件情報に基づき、当該特典の対象商品や個数の条件を把握することができる。
【００８４】
「購入者にもれなく景品をプレゼントする対象の商品」を選択し、第２のディスプレイ２及び第１のディスプレイ７において識別表示することで、ユーザは、当該状況、すなわち「購入者にもれなく景品をプレゼントする対象の商品が購入される状況」を把握できる。結果、忘れることなく景品を受けとったり、渡したりできる。なお、第１の表示部１３及び第２の表示部１５は、選択された商品が「購入者にもれなく景品をプレゼントする対象の商品」であることを示す情報をさらに表示してもよい。また、第１の表示部１３及び第２の表示部１５は、景品の受け取り方法を示す情報を表示してもよい。
【００８５】
例えば、予め、購入者にもれなく景品をプレゼントする対象の商品を示す特典情報が登録されていてもよい。そして、第１の選択部１４は、当該特典情報に基づき、当該特典の対象商品を把握することができる。
【００８６】
「購入制限（年齢、個数等）がある商品」を選択し、第２のディスプレイ２及び第１のディスプレイ７において識別表示することで、ユーザは、当該状況、すなわち「購入制限（年齢、個数等）がある商品が購入されようとしている状況」を把握できる。結果、年齢条件を満たさない客にその商品を販売したり、購入個数の上限を超えて客に販売したりする不都合を抑制できる。なお、第１の表示部１３及び第２の表示部１５は、選択された商品が「購入制限（年齢、個数等）がある商品」であることを示す情報をさらに表示してもよい。また、第１の表示部１３及び第２の表示部１５は、「あなたは○○才以上ですか？はい／いいえ」という情報を表示し、第１の選択部１４はその回答の入力を受付けてもよい。
【００８７】
例えば、予め、購入制限（年齢、個数等）がある商品を示す購入制限情報が登録されていてもよい。そして、第１の選択部１４は、当該購入制限情報に基づき、購入制限（年齢、個数等）がある商品を把握することができる。
【００８８】
なお、第１及び第２の実施形態で説明したように、第１の選択部１４がユーザによる第１の選択入力又は第２の選択入力に基づき商品を選択した場合、第１の表示部１３は、図６に示すような処理内容を指定する情報を表示することができた。これに対し、本実施形態のように第１の選択部１４が「所定の条件に合った商品」を選択する場合、第１の表示部１３は、図６に示すような処理内容を指定する情報を表示しなくてもよい。すなわち、所定の条件に合った商品は、所定の処理を実行するために選択されたものでなく、所定の条件に合っていることを明示するために選択されたものであってもよい。
【００８９】
以上説明した本実施形態の登録システム１０によれば、第１及び第２の実施形態と同様な作用効果を実現できる。また、本実施形態の登録システム１０によれば、条件に合った商品を明示できる。例えば、「値引き処理をされた商品」、「消費期限／賞味期限が切れている商品」、「所定個数以上まとめて購入すると値引き等の特典を受けられる対象であるが、購入個数が条件を満たしていない商品」、「購入者にもれなく景品をプレゼントする対象の商品」、「購入制限（年齢、個数等）がある商品」等を明示することができる。結果、ユーザは、これらの商品が購入されようとしていることを把握することができる。結果、これらの商品が購入されようとしていることを見逃すことによる各種不都合を回避できる。
【００９０】
ここで、すべての実施形態に適用可能な変形例を説明する。変形例では、登録システム１０は、第２のディスプレイ２を有さなくてもよい。この場合、第２の表示部１５は、上記実施形態において第２のディスプレイ２に表示していた情報を、投影装置を用いて載置台１の載置面に表示することができる。
【００９１】
第２の表示部１５は、「画像の座標」を「投影装置の投影領域の座標」に変換する変換ルールを予め保持しておく。そして、第２の表示部１５は、画像内の物体の位置（座標）を当該変換ルールに基づき投影装置の投影領域の座標に変換し、例えば変換した位置を囲むように、又は、その位置に近接して、所定の情報を投影することができる。投影装置の投影領域の座標は、投影領域内の任意の位置を原点とし、任意の方向をｘ軸方向及びｙ軸方向と定めた座標系で示される。
【００９２】
そして、第２の選択部１６は、カメラ４で撮影された人のジェスチャー（例：手の動き、形、位置等）に基づき、各種入力（商品の選択等）を受付ける。
【００９３】
以下、参考形態の例を付記する。
１．  商品を載置する台の載置面をカメラで撮影した画像を解析し、前記画像の中の商品を認識する認識手段と、
認識された前記商品を会計対象として登録する登録手段と、
会計対象として登録された前記商品のリストをディスプレイに表示する第１の表示手段と、
前記リストの中から１つ以上の前記商品を選択する第１の選択手段と、
選択された前記商品を特定する情報を、前記載置面に表示する第２の表示手段と、
を有する登録システム。
２．  １に記載の登録システムにおいて、
前記第１の選択手段は、前記リストの中から１つ以上の前記商品を選択する第１の選択入力に基づき、前記商品を選択する登録システム。
３．  １に記載の登録システムにおいて、
前記第１の選択手段は、所定の条件に合った前記商品を前記リストの中から選択する登録システム。
４．  １から３のいずれかに記載の登録システムにおいて、
前記台はタッチパネルディスプレイであり、前記タッチパネルディスプレイの表示面が前記載置面となり、
前記タッチパネルディスプレイを介した第２の選択入力に基づき、前記商品の中の１つ以上を選択する第２の選択手段をさらに有し、
前記第１の表示手段は、前記リストにおいて、前記第２の選択入力に基づき選択された前記商品を識別表示する登録システム。
５．  コンピュータが、
商品を載置する台の載置面をカメラで撮影した画像を解析し、前記画像の中の商品を認識する認識工程と、
認識された前記商品を会計対象として登録する登録工程と、
会計対象として登録された前記商品のリストをディスプレイに表示する第１の表示工程と、
前記リストの中から１つ以上の前記商品を選択する第１の選択工程と、
選択された前記商品を特定する情報を、前記載置面に表示する第２の表示工程と、
を実行する登録方法。
６．  コンピュータを、
商品を載置する台の載置面をカメラで撮影した画像を解析し、前記画像の中の商品を認識する認識手段、
認識された前記商品を会計対象として登録する登録手段、
会計対象として登録された前記商品のリストをディスプレイに表示する第１の表示手段、
前記リストの中から１つ以上の前記商品を選択する第１の選択手段、
選択された前記商品を特定する情報を、前記載置面に表示する第２の表示手段、
として機能させるプログラム。
【００９４】
この出願は、２０１８年３月２２日に出願された日本出願特願２０１８−０５４１０１号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図１】
2019181034.tif 000003
【図２】
2019181034.tif 000004
【図３】
2019181034.tif 000005
【図４】
2019181034.tif 000006
【図５】
2019181034.tif 000007
【図６】
2019181034.tif 000008
【図７】
2019181034.tif 000009
【図８】
2019181034.tif 000010
【図９】
2019181034.tif 000011
【図１０】
2019181034.tif 000012
【図１１】
2019181034.tif 000013
【図１２】
2019181034.tif 000014
【国際調査報告】
2019181034.tif 000015
2019181034.tif 000016