(57)【要約】  会計システム（１）は、会計装置（１０）、撮像装置（３０）、およびディスプレイ（４０）を含んで構成される。ディスプレイ（４０）は、商品の載置面としても利用される。撮像装置（３０）は、ディスプレイ（４０）上に載置された複数の商品（Ｐ）を撮影してそれら商品（Ｐ）の画像を生成する。会計装置（１０）は、生成された画像を取得する画像取得部（１１０）と、画像を解析することによって、複数の商品（Ｐ）をそれぞれ識別する商品識別部（１２０）と、組み合わせ商品を定義する定義情報に基づいて、識別された複数の商品（Ｐ）の中から組み合わせ商品を検出する組み合わせ商品検出部（１３０）と、組み合わせ商品が検出された場合、当該組み合わせ商品を構成する複数の商品の対応関係を示す対応付け情報をディスプレイ（４０）上に出力する表示制御部（１４０）と、を備える。
2019186975.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイ上に載置された複数の商品が写る画像を取得する画像取得手段と、
前記画像を解析することによって、前記複数の商品をそれぞれ識別する商品識別手段と、
複数の商品を組み合わせて一つの商品として販売される組み合わせ商品を定義する定義情報に基づいて、識別された前記複数の商品の中から前記組み合わせ商品を検出する組み合わせ商品検出手段と、
前記組み合わせ商品が検出された場合、当該組み合わせ商品を構成する複数の商品の対応関係を示す対応付け情報を前記ディスプレイ上に出力する表示制御手段と、
を備える会計装置。
【請求項２】
前記表示制御手段は、
前記組み合わせ商品を構成する複数の商品それぞれの識別結果に基づく識別結果情報を表示し、
前記組み合わせ商品を構成する複数の商品それぞれの識別結果情報を結ぶ線を、前記対応付け情報として出力する、
請求項１に記載の会計装置。
【請求項３】
前記表示制御手段は、前記組み合わせ商品を構成する複数の商品の少なくとも一部が欠けている場合、当該欠けている商品を通知する通知情報を前記ディスプレイ上に表示させる、
請求項１または２に記載の会計装置。
【請求項４】
表示面が商品の載置面として利用されるディスプレイと、
前記ディスプレイ上に載置された複数の商品が写る画像を生成する撮像装置と、
前記複数の商品が写る画像を取得する画像取得手段と、
前記画像を解析することによって、前記複数の商品をそれぞれ識別する商品識別手段と、
複数の商品を組み合わせて一つの商品として販売される組み合わせ商品を定義する定義情報に基づいて、識別された前記複数の商品の中から前記組み合わせ商品を検出する組み合わせ商品検出手段と、
前記組み合わせ商品が検出された場合、当該組み合わせ商品を構成する複数の商品の対応関係を示す対応付け情報を前記ディスプレイ上に出力する表示制御手段と、
を備える会計システム。
【請求項５】
コンピュータが、
ディスプレイ上に載置された複数の商品が写る画像を取得し、
前記画像を解析することによって、前記複数の商品をそれぞれ識別し、
複数の商品を組み合わせて一つの商品として販売される組み合わせ商品を定義する定義情報に基づいて、識別された前記複数の商品の中から前記組み合わせ商品を検出し、
前記組み合わせ商品が検出された場合、当該組み合わせ商品を構成する複数の商品の対応関係を示す対応付け情報を前記ディスプレイ上に出力する、
ことを含む商品識別方法。
【請求項６】
コンピュータに、請求項５に記載の商品識別方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、店舗業務を支援する技術に関する。
【背景技術】
【０００２】
店舗業務を支援する技術の一例が、例えば、下記特許文献１または２に開示されている。下記特許文献１には、付属商品が存在する商品が購入対象の商品として登録された場合、付属商品があること、および、その付属商品の数量などを店員に報知する技術が開示されている。下記特許文献２には、カメラにより撮像された対象物をオブジェクト認識することで当該対象物を商品として識別し、その商品を購入対象商品として登録する機能を備える商品登録装置が開示されている。【０００３】
また、下記特許文献３には、テーブル上に設けられたタッチパネル式のディスプレイ上で様々な表示を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１８−００５８１３号公報
【特許文献２】特開２０１６−０６２５４５号公報
【特許文献３】再特ＷＯ２０１５／０９８１８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
店舗で扱われる商品の中には、複数の商品を組み合わせて１つの商品として販売されるような特殊な商品（以下、「組み合わせ商品」と表記）も存在する。そして、購入対象の商品を登録する場所において、そのような組み合わせ商品のほかに別の商品が持ち込まれた場合、組み合わせ商品として正しい商品の組み合わせが分かりにくくなる。【０００６】
本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、複数の商品を組み合わせて１つの商品として販売されるような特殊な商品を容易に判別する技術を提供することである。
【課題を解決するための手段】
【０００７】
本発明の会計装置は、
ディスプレイ上に載置された複数の商品が写る画像を取得する画像取得手段と、
前記画像を解析することによって、前記複数の商品をそれぞれ識別する商品識別手段と、
複数の商品を組み合わせて一つの商品として販売される組み合わせ商品を定義する定義情報に基づいて、識別された前記複数の商品の中から前記組み合わせ商品を検出する組み合わせ商品検出手段と、
前記組み合わせ商品が検出された場合、当該組み合わせ商品を構成する複数の商品の対応関係を示す対応付け情報を前記ディスプレイ上に出力する表示制御手段と、
を備える。【０００８】
本発明の会計システムは、
表示面が商品の載置面として利用されるディスプレイと、
前記ディスプレイ上に載置された複数の商品が写る画像を生成する撮像装置と、
前記複数の商品が写る画像を取得する画像取得手段と、
前記画像を解析することによって、前記複数の商品をそれぞれ識別する商品識別手段と、
複数の商品を組み合わせて一つの商品として販売される組み合わせ商品を定義する定義情報に基づいて、識別された前記複数の商品の中から前記組み合わせ商品を検出する組み合わせ商品検出手段と、
前記組み合わせ商品が検出された場合、当該組み合わせ商品を構成する複数の商品の対応関係を示す対応付け情報を前記ディスプレイ上に出力する表示制御手段と、
を備える。【０００９】
本発明の商品識別方法は、
コンピュータが、
ディスプレイ上に載置された複数の商品が写る画像を取得し、
前記画像を解析することによって、前記複数の商品をそれぞれ識別し、
複数の商品を組み合わせて一つの商品として販売される組み合わせ商品を定義する定義情報に基づいて、識別された前記複数の商品の中から前記組み合わせ商品を検出し、
前記組み合わせ商品が検出された場合、当該組み合わせ商品を構成する複数の商品の対応関係を示す対応付け情報を前記ディスプレイ上に出力する、
ことを含む。【００１０】
本発明のプログラムは、コンピュータに、上述の商品識別方法を実行させる。
【発明の効果】
【００１１】
本発明によれば、複数の商品を組み合わせて１つの商品として販売されるような特殊な商品を容易に判別することができる。
【図面の簡単な説明】
【００１２】
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。【００１３】
【図１】第１実施形態における会計システム１の構成例を示す図である。
【図２】会計システムのハードウエア構成を例示するブロック図である。
【図３】第１実施形態の会計システムにより実行される処理の流れを例示するシーケンス図である。
【図４】定義情報の一例を示す図である。
【図５】表示制御部によってディスプレイに表示される情報の一例を示す図である。
【図６】表示制御部によってディスプレイに表示される情報の一例を示す図である。
【図７】表示制御部によってディスプレイに表示される情報の一例を示す図である。
【図８】表示制御部によってディスプレイに表示される情報の一例を示す図である。
【図９】第２実施形態の会計システムにより実行される処理の流れを例示するシーケンス図である。
【図１０】表示制御部よってディスプレイに表示される通知情報の一例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
【００１５】
［第１実施形態］
〔システム構成〕
図１は、第１実施形態における会計システム１の構成例を示す図である。なお、図１はあくまで例示であり、本発明に係る会計システム１は図１に描かれる構成に限定されない。図１に示されるように、会計システム１は、会計装置１０、撮像装置３０、およびディスプレイ４０を含んで構成される。会計装置１０は、図示しない配線等によって撮像装置３０、およびディスプレイ４０と接続されている。また、会計装置１０には、会計処理を行うための会計処理用機器（図示せず）が接続されている。会計処理機器は、例えば、バーコードスキャナ、キャッシャ、ドロワ、自動釣銭機、レシートプリンタ、キーボードやマウスなどの入力機器、スピーカーなどの出力機器などである。
【００１６】
ディスプレイ４０は、店舗の業務（例えば、商品の精算業務など）で利用する様々な画像をその表示面上に表示する。なお、ディスプレイ４０は、指やタッチペンなどを用いたタッチ操作による入力を受け付ける機能を有するタッチパネルディスプレイであってもよい。ディスプレイ４０の表示面は、図示されるように、商品Ｐを載置する載置面としても利用される。また図示されるように、ディスプレイ４０には、複数の商品Ｐ（Ｐ１、Ｐ２）が載置されることもある。
【００１７】
図１に示されるように、撮像装置３０は、ディスプレイ４０を撮像範囲に含むように配置されている。撮像装置３０は、ディスプレイ４０の表示面上に載置された商品Ｐを撮影して、商品Ｐが写る画像を生成する。図１に示されるように、複数の商品Ｐ（Ｐ１、Ｐ２）がディスプレイ４０上に載置されている場合、撮像装置３０は複数の商品Ｐ（Ｐ１、Ｐ２）が写っている画像を生成する。撮像装置３０により生成された画像は、会計装置１０に送信される。
【００１８】
図１に例示されるように、本実施形態の会計装置１０は、画像取得部１１０、商品識別部１２０、組み合わせ商品検出部１３０、および表示制御部１４０を備える。
【００１９】
画像取得部１１０は、ディスプレイ４０上に載置された商品の画像を取得する。図１に示されるように、複数の商品Ｐ（Ｐ１、Ｐ２）がディスプレイ４０上に載置されている場合、画像取得部１１０は、それら複数の商品Ｐ（Ｐ１、Ｐ２）が写っている画像を取得することができる。
【００２０】
商品識別部１２０は、画像取得部１１０により取得された画像を解析することにより、ディスプレイ４０上の商品Ｐを識別する。例えば、商品識別部１２０は、既知の物体認識技術（例えば、パターンマッチングや機械学習により構築された識別器など）を用いて、撮像装置３０により生成された画像に写っている商品を識別することができる。また、撮像装置３０により生成された画像に複数の商品が写っている場合であっても、商品識別部１２０は、既知の物体認識アルゴリズムを用いて、それらの商品をそれぞれ個別に識別することができる。図１に示されるように、複数の商品Ｐ（Ｐ１、Ｐ２）がディスプレイ４０上に載置されている場合、商品識別部１２０は、商品Ｐ１および商品Ｐ２をそれぞれ個別に識別することができる。また、商品識別部１２０は、商品に関する情報（以下、「商品情報」と表記）を記憶する記憶部（図示せず）から、識別された商品の商品情報を取得することができる。商品情報は、例えば、商品名、商品の価格、割引や値引きなどの特典の有無などの情報である。会計装置１０は、商品識別部１２０により取得された商品情報を使って、商品の精算業務に係る処理を実行することができる。
【００２１】
組み合わせ商品検出部１３０は、商品識別部１２０により複数の商品が識別された場合、識別された複数の商品の中から組み合わせ商品を検出する。ここで、組み合わせ商品とは、複数の商品を組み合わせて一つの商品として販売される商品である。言い換えると、組み合わせ商品は、それぞれ別々にパッケージングされている複数の商品を組み合わせた商品である。特に限定されないが、例えば、ごはんのパックに任意のおかずのパックを選んで組み合わせる形式のお弁当などが、組み合わせ商品の具体例として挙げられる。組み合わせ商品検出部１３０は、識別された複数の商品の中に組み合わせ商品が存在するか否かを、組み合わせ商品を定義する定義情報に基づいて判断することができる。
【００２２】
表示制御部１４０は、商品識別部１２０の識別結果に基づく情報（以下、「識別結果情報」と表記）をディスプレイ４０上に表示する。識別結果情報は、例えば、商品の名称、商品の価格、商品の外観画像など、会計システム１で識別された商品を示す情報を含む。また、表示制御部１４０は、組み合わせ商品検出部１３０が組み合わせ商品を検出した場合、対応付け情報をディスプレイ４０上に出力する。対応付け情報とは、組み合わせ商品を構成する複数の商品の対応関係を示す情報である。ディスプレイ４０を見る人物は、この対応付け情報に基づいて、ディスプレイ４０上の複数の商品の中から組み合わせ商品に対応する商品を認識することができる。
【００２３】
〔ハードウエア構成例〕
会計システム１は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、会計システム１がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
【００２４】
図２は、会計システム１のハードウエア構成を例示するブロック図である。
【００２５】
会計装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。
【００２６】
バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。
【００２７】
プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。
【００２８】
メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。
【００２９】
ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は会計装置１０の各機能（画像取得部１１０、商品識別部１２０、組み合わせ商品検出部１３０、表示制御部１４０など）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。
【００３０】
入出力インタフェース１０５０は、会計装置１０と各種入出力デバイスとを接続するためのインタフェースである。図２では、会計装置１０は、撮像装置３０およびディスプレイ４０と、入出力インタフェース１０５０を介して接続されている。撮像装置３０は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを搭載するカメラである。撮像装置３０は、図示されるように、ディスプレイ４０（およびディスプレイ４０上に載置される商品Ｐ）を撮像範囲に含むように設置される。撮像装置３０は、ディスプレイ４０上に載置された商品Ｐを撮影して、その商品Ｐが写る画像を生成する。ディスプレイ４０は、一般的な表示用のデバイスである。ディスプレイ４０は、タッチ機能付きのディスプレイ（タッチパネルディスプレイ）であってもよい。なお、ディスプレイ４０は、商品Ｐの載置面としても利用される。そのため、ディスプレイ４０の表示面としては、好ましくは、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、有機ＥＬ（Electro Luminescence）などの平面型ディスプレイが利用される。また、入出力インタフェース１０５０には、図示しない会計処理用機器が接続されている。会計処理用機器は、例えば、バーコードスキャナ、キャッシャ、ドロワ、自動釣銭機、レシートプリンタ、キーボードやマウスなどの入力機器、スピーカーなどの出力機器を含む。また、会計処理用機器として、店員専用または顧客専用のディスプレイ（ディスプレイ４０とは異なるディスプレイ）が、入出力インタフェース１０５０を介して会計装置１０と接続されていてもよい。
【００３１】
ネットワークインタフェース１０６０は、会計装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。
【００３２】
図２は、あくまで一例であり、会計システム１のハードウエア構成は図２の例に制限されない。例えば、会計装置１０は、ネットワークインタフェース１０６０を介して、撮像装置３０およびディスプレイ４０と接続されていてもよい。
【００３３】
〔処理の流れ〕
図３を用いて、本実施形態の会計システム１により実行される処理の流れを説明する。図３は、第１実施形態の会計システム１により実行される処理の流れを例示するシーケンス図である。
【００３４】
まず、画像取得部１１０は、撮像装置３０により生成された撮影画像を取得する（Ｓ１０２）。例えば、撮像装置３０は、イメージセンサのセンシング結果（撮影画像）を、画像取得部１１０に常時出力している。また、撮像装置３０は、画像取得部１１０の指示に応じて、画像を生成するように構成されていてもよい。そして、商品識別部１２０は、画像取得部１１０により取得された撮影画像の中に商品が存在するか否かを判定する（Ｓ１０４）。例えば、商品識別部１２０は、画像取得部１１０により取得された撮影画像（または撮影画像から抽出される特徴量）を商品識別エンジンに入力して得られる出力結果に基づいて、撮影画像の中に商品が存在するか否かを判定することができる。その他にも、商品識別部１２０は、エッジ特徴量などを用いて撮影画像の中から物体の領域を検出した後、テンプレートマッチングなどを行って当該物体が商品か否かを判定してもよい。
【００３５】
撮影画像の中に商品が存在しない場合（Ｓ１０４：ＮＯ）、画像取得部１１０は、撮像装置３０により生成される新たな撮影画像を取得し、商品識別部１２０は、その新たな撮影画像の中に商品が存在する否かを判定する。
【００３６】
一方、撮影画像の中に商品が存在する場合（Ｓ１０４：ＹＥＳ）、商品識別部１２０は、識別された商品が何かを示す情報（商品識別情報）を取得する（Ｓ１０６）。商品情報は、例えば、商品毎に割り当てられた識別番号や商品固有の名称などである。商品識別部１２０は、商品の画像を商品識別エンジン等に入力した結果として、商品識別情報を取得することができる。ここで、ディスプレイ４０上に複数の商品が載置されている場合、商品識別エンジンは、それらの商品１つ１つについて識別結果を出力する。なお、商品識別部１２０は、商品識別エンジン等から取得した商品識別情報を基に、識別された商品に関する商品情報（例えば、商品価格や特典の有無など）を、図示しない記憶部から取得することができる。会計装置１０は、商品識別部１２０により取得された商品情報を用いて、商品の精算処理を進めることができる。
【００３７】
ここで、組み合わせ商品検出部１３０は、Ｓ１０６の処理において、複数の商品識別情報が取得されたか否かを判定する（Ｓ１０８）。Ｓ１０６の処理において複数の商品識別情報が取得されていない場合（Ｓ１０８：ＮＯ）、ただ１つの商品が商品識別部１２０により識別されたことになる。この場合、組み合わせ商品検出部１３０は、後述のＳ１１０およびＳ１１２の処理を実行しない。
【００３８】
一方、Ｓ１０６の処理において複数の商品識別情報が取得された場合（Ｓ１０８：ＹＥＳ）、複数の商品が商品識別部１２０により識別されたことになる。この場合、組み合わせ商品検出部１３０は、識別された複数の商品の中に、組み合わせ商品が存在するか否かを判定する（Ｓ１１０）。組み合わせ商品が存在する場合（Ｓ１１０：ＹＥＳ）、組み合わせ商品検出部１３０は、組み合わせ商品に該当する複数の商品の対応関係を示す対応付け情報を生成する（Ｓ１１２）。一方、組み合わせ商品が存在しない場合（Ｓ１１０：ＮＯ）、組み合わせ商品検出部１３０は、上述のＳ１１２の処理を実行しない。
【００３９】
具体的には、組み合わせ商品検出部１３０は、組み合わせ商品を定義する定義情報（例：図４）を参照し、当該定義情報に定義される商品の組み合わせが存在するか否かを判定することができる。図４は、定義情報の一例を示す図である。図４に例示されている定義情報は、例えば、ストレージデバイス１０４０などに予め記憶されている。図４の例では、組み合わせ商品を識別するための組み合わせＩＤ（Identifier）別に、組み合わせ商品を構成する複数の商品それぞれの商品ＩＤが定義されている。図４に例示される定義情報が記憶されている場合、組み合わせ商品検出部１３０は、商品ＩＤ「０００００１」および「０００００２」、または、商品ＩＤ「１００００１」、「１００００２」、および「１００００３」がＳ１０６の処理において取得された場合に、組み合わせ商品が存在すると判断することができる。
【００４０】
そして、表示制御部１４０は、商品識別部１２０による商品の識別結果、および、組み合わせ商品検出部１３０による組み合わせ商品の検出結果を用いて表示データを生成し、当該表示データをディスプレイ４０に送信する（Ｓ１１４）。ディスプレイ４０は、表示制御部１４０から送信された表示データに従って、表示処理を実行する（Ｓ１１６）。以下、図を用いて、具体的な表示動作について例示する。
【００４１】
＜具体例１＞
図５は、表示制御部１４０によってディスプレイ４０に表示される情報の一例を示す図である。図５では、ディスプレイ４０上に２つの商品（商品Ａ（商品ＩＤ：０００００１）および商品Ｂ（商品ＩＤ：０００００２））が載置されており、これら２つの商品が商品識別部１２０により識別された状態が描かれている。なお、商品Ａおよび商品Ｂは、組み合わせ商品として定義情報内に定義されているものとする。
【００４２】
この場合において、表示制御部１４０は、組み合わせ商品を構成する複数の商品Ａおよび商品Ｂそれぞれの識別結果情報（例：図中ＭＡおよびＭＢ）を、ディスプレイ４０上に表示させるデータを表示データに付加する。なお、図５では、商品の載置位置に合わせてその商品を囲む枠状の図形と、商品の名称とを含む識別結果情報が例示されている。また、組み合わせ商品検出部１３０は、定義情報を参照して、商品Ａおよび商品Ｂが組み合わせ商品であることを示す情報を表示制御部１４０に通知する。表示制御部１４０は、組み合わせ商品検出部１３０からの通知に基づいて、組み合わせ商品を構成する複数の商品Ａおよび商品Ｂそれぞれの識別結果情報を結ぶ線（図中Ｌ）を表示するためのデータを表示データに付加する。なお表示制御部１４０は、商品Ａの識別結果情報および商品Ｂの識別結果情報の表示位置を指定する情報に基づいて、これらの識別結果情報を結ぶ線の描画位置（線の始点および終点の座標）を決定することができる。そして、表示制御部１４０は、このように生成された表示データをディスプレイ４０に送信する。このような処理を経て、図５に例示されるような情報が、ディスプレイ４０に表示される。ディスプレイ４０上に図５に例示されるような情報が表示されている場合、その表示を見た人物は、商品Ａおよび商品Ｂが組み合わせ商品であることを一目で把握できる。
【００４３】
表示制御部１４０は、例えば、図６に示すような情報をディスプレイ４０に表示させてもよい。図６は、表示制御部１４０によってディスプレイ４０に表示される情報の一例を示す図である。図６の例では、表示制御部１４０は、商品Ａおよび商品Ｂが組み合わせ商品であることを示すメッセージＭＳＧ１を、ディスプレイ４０上の空き領域（他の情報が表示されていない領域）に表示している。本図の情報でも、商品Ａおよび商品Ｂが組み合わせ商品であることが一目で把握できる。
【００４４】
＜具体例２＞
図７は、表示制御部１４０によってディスプレイ４０に表示される情報の一例を示す図である。図７では、ディスプレイ４０上に２つの商品（商品Ａ（商品ＩＤ：０００００１）および商品Ｃ（商品ＩＤ：１００００１））が載置されており、これら２つの商品が商品識別部１２０により識別された状態が描かれている。なお、これらの商品Ａおよび商品Ｃは、組み合わせ商品として定義情報内に定義されていないものとする。
【００４５】
この場合において、表示制御部１４０は、組み合わせ商品を構成する複数の商品Ａおよび商品Ｃそれぞれの識別結果情報（例：図中ＭＡおよびＭＣ）を、ディスプレイ４０上に表示させるデータを表示データに付加する。また、商品Ａと商品Ｃは定義情報内で組み合わせ商品として定義されていないため、組み合わせ商品検出部１３０は、組み合わせ商品に関する通知を表示制御部１４０に送信しない。そのため、この場合は、表示制御部１４０は、図５に例示されるような対応付け情報（線Ｌ）をディスプレイ４０に表示させるためのデータを表示データに付加しない。そして、表示制御部１４０は、このように生成された表示データをディスプレイ４０に送信する。このような処理を経て、図７に例示されるような情報が、ディスプレイ４０に表示される。ディスプレイ４０上に図７に例示されるような情報が表示されている場合、その表示を見た人物は、商品Ａおよび商品Ｃが組み合わせ商品でないことを一目で把握できる。
【００４６】
＜具体例３＞
図８は、表示制御部１４０によってディスプレイ４０に表示される情報の一例を示す図である。図８では、ディスプレイ４０上に３つの商品（商品Ａ（商品ＩＤ：０００００１）、商品Ｂ（商品ＩＤ：０００００２）、および商品Ｃ（商品ＩＤ：１００００１））が載置されており、これら３つの商品が商品識別部１２０により識別された状態が描かれている。なお、商品Ａおよび商品Ｂは、組み合わせ商品として定義情報内に定義されており、商品Ｃは組み合わせ商品を構成する商品ではないものとする。
【００４７】
この場合において、表示制御部１４０は、商品Ａ、商品Ｂ、および商品Ｃそれぞれの識別結果情報（例：図中ＭＡ、ＭＢ、ＭＣ）を、ディスプレイ４０上に表示させるデータを表示データに付加する。また、組み合わせ商品検出部１３０は、定義情報を参照して、商品Ａおよび商品Ｂが組み合わせ商品であることを示す情報を表示制御部１４０に通知する。表示制御部１４０は、組み合わせ商品検出部１３０からの通知に基づいて、組み合わせ商品を構成する複数の商品Ａおよび商品Ｂそれぞれの識別結果情報を結ぶ線（図中Ｌ’）を表示するためのデータを表示データに付加する。表示制御部１４０は、商品Ａの識別結果情報および商品Ｂの識別結果情報の表示位置を指定する情報に基づいて、これらの識別結果情報を結ぶ線の描画位置（線の始点および終点の座標）を決定することができる。ここで、図８の例では、商品Ａおよび商品Ｂの間に、組み合わせ商品ではない商品Ｃが位置している。この場合、表示制御部１４０は、商品Ｃの識別結果情報の表示位置を用いて、商品Ｃの表示位置と重ならないような線Ｌ’を描画するデータを生成することができる。そして、表示制御部１４０は、このように生成された表示データをディスプレイ４０に送信する。このような処理を経て、図８に例示されるような情報が、ディスプレイ４０に表示される。ディスプレイ４０上に図８に例示されるような情報が表示されている場合、その表示を見た人物は、商品Ａおよび商品Ｂが組み合わせ商品であること、および、商品Ｃは組み合わせ商品ではないことを一目で把握できる。
【００４８】
以上、本実施形態では、会計システム１で識別された商品の中に、組み合わせ商品が含まれている場合、その組み合わせ商品を構成する複数の商品の対応関係を示す対応付け情報がディスプレイ４０上に表示される。店員や顧客は、ディスプレイ４０に表示される対応付け情報を確認することにより、複数の商品を組み合わせて１つの商品として販売される組み合わせ商品を容易に認識することができる。
【００４９】
［第２実施形態］
組み合わせ商品を構成する複数の商品は、それぞれ個別にパッケージングされているため、不完全な（一部が欠けた状態）或いは誤った組み合わせを選んでしまう可能性も考えられる。本実施形態の会計システム１は、この問題を解決する構成を更に備える。
【００５０】
〔システム構成例〕
本実施形態の会計システム１は、第１実施形態と同様の機能構成を有する（例：図１）。また、本実施形態の表示制御部１４０は、組み合わせ商品を構成する複数の商品の少なくとも一部が欠けている場合、通知情報をディスプレイ４０上に表示させる。通知情報は、組み合わせ商品を構成する複数の商品のうち、欠けている商品を通知するための情報である。
【００５１】
〔処理の流れ〕
図９を用いて、本実施形態の会計システム１により実行される処理の流れを説明する。図９は、第２実施形態の会計システム１により実行される処理の流れを例示するシーケンス図である。
【００５２】
図９のＳ２０２からＳ２０６の処理は、図３のＳ１０２からＳ１０６の処理と同様である。
【００５３】
本実施形態において、組み合わせ商品検出部１３０は、Ｓ２０６の処理で取得された商品識別情報に基づいて、組み合わせ商品を構成する複数の商品の一部のみが存在するか否かを判定する（Ｓ２０８）。例えば、図４に例示されるような定義情報が用意されていると仮定する。この場合、Ｓ２０６の処理で商品ＩＤ「０００００１」および商品ＩＤ「０００００２」がセットで取得されていない（２つの商品ＩＤのうちいずれか１つのみが取得されている）場合、組み合わせ商品検出部１３０は、組み合わせ商品を構成する複数の商品の一部のみが存在すると判断する。また、同様に、Ｓ２０６の処理で商品ＩＤ「１００００１」、「１００００２」、および「１００００３」がセットで取得されていない場合（３つの商品ＩＤのうちの１つまたは２つのみが取得されている場合）、組み合わせ商品検出部１３０は、組み合わせ商品を構成する複数の商品の一部のみが存在すると判断する。組み合わせ商品を構成する複数の商品の一部のみが存在する場合（Ｓ２０８：ＹＥＳ）、組み合わせ商品検出部１３０は、組み合わせ商品を構成する複数の商品の一部が欠けていることを表示制御部１４０に通知する。表示制御部１４０は、組み合わせ商品検出部１３０からの通知に応じて、ディスプレイ４０上に表示させる通知情報を生成する（Ｓ２１０）。表示制御部１４０は、生成した通知情報を、ディスプレイ４０に送信する表示データに付加する。一方、組み合わせ商品を構成する複数の商品が揃っている、或いは、組み合わせ商品を構成する商品が識別されていない場合（Ｓ２０８：ＹＥＳ）、表示制御部１４０は、通知情報を生成しない。
【００５４】
また、組み合わせ商品検出部１３０は、識別された複数の商品の中に、組み合わせ商品が存在するか否かを判定する（Ｓ２１２）。組み合わせ商品が存在する場合（Ｓ２１２：ＹＥＳ）、組み合わせ商品検出部１３０は、組み合わせ商品に該当する複数の商品の対応関係を示す対応付け情報を生成する（Ｓ２１４）。一方、組み合わせ商品が存在しない場合（Ｓ２１２：ＮＯ）、組み合わせ商品検出部１３０は、上述のＳ２１４の処理を実行しない。これらの処理は、図３のＳ１１０およびＳ１１２の処理と同様である。
【００５５】
そして、表示制御部１４０は、上述の処理結果を用いて表示データを生成し、当該表示データをディスプレイ４０に送信する（Ｓ２１６）。表示制御部１４０から送信された表示データに従って、表示処理を実行する（Ｓ２１８）。以下、図を用いて、通知情報の具体的な表示動作について例示する。
【００５６】
＜具体例＞
図１０は、表示制御部１４０によってディスプレイ４０に表示される通知情報の一例を示す図である。図７では、ディスプレイ４０上に商品Ａ（商品ＩＤ：０００００１）のみが載置されており、商品Ａが商品識別部１２０により識別された状態が描かれている。なお、商品Ａは、組み合わせ商品を構成する複数の商品の一部として定義情報内に定義されているものとする。
【００５７】
この場合において、表示制御部１４０は、商品Ａの識別結果情報（例：図中ＭＡ）を、ディスプレイ４０上に表示させるデータを表示データに付加する。また、組み合わせ商品検出部１３０は、定義情報を参照して、商品Ｂが欠けていることを表示制御部１４０に通知する。表示制御部１４０は、組み合わせ商品検出部１３０からの通知に基づいて、商品Ｂが欠けていることを示す情報（例：ＭＳＧ２）を表示するためのデータを生成して表示データに付加する。そして、表示制御部１４０は、このように生成された表示データをディスプレイ４０に送信する。このような処理を経て、図１０に例示されるような情報が、ディスプレイ４０に表示される。ディスプレイ４０上に図１０に例示されるような情報が表示されている場合、その表示を見た人物は、商品Ａおよび商品Ｂが組み合わせ商品であり、かつ、商品Ｂが欠けていることを一目で把握できる。
【００５８】
以上、本実施形態では、組み合わせ商品の一部が欠けている場合に、その旨を知らせる通知情報がディスプレイ４０に表示される。店員や顧客は、ディスプレイ４０に表示される通知情報を確認することにより、複数の商品を組み合わせて１つの商品として販売される組み合わせ商品の一部が欠けていることを容易に認識できる。
【００５９】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
【００６０】
例えば、本発明は、購入商品の登録から代金の支払いまでの操作を店員用の装置で行う一般的な方式のみならず、所謂セミセルフ方式やセルフ方式にも適用できる。セミセルフ方式では、商品登録用のレジ装置と代金支払い用の精算装置が別々に設けられている。そして、この商品登録用のレジ装置に、上述の会計装置１０の機能を持たせることができる。また、セルフ方式では、購入商品の登録から代金の支払いまでを顧客が操作する装置で行う。そして、この顧客が操作する装置に、上述の会計装置１０の機能を持たせることができる。
【００６１】
また、上述の説明で用いた複数のシーケンス図では、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
【００６２】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．
ディスプレイ上に載置された複数の商品が写る画像を取得する画像取得手段と、
前記画像を解析することによって、前記複数の商品をそれぞれ識別する商品識別手段と、
複数の商品を組み合わせて一つの商品として販売される組み合わせ商品を定義する定義情報に基づいて、識別された前記複数の商品の中から前記組み合わせ商品を検出する組み合わせ商品検出手段と、
前記組み合わせ商品が検出された場合、当該組み合わせ商品を構成する複数の商品の対応関係を示す対応付け情報を前記ディスプレイ上に出力する表示制御手段と、
を備える会計装置。
２．
前記表示制御手段は、
前記組み合わせ商品を構成する複数の商品それぞれの識別結果に基づく識別結果情報を表示し、
前記組み合わせ商品を構成する複数の商品それぞれの識別結果情報を結ぶ線を、前記対応付け情報として出力する、
１．に記載の会計装置。
３．
前記表示制御手段は、前記組み合わせ商品を構成する複数の商品の少なくとも一部が欠けている場合、当該欠けている商品を通知する通知情報を前記ディスプレイ上に表示させる、
１．または２．に記載の会計装置。
４．
表示面が商品の載置面として利用されるディスプレイと、
前記ディスプレイ上に載置された複数の商品が写る画像を生成する撮像装置と、
前記複数の商品が写る画像を取得する画像取得手段と、
前記画像を解析することによって、前記複数の商品をそれぞれ識別する商品識別手段と、
複数の商品を組み合わせて一つの商品として販売される組み合わせ商品を定義する定義情報に基づいて、識別された前記複数の商品の中から前記組み合わせ商品を検出する組み合わせ商品検出手段と、
前記組み合わせ商品が検出された場合、当該組み合わせ商品を構成する複数の商品の対応関係を示す対応付け情報を前記ディスプレイ上に出力する表示制御手段と、
を備える会計システム。
５．
前記表示制御手段は、
前記組み合わせ商品を構成する複数の商品それぞれの識別結果に基づく識別結果情報を表示し、
前記組み合わせ商品を構成する複数の商品それぞれの識別結果情報を結ぶ線を、前記対応付け情報として出力する、
４．に記載の会計システム。
６．
前記表示制御手段は、前記組み合わせ商品を構成する複数の商品の少なくとも一部が欠けている場合、当該欠けている商品を通知する通知情報を前記ディスプレイ上に表示させる、
４．または５．に記載の会計装システム。
７．
コンピュータが、
ディスプレイ上に載置された複数の商品が写る画像を取得し、
前記画像を解析することによって、前記複数の商品をそれぞれ識別し、
複数の商品を組み合わせて一つの商品として販売される組み合わせ商品を定義する定義情報に基づいて、識別された前記複数の商品の中から前記組み合わせ商品を検出し、
前記組み合わせ商品が検出された場合、当該組み合わせ商品を構成する複数の商品の対応関係を示す対応付け情報を前記ディスプレイ上に出力する、
ことを含む商品識別方法。
８．
前記コンピュータが、
前記組み合わせ商品を構成する複数の商品それぞれの識別結果に基づく識別結果情報を表示し、
前記組み合わせ商品を構成する複数の商品それぞれの識別結果情報を結ぶ線を、前記対応付け情報として出力する、
ことを含む７．に記載の商品識別方法。
９．
前記コンピュータが、
前記組み合わせ商品を構成する複数の商品の少なくとも一部が欠けている場合、当該欠けている商品を通知する通知情報を前記ディスプレイ上に表示させる、
ことを含む７．または８．に記載の商品識別方法。
１０．
コンピュータに、７．から９．のいずれか１つに記載の商品識別方法を実行させるためのプログラム。
【図１】
2019186975.tif 000003
【図２】
2019186975.tif 000004
【図３】
2019186975.tif 000005
【図４】
2019186975.tif 000006
【図５】
2019186975.tif 000007
【図６】
2019186975.tif 000008
【図７】
2019186975.tif 000009
【図８】
2019186975.tif 000010
【図９】
2019186975.tif 000011
【図１０】
2019186975.tif 000012
【国際調査報告】
2019186975.tif 000013
2019186975.tif 000014