(57)【要約】【課題】本発明は、画像解析で商品に付された値引きシール等を認識して会計処理に反映させる技術において、値引き対象の商品を値引きしないまま販売する不都合を抑制することを課題とする。【解決手段】本発明は、撮像手段によって生成された商品を含む画像を取得する取得部１１と、商品、及び、商品に付される第１のパターン又は第２のパターンを画像解析で認識する画像解析部１２と、第１のパターンが認識された場合には商品の価格を変更せず、第２のパターンが認識された場合には商品の価格を変更して商品を登録する登録部１３と、を有する精算システム１０を提供する。【選択図】図３
2019164418.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段によって生成された商品を含む画像を取得する取得手段と、
前記商品、及び、前記商品に付される第１のパターン又は第２のパターンを画像解析で認識する画像解析手段と、
前記第１のパターンが認識された場合には前記商品の価格を変更せず、前記第２のパターンが認識された場合には前記商品の価格を変更して前記商品を登録する登録手段と、
を有する精算システム。
【請求項２】
請求項１に記載の精算システムにおいて、
前記画像解析手段は、前記商品の表示領域の中で前記商品の予め定められた部分を検出し、当該部分の表示領域を解析して前記第１のパターン及び前記第２のパターンの少なくとも一方認識する精算システム。
【請求項３】
請求項２に記載の精算システムにおいて、
前記登録手段は、前記商品の予め定められた部分を検出されなかった場合、オペレータに通知する精算システム。
【請求項４】
請求項１から３のいずれか１項に記載の精算システムにおいて、
前記画像解析手段は、前記第１のパターン及び前記第２のパターン以外の画像によって前記商品の認識を行う精算システム。
【請求項５】
撮像手段によって撮影された商品を含む画像を取得する取得手段と、
画像解析で、前記商品及び前記商品に付される付加情報を認識するとともに、前記商品の予め定められた部分が前記画像内に存在するか判断する画像解析手段と、
前記付加情報を認識できず、かつ、前記画像内に前記商品の予め定められた部分が存在しない場合、通知を行う登録手段と、
を有する精算システム。
【請求項６】
請求項５に記載の精算システムにおいて、
前記登録手段は、前記付加情報の認識、及び、前記画像内に前記商品の予め定められた部分が存在するとの判断の少なくとも一方がなされた場合、認識された前記商品を登録する精算システム。
【請求項７】
コンピュータが、
撮像手段によって生成された商品を含む画像を取得する取得工程と、
前記商品、及び、前記商品に付される第１のパターン又は第２のパターンを画像解析で認識する画像解析工程と、
前記第１のパターンが認識された場合には前記商品の価格を変更せず、前記第２のパターンが認識された場合には前記商品の価格を変更して前記商品を登録する登録工程と、
を実行する精算方法。
【請求項８】
コンピュータを、
撮像手段によって生成された商品を含む画像を取得する取得手段、
前記商品、及び、前記商品に付される第１のパターン又は第２のパターンを画像解析で認識する画像解析手段、
前記第１のパターンが認識された場合には前記商品の価格を変更せず、前記第２のパターンが認識された場合には前記商品の価格を変更して前記商品を登録する登録手段、
として機能させるプログラム。
【請求項９】
コンピュータが、
撮像手段によって生成された商品を含む画像を取得する取得工程と、
画像解析で、前記商品及び前記商品に付される付加情報を認識するとともに、前記商品の予め定められた部分が前記画像内に存在するか判断する画像解析工程と、
認識された前記商品を登録する登録工程と、
前記付加情報を認識できず、かつ、前記画像内に前記商品の予め定められた部分が存在しない場合、前記付加情報の有無を確認する通知を行う通知工程と、
を実行する精算方法。
【請求項１０】
コンピュータを、
撮像手段によって生成された商品を含む画像を取得する取得手段、
画像解析で、前記商品及び前記商品に付される付加情報を認識するとともに、前記商品の予め定められた部分が前記画像内に存在するか判断する画像解析手段、
認識された前記商品を登録する登録手段、
前記付加情報を認識できず、かつ、前記画像内に前記商品の予め定められた部分が存在しない場合、前記付加情報の有無を確認する通知を行う通知手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、精算システム、精算方法及びプログラムに関する。
【背景技術】
【０００２】
消費期限間近又は賞味期限間近等の所定の条件を満たす商品を値引き販売することがなされている。そして、その実務の一例として、値引き対象の商品に値引きシール等を付すことで、値引き対象の商品であることを顧客や店の作業員（例：レジスターのオペレータ）に明示する手法が利用されている。また、近年、画像解析で商品を認識し、会計対象として登録する技術が検討されている。そして、値引き対象の商品に付された値引きシール等を画像解析で認識することも検討されている。関連する技術が、特許文献１乃至３に開示されている。
【０００３】
特許文献１は、画像解析で商品に付された値引きシール等の付加情報を認識し、会計処理に反映させる技術を開示している。
【０００４】
特許文献２は、サービスラベルの対象商品か否かを事前に登録しておき、サービスラベル対象である場合、サービスラベルを認識するように制御するとともに、サービスラベル対象の商品からサービスラベルを認識できなかった場合、「値引きラベルはありませんか？」等のメッセージを店員用ディスプレイに表示させることを開示している。
【０００５】
特許文献３は、人の手の位置やトングの位置を認識することにより、年齢、性別や割引率等販売関連情報を関連付けて登録する技術を開示している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１７−４１２７１号公報
【特許文献２】特開２０１５−２０７３１３号公報
【特許文献３】特開２０１６−１１０４８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
値引き販売を行う店は、値引きシール等の存在を見落とすことなく、確実に値引きして販売する手段を望む。
【０００８】
特許文献１に記載の技術の場合、画像解析で値引きシール等を検出できなかった場合、値引きを行わずに処理を終了することが開示されている。これは、「値引きシール等を検出できない商品」＝「値引きシール等を付されていない商品」ということを前提にした処理であると考えられる。しかし、本当は値引きシールを付されているが、手で隠れている、画像が不鮮明等の何らかの理由で検出できない場合も発生し得る。この場合、その商品を値引きしないまま販売してしまうことになる。
【０００９】
特許文献２に記載の技術の場合、サービスラベル対象の商品からサービスラベルを認識できなかった場合、オペレータに通知される。通知に応じて、オペレータは目視でサービスラベルの存在を確認することとなる。この場合、そもそもサービスラベルを付されていないためサービスラベルを認識できなかった場合においても通知がなされ、それに応じてオペレータは目視での確認作業を行うこととなる。結果、オペレータに不要な作業を要求することとなる。
【００１０】
特許文献３に記載の技術の場合、そもそも商品に付された値引きシール等を検出する技術でない。
【００１１】
本発明は、画像解析で商品に付された値引きシール等を認識して会計処理に反映させる技術において、オペレータに過度な確認作業を行わせることなく、値引き対象の商品を値引きしないまま販売する不都合を抑制することを課題とする。
【課題を解決するための手段】
【００１２】
本発明によれば、
撮像手段によって生成された商品を含む画像を取得する取得手段と、
前記商品、及び、前記商品に付される第１のパターン又は第２のパターンを画像解析で認識する画像解析手段と、
前記第１のパターンが認識された場合には前記商品の価格を変更せず、前記第２のパターンが認識された場合には前記商品の価格を変更して前記商品を登録する登録手段と、
を有する精算システムが提供される。
【００１３】
また、本発明によれば、
コンピュータが、
撮像手段によって生成された商品を含む画像を取得する取得工程と、
前記商品、及び、前記商品に付される第１のパターン又は第２のパターンを画像解析で認識する画像解析工程と、
前記第１のパターンが認識された場合には前記商品の価格を変更せず、前記第２のパターンが認識された場合には前記商品の価格を変更して前記商品を登録する登録工程と、
を実行する精算方法が提供される。
【００１４】
また、本発明によれば、
コンピュータを、
撮像手段によって生成された商品を含む画像を取得する取得手段、
前記商品、及び、前記商品に付される第１のパターン又は第２のパターンを画像解析で認識する画像解析手段、
前記第１のパターンが認識された場合には前記商品の価格を変更せず、前記第２のパターンが認識された場合には前記商品の価格を変更して前記商品を登録する登録手段、
として機能させるプログラムが提供される。
【００１５】
また、本発明によれば、
コンピュータが、
撮像手段によって生成された商品を含む画像を取得する取得工程と、
画像解析で、前記商品及び前記商品に付される付加情報を認識するとともに、前記商品の予め定められた部分が前記画像内に存在するか判断する画像解析工程と、
認識された前記商品を登録する登録工程と、
前記付加情報を認識できず、かつ、前記画像内に前記商品の予め定められた部分が存在しない場合、前記付加情報の有無を確認する通知を行う通知工程と、
を実行する精算方法が提供される。
【００１６】
また、本発明によれば、
コンピュータを、
撮像手段によって生成された商品を含む画像を取得する取得手段、
画像解析で、前記商品及び前記商品に付される付加情報を認識するとともに、前記商品の予め定められた部分が前記画像内に存在するか判断する画像解析手段、
認識された前記商品を登録する登録手段、
前記付加情報を認識できず、かつ、前記画像内に前記商品の予め定められた部分が存在しない場合、前記付加情報の有無を確認する通知を行う通知手段、
として機能させるプログラムが提供される。
【発明の効果】
【００１７】
本発明によれば、画像解析で商品に付された値引きシール等を認識して会計処理に反映させる技術において、オペレータに過度な確認作業を行わせることなく、値引き対象の商品を値引きしないまま販売する不都合を抑制できる。
【図面の簡単な説明】
【００１８】
【図１】本実施形態の通常販売シールＭ１の一例を模式的に示す図である。
【図２】本実施形態の値引きシールＭ２の一例を模式的に示す図である。
【図３】本実施形態の精算システム１０の機能ブロック図の一例を示す図である。
【図４】本実施形態の装置のハードウエア構成の一例を示す図である。
【図５】会計対象の商品を撮影する撮影システムの一例を模式的に示す図である。
【図６】会計対象の商品を撮影する撮影システムの一例を模式的に示す図である。
【図７】本実施形態の精算システム１０の処理の流れの一例を示すフローチャートである。
【図８】本実施形態の値引きシールＭ２等を付す位置の一例を模式的に示す図である。
【図９】本実施形態の精算システム１０の処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１９】
＜第１の実施形態＞
まず、本実施形態の精算システムの概要を説明する。本実施形態の精算システムは、画像解析で商品に付された値引きシール等を認識して会計処理に反映させる。精算システムは、店員によって操作されることを前提としたシステムであってもよいし、顧客によって操作されることを前提としたシステムであってもよい。
【００２０】
精算システムを利用した会計実務においては、図１に示すように、値引き対象でない商品に値引き対象でないことを示すシール（通常販売シールＭ１）が付される（貼り付けられる）。通常販売シールＭ１のデザイン、形状、色等は、必要に応じて適宜設定することができる。
【００２１】
また、当該会計実務においては、図２に示すように、値引き対象の商品に値引き対象であることを示すシール（値引きシールＭ２）が付される。値引きシールＭ２のデザイン、形状、色等は、必要に応じて適宜設定することができる。値引きシールＭ２には、値引き内容を示す情報が含まれてもよい。図示する例の場合、値引き内容として、「５０円引き」が明示されている。値引き内容は、「１０円引き」、「１００円引き」、「１割引き」、「２割引き」等、その他の内容であってもよい。
【００２２】
なお、「値引き対象の商品」も、最初は「値引き対象でない商品」であり、消費期限間近又は賞味期限間近等の何らかの理由により「値引き対象の商品」になる。このため、値引き対象の商品にも、最初は、通常販売シールＭ１が付されていることになる。
【００２３】
値引きシールＭ２を商品に付す場合には、その商品に付されている通常販売シールＭ１が見えなくなる処置が望まれる。「見えなくなる処置」は、「パターンマッチングによる画像解析で通常販売シールＭ１が認識されなくなる処置」と同義である。例えば、通常販売シールＭ１の上に値引きシールＭ２を重ねて付してもよいし、通常販売シールＭ１を商品から取り除いてもよいし、ペン等で通常販売シールＭ１の一部を塗りつぶしてもよいし、その他の手段を採用してもよい。
【００２４】
このような前提の元、本実施形態の精算システムは、商品を撮影した画像を取得すると、画像解析により通常販売シールＭ１を認識する処理、及び、値引きシールＭ２を認識する処理を実行する。そして、その認識結果に応じた処理を実行する。
【００２５】
通常販売シールＭ１を認識した場合は、価格を変更せずにその商品を会計対象として登録する。値引きシールＭ２を認識した場合は、価格を変更してその商品を会計対象として登録する。なお、通常販売シールＭ１及び値引きシールＭ２の両方を認識できなかった場合は、警告を出力することができる。
【００２６】
ところで、値引きシールＭ２を認識できない場合の状況として、「（１）本当は商品に値引きシールＭ２が付されているけれども、手で隠れている、画像が不鮮明等の理由で認識できないケース」と、「（２）そもそも商品に値引きシールＭ２が付されていないケース」とが存在する。従来、この２つのケースを見分ける手段が存在しなかった。このため、値引きシールＭ２を認識できない場合には、特許文献１及び２に記載の技術のように一律に一つの処理を行っていた。結果、様々な不都合が発生していた（詳細は、「発明が解決しようとする課題」で説明した通り）。
【００２７】
これに対し、本実施形態の精算システムによれば、通常販売シールＭ１の認識結果に基づき、上記２つのケースを見分けることができる。具体的には、通常販売シールＭ１を認識できた場合は上記（２）のケースであり、通常販売シールＭ１を認識できない場合は上記（１）のケースとなる。
【００２８】
このように、本実施形態の精算システムによれば、値引きシールＭ２を認識できない場合の状況をより詳細に識別し、識別した状況に応じて適切な処理を行うことができる。結果、値引き対象の商品を値引きしないまま販売してしまったり、オペレータに過度な確認作業を行わせたりする不都合を軽減できる。
【００２９】
次に、精算システム１０の構成を詳細に説明する。図３に、精算システム１０の機能ブロック図の一例を示す。図示するように、精算システム１０は、取得部１１と、画像解析部１２と、登録部１３とを有する。
【００３０】
なお、精算システム１０は、物理的及び／又は論理的に分かれた複数の装置により実現されてもよいし、物理的及び／又は論理的に１つの装置により実現されてもよい。物理的及び／又は論理的に分かれた複数の装置により実現される場合、複数の装置は有線及び／又は無線で互いに通信可能に構成される。例えば、取得部１１と登録部１３とが第１の装置で実現され、画像解析部１２が第１の装置と物理的及び／又は論理的に分かれた第２の装置で実現されてもよい。
【００３１】
精算システム１０が備えるこれら機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
【００３２】
図４は、精算システム１０のハードウエア構成を例示するブロック図である。図４に示すように、精算システム１０は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。周辺回路４Ａを有さなくてもよい。なお、物理的及び／又は論理的に分かれた複数の装置により精算システム１０が実現される場合、各装置が当該ハードウエア構成を備えることができる。
【００３３】
バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置（例：キーボード、マウス、マイク等）、外部装置、外部サーバ、外部センサー等から情報を取得するためのインターフェイスや、出力装置（例：ディスプレイ、スピーカ、プリンター、メーラ等）、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
【００３４】
図３に戻り、各機能部の機能構成を説明する。取得部１１は、撮像手段（カメラ）によって生成された商品を含む画像を取得する。
【００３５】
例えば、会計対象の商品を載置する台と、台の載置面を撮影するカメラとを含む撮影システムが用意されてもよい。そして、取得部１１は、当該カメラが生成した画像（動画像、静止画像）を取得してもよい。
【００３６】
当該撮影システムは、例えば図５に示すように、台１と、部材２と、支柱３と、カメラ４とを有してもよい。部材２は、台１の上面に位置し、台１の一部をなす。部材２の露出面が、商品を載置する載置面となる。すなわち、顧客又は店員は、会計対象の商品を部材２の露出面に載置する。なお、部材２はディスプレイであってもよいし、他の部材であってもよい。
【００３７】
カメラ４は支柱３に取り付けられており、上方から部材２の露出面を撮影する。カメラ４により生成された画像（例：動画像）は、有線及び／又は無線での通信により、不図示の精算システム１０に送信される。取得部１１は、当該画像を取得する。
【００３８】
その他、カメラの前に商品を１つずつかざすことで、各商品の画像が生成される撮影システムが用意されてもよい。当該撮影システムは、例えば図６に示すように、読取窓５と、筐体６と、ディスプレイ７とを有する。筐体６の内部にカメラ（不図示）が設置される。読取窓５は光を通過させる構成となっている。カメラは、読取窓５を介して、読取窓５にかざされた商品を撮影する。カメラにより生成された画像（例：動画像）は、有線及び／又は無線での通信により、不図示の精算システム１０に送信される。取得部１１は、当該画像を取得する。
【００３９】
図３に戻り、画像解析部１２は、商品、及び、商品に付される第１のパターン又は第２のパターンを画像解析で認識する。画像解析部１２は、パターンマッチング技術等を利用して、商品、第１のパターン、第２のパターンを認識できる。
【００４０】
「商品認識方法」
例えば、画像解析部１２は、画像の二値化、輪郭線抽出等の技術を利用して画像に含まれる物体を検出する（物体検出）。その後、解析部１２は、検出した物体の画像に現れる外観の特徴（画像内の物体が存在する領域の特徴）と、予め登録されている複数の商品各々の外観の特徴（参照情報）とを照合することで、その物体がいずれの商品であるかを特定する（商品認識）。例えば、解析部１２は、その物体との外観の類似度が最も高い商品、又は、その物体との外観の類似度が最も高くかつ当該類似度が基準値以上の商品を特定してもよい。商品の外観の特徴は、色、表面の凹凸、形状等が例示されるが、これらに限定されない。
【００４１】
その他、画像解析部１２は、物体検出後、画像内の物体が存在する領域の中から、パターンマッチング等を利用してコード（例：バーコード、２次元コード）を検出してもよい。そして、画像解析部１２は、コードを解析し、コードのパターンを情報に変換することで、そのコードが示す商品を識別する情報を取得してもよい（商品認識）。
【００４２】
このように、画像解析部１２は、第１のパターン及び第２のパターン以外の画像によって商品の認識を行う。すなわち、画像解析部１２は、第１のパターン及び第２のパターンを商品の認識に用いない。第１のパターン及び第２のパターンは、商品自体の情報ではないため、商品の認識には用いない。これによって、商品認識の精度を上げることができる。
【００４３】
「第１のパターン認識方法」
画像解析部１２は、画像から物体を検出した後、画像内の物体が存在する領域の中から、第１のパターンを検出する。すなわち、画像解析部１２は、パターンマッチング技術等を利用して、画像内の物体が存在する領域の中から、第１のパターンの特徴を示す領域を検出する（第１のパターン認識）。第１のパターンは、通常販売シールＭ１の外観の特徴の一部（特徴的な部分）または全部を示す。
【００４４】
「第２のパターン認識方法」
画像解析部１２は、画像から物体を検出した後、画像内の物体が存在する領域の中から、第２のパターンを検出する。すなわち、画像解析部１２は、パターンマッチング技術等を利用して、画像内の物体が存在する領域の中から、第２のパターンの特徴を示す領域を検出する（第２のパターン認識）。第２のパターンは、値引きシールＭ２の外観の特徴の一部（特徴的な部分）または全部を示す。
【００４５】
なお、画像解析部１２は、値引きシールＭ２に付加された付加情報（値引き内容）をさらに認識してもよい。
【００４６】
例えば、互いに異なる値引き内容毎に、互いに異なるデザインの値引きシールＭ２が用意される場合、画像解析部１２は検出された値引きシールＭ２の種類に基づき、値引き内容を認識することができる。
【００４７】
その他、互いに異なる値引き内容に対して、同様のデザインの値引きシールＭ２が用意され、「１０円引き」、「５０円引き」、「１００円引き」、「１割引き」、「２割引き」等の様に文字で互いに異なる値引き内容が明示される場合、画像解析部１２は、画像内の値引きシールＭ２が存在する領域に対して文字認識処理を行うことで、値引き内容を認識してもよい。
【００４８】
登録部１３は、画像解析部１２により認識された商品を、会計対象として登録する。すなわち、登録部１３は、画像解析部１２により認識された商品の商品情報（商品名、価格等）を商品マスタから取得し、会計対象として登録する。
【００４９】
なお、登録部１３は、画像解析部１２による第１のパターン及び第２のパターンの認識結果に応じて、その商品に対する登録処理の内容を異ならせる。
【００５０】
第１のパターンが認識された場合には、登録部１３は、商品の価格を変更せず（商品マスタから取得した価格を販売価格として）、その商品を会計対象として登録する。
【００５１】
第２のパターンが認識された場合には、登録部１３は、商品の価格を変更して（商品マスタから取得した価格を変更した価格を販売価格として）、その商品を会計対象として登録する。この場合、登録部１３は、画像解析部１２により認識された値引き内容に基づき、商品マスタから取得した価格を変更する。すなわち、画像解析部１２により認識された値引き内容が「○○円引き」であった場合、登録部１３は、商品マスタから取得した価格から○○円を引いた価格を販売価格とする。また、画像解析部１２により認識された値引き内容が「○○割引き」であった場合、登録部１３は、商品マスタから取得した価格から○○割引いた価格を販売価格とする。
【００５２】
また、第１のパターン及び第２のパターンの両方が認識された場合、登録部１３は、[0]第２のパターンが認識された場合と同じ処理を行うことができる。すなわち、登録部１３は、商品の価格を変更して（商品マスタから取得した価格を変更した価格を販売価格として）、その商品を会計対象として登録する。
【００５３】
なお、登録部１３は、第１のパターン及び第２のパターンの両方が認識されていない場合、その商品を会計対象として登録しなくてもよい。そして、登録部１３は、「商品○○（画像解析部１２により認識された商品の商品名）において、通常販売シールＭ１及び値引きシールＭ２の両方が認識できません。これらのシールが写るように商品を撮影してください。」等のメッセージを出力してもよい。
【００５４】
その他、第１のパターン及び第２のパターンの両方が認識されていない場合、登録部１３は、商品の価格を変更せず（商品マスタから取得した価格を販売価格として）、その商品を会計対象として登録し、以下の例外処理を実行してもよい。
【００５５】
例外処理では、まず、登録部１３は、「商品○○（画像解析部１２により認識された商品の商品名）に値引きシールＭ２は付されていませんか？」等のメッセージを出力（ディスプレイに表示、音声出力等）し、これに対する回答として「付されていません」または「付されています」のユーザ入力を受付けてもよい。そして、「付されていません」のユーザ入力を受付けた場合には、例外処理をそのまま終了してもよい。一方、「付されています」のユーザ入力を受付けた場合には、さらに、値引き内容（１０円引き、５０円引き等）を指定するユーザ入力を受け付けてもよい。そして、指定された値引き内容に基づき登録された商品の価格を変更し、例外処理を終了してもよい。
【００５６】
次に、図７のフローチャートを用いて、精算システム１０の処理の流れの一例を説明する。
【００５７】
精算システム１０のオペレータ（店員又は顧客）は、会計対象の商品を撮影する作業を行う。例えば、図５に示す部材２の上に会計対象の商品を載置する作業であってもよいし、図６に示す読取窓５に会計対象の商品をかざす作業であってもよい。当該作業の結果、会計対象の商品がカメラにより撮影される。
【００５８】
取得部１１は、カメラにより生成された画像を取得する（Ｓ１０）。そして、画像解析部１２は、当該画像を解析し、商品を認識する処理、第１のパターンを認識する処理及び第２のパターンを認識する処理を行う（Ｓ１１）。第１のパターンは通常販売シールＭ１の外観の特徴を示すパターンであり、第２のパターンは値引きシールＭ２の外観の特徴を示すパターンである。なお、第２のパターンを認識した場合、画像解析部１２は、値引きシールＭ２に付加された付加情報（値引き内容）をさらに認識してもよい。
【００５９】
Ｓ１１の画像解析の結果、商品を認識でき（Ｓ１２の「Ｙｅｓ」）、かつ、第１のパターンを認識できた場合（Ｓ１３の「第１のパターンを認識」）、登録部１３は、商品の価格を変更せず（商品マスタから取得した価格を販売価格として）、その商品を会計対象として登録する（Ｓ１４）。
【００６０】
Ｓ１１の画像解析の結果、商品を認識でき（Ｓ１２の「Ｙｅｓ」）、かつ、第２のパターンを認識できた場合（Ｓ１３の「第２のパターンを認識」）、登録部１３は、商品の価格を変更して（商品マスタから取得した価格を変更した価格を販売価格として）、その商品を会計対象として登録する。
【００６１】
この場合、登録部１３は、画像解析部１２により認識された値引き内容に基づき、商品マスタから取得した価格を変更する。すなわち、画像解析部１２により認識された値引き内容が「○○円引き」であった場合、登録部１３は、商品マスタから取得した価格から○○円を引いた価格を販売価格とする。また、画像解析部１２により認識された値引き内容が「○○割引き」であった場合、登録部１３は、商品マスタから取得した価格から○○割引いた価格を販売価格とする。
【００６２】
Ｓ１１の画像解析の結果、商品を認識できたが（Ｓ１２の「Ｙｅｓ」）、第１のパターン及び第２のパターンいずれも認識できなかった場合（Ｓ１３の「いずれも認識せず」）、登録部１３は、その商品を会計対象として登録しない。そして、精算システム１０は、「商品○○（画像解析部１２により認識された商品の商品名）において、通常販売シールＭ１及び値引きシールＭ２の両方を認識できません。これらのシールが写るように商品を撮影してください。」等のメッセージを出力してもよい（Ｓ１６）。
【００６３】
なお、Ｓ１６の変形例として、登録部１３は、商品の価格を変更せず（商品マスタから取得した価格を販売価格として）、その商品を会計対象として登録し、上述した例外処理を実行してもよい。
【００６４】
画像から複数の商品が認識された場合、認識された複数の商品各々に対してＳ１３乃至Ｓ１６の処理を実行することができる。
【００６５】
Ｓ１１の画像解析の結果、商品を認識できない場合（Ｓ１２の「Ｎｏ」）、精算を開始する指示入力がなければ（Ｓ１７の「Ｎｏ」）、Ｓ１０に戻って同様の処理を繰り返す。なお、図５の構成を前提とする場合、画像解析部１２は、例えば画像の時系列な変化に基づき、部材２に新たに載置された物体と、部材２に載置され続けている物体とを識別することができる。そして、新たな物体が検出されると、登録部１３は、その物体に対する認識結果に基づき、新たな商品を会計対象として登録する。
【００６６】
精算開始する指示入力があった場合（Ｓ１７の「Ｙｅｓ」）、精算システム１０は精算処理を実行する（Ｓ１８）。例えば、精算システム１０は、それまでに登録された商品に基づき算出された支払合計金額の支払いとして、現金の入力を受付け、必要に応じて釣銭の出力やレシートの出力を行ってもよい。また、精算システム１０は、クレジットカードの入力を受付け、クレジット会社のシステムと通信し、決済処理を行ってもよい。また、精算システム１０は、精算処理のための情報（登録された商品を示す情報、支払合計金額等）を他の精算装置に送信してもよい。
【００６７】
以上説明した本実施形態の精算システム１０によれば、値引きシールＭ２を認識できない場合、「（１）本当は商品に値引きシールＭ２が付されているけれども、手で隠れている、画像が不鮮明等の理由で認識できないケース」であるのか、それとも、「（２）そもそも商品に値引きシールＭ２が付されていないケース」であるのかを識別することができる。そして、識別した状況に応じて適切な処理を行うことができる。このため、当該２つの状況を識別せず、値引きシールＭ２を認識できない場合に一律に一つの処理を行う場合に発生し得る不都合を軽減できる。すなわち、値引き対象の商品を値引きしないまま販売してしまったり、オペレータに過度な確認作業を行わせたりする不都合を軽減できる。
【００６８】
＜第２の実施形態＞
本実施形態の精算システム１０は、第１のパターン及び第２のパターンを認識する処理の詳細において、第１の実施形態と異なる。その他の構成は、第１の実施形態と同様である。
【００６９】
本実施形態の精算システム１０のハードウエア構成の一例は、第１の実施形態と同様である。
【００７０】
本実施形態の精算システム１０の機能ブロック図は、第１の実施形態同様、図３で示される。取得部１１の構成は、第１の実施形態と同様である。以下、画像解析部１２及び登録部１３の構成を説明する。なお、第１の実施形態と異なる点を説明し、第１の実施形態と共通する点の説明は省略する。
【００７１】
まず、本実施形態の精算システム１０を利用した会計実務においては、第１の実施形態で説明した前提に加えて、「商品の予め定められた部分に通常販売シールＭ１及び値引きシールＭ２を付す」という前提が存在する。
【００７２】
例えば、図８に示す商品の場合、部分Ｒに通常販売シールＭ１及び値引きシールＭ２を付すことが決められてもよい。この場合、部分Ｒは、例えば、「商品名やバーコード等を含むシールＳが付された面であって、当該シールＳに最も近接する当該面の角の対角から所定距離以内」等と定義される。なお、部分Ｒの位置やその定義は必要に応じて適宜設定することができる。
【００７３】
そして、画像解析部１２は、画像内の商品が存在する領域（商品の表示領域）の中で商品の予め定められた部分、すなわち、通常販売シールＭ１及び値引きシールＭ２を付す位置として定められた部分を検出する。画像解析部１２は、予め、当該部分を定義する情報を保持している。そして、画像解析部１２は、当該部分を定義する情報に基づき、商品の予め定められた部分を検出する。当該部分を定義する情報は、商品毎に異なってもよい。画像解析部１２は、まず商品を認識し、そして、認識結果に基づきその商品の予め定められた部分を定義する情報を取得することができる。
【００７４】
例えば、図８に示す商品の部分Ｒが値引きシールＭ２を付す予め定められた部分である場合、当該部分を定義する情報は、「商品名やバーコード等を含むシールＳが付された面であって、当該シールＳに最も近接する当該面の角の対角から所定距離以内」等であってもよい。
【００７５】
画像内の商品の予め定められた部分を検出した後、画像解析部１２は、画像内の商品の予め定められた部分の表示領域に対して第１のパターンを認識する処理及び第２のパターンを認識する処理を実行し、第１のパターン及び前記第２のパターンの少なくとも一方を認識する。このようにすれば、当該認識処理におけるコンピュータ負担を軽減できる。
【００７６】
登録部１３は、商品の予め定められた部分を検出されなかった場合、オペレータ（店員又は顧客）に通知する。商品の予め定められた部分を検出できない場合は、通常販売シールＭ１及び値引きシールＭ２を認識できない。このような状況をオペレータに通知することで、値引き対象の商品を値引きしないまま販売する不都合を抑制できる。
【００７７】
例えば、商品認識されたが、商品の予め定められた部分を検出されなかった場合、登録部１３は、その商品を会計対象として登録しなくてもよい。そして、登録部１３は、「商品○○（画像解析部１２により認識された商品の商品名）において、通常販売シールＭ１及び値引きシールＭ２を付す部分の存在を画像内で確認できません。当該部分が写るように商品を撮影してください。」等のメッセージを出力してもよい。
【００７８】
その他、商品認識されたが、商品の予め定められた部分を検出されなかった場合、登録部１３は、商品の価格を変更せず（商品マスタから取得した価格を販売価格として）、その商品を会計対象として登録し、以下の例外処理を実行してもよい。
【００７９】
例外処理では、まず、登録部１３は、「商品○○（画像解析部１２により認識された商品の商品名）に値引きシールＭ２は付されていませんか？」等のメッセージを出力し（ディスプレイに表示、音声出力等）、これに対する回答として「付されていません」または「付されています」の入力を受付けてもよい。そして、「付されていません」の入力を受付けた場合には、例外処理をそのまま終了してもよい。一方、「付されています」の入力を受付けた場合には、さらに、値引き内容を指定する入力を受け付けてもよい。そして、指定された値引き内容に基づき登録された商品の価格を変更し、例外処理を終了してもよい。
【００８０】
以上説明した本実施形態の精算システム１０によれば、第１の実施形態と同様な作用効果を実現できる。また、本実施形態の精算システム１０によれば、通常販売シールＭ１や値引きシールＭ２を認識する処理におけるコンピュータ負担を軽減できるほか、「通常販売シールＭ１や値引きシールＭ２を付す部分の検出」及び「通常販売シールＭ１及び値引きシールＭ２の認識」という２ステップを行うことで、値引き対象の商品を値引きしないまま販売してしまう不都合をより効果的に軽減できる。
【００８１】
＜第３の実施形態＞
まず、本実施形態の精算システムを利用した会計実務における前提は、通常販売シールＭ１を商品に付されない点を除き、第２の実施形態と同様である。すなわち、値引き対象の商品には、図２に示すように、値引き対象であることを示すシール（値引きシールＭ２）が付される。また、値引きシールＭ２は、商品の予め定められた部分に付される。
【００８２】
本実施形態の精算システム１０は、このような前提の元、第１及び第２の実施形態と同様な作用効果を実現する。
【００８３】
本実施形態の精算システム１０のハードウエア構成の一例は、第１及び第２の実施形態と同様である。
【００８４】
本実施形態の精算システム１０の機能ブロック図は、第１及び第２の実施形態同様、図３で示される。取得部１１の構成は、第１及び第２の実施形態と同様である。以下、画像解析部１２及び登録部１３の構成を説明する。なお、第１及び第２の実施形態と異なる点を説明し、第１及び第２の実施形態と共通する点の説明は省略する。
【００８５】
画像解析部１２は、画像を解析して商品を認識する。また、画像解析部１２は、画像を解析して第２のパターンに付与された付加情報を認識する。第２のパターンは、値引きシールＭ２の外観の特徴の一部（特徴的な部分）または全部を示す。付加情報は値引き内容を示す。当該処理の詳細は、第１の実施形態で説明したので、ここでの説明は省略する。
【００８６】
また、画像解析部１２は、画像内の商品が存在する領域（商品の表示領域）の中に商品の予め定められた部分、すなわち、値引きシールＭ２を付す位置として定められた部分が存在するか否かを判断する。そして、画像内の商品の予め定められた部分が存在する場合、画像解析部１２は、画像内の商品の予め定められた部分の表示領域に対して第２のパターンを認識する処理を実行し、第２のパターンを認識する。当該処理の詳細は、第２の実施形態で説明したので、ここでの説明は省略する。
【００８７】
登録部１３は、付加情報の認識、及び、画像内に商品の予め定められた部分が存在するとの判断の少なくとも一方がなされた場合、認識された商品を会計対象として登録する。
【００８８】
付加情報が認識された場合、登録部１３は、商品の価格を変更して（商品マスタから取得した価格を変更した価格を販売価格として）、その商品を会計対象として登録する。この場合、登録部１３は、画像解析部１２により認識された値引き内容（付加情報の内容）に基づき、商品マスタから取得した価格を変更する。すなわち、画像解析部１２により認識された値引き内容が「○○円引き」であった場合、登録部１３は、商品マスタから取得した価格から○○円を引いた価格を販売価格とする。また、画像解析部１２により認識された値引き内容が「○○割引き」であった場合、登録部１３は、商品マスタから取得した価格から○○割引いた価格を販売価格とする。
【００８９】
一方、付加情報の認識はなされないが、画像内に商品の予め定められた部分が存在するとの判断がなされた場合、登録部１３は、商品の価格を変更せず（商品マスタから取得した価格を販売価格として）、その商品を会計対象として登録する。
【００９０】
なお、登録部１３は、付加情報を認識できず、かつ、画像内に商品の予め定められた部分が存在するとの判断がなされない場合、認識された商品を会計対象として登録しなくてもよい。そして、登録部１３は、「商品○○（画像解析部１２により認識された商品の商品名）において、値引きシールＭ２を付す部分の存在を画像内で確認できません。当該部分が写るように商品を撮影してください。」等のメッセージを出力してもよい。
【００９１】
その他、付加情報を認識できず、かつ、画像内に商品の予め定められた部分が存在するとの判断がなされない場合、登録部１３は、認識された商品の価格を変更せず（商品マスタから取得した価格を販売価格として）、その商品を会計対象として登録し、以下の例外処理を実行してもよい。
【００９２】
例外処理では、まず、登録部１３は、「商品○○（画像解析部１２により認識された商品の商品名）に値引きシールＭ２は付されていませんか？」等のメッセージを出力し（ディスプレイに表示、音声出力等）、これに対する回答として「付されていません」または「付されています」の入力を受付けてもよい。そして、「付されていません」の入力を受付けた場合には、例外処理をそのまま終了してもよい。一方、「付されています」の入力を受付けた場合には、さらに、値引き内容を指定する入力を受け付けてもよい。そして、指定された値引き内容に基づき登録された商品の価格を変更し、例外処理を終了してもよい。
【００９３】
次に、図９のフローチャートを用いて、精算システム１０の処理の流れの一例を説明する。
【００９４】
精算システム１０のオペレータ（店員又は顧客）は、会計対象の商品を撮影する作業を行う。例えば、図５に示す部材２の上に会計対象の商品を載置する作業であってもよいし、図６に示す読取窓５に会計対象の商品をかざす作業であってもよい。当該作業の結果、会計対象の商品がカメラにより撮影される。
【００９５】
取得部１１は、カメラにより生成された画像を取得する（Ｓ２０）。そして、画像解析部１２は、当該画像を解析し、商品を認識する処理、商品の予め定められた部分を検出する処理、及び、第２のパターンを認識する処理を行う（Ｓ２１）。第２のパターンは値引きシールＭ２の外観の特徴を示すパターンである。商品の予め定められた部分は値引きシールＭ２を付す位置として定められた部分である。なお、第２のパターンを認識した場合、画像解析部１２は、値引きシールＭ２に付加された付加情報（値引き内容）をさらに認識してもよい。
【００９６】
Ｓ２１の画像解析の結果、商品を認識でき（Ｓ２２の「Ｙｅｓ」）、かつ、付加情報を認識できた場合（Ｓ２３の「Ｙｅｓ」）、登録部１３は、商品の価格を変更して（商品マスタから取得した価格を変更した価格を販売価格として）、認識された商品を会計対象として登録する（Ｓ２４）。
【００９７】
この場合、登録部１３は、画像解析部１２により認識された値引き内容に基づき、商品マスタから取得した価格を変更する。すなわち、画像解析部１２により認識された値引き内容が「○○円引き」であった場合、登録部１３は、商品マスタから取得した価格から○○円を引いた価格を販売価格とする。また、画像解析部１２により認識された値引き内容が「○○割引き」であった場合、登録部１３は、商品マスタから取得した価格から○○割引いた価格を販売価格とする。
【００９８】
Ｓ２１の画像解析の結果、商品を認識できたが（Ｓ２２の「Ｙｅｓ」）、付加情報を認識できず（Ｓ２３の「Ｎｏ」）、かつ、画像内に商品の予め定められた部分が存在するとの判断がなされた場合（Ｓ２５の「Ｙｅｓ」）、登録部１３は、商品の価格を変更せず（商品マスタから取得した価格を販売価格として）、認識された商品を会計対象として登録する（Ｓ２６）。
【００９９】
Ｓ２１の画像解析の結果、商品を認識できたが（Ｓ２２の「Ｙｅｓ」）、付加情報を認識できず（Ｓ２３の「Ｎｏ」）、かつ、画像内に商品の予め定められた部分が存在するとの判断がなされない場合（Ｓ２５の「Ｎｏ」）、その商品を会計対象として登録しなくてもよい。そして、精算システム１０は、「商品○○（画像解析部１２により認識された商品の商品名）において、値引きシールＭ２を付す部分の存在を画像内で確認できません。当該部分が写るように商品を撮影してください。」等のメッセージを出力してもよい（Ｓ２７）。その他、登録部１３は、商品の価格を変更せず（商品マスタから取得した価格を販売価格として）、その商品を会計対象として登録し、上述した例外処理を実行してもよい。
【０１００】
画像から複数の商品が認識された場合、認識された複数の商品各々に対してＳ２３乃至Ｓ２７の処理を実行することができる。
【０１０１】
Ｓ２１の画像解析の結果、商品を認識できない場合（Ｓ２２の「Ｎｏ」）、精算を開始する指示入力がなければ（Ｓ２８の「Ｎｏ」）、Ｓ２０に戻って同様の処理を繰り返す。なお、図５の構成を前提とする場合、画像解析部１２は、例えば画像の時系列な変化に基づき、部材２に新たに載置された物体と、部材２に載置され続けている物体とを識別することができる。そして、新たな物体が検出されると、登録部１３は、その物体に対する認識結果に基づき、新たな商品を会計対象として登録する。
【０１０２】
精算開始する指示入力があった場合（Ｓ２８の「Ｙｅｓ」）、精算システム１０は精算処理を実行する（Ｓ２９）。例えば、精算システム１０は、それまでに登録された商品に基づき算出された支払合計金額の支払いとして、現金の入力を受付け、必要に応じて釣銭の出力やレシートの出力を行ってもよい。また、精算システム１０は、クレジットカードの入力を受付け、クレジット会社のシステムと通信し、決済処理を行ってもよい。また、精算システム１０は、精算処理のための情報（登録された商品を示す情報、支払合計金額等）を他の精算装置に送信してもよい。
【０１０３】
以上説明した本実施形態の精算システム１０によれば、第１及び第２の実施形態と同様な作用効果を実現できる。また、本実施形態の精算システム１０によれば、通常販売シールＭ１を商品に付す必要がなくなる。このため、通常販売シールＭ１を商品に付す労力を軽減できる。
【０１０４】
以下、参考形態の例を付記する。
１．  撮像手段によって生成された商品を含む画像を取得する取得手段と、
前記商品、及び、前記商品に付される第１のパターン又は第２のパターンを画像解析で認識する画像解析手段と、
前記第１のパターンが認識された場合には前記商品の価格を変更せず、前記第２のパターンが認識された場合には前記商品の価格を変更して前記商品を登録する登録手段と、
を有する精算システム。
２．  １に記載の精算システムにおいて、
前記画像解析手段は、前記商品の表示領域の中で前記商品の予め定められた部分を検出し、当該部分の表示領域を解析して前記第１のパターン及び前記第２のパターンの少なくとも一方認識する精算システム。
３．  ２に記載の精算システムにおいて、
前記登録手段は、前記商品の予め定められた部分を検出されなかった場合、オペレータに通知する精算システム。
４．  １から３のいずれかに記載の精算システムにおいて、
前記画像解析手段は、前記第１のパターン及び前記第２のパターン以外の画像によって前記商品の認識を行う精算システム。
５．  撮像手段によって撮影された商品を含む画像を取得する取得手段と、
画像解析で、前記商品及び前記商品に付される付加情報を認識するとともに、前記商品の予め定められた部分が前記画像内に存在するか判断する画像解析手段と、
前記付加情報を認識できず、かつ、前記画像内に前記商品の予め定められた部分が存在しない場合、通知を行う登録手段と、
を有する精算システム。
６．  ５に記載の精算システムにおいて、
前記登録手段は、前記付加情報の認識、及び、前記画像内に前記商品の予め定められた部分が存在するとの判断の少なくとも一方がなされた場合、認識された前記商品を登録する精算システム。
７．  コンピュータが、
撮像手段によって生成された商品を含む画像を取得する取得工程と、
前記商品、及び、前記商品に付される第１のパターン又は第２のパターンを画像解析で認識する画像解析工程と、
前記第１のパターンが認識された場合には前記商品の価格を変更せず、前記第２のパターンが認識された場合には前記商品の価格を変更して前記商品を登録する登録工程と、
を実行する精算方法。
８．  コンピュータを、
撮像手段によって生成された商品を含む画像を取得する取得手段、
前記商品、及び、前記商品に付される第１のパターン又は第２のパターンを画像解析で認識する画像解析手段、
前記第１のパターンが認識された場合には前記商品の価格を変更せず、前記第２のパターンが認識された場合には前記商品の価格を変更して前記商品を登録する登録手段、
として機能させるプログラム。
９．  コンピュータが、
撮像手段によって生成された商品を含む画像を取得する取得工程と、
画像解析で、前記商品及び前記商品に付される付加情報を認識するとともに、前記商品の予め定められた部分が前記画像内に存在するか判断する画像解析工程と、
認識された前記商品を登録する登録工程と、
前記付加情報を認識できず、かつ、前記画像内に前記商品の予め定められた部分が存在しない場合、前記付加情報の有無を確認する通知を行う通知工程と、
を実行する精算方法。
１０．  コンピュータを、
撮像手段によって生成された商品を含む画像を取得する取得手段、
画像解析で、前記商品及び前記商品に付される付加情報を認識するとともに、前記商品の予め定められた部分が前記画像内に存在するか判断する画像解析手段、
認識された前記商品を登録する登録手段、
前記付加情報を認識できず、かつ、前記画像内に前記商品の予め定められた部分が存在しない場合、前記付加情報の有無を確認する通知を行う通知手段、
として機能させるプログラム。
【符号の説明】
【０１０５】
１Ａ    プロセッサ
２Ａ    メモリ
３Ａ    入出力Ｉ／Ｆ
４Ａ    周辺回路
５Ａ    バス
１      台
２      部材
３      支柱
４      カメラ
５      読取窓
６      筐体
７      ディスプレイ
１０    精算システム
１１    取得部
１２    画像解析部
１３    登録部
Ｍ１    通常販売シール
Ｍ２    値引きシール
Ｓ      シール
Ｒ      部分
【図１】
2019164418.tif 000003
【図２】
2019164418.tif 000004
【図３】
2019164418.tif 000005
【図４】
2019164418.tif 000006
【図５】
2019164418.tif 000007
【図６】
2019164418.tif 000008
【図７】
2019164418.tif 000009
【図８】
2019164418.tif 000010
【図９】
2019164418.tif 000011