(57)【要約】【課題】オペレータによる対象商品の判断を支援する技術を提供する。【解決手段】情報処理装置（１０）は、商品の基準画像と撮像部で撮像された商品画像との比較結果、及び、当該商品画像中の商品の特定を補助するための補助情報を用いて、その商品の候補を示す少なくとも１つの候補商品画像を特定する特定部（１１）と、その特定された少なくとも１つの候補商品画像を表示部に表示させる表示処理部（１２）と、を有する。【選択図】図２
2016024596.tif 000002
【特許請求の範囲】
【請求項１】
商品の基準画像と撮像部で撮像された商品画像との比較結果、及び、該商品画像中の商品の特定を補助するための補助情報を用いて、該商品の候補を示す少なくとも１つの候補商品画像を特定する特定手段と、
前記特定された少なくとも１つの候補商品画像を表示部に表示させる表示処理手段と、
を備える情報処理装置。
【請求項２】
前記特定手段は、前記比較結果が所定条件を満たす基準画像の商品をそれぞれ示す複数の候補商品画像を特定し、前記補助情報を用いて、該特定された複数の候補商品画像の中から少なくとも１つの候補商品画像を絞り込む、
請求項１に記載の情報処理装置。
【請求項３】
前記補助情報を取得する情報取得手段、
を更に備え、
前記特定手段は、前記比較結果が所定条件を満たす基準画像の商品をそれぞれ示す複数の候補商品画像を特定し、
前記情報取得手段は、前記比較結果を用いて特定された前記複数の候補商品画像に対応する取得手法により、前記商品画像から前記補助情報を取得する、
請求項１又は２に記載の情報処理装置。
【請求項４】
前記補助情報は、前記商品画像中の商品に関わる人の属性情報を含む、
請求項１から３のいずれか１項に記載の情報処理装置。
【請求項５】
商品の識別を確定する確定手段、
を更に備え、
前記補助情報は、前記確定手段により未だ確定されていない商品の特定を補助するための、前記確定手段により既に確定された商品に関する情報を含む、
請求項１から４のいずれか１項に記載の情報処理装置。
【請求項６】
前記補助情報は、集音部から得られる音声信号に対する解析により得られる発声者属性情報を含む、
請求項１から５のいずれか１項に記載の情報処理装置。
【請求項７】
前記補助情報は、前記商品画像の取得時を含む所定時間幅に取得される、
請求項１から６のいずれか１項に記載の情報処理装置。
【請求項８】
少なくとも１つのコンピュータにより実行される商品画像提示方法において、
商品の基準画像と撮像部で撮像された商品画像との比較結果、及び、該商品画像中の商品の特定を補助するための補助情報を用いて、該商品の候補を示す少なくとも１つの候補商品画像を特定し、
前記特定された少なくとも１つの候補商品画像を表示部に表示させる、
ことを含む商品画像提示方法。
【請求項９】
請求項８に記載の商品画像提示方法を少なくとも１つのコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、商品の判断を支援する技術に関する。
【背景技術】
【０００２】
下記特許文献１には、スキャナが、決済しようとする商品を撮像して得られた商品の画像データから当該商品の形状を認識し、その認識した商品形状に基づいて決済しようとする商品の候補を選別して、画面表示する手法が提案されている。この手法によれば、バーコードが付けられない商品に関するデータのキー入力時間を短縮することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１９８１３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の提案手法では、オペレータは、対象商品を正確に判断できない場合がある。例えば、相互に類似した複数の登録商品が候補として表示された場合に、オペレータは、その候補の中から正しい商品を選択することができない場合がある。具体的には、リンゴの品種として、形状、大きさ、色合い等が近似する「ジョナゴールド」、「ふじ」、「昂林」が表示された場合に、オペレータは、対象商品と同じ品種がどれなのか正確に判断できない可能性がある。
【０００５】
このような問題点は、ＰＯＳレジスタ装置のオペレータのみに生ずるものではなく、商品を扱う様々な業務従事者にも生じ、更には、商品の購入者（顧客）にも生じ得る。購入者にとっても、手に取った商品が何なのか正確に把握したい場面があり得る。
【０００６】
本発明は、ユーザによる商品判断を支援する技術を提供する。
【課題を解決するための手段】
【０００７】
本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。
【０００８】
第１の側面は、情報処理装置に関する。第１の側面に係る情報処理装置は、商品の基準画像と撮像部で撮像された商品画像との比較結果、及び、当該商品画像中の商品の特定を補助するための補助情報を用いて、その商品の候補を示す少なくとも１つの候補商品画像を特定する特定手段と、その特定された少なくとも１つの候補商品画像を表示部に表示させる表示処理手段と、を有する。
【０００９】
第２の側面は、少なくとも１つのコンピュータにより実行される商品画像提示方法に関する。第２の側面に係る商品画像提示方法は、商品の基準画像と撮像部で撮像された商品画像との比較結果、及び、当該商品画像中の商品の特定を補助するための補助情報を用いて、その商品の候補を示す少なくとも１つの候補商品画像を特定し、その特定された少なくとも１つの候補商品画像を表示部に表示させる、ことを含む。
【００１０】
なお、本発明の他の側面は、上記第２の側面の方法を少なくとも１つのコンピュータに実行させるプログラムであり、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体である。この記録媒体は、非一時的な有形の媒体を含む。
【発明の効果】
【００１１】
上記各側面によれば、ユーザによる商品判断を支援する技術を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】第一実施形態における情報処理装置のハードウェア構成例を概念的に示す図である。
【図２】第一実施形態における情報処理装置の処理構成例を概念的に示す図である。
【図３】基準画像と補助情報とが商品名とともに対応づけられた記憶部の例を示す図である。
【図４】第一実施形態における情報処理装置の動作例を示すフローチャートである。
【図５】第二実施形態における情報処理装置の処理構成例を概念的に示す図である。
【図６】第二実施形態における情報処理装置の動作例を示すフローチャートである。
【図７】変形例における情報処理装置の処理構成例を概念的に示す図である。
【図８】ＰＯＳレジスタ装置の構成例を示す図である。
【図９】ＰＯＳシステムの構成例を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について説明する。なお、以下に挙げる各実施形態はそれぞれ例示であり、本発明は以下の各実施形態の構成に限定されない。
【００１４】
［第一実施形態］
〔ハードウェア構成〕
図１は、第一実施形態における情報処理装置のハードウェア構成例を概念的に示す図である。図１に示されるように、情報処理装置１０は、ＣＰＵ（Central Processing Unit）１、メモリ２、入出力インタフェース（Ｉ／Ｆ）３、通信部４等を有する。ＣＰＵ１は、他の各部とバス等の通信線により接続される。メモリ２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等である。通信部４は、他の装置や機器と信号のやりとりを行う。通信部４には、可搬型記録媒体等も接続され得る。入出力Ｉ／Ｆ３は、表示部５、入力部６、撮像部７、集音部８等と接続される。
【００１５】
表示部５は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイのような、ＣＰＵ１やＧＰＵ（Graphics Processing Unit）（図示せず）等により処理された描画データに対応する画面を表示するユニットである。入力部６は、ユーザ操作の入力を受け付けるユニットであり、例えば、ハードウェアボタンユニット、タッチセンサ等として実現される。表示部５及び入力部６は一体化され、タッチパネルとして実現されることもできる。撮像部７は、レンズ、撮像素子等から形成されるカメラであり、静止画像及び動画像を撮像する。集音部８は、マイクロフォンユニットである。
【００１６】
情報処理装置１０のハードウェア構成は、図１に示される構成に限定されない。情報処理装置１０は、図１に示される構成以外の構成を更に有してもよい。また、情報処理装置１０は、表示部５、入力部６、撮像部７及び集音部８を有していなくてもよい。この場合、情報処理装置１０は、通信部４を介した通信により、他の装置が有する表示部５への表示、撮像部７により撮像された画像の取得、集音部８により得られた音声データの取得を用いることができる。
【００１７】
〔処理構成〕
図２は、第一実施形態における情報処理装置１０の処理構成例を概念的に示す図である。図２に示されるように、第一実施形態における情報処理装置１０は、特定部１１、表示処理部１２等を有する。各処理部は、メモリ２に格納されるプログラムがＣＰＵ１により実行されることでそれぞれ実現される。当該プログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体や他のコンピュータから入出力Ｉ／Ｆ３を介してインストールされ、メモリ２に格納されてもよい。
【００１８】
特定部１１は、商品の基準画像と撮像部７で撮像された商品画像との比較結果、及び、その商品画像中の商品の特定を補助するための補助情報を用いて、その商品の候補を示す少なくとも１つの候補商品画像を特定する。特定部１１は、基準画像を当該候補商品画像として用いてもよいし、基準画像以外に設けられた他の画像を当該候補商品画像として用いてもよい。
【００１９】
「商品の基準画像」とは、予め識別されている商品の代表画像である。例えば、ジョナゴールドの基準画像、ふじの基準画像等が存在する。「撮像部７で撮像された商品画像」とは、情報処理装置１０による支援対象となる商品が撮像された処理対象画像である。基準画像は、情報処理装置１０の内部の記憶部（メモリ２）又は外図の不図示の記憶部に格納される。
【００２０】
基準画像と商品画像との比較結果にも、様々な形態が有り得る。一例としては、商品画像と一致又は近似する基準画像の存在に関する情報が比較結果となり得る。また、基準画像と商品画像との一致度合を示す類似度が比較結果となり得る。類似度は、例えば、画像間の特徴量の比較により算出することができる。画像の特徴量は、色、形状、輝度値、テクスチャ（空間変化パターン）等のような画像の特徴を数値化したものである。画像間の特徴量の比較としては、特徴量間の類似度の計算が含まれる。類似度としては、ユークリッド距離や、ベクトル間距離や、ヒストグラム間の一致度合、相関係数等、様々な指標値が利用される。基準画像と商品画像との比較は、情報処理装置１０により実行されてもよいし、他の装置により実行されてもよい。他の装置によりその比較が行われる場合、情報処理装置１０は、その比較結果を当該他の装置から取得する。比較結果は、情報処理装置１０の内部の記憶部（メモリ２）又は外部の不図示の記憶部に格納され得る。このような画像間の比較方法は様々な方法が知られており、いずれの方法が用いられても良い。
【００２１】
「補助情報」とは、当該商品画像中の商品の特定を助ける情報であって、当該商品画像そのもの、商品識別コード及び商品識別コードを抽出可能な画像を除くあらゆる情報である。商品識別コードとは、ＪＡＮ（Japan Article Number）コードのような商品を完全に識別するために設けられたコード情報であり、商品識別コードを抽出可能な画像とは、バーコードのような、商品識別コードがエンコードされたコードシンボルや商品識別コードそのものを表す画像である。「補助情報」から商品画像そのものが除かれるのは、重複を避ける目的であり、商品画像と基準画像との比較結果として商品画像が既に利用されているからである。また、「補助情報」から商品識別コード及び商品識別コードを抽出可能な画像が除かれるのは、商品識別コードによれば、画像間の比較結果を用いることなく、商品を特定することができるからである。一方で、商品名は、重複の可能性があるため、商品識別コードとは異なり、「補助情報」に該当し得る。
【００２２】
「補助情報」は、当該商品画像の取得時を含む所定時間幅に取得されることが望ましい。「補助情報」は、当該商品画像中の商品を対象に特定を補助する必要があるため、その商品画像の取得時と無関係なタイミングで取得された情報は、商品の特定を補助することができないか、若しくは、その補助能力が低い可能性が高い。例えば、商品画像が店舗のレジで取得された場合、「補助情報」は、その商品画像中の商品を含む清算時以内で取得されることが望ましい。上記所定時間幅は、本実施形態の利用シーンに応じた時間長に設定される。例えば、本実施形態がレジで利用される場合、上記所定時間幅は、好ましくは、対象商品を含む清算が開始されてから完了するまでの間に設定される。所定時間幅は、固定的に決められてもよいし、イベントの検出に応じて動的に決められてもよい。
【００２３】
「補助情報」には、例えば、対象商品の付随物に関する情報、対象商品に関わる人物に関する情報、対象商品と関係を有する他の商品に関する情報等が利用される。対象商品の付随物には、例えば、対象商品に付された、商品情報ラベル（商品名や生産者が印刷されたシール）、商品結束部材、装飾部材及び付属品（グッズ等）、対象商品が収容される容器及び包装部材等があり得る。「補助情報」の具体例については、後述の詳細実施形態において更に説明される。なお、「補助情報」は情報処理装置１０の内部の記憶部（メモリ２）又は外部の不図示の記憶部に格納される。基準画像と補助情報とは予め対応付けられて記憶されても良い。
【００２４】
図３は、基準画像と補助情報とが商品名とともに対応づけられた記憶部の例を示している。図３の例では、商品ＩＤ毎に、商品名、単価、基準画像及び補助情報が対応付けられている。但し、図３の例では、基準画像として画像自体が表されているが、基準画像のＩＤが補助情報等と対応付けられてもよい。また、図３の例では、補助情報として、装飾部材や商品結束部材、関連人物を表す画像の特徴量が格納される。但し、補助情報としては、生産者の名称データや対象商品と関係を有する他の商品のＩＤ等が格納されてもよい。
【００２５】
表示処理部１２は、特定部１１により特定された少なくとも１つの候補商品画像を表示部５に表示させる。
【００２６】
〔動作例（商品画像提示方法）〕
以下、第一実施形態における商品画像提示方法について図４を用いて説明する。
図４は、第一実施形態における情報処理装置１０の動作例を示すフローチャートである。第一実施形態における商品画像提示方法は、情報処理装置１０のような少なくとも１つのコンピュータにより実行され、図４に示されるように、（Ｓ３１）及び（Ｓ３２）で示される複数の工程を含む。各工程は、当該少なくとも１つのコンピュータ（ＣＰＵ１）によりプログラムが実行されることでそれぞれ実現される。また、各工程は、情報処理装置１０が有する上述の各処理部の処理内容と同様であるため、各工程の詳細は、適宜省略される。
【００２７】
情報処理装置１０は、商品の基準画像と撮像部７で撮像された商品画像との比較結果、及び、その商品画像中の商品の特定を補助するための補助情報を用いて、その商品の候補を示す少なくとも１つの候補商品画像を特定する（Ｓ３１）。
情報処理装置１０は、（Ｓ３１）で特定された少なくとも１つの候補商品画像を表示部５に表示させる（Ｓ３２）。
【００２８】
上述の処理を補足する。例えば、情報処理装置１０は、撮像部７が商品画像を撮像した場合に、該商品画像と、記憶部に格納された基準画像との比較を行う。情報処理装置１０は、比較結果に基づき、例えば類似度が所定値以上の特徴量を有する基準画像を候補商品画像として抽出する。抽出された候補商品画像は複数存在しうる。
【００２９】
情報処理装置１０は、例えば、補助情報が対象商品に付された商品情報ラベル（商品名や生産者が印刷されたシール）である場合、情報処理装置１０は該商品画像から商品ラベルを抽出する。情報処理装置１０は、抽出した商品ラベルを用い、候補商品画像の絞り込みを行う。例えば、情報処理装置１０は、図３に示されるような対応付け情報を参照することにより、抽出された商品ラベルの特徴量と所定値以上の相関を有する補助情報（特徴量）と対応付けられた候補商品画像を特定する。これにより、例えば、抽出された商品ラベルが甘夏を表すシールＡである場合、図３に示されるように、候補商品画像は甘夏であることが絞り込まれる。
【００３０】
〔第一実施形態における作用及び効果〕
上述のように、第一実施形態では、商品の基準画像と撮像部７で撮像された商品画像との比較結果及びその商品画像中の商品の特定を補助する補助情報を用いて、少なくとも１つの候補商品画像が特定され、その特定された候補商品画像が表示部５に表示される。これにより、ユーザは、所望の商品を撮影することで、その商品の候補となる候補商品画像を表示部５上で確認することができる。
【００３１】
更に、第一実施形態では、候補商品画像の特定にあたり、画像間の比較結果だけでなく、その商品の特定を補助する補助情報が利用される。よって、第一実施形態によれば、形状、大きさ、色合い等の商品自体の見た目の情報のみでなく、他の補助情報も加味することで、より厳選された候補商品画像を提示することができる。これにより、表示部５に表示される候補商品画像により、ユーザによる対象商品の識別を容易にすることができる。
【００３２】
［第二実施形態］
以下、上述の第一実施形態について更に詳細を第二実施形態として説明する。以下、第二実施形態における情報処理装置１０及び商品画像提示方法について、上述の第一実施形態と異なる内容を中心に説明し、第一実施形態と同内容については適宜省略される。
【００３３】
〔処理構成〕
図５は、第二実施形態における情報処理装置１０の処理構成例を概念的に示す図である。図５に示されるように、第二実施形態における情報処理装置１０は、第一実施形態の構成に加えて、情報取得部１３、比較処理部１４及び情報格納部１８を更に有する。情報取得部１３、比較処理部１４及び情報格納部１８についても他の処理部と同様に実現される。
【００３４】
情報格納部１８は、複数種の商品に関し、商品と基準画像とを紐付ける第一対応付け情報、及び、商品と補助情報とを紐付ける第二対応付け情報を格納する。例えば、情報格納部１８は、第一対応付け情報として、商品ＩＤと基準画像との対応付け情報、又は、商品ＩＤと基準画像の特徴量との対応付け情報を格納する。第二対応付け情報では、１つの商品に対して複数の補助情報が紐付けられてもよいし、１つの補助情報に対して複数の商品が紐付けられてもよい。例えば、情報格納部１８は、第二対応付け情報として、商品ＩＤと補助情報との対応付け情報を格納する。第二対応付け情報で紐付けられる補助情報としては、画像自体、画像の特徴量、文字列データ、値データ等があり得る。第一及び第二の対応付け情報は、図３に例示されるように、１つのテーブルに格納されることもできる。
【００３５】
比較処理部１４は、商品の基準画像と撮像部７で撮像された商品画像との比較結果を取得する。比較処理部１４は、撮像部７により撮像された商品画像を取得すると、情報格納部１８に格納される第一対応付け情報を参照し、その商品画像と各基準画像とをそれぞれ比較する。この画像比較の方法には、周知のあらゆる手法が利用可能である。例えば、画像比較の方法には、基準画像の特徴量と商品画像の特徴量との類似度の計算が含まれる。比較処理部１４は、このような画像間の比較処理により、比較結果を得ることができる。例えば、比較処理部１４は、比較結果として、基準画像毎の類似度を取得することができる。
【００３６】
特定部１１は、比較処理部１４により得られる比較結果が所定条件を満たす基準画像の商品を示す少なくとも１つの候補商品画像を特定し、上記補助情報を用いて、その特定された少なくとも１つの候補商品画像の中から少なくとも１つの候補商品画像を絞り込む。逆に、特定部１１は、上記補助情報を用いて複数の候補商品画像を特定し、比較処理部１４により得られる比較結果を用いて、その特定された複数の候補商品画像の中から少なくとも１つの候補商品画像を絞り込むこともできる。
【００３７】
例えば、比較処理部１４により商品画像と各基準画像との間の各類似度がそれぞれ得られる場合には、特定部１１は、情報格納部１８に格納される全ての基準画像の中から、所定閾値を超える類似度を示す基準画像を候補商品画像として特定する。また、基準画像とは別に、商品毎の表示用画像が格納されている場合には、特定部１１は、所定閾値を超える類似度を示す基準画像と同一商品を示す表示用画像を候補商品画像として特定してもよい。この場合、基準画像と表示用画像とは、商品を識別可能な情報、又は、画像ＩＤにより関連付けられる。表示用画像は、情報処理装置１０又は他の装置により保持される。
【００３８】
特定部１１は、後述の情報取得部１３により取得される補助情報及び情報格納部１８に格納される第二対応付け情報に基づいて、候補商品画像を更に絞り込む。例えば、特定部１１は、情報格納部１８に格納される第二対応付け情報の中から、後述の情報取得部１３により取得された補助情報と一致又は近似する補助情報を特定し、その特定された補助情報に紐付けられた商品のＩＤを抽出する。ここで、補助情報が画像の特徴量である場合には、特定部１１は、情報取得部１３により取得された補助情報と所定値以上の類似度を示す補助情報を第二対応付け情報の中から特定してもよい。また、補助情報が文字列データである場合には、特定部１１は、情報取得部１３により補助情報として取得された文字列と所定数以上の文字が一致する文字列を、第二対応付け情報の中から特定してもよい。特定部１１は、商品画像と基準画像との間の比較で特定された候補商品画像の中から、補助情報を用いて抽出された商品のＩＤに対応する候補商品画像を選択する。また、特定部１１は、候補商品画像を次のように絞り込むこともできる。特定部１１は、画像間の比較で特定された複数の候補商品画像に対応する複数の商品ＩＤを取得し、各商品ＩＤと紐付けられる補助情報を第二対応付け情報から抽出する。特定部１１は、抽出された補助情報の中で、情報取得部１３により取得される補助情報と一致する又は近似する補助情報を特定し、その特定された補助情報に紐付けられた商品ＩＤに対応する候補商品画像を特定する。
【００３９】
情報取得部１３は、撮像部７により撮像された商品画像から補助情報を取得することができる。例えば、情報取得部１３は、対象商品に付された、当該商品画像中の、商品情報ラベル、商品結束部材、装飾部材及び付属品、並びに、当該商品画像中の商品が収容される容器及び包装部材の少なくとも１つから補助情報を抽出する。この場合、情報取得部１３は、比較処理部１４により得られた比較結果を用いて特定部１１により特定された複数の候補商品画像に対応する取得手法により、当該商品画像から補助情報を取得するようにしてもよい。
【００４０】
商品ＩＤ又は商品カテゴリ毎に補助情報の取得手法が異なる場合がある。例えば、商品のカテゴリが葉物野菜の場合、結束テープ（商品結束部材）の色や形や文字等が補助情報として利用され得る。また、商品がミカンの場合、シール（商品情報ラベル）の色や形や文字等が補助情報として利用され得る。一方で、画像間の比較結果を用いて特定された候補商品画像によれば、商品が葉物野菜であるかミカンであるかは識別可能であるため、候補商品画像から補助情報の取得手法を選ぶことができる。
【００４１】
そこで、情報取得部１３は、商品毎又は商品カテゴリ毎に、補助情報の取得手法を予め保持する。補助情報の取得手法には、当該商品画像内のどの部分を認識処理の対象とするか、文字認識（ＯＣＲ（Optical Character Recognition））をすべきか否か、形状認識をすべきか否か、どのような形状又は色を認識すべきか等といった異なる認識パラメータを有する複数の取得手法が存在し得る。情報取得部１３は、画像間の比較で特定された候補商品画像に対応する商品ＩＤに基づいて、上述のように保持される情報の中から、適切な補助情報の取得手法を選択することができる。
【００４２】
〔動作例（商品画像提示方法）〕
以下、第二実施形態における商品画像提示方法について図６を用いて説明する。
図６は、第二実施形態における情報処理装置１０の動作例を示すフローチャートである。第二実施形態における商品画像提示方法は、情報処理装置１０のような少なくとも１つのコンピュータにより実行され、図６に示されるように、（Ｓ５１）から（Ｓ５６）で示される複数の工程を含む。各工程は、当該少なくとも１つのコンピュータ（ＣＰＵ１）によりプログラムが実行されることでそれぞれ実現される。また、各工程は、情報処理装置１０が有する上述の各処理部の処理内容と同様であるため、各工程の詳細は、適宜省略される。
【００４３】
情報処理装置１０は、撮像部７により撮像された商品画像を取得する（Ｓ５１）。情報処理装置１０は、入出力Ｉ／Ｆ３に接続される撮像部７から商品画像を取得してもよいし、他の装置の撮像部７で撮像された商品画像を通信又は可搬型記録媒体を介して取得してもよい。
【００４４】
情報処理装置１０は、（Ｓ５１）で取得された商品画像と商品の基準画像との比較結果を取得する（Ｓ５２）。上述のように、情報処理装置１０は、（Ｓ５１）で取得された商品画像を、情報格納部１８に格納される第一対応付け情報に含まれる複数の基準画像の各々と比較し、各基準画像の比較結果を取得する。画像間の比較には、上述のように、画像間の類似度の計算も含まれる。
【００４５】
情報処理装置１０は、（Ｓ５２）で取得された比較結果が所定条件を満たす基準画像を特定し、その特定された基準画像に対応する商品を示す少なくとも１つの候補商品画像を特定する（Ｓ５３）。上述のように、基準画像そのものが候補商品画像とされてもよいし、基準画像に対応する商品を示す表示用画像が候補商品画像とされてもよい。上記所定条件には、例えば、類似度の閾値が設定される。
【００４６】
情報処理装置１０は、（Ｓ５１）で取得された商品画像の中から、その商品画像の商品の特定を補助するための補助情報を取得する（Ｓ５４）。このとき、情報処理装置１０は、（５３）で特定された候補商品画像に関する情報（例えば、商品ＩＤ）を使うことができる。例えば、情報処理装置１０は、（Ｓ５３）で特定された少なくとも１つの候補商品画像に対応する取得手法により、（Ｓ５１）で取得された商品画像から当該補助情報を取得する（Ｓ５４）。上述のように、情報処理装置１０は、商品毎又は商品カテゴリ毎に予め保持される補助情報の取得手法から、（Ｓ５３）で特定された候補商品画像に対応する商品ＩＤにより特定される取得手法を選択し、その選択された取得手法を用いて、当該補助情報を取得する。
【００４７】
情報処理装置１０は、（Ｓ５３）で特定された少なくとも１つの候補商品画像の中から、（Ｓ５４）で取得された補助情報を用いて、少なくとも１つの候補商品画像を絞り込む（Ｓ５５）。この絞り込み処理は、上述のとおりである。即ち、情報処理装置１０は、情報格納部１８に格納される第二対応付け情報の中から、（Ｓ５４）で取得された補助情報と一致又は近似する補助情報を特定し、その特定された補助情報に紐付けられた商品ＩＤを特定する。情報処理装置１０は、（Ｓ５３）で特定された候補商品画像の中から、補助情報により特定された商品ＩＤに対応する候補商品画像を選択する。
【００４８】
情報処理装置１０は、（Ｓ５５）で絞り込まれた（特定された）少なくとも１つの候補商品画像を表示部５に表示させる（Ｓ５６）。
【００４９】
第二実施形態における商品画像提示方法における各工程の実行順は、図５に示される順番に限定されない。例えば、（Ｓ５４）において、（Ｓ５３）で特定された候補商品画像に関する情報が用いられない場合には、（Ｓ５４）は、（Ｓ５１）又は（Ｓ５２）の直後、若しくは、（Ｓ５２）と並列に実行されてもよい。また、（Ｓ５３）は、（Ｓ５５）の直後に実行されてもよい。この場合、（Ｓ５３）は、（Ｓ５５）で特定された候補商品画像の中から、比較結果を用いて、候補商品画像を特定することができる。
【００５０】
〔第二実施形態における作用及び効果〕
上述のように、第二実施形態では、商品画像と基準画像との比較結果が所定条件を満たす基準画像の商品をそれぞれ示す複数の候補商品画像が特定され、特定された複数の候補商品画像に対応する取得手法を用いて、当該商品画像から補助情報が取得される。
【００５１】
よって、第二実施形態によれば、画像間の比較結果を用いて特定された候補商品画像が示す商品又は商品カテゴリに対応する取得手法（画像認識手法等）により、確実に補助情報を取得することができる。更に、第二実施形態によれば、対象商品と共に商品画像に写り得る物から得られる情報が補助情報として利用されるため、確度の高い補助情報を得ることができる。加えて、第二実施形態では、画像間の比較結果により特定された候補商品画像が、そのような確度の高い補助情報により、更に絞り込まれるため、表示部５に表示される候補商品画像の確度を向上させることができる。
【００５２】
［補助情報の他の例］
情報取得部１３は、第二実施形態で述べたように商品画像から得られる補助情報に替え、又は、それに加えて、次のような補助情報を用いることができる。上記及び以下に示す複数種の補助情報は、組み合わせて、又は、単独で利用することができる。以下、補助情報のタイプごとに、上述の情報処理装置１０及び商品画像提示方法を補足説明する。
【００５３】
情報取得部１３は、入力部６を介して入力された情報を補助情報として用いてもよいし、他の装置から送られた情報を補助情報として用いてもよい。以下に例示する補助情報についても、少なくとも１つの商品と紐付けられて上記第二対応付け情報として情報格納部１８に格納される。
【００５４】
〔人の属性情報を用いる例〕
商品画像中の商品に関わる人の属性情報も補助情報として利用され得る。商品に関わる人には、商品の購入希望（予定）者、その商品に興味を示している人、その商品を識別したい人等があり得る。属性情報には、性別、年齢（年齢層、年代等も含む）、職種（学生含む）等があり得る。このような人の属性情報によれば、例えば、男性用商品と女性用商品とを区別することができる。
【００５５】
情報処理装置１０は、上述のように、（Ｓ５１）から（Ｓ５３）を実行することにより、（Ｓ５１）で取得された商品画像に対応する候補商品画像を特定する。続いて、情報処理装置１０（情報取得部１３）は、（Ｓ５１）で取得された商品画像中の商品に関わる人の属性情報を当該補助情報として取得する。例えば、情報取得部１３は、商品画像と共に撮像部７により撮像された人物画像から当該人の属性情報を取得することができる。この場合、例えば、１つの撮像部７が商品画像を撮像可能な位置に設置され、他方の撮像部７がそのレジの前に存在する人物を撮像可能な位置に設置される。この場合、当該他方の撮像部７で撮像される人物画像中の人は、商品画像中の商品の購入希望者に相当する。また、オペレータが利用するハンディターミナルに搭載された１つの撮像部７により商品画像及び人物画像が撮像されてもよい。このシーンでは、オペレータが、顧客から「この商品の正式名称を教えてください」と言われた際に、手渡された商品をハンディターミナルで撮影した後、そのハンディターミナルでその顧客を撮影してもよい。この場合、撮像された人物画像中の人は、商品に興味を示している人、商品を識別したい人等に相当する。
【００５６】
情報取得部１３は、撮像部７により撮像された人物画像に対して周知の画像認識を行うことで、その画像に写る人物の、性別、年齢層、職種等の属性情報を取得することができる。例えば、情報取得部１３は、人の属性毎（性別毎、年齢層毎など）の平均的な顔画像又はその特徴量を予め保持することができる。情報取得部１３は、その保持される情報を用いて、撮像された人物画像と所定閾値以上の類似度を示す顔画像に対応する属性をその人物画像の属性として取得することができる。補助情報として取得される人の属性情報は、１つの情報であってもよいし、複数の情報であってもよい。
【００５７】
情報処理装置１０（特定部１１）は、情報格納部１８に格納される第二対応付け情報の中から、情報取得部１３により取得された人の属性情報に一致又は近似する属性情報を特定し、その属性情報に紐付けられた商品のＩＤを特定する。特定部１１は、（Ｓ５３）で特定された候補商品画像の中から、（Ｓ５４）で取得された属性情報（補助情報）を用いて特定された商品ＩＤに対応する候補商品画像を選択する（Ｓ５５）。
【００５８】
情報処理装置１０（表示処理部１２）は、（Ｓ５５）で特定された候補商品画像を表示部５に表示させる（Ｓ５６）。
【００５９】
〔発声者属性情報を用いる例〕
上述のような人の属性情報は、音声信号から取得することもできる。即ち、発声者属性情報も補助情報として利用され得る。音声信号に対する解析によれば、音声特徴量、発言内容情報などが抽出され得る。音声特徴量や発言内容情報によれば、人の性別や年齢等のような、発声者の属性情報を取得することができる。例えば、語尾表現により、年齢や性別等を判別することができる。この場合、情報格納部１８に格納される第二対応付け情報は、発声者の属性情報を補助情報として含む。
【００６０】
情報処理装置１０は、上述のように、（Ｓ５１）から（Ｓ５３）を実行することにより、（Ｓ５１）で取得された商品画像に対応する候補商品画像を特定する。続いて、情報処理装置１０（情報取得部１３）は、集音部８から得られる音声信号に対する解析により得られる発声者属性情報を当該補助情報として取得する（Ｓ５４）。情報取得部１３は、音声信号に対して周波数解析を行うことで音声特徴量を取得することができる。また、情報取得部１３は、音声信号に対して音声認識を行うことで発言内容情報を得ることもできる。情報取得部１３は、音声特徴量や発言内容と人の属性情報との対応関係を予め保持しており、この対応関係を用いて、音声信号から得られた音声特徴量や発言内容に対応する人の属性情報（発声者属性情報）を取得する。集音部８は、商品画像中の商品に関わる人の音声を集音できる位置に設置される。例えば、集音部８は、レジに設置される。
【００６１】
情報処理装置１０（特定部１１）は、情報格納部１８に格納される第二対応付け情報の中から、情報取得部１３により取得された発声者属性情報に一致又は近似する属性情報を特定し、その属性情報に紐付けられた商品のＩＤを特定する。特定部１１は、（Ｓ５３）で特定された候補商品画像の中から、（Ｓ５４）で取得された属性情報（補助情報）を用いて特定された商品ＩＤに対応する候補商品画像を選択する（Ｓ５５）。
【００６２】
情報処理装置１０（表示処理部１２）は、（Ｓ５５）で特定された候補商品画像を表示部５に表示させる（Ｓ５６）。
【００６３】
〔他の商品に関する情報を用いる例〕
商品画像中の対象商品と同時期に扱われた他の商品（他種の商品及び同一種の商品）に関する情報は、その対象商品の特定を補助し得る。例えば、「ふじ」のリンゴが２つ扱われた後に得られた商品画像中の商品がリンゴの場合、それも「ふじ」である可能性が高い（以降、第一想定と表記する）。また、カレールー、玉葱及び人参が扱われた後に得られた商品画像中の商品がジャガイモ風のものであれば、その商品は、カレーの具材となる或る品種のジャガイモである可能性が高い（以降、第二想定と表記する）。上述の情報処理装置１０及び商品画像提示方法は、上記第一想定、又は、上記第二想定、若しくはそれら両方に対応することができる。
【００６４】
この場合、図７に示されるように、情報処理装置１０は、商品の識別を確定する確定部１６を更に有する。商品の識別の確定とは、その商品の商品ＩＤを確定させることに等しい。図７は、変形例における情報処理装置１０の処理構成例を概念的に示す図である。この変形例では、情報取得部１３が、商品画像中の商品であってかつ確定部１６により未だ確定されていない商品の特定を補助するための補助情報として、確定部１６により既に確定された商品に関する情報を取得する。
【００６５】
まずは、上記第二想定に対応する場合について説明する。この場合、情報格納部１８に格納される第二対応付け情報には、少なくとも１つの対象商品と紐付けられる補助情報として、その対象商品と共に或る料理の種類の具材群を形成し得る複数の他の商品のＩＤが含まれる。
【００６６】
情報処理装置１０は、上述のように、（Ｓ５１）から（Ｓ５３）を実行することにより、（Ｓ５１）で取得された商品画像に対応する候補商品画像を特定する。このとき、情報処理装置１０は、確定部１６により既に確定された商品ＩＤを保持している。情報処理装置１０（情報取得部１３）は、保持されている既に確定された複数の商品ＩＤを当該補助情報として取得する（Ｓ５４）。
【００６７】
情報処理装置１０（特定部１１）は、（Ｓ５４）で取得された複数の商品ＩＤが、第二対応付け情報に格納される補助情報に含まれる商品ＩＤ群と所定数以上一致するか否かを判定する。その閾値として用いられる所定数は、或る料理の種類を選別し得る数として、２以上の数に設定される。情報処理装置１０は、第二対応付け情報に基づいて、所定数以上一致する商品ＩＤ群を含む補助情報と紐付けられた商品のＩＤを特定し、（Ｓ５３）で特定された候補商品画像の中から、その特定された商品ＩＤに対応する候補商品画像を選択する（Ｓ５５）。これにより、情報処理装置１０は、商品画像を用いて特定された候補商品画像を、既に識別が確定された他の商品と同じ料理の具材になり得るか否かで更に絞りこむことができる。
【００６８】
次に、上記第一想定に対応する場合について説明する。この場合、情報処理装置１０（特定部１１）は、（Ｓ５４）で取得された複数の商品ＩＤの中において、所定数以上の数が既に確定されている商品ＩＤを用いる。ここで用いられる所定数も２以上に設定される。上述のように、同じＩＤの商品が２個以上既に識別されている場合、その商品が３個以上購入される可能性が高いからである。このとき、情報処理装置１０は、商品ＩＤ毎に既に確定されている数も当該補助情報として取得するようにしてもよい。情報処理装置１０（特定部１１）は、（Ｓ５３）で特定された候補商品画像の中から、所定数以上識別が確定している商品のＩＤに対応する候補商品画像を特定する（Ｓ５５）。これにより、情報処理装置１０は、既に商品の識別が確定された商品と同じ商品について、適切な商品画像を表示させることができる（Ｓ５６）。
【００６９】
上記第一想定及び上記第二想定の両方に対応する場合には、情報処理装置１０は、まずは、第一想定に対応する上記処理を実行する。情報処理装置１０は、（Ｓ５３）で特定された候補商品画像の中に、所定数以上識別が確定している商品のＩＤに対応する候補商品画像が存在しない場合に、上記第二想定に対応する上記処理を実行すればよい。
【００７０】
［補足］
情報処理装置１０（表示処理部１２）は、候補商品画像と共に、各候補商品画像に関連する情報を表示部５に表示させることもできる。このような関連情報は、各候補商品画像と関連付けられて情報処理装置１０又は他の装置が保持していればよい。関連情報には、商品名、生産者名、生産地、人気度、効能等のような商品情報、レシピ情報、お勧め情報等があり得る。更に、情報処理装置１０は、その商品と共に識別された他の商品の情報を用いて、レシピに足りない商品を特定し、その商品の情報を併せて表示することもできる。また、商品を購入予定のユーザの属性情報を得ることができた場合には、情報処理装置１０は、その属性情報を用いて、その商品を材料に含むレシピの中からそのユーザが好むと思われるレシピを推測し、その推測されたレシピの情報を併せて表示することもできる。
【００７１】
［変形例］
第二実施形態において、情報処理装置１０は、情報格納部１８を持たず、情報処理装置１０以外の他の装置が情報格納部１８を備えてもよい。この場合に、比較処理部１４は、情報格納部１８を参照して基準画像と商品画像との比較を自身で実行してもよいし、他の装置に依頼してもよい。自身で比較処理を行わない場合、比較処理部１４は、撮像部７により撮像された商品画像と共に、比較要求を他の装置に送り、当該他の装置から当該比較結果を受けることになる。
【００７２】
以下に複数の実施例を挙げ、上述の各実施形態を更に詳細に説明する。本発明は以下の各実施例から何ら限定を受けない。
【実施例１】
【００７３】
図８は、ＰＯＳレジスタ装置の構成例を示す図である。図８に示されるように、実施例１は、上述の情報処理装置１０及び商品画像提示方法が、ＰＯＳ（Point Of Sale）レジスタ装置３０に適用された例を示す。実施例１におけるＰＯＳレジスタ装置３０は、チェッカ装置３１及びキャッシャ装置４１から構成される。チェッカ装置３１は、商品を精算対象に登録し、精算対象商品の情報をキャッシャ装置４１に送る。キャッシャ装置４１は、精算対象の商品の決済処理を行う。精算対象は、チェッカ装置３１及びキャッシャ装置４１のいずれにおいても登録可能である。
【００７４】
実施例１におけるチェッカ装置３１及びキャッシャ装置４１は、図１と同様に、ＣＰＵ１、メモリ２、入出力Ｉ／Ｆ３及び通信部４等を有する。上述の情報処理装置１０は、チェッカ装置３１及びキャッシャ装置４１のいずれにも適用可能であり、上述の商品画像提示方法は、チェッカ装置３１及びキャッシャ装置４１のいずれでも実行可能である。
【００７５】
上述の表示部５は、タッチパネルユニット３２の表示部３２ａ及び表示部４２の少なくとも一方に相当する。上述の入力部６は、タッチパネルユニット３２のタッチパネル３２ｂ及びキーボード３３、並びに、キーボード４３の少なくとも１つに相当する。上述の撮像部７は、スキャナ装置３４に相当する。スキャナ装置３４は、読取窓３６にかざされた商品の外観を映し出す商品画像を撮像する。上述の集音部８は、例えば、チェッカ装置３１における部材３５、ＰＯＳレジスタ装置３０のオペレータ等に装着される。
【００７６】
実施例１によれば、ＰＯＳレジスタ装置３０のオペレータは、商品を清算対象に登録するにあたりその商品を正確に判断できない場合に、その商品を読取窓３６にかざすことで、その商品に関する候補商品画像を見ることができ、結果として、その商品を判断し、その商品を清算対象に登録することができる。
【００７７】
実施例１では、図８に示されるように、ＰＯＳレジスタ装置３０がチェッカ装置３１及びキャッシャ装置４１を有したが、ＰＯＳレジスタ装置３０は、キャッシャ装置４１のみで構成されてもよい。この場合、キャッシャ装置４１が、スキャナ装置３４を有していればよい。
【実施例２】
【００７８】
図９は、ＰＯＳシステムの構成例を示す図である。図９に示されるように、実施例２は、上述の情報処理装置１０及び商品画像提示方法が、ＰＯＳシステム５０に適用された例を示す。実施例２におけるＰＯＳシステム５０は、サーバ装置５１及び店舗側構成５２から構成され、サーバ装置５１と店舗側構成５２とは、通信網５３により通信可能に接続される。店舗側構成５２には、通信中継装置を介して通信網５３に接続可能な店舗端末５４、スタンド５５等が含まれる。スタンド５５は、店舗端末５４と、他の機器（ハンディスキャナ、キャッシュドロア、レシートプリンタ等）とを通信可能に接続するための機器である。
【００７９】
店舗端末５４は、ＰＣ（Personal Computer）、ノートＰＣ、タブレット型端末、スマートフォン等のような汎用コンピュータであり、サーバ装置５１との間でデータのやり取りをすることにより、上述のＰＯＳレジスタ装置３０と同様の機能を実現する。店舗端末５４は、タッチパネルユニット５６、撮像部５７、マイクロフォン（図示せず）等を有する。上述の表示部５は、タッチパネルユニット５６の表示部に相当する。上述の入力部６は、タッチパネルユニット５６のタッチパネルに相当する。上述の撮像部７は、撮像部５７に相当する。上述の集音部８は、店舗端末５４に内蔵されるマイクロフォンに相当する。
【００８０】
サーバ装置５１は、一般的なサーバコンピュータであり、ＷＥＢサーバ、アプリケーションサーバ等として実現される。店舗端末５４及びサーバ装置５１は、図１と同様に、ＣＰＵ１、メモリ２、入出力Ｉ／Ｆ３及び通信部４等を有する。
【００８１】
上述の情報処理装置１０は、サーバ装置５１のみ、店舗端末５４のみ、又は、それら両方として実現され得る。同様に、上述の商品画像提示方法は、サーバ装置５１のみ、店舗端末５４のみ、又は、それら両方により実行可能である。例えば、サーバ装置５１と店舗端末５４との間のインタフェースとしてＷＥＢシステムが利用される場合、上述の全処理部がサーバ装置５１で実現され、店舗端末５４は、単なる表示部として動作してもよい。逆に、店舗端末５４において全処理部が実現されてもよい。また、一部の処理部がサーバ装置５１で実現され、残りの処理部が店舗端末５４で実現されてもよい。図５の例によれば、比較処理部１４及び情報格納部１８がサーバ装置５１で実現され、その他の処理部が店舗端末５４で実現されてもよい。
【００８２】
実施例２によれば、店舗端末５４のオペレータは、商品を清算対象に登録するにあたりその商品を正確に判断できない場合に、その商品を撮像部５７にかざすことで、その商品に関する候補商品画像を見ることができ、結果として、その商品を判断し、その商品を清算対象に登録することができる。清算時だけでなく、顧客から提示されて商品情報を尋ねられた商品について自身で判断できない場合にも、店舗端末５４のオペレータは、同様の作業により、その商品を判断し、顧客にその商品の情報を教えることができる。
【実施例３】
【００８３】
上述の情報処理装置１０及び商品画像提示方法は、ＰＯＳレジスタ装置３０及びＰＯＳシステム５０のみに適用可能なわけではなく、商品の判断を支援するあらゆる装置に適用可能である。例えば、上述の情報処理装置１０及び商品画像提示方法は、一般ユーザに利用されるＰＣやスマートデバイスのような汎用コンピュータに適用されてもよい。この場合、ユーザは、手に取った商品が何なのか正確に把握したい場合に、その商品をそのコンピュータの撮像部で撮影することにより、その商品に関する候補商品画像及びその候補商品に関する情報を見ることができる。
【００８４】
このように、本発明における情報処理装置は、複数の装置（複数のコンピュータ、複数のＣＰＵを持つ筐体）で実現されることを排除するものではない。
また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
【００８５】
上記の各実施形態の一部又は全部は、以下のようにも特定され得る。但し、各実施形態が以下の記載に限定されるものではない。
【００８６】
１．  商品の基準画像と撮像部で撮像された商品画像との比較結果、及び、該商品画像中の商品の特定を補助するための補助情報を用いて、該商品の候補を示す少なくとも１つの候補商品画像を特定する特定手段と、
前記特定された少なくとも１つの候補商品画像を表示部に表示させる表示処理手段と、
を備える情報処理装置。
２．  前記特定手段は、前記比較結果が所定条件を満たす基準画像の商品をそれぞれ示す複数の候補商品画像を特定し、前記補助情報を用いて、該特定された複数の候補商品画像の中から少なくとも１つの候補商品画像を絞り込む、
１．に記載の情報処理装置。
３．  前記補助情報を取得する情報取得手段、
を更に備え、
前記特定手段は、前記比較結果が所定条件を満たす基準画像の商品をそれぞれ示す複数の候補商品画像を特定し、
前記情報取得手段は、前記比較結果を用いて特定された前記複数の候補商品画像に対応する取得手法により、前記商品画像から前記補助情報を取得する、
１．又は２．に記載の情報処理装置。
４．  前記補助情報は、前記商品画像中の商品に関わる人の属性情報を含む、
１．から３．のいずれか１つに記載の情報処理装置。
５．  商品の識別を確定する確定手段、
を更に備え、
前記補助情報は、前記確定手段により未だ確定されていない商品の特定を補助するための、前記確定手段により既に確定された商品に関する情報を含む、
１．から４．のいずれか１つに記載の情報処理装置。
６．  前記補助情報は、集音部から得られる音声信号に対する解析により得られる発声者属性情報を含む、
１．から５．のいずれか１つに記載の情報処理装置。
７．  前記補助情報は、前記商品画像の取得時を含む所定時間幅に取得される、
１．から６．のいずれか１つに記載の情報処理装置。
８．  前記補助情報は、前記商品画像中の商品に付された、商品情報ラベル、商品結束部材、装飾部材及び付属品、並びに、前記商品画像中の商品が収容される容器及び包装部材の少なくとも１つから抽出される、
１．から７．のいずれか１つに記載の情報処理装置。
９．  少なくとも１つのコンピュータにより実行される商品画像提示方法において、
商品の基準画像と撮像部で撮像された商品画像との比較結果、及び、該商品画像中の商品の特定を補助するための補助情報を用いて、該商品の候補を示す少なくとも１つの候補商品画像を特定し、
前記特定された少なくとも１つの候補商品画像を表示部に表示させる、
ことを含む商品画像提示方法。
１０．  前記候補商品画像の特定は、
前記比較結果が所定条件を満たす基準画像の商品をそれぞれ示す複数の候補商品画像を特定し、
前記補助情報を用いて、前記特定された複数の候補商品画像の中から少なくとも１つの候補商品画像を絞り込む、
ことを含む９．に記載の商品画像提示方法。
１１．  前記比較結果が所定条件を満たす基準画像の商品をそれぞれ示す複数の候補商品画像に対応する取得手法により、前記商品画像から前記補助情報を取得する、
ことを更に含む９．又は１０．に記載の商品画像提示方法。
１２．  前記商品画像中の商品に関わる人の属性情報を前記補助情報として取得する、
ことを更に含む９．から１１．のいずれか１つに記載の商品画像提示方法。
１３．  商品の識別を確定し、
未だ確定されていない商品の特定を補助するため前記補助情報として、既に確定された商品に関する情報を取得する、
ことを更に含む９．から１２．のいずれか１つに記載の商品画像提示方法。
１４．  集音部から得られる音声信号に対する解析により得られる発声者属性情報を前記補助情報として取得する、
ことを更に含む９．から１３．のいずれか１つに記載の商品画像提示方法。
１５．  前記補助情報は、前記商品画像の取得時を含む所定時間幅に取得される、
９．から１４．のいずれか１つに記載の商品画像提示方法。
１６．  前記補助情報は、前記商品画像中の商品に付された、商品情報ラベル、商品結束部材、装飾部材及び付属品、並びに、前記商品画像中の商品が収容される容器及び包装部材の少なくとも１つから抽出される、
９．から１５．のいずれか１つに記載の商品画像提示方法。
１７．  ９．から１６．のいずれか１つに記載の商品画像提示方法を少なくとも１つのコンピュータに実行させるプログラム。
【符号の説明】
【００８７】
１  ＣＰＵ
２  メモリ
４  通信部
５、３２ａ、４２  表示部
７  撮像部
８  集音部
１０  情報処理装置
１１  特定部
１２  表示処理部
１３  情報取得部
１４  比較処理部
１６  確定部
３０  ＰＯＳレジスタ装置
３１  チェッカ装置
３２  タッチパネルユニット
３４  スキャナ装置
４１  キャッシャ装置
５０  ＰＯＳシステム
５１  サーバ装置
５２  店舗側構成
５４  店舗端末
５６  タッチパネルユニット
５７  撮像部
【図１】
2016024596.tif 000003
【図２】
2016024596.tif 000004
【図３】
2016024596.tif 000005
【図４】
2016024596.tif 000006
【図５】
2016024596.tif 000007
【図６】
2016024596.tif 000008
【図７】
2016024596.tif 000009
【図８】
2016024596.tif 000010
【図９】
2016024596.tif 000011