(57)【要約】【課題】  オブジェクト認識による認識結果を分かり易く操作者に提示する。【解決手段】  実施形態の商品認識装置は、撮像手段、選択手段、制御手段および決定手段を備える。撮像手段は、商品を一定時間間隔で撮像する。選択手段は、複数の商品のそれぞれが登録対象商品と同一商品である度合いをそれぞれ表した複数の信頼度に基づいて、予め定められた数の候補商品を前記複数の商品のなかから選択する。制御手段は、選択手段により選択された候補商品を、候補商品の信頼度に応じた表示形態で表示するべく表示デバイスを制御する。決定手段は、選択手段により選択された候補商品のうち、指定された商品を登録対象商品として決定する。【選択図】      図１
2015041157.tif 000002
【特許請求の範囲】
【請求項１】
商品を一定時間間隔で撮像する撮像手段と、
前記撮像手段にて撮像された商品において、複数の商品のそれぞれが登録対象商品と同一商品である度合いをそれぞれ表した複数の信頼度に基づいて、予め定められた数の候補商品を前記複数の商品のなかから選択する選択手段と、
前記選択手段により選択された前記候補商品を、候補商品の信頼度に応じた表示形態で表示する表示デバイスを制御する制御手段と、
前記選択手段により選択された前記候補商品のうち、指定された商品を前記登録対象商品として決定する決定手段とを具備したことを特徴とする商品認識装置。
【請求項２】
前記制御手段は、前記候補商品の画像に共通の要素の色、前記候補商品の画像に共通の要素の形状、ならびに前記候補商品の画像の大きさのうちの少なくとも１つを変更することによって前記表示形態を変更することを特徴とする請求項１に記載の商品認識装置。
【請求項３】
前記制御手段は、１つの登録対象商品に対して繰り返し求められる信頼度の変化に応じて前記表示画像を更新することを特徴とする請求項１または２に記載の商品認識装置。
【請求項４】
前記選択手段は、１つの登録対象商品に対する複数の信頼度が新たに求められる毎に前記候補商品を選択し直し、
前記制御手段は、前記選択手段が候補商品として選択していた商品を選択しなくなった場合には、当該候補商品に対応する候補表示を、前記信頼度が複数回求められる時間をかけて徐々に見づらくすることを特徴とする請求項３に記載の商品認識装置。
【請求項５】
商品の外観に関する特徴量と、登録対象商品の外観を表した画像から抽出した特徴量とから、前記複数の信頼度を算出する算出手段をさらに備えることを特徴とする請求項１〜４のいずれか一項に記載の商品認識装置。
【請求項６】
表示デバイスとともに商品認識装置に備えられるコンピュータを、
商品を一定時間間隔で撮像する撮像手段と、
前記撮像手段にて撮像された商品において、複数の商品のそれぞれが登録対象商品と同一商品である度合いをそれぞれ表した複数の信頼度に基づいて、予め定められた数の候補商品を前記複数の商品のなかから選択する選択手段と、
前記選択手段により選択された前記候補商品を、候補商品の信頼度に応じた表示形態で表示する前記表示デバイスを制御する制御手段と、
前記選択手段により選択された前記候補商品のうち、指定された商品を前記登録対象商品として決定する決定手段として機能させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、商品認識装置およびその制御プログラムに関する。
【背景技術】
【０００２】
ＰＯＳ（point-of-sale）端末などにおいて売上登録の対象となる商品（登録対象商品）の判定は、一般的にバーコードのような光学式マークの読み取りにより行われている。
【０００３】
一方で、オブジェクト認識技術を利用したオブジェクト認識スキャナも提案されている。オブジェクト認識スキャナは、商品の外観の特徴に基づいて当該商品を認識する。
【０００４】
オブジェクト認識スキャナは、辞書登録されている全ての商品について、それが登録対象商品と同一商品である度合いを表した信頼度をそれぞれ求める。そして、このように求まる信頼度の比較により、登録対象商品の候補と考えられる候補商品を選定する。そして、オブジェクト認識スキャナでの認識結果に基づく売上登録を行う場合には、複数の候補商品の一覧を表した画像を表示し、その一覧のなかからの登録対象商品の指定を操作者に行わせる。
【０００５】
ところでオブジェクト認識スキャナは、操作者が手に持ってかざした登録対象商品をカメラにより撮像した画像についての認識処理を行う。このため、操作者による登録対象商品のカメラへのかざし方によって、認識の結果が異なることがある。
【０００６】
そこでオブジェクト認識スキャナは、例えば数百ミリ秒といった短い間隔で、認識処理を繰り返し実行する。つまり、この短い間隔毎に、認識結果が得られることとなる。
【０００７】
このように短い間隔毎に得られる認識結果をそのまま表示していると、操作者に提示される候補商品が目まぐるしく変化してしまう場合があり、操作性の面で好ましくない。
【０００８】
このような事情から、オブジェクト認識による認識結果を分かり易く操作者に提示することが望まれていた。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１３−８９０８５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明が解決しようとする課題は、オブジェクト認識による認識結果を分かり易く操作者に提示することができる商品認識装置およびその制御プログラムを提供することである。
【課題を解決するための手段】
【００１１】
実施形態の商品認識装置は、撮像手段、選択手段、制御手段および決定手段を備える。撮像手段は、商品を一定時間間隔で撮像する。選択手段は、複数の商品のそれぞれが登録対象商品と同一商品である度合いをそれぞれ表した複数の信頼度に基づいて、予め定められた数の候補商品を前記複数の商品のなかから選択する。制御手段は、選択手段により選択された候補商品を、候補商品の信頼度に応じた表示形態で表示するべく表示デバイスを制御する。決定手段は、選択手段により選択された候補商品のうち、指定された商品を登録対象商品として決定する。
【図面の簡単な説明】
【００１２】
【図１】一実施形態に係る店舗会計システムの外観図。
【図２】図１に示す店舗会計システムにおける電気的要素のブロック図。
【図３】認識結果テーブルの一例を模式的に示す図。
【図４】図２中のタッチパネルの表示画面における表示エリアの定義例を示す図。
【図５】表示状態テーブルの一例を模式的に示す図。
【図６】商品読取処理のフローチャート。
【図７】商品読取処理のフローチャート。
【図８】図２中のタッチパネルの表示画面における表示の遷移の一例を示す図。
【発明を実施するための形態】
【００１３】
以下、商品認識装置の実施形態について、図面を用いて説明する。この実施形態は、スーパーマーケット等の店舗に設けられた会計カウンタに設置される店舗会計システムに適用した場合である。
【００１４】
図１は本実施形態に係る店舗会計システムの外観図である。この店舗会計システムは、商品認識装置１００およびＰＯＳ（point of sales）端末２００を含む。商品認識装置１００は、会計カウンタ３００の上に取り付けられる。ＰＯＳ端末２００は、レジ台４００に載置されたドロワ５００の上に設置される。商品認識装置１００とＰＯＳ端末２００とは、図示しない通信ケーブルにより電気的に接続される。ドロワ５００に代えて、自動釣銭機が設置される場合もある。
【００１５】
商品認識装置１００は、ハウジング１０１、キーボード１０２、タッチパネル１０３、客用ディスプレイ１０４および撮像部１０５を含む。
【００１６】
ハウジング１０１は、平型の箱状をなし、会計カウンタ３００の上に立つ。ハウジング１０１は、上端においてキーボード１０２、タッチパネル１０３、客用ディスプレイ１０４を支持し、内部において撮像部１０５を支持する。ハウジング１０１は、撮像部１０５に対向して読取窓１０１ａを有し、読取窓１０１ａの前に位置する物体（オブジェクト）を読取窓１０１ａを介して撮像部１０５により撮像可能とする。
【００１７】
ＰＯＳ端末２００は、ハウジング２０１、キーボード２０２、オペレータ用ディスプレイ２０３、客用ディスプレイ２０４およびプリンタ２０５を含む。
【００１８】
ハウジング２０１は、キーボード２０２をその一部を外部に露出する状態で支持し、オペレータ用ディスプレイ２０３および客用ディスプレイ２０４を外部に位置する状態で支持し、プリンタ２０５を内部にて支持する。
【００１９】
会計カウンタ３００は、細長い天板３００ａを含む。会計カウンタ３００は、天板の長手方向に沿った顧客通路（図１における奥側）とオペレータスペース（図１における手前側）とを分ける。ハウジング１０１は、天板３００ａの長手方向の略中央に位置し、キーボード１０２、タッチパネル１０３および読取窓１０１ａをそれぞれオペレータスペース側に向けるとともに、客用ディスプレイ１０４を顧客通路側に向ける。天板３００ａの上面は、商品認識装置１００を挟んで顧客移動方向の上流側の領域は、買物客が購入しようとする商品のうちの売上登録が済んでいない商品を置くためのスペースとして使用され、また、下流側の領域は、売上登録が済んだ商品を置くためのスペースとして使用される。  レジ台４００は、顧客通路における顧客の移動方向に対して下流側の会計カウンタ３００の端部に並ぶようにオペレータスペース側に位置する。
【００２０】
図２は図１に示す店舗会計システムにおける電気的要素のブロック図である。なお、図２に示される要素のうちで図１に示されるのと同一の要素には図１と同一の符号を付する。
【００２１】
商品認識装置１００は電気的要素として、キーボード１０２、タッチパネル１０３、客用ディスプレイ１０４のほかに、撮像デバイス１０５ａ、ＣＰＵ（central processing unit）１０６、ＲＯＭ（read-only memory）１０７、ＲＡＭ（random-access memory）１０８、キーボードインタフェース（キーボードＩ／Ｆ）１０９、パネルインタフェース（パネルＩ／Ｆ）１１０、表示インタフェース（表示Ｉ／Ｆ）１１１、撮像インタフェース（撮像Ｉ／Ｆ）１１２、ＰＯＳ端末インタフェース（ＰＯＳ端末Ｉ／Ｆ）１１３およびバスライン１１４を含む。なお、バスライン１１４は、アドレスバスおよびデータバスなどを含み、ＣＰＵ１０６、ＲＯＭ１０７、ＲＡＭ１０８、キーボードインタフェース１０９、パネルインタフェース１１０、表示インタフェース１１１、撮像インタフェース１１２およびＰＯＳ端末インタフェース１１３を互いに接続する。
【００２２】
キーボード１０２は、複数のキースイッチを含み、これらのキースイッチに対するオペレータによる操作の内容を表したコマンドを出力する。
【００２３】
タッチパネル１０３は、例えばＬＣＤ（liquid crystal display）などの表示デバイスと、この表示デバイスの表示画面に重ねて配置された透明な二次元タッチセンサとを含む。タッチパネル１０３は、ＣＰＵ１０６の制御の下に任意の画像を表示デバイスにおいて表示する。タッチパネル１０３は、表示デバイスの表示画面におけるオペレータのタッチ位置を二次元タッチセンサにて検出し、そのタッチ位置を表す座標データを出力する。タッチパネル１０３は、オペレータに対して提示するべき各種の情報を表した画像を表示したり、オペレータの操作を入力するために利用される。
【００２４】
客用ディスプレイ１０４は、ＣＰＵ１０６の制御の下に任意の文字列または画像を表示する。客用ディスプレイ１０４は、客に対して提示するべき各種の文字列や画像を表示するために利用される。客用ディスプレイ１０４としては、例えば蛍光管表示器またはＬＣＤが利用できる。
【００２５】
撮像デバイス１０５ａは、図示しない撮像レンズとともに撮像部１０５に含まれる。撮像デバイス１０５ａは、エリアイメージセンサであるＣＣＤ（charge coupled device）撮像素子とその駆動回路とを含む。撮像レンズは、撮像領域の画像をＣＣＤ撮像素子に結像する。撮像領域とは、読取窓１０１ａから撮像レンズを通してＣＣＤ撮像素子のエリアに結像する領域を指す。撮像デバイス１０５ａは、撮像領域の画像（フレーム画像）を表すフレームデータを一定の時間間隔で取得し、当該フレームデータを出力する。
【００２６】
ＣＰＵ１０６は、コンピュータの中枢部分に相当する。ＣＰＵ１０６は、ＲＯＭ１０７およびＲＡＭ１０８に記憶されたオペレーティングシステム、ミドルウェアおよびアプリケーションプログラムに基づいて、商品認識装置１００としての各種の動作を実現するべく商品認識装置１００の各要素を制御する。
【００２７】
ＲＯＭ１０７は、上記コンピュータの主記憶部分に相当する。ＲＯＭ１０７は、上記のオペレーティングシステムを記憶する。ＲＯＭ１０７は、上記のミドルウェアやアプリケーションプログラムを記憶する場合もある。またＲＯＭ１０７は、ＣＰＵ１０６が各種の処理を行う上で参照するデータを記憶する場合もある。
【００２８】
ＲＡＭ１０８は、上記コンピュータの主記憶部分に相当する。ＲＡＭ１０８は、ＣＰＵ１０６が各種の処理を行う上で参照するデータを記憶する。さらにＲＡＭ１０８は、ＣＰＵ１０６が各種の処理を行う上で一時的に使用するデータを記憶しておく、いわゆるワークエリアとして利用される。ＲＡＭ１０８の記憶領域の一部は、認識結果テーブルおよび表示状態テーブルとして利用される。
【００２９】
認識結果テーブルは、後述するオブジェクト認識処理での認識結果を一時的に記憶するために利用される。
【００３０】
図３は認識結果テーブルの一例を模式的に示す図である。
【００３１】
認識結果テーブルは、０から始まる整数として定めた順位コードを見出しとし、この順位コードに商品名と信頼度（類似度）とを関連付けて記述するデータレコードの集合である。信頼度は、後述するオブジェクト認識処理によって求められ、関連付けられた商品名の商品が登録対象商品と同一商品である度合いを表す。
【００３２】
表示状態テーブルは、タッチパネル１０３の表示画面を分割して定められた複数の表示エリアのそれぞれについての表示状態を管理するために利用される。
【００３３】
例えば、図４に示すようにタッチパネル１０３の表示画面１０３ａを４等分して「エリア０」〜「エリア３」の４つの表示エリアを設定することとする。そしてこれらの表示エリアのそれぞれに、登録対象商品の候補となる候補商品を操作者に認識させるための候補画像を必要に応じて表示する。なお、表示エリアの数やその配置は任意であって良い。
【００３４】
図５は表示状態テーブルの一例を模式的に示す図である。
【００３５】
表示状態テーブルは、表示エリアのそれぞれを区別する０〜３のエリア番号を見出しとし、このエリア番号に、状態コードおよび商品名を関連付けて記述したデータレコードの集合である。エリア番号の変数をＺとし、状態コードの変数をＭとする。状態コードは、関連付けられた表示エリアにおける表示状態を表すものであり、本実施形態においては０，１，２のいずれかをとる。状態コードの０は候補画像を表示していない状態を示し、１は候補画像をフェードアウト表示中である状態を示し、また２は候補画像を通常表示する状態を示す。
【００３６】
ＲＯＭ１０７に記憶されるアプリケーションプログラムには、後述する商品読取処理に関して記述した制御プログラムを含む。なお、商品認識装置１００の譲渡は、一般的に制御プログラムがＲＯＭ１０７に記憶された状態にて行われる。商品認識装置１００にＥＥＰＲＯＭ（electric erasable programmable read-only memory）、ハードディスクドライブ、あるいはＳＳＤ（solid state drive）などの補助記憶デバイスを設けて、この補助記憶デバイスに制御プログラムを記憶した状態にて商品認識装置１００の譲渡がなされても良い。しかし、制御プログラムがＲＯＭ１０７や補助記憶デバイスに記憶されない状態で商品認識装置１００が譲渡されるとともに、磁気ディスク、光磁気ディスク、光ディスク、半導体メモリなどのようなリムーバブルな記録媒体に記録して、あるいはネットワークを介して制御プログラムが譲渡され、この制御プログラムが上記の別途に譲渡された商品認識装置１００の補助記憶デバイスに書き込まれても良い。
【００３７】
キーボードインタフェース１０９は、キーボード１０２とＣＰＵ１０６とのデータの授受を仲介する。キーボードインタフェース１０９としては、例えばＰＳ／２規格またはＵＳＢ（universal serial bus）規格に準拠した周知のデバイスを利用できる。
【００３８】
パネルインタフェース１１０は、タッチパネル１０３とＣＰＵ１０６とのデータおよび映像信号の授受を仲介する。パネルインタフェース１１０は、表示デバイス用のインタフェースとタッチセンサ用のインタフェースとを含む。表示デバイス用のインタフェースとしては、例えばＶＧＡ（video graphics array）規格（アナログＲＧＢ規格）、ＤＶＩ（digital video interface）規格またはＬＶＤＳ（low voltage differential signaling）規格に準拠した周知のデバイスを利用できる。タッチセンサ用のインタフェースとしては、例えばＵＳＢ規格またはＲＳ（recommended standard）−２３２Ｃ規格に準拠した周知のデバイスを利用できる。
【００３９】
表示インタフェース１１１は、客用ディスプレイ１０４とＣＰＵ１０６との映像信号の授受を仲介する。表示インタフェース１１１としては、客用ディスプレイ１０４が蛍光表示器である場合には例えばＵＳＢ規格またはＲＳ−２３２Ｃ規格に準拠した周知のデバイスを利用でき、客用ディスプレイ１０４がＬＣＤである場合には例えばＶＧＡ規格、ＤＶＩ規格またはＬＶＤＳ規格に準拠した周知のデバイスを利用できる。
【００４０】
撮像インタフェース１１２は、撮像デバイス１０５ａとＣＰＵ１０６とのデータの授受を仲介する。撮像インタフェース１１２としては、例えばＵＳＢ規格またはＩＥＥＥ（institute of electrical and electronic engineers）１３９４規格に準拠した周知のデバイスを利用できる。
【００４１】
ＰＯＳ端末インタフェース１１３は、ＰＯＳ端末２００とＣＰＵ１０６とのデータの授受を仲介する。ＰＯＳ端末インタフェース１１３としては、例えばＵＳＢ規格またはＲＳ−２３２Ｃ規格に準拠した周知のデバイスを利用できる。
【００４２】
ＰＯＳ端末２００は電気的要素として、キーボード２０２、オペレータ用ディスプレイ２０３、客用ディスプレイ２０４およびプリンタ２０５のほかに、ＣＰＵ２０６、ＲＯＭ２０７、ＲＡＭ２０８、補助記憶ユニット２０９、キーボードインタフェース２１０、表示インタフェース（表示Ｉ／Ｆ）２１１，２１２、プリンタインタフェース（プリンタＩ／Ｆ）２１３、読取装置インタフェース（読取装置Ｉ／Ｆ）２１４、ドロワインタフェース（ドロワＩ／Ｆ）２１５、通信デバイス２１６およびバスライン２１７を含む。なお、バスライン２１７は、アドレスバスおよびデータバスなどを含み、ＣＰＵ２０６、ＲＯＭ２０７、ＲＡＭ２０８、補助記憶ユニット２０９、キーボードインタフェース２１０、表示インタフェース２１１、表示インタフェース２１２、プリンタインタフェース２１３、読取装置インタフェース２１４、ドロワインタフェース２１５および通信デバイス２１６を互いに接続する。
【００４３】
キーボード２０２は、複数のキースイッチを含み、これらのキースイッチに対するオペレータによる操作の内容を表したコマンドを出力する。
【００４４】
オペレータ用ディスプレイ２０３は、ＣＰＵ２０６の制御の下に任意の画像を表示する。オペレータ用ディスプレイ２０３は、オペレータに対して提示するべき各種の画像を表示するために利用される。オペレータ用ディスプレイ２０３としては、例えばＬＣＤが利用できる。
【００４５】
客用ディスプレイ２０４は、ＣＰＵ２０６の制御の下に任意の文字列または画像を表示する。客用ディスプレイ２０４は、客に対して提示するべき各種の文字列や画像を表示するために利用される。客用ディスプレイ２０４としては、例えば蛍光管表示器またはＬＣＤが利用できる。
【００４６】
プリンタ２０５は、ＣＰＵ２０６の制御の下に、取引の内容を表したレシート画像をレシート用紙に対してプリントする。プリンタ２０５としては、周知の各種方式の既存のプリンタが利用できる。プリンタ２０５は、例えばサーマルプリンタである。
【００４７】
ＣＰＵ２０６は、コンピュータの中枢部分に相当する。ＣＰＵ２０６は、ＲＯＭ２０７およびＲＡＭ２０８に記憶されたオペレーティングシステム、ミドルウェアおよびアプリケーションプログラムに基づいて、ＰＯＳ端末２００としての各種の動作を実現するべく各部を制御する。
【００４８】
ＲＯＭ２０７は、上記コンピュータの主記憶部分に相当する。ＲＯＭ２０７は、上記のオペレーティングシステムを記憶する。ＲＯＭ２０７は、上記のミドルウェアやアプリケーションプログラムを記憶する場合もある。またＲＯＭ２０７は、ＣＰＵ２０６が各種の処理を行う上で参照するデータを記憶する場合もある。
【００４９】
ＲＡＭ２０８は、上記コンピュータの主記憶部分に相当する。ＲＡＭ２０８は、ＣＰＵ２０６が各種の処理を行う上で参照するデータを記憶する。さらにＲＡＭ２０８は、ＣＰＵ２０６が各種の処理を行う上で一時的に使用するデータを記憶しておく、いわゆるワークエリアとして利用される。ＲＡＭ２０８の記憶領域の一部は、売上登録された商品についての情報を管理するための商品リストエリアとして使用される。
【００５０】
補助記憶ユニット２０９は、上記コンピュータの補助記憶部分に相当する。例えばハードディスクドライブやＳＳＤなどであり、ＣＰＵ２０６が各種の処理を行う上で使用するデータや、ＣＰＵ２０６での処理によって生成されたデータを保存する。
【００５１】
キーボードインタフェース２１０は、キーボード２０２とＣＰＵ２０６とのデータの授受を仲介する。キーボードインタフェース２１０としては、例えばＰＳ／２規格またはＵＳＢ規格に準拠した周知のデバイスを利用できる。
【００５２】
表示インタフェース２１１は、オペレータ用ディスプレイ２０３とＣＰＵ１０６との映像信号の授受を仲介する。表示インタフェース２１１としては、例えばＶＧＡ規格、ＤＶＩ規格またはＬＶＤＳ規格に準拠した周知のデバイスを利用できる。
【００５３】
表示インタフェース２１２は、客用ディスプレイ２０４とＣＰＵ２０６との映像信号の授受を仲介する。表示インタフェース２１２としては、客用ディスプレイ２０４が蛍光表示器である場合には例えばＵＳＢ規格またはＲＳ−２３２Ｃ規格に準拠した周知のデバイスを利用でき、客用ディスプレイ２０４がＬＣＤである場合には例えばＶＧＡ規格、ＤＶＩ規格またはＬＶＤＳ規格に準拠した周知のデバイスを利用できる。
【００５４】
プリンタインタフェース２１３は、プリンタ２０５とＣＰＵ２０６とのデータの授受を仲介する。プリンタインタフェース２１３としては、例えばＵＳＢ規格、ＲＳ−２３２Ｃ規格またはＩＥＥＥ１２８４規格（いわゆるセントロニクス仕様）などに準拠した周知のデバイスを利用できる。
【００５５】
読取装置インタフェース２１４は、商品認識装置１００とＣＰＵ２０６とのデータの授受を仲介する。読取装置インタフェース２１４としては、ＰＯＳ端末インタフェース１１３が準拠する規格に準拠した周知のデバイスを利用できる。
【００５６】
ドロワインタフェース２１５は、ＣＰＵ２０６からドロワ開放が指示されたことに応じてドロワ５００を開放させるための駆動信号をドロワ５００に対して出力する。
【００５７】
通信デバイス２１６は、通信ネットワーク６００を介してサーバ７００と通信する。通信デバイス２１６としては、例えば既存のＬＡＮ通信デバイスを適用できる。
【００５８】
次に以上のように構成された店舗会計システムにおける商品認識装置１００の動作について説明する。なお、ここでは商品認識装置１００の動作の一部のみについて説明する。商品認識装置１００と同種の既存の装置が備える機能を商品認識装置１００も備えるが、その機能に関わる動作の説明は省略する。またＰＯＳ端末２００は、それと同種の既存の装置が備える機能を備えるが、その機能に関わる動作の説明は省略する。
【００５９】
図６および図７は商品読取処理のフローチャートである。
【００６０】
商品認識装置１００が起動されると、ＣＰＵ１０６は図６，７に示す商品読取処理を開始する。なお、以下に説明する処理の内容は一例であって、同様な結果を得ることが可能な様々な処理を適宜に利用できる。
【００６１】
Ａｃｔ１においてＣＰＵ１０６は、図５に示すような表示状態テーブルをＲＡＭ１０８に生成する。ただしＣＰＵ１０６は、精製した表示状態テーブルにおける状態コードをすべて０とする。
【００６２】
Ａｃｔ２においてＣＰＵ１０６は、変数Ｙ，Ｚをともに０とする。なお、変数Ｙは順位コードを、変数Ｚはエリア番号をそれぞれ示す。
【００６３】
Ａｃｔ３においてＣＰＵ１０６は、オブジェクト認識処理を実行する。
【００６４】
具体的にはＣＰＵ１０６は、まず、撮像デバイス１０５ａが出力するフレームデータをＲＡＭ１０８に保存する。ＣＰＵ１０６は、ＲＡＭ１０８に保存したフレームデータを解析して、当該フレームデータが表すフレーム画像に含まれる商品が存在することを認識する。言い換えるとＣＰＵ１０６は、フレーム画像中に含まれる商品を検出する。具体的には、ＣＰＵ１０６は先ず、フレーム画像から肌色領域の検出を試みる。肌色領域を検出できた場合、すなわちオペレータの手がフレーム画像に映り込んでいる場合にＣＰＵ１０６は、フレーム画像を二値化した上で、これにより得られた二値化画像から輪郭線などを抽出する。これにより、ＣＰＵ１０６は、オペレータの手が把持していると想定される商品の輪郭を抽出する。このようにしてＣＰＵ１０６は、商品を識別すべきオブジェクトとして検出する。なお、オブジェクトは、次の手法により直接的に検出しても良い。すなわちＣＰＵ１０６はまず、ＲＡＭ１０８に保存したフレームデータを解析して、フレーム画像を二値化した画像から輪郭線等を抽出する。そしてＣＰＵ１０６は、フレーム画像に映し出されているオブジェクトの輪郭抽出を試み、オブジェクトの輪郭が抽出できたならば、物体が存在することを検出する。
【００６５】
次にＣＰＵ１０６は、上記のようにして検出した物体を登録対象商品として、それがどの商品であるかを、オブジェクト認識技術を使用して判断する。
【００６６】
具体的には、ＣＰＵ１０６は、登録対象商品について、商品の形状、表面の色合い、模様、凹凸状況等の特徴量を読み取る。そしてＣＰＵ１０６は、読み取った特徴量と、多数の商品（以下、辞書登録商品と称する）のそれぞれに関して認識辞書ファイルに登録された特徴量とに基づいて、辞書登録商品のそれぞれが登録対象商品と同一商品である度合いを表した信頼度をそれぞれ求める。本実施形態では、信頼度は１から１０までの整数とし、上記の度合いが最大である場合を１０とする。
【００６７】
そしてＣＰＵ１０６は、辞書登録商品を、信頼度に基づいて降順にソートし、図５に示すような認識結果テーブルをＲＡＭ１０８に生成する。認識結果テーブルへは、辞書登録商品の全てを含めても良いし、上位から予め定めた数の辞書登録商品に限って含めても良い。
【００６８】
なお、ここでのオブジェクト認識処理には、一般物体認識（generic object recognition）と呼ばれる技術を利用できる。この一般物体認識の技術については、下記の文献において各種認識技術が解説されており、この技術を上記のオブジェクト認識に利用できる。  
柳井  啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６［平成２２年８月１０日検索］，インターネット＜ URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf ＞
また、画像をオブジェクト毎に領域分割することによって、一般物体認識を行う技術が、下記の文献において解説されており、この技術も上記のオブジェクト認識処理に利用できる。  
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，［平成２２年８月１０日検索］，インターネット＜ URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=repl&type=pdf ＞
Ａｃｔ４においてＣＰＵ１０６は、表示状態テーブルでエリア番号Ｚに関連付けられた状態コードＭが１以上であるか否かを確認する。状態コードＭは、０である場合にのみ、候補画像を表示していない状態を表す。従ってＣＰＵ１０６は、番号Ｚのエリアにおける候補画像の表示が行われているか否かを確認することとなる。そして、番号Ｚのエリアにおける候補画像の表示が行われていないために、Ａｃｔ４でＮＯと判定したならばＣＰＵ１０６は、Ａｃｔ１７へ進む。
【００６９】
Ａｃｔ１７においてＣＰＵ１０６は、変数Ｚの値を１つ増加させた上で、この増加後の変数Ｚが４であるか否かを確認する。そして変数Ｚが４ではないために、Ａｃｔ１７でＮＯと判定したならばＣＰＵ１０６は、Ａｃｔ４に戻る。
【００７０】
さて、初期状態や、ある時間に渡って撮像デバイス１０５ａが撮像した画像に物体が映り込まない状態においては、４つの表示エリアの全てにおいて候補画像の表示が行われない。この状態においては、表示状態テーブルに記述された状態コードは、いずれも０である。従ってこの状態においては、Ａｃｔ４およびＡｃｔ１７が繰り返されて、変数Ｚが４に到達する。そしてこれによってＣＰＵ１０６は、Ａｃｔ１７にてＹＥＳと判定し、図７のＡｃｔ１８へと進む。
【００７１】
Ａｃｔ１８においてＣＰＵ１０６は、変数Ｚを０にクリアする。
【００７２】
Ａｃｔ１９においてＣＰＵ１０６は、表示状態テーブルでエリア番号Ｚに関連付けられた状態コードＭが０であるか否かを確認する。つまりＣＰＵ１０６は、番号Ｚのエリアが非表示状態であるか否かを確認する。そして、該当する状態コードＭが０であるために、Ａｃｔ１９でＹＥＳと判定したならばＣＰＵ１０６は、Ａｃｔ２０へ進む。
【００７３】
Ａｃｔ２０においてＣＰＵ１０６は、認識結果テーブルで順位コードＹに関連付けられた信頼度が４以上であるか否かを確認する。そして該当する信頼度が４以上であるために、Ａｃｔ２０でＹＥＳと判定したならばＣＰＵ１０６は、Ａｃｔ２１へ進む。なお、Ａｃｔ２０でＹＥＳと判定された場合、順位コードＹに関連付けられた商品名の商品が候補商品の１つとなる。
【００７４】
Ａｃｔ２１においてＣＰＵ１０６は、認識結果テーブルで順位コードＹに関連付けられた信頼度、すなわち着目中の候補商品の信頼度が７以上であるか否かを確認する。そして該当する信頼度が７以上であるためにＡｃｔ２１でＹＥＳと判定したならばＣＰＵ１０６は、Ａｃｔ２２へ進む。
【００７５】
Ａｃｔ２２においてＣＰＵ１０６は、着目中の候補商品を操作者に提示するための候補画像を第１の形態にて生成する。第１の形態の候補画像は、白い背景に、商品名を太文字にて表す画像とする。つまりＣＰＵ１０６は、認識結果テーブルで順位コードＹに関連付けられた商品名を太文字にて白い背景中に表した画像を候補画像として生成する。候補画像を生成し終えたならばＣＰＵ１０６は、Ａｃｔ２４へ進む。かくしてＣＰＵ１０６は、制御プログラムの実行により、選択手段および生成手段として機能している。
【００７６】
さて、認識結果テーブルで順位コードＹに関連付けられた信頼度が４，５，６のいずれかである場合、Ａｃｔ２１にてＣＰＵ１０６はＮＯと判定することになる。そしてこの場合にＣＰＵ１０６は、Ａｃｔ２１からＡｃｔ２３へ進む。
【００７７】
Ａｃｔ２３においてＣＰＵ１０６は、着目中の候補商品を操作者に提示するための候補画像を第２の形態にて生成する。第２の形態の候補画像は、白い背景に、商品名を細文字にて表す画像とする。つまりＣＰＵ１０６は、認識結果テーブルで順位コードＹに関連付けられた商品名を細文字にて白い背景中に表した画像を候補画像として生成する。候補画像を生成し終えたならばＣＰＵ１０６は、Ａｃｔ２４へ進む。かくしてＣＰＵ１０６は、制御プログラムの実行により、選択手段および生成手段として機能している。
【００７８】
Ａｃｔ２４においてＣＰＵ１０６は、着目中の候補商品についての候補画像が既表示であるか否かを確認する。具体的には、１以上の状態コードに着目中の候補商品を関連付けて記述したデータレコードが表示状態テーブルに含まれるか否かを確認する。そして該当するデータレコードが見つかったために、Ａｃｔ２４でＹＥＳと判定したならばＣＰＵ１０６は、Ａｃｔ２５へと進む。
【００７９】
Ａｃｔ２５においてＣＰＵ１０６は、着目中の候補商品についての候補画像を既に表示している表示エリアに、Ａｃｔ２２またはＡｃｔ２３で生成した候補画像を表示するようにタッチパネル１０３を制御する。つまりＣＰＵ１０６は、Ａｃｔ２４において見つかったデータレコードのエリア番号で特定される表示エリアにＡｃｔ２２またはＡｃｔ２３で生成した候補画像を表示するようにタッチパネル１０３を制御する。これにより、既に表示されていた着目中の候補商品についての候補画像が同じ候補商品について新たに生成された候補画像に更新される。ただし、既表示の候補画像と新たな候補画像との表示形態が同じ場合もあり、この場合は操作者からの見た目は何等変わらない。かくしてＣＰＵ１０６は、制御プログラムの実行により、制御手段として機能している。
【００８０】
Ａｃｔ２６においてＣＰＵ１０６は、変数Ｍを２とする。そしてこの後にＣＰＵ１０６は、Ａｃｔ２９へ進む。
【００８１】
一方、Ａｃｔ２４にて該当するデータレコードが見つからなかったためにＮＯと判定したならばＣＰＵ１０６は、Ａｃｔ２７へと進む。
【００８２】
Ａｃｔ２７においてＣＰＵ１０６は、番号Ｚのエリアに、Ａｃｔ２２またはＡｃｔ２３で生成した候補画像を表示するようにタッチパネル１０３を制御する。つまりＣＰＵ１０６は、候補画像を表示していなかった表示エリアにＡｃｔ２２またはＡｃｔ２３で生成した候補画像を新たに表示するようにタッチパネル１０３を制御する。かくしてＣＰＵ１０６は、制御プログラムの実行により、制御手段として機能している。
【００８３】
Ａｃｔ２８においてＣＰＵ１０６は、変数Ｍを２とする。そしてこの後にＣＰＵ１０６は、Ａｃｔ２９へ進む。
【００８４】
Ａｃｔ２９においてＣＰＵ１０６は、変数Ｙを１つ増加する。
【００８５】
Ａｃｔ３０においてＣＰＵ１０６は、変数Ｙが認識結果テーブルに含まれた商品の数Ｙmaxと等しいか否かを確認する。そして、変数ＹがＹmaxに到達していないために、Ａｃｔ３０でＮＯと判定したならばＣＰＵ１０６は、Ａｃｔ３１へ進む。
【００８６】
なお、番号Ｚのエリアが既に表示状態であるために状態コードＭが０ではないならば、ＣＰＵ１０６はＡｃｔ１９にてＮＯと判定し、Ａｃｔ２０〜Ａｃｔ３０をパスしてＡｃｔ３１へ進む。つまり、番号Ｚのエリアが既に表示状態であるならば、番号Ｚのエリアには候補画像を新たに表示することができないので、ＣＰＵ１０６はＡｃｔ２０〜Ａｃｔ３０をパスする。
【００８７】
Ａｃｔ３１においてＣＰＵ１０６は、変数Ｚの値を１つ増加させた上で、この増加後の変数Ｚが４であるか否かを確認する。そして変数Ｚが４ではないために、Ａｃｔ３１でＮＯと判定したならばＣＰＵ１０６は、Ａｃｔ１９に戻る。つまりこの場合にＣＰＵ１０６は、次のエリア番号の表示エリアを候補画像の新規の表示エリアとして定めた状態でＡｃｔ１９〜Ａｃｔ３０を上記と同様に実行する。
【００８８】
一方で、増加後の変数Ｚが４であるためにＡｃｔ３１にてＹＥＳと判定したならばＣＰＵ１０６は、Ａｃｔ３２へ進む。
【００８９】
なお、認識結果テーブルで順位コードＹに関連付けられた信頼度が４未満であるためにＡｃｔ２０にてＮＯと判定したならばＣＰＵ１０６は、Ａｃｔ２１〜Ａｃｔ３１をパスしてＡｃｔ３２へ進む。認識結果テーブルで順位コードＹに関連付けられた信頼度が４未満となったならば、それ以降の順位コードに関連付けられた信頼度も４未満であるから、それらの順位コードに関連付けられた商品名の商品は候補商品とはせず、従ってＡｃｔ２１〜Ａｃｔ３１も実行しない。
【００９０】
Ａｃｔ３２においてＣＰＵ１０６は、開始タイミングが到来したか否かを確認する。開始タイミングは、オブジェクト認識処理を次に開始すべきタイミングである。つまり本実施形態では、例えば数百ミリ秒程度に予め定めた時間の間隔でオブジェクト認識処理を繰り返し実行することとし、例えば前回にＡｃｔ３を開始した時刻から上記の時間が経過した時刻として開始タイミングが定まる。開始タイミングが到来していないためにＮＯと判定したならばＣＰＵ１０６は、Ａｃｔ３２に戻る。かくしてＣＰＵ１０６は、開始タイミングが到来するのを待ち受ける。そして開始タイミングが到来したためにＹＥＳと判定したならばＣＰＵ１０６は、Ａｃｔ３２からＡｃｔ２へと戻り、Ａｃｔ２以降の処理を前述したのと同様に実行する。
【００９１】
図８はタッチパネル１０３の表示画面１０３ａにおける表示の遷移の一例を示す図である。なお、図８はあくまでも商品読取処理の結果を顕著に表したものであり、実際のオブジェクト認識の結果の変遷に準じたものではない。
【００９２】
まず、表示１１においては、４つの表示エリアのいずれもが非表示状態である状態を示す。なお、図８における太線のハッチングは、黒地の表示を表す。
【００９３】
１回目のオブジェクト認識処理において、信頼度が４以上である辞書登録商品として、「梨（幸水）」および「りんご（王林）」の２つが見つかり、それらの信頼度が７以上および７未満であったとする。この場合にＣＰＵ１０６は、これらを候補商品としてそれぞれ表す２つの候補画像をエリア０，１に表示するべく、表示１２に更新する。エリア０の候補画像は第１の形態であり、エリア１の候補画像は第２の形態である。「梨（幸水）」が太文字であり、「りんご（王林）」が細文字であるから、信頼度がより高い「梨（幸水）」が、「りんご（王林）」よりも強調して表される。エリア２，３は、非表示状態のままである。図８は、候補商品を、商品名にて表示しているが、これに限らず、商品のイラスト画像や、商品の写真を、商品名と共に表示するようにしてもよい。
【００９４】
さて、番号Ｚのエリアに候補画像が表示された状態においては、表示状態テーブルでエリア番号Ｚに関連付けられた状態コードＭが１以上であるため、その状態でのＡｃｔ３（図６参照）におけるオブジェクト認識処理の終了後におけるＡｃｔ４においては、ＣＰＵ１０６はＹＥＳと判定することになる。そしてこの場合にＣＰＵ１０６は、Ａｃｔ５へと進む。
【００９５】
Ａｃｔ５においてＣＰＵ１０６は、表示状態テーブルでエリア番号Ｚに関連付けられた商品名について認識結果テーブルに記述された信頼度が７以上であるか否かを確認する。そして該当する信頼度が７以上であるために、Ａｃｔ５でＹＥＳと判定したならばＣＰＵ１０６は、Ａｃｔ６へ進む。
【００９６】
Ａｃｔ６においてＣＰＵ１０６は、表示状態テーブルでエリア番号Ｚに関連付けられた商品名の商品を候補商品として操作者に提示するための候補画像を第１の形態にて生成する。かくしてＣＰＵ１０６は、制御プログラムの実行により、選択手段および生成手段として機能している。
【００９７】
Ａｃｔ７においてＣＰＵ１０６は、エリア番号Ｚに関連付けられた状態コードＭを２とする。そしてこの後にＣＰＵ１０６は、Ａｃｔ１６へ進む。
【００９８】
一方、該当する信頼度が７未満であるためにＡｃｔ５にてＮＯと判定したならばＣＰＵ１０６は、Ａｃｔ８へ進む。
【００９９】
Ａｃｔ８においてＣＰＵ１０６は、表示状態テーブルでエリア番号Ｚに関連付けられた商品名について認識結果テーブルに記述された信頼度が４以上であるか否かを確認する。そして該当する信頼度が４，５，６のいずれかであるために、Ａｃｔ８でＹＥＳと判定したならばＣＰＵ１０６は、Ａｃｔ９へ進む。
【０１００】
Ａｃｔ９においてＣＰＵ１０６は、表示状態テーブルでエリア番号Ｚに関連付けられた商品名の商品を候補商品として操作者に提示するための候補画像を第２の形態にて生成する。かくしてＣＰＵ１０６は、制御プログラムの実行により、選択手段および生成手段として機能している。
【０１０１】
Ａｃｔ１０においてＣＰＵ１０６は、エリア番号Ｚに関連付けられた状態コードＭを２とする。そしてこの後にＣＰＵ１０６は、Ａｃｔ１６へ進む。
【０１０２】
ところで、該当する信頼度が４未満であるためにＡｃｔ８にてＮＯと判定したならばＣＰＵ１０６は、Ａｃｔ１１へ進む。
【０１０３】
Ａｃｔ１１においてＣＰＵ１０６は、変数Ｍが２であるか否かを確認する。そして変数Ｍが２であるためにＹＥＳと判定したならばＣＰＵ１０６は、Ａｃｔ１２へ進む。
【０１０４】
Ａｃｔ１２においてＣＰＵ１０６は、表示状態テーブルでエリア番号Ｚに関連付けられた商品名の商品を候補商品として操作者に提示するための候補画像を第３の形態にて生成する。第３の形態の候補画像は、グレーの背景に、商品名を細文字にて表す画像とする。つまりＣＰＵ１０６は、表示状態テーブルでエリア番号Ｚに関連付けられた商品名を細文字にてグレーの背景中に表した画像を候補画像として生成する。
【０１０５】
Ａｃｔ１３においてＣＰＵ１０６は、エリア番号Ｚに関連付けられた状態コードＭを１とする。そしてこの後にＣＰＵ１０６は、Ａｃｔ１６へ進む。
【０１０６】
さて、変数Ｍが１または０であるためにＡｃｔ１１にてＮＯと判定したならばＣＰＵ１０６は、Ａｃｔ１４へ進む。
【０１０７】
Ａｃｔ１４においてＣＰＵ１０６は、候補画像を第４の形態にて生成する。第４の形態の候補画像は、黒い背景のみであり、商品名を表さない画像とする。従って第４の形態の候補画像は、便宜的に候補画像と称しているが、候補商品を操作者に提示するものではなく、第１〜第３の候補画像とは異なる。
【０１０８】
Ａｃｔ１５においてＣＰＵ１０６は、エリア番号Ｚに関連付けられた状態コードＭを０とする。そしてこの後にＣＰＵ１０６は、Ａｃｔ１６へ進む。
【０１０９】
Ａｃｔ１６においてＣＰＵ１０６は、Ａｃｔ６，９，１２，１４のいずれかにおいて生成した候補画像を番号Ｚのエリアに配置する。そしてＣＰＵ１０６は、これにより更新された表示画像を表示するようにタッチパネル１０３を制御する。かくして、表示状態テーブルでエリア番号Ｚに関連付けられた商品名の商品に対して新たに求められた信頼度が７以上のままであるならば、番号Ｚのエリアにおける候補画像は変更されない。同信頼度が７以上から４，５，６のいずれかに低下した場合には、番号Ｚのエリアにおける候補画像の表示形態が第１の形態から第２の形態に変更される。同信頼度が４以上から４未満まで低下した場合には、番号Ｚのエリアにおける候補画像の表示形態が第１または第２の形態から第３の形態に変更される。同信頼度が４未満であり、かつ番号Ｚのエリアにおける候補画像の表示形態が第３の形態である場合には、番号Ｚのエリアにおける候補画像の表示形態が第４の形態に変更される。そして、エリア番号Ｚに関連付けられた状態コードＭは、番号Ｚのエリアの表示形態が第１または第２の形態である場合に２、第３の形態である場合に１、そして第４の形態である場合に０とされる。かくしてＣＰＵ１０６は、制御プログラムの実行により、制御手段として機能している。
【０１１０】
Ａｃｔ１６を終えたならば、ＣＰＵ１０６はＡｃｔ１７へ進み、Ａｃｔ１７以降の処理を上述と同様にして実行する。
【０１１１】
上記を踏まえて、図８に示した表示の遷移の説明を続ける。
【０１１２】
２回目の認識処理においては、「梨（幸水）」および「りんご（王林）」の信頼度がいずれも４未満に下がり、代わりに信頼度が４以上である辞書登録商品として、「リンゴ（ふじ）」および「りんご（紅玉）」の２つが見つかり、それらの信頼度がいずれも７以上であったとする。この場合にＣＰＵ１０６は、表示１３に変更する。つまりＣＰＵ１０６は、エリア０およびエリア１は、いずれも「梨（幸水）」および「りんご（王林）」の候補画像をそれぞれ配置したままとするが、その表示形態はいずれも第３の形態に変更する。なお、図８において、細線のハッチングはグレーの背景を表す。またＣＰＵ１０６は、エリア２，３は非表示状態であったために、このエリア２，３に、新たに見つかった「リンゴ（ふじ）」および「りんご（紅玉）」の候補画像をそれぞれ配置する。「リンゴ（ふじ）」および「りんご（紅玉）」の信頼度はいずれも７以上であるので、それらの候補画像はいずれも第１の形態である。表示１３においては、信頼度がいずれも４未満である「梨（幸水）」および「りんご（王林）」の候補画像が残るものの、その表示形態は第３の形態であって、信頼度が７以上である「リンゴ（ふじ）」および「りんご（紅玉）」の候補画像とは明確に区別される。
【０１１３】
３回目の認識処理においては、「りんご（紅玉）」の信頼度が７以上のままであり、その他の辞書登録商品の信頼度はいずれも４未満であったとする。この場合にＣＰＵ１０６は、表示１４に変更する。つまりＣＰＵ１０６は、第３の形態であった「梨（幸水）」および「りんご（王林）」の候補画像を、いずれも第４の形態に変更し、エリア０，１を非表示状態とする。またＣＰＵ１０６は、エリア２は、「りんご（ふじ）」の候補画像を配置したままとするが、その表示形態は第３の形態に変更する。なおＣＰＵ１０６は、エリア３は「りんご（紅玉）」の候補画像を配置したままとし、かつその表示形態も変更しない。
【０１１４】
このようにして、信頼度として一旦は４以上が求められて候補商品となった商品の候補画像は、その信頼度が４以下となると認識処理の２周期分の時間をかけて徐々に見づらくする（フェードアウト）。
【０１１５】
４回目の認識処理においては、「りんご（紅玉）」の信頼度が７以上のままであり、「りんご（むつ）の信頼度が７以上まで上昇し、「りんご（王林）」の信頼度が４，５，６のいずれかまで上昇し、「りんご（ふじ）」の信頼度が４未満のままであったとする。この場合にＣＰＵ１０６は、表示１５に変更する。つまりＣＰＵ１０６は、第３の形態であった「りんご（ふじ）」の候補画像を、第４の形態に変更し、エリア２を非表示状態とする。またＣＰＵ１０６は、「りんご（むつ）」を第１の形態で表す候補画像をエリア０に、かつ「りんご（王林）」を第２の形態で表す候補画像をエリア１にそれぞれ配置する。ＣＰＵ１０６は、エリア３は「りんご（紅玉）」の候補画像を配置したままとし、かつその表示形態も変更しない。
【０１１６】
５回目の認識処理においては、「りんご（紅玉）」の信頼度が７以上のままであり、「りんご（むつ）および「りんご（王林）」の信頼度が４未満まで低下し、その他の辞書登録商品についての信頼度がいずれも４未満のままであったとする。この場合にＣＰＵ１０６は、表示１６に変更する。つまりＣＰＵ１０６は、エリア０およびエリア１は、いずれも「りんご（むつ）」および「りんご（王林）」の候補画像をそれぞれ配置したままとするが、その表示形態はいずれも第３の形態に変更する。ＣＰＵ１０６は、エリア３は「りんご（紅玉）」の候補画像を配置したままとし、かつその表示形態も変更しない。エリア２は新たな候補画像を表示することが可能な状態であるが、エリア３にて候補画像が既表示である「りんご（紅玉）」以外には候補商品が存在しないので、ＣＰＵ１０６はエリア３を非表示状態のままとする。
【０１１７】
６回目の認識処理においては、「りんご（紅玉）」の信頼度が７以上のままであり、その他の辞書登録商品についての信頼度が全て４未満のままであったとする。この場合にＣＰＵ１０６は、表示１７に変更する。つまりＣＰＵ１０６は、第３の形態であった「りんご（むつ）」および「りんご（王林）」のそれぞれの候補画像を、いずれも第４の形態に変更し、エリア０，１をそれぞれ非表示状態とする。エリア３は「りんご（紅玉）」の候補画像を配置したままとし、かつその表示形態も変更しない。エリア２は新たな候補画像を表示することが可能な状態であるが、エリア３にて候補画像が既表示である「りんご（紅玉）」以外には候補商品が存在しないので、ＣＰＵ１０６はエリア３を非表示状態のままとする。
【０１１８】
なお、ＣＰＵ１０６は、商品読取処理とは別タスクの処理によって候補商品のうちから登録対象商品を決定する。つまりＣＰＵ１０６は、タッチパネル１０３を操作者がタッチした場合に、そのタッチの対象となった表示エリアについて表示状態テーブルにて状態コードとして１以上が記述されているならば、同表示エリアについて表示状態テーブルに記述された商品名の商品を登録対象商品として決定する。つまり、第１〜第３の形態の候補画像が表示された表示エリアが操作者によりタッチされたのならば、そのタッチされた候補画像の表示形態に拘わらずに、候補画像により提示された商品を登録対象商品として決定する。かくしてＣＰＵ１０６は、制御プログラムの実行により、決定手段として機能している。
【０１１９】
このようにして登録対象商品を決定したならばＣＰＵ１０６は、この登録対象商品をＰＯＳ端末２００へと通知するための通知情報をＰＯＳ端末インタフェース１１３から送出する。そうすると、この通知情報は読取装置インタフェース２１４により受領されて、ＲＡＭ２０８へと保存される。そしてＣＰＵ２０６は、このようにしてＲＡＭ２０８に保存された通知情報を利用して、売上登録のための処理を実行する。この処理は、周知の処理であって良い。
【０１２０】
かくして、信頼度が４以上である辞書登録商品のうちで信頼度が大きいものから最大４つが候補商品とされて、それを提示するための候補画像が４つの表示エリアに適宜に表示される。そして、繰り返し実行されるオブジェクト認識処理により各商品の信頼度に変化が生じた場合でも、既表示の候補画像に関する商品が候補商品であり続けるならば、その候補画像を表示する表示エリアは変更しない。そして、新たに候補商品とするべき商品が存在する場合には、非表示状態である表示エリアが存在する場合にのみ、その商品が候補商品とされ、この候補商品に関する候補画像は上記の非表示状態であった表示エリアに配置される。従って、１つの表示エリアに配置ずみの候補画像が、別の商品に関する候補画像に即座に置き換えられてしまうことがない。
【０１２１】
さて、操作者が、タッチパネル１０３での表示画面に示された候補画像に登録対象商品に関するものが存在することを認識してから、該当する候補画像をタッチするまでにはある程度の時間を要する。このため、１つの表示エリアに配置ずみの候補画像が、別の商品に関する候補画像に即座に置き換えられてしまうと、操作者が意図しない商品が登録対象商品として決定されてしまう恐れがある。しかしながら商品認識装置１００によれば、このような誤操作を防止することができる。
【０１２２】
ただし、以上のような表示においては、表示順序によって信頼度の高さの違いを操作者に認識させることができない。しかしながら商品認識装置１００によれば、候補画像の表示形態が信頼度の大きさに応じて第１または第２の形態とされるので、信頼度の大きさを操作者に認識させることが可能である。
【０１２３】
ところで、表示エリアを非表示状態とする期間を挟んで異なる商品に関する候補画像を表示すれば、操作者が意図しない商品が登録対象商品として決定されてしまうことを防止することは可能である。しかしながら候補画像の表示を瞬時に止めてしまうと、前述したような操作のタイムラグにより、操作者が意図する商品を登録対象商品として決定できなくなってしまう恐れがある。
【０１２４】
しかしながら、商品認識装置１００によれば、第１または第２の形態で示されていた候補画像に関する商品の信頼度が４未満に低下した場合には、該当する候補画像は第３の形態とされる。このように第３の形態とされた候補画像に関する商品は、信頼度が４未満であるから、本来的には候補商品ではない。しかしながら、第３の形態で表示中である候補画像がタッチされた場合にも、第１または第２の形態で表示中の候補画像がタッチされた場合と同様に、その候補画像に関する商品を登録対象商品として決定する。つまり、フェードアウトの途上にある候補画像がタッチされた場合でも、その候補画像に関する商品を登録対象商品として決定する。
【０１２５】
さて、数百ミリ秒の間隔で実行するオブジェクト認識処理の結果によりタッチパネル１０３での表示画面を完全に置き換えていたのでは、前述したような操作のタイムラグにより、操作者の意思に反して登録対象商品が決定されてしまうおそれがある。
【０１２６】
しかしながら商品認識装置１００によれば、上記のように、フェードアウト表示を行いつつ、フェードアウトの途上にある候補画像がタッチされた場合でも、その候補画像に関する商品を登録対象商品として決定するので、上記のような操作のタイムラグによる誤操作が生じることを防止できる。
【０１２７】
この実施形態は、次のような種々の変形実施が可能である。
【０１２８】
オブジェクト認識処理を行う別の装置で得られた認識結果に基づいて前述したような表示および登録対象商品の決定を行う装置として実現することも可能である。
【０１２９】
前記実施形態では、複数の候補画像に共通の要素である背景の色と、複数の候補画像に共通の要素である文字の形状（線の太さ）とを変更することによって表示形態を変更している。しかしながら、その他に、文字の線の色、候補画像の枠線の色、文字のフォント、文字の大きさ、候補画像の枠線の形状、あるいは候補画像の大きさなどを変更することによって表示形態を変更しても良い。またこれらのうちの複数をそれぞれ変更することによって表示形態を変更しても良い。
【０１３０】
前記実施形態では、説明の簡略化のためにオブジェクト認識処理の２周期分の時間をかけてフェードアウトする例を挙げた。しかしながら、例えばオブジェクト認識処理を３００ミリ秒の間隔で行うとするならば、６００ミリ秒でフェードアウトが完了してしまうことになり、操作者の操作のタイムラグを許容する幅が小さくなってしまう。そこで、第３の形態に代えて背景色の濃さが段階的に異なる複数の形態を用意しておき、これらの形態を順次に適用することによってより長い時間でフェードアウトさせても良い。一例としては、オブジェクト認識処理の間隔を３００ミリ秒とするとともに、フェードアウト用の表示形態を６段階用意しておき、およそ２秒をかけて非表示状態まで移行させることが考えられる。なお、第３の形態を複数回連続で適用することによってフェードアウトの期間を延長することもできる。
【０１３１】
商品認識装置１００とＰＯＳ端末２００とを一体化した装置として実現することも可能である。上述では、商品認識装置１００のＣＰＵ１０６が、コンピュータの中枢部分に相当し、各種制御を行うと説明しているが、これに限らず、ＰＯＳ端末２００のＣＰＵ２０６が、コンピュータの中枢部分に相当し、各種制御を行う構成であっても良い。
【０１３２】
候補画像のフェードアウト表示は行わなくても良い。
【０１３３】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１３４】
１００…商品認識装置、１０１…ハウジング、１０１ａ…読取窓、１０２…キーボード、１０３…タッチパネル、１０３ａ…表示画面、１０４…客用ディスプレイ、１０５ａ…撮像デバイス、１０５…撮像部、１０６…ＣＰＵ、１０７…ＲＯＭ、１０８…ＲＡＭ、２００…ＰＯＳ端末。
【図１】
2015041157.tif 000003
【図２】
2015041157.tif 000004
【図３】
2015041157.tif 000005
【図４】
2015041157.tif 000006
【図５】
2015041157.tif 000007
【図６】
2015041157.tif 000008
【図７】
2015041157.tif 000009
【図８】
2015041157.tif 000010