(57)【特許請求の範囲】
【請求項１】
物体の識別情報に関連付けて物体を認識する一般物体認識に用いる特徴量である照合用データを記憶する辞書と、
撮像手段が撮像した物体の画像を取り込む取込手段と、
前記撮像手段で撮像された前記物体の画像から抽出される当該物体の特徴量と、前記辞書に記憶された各物体の照合用データとが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、
前記類似度算出手段によって算出された類似度について段階的に設けられた複数の条件に応じて、前記撮像手段で撮像された前記物体の確定あるいは当該物体の候補の選定を行う判定手段と、
マイクを介して入力された音声信号から生成された音声認識結果と各種の単語を記憶する言語辞書との比較を行うことによりオペレータの発話内容を認識する音声認識手段と、
を備え、
前記類似度算出手段は、前記音声認識手段でオペレータの発話内容が認識されている場合には、オペレータの発話内容に応じて前記辞書に記憶されている物体の照合用データを絞りこむ、
ことを特徴とする情報処理装置。
【請求項２】
前記判定手段は、前記音声認識手段で認識されたオペレータの発話内容に応じて前記物体の候補の中から前記撮像手段で撮像された前記物体を確定する、
ことを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記判定手段は、前記物体の確定に確認を要する場合に、当該確認を前記音声認識手段で認識されたオペレータの発話内容に応じて行う、
ことを特徴とする請求項１記載の情報処理装置。
【請求項４】
前記音声認識手段は、前記音声信号からオペレータの声の認識を行う話者認識を行う、
ことを特徴とする請求項１ないし３の何れか一記載の情報処理装置。
【請求項５】
前記音声認識手段が用いる前記言語辞書は、前記単語に関連するものとして当該単語の前方一致検索に用いられる語も記憶する、
ことを特徴とする請求項１ないし４のいずれか一記載の情報処理装置。
【請求項６】
コンピュータを、
撮像手段が撮像した物体の画像を取り込む取込手段と、
前記撮像手段で撮像された前記物体の画像から抽出される当該物体の特徴量と、物体の識別情報に関連付けて物体を認識する一般物体認識に用いる特徴量である照合用データを記憶する辞書に記憶された各物体の照合用データとが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、
前記類似度算出手段によって算出された類似度について段階的に設けられた複数の条件に応じて、前記撮像手段で撮像された前記物体の確定あるいは当該物体の候補の選定を行う判定手段と、
マイクを介して入力された音声信号から生成された音声認識結果と各種の単語を記憶する言語辞書との比較を行うことによりオペレータの発話内容を認識する音声認識手段と、
として機能させ、
前記類似度算出手段は、前記音声認識手段でオペレータの発話内容が認識されている場合には、オペレータの発話内容に応じて前記辞書に記憶されている物体の照合用データを絞りこむ、
ためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、情報処理装置、店舗システム及びプログラムに関する。
【背景技術】
【０００２】
従来、イメージセンサデバイスにより撮像した画像データから抽出した対象物品の特徴量と、予め用意された辞書における照合用のデータ（特徴量）とを比較した類似度に応じて当該物品の種別等を認識（検出）する一般物体認識（オブジェクト認識）に係る技術が存在している。また、この一般物体認識に係る技術を、青果品等の商品の識別に用いて、識別された商品を売上登録する店舗システムが提案されている。
【０００３】
加えて、上記した一般物体認識に係る技術では、物品のカテゴリ（商品）のみならず、品種まで認識（検出）するようにしている。
【０００４】
上記した一般物体認識に用いる辞書においては、予め照合用のデータ（特徴量）が登録されている。
【０００５】
しかしながら、一般物体認識（オブジェクト認識）による対象の特定は、膨大な辞書データや画像処理をもってしても確実性に問題があり、誤認識が発生してしまうという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明が解決しようとする課題は、一般物体認識における誤認識の改善と認識速度の改善を行うことができる情報処理装置、店舗システム及びプログラムを提供することである。
【課題を解決するための手段】
【０００７】
実施形態の情報処理装置は、物体の識別情報に関連付けて物体を認識する一般物体認識に用いる特徴量である照合用データを記憶する辞書と、撮像手段が撮像した物体の画像を取り込む取込手段と、前記撮像手段で撮像された前記物体の画像から抽出される当該物体の特徴量と、前記辞書に記憶された各物体の照合用データとが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、前記類似度算出手段によって算出された類似度について段階的に設けられた複数の条件に応じて、前記撮像手段で撮像された前記物体の確定あるいは当該物体の候補の選定を行う判定手段と、マイクを介して入力された音声信号から生成された音声認識結果と各種の単語を記憶する言語辞書との比較を行うことによりオペレータの発話内容を認識する音声認識手段と、を備える。そして、前記類似度算出手段は、前記音声認識手段でオペレータの発話内容が認識されている場合には、オペレータの発話内容に応じて前記辞書に記憶されている物体の照合用データを絞りこむ。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施形態のチェックアウトシステムの一例を示す斜視図である。
【図２】図２は、ＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。
【図３】図３は、ＰＬＵファイルのデータ構成を例示する概念図である。
【図４】図４は、ＰＯＳ端末の機能構成を示すブロック図である。
【図５】図５は、フレーム画像の一例を示す図である。
【図６】図６は、確定画面の一例を示す図である。
【図７】図７は、確認画面の一例を示す図である。
【図８】図８は、商品候補のイラスト画像が表示された画面例を示す図である。
【図９】図９は、商品候補の品種選択画面の例を示す図である。
【図１０】図１０は、ＰＯＳ端末が実行する商品識別処理の手順を示すフローチャートである。
【図１１】図１１は、セルフＰＯＳの構成を示す外観斜視図である。
【図１２】図１２は、セルフＰＯＳのハードウェア構成を示すブロック図である。
【発明を実施するための形態】
【０００９】
以下では、チェックアウトシステムを例に本実施形態に係る情報処理装置、店舗システム及びプログラムについて、図面を参照して説明する。店舗システムは、一取引に係る商品の登録、精算を行うＰＯＳ端末を備えるチェックアウトシステム（ＰＯＳシステム）等である。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。
【００１０】
図１は、チェックアウトシステム１の一例を示す斜視図である。図１に示すように、チェックアウトシステム１は、商品に関する情報を読み取る商品読取装置１０１と、一取引に係る商品の登録、精算を行うＰＯＳ端末１１とを備える。以下では、ＰＯＳ端末１１を本実施形態にかかる情報処理装置として適用する例について説明する。
【００１１】
ＰＯＳ端末１１は、チェックアウト台４１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりも更に奥側には、顧客用表示デバイス２４が回転可能に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。
【００１２】
ＰＯＳ端末１１が載置されているチェックアウト台４１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受け面１５２が形成されている。荷受け面１５２には、商品Ｇを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に載置される第２の買物カゴ１５３ｂとに分けて考えることができる。なお、買物カゴ１５３は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。また、買物カゴ１５３（第２の買物カゴ１５３ｂ）は、いわゆるカゴ形状のものに限らず、箱状や袋状等であってもよい。
【００１３】
カウンタ台１５１の荷受け面１５２には、ＰＯＳ端末１１とデータ送受信可能に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示部である表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。
【００１４】
また、表示・操作部１０４には、マイク１１１が設けられている。マイク１１１は、商品読取装置１０１の周囲の音や人物の発する声を集音する。
【００１５】
このような商品読取装置１０１は、商品読取部１１０（図２参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）を配置している。
【００１６】
顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引に係る商品Ｇが収納されている。第１の買物カゴ１５３ａ内の商品Ｇは、商品読取装置１０１を操作するオペレータにより第２の買物カゴ１５３ｂに移動される。この移動過程で、商品Ｇが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３内に配置された撮像部１６４（図２参照）は商品Ｇを撮像する。
【００１７】
商品読取装置１０１では、撮像部１６４により撮像された画像に含まれる商品Ｇが、後述するＰＬＵファイルＦ１（図３参照）に登録されたどの商品に対応するかを指定させるための画面を表示・操作部１０４に表示し、指定された商品の商品ＩＤをＰＯＳ端末１１に通知する。ＰＯＳ端末１１では、商品読取装置１０１から通知される商品ＩＤに基づき、当該商品ＩＤに対応する商品の商品分類、商品名、単価等の売上登録に係る情報を、売上マスタファイル（図示しない）等に記録して売上登録を行う。
【００１８】
図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central  Processing  Unit）６１に、ＲＯＭ（Read  Only  Memory）６２とＲＡＭ（Random  Access  Memory）６３とがバス接続されて構成されている。
【００１９】
ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。
【００２０】
キーボード２２は、「１」、「２」、「３」・・・等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。
【００２１】
ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard  Disk  Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部または一部がＲＡＭ６３にコピーされてＣＰＵ６１により実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲ１である。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１である。
【００２２】
ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ｇの各々について、商品Ｇの売上登録に係る情報を格納する商品ファイルである。以下の説明では、ＰＬＵファイルＦ１を辞書として用いるが、辞書はＰＬＵファイルＦ１と異なるファイルであっても良い。辞書は、撮像した画像データから抽出した商品の照合用データ（特徴量）を記憶する。辞書はＰＬＵファイルＦ１と異なるファイルである場合、辞書に記憶される照合用データ（特徴量）と、ＰＬＵファイルＦ１の情報（識別情報）は紐付けられる。特徴量は、商品の標準的な形状、表面の色合い、模様、凹凸状況等の外観の特徴をパラメータ化したものである。
【００２３】
図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、商品Ｇごとに、ユニークに割り当てられた識別情報である商品ＩＤ、商品Ｇが属する商品分類、商品名、単価等の商品に関する情報と、その商品を示すイラスト画像と、撮像した商品画像から読み取られる色合いや表面の凹凸状況等の特徴量、テキストデータとを、その商品Ｇの商品情報として格納するファイルである。尚、特徴量は、後述する類似度の判定に用いられる照合用のデータである。また、テキストデータは、後述するオペレータの発話内容との比較に用いられるものであって、品種名「ふじ」の商品であれば、「クダモノ」「リンゴ」「フジ」のテキストデータが含まれる。なお、ＰＬＵファイルＦ１は、後述する接続インターフェース６５を介し、商品読取装置１０１が読み出し可能に構成されている。
【００２４】
なお、物品のカテゴリ（商品）のみならず品種まで認識（検出）する必要がある場合においては、ＰＬＵファイルＦ１は、図３に示すように、品種ごとに商品名や単価等の商品に関する情報と、その商品を示すイラスト画像と、特徴量とを管理する。例えば、物品のカテゴリ（商品）が「リンゴ」の場合において、「ふじ」「ジョナゴールド」「つがる」「紅玉」のような品種ごとに商品名や単価等の商品に関する情報と、その商品を示すイラスト画像と、特徴量とを管理する。また、候補の表示にイラスト画像を用いず、文字で候補を表示する場合は、イラスト画像をＰＬＵファイルＦ１に格納しなくてもよい。
【００２５】
図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納されている。
【００２６】
更に、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシート等に印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。
【００２７】
商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介して、商品読取部１１０及びＰＯＳ端末１１に接続されている。表示・操作部１０４は、商品読取部１１０のＣＰＵ１６１、ＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。
【００２８】
撮像部１６４は、カラーＣＣＤイメージセンサやカラーＣＭＯＳイメージセンサ等であり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う撮像手段である。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ１６３に保存される。
【００２９】
音声出力部１６５は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音や音声による報知を行う。
【００３０】
更に、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。また、ＣＰＵ１６１は、接続インターフェース１７５を介して、表示・操作部１０４との間でデータ送受信を行う。
【００３１】
次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能構成について、図４を参照して説明する。
【００３２】
図４は、ＰＯＳ端末１１の機能構成を示すブロック図である。図４に示すように、ＰＯＳ端末１１のＣＰＵ６１は、商品販売データ処理用のプログラムＰＲ１を実行することにより、音声認識部５０、画像取込部５１、商品検出部５２、類似度算出部５３、類似度判定部５４、商品提示部５５、入力受付部５７、情報入力部５８、売上登録処理手段である売上登録部５９としての機能を備える。
【００３３】
（商品登録処理および売上登録処理）
次に、ＰＯＳ端末１１の画像取込部５１、商品検出部５２、類似度算出部５３、類似度判定部５４、商品提示部５５、入力受付部５７、情報入力部５８による一般物体認識（オブジェクト認識）に応じた商品登録処理、および売上登録部５９による売上登録処理について説明する。
【００３４】
画像取込部５１は、取込手段として機能するものであって、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。画像取込部５１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像を順次取り込む。画像取込部５１によるフレーム画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。
【００３５】
図５は、画像取込部５１によって取り込まれたフレーム画像の一例を示す図である。図５に示すように、オペレータが読取窓１０３に商品Ｇをかざすと、撮像部１６４の読取領域Ｒには商品Ｇの全部または一部が撮影されて商品読取装置１０１の表示デバイス１０６に表示される。
【００３６】
商品検出部５２は、画像取込部５１により取り込まれたフレーム画像に含まれる商品Ｇの全部または一部を、パターンマッチング技術等を用いて検出し、撮像された商品の特徴量を抽出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線等を抽出する。次いで、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して、売上登録のために読取窓１０３に向けられた商品を検出する。
【００３７】
なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、オペレータの手が検出された場合は、この肌色領域の近傍において上述した輪郭線の検出を行うことで、オペレータの手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、手の輪郭の近傍にそれ以外の物体の輪郭とが検出された場合、この物体の輪郭から商品を検出する。
【００３８】
類似度算出部５３は、類似度算出手段として機能するものであって、撮像部１６４により撮像された商品Ｇの全部または一部の画像から、商品Ｇの色合いや表面の凹凸状況等の表面の状態を特徴量として読み取る。なお、類似度算出部５３は、処理時間の短縮を図るため、商品Ｇの輪郭や大きさは考慮しないものとする。
【００３９】
また、類似度算出部５３は、ＰＬＵファイルＦ１に登録されている各商品（以下、登録商品という）の商品画像の色合いや表面の凹凸状況等の表面の状態である特徴量と、商品Ｇの特徴量とをそれぞれ比較することで、商品ＧとＰＬＵファイルＦ１に登録された登録商品との類似度を算出する。ここで、類似度は、ＰＬＵファイルＦ１に記憶されている各商品の商品登録時の商品画像を１００％＝「類似度：１．０」とした場合に、商品Ｇの全部または一部の画像がどの程度類似しているかを示すものである。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えて類似度を算出してもよい。
【００４０】
このように画像中に含まれる物体を認識することは一般物体認識（generic  object  recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井  啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６  [平成２２年８月１０日検索]，インターネット<URL:  http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf  >
【００４１】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie  Shottonら、“Semantic  Texton  Forests  for  Image  Categorization  and  Segmentation”，[平成２２年８月１０日検索]，インターネット<URL:  http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf  >
【００４２】
なお、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された登録商品との類似度の算出方法は特に問わないものとする。例えば、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。
【００４３】
類似度を絶対評価として算出する場合、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された各登録商品とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合、ＰＬＵファイルＦ１に５つの登録商品（商品ＧＡ、ＧＢ、ＧＣ、ＧＤ、ＧＥ）が登録されていたとすると、撮像された商品Ｇは、商品ＧＡに対して類似度が０．６、商品ＧＢに対しては類似度が０．１、商品ＧＣに対しては類似度が０．１、商品ＧＤに対しては類似度が０．１、商品ＧＥに対しては類似度が０．１等、各登録商品との類似度の総和が１．０（１００％）となるよう算出すればよい。
【００４４】
類似度判定部５４は、判定手段として機能するものであって、画像取込部５１が取り込んだフレーム画像ごとに、商品Ｇの画像と、ＰＬＵファイルＦ１に登録されている登録商品との類似度を比較する。本実施形態では、登録商品の商品画像と商品Ｇの画像との類似度について複数の条件が段階的に設けられており、類似度判定部５４は、満たされる条件に応じて登録商品の確定あるいは商品の候補の選定を行う。類似度に関する条件は特に限定されるものではないが、以下では条件ａ〜ｄを用いる場合について説明する。
【００４５】
ここで、条件ａおよび条件ｂは、本実施形態に係る第１の条件であり、撮像部１６４が撮像した商品ＧをＰＬＵファイルＦ１に登録された登録商品のうち一の商品として確定するための条件である。また、条件ｃは、本実施形態に係る第２の条件であり、ＰＬＵファイルＦ１に登録された登録商品中に同一のカテゴリ（商品）に属する異なる品種の物品が複数含まれていない場合に、撮像部１６４が撮像した商品Ｇの候補を抽出するための条件である。更に、条件ｄは、本実施形態に係る第３の条件であり、条件ｃを満たした商品の候補中に同一のカテゴリ（商品）に属する異なる品種の物品が複数含まれている場合に、撮像部１６４が撮像した商品Ｇの候補を抽出するための条件である。
【００４６】
類似度判定部５４は、条件ａまたは条件ｂを満たす登録商品を、撮像部１６４が撮像した商品Ｇに一対一で対応する商品（以下、確定商品という）であると判定（確定）する。また、類似度判定部５４は、条件ｃを満たす登録商品については、確定商品ではなく、撮像部１６４が撮像した商品Ｇの候補（以下、商品候補という）であると判定する。そして、ＰＬＵファイルＦ１に登録された複数の登録商品から条件ｃを満たす登録商品を抽出することにより、商品Ｇに対する商品候補を抽出する。
【００４７】
また、類似度判定部５４は、条件ｄを満たす登録商品（同一のカテゴリ（商品）に属する異なる品種の物品）についても、確定商品ではなく、撮像部１６４が撮像した商品Ｇの候補であると判定する。そして、ＰＬＵファイルＦ１に登録された複数の登録商品から条件ｄを満たす登録商品を抽出することにより、商品Ｇに対する商品候補を抽出する。
【００４８】
条件ａ〜ｃは類似度に応じて段階的に設定されればその詳細は特に限定されるものではないが、一例として、予め設定された複数の閾値によって条件ａ〜ｃを設けることができる。ここでは、第１閾値〜第３閾値によって条件ａ〜ｃを設定する場合について説明する。なお、第１閾値〜第３閾値の大小関係は、第１閾値＞第２閾値＞第３閾値とする。
【００４９】
類似度判定部５４は、登録商品との類似度が予め定められた第１閾値（例えば９０％）以上となった回数をカウントし、この回数が所定回数以上となった場合に条件ａが満たされたと判定する。尚、第１閾値を誤判定が無いよう十分に高く設定した場合には、所定回数を１回として条件ａを判定してもよい。
【００５０】
また、類似度判定部５４は、登録商品との類似度が第１閾値（例えば９０％）未満、かつ、第１閾値より小さい第２閾値（例えば７５％）以上となった場合に条件ｂが満たされたと判定する。そして、条件ｂを満たした登録商品は、確定商品ではあるがオペレータによる確認操作を要すると判定する。なお、登録商品との類似度が第１閾値（例えば９０％）未満、かつ、第１閾値より小さい第２閾値（例えば７５％）以上となった回数をカウントし、この回数が所定回数以上となった場合に条件ｂが満たされたと判定してもよい。
【００５１】
更に、類似度判定部５４は、登録商品との類似度が第２閾値（例えば７５％）未満、かつ、第２閾値より小さい第３閾値（例えば１０％）以上である場合に、条件ｃが満たされたと判定する。なお、更には登録商品との類似度が第２閾値（例えば７５％）未満、かつ、第２閾値より小さい第３閾値（例えば１０％）以上となった回数をカウントし、この回数が所定回数以上となった場合に条件ｃが満たされたと判定してもよい。
【００５２】
なお、各条件ａ〜ｃは、類似度の大きさ、判定回数等に応じて適宜設定可能であり、上述した例に限定されるものではない。また、条件ａ〜ｃの判断に用いる所定回数はそれぞれ条件毎に異なる回数を設けるものであってもよい。
【００５３】
加えて、類似度判定部５４は、条件ｃを満たした登録商品中に同一のカテゴリ（商品）に属する異なる品種の物品が複数含まれている場合には、当該複数の品種の類似度を合算し、複数の品種の類似度を合算したカテゴリ（商品）の類似度が予め定められた第２閾値（例えば７５％）以上となった場合、条件ｄが満たされたと判定する。
【００５４】
商品提示部５５は、報知手段として機能するものであって、撮像部１６４によって撮像された商品が、条件ａまたは条件ｂを満たした登録商品であるとして一意的に確定されたことを、画像出力や音声出力等によってオペレータや客に報知する。
【００５５】
より詳細には、商品提示部５５は、条件ａを満たした登録商品が、撮像部１６４によって撮像された商品（確定商品）として一意的に確定されたことを示す確定画面７１（図６参照）を表示デバイス１０６に表示させる。
【００５６】
図６は、確定画面７１の一例を示す図である。条件ａを満たす登録商品があった場合に、商品提示部５５は読取領域Ｒ（図５参照）の撮像画像の表示を停止し、確定商品に対応するイラスト画像Ｇ１および商品名「にんじん」をＰＬＵファイルＦ１から読み出して、確定画面７１に表示する。また、商品提示部５５は、ＰＬＵファイルＦ１から読み出した確定商品の商品名、商品価格（単価）を、商品名表示領域８１、価格表示領域８２にそれぞれ表示する。尚、商品提示部５５は、イラスト画像Ｇ１の代わりに、ＰＬＵファイルＦ１から読み出した商品画像（写真）を表示してもよい。これに限らず、イラストや商品画像を表示せず、商品名を確定画面７１に表示するようにしてもよい。この場合、音声出力部１６５によって、商品が確定したことを報知する。音声は事前に商品に紐付けられて登録された商品名であってもよいし、例えば「ピッ」という電子音であってもよい。
【００５７】
また、商品提示部５５は、条件ｂを満たした登録商品（確定商品）が、撮像部１６４によって撮像された商品Ｇであるか否かの最終確認操作を受付ける確認画面７２（図７参照）を表示デバイス１０６に表示させる。
【００５８】
図７は、確認画面７２の一例を示す図である。条件ｂを満たす登録商品があった場合に、商品提示部５５は確定商品に対応するイラスト画像Ｇ１をＰＬＵファイルＦ１から読み出して、確認画面７２に表示する。また、商品提示部５５は、ＰＬＵファイルＦ１から読み出した確定商品の商品名を用いて、読み取られた商品Ｇがイラスト画像Ｇ１の商品であるか否かを問うメッセージを「にんじんですか？」等と表示する。また、確認画面７２には、「はい／いいえ」等のボタンがタッチパネル１０５に対するタッチ操作によって選択操作可能に設けられる。
【００５９】
このように、確認画面７２においては、類似度判定の結果、１つの商品Ｇに対して唯一に選別された登録商品（確定商品）の商品名や商品画像が示され、商品Ｇと登録商品とが一対一の関係を持って表示される。従って、確認画面７２は、条件ｂを満たす登録商品が撮像部１６４によって撮像された商品Ｇとして一意的に確定されたことを報知する画面である。
【００６０】
加えて、商品提示部５５は、条件ｃを満たした登録商品に関する情報を、商品候補として表示デバイス１０６に表示させる。より詳細には、商品提示部５５は、条件ｃを満たした登録商品のイラスト画像および商品名をＰＬＵファイルＦ１から読み出し、類似度算出部５３が算出した類似度の高いものから、表示デバイス１０６に順次出力する。表示デバイス１０６は、商品候補提示領域８３（図８参照）において、商品候補のイラスト画像および商品名を類似度の高いものから順に表示する。
【００６１】
図８は、商品候補のイラスト画像Ｇ１、Ｇ２、Ｇ３が表示された画面例を示す図である。図８に示すように、商品候補提示領域８３には、類似度の高い登録商品から順に、商品候補のイラスト画像Ｇ１、Ｇ２、Ｇ３および各商品名が表示される。これらイラスト画像Ｇ１、Ｇ２、Ｇ３はタッチパネル１０５に対する選択操作に応じて選択可能に構成されている。また、商品候補提示領域８３の下部には、商品リストから商品を選択するための選択ボタン８４が設けられており、商品リストから選択された商品は上述した確定商品として処理される。尚、図８では、イラスト画像Ｇ１〜Ｇ３に対応する３つの商品候補が表示された例を示したが、商品候補の数や表示方法は特に限定されるものではない。また、イラスト画像に代えて商品画像（写真）を商品候補として表示してもよい。
【００６２】
加えて、商品提示部５５は、条件ｄを満たした同一のカテゴリ（商品）に属する異なる品種の物品である登録商品に関する情報を、商品候補として表示デバイス１０６に表示させる。より詳細には、商品提示部５５は、条件ｄを満たした登録商品（同一のカテゴリ（商品）に属する異なる品種の物品）のイラスト画像および商品名をＰＬＵファイルＦ１から読み出し、類似度算出部５３が算出した類似度の高いものから、表示デバイス１０６に順次出力する。表示デバイス１０６は、品種選択画面８５（図９参照）において、商品候補のイラスト画像および商品名を類似度の高いものから順に表示する。
【００６３】
図９は、商品候補の品種選択画面８５の例を示す図である。図９に示すように、実際に認識した画像であるフレーム画像に重畳されて表示される品種選択画面８５には、類似度の高い登録商品（同一のカテゴリ（商品）に属する異なる品種の物品）から順に、商品候補のイラスト画像Ｇ４、Ｇ５、Ｇ６および各品種名が表示される。なお、商品候補のイラスト画像Ｇ４、Ｇ５、Ｇ６に類似度も表示するようにしてもよい。これらイラスト画像Ｇ４、Ｇ５、Ｇ６はタッチパネル１０５に対する選択操作に応じて選択可能に構成されている。尚、図９では、イラスト画像Ｇ１のカテゴリ（商品）に属する異なる品種の物品である商品候補のイラスト画像Ｇ４、Ｇ５、Ｇ６の３つの商品候補が表示された例を示したが、商品候補の数や表示方法は特に限定されるものではない。商品候補数が多い場合には、「他の品種を選択」ボタンやスクロールボタンを設けるようにして、ボタン操作によって商品候補のイラスト画像を順に表示するようにしてもよい。また、イラスト画像に代えて商品画像（写真）を商品候補として表示してもよい。
【００６４】
入力受付部５７は、受付手段として機能するものであって、タッチパネル１０５またはキーボード１０７を介して表示デバイス１０６の表示に対応する各種入力操作を受付ける。例えば入力受付部５７は、確認画面７２（図７参照）に対する選択操作に基づいて、表示されたイラスト画像Ｇ１の商品が確定商品であることを最終確認した旨の入力操作（確認操作）を受付ける。尚、商品提示部５５は、入力受付部５７が確認操作を受付けた場合に、上述の確定画面７１を表示デバイス１０６に表示する。
【００６５】
入力受付部５７は、表示デバイス１０６に表示された商品候補のイラスト画像Ｇ１〜Ｇ３（図８参照）の中からいずれか１つのイラスト画像に対する選択操作を受付ける。入力受付部５７は、選択されたイラスト画像の登録商品を、商品Ｇに対する確定商品であるとして受付ける。尚、商品検出部５２が複数の商品Ｇを検出可能である場合には、入力受付部５７は商品候補の中から、複数の商品候補の選択操作を受付けてもよい。尚、商品提示部５５は、入力受付部５７が選択操作を受付けた場合に、受付けた商品候補を確定商品として表示させた確定画面７１を表示デバイス１０６に表示させる。
【００６６】
また、入力受付部５７は、表示デバイス１０６に表示された品種選択画面８５のイラスト画像Ｇ４〜Ｇ６（図９参照）の中からいずれか１つのイラスト画像に対する選択操作を受付ける。尚、商品提示部５５は、入力受付部５７が選択操作を受付けた場合に、受付けた商品候補を確定商品として表示させた確定画面７１を表示デバイス１０６に表示させる。
【００６７】
情報入力部５８は、上述のようにして確定された確定商品について、その商品を示す情報（例えば、商品ＩＤや商品名等）を、接続インターフェース１７５を介して入力する。
【００６８】
尚、情報入力部５８は、タッチパネル１０５またはキーボード１０７を介して別途入力された販売個数を、商品ＩＤ等とともに入力するとしてもよい。
【００６９】
売上登録部５９は、情報入力部５８から入力された商品ＩＤと販売個数とに基づいて、対応する商品の売上登録を行う。具体的に、売上登録部５９は、ＰＬＵファイルＦ１を参照して、通知された商品ＩＤ及び当該商品ＩＤに対応する商品分類、商品名、単価等を、販売個数とともに売上マスタファイル等に記録して売上登録を行う。
【００７０】
音声認識部５０は、音声認識手段として機能するものであって、マイク１１１を介して入力された音声信号を入力として、集音された人物の音声と対応する文字や単語列の音声認識結果を生成する。そして、音声認識部５０は、音声認識結果に対して言語辞書との比較を行うことによりオペレータの発話内容を認識する。なお、音声認識部５０は、各種の単語を記憶する言語辞書を記憶する辞書メモリを備える。
【００７１】
なお、音声認識部５０は、音声信号から個人（オペレータ）の声の認識を行う話者認識を行うようにしても良い。話者認識処理は、音声信号から特徴を抽出し、モデル化して個人（オペレータ）の声の認識を行う周知の技術が適用される。このように個人（オペレータ）の声の認識を行うことにより、複数人の会話が行われている状況であってもオペレータがどの発言をしたかを識別することで、オペレータの発話内容のみを抽出することができる。
【００７２】
また、マイク１１１は、周囲の雑音の入力を防止するために、周囲の雑音を低減するノイズキャンセリング機能がある単一指向性のマイクであることが望ましい。
【００７３】
次に、チェックアウトシステム１の動作について詳細に説明する。図１０は、ＰＯＳ端末１１が実行する商品識別処理の手順を示すフローチャートである。図１０では、第１閾値を類似度９０％（０．９０）、第２閾値を類似度７５％（０．７５）、第３閾値を類似度１０％（０．１０）と設定した場合について説明するが、各閾値はこれらに限定されるものではない。
【００７４】
ＰＯＳ端末１１による商品登録の開始等に応じて処理が開始されると、画像取込部５１は、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始し（ステップＳ１０）、マイク１１１を介して入力された音声信号の音声認識（ステップＳ１１）、および、撮像部１６４が撮像したフレーム画像（撮像画像）の取り込み（ステップＳ１２）に待機する。
【００７５】
音声認識部５０は、マイク１１１を介して入力された音声信号を入力として、集音された人物の音声と対応する文字や単語列の音声認識結果を生成し、言語辞書との比較を行うことによりオペレータの発話内容を認識する（ステップＳ１１）。
【００７６】
画像取込部５１は、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を取り込む（ステップＳ１２）。
【００７７】
次いで、商品検出部５２は、画像取込部５１が取り込んだフレーム画像から商品Ｇの全部または一部の検出を行う（ステップＳ１３）。
【００７８】
続いて、類似度算出部５３は、商品Ｇの全部または一部の画像から商品Ｇの特徴量を読み取り、ＰＬＵファイルＦ１に登録された各商品画像の特徴量と比較することで登録商品との類似度を算出する（ステップＳ１４）。
【００７９】
なお、類似度算出部５３は、ステップＳ１１でオペレータの発話内容が認識されている場合には、オペレータの発話内容に応じてＰＬＵファイルＦ１に登録されている登録商品を絞りこむことができる。例えば、オペレータの発話内容が「リンゴ」である場合には、ＰＬＵファイルＦ１から「リンゴ」のテキストデータが関連付けられている商品（例えば、商品名「リンゴ」の商品等）が絞り込まれることになる。したがって、音声で「リンゴ」と入力した場合、商品を絞り込む前には画像の候補となる可能性があった、「梨」「メロン」「たまねぎ」などは候補から外すことができる。
【００８０】
このように類似度算出に先立ってＰＬＵファイルＦ１に登録されている登録商品を絞りこむことにより、一般物体認識（オブジェクト認識）の認識の精度を向上させるとともに、最終的な認識までの速度も向上させることができるので、一般物体認識（オブジェクト認識）による誤認識の改善と認識速度の改善を行うことができる。
【００８１】
なお、言語辞書は、「リンゴ」の前方一致検索に用いられる「リ」の１音、「リン」の２音も「リンゴ」に関連する単語として関連付けるようにしても良い。このようにすることで、カーナビ等で行われている前方一致逐次検索のように、音声による認識を行う際に、「リンゴ」について「リンゴ」の３音を発音しなくとも、「リ」の１音、「リン」の２音で「リンゴ」と関連付けられることにより、不要な発音を省略することができる。
【００８２】
また、例えば、オペレータの発話内容が「フジ」である場合には、ＰＬＵファイルＦ１から「フジ」のテキストデータが関連付けられている商品（例えば、品種名「ふじ」の商品等）にまで一気に絞り込まれることになる。この場合には、「ふじ」「ジョナゴールド」「つがる」「紅玉」のように多品種に渡る「りんご」において、一般物体認識（オブジェクト認識）による誤認識の飛躍的な改善と認識速度の飛躍的な改善を行うことができる。
【００８３】
次いで、類似度判定部５４は、類似度が９０％以上となる登録商品があるか否かを判定する（ステップＳ１５）。９０％以上となる登録商品が無い場合（ステップＳ１５：Ｎｏ）には、ステップＳ１７に移行する。９０％以上となる登録商品がある場合（ステップＳ１５：Ｙｅｓ）には、同一の登録商品に対する類似度が９０％以上となった回数が所定回数（例えば、３回）となったか否かを判定する（ステップＳ１６）。所定回数に満たない場合（ステップＳ１６：Ｎｏ）は、ステップＳ１２に戻り、画像取込部５１は撮像部１６４により撮像された新たなフレーム画像を取り込む。
【００８４】
所定回数となった場合（ステップＳ１６：Ｙｅｓ）には、商品提示部５５は、確定商品のイラスト画像を含む確定画面７１（図６参照）を表示させるとともに、確定商品の商品名を音声通知することにより確定商品を報知する（ステップＳ２３）。また、情報入力部５８は、確定商品とされた登録商品の商品ＩＤ等を、キーボード１０７を介して別途入力された販売個数とともにＲＡＭ６３などの一時記憶ファイルに一時的に記憶して（ステップＳ２４）、その後はステップＳ２５の処理に移行する。
【００８５】
ステップＳ１５：Ｎｏの場合に、類似度判定部５４は、類似度が７５％以上９０％未満となる登録商品があるか否かを判定する（ステップＳ１７）。類似度がこの範囲内となる登録商品がある場合（ステップＳ１７：Ｙｅｓ）には、その登録商品をオペレータの確認を要する確定商品であると判定し、表示デバイス１０６に確認画面７２を表示させる（ステップＳ１８）。入力受付部５７は、確認画面７２（図７参照）において「はい」が選択されたか否かを判定する（ステップＳ１９）。「はい」が選択された場合（ステップＳ１９：Ｙｅｓ）にはステップＳ２３に移行し、商品提示部５５は確定画面７１を表示させる。一方、「いいえ」が選択された場合（ステップＳ１９：Ｎｏ）にはステップＳ１２に戻る。
【００８６】
なお、入力受付部５７は、確定画面７１における「はい」および「いいえ」の選択による確認を、音声認識部５０によるオペレータの発話内容の認識結果に応じて行うようにしても良い。
【００８７】
一方、類似度が７５％以上９０％未満となる登録商品が無い場合（ステップＳ１７：Ｎｏ）に、類似度判定部５４は、類似度が１０％以上７５％未満の登録商品があるか否かを判定し、類似度がこの範囲内である登録商品を商品Ｇの商品候補として抽出する（ステップＳ２０）。この範囲内の登録商品が無い場合（ステップＳ２０：Ｎｏ）には、ステップＳ１２に戻る。
【００８８】
類似度が１０％以上７５％未満の登録商品がある場合（ステップＳ２０：Ｙｅｓ）には、類似度判定部５４は、同一のカテゴリに属する異なる品種の物品が複数あるか否かを判定する（ステップＳ２７）。同一のカテゴリに属する異なる品種の物品が複数無い場合（ステップＳ２７：Ｎｏ）には、類似度判定部５４は、該当する登録商品を商品Ｇの商品候補であると判定する。そして、商品提示部５５は、商品候補として判定された登録商品のイラスト画像および商品名を、類似度の高い順にソートして商品候補提示領域８３に表示する（ステップＳ２１）。
【００８９】
入力受付部５７は、登録商品の商品画像に対する選択操作を受付けたか否かを判定する（ステップＳ２２）。選択を受付けた場合（ステップＳ２２：Ｙｅｓ）にはステップＳ２３に移行し、商品提示部５５は確定画面７１を表示させる。一方、選択を受付けない場合（ステップＳ２２：Ｎｏ）にはステップＳ１２に移行する。
【００９０】
なお、入力受付部５７は、商品候補提示領域８３における商品候補の選択を、音声認識部５０によるオペレータの発話内容の認識結果に応じて行うようにしても良い。例えば、オペレータの発話内容が「ニンジン」である場合には、商品候補提示領域８３における商品候補の中から「にんじん」が選択されることになる。
【００９１】
なお、言語辞書は、「ニンジン」の前方一致検索に用いられる「ニ」の１音、「ニン」の２音、「ニンジ」の３音も「ニンジン」に関連する単語として関連付けるようにしても良い。このようにすることで、音声による認識を行う際に、「ニンジン」について「ニンジン」の４音を発音しなくとも、「ニ」の１音、「ニン」の２音、「ニンジ」の３音で「ニンジン」と関連付けられることにより、不要な発音を省略することができる。
【００９２】
一方、同一のカテゴリに属する異なる品種の物品が複数ある場合（ステップＳ２７：Ｙｅｓ）には、当該複数の品種の類似度を合算し（ステップＳ２８）、合算した類似度が予め定められた第２閾値（例えば７５％）以上となった場合（ステップＳ２９：Ｙｅｓ）には、類似度判定部５４は、同一のカテゴリに属する異なる品種の複数の物品を商品Ｇの商品候補であると判定する。そして、商品提示部５５は、商品候補として判定された登録商品（同一のカテゴリ（商品）に属する異なる品種の物品）のイラスト画像および商品名を、類似度の高い順にソートして商品候補提示領域８３に品種選択画面８５を表示する（ステップＳ３０）。なお、合算した類似度が予め定められた第２閾値（例えば７５％）以上でない場合（ステップＳ２９：Ｎｏ）には、類似度判定部５４は、ステップＳ２１に進む。
【００９３】
なお、入力受付部５７は、品種選択画面８５における商品候補の選択を、音声認識部５０によるオペレータの発話内容の認識結果に応じて行うようにしても良い。例えば、オペレータの発話内容が「フジ」である場合には、品種選択画面８５における商品候補の中から「ふじ」が選択されることになる。
【００９４】
入力受付部５７は、登録商品（同一のカテゴリ（商品）に属する異なる品種の物品）の商品画像に対する選択操作を受付けたか否かを判定する（ステップＳ３１）。選択を受付けた場合（ステップＳ３１：Ｙｅｓ）にはステップＳ２３に移行し、商品提示部５５は確定画面７１を表示させる。一方、選択を受付けない場合（ステップＳ３１：Ｎｏ）にはステップＳ１２に移行する。
【００９５】
ステップＳ２５においてＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知等による業務終了の有無を判定する。業務を継続する場合（ステップＳ２５：Ｎｏ）、ＣＰＵ１６１は、ステップＳ１２へ処理を戻して処理を継続させる。業務を終了する場合（ステップＳ２５：Ｙｅｓ）、画像取込部５１は、撮像部１６４に撮像オフ信号を出力して撮像部１６４による撮像を終了する（ステップＳ２６）。
【００９６】
次いで、売上登録部５９は、ステップＳ２４で記憶した商品ＩＤ及び販売個数に基づいて、ＰＬＵファイルＦ１から商品種別や単価等を読み出し、商品読取装置１０１で読み取られた商品Ｇの売上を売上マスタファイルに登録する（ステップＳ３２）。
【００９７】
このように、本実施形態の情報処理装置によれば、撮像部１６４で撮像された物体の画像から抽出される照合用データと、ＰＬＵファイルＦ１に記憶された各物体の照合用データとが、どの程度類似しているかを示す類似度を算出する類似度算出部５３において、音声認識部５０でオペレータの発話内容が認識されている場合には、オペレータの発話内容に応じてＰＬＵファイルＦ１に記憶されている物体の照合用データを絞りこむ。これにより、一般物体認識（オブジェクト認識）の認識の精度を向上させるとともに、最終的な認識までの速度も向上させることができるので、一般物体認識（オブジェクト認識）における誤認識の改善と認識速度の改善を行うことができる。
【００９８】
以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００９９】
例えば、上記実施形態では、ＰＯＳ端末１１がＰＬＵファイルＦ１を備える形態としたが、これに限らず、商品読取装置１０１がＰＬＵファイルＦ１を備える形態としてもよいし、ＰＯＳ端末１１及び商品読取装置１０１がアクセス可能な外部装置がＰＬＵファイルＦ１を備える形態としてもよい。
【０１００】
また、上記実施形態では、画像取込部５１、商品検出部５２、類似度算出部５３、類似度判定部５４、商品提示部５５、入力受付部５７、情報入力部５８、売上登録部５９の機能を有する情報処理装置としてＰＯＳ端末１１を適用したが、これに限らず、画像取込部５１、商品検出部５２、類似度算出部５３、類似度判定部５４、商品提示部５５、入力受付部５７、情報入力部５８の機能を備えて、算出結果や判定結果をＰＯＳ端末１１に出力する情報処理装置として商品読取装置１０１を適用してもよい。上記実施形態では、照合用データを特徴量として説明したが、照合用データは、撮像された商品画像（基準画像）としてもよい。
【０１０１】
また、上記実施形態では、店舗システムとしてＰＯＳ端末１１と商品読取装置１０１とで構成されるチェックアウトシステム１を適用したがこれに限るものではなく、ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置に適用するようにしてもよい。ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置としては、スーパーマーケット等の店舗に設置されて用いられるセルフチェックアウト装置（以降、単にセルフＰＯＳと称する）が挙げられる。
【０１０２】
ここで、図１１はセルフＰＯＳ２００の構成を示す外観斜視図、図１２はセルフＰＯＳ２００のハードウェア構成を示すブロック図である。尚、以下では、図１および図２に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する。図１１および図１２に示すように、セルフＰＯＳ２００の本体２０２は、タッチパネル１０５が表面に配設された表示デバイス１０６や、商品の種別等を認識（検出）するために商品画像を読み取る商品読取部１１０を備えている。
【０１０３】
表示デバイス１０６としては例えば液晶表示器が用いられる。表示デバイス１０６は、客にセルフＰＯＳ２００の操作方法を知らせるための案内画面や、各種の入力画面や、商品読取部１１０で読み込んだ商品情報を表示する登録画面、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする精算画面等を表示する。
【０１０４】
商品読取部１１０は、客が商品に付されたコードシンボルを商品読取部１１０の読取窓１０３にかざすことで商品画像を撮像部１６４により読み取るものである。
【０１０５】
また、本体２０２の右側にはかごに入った未精算の商品を置くための商品載置台２０３が設けられ、本体２０２の左側には精算済みの商品を置くための商品載置台２０４が設けられ、精算済みの商品を入れるための袋を掛けるための袋掛けフック２０５や、精算済みの商品を袋に入れる前に一時的に置いておくための一時置き台２０６が設けられている。商品載置台２０３，２０４には計量器２０７，２０８がそれぞれ備えられており、精算の前後で商品の重量が同じであることを確認する機能を有している。
【０１０６】
また、セルフＰＯＳ２００の本体２０２には、精算用の紙幣の入金や釣り紙幣の受け取りを行うための釣り銭器２０１が設けられている。
【０１０７】
このような構成のセルフＰＯＳ２００を店舗システムに適用した場合、セルフＰＯＳ２００が情報処理装置として機能することになる。
【０１０８】
また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭまたは記憶部）に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。更に、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。
【０１０９】
また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供または配布するように構成してもよい。
【符号の説明】
【０１１０】
１      店舗システム
１１，１０１，２００    情報処理装置
５０      音声認識手段
５１      取込手段
５３      類似度算出手段
５４      判定手段
１１１    マイク
１６４    撮像手段
Ｆ１      辞書
【先行技術文献】
【特許文献】
【０１１１】
【特許文献１】特開２００３−１７３３６９号公報
【図１】
0005903414.tif 000002
【図２】
0005903414.tif 000003
【図３】
0005903414.tif 000004
【図４】
0005903414.tif 000005
【図５】
0005903414.tif 000006
【図６】
0005903414.tif 000007
【図７】
0005903414.tif 000008
【図８】
0005903414.tif 000009
【図９】
0005903414.tif 000010
【図１０】
0005903414.tif 000011
【図１１】
0005903414.tif 000012
【図１２】
0005903414.tif 000013