(57)【要約】【課題】商品の認識率を向上させることが可能な情報処理装置及びプログラムを提供する。【解決手段】可視光及び近赤外線に感度を有する撮像手段が撮像した撮像画像を取り込む取込手段と、前記撮像画像の近赤外線成分を表す赤外線画像から、被写体となった商品の第１特徴量を抽出する第１抽出手段と、前記撮像画像の可視光成分を表す可視光画像から、前記商品の第２特徴量を抽出する第２抽出手段と、前記第１特徴量及び前記第２特徴量の少なくとも一つを用いて、前記商品を認識する認識手段と、を備える。【選択図】図８
2014052800.tif 000002
【特許請求の範囲】
【請求項１】
可視光及び近赤外線に感度を有する撮像手段が撮像した撮像画像を取り込む取込手段と、
前記撮像画像の近赤外線成分を表す赤外線画像から、被写体となった商品の第１特徴量を抽出する第１抽出手段と、
前記撮像画像の可視光成分を表す可視光画像から、前記商品の第２特徴量を抽出する第２抽出手段と、
前記第１特徴量及び前記第２特徴量の少なくとも一つを用いて、前記商品を認識する認識手段と、
を備える情報処理装置。
【請求項２】
前記認識手段は、前記第１特徴量と、前記近赤外線下で撮像された各基準商品の特徴量とを比較し、両特徴量の関係を示す値が所定値以上の基準商品を、前記商品の候補として認識する請求項１に記載の情報処理装置。
【請求項３】
前記認識手段は、前記第２特徴量と、前記可視光下で撮像された各基準商品の特徴量とを比較し、両特徴量の関係を示す値が所定値以上の基準商品を、前記商品の候補として認識する請求項１又は２に記載の情報処理装置。
【請求項４】
前記商品の候補に関する情報を選択可能に提示する提示手段を更に備え、
前記認識手段は、選択された前記商品の候補に対応する基準商品を、前記商品として確定する請求項２又は３に記載の情報処理装置。
【請求項５】
前記認識手段は、前記第１特徴量及び前記第２特徴量のうち、一方の特徴量を用いた前記商品の認識に失敗した場合に、他方の特徴量を用いて前記商品を認識する請求項１〜４の何れか一項に記載の情報処理装置。
【請求項６】
コンピュータを、
可視光及び近赤外線に感度を有する撮像手段が撮像した撮像画像を取り込む取込手段と、
前記撮像画像の近赤外線成分を表す赤外線画像から、被写体となった商品の第１特徴量を抽出する第１抽出手段と、
前記撮像画像の可視光成分を表す可視光画像から、前記商品の第２特徴量を抽出する第２抽出手段と、
前記第１特徴量及び前記第２特徴量の少なくとも一つを用いて、前記商品を認識する認識手段と、
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
従来、物体を撮像等することでその物体の色や色分布、サイズ、形状等の特徴量を抽出し、予め用意された照合用のデータ（特徴量）と比較することで、この物体の種別等を認識する技術が存在している。また、この技術を、青果品等の商品の識別に用いて、識別された商品を売上登録するシステムが提案されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ところで、上記従来技術では商品の撮像を可視光下で行なっている。しかしながら、この撮像条件では、商品の表面色や当該物体の背景色によっては、その商品を認識することが可能なレベルの特徴量を抽出することができない場合がある。そのため、商品の認識率向上の観点において改善の余地があった。
【課題を解決するための手段】
【０００４】
実施の形態の情報処理装置は、取込手段と、第１抽出手段と、第２抽出手段と、認識手段とを備える。取込手段は、可視光及び近赤外線に感度を有する撮像手段が撮像した画像を取り込む。第１抽出手段は、前記撮像画像の近赤外線成分を表す赤外線画像から、被写体となった商品の第１特徴量を抽出する。第２抽出手段は、前記撮像画像の可視光成分を表す可視光画像から、前記商品の第２特徴量を抽出する。認識手段は、前記第１特徴量及び前記第２特徴量に基づいて、前記商品を認識する。
【図面の簡単な説明】
【０００５】
【図１】図１は、実施形態に係るチェックアウトシステムの外観構成を示す斜視図である。
【図２】図２は、図１に示したＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。
【図３】図３は、図２に示したＰＬＵファイルのデータ構成の一例を模式的に示す図である。
【図４】図４は、図２に示した第１商品特性ファイルのデータ構成の一例を模式的に示す図である。
【図５】図５は、図２に示した第２商品特性ファイルのデータ構成の一例を模式的に示す図である。
【図６】図６は、イメージセンサの分光感度特性の一例を示す図である。
【図７】図７は、ＩＲカットフィルタの透過特性の一例を示す図である。
【図８】図８は、図１に示したＰＯＳ端末及び商品読取装置の機能構成を示すブロック図である。
【図９】図９は、商品読取装置の表示デバイスに表示された商品候補の表示例を示す図である。
【図１０】図１０は、商品読取装置が実行する商品識別処理の手順を示すフローチャートである。
【図１１】図１１は、ＰＯＳ端末が実行する売上登録処理の手順を示すフローチャートである。
【図１２】図１２は、実施形態に係るセルフＰＯＳの構成を示す斜視図である。
【図１３】図１３は、図１２に示したセルフＰＯＳのハードウェア構成を示すブロック図である。
【発明を実施するための形態】
【０００６】
以下、添付図面を参照して、情報処理装置及びプログラムの実施形態を詳細に説明する。なお、以下に説明する実施形態は、情報処理装置及びプログラムの一実施形態であって、その構成や仕様等を限定するものではない。本実施形態は、スーパーマーケット等の店舗に導入された、一取引にかかる商品の登録・精算を行うＰＯＳ端末と、商品に関する情報を読み取る商品読取装置とを備えるチェックアウトシステムへの適用例である。
【０００７】
図１は、チェックアウトシステム１の外観構成を示す斜視図である。図１に示すように、チェックアウトシステム１は、ＰＯＳ端末１１と、情報処理装置としての商品読取装置１０１とを備える。
【０００８】
ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。
【０００９】
なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。
【００１０】
ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受け面１５２が形成されている。荷受け面１５２には、商品Ｇを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に載置される第２の買物カゴ１５３ｂとに分けて考えることができる。
【００１１】
カウンタ台１５１の荷受け面１５２には、ＰＯＳ端末１１とデータ送受信可能に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。
【００１２】
ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。
【００１３】
このような商品読取装置１０１は、商品読取部１１０（図２参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に撮像部１６５（図２参照）を配置している。
【００１４】
顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引に係る商品Ｇが収納されている。第１の買物カゴ１５３ａ内の商品Ｇは、商品読取装置１０１を操作するオペレータにより第２の買物カゴ１５３ｂへと移動される。この移動過程で、商品Ｇが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３内に配置された撮像部１６５（図２参照）は商品Ｇを撮像する。
【００１５】
図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。
【００１６】
ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central  Processing  Unit）６１に、ＲＯＭ（Read  Only  Memory）６２とＲＡＭ（Random  Access  Memory）６３とがバス接続されて構成されている。
【００１７】
ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。
【００１８】
キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。
【００１９】
ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ（Hard  Disk  Drive）６４が接続されている。ＨＤＤ６４には、各種プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により実行される。
【００２０】
また、ＨＤＤ６４には、ＰＬＵファイルＦ１、第１商品特性ファイルＦ２及び第２商品特性ファイルＦ３等のデータファイルが記憶されている。なお、ＰＬＵファイルＦ１、第１商品特性ファイルＦ２、第２商品特性ファイルＦ３は、後述する接続インターフェース６５を介し、商品読取装置１０１から読み出し（参照）可能に保持されているものとする。
【００２１】
ＰＬＵファイルＦ１は、店舗内で販売される商品Ｇと、その商品Ｇの売上登録に係る情報と、の関連付けが設定されたデータファイルである。
【００２２】
図３は、ＰＬＵファイルＦ１のデータ構成の一例を模式的に示す図である。同図に示すように、ＰＬＵファイルＦ１には、商品Ｇ毎に、ユニークに割り当てられた商品ＩＤと、商品Ｇが属する商品分類、商品名、単価等の商品に関する情報と、その商品を示すイラスト画像とが、その商品Ｇの商品情報として登録されている。以下、商品ＩＤと関連付けられた商品Ｇを登録商品という。
【００２３】
また、第１商品特性ファイルＦ２には、店舗内で販売される商品Ｇの各々と、その商品Ｇを近赤外線下で撮像した際に得られた情報とが関連付けて格納されている。
【００２４】
図４は、第１商品特性ファイルＦ２のデータ構成の一例を模式的に示す図である。同図に示すように、第１商品特性ファイルＦ２には、商品Ｇ毎に、商品ＩＤと、その商品Ｇを近赤外線（例えば、７００ｎｍ〜２５００ｎｍ）下で撮像した撮像画像（赤外線画像）とが、関連付けて登録されている。ここで、商品ＩＤは、ＰＬＵファイルＦ１に登録された商品ＩＤに対応する。第１商品特性ファイルＦ２のデータ構成は図４の例に限らず、例えば、赤外線画像から読み取られる商品Ｇの色合いや模様、表面の凹凸状況、形状等の特徴量を、赤外線画像の代わりに登録する形態としてもよい。
【００２５】
また、第２商品特性ファイルＦ３には、店舗内で販売される商品Ｇの各々と、その商品Ｇを可視光（例えば、４００ｎｍ〜７００ｎｍ）下で撮像した際に得られた情報とが関連付けて格納されている。
【００２６】
図５は、第２商品特性ファイルＦ３のデータ構成の一例を模式的に示す図である。同図に示すように、第２商品特性ファイルＦ３には、商品Ｇ毎に、商品ＩＤと、その商品Ｇを可視光下で撮像した撮像画像（可視光画像）とが、関連付けて登録されている。ここで、商品ＩＤは、ＰＬＵファイルＦ１に登録された商品ＩＤに対応する。第２商品特性ファイルＦ３のデータ構成は図５の例に限らず、例えば、可視光画像から読み取られる商品Ｇの色合いや模様、表面の凹凸状況、形状等の特徴量を、可視光画像の代わりに登録する形態としてもよい。
【００２７】
なお、上記例では、赤外線画像及び可視光画像を、ＰＬＵファイルＦ１とは異なるファイルに登録する形態としたが、これに限らず、対応する商品ＩＤと関連付けて赤外線画像及び可視光画像をＰＬＵファイルＦ１に登録する形態としてもよい。
【００２８】
図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１、第１商品特性ファイルＦ２が格納されている。
【００２９】
さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシート等に印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。
【００３０】
また、図２に示すように、商品読取装置１０１は、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。
【００３１】
ＣＰＵ１６１には、照明部１６４、撮像部１６５及び音声出力部１６６が各種の入出力回路（いずれも図示せず）を介して接続されている。照明部１６４、撮像部１６５及び音声出力部１６６は、ＣＰＵ１６１によって動作が制御される。
【００３２】
照明部１６４は、読取窓１０３の奥側等に設けられた、撮像部１６５の撮像領域に照明光を照射する照明装置である。照明部１６４は、照明光として、可視光及び赤外線（近赤外線）の成分を含む光を照射する。ここで、照明部１６４の個数は特に問わず、一台の照明部１６４で照明する形態としてもよいし、可視光及び赤外線の各々について、専用の照明部１６４を設ける形態としてもよい。なお、この形態の場合、照明光の点灯タイミングは一致させてもよいし、異ならせてもよい。
【００３３】
撮像部１６５は、カラーＣＣＤセンサやカラーＣＭＯＳ等であり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う撮像手段である。例えば撮像部１６５では３０ｆｐｓの動画像の撮像を行う。撮像部１６５が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ１６３に保存される。
【００３４】
ところで、カラーＣＣＤやカラーＣＭＯＳセンサを利用したイメージセンサは、その材質により撮像可能な帯域に差異はあるものの、可視光域に加え近赤外線域まで撮像することが可能な感度を有している。係るイメージセンサでは、人の目で見えない近赤外線の成分は不要であるため、近赤外線の成分を除去するためのＩＲカットフィルタが一般的に付加されており、近赤外線の成分を取り除いた状態で撮像が行われるよう構成されている。
【００３５】
例えば、イメージセンサの分光感度特性が、図６のグラフで表される場合、図７に示す透過特性のＩＲカットフィルタを付加すると、このＩＲカットフィルタの機能により、近赤外線領域（７００ｎｍ以上の帯域）が除去される。ここで、図６は、イメージセンサの分光感度特性の一例を示す図であり、縦軸が分光感度、横軸が波長（ｎｍ）を示している。また、図７は、ＩＲカットフィルタの透過特性の一例を示す図であり、縦軸が透過率（％）、横軸が波長（ｎｍ）を示している。
【００３６】
一方、本実施形態で用いる撮像部１６５のイメージセンサには、上記のＩＲカットフィルタが設けられておらず、可視光に加え近赤外線の成分を含んだ撮像画像を取得することが可能となっている。ここで、物体の近赤外線（反射光）から得られる情報は、可視光から得られる情報とは異なる特性を有している。
【００３７】
具体的には、近赤外線は散乱が少なく透過性が高いという特徴を有しているため、商品に付加されたビニール袋等の包装用袋やネット等、薄手の素材を透過状態とした撮像画像を得ることができる。また、近赤外線は、染料や顔料等に吸収されにくいという特徴を有しているため、例えば、背景部分が黒色に近い状態であっても、撮像部１６５に翳された茄子等の黒色に近い物体を識別することが可能な撮像画像を得ることができる。
【００３８】
図２に戻り、音声出力部１６６は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６６は、ＣＰＵ１６１の制御の下で警告音等の音声による報知を行う。
【００３９】
また、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。また、接続インターフェース１７５には、接続インターフェース１７６を介して、表示・操作部１０４が接続されており、ＣＰＵ１６１は、接続インターフェース１７５を介して、表示・操作部１０４との間でデータ送受信を行う。
【００４０】
次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能構成について、図８を参照して説明する。
【００４１】
図８は、ＰＯＳ端末１１及び商品読取装置１０１の機能構成を示すブロック図である。図８に示すように、商品読取装置１０１のＣＰＵ１６１は、プログラムを順次実行することにより、画像取込部１６１１、商品検出部１６１２、第１特徴量抽出部１６１３、第２特徴量抽出部１６１４、類似度判定部１６１５、商品候補提示部１６１６、入力受付部１６１７及び情報出力部１６１８としての機能を備える。
【００４２】
画像取込部１６１１は、撮像部１６５に撮像オン信号を出力して撮像部１６５に撮像動作を開始させる。画像取込部１６１１は、撮像動作開始後に撮像部１６５が撮像してＲＡＭ１６３に保存された撮像画像を順次取り込む。画像取込部１６１１による撮像画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。
【００４３】
商品検出部１６１２は、画像取込部１６１１により取り込まれた撮像画像に含まれる商品Ｇの全部又は一部の輪郭線を、公知のパターンマッチング技術等を用いて検出する。次いで、前回の撮像画像（フレーム画像）から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変化のあった部分、すなわち、読取窓１０３に向けられた商品の写り込みを検出する。
【００４４】
なお、商品を検出する別の方法としては、撮像画像から肌色領域が検出されたか否かを判定し、肌色領域が検出された場合、つまり店員の手の写り込みが検出された場合は、この肌色領域の近傍において上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、手の輪郭の近傍にそれ以外の物体の輪郭とが検出された場合には、この物体の輪郭から商品を検出する。
【００４５】
第１特徴量抽出部１６１３は、画像取込部１６１１により取り込まれた撮像画像の近赤外線の成分を表す画像（以下、赤外線画像という）から、商品検出部１６１２で検出された商品の表面の状態（表面の色合い、模様、凸凹状況、形状等）を、第１特徴量として読み取る。
【００４６】
第２特徴量抽出部１６１４は、画像取込部１６１１により取り込まれた撮像画像の可視光の成分を表す画像（以下、可視光画像という）から、商品検出部１６１２で検出された商品の表面の状態表面の色合い、模様、凸凹状況、形状等）を、第２特徴量として読み取る。
【００４７】
類似度判定部１６１５は、第１特徴量抽出部１６１３で抽出された第１特徴量と、ＰＯＳ端末１１の第１商品特性ファイルＦ２に登録された各登録商品（赤外線画像）の特徴量とを比較し、両特徴量の類似度が所定の閾値以上となる登録商品（商品ＩＤ）を、第１商品特性ファイルＦ２から特定する。ここで、類似度は、第１特徴量と第１商品特性ファイルＦ２に登録された各登録商品の特徴量とを比較し、両特徴量がどの程度類似しているかを示す値（類似度）であればよい。なお、類似度の概念は、この例に限らず、第１商品特性ファイルＦ２に登録された各登録商品の特徴量との一致度を示す値や、第１特徴量と第１商品特性ファイルＦ２に登録された各登録商品の特徴量とがどの程度相関するかを示す値であってもよい。
【００４８】
具体的に、類似度判定部１６１５は、特徴量の比較により、赤外線画像中に含まれた商品と、第１商品特性ファイルＦ２に登録された各登録商品との類似度をそれぞれ算出し、その類似度が所定の閾値以上となった登録商品（商品ＩＤ）を、撮像部１６５で撮像された商品Ｇの候補として認識する。
【００４９】
また、類似度判定部１６１５は、第２特徴量抽出部１６１４で抽出された第２特徴量と、ＰＯＳ端末１１の第２商品特性ファイルＦ３に登録された各登録商品（可視光画像）の特徴量とを比較し、両特徴量の関係を示す類似度が所定の閾値以上となる商品（商品ＩＤ）を、第２商品特性ファイルＦ３から特定する。ここで、類似度は、第２特徴量と第２商品特性ファイルＦ３に登録された各登録商品の特徴量とを比較し、両特徴量がどの程度類似しているかを示す値（類似度）であればよい。なお、類似度の概念は、この例に限らず、第２商品特性ファイルＦ３に登録された各登録商品の特徴量との一致度を示す値や、第２特徴量と第２商品特性ファイルＦ３に登録された各登録商品の特徴量とがどの程度相関するかを示す値であってもよい。
【００５０】
具体的に、類似度判定部１６１５は、特徴量の比較により、可視光画像中に含まれた商品と、第２商品特性ファイルＦ３に登録された各登録商品との類似度をそれぞれ算出し、その類似度が所定の閾値以上となった登録商品（商品ＩＤ）を、可視光画像中に含まれた商品Ｇの候補として認識する。
【００５１】
なお、上記のように画像中に含まれる物体を認識することは、一般物体認識（generic  object  recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井  啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６  [平成２４年７月２６日検索]，インターネット<URL:  http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf  >
【００５２】
また、画像をオブジェクト毎に領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie  Shottonら，“Semantic  Texton  Forests  for  Image  Categorization  and  Segmentation”，[平成２４年７月２６日検索]，インターネット<URL:  http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf  >
【００５３】
なお、撮像された商品Ｇの画像と、第１商品特性ファイルＦ２及び第２商品特性ファイルＦ３に登録された登録商品の商品画像との類似度の算出方法は特に問わないものとする。例えば、撮像された商品Ｇの画像と、登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。
【００５４】
類似度を絶対評価として算出する場合、撮像された商品Ｇの画像と、各登録商品とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合、撮像された商品Ｇと、各登録商品との類似度の総和が１．０（１００％）となるよう算出すればよい。
【００５５】
商品候補提示部１６１６は、類似度判定部１６１５で候補として認識された登録商品に関する情報を、商品候補として表示デバイス１０６に表示させる。具体的に、商品候補提示部１６１６は、候補として認識された登録商品の商品情報をＰＯＳ端末１１のＰＬＵファイルＦ１から読み出し、類似度の高いものから、表示デバイス１０６に順次表示させる。
【００５６】
なお、本実施形態では、赤外線画像及び可視光画像での認識結果を用いて、商品候補を提示する形態について説明するが、商品候補の選定方法は特に問わないものとする。例えば、第１特徴量抽出部１６１３及び第２特徴量抽出部１６１４の抽出結果から認識された登録商品を全て提示する形態としてもよいし、商品ＩＤが一致した登録商品を提示する形態としてもよい。また、第１特徴量抽出部１６１３及び第２特徴量抽出部１６１４の何れか一方の抽出結果を用いて、商品候補を提示する形態としてもよい。
【００５７】
図９は、商品候補の表示例を示す図である。図９に示すように、表示デバイス１０６の表示画面のうち、商品候補提示領域Ａ１１には、類似度の高い登録商品の順に、その商品候補の商品情報に含まれたイラスト画像Ｇ１、Ｇ２、Ｇ３が商品名とともに表示される。これらイラスト画像Ｇ１、Ｇ２、Ｇ３は、タッチパネル１０５に対するタッチ操作に応じて選択可能に構成されている。また、商品候補提示領域Ａ１１の下部には、商品リストから商品を選択するための選択ボタンＢ１１が設けられており、商品リストから選択された商品は後述する確定商品として処理される。また、領域Ａ１２には、画像取込部１６１１により取り込まれた撮像画像が表示される。
【００５８】
なお、図９では、３つの商品候補を提示する例を示したが、商品候補の提示方法はこれに限定されるものではない。例えば、イラスト画像に替えて第２商品特性ファイルＦ３に登録された可視光画像を表示する形態としてもよい。
【００５９】
図８に戻り、入力受付部１６１７は、タッチパネル１０５又はキーボード１０７を介して表示デバイス１０６の表示に対応する各種入力操作を受け付ける。例えば、入力受付部１６１７は、表示デバイス１０６に表示された商品候補のイラスト画像（図９参照）の中から何れか一つの商品候補に対する選択操作を受け付ける。入力受付部１６１７は、選択されたイラスト画像の商品候補を、撮像部１６５によって撮像された商品Ｇに対応する商品（確定商品）として受け付ける。なお、商品検出部１６１２が複数の商品Ｇを検出可能である場合には、入力受付部１６１７は商品候補の中から、複数の商品候補の選択操作を受け付けてもよい。
【００６０】
情報出力部１６１８は、上述のように確定された確定商品について、その商品を示す情報（例えば、商品ＩＤや商品名等）を、接続インターフェース１７５を介してＰＯＳ端末１１に出力する。
【００６１】
なお、情報出力部１６１８は、タッチパネル１０５又はキーボード１０７を介して別途入力された販売個数を、商品ＩＤ等とともにＰＯＳ端末１１に出力してもよい。また、情報出力部１６１８がＰＯＳ端末１１に出力する情報としては、情報出力部１６１８がＰＬＵファイルＦ１から読み出した商品ＩＤを直接通知してもよいし、商品ＩＤを特定することが可能な商品名、商品画像（赤外線画像、可視光画像）、イラスト画像のファイル名を通知してもよいし、その商品ＩＤの格納場所（ＰＬＵファイルＦ１での格納アドレス）を通知してもよい。
【００６２】
一方、ＰＯＳ端末１１のＣＰＵ６１は、プログラムを実行することにより、売上登録部６１１としての機能を備える。売上登録部６１１は、商品読取装置１０１の情報出力部１６１８から出力された商品ＩＤと販売個数とに基づいて、対応する商品の売上登録を行う。具体的に、売上登録部６１１は、ＰＬＵファイルＦ１を参照し、通知された商品ＩＤ及び当該商品ＩＤに対応する商品分類、商品名、単価等を、販売個数とともに売上マスタファイル等に記録することで売上登録を行う。
【００６３】
次に、チェックアウトシステム１の動作について説明する。まず、商品読取装置１０１の動作について説明する。図１０は、商品読取装置１０１が実行する商品識別処理の手順を示すフローチャートである。
【００６４】
図１０に示すように、ＰＯＳ端末１１による商品登録の開始等に応じて処理が開始されると、画像取込部１６１１は、撮像部１６５に撮像オン信号を出力して撮像部１６５による撮像を開始する（ステップＳ１１）。
【００６５】
画像取込部１６１１は、撮像部１６５が撮像してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を取り込む（ステップＳ１２）。次いで、商品検出部１６１２は、ステップＳ１２で取り込まれた撮像画像から商品Ｇの全部又は一部の検出を行う（ステップＳ１３）。
【００６６】
第１特徴量抽出部１６１３は、ステップＳ１２で取り込まれた撮像画像の赤外線画像から、ステップＳ１３で検出された商品Ｇの第１特徴量を抽出する（ステップＳ１４）。
【００６７】
類似度判定部１６１５は、ステップＳ１４で抽出された第１特徴量と、ＰＯＳ端末１１の第１商品特性ファイルＦ２に登録された各登録商品（赤外線画像）の特徴量との類似度を算出する（ステップＳ１５）。次いで、類似度判定部１６１５は、ステップＳ１５で類似度を算出した登録商品の中に、ステップＳ１４で抽出された第１特徴量との類似度が所定の閾値以上となる登録商品が存在するか否かを判定する（ステップＳ１６）。
【００６８】
ステップＳ１５において、類似度が閾値以上の登録商品が存在すると判定した場合（ステップＳ１６；Ｙｅｓ）、第１特徴量抽出部１６１３は、その登録商品を撮像部１６５で撮像された商品Ｇの候補として認識し（ステップＳ１７）、ステップＳ１８に移行する。また、類似度が閾値以上の登録商品が存在しないと判定した場合には（ステップＳ１６；Ｎｏ）、ステップＳ１８に直ちに移行する。
【００６９】
第２特徴量抽出部１６１４は、ステップＳ１２で取り込まれた撮像画像の可視光画像から、ステップＳ１３で検出された商品Ｇの第２特徴量を抽出する（ステップＳ１８）。
【００７０】
類似度判定部１６１５は、ステップＳ１８で抽出された第２特徴量と、ＰＯＳ端末１１の第２商品特性ファイルＦ３に登録された各登録商品（可視光画像）の特徴量との類似度を算出する（ステップＳ１９）。次いで、類似度判定部１６１５は、ステップＳ１９で類似度を算出した登録商品の中に、ステップＳ１８で抽出された第２特徴量との類似度が閾値以上となる登録商品が存在するか否かを判定する（ステップＳ２０）。
【００７１】
ステップＳ２０において、類似度が閾値以上の登録商品が存在すると判定した場合（ステップＳ２０；Ｙｅｓ）、第２特徴量抽出部１６１４は、その登録商品を撮像部１６５で撮像された商品Ｇの候補として認識し（ステップＳ２１）、ステップＳ２２に移行する。また、類似度が閾値以上となる登録商品が存在しないと判定した場合には（ステップＳ２０；Ｎｏ）、ステップＳ２２に直ちに移行する。
【００７２】
なお、ステップＳ１９において、類似度の算出対象となる登録商品を制限する形態としてもよい。例えば、第２商品特性ファイルＦ３に登録された登録商品のうち、ステップＳ１７で商品Ｇの候補として認識された登録商品を類似度の算出対象としてもよいし、ステップＳ１７で商品Ｇの候補として認識された登録商品以外を類似度の算出対象としてもよい。
【００７３】
続くステップＳ２２において、商品候補提示部１６１６は、ステップＳ１７、Ｓ２１で候補として認識された登録商品に関する情報を、商品候補として表示デバイス１０６に表示させる（ステップＳ２２）。なお、商品候補が存在しない場合には、類似する登録商品が存在しない旨を表示デバイス１０６に表示させ、商品リストからの選択を促すものとする。
【００７４】
入力受付部１６１７は、タッチパネル１０５又はキーボード１０７を介して、商品候補の選択を受け付けたか否かを判定する（ステップＳ２３）。ここで、選択を受け付けた場合（ステップＳ２３；Ｙｅｓ）、入力受付部１６１７は、選択された商品候補を、撮像部１６５によって撮像された商品Ｇに対応する確定商品として受け付け、ステップＳ２４に移行する。一方、選択を受け付けない場合には（ステップＳ２３；Ｎｏ）、ステップＳ１２に再び戻る。
【００７５】
続いて、情報出力部１６１８は、ステップＳ２３で選択された確定商品について、その商品を示す商品ＩＤ等の情報を、接続インターフェース１７５を介してＰＯＳ端末１１に出力し（ステップＳ２４）、ステップＳ２５に移行する。
【００７６】
ここで、タッチパネル１０５又はキーボード１０７を介して販売個数が別途入力された場合には、ステップＳ２５において、確定商品を示す情報とともに、その販売個数をＰＯＳ端末１１に出力するものとする。なお、販売個数の入力が行われない場合には、デフォルト値として販売個数“１”を出力する形態としてもよい。
【００７７】
ステップＳ２５において、ＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知等による業務終了の有無を判定する（ステップＳ２５）。ここで、業務を継続する場合（ステップＳ２５；Ｎｏ）、ＣＰＵ１６１は、ステップＳ１２へ処理を戻して処理を継続させる。また、業務を終了する場合（ステップＳ２５；Ｙｅｓ）、画像取込部１６１１は、撮像部１６５に撮像オフ信号を出力することで、撮像部１６５による撮像を終了し（ステップＳ２６）、処理を終了する。
【００７８】
なお、上記の処理では、ステップＳ１４〜Ｓ１７の後にステップＳ１８〜Ｓ２１を実行する形態としたが、これに限らず、ステップＳ１８〜Ｓ２１の後にステップＳ１４〜Ｓ１７を実行する形態としてもよいし、ステップＳ１４〜Ｓ１７の処理と、ステップＳ１８〜Ｓ２１の処理とを並列で行う形態としてもよい。
【００７９】
また、第１特徴量抽出部１６１３及び第２特徴量抽出部１６１４のうち、何れか一方の抽出結果を用いて商品候補を提示する場合には、ステップＳ１４〜Ｓ１７又はステップＳ１８〜Ｓ２１の何れかの処理を実行するものとする。
【００８０】
例えば、ステップＳ１４〜Ｓ１７で商品Ｇの候補を認識した場合には、ステップＳ１８〜Ｓ２１をスキップしてステップＳ２２に移行することで、処理速度を速めることが可能となる。また、ステップＳ１４〜Ｓ１７で商品Ｇの候補の認識に失敗した場合に、ステップＳ１８〜Ｓ２１を実行することで、ステップＳ１４〜Ｓ１７で認識できなかった商品を、認識することが可能となる。また、ステップＳ１８〜Ｓ２１の後にステップＳ１４〜Ｓ１７を実行する形態では、ステップＳ１８〜Ｓ２１で商品Ｇの候補を認識した場合に、ステップＳ１４〜Ｓ１７をスキップしてステップＳ２２に移行し、ステップＳ１８〜Ｓ２１で商品Ｇの候補の認識に失敗した場合に、ステップＳ１４〜Ｓ１７を実行してもよい。ここで、「候補の認識に失敗」とは、例えば、所定の閾値を超える商品の候補が一つの特定商品に特定されなかった場合や、所定の閾値を超える商品の候補が一つも抽出されなかった場合等である。
【００８１】
次に、ＰＯＳ端末１１の処理動作について説明する。図１１は、ＰＯＳ端末１１が実行する売上登録処理の手順を示すフローチャートである。
【００８２】
まず、キーボード２２の操作指示による商品登録の開始等に応じて処理が開始されると、ＣＰＵ６１は、商品読取装置１０１が図１０のステップＳ２４で出力した、確定商品の商品ＩＤとその販売個数とを受信する（ステップＳ３１）。次いで、売上登録部６１１は、ステップＳ３１で受信した商品ＩＤ及び販売個数に基づいて、ＰＬＵファイルＦ１から商品種別や単価等を読み出し、商品読取装置１０１で読み取られた商品Ｇの売上を売上マスタファイルに登録する（ステップＳ３２）。
【００８３】
続いて、ＣＰＵ６１は、キーボード２２の操作指示による売上登録の終了等による業務終了の有無を判定する（ステップＳ３３）。業務を継続する場合（ステップＳ３３；Ｎｏ）、ＣＰＵ６１は、ステップＳ３１へ再び戻り処理を継続させる。業務を終了する場合（ステップＳ３３；Ｙｅｓ）、ＣＰＵ６１は処理を終了する。
【００８４】
以上のように、本実施形態によれば、撮像部１６５で撮像された赤外線画像及び可視光画像の各々から商品Ｇの特徴量（第１特徴量、第２特徴量）を抽出し、この特徴量に基づいて、第１商品特性ファイルＦ２、第２商品特性ファイルＦ３から、商品Ｇの候補となる登録商品を認識する。これにより、例えば、背景及び商品が同系色等のように、可視光下では特徴量（第２特徴量）を抽出することが困難な場合であっても、赤外線画像から商品Ｇの特徴量（第１特徴量）を抽出することができるため、当該特徴量を用いることで商品Ｇの認識率を向上させることができる。
【００８５】
以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００８６】
例えば、上記実施形態では、可視光及び赤外線（近赤外線）に感度を有する一台の撮像部１６５が撮像を行う形態としてが、これに限らず、可視光及び近赤外線の各々について専用の撮像部を設ける形態としてもよい。なお、この形態の場合、各撮像部の撮像タイミングは一致させてもよいし、異ならせてもよい。
【００８７】
また、上記実施形態では、ＰＯＳ端末１１が、ＰＬＵファイルＦ１、第１商品特性ファイルＦ２及び第２商品特性ファイルＦ３を備える形態としたが、これに限らず、商品読取装置１０１が、ＰＬＵファイルＦ１、第１商品特性ファイルＦ２及び第２商品特性ファイルＦ３の一部又は全てを備える形態としてもよい。
【００８８】
また、上記実施形態では、商品読取装置１０１において、商品候補の識別を行う形態としたが、商品読取装置１０１の機能部の一部又は全てをＰＯＳ端末１１が備える形態としてもよい。例えば、ＰＯＳ端末１１が、商品検出部１６１２、第１特徴量抽出部１６１３、第２特徴量抽出部１６１４、類似度判定部１６１５を備え、商品読取装置１０１が、画像取込部１６１１、商品候補提示部１６１６、入力受付部１６１７及び情報出力部１６１８を備える形態としてもよい。この場合、商品読取装置１０１側では、画像取込部１６１１により取り込まれた撮像画像をＰＯＳ端末１１に送信し、ＰＯＳ端末１１側で認識された商品（登録商品）の結果を受信し、この受信した結果を商品候補提示部１６１６が商品候補として提示する構成とすることができる。また、商品読取装置１０１の機能部の全てをＰＯＳ端末１１が備える場合、商品読取装置１０１は撮像装置として機能し、ＰＯＳ端末１１では、商品読取装置１０１から送信された撮像画像に基づき商品候補の表示と選択を行う。
【００８９】
また、上記実施形態では、ＰＯＳ端末１１と商品読取装置１０１とで構成されるチェックアウトシステム１のうち、商品読取装置１０１に本発明の実施形態を適用したが、これに限るものではなく、ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置または、例えば、図１に示す商品読取装置１０１及びＰＯＳ端末１１が有線又は無線にて接続されて構成されるチェックアウトシステムに適用するようにしてもよい。ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置としては、スーパーマーケット等の店舗に設置されて用いられるセルフチェックアウト装置（以降、単にセルフＰＯＳと称する）が挙げられる。
【００９０】
ここで、図１２は、セルフＰＯＳ２００の外観構成を示す斜視図、図１３は、セルフＰＯＳ２００のハードウェア構成を示すブロック図である。なお、以下では、図１及び図２に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する。
【００９１】
図１２及び図１３に示すように、セルフＰＯＳ２００の本体２０２は、タッチパネル１０５が表面に配設された表示デバイス１０６や、商品の種別等を認識（検出）するために商品画像を読み取る商品読取部１１０を備えている。
【００９２】
表示デバイス１０６としては例えば液晶表示器が用いられる。表示デバイス１０６は、客にセルフＰＯＳ２００の操作方法を知らせるための案内画面や、各種の入力画面や、商品読取部１１０で読み込んだ商品情報を表示する登録画面、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする精算画面等を表示する。
【００９３】
商品読取部１１０は、客が商品に付されたコードシンボルを商品読取部１１０の読取窓１０３にかざすことで商品画像を撮像部１６５により読み取るものである。
【００９４】
また、本体２０２の右側にはカゴに入った未精算の商品を置くための商品載置台２０３が設けられ、本体２０２の左側には精算済みの商品を置くための商品載置台２０４が設けられ、精算済みの商品を入れるための袋を掛けるための袋掛けフック２０５や、精算済みの商品を袋に入れる前に一時的に置いておくための一時置き台２０６が設けられている。商品載置台２０３及び２０４には計量器２０７，２０８がそれぞれ備えられており、精算の前後で商品の重量が同じであることを確認する機能を有している。
【００９５】
また、セルフＰＯＳ２００の本体２０２には、精算用の紙幣の入金や釣り紙幣の受け取りを行うための釣り銭器２０１が設けられている。
【００９６】
このような構成のセルフＰＯＳ２００に本発明の実施形態を適用した場合、セルフＰＯＳ２００が情報処理装置として機能することになる。なお、ＰＯＳ端末１１と商品読取装置１０１との機能を備えた１台構成の装置は、上述した構成のセルフＰＯＳ２００に限らず、計量器２０７及び２０８を除いて構成された装置であってもよい。
【００９７】
また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
【００９８】
また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。
【００９９】
また、上記実施形態のプログラムを、通信機能を有する携帯電話、スマートフォン、ＰＤＡ（Personal  Digital  Assistant）等の携帯情報端末に組み込んで、その機能を実現させる形態としてもよい。
【符号の説明】
【０１００】
１  チェックアウトシステム
１１  ＰＯＳ端末
６１１  売上登録部
１０１  商品読取装置
１６１１  画像取込部
１６１２  商品検出部
１６１３  第１特徴量抽出部
１６１４  第２特徴量抽出部
１６１５  類似度判定部
１６１６  商品候補提示部
１６１７  入力受付部
１６１８  情報出力部
Ｆ１  ＰＬＵファイル
Ｆ２  第１商品特性ファイル
Ｆ３  第２商品特性ファイル
【先行技術文献】
【特許文献】
【０１０１】
【特許文献１】特開２００１−３４８４１号公報
【図１】
2014052800.tif 000003
【図２】
2014052800.tif 000004
【図３】
2014052800.tif 000005
【図４】
2014052800.tif 000006
【図５】
2014052800.tif 000007
【図６】
2014052800.tif 000008
【図７】
2014052800.tif 000009
【図８】
2014052800.tif 000010
【図９】
2014052800.tif 000011
【図１０】
2014052800.tif 000012
【図１１】
2014052800.tif 000013
【図１２】
2014052800.tif 000014
【図１３】
2014052800.tif 000015