(57)【要約】【課題】商品認識装置の外観が類似する商品の認識率を高め得る。【解決手段】商品認識装置は、撮像手段により撮像された画像からその画像に含まれる商品の外観特徴量を抽出する。そして商品認識装置は、抽出された外観特徴量のデータを、認識対象である商品毎にその商品の表面情報を部位別に表わす部位別特徴量データが保存される認識辞書ファイルの部位別特徴量データと照合して、画像に含まれる商品を認識する。商品認識装置は、認識結果を記憶する。【選択図】      図５
2013250768.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段により撮像された画像からその画像に含まれる商品の外観特徴量を抽出する特徴量抽出手段と、
この特徴量抽出手段により抽出された外観特徴量のデータを、認識対象である商品毎にその商品の表面情報を部位別に表わす部位別特徴量データが保存される認識辞書ファイルの前記部位別特徴量データと照合して、前記画像に含まれる商品を認識する商品認識手段と、
この商品認識手段による認識結果を出力する出力手段と、
を具備したことを特徴とする商品認識装置。
【請求項２】
前記商品認識手段は、前記認識辞書ファイルに保存されている前記部位別特徴量データ毎に、前記外観特徴量が当該部位別特徴量データに対してどの程度類似しているかを示す類似度を算出し、これら部位別特徴量データ毎の類似度に基づいて前記画像に含まれる商品を認識することを特徴とする請求項１記載の商品認識装置。
【請求項３】
前記商品認識手段は、前記部位別特徴量データ毎の類似度を商品別に合計し、この合計類似度に基づいて前記画像に含まれる商品を認識することを特徴とする請求項２記載の商品認識装置。
【請求項４】
前記商品認識手段は、前記部位別特徴量データ毎に算出される類似度のうち他の商品は有さない特異部位の特徴量データに対して算出される類似度に基づいて、前記画像に含まれる商品を認識することを特徴とする請求項２記載の商品認識装置。
【請求項５】
認識対象である商品毎にその商品の表面情報を部位別に表わす部位別特徴量データが保存される認識辞書ファイルにアクセス可能なコンピュータを、
撮像手段により撮像された画像からその画像に含まれる商品の外観特徴量を抽出する特徴量抽出手段、
前記特徴量抽出手段により抽出された外観特徴量のデータを前記認識辞書ファイルの前記部位別特徴量データと照合して、前記画像に含まれる商品を認識する商品認識手段、及び、
前記商品認識手段による認識結果を出力する出力手段、
として機能させるための商品認識プログラム。
【請求項６】
前記商品認識手段は、前記認識辞書ファイルに保存されている前記部位別特徴量データ毎に、前記外観特徴量が当該部位別特徴量データに対してどの程度類似しているかを示す類似度を算出し、これら部位別特徴量データ毎の類似度に基づいて前記画像に含まれる商品を認識する手段である請求項５記載の商品認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、撮像手段を用いた商品認識装置及びコンピュータを前記商品認識装置として機能させるための商品認識プログラムに関する。
【背景技術】
【０００２】
対象となる物品（オブジェクト）を撮像部で撮像した画像データから当該物品の特徴量を抽出し、認識辞書に登録された特徴量データと照合して類似度を算出し、この類似度に応じて当該物品の種別等を認識する技術がある。このような画像中に含まれる物品を認識する技術は、一般物体認識（generic object recognition）と呼ばれる。この一般物体認識の技術については、下記の文献において各種認識技術が解説されている。
【０００３】
柳井  啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６［平成２２年８月１０日検索］，インターネット＜ URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf ＞
また、画像をオブジェクト毎に領域分割することによって、一般物体認識を行う技術が、下記の文献において解説されている。  
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，［平成２２年８月１０日検索］，インターネット＜ URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=repl&type=pdf ＞
近年、例えば小売店の会計システム（ＰＯＳシステム）において、顧客が買い上げる商品の認識装置に、一般物体認識の技術を適用することが提案されている。この場合、認識辞書には、各商品の外観形状、色合い、模様、凹凸具合等の表面情報をパラメータで表わす特徴量データが保存される。そして商品認識装置では、撮像手段によって撮像された商品の画像データから当該商品の表面情報に関わる特徴量を抽出し、この特徴量を認識辞書に登録されている各商品の特徴量データと照合する。その結果、所定の閾値以上の類似度を有する特徴量データを検出すると、その特徴量データを有する商品を認識商品候補として出力する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−０６９０９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
外観の多くの部分が類似する商品がある。例えば大根と蕪は、いずれもアブラナ科の根菜であるため、葉部は似通っている。また根部も、形状は異なるものの色合いや表面の凹凸具合は類似している。このため、撮像手段によって撮像された商品の画像によっては、大根と蕪が誤って認識される場合がある。
【０００６】
本発明が解決しようとする課題は、他の商品と外観が類似する商品の認識率を高め得る商品認識装置を提供しようとするものである。
【課題を解決するための手段】
【０００７】
一実施形態において、商品認識装置は、特徴量抽出手段と、商品認識手段と、出力手段とを備える。特徴量抽出手段は、撮像手段により撮像された画像からその画像に含まれる商品の外観特徴量を抽出する。商品認識手段は、特徴量抽出手段により抽出された外観特徴量のデータを、認識対象である商品毎にその商品の表面情報を部位別に表わす部位別特徴量データが保存される認識辞書ファイルの部位別特徴量データと照合して、画像に含まれる商品を認識する。出力手段は、商品認識手段による認識結果を出力する。
【図面の簡単な説明】
【０００８】
【図１】一実施形態である店舗会計システムの外観図。
【図２】同店舗会計システムの商品読取装置とＰＯＳ端末とのハードウェア構成を示すブロック図。
【図３】同店舗会計システムで用いられる認識辞書ファイルのデータ構造を示す模式図。
【図４】図３の認識辞書ファイルに設定される部位区分別特徴量データの部位区分を説明するための模式図。
【図５】同店舗会計システムの商品読取装置で商品認識モードが選択された際に、当該商品読取装置のＣＰＵによって実現される機能を示すブロック図。
【図６】同店舗会計システムにおける商品読取装置のＣＰＵが商品認識プログラムに従って実行する情報処理の手順を示す流れ図。
【図７】図６におけるステップＳＴ５の認識処理の手順を具体的に示す流れ図。
【図８】第２の実施形態の店舗会計システムで用いられる認識辞書ファイルのデータ構造を示す模式図。
【図９】同第２の実施形態において、商品読取装置のＣＰＵが商品認識プログラムに従って実行する情報処理のなかの認識処理の手順を具体的に示す流れ図。
【図１０】第３の実施形態において、商品読取装置のＣＰＵが商品認識プログラムに従って実行する情報処理のなかの認識処理の手順を具体的に示す流れ図。
【発明を実施するための形態】
【０００９】
以下、商品認識装置の実施形態について、図面を用いて説明する。なお、本実施形態は、店舗会計システム（ＰＯＳシステム）で利用される商品読取装置１に、商品認識装置としての機能を持たせた場合である。
【００１０】
（第１の実施形態）
始めに，第１の実施形態について、図１〜図７を用いて説明する。  
図１は、店舗会計システムの外観図である。このシステムは、顧客が買い上げる商品を登録する登録部としての商品読取装置１と、顧客の代金支払いを処理する決済部としてのＰＯＳ（Point Of Sales）端末２とを含む。商品読取装置１は、会計カウンタ３の上に取り付けられる。ＰＯＳ端末２は、レジ台４の上にドロワ５を介して設置される。商品読取装置１とＰＯＳ端末２とは、図示しない通信ケーブルによって電気的に接続される。
【００１１】
商品読取装置１は、キーボード１１、タッチパネル１２及び客用ディスプレイ１３を備える。これらの表示・操作デバイス（キーボード１１、タッチパネル１２、客用ディスプレイ１３）は、商品読取装置１の本体を構成する薄型矩形形状のハウジング１Ａに取り付けられる。
【００１２】
ハウジング１Ａには、撮像手段としての撮像部１４が内蔵される。また、矩形状の読取窓１Ｂが、ハウジング１Ａの正面に形成される。撮像部１４は、エリアイメージセンサであるＣＣＤ（Charge Coupled Device）撮像素子及びその駆動回路と、撮像領域の画像をＣＣＤ撮像素子に結像させるための撮像レンズとを備える。撮像領域とは、読取窓１Ｂから撮像レンズを通してＣＣＤ撮像素子のエリアに結像するフレーム画像の領域を指す。撮像部１４は、撮像レンズを通ってＣＣＤ撮像素子に結像した撮像領域の画像を出力する。
【００１３】
ＰＯＳ端末２は、決済に必要なデバイスとしてキーボード２１、オペレータ用ディスプレイ２２、客用ディスプレイ２３及びレシートプリンタ２４を備える。
【００１４】
会計カウンタ３は、その奥側の顧客通路に沿って細長い形状である。レジ台４は、会計カウンタ３に沿って移動する顧客の移動方向に対して下流側の会計カウンタ３の端部手前側に、会計カウンタ３に対して略垂直に置かれる。そして、この会計カウンタ３の手前側とレジ台４の手前側が、会計担当の店員いわゆるキャッシャのスペースとなる。
【００１５】
会計カウンタ３の略中央には、商品読取装置１のハウジング１Ａが、キーボード１１、タッチパネル１２及び読取窓１Ｂをそれぞれ手前側のキャッシャ側に向けて立設される。商品読取装置１の客用ディスプレイ１３は、顧客通路側を向いてハウジング１Ａに取り付けられる。
【００１６】
会計カウンタ３の商品読取装置１を挟んで顧客移動方向上流側の荷受面は、買物客が購入する未登録の商品Ｍが入れられた買物カゴ６を置くためのスペースとなる。また、下流側の荷受面は、商品読取装置１により登録された商品Ｍを入れるための買物カゴ７を置くためのスペースとなる。
【００１７】
図２は、商品読取装置１とＰＯＳ端末２とのハードウェア構成を示すブロック図である。商品読取装置１は、制御部本体としてＣＰＵ（Central Processing Unit）１０１を搭載する。そしてこのＣＰＵ１０１に、アドレスバス，データバス等のバスライン１０２を介して、ＲＯＭ１０３とＲＡＭ１０４とが接続される。ＲＯＭ１０３には、ＣＰＵ１０１によって実行されるプログラムが記憶される。
【００１８】
この他、バスライン１０２には、入出力回路（不図示）を介して前記撮像部１４が接続される。また、接続インターフェース１０５及び接続インターフェース１０６を介して、表示・操作デバイスであるキーボード１１、タッチパネル１２及び客用ディスプレイ１３が、バスライン１０２に接続される。タッチパネル１２は、例えば液晶ディスプレイを用いたパネル表示部１２１と、この表示部の画面上に重ねて配置されたタッチパネルセンサ１２２とを備える。
【００１９】
ＰＯＳ端末２も、制御部本体としてＣＰＵ２０１を搭載する。そしてこのＣＰＵ２０１に、バスライン２０２を介して、ＲＯＭ２０３、ＲＡＭ２０４、ＨＤＤ（Hard Disk Drive）装置２０５、通信インターフェース２０６及び接続インターフェース２０７が接続される。また、バスライン２０２には、前記キーボード２１、オペレータ用ディスプレイ２２、客用ディスプレイ２３、プリンタ２４及びドロワ５の各部も、それぞれ入出力回路（不図示）を介して接続される。
【００２０】
通信インターフェース２０６は、ＬＡＮ（Local Area Network）等のネットワークを介して、店舗の中枢を担うストアコンピュータＳＣと接続される。この接続により、ＰＯＳ端末２は、ストアコンピュータＳＣとデータの送受信が可能となる。例えばＰＯＳ端末２は、ストアコンピュータＳＣから商品データファイル（不図示）や認識辞書ファイル８１を受信する。受信した商品データファイル及び認識辞書ファイル８１は、ＨＤＤ装置２０５に保存される。
【００２１】
接続インターフェース２０７は、通信ケーブルを介して、商品読取装置１の両接続インターフェース１０５，１０６と接続される。この接続により、ＰＯＳ端末２は、商品読取装置１で読み取られた商品情報を受信する。また、商品読取装置１は、ＨＤＤ装置２０５に保存された商品データファイルや認識辞書ファイル８１へのアクセスが可能となる。
【００２２】
図３は、認識辞書ファイル８１に保存されるデータレコードの構造を示す模式図である。図３に示すように、認識辞書ファイル８１には、認識対象である商品毎に、その商品を識別する商品ＩＤ及び商品名と関連付けて、部位区分１〜Ｎ別の特徴量データを記録したデータレコードが保存される。店舗で販売される各商品には、固有の商品ＩＤが割当てられている。商品データファイルには、各商品の商品ＩＤと関連付けて、商品名、単価、分類コード等の商品情報がプリセットされている。
【００２３】
特徴量データは、対応する商品ＩＤで識別される商品の部位区分毎に、その部位区分で識別される部位の外観形状、色合い、模様、凹凸具合等の表面情報をパラメータで表わしたものである。商品の部位区分について、図４を用いて説明する。
【００２４】
図４において、左側のイラストは商品「大根」を示しており、右側のイラストは商品「蕪」を示している。商品「大根」と商品「蕪」とは、いずれもアブラナ科の根菜であり、大きく分けて部位としては葉部と根部とに分けられる。また、商品「大根」の場合、根部は、葉部に近い青首部と、葉部から離れた白根部とに分けられる。商品「蕪」の場合、根部は白根部であると言える。そこで、商品「大根」に対しては、部位区分「１０１」の葉部と、部位区分「１０２」の青首部と、部位区分「１０３」の白根部とについて、それぞれ特徴量データが記録されている。一方、商品「蕪」に対しては、部位区分「１０１」の葉部と、部位区分「１０３」の白根部とについて、それぞれ特徴量データが記録されている。つまり、部位区分の数Ｎは、商品によって異なる。
【００２５】
商品読取装置１は、業務モードとして少なくとも商品認識モードを有する。商品認識モードは、顧客が買い上げる商品を認識し、その認識結果をＰＯＳ端末２に出力するモードである。
【００２６】
商品認識モードが選択された場合、ＣＰＵ１０１は、図５のブロック図で示される各機能、すなわち特徴量抽出手段５１、商品認識手段５２及び出力手段５３を実現する。これらの機能は皆、プログラム記憶部であるＲＯＭ１０３に格納された商品認識プログラム（不図示）に従って実現される。
【００２７】
特徴量抽出手段５１は、撮像部１４によって撮像された画像から、その画像に含まれる商品の外観形状、色合い、模様、凹凸具合等の表面情報に関する外観特徴量を抽出する。商品認識手段５２は、特徴量抽出手段５１により抽出された外観特徴量のデータを、前記認識辞書ファイル８１の部位区分別特徴量データ（部位別特徴量データ）と照合して、前記画像に含まれる商品を認識する。詳しくは、認識辞書ファイル８１に保存されている部位区分別特徴量データ毎に、外観特徴量が当該部位区分別特徴量データに対してどの程度類似しているかを示す類似度を算出し、これら部位区分別特徴量データ毎の類似度に基づいて前記画像に含まれる商品を認識する。具体的には、部位区分別特徴量データ毎の類似度を商品毎に合計し、その合計類似度が所定の閾値より高ければ当該部位区分別特徴量データを有する商品を認識候補として決定し、前記閾値より低ければ当該商品を認識候補外として決定する。出力手段５３は、商品認識手段５２による認識結果、すなわち認識候補として決定された商品の情報を出力する。なお、出力とは、認識結果を表示すること、あるいは認識結果を外部機器（例えば、ＰＯＳ端末２）に送信すること等を含む。
【００２８】
図６は、商品認識モードが選択されたときのＣＰＵ１０１の主要な情報処理手順を示す流れ図である。商品認識モードが選択されると、商品認識プログラムが起動する。このプログラムの起動により、ＣＰＵ１０１は、撮像部１４に対して撮像オン信号を出力する（ＳＴ１）。この撮像オン信号により、撮像部１４が撮像領域の撮像を開始する。撮像部１４で撮像された撮像領域のフレーム画像は、ＲＡＭ１０４に順次保存される。
【００２９】
ＣＰＵ１０１は、ＲＡＭ１０４に保存されたフレーム画像のデータを取り込む（ＳＴ２）。そしてＣＰＵ１０１は、このフレーム画像に商品が撮影されているか否かを確認する（ＳＴ３）。具体的には、ＣＰＵ１０１は、フレーム画像を二値化した画像から輪郭線等を抽出する。そしてＣＰＵ１０１は、フレーム画像に映し出されている物体の輪郭抽出を試みる。物体の輪郭が抽出されると、ＣＰＵ４１は、その輪郭内の画像を商品とみなす。
【００３０】
フレーム画像に商品が撮影されていない場合（ＳＴ３にてＮＯ）、ＣＰＵ１０１は、ＲＡＭ１０４から次のフレーム画像を取り込む（ＳＴ２）。これに対し、フレーム画像に商品が撮影されていた場合には（ＳＴ３にてＹＥＳ）、ＣＰＵ１０１は、その輪郭内の画像から商品の形状、表面の色合い、模様、凹凸状況等の外観特徴量を抽出する（ＳＴ４：特徴量抽出手段５１）。抽出された外観特徴量のデータは、ＲＡＭ１０４のワークエリアに一時的に格納される。
【００３１】
特徴量を抽出し終えると、ＣＰＵ１０１は、図７の流れ図に具体的に示す手順の認識処理を実行する（ＳＴ５：商品認識手段５２）。先ずＣＰＵ１０１は、接続インターフェース１０５を介して接続されるＰＯＳ端末２のＨＤＤ装置２０５にアクセスして、認識辞書ファイル８１を検索する（ＳＴ１１）。そしてＣＰＵ１０１は、認識辞書ファイル８１から１商品のデータレコード（商品ＩＤ、商品名、部位区分別特徴量データ）を読み込む（ＳＴ１２）。
【００３２】
データレコードを読み込めたならば、ＣＰＵ１０１は、当該レコードの部位区分別特徴量データ毎に、ステップＳＴ４の処理で抽出された外観特徴量が当該部位区分別特徴量データに対してどの程度類似しているかを示す類似度を算出する（ＳＴ１３）。
【００３３】
各部位区分別特徴量データに対してそれぞれ類似度が算出されたならば、ＣＰＵ１０１は、これら部位区分別特徴量データ毎の類似度を合計する（ＳＴ１４）。そしてＣＰＵ１０１は、この合計類似度が所定の閾値より高いレベルなのか否かを確認する（ＳＴ１５）。
【００３４】
合計類似度が閾値より高いレベルにある場合（ＳＴ１５にてＹＥＳ）、ＣＰＵ１０１は、当該データレコードの商品ＩＤと商品名を、登録商品候補としてＲＡＭ１０４の所定エリアに格納する（ＳＴ１６）。これに対し、合計類似度が閾値を超えない場合には（ＳＴ１５にてＮＯ）、ＣＰＵ１０１は、ステップＳＴ１６の処理を実行しない。
【００３５】
しかる後、ＣＰＵ１０１は、認識辞書ファイル８１に未処理のデータレコードが存在するか否かを確認する（ＳＴ１７）。存在する場合（ＳＴ１７にてＹＥＳ）、ＣＰＵ１０１は、ステップＳＴ１２の処理に戻る。すなわちＣＰＵ１０１は、認識辞書ファイル８１から未処理のデータレコードを読み込み、前記ステップＳＴ１３〜ＳＴ１７の処理を実行する。
【００３６】
こうして、認識辞書ファイル８１に保存されている全てのデータレコードについて、前記ステップＳＴ１３〜ＳＴ１７の処理が実行されると（ＳＴ１７にてＮＯ）、認識処理が終了する。
【００３７】
認識処理が終了すると、ＣＰＵ１０１は、登録商品候補の有無を確認する（ＳＴ６）。ＲＡＭ１０４の所定エリアに登録商品候補となる商品の商品ＩＤと商品名とが１つも格納されていない場合、登録商品候補はない。この場合（ＳＴ６にてＮＯ）、ＣＰＵ１０１は、ステップＳＴ２の処理に戻る。すなわちＣＰＵ１０１は、ＲＡＭ１０４から次のフレーム画像データを取り込む。そしてＣＰＵ１０１は、この画像データについて、前記ステップＳＴ３〜ＳＴ６の処理を実行する。
【００３８】
一方、ＲＡＭ１０４の所定エリアに商品ＩＤと商品名とが１つでも格納されていた場合には、登録商品候補がある。この場合（ＳＴ６にてＹＥＳ）、ＣＰＵ１０１は、次の処理へ進む。例えば、登録商品候補のリストをタッチパネル１２に表示させて（出力手段５３）、いずれか１商品をユーザに選択させる。
【００３９】
このように本実施形態においては、認識対象である商品毎に、その商品の表面情報を部位別に表わす部位区分別特徴量データが認識辞書ファイル８１に保存されている。そして商品読取装置１は、上記認識辞書ファイル８１に対してアクセス可能となっている。
【００４０】
一方、会計担当の店員いわゆるキャッシャは、買物客が購入する未登録の商品Ｍを買物カゴ６から１品ずつ取り出して、商品読取装置１の読取窓１Ｂにかざす。そうすると、撮像部１４によって商品Ｍが撮像され、この商品Ｍの画像データが商品読取装置１に取り込まれる。
【００４１】
商品読取装置１では、商品Ｍの画像データから、商品Ｍの形状、表面の色合い、模様、凹凸状況等の外観特徴量が抽出される。そして、この外観特徴量のデータが、認識辞書ファイル８１に保存されている各商品の部位区分別特徴量データと照合される。
【００４２】
例えば、商品Ｍとして「大根」を例示する。商品「大根」に対しては、葉部を示す部位区分「１０１」と、青首部を示す部位区分「１０２」と、白根部を示す部位区分「１０３」とにそれぞれ関連付けて、その部位毎の特徴量データが認識辞書ファイル８１に保存されている。また、商品「大根」と同じアブラナ科の根菜である商品「蕪」に対しても、葉部を示す部位区分「１０１」と、白根部を示す部位区分「１０３」とにそれぞれ関連付けて、その部位毎の特徴量データが認識辞書ファイル８１に保存されている。ただし、商品「蕪」に対しては、青首部を示す部位区分「１０２」の特徴量データは保存されていない。
【００４３】
今、撮像部１４によって商品「大根」の全体が撮像されたとする。この場合、画像には、商品「大根」の葉部と青首部と白根部とが存在する。このため、画像から抽出される商品表面情報の特徴量と認識辞書ファイル８１に記録されている商品「大根」の部位区分別特徴量データとの類似度は、葉部、青首部及び白根部のいずれにおいても高くなる。これに対し、同商品表面情報の特徴量と商品「蕪」の部位区分別特徴量データとの類似度は、画像データに青首部が含まれている分、葉部及び白根部のいずれにおいても、商品「大根」のときよりも低下する。したがって商品読取装置１は、「大根」と「蕪」のように外観の多くの部分が類似している商品であっても、高い確率で識別することができる。
【００４４】
また、撮像部１４で商品「大根」の葉部と青首部とが撮像され、白根部は殆ど撮像されなかったとする。この場合も、画像には、商品「大根」の葉部と青首部とが存在するので、画像から抽出される商品表面情報の特徴量と認識辞書ファイル８１に記録されている商品「大根」の部位区分別特徴量データとの類似度は、葉部と青首部とで高くなる。これに対し、同商品表面情報の特徴量と商品「蕪」の部位区分別特徴量データとの類似度は、画像データに青首部が含まれている分、商品「大根」のときよりも低下する。撮像部１４で商品「大根」の青首部と白根部とが撮像された場合も同様である。したがって、商品読取装置１は、商品の全体が撮像部１４で撮像されなくても、高い確率で商品を認識することができる。
【００４５】
（第２の実施形態）
前記第１の実施形態では、一つの商品に対する複数の部分区分別特徴量データ毎に、撮像画像から抽出される商品表面情報の特徴量との類似度を算出し、各類似度の合計が所定の閾値を越えるか否かによって商品を認識する。このため、商品の撮像部位によっては、外観が類似した他の商品が登録商品候補として認識される可能性がある。
【００４６】
例えば、商品「蕪」が撮像部１４によって撮像されたと仮定する。この場合、画像には、商品「蕪」の葉部と白根部とが存在する。このため、画像から抽出される商品表面情報の特徴量と認識辞書ファイル８１に記録されている商品「蕪」の部位区分別特徴量データとの類似度は、葉部及び白根部のいずれにおいても高くなる。同様に、同商品表面情報の特徴量と認識辞書ファイル８１に記録されている商品「大根」の部位区分別特徴量データとの類似度は、葉部及び白根部のいずれにおいても高くなる。したがって、商品読取装置１は、撮像部１４で撮像された商品が「蕪」なのか「大根」なのかは識別することができない。
【００４７】
しかし、認識辞書ファイル８１に記録されている商品「大根」の部位区分別特徴量データには、商品「大根」の特異部位である青首部の部位区分別特徴量データが存在する。そして、撮像部１４で撮像された商品が「蕪」であった場合には、青首部の部位区分別特徴量データとの類似度は低く、０％に近い値となる。一方、撮像された商品が「大根」であった場合には、青首部の部位区分別特徴量データとの類似度が０％となることはない。すなわち商品読取装置１では、葉部及び白根部の類似度が略同じであったとしても、青首部の類似度が高ければ「大根」であり、類似度が０％ならば「大根」でないと識別できる。
【００４８】
そこで次に、商品の特異部位に着眼した第２の実施形態について、図８，９を用いて説明する。なお、第２の実施形態も、第１の実施形態と同様に商品読取装置１に商品認識装置の機能を持たせた場合であり、第１の実施形態で説明した図１，２，４，５，６を利用できるので、第１の実施形態と共通する部分には同一符号を付して、詳しい説明を省略する。
【００４９】
図８は、第２の実施形態で用いられる認識辞書ファイル８２のデータ構造を示す模式図である。第１の実施形態の認識辞書ファイル８１（図４を参照）と比較すると、第２の実施形態では、部位区分毎に特異性があるか否かを識別するためのフラグｆが追加されている。このフラグｆは、対応する部位区分で特定される部位が、その商品の特異部分であるとき“１”にセットされ、特異部分でないときには“０”にリセットされる。例えば、商品「大根」の場合、葉部と白根部は特異部位でないためフラグｆは“０”にリセットされるが、青首部は特異部位であるためフラグｆは“１”にセットされる。
【００５０】
図９は、第２の実施形態における認識処理（商品認識手段５２）の手順を示す流れ図である。この処理において、ステップＳＴ２１〜ＳＴ２５の処理は、第１の実施形態におけるステップＳＴ１１〜ＳＴ１５の処理と同様である。すなわちＣＰＵ１０１は、認識辞書ファイル８２を検索して（ＳＴ２１）、認識辞書ファイル８２から１商品のデータレコード（商品ＩＤ、商品名、フラグｆ、部位区分別特徴量データ）を読み込む（ＳＴ２２）。そして、１データレコードを読み込めたならば、ＣＰＵ１０１は、当該レコードの部位区分別特徴量データ毎に類似度を算出し（ＳＴ２３）、さらに、各部位区分別特徴量データ毎の類似度を合計する（ＳＴ２４）。そしてＣＰＵ１０１は、この合計類似度が所定の閾値より高いレベルなのか否かを確認する（ＳＴ２５）。合計類似度が閾値を超えない場合（ＳＴ２５にてＮＯ）、ＣＰＵ１０１は、ステップＳＴ２９の処理に進む。
【００５１】
合計類似度が閾値より高いレベルにある場合には（ＳＴ２５にてＹＥＳ）、ＣＰＵ１０１は、当該データレコードをチェックして、“１”にセットされているフラグｆが存在するか否か、つまり特異部位があるか否かを確認する（ＳＴ２６）。当該データレコードのフラグｆが全て“０”にリセットされていた場合（ＳＴ２６にてＮＯ）、ＣＰＵ１０１は、ステップＳＴ２８の処理に進む。
【００５２】
当該データレコードのフラグｆのなかに“１”にセットされているフラグが１つでも存在する場合（ＳＴ２６にてＹＥＳ）、ＣＰＵ１０１は、このフラグｆが“１”にセットされている部位区分別特徴量データと、撮像画像から抽出される商品表面情報の特徴量との類似度を調べる（ＳＴ２７）。ここで、類似度が例えば１０％未満の場合、特異部位は類似していない。この場合（ＳＴ２７にてＮＯ）、ＣＰＵ１０１は、ステップＳＴ２９の処理に進む。
【００５３】
これに対し、類似度が例えば１０％以上の場合、特異部位は類似している。この場合（ＳＴ２７にてＹＥＳ）、ＣＰＵ１０１は、ステップＳＴ２８の処理に進む。すなわちＣＰＵ１０１は、当該データレコードの商品ＩＤと商品名を、登録商品候補としてＲＡＭ１０４の所定エリアに格納する。しかる後、ＣＰＵ１０１は、ステップＳＴ２９の処理に進む。
【００５４】
ステップＳＴ２９では、ＣＰＵ１０１は、認識辞書ファイル８２に未処理のデータレコードが存在するか否かを確認する。存在する場合（ＳＴ２９にてＹＥＳ）、ＣＰＵ１０１は、ステップＳＴ２２の処理に戻る。すなわちＣＰＵ１０１は、認識辞書ファイル８２から未処理のデータレコードを読み込む。そしてＣＰＵ１０１は、このデータレコードについて、前記ステップＳＴ２３〜ＳＴ２９の処理を実行する。
【００５５】
こうして、認識辞書ファイル８１に保存されている全てのデータレコードについて、前記ステップＳＴ２２〜ＳＴ２９の処理が実行されると（ＳＴ２９にてＮＯ）、認識処理が終了する。
【００５６】
このように、第２の実施形態においても、第１の実施形態と同様に、商品読取装置１は、一つの商品に対する複数の部分区分別特徴量データ毎に、撮像画像から抽出される商品表面情報の特徴量との類似度を算出し、各類似度の合計が所定の閾値を越えるか否かによって商品を認識する。ただし、各類似度の合計が閾値を越えた場合でも、特異部位を有する商品の部分区分別特徴量データを処理しているときには、商品読取装置１は、当該特異部位の部分区分別特徴量データの類似度が所定値以上か否かを確認する。そして商品読取装置１は、類似度が所定値以上であれば登録商品候補として商品ＩＤと商品名を所定エリアに格納するが、所定値以上でない場合には、登録商品候補から外す。
【００５７】
したがって、例えば商品「大根」を撮像部１４で撮像した場合、「大根」のデータコードに対しては、「大根」の特異部位である青首部の類似度が所定値以上となるので、商品「大根」が登録商品候補となる。しかし、商品「蕪」を撮像部で撮像した場合には、「大根」のデータコードに対して各部位の類似度合計が閾値を越えたとしても、青首部の類似度が所定値以上にはならないので、商品「大根」が登録商品候補となることはない。したがって、商品読取装置１は、より高い精度をもって商品を認識することができる。
【００５８】
（第３の実施形態）
前記第２の実施形態では、認識辞書ファイル８２のデータ項目に、特異部位であるか否かを識別するためのフラグｆを設けている（図８を参照）。そして、ＣＰＵ１０１が実行する処理手順のステップＳＴ２６において、このフラグｆを利用して特異部位の有無を識別し、特異部位有りのときには、ステップＳＴ２７にてこの特異部位の部位区分別特徴量データと、撮像画像から抽出される商品表面情報の特徴量との類似度を調べている（図９を参照）。しかしながら、必ずしも商品に特異部位があるか否かを、フラグｆを用いて識別する必要はない。
【００５９】
そこで次に、フラグｆを使用しない第３の実施形態について、図１０を用いて説明する。なお、第３の実施形態も、第１及び第２の実施形態と同様に商品読取装置１に商品認識装置の機能を持たせた場合であり、第１の実施形態で説明した図１，２，４，５，６を利用できるので、第１の実施形態と共通する部分には同一符号を付して、詳しい説明を省略する。また、第３の実施形態で用いられる認識辞書ファイルのデータ構造は第１の実施形態の認識辞書ファイル８１と同様なので、図３を用いて、その詳しい説明は省略する。
【００６０】
図１０は、第３の実施形態における認識処理（商品認識手段５２）の手順を示す流れ図である。この処理において、ステップＳＴ３１〜ＳＴ３５の処理、及びはステップＳＴ３８，ＳＴ３９の処理は、第２の実施形態におけるステップＳＴ２１〜ＳＴ２５の処理及びステップＳＴ２８，ＳＴ２９の処理と同様である。すなわちＣＰＵ１０１は、認識辞書ファイル８１を検索して（ＳＴ３１）、認識辞書ファイル８１から１商品のデータレコード（商品ＩＤ、商品名、部位区分別特徴量データ）を読み込む（ＳＴ３２）。そして、１データレコードを読み込めたならば、ＣＰＵ１０１は、当該レコードの部位区分別特徴量データ毎に類似度を算出し（ＳＴ３３）、さらに、各部位区分別特徴量データ毎の類似度を合計する（ＳＴ３４）。そしてＣＰＵ１０１は、この合計類似度が所定の閾値より高いレベルなのか否かを確認する（ＳＴ３５）。合計類似度が閾値を超えない場合（ＳＴ３５にてＮＯ）、ＣＰＵ１０１は、ステップＳＴ３９の処理に進む。
【００６１】
合計類似度が閾値より高いレベルにある場合には（ＳＴ３５にてＹＥＳ）、ＣＰＵ１０１は、各部位区分別特徴量データ毎の類似度を精査する（ＳＴ３６）。そしてＣＰＵ１０１は、少なくとも１つの部位区分別特徴量データに対する類似度が、所定値Ｋ％以下であるか否かを確認する（ＳＴ３７）。ここで、所定値Ｋ％は、類似度が非常に低いと認定される値であり、例えば３％である。
【００６２】
少なくとも１つの部位区分別特徴量データに対する類似度が、所定値Ｋ％以下である場合（ＳＴ３７にてＮＯ）、ＣＰＵ１０１は、ステップＳＴ３９の処理に進む。
【００６３】
各部位区分別特徴量データに対する類似度が所定値Ｋ％を越える場合には、ＣＰＵ１０１は、ステップＳＴ３８の処理に進む。すなわちＣＰＵ１０１は、当該データレコードの商品ＩＤと商品名を、登録商品候補としてＲＡＭ１０４の所定エリアに格納する。しかる後、ＣＰＵ１０１は、ステップＳＴ３９の処理に進む。
【００６４】
ステップＳＴ３９では、ＣＰＵ１０１は、認識辞書ファイル８２に未処理のデータレコードが存在するか否かを確認する。存在する場合（ＳＴ３９にてＹＥＳ）、ＣＰＵ１０１は、ステップＳＴ３２の処理に戻る。すなわちＣＰＵ１０１は、認識辞書ファイル８２から未処理のデータレコードを読み込む。そしてＣＰＵ１０１は、このデータレコードについて、前記ステップＳＴ３３〜ＳＴ３９の処理を実行する。
【００６５】
こうして、認識辞書ファイル８１に保存されている全てのデータレコードについて、前記ステップＳＴ３２〜ＳＴ３９の処理が実行されると（ＳＴ３９にてＮＯ）、認識処理が終了する。
【００６６】
このように、第３の実施形態においても、第１及び第２の実施形態と同様に、商品読取装置１は、一つの商品に対する複数の部分区分別特徴量データ毎に、撮像画像から抽出される商品表面情報の特徴量との類似度を算出し、各類似度の合計が所定の閾値を越えるか否かによって商品を認識する。ただし、各類似度の合計が閾値を越えた場合でも、少なくとも１つの部位区分別特徴量データに対する類似度が、所定値Ｋ％以下である場合、すなわち、当該部位の類似度が低く、類似していないと判定された場合には、商品読取装置１は、登録商品候補から外す。
【００６７】
したがって、第２の実施形態と同様に、例えば商品「大根」を撮像部１４で撮像した場合、「大根」のデータコードに対しては、「大根」の特異部位である青首部の類似度が所定値Ｋ％を超えるので、商品「大根」が登録商品候補となる。しかし、商品「蕪」を撮像部で撮像した場合には、「大根」のデータコードに対して各部位の類似度合計が閾値を越えたとしても、青首部の類似度が所定値Ｋ％以下となるので、商品「大根」が登録商品候補となることはない。したがって、認識辞書ファイル８１のデータにフラグｆを持たせなくても、商品読取装置１は、より高い精度をもって商品を認識することができる。
【００６８】
なお、本発明は、前記実施形態に限定されるものではない。  
例えば前記各実施形態は、ＰＯＳ端末２とは別体の商品読取装置１に商品認識装置の機能を持たせたが、商品読取装置１がＰＯＳ端末２に組み込まれて一体となった装置に、商品認識装置の機能を持たせてもよい。または、ＰＯＳ端末２と商品読取装置１とを別体で構成し、ＰＯＳ端末２側に商品認識装置の機能を持たせてもよい。あるいは、デジタルカメラ等の撮像手段を接続してなるコンピュータ機器に、前記商品認識プログラムをインストールすることによって、商品認識装置の機能を持たせることも可能である。この場合、認識辞書ファイル８１または８２は、当該コンピュータ機器の内部記憶装置に保存されていてもよいし、当該コンピュータ機器にオンライン接続された外部機器の記憶装置に保存されていてもよい。
【００６９】
また、商品認識プログラムに従って実行されるＣＰＵ１０１の処理手順は、前記各実施形態に限定されるものではない。例えば、第２の実施形態において、ステップＳＴ２５の判断処理を、ステップＳＴ２７の判断処理において“ＹＥＳ”と判断された後に実行してもよい。同様に、第３の実施形態において、ステップＳＴ３５の判断処理を、ステップＳＴ３７の判断処理において“ＮＯ”と判断された後に実行するように変更することも可能である。
【００７０】
また、前記実施形態では、部位区分別類似度を合計し、この合計類似度が閾値を超える場合に登録商品候補として選出したが、登録商品候補の選出方法はこれに限定されるものではない。例えば、部位区分別類似度の平均を算出し、この平均値が閾値を超える場合に登録商品候補として選出してもよい。また、平均ではなく標準偏差等のその他の統計的手法を用いることも可能である。
【００７１】
また、前記各実施形態では、青果物である「大根」と「蕪」を例に説明を行ったが、本発明は、青果物に限定されないのは言うまでもない。例えば鮮魚、パン，惣菜等の飲食物や、ボルト，ナット等の工業部品等の商品を認識する場合にも、本発明を適用できるものである。
【００７２】
また、前記各実施形態の説明で用いた数値はあくまでも一例であり、本発明がこの数値に限定されないのは言うまでもないことである。
【００７３】
また、前記各実施形態は、装置内部のプログラム記憶部であるＲＯＭ１０３に発明の機能を実現させる商品認識プログラムが予め記録されているものとした。しかしこれに限らず、同様のプログラムがネットワークから装置にダウンロードされてもよい。あるいは、記録媒体に記録された同様のプログラムが、装置にインストールされてもよい。記録媒体は、ＣＤ−ＲＯＭ，メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。また、プログラムのインストールやダウンロードにより得る機能は、装置内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。
【００７４】
この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７５】
１…商品読取装置、２…ＰＯＳ端末、１４…撮像部、５１…特徴量抽出手段、５２…商品認識手段、５３…出力手段、８１，８２…認識辞書ファイル。
【図１】
2013250768.tif 000003
【図２】
2013250768.tif 000004
【図３】
2013250768.tif 000005
【図４】
2013250768.tif 000006
【図５】
2013250768.tif 000007
【図６】
2013250768.tif 000008
【図７】
2013250768.tif 000009
【図８】
2013250768.tif 000010
【図９】
2013250768.tif 000011
【図１０】
2013250768.tif 000012