(57)【要約】【課題】ＰＯＳで商品画像を画像認識して商品種別と価格を適正に決定する。【解決手段】ＰＯＳ端末装置に、撮像手段によって撮像された対象を含む画像から物体を認識する認識手段と、対象を含む画像に基づいて大きさを識別する識別手段と、認識手段の認識結果に基づいて物品を特定し、識別手段に識別結果に基づいて物品と対応づいた区分に分類する分類手段と、を設ける。【選択図】図１
2019057326.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段によって撮像された対象を含む画像から物体を認識する認識手段と、
前記対象を含む画像に基づいて大きさを識別する識別手段と、
前記認識手段の認識結果に基づいて物品を特定し、
前記識別手段に識別結果に基づいて前記物品と対応づいた区分に分類する分類手段と、
を有することを特徴とするＰＯＳ端末装置。
【請求項２】
前記識別手段は、前記画像に含まれている対象の画面領域範囲及び距離に基づいて大きさを識別することを特徴とする請求項１記載のＰＯＳ端末装置。
【請求項３】
前記識別手段は、画像内に描写されていた複数物体を個別に大きさ若しくは大きさを定める１ないし複数の前記分類手段で区分することに用いるために設定されている対象の大きさ項目を求め、前記複数物体を１つの纏まった対象として大きさを導出処理することを特徴とする請求項１又は２に記載のＰＯＳ端末装置。
【請求項４】
前記識別手段は、前記撮像手段で撮像された前記対象の連続した複数画像をつなぎ合わせて一画像化し、一画像化した画像に描写されている前記対象の長さと距離とをパラメータに含めて、前記対象の大きさを推定処理することを特徴とする請求項１ないし３の何れか一項に記載のＰＯＳ端末装置。
【請求項５】
前記識別手段は、前記撮像手段で撮像された前記対象の画像に写っている一部領域を識別して、該一部領域の有した輪郭の曲率と距離とをパラメータに含めて、前記対象の大きさを推定処理することを特徴とする請求項１ないし４の何れか一項に記載のＰＯＳ端末装置。
【請求項６】
前記分類手段は、少なくとも前記対象の大きさを反映させた各項目の値に基づいて、ＰＬＵコードに対応している区分の何れかに、物体認識した前記対象を分類することを特徴とする請求項１ないし５の何れか一項に記載のＰＯＳ端末装置。
【請求項７】
撮像手段によって撮像された対象を含む画像から物体を認識する認識手段と、
前記対象を含む画像に基づいて大きさを識別する識別手段と、
前記認識手段の認識結果に基づいて物品を特定し、
前記識別手段に識別結果に基づいて前記物品と対応づいた区分に分類する分類手段と、
を有することを特徴とするサーバ。
【請求項８】
対象の画像を撮像する撮像手段を有するＰＯＳ端末装置と、
撮像手段によって撮像された対象を含む画像から物体を認識する認識手段と、
前記撮像手段から撮像された前記対象の画像に基づいて、前記対象の大きさを識別処理する識別手段と、
前記認識手段の認識結果に基づいて物品を特定し、
前記識別手段に識別結果に基づいて前記物品と対応づいた区分に分類する分類手段と、
を有する情報処理装置と、
を備えるＰＯＳシステム。
【請求項９】
ＰＬＵデータにアクセス可能な情報処理システムは、
撮像部で撮像された対象画像と、該対象画像から物体を認識して得られた認識結果とを取得し、
前記撮像部から撮像された前記対象画像に基づいて大きさを識別し、
認識結果に基づいて物品を特定し、前記対象の大きさに基づいて該対象をＰＬＵ区分の何れかに分類し、
前記対象の認識結果と分類結果に基づいて、前記ＰＬＵデータから該対象のＰＬＵコードを特定する
ことを特徴とするＰＬＵ特定方法。
【請求項１０】
情報処理システムを、
撮像手段によって撮像された対象を含む画像から物体を認識する認識手段と、
前記対象を含む画像に基づいて大きさを識別する識別手段と、
前記認識手段の認識結果に基づいて物品を特定し、
前記識別手段に識別結果に基づいて前記物品と対応づいた区分に分類する分類手段、
として、動作させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＰＯＳ（Point Of Sale）システムに関し、特に対象を画像認識で物体認識するＰＯＳ端末装置、サーバ、ＰＯＳシステム、ＰＬＵ特定方法、及びプログラムに関する。
【背景技術】
【０００２】
昨今、画像認識技術を取り入れたＰＯＳシステムが開発されている。 
この画像認識技術を使用するＰＯＳシステムでは、撮像された対象（画像）とデータベース内の対比データとを比べ、一致度や尤度の算定を行う。次に、ＰＯＳシステムは、一致度や尤度の算定結果に基づいて、ＰＬＵ（Price Look Up）コードに対応付いた１ないし複数の候補を求め、画像に描写されていた対象のＰＬＵコード、もしくはＰＬＵコード候補を求める。その後、既存のＰＯＳシステム同様に代金の支払いや在庫管理に供される。
【０００３】
このような画像認識技術を取り込んだＰＯＳシステムでは、バーコードに頼らない商品管理が可能になる。
【０００４】
関連する技術は、例えば特許文献１が挙げられる。
【０００５】
特許文献１には、商品を撮像した撮像画像から対象商品を物体認識する品種識別部を有するＰＯＳシステムが記載されている。また、このＰＯＳシステムでは、品種識別処理の後に、識別した対象商品を固体識別する画像認識処理を実行する。固体識別結果は、必要に応じて、予めこの個体向けに準備しておいた情報（例えば、産地、等級、生産者、収穫日など）と関連付けられ、会計処理時に利用されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１３−２１０９７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
商品画像を画像認識して商品種別を認識する際に、幾つか課題がある。
【０００８】
その一つは、商品の大きさや商品の等級を、画像から判別することが困難な点が挙げられる。特許文献１に記載された手法では、この問題に対して、予め商品に付された等級を表したマーク（特性シンボル）を画像マッチング技術で探索することで、予めこの個体向けに準備しておいた情報と物品を関連付けて解消している。他方で、この手法では、マークが無ければ等級等を判別できない問題を指摘できる。
【０００９】
また、別の観点では、撮像範囲に商品全体を適切に入れることが困難な物品が多くある。商品の大きさ、長さ、撮像手段の配置（撮像範囲）などがＰＯＳシステムの利用を制限することに繋がってしまう。これらの商品では、結果的に、人間がキーボードやバーコードスキャナなどで商品種別を選定することになる。
【００１０】
また、商品が小さい場合や纏まっている場合にも商品種別や等級などを識別することに困難性を有する。
【００１１】
本発明は、上記課題に鑑み、撮像画像に描写されている対象を的確に識別及び／又は区分するＰＯＳ端末装置、サーバ、ＰＯＳシステム、ＰＬＵ特定方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明に係るＰＯＳ端末装置は、撮像手段によって撮像された対象を含む画像から物体を認識する認識手段と、前記対象を含む画像に基づいて大きさを識別する識別手段と、前記認識手段の認識結果に基づいて物品を特定し、前記識別手段に識別結果に基づいて前記物品と対応づいた区分に分類する分類手段と、を有することを特徴とすることを特徴とする。
【００１３】
本発明に係るサーバは、撮像手段によって撮像された対象を含む画像から物体を認識する認識手段と、前記対象を含む画像に基づいて大きさを識別する識別手段と、前記認識手段の認識結果に基づいて物品を特定し、前記識別手段に識別結果に基づいて前記物品と対応づいた区分に分類する分類手段と、を有することを特徴とする。
【００１４】
本発明に係るＰＯＳシステムは、対象の画像を撮像する撮像手段を有するＰＯＳ端末装置と、撮像手段によって撮像された対象を含む画像から物体を認識する認識手段と、前記撮像手段から撮像された前記対象の画像に基づいて、前記対象の大きさを識別処理する識別手段と、前記認識手段の認識結果に基づいて物品を特定し、前記識別手段に識別結果に基づいて前記物品と対応づいた区分に分類する分類手段と、を有する情報処理装置と、を備える。
【００１５】
本発明に係るＰＬＵ特定方法は、ＰＬＵデータにアクセス可能な情報処理システムは、撮像部で撮像された対象画像と、該対象画像から物体を認識して得られた認識結果とを取得し、前記撮像部から撮像された前記対象画像に基づいて大きさを識別し、認識結果に基づいて物品を特定し、前記対象の大きさに基づいて該対象をＰＬＵ区分の何れかに分類し、前記対象の認識結果と分類結果に基づいて、前記ＰＬＵデータから該対象のＰＬＵコードを特定することを特徴とする。
【００１６】
本発明に係るプログラムは、情報処理システムを、撮像手段によって撮像された対象を含む画像から物体を認識する認識手段と、前記対象を含む画像に基づいて大きさを識別する識別手段と、前記認識手段の認識結果に基づいて物品を特定し、前記識別手段に識別結果に基づいて前記物品と対応づいた区分に分類する分類手段、として、動作させることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、撮像画像に描写されている対象を的確に識別及び／又は区分するＰＯＳ端末装置、サーバ、ＰＯＳシステム、ＰＬＵ特定方法、及びプログラムを提供できる。
【図面の簡単な説明】
【００１８】
【図１】実施形態にかかるＰＯＳシステムを示した機能ブロック図である。
【図２】実施形態にかかるＰＯＳシステムでの対象の区分に係る処理動作例を示したフローチャートである。
【図３】区分用テーブル情報例を示した説明図である。
【発明を実施するための形態】
【００１９】
本発明の実施の形態を図面を参照しつつ説明する。
【００２０】
図１は、実施形態にかかるＰＯＳシステムを示した機能ブロック図である。  本実施形態では、スーパーに配置されるＰＯＳシステムを念頭に説明する。
【００２１】
ＰＯＳシステムは、撮像部１０、物体認識部２０と共に、対象の大きさを識別処理する識別部３０と、対象の大きさと対象の認識結果とに基づいて該対象を区分する分類部４０を含んでいる。識別部３０と分類部４０は、区分を導出する区分導出手段として動作する。
【００２２】
なお、ＰＯＳシステムの有する公知の機構（例えば各種演算部、各種データベース、通信部、ドロア、レシートプリンタなど）や処理動作（例えば、ＰＬＵ参照処理や、精算処理、ドロワとの連携、レシート排出処理など）について、説明を簡略化若しくは省略する。本実施形態にかかるＰＯＳシステムも、１ないし複数の制御部（ＣＰＵ: Central Processing Unit）がＲＡＭに展開された各種プログラムによって、各部を制御する。
【００２３】
撮像部１０は、撮像範囲に入った識別対象（品物）を画像化する。また必要に応じて複眼カメラや、マルチスペクトルカメラなどを撮像部１０として用いてもよい。
【００２４】
物体認識部２０は、撮像部１０で画像化された画像から識別対象（品物）を物体認識する。物体認識手法は、画像マッチング方式や、特徴量による一般物体認識方式、バーコードやＱＲコード（登録商標）による２次元コード画像識別方式、これらの複合方式を用いることができる。物体認識部２０の演算リソース及び対比データは、必ずとも店舗システム内に有る必要はない。演算リソース及び対比データは、必要に応じて、筐体内、店舗内、社内ネットワーク内、クラウド上、などに適宜設置すればよい。
【００２５】
識別部３０は、画像から対象の大きさを対象との距離を踏まえて識別処理する。 
対象までの距離は、距離算定手段として物理装置を撮像部近傍に配置して識別してもよいし、距離算定手段として商品画像が描写された画像から画像解析によって識別してもよい。
【００２６】
例えば、レーザ光や超音波などによる距離測定や、ステレオ視用画像から視差に基づく距離算定解析、同一対象の異なる時間の連続的画像上の差分に基づく距離算定解析が用いれる。また、識別性を有する既知寸法のシンボルや模様、色彩に基づく逆算処理や、ＴＯＦ（Time of Flight）センサを用いた距離測定で、対象との距離を取得してもよい。
【００２７】
対象の大きさは、画像に含まれている対象の画像領域範囲と距離に基づいて大きさを導出処理する。大きさの導出手法や項目は、対象の種別や形状に応じて適宜自動的に変更するアルゴリズムを採用してもよい。この変更は、物体認識結果に応じて変更したり、大きさを求める画像解析の初期に画像特徴分析によって適する項目、アルゴリズムを選定してもよい。
【００２８】
大きさの導出処理手法は、例えば、画像に識別対象の全体が収まっていれば、画像から対象の輪郭線を抽出して、必要に応じて輪郭推定線に丸め、直径や半径、体積（容積）、縦幅、横幅、厚さなどを求める。一度に一面の画像から全ての値を求められない場合、対象を回転させるアナウンスを出すなどして、他面（他角度画像）を撮像して不足している値を求めればよい。この際、複数の画像で各々識別された対象領域内で、共通する点や面を判定し、不足している値を求めるための画像認識を適宜実行すればよい。
【００２９】
例えば、箱状物体の体積を求める手法では、表面のみが描写されている１画像から表面面積（画像範囲（x×y）と距離で算定）を求め、回転が加わっている別の画像から異なる面の表面積(x×z or y×z)を求める。この２面の画像上の面積と距離から体積を推定処理すればよい。
【００３０】
また例えば、球状物体の体積を求める手法では、１画像から断面積や直径、円周、扁平率，縦長さ、横長さなどを求め、体積を推定処理すればよい。また、複数の画像を用いて体積を推定してもよい。
【００３１】
また例えば、袋に入れられた複数個の商品を、個別に画像解析で袋内の物品の数量や大きさを求め、袋内の総量を導出してもよい。”人参”のような物品であれば、所要な値として本数や総体積の一方を推定処理すればよい。
【００３２】
また、”イチゴ”のようにパックに入れられた商品を、画像内に描写されていた複数物体を個別に大きさ若しくは大きさを定める１ないし複数の項目を求め、”イチゴ”の集合を１つの纏まった商品としてパックの大きさや等級を求めてもよい。なお、大きさの識別は、全個体に実施せずに数個の個体を識別して、その結果をパックや、袋内の個体全部に反映するアルゴリズムを含めてもよい。
【００３３】
また、画像に識別対象の全体が収まっていない物体であっても、品種や形状ごとに適切な対応を取ればよい。
【００３４】
例えば、”ネギ”や”ごぼう”のような長物であれば、撮像範囲を通して全体を連続的画像で取得して大きさを求めればよい。具体的には、複数画像をつなぎ合わせて一画像化した上で長さを求めればよい。必要に応じて画像に描写されている複数の長物の長さを同時並行的に求めて、本数と共に総体積を求めるようにしてもよい。
【００３５】
また、例えば、”スイカ”のような大物であれば、撮像範囲の設定で一部しか写せないことが生じ得る。このような対象については、撮像部１０で撮像された対象の画像に写っている一部領域を識別して、該一部領域の有した輪郭の曲率を求めて、他の要素（距離や一部領域の長さなど）を踏まえ、大きさを導出すればよい。曲率は、例えば画像のコントラスト比で輪郭を求め、その変移から求められる。また特徴量から求めてもよく、どのような手法で求めてもよい。求めた曲率と画像に描写されていた対象の一部分の長さから、描写されていない部分の推定輪郭が導出できる。また、上記長物のように全体を複数画像で写して求めることも可能である。
【００３６】
識別部３０は、画像から対象の大きさを識別処理する際に、例示したような多くの画像解析を同時並行的に実施する構成を採用してもよい。一方で、大きさを識別する必要がない商品や、商品販売にあたり、大きさに関係する全ての要素を必要としない物品も多い。この一つの対策として、識別部３０は、物体認識部２０から出力される識別結果（候補）を参照して、大きさを求める必要性やその項目を判別すればよい。各物品について算定する項目は、アクセス可能なデータベースに予め区分用大きさ導出項目として設定しておけばよい。例えば、ＰＬＵファイル（ＰＬＵマスタデータ）に予め指定項目を用意してもよいし、ＰＬＵファイルと連携するテーブル情報（区分用サイズ判定テーブル）を別途準備してもよい。 
例えば、”トマト”や”オレンジ”のように球に近い物品であれば、必ずしも体積を求めなくとも、直径や半径、円周などの一要素で”Ｌ”,”Ｍ”,”Ｓ”などの区分が可能になる。
【００３７】
ＰＬＵファイルと区分用サイズ判定テーブルに分けて参照テーブルを構成した場合、区分用サイズ判定テーブルに”トマト”や”オレンジ”を示す一般名称とその指定項目を記載すればよい。この指定項目を限定することで、演算量の削減や物品の読み込み速度の向上が図れる。
【００３８】
以下の物品の大きさ区分の例示も、上記説明と同様にテーブル情報で指定項目を定めてもよい。また、大まかな物体形状から大きさの基準項目を自動的に決定するアルゴリズムを採用してもよい。
【００３９】
例えば、”グレープフルーツ”のように球状の物品であれば、簡単に長辺の長さや短辺の長さ（直径）のみからサイズの区分を求めてもよい。
【００４０】
また例えば、”卵”のようにサイズ（重さ）により等級が変化する物品であっても、長辺と短辺と想定比重から重量を推定してもよいが、簡単に長辺の長さや短辺の長さ（直径）のみから”Ｌ”,”Ｍ”,”Ｓ”などの区分を求めてもよい。
【００４１】
また、”サツマイモ”のように形状が様々な物品であれば、様々な項目要素から体積を求めればよい。また、体積に変えて独自の計算式で大きさを定めて、区分を求めてもよい。
【００４２】
また、”バナナ”のような曲線を有する棒状の物品であれば、曲線を踏まえた長さを求めればよい。
【００４３】
一方で、”マスクメロン”のようにサイズや他の区分要素（メロンであれば網目密度）を有する物品であれば、識別部３０が体積と共に個々の区分要素を画像解析で算定して出力する構成でもよい。この画像処理時に、必要に応じて”紋様”から固体識別処理を行ってもよい。
【００４４】
なお、上記区分要素としては、”色合い”や”光沢度合”，”本数”，”個数”，”キズの有り”などを用いることができる。”色合い”は、追加的にマルチスペクトルカメラを動作させて得た１ないし複数の画像を用いることとしてもよい。この区分要素は、”鮮魚”や”フルーツ”の食べ頃や賞味期限の時期を自動算定する情報としても用いることができる。また、物品個数を区分要素として出力することで、まとめ売りの値引きコードを自動設定できる。また、区分要素は、物体認識部２０の補完情報としても利用できる。例えば、”光沢度合”の項目であれば、大きさを求める必要が無い同一形状の物品の”つや消し商品”と”つや有り商品”とを区分する際に利用できる。
【００４５】
分類部４０は、物体認識部２０から得られた対象の認識結果（候補）と対象の大きさ項目と区分要素項目とを踏まえ、予め設定された区分に振り分ける。例えば、対象毎に、フルーツの等級や野菜のサイズ、まとめ売りフラグ有無、キズの有無などを区分する。次に、分類部４０は、対象の物体認識結果とその区分をＰＬＵ照合部（図示せず）に出力する。この際、対象の物体認識結果に複数の候補が有る場合、分類部４０は、個々の候補ごとに対象の物体認識結果とその区分を出力すればよい。なお、分類部４０は、ＰＬＵ照合処理まで行う構成としてもよい。
【００４６】
ＰＬＵ照合部では、受け付けた物品毎にＰＬＵデータに有る物品と区分とに対応付いた値段を読み出して、その物品を未精算リストに追加する。複数の候補があった場合や値引きなどの処置を行う場合、ＰＯＳシステムは、適宜操作者から選定を受けて、未精算リストを確定させればよい。なお、ＰＬＵ照合部の演算リソース及び対比データも、必ずとも店舗システム内に有る必要はない。演算リソース及び対比データは、必要に応じて、筐体内、店舗内、社内ネットワーク内、クラウド上、などに適宜設置すればよい。
【００４７】
以後の会計処理は、店舗のスタイルに合わせて適宜構成すればよい。
【００４８】
なお、ＰＯＳシステムは、対象の区分結果に従って 端末で値付け処理を実行する構成でもよい。例えば、ＰＬＵコードに対応した物品で、内在数量や体積あたりの単価、等級項目と体積あたりの単価、区分要素項目と体積あたりの単価などの値付け数式が予め登録されており、その数式に基づいて撮像した対象の値段を端末が算定してもよい。
【００４９】
この仕組みによれば、例えば、ＰＬＵコードに“野菜袋詰め”と個々の野菜の体積あたりの値段が登録されている場合に、顧客が”人参”と”玉ねぎ”と”ジャガイモ”を同一の袋に入れて、同時に撮像したとしても、適正な値付けを端末で行える。
【００５０】
上記説明した構成によって、ＰＯＳシステムは、撮像画像に描写されている対象を的確に識別及び／又は区分して、未精算リストを作成できる。
【００５１】
図２は、実施形態にかかるＰＯＳシステムでの対象の区分に係る処理動作例を示したフローチャートである。
【００５２】
ＰＯＳシステムは、まず、撮像部２０の撮像範囲で購入する物品を撮像し、撮像した画像を物体認識部２０と識別部３０に出力する（ステップＳ１０１）。なお、物体認識部２０と識別部３０に出力する物品の画像を異なる撮像素子から取得するようにしても構わない。
【００５３】
次に、ＰＯＳシステム（物体認識部２０）は、撮像した画像に描写されている対象の物体認識を実行し、その結果を分類部４０に出力する（ステップＳ１０２）。
【００５４】
同時的に、ＰＯＳシステム（識別部３０）は、撮像した画像に描写されている対象の大きさを求める大きさ識別処理を実行し、その結果を分類部４０に出力する（ステップＳ１０３）。この際、識別部３０は、区分要素を画像から抽出処理して、分類部４０に出力してもよい。また、物体認識部２０から物体認識結果を受け付けて、大きさを識別処理するか否か、解析が必要な項目種別を識別してもよい。
【００５５】
次に、ＰＯＳシステム（分類部４０）は、分類が必要な物品又は物品候補について、対象の大きさと対象の認識結果と区分要素に基づいて、撮像した画像に描写されていた物品と区分を確定し、その結果をＰＬＵ照合部に出力する（ステップＳ１０４）。
【００５６】
その後、ＰＯＳシステムは、ＰＬＵファイルから商品の値段を取得して、未精算リストに追加処理若しくは候補選定処理に移行する。
【００５７】
このようにＰＯＳシステムを動作させることで、撮像画像に描写されている対象を的確に識別及び／又は区分して、未精算リストを作成できる。 
例えば、既存の物体認識を実行するＰＯＳシステムにおいて機械が区分けを精確にしきれていなかった、”トマト”と”ミニトマト”との区分けや、”イチゴパック”の値段分け、”スイカ”や”ねぎ”などの大きさ区分けなどが可能になる。 
結果、作業者の手間などが低減され、レジ業務の高速化が図れる。
【００５８】
また、物品の値付けの自由度が高くなる。 
また、セルフレジであれば、顧客にとって煩雑な操作を削減できる。 
また、店舗などで個々の商品に値段を付与する際にも本仕組みで値付けが可能であり、ハンドラベラーやバーコードプリンタなどによる値付け作業が簡便になる。
【００５９】
次に、区分用サイズ判定テーブルの構成例を説明する。図３は、区分用テーブル情報例を示した説明図である。
【００６０】
図３（ａ）に示したＰＬＵマスタでは、ＰＬＵコード（図中ではＪＡＮ（Japanese Article Number）コード）に対応付いて、品名や値段と共に、追加で算定する区分要素を一覧に構成している。 
図３（ｂ）に示した区分用サイズ判定テーブルでは、物品名に対応付いて、大きさを求めるか否かを示すフラグ、求める項目、追加で算定する区分要素を一覧に構成している。また、当該区分用サイズ判定テーブルを用いてＰＬＵコードを特定できるように構成している。
【００６１】
尚、ＰＯＳシステムの各部は、ハードウェアとソフトウェアの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭにＰＯＳシステム用プログラム（ＰＬＵ区分特定プログラム）が展開され、プログラムに基づいて制御部（ＣＰＵ）等のハードウェアを動作させる。このことによって、各部を各種手段として動作させる。また、このプログラムは、記録媒体に非一時的に記録されて頒布されても良い。当該記録媒体に記録されたプログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
【００６２】
本発明を実施形態を用いて説明したが、具現化する際には様々な構成を取り得る。例えば、撮像手段、物体認識手段、識別手段、分類手段を、全て一つの筐体内に有して、１つの制御部がＰＬＵ特定処理まで実行するＰＯＳ端末装置が挙げられる。また、複数の筐体に分散された、撮像手段、物体認識手段、識別手段、分類手段を、１つの制御部受け持つＰＯＳ端末装置も一態様である。また、既存のＰＯＳ端末装置のように、レジスタ側とスキャナ側にそれぞれ制御部を有する態様であっても、適宜、撮像手段、物体認識手段、識別手段、分類手段を、ＰＯＳ端末装置内で分ければよい。
【００６３】
また、多数のＰＯＳ端末装置で画像を取得し、店舗内サーバで物体認識や識別処理を実行して、各ＰＯＳ端末装置に結果を応答するＰＯＳシステムも考えられる。 
上記実施形態のＰＯＳシステムの特徴を別の表現で説明すれば、撮像手段を有する１ないし複数のＰＯＳ端末装置と、物体認識手段と、識別手段と、分類手段と、を有する情報処理装置と、を備えることになる。
【００６４】
また、上記実施形態を別の表現で説明すれば、ＰＯＳ用サーバとして動作させる情報処理装置を、ＲＡＭに展開されたＰＯＳ用プログラムに基づき、物体認識手段、識別手段、分類手段としてとして制御部を動作させることで実現することが可能である。
【００６５】
以上実施形態及び実施例を図示して説明したが、そのブロック構成の分離併合、手順の入れ替えなどの変更は本発明の趣旨および説明される機能を満たせば自由であり、上記説明が本発明を限定するものではない。
【００６６】
以上説明したように、本発明を適用したＰＯＳシステムは、撮像画像に描写されている対象を的確に識別及び／又は区分可能になる。
【００６７】
すなわち、本発明によれば、撮像画像に描写されている対象を的確に識別及び／又は区分するＰＯＳ端末装置、サーバ、ＰＯＳシステム、ＰＬＵ特定方法、およびプログラムを提供できる。
【００６８】
また、上記の実施形態の一部又は全部は、以下のようにも記載されうる。尚、以下の付記は本発明をなんら限定するものではない。  
［付記１］
対象の画像を撮像する撮像手段と、
前記対象を物体認識する物体認識手段と、
前記対象の大きさを識別処理する識別手段と、
前記対象の大きさと前記対象の認識結果とに基づいて該対象を分類する分類手段と、
を有することを特徴とするＰＯＳ端末装置。
【００６９】
［付記２］
前記対象までの距離を識別する距離算定手段を有し、
前記識別手段は、
撮像された前記対象の画像に含まれている対象の画面領域範囲と前記距離算定手段で求めた距離に基づいて前記対象の大きさを導出処理する
ことを特徴とする上記付記記載のＰＯＳ端末装置。
【００７０】
［付記３］
前記撮像手段は、視差を有する複数の画像を取得し、
前記識別手段は、
視差を有した各々の対象の画像の差分から前記対象までの距離を識別処理し、
撮像された前記対象の画像に含まれている対象の画像領域範囲と画像間の差分から求めた距離に基づいて前記対象の大きさを導出処理する
ことを特徴とする上記付記記載のＰＯＳ端末装置。
【００７１】
［付記４］
前記識別手段は、
前記撮像手段で異なる時間に取得された同一対象の画像の差分から、物体認識する画像の前記対象までの距離を識別し、
撮像された前記対象の画像に含まれている対象の領域範囲と画像間の差分から求めた距離に基づいて前記対象の大きさを導出処理する
ことを特徴とする上記付記記載のＰＯＳ端末装置。
【００７２】
［付記５］
前記識別手段は、画像内に描写されていた複数物体を個別に大きさ若しくは大きさを定める１ないし複数の項目を求め、前記複数物体を１つの纏まった対象として大きさを導出処理することを特徴とする上記付記記載のＰＯＳ端末装置。
【００７３】
［付記６］
前記識別手段は、前記撮像手段で撮像された前記対象の連続した複数画像をつなぎ合わせて、前記対象の大きさを推定処理することを特徴とする上記付記記載のＰＯＳ端末装置。
【００７４】
［付記７］
前記識別手段は、前記撮像手段で撮像された前記対象の画像に写っている一部領域を識別して、該一部領域の有した輪郭の曲率から前記対象の大きさを推定処理することを特徴とする上記付記記載のＰＯＳ端末装置。
【００７５】
［付記８］
前記識別手段は、予め準備された識別対象の大きさを定める基準に用いる項目を 物体認識結果として出力される物体名に対応させて記録したテーブル情報と、前記物体認識手段の物体認識結果とを参照して、前記対象の大きさを定める基準に用いる項目を特定し、該特定した項目に基づいて前記対象の大きさを識別処理することを特徴とする上記付記記載のＰＯＳ端末装置。
【００７６】
［付記９］
前記識別手段は、予め準備された識別対象の区分要素項目を 物体認識結果として出力される物体名に対応させて記録したテーブル情報と、前記物体認識手段の物体認識結果とを参照して、前記対象の区分要素項目を画像解析で求め、その結果を前記分類手段に出力することを特徴とする上記付記記載のＰＯＳ端末装置。
【００７７】
［付記１０］
前記分類手段は、少なくとも前記対象の大きさを反映させた各項目の値に基づいて、ＰＬＵコードに対応している区分の何れかに、物体認識した前記対象を分類することを特徴とする上記付記記載のＰＯＳ端末装置。
【００７８】
［付記１１］
該ＰＯＳ端末装置は、前記対象の大きさに基づいた区分結果に従った値付け処理を実行可能にすることを特徴とする上記付記記載のＰＯＳ端末装置。
【００７９】
［付記１２］
前記対象を物体認識する物体認識手段と、
前記対象の大きさを識別処理する識別手段と、
前記対象の大きさと前記対象の認識結果とに基づいて該対象を分類する分類手段と、
を有することを特徴とするサーバ。
【００８０】
［付記１３］
前記識別手段は、
撮像された前記対象の画像に含まれている対象の画面領域範囲と通知された撮像位置からの距離に基づいて前記対象の大きさを導出処理する
ことを特徴とする上記付記記載のサーバ。
【００８１】
［付記１４］
前記識別手段は、
視差を有する複数の画像を取得し、視差を有した各々の対象の画像の差分から前記対象までの距離を識別処理し、
撮像された前記対象の画像に含まれている対象の画像領域範囲と画像間の差分から求めた距離に基づいて前記対象の大きさを導出処理する
ことを特徴とする上記付記記載のサーバ。
【００８２】
［付記１５］
前記識別手段は、
異なる時間に取得された同一対象の画像の差分から、物体認識する画像の前記対象までの距離を識別し、
撮像された前記対象の画像に含まれている対象の領域範囲と画像間の差分から求めた距離に基づいて前記対象の大きさを導出処理する
ことを特徴とする上記付記記載のサーバ。
【００８３】
［付記１６］
前記識別手段は、画像内に描写されていた複数物体を個別に大きさ若しくは大きさを定める１ないし複数の項目を求め、前記複数物体を１つの纏まった対象として大きさを導出処理することを特徴とする上記付記記載のサーバ。
【００８４】
［付記１７］
前記識別手段は、前記対象の連続した複数画像をつなぎ合わせて、前記対象の大きさを推定処理することを特徴とする上記付記記載のサーバ。
【００８５】
［付記１８］
前記識別手段は、前記対象の画像に写っている一部領域を識別して、該一部領域の有した輪郭の曲率から前記対象の大きさを推定処理することを特徴とする上記付記記載のサーバ。
【００８６】
［付記１９］
前記識別手段は、予め準備された識別対象の大きさを定める基準に用いる項目を 物体認識結果として出力される物体名に対応させて記録したテーブル情報と、前記物体認識手段の物体認識結果とを参照して、前記対象の大きさを定める基準に用いる項目を特定し、該特定した項目に基づいて前記対象の大きさを識別処理することを特徴とする上記付記記載のサーバ。
【００８７】
［付記２０］
前記識別手段は、予め準備された識別対象の区分要素項目を 物体認識結果として出力される物体名に対応させて記録したテーブル情報と、前記物体認識手段の物体認識結果とを参照して、前記対象の区分要素項目を画像解析で求め、その結果を前記分類手段に出力することを特徴とする上記付記記載のサーバ。
【００８８】
［付記２１］
前記分類手段は、少なくとも前記対象の大きさを反映させた各項目の値に基づいて、ＰＬＵコードに対応している区分の何れかに、物体認識した前記対象を分類することを特徴とする上記付記記載のサーバ。
【００８９】
［付記２２］
前記対象の大きさに基づいた区分結果に従った値段を特定し、該値段を値付け処理用データとして出力することを特徴とする上記付記記載のサーバ。
【００９０】
［付記２３］
対象の画像を撮像する撮像手段を有するＰＯＳ端末装置と、
前記対象を物体認識する物体認識手段と、
前記対象の大きさを識別処理する識別手段と、
前記対象の大きさと前記対象の認識結果とに基づいて該対象を分類する分類手段と、
を有する情報処理装置と、
を備えるＰＯＳシステム。
【００９１】
［付記２４］
対象の画像を撮像する撮像手段と、
前記対象の大きさを識別処理する識別手段と、
を有するＰＯＳ端末装置と、
前記対象を物体認識する物体認識手段と、
前記対象の大きさと前記対象の認識結果とに基づいて該対象を分類する分類手段と、
を有する情報処理装置と、
を備えるＰＯＳシステム。
【００９２】
［付記２５］
対象を物体認識する物体認識手段を有する情報処理装置と、
前記対象の画像を撮像する撮像手段と、
前記対象の大きさを識別処理する識別手段と、
前記対象の大きさと前記対象の認識結果とに基づいて該対象を分類する分類手段と、
を有するＰＯＳ端末装置と、
を備えるＰＯＳシステム。
【００９３】
［付記２６］
対象を物体認識する物体認識手段と、
前記対象の大きさを識別処理する識別手段と、
を有する情報処理装置と、
前記対象の画像を撮像する撮像手段と、
前記対象の大きさと前記対象の認識結果とに基づいて該対象を分類する分類手段と、
を有するＰＯＳ端末装置と、
を備えるＰＯＳシステム。
【００９４】
［付記２７］
前記情報処理装置は、上記付記１２から２２の何れかに記載のサーバであるＰＯＳシステム。
【００９５】
［付記２８］
ＰＬＵデータにアクセス可能な情報処理システムは、
撮像部で撮像された対象画像と、該対象画像を物体認識処理して得られた認識結果とを取得し、
前記対象の大きさを識別処理し、
前記対象の大きさと前記対象の認識結果とに基づいて該対象をＰＬＵ区分の何れかに分類処理し、
前記対象の認識結果と分類結果に基づいて、前記ＰＬＵデータから該対象のＰＬＵコードを特定する
ことを特徴とするＰＬＵ特定方法。
【００９６】
［付記２９］
該情報処理システムは、前記対象の大きさを識別する処理として、
撮像された前記対象の画像に含まれている対象の画面領域範囲と、前記対象までの距離を識別する距離算定部で求めた距離に基づいて前記対象の大きさを導出処理する
ことを特徴とする上記付記記載のＰＬＵ特定方法。
【００９７】
［付記３０］
該情報処理システムは、前記対象の大きさを識別する処理として、
前記撮像部で取得された視差を有する複数の画像を用いて、視差を有した各々の対象の画像の差分から前記対象までの距離を識別処理し、
撮像された前記対象の画像に含まれている対象の画像領域範囲と画像間の差分から求めた距離に基づいて前記対象の大きさを導出処理する
ことを特徴とする上記付記記載のＰＬＵ特定方法。
【００９８】
［付記３１］
該情報処理システムは、前記対象の大きさを識別する処理として、
前記撮像部で異なる時間に取得された同一対象の画像の差分から、物体認識する画像の前記対象までの距離を識別し、
撮像された前記対象の画像に含まれている対象の領域範囲と画像間の差分から求めた距離に基づいて前記対象の大きさを導出処理する
ことを特徴とする上記付記記載のＰＬＵ特定方法。
【００９９】
［付記３２］
該情報処理システムは、前記対象の大きさを識別する処理として、
画像内に描写されていた複数物体を個別に大きさ若しくは大きさを定める１ないし複数の項目を求め、前記複数物体を１つの纏まった対象として大きさを導出処理する
ことを特徴とする上記付記記載のＰＬＵ特定方法。
【０１００】
［付記３３］
該情報処理システムは、前記対象の大きさを識別する処理として、
前記撮像部で撮像された前記対象の連続した複数画像をつなぎ合わせて、前記対象の大きさを推定処理する
ことを特徴とする上記付記記載のＰＬＵ特定方法。
【０１０１】
［付記３４］
該情報処理システムは、前記対象の大きさを識別する処理として、
前記撮像部で撮像された前記対象の画像に写っている一部領域を識別して、該一部領域の有した輪郭の曲率から前記対象の大きさを推定処理する
ことを特徴とする上記付記記載のＰＬＵ特定方法。
【０１０２】
［付記３５］
該情報処理システムは、前記対象の大きさを識別する処理として、
予め準備された識別対象の大きさを定める基準に用いる項目を 物体認識結果として出力される物体名に対応させて記録したテーブル情報と、物体認識結果とを参照して、前記対象の大きさを定める基準に用いる項目を特定し、該特定した項目に基づいて前記対象の大きさを識別処理する
ことを特徴とする上記付記記載のＰＬＵ特定方法。
【０１０３】
［付記３６］
該情報処理システムは、予め準備された識別対象の区分要素項目を 物体認識結果として出力される物体名に対応させて記録したテーブル情報と、物体認識結果とを参照して、前記対象の区分要素項目を画像解析で求め、その結果を分類することを特徴とする上記付記記載のＰＬＵ特定方法。
【０１０４】
［付記３７］
該情報処理システムは、少なくとも前記対象の大きさを反映させた各項目の値に基づいて、ＰＬＵコードに対応している区分の何れかに、物体認識した前記対象を分類することを特徴とする上記付記記載のＰＬＵ特定方法。
【０１０５】
［付記３８］
該情報処理システムは、前記対象の大きさに基づいた区分結果に従った値付け処理を実行可能にすることを特徴とする上記付記記載のＰＬＵ特定方法。
【０１０６】
［付記３９］
情報処理システムを、
撮像部で撮像された対象の画像から物体認識する画像認識手段と、
前記対象の大きさを識別処理する識別手段と、
前記対象の大きさと前記対象の認識結果とに基づいて該対象を区分する分類手段、
として、動作させることを特徴とするプログラム。
【０１０７】
［付記４０］
情報処理装置を、
対象の画像を撮像する撮像手段と、
前記対象の大きさを識別処理する識別手段、
として、動作させることを特徴とするプログラム。
【０１０８】
［付記４１］
情報処理装置を、
対象を物体認識する物体認識手段と、
対象の大きさと前記対象の認識結果とに基づいて該対象を分類する分類手段、
として、動作させることを特徴とするプログラム。
【０１０９】
［付記４２］
情報処理装置を、
対象の画像を撮像する撮像手段と、
前記対象の大きさを識別処理する識別手段と、
前記対象の大きさと前記対象の認識結果とに基づいて該対象を分類する分類手段、
として、動作させることを特徴とするプログラム。
【０１１０】
［付記４３］
情報処理装置を、
対象を物体認識する物体認識手段と、
前記対象の大きさを識別処理する識別手段、
として、動作させることを特徴とするプログラム。
【０１１１】
［付記４４］
情報処理装置を、
対象の画像を撮像する撮像手段と、
前記対象の大きさと前記対象の認識結果とに基づいて該対象を分類する分類手段、
として、動作させることを特徴とするプログラム。
【０１１２】
［付記４５］
上記付記１から１１の何れかに記載のＰＯＳ端末装置として動作させることを特徴とするプログラム。
【０１１３】
［付記４６］
上記付記１２から２２の何れかに記載のサーバとして動作させることを特徴とするプログラム。
【産業上の利用可能性】
【０１１４】
本発明は、スーパーやコンビニ、デパードなどに配置されているＰＯＳ端末装置に適用できる。また、タブレットＰＯＳシステムやスマートフォンＰＯＳシステムにも適用できる。
【符号の説明】
【０１１５】
１０  撮像部（撮像手段）
２０  物体認識部（物体認識手段）
３０  識別部（識別手段、画像解析手段）
４０  分類部（分類手段）
【図１】
2019057326.tif 000003
【図２】
2019057326.tif 000004
【図３】
2019057326.tif 000005