(57)【要約】【課題】機器に位置ずれが生じた場合でも、物体を目視することにより認識結果を適切に把握可能な物体認識装置、物体認識方法及び物体認識プログラムを提供する。【解決手段】物体を配置可能な配置部１３と、配置部１３を撮像する撮像部１１と、撮像部１１で撮像された画像に基づいて物体を認識可能な制御部１５と、物体の表面又は配置部１３に対して、制御部１５が認識した認識結果を出力する出力部１３ａと、を備え、制御部１５は、画像に基づいて出力部１３ａと所定の位置関係にある基準指標を認識し、画像における基準指標の位置に基づき、出力部１３ａが認識結果を出力する位置を補正するように制御する。【選択図】図２
2020135105.tif 000002
【特許請求の範囲】
【請求項１】
物体を配置可能な配置部と、
前記配置部を撮像する撮像部と、
前記撮像部で撮像された画像に基づいて前記物体を認識可能な制御部と、
前記物体の表面又は前記配置部に対して、前記制御部が認識した認識結果を出力する出力部と、を備え、
前記制御部は、前記画像に基づいて前記出力部と所定の位置関係にある基準指標を認識し、前記画像における前記基準指標の位置に基づき、前記出力部が前記認識結果を出力する位置を補正するように制御する
ことを特徴とする物体認識装置。
【請求項２】
前記制御部は、前記出力部が、前記配置部のうち、前記物体の近傍に前記認識結果を出力するように制御する
ことを特徴とする請求項１に記載の物体認識装置。
【請求項３】
前記認識結果とは、前記物体の位置を示す枠であり、
前記制御部は、前記画像における前記物体の位置を認識し、前記出力部が前記物体の周囲に前記枠を出力するように制御する
ことを特徴とする請求項１又は２に記載の物体認識装置。
【請求項４】
前記制御部は、前記物体の種別を認識し、前記物体の種別を認識できたか否かによって、前記出力部が前記枠を異なる態様で出力するように制御する
ことを特徴とする請求項３に記載の物体認識装置。
【請求項５】
前記制御部は、前記画像における前記基準指標が所定の数未満の場合に警告をするように制御する
ことを特徴とする請求項１〜４の何れか一項に記載の物体認識装置。
【請求項６】
前記出力部は、前記配置部の表面に前記認識結果を表示する表示部である
ことを特徴とする請求項１〜５の何れか一項に記載の物体認識装置。
【請求項７】
前記基準指標は、前記表示部により所定の位置に表示される基準マークである
ことを特徴とする請求項６に記載の物体認識装置。
【請求項８】
前記基準指標は、前記表示部の周辺に設けられている基準マークである
ことを特徴とする請求項６に記載の物体認識装置。
【請求項９】
前記基準マークは、前記配置部を収容するケース枠体の外周角部である
ことを特徴とする請求項８に記載の物体認識装置。
【請求項１０】
前記出力部は、前記認識結果を投影する投影機である
ことを特徴とする請求項１〜５の何れか一項に記載の物体認識装置。
【請求項１１】
前記基準指標は、前記投影機により投影される基準マークである
ことを特徴とする請求項１０に記載の物体認識装置。
【請求項１２】
前記配置部は、前記投影機により投影された投影画面である
ことを特徴とする請求項１０又は１１に記載の物体認識装置。
【請求項１３】
前記制御部は、前記配置部に前記物体が存在しない場合、前記投影機により投影された前記基準指標を、前記画像から認識する
ことを特徴とする請求項１０〜１２の何れか一項に記載の物体認識装置。
【請求項１４】
物体を配置可能な配置部を撮像部で撮像する撮像ステップと、
前記撮像部の撮像範囲に前記物体が存在する場合、前記撮像部で撮像された画像に基づいて前記物体を認識する制御ステップと、
前記物体の表面又は前記配置部に対して、前記制御ステップで認識した認識結果を出力部により出力する出力ステップと、を備え、
前記制御ステップは、前記画像に基づいて前記出力部と所定の位置関係にある基準指標を認識し、前記画像における前記基準指標の位置に基づき、前記出力部が前記認識結果を出力する位置を補正するように制御する
ことを特徴とする物体認識方法。
【請求項１５】
物体を配置可能な配置部を撮像部で撮像して生成された画像を取得する取得処理と、
前記撮像部の撮像範囲に前記物体が存在する場合、前記画像に基づいて前記物体を認識する制御処理と、
前記物体の表面又は前記配置部に対して、前記制御処理で認識した認識結果を出力部に出力させる出力処理と、を備え、
前記制御処理は、前記画像に基づいて前記出力部と所定の位置関係にある基準指標を認識し、前記画像における前記基準指標の位置に基づき、前記出力部が前記認識結果を出力する位置を補正するように制御する
ことを特徴とするコンピュータに実行させるための物体認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、配置部に配置された物体を撮像し、撮像画像から物体を認識した認識結果を出力する物体認識装置、物体認識方法及び物体認識プログラムに関する。
【背景技術】
【０００２】
従来、複数の商品（物体）をカメラで撮像し、撮像画像から商品を認識した認識結果を表示する物体認識装置が知られている（例えば、特許文献１〜２参照）。
【０００３】
特許文献１に記載の物体認識装置は、店員が複数の仕切りが設けられた紙箱に購入者が注文したドーナツを収容し、この紙箱に収容された複数のドーナツの撮像画像に基づいてドーナツの種類を認識する。そして、認識されたドーナツの商品名や単価などの商品情報等とドーナツが収容された紙箱の画像とを同時に購入者に表示するものである。
【０００４】
特許文献２に記載の物体認識装置は、購入者がパンを載せたトレイをカウンタ台に置き、このトレイに配置された複数のパンの撮像画像に基づいてパンの種類を認識する。そして、パンの種類を認識できたか否か、及び、認識されたパンの種類や単価などの商品情報で構成される認識結果を、投影機によりパンの表面又はパンの近傍に投影する。投影機により認識結果を投影する際、撮像画像から商品の位置を特定し、特定した位置に向けてレーザ光を照射する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−０４３３７１号公報
【特許文献２】特開２０１６−１７３６５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載の物体認識装置は、商品情報と撮像された紙箱の画像とを合わせて表示しているため、画像上の商品と実際の商品とを目視で照らし合わせる作業が必要となり、煩雑である。特許文献２に記載の物体認識装置は、認識結果をパンの表面又はパンの近傍に投影しているため、実際の商品を目視すれば認識結果を把握できるため、特許文献１に記載の物体認識装置に比べて利便性が高い。
【０００７】
しかしながら、特許文献２に記載の物体認識装置では、例えば、購入者がカメラ又は投影機と接触等することにより、カメラ又は投影機の位置が所定の位置からずれた場合、撮像画像上の座標位置と投影機によるレーザ光の照射位置とがずれてしまい、実際の商品を目視しても認識結果を把握できないおそれがある。認識結果を出力する機器に位置ずれが生じた場合でも、物体を目視することにより認識結果を適切に把握するためには、位置ずれしたカメラ又は投影機を所定位置にセットし直す必要があり、煩わしさに耐えない。
【０００８】
そこで、機器に位置ずれが生じた場合でも、物体を目視することにより認識結果を適切に把握可能な物体認識装置、物体認識方法及び物体認識プログラムが望まれている。
【課題を解決するための手段】
【０００９】
本発明に係る物体認識装置の特徴構成は、物体を配置可能な配置部と、前記配置部を撮像する撮像部と、前記撮像部で撮像された画像に基づいて前記物体を認識可能な制御部と、前記物体の表面又は前記配置部に対して、前記制御部が認識した認識結果を出力する出力部と、を備え、前記制御部は、前記画像に基づいて前記出力部と所定の位置関係にある基準指標を認識し、前記画像における前記基準指標の位置に基づき、前記出力部が前記認識結果を出力する位置を補正するように制御する点にある。
【００１０】
また、本発明に係る物体認識方法の特徴は、物体を配置可能な配置部を撮像部で撮像する撮像ステップと、前記撮像部の撮像範囲に前記物体が存在する場合、前記撮像部で撮像された画像に基づいて前記物体を認識する制御ステップと、前記物体の表面又は前記配置部に対して、前記制御ステップで認識した認識結果を出力部により出力する出力ステップと、を備え、前記制御ステップは、前記画像に基づいて前記出力部と所定の位置関係にある基準指標を認識し、前記画像における前記基準指標の位置に基づき、前記出力部が前記認識結果を出力する位置を補正するように制御する点にある。
【００１１】
また、本発明に係るコンピュータに実行させるための物体認識プログラムの特徴構成は、物体を配置可能な配置部を撮像部で撮像して生成された画像を取得する取得処理と、前記撮像部の撮像範囲に前記物体が存在する場合、前記画像に基づいて前記物体を認識する制御処理と、前記物体の表面又は前記配置部に対して、前記制御処理で認識した認識結果を出力部に出力させる出力処理と、を備え、前記制御処理は、前記画像に基づいて前記出力部と所定の位置関係にある基準指標を認識し、前記画像における前記基準指標の位置に基づき、前記出力部が前記認識結果を出力する位置を補正するように制御する点にある。
【００１２】
上記構成又は方法によると、物体の表面又は物体を配置可能な配置部に対して、認識結果を出力している。その結果、物体を目視することにより同時に認識結果を把握することができるため、利用者にとって利便性が高い。
【００１３】
また、上記構成又は方法では、撮像部で撮像された画像に基づいて出力部と所定の位置関係にある基準指標を認識し、該画像上の基準指標の位置に基づいて、出力部が認識結果を出力する位置を補正している。つまり、撮像部又は出力部が位置ずれした場合には、画像上の基準指標の位置が本来の基準指標の位置からずれており、このずれ量に基づいて認識結果の出力位置が補正される。これにより、認識結果が適正な位置に出力されるため、物体を目視することにより認識結果を適切に把握することができる。このように、機器に位置ずれが生じた場合でも、物体を目視することにより認識結果を適切に把握可能な物体認識装置、物体認識方法及び物体認識プログラムを提供できた。
【００１４】
他の特徴構成は、前記制御部は、前記出力部が、前記配置部のうち、前記物体の近傍に前記認識結果を出力するように制御する点にある。
【００１５】
本構成のように物体の近傍に認識結果を出力すれば、配置部に複数の物体が配置されている場合でも、配置部を目視することにより夫々の物体の認識結果を迅速に把握することができる。
【００１６】
他の特徴構成は、前記認識結果とは、前記物体の位置を示す枠であり、前記制御部は、前記画像における前記物体の位置を認識し、前記出力部が前記物体の周囲に前記枠を出力するように制御する点にある。
【００１７】
本構成のように、物体の周囲に物体の位置を示す枠を出力すれば、どの物体を示す認識結果であるのかを容易に把握することができる。
【００１８】
他の特徴構成は、前記制御部は、前記物体の種別を認識し、前記物体の種別を認識できたか否かによって、前記出力部が前記枠を異なる態様で出力するように制御する点にある。
【００１９】
本構成のように物体の種別を認識できたか否かによって認識結果が異なる態様で出力されるので、物体の種別を容易に把握することができる。
【００２０】
他の特徴構成は、前記制御部は、前記画像における前記基準指標が所定の数未満の場合に警告をするように制御する点にある。
【００２１】
本構成では、撮像部が極端に位置ずれしている場合や物体が基準指標に重なっている場合のように、基準指標が撮像部の撮像領域外となって所定の数未満となったときに警告する。これにより、装置に問題が発生したことを確実に理解でき、物体の配置を変更したり、撮像部の位置を修正したりする対応が可能となる。
【００２２】
他の特徴構成は、前記出力部は、前記配置部の表面に前記認識結果を表示する表示部である点にある。
【００２３】
本構成のように、出力部が配置部の表面に形成された表示部であれば、物体を配置した利用者が物体を目視することにより同時に認識結果を把握することができる。
【００２４】
他の特徴構成は、前記基準指標は、前記表示部により所定の位置に表示される基準マークである点にある。
【００２５】
本構成のように、基準指標を表示部により所定の位置に表示される基準マークで構成すれば、物理的な基準マークを別途設ける必要がない。
【００２６】
他の特徴構成は、前記基準指標は、前記表示部の周辺に設けられている基準マークである点にある。
【００２７】
本構成のように、基準指標を表示部の周辺に設けられた基準マークで構成すれば、基準マークが物体で隠れる可能性が低い。つまり、表示部に物体がランダムに置かれている場合でも、出力部による認識結果の出力位置が適正なものとなり、表示部に配置された物体を目視することにより認識結果を確実に把握することができる。
【００２８】
他の特徴構成は、前記基準マークは、前記配置部を収容するケース枠体の外周角部であるにある。
【００２９】
本構成のように、配置部を収容するケース枠体の外周角部を基準マークとすれば、基準マークが物体で隠れている場合でも、ケース枠体の各辺の交点を求めることにより基準マークを演算することができる。
【００３０】
他の特徴構成は、前記出力部は、前記認識結果を投影する投影機である点にある。
【００３１】
本構成のように、出力部を投影機で構成すれば、物体上に重ねて認識結果を投影することが可能となるため、利用者に認識結果を把握させ易くなる。
【００３２】
他の特徴構成は、前記基準指標は、前記投影機により投影される基準マークである点にある。
【００３３】
本構成のように、基準指標を投影機により投影される基準マークで構成すれば、物理的な基準マークを別途設ける必要がない。
【００３４】
他の特徴構成は、前記配置部は、前記投影機により投影された投影画面である点にある。
【００３５】
本構成のように、配置部を投影画面で構成すれば、配置部を別途設ける必要がなく、製造コストを低減できる。
【００３６】
他の特徴構成は、前記配置部に前記物体が存在しない場合、前記投影機により投影された前記基準指標を、前記画像から認識する点にある。
【００３７】
本構成のように、配置部に物体が存在しない場合に基準指標を投影機により投影すれば、物体が障害となって基準指標の認識精度が低下することなく、基準指標に基づく出力部の出力位置の補正が正確なものとなる。
【図面の簡単な説明】
【００３８】
【図１】物体認識装置の全体概略図である。
【図２】物体認識装置のブロック図である。
【図３】認識結果の表示例を示す図である。
【図４】認識結果の他の表示例を示す図である。
【図５】認識結果の他の表示例を示す図である。
【図６】商品の検出方法を説明する図である。
【図７】タッチパネルの表示例を示す図である。
【図８】認識結果の出力位置を補正する処理のフロー図である。
【図９】認識結果の出力位置を補正する処理の説明図である。
【図１０】購入処理のフロー図である。
【図１１】別実施形態に係る物体認識装置のブロック図である。
【図１２】別実施形態に係る認識結果の表示例を示す図である。
【図１３】別実施形態に係る認識結果の出力位置を補正する処理のフロー図である。
【図１４】別実施形態に係る認識結果の出力位置を補正する処理の説明図である。
【発明を実施するための形態】
【００３９】
以下に、本発明に係る物体認識装置、物体認識方法及び物体認識プログラムの実施形態について、図面に基づいて説明する。本実施形態では、物体認識装置、物体認識方法及び物体認識プログラムとして、病院、介護施設又はオフィスビル等に設置される小規模のコンビニエンスストアにおいて、店員の介入無しに購入者（操作者）が自ら会計を行うセルフレジシステムＸ（物体認識システム）が備えるセルフ購入装置１を用いて説明する。ただし、以下の実施形態に限定されることなく、その要旨を逸脱しない範囲内で種々の変形が可能である。
【００４０】
図１〜図２に示すように、セルフレジシステムＸは、購入者用端末１４を有する複数（本実施形態では２つ）のセルフ購入装置１（物体認識装置の一例）と、上位サーバー２と、を備えている。購入者用端末１４と上位サーバー２とは、有線又は無線でネットワーク接続されており、セルフ購入装置１での売上情報等が上位サーバー２に送信されるように構成されている。
【００４１】
セルフ購入装置１は、基台１０と撮像部１１と距離センサ１２と配置部１３とケース枠体１６と購入者用端末１４とを備えている。購入者用端末１４と、撮像部１１，距離センサ１２及び配置部１３とは、有線又は無線でネットワーク接続されている。
【００４２】
基台１０は、撮像部１１，距離センサ１２，配置部１３，購入者用端末１４及びケース枠体１６を支持する筺体であり、配置部１３の横には、買い物かご（不図示）を載置可能なスペース１０Ａが設けられている。また、基台１０には、つり銭となる貨幣を貯留する貨幣貯留部（不図示）も内蔵されている。
【００４３】
撮像部１１は、ＣＣＤやＣＭＯＳ等の撮像素子を内蔵した可視光カメラである。撮像部１１の撮像範囲は、配置部１３を撮影可能な範囲に設定されている。「配置部１３を撮影可能な範囲」とは、配置部１３の表面の一部又は全体だけでなく、配置部１３の周辺も含まれる。撮像部１１は、配置部１３に配置された商品（物体の一例）を撮影し、その画像を後述する通信部１４Ｆを介して後述する認識部１５Ｂに送信する。認識部１５Ｂでは、受信した画像に基づいて、公知の物体認証技術により商品を認識する。距離センサ１２は、ＬＥＤ等の光源から光を照射し、商品で反射された反射光を受光して距離に換算するセンサである。距離センサ１２は、配置部１３の表面に配置された商品の高さを計測すること可能であり、その計測値を通信部１４Ｆを介して認識部１５Ｂに送信する。認識部１５Ｂでは、受信した計測値と、後述する記憶部１４Ｃに記憶された登録商品の高さとを比較して、商品が複数重なって配置されている状態を認識する。
【００４４】
配置部１３の表面には、買い物かごに収容された商品を、購入者の手によって配置する（買い物かごから移し替える）ための配置領域が形成されている。配置部１３は、基台１０に埋め込まれた表示部１３ａ（出力部の一例）で構成されており、平面状の配置領域が表示部１３ａで表示され、購入者が視認できる状態となっている。表示部１３ａは、平面状の配置領域として液晶画面等で構成されるディスプレイを有しており、図３〜図４に示すようにディスプレイにより枠を点灯表示したり、図５に示すように配置部１３に区分された各エリアを数字で表示したりする。購入者は、表示部１３ａに１つずつ商品を配置する。
【００４５】
図３〜図４には、表示部１３ａの一例として、「可変エリア表示方式」が示されている。配置部１３では、後述する検出部１５Ａにより検出された商品の配置場所に応じて、各々の配置エリアが特定される。この際、検出部１５Ａにより検出された商品の輪郭よりも外側にある仮想線のうち最も近接する仮想線で囲まれた枠を特定する。そして、この枠の内側領域が、商品が配置された配置領域に対して区分された各々の配置エリアとなる。図３〜図４に示す「可変エリア表示方式」は、検出部１５Ａが検出した商品の配置場所に応じて配置エリアを特定するので、配置領域の如何なる場所に商品が配置された場合でも商品の適正な配置場所が報知される。このため、購入者は、商品のサイズや形状に関らず無作為に商品を配置部１３の表面に配置することが可能となるため、利便性が高い。
【００４６】
図５には、表示部１３ａの一例として、「固定枠表示方式」が示されている。配置部１３の両側方には、各々の配置エリアを区分する複数の固定枠が等間隔に設定されており、一対の線分の間には、各々の配置エリアの指標となる数字（本実施形態では１〜６）が順番に表示されている。また、配置部１３の両側方の間の中央部分は、商品が各々の配置エリアから中央部分にはみ出しても良いように空白となっている。この「固定枠表示方式」は、予めテンプレートとして記憶部１４Ｃに記憶しておき、管理者（操作者）がタッチパネル１４Ａで選択する形式が好ましい。また、「手動入力」として、管理者がタッチペンにより区画線をデジタル入力しても良いし、管理者がマジックやテープ等で配置部１３に固定枠をアナログ入力し、撮像部１１で撮像した画像に基づいて各々のエリアを特定しても良い。
【００４７】
図１に示すように、ケース枠体１６は、基台１０に埋め込まれており、配置部１３を収容するプラスチック等で構成されるケースである。ケース枠体１６の外周が矩形状に形成されており、内周で囲まれる空間が配置部１３を収容する収容空間となっている。詳細は後述するが、本実施形態では、ケース枠体１６の外周角部の４点を基準マークＰ（基準指標の一例）としている（図９参照）。この基準マークＰは、表示部１３ａに対して所定の位置関係（本実施形態では表示部１３ａの角部外側の４隅）にある。ケース枠体１６の外周角部が丸みを帯びている場合は、各辺が交差する４点を基準マークＰとしても良いし、ケース枠体１６が四角形以外の多角形である場合は、各辺が交差する複数の点を基準マークＰとしても良い。なお、表示部１３ａに対して所定の位置関係にある基準マークＰは、表示部１３ａと同一平面上にある場合に限定されず、表示部１３ａに対して高さ方向にずらして配置されていても良いし、基準マークＰ自体を立体的に構成しても良い。つまり、表示部１３ａと基準マークＰとの所定の位置関係は、２次元空間上の位置関係であっても良いし、３次元空間上の位置関係であっても良い。
【００４８】
図１〜図２に示すように、購入者用端末１４は、ＣＰＵやメモリを中核とするコンピュータで構成されており、タッチパネル１４Ａと精算部１４Ｂと記憶部１４Ｃとスピーカ１４Ｄとバーコードリーダ１４Ｅと通信部１４Ｆと制御部１５とを有している。制御部１５は、検出部１５Ａと認識部１５Ｂと出力制御部１５Ｃと報知制御部１５Ｄと表示制御部１５Ｅとを有している。制御部１５は、ＣＰＵにより実行される各種プログラムであるソフトウェアで構成されており、タッチパネル１４Ａ，精算部１４Ｂ，スピーカ１４Ｄ，バーコードリーダ１４Ｅ及び通信部１４Ｆは、ハードウェアとソフトウェアの両方で構成されており、記憶部１４ＣはＲＡＭやＨＤＤといったハードウェアで構成されている。
【００４９】
タッチパネル１４Ａは、購入者や管理者により指やタッチペン等で画面操作可能な表示デバイスである。タッチパネル１４Ａは、配置部１３の表示方式の指定を受け付ける受付部としての機能と、認識部１５Ｂが認識した結果を報知する機能と、撮像部１１が撮像した画像を表示する機能と、の少なくとも何れか一つの機能を備えている。
【００５０】
精算部１４Ｂは、貨幣処理装置及びカードリーダ等で構成されている。認識部１５Ｂやバーコードリーダ１４Ｅで全ての商品が認識されたとき、認識された商品に対応する、記憶部１４Ｃに記憶された商品ＩＤに関連付けられた商品名及び金額を取得する。そして、タッチパネル１４Ａに商品名，数量及び金額（合計金額含む）を表示し、購入者がタッチパネル１４Ａを確認した後に精算ボタン（不図示）を押下することにより、精算部１４Ｂは、貨幣やクレジットカード等での決済を受け付ける。決済完了後は、不図示のプリンタによりレシートを印字して発行すると共に、つり銭等を返金する。なお、精算部１４Ｂでの決済方法として、スマートフォンの画面にバーコードを表示して決済する方法や、生体認証（カメラを用いた顔認証等）により決済する方法等であっても良い。
【００５１】
記憶部１４Ｃには、各種プログラムが記憶されていると共に、商品ＩＤに関連付けて商品分類，商品名，単価及び画像データ（登録商品特徴量を含む）が記憶されている。また、記憶部１４Ｃには、配置部１３の表示部１３ａにおける表示方式のテンプレートが記憶されている。また、記憶部１４Ｃには、商品の向き毎の高さが記憶されており、認識部１５Ｂは、上述した距離センサ１２により測定された商品の高さと記憶部１４Ｃに記憶された登録商品の高さとを比較して、１つの商品であるか否かを認識することができる。さらに、記憶部１４Ｃには、後述する検出部１５Ａで商品の配置場所を特定するための基準フレームＤＢ１の画像データ（図６も参照）と、配置部１３の周囲に設けられたケース枠体１６の外周フレームＦ（基準マークＰを含む）の画像データ（図９も参照）とが記憶されている。
【００５２】
通信部１４Ｆは、撮像部１１が撮像した画像や距離センサ１２の測定情報を有線ＬＡＮ又は無線ＬＡＮ等で構成されるネットワークを介して受信するためのインターフェースである。また、通信部１４Ｆは、配置部１３及び上位サーバー２に対して有線ＬＡＮ又は無線ＬＡＮ等で構成されるネットワークを介して各種情報を送信するためのインターフェースである。
【００５３】
検出部１５Ａは、図３に示す「可変エリア表示方式」において、配置部１３に配置された商品の配置場所を検出する。検出部１５Ａは、撮像部１１で撮像された画像から商品の輪郭を検出する。そして、検出部１５Ａは、配置部１３における商品の輪郭の位置座標を検出する。また、図５に示す「固定枠表示方式」においても、検出部１５Ａが配置部１３の表面に配置された商品の配置場所を検出するように構成されている。
【００５４】
図６には、検出部１５Ａにおける商品の配置場所の検出例が示されている。図６の上段図に示すように、撮像部１１で撮像した商品を配置するための配置領域を含んだ画像に基づいて、当該画像に含まれる配置領域を複数のメッシュＭ（分割領域の一例）に分割する。一例として、画像を一定間隔のメッシュＭに分割（例えば、５００×４００画素の画像を５０×４０分割した場合、各メッシュＭは１０×１０画素）する。記憶部１４Ｃには、配置領域に商品が置かれる前の基準フレームＤＢ１（商品が配置されていない配置領域を含む画像、背景画像）が予め撮像部１１で撮像されて記憶されている。そして、記憶部１４Ｃに記憶された基準フレームＤＢ１を複数のメッシュＭに分割する。この基準フレームＤＢ１を作成するにあたり、配置領域には、所定のパターンが付与されていても良い。ここで、所定のパターンとは、商品に使用されにくいパターン（模様、色等）等である。
【００５５】
次いで、図６の中段図に示すように、分割された各メッシュＭの特徴量（輝度、色等）を抽出する。そして、基準フレームＤＢ１の各メッシュＭの特徴量と基準フレームＤＢ１の各メッシュＭに対応する撮像画像の各メッシュＭの特徴量とを比較し、メッシュＭ同士の類似度（例えば正規化相関係数）を類似度情報として算出する。ここで、例えば正規化相関係数が高いほどメッシュＭ同士の類似度が高いことを示し、新たな撮像画像の特徴量が入力される度に、メッシュＭ同士の類似度を算出し、類似度の算出結果を類似度情報ＤＢ２として記憶部１４Ｃに記憶する。
【００５６】
次いで、分割領域（各メッシュＭ）の類似度情報ＤＢ２に基づき、この分割領域に含まれる商品を検出する。図６の下段図に示すように、基準フレームＤＢ１の各メッシュＭ（商品が配置されていない配置領域を含む画像の分割領域）の特徴量と基準フレームＤＢ１の各メッシュＭに対応する撮像画像の各メッシュＭ（商品が配置された配置領域を含む画像の分割領域）の特徴量とを比較して算出された類似度情報ＤＢ２が予め定められた閾値以下であれば、商品が存在するメッシュＭであると判定する。つまり、記憶部１４Ｃには基準フレームＤＢ１を分割したメッシュＭ毎の特徴量が記憶されており、検出部１５Ａは、リアルタイムに撮像された撮像画像に基づいてメッシュＭ毎に類似度情報ＤＢ２を都度算出し、算出された類似度情報ＤＢ２が予め定められた閾値以下であるか否かを判定し、閾値以下であるメッシュＭを商品が存在するメッシュＭであると判定する。そして、検出部１５Ａにおいて商品が存在すると判定された各メッシュＭが隣接する集合領域が、商品の配置場所となる。本実施形態では、明るさの変動の影響を受けにくい類似度（例えば正規化相関係数）を用いることにより、照明が変動する状況においても安定して商品領域を検出することが可能となる。
【００５７】
認識部１５Ｂは、配置部１３の各々のエリアに配置された商品を撮像部１１により撮影された画像に基づいて、公知の物体認識技術により商品を認識する。ここで、「商品を認識する」とは、配置部１３の各々のエリアに配置された商品について、商品ＩＤと商品ＩＤに関連付けられた商品分類及び商品名等を認識する（種別認識）ことに加え、商品の配置位置を認識する（位置認識）ことも含まれる。公知の物体認識技術について詳細な説明を省略するが、物体の輪郭、色合い及び表面形状や物体に付された文字等の対象商品特徴量と、記憶部１４Ｃに記憶された商品情報（登録商品特徴量）とを比較してスコア（一致度、１００％であれば完全一致）を算出する。そして、認識部１５Ｂは、該スコアが所定の閾値（例えば９０％）以上であれば認識部１５Ｂで認識された商品（正常認識商品）であるとし、該スコアが所定の閾値未満であれば認識部１５Ｂで認識されなかった商品（不明商品）として判定する。認識部１５Ｂによる不明商品としての認識には、距離センサ１２による配置部１３の表面に配置された商品の高さの計測値により、商品が複数重なって配置されている状態と認識することも含まれる。
【００５８】
また、認識部１５Ｂは、配置部１３を含む領域（基準マークＰを含む領域）を撮像部１１により撮影された画像に基づいて、公知の特徴点検出技術により基準マークＰを画像上マークＰｖ（画像における基準指標の一例）として認識する（図９も参照）。例えば、撮像部１１により撮影された外周フレームＦを画像上外周フレームＦｖとして認識し、画像上外周フレームＦｖにおける方向ベクトルの横方向量および縦方向量に基づいて抽出された縦横両エッジ点を画像上マークＰｖとして認識する。なお、画像上外周フレームＦｖから画像上マークＰｖを認識するのに代えて、目立つ指標で構成された基準マークＰを公知の物体認識技術により認識しても良い。また、画像上外周フレームＦｖと記憶部１４Ｃに記憶された外周フレームＦのテンプレートとを比較して、テンプレートマッチング等により画像上マークＰｖを認識しても良い。
【００５９】
出力制御部１５Ｃは、配置部１３に対して、認識部１５Ｂが認識した認識結果（種別認識結果等）を出力する表示部１３ａの報知形態を制御する。ここで、認識結果には、商品の位置（枠等）、及び、商品の種別（不明商品の場合はＮＧ等）が含まれる。また、出力制御部１５Ｃは、認識部１５Ｂが認識した商品の種別に応じ、異なった態様にて購入者に報知するように制御する。図３〜図４に示す表示部１３ａの例では、認識部１５Ｂで認識された商品（正常認識商品）を囲む枠の点灯色（例えば青色）に対して、認識部１５Ｂで認識されなかった商品（不明商品）を囲む枠の点灯色（例えば赤色）を異ならせて強調表示している。また、図４に示す表示部１３ａの例では、認識部１５Ｂで認識された商品（正常認識商品）について、商品の近傍に商品名と単価を表示している。図５に示す表示部１３ａの例では、画面下部に、認識部１５Ｂで認識された商品（正常認識商品）を○、認識部１５Ｂで認識されなかった商品（不明商品）を×で表示している。
【００６０】
詳細は後述するが、出力制御部１５Ｃは、表示部１３ａにて報知する際、撮像部１１で撮像された画像上において認識部１５Ｂが認識した画像上マークＰｖの位置に基づき、表示部１３ａが認識結果を出力する位置を補正するように制御する。この補正制御は、配置部１３に商品が配置されていない場合に撮像部１１で撮像された画像に基づいて実行されても良いし、配置部１３に商品が配置されている場合に撮像部１１で撮像された画像に基づいて実行されても良い。
【００６１】
報知制御部１５Ｄは、タッチパネル１４Ａやスピーカ１４Ｄでの報知形態を制御する。報知制御部１５Ｄは、認識部１５Ｂが認識した結果に応じ、異なった態様にて購入者に報知するように制御する。例えば、図７に示すタッチパネル１４Ａの例では、認識部１５Ｂで認識された商品（正常認識商品）についてＯＫ表示し、認識部１５Ｂで認識されなかった商品（不明商品）についてＮＧ表示する。また、認識部１５Ｂで認識された商品（正常認識商品）を囲む枠の点灯色（例えば青色）に対して、認識部１５Ｂで認識されなかった商品（不明商品）を囲む枠の点灯色（例えば赤色）を異ならせて強調表示する。
【００６２】
さらに、不明商品である場合、報知制御部１５Ｄは、商品を再度所定のエリアに置き直したり、商品に付されたバーコードをバーコードリーダ１４Ｅに読み取らせたりするように、スピーカ１４Ｄの音声やタッチパネル１４Ａの画面表示にて購入者に報知する制御を実行する。さらに、報知制御部１５Ｄは、候補となる商品をタッチパネル１４Ａに表示して購入者に選択させるように報知制御しても良い。
【００６３】
図２に示すように、上位サーバー２は、販売情報記憶部２１と販売管理制御部２２と表示装置２３とを備えている。
【００６４】
販売情報記憶部２１は、購入者用端末１４から送信された商品の売上情報が記憶されている。商品の売上情報としては、購入された商品に関する商品ＩＤに関連付けた商品分類，商品名，販売金額及び販売数量等が記憶されている。販売管理制御部２２は、販売情報記憶部２１に対して売上登録制御を実行すると共に、表示装置２３の画面の表示制御を実行するＣＰＵで構成されている。表示装置２３は、管理者が販売管理するための画面を表示する表示デバイスである。
【００６５】
続いて、図８〜図９を用いて、出力制御部１５Ｃにおいて、表示部１３ａが認識結果を出力する位置を補正する処理について説明する。
【００６６】
図９の上図に示すように、表示部１３ａに認識部１５Ｂが認識した結果を出力する際、例えば、購入者が撮像部１１に接触して撮像部１１の位置が所定位置からずれた場合、撮像部１１が撮像した画像（破線表示）が、実際に目視できる配置部１３（実線表示）に対して位置ずれすることがある。この場合、表示部１３ａにおいて、撮像部１１で撮像された画像に基づいて認識結果を出力した場合、図９の下図に示すように、破線の枠線が商品の周囲からずれて表示される。そこで、本実施形態では、認識部１５Ｂは、撮像部１１が撮像した画像に基づいて表示部１３ａと所定の位置関係にある基準マークＰを認識し、出力制御部１５Ｃは、当該画像における画像上マークＰｖの位置に基づき、表示部１３ａが認識結果を出力する位置を補正するように制御することとしている。
【００６７】
図８に示すように、撮像部１１が配置部１３を含む領域を撮像して、画像を生成する（＃３１、撮像ステップの一例）。そして、撮像部１１で撮像された画像が購入者用端末１４に送信され、通信部１４Ｆが当該画像を取得する（取得処理の一例）。次いで、認識部１５Ｂは、撮像部１１で撮像された画像に基づいて基準マークＰを画像上マークＰｖ（基準指標）として認識する（＃３２、図９参照）。このとき、認識部１５Ｂは、画像上マークＰｖの数が所定の数（本実施形態では３つ）以上であるか否かを判定する（＃３３）。ここで、所定の数は、ケース枠体１６の外周フレームＦが２次元で構成されているので、少なくとも２つあれば良いが、３つ以上あれば、外周フレームＦにおける３次元の捻れも検出できるため好ましい。
【００６８】
＃３３の判定の結果、画像上マークＰｖが所定の数未満であれば、撮像部１１が極端に位置ずれしている可能性や基準マークＰ上に商品が重なっている可能性があるとして、報知制御部１５Ｄがスピーカ１４Ｄやタッチパネル１４Ａで警告するように制御する（＃３４）。この警告は、例えば、「カメラの位置が正しくセットされていない可能性があります」や「商品が枠からはみ出している可能性があります」等である。警告を受けた購入者又は管理者が、撮像部１１の位置を修正したり、基準マークＰに重なっている商品を移動させたりすることにより、再度＃３１の処理が再開される。
【００６９】
＃３３の判定の結果、画像上マークＰｖが所定の数以上であれば、出力制御部１５Ｃは、画像上マークＰｖの座標と記憶部１４Ｃに記憶された外周フレームＦの角部に位置する基準マークＰの座標とを比較する。図９の上図に示す例では、破線で示される画像上外周フレームＦｖが撮像部１１で撮像された画像であり、実線で示される外周フレームＦが、記憶部１４Ｃに記憶されたケース枠体１６の外周である。出力制御部１５Ｃは、基準マークＰの座標と画像上マークＰｖの座標との差分から、補正量を演算する（＃３５）。具体的には、複数の画像上マークＰｖを結んだ画像上外周フレームＦｖの内側にある夫々の座標（画素）を、複数の基準マークＰを結んだ外周フレームＦの内側にある夫々の座標（画素）に変換するための補正量を演算する。
【００７０】
図８に戻り、検出部１５Ａが検出した商品の配置場所に応じて、認識部１５Ｂが商品を認識する（＃３６Ｙｅｓ、制御ステップの一例、制御処理の一例）。認識部１５Ｂは、配置部１３に配置された商品の特徴量と、記憶部１４Ｃに記憶された登録商品特徴量とを比較してスコアを算出し、該スコアが所定の閾値（例えば９０％）以上であれば認識部１５Ｂで認識された商品（正常認識商品）であるとして認識結果を生成し、該スコアが所定の閾値未満であれば認識部１５Ｂで認識されなかった商品（不明商品）として認識結果を生成する（＃３７）。次いで、出力制御部１５Ｃは、演算した補正量に基づいて、表示部１３ａが認識結果を出力する位置を補正するように制御する（＃３８、制御ステップの一例、制御処理の一例）。図９の下図に示す例では、出力制御部１５Ｃは、破線で示される枠の座標を補正量に基づいて実線で示される枠の座標に変換している。次いで、表示部１３ａが認識結果を出力する（＃３９、出力ステップの一例、出力処理の一例）。図９の下図に示す例では、出力制御部１５Ｃは、正常認識商品を囲む実線で示される枠の点灯色を青色で表示すると共に、不明商品を囲む実線で示される枠の点灯色を赤色で表示するように表示部１３ａを制御している。
【００７１】
続いて、図１０を用いて、購入者が商品を購入する購入処理について説明する。
【００７２】
買い物かごに商品を入れた購入者は、基台１０のスペース１０Ａに買い物かごを置き、配置部１３の表面に商品を配置する（♯４１Ｙｅｓ）。次いで、撮像部１１で撮像された商品の画像に基づいて、検出部１５Ａが商品の配置場所を検出し、認識部１５Ｂが商品を認識する（♯４２）。そして、出力制御部１５Ｃにより補正された認識結果を表示部１３ａで表示して購入者に報知する（♯４３）。図３に示す表示部１３ａの例では、認識部１５Ｂで認識された商品（正常認識商品）を囲む枠の点灯色（例えば青色）に対して、認識部１５Ｂで認識されなかった商品（不明商品）を囲む枠の点灯色（例えば赤色）を異ならせて強調表示している。また、図４に示す表示部１３ａの例では、図３の表示例に加えて、認識部１５Ｂで認識された正常認識商品について、商品の近傍に商品名と単価を表示している。図５に示す表示部１３ａの例では、画面下部に、認識部１５Ｂで認識された商品を○、認識部１５Ｂで認識されなかった商品を×で表示している。これにより、認識部１５Ｂにより商品の種類が認識できた場合と認識部１５Ｂにより商品の種類が認識できなかった場合とを明確に区分して購入者に報知することができる。
【００７３】
次いで、不明商品ありの場合（♯４４Ｙｅｓ）、購入者は、１つずつ方向を変えて商品を置き直すか、商品に付されたバーコードをバーコードリーダ１４Ｅにより読み取らせるかの指示を行う。次いで、購入者が商品に付されたバーコードをバーコードリーダ１４Ｅにかざして読み取った場合（♯４５Ｙｅｓ）、再度、♯４３に戻り、認識結果を報知し、不明商品があるか否かの判定（♯４４）を行う。一方、購入者が方向を変えて商品を置き直した場合（♯４５Ｎｏ）、再度、♯４１に戻り、配置部１３に商品が配置されたか否かの判定（♯４１）から不明商品があるか否かの判定（♯４４）までを繰り返す。
【００７４】
そして、不明商品がなく、全ての商品が正常に認識された場合（♯４４Ｎｏ）、精算部１４Ｂによる精算処理を実行する（♯４６）。このように、購入者が商品を配置する配置部１３において認識結果が報知されるため、認識結果の確認作業が容易であり、不明商品が何れの商品であるかを容易に認識することができる。
【００７５】
［別実施形態］
図１１〜図１４には、別実施形態に係る物体認識装置、物体認識方法及び物体認識プログラムが示されている。本実施形態では、上述した実施形態のように認識結果を表示部１３ａで出力するのに代えて、認識結果を投影機１７（出力部の一例）で出力する点が異なっている。以下の説明において、上述した実施形態における同様の構成については、同一の名称及び符号を用いて説明し、詳細な説明を省略する。
【００７６】
投影機１７は、プロジェクタ等で構成されており、撮像部１１と別体として基台１０に支持されている。図１２に示すように、配置部１３は、投影機１７により基台１０の上面に投影された投影画面で構成されており、複数（本実施形態では４つ）の基準マークＰ（基準指標の一例）は、投影機１７と所定の位置関係となるように投影されている（図１４の上図参照）。この投影機１７と基準マークＰとの所定の位置関係は、高さ方向も含む立体的な（３次元空間上の）位置関係である。図１２に示す例では、配置部１３の両側方には、各々のエリアを区分する複数の線分が等間隔に引かれており、一対の線分の間には、各々のエリアの指標となる数字（本実施形態では１〜６）が順番に表示されている。さらに、認識部１５Ｂで認識した認識結果を、投影機１７で配置部１３に投影している。図１２に示す例では、２番，３番が認識部１５Ｂで認識された商品（正常認識商品）として、商品名及び単価が投影機１７により商品の上に投影されており、７番が認識部１５Ｂで認識されなかった商品（不明商品）としてＮＧの文字が投影機１７により商品の上に投影されている。
【００７７】
図１３〜図１４を用いて、出力制御部１５Ｃにおいて、投影機１７が認識結果を出力する位置を補正する処理について説明する。本実施形態では、配置部１３に商品が存在しない場合に、認識部１５Ｂは、投影機１７により投影された基準マークＰ（基準指標）を、撮像部１１で撮像された画像から認識し、出力制御部１５Ｃは、画像における画像上マークＰｖ（画像における基準指標の一例）の位置に基づき、投影機１７が認識結果を出力する位置を補正する（図１４参照）。
【００７８】
図１３に示すように、配置部１３に商品が存在しない場合に、投影機１７により基台１０の上面に基準マークＰ（基準指標）を投影する（＃５１）。そして、図１４に示すように、撮像部１１が基準マークＰ（基準指標）を撮像する（＃５２、撮像ステップの一例）。次いで、撮像部１１で撮像された画像が購入者用端末１４に送信され、通信部１４Ｆが当該画像を取得する（取得処理の一例）。次いで、認識部１５Ｂは、撮像部１１で撮像された画像に基づいて基準マークＰを画像上マークＰｖ（画像上の基準指標）として認識する（＃５３、図１４の上段図参照）。このとき、認識部１５Ｂは、画像上マークＰｖの数が所定の数（本実施形態では３つ）以上であるか否かを判定する（＃５４）。
【００７９】
＃５４の判定の結果、画像上マークＰｖが所定の数未満であれば、撮像部１１又は投影機１７が極端に位置ずれしている可能性があるとして、報知制御部１５Ｄがスピーカ１４Ｄやタッチパネル１４Ａで警告するように制御する（＃５５）。警告を受けた管理者等が、撮像部１１又は投影機１７の位置を修正することにより、再度＃５１の処理が再開される。この際、投影機１７が正しい位置にある基準マークＰを投影しても良い。これにより、正しい位置にある基準マークＰが映るように撮像部１１の撮像範囲等を修正すれば良く、利便性が高まる。
【００８０】
＃５４の判定の結果、画像上マークＰｖが所定の数以上であれば、出力制御部１５Ｃは、画像上マークＰｖの座標と記憶部１４Ｃに記憶された基準マークＰの座標とを比較する。図１４の上段図に示す例では、破線で示される画像上マークＰｖが撮像部１１で撮像された基準マークＰの画像であり、実線で示される基準マークＰが記憶部１４Ｃに記憶された投影機１７で投影されるべき画像である。出力制御部１５Ｃは、基準マークＰの中心座標と画像上マークＰｖの中心座標との差分から、補正量を演算する（＃５６）。具体的には、複数の画像上マークＰｖを結んだ仮想画像上外周フレームの内側にある夫々の座標（画素）を、複数の基準マークＰを結んだ仮想外周フレームの内側にある夫々の座標（画素）に変換するための補正量を演算する。そして、出力制御部１５Ｃは、この補正量に基づいて、投影機１７が投影する投影画面（配置部１３）を補正する（＃５６）。これによって、図１４の中段図に示す配置部１３が、投影機１７により投影される。
【００８１】
次いで、検出部１５Ａが検出した商品の配置場所に応じて、認識部１５Ｂが商品を認識する（＃５７Ｙｅｓ、制御ステップの一例、制御処理の一例）。認識部１５Ｂは、配置部１３に配置された商品の特徴量と、記憶部１４Ｃに記憶された登録商品特徴量とを比較してスコアを算出し、該スコアが所定の閾値（例えば９０％）以上であれば認識部１５Ｂで認識された商品（正常認識商品）であるとして認識結果を生成し、該スコアが所定の閾値未満であれば認識部１５Ｂで認識されなかった商品（不明商品）として認識結果を生成する（＃５８）。次いで、出力制御部１５Ｃは、演算した補正量に基づいて、投影機１７が認識結果を配置部１３に投影する位置を補正するように制御する（＃５９、制御ステップの一例、制御処理の一例）。図１４の下段図に示す例では、出力制御部１５Ｃは、破線で示される枠の座標を補正量に基づいて実線で示される枠の座標に変換している。次いで、投影機１７が認識結果を出力する（＃６０）。図１４の下段図に示す例では、出力制御部１５Ｃは、投影機１７により正常認識商品の周囲に青色の枠を投影するように制御すると共に、投影機１７により不明商品の周囲に赤色の枠を投影しつつ不明商品の上にＮＧの文字を投影するように制御している。
【００８２】
以上説明したように、認識部１５Ｂが撮像部１１で撮像された画像に基づいて表示部１３ａ又は投影機１７と所定の位置関係にある基準マークＰを認識し、出力制御部１５Ｃは、該画像上の基準マークＰの位置に基づいて、表示部１３ａ又は投影機１７が認識結果を出力する位置を補正している。つまり、撮像部１１又は投影機１７が位置ずれした場合には、画像上マークＰｖの座標が本来の基準マークＰの座標からずれており、このずれ量に基づいて認識結果の出力位置が補正される。これにより、認識結果が適正な位置に出力されるため、商品を目視することにより認識結果を適切に把握することができる。
【００８３】
［その他の実施形態］
（１）上述した認識部１５Ｂにおける認識結果の表示例は一例にすぎず、例えば、商品の近傍に認識結果として○×表示やＯＫ，ＮＧ表示をしても良いし、不明商品である場合、商品の周囲を点滅した枠で囲んでも良いし、正常認識商品である場合、商品の近傍に商品の位置座標を表示しても良く、特に限定されない。
（２）商品を配置する配置部１３や基準マークＰは、投影機１７により３次元で投影しても良い。また、配置部１３を透明に構成して、投影機１７により下部から認識結果を投影しても良い。
【００８４】
（３）基準マークＰは、表示部１３ａの所定の位置（例えば表示部１３ａの４隅）に表示されても良い。この場合、物理的な基準マークＰ（例えばケース枠体１６）を別途設ける必要がない。また、基準指標を基準マークＰのように点状の図形で構成せずに、ケース枠体１６の外周フレームＦのように枠状の図形で構成しても良く、特に限定されない。
（４）上述した別実施形態では、配置部１３に商品が存在しない場合に、認識部１５Ｂは、投影機１７により投影された基準マークＰを認識したが、配置部１３に商品が存在している場合に、認識部１５Ｂは、投影機１７により投影された基準マークＰを認識しても良い。
（５）可視光カメラで構成される撮像部１１に距離センサ１２を内蔵しても良い。また、配置部１３を透明に構成して、下部から光を照射することで商品を浮かび上がらせ、可視光カメラで商品や基準マークＰを立体的に撮影しても良い。
【００８５】
（６）認識部１５Ｂはスコアを多段階の閾値で判定し、認識部１５Ｂの認識結果に応じて出力制御部１５Ｃや報知制御部１５Ｄが異なる態様で報知制御しても良い。例えば、第一閾値（例えば９０％）以上であれば認識部１５Ｂで認識された商品（正常認識商品）であるとし、第二閾値（例えば７０％）以上第一閾値未満であれば候補となる商品を購入者に選択させ、第二閾値未満であれば商品に付されたバーコードをバーコードリーダ１４Ｅに読み取らせるように構成しても良い。また、商品毎に閾値を異ならせても良い。
【００８６】
（７）バーコードリーダ１４ＥにＱＲコード（登録商標）を読み取る機能を持たせても良い。
（８）上述した実施形態における制御部１５の機能を上位サーバー２に受け持たせて、購入者用端末１４と上位サーバー２とを有線又は無線で双方向通信するように構成しても良い。また、セルフレジシステムＸは、１つのセルフ購入装置１と上位サーバー２とで構成しても良いし、上位サーバー２の機能をセルフ購入装置１に内蔵しても良い。また、物体認識装置としてセルフ購入装置１を例示したが、配置部１３及び購入者用端末１４で物体認識装置を構成しても良い。
（９）セルフレジシステムＸは、小規模のコンビニエンスストアに適用する場合に限定されず、大規模のコンビニエンスストアやスーパー等にも適用可能である。また、上述した実施形態における物体認識装置、物体認識方法及び物体認識プログラムは、店員が介入する有人レジにも適用可能である。
【産業上の利用可能性】
【００８７】
本発明は、配置部に配置された物体を撮像し、撮像画像から物体を認識した認識結果を出力する物体認識装置、物体認識方法及び物体認識プログラムに利用可能である。
【符号の説明】
【００８８】
１      ：セルフ購入装置（物体認識装置）
１１    ：撮像部
１３    ：配置部
１３ａ  ：表示部（出力部）
１５    ：制御部
１６    ：ケース枠体
１７    ：投影機（出力部）
Ｐ      ：基準マーク（基準指標）
Ｐｖ    ：画像上マーク（画像における基準指標）
【図１】
2020135105.tif 000003
【図２】
2020135105.tif 000004
【図３】
2020135105.tif 000005
【図４】
2020135105.tif 000006
【図５】
2020135105.tif 000007
【図６】
2020135105.tif 000008
【図７】
2020135105.tif 000009
【図８】
2020135105.tif 000010
【図９】
2020135105.tif 000011
【図１０】
2020135105.tif 000012
【図１１】
2020135105.tif 000013
【図１２】
2020135105.tif 000014
【図１３】
2020135105.tif 000015
【図１４】
2020135105.tif 000016