(57)【要約】      （修正有）【課題】物品が重ねて配置されているかを判定することができる物品認識装置を提供する。【解決手段】物品認識装置は、記憶部と、画像インターフェースと、距離情報インターフェースと、プロセッサと、を備える。記憶部は、物品の外形を示す外形情報を格納する。画像インターフェースは、撮影画像を取得する（ＡＣＴ１２）。距離情報インターフェースは、距離センサからの距離情報を取得する（ＡＣＴ１６、ＡＣＴ１７）。プロセッサは、撮影画像から第１の物品を認識し（ＡＣＴ１４）、外形情報に基づいて、第１の物品が写る物品領域を撮影画像から特定し（ＡＣＴ１５）、距離情報に基づいて、撮影画像に写る、第１の物品の面と第１の物品が設置される設置台との間の物品領域距離を取得し（ＡＣＴ１８）、外形情報と物品領域距離とに基づいて、第１の物品が第２の物品に重なって配置されているかを判定する（ＡＣＴ１９）。【選択図】図９
2020027037.tif 000002
【特許請求の範囲】
【請求項１】
物品の外形を示す外形情報を格納する記憶部と、
撮影画像を取得する画像インターフェースと、
距離センサからの距離情報を取得する距離情報インターフェースと、
前記撮影画像から第１の物品を認識し、
前記外形情報に基づいて、前記第１の物品が写る物品領域を前記撮影画像から特定し、
前記距離情報に基づいて、前記撮影画像に写る、前記第１の物品の面と前記第１の物品が設置される設置台との間の物品領域距離を取得し、
前記外形情報と前記物品領域距離とに基づいて、前記第１の物品が第２の物品に重なって配置されているかを判定する、
プロセッサと、
を備える物品認識装置。
【請求項２】
前記プロセッサは、
前記撮影画像から特徴点情報を抽出し、
前記特徴点情報に基づいて前記第１の物品を認識し、
前記特徴点情報の特徴点の位置に基づいて前記物品領域を特定する、
前記請求項１に記載の物品認識装置。
【請求項３】
前記プロセッサは、基準面から前記第１の物品の面に設定された測定点までの第１の距離を前記距離センサに測定させる、
前記請求項１又は２に記載の物品認識装置。
【請求項４】
前記プロセッサは、
前記基準面から前記設置台までの第２の距離を前記距離センサに測定させ、
前記第１の距離と前記第２の距離とに基づいて前記物品領域距離を取得する、
前記請求項３に記載の物品認識装置。
【請求項５】
前記撮影画像を撮影するカメラと、
前記距離センサと、
を備える、
前記請求項１乃至４の何れか１項に記載の物品認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、物品認識装置に関する。
【背景技術】
【０００２】
物品認識装置には、物品が設置される設置台を撮影し、撮影した画像に基づいて物品を認識するものがある。そのような物品認識装置は、設置台の物品を一方から撮影して画像を取得する。
【０００３】
そのため、従来、物品認識装置は、物品が重ねて配置されているかを判定することができないという課題がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−１０５３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の課題を解決するため、物品が重ねて配置されているかを判定することができる物品認識装置を提供する。
【課題を解決するための手段】
【０００６】
実施形態によれば、物品認識装置は、記憶部と、画像インターフェースと、距離情報インターフェースと、プロセッサと、を備える。記憶部は、物品の外形を示す外形情報を格納する。画像インターフェースは、撮影画像を取得する。距離情報インターフェースは、距離センサからの距離情報を取得する。プロセッサは、前記撮影画像から第１の物品を認識し、前記外形情報に基づいて、前記第１の物品が写る物品領域を前記撮影画像から特定し、前記距離情報に基づいて、前記撮影画像に写る、前記第１の物品の面と前記第１の物品が設置される設置台との間の物品領域距離を取得し、前記外形情報と前記物品領域距離とに基づいて、前記第１の物品が第２の物品に重なって配置されているかを判定する。
【図面の簡単な説明】
【０００７】
【図１】図１は、実施形態に係る物品認識装置の構成例を概略的に示す図である。
【図２】図２は、実施形態に係る物品認識装置の構成例を示すブロック図である。
【図３】図３は、実施形態に係る物品認識装置に配置される物品の例を示す図である。
【図４】図４は、実施形態に係る物品認識装置に配置される物品の例を示す図である。
【図５】図５は、実施形態に係る特徴点情報の例を示す図である。
【図６】図６は、実施形態に係る物品領域の例を示す図である。
【図７】図７は、実施形態に係る物品認識装置が物品領域までの距離を測定する動作例を示す図である。
【図８】図８は、実施形態に係る物品認識装置が物品領域の高さを測定する動作例を示す図である。
【図９】図９は、実施形態に係る物品認識装置の動作例を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、実施形態について、図面を参照して説明する。  
実施形態に係る物品認識装置は、物品を認識する。物品認識装置は、自身にセットされた物品を撮影する。物品認識装置は、撮影した画像から物品を認識する。たとえば、物品認識装置は、撮影した画像から抽出された特徴点などに基づいて物品を認識する。
【０００９】
たとえば、物品認識装置は、商品を決済するためのレジとして設置される。たとえば、物品認識装置は、商品を認識する。また、物品認識装置は、認識した商品を決済する。物品認識装置は、利用者が自ら決済処理を行うセルフレジとして設置されてもよい。また、物品認識装置は、店舗の店員が決済処理をする通常のレジとして設置されてもよい。
【００１０】
また、物品認識装置、決済後に購入された物品が適切であるか否かを判定する検品装置などとして設置されてもよい。  
物品認識装置の用途は、特定の構成に限定されるものではない。
【００１１】
図１は、実施形態に係る物品認識装置１の構成例を概略的に示すブロック図である。図１が示すように、物品認識装置１は、筐体２、カメラ３、距離センサ４、操作パネル５、設置台６及び制御部１０などを備える。
【００１２】
筐体２は、物品認識装置１の外形を形成するフレームである。筐体２は、設置台６を設置することができるように形成される。図１が示す例においては、筐体２は、コの字型に形成される。
【００１３】
カメラ３は、筐体２の上部に下向きで設置される。カメラ３は、設置台６上の物品（たとえば、物品Ａ）を撮影する。即ち、カメラ３は、物品を上方から撮影するように設置される。カメラ３は、斜め上方から物品を撮影するように設置されてもよい。カメラ３が設置される位置及び向きは、特定の構成に限定されるものではない。カメラ３は、撮影した画像を制御部１０に送信する。
【００１４】
距離センサ４は、筐体２の上部に下向きで設置される。距離センサ４は、設置台６に設置される物品と距離センサ４までの距離、又は、物品から距離センサ４に水平な面まで距離を測定する。
【００１５】
距離センサ４は、測定結果に基づいて、所定の基準面からの距離を示す距離情報を生成する。たとえば、距離情報は、所定の三次元座標系における各点の座標を示すものであってもよい。また、距離情報は、特定の測定点までの距離を示すものであってもよい。
【００１６】
距離センサ４は、生成した距離情報を制御部１０に送信する。また、測定結果に基づいて、所定の基準面からの距離を示す距離情報の生成を制御部１０内の後述するプロセッサ１１が行ってもよい。
【００１７】
たとえば、距離センサ４は、光源と光源から照射される光の反射光を検出するセンサとを備える。距離センサ４は、光源から照射される光（可視光又は不可視光）の反射光に基づいて距離を測定する。たとえば、距離センサ４は、照射された光が測定対象で反射し距離センサ４に届くまでの時間に基づいて当該測定対象との距離を測定するＴｏＦ（Ｔｉｍｅ−ｆｏ−Ｆｌｉｇｈｔ）方式を行ってもよい。
【００１８】
距離センサ４は、２つのカメラ（ステレオカメラ）が撮影した各画像の視差に基づいて距離を算出するものであってもよい。また、距離センサ４は、ドットパターンを投影しドットパターンの歪みから距離を測定するものであってもよい。  
距離センサ４の構成は、特定の構成に限定されるものではない。
【００１９】
操作パネル５は、オペレータからの指示の入力を受け付け、オペレータに種々の情報を表示するインターフェースである。操作パネル５は、指示の入力を受け付ける操作部と、情報を表示する表示部とから構成される。
【００２０】
操作パネル５は、操作部の動作として、オペレータから受け付けた操作を示す信号を制御部１０へ送信する。ここでは、操作部は、タッチパネルから構成される。なお、操作部は、キーボード又はテンキーをさらに備えてもよい。
【００２１】
操作パネル５は、表示部の動作として、制御部１０からの画像を表示する。たとえば、表示部は、液晶モニタから構成される。表示部は、操作部としてのタッチパネルと一体的に形成される。
【００２２】
設置台６は、筐体２の下部に設置される。設置台６は、物品を支持する台である。たとえば、設置台６は、所定の大きさの矩形状に形成される。なお、設置台６は、物品が配置されたことを検知するセンサを備えてもよい。センサは、物品が配置されたことを示す信号をプロセッサ１１に送信する。
【００２３】
制御部１０は、物品認識装置１全体を制御する。制御部１０は、オペレータからの指示などに基づいて、設置台６に設置される物品を認識する。  
たとえば、制御部１０は、操作パネル５を通じて、オペレータから種々の入力を受け付ける。また、制御部１０は、操作パネル５を通じて、オペレータに種々の情報を表示する。
【００２４】
図２は、物品認識装置１の構成例を示すブロック図である。図２が示すように、物品認識装置１は、制御部１０、カメラ３、距離センサ４及び操作パネル５などを備える。制御部１０と、カメラ３、距離センサ４及び操作パネル５とは、電気的に接続する。カメラ３、距離センサ４及び操作パネル５は、前述の通りである。
【００２５】
制御部１０は、プロセッサ１１、ＲＯＭ１２、ＲＡＭ１３、ＮＶＭ１４、カメラインターフェース１５、距離センサインターフェース１６及び入出力インターフェース１７などを備える。プロセッサ１１と、ＲＯＭ１２、ＲＡＭ１３、ＮＶＭ１４、カメラインターフェース１５、距離センサインターフェース１６及び入出力インターフェース１７とは、電気的に接続する。カメラインターフェース１５は、カメラ３と電気的に接続する。距離センサインターフェース１６は、距離センサ４と電気的に接続する。入出力インターフェース１７は、操作パネル５と電気的に接続する。
【００２６】
プロセッサ１１は、制御部１０全体の動作を制御する。即ち、プロセッサ１１は、物品認識装置１全体の動作を制御する。プロセッサ１１は、内部キャッシュ及び各種のインターフェースなどを備えてもよい。プロセッサ１１は、内部キャッシュ、ＲＯＭ１２又はＮＶＭ１４が予め記憶するプログラムを実行することにより種々の処理を実現する。
【００２７】
なお、プロセッサ１１がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであってもよい。この場合、プロセッサ１１は、ハードウエア回路により実行される機能を制御する。
【００２８】
ＲＯＭ１２は、制御プログラム及び制御データなどが予め記憶された不揮発性のメモリである。ＲＯＭ１２に記憶される制御プログラム及び制御データは、制御部１０の仕様に応じて予め組み込まれる。ＲＯＭ１２は、たとえば、制御部１０の回路基板を制御するプログラムなどを格納する。
【００２９】
ＲＡＭ１３は、揮発性のメモリである。ＲＡＭ１３は、プロセッサ１１の処理中のデータなどを一時的に格納する。ＲＡＭ１３は、プロセッサ１１からの命令に基づき種々のアプリケーションプログラムを格納する。また、ＲＡＭ１３は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。
【００３０】
ＮＶＭ１４（記憶部）は、データの書き込み及び書き換えが可能な不揮発性のメモリである。ＮＶＭ１４は、たとえば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又はフラッシュメモリなどから構成される。ＮＶＭ１４は、制御部１０の運用用途に応じて制御プログラム、アプリケーション及び種々のデータなどを格納する。
【００３１】
ＮＶＭ１４は、物品情報を格納する。物品情報は、物品に関する情報である。物品情報は、物品コードと辞書情報と外形情報とを対応付けて格納する。  
物品コードは、物品を示す識別子である。たとえば、物品コードは、数値、文字列、記号又はそれらの組合せなどから構成される。
【００３２】
辞書情報は、特徴点情報（局所特徴量）を用いて物品を特定するための情報である。辞書情報は、物品画像の特徴点及び特徴量を格納する。たとえば、辞書情報は、複数の特徴点の位置と特徴量とを対応付けて格納する。
【００３３】
外形情報は、物品の外形を示す。たとえば、外形情報は、物品の頂点の座標を示す。たとえば、外形情報は、特徴点の位置と外形との相対的な位置関係を示す。また、外形情報は、バーコードなどのコードが添付される位置と外形との相対的な位置関係を示すものであってもよい。また、外形情報は、物品の各面から対向する面までの距離を示す。
【００３４】
カメラインターフェース１５（画像インターフェース）は、カメラとデータを送受信するためのインターフェースである。たとえば、カメラインターフェース１５は、プロセッサ１１の制御に基づいて、カメラ３に撮影を指示する信号を送信する。また、カメラインターフェース１５は、カメラ３から撮影で得られた撮影画像を取得する。たとえば、カメラインターフェース１５は、ＵＳＢ接続をサポートするものであってもよいし、カメラリンクによる接続をサポートするものでもよい。
【００３５】
距離センサインターフェース１６（距離情報インターフェース）は、距離センサ４とデータを送受信するためのインターフェースである。たとえば、距離センサインターフェース１６は、プロセッサ１１の制御に基づいて、距離センサ４に距離情報を取得させる信号を送信する。また、距離センサインターフェース１６は、距離センサ４から、距離情報を取得する。距離センサインターフェース１６は、取得した距離情報をプロセッサ１１に送信する。たとえば、距離センサインターフェース１６は、ＵＳＢ接続をサポートするものであってもよい。
【００３６】
入出力インターフェース１７は、操作パネル５とデータを送受信するためのインターフェースである。たとえば、入出力インターフェース１７は、オペレータから受け付けた操作を示す信号を操作パネル５から受信する。入出力インターフェース１７は、受信した信号をプロセッサ１１に送信する。また、入出力インターフェース１７は、プロセッサ１１の制御に基づいて、オペレータに表示する画面を示す情報を操作パネル５に送信する。たとえば、入出力インターフェース１７は、ＵＳＢ接続をサポートするものであってもよいし、パラレルI/Fによる接続をサポートするものでもよい。
【００３７】
なお、物品認識装置１は、図１及び図２が示すような構成の他に必要に応じた構成を具備したり、物品認識装置１から特定の構成が除外されたりしてもよい。
【００３８】
次に、実施形態において、設置台６に配置される物品の例について説明する。図３は、設置台６に設置される物品を上部から見た図である。図４は、設置台６に設置される物品を水平方向から見た図である。
【００３９】
図３及び４が示すように、設置台６には物品Ａ、物品Ｂ及び物品Ｃが設置される。図４が示すように、物品Ａは、設置台６に他の物品に重なることなく設置される。物品Ｂと物品Ｃとは、重なって設置される。ここでは、物品Ｂは、物品Ｃの上に設置される。図３が示すように、物品Ｃは、物品Ｂに隠れて上部からは認識されない。  
また、物品Ａ及び物品Ｂは、パッケージの所定の面を上面に設置される。
【００４０】
次に、物品認識装置１が実現する機能について説明する。物品認識装置１が実現する機能は、プロセッサ１１がＲＯＭ１２又はＮＶＭ１４などに格納されるプログラムを実行することで実現される。
【００４１】
まず、プロセッサ１１は、物品が配置された設置台６を撮影した画像（撮影画像）を取得する機能を有する。
【００４２】
プロセッサ１１は、物品の認識処理を開始するか判定する。たとえば、プロセッサ１１は、設置台６上に利用者によって物品が配置されたことを検知する。たとえば、プロセッサ１１は、設置台６からの信号に基づいて設置台６上に物品が配置されたことを検知する。なお、プロセッサ１１は、カメラ３からの画像に基づいて設置台６上に物品が配置されたことを検知してもよい。また、プロセッサ１１は、利用者から物品を設置台６上に配置したことを示す操作を受け付けてもよい。
【００４３】
プロセッサ１１は、物品が配置されたことを検知すると、物品の認識処理を開始すると判定する。物品の認識処理を開始すると判定すると、プロセッサ１１は、物品を含む画像を撮影する。たとえば、プロセッサ１１は、カメラ３に対して撮影を行う信号を送信する。プロセッサ１１は、カメラ３から撮影画像を取得する。なお、プロセッサ１１は、画像を撮影するために、撮影パラメータをカメラ３に設定してもよい。  
なお、プロセッサ１１は、外部装置から撮影画像を取得してもよい。
【００４４】
また、プロセッサ１１は、撮影画像に基づいて設置台６に設置された物品（第１の物品）を認識する機能を有する。
【００４５】
たとえば、プロセッサ１１は、撮影画像から物品を認識するための特徴点情報を抽出する。即ち、プロセッサ１１は、撮影画像から特徴点を抽出し、各特徴点の特徴量を算出する。特徴点情報は、特徴点（たとえば、座標）及び特徴点毎の特徴量などの情報を含む。
【００４６】
たとえば、特徴点は、画像のコーナー部分の点、又は、画像濃度の２次微分関数の極点（極大・極小点）など局所領域内で一意に定められる点である。特徴点は、位置を表す座標（ｘ、ｙ）によって示される。
【００４７】
特徴量は、特徴点又は特徴点周辺の画像から算出される値である。たとえば、特徴量は、特徴点近傍の濃度パターンなどに基づいて算出される。  
特徴点情報の構成は、特定の構成に限定されるものではない。
【００４８】
図５は、プロセッサ１１が撮影画像から抽出した特徴点情報の例を示す。図５では、円１０１は、特徴点を示す。また、円１０１の大きさは、特徴量を示す。図５が示すように、プロセッサ１１は、複数の円１０１を抽出する。プロセッサ１１は、物品Ａ及びＢ上にそれぞれ複数の円１０１を抽出する。
【００４９】
特徴点情報を抽出すると、プロセッサ１１は、抽出された特徴点情報に基づいて物品を認識する。
【００５０】
プロセッサ１１は、ＮＶＭ１４から１つの物品情報を取得する。物品情報を取得すると、プロセッサ１１は、物品情報の辞書情報と抽出された特徴点情報との類似率Ｒを算出する。
【００５１】
プロセッサ１１は、ＮＶＭ１４が格納する各物品情報の辞書情報について類似率Ｒを算出する。各物品情報の類似率Ｒを算出すると、プロセッサ１１は、類似率Ｒの中から最も高い類似率Ｒｍａｘを特定する。類似率Ｒｍａｘを特定すると、プロセッサ１１は、類似率Ｒｍａｘが閾値Ｒｔｈｒを超えるか判定する。類似率Ｒｍａｘが閾値Ｒｔｈｒを超えると判定すると、プロセッサ１１は、類似率Ｒｍａｘの物品情報に対応する物品を認識する。たとえば、プロセッサ１１は、物品の物品コードを取得する。
【００５２】
プロセッサ１１は、類似率Ｒｍａｘが閾値Ｒｔｈｒ以下となるまで、上記の動作を繰り返して撮影画像から物品を認識する。
【００５３】
なお、プロセッサ１１は、撮影画像からバーコードを読み取って物品を認識してもよい。たとえば、プロセッサ１１は、撮影画像から高周波成分の強い領域を検出することでバーコードが写るバーコード領域を抽出する。バーコード領域を特定すると、プロセッサ１１は、バーコード領域内のバーコードをデコードする。即ち、プロセッサ１１は、バーコードから物品を特定する物品コードを読み取る。プロセッサ１１は、物品コードを読み取った物品を認識する。
【００５４】
また、プロセッサ１１は、テクスチャパターン等を利用したオブジェクト認識によって撮影画像から物品を認識してもよい。また、プロセッサ１１は、ディープラーニングを用いた画像認識技術によって撮影画像から物品を認識してもよい。  
プロセッサ１１が撮影画像から物品を認識する方法は、特定の方法に限定されるものではない。
【００５５】
また、プロセッサ１１は、外形情報に基づいて、認識された物品が写る物品領域を撮影画像から特定する機能を有する。
【００５６】
プロセッサ１１は、ＮＶＭ１４から認識された物品の外形情報を取得する。外形情報を取得すると、プロセッサ１１は、認識された物品の位置と外形情報とに基づいて物品領域を特定する。たとえば、プロセッサ１１は、外形情報から特徴点の位置と外形との相対的な位置関係を取得する。特徴点の位置と外形との相対的な位置関係を取得すると、プロセッサ１１は、撮影画像から抽出し物品の認識に用いた特徴点と当該相対的な位置関係とに基づいて物品領域を特定する。
【００５７】
プロセッサ１１は、認識された各物品について同様の動作を行い、各物品の物品領域を特定する。
【００５８】
なお、バーコードを用いて物品を認識した場合、プロセッサ１１は、撮影画像における物品のバーコード領域の位置と外形情報とに基づいて物品領域を特定してもよい。この場合、外形情報は、バーコードの位置と外形との相対的な位置関係を示すものであってもよい。
【００５９】
また、プロセッサ１１は、他の認識手法を用いて認識された物品の位置と外形情報とに基づいて物品領域を特定してもよい。この場合、外形情報は、当該認識手法において認識される物品の位置と外形との位置関係を示すものであってもよい。
【００６０】
図６は、プロセッサ１１が特定した物品領域の例を示す。  
図６が示すように、プロセッサ１１は、物品領域２００Ａ及び２００Ｂを特定する。
【００６１】
物品領域２００Ａは、物品Ａが写る物品領域である。物品領域２００Ａは、物品Ａ上に特定される。  
また、物品領域２００Ｂは、物品Ｂが写る物品領域である。物品領域２００Ｂは、物品Ｂ上に特定される。
【００６２】
また、プロセッサ１１は、特定された物品領域の高さ（物品領域距離）を取得する機能を有する。即ち、プロセッサ１１は、特定された物品領域の高さとして、物品領域に写る、物品の面と設置台６との間の距離を取得する。
【００６３】
ここでは、プロセッサ１１は、撮影画像の座標値と距離情報の座標値とを相互に対応させるものとする。たとえば、プロセッサ１１は、カメラ３の位置及び角度と距離センサ４の位置及び角度とに基づいて、両者を対応付ける。
【００６４】
プロセッサ１１は、距離センサ４を用いて基準面から物品領域に写る面までの距離（第１の距離）を測定する。たとえば、プロセッサ１１は、物品領域に測定点を設定して、基準面から測定点までの距離を測定する。即ち、プロセッサ１１は、距離センサインターフェース１６を通じて基準面から測定点までの距離を距離センサ４に測定させる。
【００６５】
図７は、プロセッサ１１が設定する測定点の例を示す。  
図７が示すように、プロセッサ１１は、物品領域２００Ａにおいて、測定点３０１Ａ及び３０２Ａを設定する。
【００６６】
測定点３０１Ａと測定点３０２Ａとは、物品領域の角付近に設定される。また、測定点３０１Ａと測定点３０２Ａとは、互いに斜向かいの位置に設定される。
【００６７】
また、プロセッサ１１は、物品領域２００Ｂにおいて、測定点３０１Ｂ及び３０２Ｂを設定する。
【００６８】
測定点３０１Ｂと測定点３０２Ｂとは、物品領域の角付近に設定される。また、測定点３０１Ｂと測定点３０２Ｂとは、互いに斜向かいの位置に設定される。
【００６９】
なお、プロセッサ１１は、物品領域に１つの測定点を設定してもよいし、３つ以上の測定点を設定してもよい。また、プロセッサ１１は、物品領域の大きさに応じて測定点の個数を決定してもよい。
【００７０】
プロセッサ１１は、基準面から各測定点までの距離を測定する。たとえば、プロセッサ１１は、測定された複数の距離を平均した距離を基準面から物品領域に写る面までの距離とする。
【００７１】
なお、距離センサ４がステレオカメラなどである場合、プロセッサ１１は、物品領域の全体において基準面からの距離を測定してもよい。この場合、プロセッサ１１は、全体における基準面からの距離を平均した距離を基準面から物品領域に写る面までの距離としてもよい。
【００７２】
基準面から物品領域に写る面までの距離を測定すると、プロセッサ１１は、基準面から設置台６までの距離（第２の距離）を取得する。
【００７３】
プロセッサ１１は、距離センサ４を用いて第２の距離を取得してもよい。たとえば、プロセッサ１１は、物品領域以外の領域に設定した測定点において、基準面からの距離を測定してもよい。また、ＮＶＭ１４は、予め第２の距離を格納してもよい。この場合、プロセッサ１１は、ＮＶＭ１４から第２の距離を取得する。
【００７４】
第２の距離を取得すると、プロセッサ１１は、第１の距離及び第２の距離に基づいて、物品領域の高さを取得する。即ち、プロセッサ１１は、第２の距離から第１の距離を減算して物品領域の高さを取得する。
【００７５】
図８は、物品領域の高さを取得する動作例を説明するための図である。図８が示す例では、物品領域２００Ｂの高さを取得する動作例を示す。
【００７６】
図８が示すように、物品Ｂに下には、物品Ｃが設置される。そのため、プロセッサ１１は、物品領域２００Ｂの高さとして、物品Ｂ高さと物品Ｃの高さとを合算した値を取得する。
【００７７】
また、プロセッサ１１は、外形情報と物品領域の高さとに基づいて物品が他の物品（第２の物品）の上に重なって配置されているかを判定する機能を有する。
【００７８】
プロセッサ１１は、外形情報から、物品領域の写る面から当該面に対向する面までの距離を取得する。当該距離を取得すると、プロセッサ１１は、当該距離と物品領域の高さとが一致するか判定する。たとえば、プロセッサ１１は、当該距離と物品領域の高さとの差が所定の閾値以下である場合には、両者が一致すると判定する。
【００７９】
プロセッサ１１は、両者が一致すると判定すると、物品が他の物品の上に重なって配置されていないと判定する。また、プロセッサ１１は、両者が一致しないと判定すると、物品が他の物品の上に重なって配置されていると判定する。
【００８０】
プロセッサ１１は、物品が他の物品の上に重なって配置されていると判定すると、物品が重なって配置されていることを示すアラートを出力する。たとえば、プロセッサ１１は、他の物品の上に重なって配置されていると判定された物品が１つ以上ある場合、アラートを出力する。
【００８１】
たとえば、プロセッサ１１は、操作パネル５にアラートを表示する。また、プロセッサ１１は、スピーカなどを通じて警告音を出力してもよい。また、プロセッサ１１は、外部装置にアラートを送信してもよい。プロセッサ１１が出力するアラートは、特定の構成に限定されるものではない。
【００８２】
プロセッサ１１は、物品が他の物品の上に重なって配置されていないと判定すると、認識した物品を示す情報を出力する。たとえば、プロセッサ１１は、操作パネル５に認識した物品を表示する。また、プロセッサ１１は、認識した物品を示す情報を外部装置に送信してもよい。
【００８３】
次に、物品認識装置１の動作例について説明する。  
図９は、物品認識装置１の動作例を説明するためのフローチャートである。
【００８４】
まず、物品認識装置１のプロセッサ１１は、物品の認識処理を開始するか判定する（ＡＣＴ１１）。物品の認識処理を開始しないと判定すると（ＡＣＴ１１、ＮＯ）、プロセッサ１１は、ＡＣＴ１１に戻る。
【００８５】
物品の認識処理を開始すると判定すると（ＡＣＴ１１、ＹＥＳ）、プロセッサ１１は、カメラ３を用いて撮影画像を取得する（ＡＣＴ１２）。撮影画像を取得すると、プロセッサ１１は、撮影画像から特徴点情報を抽出する（ＡＣＴ１３）。
【００８６】
特徴点情報を抽出すると、プロセッサ１１は、特徴点情報に基づいて物品を認識する（ＡＣＴ１４）。物品を認識すると、プロセッサ１１は、外形情報に基づいて、認識された物品が写る物品領域を特定する（ＡＣＴ１５）。
【００８７】
物品領域を特定すると、プロセッサ１１は、距離センサ４を用いて、基準面から物品領域に写る面までの距離（第１の距離）を取得する（ＡＣＴ１６）。基準面から物品領域に写る面までの距離（第１の距離）を取得すると、プロセッサ１１は、基準面から設置台６までの距離（第２の距離）を取得する（ＡＣＴ１７）。
【００８８】
基準面から設置台６までの距離（第２の距離）を取得すると、プロセッサ１１は、第１の距離及び第２の距離に基づいて物品領域の高さを取得する（ＡＣＴ１８）。物品領域の高さを取得すると、プロセッサ１１は、外形情報と物品領域の高さとに基づいて物品が他の物品に重なっているかを判定する（ＡＣＴ１９）。
【００８９】
物品が他の物品に重なっていると判定すると（ＡＣＴ１９、ＹＥＳ）、プロセッサ１１は、アラートを出力する（ＡＣＴ２０）。
【００９０】
物品が他の物品に重なっていると判定すると（ＡＣＴ１９、ＮＯ）、プロセッサ１１は、認識した物品を示す情報を出力する（ＡＣＴ２１）。
【００９１】
アラートを出力した場合（ＡＣＴ２０）、又は、認識した物品を示す情報を出力した場合（ＡＣＴ２１）、プロセッサ１１は、動作を終了する。
【００９２】
なお、プロセッサ１１は、距離センサ４を用いて基準面から物品までの距離を測定し、測定された距離に基づいて物品領域を補正してもよい。
【００９３】
たとえば、プロセッサ１１は、物品を認識した後に、撮影画像から抽出し物品の認識に用いた特徴点の位置（又は、特徴点の平均位置）に測定点を設定する。プロセッサ１１は、距離センサ４を用いて基準面から測定点までの距離（即ち、基準面から物品までの距離）を測定する。
【００９４】
基準面から測定点までの距離を測定すると、プロセッサ１１は、測定した距離と外形情報とに基づいて、基準面から当該距離にある当該物品の物品領域の大きさを特定する。即ち、プロセッサ１１は、測定した距離に応じて外形情報が示す外形をスケーリングする。基準面から当該距離にある当該物品の物品領域の大きさを特定すると、プロセッサ１１は、認識された物品の位置に基づいて、当該大きさの物品領域を特定する。
【００９５】
また、物品認識装置１は、水平方向に対して斜めに形成された設置台に物品を設置するものであってもよい。この場合、距離センサ４は、物品が並べられた設置台に平行な基準面からの距離を測定してもよい。
【００９６】
また、物品認識装置１は、コンベア状の設置台に物品を設置するものであってもよい。この場合、物品認識装置１は、コンベア状の設置によって移動する物品を認識するものであってもよい。  
また、物品認識装置１は、認識された物品を決済してもよい。
【００９７】
以上のように構成された物品認識装置は、撮影画像から物品を認識する。物品認識装置は、予め格納された外形情報に基づいて、物品領域を撮影画像から特定する。そのため、物品認識装置は、距離センサからの距離情報を用いずに物品領域を特定することができる。その結果、物品認識装置は、物品のエッジにおいて距離センサの精度が低下することで物品領域を適切に特定することができなくなることを回避することができる。
【００９８】
また、物品認識装置は、距離センサを用いて物品領域の高さを取得する。そのため、物品認識装置は、設置台全体において距離を測定しなくとも、認識した物品が他の物品に重なっているかを判定することができる。
【００９９】
従って、物品認識装置は、効率的及び効果的に、認識した物品が他の物品に重なっているかを判定することができる。
【０１００】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１０１】
１…物品認識装置、２…筐体、３…カメラ、４…距離センサ、５…操作パネル、６…設置台、１０…制御部、１１…プロセッサ、１２…ＲＯＭ、１３…ＲＡＭ、１４…ＮＶＭ、１５…カメラインターフェース、１６…距離センサインターフェース、１７…入出力インターフェース、１０１…円、２００Ａ…物品領域、２００Ｂ…物品領域、３０１Ａ…測定点、３０１Ｂ…測定点、３０２Ａ…測定点、３０２Ｂ…測定点。
【図１】
2020027037.tif 000003
【図２】
2020027037.tif 000004
【図３】
2020027037.tif 000005
【図４】
2020027037.tif 000006
【図５】
2020027037.tif 000007
【図６】
2020027037.tif 000008
【図７】
2020027037.tif 000009
【図８】
2020027037.tif 000010
【図９】
2020027037.tif 000011