(57)【要約】      （修正有）【課題】認識対象とする複数の物品の状態を判定できる物品認識装置を提供する。【解決手段】物品認識装置６は、カメラ４とプロセッサ１１とを有する。カメラ４は、物品配置領域を含む撮影領域を撮影した撮影画像を取得する。プロセッサ１１は、撮影画像から特定する物品領域において個々の物品を特定し、物品を特定する辞書情報に含まれる物品の外形を示す外形情報を用いて物品領域において特定した各物品の全体の外形として推定する推定物品領域を特定し、推定物品領域により撮影画像における各物品の重なり状態を判定する。【選択図】図２
2018085034.tif 000002
【特許請求の範囲】
【請求項１】
物品配置領域を含む撮影領域を撮影した撮影画像を取得する画像取得部と、
前記撮影画像から特定する物品領域において個々の物品を特定し、
物品を特定する辞書情報に含まれる物品の外形を示す外形情報を用いて前記物品領域において特定した各物品の全体の外形として推定する推定物品領域を特定し、
前記推定物品領域により前記撮影画像における各物品の重なり状態を判定する、プロセッサと、
を有する物品認識装置。
【請求項２】
さらに、基準点から前記撮影領域における対象物までの距離を示す距離情報を取得する距離取得部を有し、
前記プロセッサは、前記距離情報を用いて前記撮影画像における個々の物品の候補となる物品候補領域を特定し、前記物品候補領域における物品の種類を特定し、特定した物品に対する推定物品領域を特定する、
請求項１に記載の物品認識装置。
【請求項３】
前記プロセッサは、同じ種類の物品として特定された複数の物品候補領域が存在する場合、前記同じ種類として特定された各物品に対する複数の推定物品領域により、複数の物品候補領域から同じ種類として特定された物品が単一の物品であるかを判定する、
請求項２に記載の物品認識装置。
【請求項４】
前記外形情報は、物品の輪郭の少なくとも一部を示す情報である、
請求項１乃至３の何れか１項に記載の物品認識装置。
【請求項５】
前記プロセッサは、前記辞書情報に含まれる物品を特定するための特徴情報と外形特定情報とが位置的な依存関係を示す相対位置情報を有し、前記相対位置情報を用いて推定物品領域を特定する、
請求項４に記載の物品認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、物品認識装置に関する。
【背景技術】
【０００２】
撮影画像から複数の物品（対象物）を認識する物品認識装置が実用化されている。物品認識装置は、物品が配置される領域を含む撮影領域を撮影した撮影画像から物品の画像領域を特定し、特定した物品の画像領域において物品を特定する処理を行う。しかしながら、従来の物品認識装置は、複数の物品が重なって配置されている場合、個々の物品、及び、それらの配置を正確に認識するのが難しい。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】ＷＯ２０１５／１４０８５５
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記した課題を解決するために、認識対象とする複数の物品の状態を判定できる物品認識装置を提供する。
【課題を解決するための手段】
【０００５】
実施形態によれば、物品認識装置は、画像取得部とプロセッサとを有する。画像取得部は、物品配置領域を含む撮影領域を撮影した撮影画像を取得する。プロセッサは、前記撮影画像から特定する物品領域において個々の物品を特定し、物品を特定する辞書情報に含まれる物品の外形を示す外形情報を用いて前記物品領域において特定した各物品の全体の外形として推定する推定物品領域を特定し、前記推定物品領域により前記撮影画像における各物品の重なり状態を判定する。
【図面の簡単な説明】
【０００６】
【図１】図１は、第１の実施形態に係る物品認識装置を含む物品認識システムの構成例を示す模式図である。
【図２】図２は、第１の実施形態に係る物品認識装置の構成例を示すブロック図である。
【図３】図３は、第１の実施形態に係る物品認識装置における辞書登録処理を説明するためのフローチャートである。
【図４】図４は、第１の実施形態に係る物品認識装置の辞書に登録される情報を模式的に示す図である。
【図５】図５は、第１の実施形態に係る物品認識装置における物品認識処理を説明するためのフローチャートである。
【図６】図６は、第１の実施形態に係る物品認識装置による物品認識処理において、認識対象となる物品の配置状態、撮影画像及び物品領域の例を示す図である。
【図７】図７は、第２の実施形態に係る物品認識装置を含む物品認識システムの構成例を示す模式図である。
【図８】図８は、第２の実施形態に係る物品認識装置の構成例を示すブロック図である。
【図９】図９は、第２の実施形態に係る物品認識装置における辞書登録処理を説明するためのフローチャートである。
【図１０】図１０は、第２の実施形態に係る物品認識装置における物品認識処理を説明するためのフローチャートである。
【図１１】図１１は、第２の実施形態に係る物品認識装置による物品認識処理において、認識対象となる物品の配置状態、撮影画像及び物品領域の例を示す図である。
【図１２】図１２は、第２の実施形態に係る物品認識装置による物品認識処理における同一判定処理の具体例を説明するための図である。
【発明を実施するための形態】
【０００７】
以下、図面を参照しながら実施形態について説明する。  
（第１の実施形態）
まず、第１の実施形態に係る物品認識装置６を含む物品認識システム１の構成について説明する。  
図１は、第１の実施形態に係る物品認識装置６を含む物品認識システム１の構成例を模式的に示す側面図である。また、図２は、第１の実施形態に係る物品認識装置６の構成例を示すブロック図である。
【０００８】
図１に示すように、物品認識システム１は、台２、フレーム３、カメラ４、及び物品認識装置６を有する。物品認識システム１は、カメラ４が撮影する撮影画像に含まれる個々の物品を物品認識装置６が認識するシステムである。また、物品認識システム１は、図２に示すように、物品認識装置６に接続する表示装置７および入力装置８を有する。例えば、物品認識システム１は、物品認識装置６が認識する物品に対する決済を行う決済装置として実施して良い。物品認識システム１を決済装置として実施する場合、物品認識システム１は、物品の料金を計算する機能と物品の料金を決済する機能とを設ければ良い。また、物品認識システム１は、物品認識装置６が認識する物品を計数又は検品する計数装置又は検品装置として実施しても良い。
【０００９】
台２は、認識対象とする物品５ａ、５ｂを載置する面を有する。台２は、物品を載置する面上には認識対象となる物品を配置する領域（物品配置領域）が設定される。台２は、認識対象となる複数の物品を配置する物品配置領域がカメラ４の撮影範囲に含まれるものであれば良い。例えば、台２は、物品を載置する面が所定のパターン（例えば黒色）で塗装されるようにしても良い。また、台２は、認識対象とする複数の物品を入れた状態のカゴが載置されるようにしても良い。また、台２は、複数の物品が載置された状態のままで搬送されるベルトコンベアを具備するものであっても良い。  
フレーム３は、カメラ４を支持する支持部材である。フレーム３は、台２における物品を載置する面と対向する位置にカメラ４を取り付け可能に構成する。
【００１０】
カメラ４は、物品の認識対象となる画像を撮影する撮影装置である。例えば、カメラ４は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅｓ）イメージセンサ或はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの撮像素子と、撮像素子に光を結像させるレンズと、を備える。カメラ４は、不可視光を撮像する構成であってもよい。例えば、カメラ４は、赤外カメラであってもよい。
【００１１】
カメラ４は、レンズの撮像光軸が台２に対向するようにフレーム３に取り付ける。カメラ４は、台２上の物品配置領域を撮影領域に含むように設定する。カメラ４は、台２上の物品配置領域に配置された物品５ａ、５ｂの上面の画像を含む画像を撮影する。カメラ４は、撮影した撮影画像を物品認識装置６へ供給する。カメラ４は、物品認識装置６の制御に応じて画像を撮影するようにして良い。
【００１２】
物品認識装置６は、カメラ４が撮影する撮影画像に対して物品認識処理を行う。物品認識装置６は、後述する認識処理が実行可能な情報処理装置としての電子計算機により構成される。図２に示す構成例において、物品認識装置６は、プロセッサ１１、メモリ１２、記憶装置１３、カメラＩ／Ｆ１５、表示Ｉ／Ｆ１６、および入力Ｉ／Ｆ１７を有する。プロセッサ１１、メモリ１２、記憶装置１３、カメラＩ／Ｆ１５、表示Ｉ／Ｆ１６、および入力Ｉ／Ｆ１７は、バスを介して互いに通信可能な状態で接続する。
【００１３】
プロセッサ１１は、演算処理を実行する回路を有する演算素子である。プロセッサ１１は、例えば、ＣＰＵである。プロセッサ１１は、メモリ１２または記憶装置１３が記憶するプログラムを実行することにより種々の処理機能を実現する。例えば、プロセッサ１１は、特徴抽出部、外形抽出部、辞書登録部、物品特定部、外形推定部、状態判定部などとして機能する。特徴抽出部は、画像から物品を特定するための特徴情報を抽出する機能である。外形抽出部は、画像から物品の外形を特定するための外形情報を抽出する。辞書登録部は、特徴情報及び外形情報を含む辞書情報を辞書に登録する機能である。物品特定部は、画像から抽出する特徴情報と辞書の特徴情報とにより物品を特定する機能である。外形推定部は、個々の物品全体の領域を推定する機能である。状態判定部は、各物品の状態を判定する機能である。
【００１４】
メモリ１２は、プロセッサ１１が処理を実行するための制御用のメモリである。例えば、メモリ１２は、ＲＯＭおよびＲＡＭを有する。メモリ１２のＲＯＭは、読み出し専用の不揮発性メモリである。ＲＯＭは、物品認識システム１の仕様に応じたプログラム及びプログラムで用いる制御データなどを記憶する。また、メモリ１２のＲＡＭは、ワーキングメモリとして機能する揮発性のメモリである。ＲＡＭは、プロセッサ１１が実行するプログラム或は処理中のデータなどを格納する。
【００１５】
記憶装置１３は、書換えが可能な不揮発性の記憶装置である。記憶装置１３は、例えば、ハードディスクドライブ（ＨＤＤ）又はソリッドステイトドライブ（ＳＳＤ）などの大容量の記憶装置である。また、記憶装置１３は、メモリカードなどの記録媒体を挿入可能なカードスロットなどのメモリＩ／Ｆとして構成しても良い。記憶装置１３は、認識用の辞書情報を記憶する辞書（データベース）１４を有する。また、記憶装置１３は、プロセッサ１１が実行するプログラム及び制御データなどを記憶しても良い。
【００１６】
なお、辞書１４は、プロセッサ１１がアクセス可能なものであれば良く、物品認識装置６内に設けられるものに限定されない。例えば、辞書１４は、プロセッサ１１が通信接続可能な外部装置に設けても良い。  
カメラインタフェース（Ｉ／Ｆ）１５は、カメラ４と通信可能に構成された端子を備える。カメラＩ／Ｆ１５は、プロセッサ１１とカメラ４との間のデータの入出力を中継する。例えば、カメラ４は、撮影した撮影画像をカメラＩ／Ｆ１５を介してプロセッサ１１へ供給する。
【００１７】
表示インタフェース（Ｉ／Ｆ）１６は、表示装置７に接続する。表示Ｉ／Ｆ１６は、プロセッサ１１と表示装置７との間のデータの入出力を中継する。表示装置７は、表示Ｉ／Ｆ１６を介してプロセッサ１１から供給される表示制御に基づいて画面を表示する。表示装置７は、表示パネルと表示パネルに画面を表示させる駆動回路とを備える。表示パネルは、例えば液晶ディスプレイ、或は有機ＥＬディスプレイなどの表示装置である。
【００１８】
入力インタフェース（Ｉ／Ｆ）１７は、入力装置８に接続する。入力Ｉ／Ｆ１７は、プロセッサ１１と入力装置８との間のデータの入出力を中継する。入力装置８は、操作部材を有し、ユーザが操作部材を用いて入力する情報を入力Ｉ／Ｆ１７を介してプロセッサ１１へ供給する。入力装置８の操作部材は、例えば、タッチセンサ、キーボード、及びテンキーなどである。タッチセンサは、例えば、抵抗膜式タッチセンサ、または静電容量式タッチセンサ等である。タッチセンサは、表示装置７の表示パネルと一体にタッチスクリーンとして構成しても良い。
【００１９】
次に、第１の実施形態に係る物品認識装置６における認識用の辞書情報を辞書に登録する辞書登録処理について説明する。  
図３は、第１の実施形態に係る物品認識装置６による辞書登録処理を説明するためのフローチャートである。  
例えば、オペレータは、入力装置８により動作モードとして辞書登録モードを指示するものとする。さらに、オペレータは、登録対象とする物品を台２上の物品配置領域に単体で載置し、辞書登録処理の開始を指示する。辞書登録処理の開始が指示されると、プロセッサ１１は、カメラ４に画像の撮影を指示する。カメラ４は、物品認識装置６からの指示により物品が載置された台２上を含む撮影領域の画像を撮影する。カメラ４は、撮影した撮影画像を物品認識装置６へ供給する。
【００２０】
カメラ４に撮影を指示した後、物品認識装置６は、カメラ４からの撮影画像をカメラＩ／Ｆ１５により取得する（ＡＣＴ１１）。カメラ４から撮影画像を取得すると、プロセッサ１１は、撮影画像から物品の外形を特定するための外形情報を抽出する（ＡＣＴ１２）。外形情報は、物品全体の領域を推定するための情報である。外形情報は、例えば、端点、もしくは、輪郭の形状などの少なくとも輪郭の一部を示す情報である。
【００２１】
また、プロセッサ１１は、撮影画像から、外形情報の内側の画像情報を用いて、物品を特定するための特徴情報を抽出する（ＡＣＴ１３）。特徴情報は、物品を認識（特定）するためのマッチング用情報である。例えば、特徴情報は、特徴点情報および局所特徴量などの物品の画像から抽出可能な特徴量を示す情報である。局所特徴量は、例えば、ＳＩＦＴなどの手法により抽出される。  
また、特徴情報と端点もしくは輪郭などの外形情報とは、各々の位置的な依存関係を示す情報（つまり、相対位置情報）を有するものとする。相対位置情報は、例えば、カメラ４と物品との相対的な位置の変動による生じる物品の撮影画像の拡大又は縮小に対応するための情報である。
【００２２】
撮影画像から物品の特徴情報と外形情報とを抽出すると、プロセッサ１１は、抽出した特徴情報と外形情報とを物品の種類を示す情報等に対応づけた辞書情報を作成する（ＡＣＴ１４）。作成した辞書情報は、登録対象の物品におけるカメラ４が撮影した面に対する認識用の情報である。カメラ４が撮影した面に対する辞書情報を作成すると、プロセッサ１１は、作成した辞書情報を辞書１４に登録する（ＡＣＴ１５）。
【００２３】
図４は、辞書１４に登録される特徴情報と外形情報との例を模式的に示す図である。  
図４に示す物品の撮影画像において、ばつ（×）印で示す箇所が外形情報の一例としての端点である。また、図４に示す物品の撮影画像において、丸（〇）印で示す部分が特徴点を含む領域であり、各特徴点について局所特徴量が算出される。図４に示す物品の撮影画像が得られた場合、プロセッサ１１は、図４に示すように、各端点を示す外形情報と特徴点及び局所特徴量を示す特徴量情報とを辞書１４に登録する。
【００２４】
本実施形態で説明する辞書登録処理は、単一の物品が台２上の物品配置領域に配置された状態で撮影した撮影画像に基づいて実施されることが前提であるものとする。従って、登録処理においてカメラ４が撮影する撮影画像中には、１つの物品の撮影画像が含まれる。このため、プロセッサ１１は、辞書登録処理において、撮影画像中から物品単体の画像を抽出できる。この結果、プロセッサ１１は、物品単体の画像から端点もしくは輪郭等の物品全体の外形を特定するための外形情報を抽出でき、抽出した外形情報を辞書に登録できる。
【００２５】
また、図４に示す例において、物品の特徴情報は、物品の撮影された面の画像に存在する複数の特徴点情報（特徴点及び局所特徴量）である。このような特徴情報によれば、プロセッサ１１は、撮影画像から物品を特定する処理において、物品の少なくとも一部を撮影した画像から物品を特定することが可能となる。また、プロセッサ１１は、特定した物品に対する辞書の外形情報を参照すれば、撮影画像から抽出する端点の一部又は輪郭の一部等の情報により物品全体の領域を推定できる。
【００２６】
ＡＣＴ１１〜１５の処理は、登録対象とする物品における各面について実施される。すなわち、プロセッサ１１は、ＡＣＴ１５の辞書情報の登録が終了すると、辞書登録処理を終了するか否かを判定する（ＡＣＴ１６）。例えば、物品認識装置６は、オペレータからの登録終了又は別の面に対する辞書登録の指示に応じて辞書登録の終了又は継続を判断するようにして良い。プロセッサ１１は、入力装置８により別の面の登録が指示された場合（ＡＣＴ１６、ＮＯ）、ＡＣＴ１１へ戻り、上記ＡＣＴ１１〜１５の処理を再度実行する。この場合、オペレータは、カメラ４に対向する物品の面を変更して辞書登録の再開を指示するようにすれば良い。また、プロセッサ１１は、入力装置８により登録終了が指示された場合（ＡＣＴ１６、ＹＥＳ）、辞書登録処理を終了する。  
以上の処理により、記憶装置１３の辞書１４には、物品に対する特徴情報及び外形情報を含む辞書情報としての認証用の辞書情報（物品特定用情報）が登録される。
【００２７】
次に、第１の実施形態に係る物品認識装置６における物品認識処理について説明する。  
図５は、第１の実施形態に係る物品認識装置６による物品認識処理を説明するためのフローチャートである。また、図６は、複数の物品の配置状態Ｓ１１の例と撮影画像Ｓ１２の例と物品の画像領域Ｓ１３の例とを示す図である。以下、図６に示す具体例を参照しつつ、図５に示す物品認識処理の流れを説明する。  
オペレータは、入力装置８により動作モードとして認識処理モードを指示し、台２上の物品配置領域に認識対象とする物品を配置する。ここでは、複数の物品が台２上の物品配置領域に配置されるものとする。
【００２８】
例えば、物品を配置した後、オペレータは入力装置８により物品認識処理の開始を指示する。なお、物品認識処理は、物品が載置されたことを検知して開始するようにしても良い。物品認識処理の開始が指示されると、プロセッサ１１は、カメラ４に画像の撮影を指示する。カメラ４は、物品認識装置６からの指示に応じて物品載置領域を含む撮影領域の画像を撮影する。カメラ４は、撮影した撮影画像を物品認識装置６へ供給する。
【００２９】
物品認識装置６のプロセッサ１１は、物品認識処理の開始指示を受けて認識用の辞書１４にアクセスし（ＡＣＴ２１）、カメラ４からの撮影画像を受付ける。カメラ４が撮影画像を出力すると、物品認識装置６のプロセッサ１１は、カメラＩ／Ｆ１５によりカメラ４からの撮影画像を取得する（ＡＣＴ２２）。カメラ４から撮影画像を取得すると、プロセッサ１１は、撮影画像における物品領域を抽出する（ＡＣＴ２３）。
【００３０】
例えば、プロセッサ１１は、背景画像と撮影画像との差分（背景差分法）により、物品の領域（物品領域）と物品以外の領域（非物品領域）とを分ける。また、プロセッサ１１は、背景差分法以外の手法により物品領域と非物品領域とを区別しても良い。図６に示す例では、配置状態Ｓ１１の物品を撮影すると、撮影画像Ｓ１２が得られる。図６に示す撮影画像Ｓ１２は、斜線部分が背景領域Ｒ１１であり、それ以外が前景領域（物品の画像領域）Ｒ１２である。撮影画像Ｓ１２と背景のみを撮影した背景画像との差分を算出すれば、図６に示す物品領域の画像Ｓ１３が得られる。
【００３１】
物品領域を抽出すると、プロセッサ１１は、物品領域に含まれる個々の物品を特定する物品特定処理を行う（ＡＣＴ２４）。例えば、プロセッサ１１は、物品領域の画像Ｓ１３の左側から特徴情報を抽出すると、画像Ｓ１３の左側にある画像領域ｒａから得られる特徴情報により物品Ａを特定する。また、プロセッサ１１は、物品領域の画像Ｓ３の右側から特徴情報を抽出すると、画像Ｓ１３の右側にある画像領域ｒｂから得られる特徴情報により物品Ｂを特定する。
【００３２】
１つの物品を特定すると、プロセッサ１１は、撮影画像における特定した物品の画像領域から端点などの外形情報の少なくとも一部を抽出する。プロセッサ１１は、特定した物品に対する辞書１４の外形情報と撮影画像から抽出した外形情報とにより、当該物品の外形を推定して推定物品領域を特定する（ＡＣＴ２５）。推定物品領域は、撮影画像における当該物品全体の外形領域として推定される領域である。物品の全体（外形全体）が撮影されている場合、推定物品領域は、当該物品の画像と一致する。これに対し、物品の一部だけが撮影されている場合（物品の一部が他の物品に隠れている場合）、推定物品領域には、他の物品の画像が含まれる。図６に示す例では、物品Ｂについては、推定物品領域が物品Ｂの画像領域ｒｂと一致する。これに対して、図６に示す例における物品Ａに対する推定物品領域は、物品Ａの画像領域ｒａと物品Ｂの画像領域ｒｂとを含むものとなる。
【００３３】
特定した物品に対する推定物品領域を特定すると、プロセッサ１１は、当該撮影画像において未認識の物品が存在するか否かを判定する（ＡＣＴ２６）。例えば、プロセッサ１１は、物品が特定されていない領域が撮影画像に存在するか否かにより未認識の物品が存在するか否かを判定する。未認識の物品が存在すると判定した場合（ＡＣＴ２６、ＮＯ）、プロセッサ１１は、ＡＣＴ２４へ戻り、別の物品特定処理を実行する。
【００３４】
また、未認識の物品が存在しないと判定した場合（ＡＣＴ２６、ＹＥＳ）、プロセッサ１１は、特定した各物品の状態を判定する状態判定処理を行う（ＡＣＴ２７）。例えば、プロセッサ１１は、状態判定処理として、各物品の重なり状態を判定する。推定物品領域と撮影画像における特定された物品の画像とが一致する場合、プロセッサ１１は、当該物品には重なりが無いと判定する。また、推定物品領域と撮影画像における特定された物品の画像とが一致しない場合、プロセッサ１１は、当該物品には別の物品が重なっていると判定する。例えば、図６に示す例では、物品Ｂは重なりがないと判定し、物品Ａは物品Ｂと重なっていると判定する。
【００３５】
また、プロセッサ１１は、状態判定処理において、同一種類の物品として特定された２つの画像領域が、同一の物品の領域であるかを判定する同一判定処理を行う。例えば、プロセッサ１１は、同一判定処理として、別の物品が重なっていると判定された１つの物品が２つの物品として特定されていないかを判定する。また、プロセッサ１１は、同一種類の物品が複数存在する場合に同一判定処理を行うようにしても良い。この場合、プロセッサ１１は、同一種類と特定された複数の物品に対する複数の推定物品領域が重なる場合に同一の物品であると判定するようにしても良い。  
以上により、プロセッサ１１は、撮影画像から物品を特定した結果と特定した各物品に対する状態判定処理の結果とを物品認識処理の結果として物品認識処理を終了する。
【００３６】
上述した第１の実施形態に係る物品認識装置は、撮影画像から複数の物品を特定するだけでなく、当該撮影画像における各物品の重なり状態を検出する。すなわち、第１の実施形態に係る物品認識装置は、物品の重なり状態を検出することにより、高精度が物品の特定が可能となる。例えば、第１の実施形態に係る物品認識装置は、物品の重なり状態を検出することにより、商品の認識漏れを防止できたり、商品を重ねることにより、上の商品の下に別の小さい商品が入り込む空洞ができていないかを確認したりすることができる。
【００３７】
（第２の実施形態）
次に、第２の実施形態に係る物品認識装置６´を含む物品認識システム１´の構成について説明する。  
図７は、第２の実施形態に係る物品認識装置６´を含む物品認識システム１´の構成例を模式的に示す側面図である。また、図８は、第２の実施形態に係る物品認識装置６´の構成例を示すブロックである。
【００３８】
図７に示すように、物品認識システム１´は、台２、フレーム３、カメラ４、物品認識装置６´、及び距離センサ９を有する。物品認識システム１´は、カメラ４が撮影する撮影画像に含まれる個々の物品を物品認識装置６´が認識するシステムである。また、物品認識システム１´は、図８に示すように、物品認識装置６に接続する表示装置７および入力装置８を有する。例えば、物品認識システム１´は、第１の実施形態と同様に、決済装置として実施して良いし、計数装置又は検品装置として実施しても良い。
【００３９】
台２、フレーム３、カメラ４、表示装置７及び入力装置８は、第１の実施形態で説明した図１及び図２に示すものと同様なもので実現可能であるため、詳細な説明を省略する。  
距離センサ９は、基準点から対象物までの距離を示す距離情報を取得するセンサである。距離センサ９は、距離画像などの距離データ（距離情報）を取得する。距離センサ９は、台２における物品を配置する面に対して距離データを取得するものであれば良い。距離センサ９は、例えば、距離データとしての距離画像を撮影する３Ｄカメラである。また、距離センサ９は、距離データを計測する超音波センサなどであっても良い。距離画像を撮影する距離センサ９としては、例えば、ステレオ画像方式のセンサ、パターン光照射方式のセンサ、またはＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）方式のセンサなどのいずれかを備える。
【００４０】
ここでは、距離センサ９が、距離画像を撮影する３Ｄカメラであるものとして説明する。距離センサ９としての３Ｄカメラは、撮像素子とカメラ４の画角よりも広い範囲からの光を撮像素子に結像させるレンズとを備える。距離センサ９としての３Ｄカメラは、レンズの撮像光軸が台２に対向するようにフレーム３に取り付ける。このような構成により、距離センサ９は、台２上の対象物までの距離を示す距離画像を取得する。  
なお、カメラ４と距離センサ９とは、一体に構成されていてもよい。例えば、カメラ４と距離センサ９とは、レンズが共有される構成であってもよいし、レンズと撮像素子とが共有される構成であってもよい。
【００４１】
第２の実施形態に係る物品認識装置６´は、カメラ４が撮影する撮影画像に対し、距離センサ９が取得する距離画像を用いて物品認識処理を行う。物品認識装置６´は、後述する認識処理が実行可能な情報処理装置としての電子計算機により構成される。図８に示す構成例において、物品認識装置６´は、プロセッサ１１、メモリ１２、記憶装置１３、カメラＩ／Ｆ１５、表示Ｉ／Ｆ１６、入力Ｉ／Ｆ１７、および距離センサＩ／Ｆ１８を有する。プロセッサ１１、メモリ１２、記憶装置１３、カメラＩ／Ｆ１５、表示Ｉ／Ｆ１６、入力Ｉ／Ｆ１７および距離センサＩ／Ｆ１８は、バスを介して互いに通信可能な状態で接続する。なお、プロセッサ１１、メモリ１２、記憶装置１３、カメラＩ／Ｆ１５、表示Ｉ／Ｆ１６および入力Ｉ／Ｆ１７は、物理的な構成が第１の実施形態で説明したものと同様なもので実現できるため、詳細な説明を省略する。
【００４２】
第２の実施形態に係る物品認識装置６´のプロセッサ１１は、第１の実施形態で説明した処理機能だけでなく、高さ抽出部、領域抽出部などを有する。高さ抽出部は、距離画像から物品の高さを特定する機能である。領域抽出部は、距離画像に基づいて撮影画像における物品候補領域を抽出する機能である。
【００４３】
距離センサインタフェース（Ｉ／Ｆ）１８は、距離センサ９と通信可能に構成された端子を備える。距離センサＩ／Ｆ１８は、プロセッサ１１と距離センサ９との間のデータの入出力を中継する。例えば、距離センサ９は、撮影した距離画像を距離センサＩ／Ｆ１５を介してプロセッサ１１へ供給する。
【００４４】
次に、第２の実施形態に係る物品認識装置６´における認識用の辞書情報を辞書１４に登録する辞書登録処理について説明する。  
図９は、第２の実施形態に係る物品認識装置６´による辞書登録処理を説明するためのフローチャートである。  
オペレータは、入力装置８により動作モードとして辞書登録モードを指示するものとする。さらに、オペレータは、登録対象とする物品を台２上の物品配置領域に単体で載置し、辞書登録処理の開始を指示する。辞書登録処理の開始が指示されると、プロセッサ１１は、カメラ４に画像の撮影を指示し、距離センサ９に距離画像の撮影を指示する。カメラ４は、物品認識装置６´からの指示に応じて台２上の物品配置領域を含む撮影領域の画像を撮影し、撮影した撮影画像を物品認識装置６´へ供給する。また、距離センサ９は、物品認識装置６´からの指示に応じて台２上の物品配置領域を含む領域の距離画像を撮影し、撮影した距離画像を物品認識装置６´へ供給する。
【００４５】
カメラ４に撮影を指示した後、物品認識装置６´は、カメラ４からの撮影画像をカメラＩ／Ｆ１５により取得する（ＡＣＴ５１）。また、距離センサ９に距離画像の撮影を指示した後、物品認識装置６´は、距離センサ９からの距離画像を距離センサＩ／Ｆ１８により取得する（ＡＣＴ５２）。
【００４６】
撮影画像及び距離画像を取得すると、プロセッサ１１は、距離画像から物品の外形を特定するための外形情報を抽出する（ＡＣＴ５３）。外形情報は、第１の実施形態で説明したもの同様に、物品全体の領域（外形）を推定するための情報である。また、物品の領域(外形)内の距離画像を用いて物品の高さを特定する（ＡＣＴ５４）。例えば、プロセッサ１１は、距離センサ９から台２における物品を載置する面までの距離（所定の距離）と距離画像との差異により物品の高さを算出する。
【００４７】
カメラ４から撮影画像を取得すると、プロセッサ１１は、距離画像から取得した外形情報を用いて、撮影画像における商品領域を特定し、撮影画像の商品領域の画素情報を用いて物品を特定するための特徴情報を抽出する（ＡＣＴ５５）。特徴情報は、第１の実施形態で説明したもの同様に、物品を認識（特定）するためのマッチング用情報である。
【００４８】
高さ、特徴情報及び外形情報を取得すると、プロセッサ１１は、取得した物品の高さ、特徴情報及び外形情報を物品の種類を示す情報等に対応づけた辞書情報を作成する（ＡＣＴ５６）。作成した辞書情報は、登録対象の物品のカメラ４が撮影した面に対する認識用の情報である。プロセッサ１１は、作成した辞書情報を辞書１４に登録する（ＡＣＴ５７）。
【００４９】
ＡＣＴ５１〜５７の処理は、登録対象とする物品における各面について実施される。すなわち、プロセッサ１１は、ＡＣＴ５６の辞書情報の登録が終了すると、辞書登録処理を終了するか否かを判定する（ＡＣＴ５８）。例えば、物品認識装置６は、オペレータからの登録終了又は次の面に対する辞書登録の指示に応じて辞書登録の終了又は継続を判断するようにして良い。プロセッサ１１は、入力装置８により別の面の登録開始が指示された場合（ＡＣＴ５８、ＮＯ）、ＡＣＴ５１へ戻り、上記ＡＣＴ５１〜５７の処理を再度実行する。この場合、オペレータは、当該物品のカメラ４に対向する物品の面を変更して辞書登録の再開を指示するようにすれば良い。また、プロセッサ１１は、入力装置８により登録終了が指示された場合（ＡＣＴ５８、ＹＥＳ）、辞書登録処理を終了する。  
以上の処理により、第２の実施形態の物品認識装置６´の辞書１４には、特徴情報及び外形情報に加えて高さ情報を含む認証用の情報（物品特定用情報）が登録される。
【００５０】
次に、第２の実施形態に係る物品認識装置６´における物品認識処理について説明する。  
図１０は、第２の実施形態に係る物品認識装置６´による物品認識処理を説明するためのフローチャートである。また、図１１は、複数の物品の配置状態Ｓ２１の例と撮影画像Ｓ２２の例と物品の画像領域Ｓ２３の例とを示す図である。また、図１２は、図１１に示す物品の画像領域に対する同一判定処理の例を示す図である。  
オペレータは、入力装置８により動作モードとして認識処理モードを指示し、台２上の物品配置領域に認識対象とする物品を配置する。ここでは、複数の物品が台２上の物品配置領域に配置されるものとする。
【００５１】
物品を配置した後、オペレータは入力装置８により物品認識処理の開始を指示する。なお、物品認識処理は、物品が載置されたことを検知して開始するようにしても良い。物品認識処理の開始が指示されると、プロセッサ１１は、カメラ４へ画像の撮影を指示するとともに、距離センサ９へ距離画像の撮影を指示する。カメラ４は、物品認識装置６´からの指示に応じて物品載置領域を含む撮影領域の画像を撮影する。カメラ４は、撮影した撮影画像を物品認識装置６´へ供給する。また、距離センサ９は、物品認識装置６´からの指示に応じて物品載置領域を含む撮影領域に対する距離画像を撮影する。距離センサ９は、撮影した距離画像を物品認識装置６´へ供給する。
【００５２】
また、物品認識処理を開始すると、プロセッサ１１は、辞書１４にアクセスし（ＡＣＴ６１）、カメラ４からの撮影画像と距離センサ９からの距離画像とを受付ける。カメラ４が撮影画像を出力すると、物品認識装置６´のプロセッサ１１は、カメラＩ／Ｆ１５によりカメラ４からの撮影画像を取得する（ＡＣＴ６２）。また、距離センサ９が距離画像を出力すると、物品認識装置６´のプロセッサ１１は、距離センサＩ／Ｆ１８により距離センサ９からの距離画像を取得する（ＡＣＴ６３）。
【００５３】
撮影画像及び距離画像を取得すると、プロセッサ１１は、距離画像を用いて撮影画像における個々の物品の候補となる領域（物品候補領域）を特定する（ＡＣＴ６４）。例えば、プロセッサ１１は、撮影画像において、類似距離となる画素をグルーピング（ラべリング）することにより物品候補領域を特定する。また、プロセッサ１１は、距離によるグルーピング以外の手法により物品候補領域を特定しても良い。ここでは、複数の物品を認識対象としているため、複数（例えば、Ｎ個）の物品候補領域が特定されるものとする。
【００５４】
例えば、図１１に示す配置状態Ｓ２１の物品Ｘと物品ＡＢＣとを撮影すると、図１１に示す撮影画像Ｓ２２が得られる。図１１に示す撮影画像Ｓ２２は、斜線部分が背景領域Ｒ２１であり、それ以外が前景領域（物品の画像領域）Ｒ２２である。さらに、物品の画像領域Ｒ２２は、距離によるグルーピングなどの手法により３つの領域（物品候補領域）ｒα、ｒβ、ｒγが得られる。領域ｒβは、物品Ｘの画像領域である。領域ｒαと領域ｒγとは、それぞれ物品Ｘの画像により分断された物品ＡＢＣの画像の一部である。
【００５５】
なお、物品の画像領域Ｒ２２は、上述した背景差分法により得ることができるが、距離画像を用いて求めてもよい。前景領域には物品が存在するため、背景領域とは異なる距離となる。従って、背景領域とは異なる距離となる領域が物品の画像領域Ｓ２３として得られる。ただし、第２の実施形態では、距離画像から個々の物品の候補領域を特定するため、物品の画像領域Ｒ２３は特定しなくても良い。
【００５６】
複数の物品候補領域を抽出すると、プロセッサ１１は、各物品候補領域について物品の特定と外形の推定とを実行する（ＡＣＴ６５−６９）。すなわち、プロセッサ１１は、複数の物品候補領域を抽出すると、変数ｎを初期化（ｎ＝０）する（ＡＣＴ６５）。変数ｎを初期化した後、プロセッサ１１は、変数ｎをインクリメント（ｎ＝ｎ＋１）する（ＡＣＴ６６）。変数をインクリメントすると、プロセッサ１１は、ｎ個目の物品候補領域に対して物品を特定する物品特定処理を行う（ＡＣＴ６７）。例えば、プロセッサ１１は、図１１に示す３つの領域ｒα、ｒβ、ｒγを順番に処理する。領域ｒαは物品ＡＢＣの画像の一部である。このため、領域ｒαを処理対象とする場合、プロセッサ１１は、領域ｒαから得られる特徴情報によって物品ＡＢＣを特定する。また、領域ｒβを処理対象とする場合、プロセッサ１１は、領域ｒβから得られる特徴情報によって物品Ｘを特定する。領域ｒγを処理対象とする場合、プロセッサ１１は、領域ｒγから得られる特徴情報によって物品ＡＢＣを特定する。
【００５７】
ｎ個目の物品候補領域における物品を特定すると、プロセッサ１１は、当該物品候補領域から端点などの外形情報の少なくとも一部を抽出する。プロセッサ１１は、物品候補領域から抽出した外形情報と特定した物品に対応する辞書１４の外形情報（辞書情報）とにより、当該物品の外形を推定して推定物品領域を特定する（ＡＣＴ６８）。推定物品領域は、物品全体の外形領域として推定される領域である。物品候補領域に物品全体（外形全体）が撮影されている場合、推定物品領域は、当該物品候補領域と一致する領域となる。これに対し、物品候補領域に物品全体が撮影されていない場合（物品の一部が他の物品に隠れている場合）、推定物品領域は、当該物品候補領域とは一致しない領域となる。この場合、物品候補領域は、物品の一部の画像であり、推定物品領域は、当該物品候補領域を含む領域となる。
【００５８】
例えば、図１１に示す領域ｒαは、局所特徴量などの特徴情報によって物品ＡＢＣと特定される。物品ＡＢＣと特定される領域ｒαについては、図１２の画像Ｉ１に示すように、物品ＡＢＣの端点（外形）が推定され、これらの端点によって推定物品領域が特定される。また、物品Ｘと特定される領域ｒβについては、図１２の画像Ｉ２に示すように、物品Ｘの端点（外形）が推定され、これらの端点によって推定物品領域が特定される。また、物品ＡＢＣと特定される領域ｒγについては、図１２の画像Ｉ３に示すように、物品ＡＢＣの端点（外形）が推定され、これらの端点によって推定物品領域が特定される。
【００５９】
特定した物品に対する推定物品領域を特定すると、プロセッサ１１は、変数ｎが物品候補領域の総数（例えば、Ｎ）であるか否かを判定する（ＡＣＴ６９）。これは、全ての物品候補領域に対して物品特定と外形推定とを実施したかを判定するものである。ｎが物品候補領域の総数でない場合、つまり、物品特定および外形推定が未実施の物品候補領域が存在する場合（ＡＣＴ６９、ＮＯ）、プロセッサ１１は、ＡＣＴ６６へ戻る。ＡＣＴ６６へ戻ると、プロセッサ１１は、変数ｎをインクリメントし、次の物品候補領域に対する物品特定と外形推推定とを実施する。
【００６０】
また、ｎが物品候補領域の総数である場合、つまり、物品特定および外形推定を全ての物品候補領域に対して実施済みである場合（ＡＣＴ６９、ＹＥＳ）、プロセッサ１１は、状態判定処理を行う（ＡＣＴ７０）。状態判定処理としては、第１の実施形態で説明したような各物品の重なり状態を判定する処理であっても良いし、同一の物品を特定する同一判定処理であっても良い。ここでは、状態判定処理として同一判定処理を行う場合の動作例について説明する。プロセッサ１１は、各物品候補領域から特定された物品のうち同一種類の物品の推定物品領域が一致するか否かにより同一の物品かを判定する同一判定処理を行う。
【００６１】
例えば、図１２の画像Ｉ３に示す領域ｒβから特定した物品Ｘの推定物品領域は、辞書１４に登録されている外形情報から得られる物品Ｘの外形と一致する。これにより、図１２の画像Ｉ５に示すように、領域ｒβは、１つの物品Ｘの全体画像であると特定できる。これに対し、図１２の画像Ｉ１に示す領域ｒαから特定した物品ＡＢＣの推定物品領域は、図１２の画像Ｉ３に示す領域ｒγから特定した物品ＡＢＣの推定物品領域と一致する。これにより、図１２の画像Ｉ４に示すように、領域ｒαと領域ｒγとは、１つの物品ＡＢＣ（同一物品）の一部の画像であると特定できる。つまり、同一の種類の物品を特定した２つの領域については、推定物品領域を比較することにより、１つの物品であるか２つの物品であるかを判定（同一判定）できる。
【００６２】
また、プロセッサ１１は、同一種類の物品と判定された複数の物品候補領域について距離画像から得られる高さに基づいて同一判定を行うようにしても良い。例えば、プロセッサ１１は、図１１に示す２つの領域ｒα、ｒγに対応する距離画像から得られる高さが同程度であるかを判定する。２つの領域ｒα、ｒγの高さが同程度であると判定した場合、プロセッサ１１は、領域ｒαの物品ＡＢＣと領域ｒγの物品ＡＢＣとが同一であると判定する。さらに、プロセッサ１１は、上述した推定物品領域の比較と距離画像による高さの比較とを組み合わせて同一判定を行うようにしても良い。  
上記の状態判定を終了すると、プロセッサ１１は、物品を特定した結果と特定した各物品に対する状態判定処理の結果とを物品認識処理の結果として物品認識処理を終了する。
【００６３】
上述した第２の実施形態に係る物品認識装置は、撮影画像と距離画像とを用いて撮影画像における複数の物品を特定し、特定した各物品の状態を判定する。第２の実施形態に係る物品認識装置は、特定した各物品の状態を判定することにより撮影画像に認識対象の物品が複数ある場合であっても、個々の物品を正確に認識できる。
【００６４】
また、第２の実施形態に係る物品認識装置は、各物品の状態として、２つの領域から同じ種類と特定された物品が、同一の物品（単一の物品）か２つの物品かを判定する。これにより、第２の実施形態によれば、複数の物品の配置状態によって、１つの物品が複数の物品として認識されることを防止し、個々の物品を正確に認識できる。  
さらに、第２の実施形態に係る物品認識装置は、距離画像を用いて物品候補領域を特定し、距離画像を用いて同じ種類と特定された２つの物品が同一物品かを判定する。これにより、第２の実施形態によれば、距離画像を用いて個々の物品を正確に認識できる。
【００６５】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６６】
１、１´…物品認識システム、２…台、３…フレーム、４…カメラ、６、６´…物品認識装置、７…表示装置、８…入力装置、９…距離センサ、１１…プロセッサ、１２…メモリ、１３…記憶装置、１４…辞書、１５…カメラインタフェース（画像取得部）、１６…表示インタフェース、１７…入力インタフェース、１８…距離センサインタフェース（距離取得部）。
【図１】
2018085034.tif 000003
【図２】
2018085034.tif 000004
【図３】
2018085034.tif 000005
【図４】
2018085034.tif 000006
【図５】
2018085034.tif 000007
【図６】
2018085034.tif 000008
【図７】
2018085034.tif 000009
【図８】
2018085034.tif 000010
【図９】
2018085034.tif 000011
【図１０】
2018085034.tif 000012
【図１１】
2018085034.tif 000013
【図１２】
2018085034.tif 000014