(57)【特許請求の範囲】
【請求項１】
物体を含む画像と、前記物体の奥行方向の距離を示す奥行情報と、を対応付けて取得する画像取得手段と、
前記取得した画像から、前記奥行情報に基づいて前記物体の画像領域を抽出し、抽出された前記画像領域の商品を特定する商品特定手段と、
前記画像取得手段により取得された画像を、前記抽出された画像領域を区別可能な状態で顧客用のモニタに表示する表示処理手段と、
を備える情報処理装置。
【請求項２】
物体を含む画像と、前記物体の奥行方向の距離を示す奥行情報と、を対応付けて取得する画像取得手段と、
前記取得した画像から、前記奥行情報に基づいて前記物体の画像領域を抽出し、抽出された前記画像領域の商品を特定する商品特定手段と、
前記物体の画像領域の周縁部を区別可能な状態で表示装置に表示する表示処理手段と、
を備える情報処理装置。
【請求項３】
前記商品特定手段は、
前記取得した画像の中から、前記奥行情報の距離が閾値以下である画像領域を抽出し、
前記抽出された画像領域を用いて商品を特定する、
請求項１または２に記載の情報処理装置。
【請求項４】
前記商品特定手段は、
前記取得した画像の中から、前記画像領域と前記画像領域の周辺の領域とを抽出し、
前記抽出された前記画像領域および前記周辺の領域を用いて商品を特定する、
請求項３に記載の情報処理装置。
【請求項５】
前記商品特定手段は、各商品の商品情報を記憶する記憶手段から、特定した商品に対応する商品情報を更に読み出す、
請求項１から４のいずれか１項に記載の情報処理装置。
【請求項６】
前記商品特定手段は、前記奥行情報の距離が６０ｃｍ以下の商品を特定する、
請求項１から５のいずれか１項に記載の情報処理装置。
【請求項７】
前記奥行情報は、前記画像を生成する撮像手段から前記物体までの奥行方向の距離を示す、
請求項１から６のいずれか１項に記載の情報処理装置。
【請求項８】
コンピュータが、
物体を含む画像と、前記物体の奥行方向の距離を示す奥行情報と、を対応付けて取得し、
前記取得した画像から、前記奥行情報に基づいて前記物体の画像領域を抽出し、抽出された前記画像領域の商品を特定し、
前記取得された画像を、前記抽出された画像領域を区別可能な状態で顧客用のモニタに表示する、
ことを含む情報処理方法。
【請求項９】
コンピュータが、
物体を含む画像と、前記物体の奥行方向の距離を示す奥行情報と、を対応付けて取得し、
前記取得した画像から、前記奥行情報に基づいて前記物体の画像領域を抽出し、抽出された前記画像領域の商品を特定し、
前記物体の画像領域の周縁部を区別可能な状態で表示装置に表示する、
ことを含む情報処理方法。
【請求項１０】
コンピュータを、
物体を含む画像と、前記物体の奥行方向の距離を示す奥行情報と、を対応付けて取得する画像取得手段、
前記取得した画像から、前記奥行情報に基づいて前記物体の画像領域を抽出し、抽出された前記画像領域の商品を特定する商品特定手段、
前記画像取得手段により取得された画像を、前記抽出された画像領域を区別可能な状態で顧客用のモニタに表示する表示処理手段、
として機能させるためのプログラム。
【請求項１１】
コンピュータを、
物体を含む画像と、前記物体の奥行方向の距離を示す奥行情報と、を対応付けて取得する画像取得手段、
前記取得した画像から、前記奥行情報に基づいて前記物体の画像領域を抽出し、抽出された前記画像領域の商品を特定する商品特定手段、
前記物体の画像領域の周縁部を区別可能な状態で表示装置に表示する表示処理手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から精算対象の商品を特定する技術に関する。
【背景技術】
【０００２】
画像から商品を特定する技術の一例が、例えば、特許文献１に記載されている。特許文献１は、画像を用いてトレイに載せた商品を自動判別する技術を開示している。詳細には、特許文献１は、２つのカメラの視差を用いて生成される深さ方向の距離情報を持つ距離画像に基づいて各商品の高さ情報を生成し、該高さ情報を含む商品の特徴情報とマッチングすることにより、トレイ上の各商品を特定する技術を開示している。また、画像から特定の領域を抽出する技術の一例が、例えば、特許文献２に記載されている。特許文献２には、撮像した画像から注文票の各矩形枠を抽出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２１６５７１号公報
【特許文献２】特開２０１１−０９０６６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像から精算対象の商品を認識して特定する場合、その認識精度は高い方が望ましい。特許文献１では、距離画像を基に商品の高さ情報を生成し、その高さ情報を用いて認識精度の向上を実現しているが、特許文献１の技術は、「トレイ」という高さ情報を用いることが前提となる。一方、レジ担当者などのオペレータが商品を撮像部にかざして精算対象の商品を認識する一般的なケースではトレイなどは用いないため、特許文献１の技術では商品の認識精度を向上させる効果がうまく得られない可能性がある。
【０００５】
本発明の目的は、画像から商品を認識する精度を向上させることができる技術を提供することにある。
【課題を解決するための手段】
【０００６】
本発明によれば、
情報処理装置であって、
物体を含む画像と、前記物体の奥行方向の距離を示す奥行情報と、を対応付けて取得する画像取得手段と、
前記取得した画像から、前記奥行情報に基づいて前記物体の画像領域を抽出し、抽出された前記画像領域の商品を特定する商品特定手段と、
前記画像取得手段により取得された画像を、前記抽出された画像領域を区別可能な状態で顧客用のモニタに表示する表示処理手段と、
を備える情報処理装置が提供される。
また、本発明によれば、
情報処理装置であって、
物体を含む画像と、前記物体の奥行方向の距離を示す奥行情報と、を対応付けて取得する画像取得手段と、
前記取得した画像から、前記奥行情報に基づいて前記物体の画像領域を抽出し、抽出された前記画像領域の商品を特定する商品特定手段と、
前記物体の画像領域の周縁部を区別可能な状態で表示装置に表示する表示処理手段と、
を備える情報処理装置が提供される。
【０００７】
本発明によれば、
コンピュータが、
物体を含む画像と、前記物体の奥行方向の距離を示す奥行情報と、を対応付けて取得し、
前記取得した画像から、前記奥行情報に基づいて前記物体の画像領域を抽出し、抽出された前記画像領域の商品を特定し、
前記取得された画像を、前記抽出された画像領域を区別可能な状態で顧客用のモニタに表示する、
ことを含む情報処理方法が提供される。
また、本発明によれば、
コンピュータが、
物体を含む画像と、前記物体の奥行方向の距離を示す奥行情報と、を対応付けて取得し、
前記取得した画像から、前記奥行情報に基づいて前記物体の画像領域を抽出し、抽出された前記画像領域の商品を特定し、
前記物体の画像領域の周縁部を区別可能な状態で表示装置に表示する、
ことを含む情報処理方法が提供される。
【０００８】
本発明によれば、
コンピュータを、
物体を含む画像と、前記物体の奥行方向の距離を示す奥行情報と、を対応付けて取得する画像取得手段、
前記取得した画像から、前記奥行情報に基づいて前記物体の画像領域を抽出し、抽出された前記画像領域の商品を特定する商品特定手段、
前記画像取得手段により取得された画像を、前記抽出された画像領域を区別可能な状態で顧客用のモニタに表示する表示処理手段、
として機能させるためのプログラムが提供される。
また、本発明によれば、
コンピュータを、
物体を含む画像と、前記物体の奥行方向の距離を示す奥行情報と、を対応付けて取得する画像取得手段、
前記取得した画像から、前記奥行情報に基づいて前記物体の画像領域を抽出し、抽出された前記画像領域の商品を特定する商品特定手段、
前記物体の画像領域の周縁部を区別可能な状態で表示装置に表示する表示処理手段、
として機能させるためのプログラムが提供される。
【発明の効果】
【０００９】
本発明によれば、画像から商品を認識する精度を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態における情報処理装置の処理構成を概念的に示す図である。
【図２】情報処理装置のハードウエア構成を概念的に示す図である。
【図３】第１実施形態における情報処理装置の処理の流れを示すフローチャートである。
【図４】商品特定部の動作の具体例を説明するための図である。
【図５】第２実施形態の情報処理装置の処理構成を概念的に示す図である。
【図６】第１実施形態の商品情報記憶部が記憶する情報の一例を示す図である。
【図７】表示処理部が顧客用モニタに表示させる画面の一例を示す図である。
【図８】第２実施形態における情報処理装置の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【００１２】
［第１実施形態］
〔処理構成〕
図１は、第１実施形態における情報処理装置１０の処理構成を概念的に示す図である。図１に示されるように、情報処理装置１０は、画像取得部１１０および商品特定部１２０を備える。
【００１３】
画像取得部１１０は、撮像範囲に含まれる物体の奥行方向の距離を示す奥行情報を対応付けて画像を取得する。画像取得部１１０は、例えば、３Ｄカメラなどである。画像取得部１１０は、画像を撮像する際、その撮像範囲に含まれる物体の奥行方向の距離を、例えばステレオカメラにおける視差を用いる手法など、既知の手法によって算出する。
【００１４】
商品特定部１２０は、精算対象の商品として、画像取得部１１０で取得された奥行情報の距離が閾値以下の商品を特定する。この閾値は、情報処理装置１０のオペレータが立つ位置や、オペレータが画像取得部１１０に対して商品をかざす位置などを考慮して、適切な値に設定される。閾値は、例えば６０ｃｍなどと決定され、商品特定部１２０に記憶される。
【００１５】
〔ハードウエア構成〕
図２は、情報処理装置１０のハードウエア構成を概念的に示す図である。図２に示されるように、情報処理装置１０は、ＣＰＵ（Central Processing Unit）１０１、メモリ１０２、ストレージ１０３、入出力インターフェース（入出力Ｉ／Ｆ）１０４、および通信モジュール１０５などを備える。ＣＰＵ１０１、メモリ１０２、ストレージ１０３、入出力インターフェース１０４、および通信モジュール１０５は、相互にデータを送受信するためのデータ伝送路で接続されている。
【００１６】
メモリ１０２は、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。ストレージ１０３は、例えばハードディスク、ＳＳＤ（Solid State Drive）、又はメモリカードなどの記憶装置である。ストレージ１０３は、情報処理装置１０の商品特定部１２０を含む各処理部の機能を実現するためのプログラムモジュールを記憶している。ＣＰＵ１０１は、これら各プログラムモジュールを実行することで、各処理部の機能をそれぞれ実現する。ＣＰＵ１０１は、上記各モジュールを実行する際、これらのモジュールをメモリ１０２上に読み出してから実行してもよいし、メモリ１０２上に読み出さずに実行してもよい。
【００１７】
入出力インターフェース１０４は、表示装置１０４１、入力装置１０４２、および撮像装置１０４３などと接続される。表示装置１０４１は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイのような、ＣＰＵ１０１やＧＰＵ（Graphics Processing Unit）（図示せず）等により処理された描画データに対応する画面を表示する装置である。入出力インターフェース１０４には複数の表示装置１０４１（例えば、オペレータ用のモニタと顧客用のモニタ）が接続され得る。入力装置１０４２は、ユーザの操作による入力を受け付ける装置であり、例えば、キーボード、マウス、タッチセンサ等として実現される。表示装置１０４１および入力装置１０４２は一体化され、タッチパネルとして実現されていてもよい。撮像装置１０４３は、所謂３Ｄカメラであり、単眼式の撮像モジュールまたは２眼式の撮像モジュール（図示せず）を備える。撮像装置１０４３は、図１の画像取得部１１０に相当する。
【００１８】
通信モジュール１０５は、外部の装置等との間でデータを送受信するために用いられる。なお、通信モジュール１０５を介して情報処理装置１０と外部の装置とを接続する方法は様々である。例えばこの接続は、バス回線（例えばＵＳＢ（Universal Serial Bus）回線）を介したバス接続や、ネットワーク回線を介したネットワーク接続などである。なお、ネットワーク回線は無線回線であってもよいし有線回線であってもよい。
【００１９】
なお、情報処理装置１０のハードウエア構成は図２に示される構成に制限されない。
【００２０】
〔動作例〕
図３を用いて、本実施形態の情報処理装置１０の動作例を説明する。図３は、第１実施形態における情報処理装置１０の処理の流れを示すフローチャートである。
【００２１】
まず、画像取得部１１０は、画像と、その画像の撮像範囲に存在する物体の奥行情報とを対応付けて取得する（Ｓ１０１）。画像取得部１１０は、単眼式カメラまたは２眼式カメラによる既知の手法を用いて、画像と対応付けて奥行情報を取得することができる。次いで、商品特定部１２０は、Ｓ１０１で取得された奥行情報を用いて、奥行情報の距離が閾値以下の領域があるか否かを判定する（Ｓ１０２）。
【００２２】
奥行情報の距離が閾値以下の領域が存在しない場合（Ｓ１０２：ＮＯ）、商品特定部１２０は、後述の処理を行わない。一方、奥行情報の距離が閾値以下の領域が存在する場合（Ｓ１０２：ＹＥＳ）、商品特定部１２０は、画像取得部１１０により取得された画像を用いて、商品特定処理を実行する（Ｓ１０３）。商品特定部１２０は、例えば、各商品を識別する情報（例えば商品ＩＤなど）と各商品の外観（形状、大きさ、色など）の特徴量とを紐付けて記憶する記憶部（図示せず）を参照し、画像取得部１１０により取得された画像の特徴量とのマッチング処理を行う。そして、商品特定部１２０は、特徴量の類似度が最も高い商品を、当該画像の商品として特定する。
【００２３】
図４を用いて、商品特定部１２０の動作を説明する。図４は、商品特定部１２０の動作の具体例を説明するための図である。図４の点線の範囲は、画像取得部１１０の撮像範囲を示す。図４のＤｔｈは、商品特定部１２０に予め設定される閾値を概念的に示している。ここで商品などの物体が、画像取得部１１０の撮像範囲と閾値Ｄｔｈで定義される領域Ａの範囲に存在する場合、当該物体の画像領域に対応付けて、閾値Ｄｔｈ以下の距離の奥行情報が画像取得部１１０により取得される。この場合、商品特定部１２０は、画像取得部１１０で取得された画像を用いた商品特定処理を実行する。一方、商品などの物体が、領域Ａに存在しない、または、画像取得部１１０の撮像範囲であるが領域Ａの外部に存在する場合、閾値Ｄｔｈ以下の距離を示す奥行情報は取得されない。この場合、商品特定部１２０は、画像取得部１１０で取得された画像を用いた商品特定処理を実行しない。
【００２４】
〔第１実施形態の作用および効果〕
以上、本実施形態によれば、画像取得部１１０から予め設定された閾値以下の距離に存在する物体の画像に基づいて、精算対象の商品が認識される。つまり、画像取得部１１０から予め設定された閾値以上離れた物体は、精算対象の商品として認識されない。これにより、画像取得部１１０により取得された画像の背景などの部分から誤って商品を認識することを防止することができる。また、本実施形態では、画像取得部１１０からの距離に基づいて、商品が特定されるため、特許文献１のようにトレイを用いなくとも、商品の認識精度を向上させる効果が見込める。
【００２５】
〔第２実施形態〕
図５は、第２実施形態の情報処理装置１０の処理構成を概念的に示す図である。本実施形態の画像取得部１１０は第１実施形態と同じである。
【００２６】
本実施形態の商品特定部１２０は、図１に示されるように、領域抽出部１２２と商品情報読出部１２４とを備える。
【００２７】
領域抽出部１２２は、奥行情報の距離が閾値以下である画像領域を抽出する。領域抽出部１２２は、画像取得部１１０で画像と対応付けて取得された奥行情報を用いて、画像取得部１１０からの距離が閾値以下の画像領域を特定することができる。ここで、領域抽出部１２２は、奥行情報が閾値以下の画像領域を特定した場合、例えば、画像領域の外縁を所定ピクセル分拡大するなどして、その周辺の領域も含めて抽出してもよい。このようにすることで、後の商品特定処理で用いる画像領域を精度よく抽出することができる。そして、商品情報読出部１２４は、領域抽出部１２２により抽出された画像領域を用いて、商品情報記憶部１４０を参照し、商品を特定する。
【００２８】
商品情報記憶部１４０は、例えば図６に示されるような情報を記憶している。図６は、第１実施形態の商品情報記憶部１４０が記憶する情報の一例を示す図である。図６に示されるように、商品情報記憶部１４０は、例えば、各商品の商品情報（例えば商品の名称、商品の価格、商品の割引や値引の有無などの情報）とその商品の外観（例えば形状、大きさ、色など）の特徴量とを対応付けて記憶している。
【００２９】
商品情報読出部１２４は、領域抽出部１２２により抽出された画像領域の特徴量と、商品情報記憶部１４０に記憶されている各商品の特徴量とを用いて、マッチング処理を行う。詳細には、商品情報読出部１２４は、商品情報記憶部１４０が記憶している特徴量に対応する特徴量を領域抽出部１２２で抽出された画像領域から取得し、マッチング処理を行う。そして、商品情報読出部１２４は、マッチング処理の結果、最も類似度の高い商品を、抽出された画像領域の商品として特定する。
【００３０】
また、商品情報読出部１２４は、最も類似度の高い特徴量と判断された特徴量と紐付けられている商品情報を、商品情報記憶部１４０から読み出す。ここで読み出された商品情報は、商品の精算業務で利用される。
【００３１】
表示処理部１３０は、画像取得部１１０により取得された画像を、商品特定部１２０の領域抽出部１２２により抽出された画像領域を区別可能な状態で顧客用のモニタに表示する。
【００３２】
表示処理部１３０が顧客用モニタに表示させる画面の具体例について、図７を用いて説明する。図７は、表示処理部１３０が顧客用モニタに表示させる画面の一例を示す図である。図７に示されるように、表示処理部１３０は、画像取得部１１０により取得された画像と、領域抽出部１２２により抽出された画像領域とに基づいて、顧客用モニタに表示する画像データを生成する。表示処理部１３０は、例えば、領域抽出部１２２により抽出された画像領域のエッジ部分を強調表示する画像データを生成し、画像取得部１１０で取得された画像に位置関係を合わせて重畳させて、図７に示されるように画像取得部１１０の画像を区別可能な画像データを生成する。但し、表示処理部１３０が領域抽出部１２２により抽出された画像領域を区別可能に表示する方法は、図７の例に制限されない。
【００３３】
〔ハードウエア構成〕
本実施形態の情報処理装置１０も、第１実施形態と同様に、図２に示されるようなハードウエア構成を有する。ストレージ１０３は、領域抽出部１２２、商品情報読出部１２４、及び表示処理部１３０の機能を実現するプログラムモジュールをそれぞれ記憶しており、ＣＰＵ１０１が各プログラムモジュールを実行することにより領域抽出部１２２、商品情報読出部１２４、及び表示処理部１３０が実現される。また、ストレージ１０３は商品情報記憶部１４０としても機能する。
【００３４】
〔動作例〕
図８を用いて、本実施形態における情報処理装置１０の動作例を説明する。図８は、第２実施形態における情報処理装置１０の処理の流れを示すフローチャートである。
【００３５】
まず、画像取得部１１０は、画像と、その画像の撮像範囲に存在する物体の奥行情報とを対応付けて取得する（Ｓ２０１）。画像取得部１１０は、単眼式カメラまたは２眼式カメラによる既知の手法を用いて、画像と対応付けて奥行情報を取得することができる。
【００３６】
次いで、商品特定部１２０の領域抽出部１２２は、画像取得部１１０により画像と対応付けて取得された奥行情報を用いて、当該画像の中から奥行情報が閾値以下の画像領域を特定して抽出する（Ｓ２０２）。なお、ここで、奥行情報が閾値以下の画像領域が存在しない場合は、画像取得部１１０により取得される次の画像を用いて、Ｓ２０２の処理が再度実行される。
【００３７】
次いで、商品特定部１２０の商品情報読出部１２４は、商品特定部１２０の領域抽出部１２２で抽出された画像領域を用いて、商品を特定する（Ｓ２０３）。商品情報記憶部１４０が図６に示されるような情報を記憶している場合、次のように商品が特定される。まず、商品特定部１２０の商品情報読出部１２４は、商品特定部１２０の領域抽出部１２２で抽出された画像領域から、商品情報記憶部１４０で記憶されている特徴量に対応する特徴量を取得する。そして、商品特定部１２０の商品情報読出部１２４は、取得した特徴量と、商品情報記憶部１４０に記憶されている特徴量との間でマッチング処理を行い、最も類似度の高い特徴量を見つけ出す。そして、商品特定部１２０の商品情報読出部１２４は、最も類似度の高い特徴量に紐付けられた商品を識別する情報（図６の例では商品ＩＤ）を取得し、これにより商品が特定される。また、特徴量そのものが、商品を識別する情報として、商品情報と紐付けられていてもよい。この場合、商品特定部１２０の商品情報読出部１２４が最も類似度の高い特徴量を見つけだすことにより、商品が特定される。さらに、商品特定部１２０の商品情報読出部１２４は、最も類似度の高い特徴量として特定された特徴量に紐付けられた商品情報を読み出す（Ｓ２０４）。そして、商品特定部１２０の商品情報読出部１２４は、読み出した商品情報を商品の精算に用いる情報（精算情報）に追加する（Ｓ２０５）。
【００３８】
また、表示処理部１３０は、画像取得部１１０により取得された画像と、商品特定部１２０の領域抽出部１２２により奥行情報が閾値以下の画像領域とを用いて、顧客用モニタに表示する画像データを生成する（Ｓ２０６）。表示処理部１３０は、例えば、領域抽出部１２２により抽出された画像領域のエッジ部分を強調表示する画像データを生成し、画像取得部１１０で取得された画像に位置関係を合わせて重畳させて、図７に示されるような画像データを生成する。そして、表示処理部１３０は、生成した画像データを顧客用モニタに表示する（Ｓ２０７）。
【００３９】
上述のＳ２０１からＳ２０７の処理は、例えば図示しない小計ボタンの押下など、１つの精算処理が完了を示すイベントが実行されるまで繰り返される。
【００４０】
〔第２実施形態の作用と効果〕
以上、本実施形態では、画像取得部１１０により取得された画像の中から、奥行情報が閾値以下の画像領域が抽出される。言い換えると、画像取得部１１０により取得された画像において、ノイズとなる背景などの領域がフィルタリングされる。そして、抽出された画像領域の特徴量を用いてマッチング処理が行われて商品が特定される。これにより、本実施形態によれば、マッチング処理においてノイズとなる情報（例えば背景など）がフィルタリングされるため、商品の誤認識の発生を抑える効果が見込める。また、本実施形態によれば、画像処理に用いる領域が限定されるため、処理の高速化や処理負荷の低減といった効果も見込める。
【００４１】
また、本実施形態では、領域抽出部１２２により抽出された画像領域を区別可能な状態で、画像取得部１１０により取得された画像が顧客用モニタに表示される。これにより、顧客は、商品がどのように認識されているか、または、レジ業務が問題なく行われているかなどを、顧客用モニタを通して確認することができる。
【００４２】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
【００４３】
例えば、上述の実施形態では、情報処理装置１０が、精算対象の商品を登録する機能を有する装置（所謂レジ端末）である例を示した。これに限らず、情報処理装置１０は、所謂レジ端末とは別の装置として設けられ、画像取得部１１０が、レジ端末の撮像部（３Ｄカメラなど）で生成された画像を、ＬＡＮ（Local Area Network）などのネットワークを介して取得するように構成されていてもよい。このとき、レジ端末の撮像部が奥行情報と対応付けて画像を生成し、画像取得部１１０は当該撮像部で生成された画像と奥行情報とを取得するように構成されていてもよい。また、レジ端末の撮像部が画像のみを生成し、画像取得部１１０は、当該撮像部で生成された画像を取得し、既知の手法を用いて、当該レジ端末から取得された画像から奥行情報を算出するように構成されてもよい。
【００４４】
また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
【００４５】
以下、参考形態の例を付記する。
１．
撮像範囲に含まれる物体の奥行方向の距離を示す奥行情報を対応付けて画像を取得する画像取得手段と、
前記取得した画像から、前記奥行情報の距離が閾値以下の商品を特定する商品特定手段と、
を備える情報処理装置。
２．
前記商品特定手段は、
前記取得した画像の中から、前記奥行情報の距離が前記閾値以下である画像領域を抽出し、
前記抽出された画像領域を用いて商品を特定する、
１．に記載の情報処理装置。
３．
前記商品特定手段は、
前記取得した画像の中から、前記画像領域と前記画像領域の周辺の領域とを抽出し、
前記抽出された前記画像領域および前記周辺の領域を用いて商品を特定する、
２．に記載の情報処理装置。
４．
前記画像取得手段により取得された画像を、前記抽出された画像領域を区別可能な状態で顧客用のモニタに表示する表示処理手段を更に備える、
２．または３．に記載の情報処理装置。
５．
前記商品特定手段は、各商品の商品情報を記憶する記憶手段から、特定した商品に対応する商品情報を更に読み出す、
１．から４．のいずれか１つに記載の情報処理装置。
６．
前記商品特定手段は、前記奥行情報の距離が６０ｃｍ以下の商品を特定する、
１．から５．のいずれか１つに記載の情報処理装置。
７．
コンピュータが、
撮像範囲に含まれる物体の奥行方向の距離を示す奥行情報を対応付けて画像を取得し、
前記取得した画像から、前記奥行情報の距離が閾値以下の商品を特定する、
ことを含む情報処理方法。
８．
前記コンピュータが
前記取得した画像の中から、前記奥行情報の距離が前記閾値以下である画像領域を抽出し、
前記抽出された画像領域を用いて商品を特定する、
ことを含む７．に記載の情報処理方法。
９．
前記コンピュータが、
前記取得した画像の中から、前記画像領域と前記画像領域の周辺の領域とを抽出し、
前記抽出された前記画像領域および前記周辺の領域を用いて商品を特定する、
ことを含む８．に記載の情報処理方法。
１０．
前記コンピュータが、
前記取得された画像を、前記抽出された画像領域を区別可能な状態で顧客用のモニタに表示する、
ことを含む８．または９．に記載の情報処理方法。
１１．
前記コンピュータが、
各商品の商品情報を記憶する記憶手段から、特定した商品に対応する商品情報を更に読み出す、
ことを含む７．から１０．のいずれか１つに記載の情報処理方法。
１２．
前記コンピュータが、
前記奥行情報の距離が６０ｃｍ以下の商品を特定する、
ことを含む７．から１１．のいずれか１つに記載の情報処理方法。
１３．
コンピュータを、
撮像範囲に含まれる物体の奥行方向の距離を示す奥行情報を対応付けて画像を取得する画像取得手段、
前記取得した画像から、前記奥行情報の距離が閾値以下の商品を特定する商品特定手段、
として機能させるためのプログラム。
１４．
前記コンピュータを、
前記取得した画像の中から、前記奥行情報の距離が前記閾値以下である画像領域を抽出させ、
前記抽出された画像領域を用いて商品を特定する前記商品特定手段、
として機能させるための１３．に記載のプログラム。
１５．
前記コンピュータを、
前記取得した画像の中から、前記画像領域と前記画像領域の周辺の領域とを抽出し、
前記抽出された前記画像領域および前記周辺の領域を用いて商品を特定する前記商品特定手段、
として機能させるための１４．に記載のプログラム。
１６．
前記コンピュータを、
前記画像取得手段により取得された画像を、前記抽出された画像領域を区別可能な状態で顧客用のモニタに表示する表示処理手段、
として更に機能させるための１４．または１５．に記載のプログラム。
１７．
前記コンピュータを、
各商品の商品情報を記憶する記憶手段から、特定した商品に対応する商品情報を更に読み出す前記商品特定手段、
として機能させるための１３．から１６．のいずれか１つに記載のプログラム。
１８．
前記コンピュータを、
前記奥行情報の距離が６０ｃｍ以下の商品を特定する前記商品特定手段、
として機能させるための１３．から１７．のいずれか１つに記載のプログラム。
【符号の説明】
【００４６】
１０  情報処理装置
１０１  ＣＰＵ
１０２  メモリ
１０３  ストレージ
１０４  入出力インターフェース
１０４１  表示装置
１０４２  入力装置
１０４３  撮像装置
１０５  通信モジュール
１１０  画像取得部
１２０  商品特定部
１２２  領域抽出部
１２４  商品情報読出部
１３０  表示処理部
１４０  商品情報記憶部
【図１】
0006565252.tif 000002
【図２】
0006565252.tif 000003
【図３】
0006565252.tif 000004
【図４】
0006565252.tif 000005
【図５】
0006565252.tif 000006
【図６】
0006565252.tif 000007
【図７】
0006565252.tif 000008
【図８】
0006565252.tif 000009