(57)【特許請求の範囲】
【請求項１】
ディスプレイ上に載置された商品の画像を取得する画像取得手段と、
前記商品の画像を解析することにより、前記商品の識別結果および前記商品の位置の識別結果を取得する商品識別手段と、
前記商品の高さを示す高さ情報を取得する高さ情報取得手段と、
前記商品の位置の識別結果と前記高さ情報とに基づいて決定される前記ディスプレイ上の第１の位置に、前記商品の識別結果に基づく表示データを出力する表示制御手段と、
を備える画像識別レジ装置。
【請求項２】
前記高さ情報取得手段は、前記画像の中に写っている前記商品の深度を示す深度情報を用いて、前記商品の高さを算出する、
請求項１に記載の画像識別レジ装置。
【請求項３】
前記高さ情報取得手段は、
前記商品を前記ディスプレイの表示面に対して平行な方向から撮影して得られる、前記商品の側面画像を取得し、
前記商品の側面画像を解析することにより、前記商品の高さを算出する、
請求項１に記載の画像識別レジ装置。
【請求項４】
前記高さ情報取得手段は、商品別の高さ情報を記憶する記憶装置を参照し、前記商品別の高さ情報の中から前記商品の識別結果に対応する高さ情報を取得する、
請求項１に記載の画像識別レジ装置。
【請求項５】
前記商品別の高さ情報を前記記憶装置に登録する高さ情報登録手段を更に備える、
請求項４に記載の画像識別レジ装置。
【請求項６】
前記表示制御手段は、前記商品の位置の識別結果に基づいて決定される、前記ディスプレイ上の第２の位置に前記表示データを出力し、
前記高さ情報登録手段は、
前記第２の位置とは異なる前記ディスプレイ上の第３の位置を指定する入力を受け付け、
前記第２の位置と前記第３の位置との差分および前記第２の位置に基づいて、前記商品の高さを算出する、
請求項５に記載の画像識別レジ装置。
【請求項７】
前記第３の位置は、前記ディスプレイ上に載置された商品の実際の位置である、
請求項６に記載の画像識別レジ装置。
【請求項８】
前記表示制御手段は、前記商品の位置の識別結果に基づいて決定される、前記ディスプレイ上の第２の位置に前記表示データを出力し、
前記高さ情報登録手段は、
前記商品を前記第２の位置に合わせて移動させたときの移動量を取得し、
取得した前記移動量および前記第２の位置に基づいて、前記商品の高さを算出する、
請求項５に記載の画像識別レジ装置。
【請求項９】
前記高さ情報登録手段は、
前記商品を前記ディスプレイの表示面に対して平行な方向から撮影して得られる、前記商品の側面画像を取得し、
前記商品の側面画像を解析することにより、前記商品の高さを算出する、
請求項５に記載の画像識別レジ装置。
【請求項１０】
表示面が商品の載置面として利用されるディスプレイと、
前記ディスプレイ上に載置された商品を撮影し、前記商品の画像を生成する第１の撮像装置と、
前記商品の画像を取得する画像取得手段と、
前記商品の画像を解析することにより、前記商品の識別結果および前記商品の位置の識別結果を取得する商品識別手段と、
前記商品の高さを示す高さ情報を取得する高さ情報取得手段と、
前記商品の位置の識別結果と前記高さ情報とに基づいて決定される前記ディスプレイ上の第１の位置に、前記商品の識別結果に基づく表示データを出力する表示制御手段と、
を備える画像識別レジシステム。
【請求項１１】
前記ディスプレイ上に載置された商品を前記ディスプレイの表示面に対して平行な方向から撮影し、前記商品の側面画像を生成する第２の撮像装置を更に備え、
前記高さ情報取得手段は、前記商品の側面画像を解析することにより、前記商品の高さを算出する、
請求項１０に記載の画像識別レジシステム。
【請求項１２】
コンピュータが、
ディスプレイ上に載置された商品の画像を取得し、
前記商品の画像を解析することにより、前記商品の識別結果および前記商品の位置の識別結果を取得し、
前記商品の高さを示す高さ情報を取得し、
前記商品の位置の識別結果と前記高さ情報とに基づいて決定される前記ディスプレイ上の第１の位置に、前記商品の識別結果に基づく表示データを出力する、
ことを含む商品情報表示方法。
【請求項１３】
コンピュータに、請求項１２に記載の商品情報表示方法を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、店舗での業務を支援する技術に関する。【０００２】
下記特許文献１には、処理装置が、上側から商品の載置台に向けられた撮像装置により生成された画像を用いて載置台上に存在する商品を識別し、投影装置が、識別された商品及び／又は載置台の載置面上に会計処理に関する情報を投影する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１７／１２６２５３号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明者は、上述の特許文献１に示すような構成において、投影装置の代わりにディスプレイを利用することを検討した。その場合において、本発明者は、識別対象の商品の高さによって、当該ディスプレイ上に表示される会計処理に関する情報の位置にズレが生じるという問題を発見した。【０００５】
本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、ディスプレイ上に載置された商品の画像を用いてその商品を識別し、その識別結果に応じた情報をディスプレイ上の商品の位置に合わせて表示させるシステムにおいて、その情報の表示位置のズレを低減させる技術を提供することである。
【課題を解決するための手段】
【０００６】
本発明の画像識別レジ装置は、
ディスプレイ上に載置された商品の画像を取得する画像取得手段と、
前記商品の画像を解析することにより、前記商品の識別結果および前記商品の位置の識別結果を取得する商品識別手段と、
前記商品の高さを示す高さ情報を取得する高さ情報取得手段と、
前記商品の位置の識別結果と前記高さ情報とに基づいて決定される前記ディスプレイ上の第１の位置に、前記商品の識別結果に基づく表示データを出力する表示制御手段と、
を備える。【０００７】
本発明の画像識別レジシステムは、
表示面が商品の載置面として利用されるディスプレイと、
前記ディスプレイ上に載置された商品を撮影し、前記商品の画像を生成する第１の撮像装置と、
前記商品の画像を取得する画像取得手段と、
前記商品の画像を解析することにより、前記商品の識別結果および前記商品の位置の識別結果を取得する商品識別手段と、
前記商品の高さを示す高さ情報を取得する高さ情報取得手段と、
前記商品の位置の識別結果と前記高さ情報とに基づいて決定される前記ディスプレイ上の第１の位置に、前記商品の識別結果に基づく表示データを出力する表示制御手段と、
を備える。【０００８】
本発明の商品情報表示方法は、
コンピュータが、
ディスプレイ上に載置された商品の画像を取得し、
前記商品の画像を解析することにより、前記商品の識別結果および前記商品の位置の識別結果を取得し、
前記商品の高さを示す高さ情報を取得し、
前記商品の位置の識別結果と前記高さ情報とに基づいて決定される前記ディスプレイ上の第１の位置に、前記商品の識別結果に基づく表示データを出力する、
ことを含む。【０００９】
本発明のプログラムは、コンピュータに、上述の商品情報表示方法を実行させる。
【発明の効果】
【００１０】
本発明によれば、ディスプレイ上に載置された商品の画像を用いてその商品を識別し、その識別結果に応じた情報をディスプレイ上の商品の位置に合わせて表示させるシステムにおいて、その情報の表示位置のズレを低減することができる。
【図面の簡単な説明】
【００１１】
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。【００１２】
【図１】第１実施形態における画像識別レジシステムの構成例を示す図である。
【図２】画像識別レジシステムのハードウエア構成を例示するブロック図である。
【図３】第１実施形態の画像識別レジシステムにより実行される処理の流れを例示するシーケンス図である。
【図４】第１実施形態における画像識別レジシステムのより具体的な構成を例示する図である。
【図５】第１実施形態における画像識別レジシステムのより具体的な構成を例示する図である。
【図６】第１実施形態における画像識別レジシステムのより具体的な構成を例示する図である。
【図７】表示データの出力位置のズレが生じる原因について説明するための図である。
【図８】表示データの出力位置がずれた様子を具体的に示す図である。
【図９】ズレの大きさを導出する関数やテーブルを生成する際に収集されたデータの一例を示す図である。
【図１０】第２実施形態における画像識別レジシステムの構成例を示す図である。
【図１１】高さ情報登録部が高さ情報を取得する流れを説明する図である。
【図１２】高さ情報記憶部に登録される情報の一例を示す図である。
【図１３】高さ情報登録部が高さ情報を取得する流れを説明する図である。
【図１４】第２実施形態における画像識別レジシステムのより具体的な構成を例示する図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
【００１４】
［第１実施形態］
〔システム構成〕
図１は、第１実施形態における画像識別レジシステム１の構成例を示す図である。なお、図１はあくまで例示であり、本発明に係る画像識別レジシステム１は図１に描かれる構成に限定されない。図１に示されるように、画像識別レジシステム１は、画像識別レジ装置１０、撮像装置３０、およびディスプレイ４０を含んで構成される。画像識別レジ装置１０は、図示しない配線等によって撮像装置３０、およびディスプレイ４０と接続されている。なお、図１中の点線は、画像識別レジ装置１０が、撮像装置３０およびディスプレイ４０と通信可能に接続されていることを模式的に示している。また、画像識別レジ装置１０には、会計処理を行うための会計処理用機器（図示せず）が接続されている。会計処理機器は、例えば、バーコードスキャナ、キャッシャ、ドロワ、自動釣銭機、レシートプリンタ、キーボードやマウスなどの入力機器、スピーカーなどの出力機器などである。
【００１５】
ディスプレイ４０は、店舗の業務（例えば、商品の精算業務など）で利用する様々な画像をその表示面上に表示する。なお、ディスプレイ４０は、指やタッチペンなどを用いたタッチ操作による入力を受け付ける機能を有するタッチパネルディスプレイであってもよい。ディスプレイ４０の表示面は、図示されるように、商品Ｐを載置する載置面としても利用される。
【００１６】
図１に示されるように、撮像装置３０は、ディスプレイ４０を撮像範囲に含むように配置されている。撮像装置３０は、ディスプレイ４０の表示面上に載置された商品Ｐを撮影して、商品Ｐが写っている画像を生成する。撮像装置３０により生成された画像は、画像識別レジ装置１０に送信される。
【００１７】
図１に例示されるように、本実施形態の画像識別レジ装置１０は、画像取得部１１０、商品識別部１２０、高さ情報取得部１３０を、および表示制御部１４０を備える。画像取得部１１０は、ディスプレイ４０上に載置された商品Ｐの画像を撮像装置３０から取得する。商品識別部１２０は、ディスプレイ上に載置された商品Ｐの画像を解析することにより、当該商品Ｐの識別結果および当該商品Ｐの位置の識別結果を取得する。例えば、商品識別部１２０は、既知の物体認識技術（例えば、パターンマッチングや機械学習により構築された識別器など）を用いて、撮像装置３０により生成された画像に写っている商品およびその位置を識別することができる。また、撮像装置３０により生成された画像に複数の商品が写っている場合であっても、商品識別部１２０は、既知の物体認識アルゴリズムを用いて、それらの商品をそれぞれ個別に識別することができる。高さ情報取得部１３０は、ディスプレイ上に載置された商品Ｐの高さを示す情報（以下、「高さ情報」と表記）を取得する。なお、高さ情報を取得する具体的な方法については後述する。表示制御部１４０は、商品識別部１２０により取得された商品Ｐの識別結果に基づく表示データをディスプレイ４０上に出力する。このとき、表示制御部１４０は、商品識別部１２０により取得された商品Ｐの位置の識別結果と、画像取得部１１０により取得された高さ情報とに基づいて決定されるディスプレイ４０上の位置（第１の位置）に、表示データを出力する。
【００１８】
ここで、「表示データ」は、商品識別部１２０による商品の識別結果を、店員や顧客に認識させるための情報を含む。具体的には、「表示データ」は、商品に関する情報（例：商品の名称、価格、または外観画像）や商品の位置を示す情報（例：商品の輪郭を基に形成される枠状の表示要素）などを含む。また、「表示データ」は、商品識別部１２０により識別された商品の決済処理を進めるためのユーザインタフェースを含む。具体的には、「表示データ」は、識別された商品を購入対象の商品として登録するユーザインタフェース、当該商品をキャンセルするためのユーザインタフェース、商品識別部１２０の識別結果を訂正するためのユーザインタフェースなどを含む。
【００１９】
〔ハードウエア構成例〕
画像識別レジシステム１は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、画像識別レジシステム１がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
【００２０】
図２は、画像識別レジシステム１のハードウエア構成を例示するブロック図である。
【００２１】
画像識別レジ装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。
【００２２】
バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。
【００２３】
プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。
【００２４】
メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。
【００２５】
ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は画像識別レジ装置１０の各機能（画像取得部１１０、商品識別部１２０、高さ情報取得部１３０、および表示制御部１４０など）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。
【００２６】
入出力インタフェース１０５０は、画像識別レジ装置１０と各種入出力デバイスとを接続するためのインタフェースである。図２では、画像識別レジ装置１０は、撮像装置３０およびディスプレイ４０と、入出力インタフェース１０５０を介して接続されている。撮像装置３０は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを搭載するカメラである。撮像装置３０は、図示されるように、ディスプレイ４０（およびディスプレイ４０上に載置される商品Ｐ）を撮像範囲に含むように設置される。撮像装置３０は、ディスプレイ４０上に載置された商品Ｐを撮影して、その商品Ｐが写る画像を生成する。ディスプレイ４０は、一般的な表示用のデバイスである。ディスプレイ４０は、タッチ機能付きのディスプレイ（タッチパネルディスプレイ）であってもよい。なお、ディスプレイ４０は、商品Ｐの載置面としても利用される。そのため、ディスプレイ４０の表示面としては、好ましくは、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、有機ＥＬ（Electro Luminescence）などの平面型ディスプレイが利用される。また、入出力インタフェース１０５０には、図示しない会計処理用機器が接続されている。会計処理用機器は、例えば、バーコードスキャナ、キャッシャ、ドロワ、自動釣銭機、レシートプリンタ、キーボードやマウスなどの入力機器、スピーカーなどの出力機器を含む。また、会計処理用機器として、店員専用または顧客専用のディスプレイ（ディスプレイ４０とは異なるディスプレイ）が、入出力インタフェース１０５０を介して画像識別レジ装置１０と接続されていてもよい。
【００２７】
ネットワークインタフェース１０６０は、画像識別レジ装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。
【００２８】
図２は、あくまで一例であり、画像識別レジシステム１のハードウエア構成は図２の例に制限されない。例えば、画像識別レジ装置１０は、ネットワークインタフェース１０６０を介して、撮像装置３０およびディスプレイ４０と接続されていてもよい。
【００２９】
〔処理の流れ〕
図３を用いて、本実施形態の画像識別レジシステム１により実行される処理の流れを説明する。図３は、第１実施形態の画像識別レジシステム１により実行される処理の流れを例示するシーケンス図である。
【００３０】
まず、画像取得部１１０は、撮像装置３０により生成された撮影画像を取得する（Ｓ１０２）。例えば、撮像装置３０は、イメージセンサのセンシング結果（撮影画像）を、画像取得部１１０に常時出力している。また、撮像装置３０は、画像取得部１１０の指示に応じて、画像を生成するように構成されていてもよい。そして、商品識別部１２０は、画像取得部１１０により取得された撮影画像の中に商品が存在するか否かを判定する（Ｓ１０４）。例えば、商品識別部１２０は、取得された撮影画像（または撮影画像から抽出される特徴量）を商品識別エンジン（図示せず）に入力して得られる出力結果に基づいて、撮影画像の中に商品が存在するか否かを判定することができる。その他にも、商品識別部１２０は、エッジ特徴量などを用いて撮影画像の中から物体の領域を検出した後、テンプレートマッチングなどを行って当該物体が商品か否かを判定してもよい。
【００３１】
撮影画像の中に商品が存在しない場合（Ｓ１０４：ＮＯ）、商品識別部１２０は、撮像装置３０により生成される新たな撮影画像を取得し、その新たな撮影画像の中に商品が存在する否かを判定する。一方、撮影画像の中に商品が存在する場合（Ｓ１０４：ＹＥＳ）、商品識別部１２０は、商品識別エンジンから、撮影画像内の商品の識別結果と、当該商品の位置の識別結果を取得することができる（Ｓ１０６）。
【００３２】
また、撮影画像の中に商品が存在する場合（Ｓ１０４：ＹＥＳ）、高さ情報取得部１３０は、ディスプレイ４０上に載置された商品Ｐの高さ情報を取得する（Ｓ１０８）。以下、高さ情報取得部１３０が商品の高さ情報を取得する方法についての具体的な例をいくつか挙げる。
【００３３】
＜高さ情報を取得する方法の具体例１＞
図４は、第１実施形態における画像識別レジシステム１のより具体的な構成を例示する図である。図４の構成では、撮像装置３０は、撮像面から被写体のまでの距離（深度）を示す深度情報を含む画像を生成することができる。具体的には、撮像装置３０は、デプスカメラやステレオカメラなどである。この場合、高さ情報取得部１３０は、撮像装置３０により生成された画像に含まれる深度情報を用いて、ディスプレイ４０上に載置された商品の高さを算出することができる。具体的には、高さ情報取得部１３０は、ディスプレイ４０の表示面から撮像装置３０の撮像面までの高さから、ディスプレイ４０上に載置された商品Ｐに該当する画像領域における深度を差し引くことによって、商品Ｐの高さを算出することができる。また、撮像装置３０が一般的な単眼カメラの場合、高さ情報取得部１３０は、被写体までの焦点距離（商品の上面部までの距離）を取得して、ディスプレイ４０の表示面から撮像装置３０の撮像面までの高さから差し引くことにより、商品の高さを算出できる。なお、ディスプレイ４０の表示面から撮像装置３０の撮像面までの高さは、例えば、高さ情報取得部１３０のプログラムモジュール内で既定の値として定義されている。
【００３４】
＜高さ情報を取得する方法の具体例２＞
図５は、第１実施形態における画像識別レジシステム１のより具体的な構成を例示する図である。図５の構成では、撮像装置３０とは別の撮像装置３５が設けられている。ここでは、撮像装置３０を「第１の撮像装置」と、また、撮像装置３５を「第２の撮像装置」と表記する。第２の撮像装置３５は、ディスプレイ４０上に載置された商品Ｐを、当該ディスプレイ４０の表示面に対して平行な方向から撮影する。このようにすることで、第２の撮像装置３５は、商品Ｐの側面部が写る画像（以下、「側面画像」と表記）を生成することができる。本具体例において、高さ情報取得部１３０は、第２の撮像装置３５により生成された、商品Ｐの側面画像を取得する。そして、高さ情報取得部１３０は、商品Ｐの側面画像を解析することによって、商品Ｐの高さ（ディスプレイ４０の表示面から商品Ｐの上面部までの高さ）を算出することができる。
【００３５】
＜高さ情報を取得する方法の具体例３＞
図６は、第１実施形態における画像識別レジシステム１のより具体的な構成を例示する図である。図６の構成では、画像識別レジ装置１０は、高さ情報記憶部１３２を更に備えている。高さ情報記憶部１３２は、店舗で取り扱われていた商品それぞれの高さ情報を記憶している。本具体例において、高さ情報取得部１３０は、まず、商品識別部１２０から商品の識別結果を受け取る。そして、高さ情報取得部１３０は、商品識別部１２０から受け取った商品の識別結果を用いて、高さ情報記憶部１３２に記憶されている商品別の高さ情報の中から、当該商品の識別結果に対応する高さ情報を取得することができる。
【００３６】
図３に戻り、表示制御部１４０は、商品識別部１２０により取得された商品の識別結果に基づいて、ディスプレイ４０上に出力する表示データを生成する（Ｓ１１０）。ここで、表示制御部１４０は、商品の各種情報（商品の名称、商品の価格、商品の外観画像、値引き等の特典の有無など）を記憶するテーブル（図示せず）などから、商品識別部１２０により識別された商品の情報を取得し、表示データに含めることができる。また、表示制御部１４０は、商品識別部１２０により商品が識別されたことに応じて、その商品の決済処理を行うための各種ユーザインタフェースの描画情報を表示データに含めることができる。
【００３７】
ここで、表示制御部１４０は、ディスプレイ４０が商品の位置に合わせて表示データを出力できるように、当該表示データを出力する位置をディスプレイ４０に正しく指示する必要がある。そこで、表示制御部１４０は、商品の位置の識別結果（撮像装置３０により生成された画像での商品の位置）を、ディスプレイ４０上での位置に変換する。なお、表示制御部１４０は、「撮像装置３０により生成された画像での位置（座標）」を「ディスプレイ４０の表示面（商品Ｐの載置面）での位置（座標）」に変換する変換ルールを予め保持している。そして、表示制御部１４０は、画像内の商品の位置（座標）を、当該変換ルールに基づいてディスプレイ４０の表示面の位置（座標）に変換することができる。
【００３８】
ところが、具体的には以下に述べるような理由により、画像に基づいて識別された商品Ｐの位置が、実際の商品Ｐの位置とずれる可能性がある。
【００３９】
図７は、表示データの出力位置のズレが生じる原因について説明するための図である。本図において、符号ＰＡおよび符号ＰＢは、それぞれ、ディスプレイ４０上に載置された商品を示している。具体的には、商品ＰＡは撮像装置３０の正面に位置しており、商品ＰＢは撮像装置３０の正面から右側にずれた場所に位置している。また、本図において、符号ＤＡおよび符号ＤＢは、それぞれ、ディスプレイ４０上に載置された商品の識別結果に基づいて出される標示データを示している。
【００４０】
本図の場合において、撮像装置３０により生成される画像には、図中の点線で示す部分が写り込むことになる。つまり、商品識別部１２０は、画像に写り込んだ商品の部分（主に商品の上面部）の位置に基づいてその商品の位置を識別することになる。ここで、撮像装置３０により生成される画像では、図中の点線で示す部分は、図中で撮像装置３０を基準として延伸する一点鎖線に沿って２次元に落とし込まれる。そのため、撮像装置３０の正面からずれた位置に商品が位置している場合には、画像に基づく商品の位置の識別結果にその商品の高さに応じた誤差が含まれてしまう。本図の例で言えば、商品ＰＡは撮像装置３０の正面に位置しているため、実際の位置とのズレは生じない。よって、ディスプレイ４０は、画像に基づいて識別された商品の位置に従って、商品ＰＡの実際の位置に合わせて表示データＤＡを出力することができる。一方で、商品ＰＢは撮像装置３０の正面から右側にずれた場所に位置している。そのため、画像に基づいて識別される商品ＰＢの位置は、実際の位置よりも右側にずれた位置となる。よって、ディスプレイ４０は、画像に基づいて識別された商品の位置に従った場合には、商品ＰＢの実際の位置よりも右側にずれた位置に表示データＤＢを出力してしまうことになる。
【００４１】
なお、図７では、説明を簡略化するため、断面（１次元）での例を挙げたが、実際には、図７で説明したようなズレは平面（２次元）で生じることになる（例：図８）。図８は、表示データの出力位置がずれた様子を具体的に示す図である。図８の例では、商品Ｐと上部に見切れている撮像装置との位置関係、および、商品Ｐの高さによって、表示データＤがずれて出力されている様子が描かれている。
【００４２】
上述のように、商品Ｐと撮像装置３０との位置関係および商品Ｐの高さによって、画像に基づいて識別された商品Ｐの位置が、実際の商品Ｐの位置とずれる可能性がある。そこで、表示制御部１４０は、このようなズレを相殺するため、商品識別部１２０により取得された商品の位置の識別結果と、高さ情報取得部１３０により取得された高さ情報とに基づいて、表示データの出力位置（第１の位置）を算出する（Ｓ１１２）。一例として、表示制御部１４０は、以下のように動作する。まず、表示制御部１４０は、画像に基づいて識別された商品Ｐの位置が、撮像装置３０を基準とした位置関係および商品の高さによってどの程度の大きさのズレを含んでいるかを算出する。このとき、表示制御部１４０は、表示データＤの表示位置と商品の高さの組み合わせからズレの大きさ（実際の商品の位置までのズレの大きさ）を導出可能な関数やテーブルを用いることができる。なお、この関数やテーブルは、例えば、ディスプレイ４０上の複数のサンプル点でのズレの大きさを、様々な高さの商品を用いて実際に計測した結果に基づいて生成することができる。この場合、例えば、図９に示されるようなデータが収集される。図９は、ズレの大きさを導出する関数やテーブルを生成する際に収集されたデータの一例を示す。そして、図９に示されるようなデータに基づいて、表示データの位置（画像に基づいて識別された商品の位置）および商品の高さの組み合わせに応じてズレの大きさを導出可能な関数やテーブルが生成され、ストレージデバイス１０４０に記憶される。そして、表示制御部１４０は、商品の位置の識別結果に、上記で算出したズレの大きさを打ち消す方向の値を加えることによって、表示データの出力位置（第１の位置）を算出する。
【００４３】
表示制御部１４０は、Ｓ１１０の処理で生成した表示データと、Ｓ１１２の処理で算出した当該表示データの出力位置とを、ディスプレイ４０に送信する（Ｓ１１４）。そして、ディスプレイ４０は、表示制御部１４０から取得した出力位置に対応する位置に、表示制御部１４０から取得した表示データを出力させる（Ｓ１１６）。
【００４４】
以上、本実施形態によれば、商品の識別結果に基づく表示データが、当該商品の位置からずれてディスプレイ４０上に出力されることを防止できる。また、商品の識別結果に基づく表示データが商品の位置に合わせて正しく表示されることにより、ディスプレイ４０上に表示される情報の視認性が向上する。
【００４５】
［第２実施形態］
第１実施形態において、高さ情報取得部１３０が、高さ情報記憶部１３２に記憶されている商品別の高さ情報の中から、商品識別部１２０により識別された商品に対応する高さ情報を取得する構成（例：図６）について述べた。本実施形態では、高さ情報記憶部１３２を構築する構成を更に備える画像識別レジシステム１について説明する。
【００４６】
〔システム構成〕
図１０は、第２実施形態における画像識別レジシステム１の構成例を示す図である。なお、図１０はあくまで例示であり、本発明に係る画像識別レジシステム１は図１０に描かれる構成に限定されない。図１０に示されるように、本実施形態の画像識別レジシステム１は、図６に示される構成に加えて、高さ情報登録部１５０を更に有する。
【００４７】
高さ情報登録部１５０は、商品別の高さ情報を取得し、取得した商品別の高さ情報を高さ情報記憶部１３２に登録する。以下、高さ情報登録部１５０が高さ情報を登録する方法についての具体的な例をいくつか挙げる。
【００４８】
＜高さ情報を登録する方法の具体例１＞
図１１は、高さ情報登録部１５０が高さ情報を取得する流れを説明する図である。図１１の例では、表示制御部１４０は、商品識別部１２０により識別された商品の位置に基づいて決定されるディスプレイ４０上の位置（第２の位置）に、表示データＤを出力している。なお、この場合において、表示データＤは、商品Ｐの載置位置と商品Ｐの高さによって、商品Ｐの実際の位置からずれた場所に出力されてしまっている。
【００４９】
そこで、ユーザ（店員等）は、指やタッチペンなどの指示オブジェクトを利用して、表示データＤを移動させる操作（例えばスワイプ操作）を行い、ディスプレイ４０上の商品の実際の位置を指定する。つまり、ユーザは、第２の位置に表示された表示データＤを正しい位置（第３の位置）に配置し直すための位置指定入力を行う。高さ情報登録部１５０は、このようにユーザにより実行された位置指定入力を受け付ける。ディスプレイ４０がタッチパネル機能を備えている場合には、高さ情報登録部１５０、指示オブジェクトによるタッチ操作に応じて生成される位置指定入力（例えば、タッチ操作の始点と終点を示す入力）を受け付ける。なお、ディスプレイ４０がタッチパネル機能を有していない場合は、高さ情報登録部１５０は、例えば次のように動作する。まず、高さ情報登録部１５０は、撮像装置３０により生成される画像を解析して指示オブジェクト（例えば手）の動きを追跡する。そして、高さ情報登録部１５０は、画像解析の結果として得られた指示オブジェクトの動き（例えば、ある基準点の始点と終点の位置変化）を、位置指定入力として受け付ける。また、表示制御部１４０は、ディスプレイ４０上で実行された位置指定入力に応じて、表示データＤの出力位置を変更する指示をディスプレイ４０に送信することができる。
【００５０】
そして、高さ情報登録部１５０は、表示データＤの表示位置と商品の高さの組み合わせからズレの大きさ（実際の商品の位置までのズレの大きさ）を導出可能な関数やテーブルから、商品の高さを逆算する。ここで、表示データＤの表示位置（第２の位置）と位置指定入力により指定された位置（第３の位置）との差分は「ズレの大きさ」に相当する。高さ情報登録部１５０は、表示データＤの表示位置（第２の位置）と位置指定入力により指定された位置（第３の位置）との差分および表示データＤの表示位置（第２の位置）をパラメータとして、上述の関数やテーブルから商品の高さを逆算する。そして、高さ情報登録部１５０は、算出した商品の高さを、高さ情報記憶部１３２に登録する。このとき、高さ情報登録部１５０は、算出した高さ情報に対応する商品の情報（商品名や商品識別情報）を受け取り、高さ情報と関連付けて登録する（例：図１２）。図１２は、高さ情報記憶部に登録される情報の一例を示す図である。図１２に示されるような情報によれば、高さ情報取得部１３０は、商品識別部１２０の商品の識別結果に基づいて、その商品の高さ情報を取得できる。
【００５１】
＜高さ情報を登録する方法の具体例２＞
図１３は、高さ情報登録部１５０が高さ情報を取得する流れを説明する図である。図１３の例では、図１１の例と同様に、表示制御部１４０は、商品識別部１２０により識別された商品の位置に基づいて決定されるディスプレイ４０上の位置（第２の位置）に、表示データＤを出力している。なお、この場合において、表示データＤは、商品Ｐの載置位置と商品Ｐの高さによって、商品Ｐの実際の位置からずれた場所に出力されてしまっている。
【００５２】
本具体例では、ユーザ（店員等）は、図示されるように、商品Ｐを表示データＤの出力位置に合わせて移動させる。このとき、高さ情報登録部１５０は、商品Ｐの移動量を取得する。例えば、高さ情報登録部１５０は、撮像装置３０により生成された画像を解析することによって商品Ｐの動きを追跡する。そして、高さ情報登録部１５０は、画像解析の結果として得られた商品Ｐの動き（例えば、商品Ｐの基準点の始点と終点の位置変化）に基づいて、商品Ｐの移動量を取得することができる。
【００５３】
そして、高さ情報登録部１５０は、表示データＤの表示位置と商品の高さの組み合わせからズレの大きさ（実際の商品の位置までのズレの大きさ）を導出可能な関数やテーブルから、商品の高さを逆算する。ここで、高さ情報登録部１５０が取得した商品Ｐの移動量は「ズレの大きさ」に相当する。高さ情報登録部１５０は、この商品Ｐの移動量および表示データＤの表示位置（第２の位置）をパラメータとして、上述の関数やテーブルから商品の高さを逆算する。そして、高さ情報登録部１５０は、算出した商品の高さを、高さ情報記憶部１３２に登録する。このとき、高さ情報登録部１５０は、算出した高さ情報に対応する商品の情報（商品名や商品識別情報）を受け取り、高さ情報と関連付けて登録する（例：図１２）。図１２に示されるような情報によれば、高さ情報取得部１３０は、商品識別部１２０の商品の識別結果に基づいて、その商品の高さ情報を取得できる。
【００５４】
＜高さ情報を取得する方法の具体例２＞
図１４は、第２実施形態における画像識別レジシステム１のより具体的な構成を例示する図である。図１４の構成では、撮像装置３０とは別の撮像装置３５が設けられている。ここでは、撮像装置３０を「第１の撮像装置」と、また、撮像装置３５を「第２の撮像装置」と表記する。第２の撮像装置３５は、ディスプレイ４０上に載置された商品Ｐを、当該ディスプレイ４０の表示面に対して平行な方向から撮影する。このようにすることで、第２の撮像装置３５は、商品Ｐの側面部が写る画像（以下、「側面画像」と表記）を生成することができる。本具体例において、高さ情報登録部１５０は、第２の撮像装置３５により生成された、商品Ｐの側面画像を取得する。そして、高さ情報登録部１５０は、商品Ｐの側面画像を解析することによって、商品Ｐの高さ（ディスプレイ４０の表示面から商品Ｐの上面部までの高さ）を算出することができる。そして、高さ情報登録部１５０は、算出した商品の高さを、高さ情報記憶部１３２に登録する。このとき、高さ情報登録部１５０は、算出した高さ情報に対応する商品の情報（商品名や商品識別情報）を受け取り、高さ情報と関連付けて登録する（例：図１２）。図１２に示されるような情報によれば、高さ情報取得部１３０は、商品識別部１２０の商品の識別結果に基づいて、その商品の高さ情報を取得できる。
【００５５】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
【００５６】
例えば、本発明は、購入商品の登録から代金の支払いまでの操作を店員用の装置で行う一般的な方式のみならず、所謂セミセルフ方式やセルフ方式にも適用できる。セミセルフ方式では、商品登録用のレジ装置と代金支払い用の精算装置が別々に設けられている。そして、この商品登録用のレジ装置に、上述の画像識別レジ装置１０の機能を持たせることができる。また、セルフ方式では、購入商品の登録から代金の支払いまでを顧客が操作する装置で行う。そして、この顧客が操作する装置に、上述の画像識別レジ装置１０の機能を持たせることができる。
【００５７】
また、上述の説明で用いたシーケンス図では、複数の工程（処理）が順番に記載されているが、当該シーケンス図に記載される複数の工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
【００５８】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．
ディスプレイ上に載置された商品の画像を取得する画像取得手段と、
前記商品の画像を解析することにより、前記商品の識別結果および前記商品の位置の識別結果を取得する商品識別手段と、
前記商品の高さを示す高さ情報を取得する高さ情報取得手段と、
前記商品の位置の識別結果と前記高さ情報とに基づいて決定される前記ディスプレイ上の第１の位置に、前記商品の識別結果に基づく表示データを出力する表示制御手段と、
を備える画像識別レジ装置。
２．
前記高さ情報取得手段は、前記画像の中に写っている前記商品の深度を示す深度情報を用いて、前記商品の高さを算出する、
１．に記載の画像識別レジ装置。
３．
前記高さ情報取得手段は、
前記商品を前記ディスプレイの表示面に対して平行な方向から撮影して得られる、前記商品の側面画像を取得し、
前記商品の側面画像を解析することにより、前記商品の高さを算出する、
１．に記載の画像識別レジ装置。
４．
前記高さ情報取得手段は、商品別の高さ情報を記憶する記憶装置を参照し、前記商品別の高さ情報の中から前記商品の識別結果に対応する高さ情報を取得する、
１．に記載の画像識別レジ装置。
５．
前記商品別の高さ情報を前記記憶装置に登録する高さ情報登録手段を更に備える、
４．に記載の画像識別レジ装置。
６．
前記表示制御手段は、前記商品の位置の識別結果に基づいて決定される、前記ディスプレイ上の第２の位置に前記表示データを出力し、
前記高さ情報登録手段は、
前記第２の位置とは異なる前記ディスプレイ上の第３の位置を指定する入力を受け付け、
前記第２の位置と前記第３の位置との差分および前記第２の位置に基づいて、前記商品の高さを算出する、
５．に記載の画像識別レジ装置。
７．
前記第３の位置は、前記ディスプレイ上に載置された商品の実際の位置である、
６．に記載の画像識別レジ装置。
８．
前記表示制御手段は、前記商品の位置の識別結果に基づいて決定される、前記ディスプレイ上の第２の位置に前記表示データを出力し、
前記高さ情報登録手段は、
前記商品を前記第２の位置に合わせて移動させたときの移動量を取得し、
取得した前記移動量および前記第２の位置に基づいて、前記商品の高さを算出する、
５．に記載の画像識別レジ装置。
９．
前記高さ情報登録手段は、
前記商品を前記ディスプレイの表示面に対して平行な方向から撮影して得られる、前記商品の側面画像を取得し、
前記商品の側面画像を解析することにより、前記商品の高さを算出する、
５．に記載の画像識別レジ装置。
１０．
表示面が商品の載置面として利用されるディスプレイと、
前記ディスプレイ上に載置された商品を撮影し、前記商品の画像を生成する第１の撮像装置と、
前記商品の画像を取得する画像取得手段と、
前記商品の画像を解析することにより、前記商品の識別結果および前記商品の位置の識別結果を取得する商品識別手段と、
前記商品の高さを示す高さ情報を取得する高さ情報取得手段と、
前記商品の位置の識別結果と前記高さ情報とに基づいて決定される前記ディスプレイ上の第１の位置に、前記商品の識別結果に基づく表示データを出力する表示制御手段と、
を備える画像識別レジシステム。
１１．
前記ディスプレイ上に載置された商品を前記ディスプレイの表示面に対して平行な方向から撮影し、前記商品の側面画像を生成する第２の撮像装置を更に備え、
前記高さ情報取得手段は、前記商品の側面画像を解析することにより、前記商品の高さを算出する、
１０．に記載の画像識別レジシステム。
１２．
前記高さ情報取得手段は、前記画像の中に写っている前記商品の深度を示す深度情報を用いて、前記商品の高さを算出する、
１０．に記載の画像識別レジシステム。
１３．
前記高さ情報取得手段は、商品別の高さ情報を記憶する記憶装置を参照し、前記商品別の高さ情報の中から前記商品の識別結果に対応する高さ情報を取得する、
１０．に記載の画像識別レジシステム。
１４．
前記商品別の高さ情報を前記記憶装置に登録する高さ情報登録手段を更に備える、
１３．に記載の画像識別レジシステム。
１５．
前記表示制御手段は、前記商品の位置の識別結果に基づいて決定される、前記ディスプレイ上の第２の位置に前記表示データを出力し、
前記高さ情報登録手段は、
前記第２の位置とは異なる前記ディスプレイ上の第３の位置を指定する入力を受け付け、
前記第２の位置と前記第３の位置との差分および前記第２の位置に基づいて、前記商品の高さを算出する、
１４．に記載の画像識別レジシステム。
１６．
前記第３の位置は、前記ディスプレイ上に載置された商品の実際の位置である、
１５．に記載の画像識別レジシステム。
１７．
前記表示制御手段は、前記商品の位置の識別結果に基づいて決定される、前記ディスプレイ上の第２の位置に前記表示データを出力し、
前記高さ情報登録手段は、
前記商品を前記第２の位置に合わせて移動させたときの移動量を取得し、
取得した前記移動量および前記第２の位置に基づいて、前記商品の高さを算出する、
１４．に記載の画像識別レジシステム。
１８．
前記高さ情報登録手段は、
前記商品を前記ディスプレイの表示面に対して平行な方向から撮影して得られる、前記商品の側面画像を取得し、
前記商品の側面画像を解析することにより、前記商品の高さを算出する、
１４．に記載の画像識別レジシステム。
１９．
コンピュータが、
ディスプレイ上に載置された商品の画像を取得し、
前記商品の画像を解析することにより、前記商品の識別結果および前記商品の位置の識別結果を取得し、
前記商品の高さを示す高さ情報を取得し、
前記商品の位置の識別結果と前記高さ情報とに基づいて決定される前記ディスプレイ上の第１の位置に、前記商品の識別結果に基づく表示データを出力する、
ことを含む商品情報表示方法。
２０．
前記コンピュータが、
前記画像の中に写っている前記商品の深度を示す深度情報を用いて、前記商品の高さを算出する、
ことを含む１９．に記載の商品情報表示方法。
２１．
前記コンピュータが、
前記商品を前記ディスプレイの表示面に対して平行な方向から撮影して得られる、前記商品の側面画像を取得し、
前記商品の側面画像を解析することにより、前記商品の高さを算出する、
ことを含む１９．に記載の商品情報表示方法。
２２．
前記コンピュータが、
商品別の高さ情報を記憶する記憶装置を参照し、前記商品別の高さ情報の中から前記商品の識別結果に対応する高さ情報を取得する、
ことを含む１９．に記載の商品情報表示方法。
２３．
前記コンピュータが、
前記商品別の高さ情報を前記記憶装置に登録する、
ことを含む２２．に記載の商品情報表示方法。
２４．
前記コンピュータが、
前記商品の位置の識別結果に基づいて決定される、前記ディスプレイ上の第２の位置に前記表示データを出力し、
前記第２の位置とは異なる前記ディスプレイ上の第３の位置を指定する入力を受け付け、
前記第２の位置と前記第３の位置との差分および前記第２の位置に基づいて、前記商品の高さを算出する、
ことを含む２３．に記載の商品情報表示方法。
２５．
前記第３の位置は、前記ディスプレイ上に載置された商品の実際の位置である、
２４．に記載の商品情報表示方法。
２６．
前記コンピュータが、
前記商品の位置の識別結果に基づいて決定される、前記ディスプレイ上の第２の位置に前記表示データを出力し、
前記商品を前記第２の位置に合わせて移動させたときの移動量を取得し、
取得した前記移動量および前記第２の位置に基づいて、前記商品の高さを算出する、
ことを含む２３．に記載の商品情報表示方法。
２７．
前記コンピュータが、
前記商品を前記ディスプレイの表示面に対して平行な方向から撮影して得られる、前記商品の側面画像を取得し、
前記商品の側面画像を解析することにより、前記商品の高さを算出する、
ことを含む２３．に記載の商品情報表示方法。
２８．
コンピュータに、１９．から２７．のいずれか１つに記載の商品情報表示方法を実行させるプログラム。
【図１】
0006981538.tif 000002
【図２】
0006981538.tif 000003
【図３】
0006981538.tif 000004
【図４】
0006981538.tif 000005
【図５】
0006981538.tif 000006
【図６】
0006981538.tif 000007
【図７】
0006981538.tif 000008
【図８】
0006981538.tif 000009
【図９】
0006981538.tif 000010
【図１０】
0006981538.tif 000011
【図１１】
0006981538.tif 000012
【図１２】
0006981538.tif 000013
【図１３】
0006981538.tif 000014
【図１４】
0006981538.tif 000015