(57)【要約】  情報処理装置（１００）は、センサ情報に基づいて物体が有する識別シンボルを検出するシンボル検出手段（１０１）と、商品又は商品に対応する商品シンボルと、当該検出された識別シンボルを有する物体との位置関係に応じて、当該検出された識別シンボルを用いて得られる識別情報と当該商品の情報とを対応付ける対応付け手段（１０２）と、を有する。
2015159601.tif 000002
【特許請求の範囲】
【請求項１】
センサ情報に基づいて物体が有する識別シンボルを検出するシンボル検出手段と、
商品又は商品に対応する商品シンボルと、前記検出された識別シンボルを有する前記物体との位置関係に応じて、前記検出された識別シンボルを用いて得られる識別情報と当該商品の情報とを対応付ける対応付け手段と、
を備える情報処理装置。
【請求項２】
識別情報と商品情報との対応付けを保持する保持手段と、
識別情報を取得し、前記保持手段において、取得された識別情報と対応付けられている商品情報を特定し、特定された商品情報を含む購入対象情報を出力する第一出力手段と、
を更に備える請求項１に記載の情報処理装置。
【請求項３】
識別情報を取得し、前記保持手段において、取得された識別情報と対応付けられている電子的な商品についての商品情報を特定し、特定された商品情報と共に当該電子的な商品をユーザにダウンロードさせるためのサイト情報を含む商品入手情報を出力する第二出力手段、
を更に備える請求項２に記載の情報処理装置。
【請求項４】
前記シンボル検出手段は、前記物体が前記識別シンボルに加えて更に有するキャンセルを表す操作シンボルを更に検出し、
前記対応付け手段は、前記操作シンボルの検出位置又は前記操作シンボルを有する物体の位置と所定位置関係にある商品又は商品に対応する商品シンボルを特定し、特定された商品の情報又は特定された商品シンボルに対応する商品の情報と、前記検出された識別シンボルを用いて得られる識別情報との既存の対応付けを解除する、
請求項１から３のいずれか１項に記載の情報処理装置。
【請求項５】
イメージセンサから得られる画像内での商品の位置を特定する商品位置特定手段と、
前記イメージセンサから得られる画像を前記センサ情報として用いて、当該画像内で前記物体を認識し、当該画像内における、認識された物体の位置を特定する認識手段と、
を更に備え、
前記シンボル検出手段は、前記イメージセンサから得られる画像を前記センサ情報として用いて、当該画像から前記認識された物体が有する識別シンボルを検出し、
前記対応付け手段は、前記特定された商品の位置と前記特定された前記物体の位置との関係に応じて、前記識別情報と前記商品情報とを対応付ける、
請求項１から４のいずれか１項に記載の情報処理装置。
【請求項６】
前記商品シンボルを投影装置に投射させる投影処理手段と、
三次元センサから得られる前記センサ情報に基づいて、前記物体を認識し、認識された物体の位置を特定する認識手段と、
を更に備え、
前記シンボル検出手段は、前記三次元センサから得られる前記センサ情報を用いて、前記識別シンボルを検出し、
前記対応付け手段は、前記物体の位置と前記商品シンボルの位置との関係に応じて、前記識別情報と前記商品情報とを対応付ける、
請求項１から４のいずれか１項に記載の情報処理装置。
【請求項７】
三次元センサから得られるセンサ情報に基づいてユーザの特定部位を認識し、認識された特定部位の位置情報を取得するユーザ位置取得手段と、
前記商品シンボルの位置情報及び前記特定部位の位置情報を用いて、前記特定部位を用いた前記商品シンボルに対するユーザ操作を検出する操作検出手段と、
前記検出されたユーザ操作に応じて、前記商品シンボルの位置を変更する位置制御手段と、
を更に備え、
前記対応付け手段は、前記物体の位置と前記ユーザ操作に応じて変更された前記商品シンボルの位置との関係に応じて、前記識別情報と前記商品情報とを対応付ける、
請求項６に記載の情報処理装置。
【請求項８】
少なくとも１つのコンピュータにより実行される購買支援方法において、
センサ情報に基づいて物体が有する識別シンボルを検出し、
商品又は商品に対応する商品シンボルと、前記検出された識別シンボルを有する前記物体との位置関係に応じて、前記検出された識別シンボルを用いて得られる識別情報と当該商品の情報とを対応付ける、
ことを含む購買支援方法。
【請求項９】
請求項８に記載の購買支援方法を少なくとも１つのコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、商品の購買等支援技術に関する。
【背景技術】
【０００２】
現在、ネットショッピングやテレビショッピング、実店舗でのショッピング等のように、様々な購買方法が提供されている。このような各購買方法において、顧客の購買行為を支援する様々な工夫が施されている。例えば、多くのネットショッピングサイトでは、電子的なショッピングカートが提供され、顧客は、とりあえず気に入った商品をそのカートに入れておくことができる。これにより、顧客は、注文を確定する際に、そのカートに入れられている商品群の中から最終的に購入を希望する商品を取捨選択することができる。【０００３】
下記特許文献１では、スーパーマーケットや量販店等の実店舗において、顧客が購入しようとする商品を、買物カゴなどの中に入れて店舗内を持ち歩かなくてもすむようにする購買手法が提案されている。具体的には、ＩＣタグが商品毎に配置され、顧客は、ハンディターミナルにその商品のＩＣタグから所望の商品の代金データと商品コードデータとを読み取らせ、レジでそのハンディターミナルを店員に渡す。店員は、ハンディターミナルに表示される商品情報及び合計代金により会計処理及び商品の手配をする。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−８１３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述のいずれの購買方法においても、顧客には或る程度の労力が必要となる。例えば、上記の提案手法では、顧客は、店舗内でハンディターミナルを持ち歩き、かつ、ハンディターミナルに商品のＩＣタグを読み取らせる必要がある。特に、電子機器の操作に慣れていない顧客にとって、このような行為は負担である。また、ネットショッピングでは、顧客は、インターネットに接続可能なユーザ端末（ＰＣ（Personal Computer）、スマートデバイス等）及び通信環境を準備し、更に、ユーザ端末を操作して特定のＥＣ（Electronic Commerce）サイトにアクセスしなければならない。【０００６】
本発明は、このような事情に鑑みてなされたものであり、購買等支援技術を提供することにある。購買等支援とは、購買行為の支援のみでなく、購買前及び購買後の支援も含む。
【課題を解決するための手段】
【０００７】
本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。【０００８】
第一の側面は、情報処理装置に関する。第一の側面に係る情報処理装置は、センサ情報に基づいて物体が有する識別シンボルを検出するシンボル検出手段と、商品又は商品に対応する商品シンボルと、当該検出された識別シンボルを有する物体との位置関係に応じて、当該検出された識別シンボルを用いて得られる識別情報と当該商品の情報とを対応付ける対応付け手段と、を有する。【０００９】
第二の側面は、少なくとも１つのコンピュータにより実行される購買支援方法に関する。第二の側面に係る購買支援方法は、センサ情報に基づいて物体が有する識別シンボルを検出し、商品又は商品に対応する商品シンボルと、当該検出された識別シンボルを有する物体との位置関係に応じて、当該検出された識別シンボルを用いて得られる識別情報と当該商品の情報とを対応付ける、ことを含む。【００１０】
なお、本発明の他の側面としては、上記第二の側面の方法を少なくとも１つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。
【発明の効果】
【００１１】
上記各側面によれば、購買等支援技術を提供することができる。
【図面の簡単な説明】
【００１２】
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。【００１３】
【図１】第一実施形態における購買支援システムのシステム構成を概念的に示す図である。
【図２】第一実施形態における購買支援サーバの処理構成例を概念的に示す図である。
【図３】保持部に保持される対応付け情報の例を示す図である。
【図４】第一実施形態における購買支援サーバの購入候補設定時の動作例を示すフローチャートである。
【図５】可搬物の具体例を示す図である。
【図６】商品陳列棚の具体例を示す図である。
【図７】第一実施形態における購買支援サーバの会計時の動作例を示すフローチャートである。
【図８】第二実施形態における購買支援システムのシステム構成を概念的に示す図である。
【図９】第二実施形態における購買支援サーバの処理構成例を概念的に示す図である。
【図１０】第二実施形態における購買支援サーバの購入候補設定時の動作例を示すフローチャートである。
【図１１】第二実施形態における購買支援サーバの会計時の動作例を示すフローチャートである。
【図１２】第二実施形態の実施シーンの例を概念的に示す図である。
【図１３】第三実施形態における情報処理装置の処理構成例を概念的に示す図である。
【図１４】第三実施形態における情報処理装置の動作例を示すフローチャートである。
【図１５】インタラクティブプロジェクション装置（ＩＰ装置）の構成例を示す図である。
【図１６】本実施例の実施シーンを概念的に示す図である。
【図１７】メニュー画面の例を示す図である。
【図１８】電子書籍のリスト画面の例を示す図である。
【図１９】書籍画像の例を示す図である。
【図２０】書籍画像（商品シンボル）に対するユーザ操作の例を示す図である。
【図２１】商品投入後の投影画像の例を示す図である。
【図２２】レジ会計後のチケット発行を概念的に示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について説明する。なお、以下に挙げる各実施形態はそれぞれ例示であり、本発明は以下の各実施形態の構成に限定されない。
【００１５】
［第一実施形態］
以下、第一実施形態における購買支援システム及び購買支援方法について複数の図面を用いて説明する。第一実施形態は、顧客（ユーザ）が実商品（物理的に存在する実際の商品そのもの）を見ながら、実商品を購入する行為を支援する。
【００１６】
〔システム構成〕
図１は、第一実施形態における購買支援システム１のシステム構成を概念的に示す図である。購買支援システム１は、以降、支援システム１と略称する場合がある。図１に示されるように、支援システム１は、購買支援サーバ（以降、支援サーバと略称する場合がある）２、第一イメージセンサ３、購買支援クライアント（以降、支援クライアントと略称する場合がある）４、ＰＯＳ（Point Of Sale system）システム５、第二イメージセンサ６等を有する。
【００１７】
支援サーバ２は、いわゆるコンピュータであり、図１に示されるように、バスで相互に接続される、ＣＰＵ（Central Processing Unit）１１、メモリ１２、通信ユニット１３等を有する。メモリ１２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ハードディスク等である。通信ユニット１３は、他のコンピュータとの通信網９を介した通信や、他の機器との信号のやりとり等を行う。通信ユニット１３には、可搬型記録媒体等も接続され得る。支援サーバ２は、図１に図示しないハードウェア要素を含んでもよく、支援サーバ２のハードウェア構成は制限されない。
【００１８】
支援サーバ２は、通信網９を介して、相互に通信可能に、支援クライアント４及びＰＯＳシステム５と接続される。通信網９は、Ｗｉ−Ｆｉ（Wireless Fidelity）回線網、インターネット通信網、専用回線網、ＬＡＮ（Local Area Network）等の組み合わせにより形成される。但し、本実施形態では、支援サーバ２、支援クライアント４及びＰＯＳシステム５の間の通信形態は制限されない。
【００１９】
第一イメージセンサ３は、ユーザにより持ち運び可能な物体（可搬物と表記される）及びその可搬物が有するユーザ識別シンボルを認識可能な画像を取得する可視光カメラである。当該可搬物及びユーザ識別シンボルについての説明は後述する。第一イメージセンサ３は、少なくとも１つの商品を撮影可能な位置及び向きに設置される。例えば、第一イメージセンサ３は、当該商品の上方の位置にその商品に対向する向きで固定的に設置される。図１では、１つの第一イメージセンサ３が図示されているが、第一イメージセンサ３の数は制限されない。
【００２０】
支援クライアント４は、第一イメージセンサ３から得られる画像を通信網９を介して支援サーバ２に送信する装置である。支援クライアント４は、複数の第一イメージセンサ３のハブとしても機能し得る。また、支援クライアント４は、第一イメージセンサ３の動作確認や異常診断等を行ってもよい。支援クライアント４は、このような周知な機能を実現し得る周知なハードウェア構成を持つ（図示せず）。
【００２１】
第二イメージセンサ６は、可搬物が有するユーザ識別シンボルを認識可能なセンサ情報を取得するセンサ装置である。例えば、第二イメージセンサ６は、可視光カメラである。また、ユーザ識別シンボルがバーコード又は２次元コードである場合には、第二イメージセンサ６は、レーザセンサであってもよい。ユーザ識別シンボルが特定形状である場合には、第二イメージセンサ６は、形状を測定する変位計であってもよい。
【００２２】
ＰＯＳシステム５は、少なくとも１つの第二イメージセンサ６を有する。例えば、ＰＯＳシステム５に含まれる各ＰＯＳ端末が第二イメージセンサ６をそれぞれ有する。ＰＯＳシステム５は、第二イメージセンサ６から取得されるセンサ情報を通信網９を介して支援サーバ２へ送信する。また、ＰＯＳシステム５は、支援サーバ２から購入対象情報を受信し、この購入対象情報に基づいて、一般的な会計処理及びＰＯＳ処理を行う。ＰＯＳシステム５の具体的構成についても制限されない。
【００２３】
〔処理構成〕
図２は、第一実施形態における支援サーバ２の処理構成例を概念的に示す図である。支援サーバ２は、商品位置特定部２１、認識部２２、シンボル検出部２３、対応付け部２４、保持部２５、出力処理部２６等を有する。これら各処理部は、例えば、ＣＰＵ１１によりメモリ１２に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから通信ユニット１３を介してインストールされ、メモリ１２に格納されてもよい。
【００２４】
商品位置特定部２１は、第一イメージセンサ３から得られる画像内での商品の位置を特定する。商品位置の特定方法は複数存在する。例えば、商品位置特定部２１は、当該画像に対して画像認識を行うことで商品を検出し、その商品を表す画像領域の当該画像内の位置を特定する。商品位置特定部２１は、バーコード等のような商品識別シンボルを当該画像内で検出し、その商品識別シンボルの検出位置を当該商品の位置として特定することもできる。また、商品位置特定部２１は、第一イメージセンサ３の撮像方向が固定されている場合には、当該画像内の商品の位置を予め保持しており、保持される位置情報を用いることもできる。商品位置特定部２１は、当該画像内において複数の商品の位置を特定することもできる。
【００２５】
認識部２２は、第一イメージセンサ３から得られる画像を用いて、その画像内で可搬物を認識し、その画像内におけるその認識された可搬物の位置を特定する。例えば、認識部２２は、支援サーバ２又は他のコンピュータに予め保持される可搬物の特徴量を用いて、当該画像内を走査することにより、所定の類似度以上の特徴量を持つ画像領域を可搬物として認識する。但し、認識部２２による可搬物認識にはあらゆる画像認識手法が利用可能である。認識される可搬物は、ユーザ識別シンボルを有し、かつ、人により持ち運び可能であれば、どのような物体であってもよい。
【００２６】
当該可搬物は、ユーザ識別シンボルを様々な態様で持つことができる。例えば、ユーザ識別シンボルは可搬物に印刷又は貼付されている。また、ユーザ識別シンボルは、可搬物に掘られていてもよいし、手書きされていてもよい。更に、ユーザ識別シンボルは、可搬物の少なくとも一部の形状であってもよい。ユーザ識別シンボルとは、ユーザを識別し得る形象を意味する。ユーザ識別シンボルは、例えば、ユーザＩＤを表す文字列シンボル（文字列そのもの）、ユーザＩＤがエンコードされたバーコード及び２次元コード、ユーザ毎に決められた所定画像や所定形状等である。即ち、ユーザ識別シンボルは、文字、図形、記号、立体的形状、色彩、又は、それらの複数の組み合わせである。
【００２７】
シンボル検出部２３は、第一イメージセンサ３から得られる画像を用いて、その画像から、認識部２２により認識された可搬物が有するユーザ識別シンボルを検出する。ユーザ識別シンボルの検出は、上述の可搬物の認識手法と同様の手法で実現可能である。シンボル検出部２３によるユーザ識別シンボルの検出についてもあらゆる画像認識手法が利用可能である。検出速度を向上させるために、シンボル検出部２３は、認識部２２により特定された可搬物の位置を用いることもできる。
【００２８】
シンボル検出部２３は、可搬物がユーザ識別シンボルに加えて更に有するキャンセルを表す操作シンボルを検出することもできる。この場合、可搬物は、視認方向によって、投入操作とキャンセル操作とを切り分けることができるような態様で、操作シンボルを有する。例えば、可搬物は、ユーザ識別シンボルのみを視認することができ、かつ、キャンセルを表す操作シンボルが視認できない向きと、ユーザ識別シンボル及びキャンセルを表す操作シンボルの両方が視認できる向きとを有する。また、可搬物は、キャンセルを表す操作シンボルに加えて更に、投入を表す操作シンボルを有してもよい。この場合、可搬物は、ユーザ識別シンボル及び投入を表す操作シンボルの両方が視認できる向きと、ユーザ識別シンボル及びキャンセルを表す操作シンボルの両方が視認できる向きとを有する。
【００２９】
ここで、操作シンボルとは、キャンセル操作又は投入操作を特定し得る形象を意味する。操作シンボルは、例えば、キャンセル操作又は投入操作を表す文字列シンボル（文字列そのもの）、当該操作を特定可能な操作ＩＤがエンコードされたバーコード及び２次元コード、操作毎に決められた所定画像や所定形状等である。可搬物は、操作シンボルについてもユーザ識別シンボルと同様の様々な態様で持つことができる。
【００３０】
対応付け部２４は、商品位置特定部２１により特定された商品の位置と、認識部２２により特定された可搬物の位置との関係に応じて、シンボル検出部２３により検出されたユーザ識別シンボルを用いて得られるユーザ識別情報とその商品の情報とを対応付ける。対応付けを実行する条件となる商品と可搬物との位置関係は、その商品を購入候補とするユーザの意思を表すように設定されればよく、当該条件となる具体的な位置関係は制限されない。例えば、対応付け部２４は、商品と可搬物とが一部分でも画像内で重なった場合に、当該対応付けを実行する。また、対応付け部２４は、商品と可搬物との画像内での重なりが所定領域以上となる場合に、当該対応付けを実行してもよい。対応付け部２４は、商品を表す画像領域及び可搬物を表す画像領域について各中心点をそれぞれ設定し、中心点間の距離が所定距離以下となる場合に、当該対応付けを実行することもできる。
【００３１】
ユーザ識別シンボルを用いてユーザ識別情報を得る手法は複数存在する。ユーザ識別シンボルが文字列シンボルである場合、対応付け部２４は、例えば、周知のＯＣＲ（Optical Character Recognition）技術を用いて、ユーザ識別シンボルからユーザ識別情報を取得する。ユーザ識別シンボルがバーコード又は２次元コードである場合、対応付け部２４は、そのユーザ識別シンボルをデコードすることにより、ユーザ識別情報を取得する。ユーザ識別シンボルが所定画像又は所定形状である場合には、対応付け部２４は、支援サーバ２又は他のコンピュータに予め保持されるユーザ識別情報毎に所定画像又は所定形状が対応付けられた情報を用いた画像マッチング処理又は形状マッチング処理を行う。対応付け部２４は、そのマッチング処理の結果により、ユーザ識別情報を取得する。
【００３２】
ユーザ識別シンボルと対応付けられる商品情報は、その商品の会計をＰＯＳシステム５でできるような情報であれば、具体的な内容は制限されない。商品情報は、ＰＬＵ（Price LookUp）コード等のような商品ＩＤや商品名等、商品を識別可能な情報であることが望ましい。
【００３３】
商品の情報を取得する手法についても複数存在する。例えば、商品位置特定部２１が画像認識により画像内の商品位置を特定する場合、商品毎に、画像認識に用いる特徴量と商品を識別するための商品ＩＤとが対応付けられた情報が用いられる。対応付け部２４は、可搬物と所定位置関係となった商品のＩＤをその対応付け情報から抽出し、その商品ＩＤを当該商品情報として取得する。上述の対応付け情報は、支援サーバ２に保持されてもよいし、ＰＯＳシステム５に含まれるサーバ装置等のような他のコンピュータから取得されてもよい。
【００３４】
また、商品位置特定部２１がバーコード及び２次元コード並びに商品名を示す文字列等のような商品識別シンボルを用いて画像内の商品位置を特定する場合、対応付け部２４は、商品位置特定部２１により検出された商品識別シンボルから商品情報を取得することもできる。また、商品位置特定部２１が第一イメージセンサ３により得られる画像内の商品の位置とその商品の情報との対応情報を予め保持している場合には、対応付け部２４は、可搬物と所定位置関係となった商品の情報をその対応付け情報から抽出し、その商品情報を取得することもできる。
【００３５】
対応付け部２４は、可搬物が上述の操作シンボルを有している場合には、次のように、ユーザ識別情報と商品情報との対応付け及び対応付けの解除を行うことができる。例えば、対応付け部２４は、シンボル検出部２３によりユーザ識別シンボルのみが検出され、かつ、キャンセルを表す操作シンボルが検出されない場合、上述のような可搬物と商品との位置関係に応じた対応付けを実行する。また、対応付け部２４は、シンボル検出部２３によりユーザ識別シンボル及び投入を表す操作シンボルが検出された場合にも、上述のような可搬物と商品との位置関係に応じた対応付けを実行する。
【００３６】
一方、対応付け部２４は、シンボル検出部２３によりユーザ識別シンボル及びキャンセルを表す操作シンボルが検出された場合、次のように、既存の対応付けを解除する。対応付け部２４は、その操作シンボルの検出位置又はその操作シンボルを有する可搬物の位置と所定位置関係にある商品を特定し、その特定された商品の情報とシンボル検出部２３により検出されたユーザ識別シンボルを用いて得られたユーザ識別情報との既存の対応付けを解除する。例えば、対応付け部２４は、保持部２５に保持される既存の対応付けを削除する。対応付け部２４は、保持部２５に保持される既存の対応付けに解除フラグを設定することもできる。
【００３７】
保持部２５は、対応付け部２４により対応付けられたユーザ識別情報と商品情報との組み合わせを保持する。
図３は、保持部２５に保持される対応付け情報の例を示す図である。図３の例では、ユーザ識別情報として数値列が設定され、商品情報として商品ＩＤが設定されている。図３の例では、ユーザ識別情報「３３１３５８」に対して、４つの商品ＩＤが対応付けられている。
【００３８】
出力処理部２６は、ユーザ識別情報を取得し、保持部２５においてその取得されたユーザ識別情報と対応付けられている商品情報を特定し、その特定された商品情報を含む購入対象情報を出力する。出力処理部２６は、ＰＯＳシステム５から送られるセンサ情報を受信し、そのセンサ情報からユーザ識別情報を取得する。
【００３９】
センサ情報が画像である場合には、上述の認識部２２がその画像から可搬物を認識し、上述のシンボル検出部２３がその画像からユーザ識別シンボルを検出し、出力処理部２６がその検出されたユーザ識別シンボルからユーザ識別情報を取得する。ユーザ識別シンボルからユーザ識別情報を取得する方法については、対応付け部２４と同様の方法が用いられればよい。第二イメージセンサ６がレーザセンサの場合には、出力処理部２６が当該センサ情報が示すバーコード又は２次元コードをデコードすることで、ユーザ識別情報を取得する。また、センサ情報が形状情報である場合には、出力処理部２６は、その形状に対応するユーザ識別情報を取得する。
【００４０】
購入対象情報の出力形態は制限されない。出力形態には、例えば、送信、ファイル保存、表示、印刷等が含まれる。例えば、出力処理部２６は、当該特定された商品情報とそのユーザ識別情報とを購入対象情報としてＰＯＳシステム５に送信する。この場合、ＰＯＳシステム５は、この購入対象情報に基づいて、一般的な会計処理及びＰＯＳ処理を行う。他の例として、出力処理部２６は、オンライン決済システムにその購入対象情報を送信することもできる。この場合には、オンライン決済システムにおいて、この購入対象情報に基づいて、決済処理が行われる。
【００４１】
〔動作例／購買支援方法〕
以下、第一実施形態における購買支援方法について、顧客であるユーザによる第一実施形態の利用シーンの例に沿って、図４及び図７を用いて説明する。図４及び図７は、第一実施形態における支援サーバ２の動作例を示すフローチャートである。図４及び図７に示されるように、第一実施形態における購買支援方法は、支援サーバ２のような少なくとも１つのコンピュータにより実行される。例えば、図示される各工程は、支援サーバ２が有する各処理部により実行される。各工程は、支援サーバ２が有する上述の各処理部の処理内容と同様であるため、各工程の詳細は、適宜省略される。
【００４２】
図５は、可搬物の具体例を示す図である。図５で例示される可搬物７は、カード形状を有し、そのおもて面３１に、投入を表す操作画像３２及びバーコード３３が印刷されており、そのうら面３６に、キャンセルを表す操作画像３７及びバーコード３８が印刷されている。図５の例では、操作画像３２及び３７が操作シンボルであり、バーコード３３及び３８がユーザ識別シンボルである。バーコード３３及び３８には、一人のユーザを識別可能な同じユーザ識別情報がそれぞれエンコードされている。
【００４３】
ユーザは、図５に示されるようなユーザ自身のユーザ識別シンボルを備える可搬物７を用いて、商品の購買行為を行う。まず、ユーザは、可搬物７を持って、所望の商品が陳列されている棚に行く。この棚では、図６に示されるように、第一イメージセンサ３が設置されている。
【００４４】
図６は、商品陳列棚の具体例を示す図である。図６の例では、第一イメージセンサ３は、４種の商品４２、４３、４４及び４５の陳列棚の上方の天井に、その陳列棚を撮像方向とする向きに固定的に設置されている。図６の例では、第一イメージセンサ３が４つの商品を撮影しているが、複数の第一イメージセンサ３が重複しないで各商品を撮影可能なように設けられてもよい。
【００４５】
ユーザは、図６に示されるように、第一イメージセンサ３で得られる画像内で購入候補となる商品と可搬物７とが重なるように、その商品に対して可搬物７をかざす。図６の例では、図５に例示される可搬物７が利用されているため、ユーザは、おもて面３１が第一イメージセンサ３と対向するように、可搬物７をかざす。ユーザは、このように所望の商品に対して可搬物７をかざすことで、その商品を購入候補に加えることができる。このとき、支援サーバ２は次のように動作する。
【００４６】
図４は、第一実施形態における支援サーバ２の購入候補設定時の動作例を示すフローチャートである。支援サーバ２は、第一イメージセンサ３から処理対象の画像を逐次取得する（Ｓ３０）。第一イメージセンサ３から取得される画像フレームの中で処理対象の画像の選択手法については任意である。この選択手法は例えば支援サーバ２の処理速度に応じて決められる。
【００４７】
支援サーバ２は、第一イメージセンサ３から得られる画像内での商品の位置を特定する（Ｓ３１）。図６の例によれば、支援サーバ２は、第一イメージセンサ３で得られる画像内における商品４１、４２、４３及び４４の各位置をそれぞれ特定する。図６の例では、第一イメージセンサ３は固定的に設置されているため、その画像に写る各商品の位置は、陳列位置が見直される場合を除いて、不変である。そこで、支援サーバ２は、画像内の４つの領域をそれぞれ商品４１、４２、４３及び４４の位置として予め特定することができる。また、支援サーバ２は、各商品を画像認識することで、各商品の位置をそれぞれ特定してもよい。
【００４８】
支援サーバ２は、ユーザにより商品に可搬物７をかざす行為が行われると、（Ｓ３０）で取得された画像内で可搬物７を認識し（Ｓ３２）、その画像内におけるその認識された可搬物の位置を特定する（Ｓ３３）。
【００４９】
続いて、支援サーバ２は、（Ｓ３０）で取得された画像からユーザ識別シンボルを検出する（Ｓ３４）。図６の例によれば、支援サーバ２は、バーコード３３を検出する。支援サーバ２は、（Ｓ３３）で特定された可搬物の位置を用いて、その画像内の可搬物７を表す画像領域を対象にユーザ識別シンボルを検出することで、検出速度を向上させることができる。
【００５０】
支援サーバ２は、（Ｓ３１）で特定された商品の位置と（Ｓ３３）で特定された可搬物７の位置とに基づいて、可搬物７と所定の位置関係を示す商品が存在するか否かを判断する（Ｓ３５）。当該商品が存在しない場合（Ｓ３５；ＮＯ）、支援サーバ２は、他の画像を処理対象として取得する（Ｓ３０）。
【００５１】
当該商品が存在する場合（Ｓ３５；ＹＥＳ）、支援サーバ２は、認識された可搬物７が投入状態を表すか否かを判断する（Ｓ３６）。具体的には、支援サーバ２は、可搬物７の形態に応じて、投入を表す操作シンボルが検出されるか否か、及び、キャンセルを表す操作シンボルが検出されるか否かの少なくとも一方を判断する。図６の例では、支援サーバ２は、当該画像内に、ユーザ識別シンボル３３と共に投入を表す操作シンボル３２を検出することができる（Ｓ３６；ＹＥＳ）。
【００５２】
支援サーバ２は、可搬物７が投入状態を表すと判断した場合（Ｓ３６；ＹＥＳ）、（Ｓ３４）で検出されたユーザ識別シンボルを用いて得られるユーザ識別情報と、（Ｓ３５）で可搬物７と所定の位置関係を示すと判断された商品の情報とを対応付ける（Ｓ３７）。（Ｓ３７）が実行されると、その商品がそのユーザの購入候補に加えられたこととなる。
【００５３】
一方、支援サーバ２は、可搬物７が投入状態を表さないと判断した場合（Ｓ３６；ＮＯ）、（Ｓ３４）で検出されたユーザ識別シンボルを用いて得られるユーザ識別情報と、（Ｓ３５）で可搬物７と所定の位置関係を示すと判断された商品の情報との既存の対応付けを解除する（Ｓ３８）。例えば、支援サーバ２は、当該ユーザ識別情報と当該商品情報との対応付けを保持部２５で特定し、その特定された対応付けを削除する。
【００５４】
ユーザ識別情報及び商品情報の取得方法については上述したとおりである。図６の例では、支援サーバ２は、（Ｓ３４）検出されたユーザ識別シンボルとしてのバーコード３３をデコードすることで、ユーザ識別情報を取得する。支援サーバ２は、（Ｓ３１）で位置が特定された商品の情報を取得する。
【００５５】
このように、第一実施形態によれば、ユーザが持つ可搬物７は、仮想的なショッピングカート（以降、バーチャルカートとも表記される）として機能し、商品に対し可搬物７をかざすユーザの行為がショッピングカートへの投入又は投入キャンセルを意味する。ユーザは、このようにバーチャルカート（可搬物７）への購入候補の商品の投入を終えると、会計時には、その可搬物７をレジに持参する。レジ担当者は、第二イメージセンサ６を用いて、可搬物７が有するユーザ識別シンボルを読み取る。
【００５６】
図７は、第一実施形態における支援サーバ２の会計時の動作例を示すフローチャートである。第二イメージセンサ６により取得されるセンサ情報は、ＰＯＳシステム５から支援サーバ２へ送信される。図６の例によれば、ユーザ識別シンボルがバーコード３３であるため、第二イメージセンサ６は、可視光センサであってもよいし、レーザセンサであってもよい。第二イメージセンサ６が可視光センサの場合には、支援サーバ２は、ＰＯＳシステム５から画像を取得する。第二イメージセンサ６がレーザセンサの場合には、支援サーバ２は、ＰＯＳシステム５から明暗パターン情報（バーコード情報）をセンサ情報として得ることができる。
【００５７】
支援サーバ２は、そのセンサ情報を受信し、その受信されたセンサ情報からユーザ識別情報を取得する（Ｓ６１）。
【００５８】
支援サーバ２は、保持部２５において、（Ｓ６１）で取得されたユーザ識別情報と対応付けられている商品情報を特定する（Ｓ６２）。
【００５９】
支援サーバ２は、商品情報の特定に成功した場合（Ｓ６３；ＹＥＳ）、その特定された商品情報を含む購入対象情報を出力する（Ｓ６４）。購入対象情報の出力形態については上述のとおりである。一方、支援サーバ２は、商品情報の特定に失敗した場合（Ｓ６３；ＮＯ）、即ち、保持部２５に（Ｓ６１）で取得されたユーザ識別情報と対応付けられている商品情報が存在しない場合、購入対象無しを通知する（Ｓ６５）。
【００６０】
ここで、ＰＯＳシステム５は、支援サーバ２から購入対象情報を受信した場合、その購入対象情報の会計処理を行う。ＰＯＳシステム５は、支援サーバ２から購入対象無しが通知された場合、その旨をＰＯＳレジスタ装置に表示させる。また、オンライン決済システムは、支援サーバ２から購入対象情報を受信した場合、その購入対象情報の決済処理を行う。これにより、ユーザは、バーチャルカートとして機能する可搬物７を用いて設定した購入候補の商品を購入することができる。
【００６１】
図４及び図７では、複数の工程（処理）が順番に表されているが、第一実施形態で実行される工程及びその工程の実行順序は、図４及び図７の例のみに限定されない。例えば、第一イメージセンサ３で得られる画像内の商品の位置が固定的である場合には、（Ｓ３１）は、毎回実行される必要はない。また、支援サーバ２は、（Ｓ３１）で特定される商品の領域内のみを対象に可搬物を認識してもよい（Ｓ３２）。この場合、（Ｓ３２）で可搬物が認識された場合には、必然的に可搬物と所定の位置関係を示す商品が存在することになるため、（Ｓ３５）は不要となる。（Ｓ３２）及び（Ｓ３３）は、（Ｓ３１）よりも前に実行されてもよい。この場合、支援サーバ２は、当該画像内における、（Ｓ３３）で特定された可搬物の位置を基準に所定位置関係となる範囲に、商品が存在するかを判定するようにしてもよい。
【００６２】
〔第一実施形態における作用及び効果〕
上述のように、第一実施形態では、第一イメージセンサ３から得られる画像内において、商品及び可搬物の位置が特定され、更に、当該画像からその可搬物が有するユーザ識別シンボルが検出される。そして、当該商品の情報と、検出されたユーザ識別シンボルから得られるユーザ識別情報とが対応付けられ、この対応情報が保持部２５に保持される。第一実施形態では、顧客であるユーザが、ユーザ自身のユーザ識別シンボルを有する可搬物を、所望の商品と所定位置関係で第一イメージセンサ３に撮像されるように、商品に対してかざすことで、このような作用が奏される。
【００６３】
保持部２５に保持される商品情報とユーザ識別情報との対応情報は、ＰＯＳシステム５において購入対象情報として利用されるため、第一実施形態によれば、顧客は可搬物を所望の商品にかざすだけで、その商品を購入候補に設定することができる。これにより、ユーザは、購入候補の商品を店舗内で持ち歩く必要がなくなるため、購買行為の負担が軽減される。
【００６４】
即ち、第一実施形態によれば、現状、ＥＣサイトのみで利用されている電子カートの機能を、現実に存在する非電子的な可搬物に仮想的に持たせることができる。このように、実在する非電子的な可搬物に電子カートの機能を仮想的に持たせるという発想は、ＥＣサイトの電子カートや上述の提案手法のハンディターミナルのような電子的手段を用いるという通常の考え方とは、完全に相違するものである。このような発想は、通常の考え方から発想を転換することで、想起されたものである。
【００６５】
更に、第一実施形態では、ＰＯＳシステム５の第二イメージセンサ６により当該可搬物がセンシングされる。このセンシングにより取得されるセンサ情報に基づいて、ユーザ識別情報が取得され、そのユーザ識別情報に対応付けられて保持部２５に保持される商品情報が特定される。そして、特定された商品情報を含む購入対象情報がＰＯＳシステム５に送られ、その購入対象情報を用いてＰＯＳレジスタ装置において会計処理が行われる。これにより、ユーザは、上述のようにバーチャルカート（可搬物）に購入候補の商品を投入した後、その可搬物をレジ担当者に手渡すことにより、それら購入候補の商品を実際に購入することができる。一方、レジ担当者は、現在のようにレジに持ち運ばれた個々の商品を清算対象に登録する操作を行うことなく、可搬物のユーザ識別シンボルを第二イメージセンサ６に読み取らせる操作のみをすればよい。よって、店舗側にとっても、会計業務を効率化することができるという利点が得られる。会計業務が効率化されれば、顧客がレジに並ぶ時間も短縮されるため、この点においても、ユーザの購買行為の負担を低減させることができる。
【００６６】
また、第一実施形態では、キャンセルを表す操作シンボルがユーザ識別シンボルと共に検出された場合、可搬物と所定位置関係にある商品の情報と当該検出されたユーザ識別シンボルを用いて得られるユーザ識別情報との既存の対応付けが解除される。このように、可搬物に操作シンボルを持たせることにより、バーチャルカートへの商品の投入操作とバーチャルカートからの商品のキャンセル操作とを切り分けることができる。ユーザは、既にバーチャルカートに投入した商品を購入候補から除外したい場合、その商品と共にキャンセルを表す操作シンボル及びユーザ識別シンボルが第一イメージセンサ３により撮像されるように、その商品に可搬物をかざせばよい。このように、第一実施形態によれば、ユーザは、商品に対する可搬物のかざし方を変えるだけで、商品の購入候補への設定と商品の購入候補からの除外とを行うことができる。
【００６７】
第一実施形態によれば、このような作用効果を得るために、商品毎に付されるＩＣタグや顧客のためのハンディターミナルは不要である。顧客毎にユーザ識別シンボルを有する可搬物が提供されればよい。これにより、第一実施形態によれば、店舗側の導入及び運用コストを低減させることができる。
【００６８】
［第一実施形態の補足］
上述の説明では、第一イメージセンサ３から得られる画像に写る「商品」が、実商品（物理的に存在する実際の商品そのもの）となる例が示されたが、その「商品」は、実商品を表す代替物であってもよい。この代替物は、実商品を何らかの形で表していればよく、例えば、実商品が写る写真、実商品の名称や説明が印刷された品札、実商品の模型、包装容器のみ、包装箱のみ等である。この場合、ユーザは、或る商品を購入対象に設定するために、その商品の代替物にそのユーザの可搬物をかざすことになる。支援サーバ２（対応付け部２４）は、商品位置特定部２１により特定された商品の代替物の位置と、認識部２２により特定された可搬物の位置との関係に応じて、シンボル検出部２３により検出されたユーザ識別シンボルを用いて得られるユーザ識別情報とその代替物が表す商品の情報とを対応付ける。
【００６９】
［第二実施形態］
以下、第二実施形態における購買支援システム及び購買支援方法について複数の図面を用いて説明する。第二実施形態は、顧客（ユーザ）が実商品又は電子的な商品に対応する商品シンボルを見ながら、実商品又は電子的な商品を購入する行為を支援する。電子的な商品とは、ユーザ端末上で利用される、電子書籍、電子ゲーム、アプリケーション等である。以下、第二実施形態について、第一実施形態と異なる内容を中心に説明し、第一実施形態と同様の内容については適宜省略する。
【００７０】
〔システム構成〕
図８は、第二実施形態における購買支援システム１のシステム構成を概念的に示す図である。図８に示されるように、第二実施形態における支援システム１は、第一イメージセンサ３に代え、三次元センサ１７及び投影装置１８を有する。
【００７１】
支援クライアント４は、三次元センサ１７から得られるセンサ情報を通信網９を介して支援サーバ２に送信し、支援サーバ２からの画像情報を通信網９を介して受信し、その画像情報を投影装置１８に送る装置である。支援クライアント４は、複数の三次元センサ１７及び複数の投影装置１８のハブとしても機能し得る。また、支援クライアント４は、三次元センサ１７及び投影装置１８の動作確認や異常診断等を行ってもよい。支援クライアント４は、このような周知な機能を実現し得る周知なハードウェア構成を持つ（図示せず）。
【００７２】
三次元センサ１７は、二次元像（画像）の情報、及び、三次元センサ１７からの距離の情報（深度情報）を含むセンサ情報を取得する。三次元センサ１７は、例えば、可視光カメラ及び距離画像センサにより実現される。距離画像センサは、深度センサとも呼ばれ、レーザから近赤外光のパターンを照射し、そのパターンを近赤外光を検知するカメラで撮像して得られる情報に基づいて、距離画像センサから検知対象までの距離（深度）が算出される。但し、三次元センサ１７の実現手法は制限されない。三次元センサ１７は、複数のカメラを用いる３次元スキャナ方式で実現されてもよい。
【００７３】
投影装置１８は、支援サーバ２から送られる画像情報に基づいて光を投影面に投射することにより、投影面上に任意の画像を投影する。第二実施形態では、投影装置１８は、投影面に商品シンボルを投影する。ここで、商品シンボルとは、実商品又は電子的な商品を表す商品画像、若しくは、そのような商品を表す文字、図形、記号、色彩、又は、これら複数の組み合わせを意味する。投影装置１８は、投影方向を調整する手段を含むことができる。投影方向を調整する手段には、光を投射する投射部の向きを変える機構、投射部から投射された光の向きを変える機構等が含まれる。
【００７４】
〔処理構成〕
図９は、第二実施形態における支援サーバ２の処理構成例を概念的に示す図である。支援サーバ２は、ユーザ位置取得部６１、投影処理部６２、操作検出部６３、位置制御部６４、認識部６５、シンボル検出部６６、対応付け部６７、保持部６８、出力処理部６９等を有する。これら各処理部は、例えば、ＣＰＵ１１によりメモリ１２に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから通信ユニット１３を介してインストールされ、メモリ１２に格納されてもよい。
【００７５】
ユーザ位置取得部６１は、三次元センサ１７から得られるセンサ情報に基づいてユーザの特定部位を認識し、その認識された特定部位の位置情報を取得する。具体的には、ユーザ位置取得部６１は、センサ情報に含まれる画像情報及び深度情報の少なくとも一方を用いて、ユーザの特定部位を認識する。認識される特定部位は、ユーザが操作を行う上で用いる、体の一部（指先等）、又は、操作具である。画像から特定部位の認識手法については、周知のオブジェクト認識手法が利用されればよい。認識手法の一例としては、ユーザ位置取得部６１は、画像情報から特徴量を用いて人の頭部を認識し、画像情報と距離情報とを用いて、その人の頭部との位置関係及び特徴量から当該特定部位を認識する。
【００７６】
ユーザ位置取得部６１は、センサ情報に含まれる二次元像情報及び距離情報に基づいて、上述のように認識されたユーザの特定部位の位置情報を取得する。例えば、ユーザ位置取得部６１は、三次元センサ１７の位置及び向きを基準に設定された三次元座標空間における、当該特定部位の位置情報を取得することができる。
【００７７】
投影処理部６２は、商品シンボルを投影装置１８に投射させる。具体的には、投影処理部６２は、商品シンボルの画像情報を支援クライアント４を介して投影装置１８に送信することで、投影装置１８にその画像情報に基づいて商品シンボルを投射させる。画像情報は、複数の商品シンボルを表してもよく、支援サーバ２又は他のコンピュータから取得される。
【００７８】
操作検出部６３は、商品シンボルの位置情報及びユーザ位置取得部６１により取得された当該特定部位の位置情報を用いて、ユーザの特定部位を用いた当該商品シンボルに対するユーザ操作を検出する。例えば、操作検出部６３は、次のようにして、商品シンボルの位置情報を取得することができる。操作検出部６３は、投影装置１８の位置及び投影方向並びにセンサ情報に基づいて、投影装置１８から投影面までの距離（投影距離）を認識し、その距離及び投影装置１８の投影仕様に基づいて、上述の三次元座標空間における、投影画面が投影されている位置を特定することができる。ここで、投影画面とは、投影装置１８により投影面に投影される像全体を意味する。
【００７９】
商品シンボルの位置が投影装置１８の投影方向のみで変更される場合には、操作検出部６３は、上述のように特定された投影画面の位置を商品シンボルが投影されている位置として用いることができる。また、投影装置１８の投影方向が固定の場合、又は、当該投影方向が可変でありかつ投影画面内で商品シンボルの位置が可変である場合には、操作検出部６３は、上述のように特定される投影画面の位置と、投影処理部６２により処理される画像情報から得られる投影画面内の商品シンボルの位置とに基づいて、上述の三次元座標空間における商品シンボルの位置の情報を取得することができる。
【００８０】
操作検出部６３は、上述のように共通の三次元座標空間上にマッピングされている商品シンボルとユーザの特定部位との位置関係に基づいて、当該ユーザ操作を検出する。例えば、操作検出部６３は、商品シンボルとユーザの特定部位との接触を当該ユーザ操作として検出する。
【００８１】
位置制御部６４は、操作検出部６３により検出されたユーザ操作に応じて、商品シンボルが投影される位置を変更する。具体的には、位置制御部６４は、投影装置１８の投影方向の変更及び投影装置１８により投射される投影画面内の商品シンボルの位置の変更のいずれか一方又は両方により、商品シンボルが投影される位置を変更することができる。位置制御部６４により投影画面内の商品シンボルの位置が変更された場合には、投影処理部６２により送信される商品シンボルの画像情報には、投影画面内の商品シンボルの変更された位置の情報が含まれる。
【００８２】
例えば、位置制御部６４は、ユーザの特定部位が商品シンボルに接触した状態で投影面上を移動するユーザ操作が検出された場合に、その特定部位と共に、商品シンボルを投影面上に移動させる。但し、商品シンボルの位置を変更するための具体的なユーザ操作の内容は任意である。
【００８３】
認識部６５は、三次元センサ１７から得られるセンサ情報に基づいて、可搬物を認識し、その認識された可搬物の、上述の三次元座標空間上の位置を特定する。可搬物の定義及び可搬物の認識手法については、第一実施形態で説明したとおりである。第二実施形態における可搬物は、商品情報シンボルの投影面上に置かれる。
【００８４】
シンボル検出部６６は、三次元センサ１７から得られるセンサ情報を用いてユーザ識別シンボルを検出する。具体的には、シンボル検出部６６は、当該センサ情報に含まれる画像を用いて、ユーザ識別シンボルを検出する。ユーザ識別シンボルの定義及び検出手法については、第一実施形態で説明したとおりである。
【００８５】
対応付け部６７は、認識部６５により認識された可搬物の位置と位置制御部６４により変更された商品シンボルの位置との関係に応じて、シンボル検出部６６により検出されたユーザ識別シンボルを用いて得られるユーザ識別情報と、商品シンボルに対応する商品（実商品又は電子的な商品）の情報とを対応付ける。対応付けを実行する条件となる商品シンボルと可搬物との位置関係は、その商品シンボルに対応する商品を購入候補とするユーザの意思を表すように設定されればよく、当該条件となる具体的な位置関係は制限されない。例えば、対応付け部６７は、商品シンボルと可搬物とが一部分でも重なった場合に、当該対応付けを実行する。また、対応付け部６７は、商品シンボルと可搬物との重なりが所定領域以上となる場合に、当該対応付けを実行してもよい。
【００８６】
ユーザ識別シンボルを用いてユーザ識別情報を得る手法については第一実施形態で述べたとおりである。また、商品情報の定義についても第一実施形態で述べたとおりである。第二実施形態では、次のように商品情報が取得され得る。例えば、対応付け部６７は、商品シンボルと商品情報とが対応付けられた情報の中から、ユーザ操作の対象とされた商品シンボルに対応する商品情報を取得するようにしてもよい。このような対応付け情報は、支援サーバ２に保持されてもよいし、他のコンピュータから取得されてもよい。
【００８７】
保持部６８は、第一実施形態における保持部２５と同様である。
【００８８】
出力処理部６９は、第一実施形態における出力処理部２６と同様の処理を行う。更に、出力処理部６９は、出力された購入対象情報に基づいて、購入対象商品のレジ会計又はオンライン決済が完了した場合に、ユーザがその商品を入手できるようにする。例えば、対象商品が実商品の場合には、出力処理部６９は、ユーザがレジ又は自宅でその実商品を入手できるように、その対象商品を特定し得る商品情報を含む商品入手情報を、在庫管理システムや配送システム等のような対応システムに送る。
【００８９】
対象商品が電子的な商品である場合には、出力処理部６９は、更に、特定された商品情報と共にその電子的な商品をユーザにダウンロードさせるためのサイト情報を含む商品入手情報を出力する。このサイト情報も商品情報と共に、商品シンボルと対応付けられて保持されればよい。この場合、出力処理部６９は、購入対象情報に加えて、商品入手情報もＰＯＳシステム５に送信する。ＰＯＳシステム５は、この商品入手情報に基づいて、当該サイト情報が印刷されたチケットを発行する。
【００９０】
〔動作例／購買支援方法〕
以下、第二実施形態における購買支援方法について、顧客であるユーザによる第二実施形態の利用シーンの例に沿って、図１０及び図１１を用いて説明する。図１０及び図１１は、第二実施形態における支援サーバ２の動作例を示すフローチャートである。図１１及び図１２に示されるように、第二実施形態における購買支援方法は、支援サーバ２のような少なくとも１つのコンピュータにより実行される。例えば、図示される各工程は、支援サーバ２が有する各処理部により実行される。各工程は、支援サーバ２が有する上述の各処理部の処理内容と同様であるため、各工程の詳細は、適宜省略される。
【００９１】
図１２は、第二実施形態の実施シーンの例を概念的に示す図である。図１２の例では、テーブル５０の上面全てが投影面に利用され、テーブル５０の上方に三次元センサ１７及び投影装置１８がテーブル５０の方向をセンシング方向及び投影方向として固定的に設置されている。また、カード状の可搬物５２が投影面となるテーブル５０の上面に置かれ、その可搬物５２には、ユーザ識別シンボルとしてのバーコード５３が印刷されている。このとき、支援サーバ２は次のように動作する。
【００９２】
図１０は、第二実施形態における支援サーバ２の購入候補設定時の動作例を示すフローチャートである。図１０に示される動作フローの前提として、支援サーバ２は、三次元センサ１７からセンサ情報を逐次取得している。
【００９３】
支援サーバ２は、取得されるセンサ情報に基づいて、可搬物５２を認識し、その認識された可搬物５２の位置を特定する（Ｓ１０１）。特定される可搬物５２の位置は、支援サーバ２で共有される三次元座標空間で表される。
【００９４】
支援サーバ２は、取得されるセンサ情報を用いてユーザ識別シンボルを検出する（Ｓ１０２）。図１２の例によれば、支援サーバ２は、バーコード５３を検出する。支援サーバ２は、（Ｓ１０１）で特定された可搬物５２の位置を用いて、センサ情報に含まれる二次元画像内の可搬物５２を表す画像領域を対象にユーザ識別シンボルを検出することで、検出速度を向上させることができる。
【００９５】
更に、支援サーバ２は、商品シンボルを投影装置１８に投射させる（Ｓ１０３）。具体的には、支援サーバ２は、商品シンボルの画像情報を投影装置１８に送信することで、商品シンボルを投影面に投影させる。図１２の例では、投影画面は、テーブル５０の上面全てとなり、投影装置１８は、投影画面内のユーザに近い位置に商品シンボル５１ａ、５１ｂ及び５１ｃを投影している。各商品シンボルは、実商品を表すシンボルであってもよいし、電子的な商品を表すシンボルであってもよい。また、実商品を表すシンボルと電子的な商品を表すシンボルとが混在してもよい。
【００９６】
支援サーバ２は、取得されるセンサ情報に基づいてユーザの特定部位を認識し、その認識された特定部位の位置情報を取得する（Ｓ１０４）。特定部位の位置は、支援サーバ２で共有される三次元座標空間で表される。
【００９７】
支援サーバ２は、（Ｓ１０３）で投影された商品シンボルの位置情報、及び、（Ｓ１０４）で取得されたユーザの特定部位の位置情報を用いて、当該特定部位を用いた商品シンボルに対するユーザ操作を検出する（Ｓ１０５）。図１２の例では、支援サーバ２は、商品シンボル５１ａ、５１ｂ及び５１ｃの中のいずれか１つに、ユーザの特定部位が、接触し、かつ、その接触状態でテーブル５０（投影面）上を移動するユーザ操作を検出する。
【００９８】
支援サーバ２は、（Ｓ１０５）で検出されたユーザ操作に応じて、商品シンボルの投影面における位置を変更する（Ｓ１０６）。商品シンボルの位置の変更手法には、上述のとおり複数手法存在し得る。図１２の例では、投影装置１８の投影方向が固定であるため、支援サーバ２は、投影画面内の商品シンボルの位置を変更し、商品シンボルの位置が変更された画像情報を投影装置１８に送信することで、商品シンボルの投影面における位置を変更する。
【００９９】
支援サーバ２は、（Ｓ１０１）で特定された可搬物及び（Ｓ１０６）で変更された商品シンボルの位置関係が所定の位置関係を示すか否かを判断する（Ｓ１０７）。支援サーバ２は、所定の位置関係を示さない場合（Ｓ１０７；ＮＯ）、（Ｓ１０４）以降を繰り返す。
【０１００】
一方で、支援サーバ２は、可搬物と商品シンボルとの位置関係が所定の位置関係を示す場合（Ｓ１０７；ＹＥＳ）、（Ｓ１０２）で検出されたユーザ識別シンボルを用いて得られるユーザ識別情報と、（Ｓ１０６）で位置が変更されることで可搬物と所定の位置関係を示すようになった商品シンボルに対応する商品情報とを対応付ける（Ｓ１０８）。（Ｓ１０８）が実行されると、可搬物と所定位置関係となるように、ユーザ操作で位置が変更された商品シンボルに対応する商品がそのユーザの購入候補に加えられたこととなる。
【０１０１】
ユーザ識別情報及び商品情報の取得方法については上述したとおりである。図１２の例では、支援サーバ２は、（Ｓ１０２）検出されたユーザ識別シンボルとしてのバーコード５３をデコードすることで、ユーザ識別情報を取得する。支援サーバ２は、可搬物５２と所定位置関係となった商品シンボルに対応する商品情報を取得する。
【０１０２】
このように、第二実施形態によれば、ユーザが投影面に置いた可搬物５２が、バーチャルカートとして機能し、その可搬物５２と商品シンボルとが所定位置関係を示すように商品シンボルを移動させるユーザ操作がショッピングカートへの投入を意味する。ユーザは、このようにバーチャルカート（可搬物５２）への購入候補の商品に対応する商品シンボルの投入を終えると、会計時には、その可搬物５２をレジに持参する。レジ担当者は、第二イメージセンサ６を用いて、可搬物５２が有するユーザ識別シンボルを読み取る。
【０１０３】
図１１は、第二実施形態における支援サーバ２の会計時の動作例を示すフローチャートである。図１１において、図７で示される工程と同じ内容の工程については、図７と同じ符号が付されている。即ち、第二実施形態では、支援サーバ２は、図７に示される工程に加えて、（Ｓ１１１）を更に実行する。
【０１０４】
支援サーバ２は、（Ｓ６４）で購入対象情報を出力すると、その商品の商品入手情報を出力する（Ｓ１１１）。（Ｓ１１１）は、（Ｓ６４）と同時に実行されてもよいし、（Ｓ６４）よりも前に実行されてもよい。また、支援サーバ２は、購入対象情報に基づく商品のレジ会計又はオンライン決済が完了した後に、（Ｓ１１１）を実行してもよい。会計の完了は、例えば、ＰＯＳシステム５から通知され、オンライン決済の完了は、例えば、オンライン決済システムから通知される。
【０１０５】
支援サーバ２は、対象商品が実商品の場合には、例えば、ユーザがレジ又は自宅でその実商品を入手できるように、その対象商品を特定し得る商品情報を含む商品入手情報を対応システムに送る。対象商品が電子的な商品である場合には、支援サーバ２は、商品情報と共にその電子的な商品をユーザにダウンロードさせるためのサイト情報を含む商品入手情報をＰＯＳシステム５に送信する。ＰＯＳシステム５は、購入対象情報に基づく商品のレジ会計が完了すると、その商品入手情報に含まれる当該サイト情報が印刷されたチケットを発行する。
【０１０６】
図１０及び図１１では、複数の工程（処理）が順番に表されているが、第二実施形態で実行される工程及びその工程の実行順序は、図１０及び図１１の例のみに限定されない。例えば、（Ｓ１０１）及び（Ｓ１０２）は、（Ｓ１０３）から（Ｓ１０６）と並行に実行されてよい。また、図１２の例のように、ユーザがテーブル５０から移動するまで可搬物５２の位置はほとんど変わらない場合、（Ｓ１０１）及び（Ｓ１０２）は、一度実行されれば、可搬物５２の位置が変わる、又は、可搬物５２がなくなるまで再度実行されなくてもよい。
【０１０７】
〔第二実施形態における作用及び効果〕
上述のように、第二実施形態では、テーブル５０のような投影面に、実商品又は電子的な商品に対応する商品シンボルが投影される。三次元センサ１７により得られるセンサ情報に基づいて、投影面に置かれた可搬物の位置、ユーザの特定部位の位置及び商品シンボルの投影位置が特定される。更に、その可搬物が有するユーザ識別シンボルが検出される。そして、投影された商品シンボルに対するユーザの特定部位を用いた操作が検出され、そのユーザ操作に応じて、投影面上の商品シンボルの位置が変更される。可搬物と商品シンボルとが所定位置関係となった場合に、その可搬物が有するユーザ識別シンボルから得られるユーザ識別情報とその商品シンボルに対応する商品情報とが対応付けられる。第二実施形態では、ユーザが、特定部位を用いて、投影面上に投影されている商品シンボルをユーザ自身のユーザ識別情報を有する可搬物と所定位置関係となるように移動操作することで、このような作用が奏される。
【０１０８】
第二実施形態においても、商品情報とユーザ識別情報との対応情報は、ＰＯＳシステム５において購入対象情報として利用される。このため、第二実施形態によれば、ユーザは、投影される商品シンボルを可搬物に近づける操作を行うことで、その商品シンボルに対応する実商品又は電子的な商品を購入候補に設定することができる。ユーザは、ＰＣやスマートデバイス等のようなユーザ端末を用いることなく、可搬物を投影面上に置き、投影装置１８により投影される画像を操作するだけで、実商品及び電子的な商品を購入することができる。
【０１０９】
このように、第二実施形態は、電子カートの機能を実在する可搬物に仮想的に持たせると共に、商品シンボルという、その場に存在しない実商品及び電子的な商品に対応する仮想的な対象に対する、ユーザの特定部位を用いた操作を可能とする。即ち、第二実施形態によれば、実在する可搬物と仮想的な対象とを用いた全く新たな購買行為を実現することができ、ユーザに新たな購買チャネルを提供することができる。
【０１１０】
更に、第二実施形態によれば、対象商品を特定し得る商品情報を含む商品入手情報が対応のシステムに送信されることで、ユーザは、レジ又は自宅で購入した実商品を入手できるようになる。購入した商品が電子的な商品である場合には、商品入手情報には、その電子的な商品をユーザにダウンロードさせるためのサイト情報が含まれ、そのサイト情報が印刷されたチケットがＰＯＳシステム５により発行される。これにより、ユーザは、会計後発行されたチケットを受け取り、そのチケットに印刷されているサイト情報を用いて、自身のユーザ端末によりサイトにアクセスすることで、購入した電子的な商品を入手することができる。
【０１１１】
［第二実施形態の変形例］
上述の第二実施形態では、商品シンボルを可搬物に近づけるユーザ操作が想定されていたが、投影される商品シンボルに対して可搬物を近付けるユーザ操作が行われた場合でも、同様の作用効果を得ることができる。この場合、図１０において、（Ｓ１０１）が、（Ｓ１０４）と（Ｓ１０７）との間に実行されればよい。
【０１１２】
また、この場合、商品シンボルの位置は固定されてもよい。この変形例では、ユーザ位置取得部６１、操作検出部６３及び位置制御部６４は、支援サーバ２において不要となる。この変形例における購買支援方法では、図１０において、（Ｓ１０４）、（Ｓ１０５）及び（Ｓ１０６）は不要となる。
【０１１３】
上述の第二実施形態では、商品情報とユーザ識別情報との対応付けを解除する点については特に明記されなかったが、第一実施形態と同様の手法で当該解除が実行されてもよい。この場合、シンボル検出部６６は、シンボル検出部２３と同様に、可搬物が有する操作シンボルを更に検出し、対応付け部６７は、対応付け部２４と同様に、当該操作シンボルの検出状況に応じて、ユーザ識別情報と商品情報との対応付け及び対応付けの解除を行う。例えば、対応付け部６７は、操作シンボルの検出位置又は操作シンボルを有する可搬物の位置と所定位置関係にある商品シンボルを特定する。対応付け部６７は、特定された商品シンボルに対応する商品の情報と、当該検出されたユーザ識別シンボルを用いて得られるユーザ識別情報との既存の対応付けを解除する。この場合、購買支援方法では、図１０において、（Ｓ１０８）の代わりに、図４の（Ｓ３６）、（Ｓ３７）及び（Ｓ３８）が実行される。
【０１１４】
第二実施形態では、第一実施形態とは異なる手法で当該解除が実行されてもよい。例えば、投影処理部６２が、保持部６８から商品情報とユーザ識別情報との対応付けのリストを抽出し、そのリストを表す画像情報を投影装置１８に送信することで、当該対応付けのリスト画面を投影面に投影させる。操作検出部６３は、投影されたリスト画面内のキャンセル候補となる対応付けを選択する操作、及び、選択された対応付けのキャンセル操作を検出する。対応付け部６７は、操作検出部６３により検出された選択操作及びキャンセル操作に基づいて、選択されていた対応付けを保持部６８から削除する。また、支援サーバ２は、操作ジェスチャを検出する処理部を更に有し、検出された操作ジェスチャにより、商品の情報とユーザ識別情報との既存の対応付けを解除してもよい。
【０１１５】
［第一実施形態及び第二実施形態の変形例］
上述の各実施形態では、認識部２２及び認識部６５は、可搬物を認識し、その可搬物の位置を特定したが、可搬物の一部のみ、又は、可搬物の全部及び一部を認識し、可搬物の一部の位置のみ、又は、可搬物の全部及び一部の位置を特定するようにしてもよい。認識される可搬物の一部は、例えば、可搬物に付された図柄や、部分的形状等である。例えば、上述の操作シンボルが可搬物の一部として認識されてもよい。
【０１１６】
この場合、図４の（Ｓ３２）では、支援サーバ２は、可搬物７の一部を認識し、図４の（Ｓ３３）において、支援サーバ２は、その認識された可搬物の一部の位置を特定する。図４の（Ｓ３５）において、支援サーバ２は、当該商品の位置と（Ｓ３３）で特定された可搬物７の一部の位置とに基づいて、可搬物７と所定の位置関係を示す商品が存在するか否かを判断する。また、図１０の（Ｓ１０１）において、支援サーバ２は、可搬物の一部の位置を特定し、図１０の（Ｓ１０７）において、支援サーバ２は、商品シンボルと可搬物の一部とが所定位置関係を示すか否かを判断する。
【０１１７】
また、上述の可搬物として、人の体の一部が用いられることもできる。よって、上述の可搬物は、単に物体と読み替えることもできる。この場合、ユーザ識別シンボルとしては、指紋、掌紋、静脈、虹彩、顔等が利用可能である。支援サーバ２（対応付け部２４及び６７）は、周知の手法により、そのようなユーザ識別シンボルから当該ユーザ識別情報として生体情報（生体特徴量）を抽出し、その生体情報と商品の情報とを対応付けることができる。
【０１１８】
［第一実施形態及び第二実施形態の補足］
上述のユーザ識別シンボル及びユーザ識別情報は、各ユーザを完全に識別できるものであってもよいし、所定の範囲でユーザを識別できるものであってもよい。可搬物が各ユーザに対してそれぞれ提供される場合には、各ユーザを完全に識別できるユーザ識別シンボル及びユーザ識別情報であることが望まれる。ところが、店舗内で利用される可搬物を店舗に据え置きとし、可搬物を顧客間で使いまわす場合等のように、可搬物がユーザ毎に提供されない場合があり得る。このような場合には、ユーザ識別シンボル及びユーザ識別情報は、同時間帯に店舗内に存在する顧客という範囲で、ユーザを識別できればよい。このような場合には、ユーザ識別シンボル及びユーザ識別情報は、可搬物（物体）を識別するものということもできる。また、ユーザ識別シンボル及びユーザ識別情報は、最終的に購入対象の商品情報を特定するためにも用いられるため、会計単位（清算単位）を識別するものということもできる。
【０１１９】
［第三実施形態］
以下、第三実施形態における情報処理装置及び購買支援方法について図１３及び図１４を用いて説明する。
【０１２０】
図１３は、第三実施形態における情報処理装置の処理構成例を概念的に示す図である。図１３に示されるように、情報処理装置１００は、シンボル検出部１０１と、対応付け部１０２とを有する。情報処理装置１００は、例えば、図１及び図８に示される上述の支援サーバ２と同様のハードウェア構成を有し、その支援サーバ２と同様にプログラムが処理されることで、上述の各処理部が実現される。
【０１２１】
シンボル検出部１０１は、センサ情報に基づいて物体が有する識別シンボルを検出する。センサ情報は、物体の識別シンボルを検出することができれば、どのような情報であってもよく、２次元画像、３次元情報、可視光や赤外光等の光情報等である。物体は、識別シンボルを有する物である。但し、物体は、動かすことのできる物であることが望ましい。物体には、上述の可搬物及び人の体の一部が含まれる。検出される識別シンボルは、上述のユーザ識別シンボルと同様であり、ユーザ、識別シンボルを有する物体、会計単位（清算単位）等を識別するシンボルである。シンボル検出部１０１の具体的処理内容は、上述のシンボル検出部２３及びシンボル検出部６６と同様である。
【０１２２】
対応付け部１０２は、商品又は商品に対応する商品シンボルと、上記検出された識別シンボルを有する物体との位置関係に応じて、上記検出された識別シンボルを用いて得られる識別情報と当該商品の情報とを対応付ける。対応付け部１０２の具体的処理内容は、上述の対応付け部２４及び対応付け部６７と同様である。商品情報と対応付けられる識別情報は、上述のユーザ識別情報と同様であり、ユーザ、識別シンボルを有する物体、会計単位（清算単位）等を識別する情報である。当該対応付けの判断に用いられる位置関係には、物体の全体の位置、物体の一部の位置、物体と共に移動可能な、物体に付された物（シール等）の位置等が利用され得る。
【０１２３】
図１４は、第三実施形態における情報処理装置１００の動作例を示すフローチャートである。図１４に示されるように、第三実施形態における購買支援方法は、情報処理装置１００のような少なくとも１つのコンピュータにより実行される。例えば、図示される各工程は、情報処理装置１００が有する各処理部により実行される。
【０１２４】
本実施形態における購買支援方法は、センサ情報に基づいて物体が有する識別シンボルを検出し（Ｓ１４１）、商品又は商品に対応する商品シンボルと、（Ｓ１４１）で検出された識別シンボルを有する物体との位置関係に応じて、（Ｓ１４１）で検出された識別シンボルを用いて得られる識別情報と当該商品の情報とを対応付ける（Ｓ１４２）、ことを含む。（Ｓ１４１）は、図４の（Ｓ３４）及び図１０の（Ｓ１０２）に相当し、（Ｓ１４２）は、図４の（Ｓ３７）及び図１０の（Ｓ１０８）に相当する。
【０１２５】
また、第三実施形態は、このような購買支援方法を少なくとも１つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録した当該少なくとも１つのコンピュータが読み取り可能な記録媒体であってもよい。
【０１２６】
このように、第三実施形態では、可搬物を含む物体の全部又は一部の認識は、必ずしも必要ではない。物体から検出される識別シンボルの位置を物体の一部の位置として扱うことができるからである。即ち、検出された識別シンボルの位置（物体の一部の位置）と、商品又は商品シンボルの位置との関係から、識別情報と商品情報との対応付けの有無を判断することができる。商品又は商品識別シンボルの位置の特定手法は、上述の各実施形態及び各変形例で述べたとおりである。
【０１２７】
第三実施形態によれば、上述の第一実施形態及び第二実施形態と同様の作用効果を得ることができる。
以下に実施例を挙げ、上述の各実施形態を更に詳細に説明する。本発明は以下の実施例から何ら限定を受けない。
【実施例】
【０１２８】
上述の第二実施形態において、投影される商品シンボルに対するユーザ操作を検出するために、共通の三次元座標空間にマッピングされたユーザの特定部位の位置及び商品シンボルの位置が用いられる。よって、処理を簡易化するためには、三次元センサ１７のセンシング軸の方向及び投影装置１８の投影軸の方向は並行であることが望ましい。【０１２９】
図１５は、インタラクティブプロジェクション装置（以降、ＩＰ装置と表記する）の構成例を示す図である。図１５に例示されるＩＰ装置９０は、センシング軸の方向と投影軸の方向とが並行となるように、三次元センサ１７及び投影装置１８を有する。また、ＩＰ装置９０は、投影軸及びセンシング軸の各方向を調整可能とする方向調整機構９１、９２及び９３を有する。方向調整機構９１は、各方向を紙面上、左右方向に変更可能とし、方向調整機構９２は、各方向を紙面上、上下方向に変更可能とし、方向調整機構９３は、各方向を紙面上、回転可能とする。但し、ＩＰ装置９０は、三次元センサ１７及び投影装置１８を固定状態とし、可動型のミラーや光学系により、投影軸及びセンシング軸の各方向を調整可能とすることもできる。【０１３０】
以下、実施例における支援システム１及び購買支援方法について図１６から図２２を用いて説明する。本実施例の実施場所は、コーヒーショップである。【０１３１】
図１６は、本実施例の実施シーンを概念的に示す図である。本実施例では、顧客のためのテーブル７０の上面全てが投影面に利用され、テーブル７０の上方に三次元センサ１７及び投影装置１８がテーブル７０の方向をセンシング方向及び投影方向として固定的に設置されている。図１６の例では、テーブル７０は、複数の顧客により共有されている。物体（可搬物）としてはトレイ７１が利用され、顧客は、テーブル７０の最寄りの範囲にコーヒーを載せたトレイ７１を置いて、コーヒーを飲む。【０１３２】
支援サーバ２は、投影装置１８に対して、初期画面としての画面７２をテーブル７０に投影させる。ここでは、テーブル７０を共有する全ての顧客に操作できるように、画面７２は、テーブル７０の中央に投影されている。【０１３３】
支援サーバ２は、三次元センサ１７からのセンサ情報に基づいて、ユーザの指先（特定部位）を用いた画面７２に対するユーザ操作を検出する。画面７２を顧客側に引き寄せるユーザ操作が検出されると、支援サーバ２は、その画面７２から、図１７に示されるメニュー画面７３に切り替える。メニュー画面７３は、投影処理部６２により送信される画像情報に基づいて、投影装置１８により投影される。【０１３４】
図１７は、メニュー画面の例を示す図である。メニュー画面７３には、複数メニューがローリングするように形成されている。支援サーバ２は、電子書籍のメニュー７６がユーザの指先で触れられたことを検出し、この検出に応じて、図１８に例示される電子書籍のリスト画面７８を投影装置１８に投影させる。
図１８は、電子書籍のリスト画面の例を示す図である。リスト画面７８には、図１８に示されるように、それぞれ異なる電子書籍を示す複数の書籍画像が表示されている。本実施例では、各書籍画像がそれぞれ商品シンボルに相当する。【０１３５】
図１７及び図１８に示されるように、トレイ７１には、識別シンボル７５が付されている。コーヒーショップで提供される各トレイ７１には、固有の識別シンボル７５がそれぞれ付されている。支援サーバ２は、三次元センサ１７からのセンサ情報に基づいて、トレイ７１を認識し、トレイ７１の位置を特定する。更に、支援サーバ２は、トレイ７１に付されている識別シンボル「３５１２６８」を検出する。【０１３６】
顧客は、電子書籍のリスト画面７８の中から所望の電子書籍を選ぶ操作を行う。このとき、支援サーバ２は、三次元センサ１７からのセンサ情報に基づいて、電子書籍のリスト画面７８の中の或る電子書籍を示す書籍画像８０に対し、顧客の指先が触れることを検出する。支援サーバ２は、その検出に応じて、図１９に示されるように、書籍画像８０を拡大して投影装置１８に投影させる。
図１９は、書籍画像の例を示す図である。支援サーバ２は、このとき、書籍画像８０が示す電子書籍を試読できるように制御することもできる。【０１３７】
図２０は、書籍画像（商品シンボル）に対するユーザ操作の例を示す図である。顧客は、指先を用いて、購入候補となる電子書籍を示す書籍画像８０をトレイ７１に投入する操作を行う。支援サーバ２は、その書籍画像８０の移動操作の検出に応じて、テーブル７０上における書籍画像８０の位置を変更する。支援サーバ２は、書籍画像８０とトレイ７１との位置関係が書籍画像８０の一部がトレイ７１に重なるような関係となったと判断すると、書籍画像８０を消し、書籍画像８０に対応する電子書籍の商品情報と、検出された識別シンボル７５に対する文字認識により得られた数値（ＩＤ）とを対応付けて、その対応付けを保持する。【０１３８】
図２１は、商品投入後の投影画像の例を示す図である。支援サーバ２は、上述のように、書籍画像８０を消去した後、図２１に示されるように、そのコーヒーショップのレジでの会計か、オンライン決済かを選ぶためのインタフェース画像８３及び８４を投影装置１８に投影させる。図２１の例では、支援サーバ２は、オンライン決済に対応する操作画像８３とレジ会計に対応する操作画像８４とを、トレイ７１に近接する位置に投影する。これにより、顧客は、操作画像８３及び操作画像８４のいずれか一方に指先を接触させることで、決済方法を選択することができる。【０１３９】
顧客は、レジでの会計を選択した場合、任意のタイミングで、トレイ７１をレジに持っていき、そのトレイ７１をレジ担当者に提示する。レジ担当者は、第二イメージセンサ６に、トレイ７１の識別シンボル７５を読み取らせる。支援サーバ２は、第二イメージセンサ６により得られたセンサ情報を取得し、そのセンタ情報から識別情報「３５１２６８」を取得する。支援サーバ２は、保持される、識別情報と商品情報との対応付け情報から、識別情報「３５１２６８」と対応付けられている商品情報（書籍画像８０に対応する電子書籍の情報）を特定し、その商品情報を含む購入対象情報及び商品入手情報を当該コーヒーショップのＰＯＳシステム５に送信する。ここでは、電子書籍が購入対象とされているため、商品入手情報には、その電子書籍をユーザにダウンロードさせるためのサイト情報が含まれる。【０１４０】
図２２は、レジ会計後のチケット発行を概念的に示す図である。ＰＯＳシステム５のレジスタ装置８７は、購入対象情報に基づいて、書籍画像８０に対応する電子書籍の会計処理を行い、その会計処理後、商品入手情報に含まれるサイト情報が印刷されたチケット８８を発行する。図２２の例では、サイト情報がＱＲコード（登録商標）８９により表されている。このチケットを受け取った顧客は、ユーザ端末でそのＱＲコード（登録商標）８９を読み取ることで、書籍画像８０に対応する電子書籍をそのユーザ端末上に容易にダウンロードすることができる。【０１４１】
一方で、オンライン決済が選択された場合、支援サーバ２は、オンライン決済のためのユーザ固有情報（ユーザＩＤ等）の入力画面を投影装置１８に投影させることができる。他の例として、支援サーバ２は、オンライン決済を進めるための情報をユーザ端末に提供することもできる。支援サーバ２は、購入対象情報をオンライン決済システムに送信し、決済完了後、商品入手情報をその顧客のユーザ端末に送信する。例えば、商品入手情報は、電子メールにてユーザ端末に送信される。【０１４２】
なお、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態及び各変形例は、内容が相反しない範囲で組み合わせることができる。【０１４３】
上記の各実施形態及び各変形例の一部又は全部は、以下のようにも特定され得る。但し、各実施形態及び各変形例が以下の記載に限定されるものではない。【０１４４】
１．  センサ情報に基づいて物体が有する識別シンボルを検出するシンボル検出手段と、
商品又は商品に対応する商品シンボルと、前記検出された識別シンボルを有する前記物体との位置関係に応じて、前記検出された識別シンボルを用いて得られる識別情報と当該商品の情報とを対応付ける対応付け手段と、
を備える情報処理装置。
２．  識別情報と商品情報との対応付けを保持する保持手段と、
識別情報を取得し、前記保持手段において、取得された識別情報と対応付けられている商品情報を特定し、特定された商品情報を含む購入対象情報を出力する第一出力手段と、
を更に備える１．に記載の情報処理装置。
３．  識別情報を取得し、前記保持手段において、取得された識別情報と対応付けられている電子的な商品についての商品情報を特定し、特定された商品情報と共に当該電子的な商品をユーザにダウンロードさせるためのサイト情報を含む商品入手情報を出力する第二出力手段、
を更に備える２．に記載の情報処理装置。
４．  前記シンボル検出手段は、前記物体が前記識別シンボルに加えて更に有するキャンセルを表す操作シンボルを更に検出し、
前記対応付け手段は、前記操作シンボルの検出位置又は前記操作シンボルを有する物体の位置と所定位置関係にある商品又は商品に対応する商品シンボルを特定し、特定された商品の情報又は特定された商品シンボルに対応する商品の情報と、前記検出された識別シンボルを用いて得られる識別情報との既存の対応付けを解除する、
１．から３．のいずれか１つに記載の情報処理装置。
５．  イメージセンサから得られる画像内での商品の位置を特定する商品位置特定手段と、
前記イメージセンサから得られる画像を前記センサ情報として用いて、当該画像内で前記物体を認識し、当該画像内における、認識された物体の位置を特定する認識手段と、
を更に備え、
前記シンボル検出手段は、前記イメージセンサから得られる画像を前記センサ情報として用いて、当該画像から前記認識された物体が有する識別シンボルを検出し、
前記対応付け手段は、前記特定された商品の位置と前記特定された前記物体の位置との関係に応じて、前記識別情報と前記商品情報とを対応付ける、
１．から４．のいずれか１つに記載の情報処理装置。
６．  前記商品シンボルを投影装置に投射させる投影処理手段と、
三次元センサから得られる前記センサ情報に基づいて、前記物体を認識し、認識された物体の位置を特定する認識手段と、
を更に備え、
前記シンボル検出手段は、前記三次元センサから得られる前記センサ情報を用いて、前記識別シンボルを検出し、
前記対応付け手段は、前記物体の位置と前記商品シンボルの位置との関係に応じて、前記識別情報と前記商品情報とを対応付ける、
１．から４．のいずれか１つに記載の情報処理装置。
７．  三次元センサから得られるセンサ情報に基づいてユーザの特定部位を認識し、認識された特定部位の位置情報を取得するユーザ位置取得手段と、
前記商品シンボルの位置情報及び前記特定部位の位置情報を用いて、前記特定部位を用いた前記商品シンボルに対するユーザ操作を検出する操作検出手段と、
前記検出されたユーザ操作に応じて、前記商品シンボルの位置を変更する位置制御手段と、
を更に備え、
前記対応付け手段は、前記物体の位置と前記ユーザ操作に応じて変更された前記商品シンボルの位置との関係に応じて、前記識別情報と前記商品情報とを対応付ける、
６．に記載の情報処理装置。
８．  少なくとも１つのコンピュータにより実行される購買支援方法において、
センサ情報に基づいて物体が有する識別シンボルを検出し、
商品又は商品に対応する商品シンボルと、前記検出された識別シンボルを有する前記物体との位置関係に応じて、前記検出された識別シンボルを用いて得られる識別情報と当該商品の情報とを対応付ける、
ことを含む購買支援方法。
９．  識別情報を取得し、
識別情報と商品情報との対応付けを保持する保持部において、前記取得された識別情報と対応付けられている商品情報を特定し、
前記特定された商品情報を含む購入対象情報を出力する、
ことを更に含む８．に記載の購買支援方法。
１０．  識別情報を取得し、
前記保持部において、前記取得された識別情報と対応付けられている電子的な商品についての商品情報を特定し、
前記特定された商品情報と共に前記電子的な商品をユーザにダウンロードさせるためのサイト情報を含む商品入手情報を出力する、
ことを更に含む９．に記載の購買支援方法。
１１．  前記物体が前記識別シンボルに加えて更に有するキャンセルを表す操作シンボルを検出し、
前記操作シンボルの検出位置又は前記操作シンボルを有する物体の位置と所定位置関係にある商品又は商品に対応する商品シンボルを特定し、
前記特定された商品の情報又は前記特定された商品シンボルに対応する商品の情報と、前記検出された識別シンボルを用いて得られる識別情報との既存の対応付けを解除する、
ことを更に含む８．から１０．のいずれか１つに記載の購買支援方法。
１２．  イメージセンサから得られる画像内での商品の位置を特定し、
前記イメージセンサから得られる画像を前記センサ情報として用いて、当該画像内で前記物体を認識し、
前記画像内における、認識された物体の位置を特定する、
ことを更に含み、
前記識別シンボルの検出は、前記イメージセンサから得られる画像を前記センサ情報として用いて、当該画像から前記認識された物体が有する識別シンボルを検出し、
前記対応付けは、前記特定された商品の位置と前記特定された前記物体の位置との関係に応じて、前記識別情報と前記商品情報とを対応付ける、
８．から１１．のいずれか１つに記載の購買支援方法。
１３．  前記商品シンボルを投影装置に投射させ、
三次元センサから得られる前記センサ情報に基づいて、前記物体を認識し、
前記認識された物体の位置を特定する、
ことを更に含み、
前記識別シンボルの検出は、前記三次元センサから得られる前記センサ情報を用いて、前記識別シンボルを検出し、
前記対応付けは、前記物体の位置と前記商品シンボルの位置との関係に応じて、前記識別情報と前記商品情報とを対応付ける、
８．から１１．のいずれか１つに記載の購買支援方法。
１４．  三次元センサから得られるセンサ情報に基づいてユーザの特定部位を認識し、
前記認識された特定部位の位置情報を取得し、
前記商品シンボルの位置情報及び前記特定部位の位置情報を用いて、前記特定部位を用いた前記商品シンボルに対するユーザ操作を検出し、
前記検出されたユーザ操作に応じて、前記商品シンボルの位置を変更する、
ことを更に含み、
前記対応付けは、前記物体の位置と前記ユーザ操作に応じて変更された前記商品シンボルの位置との関係に応じて、前記識別情報と前記商品情報とを対応付ける、
１３．に記載の購買支援方法。
１５．  ８．から１４．のいずれか１つに記載の購買支援方法を少なくとも１つのコンピュータに実行させるプログラム。
１６．  ８．から１４．のいずれか１つに記載の購買支援方法を少なくとも１つのコンピュータに実行させるプログラムを記録したコンピュータが読み取り可能な記録媒体、又はそのプログラムを内蔵するコンピュータプログラムプロダクト。【０１４５】
この出願は、２０１４年４月１８日に出願された日本出願特願２０１４−０８６５０８号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図１】
2015159601.tif 000003
【図２】
2015159601.tif 000004
【図３】
2015159601.tif 000005
【図４】
2015159601.tif 000006
【図５】
2015159601.tif 000007
【図６】
2015159601.tif 000008
【図７】
2015159601.tif 000009
【図８】
2015159601.tif 000010
【図９】
2015159601.tif 000011
【図１０】
2015159601.tif 000012
【図１１】
2015159601.tif 000013
【図１２】
2015159601.tif 000014
【図１３】
2015159601.tif 000015
【図１４】
2015159601.tif 000016
【図１５】
2015159601.tif 000017
【図１６】
2015159601.tif 000018
【図１７】
2015159601.tif 000019
【図１８】
2015159601.tif 000020
【図１９】
2015159601.tif 000021
【図２０】
2015159601.tif 000022
【図２１】
2015159601.tif 000023
【図２２】
2015159601.tif 000024
【国際調査報告】
2015159601.tif 000025
2015159601.tif 000026
2015159601.tif 000027
2015159601.tif 000028