(57)【要約】【課題】  顧客が選択した商品に関する情報を顧客がその場で確認できるようにし、顧客の利便性を高めることを目的とする。【解決手段】  本願発明に係る情報処理装置は、撮像手段が撮影した映像中の動体が移動した軌跡を取得する取得手段と、前記映像から前記動体による物体の選択を検知する検知手段と、前記動体により選択された物体に応じた画像を前記動体の移動方向にある領域に投影させる投影手段とを有することを特徴とする。【選択図】  図２
2015001879.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段が撮影した映像中の動体が移動した軌跡を取得する取得手段と、
前記映像における前記動体による物体の選択を検知する検知手段と、
前記動体により選択された物体に応じた画像を前記動体の移動方向にある領域に投影させる投影手段と
を有することを特徴とする情報処理装置。
【請求項２】
前記動体が移動した軌跡に応じて決定される検知領域内にある物体が選択されたことを前記検知手段が検知した場合、選択された該物体の識別情報を前記動体と関連付けて記憶手段に記憶させる記憶制御手段を有することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記物体を撮影した映像から前記物体に付された識別子を読み取る読取手段を有し、
前記記憶制御手段は、前記検知領域内にある物体が選択されたことを前記検知手段が検知した場合、選択された該物体に付された識別子に応じた識別情報を前記動体と関連付けて前記記憶手段に記憶させることを特徴とする請求項２に記載の情報処理装置。
【請求項４】
選択されたことを検知した物体に付された識別子を前記読取手段が読み取らなかった場合、前記投影手段は、選択されたことを検知した該物体の識別情報を前記動体と関連付けて前記記憶手段に記憶させることをユーザに促すための表示を前記動体の移動方向にある領域に投影させることを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記動体に関連付けられた前記識別情報が示す物体についての支払処理がなされたことを示す情報を受け付ける受付手段を有し、
前記投影手段は、前記支払処理がなされたことを示す情報を受け付けていない物体の前記識別情報が関連付けられた動体が所定の領域に移動した場合、前記動体に関連付けられた識別情報が示す物体の支払処理を促す表示を前記動体の移動方向にある領域に投影させることを特徴とする請求項２に記載の情報処理装置。
【請求項６】
前記動体に関連付けられた前記識別情報が示す物体についての支払処理がなされたことを示す情報を受け付ける受付手段を有し、
前記投影手段は、前記動体に関連付けられた前記識別情報が示す物体についての前記支払処理がなされたか否かに応じて、前記動体の移動方向にある領域に投影させる画像の色彩・形状・点滅間隔の少なくともいずれかを異ならせることを特徴とする請求項２に記載の情報処理装置。
【請求項７】
前記取得手段は、撮像手段が撮影した映像中の人物が移動した軌跡を取得し、
前記検知手段は、前記映像における前記人物による商品の選択を検知し、
前記投影手段は、前記人物により選択された商品に応じた画像を前記人物の移動方向にある領域に投影させる
ことを特徴とする請求項１に記載の情報処理装置。
【請求項８】
撮像手段が撮影した映像中の動体が移動した軌跡を取得する取得手段と、
前記映像における前記動体による物体の選択を検知する検知手段と、
前記動体により選択された物体に応じた画像を前記動体の移動方向に投影させる投影手段と
を有することを特徴とする情報処理システム。
【請求項９】
前記動体が移動した軌跡に応じて決定される検知領域内にある物体が選択されたことを前記検知手段が検知した場合、選択された該物体の識別情報を前記動体と関連付けて記憶手段に記憶させる記憶制御手段を有することを特徴とする請求項８に記載の情報処理システム。
【請求項１０】
前記動体に関連付けられた前記識別情報が示す物体についての支払処理がなされたことを示す情報を受け付ける受付手段を有し、
前記投影手段は、前記支払処理がなされたことを示す情報を受け付けていない物体の前記識別情報が関連付けられた動体が所定の領域に移動した場合、前記動体に関連付けられた識別情報が示す物体の支払処理を促す表示を前記動体の移動方向にある領域に投影させることを特徴とする請求項９に記載の情報処理システム。
【請求項１１】
前記動体に関連付けられた前記識別情報が示す物体についての支払処理がなされたことを示す情報を受け付ける受付手段を有し、
前記投影手段は、前記動体に関連付けられた前記識別情報が示す物体についての前記支払処理がなされたか否かに応じて、前記動体の移動方向にある領域に投影させる画像の色彩・形状・点滅間隔の少なくともいずれかを異ならせることを特徴とする請求項９に記載の情報処理システム。
【請求項１２】
コンピュータに、
撮像手段が撮影した映像中の動体が移動した軌跡を取得する取得手順と、
前記映像における前記動体による物体の選択を検知する検知手順と、
前記動体により選択された物体に応じた画像を前記動体の移動方向にある領域に投影させる投影手順と
を実行させるためのプログラム。
【請求項１３】
前記動体が移動した軌跡に応じて決定される検知領域内にある物体が選択されたことを前記検知手順において検知した場合、選択された該物体の識別情報を前記動体と関連付けて記憶手段に記憶させる記憶制御手順を前記コンピュータに実行させるための請求項１２に記載のプログラム。
【請求項１４】
前記コンピュータに、
前記動体に関連付けられた前記識別情報が示す物体についての支払処理がなされたことを示す情報を受け付ける受付手順を実行させ、
前記投影手順において、前記支払処理がなされたことを示す情報を受け付けていない物体の前記識別情報が関連付けられた動体が所定の領域に移動した場合、前記動体に関連付けられた識別情報が示す物体の支払処理を促す表示を前記動体の移動方向にある領域に投影させる処理を前記コンピュータに実行させるための請求項１３に記載のプログラム。
【請求項１５】
前記コンピュータに、
前記動体に関連付けられた前記識別情報が示す物体についての支払処理がなされたことを示す情報を受け付ける受付手順を実行させ、
前記投影手順において、前記動体に関連付けられた前記識別情報が示す物体についての前記支払処理がなされたか否かに応じて、前記動体の移動方向にある領域に投影させる画像の色彩、形状、点滅間隔の少なくともいずれかを異ならせる処理を前記コンピュータに実行させるための請求項１３に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像の解析結果に基づいて、投影手段による画像の投影を制御する技術に関する。
【背景技術】
【０００２】
近年、小売店などにおいて、顧客自身に購入する商品の登録作業を行わせる、セルフチェックアウト端末が導入されるようになっている（例えば、特許文献１）。
【０００３】
また従来、商品陳列棚を撮影する撮影装置の撮影画像の変化に基づいて、顧客が商品を選択したか否かを判定する技術が知られている。顧客が商品を選択した場合、選択した商品の価格情報が顧客の識別情報と関連付けて記憶媒体に記憶される（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−８６７２８号公報
【特許文献２】特開２０００−１２３０８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の技術では、顧客が商品に関連付けられた情報を、顧客がその場で確認することができなかった。本願発明は、顧客が選択した物体（商品）に関する情報を顧客がその場で確認できるようにし、顧客の利便性を高めることを目的とする。
【課題を解決するための手段】
【０００６】
本願発明に係る情報処理装置は、撮像手段が撮影した映像中の動体が移動した軌跡を取得する取得手段と、前記映像における前記動体による物体の選択を検知する検知手段と、前記動体により選択された物体に応じた画像を前記動体の移動方向にある領域に投影させる投影手段とを有することを特徴とする。
【発明の効果】
【０００７】
本願発明によれば、顧客が選択した物体（商品）に関する情報を、顧客の現在の位置の近傍に表示することができる。このようにして、顧客が選択した物体に関する情報をその場で確認できるようにすることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施例に係る情報処理システムの構成例を示す図
【図２】本発明の実施例に係る情報処理システムの店舗内での設置例を示す概略図
【図３】本発明の実施例に係るガイダンス表示投影処理を説明するためのフロー図
【図４】本発明の実施例に係る選択検知処理を説明するためのフロー図
【図５】本発明の実施例に係る返却検知処理を説明するためのフロー図
【図６】本発明の実施例に係る会計処理を説明するためのフロー図
【図７】本発明の実施例に係る出口通過判定処理を説明するためのフロー図
【図８】本発明の実施例に係る情報処理装置が利用する顧客情報のデータ例
【図９】本発明の実施例に係る情報処理装置が利用する商品情報のデータ例
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら本発明の情報処理装置の実施例について説明する。
【００１０】
＜実施例１＞
実施例１に係る情報処理システムの構成を、図１（ａ）及び（ｂ）を用いて説明する。図１（ａ）に示した例では、情報処理装置１００と、操作端末２００と、記憶装置３００とがネットワーク１１０を介して接続される。ネットワーク１１０には、複数台の情報処理装置１００が接続されることとしてもよい。
【００１１】
ネットワーク１１０は、有線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、または無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ  ＬＡＮ）である。なお、本実施例ではネットワーク１１０として有線ＬＡＮ、または無線ＬＡＮを利用しているが、これに限らない。ネットワークとしてＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＵＷＢ（Ｕｌｔｒａ  Ｗｉｄｅ  Ｂａｎｄ）等とすることができる。また、ネットワーク１１０としてＢｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）などを用いることとしてもよい。また、ネットワーク１１０は、インターネットとＬＡＮなど複数のネットワークを組み合わせて構成されてもよい。
【００１２】
まず、情報処理装置１００の構成について説明する。撮像部１０１は、監視対象エリアの撮影を行う。情報処理装置１００内に画角や解像度等の性能が異なる複数の撮像部１０１を設け、それぞれ異なる被写体を撮影することとしてもよい。例えば、映像中の人物を撮影するための第１の撮像部１０１と、映像中の商品を撮影するための第２の撮像部１０１を設けることとしてもよい。第１の撮像部１０１が撮像した映像は、後述する人物の通過検知や追尾処理を行うために用いられる。また、第２の撮像部１０１が撮像した映像は、商品を識別したり、後述する商品の持ち去り検知や置き去り検知を行ったりするために用いられる。それぞれの撮像部１０１のフォーカスや画角等の撮影パラメータは、撮影対象に応じて異ならせることができる。
【００１３】
また撮像部１０１は、物体を撮影した映像から物体に付された識別子を読み取ることができる。例えば商品に付された商品コードを読み取ることができる。
【００１４】
制御部１０３は、メモリ１０４をワークメモリとして用いて、情報処理装置１００の各部を制御する。制御部１０３は例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）により構成される。メモリ１０４は、例えばＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）を用いることができる。
【００１５】
制御部１０３は、撮像部１０１が撮像した映像を解析して、撮像部１０１の撮像領域において予め設定された線又は領域を、特定の動体（例えば、人物）が通過したことを検知する通過検知処理を行う。また制御部１０３は、映像中の動体を追尾して、動体が移動した軌跡を取得する追尾処理を行う。また制御部１０３は映像中の物体（例えば、商品）が持ち去られたことを検知する持ち去り検知処理を行う。また制御部１０３は映像中の物体が置き去られたことを検知する置き去り検知処理を行う。
【００１６】
また制御部１０３は、動体（例えば、顧客）が移動した軌跡に応じて決定される検知領域内にある物体（例えば、商品）が持ち去られたことを検知した場合、持ち去られた該物体の識別情報を動体と関連付けて記憶装置３００に記憶させる記憶制御を行う。
【００１７】
また制御部１０３は、動体が移動した軌跡に応じて決定される検知領域内において物体が置き去られたことを検知した場合、置き去られた該物体の識別情報と動体との関連付けを取り消す処理を記憶装置３００に対して行う。
【００１８】
また制御部１０３は、撮像部１０１が読み取った商品の識別子に対応する識別情報を動体に関連付けて記憶装置３００に記憶させる。例えば、顧客の軌跡から所定範囲内にある商品が選択されたことを検知した場合、選択された商品に付された識別子に応じた識別情報を顧客２０１と関連付けて記憶装置３００に記憶させる。
【００１９】
また制御部１０３は、撮像部１０１が読み取った識別子に対応する識別情報と動体との関連付けを記憶装置３００において取り消す処理を行う。例えば、顧客の軌跡から所定範囲内にある商品が置き去り（返却）されたことを検知した場合、選択された商品に付された識別子に応じた識別情報と顧客との関連付けを取り消す。
【００２０】
記憶部１０５は、制御部１０３が実行する各種プログラム、および、本発明の情報処理装置による支払いを実現するためのプログラムを格納する。制御部１０３は記憶部１０５からこれらのプログラムを読み出して実行し、撮像部１０１が撮像した映像から顧客を認識・識別したり、商品に付されたコードを認識・識別したりする。
【００２１】
投影部１０２は、監視対象エリア内の床面や壁面に情報を投影して表示する。投影部１０２は、動体の軌跡に基づいて、動体の現在の位置に対して動体の移動方向にある領域に、動体に関連付けられた物体に関する画像を投影させる。例えば投影部１０２は、顧客の軌跡に基づいて、顧客の現在の位置に対して顧客の移動方向にある領域に、当該顧客に関連付けられた商品に関する画像を投影させる。
【００２２】
入力部１０６は、操作端末２００から操作指示を受け付け、操作指示に応じた制御信号を生成し、制御部１０３に供給する。
【００２３】
通信インタフェース（Ｉ／Ｆ）１０７は、制御部１０３の制御に基づき、ＬＡＮやインターネットといったネットワーク１１０に対する通信を行う。内部バス１０８は、各部が互いにデータのやり取りを行うことができるように接続する。
【００２４】
操作端末２００は、情報処理装置１００に操作指示を送信する。操作端末２００は例えばＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）等とすることができる。
【００２５】
操作部２２１はユーザから操作指示を受け付ける。操作部２２１は、例えば、キーボード等の文字情報入力デバイスや、マウスやタッチパネル等のポインティングデバイスなどとすることができる。
【００２６】
操作部２２１は撮像部１０１が撮像した映像を表示する。また、ユーザが操作入力を行うためのＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を表示させることができる。
【００２７】
通信インタフェース２２３は、ユーザが入力した操作信号を情報処理装置１００に入力する。また通信インタフェース２２３、撮像部１０１が撮像した撮像画像を受信する。内部バス２２４は、各部が互いにデータのやり取りを行うことができるように接続する。
【００２８】
記憶装置３００は、顧客や商品の認識・識別や、商品登録（レジスター）処理によって発生するデータを記憶する。情報処理装置１００の記憶部１０５が記憶装置３００の機能を備えることとしてもよい。あるいは、操作端末２００が記憶装置３００の機能を備えることとしてもよい。
【００２９】
記憶装置３００に記憶されるデータの例を図８及び図９に示す。図８は記憶装置３００に記憶される顧客情報の一例である。顧客情報として、顧客の識別情報（顧客ＩＤ）８０１、顧客の特徴情報８０２、入店時刻８０３、顧客の移動経路８０４が記憶される。また、顧客情報として、商品の識別情報（商品ＩＤ）８０５、商品名称８０６、商品価格８０７、支払い情報８０８、合計金額８０９等の情報が関連付けて記憶される。この顧客情報は、たとえばＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）等の構造形式で記憶される。
【００３０】
顧客の識別情報８０１は、撮像部１０１により顧客の入店を撮像したときに生成される。また、入店時に顧客の特徴情報８０２が記録される。また、その時刻が入店時刻８０３として記録される。また顧客が移動した店舗内の領域を示す情報が、移動経路８０４として記録される。また顧客が商品棚から手に取った商品のコードを読取り、商品の識別情報８０５として記録される。なお、コード読取りができなかった場合はそれを表す符号（たとえば「００００００」など）を識別情報８０５として記録する。商品名称８０６、商品価格８０７は、後述する商品情報のデータのデータベース内を、前記読み取った商品コードについて検索し、得られた結果を記録したものである。商品の支払いが完了か未了かの情報８０８は、その商品について支払処理が完了しているか未了であるかを記録したものである。合計金額８０９は商品価格８０７を合計した金額を記録したものである。
【００３１】
図９は本実施例における、商品情報のデータの一例である。本実施例では、商品データとして、商品の識別情報９０１、商品の名称９０２、商品の価格９０３、在庫数量９０４、関連商品の識別情報９０５、関連商品と共に購入された割合９０６が記憶される。
【００３２】
関連商品の識別情報９０５は、その店舗またはその店舗の属する店舗チェーン等で、１回の購買行動の中で特定の商品と共に購入されることの多い商品の商品コードを記録したものである。また、関連商品と共に購入された割合９０６は、識別情報９０５が示す関連商品共に購入された頻度等を演算処理して得られる数値を記録したものである。これらのデータは、本発明の実施例に係る情報処理装置が、顧客が商品を手に取ったときに「おすすめ情報」を投影表示する判断・処理に使用される。
【００３３】
商品情報のデータも、顧客情報のデータと同様に、記憶装置３００に、たとえばＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）等の構造形式で記憶される。またその店舗が店舗チェーンに属する場合等に、通信インタフェース（Ｉ／Ｆ）１０７を介して外部サーバにアクセスし、記憶されている商品情報のデータを利用することも可能である。
【００３４】
撮像部１０１、投影部１０２、操作部２２１は、それぞれ独立した装置として構成してもよい。例えば、図１（ｂ）に示すように、撮像装置１１１と投影装置１１２と操作端末２００と表示装置２３０とがネットワーク１１０を介して接続される情報処理システムとして構成することができる。
【００３５】
撮像装置１１１は、撮影範囲内にいる特定の被写体（例えば、人物）を検知する機能を有する。また撮像装置１１１は、検知した被写体の移動した軌跡を管理して追尾する。またネットワーク１１０に画角や解像度等の性能が異なる複数の撮像装置１１１を接続し、それぞれ異なる被写体を検知することとしてもよい。
【００３６】
また撮像装置１１１は、撮像した映像を解析して、撮像部１０１の撮像領域において予め設定された線又は領域を、特定の動体（例えば、人物）が通過したことを検知する通過検知処理を行う。また撮像装置１１１は、映像中の動体を追尾して、動体が移動した軌跡を取得する追尾処理を行う。また撮像装置１１１は映像中の物体（例えば、商品）が持ち去られたことを検知する持ち去り検知処理を行う。また撮像装置１１１は映像中の物体が置き去られたことを検知する置き去り検知処理を行う。
【００３７】
本実施例において、撮像装置１１１は、図１（ａ）を用いて説明した制御部１０３、メモリ１０４、記憶部１０５、入力部１０６、通信インタフェース（Ｉ／Ｆ）１０７等の機能を有し、投影装置１１２、表示装置２３０を制御する。これらの機能を投影装置１１２、又は、表示装置２３０が有することとしてもよい。
【００３８】
投影装置１１２は、上述の投影部１０２と同様の処理を行う。投影装置１１２は、監視対象エリア内の床面や壁面に情報を投影して表示する。投影装置１１２は、動体の軌跡に基づいて、動体の現在の位置に対して動体の移動方向にある領域に、動体に関連付けられた物体に関する画像を投影させる。
【００３９】
表示装置２３０は、撮像装置１１１が撮像した映像を表示する。また、ユーザが操作入力を行うためのＧＵＩを表示させることができる。
【００４０】
次に本実施例に係る情報処理システムの店舗内での設置例について、図２を用いて説明する。図２の例では、撮像部１０１と投影部１０２とが一体に構成された情報処理装置１００が、天井の四隅に４台配置されている。なお、情報処理装置１００の台数や配置はこれに限られない。たとえば、情報処理装置１００内に画角や解像度等の性能が異なる複数の撮像部１０１を設け、それぞれ顧客（人物）と商品（商品コード）とを撮像するように振り分けてもよい。
【００４１】
店員２０２は操作端末２００を用いて、情報処理装置１００に操作信号を入力する。店員２０２は、操作端末２００が撮像部１０１から受信し、操作部２２１に表示された監視映像を確認することができる。店員２０２は小売店のカウンター業務を行いながら、店内監視を行うことができる。
【００４２】
図２（ａ）は、店舗に顧客２０１が入店した直後の状態を示している。まず制御部１０３は、撮像部１０１が撮影した映像を解析して、顧客２０１が入店したことを検知する。例えば、情報処理装置１００は、撮像部１０１の撮影領域において予め設定された所定の線又は領域を、特定の被写体（人物）が通過したことを検知することにより、顧客２０１の入店を検知することができる。制御部１０３は検知した顧客２０１を追尾する。
【００４３】
人物が所定の線又は領域を通過したことを検知すると、情報処理装置１００の投影部１０２は、通過を検知した顧客２０１の進行方向の床面にガイダンス表示を表示させる。
【００４４】
投影部１０２は、ガイダンス表示２０３として、例えば「いらっしゃいませ」等のテキストを表示する。このようにして、顧客に専用の媒体を持たせることなく、ガイダンス表示を行うことができる。
【００４５】
図２（ｂ）は、顧客２０１が商品２０４を手にした状態を示している。制御部１０３は、撮像部１０１が撮像した映像を解析して、顧客２０１が商品２０４を手にしたことを検知する。
【００４６】
商品２０４を手にしたことを検知する方法として、例えば、持ち去り検知を行うことができる。持ち去り検知とは、検知領域内に存在していた物体が持ち去られた状態が所定時間継続していることを検知する処理である。フレーム間差分法や背景差分法などにより、物体が持ち去られる前と後の画像の変化を検知して、持ち去りが生じたことを検知する。例えば、追尾する顧客２０１の現在の位置から所定範囲内で持ち去りを検知した場合に、顧客２０１が商品２０４を手にしたと検知することができる。
【００４７】
制御部１０３は、追尾する顧客２０１が手に取った商品２０４に付されたコード（たとえばバーコード）を検知し、そのコードに対応する商品情報を記憶装置３００から読み出す。そして、制御部１０３は、投影部１０２を制御して、記憶装置３００から読み出した商品情報をガイダンス表示２０３内の所定の領域に表示させる。
【００４８】
ガイダンス表示２０３は、例えば図２（ａ）に示したように、顧客２０１の移動方向の前方に表示される。制御部１０３は、撮像部１０１が撮像した映像から、顧客２０１の現在の位置を検出する。制御部１０３は追尾する顧客２０１の軌跡から、顧客２０１の移動方向を特定する。さらに、制御部１０３は、撮像部１０１の撮像方向を取得する。そして制御部１０３は、顧客２０１の現在の位置、顧客２０１の移動方向、撮像部１０１の撮像方向に基づいて、顧客２０１の移動方向の前方の領域にガイダンス表示２０３が表示されるように投影部１０２を制御する。
【００４９】
このようにして、動体の軌跡に基づいて、動体の現在の位置に対して動体の移動方向にある領域に、動体に関連付けられた物体に関する画像を投影させる。
【００５０】
顧客２０１は、自身が手に取った商品２０４がガイダンス表示２０３に表示された場合、ガイダンス表示２０３内のＧＵＩ部品に手や足をかざして、商品２０４を選択したことを確定させる。商品の選択が確定されると、制御部１０３は顧客２０１が商品２０４を選択したことを記憶装置３００に記憶させる。
【００５１】
商品の選択を確定した場合、ガイダンス表示２０３には、商品２０４の商品情報（例えば、価格情報）と、現在までに顧客２０１が選択した商品の金額の合計等の情報が表示される。
【００５２】
なお、十分な検知が出来なかった場合等、コードを検知しなかった場合には、商品コードをカメラに向けることを顧客に促すメッセージが表示される。
【００５３】
ガイダンス表示２０３におけるＧＵＩ部材２０８、２０９、２１０、及び２１１は、ＧＵＩ部材上に顧客２０１が手や足をかざすジェスチャーをしてこれらを指示・操作することを可能にする。
【００５４】
顧客２０１はＧＵＩ部材を操作して、ガイダンス表示２０３の表示部２２２に表示する情報の内容を切り替えることができる。例えば、表示部２２２に商品情報が表示されている状態で顧客２０１がＧＵＩ部材２０８を操作すると、店舗内の商品配置を示す情報が表示される。また、店舗内の商品配置を示す情報が表示されている状態から、ＧＵＩ部材２０９を操作すると商品情報の表示に戻る。さらに、ＧＵＩ部材２１０を操作すると、顧客２０１が表示部２２２に表示されている商品の購入を確定させることができる。顧客２０１により商品の購入が確定されると、記憶装置３００は購入が確定された商品と顧客２０１とを関連付けて保持する。
【００５５】
図２（ｃ）は、顧客２０１が手にした商品２０４と一緒に購入するとよい商品や、その売り場への道案内等の、いわゆる「おすすめ情報」を情報処理装置１００が投影表示している状態を示す。矢印２１２は、顧客２０１が手にした商品２０４と一緒に購入するとよい商品の売り場の方向を指し示している。表示部２２２には、一緒に購入するとよい商品が表示される。この「おすすめ情報」の表示は顧客２０１の移動に伴って移動し、顧客２０１が案内された売り場に到着したり、別の商品を手にとったりしたときに消去または変更される。
【００５６】
制御部１０３は、顧客２０１が手にした商品２０４の商品情報を表示した後に所定時間経過すると、記憶装置３００において商品２０４に関連付けて記憶されているおすすめ商品の商品情報をガイダンス表示２０３に表示させる。
【００５７】
さらに制御部１０３は、顧客２０１の現在位置と、おすすめ商品が配置されている位置とに基づいて、顧客２０１の現在位置から、おすすめ商品までの経路を検知する。
【００５８】
顧客２０１の現在位置は、例えば撮像部１０１の現在の撮像方向と、撮像部１０１の現在の撮像領域における顧客２０１の位置に基づいて決定することができる。また、おすすめ商品の位置は記憶装置３００にあらかじめ記憶されているものとする。
【００５９】
例えば、制御部１０３は、店舗を上部から見た様子を示す店舗の地図上に、顧客２０１の現在位置と、おすすめ商品の位置を反映させ、顧客２０１の現在位置からおすすめ商品の位置までの経路を求めることができる。
【００６０】
図２（ｄ）は、店舗の出入り口を店舗内から見た状態を示している。図中に斜線で表わした領域２０５は、顧客の支払処理が終了していない場合等に投影部１０２より注意表示２０７を投影表示する床面上の領域である。
【００６１】
次に、本発明の実施例に係る情報処理装置１００が行う処理について図３から図７のフローチャートを用いて説明する。図３から図７に示した処理は、制御部１０３が記憶部１０５に格納されたプログラムをメモリ１０４に展開して実行することにより実現される。あるいは、フローチャート図３から図７に示す処理の一部又は全体をハードウェアが行うこととしてもよい。
【００６２】
まず、顧客２０１が入店してからガイダンス表示２０３を表示させるまでの処理（ガイダンス表示投影処理）について図３を用いて説明する。
【００６３】
まず制御部１０３は、顧客２０１が店舗の入り口２０６から入店したことを検知する。例えば制御部１０３は、入り口２０６を撮影する撮像部１０１が撮影した映像を解析して、入り口２０６を人物が通過したことを検知する（Ｓ３０１）。顧客２０１の入店を検知すると制御部１０３は、顧客２０１の識別情報（顧客ＩＤ）を生成する。制御部１０３は、識別情報とともに、顧客の入店時刻などを記憶装置３００に記憶することとしてもよい。
【００６４】
次に制御部１０３は入店した顧客２０１の追尾を開始する（Ｓ３０２）。追尾を開始すると、追尾対象の時間ごとの撮像領域における位置（追尾情報）が顧客の識別情報と関連付けて記憶装置３００に記憶される。
【００６５】
さらに制御部１０３は撮像部１０１が撮像した顧客２０１の映像を記憶部１０５に記憶させる（Ｓ３０３）。本実施例では、記憶部１０５は、現在から所定の時間過去までの映像を記憶するようにして、時間の経過に伴って記録映像を上書きしてゆくことができる。例えば、現在から５分前までの追尾映像を記憶部１０５に保持する。あるいは、記憶部１０５は、顧客２０１を追尾している間の全ての映像を記憶することとしてもよい。また、映像は記憶装置３００に記憶されることとしてもよい。
【００６６】
次に制御部１０３は、入店を検知した顧客２０１の特徴量を抽出して記憶装置３００に記録する（Ｓ３０４）。例えば制御部１０３は、特徴量として、入店した顧客の顔画像の特徴を抽出する。顔画像のほか、服装の色などを特徴量として抽出することとしてもよい。抽出された特徴量は、顧客の識別情報と関連付けて記憶装置３００に記憶される。
【００６７】
次に制御部１０３は、投影部１０２を制御して、顧客２０１の近傍の床面、あるいは壁面にガイダンス表示２０３を投影させる（Ｓ３０５）。例えば、制御部１０３は、追尾する顧客２０１の進行方向を検知して、顧客２０１に対して進行方向前方にガイダンス表示２０３を表示させる。例えば、入店した顧客２０１に対しては、「いらっしゃいませ」などのガイダンス表示２０３を表示させる。
【００６８】
次に、顧客２０１が商品を選択したことを検知する処理（選択検知処理）について図４を用いて説明する。図４の処理は、図３を用いて説明したガイダンス表示投影処理に続いて実行することができる。
【００６９】
まず制御部１０３は、追尾中の顧客２０１が商品を手に取ったか判定する（Ｓ４０１）。本実施例では、追尾する顧客２０１の現在の位置から所定範囲内で商品の持ち去りが検知されたか否かによって商品を手に取ったか判定する。商品の持ち去りが検知されない場合はステップＳ４１０の処理に進む。
【００７０】
商品の持ち去りが検知された場合（Ｓ４０１においてＹｅｓの場合）、続いて制御部１０３は、撮像部１０１が撮影した映像中から、顧客２０１が手に取った商品のコードの読取りを行ったか判定する（Ｓ４０２）。
【００７１】
十分な検知が出来なかった場合等、コードを読み取れなかった場合（Ｓ４０２でＮｏの場合）、制御部１０３は、商品コードをカメラに向けることを顧客に促すメッセージをガイダンス表示２０３に表示させる（Ｓ４０３）。あるいは、選択した商品の識別情報を顧客の識別情報と関連付けるように、ガイダンス表示２０３を操作することを顧客２０１に促す表示を、ガイダンス表示２０３に表示させることとしてもよい。
【００７２】
このようして、持ち去られたことを検知した物体に付された識別子を読み取らなかった場合、持ち去られたことを検知した物体の識別情報を動体と関連付けて記憶装置３００に記憶させることをユーザに促すための表示を投影させる。
【００７３】
一方、コードの読取りに成功した場合（Ｓ４０２でＹｅｓの場合）、ガイダンス表示２０３に確認画面を表示させる（Ｓ４０４）。この確認画面は、顧客２０１が、商品を選択したことを確定させるための画面である。例えば、読み取ったコードに対応する商品を示す映像をガイダンス表示２０３の表示部２２２に表示させ、当該商品を顧客２０１が選択したか否かを確認する確認メッセージをさらに表示させる。
【００７４】
制御部１０３は、確認メッセージに対する顧客２０１の応答に基づいて、顧客が商品の選択を確定させたか否か判定する（Ｓ４０５）。制御部１０３は、撮像部１０１が撮像した映像から、顧客２０１がガイダンス表示２０３に対して行ったジェスチャーを読み取って、顧客２０１が商品を選択したことを確定させたか判定する。
【００７５】
顧客２０１が商品を選択したことを確定させた場合（Ｓ４０５でＹｅｓ）、制御部１０３は、顧客２０１の識別情報と、選択された商品の識別情報（商品ＩＤ）とを関連付けて記憶装置３００に記憶させる（Ｓ４０６）。
【００７６】
さらに制御部１０３は、選択された商品のコードに基づいて、当該商品の商品情報を記憶装置３００から取得する。そして、ガイダンス表示２０３にその商品の価格や、追尾している顧客２０１が今までに選択した商品の合計金額、おすすめ情報、おすすめ商品までの経路などを表示させる（Ｓ４０７）。この合計金額は、追尾する顧客２０１が入店してから現在までに選択した商品と、当該商品に関連付けられた商品情報とを記憶装置３００から読み出して計算することができる。
【００７７】
おすすめ情報とは、例えば、顧客２０１が選択した商品に予め関連付けられて記憶装置３００に記憶されている商品の商品情報である。またおすすめ商品までの経路は、上述のように、顧客２０１の現在位置と、おすすめ商品の位置と、店舗のレイアウト情報などに基づいて決定することができる。
【００７８】
商品情報、おすすめ情報等の情報をガイダンス表示２０３に表示させた後、制御部１０３はステップＳ４１０に進む。
【００７９】
ステップＳ４０５において、顧客２０１が商品を選択したことを確定する処理を行わなかった場合、あるいは、商品を選択していないことを示す入力を行った場合（Ｓ４０５においてＮｏの場合）、操作端末２００に通知する（Ｓ４０８）。さらに制御部１０３は、選択が確定しなかった商品の識別情報を記憶装置３００に記憶させる。
【００８０】
そして、ステップＳ３０５において持ち去り検知を行った前後所定時間の映像を記憶部１０５から読み出して、操作端末２００に表示させる（Ｓ４０９）。このようにして、顧客２０１が商品を手に取ったと検知した場面の実際の状況を、店員２０２が確認することができる。店員２０２は操作端末２００の表示部２２２に表示された映像を確認して、情報処理装置１００の検知結果が確かであったか等を確認することができる。
【００８１】
商品を選択したにもかかわらず、顧客２０１によって選択の確定処理がなされなかった場合には、店員２０２は操作端末２００を介して記憶装置３００を操作して、当該商品の選択確定処理を行うことができる。例えば、操作端末２００は、顧客２０１が商品を手に取ったと検知した場面の映像と共に、当該顧客が商品を選択したことを確定させるか否かを入力するための入力画面を表示することとしてもよい。ステップＳ４０９の処理を終了すると、制御部１０３はステップＳ４１０の処理を実行する。
【００８２】
制御部１０３は、顧客２０１が出口を通過したか否かを判定する（Ｓ４１０）。顧客２０１が出口を通過した場合には、選択検知処理を終了する。顧客２０１の出口通過が検知されていない場合には、ステップＳ４０１からステップＳ４１０までの処理を繰り返す。顧客２０１が出口を通過する際に制御部１０３が行う処理の詳細については、図７を用いて後述する。
【００８３】
次に、顧客２０１が商品を返却したことを検知する処理（返却検知処理）について図５を用いて説明する。図５の処理は、図３を用いて説明したガイダンス表示投影処理に続いて実行することができる。また、図５の処理は、図４を用いて説明した選択検知処理と並行して実行することができる。
【００８４】
まず制御部１０３は、追尾中の顧客２０１が商品を棚に戻したか判定する（Ｓ５０１）。本実施例では、追尾する顧客２０１の現在の位置から所定範囲内で商品の置き去りが検知されたか否かによって商品を棚に戻したか判定する。置き去り検知とは、検知領域内に今まで存在しなかった物体が置き去られた状態が所定時間継続していることを検知する処理である。フレーム間差分法や背景差分法などにより、物体が持ち去られる前と後の画像の変化を検知して、置き去りが生じたことを検知する。例えば、追尾する顧客２０１の現在の位置から所定範囲内で置き去りを検知した場合に、顧客２０１が商品２０４を返却したと検知することができる。商品の置き去りが検知されない場合はステップＳ５０９の処理に進む。
【００８５】
商品の置き去りが検知された場合（Ｓ５０１においてＹｅｓの場合）、続いて制御部１０３は、撮像部１０１が撮影した映像中から、顧客２０１が手に取った商品のコードの読取りを行ったか判定する（Ｓ４０２）。
【００８６】
十分な検知が出来なかった場合等、コードを読み取れなかった場合（Ｓ５０２でＮｏの場合）、制御部１０３は、商品コードをカメラに向けることを顧客に促すメッセージをガイダンス表示２０３に表示させる（Ｓ５０３）。
【００８７】
一方、コードの読取りに成功した場合（Ｓ５０２でＹｅｓの場合）、ガイダンス表示２０３に確認画面を表示させる（Ｓ５０４）。この確認画面は、顧客２０１が、商品を棚に返却したことを確定させるための画面である。例えば、読み取ったコードに対応する商品を示す映像をガイダンス表示２０３の表示部２２２に表示させ、当該商品を顧客２０１が返却したか否かを確認する確認メッセージをさらに表示させる。
【００８８】
制御部１０３は、確認メッセージに対する顧客２０１の応答に基づいて、顧客が商品の返却を確定させたか否か判定する（Ｓ５０５）。制御部１０３は、撮像部１０１が撮像した映像から、顧客２０１がガイダンス表示２０３に対して行ったジェスチャーを読み取って、顧客２０１が商品を返却したことを確定させたか判定する。
【００８９】
顧客２０１が商品を返却したことを確定させた場合（Ｓ５０５でＹｅｓ）、制御部１０３は、記憶装置３００における、顧客２０１の識別情報と返却された商品の識別情報との関連付けを解消する（Ｓ５０６）。顧客２０１の識別情報と返却された商品の識別情報とが関連付けられた状態から、関連付けられていない状態になるように変更する。
【００９０】
ステップＳ５０５において、顧客２０１が商品を返却したことを確定する処理を行わなかった場合、あるいは、商品を返却していないことを示す入力を行った場合（Ｓ５０５においてＮｏの場合）、操作端末２００に通知する（Ｓ５０７）。さらに、制御部１０３は返却が確定されなかった商品の識別情報を記憶装置３００に記憶させる。
【００９１】
そして、ステップＳ５０２において置き去り検知を行った前後所定時間の映像を記憶部１０５から読み出して、操作端末２００に表示させる（Ｓ５０８）。このようにして、顧客２０１が商品を手に取ったと検知した場面の実際の状況を、店員２０２が確認することができる。店員２０２は操作端末２００の表示部２２２に表示された映像を確認して、情報処理装置１００の検知結果が確かであったか等を確認することができる。
【００９２】
商品を返却したにもかかわらず、顧客２０１によって返却の確定処理がなされなかった場合には、店員２０２は操作端末２００を介して記憶装置３００を操作して、当該商品の返却確定処理を行うことができる。例えば、操作端末２００は、顧客２０１が商品を返却したと検知した場面の映像と共に、当該顧客が商品を返却したことを確定させるか否かを入力するための入力画面を表示することとしてもよい。ステップＳ５０８の処理を終了すると、制御部１０３はステップＳ５０９の処理を実行する。
【００９３】
制御部１０３は、会計処理が行われたか否かを判定する（Ｓ５０９）。会計処理が行われた場合には、返却検知処理を終了する。会計処理が行われていない場合には、ステップＳ５０１からステップＳ５０９までの処理を繰り返す。
【００９４】
続いて、会計処理について図６のフローチャートを用いて説明する。本実施例において、会計処理を情報処理装置１００の制御部１０３が行う場合について説明するが、図６に示した処理を操作端末２００内のプロセッサが行うこととしてもよい。
【００９５】
制御部１０３は、撮像部１０１が撮像した映像を解析して、顧客２０１が所定の場所（例えば、会計カウンター）に移動したか判定する（Ｓ６０１）。
【００９６】
顧客が所定の場所に移動すると（Ｓ６０１でＹｅｓ）、制御部１０３は、商品の選択又は返却が未確定の商品を表示端末２００の表示部２２２に表示させる（Ｓ６０２）。
【００９７】
例えば、商品の選択を検知（Ｓ４０１でＹｅｓ）したが、ユーザによる確認処理が行われなかった（Ｓ４０５でＮｏ）商品のリストを表示させる。すなわち、顧客２０１が選択したことを検知した商品であり、その商品の識別情報が顧客２０１の識別情報に関連付けられていない商品のリストを操作端末２００の表示部２２２に表示させる。
【００９８】
また例えば、商品の返却を検知（Ｓ５０１でＹｅｓ）したが、ユーザによる確認処理が行われなかった（Ｓ５０５でＮｏ）商品のリストを表示させる。すなわち、顧客２０１が返却したことを検知した商品であり、その商品の識別情報が顧客２０１の識別情報に関連付けられたままである商品のリストを操作端末２００の表示部２２２に表示させる。
【００９９】
店員２０２は、ステップＳ６０２で表示された内容を確認しながら、顧客２０１が会計カウンターに持ってきている商品と、顧客の識別情報に関連付けられて記憶装置３００に記憶されている商品情報とが整合しているか確認する。不整合がある場合には、店員２０２は顧客２０１の識別情報に関連付けられた商品の識別情報の更新（登録、削除）を行って、顧客２０１が会計カウンターに持ってきた実際の商品と整合させる。制御部１０３は、顧客の識別情報と商品の識別情報との関連付けの更新を受け付ける（Ｓ６０３）。
【０１００】
制御部１０３は、更新後の関連付けに基づいて、顧客２０１の識別情報に関連付けられた商品の識別情報と、それらの商品の金額の合計金額を操作端末２００の表示部２２２に表示する（Ｓ６０４）。
【０１０１】
そして、合計金額に応じた代金を受け取った店員２０２が、支払いが完了したことを操作端末２００に入力する支払処理を行う（Ｓ６０５）。操作端末２００において支払処理がなされると、制御部１０３は顧客２０１に関連付けられた商品についての支払処理がなされたことを示す情報を操作端末２００から受け付ける。通信Ｉ／Ｆ１０７は支払処理がなされたことを示す受付処理を行う。
【０１０２】
制御部１０３は、顧客２０１の識別情報に関連付けられた商品の識別情報について、支払いが完了していることを示す情報を追加する（Ｓ６０６）。操作端末２００が記憶装置３００を操作して、顧客２０１の識別情報に関連付けられた商品の識別情報について、支払いが完了していることを示す情報を追加することとしてもよい。
【０１０３】
ステップＳ６０６の処理を行うと、支払処理が完了した顧客２０１の進行方向に表示させるガイダンス表示２０３の表示を、支払処理が完了する前の表示と異ならせる（Ｓ６０７）。例えば、ガイダンス表示２０３の色彩や形状や、点滅間隔等の表示パターンを変更する。このように変更することにより、その顧客の商品の支払いが完了しているか否かが、顧客２０１や店員２０２にとって明確になる。
【０１０４】
このようにして、動体に関連付けられた識別情報が示す物体についての支払処理がなされたか否かに応じて、動体の現在の位置に対して動体の移動方向にある領域に投影させる画像の色彩・形状・点滅間隔の少なくともいずれかを異ならせることができる。
【０１０５】
なお、あらかじめ店舗（小売業者）が顧客および金融機関等と、認証情報を用いた自動支払いを取り決めていたときは、カウンターでの店員による処理入力を要しないものとすることも可能である。
【０１０６】
続いて、顧客が出口近傍の所定領域２０５に移動したときの処理（出口通過判定処理）について、図７のフローチャートを用いて説明する。
【０１０７】
制御部１０３は、顧客２０１が出口に近づいたか判定する（Ｓ７０１）。制御部１０３は、追尾する顧客２０１が所定の出口領域に侵入した場合、ステップＳ７０２の処理に進む。それ以外の場合は、ステップＳ７０１の処理を繰り返す。
【０１０８】
ステップＳ７０２の処理では、制御部１０３は、顧客２０１の識別情報に関連付けられた全ての商品について支払いが行われているか判定する。顧客２０１の識別情報に関連付けられた商品に支払いが行われていない商品が含まれる場合には、制御部１０３は、ガイダンス表示２０３に注意表示を行う。注意表示として、例えば図２（ｄ）に示すように「注意！支払いを行ってください」等の表示を行うことができる。
【０１０９】
このようにして、支払処理がなされたことを示す情報を受け付けていない物体の識別情報が関連付けられた動体が所定の領域に移動した場合、動体に関連付けられた識別情報が示す物体の支払処理を促すガイダンス表示２０３を投影させる。
【０１１０】
ステップＳ７０２の処理に続いて、制御部１０３は追尾している顧客の映像を、操作端末２００の表示部２２２に表示させる（Ｓ７０３）。また、ステップＳ７０３において追尾している顧客の映像を録画して記憶装置３００に記憶させることとしてもよい。
【０１１１】
顧客２０１の識別情報に関連付けられた全ての商品について支払いが行われている場合（Ｓ７０２においてＹｅｓの場合）、及び、ステップＳ７０４の処理を行った場合、追尾する顧客２０１が出口を通過したか判定する（Ｓ７０５）。
【０１１２】
顧客２０１が出口を通過したことを検知した場合（Ｓ７０５においてＹｅｓ）、顧客２０１の追尾処理を終了する（Ｓ７０６）。一方、顧客２０１が出口を通過しない場合には、ステップＳ７０１からステップＳ７０５の処理を繰り返す。
【０１１３】
なお、ステップＳ７０２において顧客２０１の識別情報に関連付けられた全ての商品について支払いが行われている場合、ガイダンス表示２０３に「ご来店ありがとうございました。」等の表示をさせることとしてもよい。
【０１１４】
図７を用いて説明した出口通過処理は、図３を用いて説明した選択検知処理、及び、図４を用いて説明した返却検知処理と並行して実行することができる。
【０１１５】
上述の例では、１台の情報処理装置１００が図３から図７を用いて説明した処理を行う場合について説明したが、これに限らない。複数台の情報処理装置１００が連携して上述の処理を実現することとしてもよい。
【０１１６】
情報処理装置１００が有する撮像部１０１の撮像方向と、入店時にステップＳ３０４において取得した特徴量とに基づいて、同一の顧客２０１を複数の情報処理装置１００が連携して追尾し、ガイダンス表示２０３を表示させることができる。
【０１１７】
第１の情報処理装置１００が追尾する特定の顧客２０１が撮像された撮像領域から、当該特定の顧客２０１と同じ特徴量を持つ顧客２０１を第２の情報処理装置１００が検出する。第２の情報処理装置１００は、検出した顧客２０１を特定の顧客２０１として追尾する。このようにして、複数の情報処理装置１００が連携しながら同一の顧客２０１の追尾を行うことができる。
【０１１８】
同一の顧客２０１を追尾する情報処理装置１００が複数存在する場合、いずれかの情報処理装置１００の制御部１０３は、顧客２０１の進行方向前方にガイダンス表示２０３を表示するために適した設置位置の情報処理装置１００を選択する。そして、選択した情報処理装置１００の投影部１０２からガイダンス表示２０３を投影させる。投影を行う情報処理装置１００の選択処理は、制御部１０３にかえて、ネットワーク１１０に接続されたサーバ装置が行うこととしてもよい。
【０１１９】
制御部１０３あるいは上述のサーバ装置は、追尾する顧客２０１の進行方向、ネットワーク１１０に接続された情報処理装置１００の設置位置情報、及び、各情報処理装置１００が有する投影部１０２の投影方向に応じて、上述の選択処理を行うことができる。
【０１２０】
また、情報処理装置１００、操作端末２００、及び、記憶装置３００を制御するサーバを設け、当該サーバに図３から図７を用いて説明した処理を実行させることとしてもよい。
【０１２１】
このようにして、店員がカウンターで商品登録（レジスター）に要する時間を省略または短縮することができる。また、顧客が出入り口近傍に移動したとき、支払いが完了していない商品がある場合は注意表示がされるため、支払い漏れを防止し、または抑制することが可能となる。
【０１２２】
以上の構成によれば、顧客が選択した物体（商品）に関する情報を、顧客の現在の位置の近傍に表示することができる。このようにして、顧客が選択した物体に関する情報をその場で確認できるようにすることができる。
【０１２３】
ガイダンス表示を顧客２０１が有する携帯端末に表示させることとしてもよい。例えば、記憶装置３００に顧客２０１の認証情報と、顧客２０１が有する携帯端末に情報を送信するためのアドレス情報を予め関連付けて記憶させる。制御部１０３は、顧客２０１が入店した際にユーザの認証情報を取得する。この認証情報は、例えば、顧客２０１の顔画像等とすることができる。制御部１０３は記憶部３００に記憶されている認証情報を有する顧客２０１が入店した場合、ガイダンス表示２０３に替えて、当該認証情報に対応するアドレス情報宛てにガイダンス表示２０３と同様の内容を表示させることができる。
【０１２４】
このようにしても、顧客が選択した物体に関する情報をその場で確認できるようにすることができる。
【０１２５】
＜その他の実施例＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2015001879.tif 000003
【図２】
2015001879.tif 000004
【図３】
2015001879.tif 000005
【図４】
2015001879.tif 000006
【図５】
2015001879.tif 000007
【図６】
2015001879.tif 000008
【図７】
2015001879.tif 000009
【図８】
2015001879.tif 000010
【図９】
2015001879.tif 000011