(57)【要約】画像を投影して情報を提示するシステムにおいて、新たなユーザインタフェースを提供する。情報処理システム２０００は、実対象物検出部２０２０、投影部２０６０、及び操作検出部２０８０を有する。実対象物検出部２０２０は、実対象物を検出する。投影部２０６０は、第１画像を投影する。操作検出部２０８０は、実対象物に対するユーザ操作を検出する。タスク実行部２１００は、ユーザ操作に基づいて、第１画像に関連するタスクを実行する。
2015159550.tif 000002
【特許請求の範囲】
【請求項１】
実対象物を検出する実対象物検出手段と、
第１画像を投影する投影手段と、
前記実対象物に対するユーザ操作を検出する操作検出手段と、
前記ユーザ操作に基づいて、前記第１画像に関連するタスクを実行するタスク実行手段と、
を有する情報処理システム。
【請求項２】
前記実対象物に関連するＩＤを取得するＩＤ取得手段を有し、
前記タスク実行手段は、前記ＩＤ取得手段によって取得されたＩＤと、前記第１画像に関連するコンテンツ情報と、を関連付けて関連情報を生成する
請求項１に記載の情報処理システム。
【請求項３】
前記タスク実行手段は、前記第１画像に関連するコンテンツ情報の一部又は全部を表す画像を投影する処理を行う
請求項１又は２に記載の情報処理システム。
【請求項４】
前記タスク実行手段は、前記第１画像が所定のユーザ操作によって前記実対象物へ近接された場合、前記第１画像の投影位置と前記実対象物との間の距離が所定距離以内となった場合、前記第１画像の投影位置と前記実対象物との間の距離が所定距離以内である状態が所定時間以上継続した場合、及び所定のユーザ操作が所定時間以上継続された場合のいずれか１つ以上の場合にタスクを実行する
請求項１乃至３いずれか一項に記載の情報処理システム。
【請求項５】
前記実対象物は可搬物体の一部分又は全体であり、
当該情報処理システムは、
前記タスク実行手段によって生成された前記関連情報を格納する関連情報格納手段と、
情報取得装置と、を有し、
前記情報取得装置は、
前記実対象物に関連するＩＤを取得する第２ＩＤ取得手段と、
前記関連情報格納手段から、前記第２ＩＤ取得手段によって取得されたＩＤに関連する前記コンテンツ情報を取得するコンテンツ情報取得手段と、
を有する請求項４に記載の情報処理システム。
【請求項６】
前記投影手段は、第２画像をさらに投影し、
前記第１画像又は前記第２画像に対するユーザ操作を検出する第２操作検出手段を有し、
前記タスク実行手段は、前記第２操作検出手段によって、前記第１画像と前記第２画像を近接させる操作が検出された場合に、前記第１画像に関連するタスクを実行する
請求項１乃至５いずれか一項に記載の情報処理システム。
【請求項７】
前記実対象物を撮像し、撮像結果からその実対象物に関連するＩＤを取得するＩＤ取得手段を有し、
前記タスク実行手段は、前記第２操作検出手段によって、前記第１画像と前記第２画像を近接させる操作が検出された場合に、前記ＩＤ取得手段によって取得されたＩＤと、前記第１画像に関連するコンテンツ情報と、を関連付けて関連情報を生成する
請求項６に記載の情報処理システム。
【請求項８】
前記第２タスクは、生成した関連情報を外部装置へ送信する
請求項７に記載の情報処理システム。
【請求項９】
情報処理システムを制御するコンピュータによって実行される制御方法であって、
実対象物を検出し、
第１画像を投影し、
前記実対象物に対するユーザ操作を検出し、
前記ユーザ操作に基づいて、前記第１画像に関連するタスクを実行する
制御方法。
【請求項１０】
コンピュータに情報処理システムを制御する機能を持たせるプログラムであって、前記コンピュータに、
実対象物を検出する実対象物検出機能と、
第１画像を投影する投影機能と、
前記実対象物に対するユーザ操作を検出する操作検出機能と、
前記ユーザ操作に基づいて、前記第１画像に関連するタスクを実行するタスク実行機能と、
を持たせるプログラムを記憶するコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、制御方法、及びプログラム記録媒体に関する。
【背景技術】
【０００２】
ディスプレイやプロジェクタなどによって映像や情報を表示する広告媒体であるデジタルサイネージが知られている。そして、デジタルサイネージの中には、ユーザ操作に応じて表示内容等が変化するインタラクティブなものがある。例えば特許文献１は、パンフレットのマーカに対してユーザが指差しを行うと、そのマーカに応じたコンテンツが床面等に表示される。【０００３】
特許文献２には、印刷物に印刷されている印刷コンテンツを撮影した画像に基づいて、その印刷物に関連する情報を出力する情報提供装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−０１４６０６号公報
【特許文献２】国際公開第２０１４／０２７４３３号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
インタラクティブなデジタルサイネージにおいて、デジタルサイネージによって表示される情報に応じて、ユーザからさらに入力を加えられることが好ましい。こうすることで、よりインタラクティブなデジタルサイネージが実現できるためである。特許文献１では、ユーザが選択したマーカに関連するコンテンツが表示されるものの、表示されたコンテンツに対してさらにユーザから操作を加えることは想定されていない。【０００６】
ここで、投影された画像を入力インタフェースとすることが考えられる。例えば特許文献２には、投影された画像を入力インタフェースにすることが記載されている。しかし、投影された画像に対する操作には、操作した感触が伴わないため、操作感を感じ難く、違和感を覚える可能性がある。【０００７】
本発明は、以上の課題に鑑みてなされたものである。本発明の目的の１つは、画像を投影して情報を提示するシステムにおいて、新たなユーザインタフェースを提供することである。
【課題を解決するための手段】
【０００８】
本発明一態様に係る情報処理システムは、実対象物を検出する実対象物検出手段と、第１画像を投影する投影手段と、前記実対象物に対するユーザ操作を検出する操作検出手段と、前記ユーザ操作に基づいて、前記第１画像に関連するタスクを実行するタスク実行手段と、を有する。【０００９】
本発明一態様に係る制御方法は、情報処理システムを制御するコンピュータによって実行される。当該制御方法は、実対象物を検出する実対象物検出ステップと、第１画像を投影する投影ステップと、前記実対象物に対するユーザ操作を検出する操作検出ステップと、前記ユーザ操作に基づいて、前記第１画像に関連するタスクを実行するタスク実行ステップと、を有する。【００１０】
本発明一態様に係る記録媒体は、本発明が提供する情報処理システムが有する各機能構成部の機能をコンピュータに持たせることで、このコンピュータに、本発明が提供する情報処理システムとして動作する機能を持たせるプログラムを記憶する。本発明は上述の記録媒体が記憶するプログラムによっても実現される。
【発明の効果】
【００１１】
本発明によれば、画像を投影して情報を提示するシステムにおいて、新たなユーザインタフェースを提供される。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の第１の実施形態に係る情報処理システムを示すブロック図である。
【図２】図２は、本発明の第１の実施形態に係る情報処理システム２０００のハードウエア構成を例示するブロック図である。
【図３】図３は、投影装置１００及び監視装置２００の組み合わせを含む装置４００を例示する図である。
【図４】図４は、本発明の第１の実施形態の情報処理システム２０００によって実行される処理の流れを例示するフローチャートである。
【図５】図５は、第１の適用例における想定環境を示す図である。
【図６】図６は、第１の適用例におけるユーザ周辺のテーブル１０の様子を例示する平面図である。
【図７】図７は、画像取得部２０４０を有する本発明の第１の実施形態の情報処理システム２０００Ａを例示するフローチャートである。
【図８】図８は、本発明の第１の実施形態の情報処理システム２０００を利用する様子を表す図である。
【図９】図９は、本発明の第２の実施形態に係る情報処理システム２０００Ｂを例示するブロック図である。
【図１０】図１０は、関連情報格納部２１４０を有する第２の実施形態の情報処理システム２０００Ｃを例示するブロック図である。
【図１１】図１１は、本発明の第２の実施形態の情報処理システム２０００Ｂによって実行される処理の流れを例示するフローチャートである。
【図１２】図１２は、本発明の第３の実施形態に係る情報処理システム２０００Ｄを示すブロック図である。
【図１３】図１３は、本発明の第３の実施形態の情報取得装置２２００によって実行される処理の流れを示すフローチャートである。
【図１４】図１４は、コンテンツをダウンロードするためのチケットがレジ端末から出力される様子を例示する図である。
【図１５】図１５は、本発明の第４の実施形態に係る情報処理システム２０００Ｅを示すブロック図である。
【図１６】図１６は、本発明の第４の実施形態の情報処理システム２０００Ｅによって実行される処理の流れを示すフローチャートである。
【図１７】図１７は、本発明の第５の実施形態に係る情報処理システム２０００Ｆを示すブロック図である。
【図１８】図１８は、第４の適用例におけるテーブル１０上の様子を表す平面図である。
【図１９】図１９は、情報処理システム２０００Ｆと Web システム３０００との組み合わせを示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【００１４】
［第１の実施形態］
図１は、第１の実施形態に係る情報処理システム２０００を示すブロック図である。図１において、矢印は情報の流れを表している。さらに、図１において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
【００１５】
情報処理システム２０００は、実対象物検出部２０２０、投影部２０６０、操作検出部２０８０、及びタスク実行部２１００を有する。実対象物検出部２０２０は、実対象物を検出する。実対象物は、実物体の全体であってもよいし、実物体の一部分であってもよい。実対象物検出部２０２０が検出する実対象物は、１つであってもよいし、複数であってもよい。投影部２０６０は、第１画像を投影する。投影部２０６０が投影する第１画像は、１つであってもよいし、複数であってもよい。操作検出部２０８０は、実対象物に対するユーザ操作を検出する。タスク実行部２１００は、ユーザ操作に基づいて、第１画像に関連するタスクを実行する。
【００１６】
＜ハードウエア構成＞
情報処理システム２０００の各機能構成部は、各機能構成部を実現するハードウエア構成要素（例：ハードワイヤードされた電子回路など）で実現されてもよい。情報処理システム２０００の各機能構成部は、ハードウエア構成要素とソフトウエア構成要素との組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。
【００１７】
図２は、情報処理システム２０００のハードウエア構成を例示するブロック図である。図２において、情報処理システム２０００は、投影装置１００、監視装置２００、バス３００、及び計算機１０００によって実現されている。投影装置１００は、画像を投影する機能を有する装置であり、例えばプロジェクタなどである。監視装置２００は、周囲を監視する機能を有する装置であり、例えばカメラなどである。計算機１０００は、サーバや PC (Personal Computer）など、種々の計算機である。バス３００は、投影装置１００、監視装置２００、及び計算機１０００の間で互いにデータを送受信するためのデータ伝送路である。ただし、投影装置１００、監視装置２００、及び計算機１０００の間を接続する方法は、バス接続に限定されない。
【００１８】
＜＜計算機１０００の詳細＞＞
計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージ１０８０、及び入出力インタフェース１１００を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージ１０８０、及び入出力インタフェース１１００が、相互にデータを送受信するためのデータ伝送路である。図２において、入出力インタフェース１１００は、「入出力Ｉ／Ｆ１１００」（ＩｎｔｅｒＦａｃｅ）と表記される。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、例えば CPU (Central Processing Unit) や GPU (Graphics Processing Unit) などの演算処理装置である。メモリ１０６０は、例えば RAM (Random Access Memory) や ROM (Read Only Memory) などのメモリである。ストレージ１０８０は、例えばハードディスク、SSD (Solid State Drive)、又はメモリカードなどの記憶装置である。また、ストレージ１０８０は、RAM や ROM 等のメモリであってもよい。入出力インタフェース１１００は、バス３００を介して投影装置１００や監視装置２００との間でデータを送受信するための入出力インタフェースである。
【００１９】
ストレージ１０８０は、情報処理システム２０００の機能を実現するためのプログラムとして、実対象物検出モジュール１２２０、投影モジュール１２６０、操作検出モジュール１２８０、及びタスク実行モジュール１３００を格納している。
【００２０】
実対象物検出部２０２０は、監視装置２００及び実対象物検出モジュール１２２０の組み合わせによって実現される。例えば監視装置２００がカメラである場合、実対象物検出モジュール１２２０は、監視装置２００によって撮像された画像を取得して解析することで、実対象物を検出する。実対象物検出モジュール１２２０は、プロセッサ１０４０によって実行される。
【００２１】
投影部２０６０は、投影装置１００及び投影モジュール１２６０の組み合わせによって実現される。例えば投影モジュール１２６０は、「投影する画像、その画像を投影する投影位置」の組み合わせを示す情報を投影装置１００へ送信する。投影装置１００は、この情報に従って画像を投影する。投影モジュール１２６０は、プロセッサ１０４０によって実行される。
【００２２】
操作検出部２０８０は、監視装置２００及び操作検出モジュール１２８０の組み合わせによって実現される。例えば監視装置２００がカメラである場合、操作検出モジュール１２８０は、監視装置２００によって撮像された画像を取得して解析することで、実対象物に対するユーザ操作を検出する。操作検出モジュール１２８０は、プロセッサ１０４０によって実行される。
【００２３】
例えば、プロセッサ１０４０は、上記各モジュールを実行する際、これらのモジュールをメモリ１０６０上に読み出してから実行してもよいし、メモリ１０６０上に読み出さずに実行してもよい。
【００２４】
計算機１０００のハードウエア構成は図２に示した構成に限定されない。例えば、各モジュールはメモリ１０６０に格納されてもよい。この場合、計算機１０００は、ストレージ１０８０を備えていなくてもよい。
【００２５】
＜＜投影装置１００及び監視装置２００の詳細＞＞
図３は、投影装置１００及び監視装置２００を組み合わせた装置４００を例示する図である。図３の装置４００は、投影装置１００、監視装置２００、及び投影方向調整部４１０を有する。なお、投影方向調整部４１０は、投影方向調整部４１０−１、４１０−２、及び４１０−３の組み合わせによって実装されている。ここで、投影装置１００の投影方向と監視装置２００は一致していてもよいし、異なっていてもよい。同様に、投影装置１００の投影範囲と監視装置２００の監視範囲は一致していてもよいし、異なっていてもよい。
【００２６】
投影装置１００は、例えば、可視光プロジェクション装置や赤外光プロジェクション装置である。投影装置１００は、予め決まったパターンや文字、または自由なパターンや文字を表す光を投射部から照射することによって、投影面上にさまざまな画像を投影する。
【００２７】
監視装置２００は、例えば、可視光カメラ、赤外線カメラ、距離センサ、距離認識処理装置、及びパターン認識処理装置の中の１つ、又は複数個の組み合わせによって構成される。監視装置２００は、例えば、空間情報を単純に２次元画像で撮影するカメラと、これらの画像より対象物の情報を選択的に抽出する画像処理装置との組み合わせであってもよい。また、監視装置２００は、赤外線パターン投射装置と赤外線カメラとの組み合わせによって実装されていてもよい。監視装置２００は、赤外線パターン投射装置と赤外線カメラとを用いて、パターンの乱れや３角測量の原理に基づいて空間の情報を取得してもよい。また、監視装置２００は、複数の異なる方向から同時に撮影することにより、平面情報と共にその奥行き方向の情報を取得してもよい。監視装置２００は、さらに非常に短い光パルスを対象物に照射し、その光が対象物で反射され戻るまでの時間を計測することによって、対象物の空間情報を取得してもよい。
【００２８】
投影方向調整部４１０は、投影装置１００による画像投影位置を調整できるように設計されている。例えば、投影方向調整部４１０は、装置４００が含む装置の全体または一部を回転させるまたは移動させる機構を持つ。そして、投影方向調整部４１０は、当該機構を用いて投影装置１００から投影される光の向きや位置を変えることによって、画像を投影する位置を調整する（移動させる）。
【００２９】
ただし、投影方向調整部４１０は、図３に示される構成に限定されない。例えば投影方向調整部４１０は、投影装置１００から出た光を可動型ミラーによって反射させたり、特殊な光学系によって光の向きを変えたりするように設計されてもよい。ここで、上記可動型ミラーは、装置４００に組み込まれる形で設けられていてもよいし、装置４００とは独立して設置されていてもよい。また、投影方向調整部４１０は、投影装置１００そのものを移動できるように設計されていてもよい。
【００３０】
投影装置１００は、例えば、内部レンズを稼動させることによる、投影面に応じて投影画像のサイズを変える機能、及び投影面との距離に応じて焦点位置を調整する機能を持っていても良い。投影面の投影位置中心と投影装置１００の中心を結ぶ直線（すなわち光軸）と、投影面の垂直方向に伸ばした直線の向きが異なる場合、投影範囲内において投影距離が異なる。投影装置１００は、投影範囲内における投影距離の変化に対処できるよう特別に設計された深い焦点作動距離を持つ光学系を有するように設計されても良い。
【００３１】
投影方向調整部４１０は、投影装置１００の本来の投射範囲が広い場合、投影装置１００から出る光の一部をマスクすることによって、所望の位置に画像を表示してもよい。また、投影装置１００の本来の投射角度が大きい場合、必要な箇所にのみ光が投射されるように画像信号を加工し、投影装置１００にその加工された画像信号が表す画像データを引き渡してもよい。
【００３２】
投影方向調整部４１０は、投影装置１００に加えて、監視装置２００も回転または移動してもよい。例えば図３に例示する構造では、投影方向調整部４１０が投影装置１００の投影方向を変更すると、それに伴い監視装置２００の監視方向も変わる（監視範囲が変わる）。この場合、投影方向調整部４１０には、監視装置２００の監視範囲が所定領域からずれる事を防ぐため、高精度の回転情報取得装置（図示されない）または位置情報取得装置（図示されない）などが含まれる。ただし、投影装置１００の投影範囲と監視装置２００の監視範囲は、別々に変更可能であってもよい。
【００３３】
なお、第１画像の向きの変更は、計算機１０００が第１画像に対して画像処理を施すことによって実現されてもよい。この場合、投影装置１００は、投影方向調整部４１０によって第１画像を回転させる必要はない。投影装置１００は、計算機１０００から受信した第１画像をそのまま投影すればよい。
【００３４】
装置４００は、例えば天井や壁面などに固定された状態で設置される。ここで、設置された装置４００は天井や壁面から全て露出していてもよいし、一部または全体が天井や壁面の内部に埋没していてもよい。なお、投影装置１００が可動型ミラーを用いて投影方向を調整する場合、この可動型ミラーは、装置４００とは別に天井や壁面に設置されてもよい。
【００３５】
なお、上述の例では投影装置１００と監視装置２００とが同じ装置４００に組み込まれているが、投影装置１００と監視装置２００とは独立に設置されていてもよい。
【００３６】
また、実対象物の検出に用いられる監視装置２００とユーザ操作の検出に用いられる監視装置２００は、同じ監視装置２００であってもよいし、それぞれ別々に設けられた監視装置２００であってもよい。
【００３７】
＜処理の流れ＞
図４は、第１の実施形態の情報処理システム２０００によって実行される処理の流れを例示するフローチャートである。ステップＳ１０２において、実対象物検出部２０２０は、実対象物を検出する。ステップＳ１０４において、情報処理システム２０００は、第１画像を取得する。ステップＳ１０６において、投影部２０６０は、第１画像を投影する。ステップＳ１０８において、操作検出部２０８０は、第１画像が投影された実対象物に対するユーザ操作を検出する。ステップＳ１１０において、タスク実行部２１００は、検出されたユーザ操作に基づいて第１画像に関連するタスクを実行する。
【００３８】
＜作用・効果＞
本実施形態の情報処理システム２０００は、実対象物に対するユーザ操作を検出し、その検出されたユーザ操作に基づいて、投影している第１画像に関連する操作を行う。本実施形態のように実対象物を入力インタフェースにすると、ユーザは、入力インタフェースを操作する感触を得ることができる。一方、例えば投影される画像を入力インタフェースにすると、ユーザは、入力インタフェースを操作する感触を得ることができない。このように、本実施形態によれば、入力インタフェースを操作した感触を得ることができるため、入力インタフェースがユーザにとって操作しやすいものとなる。
【００３９】
また、入力インタフェースが実対象物である場合、ユーザは、入力インタフェースの位置を触感で把握できる。これに対し、入力インタフェースが画像（例：アイコンや仮想キーボード）である場合、ユーザは、入力インタフェースの位置を触感で把握することができない。そのため、本実施形態によれば、ユーザが入力インタフェースの位置を把握しやすくなり、入力インタフェースがユーザにとって操作しやすいものとなる。
【００４０】
また、入力インタフェースを見ながら操作する場合であっても、実対象物には、投影されている画像よりも見やすいという利点がある。投影されている画像を入力インタフェースとして操作する場合、操作時にユーザの手などが投影されている画像の一部と重なってしまうこともある。このような場合には、投影されている画像が特に見にくくなる。本実施形態によれば、実対象物を入力インタフェースにすることにより、入力インタフェースがユーザにとって見やすいものとなる。さらに、投影されている画像とは別に入力インタフェースを設けると、画像中に入力インタフェースを表示するための領域（例：アイコンや仮想キーボードを表示するための領域）を確保しなくても良い。そのため、投影されている画像の情報量を多くできる。そのため、ユーザにとって投影されている画像が見やすくなる。また、ユーザにとって、出力に当たる投影されている画像と、入力インタフェースが分けられているため、システム全体の機能を把握しやすい。
【００４１】
さらに、実対象物が可搬物体であるか、又は可搬物体の一部である場合、ユーザは、自分の意図した場所に実対象物を置くことができる。つまり、ユーザは、入力インタフェースを任意の位置に置くことができる。この点からも、本実施形態によれば、入力インタフェースがユーザにとって操作しやすいものとなる。
【００４２】
このように、本実施形態によれば、情報を画像として投影する情報処理システム２０００において、上述した様々な点に特徴を有する新たなユーザインタフェースが提供される。
【００４３】
＜第１の適用例＞
本実施形態の情報処理システム２０００をより理解しやすくするため、本実施形態の情報処理システム２０００の適用例を示す。なお、以下に示す情報処理システム２０００の使用環境や使用方法はあくまで例示であり、情報処理システム２０００の使用環境や使用方法を限定するものではない。なお、本適用例の情報処理システム２０００のハードウエア構成は、図２で表される構成であるとする。
【００４４】
図５は、本適用例の情報処理システム２０００の使用環境を例示する図である。本適用例の情報処理システム２０００は、喫茶店やレストラン等において利用されるシステムである。情報処理システム２０００は、天井に設置された装置４００からテーブル１０上に画像を投影することによって、デジタルサイネージを実現する。ユーザは、テーブル１０上に投影されたコンテンツを閲覧したりしながら、食事をしたり、食事が届くのを待つことができる。図５から分かるように、本適用例ではテーブル１０が投影面である。なお、装置４００は天井以外の場所（例：壁面）に設置されていてもよい。
【００４５】
図６は、ユーザ周辺のテーブル１０の様子を例示する平面図である。図６において、コンテンツ画像４０は、電子ブックの表紙を示している。ただし、コンテンツ画像４０が表すコンテンツは、電子ブックのようなデジタルコンテンツだけでなく、実物体（アナログコンテンツ）でもよい。またコンテンツはサービスであってもよい。
【００４６】
本適用例における実対象物はマーク３０である。マーク３０は、提供する飲食料を載せるためにユーザに提供されるトレー２０に付されている。ただし、実対象物は、マーク３０以外であってもよい。実対象物は、例えば、テーブル１０上に予め付されているマーク等であってもよい。
【００４７】
本適用例において、装置４００に組み込まれている監視装置２００はカメラである。情報処理システム２０００は、監視装置２００によって撮像された画像に基づいて、マーク３０を検出する。さらに、情報処理システム２０００は、マーク３０に対するユーザ操作を検出する。
【００４８】
情報処理システム２０００は、ユーザに対して、例えば、この電子ブックの内容を閲覧する操作、この電子ブックをお気に入りに登録する操作、又はこの電子ブックを購入するための操作などを提供する。ユーザは、例えば、手５０でマーク３０をなぞったり叩いたりすることによって、各種操作を行う。
【００４９】
このように、本実施形態の情報処理システム２０００によれば、ユーザに対し、電子ブックに関連するタスクを実行するための操作として、実対象物であるマーク３０に対する操作が提供される。
【００５０】
なお、情報処理システム２０００がユーザに提供する操作は、上述の例に限定されない。例えば情報処理システム２０００は、表示されている複数のコンテンツから目的のコンテンツを選択する操作や、コンテンツを検索する操作など、様々な操作をユーザに提供できる。
【００５１】
さらに、ユーザに提供される操作の一部は、コンテンツ画像４０に対する操作で実現されてもよい。例えばユーザに対し、電子ブックのページをめくる操作として、コンテンツ画像４０を左右になぞる操作を提供する。この場合、情報処理システム２０００は、監視装置２００によって撮像されたコンテンツ画像４０に対するユーザ操作を解析し、その結果特定されたユーザ操作に従ってタスクを実行する機能を有する。
【００５２】
＜第１の実施形態の詳細＞
以下、本実施形態の情報処理システム２０００についてさらに詳細に説明する。
【００５３】
＜＜実対象物検出部２０２０の詳細＞＞
実対象物検出部２０２０は、上述した監視装置２００を有する。ここで、実対象物検出部２０２０には、「何を実対象物として検出するか」を設定できるように設計されているとする。そして、実対象物検出部２０２０は、監視装置２００の監視範囲の中に、設定された条件を満たす物が含まれているか否かを判定する。そして、設定された条件を満たす物が含まれている場合、その物を実対象物とする。
【００５４】
例えば監視装置２００が撮像装置である場合、実対象物検出部２０２０は、監視装置２００によって生成された撮像画像に対してオブジェクト認識を行うことによって、実対象物を検出する。ここで、オブジェクト認識は既知の技術であるため、詳細な説明は省略する。
【００５５】
また例えば、監視装置２００が可視光以外の波長域（例えば赤外光や紫外光など）においても撮影できる撮像装置である場合、実対象物には撮影装置によって撮影できる不可視の印刷がされていてもよい。ここで、監視装置２００によって生成された不可視の撮像画像に対する処理は同様のため、説明は省略する。
【００５６】
実対象物検出部２０２０が実対象物を検出する方法は、撮像装置を用いた方法に限定されない。実対象物は、例えばバーコードであってもよい。この場合、監視装置２００は、例えばバーコードリーダを用いて実現される。実対象物検出部２０２０は、このバーコードリーダを用いて第１画像の投影面やその周辺をスキャンすることによって、実対象物であるバーコードを検出する。バーコードを読み取る技術は既知の技術であるため、詳細な説明は省略する。
【００５７】
また例えば、実対象物検出部２０２０は距離センサを用いて実現される。この場合、監視装置２００は、例えばレーザ式距離センサを用いて実現される。実対象物検出部２０２０は、このレーザ距離センサを用いて第１画像の投影面やその周辺の高さ変化を測定することによって、実対象物の形状と、時間に対する形状変化（すなわち変形）を検出する。形状と変形を読み取る技術は既知の技術であるため、詳細な説明は省略する。
【００５８】
また例えば、実対象物が RF（Radio Frequency）タグで実現される場合、情報処理システム２０００は、RFID（Radio Frequency Identifier）技術を利用して実対象物を認識してもよい。RFID 技術は既知の技術であるため、詳細な説明は省略する。
【００５９】
＜＜第１画像の取得方法＞＞
情報処理システム２０００は、例えば図７に示す情報処理システム２０００Ａのように、第１画像を取得する画像取得部２０４０をさらに有していてもよい。図７は、画像取得部２０４０を有する情報処理システム２０００Ａを例示するブロック図である。画像取得部２０４０が第１画像を取得する方法は様々である。画像取得部２０４０は、例えば、外部の装置から入力される第１画像を取得してもよい。画像取得部２０４０は、例えば、手動で入力される第１画像を取得してもよい。さらに画像取得部２０４０は、外部の装置にアクセスすることによって、第１画像を取得してもよい。
【００６０】
１つのコンテンツに対して、複数の第１画像があってもよい。例えば前述したようにコンテンツが電子ブックである場合、１つの電子ブックに対する第１画像は、例えば、表紙の画像や、各ページを表す画像である。また、コンテンツが実物体である場合、第１画像は、例えば、その実物体を様々な角度から撮影した画像である。
【００６１】
＜＜投影部２０６０の詳細＞＞
例えば投影部２０６０は、前述のように、例えばプロジェクタ等の画像を投影する投影装置１００を有する。投影部２０６０は、画像取得部２０４０によって取得された第１画像を取得し、取得した第１画像を投影面へ投影する。
【００６２】
投影部２０６０が画像を投影する投影面は様々である。投影面は、例えば前述の適用例におけるテーブルである。投影面は、例えば壁や床などである。また、投影面は人の身体の少なくとも一部（例：手のひら）であってもよい。また投影面は実対象物の一部または全体であってもよい。
【００６３】
＜＜操作検出部２０８０の詳細＞＞
操作検出部２０８０は、実対象物検出部２０２０と同様に、周囲を監視する監視装置２００を有する。ここで、実対象物検出部２０２０と操作検出部２０８０は、１つの監視装置２００を共有していてもよい。操作検出部２０８０は、監視装置２００による監視結果に基づいて、実対象物に対するユーザ操作を検出する。
【００６４】
＜＜＜ユーザ操作の種類＞＞＞
ユーザが行うユーザ操作は様々である。例えばユーザ操作は、操作体によって行われる。ここで、操作体とは、ユーザの体の一部や、ユーザが扱うペン等の物体である。
【００６５】
操作体による実対象物に対するユーザ操作は、１）操作体で実対象物に触れること、２）操作体で実対象物を叩くこと、３）操作体で実対象物をなぞること、４）操作体を実対象物上にかざすことなど、様々である。例えばユーザは、一般の PC においてマウスカーソルでアイコンに対して行う各種操作（例えばクリック、ダブルクリック、マウスオーバなど）と同様の操作を、実対象物に対して行うことができる。
【００６６】
実対象物に対するユーザ操作は、例えば、実対象物に対する、物や投影されている画像を近接させる操作であってもよい。投影されている画像を近接させる操作を実現する場合、情報処理システム２０００は、第１画像に対するユーザ操作（例：ドラッグ操作やフリック操作）を検出する機能を有する。第１画像を実対象物へ近接させる操作は、例えば、第１画像をドラッグしながら実対象物へ近づける操作であってもよい。第１画像を実対象物へ近接させる操作は、例えば、第１画像をフリックすることによって、第１画像を実対象物へ向かわせる操作（第１画像を実対象物へ向けて投げるような操作）であってもよい。
【００６７】
＜＜＜ユーザ操作の検出方法＞＞＞
操作検出部２０８０は、例えば、監視装置２００を用いてユーザの操作体などの動きを検出することによって、ユーザ操作を検出してもよい。ここで、監視装置２００を用いて操作体の動きなどを検出する技術は既知の技術であるため、ユーザ操作を検出する処理の詳細な説明は省略する。一例を挙げると、操作検出部２０８０が監視装置２００として撮像装置を有する場合、撮像装置によって撮像された撮像画像に写っている上記操作体の動きを解析することによって、ユーザ操作を検出することができる。
【００６８】
＜＜タスク実行部２１００＞＞
タスク実行部２１００によって実行されるタスクは、第１画像に関連する処理であればよく、特に限定されない。タスクは、前述の適用例のように、例えば、デジタルコンテンツの内容を表示する処理や、デジタルコンテンツの購入に関する処理などである。
【００６９】
またタスクは、第１画像に関連付けられたコンテンツ情報の一部又は全部を表す画像を投影する処理であってもよい。コンテンツ情報は、第１画像によって表されているコンテンツに関する情報である。コンテンツ情報は、例えばコンテンツの名前、コンテンツのＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、コンテンツの価格、コンテンツに関する説明、コンテンツの操作履歴、又はコンテンツの閲覧時間などを含む。タスク実行部２１００は、情報処理システム２０００の内部又は外部に設けられた格納部（図示されない）から、第１画像に関連するコンテンツ情報を取得する。なお、「第１画像に関連するコンテンツ情報」は、コンテンツ情報の一部として第１画像を含む情報であってもよい。ここで、「コンテンツ情報の一部又は全部を表す画像」は、コンテンツ情報の一部として上記格納部に予め格納されている画像であってもよいし、タスク実行部２１００が動的に生成する画像であってもよい。
【００７０】
タスク実行部２１００は、操作検出部２０８０によって検出されたユーザ操作の種類に応じて異なるタスクを実行してもよい。タスク実行部２１００は、検出されたユーザ操作の種類に関係なく同じタスクを実行してもよい。ユーザ操作の種類に応じて実行するタスクが異なる場合、情報処理システム２０００は、「ユーザ操作の種類、実行するタスク」の組み合わせを示す情報を格納する格納部（図示されない）を有する。
【００７１】
また、複数種類の実対象物がある場合、タスク実行部２１００は、実対象物の種類に応じて実行するタスクを変えてもよい。この場合、タスク実行部２１００は、実対象物検出部２０２０から、検出した実対象物に関する情報を取得し、取得した情報に基づいて実行するタスクを決定する。例えば前述の適用例において、トレー２０上に、コンテンツの内容を表示する操作が割り当てられたマーク３０と、コンテンツの購入に関する操作が割り当てられたマーク３０とを付することが考えられる。なお、実対象物の種類に応じて実行するタスクを変える場合、情報処理システム２０００は、「実対象物の種類、実行するタスク」の組み合わせを示す情報を格納する格納部を有する。また、上述したようにユーザ操作の種類によっても実行するタスクが異なる場合、情報処理システム２０００は、「実対象物の種類、ユーザ操作の種類、実行するタスク」の組み合わせを示す情報を格納する格納部を有する。
【００７２】
さらに、タスク実行部２１００は、ユーザ操作の種類だけでなく、そのユーザ操作の属性を考慮してもよい。ユーザ操作の属性は、例えば、操作の速度、加速度、継続時間、及び軌跡などのいずれか１つ以上である。タスク実行部２１００は、例えば、第１画像を実対象物へ近接させるドラッグ操作が所定の速度以上であればタスク１を実行し、所定の速度未満であれば別のタスク２を実行するというように、ユーザ操作の速度に応じて実行するタスクを変えてもよい。また、タスク実行部２１００は、「ドラッグ操作の速度が所定の速度以上でなければタスクを実行しない」と判断してもよい。
【００７３】
同様に、タスク実行部２１００は、例えば、第１画像を実対象物へ近接させるフリック操作が所定の加速度以上の加速度で行われた場合に、タスクを実行してもよい。タスク実行部２１００は、例えば、第１画像を実対象物の近くにおいて保持する操作が所定の継続時間以上継続された場合に、タスクを実行してもよい。また例えば、タスク実行部２１００は、第１画像を実対象物へ近接させる操作の軌跡が所定の軌跡を描いた場合に、タスクを実行してもよい。「所定の軌跡」は、例えばＬ字型の軌跡である。なお、これら所定の速度、加速度、継続時間、及び軌跡などは、情報処理システム２０００が有する格納部にあらかじめ格納される。
【００７４】
また、各タスクについて、そのタスクを実行するための所定条件が設定されていてもよい。例えばこの所定条件は、例えば、「第１画像の投影位置と実対象物との間の距離が所定距離以内となった」又は「第１画像の投影位置と実対象物との間の距離が所定距離以内である状態が所定時間以上継続した」等の条件である。これらの所定条件は、情報処理システム２０００が有する格納部にあらかじめ格納される。第１画像の投影位置と実対象物との間の距離は、例えば、投影面の第１画像が投影されている領域において定められる点と、実対象物の表面において定められる点との間の距離である。投影面の第１画像が投影されている領域において定められる点は、例えば、第１画像の投影位置として投影装置１００に与えられるパラメータ（例えば座標）によって表される点が投影面において投影される点である。投影面の第１画像が投影されている領域において定められる点は、他の点であってもよい。実対象物の表面において定められる点は、例えば、監視装置２００の距離センサからの距離が最も小さい、実対象物の表面上の点であってもよい。実対象物を代表する点は、他の方法によって定められた、実対象物の表面上の点であってもよい。第１画像の投影位置と実対象物との間の距離は、以下の説明において、「実対象物と第１画像との間の距離」又は「第１画像と実対象物との間の距離」とも表記される。
【００７５】
さらに、各タスクについて、そのタスクを実行するためのユーザ操作と所定条件との組み合わせが設定されていてもよい。タスク実行部２１００は、例えば、第１画像をフリックして実対象物へ向かわせる操作が検出され、その結果第１画像の投影位置と実対象物との間の距離が所定距離以内となった場合に、所定のタスクを実行する。これは、「第１画像を実対象物へ向けて投げた結果、第１画像が実対象物の付近に当たったらタスクを実行し、当たらなかったらタスクを実行しない」といった制御を実現する処理である。
【００７６】
実対象物と第１画像との間の距離は、例えば、監視装置２００から実対象物までの距離と方向、及び投影装置１００から第１画像までの距離と方向に基づいて算出することができる。この場合、監視装置２００は、監視装置２００から実対象物までの距離及び方向を測定する機能を有する。さらに、投影装置１００は、投影装置１００から第１画像を投影する位置までの距離を測定する機能を有する。
【００７７】
例えば前述した適用例の環境を考える。ユーザは、図８に示すように、コンテンツ画像４０をマーク３０の方向へドラッグして近づける。そして、コンテンツ画像４０とマーク３０との距離が所定距離以内になった時（例：電子ブックの画像であるコンテンツ画像４０とマークが接した時）に、タスク実行部２１００がタスクを実行する。このタスクは、例えば、電子ブックをユーザのお気に入りとして登録する処理、又は、その電子ブックをユーザが購入したりするための処理であってもよい。タスク実行部２１００は、例えば、所定時間以上、コンテンツ画像４０がマーク３０から所定距離以内の位置にとどめられた場合に、これらのタスクを実行してもよい。
【００７８】
タスク実行部２１００は、タスクを実行するために、投影されている第１画像に関連する情報を取得する。タスク実行部２１００が取得する情報は、実行されるタスクに依存する。タスク実行部２１００は、例えば、第１画像そのもの、第１画像のさまざまな属性、又は第１画像が表すコンテンツのコンテンツ情報などを取得してもよい。
【００７９】
タスク実行部２１００は、投影されている第１画像に関連する情報を、例えば、画像取得部２０４０又は投影部２０６０から取得する。また、タスク実行部２１００は、投影されている第１画像を特定する情報（例：第１画像のＩＤ）を画像取得部２０４０又は投影部２０６０から取得し、特定された第１画像に関連するその他の情報を情報処理システム２０００の外部から取得してもよい。
【００８０】
[第２の実施形態]
図９は、第２の実施形態に係る情報処理システム２０００Ｂを例示するブロック図である。図９において、矢印は情報の流れを表している。さらに、図９において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
【００８１】
第２の実施形態の情報処理システム２０００Ｂは、実対象物に関連するＩＤと、第１画像に関連するコンテンツ情報と、を関連付ける機能を有する。そのために、第２の実施形態の情報処理システム２０００Ｂは、ＩＤ取得部２１２０をさらに有する。
【００８２】
＜ＩＤ取得部２１２０＞
ＩＤ取得部２１２０は、実対象物に関連するＩＤを取得する。ここで、実対象物に関連するＩＤは、実対象物に割り当てられたＩＤでもよいし、実対象物ＩＤに関連付けられた別のＩＤ（例：ユーザＩＤ）でもよい。
【００８３】
ＩＤ取得部２１２０が実対象物に関連するＩＤを取得する方法は様々である。まず、実対象物に関連するＩＤが、実対象物に割り当てられたＩＤ（以下、実対象物ＩＤ）であるとする。そして、実対象物が、実対象物ＩＤを表す情報を表示しているとする。「実対象物ＩＤを表す情報」は、例えば文字列、二次元コード、又はバーコードなどである。また、「実対象物ＩＤを表す情報」は、実対象物の表面の凹凸や切り欠きなどの形状であってもよい。この場合、ＩＤ取得部２１２０は、実対象物ＩＤを表す情報を取得し、取得した情報から実対象物に関連するＩＤを取得する。なお、ＩＤを表す、文字列、二次元コード、バーコード、又は形状などを解析することによって、そのＩＤを取得する手法は既知の技術である。例えば、ＩＤを表す文字列をカメラで撮像し、撮像結果である画像に対して文字列認識処理を実行することによって、文字列として表されているＩＤを取得するといった手法がある。これら既知の手法に関する詳細な説明は省略する。
【００８４】
なお、「実対象物ＩＤを表す情報」は、実対象物上ではなく、別の位置に表示されていてもよい。例えば、実対象物の周辺に表示することが考えられる。
【００８５】
次に、実対象物に関連するＩＤが、実対象物ＩＤに関連付けられた別のＩＤであるとする。ここで、「実対象物ＩＤに関連付けられた別のＩＤ」の例として、ユーザＩＤを考える。この場合、ＩＤ取得部２１２０は、上述した種々の方法で実対象物ＩＤを取得し、取得した実対象物ＩＤに関連するユーザＩＤを取得する。この場合、情報処理システム２０００Ｂは、実対象物ＩＤとユーザＩＤとを関連付ける情報を格納する格納部を有する。
【００８６】
＜タスク実行部２１００＞
タスク実行部２１００は、ＩＤ取得部２１２０によって取得されたＩＤと、第１画像に関連するコンテンツ情報とが関連付けられている関連情報を生成するタスクを実行する。このタスクを実行するためのユーザ操作やその属性、又は所定の条件などは適宜定められる。タスク実行部２１００は、例えば、第１画像を実対象物へ近接させる操作が検出された場合に、関連情報の生成を行ってもよい。
【００８７】
なお、情報処理システム２０００Ｂは、図１０に示す情報処理システム２０００Ｃのように、関連情報格納部２１４０をさらに有してもよい。関連情報格納部２１４０は、関連情報を記憶する。この場合、タスク実行部２１００は、生成した関連情報を関連情報格納部２１４０に格納する。
【００８８】
＜処理の流れ＞
図１１は、第２の実施形態の情報処理システム２０００Ｂによって実行される処理の流れを例示するフローチャートである。第２の実施形態の情報処理システム２０００Ｂは、第１の実施形態の情報処理システム２０００と同様に、ステップＳ１０２からＳ１０８を実行する。本実施形態におけるステップＳ１０２からステップＳ１０８までの処理は、同じ符号が付与されている、第１の実施形態における処理のステップと同じである。そのため、図１１において、ステップＳ１０２からＳ１０６は省略している。なお、図１１は、「第１画像と実対象物との間の距離≦所定距離」が満たされたときにタスクを実行するケースについて例示している。
【００８９】
ステップＳ２０２において、操作検出部２０８０は、実対象物に対するユーザ操作を検出する。ステップＳ２０４において、タスク実行部２１００は、「第１画像と実対象物との間の距離≦所定距離」が満たされているか否かを判定する。「第１画像と実対象物との間の距離≦所定距離」が満たされている場合（ステップＳ２０２においてＹＥＳ）、図１１の処理はステップＳ２０４へ進む。ステップＳ２０４において、タスク実行部２１００は、関連情報を生成する。一方、ステップＳ２０２において「第１画像と実対象物との間の距離≦所定距離」が満たされていない場合（ステップＳ２０２においてＮＯ）、図１１の処理はステップＳ１０８へ戻る。
【００９０】
なお、図１１に示す処理の流れでは、実対象物の種類やユーザ操作の種類は考慮されていない。しかし、第１の実施形態でも述べた通り、タスク実行部２１００は、実対象物の種類及びユーザ操作の種類の少なくとも一方に応じて、実行するタスクを変えてもよい。すなわち、ステップＳ２０４において、タスク実行部２１００は、ユーザ操作が検出された実対象物の種類及びそのユーザ操作の種類の少なくとも一方に応じて、「関連情報を生成するタスク」を変更してもよい。この場合、情報処理システム２０００Ｂにおいて、関連情報を生成するタスクと、実対象物の種類及びユーザ操作の種類の少なくとも一方とを関連付ける情報を予め記憶している。そしてこの場合、タスク実行部２１００は、ステップＳ２０２における判定に加え、以下の処理を行う。タスク実行部２１００は、例えば、実対象物に対するユーザ操作の種類、及び、ユーザ操作が加えられた実対象物の種類の少なくとも一方に関連付けられている、「関連情報を生成するタスク」が存在するか否かを判定する。そのような「関連情報を生成するタスク」が存在する場合、ステップＳ２０４において、タスク実行部２１００は、そのタスクを実行することによって関連情報を生成する。
【００９１】
＜作用・効果＞
本実施形態によれば、ユーザ操作に応じて、実対象物に関連するＩＤと、第１画像に関連するコンテンツの情報とが関連付けられる。したがって、実対象物という利用しやすい入力インタフェースを用いて、実対象物に関連するＩＤと、第１画像に関連するコンテンツの情報とを関連付けることができるようになる。
【００９２】
＜第２の適用例＞
第２の実施形態の情報処理システム２０００Ｂ又は２０００Ｃの具体的な使用例を、第２の適用例として説明する。本適用例の想定環境は、第１の適用例の想定環境と同様である。
【００９３】
本適用例におけるテーブル１０上の様子は、図８によって表される。本適用例において、情報処理システム２０００Ｂ又は２０００Ｃは、ユーザに対し、購入したい電子ブックのコンテンツ情報を、トレー２０のＩＤに関連付ける機能を提供する。本適用例において、実対象物はトレー２０に付されたマーク３０である。また、実対象物に関連するＩＤはトレー２０のＩＤである。さらに、トレー２０には、トレー２０のＩＤを識別するための識別ナンバー７０が付されている。図８の識別ナンバー７０は、トレー２０のＩＤが「351268」であることを示している。
【００９４】
ユーザは、購入したい電子ブックに関連するコンテンツ画像４０をドラッグし、マーク３０へ近接させる。すると、タスク実行部２１００は、コンテンツ画像４０に関連する電子ブックのコンテンツ情報（例：電子ブックのＩＤなど）を取得し、取得したコンテンツ情報と、識別ナンバー７０が示すトレー２０のＩＤとを関連付ける、関連付けを行う。タスク実行部２１００は、行った関連付けを表す関連情報を生成する。すなわち、タスク実行部２１００は、取得したコンテンツ情報と識別ナンバー７０が示すトレー２０のＩＤとが関連付けられている関連情報を生成する。例えばタスク実行部２１００は、コンテンツ画像４０がマーク３０に接した場合に、上記関連情報を生成する。ユーザの視点からすると、コンテンツ画像４０をマーク３０へ近接させることは、「買い物かごにコンテンツを入れる」という感覚の操作となる。そのため、ユーザに対し直感的で分かりやすい操作が提供される。
【００９５】
なお、情報処理システム２０００Ｂ又は２０００Ｃは、関連情報が生成されたことがユーザに分かるように、何らかの出力を行ってもよい。情報処理システム２０００Ｂ又は２０００Ｃは、例えば、コンテンツ画像４０がマーク３０へ吸い込まれるようなアニメーションを出力しても良い。その場合、ユーザは、コンテンツ画像４０に関連する電子ブックがトレー２０に関連付けられたことを目で見て確認することができる。
【００９６】
本適用例において、実対象物に関連するＩＤをユーザＩＤとしてもよい。この場合、ユーザは、上記操作を行うことで、購入したい電子ブックと自身のユーザＩＤとを関連付けることができる。ここで、実対象物に関連するＩＤをユーザＩＤとするためには、トレー２０とユーザＩＤとが事前に関連付けられている必要がある。ユーザは、例えば、飲食物等を購入するのに応じて、購入した飲食物が載せられているトレー２０を受け取る際に、ユーザＩＤの入力やユーザＩＤに紐付けられたメンバーズカードの提示などを行う。これにより、情報処理システム２０００Ｂ又は２０００Ｃに、このユーザのユーザＩＤを認識させることができるため、ユーザのユーザＩＤと、そのユーザに渡すトレー２０とを関連付けることができる。
【００９７】
[第３の実施形態]
図１２は、第３の実施形態に係る情報処理システム２０００Ｄを示すブロック図である。図１２において、矢印は情報の流れを表している。さらに、図１２において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
【００９８】
第３の実施形態において、実対象物は、可搬物体の一部分又は全体である。可搬物体の一部分とは、可搬物体に付されたマークなどである。例えば第１の適用例においては、トレー２０が可搬物体であり、トレー２０に付されたマーク３０が実対象物である。
【００９９】
第３の実施形態の情報処理システム２０００Ｄは、情報取得装置２２００を有する。情報取得装置２２００は、タスク実行部２１００によって生成された関連情報に基づいて、実対象物に関連するＩＤから、そのＩＤに関連するコンテンツ情報を取得する。また、第３の実施形態の情報処理システム２０００Ｄは、第２の実施形態で説明した関連情報格納部２１４０を有する。以下、情報取得装置２２００について詳細に説明する。
【０１００】
＜情報取得装置２２００＞
情報取得装置２２００は、第２ＩＤ取得部２２２０及びコンテンツ情報取得部２２４０を有する。例えば情報取得装置２２００は、レジ端末などである。
【０１０１】
＜＜第２ＩＤ取得部２２２０＞＞
第２ＩＤ取得部２２２０は、実対象物に関連するＩＤを取得する。第２ＩＤ取得部２２２０は、実対象物に関連するＩＤを取得するさまざまな方法のいずれかに従って実対象物に関連するＩＤを取得する。第２ＩＤ取得部２２２０は、例えば、ＩＤ取得部２１２０について説明した「実対象物に関連するＩＤを取得する方法」のいずれかの方法と同じ方法によって、実対象物に関連するＩＤを取得してもよい。ただし、ＩＤ取得部２１２０と第２ＩＤ取得部２２２０は、異なる方法で実対象物に関連するＩＤを取得してもよい。
【０１０２】
＜＜コンテンツ情報取得部２２４０＞＞
コンテンツ情報取得部２２４０は、関連情報格納部２１４０から、第２ＩＤ取得部２２２０によって取得されたＩＤに関連するコンテンツ情報を取得する。
【０１０３】
コンテンツ情報取得部２２４０によって取得されたコンテンツ情報の使い道は様々である。例えば情報取得装置２２００がレジ端末であるとする。この場合、情報取得装置２２００は、取得したコンテンツ情報が示すコンテンツの価格を用いて、このコンテンツの決済を行ってもよい。
【０１０４】
＜処理の流れ＞
図１３は、第３の実施形態の情報取得装置２２００によって実行される処理の流れを示すフローチャートである。ステップＳ３０２において、第２ＩＤ取得部２２２０は、実対象物に関連するＩＤを取得する。ステップＳ３０４において、コンテンツ情報取得部２２４０は、関連情報格納部２１４０から、ステップＳ３０２で取得されたＩＤに関連するコンテンツ情報を取得する。
【０１０５】
＜作用・効果＞
本実施形態によれば、情報取得装置２２００は、実対象物に関連するＩＤを取得し、取得したＩＤに関連するコンテンツ情報を得ることができる。その結果、ユーザ操作によって実対象物に関連するＩＤと関連付けられたコンテンツ情報を容易に活用できる。
【０１０６】
以下、適用例を通じてさらに説明を行う。
【０１０７】
＜第３の適用例＞
第３の実施形態の情報処理システム２０００Ｄの適用例（すなわち第３の適用例）を、第２の適用例と同じ想定環境で例示する。本適用例において、情報取得装置２２００はレジ端末である。
【０１０８】
食事を済ませたユーザは、トレー２０をレジ端末へ持って行く。店員は、情報取得装置２２００を用いて、このトレー２０のＩＤを取得する。図８において示されている通り、トレー２０は識別ナンバー７０を有する。店員は、識別ナンバー７０を情報取得装置２２００にスキャンさせる。これにより、情報取得装置２２００は、トレー２０のＩＤを取得する。そして、情報取得装置２２００は、取得したＩＤに関連するコンテンツ情報を取得する。このコンテンツ情報は、ユーザによってマーク３０へ近接されたコンテンツ画像４０に関連するコンテンツ情報であり、ユーザが購入したいコンテンツのコンテンツ情報である。
【０１０９】
上記の処理により、レジ端末は、ユーザが購入したいコンテンツの代金を割り出す。ユーザは、その代金を店員へ支払う。その結果、レジ端末は、ユーザが購入したコンテンツをダウンロードするためのチケットを出力する。例えばそのチケットは、購入したコンテンツをダウンロードするサイトの URL（Uniform Resource Locator）やダウンロードのためのパスワードを示す。これらの情報は、文字情報として示されていてもよいし、二次元コードなどの符号化された情報として示されていてもよい。図１４は、レジ端末で購入したコンテンツをダウンロードするためのチケット８０がレジ端末から出力される様子を例示する図である。ユーザは、チケット８０に示された情報を用いて、携帯端末や PC などで購入したコンテンツをダウンロードすることによって、購入したコンテンツを利用することができる。
【０１１０】
[第４の実施形態]
図１５は、第４の実施形態に係る情報処理システム２０００Ｅを示すブロック図である。図１５において、矢印は情報の流れを表している。さらに、図１５において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
【０１１１】
第４の実施形態の情報処理システム２０００Ｅは、第１画像とは別に、第２画像を投影面に投影する。そして、情報処理システム２０００Ｅは、第２画像に対して操作や機能を割り当てる。以下、詳細に説明する。
【０１１２】
＜画像取得部２０４０＞
第４の実施形態の画像取得部２０４０は、第２画像をさらに取得する。第２画像は、第１画像と異なる画像である。画像取得部２０４０が第２画像を取得する方法は、例えば、第１の実施形態で複数例示した「第１画像を取得する方法」のいずれかである。
【０１１３】
＜投影部２０６０＞
第４の実施形態の投影部２０６０は、第２画像をさらに投影する。ここで、投影部２０６０は、第２画像を投影する位置を決定する様々な方法のいずれかによって、第２画像を投影する位置を決定し、決定した位置に第２画像を投影する。投影部２０６０は、例えば、実対象物が検出された位置に基づいて、第２画像を投影する位置を決定してもよい。投影部２０６０は、例えば、実対象物の周辺に第２画像を投影してもよい。
【０１１４】
また、実対象物がある物体の一部分である場合、投影部２０６０は、その物体の位置を認識し、認識された物体の位置に基づいて第２画像を投影する位置を決定してもよい。例えば図８に示したように、実対象物がトレー２０に付されたマーク３０であるとする。この場合、投影部２０６０は、例えば、トレー２０の内側やトレー２０の周辺に第２画像を投影する。
【０１１５】
ただし、投影部２０６０は、第２画像を投影する位置を、実対象物の位置に関わらず決定してもよい。投影部２０６０は、例えば、投影面内の予め定められた位置に第２画像を投影してもよい。この場合の第２画像の投影位置は、投影部２０６０に予め設定されていてもよいし、投影部２０６０からアクセス可能な格納部に格納されていてもよい。
【０１１６】
＜第２操作検出部２１６０＞
第２操作検出部２１６０は、第１画像又は第２画像に対するユーザ操作を検出する。ここで、ユーザが第１画像や第２画像に対して行うユーザ操作は、第１の実施形態で説明したユーザ操作と同様である。第４の実施形態のタスク実行部２１００は、第２操作検出部２１６０によって第１画像と第２画像とを近接させる操作が検出された場合に、第１画像に関連するタスクを実行してもよい。
【０１１７】
ここで、本実施形態における「第１画像と第２画像とを近接させる操作」は、「第１画像を第２画像に近接させる操作」又は「第２画像を第１画像に近接させる操作」である。そして、これらの操作は、第１の実施形態で説明した「第１画像を実対象物へ近接させる操作」と同様である。例えば「第１画像と第２画像とを近接させる操作」は、例えば、第１画像を第２画像へ向けてドラッグする操作、又は、第１画像を第２画像へ向けてフリックする操作等である。
【０１１８】
第４の実施形態のタスク実行部２１００は、第２操作検出部２１６０によって検出されるユーザ操作について、第１の実施形態で説明したユーザ操作の属性をさらに考慮してもよい。タスク実行部２１００は、例えば、第１画像が所定の加速度以上の加速度で第２画像へ向けてフリックされた場合にタスクを実行してもよい。また、第４の実施形態のタスク実行部２１００は、第２操作検出部２１６０によって検出されたユーザ操作の結果、第１の実施形態で説明したあらかじめ定められた条件が満たされた場合にタスクを実行してもよい。タスク実行部２１００は、例えば、第１画像を第２画像へ向けてフリックした結果、第１画像の投影位置と第２画像の投影位置との間の距離が所定距離未満になった場合にタスクを実行してもよい。以下の説明における「第１画像と第２画像との間の距離」は、例えば、第１画像の投影位置と第２画像の投影位置との間の距離である。第１画像の投影位置は、例えば、第１画像を投影する投影装置１００に与えられる、第１画像の投影位置を表すパラメータ（例えば座標）であってもよい。第２画像の投影位置は、例えば、第２画像を投影する投影装置１００に与えられる、第２画像の投影位置を表すパラメータ（例えば座標）であってもよい。第１画像の投影位置と第２画像の投影位置との間の距離は、第１画像の投影位置を表す座標と第２画像の投影位置を表す座標との間の距離であってもよい。第１画像の投影位置と第２画像の投影位置との間の距離は、例えば、投影面の第１画像が投影されている領域において定められる点と、投影面の第２画像が投影されている領域において定められる点との間の距離であってもよい。投影面の第１画像が投影されている領域において定められる点は、例えば、第１画像の投影位置として投影装置１００に与えられるパラメータ（例えば座標）によって表される点が投影面において投影される点である。投影面の第２画像が投影されている領域において定められる点は、例えば、第２画像の投影位置として投影装置１００に与えられるパラメータ（例えば座標）によって表される点が投影面において投影される点である。
【０１１９】
＜処理の流れ＞
図１６は、第４の実施形態の情報処理システム２０００Ｅによって実行される処理の流れを示すフローチャートである。なお、第４の実施形態の情報処理システム２０００Ｅは、第１の実施形態の情報処理システム２０００と同様の流れで、ステップＳ１０２からＳ１０６までを実行する。本実施形態のステップＳ１０２からステップＳ１０４までの処理は、同じ符号が付されている、第１の実施形態のステップの処理と同じである。そのため、図１６において、ステップＳ１０２及びＳ１０４は省略されている。なお、図１６は、「第１画像と第２画像との間の距離＜所定距離」が満たされたときにタスクを実行するケースについて例示している。
【０１２０】
ステップＳ４０２において、画像取得部２０４０は第２画像を取得する。ステップＳ４０４において、投影部２０６０は、第２画像を投影する。ステップＳ４０６において、第２操作検出部２１６０は、第１画像又は第２画像に対するユーザ操作を検出する。
【０１２１】
ステップＳ４０８において、タスク実行部２１００は、「第１画像と第２画像との間の距離＜所定距離」が満たされているか否かを判定する。「第１画像と第２画像との間の距離＜所定距離」が満たされている場合（ステップＳ４０８においてＹＥＳ）、図１６の処理はステップＳ４１０へ進む。ステップＳ４１０において、タスク実行部２１００はタスクを実行する。一方、ステップＳ４０８において「第１画像と第２画像との間の距離＜所定距離」が満たされていない場合（ステップＳ４０８においてＮＯ）、図１６の処理はステップＳ４０６へ戻る。
【０１２２】
＜作用・効果＞
本実施形態によれば、第１画像に関するタスクを実行するためのインタフェースとして、実対象物に対する操作に加え、第１画像又は第２画像に対する操作が提供される。そのため、ユーザに対し、第１画像に関するタスクを実行するための操作として、よりバリエーションに富んだ操作が提供される。なお、第２操作検出部２１６０によってユーザ操作が検出された場合にタスク実行部２１００が実行するタスクは、操作検出部２０８０によってユーザ操作が検出された場合にタスク実行部２１００が実行するタスクと異なっていてもよい。そうすることで、ユーザに対し、さらにバリエーションに富んだ操作を提供することができる。
【０１２３】
なお、第２画像は実対象物の付近に投影してもよい。第１の実施形態で述べたように、実対象物を入力インタフェースにすると、入力インタフェースの位置を把握しやすくなるという利点がある。そこで、第２画像を実対象物の付近に投影すれば、位置が容易に把握できる実対象物の近くに投影されている第２画像についても、位置の把握が容易になる。そのため、第２画像に対して操作を加えることが容易になる。
【０１２４】
[第５の実施形態]
図１７は、第５の実施形態に係る情報処理システム２０００Ｆを示すブロック図である。図１７において、矢印は情報の流れを表している。さらに、図１７において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
【０１２５】
第５の実施形態の情報処理システム２０００Ｆは、ＩＤ取得部２１２０を有する点で第４の実施形態の情報処理システム２０００Ｅと異なる。なお、ＩＤ取得部２１２０は、第２の実施形態の情報処理システム２０００Ｂが有するＩＤ取得部２１２０と同様である。
【０１２６】
第５の実施形態のタスク実行部２１００は、ＩＤ取得部２１２０によって取得された実対象物に関連するＩＤを用いて、前述の関連情報を生成するタスクを実行する。具体的には、第５の実施形態のタスク実行部２１００は、例えば、第２操作検出部２１６０によってユーザ操作が検出された際に第１画像の投影位置と第２画像の投影位置との間の距離が所定距離以内である場合に、関連情報を生成する。その際、第５の実施形態のタスク実行部２１００は、ＩＤ取得部２１２０によって取得されたＩＤと、第１画像に関連するコンテンツ情報とを関連付ける。第５の実施形態のタスク実行部２１００は、ＩＤ取得部２１２０によって取得されたＩＤと、第１画像に関連するコンテンツ情報とが関連付けられている関連情報を生成する。
【０１２７】
第５の実施形態のＩＤ取得部２１２０が実対象物に関連するＩＤを取得する方法は、第２の実施形態のＩＤ取得部２１２０による、実対象物に関連するＩＤを取得する方法と同様である。また、第５の実施形態のタスク実行部２１００が第１画像に関連するコンテンツ情報を取得する方法は、第２の実施形態のタスク実行部２１００による、第１画像に関連するコンテンツ情報を取得する方法と同様である。
【０１２８】
第５の実施形態のタスク実行部２１００は、例えば、生成した関連情報を外部装置（図示されない）へ送信する。外部装置は、例えば、情報処理システム２０００Ｆと連携してユーザに対してサービスを提供するシステムのサーバ計算機などである。
【０１２９】
＜作用・効果＞
本実施形態によれば、第２操作検出部２１６０によってユーザ操作が検出された際に第１画像の投影位置と第２画像の投影位置との間の距離が所定距離未満である場合、関連情報が生成される。関連情報は、実対象物に関連するＩＤと、第１画像に関連するコンテンツ情報とが関連付けられている情報である。この関連情報は、例えば前述したように、情報処理システム２０００Ｆと連携してユーザに対してサービスを提供するシステムなどに送信される。こうすることで、情報処理システム２０００Ｆと他のシステムとを連携させることができる。そして、より豊富なサービスをユーザへ提供することができる。以下、適用例を通じてより詳細に説明する。
【０１３０】
＜第４の適用例＞
第１の適用例と同様の使用環境を想定して、第５の実施形態の情報処理システム２０００Ｆの適用例を示す。図１８は、本適用例におけるテーブル１０上の様子を表す平面図である。本適用例において、第２画像は、携帯端末を模した画像である端末画像６０である。
【０１３１】
本適用例において、ユーザは、コンテンツ画像４０を端末画像６０に近接させることによって、コンテンツ画像４０に関連する電子ブックに関する情報を、ユーザが有する携帯端末から閲覧可能となる。ただし、情報処理システム２０００Ｆは、ユーザに対して、端末画像６０を移動する操作を提供してもよい。この場合、ユーザは、端末画像６０を移動することによって、端末画像６０をコンテンツ画像４０へ近接させることもできる。
【０１３２】
このように情報処理システム２０００Ｆを携帯端末と連動させるために、本適用例の情報処理システム２０００Ｆは、ユーザの携帯端末からアクセス可能な Web システム３０００と連携している。図１９は、情報処理システム２０００と Web システム３０００との組み合わせを示すブロック図である。以下、情報処理システム２０００と Web システム３０００とが連携動作する流れについて例示する。ただし、以下の連係動作は例示であり、情報処理システム２０００Ｆと Web システム３０００とが連係動作する流れは、以下の例に限定されない。
【０１３３】
情報処理システム２０００Ｆは、第１画像の投影位置と第２画像の投影位置との間の距離が所定距離以下になったことを検出すると、関連情報を生成する。ここで、本適用例の情報処理システム２０００Ｆは、実対象物に関連するＩＤとして、ユーザＩＤを用いる。また、情報処理システム２０００Ｆは、コンテンツ情報として、コンテンツＩＤを取得する。そのため、情報処理システム２０００Ｆは、「ユーザＩＤ、コンテンツＩＤ」を組み合わせた関連情報を生成する。
【０１３４】
情報処理システム２０００Ｆは、連携している Web システム３０００に対して、生成した関連情報を送信する。ただし、一般に Web システムなどでは、ユーザＩＤに加えてパスワードの入力が求められる。そのため、情報処理システム２０００Ｆは、関連情報に加えて、パスワードを送信する必要がある場合がある。そこで、例えばユーザは、トレー２０を受け取る際にレジ端末などで「ユーザＩＤ、パスワード」を入力しておく。また例えば、情報処理システム２０００Ｆは、第１画像の投影位置と第２画像の投影位置との間の距離が所定距離以下になったことを検出した際に、投影面へキーボード等の画像を投影することによって、パスワードの入力を求めてもよい。情報処理システム２０００Ｆは、キーボード等の画像に対して行われた入力を検出することによって、パスワードを取得する。そして、情報処理システム２０００Ｆは、「ユーザＩＤ、電子ブックＩＤ、入力されたパスワード」の組み合わせを Web システム３０００へ送信する。
【０１３５】
情報処理システム２０００Ｆから情報を取得した Web システム３０００は、受信したユーザアカウント（ユーザＩＤとパスワードの組み合わせ）が正しい場合、そのユーザアカウントに対して、電子ブックＩＤを紐付ける。
【０１３６】
Web システム３０００は、ブラウザを介してアクセス可能な Web サービスを提供する。ユーザは、携帯端末のブラウザを用いてこの Web サービスへログインすることにより、自身のユーザアカウントに紐付いたコンテンツの情報を閲覧する。上述の例では、ユーザは、端末画像６０に近接させたコンテンツ画像４０で表される電子ブックの情報を、ブラウザを使用して閲覧できる。なお、Web システム３０００へアクセスするためのアプリケーションは、汎用的なブラウザに限定されず、例えば専用のアプリケーションであってもよい。
【０１３７】
例えばこの Web サービスは、ユーザに対してオンライン決済などのサービスを提供する。これにより、ユーザは、テーブル１０上で閲覧していたコンテンツ画像４０に関連するコンテンツを、携帯端末を用いたオンライン決済で購入できる。
【０１３８】
以上のようなサービスを提供すると、ユーザは、レストラン等で食事をしながらコンテンツを閲覧し、気に入ったものがあれば、簡単な操作を通じて携帯端末などで閲覧や購入ができるようになる。そのため、情報処理システム２０００Ｆの利便性の向上や、情報処理システム２０００Ｆによる宣伝広告効果の増大といった効果が得られる。
【０１３９】
また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【０１４０】
（付記１）
実対象物を検出する実対象物検出手段と、
第１画像を投影する投影手段と、
前記実対象物に対するユーザ操作を検出する操作検出手段と、
前記ユーザ操作に基づいて、前記第１画像に関連するタスクを実行するタスク実行手段と、
を有する情報処理システム。
【０１４１】
（付記２）
前記実対象物に関連するＩＤを取得するＩＤ取得手段を有し、
前記タスク実行手段は、前記ＩＤ取得手段によって取得されたＩＤと、前記第１画像に関連するコンテンツ情報と、を関連付けて関連情報を生成する
付記１に記載の情報処理システム。
【０１４２】
（付記３）
前記タスク実行手段は、前記第１画像に関連するコンテンツ情報の一部又は全部を表す画像を投影する処理を行う
付記１又は２に記載の情報処理システム。
【０１４３】
（付記４）
前記タスク実行手段は、前記第１画像が所定のユーザ操作によって前記実対象物へ近接された場合、前記第１画像の投影位置と前記実対象物との間の距離が所定距離以内となった場合、前記第１画像の投影位置と前記実対象物との間の距離が所定距離以内である状態が所定時間以上継続した場合、及び所定のユーザ操作が所定時間以上継続された場合のいずれか１つ以上の場合にタスクを実行する
付記１乃至３いずれか一項に記載の情報処理システム。
【０１４４】
（付記５）
前記実対象物は可搬物体の一部分又は全体であり、
当該情報処理システムは、
前記タスク実行手段によって生成された前記関連情報を格納する関連情報格納手段と、
情報取得装置と、を有し、
前記情報取得装置は、
前記実対象物に関連するＩＤを取得する第２ＩＤ取得手段と、
前記関連情報格納手段から、前記第２ＩＤ取得手段によって取得されたＩＤに関連する前記コンテンツ情報を取得するコンテンツ情報取得手段と、
を有する付記４に記載の情報処理システム。
【０１４５】
（付記６）
前記投影手段は、第２画像をさらに投影し、
前記第１画像又は前記第２画像に対するユーザ操作を検出する第２操作検出手段を有し、
前記タスク実行手段は、前記第２操作検出手段によって、前記第１画像と前記第２画像を近接させる操作が検出された場合に、前記第１画像に関連するタスクを実行する
付記１乃至５いずれか一つに記載の情報処理システム。
【０１４６】
（付記７）
前記実対象物を撮像し、撮像結果からその実対象物に関連するＩＤを取得するＩＤ取得手段を有し、
前記タスク実行手段は、前記第２操作検出手段によって、前記第１画像と前記第２画像を近接させる操作が検出された場合に、前記ＩＤ取得手段によって取得されたＩＤと、前記第１画像に関連するコンテンツ情報と、を関連付けて関連情報を生成する
付記６に記載の情報処理システム。
【０１４７】
（付記８）
前記第２タスクは、生成した関連情報を外部装置へ送信する
付記７に記載の情報処理システム。
【０１４８】
（付記９）
情報処理システムを制御するコンピュータによって実行される制御方法であって、
実対象物を検出する実対象物検出ステップと、
第１画像を投影する投影ステップと、
前記実対象物に対するユーザ操作を検出する操作検出ステップと、
前記ユーザ操作に基づいて、前記第１画像に関連するタスクを実行するタスク実行ステップと、
を有する制御方法。
【０１４９】
（付記１０）
前記実対象物に関連するＩＤを取得するＩＤ取得ステップを有し、
前記タスク実行ステップは、前記ＩＤ取得ステップによって取得されたＩＤと、前記第１画像に関連するコンテンツ情報と、を関連付けて関連情報を生成する
付記９に記載の制御方法。
【０１５０】
（付記１１）
前記タスク実行ステップは、前記第１画像に関連するコンテンツ情報の一部又は全部を表す画像を投影する処理を行う
付記９又は１０に記載の制御方法。
【０１５１】
（付記１２）
前記タスク実行ステップは、前記第１画像が所定のユーザ操作によって前記実対象物へ近接された場合、前記第１画像の投影位置と前記実対象物との間の距離が所定距離以内となった場合、前記第１画像の投影位置と前記実対象物との間の距離が所定距離以内である状態が所定時間以上継続した場合、及び所定のユーザ操作が所定時間以上継続された場合のいずれか１つ以上の場合にタスクを実行する
付記９乃至１１いずれか一つに記載の制御方法。
【０１５２】
（付記１３）
前記実対象物は可搬物体の一部分又は全体であり、
前記情報処理システムは、
前記第１タスクによって生成された前記関連情報を格納する関連情報格納手段と、
情報取得装置と、を有し、
前記情報取得装置が、前記実対象物に関連するＩＤを取得する第２ＩＤ取得ステップと、
前記情報取得装置が、前記関連情報格納手段から、前記第２ＩＤ取得ステップによって取得されたＩＤに関連する前記コンテンツ情報を取得するコンテンツ情報取得ステップと、
を実行する付記１２に記載の制御方法。
【０１５３】
（付記１４）
前記投影ステップは、第２画像をさらに投影し、
前記第１画像又は前記第２画像に対するユーザ操作を検出する第２操作検出ステップを有し、
前記タスク実行ステップは、前記第２操作検出ステップによって、前記第１画像と前記第２画像を近接させる操作が検出された場合に、前記第１画像に関連するタスクを実行する
付記９乃至１３いずれか一つに記載の制御方法。
【０１５４】
（付記１５）
前記実対象物を撮像し、撮像結果からその実対象物に関連するＩＤを取得するＩＤ取得ステップを有し、
前記タスク実行ステップは、前記第２操作検出ステップによって、前記第１画像と前記第２画像を近接させる操作が検出された場合に、前記ＩＤ取得ステップによって取得されたＩＤと、前記第１画像に関連するコンテンツ情報と、を関連付けて関連情報を生成する
付記１４に記載の制御方法。
【０１５５】
（付記１６）
前記第２タスクは、生成した関連情報を外部装置へ送信する
付記１５に記載の制御方法。
【０１５６】
（付記１７）
コンピュータに情報処理システムを制御する機能を持たせるプログラムであって、前記コンピュータに、
実対象物を検出する実対象物検出機能と、
第１画像を投影する投影機能と、
前記実対象物に対するユーザ操作を検出する操作検出機能と、
前記ユーザ操作に基づいて、前記第１画像に関連するタスクを実行するタスク実行機能と、
を持たせるプログラム。
【０１５７】
（付記１８）
前記コンピュータに、前記実対象物に関連するＩＤを取得するＩＤ取得機能を持たせ、
前記タスク実行機能は、前記ＩＤ取得機能によって取得されたＩＤと、前記第１画像に関連するコンテンツ情報と、を関連付けて関連情報を生成する
付記１７に記載のプログラム。
【０１５８】
（付記１９）
前記タスク実行機能は、前記第１画像に関連するコンテンツ情報の一部又は全部を表す画像を投影する処理を行う
付記１７又は１８に記載のプログラム。
【０１５９】
（付記２０）
前記タスク実行機能は、前記第１画像が所定のユーザ操作によって前記実対象物へ近接された場合、前記第１画像の投影位置と前記実対象物との間の距離が所定距離以内となった場合、前記第１画像の投影位置と前記実対象物との間の距離が所定距離以内である状態が所定時間以上継続した場合、及び所定のユーザ操作が所定時間以上継続された場合のいずれか１つ以上の場合にタスクを実行する
付記１７乃至１９いずれか一つに記載のプログラム。
【０１６０】
（付記２１）
前記実対象物は可搬物体の一部分又は全体であり、
前記情報処理システムは、
前記第１タスクによって生成された前記関連情報を格納する関連情報格納手段と、
情報取得装置と、を有し、
前記情報取得装置に、
前記実対象物に関連するＩＤを取得する第２ＩＤ取得機能と、
前記関連情報格納手段から、前記第２ＩＤ取得機能によって取得されたＩＤに関連する前記コンテンツ情報を取得するコンテンツ情報取得機能と、
を持たせる付記２０に記載のプログラム。
【０１６１】
（付記２２）
前記投影機能は、第２画像をさらに投影し、
前記コンピュータに、前記第１画像又は前記第２画像に対するユーザ操作を検出する第２操作検出機能を持たせ、
前記タスク実行機能は、前記第２操作検出機能によって、前記第１画像と前記第２画像を近接させる操作が検出された場合に、前記第１画像に関連するタスクを実行する
付記１７乃至２１いずれか一つに記載のプログラム。
【０１６２】
（付記２３）
前記コンピュータに、前記実対象物を撮像し、撮像結果からその実対象物に関連するＩＤを取得するＩＤ取得機能を持たせ、
前記タスク実行機能は、前記第２操作検出機能によって、前記第１画像と前記第２画像を近接させる操作が検出された場合に、前記ＩＤ取得機能によって取得されたＩＤと、前記第１画像に関連するコンテンツ情報と、を関連付けて関連情報を生成する
付記２２に記載のプログラム。
【０１６３】
（付記２４）
前記第２タスクは、生成した関連情報を外部装置へ送信する
付記２３に記載のプログラム。
【０１６４】
以上、実施形態（及び適用例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び適用例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１６５】
この出願は、２０１４年４月１８日に出願された日本出願特願２０１４−０８６５１１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１６６】
１０    テーブル
２０    トレー
３０    マーク
４０    コンテンツ画像
５０    手
６０    端末画像
７０    識別ナンバー
８０    チケット
１００    投影装置
２００    監視装置
３００    バス
４００    装置
４１０    投影方向調整部
１０００    計算機
１０２０    バス
１０４０    プロセッサ
１０６０    メモリ
１０８０    ストレージ
１１００    入出力インタフェース
１２２０    実対象物検出モジュール
１２６０    投影モジュール
１２８０    操作検出モジュール
１３００    タスク実行モジュール
２０００    情報処理システム
２０００Ａ    情報処理システム
２０００Ｂ    情報処理システム
２０００Ｃ    情報処理システム
２０００Ｄ    情報処理システム
２０００Ｅ    情報処理システム
２０００Ｆ    情報処理システム
２０２０    実対象物検出部
２０４０    画像取得部
２０６０    投影部
２０８０    操作検出部
２１００    タスク実行部
２１２０    ＩＤ取得部
２１４０    関連情報格納部
２１６０    第２操作検出部
２２００    情報取得装置
２２２０    第２ＩＤ取得部
２２４０    コンテンツ情報取得部
３０００    Web システム
【図１】
2015159550.tif 000003
【図２】
2015159550.tif 000004
【図３】
2015159550.tif 000005
【図４】
2015159550.tif 000006
【図５】
2015159550.tif 000007
【図６】
2015159550.tif 000008
【図７】
2015159550.tif 000009
【図８】
2015159550.tif 000010
【図９】
2015159550.tif 000011
【図１０】
2015159550.tif 000012
【図１１】
2015159550.tif 000013
【図１２】
2015159550.tif 000014
【図１３】
2015159550.tif 000015
【図１４】
2015159550.tif 000016
【図１５】
2015159550.tif 000017
【図１６】
2015159550.tif 000018
【図１７】
2015159550.tif 000019
【図１８】
2015159550.tif 000020
【図１９】
2015159550.tif 000021
【手続補正書】
【提出日】平成28年10月7日(2016.10.7)
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、情報処理システム、制御方法、及びプログラムに関する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明一態様に係るプログラムは、コンピュータに情報処理システムを制御する機能を持たせるプログラムであって、前記コンピュータに、実対象物を検出する実対象物検出機能と、第１画像を投影する投影機能と、前記実対象物に対するユーザ操作を検出する操作検出機能と、前記ユーザ操作に基づいて、前記第１画像に関連するタスクを実行するタスク実行機能と、を持たせるプログラムである。
【手続補正４】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
実対象物を検出する実対象物検出手段と、
第１画像を投影する投影手段と、
前記実対象物に対するユーザ操作を検出する操作検出手段と、
前記ユーザ操作に基づいて、前記第１画像に関連するタスクを実行するタスク実行手段と、
を有する情報処理システム。
【請求項２】
前記実対象物に関連するＩＤを取得するＩＤ取得手段を有し、
前記タスク実行手段は、前記ＩＤ取得手段によって取得されたＩＤと、前記第１画像に関連するコンテンツ情報と、を関連付けて関連情報を生成する
請求項１に記載の情報処理システム。
【請求項３】
前記タスク実行手段は、前記第１画像に関連するコンテンツ情報の一部又は全部を表す画像を投影する処理を行う
請求項１又は２に記載の情報処理システム。
【請求項４】
前記タスク実行手段は、前記第１画像が所定のユーザ操作によって前記実対象物へ近接された場合、前記第１画像の投影位置と前記実対象物との間の距離が所定距離以内となった場合、前記第１画像の投影位置と前記実対象物との間の距離が所定距離以内である状態が所定時間以上継続した場合、及び所定のユーザ操作が所定時間以上継続された場合のいずれか１つ以上の場合にタスクを実行する
請求項１乃至３いずれか一項に記載の情報処理システム。
【請求項５】
前記実対象物は可搬物体の一部分又は全体であり、
当該情報処理システムは、
前記タスク実行手段によって生成された前記関連情報を格納する関連情報格納手段と、
情報取得装置と、を有し、
前記情報取得装置は、
前記実対象物に関連するＩＤを取得する第２ＩＤ取得手段と、
前記関連情報格納手段から、前記第２ＩＤ取得手段によって取得されたＩＤに関連する前記コンテンツ情報を取得するコンテンツ情報取得手段と、
を有する請求項４に記載の情報処理システム。
【請求項６】
前記投影手段は、第２画像をさらに投影し、
前記第１画像又は前記第２画像に対するユーザ操作を検出する第２操作検出手段を有し、
前記タスク実行手段は、前記第２操作検出手段によって、前記第１画像と前記第２画像を近接させる操作が検出された場合に、前記第１画像に関連するタスクを実行する
請求項１乃至５いずれか一項に記載の情報処理システム。
【請求項７】
前記実対象物を撮像し、撮像結果からその実対象物に関連するＩＤを取得するＩＤ取得手段を有し、
前記タスク実行手段は、前記第２操作検出手段によって、前記第１画像と前記第２画像を近接させる操作が検出された場合に、前記ＩＤ取得手段によって取得されたＩＤと、前記第１画像に関連するコンテンツ情報と、を関連付けて関連情報を生成する
請求項６に記載の情報処理システム。
【請求項８】
前記第２タスクは、生成した関連情報を外部装置へ送信する
請求項７に記載の情報処理システム。
【請求項９】
情報処理システムを制御するコンピュータによって実行される制御方法であって、
実対象物を検出し、
第１画像を投影し、
前記実対象物に対するユーザ操作を検出し、
前記ユーザ操作に基づいて、前記第１画像に関連するタスクを実行する
制御方法。
【請求項１０】
コンピュータに情報処理システムを制御する機能を持たせるプログラムであって、前記コンピュータに、
実対象物を検出する実対象物検出機能と、
第１画像を投影する投影機能と、
前記実対象物に対するユーザ操作を検出する操作検出機能と、
前記ユーザ操作に基づいて、前記第１画像に関連するタスクを実行するタスク実行機能と、
を持たせるプログラム。
【国際調査報告】
2015159550.tif 000022
2015159550.tif 000023
2015159550.tif 000024
2015159550.tif 000025