(57)【要約】 【課題】ユーザの指示動作に対する応答の遅延をユーザに意識させないことが可能なシステム、画像投影装置、画像投影方法およびプログラムを提供する。【解決手段】本発明に係る画像投影装置は、検出部と認識部と第１送信部と第１受信部と投影制御部とを備える。検出部は、画像投影装置によって投影された画像に対応する対象空間に存在する対象物体を検出する。認識部は、検出部による対象物体の検出に基づいて、画像に対する指示動作を認識する。第１送信部は、認識部により認識された指示動作を示す情報を、サーバ装置へ送信する。第１受信部は、サーバ装置が指示動作を示す情報に応じて生成した画像を受信する。投影制御部は、認識部によって認識されたことを示す画像の投影制御を行う。【選択図】図４
2014171122.tif 000002
【特許請求の範囲】
【請求項１】
投影対象物に画像を投影する画像投影装置と、画像を生成するサーバ装置とを備えるシステムであって、
前記画像投影装置は、
前記画像投影装置によって投影された画像に対応する対象空間に存在する対象物体を検出する検出部と、
前記検出部による対象物体の検出に基づいて、前記投影対象物に投影された画像に対する指示動作を認識する認識部と、
前記認識部により認識された前記指示動作を示す情報を、前記サーバ装置へ送信する第１送信部と、
前記サーバ装置が前記指示動作を示す情報に応じて生成した画像を受信する第１受信部と、
前記認識部によって認識されたことを示す画像の投影制御を行う投影制御部と、を備え、
前記サーバ装置は、
前記画像投影装置からの前記指示動作を示す情報を受信する第２受信部と、
前記指示動作を示す情報に応じた画像を生成する生成部と、
前記生成部により生成された画像を前記画像投影装置へ送信する第２送信部と、を備える、
ことを特徴とするシステム。
【請求項２】
前記投影制御部は、前記投影対象物に投影する画像を、前記認識部により認識された前記指示動作に応じて変化させる制御を行い、前記サーバ装置が生成した画像を前記第１受信部で受信した場合は、前記投影対象物に投影する画像を、前記第１受信部で受信した画像に切り替える制御を行う
請求項１に記載のシステム。
【請求項３】
前記画像投影装置は、
それぞれが前記指示動作を示す複数の第１情報と、それぞれが画像の出力制御を示す複数の第２情報とを１対１に対応付けて記憶する記憶部をさらに備え、
前記投影制御部は、前記認識部により認識された前記指示動作を示す前記第１情報に対応付けられた前記第２情報が示す前記出力制御に応じた制御を行う、
ことを特徴とする請求項２に記載のシステム。
【請求項４】
前記画像投影装置は、
前記認識部により認識された前記指示動作が、前記投影対象物のうち画像が投影される領域を示す投影領域に表示されるＵＩ画像を指し示す動作であるか否かを判断する判断部をさらに備え、
前記判断部により、前記認識部により認識された前記指示動作が前記ＵＩ画像を指し示す動作であると判断された場合、前記投影制御部は、前記対象物体と前記ＵＩ画像との位置関係に応じて、前記ＵＩ画像を変化させる制御を行う、
ことを特徴とする請求項３に記載のシステム。
【請求項５】
前記第２送信部は、前記生成部により生成された画像と、前記ＵＩ画像の位置を示すＵＩ情報とを含む画面構成情報を前記画像投影装置に送信し、
前記第１受信部は、前記画面構成情報を前記サーバ装置から受信し、
前記判断部は、前記ＵＩ情報を用いて、前記認識部により認識された前記指示動作が前記ＵＩ画像を指し示す動作であるか否かを判断する、
ことを特徴とする請求項４に記載のシステム。
【請求項６】
投影対象物に画像を投影する画像投影装置であって、
前記画像投影装置によって投影された画像に対応する対象空間に存在する対象物体を検出する検出部と、
前記検出部による対象物体の検出に基づいて、前記投影対象物に投影された画像に対する指示動作を認識する認識部と、
前記認識部により認識された前記指示動作を示す情報を、サーバ装置へ送信する第１送信部と、
前記サーバ装置が前記指示動作を示す情報に応じて生成した画像を受信する第１受信部と、
前記認識部によって認識されたことを示す画像の投影制御を行う投影制御部と、を備える、
ことを特徴とする画像投影装置。
【請求項７】
前記投影制御部は、前記投影対象物に投影する画像を、前記認識部により認識された前記指示動作に応じて変化させる制御を行い、前記サーバ装置が生成した画像を前記第１受信部で受信した場合は、前記投影対象物に投影する画像を、前記第１受信部で受信した画像に切り替える制御を行う、
ことを特徴とする請求項６に記載の画像投影装置。
【請求項８】
それぞれが前記指示動作を示す複数の第１情報と、それぞれが画像の出力制御を示す複数の第２情報とを１対１に対応付けて記憶する記憶部をさらに備え、
前記投影制御部は、前記認識部により認識された前記指示動作を示す前記第１情報に対応付けられた前記第２情報が示す前記出力制御に応じた制御を行う、
ことを特徴とする請求項７に記載の画像投影装置。
【請求項９】
前記認識部により認識された前記指示動作が、前記投影対象物のうち画像が投影される領域を示す投影領域に表示されるＵＩ画像を指し示す動作であるか否かを判断する判断部をさらに備え、
前記判断部により、前記認識部により認識された前記指示動作が前記ＵＩ画像を指し示す動作であると判断された場合、前記投影制御部は、前記対象物体と前記ＵＩ画像との位置関係に応じて、前記ＵＩ画像を変化させる制御を行う、
ことを特徴とする請求項８に記載の画像投影装置。
【請求項１０】
前記第１受信部は、前記サーバ装置が前記指示動作を示す情報に応じて生成した画像と、前記ＵＩ画像の位置を示すＵＩ情報とを含む画面構成情報を前記サーバ装置から受信し、
前記判断部は、前記ＵＩ情報を用いて、前記認識部により認識された前記指示動作が前記ＵＩ画像を指し示す動作であるか否かを判断する、
ことを特徴とする請求項９に記載の画像投影装置。
【請求項１１】
投影対象物に画像を投影する画像投影装置によって投影された画像に対応する対象空間に存在する対象物体を検出する検出ステップと、
前記検出ステップによる対象物体の検出に基づいて、前記投影対象物に投影された画像に対する指示動作を認識する認識ステップと、
前記認識ステップで認識された前記指示動作を示す情報を、サーバ装置へ送信する第１送信ステップと、
前記サーバ装置が前記指示動作を示す情報に応じて生成した画像を受信する第１受信ステップと、
前記認識ステップで認識されたことを示す画像の投影制御を行う投影制御ステップと、を含む、
ことを特徴とする画像投影方法。
【請求項１２】
前記投影制御ステップでは、前記投影対象物に投影する画像を、前記認識ステップで認識された前記指示動作に応じて変化させる制御を行い、前記第１受信ステップにおいて、前記サーバ装置が生成した画像を受信した場合は、前記投影対象物に投影する画像を、前記第１受信ステップで受信した画像に切り替える制御を行う、
ことを特徴とする請求項１１に記載の画像投影方法。
【請求項１３】
前記投影制御ステップでは、それぞれが前記指示動作を示す複数の第１情報と、それぞれが画像の出力制御を示す複数の第２情報とを１対１に対応付けて記憶する記憶部を用いて、前記認識ステップで認識された前記指示動作を示す前記第１情報に対応付けられた前記第２情報を特定し、特定した前記第２情報が示す前記出力制御に応じた制御を行う、
ことを特徴とする請求項１２に記載の画像投影方法。
【請求項１４】
前記認識ステップで認識された前記指示動作が、前記投影対象物のうち画像が投影される領域を示す投影領域に表示されるＵＩ画像を指し示す動作であるか否かを判断する判断ステップをさらに含み、
前記判断ステップにおいて、前記認識ステップで認識された前記指示動作が前記ＵＩ画像を指し示す動作であると判断された場合、前記投影制御ステップでは、前記対象物体と前記ＵＩ画像との位置関係に応じて、前記ＵＩ画像を変化させる制御を行う、
ことを特徴とする請求項１３に記載の画像投影方法。
【請求項１５】
前記第１受信ステップでは、前記サーバ装置が前記指示動作を示す情報に応じて生成した画像と、前記ＵＩ画像の位置を示すＵＩ情報とを含む画面構成情報を前記サーバ装置から受信し、
前記判断ステップでは、前記ＵＩ情報を用いて、前記認識ステップで認識された前記指示動作が前記ＵＩ画像を指し示す動作であるか否かを判断する、
ことを特徴とする請求項１４に記載の画像投影方法。
【請求項１６】
コンピュータに、
投影対象物に画像を投影する画像投影装置によって投影された画像に対応する対象空間に存在する対象物体を検出する検出ステップと、
前記検出ステップによる対象物体の検出に基づいて、前記投影対象物に投影された画像に対する指示動作を認識する認識ステップと、
前記認識ステップで認識された前記指示動作を示す情報を、サーバ装置へ送信する第１送信ステップと、
前記サーバ装置が前記指示動作を示す情報に応じて生成した画像を受信する第１受信ステップと、
前記認識ステップで認識されたことを示す画像の投影制御を行う投影制御ステップと、を実行させるためのプログラム。
【請求項１７】
前記投影制御ステップでは、前記投影対象物に投影する画像を、前記認識ステップで認識された前記指示動作に応じて変化させる制御を行い、前記第１受信ステップにおいて、前記サーバ装置が生成した画像を受信した場合は、前記投影対象物に投影する画像を、前記第１受信ステップで受信した画像に切り替える制御を行う、
ことを特徴とする請求項１６に記載のプログラム。
【請求項１８】
前記投影制御ステップでは、それぞれが前記指示動作を示す複数の第１情報と、それぞれが画像の出力制御を示す複数の第２情報とを１対１に対応付けて記憶する記憶部を用いて、前記認識ステップで認識された前記指示動作を示す前記第１情報に対応付けられた前記第２情報を特定し、特定した前記第２情報が示す前記出力制御に応じた制御を行う、
ことを特徴とする請求項１７に記載のプログラム。
【請求項１９】
前記認識ステップで認識された前記指示動作が、前記投影対象物のうち画像が投影される領域を示す投影領域に表示されるＵＩ画像を指し示す動作であるか否かを判断する判断ステップをさらに含み、
前記判断ステップにおいて、前記認識ステップで認識された前記指示動作が前記ＵＩ画像を指し示す動作であると判断された場合、前記投影制御ステップでは、前記対象物体と前記ＵＩ画像との位置関係に応じて、前記ＵＩ画像を変化させる制御を行う、
ことを特徴とする請求項１８に記載のプログラム。
【請求項２０】
前記第１受信ステップでは、前記サーバ装置が前記指示動作を示す情報に応じて生成した画像と、前記ＵＩ画像の位置を示すＵＩ情報とを含む画面構成情報を前記サーバ装置から受信し、
前記判断ステップでは、前記ＵＩ情報を用いて、前記認識ステップで認識された前記指示動作が前記ＵＩ画像を指し示す動作であるか否かを判断する、
ことを特徴とする請求項１９に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、システム、画像投影装置、画像投影方法およびプログラムに関する。
【背景技術】
【０００２】
従来、プロジェクタが投影した映像（画像）に対して、タッチパネルのような感覚で直接映像に触れることや、プロジェクタに対して何らかの指示動作（手を動かすなどの動作）を行うことにより、プロジェクタやその他プロジェクタに接続された機器をより直感的に操作する技術が知られている（例えば特許文献１または特許文献２参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
例えばプロジェクタと接続されたサーバ装置が、ユーザによる指示動作に応じた画像を生成する構成においては、投影対象物に投影される画像が、ユーザによる指示動作に応じた画像に切り替わるまでは、ネットワークの速度に応じた一定の時間を要する。この間、ユーザは、自分が行なった指示動作が正しく受け付けられたかどうかを判断することができないという問題がある。
【０００４】
本発明は、上記に鑑みてなされたものであって、ユーザの指示動作に対する応答の遅延をユーザに意識させないことが可能なシステム、画像投影装置、画像投影方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述した課題を解決し、目的を達成するために、本発明は、投影対象物に画像を投影する画像投影装置と、画像を生成するサーバ装置とを備えるシステムであって、前記画像投影装置は、前記画像投影装置によって投影された画像に対応する対象空間に存在する対象物体を検出する検出部と、前記検出部による対象物体の検出に基づいて、前記投影対象物に投影された画像に対する指示動作を認識する認識部と、前記認識部により認識された前記指示動作を示す情報を、前記サーバ装置へ送信する第１送信部と、前記サーバ装置が前記指示動作に応じて生成した画像を受信する第１受信部と、前記認識部によって認識されたことを示す画像の投影制御を行う投影制御部と、を備え、前記サーバ装置は、前記画像投影装置からの前記指示動作を示す情報を受信する第２受信部と、前記指示動作を示す情報に応じた画像を生成する生成部と、前記生成部により生成された画像を前記画像投影装置へ送信する第２送信部と、を備えることを特徴とするシステムである。
【発明の効果】
【０００６】
本発明によれば、ユーザの指示動作に対する応答の遅延をユーザに意識させないことが可能なシステム、画像投影装置、画像投影方法およびプログラムを提供できるという有利な効果を奏する。
【図面の簡単な説明】
【０００７】
【図１】図１は、全体の概観を説明するための模式図である。
【図２】図２は、全体外観を側面から見た場合の模式図である。
【図３】図３は、実施形態に係るシステムの構成例を示すブロック図である。
【図４】図４は、実施形態に係るプロジェクタの構成例を示すブロック図である。
【図５】図５は、プロジェクタを上方から俯瞰した模式図である。
【図６】図６は、撮像センサーで撮像した画像を模式的に示す図である。
【図７】図７は、投影領域のサイズの算出方法を説明するための図である。
【図８】図８は、サーバ装置の機能構成例を示すブロック図である。
【図９】図９は、フィードバック画像の一例を示す図である。
【図１０】図１０は、フィードバック画像の一例を示す図である。
【図１１】図１１は、フィードバック画像の一例を示す図である。
【図１２】図１２は、フィードバック画像の一例を示す図である。
【図１３】図１３は、フィードバック画像の一例を示す図である。
【図１４】図１４は、フィードバック画像の一例を示す図である。
【図１５】図１５は、起動してから指示領域を決定するまでのプロジェクタの動作例を示すフローチャートである。
【図１６】図１６は、指示動作認識待機状態に移行した後のプロジェクタの動作例を示すフローチャートである。
【図１７】図１７は、指示領域内に対象物体が存在するか否かを判断する方法を説明するための図である。
【図１８】図１８は、システムの動作手順の一例を示すシーケンス図である。
【図１９】図１９は、実施形態に係るプロジェクタのハードウェア構成例を示す図である。
【図２０】図２０は、変形例に係る画像の出力制御を説明するための模式図である。
【図２１】図２１は、変形例に係る画像の出力制御を説明するための模式図である。
【発明を実施するための形態】
【０００８】
以下、添付図面を参照しながら、本発明に係るシステム、画像投影装置、画像投影方法およびプログラムの実施の形態を詳細に説明する。以下では、本発明が適用される画像投影装置として、超短焦点プロジェクタを例に挙げて説明するが、これに限られるものではなく、例えば本発明が適用される画像投影装置として、短焦点プロジェクタや長焦点プロジェクタが採用されてもよい。
【０００９】
ここで、焦点とは、投写面から光学位置までの距離（例えば、投影光が出射される投影口から、画像が投影される投影対象物までの距離）を指す投写距離と同義である。超短焦点プロジェクタの投写距離は短焦点プロジェクタの投写距離よりも短く、短焦点プロジェクタの投写距離は長焦点プロジェクタの投写距離よりも短い。例えば超短焦点距離の投写距離を「１１．７〜２４．９ｃｍ」、短焦点プロジェクタの投写距離を「０．７〜１４．６ｍ」、長焦点プロジェクタの投写距離を「１．３ｍ〜３２．４ｍ」として設定することもできる。
【００１０】
図１は、全体の概観を説明するための模式図である。図２は、全体外観を側方から見た場合の模式図である。図１および図２に示すように、本実施形態に係るプロジェクタ１は、画像が投影される投影対象物（この例では壁面）２に近接して配置される。プロジェクタ１の上部には、撮像センサー１００と、投影光を出射する投影口５とが異なる位置に設けられている。撮像センサー１００は、プロジェクタ１によって投影された画像に対応する空間を示す対象空間を撮像する装置である。この例では、対象空間は、プロジェクタ１の上方の空間であって、投影対象物２のうち画像が投影される領域を示す投影領域３の上端を少なくとも含む空間である。本実施形態では、撮像センサー１００は、カメラで構成されているが、これに限らず、例えば撮像センサー１００は、赤外線カメラ、ステレオカメラ等の機器を用いることができる。要するに、撮像センサー１００は、上述の対象空間を撮像可能で、対象空間のうちユーザによる指示動作が行われる指示領域４内の物体の距離を計測可能な装置であればよい。
【００１１】
後述するように、本実施形態では、対象空間のうち、プロジェクタ１から出射される投影光に干渉せず、かつ、投影領域３と対向する領域を、出力させたい内容に応じた指示動作を行うことが可能な指示領域４として決定する。指示領域４のうち投影領域３と向かい合う面のサイズは、投影領域３と等しいサイズであってもよいし、投影領域３のサイズと一致していなくてもよい。例えば表示するコンテンツによって、指示領域４のサイズが可変に設定されてもよい。
【００１２】
図３は、本実施形態に係るシステム１１の概略構成例を示す図である。図３に示すように、本実施形態に係るシステム１１は、プロジェクタ１と、サーバ装置１２とを備える。プロジェクタ１とサーバ装置１２は、例えばＬＡＮ（Local  Area  Network）、イントラネット、インターネットなどのネットワーク１３を介して相互に接続可能である。この例では、サーバ装置１２は、プロジェクタ１で投影される画像を生成してプロジェクタ１へ供給する。例えばユーザが、指示領域４内で指示動作を行った場合、プロジェクタ１は、その指示動作を示す指示動作情報を、サーバ装置１２へ送信する。サーバ装置１２は、プロジェクタ１から受信した指示動作情報が示す指示動作に応じた画像を生成し、生成した画像を含む画面構成情報（後述）を、プロジェクタ１へ送信する。そして、プロジェクタ１は、サーバ装置から画像を受信した場合、投影対象物２に投影する画像を、その受信した画像に切り替える。
【００１３】
図４は、プロジェクタ１の構成例を示すブロック図である。図４に示すように、プロジェクタ１は、撮像センサー１００と、制御ユニット２００と、画像投影部３００とを備える。
【００１４】
制御ユニット２００は、検出部２０１と、認識部２０２と、第１算出部２０３と、第２算出部２０４と、決定部２０５と、第１判断部２０６と、操作出力部２０７と、第１送信部２０８と、第１受信部２１５と、画面構成情報記憶部２０９と、再生部２１０と、第２判断部２１１と、パターン記憶部２１２と、ＵＩ生成部２１３と、合成部２１４とを備える。この例では、制御ユニット２００のハードウェア構成は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を含む通常のコンピュータ装置のハードウェア構成を利用したものであり、制御ユニット２００の各部（検出部２０１、認識部２０２、第１算出部２０３、第２算出部２０４、決定部２０５、第１判断部２０６、操作出力部２０７、通信部２０８、再生部２１０、第２判断部２１１、ＵＩ生成部２１３、合成部２１４）の機能は、ＣＰＵがＲＯＭ等に格納されたプログラムを実行することにより実現される。ただし、これに限られるものではなく、上述した各部の機能のうちの少なくとも一部が専用のハードウェア回路で実現されてもよい。また、上述の画面構成情報記憶部２０９およびパターン記憶部２１２は、ＲＡＭ、ＲＯＭ、あるいは、ＨＤＤ等の補助記憶装置などで実現可能である。
【００１５】
検出部２０１は、前述の対象空間に存在する対象物体（例えばユーザの手など）を検出する。本実施形態では、検出部２０１は、撮像センサー１００の撮像により得られた画像データを取得し、取得した画像データに基づいて、対象物体を検出する。
【００１６】
認識部２０２は、検出部２０１による対象物体の検出に基づいて、投影対象物２に投影された画像に対する指示動作（手を動かすなどの動作）を認識する。例えば手を動かすなどの動作を認識する方法としては、公知の様々な技術を利用することができる。そして、認識部２０２は、認識した指示動作を示す指示動作情報を、後述の第１判断部２０６へ送る。指示動作情報には、対象物体の３次元空間上の座標などが含まれていてもよい。
【００１７】
第１算出部２０３は、撮像センサー１００による撮像で得られた画像データに基づいて、プロジェクタ１と、投影対象物２との間の距離を算出する。以下、第１算出部２０３による距離の算出方法について説明する。図５は、プロジェクタ１を上方から俯瞰した模式図である。図５の例では、投影口５がプロジェクタ１の右側、撮像センサー１００がプロジェクタ１の左側に配置されている。また、図６は、撮像センサー（この例ではカメラ）１００の撮像により得られた画像データを模式的に示す図である。本実施形態では、プロジェクタ１の上部において、投影口５と撮像センサー１００が水平方向に離れて配置されているので、例えばプロジェクタ１が投影対象物２から離れると、図６に示すように、画像データ内の投影領域は、カメラの見かけ上、左方向にシフトする。この移動量（シフト量）から、プロジェクタ１と投影対象物２との距離を計算することができる。見方を変えれば、第１算出部２０３は、撮像センサー１００による撮像で得られた画像データ内の投影領域の位置に応じて、プロジェクタ１と、投影対象物２との間の距離を算出していると捉えることもできる。
【００１８】
図４に戻って説明を続ける。第２算出部２０４は、第１算出部２０３により算出された距離に基づいて、投影領域のサイズを算出する。以下、第２算出部２０４による投影領域のサイズの算出方法について説明する。図７は、投影領域のサイズの算出方法を説明するための図である。図７は、プロジェクタ１を側方から見た場合の模式図である。図７からも理解されるように、投影領域の高さｈは、以下の式１で表すことができる。
ｈ＝Ｄ×（ａ２×ａ１）＋ｂ２×ｂ１      ・・・（式１）
【００１９】
上記式１において、Ｄは、プロジェクタ１と投影対象物２との間の距離を表す。また、ａ２は、投影領域の上端へ入射する投影光の傾きを表し、ａ１は、投影領域の下端へ入射する投影光の傾きを表す。さらに、ｂ１は、プロジェクタ１の投影対象物２側の端面から投影対象物２と平行に上方に延びる直線Ｋのうち、投影口５から投影領域の下端へ入射する投影光を表す直線との交点に相当する切片を表す。また、ｂ２は、図７に示す直線Ｋのうち、投影口５から投影領域の上端へ入射する投影光を表す直線との交点に相当する切片を表す。上記ａ１、ａ２、ｂ１およびｂ２の各々の値は、プロジェクタ１に採用されるミラー６の特性等に応じて予め決められている。
【００２０】
また、投影領域の幅は、画面のアスペクト比から計算することができる。以上のようにして、第２算出部２０４は、投影領域の高さと幅を算出し、投影領域のサイズ（＝高さ×幅）を算出することができる。
【００２１】
再び図４に戻って説明を続ける。決定部２０５は、対象空間のうち、プロジェクタ１の投影光に干渉せず、かつ、投影領域と対向する領域を、出力させたい内容に応じた指示動作を行うことが可能な指示領域として決定する。本実施形態では、図１および図２に示すように、決定部２０５は、プロジェクタ１の上方の、投影光に干渉しないで投影領域３と対向する、投影対象物２の法線方向の一定範囲を占める直方体形状の領域を、指示領域４として決定するが、指示領域４の形状はこれに限られるものではなく、任意に変更可能である。なお、指示領域のおよその位置をユーザに把握させるために、例えばプロジェクタ１の上面や床面などに目印（指示領域のおよその位置を知らせることができる情報であればよい）を付けておくことも可能である。
【００２２】
第１判断部２０６は、認識部２０２により認識された指示動作が、決定部２０５により決定された指示領域４内で行われたか否かを判断する。第１判断部２０６は、認識部２０２により認識された指示動作が、決定部２０５により決定された指示領域４内で行われたと判断した場合、その指示動作を示す指示動作情報を、操作出力部２０７へ出力する。
【００２３】
また、第１判断部２０６は、認識部２０２により認識された指示動作が、決定部２０５により決定された指示領域４内で行われたと判断し、かつ、その指示動作が、投影領域を指し示す動作（例えば手を差し出す動作に相当）である場合は、その指示動作を示す指示動作情報を第２判断部２１１へ出力する。一方、その指示動作が、投影領域を指し示す動作以外の動作（例えばフリックなど）である場合は、その指示動作を示す指示動作情報（対象物体の３次元空間上の座標などが含まれていてもよい）を、第２判断部２１１へは出力せずにＵＩ生成部２１３へ出力する。
【００２４】
操作出力部２０７は、第１判断部２０６から渡された指示動作情報を、サーバ装置１２へ送信する制御を行う。第１送信部２０８は、操作出力部２０７の制御の下、指示動作情報を、サーバ装置１２へ送信する。
【００２５】
ここで、図８を参照しながら、サーバ装置１２の機能について説明する。図８は、サーバ装置１２の機能構成例を示す図である。図８に示すように、サーバ装置１２は、第２受信部１４と、生成部１５と、第２送信部１６とを備える。
【００２６】
第２受信部１４は、プロジェクタ１からの指示動作情報（指示動作を示す情報）を受信する。生成部１５は、第２受信部１４で受信した指示動作情報に応じて、投影すべき画像を生成する。第２送信部１６は、生成部１５により生成された画像をプロジェクタ１へ送信する。本実施形態では、第２送信部１６は、生成部１５により生成された画像と、操作用のボタンなどを表すＵＩ画像（生成部１５が生成してもよいし、プロジェクタ１側で生成されてもよい）の位置を示すＵＩ情報とを含む画面構成情報を、プロジェクタ１へ送信する。また、この例では、サーバ装置１２のハードウェア構成は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を含む通常のコンピュータ装置のハードウェア構成を利用したものであり、サーバ装置１２の各部（第２受信部１４、生成部１５、第２送信部１６）の機能は、ＣＰＵがＲＯＭ等に格納されたプログラムを実行することにより実現される。ただし、これに限られるものではなく、上述した各部の機能のうちの少なくとも一部が専用のハードウェア回路で実現されてもよい。
【００２７】
再び図４に戻って説明を続ける。第１受信部２１５は、サーバ装置１２からの画面構成情報を受信する機能を有する。画面構成情報記憶部２０９は、通信部２０８で受信した画面構成情報を記憶する。再生部２１０は、サーバ装置１２からの画面構成情報を通信部２０８で受信するたびに、その受信した画面構成情報に含まれる画像を、プロジェクタ１で投影するためのデータ形式に変換する処理（例えば画像を伸張する処理等）を行い、変換処理後の画像を、合成部２１４へ出力する。
【００２８】
第２判断部２１１は、対象空間（より具体的には指示領域４）内において認識された指示動作が、投影領域に表示されているＵＩ画像（例えばボタン画像など）を指し示す動作であるか否かを判断する。本実施形態では、第２判断部２１１は、画面構成情報記憶部２０９に記憶されたＵＩ情報を用いて、対象空間内において認識された指示動作がＵＩ画像を指し示す動作であるか否かを判断する。
【００２９】
さらに言えば、第２判断部２１１は、第１判断部２０６からの指示動作情報と、画面構成情報記憶部２０９に記憶された画面構成情報のうち、第１判断部２０６からの指示動作情報が示す指示動作の対象となる画像（サーバ装置１２から、その指示動作に応じて生成された画像を受信する直前に受信した画像）を含む画面構成情報に含まれるＵＩ情報とに基づいて、第１判断部２０６からの指示動作情報が示す指示動作が、投影領域に表示されているＵＩ画像を指し示す動作であるか否かを判断する。例えば、第１判断部２０６からの指示動作情報が示す指示動作が、投影領域に表示されているボタン画像を指し示す動作であると判断した場合、第２判断部２１１は、その判断結果に関する情報を、ＵＩ生成部２１３へ出力する。この例では、上記の判断結果に関する情報には、例えば、対象空間内において認識された指示動作はボタン画像の押下であることを示す情報（第２判断部２１１により生成された指示動作情報であると捉えることもできる）やＵＩ情報などが含まれる。また、本実施形態では、第２判断部２１１は、上記の判断結果に関する情報を、操作出力部２０７を介してサーバ装置１２へ送信する。この例では、第２判断部２１１は、請求項の「判断部」に対応している。
【００３０】
パターン記憶部２１２は、それぞれが指示動作を示す複数の第１情報と、それぞれが画像の出力制御（投影制御）を示す複数の第２情報とを１対１に対応付けて記憶する。この例では、例えばボタン画像（ＵＩ画像の一例）の押下を示す第１情報に対しては、対象物体（例えば人の手）と、ボタン画像との位置関係に応じてボタン画像が変化することを表すフィードバック画像（ユーザに提示するＵＩ画像の一種であると考えることもできる）を出力（投影）することを示す第２情報が対応付けられている。また、例えばフリックを示す第１情報に対しては、フリックの対象となる画像（サーバ装置１２から、フリックに応じて生成された画像を受信する直前に受信した画像）が、フリックに対応する方向（指で払われた方向）に徐々に移動（スライド）していくことを表すフィードバック画像を出力することを示す第２情報が対応付けられている。なお、「フリック」とは、指で軽く払う動作を表す。
【００３１】
ＵＩ生成部２１３は、パターン記憶部２１２に記憶された複数の第２情報の中から、対象空間内において認識された指示動作を示す第１情報に対応付けられた第２情報を特定し、特定した第２情報が示す出力制御に対応するフィードバック画像を生成する。例えば第２判断部２１１によって、対象空間内において認識された指示動作は、ボタン画像の押下であると判断された場合、ＵＩ生成部２１３は、パターン記憶部２１２に記憶された複数の第２情報の中から、ボタン画像の押下を示す第１情報に対応付けられた第２情報を特定する。そして、ＵＩ生成部２１３は、その特定した第２情報が示す出力制御に対応するフィードバック画像を生成する。この例では、ＵＩ生成部２１３は、対象物体（例えばユーザの手）がボタン画像に近づくほど、ボタン画像が徐々に奥側に歪んでいく（へこんでいく）ことを表すフィードバック画像を生成し（図９参照）、対象物体とボタン画像との間の距離が閾値以下に到達した場合は、ボタン画像が元の位置に向けて飛び出すことを表すフィードバック画像を生成する（図１０参照）。
【００３２】
なお、これに限らず、フィードバック画像の態様は任意に変更可能である。例えばＵＩ生成部２１３は、対象物体がボタン画像に近づくほど、径が徐々に小さくなる円形画像を表すフィードバック画像を生成することもできるし（図１１参照）、例えば対象物体とボタン画像との距離が閾値以上の場合はボタン画像を囲むように円形画像が出現する一方、対象物体とボタン画像との距離が閾値を下回る場合は円形画像が消えて、対象物体がボタン画像に近づくほど、ボタン画像が徐々に奥側に歪んでいくことを表すフィードバック画像を生成することもできる（図１２参照）。
【００３３】
また、例えば対象空間内において認識された指示動作がフリックの場合、ＵＩ生成部２１３は、パターン記憶部２１２に記憶された複数の第２情報の中から、フリックを示す第１情報に対応付けられた第２情報を特定し、その特定した第２情報が示す出力制御に対応するフィードバック画像を生成する。この例では、ＵＩ生成部２１３は、図１３に示すように、フリックの対象となる画像（サーバ装置１２から、フリックに応じて生成された画像を受信する直前に受信した画像）が、フリックに対応する方向に徐々に移動していくことを表すフィードバック画像を生成する。また、これに限らず、例えばＵＩ生成部２１３は、図１４に示すように、フリックに応じた画像に切り替える準備をしている段階であることを表すフィードバック画像（図１４の例では、「ロード中」であることを示す画像）を生成することもできる。
【００３４】
再び図４に戻って説明を続ける。合成部２１４は、ＵＩ生成部２１３により生成されたフィードバック画像と、対象空間内において認識された指示動作の対象となる画像（サーバ装置１２から、その指示動作に応じて生成された画像を受信する直前に受信した画像）とを合成し、その合成した画像を、画像投影部３００へ供給する。そして、画像投影部３００は、合成部２１４から供給された画像を投影対象物２に投影する。なお、例えば図１３のように、ＵＩ生成部２１３により生成されたフィードバック画像が、対象空間内において認識された指示動作（図１３の例ではフリック）の対象となる画像（サーバ装置１２から、フリックに応じて生成された画像を受信する直前に受信した画像）との合成を必要としないものである場合は、合成部２１４は、ＵＩ生成部２１３により生成されたフィードバック画像のみを画像投影部３００へ供給することもできる。これにより、投影対象物２に投影される画像は、ＵＩ生成部２１３により生成されたフィードバック画像に切り替わる。この例では、ＵＩ生成部２１３と合成部２１４は、投影対象物に投影する画像を、対象空間内において認識された指示動作に応じて変化させる制御を行う機能を有していると捉えることができる。
【００３５】
また、合成部２１４は、再生部２１０から画像を受信するたびに（見方を変えれば、サーバ装置１２から新たな画像を受信するたびに）、その受信した画像をそのまま画像投影部３００へ供給する。そして、画像投影部３００は、合成部２１４から供給された画像を投影対象物２に投影する。これにより、投影対象物２に投影される画像は、合成部２１４から供給された画像（サーバ装置１２により新たに生成された画像）に切り替わる。この例では、合成部２１４は、サーバ装置１２から画像を受信した場合は、投影対象物２に投影する画像を、サーバ装置から受信した画像に切り替える制御を行う機能を有していると捉えることができる。つまり、この例では、ＵＩ生成部２１３と合成部２１４は、認識部０２によって認識されたことを示す画像の投影制御を行う機能を有していると捉えることができ、請求項の「投影制御部」に対応している。そして、ＵＩ生成部２１３と合成部２１４は、対象空間内において認識された指示動作を示す第１情報に対応付けられた第２情報が示す出力制御に応じた制御を行っていると捉えることができる。
【００３６】
次に、起動してから指示領域４を決定するまでのプロジェクタ１の動作例を説明する。図１５は、起動してから指示領域４を決定するまでのプロジェクタ１の動作例を示すフローチャートである。図１５に示すように、まず、第１算出部２０３は、検出部２０１により取得された画像データに基づいて、プロジェクタ１と、投影対象物２との間の距離を算出する（ステップＳ１）。次に、第２算出部２０４は、ステップＳ１で算出された距離に基づいて、投影領域のサイズを算出する（ステップＳ２）。次に、決定部２０５は、ステップＳ２で算出された投影領域のサイズに基づいて、指示領域４のサイズを決定した上で（ステップＳ３）、指示領域を決定する。そして、認識部２０２は、電源がＯＦＦされるか、ジェスチャ機能がＯＦＦされるまで、指示動作認識待機状態で待機する（ステップＳ４）。なお、前述したように、投影領域のサイズは、プロジェクタ１と投影対象物２との間の距離に応じて変化するので、指示領域４も、プロジェクタ１と投影対象物２との間の距離に応じて変化する。例えばプロジェクタ１の移動を検知するセンサーがプロジェクタ１に搭載されている構成においては、当該センサーによりプロジェクタ１の移動が検知された場合は、上記ステップＳ１〜ステップＳ３の処理をやり直してもよい。
【００３７】
次に、指示動作認識待機状態に移行した後のプロジェクタ１の動作例を説明する。図１６は、この場合のプロジェクタ１の動作例を示すフローチャートである。まず、通信部２０８は、サーバ装置１２からの画面構成情報を受信する（ステップＳ１１）。次に、通信部２０８は、受信した画面構成情報を画面構成情報記憶部２０９に登録する（ステップＳ１２）。画像投影部３００は、ステップＳ１１で受信した画面構成情報に含まれる画像を、投影対象物２に投影する（ステップＳ１３）。より具体的には、ステップＳ１１で受信した画面構成情報に含まれる画像は、再生部２１０により、プロジェクタ１で投影するためのデータ形式に変換され、合成部２１４は、その変換された画像をそのまま画像投影部３００へ供給する。そして、画像投影部３００は、合成部２１４から供給された画像を投影対象物に投影する。これにより、投影対象物２に投影される画像は、合成部２１４から供給された画像に切り替わる。
【００３８】
次に、認識部２０２が、ユーザによる指示動作を認識した場合（ステップＳ１４：ＹＥＳ）、第１判断部２０６は、認識部２０２からの指示動作情報を元に、対象物体（例えばユーザの手など）の座標が、決定部２０５により決定された指示領域４内に存在するか否かを判断する（ステップＳ１５）。見方を変えれば、第１判断部２０６は、指示領域４内において、認識部２０２により認識された指示動作が行われたか否かを判断していると捉えることもできる。なお、本実施形態では、指示動作認識待機状態において、カメラにより撮像された画像データに対象物体が写り込んでいて、検出部２０１により対象物体が検出された場合、認識部２０２は、ユーザによる指示動作の認識を行い（つまり、認識部２０２による認識は対象物体が検出されるたびに行われる）、認識した指示動作を示す指示動作情報を第１判断部２０６へ送る。
【００３９】
図１７は、指示領域４内に対象物体が存在するか否かを判断する方法を説明するための図である。カメラ（撮像センサー１００）で計測できるのは、カメラの垂直上方における対象物体の位置（角度）と、対象物体までの距離である。この二つが分かれば、第２算出部２０４により算出された投影領域の位置と、決定部２０５により決定された指示領域４の奥行き（投影対象物２の法線方向の寸法）から、対象物体が、指示領域４内に存在するかどうかを判断することができる。この例では、カメラの垂直上方における対象物体の位置（角度）と、対象物体までの距離を示す情報は、認識部２０２からの指示動作情報に含まれている。また、第１判断部２０６は、第２算出部２０４から、投影領域の位置を示す情報を受け取り、決定部２０５から、指示領域４の奥行きを示す情報を受け取る。そして、第１判断部２０６は、これらの情報を元に、指示領域４内に対象物体が存在するか否かを判断することができる。
【００４０】
図１６に戻って説明を続ける。上述のステップＳ１５において、対象物体の座標が、決定部２０５により決定された指示領域４内に存在しないと判断された場合（ステップＳ１５：ＮＯ）、処理は、前述のステップＳ１３とステップＳ１４の間に戻る。一方、対象物体の座標が、決定部２０５により決定された指示領域４に存在すると判断された場合（ステップＳ１５：ＹＥＳ）、ＵＩ生成部２１３は、ステップＳ１４で認識された指示動作に応じたフィードバック画像を生成する（ステップＳ１６）。例えばステップＳ１４で認識された指示動作が、投影領域を指し示す動作である場合、第２判断部２１１は、ステップＳ１４で認識された指示動作が、投影領域に表示されているＵＩ画像を指し示す動作であるか否かを判断する。そして、第２判断部２１１が、ステップＳ１４で認識された指示動作が、投影領域に表示されているＵＩ画像を指し示す動作であると判断した場合、ＵＩ生成部２１３は、パターン記憶部２１２に記憶された複数の第２情報の中から、第２判断部２１１によって判断された指示動作（例えばボタン画像の押下など）を示す第１情報に対応付けられた第２情報を特定し、その特定した第２情報が示す出力制御に対応するフィードバック画像を生成する。
【００４１】
また、例えばステップＳ１４で認識された指示動作が、投影領域を指し示す動作以外の動作（例えばフリックなど）である場合、ＵＩ生成部２１３は、ステップＳ１４で認識された指示動作を示す第１情報に対応付けられた第２情報を特定し、その特定した第２情報が示す出力制御に対応するフィードバック画像を生成する。
【００４２】
次に、合成部２１４は、ステップＳ１６で生成されたフィードバック画像を表示する制御を行う（ステップＳ１７）。より具体的には、合成部２１４は、ステップＳ１６で生成されたフィードバック画像と、ステップＳ１４で認識された指示動作の対象となる画像（サーバ装置１２から、ステップＳ１４で認識された指示動作に応じて生成された画像を受信する直前に受信した画像）とを合成した画像を、画像投影部３００へ供給する。そして、画像投影部３００は、合成部２１４から供給された画像を、投影対象物に投影する。なお、前述したように、ステップＳ１６で生成されたフィードバック画像が、ステップＳ１４で認識された指示動作の対象となる画像との合成を必要としないものである場合は、合成部２１４は、ステップＳ１６で生成されたフィードバック画像のみを画像投影部３００に供給することもできる。
【００４３】
そして、新たな画面構成情報をサーバ装置１２から受信した場合（ステップＳ１８：ＹＥＳ）は、上述のステップＳ１２以降の処理が繰り返される。新たな画面構成情報をサーバ装置１２から受信していない場合（ステップＳ１８：ＮＯ）は、上述のステップＳ１７の処理が繰り返され、ステップＳ１６で生成されたフィードバック画像が表示され続ける。なお、例えばサーバ装置１２からの応答が一定時間よりも速ければ、ユーザへのフィードバックが終了するのを待ってから画面を変更してもよい。
【００４４】
図１８は、本実施形態に係るシステム１１の動作手順の一例を示すシーケンス図である。図１８に示すように、ユーザが、決定部２０５により予め決定された指示領域４内においてボタン押下などの指示動作を行うと（ステップＳ２０）、プロジェクタ１は、その指示動作を認識する（ステップＳ２１）。そして、プロジェクタ１は、ステップＳ２１で認識した指示動作に応じてフィードバック画像を生成し、生成したフィードバック画像を表示する（ステップＳ２２）。また、プロジェクタ１は、ステップＳ２１で認識した指示動作を示す指示動作情報を、サーバ装置１２へ送信する（ステップＳ２３）。なお、ステップＳ２２とステップＳ２３の順序は任意である。
【００４５】
サーバ装置１２は、プロジェクタ１からの指示動作情報を受信すると、その受信した指示動作情報が示す指示動作に応じて画像を生成する（ステップＳ２４）。そして、サーバ装置１２は、ステップＳ２４で生成した画像と、前述のＵＩ情報とを含む画面構成情報をプロジェクタ１へ送信する（ステップＳ２５）。プロジェクタ１は、サーバ装置１２からの画面構成情報を受信すると、投影対象物２に投影する画像を、サーバ装置１２から受信した画面構成情報に含まれる画像に切り替える（ステップＳ２６）。
【００４６】
次に、本実施形態に係るプロジェクタ１のハードウェア構成例を説明する。図１９は、プロジェクタ１のハードウェア構成例を示すブロック図である。図１９に示すように、プロジェクタ１は、ＣＰＵ１０と、メモリコントローラ２０と、メインメモリ３０と、ホスト−ＰＣＩブリッジ４０とを備えている。メモリコントローラ２０は、ＣＰＵ１０、メインメモリ３０、及びホスト−ＰＣＩブリッジ４０とホスト・バス１１０で接続されている。
【００４７】
ＣＰＵ１０は、プロジェクタ１の全体制御を行うものである。メモリコントローラ２０は、メインメモリ３０に対する読み書きなどを制御する。メインメモリ３０は、プログラムやデータの格納用メモリ、プログラムやデータの展開用メモリ、描画用メモリなどとして用いるシステムメモリである。
【００４８】
ホスト−ＰＣＩブリッジ４０は、周辺デバイスやＰＣＩ（Peripheral Component Interconnect）デバイス５０を接続するためのブリッジである。ホスト−ＰＣＩブリッジ４０は、メモリカード６０とＨＤＤ  Ｉ／Ｆ１２０で接続されている。また、ホスト−ＰＣＩブリッジ４０は、ＰＣＩデバイス５０とＰＣＩバス１３０で接続されている。また、ホスト−ＰＣＩブリッジは４０、通信カード７０、無線通信カード８０、及びビデオカード９０などとＰＣＩバス１３０及びＰＣＩスロット１４０を介して接続されている。
【００４９】
メモリカード６０は、ＯＳのブートデバイスとして利用される。通信カード７０及び無線通信カード８０は、ＬＡＮなどのネットワークや通信回線との接続に利用される。ビデオカード９０は、画像の投影に利用され、映像信号をディスプレイ出力に出力する。なお、本実施形態のプロジェクタ１で実行される制御プログラムは、メインメモリ３０の格納用メモリ等に予め組み込まれて提供される。
【００５０】
以上に説明したように、本実施形態では、ユーザが、対象空間内においてボタン押下などの指示動作を行った場合、投影対象物２に投影される画像が当該指示動作に応じた画像に切り替わるまでの間、当該指示動作に応じたフィードバック画像が表示されるので、当該ユーザは、自分の指示動作が受け付けられたことを直ちに理解することができる。したがって、ユーザの指示動作に対する応答の遅延をユーザに意識させないことが可能になるという有利な効果を奏する。
【００５１】
また、本実施形態では、プロジェクタ１の上方の空間を示す対象空間のうち、プロジェクタ１からの投影光に干渉せず、かつ、投影領域と対向する領域を、出力させたい内容に応じた指示動作を行うことが可能な指示領域として決定するので、操作者の影が投影画像に映り込んでしまうことはない上、操作者は、投影対象物に投影された画像と対向する領域内で指示動作を行うことになるので、自身の操作と投影画像との対応を直感的に理解することができる。したがって、本実施形態によれば、投影画像の視認性を確保するとともに直感的で分かり易い操作を提供できるという特有の効果を奏する。
【００５２】
ここで、本実施形態の対比例として、カメラなどの撮像センサーで投影領域を撮影してユーザの動作を検出し、投影領域をタッチパネルのように利用する構成（例えば特許文献１のような構成）を想定する。投影領域を撮像するための撮像センサーとして、例えば水平画角＝６０°、垂直画角＝５０°のカメラを用い、仮想操作面からカメラまでの水平距離＝８５ｃｍとすると、仮想操作面の水平幅×垂直幅＝１００ｃｍ×１００ｃｍとなる。このサイズは、投影画面サイズ（４８インチなら１００ｃｍ×６０ｃｍ）を包含しているので、安価なカメラで済むが、例えば超短焦点プロジェクタの場合は、前述したように投写距離が「１１．７〜２４．９ｃｍ」となるので、超短焦点プロジェクタに搭載されるカメラと仮想操作面（対比例においては投影領域とみなすことができる）との距離も上記の場合に比べて大幅に短くなり、上記カメラにより撮像される仮想操作面のサイズが投影画面のサイズに収まらなくなる。このため、対比例の技術を、例えば超短焦点プロジェクタなどの投写距離が所定の基準値（例えば８５ｃｍ）を下回るプロジェクタに適用する場合は、より画角の大きい（視野角の広い）カメラを用いる必要があるので、コストアップに繋がるという問題がある。
【００５３】
これに対して、上述の本実施形態では、プロジェクタ１に搭載された撮像センサー１００に要求される機能としては、プロジェクタ１の上方の空間を示す対象空間のうち、プロジェクタ１からの投影光に干渉せず、かつ、投影領域と対向する領域を示す指示領域を撮像する機能だけで済む（つまり、対比例のように投影領域全体を撮像する必要は無い）ので、超短焦点プロジェクタの場合であっても、プロジェクタに搭載される撮像センサー１００は安価なカメラで済むという利点がある上、上述した特有の効果も達成できる。したがって、本発明は、例えば超短焦点プロジェクタなどの投写距離が所定の基準値を下回るプロジェクタに適用する場合において格別に有効である。ただし、これに限らず、本発明は、投写距離が所定の基準値以上のプロジェクタに適用することも可能であり、この場合であっても、上述した特有の効果を達成できることは勿論である。
【００５４】
以上、本発明の実施形態を説明したが、上述の実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。本発明は、上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
【００５５】
例えば図１３に示すようなフィードバック画像を表示する例において、図２０に示すように、サーバ装置１２から、フリックに応じて生成された画像を受信するまでは、フリックの対象となる画像（直前の画像）の移動により生じた余白の領域を黒で表示し、フリックに応じて生成された新たな画像をサーバ装置１２から受信した場合は、図２１に示すように、フリックの対象となる画像の移動により生じた余白の領域に新たな画像が現れるような表示制御を行うこともできる。要するに、指示動作を受け付けたことをユーザに知らせるためのフィードバックや、投影対象物２に投影する画像の切り替えを行う際の画像の出力制御は任意に変更可能である。
【００５６】
例えば上述の実施形態においては、プロジェクタ１が撮像センサー１００を備える構成（プロジェクタ１と撮像センサー１００とが一体である構成）を例に挙げて説明したが、これに限らず、例えば撮像センサー１００が、プロジェクタ１とは別に（独立して）設けられる形態であってもよい。
【００５７】
なお、上述のプロジェクタ１またはサーバ装置１２で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００５８】
さらに、上述のプロジェクタ１またはサーバ装置１２で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述のプロジェクタ１またはサーバ装置１２で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【符号の説明】
【００５９】
１      プロジェクタ
２      投影対象物
４      指示領域
１１    システム
１２    サーバ装置
１３    ネットワーク
１４    受信部
１５    生成部
１６    送信部
１００  撮像センサー
２００  制御ユニット
２０１  検出部
２０２  認識部
２０３  第１算出部
２０４  第２算出部
２０５  決定部
２０６  第１判断部
２０７  操作出力部
２０８  第１送信部
２０９  画面構成情報記憶部
２１０  再生部
２１１  第２判断部
２１２  パターン記憶部
２１３  ＵＩ生成部
２１４  合成部
２１５  第１受信部
３００  画像投影部
【先行技術文献】
【特許文献】
【００６０】
【特許文献１】特開２０１２−００３５２１号公報
【特許文献２】特開２００８−２８７１４２号公報
【図１】
2014171122.tif 000003
【図２】
2014171122.tif 000004
【図３】
2014171122.tif 000005
【図４】
2014171122.tif 000006
【図５】
2014171122.tif 000007
【図６】
2014171122.tif 000008
【図７】
2014171122.tif 000009
【図８】
2014171122.tif 000010
【図９】
2014171122.tif 000011
【図１０】
2014171122.tif 000012
【図１１】
2014171122.tif 000013
【図１２】
2014171122.tif 000014
【図１３】
2014171122.tif 000015
【図１４】
2014171122.tif 000016
【図１５】
2014171122.tif 000017
【図１６】
2014171122.tif 000018
【図１７】
2014171122.tif 000019
【図１８】
2014171122.tif 000020
【図１９】
2014171122.tif 000021
【図２０】
2014171122.tif 000022
【図２１】
2014171122.tif 000023