(57)【要約】 【課題】正確にキャリブレーションを行うことが可能なシステム、画像投影装置、情報処理装置、情報処理方法およびプログラムを提供する。【解決手段】本発明に係るプロジェクタ１００は、検知部１０２と判定部１０３と特定部１０４とを備える。検知部１０２は、プロジェクタ１００から出射される投影光の光路に存在する対象物体を撮像する撮像手段によって撮像された撮像画像に基づいて、対象物体から反射される光を検知する。判定部１０３は、撮像画像に基づいて、プロジェクタ１００によって投影された画像に対応する対象空間における対象物体の位置情報を判定する。特定部１０４は、検知部１０２によって検知された対象物体から反射される光と、判定部１０３によって判定された位置情報とに基づいて、投影対象物のうち画像が投影される投影領域を特定する。【選択図】図６
2014170511.tif 000002
【特許請求の範囲】
【請求項１】
投影対象物に画像を投影する投影手段と、
前記投影手段から出射される投影光の光路に存在する対象物体を撮像する撮像手段と、
前記撮像手段によって撮像された撮像画像に基づいて、前記対象物体から反射される光を検知する検知手段と、
前記撮像画像に基づいて、前記投影手段によって投影された画像に対応する対象空間における前記対象物体の位置情報を判定する判定手段と、
前記検知手段によって検知された前記対象物体から反射される光と、前記判定手段によって判定された位置情報とに基づいて、前記投影対象物のうち画像が投影される投影領域を特定する特定手段と、を備える、
ことを特徴とするシステム。
【請求項２】
前記検知手段により検知された前記対象物体から反射される光に基づいて、前記判定手段により判定された位置情報が、前記投影領域上のどの位置に対応するのかを判断する判断手段をさらに備える、
ことを特徴とする請求項１に記載のシステム。
【請求項３】
前記対象空間における前記対象物体の位置と、前記投影領域上の位置との対応関係を決定するキャリブレーション処理に用いられるキャリブレーション画像を出力する制御を行う出力制御手段をさらに備え、
前記キャリブレーション画像が前記投影対象物に投影されている場合において、前記判断手段は、前記検知手段により検知された前記対象物体から反射される光に基づいて、前記投影領域のうち前記対象物体により指し示されている位置を特定し、その特定した前記投影領域上の位置は、前記判定手段により判定された位置情報に対応していると判断する、
ことを特徴とする請求項２に記載のシステム。
【請求項４】
前記出力制御手段は、前記投影領域上の位置に応じて異なる色を表示する前記キャリブレーション画像を出力する制御を行う、
ことを特徴とする請求項３に記載のシステム。
【請求項５】
前記判断手段は、前記検知手段により検知された前記対象物体から反射される光の色に基づいて、前記投影領域のうち前記対象物体により指し示された位置を特定する、
ことを特徴とする請求項４に記載のシステム。
【請求項６】
前記判断手段は、前記投影領域のうち、前記検知手段により検知された前記対象物体から反射される光の色に対応する位置を、前記対象物体により指し示された位置として特定する、
請求項５に記載のシステム。
【請求項７】
前記出力制御手段は、前記投影領域において、所定値の輝度を示すパターン画像の表示位置が経時的に変化することを表す前記キャリブレーション画像を出力する制御を行う、
ことを特徴とする請求項３に記載のシステム。
【請求項８】
前記判断手段は、前記検知手段により検知された前記対象物体から反射される光の輝度に基づいて、前記投影領域のうち前記対象物体により指し示された位置を特定する、
ことを特徴とする請求項７に記載のシステム。
【請求項９】
前記判断手段は、前記検知手段により検知された前記対象物体から反射される光の輝度が前記所定値以上の場合、そのときの前記投影領域上の前記パターン画像の表示位置を、前記対象物体により指し示された位置として特定する、
ことを特徴とする請求項８に記載のシステム。
【請求項１０】
投影対象物に画像を投影する画像投影装置であって、
前記画像投影装置から出射される投影光の光路に存在する対象物体を撮像する撮像手段によって撮像された撮像画像に基づいて、前記対象物体から反射される光を検知する検知手段と、
前記撮像画像に基づいて、前記画像投影装置によって投影された画像に対応する対象空間における前記対象物体の位置情報を判定する判定手段と、
前記検知手段によって検知された前記対象物体から反射される光と、前記判定手段によって判定された位置情報とに基づいて、前記投影対象物のうち画像が投影される投影領域を特定する特定手段と、を備える、
ことを特徴とする画像投影装置。
【請求項１１】
投影対象物に画像を投影する画像投影装置から出射される投影光の光路に存在する対象物体を撮像する撮像手段によって撮像された撮像画像に基づいて、前記対象物体から反射される光を検知する検知手段と、
前記撮像画像に基づいて、前記画像投影装置によって投影された画像に対応する対象空間における前記対象物体の位置情報を判定する判定手段と、
前記検知手段によって検知された前記対象物体から反射される光と、前記判定手段によって判定された位置情報とに基づいて、前記投影対象物のうち画像が投影される投影領域を特定する特定手段と、を備える、
ことを特徴とする情報処理装置。
【請求項１２】
投影対象物に画像を投影する画像投影装置から出射される投影光の光路に存在する対象物体を撮像する撮像手段によって撮像された撮像画像に基づいて、前記対象物体から反射される光を検知する検知ステップと、
前記撮像画像に基づいて、前記画像投影装置によって投影された画像に対応する対象空間における前記対象物体の位置情報を判定する判定ステップと、
前記検知ステップによって検知された前記対象物体から反射される光と、前記判定ステップによって判定された位置情報とに基づいて、前記投影対象物のうち画像が投影される投影領域を特定する特定ステップと、を含む、
情報処理方法。
【請求項１３】
コンピュータに、
投影対象物に画像を投影する画像投影装置から出射される投影光の光路に存在する対象物体を撮像する撮像手段によって撮像された撮像画像に基づいて、前記対象物体から反射される光を検知する検知ステップと、
前記撮像画像に基づいて、前記画像投影装置によって投影された画像に対応する対象空間における前記対象物体の位置情報を判定する判定ステップと、
前記検知ステップによって検知された前記対象物体から反射される光と、前記判定ステップによって判定された位置情報とに基づいて、前記投影対象物のうち画像が投影される投影領域を特定する特定ステップと、を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、システム、画像投影装置、情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【０００２】
画面に表示された画像を見ながら、その手前の何もない空間に仮想の操作面を想定し、この仮想操作面をタッチパネルに見立て、指など（対象物体）を動かすことで、操作入力を与えるＵＩ（ユーザインターフェース）装置が従来から提案されている。
【０００３】
上記ＵＩ装置においては、実空間（仮想操作面）における対象物体の位置と、画面上の位置との対応が重要になる。例えば特許文献１には、矩形画像の４隅に所定のマークが表示されるようなキャリブレーション（実空間における対象物体の位置と、画面上の位置との対応関係を決定するための処理を指す）専用の画像を投影し、マークを指し示したときの手の位置（実空間における位置）と、画面上のマークの位置とを対応付ける技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された技術では、ユーザの手がマークに届かないような場合（例えば上記のキャリブレーション専用の画像を大画面に投影した場合等）においては、正確にキャリブレーションを行うことができないという問題がある。
【０００５】
本発明は、上記に鑑みてなされたものであって、投影画像に対する指示動作を検出するために必要なキャリブレーションを正確に行うことが可能なシステム、画像投影装置、情報処理装置、情報処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明は、投影対象物に画像を投影する投影手段と、前記投影手段から出射される投影光の光路に存在する対象物体を撮像する撮像手段と、前記撮像手段によって撮像された撮像画像に基づいて、前記対象物体から反射される光を検知する検知手段と、前記撮像画像に基づいて、前記投影手段によって投影された画像に対応する対象空間における前記対象物体の位置情報を判定する判定手段と、前記検知手段によって検知された前記対象物体から反射される光と、前記判定手段によって判定された位置情報とに基づいて、前記投影対象物のうち画像が投影される投影領域を特定する特定手段と、を備えることを特徴とするシステムである。
【発明の効果】
【０００７】
本発明によれば、投影画像に対する指示動作を検出するために必要なキャリブレーションを正確に行うことが可能なシステム、画像投影装置、情報処理装置、情報処理方法およびプログラムを提供できるという有利な効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は、ユーザが、仮想走査面に対して手を差し出している様子を示す図である。
【図２】図２は、実施形態の座標系を説明するための図である。
【図３】図３は、図１を上側から俯瞰した様子を示す図である。
【図４】図４は、プロジェクタを投影対象物から遠ざけ、投影画面サイズを大きくした場合における指の実空間上の座標値を模式的に示す図である。
【図５】図５は、プロジェクタを右方向へ移動した場合における指の実空間上の座標値を模式的に示す図である。
【図６】図６は、第１実施形態に係るプロジェクタの機能構成例を示すブロック図である。
【図７】図７は、第１実施形態において投影されたキャリブレーション画像の一例を示す図である。
【図８】図８は、第１実施形態においてキャリブレーション情報を生成する処理の一例を示すフローチャートである。
【図９】図９は、第２実施形態に係るプロジェクタの機能構成例を示すブロック図である。
【図１０】図１０は、第２実施形態において投影されたキャリブレーション画像の一例を示す図である。
【図１１】図１１は、第２実施形態においてキャリブレーション情報を生成する処理の一例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照しながら、本発明に係るシステム、画像投影装置、情報処理装置、情報処理方法およびプログラムの実施の形態を詳細に説明する。以下の説明では、本発明が適用される画像投影装置として、超短焦点プロジェクタを例に挙げて説明するが、これに限られるものではなく、例えば本発明が適用される画像投影装置として、短焦点プロジェクタや長焦点プロジェクタが採用されてもよい。
【００１０】
ここで、焦点とは、投写面から光学位置までの距離（例えば、投影光が出射される投影口から、画像が投影される投影対象物までの距離）を指す投写距離と同義である。超短焦点プロジェクタの投写距離は短焦点プロジェクタの投写距離よりも短く、短焦点プロジェクタの投写距離は長焦点プロジェクタの投写距離よりも短い。例えば超短焦点距離の投写距離を「１１．７〜２４．９ｃｍ」、短焦点プロジェクタの投写距離を「０．７〜１４．６ｍ」、長焦点プロジェクタの投写距離を「１．３ｍ〜３２．４ｍ」として設定することもできる。
【００１１】
（第１実施形態）
本実施形態では、図１に示すように、投影対象物（図１の例では壁面）２のうち画像が投影される領域を示す投影領域３の手前の何もない空間に仮想操作面４を想定する。ユーザ（操作者）が、この仮想操作面４に対して、例えば手（指）を動かすなどの指示動作を行うと、プロジェクタ１００は、認識した指示動作に応じて、投影領域３に投影する画像を切り替える。
【００１２】
ここでは、投影領域３に対応する対象空間（仮想操作面４を含む実空間）における指示動作を認識するために光学センサを用いる。対象空間は、プロジェクタ１００によって投影された画像に対応する空間であると捉えることもできる。光学センサを用いて指示動作を認識する場合、操作を行う手（検知対象）と、光学センサとの間に人間の胴体が入り込まないように光学センサを配置する必要がある。図１の例では、光学センサは、３次元距離センサ２００と、カメラ（この例では単眼カメラ）３００とを含む。この光学センサは、プロジェクタ１００の一要素であると捉えることもできる。
【００１３】
３次元距離センサ２００は、赤外光を出射する不図示の発光部と、その光が手に反射して戻ってくる光を受ける不図示の受光部を備える。３次元距離センサ２００は、ジェスチャ認識などで一般的に使われており、受光した光のパターン形状、受光角度、出射から受光までの時間などに基づき、光が照射された点（照射点）と３次元距離センサ２００との３次元距離を測定できる。３次元距離センサ２００と投影領域３との３次元位置関係が自明とすれば、照射点（手の位置）と投影領域３の３次元位置関係を測定できる。見方を変えれば、３次元距離センサ２００は、照射点の３次元位置を測定しているとみなすこともできる。３次元距離センサ２００は、測定結果を示す測定情報を、プロジェクタ１００へ出力する。
【００１４】
カメラ３００は、プロジェクタ１００から出射される投影光の光路に存在する対象物体（例えば人の手）を撮像する。この例では、カメラ３００は、投影領域３に対応する対象空間を撮像した撮像画像を生成する。この撮像画像から、投影光の光路に存在した対象物体（映像情報に映り込んだ）の反射光を示す情報（反射光の色や輝度など）を特定することができる。カメラ３００は、撮像画像を、プロジェクタ１００へ出力する。カメラ３００は、請求項の「撮像手段」に対応していると捉えることもできる。また、この例では、前述の光学センサが、請求項の「撮像手段」に対応していると捉えることもできる。
【００１５】
また、本実施形態では、図２に示すように、投影領域３の座標系（画面の座標系）として、投影領域３の中心を原点とし、鉛直方向（重力の作用方向）をＹｉ軸、水平方向をＸｉ軸に設定する。一方、光学センサは、投影対象物２側（壁面側）に固定され、光学センサで測定される実空間（対象空間）の座標系として、光学センサの上面のうち投影対象物２側の端における任意の点を原点とし、鉛直方向をＹｓ軸、水平方向をＸｓ軸、奥行き方向（投影領域３の法線方向）をＺｓ軸に設定するが、座標系の設定方法はこれに限られるものではない。
【００１６】
ここで、本実施形態のように、光学センサが投影対象物２側（壁面側）に固定されているとすると、プロジェクタ１００を動かす（投影画面のサイズや投影位置が変わる）たびに、光学センサによって検出される手の座標（Ｘｓ，Ｙｓ）と、投影領域３上の座標（Ｘｉ，Ｙｉ）との対応関係を決定するキャリブレーション処理をやり直す必要がある。例えば図１を上側から俯瞰した様子を示す図３において、投影領域３に投影された画像（投影画像）の右端を指す手の、光学センサで測定されたＸｓ軸方向の座標値はＸｓ１であるが、プロジェクタ１００を投影対象物２から遠ざけ、投影画面サイズ（投影領域３のサイズ）を大きくすると、図４に示すように、投影画像の右端を指す手の、光学センサで測定されたＸｓ軸方向の座標値はＸｓ２（＞Ｘｓ１）となる。また、例えばプロジェクタ１００を右方向（Ｘｓ軸方向の正の方向）へ移動すると、図５に示すように、投影画像の右端を指す手の、光学センサで測定されたＸｓ軸方向の座標値はＸｓ３（＞Ｘｓ１）となる。
【００１７】
以下の説明では、プロジェクタ１００のキャリブレーション処理に関する機能を中心に説明する。図６は、本実施形態に係るプロジェクタ１００の機能構成例を示すブロック図である。図６に示すように、プロジェクタ１００は、出力制御部１０１と、検知部１０２と、判定部１０３と、特定部１０４と、判断部１０５とを備える。
【００１８】
出力制御部１０１は、前述の対象空間における対象物体の位置（実空間の座標系の座標値（Ｘｓ，Ｙｓ））と、投影領域３上の位置（投影領域３の座標系の座標値（Ｘｉ，Ｙｉ））との対応関係を決定するキャリブレーション処理に用いられるキャリブレーション画像を出力する制御を行う。本実施形態では、出力制御部１０１は、投影領域３上の位置に応じて異なる色を表示するキャリブレーション画像を出力する制御を行う。出力制御部１０１は、請求項の「出力制御手段」に対応している。
【００１９】
図７は、出力制御部１０１により投影対象物２に投影されたキャリブレーション画像の一例を示す図であるが、キャリブレーション画像の態様はこれに限られるものではない。図７の例では、キャリブレーション画像のデータ（投影対象の画像データ）は、それぞれが１以上の画素を含む複数の画素ブロックを含み、各画素ブロックの表示色が互いに異なるように設定されている。この例では、各画素ブロックが、キャリブレーションに用いられるマークを構成していると捉えることもできる。
【００２０】
図６に戻って説明を続ける。検知部１０２は、カメラ３００によって撮像された撮像画像に基づいて、プロジェクタ１００から出射される投影光の光路に存在する対象物体から反射される光（以下、「反射光」と呼ぶ場合がある）を検知する。本実施形態では、カメラ３００によって撮像された撮像画像に基づいて、投影光の光路に存在する対象物体の反射光の色を検知する。検知部１０２は、請求項の「検知手段」に対応している。
【００２１】
判定部１０３は、前述の対象空間における対象物体の位置情報を判定する。本実施形態では、判定部１０３は、３次元距離センサ２００からの出力（測定結果情報）に基づいて、前述の対象空間における対象物体の位置情報（３次元位置を示す情報）を判定する。この例では、判定部１０３は、３次元距離センサ２００と投影領域３との３次元位置関係を予め把握しているので、３次元距離センサ２００により測定された対象物体の３次元距離から、対象物体の位置情報を判定することができる。なお、これに限らず、例えば判定部１０３は、カメラ３００によって撮像された撮像画像に基づいて、対象空間における対象物体の位置情報を判定する形態であってもよい。判定部１０３は、請求項の「判定手段」に対応している。
【００２２】
特定部１０４は、検知部１０２によって検知された対象物体から反射される光と、判定部１０３によって判定された位置情報とに基づいて、投影対象物２のうち画像が投影される投影領域３を特定する。特定部１０４は、請求項の「特定手段」に対応している。
【００２３】
判断部１０５は、検知部１０２により検知された反射光に基づいて、判定部１０３により判定された位置情報が、投影領域３上のどの位置に対応するのかを判断する。より具体的には、判断部１０５は、前述のキャリブレーション画像が投影対象物２に投影されている場合において、検知部１０２により検知された反射光に基づいて、投影領域３のうち対象物体（例えばユーザの指）により指し示されている位置（投影領域３の座標系の座標値）を特定する。そして、判断部１０５は、その特定した投影領域３上の位置は、判定部１０３により判定された位置情報（実空間の座標系の座標値）に対応していると判断する。
【００２４】
本実施形態では、判断部１０５は、検知部１０２により検知された反射光の色に基づいて、投影領域３のうち対象物体により指し示された位置を特定する。さらに言えば、判断部１０５は、投影領域３のうち、検知部１０２により検知された反射光の色に対応する位置を、対象物体により指し示された位置として特定する。判断部１０５は、請求項の「判断手段」に対応している。
【００２５】
例えば投影領域３に投影されたキャリブレーション画像が、図７のような態様である場合を想定する。図７の例では、投影領域３の右上端部の領域（投影対象の画像データのうち右上端部の画素ブロックに対応する領域）に表示される色は、ピンク色であるとすると、ユーザの指（手）が、右上端部に触れた場合は、ピンク色の投影光がユーザの指で反射し、その反射光は、カメラ３００で撮像される撮像画像に映り込む。したがって、検知部１０２では、ピンク色の反射光が検知される。この例では、判断部１０５は、反射光の色と、投影領域３上の座標値（投影領域の座標系の座標値）との対応関係を予め把握しているので、検知部１０２で検知された反射光の色から、その色に対応する投影領域３上の座標値を特定することができる。そして、その特定した座標値は、その時点で判定部１０３により判定された位置情報（投影対象物２に接触している指の実空間上の位置）に対応していると判断することができる。
【００２６】
ここで、投影領域３のうち、Ｘｉ軸方向の座標値とＹｉ軸方向の座標値が互いに相違する２つの位置の各々で、投影対象物２に接触している指の実空間上の位置との対応を取ることができれば、他の位置については、線形補間で対応付けることができる。したがって、本実施形態では、判断部１０５は、投影対象物２に接触している指の実空間上の位置（実空間の座標系の座標値）と、投影領域３上の位置とを対応付けるキャリブレーション処理を２回行った後、線形補間を行うことにより、投影領域３上の各座標に対して、投影対象物２に接触している指の実空間上の座標値を対応付けたキャリブレーション情報を生成する。
【００２７】
なお、これに限らず、前述のキャリブレーション処理の回数は２回以上であればよく、例えばキャリブレーション処理を３回行ってからキャリブレーション情報を生成する形態であってもよいし、キャリブレーション処理を４回行ってからキャリブレーション情報を生成する形態であってもよい。また、例えば本実施形態において、キャリブレーション処理を２回行った後、キャリブレーション情報を生成する前に、ユーザに対して、追加のキャリブレーション処理を行うかどうかを選択させる画像を表示（投影）する形態であってもよい。
【００２８】
また、本実施形態では、プロジェクタ１００には、ＣＰＵ、ＲＯＭ、ＲＡＭ等を含む通常のコンピュータ装置が搭載され、上述したプロジェクタ１００の各部（出力制御部１０１、検知部１０２、判定部１０３、特定部１０４、および、判断部１０５）の機能は、ＣＰＵがＲＯＭ等に格納されたプログラムを実行することにより実現される。ただし、これに限られるものではなく、上述したプロジェクタ１００の各部の機能のうちの少なくとも一部が専用のハードウェア回路で実現されてもよい。
【００２９】
次に、図８を参照しながら、プロジェクタ１００がキャリブレーション情報を生成する処理について説明する。図８は、プロジェクタ１００がキャリブレーション情報を生成する処理の一例を示すフローチャートである。図８に示すように、まずプロジェクタ１００（例えば判断部１０５）は、初期設定処理を行う（ステップＳ１０１）。この例では、プロジェクタ１００は、キャリブレーション処理の回数を示すカウント値ｎを、初期値である「０」に設定する（ｎ＝０）。また、プロジェクタ１００は、初回（この例ではｎ＝０）のキャリブレーション処理に対応する投影領域３上のＸｉ軸方向の座標値Ｘｉ[０]、および、Ｙｉ軸方向の座標値Ｙｉ[０]の各々を、デフォルト値である「ｎｕｌｌ」に設定する。
【００３０】
次に、出力制御部１０１は、キャリブレーション画像の投影を開始する（ステップＳ１０２）。次に、判断部１０５は、検知部１０２による検知に基づいて、ユーザの指（手）が投影対象物２に接触したか否かを判断する（ステップＳ１０３）。ユーザの指が投影対象物２に接触したと判断した場合（ステップＳ１０３：ＹＥＳ）、判断部１０５は、その時点で判定部１０３により判定された指の位置情報（投影対象物２に接触している指の実空間上の座標値）を、判定部１０３から取得する（ステップＳ１０４）。次に、判断部１０５は、検知部１０２により検知された反射光の色に基づいて、投影領域３上の座標値（投影領域３のうち、ユーザの指により指し示された位置を示す座標値）を判定する（ステップＳ１０５）。反射光の色に基づいて投影領域３上の座標値を特定する方法は、上述したとおりである。
【００３１】
次に、判断部１０５は、上述のステップＳ１０５で判定した投影領域３上の座標値が、設定済みの座標値と同じであるかどうかを判断する（ステップＳ１０６）。初回（ｎ＝０）のキャリブレーション処理の場合、判断部１０５は、上述のステップＳ１０５で判定した投影領域３上の座標値が、上述の初期設定処理により設定されたデフォルト値「ｎｕｌｌ」と同じであるかどうかを判断する。また、２回目以降（ｎ≧１）のキャリブレーション処理の場合、判断部１０５は、上述のステップＳ１０５で判定した投影領域３上の座標値が、実空間上の座標値との対応付けが既に完了している投影領域３上の座標値と同じであるかどうかを判断する。
【００３２】
上述のステップＳ１０６において、上述のステップＳ１０５で判定した投影領域３上の座標値が、設定済みの座標値と同じであると判断した場合（ステップＳ１０６：ＹＥＳ）、処理は上述のステップＳ１０３に戻り、ステップＳ１０３以降の処理が繰り返される。
【００３３】
一方、上述のステップＳ１０５で判定した投影領域３上の座標値が、設定済みの座標値と同じではないと判断した場合（ステップＳ１０６：ＮＯ）、判断部１０５は、上述のステップＳ１０４で取得した実空間上の座標値は、ステップＳ１０５で判定した投影領域３上の座標値に対応していると判断し、これらを対応付けたデータを不図示のメモリに保存する（ステップＳ１０７）。この例では、不図示のメモリには、上述の初期設定処理で設定されたデータも保存される。初回のキャリブレーション処理の場合、不図示のメモリに保存されていた座標値Ｘｉ[０]、および、座標値Ｙｉ[０]の各々のデフォルト値（「ｎｕｌｌ」）は、ステップＳ１０５で判定された座標値に更新される。
【００３４】
次に、プロジェクタ１００（例えば判断部１０５）は、キャリブレーション処理の回数を示すカウント値ｎを、１だけカウントアップする（ステップＳ１０８）。次に、プロジェクタ１００（例えば判断部１０５）は、カウント値が２に到達したかどうかを判断する(ステップＳ１０９)。カウント値ｎが２に到達していないと判断した場合（ステップＳ１０９：ＮＯ）、処理は上述のステップＳ１０３に戻り、上述のステップＳ１０３以降の処理が繰り返される。一方、カウント値ｎが２に到達したと判断した場合（ステップＳ１０９：ＹＥＳ）、出力制御部１０１は、キャリブレーション画像の投影を終了する（ステップＳ１１０）。次に、判断部１０５は、２回のキャリブレーション処理の結果に基づいて、線形補間等を行うことにより、キャリブレーション情報を生成することができる（ステップＳ１１１）。
【００３５】
以上に説明したように、本実施形態では、判断部１０５は、検知部１０２により検知された反射光に基づいて、判定部１０３により判定された位置情報（対象空間における対象物体の位置を示す情報）が、投影領域３上のどの位置に対応するのかを判断する。より具体的には、出力制御部１０１が、投影領域３上の位置に応じて異なる色を表示するキャリブレーション画像を出力する制御を行っている状況の下、判断部１０５は、検知部１０２により検知された反射光の色に基づいて、投影領域３上のうち対象物体により指し示されている位置を特定する。そして、判断部１０５は、その特定した投影領域３上の位置は、その時点で判定部１０３により判定された位置情報に対応していると判断する。これにより、キャリブレーション処理を正確に行うことができるとともに、キャリブレーションに用いられるマークの位置に自由度を持たせることも可能になるという有利な効果を達成できる。
【００３６】
（第２実施形態）
次に、第２実施形態について説明する。第２実施形態では、投影されるキャリブレーション画像の態様が上述の第１実施形態と相違する。以下、具体的に説明する。なお、上述の第１実施形態と共通する部分については適宜に説明を省略する。
【００３７】
図９は、第２実施形態に係るプロジェクタ１０００の機能構成例を示すブロック図である。図９に示すように、プロジェクタ１０００は、出力制御部１０１０と、検知部１０２０と、判定部１０３と、特定部１０４と、判断部１０５０とを備える。判定部１０３および特定部１０４の機能は、第１実施形態と同じであるので、詳細な説明は省略する。
【００３８】
出力制御部１０１０は、投影領域３において、所定値の輝度を示すパターン画像の表示位置が経時的に変化することを表すキャリブレーション画像を出力する制御を行う。図１０は、出力制御部１０１０により投影対象物２に投影されたキャリブレーション画像の一例を示す図であるが、キャリブレーション画像の態様はこれに限られるものではない。図１０の例では、高輝度のパターン画像（マークパターン画像）が、ラスター走査方向に沿って順次に移動していく態様を表している。これは、全面黒のうちの所定の白領域（矩形の白領域）が、少しずつラスター走査方向に沿ってずれた位置にある複数のフレームを、ループ再生することで実現できる。図１０の例では、白に対応する輝度が、所定値の輝度に相当する。この例では、出力制御部１０１０は、投影対象のキャリブレーション画像のフレーム番号を、判断部１０５０へ通知する制御も行っている。
【００３９】
検知部１０２０は、カメラ３００からの撮像画像に基づいて、投影光の光路に存在する対象物体の反射光の輝度を検知する機能を有する。
【００４０】
判断部１０５０は、検知部１０２０により検知された反射光の輝度に基づいて、投影領域３のうち対象物体により指し示された位置を特定する。さらに言えば、判断部１０５０は、検知部１０２０により検知された反射光の輝度が所定値以上の場合、そのときの投影領域３上のパターン画像の表示位置を、対象物体により指し示された位置として特定する。この例では、判断部１０５０は、出力制御部１０１０から通知されるフレーム番号と、投影領域３上のパターン画像の表示位置を示す座標値との対応関係を予め把握しているので、出力制御部１０１０から通知されたフレーム番号から、現在、投影領域３に表示されているパターン画像の表示位置（投影領域３の座標系の座標値）を直ちに把握することができる。
【００４１】
次に、図１１を参照しながら、プロジェクタ１０００がキャリブレーション情報を生成する処理について説明する。図１１は、プロジェクタ１０００がキャリブレーション情報を生成する処理の一例を示すフローチャートである。図１１に示すステップＳ２０１およびステップＳ２０２の処理内容は、図８に示すステップＳ１０１およびステップＳ１０２の処理内容と同じなので、詳細な説明は省略する。
【００４２】
ステップＳ２０３において、出力制御部１０１０は、キャリブレーション画像のフレームを切り替える制御を行う（ステップＳ２０３）。これにより、投影領域３上のパターン画像の表示位置も変化する。次に、判断部１０５０は、検知部１０２０による検知に基づいて、ユーザの指が投影対象物２に接触したか否かを判断する（ステップＳ２０４）。ユーザの指が投影対象物２に接触していないと判断した場合（ステップＳ２０４：ＮＯ）、処理は上述のステップＳ２０３に戻り、出力制御部１０１０は、次のフレームに切り替える制御を行う。
【００４３】
一方、ユーザの指が投影対象物２に接触したと判断した場合（ステップＳ２０４：ＹＥＳ）、判断部１０５０は、その時点で判定部１０３により判定された位置情報（投影対象物２に接触している指の実空間上の座標値）を、判定部１０３から取得する（ステップＳ２０５）。次に、判断部１０５０は、検知部１０２０により検知された反射光の輝度が所定値であるかどうかを判断する（ステップＳ２０６）。
【００４４】
上述のステップＳ２０６において、検知部１０２０により検知された反射光の輝度が所定値ではないと判断した場合（ステップＳ２０６：ＮＯ）、処理は上述のステップＳ２０３に戻り、出力制御部１０１０は、次のフレームに切り替える制御を行う。一方、検知部１０２０により検知された反射光の輝度が所定値であると判断した場合（ステップＳ２０６：ＹＥＳ）、判断部１０５０は、そのときに投影されているキャリブレーション画像のフレーム番号（出力制御部１０１０から通知されたフレーム番号）から、投影領域３上のパターン画像の表示位置を示す座標値を判定する（ステップＳ２０７）。
【００４５】
次に、判断部１０５０は、上述のステップＳ２０７で判定した投影領域３上の座標値が、設定済みの座標値と同じであるかどうかを判断する（ステップＳ２０８）。この内容は、図８に示すステップＳ１０５の内容と同様である。
【００４６】
上述のステップＳ２０８において、上述のステップＳ２０７で判定した投影領域３上の座標値が、設定済みの座標値と同じであると判断した場合（ステップＳ２０８：ＹＥＳ）、処理は上述のステップＳ２０３に戻り、ステップＳ２０３以降の処理が繰り返される。
【００４７】
一方、上述のステップＳ２０７で判定した投影領域３上の座標値が、設定済みの座標値と同じではないと判断した場合（ステップＳ２０８：ＮＯ）、判断部１０５０は、上述のステップＳ２０５で取得した実空間上の座標値は、ステップＳ２０７で判定した投影領域３上の座標値に対応していると判断し、これらを対応付けたデータを不図示のメモリに保存する（ステップＳ２０９）。この内容は、図８に示すステップＳ１０７の内容と同様である。
【００４８】
次のステップＳ２１０以降の内容は、図８に示すステップＳ１０８以降の内容と同様であるので、詳細な説明は省略する。本実施形態においても、上述の第１実施形態と同様の効果を達成できる。
【００４９】
以上、本発明の実施形態を説明したが、上述の実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。本発明は、上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。また、実施形態および変形例は任意に組み合わせることが可能である。
【００５０】
例えば上述のキャリブレーション処理に関する機能（出力制御部１０１および１０１０、検知部１０２および１０２０、判定部１０３、特定部１０４、判断部１０５および１０４０）を、プロジェクタに接続される情報処理装置に搭載する形態であってもよい。要するに、本発明は、情報処理装置に適用することも可能である。本発明に係る情報処理装置は、少なくとも検知手段と判定手段と特定手段とを備える形態であればよい。検知手段は、投影対象物に画像を投影する画像投影装置から出射される投影光の光路に存在する対象物体を撮像する撮像手段によって撮像された撮像画像に基づいて、対象物体から反射される光を検知する。判定手段は、撮像画像に基づいて、画像投影装置によって投影された画像に対応する対象空間における対象物体の位置情報を判定する。特定手段は、検知手段によって検知された対象物体から反射される光と、判定手段によって判定された位置情報とに基づいて、投影対象物のうち画像が投影される投影領域を特定する。
【００５１】
また、上述のプロジェクタ（１００、１０００）が有する各部の機能を、プロジェクタと、プロジェクタに接続される情報処理装置とに分散して搭載する形態であってもよい。要するに、本発明は、プロジェクタと、プロジェクタが接続される情報処理装置とを備えるシステムに適用することもできる。本発明に係るシステムは、少なくとも投影手段と、撮像手段と、検知手段と、判定手段と、特定手段とを備える形態であればよい。投影手段は、投影対象物に画像を投影する。撮像手段は、投影手段から出射される投影光の光路に存在する対象物体を撮像する。検知手段は、撮像手段によって撮像された撮像画像に基づいて、対象物体から反射される光を検知する。判定手段は、撮像画像に基づいて、投影手段によって投影された画像に対応する対象空間における対象物体の位置情報を判定する。特定手段は、検知手段によって検知された対象物体から反射される光と、判定手段によって判定された位置情報とに基づいて、投影対象物のうち画像が投影される投影領域を特定する。
【００５２】
上述のプロジェクタ（１００、１０００）で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００５３】
さらに、上述のプロジェクタ（１００、１０００）で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述のプロジェクタ（１００、１０００）で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【符号の説明】
【００５４】
２      投影対象物
３      投影領域
４      仮想操作面
１００  プロジェクタ
１０１  出力制御部
１０２  検知部
１０３  判定検知部
１０４  特定部
１０５  判断部
２００  ３次元距離センサ
３００  カメラ
【先行技術文献】
【特許文献】
【００５５】
【特許文献１】特開２０００−２００１４９号公報
【図１】
2014170511.tif 000003
【図２】
2014170511.tif 000004
【図３】
2014170511.tif 000005
【図４】
2014170511.tif 000006
【図５】
2014170511.tif 000007
【図６】
2014170511.tif 000008
【図７】
2014170511.tif 000009
【図８】
2014170511.tif 000010
【図９】
2014170511.tif 000011
【図１０】
2014170511.tif 000012
【図１１】
2014170511.tif 000013