(57)【要約】      （修正有）【課題】指示体の検出精度を向上させる。【解決手段】インタラクティブプロジェクターの位置検出部６００は、スクリーン面上に投写画面を投写する投写部と、投写画面の領域を撮像する撮像部と、指示体を検出するための複数の互いに異なるテンプレート画像Ｔ１、Ｔ２、Ｔ３を用いて、各テンプレート画像と、撮像部によって撮像された指示体を含む撮像画像との相関値を画素単位で算出して、テンプレート画像ごとに第１の相関値を生成する、相関値算出部６２０と、テンプレート画像ごとに生成された複数の第１の相関値に基づいて、複数のテンプレート画像と撮像画像との相関値を示す相関値マップを生成する相関値マップ生成部６４０と、相関値マップにおいて所定の閾値以上の相関値を有する高相関値領域を抽出し、高相関値領域における相関値の重心を１画素未満の精度で算出し、重心に基づいて指示体の先端位置を検出する指示体検出部６６０と、を備える。【選択図】図５
2016186678.tif 000002
【特許請求の範囲】
【請求項１】
投写画面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクターであって、
スクリーン面上に前記投写画面を投写する投写部と、
前記投写画面の領域を撮像する撮像部と、
前記指示体を検出するための複数の互いに異なるテンプレート画像を用いて、各前記テンプレート画像と、前記撮像部によって撮像された前記指示体を含む撮像画像との相関値を画素単位で算出して、前記テンプレート画像ごとに第１の相関値を生成する、相関値算出部と、
前記テンプレート画像ごとに生成された複数の前記第１の相関値に基づいて、前記複数のテンプレート画像と前記撮像画像との相関値を示す相関値マップを生成する相関値マップ生成部と、
前記相関値マップにおいて所定の閾値以上の相関値を有する高相関値領域を抽出し、前記高相関値領域における前記相関値の重心を１画素未満の精度で算出し、前記重心に基づいて前記指示体の先端位置を検出する指示体検出部と、
を備える、インタラクティブプロジェクター。
【請求項２】
請求項１に記載のインタラクティブプロジェクターであって、
前記相関値マップ生成部は、前記テンプレート画像ごとに生成された複数の前記第１の相関値を前記撮像画像の画素ごとに加算して、前記相関値マップを生成する、
インタラクティブプロジェクター。
【請求項３】
請求項１に記載のインタラクティブプロジェクターであって、
前記相関値算出部は、
さらに、
前記撮像画像の解像度を変換した画像に相当する解像度変換後画像と、前記複数のテンプレート画像とを用いて、各前記テンプレート画像と前記撮像画像との相関値を、前記撮像画像の前記画素単位で算出して、前記テンプレート画像ごとに第２の相関値を生成し、
前記相関値マップ生成部は、
前記テンプレート画像ごとに生成された複数の前記第１の相関値と、複数の前記第２の相関値とに基づいて、前記相関値マップを生成する、
インタラクティブプロジェクター。
【請求項４】
請求項１に記載のインタラクティブプロジェクターであって、
前記相関値算出部は、
さらに、
前記撮像画像の解像度を変換した画像に相当する解像度変換後画像と、前記複数のテンプレート画像とを用いて、各前記テンプレート画像と前記撮像画像との相関値を、前記解像度変換後画像の画素単位で算出して、前記テンプレート画像ごとに第２の相関値を生成し、
前記相関値マップ生成部は、
前記テンプレート画像ごとに生成された複数の前記第１の相関値と、複数の前記第２の相関値とに基づいて、前記相関値マップを生成する、
インタラクティブプロジェクター。
【請求項５】
請求項３または４に記載のインタラクティブプロジェクターであって、
前記相関値マップ生成部は、前記テンプレート画像ごとに生成された複数の前記第１の相関値と複数の前記第２の相関値とを前記撮像画像の画素ごとに加算して、前記相関値マップを生成する、
インタラクティブプロジェクター。
【請求項６】
請求項１から３のいずれか一項に記載のインタラクティブプロジェクターであって、
前記指示体検出部は、
前記高相関値領域として、前記相関値が極大の位置を中心とした複数画素の領域を抽出する、インタラクティブプロジェクター。
【請求項７】
投写画面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクターの制御方法であって、
スクリーン面上に前記投写画面を投写し、
前記投写画面の領域を撮像し、
前記指示体を検出するための複数の互いに異なるテンプレート画像を用いて、各前記テンプレート画像と、撮像された前記指示体を含む撮像画像との相関値を画素単位で算出して、前記テンプレート画像ごとに第１の相関値を生成し、
前記テンプレート画像ごとに生成された複数の前記第１の相関値に基づいて、前記複数のテンプレート画像と前記撮像画像との相関値を示す相関値マップを生成し、
前記相関値マップにおいて所定の閾値以上の相関値を有する高相関値領域を抽出し、前記高相関値領域における前記相関値の重心を１画素未満の精度で算出し、前記重心に基づいて前記指示体の先端位置を検出する、
インタラクティブプロジェクターの制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投写画面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクター、及び、そのシステムに関する。
【背景技術】
【０００２】
特許文献１には、投写画面をスクリーンに投写するとともに、指などの対象物（object）を含む画像をカメラで撮像し、この撮像画像を用いて対象物の位置を検出することが可能な投写型表示装置（プロジェクター）が開示されている。指などの対象物は、投写画面に対して指示を行うための指示体として利用される。すなわち、プロジェクターは、対象物の先端がスクリーンに接しているときに投写画面に対して描画等の所定の指示が入力されているものと認識し、その指示に応じて投写画面を再描画する。従って、ユーザーは、投写画面をユーザーインターフェースとして用いて、各種の指示を入力することが可能である。このように、スクリーン上の投写画面を入力可能ユーザーインターフェースとして利用できるタイプのプロジェクターを、「インタラクティブプロジェクター」と呼ぶ。また、投写画面に対して指示を行うために利用される対象物を「指示体（pointing element）」と呼ぶ。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１５０６３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
典型的なインタラクティブプロジェクターでは、指示体の先端がスクリーンに接しているか否かに応じて、指示体によって指示がなされているか否かを判定する。従って、指示体の先端とスクリーンとの間の距離の検出が重要である。特許文献１では、対象物をテンプレートとしてテンプレートマッチング処理を行い、対象物を検出することが記載されているものの、指示体の先端位置の検出方法について、詳細な検討がなされておらず、指示体の先端位置の精度よい検出が望まれていた。
【課題を解決するための手段】
【０００５】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
【０００６】
（１）本発明の一形態によれば、投写画面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクターが提供される。このインタラクティブプロジェクターは、スクリーン面上に前記投写画面を投写する投写部と、前記投写画面の領域を撮像する撮像部と、前記指示体を検出するための複数の互いに異なるテンプレート画像を用いて、各前記テンプレート画像と、前記撮像部によって撮像された前記指示体を含む撮像画像との相関値を画素単位で算出して、前記テンプレート画像ごとに第１の相関値を生成する、相関値算出部と、前記テンプレート画像ごとに生成された複数の前記第１の相関値に基づいて、前記複数のテンプレート画像と前記撮像画像との相関値を示す相関値マップを生成する相関値マップ生成部と、前記相関値マップにおいて所定の閾値以上の相関値を有する高相関値領域を抽出し、前記高相関値領域における前記相関値の重心を１画素未満の精度で算出し、前記重心に基づいて前記指示体の先端位置を検出する指示体検出部と、を備える。
このインタラクティブプロジェクターでは、複数のテンプレート画像を用いて撮像画像に含まれる指示体を検出する際に、相関値マップにおける高相関値領域における相関値の重心を１画素未満の精度で算出して、算出された重心に基づいて指示体の先端位置を検出しているため、１画素単位で指示体の先端位置を算出する場合と比較して、位置の検出精度を向上させることができる。
【０００７】
（２）上記インタラクティブプロジェクターにおいて、前記相関値マップ生成部は、前記テンプレート画像ごとに生成された複数の前記第１の相関値を前記撮像画像の画素ごとに加算して、前記相関値マップを生成してもよい。
この構成では、各テンプレート画像と撮像画像との相関値を加算して、相関値マップを生成している。複数のテンプレート画像を用いて相関値マップを生成する場合に、高い相関値を示すものを選択する場合と比較して、計算が簡単になるため、指示体の検出処理を高速化することができる。
【０００８】
（３）上記インタラクティブプロジェクターにおいて、前記相関値算出部は、さらに、前記撮像画像の解像度を変換した画像に相当する解像度変換後画像と、前記複数のテンプレート画像とを用いて、各前記テンプレート画像と前記撮像画像との相関値を、前記撮像画像の前記画素単位で算出して、前記テンプレート画像ごとに第２の相関値を生成し、前記相関値マップ生成部は、前記テンプレート画像ごとに生成された複数の前記第１の相関値と、複数の前記第２の相関値とに基づいて、前記相関値マップを生成してもよい。
この構成によれば、１サイズのテンプレート画像を用いて、相関値を算出する場合に、撮像画像に含まれる異なる大きさの指示体を適切に検出することができる。
【０００９】
（４）上記インタラクティブプロジェクターにおいて、前記相関値算出部は、さらに、前記撮像画像の解像度を変換した画像に相当する解像度変換後画像と、前記複数のテンプレート画像とを用いて、各前記テンプレート画像と前記撮像画像との相関値を、前記解像度変換後画像の画素単位で算出して、前記テンプレート画像ごとに第２の相関値を生成し、前記相関値マップ生成部は、前記テンプレート画像ごとに生成された複数の前記第１の相関値と、複数の前記第２の相関値とに基づいて、前記相関値マップを生成してもよい。
このようにしても、１サイズのテンプレート画像を用いて、相関値を算出する場合に、撮像画像に含まれる異なる大きさの指示体を適切に検出することができる。
【００１０】
（５）上記インタラクティブプロジェクターにおいて、前記相関値マップ生成部は、前記テンプレート画像ごとに生成された複数の前記第１の相関値と複数の前記第２の相関値とを前記撮像画像の画素ごとに加算して、前記相関値マップを生成してもよい。このようにすると、複数のテンプレート画像を用いて相関値マップを生成する場合に、高い相関値を示すものを選択する場合と比較して、計算が簡単になるため、指示体の検出処理を高速化することができる。
【００１１】
（６）上記インタラクティブプロジェクターにおいて、前記指示体検出部は、前記高相関値領域として、前記相関値が極大の位置を中心とした複数画素の領域を抽出してもよい。このようにすると、簡単に高相関値領域を検出することができる。
【００１２】
本発明は、種々の形態で実現することが可能であり、例えば、指示体とスクリーンとインタラクティブプロジェクターを備えるシステム、インタラクティブプロジェクターの制御方法又は制御装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体（non-transitory storage medium）等の様々な形態で実現することができる。
【図面の簡単な説明】
【００１３】
【図１】インタラクティブプロジェクションシステムの斜視図である。
【図２】インタラクションプロジェクションシステムの側面図および正面図である。
【図３】インタラクティブプロジェクターと自発光指示体の内部構成を示すブロック図である。
【図４】自発光指示体と非発光指示体を利用した操作の様子を示す説明図である。
【図５】位置検出部の概略構成を示すブロック図である。
【図６】テンプレート画像を示す図である。
【図７】指示体位置検出処理の流れを示すフローチャートである。
【図８】指示体位置検出処理を説明するための説明図である。
【図９】撮像画像の一部を拡大して示す図である。
【図１０】相関値マップの一部を拡大して示す図である。
【図１１】２値化相関値マップを概略的に示す図である。
【図１２】相関値マップにおける重心位置の算出の説明図である。
【図１３】第２実施形態における指示体位置検出処理のフローチャートである。
【図１４】第２実施形態における相関値マップにおける重心位置の算出の説明図である。
【図１５】第３実施形態における指示体位置検出処理のフローチャートである。
【図１６】第３実施形態におけるにおける相関値の算出方法の説明図である。
【図１７】第４実施形態における指示体位置検出処理のフローチャートである。
【図１８】第４実施形態におけるにおける相関値の算出方法の説明図である。
【図１９】第５実施形態のインタラクティブプロジェクターの位置検出部の概略構成を示すブロック図である。
【発明を実施するための形態】
【００１４】
Ａ．第１実施形態：
Ａ１．システムの概要：
図１は、本発明の一実施形態におけるインタラクティブプロジェクションシステム９００の斜視図である。このシステム９００は、インタラクティブプロジェクター１００と、スクリーン板９２０と、自発光指示体７０とを有している。スクリーン板９２０の前面は、投写スクリーン面ＳＳ（projection Screen Surface）として利用される。プロジェクター１００は、支持部材９１０によってスクリーン板９２０の前方かつ上方に固定されている。なお、図１では投写スクリーン面ＳＳを鉛直に配置しているが、投写スクリーン面ＳＳを水平に配置してこのシステム９００を使用することも可能である。
【００１５】
プロジェクター１００は、投写スクリーン面ＳＳ上に投写画面ＰＳ（Projected Screen）を投写する。投写画面ＰＳは、通常は、プロジェクター１００内で描画された画像を含んでいる。プロジェクター１００内で描画された画像がない場合には、プロジェクター１００から投写画面ＰＳに光が照射されて、白色画像が表示される。本明細書において、「投写スクリーン面ＳＳ」（又は「スクリーン面ＳＳ」）とは、画像が投写される部材の表面を意味する。また、「投写画面ＰＳ」とは、プロジェクター１００によって投写スクリーン面ＳＳ上に投写された画像の領域を意味する。通常は、投写スクリーン面ＳＳの一部に投写画面ＰＳが投写される。
【００１６】
自発光指示体７０は、発光可能な先端部７１と、使用者が保持する軸部７２と、軸部７２に設けられたボタンスイッチ７３とを有するペン型の指示体である。自発光指示体７０の構成や機能については後述する。このシステム９００では、１つ又は複数の自発光指示体７０とともに、１つ又は複数の非発光指示体８０（非発光のペンや指など）を利用可能である。以下、自発光指示体７０と非発光指示体８０とを区別しない場合は、単に、指示体７８０とも呼ぶ。
【００１７】
図２（Ａ）は、インタラクティブプロジェクションシステム９００の側面図であり、図２（Ｂ）はその正面図である。本明細書では、スクリーン面ＳＳの左右に沿った方向をＸ方向と定義し、スクリーン面ＳＳの上下に沿った方向をＹ方向と定義し、スクリーン面ＳＳの法線に沿った方向をＺ方向と定義している。なお、便宜上、Ｘ方向を「左右方向」とも呼び、Ｙ方向を「上下方向」とも呼び、Ｚ方向を「前後方向」とも呼ぶ。また、Ｙ方向（上下方向）のうち、プロジェクター１００から見て投写画面ＰＳが存在する方向を「下方向」と呼ぶ。なお、図２（Ａ）では、図示の便宜上、スクリーン板９２０のうちの投写画面ＰＳの範囲にハッチングを付している。
【００１８】
プロジェクター１００は、投写画面ＰＳをスクリーン面ＳＳ上に投写する投写レンズ２１０と、投写画面ＰＳの領域を撮像する第１カメラ３１０及び第２カメラ３２０と、指示体７８０に検出光を照明するための検出光照射部４１０とを有している。検出光としては、例えば近赤外光が使用される。２台のカメラ３１０，３２０は、検出光の波長を含む波長領域の光を受光して撮像する第１の撮像機能を少なくとも有している。２台のカメラ３１０，３２０のうちの少なくとも一方は、更に、可視光を含む光を受光して撮像する第２の撮像機能を有し、これらの２つの撮像機能を切り替え可能に構成されていることが好ましい。例えば、２台のカメラ３１０，３２０は、可視光を遮断して近赤外光のみを通過させる近赤外フィルターをレンズの前に配置したりレンズの前から後退させたりすることが可能な近赤外フィルター切換機構（図示せず）をそれぞれ備えることが好ましい。２台のカメラ３１０，３２０は、左右方向（Ｘ方向）の位置が同じで、前後方向（Ｚ方向）に所定の距離を空けて並んで配置されている。２台のカメラ３１０，３２０は、本実施形態に限定されない。例えば、前後方向（Ｚ方向）の位置が同じで、左右方向（Ｘ方向）に所定の距離を空けて並んで配置されてもよい。また、Ｘ，Ｙ，Ｚ全ての方向において位置が異なってもよい。２台のカメラをＺ方向の位置を変えて（前後方向にずらして）配置すると、三角測量による３次元位置の算出におけるＺ座標の精度が高いため、好ましい。
【００１９】
図２（Ｂ）の例は、インタラクティブプロジェクションシステム９００がホワイトボードモードで動作している様子を示している。ホワイトボードモードは、自発光指示体７０や非発光指示体８０を用いて投写画面ＰＳ上にユーザーが任意に描画できるモードである。スクリーン面ＳＳ上には、ツールボックスＴＢを含む投写画面ＰＳが投写されている。このツールボックスＴＢは、処理を元に戻す取消ボタンＵＤＢと、マウスポインターを選択するポインターボタンＰＴＢと、描画用のペンツールを選択するペンボタンＰＥＢと、描画された画像を消去する消しゴムツールを選択する消しゴムボタンＥＲＢと、画面を次に進めたり前に戻したりする前方／後方ボタンＦＲＢと、を含んでいる。ユーザーは、指示体を用いてこれらのボタンにタッチすることによって、そのボタンに応じた処理を行ったり、ツールを選択したりすることが可能である。なお、システム９００の起動直後は、マウスポインターがデフォールトツールとして選択されるようにしてもよい。図２（Ｂ）の例では、ユーザーがペンツールを選択した後、自発光指示体７０の先端部７１をスクリーン面ＳＳに接した状態で投写画面ＰＳ内で移動させることにより、投写画面ＰＳ内に線が描画されてゆく様子が描かれている。この線の描画は、プロジェクター１００の内部の投写画像作成部（後述）によって行われる。
【００２０】
なお、インタラクティブプロジェクションシステム９００は、ホワイトボードモード以外の他のモードでも動作可能である。例えば、このシステム９００は、パーソナルコンピューター（図示せず）から通信回線を介して転送されたデータの画像を投写画面ＰＳに表示するＰＣインタラクティブモードでも動作可能である。ＰＣインタラクティブモードにおいては、例えば表計算ソフトウェアなどのデータの画像が表示され、その画像内に表示された各種のツールやアイコンを利用してデータの入力、作成、修正等を行うことが可能となる。
【００２１】
図３は、インタラクティブプロジェクター１００と自発光指示体７０の内部構成を示すブロック図である。プロジェクター１００は、制御部７００と、投写部２００と、投写画像生成部５００と、位置検出部６００と、接触検出部８００と、撮像部３００と、検出光照射部４１０と、信号光送信部４３０とを有している。
【００２２】
制御部７００は、プロジェクター１００内部の各部の制御を行う。また、制御部７００は、位置検出部６００で検出された指示体７８０の３次元位置、および接触検出部８００による指示体７８０の接触検出に基づいて、指示体７８０によって投写画面ＰＳ上で行われた指示の内容を判定するとともに、その指示の内容に従って投写画像を作成又は変更することを投写画像生成部５００に指令する。
【００２３】
投写画像生成部５００は、投写画像を記憶する投写画像メモリー５１０を有しており、投写部２００によってスクリーン面ＳＳ上に投写される投写画像を生成する機能を有する。投写画像生成部５００は、更に、投写画面ＰＳ（図２（Ｂ））の台形歪みを補正するキーストーン補正部としての機能を有することが好ましい。
【００２４】
投写部２００は、投写画像生成部５００で生成された投写画像をスクリーン面ＳＳ上に投写する機能を有する。投写部２００は、図２で説明した投写レンズ２１０の他に、光変調部２２０と、光源２３０とを有する。光変調部２２０は、投写画像メモリー５１０から与えられる投写画像データに応じて光源２３０からの光を変調することによって投写画像光ＩＭＬを形成する。この投写画像光ＩＭＬは、典型的には、ＲＧＢの３色の可視光を含むカラー画像光であり、投写レンズ２１０によってスクリーン面ＳＳ上に投写される。なお、光源２３０としては、超高圧水銀ランプ等の光源ランプの他、発光ダイオードやレーザーダイオード等の種々の光源を採用可能である。また、光変調部２２０としては、透過型又は反射型の液晶パネルやデジタルミラーデバイス等を採用可能であり、色光別に複数の変調部２２０を備えた構成としてもよい。
【００２５】
検出光照射部４１０は、指示体７８０の先端部を検出するための照射検出光ＩＤＬをスクリーン面ＳＳとその前方の空間にわたって照射する。照射検出光ＩＤＬとしては、例えば近赤外光が使用される。検出光照射部４１０における照射検出光ＩＤＬの照射タイミングについては、後に詳述する。
【００２６】
信号光送信部４３０は、同期用の近赤外光信号である装置信号光ＡＳＬを送信する機能を有する。プロジェクター１００が起動されると、信号光送信部４３０は、装置信号光ＡＳＬを定期的に発する。自発光指示体７０の先端発光部７７は、装置信号光ＡＳＬに同期して、予め定められた発光パターン（発光シーケンス）を有する近赤外光である指示体信号光ＰＳＬを発する。また、撮像部３００のカメラ３１０，３２０は、指示体７８０の位置検出を行う際に、装置信号光ＡＳＬに同期した所定のタイミングで撮像を実行する。
【００２７】
撮像部３００は、図２で説明した第１カメラ３１０と第２カメラ３２０とを有している。前述したように、２台のカメラ３１０，３２０は、検出光の波長を含む波長領域の光を受光して撮像する機能を有する。図３の例では、検出光照射部４１０によって照射された照射検出光ＩＤＬが指示体７８０で反射され、その反射検出光ＲＤＬが２台のカメラ３１０，３２０によって受光されて撮像される様子が描かれている。２台のカメラ３１０，３２０は、更に、自発光指示体７０の先端発光部７７から発せられる近赤外光である指示体信号光ＰＳＬも受光して撮像する。２台のカメラ３１０，３２０の撮像は、検出光照射部４１０から照射検出光ＩＤＬが照射される第１の期間と、検出光照射部４１０から照射検出光ＩＤＬが照射されない第２の期間と、の両方で実行される。
【００２８】
なお、２台のカメラ３１０，３２０の少なくとも一方は、近赤外光を含む光を用いて撮像する機能に加えて、可視光を含む光を用いて撮像する機能を有することが好ましい。こうすれば、スクリーン面ＳＳ上に投写された投写画面ＰＳをそのカメラで撮像し、その画像を利用して投写画像生成部５００がキーストーン補正を実行することが可能である。１台以上のカメラを利用したキーストーン補正の方法は周知なので、ここではその説明は省略する。
【００２９】
位置検出部６００は、２台のカメラ３１０，３２０で撮像された画像（以下、「撮像画像」とも呼ぶ。）を分析して、三角測量を利用して指示体７８０の先端部の三次元位置座標を算出する機能を有する。この際、位置検出部６００は、上述の第１の期間と第２の期間における撮像画像を比較することによって、画像内に含まれる個々の指示体７８０が、自発光指示体７０と非発光指示体８０のいずれであるかを判定する。位置検出部６００の詳細については、後述する。
【００３０】
接触検出部８００は、位置検出部６００による撮像画像の分析結果（位置座標）に基づいて、指示体７８０の投写画面ＰＳ（スクリーン面ＳＳ）への接触を検出する。本実施形態のインタラクティブプロジェクター１００において、接触検出部８００は、自発光指示体７０の投写画面ＰＳへの接触の検出は、自発光指示体７０が発する指示体信号光ＰＳＬの発光パターンに基づいて実行し、非発光指示体８０の投写画面ＰＳへの接触の検出は、位置検出部６００によって検出された３次元位置座標に基づいて実行する。
【００３１】
自発光指示体７０には、ボタンスイッチ７３の他に、信号光受信部７４と、制御部７５と、先端スイッチ７６と、先端発光部７７とが設けられている。信号光受信部７４は、プロジェクター１００の信号光送信部４３０から発せられた装置信号光ＡＳＬを受信する機能を有する。先端スイッチ７６は、自発光指示体７０の先端部７１が押されるとオン状態になり、先端部７１が解放されるとオフ状態になるスイッチである。先端スイッチ７６は、通常はオフ状態にあり、自発光指示体７０の先端部７１がスクリーン面ＳＳに接触するとその接触圧によってオン状態になる。先端スイッチ７６がオフ状態のときには、制御部７５は、先端スイッチ７６がオフ状態であることを示す特定の第１の発光パターンで先端発光部７７を発光させることによって、第１の発光パターンを有する指示体信号光ＰＳＬを発する。一方、先端スイッチ７６がオン状態になると、制御部７５は、先端スイッチ７６がオン状態であることを示す特定の第２の発光パターンで先端発光部７７を発光させることによって、第２の発光パターンを有する指示体信号光ＰＳＬを発する。これらの第１の発光パターンと第２の発光パターンは、互いに異なるので、接触検出部８００は、２台のカメラ３１０，３２０で撮像された画像の分析結果を位置検出部６００から取得して、分析結果に基づいて、先端スイッチ７６がオン状態かオフ状態かを識別することが可能である。
【００３２】
自発光指示体７０のボタンスイッチ７３は、先端スイッチ７６と同じ機能を有する。従って、制御部７５は、ユーザーによってボタンスイッチ７３が押された状態では上記第２の発光パターンで先端発光部７７を発光させ、ボタンスイッチ７３が押されていない状態では上記第１の発光パターンで先端発光部７７を発光させる。換言すれば、制御部７５は、先端スイッチ７６とボタンスイッチ７３の少なくとも一方がオンの状態では上記第２の発光パターンで先端発光部７７を発光させ、先端スイッチ７６とボタンスイッチ７３の両方がオフの状態では上記第１の発光パターンで先端発光部７７を発光させる。
【００３３】
但し、ボタンスイッチ７３に対して先端スイッチ７６と異なる機能を割り当てるようにしてもよい。例えば、ボタンスイッチ７３に対してマウスの右クリックボタンと同じ機能を割り当てた場合には、ユーザーがボタンスイッチ７３を押すと、右クリックの指示がプロジェクター１００の制御部７００に伝達され、その指示に応じた処理が実行される。このように、ボタンスイッチ７３に対して先端スイッチ７６と異なる機能を割り当てた場合には、先端発光部７７は、先端スイッチ７６のオン／オフ状態及びボタンスイッチ７３のオン／オフ状態に応じて、互いに異なる４つの発光パターンで発光する。この場合には、自発光指示体７０は、先端スイッチ７６とボタンスイッチ７３のオン／オフ状態の４つの組み合わせを区別しつつ、プロジェクター１００に伝達することが可能である。
【００３４】
図４は、自発光指示体７０と非発光指示体８０を利用した操作の様子を示す説明図である。この例では、自発光指示体７０の先端部７１と非発光指示体８０の先端部８１はいずれもスクリーン面ＳＳから離れている。自発光指示体７０の先端部７１のＸＹ座標（Ｘ７１，Ｙ７１）は、ツールボックスＴＢの消しゴムボタンＥＲＢの上にある。また、ここでは、自発光指示体７０の先端部７１の機能を表すツールとしてマウスポインターＰＴが選択されており、マウスポインターＰＴの先端ＯＰ７１が消しゴムボタンＥＲＢの上に存在するように、マウスポインターＰＴが投写画面ＰＳに描画されている。前述したように、自発光指示体７０の先端部７１の三次元位置は、２台のカメラ３１０，３２０で撮像された画像を用いた三角測量で決定される。従って、投写画面ＰＳ上において、三角測量で決定された先端部７１の三次元座標（Ｘ７１，Ｙ７１，Ｚ７１）のうちのＸＹ座標（Ｘ７１，Ｙ７１）の位置にマウスポインターＰＴの先端にある操作ポイントＯＰ７１が配置されようにマウスポインターＰＴが描画される。すなわち、マウスポインターＰＴの先端ＯＰ７１は、自発光指示体７０の先端部７１の三次元座標（Ｘ７１，Ｙ７１，Ｚ７１）のうちのＸＹ座標（Ｘ７１，Ｙ７１）に配置され、この位置においてユーザーの指示が行われる。例えば、ユーザーは、この状態で自発光指示体７０の先端部７１を投写画面ＰＳ上に接触させて、消しゴムツールを選択することが可能である。また、ユーザーは、この状態で自発光指示体７０のボタンスイッチ７３を押すことによって、消しゴムツールを選択することも可能である。このように、本実施形態では、自発光指示体７０がスクリーン面ＳＳから離間した状態にある場合にも、ボタンスイッチ７３を押すことによって、先端部７１のＸＹ座標（Ｘ７１，Ｙ７１）に配置される操作ポイントＯＰ７１における投写画面ＰＳの内容に応じた指示をプロジェクター１００に与えることが可能である。
【００３５】
図４（Ｂ）では、また、非発光指示体８０の先端部８１の機能を表すツールとしてペンツールＰＥが選択されており、ペンツールＰＥが投写画面ＰＳに描画されている。前述したように、非発光指示体８０の先端部８１の三次元位置も、２台のカメラ３１０，３２０で撮像された画像を用いた三角測量で決定される。従って、投写画面ＰＳ上において、三角測量で決定された先端部８１の三次元座標（Ｘ８１，Ｙ８１，Ｚ８１）のうちのＸＹ座標（Ｘ８１，Ｙ８１）の位置にペンツールＰＥの先端にある操作ポイントＯＰ８１が配置されようにペンツールＰＥが描画される。但し、非発光指示体８０を利用してユーザーが指示をプロジェクター１００に与える際には、非発光指示体８０の先端部８１を投写画面ＰＳ上に接触させた状態でその指示（描画やツールの選択など）が行なわれる。
【００３６】
図４の例では、指示体７８０の先端部が投写画面ＰＳから離れている場合にも、個々の指示体によって選択されたツール（マウスポインターＰＴやペンツールＰＥ）が投写画面ＰＳに描画されて表示される。従って、ユーザーが指示体の先端部を投写画面ＰＳに接触していない場合にも、その指示体によってどのツールが選択されているのかを理解し易く、操作が容易であるという利点がある。また、ツールの操作ポイントＯＰが指示体の先端部の三次元座標のうちのＸＹ座標の位置に配置されるようにそのツールが描画されるので、ユーザーが、利用中のツールの位置を適切に認識できるという利点がある。
【００３７】
なお、このインタラクティブプロジェクションシステム９００は、複数の自発光指示体７０を同時に利用可能に構成されてもよい。この場合には、上述した指示体信号光ＰＳＬの発光パターンは、複数の自発光指示体７０を識別できる固有の発光パターンであることが好ましい。より具体的に言えば、Ｎ個（Ｎは２以上の整数）の自発光指示体７０を同時に利用可能な場合には、指示体信号光ＰＳＬの発光パターンは、Ｎ個の自発光指示体７０を区別できるものであることが好ましい。なお、１組の発光パターンに複数回の単位発光期間が含まれている場合に、１回の単位発光期間では、発光と非発光の２値を表現することができる。ここで、１回の単位発光期間は、自発光指示体７０の先端発光部７７が、オン／オフの１ビットの情報を表現する期間に相当する。１組の発光パターンがＭ個（Ｍは２以上の整数）の単位発光期間で構成される場合には、１組の発光パターンによって２Ｍ個の状態を区別できる。従って、１組の発光パターンを構成する単位発光期間の数Ｍは、次式を満足するように設定されることが好ましい。
Ｎ×Ｑ≦２Ｍ        …（１）
ここで、Ｑは自発光指示体７０のスイッチ７３，７６で区別される状態の数であり、本実施形態の例ではＱ＝２又はＱ＝４である。例えば、Ｑ＝４の場合には、Ｎ＝２のときにはＭを３以上の整数に設定し、Ｎ＝２〜４のときにはＭを４以上の整数に設定することが好ましい。このとき、位置検出部６００（又は制御部７００）がＮ個の自発光指示体７０と非発光指示体８０、及び、各自発光指示体７０のスイッチ７３，７６の状態を識別する際には、１組の発光パターンのＭ個の単位発光期間において各カメラ３１０，３２０でそれぞれ撮像されたＭ枚の画像を用いてその識別を実行する。なお、このＭビットの発光パターンは、照射検出光ＩＤＬをオフの状態に維持した状態で指示体信号光ＰＳＬをオン又はオフに設定したパターンであり、カメラ３１０，３２０で撮像される画像には非発光指示体８０が写らない。そこで、非発光指示体８０の位置を検出するために用いる画像を撮像するために、照射検出光ＩＤＬをオン状態とした１ビットの単位発光期間を更に追加することが好ましい。但し、位置検出用の単位発光期間では、指示体信号光ＰＳＬはオン／オフのいずれでも良い。この位置検出用の単位発光期間で得られた画像は、自発光指示体７０の位置検出にも利用することが可能である。
【００３８】
図３に描かれている５種類の信号光の具体例をまとめると以下の通りである。
（１）投写画像光ＩＭＬ：スクリーン面ＳＳに投写画面ＰＳを投写するために、投写レンズ２１０によってスクリーン面ＳＳ上に投写される画像光（可視光）である。
（２）照射検出光ＩＤＬ： 指示体７８０（自発光指示体７０及び非発光指示体８０）の先端部を検出するために、検出光照射部４１０によってスクリーン面ＳＳとその前方の空間にわたって照射される近赤外光である。
（３）反射検出光ＲＤＬ：照射検出光ＩＤＬとして照射された近赤外光のうち、指示体７８０（自発光指示体７０及び非発光指示体８０）によって反射され、２台のカメラ３１０，３２０によって受光される近赤外光である。
（４）装置信号光ＡＳＬ：プロジェクター１００と自発光指示体７０との同期をとるために、プロジェクター１００の信号光送信部４３０から定期的に発せられる近赤外光である。
（５）指示体信号光ＰＳＬ：装置信号光ＡＳＬに同期したタイミングで、自発光指示体７０の先端発光部７７から発せられる近赤外光である。指示体信号光ＰＳＬの発光パターンは、自発光指示体７０のスイッチ７３，７６のオン／オフ状態に応じて変更される。また、複数の自発光指示体７０を識別する固有の発光パターンを有する。
【００３９】
Ａ２．位置検出部の構成と動作：
図５は、位置検出部６００（図３）の概略構成を示すブロック図である。位置検出部６００は、相関値算出部６２０と、相関値マップ生成部６４０と、指示体検出部６６０と、三次元位置算出部６８０と、を備える。相関値算出部６２０は、複数のテンプレート画像（ここでは３つのテンプレート画像Ｔ１〜Ｔ３）を備える。以下３つのテンプレート画像Ｔ１〜Ｔ３を区別しない場合には、テンプレート画像Ｔとも称する。相関値算出部６２０は、撮像部３００にて投写画面ＰＳの領域を撮像した撮像画像と各テンプレート画像Ｔとの相関値を算出する。相関値算出部６２０は、第１カメラ３１０による第１撮像画像、第２カメラ３２０による第２撮像画像、それぞれに対して、３つのテンプレート画像Ｔ１〜Ｔ３に対応する３種類の相関値を算出する。すなわち、相関値算出部６２０では、一度の撮像タイミングに対して、６種類の相関値が算出される。
【００４０】
図６（Ａ）〜（Ｃ）は、テンプレート画像Ｔ１〜Ｔ３を示す図である。本実施形態において、非発光指示体８０としては、指が想定されている。テンプレート画像Ｔは、１３×１３画素で構成され、指の先端がテンプレート画像Ｔの中心の画素に一致するように生成されている。すなわち、第１テンプレート画像Ｔ１（図６（Ａ））は、先端を上に向けた指の画像である。第２テンプレート画像Ｔ２（図６（Ｂ））は、先端を右斜め上に向けた指の画像である。第３テンプレート画像Ｔ３（図６（Ｃ））は、先端を左斜め上に向けた指の画像である。第２テンプレート画像Ｔ２および第３テンプレート画像Ｔ３における指とテンプレート画像の下辺との角度は４５度である。なお、テンプレート画像は、本実施形態に限定されず、種々のテンプレート画像を利用可能である。例えば、先端を右斜め上に向けた指の画像であって、指とテンプレート画像の下辺との角度を３０度，６０度とした画像、先端を左斜め上に向けた指の画像であって、指とテンプレート画像の下辺との角度を３０度，６０度とした画像をさらに備えてもよい。また、テンプレート画像Ｔのサイズも適宜設定可能である。本実施形態では、説明を簡単にするために、３つのテンプレート画像Ｔ１〜Ｔ３を用いる例を示して説明する。
【００４１】
相関値マップ生成部６４０（図５）は、相関値算出部６２０で算出された相関値を、撮像画像ごとに加算して、相関値マップを生成する。すなわち、第１撮像画像に対する第１相関値マップと、第２撮像画像に対する第２相関値マップが生成される。
【００４２】
指示体検出部６６０は、各相関値マップに基づいて、撮像画像ごとに非発光指示体８０（指）の先端位置（二次元位置）を、１画素未満の精度で算出する。詳細は、後述する。
【００４３】
三次元位置算出部６８０は、指示体検出部６６０において算出された非発光指示体８０の先端位置（二次元位置）に基づいて、三角測量により非発光指示体８０の先端の三次元位置を算出する。
【００４４】
本実施形態において、自発光指示体７０と非発光指示体８０の先端部の位置検出、及び、自発光指示体７０と非発光指示体８０により指示される内容の判別は、それぞれ以下のように実行される。
【００４５】
指示体７８０の先端部７１の三次元位置は、位置検出部６００が、２台のカメラ３１０，３２０により撮像された画像を用いて三角測量に従って決定する。この際、自発光指示体７０であるか非発光指示体８０であるかは、所定の複数のタイミングで撮像された画像に先端発光部７７の発光パターンが現れているか否かを判断することによって認識可能である。自発光指示体７０の場合は、自発光指示体７０の先端部７１に配置された先端発光部７７から発せられる指示体信号光ＰＳＬが、撮像画像に含まれる。そのため、自発光指示体７０の先端部７１の三次元位置（Ｘ７１，Ｙ７１，Ｚ７１）は、撮像画像に含まれる輝点に基づいて、三角測量にしたがって算出される。
【００４６】
一方、非発光指示体８０の場合は、非発光指示体８０によって反射された反射検出光ＲＤＬが、撮像画像に含まれる。２台のカメラ３１０，３２０により撮像された２枚の画像における非発光指示体８０の先端部８１の位置は、テンプレートマッチングを利用して決定される。以下、位置検出部６００における非発光指示体８０の先端位置の検出について、図７〜１２に基づいて説明する。上記の通り、位置検出部６００では、第１カメラ３１０による第１撮像画像、第２カメラ３２０による第２撮像画像、それぞれについて非発光指示体８０の先端位置が検出される。２つの撮像画像についての指示体位置検出処理は、同様であるため、ここでは、第１カメラ３１０による第１撮像画像に基づく指示体位置検出処理について説明する。以下、第１撮像画像を、単に「撮像画像Ｍ０」と称する。
【００４７】
図７は、指示体位置検出処理の流れを示すフローチャートである。図８は、指示体位置検出処理を説明するための説明図である。図９は、撮像画像の一部を拡大して示す図である。図１０は、相関値マップの一部を拡大して示す図である。
【００４８】
相関値算出部６２０は、撮像部３００から撮像画像Ｍ０（図８）を取得する（図７のステップＳ１１０）。図８では、撮像画像およびテンプレート画像を簡略化して図示している。上記の通り、撮像部３００は非発光指示体８０によって反射された反射検出光ＲＤＬを受光して撮像する。そのため、実際には、図９に示すように、指を含む手の全体が撮像画像に含まれる。図９では、撮像画像Ｍ０のうち、手が含まれる領域を拡大して図示している。指示体位置検出処理では、撮像画像Ｍ０に含まれる手から指の先端を検出する。
【００４９】
相関値算出部６２０は、テンプレート画像Ｔと撮像画像Ｍ０との相関値を画素ごとに算出する（図７のステップＳ１２０）。ステップＳ１２０において、相関値算出部６２０は、第１テンプレート画像Ｔ１と撮像画像Ｍ０との相関値ＲＬ１を算出する工程（ステップＳ１２２）と、第２テンプレート画像Ｔ２と撮像画像Ｍ０との相関値ＲＬ２を算出する工程（ステップＳ１２４）と、第３テンプレート画像Ｔ３と撮像画像Ｍ０との相関値ＲＬ３を算出する工程（ステップＳ１２６）とを、並行して実行する。この結果、図８に示すように、テンプレート画像ごとに異なる相関値ＲＬ１，ＲＬ２，ＲＬ３が得られる。本実施形態において、相関値は、コンボリューション（畳み込み演算）によって、撮像画像Ｍ０の１画素ごとに算出される。相関値の算出方法は、本実施形態に限定されず、ＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ：画素値の差の２乗和）、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ：画素値の差の絶対値の和）等、周知の方法を利用して算出してもよい。なお、ＳＳＤ，ＳＡＤによって算出される値は、撮像画像とテンプレート画像とが類似しているほど値が小さくなり、完全に一致している場合には、値は０になる。そのため、コンボリューションによる相関値と同様に撮像画像とテンプレート画像とが類似しているほど値が大きくなる相関値とするために、逆数を用いるのが好ましい。コンボリューションは、他の方法と比較して計算量を削減することができるため、好ましい。本実施形態における相関値ＲＬ１，ＲＬ２，ＲＬ３が、それぞれ、請求項における第１の相関値に相当する。
【００５０】
相関値マップ生成部６４０は、相関値算出部６２０から相関値ＲＬ１，ＲＬ２，ＲＬ３を取得して、撮像画像Ｍ０の画素ごとに相関値ＲＬ１，ＲＬ２，ＲＬ３を加算して、相関値マップＲＬＴを生成する（図７のステップＳ１３０）。このようにして、３つのテンプレレート画像Ｔ１〜Ｔ３と撮像画像Ｍ０との相関値を表す相関値マップＲＬＴ（図８）が生成される。図８では、相関値マップを簡略化して図示しているが、実際には、図１０に示すような画像が生成される。図１０は、図９に対応する領域を図９と同様に拡大して図示している。
【００５１】
指示体検出部６６０は、相関値マップＲＬＴを２値化して２値化相関値マップＢＲＬ（図８）を生成する（図７のステップＳ１４０）。
【００５２】
図１１は、２値化相関値マップＢＲＬを概略的に示す図である。図１２は、相関値マップにおける重心位置の算出を説明するための説明図である。図１２（Ａ）には、相関値マップの一部の画素値を図示している。図１２（Ａ）では、図１１における領域Ａに対応する領域を拡大して図示している。図１２（Ａ）においてハッチングの無い画素は、画素値が閾値Ｔｈより大きいため、２値化により白（画素値１の画素）になり、ハッチングを付した領域は黒（画素値０の画素）になる（図１１）。本実施形態では、閾値Ｔｈ＝１８０と設定して、２値化を行っているが、閾値は、適宜設定することができる。本実施形態では、２値化相関値マップＢＲＬにおいて、連続する白の画素の領域が５×５画素の領域内に収まるように、閾値が設定されている。
【００５３】
指示体検出部６６０は、２値化相関値マップＢＲＬにおいて連続する白の画素を全て含む５×５画素の正方形領域Ｒ１１（図１１）を決定する。指示体検出部６６０は、２値化前の相関値マップＲＬＴにおいて、正方形領域Ｒ１１と同じ位置の正方形領域である高相関値領域Ｒ１２（図１２）の重心位置Ｇ（図１２（Ｂ））を１画素未満の精度で算出し、非発光指示体８０の先端部８１の位置（指示体位置）とする（ステップＳ１５０）。ここで、重心位置Ｇ（ＸＧ，ＹＧ）は、高相関値領域Ｒ１２の各画素の相関値を考慮した位置であり、下記の式（２ａ），（２ｂ）で算出される。
ＸＧ＝ΣαｉＸｉ／Σαｉ・・・（２ａ）
ＹＧ＝ΣαｉＹｉ／Σαｉ・・・（２ｂ）
ここで、αｉは、高相関値領域Ｒ１２内の各画素の相関値，Ｘｉ，Ｙｉは、各画素のＸ座標およびＹ座標である。
図１２の（Ｂ）に示すように、相関値マップＲＬＴにおいて高相関値領域Ｒ１２の重心位置Ｇは、高相関値領域Ｒ１２内の画素値が高相関値領域Ｒ１２の中心位置ＰＣに対して対称でないため、中心位置ＰＣとは異なる座標になる。複数の非発光指示体８０が用いられる場合には、連続する白の画素の領域が複数箇所検出される。例えば、２つの非発光指示体８０が用いられた場合には、連続する白の画素の領域が２箇所検出され、高相関値領域Ｒ１２が２つ抽出される。２つの高相関値領域Ｒ１２それぞれの画素の重心を算出することによって、２つの非発光指示体８０の先端部８１の位置を検出することができる。
【００５４】
高相関値領域Ｒ１２として、連続する白の領域を含む５×５画素を例示したが、これに限定されないが、連続する白の画素を全て含む領域が好ましい。例えば、連続する白の画素を全て含む最小の正方形領域に、適宜設定可能である。また、高相関値領域Ｒ１２としては、正方形に限定されず、白画素を含む最小の長方形でもよいし、白の画素のみの領域としてもよい。高相関値領域Ｒ１２のサイズは、閾値と関連づけて設定してもよい。例えば、閾値Ｔｈ＝１００と設定した場合には、高相関値領域Ｒ１２を７×７画素に設定してもよい。閾値Ｔｈと、高相関値領域Ｒ１２のサイズは、予め、実験に基づいて、設定することができる。
【００５５】
三次元位置算出部６８０は、指示体検出部６６０から第１撮像画像および第２撮像画像それぞれから算出された指示体位置（Ｘ，Ｙ座標）に基づいて、三角測量により非発光指示体８０の先端部８１の三次元位置（Ｘ８１，Ｙ８１，Ｚ８１）を算出する。位置検出部６００は、更に、自発光指示体７０のスイッチ７３，７６のオン／オフ状態を判別することが可能である。
【００５６】
接触検出部８００は、非発光指示体８０の接触検出を、三角測量で決定した非発光指示体８０のＺ座標値と、スクリーン面ＳＳの表面のＺ座標値との差が微小な許容差以下か否か、すなわち、非発光指示体８０の先端部８１がスクリーン面ＳＳの表面に十分に近いか否かに応じて検出する。この許容差としては、例えば、２ｍｍ〜６ｍｍ程度の小さな値を使用することが好ましい。また、接触検出部８００は、自発光指示体７０の先端部７１がスクリーン面ＳＳに接触しているか否か（すなわち先端スイッチ７６がオンか否か）については、上記複数のタイミングで撮像された画像における先端発光部７７の発光パターンを用いて判別する。なお、自発光指示体７０の接触検出も、非発光指示体８０の接触検出と同様に、自発光指示体７０の先端部７１のＺ座標に基づいて実行されてもよい。
【００５７】
指示体７８０の先端部の３次元位置の検出，ボタンスイッチ７３のＯＮ／ＯＦＦ判別，および接触検出が終了すると、制御部７００は、位置検出部６００および接触検出部８００の検出結果に基づいて、指示体７８０（自発光指示体７０，非発光指示体８０）による指示内容を判別して、指示内容に応じた画像を投写画像生成部５００に生成させて、投写部２００によってスクリーン面ＳＳ上に指示内容に応じた画像を投写させる。例えば、先端部７１のＸＹ座標の位置がツールボックスＴＢ(図２（Ｂ））内のいずれかのボタンの上にある状態で先端スイッチ７６またはボタンスイッチ７３がオンになった場合には、そのボタンのツールが選択される。また、図２（Ｂ）に例示したように、先端部７１のＸＹ座標が投写画面ＰＳ内のツールボックスＴＢ以外の位置にある状態で先端スイッチ７６またはボタンスイッチ７３がオンになった場合には、選択されたツールによる処理（例えば描画）が選択される。制御部７００は、自発光指示体７０の先端部７１のＸＹ座標（Ｘ７１，Ｙ７１），非発光指示体８０の先端部８１のＸＹ座標（Ｘ８１，Ｙ８１）を利用し、予め選択されているポインターやマークが投写画面ＰＳ内の位置（Ｘ７１，Ｙ７１），（Ｘ８１，Ｙ８１）に配置されるように、そのポインターやマークを投写画像生成部５００に描画させる。また、制御部７００は、自発光指示体７０、非発光指示体８０によって指示された内容に従った処理を実行して、投写画像生成部５００にその処理結果を含む画像を描画させる。
【００５８】
上述のように、本実施形態では、複数のテンプレート画像Ｔを用いて撮像画像Ｍ０に含まれる非発光指示体８０をテンプレートマッチングにより検出する際に、各テンプレート画像と撮像画像Ｍ０との相関値ＲＬ１，ＲＬ２，ＲＬ３を、撮像画像Ｍ０の画素ごとに加算して、複数のテンプレート画像Ｔと撮像画像Ｍ０との相関を示す相関値マップを生成している。複数のテンプレート画像を用いてテンプレートマッチングを実行する場合に、高い相関値を示すものを選択する場合と比較して、計算が簡単になるため、非発光指示体８０の検出処理を高速化することができる。
【００５９】
また、インタラクティブプロジェクター１００では、相関値マップＲＬＴにおける高相関値領域Ｒ１２における相関値の重心を、非発光指示体８０の先端部８１の位置として検出している。本実施形態において、高相関値領域Ｒ１２における相関値の重心は１画素未満の精度で算出されるため、１画素単位で非発光指示体８０の先端位置を算出する場合と比較して、非発光指示体８０の先端部８１の位置の検出精度を向上させることができる。
【００６０】
Ｂ．第２実施形態：
図１３は、第２実施形態における指示体位置検出処理の流れを示すフローチャートである。図１４は、第２実施形態における相関値マップにおける重心位置の算出を説明するための説明図である。第２実施形態では、上記した第１実施形態（図７）におけるステップＳ１１０，ステップＳ１２０，ステップＳ１３０を実行した後、ステップＳ１４０，１５０に替えてステップＳ１５０Ａを実行する。ステップＳ１５０Ａでは、指示体検出部６６０は、相関値マップＲＬＴにおいて閾値Ｔｈより大きい極大値を有する画素ＬＭＰ（図１４（Ａ）においてハッチングを付して示す）を中心とする５×５画素の領域を高相関値領域Ｒ１２（図１４（Ａ））として選択する。そして、高相関値領域Ｒ１２内の画素の相関値の重心位置Ｇ（図１４（Ｂ））を１画素未満の精度で算出し、非発光指示体８０の先端部８１の位置（指示体位置）とする。すなわち、第２実施形態では、相関値マップＲＬＴの２値化を行わない。このようにしても、上記と同様の効果を得ることができる。複数の非発光指示体８０が用いられる場合には、閾値以上の極大値が複数箇所検出される。例えば、２つの非発光指示体８０が用いられた場合には、閾値以上の極大値が２箇所検出され、高相関値領域Ｒ１２が２つ抽出される。２つの高相関値領域Ｒ１２それぞれの画素の重心を算出することによって、２つの非発光指示体８０の先端部８１の位置を検出することができる。高相関値領域Ｒ１２として、５×５画素を例示したが、これに限定されず、高相関値領域Ｒ１２のサイズは適宜設定可能である。
【００６１】
Ｃ．第３実施形態：
図１５は、第３実施形態の指示体位置検出処理の流れを示すフローチャートである。第３実施形態では、テンプレート画像Ｔと撮像画像Ｍ０との相関値を算出する工程（図１５のステップＳ１２０Ｂ）において、解像度を上げた画像も用いる。その他の処理は、上記した第２実施形態と同様である。相関値算出部６２０は、撮像部３００から撮像画像Ｍ０を取得して（ステップＳ１１０）、テンプレート画像Ｔと撮像画像Ｍ０との相関値を算出する（図１５のステップＳ１２０Ｂ）。ステップＳ１２０Ｂにおいて、相関値算出部６２０は、撮像画像Ｍ０と複数のテンプレート画像Ｔ１〜Ｔ３とを用いて、各テンプレート画像Ｔと撮像画像Ｍ０との第１種の相関値ＦＲＬを算出する工程（ステップＳ１２０）と、撮像画像Ｍ０の２倍の解像度の２倍拡大画像と複数のテンプレート画像Ｔ１〜Ｔ３とを用いて、各テンプレート画像Ｔと撮像画像Ｍ０との第２種の相関値ＳＲＬを算出する工程（ステップＳ１２７）と、撮像画像Ｍ０の４倍の解像度の４倍拡大画像と複数のテンプレート画像Ｔ〜Ｔ３とを用いて、各テンプレート画像Ｔと撮像画像Ｍ０との第３種の相関値ＴＲＬを算出する工程（ステップＳ１２８）とを、並行して実行する。この実施形態におけるステップＳ１２０は、上記した第１実施形態（図７）におけるステップＳ１２０と同様である。すなわち、ステップＳ１２０において、相関値算出部６２０は、３つのテンプレート画像Ｔ１〜Ｔ３に対応する３つの第１種の相関値ＦＲＬ１〜ＦＲＬ３を算出する。同様に、ステップＳ１２７において、相関値算出部６２０は、３つのテンプレート画像Ｔ１〜Ｔ３に対応する３つの第２種の相関値ＳＲＬ１〜ＳＲＬ３を算出する。同様に、ステップＳ１２８において、相関値算出部６２０は、３つのテンプレート画像Ｔ１〜Ｔ３に対応する３つの第３種の相関値ＴＲＬ１〜ＴＲＬ３を算出する。すなわち、この実施形態では、テンプレート画像Ｔと撮像画像Ｍ０との相関値を算出する工程（ステップＳ１２０Ｂ）において、９種類の相関値（ＦＲＬ１〜３，ＳＲＬ１〜３，ＴＲＬ１〜３）が算出される。本実施形態における２倍拡大画像および４倍拡大画像が、それぞれ、請求項における解像度変換後画像に相当する。また、本実施形態における第２種の相関値ＳＲＬ１〜ＳＲＬ３および第３種の相関値ＴＲＬ１〜ＴＲＬ３が、それぞれ、複数の第２の相関値に相当する。
【００６２】
図１６は、第３実施形態における相関値の算出方法を説明するための説明図である。図１６（Ａ）にテンプレート画像データを示す。図１６では、説明を簡単にするために、テンプレート画像のサイズを３×３画素とし各画素の画素値をＴｍｎ（ｍ＝１，２，３；ｎ＝１，２，３）とする。図１６（Ｂ）に撮像画像データを示す。撮像画像データにおける注目画素ＮＰ（ｉ，ｊ）の画素値をＰｉ，ｊ（ｉ，ｊは任意の整数）とする。図１６（Ｃ）に、撮像画像の解像度変換（２倍）を概念的に示す。テンプレート画像と解像度を２倍にした２倍拡大画像との相関値を算出する場合には、注目画素ＮＰを中心とする３×３画素を利用してテンプレート画像Ｔとの相関値を算出する（図１６（Ｄ））。すなわち、注目画素ＮＰ（ｉ，ｊ）の相関値ＳＲＬ２（ｉ，ｊ）は、下記の式（３）によって算出することができる。
ＳＲＬ２（ｉ，ｊ）＝Ｐｉ−１，ｊ−１×Ｔ１１＋Ｐｉ−１，ｊ×（Ｔ１２＋Ｔ１３）＋Ｐｉ，ｊ−１×Ｔ２１＋Ｐｉ，ｊ×（Ｔ２２＋Ｔ２３）＋Ｐｉ，ｊ−１×Ｔ３１＋Ｐｉ，ｊ×（Ｔ３２＋Ｔ３３）・・・（３）
【００６３】
テンプレート画像のサイズが１３×１３画素の場合も、同様の考え方で上記式（３）に相当する計算式を用いて算出することができる。解像度を４倍にした４倍拡大画像を用いる場合も同様に計算式を用いて算出することができる。
【００６４】
相関値マップ生成部６４０は、相関値算出部６２０によって算出された９種類の相関値（ＦＲＬ１〜３，ＳＲＬ１〜３，ＴＲＬ１〜３）を、撮像画像Ｍ０の画素ごとに加算して、相関値マップＲＬＴを生成する（図１５のステップＳ１３０Ｂ）。指示体検出部６６０は、上記と同様に、高相関値領域Ｒ１２の相関値の重心を算出し、非発光指示体８０の先端部８１の位置を検出する（ステップＳ１５０Ａ）。
【００６５】
第３実施形態によれば、撮像画像の解像度を上げた画像を用いて相関値を算出し、複数の解像度の画像を用いた相関値を全て加算して相関値マップＲＬＴを生成している。撮像画像Ｍ０に含まれる非発光指示体８０の大きさは、非発光指示体８０と撮像部３００との距離によって異なる。非発光指示体８０と撮像部３００との距離が小さい場合、すなわち投写画面ＰＳの上方（図４におけるＹプラス方向を上とする）に非発光指示体８０が位置する場合には、撮像画像Ｍ０に含まれる非発光指示体８０の大きさは、相対的に大きい。一方、非発光指示体８０と撮像部３００との距離が大きい場合、すなわち投写画面ＰＳの下方に非発光指示体８０が位置する場合には、撮像画像Ｍ０に含まれる非発光指示体８０の大きさは、相対的に小さい。そのため、例えば、投写画面ＰＳの上方に非発光指示体８０が位置するときに撮像画像に含まれる非発光指示体８０の大きさに合わせて、テンプレート画像Ｔを生成している場合には、投写画面ＰＳの下方に非発光指示体８０が位置するときに撮像された撮像画像とテンプレート画像Ｔとでは、高い相関値が得られない。第３実施形態では、撮像画像の解像度を上げて、テンプレート画像Ｔとの相関値を算出している。すなわち、概念的には、画像を拡大してテンプレート画像との相関値を算出している。そのため、撮像画像に含まれる非発光指示体８０のサイズが小さい場合にも、同じテンプレート画像を用いて高い相関値を得ることができる。その結果、非発光指示体８０の検出精度を向上させることができる。
【００６６】
Ｄ．第４実施形態：
図１７は、第４実施形態の指示体位置検出処理の流れを示すフローチャートである。第４実施形態では、テンプレート画像Ｔと撮像画像Ｍ０との相関値を算出する工程（図１７におけるステップＳ１２０Ｃ）において、解像度を下げた画像も用いる。その他の処理は、上記した第２実施形態と同様である。相関値算出部６２０は、テンプレート画像Ｔと撮像画像Ｍ０との相関値を算出する工程（図１７のステップＳ１２０Ｃ）において、撮像画像Ｍ０と複数のテンプレート画像Ｔ１〜Ｔ３とを用いて、各テンプレート画像Ｔと撮像画像Ｍ０との第１種の相関値ＦＲＬを算出する工程（ステップＳ１２０）と、撮像画像Ｍ０の１／２倍の解像度の１／２倍縮小画像と複数のテンプレート画像Ｔ１〜Ｔ３とを用いて、各テンプレート画像Ｔと撮像画像Ｍ０との第２種の相関値ＳＲＬを算出する工程（ステップＳ１２３）と、撮像画像Ｍ０の１／４倍の解像度の１／４倍縮小画像と複数のテンプレート画像Ｔ１〜Ｔ３とを用いて、各テンプレート画像Ｔと撮像画像Ｍ０との第３種の相関値ＴＲＬを算出する工程（ステップＳ１２５）とを、並行して実行する。第４実施形態におけるステップＳ１２０は、上記した第３実施形態におけるステップＳ１２０と同様である。ステップＳ１２３およびステップＳ１２５は、それぞれ、撮像画像Ｍ０の１／２，１／４の解像度の画像を用いて、ステップＳ１２０と同様に、それぞれ、３種類ずつ相関値を算出する。すなわち、第４実施形態でも、各テンプレート画像Ｔと撮像画像Ｍ０との相関値を算出する工程（ステップＳ１２０Ｃ）において、９種類の相関値（ＦＲＬ１〜３，ＳＲＬ１〜３，ＴＲＬ１〜３）が算出される。本実施形態における１／２倍縮小画像および１／４倍縮小画像が、それぞれ、請求項における解像度変換後画像に相当する。また、本実施形態における第２種の相関値ＳＲＬ１〜ＳＲＬ３および第３種の相関値ＴＲＬ１〜ＴＲＬ３が、それぞれ、複数の第２の相関値に相当する。
【００６７】
図１８は、第４実施形態における相関値の算出方法を説明するための説明図である。図１８では、１／２倍縮小画像を用いた相関値の算出方法を概念的に図示している。１／２倍縮小画像を用いてテンプレート画像Ｔとの相関値を算出する場合には、図１８に示すように、注目画素ＮＰ（図１８においてハッチングを付して示す）を中心とする６×６画素を利用してテンプレート画像Ｔとの相関値を算出する。すなわち、注目画素ＮＰの相関値ＳＲＬ１／２（ｉ，ｊ）は、下記の式（４）によって算出することができる。
ＳＲＬ１／２（ｉ，ｊ）＝１／４｛（Ｐｉ−２，ｊ−２＋Ｐｉ−２，ｊ−１＋Ｐｉ−１，ｊ−２＋Ｐｉ−１，ｊ−１）×Ｔ１１＋（Ｐｉ−２，ｊ＋Ｐｉ−２，ｊ＋１＋Ｐｉ−１，ｊ＋Ｐｉ−１，ｊ＋１）×Ｔ１２＋・・・＋（Ｐｉ＋２，ｊ＋２＋Ｐｉ＋２，ｊ＋３＋Ｐｉ＋３，ｊ＋２＋Ｐｉ＋３，ｊ＋３）×Ｔ３３｝  ・・・（４）
ここでは、１／２倍の解像度を有する１／２倍縮小画像における画素の画素値として、縮小前の４つの画素の画素値の平均値を使用している。式（４）において、縮小前の４つの画素の画素値を平均化するために、１／４を乗算している。
【００６８】
テンプレート画像のサイズが１３×１３画素の場合も、同様の考え方で上記式（４）に相当する計算式を用いて算出することができる。解像度を１／４倍にした１／４倍縮小画像を用いる場合も同様に計算式を用いて算出することができる。
【００６９】
相関値マップ生成部６４０は、相関値算出部６２０によって算出された９種類の相関値（ＦＲＬ１，２，３，ＳＲＬ１，２，３，ＴＲＬ１，２，３）を、撮像画像Ｍ０の画素ごとに加算して、相関値マップＲＬＴを生成する（図１７のステップＳ１３０Ｂ）。指示体検出部６６０は、上記と同様に、高相関値領域Ｒ１２の相関値の重心を算出し、非発光指示体８０の先端部８１の位置を検出する（ステップＳ１５０Ａ）。
【００７０】
この例によれば、撮像画像の解像度を下げた画像を用いて相関値を算出し、複数の解像度の画像を用いた相関値を全て加算して相関値マップＲＬＴを生成している。すなわち、概念的には、画像を縮小してテンプレート画像との相関値を算出している。そのため、撮像画像に含まれる非発光指示体８０のサイズが大きい場合（すなわち、非発光指示体８０が投写画面ＰＳの上方に位置する場合）にも、投写画面ＰＳの下方に非発光指示体８０が位置するときに撮像画像に含まれる非発光指示体８０の大きさに合わせて生成されたテンプレート画像Ｔを用いて、高い相関値を得ることができる。その結果、非発光指示体８０の検出精度を向上させることができる。
【００７１】
Ｅ．第５実施形態：
図１９は、第５実施形態のインタラクティブプロジェクターの位置検出部の概略構成を示すブロック図である。第５実施形態のインタラクティブプロジェクターは、第１実施形態のインタラクティブプロジェクター１００の位置検出部６００において、さらに、テンプレート画像メモリー６３０を備える。テンプレート画像メモリー６３０は、第１テンプレート画像セット６３２，第２テンプレート画像セット６３４，および第３テンプレート画像セット６３６を備える。各テンプレート画像セットは、第１実施形態のテンプレート画像Ｔと同様の３つのテンプレート画像を備える。各テンプレート画像セットは、テンプレート画像のサイズが異なる。図１に示すように、インタラクティブプロジェクターは、支持部材９１０によってスクリーン板９２０の前方かつ上方に固定されている。第５実施形態のインタラクティブプロジェクターは、３サイズのスクリーン板９２０に適用可能に構成されている。本実施形態において、スクリーン板９２０のサイズは、６０インチ，８０インチ，および１００インチを用いる。第１テンプレート画像セット６３２は６０インチ用，第２テンプレート画像セット６３４は８０インチ用，第３テンプレート画像セット６３６は１００インチ用であり、テンプレート画像のサイズが、第１テンプレート画像セット６３２＞第２テンプレート画像セット６３４＞第３テンプレート画像セット６３６である。スクリーン板９２０のサイズ、およびテンプレート画像セットの数は本実施形態に限定されず、適宜設定可能である。
【００７２】
本実施形態のインタラクティブプロジェクターでは、起動時に、相関値算出部６２０がテンプレート画像メモリー６３０からスクリーン板９２０のサイズに応じたテンプレート画像セットを読み込む。スクリーン板９２０のサイズは、例えば、納品時等に、予め、制御部７００等に設定されている。プロジェクターは、スクリーン板９２０のサイズに応じて異なる投写距離で設置される。スクリーン板９２０のサイズが大きいほど、投写距離が大きい。すなわち、スクリーン板９２０のサイズが大きいほど、撮像部３００と投写画面ＰＳとの距離が大きい。そのため、スクリーン板９２０のサイズが大きいほど、撮像画像に含まれる指示体７８０のサイズが小さくなる。本実施形態では、テンプレート画像のサイズが、第１テンプレート画像セット６３２＞第２テンプレート画像セット６３４＞第３テンプレート画像セット６３６となるようにテンプレート画像が生成されているため、撮像画像に含まれる非発光指示体８０のサイズに適したサイズのテンプレートを用いて、テンプレートマッチングを実施することができる。そのため、非発光指示体８０の検出精度が向上される。また、インタラクティブプロジェクターの製造時に、スクリーン板９２０のサイズに応じた１つのテンプレート画像セットを、相関値算出部６２０に設定する場合に比較して、納品時等にスクリーン板９２０のサイズを設定するだけで、スクリーン板９２０のサイズに応じてテンプレート画像セットが設定されるため、スクリーン板９２０のサイズを変更した場合にも、プロジェクターを変更したり、メモリーを交換することなく、容易に適したテンプレート画像セットが使用される。そのため、ユーザーの利便性が向上される。また、コスト低減に資する。なお、本実施形態では、テンプレート画像メモリー６３０が３つのテンプレート画像セットを備える構成を例示したが、これに限定されない。例えば、３つのテンプレート画像メモリーを備え、各テンプレート画像メモリーが、それぞれ、第１テンプレート画像セット６３２，第２テンプレート画像セット６３４，第３テンプレート画像セット６３６を備える構成にしてもよい。このようにしても、同様の効果を得ることができる。
【００７３】
Ｆ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【００７４】
・変形例１：
上記実施形態では、自発光指示体７０と非発光指示体８０の両方を、指示体として利用可能なインタラクティブプロジェクターを例示したが、非発光指示体８０のみを利用可能に構成してもよい。
【００７５】
・変形例２：
上記実施形態では、撮像部３００が２台のカメラ３１０，３２０を有しているものとしたが、撮像部３００は、１台のカメラを有する構成としてもよいし、３台以上のカメラを有する構成としてもよい。後者の場合には、ｍ台（ｍは３以上の整数）のカメラで撮像されたｍ個の画像に基づいて、三次元座標（Ｘ，Ｙ，Ｚ）が決定される。例えば、ｍ個の画像から２個の画像を任意に選択して得られるｍＣ２個の組み合わせを用いてそれぞれ三次元座標を求め、それらの平均値を用いて最終的な三次元座標を決定しても良い。こうすれば、三次元座標の検出精度を更に高めることが可能である。
【００７６】
・変形例３：
上記実施形態では、インタラクティブプロジェクションシステム９００がホワイトボードモードとＰＣインタラクティブモードとで動作可能であるものとしたが、これらのうちの一方のモードのみで動作するようにシステムが構成されていても良い。また、インタラクティブプロジェクションシステム９００は、これら２つのモード以外の他のモードのみで動作するように構成されていても良く、更に、これら２つのモードを含む複数のモードで動作可能に構成されていてもよい。
【００７７】
・変形例４：
上記実施形態では、図３に示した照射検出光ＩＤＬと、反射検出光ＲＤＬと、装置信号光ＡＳＬと、指示体信号光ＰＳＬとがすべて近赤外光であるものとしたが、これらのうちの一部又は全部を近赤外光以外の光としてもよい。
【００７８】
・変形例５：
上記実施形態では、撮像画像と異なる解像度の画像（解像度変換後画像）と３つのテンプレート画像とを用いて、各テンプレート画像と撮像画像との相関値を算出する場合に、撮像画像の画素単位で相関値を算出する例を示したが、解像度変換後画像の画素単位で相関値を算出してもよい。解像度変換後画像の画素単位で相関値を算出した場合には、相関値マップを生成する際に、撮像画像の画素ごとに、各相関値を加算すればよい。例えば、撮像画像の２倍の解像度の２倍拡大画像の画素単位で第２種の相関値を算出した場合には、第２種の相関値の数が、撮像画像Ｍ０の画素単位で第２種の相関値を算出した場合の４倍になるため、２倍拡大画像において撮像画像の１画素に対応する４画素分の第２種の相関値の平均値を、撮像画像の１画素ごとに加算してもよいし、２倍拡大画像において撮像画像の１画素に対応する４画素のうち予め定められた１画素の第２種の相関値を加算してもよい。また、撮像画像の１／２倍の解像度の１／２倍縮小画像の画素単位で第２種の相関値を算出した場合には、撮像画像において１／２倍縮小画像の１画素に対応する４画素それぞれに対して、１／２倍縮小画像の１画素の相関値を加算してもよい。
【００７９】
・変形例６：
上記実施形態では、インタラクティブプロジェクター１００が検出光照射部４１０を備える構成を例示したが、検出光照射部４１０を備えない構成にしてもよい。インタラクティブプロジェクター１００が検出光照射部４１０を備えない場合、非発光指示体８０の先端を検出するための照射検出光をスクリーン面ＳＳとその前方の空間にわたって照射する構成を、支持部材９１０等が備えてもよい。なお、上記実施形態のように、インタラクティブプロジェクターが検出光照射部を備える構成の場合、プロジェクターによって、検出光の照射タイミングを、カメラによる撮像タイミングに関連づけて、容易に制御することができるため、好ましい。また、インタラクティブプロジェクター１００が検出光照射部４１０を備えない場合に、２台のカメラ３１０，３２０の両方を、可視光を含む光を受光して撮像する撮像機能を有する構成とし、非発光指示体８０の先端を、可視光を含む光を受光して撮像した撮像画像に基づいて検出する構成にしてもよい。なお、上記実施形態のように、インタラクティブプロジェクターが検出光照射部を備える構成の場合は、可視光を含む光を受光して撮像した撮像画像に基づいて検出する構成に比較して、容易に、精度よく非発光指示体を検出することができる。
【００８０】
・変形例７：
上記実施形態では、テンプレート画像ごとに生成された相関値を、撮像画像の画素ごとに加算して相関値マップを生成する例を示したが、加算せず、撮像画像の画素ごとに、最大値を抽出して相関値マップを生成する構成にしてもよい。
【００８１】
・変形例８：
上記第２〜４実施形態では、指示体検出部６６０は、相関値マップＲＬＴにおいて閾値Ｔｈより大きい極大値を有する画素ＬＭＰを中心とする５×５画素の領域を高相関値領域Ｒ１２として選択し、高相関値領域Ｒ１２内の画素の相関値の重心位置Ｇを、非発光指示体８０の先端部８１の位置（指示体位置）としている（ステップＳ１５０Ａ）。このステップにおいて、高相関値領域Ｒ１２内の最外周の画素（図１４における１６画素）の最大値（図１４では１９０）と、極大値（図１４では２１０）との差を所定の閾値と比較する工程をさらに備えてもよい。例えば、高相関値領域Ｒ１２内の最外周の画素の最大値と、極大値との差が、所定の閾値より小さい場合には、その極大値を排除する（極大値ではないとみなす）ようにしてもよい。このようにすると、例えば、相関値マップの画素値が全体的に高い場合に、より適切に非発光指示体８０を検出することができる。また、逆に、高相関値領域Ｒ１２内の最外周の画素の最大値と、極大値との差が、所定の閾値より大きい場合に、その極大値を排除する（極大値ではないとみなす）ようにしてもよい。このようにすると、ノイズを除去することができ、非発光指示体８０を、より安定して検出することができる。なお、高相関値領域Ｒ１２内の最外周の画素の最大値に替えて、高相関値領域Ｒ１２外の最内周（図１４における２４画素）を用いてもよい。
【００８２】
以上、いくつかの実施例に基づいて本発明の実施の形態について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得るとともに、本発明にはその等価物が含まれることはもちろんである。
【符号の説明】
【００８３】
７０…自発光指示体
７１…先端部
７２…軸部
７３…ボタンスイッチ
７４…信号光受信部
７５…制御部
７６…先端スイッチ
７７…先端発光部
８０…非発光指示体
８１…先端部
１００…インタラクティブプロジェクター
２００…投写部
２１０…投写レンズ
２２０…光変調部
２３０…光源
３００…撮像部
３１０…第１カメラ
３２０…第２カメラ
４１０…検出光照射部
４３０…信号光送信部
５００…投写画像生成部
５１０…投写画像メモリー
６００…位置検出部
６２０…相関値算出部
６４０…相関値マップ生成部
６６０…指示体検出部
６８０…三次元位置算出部
７００…制御部
８００…接触検出部
９００…インタラクティブプロジェクションシステム
９１０…支持部材
９２０…スクリーン板
【図１】
2016186678.tif 000003
【図２】
2016186678.tif 000004
【図３】
2016186678.tif 000005
【図４】
2016186678.tif 000006
【図５】
2016186678.tif 000007
【図６】
2016186678.tif 000008
【図７】
2016186678.tif 000009
【図８】
2016186678.tif 000010
【図９】
2016186678.tif 000011
【図１０】
2016186678.tif 000012
【図１１】
2016186678.tif 000013
【図１２】
2016186678.tif 000014
【図１３】
2016186678.tif 000015
【図１４】
2016186678.tif 000016
【図１５】
2016186678.tif 000017
【図１６】
2016186678.tif 000018
【図１７】
2016186678.tif 000019
【図１８】
2016186678.tif 000020
【図１９】
2016186678.tif 000021