(57)【要約】【課題】光を利用して操作を検出する装置において、障害物の影響に関する情報をユーザーに提供する。【解決手段】投射部２００と、投射部２００の表示領域に対応して設定される検出領域に、検出光を放射する検出光照射部４１０と、照射検出光ＩＤＬが検出領域において反射された反射光を受光する撮像部３００と、非発光指示体８０による操作の検出、及び、検出光を遮る障害物の検出を行い、障害物に関する情報を投射部２００により表示させる制御部７００と、を備える、プロジェクター１００。【選択図】図４
2019174513.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示する表示部と、
前記表示部が画像を表示する表示領域に対応して設定される検出領域に、検出光を放射する光放射部と、
前記検出光が前記検出領域において反射された反射光を受光する受光部と、
前記受光部の受光状態に基づいて、前記検出領域における指示体による操作の検出、及び、前記検出光を遮る障害物の検出を行い、前記障害物に関する情報を前記表示部により表示させる制御部と、を備える、表示装置。
【請求項２】
前記制御部は、前記表示領域における前記障害物の位置を前記表示部により表示させる、請求項１記載の表示装置。
【請求項３】
前記制御部は、前記検出領域において前記障害物により前記検出光の照射が妨げられる検出支障領域を特定し、前記検出支障領域を前記表示部により表示させる、請求項１または２記載の表示装置。
【請求項４】
前記制御部は、前記検出支障領域を示す画像と、前記検出領域における前記障害物の位置を示す画像とを、前記表示部により表示させる、請求項３記載の表示装置。
【請求項５】
前記制御部は、前記表示部により、前記検出支障領域における前記指示体の操作の検出を無効とするか否かの設定を求める設定要求を表示させる、請求項３または４記載の表示装置。
【請求項６】
操作を受け付ける操作部を備え、
前記制御部は、前記設定要求の表示に応じて前記操作部により受け付けた操作に従って、前記検出領域における操作を検出する処理を設定する、請求項５記載の表示装置。
【請求項７】
前記受光部は、前記検出領域を含む範囲を撮像する撮像部であり、
前記制御部は、前記撮像部の撮像画像から前記反射光の像を検出することにより、前記検出領域における指示体による操作の検出、及び、前記検出光を遮る障害物の検出を行う、請求項１から６のいずれか１項に記載の表示装置。
【請求項８】
前記制御部は、前記撮像部の撮像画像から検出した前記反射光の像の重心、及び、前記反射光の像のサイズに基づいて、前記障害物の位置およびサイズを推定し、推定した前記障害物の位置およびサイズに基づく画像を前記表示部により表示させる、請求項７記載の表示装置。
【請求項９】
画像を表示する表示装置により、
画像を表示する表示領域に対応して設定される検出領域に、検出光を放射し、
前記検出光が前記検出領域において反射された反射光を受光し、
前記反射光の受光状態に基づいて、前記検出領域における指示体による操作の検出、及び、前記検出光を遮る障害物の検出を行い、
前記障害物に関する情報を表示する、表示装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置、及び、表示装置の制御方法に関する。
【背景技術】
【０００２】
従来、ユーザーの操作による指示位置を、光を利用して検出する装置が知られている（例えば、特許文献１参照）。特許文献１に記載された画像投影装置は、電子ペンの指示位置を検出してインタラクティブ操作を実現する。また、特許文献１の画像投影装置は、障害物を検出した場合に、障害物の影響を受ける領域を、操作を有効とする領域から除くよう設定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−９８２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来の構成では、障害物が検出されたことにより操作が行えなくなったことを、ユーザーが認識できない可能性があった。
本発明は、上述した事情に鑑みてなされたものであり、光を利用して操作を検出する装置において、障害物により操作の検出が影響を受ける場合に、障害物の影響に関する情報をユーザーに提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明の表示装置は、画像を表示する表示部と、前記表示部が画像を表示する表示領域に対応して設定される検出領域に、検出光を放射する光放射部と、前記検出光が前記検出領域において反射された反射光を受光する受光部と、前記受光部の受光状態に基づいて、前記検出領域における指示体による操作の検出、及び、前記検出光を遮る障害物の検出を行い、前記障害物に関する情報を前記表示部により表示させる制御部と、を備える。
本発明によれば、障害物に関する情報を表示することにより、操作を行うユーザーに対し、操作の検出を妨げる障害物についての情報を提供できる。
【０００６】
また、本発明は、前記制御部は、前記表示領域における前記障害物の位置を前記表示部により表示させる構成であってもよい。
この構成によれば、障害物の位置に関する情報をユーザーに提供できる。
【０００７】
また、本発明は、前記制御部は、前記検出領域において前記障害物により前記検出光の照射が妨げられる検出支障領域を特定し、前記検出支障領域を前記表示部により表示させる構成であってもよい。
この構成によれば、操作の検出が妨げられる領域に関する情報をユーザーに提供できる。
【０００８】
また、本発明は、前記制御部は、前記検出支障領域を示す画像と、前記検出領域における前記障害物の位置を示す画像とを、前記表示部により表示させる構成であってもよい。
この構成によれば、障害物の位置、及び、操作の検出が妨げられる領域に関する情報をユーザーに提供できる。
【０００９】
また、本発明は、前記制御部は、前記表示部により、前記検出支障領域における前記指示体の操作の検出を無効とするか否かの設定を求める設定要求を表示させる構成であってもよい。
この構成によれば、操作の検出を無効とするか否かの設定をユーザーに促すことができる。
【００１０】
また、本発明は、操作を受け付ける操作部を備え、前記制御部は、前記設定要求の表示に応じて前記操作部により受け付けた操作に従って、前記検出領域における操作を検出する処理を設定する構成であってもよい。
この構成によれば、ユーザーが、操作の検出に関する設定を行うことができる。
【００１１】
また、本発明は、前記受光部は、前記検出領域を含む範囲を撮像する撮像部であり、前記制御部は、前記撮像部の撮像画像から前記反射光の像を検出することにより、前記検出領域における指示体による操作の検出、及び、前記検出光を遮る障害物の検出を行う構成であってもよい。
この構成によれば、検出光が反射した反射光を撮像画像から検出することによりユーザーの操作を検出する構成において、ユーザーに、障害物についての情報を提供できる。
【００１２】
また、本発明は、前記制御部は、前記撮像部の撮像画像から検出した前記反射光の像の重心、及び、前記反射光の像のサイズに基づいて、前記障害物の位置およびサイズを推定し、推定した前記障害物の位置およびサイズに基づく画像を前記表示部により表示させる構成であってもよい。
この構成によれば、撮像画像における反射光の像に基づき、障害物の位置およびサイズに関する情報をユーザーに提供できる。
【００１３】
また、上記課題を解決するため、本発明の表示装置の制御方法は、画像を表示する表示装置により、画像を表示する表示領域に対応して設定される検出領域に、検出光を放射し、前記検出光が前記検出領域において反射された反射光を受光し、前記反射光の受光状態に基づいて、前記検出領域における指示体による操作の検出、及び、前記検出光を遮る障害物の検出を行い、前記障害物に関する情報を表示する。
本発明によれば、障害物に関する情報を表示することにより、操作を行うユーザーに対し、操作の検出を妨げる障害物についての情報を提供できる。
【００１４】
本発明は、上述した表示装置、及び、表示装置の制御方法以外の種々の形態で実現することも可能である。例えば、上記の方法を実行するためにコンピューター（或いはプロセッサー）が実行するプログラムとして実現してもよい。また、上記プログラムを記録した記録媒体、プログラムを配信するサーバー装置、上記プログラムを伝送する伝送媒体、上記プログラムを搬送波内に具現化したデータ信号等の形態で実現できる。
【図面の簡単な説明】
【００１５】
【図１】投射システムの概略構成図。
【図２】投射システムの正面図。
【図３】投射システムの側面図。
【図４】投射システムを構成するプロジェクター及び指示体のブロック図。
【図５】プロジェクターの制御部の機能ブロック図。
【図６】プロジェクターの動作を示すフローチャート。
【図７】プロジェクターの動作を示すフローチャート。
【図８】プロジェクターが投射する画像の例を示す図。
【図９】プロジェクターが投射するキャリブレーション画像の例を示す図。
【発明を実施するための形態】
【００１６】
［投射システムの概要］
図１は、本発明の一実施形態における投射システム９００の斜視図である。投射システム９００は、プロジェクター１００と、自発光指示体７０とを有する。また、投射システム９００では、プロジェクター１００と組み合わせて非発光指示体８０を使用可能である。
【００１７】
投射システム９００では、プロジェクター１００に対応する位置に、スクリーン板９２０が配置される。スクリーン板９２０の前面は、スクリーンＳＳとして利用される。プロジェクター１００は、支持部材９１０によってスクリーン板９２０の前方かつ上方に固定されている。なお、図１ではスクリーンＳＳを鉛直に配置しているが、スクリーンＳＳを水平に配置してこの投射システム９００を使用することも可能である。また、スクリーンＳＳは、壁面に壁掛けされた幕であってもよいし、家具の一面であってもよく、壁面や床面をスクリーンＳＳとして利用する態様であってもよい。本実施形態において、スクリーンＳＳは、画像が投射される部材の表面を指す。
【００１８】
プロジェクター１００は、スクリーンＳＳに画像光を投射することにより、スクリーンＳＳ上に投射画像としての投射画面ＰＳを形成する。投射画面ＰＳは、プロジェクター１００によってスクリーンＳＳ上に投射された画像の領域を指す。プロジェクター１００の通常の使用状態において、投射画面ＰＳはスクリーンＳＳに収まるように投射される。
プロジェクター１００が投射画面ＰＳを投射する動作は、スクリーンＳＳに画像を表示する動作と呼ぶことができ、プロジェクター１００は表示装置として機能する。プロジェクター１００により投射される投射画面ＰＳは、表示画像と呼ぶことができる。
【００１９】
投射画面ＰＳは、例えば、プロジェクター１００が記憶し、或いはプロジェクター１００が生成する画像データに基づき投射される画像である。プロジェクター１００は、表示装置の一態様であり、プロジェクター１００が投射画面ＰＳを投射する動作は、表示装置が画像を表示する動作の一態様である。プロジェクター１００内で描画された画像がない場合には、プロジェクター１００から投射画面ＰＳに光が照射されて、白色画像が表示される。
【００２０】
投射システム９００は、プロジェクター１００によって投射画面ＰＳをスクリーンＳＳに投射する表示システムとして機能する。また、投射システム９００では、スクリーンＳＳにおいて、自発光指示体７０及び非発光指示体８０によって位置指示操作を行うことができ、自発光指示体７０及び非発光指示体８０により指示された指示位置をプロジェクター１００が検出する。
【００２１】
自発光指示体７０は、発光可能な先端部７１と、使用者が保持する軸部７２と、軸部７２に設けられたボタンスイッチ７３とを有するペン型の指示体である。自発光指示体７０の構成や機能については後述する。
投射システム９００で利用可能な自発光指示体７０の数は、１つであっても複数であってもよく、特に制限されない。非発光指示体８０も同様である。非発光指示体８０は、発光しないペンや、ユーザーの手指などである。以下、自発光指示体７０と非発光指示体８０とを区別しない場合は、単に、指示体７８０とも呼ぶ。本発明の指示体は、非発光指示体８０に相当し、自発光指示体７０を含んでもよい。
【００２２】
［投射システムの構成］
図２は、投射システム９００の正面図であり、図３は投射システム９００の側面図である。以下の説明では、スクリーンＳＳの左右に沿った方向をＸ方向と定義し、スクリーンＳＳの上下に沿った方向をＹ方向と定義し、スクリーンＳＳの法線に沿った方向をＺ方向と定義する。なお、便宜上、Ｘ方向を「左右方向」とも呼び、Ｙ方向を「上下方向」とも呼び、Ｚ方向を「前後方向」とも呼ぶ。また、Ｙ方向のうち、プロジェクター１００から見て投射画面ＰＳが存在する方向を「下方向」と呼ぶ。
【００２３】
プロジェクター１００は、投射画面ＰＳをスクリーンＳＳ上に投射する投射レンズ２１０と、投射画面ＰＳの領域を撮像する第１カメラ３１０及び第２カメラ３２０と、指示体７８０に検出光を照明する検出光照射部４１０（光放射部）とを有する。
【００２４】
第１カメラ３１０及び第２カメラ３２０の画角、すなわち撮像範囲は、スクリーンＳＳにおいて、少なくとも投射画面ＰＳを含む範囲である。
【００２５】
検出光照射部４１０は、支持部材９１０またはスクリーン板９２０に固定され、スクリーンＳＳの上部に配置される。
検出光照射部４１０は、指示体７８０の先端部を検出する照射検出光ＩＤＬを、スクリーンＳＳを含む方向に照射する。詳細には、検出光照射部４１０は、図３に示すように、スクリーンＳＳに沿って面状に、検出光としての照射検出光ＩＤＬを照射する。検出光照射部４１０が照射する検出光としては、例えば近赤外光が使用される。
【００２６】
検出光照射部４１０は、例えば、ＬＥＤ等の検出光源と、検出光源が発する検出光をスクリーン面（スクリーン板９２０の表面）に沿って拡散させて照射検出光ＩＤＬとして照射する光学素子とを有する光照射装置である。検出光照射部４１０はスクリーンＳＳの上部より、下向きにほぼ１８０度の範囲に光を出射し、この光はスクリーンＳＳに沿う光の層を形成する。スクリーンＳＣの表面と光の層とは接触しないが、近接していることが好ましく、本実施形態では、スクリーンＳＣの表面と光の層との距離は、概ね１０ｍｍ〜１ｍｍの範囲内に調整される。
【００２７】
検出光照射部４１０が照射検出光ＩＤＬを照射する領域は、スクリーンＳＳにおいて、投射画面ＰＳに対応する領域であり、好ましくは投射画面ＰＳを含む領域である。
プロジェクター１００は、非発光指示体８０による操作を検出する場合、検出光照射部４１０が照射する照射検出光ＩＤＬが非発光指示体８０に反射した反射光を、第１カメラ３１０または第２カメラ３２０の撮像画像から検出する。この場合、照射検出光ＩＤＬが照射される領域であって、第１カメラ３１０または第２カメラ３２０の画角に含まれる領域において、非発光指示体８０の操作を検出できる。換言すれば、検出光照射部４１０が照射検出光ＩＤＬを照射する領域のうち、第１カメラ３１０または第２カメラ３２０の画角に含まれる領域が、非発光指示体８０の操作を検出可能な検出領域である。本実施形態では、検出領域を図２に符号ＤＳで示す。検出領域ＤＳは、スクリーンＳＳにおいて、投射画面ＰＳを含む。プロジェクター１００は、検出光照射部４１０が照射する照射検出光ＩＤＬの反射光を利用して、自発光指示体７０を検出してもよい。
【００２８】
第１カメラ３１０及び第２カメラ３２０は、検出光照射部４１０が発する検出光の波長を含む波長領域の光を受光して撮像する第１の撮像機能を少なくとも有する。第１カメラ３１０及び第２カメラ３２０のうちの少なくとも一方は、更に、可視光を含む光を受光して撮像する第２の撮像機能を有し、これらの２つの撮像機能を切り替え可能に構成されていることが好ましい。例えば、第１カメラ３１０及び第２カメラ３２０の各々は、可視光を遮断して近赤外光のみを通過させる近赤外フィルターをレンズの前に配置したりレンズの前から後退させたりすることが可能な、図示しない近赤外フィルター切換機構を備えることが好ましい。第１カメラ３１０及び第２カメラ３２０は、左右方向（Ｘ方向）の位置が同じで、前後方向（Ｚ方向）に所定の距離を空けて並んで配置されている。第１カメラ３１０及び第２カメラ３２０の配置は、本実施形態に限定されない。例えば、前後方向（Ｚ方向）の位置が同じで、左右方向（Ｘ方向）に所定の距離を空けて並んで配置されてもよい。また、Ｘ，Ｙ，Ｚ全ての方向において位置が異なってもよい。第１カメラ３１０及び第２カメラ３２０を、Ｚ方向の位置を変えて配置する構成、すなわち前後方向にずらして配置する構成では、三角測量による３次元位置の算出におけるＺ座標の精度が高いため、好ましい。
【００２９】
プロジェクター１００は、自発光指示体７０または非発光指示体８０の指示操作を検出し、指示位置を特定し、指示位置に対応する動作を行うことができる。例えば、プロジェクター１００は、自発光指示体７０または非発光指示体８０の操作に対応して線や図形を描画し、投射画面ＰＳとして投射するホワイトボードモードで動作する。ホワイトボードモードで、プロジェクター１００は、描画する図形の属性やプロジェクター１００の動作を設定するためのメニューバーを含む画像を投射画面ＰＳとして投射してもよい。
【００３０】
また、プロジェクター１００は、ホワイトボードモード以外の他のモードでも動作可能であり、例えば、パーソナルコンピューター等の図示しない画像ソースから入力される画像データに基づき、投射画面ＰＳを投射する動作モードを実行できる。
【００３１】
プロジェクター１００が照射検出光ＩＤＬを利用して指示体７８０を検出する場合、障害物Ｈによって検出が妨げられることがある。照射検出光ＩＤＬを遮るような障害物Ｈが、検出領域ＤＳの内部または検出領域ＤＳと検出光照射部４１０との間に位置する場合、検出領域ＤＳにおいて照射検出光ＩＤＬが届かない領域が生じる。図２には、検出領域ＤＳの内部に障害物Ｈが存在する例を示す。この例では、検出領域ＤＳの内部において、障害物Ｈが照射検出光ＩＤＬの伝搬に影響を与えるため、符号ＨＡで示す領域に照射検出光ＩＤＬが届かない。この領域を、検出支障領域ＨＡと呼ぶ。
【００３２】
また、検出支障領域ＨＡでは、自発光指示体７０が使用されて自発光指示体７０が指示体信号光ＰＳＬ（図４）を照射した場合、指示体信号光ＰＳＬの伝搬が障害物Ｈにより妨げられる可能性がある。つまり、検出支障領域ＨＡでは、非発光指示体８０だけでなく、自発光指示体７０の位置検出も障害物Ｈの影響を受ける。
【００３３】
図２の例では、照射検出光ＩＤＬが届かない検出支障領域ＨＡは、障害物Ｈに重なる位置、及び、照射検出光ＩＤＬの光源である検出光照射部４１０に対して障害物Ｈより遠い側に位置する領域を含む。障害物Ｈが、照射検出光ＩＤＬを反射、屈折、或いは吸収する物体である場合、検出支障領域ＨＡに照射検出光ＩＤＬが届かないか、照射検出光ＩＤＬの伝搬状態が変化する。このため、照射検出光ＩＤＬの反射光を撮像部３００により撮像できないか、或いは、指示体７８０の位置の検出精度が低下する。図２に示す障害物Ｈは一例であり、照射検出光ＩＤＬを完全に透過する物体でなければ、形状や大きさを問わず、検出に影響を与える障害物Ｈとなり得る。より詳細には、図３に示すように面状に照射される照射検出光ＩＤＬに重なる位置で検出領域ＤＳの内部または検出領域ＤＳと検出光照射部４１０との間に位置する物体は、障害物Ｈとなる。
【００３４】
プロジェクター１００は、検出支障領域ＨＡで位置検出に支障が生じることに対応する機能を実行する。具体的には、障害物Ｈを検出する機能、障害物Ｈ及び検出支障領域ＨＡに関する情報を表示する機能、検出支障領域ＨＡにおける検出を行わないように設定する機能、及び、この設定をユーザーに求める機能を備える。
【００３５】
［プロジェクターの構成］
図４は、プロジェクター１００と自発光指示体７０の内部構成を示すブロック図である。プロジェクター１００は、制御部７００と、投射部２００（表示部）と、投射画像生成部５００と、位置検出部６００と、撮像部３００と、検出光照射部４１０と、信号光送信部４３０とを有する。
【００３６】
制御部７００は、プロジェクター１００内部の各部の制御を行う。また、制御部７００は、位置検出部６００で検出された自発光指示体７０及び／または非発光指示体８０の３次元位置の検出、及び、スクリーンＳＳへの接触検出を行う。制御部７００は、自発光指示体７０及び／または非発光指示体８０の操作により指示された内容を判定し、その指示に基づき投射画像生成部５００が投射画像を作成又は変更する処理を制御する。
【００３７】
投射画像生成部５００は、投射画像を記憶する投射画像メモリー５１０を有する。投射画像メモリー５１０は、投射部２００が投射する画像をフレーム単位で格納する、いわゆるフレームメモリーである。
【００３８】
投射画像生成部５００は、画像データに基づいて、スクリーンＳＳ上に投射される投射画像を投射画像メモリー５１０に描画する。投射画像生成部５００は、投射画像メモリー５１０の画像を示す画像信号を光変調部２２０に出力して、投射部２００により投射画面ＰＳを投射させる。投射画像生成部５００は、投射画像メモリー５１０に描画した画像に対する画像処理を実行する。例えば、投射画像生成部５００は、投射画面ＰＳの台形歪み等を補正する幾何補正処理、投射画面ＰＳを拡大または縮小するデジタルズーム処理、投射画面ＰＳの色調等を補正する色補正処理等を実行する。
【００３９】
投射部２００は、投射画像生成部５００で処理された画像をスクリーンＳＳ上に投射する。投射部２００は、投射レンズ２１０、光変調部２２０、及び、光源２３０を有する。光変調部２２０は、投射画像メモリー５１０から入力される画像信号に従って光源２３０からの光を変調し、投射画像光ＩＭＬを形成する。投射画像光ＩＭＬは、典型的には、ＲＧＢの３色の可視光を含むカラー画像光であり、投射レンズ２１０によってスクリーンＳＳ上に投射される。なお、光源２３０としては、超高圧水銀ランプ等のランプ、ＬＥＤ（発光ダイオード）やレーザーダイオード等の固体光源、或いは他の光源など、種々の光源を採用可能である。また、光変調部２２０としては、透過型又は反射型の液晶パネルやデジタルミラーデバイス等を採用可能であり、色光別に複数の光変調部２２０を備えた構成としてもよい。
【００４０】
信号光送信部４３０は、同期用の近赤外光信号である装置信号光ＡＳＬを送信する。装置信号光ＡＳＬは、自発光指示体７０が後述する光検出部７４により受信可能な光信号である。信号光送信部４３０は、プロジェクター１００の起動中、装置信号光ＡＳＬを定期的に送信する。信号光送信部４３０の位置は、スクリーンＳＳにおいて自発光指示体７０が使用される領域に装置信号光ＡＳＬを照射できる位置であればよい。例えば、信号光送信部４３０は、第１カメラ３１０または第２カメラ３２０に近接するようにプロジェクター１００の本体に設置されてもよい。また、例えば、信号光送信部４３０は、検出光照射部４１０に近接した位置に配置されてもよい。
【００４１】
装置信号光ＡＳＬは、例えば、自発光指示体７０に対し、先端発光部７７から予め定められた発光パターンを有する近赤外光である指示体信号光ＰＳＬを送信するタイミングを指定する制御信号である。自発光指示体７０は、例えば、装置信号光ＡＳＬを受信したタイミングに同期して、指示体信号光ＰＳＬを送信する。撮像部３００の第１カメラ３１０及び第２カメラ３２０は、指示体７８０の位置検出を行う際に、装置信号光ＡＳＬに同期した所定のタイミングで撮像を実行する。このため、プロジェクター１００は、自発光指示体７０が指示体信号光ＰＳＬを発光するタイミングに合わせて、撮像部３００による撮像を行える。
【００４２】
撮像部３００（受光部）は第１カメラ３１０及び第２カメラ３２０を有する。第１カメラ３１０及び第２カメラ３２０は、検出光の波長を含む波長領域の光を受光して撮像する。図４に示すように、第１カメラ３１０及び第２カメラ３２０は、自発光指示体７０が発する指示体信号光ＰＳＬを受光し、撮像する。また、第１カメラ３１０及び第２カメラ３２０は、検出光照射部４１０が発した照射検出光ＩＤＬが自発光指示体７０または非発光指示体８０に反射した反射光である反射検出光ＲＤＬ（反射光）を受光し、撮像する。従って、第１カメラ３１０及び第２カメラ３２０のそれぞれの撮像画像から、指示体信号光ＰＳＬ、及び、反射検出光ＲＤＬを検出できる。
【００４３】
位置検出部６００は、第１カメラ３１０及び第２カメラ３２０の少なくともいずれかの撮像画像から指示体信号光ＰＳＬ、及び、反射検出光ＲＤＬを検出する。位置検出部６００は、検出した光の像について撮像画像における位置を特定し、自発光指示体７０、及び非発光指示体８０の位置を検出する。
【００４４】
第１カメラ３１０及び第２カメラ３２０は、例えば、検出光照射部４１０から照射検出光ＩＤＬが照射される第１の期間と、検出光照射部４１０から照射検出光ＩＤＬが照射されない第２の期間と、の両方で撮像を実行する。位置検出部６００は、これらの２種類の期間における画像を比較することによって、画像内に含まれる個々の指示体が、自発光指示体７０と非発光指示体８０のいずれであるかを判定することが可能である。
【００４５】
なお、第１カメラ３１０及び第２カメラ３２０の少なくとも一方は、近赤外光を含む光を用いて撮像する機能に加えて、可視光を含む光を用いて撮像する機能を有することが好ましい。この場合、スクリーンＳＳ上に投射された投射画面ＰＳをそのカメラで撮像し、その画像を利用して投射画像生成部５００がキーストーン補正を実行することが可能である。１台以上のカメラを利用したキーストーン補正の方法は周知なので、ここではその説明は省略する。
【００４６】
位置検出部６００は、例えば、第１カメラ３１０の撮像画像、及び、第２カメラ３２０の撮像画像を解析し、三角測量を利用して指示体７８０の先端部の３次元位置座標を算出する。位置検出部６００は、上述の第１の期間と第２の期間における撮像画像を比較することによって、画像内に含まれる個々の指示体７８０が、自発光指示体７０と非発光指示体８０のいずれであるかを判定する。また、位置検出部６００は、算出した指示体７８０の先端部の３次元位置（座標）、又は自発光指示体７０の発光パターンに基づいて、指示体７８０のスクリーンＳＳへの接触を検出する。
【００４７】
自発光指示体７０は、上述した先端部７１、軸部７２、及びボタンスイッチ７３に加え、光検出部７４と、制御部７５と、先端スイッチ７６と、先端発光部７７と、発光量調整部７８と、電源部７９と、を備える。
制御部７５は、自発光指示体７０の各部を制御して、装置信号光ＡＳＬを受光したことに対応する動作や、自発光指示体７０の操作に対応する動作を実行する。
【００４８】
光検出部７４は、信号光送信部４３０が送信する装置信号光ＡＳＬを受信する。光検出部７４は、装置信号光ＡＳＬを受信したタイミングを示す制御信号や、装置信号光ＡＳＬをデコードして得られるデータ等を制御部７５に出力する。
【００４９】
先端スイッチ７６は、自発光指示体７０の先端部７１が押されるとオン状態になり、先端部７１が解放されるとオフ状態になるスイッチである。先端スイッチ７６は、通常はオフ状態にあり、先端部７１がスクリーンＳＳに接触するとその接触圧によってオン状態になる。制御部７５は、先端スイッチ７６がオンである状態と、先端スイッチ７６がオフの状態とで、異なる指示体信号光ＰＳＬを送信する。具体的には、先端スイッチ７６がオフ状態のときには、制御部７５は、先端スイッチ７６がオフ状態であることを示す特定の第１の発光パターンで先端発光部７７を発光させ、第１の発光パターンを有する指示体信号光ＰＳＬを発する。一方、先端スイッチ７６がオン状態になると、制御部７５は、先端スイッチ７６がオン状態であることを示す特定の第２の発光パターンで先端発光部７７を発光させ、第２の発光パターンを有する指示体信号光ＰＳＬを発する。これらの第１の発光パターンと第２の発光パターンは、互いに異なる。このため、プロジェクター１００は、位置検出部６００により撮像部３００の撮像画像を解析して、先端スイッチ７６がオンかオフかを識別できる。
【００５０】
ボタンスイッチ７３は、先端スイッチ７６と同じ機能を有する。制御部７５は、ユーザーによってボタンスイッチ７３が押された状態で、上記第２の発光パターンで先端発光部７７を発光させ、ボタンスイッチ７３が押されていない状態で、上記第１の発光パターンで先端発光部７７を発光させる。つまり、制御部７５は、先端スイッチ７６とボタンスイッチ７３の少なくとも一方がオンの状態では上記第２の発光パターンで先端発光部７７を発光させる。また、先端スイッチ７６とボタンスイッチ７３の両方がオフの状態では上記第１の発光パターンで先端発光部７７を発光させる。なお、ボタンスイッチ７３に対して先端スイッチ７６と異なる機能が割り当てられた構成であっても良い。
【００５１】
電源部７９は、電源として一次電池、二次電池、光電池等の電池を備え、自発光指示体７０の各構成に電力を供給する。自発光指示体７０は、電源部７９からの電源供給をオン／オフする電源スイッチを備えていてもよい。電源部７９は、発光量調整部７８に制御され、先端発光部７７に供給する電流を調整する。
【００５２】
図５は、プロジェクター１００が備える制御部７００の機能ブロック図である。
制御部７００は、プロセッサー７１０、及び、メモリー７２０を備える。メモリー７２０は、プロセッサー７１０が実行する制御プログラムやデータを不揮発的に記憶する記憶装置であり、フラッシュＲＯＭ等の半導体記憶素子等で構成される。メモリー７２０は、プロセッサー７１０のワークエリアを構成するＲＡＭを含んでもよい。
【００５３】
プロセッサー７１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、マイコン、その他の演算処理装置で構成される。プロセッサー７１０は、メモリー７２０が記憶する制御プログラム７２１を実行することによって、投射制御部７１１、通信制御部７１２、検出制御部７１３、及び、操作検出部７１４として機能する。つまり、これらの機能ブロックは、プロセッサー７１０が、制御プログラム７２１を実行することにより、ソフトウェアとハードウェアの協働により実現される。
メモリー７２０は、制御プログラム７２１のほか、設定データ７２２、及び、撮像画像データ７２３を記憶する。
【００５４】
設定データ７２２は、プロジェクター１００の動作に関する設定値を含む。設定データ７２２に含まれる設定値は、例えば、投射画像生成部５００が実行する画像処理に関する設定や、投射画像生成部５００が画像処理に用いるパラメーター等である。
【００５５】
撮像画像データ７２３は、撮像部３００が出力する撮像画像データである。撮像部３００は、第１カメラ３１０及び第２カメラ３２０の少なくともいずれかにより撮像を行う毎に、撮像画像データを制御部７００に出力する。制御部７００は、撮像画像データを解析する処理を行うため、メモリー７２０に撮像画像データを一時的に記憶する。
【００５６】
投射制御部７１１は、投射画像生成部５００及び投射部２００を制御して、投射画像生成部５００により描画された画像を投射部２００によって投射画面ＰＳとして投射させる。
【００５７】
通信制御部７１２は、信号光送信部４３０を制御して、自発光指示体７０に対し制御信号を送信させる。また、通信制御部７１２は、撮像画像データ７２３を解析することにより、自発光指示体７０が発する赤外線信号を解析する。例えば、制御部７５が、先端発光部７７が発光するタイミングを、制御データを含むようにエンコードして、指示体信号光ＰＳＬを送信する構成であってもよい。この場合、通信制御部７１２は、撮像画像データ７２３に指示体信号光ＰＳＬの像が写るタイミングを特定してデコードすることにより、指示体信号光ＰＳＬに乗せて自発光指示体７０が送信した制御データを受信できる。
【００５８】
操作検出部７１４（操作部）は、ユーザーによるプロジェクター１００に対する操作を受け付ける。操作検出部７１４は、ＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を構成する画像を投射画像生成部５００により生成し、投射部２００が投射する場合、ＧＵＩに対する自発光指示体７０及び非発光指示体８０の操作を検出する。例えば、操作検出部７１４は、アイコンやボタン等、ＧＵＩを構成する操作用の画像に対する自発光指示体７０及び非発光指示体８０の操作を検出する。この場合、操作検出部７１４は、位置検出部６００が検出する操作位置と、投射画像生成部５００により生成した投射画面ＰＳの内容とに基づき、操作位置に重なる操作用の画像を特定する。操作検出部７１４は、特定したアイコンやボタンに対応する処理を実行する。
【００５９】
また、操作検出部７１４は、撮像部３００の撮像画像に基づき、自発光指示体７０における先端部７１の操作、及び、ボタンスイッチ７３の操作を検出する。また、操作検出部７１４は、プロジェクター１００の本体に設けられる操作パネルや、プロジェクター１００を操作するためのリモコンの操作を検出する。
【００６０】
検出制御部７１３は、位置検出部６００を制御して、自発光指示体７０、及び、非発光指示体８０の位置を検出する。また、検出制御部７１３は、位置検出に関するキャリブレーションを実行する。
【００６１】
［プロジェクターによる位置検出］
ここで、プロジェクター１００が自発光指示体７０及び非発光指示体８０の位置を検出する処理について説明する。
【００６２】
投射システム９００において送受信される信号光は、次の５通りである。
（１）投射画像光ＩＭＬ：スクリーンＳＳに投射画面ＰＳを投射するために、投射レンズ２１０によってスクリーンＳＳ上に投射される画像光である。投射画像光ＩＭＬはユーザーが視認可能な画像を形成するため、可視光である。
（２）照射検出光ＩＤＬ：自発光指示体７０及び非発光指示体８０を検出するために、検出光照射部４１０が照射する近赤外光である。
（３）反射検出光ＲＤＬ：照射検出光ＩＤＬが自発光指示体７０及び非発光指示体８０に反射した反射光であり、照射検出光ＩＤＬと同様に近赤外光である。
（４）装置信号光ＡＳＬ：プロジェクター１００と自発光指示体７０との同期をとるために、プロジェクター１００の信号光送信部４３０が発する近赤外光である。
（５）指示体信号光ＰＳＬ：自発光指示体７０が先端発光部７７から発する近赤外光である。
【００６３】
本実施形態では、位置検出用のカメラとして、第１カメラ３１０を利用する例を説明する。この場合、第１カメラ３１０は、撮像部に相当する。この例では、検出制御部７１３は、第１カメラ３１０の撮像画像を取得し、撮像画像から指示体信号光ＰＳＬの像を検出することにより、自発光指示体７０の位置を検出する。また、検出制御部７１３は、第１カメラ３１０の撮像画像から反射検出光ＲＤＬの像を検出することにより、非発光指示体８０の位置を検出する。また、検出制御部７１３は、第１カメラ３１０の撮像画像から反射検出光ＲＤＬの像を検出して、自発光指示体７０の位置を検出してもよい。また、プロジェクター１００は、位置検出用のカメラとして第２カメラ３２０を用いることも勿論可能である。また、撮像部３００が備える第１カメラ３１０及び第２カメラ３２０の両方を用いてもよい。
【００６４】
検出制御部７１３は、キャリブレーション処理として、第１カメラ３１０の撮像画像における指示体信号光ＰＳＬの像の位置と、スクリーンＳＳにおける自発光指示体７０の位置とを対応付けるキャリブレーションデータを生成する。また、第１カメラ３１０の撮像画像における反射検出光ＲＤＬの像の位置と、スクリーンＳＳにおける非発光指示体８０の位置とを対応付けるキャリブレーションデータを生成する。これらのキャリブレーションデータは、設定データ７２２としてメモリー７２０に記憶される。
【００６５】
また、検出制御部７１３は、検出支障領域ＨＡで位置検出に支障が生じることに対応する機能を実行する。すなわち、検出制御部７１３は、第１カメラ３１０の撮像画像データから反射検出光ＲＤＬの像を検出することにより、障害物Ｈを検出する。また、検出制御部７１３は、障害物Ｈの位置およびサイズをもとに、検出支障領域ＨＡを求める。検出制御部７１３は、障害物Ｈ、及び、検出支障領域ＨＡに関する情報を、投射制御部７１１により投射画面ＰＳとして表示させる。検出制御部７１３は、検出支障領域ＨＡにおける操作を検出するか否かの設定を行うことをユーザーに要求する。また、検出制御部７１３は、ユーザーの操作に従って、検出支障領域ＨＡにおける操作を検出するか否かの設定を行う。この設定は、操作検出部７１４が、自発光指示体７０及び非発光指示体８０の操作を検出する処理に適用される。
【００６６】
また、キャリブレーションを実行する際に、検出制御部７１３は、第１カメラ３１０の撮像画像を利用して、三角測量を行い、自発光指示体７０または非発光指示体８０の位置を特定してもよい。
【００６７】
検出制御部７１３は、位置検出部６００を制御し、第１カメラ３１０が撮像した撮像画像が撮像した撮像画像とのそれぞれから、指示体信号光ＰＳＬの像を検出する。ここで、第１カメラ３１０の位置は、上述したようにスクリーンＳＳに対してオフセットしている。
【００６８】
検出制御部７１３は、撮像画像における指示体信号光ＰＳＬの像の位置の差と、とに基づき、三角測量の演算処理を実行し、自発光指示体７０の位置を特定できる。同様に、検出制御部７１３は、第１カメラ３１０の撮像画像において、反射検出光ＲＤＬの像の位置を検出する。検出制御部７１３は、検出した像の位置の差と、とに基づき、三角測量の演算処理を実行し、非発光指示体８０の位置を特定できる。これらの処理において、位置検出部６００は、検出制御部７１３の制御に従って三角測量に係る演算処理を実行してもよい。また、位置検出部６００が、撮像画像データ７２３における指示体信号光ＰＳＬ及び／または反射検出光ＲＤＬの像の位置の検出を実行し、検出制御部７１３が、三角測量に係る演算処理を実行してもよい。
【００６９】
キャリブレーション処理で三角測量による位置検出を実行すると、キャリブレーションの実行後は、第１カメラ３１０の撮像画像に基づき、三角測量の処理を行わずに自発光指示体７０の位置を特定できる。非発光指示体８０についても同様である。すなわち、検出制御部７１３は、設定データ７２２のキャリブレーションデータに基づき、第１カメラ３１０の撮像画像から自発光指示体７０及び非発光指示体８０の位置を検出する。
【００７０】
検出制御部７１３は、障害物Ｈを検出する処理を任意のタイミングで実行することが可能である。本実施形態では、一例として、キャリブレーションを実行する際に、障害物Ｈの検出を含む処理を行う場合について説明する。
【００７１】
［プロジェクターの動作］
図６及び図７は、プロジェクター１００の動作を示すフローチャートである。図６はキャリブレーションに関する動作を示し、図７は図６のステップＳ１２の障害物検出処理を詳細に示す。
【００７２】
検出制御部７１３は、キャリブレーションの開始の指示を検出すると（ステップＳ１１）、障害物Ｈを検出する障害物検出処理を実行する（ステップＳ１２）。図６では、一例として、非発光指示体８０の位置検出に関するキャリブレーションを行う場合を説明するが、自発光指示体７０の位置検出に関するキャリブレーションに適用してもよい。
【００７３】
図７に、ステップＳ１２の詳細を示す。
図７に示す動作を正常に実行するためには、動作中にユーザーが自発光指示体７０及び非発光指示体８０による操作を行わないことが望ましい。このため、図７の動作に先だって、検出制御部７１３は、投射部２００により、自発光指示体７０や非発光指示体８０やその他物体をスクリーンＳＳに近づけないようにユーザーに報知するメッセージ等を表示させてもよい。
【００７４】
検出制御部７１３は、検出光照射部４１０による照射検出光ＩＤＬの照射を開始する（ステップＳ４１）。プロジェクター１００は、起動中に照射検出光ＩＤＬの照射を実行しているため、図７の動作開始時に、すでに照射検出光ＩＤＬを照射している場合は、検出制御部７１３はステップＳ４１を省略する。
【００７５】
検出制御部７１３は、撮像部３００による撮像を実行させ、撮像画像データを取得する（ステップＳ４２）。ステップＳ４２では、第１カメラ３１０及び第２カメラ３２０のいずれか一方のみにより撮像を実行してもよい。また、三角測量を実行できるように、第１カメラ３１０及び第２カメラ３２０の両方により撮像を実行してもよい。
【００７６】
検出制御部７１３は、ステップＳ４２で取得した撮像画像データから反射検出光ＲＤＬの像を検出する（ステップＳ４３）。検出制御部７１３は、反射検出光ＲＤＬの像の有無を判定し（ステップＳ４４）、反射検出光ＲＤＬの像がない場合は（ステップＳ４４；ＮＯ）、本処理を終了して図６に戻る。
【００７７】
撮像画像データに反射検出光ＲＤＬの像があると判定した場合（ステップＳ４４；ＹＥＳ）、検出制御部７１３は、撮像画像データにおける反射検出光ＲＤＬの像の範囲を特定し、範囲情報を取得する（ステップＳ４５）。範囲情報は、撮像画像データにおける反射検出光ＲＤＬの像の範囲を特定する情報であり、反射検出光ＲＤＬの像とそれ以外の境界を特定する情報である。検出制御部７１３は、ステップＳ４５で取得した範囲情報に基づき、反射検出光ＲＤＬの像の座標を示す座標情報を取得する（ステップＳ４６）。例えば、検出制御部７１３は、範囲情報で表される範囲の重心位置の座標を算出し、算出した座標を座標情報とする。
【００７８】
検出制御部７１３は、ステップＳ４６で算出した重心位置の座標と、範囲情報とに基づき、検出領域ＤＳにおける障害物Ｈの位置および障害物Ｈのサイズを特定する（ステップＳ４７）。ステップＳ４７で、検出制御部７１３は、例えば、設定データ７２２に含まれるキャリブレーションデータに基づき、撮像画像データにおける位置を投射画面ＰＳにおける位置に変換することで、障害物Ｈの位置を特定する。また、ステップＳ４２で第１カメラ３１０及び第２カメラ３２０の両方により撮像を実行した場合、検出制御部７１３は、ステップＳ４７で、三角測量により障害物Ｈの位置を詳細に特定してもよい。
【００７９】
検出制御部７１３は、ステップＳ４７で特定した障害物Ｈの位置、及び、サイズに対応して、障害物Ｈに関する情報を通知する障害物通知画像を生成する（ステップＳ４８）。
検出制御部７１３は、ステップＳ４７で特定した障害物Ｈの位置およびサイズと、検出光照射部４１０の位置とに基づき、検出支障領域ＨＡを推定する（ステップＳ４９）。検出制御部７１３は、ステップＳ４９で推定した検出支障領域ＨＡに対応して、検出支障領域ＨＡに関する情報を通知する検出支障領域通知画像を生成する（ステップＳ５０）。
【００８０】
検出制御部７１３は、ユーザーに障害物Ｈに関する情報を提供する通知ＵＩ（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）、及び、検出支障領域ＨＡに関する設定を促す設定ＵＩ（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を生成する（ステップＳ５１）。通知ＵＩは、ステップＳ４８で生成した障害物通知画像、及び、ステップＳ５０で生成した検出支障領域通知画像を含む。また、設定ＵＩは、ユーザーに対し、検出支障領域ＨＡにおける操作の検出を行わないか、行うかの設定を求めるＧＵＩである。検出制御部７１３は、ステップＳ５１で生成した通知ＵＩ及び設定ＵＩを、投射部２００により投射させる（ステップＳ５２）。
【００８１】
図８は、プロジェクター１００が投射する画像の例を示す図である。
図８に示す例では、障害物Ｈの位置に対応して、通知ＵＩ１５０が投射されている。通知ＵＩ１５０は、検出制御部７１３がステップＳ５１で生成する通知ＵＩの一例であり、通知メッセージ１５１、障害物通知画像１５５、及び、検出支障領域通知画像１５７を含む。
【００８２】
通知メッセージ１５１は、障害物Ｈが存在することを文字により通知するメッセージである。通知メッセージ１５１の位置は特に制限されないが、障害物Ｈの位置や検出支障領域ＨＡを避けた位置であることが好ましい。
【００８３】
障害物通知画像１５５は、検出制御部７１３がステップＳ４８で生成する障害物通知画像の一例である。障害物通知画像１５５は、障害物Ｈの位置をユーザーが認識できるように、障害物Ｈの位置を示す画像であり、矢印を含む各種の図形を用いることができる。障害物通知画像１５５は、図８に例示するように、障害物Ｈのサイズを示す円、楕円、矩形などの図形であってもよい。
【００８４】
検出支障領域通知画像１５７は、検出制御部７１３がステップＳ５０で生成する検出支障領域通知画像の一例である。検出支障領域通知画像１５７は、検出領域ＤＳにおいて障害物Ｈにより検出が妨げられる領域を、投射画面ＰＳにおいて視認できるように示す画像である。図８の例のように、検出支障領域通知画像１５７は、検出支障領域ＨＡに重なる有色の図形であってもよいし、検出支障領域ＨＡと他の部分との境界を示す図形であってもよい。また、検出支障領域通知画像１５７は検出支障領域ＨＡと一致する図形でなくてもよく、検出支障領域ＨＡのおよその位置を示す矢印等であってもよい。
【００８５】
また、図８に示す例では、設定ＵＩ１６０が投射されている。設定ＵＩ１６０は、検出制御部７１３がステップＳ５１で生成する設定ＵＩの一例であり、通知メッセージ１６１、設定要求メッセージ１６２、設定ボタン１６３、１６４を含む。
【００８６】
通知メッセージ１６１は、検出支障領域ＨＡが存在することを文字により通知する通知メッセージである。設定要求メッセージ１６２は、検出支障領域ＨＡにおける位置検出に関して設定することを文字により要求するメッセージである。設定ボタン１６３、１６４は、ユーザーが自発光指示体７０または非発光指示体８０の操作により、検出支障領域ＨＡにおける位置検出に関する設定を行うためのボタンである。図８の例では、設定ボタン１６３が操作されると、検出支障領域ＨＡを検出領域ＤＳから除外する設定がなされる。この場合、操作検出部７１４は、第１カメラ３１０の撮像画像データにおいて、検出支障領域ＨＡに相当する位置で指示体信号光ＰＳＬまたは反射検出光ＲＤＬの像を検出した場合、この像について位置検出を行わない。
【００８７】
なお、検出支障領域ＨＡを検出領域ＤＳから除外する設定がなされた場合、操作検出部７１４は、検出支障領域ＨＡで、指示体信号光ＰＳＬに基づく位置検出を行ってもよい。つまり、設定ＵＩ１６０の操作による設定は、操作検出部７１４が非発光指示体８０の操作を検出する場合にのみ適用され、自発光指示体７０の操作の検出に適用されない構成であってもよい。この場合、検出支障領域ＨＡは、非発光指示体８０の操作に限り位置検出を行わない領域となる。また、検出支障領域ＨＡを検出領域ＤＳから除外する設定は、反射検出光ＲＤＬに基づく位置検出に限って適用されるということもできる。
【００８８】
設定ボタン１６４が操作されると、検出制御部７１３は、検出支障領域ＨＡを検出領域ＤＳから除外しないよう設定する。この場合、検出制御部７１３は、第１カメラ３１０の撮像画像データに基づき、検出支障領域ＨＡを含む検出領域ＤＳの全体で、指示体信号光ＰＳＬ及び反射検出光ＲＤＬの像に基づく位置検出を行うように設定データ７２２を設定する。この場合、操作検出部７１４は、障害物Ｈの位置にかかわらず、検出領域ＤＳの全体で自発光指示体７０及び非発光指示体８０の操作を検出する。
例えば、ユーザーが、障害物Ｈを除去して検出領域ＤＳ全体を使用することを望む場合に、設定ボタン１６４が操作される。
【００８９】
設定ＵＩ１６０が投射画面ＰＳにおいて投射される位置は特に制限されないが、設定ボタン１６３、１６４に対する操作を検出するため、障害物Ｈ及び検出支障領域ＨＡに重ならない位置に投射されることが好ましい。
【００９０】
図７に戻り、検出制御部７１３は、設定ＵＩに対する操作の有無を判定し（ステップＳ５３）、操作がされない場合は（ステップＳ５３；ＮＯ）、操作がなされるまで待機する。設定ＵＩに対する操作が行われた場合（ステップＳ５３；ＹＥＳ）、すなわち、設定ボタン１６３または設定ボタン１６４を選択する操作を検出した場合、検出制御部７１３は、操作に従って設定を行う（ステップＳ５４）。設定ＵＩ１６０はＧＵＩであるため、設定ボタン１６３、１６４に対する操作は、操作検出部７１４が検出する。検出制御部７１３は、操作検出部７１４が設定ボタン１６３、１６４に対する操作を検出することに対応して、ステップＳ５３〜Ｓ５４の処理を実行する。
【００９１】
ステップＳ５４で、検出制御部７１３は、検出支障領域ＨＡを、操作を検出しない非検出領域とするか、非検出領域としないかを設定する。非検出領域は、上述のように、検出制御部７１３が、第１カメラ３１０の撮像画像データにおいて指示体信号光ＰＳＬまたは反射検出光ＲＤＬの像を検出した場合に、この像について位置検出を行わない領域である。ステップＳ５４で、検出制御部７１３は、非検出領域に関する情報を設定データ７２２に設定する。ステップＳ５４の処理の後、検出制御部７１３は図６に戻る。なお、非検出領域は、検出支障領域ＨＡと、障害物Ｈに重なる位置とを含む領域であってもよいし、検出支障領域ＨＡで構成される領域であってもよい。障害物Ｈに重なる位置でユーザーが操作を行う可能性が高くないため、検出支障領域ＨＡのみを非検出領域としても実用上の懸念はない。
【００９２】
検出制御部７１３は、ステップＳ１２の障害物検出処理の後、設定データ７２２を参照し、検出領域ＤＳに非検出領域が設定されているか否かを判定する（ステップＳ１３）。非検出領域が設定されている場合（ステップＳ１３；ＹＥＳ）、検出制御部７１３は、非検出領域を避けるように、キャリブレーション画像を編集し（ステップＳ１４）、ステップＳ１５に移行する。
【００９３】
キャリブレーション画像は、検出領域ＤＳにおいて非発光指示体８０によって指示された位置と、第１カメラ３１０の撮像画像データにおける位置とを対応付けるための画像である。通常、キャリブレーション画像は、検出領域ＤＳの全体における位置検出に対応する画像である。検出制御部７１３は、ステップＳ１４で、非検出領域でキャリブレーションが行われないように、例えば、キャリブレーション画像から非検出領域に対応する画像を削除する処理を行う。
【００９４】
また、非検出領域が設定されていない場合（ステップＳ１３；ＮＯ）、検出制御部７１３はステップＳ１５に移行する。
【００９５】
図９は、プロジェクター１００が投射するキャリブレーション画像の一例として、キャリブレーション画像１８０を示す図である。
キャリブレーション画像１８０は、ユーザーに、検出領域ＤＳにおける特定の位置を非発光指示体８０で指示する操作を促すポイント画像１８１を含む。ポイント画像１８１は、検出領域ＤＳにおいて等間隔に複数並べて配置される。キャリブレーション画像１８０に含まれる複数のポイント画像１８１は、１つずつ順に投射画面ＰＳとして投射され、ユーザーは、ポイント画像１８１が投射される毎に、新たに投射されたポイント画像１８１の位置を非発光指示体８０で指示する操作を行う。キャリブレーション画像１８０は、図８に示すように、新たに投射されたポイント画像１８１ａが、他のポイント画像１８１とは異なる色となっている画像であってもよい。つまり、キャリブレーション画像１８０は、異なる数のポイント画像１８１を含む複数の画像の集合ということもできる。
【００９６】
検出制御部７１３は、キャリブレーション画像１８０のポイント画像１８１が投射される毎に、撮像部３００の撮像画像データから非発光指示体８０を検出する。これにより、検出領域ＤＳの複数の位置で、投射部２００が投射する投射画像上の位置と、撮像画像データにおける指示位置とを対応付けることができる。
検出制御部７１３は、ステップＳ１４で、非検出領域に重なる位置にあるポイント画像１８１を、キャリブレーション画像１８０から削除またはマスクする。これにより、非検出領域でポイント画像１８１が投射されないため、非検出領域を除く検出領域ＤＳでキャリブレーションを実行できる。
【００９７】
図６に戻り、ステップＳ１５で、検出制御部７１３は、投射部２００によりキャリブレーション画像のポイント画像を投射させ（ステップＳ１５）、撮像部３００による撮像を実行する（ステップＳ１６）。
【００９８】
検出制御部７１３は、撮像部３００の撮像画像データから反射検出光ＲＤＬの像を検出し（ステップＳ１７）、検出した像の重心位置を取得する（ステップＳ１８）。検出制御部７１３は、取得した像の位置を、ステップＳ１５で投射されたポイント画像と対応づけて一時的にメモリー７２０に記憶させる（ステップＳ１９）。検出制御部７１３は、キャリブレーション画像の全てのポイント画像について操作がされたか否かを判定する（ステップＳ２０）。ステップＳ１４でキャリブレーション画像が編集された場合、検出制御部７１３は、ステップＳ２０で、編集後のキャリブレーション画像に含まれる全てのポイント画像の操作がなされたか否かを判定する。
【００９９】
操作されていないポイント画像がある場合（ステップＳ２０；ＮＯ）、検出制御部７１３はステップＳ１５に戻り、次のポイント画像を投射させる。
全てのポイント画像について操作がされた場合（ステップＳ２０；ＹＥＳ）、検出制御部７１３は、ステップＳ１９で一時記憶した情報に基づき、キャリブレーションデータを生成し（ステップＳ２１）、本処理を終了する。キャリブレーションデータは、上述のように、撮像画像データにおける位置と投射画面ＰＳ上の位置とを対応付けるデータである。
【０１００】
以上説明したように、本実施形態のプロジェクター１００は、投射画面ＰＳを表示する投射部２００と、投射部２００が画像を表示する表示領域に対応して設定される検出領域ＤＳに、照射検出光ＩＤＬを放射する検出光照射部４１０とを備える。また、照射検出光ＩＤＬが検出領域ＤＳにおいて反射された反射検出光ＲＤＬを受光する撮像部３００を備える。また、撮像部３００の受光状態に基づいて、検出領域ＤＳにおける非発光指示体８０による操作の検出、及び、照射検出光ＩＤＬを遮る障害物Ｈの検出を行い、障害物Ｈに関する情報を投射部２００により表示させる制御部７００を備える。そして、ユーザーは、障害物Ｈに関する情報を容易に知ることができ、それに対して適切な対応をすることにより、プロジェクター１００を有効に活用できる。
【０１０１】
本発明の表示装置、及び、表示装置の制御方法を適用したプロジェクター１００によれば、障害物Ｈに関する情報を表示することにより、操作を行うユーザーに対し、操作の検出を妨げる障害物Ｈについての情報を提供できる。
【０１０２】
制御部７００は、投射画面ＰＳの表示領域、すなわちスクリーンＳＳにおける障害物Ｈの位置を投射部２００により表示させる。例えば、検出制御部７１３は、スクリーンＳＳにおける障害物Ｈの位置をユーザーに通知する障害物通知画像１５５を表示させる。これにより、障害物Ｈの位置に関する情報をユーザーに提供できる。
【０１０３】
また、制御部７００は、検出領域ＤＳにおいて障害物Ｈにより照射検出光ＩＤＬの照射が妨げられる検出支障領域ＨＡを特定し、検出支障領域ＨＡを投射部２００により表示させる。例えば、検出制御部７１３は、スクリーンＳＳにおける検出支障領域ＨＡの位置やサイズをユーザーに通知する検出支障領域通知画像１５７を表示させる。これにより、操作の検出が妨げられる領域に関する情報をユーザーに提供できる。
【０１０４】
制御部７００は、検出支障領域ＨＡを示す画像である検出支障領域通知画像１５７と、検出領域ＤＳにおける障害物Ｈの位置を示す画像である障害物通知画像１５５とを、投射部２００により表示させる。これにより、障害物Ｈの位置、及び、操作の検出が妨げられる領域に関する情報をユーザーに提供できる。
【０１０５】
また、制御部７００は、投射部２００により、検出支障領域ＨＡにおける非発光指示体８０の操作の検出を無効とするか否かの設定を求める設定要求に相当する設定ＵＩ１６０を表示させる。これにより、操作の検出を無効とするか否かの設定をユーザーに促すことができる。
【０１０６】
また、プロジェクター１００は、操作を受け付ける操作検出部７１４を備える。制御部７００は、操作検出部７１４により受け付けた設定ＵＩ１６０の操作に従って、検出領域ＤＳにおける操作を検出する処理を設定する。これにより、ユーザーが、操作の検出に関する設定を容易に行うことができる。
【０１０７】
また、プロジェクター１００は、検出領域ＤＳを含む範囲を撮像する撮像部３００を備える。制御部７００は、撮像部３００の撮像画像から反射検出光ＲＤＬの像を検出することにより、検出領域ＤＳにおける非発光指示体８０による操作の検出、及び、照射検出光ＩＤＬを遮る障害物Ｈの検出を行う。これにより、反射検出光ＲＤＬを撮像画像から検出することによりユーザーの操作を検出する構成において、ユーザーに、障害物Ｈについての情報を提供できる。
【０１０８】
また、制御部７００は、撮像部３００の撮像画像から検出した反射検出光ＲＤＬの像の重心、及び、反射検出光ＲＤＬの像のサイズに基づいて、障害物Ｈの位置およびサイズを推定する。制御部７００は、障害物Ｈの位置およびサイズに基づく画像である障害物通知画像１５５を投射部２００により表示させる。これにより、撮像画像における反射検出光ＲＤＬの像に基づき、障害物Ｈの位置およびサイズに関する情報をユーザーに提供できる。
【０１０９】
［他の実施形態］
上記実施形態は本発明を適用した一具体例を示すものであり、本発明はこれに限定されるものではない。
上記実施形態において、図７の障害物検出処理は、キャリブレーションに伴い実行される例を説明したが、本発明はこれに限定されない。例えば、自発光指示体７０や非発光指示体８０を用いた操作や、操作パネル（図示略）やリモコン（図示略）の操作により、障害物検出処理の開始が指示された場合に、プロジェクター１００は、図７の動作を実行してもよい。また、プロジェクター１００の電源が投入された後、自発光指示体７０や非発光指示体８０による操作を検出する前に、プロジェクター１００が図７の障害物検出処理を実行する構成としてもよい。
【０１１０】
また、プロジェクター１００は、撮像部３００が１台のカメラを有する構成にしてもよいし、３台以上のカメラを有する構成にしてもよい。撮像部３００が１台のカメラを有する構成の場合には、カメラで撮像された１個の画像に基づいて自発光指示体７０の２次元座標（Ｘ，Ｙ）が決定される。非発光指示体８０の位置検出のために、スクリーンＳＳに沿った層状の光を形成する構成を備えてもよい。
また、上記実施形態では、自発光指示体７０と非発光指示体８０との両方を使用可能な構成のプロジェクター１００を例示したが、プロジェクターは、少なくとも非発光指示体８０を使用可能であればよい。
【０１１１】
また、上記実施形態では、図２に示した照射検出光ＩＤＬと、反射検出光ＲＤＬと、装置信号光ＡＳＬと、指示体信号光ＰＳＬとがすべて近赤外光であるものとしたが、これらのうちの一部又は全部を近赤外光以外の光としてもよい。
【０１１２】
また、本発明の表示装置はプロジェクター１００に限定されず、液晶表示パネルに画像を表示する液晶モニター又は液晶テレビを表示装置として採用してもよい。プラズマディスプレイパネル、ＯＬＥＤ（Ｏｒｇａｎｉｃ  ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ  ｄｉｏｄｅ）、ＯＥＬ（Ｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の有機ＥＬ表示パネルを備えた表示装置を用いてもよい。
【０１１３】
また、図５に示した各機能部は機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、或いは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、投射システム９００を構成する他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。
【符号の説明】
【０１１４】
７０…自発光指示体（指示体）、７１…先端部、７２…軸部、７３…ボタンスイッチ、７４…光検出部、７５…制御部、７６…先端スイッチ、７７…先端発光部、７８…発光量調整部、７９…電源部、８０…非発光指示体（指示体）、１００…プロジェクター（表示装置）、１５０…通知ＵＩ、１６０…設定ＵＩ、２００…投射部（表示部）、２１０…投射レンズ、２２０…光変調部、２３０…光源、３００…撮像部（受光部、撮像部）、３１０…第１カメラ、３２０…第２カメラ、４１０…検出光照射部（光放射部）、４３０…信号光送信部、５００…投射画像生成部、５１０…投射画像メモリー、６００…位置検出部、７００…制御部、７１０…プロセッサー、７１１…投射制御部、７１２…通信制御部、７１３…検出制御部、７１４…操作検出部（操作部）、７２０…メモリー、７２１…制御プログラム、７２２…設定データ、７２３…撮像画像データ、７８０…指示体、９００…投射システム、ＡＳＬ…装置信号光、ＤＳ…検出領域、Ｈ…障害物、ＨＡ…検出支障領域、ＩＤＬ…照射検出光、ＩＭＬ…投射画像光、ＰＳ…投射画面、ＰＳＬ…指示体信号光、ＲＤＬ…反射検出光（反射光）、ＳＳ…スクリーン。
【図１】
2019174513.tif 000003
【図２】
2019174513.tif 000004
【図３】
2019174513.tif 000005
【図４】
2019174513.tif 000006
【図５】
2019174513.tif 000007
【図６】
2019174513.tif 000008
【図７】
2019174513.tif 000009
【図８】
2019174513.tif 000010
【図９】
2019174513.tif 000011