(57)【要約】【課題】指示位置によらずに位置検出の精度を向上させることができる位置検出装置、及び、位置検出方法を提供する。【解決手段】プロジェクター１０は、指示体７０、８０の指示位置を検出する座標算出部５５と、座標算出部５５が検出した指示位置の変動に関する基準変動量を記憶する記憶部１１０と、基準変動量を記憶部１１０から取得し、座標算出部５５が検出した指示位置を、取得した基準変動量に基づいて補正する投射制御部３１とを備え、投射制御部３１は、指示位置を補正する際に、指示位置に応じて異なる基準変動量を用いる。【選択図】図２
2015166923.tif 000002
【特許請求の範囲】
【請求項１】
指示体の指示位置を検出する検出部と、
前記検出部が検出した指示位置の変動に関する基準変動量を記憶する記憶部と、
前記基準変動量を前記記憶部から取得し、前記検出部が検出した指示位置を、取得した前記基準変動量に基づいて補正する補正部と、を備え
前記補正部は、前記指示位置を補正する際に、前記指示位置に応じて異なる基準変動量を用いることを特徴とする位置検出装置。
【請求項２】
前記補正部は、前記指示位置の変動が前記基準変動量の範囲内の場合に、前記変動を補償する補正を行うことを特徴とする請求項１記載の位置検出装置。
【請求項３】
前記記憶部は、指示位置に応じた複数の基準変動量を記憶し、
前記補正部は、前記検出部が検出した指示位置に応じた基準変動量を前記記憶部から取得して、前記検出部が検出した指示位置を、取得した前記基準変動量に基づいて補正することを特徴とする請求項１又は２記載の位置検出装置。
【請求項４】
前記補正部は、前記記憶部が記憶する基準変動量を指示位置に応じて調整し、前記検出部が検出した指示位置を、調整後の基準変動量に基づいて補正することを特徴とする請求項１又は２記載の位置検出装置。
【請求項５】
前記検出部が検出した指示位置の変動に基づいて前記基準変動量を算出する算出部をさらに備え、
前記記憶部は、前記算出部で算出された前記基準変動量を記憶することを特徴とする請求項１から４のいずれか一項に記載の位置検出装置。
【請求項６】
前記算出部は、前記指示体の指示位置が検出される検出領域を複数の領域に分割し、分割された前記領域ごとに前記基準変動量を算出し、
前記補正部は、前記複数の領域のうち前記検出部が検出した指示位置を含む領域の基準変動量に基づいて前記指示位置を補正することを特徴とする請求項５記載の位置検出装置。
【請求項７】
前記算出部は、分割された前記領域のうち一部の領域については、前記検出部が検出した指示位置の変動に基づいて前記基準変動量を算出し、他の領域については、前記一部の領域の基準変動量を用いた演算処理により前記基準変動量を算出することを特徴とする請求項６記載の位置検出装置。
【請求項８】
指示体の指示位置を検出する検出ステップと、
検出した指示位置の変動に関する基準変動量を記憶する記憶部から前記基準変動量を取得し、検出した指示位置を、取得した基準変動量に基づいて補正する補正ステップと、を備え、
前記補正ステップでは、前記指示位置を補正する際に、前記指示位置に応じて異なる基準変動量を用いることを特徴とする位置検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、位置検出装置、及び、位置検出方法に関する。
【背景技術】
【０００２】
コンピューター等の映像出力装置から出力される画像を、プロジェクターによって投射面に投写するとともに、投写された画像をカメラで撮像して、投写された画像に対して行われた操作指示をプロジェクターで認識するシステムが提案されている。例えば、特許文献１には、指示体としての発光ペンの発光を撮影装置で撮影して、発光ペンによる指示位置を特定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２２７６００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
撮影装置により撮影された撮影画像により指示体の指示位置を特定する場合、特定される指示位置に変動（ぶれ）が生じる場合があるため、指示位置の変動を補正する補正処理を行う必要がある。特に、指示される投射面上の指示位置によって基準変動量が異なる場合があり、位置検出の精度に影響を及ぼす場合がある。
本発明は、上述した事情に鑑みてなされたものであり、指示位置によらずに位置検出の精度を向上させることができる位置検出装置、及び、位置検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明の位置検出装置は、指示体の指示位置を検出する検出部と、前記検出部が検出した指示位置の変動に関する基準変動量を記憶する記憶部と、前記基準変動量を前記記憶部から取得し、前記検出部が検出した指示位置を、取得した前記基準変動量に基づいて補正する補正部と、を備え、前記補正部は、前記指示位置を補正する際に、前記指示位置に応じて異なる基準変動量を用いることを特徴とする。
本構成によれば、指示位置の補正を、指示位置に応じた基準変動量を用いて行うことができる。従って、指示位置によらずに位置検出の精度を向上させることができる。
【０００６】
また、本発明は、上記位置検出装置において、前記補正部は、前記指示位置の変動が前記基準変動量の範囲内の場合に、前記変動を補償する補正を行うことを特徴とする。
本構成によれば、指示位置の変動を補償することができる。
【０００７】
また、本発明は、上記位置検出装置において、前記記憶部は、指示位置に応じた複数の基準変動量を記憶し、前記補正部は、前記検出部が検出した指示位置に応じた基準変動量を前記記憶部から取得して、前記検出部が検出した指示位置を、取得した前記基準変動量に基づいて補正することを特徴とする。
本構成によれば、指示位置ごとに適切な基準変動量を用いて指示位置を補正することができる。
【０００８】
また、本発明は、上記位置検出装置において、前記補正部は、前記記憶部が記憶する基準変動量を指示位置に応じて調整し、前記検出部が検出した指示位置を、調整後の基準変動量に基づいて補正することを特徴とする。
本構成によれば、指示位置の補正精度を高めることができる。
【０００９】
また、本発明は、上記位置検出装置において、前記検出部が検出した指示位置の変動に基づいて前記基準変動量を算出する算出部をさらに備え、前記記憶部は、前記算出部で算出された前記基準変動量を記憶することを特徴とする。
本構成によれば、検出部が検出した指示位置の変動に基づいて基準変動量を算出して記憶部に記憶させることができる。
【００１０】
また、本発明は、上記位置検出装置において、前記算出部は、前記指示体の指示位置が検出される検出領域を複数の領域に分割し、分割された前記領域ごとに前記基準変動量を算出し、前記補正部は、前記複数の領域のうち前記検出部が検出した指示位置を含む領域の基準変動量に基づいて前記指示位置を補正することを特徴とする。
本構成によれば、複数の領域ごとに基準変動量が算出されるので、位置検出の精度を向上させることができる。
【００１１】
また、本発明は、上記位置検出装置において、前記算出部は、分割された前記領域のうち一部の領域については、前記検出部が検出した指示位置の変動に基づいて前記基準変動量を算出し、他の領域については、前記一部の領域の基準変動量を用いた演算処理により前記基準変動量を算出することを特徴とする。
本構成によれば、基準変動量を算出する領域を削減して、基準変動量の算出にかかる時間を短縮させることができる。
【００１２】
本発明の位置検出方法は、指示体の指示位置を検出する検出ステップと、検出した指示位置の変動に関する基準変動量を記憶する記憶部から前記基準変動量を取得し、検出した指示位置を、取得した基準変動量に基づいて補正する補正ステップと、を備え、前記補正ステップでは、前記指示位置を補正する際に、前記指示位置に応じて異なる基準変動量を用いることを特徴とする。
本構成によれば、指示位置の補正を、指示位置に応じた基準変動量を用いて行うことができる。従って、指示位置によらずに位置検出の精度を向上させることができる。
【発明の効果】
【００１３】
本発明によれば、指示位置によらずに位置検出の精度を向上させることができる。
【図面の簡単な説明】
【００１４】
【図１】実施形態に係るプロジェクションシステムの概略構成図である。
【図２】プロジェクションシステムの機能ブロック図である。
【図３】各部の発光タイミングを示すシーケンス図である。
【図４】指示体の指示位置を検出する様子を示す説明図である。
【図５】傾斜したスクリーン上の指示位置を検出する様子を示す図である。
【図６】指示位置の相違による検出位置の相違を示す図である。
【図７】（Ａ）は基準変動量算出用画像の一例を示す図であり、（Ｂ）は撮影画像データを領域分割した様子を示す図である。
【図８】基準変動量の算出手順を示すフローチャートである。
【図９】基準変動量を用いて指示位置を補正する手順を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、図面を参照して本発明の実施形態について説明する。
図１は、本発明を適用した実施形態に係るプロジェクションシステム１の構成を示す図である。プロジェクションシステム１は、スクリーンＳＣ（投射面）の上方に設置されたプロジェクター１０と、スクリーンＳＣの上部に設置された光出射装置６０（光出射部）とを備える。
【００１６】
プロジェクター１０はスクリーンＳＣの直上又は斜め上方に設置され、斜め下方のスクリーンＳＣに向けて画像を投射する。また、本実施形態で例示するスクリーンＳＣは、壁面に固定され、或いは床面に立設された平板又は幕である。本発明はこの例に限定されず、壁面をスクリーンＳＣとして使用することも可能である。この場合、スクリーンＳＣとして使用される壁面の上部にプロジェクター１０及び光出射装置６０を取り付けるとよい。
【００１７】
プロジェクター１０は、ＰＣ（パーソナルコンピューター）、ビデオ再生装置、ＤＶＤ（Digital Versatile Disk）再生装置等の外部の画像供給装置に接続されている。プロジェクター１０は、この画像供給装置から供給されるアナログ画像信号又はデジタル画像データに基づき、スクリーンＳＣに画像を投射する。また、プロジェクター１０は、内蔵する記憶部１１０（図２）や外部接続される記憶媒体に記憶された画像データを読み出して、この画像データに基づきスクリーンＳＣに画像を表示する構成としてもよい。
光出射装置６０は、固体光源からなる光源部６１（図２）を有し、光源部６１が発する光をスクリーンＳＣに沿って拡散させて出射（照射）する。光出射装置６０の出射範囲を図１に角度θで示す。光出射装置６０はスクリーンＳＣの上端より上に設置され、下向きに角度θの範囲に光を出射する。光出射装置６０の出射する光はスクリーンＳＣに沿う光の層を形成する。本実施形態では角度θはほぼ１８０度に達し、スクリーンＳＣのほぼ全体に、光の層が形成される。スクリーンＳＣの表面と光の層とは近接していることが好ましく、本実施形態では、スクリーンＳＣの表面と光の層との距離は概ね１０ｍｍ〜１ｍｍの範囲内である。また、光出射装置６０が出射する光は可視領域外の光であり、本実施形態では赤外光とする。
【００１８】
プロジェクションシステム１は、スクリーンＳＣに対する指示操作が行われた場合に、指示位置をプロジェクター１０によって検出する。
指示操作に利用される指示体は、ペン型の指示体７０（第１指示体）又はユーザーの手指である指示体８０（第２指示体）を用いることができる。指示体７０の先端部７１は、押圧された場合に動作する操作スイッチ７５（図２）を内蔵しているので、先端部７１を壁やスクリーンＳＣに押しつける操作がされると操作スイッチ７５がオンになる。指示体７０は、ユーザーが棒状の軸部７２を手に持って、先端部７１をスクリーンＳＣに接触させるように操作され、先端部７１をスクリーンＳＣに押しつける操作も行われる。先端部７１には、光を発する送受信部７４（図２）を備える。プロジェクター１０は、指示体７０が発する光に基づき、先端部７１の位置を、指示位置として検出する。指示体７０が発する光は可視領域外の光であり、本実施形態では赤外光とする。
【００１９】
また、ユーザーの手指である指示体８０で位置指示操作を行う場合、ユーザーは指をスクリーンＳＣに接触させる。この場合、指示体８０がスクリーンＳＣに接触した位置が検出される。
すなわち、指示体８０の先端（例えば、指先）がスクリーンＳＣに接触するときに、光出射装置６０が形成する光の層を遮る。このとき、光出射装置６０が出射した光が指示体８０に当たって反射し、反射光の一部は指示体８０からプロジェクター１０に向かって進む。プロジェクター１０は、スクリーンＳＣ側からの光、すなわち下方からの光を後述する位置検出部５０により検出する機能を有するので、指示体８０の反射光を検出できる。プロジェクター１０は、指示体８０で反射した反射光を検出することにより、指示体８０によるスクリーンＳＣへの指示操作を検出する。また、プロジェクター１０は指示体８０により指示された指示位置を検出する。
光出射装置６０が出射する光の層はスクリーンＳＣに近接しているので、指示体８０において光が反射する位置は、スクリーンＳＣに最も近い先端、或いは指示位置と見なすことができる。このため、指示体８０の反射光に基づき指示位置を特定できる。
【００２０】
プロジェクションシステム１は、インタラクティブホワイトボードシステムとして機能し、ユーザーが指示体７０、８０により行った操作指示を検出して、指示位置を投射画像に反映させる。具体的には、プロジェクションシステム１は、指示位置に図形を描画したり文字や記号を配置したりする処理、指示位置の軌跡に沿って図形を描画する処理、描画した図形や配置した文字又は記号を消去する処理等を行う。また、スクリーンＳＣに描画された図形、配置された文字又は記号を画像データとして保存することもでき、外部の装置に出力することもできる。
さらに、プロジェクションシステム１は、指示位置を検出することによりポインティングデバイスとして動作し、プロジェクター１０が画像を投射するスクリーンＳＣの投射領域における指示位置の座標を出力してもよい。また、プロジェクションシステム１は、指示位置の座標を用いてＧＵＩ（Graphical User Interface）操作を行うこともできる。
【００２１】
図２は、プロジェクションシステム１を構成する各部の機能ブロック図である。
プロジェクター１０は、外部の装置に接続されるインターフェイスとして、Ｉ／Ｆ（インターフェイス）部１１及び画像Ｉ／Ｆ（インターフェイス）部１２を備える。Ｉ／Ｆ部１１及び画像Ｉ／Ｆ部１２は有線接続用のコネクターを備え、上記コネクターに対応するインターフェイス回路を備えていてもよい。また、Ｉ／Ｆ部１１及び画像Ｉ／Ｆ部１２は、無線通信インターフェイスを備えていてもよい。有線接続用のコネクター及びインターフェイス回路としては有線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢ等に準拠したものが挙げられる。また、無線通信インターフェイスとしては無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等に準拠したものが挙げられる。画像Ｉ／Ｆ部１２には、ＨＤＭＩ（登録商標）インターフェイス等の画像データ用のインターフェイスを用いることもできる。画像Ｉ／Ｆ部１２は、音声データが入力されるインターフェイスを備えてもよい。
【００２２】
Ｉ／Ｆ部１１は、ＰＣ等の外部の装置との間で各種データを送受信するインターフェイスである。Ｉ／Ｆ部１１は、画像の投射に関する制御データ、プロジェクター１０の動作を設定する設定データ、プロジェクター１０が検出した指示位置の座標データ等を入出力する。後述する制御部３０は、Ｉ／Ｆ部１１を介して外部の装置とデータを送受信する機能を有する。
画像Ｉ／Ｆ部１２は、デジタル画像データが入力されるインターフェイスである。本実施形態のプロジェクター１０は、画像Ｉ／Ｆ部１２を介して入力されるデジタル画像データに基づき画像を投射する。なお、プロジェクター１０は、アナログ画像信号に基づき画像を投射する機能を備えてもよく、この場合、画像Ｉ／Ｆ部１２は、アナログ画像用のインターフェイスと、アナログ画像信号をデジタル画像データに変換するＡ／Ｄ変換回路とを備えてもよい。
【００２３】
プロジェクター１０は、光学的な画像の形成を行う投射部２０を備える。投射部２０は、光源部２１、光変調装置２２及び投射光学系２３を有する。光源部２１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）、或いはレーザー光源等からなる光源を備える。また、光源部２１は、光源が発した光を光変調装置２２に導くリフレクター及び補助リフレクターを備えていてもよい。さらに、投射光の光学特性を高めるためのレンズ群（図示略）、偏光板、或いは光源が発した光の光量を光変調装置２２に至る経路上で低減させる調光素子等を備えていてもよい。
光変調装置２２は、例えばＲＧＢの三原色に対応した３枚の透過型液晶パネルを備え、この液晶パネルを透過する光を変調して画像光を生成する。光源部２１からの光はＲＧＢの３色の色光に分離され、各色光は対応する各液晶パネルに入射する。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系２３に射出される。
投射光学系２３は、光変調装置２２により変調された画像光をスクリーンＳＣ方向へ導き、スクリーンＳＣ上に結像させるレンズ群を備える。また、投射光学系２３は、スクリーンＳＣの投射画像の拡大・縮小及び焦点の調整を行うズーム機構、フォーカスの調整を行うフォーカス調整機構を備えていてもよい。プロジェクター１０が短焦点型である場合、投射光学系２３に、画像光をスクリーンＳＣに向けて反射する凹面鏡を備えていてもよい。
【００２４】
投射部２０には、制御部３０の制御に従って光源部２１を点灯させる光源駆動部４５、及び制御部３０の制御に従って光変調装置２２を動作させる光変調装置駆動部４６が接続される。光源駆動部４５は、光源部２１の点灯／消灯の切り替えを行い、光源部２１の光量を調整する機能を有していてもよい。
【００２５】
プロジェクター１０は、投射部２０が投射する画像を処理する画像処理系を備える。この画像処理系は、プロジェクター１０を制御する制御部３０、記憶部１１０、操作検出部１７、画像処理部４０、光源駆動部４５、及び光変調装置駆動部４６を含む。また、画像処理部４０にはフレームメモリー４４が接続され、制御部３０には姿勢センサー４７、出射装置駆動部４８、及び位置検出部５０が接続される。これらの各部を画像処理系に含めてもよい。
【００２６】
制御部３０は、所定の制御プログラム１１１を実行することにより、プロジェクター１０の各部を制御する。記憶部１１０は、制御部３０が実行する制御プログラム１１１、及び制御部３０が処理するデータを不揮発的に記憶する。記憶部１１０は、プロジェクター１０の動作を設定するための画面の設定画面データ１１２、及び設定画面データ１１２を利用して設定された内容を示す設定データ１１３を記憶する。
また、記憶部１１０には、基準変動量算出用画像１１４、第１基準変動量１１５、第２基準変動量１１６、第１キャリブレーションデータ１１７、第２キャリブレーションデータ１１８等が記憶されている。これらのデータについては後述する。
【００２７】
画像処理部４０は、制御部３０の制御に従って、画像Ｉ／Ｆ部１２を介して入力される画像データを処理し、光変調装置駆動部４６に画像信号を出力する。画像処理部４０が実行する処理は、３Ｄ（立体）画像と２Ｄ（平面）画像の判別処理、解像度変換処理、フレームレート変換処理、歪み補正処理、デジタルズーム処理、色調補正処理、輝度補正処理等である。画像処理部４０は、制御部３０により指定された処理を実行し、必要に応じて、制御部３０から入力されるパラメーターを使用して処理を行う。また、上記のうち複数の処理を組み合わせて実行することも勿論可能である。
画像処理部４０はフレームメモリー４４に接続されている。画像処理部４０は、画像入力Ｉ／Ｆ１２から入力される画像データをフレームメモリー４４に展開して、展開した画像データに対し上記の各種処理を実行する。画像処理部４０は、処理後の画像データをフレームメモリー４４から読み出して、この画像データに対応するＲ、Ｇ、Ｂの画像信号を生成し、光変調装置駆動部４６に出力する。
光変調装置駆動部４６は、光変調装置２２の液晶パネルに接続される。光変調装置駆動部４６は、画像処理部４０から入力される画像信号に基づいて液晶パネルを駆動し、各液晶パネルに画像を描画する。
【００２８】
操作検出部１７は、入力デバイスとして機能するリモコン受光部１８及び操作パネル１９に接続され、リモコン受光部１８及び操作パネル１９を介した操作を検出する。
リモコン受光部１８は、プロジェクター１０のユーザーが使用するリモコン（図示略）がボタン操作に対応して送信した赤外線信号を、リモコン受光部１８によって受光する。リモコン受光部１８は、上記リモコンから受光した赤外線信号をデコードして、上記リモコンにおける操作内容を示す操作データを生成し、制御部３０に出力する。
操作パネル１９は、プロジェクター１０の外装筐体に設けられ、各種スイッチ及びインジケーターランプを有する。操作検出部１７は、制御部３０の制御に従い、プロジェクター１０の動作状態や設定状態に応じて操作パネル１９のインジケーターランプを適宜点灯及び消灯させる。この操作パネル１９のスイッチが操作されると、操作されたスイッチに対応する操作データが操作検出部１７から制御部３０に出力される。
【００２９】
表示部１６は、制御部３０の制御に従って情報を表示する。例えば、表示部１６には、基準変動量を算出する指示体７０、８０を選択する選択画面が表示される。
【００３０】
出射装置駆動部４８は、接続部４９を介して光出射装置６０に接続される。接続部４９は、例えば複数のピンを有するコネクターであり、接続部４９には光出射装置６０がケーブル６０ａを介して接続される。出射装置駆動部４８は、制御部３０の制御に従ってパルス信号を生成し、接続部４９を介して光出射装置６０に出力する。また、出射装置駆動部４８は接続部４９を介して光出射装置６０に電源を供給する。
【００３１】
光出射装置６０は、図１に示すように略箱形のケースに、光源部６１及び光学部品を収容して構成される。本実施形態の光出射装置６０は、光源部６１に、赤外光を発する固体光源（不図示）を備える。固体光源が発する赤外光は、平行化レンズ及びパウエルレンズによって拡散され、スクリーンＳＣに沿った面を形成する。また、光源部６１が複数の固体光源を備え、これら複数の固体光源が発する光をそれぞれ拡散させることによって、スクリーンＳＣの画像投射範囲を覆うように光の層を形成してもよい。また、光出射装置６０は、光源部６１が発する光の層とスクリーンＳＣとの間の距離や角度を調整する調整機構を備えていてもよい。
【００３２】
光出射装置６０は、出射装置駆動部４８から供給されるパルス信号及び電源により、光源部６１を点灯させる。光源部６１が点灯及び消灯するタイミングは、出射装置駆動部４８が制御する。制御部３０は、出射装置駆動部４８を制御して、後述する撮像部５１が撮影を行うタイミングに同期して光源部６１を点灯させる。
【００３３】
位置検出部５０は、指示体７０、８０によるスクリーンＳＣへの操作を検出する。位置検出部５０は、撮像部５１、送信部５２、撮影制御部５３、指示体検出部５４及び座標算出部５５の各部を備えて構成される。
【００３４】
撮像部５１は、撮像光学系、撮像素子、インターフェイス回路等を有し、投射光学系２３の投射方向を撮影する。撮像部５１の撮像光学系は、投射光学系２３と略同じ方向を向いて配置され、投射光学系２３がスクリーンＳＣ上に画像を投射する範囲をカバーする画角を有する。また、撮像素子は、赤外領域及び可視光領域の光を受光するＣＣＤやＣＭＯＳが挙げられる。撮像部５１は、撮像素子に入射する光の一部を遮るフィルターを備えてもよく、例えば、赤外光を受光させる場合に、主に赤外領域の光を透過するフィルターを撮像素子の前に配置させてもよい。また、撮像部５１のインターフェイス回路は、撮像素子の検出値を読み出して出力する。
【００３５】
撮影制御部５３は、撮像部５１により撮影を実行させて撮影画像データを生成する。撮像素子が可視光による撮影を行うと、スクリーンＳＣ上に投射された画像が撮影される。また、撮影制御部５３は、撮像部５１により赤外光を撮影させることができ、この場合の撮影画像には指示体７０が発する赤外光（赤外線信号）や、指示体８０に反射した反射光が写る。
【００３６】
指示体検出部５４は、撮影制御部５３が撮像部５１に撮影させた撮影画像データに基づいて指示体７０、８０の指示位置を検出する。指示体検出部５４は、撮影制御部５３が撮像部５１によって赤外光の撮影を実行させた場合の撮影画像データから、指示体７０が発した赤外光の像と、指示体８０に反射した反射光の像との少なくとも一方を検出する。さらに、指示体検出部５４は、検出した像が、指示体７０が発した光の像であるのか、指示体８０の反射光の像であるのかを判別する。すなわち、指示体検出部５４は、操作指示が、指示体７０より行われたものであるのか、指示体８０により行われたものであるのかを判定する。指示体検出部５４による指示体７０、８０の判別方法については後述する。指示体検出部５４は、検出した像が、指示体７０の像であるのか、指示体８０の反射光の像であるのかを示す種類情報を生成して、座標算出部５５に渡す。また、指示体検出部５４は、指示体７０の備える操作スイッチ７５の操作状態を、撮影画像データから判定する。指示体７０は、指示体７０の備える操作スイッチ７５の操作状態に応じて、指示体７０の点灯パターンを切り替える。指示体検出部５４は、複数の撮影画像データに基づいて、指示体７０の点灯パターンを判定し、操作スイッチ７５の操作状態を判定する。指示体検出部５４は、判定した操作状態を示すデータを座標算出部５５に渡す。
【００３７】
座標算出部５５は、指示体検出部５４が検出した像の位置に基づき、撮影画像データにおける指示体７０、８０の指示位置の座標値を算出して、制御部３０に出力する。また、座標算出部５５は、投射部２０が投射した投射画像における指示体７０、８０の指示位置の座標値を算出して、制御部３０に出力してもよい。さらに、座標算出部５５は、画像処理部４０がフレームメモリー４４に描画した画像データにおける指示体７０、８０の指示位置の座標や、画像Ｉ／Ｆ部１２の入力画像データにおける指示体７０、８０の指示位置の座標を算出してもよい。座標算出部５５は、指示体検出部５４から入力した種類情報を、算出した指示位置の座標値とともに制御部３０に出力する。また、座標算出部５５は、指示体検出部５４から操作スイッチ７５の操作状態を示すデータを入力した場合には、この操作状態を示すデータを制御部３０に出力する。
【００３８】
送信部５２は、指示体検出部５４の制御に従って、指示体７０に対して赤外線信号を送信する。送信部５２は、赤外ＬＥＤ等の光源を有し、この光源を指示体検出部５４の制御に従って点灯及び消灯させる。
【００３９】
また、指示体７０は、制御部７３、送受信部７４、操作スイッチ７５及び電源部７６を備え、これらの各部は軸部７２（図１）に収容される。制御部７３は、送受信部７４及び操作スイッチ７５に接続され、操作スイッチ７５の状態（オン又はオフ）を検出する。送受信部７４は、赤外ＬＥＤ等の光源と、赤外光を受光する受光素子とを備え、制御部７３の制御に従って光源を点灯及び消灯させるとともに、受光素子の受光状態を示す信号を制御部７３に出力する。
電源部７６は、電源として乾電池又は二次電池を有し、制御部７３、送受信部７４及び操作スイッチ７５の各部に電力を供給する。
指示体７０は、電源部７６からの電源供給をオン又はオフする電源スイッチを備えていてもよい。
【００４０】
ここで、位置検出部５０と指示体７０との相互の通信により、撮像部５１の撮影画像データから指示体７０を特定する方法について説明する。
制御部３０は、指示体７０による位置指示操作を検出する場合に、指示体検出部５４を制御して、送信部５２から同期用の信号を送信させる。すなわち、指示体検出部５４は、制御部３０の制御に従って、送信部５２の光源を所定の周期で点灯させる。送信部５２が周期的に発する赤外光が、位置検出部５０と指示体７０とを同期させる同期信号として機能する。
一方、制御部７３は、電源部７６から電源の供給が開始され、所定の初期化動作を行った後、プロジェクター１０の送信部５２が発する赤外光を、送受信部７４により受光する。送信部５２が周期的に発する赤外光を送受信部７４により受光すると、制御部７３は、この赤外光のタイミングに同期させて、予め設定された点灯パターンで、送受信部７４の光源を点灯（発光）させる。この点灯のパターンは、光源の点灯と消灯をデータのオンとオフに対応させた、指示体７０に固有のデータを表す。制御部７３は設定されたパターンの点灯時間及び消灯時間に従って光源を点灯及び消灯させる。制御部７３は、電源部７６から電源が供給されている間、上記のパターンを繰り返し実行する。
つまり、位置検出部５０は指示体７０に対し、同期用の赤外線信号を周期的に送信し、指示体７０は、位置検出部５０が送信する赤外線信号に同期して、予め設定された赤外線信号を送信する。
【００４１】
位置検出部５０の撮影制御部５３は、撮像部５１による撮影タイミングを、指示体７０が点灯するタイミングに合わせる制御を行う。この撮影タイミングは、指示体検出部５４が送信部５２を点灯させるタイミングに基づいて決定される。指示体検出部５４は、撮像部５１の撮影画像データに指示体７０の光の像が写っているか否かにより、指示体７０が点灯するパターンを特定できる。
指示体７０が点灯するパターンは、指示体７０の個体毎に固有のパターン、又は複数の指示体７０に共通のパターンと個体毎に固有のパターンとを含むものとすることができる。この場合、指示体検出部５４は、撮影画像データに複数の指示体７０が発する赤外光の像が含まれる場合に、各々の像を、異なる指示体７０の像として区別できる。
【００４２】
また、制御部３０は、出射装置駆動部４８を制御して、光源部６１の点灯のタイミングを撮像部５１の撮影のタイミングに同期させる。光源部６１が、撮像部５１の撮影タイミングに合わせてパルス点灯すると、指示体８０がスクリーンＳＣ上を指し示す場合には、撮像部５１の撮影画像に指示体８０の反射光が写る。光源部６１を、指示体７０の点灯のタイミングと区別できるパターンで点灯させれば、指示体検出部５４は、撮影画像データに写る像が指示体７０であるのか指示体８０であるのかを判定できる。光源部６１の点灯のタイミングについては、図３を参照して後述する。
【００４３】
さらに、指示体７０が備える制御部７３は、操作スイッチ７５の操作状態に応じて、送受信部７４を点灯させるパターンを切り替える。このため、指示体検出部５４は、複数の撮影画像データに基づいて、指示体７０の操作状態、すなわち先端部７１がスクリーンＳＣに押しつけられているか否かを判定できる。指示体検出部５４は、操作スイッチ７５の操作状態を示すデータを、座標算出部５５を介して制御部３０に出力する。
【００４４】
姿勢センサー４７は、加速度センサーやジャイロセンサー等により構成され、制御部３０に対して検出値を出力する。姿勢センサー４７はプロジェクター１０の本体に対して、プロジェクター１０の設置方向を識別可能なように固定される。
プロジェクター１０は、図１に示したように壁面や天井面から吊り下げる吊り下げ設置の他に、スクリーンＳＣの下方から投射を行う設置状態、机の天面などの水平面をスクリーンＳＣとして使用する設置状態等で使用できる。プロジェクター１０の設置状態によっては光出射装置６０の使用に適さないことがある。例えば、プロジェクター１０及び光出射装置６０がスクリーンＳＣの下方に設置され、下方からスクリーンＳＣに投射を行う場合、ユーザーの体が光出射装置６０の出射光を遮ってしまうことがあり、不適である。姿勢センサー４７は、プロジェクター１０の設置状態として想定される複数の設置状態を識別できるように、プロジェクター１０の本体に設けられる。姿勢センサー４７は、例えば、２軸のジャイロセンサー、１軸のジャイロセンサー、加速度センサー等を用いて構成される。制御部３０は、姿勢センサー４７の出力値に基づきプロジェクター１０の設置状態を自動的に判定できる。制御部３０が、光出射装置６０の使用に不適な設置状態と判定した場合には、例えば、出射装置駆動部４８が電源電圧やパルス信号の出力を停止する。
【００４５】
制御部３０は、記憶部１１０に記憶された制御プログラム１１１を読み出して実行することにより、投射制御部３１、検出制御部３２、出射制御部３３及びキャリブレーション制御部３４の機能を実現し、プロジェクター１０の各部を制御する。
投射制御部３１は、操作検出部１７から入力される操作データに基づいて、ユーザーが行った操作の内容を取得する。投射制御部３１は、ユーザーが行った操作に応じて画像処理部４０、光源駆動部４５及び光変調装置駆動部４６を制御して、スクリーンＳＣに画像を投射させる。投射制御部３１は、画像処理部４０を制御して、上述した３Ｄ（立体）画像と２Ｄ（平面）画像の判別処理、解像度変換処理、フレームレート変換処理、歪み補正処理、デジタルズーム処理、色調補正処理、輝度補正処理等を実行させる。また、投射制御部３１は、画像処理部４０の処理に合わせて光源駆動部４５を制御し、光源部２１の光量を制御する。
また、投射制御部３１は、位置検出部５０により検出された指示位置の座標値を、記憶部１１０に記憶された第１基準変動量１１５又は第２基準変動量１１６を用いて補正する。
【００４６】
検出制御部３２は、位置検出部５０を制御して、指示体７０、８０の指示位置の検出を実行させる。検出制御部３２は、位置検出部５０から指示位置の座標値と、ユーザーが操作指示に用いた指示体７０、８０の種類を示す種類情報とを取得する。また、検出制御部３２は、指示体７０による操作指示が行われた場合には、操作スイッチ７５の操作状態を示すデータを位置検出部５０から取得する。検出制御部３２は、取得した座標値と種類情報とを用いて、座標値を補正する補正処理を実行する。また、検出制御部３２は、補正処理により補正した座標値と、操作スイッチ７５の操作状態を示すデータとに基づいて、予め設定された処理を実行する。例えば、画像処理部４０が、取得した座標に基づいて図形を描画し、描画した図形を画像Ｉ／Ｆ部１２に入力される入力画像に重畳して投射する処理を行う。また、検出制御部３２は、取得した座標をＩ／Ｆ部１１に接続されたＰＣ等の外部の装置に出力してもよい。この場合、検出制御部３２は、取得した座標を、Ｉ／Ｆ部１１に接続された外部の装置のオペレーティングシステムにおいて、座標入力デバイスの入力として認識されるデータフォーマットに変換して出力してもよい。例えば、Ｉ／Ｆ部１１にＷｉｎｄｏｗｓ（登録商標）オペレーティングシステムで動作するＰＣが接続された場合、オペレーティングシステムにおいてＨＩＤ（Human Interface Device）の入力データとして処理されるデータを出力する。また、検出制御部３２は、座標のデータとともに、指示体７０の操作位置であるか指示体８０の操作位置であるかを識別するデータ及び操作スイッチ７５の操作状態を示すデータを出力してもよい。
【００４７】
また、検出制御部３２は、指示体８０を使用した位置検出を制御する。具体的には、検出制御部３２は、光出射装置６０の接続の有無に基づき、光出射装置６０を使用できるか否かを判定する。検出制御部３２は、光出射装置６０を使用できない場合に、光出射装置６０の使用を不可とする設定を行う。ここで、検出制御部３２は、光出射装置６０を使用できないことを報知してもよい。
【００４８】
出射制御部３３は、出射装置駆動部４８を制御して、接続部４９に接続された光出射装置６０に対する電源及びパルス信号の出力を実行又は停止させる。出射制御部３３は、検出制御部３２の制御により、光出射装置６０を使用できない又は使用しない場合に、出射装置駆動部４８の電源及びパルス信号の出力を停止させる。また、光出射装置６０を使用する場合、出射制御部３３は出射装置駆動部４８の電源及びパルス信号を出力させる。
【００４９】
キャリブレーション制御部３４は、キャリブレーションを実行する。キャリブレーションとは、スクリーンＳＣに投射した投写画像と、撮像部５１で撮影した撮像画像データとの位置の対応付けを行うための処理である。キャリブレーション制御部３４は、指示体７０又は８０の指示位置に関するキャリブレーションとして、オートキャリブレーションとマニュアルキャリブレーションとを実行できる。オートキャリブレーションは、スクリーンＳＣに、オートキャリブレーション用の画像を投射して、撮像部５１で撮影し、撮影画像データを用いて第１キャリブレーションデータ１１７を生成する処理である。オートキャリブレーション用の画像には、複数のマークが表示されている。キャリブレーション制御部３４は、撮影画像データから検出されたマークと、フレームメモリー４４に描画された投射画像、すなわちオートキャリブレーション用の画像のマークとを対応付けて、第１キャリブレーションデータ１１７を生成する。
また、キャリブレーション制御部３４は、マニュアルキャリブレーションを実行する場合には、スクリーンＳＣに、マニュアルキャリブレーション用の画像を投射する。マニュアルキャリブレーション用の画像にも複数のマークが表示されている。キャリブレーション制御部３４は、投射した画像に対する指示体７０又は８０の操作を検出して、第２キャリブレーションデータ１１８を生成する。すなわち、キャリブレーション制御部３４は、撮影画像データで検出した指示位置の座標値と、投写画像上のマークの座標値とを対応付けることにより、第２キャリブレーションデータ１１８を作成する。
【００５０】
ここで、図３を参照しながら指示体検出部５４による指示体７０、８０の判別方法について説明する。
本実施形態のプロジェクションシステム１は、指示体７０の発した光の像と、光出射装置６０の出力する光の指示体８０での反射光の像との少なくとも一方を撮像部５１で撮影して、指示体７０、８０の指示位置を特定する。本実施形態のプロジェクションシステムは、指示体７０の発した光の像と、指示体８０での反射光の像とを区別するため、所定の発光シーケンスで、指示体７０と、光出射装置６０とを点灯させる。本実施形態のプロジェクションシステム１の発光シーケンスは、第１フェーズから第４フェーズまでの４つのフェーズで構成され、これら第１フェーズから第４フェーズを順に繰り返す。本実施形態では、第１〜第４フェーズの長さは同一の時間に設定されている。また、送信部５２の１回の発光時間は１フェーズの１／４、指示体７０の１回の発光時間は１フェーズの１／８、光出射装置６０の１回の発光時間は１フェーズ分に設定されているが、これはあくまで一例である。
【００５１】
第１フェーズは、同期フェーズである。第１フェーズでは、プロジェクター１０の送信部５２が発光して、同期用の赤外線信号を送信する。指示体７０の制御部７３は、同期用の赤外線信号を送受信部７４で検出し、第１フェーズの開始タイミングを認識する。
第２フェーズは、位置検出のフェーズであり、光出射装置６０の光源部６１と、指示体７０の送受信部７４とが点灯する。プロジェクター１０は、光出射装置６０と指示体７０の発光タイミングに合わせて、撮像部５１により撮影範囲を撮影する。例えば、第２フェーズで指示体７０が発光するタイミングで撮像部５１が撮影を行うと、指示体７０の発光と、指示体８０で反射した検出光とが撮影画像に写る。また、指示体７０が発光しないタイミングで撮像部５１が撮影を行えば、撮影画像には指示体８０の反射光が写る。
【００５２】
撮像部５１の撮影タイミング及び撮影間隔は予め設定されていて、１フェーズあたりの撮影回数は１回でもよいし複数回であってもよい。図３のように指示体７０が１フェーズあたり１回発光する場合は、少なくとも、各フェーズで指示体７０が発光するタイミングで撮影することが望ましい。また、撮像部５１の撮影タイミングと各部の発光タイミングの調整方法は任意である。一般に、撮像部５１の撮影タイミング及び撮影間隔を可変とすることは容易でないことが多いので、出射制御部３３が、送信部５２の発光のタイミングを、撮像部５１の撮影タイミングを考慮して調整するとよい。
【００５３】
第３フェーズは、指示体判定のフェーズである。第３フェーズでは指示体７０が発光する一方、光出射装置６０は発光しない。このため第３フェーズで撮像部５１が撮影する撮影画像には、指示体７０が発する光の像が写り、指示体８０の反射光は写らない。
第４フェーズは、第２フェーズと同様の位置検出のフェーズであり、光出射装置６０の光源部６１と、指示体７０の送受信部７４とが点灯する。
従って、第３フェーズの撮影画像と、第２フェーズ及び第４フェーズの撮影画像とを比較することで、検出制御部３２は、第２フェーズ及び第４フェーズの撮影画像に写る光の像が、指示体７０の光の像か指示体８０の反射光の像かを識別できる。各フェーズの時間が十分に短い場合には、連続する第２、第３及び第４フェーズの撮影画像に写る像の位置が近くなる。このため、指示体７０の光と指示体８０の反射光の識別は容易である。
【００５４】
さらに、プロジェクションシステム１で複数の指示体７０を使用する場合に、各々の指示体７０の発光を、撮像部５１の撮影画像において識別することも可能である。すなわち、予め各々の指示体７０に対し異なる発光タイミングを設定すればよい。具体的には、第３フェーズで発光するか否かを指示体７０毎に設定すればよい。例えば、１番の指示体７０には、第１〜第４フェーズを４回実行する間に、第３フェーズの発光又は非発光を「１０００」（１は発光を示し、０は非発光を示す）と設定する。２番の指示体７０には、第１〜第４フェーズを４回実行する間の第３フェーズの発光又は非発光を「１０１０」と設定する。この場合、第１〜第４フェーズを４回実行する間に撮影される、４枚の第３フェーズの撮影画像を比較することで、１番の指示体７０と２番の指示体７０とを識別できる。
【００５５】
次に、図４を参照しながら指示体７０、８０の指示位置の検出方法について説明する。図４（Ａ）に、指示体７０の指示位置を検出する様子を示し、図４（Ｂ）に、指示体８０の指示位置を検出する様子を示す。
撮像部５１がスクリーンＳＣを撮影する撮影方向を符号ＰＡで示す。指示体７０の位置検出を行う場合、送受信部７４は、指示体７０の先端の発光位置７０ａから赤外光を出射する。発光位置７０ａは、指示体７０がスクリーンＳＣに接する接触点７０ｂに非常に近い。このため、撮影方向ＰＡから撮影した撮影画像データから指示体７０が発する光の像を検出する場合、この像の位置を、接触点７０ｂの位置とみなすことができる。
【００５６】
これに対し、図４（Ｂ）に示すように指示体８０の指示位置を検出する場合には、検出光Ｌが指示体８０で反射した反射光を検出する。すなわち、撮影方向ＰＡから撮影される撮影画像データから、検出光Ｌの反射光の像が検出される。検出光Ｌの出射方向はスクリーンＳＣとほぼ平行であり、検出光ＬはスクリーンＳＣから所定の距離（以下、距離Ｇ１とする）だけ離れている。距離Ｇ１はスクリーンＳＣに対する光出射装置６０の取付位置により変化するが、構造上、距離Ｇ１をゼロにすることは困難である。このため、撮影方向ＰＡから撮影した撮影画像データには、指示体８０の先端において、スクリーンＳＣから距離Ｇ１だけ離れた反射位置８０ａで反射した反射光の像が写る。図４（Ｂ）に示すように、反射位置８０ａは、撮影方向ＰＡに対して斜めの方向に離れている。このため、撮影画像データに写る反射光の像の位置は、撮影方向ＰＡにおいて、より離れた位置を指示体７０で指示した場合の像と同じ位置になる。つまり、指示体８０が接触点８０ｂでスクリーンＳＣに接触した場合の反射光と、指示体７０が接触点７０ｂでスクリーンＳＣに接触した場合の光とが、撮像部５１の撮影画像データでは同じ位置に写る。このため、指示体８０が指し示す接触点８０ｂは、撮影方向ＰＡにおいて撮像部５１から離れた接触点７０ｂとして検出され、距離Ｇ２のずれを生じる。
距離Ｇ２のずれは、撮像部５１が、スクリーンＳＣから離れた位置から斜めに撮影を行うことに起因する。例えば、図４（Ａ）、（Ｂ）に示す撮影方向ＰＡと指示体７０、８０との位置関係は、上下方向に限らず、水平方向においても同様に発生する。本実施形態では、図１に示したようにスクリーンＳＣの上方に位置するプロジェクター１０の本体に設けられた１つの撮像部５１が、スクリーンＳＣを俯瞰して撮影するため、上下及び水平の両方向において距離Ｇ２のずれが発生する。
【００５７】
また、図５に示すように、スクリーンＳＣが、鉛直方向に対して傾いて設置されると、光出射装置６０の出射する検出光ＬとスクリーンＳＣとの距離が、光出射装置６０からの距離に応じて異なる。すなわち、赤外光である検出光Ｌは直進性が高いため、スクリーンＳＣが傾いて設置された場合、指示位置により検出光ＬとスクリーンＳＣとの距離が異なる場合がある。このため、指示体８０によって示されたスクリーンＳＣ上の位置によって、撮像部５１の撮影画像データから検出される指示位置の誤差が異なることになる。
例えば、図５において、スクリーンＳＣ上の位置８０ｃが指し示された場合、この位置８０ｃは、撮影方向ＰＡにおいて撮像部５１から離れた位置７０ｃとして検出され、距離Ｇ３のずれを生じる。また、スクリーンＳＣ上の位置８０ｄが指し示された場合、この位置８０ｄは、撮影方向ＰＡにおいて撮像部５１から離れた位置７０ｄとして検出され、距離Ｇ４のずれを生じる。図５に示すように、光出射装置６０から離れるに従って検出光ＬとスクリーンＳＣとの距離が大きくなる場合、距離Ｇ３と距離Ｇ４とを比較すると明らかなように、ユーザーの指し示すスクリーンＳＣ上の位置が光出射装置６０から離れるに従って、撮像部５１の撮影画像データから検出される指示位置の誤差が大きくなる。
また、スクリーンＳＣが、鉛直方向に対して傾いて設置されていなくても、指示体７０、８０によってスクリーンＳＣが押され、スクリーンＳＣが鉛直方向に対して傾いた状態で撮像部５１により撮影される場合がある。このような場合、スクリーンＳＣが、鉛直方向に対して傾いて設置された場合と同様に、指示体７０、８０によって示されたスクリーンＳＣ上の位置と、撮像部５１の撮影画像データから検出される指示位置とに誤差が生じてしまう。すなわち、撮像部５１の撮影画像データから検出される指示位置が変動することとなる。
【００５８】
また、ユーザーの操作特性や、撮像部５１の撮影タイミングによっても検出される指示位置にずれが生じる場合がある。
例えば、指示体８０をスクリーンＳＣに接触させることなく指示位置を指し示した場合（図６（Ａ）参照）と、指示体８０をスクリーンＳＣに接触させて指示位置を指し示した場合（図６（Ｂ）参照）とでは、検出光Ｌが当たる指示体８０の位置が異なる。このため、撮像部５１の撮影画像データにより検出される指示位置にもずれが生じる。なお、図６（Ａ）及び（Ｂ）に示す位置ａが指示体８０によりユーザーが実際に指示したスクリーンＳＣ上の位置を示し、位置ｂが撮像部５１の撮影画像データにより検出されるスクリーンＳＣ上の位置を示す。
また、撮像部５１の撮影タイミングによっても同様のことが起こる。例えば、撮像部５１の撮影タイミングが、図６（Ａ）に示す指示体８０がスクリーンＳＣに接触していないタイミングである場合と、図６（Ｂ）に示す指示体８０がスクリーンＳＣに接触しているタイミングである場合とでは、検出される指示位置にずれが生じる。
【００５９】
このような指示位置の変動を補正するため、プロジェクター１０は、例えば、図７（Ａ）に示す基準変動量算出用画像１１４をスクリーンＳＣに投射して、基準変動量算出用画像１１４上の各位置において検出される指示位置の基準変動量を算出する。基準変動量算出用画像１１４は、所定のマーク（本実施形態ではＡ〜Ｆの文字）が複数表示された画像である。制御部３０は、この基準変動量算出用画像１１４をスクリーンＳＣに表示することにより、マークが表示された複数のマーク位置で指示体７０と指示体８０との少なくとも一方による押圧操作をユーザーに行わせる。
ユーザーは、指示を行う指示体７０又は８０を操作パネル１９により入力した後に、マークが表示された各マーク位置を選択した指示体７０又は８０により、例えば、２秒間ずつ押圧する。ユーザーの押圧操作は、撮像部５１によってマーク位置ごとに複数回撮像される。位置検出部５０は、指示体７０が選択されている場合には、撮像部５１が撮像した各撮像画像内で指示体７０が発光した位置の座標値をそれぞれに算出する。また、位置検出部５０は、指示体８０が選択されている場合には、撮像部５１が撮影した各撮影画像内において、指示体８０で反射した反射光の位置の座標値をそれぞれに算出する。位置検出部５０は、マーク位置ごとに算出した複数の座標値を制御部３０に出力する。制御部３０の検出制御部３２は、ユーザーにより入力された指示体７０又は８０の種類情報と、マーク位置ごとに複数取得した座標値とを用いて、各マーク位置における座標値の基準変動量を算出する。基準変動量は、指示体７０と指示体８０とでそれぞれ別々に生成される。マーク位置における基準変動量は、例えば、複数回撮影した撮影画像データからそれぞれに算出した座標値のＸ座標とＹ座標値とをそれぞれに比較して求める。例えば、検出制御部３２は、同一のマーク位置で検出した複数の座標値のＸ座標値とＹ座標値との最大値と最小値とをそれぞれに求める。なお、Ｘ座標、Ｙ座標は、座標算出部５５が算出した、撮影画像データにおける指示体７０、８０の指示位置の座標値であるが、投射画像における指示位置の座標値としてもよい。また、Ｘ座標、Ｙ座標は、フレームメモリー４４に描画した画像データにおける指示位置の座標値としてもよい。検出制御部３２は、求めたＸ座標値の最大値と最小値との差と、Ｙ座標値の最大値と最小値との差を該当のマーク位置における基準変動量として算出する。
また、検出制御部３２は、基準変動量を算出すると、算出した基準変動量を記憶部１１０に記憶させる。検出制御部３２は、指示体７０が選択されている場合には、検出した指示体７０の基準変動量を第１基準変動量１１５として記憶部１１０に記憶させる。また、検出制御部３２は、指示体８０が選択されている場合には、指示体８０の基準変動量を第２基準変動量１１６として記憶部１１０に記憶させる。さらに、検出制御部３２は、算出した各マーク位置における基準変動量を、このマークを含む領域の基準変動量として記憶部１１０に記憶させる。例えば、図７（Ａ）に示す基準変動量算出用画像１１４では、Ａ〜Ｆの６カ所の基準変動量が求められている。検出制御部３２は、例えば、撮影画像データを図７（Ｂ）に示すように９分割して、９分割した各領域に含まれるマークの基準変動量を、当該領域の基準変動量として記憶部１１０に記憶させる。例えば、検出制御部３２は、図７（Ａ）に示すマーク位置Ａの基準変動量は、図７（Ｂ）に示す第１領域の基準変動量として記憶部１１０に記憶させる。同様に、検出制御部３２は、図７（Ａ）に示すマーク位置Ｂ，Ｃ、Ｄ、Ｅ，Ｆの基準変動量は、図７（Ｂ）に示す第２領域、第３領域、第４領域、第５領域、第６領域の基準変動量として記憶部１１０に記憶させる。
また、検出制御部３２は、マークが存在しない撮影画像データの領域の基準変動量を、この領域に近接する領域の基準変動量を用いた補間処理により求める。例えば、図７（Ｂ）に示す例では、撮影画像データの中央領域である第７、８、９領域にはマークが含まれていない。このため、検出制御部３２は、第７領域に近接する領域である、第１領域と第２領域との基準変動量の平均値を求め、求めた平均値を第７領域の基準変動量として記憶部１１０に記憶させる。また、検出制御部３２は、第８領域、第９領域についても同様に基準変動量を求め、求めた基準変動量を記憶部１１０に記憶させる。
【００６０】
次に、図８に示すフローチャートを参照しながら基準変動量の算出手順を説明する。なお、本処理は、キャリブレーション制御部３４が行うマニュアルキャリブレーションとともに実行してもよいし、マニュアルキャリブレーション又はオートキャリブレーションの実行後に行ってもよい。
まず、制御部３０の投射制御部３１は、基準変動量を算出する指示体７０、８０を選択する選択画面を表示部１６に表示させる（ステップＳ１）。指示体７０、８０の選択入力を、操作パネル１９により受け付けた場合、又はリモコンの操作入力をリモコン受光部１８で受光した場合（ステップＳ２；ＹＥＳ）、投射制御部３１は、基準変動量算出用画像１１４をスクリーンＳＣに投射する（ステップＳ３）。基準変動量算出用画像１１４には、指示体７０又は８０による指示位置を指定する複数のマークが表示されている。制御部３０の検出制御部３２は、基準変動量算出用画像１１４がスクリーンＳＣに投射されると、撮影制御部５３に撮影を開始させる指示を出力する。
【００６１】
位置検出部５０の撮影制御部５３は、撮像部５１に、スクリーンＳＣを含む領域である検出領域を撮影させ、撮像部５１の撮影した撮影画像データを入力する（ステップＳ４）。撮影制御部５３は、入力した撮影画像データを指示体検出部５４に渡す。指示体検出部５４は、撮影制御部５３が撮影した撮影画像データから指示体７０が発した赤外光の像、又は指示体８０に反射した反射光の像を検出する。座標算出部５５は、指示体検出部５４が検出した像の位置に基づき、撮影画像データにおける指示体７０又は８０の指示位置の座標値を算出し、算出した座標値を制御部３０に出力する。また、指示体検出部５４は、撮影画像データから、指示体７０が発した赤外光の像又は指示体８０に反射した反射光の像を検出することができなかった場合には、エラー通知を座標算出部５５に通知する。座標算出部５５は、指示体検出部５４から入力したエラー通知を制御部３０に出力する。
【００６２】
制御部３０の検出制御部３２は、座標算出部５５から所定回連続して座標値を入力した場合には、２秒以上の接触を検出したと判定して（ステップＳ５；ＹＥＳ）、該当マークの表示を「検出済み」に変更する（ステップＳ６）。また、検出制御部３２は、位置検出部５０からエラー通知を入力した場合等、所定回連続して座標値を入力することができなかった場合には、撮影制御部５３に撮影を開始させる指示を出力する。
次に、検出制御部３２は、座標値を入力したマーク位置における基準変動量を算出する（ステップＳ７）。例えば、検出制御部３２は、座標算出部５５から所定回連続して入力する座標値のＸ座標、Ｙ座標それぞれの最大値、最小値を求め、求めた最大値と最小値との差を、該当のマーク位置における基準変動量として算出する。なお、座標値の基準変動量が±５ピクセルの場合には、座標値に変動が生じていないと判定するようにしてもよい。検出制御部３２は、当該マーク位置における基準変動量を算出すると、算出したマーク位置の基準変動量と、基準変動量を算出した指示体７０又は８０の種類情報とを対応付けて記憶部１１０に記憶させる（ステップＳ８）。なお、検出制御部３２は、算出したマーク位置における基準変動量を、このマークを含む領域の基準変動量として記憶部１１０に記憶させる。例えば、図７（Ａ）に示すマーク位置Ａの基準変動量である場合、検出制御部３２は、図７（Ｂ）に示す第１領域の基準変動量として記憶部１１０に記憶させる。
次に、検出制御部３２は、全てのマーク位置で基準変動量を算出したか否かを判定する（ステップＳ９）。全てのマーク位置での基準変動量を算出していないと判定すると（ステップＳ９；ＮＯ）、検出制御部３２は、ステップＳ４に戻り、撮影制御部５３に撮影を開始させる指示を出力する。また、全てのマーク位置での補正値を算出済みであると判定すると（ステップＳ９；ＹＥＳ）、検出制御部３２は、補間処理により、マークを含む領域以外の領域の基準変動量を算出する（ステップＳ１０）。検出制御部３２は、算出した基準変動量を記憶部１１０に記憶させる。
【００６３】
次に、図９に示すフローチャートを参照しながら指示体７０、８０により指示された座標値を補正する処理の詳細について説明する。
例えば、画像Ｉ／Ｆ１２を介して入力した画像データに基づく画像がスクリーンＳＣに投射されると、撮影制御部５３は、制御部３０の制御により撮像部５１に検出領域を撮影させる。位置検出部５０は、撮像部５１で撮影された撮影画像データから、指示体７０が発した赤外光の像、又は指示体８０に反射した反射光の像を検出して指示体７０又は８０による指示位置の座標値を算出する。また、位置検出部５０は、指示体７０と光出射装置６０との発光タイミングに基づいて、検出した像が、指示体７０が発した赤外光の像であるのか、指示体８０に反射した反射光の像であるのかを判定する。位置検出部５０は、検出した座標値と、使用された指示体７０又は８０の種類を示す種類情報とを制御部３０に出力する。
まず、投射制御部３１は、位置検出部５０から座標値（以下、入力座標値という）と、操作に使用された指示体７０又は８０の種類情報とを入力したか否かを判定する（ステップＳ１１）。投射制御部３１は、種類情報と入力座標値とを入力すると（ステップＳ１１；ＹＥＳ）、種類情報に基づいて、操作指示が指示体７０によるものであるのか、指示体８０によるものであるのかを判定する（ステップＳ１２）。投射制御部３１は、指示体７０による操作であると判定する場合には、入力座標値を含む領域に設定された第１基準変動量を記憶部１１０から取得する（ステップＳ１３）。また、制御部３０の投射制御部３１は、指示体８０による操作であると判定する場合には、入力した座標値を含む領域に設定された第２基準変動量を記憶部１１０から取得する（ステップＳ１３）。投射制御部３１は、第１基準変動量又は第２基準変動量を取得すると、取得した基準変動量により位置検出部５０から入力した座標値を補正する（ステップＳ１４）。投射制御部３１は、補正後の座標値を画像処理部４０に渡す（ステップＳ１５）。例えば、投射制御部３１は、前回の入力座標と、今回の入力座標との座標値の差を算出する。そして、投射制御部３１は、算出した座標値の差が、記憶部１１０から取得した第１基準変動量又は第２基準変動量の範囲内にあるか否かを判定する。算出した座標値の差が、取得した第１基準変動量又は第２基準変動量の範囲内にある場合、投射制御部３１は、座標値の変化（変動）はないものと判定し、前回の入力座標値をそのまま画像処理部４０に渡す。言い換えれば、投射制御部３１は、今回の入力座標値に対して、前回の入力座標値からの変化を補償する補正（変化を０にする補正）を行って画像処理部４０に渡す。また、算出した座標値の差が、取得した第１基準変動量又は第２基準変動量の範囲内にない場合、投射制御部３１は、座標値が変化したと判定し、今回の入力座標値を画像処理部４０に渡す。画像処理部４０は、投射制御部３１から取得した座標値に基づいて図形を描画させ、描画した図形を画像Ｉ／Ｆ部１２に入力される入力画像に重畳して投射させる。
【００６４】
以上説明したように本実施形態は、撮像部５１の撮影画像データから、指示体７０又は８０の像を検出すると、指示体検出部５４が操作に使用された指示体が指示体７０であるのか、指示体８０であるのかを判断する。そして、指示体検出部５４により判定した指示体７０、８０の種類、及び指示位置に応じた基準変動量を記憶部１１０から取得して、座標算出部５５が検出した指示位置を投射制御部３１で補正する。従って、使用する指示体７０、８０によらずに適切な指示を検出することができる。このため指示体７０又は８０によるタッチ、リリース、ドラッグ等の操作の反応性の低下を抑制することができる。
【００６５】
本発明を適用した実施形態のプロジェクター１０は、座標算出部５５、記憶部１１０、投射制御部３１を備えている。座標算出部５５は、指示体７０、８０の指示位置を検出する。記憶部１１０は、座標算出部５５が検出した指示位置の変動に関する基準変動量を記憶する。投射制御部３１は、基準変動量を記憶部１１０から取得し、座標算出部５５が検出した指示位置を、取得した基準変動量に基づいて補正する。また、投射制御部３１は、指示位置を補正する際に、指示位置に応じて異なる基準変動量を用いる。従って、指示位置の補正を、指示体７０、８０の指示位置に応じた基準変動量を用いて行うことができる。このため、指示位置によらずに位置検出の精度を向上させることができる。
【００６６】
また、投射制御部３１は、指示位置の変動が基準変動量の範囲内の場合に、変動を補償する補正を行う。すなわち、投射制御部３１は、前回の入力座標値からの変化を補償する補正（変化を０にする補正）を行う。このため、指示位置に変動がないことを検出することができる。
【００６７】
また、記憶部１１０は、指示位置に応じた複数の基準変動量を記憶している。投射制御部３１は、座標算出部５５が検出した指示位置に応じた基準変動量を記憶部１１０から取得して、座標算出部５５が検出した指示位置を、取得した基準変動量に基づいて補正する。従って、指示位置ごとに適切な基準変動量を用いて指示位置を補正することができる。
【００６８】
また、投射制御部３１は、記憶部１１０の記憶する基準変動量を指示位置に応じて調整し、指示体検出部５４が検出した指示位置を、調整後の基準変動量に基づいて補正する。従って、指示位置の補正精度を高めることができる。
【００６９】
また、検出制御部３２は、指示体検出部５４が検出した指示位置の変動に基づいて基準変動量を算出し、記憶部１１０に、算出した基準変動量を記憶させる。従って、指示体検出部５４が検出した指示位置の変動に基づいて基準変動量を算出し、記憶部に記憶させることができる。
【００７０】
また、検出制御部３２は、指示体７０、８０の指示位置が検出される検出領域を複数の領域に分割し、分割された領域ごとに基準変動量を算出する。投射制御部３１は、複数の領域のうち座標算出部５５が検出した指示位置を含む領域の基準変動量に基づいて指示位置を補正する。従って、複数の領域ごとに基準変動量が算出されるので、位置検出の精度を向上させることができる。
【００７１】
また、検出制御部３２は、分割された領域のうち一部の領域については、座標算出部５５が検出した指示位置の変動に基づいて基準変動量を算出し、他の領域については、一部の領域の基準変動量を用いた演算処理により基準変動量を算出する。従って、基準変動量を算出する領域を削減して、基準変動量の算出にかかる時間を短縮させることができる。
【００７２】
なお、上述した実施形態は本発明を適用した具体的態様の例に過ぎず、本発明を限定するものではなく、異なる態様として本発明を適用することも可能である。例えば、上記実施形態では、基準変動量を指示体７０、８０ごと及び領域ごとに記憶部１１０に記憶させておき、座標値を補正する際に、指示体７０、８０及び領域に応じた基準変動量を取得するようにしているが、この態様に限定されない。例えば、指示体７０、８０ごとに１つの基準変動量を記憶させておくとともに、領域ごとに調整量（例えば、基準変動量との差分）を記憶させておく。そして、座標値を補正する際に、指示体７０、８０に応じて取得した基準変動量を、領域に応じた調整量を用いて調整し、調整後の基準変動量を用いて補正する態様とすることも可能である。
また、上記実施形態では、基準変動量を算出する際に、座標値の最大値と最小値の差を基準変動量としているが、これに限定されない。例えば、座標値の最大値と最小値の差に所定の値を加えた値を基準変動量としてもよい。
また、上記実施形態では、基準変動量を算出する際に、基準変動量算出用画像１１４上の各マークに指示体７０、８０を所定の設定時間（２秒）以上接触させるようにしているが、設定時間は２秒に限定されず、それ以下であってもそれ以上であってもよい。
【００７３】
また、上記実施形態では、フロントプロジェクション型のプロジェクター１０から画像が投射（表示）されるスクリーンＳＣに対して、ユーザーが指示体７０、８０による指示操作を行う態様について説明したが、プロジェクター１０以外の表示装置が表示する表示画面に対して指示操作を行う態様であってもよい。プロジェクター１０以外の表示装置としては、リアプロジェクション（背面投射）型のプロジェクター、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等を用いることができる。また、表示装置としては、プラズマディスプレイ、ＣＲＴ（陰極線管）ディスプレイ、ＳＥＤ（Surface-conduction Electron-emitter Display）等を用いることができる。
【００７４】
また、指示体７０として、発光させないよう設定した指示体７０を用いてもよい。また、指示体は、ペン型の指示体７０やユーザーの手指である指示体８０に限定されず、レーザーポインターや指示棒等を用いてもよく、その形状やサイズは限定されない。また、基準変動量算出用画像１１４中のマークは、図７に示す文字に限定されるものではなく、他の文字や図形などであってもよい。
また、上記実施形態では、光出射装置６０はプロジェクター１０の本体とは別体で構成され、ケーブル６０ａで接続される構成を例示したが、本発明はこれに限定されない。例えば、光出射装置６０をプロジェクター１０の本体に一体に取り付けることも、プロジェクター１０の本体に内蔵する構成としてもよい。また、光出射装置６０が外部から電源の供給を受け、出射装置駆動部４８との間で無線通信回線により接続されてもよい。
また、上記実施形態では、プロジェクター１０から指示体７０に対し、送信部５２が発する赤外線信号を用いて指示体７０に同期用の信号を送信する構成を説明したが、同期用の信号は赤外線信号に限定されない。例えば、電波通信や超音波無線通信により同期用の信号を送信する構成としてもよい。この構成は、電波通信や超音波無線通信により信号を送信する送信部をプロジェクター１０に設け、同様の受信部を指示体７０に設けることで実現できる。
【００７５】
また、上記実施形態では、位置検出部５０は、撮像部５１によりスクリーンＳＣを撮影して指示体７０の位置を特定するものとしたが、本発明はこれに限定されない。例えば、撮像部５１は、プロジェクター１０の本体に設けられ、投射光学系２３の投射方向を撮影するものに限定されない。撮像部５１をプロジェクター１０本体とは別体として配置してもよいし、撮像部５１がスクリーンＳＣの側方や正面から撮影を行うものとしてもよい。さらに、複数の撮像部５１を配置し、これら複数の撮像部５１の撮影画像データに基づいて、検出制御部３２が指示体７０、８０の位置を検出してもよい。
【００７６】
また、上記実施形態では、光源が発した光を変調する光変調装置２２として、ＲＧＢの各色に対応した３枚の透過型の液晶パネルを用いた構成を例に挙げて説明したが、本発明はこれに限定されるものではない。例えば、３枚の反射型液晶パネルを用いた構成としてもよいし、１枚の液晶パネルとカラーホイールを組み合わせた方式を用いてもよい。或いは、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスとカラーホイールを組み合わせたＤＭＤ方式等により構成してもよい。光変調装置として１枚のみの液晶パネル又はＤＭＤを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネル及びＤＭＤ以外にも、光源が発した光を変調可能な光変調装置であれば問題なく採用できる。
また、図２に示したプロジェクションシステム１の各機能部は機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、プロジェクションシステム１の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。
【符号の説明】
【００７７】
１…プロジェクションシステム、１０…プロジェクター（位置検出装置）、２０…投射部、２１…光源部、２２…光変調装置、２３…投射光学系、３０…制御部、３１…投射制御部（補正部）、３２…検出制御部（算出部）、３３…出射制御部、３９…キャリブレーション制御部、４０…画像処理部、５０…位置検出部、５４…指示体検出部、５５…座標算出部（検出部）、６０…光出射装置（光出射部）、７０…指示体（第１指示体）、８０…指示体（第２指示体）、１１０…記憶部、ＳＣ…スクリーン（検出領域）。
【図１】
2015166923.tif 000003
【図２】
2015166923.tif 000004
【図３】
2015166923.tif 000005
【図４】
2015166923.tif 000006
【図５】
2015166923.tif 000007
【図６】
2015166923.tif 000008
【図７】
2015166923.tif 000009
【図８】
2015166923.tif 000010
【図９】
2015166923.tif 000011