(57)【要約】【課題】位置検出を検出する装置が複数のキャリブレーションを実行する場合に、適切な方法でキャリブレーションを行えるようにする。【解決手段】プロジェクター１０は、位置検出部５０およびキャリブレーション制御部３９を備える。キャリブレーション制御部３９は、スクリーンＳＣを操作する指示体７０の操作位置に関する第１のキャリブレーション、及び、スクリーンＳＣを操作する指示体８０の操作位置に関する第２のキャリブレーションを実行する。そして、キャリブレーション制御部３９は、第１のキャリブレーションが実行された後、第２のキャリブレーションを実行するか否かを指示するユーザーインターフェイスを提供する。【選択図】図２
2015158889.tif 000002
【特許請求の範囲】
【請求項１】
操作面を撮影した撮影画像に基づいて操作位置を検出する検出部と、
前記操作面を操作する第１の指示体の操作位置に関する第１のキャリブレーション、及び、前記操作面を操作する第２の指示体の操作位置に関する第２のキャリブレーションを実行するキャリブレーション制御部と、を備え、
前記キャリブレーション制御部は、前記第１のキャリブレーションが実行された後、前記第２のキャリブレーションを実行するか否かを指示するユーザーインターフェイスを提供すること、
を特徴とする位置検出装置。
【請求項２】
前記操作面に画像を表示する表示部を備え、
前記キャリブレーション制御部は、前記表示部によりキャリブレーション画像を表示中に撮影された前記撮影画像に基づいて、前記第１及び第２のキャリブレーションを実行すること、を特徴とする請求項１記載の位置検出装置。
【請求項３】
前記キャリブレーション制御部は、
前記第１のキャリブレーションにおいて、前記検出部により前記撮影画像から前記キャリブレーション画像を検出させ、
前記第２のキャリブレーションにおいて、前記検出部により前記撮影画像から前記第２の指示体の像を検出させること、を特徴とする請求項２記載の位置検出装置。
【請求項４】
前記キャリブレーション制御部は、前記第１のキャリブレーションにより、前記撮影画像から検出される操作位置を、前記表示部が表示する前記画像上の位置に変換するキャリブレーションデータを取得すること、を特徴とする請求項２または３記載の位置検出装置。
【請求項５】
前記キャリブレーション制御部は、前記第２のキャリブレーションにより、前記キャリブレーションデータを用いて求めた前記画像上の位置を補正する補正データを取得すること、を特徴とする請求項２または３記載の位置検出装置。
【請求項６】
前記検出部は、前記撮影画像から前記第１の指示体が発した光の像、及び、前記第２の指示体が検出光を反射した反射光の像を検出すること、を特徴とする請求項１から５のいずれかに記載の位置検出装置。
【請求項７】
前記操作面に沿って前記検出光を出射する光出射部を備えることを特徴とする請求項６記載の位置検出装置。
【請求項８】
操作面を操作する第１及び第２の指示体の操作位置を検出する位置検出装置と、前記操作面に沿って検出光を出射する光出射装置と、を備え、
前記位置検出装置は、
前記操作面を撮影する撮像部と、
前記撮像部の撮影画像から、前記第１の指示体が発した光の像、及び、前記第２の指示体が前記光出射装置の検出光を反射した反射光の像を検出することにより、操作位置を検出する検出部と、
前記第１の指示体の操作位置に関する第１のキャリブレーション、及び、前記第２の指示体の操作位置に関する第２のキャリブレーションを実行するキャリブレーション制御部と、を備え、
前記キャリブレーション制御部は、前記第１のキャリブレーションが実行された後、前記第２のキャリブレーションを実行するか否かを指示するユーザーインターフェイスを提供すること、
を特徴とする位置検出システム。
【請求項９】
操作面を撮影した撮影画像に基づいて操作位置を検出し、
前記操作面を操作する第１の指示体の操作位置に関する第１のキャリブレーション、及び、前記操作面を操作する第２の指示体の操作位置に関する第２のキャリブレーションを実行し、
前記第１のキャリブレーションを実行した後、前記第２のキャリブレーションを実行するか否かを指示するユーザーインターフェイスを提供すること、
を特徴とする位置検出装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、位置検出装置、位置検出システム、及び、位置検出装置の制御方法に関する。
【背景技術】
【０００２】
従来、入力操作がされた場合に操作位置を検出する装置において、操作された位置を正確に検出するため、キャリブレーションを行うものが知られている（例えば、特許文献１参照）。特許文献１記載の装置は、操作面に表示した画像を撮影することにより、オートキャリブレーションを行う。また、ユーザーに、操作面の所定のポイントを指示する操作を行わせて、この操作位置を検出してキャリブレーションを行うこともできる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２２７６００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来のように、キャリブレーションの実行方法は種々知られているが、各方法には利点と不利な点がある。例えば、オートキャリブレーションはユーザーの負担がないが外光等の影響を受けやすく、高精度化が難しい。また、例えばユーザーに指示操作をさせるキャリブレーションを行う場合、操作が煩雑であるが高精度にキャリブレーションを行うことができる。そして、装置の使用状況等によって好適なキャリブレーションの方法が異なるので、ユーザーの意に沿った方法を実行することは容易ではない。
本発明は、上述した事情に鑑みてなされたものであり、位置検出を検出する装置が複数のキャリブレーションを実行する場合に、適切な方法でキャリブレーションを行えるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明の位置検出装置は、操作面を撮影した撮影画像に基づいて操作位置を検出する検出部と、前記操作面を操作する第１の指示体の操作位置に関する第１のキャリブレーション、及び、前記操作面を操作する第２の指示体の操作位置に関する第２のキャリブレーションを実行するキャリブレーション制御部と、を備え、前記キャリブレーション制御部は、前記第１のキャリブレーションが実行された後、前記第２のキャリブレーションを実行するか否かを指示するユーザーインターフェイスを提供すること、を特徴とする。
本発明によれば、第１の指示体の操作位置に関するキャリブレーションの後に、第２の指示体の操作位置に関するキャリブレーションを行うか否かをユーザーが選択できる。このため、ユーザーは、第２の指示体の操作に関して精度を高めることも、キャリブレーションに要する時間を短縮することもできる。従って、複数のキャリブレーションを、ユーザーの要求に応じて、適切に実行できる。
【０００６】
また、本発明は、上記位置検出装置において、前記操作面に画像を表示する表示部を備え、前記キャリブレーション制御部は、前記表示部によりキャリブレーション画像を表示中に撮影された前記撮影画像に基づいて、前記第１及び第２のキャリブレーションを実行すること、を特徴とする。
本発明によれば、キャリブレーション画像が表示された操作面の撮影画像に基づき、キャリブレーションを実行できる。
【０００７】
また、本発明は、上記位置検出装置において、前記キャリブレーション制御部は、前記第１のキャリブレーションにおいて、前記検出部により前記撮影画像から前記キャリブレーション画像を検出させ、前記第２のキャリブレーションにおいて、前記検出部により前記撮影画像から前記第２の指示体の像を検出させること、を特徴とする。
本発明によれば、第１のキャリブレーションでは撮影画像からキャリブレーション画像を検出することで、第１の指示体の操作を行わずに、速やかにキャリブレーションを実行できる。また、第２のキャリブレーションではキャリブレーション画像に対応して第２の指示体で行われる操作を検出して、高精度のキャリブレーションを行うことが可能である。そして、これらのキャリブレーションを行う際に、ユーザーが、第２のキャリブレーションを実行するか否かを選択できるので、キャリブレーションの時間を短縮することができ、第２の指示体の操作の精度を高めることもできる。
【０００８】
また、本発明は、上記位置検出装置において、前記キャリブレーション制御部は、前記第１のキャリブレーションにより、前記撮影画像から検出される操作位置を前記表示部が表示する画像上の位置に変換するキャリブレーションデータを取得すること、を特徴とする。
本発明によれば、第１の指示体の操作に必要なキャリブレーションデータを取得することができ、その後に、さらに時間をかけて第２のキャリブレーションを実行するか否かを選択できる。
【０００９】
また、本発明は、上記位置検出装置において、前記キャリブレーション制御部は、前記第２のキャリブレーションにより、前記キャリブレーションデータを用いて求めた前記画像上の位置を補正する補正データを取得すること、を特徴とする。
本発明によれば、補正データを取得して第２の指示体の操作について精度を高めるかどうかを、ユーザーが選択できる。
【００１０】
また、本発明は、上記位置検出装置において、前記検出部は、前記撮影画像から前記第１の指示体が発した光の像、及び、前記第２の指示体が検出光を反射した反射光の像を検出すること、を特徴とする。
本発明によれば、発光する第１の指示体の操作と光を反射する第２の指示体の操作とを撮影画像に基づき検出でき、第１及び第２の指示体の操作に関するキャリブレーションを適切に実行できる。
【００１１】
また、本発明は、上記位置検出装置において、前記操作面に沿って前記検出光を出射する光出射部を備えること、を特徴とする。
本発明によれば、検出光を出射することにより、第２の指示体の操作を確実に検出できる。
【００１２】
また、上記目的を達成するために、本発明の位置検出システムは、操作面を操作する第１及び第２の指示体の操作位置を検出する位置検出装置と、前記操作面に沿って検出光を出射する光出射装置と、を備え、前記位置検出装置は、前記操作面を撮影する撮像部と、前記撮像部の撮影画像から、前記第１の指示体が発した光の像、及び、前記第２の指示体が前記光出射装置の検出光を反射した反射光の像を検出することにより、操作位置を検出する検出部と、前記第１の指示体の操作位置に関する第１のキャリブレーション、及び、前記第２の指示体の操作位置に関する第２のキャリブレーションを実行するキャリブレーション制御部と、を備え、前記キャリブレーション制御部は、前記第１のキャリブレーションが実行された後、前記第２のキャリブレーションを実行するか否かを指示するユーザーインターフェイスを提供すること、を特徴とする。
本発明によれば、発光する第１の指示体および光出射装置の検出光を反射する第２の指示体の操作を検出する位置検出システムにおいて、第１の指示体の操作位置に関するキャリブレーションが実行される。この第１のキャリブレーションの後に、第２の指示体の操作位置に関するキャリブレーションを行うか否かをユーザーが選択できる。このため、ユーザーは、第２の指示体の操作に関して精度を高めることも、第２のキャリブレーションを省略して所用時間を短縮することもできる。従って、複数のキャリブレーションを、ユーザーの要求に応じて、適切に実行できる。
【００１３】
また、上記目的を達成するために、本発明の位置検出装置の制御方法は、操作面を撮影した撮影画像に基づいて操作位置を検出し、前記操作面を操作する第１の指示体の操作位置に関する第１のキャリブレーション、及び、前記操作面を操作する第２の指示体の操作位置に関する第２のキャリブレーションを実行し、前記第１のキャリブレーションを実行した後、前記第２のキャリブレーションを実行するか否かを指示するユーザーインターフェイスを提供すること、を特徴とする。
本発明によれば、第１の指示体の操作位置に関するキャリブレーションの後に、第２の指示体の操作位置に関するキャリブレーションを行うか否かをユーザーが選択できる。このため、ユーザーは、第２の指示体の操作に関して精度を高めることも、キャリブレーションに要する時間を短縮することもできる。従って、複数のキャリブレーションを、ユーザーの要求に応じて、適切に実行できる。
【発明の効果】
【００１４】
本発明によれば、複数のキャリブレーションを、ユーザーの要求に応じて、適切に実行できる。
【図面の簡単な説明】
【００１５】
【図１】実施形態に係るプロジェクションシステムの概略構成図である。
【図２】プロジェクションシステムの機能ブロック図である。
【図３】プロジェクターの動作を示すフローチャートである。
【図４】指示体の指示位置を検出する様子を示す説明図である。
【図５】オートキャリブレーション画像の一例を示す図である。
【図６】スクリーンに投射されたオートキャリブレーション画像を撮影した撮影画像データの一例を示す図である。
【図７】マニュアルキャリブレーション画像の一例を示す図である。
【図８】キャリブレーションの実行時に提供されるユーザーインターフェイスの例を示す図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して本発明の実施形態について説明する。
図１は、本発明を適用した実施形態に係るプロジェクションシステム１の構成を示す図である。プロジェクションシステム１は、スクリーンＳＣ（投射面）の上方に設置されたプロジェクター１０と、スクリーンＳＣの上部に設置された光出射装置６０（光出射部）とを備える。
【００１７】
プロジェクター１０はスクリーンＳＣの直上または斜め上方に設置され、斜め下方のスクリーンＳＣに向けて画像を投射する。また、本実施形態で例示するスクリーンＳＣは、壁面に固定され、或いは床面に立設された、平板または幕である。本発明はこの例に限定されず、壁面をスクリーンＳＣとして使用することも可能である。この場合、スクリーンＳＣとして使用される壁面の上部にプロジェクター１０及び光出射装置６０を取り付けるとよい。
【００１８】
プロジェクター１０は、ＰＣ（パーソナルコンピューター）、ビデオ再生装置、ＤＶＤ再生装置等の外部の画像供給装置に接続され、この画像供給装置から供給されるアナログ画像信号またはデジタル画像データに基づき、スクリーンＳＣに画像を投射する。また、プロジェクター１０は、内蔵する記憶部１１０（図２）や外部接続される記憶媒体に記憶された画像データを読み出して、この画像データに基づきスクリーンＳＣに画像を表示する構成としてもよい。
光出射装置６０は、固体光源からなる光源部６１（図２）を有し、光源部６１が発する光（本実施形態では赤外光）をスクリーンＳＣに沿って拡散させて出射（照射）する。光出射装置６０の出射範囲を図１に角度θで示す。光出射装置６０はスクリーンＳＣの上端より上に設置され、下向きに角度θの範囲に光を出射し、この光はスクリーンＳＣに沿う光の層を形成する。本実施形態では角度θはほぼ１８０度に達し、スクリーンＳＣのほぼ全体に、光の層が形成される。スクリーンＳＣの表面と光の層とは近接していることが好ましく、本実施形態では、スクリーンＳＣの表面と光の層との距離は概ね１０ｍｍ〜１ｍｍの範囲内である。
【００１９】
プロジェクションシステム１は、スクリーンＳＣに対する指示操作が行われた場合に、指示位置をプロジェクター１０によって検出する。
指示操作に利用される指示体は、ペン型の指示体７０を用いることができる。指示体７０の先端部７１は、押圧された場合に動作する操作スイッチ７５（図２）を内蔵しているので、先端部７１を壁やスクリーンＳＣに押しつける操作がされると操作スイッチ７５がオンになる。指示体７０は、ユーザーが棒状の軸部７２を手に持って、先端部７１をスクリーンＳＣに接触させるように操作され、先端部７１をスクリーンＳＣに押しつける操作も行われる。先端部７１には、赤外光を発する送受信部７４（図２）を備える。プロジェクター１０は、指示体７０が発する赤外光に基づき、先端部７１の位置を、指示位置として検出する。
【００２０】
また、ユーザーの手指である指示体８０で位置指示操作を行う場合、ユーザーは指をスクリーンＳＣに接触させる。この場合、指示体８０がスクリーンＳＣに接触した位置が検出される。
すなわち、指示体８０の先端（例えば、指先）がスクリーンＳＣに接触するときに、光出射装置６０が形成する光の層を遮る。このとき、光出射装置６０が出射した光が指示体８０に当たって反射し、反射光の一部は指示体８０からプロジェクター１０に向かって進む。プロジェクター１０は、スクリーンＳＣ側からの光、すなわち下方からの光を後述する位置検出部５０により検出する機能を有するので、指示体８０の反射光を検出できる。プロジェクター１０は、指示体８０で反射した反射光を検出することにより、指示体８０によるスクリーンＳＣへの指示操作を検出する。また、プロジェクター１０は指示体８０により指示された指示位置を検出する。
光出射装置６０が出射する光の層はスクリーンＳＣに近接しているので、指示体８０において光が反射する位置は、スクリーンＳＣに最も近い先端、或いは指示位置と見なすことができる。このため、指示体８０の反射光に基づき指示位置を特定できる。
【００２１】
プロジェクションシステム１は、インタラクティブホワイトボードシステムとして機能し、ユーザーが指示体７０、８０により行った指示操作を検出して、指示位置を投射画像に反映させる。
具体的には、プロジェクションシステム１は、指示位置に図形を描画したり文字や記号を配置したりする処理、指示位置の軌跡に沿って図形を描画する処理、描画した図形や配置した文字または記号を消去する処理等を行う。また、スクリーンＳＣに描画された図形、配置された文字または記号を画像データとして保存することもでき、外部の装置に出力することもできる。
さらに、指示位置を検出することによりポインティングデバイスとして動作し、スクリーンＳＣにプロジェクター１０が画像を投射する画像投射領域における指示位置の座標を出力してもよい。また、この座標を用いてＧＵＩ（Graphical User Interface）操作を行ってもよい。
【００２２】
図２は、プロジェクションシステム１を構成する各部の機能ブロック図である。
プロジェクター１０は、外部の装置に接続されるインターフェイスとして、Ｉ／Ｆ（インターフェイス）部１１及び画像Ｉ／Ｆ（インターフェイス）部１２を備える。Ｉ／Ｆ部１１及び画像Ｉ／Ｆ部１２は有線接続用のコネクターを備え、上記コネクターに対応するインターフェイス回路を備えていてもよい。また、Ｉ／Ｆ部１１及び画像Ｉ／Ｆ部１２は、無線通信インターフェイスを備えていてもよい。有線接続用のコネクター及びインターフェイス回路としては有線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢ等に準拠したものが挙げられる。また、無線通信インターフェイスとしては無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等に準拠したものが挙げられる。画像Ｉ／Ｆ部１２には、ＨＤＭＩ（登録商標）インターフェイス等の画像データ用のインターフェイスを用いることもできる。画像Ｉ／Ｆ部１２は、音声データが入力されるインターフェイスを備えてもよい。
【００２３】
Ｉ／Ｆ部１１は、ＰＣ等の外部の装置との間で各種データを送受信するインターフェイスである。Ｉ／Ｆ部１１は、画像の投射に関する制御データ、プロジェクター１０の動作を設定する設定データ、プロジェクター１０が検出した指示位置の座標データ等を入出力する。後述する制御部３０は、Ｉ／Ｆ部１１を介して外部の装置とデータを送受信する機能を有する。
画像Ｉ／Ｆ部１２は、デジタル画像データが入力されるインターフェイスである。本実施形態のプロジェクター１０は、画像Ｉ／Ｆ部１２を介して入力されるデジタル画像データに基づき画像を投射する。なお、プロジェクター１０は、アナログ画像信号に基づき画像を投射する機能を備えてもよく、この場合、画像Ｉ／Ｆ部１２は、アナログ画像用のインターフェイスと、アナログ画像信号をデジタル画像データに変換するＡ／Ｄ変換回路とを備えてもよい。
【００２４】
プロジェクター１０は、光学的な画像の形成を行う投射部２０を備える。投射部２０は、光源部２１、光変調装置２２、および投射光学系２３を有する。光源部２１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）、或いはレーザー光源等からなる光源を備える。また、光源部２１は、光源が発した光を光変調装置２２に導くリフレクターおよび補助リフレクターを備えていてもよい。さらに、投射光の光学特性を高めるためのレンズ群（図示略）、偏光板、或いは光源が発した光の光量を光変調装置２２に至る経路上で低減させる調光素子等を備えていてもよい。
光変調装置２２は、例えばＲＧＢの三原色に対応した３枚の透過型液晶パネルを備え、この液晶パネルを透過する光を変調して画像光を生成する。光源部２１からの光はＲＧＢの３色の色光に分離され、各色光は対応する各液晶パネルに入射する。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系２３に射出される。
【００２５】
投射光学系２３は、光変調装置２２により変調された画像光をスクリーンＳＣ方向へ導き、スクリーンＳＣ上に結像させるレンズ群を備える。また、投射光学系２３は、スクリーンＳＣの投射画像の拡大・縮小および焦点の調整を行うズーム機構、フォーカスの調整を行うフォーカス調整機構を備えていてもよい。プロジェクター１０が短焦点型である場合、投射光学系２３に、画像光をスクリーンＳＣに向けて反射する凹面鏡を備えていてもよい。
【００２６】
投射部２０には、制御部３０の制御に従って光源部２１を点灯させる光源駆動部４５、及び、制御部３０の制御に従って光変調装置２２を動作させる光変調装置駆動部４６が接続される。光源駆動部４５は、光源部２１の点灯／消灯の切り替えを行い、光源部２１の光量を調整する機能を有していてもよい。
【００２７】
プロジェクター１０は、投射部２０が投射する画像を処理する画像処理系を備える。この画像処理系は、プロジェクター１０を制御する制御部３０、記憶部１１０、操作検出部１７、画像処理部４０、光源駆動部４５、及び光変調装置駆動部４６を含む。また、画像処理部４０にはフレームメモリー４４が接続され、制御部３０には姿勢センサー４７、出射装置駆動部４８、及び位置検出部５０が接続される。これらの各部を画像処理系に含めてもよい。
【００２８】
制御部３０は、所定の制御プログラム１１１を実行することにより、プロジェクター１０の各部を制御する。記憶部１１０は、制御部３０が実行する制御プログラム１１１、および、制御部３０が処理するデータを不揮発的に記憶する。記憶部１１０は、プロジェクター１０の動作を設定するための画面の設定画面データ１１２、及び、設定画面データ１１２を利用して設定された内容を示す設定データ１１３を記憶する。
【００２９】
画像処理部４０は、制御部３０の制御に従って、画像Ｉ／Ｆ部１２を介して入力される画像データを処理し、光変調装置駆動部４６に画像信号を出力する。画像処理部４０が実行する処理は、３Ｄ（立体）画像と２Ｄ（平面）画像の判別処理、解像度変換処理、フレームレート変換処理、歪み補正処理、デジタルズーム処理、色調補正処理、輝度補正処理等である。画像処理部４０は、制御部３０により指定された処理を実行し、必要に応じて、制御部３０から入力されるパラメーターを使用して処理を行う。また、上記のうち複数の処理を組み合わせて実行することも勿論可能である。
画像処理部４０はフレームメモリー４４に接続されている。画像処理部４０は、画像入力Ｉ／Ｆ１２から入力される画像データをフレームメモリー４４に展開して、展開した画像データに対し上記の各種処理を実行する。画像処理部４０は、処理後の画像データをフレームメモリー４４から読み出して、この画像データに対応するＲ、Ｇ、Ｂの画像信号を生成し、光変調装置駆動部４６に出力する。
光変調装置駆動部４６は、光変調装置２２の液晶パネルに接続される。光変調装置駆動部４６は、画像処理部４０から入力される画像信号に基づいて液晶パネルを駆動し、各液晶パネルに画像を描画する。
【００３０】
操作検出部１７は、入力デバイスとして機能するリモコン受光部１８および操作パネル１９に接続され、リモコン受光部１８及び操作パネル１９を介した操作を検出する。
リモコン受光部１８は、プロジェクター１０のユーザーが使用するリモコン（図示略）がボタン操作に対応して送信した赤外線信号を、リモコン受光部１８によって受光する。リモコン受光部１８は、上記リモコンから受光した赤外線信号をデコードして、上記リモコンにおける操作内容を示す操作データを生成し、制御部３０に出力する。
操作パネル１９は、プロジェクター１０の外装筐体に設けられ、各種スイッチおよびインジケーターランプを有する。操作検出部１７は、制御部３０の制御に従い、プロジェクター１０の動作状態や設定状態に応じて操作パネル１９のインジケーターランプを適宜点灯及び消灯させる。この操作パネル１９のスイッチが操作されると、操作されたスイッチに対応する操作データが操作検出部１７から制御部３０に出力される。
【００３１】
出射装置駆動部４８は、接続部４９を介して光出射装置６０に接続される。接続部４９は、例えば複数のピンを有するコネクターであり、接続部４９には光出射装置６０がケーブル６０ａを介して接続される。出射装置駆動部４８は、制御部３０の制御に従ってパルス信号を生成し、接続部４９を介して光出射装置６０に出力する。また、出射装置駆動部４８は接続部４９を介して光出射装置６０に電源を供給する。
【００３２】
光出射装置６０は、図１に示すように略箱形のケースに、光源部６１、及び光学部品を収容して構成される。本実施形態の光出射装置６０は、光源部６１に、赤外光を発する固体光源６２を備える。固体光源６２が発する赤外光は、平行化レンズ及びパウエルレンズによって拡散され、スクリーンＳＣに沿った面を形成する。また、光源部６１が複数の固体光源を備え、これら複数の固体光源が発する光をそれぞれ拡散させることによって、スクリーンＳＣの画像投射範囲を覆うように光の層を形成してもよい。また、光出射装置６０は、光源部６１が発する光の層とスクリーンＳＣとの間の距離や角度を調整する調整機構を備えていてもよい。
【００３３】
光出射装置６０は、出射装置駆動部４８から供給されるパルス信号および電源により、光源部６１を点灯させる。光源部６１が点灯及び消灯するタイミングは、出射装置駆動部４８が制御する。制御部３０は、出射装置駆動部４８を制御して、後述する撮像部５１が撮影を行うタイミングに同期して光源部６１を点灯させる。
【００３４】
位置検出部５０（検出部）は、指示体７０、８０によるスクリーンＳＣへの操作を検出する。位置検出部５０は、撮像部５１、送信部５２、撮影制御部５３、指示体検出部５４、および座標算出部５５の各部を備えて構成される。
撮像部５１は、撮像光学系、撮像素子、インターフェイス回路等を有し、投射光学系２３の投射方向を撮影する。撮像部５１の撮像光学系は、投射光学系２３と略同じ方向を向いて配置され、投射光学系２３がスクリーンＳＣ上に画像を投射する範囲をカバーする画角を有する。また、撮像素子は、赤外領域及び可視光領域の光を受光するＣＣＤやＣＭＯＳが挙げられる。撮像部５１は、撮像素子に入射する光の一部を遮るフィルターを備えてもよく、例えば、赤外光を受光させる場合に、主に赤外領域の光を透過するフィルターを撮像素子の前に配置させてもよい。また、撮像部５１のインターフェイス回路は、撮像素子の検出値を読み出して出力する。
【００３５】
撮影制御部５３は、撮像部５１により撮影を実行させて撮影画像データを生成する。撮像素子が可視光による撮影を行うと、スクリーンＳＣ上に投射された画像が撮影される。例えば、後述するオートキャリブレーションの画像などが可視光で撮影される。また、撮影制御部５３は、撮像部５１により赤外光を撮影させることができ、この場合の撮影画像には指示体７０が発する赤外光（赤外線信号）や、指示体８０に反射した反射光が写る。
【００３６】
指示体検出部５４は、撮影制御部５３が撮影した撮影画像データに基づいて指示体７０、８０の指示位置を検出する。指示体検出部５４は、撮影制御部５３が撮像部５１によって赤外光の撮影を実行させた場合の撮影画像データから、指示体７０が発した赤外光の像、及び／又は、指示体８０に反射した反射光の像を検出する。さらに、指示体検出部５４は、検出した像を、指示体７０が発した光の像であるか、指示体８０の反射光の像であるか判別してもよい。
座標算出部５５は、指示体検出部５４が検出した像の位置に基づき、撮影画像データにおける指示体７０、８０の指示位置の座標を算出して、制御部３０に出力する。座標算出部５５は、また、投射部２０が投射した投射画像における指示体７０、８０の指示位置の座標を算出して、制御部３０に出力してもよい。さらに、座標算出部５５は、画像処理部４０がフレームメモリー４４に描画した画像データにおける指示体７０、８０の指示位置の座標や、画像Ｉ／Ｆ部１２の入力画像データにおける指示体７０、８０の指示位置の座標を、算出してもよい。
【００３７】
送信部５２は、指示体検出部５４の制御に従って、指示体７０に対して赤外線信号を送信する。送信部５２は、赤外ＬＥＤ等の光源を有し、この光源を指示体検出部５４の制御に従って点灯及び消灯させる。
【００３８】
また、指示体７０は、制御部７３、送受信部７４、操作スイッチ７５、及び電源部７６を備え、これらの各部は軸部７２（図１）に収容される。制御部７３は、送受信部７４及び操作スイッチ７５に接続され、操作スイッチ７５のオン／オフ状態を検出する。送受信部７４は、赤外ＬＥＤ等の光源と、赤外光を受光する受光素子とを備え、制御部７３の制御に従って光源を点灯及び消灯させるとともに、受光素子の受光状態を示す信号を制御部７３に出力する。
電源部７６は、電源として乾電池または二次電池を有し、制御部７３、送受信部７４、及び操作スイッチ７５の各部に電力を供給する。
指示体７０は、電源部７６からの電源供給をオン／オフする電源スイッチを備えていてもよい。
【００３９】
ここで、位置検出部５０と指示体７０との相互の通信により、撮像部５１の撮影画像データから指示体７０を特定する方法について説明する。
制御部３０は、指示体７０による位置指示操作を検出する場合に、指示体検出部５４を制御して、送信部５２から同期用の信号を送信させる。すなわち、指示体検出部５４は、制御部３０の制御に従って、送信部５２の光源を所定の周期で点灯させる。送信部５２が周期的に発する赤外光が、位置検出部５０と指示体７０とを同期させる同期信号として機能する。
一方、制御部７３は、電源部７６から電源の供給が開始され、所定の初期化動作を行った後、プロジェクター１０の送信部５２が発する赤外光を、送受信部７４により受光する。送信部５２が周期的に発する赤外光を送受信部７４により受光すると、制御部７３は、この赤外光のタイミングに同期させて、予め設定された点灯パターンで、送受信部７４の光源を点灯（発光）させる。この点灯のパターンは、光源の点灯と消灯をデータのオンとオフに対応させて、指示体７０に固有のデータを表す。制御部７３は設定されたパターンの点灯時間及び消灯時間に従って光源を点灯及び消灯させる。制御部７３は、電源部７６から電源が供給されている間、上記のパターンを繰り返し実行する。
つまり、位置検出部５０は指示体７０に対し、同期用の赤外線信号を周期的に送信し、指示体７０は、位置検出部５０が送信する赤外線信号に同期して、予め設定された赤外線信号を送信する。
【００４０】
位置検出部５０の撮影制御部５３は、撮像部５１による撮影タイミングを、指示体７０が点灯するタイミングに合わせる制御を行う。この撮影タイミングは、指示体検出部５４が送信部５２を点灯させるタイミングに基づいて決定される。指示体検出部５４は、撮像部５１の撮影画像データに指示体７０の光の像が写っているか否かにより、指示体７０が点灯するパターンを特定できる。
指示体７０が点灯するパターンは、指示体７０の個体毎に固有のパターン、または、複数の指示体７０に共通のパターンと個体毎に固有のパターンとを含むものとすることができる。この場合、指示体検出部５４は、撮影画像データに複数の指示体７０が発する赤外光の像が含まれる場合に、各々の像を、異なる指示体７０の像として区別できる。
【００４１】
また、制御部３０は、出射装置駆動部４８を制御して、光源部６１の点灯のタイミングを撮像部５１の撮影のタイミングに同期させる。光源部６１が、撮像部５１の撮影タイミングに合わせてパルス点灯すると、指示体８０がスクリーンＳＣ上を指し示す場合には、撮像部５１の撮影画像に指示体８０の反射光が写る。光源部６１を、指示体７０の点灯のタイミングと区別できるパターンで点灯させれば、指示体検出部５４は、撮影画像データに写る像が指示体７０であるか指示体８０であるかを判定できる。
例えば、撮像部５１の撮影タイミングの全てに同期して指示体７０を点灯させ、光源部６１については「１０１０１０１０１０」（１は点灯を、０は消灯を示す）のパターンで点灯させる場合を考える。この場合、光源部６１が点灯していないときに撮影された像は、指示体７０によるものであると判断できる。
【００４２】
さらに、指示体７０が備える制御部７３は、操作スイッチ７５の操作状態に応じて、送受信部７４を点灯させるパターンを切り替える。このため、指示体検出部５４は、複数の撮影画像データに基づいて、指示体７０の操作状態、すなわち先端部７１がスクリーンＳＣに押しつけられているか否かを判定できる。
【００４３】
姿勢センサー４７は、加速度センサーやジャイロセンサー等により構成され、制御部３０に対して検出値を出力する。姿勢センサー４７はプロジェクター１０の本体に対して、プロジェクター１０の設置方向を識別可能なように固定される。
プロジェクター１０は、図１に示したように壁面や天井面から吊り下げる吊り下げ設置の他に、スクリーンＳＣの下方から投射を行う設置状態、机の天面などの水平面をスクリーンＳＣとして使用する設置状態等で使用できる。プロジェクター１０の設置状態によっては光出射装置６０の使用に適さないことがある。例えば、下方からスクリーンＳＣに投射を行う場合、ユーザーの体が光出射装置６０の出射光を遮ってしまうことがあり、不適である。姿勢センサー４７は、プロジェクター１０の設置状態として想定される複数の設置状態を識別できるように、プロジェクター１０の本体に設けられる。姿勢センサー４７は、例えば、２軸のジャイロセンサー、１軸のジャイロセンサー、加速度センサー等を用いて構成される。制御部３０は、姿勢センサー４７の出力値に基づきプロジェクター１０の設置状態を自動的に判定できる。制御部３０が、光出射装置６０の使用に不適な設置状態と判定した場合には、例えば、出射装置駆動部４８が電源電圧やパルス信号の出力を停止する。
【００４４】
制御部３０は、記憶部１１０に記憶された制御プログラム１１１を読み出して実行することにより、投射制御部３１、検出制御部３２、出射制御部３３、及びキャリブレーション制御部３９の機能を実現し、プロジェクター１０の各部を制御する。
投射制御部３１は、操作検出部１７から入力される操作データに基づいて、ユーザーが行った操作の内容を取得する。投射制御部３１は、ユーザーが行った操作に応じて画像処理部４０、光源駆動部４５、及び光変調装置駆動部４６を制御して、スクリーンＳＣに画像を投射させる。投射制御部３１は、画像処理部４０を制御して、上述した３Ｄ（立体）画像と２Ｄ（平面）画像の判別処理、解像度変換処理、フレームレート変換処理、歪み補正処理、デジタルズーム処理、色調補正処理、輝度補正処理等を実行させる。また、投射制御部３１は、画像処理部４０の処理に合わせて光源駆動部４５を制御し、光源部２１の光量を制御する。
【００４５】
検出制御部３２は、位置検出部５０を制御して、指示体７０、８０の操作位置の検出を実行させ、操作位置の座標を取得する。また、検出制御部３２は、操作位置の座標とともに、指示体７０の操作位置であるか指示体８０の操作位置であるかを識別するデータ、及び、操作スイッチ７５の操作状態を示すデータを取得する。検出制御部３２は、取得した座標及びデータに基づいて、予め設定された処理を実行する。例えば、画像処理部４０によって、取得した座標に基づいて図形を描画させ、描画した図形を画像Ｉ／Ｆ部１２に入力される入力画像に重畳して投射させる処理を行う。また、検出制御部３２は、取得した座標をＩ／Ｆ部１１に接続されたＰＣ等の外部の装置に出力してもよい。この場合、検出制御部３２は、取得した座標を、Ｉ／Ｆ部１１に接続された外部の装置のオペレーティングシステムにおいて、座標入力デバイスの入力として認識されるデータフォーマットに変換して出力してもよい。例えば、Ｉ／Ｆ部１１にＷｉｎｄｏｗｓ（登録商標）オペレーティングシステムで動作するＰＣが接続された場合、オペレーティングシステムにおいてＨＩＤ（Human Interface Device）の入力データとして処理されるデータを出力する。また、検出制御部３２は、座標のデータとともに、指示体７０の操作位置であるか指示体８０の操作位置であるかを識別するデータ、及び、操作スイッチ７５の操作状態を示すデータを出力してもよい。
【００４６】
また、検出制御部３２は、指示体８０を使用した位置検出を制御する。具体的には、検出制御部３２は、光出射装置６０の接続の有無に基づき、光出射装置６０を使用できるか否かを判定する。検出制御部３２は、光出射装置６０を使用できない場合に、光出射装置６０の使用を不可とする設定を行う。ここで、検出制御部３２は、光出射装置６０を使用できないことを報知してもよい。
【００４７】
出射制御部３３は、出射装置駆動部４８を制御して、接続部４９に接続された光出射装置６０に対する電源及びパルス信号の出力を実行または停止させる。出射制御部３３は、検出制御部３２の制御により、光出射装置６０を使用できない又は使用しない場合に、出射装置駆動部４８の電源及びパルス信号の出力を停止させる。また、光出射装置６０を使用する場合、出射制御部３３は出射装置駆動部４８の電源及びパルス信号を出力させる。
【００４８】
キャリブレーション制御部３９は、指示体７０および指示体８０の指示位置を検出して、画像Ｉ／Ｆ部１２の入力画像における座標に変換するためのキャリブレーションを実行する。
図３に示すフローチャート及び各図を参照しながら、制御部３０の処理手順、特にキャリブレーション制御部３９の処理手順を説明する。
【００４９】
キャリブレーションは、プロジェクター１０を最初に使用する際に初期設定の１つとして実行される。キャリブレーションは、例えば、フレームメモリー４４に描画され投射部２０が投射する画像における位置と、撮像部５１が撮影する撮影画像データ上の位置とを対応付ける処理である。位置検出部５０が撮影画像データから検出する指示体７０、８０の指示位置は、撮影画像データにおける位置であり、例えば撮影画像に設定される座標系における座標で示される。ユーザーはスクリーンＳＣに投射された投射画像を意識して指示体７０、８０で指示を行う。従って、プロジェクター１０は、スクリーンＳＣ上の投射画像に対する指示位置を特定する必要がある。キャリブレーションによって、撮影画像データで検出された位置の座標を投射画像データ上の座標に変換できる。この対応づけを行うデータをキャリブレーションデータとする。キャリブレーションデータは、撮影制御部５３が出力する撮影画像データ上の座標と投射画像上の座標とを対応付けるデータである。具体的には、撮影画像データ上の座標と投射画像上の座標とを１対１で対応付けるテーブルであってもよいし、撮影画像データ上の座標を投射画像上の座標に変換する関数であってもよい。
【００５０】
キャリブレーション制御部３９は、指示体の種類に応じてキャリブレーションを実行する。すなわち、指示体７０の指示位置の検出に関するキャリブレーションと、指示体８０の指示位置の検出に関するキャリブレーションとの２つを実行する。
図４は、指示体７０、８０の指示位置を検出する様子を示す説明図であり、（Ａ）は指示体７０の指示位置を検出する様子を示し、（Ｂ）は指示体８０の指示位置を検出する様子を示す。
図４（Ａ）には撮像部５１がスクリーンＳＣを撮影する撮影方向を符号ＰＡで示す。指示体７０の位置検出を行う場合、送受信部７４は、指示体７０の先端の発光位置７０ａから赤外光を出射する。発光位置７０ａは、指示体７０がスクリーンＳＣに接する接触点７０ｂに非常に近い。このため、撮影方向ＰＡから撮影した撮影画像データから指示体７０が発する光の像を検出する場合、この像の位置を、接触点７０ｂの位置とみなすことができる。
【００５１】
これに対し、図４（Ｂ）に示すように指示体８０の指示位置を検出する場合には、検出光Ｌが指示体８０で反射した反射光を検出する。すなわち、撮影方向ＰＡから撮影される撮影画像データから、検出光Ｌの反射光の像が検出される。検出光Ｌの出射方向はスクリーンＳＣとほぼ平行であり、検出光ＬはスクリーンＳＣから所定の距離（以下、距離Ｇ１とする）だけ離れている。距離Ｇ１はスクリーンＳＣに対する光出射装置６０の取付位置により変化するが、構造上、距離Ｇ１をゼロにすることは困難である。このため、撮影方向ＰＡから撮影した撮影画像データには、指示体８０の先端において、スクリーンＳＣから距離Ｇ１だけ離れた反射位置８０ａで反射した反射光の像が写る。
図４（Ｂ）に示すように、反射位置８０ａは、撮影方向ＰＡに対して斜めの方向に離れている。このため、撮影画像データに写る反射光の像の位置は、撮影方向ＰＡにおいて、より離れた位置を指示体７０で指示した場合の像と同じ位置になる。つまり、指示体８０が接触点８０ｂでスクリーンＳＣに接触した場合の反射光と、指示体７０が接触点７０ｂでスクリーンＳＣに接触した場合の光とが、撮像部５１の撮影画像データでは同じ位置に写る。このため、指示体８０が指し示す接触点８０ｂは、撮影方向ＰＡにおいて撮像部５１から離れた接触点７０ｂとして検出され、距離Ｇ２のずれを生じる。
【００５２】
距離Ｇ２のずれは、撮像部５１が、スクリーンＳＣから離れた位置から斜めに撮影を行うことに起因する。例えば、図４（Ａ）、（Ｂ）に示す撮影方向ＰＡと指示体７０、８０との位置関係は、上下方向に限らず、水平方向においても同様に発生する。本実施形態では、図１に示したようにスクリーンＳＣの上方に位置するプロジェクター１０の本体に設けられた１つの撮像部５１が、スクリーンＳＣを俯瞰して撮影するため、上下及び水平の両方向において距離Ｇ２のずれが発生する。
【００５３】
そこで、プロジェクター１０は、指示体８０の指示位置を検出する場合に、指示体７０の指示位置を検出する場合と同様に指示位置を検出した後に、検出した位置を補正する。
具体的には、キャリブレーション制御部３９が、指示体７０の指示位置の検出に関するキャリブレーションを行うことにより、キャリブレーションデータを生成する。このキャリブレーションデータを使用すれば、例えば図４（Ａ）に示すように、発光位置７０ａがスクリーンＳＣとの接触点７０ｂに近い場合に、高精度で指示位置を検出できる。
【００５４】
さらに、プロジェクター１０は、指示体８０の指示位置を検出する場合に、キャリブレーションデータにより求めた座標を補正する補正データを使用する。補正データは、具体的には、初期補正データ１２５及びマニュアル補正データ１２６である。
補正データは、図４（Ｂ）の距離Ｇ１を定めるデータとすることができる。この場合、撮影画像データ上の座標または投射画像上の座標ごとに、距離Ｇ１の大きさを示すデータを対応付けるテーブル形式、或いはマップデータとすることができる。また、撮影画像データ上の座標または投射画像上の座標において予め設定された代表点について、距離Ｇ１の大きさを示すデータを対応付けるテーブル形式とすることができる。代表点から外れた座標の距離Ｇ１の大きさを求める必要がある場合は、補正対象の座標に近い代表点の距離Ｇ１を適用する方法や、補間演算により代表点の距離Ｇ１から補正対象の座標の距離Ｇ１を求める方法を利用できる。
また、例えば、補正データは、撮影画像データ上で検出された座標、または、キャリブレーションデータに基づき得られた投射画像上の座標をシフトさせるデータであってもよい。具体的には、座標のシフト量を定めるデータであってもよいし、座標を補正する関数であってもよい。また、補正データを、撮影画像データ上の座標または投射画像上の座標ごとに異なるシフト量を実現するデータとすることもできる。この場合、補正対象の座標に、座標のシフト量を対応付けたテーブルとしてもよい。このテーブルは、撮影画像データ上の座標または投射画像上の座標から選択される代表点にシフト量を対応付けてもよい。代表点以外の座標を補正する場合には、補正対象の座標に近い代表点のシフト量を適用する方法や、補間演算により代表点のシフト量から補正対象の座標のシフト量を求める方法を利用できる。
【００５５】
キャリブレーション制御部３９は、指示体７０の指示位置に関するキャリブレーションとして、オートキャリブレーションとマニュアルキャリブレーションとを実行できる。
オートキャリブレーションは、スクリーンＳＣに、オートキャリブレーション用の画像を投射して、撮像部５１で撮影し、撮影画像データを用いてキャリブレーションデータを生成する処理である。オートキャリブレーションは、プロジェクター１０が自動的に実行可能な処理であり、ユーザーによる指示体７０、８０の操作を必要としない。オートキャリブレーションは、ユーザーがリモコンまたは操作パネル１９で実行を指示した場合に限らず、制御部３０が制御するタイミングで実行することもできる。例えば、プロジェクター１０の電源オン直後等の動作開始時に行ってもよいし、後述する通常動作中に行ってもよい。オートキャリブレーションで投射されるオートキャリブレーション画像１２１は、予め記憶部１１０に記憶されている。
【００５６】
図５は、オートキャリブレーション画像１２１の一例を示す。オートキャリブレーション画像１２１には、複数のマークが所定の間隔で配置されている。
図６は、スクリーンＳＣに投射されたオートキャリブレーション画像１２１を撮像部５１により撮影した撮影画像データの一例を示す。撮像部５１の撮影画像データは、プロジェクター１０を図１に示すように吊り下げ設置した場合に、スクリーンＳＣの斜め上方から撮影されるので、歪んだ画像となる。図５には、等間隔でマークが並ぶ矩形のオートキャリブレーション画像１２１を例示したが、図６の撮影画像データでは歪んだ形状の画像が写っており、この画像の内部に並ぶマークの間隔は、マークの位置によって異なっている。
【００５７】
キャリブレーション制御部３９は、投射制御部３１の機能により、記憶部１１０に記憶されたオートキャリブレーション画像１２１に基づいて、画像処理部４０及び投射部２０を動作させて、オートキャリブレーション画像１２１をスクリーンＳＣに投射させる。キャリブレーション制御部３９は、位置検出部５０を制御して撮像部５１に撮影を実行させ、撮影画像データを取得する。この撮影画像データは、撮影制御部５３から、図示しないメモリーに一時的に記憶され、制御部３０に出力される。キャリブレーション制御部３９は、撮影画像データからマークを検出し、各マークの重心位置をマークの座標値として取得する。キャリブレーション制御部３９は、撮影画像データから検出されたマークと、フレームメモリー４４に描画された投射画像、すなわちオートキャリブレーション画像１２１のマークとを対応付ける。
【００５８】
キャリブレーション制御部３９は、撮影画像におけるマークの座標値と、投射画像におけるマークの座標値とを対応付けることにより、テーブル形式または関数形式のオートキャリブレーションデータ１２３を作成する。オートキャリブレーション画像１２１のマークの投射画像における座標値は、予めオートキャリブレーション画像１２１とともに、或いはオートキャリブレーション画像１２１に含まれて記憶部１１０に記憶されている。キャリブレーション制御部３９は、既にオートキャリブレーションデータ１２３が記憶されている場合、このオートキャリブレーションデータ１２３を更新する。
【００５９】
キャリブレーション制御部３９は１回のキャリブレーションを実行して、１つのオートキャリブレーションデータ１２３の作成または更新を行う。キャリブレーション制御部３９は、１回のオートキャリブレーションで、複数のオートキャリブレーション画像１２１を用いてもよい。例えば、マークの数、マークのサイズ、マークの形状、マークの位置などマークの配置状態が異なる複数のオートキャリブレーションデータ１２３を用いてもよい。この場合、キャリブレーション制御部３９は、複数のオートキャリブレーションデータ１２３を用いて複数回の撮影と座標の対応づけを行い、得られた対応づけの結果を統合して、より高精度のオートキャリブレーションデータ１２３を作成してもよい。
【００６０】
マニュアルキャリブレーションは、スクリーンＳＣに、マニュアルキャリブレーション用の画像を投射し、投射した画像に対応する指示体７０の操作を検出して、マニュアルキャリブレーションデータを生成する処理である。
図７は、マニュアルキャリブレーション画像１２２の一例を示す。マニュアルキャリブレーション画像１２２は、ユーザーに指示体７０で指示をさせるため、指示位置を示すマークを含む。図７のマニュアルキャリブレーション画像１２２は複数の指示用のマーク（○）が配置され、ユーザーは、マークの位置を指示体７０で指示する。
【００６１】
マニュアルキャリブレーション画像１２２には複数のマークが含まれるが、これらのマークは、１つずつスクリーンＳＣに投射される。このため、マニュアルキャリブレーション画像１２２は、具体的にはマークの数が異なる複数の画像の組合せで構成される。
ユーザーはスクリーンＳＣにマークが表示される毎に、新たに表示されたマークを指示体７０で指示する。キャリブレーション制御部３９はユーザーが操作を行う毎に、指示位置を検出する。そして、キャリブレーション制御部３９は、撮影画像で検出した指示位置と、フレームメモリー４４に描画された投射画像、すなわちマニュアルキャリブレーション画像１２２のマークとを対応付ける。キャリブレーション制御部３９は、撮影画像データで検出した指示位置の座標値と、投射画像上のマークの座標値とを対応付けることにより、マニュアルキャリブレーションデータ１２４を作成する。
マニュアルキャリブレーションデータ１２４は、オートキャリブレーションデータ１２３と同様のデータ形式とすることも可能であるが、オートキャリブレーションデータ１２３を補正する補正データとすることができる。オートキャリブレーションデータ１２３は、撮影画像上の座標を投射画像上の座標に変換するデータである。これに対し、マニュアルキャリブレーションデータ１２４は、オートキャリブレーションデータ１２３を用いて変換された後の座標を、さらに補正するデータである。
【００６２】
キャリブレーション制御部３９は、指示体７０の指示位置の検出に関するキャリブレーションを行う場合に、オートキャリブレーションまたはマニュアルキャリブレーションを実行できる。記憶部１１０が、過去に生成されたオートキャリブレーションデータ１２３を記憶している場合には、オートキャリブレーションとマニュアルキャリブレーションを選択して実行できる。ここで、オートキャリブレーションが実行された場合、キャリブレーション制御部３９は記憶部１１０のオートキャリブレーションデータ１２３を更新する。また、マニュアルキャリブレーションが実行された場合、マニュアルキャリブレーションデータ１２４が生成又は更新される。また、記憶部１１０にオートキャリブレーションデータ１２３が記憶されていない場合は、オートキャリブレーションを実行する必要がある。オートキャリブレーションデータ１２３が記憶されていない状態では、マニュアルキャリブレーションデータ１２４を使用できないためである。
【００６３】
キャリブレーション制御部３９は、指示体８０の指示位置の検出に関するキャリブレーションを、指示体７０のマニュアルキャリブレーションと同様に実行できる。この場合、キャリブレーション制御部３９は、マニュアル補正データ１２６を生成する。マニュアル補正データ１２６は、指示体８０の指示位置を検出する場合に利用される。
マニュアル補正データ１２６は、図４（Ｂ）を参照して説明したように、指示体７０の指示位置として検出した座標を、指示体８０の指示位置の座標に補正するデータである。指示体８０の指示位置の検出に関し、マニュアルキャリブレーションを行わない場合には、キャリブレーション制御部３９は初期補正データ１２５を選択する。初期補正データ１２５は、図４（Ｂ）の距離Ｇ１を初期値にした場合の補正データであり、予め記憶部１１０に記憶される。光出射装置６０の設置時には、スクリーンＳＣと検出光Ｌとの距離Ｇ１が、例えば１０ｍｍ〜１ｍｍとなるように調整され、実際にはスクリーンＳＣの面内で変化する。初期補正データ１２５は、距離Ｇ１の初期値を、例えば５ｍｍに仮定した場合の補正データであり、初期補正データ１２５を使用すればマニュアルキャリブレーションを行わなくても指示体８０の指示位置を検出できる。マニュアルキャリブレーションで作成されるマニュアル補正データ１２６を用いれば、距離Ｇ１の面内における差を反映した補正を行うことで、より高精度で指示体８０の指示位置を検出できる。
つまり、検出制御部３２は、位置検出部５０の位置検出において、指示体７０の指示位置を検出する場合には、オートキャリブレーションデータ１２３を用いて指示位置の座標を求める。ここで、マニュアルキャリブレーションデータ１２４が記憶部１１０に記憶されている場合、オートキャリブレーションデータ１２３で求めた座標をマニュアルキャリブレーションデータ１２４により補正して指示位置の座標を求める。指示体８０の指示位置を検出する場合、検出制御部３２は、オートキャリブレーションデータ１２３またはマニュアルキャリブレーションデータ１２４を用いて座標を求める処理で、初期補正データ１２５またはマニュアル補正データ１２６で補正を行う。言い換えれば、初期補正データ１２５及びマニュアル補正データ１２６は、指示体７０の指示位置から指示体８０の指示位置を求める差分のデータである。
【００６４】
図３は、キャリブレーションに関するプロジェクター１０の動作を示すフローチャートである。図３のフローチャートにおいて、キャリブレーション制御部３９は、オートキャリブレーションを実行するか、マニュアルキャリブレーションを実行するかを選択するユーザーインターフェイスを、投射部２０により投射させる（ステップＳ１）。キャリブレーション制御部３９は、リモコンまたは操作パネル１９の操作を検出し（ステップＳ２）、オートキャリブレーションが選択された場合はステップＳ３に移行し、マニュアルキャリブレーションが選択された場合にはステップＳ７に移行する。なお、上述したように、記憶部１１０にオートキャリブレーションデータ１２３が記憶されていない場合、ステップＳ１で、オートキャリブレーションのみを選択可能なメニュー画面を投射してもよい。
【００６５】
ステップＳ３で、キャリブレーション制御部３９は、オートキャリブレーション画像１２１を選択し、続いて、選択したオートキャリブレーション画像１２１を投射部２０によりスクリーンＳＣに投射する（ステップＳ４）。オートキャリブレーション画像１２１がスクリーンＳＣに投射された状態で、ユーザーは、リモコンまたは操作パネル１９の操作により、オートキャリブレーション画像１２１がスクリーンＳＣの表示エリアに納まるように表示サイズや表示位置を調整してもよい。
キャリブレーション制御部３９は、位置検出部５０を制御して、撮像部５１により撮影を実行させ（ステップＳ５）、撮像部５１の撮影画像データを取得して、取得した撮影画像データに基づきオートキャリブレーションデータ１２３を作成し（ステップＳ６）、ステップＳ１４に移行する。
【００６６】
一方、マニュアルキャリブレーションが選択された場合、キャリブレーション制御部３９はステップＳ７に移行する。ステップＳ７で、キャリブレーション制御部３９はマニュアルキャリブレーション画像１２２を選択し、続いて、選択したマニュアルキャリブレーション画像１２２を投射部２０によりスクリーンＳＣに投射する（ステップＳ８）。マニュアルキャリブレーション画像１２２がスクリーンＳＣに投射された状態で、ユーザーは、リモコンまたは操作パネル１９の操作により、マニュアルキャリブレーション画像１２２がスクリーンＳＣの表示エリアに納まるように表示サイズや表示位置を調整してもよい。
【００６７】
ここで、ユーザーにより、指示体７０を用いた操作が行われる（ステップＳ９）。キャリブレーション制御部３９は、位置検出部５０を制御して撮像部５１により撮影を実行させ、撮像部５１の撮影画像データを取得して指示体７０の指示位置を検出する（ステップＳ１０）。キャリブレーション制御部３９は、撮影画像データにおける指示位置の座標と、ステップＳ８で投射したマニュアルキャリブレーション画像１２２のマークの位置とを対応付けて、記憶部１１０に一時的に記憶させる（ステップＳ１１）。
キャリブレーション制御部３９は、マニュアルキャリブレーション画像１２２の全てのマークについて指示位置を検出したか否かを判定し（ステップＳ１２）、未処理のマークがある場合はステップＳ８に戻る。また、全てのマークの指示位置の検出が済んだ場合、キャリブレーション制御部３９は、ステップＳ１１で一時的に記憶した指示位置の座標とマークの位置とに基づき、マニュアルキャリブレーションデータ１２４を作成する（ステップＳ１３）。ここで作成されたマニュアルキャリブレーションデータ１２４は記憶部１１０に記憶される。その後、キャリブレーション制御部３９はステップＳ１４に移行する。
【００６８】
ステップＳ１４で、キャリブレーション制御部３９は、指示体８０の指示位置の検出に関するマニュアルキャリブレーションを実行するか否かを選択するユーザーインターフェイスを、投射部２０により投射させる。
キャリブレーション制御部３９は、リモコンまたは操作パネル１９の操作を検出し、マニュアルキャリブレーションを実行するか否かを判定する（ステップＳ１５）。
【００６９】
マニュアルキャリブレーションを実行しない場合（ステップＳ１５；Ｎｏ）、キャリブレーション制御部３９は、初期補正データ１２５を選択して（ステップＳ１６）、通常動作に移行する（ステップＳ１７）。
通常動作とは、画像Ｉ／Ｆ部１２に入力される入力画像に基づき、スクリーンＳＣに画像を投射し、指示体７０、８０により指示された指示位置を特定して、指示内容に応じた処理を行う動作である。
【００７０】
指示体８０の操作に関するマニュアルキャリブレーションを行う場合（ステップＳ１５；Ｙｅｓ）、キャリブレーション制御部３９は、マニュアルキャリブレーション画像１２２を選択する（ステップＳ１８）。続いて、キャリブレーション制御部３９は、選択したマニュアルキャリブレーション画像１２２を投射部２０によりスクリーンＳＣに投射する（ステップＳ１９）。ここで、ユーザーにより、指示体８０を用いた操作が行われる（ステップＳ２０）。キャリブレーション制御部３９は、位置検出部５０を制御して撮像部５１により撮影を実行させ、撮像部５１の撮影画像データを取得して指示体８０の指示位置を検出する（ステップＳ２１）。キャリブレーション制御部３９は、撮影画像データにおける指示位置の座標と、ステップＳ１９で投射したマニュアルキャリブレーション画像１２２のマークの位置とを対応付けて、記憶部１１０に一時的に記憶させる（ステップＳ２２）。
【００７１】
キャリブレーション制御部３９は、マニュアルキャリブレーション画像１２２の全てのマークについて指示位置を検出したか否かを判定し（ステップＳ２３）、未処理のマークがある場合はステップＳ１９に戻る。また、全てのマークの指示位置の検出が済んだ場合、キャリブレーション制御部３９は、ステップＳ２２で一時的に記憶した指示位置の座標とマークの位置とに基づき、マニュアル補正データ１２６を作成する（ステップＳ２４）。ここで作成されたマニュアル補正データ１２６は記憶部１１０に記憶される。その後、キャリブレーション制御部３９はステップＳ１７に移行して、通常動作を開始する。
【００７２】
なお、キャリブレーション制御部３９が、指示体７０のマニュアルキャリブレーションにより、オートキャリブレーションデータ１２３と同様のデータを含むマニュアルキャリブレーションデータ１２４を生成してもよい。この場合、キャリブレーション制御部３９は、図３のステップＳ７〜Ｓ１３の処理により、オートキャリブレーションデータ１２３と同様のマニュアルキャリブレーションデータ１２４を生成する。また、オートキャリブレーションデータ１２３とマニュアルキャリブレーションデータ１２４と同一のデータとしてもよく、この場合、ステップＳ１３で生成されるデータにより、過去に生成されたオートキャリブレーションデータ１２３が上書きされる。
この構成では、キャリブレーション制御部３９がオートキャリブレーションまたはマニュアルキャリブレーションのいずれかを実行すれば、指示体７０の指示位置の座標を求めることが可能となる。従って、図３の動作において、オートキャリブレーションデータ１２３が記憶されていない状態で、ステップＳ２でマニュアルキャリブレーションを選択することが可能となる。
【００７３】
図８は、図３の処理手順でキャリブレーションが実行される場合に提供されるユーザーインターフェイスの例を示す図である。
図８（Ａ）は、図３のステップＳ１でスクリーンＳＣに投射されるユーザーインターフェイスの例として、選択画面２０１を示す。選択画面２０１には、オートキャリブレーションを指示するボタン２０２と、マニュアルキャリブレーションを指示するボタン２０３とが配置され、リモコンまたは操作パネル１９の操作により、ボタン２０２、２０３のいずれかを選択可能である。ユーザーは、指示体７０のキャリブレーションとしてオートキャリブレーションとマニュアルキャリブレーションを選択し、指示できる。ボタン２０２が選択された場合、キャリブレーション制御部３９は、図３のステップＳ３〜Ｓ６でオートキャリブレーションを実行する。また、ボタン２０３が選択された場合、キャリブレーション制御部３９は、図３のステップＳ７〜Ｓ１３でマニュアルキャリブレーションを実行する。
【００７４】
図８（Ｂ）は、図３のステップＳ１４でスクリーンＳＣに投射されるユーザーインターフェイスの例として、選択画面２１０を示す。選択画面２１０には、指示体８０のキャリブレーションの実行を指示するボタン２１１と、指示体８０のキャリブレーションを実行しないよう指示するボタン２１２とが配置される。選択画面２１０では、リモコンまたは操作パネル１９の操作により、ボタン２１１、２１２のいずれかを選択可能であり、ユーザーが指示体８０の実行の要否を容易に選択し、指示できる。ボタン２１１が選択された場合、キャリブレーション制御部３９は、図３のステップＳ１８〜Ｓ２４で指示体８０の操作に関するマニュアルキャリブレーションを実行する。また、ボタン２１２が選択された場合、キャリブレーション制御部３９は、指示体８０のマニュアルキャリブレーションを実行せず、図３のステップＳ１６で初期補正データ１２５を選択する。
【００７５】
以上説明したように、本発明を適用した実施形態に係るプロジェクター１０は、位置検出部５０およびキャリブレーション制御部３９を備える。位置検出部５０は、スクリーンＳＣを撮影した撮影画像に基づいて操作位置を検出する。キャリブレーション制御部３９は、スクリーンＳＣを操作する指示体７０の操作位置に関する第１のキャリブレーション、及び、スクリーンＳＣを操作する指示体８０の操作位置に関する第２のキャリブレーションを実行する。そして、キャリブレーション制御部３９は、指示体７０の操作に関するキャリブレーションを実行した後、指示体８０の操作に関するキャリブレーションを実行するか否かを指示するユーザーインターフェイスを提供する。具体的には、キャリブレーション制御部３９は、指示体７０に関するオートキャリブレーションまたはマニュアルキャリブレーションの実行後、指示体８０に関するキャリブレーションを実行するか否かを選択する選択画面２１０を表示し、選択操作を受け付ける。これにより、指示体７０の操作位置に関するキャリブレーションの後に、指示体８０の操作位置に関するキャリブレーションを行うか否かをユーザーが選択できる。このため、ユーザーは、指示体８０の操作に関して精度を高めることも、キャリブレーションに要する時間を短縮することもできる。従って、複数のキャリブレーションを、ユーザーの要求に応じて、適切に実行できる。
【００７６】
プロジェクター１０は、スクリーンＳＣに画像を表示する投射部２０を備え、キャリブレーション制御部３９は、投射部２０によりキャリブレーション画像を表示中に撮影された撮影画像に基づいて、第１及び第２のキャリブレーションを実行する。このため、キャリブレーション画像が表示されたスクリーンＳＣの撮影画像に基づき、キャリブレーションを実行できる。
また、キャリブレーション制御部３９は、第１のキャリブレーションにおいて、位置検出部５０により撮影画像からキャリブレーション画像を検出させ、第２のキャリブレーションにおいて、位置検出部５０により撮影画像から指示体８０の像を検出させる。このため、第１のキャリブレーションでは撮影画像からキャリブレーション画像を検出することで、指示体７０の操作を行わずに、速やかにキャリブレーションを実行できる。また、第２のキャリブレーションではキャリブレーション画像に対応して指示体８０で行われる操作を検出して、高精度のキャリブレーションを行うことが可能である。そして、これらのキャリブレーションを行う際に、ユーザーが、第２のキャリブレーションを実行するか否かを選択できるので、キャリブレーションの時間を短縮することができ、指示体８０の操作の精度を高めることもできる。
【００７７】
また、キャリブレーション制御部３９は、第１のキャリブレーションにより、撮影画像から検出される操作位置を、投射部２０が投射する投射画像上の位置に変換するキャリブレーションデータを取得する。投射画像上の位置は、スクリーンＳＣに投射される画像上の座標である。つまり、画像データに基づき画像を投射するプロジェクター１０が、指示体７０の指示位置を投射画像上の座標に変換するためのデータである。キャリブレーションデータは、オートキャリブレーションデータ１２３またはマニュアルキャリブレーションデータ１２４である。
これにより、プロジェクター１０は、第１のキャリブレーションで指示体７０の操作に必要なキャリブレーションデータを取得することができ、その後に、さらに時間をかけて第２のキャリブレーションを実行するか否かを選択できる。
なお、投射画像上の位置を、例えば、フレームメモリー４４に描画された画像上の座標、或いは、画像Ｉ／Ｆ部１２の入力画像データ上の座標としてもよい。この場合、オートキャリブレーションデータ１２３及びマニュアルキャリブレーションデータ１２４により、指示体７０、８０の指示位置を入力画像データ上の座標で求めることができる。
【００７８】
また、キャリブレーション制御部３９は、第２のキャリブレーションにより、キャリブレーションデータを用いて求めた画像上の位置を補正するマニュアル補正データ１２６を取得する。このため、補正データを取得して指示体８０の操作について精度を高めるかどうかを、ユーザーが選択できる。
また、位置検出部５０は、撮影画像から指示体７０が発した光の像、及び、指示体８０が検出光を反射した反射光の像を検出する。このため、発光する指示体７０の操作と光を反射する指示体８０の操作とを撮影画像に基づき検出でき、指示体７０及び指示体８０の操作に関するキャリブレーションを適切に実行できる。
また、プロジェクター１０は、スクリーンＳＣに沿って検出光を出射する光出射装置６０を備えるので、検出光を出射することにより、指示体８０の操作を確実に検出できる。
【００７９】
なお、上述した実施形態は本発明を適用した具体的態様の例に過ぎず、本発明を限定するものではなく、異なる態様として本発明を適用することも可能である。上記実施形態では、第１の指示体として赤外光を発する指示体７０を用い、第２の指示体として指示体８０を用いる場合を例に挙げて説明したが、本発明はこれに限定されるものではない。例えば、第１の指示体として指示体８０を用い、第２の指示体として指示体７０を用いてもよい。また、指示体は、ペン型の指示体７０やユーザーの手指である指示体８０に限定されず、レーザーポインターや指示棒等を用いてもよく、その形状やサイズは限定されない。また、オートキャリブレーション画像、マニュアルキャリブレーション画像中のマーク（シンボル）は、図５〜図７に示す模様や記号に限定されない。マークは、撮影画像データから抽出可能な、複数の画素で構成される図形であればよい。
また、上記実施形態では、プロジェクター１０から指示体７０に対し、送信部５２が発する赤外線信号を用いて指示体７０に同期用の信号を送信する構成を説明したが、同期用の信号は赤外線信号に限定されない。例えば、電波通信や超音波無線通信により同期用の信号を送信する構成としてもよい。この構成は、電波通信や超音波無線通信により信号を送信する送信部をプロジェクター１０に設け、同様の受信部を指示体７０に設けることで実現できる。
また、上記実施形態では、光出射装置６０はプロジェクター１０の本体とは別体で構成され、ケーブル６０ａで接続される構成を例示したが、本発明はこれに限定されない。例えば、光出射装置６０をプロジェクター１０の本体に一体に取り付けることも、プロジェクター１０の本体に内蔵する構成としてもよい。また、光出射装置６０が外部から電源の供給を受け、出射装置駆動部４８との間で無線通信回線により接続されてもよい。
【００８０】
また、上記実施形態では、位置検出部５０は、撮像部５１によりスクリーンＳＣを撮影して指示体７０の位置を特定するものとしたが、本発明はこれに限定されない。例えば、撮像部５１は、プロジェクター１０の本体に設けられ、投射光学系２３の投射方向を撮影するものに限定されない。撮像部５１をプロジェクター１０本体とは別体として配置してもよいし、撮像部５１がスクリーンＳＣの側方や正面から撮影を行うものとしてもよい。さらに、複数の撮像部５１を配置し、これら複数の撮像部５１の撮影画像データに基づいて、検出制御部３２が指示体７０、８０の位置を検出してもよい。
【００８１】
また、上記実施形態では、光源が発した光を変調する光変調装置２２として、ＲＧＢの各色に対応した３枚の透過型の液晶パネルを用いた構成を例に挙げて説明したが、本発明はこれに限定されるものではない。例えば、３枚の反射型液晶パネルを用いた構成としてもよいし、１枚の液晶パネルとカラーホイールを組み合わせた方式を用いてもよい。或いは、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスとカラーホイールを組み合わせたＤＭＤ方式等により構成してもよい。光変調装置として１枚のみの液晶パネルまたはＤＭＤを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネルおよびＤＭＤ以外にも、光源が発した光を変調可能な光変調装置であれば問題なく採用できる。
上記実施形態では、ユーザーが、フロントプロジェクション型のプロジェクター１０が画像を投射（表示）するスクリーンＳＣ（投射面、表示面）に対して、指示体７０、８０による指示操作を行う態様について説明したが、ユーザーが、プロジェクター１０以外の表示装置（表示部）が画像を表示する表示画面（表示面）に対して指示操作を行う態様であってもよい。この場合にも、光出射装置６０や撮像部５１は、表示装置と一体的に構成されてもよいし、表示装置とは別体で構成されてもよい。プロジェクター１０以外の表示装置としては、リアプロジェクション（背面投射）型のプロジェクター、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、プラズマディスプレイ、ＣＲＴ（陰極線管）ディスプレイ、ＳＥＤ（Surface-conduction Electron-emitter Display）等を用いることができる。
また、図２に示したプロジェクションシステム１の各機能部は機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、プロジェクションシステム１の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。
【符号の説明】
【００８２】
１…プロジェクションシステム（位置検出システム）、１０…プロジェクター（位置検出装置）、２０…投射部（表示部）、２１…光源部、２２…光変調装置、２３…投射光学系、３０…制御部、３１…投射制御部、３２…検出制御部、３３…出射制御部、３９…キャリブレーション制御部、４０…画像処理部、５０…位置検出部（検出部）、６０…光出射装置（光出射部）、７０…指示体（第１の指示体）、８０…指示体（第２の指示体）、１１０…記憶部、１２１…オートキャリブレーション画像、１２２…マニュアルキャリブレーション画像、１２３…オートキャリブレーションデータ（キャリブレーションデータ）、１２４…マニュアルキャリブレーションデータ（キャリブレーションデータ）、１２６…マニュアル補正データ（補正データ）、ＳＣ…スクリーン（操作面）。
【図１】
2015158889.tif 000003
【図２】
2015158889.tif 000004
【図３】
2015158889.tif 000005
【図４】
2015158889.tif 000006
【図５】
2015158889.tif 000007
【図６】
2015158889.tif 000008
【図７】
2015158889.tif 000009
【図８】
2015158889.tif 000010