(57)【要約】      （修正有）【課題】携帯機器の操作により、投射画像に対する幾何補正を指示することができるプロジェクションシステムを提供する。【解決手段】プロジェクターは、投射物体に投射画像を投射する表示部と、携帯端末７０による指示情報に従って投射された画像の幾何補正を行う補正部と、投射画像上の位置を特定するための位置特定用画像、及び幾何補正後の投射画像を表示部に投射させる投射制御部とを備えている。携帯端末７０は、投射された投射画像を撮影する撮像部７２と、位置特定用画像を撮影して得られた撮影画像に基づき投射画像上の位置と、撮影画像上の位置とを対応付ける位置特定部８０２と、撮影画像に対する操作を検出する操作入力部７４と、位置特定部８０２による対応付けに従って、投射画像上の位置で表す指示情報を生成する指示情報生成部８０４と、指示情報をプロジェクターに送信する無線通信部７１とを備えている。【選択図】図３
2015192310.tif 000002
【特許請求の範囲】
【請求項１】
プロジェクター及び携帯機器を備えるプロジェクションシステムであって、
前記プロジェクターは、
投射物体に投射画像を投射する投射部と、
携帯機器から送信される指示情報に従って、前記投射物体に投射された前記投射画像の幾何補正を行う補正部と、
前記投射画像上の位置を特定するための位置特定用画像、及び前記幾何補正後の前記投射画像を前記投射部に投射させる投射制御部と、を備え、
前記携帯機器は、
前記投射部によって前記投射物体に投射された前記位置特定用画像を撮影する撮影部と、
前記位置特定用画像を撮影して得られた撮影画像に基づき、前記投射画像上の位置と、前記撮影画像上の位置とを対応付ける位置特定部と、
前記撮影画像に対する操作を検出する操作検出部と、
前記位置特定部による対応付けに従って、前記操作検出部により検出した操作内容から、前記投射画像上の位置で表す前記指示情報を生成する指示情報生成部と、
前記指示情報を前記プロジェクターに送信する送信装置と、を備えることを特徴とするプロジェクションシステム。
【請求項２】
前記撮影部は、前記位置特定用画像の少なくとも一部を撮影し、
前記位置特定部は、前記位置特定用画像の少なくとも一部を撮影した撮影画像から前記投射画像上の位置と、前記撮影画像上の位置とを対応付けることを特徴とする請求項１記載のプロジェクションシステム。
【請求項３】
前記投射制御部は、前記投射画像として、前記幾何補正の対象となる補正対象画像と、前記位置特定用画像とを交互に切り替えて前記投射部に投射させることを特徴とする請求項１又は２記載のプロジェクションシステム。
【請求項４】
前記プロジェクターは、前記補正対象画像と前記位置特定用画像とを切り替えるタイミングに基づいて、前記携帯機器に、前記投射画像の撮影タイミングを通知する通知制御部を備え、
前記携帯機器は、前記プロジェクターから通知された前記撮影タイミングに従って、前記撮影部に前記投射画像を撮影させる撮影制御部を備えることを特徴とする請求項３記載のプロジェクションシステム。
【請求項５】
前記投射制御部は、前記投射画像として、幾何補正の対象となる補正対象画像と、前記位置特定用画像とを重畳した重畳画像を前記投射部に投射させ、
前記位置特定部は、前記撮影画像から前記位置特定用画像を抽出して、前記投射画像上の位置と、前記撮影画像上の位置とを対応付けることを特徴とする請求項１記載のプロジェクションシステム。
【請求項６】
前記投射制御部は、前記補正対象画像の平均輝度が第１の基準値よりも低い領域に、第２の基準値よりも高い輝度を有する前記位置特定用画像を重畳した前記重畳画像を前記投射部に投射させることを特徴とする請求項５記載のプロジェクションシステム。
【請求項７】
前記投射制御部は、前記補正対象画像の平均輝度が第３の基準値よりも高い領域に、第４の基準値よりも低い輝度を有する前記位置特定用画像を重畳した前記重畳画像を前記投射部に投射させることを特徴とする請求項５又は６記載のプロジェクションシステム。
【請求項８】
前記プロジェクターは、前記携帯機器から受信した情報に基づき、前記位置特定用画像の有するグリッド線の間隔を変更することを特徴とする請求項１から７のいずれか一項に記載のプロジェクションシステム。
【請求項９】
前記携帯機器は、前記撮影部によって撮影された前記撮影画像を表示する表示部を備えることを特徴とする請求項１から８のいずれか一項記載のプロジェクションシステム。
【請求項１０】
前記表示部は、前記撮影部が前記補正対象画像を撮影して得られた第１の撮影画像と、前記撮影部が前記位置特定用画像を撮影して得られた第２の撮影画像とのうち、前記第１の撮影画像のみを表示することを特徴とする請求項９記載のプロジェクションシステム。
【請求項１１】
投射画像を投射するプロジェクターによって投射された、当該投射画像上の位置を特定するための位置特定用画像を撮影部に撮影させる撮影制御部と、
前記位置特定用画像の撮影画像に基づき、前記投射画像上の位置と、前記撮影画像上の位置とを対応付ける位置特定部と、
前記撮影画像に対する操作を検出する操作検出部と、
前記操作検出部により検出した操作内容を、前記位置特定部による対応付けに従って、前記投射画像上の位置で表す指示情報に変換する指示情報変換部と、
前記指示情報を送信装置により前記プロジェクターに送信させる送信制御部と、
を備えることを特徴とする携帯機器。
【請求項１２】
コンピューターに、
投射画像を投射するプロジェクターによって投射された、当該投射画像上の位置を特定するための位置特定用画像を撮影部に撮影させる撮影手順と、
前記位置特定用画像の撮影画像に基づき、前記投射画像上の位置と、前記撮影画像上の位置とを対応付ける対応づけ手順と、
前記撮影画像に対する操作を検出する検出手順と、
前記検出手順により検出した操作内容から、前記対応付け手順による対応付けに従って、前記投射画像上の位置で表す指示情報を生成する生成手順と、
前記指示情報を送信装置により前記プロジェクターに送信させる送信手順と、
を実行させるためのプログラム。
【請求項１３】
投射画像を投射するプロジェクターによって投射された、当該投射画像上の位置を特定するための位置特定用画像を撮影部に撮影させる撮影ステップと、
前記位置特定用画像の撮影画像に基づき、前記投射画像上の位置と、前記撮影画像上の位置とを対応付ける対応づけステップと、
前記撮影画像に対する操作を検出する検出ステップと、
前記検出ステップにより検出した操作内容から、前記対応付けステップによる対応付けに従って、前記投射画像上の位置で表す指示情報を生成する生成ステップと、
前記指示情報を送信装置により前記プロジェクターに送信させる送信ステップと、
を有することを特徴とする携帯機器の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プロジェクションシステム、携帯機器、プログラム、及び、携帯機器の制御方法に関する。
【背景技術】
【０００２】
投射物体の形状に合わせて投射画像の幾何補正を行う技術が知られている（例えば、特許文献１参照）。
特許文献１には、カメラ付き携帯電話によって撮影された、スクリーンに投影されたテスト画像に基づいて、映像出力装置から出力される映像を幾何補正する映像変換装置について開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３３３５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１は、スクリーンに投射された投射画像の全体を撮影して幾何補正を行うことが想定されているため、投射画像の一部を撮影して、撮影部分を局所的に補正することができない。すなわち、カメラ付き携帯電話で投射画像の一部を撮影して映像変換装置に送信しても、映像変換装置は投射画像のどの部分を補正してよいのか認識することができない。
本発明は上記事情に鑑みてなされたものであり、携帯機器の操作により、投射画像に対する幾何補正を指示することができるプロジェクションシステム、携帯機器、プログラム、及び、携帯機器の制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明のプロジェクションシステムは、プロジェクター及び携帯機器を備えるプロジェクションシステムであって、前記プロジェクターは、投射物体に投射画像を投射する投射部と、携帯機器から送信される指示情報に従って、前記投射物体に投射された前記投射画像の幾何補正を行う補正部と、前記投射画像上の位置を特定するための位置特定用画像、及び前記幾何補正後の前記投射画像を前記投射部に投射させる投射制御部と、を備え、前記携帯機器は、前記投射部によって前記投射物体に投射された前記位置特定用画像を撮影する撮影部と、前記位置特定用画像を撮影して得られた撮影画像に基づき、前記投射画像上の位置と、前記撮影画像上の位置とを対応付ける位置特定部と、前記撮影画像に対する操作を検出する操作検出部と、前記位置特定部による対応付けに従って、前記操作検出部により検出した操作内容から、前記投射画像上の位置で表す前記指示情報を生成する指示情報生成部と、前記指示情報を前記プロジェクターに送信する送信装置と、を備えることを特徴とする。
本発明の構成によれば、携帯機器の操作により、投射画像に対する幾何補正を指示することができる。
【０００６】
また、本発明は、上記プロジェクションシステムにおいて、前記撮影部は、前記位置特定用画像の一部を撮影し、前記位置特定部は、前記位置特定用画像の一部を撮影した撮影画像から前記投射画像上の位置と、前記撮影画像上の位置とを対応付けることを特徴とする。
本発明の構成によれば、投射画像の一部を撮影して、幾何補正を行う箇所をプロジェクターに指示することができる。
【０００７】
また、本発明は、上記プロジェクションシステムにおいて、前記投射制御部は、前記投射画像として、前記幾何補正の対象となる補正対象画像と、前記位置特定用画像とを交互に切り替えて前記投射部に投射させることを特徴とする。
本発明の構成によれば、補正対象画像と位置特定用画像とを携帯機器に撮影させて、携帯機器に、幾何補正を行う位置を、投射画像上の位置で表す指示情報を生成させることができる。
【０００８】
また、本発明は、上記プロジェクションシステムにおいて、前記プロジェクターは、前記補正対象画像と前記位置特定用画像とを切り替えるタイミングに基づいて、前記携帯機器に、前記投射画像の撮影タイミングを通知する通知制御部を備え、前記携帯機器は、前記プロジェクターから通知された前記撮影タイミングに従って、前記撮影部に前記投射画像を撮影させる撮影制御部を備えることを特徴とする。
本発明の構成によれば、補正対象画像と位置特定用画像との撮影タイミングを携帯機器に通知して、携帯機器に、補正対象画像と位置特定用画像とを撮影させることができる。
【０００９】
また、本発明は、上記プロジェクションシステムにおいて、前記投射制御部は、前記投射画像として、幾何補正の対象となる補正対象画像と、前記位置特定用画像とを重畳した重畳画像を前記投射部に投射させ、前記位置特定部は、前記撮影画像から前記位置特定用画像を抽出して、前記投射画像上の位置と、前記撮影画像上の位置とを対応付けることを特徴とする。
本発明の構成によれば、一度の撮影により補正対象画像と位置特定用画像とを携帯機器に撮影させることができ、幾何補正を行うための操作の手間を簡略化することができる。
本発明の構成によれば、位置特定用画像により、投射画像上の位置を精度よく特定することができる。
【００１０】
また、本発明は、上記プロジェクションシステムにおいて、前記投射制御部は、前記補正対象画像の平均輝度が第１の基準値よりも低い領域に、第２の基準値よりも高い輝度を有する前記位置特定用画像を重畳した前記重畳画像を前記投射部に投射させることを特徴とする。
本発明の構成によれば、携帯端末における位置特定用画像の抽出精度を高めることができる。
【００１１】
また、本発明は、上記プロジェクションシステムにおいて、前記投射制御部は、前記補正対象画像の平均輝度が第３の基準値よりも高い領域に、第４の基準値よりも低い輝度を有する記位置特定用画像を重畳した前記重畳画像を前記投射部に投射させることを特徴とする。
本発明の構成によれば、携帯端末における位置特定用画像の抽出精度を高めることができる。
【００１２】
また、本発明は、上記プロジェクションシステムにおいて、前記プロジェクターは、前記携帯機器から受信した情報に基づき、前記位置特定用画像の有するグリッド線の間隔を変更することを特徴とする。
本構成によれば、携帯端末の操作者は、撮影範囲に注意を払う必要がなくなる。
【００１３】
また、本発明は、上記プロジェクションシステムにおいて、前記携帯機器は、前記撮影部によって撮影された前記撮影画像を表示する表示部を備えることを特徴とする。
本構成によれば、撮影部によって撮影された前記撮影画像を表示することができる。
【００１４】
また、本発明は、上記プロジェクションシステムにおいて、前記表示部は、前記撮影部が前記補正対象画像を撮影して得られた第１の撮影画像と、前記撮影部が前記位置特定用画像を撮影して得られた第２の撮影画像とのうち、前記第１の撮影画像のみを表示することを特徴とする。
本構成によれば、携帯端末の操作者は、補正対象画像を撮影した第１の撮影画像の表示を見ながら、投射画像上の位置を指定することができる。
【００１５】
本発明の携帯機器は、投射画像を投射するプロジェクターによって投射された、当該投射画像上の位置を特定するための位置特定用画像を撮影部に撮影させる撮影制御部と、前記位置特定用画像の撮影画像に基づき、前記投射画像上の位置と、前記撮影画像上の位置とを対応付ける位置特定部と、前記撮影画像に対する操作を検出する操作検出部と、前記操作検出部により検出した操作内容を、前記位置特定部による対応付けに従って、前記投射画像上の位置で表す指示情報に変換する指示情報変換部と、前記指示情報を送信装置により前記プロジェクターに送信させる送信制御部と、を備えることを特徴とする。
本発明の構成によれば、携帯機器の操作により、投射画像に対する幾何補正を指示することができる。
【００１６】
本発明のプログラムは、コンピューターに、投射画像を投射するプロジェクターによって投射された、当該投射画像上の位置を特定するための位置特定用画像を撮影部に撮影させる撮影手順と、前記位置特定用画像の撮影画像に基づき、前記投射画像上の位置と、前記撮影画像上の位置とを対応付ける対応づけ手順と、前記撮影画像に対する操作を検出する検出手順と、前記検出手順により検出した操作内容から、前記対応付け手順による対応付けに従って、前記投射画像上の位置で表す指示情報を生成する生成手順と、前記指示情報を送信装置により前記プロジェクターに送信させる送信手順と、を実行させることを特徴とする。
本発明の構成によれば、携帯機器の操作により、投射画像に対する幾何補正を指示することができる。
【００１７】
本発明の携帯機器の制御方法は、投射画像を投射するプロジェクターによって投射された、当該投射画像上の位置を特定するための位置特定用画像を撮影部に撮影させる撮影ステップと、前記位置特定用画像の撮影画像に基づき、前記投射画像上の位置と、前記撮影画像上の位置とを対応付ける対応づけステップと、前記撮影画像に対する操作を検出する検出ステップと、前記検出ステップにより検出した操作内容から、前記対応付けステップによる対応付けに従って、前記投射画像上の位置で表す指示情報を生成する生成ステップと、前記指示情報を送信装置により前記プロジェクターに送信させる送信ステップと、を有することを特徴とする。
本発明の構成によれば、携帯機器の操作により、投射画像に対する幾何補正を指示することができる。
【発明の効果】
【００１８】
本発明によれば、携帯機器の操作により、投射画像に対する幾何補正を指示することができる。
【図面の簡単な説明】
【００１９】
【図１】プロジェクターを構成する各部の機能ブロック図である。
【図２】座標検出用画像の一例を示す図である。
【図３】携帯端末を構成する各部の機能ブロック図である。
【図４】（Ａ）は、投射物体に第１投射画像が投射された状態を示し、（Ｂ）は、投射物体に第２投射画像が投射された状態を示す図である。
【図５】対応テーブルの一例を示す図である。
【図６】（Ａ）は、ドラッグ・アンド・ドロップの操作を行っている様子を示す図であり（Ｂ）は、ドラッグ・アンド・ドロップの操作後に表示される画像を示す図である。
【図７】（Ａ）は、投射物体の一例を示す図であり、（Ｂ）は、投射物体に投射する第１投射画像の一例を示す図である。
【図８】（Ａ）は、第１投射画像を投射物体に投射した状態を示す図であり、（Ｂ）は、携帯端末の撮影範囲を示す図である。
【図９】（Ａ）は、ドラッグ・アンド・ドロップの操作を行っている様子を示す図であり（Ｂ）は、ドラッグ・アンド・ドロップの操作後に表示される画像を示す図である。
【図１０】（Ａ）は、幾何補正前の投射画像及び投射物体を示す図であり、（Ｂ）は、幾何補正後の投射画像及び投射物体を示す図である。
【図１１】プロジェクターの処理手順を示すフローチャートである。
【図１２】プロジェクターの処理手順の続きを示すフローチャートである。
【図１３】携帯端末の処理手順を示すフローチャートである。
【図１４】携帯端末の処理手順の続きを示すフローチャートである。
【発明を実施するための形態】
【００２０】
［第１実施形態］
以下、添付図面を参照しながらプロジェクションシステムの実施形態について説明する。まず、図１を参照しながらプロジェクター１の構成について説明する。図１に、プロジェクター１の全体構成の一例を示す。プロジェクションシステムは、プロジェクター１と、携帯端末７０とを備えている。プロジェクター１は、パーソナルコンピューターや各種映像プレーヤー等の外部の画像供給装置１００に接続され、この画像供給装置１００から入力される入力画像データＤ（補正対象画像）に基づく画像を投射物体に投射して表示する装置である。画像供給装置１００としては、ビデオ再生装置、ＤＶＤ（Digital Versatile Disk）再生装置、テレビチューナー装置、ＣＡＴＶ（Cable television）のセットトップボックス、ビデオゲーム装置等の映像出力装置、パーソナルコンピューター等が挙げられる。また、投射物体は、建物や模型など、一様に平らではない物体であってもよいし、スクリーンＳＣ等の平らな投射面を有するものであってもよい。
また、携帯端末７０には、スマートフォン、携帯電話、タブレットＰＣやＰＤＡ等が含まれる。
【００２１】
プロジェクター１は、画像供給装置１００に接続するインターフェイスとして、Ｉ／Ｆ（インターフェイス）部２４を備える。Ｉ／Ｆ部２４には、例えば、デジタル映像信号が入力されるＤＶＩインターフェイス、ＵＳＢインターフェイス、ＬＡＮインターフェイス等を用いることができる。また、Ｉ／Ｆ部２４には、例えば、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ等のコンポジット映像信号が入力されるＳ映像端子、コンポジット映像信号が入力されるＲＣＡ端子、コンポーネント映像信号が入力されるＤ端子等を用いることができる。さらに、Ｉ／Ｆ部２４には、ＨＤＭＩ（登録商標）規格に準拠したＨＤＭＩコネクター等の汎用インターフェイスを用いることができる。また、Ｉ／Ｆ部２４は、アナログ映像信号をデジタル画像データに変換するＡ／Ｄ変換回路を有し、ＶＧＡ端子等のアナログ映像端子により画像供給装置３００に接続される構成としてもよい。なお、Ｉ／Ｆ部２４は、有線通信によって画像信号の送受信を行ってもよく、無線通信によって画像信号の送受信を行ってもよい。
【００２２】
プロジェクター１は、大きく分けて光学的な画像の形成を行う表示部１０と、この表示部１０により表示する画像を電気的に処理する画像処理系とを備えている。まず、表示部１０について説明する。
【００２３】
表示部１０は、光源部１１、光変調装置１２及び投射光学系１３を備える。
光源部１１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）等からなる光源を備えている。また、光源部１１は、光源が発した光を光変調装置１２に導くリフレクター及び補助リフレクターを備えていてもよい。また、光源部１１は、投射光の光学特性を高めるためのレンズ群（不図示）、偏光板、或いは光源が発した光の光量を光変調装置１２に至る経路上で低減させる調光素子等を備えたものであってもよい。
光変調装置１２は、光源部１１から射出された光を画像データに基づいて変調する変調手段に相当する。光変調装置１２は、液晶ライトバルブを用いた構成とする。光変調装置１２は、複数の画素をマトリクス状に配置した透過型液晶パネルを備え、これら複数の画素により画像を形成し、形成した画像によって光源が発した光を変調する。光変調装置１２は、光変調装置駆動部２３によって駆動され、マトリクス状に配置された各画素における光の透過率を変化させることにより、画像を形成する。
投射光学系１３は、投射する画像の拡大・縮小及び焦点の調整を行うズームレンズ、ズームの度合いを調整するズーム調整用モーター、フォーカスの調整を行うフォーカス調整用モーター等を備えている。投射光学系１３は、光変調装置１２で変調された光を、ズームレンズを用いて投射物体に投射して結像させる。
【００２４】
表示部１０には、投射光学系駆動部２１、光源駆動部２２及び光変調装置駆動部２３が接続されている。
投射光学系駆動部２１は、制御部３０の制御に従って投射光学系１３が備える各モーターを駆動する。光源駆動部２２は、制御部３０の制御に従って光源部１１が備える光源を駆動する。光変調装置駆動部２３は、制御部３０の制御に従って光変調装置１２を駆動する。
【００２５】
プロジェクター１は、画像生成部５６を備えている。画像生成部５６は、制御部３０の指示により座標検出用画像（位置特定用画像）を生成する。画像生成部５６は、生成した座標検出用画像を画像処理部２５に渡す。座標検出用画像には、当該座標検出用画像を画像解析することで、座標検出用画像上の位置を特定可能な画像が形成されている。図２に、座標検出用画像の一例を示す。座標検出用画像には、画像上の位置を特定するための基準となる縦横の線（以下、グリッド線という）がそれぞれ所定間隔をおいて形成されている。なお、以下では、座標検出用画像の横方向をＸ軸方向、縦方向をＹ軸方向と表記する。また、Ｘ軸方向に形成されたグリッド線には、当該グリッド線のＹ軸方向における座標値が数字で示されている。同様に、Ｙ軸方向に形成されたグリッド線には、当該グリッド線のＸ軸方向の座標値が数字で示されている。例えば、図２に示す点Ｐの位置は、（Ｘ，Ｙ）＝（１０８８，５４４）となる。
なお、図２には、座標検出用画像上の座標値を数値で示したが、座標が特定できれば、数値で示す必要はない。例えば、色や図形の形状によって座標値を表してもよい。
【００２６】
プロジェクター１の画像処理系は、プロジェクター１の全体を統合的に制御する制御部３０を中心に構成される。プロジェクター１は、制御部３０が処理するデータや制御部３０が実行する制御プログラムを記憶した記憶部５４を備える。また、プロジェクター１は、リモコン５による操作を検出するリモコン受光部５２を備え、操作パネル５１及びリモコン受光部５２を介した操作を検出する入力処理部５３を備えている。
記憶部５４は、フラッシュメモリー、ＥＥＰＲＯＭ等の不揮発性のメモリーである。制御部３０は、記憶部５４に記憶された制御プログラムを読み出して実行することにより、プロジェクター１の各部を制御する。また、制御部３０は、記憶部５４が記憶する制御プログラムを実行することにより、投射制御部３１、補正制御部３２、通知制御部３３の機能を実行する。
【００２７】
投射制御部３１は、投射光学系駆動部２１、光源駆動部２２、光変調装置駆動部２３及び画像処理部２５を制御して、投射物体に画像を投射させる。また、投射制御部３１は、入力画像データＤに基づく画像と、画像生成部５６により生成された座標検出用画像に基づく画像とを所定時間ごとに交互に投射物体に投射させる。なお、以下では、入力画像データＤに基づいて投射物体上に投射される画像を第１投射画像という。また、座標検出用画像に基づいて投射物体上に投射される画像を第２投射画像という。また、第２投射画像は、第１投射画像と同等かそれよりも大きなサイズで投射物体に投射される。すなわち、第２投射画像は、第１投射画像の位置を特定するための画像であるため、第１投射画像が投射された投射物体上の範囲と一致するように、第２投射画像が投射されるのが好ましい。
【００２８】
補正制御部３２は、例えば、幾何補正の開始を指示する開始コマンドを携帯端末７０から受信すると、画像生成部５６に、座標検出用画像の生成を指示する。また、補正制御部３２は、携帯端末７０から送信される指示情報に基づいて、入力画像データＤ及び座標検出用画像の幾何補正を画像処理部２５に指示する。
【００２９】
通知制御部３３は、携帯端末７０に、撮影を指示する指示コマンドを生成する。通知制御部３３は、投射物体に投射される画像が切り替わるタイミングに基づいて、指示コマンドを生成する。指示コマンドには、投射物体に第１投射画像が投射されている際に発行される第１指示コマンドと、投射物体に第２投射画像が投射されている際に発行される第２指示コマンドとが含まれる。通知制御部３３は、生成した指示コマンドを、無線通信部５５を介して携帯端末７０に送信する。
【００３０】
プロジェクター１の本体には、ユーザーが操作を行うための各種スイッチ及びインジケーターランプを備えた操作パネル５１が配置されている。操作パネル５１は、入力処理部５３に接続されている。入力処理部５３は、制御部３０の制御に従い、プロジェクター１の動作状態や設定状態に応じて操作パネル５１のインジケーターランプを適宜点灯或いは点滅させる。操作パネル５１のスイッチが操作されると、操作されたスイッチに対応する操作信号が入力処理部５３から制御部３０に出力される。
また、プロジェクター１は、ユーザーが使用するリモコン５を有する。リモコン５は各種のボタンを備えており、これらのボタンの操作に対応して赤外線信号を送信する。プロジェクター１の本体には、リモコン５が発する赤外線信号を受光するリモコン受光部５２が配置されている。リモコン受光部５２は、リモコン５から受光した赤外線信号をデコードして、リモコン５における操作内容を示す操作信号を生成し、制御部３０に出力する。
【００３１】
画像処理部２５は、制御部３０の制御に従って入力画像データＤを取得し、入力画像データＤについて、画像サイズや解像度、静止画像か動画像であるか、動画像である場合はフレームレート等の属性などを判定する。そして、画像処理部２５は、フレーム毎にフレームメモリー２６に画像を展開する。また、画像処理部２５は、取得した入力画像データＤの解像度が光変調装置１２の液晶パネルの表示解像度と異なる場合には解像度変換処理を行う。また、リモコン５や操作パネル５１の操作によりズームが指示された場合には拡大処理又は縮小処理を行って、これらの処理後の画像をフレームメモリー２６に展開する。その後、画像処理部２５は、フレームメモリー２６に展開したフレーム毎の画像を表示信号として光変調装置駆動部２３に出力する。
また、画像処理部２５は、補正部２５１を備えている。補正部２５１は、補正制御部３２の指示に従って、フレームメモリー２６に展開された入力画像データＤと座標検出用画像との幾何補正を行う。幾何補正処理の詳細については、例えば、特開２０１３−７８００１号公報に開示がある。画像処理部２５は、幾何補正後の入力画像データＤ及び座標検出用画像を光変調装置駆動部２３に渡す。
【００３２】
また、プロジェクター１は、無線通信部５５を備える。無線通信部５５は、図示しないアンテナやＲＦ（Radio Frequency）回路等を備え、制御部３０の制御の下、携帯端末７０との間で無線通信規格に準拠して通信する。プロジェクター１と携帯端末７０とは、無線通信方式によって各種データを送受信可能に接続されている。この無線通信方式には、例えば無線ＬＡＮ（Local Area Network）、Bluetooth（登録商標）、ＵＷＢ（Ultra Wide Band)、赤外線通信等の近距離無線通信方式や、携帯電話回線を利用した無線通信方式を採用することができる。無線通信部５５は、制御部３０から渡された指示コマンドを携帯端末７０に送信し、又は携帯端末７０から送信される指示情報を受信して、制御部３０に渡す。
【００３３】
次に、図３を参照しながら携帯端末７０の構成について説明する。
携帯端末７０は、無線通信部７１、撮像部７２、表示部７３、操作入力部７４、記憶部７５及び制御部８０及びメモリー８１を備え、これら各部が、バス９０により相互接続されている。なお、携帯端末７０は、図３に示す構成以外に、音声出力用のスピーカー、音声入力用のマイク、マイクにより入力した音声信号及びスピーカーに出力する音声信号を音声処理する音声処理部等を備えていてもよい。
【００３４】
無線通信部７１は、図示しないアンテナやＲＦ（Radio Frequency）回路等を備え、制御部８０の制御の下、プロジェクター１との間で無線通信規格に準拠して通信する。無線通信部７１は、プロジェクター１から送信された指示コマンドを受信して制御部８０に渡し、また、制御部８０から渡された指示情報をプロジェクター１に送信する。
【００３５】
撮像部７２は、制御部８０の制御に従って撮影を実行し、撮影した撮影画像データを制御部８０に出力する。
【００３６】
表示部７３は、液晶ディスプレイ等の表示パネル７３１を備える。表示部７３は、制御部８０から入力した制御信号と画像信号とに基づいて各種駆動回路を駆動して、表示パネル７３１に画像を表示する。表示パネルは、液晶ディスプレイに限らず、有機ＥＬ（electro-luminescence）ディスプレイ等、他の表示装置から構成されてもよい。
【００３７】
操作入力部７４は、指、タッチペン等の指示体の表示部７３への接触を検出するタッチセンサー等を備えている。タッチセンサーは、表示部７３の備える表示パネル７３１に一体的に形成されることにより、タッチパネルを構成している。タッチセンサーは、静電容量式、超音波式、感圧式、抵抗膜式、光検知式等、各種のタッチセンサーであってよい。操作入力部７４は、指示体が触れた表示パネル７３１面上の位置を入力位置として検出し、検出した入力位置に応じた位置信号を制御部８０へ出力する。
【００３８】
記憶部７５は、制御部８１のＣＰＵが実行するオペレーティングシステム、アプリケーションプログラム等の制御プログラムや、制御部８１により処理されるデータを不揮発的に記憶する。
【００３９】
メモリー８１は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等の記憶装置である。制御部８１は、ＣＰＵ（Central Processing Unit：不図示）を備え、記憶部７５に記憶したオペレーティングシステムをＣＰＵが実行することにより、携帯端末７０を制御する。また、制御部８１は、不揮発性の記憶装置である記憶部７５に記憶された各種のアプリケーションプログラムを実行することにより、撮影制御部８０１、位置特定部８０２、表示制御部８０３、指示情報生成部８０４の各機能を実行する。
【００４０】
撮影制御部８０１は、プロジェクター１から送信された指示コマンドに従って撮像部７２を制御し、投射物体に投射された投射画像を撮影する。
ユーザーは、図４（Ａ）に示すように、投射物体に第１投射画像が投射されると、携帯端末７０を操作して、第１投射画像の幾何補正を行いたい範囲が撮影されるように撮像部７２を設定する。撮像部７２の撮影範囲は、第１投射画像の一部であっても、又は全部であってもよく、幾何補正を行いたい範囲が含まれる範囲であればよい。その後、プロジェクター１から送信される第１指示コマンドに従って撮影制御部８０１が撮像部７２を制御し、設定された撮影範囲を撮影する。また、第１投射画像の投射から所定時間を経過すると、プロジェクター１の制御により、投射物体に投射される投射画像が、第１投射画像から第２投射画像に切り替わる（図４（Ｂ）参照）。ユーザーは、携帯端末７０を動かさないように保持していれば、プロジェクター１から送信される第２指示コマンドを受信した携帯端末７０の撮影制御部８０１が、投射物体に投射された第２投射画像を撮影する。第２投射画像を撮影した撮影画像データは、第１投射画像を撮影した撮影画像データと同じ撮影範囲で撮影される。
撮影制御部８０１は、第１指示コマンドを無線通信部７１から入力した場合には、撮像部７２に撮影を行わせて、撮影された撮影画像データをメモリー８１に記憶させると共に、表示制御部８０３に渡す。撮影画像データは、表示制御部８０３の制御により表示パネル７３１に表示される。なお、以下では、第１指示コマンドを受信した場合に撮影された画像データを、第１撮影画像データと呼ぶ。第１撮影画像データは、第１投射画像、すなわち、入力画像データＤに基づく画像を投射物体に投射した画像である。
また、撮影制御部８０１は、第２指示コマンドを無線通信部７１から入力した場合には、撮像部７２に撮影を行わせて、撮影された撮影画像データをメモリー８１に記憶させる。なお、以下では、第２指示コマンドを受信した場合に撮影された画像データを、第２撮影画像データと呼ぶ。第２撮影画像データは、第２投射画像、すなわち、座標検出用画像に基づく画像を投射物体に投射した画像である。
【００４１】
位置特定部８０２は、メモリー８１に記憶された、第２撮影画像データを画像解析して、第２投射画像上の各格子点の座標値を求める。
座標検出用画像上には、図２に示すように、各格子点のＸ軸方向、Ｙ軸方向の座標値が数字で示されている。位置特定部８０２は、第２撮影画像データを座標解析して、第２撮影画像データに記録された数字を解析し、第２投射画像上の各格子点の座標値を求める。以下では、求めた各格子点の座標値を元画座標値という。また、位置特定部８０２は、元画座標値を撮像座標に対応付ける処理を行う。撮像座標とは、撮像部７２が備える固体撮像素子の座標系である。固体撮像素子は、複数の撮像素子（受光素子）を水平方向及び垂直方向に２次元に配置した構造を有している。撮像座標は、固体撮像素子の備える各受光素子を識別する、水平方向及び垂直方向の座標を表している。位置特定部８０２は、格子点の元画座標値を、当該格子点を撮影した撮像素子の撮像座標での座標値（以下、撮影座標値という）に対応付ける。例えば、図４に示す点Ｐの元画座標値は、（Ｘ，Ｙ）=（１０８８，５４４）であるが、この点Ｐの中心が撮像部７２の座標（ｘ，ｙ）＝（１００，１００）に位置する撮像素子によって撮影されたとする。この場合、点Ｐの撮像座標は、（ｘ，ｙ）＝（１００，１００）となる。位置特定部８０２は、各格子点の元画座標値を、撮像座標の座標値に対応付けることで、対応テーブルを作成する。図５に対応テーブルの一例を示す。
なお、本実施形態では、元画座標を、撮像素子を特定する撮像座標に対応付けていたが、第２撮影画像データを記憶するメモリー８１のアドレスに対応付けることもできる。
【００４２】
表示制御部８０３は、表示部７３に制御信号と画像信号とを出力して、表示パネル７３１の表示を制御する。表示制御部８０３の制御により、第１投射画像を撮影した第１撮影画像データが表示パネル７３１に表示される。
【００４３】
指示情報生成部８０４は、操作入力部７４から入力した位置信号に基づいて、第２投射画像上の位置、すなわち、元画座標値で示される位置を特定する。この処理について具体的に説明する。
表示部７３の表示パネル７３１には、表示制御部８０３の制御により第１撮影画像データが表示されている。ユーザーは、第１撮影画像データ、すなわち、第１投射画像を見ながら、幾何補正を行いたい位置の指示をタッチ操作により行う。操作入力部７４は、ユーザーによってタッチされた表示パネル７３１上の位置を示す位置信号を生成して、制御部８０に出力する。例えば、ユーザーが表示パネル７３１上で、ドラッグ・アンド・ドロップの操作を行ったとする。この場合、操作入力部７４は、ユーザーが最初にタッチした位置（以下、Ｑ１という）を示す位置信号と、ドラッグ後のドロップの操作によりポインティングデバイスを離した位置（以下、Ｑ２という）を示す位置信号とを生成する。そして、操作入力部７４は、生成したＱ１、Ｑ２の位置信号と共に、ドラッグ・アンド・ドロップの操作を示す信号を制御部８０に出力する。図６（Ａ）に、携帯端末７０の表示パネル７３１に表示された第１撮影画像データに対して、ユーザーがドラッグ・アンド・ドロップの操作を行っている様子を示す。図６（Ａ）に示すドラッグ・アンド・ドロップの操作により、携帯端末７０の表示パネル７３１に表示された第１撮影画像データの状態が、図６（Ｂ）に示すように変化する。
【００４４】
指示情報生成部８０４は、入力したＱ１、Ｑ２の位置信号によりタッチされた表示パネル７３１上の位置をそれぞれに認識する。次に、指示情報生成部８０４は、位置信号により示された表示パネル７３１上の各位置に表示された第１撮影画像データの画素の撮影座標値をＱ１、Ｑ２それぞれ特定する。第１撮影画像データ上の撮影座標値を特定することで、対応する第２撮影画像データ上の撮影座標値が特定される。第１撮影画像データと第２撮影画像データとは、撮影範囲等の撮像部７２の設定を変更せずに撮影された画像データであるため、第１撮影画像データの撮影座標値を特定することで、対応する第２撮影画像データの撮影画像値を特定することができる。次に、指示情報生成部８０４は、図５に示す対応テーブルを参照して、特定した撮影座標値を、元画座標値に変換する。なお、ユーザーによりタッチされた位置に相当する撮影座標値及び元画座標値が対応テーブルに登録されていない場合、指示情報生成部８０４は、対応テーブルに記録された撮影座標値及び元画座標値を補間処理して、対応するＱ１及びＱ２の元画座標値を求める。指示情報生成部８０４は、変換したＱ１及びＱ２の元画座標値を表す指示情報を生成して、無線通信部７１に出力する。指示情報は、無線通信部７１によりプロジェクター１に送信される。
【００４５】
図７（Ａ）に示す投射物体に、図７（Ｂ）に示す第１投射画像を投射させる場合について説明する。なお、投射物体と、第１投射画像とを区別するため、投射物体を実線で示し、第１投射画像を点線で示す。図８（Ａ）に、投射物体に第１投射画像を投射した状態を示す。第１投射画像の頂点の１つが、対応する投射物体の頂点からズレて投射されている。ユーザーは、第１投射画像のズレを補正するために、ズレを補正したい範囲が撮影範囲に含まれるように携帯端末７０の撮像部７２を調整する。図８（Ｂ）に、撮像部７２の撮影範囲を実線で示す。携帯端末７０は、プロジェクター１から送信される第１指示コマンドと、第２指示コマンドとに従って投射物体に投射された第１投射画像と第２投射画像とを撮影する。第１投射画像と第２投射画像とが撮影されると、携帯端末７０は、表示パネル７３１に第１投射画像を表示させる。表示パネル７３１に第１撮影画像データが表示された状態で、ユーザーは、図９（Ａ）に示すように移動させたい位置（Ｑ１：移動元位置）に指をドラッグし、ドラッグした指を移動させる位置（Ｑ２：移動先位置）でドロップする。これにより、携帯端末７０の表示パネル７３１上では、図９（Ｂ）に示すようにドラッグ位置の画像が、ドロップ位置に移動するように第１投射画像が補正される。また、携帯端末７０は、プロジェクター１に、ドラッグ位置Ｑ１及びドロップ位置Ｑ２の元画座標値を送信する。プロジェクター１は、携帯端末７０から受信した元画座標値に基づいて入力画像データＤ及び座標検出用画像を幾何補正し、幾何補正後の画像を投射物体に投射する。これにより、図１０(Ａ）に示すように第１投射画像の頂点の１つが、対応する投射物体の頂点からズレて投射されていた状態から、図１０（Ｂ）に示すように第１投射画像の頂点が投射物体の頂点に一致した状態に補正される。
【００４６】
次に、図１１及び図１２に示すフローチャートを参照しながらプロジェクター１の処理手順を説明する。
制御部３０は、まず、幾何補正の開始を指示する開始コマンドを携帯端末７０から受信したか否かを判定する（ステップＳ１）。開始コマンドを受信した場合（ステップＳ１；Ｙｅｓ）、制御部３０は、動作モードを幾何補正モードに変更し（ステップＳ２）、座標検出用画像を生成する（ステップＳ３）。なお、ステップＳ３の処理は、制御部３０の画像生成部５６による制御によって行われる。
【００４７】
次に、制御部３０は、第１投射画像を投射物体に投射する（ステップＳ４）。第１投射画像を投射すると、制御部３０は、第１投射画像の撮影を指示する第１指示コマンドを生成して、携帯端末７０に送信する（ステップＳ５）。また、制御部３０は、第１投射画像を投射物体に投射してからの経過時間を計時し、経過時間が所定時間を経過したか否かを判定する（ステップＳ６）。所定時間を経過したと判定すると（ステップＳ６；Ｙｅｓ）、制御部３０は、第１投射画像に代えて第２投射画像を投射物体に投射する（ステップＳ７）。第２投射画像を投射すると、制御部３０は、第２投射画像の撮影を指示する第２指示コマンドを携帯端末７０に送信する（ステップＳ８）。第２投射画像が投射物体に投射されると、制御部３０は、携帯端末７０から送信される情報を受信しているか否かを判定する（ステップＳ９）。情報を受信していない場合（ステップＳ９；Ｎｏ）、制御部３０は、第２投射画像を投射してからの経過時間が所定時間を経過したか否かを判定する（ステップＳ１０）。所定時間を経過していない場合（ステップＳ１０；Ｎｏ）、制御部３０は、ステップＳ９に戻り、携帯端末７０から送信される情報を受信したか否かを判定する（ステップＳ９）。また、所定時間を経過した場合（ステップＳ１０；Ｙｅｓ）、制御部３０は、ステップＳ４に戻り、第１投射画像の投射物体への投射を再度行う（ステップＳ４）。なお、ステップＳ４〜Ｓ１０の処理は、制御部３０の投射制御部３１による制御によって行われる。
【００４８】
次に、ステップＳ９において携帯端末７０から情報を受信した場合の処理手順について、図１２に示すフローチャートを参照しながら説明する。
携帯端末７０から情報を受信した場合(ステップＳ９；Ｙｅｓ)、制御部３０は、受信した情報が指示情報であるか否かを判定する（ステップＳ１１）。受信した情報が指示情報である場合（ステップＳ１１；Ｙｅｓ）、制御部３０は、指示情報に含まれるＱ１及びＱ２の元画座標値に基づいて入力画像データＤ及び座標検出用画像の幾何補正を行う（ステップＳ１２）。入力画像データＤと座標検出用画像との両方の幾何補正を行うことで、入力画像データＤと座標検出用画像との座標系が異なってしまわないようにしている。入力画像データＤと座標検出用画像との座標系が異なってしまうと、次に幾何補正を行ったときに、Ｑ１とＱ２との正確な座標が求められなくなる。なお、ステップＳ１２の処理は、制御部３０の補正制御部３２による制御によって行われる。また、受信した情報が指示情報ではない場合（ステップＳ１１；Ｎｏ）、制御部３０は、受信した情報が幾何補正を終了させる終了コマンドであるか否かを判定する（ステップＳ１３）。受信した情報が終了コマンドである場合（ステップＳ１３；Ｙｅｓ）、制御部３０は、動作モードを、幾何補正モードから通常モードに変更する（ステップＳ１４）。通常モードでは、第１投射画像と第２投射画像とを交互に投射物体に投射するのではなく、入力画像データＤに基づく第１投射画像を、投射物体に投射する。また、受信した情報が終了コマンドではなかった場合（ステップＳ１３；Ｎｏ）、制御部３０は、受信した情報に応じた処理を行い、図１１示すステップＳ４の処理に移行する。
【００４９】
次に、携帯端末７０の処理手順について、図１３及び図１４に示すフローチャートを参照しながら説明する。
携帯端末７０の制御部８１は、まず、操作入力部７４により操作を入力したか否かを判定する（ステップＳ２１）。操作を入力した場合（ステップＳ２１；Ｙｅｓ）、制御部８１は、入力した操作が、幾何補正の開始を指示する操作であるか否かを判定する（ステップＳ２２）。幾何補正の開始操作である場合（ステップＳ２２；Ｙｅｓ）、制御部８１は、開始コマンドをプロジェクター１に送信する（ステップＳ２６）。また、制御部８１は、表示部７３に、「幾何補正を行いたい部分が撮影されるように、カメラの撮影範囲を設定して下さい。」といったメッセージを表示させる。その後、制御部８１は、プロジェクター１から指示コマンドを受信したか否かを判定する（ステップＳ２７）。プロジェクター１から指示コマンドを受信した場合（ステップＳ２７；Ｙｅｓ）、制御部８１は、受信したコマンドが第１指示コマンドであるか否かを判定する（ステップＳ２８）。受信したコマンドが、第１指示コマンドである場合（ステップＳ２８；Ｙｅｓ）、制御部８１は、撮影制御部８０１の制御により、投射物体に投射された第１投射画像を撮影する（ステップＳ２９）。このとき、撮像部７２によって撮影される第１撮影画像データは、投射物体に投射された第１投射画像の全体であってもよいし、第１投射画像のうちの幾何補正を行いたい範囲が含まれる一部であってもよい。制御部８１は、撮影された第１撮影画像データをメモリー８１に記憶させると共に、表示制御部８０３の制御により、表示パネル７３１に表示させる。
【００５０】
また、ステップＳ２８において、受信したコマンドが第１指示コマンドではないと判定すると（ステップＳ２８；Ｎｏ）、制御部８１は、受信したコマンドが第２指示コマンドであるか否かを判定する（ステップＳ３０）。制御部８１は、受信したコマンドが第２指示コマンドであると判定すると（ステップＳ３０；Ｙｅｓ）、制御部８１は、投射物体に投射された第２投射画像を撮影する（ステップＳ３１）。このときに撮影された第２撮影画像データは、第１撮影画像と同一範囲の画像データであることが好ましい。すなわち、第１撮影画像データと第２撮影画像データとが撮影される間、携帯端末７０のカメラは、できるだけ動かさないようにしていることが好ましい。このため、携帯端末７０の表示部７３に、「携帯端末７０をできるだけ動かさないで下さい。」といったメッセージを表示させてもよい。なお、ステップＳ２６〜Ｓ３１の処理は、制御部８１の撮影制御部８０１による制御によって行われる。
【００５１】
第１撮影画像データと、第２撮影画像データとが撮影されると（ステップＳ３３）、制御部８１は、元画座標値を算出する（ステップＳ３４）。この処理の詳細については、図１４に示すフローチャートを参照しながら説明する。元画座標値を算出すると、制御部８１は、算出した元画座標値を含む指示情報を生成する。制御部８１は、指示情報生成部８０４の制御により、生成した指示情報を、無線通信部７１を介してプロジェクター１に送信する（ステップＳ３５）。
【００５２】
次に、図１４に示すフローチャートを参照しながら、元画座標値を算出する処理について説明する。
まず、制御部８１は、第２撮影画像データを解析して、撮影された第２投射画像上の各格子点の座標値を求める（ステップＳ３４１）。第２投射画像には、図２に示すように、第２投射画像上の座標値が数値で記録されている。位置特定部８０２は、画像解析により第２撮影画像データに撮影された数値を解析して、第２投射画像上の各格子点の座標値（元画座標値）を求める。第２投射画像上の各格子点の元画座標値が求められると、制御部８１は、特定した各格子点を撮影した撮像素子の座標値（撮像座標値）を求める。位置特定部８０２は、特定した格子点の元画座標値と、撮像座標値とを対応付けて対応テーブルに登録する（ステップＳ３４２）。なお、ステップＳ３４１、Ｓ３４２の処理は、制御部８１の位置特定部８０２による制御によって行われる。
【００５３】
次に、制御部８１は、第１撮影画像データを表示パネル７３１に表示させる（ステップＳ３４３）。この制御は、表示制御部８０３の制御によって行われる。
【００５４】
第１撮影画像データを表示パネル７３１に表示させると、制御部８１は、操作入力部７４から出力される信号を監視して、表示パネル７３１に対するユーザーの操作入力を検出したか否かを判定する（ステップＳ３４４）。ユーザーは、表示パネル７３１に表示された第１撮影画像データを参照しながら、幾何補正を行いたい位置をドラッグ・アンド・ドロップの操作により指定する。
【００５５】
操作入力が検出されると、制御部８１は、ユーザーにより選択された表示パネル７３１上の位置を検出する。例えば、ユーザーが指でドラッグ・アンド・ドロップの操作を行った場合、操作入力部７４は、ユーザーが最初にタッチした位置Ｑ１を示す位置信号と、ドラッグ後のドロップの操作により指を離した位置Ｑ２を示す位置信号とを制御部８１に出力する。制御部８１は、入力した位置信号によりタッチされた表示パネル７３１上のＱ１，Ｑ２の位置を特定し、特定した位置Ｑ１，Ｑ２にそれぞれ表示した第１撮影画像データの画素を特定して、撮影座標値を求める（ステップＳ３４５）。撮影座標値を求めると、制御部８１は、図５に示す対応テーブルを参照して、第２投射画像上の元画座標値を求める（ステップＳ３４６）。第１撮影画像データと第２撮影画像データとは、撮影範囲等の撮像部７２の設定を変更せずに撮影された画像データであるため、第１撮影画像データの撮影座標値を第２撮影画像データの撮影画像値と判断することができる。制御部８１は、求めた元画座標値を含む指示情報を生成して、無線通信部７１に出力する。なお、ステップＳ３４４〜Ｓ３４６の処理は、指示情報生成部８０４の制御により行われる。指示情報は、無線通信部７１によりプロジェクター１に送信される。
【００５６】
［第２実施形態］
次に、第２実施形態について説明する。なお、プロジェクター１及び携帯端末７０の構成は、上述した第１実施形態の構成とほぼ同一の構成であるため、図示及びその説明を省略する。
本実施形態のプロジェクター１は、第１実施形態のように第１投射画像と第２投射画像とを交互に投射物体に投射するのではない。本実施形態では、画像生成部５６が、補正制御部３２の制御により座標検出用画像を生成して、入力画像データＤに、生成した座標検出用画像を重畳した画像（以下、重畳画像という）を生成する。画像生成部５６は、生成した重畳画像を画像処理部２５に渡す。重畳画像は、投射制御部３１の制御により投射物体に投射される。また、本実施形態は、第１投射画像と第２投射画像とを交互に投射するものではないため、投射制御部３１は、携帯端末７０に撮影タイミングを指示する第１指示コマンドと第２指示コマンドと生成しない。
【００５７】
携帯端末７０は、撮像部７２により、投射物体に投射された投射画像の全体又は一部を所定レートで撮影する。撮像部７２により撮影された撮影画像データは、表示パネル７３１に表示されると共に、メモリー８１に記憶される。位置特定部８０２は、メモリー８１から重畳画像の撮影画像データを取得し、画像解析により座標検出用画像を抽出する。また、位置特定部８０２は、抽出した座標検出用画像を解析して、座標検出用画像の各格子点の座標（元画座標値）を求める。また、位置特定部８０２は、撮影画像データの各格子点を撮影した撮像素子を特定して、撮像素子の座標系での座標値である撮像座標値を求める。位置特定部８０２は、特定した格子点の元画座標値と、撮像座標値とを対応付けて対応テーブルに登録する。以降の処理については、上述した第１実施形態と同一であるため説明を省略する。
【００５８】
（変形例）
画像生成部５６において、入力画像データＤを所定の領域に分割し、分割した各領域の平均輝度を算出するようにしてもよい。画像生成部５６は、算出した各領域の平均輝度と第１の基準値とを比較する。第１の基準値は、平均輝度（階調値）が低いかどうか（つまり、その領域が暗いかどうか）を判断するのに用いられる基準値である。第１の基準値は、最大階調値の半分以下の階調値であることが好ましく、例えば最大階調値の２５％の階調値とすることができる。画像生成部５６は、平均輝度が、第１の基準値よりも低い入力画像データＤの領域には、第２の基準値よりも高い輝度を有する座標検出用画像を重畳する。第２の基準値は、座標検出用画像が認識されやすいように、第１の基準値に対して十分な差があることが好ましい。また、第２の基準値は、最大階調値の半分以上の階調値であることが好ましく、例えば最大階調値の９０％の階調値、又は最大階調値（＝全白）とすることができる。すなわち、第２の基準値には、全白を含む高輝度に対応する範囲が含まれる基準値を用いることができる。
また、画像生成部５６は、算出した各領域の平均輝度と第３の基準値とを比較する。画像生成部５６は、入力画像データＤの平均輝度が第３の基準値よりも明るい領域には、第４の基準値よりも低い輝度を有する座標検出用画像を重畳する。第３の基準値は、平均輝度（階調値）が高いかどうか（つまり、その領域が明るいかどうか）を判断するのに用いられる基準値である。第３の基準値は、最大階調値の半分以上の階調値であることが好ましく、例えば最大階調値の７５％の階調値とすることができる。また、第４の基準値は、座標検出画像が認識されやすいように、第３の基準値に対して十分な差があることが好ましい。最大階調値の半分以下の階調値であることが好ましく、例えば最大階調値の１０％の階調値、又は最低階調値（＝全黒）とすることができる。すなわち、第４の基準値には、例えば、全黒を含む低輝度に対応する範囲が含まれる基準値を用いることができる。プロジェクター１がこのような重畳画像を生成してスクリーンＳＣに投射することにより、携帯端末７０において、座標検出用画像のパターンを抽出しやすくなる。
【００５９】
以上説明したように、本発明の第１実施形態及び第２実施形態のシステムは、プロジェクター１と携帯端末７０とを備えている。プロジェクター１は、表示部１０と、補正部２５１と、制御部３０の投射制御部３１とを備えている。表示部１０は、投射物体に投射画像を投射する。補正部２５１は、携帯端末７０から送信される指示情報に従って、投射物体に投射された画像の幾何補正を行う。投射制御部３１は、投射画像上の位置を特定するための位置特定用画像、及び幾何補正後の投射画像を表示部１０に投射させる。
また、携帯端末７０は、撮像部７２と、操作入力部７４と、位置特定部８０２及び指示情報生成部８０４として機能する制御部８０とを備えている。撮像部７２は、表示部１０によって投射物体に投射された位置特定用画像を撮影する。制御部８０の位置特定部８０２は、撮像部７２の撮影画像のうち、位置特定用画像を撮影して得られた撮影画像に基づき投射画像上の位置と、第２投射画像上の位置とを対応付ける。操作入力部７４は、撮影画像に対する操作を検出する。指示情報生成部８０４は、位置特定部８０２による対応付けに従って、操作入力部７４により検出した操作内容から、投射画像上の位置で表す指示情報を生成する。無線通信部７１は、指示情報をプロジェクター１に送信する。従って、携帯機器７０の操作により、投射画像に対する幾何補正を指示することができる。
【００６０】
また、撮像部７２は、第２投射画像の一部を撮影し、位置特定部８０２は、第２投射画像の一部を撮影した撮影画像から投射画像上の位置と、撮影画像上の位置とを対応付ける。従って、第２投射画像の一部を撮影して、幾何補正を行う箇所をプロジェクター１に指示することができる。
【００６１】
また、プロジェクター１の投射制御部３１は、投射画像として、幾何補正の対象となる第１投射画像と、第２投射画像とを交互に切り替えて投射光学系１３により投射物体に投射させる。従って、携帯端末７０に、第１投射画像と第２投射画像とを撮影させて、幾何補正を行う位置を、第１投射画像上の位置で表す指示情報を生成させることができる。
【００６２】
また、プロジェクター１は、第１投射画像と第２投射画像とを切り替えるタイミングに基づいて、携帯端末７０に、投射画像の撮影タイミングを通知する通知制御部３３を備えている。また、携帯端末７０は、プロジェクター１から通知された撮影タイミングに従って、撮像部７２に投射画像を撮影させる撮影制御部８０１を備えている。従って、携帯端末７０に、第１投射画像と第２投射画像とを撮影させて、幾何補正を行う位置を示す、第１投射画像上の位置で表す指示情報を生成させることができる。
【００６３】
また、投射制御部３１は、投射画像として、幾何補正の対象となる第１投射画像と、第２投射画像とを重畳した画像を投射光学系１３に投射させる。位置特定部８０２は、撮影画像から第２投射画像を抽出して、投射画像上の位置と、撮影画像上の位置とを対応付ける。従って、一度の撮影により第１投射画像と第２投射画像とを携帯端末７０に撮影させることができ、幾何補正を行うための操作の手間を簡略化することができる。
【００６４】
また、プロジェクター１は、携帯端末７０から受信した情報に基づき、第２投射画像の有するグリッド線の間隔を変更する。従って、携帯端末７０の操作者は、撮影範囲に注意を払う必要がなくなる。
【００６５】
また、携帯端末７０は、撮像部７２によって撮影された撮影画像を表示する表示部７３を備えている。従って、撮像部７２によって撮影された撮影画像を表示部７３に表示することができる。
また、表示部７３は、撮像部７２が第１投射画像を撮影して得られた第１の撮影画像と、撮像部７２が第２投射画像を撮影して得られた第２の撮影画像とのうち、第１の撮影画像のみを表示する。従って、携帯端末７０の操作者は、第１投射画像を撮影した第１の撮影画像の表示を見ながら、投射画像上の位置を指定することができる。
【００６６】
また、上記実施形態において、画像表示装置（プロジェクター１）は、画像を表示する表示部（投射光学系１３）と、外部の装置（携帯端末７０）とデータ通信可能な通信部（無線通信部５５）とを備える。また、画像表示装置は、表示部が画像を表示するタイミングに基づいて、外部の装置が表示画像を撮影するタイミングを決定し、決定した撮影タイミングを指示するデータを通信部によって外部の装置に送信させる制御部（通知制御部３３）と、を備える。外部の装置は、撮影部（撮像部７２）と、画像表示装置が送信するデータを受信する通信部（無線通信部７１）と、通信部により受信したデータで指定されたタイミングで撮影部に撮影させる撮影制御部（撮影制御部８０１）と、を備える。
この構成により、画像表示装置が画像を表示するタイミングに合わせて外部の装置に撮影を実行させることができる。例えば、画像表示装置が画像を切り替えて表示する場合に、切り替えて表示される複数の画像のうち特定の画像を撮影させることができる。
ここで、受信したデータで指定されたタイミングで撮影部が撮影した撮影画像をもとにデータを処理し、データ処理の結果に基づき、画像表示装置を制御するデータを生成して、通信部により画像表示装置に送信してもよい。
【００６７】
上述した実施形態は、本発明の好適な実施形態である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形実施が可能である。
例えば、第１及び第２撮影画像データを撮影する際に、携帯端末７０が、プロジェクター１に、カメラ（撮像部７２）に設定された画角（ズーム）に関する情報を送信してもよい。プロジェクター１は、撮像画像内のグリッド線数がある範囲内に収まるように、グリッド線の間隔を変更する。すなわち、撮像画像内のグリッド線数が所定の本数よりも多ければグリッド線間隔を広げる指示を出し、グリッド線の本数が少なければグリッド線間隔を狭める指示を出す。これにより、ユーザーが撮像範囲を特に気にする必要がなくなる。
【００６８】
また、携帯端末７０の記憶部７５に記憶させたアプリケーションプログラムは、ネットワーク上のサーバー装置等からダウンロードすることで取得してもよい。また、ＵＳＢ（Universal Serial Bus）メモリー等の外部記憶装置に記憶させたものを、携帯端末７０に読み込ませてインストールするものであってもよい。
【符号の説明】
【００６９】
１…プロジェクター、５…リモコン、１０…表示部（投射部）、１３…投射光学系、２５…画像処理部、２６…フレームメモリー、３０…制御部、３１…投射制御部、３２…補正制御部、３３…通知制御部、５４…記憶部、５５…無線通信部、５６…画像生成部、７０…携帯端末、７１…無線通信部、７２…撮像部（撮影部）、７３…表示部、７４…操作入力部（操作検出部）、７５…記憶部、８０…制御部、８１…メモリー、２５１…補正部、７３１…表示パネル、８０１…撮影制御部、８０２…位置特定部、８０３…表示制御部、８０４…指示情報生成部。
【図１】
2015192310.tif 000003
【図２】
2015192310.tif 000004
【図３】
2015192310.tif 000005
【図４】
2015192310.tif 000006
【図５】
2015192310.tif 000007
【図６】
2015192310.tif 000008
【図７】
2015192310.tif 000009
【図８】
2015192310.tif 000010
【図９】
2015192310.tif 000011
【図１０】
2015192310.tif 000012
【図１１】
2015192310.tif 000013
【図１２】
2015192310.tif 000014
【図１３】
2015192310.tif 000015
【図１４】
2015192310.tif 000016