(57)【要約】【課題】設置状態が変更されても、キャリブレーションの成功率を高めることができる表示装置、表示システムおよび表示装置の制御方法を提供する。【解決手段】表示装置は、表示面に画像を投影させて表示する表示部と、前記表示面を撮像する撮像部と、前記表示面と前記表示部との間の距離を測定する測定部と、前記測定部で測定される距離に基づいて、位置検出用のマークを含むキャリブレーション画像を前記表示部に表示させ、前記表示面に表示される前記キャリブレーション画像を前記撮像部に撮像させ、前記撮像部の撮像画像に基づいて、前記画像上の座標と前記撮像画像上の座標とを対応付けるキャリブレーションを実行するキャリブレーション処理部と、を有する。【選択図】図６
2020039082.tif 000002
【特許請求の範囲】
【請求項１】
表示面に画像を投影させて表示する表示部と、
前記表示面を撮像する撮像部と、
前記表示面と前記表示部との間の距離を測定する測定部と、
前記測定部で測定される前記距離に基づいて、位置検出用のマークを含むキャリブレーション画像を前記表示部に表示させ、前記表示面に表示される前記キャリブレーション画像を前記撮像部に撮像させ、前記撮像部で撮像された第１撮像画像に基づいて、前記画像上の位置と前記第１撮像画像上の位置とを対応付けるキャリブレーションを実行するキャリブレーション処理部と、を有する、
表示装置。
【請求項２】
前記表示部は、前記画像の投影に用いる光源を有し、
前記キャリブレーション処理部は、前記測定部で測定される前記距離が短くなるに従い前記光源の輝度を減少させる、
請求項１に記載の表示装置。
【請求項３】
前記測定部で測定される前記距離に基づいて、前記キャリブレーション画像に関する画像情報を生成する画像生成部を有し、
前記キャリブレーション処理部は、前記画像情報に基づいて前記キャリブレーション画像を前記表示部に表示させる、
請求項１または２に記載の表示装置。
【請求項４】
前記キャリブレーション処理部は、前記測定部で測定される前記距離に基づいて、前記撮像部の撮像感度を調整する、
請求項１ないし３のいずれか１項に記載の表示装置。
【請求項５】
前記キャリブレーション処理部は、前記測定部で測定される前記距離に基づいて、前記撮像部の露光時間を調整する、
請求項１ないし４のいずれか１項に記載の表示装置。
【請求項６】
前記測定部は、測定用のマークを含む測定用画像を前記表示部に表示させ、前記表示部に表示される前記測定用画像を前記撮像部に撮像させ、前記撮像部で撮像された第２撮像画像に基づいて、前記表示面と前記表示部との間の距離を測定する、
請求項１ないし５のいずれか１項に記載の表示装置。
【請求項７】
請求項１ないし６のいずれか１項に記載の表示装置と、
前記表示面上の位置を指示する指示体と、を有する、
表示システム。
【請求項８】
表示面に画像を投影させて表示する表示部と前記表示面を撮像する撮像部とを備えた表示装置の制御方法であって、
前記表示面に測定用画像を投影するステップと、
前記測定用画像が表示された前記表示面を撮像するステップと、
前記測定用画像の撮像結果に基づいて、前記表示面と前記表示部との間の距離を測定するステップと、
測定された前記距離に基づいて、キャリブレーション画像を投影するステップと、
前記キャリブレーション画像が投影された前記表示面を撮像するステップと、
前記キャリブレーション画像の撮像結果に基づいて、前記画像上の位置と前記撮像画像上の位置とを対応付けるキャリブレーションを実行するステップと、
を備えた表示装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置、表示システムおよび表示装置の制御方法に関する。
【背景技術】
【０００２】
スクリーン等の表示面に画像を投射により表示し、その状態で、指示体による指示を受け付け可能な表示装置が知られている。この種の表示装置は、表示面を撮像し、その撮像画像を用いて、指示体が指示する表示面上の位置を検出する。この検出の精度を高めるには、一般に、表示面に表示される画像上の位置と撮像画像上の位置とを対応付けるキャリブレーションが必要となる。当該キャリブレーションでは、例えば、特許文献１、２に開示されるように、位置検出用のマークを含むキャリブレーション画像を表示面に投射し、その投射画像を撮像し、その撮像画像を用いて、前述の対応付けを行う。撮像画像からマークを抽出する処理において、マークの形状の歪み等の原因で、キャリブレーション処理が失敗する場合があった。
【０００３】
特許文献２に記載の表示装置では、互いに異なる複数種類のキャリブレーション画像を用意しておき、ある１つのキャリブレーション画像を用いてキャリブレーションが実行される。そのキャリブレーションが失敗すると、その後、他のキャリブレーション画像を用いてキャリブレーションが実行される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１５９５２４号公報
【特許文献２】特開２０１５−１６６８９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、キャリブレーションの条件が表示装置の設置状態に関係なく同じであるため、キャリブレーションが失敗しやすいという課題がある。キャリブレーションを複数回行っても、キャリブレーションの失敗の数に応じて、キャリブレーションに要する時間が長くなってしまう。
【課題を解決するための手段】
【０００６】
以上の課題を解決するために、本発明の好適な態様に係る表示装置は、表示面に画像を投影させて表示する表示部と、前記表示面を撮像する撮像部と、前記表示面と前記表示部との間の距離を測定する測定部と、前記測定部で測定される前記距離に基づいて、位置検出用のマークを含むキャリブレーション画像を前記表示部に表示させ、前記表示面に表示される前記キャリブレーション画像を前記撮像部に撮像させ、前記撮像部で撮像された第１撮像画像に基づいて、前記画像上の位置と前記第１撮像画像上の位置とを対応付けるキャリブレーションを実行するキャリブレーション処理部と、を有する。
【０００７】
本発明の好適な態様に係る表示システムは、前述の態様の表示装置と、前記表示面上の位置を指示する指示体と、を有する。
【０００８】
本発明の好適な態様に係る表示装置の制御方法は、表示面に画像を投影させて表示する表示部と前記表示面を撮像する撮像部とを備えた表示装置の制御方法であって、前記表示面に測定用画像を投影するステップと、前記測定用画像が表示された前記表示面を撮像するステップと、前記測定用画像の撮像結果に基づいて、前記表示面と前記表示部との間の距離を測定するステップと、測定された前記距離に基づいて、キャリブレーション画像を投影するステップと、前記キャリブレーション画像が投影された前記表示面を撮像するステップと、前記キャリブレーション画像の撮像結果に基づいて、前記画像上の位置と前記撮像画像上の位置とを対応付けるキャリブレーションを実行するステップと、を備える。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態に係る表示システムを示す斜視図である。
【図２】第１実施形態に係る表示システムの表示装置および指示体を示すブロック図である。
【図３】表示面上のキャリブレーション画像を例示する図である。
【図４】キャリブレーション画像が表示される表示面を撮像して得られる撮像画像を例示する図である。
【図５】第１実施形態に係る表示装置のキャリブレーション処理を示すフローチャートである。
【図６】表示装置の距離測定処理を示すフローチャートである。
【図７】表示面に表示される測定用画像を例示する図である。
【図８】表示面上のキャリブレーション画像の明るさが適切である場合における撮像画像内のマークの状態を示す図である。
【図９】表示面上のキャリブレーション画像の明るさが明るすぎる場合における撮像画像内のマークの状態を示す図である。
【図１０】測定距離と表示部の光源の輝度との関係の一例を示す図である。
【図１１】第２実施形態に係る表示システムの表示装置および指示体を示すブロック図である。
【図１２】第２実施形態に係る表示装置のキャリブレーション処理を示すフローチャートである。
【図１３】撮像画像内のマークの好ましい形状を示す図である。
【図１４】図１３に示すマークをモデル化してモデル図形として示す図である。
【図１５】図１４に示すモデル図形を表示部の座標系に変換して示す図である。
【図１６】図１５に示すモデル図形に基づくマークを示す図である。
【図１７】表示装置のキャリブレーション画像生成処理を示すフローチャートである。
【図１８】キャリブレーション画像生成処理におけるシミュレーションの様子を模式的に示す図である。
【図１９】キャリブレーション画像生成処理においてパネル座標系でのマークの位置を算出する様子を模式的に示す図である。
【図２０】キャリブレーション画像生成処理においてスクリーンでのマークの位置を算出する様子を模式的に示す図である。
【図２１】キャリブレーション画像生成処理において撮像座標系でのマークの位置を算出する様子を模式的に示す図である。
【図２２】キャリブレーション画像生成処理において撮像座標系でのマークの基準点の位置をパネル座標系でのマークの基準点の位置に変換する様子を模式的に示す図である。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照しながら本発明に係る好適な実施形態を説明する。なお、図面において各部の寸法や縮尺は実際と適宜異なり、理解を容易にするために模式的に示す部分もある。また、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られない。
【００１１】
１．第１実施形態
［１−１．表示システムの概要］
図１は、第１実施形態に係る表示システム１を示す斜視図である。図１に示すように、表示システム１は、表示装置１００と、指示体７０と、を有する。また、表示装置１００は、投射ユニット２００と位置検出ユニット４００とを備えたインタラクティブプロジェクターである。
【００１２】
表示装置１００は、表示面の一例であるスクリーンＳＣに画像光を投影することにより、スクリーンＳＣに投射画像Ｇを表示する。図１に示すスクリーンＳＣは、例えば、幕または壁面等で構成される。なお、スクリーンＳＣの形状は、図１に示す例では平面形状であるが、湾曲形状であってもよい。図１では、スクリーンＳＣの平面をｘｙ平面とし、スクリーンＳＣの法線方向をｚ方向として示してある。
【００１３】
図１に示す例では、表示装置１００は、スクリーンＳＣに対して鉛直方向上方の法線方向に配置される。したがって、表示装置１００は、鉛直方向斜め下方に向けて、画像光を出射する。ここで、表示装置１００からの画像光は、スクリーンＳＣ内の領域である画像投射領域ＤＡに投影される。画像投射領域ＤＡは、表示装置１００が投射画像Ｇを投射可能な最大の範囲である。
【００１４】
図１に例示するように、表示装置１００は、図示しないパーソナルコンピューターからの画像情報に基づく画像を投射画像ＧとしてスクリーンＳＣに表示可能である。また、表示装置１００は、指示体７０が指示するスクリーンＳＣ上の位置を検出し、当該位置の軌跡に沿う描画画像ＧＤをスクリーンＳＣに表示可能である。ここで、表示装置１０は、指示体７０の指示により表示装置１０に各種の機能を実行させるためのＧＵＩ（Graphical User Interface）用の画像であるツールバーＧＴをスクリーンＳＣに表示する。
【００１５】
指示体７０は、ユーザーが手に持って使用するペン型のデバイスである。指示体７０は、軸部７２と、軸部７２の先端に配置されるチップボタン７１と、軸部７２の側面に配置されるサイドボタン７３と、を有する。チップボタン７１は、スクリーンＳＣに押し付けられることでオンになるスイッチである。サイドボタン７３は、ユーザーが指で押下して操作するスイッチである。
【００１６】
図１では図示を省略するが、指示体７０は、後述するように、赤外光領域の光を発する光源を有する。表示装置１００は、当該光を検出し、その検出結果に基づいて、指示体７０が指示するスクリーンＳＣ上の位置を検出する。なお、以下では、「指示体７０が指示するスクリーンＳＣ上の位置」を「指示体７０の指示位置」ともいう。
【００１７】
［１−２．指示体の構成］
図２は、第１実施形態に係る表示システム１の表示装置１００および指示体７０を示すブロック図である。指示体７０は、前述のチップボタン７１、軸部７２およびサイドボタン７３のほかに、図２に示すように、赤外線発光部７４、赤外線受光部７５および制御部７６を有する。ここで、赤外線発光部７４は、例えば、赤外光領域の光を発するＬＥＤ（Light Emitting Diode）等の発光素子を含んで構成される。赤外線受光部７５は、例えば、赤外光領域の光に対して受光感度を有するフォトダイオード等の受光素子を含んで構成される。制御部７６は、例えば、指示体７０の各部を制御するＩＣ（Integrated Circuit）を含んで構成される。
【００１８】
以上の構成の指示体７０において、赤外線受光部７５は、後述する位置検出ユニット４００が送信する同期用の赤外線信号を受信する。制御部７６は、赤外線受光部７５から出力される信号に基づいて、赤外線発光部７４の駆動を制御して、当該同期用の赤外線信号に同期する赤外線信号を送信させる。赤外線発光部７４が送信する赤外線信号は、例えば、指示体７０を個体識別するための識別符号を含む。また、制御部７６は、チップボタン７１またはサイドボタン７３の操作を検出すると、赤外線発光部７４が送信する赤外線信号に、その操作に関する操作情報を含ませる。
【００１９】
［１−３．表示装置の構成］
図２に示すように、表示装置１００は、投射画像ＧをスクリーンＳＣに投影する投射ユニット２００と、指示体７０の指示位置を検出する位置検出ユニット４００と、を有する。本実施形態では、投射ユニット２００および位置検出ユニット４００が同一筐体内に収容されるが、これらは別々の筐体に収容されてもよい。また、以下では、投射ユニット２００と位置検出ユニット４００とが相互に通信可能に有線接続される場合を例に説明するが、これらは、相互に通信可能に無線接続されてもよい。
【００２０】
投射ユニット２００は、画像ソースとして用いる外部機器からの画像情報に基づく画像光をスクリーンＳＣに投影して表示する。ここで、図示しないが、投射ユニット２００は、当該外部機器に接続可能なインターフェイスを有する。当該外部機器としては、例えば、ＤＶＤ（Digital Versatile Disk）プレイヤーおよびパーソナルコンピューター等が挙げられる。また、投射ユニット２００は、後述する不揮発性メモリー２２０に記憶される画像情報に基づく画像光をスクリーンＳＣに投影することも可能である。
【００２１】
投射ユニット２００は、表示部２１０、不揮発性メモリー２２０、揮発性メモリー２３０、インターフェイス２４０、赤外線受光部２５０、操作部２６０およびプロセッサー２７０を有する。これらは、相互に通信可能に接続される。以下、投射ユニット２００の各部を順次説明する。
【００２２】
表示部２１０は、スクリーンＳＣに画像を投影させて投射画像Ｇを表示させる。表示部２１０は、光源２１１、光変調装置２１２、投射光学系２１３、光源駆動部２１４および光変調装置駆動部２１５を有する。
【００２３】
光源２１１は、例えば、ハロゲンランプ、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）またはレーザー光源等で構成される。光変調装置２１２は、光源２１１が発する光を変調して画像光を生成する。光変調装置２６２は、例えば、透過型の液晶パネル、反射型の液晶パネルまたはＤＭＤ（デジタルミラーデバイス）等の光変調素子を含んで構成される。投射光学系２１３は、光変調装置２１２からの画像光をスクリーンＳＣ上に結像させる。投射光学系２１３は、少なくとも１つの投射レンズを含む光学系であり、ズームレンズまたはフォーカスレンズ等を含んでもよい。光源駆動部２１４は、光源２１１を駆動する駆動回路を含んで構成される。光変調装置駆動部２１５は、光変調装置２１２を駆動する駆動回路を含んで構成される。
【００２４】
不揮発性メモリー２２０は、例えば、磁気的記憶装置またはフラッシュＲＯＭ（Read only memory）等で構成される。不揮発性メモリー２２０には、測定情報２２１および校正画像情報２２２が記憶される。測定情報２２１は、後述する測定部２７２で測定される距離Ｌに関する情報を含む。校正画像情報２２２は、後述するキャリブレーション処理部２７３が用いるキャリブレーション画像ＧＣに関する画像情報を含む。なお、不揮発性メモリー２２０には、プロセッサー２７０が実行するプログラム等も記憶される。
【００２５】
揮発性メモリー２３０は、プロセッサー２７０の処理に用いるデータ、およびプロセッサー２７０が実行するプログラム等を一時的に記憶する。例えば、揮発性メモリー２３０は、プロセッサー２７０が画像情報のフレームを展開するフレームバッファーとして機能する。
【００２６】
インターフェイス２４０は、プロセッサー２７０を位置検出ユニット４００に接続するインターフェイスである。インターフェイス２４０は、例えば、ＵＳＢ（Universal Serial Bus）等の汎用インターフェイスである。
【００２７】
赤外線受光部２５０は、例えば、前述の指示体７０の赤外線受光部７５と同様に発光素子を含んで構成され、前述の指示体７０からの赤外線信号を受信する。赤外線受光部２５０は、当該赤外線信号をデコードし、当該赤外線信号に基づく信号を出力する。
【００２８】
操作部２６０は、例えば、図示しないが、表示装置１０の筐体に配置される操作パネルを含んで構成される。操作部２６０は、当該操作パネルに対するユーザーの操作に基づく信号を出力する。また、操作部２６０は、ユーザーによる操作を受け付け可能な図示しないリモコンから送信される赤外線信号を受光し、当該赤外線信号をデコードし、当該リモコンの操作に応じた信号を出力してもよい。
【００２９】
プロセッサー２７０は、ＣＰＵ（Central Processing Unit）等を含んで構成される演算処理装置であり、投射ユニット２００の各部を制御する機能と、画像情報を含む各種のデータを処理する機能と、を有する。本実施形態のプロセッサー２７０は、不揮発性メモリー２２０が記憶する制御プログラムを実行することにより、後述する機能部を含む各種機能を実現する。なお、プロセッサー２７０は、単一のプロセッサーで構成されてもよいし、複数のプロセッサーで構成されてもよい。また、プロセッサー２７０は、後述する機能部を含む各種機能を実装するハードウェアで構成されてもよい。
【００３０】
プロセッサー２７０は、機能部として、投射制御部２７１、測定部２７２、キャリブレーション処理部２７３および補正処理部２７４を有する。
【００３１】
投射制御部２７１は、表示部２１０、より具体的には光源駆動部２１４および光変調装置駆動部２１５を制御して、画像情報に基づく画像をスクリーンＳＣに表示させる。
【００３２】
測定部２７２は、表示部２１０とスクリーンＳＣとの間の距離Ｌを測定する。より具体的には、測定部２７２は、測定用のマークを含む測定用画像ＧＭを表示部２１０に表示させる。スクリーンＳＣに投影される測定用画像ＧＭを後述の撮像部４１０に撮像させ、その撮像画像ＧＩに基づいて、距離Ｌを測定する。距離Ｌは、表示装置１００の投射距離に対応する情報であり、より具体的には、表示部２１０の基準位置と、スクリーンＳＣまたはそれを延長した面との間の距離に対応した値である。当該基準位置は、例えば、図２のように、表示部２１０の投射光学系２１３の光軸上であって投射光学系２１３のスクリーンＳＣ側の端となる位置である。また、距離Ｌは、投射光学系２１３の光軸に沿う方向での距離が好ましいが、スクリーンＳＣの法線方向に沿う方向での距離であってもよい。なお、測定用画像ＧＭが投影されるスクリーンＳＣを撮像部４１０で撮像して得られる撮像画像ＧＩは、第２撮像画像の一例である。
【００３３】
キャリブレーション実行時、キャリブレーション処理部２７３は、測定部２７２で測定される距離Ｌに応じて、光源２１１の輝度Ｌｍを調整する。本実施形態では、キャリブレーション処理部２７３は、測定部２７２で測定される距離Ｌが短くなるに従い光源２１１の輝度Ｌｍを単調減少させる。
【００３４】
キャリブレーション処理部２７３は、位置検出用のマークを含むキャリブレーション画像ＧＣを投射画像Ｇとして表示部２１０に表示させ、スクリーンＳＣに表示されるキャリブレーション画像ＧＣを後述の撮像部４１０に撮像させ、撮像部４１０が撮像した撮像画像ＧＩに基づいて、投射画像Ｇ上の位置と撮像画像ＧＩ上の位置とを対応付けるキャリブレーションを実行する。すなわち、投射画像Ｇの座標系と撮像画像ＧＩの座標系を対応付ける。キャリブレーション処理部２７３は、測定部２７２で測定される距離Ｌに基づいて、当該キャリブレーションを実行する。本実施形態では、キャリブレーション処理部２７３は、測定部２７２で測定される距離Ｌに基づいて、当該キャリブレーションの実行時における表示部２１０の光源２１１の輝度Ｌｍを調整する。ここで、キャリブレーション処理部２７３は、前述の不揮発性メモリー２２０が記憶する校正画像情報２２２を用いてキャリブレーション画像を生成する。なお、キャリブレーション画像ＧＣが投影されるスクリーンＳＣを撮像部４１０で撮像して得られる撮像画像ＧＩは、第１撮像画像の一例である。
【００３５】
補正処理部２７４は、スクリーンＳＣに表示される投射画像Ｇの幾何補正を実行する。当該幾何補正は、例えば、台形歪み補正または樽形歪み補正等である。
【００３６】
以上が投射ユニット２００の各部の説明である。以上の投射ユニット２００が有するインターフェイス２４０には、位置検出ユニット４００が通信可能に接続される。位置検出ユニット４００は、指示体７０の指示位置を検出する機能と、キャリブレーション実行時に、スクリーンＳＣに表示されるキャリブレーション画像のマーク等を検出する機能と、を有する。
【００３７】
位置検出ユニット４００は、撮像部４１０、不揮発性メモリー４２０、揮発性メモリー４３０、インターフェイス４４０、赤外線発光部４５０およびプロセッサー４６０を有する。これらは、相互に通信可能に接続される。以下、位置検出ユニット４００の各部を順次説明する。
【００３８】
撮像部４１０は、スクリーンＳＣを撮像する。撮像部４１０は、撮像光学系４１１、フィルター部４１２および撮像素子４１３を有する。
【００３９】
撮像光学系４１１は、少なくとも１つの撮像レンズを含む光学系であり、プリズム等の各種の光学素子を備えてもよいし、ズームレンズやフォーカスレンズ等を備えてもよい。撮像光学系４１１は、画像投射領域ＤＡの全体を含む広い範囲を撮像素子４１３で撮像することが容易であるという観点から、広角レンズまたは魚眼レンズを含んで構成されることが好ましい。
【００４０】
フィルター部４１２は、図示しないが、可視光透過フィルターおよび赤外光透過フィルターを有する。これらの各フィルターは、撮像光学系４１１と撮像素子４１３との間の光路上に配置される状態と当該光路上から退避する状態とを切替可能に構成される。表示部２１０が投影する可視光の画像を撮像素子４１３で撮像する場合、赤外光透過フィルターが当該光路上から退避する状態で、当該光路上には、可視光透過フィルターが配置される。指示体７０が発する赤外光を撮像素子４１３で撮像する場合、可視光透過フィルターが当該光路上から退避する状態で、当該光路上には、赤外光透過フィルターが配置される。
【００４１】
撮像素子４１３は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサーまたはＣＭＯＳ（Complementary MOS）イメージセンサー等で構成される。撮像素子４１３は、撮像光学系４１１およびフィルター部４１２を介して撮像し、撮像画像ＧＩを含む撮像画像情報を出力する。
【００４２】
不揮発性メモリー４２０は、例えば、磁気的記憶装置またはフラッシュＲＯＭ等で構成される。不揮発性メモリー４２０には、プロセッサー４６０の処理に用いるパラメーター４２１が記憶される。
【００４３】
パラメーター４２１は、後述するプロセッサー４６０の機能部である画像処理部４６２、マーク検出部４６３および位置特定部４６４の処理に用いることが可能な各種パラメーターを含む。
【００４４】
揮発性メモリー４３０は、プロセッサー４６０の処理に用いるデータ、およびプロセッサー４６０が実行するプログラム等を一時的に記憶する。例えば、揮発性メモリー４３０は、撮像部４１０からの撮像画像情報を一時的に格納するバッファーとして機能する。
【００４５】
インターフェイス４４０は、前述の投射ユニット２００のインターフェイス２４０に接続される。この接続により、プロセッサー４６０は、投射ユニット２００に通信可能に接続される。インターフェイス４４０は、前述の投射ユニット２００のインターフェイス２４０と同規格のインターフェイス、例えば、ＵＳＢ等の汎用インターフェイスである。
【００４６】
赤外線発光部４５０は、例えば、前述の指示体７０の赤外線発光部７４と同様に発光素子を含んで構成され、位置検出ユニット４００と指示体７０とを同期させるための同期用の赤外線信号を送信する。
【００４７】
プロセッサー４６０は、ＣＰＵ等を含んで構成される演算処理装置であり、位置検出ユニット４００の各部を制御する機能と、撮像画像情報を含む各種のデータを処理する機能と、を有する。本実施形態のプロセッサー４６０は、不揮発性メモリー４２０が記憶する制御プログラムを実行することにより、後述する機能部を含む各種機能を実現する。なお、プロセッサー４６０は、単一のプロセッサーで構成されてもよいし、複数のプロセッサーで構成されてもよい。また、プロセッサー４６０は、後述する機能部を含む各種機能を実装するハードウェアで構成されてもよい。
【００４８】
プロセッサー４６０は、機能部として、撮像処理部４６１、画像処理部４６２、マーク検出部４６３および位置特定部４６４を有する。
【００４９】
撮像処理部４６１は、撮像部４１０、より具体的にはフィルター部４１２および撮像素子４１３を制御して、スクリーンＳＣの画像投射領域ＤＡを含む領域を撮像させ、撮像画像ＧＩを含む撮像画像情報を取得する。ここで、撮像処理部４６１は、必要に応じて、フィルター部４１２の可視光透過フィルターおよび赤外光透過フィルターの切り替え、撮像素子４１３による撮像のタイミング、シャッター速度および露光の調整等を行う。
【００５０】
画像処理部４６２は、撮像処理部４６１で取得される撮像画像情報に対して、明るさ、コントラストおよび減色等の画像処理を実行する。当該画像処理には、前述の不揮発性メモリー４２０が記憶するパラメーター４２１が適宜用いられる。
【００５１】
マーク検出部４６３は、前述のキャリブレーション処理部２７３がキャリブレーション画像ＧＣを表示させる場合、画像処理部４６２での処理後の撮像画像情報に基づいて、キャリブレーション画像ＧＣのマークの位置を検出する処理を実行する。また、マーク検出部４６３は、前述の測定部２７２が測定用画像ＧＭを表示させる場合も同様に、画像処理部４６２での処理後の撮像画像情報に基づいて、測定用画像ＧＭのマークの位置を検出する処理を実行する。マーク検出部４６３の処理には、前述の不揮発性メモリー４２０が記憶するパラメーター４２１が適宜用いられる。
【００５２】
位置特定部４６４は、画像処理部４６２での処理後の撮像画像情報に基づいて、指示体７０の発光位置を検出し、指示体７０の指示位置を特定する処理を実行する。当該処理には、前述の不揮発性メモリー４２０が記憶するパラメーター４２１が適宜用いられる。
【００５３】
以上が位置検出ユニット４００の各部の説明である。位置検出ユニット４００は、前述のように、指示体７０の指示位置を検出する。この検出の精度を高めるには、スクリーンＳＣに表示される投射画像Ｇ上の位置と前述の撮像部４１０の撮像画像ＧＩ上の位置とを対応付けるキャリブレーションが必要となる。以下、キャリブレーションについて説明する。
【００５４】
［１−４．表示装置の動作］
［１−４ａ．キャリブレーションの概要］
表示装置１００は、まず、スクリーンＳＣと表示部２１０との間の距離Ｌを測定する。その後、表示装置１００は、距離Ｌに基づいて、キャリブレーション画像ＧＣをスクリーンＳＣに表示し、スクリーンＳＣ上のキャリブレーション画像ＧＣを撮像する。そして、表示装置１００は、その撮像画像ＧＩに基づいて、キャリブレーション画像ＧＣのマークを検出し、投射画像Ｇ上の位置と撮像画像ＧＩ上の位置とを対応付ける。表示装置１００は、当該対応付けに関するキャリブレーション情報を生成する。当該キャリブレーション情報は、位置検出ユニット４００の位置特定部４６４の処理、すなわち指示体７０の指示位置の検出処理に用いられる。
【００５５】
図３は、キャリブレーション画像ＧＣを例示する図である。スクリーンＳＣ上に表示されるキャリブレーション画像ＧＣの一例であるキャリブレーション画像３０１は、位置検出用の複数のマーク３０２を含む。図３に示す例では、マーク３０２が５行５列の行列状に配置される。ここで、キャリブレーション画像３０１の外形は、表示部２１０の光変調装置２１２の表示領域に対応して矩形をなす。複数のマーク３０２は、キャリブレーション画像３０１の端部および隅部にも配置されるように分散して配置される。なお、キャリブレーション画像３０１の外形、マーク３０２の数および配置は、図３に示す例に限定されないが、検出が容易であることが好ましい。
【００５６】
マーク３０２は、マーク検出部４６３がマーク３０２の外縁を検出しやすいように、キャリブレーション画像３０１のマーク３０２を除く領域である背景と所定以上の輝度差または階調差を有する。図３に示す例では、マーク３０２の色が白色等の明色であり、背景の色が黒色等の暗色である。なお、マーク３０２および背景の色は、マーク検出部４６３がマーク３０２と背景との境界を検出できればよく、図３に示す例に限定されず、例えば、マーク３０２の色が暗色、背景の色が明色であってもよい。
【００５７】
図４は、撮像画像ＧＩを例示する図である。撮像画像３１１は、キャリブレーション画像３０１が表示されるスクリーンＳＣを撮像部４１０で撮像して得られる撮像画像ＧＩである。撮像画像３１１内の複数のマーク３０２は、撮像光学系４１１の特性および配置等に起因して、歪む形状および配置となる。ここで、マーク３０２の外縁は、互いに直交する複数の線分を含んで構成される撮像画像情報が得られれば、マーク検出部４６３により、当該複数の直線の交点を検出することが容易であり、マーク検出部４６３によるマーク３０２の位置の検出精度を高めることができる。
【００５８】
［１−４ｂ．キャリブレーションの流れ］
図５は、第１実施形態に係る表示装置１００のキャリブレーション処理を示すフローチャートである。表示装置１００は、プロセッサー２７０がキャリブレーション開始の指示を受けると、まず、ステップＳ１１において、測定部２７２が、スクリーンＳＣと表示部２１０との間の距離Ｌを測定する。ここで、キャリブレーション開始の指示としては、例えば、操作部２６０の操作による指示、および制御プログラムに基づく指示等が挙げられる。なお、ステップＳ１１の処理については、後に詳述する。
【００５９】
次に、プロセッサー２７０は、ステップＳ１２において、測定部２７２で測定される距離Ｌに関する測定情報２２１を不揮発性メモリー２２０に記憶させて、キャリブレーション条件を設定する。
【００６０】
ステップＳ１３において、キャリブレーション処理部２７３は、投射制御部２７１により、校正画像情報２２２に基づくキャリブレーション画像３０１を表示部２１０に表示させる。このとき、キャリブレーション処理部２７３は、測定部２７２で測定される距離Ｌに基づいて、表示部２１０の光源２１１の輝度Ｌｍを調整する。具体的には、当該調整は、距離Ｌが短くなるに従い光源２１１の輝度Ｌｍが低くなるように行う。当該調整により、距離Ｌが変化しても、スクリーンＳＣ上のキャリブレーション画像３０１の明るさの変動を低減できる。
【００６１】
その後、ステップＳ１４において、キャリブレーション処理部２７３は、撮像処理部４６１により、キャリブレーション画像３０１が投影される画像投射領域ＤＡを撮像部４１０に撮像させる。ここで、プロセッサー４６０は、撮像処理部４６１で得られる撮像画像３１１に関する撮像画像情報を揮発性メモリー４３０に一時的に記憶させる。
【００６２】
ステップＳ１５において、撮像画像情報に基づいて、マーク検出部４６３が撮像画像３１１上のマーク３０２の位置を検出し、キャリブレーション処理部２７３は、当該位置に関する情報を取得する。ここで、マーク検出部４６３は、撮像画像３１１中のマーク３０２と背景との境界を検出し、当該境界に沿う線分の交点を用いて撮像画像３１１上のマーク３０２の位置を求める。本実施形態では、１つのマーク３０２について、当該交点が複数得られるが、そのうちの基準となる１つの交点が撮像画像３１１上のマーク３０２の位置として求められる。撮像画像３１１上のマーク３０２の位置は、例えば、撮像画像３１１に設定される座標系の座標で表される。なお、ステップＳ１５において、マーク検出部４６３の処理の前に、画像処理部４６２が撮像画像情報の減色処理等を行ってもよい。
【００６３】
ステップＳ１６において、キャリブレーション処理部２７３は、スクリーンＳＣに表示されるキャリブレーション画像３０１のマーク３０２の位置に関する情報を取得する。当該情報は、例えば、フレームバッファーとして機能する揮発性メモリー２３０に展開される校正画像情報２２２から得られる。スクリーンＳＣに表示されるキャリブレーション画像３０１上のマーク３０２の位置は、例えば、スクリーンＳＣまたは表示部２１０に設定される座標系の座標で表される。
【００６４】
次に、ステップＳ１７において、キャリブレーション処理部２７３は、前述のステップＳ１５およびＳ１６で取得される情報に基づいて、キャリブレーション画像３０１上の位置と撮像画像３１１上の位置とを対応付ける。すなわち、撮像画像３１１の座標系とスクリーンＳＣまたは表示部２１０の座標系を対応付ける。
【００６５】
そして、ステップＳ１８において、キャリブレーション処理部２７３は、ステップＳ１８での対応付けに関するキャリブレーション情報を不揮発性メモリー２２０に記憶させる。当該キャリブレーション情報は、前述のように、位置検出ユニット４００の位置特定部４６４の処理に用いられる。位置特定部４６４は、当該キャリブレーション情報を用いることにより、撮像部４１０の撮像画像上の任意の位置から、位置検出ユニット４００が投影する画像上の位置を求めることができる。このように、指示体７０の指示位置に投影される画像内の位置を特定できるので、ＧＵＩ（Graphical  User  Interface）に対する指示体７０等による操作の検出等が実行可能になる。
【００６６】
［１−４ｃ．距離測定の流れ］
図６は、前述のステップＳ１１の処理、すなわち表示装置１００の距離測定処理を示すフローチャートである。当該距離測定処理では、まず、ステップＳ０１において、測定部２７２が、測定用のマークを含む測定用画像ＧＭを表示部２１０に表示させる。
【００６７】
次に、ステップＳ０２において、測定部２７２は、測定用画像ＧＭが投影される画像投射領域ＤＡを撮像部４１０に撮像させる。ここで、測定部２７２は、撮像処理部４６１で得られる撮像画像情報を揮発性メモリー４３０に一時的に記憶させる。
【００６８】
ステップＳ０３において、撮像画像情報に基づいて、マーク検出部４６３が撮像画像ＧＩ上のマークの位置を検出し、測定部２７２は、当該位置に関する情報を取得する。なお、ステップＳ０３において、マーク検出部４６３の処理の前に、画像処理部４６２が撮像画像情報の減色処理等を行ってもよい。
【００６９】
そして、ステップＳ０４において、測定部２７２は、距離Ｌを算出する。
【００７０】
図７は、測定用画像ＧＭを例示する図である。測定用画像ＧＭの一例である測定用画像３１２は、前述のステップＳ０１においてスクリーンＳＣに表示される。測定用画像３１２は、前述のキャリブレーション画像３０１が含むマーク３０２と同様のマーク３０３を含む。図７に示す例では、測定用画像３１２が含むマーク３０３の数は３つである。図示しないが、予め、所定の距離Ｌにおけるこれらのマーク３０３間の距離に関する情報が不揮発性メモリー２２０に予め記憶される。したがって、ステップＳ０４において、当該情報と、前述のステップＳ０３で得られる情報と、を用いて、三角測量により、距離Ｌを算出することによって、測定部２７２は、距離Ｌを測定できる。
【００７１】
本実施形態では、前述のように、キャリブレーション処理部２７３は、測定部２７２で測定される距離Ｌに基づいて、表示部２１０の光源２１１の輝度Ｌｍを調整する。このため、距離Ｌが変化しても、スクリーンＳＣ上のキャリブレーション画像の明るさの変動を低減できる。この結果、距離Ｌが変化しても、スクリーンＳＣ上のキャリブレーション画像３０１の明るさを適切な明るさとすることができ、精度の高い位置検出ができる。
【００７２】
図８は、スクリーンＳＣ上のキャリブレーション画像３０１の明るさが適切である場合における撮像画像３１１内のマーク３０２の状態を示す図である。この場合、マーク検出部４６３により検出されるマーク３０２の位置ＰＳは、検出すべき位置ＰＴに一致する。このため、光源２１１の輝度Ｌｍを調整することにより、キャリブレーション画像３０１のマーク３０２の検出精度を高めることができる。
【００７３】
これに対し、光源２１１の輝度Ｌｍが一定である場合、スクリーンＳＣに表示されるキャリブレーション画像３０１の明るさは、距離Ｌが短くなるに従い明るくなり、一方、距離Ｌが長くなるに従い暗くなる。
【００７４】
図９は、スクリーンＳＣ上のキャリブレーション画像３０１の明るさが明るすぎる場合における撮像画像３１１内のマーク３０２の状態を示す図である。スクリーンＳＣに表示されるキャリブレーション画像３０１の明るさが明るすぎると、図９に示すように、マーク検出部４６３により検出されるマーク３０２の位置ＰＳは、検出すべき位置ＰＴからずれてしまう。このため、キャリブレーション画像３０１のマーク３０２の検出精度の低下を招く。これは、撮像部４１０が有する撮像素子４１３の画素の感度がキャリブレーション画像３０１の明暗の境界に対応する画素において飽和するためである。一方、スクリーンＳＣに表示されるキャリブレーション画像３０１の明るさが暗すぎると、キャリブレーション画像３０１の明暗の差、すなわちコントラストが低下するため、この場合も、キャリブレーション画像３０１のマーク３０２の検出精度の低下を招く。
【００７５】
図１０は、測定部２７２で測定される距離Ｌと表示部２１０の光源２１１の輝度Ｌｍとの関係の一例を示す図である。図１０に示すように、キャリブレーション処理部２７３は、測定部２７２で測定される距離Ｌが短くなるに従い、表示部２１０の光源２１１の輝度Ｌｍを単調減少させる。これにより、距離Ｌの変化に応じて、スクリーンＳＣ上のキャリブレーション画像３０１の明るさを適切な明るさとすることができる。なお、距離Ｌの変化に対する輝度Ｌｍの変化は、図１０に示す例では連続的かつ線形的であり、光源２１１の輝度Ｌｍを単調減少させたが、距離Ｌの変化に対する輝度Ｌｍの変化が、段階的または、非線形的である場合もあり、それに応じて、光源２１１の輝度Ｌｍを調整すればよい。
【００７６】
以上の表示装置１００は、前述のように、表示部２１０と、撮像部４１０と、測定部２７２と、キャリブレーション処理部２７３と、を有する。ここで、表示部２１０は、表示面であるスクリーンＳＣに投射画像Ｇを投影させて表示する。撮像部４１０は、スクリーンＳＣを撮像する。測定部２７２は、スクリーンＳＣと表示部２１０との間の距離Ｌを測定する。キャリブレーション処理部２７３は、測定部２７２で測定される距離Ｌに基づいて、キャリブレーションを実行する。より具体的には、キャリブレーション処理部２７３は、距離Ｌに基づいて、位置検出用のマーク３０２を含むキャリブレーション画像３０１を表示部２１０に表示させる。その状態で、キャリブレーション処理部２７３は、スクリーンＳＣに表示されるキャリブレーション画像３０１を撮像部４１０に撮像させる。そして、キャリブレーション処理部２７３は、撮像部４１０で撮像された第１撮像画像である撮像画像３１１に基づいて、スクリーンＳＣに表示される投射画像Ｇ上の位置と撮像部４１０の撮像画像３１１上の位置とを対応付ける。
【００７７】
このように、表示装置１００では、キャリブレーション処理部２７３が測定部２７２で測定される距離Ｌを用いてキャリブレーションを実行する。このため、距離Ｌの変化によるキャリブレーション画像３０１のマーク３０２の検出精度の低下を低減できる。この結果、設置状態が変更されても、キャリブレーションの成功率または精度を高めることができる。
【００７８】
ここで、表示部２１０は、投射画像Ｇの投影に用いる光源２１１を有する。本実施形態では、キャリブレーション処理部２７３は、測定部２７２で測定される距離Ｌが短くなるに従い光源２１１の輝度Ｌｍを単調減少させる。このため、スクリーンＳＣに表示されるキャリブレーション画像３０１の明るさが距離Ｌの変更によって変動することを低減できる。この結果、距離Ｌが変更されても、キャリブレーション画像３０１のマーク３０２の検出精度の低下を低減できる。
【００７９】
本実施形態の測定部２７２は、測定用のマーク３０３を含む測定用画像３１２を表示部２１０に表示させ、表示部２１０に表示される測定用画像３１２を撮像部４１０に撮像させ、撮像部４１０で撮像された第２撮像画像に基づいて、スクリーンＳＣと表示部２１０との間の距離Ｌを測定する。このように、表示部２１０および撮像部４１０を用いて距離Ｌの測定を行うことにより、距離計を別途設けなくても、距離Ｌを測定することができる。このため、表示装置１００の構成を簡単化し、表示装置１００の低コスト化を図ることができる。
【００８０】
また、表示装置１００の制御方法は、スクリーンＳＣに測定用画像３１２を投影するステップＳ０１と、測定用画像３１２が表示されたスクリーンＳＣを撮像するステップＳ０２と、測定用画像３１２の撮像結果に基づいて、スクリーンＳＣと表示部２１０との間の距離Ｌを測定するステップＳ０３およびＳ０４と、測定された距離Ｌに基づいて、キャリブレーション画像３０１を投影するステップＳ１２およびＳ１３と、キャリブレーション画像３０１が投影されたスクリーンＳＣを撮像するステップＳ１４と、キャリブレーション画像３０１の撮像結果に基づいて、投射画像Ｇ上の位置と撮像画像上の位置とを対応付けるキャリブレーションを実行するステップＳ１５からＳ１８と、を備える。
【００８１】
２．第２実施形態
次に、第２実施形態について説明する。本実施形態は、測定部２７２の測定結果を用いてキャリブレーション画像を生成する事項が異なること以外は、前述の第１実施形態と同様である。なお、以下の説明では、第２実施形態に関し、前述の第１実施形態との相違点を中心に説明し、同様の事項についてはその説明を省略する。また、第２実施形態に説明に用いる各図では、前述の第１実施形態と同様の構成については、同一符号を付す。
【００８２】
［２−１．表示システムおよび表示装置の構成］
図１１は、第２実施形態に係る表示システム１Ａの表示装置１００Ａおよび指示体７０を示すブロック図である。表示システム１Ａは、表示装置１００Ａと、指示体７０と、を有する。表示装置１００Ａは、投射ユニット２００Ａと、位置検出ユニット４００Ａと、を有する。
【００８３】
投射ユニット２００Ａは、第１実施形態の投射ユニット２００と同様のハードウェア構成を有する。ただし、不揮発性メモリー２２０には、第１実施形態と同様の測定情報２２１および校正画像情報２２２のほか、設置情報２２１Ａおよびパターン生成情報２２３が記憶される。ここで、設置情報２２１Ａは、測定情報２２１を含む。また、不揮発性メモリー２２０には、第１実施形態とは異なる制御プログラムが記憶される。プロセッサー２７０は、当該制御プログラムを読み込んで実行することにより、後述する機能部を含む各種機能を実現する。
【００８４】
本実施形態のプロセッサー２７０は、機能部として、第１実施形態と同様の投射制御部２７１、測定部２７２、キャリブレーション処理部２７３および補正処理部２７４のほか、情報取得部２７５および画像生成部２７６を有する。
【００８５】
情報取得部２７５は、表示装置１００Ａの設置状態に関する情報を取得し、当該情報を不揮発性メモリー２２０に設置情報２２１Ａとして記憶させる。より具体的には、情報取得部２７５は、不揮発性メモリー２２０から測定情報２２１を当該情報として取得する。また、情報取得部２７５は、インターフェイス２４０を介して位置検出ユニット４００から、後述する位置情報４２２等を当該情報として取得する。なお、情報取得部２７５の当該情報の取得先は、不揮発性メモリー２２０および位置検出ユニット４００に限定されず、例えば、操作部２６０、投射ユニット２００に有線接続または無線接続される外部機器等であってもよい。
【００８６】
設置情報２２１Ａは、前述の情報以外に、画像生成部２７６での校正画像情報２２２の生成に必要な情報を適宜含む。ここで、設置情報２２１Ａは、表示装置１００Ａの設置状態に関する情報である。当該情報は、投射ユニット２００の構成または仕様に関する情報、位置検出ユニット４００の構成または仕様に関する情報、および、投射ユニット２００および位置検出ユニット４００の相互の位置に関する情報に大別できる。
【００８７】
投射ユニット２００の構成または仕様に関する情報としては、例えば、投射光学系２６４のズーム倍率に関する情報、および、光変調装置２１２に用いる液晶パネルのアスペクト比に関する情報等が挙げられる。位置検出ユニット４００の構成または仕様に関する情報としては、例えば、後述する位置情報４２２に含まれる各種情報が挙げられる。投射ユニット２００および位置検出ユニット４００の相互の位置に関する情報としては、例えば、撮像光学系４１１と投射光学系２６４との相対的な位置関係を示す情報、光軸ＡＸ１がスクリーンＳＣに交差する点とカメラレンズセンター位置との距離に関する情報、撮像素子４１３と撮像光学系４１１と投射光学系２６４との相対的な位置関係に関する情報、スクリーンＳＣと撮像部４１０との相対位置に関する情報、スクリーンＳＣと撮像光学系４１１の光軸ＡＸ２との相対位置に関する情報、および、スクリーンＳＣと投射光学系２６４と撮像部４１０との相対位置に関する情報等が挙げられる。
【００８８】
画像生成部２７６は、不揮発性メモリー２２０に記憶される設置情報２２１Ａおよびパターン生成情報２２３を用いて、校正画像情報２２２を生成する。そして、画像生成部２７６は、校正画像情報２２２を不揮発性メモリー２２０に記憶させる。ここで、パターン生成情報２２３は、キャリブレーション画像ＧＣに含まれるマークの形状および配置等のルールに関する情報を含む。
【００８９】
位置検出ユニット４００Ａは、第１実施形態の位置検出ユニット４００と同様のハードウェア構成を有する。ただし、不揮発性メモリー４２０には、第１実施形態と同様のパラメーター４２１のほか、位置情報４２２が記憶される。
【００９０】
位置情報４２２は、位置検出ユニット４００の構成または仕様に関する情報である。例えば、位置情報４２２は、撮像部４１０の撮像光学系４１１に関する情報を含む。具体的には、位置情報４２２は、撮像光学系４１１の光軸と撮像素子４１３の撮像面との交点と、撮像素子４１３の撮像面の中心等の予め定められる位置である基準位置とのずれ量に関する情報を含む。また、位置情報４２２は、撮像部４１０の仕様に関する情報として、撮像光学系４１１の光学特性に関する情報、撮像素子４１３の画素数等に関する情報等を含む。また、位置情報４２２は、撮像光学系４１１と投射光学系２１３との相対的な位置関係に関する情報を含んでもよい。また、位置情報４２２は、撮像素子４１３と撮像光学系４１１と投射光学系２１３との相対的な位置関係に関する情報を含んでもよい。位置情報４２２に含まれる相対的な位置関係に関する情報は、例えば、表示装置１００Ａの設置空間に仮想的に設定される３次元座標系を用いて表すことが可能である。
【００９１】
以上の構成の表示装置１００Ａは、設置情報２２１Ａを用いてキャリブレーション画像ＧＣを生成する。ここで、設置情報２２１Ａが測定情報２２１を含むため、表示装置１００Ａの設置状態に対応するキャリブレーション画像ＧＣを用いて、キャリブレーションを実行できる。この結果、前述の第１実施形態と同様の効果が得られる。また、設置情報２２１Ａが測定情報２２１だけでなく他の表示装置１００Ａの設置状態に関する情報を含むことにより、当該キャリブレーション時に撮像部４１０で撮像されるキャリブレーション画像ＧＣのマークを後述するように好ましい形状とすることができる。この結果、撮像画像からキャリブレーション画像のマークを検出する処理の精度または成功率の向上が期待できる。以下、表示装置１００Ａのキャリブレーションについて説明する。
【００９２】
［２−２．表示装置の動作］
［２−２ａ．キャリブレーションの流れ］
図１２は、第２実施形態に係る表示装置１００Ａのキャリブレーション処理を示すフローチャートである。表示装置１００Ａは、プロセッサー２７０がキャリブレーション開始の指示を受けると、まず、第１実施形態と同様にステップＳ１１を実行する。その後、ステップＳ１２Ａにおいて、画像生成部２７６がキャリブレーション画像を生成する。当該キャリブレーション画像の情報は、校正画像情報２２２として不揮発性メモリー２２０に記憶される。なお、ステップＳ１２Ａの処理については、後に詳述する。
【００９３】
キャリブレーション画像の生成後、プロセッサー２７０は、第１実施形態と同様にステップＳ１３〜Ｓ１８を実行する。
【００９４】
［２−２ｂ．キャリブレーション画像の生成の概略］
図１３は、撮像部４１０の撮像画像ＧＩ内のマーク２９１の好ましい形状を示す図である。マーク２９１は、複数の矩形２９２を組み合わせて構成される。このため、マーク２９１の外縁は、互いに直交する複数の線分を含んで構成される。この構成によれば、当該複数の線分が傾斜して交差する場合に比べて、当該複数の直線の交点に対応する撮像画像ＧＩの画素の位置を特定しやすい。この結果、マーク検出部４６３によるマークの位置の検出精度を高めることができる。このため、画像生成部２７６は、図１３に示すマーク２９１が撮像部４１０によって得られるようにキャリブレーション画像ＧＣを生成する。
【００９５】
図１４は、図１３に示すマーク２９１をモデル化してモデル図形２９５として示す図である。画像生成部２７６は、マーク２９１を構成する複数の矩形２９２の形状および位置を特定するため、図１４に示すモデル図形２９５を処理する。モデル図形２９５は、矩形２９２の頂点に相当する複数の基準点２９６の集合である。当該複数の基準点２９６を直線で結ぶことにより、マーク２９１を再現することが可能である。
【００９６】
図１５は、図１４に示すモデル図形２９５をスクリーンＳＣまたは表示部２１０の座標系に変換して示す図である。画像生成部２７６は、図１５に示すように、モデル図形２９５の基準点２９６を撮像画像ＧＩの座標系の座標からスクリーンＳＣまたは表示部２１０の座標系の座標に変換する。
【００９７】
図１６は、図１５に示すモデル図形２９５に基づくマーク３２５を示す図である。画像生成部２７６は、図１５に示す変換後の基準点２９６を直線で結ぶことにより、図１６に示すように、キャリブレーション画像に配置するマーク３２５を生成する。そして、画像生成部２７６は、複数のマーク３２５を行列状に並べて矩形の背景に重ねて配置することにより、キャリブレーション画像ＧＣを得る。
【００９８】
［２−２ｃ．キャリブレーション画像の生成の流れ］
以下、前述の図１２に示すステップＳ１２Ａの処理であるキャリブレーション画像生成処理について説明する。図１７は、表示装置１００Ａのキャリブレーション画像生成処理を示すフローチャートである。
【００９９】
本処理では、まず、ステップＳ２１において、情報取得部２７５が表示装置１００Ａの設置状態に関する情報を取得する。当該情報は、不揮発性メモリー２２０に設置情報２２１Ａとして記憶される。ここで、当該情報には、前述の測定部２７２で測定される距離Ｌに関する情報が含まれる。
【０１００】
続いて、ステップＳ２２において、画像生成部２７６が設置情報２２１Ａに基づいてシミュレーションを実行する。本シミュレーションでは、投射光学系２１３、撮像光学系４１１およびスクリーンＳＣのそれぞれに設定される座標系における座標の相対位置を３次元の仮想的なシミュレーション空間に再現する。
【０１０１】
図１８は、キャリブレーション画像生成処理におけるシミュレーションの様子を模式的に示す図である。ステップＳ２２のシミュレーションにおいて、例えば、図１８に示すように、投射光学系２１３の位置を示す点ＰＰＬ、撮像光学系４１１の位置を示す点ＰＣＬ、および、スクリーンＳＣの仮想位置を示す面ＳＣＩは、仮想的な３次元空間に配置される。ここで、当該３次元空間には、ＸＹＺの直交座標系が設定されており、点ＰＰＬ、点ＰＣＬ、面ＳＣＩの各位置は、Ｘ，Ｙ，Ｚ座標で表される。
【０１０２】
ステップＳ２２において、画像生成部２７６は、設置情報２２１Ａに基づいて、点ＰＰＬ、点ＰＣＬおよび面ＳＣＩのＸ，Ｙ，Ｚ座標を算出する。また、ステップＳ２２において、画像生成部２７６は、投射光学系２１３の光軸ＬＡＸ１と面ＳＣＩとの交点ＰＰＥ、および、撮像光学系４１１の光軸ＬＡＸ２と面ＳＣＩとの交点ＰＣＥのＸ，Ｙ，Ｚ座標も算出する。ここで、交点ＰＣＥは、カメラレンズセンターとも言える。本シミュレーションでは、交点ＰＣＥを用いて、投射画像Ｇと撮像画像ＧＩとの形状および座標を対応させる処理が行われる。
【０１０３】
画像生成部２７６は、前述の３次元空間の各点および面の相対位置を用いて、表示部２１０に設定される座標系の位置、スクリーンＳＣ上に設定される座標系の位置、および、撮像部４１０に設定される座標系の位置の相対関係を求める。
【０１０４】
図１７に戻り、ステップＳ２３において、情報取得部２７５は、補正処理部２７４が実行する幾何補正のパラメーターを取得する。
【０１０５】
ステップＳ２４において、画像生成部２７６は、表示部２１０に設定される座標系におけるマークの位置を算出する。続いて、ステップＳ２５において、画像生成部２７６は、ステップＳ２３で取得されるパラメーター、およびステップＳ２４で算出される位置に基づいて、幾何補正後のマークの位置を算出する。
【０１０６】
図１９は、ステップＳ２４およびＳ２５の処理において、パネル座標系ＳＰ１でのマークの位置を算出する様子を模式的に示す図である。パネル座標系ＳＰ１は、光変調装置２１２の表示領域に対応して、表示部２１０に設定される座標系である。
【０１０７】
ステップＳ２４において、画像生成部２７６は、図１９に示すように、パネル座標系ＳＰ１に配置される幾何補正前のキャリブレーション画像に相当する画像３３１に含まれるマークの位置３３２を算出する。画像３３１は、矩形である。パネル座標系ＳＰ１での画像３３１の大きさおよび位置は、光変調装置２１２の表示解像度に基づいて決定される。図１９に示す典型的な例では、画像３３１が５行５列の行列状に配置される２５個のマークを含む。
【０１０８】
ステップＳ２５において、画像生成部２７６は、パネル座標系ＳＰ１に配置される幾何補正後のキャリブレーション画像に相当する画像３３５に含まれるマークの位置３３６を算出する。ここで、幾何補正前の画像３３１は、幾何補正により変形して画像３３５となる。この変形に伴い、幾何補正前の画像３３１が含むマークの位置３３２は、幾何補正後の位置３３６に移動する。
【０１０９】
図１７に戻り、ステップＳ２６において、画像生成部２７６は、スクリーンＳＣ上に設定される座標系におけるマークの位置を算出する。
【０１１０】
図２０は、ステップＳ２６の処理において、スクリーン座標系ＳＰ２でのマークの位置を算出する様子を模式的に示す図である。スクリーン座標系ＳＰ２は、スクリーンＳＣの画像投射領域ＤＡに対応して、スクリーンＳＣ上に設定される座標系である。
【０１１１】
幾何補正前の画像３３１に対応する投射画像３４１は、スクリーン座標系ＳＰ２において、台形歪みを有する。これに対し、幾何補正後の画像３３５に対応する投射画像３４３は、スクリーン座標系ＳＰ２において、矩形をなす。また、スクリーン座標系ＳＰ２において、投射画像３４３に含まれる複数のマークの位置３４５は、均等に配置される。
【０１１２】
図１７に戻り、ステップＳ２７において、画像生成部２７６は、スクリーンＳＣと撮像画像との対応関係に関する情報を用いて、撮像画像におけるマークの位置を算出する。さらに、ステップＳ２８において、画像生成部２７６は、ステップＳ２７で算出されるマークの位置に重ねて、マークを構成する矩形の基準点を配置し、各基準点の位置を求める（ステップＳ２８）。
【０１１３】
図２１は、ステップＳ２７およびＳ２８の処理において、撮像座標系ＳＰ３でのマークの位置を算出する様子を模式的に示す図である。撮像座標系ＳＰ３は、撮像画像に対応して、撮像画像上に設定される座標系である。
【０１１４】
撮像座標系ＳＰ３において、投射画像３４３に対応する撮像画像３５１は、撮像部４１０とスクリーンＳＣとの位置関係、および撮像光学系４１１の屈折の影響により歪む形状をなす。ステップＳ２７において、画像生成部２７６は、この影響を考慮して、撮像座標系ＳＰ３でのマークの位置３５３を算出する。そして、ステップＳ２８において、画像生成部２７６は、２５個のマークの各々に対応する位置３５３に重なるように、基準点群３５４の位置を決定する。基準点群３５４は、前述の図１４に示す複数の基準点２９６の集合と同様、マークを構成する矩形の頂点である基準点の集合である。１つの基準点群３５４は、１つのマークに対応する。ここで、画像生成部２７６は、撮像画像におけるマークが好ましい形状となるように、基準点群３５４の位置を決定する。図２１に示す基準点群３５４を構成する複数の基準点は、軸方向およびＹ軸方向に行列状に並んで配置される。このため、撮像画像において、基準点群３５４を用いて得られるマークは、Ｘ軸方向およびＹ軸方向に平行な辺を有する矩形を含む。
【０１１５】
図１７に戻り、ステップＳ２９において、画像生成部２７６は、撮像画像におけるマークの基準点の位置を、光変調装置２１２におけるマークの基準点の位置に変換する。
【０１１６】
図２２は、ステップＳ２９の処理において、撮像座標系ＳＰ３でのマークの基準点の位置をパネル座標系ＳＰ１でのマークの基準点の位置に変換する様子を模式的に示す図である。前述の図７に示すシミュレーションの結果に基づいて、撮像座標系ＳＰ３での位置とパネル座標系ＳＰ１での位置との対応付けが可能である。このため、画像生成部２７６は、ステップＳ２８で算出される撮像座標系ＳＰ３での基準点群３５４の各基準点の位置をパネル座標系ＳＰ１での位置に変換する。この結果、パネル座標系ＳＰ１には、基準点群３６２が配置される。撮像座標系ＳＰ３での撮像画像３５１は、前述の変換によりパネル座標系ＳＰ１において矩形の画像３６１となる。
【０１１７】
図１７に戻り、ステップＳ３０において、画像生成部２７６は、ステップＳ２９で求められる基準点群の位置に基づき、マークの間隔が設定値以下か否かを判定する。
【０１１８】
ステップＳ３０においてマークの間隔が設定値より大きい場合、ステップＳ３１において、画像生成部２７６は、ステップＳ２９で求められる基準点に基づいて、キャリブレーション画像を生成する。ここで、画像生成部２７６は、当該キャリブレーション画像に関する校正画像情報２２２を不揮発性メモリー２２０に記憶させて、キャリブレーション画像の生成処理を終了する。
【０１１９】
ステップＳ３１において、画像生成部２７６は、ステップＳ２９で求められる基準点を直線で結ぶことにより、キャリブレーション画像のマークを生成する。このようにして生成されるマークは、マーク検出部４６３での検出精度を高めることができる。このため、キャリブレーションの精度または成功率を高めることができる。
【０１２０】
一方、ステップＳ３０においてマークの間隔が設定値以下である場合、ステップＳ３２において、画像生成部２７６は、キャリブレーション画像のマークの数を変更し、前述のステップＳ２４に移行する。ステップＳ３０においてマークの間隔が設定値以下である場合、隣接するマークの基準点同士の距離が近いか、または、マーク同士が重なる。この場合、マーク検出部４６３がキャリブレーション画像の複数のマークを区別できない可能性が高くなる。このため、画像生成部２７６は、ステップＳ３２において、キャリブレーション画像におけるマークの数を減少させる。このとき、減少後のマークの数は、例えば、前述のステップＳ２４〜Ｓ２９の説明で例示される５行５列の２５個のマークよりも少なくなるように、４行４列の１６個である。
【０１２１】
なお、本実施形態では、ステップＳ３２において、マークの数を減少させる処理を行うが、当該処理に代えて、マークの大きさを小さくする処理を行ってもよい。この場合、マークの数を減少させずに、マーク同士の必要な間隔を確保できる。
【０１２２】
以上の表示装置１００Ａは、前述のように、測定部２７２で測定される距離Ｌに基づいて、キャリブレーション画像に関する画像情報である校正画像情報２２２を生成する画像生成部２７６を有する。そして、キャリブレーション処理部２７３は、校正画像情報２２２に基づいてキャリブレーション画像を表示部２１０に表示させる。このため、距離Ｌごとに適するキャリブレーション画像を用いてキャリブレーションを実行できる。このため、本実施形態によっても、スクリーンＳＣに表示されるキャリブレーション画像の明るさが距離Ｌの変更によって変動することを低減できる。
【０１２３】
３．変形例
以上、本発明の表示装置および表示システムについて図示の実施形態に基づいて説明したが、本発明は、これらに限定されない。また、本発明の各部の構成は、前述の実施形態の同様の機能を発揮する任意の構成に置換することができ、また、任意の構成を付加することもできる。また、本発明は、前述の各実施形態の任意の構成同士を組み合わせるようにしてもよい。
【０１２４】
［３−１．変形例１］
スクリーンＳＣに表示されるキャリブレーション画像の明るさを測定部２７２で測定される距離Ｌを用いて調整する方法は、前述の実施形態に限定されない。例えば、キャリブレーション処理部２７３は、距離Ｌに基づいて、撮像部４１０の撮像感度を調整してもよい。ここで、キャリブレーション処理部２７３は、測定部２７２で測定される距離Ｌが小さくなるに従い、撮像部４１０の撮像感度を低めるように調整する。この調整により、撮像部４１０が有する撮像素子４１３の画素の感度の飽和によってキャリブレーション画像のマークの検出精度が低下することを低減できる。なお、この態様は、前述の実施形態と組み合わせて用いてもよい。
【０１２５】
［３−２．変形例２］
また、キャリブレーション処理部２７３は、測定部２７２で測定される距離Ｌに基づいて、撮像部４１０の露光時間を調整する。ここで、キャリブレーション処理部２７３は、測定部２７２で測定される距離Ｌが小さくなるに従い、撮像部４１０の露光時間を短くなるように調整する。この調整によっても、撮像部４１０が有する撮像素子４１３の画素の感度の飽和によってキャリブレーション画像のマークの検出精度が低下することを低減できる。なお、この態様は、前述の実施形態または変形例１と組み合わせてもよい。
【０１２６】
［３−３．変形例３］
前述の実施形態では、表示部２１０および撮像部４１０を用いて距離Ｌの測定を行う場合を例示するが、表示部２１０および撮像部４１０とは別途設けられる光学式等の距離計を用いて距離Ｌを計測してもよい。
【符号の説明】
【０１２７】
１…表示システム、１Ａ…表示システム、１０…表示装置、７０…指示体、１００…表示装置、１００Ａ…表示装置、２１０…表示部、２１１…光源、２７２…測定部、２７３…キャリブレーション処理部、２７６…画像生成部、３０１…キャリブレーション画像、３０２…マーク、３０３…マーク、３１１…撮像画像、３１２…測定用画像、４１０…撮像部、Ｇ…画像。
【図１】
2020039082.tif 000003
【図２】
2020039082.tif 000004
【図３】
2020039082.tif 000005
【図４】
2020039082.tif 000006
【図５】
2020039082.tif 000007
【図６】
2020039082.tif 000008
【図７】
2020039082.tif 000009
【図８】
2020039082.tif 000010
【図９】
2020039082.tif 000011
【図１０】
2020039082.tif 000012
【図１１】
2020039082.tif 000013
【図１２】
2020039082.tif 000014
【図１３】
2020039082.tif 000015
【図１４】
2020039082.tif 000016
【図１５】
2020039082.tif 000017
【図１６】
2020039082.tif 000018
【図１７】
2020039082.tif 000019
【図１８】
2020039082.tif 000020
【図１９】
2020039082.tif 000021
【図２０】
2020039082.tif 000022
【図２１】
2020039082.tif 000023
【図２２】
2020039082.tif 000024