(57)【要約】【課題】高品質で予め規定された位置に画像を投影することのできる投影装置を提供する。【解決手段】カメラ３００と通信して撮影画像を取得するための画像入力部１０１と、表示対象のコンテンツから投影データを生成するための映像生成部１０５と、撮影画像を解析し、カメラ３００と投影装置２００との間の位置関係を算出するための姿勢・位置算出部１０３とを備えて、映像生成部１０５は、予め記憶している投影位置とカメラ３００との間の位置関係と、算出されたカメラ３００と投影装置２００との間の位置関係とを用いて、生成された投影データを補正するための補正部１０５１を含む。【選択図】図２
2012220602.tif 000002
【特許請求の範囲】
【請求項１】
設定された投影位置に画像を投影するための投影装置であって、
カメラと通信するための通信手段と、
投影データに基づく画像を投影するための投影手段と、
前記投影データの処理を行なうための処理手段とを備え、
前記処理手段は、
表示対象のコンテンツから前記投影データを生成するための生成手段と、
前記カメラからの撮影画像を解析し、前記カメラと当該投影装置との間の位置関係を算出するための算出手段と、
予め記憶している前記投影位置と前記カメラとの間の位置関係と、前記算出された前記カメラと当該投影装置との間の位置関係とを用いて、前記生成された投影データを補正するための補正手段とを含む、投影装置。
【請求項２】
前記生成手段は、前記投影位置と当該投影装置とが第１の位置関係にあるときに当該投影装置から投影される画像のための前記投影データを生成し、
前記補正手段は、予め記憶している前記投影位置と前記カメラとの間の位置関係と、前記算出された前記カメラと当該投影装置との間の位置関係とから、前記投影位置と当該投影装置との間の位置関係を第２の位置関係として取得し、前記第１の位置関係と前記第２の位置関係との差異に基づいて前記生成された前記投影データを補正する、請求項１に記載の投影装置。
【請求項３】
ディスプレイに表示データを出力して前記ディスプレイに前記表示データに基づく画面表示を実行させるための表示手段をさらに備え、
前記投影位置は前記ディスプレイに隣接する範囲であって、
前記生成手段は、前記表示対象のコンテンツから前記表示データで表わされた表示範囲に応じた画像を投影させるための前記投影データを生成する、請求項１または２に記載の投影装置。
【請求項４】
前記算出手段は前記撮影画像を解析して、前記撮影画像中の当該投影装置の各位置に対応した複数のマークを検出し、当該複数のマークによって形成される形状と予め記憶している形状とを比較することで前記カメラと当該投影装置との間の位置関係を算出する、請求項１〜３のいずれかに記載の投影装置。
【請求項５】
前記複数のマークは、すべてのマークが同一平面内に存在するように当該投影装置に対して取り付けられた、少なくとも４点以上のマークである、請求項４に記載の投影装置。
【請求項６】
前記複数のマークは、少なくとも１つのマークが同一平面外に存在するように当該投影装置に対して取り付けられた、少なくとも４点以上のマークである、請求項４に記載の投影装置。
【請求項７】
当該投影装置はユーザの頭部に装着可能であって、
前記複数のマークは、当該投影装置を装着するユーザの顔における特徴点であり、
前記算出手段は、前記撮影画像中の前記ユーザの前記特徴点の相対位置関係と、予め記憶している前記特徴点の相対位置関係とをマッチングすることで、前記カメラと当該投影装置との間の位置関係を算出する、請求項６に記載の投影装置。
【請求項８】
前記算出手段は、第１のカメラからの第１の撮影画像と、前記第１のカメラとは異なる第２のカメラからの第２の撮影画像とからステレオ測距を行なって前記第１のカメラまたは前記第２のカメラから当該投影装置までの距離を算出し、前記第１の撮影画像から算出された前記第１のカメラと当該投影装置との間の位置関係、または前記第２の撮影画像から算出された前記第２のカメラと当該投影装置との間の位置関係の前記距離成分を補正する、請求項１〜７のいずれかに記載の投影装置。
【請求項９】
当該投影装置の角速度を取得するための第１の取得手段をさらに備え、
前記算出手段は、前記角速度を用いて前記算出された前記カメラと当該投影装置との間の位置関係を補正し、
前記補正手段は、前記算出された前記カメラと当該投影装置との間に基づいて補正された前記投影データを、前記補正された前記カメラと当該投影装置との間の位置関係に基づいてさらに補正する、請求項１〜８のいずれかに記載の投影装置。
【請求項１０】
当該投影装置の加速度を取得するための第２の取得手段をさらに備え、
前記算出手段は、前記加速度を用いて前記算出された前記カメラと当該投影装置との間の位置関係を補正し、
前記補正手段は、前記算出された前記カメラと当該投影装置との間に基づいて補正された前記投影データを、前記補正された前記カメラと当該投影装置との間の位置関係に基づいてさらに補正する、請求項１〜９のいずれかに記載の投影装置。
【請求項１１】
投影装置での投影を制御するための制御装置であって、
カメラと通信するための通信手段と、
前記投影装置での投影を実行させるための投影データを処理するための処理手段とを備え、
前記処理手段は、
表示対象のコンテンツから前記投影データを生成するための生成手段と、
前記カメラからの撮影画像を解析し、前記カメラと前記投影装置との間の位置関係を算出するための算出手段と、
予め記憶している前記投影装置での投影位置と前記カメラとの間の位置関係と、前記算出された前記カメラと前記投影装置との間の位置関係とを用いて、前記生成された投影データを補正するための補正手段と、
前記補正された投影データを制御信号と共に前記投影装置に対して送信するための送信手段とを含む、制御装置。
【請求項１２】
投影装置での画像の投影を制御する制御方法であって、
表示対象のコンテンツから、予め記憶されている、基準となる前記投影装置の投影位置に対する投影角度および投影距離に基づいて投影データを生成するステップと、
カメラから前記投影装置を撮影した撮影画像の入力を受け付けるステップと、
前記撮影画像を解析し、前記カメラと前記投影装置との間の位置関係を算出するステップと、
予め記憶している前記投影位置と前記カメラとの間の位置関係と、前記算出された前記カメラと当該投影装置との間の位置関係とを用いて、前記生成された投影データを補正するステップと、
前記補正された前記投影データを前記投影装置に対して送信し、当該投影データに基づく画像の投影を実行させるステップとを備える、制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は投影装置、制御装置、および制御方法に関し、特に、画像を投影するための投影装置、当該投影装置を制御するための制御装置およびその制御方法に関する。
【背景技術】
【０００２】
プロジェクタと呼ばれる投影装置は、画像データに基づく、指向性を有する光線をスクリーンに対して照射するものである。
【０００３】
このような投影装置は、昨今、オフィス環境でも用いられるようになっている。すなわち、オフィスでのディスプレイを用いた作業ではディスプレイの面積が広いほど表示される情報量が多くなることで閲覧性が高まり、作業領域が多くなることで作業効率が高まるものである。しかしながら、オフィス環境ではユーザの作業スペースが限られているので、ディスプレイの面積を広くしすぎることができない。そこで、ディスプレイの周囲を仮想的なスクリーンとして、ヘッドマウンテンディスプレイである投影装置を用いて、ディスプレイに表示される画面の周囲に仮想的な表示領域を拡張させる使い方が提案されている。同様の使い方として、たとえば特開２０１０−１５１９９７号公報（以下、特許文献１）は、表示装置で表示しているプレゼンテーション画像に対応した補助画像のうち、発表者の説明に必要な補助画像をヘッドマウンテンディスプレイにより発表者の視界に投影するプレゼンテーションシステムを開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１５１９９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
投影装置によって投影される画像の品質を低下させないためには、投影装置とスクリーンとの位置関係が重要になる。すなわち、スクリーンに対して投影装置が所定の位置関係を保ち、所定の方向に画像を投影するものでないと、スクリーンに投影された画像の品質が低下する場合がある。このため、たとえばいったん投影装置の位置を決定した後にスクリーンまたは投影装置を移動させると、再びこれらの位置合わせが必要となる。
【０００６】
特に、上述のディスプレイの周囲に仮想的な表示領域を設定して投影装置で拡張した表示画面を表示させる場合、投影画像の投影位置が適切でなかったり、その品質が低下したりすると、ディスプレイの表示画面との整合性が保たれなくなり、表示画面の拡張という機能が損なわれる場合がある。
【０００７】
たとえば、上記特許文献１においてヘッドマウンテンディスプレイを装着した発表者が視界をプレゼンテーション画像から離すと、説明に必要な補助画像がプレゼンテーション画像から離れてしまう、という問題がある。
【０００８】
本発明はこのような問題に鑑みてなされたものであって、高品質で予め規定された位置に画像を投影することのできる投影装置、当該投影装置を制御するための制御装置およびその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明のある局面に従うと、投影装置は設定された投影位置に画像を投影するための投影装置であって、カメラと通信するための通信手段と、投影データに基づく画像を投影するための投影手段と、投影データの処理を行なうための処理手段とを備える。処理手段は、表示対象のコンテンツから投影データを生成するための生成手段と、カメラからの撮影画像を解析し、カメラと当該投影装置との間の位置関係を算出するための算出手段と、予め記憶している投影位置とカメラとの間の位置関係と、算出されたカメラと当該投影装置との間の位置関係とを用いて、生成された投影データを補正するための補正手段とを含む。
【００１０】
好ましくは、生成手段は、投影位置と当該投影装置とが第１の位置関係にあるときに当該投影装置から投影される画像のための投影データを生成し、補正手段は、予め記憶している投影位置とカメラとの間の位置関係と、算出されたカメラと当該投影装置との間の位置関係とから、投影位置と当該投影装置との間の位置関係を第２の位置関係として取得し、第１の位置関係と第２の位置関係との差異に基づいて生成された投影データを補正する。
【００１１】
好ましくは、投影装置はディスプレイに表示データを出力してディスプレイに表示データに基づく画面表示を実行させるための表示手段をさらに備える。投影位置はディスプレイに隣接する範囲であって、生成手段は、表示対象のコンテンツから表示データで表わされた表示範囲に応じた画像を投影させるための投影データを生成する。
【００１２】
好ましくは、算出手段は撮影画像を解析して、撮影画像中の当該投影装置の各位置に対応した複数のマークを検出し、当該複数のマークによって形成される形状と予め記憶している形状とを比較することでカメラと当該投影装置との間の位置関係を算出する。
【００１３】
より好ましくは、上記複数のマークは、すべてのマークが同一平面内に存在するように当該投影装置に対して取り付けられた、少なくとも４点以上のマークである。
【００１４】
または、より好ましくは、上記複数のマークは、少なくとも１つのマークが同一平面外に存在するように当該投影装置に対して取り付けられた、少なくとも４点以上のマークである。
【００１５】
より好ましくは、当該投影装置はユーザの頭部に装着可能であって、上記複数のマークは、当該投影装置を装着するユーザの顔における特徴点であり、算出手段は、撮影画像中のユーザの特徴点の相対位置関係と、予め記憶している特徴点の相対位置関係とをマッチングすることで、カメラと当該投影装置との間の位置関係を算出する。
【００１６】
好ましくは、算出手段は、第１のカメラからの第１の撮影画像と、第１のカメラとは異なる第２のカメラからの第２の撮影画像とからステレオ測距を行なって第１のカメラまたは第２のカメラから当該投影装置までの距離を算出し、第１の撮影画像から算出された第１のカメラと当該投影装置との間の位置関係、または第２の撮影画像から算出された第２のカメラと当該投影装置との間の位置関係の距離成分を補正する。
【００１７】
好ましくは、投影装置は当該投影装置の角速度を取得するための第１の取得手段をさらに備え、算出手段は、角速度を用いて算出されたカメラと当該投影装置との間の位置関係を補正し、補正手段は、算出されたカメラと当該投影装置との間に基づいて補正された投影データを、補正されたカメラと当該投影装置との間の位置関係に基づいてさらに補正する。
【００１８】
好ましくは、投影装置は当該投影装置の加速度を取得するための第２の取得手段をさらに備え、算出手段は、加速度を用いて算出されたカメラと当該投影装置との間の位置関係を補正し、補正手段は、算出されたカメラと当該投影装置との間に基づいて補正された投影データを、補正されたカメラと当該投影装置との間の位置関係に基づいてさらに補正する。
【００１９】
本発明の他の局面に従うと、制御装置は投影装置での投影を制御するための制御装置であって、カメラと通信するための通信手段と、投影装置での投影を実行させるための投影データを処理するための処理手段とを備える。処理手段は、表示対象のコンテンツから投影データを生成するための生成手段と、カメラからの撮影画像を解析し、カメラと投影装置との間の位置関係を算出するための算出手段と、予め記憶している投影装置での投影位置とカメラとの間の位置関係と、算出されたカメラと投影装置との間の位置関係とを用いて、生成された投影データを補正するための補正手段と、補正された投影データを制御信号と共に投影装置に対して送信するための送信手段とを含む。
【００２０】
本発明のさらに他の局面に従うと、制御方法は投影装置での画像の投影を制御する制御方法であって、表示対象のコンテンツから、予め記憶されている、基準となる投影装置の投影位置に対する投影角度および投影距離に基づいて投影データを生成するステップと、カメラから投影装置を撮影した撮影画像の入力を受け付けるステップと、撮影画像を解析し、カメラと投影装置との間の位置関係を算出するステップと、予め記憶している投影位置とカメラとの間の位置関係と、算出されたカメラと当該投影装置との間の位置関係とを用いて、生成された投影データを補正するステップと、補正された投影データを投影装置に対して送信し、当該投影データに基づく画像の投影を実行させるステップとを備える。
【発明の効果】
【００２１】
この発明にかかる投影装置、当該投影装置を制御するための制御装置およびその制御方法を用いることで、高品質で予め規定された位置に画像を投影することができる。
【図面の簡単な説明】
【００２２】
【図１】第１の実施の形態にかかる投影システムの構成の具体例を示す図である。
【図２】投影システムに含まれる制御装置の機能構成の具体例を示す図である。
【図３】投影システムに含まれる投影装置の姿勢、位置を検出するために用いられるマーカを説明するための図である。
【図４】投影システムに含まれる投影装置の姿勢、位置を検出するために用いられるマーカを説明するための図である。
【図５】投影システムに含まれる投影装置の姿勢、位置を検出するために用いられるマーカを説明するための図である。
【図６】投影システムに含まれる投影装置の姿勢、位置を検出するために用いられるマーカを説明するための図である。
【図７】投影システムに含まれる投影装置の姿勢、位置を検出するために用いられるマーカを説明するための図である。
【図８】投影システムに含まれる投影装置の姿勢、位置を検出するために用いられるマーカを説明するための図である。
【図９】制御装置における動作を表わしたフローチャートである。
【図１０】第１の変形例にかかる投影システムの構成の具体例を示す図である。
【図１１】第２の変形例にかかる制御装置の機能構成の具体例を示すブロック図である。
【図１２】第２の実施の形態にかかる投影システムの構成の具体例を示す図である。
【図１３】第２の実施の形態にかかるプロジェクタに対して設定されたマークの具体例を説明するための図である。
【発明を実施するための形態】
【００２３】
以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。
【００２４】
［第１の実施の形態］
＜システム構成＞
図１は、第１の実施の形態にかかる投影システム１の構成の具体例を示す図である。図１を参照して、投影システム１は、制御装置１００と、ヘッドマウンテンディスプレイである投影装置２００と、カメラ３００と、ディスプレイ４００とを含む。
【００２５】
制御装置１００は、ヘッドマウンテンディスプレイである投影装置２００、カメラ３００、およびディスプレイ４００と接続されている。この接続は、有線であってもよいし、無線であってもよい。一例として、図１では、カメラ３００とディスプレイ４００とが一体で構成されてそれらが制御装置１００にＬＡＮなどを用いて有線で接続され、投影装置２００が制御装置１００に、ＩＥＥＥ８０２．１１などの無線ＬＡＮ規格やＢｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線通信規格に沿った無線で接続される例が示されている。
【００２６】
制御装置１００はディスプレイ４００へ映像データに基づく画面表示を行なわせるための表示制御を行なう。また、制御装置１００は、映像データに基づく投影画像を投影装置２００に投影させるための表示制御を行なう。以降の説明では、前者の表示制御を第１の表示制御、後者の表示制御を第２の表示制御とも称する。
【００２７】
この例において投影装置２００はヘッドマウンテンディスプレイが想定されている。ユーザがヘッドマウンテンディスプレイを装着し、ディスプレイ４００に向かうことで、ディスプレイ４００の周囲の予め設定された範囲に制御装置１００での第２の表示制御に従って投影画像が投影される。
【００２８】
なお、投影装置２００はヘッドマウンテンディスプレイに限定されず、予め設定された範囲に映像を投影し得る装置であればどのような装置であってもよい。たとえば、設置型の大型プロジェクタや小型プロジェクタ、などであってもよい。また、後述するように、投影装置２００として想定されているヘッドマウンテンディスプレイは透過性を有し、メインディスプレイであるディスプレイ４００の周囲を予め設定された投影範囲として拡張ディスプレイ２を表示するものであるが、ディスプレイ４００を含む範囲を投影範囲として拡張ディスプレイを表示するようにしてもよい。
【００２９】
カメラ３００は、ＵＳＢを利用したり、ＩＥＥＥ１３９４規格に基づいたりなどして制御装置１００に接続される、いわゆる一般的なＷＥＢカメラや、赤外線領域に感度をもったカメラや、赤外線補助光を照射する機能をもったカメラなどが用いられる。
【００３０】
カメラ３００は、ディスプレイ４００の周囲の予め設定された範囲に映像を投影し得る位置にある投影装置２００を撮影することのできる位置に設置される。図１の例では、ディスプレイ４００と一体としてディスプレイ４００に向かう位置を撮影範囲として設置されている例が示されているが、上述の投影装置２００を撮影し得る位置であれば、設置位置は限定されない。
【００３１】
制御装置１００は、一般的なパーソナルコンピュータを用いることができる。すなわち、さらに図１を参照して、制御装置１００は、ハードウェア構成として、装置全体を制御するためのＣＰＵ１０と、ＣＰＵ１０で実行されるためのプログラムなどを記憶するためのメモリ１１と、投影装置２００と通信するための第１通信インタフェース（Ｉ／Ｆ）１２と、カメラ３００と通信するための第２通信Ｉ／Ｆ１３とを含む。
【００３２】
＜動作概要＞
この投影システム１は、投影装置２００を利用することで、メインディスプレイとしてのディスプレイ４００の周囲に仮想的な拡張ディスプレイ２を表示し、表示領域を拡大し、また、ユーザの作業領域を拡大する。
【００３３】
投影システム１では、制御装置１００における第１の表示制御によって表示対象のコンテンツの映像の一部がディスプレイ４００に画面表示がなされると共に、第２の表示制御によって、そのコンテンツの他の部分の映像が、拡張画面としてのディスプレイ４００の周囲に仮想的に設定された拡張ディスプレイに投影装置２００によって投影される。
【００３４】
第２の表示制御として、制御装置１００は、上記コンテンツに基づいて投影装置２００で投影させるための映像データを生成する。その際、制御装置１００はカメラ３００からの撮影画像を取得し、当該撮影画像を用いて生成された映像データを補正する。すなわち、制御装置１００は、カメラ３００の設置位置や撮影範囲、解像度などの情報を予め記憶しておき、制御装置１００はそれら情報を用いて撮影画像を解析することで投影装置２００であるヘッドマウンテンディスプレイの位置や方向を検出してその位置や方向に応じて拡張ディスプレイ２の位置を決定する。そして、決定された拡張ディスプレイ２の位置に応じて映像データを補正した上で、投影装置２００から投影させる。
【００３５】
＜機能構成＞
図２は、上記第２の表示制御を実行するための制御装置１００の機能構成の具体例を示す図である。図２の各機能は、ＣＰＵ１０がメモリ１１に記憶されているプログラムを読み出して実行することで、主にＣＰＵ１０上に形成されるものであるが、その一部が、電気回路などのハードウェア構成で実現されてもよい。
【００３６】
図２を参照して、制御装置１００は、第２通信Ｉ／Ｆ１３を介してカメラ３００からの撮影画像の入力を受け付けることで撮影画像を取得するための画像入力部１０１と、メインディスプレイであるディスプレイ４００のサイズやカメラ３００の位置や撮影範囲などの情報を基本情報として記憶するための基本情報記憶部１０２と、撮影画像と基本情報とを用いて投影装置２００の姿勢、位置を算出するための姿勢・位置算出部１０３と、メモリ１１の所定領域に記憶されている表示対象のコンテンツを取得するためのコンテンツ取得部１０４と、取得されたコンテンツから投影装置２００で投影させるための映像を生成するための映像生成部１０５と、生成された映像データと制御信号とを第１通信Ｉ／Ｆ１２を介して投影装置２００に送信して当該映像データに基づく投影を実行させるための通信部１０６とを含む。さらに、映像生成部１０５は、補正部１０５１を含む。
【００３７】
なお、さらに図２を参照して、投影装置２００は、投影装置２００での投影を実行させるための制御部２０と、ディスプレイエレメント２１と、制御装置１００と通信することで当該制御装置１００からの映像データと制御信号との入力を受け付けるための通信部２２とを含む。ディスプレイエレメント２１は透過性を有する表示部である。制御部２０は予めディスプレイ４００の範囲を記憶しており、映像データに基づく投影画像のうちのディスプレイ４００に相当する範囲をディスプレイ４００に重なる部分として黒画素のみの画像とすることで、背景となるディスプレイ４００を透過させることができる。
【００３８】
表示対象となるコンテンツは、文書ファイルをアプリケーションを用いて表示させた画面や、画像ファイルや、映像ファイルや、ＷＥＢブラウザなどの制御装置１００を構成するＰＣで生成された画像情報や、ＬＡＮやインターネットを介して他の装置から受信した、映像や、画像や、ＷＥＢブラウザ画面などが該当する。また、投影装置２００の図示しないメモリにこのようなコンテンツが表示対象とされてもよい。この場合、投影装置２００から制御装置１００に対して当該コンテンツが送信され、表示処理に用いられる。
【００３９】
制御装置１００から投影装置２００への映像データの送信は、通信帯域の確保などの観点から映像データをＭＰＥＧ４やＨ．２６４などの画像圧縮コーデックを使用して圧縮した上で送信されてもよい。この場合、投影装置２００は、投影データの圧縮を解凍するために制御装置１００で行なわれる圧縮方法を基本情報として予め記憶しておいてもよいし、ＳＩＰ（Session Initiation Protocol）などの呼制御用のプロトコルを使用して圧縮方法を制御装置１００に対して問い合わせてもよい。
【００４０】
姿勢・位置算出部１０３は、カメラ３００からの撮影画像を解析し、カメラ３００に対する投影装置２００の姿勢、位置を検出する。
【００４１】
この検出方法は特定の方法に限定されない。一例として、ＡＲＴｏｏｌＫｉｔと呼ばれる技術を用いることができる。ＡＲＴｏｏｌＫｉｔは実空間中に配置した、たとえば紙などに印刷された黒い正方形領域の画像など、予めその形状が記憶されているマーカをカメラで読み取り、読み取られた形状と記憶されている基本の形状、サイズとの差異からカメラの姿勢、位置を求める機能を含むライブラリである。姿勢・位置算出部１０３での検出方法はこの方法に限定されるものではないが、以降では、一例としてＡＲＴｏｏｌＫｉｔと呼ばれる技術を用いるものとして説明する。この場合、基本情報記憶部１０２は、マーカの基本の形状、サイズを基本情報として記憶している。
【００４２】
図３〜図８は、投影装置２００の姿勢、位置を検出するために用いられるマーカを説明するための図である。
【００４３】
一例として、図３のように、四角形の枠ＡＢＣＤを投影装置２００に取り付けることで当該枠ＡＢＣＤをマーカとして用いることができる。この場合、基本情報記憶部１０２は、投影装置２００とカメラ３００との間の距離が予め規定した距離であり、これらの角度が予め規定された角度である場合（以降、この関係を「基準位置関係」とも称する）のカメラ３００での撮影画像に含まれる枠ＡＢＣＤの形状、サイズを基本情報として記憶している。
【００４４】
他の例として、図４のように投影装置２００に複数（たとえば４つ）のマークを同一平面上であり、かつ、予め規定した形状（本例では長方形）を形成するように取り付けることで、これらマークをマーカとして用いることができる。これらマークとしては、特定の波長を効率的に反射する素材やＬＥＤなどの発光体を用いることができる。より好ましくは、姿勢・位置算出部１０３でのマークの検出をより簡単にするために、各マークの態様を異ならせる。具体的には、ＬＥＤなどの発光体を用いた場合においてそれぞれのマークの発光色を異ならせたり、点滅パターンを異ならせたりすることが挙げられる。
【００４５】
この場合、基本情報記憶部１０２は、基準位置関係にあるカメラ３００での撮影画像に含まれるこれらマークの位置関係、またはこれらマークで形成される形状を基本情報として記憶している。
【００４６】
姿勢・位置算出部１０３は、カメラ３００からの撮影画像から枠ＡＢＣＤまたは上記マーク群を検出し、基本情報記憶部１０２に記憶されている基本情報と比較することでカメラ３００に対する投影装置２００の姿勢、位置を算出する。
【００４７】
図５のように、マークを投影装置２００から所定距離離れた位置の取り付けるようにしてもよい。このようにすることで、マークが投影装置２００自身やヘッドマウンテンディスプレイである投影装置２００を装着したユーザに隠されて撮影されない、という事態を防止することができる。
【００４８】
ヘッドマウンテンディスプレイである投影装置２００は、基本的には着座または直立状態のユーザが装着して用いられることが想定されているため、上下逆向きに装着されるなどの通常ではない装着方法は想定されていない。そのため、マークは、少なくとも四角形が特定できるように設定されていればよい。
【００４９】
しかしながら、ヘッドマウンテンディスプレイである投影装置２００を装着したユーザが上記以外の体勢をとったり（たとえば寝転んだり、逆さを向いて使用したり）、ヘッドマウンテンディスプレイである投影装置２００の装着方向を誤ったりすることもあり得る。そのため、好ましくは、図６のように、マークによって形成される形状（長方形）の基本姿勢を表わすための当該形状の存在する平面上の別のマークを設ける。
【００５０】
より好ましくは、検出対象の形状の基本姿勢を表わすためのマークは、当該形状を構成するマークと異なる態様とする。具体例として、当該形状を構成するマークのみ他のマークと色を異ならせたり、大きさや形状を異ならせたりすることが挙げられる。図６の例では、これらマークの態様が異なることを表わすため、検出対象の形状を構成するマークを斜線、当該形状の基本姿勢を表わすためのマークを白丸で表わしている。
【００５１】
この場合、基本情報記憶部１０２は、検出対象の形状を構成するマークの位置関係または当該形状と共に、当該形状の基本姿勢を表わすためのマークの位置関係を基本情報として記憶する。
【００５２】
なお、検出対象の形状は平面形状には限定されない。他の例として、図７のように、複数（たとえば４つ）のマークを同一平面にない位置関係で取り付けることが挙げられる。この場合、基本情報記憶部１０２は、それぞれのマーク間の位置関係を基本情報として記憶しておく。姿勢・位置算出部１０３では予め特性値を記憶しておき、当該特性値を用いてカメラキャリブレーションを実行することで、これら４点を撮影した撮影画像からカメラ３００と投影装置２００との位置関係を算出することができる。
【００５３】
さらに、投影装置２００の姿勢、位置を検出する方法は、マーカとして用いるためのマークを投影装置２００、または投影装置２００から所定の位置関係で設けて当該マークを検出する方法に限定されない。他の例として、図８のように、ヘッドマウンテンディスプレイである投影装置２００を装着するユーザの顔に複数（たとえば４点以上）の特徴点を設定しておき、当該特徴点の相対位置に基づいて投影装置２００の姿勢、位置を検出してもよい。
【００５４】
詳しくは、図８のように、ヘッドマウンテンディスプレイである投影装置２００の両端、ユーザの鼻、および口の両端を特徴点として予め設定しておき、予めユーザがヘッドマウンテンディスプレイである投影装置２００を装着してカメラ３００に向かう姿勢を基本姿勢として当該基本姿勢における各特徴点の位置関係を基本情報として基本情報記憶部１０２に登録しておく。そして、姿勢・位置算出部１０３は、カメラ３００からの撮影画像から各特徴点を抽出し、この特徴点と基本情報である各特徴点の位置関係とをマッチングすることで、カメラ３００に対する当該ユーザの位置関係、つまり、当該ユーザの装着した投影装置２００の位置関係を算出する。
【００５５】
映像生成部１０５は、表示対象のコンテンツから、予め設定された範囲を投影装置２００で投影する映像データを生成するために抽出し、抽出された範囲に基づいて、予め記憶されている投影角度、距離に基づいて投影データを生成する。予め記憶されている投影角度、距離は、基本情報記憶部１０２に基本情報として記憶されている、カメラ３００と投影装置２００との位置関係に対応しており、基本情報として記憶されているカメラ３００とディスプレイ４００との位置関係および当該ディスプレイ４００とその周囲に仮想的に設定される拡張ディスプレイ２との位置関係に対応している。つまり、映像生成部１０５は、投影装置２００が基本情報記憶部１０２に基本情報として記憶されているカメラ３００に対する姿勢、位置にあるときに、画像がディスプレイ４００の周囲に仮想的に設定された拡張ディスプレイ２に投影されるような、投影装置２００の投影角度、距離を予め記憶している。
【００５６】
補正部１０５１は、生成された投影データを、姿勢・位置算出部１０３での算出結果に基づいて補正する。すなわち、姿勢・位置算出部１０３では上述のように、撮影画像を解析することでカメラ３００と投影装置２００との位置関係が算出される。補正部１０５１は、予めディスプレイ４００とカメラ３００との位置関係、およびディスプレイ４００とその周囲に設定される拡張ディスプレイ２との位置関係を記憶しておき、カメラ３００と投影装置２００との位置関係を投影装置２００と拡張ディスプレイ２との位置関係に換算して、その位置関係に基づいて投影データを補正する。
【００５７】
ここでの補正は、投影装置２００と拡張ディスプレイ２との位置関係の、予め映像生成部１０５で投影データを生成する際に用いられた投影装置２００の投影角度、距離からの差異に基づき、実際の位置関係において投影装置２００から拡張ディスプレイ２に対して画像を投影した場合に、予め記憶されている投影角度、距離で投影した場合と同様の画像となるように補正するものである。
【００５８】
補正された投影データは通信部１０６によって投影装置２００に対して制御信号と共に送信され、投影装置２００のディスプレイエレメント２１で投影される。
【００５９】
＜動作フロー＞
図９は、制御装置１００における動作を表わしたフローチャートである。図９のフローチャートに表わされた動作は、ＣＰＵ１０がメモリ１１に記憶されているプログラムを読み出して実行し、図２に示される各機能を発揮させることで実現される。また、図９の動作は、ディスプレイ４００および拡張ディスプレイ２で所定のコンテンツを表示する際に行なわれる動作である。
【００６０】
図９を参照して、初めに、ステップＳ１０１でＣＰＵ１０は、メモリ１１の所定領域や図示しない外部装置または外部記憶媒体などから表示対象のコンテンツを取得し、ステップＳ１０３で表示させるためのデータを生成する。ステップＳ１０３では、ディスプレイ４００で表示させるための表示データを生成すると共に、当該ディスプレイ４００の周囲に設定された拡張ディスプレイ２にディスプレイ４００の表示画面に対応した画面を投影装置２００で投影させるための投影データを生成する。ここでは、予め記憶されているディスプレイ４００と拡張ディスプレイ２との位置関係、および投影装置２００の投影角度、距離に基づいて上記ステップＳ１０１で取得されたコンテンツから投影データが生成される。
【００６１】
ＣＰＵ１０はカメラ３００からの撮影画像を取得すると（ステップＳ１０５でＹＥＳ）、ステップＳ１０７で当該撮影画像を解析してカメラ３００に対する投影装置２００の姿勢、位置を算出する。ステップＳ１０９でＣＰＵ１０は、さらに、予め記憶されているディスプレイ４００とカメラ３００との位置関係、およびディスプレイ４００とその周囲に設定される拡張ディスプレイ２との位置関係に基づいて、上記ステップＳ１０７で得られたカメラ３００と投影装置２００との位置関係を投影装置２００と拡張ディスプレイ２との位置関係に換算して、その位置関係に基づいて上記ステップＳ１０３で生成した投影データを補正する。そして、ステップＳ１１１でＣＰＵ１０は、補正された投影データを制御信号と共に投影装置２００に対して送信する。そして、その後、処理をステップＳ１０５に戻す。すなわち、その後にカメラ３００から撮影画像が入力されると、上記ステップＳ１０５以降の動作を繰り返すことで、上記ステップＳ１０３で生成された投影データを入力された撮影画像の解析結果に応じて補正する。
【００６２】
投影装置２００は、上記制御信号に従って補正された投影データに基づく画像を拡張ディスプレイ２に投影する。
【００６３】
＜第１の実施の形態の効果＞
制御装置１００においてこのような動作が実行されることで、投影装置２００からの投影画像を予め位置が設定されている拡張ディスプレイ２に対して常に基本の設置位置から投影された画像と同様に保つことができる。
【００６４】
たとえば、本例のように投影装置２００がヘッドマウンテンディスプレイである場合には、装着したユーザがうなずくなどの小さな動作をとった場合であっても投影された画像は大きく変化することになる。そのため、映像がぶれたりピントがぼけたりして、画像の品質が低下することがある。
【００６５】
しかしながら、制御装置１００が上述の動作を行なうことでその設置位置の変更に従って投影画像が適切に補正されることになり、拡張ディスプレイ２に投影される画像は投影装置２００の設置位置の変更の影響を抑えることができる。つまり、高品質で予め規定された位置に画像を投影することができる。
【００６６】
＜変形例１＞
なお、上の例では、カメラ３００として１台のカメラを用いて当該カメラからの撮影画像を解析することで投影装置２００の姿勢、位置を検出するものとしている。他の例として、図１０のように、カメラ３００として２台のカメラ３０１，３０２を用い、それぞれによる撮影画像を解析して投影装置２００の姿勢、位置を検出するようにしてもよい。この場合、姿勢・位置算出部１０３は予めこれら２台のカメラ３０１，３０２の位置関係も記憶しておき、その位置関係も考慮して投影装置２００の姿勢、位置を算出する。具体的には、２台のカメラ３０１，３０２の設置位置をステレオ測距を行なうための位置に設定し、カメラ３０１，３０２間の距離を基線長として基本情報記憶部１０２に記憶させておく。そして、姿勢・位置算出部１０３は、上述の方法を用いてカメラ３００に対する投影装置２００の姿勢、位置を算出すると共に、上記基線長を用いてステレオ測距を行なってカメラ３００から投影装置２００までの距離を算出する。そして、算出された位置の距離成分をステレオ測距によって算出された距離で補正する。これにより、カメラ３００から投影装置２００への距離の誤差を抑えることができる。
【００６７】
なお、ステレオ測距は全画素を比較する処理を伴うために演算量が多くなる。そのため、上記の繰り返し動作の複数回に１回、補助的にステレオ測距を行なって算出された位置の距離成分を補正するようにしてもよい。このようにすることで、演算量を抑えつつ精度の向上を図ることができる。
【００６８】
＜変形例２＞
上の例では、カメラ３００の撮影画像を解析することで投影装置２００の姿勢、位置を検出するものとしているが、その検出方法に加えて、加速度センサを利用して検出してもよい。
【００６９】
具体的には、投影装置２００に角速度センサを装着し、角速度センサからのセンサ信号に基づいて投影装置２００の姿勢を算出してもよい。
【００７０】
同様にして、投影装置２００に加速度センサを装着し、加速度センサからのセンサ信号に基づいて投影装置２００の移動量を算出し、カメラ３００からの撮影画像に基づいて算出された位置からの移動量を算出することで、投影装置２００の位置を算出するようにしてもよい。
【００７１】
図１１は、第２の変形例にかかる制御装置１００の機能構成の具体例を示すブロック図である。第２の変形例において、投影装置２００は、角速度センサおよび／または加速度センサであるセンサ２３をさらに備える。制御装置１００はセンサ２３からのセンサ信号の入力を受け付けて角速度および／または加速度を取得するための角速度・加速度取得部１０７をさらに備える。そして、姿勢・位置算出部１０３は、上述の方法を用いてカメラ３００に対する投影装置２００の姿勢、位置を算出すると共に、カメラ３００からの撮影画像の入力と次の撮影画像の入力との間で、センサ信号に基づいて投影装置２００の姿勢、位置を算出する。そして、補正部１０５１は、センサ信号に基づいて算出された投影装置２００の姿勢、位置に基づいて投影データを補正する。
【００７２】
このようにすることで、カメラ３００にフレームレート以上の頻度で投影装置２００の姿勢、位置を検出することができ、フレームレート以上の頻度で投影データを補正することができる。つまり、より細かく投影装置２００の設置位置の変更に対応して投影データを補正することができ、投影装置２００がたとえばヘッドマウンテンディスプレイなどの位置が変更しやすいものであっても、その投影画像の品質を維持することができる。
【００７３】
［第２の実施の形態］
第１の実施の形態では、投影装置２００がヘッドマウンテンディスプレイである例について説明したが、当然に、投影装置２００が設置型のプロジェクタであっても同様の制御を行なうことができる。さらに、そのような投影装置と制御装置とが一体で構成されてもよい。そこで、その場合について第２の実施の形態として説明する。
【００７４】
すなわち、図１２は、第２の実施の形態にかかる投影システム１Ａの構成の具体例を示す図である。図１２を参照して、投影システム１Ａは、制御装置１００と、設置型のプロジェクタであり、かつ制御装置の機能を含んだプロジェクタ１００Ａと、カメラ３００と、ディスプレイ４００とを含む。
【００７５】
この場合、一例として、図１３に示すようなプロジェクタ１００Ａに対してマークを設定しておき、プロジェクタ１００Ａは、このマークを撮影したカメラ３００からの撮影画像の入力を受け付ける。そして、当該撮影画像を解析することで、自身のカメラ３００に対する位置関係を検出し、それに応じて投影データを補正する。
【００７６】
＜第２の実施の形態にかかる効果＞
このように構成することで、設置型のプロジェクタであってもその設置位置が変更された場合に、その変更に応じて投影画像の品質を維持することができる。
【００７７】
なお、上述の第１の実施の形態に示された制御装置１００における制御動作、または第２の実施の形態に示された制御装置としての機能を有するプロジェクタ１００Ａでの制御動作をコンピュータに実行させるためのプログラムを提供することもできる。このようなプログラムは、コンピュータに付属するフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）およびメモリカードなどのコンピュータ読み取り可能な記録媒体にて記録させて、プログラム製品として提供することもできる。あるいは、コンピュータに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。
【００７８】
［他の例］
なお、本発明にかかるプログラムは、コンピュータのオペレーティングシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。その場合、プログラム自体には上記モジュールが含まれずＯＳと協働して処理が実行される。このようなモジュールを含まないプログラムも、本発明にかかるプログラムに含まれ得る。
【００７９】
また、本発明にかかるプログラムは他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には上記他のプログラムに含まれるモジュールが含まれず、他のプログラムと協働して処理が実行される。このような他のプログラムに組込まれたプログラムも、本発明にかかるプログラムに含まれ得る。
【００８０】
提供されるプログラム製品は、ハードディスクなどのプログラム格納部にインストールされて実行される。なお、プログラム製品は、プログラム自体と、プログラムが記録された記録媒体とを含む。
【００８１】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００８２】
１，１Ａ  投影システム、２  拡張ディスプレイ、４００  ディスプレイ、１０  ＣＰＵ、１１  メモリ、１２  第１通信Ｉ／Ｆ、１３  第２通信Ｉ／Ｆ、２０  制御部、２１  ディスプレイエレメント、２２，１０６  通信部、２３  センサ、１００  制御装置、１００Ａ  プロジェクタ、１０１  画像入力部、１０２  基本情報記憶部、１０３  姿勢・位置算出部、１０４  コンテンツ取得部、１０５  映像生成部、１０７  角速度・加速度取得部、２００  投影装置、３００，３０１，３０２  カメラ、１０５１  補正部。
【図１】
2012220602.tif 000003
【図２】
2012220602.tif 000004
【図３】
2012220602.tif 000005
【図４】
2012220602.tif 000006
【図５】
2012220602.tif 000007
【図６】
2012220602.tif 000008
【図７】
2012220602.tif 000009
【図８】
2012220602.tif 000010
【図９】
2012220602.tif 000011
【図１０】
2012220602.tif 000012
【図１１】
2012220602.tif 000013
【図１２】
2012220602.tif 000014
【図１３】
2012220602.tif 000015