(57)【要約】【課題】複数台のプロジェクタを用いてマルチ投影を行う場合に、プロジェクタの設置位置を容易に決めることができるようにする。【解決手段】複数の投影プロジェクタを制御するための投影制御装置であって、複数の投影プロジェクタから、投影面上にマルチ投影面を形成するための複数の第１のプロジェクタと、投影面にマーカーを投影するための第２のプロジェクタとを選択する選択手段と、マルチ投影面の解像度と、第１のプロジェクタの解像度と、エッジブレンド情報と、第２のプロジェクタの解像度とに基づくマーカー画像を、第２のプロジェクタに投影させる制御手段とを備える。【選択図】  図１
2020178248.tif 000002
【特許請求の範囲】
【請求項１】
複数の投影プロジェクタを制御するための投影制御装置であって、
前記複数の投影プロジェクタから、投影面上にマルチ投影面を形成するための複数の第１のプロジェクタと、前記投影面にマーカーを投影するための第２のプロジェクタとを選択する選択手段と、
前記マルチ投影面の解像度と、前記第１のプロジェクタの解像度と、エッジブレンド情報と、前記第２のプロジェクタの解像度とに基づくマーカー画像を、前記第２のプロジェクタに投影させる制御手段と、
を備えることを特徴とする投影制御装置。
【請求項２】
前記第１のプロジェクタ及び前記第２のプロジェクタと通信する通信手段をさらに備えることを特徴とする請求項１に記載の投影制御装置。
【請求項３】
前記複数の第１のプロジェクタは、それぞれが同じ構成のプロジェクタであることを特徴とする請求項１または２に記載の投影制御装置。
【請求項４】
前記第２のプロジェクタは、前記第１のプロジェクタと同じ構成のプロジェクタであることを特徴とする請求項１乃至３のいずれか１項に記載の投影制御装置。
【請求項５】
前記投影面を撮像する撮像手段により撮像された、前記第１のプロジェクタによる投影画像と前記第２のプロジェクタによる投影画像とに基づいて、前記第１のプロジェクタの座標平面と前記撮像手段の座標平面との射影変換パラメータを算出し、該射影変換パラメータに基づいて、前記マルチ投影面を前記第２のプロジェクタにより投影されるマーカー画像と一致させるための変換パラメータを算出する算出手段をさらに備えることを特徴とする請求項１乃至４のいずれか１項に記載の投影制御装置。
【請求項６】
前記制御手段は、前記マルチ投影面における、前記複数の第１のプロジェクタのそれぞれが担当する領域の外枠を示す表示を、前記第２のプロジェクタに前記マーカーとして投影させることを特徴とする請求項１乃至５のいずれか１項に記載の投影制御装置。
【請求項７】
前記第１のプロジェクタは自身の姿勢の変化を検出するためのセンサーを備え、前記制御手段は、前記複数の第１のプロジェクタのうちの、前記センサーにより姿勢の変化が検出された第１のプロジェクタの担当する前記マルチ投影面の領域のマーカーを強調するように前記第２のプロジェクタを制御することを特徴とする請求項１乃至６のいずれか１項に記載の投影制御装置。
【請求項８】
前記制御手段は、前記複数の第１のプロジェクタに対して所定の制御信号を送信する場合に、該所定の制御信号を送信した前記第１のプロジェクタの担当する前記マルチ投影面の領域のマーカーを強調するように前記第２のプロジェクタを制御することを特徴とする請求項１乃至６のいずれか１項に記載の投影制御装置。
【請求項９】
前記所定の制御信号は、キーストーン補正を指示する信号、レンズシフトを指示する信号、ズームを指示する信号、幾何学変形を指示する信号、電子ズームを指示する信号を含むことを特徴とする請求項８に記載の投影制御装置。
【請求項１０】
前記制御手段は、前記第１のプロジェクタの担当する領域のマーカーを強調する場合に、前記第１のプロジェクタの担当する領域のマーカーの色、輝度、形状の少なくともいずれかを異ならせることにより強調することを特徴とする請求項７乃至９のいずれか１項に記載の投影制御装置。
【請求項１１】
複数の投影プロジェクタを制御するための投影制御方法であって、
前記複数の投影プロジェクタから、投影面上にマルチ投影面を形成するための複数の第１のプロジェクタと、前記投影面にマーカーを投影するための第２のプロジェクタとを選択する選択工程と、
前記マルチ投影面の解像度と、前記第１のプロジェクタの解像度と、エッジブレンド情報と、前記第２のプロジェクタの解像度とに基づくマーカー画像を、前記第２のプロジェクタに投影させる制御工程と、
を有することを特徴とする投影制御方法。
【請求項１２】
前記第１のプロジェクタ及び前記第２のプロジェクタと通信する通信工程をさらに有することを特徴とする請求項１１に記載の投影制御方法。
【請求項１３】
前記投影面を撮像する撮像手段により撮像された、前記第１のプロジェクタによる投影画像と前記第２のプロジェクタによる投影画像とに基づいて、前記第１のプロジェクタの座標平面と前記撮像手段の座標平面との射影変換パラメータを算出し、該射影変換パラメータに基づいて、前記マルチ投影面を前記第２のプロジェクタにより投影されるマーカー画像と一致させるための変換パラメータを算出する算出工程をさらに有することを特徴とする請求項１１または１２に記載の投影制御方法。
【請求項１４】
前記制御工程では、前記マルチ投影面における、前記複数の第１のプロジェクタのそれぞれが担当する領域の外枠を示す表示を、前記第２のプロジェクタに前記マーカーとして投影させることを特徴とする請求項１１乃至１３のいずれか１項に記載の投影制御方法。
【請求項１５】
前記第１のプロジェクタは自身の姿勢の変化を検出するためのセンサーを備え、前記制御工程では、前記複数の第１のプロジェクタのうちの、前記センサーにより姿勢の変化が検出された第１のプロジェクタの担当する前記マルチ投影面の領域のマーカーを強調するように前記第２のプロジェクタを制御することを特徴とする請求項１１乃至１４のいずれか１項に記載の投影制御方法。
【請求項１６】
前記制御工程では、前記複数の第１のプロジェクタに対して所定の制御信号を送信する場合に、該所定の制御信号を送信した前記第１のプロジェクタの担当する前記マルチ投影面の領域のマーカーを強調するように前記第２のプロジェクタを制御することを特徴とする請求項１１乃至１４のいずれか１項に記載の投影制御方法。
【請求項１７】
前記所定の制御信号は、キーストーン補正を指示する信号、レンズシフトを指示する信号、ズームを指示する信号、幾何学変形を指示する信号、電子ズームを指示する信号を含むことを特徴とする請求項１６に記載の投影制御方法。
【請求項１８】
前記制御工程では、前記第１のプロジェクタの担当する領域のマーカーを強調する場合に、前記第１のプロジェクタの担当する領域のマーカーの色、輝度、形状の少なくともいずれかを異ならせることにより強調することを特徴とする請求項１５乃至１７のいずれか１項に記載の投影制御方法。
【請求項１９】
複数の投影プロジェクタと、該複数の投影プロジェクタを制御する制御装置とを備える投影システムであって、
前記制御装置は、
前記複数の投影プロジェクタから、投影面上にマルチ投影面を形成するための複数の第１のプロジェクタと、前記投影面にマーカーを投影するための第２のプロジェクタとを選択する選択手段と、
前記マルチ投影面の解像度と、前記第１のプロジェクタの解像度と、エッジブレンド情報と、前記第２のプロジェクタの解像度とに基づくマーカー画像を、前記第２のプロジェクタに投影させる制御手段と、
を備えることを特徴とする投影システム。
【請求項２０】
コンピュータを請求項１乃至１０のいずれか１項に記載の投影制御装置の各手段として機能させるためのプログラム。
【請求項２１】
コンピュータを請求項１乃至１０のいずれか１項に記載の投影制御装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プロジェクタの投影位置を調整するための投影制御装置、投影制御方法、投影システム、プログラム、記憶媒体に関する。
【背景技術】
【０００２】
近年、プロジェクタを用いて様々な場所にコンテンツを投影することが一般的になってきており、複数台のプロジェクタの投影面を並べることによって大画面を形成するマルチ投影などが広く普及している。マルチ投影では、各プロジェクタの投影位置合わせが必要である。
【０００３】
複数台のプロジェクタの投影領域を所望の領域に合うように位置合わせする技術として、カメラを用いて自動位置合わせを行うシステムが知られている。これは、カメラでスクリーンと各プロジェクタの投影領域を撮像し、各プロジェクタが投影すべき位置を計算し、キーストーン補正機能やレンズシフト機能を活用して自動で投影画像の位置合わせを行うものである。なお、キーストーン補正とは、プロジェクタとスクリーンの相対角に起因する台形歪みを画像処理で幾何学的に補正する機能であり、レンズシフト機能とは、プロジェクタの本体の位置や向きを変えずに投影領域をシフトすることができる機能である。
【０００４】
ところが、プロジェクタ本体の設置状況によっては、キーストーン補正機能やレンズシフト機能を活用しても投影画像を所望の領域に投影することができない場合がある。これは、キーストーン補正機能の補正量やレンズシフト機能のシフト量には限界があるためであり、こうした場合には、プロジェクタ本体の設置位置を調整して、自動位置合わせを再実行する必要がある。
【０００５】
しかしながら、マルチ投影の場合には、スクリーン上に各プロジェクタが投影すべき領域の目印がないため、どの位置にプロジェクタ本体を移動させれば、自動位置合わせが可能となるかをユーザが知ることが困難であるという問題がある。
【０００６】
特許文献１では、位置合わせができたプロジェクタを用いて、位置合わせができなかったプロジェクタ本体の設置のための参照画像を投影することにより、ユーザが容易にプロジェクタ本体の設置位置を修正できるようにしている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１５−１２１７７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１では、位置合わせができたプロジェクタを用いて参照画像を投影するため、位置合わせができたプロジェクタの数と配置によっては、参照画像を投影することができない場合がある。また、プロジェクタの自動位置合わせ実行後に位置合わせが失敗したときに参照画像を投影する構成であるため、プロジェクタの自動位置合わせを複数回実施しなければならない場合がある。
【０００９】
本発明は上述した課題に鑑みてなされたものであり、その目的は、複数台のプロジェクタを用いてマルチ投影を行う場合に、プロジェクタの設置位置を容易に決めることができるようにすることである。
【課題を解決するための手段】
【００１０】
本発明に係わる投影制御装置は、複数の投影プロジェクタを制御するための投影制御装置であって、前記複数の投影プロジェクタから、投影面上にマルチ投影面を形成するための複数の第１のプロジェクタと、前記投影面にマーカーを投影するための第２のプロジェクタとを選択する選択手段と、前記マルチ投影面の解像度と、前記第１のプロジェクタの解像度と、エッジブレンド情報と、前記第２のプロジェクタの解像度とに基づくマーカー画像を、前記第２のプロジェクタに投影させる制御手段と、を備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、複数台のプロジェクタを用いてマルチ投影を行う場合に、プロジェクタの設置位置を容易に決めることが可能となる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態におけるマルチ投影システムのシステム構成例を示す図。
【図２】第１の実施形態における投影システムを構成するプロジェクタ、ＰＣおよびカメラの各機能構成例を示すブロック図。
【図３】第１の実施形態におけるキーストーン補正を説明する図。
【図４】第１の実施形態における補助プロジェクタの設置の一例を示す図。
【図５】第１の実施形態における自動位置合わせ処理を示すフローチャート。
【図６】第１の実施形態における自動位置合わせ処理のＧＵＩの一例を示す図
【図７】第１の実施形態におけるマーカー画像の生成に用いる情報に関する図。
【図８】第１の実施形態におけるユーザによる設置処理を説明する図。
【図９】第１の実施形態における補助プロジェクタのマーカー表示処理を示すフローチャート。
【図１０】第２の実施形態における投影システムの機能構成例を示すブロック図。
【図１１】第２の実施形態における補助プロジェクタのマーカー表示処理に関するフローチャート。
【図１２】第２の実施形態における補助プロジェクタのマーカー生成処理に関するフローチャート。
【図１３】第２の実施形態におけるマーカー画像の一例を示す図。
【図１４】第２の実施形態におけるマーカー画像の一例を示す図。
【図１５】第３の実施形態における補助プロジェクタのマーカー生成処理に関するフローチャート。
【図１６】第３の実施形態におけるプロジェクタ制御ＧＵＩの一例を示す図。
【図１７】第３の実施形態におけるプロジェクタ制御ＧＵＩの一例を示す図。
【図１８】第３の実施形態におけるユーザによる設置処理を説明する図。
【発明を実施するための形態】
【００１３】
（第１の実施形態）
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１４】
なお、以下の説明では、投影装置の一例であるプロジェクタをパーソナルコンピュータ（単にＰＣともいう）を用いて制御する例について説明する。しかし、本発明は、パーソナルコンピュータに限らず、プロジェクタを制御可能な他の機器にも適用可能である。これらの機器には、例えばデジタルカメラ、スマートフォンを含む携帯電話機、ゲーム機、タブレット端末、医療機器などが含まれてよい。また、以下の説明では、投影装置の一例としてスタンドアロンタイプのプロジェクタを例に挙げて説明するが、投影装置はこれに限らない。パーソナルコンピュータ、携帯電話機、ゲーム機、タブレット端末、医療機器などの他の機器に内蔵される投影装置に本発明を適用してもよい。
【００１５】
（第１の実施形態）
[投影システムの構成]
図１は、本発明の第１の実施形態に係わる投影システムの構成を示した模式図である。図１において、投影システム１０は、光学像の解像度の向上、輝度を維持した大画面化等のために、複数のプロジェクタ（投影プロジェクタ）の投影画像を投影面上でシームレスにつなぎ合わせるマルチ投影を行う。図１に示す例では、投影システム１０は、５台のプロジェクタ１００ａ〜１００ｅを有している。このうち、４台のプロジェクタ１００ａ〜１００ｄは、スクリーン４００上でそれぞれの投影領域Ａ、Ｂ、Ｃ、Ｄを一部重ね合わせて配置するマルチ投影を行うプロジェクタである。そして、プロジェクタ１００ｅは、プロジェクタ１００ａ〜１００ｄの設置を補助するためのマーカーを投影するための補助プロジェクタである。なお、本実施形態では、４台のプロジェクタによる縦２台、横２台のマルチ投影システムを例に挙げて説明するが、プロジェクタの台数および配置はこれに限られるものではない。
【００１６】
投影システム１０に含まれる全てのプロジェクタは投影制御装置として機能するパーソナルコンピュータ（ＰＣ）２００と相互に通信可能に接続される。また、複数のプロジェクタと、ＰＣ２００との通信は、有線通信であっても無線通信であってもよく、また、通信プロトコルも特に限定されない。本実施形態では一例として、ＴＣＰ／ＩＰを通信プロトコルとして用いるローカルエリアネットワーク（ＬＡＮ）により装置間の通信が行われるものとする。
【００１７】
ＰＣ２００は、予め定められたコマンドをプロジェクタ１００ａ〜１００ｅに送信することにより、プロジェクタ１００ａ〜１００ｅの動作を制御することができる。プロジェクタ１００ａ〜１００ｅは、ＰＣ２００から受信したコマンドに応じた動作を行って、動作の結果をＰＣ２００に送信する。
【００１８】
投影システム１０はさらに、撮像装置であるカメラ３００を含む。カメラ３００は例えばデジタルカメラ、ウェブカメラ、ネットワークカメラである。あるいは、ＰＣ２００に内蔵されたカメラを用いてもよい。カメラは、スクリーン４００の全体を撮像範囲として含むように設置され、撮像範囲が変わらないように固定されているものとする。ＰＣ２００の外部のカメラを用いる場合は、直接あるいはＬＡＮを通じて、ＰＣ２００と通信可能に接続される。ＰＣ２００は、カメラ３００に予め定められたコマンドを送信することにより、カメラ３００の動作を制御することができる。例えば、カメラ３００はＰＣ２００からの要求に応じて撮影を行い、得られた画像データをＰＣ２００に送信することができる。
【００１９】
［プロジェクタ１００の構成］
図２は、投影システム１０に含まれるプロジェクタ１００及びＰＣ２００の機能構成例を示すブロック図である。プロジェクタ１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、投影部１０４、投影制御部１０５、ＶＲＡＭ１０６、操作部１０７、ネットワークＩＦ１０８、画像処理部１０９、映像入力１１０を有する。これらの機能ブロックは内部バス１１１によって通信可能に接続されている。
【００２０】
ＣＰＵ１０１はプログラマブルプロセッサの一例であり、例えばＲＯＭ１０３に記憶されているプログラムをＲＡＭ１０２に読み込んで実行することにより、プロジェクタ１００の動作を実現する。
【００２１】
ＲＡＭ１０２は、ＣＰＵ１０１がプログラムを実行する際のワークメモリとして用いられる。ＲＡＭ１０２には、プログラムやプログラムの実行に用いる変数などが記憶される。また、ＲＡＭ１０２は、他の用途（例えばデータバッファとして）に用いられてもよい。
【００２２】
ＲＯＭ１０３は書き換え可能であってもよい。ＲＯＭ１０３には、ＣＰＵ１０１が実行するプログラム、メニュー画面などの表示に用いるためのＧＵＩデータ、各種の設定値などが記憶される。
【００２３】
投影部１０４は、光源、投影光学系などを有し、投影制御部１０５から供給される投影用画像に基づいて光学像を投影する。本実施形態では液晶パネルを光学変調素子として用い、光源からの光を反射する反射率もしくは透過させる透過率を投影用画像に従って制御することにより、投影用画像に基づく光学像を生成し、投影光学系によって投影面に投影する。投影制御部１０５は、画像処理部１０９から供給される投影用画像のデータを投影部１０４に供給する。ＶＲＡＭ１０６は、外部（例えばＰＣやメディアプレーヤー）から受信した投影用画像のデータを格納するビデオメモリである。
【００２４】
操作部１０７は、キーボタン、スイッチ、タッチパネルなどの入力デバイスを有し、ユーザからプロジェクタ１００への指示を受け付ける。ＣＰＵ１０１は操作部１０７の操作を監視しており、操作部１０７の操作を検出すると、検出した操作に応じた処理を実行する。なお、プロジェクタ１００がリモートコントローラを有する場合、操作部１０７はリモートコントローラから受信した操作信号をＣＰＵ１０１に通知する。
【００２５】
ネットワークＩＦ１０８はプロジェクタ１００を通信ネットワークに接続するインタフェースであり、サポートする通信ネットワークの規格に準拠した構成を有する。本実施形態においてプロジェクタ１００は、ネットワークＩＦ１０８を通じて、ＰＣ２００と共通のローカルネットワークに接続される。したがって、プロジェクタ１００とＰＣ２００との通信はネットワークＩＦ１０８を通じて実行される。
【００２６】
画像処理部１０９は、映像入力部１１０に供給され、ＶＲＡＭ１０６に格納された映像信号に対して様々な画像処理を必要に応じて適用し、投影制御部１０５に供給する。画像処理部１０９は例えば画像処理用のマイクロプロセッサである。あるいは、画像処理部１０９に相当する機能を、ＣＰＵ１０１がＲＯＭ１０３に記憶されたプログラムを実行することによって実現してもよい。
【００２７】
画像処理部１０９が実行可能な画像処理には、フレーム間引き処理、フレーム補間処理、解像度変換処理、メニュー画面などのＯＳＤを重複させる処理、キーストーン補正処理、エッジブレンディング処理などが含まれるが、これらに限定されない。
【００２８】
映像入力部１１０は、外部装置（本実施形態ではＰＣ２００）が出力する映像信号を直接または間接的に受信するインタフェースであり、サポートする映像信号に応じた構成を有する。映像入力部１１０は例えば、コンポジット端子、Ｓ映像端子、Ｄ端子、コンポーネント端子、アナログＲＧＢ端子、ＤＶＩ−Ｉ端子、ＤＶＩ−Ｄ端子、ＨＤＭＩ（登録商標）端子の１つ以上を含む。映像入力部１１０はまた、アナログ映像信号を受信した場合、デジタル映像信号に変換してＶＲＡＭ１０６に格納する。
【００２９】
［ＰＣ２００の構成］
次に、ＰＣ２００の機能構成について説明する。ＰＣ２００は外部ディスプレイが接続可能な汎用コンピュータであり、したがって汎用コンピュータに準じた機能構成を有する。ＰＣ２００は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、操作部２０４、表示部２０５、ネットワークＩＦ２０６、映像出力部２０７、通信部２０８を有する。また、これらの機能ブロックは内部バス２０９によって通信可能に接続されている。
【００３０】
ＣＰＵ２０１は、プログラマブルプロセッサの一例であり、例えばＲＯＭ２０３に記憶されているプログラム（ＯＳやアプリケーションプログラム）をＲＡＭ２０２に読み込んで実行することにより、ＰＣ２００の動作を実現する。
【００３１】
ＲＡＭ２０２は、ＣＰＵ２０１がプログラムを実行する際のワークメモリとして用いられる。ＲＡＭ２０２には、プログラムやプログラムの実行に用いる変数などが記憶される。また、ＲＡＭ２０２は、他の用途（例えばデータバッファとして）に用いられてもよい。
【００３２】
ＲＯＭ２０３は書き換え可能であってもよい。ＲＯＭ２０３には、ＣＰＵ２０１が実行するプログラム、メニュー画面などの表示に用いるためのＧＵＩデータ、各種の設定値などが記憶される。なお、ＰＣ２００はＲＯＭ２０３よりも大容量の記憶装置（ＨＤＤやＳＳＤ）を有してもよく、その場合、ＯＳやアプリケーションプログラムといった容量の大きいプログラムは記憶装置に記憶してもよい。
【００３３】
操作部２０４は、キーボード、ポインティングデバイス（マウスなど）、タッチパネル、スイッチなどの入力デバイスを有し、ユーザからＰＣ２００への指示を受け付ける。なお、キーボードはソフトウェアキーボードであってもよい。ＣＰＵ２０１は操作部２０４の操作を監視しており、操作部２０４の操作を検出すると、検出した操作に応じた処理を実行する。
【００３４】
表示部２０５は、例えば液晶パネルや有機ＥＬパネルである。表示部２０５は、ＯＳやアプリケーションプログラムが提供する画面の表示を行う。なお、表示部２０５は外部装置であってもよい。また、表示部２０５はタッチディスプレイであってもよい。
【００３５】
ネットワークＩＦ２０６はＰＣ２００を通信ネットワークに接続するインタフェースであり、サポートする通信ネットワークの規格に準拠した構成を有する。本実施形態においてＰＣ２００は、ネットワークＩＦ２０６を通じて、プロジェクタ１００と共通のローカルネットワークに接続される。したがって、ＰＣ２００とプロジェクタ１００との通信はネットワークＩＦ２０６を通じて実行される。
【００３６】
映像出力部２０７は、外部装置（本実施形態ではプロジェクタ１００）に映像信号を送信するインタフェースであり、サポートする映像信号に応じた構成を有する。映像出力部２０７は例えば、コンポジット端子、Ｓ映像端子、Ｄ端子、コンポーネント端子、アナログＲＧＢ端子、ＤＶＩ−Ｉ端子、ＤＶＩ−Ｄ端子、ＨＤＭＩ（登録商標）端子の１つ以上を含む。
【００３７】
なお、本実施形態では、プロジェクタ１００の投写領域の調整機能を有する投写制御アプリケーションプログラムのＵＩ画面を表示部２０５に表示するものとするが、映像出力部２０７に接続された外部機器にＵＩ画面を表示させてもよい。
【００３８】
通信部２０８は外部機器と例えばシリアル通信を行うための通信インタフェースであり、代表的にはＵＳＢインタフェースであるが、ＲＳ−２３２Ｃなど他の規格に準じた構成を有してもよい。本実施形態ではカメラ３００が通信部２０８に接続されるものとするが、カメラ３００とＰＣ２００との通信方法に特に制限はなく、両者がサポートしている任意の規格に準拠した通信を行うことができる。
【００３９】
［キーストーン補正について］
次に、キーストーン補正について図３を用いて説明する。キーストーン補正は、投写面の法線方向と投写方向（一般的には投写光学系の光軸）とのずれに応じて投写画像に生じる台形歪みを相殺するように元画像を幾何学的変換（変形）させる補正（幾何補正）である。画像の幾何学的変換は射影変換によって実現できるため、キーストーン補正は幾何補正の補正量である射影変換パラメータの決定に等しい。例えば、ＣＰＵ１０１は、矩形上の元画像の各頂点の移動量と移動方向に基づいて射影変換のパラメータを決定し、画像処理部１０９に与えることができる。
【００４０】
例えば、元画像の座標を（ｘｓ，ｙｓ）とすると、射影変換による変形後の画像の座標（ｘｄ，ｙｄ）は以下の（式１）で表わされる。
【００４１】
【数１】
2020178248.tif 000003
【００４２】
ここで、Ｍは３×３行列で、元画像から変形後の画像への射影変換行列である。また、ｘｓｏ、ｙｓｏは、図３に実線で示す元画像の左上の頂点の座標であり、ｘｄｏ、ｙｄｏは、図３に一点鎖線で示す変形後の画像において、元画像の頂点（ｘｓｏ，ｙｓｏ）に対応する頂点の座標値である。
【００４３】
ＣＰＵ１０１は、（式１）の行列Ｍとその逆行列Ｍ-1を、オフセット（ｘｓｏ，ｙｓｏ），（ｘｄｏ，ｙｄｏ）とともに、キーストーン補正のパラメータとして画像処理部１０９に与える。画像処理部１０９は、以下の（式２）に従い、キーストーン補正後の座標値（ｘｄ，ｙｄ）に対応する元画像の座標（ｘｓ，ｙｓ）を求めることができる。
【００４４】
【数２】
2020178248.tif 000004
【００４５】
（式２）で得られる元画像の座標ｘｓ，ｙｓがいずれも整数であれば、画像処理部１０９は元画像座標（ｘｓ，ｙｓ）の画素値をそのままキーストーン補正後の画像の座標（ｘｄ，ｙｄ）の画素値とすることができる。一方、（式２）で得られる元画像の座標が整数にならない場合、画像処理部１０９は、元画像座標（ｘｓ，ｙｓ）に相当する画素値を、複数の周辺画素の値を用いた補間演算により求めることができる。補間演算は、例えばバイリニア、バイキュービックなど、公知の補間演算のいずれかを用いて行うことができる。なお、（式２）で得られる元画像の座標が、元画像の外部領域の座標である場合、画像処理部１０９は、キーストーン補正後の画像の座標（ｘｄ，ｙｄ）の画素値を黒（０）またはユーザが設定した背景色とする。このようにして、画像処理部１０９は、キーストーン補正後の画像の全座標についての画素値を求め、変換後画像を作成することができる。
【００４６】
ここでは、プロジェクタ１００のＣＰＵ１０１から画像処理部１０９に、行列Ｍとその逆行列Ｍ-1の両方が供給されるものとしたが、いずれか一方の行列だけを供給し、他方の行列は画像処理部１０９が求めてもよい。
【００４７】
なお、キーストーン補正後の画像の頂点の座標は、例えば投写画像の個々の頂点について、頂点が所望の位置に投写されるように操作部１０７を通じてユーザから移動量を入力させることにより取得することができる。この際、移動量の入力を支援するため、ＣＰＵ２０１は、投写制御アプリケーションプログラムの機能を用い、プロジェクタ１００にテストパターンを投写させるようにしてもよい。
【００４８】
［自動位置合わせ処理］
本実施形態の投影制御アプリケーションプログラムの実行に先だって、ユーザはまず、補助プロジェクタ１００ｅの設置作業およびキーストーン補正を行う。ここでの設置作業は、補助プロジェクタ１００ｅの投影面を目標とするマルチ投影面を含むように、図４（ａ）のように配置することである。そしてキーストーン補正は、前述のキーストーン補正機能を用いて、図４（ｂ）のように目標となるマルチ投影面の外枠を決定することに相当する。なお、図４は、図１の状態から模式的にプロジェクタ１００ｅとスクリーン４００を抜粋して図示したものである。
【００４９】
この作業は、従来はレーザー墨出し器などを複数台用いて実施するものであるが、本実施形態では後述の処理に利用するため、プロジェクタを用いて行う。
【００５０】
次に、ユーザは、本実施形態のＰＣ２００上で動作する投射制御アプリケーションプログラムを実行する。図５は、本プログラムが実現する、自動位置合わせ処理の動作を示すフローチャートである。なお、図５の説明において、ＣＰＵ２０１が投写制御アプリケーションプログラムを実行することにより表示部２０５に表示されるＧＵＩを説明するために図６も用いる。ユーザはＰＣの操作部２０４を通じてＧＵＩ画面５００を操作して、本プログラムを制御する。
【００５１】
Ｓ４０１において、ＰＣ２００のＣＰＵ２０１は、ＰＣ２００が通信可能なプロジェクタ１００の中から、補助プロジェクタとして用いるプロジェクタを選択する。本ステップにおけるＧＵＩ画面（補助プロジェクタ選択画面）を図６（ａ）に示す。
【００５２】
図６（ａ）に示すＧＵＩ画面において、ユーザは、まず「検索」ボタン５０１を押下する。ユーザによって「検索」ボタン５０１が押下されたことをＣＰＵ２０１が検出すると、ＣＰＵ２０１は、ネットワークＩＦ２０６を介して、プロジェクタ名とＩＰアドレスに関する情報を要求する所定のコマンドをネットワーク上にブロードキャストする。なお、このときに要求する情報は、プロジェクタ名とＩＰアドレスに限らず、例えばプロジェクタ解像度、エッジブレンド設定値、キーストーン変形量などを要求してもよい。
【００５３】
ネットワークに接続されている個々のプロジェクタ１００のＣＰＵ１０１は、ネットワークＩＦ１０８を介してコマンドを受信すると、要求された情報を含んだデータを、ＰＣ２００に対して送信する。ＰＣ２００のＣＰＵ２０１は、コマンドに応答して送信されたデータを受信し、データに含まれる情報を抽出してリストビュー５０２に表示する。なお、リストビュー５０２に表示されるプロジェクタの並び順は、検出された順であってもよいし、特定の規則に基づいてソートしてもよい。なお、本実施形態においては、図１におけるプロジェクタ１００ａ，１００ｂ，１００ｃ，１００ｄ，１００ｅのプロジェクタ名をそれぞれ、プロジェクタＡ、プロジェクタＢ、プロジェクタＣ、プロジェクタＤ、プロジェクタＥとしている。
【００５４】
次に、ユーザは前述の補助プロジェクタに相当するものを、ラジオボタン５０３にチェックを入れることで、選択する。本実施形態においては、前述のようにプロジェクタ１００ｅを補助プロジェクタとして用いたので、図６（ａ）のようにプロジェクタ名「プロジェクタＥ」を選択したものとして説明を続ける。
【００５５】
補助プロジェクタとして選択されたプロジェクタに関する情報（プロジェクタ名、ＩＰアドレス、プロジェクタ解像度）はＰＣ２００のＲＡＭ２０２に格納される。ＣＰＵ２０１が「検索」ボタン５０１の押下を検知したときに、補助プロジェクタとして選択したプロジェクタから、プロジェクタ解像度を取得していない場合は、この時点で要求コマンドを補助プロジェクタに送信し、返信された情報をＲＡＭ２０２に格納する
次に、ユーザは図６（ａ）の「Ｎｅｘｔ」ボタン５０４を押下する。ユーザによって「Ｎｅｘｔ」ボタン５０４が押下されたことをＣＰＵ２０１が検出すると、ＣＰＵ２０１は図４のＳ４０２に遷移する。
【００５６】
Ｓ４０２において、ＰＣ２００のＣＰＵ２０１は、ＰＣ２００が通信可能なプロジェクタ１００の中から、自動位置合わせ処理の対象とする複数のプロジェクタを選択し、レイアウトを設定する。本ステップにおけるＧＵＩ画面（レイアウト選択画面）を図６（ｂ）に示す。
【００５７】
ユーザは、レイアウトリスト５０５から所望のレイアウトを選択する。図１のマルチ投影は縦２台×横２台の構成であるため、Ｒｏｗ：２、Ｃｏｌｕｍｎ：２を選択する。レイアウトが選択されたことをＣＰＵ２０１が検出すると、選択したレイアウトに合わせてレイアウト図５０６を表示し、位置に応じたレイアウト番号（１〜４）を表示する。
【００５８】
次に、ユーザは「検索」ボタン５０７を押下する。ユーザによって「検索」ボタン５０７が押下されたことをＣＰＵ２０１が検出すると、Ｓ４０１と同様に、ＣＰＵ２０１は、ネットワークＩＦ２０６を介して、プロジェクタ名とＩＰアドレスに関する情報を要求する所定のコマンドをネットワーク上にブロードキャストする。なお、このときに要求する情報は、プロジェクタ名とＩＰアドレスに限らず、例えばプロジェクタ解像度、エッジブレンド設定値、キーストーン変形量などを要求してもよい。
【００５９】
ネットワークに接続されている個々のプロジェクタ１００のＣＰＵ１０１は、Ｓ４０１と同様に、ネットワークＩＦ１０８を介してコマンドを受信すると、要求された情報を含んだデータを、ＰＣ２００に対して送信する。ＰＣ２００のＣＰＵ２０１は、Ｓ４０１と同様に、コマンドに応答して送信されたデータを受信し、データに含まれる情報を抽出してリストビュー５０８に表示する。なお、補助プロジェクタとしてすでに選択済みのプロジェクタからの応答は、本リストビュー５０８に表示する必要がないので、ＣＰＵ２０１はこれを表示しない。
【００６０】
図６（ｂ）は、ＰＣ２００に接続されているプロジェクタが、図１に示すようにマルチ投影を構成する４台である場合の例であるが、マルチ投影を構成するプロジェクタ以外のプロジェクタが同一ネットワークに接続されていれば、同様にリスト表示される。
【００６１】
次に、ユーザは、マルチ投影を構成するプロジェクタの「割当」列に表示されたドロップダウンボタン５０９，５１０，５１１，５１２を押下して各プロジェクタの配置を設定する。図６（ｂ）に示す例では、ＩＰアドレスが１９２．１６８．２５４．１であるプロジェクタは、図１に示すプロジェクタ１００ａであり、スクリーン４００上で左上を担当する。そのため、レイアウト図５０６を参照し、「１」を選択する。同様に、プロジェクタ１００ｂ〜１００ｄについても割当を、５１０，５１１，５１２に示すように設定する。マルチ投影に使用しないプロジェクタがリストビュー５０８に表示されている場合は、ユーザは割当を設定しなければよい。
【００６２】
割当が設定されたプロジェクタに関する情報（例えば、プロジェクタ名、ＩＰアドレス、割当、プロジェクタ解像度、エッジブレンド情報）はＰＣ２００のＲＡＭ２０２に格納される。ＣＰＵ２０１が「検索」ボタン５０７の押下を検知した時に、各プロジェクタから、プロジェクタ解像度、エッジブレンド情報を収集していない場合には、この時点で割当設定されたプロジェクタに要求コマンドを送信し、返信された情報をＲＡＭ２０２に格納する。
【００６３】
次に、ユーザは図６（ｂ）の「Ｎｅｘｔ」ボタン５１３を押下する。ユーザによって「Ｎｅｘｔ」ボタン５１３が押下されたことをＣＰＵ２０１が検出すると、ＣＰＵ２０１は図５のＳ４０３の設置位置確認用テストパターン出力処理に遷移する。
【００６４】
図５のＳ４０３では、ＣＰＵ２０１は、割当が設定されたプロジェクタそれぞれに対し、ネットワークＩＦ２０６を通じてテストパターンの表示を指示するコマンドを送信する。このとき、キーストーン変形がかかっている場合には、キーストーン変形の解除を指示するコマンドも送信する。表示させるテストパターンは、各プロジェクタ１００の投影領域の大きさや位置を確認しやすくするためのテストパターンであり、例えば格子状の画像などを表示させる。なお、テストパターンはＰＣ２００から個々のプロジェクタ１００に所定のテストパターンの表示を指示するコマンドを関連付けて送信してもよいし、任意の直線や図形、文字列などをプロジェクタに描画させるコマンドを複数組み合わせて送信してもよい。
【００６５】
割当設定されたすべてのプロジェクタにテストパターンを表示すると、ＣＰＵ２０１は図５のＳ４０４のカメラ選択処理に遷移する。
【００６６】
図５のＳ４０４では、ＣＰＵ２０１は、表示部２０５に図６（ｃ）に示すカメラ選択画面を表示し、自動位置合わせ処理に用いるカメラの選択処理を行う。図６（ｃ）の「検索」ボタン５１４の操作が検出されると、ＰＣ２００のＣＰＵ２０１は自身とＵＳＢやネットワーク接続されたカメラの情報（例えば、カメラの製品名）を取得し、ドロップダウンリスト５１５に表示する。ユーザは検索された複数のカメラから所望のカメラをドロップダウンリスト５１５によって１台選択する。なお、自動調整に用いるカメラの台数は１台でなく、２台以上選択できてもよい。
【００６７】
図６（ｃ）に示す画像領域５１６は、ドロップダウンリスト５１５で選択されたカメラで撮影した画像を表示する領域である。例えば、ＰＣ２００のＣＰＵ２０１が選択されたカメラ３００に対して、撮影を指示するコマンドを送信し、取得した撮影画像を画像領域５１６に貼り付ける。ここに表示される画像は、ライブビュー画像が望ましいが、静止画であってもよい。図６（ｃ）の例では、プロジェクタ１００ａ〜１００ｄと補助プロジェクタ１００ｅが投影する領域を５１７ａ〜５１７ｅとして図示している。同図では、プロジェクタ１００ａ〜１００ｄの投影領域（５１７ａ〜５１７ｄ）を区別しやすくするためにハッチングパターンを変えているが、投影するテストパターンは同一でもよい。
【００６８】
ユーザはこの画像領域５１６を観察することで、カメラの撮像範囲内にプロジェクタの投影画像が全て収まるためのカメラの設置やズーム調整を容易に行うことができる。本実施形態では、全てのプロジェクタの投影面がカメラの撮像範囲に入っているものとして説明を続ける。
【００６９】
図６（ｃ）の「Ｂａｃｋ」ボタン５１８の操作が検出されると、前画面（図６（ｂ）に示す画面）に戻る。つまり、図５のフローチャートで、Ｓ４０４からＳ４０２へ戻る。
【００７０】
図６（ｃ）のチェックボックス５１９はカメラの制御パラメータ（絞り数値やシャッタースピードなど）をＰＣ２００が自動で算出するか否かを設定するためのものである。「Ｎｅｘｔ」ボタン５２０で次画面に遷移する際に、チェックボックス５１９にチェックが入っているか否かで、カメラの制御パラメータの自動算出を行うかどうかを切り替えることができる。詳細な説明は本実施形態では省略するが、各々のプロジェクタ１００が所定のテストパターンを投影し、カメラが測光することにより、カメラの制御パラメータを得ることができる。
【００７１】
図６（ｃ）の「Ｎｅｘｔ」ボタン５２０の操作が検出されると、ＣＰＵ２０１は図５のＳ４０５のカメラの制御パラメータの設定処理に遷移する。
【００７２】
図５のＳ４０５では、ＣＰＵ２０１は、表示部２０５に図６（ｄ）に示すカメラパラメータの設定画面を表示し、カメラの制御パラメータ（絞り数値やシャッタースピードなど）を設定する。
【００７３】
図６（ｄ）の５２１，５２２，５２３はそれぞれ、カメラのシャッター速度、ＩＳＯ感度、絞り数値を設定するためのドロップダウンリストである。なお、設定できるカメラの制御パラメータはこれに限らず、例えばホワイトバランスや測光方式などを設定できるようにしてもよい。
【００７４】
図６（ｄ）の「テスト撮影」ボタン５２４の操作が検出されると、ＰＣ２００は選択されたカメラ３００に対して撮影を促すコマンドを送信して、撮影画像を取得し、画像表示領域５２５上に表示する。このとき表示する画像は、シャッター速度などの制御パラメータが正しく設定できたかどうかを確認するためのものなので、静止画であることが望ましいが、ライブビュー画像であっても構わない。
【００７５】
図６（ｄ）の「Ｂａｃｋ」ボタン５２６の操作が検出されると、前画面（図６（ｃ）に示す画面）に戻る。つまり、図５のフローチャートで、Ｓ４０５からＳ４０４へ戻る。
【００７６】
図６（ｄ）の「Ｎｅｘｔ」ボタン５２７の操作が検出されると、ＣＰＵ２０１は図５のＳ４０６の設置アシスト処理に遷移する。
【００７７】
図５のＳ４０６では、ＣＰＵ２０１は、Ｓ４０１とＳ４０２でＲＡＭ２０２に保存した「補助プロジェクタの解像度」「自動位置合わせ対象として選択した各プロジェクタの解像度、エッジブレンド情報」から補助プロジェクタ１００ｅで投影するためのマーカーを生成して、補助プロジェクタ１００ｅにマーカーの描画を指示する。
【００７８】
ここで、上記の情報が図７（ａ）に示すものだった場合を例に挙げて、マーカーの生成方法について説明する。
【００７９】
まず、ＣＰＵ２０１は、自動位置合わせ対象として選択した各プロジェクタの解像度、エッジブレンド情報から、ユーザが作成したいマルチ投影面は図７（ｂ）に図示したものであると計算できる。つまり、マルチ投影面解像度は、幅３６８０（１９２０＋１９２０−１６０）、高さが２３００（１２００＋１２００−１００）である。また、図７（ｂ）のＰ５とＰ６を結んだ線とＰ７とＰ８を結んだ線の間の領域、及び、Ｐ９とＰ１０を結んだ線とＰ１１とＰ１２を結んだ線の間の領域が、目標となるマルチ投影面のエッジブレンド領域である。なお、図示のＰ１からＰ１２の座標は左上を原点とした座標系で示している。
【００８０】
続いて、ＣＰＵ２０１は、上述のエッジブレンド領域を補助プロジェクタで投影するために、補助プロジェクタ上でのこれらの位置を計算する。本実施形態においては、目標マルチ投影面解像度、補助プロジェクタ解像度はいずれも１６：１０のアスペクト比であるため、単純な比例計算でよい。例えば、目標マルチ投影面におけるＰ５に対応する点であるＱ５のｘ座標であれば、１２８０×（１７６０÷３６８０）＝ ６１２．１７と算出できる。また、Ｐ１１に対応するＱ１１のｙ座標であれば、８００×（１２００÷２３００）＝４１７．３９と算出できる。同様にＰ５からＰ１２に対応する点を計算したものが図７（ｃ）である。
【００８１】
そして、ＣＰＵ２０１は、補助プロジェクタであるプロジェクタ１００ｅに対して、Ｑ１，Ｑ２，Ｑ３，Ｑ４を結ぶ補助プロジェクタの外枠を描画するためのコマンドを送信する。さらに、Ｑ５とＱ６、Ｑ７とＱ８、Ｑ９とＱ１０、Ｑ１１とＱ１２を結ぶ線分を描画するためのコマンドを送信する。これを受信した補助プロジェク１００ｅタのＣＰＵ１０１は、コマンドを解釈して指示された外枠、線分を描画する。
【００８２】
上記処理を実施した後、ＰＣ２００のＣＰＵ２０１は、表示部２０５に図６（ｅ）に示す設置アシスト画面を表示し、ユーザによる設置処理の完了を待ち受ける。図６（ｅ）に示す画像領域５２８は、５１６，５２５と同様に、カメラ３００で撮影した画像を表示する領域である。ユーザは、投影面、もしくは、画像領域５２８を確認しながら、プロジェクタ１００ａ，１００ｂ，１００ｃ，１００ｄの投影位置を調整し、これが完了すると「Ｎｅｘｔ」ボタン５３０を押下する。この操作を検出すると、ＣＰＵ２０１は、図５のＳ４０７の射影変換パラメータ計算に遷移する。
【００８３】
また、図６（ｅ）の「Ｂａｃｋ」ボタン５２９の操作が検出されると、前画面（図６（ｄ）に示す画面）に戻る。つまり、図５のフローチャートで、Ｓ４０６からＳ４０５に戻る。
【００８４】
ここで、ユーザによる設置処理について図８を用いて具体的に説明する。図８（ａ）は、図５のＳ４０６において、ＰＣ２００から指示を受けた補助プロジェクタ１００ｅが外枠、線分を描画した後の、投影面の状態を示した図である。図８（ａ）の太線で示したものが、補助プロジェクタが描画している外枠、線分であり、Ａ，Ｂ，Ｃ，Ｄはマルチ投影面を構成するプロジェクタ１００ａ，１００ｂ，１００ｃ，１００ｄがそれぞれ投影している投影面である。ユーザは、各プロジェクタの投影面が、補助プロジェクタが描画している外枠、線分で示される担当領域を含めるようにプロジェクタ投影面を調整する必要がある。これが満たされていれば、以降の処理で説明するキーストーン変形によって、各プロジェクタの投影面をマルチ投影面の担当領域に合致させることが可能となる。
【００８５】
図８（ｂ）は、図８（ａ）から模式的にプロジェクタ１００ａの投影面Ａとプロジェクタ１００ａの担当領域を示すマーカー部分だけを強調して示した図である。これを例にとって説明すると、ユーザはプロジェクタ１００ａの光学シフトや光学ズーム、またはプロジェクタ１００ａの設置位置を移動させるなどして、図８（ｃ）の状態へとプロジェクタ１００ａの投影面を調整する。図８（ｃ）の状態では、プロジェクタ１００ａの投影面Ａが、補助プロジェクタが描画している外枠、線分で示される太線で示したプロジェクタ１００ａの担当領域を含むように位置調整されている。そして、これと同様の調整作業をプロジェクタ１００ｂ，１００ｃ，１００ｄについても実施する。そして、これらの調整作業が完了した際に、ユーザは図６（ｅ）の「Ｎｅｘｔ」ボタンを押下して、ＰＣ２００のＣＰＵ２０１に、調整作業が完了したことを通知する。
【００８６】
図５のＳ４０７では、ＣＰＵ２０１は、プロジェクタ１００ａ，１００ｂ，１００ｃ，１００ｄにおけるプロジェクタ座標平面とカメラ座標平面との射影変換パラメータをそれぞれ求めて、ＲＡＭ２０２に格納する。本処理は本実施形態の主要な部分ではないため、詳細な説明は省略するが、補助プロジェクタ１００ｅのみが投影している投影面を撮像した画像と、各プロジェクタの投影領域を撮像した画像があれば、計算可能である。なお、射影変換パラメータの算出に用いるカメラ座標系における各プロジェクタの担当領域もＲＡＭ２０２に格納するものとする。そして、Ｓ４０８へ遷移する。
【００８７】
図５のＳ４０８では、ＣＰＵ２０１は、投影面上で各プロジェクタの投影領域が図７で示した投影担当領域と重なるようにするためのキーストーン変形パラメータを算出する。具体的には、ＲＡＭ２０２に格納されているカメラ座標平面における投影担当領域の座標を各プロジェクタ平面に対して射影することにより、各プロジェクタの変形後画像の座標を求め、元画像の座標から変形後画像へのキーストーン変形パラメータを算出する。そして、Ｓ４０９へ遷移する。
【００８８】
図５のＳ４０９では、ＰＣ２００のＣＰＵ２０１がネットワークＩＦ２０６を介してＳ４０８で算出したキーストーン変形パラメータを、マルチ投影面を構成する各プロジェクタ１００に対して送信する。プロジェクタ１００はキーストーン変形パラメータをＰＣから受信すると、受信したキーストーン変形パラメータを自身の画像処理部１０９に送信し、表示画像の変形を実行する。ここでは、キーストーン変形を行うものとして説明したが、ズームやシフトを使用してもよい。光学的なズーム、シフトだけで投影担当領域に一致させることは困難であるが、画像処理によるキーストーン変形と比較して画質面で優れている。ズーム、シフトを併用することにより、キーストーン変形量を最小限に抑えれば、画質低下を抑制できる。また、ＰＣ２００のＣＰＵ２０１はネットワークＩＦ２０６を介して、Ｓ４０６で描画指示を行ったマーカー画像の描画停止を指示する。
【００８９】
図９は、図５のＳ４０６における設置アシスト処理内で行われる補助プロジェクタ１００ｅによるマーカー画像の表示処理の動作を示すフローチャートである。
【００９０】
まず、Ｓ６０１において、ユーザは補助プロジェクタ１００ｅを、図４（ａ）、（ｂ）に示したように、その投影領域が目標投影領域を含むように、位置および向きを調整して設置する。
【００９１】
Ｓ６０２では、ユーザは、所望する目標投影領域の解像度を、操作部２０４を介して、ＣＰＵ２０１に入力する。ＣＰＵ２０１は、入力された目標投影領域の解像度をＲＡＭ２０２に保存する。
【００９２】
Ｓ６０３では、ＣＰＵ２０１は、図５のＳ４０１とＳ４０２でＲＡＭ２０２に保存した「補助プロジェクタの解像度」「自動位置合わせ対象として選択した各プロジェクタの解像度、エッジブレンド情報」を取得する。
【００９３】
Ｓ６０４では、ＣＰＵ２０１は、Ｓ６０３で取得した各プロジェクタの解像度とエッジブレンド情報に基づいて、図７（ｂ）に示したマルチ投影面の各部のサイズを算出し、各プロジェクタの投影目標位置を示すマーカーを生成する。マーカーの生成方法は、図７と図８を用いて前述したとおりである。
【００９４】
Ｓ６０５では、ＣＰＵ２０１は、補助プロジェクタ１００ｅに指示して、Ｓ６０４において生成したマーカーを補助プロジェクタ１００ｅに投影させる。
【００９５】
以上で説明した処理、特にＳ４０６、図９で説明した処理によって、補助プロジェクタがマルチ投影面を構成する各プロジェクタの設置を補助するマーカーを投影することができる。そして、そのマーカーを参考に、各プロジェクタの設置を調整することにより、マルチ投影面の自動位置合わせが可能となる。
【００９６】
なお、本実施形態においては、マルチ投影面の解像度とエッジブレンド情報を、Ｓ４０６において、自動位置合わせ対象として選択した各プロジェクタの解像度、エッジブレンド情報から算出するものとして説明を行った。しかし、その他の形態として、図５のフローチャートの実行前に、ユーザの入力によってＰＣ２００上で動作する投射制御アプリケーションプログラムに、これらの情報を設定してもよい。
【００９７】
また、本実施形態の説明においては、説明を分かりやすくするために、マルチ投影面のアスペクト比と、補助プロジェクタのアスペクト比が同じ場合を例に挙げて説明した。しかし、これが一致しない場合は、前述の補助プロジェクタ１００ｅの設置作業およびキーストーン補正の実施前に、補助プロジェクタ１００ｅに、マルチ投影面のアスペクト比を設定するのが好ましい。そして、この設定を受けた補助プロジェクタ１００ｅは自身の投影範囲を設定されたアスペクト比に応じて変更し、以降の処理における補助プロジェクタ１００ｅの解像度は、このアスペクト比を踏まえたものとして処理を行えばよい。例えば、補助プロジェクタ１００ｅの解像度は、本来は１２８０×８００でアスペクト比は１６：１０であるが、マルチ投影面のアスペクト比が１６：９であると設定した場合には、１２８０×７２０の解像度を持つプロジェクタとして扱えばよい。
【００９８】
また、補助プロジェクタ１００ｅの設置作業およびキーストーン補正は、図５のフローチャートの動作の実施前に行うものとしたが、Ｓ４０１の補助プロジェクタの選択処理を実施した後で、実施してもよい。この場合には、ＰＣ２００上で動作する投射制御アプリケーションプログラムに対して、マルチ投影面のアスペクト比を入力すればよい。そして、これを検知したＣＰＵ２０１が、補助プロジェクタ１００ｅに対して、投影範囲をそのアスペクト比に応じて変更する指示を送信する構成をとってもよい。このような形態をとれば、以降の処理における補助プロジェクタ１００ｅの本来の解像度およびアスペクト比によらず、図５のフローチャートの処理が実施可能となる。
【００９９】
また、Ｓ４０６の設置アシスト処理では、補助プロジェクタが投影するためのマーカーを生成して、補助プロジェクタでこれを投影するものとして説明した。しかし、ＰＣ２００上で動作する投射制御アプリケーションのＵＩ上でのみマーカー表示を行うようにしてもよい。これは、補助プロジェクタが、マーカーの描画コマンドを解釈して描画することができない場合に有効な方法である。
【０１００】
この方法についてもう少し説明する。ＣＰＵ２０１は、Ｓ４０７と同様の手法によって、プロジェクタ１００ｅにおけるプロジェクタ座標平面とカメラ座標平面との射影変換パラメータを算出して、これをＲＡＭ２０２に格納する。そして、図７（ｃ）に示した、プロジェクタ１００ｅのプロジェクタ座標平面上の外枠、エッジブレンド領域を示す線分を、前述の射影変換パラメータを用いて、カメラ座標平面に射影する。そして、図６（ｅ）に示した画像領域５２８に重畳すればよい。このようにして計算して重畳したマーカーは、結果的にプロジェクタ１００ｅでマーカー表示して、それをライブビュー表示している図６（ｅ）と同じ態様となる。
【０１０１】
（第２の実施形態）
以下、第２の実施形態について説明する。本実施形態は、プロジェクタに内蔵されたセンサーを用いることにより、第１の実施形態で説明したシステムのユーザビリティを更に向上させるためのものである。具体的には、第１の実施形態で示した投射位置を示すマーカーについて、ユーザが設置作業中であるプロジェクタに対応する投射位置を強調するマーカーを生成する。
【０１０２】
[投影システムの構成]
図１０は、第２の実施形態の投影システムに含まれるプロジェクタ１１００及びＰＣ２００の機能構成例を示すブロック図である。ここでは、第１の実施形態と同一の構成については同一の符号を付して、第１の実施形態との差分についてのみ説明する。第１の実施形態と比較して、本実施形態のシステムでは、プロジェクタ１１００にセンサー１１２が追加される。なお、センサー１１２は自動位置合わせ処理の対象とする複数のプロジェクタに搭載されていればよく、補助プロジェクタにおいては必須構成ではない。
【０１０３】
センサー１１２は、プロジェクタの姿勢の変化を検出するためのセンサーから構成される。なお、センサー１１２はプロジェクタの姿勢の変化を検出できればどのようなものでもよく、加速度センサー、重力センサー、ジャイロセンサー、イメージセンサーなどを用いればよい。
【０１０４】
センサー１１２が重力センサーやイメージセンサーであった場合は、プロジェクタ１１００のＣＰＵ１０１がセンサー１１２のセンサー値を定期的に取得し、時系列での差分に基づいて姿勢の変化を検出することができる。また、センサーが加速度センサーやジャイロセンサーであった場合は、センサー値が所定の閾値を超えたか否かにより姿勢が変化した否かを判定することができる。プロジェクタ１１００のＣＰＵ１０１が自身のセンサー１１２のセンサー値を取得する方法はどのような方法でもよく、例えば、ポーリング処理、割り込み処理、ＤＭＡ（Ｄｉｒｅｃｔ  Ｍｅｍｏｒｙ  Ａｃｃｅｓｓ）を用いた方法を用いればよい。
【０１０５】
[第２の実施形態の特徴的な処理]
図１１は、本実施形態におけるマルチ投影位置合わせ処理の動作を示すフローチャートである。図９に示した第１の実施形態のフローチャートにＳ１１０５を追加したものである。本実施形態では、ユーザがプロジェクタの初期設置を終えたことをＰＣ２００のＣＰＵ２０１に通知（例えば、不図示の「初期設置完了ボタン」を押下）するまで、補助プロジェクタ１００ｅによるマーカーの投影を続ける（Ｓ１１０５〜Ｓ１１０６）。なお、Ｓ１１０１〜Ｓ１１０３の処理は図９のＳ６０１〜Ｓ６０３と同等の処理であるため説明を省略する。
【０１０６】
図１２は、図１１のＳ１１０５の具体的な動作を示すフローチャートである。
【０１０７】
Ｓ１２０１では、まずＰＣ２００のＣＰＵ２０１はネットワークＩＦ２０６を介して、調整対象プロジェクタ１１００に対して姿勢が変化したか否かを取得するコマンドを送信する。プロジェクタ１１００のＣＰＵ１０１はこのコマンドを受信すると、直近に自身の姿勢が変化したか否かを表すメッセージを、ネットワークＩＦ１０８を介してＰＣ２００に対して送信する。ＰＣ２００はプロジェクタ１１００の姿勢が変化したか否かを表す情報を受信すると、自身のＲＡＭ２０２にその情報を格納する。
【０１０８】
なお、プロジェクタ１１００の姿勢が変化したか否かは、ＰＣ２００がプロジェクタ１１００に対してコマンドを送ることで取得する形式でなくてもよい。プロジェクタ１１００がＰＣ２００に対して定期的に自身の姿勢を表すメッセージを送信し、ＰＣ２００がメッセージを定期的に監視してもよい。
【０１０９】
ここで、自身の姿勢の変化を表すメッセージは、姿勢が変化したか否かを判別できればどのような形式でも構わない。例えば、姿勢が変化したか否かを表す二値であってもよいし、センサー１１２が取得した数値であってもよい。
【０１１０】
Ｓ１２０２〜Ｓ１２０４では、ＰＣ２００のＣＰＵ２０１が調整対象であるプロジェクタの全てに対して、姿勢が変化したか否かを確認し、補助プロジェクタに姿勢が変化したと判断されたプロジェクタに対応する位置にマーカーを投影させるためのコマンドを生成する。なお、マーカー生成のための計算方法は第１の実施形態で説明した方法と同じである。
【０１１１】
次に図１３、図１４を用いて、補助プロジェクタに投影させるマーカーの例について説明する。
【０１１２】
図１３（ａ）は右上に投影するプロジェクタの姿勢が変化しているときに補助プロジェクタが投影するマーカー画像である。図１３（ｂ）のようにマーカーだけでなく、文言を追加してもよい。文言もマーカーと同様に、ＰＣ２００がプロジェクタ１１００に対してコマンドを送信することで投影される。文言には、例えば調整対象のプロジェクタを一意に識別するためにプロジェクタの名称やＩＰアドレス、シリアルナンバーを含めてもよい。
【０１１３】
複数台のプロジェクタが同時に姿勢変化している場合は、図１３（ｃ）のように同時にマーカーを投影すると共に、それぞれのマーカー同士の色を変えることにより、設置目標を視認しやすくしてもよい。マーカー同士の区別の方法は色を変える方法だけではなく、マーカーの輝度や形状を変える方法でもよい。
【０１１４】
更に図１３（ｄ）のようにプロジェクタの変形可能領域を考慮したマーカーを投影してもよい。図１３（ｄ）のマーカーを表示するためには、ＰＣ２００がプロジェクタ１１００に対して、歪み補正の変形可能量を取得するコマンドを送信し、受信したプロジェクタ１１００の歪み補正の変形可能量に基づいて、マーカー描画コマンドを生成すればよい。
【０１１５】
その他、マーカー画像は姿勢が変化していないプロジェクタに対応する領域にも投影してもよい。図１４（ａ）、（ｂ）、（ｃ）はそれぞれ右上に投影するプロジェクタの姿勢が変化しているときに補助プロジェクタに投影させる画像である。姿勢が変化していないプロジェクタに対応する領域を投影しつつも、右上に位置する領域のみ強調するような画像を用いればよい。
【０１１６】
投影するマーカーはここまでに示したようなものに限らず、姿勢が変化したと判断されたプロジェクタに対応する投影位置を強調するようなものであればどのような画像でもよい。
【０１１７】
本実施形態で説明した構成を用いることにより、姿勢が変化しているプロジェクタ、即ちユーザがプロジェクタの設置作業をしているプロジェクタに対応する領域のみマーカーを強調して表示できるので、直感的な設置作業を促すことができる。
【０１１８】
（第３の実施形態）
第２の実施形態ではプロジェクタ１１００に内蔵されたセンサー１１２を用いてマーカー画像を生成する方法について説明した。本実施形態では、センサー１１２を用いずに特定のプロジェクタの投射範囲を示すマーカーを強調して表示する方法について説明する。
【０１１９】
［投影システムの構成]
本実施形態のシステム構成は第１の実施形態と同じである。
【０１２０】
[本実施形態の特徴的な処理]
図１１に、本実施形態におけるマルチ投影位置合わせ処理の動作を示すフローチャートを示す（第２の実施形態と同様）。図９に示した第１の実施形態のフローチャートにＳ１１０６を追加したものである。本実施形態では、ユーザがプロジェクタの初期設置を終えたことをＰＣ２００のＣＰＵ２０１に通知（例えば、不図示の「初期設置完了ボタン」を押下）するまで、補助プロジェクタによるマーカーの投影を続ける（Ｓ１１０５〜Ｓ１１０６）。なお、Ｓ１１０１〜Ｓ１１０３の処理は図９のＳ６０１〜Ｓ６０３と同等の処理であるため説明を省略する。
【０１２１】
図１５は、本実施形態におけるＣＰＵ２０１が、マーカーを生成する動作を示すフローチャートである。
【０１２２】
本実施形態で説明する図１５の処理フローは、第１の実施形態で説明した図９のＳ６０４（制御ＰＣが各ＰＪの目標位置を示すマーカーを生成）に該当する処理の派生系であり、その他の処理は第１の実施形態と同等である。従って、本実施形態での説明は図１５のフローチャートを用いた説明に留める。
【０１２３】
Ｓ１５０１では、ＰＣ２００のＣＰＵ２０１がユーザからプロジェクタに対する操作があったか否かを判定する。本実施形態では、プロジェクタに対する操作について、以下の２通りの場合についてそれぞれ説明する。
【０１２４】
［プロジェクタの投射位置を制御する操作の場合]
この場合におけるＧＵＩ画面（プロジェクタ制御画面）を図１６に示す。
【０１２５】
ＰＣ２００のＣＰＵ２０１は、自身のＲＡＭ２０２に格納された、調整対象プロジェクタの一覧をリストビュー１６０１に表示する。なお、本実施形態においては、図１におけるプロジェクタ１００ａ，１００ｂ，１００ｃ，１００ｄのプロジェクタ名をそれぞれ、プロジェクタＡ、プロジェクタＢ、プロジェクタＣ、プロジェクタＤとしている。
【０１２６】
次に、ユーザはチェックボックス１６０２を用いて制御対象とするプロジェクタをリストビュー１６０１に列挙されているプロジェクタの中から選択する。選択するプロジェクタの台数は何台であってもよいが、ここでは、プロジェクタＣのみを選択したものとして説明する。
【０１２７】
ラジオボタン１６０３はプロジェクタのキーストーン補正（４点補正）の調整点を選択するためのものである。ユーザによって左上頂点が選択されたものとして説明する。ユーザによって調整点が指定されると、ＰＣ２００のＣＰＵ２０１はプロジェクタと調整点が対になった情報を自身のＲＡＭ２０２に格納する。
【０１２８】
ボタン１６０４〜１６０７の何れかが押下されると、ＰＣ２００のＣＰＵ２０１は、キーストーン補正を要求するコマンドを生成し、ネットワークＩＦ２０６を介してチェックボックス１６０２で選択されているプロジェクタに対して送信する（Ｓ１５０２）。例えば、ラジオボタン１６０３で「左上」が選択された状態でボタン１６０４が押下された場合は、ＰＣ２００のＣＰＵ２０１は左上頂点の座標を上に移動させるように変形させるためのコマンドを生成する。
【０１２９】
ボタン１６０８〜１６１１の何れかが押下されると、ＰＣ２００のＣＰＵ２０１は、プロジェクタのレンズシフトを要求するコマンドを生成し、ネットワークＩＦ２０６を介してチェックボックス１６０２で選択されているプロジェクタに対して送信する（Ｓ１５０２）。例えば、ボタン１６０８が押下された場合は、ＰＣ２００のＣＰＵ２０１はチェックボックス１６０２で選択されているプロジェクタに対して上方向にレンズシフトさせるコマンドを生成する。
【０１３０】
ボタン１６１２或いは１６１３が押下されると、ＰＣ２００のＣＰＵ２０１は、プロジェクタのズームを要求するコマンドを生成し、ネットワークＩＦ２０６を介してチェックボックス１６０２で選択されているプロジェクタに対して送信する（Ｓ１５０２）。例えば、ボタン１６１３が押下された場合は、ＰＣ２００のＣＰＵ２０１はテレ方向にズームさせるコマンドを生成する。
【０１３１】
上記のようにユーザによってプロジェクタに対する制御指示がなされ、ＰＣ２００のＣＰＵ２０１が制御コマンドを送信すると（Ｓ１５０２）、次にＰＣ２００のＣＰＵ２０１は補助プロジェクタに対して投影させる補助マーカーを生成する（Ｓ１５０３）。投影させる補助マーカーはユーザによって制御されているプロジェクタ（ここではプロジェクタＣ）の投影領域を表すマーカーである。
【０１３２】
ユーザによって図１６のＯＫボタン１６１４が押下されたことをＰＣ２００のＣＰＵ２０１が検知すると、補助プロジェクタのマーカー表示処理を終了する（図１１のＳ１１０６−Ｙｅｓ）。
【０１３３】
本実施形態では、プロジェクタの制御（制御信号）としてキーストーン変形とレンズシフト、レンズズームについて説明したが、これに限らず、その他の幾何学変形処理や電子ズームなどを用いることもできる。
【０１３４】
［投影対象プロジェクタにマーカーを投影させる操作の場合]
この場合におけるＧＵＩ画面（補助マーカー生成画面）を図１７に示す。
【０１３５】
ＰＣ２００のＣＰＵ２０１は自身のＲＡＭ２０２に格納された調整対象プロジェクタの投影レイアウト情報に基づいてボタン１７０１〜１７０４を生成し、ＧＵＩ画面（補助マーカー生成画面）上に表示する。ここでは、第１の実施形態と同じく２行２列のレイアウトが選択されている場合についてのみ説明するが、レイアウトはこれに限らず、例えば１行４列、３行１列であてもよい。
【０１３６】
ボタン１７０１〜１７０４は、補助プロジェクタに該当領域に対するマーカー画像を表示させるとともに、選択した位置に対応するプロジェクタにマーカー画像を投影させるためのボタンである。ボタン１７０１〜１７０４の押下時の処理について詳細に説明する。
【０１３７】
ボタン１７０３がユーザに押下された場合について説明する。ボタン１７０３が押下されると、ＰＣ２００のＣＰＵ２０１は該当するプロジェクタ１００ｃに対してマーカー画像を投影させるコマンドを生成して送信する（Ｓ１５０２）。
【０１３８】
次に、ＰＣ２００のＣＰＵ２０１は補助プロジェクタ１００ｅに対してマーカー描画コマンドを生成し、送信する（Ｓ１５０３）。
【０１３９】
図１８（ａ）、（ｂ）は投影面４００における調整対象プロジェクタ１００ｃと補助プロジェクタ１００ｅがそれぞれ投影するマーカー画像の投影の様子を表す。１８０１は調整対象プロジェクタ１００ｃが投影するマーカー画像で、１８０２は補助プロジェクタ１００ｅが投影するマーカー画像である。なお、図１８（ａ）、（ｂ）に示したマーカー画像の形状はこれに限らない。調整対象プロジェクタが投影するマーカー画像と、補助プロジェクタが投影するマーカー画像の区別ができれば、それぞれどのようなマーカー画像を投影させても構わない。
【０１４０】
以上の処理を行うことにより、ユーザは１８０１と１８０２の位置関係を参考にしながらプロジェクタ１００ｃの初期設置を行うことができる。例えば、図１８（ａ）は調整可能な配置を示し、図１８（ｂ）は調整不可能な配置を示す。
【０１４１】
ユーザによって図１７のＯＫボタン１７０５が押下されたことをＰＣ２００のＣＰＵ２０１が検知すると、補助プロジェクタのマーカー表示処理を終了する（図１１のＳ１１０６−Ｙｅｓ）。
【０１４２】
上記の説明では、「プロジェクタの投射位置を制御する操作の場合」と「投影対象プロジェクタにマーカーを投影させる操作の場合」の２通りを説明したが、システムは上記２通りの操作を備えていてもよいし、いずれか一つの操作のみを備えていてもよい。２通りの操作を備えている場合は、不図示の選択画面で「プロジェクタの投射位置を制御する操作」と「投影対象プロジェクタにマーカーを投影させる操作」をユーザに選択させてもよい。
【０１４３】
本実施形態によれば、特定のプロジェクタの投射範囲を示すマーカーのみを強調して表示できるので、直感的な設置作業を促すことができる。
【０１４４】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１４５】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【０１４６】
１００：プロジェクタ、２００：ＰＣ、１０１，２０１：ＣＰＵ、１０２，２０２：ＲＡＭ、３００：カメラ
【図１】
2020178248.tif 000005
【図２】
2020178248.tif 000006
【図３】
2020178248.tif 000007
【図４】
2020178248.tif 000008
【図５】
2020178248.tif 000009
【図６】
2020178248.tif 000010
【図７】
2020178248.tif 000011
【図８】
2020178248.tif 000012
【図９】
2020178248.tif 000013
【図１０】
2020178248.tif 000014
【図１１】
2020178248.tif 000015
【図１２】
2020178248.tif 000016
【図１３】
2020178248.tif 000017
【図１４】
2020178248.tif 000018
【図１５】
2020178248.tif 000019
【図１６】
2020178248.tif 000020
【図１７】
2020178248.tif 000021
【図１８】
2020178248.tif 000022