(57)【要約】【課題】投影画像の補正において、ユーザが投影画像の変形量を容易に認識できるようにする技術を提供する。【解決手段】投影制御装置は、投影装置によって投影される画像の投影面における前記画像の投影領域の四隅のそれぞれに対応して、前記投影装置によって前記投影領域内に投影されるパターンを生成する生成手段と、前記投影面に投影される前記パターンの位置を調整する調整手段と、前記投影面における前記調整された前記パターンの位置に基づいて前記画像を変形する変形手段と、を有し、前記パターンは、第１の領域と第２の領域とを有し、前記第１の領域と前記第２の領域は、前記投影面における表示形態が互いに異なり、前記投影領域の端部からの距離が互いに異なる位置に配置される。【選択図】図２
2020178221.tif 000002
【特許請求の範囲】
【請求項１】
投影装置によって投影される画像の投影面における前記画像の投影領域の四隅のそれぞれに対応して、前記投影装置によって前記投影領域内に投影されるパターンを生成する生成手段と、
前記投影面に投影される前記パターンの位置を調整する調整手段と、
前記投影面における前記調整された前記パターンの位置に基づいて前記画像を変形する変形手段と、
を有し、
前記パターンは、第１の領域と第２の領域とを有し、
前記第１の領域と前記第２の領域は、前記投影面における表示形態が互いに異なり、前記投影領域の端部からの距離が互いに異なる位置に配置される
ことを特徴とする投影制御装置。
【請求項２】
前記パターンは、前記投影領域の境界線に接する位置に配置される、ことを特徴とする請求項１に記載の投影制御装置。
【請求項３】
前記調整手段は、前記投影領域の四隅のそれぞれに対応して投影される前記パターンの位置を、前記変形手段によって前記画像が変形される場合に前記パターンに対応する前記投影領域の隅が移動可能な領域内に、前記パターンが投影されるように調整する、ことを特徴とする請求項１または２に記載の投影制御装置。
【請求項４】
前記生成手段は、前記第１の領域または前記第２の領域に隣接する第３の領域を前記パターンに追加し、
前記第３の領域は、前記第１の領域および前記第２の領域とは、前記投影面における表示形態が異なり、前記投影面の端部からの距離が異なる位置に配置される
ことを特徴とする請求項１から３のいずれか一項に記載の投影制御装置。
【請求項５】
前記調整手段は、前記投影面における前記パターンの位置を、前記画像のアスペクト比に基づいて調整する、ことを特徴とする請求項１から４のいずれか一項に記載の投影制御装置。
【請求項６】
前記変形手段は、前記画像の前記投影面における歪曲を補正するように前記画像を変形する、ことを特徴とする請求項１から５のいずれか一項に記載の投影制御装置。
【請求項７】
投影装置によって投影される画像の投影面における前記画像の投影領域の四隅のそれぞれに対応して、前記投影装置によって前記投影領域内に表示されるパターンを生成する生成工程と、
前記投影面に投影される前記パターンの位置を調整する調整工程と、
前記投影面における前記調整された前記パターンの位置に基づいて前記画像を変形する変形工程と、
を有し、
前記パターンは、第１の領域と第２の領域とを有し、
前記第１の領域と前記第２の領域は、前記投影面における表示形態が互いに異なり、前記投影面の端部からの距離が互いに異なる位置に配置される
ことを特徴とする投影制御方法。
【請求項８】
前記パターンは、前記投影領域の境界線に接する位置に配置される、ことを特徴とする請求項７に記載の投影制御方法。
【請求項９】
前記調整工程は、前記投影領域の四隅のそれぞれに対応して投影される前記パターンの位置を、前記変形工程によって前記画像が変形される場合に前記パターンに対応する前記投影領域の隅が移動可能な領域内に、前記パターンが投影されるように調整する、ことを特徴とする請求項７または８に記載の投影制御方法。
【請求項１０】
前記生成工程は、前記第１の領域または前記第２の領域に隣接する第３の領域を前記パターンに追加し、
前記第３の領域は、前記第１の領域および前記第２の領域とは、前記投影面における表示形態が異なり、前記投影面の端部からの距離が異なる位置に配置される
ことを特徴とする請求項７から９のいずれか一項に記載の投影制御方法。
【請求項１１】
前記調整工程は、前記投影面における前記パターンの位置を、前記画像のアスペクト比に基づいて調整する、ことを特徴とする請求項７から１０のいずれか一項に記載の投影制御方法。
【請求項１２】
前記変形工程は、前記画像の前記投影面における歪曲を補正するように前記画像を変形する、ことを特徴とする請求項７から１１のいずれか一項に記載の投影制御方法。
【請求項１３】
コンピュータに、
投影装置によって投影される画像の投影面における前記画像の投影領域の四隅のそれぞれに対応して、前記投影装置によって前記投影領域内に表示されるパターンを生成する生成工程と、
前記投影面に投影される前記パターンの位置を調整する調整工程と、
前記投影面における前記調整された前記パターンの位置に基づいて前記画像を変形する変形工程と、
を実行させ、
前記パターンは、第１の領域と第２の領域とを有し、
前記第１の領域と前記第２の領域は、前記投影面における表示形態が互いに異なり、前記投影面の端部からの距離が互いに異なる位置に配置される
ことを特徴とするプログラム。
【請求項１４】
前記パターンは、前記投影領域の境界線に接する位置に配置される、ことを特徴とする請求項１３に記載のプログラム。
【請求項１５】
前記調整工程は、前記投影領域の四隅のそれぞれに対応して投影される前記パターンの位置を、前記変形工程によって前記画像が変形される場合に前記パターンに対応する前記投影領域の隅が移動可能な領域内に、前記パターンが投影されるように調整する、ことを特徴とする請求項１３または１４に記載のプログラム。
【請求項１６】
前記生成工程は、前記第１の領域または前記第２の領域に隣接する第３の領域を前記パターンに追加し、
前記第３の領域は、前記第１の領域および前記第２の領域とは、前記投影面における表示形態が異なり、前記投影面の端部からの距離が異なる位置に配置される
ことを特徴とする請求項１３から１５のいずれか一項に記載のプログラム。
【請求項１７】
前記調整工程は、前記投影面における前記パターンの位置を、前記画像のアスペクト比に基づいて調整する、ことを特徴とする請求項１３から１６のいずれか一項に記載のプログラム。
【請求項１８】
前記変形工程は、前記画像の前記投影面における歪曲を補正するように前記画像を変形
する、ことを特徴とする請求項１３から１７のいずれか一項に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の投影制御装置、投影制御方法およびプログラムに関する。
【背景技術】
【０００２】
複数のプロジェクタ（投影装置）による画像の投影位置を重畳させる投影方法としてスタック投影が知られている。また、スタック投影においてプロジェクタ間の投影位置の位置合わせを容易にする機能を有するプロジェクタも知られている。
【０００３】
また、プロジェクタの投影レンズの光軸と投影面とが直交する正対位置から投影する場合を除いては、投影される光学像の形状に、台形歪みと呼ばれる歪みが生じる。この台形歪みをプロジェクタの位置を変えずに補正する機能として、いわゆるキーストーン補正と呼ばれる機能が知られている。キーストーン補正は、台形歪みを相殺するように投影画像を変形することによって実現される。
【０００４】
また、特許文献１では、投影面の外側に配置されている検出手段によって投影画像を検出し、検出結果に応じて形状を変形する技術も提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２４２１３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の技術では、画像光の投射位置を検出する検出手段がない、より一般的な投影環境において、画像の台形歪みが補正されるようにプロジェクタを設置することに対するユーザの負担は大きいままである。例えば、キーストーン補正機能における画像の変形量を示す指標が投影面の外に移動して、ユーザが画像の変形量を認識しにくくなる可能性がある。
【０００７】
本件開示の技術は、このような従来技術の課題に鑑みてなされたものであり、投影画像の補正において、ユーザが投影画像の変形量を容易に認識できるようにする投影制御装置、投影制御方法およびプログラムの提供を目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本件開示の技術に係る投影制御装置は、
投影装置によって投影される画像の投影面における前記画像の投影領域の四隅のそれぞれに対応して、前記投影装置によって前記投影領域内に投影されるパターンを生成する生成手段と、
前記投影面に投影される前記パターンの位置を調整する調整手段と、
前記投影面における前記調整された前記パターンの位置に基づいて前記画像を変形する変形手段と、
を有し、
前記パターンは、第１の領域と第２の領域とを有し、
前記第１の領域と前記第２の領域は、前記投影面における表示形態が互いに異なり、前記投影領域の端部からの距離が互いに異なる位置に配置される
ことを特徴とする。
また、上記目的を達成するために、本件開示の技術に係る投影制御方法は、
投影装置によって投影される画像の投影面における前記画像の投影領域の四隅のそれぞれに対応して、前記投影装置によって前記投影領域内に表示されるパターンを生成する生成工程と、
前記投影面に投影される前記パターンの位置を調整する調整工程と、
前記投影面における前記調整された前記パターンの位置に基づいて前記画像を変形する変形工程と、
を有し、
前記パターンは、第１の領域と第２の領域とを有し、
前記第１の領域と前記第２の領域は、前記投影面における表示形態が互いに異なり、前記投影面の端部からの距離が互いに異なる位置に配置される
ことを特徴とする。
また、上記目的を達成するために、本件開示の技術に係るプログラムは、
コンピュータに、
投影装置によって投影される画像の投影面における前記画像の投影領域の四隅のそれぞれに対応して、前記投影装置によって前記投影領域内に表示されるパターンを生成する生成工程と、
前記投影面に投影される前記パターンの位置を調整する調整工程と、
前記投影面における前記調整された前記パターンの位置に基づいて前記画像を変形する変形工程と、
を実行させ、
前記パターンは、第１の領域と第２の領域とを有し、
前記第１の領域と前記第２の領域は、前記投影面における表示形態が互いに異なり、前記投影面の端部からの距離が互いに異なる位置に配置される
ことを特徴とする。
【発明の効果】
【０００９】
本件開示の技術によれば、ユーザは、画像を投影面よりも大きく投影する場合の投影領域の位置を補正する際に、投影される画像の変形量をより容易に認識することができる。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態に係るスタック投影を行う投影システムの構成例を示す模式図
【図２】第１実施形態に係る投影システムの機能構成例を示すブロック図
【図３】キーストーン補正に関する図
【図４】キーストーン補正の変形可能量に関する図
【図５】第１実施形態に係る自動位置合わせ処理の概要に関するフローチャート
【図６】第１実施形態に係るプロジェクタ選択用ＧＵＩの一例を示す図
【図７】第１実施形態に係る調整モード選択用ＧＵＩの一例を示す図
【図８】第１実施形態に係る自動位置合わせ処理に関するフローチャート
【図９】カメラ座標平面とプロジェクタ座標平面の一例を示す図
【図１０】第１実施形態に係る投影形状指定処理に関するフローチャート
【図１１】各平面における変形可能領域に関する図
【図１２】第１実施形態に係る変形後の形状指定マーカーと変形可能領域マーカーの一例を示す図
【図１３】第１実施形態に係る投影形状指定用ＧＵＩの一例を示す図
【図１４】経時による位置ずれの例を示す図
【図１５】第１実施形態に係る変形点が投影面外に出ることの例を示す図
【図１６】第１実施形態に係る本発明における特徴的な形状指定マーカーの一例を示す図
【図１７】第１実施形態に係る特徴的な形状指定マーカーの全体像を示す図
【図１８】第１実施形態に係る投影面より大きく投影するための変形を施した例を示す図
【図１９】第１実施形態に係る形状指定マーカーの変形例を示す図
【図２０】第２実施形態に係るプロジェクタの投影環境を示す図
【図２１】第２実施形態に係るプロジェクタの機能構成例を示すブロック図
【図２２】第２実施形態に係る形状指定マーカーの一例を示す図
【発明を実施するための形態】
【００１１】
以下に、図面を参照しつつ、本件開示の技術の好適な実施形態について説明する。なお、本発明は説明する実施形態に限定されない。また、以下の実施形態で説明される構成要素のすべてが本件開示の技術に必須とは限らない。実施形態における個々の機能ブロックは、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアとの組み合わせによって実現することができる。また、１つの機能ブロックは複数のハードウェアで実現されてもよい。また、１つのハードウェアが複数の機能ブロックを実現してもよい。また、１つ以上の機能ブロックは、１つ以上のプログラマブルプロセッサ（ＣＰＵ、ＭＰＵなど）がメモリに読み込まれたコンピュータプログラムを実行することにより実現されてもよい。１つ以上の機能ブロックをハードウェアで実現する場合、ディスクリート回路や、ＦＰＧＡ、ＡＳＩＣといった集積回路によって実現することができる。
【００１２】
なお、以下の実施形態では、スタンドアロンタイプの投影装置（プロジェクタ）に本発明を適用した構成について説明する。しかし、例えばパーソナルコンピュータ、スマートフォン、タブレット端末、ゲーム機、デジタル（ビデオ）カメラといった一般的な電子機器が内蔵するプロジェクタにも適用可能である。
【００１３】
また、実施形態の説明において、ＧＵＩを示す図を用いることがあるが、それらは一例であり、ＧＵＩのレイアウトやコンポーネントの種類、画面遷移などは本発明の要旨を逸脱しない範囲で、省略、置き換え、変更を行うことができる。
【００１４】
まず、以下に説明する実施形態における投影システムによって解決される問題の一例について説明する。図１４Ａ〜図１４Ｃに、従来技術の投影装置による投影面への投影画像の一例を示す。図１４Ａ〜図１４Ｃに示すように、投影画像を変形して投影面に合わせこんだとしても（図１４Ｃの補正直後の状態）、経時による位置ずれを回避することは難しい。このため、図１４Ｄに示すように投影面の外縁と画像との間に隙間が生じ、画像表示の臨場感が損なわれる可能性がある。また、図１４Ｄに示す画像の位置ずれを回避するために、図１４Ｅに示すように、投影画像を投影面の大きさよりも大きくなるように変形して表示することで、位置ずれによる投影面の外縁と画像との隙間の発生を低減することが考えられる。しかしながら、この場合、ユーザは投影面上の画像から画像の変形量を感覚的に判断する必要があるため、ユーザによる投影面に表示される画像の調整に支障をきたす可能性がある。そこで、以下に説明する実施形態では、投影画像の補正において、ユーザが投影画像の変形量を容易に認識することができる投影システムが提供される。
【００１５】
（第１実施形態）
［システム構成］
図１は、第１実施形態に係る投影システムの一例を表す模式図である。投影システム１０は、光学像のダイナミックレンジの拡大、輝度の向上、もしくは３Ｄ表示のために、複数のプロジェクタの投影面上での投影領域を合致させるスタック投影を行う。なお、図１では、２台のプロジェクタ１００ａおよび１００ｂを有し、それぞれの投影領域Ａ、Ｂを合致させる投影システムを示している。ただし、投影システム１０が３台以上のプロジェクタを有してもよい。
【００１６】
投影システム１０に含まれるプロジェクタは、投影制御装置として機能するパーソナル
コンピュータ（ＰＣ）２００と相互に通信可能に接続される。本実施形態では、投影制御装置として、ＰＣを用いることを例に挙げるが、スマートフォンやタブレットなど、その他の情報処理装置を用いてもよい。また、複数のプロジェクタと、ＰＣ２００との通信は、有線通信であっても無線通信であってもよく、また、通信プロトコルにも特に制限はない。本実施形態では一例として、ＴＣＰ／ＩＰを通信プロトコルとして用いるローカルエリアネットワーク（ＬＡＮ）で装置間の通信が行われるものとする。
【００１７】
また、ＰＣ２００は、あらかじめ定められたコマンドをプロジェクタ１００ａおよび１００ｂに送信することにより、プロジェクタ１００ａおよび１００ｂの動作を制御する。プロジェクタ１００ａおよび１００ｂは、ＰＣ２００から受信したコマンドに応じた動作を行い、動作の結果をＰＣ２００に送信する。
【００１８】
投影システム１０はさらに、撮像装置３００を有する。撮像装置３００は例えばデジタルカメラ、ウェブカメラ、ネットワークカメラである。あるいは、ＰＣ２００に内蔵された撮像装置が用いられてもよい。撮像装置は、投影面の全体を撮像範囲として含むように設置されているものとする。ＰＣ２００の外部の撮像装置を用いる場合は、互いを直接接続するケーブルあるいはＬＡＮを通じて、ＰＣ２００と通信可能に接続される。ＰＣ２００は、撮像装置３００にあらかじめ定められたコマンドを送信することにより、撮像装置３００の動作を制御することができる。例えば、撮像装置３００はＰＣ２００からの要求に応じて撮影を行い、得られた画像データをＰＣ２００に送信することができる。なお、以下の説明では、撮像装置３００をカメラ３００と称する場合もある。
【００１９】
［プロジェクタ１００の構成］
図２は、投影システム１０に含まれるプロジェクタ１００およびＰＣ２００の機能構成例を示すブロック図である。プロジェクタ１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、投影部１０４、投影制御部１０５、ＶＲＡＭ１０６、操作部１０７、ネットワークＩＦ１０８、画像処理部１０９、映像入力１１０を機能ブロックとして有する。これらの機能ブロックは、内部バス１１１によって通信可能に接続されている。
【００２０】
ＣＰＵ１０１は、プログラマブルプロセッサの一例であり、例えばＲＯＭ１０３に記憶されているプログラムをＲＡＭ１０２に読み込んで実行することにより、プロジェクタ１００の動作を実現する。
【００２１】
ＲＡＭ１０２は、ＣＰＵ１０１がプログラムを実行する際のワークメモリとして用いられる。ＲＡＭ１０２には、プログラムやプログラムの実行に用いる変数などが記憶される。また、ＲＡＭ１０２は、他の用途（例えばデータバッファとして）に用いられてもよい。また、ＲＯＭ１０３は、書き換え可能なメモリであってもよい。ＲＯＭ１０３には、ＣＰＵ１０１が実行するプログラム、メニュー画面などの表示に用いるためのＧＵＩデータなど各種の設定値などが記憶される。
【００２２】
投影部１０４は、光源、投影光学系などを有し、投影制御部１０５から供給される投影用画像に基づいて光学像を投影する。本実施形態では、液晶パネルを光学変調素子として用い、光源からの光の反射率もしくは透過率を投影用画像に合わせて制御することにより、投影用画像に基づく光学像を生成し、投影光学系によって光学像を投影面に投影する。
【００２３】
投影制御部１０５は、画像処理部１０９から供給される投影用画像のデータを投影部１０４に供給する。ＶＲＡＭ１０６は、外部（例えばＰＣやメディアプレーヤー）から受信した投影用画像のデータを格納するビデオメモリである。操作部１０７は、キーボタン、スイッチ、タッチパネルなどの入力デバイスを有し、ユーザからプロジェクタ１００の動作に関する指示を受け付ける。ＣＰＵ１０１は、操作部１０７の操作を監視しており、操
作部１０７の操作を検出すると、検出した操作に応じた処理を実行する。なお、プロジェクタ１００がリモートコントローラを有する場合、操作部１０７はリモートコントローラから受信した操作信号をＣＰＵ１０１に送信する。
【００２４】
ネットワークＩＦ１０８は、プロジェクタ１００を通信ネットワークに接続するインタフェースであり、プロジェクタ１００が対応する通信ネットワーク規格に準拠した構成を有する。本実施形態において、プロジェクタ１００は、ネットワークＩＦ１０８を通じて、ＰＣ２００と共通のローカルネットワークに接続される。したがって、プロジェクタ１００とＰＣ２００との通信はネットワークＩＦ１０８を通じて実行される。
【００２５】
画像処理部１０９は、映像入力部１１０に供給されてＶＲＡＭ１０６に格納される映像信号に対して様々な画像処理を行い、画像処理によって得られる信号を投影制御部１０５に供給する。画像処理部１０９は、例えば画像処理用のマイクロプロセッサであってよい。あるいは、画像処理部１０９に相当する機能を、ＣＰＵ１０１がＲＯＭ１０３に記憶されたプログラムを実行することによって実現してもよい。
【００２６】
画像処理部１０９が実行する画像処理には、フレーム間引き処理、フレーム補間処理、解像度変換処理、メニュー画面などのＯＳＤ（On-Screen Display）を重複させる処理、
キーストーン補正処理、エッジブレンディング処理が含まれる。ただし、対象となる画像処理は、これらに限定されない。
【００２７】
映像入力部１１０は、外部装置（本実施形態ではＰＣ２００）が出力する映像信号を直接または間接的に受信するインタフェースであり、プロジェクタ１００が対応する映像信号に応じた構成を有する。映像入力部１１０は、例えばコンポジット端子、Ｓ映像端子、Ｄ端子、コンポーネント端子、アナログＲＧＢ端子、ＤＶＩ−Ｉ端子、ＤＶＩ−Ｄ端子、ＨＤＭＩ（登録商標）端子の１つ以上を含む。映像入力部１１０はまた、アナログ映像信号を受信した場合、デジタル映像信号に変換してＶＲＡＭ１０６に格納する。
【００２８】
［ＰＣ２００の構成］
次に、ＰＣ２００の機能構成について説明する。ＰＣ２００は外部ディスプレイが接続可能な汎用コンピュータであってよく、したがって接続される汎用コンピュータに準じた機能構成を有する。図２に示すように、ＰＣ２００は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、操作部２０４、表示部２０５、ネットワークＩＦ２０６、映像出力部２０７、通信部２０８を機能ブロックとして有する。また、これらの機能ブロックは、内部バス２０９によって通信可能に接続されている。
【００２９】
ＣＰＵ２０１は、プログラマブルプロセッサの一例であり、例えばＲＯＭ２０３に記憶されているプログラム（ＯＳやアプリケーションプログラム）をＲＡＭ２０２に読み込んで実行することにより、ＰＣ２００の動作を実現する。
【００３０】
ＲＡＭ２０２は、ＣＰＵ２０１がプログラムを実行する際のワークメモリとして用いられる。ＲＡＭ２０２には、プログラムやプログラムの実行に用いる変数などが記憶される。また、ＲＡＭ２０２は、他の用途（例えばデータバッファとして）に用いられてもよい。ＲＯＭ２０３は、書き換え可能なメモリであってもよい。ＲＯＭ２０３には、ＣＰＵ２０１が実行するプログラム、メニュー画面などの表示に用いるためのＧＵＩデータ、各種の設定値などが記憶される。なお、ＰＣ２００は、ＲＯＭ２０３よりも大容量の記憶装置（ＨＤＤやＳＳＤ）を有してもよく、この場合ＯＳやアプリケーションプログラムなどの比較的容量の大きいプログラムは、この記憶装置に記憶されてよい。
【００３１】
操作部２０４は、キーボード、ポインティングデバイス（マウスなど）、タッチパネル
、スイッチなどの入力デバイスを有し、ユーザからＰＣ２００への指示を受け付ける。なお、操作部２０４のキーボードは、ソフトウェアキーボードであってもよい。ＣＰＵ２０１は、操作部２０４に対する操作を監視しており、操作部２０４の操作を検出すると、検出した操作に応じた処理を実行する。
【００３２】
表示部２０５は、例えば液晶パネルや有機ＥＬパネルである。表示部２０５は、ＯＳやアプリケーションプログラムが提供する画面の表示を行う。なお、表示部２０５は、外部装置であってもよいし、タッチパネルディスプレイであってもよい。
【００３３】
ネットワークＩＦ２０６は、ＰＣ２００を通信ネットワークに接続するインタフェースであり、ＰＣ２００が対応する通信ネットワークの規格に準拠した構成を有する。本実施形態においてＰＣ２００は、ネットワークＩＦ２０６を通じて、プロジェクタ１００と共通のローカルネットワークに接続される。したがって、ＰＣ２００とプロジェクタ１００との通信は、ネットワークＩＦ２０６を通じて実行される。
【００３４】
映像出力部２０７は、外部装置（本実施形態ではプロジェクタ１００または撮像装置３００）に映像信号を送信するインタフェースであり、サポートする映像信号に応じた構成を有する。映像出力部２０７は、例えば、コンポジット端子、Ｓ映像端子、Ｄ端子、コンポーネント端子、アナログＲＧＢ端子、ＤＶＩ−Ｉ端子、ＤＶＩ−Ｄ端子、ＨＤＭＩ（登録商標）端子の１つ以上を含む。
【００３５】
なお、本実施形態では、プロジェクタ１００の投影領域の調整を行うための投影制御アプリケーションプログラムのＵＩ画面を表示部２０５に表示する。ただし、当該ＵＩ画面は、映像出力部２０７に接続された外部機器に表示させてもよい。
【００３６】
通信部２０８は、外部機器と例えばシリアル通信を行うための通信インタフェースであり、代表的にはＵＳＢインタフェースであるが、ＲＳ−２３２Ｃなど他の規格に準じた構成を有してもよい。本実施形態では、撮像装置３００が通信部２０８に接続されるが、撮像装置３００とＰＣ２００との通信方式に特に制限はなく、両者が対応可能な任意の規格に準拠した通信方式が採用されてよい。
【００３７】
［キーストーン補正について］
次に、プロジェクタ１００の画像処理部１０９が行うキーストーン補正について図３を用いて説明する。画像処理部１０９は、映像入力部１１０がＶＲＡＭ１０６に格納した入力画像に対して、キーストーン補正を行う。
【００３８】
ここで、キーストーン補正とは、投影領域に対する法線方向と投影方向（投影光学系の光軸方向）とのずれに応じて、投影画像に生じる台形歪みを相殺するように入力画像を幾何学的変換（変形）させる補正（幾何変形処理）である。これによれば、プロジェクタ１００と投影面との位置関係に依存せずに、入力画像と同じ形状に投影画像をすることができる。なお、幾何学的変換は、プロジェクタ１００の液晶パネル座標上での射影変換によって実現できるため、キーストーン補正は、幾何補正の補正量である射影変換のパラメータの決定によって実現できるといえる。したがって、例えば、ＣＰＵ１０１は、入力画像を変形する際における入力画像の各頂点の移動量と移動方向に基づいて射影変換のパラメータを決定し、画像処理部１０９に与えることによってキーストーン補正が実現できる。
【００３９】
また、例えば、図３に示されるような、入力画像１５０の任意の画素Ｐの座標を（ｘｓ，ｙｓ）とすると、射影変換による変形後の入力画像（変形画像１５１）の画素Ｐの座標（ｘｄ，ｙｄ）は、以下の式１で示すことができる。
【数１】
2020178221.tif 000003
【００４０】
ここで、Ｎは３×３行列で、入力画像１５０から変形画像１５１への射影変換行列である。この行列Ｎは、一般的に、入力画像１５０の４隅頂点の座標（４つの頂点の座標）と変形画像１５１の４隅頂点の座標を用いて連立方程式を解くことで求められる。また、座標（ｘｓｏ，ｙｓｏ）は、図３に実線で示す入力画像１５０の左上の頂点の座標であり、座標（ｘｄｏ，ｙｄｏ）は、図３に一点鎖線で示す変形画像１５１において、入力画像１５０の左上の頂点の座標（ｘｓｏ，ｙｓｏ）に対応する頂点の座標である。
【００４１】
また、行列Ｎの逆行列Ｎ−１を用いると、式１は、下記の式２に変形できる。つまり、入力画像１５０の画素Ｐの座標（ｘｓ，ｙｓ）は、逆行列Ｎ−１と座標（ｘｄ，ｙｄ）、座標（ｘｄｏ，ｙｄｏ）、座標（ｘｓｏ，ｙｓｏ）から決定することができる。そのため、ＣＰＵ１０１は、変形パラメータとして、逆行列Ｎ−１と座標（ｘｓｏ，ｙｓｏ）、座標（ｘｄｏ，ｙｄｏ）を画像処理部１０９に与える。画像処理部１０９は、式２に従って、変形画像の画素Ｐの座標（ｘｄ，ｙｄ）に対応する入力画像１５０の画素Ｐの座標（ｘｓ，ｙｓ）を決定する。
【数２】
2020178221.tif 000004
【００４２】
ここで、式２によって得られるｘｓ，ｙｓの値がいずれも整数であれば、画像処理部１０９は、入力画像１５０の画素Ｐの画素値を、変形画像１５１の画素Ｐの画素値とすることができる。一方、式２によって得られるｘｓ，ｙｓの値のいずれかが整数でない場合、画像処理部１０９は、変形画像１５１の画素Ｐの画素値に相当する画素値を、画素Ｐの複数の周辺画素の値を用いた補間演算により求めることができる。補間演算は、例えばバイリニア、バイキュービックなど、公知の補間演算のいずれかを用いて行うことができる。また、式２によって得られる座標（ｘｓ，ｙｓ）が、入力画像１５０の外部領域の座標の場合、上述に関わらず、画像処理部１０９は、変形画像１５１の座標（ｘｄ，ｙｄ）における画素Ｐの画素値を黒（０）またはユーザが設定した背景色とする。このようにして、画像処理部１０９は、キーストーン補正後の入力画像の全座標についての画素値を求め、変形画像を生成することができる。
【００４３】
なお、ここでは、ＣＰＵ１０１が画像処理部１０９に、行列Ｎとその逆行列Ｎ−１の両方を供給するが、いずれか一方の行列だけをＣＰＵ１０１が供給し、画像処理部１０９が他方の行列を算出してもよい。
【００４４】
なお、キーストーン補正後の画像の頂点の座標は、例えば投影画像の個々の頂点について、頂点が所望の位置に投影されるように操作部１０７を通じてユーザから移動量を入力させることにより取得することができる。この際、移動量の入力を支援するため、ＣＰＵ２０１は、投影制御アプリケーションプログラムの機能を用い、プロジェクタ１００にテストパターンを投影させるようにしてもよい。
【００４５】
ところで、キーストーン補正には、ハードウェアやソフトウェアの制限により、変形可能領域が定められていることがある。図４は、キーストーン補正において可能な変形量（
変形可能量）を模式的に示す図である。図４には、プロジェクタにおけるパネル平面４００を示す。また、図４には、パネル平面４００の各頂点における変形可能領域４０１〜４０４を斜線の領域で示す。また、図４において、Δｘ＿ｍａｘは、ｘ軸方向の最大変形可能量、Δｙ＿ｍａｘは、ｙ軸方向の最大変形可能量を表す。なお、Δｘ＿ｍａｘおよび、Δｙ＿ｍａｘは、プロジェクタのハードウェアやソフトウェアの構成によって異なる場合がある。
【００４６】
［自動位置合わせ処理］
本実施形態のＰＣ２００が投影制御アプリケーションプログラムを実行することにより実現する、自動位置合わせ処理の概要を図５のフローチャートに示す。
【００４７】
Ｓ５０１において、ＰＣ２００のＣＰＵ２０１は、ＰＣ２００が通信可能なプロジェクタ１００の中から、自動位置合わせ処理の対象とする複数のプロジェクタを選択する。
【００４８】
図６は、ＣＰＵ２０１が投影制御アプリケーションプログラムを実行することにより表示部２０５に表示される、ＧＵＩ画面６００の例を示す図である。ユーザは、ＰＣ２００の操作部２０４を通じてＧＵＩ画面６００を操作する。
【００４９】
ユーザによって「検索」ボタン６０１が押下されたことをＣＰＵ２０１が検出すると、ＣＰＵ２０１は、ネットワークＩＦ２０６を介して、プロジェクタ名とＩＰアドレスに関する情報を要求する所定のコマンドをネットワーク上にブロードキャストする。なお、このときに要求する情報には、プロジェクタ名とＩＰアドレスに限らず、例えばキーストーン補正による画像の変形量（キーストーン補正量）などが含まれてよい。
【００５０】
ネットワークに接続されている個々のプロジェクタ１００のＣＰＵ１０１は、ネットワークＩＦ１０８を介してコマンドを受信すると、自身のプロジェクタ名とＩＰアドレスを示す情報を含むデータを、ＰＣ２００に送信する。ＰＣ２００のＣＰＵ２０１は、各プロジェクタ１００がコマンドに応答して送信したデータを受信し、データに含まれる情報を抽出し、ＧＵＩ画面６００のリストビュー６０２に表示する。なお、リストビュー６０２に表示されるプロジェクタの並び順は、検出された順番であってもよいし、特定の規則に基づいてソートした順番であってもよい。
【００５１】
ユーザは、例えばチェックボックス６０３〜６０６にチェックを入れることで、キーストーン補正の対象となるプロジェクタを選択する。図６に示すＧＵＩ画面６００は、ＰＣ２００に接続されているプロジェクタが４台である場合の例である。
【００５２】
図６に示す例では、ユーザは、キーストーン補正の対象のプロジェクタをプロジェクタ１００ａおよびプロジェクタ１００ｂとする。なお、図中、プロジェクタ１００ａは、「Projector1  192.168.254.251」で示されるプロジェクタであり、プロジェクタ１００ｂ
は、「Projector2  192.168.254.252」で示されるプロジェクタである。そして、ユーザ
は、チェックボックス６０４およびチェックボックス６０６にチェックを入れる。そして、チェックボックス６０４にチェックが入ったプロジェクタに関する情報（例えば、プロジェクタ名、ＩＰアドレスなど）が、ＰＣ２００のＲＡＭ２０２に格納される。
【００５３】
ＣＰＵ２０１は、「テストパターンＯＮ」ボタン６０７が押下されたことを検出すると、チェックボックス６０３〜６０６がチェックされたプロジェクタに対し、ネットワークＩＦ２０６を通じてテストパターンの表示を指示するコマンドを送信する。これは、図５の処理フローのＳ５０２に相当する。ボタン６０７の操作に応じて表示させるテストパターンは、各プロジェクタ１００の表示領域の大きさや位置を確認しやすくするためのテストパターンであり、例えば格子状の画像などのテストパターンである。なお、ＣＰＵ２０
１は、それぞれのプロジェクタ１００に所定のテストパターンの表示を指示するコマンドを関連付けて送信してもよいし、任意の直線や図形、文字列などをプロジェクタに描画させるコマンドを複数組み合わせて送信してもよい。
【００５４】
ＣＰＵ２０１は、「テストパターンＯＦＦ」ボタン６０８が押下されたことを検出すると、チェックボックス６０３〜６０６がチェックされたプロジェクタに対し、ネットワークＩＦ２０６を通じてテストパターンの非表示を指示するコマンドを送信する。ＣＰＵ２０１は、「Ｎｅｘｔ」ボタン６０９が押下されたことを検出すると、処理をＳ５０２からＳ５０３に進める。
【００５５】
Ｓ５０３では、ＣＰＵ２０１は、自動位置合わせ処理に用いるカメラの選択を行う。ＣＰＵ２０１は、Ｐ２００に接続されたカメラの情報（例えば、カメラの製品名）を取得し、接続されたカメラに関する情報を表示部２０５に表示する。ユーザは表示されたカメラから、所望のカメラを選択する。なお、自動位置合わせ処理に用いるカメラの台数は１台でなく、２台以上選択できてもよい。
【００５６】
そして、ＣＰＵ２０１は、選択されたカメラ３００から取得した、カメラ３００による撮影画像を表示する。ユーザは、表示部２０５に表示された画像内に、プロジェクタの投影画像が収まるように、カメラ３００の設置やズーム調整を行う。ユーザがカメラ３００に対する作業が完了したことに応じて、処理はＳ５０４に進む。なお、ＣＰＵ２０１は、ユーザによるカメラ３００に対する作業が完了したか否かを、ユーザが表示部２０５に表示された完了を指示するボタン等を操作したか否かによって判定する。
【００５７】
Ｓ５０４では、ＣＰＵ２０１は、カメラの各種パラメータ（絞り数値やシャッタースピードなど）を設定する。例えば、Ｓ５０４では、ＣＰＵ２０１は、カメラ３００のシャッター速度、ＩＳＯ感度、絞り数値を設定する。なお、設定できるカメラのパラメータは、これらに限らず、例えばホワイトバランスや測光方式などを設定できるようにしてもよい。
【００５８】
ＣＰＵ２０１は、カメラ３００のパラメータ設定を、カメラ３００によるテスト撮影の結果を基に実行する。ＣＰＵ２０１は、カメラ３００に対して撮影指示を送信し、カメラ３００から撮影画像を取得する。ＣＰＵ２０１は、取得した撮影画像を解析して、パラメータを調整する。
【００５９】
ＣＰＵ２０１は、カメラ３００のパラメータ設定処理を完了すると、処理をＳ５０５に進める。Ｓ５０５では、ＣＰＵ２０１は、ユーザによる調整モードの選択を受け付ける。一例として、調整モードは「４点指定調整」と「基準プロジェクタに合わせる」のいずれかの調整モードである。
【００６０】
「４点指定調整」の調整モードは、あらかじめ定められた４点に個々の投影領域の頂点を合わせるようなキーストーン補正量を自動で決定するモードである。４点指定調整は、例えば、投影面が枠付きのスクリーンである場合のように、投影目標位置が明確な場合に有用である。なお、座標を調整可能な点の数は４点より少なくてもよいし、頂点以外の座標を含む５点以上の点を基に調整されてもよい。
【００６１】
また、「基準プロジェクタに合わせる」の調整モードは、１つのプロジェクタを基準プロジェクタとして、基準プロジェクタの投影領域に他のプロジェクタの投影領域を合致させるようなキーストーン補正量を自動で決定する調整モードである。このモードによる自動位置合わせが実行されるのは、基準プロジェクタの投影領域の位置が、指定された位置に調整されている場合である。この調整モードでは、基準プロジェクタ以外のプロジェク
タの投影領域を基準プロジェクタの投影領域に合致させるためのキーストーン補正量が自動的に決定される。また、この調整モードは、「４点指定調整」の調整モードとは異なり、投影目標位置が明確ではない場合（例えば壁面への投影など）に有効な機能である。
【００６２】
図７に、調整モード選択画面７００を示す。ラジオボタン９０１またはラジオボタン９０２の選択に応じて、ＣＰＵ２０１はどちらの調整モードで自動位置合わせ処理を実行するのかを切り替える。ＣＰＵ２０１は、選択された調整モードに関する情報をＲＡＭ２０２に格納する。
【００６３】
ドロップダウンリスト７０３は、上記の「基準プロジェクタに合わせる」の調整モードにおける基準プロジェクタを選択するためのものである。ドロップダウンリスト７０３において選択可能なプロジェクタは、Ｓ５０１において調整対象とされたプロジェクタである。ユーザがドロップダウンリスト７０３から所望のプロジェクタを１台選択すると、ＣＰＵ２０１は、選択されたプロジェクタを基準プロジェクタとしてＲＡＭ２０２に記憶する。
【００６４】
ＣＰＵ２０１は、ユーザによる「基準プロジェクタを確認」ボタン９０４の押下を検出すると、ネットワークＩＦ２０６を通して、Ｓ５０１において選択されたプロジェクタそれぞれに対して、特定のテストパターンを表示させるコマンドを送信する。このとき、基準プロジェクタのみ他のプロジェクタと色、輝度、形状のいずれかが異なるようなパターンを表示させることで、ユーザは、投影面上において、基準プロジェクタによって表示されるパターンを容易に判別することができる。
【００６５】
また、ＣＰＵ２０１は、ユーザによる「Ｂａｃｋ」ボタン９０５の押下を検出すると、前画面、すなわち図６に示す画面６００に戻る。このとき、「Ｂａｃｋ」ボタン９０５の押下による処理の流れは、図５のフローチャートでは示されていないが、ＣＰＵ２０１は、処理をＳ５０５からＳ５０４に戻す。
【００６６】
また、ＣＰＵ２０１は、ユーザによる「Ｎｅｘｔ」ボタン９０６の押下を検出すると、処理をＳ５０５に進め、以下に説明する位置合わせ処理を開始する。このとき、（図５のＳ５０４からＳ５０５への遷移に相当）。
【００６７】
図８は、Ｓ５０５において実行される位置合わせ処理の詳細なフローチャートである。Ｓ８０２からＳ８０４の処理を繰り返すことで、調整対象の各プロジェクタとカメラの射影変換行列をそれぞれ算出する。ここで、図９を参照しながら、射影変換行列の算出方法について説明する。図９Ａはカメラ座標平面（撮影画像の座標系）を、図９Ｂはプロジェクタ座標平面（プロジェクタのパネル座標系）をそれぞれ表す。プロジェクタ座標平面上の座標を（ｘｉ，ｙｉ）、カメラ座標平面上の座標を（Ｘｉ，Ｙｉ）とすると、射影変換式は、以下の式３、式４で表される（ｉは自然数）。このとき、ｉが等しい変数はそれぞれ対応していることを表す。
【数３】
2020178221.tif 000005
【数４】
2020178221.tif 000006
ここで、ａからｈは所定の定数を示す。
【００６８】
上記の式３および式４を変形し、行列で表現した式を以下の式５に示す。
【数５】
2020178221.tif 000007
【００６９】
式５におけるＭが射影変換行列である。この射影変換行列は、式３および式４に対して、対応する４組の点（ｘ１，ｙ１，Ｘ１，Ｙ１）、（ｘ２，ｙ２，Ｘ２，Ｙ２）、（ｘ３，ｙ３，Ｘ３，Ｙ３）、（ｘ４，ｙ４，Ｘ４，Ｙ４）をそれぞれ代入することで算出することができる。すなわち、平面上の少なくとも４点の座標の対応関係が分かっていれば、射影変換行列を算出できる。
【００７０】
例えば、プロジェクタによって四角形（図９Ｂの斜線部）を投影し、その撮影画像における四角形の各頂点の座標を検出できれば射影変換行列を算出できる。頂点座標の検出は公知の技術を用いて実現できるため、ここではその詳細な説明については省略する。
【００７１】
図９Ａに示すカメラ座標平面における座標P_a、P_b、P_c、P_dは、図９Ｂに示すプロジェクタ座標平面における座標p_a、p_b、p_c、p_dにそれぞれ対応する。これら既知の４点の座標の対応関係から射影変換行列を算出する。そして、算出した射影変換行列を用いることで、未知の座標点の射影変換を行うことができる。例えば、カメラ座標平面における座標が未知である点P_eに対して、算出した射影変換行列を掛けることで、この点に対応
するプロジェクタ座標平面上の点p_eの座標を算出できる。また、プロジェクタ座標平面
上の点p_eに、算出した射影変換行列の逆行列を掛けることで、この点に対応するカメラ
座標平面上の点P_eの座標を算出できる。
【００７２】
上記の説明により射影変換行列の算出が可能であるが、算出に用いるプロジェクタの投影画像は四角形でなくてもよい。すなわち、カメラ座標平面とプロジェクタ座標平面との間で少なくとも４点の座標の対応関係を求めることができるような画像であれば、任意の形状の投影画像が用いられてよい。
【００７３】
図８に戻って、自動位置合わせ処理の説明を行う。ＰＣ２００のＣＰＵ２０１は、Ｓ８０２〜Ｓ８０４の処理を繰り返し、各プロジェクタの射影変換行列を算出し、自身のＲＡＭ２０２に記憶する。Ｓ８０５では、ＰＣ２００のＲＡＭ２０２に格納された、ユーザによって指定された調整モードを示す情報を基に、変形パラメータの算出方法を切り替える。
【００７４】
Ｓ８０５において、ＣＰＵ２０１は、ユーザによって「４点指定調整」モードが選択されたか否かを判定する。ＣＰＵ２０１は、「４点指定調整」モードが選択されたと判定した場合は（Ｓ８０５：Ｙｅｓ）、処理をＳ８０６に進める。一方、ＣＰＵ２０１は、「４
点指定調整」モードが選択されていないと判定した場合は（Ｓ８０５：Ｎｏ）、処理をＳ８０９に進める。
【００７５】
図１０を参照しながら、Ｓ８０６における「投影形状指定処理」について説明する。まず、ＰＣ２００のＣＰＵ２０１は、Ｓ１００２〜Ｓ１００３の処理を繰り返すことにより、カメラ座標平面における各プロジェクタの変形可能領域を算出する。Ｓ１００２において、ＰＣ２００のＣＰＵ２０１は、ネットワークＩＦ２０６を介し、プロジェクタ１００に対してキーストーン補正において可能な変形量（変形可能量）を要求するコマンドを送信する。プロジェクタ１００は、キーストーンの変形可能量を要求するコマンドを受信すると、自身のキーストーン補正における変形可能量を含む情報をＰＣ２００に送信する。ＣＰＵ２０１は、プロジェクタ１００から受信したキーストーンの変形可能量をＲＡＭ２０２に記憶する。
【００７６】
次に、Ｓ１００３において、ＣＰＵ２０１は、プロジェクタ１００におけるキーストーン補正による変形可能領域を算出する。プロジェクタ１００におけるキーストーン補正による変形可能領域の一例を、図１１Ａおよび図１１Ｂに示す。図１１Ａまたは図１１Ｂの斜線部はキーストーン補正における変形可能領域１１０１、１１０２を表す。これら変形可能領域１１０１、１１０２は、プロジェクタ１００のパネル解像度と、プロジェクタ１００のキーストーン補正における変形可能量（Δｘ＿ｍａｘ、Δｙ＿ｍａｘ）から算出できる。例えば、図１１Ａにおける左上の調整可能領域の座標を例に挙げると、
左上の変形可能領域の左上頂点座標  ＝（０、０）、
左上の変形可能領域の右上頂点座標  ＝（Δｘ＿ｍａｘ、 ０）、
左上の変形可能領域の右下頂点座標  ＝（Δｘ＿ｍａｘ、 Δｙ＿ｍａｘ）、
左上の変形可能領域の左下頂点座標  ＝（０、  Δｙ＿ｍａｘ）
となる。
【００７７】
ＣＰＵ２０１は、調整対象の各プロジェクタ１００に対して変形可能領域の座標を算出する。次に、ＣＰＵ２０１は、図８のＳ８０４で算出した射影変換行列をＲＡＭ２０２から読み出し、読み出した射影変換行列を用いて、変換可能領域の頂点座標をカメラ座標平面上に射影する。図１１Ｃは、プロジェクタ１００のうちの１台のプロジェクタ１００ａの変形可能領域とプロジェクタ１００のうちの１台のプロジェクタ１００ｂの変形可能領域とをカメラ座標平面上に射影変換した結果を表す。
【００７８】
Ｓ１００４において、ＣＰＵ２０１は、カメラ座標平面における各プロジェクタの共通の変形可能領域を算出する。図１１Ｃには、射影変換されたプロジェクタ１００ａの変形可能領域１１０３と、射影変換されたプロジェクタ１００ｂの変形可能領域１１０４と、プロジェクタ１００ａとプロジェクタ１００ｂとの共通の変形可能領域１１０５とを示す。共通の変形可能領域は、プロジェクタの変形可能領域を表す多角形の頂点座標に対して公知の数学的手法を適用することで算出することができる。
【００７９】
なお、Ｓ１００４において、ＣＰＵ２０１は、各プロジェクタ１００に共通の変形可能領域が存在しないと判定した場合は、表示部２０５に警告メッセージを表示してもよい。警告メッセージには、ユーザに対する具体的な作業指示（例えば「プロジェクタをズームしてください」など）を表示してもよい。さらに、ＣＰＵ２０１は、警告メッセージを表示するとともに、投影面上に共通の変形可能領域が存在する配置となるよう、各プロジェクタを光学制御（光学ズームやレンズシフト）してもよい。
【００８０】
次に、Ｓ１００５において、ＣＰＵ２０１はＳ１００４で算出した共通の変形可能領域を、調整対象のプロジェクタのうち、いずれか１台のプロジェクタを選択し、選択したプロジェクタのプロジェクタ座標平面に射影する。Ｓ１００６において、ＣＰＵ２０１は、
共通の変形可能領域を表すマーカーを生成し、Ｓ１００５において選択したプロジェクタに生成したマーカーを投影させる。  
【００８１】
なお、Ｓ１００６において、ＣＰＵ２０１は、共通の変形可能領域が射影されるプロジェクタ以外のプロジェクタに、投影を停止するコマンドをネットワークＩＦ２０６を介して送信する。これにより、Ｓ１００５において選択されたプロジェクタに対する共通の変形可能領域の投影が、他のプロジェクタによる投影によって阻害されることを防止できる。図１２Ａおよび図１２Ｂに、投影面１２００に投影されるマーカーの一例を示す。ここで、共通の変形可能領域を表すマーカーとは、図１２Ａおよび図１２Ｂに例示される投影領域１２１０に対して配置される矩形形状のマーカー１２０１〜１２０４である。なお、共通の変形可能領域を表すマーカー１２０１〜１２０４の表示形態、すなわちマーカーの色、線の太さ、模様などは任意に選択されてよい。
【００８２】
Ｓ１００７では、ＣＰＵ２０１はさらに、変形後の形状を指定するためのマーカーを生成し、Ｓ１００５において選択したプロジェクタに生成したマーカーを投影させる。ここで、変形後の形状を指定するためのマーカーとは、図１２Ａおよび図１２Ｂに例示される、Ｌ字形状のマーカー１２０６〜１２０９と、これらのマーカー１２０６〜１２０９同士を結ぶ線分１２０５との組み合わせたものを意味する。Ｌ字形状のマーカー１２０６〜１２０９は、変形後の形状における各頂点を表す。ここで、ＣＰＵ２０１は、生成手段として、画像の投影面における画像の投影領域の四隅のそれぞれに対応して、投影領域内に表示されるパターンを生成する。また、ＣＰＵ２０１は、調整手段として、投影面に投影されるパターンの位置を調整する。
【００８３】
なお、マーカー１２０６〜１２０９の形状や色は、投影面において少なくとも４点の座標を指定できるようなものであれば、任意に選択されてよい。また、変形後の形状を指定するためのマーカーの初期位置は、マーカー１２０６〜１２０９が共通の変形可能領域を表すマーカー１２０１〜１２０４の内側に位置するように決定される。なお、マーカーの初期位置としては、例えば共通の変形可能領域の重心位置であってもよいし、共通の変形可能領域のいずれかの頂点であってもよい。あるいは、カメラ座標平面における共通の変形可能領域の中の特徴点、すなわちスクリーンの角やレーザー墨出し器が投射する線分の交点などを表す位置であってもよい。
【００８４】
なお、共通の変形可能領域を表すマーカー１２０１〜１２０４および変形後の形状を指定するためのマーカー１２０６〜１２０９は、ＣＰＵ２０１がネットワークＩＦ２０６または映像出力部２０７を介して送信してもよい。あるいは、ＣＰＵ２０１は、任意の線分や多角形を描画するコマンドをネットワークＩＦ２０６を介してプロジェクタ１００に送信し、プロジェクタ１００のＣＰＵ１０１が受信したコマンドに基づいてマーカー画像を描画してもよい。
【００８５】
Ｓ１００７の処理が完了すると、ＣＰＵ２０１は、図１３に示す変形後の形状を指定するためのＧＵＩ画面１３００をカメラ３００に表示させる。ここで、図１３のボタン１３０１〜１３０４は、左上頂点の変形後の形状を指定するマーカーを操作するためのボタンである。ボタン１３０５〜１３０８は、右上頂点の変形後の形状を指定するマーカーを操作するためのボタンである。ボタン１３０９〜１３１２は、右下頂点の変形後の形状を指定するマーカーを操作するためのボタンである。ボタン１３１３〜１３１６は、左下頂点の変形後の形状を指定するマーカーを操作するためのボタンである。
【００８６】
図１３の画像領域１３１７は、ＰＣ２００に接続されたカメラ３００が、ＰＣ２００からの指示によって撮影および取得するライブビュー画像を表示する領域である。ユーザは、投影面を直接観察するか、画像領域１５１７に表示される画像を見ながら、操作ボタン
１３０１〜１３１６を操作することで、変形後の形状を指定するマーカーを操作する。
【００８７】
ＣＰＵ２０１は、操作ボタン１３０１〜１３１６の操作を検出すると、ＲＡＭ２０２に記憶されているカメラ座標平面における変形後の形状の座標を更新する（Ｓ１０１０）。そして、ＣＰＵ２０１は、マーカー画像を再度生成し、生成したマーカー画像をプロジェクタ１００に投影させる（Ｓ１２１１）。ここで、ＣＰＵ２０１は、移動手段として、投影面において投影されたパターンを移動する。図１２Ｂは、図１２Ａに示す画像において、ユーザが操作ボタン１３０３、１３０４を押下した結果、マーカー１４０６とマーカー１４０６に隣接する線分の位置が変更された状態の画像を例示する。
【００８８】
ユーザは、図１３に示す「実行」ボタン１３１９を操作するまでは、操作ボタン１３０１〜１３１６を操作することができる。ユーザが「実行」ボタン１３１９を操作すると（Ｓ１００９：Ｙｅｓ）、ＣＰＵ２０１は、図１０に示すフローチャートを終了し、処理を図８のＳ８０７に進める。
【００８９】
図８に戻って、自動位置合わせ処理について説明する。ＣＰＵ２０１は、変形手段として以下の処理を実行し、投影面におけるパターンの位置に基づいて画像を変形する。Ｓ８０７において、ＣＰＵ２０１は、投影面上で各プロジェクタの投影画像が重なり合うようにするためのキーストーン補正量を算出する。ＣＰＵ２０１は、ＲＡＭ２０２に記憶されているカメラ座標平面における変形後の形状の座標を、各プロジェクタのプロジェクタ平面に射影することで、プロジェクタごとにキーストーン補正量を算出する。
【００９０】
Ｓ８０８において、ＣＰＵ２０１は、ネットワークＩＦ２０６を介してＳ８０７においてプロジェクタ１００ごとに算出したキーストーン補正量を、各プロジェクタ１００に送信する。プロジェクタ１００は、キーストーン補正量を受信すると、受信したキーストーン補正量を画像処理部１０９に送信し、入力画像の形状補正を実行する。
【００９１】
［本件開示の技術の特徴的な処理］
次に、本件開示の技術における特徴的な処理について説明する。図１２に例示するように、投影面内における画像の変形であれば、ユーザは容易にマーカーを操作することができる。しかしながら、図１４Ｅに示す例のように画像が投影面外に変形する場合、図１５に例示するようにマーカーが投影面から消失し、ユーザが投影画像の正確な位置を特定できない可能性がある。
【００９２】
そこで、本実施形態では、図１２に示すマーカー１２０６〜１２０９の代わりに、図１６Ａまたは図１６Ｂに例示するマーカー１６０２〜１６０５が使用される。なお、マーカー１６０２〜１６０５の各マーカーが、投影領域に表示されるパターンの第１領域または第２領域の一例である。図１６Ａにおいて点１６０１がキーストーン補正における変形点であり、マーカー１６０２〜１６０４は、変形点を基準として配置される、互いに幅１６０６が等しいＬ字形状の領域である。ここで、変形点は投影領域の端部の一例であり、マーカー１６０２〜１６０４は、それぞれ変形点からの距離が互いに異なる位置に配置される。マーカー１６０２〜１６０４は、それぞれ異なる色で表示される。マーカー１６０２〜１６０４は、不図示のＧＵＩを用いて、図１６Ｂに示す例のように、マーカー１６０２〜１６０４の幅１６０６を狭くしたり、別のマーカー１６０５を追加したりするような変更がなされてよい。マーカー１６０５が、第１の領域または第２の領域に隣接する第３の領域の一例である。なお、各マーカーの幅や数については、ユーザが、規定の値の群からいずれかの値を選択することで決定してもよいし、幅や数の値を入力してもよい。
【００９３】
図１７に、図１６Ａに示すマーカー１６０２〜１６０４を使用した場合の表示例を示す。なお、図１７〜図１９においては、マーカー１６０２〜１６０４とともに表示される図
１４の共通の変形可能領域を示すマーカー１２０１〜１２０４は省略している。図１２の場合と同様に、図１６Ａにおいて、４つの変形点に基づく位置にマーカー１６０２〜１６０４が表示される。そして、図１６Ａでは、マーカー１６０２が最外枠の投影領域の指標となり、マーカー１６０４が最内枠の投影領域の指標となる。
【００９４】
ここで、図１０および図１３を参照しながら説明したユーザによる操作を基に、投影画像を投影面より大きくして投影する場合に実行される変形処理について説明する。図１５に示すように左上の変形点が投影面の外へ移動する場合において、図１８Ａでは、当該変形点は投影領域１８１０の変形点１８０６に対応する。また、図１８Ａにおいて、マーカー１８０１〜１８０３は、図１６Ａのマーカー１６０２〜１６０４に対応している。図１８Ａに示す例では、左上の変形点１８０６以外の変形点が視認できる状態となっている。
【００９５】
なお、各マーカーの初期位置は、投影画像が投影面よりも大きくなる可能性があることを考慮し、例えば図１２に示すそれぞれの変形可能領域１２０１〜１２０４において、投影画像の最も内側となる位置にマーカーが配置されてよい。図１４Ｃのように投影面と投影画像とが一致する場合は、図１８Ａに示す左下のマーカー１８０１〜１８０３のように、マーカー１８０１が、その外縁と投影面の端部とが一致するように配置されてよい。なお、図１８Ａにおいて、左上の変形点１８０６は、投影面の外に位置するため、マーカー１８０１、１８０２に対応するマーカーは視認できず、マーカー１８０３に対応するマーカー１８０５が投影面内に配置されている。また、図１８Ａにおいて、投影領域１８１０の境界線である線分１８０４は、実際は視認できない変形点１８０６の位置を基準として延伸している。
【００９６】
そして、図１８Ａに示す例においては、マーカー１８０１〜１８０３に対応する３つのマーカーが、左上、右上、右下のそれぞれの変更可能領域内、すなわち投影領域の隅が移動可能な領域内に配置される。また、投影面の外側に配置されるマーカーは表示されない。ユーザは、操作部２０４を通じてこれらのマーカーを移動して、図１８Ｂの投影領域１８０１０の境界線である線分１８０７のように、投影画像の形状を変更することができる。なお、図１８Ｂに示す例では、線分１８０７は投影面の外側に位置するため、ユーザは投影面上で線分２００７を視認できない代わりに、投影面の四隅に表示されているマーカー１８０３、１８０５、１８０６、１８０８を視認できる。ユーザは、これらのマーカー１８０３、１８０５、１８０６、１８０８の相対的な配置を基に、投影面が均等に拡大されていることを確認できる。例えば、図１８Ｂに示すマーカー１８０３、１８０５、１８０６、１８０８のように、各変形可能領域において表示されるマーカーの形状が互いに相似するようにマーカーの配置を調整することで、投影面を均等に拡大および／または縮小することができる。そして、ユーザによるマーカーの配置を基にキーストーン補正が施され、図１４Ｅに示すように、投影面より大きな投影画像となるように投影画像の変形が実現される。
【００９７】
上記の説明では、投影面の四隅に対応するマーカーを用いてキーストーン補正が行われる場合について説明したが、マーカーの配置、投影領域の変形方法、変形点の配置などは、上記の説明に限定されない。図１９に、上記のマーカーの形状および配置の変形例を示す。図１９Ａでは、例えば左下の変更可能領域に対して、マーカー１８０１〜１８０３に対応する３つのマーカー１９０１〜１９０３が配置されている。そして、マーカー１９０１〜１９０３は、投影領域１９１０の左下隅から投影領域の重心Ｃがある側に向かって水平方向に移動した位置に配置されている。他の三隅の変更可能領域に対しても同様のマーカーが配置される。このようなマーカーの配置は、投影画像のアスペクト比によって左右に非投影領域が発生した場合に有効となる。投影画像が横長の投影画像である場合は、上下に非投影領域が発生するため、マーカーは、図１９Ａの例とは異なり重心Ｃがある側に向かって垂直方向に移動した位置に配置される。このように、本実施形態では、マーカー
によって構成されるパターンを、投影画像のアスペクト比に基づいて変更することも可能である。
【００９８】
また、別の変形例として、図１９Ｂにおいては、上記のキーストーン補正よりもさらに細かく分割された領域ごとに投影画像の変形が可能となるよう、投影領域１９２０を示す長辺および短辺の線分の中点にもマーカーが配置されている。なお、図１９Ｂにおいて、マーカー１９０４〜１９０６が、図１９Ａのマーカー１９０１〜１９０３に対応するマーカーである。また、マーカー１９０７〜１９０９で構成されるパターンが、投影領域１９２０の左側の境界線である線分１９１１に接する位置に配置される。また、マーカー１９０７〜１９０９に対応するマーカーで構成されるパターンが、投影領域１９２０の上側、右側、下側の境界線である線分に接する位置にもそれぞれ配置されている。投影面におけるマーカー１９０７〜１９０９の表示形態、すなわち色や模様などはマーカー１９０４〜１９０６と同じである。また、線分に配置されるマーカーは、投影領域に平行または垂直となる成分が含まれていればよい。したがって、投影領域１９２０の隅に対応するマーカー１９０４〜１９０６とは異なり、線分に配置されるマーカーの形状は、Ｌ字形状ではなく直線形状となっている。
【００９９】
また、上記のＰＣ２００のＣＰＵ２０１が実行する処理の少なくとも一部を、プロジェクタ１００のＣＰＵ１０１が実行するように構成されていてもよい。また、上記の説明では、投影画像のキーストーン補正、すなわち台形歪みの補正を行うことを想定している。ただし、投影画像の他の歪曲補正、例えば、糸巻き型、樽型、自由曲面、電子ズームや電子シフトに起因するものなど、種々の歪曲の補正にも、上記の技術を適用することができる。
【０１００】
上記のように、本件開示の技術によれば、画像を投影面よりも大きくして投影する場合の投影画像の位置補正において、変形点が投影面の外に位置する場合でも、ユーザは投影画像の変形量を適切に認識することができる。この結果、ユーザによる投影画像の補正作業の効率が向上することが期待できる。
【０１０１】
（第２実施形態）
プロジェクタによる画像の投影方法として、投影領域が投影面をはみ出すように投影することによって、投影された画像を視認する観賞者が、投影領域の端部を認識せず、より没入感の強い観賞を可能とする投影方法（オーバースキャン）がある。
【０１０２】
プロジェクタの投影レンズの光軸と投影面とが直交しない場合、投影される光学像（投影領域）の形状に、台形歪みと呼ばれる歪みが生じる。この台形歪みをプロジェクタの位置を変えずに補正する機能として、いわゆるキーストーン補正と呼ばれる機能が知られている。キーストーン補正は、例えば、投影領域の４隅を示すマーカーをユーザが操作して、投影領域をユーザが望む形状に補正することが可能である。オーバースキャンで画像を投影する場合、投影領域の４隅が投影面の外側に位置するように投影領域の形状を調整する必要がある。
【０１０３】
しかしながら、投影面の外側が容易に視認できない投影環境である場合、投影領域を調整するユーザは、投影領域が所望の形状になっているか否かを判断することが困難であった。
【０１０４】
第２実施形態の投影制御装置は、投影装置の投影領域の４隅からあらかじめ設定された距離だけ内側の位置を示すマーカーを投影装置に投影させる。これにより、ユーザは、投影されたマーカーを用いて投影領域を設定することによって、オーバースキャン法による画像の投影をより簡便に実行可能となる。
【０１０５】
図２０は、第２実施形態のプロジェクタ２１００と、プロジェクタ２１００が画像を投影するスクリーン２２００を含む投影環境を示す模式図である。また、図２０（Ａ）は、スクリーン２２００にオーバースキャンにより投影される画像と、オーバースキャンでない投影方法でスクリーン２２００に投影される画像と、をそれぞれ示す模式図である。図２０（Ｂ）は、オーバースキャンにより投影される画像を示す。図２０（Ｃ）は、オーバースキャンでなく、スクリーン２２００の外周に対して、所定の距離だけ内側の領域に画像を投影した場合を示す比較例である。スクリーン２２００は、吊り下げ型のスクリーンであるとする。
【０１０６】
図２０（Ｂ）に示すように、オーバースキャンにより、観賞者はスクリーン２２００の端部を意識せずに画像を観賞することが可能となる。しかし、図２０（Ｃ）に示すように比較例では視認可能な投影領域の４隅を、オーバースキャンにより投影された画像で確認することはできない。
【０１０７】
図２１に第２実施形態に係るプロジェクタ２１００の機能構成例を示すブロック図である。プロジェクタ２１００は、ＣＰＵ２１０１、ＲＡＭ２１０２、ＲＯＭ２１０３、投影部２１０４、投影制御部２１０５、ＶＲＡＭ２１０６、操作部２１０７、ネットワークＩＦ２１０８、画像処理部２１０９、映像入力２１１０を機能ブロックとして有する。これらの機能ブロックは、内部バス２１１１によって通信可能に接続されている。各ブロックの機能は、第１実施形態のプロジェクタ１００の同名のブロックと同様の構成であるので、詳細な説明を省略する。なお、本実施形態において、ＣＰＵ２１０１が投影制御装置に相当する。
【０１０８】
操作部２１０７は、メニューボタンと、決定ボタンと、上下左右方向をそれぞれ示すカーソルボタンと、戻るボタンとを備える。
【０１０９】
プロジェクタ２１００の電源がオンの状態で、ユーザが操作部２１０７のメニューボタンを押下したことに応じてＣＰＵ２１０１は、メニュー画面を投影する。メニュー画面は、ユーザがプロジェクタ２１００の投影条件の調整や、投影パラメータの設定を行うために操作するユーザーインターフェース画像（ＵＩ画像）である。ユーザは、操作部２１０７の各ボタンを操作して、投影条件の調整や、投影パラメータの設定を行う。
【０１１０】
ＣＰＵ２１０１は、ユーザの操作部２１０７の操作による選択指示を受け付けたことに応じてキーストーン補正が選択され、決定ボタンにより決定指示を受け付けたことに応じて、プロジェクタ２１００の動作がキーストーン補正モードに遷移する。
【０１１１】
ＣＰＵ２１０１は、キーストーン補正モードに遷移すると、図１６に示したマーカーを投影領域の４隅に投影する。ＣＰＵ２１０１は、図１６の点１６０１が、投影領域の隅に対応するようにマーカー１６０２を配置する。
【０１１２】
また、マーカー１６０３は、マーカー１６０２に対して、投影領域の長辺に沿った方向および投影領域の短辺に沿った方向にそれぞれ距離１６０５だけ離れて配置される。マーカー１６０４は、マーカー１６０３に対して、投影領域の長辺に沿った方向および投影領域の短辺に沿った方向にそれぞれ距離１６０５だけ離れて配置される。
【０１１３】
図１６に示した例では、マーカー１６０２〜１６０４は、隣接するマーカーが互いに接するように配置されているが、マーカー間の距離はこれに限らない。投影領域を調整するユーザが、スクリーン２２００に対して投影領域をオーバーさせたい量に応じて、マーカーの位置を調整可能としてもよい。例えば、投影領域の対角線のうち９０％がスクリーン
２２００に含まれるように、投影領域を調整したい場合、ユーザは、あらかじめマーカーの設定画面を操作して、マーカー間距離を対角線の長さに対して１０％ずつ刻むように設定してもよい。
【０１１４】
図２２は、マーカー間距離を設定するための設定画面と、設定画面で設定された位置にマーカーを投影した場合のスクリーン２２００を示す模式図である。図２２（Ａ）の設定画面が投影された状態で、ユーザは操作部２１０７を介して表示するマーカーの数、位置を設定する。図２２に示した設定画面によれば、投影領域の４隅（１００％）に対応する位置にマーカー１６０２が表示される。また、投影領域を９０％縮小した領域の４隅に対応する位置にマーカー１６０３が表示され、投影領域を８０％縮小した領域の４隅に対応する位置にマーカー１６０４がそれぞれ表示される。
【０１１５】
図２２（Ｂ）は、図２２（Ａ）に示された条件で設定されたマーカー投影条件でマーカー１６０２〜１６０４を投影した場合の模式図である。
【０１１６】
ユーザは、投影領域の対角線の９０％がスクリーン２２００に含まれるように投影領域を調整する場合、スクリーン２２００端部に操作中のマーカー１６０２に対応するマーカー１６０３が位置するよう、キーストーン補正でマーカー１６０２の位置を調整する。
【０１１７】
投影領域の４隅それぞれに対して、マーカー１６０２を操作して、対応するマーカー１６０３をスクリーン２２００の頂点に合わせることで、投影領域の外周（１０％）がスクリーン２２００の外側にはみ出したオーバースキャン投影を実現できる。
【０１１８】
上述のようにして、投影領域の頂点に対応するマーカーに対して、設定された距離だけ内側にオーバースキャン用のマーカーを表示することによって、ユーザが容易にオーバースキャン投影を行うことが可能となる。
【０１１９】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１２０】
２００・・・ＰＣ、２０１・・・ＣＰＵ、１２１０，１８１０，１９１０，１９２０・・・投影領域、１６０２〜１６０５，１８０１〜１８０３，１８０５，１９０１〜１９０９・・・マーカー
【図１】
2020178221.tif 000008
【図２】
2020178221.tif 000009
【図３】
2020178221.tif 000010
【図４】
2020178221.tif 000011
【図５】
2020178221.tif 000012
【図６】
2020178221.tif 000013
【図７】
2020178221.tif 000014
【図８】
2020178221.tif 000015
【図９】
2020178221.tif 000016
【図１０】
2020178221.tif 000017
【図１１】
2020178221.tif 000018
【図１２】
2020178221.tif 000019
【図１３】
2020178221.tif 000020
【図１４】
2020178221.tif 000021
【図１５】
2020178221.tif 000022
【図１６】
2020178221.tif 000023
【図１７】
2020178221.tif 000024
【図１８】
2020178221.tif 000025
【図１９】
2020178221.tif 000026
【図２０】
2020178221.tif 000027
【図２１】
2020178221.tif 000028
【図２２】
2020178221.tif 000029