(57)【要約】【課題】マルチプロジェクションを行う際に投影画像の調整のために投影されるマーク画像をより高精度に認識できるようにする。【解決手段】複数の部分画像をその一部が互いに重畳するように投影面に投影して一つの画像を表示する投影システムにおける投影型表示装置は、投影画像を調整するために用いられるマーク画像を生成する生成手段と、表示対象の部分画像に対して、マーク画像を合成する合成手段と、合成された部分画像を投影面に投影する投影手段と、投影面に投影された部分画像を撮影する撮影手段と、撮影手段により撮影された部分画像からマーク画像を検出する検出手段とを有し、生成手段は、検出手段により、撮影された部分画像において他の投影型表示装置によるマーク画像が検出されたときは、当該他の投影型表示装置によるマーク画像から区別可能なように生成するマーク画像を調整する。【選択図】  図５
2017032873.tif 000002
【特許請求の範囲】
【請求項１】
複数の部分画像をその一部が互いに重畳するように投影面に投影して一つの画像を表示する投影システムにおける投影型表示装置であって、
投影画像の調整のために用いられるマーク画像を生成する生成手段と、
表示対象の部分画像に対して、前記マーク画像を合成する合成手段と、
前記合成された部分画像を前記投影面に投影する投影手段と、
前記投影面に投影された部分画像を撮影する撮影手段と、
前記撮影手段により撮影された部分画像からマーク画像を検出する検出手段と
を有し、
前記生成手段は、前記検出手段により、前記撮影された部分画像において他の投影型表示装置によるマーク画像が検出されたときは、当該他の投影型表示装置によるマーク画像から区別可能なように生成するマーク画像を調整する
ことを特徴とする投影型表示装置。
【請求項２】
前記生成手段により生成されるマーク画像は、ウォータマーク画像であることを特徴とする請求項１に記載の投影型表示装置。
【請求項３】
前記検出手段は、当該投影型表示装置によるウォータマーク画像の投影を行う前に、他の投影型表示装置によるウォータマーク画像の有無を検出することを特徴とする請求項２に記載の投影型表示装置。
【請求項４】
前記生成手段は、前記他の投影型表示装置によるウォータマーク画像が検出されたときは、当該他の投影型表示装置によるウォータマーク画像と異なる形状のウォータマーク画像を生成することを特徴とする請求項２又は３に記載の投影型表示装置。
【請求項５】
前記生成手段は、前記他の投影型表示装置によるウォータマーク画像が検出されたときは、当該他の投影型表示装置によるウォータマーク画像と重ならない配置のウォータマーク画像を生成することを特徴とする請求項２から４のいずれか１項に記載の投影型表示装置。
【請求項６】
前記生成手段は、前記他の投影型表示装置によるウォータマーク画像が検出されたときは、当該他の投影型表示装置によるウォータマーク画像と重ならない大きさのウォータマーク画像を生成することを特徴とする請求項２から５のいずれか１項に記載の投影型表示装置。
【請求項７】
前記検出手段が検出したウォータマーク画像に基づいて、投影面に合わせて前記部分画像の形状を補正する補正手段をさらに有することを特徴とする請求項２から６のいずれか１項に記載の投影型表示装置。
【請求項８】
前記検出手段が検出したウォータマーク画像の位置の変化量を検出する変化量検出手段をさらに有し、
前記補正手段は、検出した前記変化量に基づいて、前記部分画像の形状を補正する
ことを特徴とする請求項７に記載の投影型表示装置。
【請求項９】
前記補正手段は、一定時間おきに、前記撮影された部分画像から検出されたウォータマーク画像に基づき、前記部分画像の形状を補正することを特徴とする請求項７又は８に記載の投影型表示装置。
【請求項１０】
複数の投影型表示装置により複数の部分画像をその一部が互いに重畳するように投影面に投影して一つの画像を表示する投影システムであって、
前記複数の投影型表示装置の少なくとも一つは、
投影画像を調整するために用いられるマーク画像を生成する生成手段と、
表示対象の部分画像に対して、前記マーク画像を合成する合成手段と、
前記合成された部分画像を前記投影面に投影する投影手段と、
前記投影面に投影された部分画像を撮影する撮影手段と、
前記撮影手段により撮影された部分画像からマーク画像を検出する検出手段と
を有し、
前記生成手段は、前記検出手段により、前記撮影された部分画像において他の投影型表示装置によるマーク画像が検出されたときは、当該他の投影型表示装置によるマーク画像から区別可能なように生成するマーク画像を調整する
ことを特徴とする投影システム。
【請求項１１】
複数の部分画像をその一部が互いに重畳するように投影面に投影して一つの画像を表示する投影システムにおける投影型表示装置の制御方法であって、
投影画像を調整するために用いられるマーク画像を生成する生成工程と、
表示対象の部分画像に対して、前記マーク画像を合成する合成工程と、
前記合成された部分画像を前記投影面に投影する投影工程と、
前記投影面に投影された部分画像を撮影する撮影工程と、
前記撮影工程により撮影された部分画像からマーク画像を検出する検出工程と、
前記検出工程により、前記撮影された部分画像において他の投影型表示装置によるマーク画像が検出されたときは、当該他の投影型表示装置によるマーク画像から区別可能なように生成するマーク画像を調整する調整工程と
を有することを特徴とする投影型表示装置。
【請求項１２】
コンピュータを請求項１から９のいずれか１項に記載の投影型表示装置が備える各手段として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影型表示装置及びその制御方法、投影システム、コンピュータプログラムに関する。本発明は、特に、複数の投影画像により一つの画像を表示するマルチプロジェクションシステムに関する。
【背景技術】
【０００２】
近年、映画などコンテンツデータの盗撮行為を防止する技術として、映画業界においては、ウォータマーク（電子透かし）の使用が一般的になっている。ウォータマークとは、コンテンツデータに一般に不可視情報として埋め込まれる情報（マーク）であり、例えば、映画が上映された場所の識別情報などが符号化されたマークがウォータマークとして埋め込まれる。盗撮された映像から、埋め込まれているウォータマークを検出することで、どの映画館で盗撮されたかを特定することができ、これにより適切な措置をとることが可能となる。特許文献１には、ウォータマークの検出の精度を向上させるための構成が記載されている。
【０００３】
一方で、ビルなどの建造物、プラネタリウムの壁や天井など、これまでの平面スクリーンとは異なる物体に、複数のプロジェクタを使用して、映像を大画面で投影する、いわゆるプロジェクションマッピングが普及してきている。プロジェクションマッピングにおいては、１つの映像を複数の領域に分割し、分割した夫々の領域の映像を、夫々のプロジェクタにより表示することで、全体として大画面投影を実現している。
【０００４】
建造物など、投影される物体の形状や環境、及び物体の材質に関しては、様々なものが存在する。これらの様々な形状、環境、及び材質を有する物体上に投影する場合は、システムの設置時など投影前に投影する物体の形状に合わせて、コンテンツの投射形状を調整する必要がある。
【０００５】
さらに、これらの様々な形状、環境、及び材質の物体に対して、長時間に亘って映像を投影するには、状態の変化に対応する必要がある。例えば、夜から朝にかけては、気温や湿度、周辺の明るさなども変化する。気温が変われば投影する物体の材質によっては、投影面の形状が変化することなども考慮しなければならない。
【０００６】
その課題に対応するために、投影する映像にウォータマークを付加し投影する。さらに投影した映像を撮影し、撮影した映像からウォータマークを抽出し、付加したウォータマークの位置座標と、検出したウォータマークの位置座標との差分から、投影面の形状の変化を検出し、投影する映像の形状、即ち投射形状を調整することができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特表２００５−５１０９２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、複数のプロジェクタを使用して１つの映像を投影する場合、継目の目立たない連続した映像を表示するために、隣接する映像を投影するプロジェクタ間において、一部の映像を重ね合わせて投影する、いわゆるエッジブレンドを行う場合がある。ところが、このエッジブレンド領域（重畳領域）においては、複数のプロジェクタの投影する映像が重ね合わせて投影されることから、個々のプロジェクタが付加したウォータマークが同一のエッジブレンド領域に重畳して投影される可能性がある。そのため、このエッジブレンド領域においては、プロジェクタ自身が付加したウォータマークを正しく認識できなくなる恐れがあった。なお、ウォータマークに代えて、他のマークを使用する場合においても、上記と同じ課題が発生しうる。
【０００９】
そこで本発明は、マルチプロジェクションを行う際に投影画像の調整のために投影されるマークがより高精度に認識されるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本発明による投影型表示装置は以下の構成を備える。即ち、
複数の部分画像をその一部が互いに重畳するように投影面に投影して一つの画像を表示する投影システムにおける投影型表示装置は、
投影画像の調整のために用いられるマーク画像を生成する生成手段と、
表示対象の部分画像に対して、前記マーク画像を合成する合成手段と、
前記合成された部分画像を前記投影面に投影する投影手段と、
前記投影面に投影された部分画像を撮影する撮影手段と、
前記撮影手段により撮影された部分画像からマーク画像を検出する検出手段と
を有し、
前記生成手段は、前記検出手段により、前記撮影された部分画像において他の投影型表示装置によるマーク画像が検出されたときは、当該他の投影型表示装置によるマーク画像から区別可能なように生成するマーク画像を調整する。
【発明の効果】
【００１１】
本発明によれば、マルチプロジェクションを行う際に投影画像の調整のために投影されるマークがより高精度に認識できるようになる。
【図面の簡単な説明】
【００１２】
【図１】映像表示装置が適用されたシステム概略図。
【図２】プロジェクタが４台で適用された場合の投影映像を表す図。
【図３】プロジェクタが９台で適用された場合の投影映像を表す図。
【図４】プロジェクタのハードウェア構成を示す図。
【図５】プロジェクタの機能構成を示すブロック図。
【図６】映像表示装置の処理の流れを示すフローチャート図。
【図７】映像表示の流れを表す図。
【図８】２台目以降のウォータマークの配置決定を示す図。
【図９】ウォータマークの位置変化を示す図。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して本発明の実施の形態を詳細に説明する。
【００１４】
＜＜実施形態１＞＞
以下、図面を参照しながら本発明の第１の実施形態（実施形態１）を説明する。
【００１５】
（映像表示システム）
図１、図２、図３は、実施形態１に係る映像表示装置を適用した映像表示システム（投影システム）の構成例を示す概略図である。本実施形態の映像表示システムは、複数の部分画像をその一部が互いに重畳するように投影して一つの画像を表示する。図１においては、２台のプロジェクタ（投影型表示装置）１００、１０１が１つの映像を分割し、投影面としての曲面スクリーン１４０へ投影する場合を示している。なお、本実施形態では、立体的な構造物への投影として、説明が容易な曲面スクリーン１４０への投影を例として説明する。しかしながら、全方位的に曲面スクリーンを設置し、その全面に複数台のプロジェクタで映像を投影する、いわゆるプラネタリウムのような場合であっても同様である。さらに、それ以外のビルや駅などの建造物など様々な形状であってもよい。また、以下では、動画像（映像）を表示する例を説明するが、表示対象の画像は静止画でもよい。
【００１６】
プロジェクタ１００は分割した映像の左側の映像を、領域１３０を含む領域１２０に投影し、その領域１２０を映像撮影部１１０により撮影する。同様にプロジェクタ１０１は分割した映像の右側の映像を、領域１３０を含む領域１２１に投影し、その領域１２１を映像撮影部１１１により撮影する。映像撮影部１１０、１１１は、撮像素子により画像を撮影するカメラである。領域１３０は、２台のプロジェクタ１００、１０１が映像を重ね合わせて投影する領域であり、いわゆるエッジブレンド領域と呼ばれる。
【００１７】
図２は、１つの映像を４分割し、４台のプロジェクタで投影した場合を示している。それぞれのプロジェクタの映像は、領域１５０、１５１、１５２、１５３に投影され、領域１６０、１６３が左右のプロジェクタの映像が重なるエッジブレンド領域であり、領域１６１、１６２が上下のプロジェクタの映像が重なるエッジブレンド領域である。さらに領域１７０は４台のプロジェクタの映像が重なるエッジブレンド領域である。
【００１８】
同様に、図３は、１つの映像を９分割し、９台のプロジェクタで投影した場合を示している。この様に、使用するプロジェクタの台数を増やすことにより、より大画面の表示が可能になり、より迫力のある映像再生が可能となる。以上が、本実施形態に係る映像表示装置が適用された構成例の概略図に関する説明である。
【００１９】
（プロジェクタのハードウェア構成）
次に、実施形態１における画像投影装置としてのプロジェクタ１００のハードウェア構成を説明する。図４は、実施形態１におけるプロジェクタ１００のハードウェア構成を示すブロック図である。ここでは、プロジェクタ１００について説明するが、プロジェクタ１０１も同様の構成であり、図２や図３のように４台、あるいは９台のプロジェクタを使用する場合であっても、同様の構成のプロジェクタが必要台数使用されることになる。
【００２０】
図４において、ＣＰＵ９９０は中央演算処理装置であり、オペレーティングシステム（ＯＳ）等のコンピュータプログラムに基づいて他の構成要素と協働し、プロジェクタ１００全体の動作を制御する。ＲＯＭ９９１は読出し専用メモリであり、基本Ｉ／Ｏプログラム等のコンピュータプログラム、基本処理に使用するデータ等を記憶する。ＲＡＭ９９２は書込み可能メモリであり、ＣＰＵ９９０のワークエリア等として機能する。
【００２１】
操作部９９３はユーザからの指示やコマンドの入力を受け付ける装置であり、液晶パネル上にタッチセンサを設けたタッチパネルや、ボタン、スイッチ等により実現される。インターフェイス（Ｉ／Ｆ）９９４は外部装置とのデータのやり取りを中継する装置である。本実施形態では、Ｉ／Ｆ９９４は、もっぱら外部のＰＣ等の情報処理装置から表示対象の画像を入力するインターフェイスとして用いられる。
【００２２】
投影部９９５は表示対象の画像を光学的に出力し、曲面スクリーン１４０に画像を投影する光学装置である。投影部９９５は、反射型液晶パネル（ＬＣＯＳ）など任意の方式により実現することができる。カメラ９９６は曲面スクリーン１４０上の画像を光学的に撮影し、画像データを取得する撮像装置である。システムバス９９７は、プロジェクタ１００内のデータの流れを司るデータバスである。なお、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。
【００２３】
（プロジェクタの機能構成）
次に、実施形態１におけるプロジェクタ１００の機能構成を説明する。図５は、実施形態１におけるプロジェクタ１００の機能構成を示すブロック図である。前述のように、映像表示装置を構成する各プロジェクタは同様の構成を備える。プロジェクタ１００は、映像撮影部１１０の他に、外部入力部４００、形状補正部４０１、ウォータマーク生成部４０２、画像合成部４０３、映像投影部４０４、ウォータマーク検出部４０５、変化量検出部４０６を備えている。
【００２４】
外部入力部４００は、ＰＣやＤＶＤプレイヤー等の外部装置から、ＲＧＢ端子やＳ端子等を通じてアナログ映像信号を入力するか、ＨＤＭＩ（登録商標）端子等を通じてデジタル映像信号を入力する。外部入力部４００は前述のＩ／Ｆ９９４により実現される。入力される映像信号がアナログならば、外部入力部４００は、その映像信号をプロジェクタ１００内で処理できるデジタル映像信号へ変換する。入力される映像信号がデジタルである場合は、必要に応じた変換が行われ、形状補正部４０１へデジタル映像信号として出力される。なお、本実施形態では、当該プロジェクタ１００の表示対象である部分画像が入力されるが、映像表示装置により表示される画像全体が入力され、プロジェクタ１００において表示すべき部分画像を切り出すようにしてもよい。
【００２５】
形状補正部４０１は、外部入力部４００から入力されるデジタル映像信号に対して、投影面である曲面スクリーン１４０の形状と、プロジェクタ１００との位置関係に基づいて、投射形状の補正、即ち変形を行う。例えば、プロジェクタ設置時、あるいは投影開始時、装置使用者（ユーザ）が複数のプロジェクタの投影される映像を参照し、操作部９９３を操作し、エッジブレンド領域のサイズを決定する。さらに、投影される映像を見ながら、投影される映像の投射形状の補正量を変更する。画像の変形には、アフィン変換や非線形変換など任意の変換方式を用いることができる。なお、本実施形態では、装置使用者の操作により、投影開始時の投射形状の補正量を決定する場合を説明するが、映像撮影部１１０で撮影された映像を元に装置自身が自動的に決定するようにしてもよい。
【００２６】
一旦補正量を決定した後であっても、長時間投影を行っている場合は、その投影面の形状の変化などにより、形状補正の微調整が必要となる。そのため、変化量検出部４０６で検出した、投影映像の変化量を基に、投射形状の補正量を微調整する。具体的には、後述するように、投影画像から検出したウォータマーク画像の位置の変化量を検出し、検出した変化量に基づいて、投影面に合わせて部分画像の形状を補正する。
【００２７】
また、投射形状の補正が行われた映像信号は、画像合成部４０３へ出力され、どのような投射形状の補正が行われたのかを示す変形情報がウォータマーク生成部４０２へ通知される。例えば、図１に示されるような曲面スクリーン１４０に投影する場合、中央部の映像を横方向に縮小し、左右の両端に近い映像を横方向に拡大することから、その旨を示す変形情報が通知される。例えば、形状補正部４０１においてアフィン変換が行われる場合、変形情報は、変形を特定する行列のパラメータ等により示すことができる。
【００２８】
ウォータマーク生成部４０２は、形状補正部４０１にて変形された映像信号に対して合成するウォータマーク映像（ウォータマーク画像）を生成し、画像合成部４０３へ出力する。また、このウォータマーク生成部４０２が生成して投影しているウォータマークの位置、形状をウォータマーク検出部４０５へ通知する。ここで生成されるウォータマークの形状やサイズは、ウォータマーク検出部４０５にて検出された、他のプロジェクタが使用しているウォータマークの形状や配置から求められる。また、ウォータマーク検出部４０５にて検出された、他のプロジェクタが使用しているウォータマークの配置と、形状補正部４０１から通知される変形情報を基に、変形後の映像に合成するウォータマークの配置が決定される。なお、本実施形態では、ウォータマークとして人間が視認できない不可視のマークを用いる構成例を説明するが、人間が視認できる可視のマークを用いてもよい。また、本実施形態では、マルチプロジェクションにおいて投影画像を調整するために用いるマーク画像としてウォータマークを用いる場合の例を中心に説明するが、これに限らない。すなわち、投影画像の調整に用いることが可能なマークであれば、ウォータマーク以外のマークであっても良い。
【００２９】
個々のウォータマークは、曲面スクリーン１４０を撮影したとき、均等に配置されるようにする。すなわち、複数のウォータマークが一定の配置パターンにより位置づけられる。これらの処理は主に、設置時、あるいは投影開始時に実行される。ウォータマークの配置の詳細に関しては後述する。
【００３０】
後述するように、ウォータマーク生成部４０２は、撮影された部分画像において他のプロジェクタによるウォータマーク画像が検出されたときは、そのプロジェクタによるウォータマーク画像から区別可能なように生成するウォータマーク画像を調整する。このため、プロジェクタ１００は、エッジブレンド領域においても自身のウォータマークを正しく認識することができる。
【００３１】
画像合成部４０３は、ウォータマーク生成部４０２で生成したウォータマーク映像を、形状補正部４０１にて補正した投影画像に対して合成し、映像投影部４０４へ出力する。映像投影部４０４は、画像合成部４０３で合成された映像を曲面スクリーン１４０に投影して表示する。映像撮影部１１０は、曲面スクリーン１４０に投影された映像を撮影し、ウォータマーク検出部４０５に出力する。外部入力部４００は投影部９９５により実現され、映像撮影部１１０はカメラ９９６により実現される。
【００３２】
ウォータマーク検出部４０５は、映像撮影部１１０にて撮影された映像から、個々のウォータマークを検出し、投影された映像内における個々のウォータマークの形状やサイズ、および配置を求め、ウォータマーク生成部４０２へ出力する。また、ウォータマーク生成部４０２から通知された、自身が生成したウォータマークの位置情報を変化量検出部４０６へ通知する。
【００３３】
変化量検出部４０６は、ウォータマーク生成部４０２で生成された自身が投影している各ウォータマークの位置座標と、映像撮影部１１０にて撮影された映像から求められた各ウォータマークの位置座標とから、個々の位置座標の差分を求める。即ち、個々のウォータマークの位置座標の変化量を検出する。変化量検出部４０６は、検出した変化量を形状補正部４０１に通知する。
【００３４】
ウォータマークの位置座標の変化量を受信した形状補正部４０１は、その変化量に合わせて、投影する映像の投射形状を修正する。また、修正された投射形状の変形情報が、形状補正部４０１からウォータマーク生成部４０２に通知されることにより、ウォータマーク生成部４０２にて、ウォータマークの位置座標の変化量に合わせて、ウォータマークの配置が微調整される。以上が、実施形態１における映像表示装置の機能構成を示すブロック図の説明である。
【００３５】
（映像表示装置の処理）
次に、実施形態１における映像表示装置の処理の流れを説明する。図６は、実施形態１におけるプロジェクタの処理の流れを示すフローチャートである。本実施形態では、少なくとも一つのプロジェクタが、エッジブレンド領域に投影される他のプロジェクタのウォータマークを認識し、自身のウォータマークとして他のウォータマークから識別可能な形状・配置のものを生成する。このため、エッジブレンド領域における自身が付加したウォータマークを正しく認識して、投射形状の自動調整を精度よく行うことができる。
【００３６】
ここでは、２台のプロジェクタで映像投影する場合について説明するが、図２や図３のように４台、あるいは９台のプロジェクタを使用する場合であっても、同様である。すなわち、３台目以降のプロジェクタの処理の流れは、以下に説明する２台目のプロジェクタが行う処理と同様である。
【００３７】
Ｓ５０１では、プロジェクタを設置、起動し、曲面スクリーン１４０への映像の投影を開始する。外部入力部４００から入力される映像信号は、形状補正部４０１、及び画像合成部４０３を通じて、映像投影部４０４に送られ、映像投影部４０４から曲面スクリーン１４０に投影されることになる。なお、この段階では、形状補正部４０１での投射形状の補正、ウォータマーク生成部４０２でのウォータマークの生成、画像合成部４０３でのウォータマークの合成は行われていない。
【００３８】
次に、Ｓ５０２では、装置使用者は操作部９９３を操作し、投影位置、画角、投射形状の変形操作、及びエッジブレンド領域の指定等を行う。投射形状の変形の場合、変形操作の指示に基づいて、形状補正部４０１で映像信号の投射形状を補正し、画像合成部４０３へ出力するとともに、変形情報がウォータマーク生成部４０２へ通知される。画像合成部４０３へ出力された映像情報は、映像投影部４０４から曲面スクリーン１４０に投影される。つまり、２台のプロジェクタがＳ５０２まで実行した段階では、視聴者は図７（Ａ）に示されるような映像を観察することになる。
【００３９】
次に、Ｓ５０３では、映像撮影部１１０は、投影位置を撮影し、撮影した映像をウォータマーク検出部４０５へ出力する。１台目のプロジェクタ１００の場合、図７（Ｂ）に示されるように、映像撮影部１１０にて、エッジブレンド領域１３０を含む領域１２０を撮影することになる。また、２台目のプロジェクタ１０１の場合は、図７（Ｃ）に示されるように、エッジブレンド領域１３０を含む領域１２１を撮影することになる。
【００４０】
次に、Ｓ５０４では、ウォータマーク検出部４０５は、映像撮影部１１０にて撮影された映像からウォータマークを検出する。撮影された映像からウォータマークが検出されれば（Ｓ５０４でＹＥＳ）Ｓ５０５へ移行し、検出されなければ（Ｓ５０４でＮＯ）Ｓ５０６へ移行する。
【００４１】
●１台目のプロジェクタの処理
次に、Ｓ５０４の後の処理の流れに関して、１台目のプロジェクタ１００の場合について説明する。１台目のプロジェクタ１００の場合、図７（Ｂ）に示されるように、エッジブレンド領域１３０を含む領域１２０にはウォータマークが投影されていないことから、Ｓ５０４からＳ５０６へ移行する（Ｓ５０４でＮＯ）。
【００４２】
Ｓ５０６では、ウォータマーク生成部４０２は、画像合成部４０３にて投影する映像に対して合成するウォータマークの形状や配置を決定し、ウォータマーク映像を生成する。この際、ウォータマーク生成部４０２は、生成したウォータマーク映像を画像合成部４０３へ出力し、ウォータマークの形状をウォータマーク検出部４０５へ通知する。
【００４３】
形状に関しては、Ｓ５０４にて検出された他のプロジェクタで投影されたウォータマークと区別して識別可能な形状のウォータマークを使用する。１台目のプロジェクタ１００の場合、ウォータマークは検出されていないことから、プロジェクタ１００は自由に形状を決定することができる。本実施形態では、一例として、円形のウォータマークを使用する場合を説明する。
【００４４】
配置に関しては、Ｓ５０４にて検出された他のプロジェクタで投影されたウォータマークと重ならない位置にウォータマークを配置する。図２や図３に示されるように、エッジブレンド領域においては、最大４台のプロジェクタの映像が重なりあうことになる。したがって、１台目のプロジェクタ１００の場合、４台のプロジェクタのウォータマークが投影されても重ならないように、十分に間隔をあける必要がある。またサイズに関しては、ウォータマーク検出部４０５が、各ウォータマークを確実に認識できるサイズでなければならない。このように、当該プロジェクタによるウォータマーク画像の投影を行う前に他のプロジェクタによるウォータマーク画像の有無を検出することで、他のプロジェクタによるウォータマーク画像との干渉のないウォータマーク画像を投影することができる。
【００４５】
次に、Ｓ５０７では、画像合成部４０３は、形状補正部４０１にて形状補正された映像と、ウォータマーク生成部４０２にて生成されたウォータマーク映像とを合成する。合成を行うことにより、ウォータマークが付加された映像が映像投影部４０４から投影されることになる。このようにして、１台目のプロジェクタ１００がＳ５０７の処理まで実行した段階では、視聴者は、図７（Ｄ）に示されるような映像を観察することになる。
【００４６】
次に、Ｓ５０８において、映像撮影部１１０は、投影位置を撮影し、撮影した映像をウォータマーク検出部４０５へ出力する。１台目のプロジェクタ１００の場合、２台目のプロジェクタ１０１がウォータマークの投影を行っていない段階では、図７（Ｅ）に示されるように、エッジブレンド領域１３０を含む領域１２０に円形のウォータマークが付加された映像を撮影することになる。
【００４７】
次に、Ｓ５０９では、ウォータマーク検出部４０５は、映像撮影部１１０にて撮影された映像から、ウォータマークを検出する。１台目のプロジェクタ１００においては、円形のウォータマークを検出することになる。
【００４８】
次に、Ｓ５１０では、ウォータマーク検出部４０５は、検出したウォータマークの位置などの情報を算出し、変化量検出部４０６へ出力する。１台目のプロジェクタ１００では、Ｓ５０９で検出したウォータマークから、ウォータマーク生成部４０２から通知された、自身が投影しているウォータマーク、具体的には円形のウォータマークの位置を算出する。そしてその結果を、変化量検出部４０６へ通知する。
【００４９】
次に、Ｓ５１１では、変化量検出部４０６は、ウォータマーク検出部４０５から通知されたウォータマークの位置情報から、投影しているウォータマークの位置の変化量を求め、形状補正部４０１へ通知する。即ち、自身が投影している円形のウォータマークの位置の変化量を求め、形状補正部４０１へ通知することになる。なお、最初にＳ５１１を実行する場合は、まだ比較となるウォータマークの位置情報がないため、Ｓ５１１からＳ５１４の処理は省略される。２回目以降に、Ｓ５１１にて、前回通知されたウォータマークの位置情報を基準に、今回通知されたウォータマークの位置情報から、変化量を求め、後述するＳ５１２からＳ５１４の処理を実行することになる。
【００５０】
例えば、図９の例では、図７（Ｅ）の状態から、領域８０１に投影されているウォータマークの位置が左に変化した場合を示している。即ち、映像を投影する曲面スクリーン１４０の形状が変化し、ウォータマークを含む映像が、左側に変形したことになる。この変化量を求め、形状補正部４０１へ通知することになる。
【００５１】
Ｓ５１２では、形状補正部４０１は、変化量検出部４０６から通知されたウォータマークの位置情報の変化量から、投影している映像の投射形状を微調整し、変形情報をウォータマーク生成部４０２へ通知する。そして、Ｓ５１３へ移行する。
【００５２】
Ｓ５１３では、ウォータマーク生成部４０２は、形状補正部４０１から通知された変形情報から、新たに映像信号に合成するウォータマークの配置を微調整する。即ち、自身が投影している円形のウォータマークの配置を微調整することになる。
【００５３】
次に、Ｓ５１４では、画像合成部４０３は、ウォータマーク生成部４０２にて微調整された位置にウォータマークを合成する。そして、Ｓ５１５へ移行する。
【００５４】
Ｓ５１５では、映像の投影を終了するか否かを判断する。例えば、プロジェクタ１００にて、装置使用者が投影の終了を意味する操作を行ったか否か判断する。投影終了でない場合（Ｓ５１５でＮＯ）はＳ５０８へ移行し、投影終了の場合（Ｓ５１５でＹＥＳ）は終了処理を実行し、投影を終了する。
【００５５】
このように、プロジェクタ１００が投影状態である間、Ｓ５０８からＳ５１５の処理が繰り返し実行されることになる。このため、Ｓ５０１で投影開始し、最初にＳ５０８で投影位置の撮影が行われた後、映像が投影されている物体の形状が、環境の変化の影響を受けて変化しても、自動で投影する映像の投射形状の補正行い、追従することが可能になる。したがって、設置投影後、装置使用者の投影映像に関するメンテナンスが、不要になるという効果がある。
【００５６】
●２台目のプロジェクタの処理
次に、２台目のプロジェクタ１０１の場合について説明する。なお、Ｓ５０１からＳ５０３に関しては、１台目のプロジェクタ１００と同様であるから省略し、Ｓ５０４以降の処理の流れに関して説明する。
【００５７】
２台目のプロジェクタ１０１がＳ５０４を実行する段階では、既に１台目のプロジェクタ１００は、ウォータマークの付加した映像を投影しており、視聴者からは、図７（Ｄ）に示されるような映像が観察されている。１台目のプロジェクタ１００が投影している映像は、図７（Ｅ）に示されるように、エッジブレンド領域１３０を含む領域１２０であり、領域１２０の全面にウォータマークが付加された映像が投影されている。一方で、Ｓ５０３にて、２台目のプロジェクタ１０１が撮影する映像は、図７（Ｆ）に示されるように、エッジブレンド領域１３０を含む領域１２１となる。したがって、エッジブレンド領域１３０に円形のウォータマークが付加された映像が撮影されることになる。
【００５８】
Ｓ５０４では、ウォータマーク検出部４０５は、映像撮影部１１１にて撮影された映像からウォータマークを検出する。撮影された映像からウォータマークが検出されれば（Ｓ５０４でＹＥＳ）Ｓ５０５へ移行し、検出されなければ（Ｓ５０４でＮＯ）Ｓ５０６へ移行する。
【００５９】
２台目のプロジェクタ１０１の場合、図７（Ｆ）に示されるように、エッジブレンド領域１３０から、１台目のプロジェクタ１００が投影している円形のウォータマークが検出されることから、Ｓ５０４からＳ５０５へ移行することになる。
【００６０】
Ｓ５０５では、ウォータマーク検出部４０５は、検出したウォータマークの位置、形状などの情報を算出し、ウォータマーク生成部４０２及び変化量検出部４０６へ出力し、Ｓ５０６へ移行する。
【００６１】
２台目のプロジェクタ１０１の場合、１台目のプロジェクタ１００がエッジブレンド領域１３０に投影している円形のウォータマークの位置、形状などの情報を算出し、ウォータマーク生成部４０２及び変化量検出部４０６へ出力することになる。
【００６２】
Ｓ５０６では、ウォータマーク生成部４０２は、投影する映像に対して画像合成部４０３が合成するウォータマークの形状や配置を決定し、ウォータマーク映像を生成し、Ｓ５０７へ移行する。この際、ウォータマーク生成部４０２は、生成したウォータマーク映像を画像合成部４０３へ出力し、形状をウォータマーク検出部４０５へ通知する。
【００６３】
形状に関しては、Ｓ５０４にて検出されたウォータマークと区別して識別可能な形状のウォータマークを使用する。２台目のプロジェクタ１０１の場合、円形のウォータマークがエッジブレンド領域１３０にて検出されることから、プロジェクタ１０１は、それとは区別可能な形状のウォータマークを使用する。本実施形態では、一例として、四角形のウォータマークを使用する場合を説明する。
【００６４】
配置に関しては、Ｓ５０４にて検出されたウォータマークと重ならない位置にウォータマークを配置する。図２や図３に示されるように、エッジブレンド領域においては、最大４台のプロジェクタの映像が重なりあうことになる。したがって、２台目のプロジェクタ１０１の場合、４台のプロジェクタのウォータマークが投影されても重ならないように、十分に間隔をあける必要がある。
【００６５】
例えば、図７（Ｇ）のエッジブレンド領域１３０では、１台目のプロジェクタ１００が投影している円形のウォータマーク間に、２台目のプロジェクタ１０１が四角形のウォータマークを配置する場合を示している。実際には、図７（Ｇ）に示されるよりも密にウォータマークを配置することができる。例えば、図７（Ｊ）に示されるように、１台目のプロジェクタ１００が投影している近接する４点のウォータマークの中心に、２台目のプロジェクタ１０１が配置するようにしてもよい。あるいは、１台目のプロジェクタ１００が投影しているウォータマークの２点の平均位置、あるいは３点や４点の平均位置に配置してもよい。
【００６６】
また、図８に示されるように、隣接する４つのウォータマークとの距離をそれぞれ、ｄ１、ｄ２、ｄ３、ｄ４とした場合、ｄ１＋ｄ２＋ｄ３＋ｄ４の値が最小になるように配置してもよい。図８の例では、結果、ｄ１、ｄ２、ｄ４の距離が等しくなる場所に、２台目のプロジェクタ１０１のウォータマークを配置するようにしているが、それ以外の配置であってもよい。
【００６７】
サイズに関しては、各プロジェクタの映像撮影部１１１が投影した映像からウォータマーク検出部４０５が、各ウォータマークを確実に認識できるサイズでなければならない。ただし、エッジブレンド領域には、最大４台のプロジェクタのウォータマークが配置される。したがって、投影する物体、本実施形態では曲面スクリーン１４０の形状が許容する範囲で変形しても、４種類のウォータマークが重ならず、互いのウォータマークを認識できるサイズにする必要がある。
【００６８】
次に、Ｓ５０７では、画像合成部４０３は、形状補正部４０１にて形状補正された映像とウォータマーク生成部４０２にて生成されたウォータマーク映像を合成する。合成を行うことにより、ウォータマークが付加された映像が映像投影部４０４から投影されることになる。２台目のプロジェクタ１０１がＳ５０７まで実行した段階では、視聴者は、図７（Ｇ）に示されるような映像を観察することになる。
【００６９】
次に、Ｓ５０８では、映像撮影部１１１は、投影位置を撮影し、撮影した映像をウォータマーク検出部４０５へ出力する。２台目のプロジェクタ１０１の場合、図７（Ｉ）に示されるように、エッジブレンド領域１３０では、円形のウォータマークと四角形のウォータマークが付加された映像を撮影することになる。また、この際、エッジブレンド領域１３０を含まない領域１２１では、四角形のウォータマークのみが付加された映像が撮影される。
【００７０】
なお、２台目のプロジェクタ１０１がウォータマークを付加した映像を投影開始した後、１台目のプロジェクタ１００が撮影する映像は、図７（Ｈ）に示されるようになる。即ち、エッジブレンド領域１３０では、円形のウォータマークと四角形のウォータマークが付加された映像を撮影することになる。また、この際、エッジブレンド領域１３０を含まない領域１２０では、円形のウォータマークのみが付加された映像が撮影される。実際には、２台のプロジェクタが投影する映像に付加するウォータマークは、密に配置される。例えば、エッジブレンド領域１３０においては、図７（Ｊ）に示されるように、密になる。Ｓ５０８の処理を終えると、Ｓ５０９へ移行する。
【００７１】
Ｓ５０９では、ウォータマーク検出部４０５は、映像撮影部１１１にて撮影された映像から、ウォータマークを検出する。２台目のプロジェクタ１０１においては、四角形のウォータマークを検出することになる。
【００７２】
次に、Ｓ５１０では、ウォータマーク検出部４０５は、検出したウォータマークの位置などの情報を算出し、変化量検出部４０６へ出力する。２台目のプロジェクタ１０１では、Ｓ５０９で検出したウォータマークから、ウォータマーク生成部４０２から通知された、自身が投影しているウォータマーク、具体的には四角形のウォータマークの位置を検出する。そして、その検出結果を、変化量検出部４０６へ通知することになる。
【００７３】
次に、Ｓ５１１では、変化量検出部４０６は、ウォータマーク検出部４０５から通知されたウォータマークの位置情報から、投影しているウォータマークの位置の変化量を求め、形状補正部４０１へ通知する。即ち、自身が投影している四角形のウォータマークの位置の変化量を求め、形状補正部４０１へ通知することになる。なお、最初にＳ５１１を実行する場合は、まだ比較となるウォータマークの位置情報がないため、Ｓ５１１からＳ５１４の処理は省略される。２回目以降に、Ｓ５１１にて、前回通知されたウォータマークの位置情報を基準に、今回通知されたウォータマークの位置情報から、変化量を求め、後述するＳ５１２からＳ５１４の処理が実行されることになる。
【００７４】
例えば、図９の例では、図７（Ｅ）の状態から、領域８０１に投影されているウォータマークの位置が左に変化した場合を示している。即ち、映像を投影する曲面スクリーン１４０の形状が変化し、ウォータマークを含む映像が、左側に変形したことになる。この変化量を求め、形状補正部４０１へ通知することになる。Ｓ５１１の処理を終えると、Ｓ５１２へ移行する。
【００７５】
Ｓ５１２では、形状補正部４０１は、変化量検出部４０６から通知されたウォータマークの位置情報の変化量から、投影している映像の投射形状を微調整し、変形情報をウォータマーク生成部４０２へ通知する。そして、Ｓ５１３へ移行する。
【００７６】
Ｓ５１３では、ウォータマーク生成部４０２は、形状補正部４０１から通知された変形情報から、新たに映像信号に合成するウォータマークの配置を微調整する。即ち、自身が投影している四角形のウォータマークの配置を微調整することになる。
【００７７】
次に、Ｓ５１４では、画像合成部４０３は、ウォータマーク生成部４０２にて微調整された位置にウォータマークを合成する。そして、Ｓ５１５へ移行する。
【００７８】
Ｓ５１５では、映像の投影を終了するか否かを判断する。例えば、プロジェクタ１０１にて、装置使用者が投影の終了を意味する操作を行ったか否か判断し、投影終了でない場合（Ｓ５１５でＮＯ）はＳ５０８へ移行し、投影終了の場合（Ｓ５１５でＹＥＳ）は終了処理を実行し、投影を終了する。
【００７９】
したがって、プロジェクタ１０１が投影状態である間、Ｓ５０８からＳ５１５の処理が繰り返し実行されることになる。即ち、Ｓ５０１で投影開始し、最初にＳ５０８で投影位置の撮影が行われた後、映像が投影されている物体の形状が、環境の変化の影響を受けて変化しても、自動で投影する映像の投射形状の補正行い、追従することが可能になる。したがって、設置投影後、装置使用者の投影映像に関するメンテナンスが、不要になるという効果がある。このような撮影されたウォータマーク画像に基づき部分画像の形状を補正するサイクルは、例えば、一定時間おきに行うことで自動化することができる。以上が、実施形態１におけるプロジェクタの処理の流れを示すフローチャート図の説明である。
【００８０】
なお、本実施形態では、図１に示されるように、２台のプロジェクタが曲面スクリーン１４０に投影する場合を例に説明した。上記の手法は、全方位的に曲面スクリーンを設置し、その全面に複数台のプロジェクタで映像を投影するプラネタリウムのような場合や、それ以外の建造物など様々な形状に投影する場合にも適用することができる。
【００８１】
また、本実施形態では、２台のプロジェクタ１００、１０１において、最初にプロジェクタ１００が投影とウォータマークを付加した後、プロジェクタ１０１がプロジェクタ１００の付加したウォータマークの形状、配置、サイズなどを認識する。その情報を基にプロジェクタ１０１にて付加するウォータマークの形状、配置、サイズを決定することにより、自身が付加したウォータマークを正確に認識できるようになり、長時間投影時において、投射形状の自動調整の精度を高くする効果がある。
【００８２】
さらに、設置、投影開始時に、自動で他のプロジェクタのウォータマークを認識し、形状や配置が重ならないようにウォータマークの自動配置を行うことにより、設置時の装置使用者の操作や処理時間を短縮することができるという効果がある。
【００８３】
例えば、図２に示されるような、４台のプロジェクタにより映像を投影する場合、領域１７０においては、４台のプロジェクタの映像をエッジブレンドする必要がある。したがって、本実施形態では、４台のプロジェクタをそれぞれ順番に設置、投影開始する必要がある。それに対し、図３に示されるような、９台のプロジェクタにより映像を投影する場合、最初の投影を領域１８４に投影するプロジェクタで実行し、次に領域１８３、１８５に投影するプロジェクタで同時に実行する。その次に領域１８１、１８７に投影するプロジェクタで同時に実行し、最後に領域１８０、１８２、１８６、１８８に投影するプロジェクタで同時に実行することが可能である。したがって、９台の設置、投影に関して、ウォータマークの調整にかかる時間は、４台分の時間で調整可能であるという効果がある。即ち、４台以上のプロジェクタで１つの映像を再生する場合に、本実施形態を適用することで、４台分の時間で調整可能であり、台数が増えるほど効果が大きくなる。
【００８４】
また、本実施形態では、先に投影しているプロジェクタが付加しているウォータマークの形状、配置、サイズを認識し、その情報を基に自身が付加するウォータマークの形状、配置、サイズを決定するようにしている。その代わりの手法として、通信装置を設け、互いのプロジェクタ間でネゴシエーションし、夫々のプロジェクタが付加するウォータマークの形状、配置、サイズを決定するようにしてもよい。
【００８５】
以上説明したように、本実施形態では、平面ではない、自由な曲面を有する物体に対して、１つの映像を複数の領域に分割し、複数のプロジェクタで投影する場合、設置、投影開始時に投影する領域を撮影する。撮影した画像から既に他のプロジェクタが投影しているウォータマークの形状、配置を認識し、自身が付加するウォータマークの形状、配置、サイズ（大きさ）を決定し、投影する映像に合成し、投影する。そうすることで、他のプロジェクタと自身が付加したウォータマークが重なることを防ぎ、これらを正確に認識できるようになり、長時間投影時において、投射形状の自動調整の精度が高くなり、より良好な映像を観察することが可能となる。
【００８６】
以上のように、本発明の各実施形態においては、エッジブレンド領域に投影される他のプロジェクタのウォータマークの形状、配置を認識し、自身のウォータマークを他の識別可能な形状とし、重ならないように配置する。このため、ウォータマークを正確に認識できるようになり、長時間投影時において、投射形状の自動調整の精度が高くなり、より良好な映像観察が可能となる。
【００８７】
＜＜その他の実施形態＞＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８８】
１００，１０１：プロジェクタ、１１０，１１１：映像撮影部、１４０：曲面スクリーン、４００：外部入力部、４０１：形状補正部、４０２：ウォータマーク生成部、４０３：画像合成部、４０４：映像投影部、４０５：ウォータマーク検出部、４０６：変化量検出部
【図４】
2017032873.tif 000003
【図５】
2017032873.tif 000004
【図６】
2017032873.tif 000005
【図７】
2017032873.tif 000006
【図８】
2017032873.tif 000007
【図９】
2017032873.tif 000008
【図１】
2017032873.tif 000009
【図２】
2017032873.tif 000010
【図３】
2017032873.tif 000011