(57)【要約】【課題】  １台の投影装置の投影範囲を超えてスクリーンが移動する場合にも、ユーザが所望する態様でスクリーンに投影画像を投影することができる。【解決手段】  スクリーンの位置及び形状情報に基づいて、第１の投影部が第１の投影画像を投影するスクリーン上の第１の領域を決定する。第２の投影部が第２の投影画像を投影するスクリーン上の第２の領域を示す情報を受信する。第１の領域と第２の領域とが重複する重複領域を形状情報に基づいて特定する。第１の投影画像の画像データのうち重複領域に対応する画像データの輝度を重複領域に対応しない画像データの輝度と異ならせて投影する。【選択図】  図１
2016085380.tif 000002
【特許請求の範囲】
【請求項１】
第１の投影手段が第１の投影画像を投影する立体の位置を特定するための第１の位置情報を取得する第１の取得手段と、
前記立体に関連付けられた形状情報を取得する第２の取得手段と、
前記第１の取得手段が取得した前記第１の位置情報及び前記第２の取得手段が取得した前記形状情報に基づいて、前記第１の投影手段が前記第１の投影画像を投影する前記立体上の第１の領域を決定する決定手段と、
第２の投影手段が第２の投影画像を投影する前記立体における第２の領域を示す情報を受信する受信手段と、
前記第１の領域と前記第２の領域とが重複する前記立体における重複領域を、前記第１の領域を示す情報、前記第２の領域を示す情報、及び前記形状情報に基づいて特定する特定手段と、
前記第１の投影画像の画像データのうち前記特定手段が決定した前記重複領域に対応する画像データの輝度を前記重複領域に対応しない画像データの輝度と異ならせるようにして、前記第１の投影画像の画像データの画像処理を行う処理手段と、
前記第１の投影手段を制御して、前記処理手段が画像処理した前記第１の投影画像の画像データを前記立体に投影させる制御を行う制御手段と
を有することを特徴とする制御装置。
【請求項２】
前記第１の投影手段の投影可能範囲の中心と前記重複領域との第１の距離と、前記第２の投影手段の投影可能範囲の中心と前記重複領域との第２の距離とを比較した結果に基づいて、前記処理手段は前記重複領域に対応する画像データを投影するか否かを決定することを特徴とする請求項１に記載の制御装置。
【請求項３】
前記第１の投影手段の投影可能範囲の中心と前記重複領域との第１の距離が、前記第２の投影手段の投影可能範囲の中心と前記重複領域との第２の距離よりも長い場合、前記処理手段は前記重複領域に対応する画像データを投影しないことを特徴とする請求項１に記載の制御装置。
【請求項４】
前記投影手段と、
前記形状情報を保持する保持手段と、
前記画像データを入力する入力手段とを有し、
前記第２の取得手段は前記保持手段から前記形状情報を取得する
ことを特徴とする請求項１に記載の制御装置。
【請求項５】
第１の投影手段が第１の投影画像を投影する立体の位置を特定するための第１の位置情報を取得する第１の取得手段と、
前記立体に関連付けられた形状情報を取得する第２の取得手段と、
前記第１の取得手段が取得した前記第１の位置情報及び前記第２の取得手段が取得した前記形状情報に基づいて、前記第１の投影手段が前記第１の投影画像を投影する前記立体上の第１の領域を決定する決定手段と、
第２の投影手段が第２の投影画像を投影する前記立体における第２の領域を示す情報を受信する受信手段と、
前記第１の領域と前記第２の領域とが重複する前記立体における重複領域を、前記第１の領域を示す情報、前記第２の領域を示す情報、及び前記形状情報に基づいて特定する特定手段と、
前記第１の投影画像の画像データのうち前記特定手段が決定した前記重複領域に対応する画像データの輝度を前記重複領域に対応しない画像データの輝度と異ならせるようにして、前記第１の投影画像の画像データの画像処理を行う処理手段と、
前記第１の投影手段を制御して、前記処理手段が画像処理した前記第１の投影画像の画像データを前記立体に投影させる制御を行う制御手段と
を有することを特徴とする投影制御システム。
【請求項６】
前記第１の投影手段の投影可能範囲の中心と前記重複領域との第１の距離と、前記第２の投影手段の投影可能範囲の中心と前記重複領域との第２の距離とを比較した結果に基づいて、前記処理手段は前記重複領域に対応する画像データを投影するか否かを決定することを特徴とする請求項５に記載の投影制御システム。
【請求項７】
前記投影手段と、
前記形状情報を保持する保持手段と、
前記画像データを入力する入力手段とを有し、
前記第２の取得手段は前記保持手段から前記形状情報を取得する
ことを特徴とする請求項５に記載の投影制御システム。
【請求項８】
第１の投影手段が第１の投影画像を投影する立体の位置を特定するための第１の位置情報を取得する第１の取得ステップと、
前記立体に関連付けられた形状情報を取得する第２の取得ステップと、
前記第１の取得ステップにおいて取得した前記第１の位置情報及び前記第２の取得ステップにおいて取得した前記形状情報に基づいて、前記第１の投影手段が前記第１の投影画像を投影する前記立体上の第１の領域を決定する決定ステップと、
第２の投影手段が第２の投影画像を投影する前記立体における第２の領域を示す情報を受信する受信ステップと、
前記第１の領域と前記第２の領域とが重複する前記立体における重複領域を、前記第１の領域を示す情報、前記第２の領域を示す情報、及び前記形状情報に基づいて特定する特定ステップと、
前記第１の投影画像の画像データのうち前記特定ステップにおいて決定した前記重複領域に対応する画像データの輝度を前記重複領域に対応しない画像データの輝度と異ならせるようにして、前記第１の投影画像の画像データの画像処理を行う処理ステップと、
前記第１の投影手段を制御して、前記処理ステップにおいて画像処理した前記第１の投影画像の画像データを前記立体に投影させる制御を行う制御ステップと
を有することを特徴とする制御装置の制御方法。
【請求項９】
前記第１の投影手段の投影可能範囲の中心と前記重複領域との第１の距離と、前記第２の投影手段の投影可能範囲の中心と前記重複領域との第２の距離とを比較した結果に基づいて、前記処理ステップにおいて前記重複領域に対応する画像データを投影するか否かを決定することを特徴とする請求項８に記載の制御方法。
【請求項１０】
保持手段に前記形状情報を保持する保持ステップと、
前記画像データを入力する入力ステップとを有し、
前記第２の取得ステップにおいて前記保持手段から前記形状情報を取得する
ことを特徴とする請求項８に記載の制御方法。
【請求項１１】
コンピュータに、
第１の投影手段が第１の投影画像を投影する立体の位置を特定するための第１の位置情報を取得する第１の取得手順と、
前記立体に関連付けられた形状情報を取得する第２の取得手順と、
前記第１の取得手順において取得した前記第１の位置情報及び前記第２の取得手順において取得した前記形状情報に基づいて、前記第１の投影手段が前記第１の投影画像を投影する前記立体上の第１の領域を決定する決定手順と、
第２の投影手段が第２の投影画像を投影する前記立体上の第２の領域を示す情報を受信する受信手順と、
前記第１の領域と前記第２の領域とが重複する前記立体上の重複領域を、前記第１の領域を示す情報、前記第２の領域を示す情報、及び前記形状情報に基づいて特定する特定手順と、
前記第１の投影画像の画像データのうち前記特定手順において決定した前記重複領域に対応する画像データの輝度を前記重複領域に対応しない画像データの輝度と異ならせるようにして、前記第１の投影画像の画像データの画像処理を行う処理手順と、
前記第１の投影手段を制御して、前記処理手順において画像処理した前記第１の投影画像の画像データを前記立体に投影させる制御を行う制御手順と
を実行させるためのプログラム。
【請求項１２】
前記コンピュータに、
前記第１の投影手段の投影可能範囲の中心と前記重複領域との第１の距離と、前記第２の投影手段の投影可能範囲の中心と前記重複領域との第２の距離とを比較した結果に基づいて、前記処理手順において前記重複領域に対応する画像データを投影するか否かを決定する処理を実行させるための請求項１１に記載のプログラム。
【請求項１３】
前記コンピュータに、
保持手段に前記形状情報を保持する保持手順と、
前記画像データを入力する入力手順とを実行させ、
前記第２の取得手順において前記保持手段から前記形状情報を取得する処理を実行させるための請求項１１に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
立体に投影画像を投影させる技術に関する。
【背景技術】
【０００２】
従来、プロジェクタから建造物やフィギュアなどの立体物に対して画像を投影することが行われている。
【０００３】
また従来、プロジェクタからスクリーンを撮影した撮像画像に基づいて、プロジェクタとスクリーンとの位置関係を特定し、特定した情報に基づいてプロジェクタが投影する投影画像の投影領域を決定する技術が知られている。特許文献１には、人物の顔面に装着された立体スクリーンに投影画像を投影することが開示されている。
【０００４】
また特許文献１には、立体スクリーンに設けられた複数の不可視光マーカーをマーカー撮影装置で撮影して、立体スクリーンの位置情報及び方向情報を取得することが開示されている。また、立体スクリーンの位置情報及び方向情報に基づいて、投影画像の大きさ及び方向が立体スクリーンに整合した状態となるように、投影画像を生成することが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−２５４４１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の技術では、移動する１つの立体（スクリーン）に対して複数台の投影装置を用いて画像を投影することについて考慮されていなかった。従って、移動するスクリーンが１台の投影装置の投影可能な範囲を逸脱してしまった場合には、投影を行うことができなくなるという課題があった。
【０００７】
また、特許文献１に記載の投影装置を複数台用意して投影を行ったとしても、以下のような課題があった。すなわち、第１の投影装置が投影を行っている状態から、第２の投影装置が投影を行う状態に切り替わる際に、スクリーンに投影画像が投影されなくなってしまう期間が生じる場合があった。あるいは、第１の投影装置からの画像と第２の投影装置からの画像の両方が重複するようにスクリーンに投影された場合、重複領域について、ユーザが意図する輝度の高い画像が投影されてしまう場合があった。
【課題を解決するための手段】
【０００８】
第１の投影手段が第１の投影画像を投影する立体の位置を特定するための第１の位置情報を取得する第１の取得手段と、前記立体に関連付けられた形状情報を取得する第２の取得手段と、前記第１の取得手段が取得した前記第１の位置情報及び前記第２の取得手段が取得した前記形状情報に基づいて、前記第１の投影手段が前記第１の投影画像を投影する前記立体上の第１の領域を決定する決定手段と、第２の投影手段が第２の投影画像を投影する前記立体上の第２の領域を示す情報を受信する受信手段と、前記第１の領域と前記第２の領域とが重複する前記立体上の重複領域を、前記第１の領域を示す情報、前記第２の領域を示す情報、及び前記形状情報に基づいて特定する特定手段と、前記第１の投影画像の画像データのうち前記特定手段が決定した前記重複領域に対応する画像データの輝度を前記重複領域に対応しない画像データの輝度と異ならせるようにして、前記第１の投影画像の画像データの画像処理を行う処理手段と、前記第１の投影手段を制御して、前記処理手段が画像処理した前記第１の投影画像の画像データを前記立体に投影させる制御を行う制御手段とを有する。
【発明の効果】
【０００９】
１台の投影装置の投影範囲を超えてスクリーンが移動する場合にも、ユーザが所望する態様でスクリーンに投影画像を投影させることができる。
【図面の簡単な説明】
【００１０】
【図１】実施形態１におけるプロジェクタのブロック図。
【図２】実施形態１におけるプロジェクタの動作を示すフローチャート図。
【図３】移動する立体に投影画像を投影する投影処理を説明する図。
【図４】移動する立体に投影画像を投影する場合の投影領域の移動を示す図。
【図５】実施形態１において複数のプロジェクタを用いて投影を行う場合の投影処理を説明するための図。
【図６】実施形態１において重複領域に対して行うブレンド処理について説明する図。
【図７】プロジェクタの構成例を示す図。
【図８】投影画像の投影可否の判定処理を示すフローチャート図。
【発明を実施するための形態】
【００１１】
（実施形態１）
実施形態１では、投影制御装置としてのプロジェクタ１００及びプロジェクタ２００が、立体をスクリーン（投影先）として、画像を投影する場合について説明する。本実施形態において、この立体は移動できるものとする。スクリーンとする立体は例えば、自動車や人体等とすることができる。
【００１２】
本実施形態にかかるプロジェクタ１００及びプロジェクタ２００による投影処理を図３の例を用いて説明する。図３（ａ）から（ｃ）は直方体の立体３００が位置Ａから位置Ｃに移動する様子を示している。この立体３００は、プロジェクタ１００及びプロジェクタ２００が投影画像を投影するスクリーンである。本実施形態ではプロジェクタ１００及びプロジェクタ２００が、立体３００の面３０１に画像を投影する場合について説明する。
【００１３】
まず図３（ａ）に示すように、立体３００が位置Ａにある場合、プロジェクタ１００が立体３００の面３０１に画像を投影する。立体３００が位置Ａにある場合、プロジェクタ２００は立体３００の面３０１への画像の投影を行わない。
【００１４】
次に図３（ｂ）に示すように、立体３００が位置Ａから位置Ｂに移動した場合、プロジェクタ１００及びプロジェクタ２００が立体３００の面３０１に画像を投影する。
【００１５】
そして図３（ｃ）に示すように、立体３００が位置Ｂから位置Ｃに移動した場合、プロジェクタ２００が立体３００の面３０１に画像を投影する。プロジェクタ１００は立体３００の面３０１への画像の投影を行わない。
【００１６】
このように、本実施形態に係るプロジェクタ１００及びプロジェクタ２００は互いに連携して、移動する立体３００への画像の投影を行う。
【００１７】
図３の例における投影処理について、プロジェクタ１００からスクリーン方向を見た場合の投影画像の移動及び変形の様子を、図４（ａ）を用いて説明する。
【００１８】
領域４００は、図３の位置Ａに立体３００がある場合に、立体３００の面３０１に投影される画像の投影領域を示している。
【００１９】
領域４０１は、図３の位置Ｂに立体３００がある場合に、立体３００の面３０１に投影される画像の投影領域を示している。
【００２０】
このように、プロジェクタ１００の位置に対するスクリーンの位置が変化する場合に、プロジェクタ１００から見た投影画像の投影領域の形状は変化する。本実施形態において、プロジェクタ１００は、プロジェクタ１００から見た投影領域の形状の変化に応じて、投影する画像の形状を変化させる。
【００２１】
図４（ａ）の例において、投影可能領域４１０は、プロジェクタ１００が領域４００の形状の画像を投影することができる範囲を示している。また投影可能領域４１１は、プロジェクタ１００が領域４０１の形状の画像を投影することができる範囲を示している。
【００２２】
次に、図３の例における投影処理について、プロジェクタ２００からスクリーン方向を見た場合の投影画像の移動及び変形の様子を、図４（ｂ）を用いて説明する。
【００２３】
領域４０１は、図３の位置Ｂに立体３００がある場合に、立体３００の面３０１に投影される画像の投影領域を示している。図４の例では、領域４０１は台形である。
【００２４】
領域４０２は、図３の位置Ｃに立体３００がある場合に、立体３００の面３０１に投影される画像の投影領域を示している。図４の例では、領域４０１は矩形である。
【００２５】
プロジェクタ１００と同様に、プロジェクタ２００は、プロジェクタ１００から見た投影領域の形状の変化に応じて、投影する画像の形状を変化させる。
【００２６】
図４（ｂ）の例において、投影可能領域４２１は、プロジェクタ２００が領域４０１の形状の画像を投影することができる範囲を示している。また投影可能領域４２０は、プロジェクタ１００が領域４０２の形状の画像を投影することができる範囲を示している。
【００２７】
次にプロジェクタ１００の構成について、図１のブロック図を用いて説明する。
【００２８】
取得部１０１は、スクリーンに関する情報を取得する。スクリーンに関する情報には、スクリーンの位置を示す位置情報が含まれる。この位置情報は、後述の投影部１１０が投影画像を投影する立体の位置を特定するための第１の位置情報である。この位置情報を用いて、後述の判定部１０４は、スクリーンに投影画像を投影する投影部１１０の位置とスクリーンの位置との位置関係を特定することができる。
【００２９】
例えばスクリーンの位置を示す位置情報は、プロジェクタ１００が投影可能な投影可能範囲におけるスクリーンの位置を示す情報等とすることができる。また例えば、プロジェクタ１００からスクリーンまでの距離を示す情報、又は、プロジェクタ１００の投影部の光軸とスクリーンの投影面とが為す角度等とすることができる。これらの情報を組み合わせて位置情報として用いることとしてもよい。これらの情報は一例にすぎず、スクリーンの位置を示す位置情報は、上記の例に限られない。
【００３０】
取得部１０１は例えば、スクリーンを撮影するカメラなどの撮影部とすることができる。この場合、取得部１０１は、スクリーンを撮影した撮像画像を、スクリーンに関する情報として取得する。取得部１０１はカメラに限られない。例えば取得部１０１は、赤外線センサ等を用いて、スクリーンに関する情報を取得することとしてもよい。あるいは、スクリーンに関する情報をプロジェクタ１００の外部の装置から取得することとしてもよい。このようにして、取得部１０１はスクリーンの位置情報を取得するための、スクリーンに関する情報を取得することができる。
【００３１】
設定部１０２は、プロジェクタ１００が画像を投影するスクリーンを設定する。また、設定部１０２は、スクリーンにおける投影領域を設定する。例えば、図３の例では、立体３００をスクリーンとすることを設定する。また、立体３００のうち面３０１を画像の投影領域とすることを設定する。
【００３２】
画像を投影するスクリーンを設定することにより、スクリーンが移動した場合でもプロジェクタ１００が当該スクリーンの移動を認識して、移動するスクリーン上に投影画像が投影され続けるようにすることができる。
【００３３】
またスクリーンにおける投影領域を設定することにより、スクリーンの移動に伴ってプロジェクタ１００に対する投影領域の位置が変更されても、当該投影領域にプロジェクタ１００からの投影画像が投影され続けるようにすることができる。
【００３４】
本実施形態では、後述の保持部１０３に形状の形状情報が保持されている複数の立体のモデルのうちいずれの立体のモデルをスクリーンとするかをユーザが選択する。設定部１０２はユーザが選択した立体をスクリーンとすることを設定する。またユーザは、選択した立体上の領域のうちどの領域に画像を投影するかを選択する。例えば、ユーザは、直方体形状のスクリーンに投影画像を投影するのか、円柱形状のスクリーンに投影画像を投影するのか、球体形状のスクリーンに投影画像を投影するのか等を選択して設定することができる。ただし、スクリーンの形状はこれらの例に限られない。
【００３５】
例えば、プロジェクタ１００に接続されたモニタ等にユーザが選択した立体のモデルが表示される。ユーザはそのモデル上の領域を選択して、立体上に画像を投影するための投影領域を設定することができる。例えば、立体のモデル上で投影領域の頂点をポインタ等で指定することにより投影領域を設定することができる。あるいは、立体のいずれの面を投影領域とするかを選択することとしてもよい。立体のモデルは、モニタに表示される場合に限られず、後述の投影部１１０がスクリーン上に投影することとしてもよい。あるいは、取得部１０１が取得した撮像画像に基づいてスクリーン及びスクリーン上の投影領域を設定することとしてもよい。この撮像画像は、プロジェクタ１００から、プロジェクタ１００が画像を投影する方向にある被写体を撮像した撮像画像である。
【００３６】
例えば、撮像画像のうちスクリーンとする被写体をユーザがポインタ等で指定することにより、スクリーンとする被写体を選択することができる。この場合、ユーザがスクリーンとして選択した被写体と、保持部１０３に保持されている立体の立体形状の関連付けを行う。この関連付けはユーザが行うこととしてもよい。あるいは自動的に行われることとしてもよい。あるいは、撮像画像のうち保持部１０３に立体の形状情報が保持されている立体を自動的に検出して、スクリーンとして設定することとしてもよい。設定部１０２によるスクリーンの設定方法、及び、投影領域の設定方法は特に限定しない。
【００３７】
保持部１０３は、スクリーンとなる立体の形状を示す形状情報を保持する。プロジェクタ１００は、例えば、形状情報をＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）３Ｄスキャナ、３Ｄプリンタなどの情報処理装置から取得して保持部１０３に予め保持すことができる。保持部に保持される形状情報はスクリーンの全体の立体の形状とすることができる。または、投影面のみの形状情報等、スクリーンの一部の立体形状とすることとしてもよい。
【００３８】
保持部１０３は例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）やハードディスクとすることができる。あるいは、メモリカード等、プロジェクタ１００に接続される外部記録装置が形状情報を保持してもよい。
【００３９】
判定部１０４は、取得部１０１が取得したスクリーンに関する情報と、保持部１０３に保持されたスクリーンの形状情報とに基づいて、設定部１０２で設定した投影領域の撮像画像における位置を特定する。
【００４０】
取得部１０１が取得するスクリーンに関する情報とは、例えばプロジェクタ１００が画像を投影する方向にある被写体を撮影した撮像画像から得られる情報である。撮像画像から得られる情報は、スクリーンの位置情報を含む。スクリーンの位置を示す位置情報は、上述のように、プロジェクタ１００が投影可能な投影可能範囲におけるスクリーンの位置を示す情報等とすることができる。また例えば、プロジェクタ１００からスクリーンまでの距離を示す情報、又は、プロジェクタ１００の投影部の光軸とスクリーンの投影面とが為す角度等とすることができる。
【００４１】
判定部１０４は、設定部１０２が設定した設定情報を取得する。また判定部１０４は、スクリーンとして設定した立体の形状情報を保持部１０３から取得する。判定部１０４は、保持部１０３から取得した形状情報を用いて、撮像画像中に設定されたスクリーンが映っているかを判定する。本実施形態では形状情報として３次元情報を用いているため、撮像画像にスクリーンのいずれの面が映っていても、撮像画像からスクリーンの位置及び方向を検出することができる。
【００４２】
スクリーンとして設定した立体の形状情報としての３次元情報は、立体における任意の点を原点とし、この原点と立体上に存在する各点との相対位置を表す形状情報である。例えば、スクリーンとして設定した立体が直方体である場合、６つの頂点のうちの一つを原点とした場合の、原点と他の５つの頂点との位置関係を示す情報である。また例えば、スクリーンとして設定した立体が円柱体である場合、３次元情報には、円形の底面の中心を原点とした場合の、当該底面における中心から円弧までの距離（半径）を示す情報が含まれる。また底面の中心から当該底面に対向する円形の上面の中心までの距離（円柱の高さ）を示す情報が含まれる。
【００４３】
判定部１０４は、プロジェクタ１００が投影可能な投影範囲を３次元座標系で管理する。例えば判定部１０４は、プロジェクタの投影部の位置を原点として、投影部の光軸方向と、プロジェクタが置かれている面に対する水平方向と、鉛直方向の３つを軸とする３次元座標における、プロジェクタ１００の投影範囲を管理する。
【００４４】
判定部１０４は、スクリーンのとして設定した立体において設定した原点の、プロジェクタの投影範囲を管理するための座標系における位置と、当該立体の３次元情報とを用いて、プロジェクタの投影範囲における該立体の位置や向きを特定する。このようにして判定部１０４は、上述の３次元座標系における、立体スクリーン上の各点の３次元位置を特定することができる。
【００４５】
決定部１０５は、取得部１０１が取得した位置情報、保持部１０３から取得した形状情報、及び、設定部が設定した設定情報に基づいて、プロジェクタ１００が投影画像を投影できる領域（以下、投影可能領域）において実際に画像を投影する領域を決定する。本実施形態では、決定部１０５は投影可能領域において設定された座標系における座標値を決定することにより、画像の投影領域を決定する。決定部１０５は、投影可能領域における画像の投影領域を決定することにより、投影部１１０が立体に投影する投影画像の形状を決定する。また決定部１０５は、投影可能領域における画像の投影領域を決定することにより、投影画像の投影位置を決定する。
【００４６】
送受信部１０６は、決定部１０５が決定した、プロジェクタ１００の投影部（第１の投影手段）が画像を投影する領域についての投影情報を送信する。プロジェクタ１００は、他のプロジェクタ２００に投影情報を直接送信する。あるいは、プロジェクタ１００は、プロジェクタ１００及びプロジェクタ２００を制御する制御装置に、投影情報を送信することとしてもよい。制御装置はプロジェクタ１００から受信した情報を、他のプロジェクタ２００に送信する。このようにして、投影情報は、直接的又は間接的に、他のプロジェクタ２００に送信される。
【００４７】
また送受信部１０６は、プロジェクタ２００の投影情報をプロジェクタ２００から直接的に、又は、上述の制御装置を介して間接的に受信する。送受信部１０６は、プロジェクタ２００の投影部（第２の投影手段）が第２の投影画像を投影する、立体上の第２の領域を示す情報を受信する。
【００４８】
入力部１０７は、投影部１１０がスクリーンに投影する画像データを入力する。例えば入力部１０７は、ＰＣ等の情報処理装置から出力された画像データを入力する。
【００４９】
制御部１０８は、入力部１０７が入力した画像データの変形処理を行う。制御部１０８は、決定部１０５が決定した座標に基づいて画像データを変形する。例えば、入力部１０７が入力した画像データが、決定部１０５が決定した投影領域に歪みが補正された状態で投影されるよう、入力した画像データの変形処理を行う。
【００５０】
画像処理部１０９は、制御部１０８で変形処理した画像に対する画像処理を行う。画像処理部１０９は、制御部１０８で変形処理した画像の画素値を補正する。本実施形態では、画像処理部１０９は制御部１０８で変形処理した画像に対してブレンド処理を行う。
【００５１】
ブレンド処理は、他のプロジェクタ２００がスクリーン上に投影した画像に一部又は全体を重複させるようにしてプロジェクタ１００が画像を投影する際に、プロジェクタ１００が投影する画像のうち重複領域に対して行われる処理である。ブレンド処理では、重複領域の画素値に所定の係数を乗ずる処理が行われる。所定の係数の決定方法については、図６を用いて詳細を後述する。重複領域の輝度が重複していない部分の輝度より高くなり、重複領域が目立ってしまうことを、ブレンド処理を行うことにより防ぐことができる。画像処理部１０９は、プロジェクタ１００が投影する第１の投影画像の画像データのうち、重複領域に対応する画像データの輝度を、重複領域に対応しない画像データの輝度と異ならせる処理を行う。
【００５２】
また画像処理部１０９は、制御部１０８が変形し、画像処理部１０９が補正した画像データを後述の投影部１１０に投影させる制御を行う。このようにして画像処理部１０９は、投影部１１０を制御して、決定部１０５が決定した形状に応じた形状の画像データであって、画像処理部１０９が画像処理した画像データを立体に投影させる制御を行う。また画像処理部１０９は、投影部１１０を制御して、決定部１０５が決定した投影位置に画像データを投影させる。
【００５３】
投影部１１０は、制御部１０８で変形処理した画像をスクリーンに投影する。投影部１１０が投影する画像は、動画像であっても静止画であってもよい。
【００５４】
図１に示した各ブロックの機能の一部又は全体は、ハードウエアによって構成されてもよい。この場合、各ブロックを１つのハードウエアとしてもよいし、いくつかのブロックを統合したハードウエアとしてもよい。あるいは、図１に示した各ブロックの機能の一部又は全体は、記録媒体に記録されたプログラムをプロセッサが実行することにより実現されることとしてもよい。
【００５５】
プロジェクタ１００がプロセッサを有する場合の構成例を図７に示す。プロセッサ７０１は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１００３に記録されたプログラムを読み出して実行する。プロセッサ７０１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等とすることができる。
【００５６】
プロセッサ７０１は、図１に示した設定部１０２、判定部１０４、決定部１０５、制御部１０８、及び、画像処理部１０９の機能を実現する構成である。
【００５７】
ＲＡＭ７０２は、プロセッサ７０１がＲＯＭ７０３から読み出したプログラムを展開する。ＲＡＭ７０２は、プロセッサ７０１のワークスペースとして用いられる。
【００５８】
ＲＯＭ７０３は、プロセッサ７０１が実行するためのプログラムを記録した記録媒体である。またＲＯＭ７０３は立体の形状情報を保持する。立体の形状情報はＲＡＭ７０２に保持されることとしてもよい。ＲＯＭ７０３は、図１に示した保持部１０３の機能を実現する構成である。
【００５９】
通信部７０４は、プロジェクタ１００が投影する投影画像をＰＣ等の外部装置から取得するための通信インタフェースである。通信部７０４は、図１に示した入力部１０７の機能を実現する構成である。
【００６０】
投影部７０５は、プロセッサ７０１の制御に応じて、画像データをスクリーンに投影する。投影部７０５は、例えば、光源、投影する画像を表示する表示部、プリズム、ミラー、投影レンズ等を有することができる。投影部７０５の構成については特に限定しない。投影部７０５は、図１に示した投影部１１０の機能を実現する構成である。
【００６１】
撮影部７０６は、スクリーンを撮影する。撮影部７０６は例えばカメラユニットである。撮影部７０６は、取得部１０１の機能を実現する構成である。
【００６２】
本実施例においてプロジェクタ２００はプロジェクタ１００と同じ構成を有するものとする。ただし設定部１０２は、プロジェクタ１００において設定した内容を示す設定情報をプロジェクタ１００から受信して、受信した内容をプロジェクタ２００においても設定することとしてもよい。
【００６３】
次に、本実施形態に係るプロジェクタ１００の動作について図２を用いて説明する。プロジェクタ１００がプロセッサ７０１、ＲＡＭ７０２、及び、ＲＯＭ７０３を内蔵する形態では、図２に示した処理は、プロセッサ７０１がＲＯＭ７０３に格納されたプログラムを実行することにより実現される。あるいは、図２に示す処理の一部又は全体をハードウエアが行うこととしてもよい。
【００６４】
ユーザによりプロジェクタ１００による投影処理の開始が指示されると、まずステップＳ２０１において、設定部１０２は、スクリーン（投影対象）と当該スクリーン上の投影領域を設定する。
【００６５】
次にステップＳ２０２において、取得部１０１は、プロジェクタ１００の投影可能範囲を含む撮像画像を取得する。図４の例では、取得部１０１は投影可能領域４１０を含む領域の撮像画像を取得する。そして取得部１０１は、取得した撮像画像を判定部１０４に出力する。本実施例では、投影画像を投影しない状態で、投影可能範囲を撮像した撮像画像を取得するものとする。
【００６６】
ステップＳ２０３において、判定部１０４は、取得部１０１が取得した撮像画像を解析する。判定部１０４は、スクリーン上の投影領域が、プロジェクタ１００の投影可能領域に含まれているか判定する。図４の例では、移動後のスクリーンの投影領域に対応する領域４０１が、変形処理後の投影可能領域４１１に含まれるかを判定する。ステップＳ２０３の処理の詳細は、図８を用いて後述する。図４の例ではスクリーンの移動に伴って投影領域が変化する場合について説明するが、本発明はスクリーンが移動する場合以外にも適用可能である。例えば、取得部１０１が取得した撮像画像から特定されたスクリーンの設置位置と、保持部１０３が保持するスクリーンの３次元形状情報とに基づき、当該スクリーンにおけるユーザの所望の位置に所定の画像を歪みが補正された状態で投影することができる。
【００６７】
スクリーン上の投影領域がプロジェクタ１００の投影可能領域に含まれる場合（Ｓ２０３においてＹｅｓの場合）、判定部１０４はステップＳ２０４の処理に進む。一方、スクリーン上の投影領域がプロジェクタ１００の投影可能領域に含まれない場合（Ｓ２０３においてＮｏの場合）、ステップＳ２０６の処理に進む。
【００６８】
ステップＳ２０４において、判定部１０４は、スクリーンの向きを判定する。判定部１０４は、保持部１０３から取得した形状情報に基づいて、スクリーンの向きを判定することができる。判定結果に基づいて判定部１０４は、取得部１０１が取得した撮像画像に映ったスクリーンの画像における、投影領域の位置を特定する。そして特定した位置を示す情報を決定部１０５に出力する。プロジェクタ１００の投影可能領域内に領域４０１が含まれない場合には、領域４０１が投影可能領域内に含まれないことを示す情報を決定部１０５に出力する。
【００６９】
次にステップＳ２０５において、決定部１０５はプロジェクタ１００の投影可能領域における、画像を投影させる領域の座標を決定し、制御部１０８に出力する。図４の例では、投影可能領域４１１における領域４０１の位置を示す情報を制御部１０８及び送受信部１０６に出力する。出力される情報は、例えば、投影可能領域４１１上に設定された座標系における、領域４０１の各頂点の座標値とすることができる。
【００７０】
次にステップＳ２０６において、送受信部１０６はプロジェクタ１００の投影可能領域と、実際に画像を投影する領域を示す情報を送信する。実際に投影する領域を示す情報とは、スクリーンとして設定した立体３００における、プロジェクタ１００が画像を投影する領域を示す情報とすることができる。スクリーンがプロジェクタ１００の投影可能領域の範囲外にあり、プロジェクタ１００が画像の投影を行っていない場合には、送受信部１０６は、スクリーンが投影可能領域の範囲外に有ることを示す情報を送信する。
【００７１】
また送受信部１０６は、プロジェクタ２００の投影可能領域と、実際に投影を投影している領域を示す情報を受信する。スクリーンがプロジェクタ２００の投影可能領域の範囲外にあり、プロジェクタ２００が画像の投影を行っていない場合には、送受信部１０６は、スクリーンがプロジェクタ２００の投影可能領域の範囲外に有ることを示す情報を受信する。
【００７２】
ステップＳ２０７において、判定部１０４は、ステップＳ２０３での判定結果に基づいて、プロジェクタ１００がスクリーンに画像を投影するか否かを判定する。スクリーン上の投影領域の一部又は全体がプロジェクタ１００の投影可能領域の中にあり、プロジェクタ１００がスクリーンに画像を投影する場合には、ステップＳ２０８の処理に進む。一方、スクリーン上の投影領域の全体がプロジェクタ１００の投影可能領域の外にある場合には、プロジェクタ１００はスクリーンとして設定した立体に対して投影を行わないと判定する。そしてステップＳ２０２の処理に戻る。
【００７３】
ステップＳ２０８において、決定部１０５は、プロジェクタ１００の送受信部１０６が受信したプロジェクタ２００の投影可能領域の情報及びプロジェクタ２００の投影領域の情報を取得する。決定部１０５は、取得した情報を用いて、立体において画像が投影される領域を３つの領域に分割する。第１の領域は、プロジェクタ１００が画像を投影する領域である。第２の領域は、プロジェクタ２００が画像を投影する領域である。第３の領域は、プロジェクタ１００及びプロジェクタ２００が画像を投影する領域である。
【００７４】
領域の分割の例について図５を用いて説明する。図５は、図４に示した位置Ｂにスクリーンがある場合の領域分割について説明する図である。すなわち、スクリーンの一部がプロジェクタ１００の投影可能領域４１１に含まれ、かつ、スクリーンの一部がプロジェクタ２００の投影可能領域４２１に含まれる場合について説明する。
【００７５】
図５に示した枠全体の領域５０３は、図３の例における立体３００の面３０１に相当する。領域５０３はスクリーンとして設定した立体において画像が投影される領域の全体に相当する。図５において実線で示した領域５０１は、プロジェクタ１００が画像を投影する領域である。また図５において点線で示した領域５０２は、プロジェクタ２００が画像を投影する領域である。さらに、領域５０１と領域５０２の重複領域５０３は、プロジェクタ１００及びプロジェクタ２００が画像を投影する領域である。
【００７６】
図５に示した例では、領域５０３は矩形であるが、これに限られない。スクリーンとしての立体が向いている方向によって、投影領域及び重複領域の形状は異なる。本実施形態では、保持部１０３に保持された形状情報、及び、立体の向きを示す情報を用いながら立体における重複領域を特定する。立体の向きを示す情報は、上述のように、取得部１０１が取得した情報と保持部１０３に保持された形状情報とに基づいて決定することができる。
【００７７】
このようにして、決定部１０５は、立体上の重複領域を、プロジェクタ１００が画像を投影する第１の領域を示す情報、プロジェクタ２００画像を投影する第２の領域を示す情報、及び立体の形状情報に基づいて特定する。
【００７８】
ステップＳ２０９において、制御部１０８は、決定部１０５から入力した投影領域の座標情報に基づいて、入力部１０７から入力する画像データの変形処理を行う。そして変形処理を行った画像データを画像処理部１０９に出力する。
【００７９】
ステップＳ２１０において、画像処理部１０９は、制御部１０８から入力した画像データの所定の領域に対して、ブレンド処理を行う。画像処理部１０９は、ステップＳ２０８において分割された投影領域のうち、プロジェクタ１００の投影領域とプロジェクタ２００の投影領域が重複する領域５０３についてブレンド処理を行う。
【００８０】
本実施形態におけるブレンド処理について図６を用いて説明する。図６に示したグラフは、投影領域の各画素に乗ずる係数の値を示している。領域５０１のうち、重複領域５０３以外の部分については、係数１となる。すなわち、ブレンド処理を行った前後で画素値は変化しない。同様に領域５０２のうち重複領域５０３以外の部分は係数１となる。
【００８１】
一方本実施例において、重複領域５０３においては、プロジェクタ１００が投影する画像の画素値に乗ずる第１の係数と、プロジェクタ２００が投影する画像の画素値に乗ずる第２の係数との和が１となるようにして係数が設定される。
【００８２】
画像処理部１０９は、上記のようにして設定された係数を重複領域５０３の各画素に乗じてブレンド処理を行う。そして、ブレンド処理後の画像データを投影部１１０に出力して投影部１１０に投影させる制御を行う。上記のブレンド処理の例は一例にすぎず、ブレンド処理の内容については特に限定しない。
【００８３】
画像処理部１０９は、保持部１０３に保持された形状情報に基づいて特定される立体の向きや、重複領域の立体形状に応じて、重複領域の画像処理を行うことができる。
【００８４】
あるいは、プロジェクタ１００の画像とプロジェクタ２００の画像が重複すると判定された場合、一方のプロジェクタが重複領域に画像を投影しないようにしてもよい。このようにしても、重複領域の輝度が他の領域よりも高くなってしまうことを防ぐことができる。この場合、重複領域についていずれのプロジェクタが画像を投影するかは、例えば以下の方法によって決定することができる。
【００８５】
すなわち、各プロジェクタの投影可能領域の中心に対して、重複領域の中心が近い方のプロジェクタが重複領域の投影を行うこととしてもよい。距離を求めるために用いる投影可能領域上の点、及び、重複領域上の点はそれぞれ中心に限られず、任意の点とすることができる。図４の例では、まず、プロジェクタ１００の投影可能領域４１１と重複領域の中心の距離Ｌ１を求める。また、プロジェクタ２００の投影可能領域４２１と重複領域の中心の距離Ｌ２を求める。そして、Ｌ１とＬ２を比較した結果に応じて、プロジェクタ１００が重複領域に画像を投影するか否かを決定することとしてもよい。例えばＬ１とＬ２を比較して、Ｌ１の方が長い場合には、プロジェクタ２００が重複領域の投影を行い、プロジェクタ１００は重複領域に画像を投影しないようにして画像データを補正してもよい。このようにすれば、重複領域により近いプロジェクタが重複領域の画像を投影するので、より歪みの少ない画像を投影させることができる。あるいは、Ｌ１がＬ２より短い場合に、プロジェクタ２００が重複領域の投影を行うこととしてもよい。
【００８６】
ステップＳ２１１において、投影部１１０は、画像処理部１０９から入力した画像を投影する。ステップ２１２において、プロジェクタ１００は投影を継続するか否かを判定する。投影を継続する場合にはステップＳ２０２の処理に戻る。投影を終了する場合には処理を終える。投影を継続するか否かは、例えば、設定部１０２によるスクリーン及び投影領域の設定が継続しているか否かによって決定することができる。設定部１０２による設定が継続している場合には投影を継続すると判断する。一方設定部１０２によってスクリーン及び投影領域が設定されていない場合には、投影処理を終了すると判断する。
【００８７】
次にステップＳ２０３において判定部１０４が行う処理の詳細について、図８のフローチャートを用いて説明する。
【００８８】
判定部１０４は、保持部１０３からスクリーンの形状情報を取得する（Ｓ８０１）。例えば、判定部１０４は、設定部１０２がスクリーンとして設定した物体の形状が直方体であることを示す情報を取得する。さらに、直方体の底面の縦及び横の長さ、並びに、直方体の高さを特定するための情報を取得する。本実施形態では、スクリーンとして設定された立体と、保持部１０３に保持されている形状情報とは、設定部１０２によって予め関連付けられているものとする。本実施形態ではスクリーンの形状を取得する場合について説明するが、スクリーンの一部の形状のみを保持することとしてもよい。保持部１０３が保持する形状情報は、プロジェクタ１００が投影画像を投影すべき領域の形状を示す情報であればよい。
【００８９】
次に判定部１０４は、移動後のスクリーンの位置情報を取得する（Ｓ８０２）。例えば判定部１０４は、プロジェクタ１００の投影可能範囲を示す３次元座標系におけるスクリーンの位置、及び、立体スクリーンの１つの面の方向（向き）を示す情報を取得する。スクリーンの方向を示す情報は、例えば、プロジェクタ１００の投影方向（光軸方向）に対して垂直な面に対する、現在のスクリーンの面の向きの相対関係を示す情報である。判定部１０４は、取得部１０１が取得した撮像画像から、スクリーンの移動後の位置及び方向を特定する。撮像画像におけるスクリーンの位置及び方向は、保持部１０３から取得した形状情報と、撮像画像に撮像されたスクリーンの形状、大きさなどの情報と比較して特定することができる。本実施形態では、スクリーンの位置及び方向の検出の方法について特に限定しない。
【００９０】
次に判定部１０４は、移動後のスクリーンに投影する投影画像の形状を特定する（８０３）。図４に示した例では、領域４０１の形状を特定する。
【００９１】
投影画像は、投影可能領域の中心から離れるに従って形状が歪むため、歪みを補正する処理が必要となる。この形状の歪みは例えば、プロジェクタ１００の投影方向がプロジェクタ１００の投影部を構成する球面レンズの光軸方向と乖離するに従い、レンズの曲面形状の影響を受けることによって生じる。判定部１０４は、レンズの光軸方向と投影画像と投影すべき方向との乖離の度合い（例えば、角度）を、取得部１０１が取得した撮像画像を用いて判定することができる。判定部１０４は例えば、撮像画像における、投影可能領域４１０の中心から、移動後のスクリーンの位置が離れている距離に基づいて、レンズの光軸方向と投影画像と投影すべき方向との乖離の度合いを判定する。そして、その度合いに基づいて、画像がどの程度歪むかを特定することができる。判定部１０４は、特定した歪みの度合いを用いることにより、移動後のスクリーンに投影する画像の形状を特定することができる。
【００９２】
上述のように判定部１０４は、上述の３次元座標系における、立体スクリーン上の各点の３次元位置を特定する。さらに判定部１０４は、プロジェクタ１００の光軸方向に対するスクリーンの相対位置に基づいて、投影される画像の歪み量を特定することができる。これらの情報を用いて、立体スクリーン上の所望の点に、所望の画像を画素単位で配置して画像を投影することができる。
【００９３】
また判定部１０４は例えば、スクリーンの投影面が向いている方向と保持部１０３から取得した形状情報とに基づいて、移動後のスクリーンに投影する画像の形状を特定することができる。スクリーンの投影面が向いている方向は、取得部１０１が取得した撮像画像と、保持部１０３から取得した形状情報とを比較することによって特定することができる。例えば判定部１０４は、撮像画像に映っているスクリーンの面が、保持部１０３から取得した形状情報が示す立体のどの面と対応するかを判定して、スクリーンの方向を特定することができる。
【００９４】
さらに判定部１０４は、特定した方向を向いたスクリーンに投影すべき画像の形状を、保持部１０３から取得した形状情報に基づいて決定する。形状情報を用いることによって、特定した方向を向いたスクリーンをプロジェクタ１００から見た場合のスクリーンの形状を詳細に把握することができる。従って、スクリーンの方向のみを用いて投影画像を補正する場合に比べて、よりスクリーン形状に対応するようにして、投影すべき画像の形状を決定することができる。
【００９５】
つぎに判定部１０４は、特定した形状の画像をプロジェクタ１００が投影することができる投影可能範囲を特定する（Ｓ８０４）。図４の例では、領域４０１の形状の画像を投影することができる範囲である投影可能領域４１１を特定する。
【００９６】
そして判定部１０４は、ステップＳ１１０４において特定した投影可能領域４１１に、移動後のスクリーン上の投影領域が含まれるかを判定する（Ｓ８０５）。以上のようにして、ステップＳ２０３における判定処理を行うことができる。
【００９７】
以上の構成によれは、１台の投影装置の投影範囲を超えてスクリーンが移動する場合にも、ユーザが所望する態様でスクリーンに投影画像を投影することができる。
【００９８】
また本実施形態では、移動前のスクリーンに投影した画像を変形して移動後のスクリーンに投影する補正画像を生成するために、スクリーンの形状情報を利用する。このような構成によれば、撮像装置でスクリーンを撮像した撮像画像のみに基づいて投影画像の補正処理を行う場合に比べて、よりスクリーン形状に対応した補正画像を生成することができる。
【００９９】
また本実施形態では、自装置が投影する投影画像と他の投影装置が投影する投影画像との重複領域を、スクリーンの形状情報を利用して特定する。このような構成によれば、撮像装置でスクリーンを撮像した撮像画像のみに基づいて投影画像の補正処理を行う場合に比べて、よりスクリーン形状に対応したブレンド処理を行うことができる。
【０１００】
本実施形態では、投影する画像の形状を補正する場合について説明したが、形状のみならず、入力された画像データのうち、いずれの部分を投影するかを、スクリーンの向き及び形状用法に基づいて決定することとしてもよい。例えば、スクリーン上の画像を投影すべき領域のうち、プロジェクタ１００から画像を投影できない方向を向いている領域に対応する部分の画像は、プロジェクタ１００から画像を投影しないようにしてもよい。
【０１０１】
（その他の実施形態）
実施形態１ではプロジェクタに投影対象を撮像するカメラを内蔵しているが、外部カメラを１台以上使用してもよい。
【０１０２】
また実施形態１では、プロジェクタ１００及び２００が自身の投影部の投影制御を行う場合について説明したが、これに限らない。例えば、上記の投影制御を行う制御装置はプロジェクタの外部に接続された投影制御システムによっても同様の効果を奏することができる。例えばこの制御装置は、図１に示したブロックのうち、取得部１０１、判定部１０４、決定部１０５を少なくとも有する構成とすることができる。
【０１０３】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１０４】
１０１  取得部
１０２  設定部
１０３  保持部
１０４  判定部
１０５  決定部
１０６  送受信部
１０７  入力部
１０８  制御部
１０９  画像処理部
１１０  投影部
【図１】
2016085380.tif 000003
【図２】
2016085380.tif 000004
【図３】
2016085380.tif 000005
【図４】
2016085380.tif 000006
【図５】
2016085380.tif 000007
【図６】
2016085380.tif 000008
【図７】
2016085380.tif 000009
【図８】
2016085380.tif 000010