(57)【要約】  本技術は、複数のプロジェクタから物体上に多重投影を行う場合において、オーバーラップ領域の解像度の低下を軽減することができるようにする情報処理装置、情報処理方法、およびプログラムに関する。本技術の一側面の情報処理装置は、複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定のプロジェクタから照射することを表す情報を含む、投影画像の各画素の光線の強度の調整に用いられるマスク情報を生成する。本技術は、複数のプロジェクタから画像を投影させるコンピュータに適用することができる。
2019171943.tif 000002
【特許請求の範囲】
【請求項１】
複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含む、投影画像の各画素の光線の強度の調整に用いられるマスク情報を生成する生成部を備える
情報処理装置。
【請求項２】
前記生成部は、前記所定の位置を１つの前記プロジェクタから照射することを表す情報を含む前記マスク情報を生成する
請求項１に記載の情報処理装置。
【請求項３】
前記所定の位置を照射する１つの前記プロジェクタを、それぞれの前記プロジェクタが前記所定の位置を照射する光線の角度に基づいて決定する決定部をさらに備える
請求項２に記載の情報処理装置。
【請求項４】
前記決定部は、前記所定の位置に光線を照射する複数の前記プロジェクタのうち、前記所定の位置に対する入射角が最も小さい光線を照射する前記プロジェクタを、前記所定の位置を照射する１つの前記プロジェクタとして決定する
請求項３に記載の情報処理装置。
【請求項５】
前記生成部は、前記所定の位置を照射する前記プロジェクタ用の前記マスク情報として、前記所定の位置を最大の強度で照射することを表す情報を含む前記マスク情報を生成し、前記所定の位置を照射しない前記プロジェクタ用の前記マスク情報として、前記所定の位置を照射しないことを表す情報を含む前記マスク情報を生成する
請求項３に記載の情報処理装置。
【請求項６】
複数の前記プロジェクタの投影光の光線追跡を行うことによって前記重畳光線を検出する検出部をさらに備える
請求項１に記載の情報処理装置。
【請求項７】
前記検出部は、複数の前記プロジェクタの内部パラメータ、前記プロジェクタと前記物体との姿勢に関する情報、および、前記物体のモデルデータに基づいて、前記重畳光線を検出する
請求項６に記載の情報処理装置。
【請求項８】
情報処理装置が、
複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含む、投影画像の各画素の光線の強度の調整に用いられるマスク情報を生成する
情報処理方法。
【請求項９】
コンピュータに、
複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含む、投影画像の各画素の光線の強度の調整に用いられるマスク情報を生成する
処理を実行させるためのプログラム。
【請求項１０】
複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含むように生成されたマスク情報に基づいて、それぞれの前記プロジェクタの投影画像の各画素の光線の強度を調整し、それぞれの前記プロジェクタから前記投影画像を投影させる投影処理部を備える
情報処理装置。
【請求項１１】
情報処理装置が、
複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含むように生成されたマスク情報に基づいて、それぞれの前記プロジェクタの投影画像の各画素の光線の強度を調整し、
それぞれの前記プロジェクタから前記投影画像を投影させる
情報処理方法。
【請求項１２】
コンピュータに、
複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含むように生成されたマスク情報に基づいて、それぞれの前記プロジェクタの投影画像の各画素の光線の強度を調整し、
それぞれの前記プロジェクタから前記投影画像を投影させる
処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、複数のプロジェクタから物体上に多重投影を行う場合において、オーバーラップ領域の解像度の低下を軽減することができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
複数台のプロジェクタを連動させて物体に画像を投影するPM(Projection Mapping)の技術がある。【０００３】
複数のプロジェクタからの光線が物体上において重なる状態はオーバーラップと呼ばれる。例えば２台のプロジェクタを用いる場合、一方のプロジェクタの投影領域と他方のプロジェクタの投影領域が重なる領域が、オーバーラップが生じるオーバーラップ領域となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２５７６０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
各プロジェクタの内部パラメータ（焦点距離、主点、レンズ歪み）と、各プロジェクタと物体との相対的な姿勢の関係を正確に推定することができれば、オーバーラップ領域においても、ずれのない状態で画像を投影することができることになる。【０００６】
実際の環境においてそのような投影を行うことは難しく、微妙な誤差による投影ずれが発生してしまう。その結果、オーバーラップ領域における解像度の低下が発生し、PMの品位も低下してしまう。【０００７】
本技術はこのような状況に鑑みてなされたものであり、複数のプロジェクタから物体上に多重投影を行う場合において、オーバーラップ領域の解像度の低下を軽減することができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の一側面の情報処理装置は、複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含む、投影画像の各画素の光線の強度の調整に用いられるマスク情報を生成する生成部とを備える。【０００９】
本技術の他の側面の情報処理装置は、複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含むように生成されたマスク情報に基づいて、それぞれの前記プロジェクタの投影画像の各画素の光線の強度を調整し、それぞれの前記プロジェクタから前記投影画像を投影させる投影処理部を備える。【００１０】
本技術の一側面においては、複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含む、投影画像の各画素の光線の強度の調整に用いられるマスク情報が生成される。【００１１】
本技術の他の側面においては、複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含むように生成されたマスク情報に基づいて、それぞれの前記プロジェクタの投影画像の各画素の光線の強度が調整され、それぞれの前記プロジェクタから前記投影画像を投影させる処理が行われる。
【発明の効果】
【００１２】
本技術によれば、複数のプロジェクタから物体上に多重投影を行う場合において、オーバーラップ領域の解像度の低下を軽減することができる。【００１３】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１４】
【図１】本技術の一実施形態に係る投影システムの構成例を示す図である。
【図２】投影システムの構成例を示すブロック図である。
【図３】投影制御部の構成例を示すブロック図である。
【図４】制御装置のハードウェア構成例を示すブロック図である。
【図５】投影制御部の投影マスク生成処理について説明するフローチャートである。
【図６】図５のステップＳ７において行われるオーバーラップ光線検出処理について説明するフローチャートである。
【図７】オーバーラップ光線検出の例を示す図である。
【図８】デプス情報の例を示す図である。
【図９】プロジェクタの決定の例を示す図である。
【図１０】投影画像処理部の投影処理について説明するフローチャートである。
【図１１】投影マスクを用いた投影の例を示す図である。
【図１２】平面に画像を投影する場合の例を示す図である。
【図１３】オーバーラップ領域のマスク値の例を示す図である。
【発明を実施するための形態】
【００１５】
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．投影システムの構成
２．制御装置の構成
３．制御装置の動作
４．変形例
【００１６】
＜投影システムの構成＞
図１は、本技術の一実施形態に係る投影システムの構成例を示す図である。
【００１７】
図１の投影システムは、制御装置１に対してプロジェクタ＃０，＃１が有線または無線の通信を介して接続されることによって構成される。プロジェクタ＃０，＃１は、投影方向を物体２２に向けるように、投影空間の上方に設置されている。プロジェクタ＃０，＃１の設置位置については、投影空間の上方の位置でなくてもよい。
【００１８】
制御装置１は、パーソナルコンピュータ、スマートフォン、タブレット端末等の装置から構成される。制御装置１は、プロジェクタ＃０，＃１による画像の投影を制御する。
【００１９】
プロジェクタ＃０，＃１は、制御装置１による制御に従って、所定の画像を表す投影光を照射する。
【００２０】
図１の投影システムにおいては、プロジェクタ＃０，＃１を用いて、床面２１に置かれた物体２２に画像が投影される。プロジェクタ＃０が照射する投影光による画像は、主に、物体２２の左側の位置に投影され、プロジェクタ＃１が照射する投影光による画像は、主に、物体２２の右側の位置に投影される。
【００２１】
物体２２に対しては、例えば、金属の質感や木材の質感などの、物体２２の表面の質感を表現するためのテクスチャ画像が投影される。質感の表現に限らず、各種の情報の提示や立体感の演出が画像の投影によって行われるようにしてもよい。
【００２２】
２台のプロジェクタを用いて画像を投影する例について主に説明するが、２台に限らず、さらに多くのプロジェクタを設けることも可能である。
【００２３】
このように、図１の投影システムは、あるプロジェクタが画像を投影することができない領域には他のプロジェクタが画像を投影するようにして、物体２２の表面全体に画像を投影するPM(Projection Mapping)のシステムである。
【００２４】
図２は、投影システムの構成例を示すブロック図である。
【００２５】
図２の例においては、プロジェクタ＃０，＃１以外のプロジェクタも示されている。プロジェクタ＃０乃至＃Ｎのそれぞれには、表示デバイス、レンズ、光源などよりなる投影部の他に、カメラにより構成される撮像部が設けられる。
【００２６】
例えば、プロジェクタ＃０の撮像部＃０−１は、物体２２を含む投影空間の状況を撮像する。撮像部＃０−１により撮像された画像は、制御装置１において、投影画像の補正などに用いられる。
【００２７】
投影部＃０−２は、制御装置１による制御に従って、投影部＃０−２に割り当てられた投影画像を投影する。
【００２８】
プロジェクタ＃１乃至＃Ｎの撮像部＃１−１乃至＃Ｎ−１も、それぞれ、投影空間の状況を撮像する。投影部＃１−２乃至＃Ｎ−２も、それぞれ、自身に割り当てられた投影画像を投影する。
【００２９】
図２の例においては、投影部の数と撮像部の数が同じ数とされているが、それぞれの数が異なっていてもよい。また、撮像部が、プロジェクタに内蔵されているのではなく、離れた位置に設けられるようにしてもよい。制御装置１の構成が、プロジェクタに設けられるようにしてもよい。
【００３０】
図１の投影システムにおいては、オーバーラップ領域の投影ずれを防ぐため、各プロジェクタの投影光（光線）の強度が調整される。
【００３１】
＜制御装置の構成＞
図２に示すように、制御装置１は、撮像画像処理部３１、投影画像処理部３２、および投影制御部３３から構成される。
【００３２】
撮像画像処理部３１は、各プロジェクタの撮像部により撮像された画像に基づいて、プロジェクタと物体２２との相対的な姿勢の関係などを推定する。撮像画像処理部３１により推定された姿勢の関係を表す情報は投影画像処理部３２に供給される。
【００３３】
投影画像処理部３２は、物体２２を投影対象として各プロジェクタから投影させる投影画像を生成する。投影画像処理部３２は、適宜、撮像画像処理部３１により推定されたプロジェクタと物体２２との姿勢の関係に基づいて、幾何補正や輝度補正などの各種の画像処理を投影画像に対して施す。投影画像処理部３２は、各種の画像処理を施すことによって生成した投影画像をそれぞれのプロジェクタに出力し、物体２２に対して投影させる。
【００３４】
また、投影画像処理部３２は、投影制御部３３により生成された投影マスクに基づいて、投影画像を構成する各画素の投影光の強度を調整する。投影マスクは、投影画像の各画素のマスク値を含む情報である。マスク値は、投影光の強度（ゲイン）を表す。投影マスクはプロジェクタ毎に用意される。
【００３５】
投影制御部３３は、各プロジェクタ用の投影マスクを生成し、投影画像処理部３２に出力する。
【００３６】
投影制御部３３に対しては、各プロジェクタの内部パラメータ（焦点距離、主点、レンズ歪み）、各プロジェクタの外部パラメータ、投影対象の物体の外部パラメータ、および、投影対象の物体の3Dモデルデータが入力される。各プロジェクタの外部パラメータと、投影対象の物体の外部パラメータに基づいて、各プロジェクタと投影対象の物体との相対的な姿勢の関係が推定される。
【００３７】
投影制御部３３による投影マスクの生成は、これらの情報が例えば制御装置１のユーザにより入力されることに応じてソフトウェア的に行われる。投影マスクの生成のために行われる、後述する光線検出などの処理も、ソフトウェアによる計算によって行われる処理である。
【００３８】
図３は、投影制御部３３の構成例を示すブロック図である。
【００３９】
図３に示すように、投影制御部３３は、デプス算出部５１、オーバーラップ光線検出部５２、投影プロジェクタ決定部５３、および投影マスク生成部５４から構成される。各プロジェクタの内部パラメータ、各プロジェクタと物体の外部パラメータ、および、物体の3Dモデルデータはデプス算出部５１に供給される。
【００４０】
デプス算出部５１は、外部から供給された情報に基づいて、各プロジェクタを基準とした、投影対象の物体表面上の各位置までのデプス（奥行き）を算出し、算出したデプスを表す情報であるデプス情報を生成する。
【００４１】
デプス算出部５１は、デプス情報をデプス情報バッファ５１Ａに記憶させる。デプス情報バッファ５１Ａには、プロジェクタ＃０のデプス情報、プロジェクタ＃１のデプス情報、・・・といったように、各プロジェクタのデプス情報が記憶される。
【００４２】
オーバーラップ光線検出部５２は、各プロジェクタのデプス情報をデプス情報バッファ５１Ａから読み出して取得する。
【００４３】
オーバーラップ光線検出部５２は、デプス情報を参照し、あるプロジェクタの投影画像の画素の光線が、物体表面上において、他のプロジェクタの光線とオーバーラップしているか否かの判定を行う。オーバーラップ光線検出部５２は、このような判定であるオーバーラップ光線検出を、各プロジェクタの、各画素に注目して行う。
【００４４】
投影プロジェクタ決定部５３は、オーバーラップ光線検出部５２による判定結果に基づいて、複数の光線がオーバーラップしている物体表面上の位置を特定する。投影プロジェクタ決定部５３は、複数の光線がオーバーラップしている物体表面上の位置について、どのプロジェクタからの光線により、何％の強度で照射するのかを決定する。
【００４５】
例えば、投影プロジェクタ決定部５３は、あるプロジェクタからの光線を１００％の強度で照射し、他のプロジェクタからの光線を０％の強度で照射するといったように、オーバーラップする光線のマスク値を、二値のうちのいずれかの値として決定する。マスク値が０％であることは、そのマスク値が設定された画素から光線を照射しない、すなわち、黒色を投影することを表す。
【００４６】
このように、投影マスクは、複数のプロジェクタからの光線がオーバーラップして物体表面上の所定の位置を照射している場合に、その位置を、どのプロジェクタからの光線によって照射するのかを表す情報である。オーバーラップする光線が照射する物体表面上の位置に対応するマスク値として１００％の値が設定されているプロジェクタからは、最大の強度の光線でその位置を照射し、０％の値が設定されているプロジェクタからは、その位置を照射しないことを表す。
【００４７】
あるプロジェクタから３０％の強度で光線を照射し、他のプロジェクタから７０％の強度で光線を照射するといったように、１００％と０％の二値以外の値としてマスク値が適応的に制御されるようにしてもよい。
【００４８】
投影マスク生成部５４は、投影プロジェクタ決定部５３による決定結果に基づいて各プロジェクタの投影マスクを生成する。投影マスク生成部５４により生成された投影マスクは投影画像処理部３２に供給され、光線の調整に用いられる。
【００４９】
オーバーラップ光線検出部５２によるオーバーラップ光線検出と、投影プロジェクタ決定部５３によるプロジェクタの決定については後に詳述する。
【００５０】
図４は、制御装置１のハードウェア構成例を示すブロック図である。
【００５１】
制御装置１は、図４に示すような構成を有するコンピュータにより構成される。
【００５２】
CPU(Central Processing Unit)１０１、ROM(Read Only Memory)１０２、RAM(Random Access Memory)１０３は、バス１０４により相互に接続されている。
【００５３】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７が接続される。また、入出力インタフェース１０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、リムーバブルメディア１１１を駆動するドライブ１１０が接続される。
【００５４】
図２、図３に示す制御装置１の機能部のうちの少なくとも一部が、図４のCPU１０１により所定のプログラムが実行されることによって実現されることになる。
【００５５】
＜制御装置の動作＞
ここで、以上のような構成を有する制御装置１の動作について説明する。
【００５６】
はじめに、図５のフローチャートを参照して、投影制御部３３の投影マスク生成処理について説明する。
【００５７】
以下においては、説明の便宜上、プロジェクタ＃０とプロジェクタ＃１の２台のプロジェクタを用いる場合について説明するが、プロジェクタの台数が増えた場合も同様の処理が行われる。
【００５８】
ステップＳ１において、デプス算出部５１は、外部から入力された、各プロジェクタの内部パラメータと外部パラメータを取得する。
【００５９】
ステップＳ２において、デプス算出部５１は、外部から入力された、投影対象の物体の3Dモデルデータと外部パラメータを取得する。
【００６０】
ステップＳ３において、デプス算出部５１は、各プロジェクタの外部パラメータと、投影対象の物体の外部パラメータに基づいて、各プロジェクタと物体との相対的な姿勢の関係を推定する。また、デプス算出部５１は、推定した姿勢の関係などに基づいて、各プロジェクタを基準とした、投影対象の物体表面上の各位置までのデプスを算出する。デプス算出部５１により算出されたデプスを表すデプス情報はデプス情報バッファ５１Ａに記憶される。
【００６１】
ステップＳ４において、オーバーラップ光線検出部５２は、各プロジェクタのデプス情報をデプス情報バッファ５１Ａから読み出すことによって取得する。
【００６２】
ステップＳ５において、オーバーラップ光線検出部５２は、１つのプロジェクタに注目する。
【００６３】
ステップＳ６において、オーバーラップ光線検出部５２は、注目するプロジェクタの投影画像の１つの画素に注目する。例えば左上端の画素から順に注目される。
【００６４】
ステップＳ７において、オーバーラップ光線検出部５２はオーバーラップ光線検出処理を行う。オーバーラップ光線検出処理は、注目する画素の光線が、物体表面上において、他のプロジェクタの光線とオーバーラップしているか否かを判定する処理となる。
【００６５】
ここで、図６のフローチャートを参照して、図５のステップＳ７において行われるオーバーラップ光線検出処理について説明する。
【００６６】
ステップＳ３１において、オーバーラップ光線検出部５２は、注目する画素の光線追跡を行う。
【００６７】
ステップＳ３２において、オーバーラップ光線検出部５２は、注目する画素の光線が、投影対象の物体の表面に衝突するか否かを判定する。この判定は、注目するプロジェクタのデプス情報を参照して行われる。
【００６８】
注目する画素の光線が投影対象の物体の表面に衝突するとステップＳ３２において判定した場合、ステップＳ３３において、オーバーラップ光線検出部５２は、注目する画素の光線が衝突する物体表面上の点である衝突点Ｐ0を、他のプロジェクタの座標系の点Ｐ’0に変換する。
【００６９】
プロジェクタ＃０が注目されている場合、衝突点Ｐ0は、プロジェクタ＃０を基準とした座標系の点となり、点Ｐ’0は、プロジェクタ＃１を基準とした座標系の点となる。
【００７０】
ステップＳ３４において、オーバーラップ光線検出部５２は、点Ｐ’0の逆光線追跡を行い、プロジェクタ＃１を基準とした、衝突点Ｐ0に対応する点である点Ｐ1を算出する。点Ｐ’0の逆光線追跡は、プロジェクタ＃１のデプス情報を参照して行われる。
【００７１】
ステップＳ３５において、オーバーラップ光線検出部５２は、点Ｐ’0と点Ｐ1が３次元空間上の同一の点であるか否かを判定する。
【００７２】
点Ｐ’0と点Ｐ1が同一の点であるとステップＳ３５において判定した場合、ステップＳ３６において、オーバーラップ光線検出部５２は、衝突点Ｐ0を照射する、注目する画素の光線がオーバーラップ光線であると判定する。
【００７３】
図７は、オーバーラップ光線検出の例を示す図である。
【００７４】
図７の例においては、床面１５１上の略立方体の物体１５２が、投影対象の物体として示されている。
【００７５】
物体１５２の形状が、3Dモデルデータに基づいて特定される。また、プロジェクタ＃０と物体１５２の姿勢の関係が、プロジェクタ＃０と物体１５２の外部パラメータに基づいて推定される。同様に、プロジェクタ＃１と物体１５２の姿勢の関係が、プロジェクタ＃１と物体１５２の外部パラメータに基づいて推定される。
【００７６】
例えば、プロジェクタ＃０が注目されており、プロジェクタ＃０の投影画像の所定の画素の光線が、物体１５２の上面隅の点Ｐに衝突する場合、点Ｐが、プロジェクタ＃１の光線によって照射されるか否かが判定される。
【００７７】
図８は、デプス情報の例を示す図である。
【００７８】
図８のＡは、プロジェクタ＃０のデプス情報を表し、図８のＢは、プロジェクタ＃１のデプス情報を表す。
【００７９】
図８のＡにおいて、物体１５２を表す立方体に色が付されていることは、プロジェクタ＃０を基準としたときに、物体１５２が床面１５１より近い位置にあることを表す。左上の黒丸が図７の点Ｐに対応する。
【００８０】
点Ｐは、プロジェクタ＃０を基準とした座標系では衝突点Ｐ0として表される。衝突点Ｐ0は、プロジェクタ＃１を基準とした座標系の点Ｐ’0として変換される。座標系の変換は、例えば、プロジェクタ＃０，＃１のそれぞれと物体１５２との姿勢の関係に基づいて算出されるパラメータを用いて行われる。
【００８１】
点Ｐ’0の逆光線追跡を行うことにより、プロジェクタ＃１を基準とした、衝突点Ｐ0に対応する点である点Ｐ1が算出される。図８のＢにおいて、物体１５２を表す立方体に色が付されていることは、プロジェクタ＃１を基準としたときに、物体１５２が床面１５１より近い位置にあることを表す。上方の黒丸が点Ｐ1に対応する。
【００８２】
点Ｐ’0と点Ｐ1が３次元空間上で同一の点である場合、注目している画素の光線である、図７の点Ｐを照射するプロジェクタ＃０の光線が、オーバーラップ光線であると判定される。
【００８３】
このように、注目する画素の光線がオーバーラップ光線であるとステップＳ３５において判定された後、図５のステップＳ７に戻り、それ以降の処理が行われる。
【００８４】
注目する画素の光線が投影対象の物体の表面に衝突しないとステップＳ３２において判定された場合、または、点Ｐ’0と点Ｐ1が同一の点ではないとステップＳ３５において判定された場合も同様に、図５のステップＳ７に戻り、それ以降の処理が行われる。この場合、注目する画素の光線がオーバーラップ光線ではないと判定されたことになる。
【００８５】
図５の説明に戻り、ステップＳ８において、投影プロジェクタ決定部５３は、オーバーラップ光線検出処理の結果に基づいて、注目する画素の光線が照射する物体表面上の位置を照射するプロジェクタを決定する。
【００８６】
投影プロジェクタ決定部５３は、例えば、注目する画素の光線がオーバーラップ光線ではないと判定された場合、注目する画素の光線が照射する物体表面上の位置を照射するプロジェクタとして、注目しているプロジェクタを決定する。
【００８７】
一方、投影プロジェクタ決定部５３は、注目する画素の光線がオーバーラップ光線であると判定された場合、オーバーラップ光線が照射する物体表面上の位置を照射するプロジェクタとして、プロジェクタ＃０とプロジェクタ＃１のうちのいずれかを決定する。
【００８８】
具体的には、投影プロジェクタ決定部５３は、プロジェクタ＃０の光線の物体に対する入射角と、プロジェクタ＃１の光線の物体に対する入射角を計算し、入射角が小さい光線を照射するプロジェクタを決定する。３台以上のプロジェクタの光線がオーバーラップしている場合、入射角が最も小さい光線を照射するプロジェクタが決定される。
【００８９】
図９は、プロジェクタの決定の例を示す図である。
【００９０】
例えば、点Ｐを照射する直線矢印Ｌ０で示すプロジェクタ＃０の光線と、直線矢印Ｌ１で示すプロジェクタ＃１の光線とがオーバーラップする場合、プロジェクタ＃０の光線の入射角θp0と、プロジェクタ＃１の光線の入射角θp1が求められる。図９の例においては、入射角θp0の方が入射角θp1より小さい。この場合、点Ｐを照射するプロジェクタとしてプロジェクタ＃０が決定される。
【００９１】
このようにして決定されたプロジェクタの情報が、投影プロジェクタ決定部５３から投影マスク生成部５４に供給される。
【００９２】
図５のステップＳ９において、投影マスク生成部５４は、投影プロジェクタ決定部５３による決定を反映させることによって、各プロジェクタの投影マスクを更新する。
【００９３】
例えば、図９に示すようにしてプロジェクタの決定が行われた場合、プロジェクタ＃０の投影マスクの、注目する画素のマスク値には１００％の値が設定される。また、プロジェクタ＃１の投影マスクの、点Ｐに対応する画素（光線が点Ｐを照射する画素）のマスク値には０％の値が設定される。
【００９４】
図５のステップＳ１０において、オーバーラップ光線検出部５２は、注目するプロジェクタの投影画像を構成する全ての画素に注目したか否かを判定する。全ての画素に注目していないとステップＳ１０において判定された場合、ステップＳ６に戻り、注目する画素を切り替えて以上の処理が繰り返される。
【００９５】
一方、注目するプロジェクタの投影画像を構成する全ての画素に注目したとステップＳ１０において判定した場合、ステップＳ１１において、オーバーラップ光線検出部５２は、全てのプロジェクタに注目したか否かを判定する。
【００９６】
全てのプロジェクタに注目していないとステップＳ１１において判定した場合、ステップＳ１２において、オーバーラップ光線検出部５２は、注目するプロジェクタを他のプロジェクタに切り替える。その後、ステップＳ６に戻り、同様の処理が繰り返される。
【００９７】
全てのプロジェクタに注目したとステップＳ１１において判定された場合、ステップＳ１３において、投影マスク生成部５４は、各プロジェクタの投影マスクを出力し、処理を終了させる。投影マスク生成部５４から出力された投影マスクは、投影画像処理部３２において各プロジェクタから照射させる光線の調整に用いられる。
【００９８】
次に、図１０のフローチャートを参照して、投影画像処理部３２の投影処理について説明する。
【００９９】
図１０の処理は、以上の処理が行われることによって投影マスクが生成された後に行われる。投影画像処理部３２に対しては各プロジェクタの投影画像のデータが入力される。
【０１００】
ステップＳ５１において、投影画像処理部３２は、各プロジェクタの投影画像の各画素の光線の強度を、各プロジェクタの投影マスクを用いて調整する。
【０１０１】
例えば、図９を参照して説明したようにして、点Ｐに光線を照射するプロジェクタとしてプロジェクタ＃０が決定された場合、点Ｐを照射するプロジェクタ＃０の光線は、強度が１００％になるように、プロジェクタ＃０の投影マスクに基づいて調整される。また、点Ｐを照射するプロジェクタ＃１の光線は、強度が０％になるように、プロジェクタ＃１の投影マスクに基づいて調整される。
【０１０２】
ステップＳ５２において、投影画像処理部３２は、各プロジェクタを制御し、調整後の強度の光線を用いて投影画像を投影させる。
【０１０３】
以上の処理が、投影画像の投影が行われている間、繰り返される。投影画像の投影が終了した場合、図１０の処理は終了となる。
【０１０４】
図１１は、投影マスクを用いた投影の例を示す図である。
【０１０５】
例えば、物体１５２の上面１５２Ａの全体が、プロジェクタ＃０の投影範囲とプロジェクタ＃１の投影範囲が重畳するオーバーラップ領域であるものとする。プロジェクタ＃０が上面１５２Ａの各位置を照射するそれぞれの光線と、プロジェクタ＃１が上面１５２Ａの各位置を照射するそれぞれの光線はオーバーラップ光線となる。
【０１０６】
この場合、プロジェクタ＃０の投影マスクのマスク値のうち、破線Ｌ１１で示す上面１５２Ａの左側に光線を照射する画素のマスク値には１００％の値が設定され、上面１５２Ａの右側に光線を照射する画素のマスク値には０％の値が設定される。
【０１０７】
このような投影マスクに基づいてプロジェクタ＃０の投影画像の各画素の光線の強度が調整されることにより、図１１の下段に一点鎖線で示すように、上面１５２Ａの左側にはプロジェクタ＃０の光線だけが照射される。プロジェクタ＃０が投影する画像によって、上面１５２Ａの左側のテクスチャが表現される。
【０１０８】
図１１の下段のグラフにおいて、横軸が上面１５２Ａ上の位置を表し、縦軸がマスク値（光線の強度）を表す。
【０１０９】
一方、プロジェクタ＃１の投影マスクのマスク値のうち、破線Ｌ１１で示す上面１５２Ａの右側に光線を照射する画素のマスク値には１００％の値が設定され、上面１５２Ａの左側に光線を照射する画素のマスク値には０％の値が設定される。
【０１１０】
このような投影マスクに基づいてプロジェクタ＃１の投影画像の各画素の光線の強度が調整されることにより、図１１の下段に実線で示すように、上面１５２Ａの右側には、プロジェクタ＃１の光線だけが照射される。プロジェクタ＃１が投影する画像によって、上面１５２Ａの右側のテクスチャが表現される。
【０１１１】
以上のように、オーバーラップ領域を検出し、オーバーラップ領域の画像については例えば１台のプロジェクタから投影が行われるようにすることにより、物体表面上におけるテクスチャ画像の解像度の低下を軽減することが可能になる。また、明るさの均一化を図ることが可能になる。
【０１１２】
仮に、図１２に示すように平面に画像を投影する場合、プロジェクタ＃０の投影領域とプロジェクタ＃１の投影領域とを特定できれば、破線Ｌ２１で表される中間位置に境界を設定し、上述したような二値からなるマスク値を容易に設定することが可能となる。画像の投影対象が立体的な物体であることから、光線追跡を行い、各画素の光線が物体表面に衝突するか否かなどを判定する必要があることになる。
【０１１３】
図１２において、台形状で表される領域Ａ０がプロジェクタ＃０の投影領域であり、領域Ａ１がプロジェクタ＃１の投影領域である。
【０１１４】
＜変形例＞
画像を投影しているプロジェクタの切り替わりを目立ちにくくするため、オーバーラップ領域の投影が、２台のプロジェクタを用いて行われるようにしてもよい。
【０１１５】
この場合、２台のプロジェクタによって重畳して投影を行うオーバーラップ領域のマスク値は、例えば０〜１００％の範囲の連続値として変化するように設定される。
【０１１６】
図１３は、オーバーラップ領域のマスク値の例を示す図である。
【０１１７】
図１３の例においては、図１１の破線Ｌ１１の位置を挟む、位置ｐ２１から位置ｐ２２までの領域がオーバーラップ領域として設定されている。
【０１１８】
オーバーラップ領域に対応するプロジェクタ＃０のマスク値は、位置ｐ２１から位置ｐ２２に向かうにつれて１００％から０％に徐々に下がるように設定される。また、オーバーラップ領域に対応するプロジェクタ＃１のマスク値は、位置ｐ２２から位置ｐ２１に向かうにつれて１００％から０％に徐々に下がるように設定される。
【０１１９】
ソフトウェアの処理によってオーバーラップ領域が検出されるものとしたが、実空間において各プロジェクタから投影した画像をカメラによって撮像し、撮像して得られた画像に基づいてオーバーラップ領域が検出されるようにしてもよい。
【０１２０】
プロジェクタとは別の筐体の装置として制御装置１が用意されるものとしたが、複数のプロジェクタのうちのいずれかに、制御装置１の上述した機能が搭載されるようにしてもよい。
【０１２１】
複数のプロジェクタのそれぞれと制御装置１が有線または無線を介して接続されるものとしたが、インターネットを介して接続されるようにしてもよい。
【０１２２】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
【０１２３】
インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図４に示されるリムーバブルメディア１１１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０１２４】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１２５】
本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１２６】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１２７】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１２８】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１２９】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１３０】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【０１３１】
・構成の組み合わせ例
本技術は、以下のような構成をとることもできる。
（１）
複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含む、投影画像の各画素の光線の強度の調整に用いられるマスク情報を生成する生成部を備える
情報処理装置。
（２）
前記生成部は、前記所定の位置を１つの前記プロジェクタから照射することを表す情報を含む前記マスク情報を生成する
前記（１）に記載の情報処理装置。
（３）
前記所定の位置を照射する１つの前記プロジェクタを、それぞれの前記プロジェクタが前記所定の位置を照射する光線の角度に基づいて決定する決定部をさらに備える
前記（２）に記載の情報処理装置。
（４）
前記決定部は、前記所定の位置に光線を照射する複数の前記プロジェクタのうち、前記所定の位置に対する入射角が最も小さい光線を照射する前記プロジェクタを、前記所定の位置を照射する１つの前記プロジェクタとして決定する
前記（３）に記載の情報処理装置。
（５）
前記生成部は、前記所定の位置を照射する前記プロジェクタ用の前記マスク情報として、前記所定の位置を最大の強度で照射することを表す情報を含む前記マスク情報を生成し、前記所定の位置を照射しない前記プロジェクタ用の前記マスク情報として、前記所定の位置を照射しないことを表す情報を含む前記マスク情報を生成する
前記（３）または（４）に記載の情報処理装置。
（６）
複数の前記プロジェクタの投影光の光線追跡を行うことによって前記重畳光線を検出する検出部をさらに備える
前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
前記検出部は、複数の前記プロジェクタの内部パラメータ、前記プロジェクタと前記物体との姿勢に関する情報、および、前記物体のモデルデータに基づいて、前記重畳光線を検出する
前記（６）に記載の情報処理装置。
（８）
情報処理装置が、
複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含む、投影画像の各画素の光線の強度の調整に用いられるマスク情報を生成する
情報処理方法。
（９）
コンピュータに、
複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含む、投影画像の各画素の光線の強度の調整に用いられるマスク情報を生成する
処理を実行させるためのプログラム。
（１０）
複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含むように生成されたマスク情報に基づいて、それぞれの前記プロジェクタの投影画像の各画素の光線の強度を調整し、それぞれの前記プロジェクタから前記投影画像を投影させる投影処理部を備える
情報処理装置。
（１１）
情報処理装置が、
複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含むように生成されたマスク情報に基づいて、それぞれの前記プロジェクタの投影画像の各画素の光線の強度を調整し、
それぞれの前記プロジェクタから前記投影画像を投影させる
情報処理方法。
（１２）
コンピュータに、
複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含むように生成されたマスク情報に基づいて、それぞれの前記プロジェクタの投影画像の各画素の光線の強度を調整し、
それぞれの前記プロジェクタから前記投影画像を投影させる
処理を実行させるためのプログラム。
【符号の説明】
【０１３２】
１  制御装置，  ３１  撮像画像処理部，  ３２  投影画像処理部，  ３３  投影制御部，  ５１  デプス算出部，  ５２  オーバーラップ光線検出部，  ５３  投影プロジェクタ決定部，  ５４  投影マスク生成部
【図１】
2019171943.tif 000003
【図２】
2019171943.tif 000004
【図３】
2019171943.tif 000005
【図４】
2019171943.tif 000006
【図５】
2019171943.tif 000007
【図６】
2019171943.tif 000008
【図７】
2019171943.tif 000009
【図８】
2019171943.tif 000010
【図９】
2019171943.tif 000011
【図１０】
2019171943.tif 000012
【図１１】
2019171943.tif 000013
【図１２】
2019171943.tif 000014
【図１３】
2019171943.tif 000015
【国際調査報告】
2019171943.tif 000016
2019171943.tif 000017