(57)【要約】【課題】物体への投影光を抑制しつつ、スクリーン上の影を消すことができる多重投影制御装置を提供する。【解決手段】カメラ１は、プロジェクタ７−１、７−２により投影されたスクリーン上の映像を撮影する。画像入力部２は、カメラ１から画像データを取得する。フレーム管理部３は、影消しや照明抑制に用いるための画像情報（フレーム番号）を転送する。コンテンツＤＢ（データベース）４は、多重投影のコンテンツを各プロジェクタ７−１、７−２に対応する影領域補正部５−１、５−２に供給する。影領域補正部５−１、５−２は、各々、上記画像情報（フレーム番号）に基づいて、プロジェクタ７−１、７−２の出力輝度値を補正する。投影光抑制部６−１、６−２は、プロジェクタ７−１、７−２の物体への投影光を抑制する。【選択図】図１
2012249008.tif 000002
【特許請求の範囲】
【請求項１】
異なる角度でスクリーンに１つの映像を投影する複数のプロジェクタと、
前記スクリーンに投影される映像を撮像する撮像手段と、
前記撮像手段で撮像された画像のフレーム番号を管理するフレーム管理手段と、
前記フレーム管理手段により管理されるフレーム番号に基づいて、対応するプロジェクタ毎に、前記スクリーン前に存在する物体により前記スクリーンに生じる影領域における輝度を補正する複数の影領域補正手段と、
前記複数の影領域補正手段の各々に同期して、対応するプロジェクタからの投影光が前記物体を照明しないように、前記対応するプロジェクタの投影光を抑制する複数の投影光抑制手段と
を備えることを特徴とする多重投影制御装置。
【請求項２】
多重投影制御方法であって、
複数のプロジェクタによりスクリーン上に投影された１つの映像をカメラによって撮像する撮像ステップと、
前記カメラで撮像された画像のフレーム番号を管理するフレーム管理ステップと、
前記フレーム管理ステップで管理されるフレーム番号に基づいて、対応するプロジェクタ毎に、前記スクリーン前に存在する物体により前記スクリーンに生じる影領域における輝度を補正する影領域補正ステップと、
前記影領域補正ステップに同期して、対応するプロジェクタからの投影光が前記物体を照明しないように、前記対応するプロジェクタの投影光を抑制する投影光抑制ステップと
を含むことを特徴とする多重投影制御方法。
【請求項３】
多重投影制御装置のコンピュータに、
複数のプロジェクタによりスクリーン上に投影された１つの映像をカメラによって撮像する撮像機能、
前記カメラで撮像された画像のフレーム番号を管理するフレーム管理機能、
前記フレーム管理機能で管理されるフレーム番号に基づいて、対応するプロジェクタ毎に、前記スクリーン前に存在する物体により前記スクリーンに生じる影領域における輝度を補正する影領域補正機能、
前記影領域補正機能に同期して、対応するプロジェクタからの投影光が前記物体を照明しないように、前記対応するプロジェクタの投影光を抑制する投影光抑制機能
を実行させることを特徴とする多重投影制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多重投影制御装置、多重投影制御方法、及び多重投影制御プログラムに関する。
【背景技術】
【０００２】
マルチプロジェクタシステムは、様々な用途に利用されている。例えば、各プロジェクタからの画像を繋ぎ合わせて巨大な画像を生成するタイリング法がある。また、ＨＤＲ（High Dynamic Range）画像を表示するアプリケーションとしても期待されている。一般的に、会議や学会発表でのプレゼンテーションの場面にプロジェクタを使ったフロント・プロジェクションを利用する場合、スクリーンの前に被写体があると、スクリーンに影が発生する。その影を消すため、どのプロジェクタが隠蔽されたかを判定して影の欠損輝度を補償する方法（非特許文献１）が公知である。また、被写体へプロジェクタの投影光が照明されるため、人の目または人体への投影光を抑制する必要がある。
【０００３】
複数のプロジェクタで同時にスクリーンを多重投影する場合、オリジナルの画像をスクリーンに投影するために、環境の明るさに応じてプロジェクタからの出力輝度値を調整する。非特許文献２では、プロジェクタカメラシステムを使った輝度補正方法が開示されている。この方法では、プロジェクタからのＲＧＢ輝度値とカメラで観測されたＲＧＢ輝度値間の相関関係に着目し、カラー混合行列（Color Mixing Matrix）と呼ばれる３×３の行列Ｖを使って、所定のＲＧＢ輝度値Ｃ＝（Ｃｒ，Ｃｇ，Ｃｂ）をカメラが観測するように、プロジェクタからのＲＧＢ出力値Ｐ＝（Ｐｒ，Ｐｇ，Ｐｂ）を補正する。
【０００４】
プロジェクタの台数が増えても、この原理を拡張することができる。Ｎ台のプロジェクタを具備したマルチプロジェクタシステムにおいて、全てのプロジェクタが所定の領域を多重投影し、カメラが投影領域を撮影する。このシステムにおいて、観測した画像の輝度値Ｃと各プロジェクタからの出力輝度Ｐｊとは、次式（１）で表される線形モデルが成り立つ。
【０００５】
【数１】
2012249008.tif 000003
【０００６】
Ｖｊはプロジェクタｊのカラー混合行列であり、Ｆはプロジェクタ以外の光源からの照明と全てのプロジェクタのブラックオフセットを含む環境光とである（スクリーンは、固定されているため、物体表面の反射率は、一定と考える）。ある１台のプロジェクタｋのカラー混合行列と環境光とを求めるには、プロジェクタｋ以外のプロジェクタを全てＰｊ＝（０，０，０）、ｊ≠ｋで投影する。
【０００７】
このときのシステムは、プロジェクタｋとカメラとのシンプルなプロジェクタカメラシステムとして簡略化されるので、４枚のサンプル画像が用意できれば、非特許文献２を用いて求めることができる。但し、非特許文献２は、１台のプロジェクタとカメラとについての輝度補正において適用できるが、Ｎ台のプロジェクタへ応用するには、数式（１）の条件を満たしつつ、全てのプロジェクタからの出力輝度を補正する工夫が必要になる。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】J. Summet, M. Flagg, T. J. Cham, J. M. Rehg, and R. Sukthankar:  “Shadow Elimination and Blinding Light Suppression for Interactive Projected Displays”,  IEEE Transactions on Visualization and Computer Graphics, vol.13, no.3, pp.508-517, 2007.
【非特許文献２】K. Fujii, M. D. Grossberg, and S. K. Nayar:  “A Projector-Camera System with Real-Time Photometric Adaptation for Dynamic Environments”, Proc.  of IEEE Computer Vision and Pattern Recognition (CVPR), vol.1, pp.814-821, 2005.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
マルチプロジェクタシステムにおいて、被写体に当たる投影光を検出するため、スイッチング方式が用いられる。この方法では、ある１台のプロジェクタ（プロジェクタｋ）について、全画素からの投影光を出力し、それ以外のプロジェクタからは、何も出力しないでおき、カメラにより画像Ａを観測する。次に、プロジェクタｋからの投影光を全てオフにし、再度、カメラにより画像Ｂを観測する。画像Ａと画像Ｂとの各画素に対して差分を計算し、ある許容値未満の（輝度変化がない）ときは、その画素からの投影光が被写体に照明していると判定し、ある許容値以上の（輝度変化がある）ときは、その画素からの投影光が被写体に照明していないと判定する。
【００１０】
被写体へ投影光が当たる画素については、その画素から輝度を出力しないようにする。これは、スイッチング方式と呼ばれており、他のプロジェクタは、何も出力しないため、１台のプロジェクタの輝度だけをオン・オフさせることにより、どの画素が被写体に当たっているかが検出できる。
【００１１】
マルチプロジェクタシステムを用いた多重投影では、カメラのダイナミックレンジを越えない範囲で、数式（１）を満たすように各プロジェクタからの出力輝度をうまく調整しなければならない。上記のスイッチングを用いて、移動する被写体への照明抑制を行うためには、あるプロジェクタからの投影光が被写体に当たるかどうかを事前に判定する必要がある。その上、残りのプロジェクタの輝度をオフにしないと、その検出を円滑に行うことは困難である。よって、１台ずつプロジェクタの出力輝度をオン・オフさせて、被写体照明の画素を検出することは処理の効率が悪いという問題がある。
【００１２】
本発明は、このような事情を考慮してなされたものであり、その目的は、マルチプロジェクタシステムにおいて、被写体の隠蔽によりスクリーンに影が発生したとき、被写体への投影光を抑制しつつ、スクリーン上の影を消し、かつ、カメラのダイナミックレンジを越えない範囲で、所定の条件を満たすように、輝度補正することができる多重投影制御装置、多重投影制御方法、及び多重投影制御プログラムを提供することにある。
【課題を解決するための手段】
【００１３】
上述した課題を解決するために、本発明は、異なる角度でスクリーンに１つの映像を投影する複数のプロジェクタと、前記スクリーンに投影される映像を撮像する撮像手段と、前記撮像手段で撮像された画像のフレーム番号を管理するフレーム管理手段と、前記フレーム管理手段により管理されるフレーム番号に基づいて、対応するプロジェクタ毎に、前記スクリーン前に存在する物体により前記スクリーンに生じる影領域における輝度を補正する複数の影領域補正手段と、前記複数の影領域補正手段の各々に同期して、対応するプロジェクタからの投影光が前記物体を照明しないように、前記対応するプロジェクタの投影光を抑制する複数の投影光抑制手段とを備えることを特徴とする多重投影制御装置である。
【００１４】
また、上述した課題を解決するために、本発明は、多重投影制御方法であって、複数のプロジェクタによりスクリーン上に投影された１つの映像をカメラによって撮像する撮像ステップと、前記カメラで撮像された画像のフレーム番号を管理するフレーム管理ステップと、前記フレーム管理ステップで管理されるフレーム番号に基づいて、対応するプロジェクタ毎に、前記スクリーン前に存在する物体により前記スクリーンに生じる影領域における輝度を補正する影領域補正ステップと、前記影領域補正ステップに同期して、対応するプロジェクタからの投影光が前記物体を照明しないように、前記対応するプロジェクタの投影光を抑制する投影光抑制ステップとを含むことを特徴とする多重投影制御方法である。
【００１５】
また、上述した課題を解決するために、本発明は、多重投影制御装置のコンピュータに、複数のプロジェクタによりスクリーン上に投影された１つの映像をカメラによって撮像する撮像機能、前記カメラで撮像された画像のフレーム番号を管理するフレーム管理機能、前記フレーム管理機能で管理されるフレーム番号に基づいて、対応するプロジェクタ毎に、前記スクリーン前に存在する物体により前記スクリーンに生じる影領域における輝度を補正する影領域補正機能、前記影領域補正機能に同期して、対応するプロジェクタからの投影光が前記物体を照明しないように、前記対応するプロジェクタの投影光を抑制する投影光抑制機能を実行させることを特徴とする多重投影制御プログラムである。
【発明の効果】
【００１６】
この発明によれば、複数のプロジェクタを用いて、同一の位置に投影するようなマルチプロジェクタシステムにおいて、スクリーンに発生した影に順応してプロジェクタからの出力輝度を自動的に補正することができるとともに、影を発生させた被写体への投影光を抑制することができ、高品質で高コントラストな投影状態を維持することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明に係る第１実施形態による多重投影制御装置の構成を示すブロック図である。
【図２】本第１実施形態による多重投影制御装置の動作を説明するためのフローチャートである。
【図３】本第１実施形態によるフレーム管理部３の動作を説明するためのフローチャートである。
【図４】本第１実施形態による影領域補正部５−１、５−２の動作を説明するためのフローチャートである。
【図５】本第１実施形態による投影光抑制部６−１、６−２の動作を説明するためのフローチャートである。
【図６】本第２実施形態による、Ｎ台のプロジェクタを用いた多重投影制御装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、本発明の一実施形態を、図面を参照して説明する。
本発明は、マルチプロジェクタシステムに係り、スクリーンに発生した物体の影（被写体の影）に対して、カメラで観測した各画素の輝度値が所定の値となるように、各プロジェクタから投影する各画素の出力値を補正し、同時に、各プロジェクタからの投影光が被写体を照明しないようにその光を抑制することを特徴としている。
【００１９】
Ａ．第１実施形態
まず、本発明の第１実施形態について説明する。本第１実施形態は、２台のプロジェクタと１台のカメラとを備えるマルチプロジェクタシステムにおいて、影消しと照明抑制とを実施することを特徴とする。
【００２０】
図１は、本発明に係る第１実施形態による多重投影制御装置の構成を示すブロック図である。図１において、カメラ１は、プロジェクタ７−１、７−２により投影されたスクリーン上の映像を撮影し、画像データとして出力する。画像入力部２は、カメラ１から画像データを取得する。フレーム管理部３は、画像入力部２から画像データを取得し、影消しや照明抑制に用いるための画像情報を転送する。コンテンツＤＢ（データベース）４は、多重投影のコンテンツ（映像）を保持しており、適宜、映像を各プロジェクタ７−１、７−２に対応する影領域補正部５−１、５−２に供給する。
【００２１】
影領域補正部５−１、５−２は、各々、上記画像情報を用いて、コンテンツＤＢ４からの映像の輝度変化を検出し、その輝度変化に応じてプロジェクタ７−１、７−２の出力輝度値を補正する。投影光抑制部６−１、６−２は、各々、影領域補正部５−１、５−２による補正に応じてプロジェクタ７−１、７−２の被写体への投影光を抑制する。
【００２２】
図２は、本第１実施形態による多重投影制御装置の動作を説明するためのフローチャートである。まず、カメラ１で画像を観測し（ステップＳａ１）、フレーム管理部３で観測した画像のフレームを管理する（ステップＳａ２）。フレーム管理部３では、プロジェクタ７−１、７−２を交互に主補正または副補正として選択するようにフレームを管理する。次に、主補正であるか否かを判定し（ステップＳａ３）、主補正である場合には（ステップＳａ３のＹＥＳ）、検出モードであるか否かを判定する（ステップＳａ４）。
【００２３】
そして、検出モードである場合には（ステップＳａ４のＹＥＳ）、選択したプロジェクタの投影光を抑制する（ステップＳａ５）。また、検出モードでない場合には（ステップＳａ４のＮＯ）、コンテンツＤＢ４からの映像に対して、影領域の主補正（輝度の補正）を実行する（ステップＳａ６）。さらに、主補正でない場合には（ステップＳａ３のＮＯ）、コンテンツＤＢ４からの映像に対して、影領域の副補正（輝度の補正）を実行する（ステップＳａ７）。
【００２４】
そして、いずれの場合も、処理が終了したか否かを判別し（ステップＳａ８）、終了していない場合には（ステップＳａ８のＮＯ）、ステップＳａ２に戻り、上述した処理を繰り返す。一方、処理が終了した場合には（ステップＳａ８のＹＥＳ）、当該処理を終了する。
【００２５】
すなわち、まず、１台のプロジェクタ７−１、または７−２を選び、カメラ１で観測した画像に応じて、プロジェクタ７−１、７−２からの出力輝度を交互に補正してスクリーンの影を消去する。次に、その補正による影領域の輝度補正状態を検出し、その結果に応じて投影光を抑制する。この間、それ以外のプロジェクタ７−１、または７−２の輝度は、既知の補正量を用いてスクリーン上の輝度を補正する。
【００２６】
この構成において、プロジェクタ７−１、７−２、カメラ１、並びに、コンテンツＤＢ４は、必ずしも構成要素として接続している必要はなく、処理に必要なデータを取得すればよく、画像入力部２、フレーム管理部３、影領域補正部５−１、５−２、投影光抑制部６−１、６−２から、それぞれの矢印へのデータの流れは、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用するか、または、ネットワークを介して、リモートなデータ資源を利用する形態でもどちらでも構わない。
【００２７】
画像入力部２は、画像を取得する手段であり、カメラ１等で撮像された画像データは、フレーム管理部３へ転送される。画像入力部２で取得する画像の例としては、スクリーン全体が隠れることなく写された画像を用いる。例えば、天井付近の上方にカメラ１を設置し、該カメラ１からスクリーンのみが写るよう撮影された画像を用いても良い。
【００２８】
図３は、本第１実施形態によるフレーム管理部３の動作を説明するためのフローチャートである。まず、時系列の画像を管理するためのフレーム番号を初期化する（ステップＳｂ１）。次に、カメラ１からの画像を取得するため、待機状態となる（ステップＳｂ２）。そして、画像が観測されたか否かを判定し（ステップＳｂ３）、観測されない場合には（ステップＳｂ３のＮＯ）、ステップＳｂ２に戻り、待機状態を継続する。
【００２９】
一方、画像が観測された場合には（ステップＳｂ３のＹＥＳ）、カメラ１からの画像を取得し（ステップＳｂ４）、フレーム番号を更新し（ステップｂ５）、その画像を影領域補正部５−１、５−２へ転送し、同時にＳＷ信号（以下では、例としてフレーム番号とする）を送出する（ステップＳｂ６）。それらの処理が終わると、ステップＳｂ２の待機状態に戻り、再び、上述した処理を繰り返す。
【００３０】
次に、影領域補正の基本原理を説明する。２台のプロジェクタ７−１、７−２について、事前のセットアップで、カラー混合行列：Ｖ１、Ｖ２と、環境光の成分を表す：Ｆを得ておく。以下の説明では、プロジェクタ７−１を主補正対象とし，プロジェクタ７−２を副補正対象とする。
【００３１】
まず、オリジナルの輝度値Ｃを次式（２）、（３）、（４）に示すように分配する。
【００３２】
【数２】
2012249008.tif 000004
【００３３】
【数３】
2012249008.tif 000005
【００３４】
【数４】
2012249008.tif 000006
【００３５】
ここで、プロジェクタ７−１を主補正対象の場合には、γ１＞γ２とする。
【００３６】
次に、プロジェクタ７−１、７−２からの出力輝度Ｐ１、Ｐ２を、カラー混合行列並びに環境光を用いて、それぞれ次式（５）、（６）に示すように補正する。
【００３７】
【数５】
2012249008.tif 000007
【００３８】
【数６】
2012249008.tif 000008
【００３９】
続いて、その補正輝度値をそれぞれのプロジェクタ７−１、７−２から出力する。これらの輝度値がスクリーンに投影されたとき、カメラ１によって観測値Ｃ’が得られたとすると、次式（７）の関係となる。
【００４０】
【数７】
2012249008.tif 000009
【００４１】
一般的には、互いのプロジェクタ７−１、７−２では、独立に輝度を補正しているので、オリジナルの輝度値Ｃは観測されない。そこで、観測輝度値Ｃ’と目標輝度値Ｃとの輝度差ΔＣ：
【００４２】
【数８】
2012249008.tif 000010
【００４３】
をフィードバックさせて、主補正対象であるプロジェクタ７−１の出力輝度を、次式（９）に示すように補正する。
【００４４】
【数９】
2012249008.tif 000011
【００４５】
一方のプロジェクタ７−２については、数式（６）により輝度を補正する。つまり、プロジェクタ７−２は、初期状態と同じ輝度を出力するため、補正輝度値が固定されている。この輝度補正の後、それぞれの補正輝度値を、再び、プロジェクタ７−１、７−２から出力する．
【００４６】
一方、プロジェクタ７−２を主補正対象の場合には、γ２＞γ１として、上記のプロジェクタ７−１を主補正対象とした場合において、プロジェクタ７−１の出力輝度値の補正処理とプロジェクタ７−２の出力輝度値の補正処理とを入れ替えるだけである。よって、フィードバック補正には、主補正対象であるプロジェクタ７−２の出力輝度を次式（１０）に示すように補正する。
【００４７】
【数１０】
2012249008.tif 000012
【００４８】
このように、主補正対象を切り替えながら、次式（１１）を満たす補正輝度値Ｐ１、Ｐ２をそれぞれのプロジェクタ７−１、７−２から出力し、スクリーンの影領域の輝度欠損を補正する。
【００４９】
【数１１】
2012249008.tif 000013
【００５０】
次に、上記原理を踏まえた上で、影領域補正部５−１、５−２の処理について説明する。図４は、本第１実施形態による影領域補正部５−１、５−２の動作を説明するためのフローチャートである。影領域補正部５−１、５−２は、初期状態では、待機状態となって、フレーム番号の受信を待つ（ステップＳｃ１）。そして、フレーム管理部３からフレーム番号を受信すると、それぞれの影領域補正部５−１、５−２では、フレーム判定を行う（ステップＳｃ２）。このフレーム判定では、それぞれのプロジェクタ７−１、７−２が主補正対象のプロジェクタであるか、副補正対象のプロジェクタであるのかをフレーム番号によって判定する。
【００５１】
主補正対象となるのは、１台のプロジェクタであり、２台のプロジェクタから構成されるマルチプロジェクタシステムでは、交互に主補正と副補正とが切り替わることになる。例えば、フレーム番号＃１からフレーム番号＃２までは、プロジェクタ７−１が主補正の対象とし、フレーム番号＃３からフレーム番号＃４までは、プロジェクタ７−２を主補正の対象と判定する。フレーム判定は、それ以降のフレームにおいても、受信したフレーム番号がｆとすると、プロジェクタ７−１では、次式（１２）を計算して、ｍ１、またはｍ２が０ならば、主補正と判定する（数式（１２）のｍｏｄは剰余計算を意味する）。
【００５２】
【数１２】
2012249008.tif 000014
【００５３】
特に、ｍ２が０のときは、被写体への投影光を検出するモード（投影光抑制部６−１の処理）も作動させて、本影領域補正部５−１では、影領域をフィードバック補正する。
【００５４】
一方、プロジェクタ７−２では、次式（１３）を計算して、ｍ３、またはｍ４が０ならば、主補正と判定する（数式（１３）のｍｏｄは剰余計算を意味する）。
【００５５】
【数１３】
2012249008.tif 000015
【００５６】
特に、ｍ４が０のときは、被写体への投影光を検出するモード（投影光抑制部６−２の処理）となり、本影領域補正部５−２では、影領域をフィードバック補正する。
【００５７】
以上を踏まえて、数式（１２）に従った計算の結果、ｍ１が０と判定されたときのプロジェクタ７−１の輝度補正について説明する。主補正と判定されると（ステップＳｃ３のＹＥＳ）、プロジェクタ７−１には、数式（２）により原画像の輝度を分配する（ステップＳｃ４）。次に、検出モードであるか否かを判定し（ステップＳｃ５）、この場合、検出モードでないので（ステップＳｃ５のＮＯ）、その分配された輝度を数式（５）に従って補正し、プロジェクタ７−１から出力するための輝度Ｐ１を求める（ステップＳｃ６）。ここで、投影光抑制部６−１の処理用として観測画像を保持した後、補正された輝度Ｐ１をプロジェクタ７−１から出力する（ステップＳｃ１１）。この処理が完了すると、全ての処理が終了したか否可を判定し（ステップＳｃ１２）、終了していない場合には、次のフレーム番号を受信するために、ステップＳｃ１の待機状態に戻る。
【００５８】
次に、ｍ２が０と判定されたときのプロジェクタ７−１のフィードバック補正について説明する。この場合には、観測画像を使うので、フレーム管理部３を通して観測画像を読み込み、その画像Ｃ’と原画像Ｃとの間において各画素の輝度差ΔＣを数式（８）によって得る（ステップＳｃ９）。さらに、検出モードであるので（ステップＳｃ５のＹＥＳ）、フィードバック補正では、数式（９）を使って、輝度Ｐ１を再び補正する（ステップＳｃ１０）。そして、補正された輝度Ｐ１をプロジェクタ７−１から出力する（ステップＳｃ１１）。この処理が完了すると、全ての処理が終了したか否可を判定し（ステップＳｃ１２）、終了していない場合には、次のフレーム番号を受信するために、ステップＳｃ１の待機状態に戻る。
【００５９】
一方、フレーム判定において、ｍ１、またはｍ２が０と判定される間、プロジェクタ７−２については副補正と判定する（ステップＳｃ３のＮＯ）。この判定の後，プロジェクタ７−２には、数式（３）により原画像の輝度を分配する（ステップＳｃ７）。その分配された輝度を数式（６）に従って補正し、プロジェクタ７−２から出力するための輝度Ｐ２を求める（ステップＳｃ８）。補正された輝度Ｐ２は、プロジェクタ７−２から出力される（ステップＳ１１）。この処理が完了すると、全ての処理が終了したか否可を判定し（ステップＳｃ１２）、終了していない場合には、次のフレーム番号を受信するために、ステップＳｃ１の待機状態に戻る。
【００６０】
次に、数式（１３）に従った計算の結果、ｍ３が０と判定されたときのプロジェクタ７−２の輝度補正について説明する。主補正と判定したとき、プロジェクタ７−２には、数式（３）により原画像の輝度を分配する（ステップＳｃ４：但し、γ２＞γ１）。この場合、検出モードでないので（ステップＳｃ５のＮＯ）、その分配された輝度を数式（６）に従って補正し、プロジェクタ７−２から出力するための輝度Ｐ２を求める（ステップＳｃ６）。ここで、投影光抑制部６−２の処理用として観測画像を保持した後、補正された輝度Ｐ２をプロジェクタ７−２から出力する（ステップＳｃ１１）。この処理が完了すると、全ての処理が終了したか否可を判定し（ステップＳｃ１２）、終了していない場合には、次のフレーム番号を受信するために、ステップＳｃ１の待機状態に戻る。
【００６１】
次に、ｍ４が０と判定されたときのプロジェクタ７−２のフィードバック補正について説明する。この場合には、観測画像を使うので、フレーム管理部３を通して観測画像を読み込み、その画像Ｃ’と原画像Ｃとの間において各画素の輝度差ΔＣを数式（８）によって得る（ステップＳｃ９）。さらに、この場合、検出モードであるので（ステップＳｃ５のＹＥＳ）、フィードバック補正では、数式（１０）を使って輝度Ｐ２を再び補正する（ステップＳｃ１０）。補正された輝度Ｐ２は、プロジェクタ７−２から出力される（ステップＳｃ１１）。この処理が完了すると、全ての処理が終了したか否可を判定し（ステップＳｃ１２）、終了していない場合には、次のフレーム番号を受信するために、ステップＳｃ１の待機状態に戻る。
【００６２】
一方、フレーム判定において、ｍ３、またはｍ４が０と判定される間、プロジェクタ７−１については、副補正と判定する（ステップＳｃ３のＮＯ）。この判定の後、プロジェクタ７−１には、数式（２）により原画像の輝度を分配する（ステップＳｃ７：但し、γ２＞γ１）。その分配された輝度を数式（５）に従って補正し、プロジェクタ７−１から出力するための輝度Ｐ１を求める（ステップＳｃ８）。補正された輝度Ｐ１は、プロジェクタ７−１から出力される。この処理が完了すると、全ての処理が終了したか否可を判定し（ステップＳｃ１２）、終了していない場合には、次のフレーム番号を受信するために待機状態に戻る。
【００６３】
図５は、本第１実施形態による投影光抑制部６−１、６−２の動作を説明するためのフローチャートである。フレーム判定において、ｍ２、またはｍ４が０と判定されたとき、投影光抑制部６−１、６−２の処理が実行される。この処理は、プロジェクタ７−１、プロジェクタ７−２でも同様に処理するので、以下では、プロジェクタ７−１に対する投影光抑制部６−１の処理について説明する。
【００６４】
投影光抑制部６−１、６−２は、初期状態では、待機状態となって、フレーム番号の受信を待つ（ステップＳｄ１）。そして、フレーム管理部３からフレーム番号を受信すると、それぞれの投影光抑制部６−１、６−２では、フレーム判定を行う（ステップＳｄ２）。次に、フレーム判定結果に従って検出モードであるか否かを判定する（ステップＳｄ３）。この判定は、図４の検出モードと連動しており、図４の検出モードが「ＹＥＳ」と判定するときは、図５の検出モードも「ＹＥＳ」と判定する。そして、フレーム判定において、ｍ２が０のとき、現在のスクリーンを撮影した画像を観測する。
【００６５】
一方、フレーム判定において、ｍ１が０のとき検出モードと判定し（ステップＳｄ３のＹＥＳ）、一つ前の観測画像が保持されているので読み込んで（ステップＳｄ４）、該一つ前の観測画像との輝度変化を検出する（ステップＳｄ５）。輝度変化の検出では、画像間の各画素について順番に輝度値の差分を計算し、その差分が許容値より超えた場合には、輝度が大きく変化した画素を検出する。
【００６６】
次に、被写体領域を判定する（ステップＳｄ６）。被写体領域の判定では、輝度変化が大きく変化した場合には、その画素は、被写体に投影光が当たっていないと判定し、逆に、その差分が許容値より超えずに、輝度がほとんど変化しない場合には、その画素からの投影光が、被写体に当たっていると判定する（被写体に光が当たるため、スクリーンには、補正された輝度が到達していないため）。プロジェクタ７−２からの出力輝度が低めに固定されているので、被写体領域の判定では、プロジェクタ７−１からの投影光が被写体に当たっているかの判定を円滑に処理することができる。
【００６７】
次に、マスク画像を生成する（ステップＳｄ７）。マスク画像の生成では、被写体に当たると判定された画素のマスク値を０、そうでない画素のマスク値を１にセットしたマスク画像を生成する。そのマスク画像において、マスク値が１のとき、プロジェクタ７−１、７−２から補正された輝度を出力し、マスク値が０のとき、プロジェクタ７−１、７−２から補正された輝度を０とする。
【００６８】
次に、投影光を抑制する（ステップＳｄ８）。投影光の抑制では、補正された輝度値にマスク画像の画素値（０または１）を掛け合わせて、プロジェクタ７−１、７−２から出力して被写体への投影光を抑制する。そして、処理が終了したか否かを判定し（ステップＳｄ９）、終了していない場合には、ステップＳｄ１に戻り、上述した処理を繰り返す。一方、全ての処理が終了した場合には、当該処理を終了する。
【００６９】
Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
第１実施形態の処理は、２台のプロジェクタ７−１、７−２を交互に輝度補正する手法である。これに対して、本第２実施形態では、３台以上のプロジェクタから構成されるマルチプロジェクタシステムにおいて本発明を拡張したものである。
【００７０】
図６は、本第２実施形態による、Ｎ台のプロジェクタを用いた多重投影制御装置の構成を示すブロック図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。図６において、本第２実施形態では、カメラ１、画像入力部２、フレーム管理部３、コンテンツＤＢ４、影領域補正部５−１〜５−Ｎ、投影光抑制部６−１〜６−Ｎ、Ｎ台のプロジェクタ７−１〜７−Ｎを備えている。
【００７１】
原理は、第１実施形態と同様であるが、Ｎ台のプロジェクタに対して、原画像の輝度を分配する点と、フレーム判定に従って、１台ずつ順番に、プロジェクタに対して輝度補正、フィードバック補正の処理を行う点が異なる。以下では、その差分のみを説明する。
【００７２】
フレーム判定では、フレーム番号が＃１と＃２のときに、プロジェクタ７−１を主補正の対象に、フレーム番号が＃３と＃４のときに、プロジェクタ７−２を主補正の対象に、フレーム番号が＃２ｋ−１と＃２ｋのときに、プロジェクタ７−ｋを主補正の対象に、フレーム番号が＃２Ｎ−１と２Ｎのときに、プロジェクタ７−Ｎを主補正の対象に、それぞれ判定するように、次式（１４）を計算して、ｍ２ｋ−１、またはｍ２ｋが０ならば、プロジェクタ７−ｋを主補正の対象と判定する。
【００７３】
【数１４】
2012249008.tif 000016
【００７４】
それ以外のプロジェクタ７−ｊ（≠ｋ）、ｊ＝１，２，…，Ｎは副補正と判定する。フレーム判定の後、原画像の輝度値Ｃをそれぞれ次式（１５）に示すように分配する。
【００７５】
【数１５】
2012249008.tif 000017
【００７６】
ここで、主補正対象のプロジェクタ７−ｋの係数は、γｋ＞γｊ，（ｊ＝１，２，…，Ｎ，ｊ≠ｋ）とする。
【００７７】
ｍ２ｋ−１が０のとき、この輝度分配に従って、全てのプロジェクタ７−１〜７−Ｎは、次式（１６）に示すように輝度補正し、ｍ２ｋが０のときは、フレーム管理部３を通して観測画像を読み出し、その画像Ｃ’と原画像Ｃとの間において、各画素の輝度差を数式（８）によって得て、フィードバック補正により、次式（１７）に示すように、プロジェクタ７−ｋの輝度Ｐ１を再び補正する。このとき、投影光抑制部６−ｋにおいて、被写体検出が行われ、マスク画像を生成し、被写体への投影光を抑制する。
【００７８】
【数１６】
2012249008.tif 000018
【００７９】
【数１７】
2012249008.tif 000019
【００８０】
フレーム判定に従って、カメラ１で観測した輝度Ｃが、次式（１８）に示す条件を満たすまで、順番に各プロジェクタ７−１〜７−Ｎからの輝度を補正しつつ、そのプロジェクタ７−１〜７−Ｎからの投影光が被写体を照明する場合には、その光を抑制する処理を繰り返す。
【００８１】
【数１８】
2012249008.tif 000020
【００８２】
なお、本発明は、前述した第１、第２実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム、あるいは装置に供給し、そのシステム、あるいは装置のＣＰＵ（ＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても実現できる。その場合、記憶媒体から読み出されたプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＨＤＤ等は本発明を構成する。
【符号の説明】
【００８３】
１  カメラ
２  画像入力部
３  フレーム管理部
４  コンテンツＤＢ
５−１〜５−Ｎ  影領域補正部
６−１〜６−Ｎ  投影光抑制部
７−１〜７−Ｎ  プロジェクタ
【図１】
2012249008.tif 000021
【図２】
2012249008.tif 000022
【図３】
2012249008.tif 000023
【図４】
2012249008.tif 000024
【図５】
2012249008.tif 000025
【図６】
2012249008.tif 000026