(57)【要約】【課題】マルチプロジェクションシステムの重畳領域の輝度補正をする場合、不自然な輝度ムラが生じたり、輝度およびコントラストが大幅に低下してしまう。【解決手段】各プロジェクタの投影領域の少なくとも一部を重畳させるようにして結合投影領域を形成するように配置した複数のプロジェクタで構成されるマルチプロジェクションシステムにおいて、前記複数のプロジェクタの輝度特性に基づいて、前記結合投影領域の水平または垂直1ラインにおける2点間の輝度分布が凹関数により規定される輝度分布となるように、投影する画像データを補正する。【選択図】図２
2013229846.tif 000002
【特許請求の範囲】
【請求項１】
各プロジェクタの投影領域の少なくとも一部を重畳させるようにして結合投影領域を形成するように配置した複数のプロジェクタで構成されるマルチプロジェクションシステムであって、
前記複数のプロジェクタの輝度特性に基づいて、前記結合投影領域の水平または垂直１ラインにおける２点間の輝度分布が凹関数により規定される輝度分布となるように、投影する画像データを補正する補正手段を備えることを特徴とするマルチプロジェクションシステム。
【請求項２】
前記結合投影領域の輝度分布は、各プロジェクタの出力可能な最高輝度値に基づくことを特徴とする請求項１に記載のマルチプロジェクションシステム。
【請求項３】
前記補正手段は、前記輝度分布が該分布に対応する投影領域の前記最高輝度値よりも低くなるように該輝度分布を決定することを特徴とする請求項２に記載のマルチプロジェクションシステム。
【請求項４】
前記複数のプロジェクタから投影したキャリブレーション画像データを撮像する撮像手段をさらに備え、
前記補正手段は、前記撮像手段による撮像によって前記プロジェクタの輝度特性を取得することを特徴とする請求項１から３のいずれかに記載のマルチプロジェクションシステム。
【請求項５】
前記輝度分布を、水平または垂直１ラインにおける２点間の輝度が凹関数により規定される分布となる範囲内で設定する設定手段をさらに備えることを特徴とする請求項１から４のいずれかに記載のマルチプロジェクションシステム。
【請求項６】
前記補正手段は、前記結合投影領域の両端と中央に位置する画素との輝度値に基づいて前記輝度分布を決定することを特徴とする請求項１から５のいずれかに記載のマルチプロジェクションシステム。
【請求項７】
前記補正手段は、前記両端に位置する画素の輝度値を、前記複数のプロジェクタのうち輝度特性の低いプロジェクタの輝度値を適用して前記輝度分布を決定することを特徴とする請求項６に記載のマルチプロジェクションシステム。
【請求項８】
前記結合投影領域の輝度分布は、各プロジェクタの出力可能な最低輝度値に基づくことを特徴とする請求項１に記載のマルチプロジェクションシステム。
【請求項９】
前記補正手段は、前記輝度分布が該分布に対応する投影領域の前記最低輝度値よりも高くなるように該輝度分布を決定することを特徴とする請求項８に記載のマルチプロジェクションシステム。
【請求項１０】
各投影手段の投影領域の少なくとも一部を重畳させるようにして結合投影領域を形成するように配置した複数の投影手段の輝度特性を取得する取得手段と、
前記取得した複数の投影手段の輝度特性に基づいて、前記結合投影領域の水平または垂直１ラインにおける２点間の輝度分布が凹関数により規定される輝度分布となるように、投影する画像データを補正する補正手段と
を備えることを特徴とする画像処理装置。
【請求項１１】
各投影手段の投影領域の少なくとも一部を重畳させるようにして結合投影領域を形成するように配置した複数の投影手段の輝度特性を取得する取得ステップと、
前記取得した複数の投影手段の輝度特性に基づいて、前記結合投影領域の輝度分布が、水平または垂直１ラインにおける２点間の輝度分布が凹関数により規定される輝度分布となるように、投影する画像データを補正する補正ステップと
を有することを特徴とする画像処理方法。
【請求項１２】
請求項１１に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチプロジェクションシステムにおける輝度を調整するための画像処理装置及び画像処理方法に関するものである。
【背景技術】
【０００２】
マルチプロジェクションシステムは、複数のプロジェクタを並べて画像を投影することにより、個々のプロジェクタの性能を超える解像度での画像表示を可能とする。マルチプロジェクションシステムで、画像を投影する際には一般に、各プロジェクタからの投影領域間に隙間が生じないよう、隣り合うプロジェクタの投影領域が一部重畳するようにプロジェクタを設置する。投影領域内における重畳部分（以後、重畳領域と表記する）では、各プロジェクタからの光が重なることで輝度が高くなるため、重畳領域とそれ以外の部分（以後、非重畳領域と表記する）との境界部において不自然な輝度のギャップが生じる。
【０００３】
このギャップを抑える技術として例えば、特許文献１に記載されている画像の輝度補正技術がある。該文献には、各プロジェクタから投影する画像の各画素の輝度値の補正を行う輝度補正パラメータを算出する手法が述べられている。具体的には、重畳領域と非重畳領域を合わせた領域（以後、全投影領域と表記する）において輝度が一定になるように、あるいは、重畳領域と非重畳領域との境界部の輝度が滑らかに変化するように、補正を行うことが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−１１６５００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、全投影領域において輝度が一定になるように輝度補正パラメータを算出する場合、輝度値を補正前の全投影領域における最低輝度に揃えることになるので、表示可能な輝度及びコントラストが低下するという問題が生じる。
【０００６】
また、各プロジェクタの投影中心の輝度は一般的に周辺部の輝度に比べて高い。従って、重畳領域と非重畳領域との境界部において輝度変化が滑らかになるように補正したとしても、全投影領域で見た場合には複数の輝度ピークを持った山が連続したような不自然な輝度ムラが生じる。
【課題を解決するための手段】
【０００７】
本発明に係るマルチプロジェクションシステムは、各プロジェクタの投影領域の少なくとも一部を重畳させるようにして結合投影領域を形成するように配置した複数のプロジェクタで構成されるマルチプロジェクションシステムであって、前記複数のプロジェクタの輝度特性に基づいて、前記結合投影領域の水平または垂直1ラインにおける2点間の輝度分布が凹関数により規定される輝度分布となるように、投影する画像データを補正する補正手段を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、全投影領域において不自然な輝度ムラを抑制しながら輝度およびコントラストの低下を最小限に抑えた輝度補正処理を可能となる。
【図面の簡単な説明】
【０００９】
【図１】実施例１におけるプロジェクタの特性と課題の関係例を示した図である。
【図２】実施例１におけるマルチプロジェクションシステムの全体構成例を示した図である。
【図３】実施例１における画像処理部の内部構成例を示すブロック図である。
【図４】実施例１における全体処理の流れの一例を示すフローチャートである。
【図５】実施例１の目標輝度分布生成部における処理の流れの一例を示すフローチャートである。
【図６】実施例１における水平方向１ライン分の目標輝度分布算出の一例の説明図である。
【図７】実施例１における目標輝度分布画像生成の一例の説明図である。
【図８】実施例１におけるプロジェクタ３台を使用した際の目標輝度分布算出の一例の説明図である。
【図９】実施例１における画像分割の一例の説明図である。
【図１０】実施例１の輝度補正パラメータ算出部における処理の流れの一例を示すフローチャートである。
【図１１】実施例１における重畳領域内の輝度補正パラメータの一例を説明するための図である。
【図１２】実施例１において算出した輝度補正パラメータの一例を示した図である。
【図１３】実施例２における画像処理部の内部構成例を示すブロック図である。
【図１４】実施例２における処理の流れの一例を示すフローチャートである。
【図１５】実施例２における目標輝度分布設定のユーザインタフェースの一例を示した図である。
【図１６】実施例３における水平方向１ライン分の目標輝度分布算出の一例の説明図である。
【図１７】実施例１の効果を幾何学的に計算した一例の説明図である。
【図１８】実施例４における水平方向１ライン分の目標輝度分布算出の一例の説明図である。
【発明を実施するための形態】
【００１０】
［実施例１］
一般に、プロジェクタの投影領域における輝度分布は一様ではなく、中央部よりも周辺部の輝度が低いという特性を持つ。また、プロジェクタの個体ごとのランプ性能に応じて、出力可能な最高輝度が異なる。
【００１１】
そこで本実施例では、全投影領域の中央部の輝度を高く、周辺部ほど輝度を低く補正することで、不自然な輝度ムラを抑制しながら全投影領域における輝度及びコントラストの低下を最小限に抑えた輝度補正を行う。
【００１２】
以下、本実施例では説明の簡略化のため、２台のプロジェクタを水平方向に並べて配置するマルチプロジェクションシステムを例に説明する。２台のプロジェクタは各投影領域が一部重畳するように設置する。このとき、２台のプロジェクタはスクリーン面に正対しており、スクリーン面まで等距離であるものとする。さらに、各プロジェクタ間の色差やガンマ特性が予め補正されており、プロジェクタの光は任意のタイミングで遮光できるものとする。
【００１３】
２台のプロジェクタを水平方向に並べて投影したときの輝度補正前後の輝度分布は図１のようになる。輝度分布は、各プロジェクタの輝度特性を表している。図１（ａ）は、画素値が全てＲ＝Ｇ=Ｂ=２５５（すなわち白）である画像（以後、全白画像と表記する）を２台のプロジェクタで同時に投影し、投影した全白画像を撮像した撮像画像データを表している。この撮像画像データ内の点線部に沿った輝度分布の補正前後を表したグラフを図１（ｂ）に示す。図１（ｂ）の横軸は画素位置、縦軸は輝度値を示している。輝度値Ｌは例えば、Ｌ＝０．２９８９＊Ｒ＋０．５８６６＊Ｇ＋０．１１４５＊Ｂで撮像画像データから算出できる。以後、投影領域の輝度分布を表す際は、撮像画像データ内の投影領域における１ライン分の輝度分布を表すものとし、横軸は画素位置、縦軸は輝度値を示すものとする。図１（ｂ）は、プロジェクタＡの最高輝度値がプロジェクタＢの最高輝度値よりも高いことを示している。また、図１（ｂ）から明らかなように、プロジェクタＡとプロジェクタＢの重畳領域においては補正前では不自然な輝度のギャップが生じているが、補正後ではこの不自然な輝度のギャップが解消していることがわかる。
【００１４】
図２は、本実施例におけるマルチプロジェクションシステムの全体構成例を示した図である。マルチプロジェクションシステムの制御を行うためのＰＣなどの情報処理装置２０１は、入力画像データ記憶部２０２、撮像制御部２０３、撮像画像データ記憶部２０４、画像処理部２０５、画像投影制御部２０６から構成される。情報処理装置２０１は画像データを処理する画像処理装置とすることができる。また、情報処理装置２０１に、カメラなどの撮像装置２０７がＵＳＢケーブルなどで接続されており、プロジェクタ２０８Ａ、２０８ＢがＨＤＭＩケーブルなどでそれぞれ接続されている。入力画像データ記憶部２０２には、表示したい画像データ（以後、表示画像データと表記する）や輝度補正に用いるキャリブレーション画像データが格納される。キャリブレーション画像データは、例えば上述したような画素値が全てＲ＝Ｇ=Ｂ=２５５（すなわち白）である全白画像を示す画像データである。撮像制御部２０３は、撮像装置２０７を制御する。撮像画像データ記憶部２０４には、撮像装置２０７で撮像した撮像画像データが格納される。画像処理部２０５は、撮像画像データを基に表示画像データの輝度を補正し、輝度補正画像データを生成する。画像投影制御部２０６は、プロジェクタ２０８Ａ、２０８Ｂを制御して、入力画像データ記憶部２０２に格納されている画像データが示すキャリブレーション画像データや画像処理部２０５にて生成した画像データが示す輝度補正された画像の投影を行う。なお、各プロジェクタからスクリーン２０９に画像を投影したときのスクリーン２０９上の全投影部分を投影領域２１０とし、投影領域内における重畳部分を重畳領域２１１とする。このように、投影領域２１０は各プロジェクタの投影領域の少なくとも一部を重畳させるように形成した場合、結合投影領域ということができる。
【００１５】
図３は本実施例の画像処理部２０５の内部構成例を示すブロック図である。画像処理部２０５は、画像データ入力部３０１、目標輝度分布生成部３０２、画像データ分割部３０３、輝度補正パラメータ算出部３０４、輝度補正処理部３０５から構成される。画像データ入力部３０１は、入力画像データ記憶部２０２に格納されている表示画像データＦ及びキャリブレーション画像データＧ、並びに、撮像画像データ記憶部２０４に格納されている撮像画像データＨを取得する。目標輝度分布生成部３０２は、撮像画像データＨを基に全投影領域の理想的な輝度分布を表した目標輝度分布画像データＫを生成する。画像データ分割部３０３は、撮像画像データＨを基に表示画像データＦと目標輝度分布画像データＫとを分割し、表示分割画像データｆ及び目標輝度分布分割画像データｋを生成する。輝度補正パラメータ算出部３０４は、撮像画像データＨと目標輝度分布分割画像データｋとを基に、表示分割画像データｆの輝度値を補正するための輝度補正パラメータＷを算出する。輝度補正処理部３０５は、輝度補正パラメータＷを基に表示分割画像データｆの輝度値を補正し、輝度補正画像データｆ’を生成する。以後、表示用画像データＦ及び目標輝度分布画像データＫが示す画像の幅、高さをそれぞれｕ１、ｖ１とし、撮像画像データＧが示す画像の幅、高さをそれぞれｕ２、ｖ２とする。また、表示分割画像データｆ、目標輝度分割画像データｋ、及び輝度補正後画像データｆ’が示す画像並びに各プロジェクタの画面解像度の幅、高さ、をそれぞれｕ３、ｖ３とする。説明を簡単にするために、表示画像データＦと撮影画像データＧ内の全投影領域のアスペクト比が一致しているものとする。
【００１６】
図４は本実施例のマルチプロジェクションシステムにおける処理の流れを示すフローチャートである。以下、同図のフローチャートを用いて本実施例における全体の処理フローを説明する。図４に示す処理は、情報処理装置２０１のＲＡＭやＲＯＭなどに格納されたプログラムをＣＰＵが実行することによって実現される。
【００１７】
ステップＳ４０１では、画像投影制御部２０６が各プロジェクタを制御してキャリブレーション画像データＧを各プロジェクタから投影する。そして、撮像制御部２０３が撮像装置２０７を制御することで各プロジェクタによって投影された投影領域２１０を撮像する。本ステップでは、プロジェクタ２０８Ａ、２０８Ｂを個別に用いる個別撮像と、両方のプロジェクタを同時に用いる全体撮像の２種類の撮像を行う。
【００１８】
まず、プロジェクタ２０８Ａの場合を例に個別撮像について説明する。個別撮像は、プロジェクタ２０８Ａからキャリブレーション画像データＧを投影した状態で実行する。プロジェクタ２０８Ａからスクリーン２０９に投影したときの投影領域２１０を投影領域２１０Ａとし、これを撮像装置２０７で撮像して撮像画像データＨAを得る。プロジェクタ２０８Ｂについても同様に撮像を行い、撮像画像データＨBを得る。
【００１９】
次に、全体撮像について説明する。全体撮像は、各プロジェクタからキャリブレーション画像データＧを同時に投影した状態で実行する。各プロジェクタからスクリーン２０９に投影したときの投影領域２１０を投影領域２１０Ａ＋Ｂとし、投影領域２１０Ａ＋Ｂを撮像装置２０７で撮像して撮像画像データＨA+Bを得る。
【００２０】
個別撮像および全体撮像で得られた撮像画像データは、それぞれ撮像画像データ記憶部２０４に格納される。
【００２１】
ステップＳ４０２では、目標輝度分布生成部３０２が、全体撮像で得られた撮像画像データＨA+Bから投影領域２１０Ａ＋Ｂの理想的な輝度分布を表した目標輝度分布画像データＫを生成する。目標輝度分布画像データＫの生成についての詳細は後述する。
【００２２】
ステップＳ４０３では、画像データ分割部３０３が、表示画像データＦから各プロジェクタが投影する表示分割画像データｆA、ｆBを生成する。また、画像データ分割部３０３が、目標輝度分布画像データＫから各プロジェクタの投影領域の理想的な輝度分布を表した目標輝度分布分割画像データｋA、ｋBを生成する。表示画像データＦと目標輝度分布画像データＫのそれぞれの分割方法についての詳細は後述する。
【００２３】
ステップＳ４０４では、輝度補正パラメータ算出部３０４が、目標輝度分布分割画像データｋA、ｋBを用いて、表示用分割画像データｆA、ｆBの輝度値を補正するための輝度補正パラメータＷA、ＷBを算出する。輝度補正パラメータＷA、ＷBの算出方法についての詳細は後述する。
【００２４】
ステップＳ４０５では、輝度補正パラメータＷA、ＷBに基づいて表示分割画像データｆA、ｆBの輝度値を画素ごとに補正し、輝度補正画像データｆ’A、 ｆ’Bを生成する。本実施例における輝度値補正の計算式の一例を次式で表す。
【００２５】
【数１】
2013229846.tif 000003
【００２６】
ただし、ｆ’ｚ（ｉ，ｊ）は四捨五入した整数値とする。
【００２７】
ここで、各画像の左上角の画素を原点、水平方向の画素位置をｉ、垂直方向の画素位置をｊとする。
【００２８】
最後に、ステップＳ４０６では、画像投影制御部２０６が各プロジェクタを制御し、輝度補正画像データｆ’A、 ｆ’Bが示す画像を各プロジェクタからスクリーン２０９に投影し、処理を終了する。
【００２９】
＜目標輝度分布画像データ生成＞
ここでは、ステップＳ４０２で行う投影領域２１０Ａ＋Ｂの目標輝度分布画像データ生成について説明する。目標輝度分布画像データＫは、投影領域２１０Ａ＋Ｂの理想的な輝度分布を表す。なお、撮像画像と表示画像とは解像度の違いなどにより同サイズであるとは限らない。そこで、目標輝度分布画像データＫを生成する前に、撮像画像データＨA+Bが示す画像と同サイズである画像を示すプレ目標輝度分布画像データＫ’を生成する。プレ目標輝度分布画像データＫ’は、水平方向１ラインずつ目標輝度分布を求め、全ラインの目標輝度分布を算出することで得られる。その後、プレ目標輝度分布画像データＫ’を基に表示画像データＦが示す画像と同サイズの画像を示す目標輝度分布画像データＫを生成する。
【００３０】
図５は目標輝度分布生成部３０２における処理の流れを示すフローチャートである。以下、同図のフローチャートを用いて説明する。
【００３１】
まず、ステップＳ５０１では、目標輝度分布生成部３０２は、撮像画像データＨA+Bが示す画像と同サイズの画像を示すプレ目標輝度分布画像データＫ’を生成し、各画素の画素値を例えば０（すなわち、全黒画像）で初期化する。
【００３２】
次に、ステップＳ５０２では、目標輝度分布生成部３０２は、プレ目標輝度分布画像データＫ’について全ラインの目標輝度分布を算出したかの判定を行う。全ラインにおいて目標輝度分布の算出が完了していればステップＳ５０８へ進み、そうでなければステップＳ５０３へ進む。
【００３３】
ステップＳ５０３では、目標輝度分布生成部３０２は、処理する水平方向１ラインを選択し、その１ラインに対してステップＳ５０４〜Ｓ５０７の処理を行う。
【００３４】
ステップＳ５０４では、目標輝度分布生成部３０２は、撮像画像データＨA+Bが示す画像内の投影領域２１０ＨA+Bにおける代表点の画素位置と輝度値とを取得する。まず、目標輝度分布生成部３０２は、投影領域２１０ＨA+Bの両端に相当する画素Ｐ１、Ｐ２と、投影領域２１０ＨA+Bの中心に相当する画素Ｐ３をそれぞれ代表点として取得する。また、目標輝度分布生成部３０２は、当該代表点の画素位置ｉPmと輝度値ＬｉPm（ｍ＝１、２、３）とをそれぞれ取得する。なお、以後、スクリーン２０９上の投影領域２１０と、撮像画像データＨが示す画像内の投影領域とを区別するために、撮像画像データＨが示す画像内の投影領域を投影領域２１０ＨZ（Ｚ＝Ａ、Ｂ、Ａ＋Ｂなど）と表記する。 
【００３５】
ステップＳ５０５では、目標輝度分布生成部３０２は、３つの代表点を通過する二次関数を求めることで目標輝度分布を算出する。一般に、３点（ｘ1、ｙ1）、（ｘ2、ｙ2）、（ｘ3、ｙ3）を通過する二次関数ｙ＝ａｘ2＋ｂｘ＋ｃについて以下の式が成り立つ。 
【００３６】
【数２】
2013229846.tif 000004
【００３７】
この連立方程式を行列で表すと次式のように記述でき、ガウス・ジョルダン法を用いることで３つの係数ａ、ｂ、ｃを求めることができる。
【００３８】
【数３】
2013229846.tif 000005
【００３９】
本実施例では、式３において（ｘ1，ｙ1）＝（ｉP1，ＬP1）、（ｘ2，ｙ2）＝（ｉP2，ＬP2）、（ｘ3，ｙ3）＝（ｉP3，ＬP3）として係数ａ、ｂ、ｃを求めることにより、Ｐ１、Ｐ２、Ｐ３を結ぶ２次曲線を得る。そしてこの２次曲線を１ライン分の目標輝度分布とする。
【００４０】
ステップＳ５０６では、目標輝度分布生成部３０２は、各プロジェクタが目標輝度分布の通りに出力できるかの判定を行う。判定方法は、目標輝度分布が撮像画像データＨA+B内の投影領域２１０ＨA+Bの輝度分布内に収まる場合は出力可能とし、そうでなければ出力不可能とする。具体的には、ステップＳ５０５で算出した目標輝度分布の各画素の輝度値Ｌiと、撮像画像データＨA+Bの同じ画素位置の画素の輝度値Ｌ’iとを比較し、全画素についてＬi≦Ｌ’iの場合は出力可能とし、そうでない場合は出力不可能とする。出力可能であれば、ステップＳ５０５を完了してステップＳ５０２へ戻り、そうでなければステップＳ５０７へ進む。
【００４１】
ステップＳ５０７では、目標輝度分布生成部３０２は、代表点Ｐ３の輝度値を下げ、ステップＳ５０５へ戻る。代表点Ｐ３の輝度値の下げ幅は、例えば、１ライン内の最大輝度値と最小輝度値の差の１０分の１程度に設定することができる。ただし、下げ幅が小さいとステップＳ５０５〜Ｓ５０７の処理回数が増加するため、処理時間を短縮したい場合には下げ幅を大きく設定することができる。
【００４２】
図６は、算出した１ライン分の目標輝度分布の例を示す。線６０１は撮像画像データＨA+B内の投影領域２１０ＨA+Bにおける１ライン分の輝度分布、すなわち補正前の輝度分布を示している。線６０２は、代表点を単純につないだ状態の輝度分布を示している。線６０２の輝度分布では、各プロジェクタが出力できない目標輝度が含まれてしまう。そこで、本実施例では代表点Ｐ３の目標輝度値を下げて再度２次曲線を算出して線６０３のようなステップＳ５０５〜Ｓ５０７の処理により算出した１ライン分の目標輝度分布を算出する。なお、本実施例では、複数のプロジェクタのうち、出力可能な輝度が低いプロジェクタに併せて目標輝度分布を算出している。前述したように、プロジェクタの特性として、通常は中央部分の輝度値が高く、周辺部分に向かって輝度値が低くなる傾向がある。そこで、本実施例では、図６に示すようにプロジェクタＡとプロジェクタＢとの両端部分の輝度値を比較して、輝度値が低いプロジェクタＢの端部ｉP2の輝度値ＬP2にプロジェクタＡの端部ｉP1の輝度値を設定する。そして、目標輝度分布を算出している。このように、出力可能な輝度が低いプロジェクタに併せて目標輝度分布を算出することで、他方のプロジェクタの出力特性が著しく低い場合であっても、輝度およびコントラストの低下を最小限に抑えることができる。
【００４３】
尚、本実施例では、撮像画像データＨA+B内の投影領域２１０ＨA+Bの両端と中央の画素を代表点とし、それらを結ぶ２次曲線を得ることで１ライン分の目標輝度分布を算出する例を説明した。しかし、投影領域２１０Ａ＋Ｂの中央部の輝度が高く周辺部の輝度が低くなるような輝度分布が得られるのであれば、曲線の求め方はこれに限定されない。例えば、代表点を増やし、四次関数を得ることで目標輝度分布を算出してもよい。
【００４４】
全ラインについてステップＳ５０３〜Ｓ５０７により目標輝度分布の算出することでプレ目標輝度分布画像データＫ’が生成される。その後、ステップＳ５０８で、目標輝度分布生成部３０２は、プレ目標輝度分布画像データＫ’から目標輝度分布画像データＫを生成する。プレ目標輝度分布画像データＫ’から目標輝度分布画像データＫを生成する理由は、上述したように解像度の違いによる画像サイズの違いを解消するためである。
【００４５】
具体的には、図７（ａ）に示すように、プレ目標輝度分布画像データＫ’から、算出した目標輝度分布の４隅の画素ＰK'1〜ＰK'4の画素位置を取得する。次に、画素ＰK'1〜ＰK'4が表示画像データＦと同サイズになるように射影変換を行う。一般に、射影変換では変換前画像の画素位置を（ｘ，ｙ）、変換後画像の画素位置を（ｘ’，ｙ’）とすると、ｘ、ｙ、ｘ’、ｙ’の関係は次式で表すことができる。
【００４６】
【数４】
2013229846.tif 000006
【００４７】
上式において、ａ１〜ａ８は変換前画像と変換後画像との間の射影変換パラメータである。式４を展開し、変換前画像内の画素位置Ｐ1（ｘ1，ｙ1）〜Ｐ4（ｘ4，ｙ4）と、変換後画像内の画素位置Ｑ1（ｘ’1，ｙ’1）〜Ｑ4（ｘ’4，ｙ’4）を代入することで次式の連立方程式を導くことができる。
【００４８】
【数５】
2013229846.tif 000007
【００４９】
上式を解くことにより、射影変換パラメータａ１〜ａ８を算出する。本実施例では、変換前画像の画素位置Ｐ1（ｘ1，ｙ1）〜Ｐ4（ｘ4，ｙ4）をプレ目標輝度分布画像データＫ’の画素位置ＰK'1（ｘ1，ｙ1）〜ＰK'4（ｘ4，ｙ4）とする。また、変換後画像の画素位置Ｑ1（ｘ’1，ｙ’1）〜Ｑ4（ｘ’4，ｙ’4）を目標輝度分布画像データＫの画素位置ＱK1（ｘ’1，ｙ’1）〜ＱK1（ｘ’4，ｙ’4）として射影変換パラメータを算出する。そして、そのパラメータに基づいて射影変換を行うことで、図７（ｂ）に示す目標輝度分布画像データＫを得る。なお、目標輝度分布画像データＫの画素位置ＱK1（ｘ’1，ｙ’1）〜ＱK1（ｘ’4，ｙ’4）は、表示画像データＦの表示サイズに基づいて求めることができる。
【００５０】
以上で説明した処理により、目標輝度分布生成部３０２は、投影領域２１０Ａ＋Ｂの理想的な目標輝度分布を示した目標輝度分布画像データＫを生成する。
【００５１】
尚、本実施例においてはプロジェクタ２台を水平方向に並べて構成する場合を例として説明したが、３台以上のプロジェクタを水平方向に並べて構成してもよい。図８は、プロジェクタ３台を水平方向に並べてステップＳ５０１〜Ｓ５０７の処理を行い、ある１ライン分の目標輝度分布を算出した場合の例を示す。線８０１は撮像画像データＨA+B+C内の投影領域２１０ＨA+B+Cの輝度分布、すなわち補正前の輝度分布を示している。線８０２は、代表点を単純につないだ状態の輝度分布を示している。線８０３はステップＳ５０５〜Ｓ５０７の処理により算出した目標輝度分布を示している。
【００５２】
また、プロジェクタを垂直方向に並べてもよいことは言うまでもない。例えば、ステップＳ５０２〜Ｓ５０７を水平方向１ラインではなく、垂直方向１ラインに変更して処理することで垂直方向に対応することができる。さらに、プロジェクタを水平方向および垂直方向に複数台並べた場合は、ステップＳ５０２〜Ｓ５０７を水平方向と垂直方向両方について１ラインごとに行い、輝度値の小さい方を目標輝度として目標輝度分布画像データＫを生成することができる。
【００５３】
＜画像分割＞
ここでは、画像データ分割部３０３がステップＳ４０３で行う画像分割処理について図９を用いて説明する。各プロジェクタによって輝度の補正の度合いが異なるので、目標輝度分布画像データＫと表示画像データＦとをそれぞれのプロジェクタが出力する画像サイズの画像データに分割する。本処理により、各プロジェクタが投影する画像を示す表示分割画像データｆA、ｆB、および各プロジェクタの投影領域の理想的な輝度分布を表した目標輝度分布分割画像データｋA、ｋBを生成する。表示分割画像データｆA、ｆB、および目標輝度分布分割画像データｋA、ｋBを生成するにあたり、射影変換パラメータを算出する。以下、射影変換パラメータの算出方法を説明する。
【００５４】
図９（ａ）は、撮像画像データＨA+Bと表示画像データＦとが示す画像の例を示した図である。まず、撮像画像データＨA+B内の投影領域２１０ＨA、２１０ＨBの四隅の画素ＰHA1〜ＰHA4、ＰHB1〜ＰHB4の画素位置を取得する。ＰHA2、ＰHA3、ＰHB1、ＰHB4の画素位置は、たとえば図１（ｂ）に示すように輝度値が急激に変化している箇所に基づいて取得することができる。次に、画素ＰHA1〜ＰHA4、ＰHB1〜ＰHB4に対応する画素を表示画像データＦから取得し、それぞれＰfA1〜ＰfA4、ＰfB1〜ＰfB4とする。具体的には、ＰfA1、ＰfA4、ＰfB2、ＰfB3は、それぞれ順に表示画像データＦの左上角、左下角、右上角、右下角の画素に対応付けされる。ＰfA2、ＰfB1は、画素ＰHA1ＰHB1間の距離、ＰHB1ＰHA2間の距離、ＰHA2ＰHB2間の距離の比が、それぞれ画素ＰfA1ＰfB1間の距離、画素ＰfB1ＰfA2間の距離、ＰfA2ＰfB2間の距離の比と一致する画素に対応付けられる。ＰfA3、ＰfB4についても同様に画素間の距離の比を用いることで対応付けを行う。最後に、撮像画像データＨA+B内の画素ＰHA1〜ＰHA4と表示分割画像データｆA内の画素ＰfA1〜ＰfA4からステップＳ５０７で説明した射影変換パラメータ（以後、パラメータＡと表記する。）を求める。同様に、表示分割画像データｆBの四隅の画素とＰfB1〜ＰfB4から射影変換パラメータ（以後、パラメータＢと表記する。）を求める。
【００５５】
画像データ分割部３０３は、表示画像データＦとパラメータＡから射影変換を行うことで表示分割画像データｆAを生成し、表示画像データＦとパラメータＢから射影変換を行うことで表示分割画像データｆBを生成する。図９（ｂ）は、生成した表示分割画像データｆA、ｆBが示す画像の一例を示す。同様に、画像データ分割部３０３は、目標輝度分布画像データＫとパラメータＡを用いて射影変換を行うことで目標輝度分布分割画像データｋAを生成する。そして、目標輝度分布画像データＫとパラメータＢを用いて射影変換を行うことで、目標輝度分布分割画像データｋBを生成する。
【００５６】
以上で説明した処理により、画像データ分割部３０３は、表示画像データＦと目標輝度分布画像データＫとをそれぞれ分割し、表示分割画像データｆA、ｆBと目標輝度分布分割画像データｋA、ｋBを生成する。
【００５７】
＜輝度補正パラメータ算出＞
ここでは、輝度補正パラメータ算出部３０４がステップＳ４０４で行う輝度補正パラメータの算出について説明する。輝度補正パラメータ算出部３０４は、輝度補正パラメータＷAとして、２つのパラメータを算出して乗算する。すなわち、輝度補正パラメータ算出部３０４は、撮像画像データＨA内の投影領域２１０ＨAにおける輝度補正パラメータＷA1と、重畳領域においてプロジェクタ２０８Ａが出力する輝度値の割合を示す輝度補正パラメータＷA2とを算出する。輝度補正パラメータ算出部３０４は、算出した輝度補正パラメータＷA1とＷA2とを画素ごとに乗算することで輝度補正パラメータＷAを得る。輝度補正パラメータＷBは、撮像画像データＨBに対して同様の処理を行うことで得ることができる。これらの輝度補正パラメータは、各プロジェクタから投影される画像の輝度を調整する割合を表している。これら輝度補正パラメータＷA、ＷBを用いることで表示分割画像ｆA、ｆBの輝度補正が行われる。
【００５８】
図１０は輝度補正パラメータ算出部３０４における処理の流れを示すフローチャートである。以下、同図のフローチャートを用いて本処理について説明する。
【００５９】
まず、ステップＳ１００１では、輝度補正パラメータ算出部３０４は、撮像画像データＨA、ＨBと目標輝度分布分割画像データｋA、ｋBから表示分割画像データｆA、ｆBの輝度を補正するためのパラメータＷA1、ＷB1を算出する。具体的には、輝度補正パラメータ算出部３０４は、式（６）にて輝度補正パラメータＷA1を算出する。式（６）では、撮像画像データＨA内の投影領域２１０ＨAにおける所定の画素の輝度値ＹHA（ｉ，ｊ）が、目標輝度分布分割画像データｋAの対応する画像の輝度値ＹKA（ｉ，ｊ）と等しくなるように、輝度補正パラメータＷA1を算出している。なお、撮像画像データＨA内の投影領域２１０ＨAの画素位置と目標輝度分布分割画像データｋAの対応する画素位置は、例えば上述した画像分割の際に得られた射影変換パラメータを用いて対応付けすることができる。
【００６０】
【数６】
2013229846.tif 000008
【００６１】
撮像画像ＨBに対しても同様に処理を行うことで輝度補正パラメータＷB1を算出する。輝度補正パラメータＷB1の計算式を次式で表す。
【００６２】
【数７】
2013229846.tif 000009
【００６３】
ここで、輝度補正パラメータＷA1、ＷB1は０〜１の値となり、この値が小さいほど表示分割画像データｆA、ｆBの輝度値が小さくなる。なお、上記処理では、輝度補正パラメータは、撮像画像データＨA及びＨBを用いて算出したが、撮像画像データＨA+Bに基づいて各撮像画像データＨの輝度値を算出したものを用いて輝度補正パラメータを算出してもよい。
【００６４】
次に、ステップＳ１００２では、輝度補正パラメータ算出部３０４は、撮像画像データＨA+Bを２値化して、重畳領域２１１の形状を取得する。例えば、まず撮像画像データＨA、ＨB内の投影領域２１０ＨA、２１０ＨBにおける最高輝度値ＹAh、ＹBhを求め、数値が大きい方を閾値ｔｈとする。次に、撮像画像データＨA+B中の投影領域２１０ＨA+Bの輝度値がｔｈ以上の場合は１、ｔｈ未満の場合は０を割り当てることで２値化を行い、２値画像データＢＩA+Bを生成する。以降のステップＳ１００３では、この２値画像データＢＩA+Bの各画素を参照することで重畳領域を識別する。尚、閾値の決め方はこれに限らず、重畳領域と非重畳領域とを分離できる値であればよい。
【００６５】
ステップＳ１００３では、輝度補正パラメータ算出部３０４は、ステップＳ１００２で取得した形状の重畳領域２１１において各プロジェクタが出力する輝度値の割合を表す輝度補正パラメータＷA2、ＷB2を算出する。図１１（ａ）は撮像画像データＨA+Bが示す画像であり、図１１（ｂ）は撮像画像データＨA+B内の重畳領域２１１を拡大した図である。重畳領域２１１内のある画素をＰ（ｉ，ｊ）とすると、この画素の輝度補正パラメータＷA2は次式で表せる。
【００６６】
【数８】
2013229846.tif 000010
【００６７】
ここで、αは点Ｐから投影領域２１０ＨAの周縁部までの水平方向の最短距離を表しており、βは点Ｐから投影領域２１０ＨBの周縁部までの水平方向の最短距離を表している。同様にして、撮像画像データＨB中の重畳領域２１１における輝度補正パラメータＷB2は次式により算出する。
【００６８】
【数９】
2013229846.tif 000011
【００６９】
前述したように、重畳領域２１１における輝度補正パラメータＷA2、ＷB2は、重畳領域２１１の各画素において各プロジェクタが出力する輝度値の割合を表しており、合計すると１となる。図１１（ｂ）の破線部に沿った横１ライン分の輝度補正パラメータＷA2、ＷB2の一例を図１１（ｃ）に示す。
【００７０】
ステップＳ１００４では、輝度補正パラメータＷA1と輝度補正パラメータＷA2を画素毎に乗算することで最終的な輝度補正パラメータＷAを算出する。同様にして、輝度補正パラメータＷB1と輝度補正パラメータＷB2を画素毎に乗算することで輝度補正パラメータＷBを算出する。図１２（ａ）の破線部に沿った横１ライン分の輝度補正パラメータＷA、ＷBの一例を図１２（ｂ）、（ｃ）に示す。図１２（ｂ）は表示分割画像データｆAの輝度補正を行うための輝度補正パラメータＷAを示しており、図１２（ｃ）は表示分割画像データｆBの輝度補正を行うための輝度補正パラメータＷBを示している。 
【００７１】
以上の処理により、輝度補正パラメータ算出部３０４は、撮像画像データＨA、ＨB、ＨA+Bと目標輝度分布分割画像データｋA、ｋBから、目標輝度分布に一致させるための輝度補正パラメータＷA、ＷBを算出する。輝度補正処理部３０５は、これら輝度補正パラメータＷA、ＷBを表示分割画像データｆA、ｆBに対して画素毎に乗算することで輝度補正画像データｆ’A、 ｆ’Bを得る。そして、画像投影制御部２０６が輝度補正画像データｆ’A、 ｆ’Bが示す画像を各プロジェクタから投影することにより、不自然な輝度ムラを抑制しながら投影領域２１０Ａ＋Ｂの輝度及びコントラストの低下を最小限に抑えた輝度補正が可能となる。
【００７２】
本実施例では、主に輝度の補正について述べたが、本実施例を色成分に適用してもよいことは言うまでもない。
【００７３】
本実施例の締めくくりに幾何学的に計算した場合の本実施例の効果について述べる。具体的には、全白画像をスクリーンに投影し、全投影領域の輝度を同領域内の最低輝度に合うように輝度補正を行った場合と、本実施例による輝度補正を行った場合とのコントラスト差について述べる。
【００７４】
まず、撮像画像データＨA、ＨBからそれぞれプロジェクタ２０８Ａ、２０８Ｂの投影領域における水平方向１ライン分の輝度分布を算出する。
【００７５】
次に、撮像画像データＨAから算出した輝度分布Ａをｙ＝ａ1ｘ2＋ｂ1ｘ＋ｃ1、撮像画像データＨAから算出した輝度分布Ｂをｙ＝ａ2ｘ2＋ｂ2ｘ＋ｃ2とする。ここでプロジェクタ２０８Ａ、２０８Ｂから投影されるそれぞれの投影領域が２５％重なるように調整し、輝度分布Ａの幅と輝度分布Ｂの幅が２００画素である場合について考える。この状態を図１７に示す。同図は撮像画像データＨA、ＨBにおけるある水平方向１ライン分の輝度値を画素ごとに和算したものである。ＬP1は投影領域２１０Ａの左端の画素位置ｉP1における輝度値を示しており、ＬP2は投影領域２１０Ｂの右端の画素位置ｉP2における輝度値を示している。また、ＬP3は投影領域２１０Ａ＋Ｂの中心に相当する画素位置ｉP3における輝度値を示している。
【００７６】
仮に投影領域２１０Ａと投影領域２１０Ｂの周辺光量比をそれぞれ７０％、７３％とすると、各係数の一例としてａ1＝−０．００２５、ｂ1＝０．５５、ｃ1＝７０、ａ2＝−０．００３、ｂ2＝１．５、ｃ2＝−７７．５とおくことができる。
【００７７】
これら２つの輝度分布から目標輝度分布を算出するためには、ステップＳ５０５〜Ｓ５０７の処理を繰り返し行う。その結果、点線で示す目標輝度分布はｙ＝−０．０００８ｘ2＋０．３１４９ｘ＋６９．６６のように算出される。
【００７８】
最後に、算出した目標輝度分布の頂点における輝度と、両端の輝度の内低い方の輝度との差を算出する。仮に定めた値を用いて計算した結果、最小輝度値は６９．６６、最大輝度値は１００．１となり、約３０％のコントラスト上昇の効果が見込まれる。
【００７９】
尚、本実施例の効果を幾何学的に計算する際、撮影画像データＨを用いたが、測色機を使って測定したデータ値を用いてもよい。
【００８０】
［実施例２］
実施例１では、スクリーン２０９上に各プロジェクタからキャリブレーション画像Ｇを投影し、投影領域２１０を撮像装置２０７を用いて撮像して撮像画像データＨを得る。そして、得られた撮像画像データＨを基に最適な目標輝度分布を決定し、輝度補正パラメータＷを算出する方法について説明した。本実施例では、ユーザがユーザインタフェース（以後、ＵＩと表記する。）を介して目標輝度分布を設定する。本実施例においても、実施例１と同様に、目標輝度分布は全投影領域において中央部の輝度を高く、周辺部にいくほど輝度を低くした分布である。その分布に一致するように輝度補正パラメータＷを算出する例について説明する。
【００８１】
本実施例におけるマルチプロジェクションシステムの構成は実施例１の画像処理部２０５内にある目標輝度分布生成部３０２のみ異なる。本実施例においても２台のプロジェクタを例に説明する。プロジェクタの性能や設置条件は実施例１と同じものとする。
【００８２】
図１３は、本実施例の画像処理部２０５の構成を示したブロック図である。目標輝度分布設定部１３０１では、投影領域２１０Ａ＋Ｂの目標輝度分布をユーザがＵＩを介して設定する。
【００８３】
図１４は本実施例のマルチプロジェクションシステムにおける処理の流れを示すフローチャートである。以下、同図のフローチャートを用いて説明する。なお、実施例１と同様の処理については説明を省略する。
【００８４】
ステップＳ１４０１では、目標輝度分布設定部１３０１が、ユーザによるＵＩを介した指示によって目標輝度分布を設定する。図１５は目標輝度分布設定のグラフィックユーザインタフェースの一例を示す。投影領域２１０Ａ＋Ｂを表示するための投影領域表示部１５０１と、投影領域内の点線部に沿った輝度分布（実線）と目標輝度分布（破線）を表示するための輝度分布表示部１５０２と、目標輝度分布を設定するための目標輝度分布設定バー１５０３がある。ユーザは目標輝度分布設定バー１５０３を上下にスライドさせることで目標輝度分布を設定する。ただし、投影領域２１０Ａ＋Ｂの両端に位置する画素の輝度値を固定し、中央部の画素の輝度値を予め設定された範囲内で調整可能とすることで、中央部の輝度を高く周辺部の輝度を低くするという条件を保ったまま目標輝度分布の設定を行うことができる。
【００８５】
ユーザが目標輝度分布を設定すると、各プロジェクタが目標輝度分布の通りに出力できるかの判定を目標輝度分布設定部１３０１で行う。出力判定の方法は、ステップＳ５０６と同様とすることができる。出力可能であれば、ステップＳ５０８の処理を行い、目標輝度分布設定処理を終了する。出力不可能であれば、ユーザに出力不可能であることをウィンドウメッセージ等で知らせ、再び目標輝度分布設定バー１５０３で目標輝度分布を調整する。目標輝度分布設定処理が終了すると、ステップＳ４０３〜Ｓ４０６を行う。
【００８６】
以上により、ユーザが目標輝度分布を設定でき、それに合わせた輝度補正処理が可能となる。
【００８７】
［実施例３］
本実施例では、実施例１の目標輝度分布生成処理を変更した例を説明する。目標輝度分布生成処理以外は実施例１と同じ処理とすることができる。
【００８８】
実施例１では、ステップＳ５０４において１ライン分の代表点を両端と中央の画素としている。しかし、図１６に示すように２台のプロジェクタの輝度分布が大きく異なる場合、実施例１で説明した目標輝度分布の算出方法だと、２台のプロジェクタの内、高い輝度が出力できるプロジェクタの輝度特性を活かすことができない。そこでまず、１ライン分の代表点を両端の画素のみとし、これら２点の代表点を結び、凹関数（上に凸な関数）ｆ（ｘ）をつくる。この関数は、ｆ（ｘ）のグラフからどのような２点を選んで線分をつくってもｆ（ｘ）のグラフよりも下方にくるものである。次に、補正前の撮像画像ＨA+B内の１ライン分の輝度分布ｇ（ｘ）とする。そして、ΔＥ＝ｆ（ｘ）−ｇ（ｘ）が最小となるΔＥを求めることで最終的な目標輝度分布ｆ’（ｘ）を得ることができる。ただし、１ラインの全画素において画素値がｆ（ｘ）＞ｇ（ｘ）を満たすものとする。すなわち、水平または垂直１ラインにおける２点間の輝度分布が凹関数により規定される輝度分布となるように目標輝度分布を算出する。
【００８９】
本実施例においても、不自然な輝度ムラを抑制しながら輝度およびコントラストの低下を最小限に抑えた輝度補正処理が可能となる。
【００９０】
［実施例４］
実施例４では、画素値が全てＲ＝Ｇ=Ｂ=０（すなわち黒）である画像（以後、Ｒ＝Ｇ＝Ｂ＝０である画像を全黒画像とする）や全画素の画素値が限りなく０に近い画像を投影した場合の処理について説明する。プロジェクタの構造上、全黒画像や全画素の画素値が限りなく０に近い画像を投影した場合、プロジェクタから光が出ているため少し明るい黒に見えてしまう特性がある。以後、この特性を黒浮きと表記する。マルチプロジェクションシステムでは、重畳領域において黒浮きが強く表れるため継ぎ目が目立ってしまう。そこで、本実施例では、全黒画像を表示した場合、黒浮きにより発生する重畳領域の継ぎ目を目立たなくする例を説明する。
【００９１】
本実施例のフローチャートの概要は実施例１で説明したステップＳ４０１、Ｓ４０２の一部が異なり、ステップＳ４０３〜Ｓ４０６は同様である。以下、ステップＳ４０１、Ｓ４０２の変更点について説明する。
【００９２】
ステップＳ４０１、すなわちキャリブレーション画像データの投影・撮影処理における変更点は、キャリブレーション画像データＧである全白画像を投影する代わりに全黒画像を投影する点である。すなわち、結合投影領域の輝度分布が、各プロジェクタの出力可能な最低輝度値に基づくことになる。
【００９３】
ステップＳ４０２、すなわち目標輝度分布画像データ生成処理における変更点は、ステップＳ５０６の処理である各プロジェクタの出力可能判定と、ステップＳ５０７の処理である代表点の輝度値変更方法である。
【００９４】
本実施例においてステップＳ５０６では、実施例１とは判定方法が異なる。本実施例での判定方法は、目標輝度分布が撮像画像データＨA+B内の投影領域２１０Ａ＋Ｂの輝度分布を超えている場合は出力可能とし、そうでなければ出力不可能とする。具体的には、ステップＳ５０５で算出した目標輝度分布の各画素の輝度値Ｌiと、撮像画像データＨA+Bの同じ画素位置の画素の輝度値Ｌ’iとを比較し、全画素についてＬ’i≦Ｌiの場合は出力可能とし、そうでない場合は出力不可能とする。出力可能であれば、ステップＳ５０５を完了してステップＳ５０２へ戻り、そうでなければステップＳ５０７へ進む。
【００９５】
本実施例においてステップＳ５０７では、目標輝度分布生成部３０２は、代表点Ｐ３の輝度値を上げ、ステップＳ５０５へ戻る。代表点Ｐ３の輝度値の上げ幅は、実施例１で説明した輝度値の上げ幅と同様である。
【００９６】
図１８に算出した１ライン分の目標輝度分布の例を示す。線１８０１は撮像画像データＨA+B内の投影領域２１０Ａ＋Ｂにおける１ライン分の輝度分布、すなわち補正前の輝度分布を示している。線１８０２は代表点を単純につないだ状態の輝度分布を示している。線１８０２の輝度分布では、黒浮きにより発生する重畳領域の継ぎ目が目立ってしまう。そこで、本実施例では代表点Ｐ３の目標輝度値を上げて再度２次曲線を算出して線１８０３のようなステップＳ５０５〜Ｓ５０７の処理により算出した１ライン分の目標輝度分布を算出する。
【００９７】
本実施例では、目標輝度分布の各画素の輝度値を撮像画像データの同じ画素位置の画素の輝度値よりも高くすることにより、プロジェクタ投影の特性による黒浮きを目立たなくすることができる。
【００９８】
以上により、不自然な輝度ムラを抑制しながら黒浮きと輝度およびコントラストの低下を最小限に抑えた輝度補正処理が可能となる。
【００９９】
＜その他の実施例＞
以上説明した例では、画像処理装置に複数のプロジェクタと撮像装置とが接続されたマルチプロジェクションシステムを例に挙げて説明した。しかしながら、例えば撮像手段と投影手段とが画像処理装置に一体化されたマルチメディア端末を用いて各実施例と同等の構成を採用してもよい。このようなマルチメディア端末が複数の投影手段を有している場合には、単一のマルチメディア端末で上述した各実施例を実現することができる。一方、このようなマルチメディア端末が単一の投影手段のみを有している場合には、これらのマルチメディア端末を複数用いたシステムを採用してもよい。この場合、各データを各マルチメディア端末間で通信手段を介して交換することによって上述した各実施例と同等の効果を得ることができる。
【０１００】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2013229846.tif 000012
【図２】
2013229846.tif 000013
【図３】
2013229846.tif 000014
【図４】
2013229846.tif 000015
【図５】
2013229846.tif 000016
【図６】
2013229846.tif 000017
【図７】
2013229846.tif 000018
【図８】
2013229846.tif 000019
【図９】
2013229846.tif 000020
【図１０】
2013229846.tif 000021
【図１１】
2013229846.tif 000022
【図１２】
2013229846.tif 000023
【図１３】
2013229846.tif 000024
【図１４】
2013229846.tif 000025
【図１５】
2013229846.tif 000026
【図１６】
2013229846.tif 000027
【図１７】
2013229846.tif 000028
【図１８】
2013229846.tif 000029