(57)【要約】 【課題】  遮光板が正確な位置に設置されていない場合、あるいは遮光板が設けられていない場合であっても、複数のプロジェクタによって投影された画像どうしの重なり部分の境界が目立たなくなるように画像データを補正することができる画像処理装置および画像処理方法を提供する。【解決手段】  画像撮影部２は、画像表示部３に投影されたテスト画像を撮影し、撮影データを生成する。画像補正データ算出部１４は、撮影データに基づいて、画像表示部３が備える複数のプロジェクタによって投影される複数の画像どうしの重なり部分に対して、信号値が０となる画素をランダムに指定することにより、信号値が０となる画素を示すパターンデータを生成する。画像変換部１５は、パターンデータによって指定された画素の信号値が０となるように、重なり部分に対応した画像データを補正する。【選択図】    図１
2006014146.tif 000002
【特許請求の範囲】
【請求項１】
複数のプロジェクタによって投影されたテスト画像の撮影により生成された撮影データに基づいて、前記複数のプロジェクタによって投影される画像に対応した画像データを補正する画像処理装置において、
前記複数のプロジェクタによって投影される複数の画像どうしの重なり部分に対して、信号値が０となる画素を含む補正領域を、前記画像間で重ならないように設定し、前記補正領域において、信号値が０となる画素をランダムに指定することにより、信号値が０となる画素を示すパターンデータを生成するデータ生成手段と、
前記パターンデータによって指定された画素の信号値が０となるように、前記重なり部分に対応した画像データを補正するデータ補正手段と、
を具備することを特徴とする画像処理装置。
【請求項２】
複数のプロジェクタによって投影されたテスト画像の撮影により生成された撮影データに基づいて、前記複数のプロジェクタによって投影される画像に対応した画像データを補正する画像処理装置において、
前記複数のプロジェクタによって投影される複数の画像どうしの重なり部分に対して、信号値が０となる画素をランダムに指定し、信号値が０となる画素が複数の画像間で重なる場合には、少なくとも１つの前記画像について、信号値が０となる画素の指定を変更することにより、信号値が０となる画素を示すパターンデータを生成するデータ生成手段と、
前記パターンデータによって指定された画素の信号値が０となるように、前記重なり部分に対応した画像データを補正するデータ補正手段と、
を具備することを特徴とする画像処理装置。
【請求項３】
前記パターンデータによって示される、信号値が０となる画素のパターンは、前記プロジェクタ間で異なることを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記データ生成手段はさらに、信号値が０となる画素をランダムに指定する場合に、画素のパターンの長さがランダムとなる線状のパターンを指定することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項５】
前記データ生成手段はさらに、信号値が０となる画素をランダムに指定する場合に、信号値が０となる画素のパターンがドット状になるように画素を指定することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項６】
複数のプロジェクタによって投影されたテスト画像の撮影により生成された撮影データに基づいて、前記複数のプロジェクタによって投影される画像に対応した画像データを補正する画像処理装置において、
前記複数のプロジェクタによって投影される複数の画像どうしの重なり部分において、前記画像中の画素の輝度を決定する輝度補正係数の値をランダムに指定することにより、前記輝度補正係数を示すパターンデータを生成するデータ生成手段と、
前記パターンデータによって指定された前記輝度補正係数に基づいて、前記重なり部分に対応した画像データの信号値を補正するデータ補正手段と、
を具備することを特徴とする画像処理装置。
【請求項７】
前記データ生成手段はさらに、前記重なり部分を構成する複数の画像において、投影面上で同一の位置となる画素に対する前記輝度補正係数の和が所定値以上となるように、少なくとも１つの前記画像の画素について、前記輝度補正係数の値を変更することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記データ生成手段はさらに、Ｒ、Ｇ、およびＢの色ごとに異なる前記パターンデータを生成することを特徴とする請求項１〜請求項７のいずれかの項に記載の画像処理装置。
【請求項９】
前記データ生成手段はさらに、異なる複数の前記パターンデータを生成し、
前記データ補正手段はさらに、投影される画像に対応した画像データを構成する１または複数のフレームごとに、異なる複数の前記パターンデータの中から１つの前記パターンデータを選択し、選択した該パターンデータに基づいて、前記重なり部分に対応した画像データを補正する
ことを特徴とする請求項１〜請求項８のいずれかの項に記載の画像処理装置。
【請求項１０】
前記データ生成手段はさらに、異なる複数の前記パターンデータを生成し、
前記データ補正手段はさらに、投影される画像に対応した画像データの種類ごとに、異なる複数の前記パターンデータの中から１つの前記パターンデータを選択し、選択した該パターンデータに基づいて、前記重なり部分に対応した画像データを補正する
ことを特徴とする請求項１〜請求項８のいずれかの項に記載の画像処理装置。
【請求項１１】
複数のプロジェクタによって投影されたテスト画像の撮影により生成された撮影データに基づいて、前記複数のプロジェクタによって投影される画像に対応した画像データを補正する画像処理方法において、
前記複数のプロジェクタによって投影される複数の画像どうしの重なり部分に対して、信号値が０となる画素を含む補正領域を、前記画像間で重ならないように設定するステップと、
前記補正領域において、信号値が０となる画素をランダムに指定することにより、信号値が０となる画素を示すパターンデータを生成するステップと、
前記パターンデータによって指定された画素の信号値が０となるように、前記重なり部分に対応した画像データを補正するステップと、
を具備することを特徴とする画像処理方法。
【請求項１２】
複数のプロジェクタによって投影されたテスト画像の撮影により生成された撮影データに基づいて、前記複数のプロジェクタによって投影される画像に対応した画像データを補正する画像処理方法において、
前記複数のプロジェクタによって投影される複数の画像どうしの重なり部分に対して、信号値が０となる画素をランダムに指定するステップと、
信号値が０となる画素が複数の画像間で重なる場合には、少なくとも１つの前記画像について、信号値が０となる画素の指定を変更し、信号値が０となる画素を示すパターンデータを生成するステップと、
前記パターンデータによって指定された画素の信号値が０となるように、前記重なり部分に対応した画像データを補正するステップと、
を具備することを特徴とする画像処理方法。
【請求項１３】
前記パターンデータによって示される、信号値が０となる画素のパターンは、前記プロジェクタ間で異なることを特徴とする請求項１１または請求項１２に記載の画像処理方法。
【請求項１４】
信号値が０となる画素をランダムに指定する場合に、画素のパターンの長さがランダムとなる線状のパターンを指定することを特徴とする請求項１１または請求項１２に記載の画像処理方法。
【請求項１５】
信号値が０となる画素をランダムに指定する場合に、信号値が０となる画素のパターンがドット状になるように画素を指定することを特徴とする請求項１１または請求項１２に記載の画像処理方法。
【請求項１６】
複数のプロジェクタによって投影されたテスト画像の撮影により生成された撮影データに基づいて、前記複数のプロジェクタによって投影される画像に対応した画像データを補正する画像処理方法において、
前記複数のプロジェクタによって投影される複数の画像どうしの重なり部分において、前記画像中の画素の輝度を決定する輝度補正係数の値をランダムに指定することにより、前記輝度補正係数を示すパターンデータを生成するステップと、
前記パターンデータによって指定された前記輝度補正係数に基づいて、前記重なり部分に対応した画像データの信号値を補正するステップと、
を具備することを特徴とする画像処理方法。
【請求項１７】
前記パターンデータを生成するステップと、前記重なり部分に対応した画像データの信号値を補正するステップとの間に、前記重なり部分を構成する複数の画像において、投影面上で同一の位置となる画素に対する前記輝度補正係数の和が所定値以上となるように、少なくとも１つの前記画像の画素について、前記輝度補正係数の値を変更するステップを具備することを特徴とする請求項１６に記載の画像処理方法。
【請求項１８】
前記パターンデータは、Ｒ、Ｇ、およびＢの色ごとに異なっていることを特徴とする請求項１１〜請求項１７のいずれかの項に記載の画像処理方法。
【請求項１９】
前記パターンデータを生成するステップにおいてはさらに、異なる複数の前記パターンデータを生成し、
前記重なり部分に対応した画像データを補正するステップにおいてはさらに、投影される画像に対応した画像データを構成する１または複数のフレームごとに、異なる複数の前記パターンデータの中から１つの前記パターンデータを選択し、選択した該パターンデータに基づいて、前記画像データを補正する
ことを特徴とする請求項１１〜請求項１８のいずれかの項に記載の画像処理方法。
【請求項２０】
前記パターンデータを生成するステップにおいてはさらに、異なる複数の前記パターンデータを生成し、
前記重なり部分に対応した画像データを補正するステップにおいてはさらに、投影される画像に対応した画像データの種類ごとに、異なる複数の前記パターンデータの中から１つの前記パターンデータを選択し、選択した該パターンデータに基づいて、前記画像データを補正する
ことを特徴とする請求項１１〜請求項１８のいずれかの項に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のプロジェクタによって投影されたテスト画像の撮影により生成された撮影データに基づいて、複数のプロジェクタによって投影される画像データの輝度等を補正する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
複数台のプロジェクタを用い、各プロジェクタから投影される画像を、投影面となるスクリーン上で貼り合わせることにより、一つの大きな画像を投影することを可能としたマルチプロジェクションシステムが提案されている。図２３は、従来のマルチプロジェクションシステムにおける画像の投影手法を模式的に示している。図２３（ａ）は、２台のプロジェクタによる画像の投影の様子を示している。
【０００３】
液晶プロジェクタあるいはＤＬＰ（Ｄｉｇｉｔａｌ  Ｌｉｇｈｔ  Ｐｒｏｃｅｓｓｉｎｇ）プロジェクタ等のプロジェクタ４１および４２によって、画像７１および７２がそれぞれスクリーン６上に投影されている。これらの２つの画像は、オーバーラップ部７３（重なり部分）を形成するように、一部が重ねて投影される。また、プロジェクタ４１および４２から投射される光の光路上に遮光板５が設けられ、オーバーラップ部７２に投射される光を物理的に遮蔽することが行われている。さらに、図示していないが、プロジェクタ４１および４２に入力される画像データに対して後述する各種の補正を行う画像処理装置が設けられる。
【０００４】
遮光板５を設ける理由は以下のとおりである。各プロジェクタによって、Ｒ，Ｇ，Ｂの各色の階調レベルが最低レベルである黒色画像が投影された場合、投影された画像は黒にならず、ある明るさ（オフセット）を有している。オーバーラップ部７３においては、オフセット量が倍となるため、この補正が必要である。しかし、入力画像のレベルが最低レベルであるため、入力画像のレベルをこれ以上下げて補正を行うことは不可能である。そこで、遮光板５を設け、オーバーラップ部７３の光量を減らすことにより、黒色時のオフセットを補正することが行われている。この結果、スクリーン６に投影された画像７１および７２においては、遮光板５によって遮光されることにより、図２３（ｂ）に示されるように、画像７１の明るさは画像７１の右端に近づくほど暗くなり、画像７２の明るさは画像７２の左端に近づくほど暗くなる。これにより、オーバーラップ部７３の明るさが、画像７１および７２の他の部分と比べて極端に明るくなることを防ぐことができる。
【０００５】
また、プロジェクタ４１および４２によって投影された画像７１および７２が滑らかにつながるようにするために、各プロジェクタに入力される画像データに対して各種の補正が行われる。この補正は、各プロジェクタの設置位置のずれや、各プロジェクタのレンズ歪み、あおり、スクリーンの変形等によって生じる投影画像の幾何変形を補正する幾何補正、および色むらや色差を補正する色補正等である。
【０００６】
図２４は、従来のマルチプロジェクションシステムにおける画像の投影手順を示すフローチャートである。以下、このフローチャートに沿って、画像の投影手順を説明する。投影される画像に幾何補正や色補正等を行うためには、これらの補正に必要なデータを算出するためのキャリブレーションを予め行うことが必要である。このキャリブレーション時に、まず、画像データの補正を行う画像処理装置において、画像補正時に用いられる補正パラメータをスルー（無効）に設定する（ステップＳ２４０１）。この設定により、画像処理装置において画像データは補正されない。
【０００７】
続いて、画像処理装置においてテスト画像用のテスト画像データを用意し（ステップＳ２４０２）、各プロジェクタによって、テスト画像データに基づいたテスト画像をスクリーンに投影する（ステップＳ２４０３）。テスト画像データは、補正の目的に応じて複数用意しておく。また、デジタルカメラ等のキャリブレーションカメラを予め用意し、このキャリブレーションカメラによってテスト画像を撮影し、テスト画像に基づいた撮影データを生成する。この撮影データは画像処理装置に転送される（ステップＳ２４０４）。
【０００８】
続いて、全てのテスト画像を撮影したかどうか判定し（ステップＳ２４０５）、必要なテスト画像の撮影がまだ終了していない場合には、ステップＳ２４０１に戻って処理を繰り返す。また、必要なテスト画像の撮影が終了した場合には、コンテンツ画像の投影に用いられるコンテンツ画像データの補正に必要な画像補正データを生成し（ステップＳ２４０６）、この画像補正データに基づいて、画像処理装置における補正パラメータを設定する（ステップＳ２４０７）。以上の作業を行うことにより、キャリブレーションが終了する。
【０００９】
以後、通常の画像の投影を行う。投影するコンテンツ画像を構成する画像データの補正を画像処理装置において行い、補正後の画像データを各プロジェクタへ出力する。各プロジェクタによって、画像データに基づいた画像がスクリーンに投影される（ステップＳ２４０８）。
【００１０】
上述した従来のマルチプロジェクションシステムにおいては、図２３における遮光板５の設置位置が重要である。遮光板５が正確な位置に設置されていないと、図２５（ａ）および（ｂ）に示されるように、スクリーン６に投影された画像のオーバーラップ部７３の境界のエッジライン７１ａおよび７２ａが目立ってしまうという問題点があった。従来、遮光板５を正確な位置に設置するために、熟練した専門の人間が時間をかけて作業を行っていた。
【００１１】
なお、マルチプロジェクションシステムとは利用分野および利用目的が異なるが、画像データを補正する従来の技術として、以下に示す技術が開示されている。例えば、特許文献１には、ラインヘッド型のインクジェットプリンタのような画像記録装置に関する技術が記載されている。この特許文献１には、テストパターンに基づいて作成した補正データを用いて、記録紙に画像を記録する記録ヘッドや、記録紙を搬送する搬送機構部の特性の変化に伴う２次元的な画像記録の位置ずれや記録濃度の変化を補正することが記載されている。
【００１２】
また、特許文献２には、複数の画像記録素子（マルチヘッド）により、画像を記録紙に記録する画像記録装置に関する技術が記載されている。この特許文献２には、所定範囲の乱数に基づいて、多値画像信号の濃度むら補正量をランダムに変化させることにより、画像の濃度むらを補正することが記載されている。
【特許文献１】特開２００３−２９１３２５号公報
【特許文献２】特許第３０４３３９７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
上述したように、従来のマルチプロジェクションシステムにおいては、遮光板が正確な位置に設置されていない場合に、投影面に投影された複数の画像の重なり部分の境界が目立ってしまうという問題点があった。テスト画像を撮影するキャリブレーションカメラの解像度は、プロジェクタと比較して低く、投影された画像の正確な情報を得にくいために、高精細な投影画像に対して、重なり部分の境界を目立たなくさせることが困難であることも問題であった。
【００１４】
本発明は、上述した問題点に鑑みてなされたものであって、遮光板が正確な位置に設置されていない場合、あるいは遮光板が設けられていない場合であっても、複数のプロジェクタによって投影された画像どうしの重なり部分の境界が目立たなくなるように画像データを補正することができる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明は上記の課題を解決するためになされたもので、請求項１に記載の発明は、複数のプロジェクタによって投影されたテスト画像の撮影により生成された撮影データに基づいて、前記複数のプロジェクタによって投影される画像に対応した画像データを補正する画像処理装置において、前記複数のプロジェクタによって投影される複数の画像どうしの重なり部分に対して、信号値が０となる画素を含む補正領域を、前記画像間で重ならないように設定し、前記補正領域において、信号値が０となる画素をランダムに指定することにより、信号値が０となる画素を示すパターンデータを生成するデータ生成手段と、前記パターンデータによって指定された画素の信号値が０となるように、前記重なり部分に対応した画像データを補正するデータ補正手段とを具備することを特徴とする画像処理装置である。
【００１６】
請求項２に記載の発明は、複数のプロジェクタによって投影されたテスト画像の撮影により生成された撮影データに基づいて、前記複数のプロジェクタによって投影される画像に対応した画像データを補正する画像処理装置において、前記複数のプロジェクタによって投影される複数の画像どうしの重なり部分に対して、信号値が０となる画素をランダムに指定し、信号値が０となる画素が複数の画像間で重なる場合には、少なくとも１つの前記画像について、信号値が０となる画素の指定を変更することにより、信号値が０となる画素を示すパターンデータを生成するデータ生成手段と、前記パターンデータによって指定された画素の信号値が０となるように、前記重なり部分に対応した画像データを補正するデータ補正手段とを具備することを特徴とする画像処理装置である。
【００１７】
請求項３に記載の発明は、請求項１または請求項２に記載の画像処理装置において、前記パターンデータによって示される、信号値が０となる画素のパターンは、前記プロジェクタ間で異なることを特徴とする。
【００１８】
請求項４に記載の発明は、請求項１または請求項２に記載の画像処理装置において、前記データ生成手段はさらに、信号値が０となる画素をランダムに指定する場合に、画素のパターンの長さがランダムとなる線状のパターンを指定することを特徴とする。
【００１９】
請求項５に記載の発明は、請求項１または請求項２に記載の画像処理装置において、前記データ生成手段はさらに、信号値が０となる画素をランダムに指定する場合に、信号値が０となる画素のパターンがドット状になるように画素を指定することを特徴とする。
【００２０】
請求項６に記載の発明は、複数のプロジェクタによって投影されたテスト画像の撮影により生成された撮影データに基づいて、前記複数のプロジェクタによって投影される画像に対応した画像データを補正する画像処理装置において、前記複数のプロジェクタによって投影される複数の画像どうしの重なり部分において、前記画像中の画素の輝度を決定する輝度補正係数の値をランダムに指定することにより、前記輝度補正係数を示すパターンデータを生成するデータ生成手段と、前記パターンデータによって指定された前記輝度補正係数に基づいて、前記重なり部分に対応した画像データの信号値を補正するデータ補正手段とを具備することを特徴とする画像処理装置である、。
【００２１】
請求項７に記載の発明は、請求項６に記載の画像処理装置において、前記データ生成手段はさらに、前記重なり部分を構成する複数の画像において、投影面上で同一の位置となる画素に対する前記輝度補正係数の和が所定値以上となるように、少なくとも１つの前記画像の画素について、前記輝度補正係数の値を変更することを特徴とする。
【００２２】
請求項８に記載の発明は、請求項１〜請求項７のいずれかの項に記載の画像処理装置において、前記データ生成手段はさらに、Ｒ、Ｇ、およびＢの色ごとに異なる前記パターンデータを生成することを特徴とする。
【００２３】
請求項９に記載の発明は、請求項１〜請求項８のいずれかの項に記載の画像処理装置において、前記データ生成手段はさらに、異なる複数の前記パターンデータを生成し、前記データ補正手段はさらに、投影される画像に対応した画像データを構成する１または複数のフレームごとに、異なる複数の前記パターンデータの中から１つの前記パターンデータを選択し、選択した該パターンデータに基づいて、前記重なり部分に対応した画像データを補正することを特徴とする。
【００２４】
請求項１０に記載の発明は、請求項１〜請求項８のいずれかの項に記載の画像処理装置において、前記データ生成手段はさらに、異なる複数の前記パターンデータを生成し、前記データ補正手段はさらに、投影される画像に対応した画像データの種類ごとに、異なる複数の前記パターンデータの中から１つの前記パターンデータを選択し、選択した該パターンデータに基づいて、前記重なり部分に対応した画像データを補正することを特徴とする。
【００２５】
請求項１１に記載の発明は、複数のプロジェクタによって投影されたテスト画像の撮影により生成された撮影データに基づいて、前記複数のプロジェクタによって投影される画像に対応した画像データを補正する画像処理方法において、前記複数のプロジェクタによって投影される複数の画像どうしの重なり部分に対して、信号値が０となる画素を含む補正領域を、前記画像間で重ならないように設定するステップと、前記補正領域において、信号値が０となる画素をランダムに指定することにより、信号値が０となる画素を示すパターンデータを生成するステップと、前記パターンデータによって指定された画素の信号値が０となるように、前記重なり部分に対応した画像データを補正するステップとを具備することを特徴とする画像処理方法である。
【００２６】
請求項１２に記載の発明は、複数のプロジェクタによって投影されたテスト画像の撮影により生成された撮影データに基づいて、前記複数のプロジェクタによって投影される画像に対応した画像データを補正する画像処理方法において、前記複数のプロジェクタによって投影される複数の画像どうしの重なり部分に対して、信号値が０となる画素をランダムに指定するステップと、信号値が０となる画素が複数の画像間で重なる場合には、少なくとも１つの前記画像について、信号値が０となる画素の指定を変更し、信号値が０となる画素を示すパターンデータを生成するステップと、前記パターンデータによって指定された画素の信号値が０となるように、前記重なり部分に対応した画像データを補正するステップとを具備することを特徴とする画像処理方法である。
【００２７】
請求項１３に記載の発明は、請求項１１または請求項１２に記載の画像処理方法において、前記パターンデータによって示される、信号値が０となる画素のパターンは、前記プロジェクタ間で異なることを特徴とする。
【００２８】
請求項１４に記載の発明は、請求項１１または請求項１２に記載の画像処理方法において、信号値が０となる画素をランダムに指定する場合に、画素のパターンの長さがランダムとなる線状のパターンを指定することを特徴とする。
【００２９】
請求項１５に記載の発明は、請求項１１または請求項１２に記載の画像処理方法において、信号値が０となる画素をランダムに指定する場合に、信号値が０となる画素のパターンがドット状になるように画素を指定することを特徴とする。
【００３０】
請求項１６に記載の発明は、複数のプロジェクタによって投影されたテスト画像の撮影により生成された撮影データに基づいて、前記複数のプロジェクタによって投影される画像に対応した画像データを補正する画像処理方法において、前記複数のプロジェクタによって投影される複数の画像どうしの重なり部分において、前記画像中の画素の輝度を決定する輝度補正係数の値をランダムに指定することにより、前記輝度補正係数を示すパターンデータを生成するステップと、前記パターンデータによって指定された前記輝度補正係数に基づいて、前記重なり部分に対応した画像データの信号値を補正するステップとを具備することを特徴とする画像処理方法である。
【００３１】
請求項１７に記載の発明は、請求項１６に記載の画像処理方法において、前前記パターンデータを生成するステップと、前記重なり部分に対応した画像データの信号値を補正するステップとの間に、前記重なり部分を構成する複数の画像において、投影面上で同一の位置となる画素に対する前記輝度補正係数の和が所定値以上となるように、少なくとも１つの前記画像の画素について、前記輝度補正係数の値を変更するステップを具備することを特徴とする。
【００３２】
請求項１８に記載の発明は、請求項１１〜請求項１７のいずれかの項に記載の画像処理方法において、前記パターンデータは、Ｒ、Ｇ、およびＢの色ごとに異なっていることを特徴とする。
【００３３】
請求項１９に記載の発明は、請求項１１〜請求項１８のいずれかの項に記載の画像処理方法において、前記パターンデータを生成するステップにおいてはさらに、異なる複数の前記パターンデータを生成し、前記重なり部分に対応した画像データを補正するステップにおいてはさらに、投影される画像に対応した画像データを構成する１または複数のフレームごとに、異なる複数の前記パターンデータの中から１つの前記パターンデータを選択し、選択した該パターンデータに基づいて、前記画像データを補正することを特徴とする。
【００３４】
請求項２０に記載の発明は、請求項１１〜請求項１３のいずれかの項に記載の画像処理方法において、前記パターンデータを生成するステップにおいてはさらに、異なる複数の前記パターンデータを生成し、前記重なり部分に対応した画像データを補正するステップにおいてはさらに、投影される画像に対応した画像データの種類ごとに、異なる複数の前記パターンデータの中から１つの前記パターンデータを選択し、選択した該パターンデータに基づいて、前記画像データを補正することを特徴とする。
【発明の効果】
【００３５】
本発明によれば、遮光板が正確な位置に設置されていない場合、あるいは遮光板が設けられていない場合であっても、複数のプロジェクタによって投影された画像どうしの重なり部分の境界が目立たなくなるように画像データを補正することができるという効果が得られる。
【発明を実施するための最良の形態】
【００３６】
以下、図面を参照し、本発明を実施するための最良の形態について説明する。まず、本発明の第１の実施形態について説明する。図４は、本実施形態における画像データの補正手法を示す概念図である。異なるプロジェクタによってスクリーン上に投影された画像７１および画像７２が重なり、オーバーラップ部７３が形成されるとする。このオーバーラップ部７３を構成する画像に対応した画像データの画素に対して、ランダムにデジタルマスク処理を行い、一部の画素の信号値を０とする。この画素はスクリーンに表示されない。
【００３７】
この場合、画像７１および７２に対応した画像データにおいて、オーバーラップ部７３に対応した部分の境界の画素を含み、デジタルマスク処理を行う画素のパターンの長さがランダムな線状のパターンとなるように、デジタルマスク処理を行う画素を指定する。この結果、スクリーンに表示された画像７１および７２において、信号値が０となる画素は、オーバーラップ部７３の境界の画素を含む線状のマスクパターン７４となる。また、デジタルマスク処理を行う画素を指定する場合に、表示された画像において、異なる画像間で、信号値が０となる画素どうしが重ならないように画素を指定する。信号値が０となる画素どうしが投影画像上で重なってしまうと、その画素は欠陥画素のように見えてしまうので、それを防ぐためである。
【００３８】
次に、上記の思想を実現するマルチプロジェクションシステムの構成について説明する。図１は、本実施形態によるマルチプロジェクションシステムの構成を示すブロック図である。以下、図中の各構成について説明する。画像処理装置１は、画像データの補正等の処理を行う機能を有する。画像撮影部２は、デジタルカメラ等のキャリブレーションカメラによって構成され、キャリブレーション時にテスト画像を撮影し、テスト画像に基づいた撮影データを生成する機能を有する。画像表示部３は、複数のプロジェクタ、遮光板、およびスクリーンによって構成され、画像を表示する機能を有する。
【００３９】
画像処理装置１において、ＰＣ１ａ（ＰＣ：Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）は汎用のコンピュータであり、テスト画像データやコンテンツ画像データの記憶、コンテンツ画像データの各種の補正に必要な画像補正データの算出等を行う。このＰＣ１ａは、マルチプロジェクションシステム制御部１０、テスト画像生成部１１、コンテンツ再生部１２、画像データ記憶部１３、および画像補正データ算出部１４を備えている。
【００４０】
マルチプロジェクションシステム制御部１０は、ＰＣ１ａ内の各部の制御等を行うと共に、画像撮影部２および画像変換部１５との制御信号およびデータの入出力の制御を行う。テスト画像生成部１１は、画像データの補正に必要なデータを算出するためのキャリブレーションを行う場合に、テスト画像データを生成する。このテスト画像データは、例えば幾何補正用のテスト画像データであれば、一定間隔で十字や輝点が並んだ画像や格子模様等の画像を示す画像データである。コンテンツ再生部１２は、コンテンツ画像データの再生に関する処理を行う。画像データ記憶部１３は、コンテンツ画像データを予め記憶すると共に、テスト画像生成部１１によって生成されたテスト画像データ、および画像撮影部２によって生成された撮影データを記憶する。画像補正データ算出部１４は、テスト画像データについてのキャリブレーションパターン情報と上記の撮影データとに基づいて、コンテンツ画像データの各種の補正に必要な画像補正データを生成する。
【００４１】
画像変換部１５は、専用のハードウェアであり、画像補正データ算出部１４によって算出された画像補正データに基づいて、コンテンツ再生部１２によって処理されたコンテンツ画像データに対して、幾何補正および色補正等の補正を行い、補正後の画像データを画像表示部３へ出力する。また、キャリブレーション時にテスト画像データが入力された場合には、そのテスト画像データに対しては補正を行わず、そのまま画像表示部３へ出力する。なお、画像変換部１５がＰＣ１ａの内部に設けられていてもよい。
【００４２】
図２は、画像補正データ算出部１４の構成を示すブロック図である。以下、図中の各構成について説明する。キャリブレーション時に画像補正データ算出部１４には、画像撮影部２によって生成された撮影データが入力され、テスト画像データについての各種の情報がキャリブレーションパターン情報として入力される。テスト画像データについての各種の情報とは、幾何補正に関しては、画像表示部３が備えるプロジェクタの解像度や、テスト画像データ中の十字や輝点等のマーカーの位置および個数等の情報であり、色補正に関しては、階調レベル等の情報である。
【００４３】
キャリブレーションパターン情報は、テスト画像生成部１１がテスト画像データを生成し、そのテスト画像データについての情報をマルチプロジェクションシステム制御部１０に通知したときに、マルチプロジェクションシステム制御部１０によって生成される。幾何補正データ算出部１４１は、入力された撮影データおよびキャリブレーションパターン情報に基づいて幾何補正データ２００を生成し、補正データ一時保存部１４２に格納する。
【００４４】
この幾何補正データ算出部１４１は、撮影データによって示される撮影画像の中で、投影面の画像に相当する範囲を検出し、撮影画像と投影面との間の座標関係を算出する。続いて、幾何補正データ算出部１４１は、キャリブレーションパターン情報に基づいて、テスト画像中の十字や輝点等のマーカーの位置を検出し、撮影画像とテスト画像との間の座標関係を算出する。これにより、テスト画像と投影面との座標関係、すなわちプロジェクタによって投影される画像（およびプロジェクタの投射画面）と投影面（スクリーン）との座標関係を画素ごとに求めることができる。幾何補正データ算出部１４１は上記の座標関係を含む幾何補正データ２００を生成し、補正データ一時保存部１４２に格納する。
【００４５】
補正データ一時保存部１４２は、幾何補正データ算出部１４１によって生成された幾何補正データ２００、およびマスクデータ算出部１４３によって生成されたオーバーラップ情報２０１、分割エリア情報２０２、マスク量情報２０３を一時的に記憶する。オーバーラップ情報２０１は、一つのプロジェクタによって投影された投影画像が他のプロジェクタによって投影された他の投影画像と重なる（オーバーラップする）かどうかを画素ごとに示す情報である。図５（ａ）はオーバーラップ情報の内容を示しており、各プロジェクタの画素ごとに、他のプロジェクタによって投影される画像と重なるかどうかが示され、テーブル化されている。
【００４６】
分割エリア情報は、各プロジェクタから投影面に投影された各画像によって構成される全体の画像をいくつかに分割して分割エリアを設定した場合に、各画像の画素がどの分割エリアに属するのかを示す情報である。図５（ｂ）は分割エリア情報の内容を示しており、各プロジェクタの投射画面の各画素に対して、分割エリアの番号が対応付けられている。マスク量情報は、各分割エリアに割り当てられるマスク量をプロジェクタごとに示す情報である。マスク量とは、ある分割エリアに属する全ての画素に対して、デジタルマスク処理が施される画素が占める割合を示している。例えば、ある分割エリアのマスク量が３０％であったとすると、その分割エリアに属する画素の３０％の画素の信号値が０となる。図５（ｃ）はマスク量情報の内容を示しており、各プロジェクタに対して、分割エリアごとにマスク量が割り当てられている。
【００４７】
このように本実施形態においては、各分割エリアに属する画素の中で、信号値が０となる画素の割合はマスク量情報によって決定されている。しかし、その分割エリアの中でどの画素の信号値が０となるのかについては、前述したようにランダム性があり、デジタルマスク処理が施される画素のパターンの長さがランダムな線状のパターンとなるように、デジタルマスク処理を行う画素が指定される。
【００４８】
図２に戻り、マスクデータ算出部１４３は、キャリブレーション時に幾何補正データ２００に基づいて、オーバーラップ情報２０１、分割エリア情報２０２、およびマスク量情報２０３を生成し、各情報を補正データ一時保存部１４２に格納する。また、マスクデータ算出部１４３は、これらの情報に基づいて、信号値が０となる画素を指定するマスクデータ（パターンデータ）を生成し、画像変換部１５へ出力する。色補正データ算出部１４４は、キャリブレーション時に撮影データ、キャリブレーションパターン情報、および幾何補正データ２００に基づいて、色むらや色差の補正に必要な色補正データを生成し、幾何補正データ２００と共に画像変換部１５へ出力する。
【００４９】
図３は、画像変換部１５の構成を示すブロック図である。以下、図中の各構成について説明する。画像変換部１５には、プロジェクタへ出力するコンテンツ画像データやテスト画像データ等の画像データが入力される。マルチプロジェクションシステム制御部１０の制御により、この画像データがどのプロジェクタへ出力されるのかは予め設定されているものとする。また、キャリブレーション時に画像変換部１５には、幾何補正データ２００、マスクデータ２０４、および色補正データ２０５が画像補正データ算出部１４から入力される。補正データ保存部１５１は、入力された幾何補正データ２００、マスクデータ２０４、および色補正データ２０５を記憶する。
【００５０】
幾何補正部１５２は、幾何補正データ２００に基づいて、入力された画像データ（コンテンツ画像データ）の幾何的な補正を行い、補正後の画像データをマスク処理部１５３へ出力する。マスク処理部１５３は、マスクデータ２０４によって示される画素の信号値を０とする補正を行い、補正後の画像データを色補正部１５４へ出力する。色補正部１５４は、色補正データ２０５に基づいて、色むらや色差等を補正し、補正後の画像データを、各画像データに対応した画像表示部３のプロジェクタへ出力する。なお、キャリブレーション時にテスト画像データが入力された場合には、画像変換部１５は補正を行わずに、テスト画像データを画像表示部３へ出力する。
【００５１】
次に、上述した構成のマルチプロジェクションシステムのキャリブレーション時の動作について説明する。ここでは、２台のプロジェクタを用いた場合を例として説明を行う。図６（ａ）のように、各プロジェクタによって投影された画像８１および８２が重なり、オーバーラップ部８３が形成されているとし、画像８１および８２によって構成される全体画像に対して４つの分割エリア８１ａ，８３ａ，８３ｂ，８２ａを設定したとする。分割エリア８１ａは、画像８１に属し、オーバーラップ部８３に属さない領域である。分割エリア８３ａおよび８３ｂは、オーバーラップ部８３に属している領域である。分割エリア８２ａは、画像８２に属し、オーバーラップ部８３に属さない領域である。
【００５２】
マスクデータ算出部１４３は、各プロジェクタによって投影される画像と投影面との座標関係を示す幾何補正データ２００を参照することにより、投影面上の画像８１および８２のそれぞれの位置を検出すると共に、オーバーラップ部８３を検出し、各画素と、オーバーラップ部８３であるかどうかとの情報を関係付け、オーバーラップ情報２０１を生成する。図６（ａ）に示されるように分割エリアを設定することが予め決められていた場合には、マスクデータ算出部１４３はその設定に基づいて、各画素と分割エリアとを関係付け、分割エリア情報２０２を生成する。
【００５３】
また、図６（ａ）のような設定が予め決められているのではなく、ユーザが分割エリアを設定することができるようにしてもよい。例えば、画像処理装置１の図示せぬ表示部に投影画像を表示させ、ユーザに分割エリアの設定を入力させる。ユーザが図示せぬ操作部を介して入力を行うと、マルチプロジェクションシステム制御部１０は、操作部から出力された信号に基づいて、ユーザによって設定された分割エリアを認識する。マルチプロジェクションシステム制御部１０は、分割エリアの設定を示す設定情報を画像補正データ算出部１４へ出力し、画像補正データ算出部１４のマスクデータ算出部１４３は、この設定情報および幾何補正データ２００に基づいてオーバーラップ情報２０１および分割エリア情報２０２を生成する。
【００５４】
続いて、マスクデータ算出部１４３は、各画像に対応したプロジェクタごとに各分割エリアとマスク量とを関係付け、図６（ｂ）に示されるようなマスク量情報２０３を生成する。マスクデータ算出部１４３は、オーバーラップ情報２０１、分割エリア情報２０２、およびマスク量情報２０３に基づいて、オーバーラップ部８３において信号値を０とする画素を決定し、図６（ｃ）に示されるようなマスクパターン８４ａおよび８４ｂを決定する。マスクデータ算出部１４３は、マスクパターン８４ａおよび８４ｂを構成する画素を指定するマスクデータ２０４を生成し、画像変換部１５へ出力する。
【００５５】
以下、フローチャートに沿って本実施形態の動作を説明する。図７は、キャリブレーション時の動作を示すフローチャートである。まず、幾何補正キャリブレーションを実施する（ステップＳ７０１）。幾何補正キャリブレーションにおいて、画像変換部１５の幾何補正部１５２および色補正部１５４は補正パラメータをスルーに設定し、マスク処理部１５３はマスクに必要なパラメータをスルーに設定する。
【００５６】
テスト画像生成部１１は、十字や輝点、格子模様等のマーカーを含む幾何補正用のテスト画像データを生成し、画像データ記憶部１３に格納すると共に、画像変換部１５へ出力する。また、テスト画像生成部１１は、生成したテスト画像データについての幾何補正用の情報をマルチプロジェクションシステム制御部１０へ通知する。マルチプロジェクションシステム制御部１０は、この情報とプロジェクタの解像度等の情報とを含むキャリブレーションパターン情報を生成する。
【００５７】
テスト画像生成部１１によって生成されたテスト画像データが入力された画像変換部１５は、テスト画像データに対しては補正を行わずに、画像表示部３のプロジェクタへ出力する。プロジェクタはテスト画像を投影面に投影する。画像撮影部２は、投影されたテスト画像を撮影し、テスト画像に基づいた撮影データを生成する。画像撮影部２は撮影データを画像処理装置１へ出力する。マルチプロジェクションシステム制御部１０は、入力された撮影データを画像データ記憶部１３に格納する。上記の処理が繰り返され、各プロジェクタに対応する撮影データが画像データ記憶部１３に格納される。
【００５８】
続いて、マルチプロジェクションシステム制御部１０は画像データ記憶部１３から撮影データを読み出し、キャリブレーションパターン情報と共に画像補正データ算出部１４へ出力する。撮影データおよびキャリブレーションパターン情報は幾何補正データ算出部１４１に入力される。幾何補正データ算出部１４１は、撮影データおよびキャリブレーションパターン情報に基づいて幾何補正データ２００を生成し、補正データ一時保存部１４２に格納する。以上で幾何補正キャリブレーションが終了する。
【００５９】
幾何補正キャリブレーションが終了すると、マスクデータ算出部１４３は補正データ一時保存部１４２から幾何補正データ２００を読み出し、幾何補正データ２００に基づいて、オーバーラップ情報２０１、分割エリア情報２０２、およびマスク量情報２０３を生成し、各情報を補正データ一時保存部１４２に格納する。マスクデータ算出部１４３は、これらの情報に基づいて、マスクデータを生成するマスクパターン作成処理を行い、生成したマスクデータを画像変換部１５へ出力する（ステップＳ７０２）。
【００６０】
マスクデータ算出部１４３から出力されたマスクデータ２０４は補正データ保存部１５１に格納される。マスク処理部１５３は補正データ保存部１５１からマスクデータ２０４を読み出し、マスクデータ２０４に基づいてデジタルマスク処理用のパラメータを設定する。これにより、オーバーラップ部のマスクパターンが設定される（ステップＳ７０３）。以後、画像変換部１５に入力される画像データには、デジタルマスク処理が施される。
【００６１】
続いて、色補正キャリブレーションを実施する（ステップＳ７０４）。色補正キャリブレーションにおいても、テスト画像生成部１１によって生成されたテスト画像データに基づいた画像を画像表示部３が表示し、画像撮影部２はその画像を撮影し、撮影データを生成する。幾何補正キャリブレーション時と同様に、マルチプロジェクションシステム制御部１０はキャリブレーションパターン情報を生成し、撮影データと共に色補正データ算出部１４４へ出力する。色補正データ算出部１４４は撮影データ、キャリブレーションパターン情報、および画素位置検出用の幾何補正データ２００に基づいて色補正データを生成し、幾何補正データ２００と共に画像変換部１５へ出力する。この色補正データおよび幾何補正データ２００は補正データ保存部１５１に格納される。以上でキャリブレーションが終了する。
【００６２】
図８および図９は、図７のステップＳ７０２におけるマスクパターン作成処理の詳細な動作を示すフローチャートである。マスクデータ算出部１４３は補正データ一時保存部１４２から幾何補正データ２００を読み出し（ステップＳ８０１）、この幾何補正データ２００に基づいてオーバーラップ情報２０１を生成し、補正データ一時保存部１４２に格納する（ステップＳ８０２）。続いて、マスクデータ算出部１４３は、全てのプロジェクタについてオーバーラップ情報を生成したかどうか判定する（ステップＳ８０３）。オーバーラップ情報を生成していないプロジェクタがある場合には、処理はステップＳ８０１に戻る。
【００６３】
全てのプロジェクタについてオーバーラップ情報を生成した場合には、マスクデータ算出部１４３は分割エリア情報２０２を生成し、補正データ一時保存部１４２に格納する（ステップＳ８０４）。マスクデータ算出部１４３は、分割エリア情報２０２に基づいて、各プロジェクタで信号値が０となる画素が投影面上で重ならないように各分割エリアのマスク量を決定し、このマスク量を示すマスク量情報２０３を生成し、補正データ一時保存部１４２に格納する（ステップＳ８０５）。
【００６４】
続いて、マスクデータ算出部１４３はプロジェクタ番号ｐ＝１の画素番号ｘ＝１の画素（ステップＳ８０６）について、補正データ一時保存部１４２から読み出したオーバーラップ情報２０１に基づいて（ステップＳ８０７）、その画素ｘがオーバーラップ部に属するかどうか判定する（ステップＳ８０８）。画素ｘがオーバーラップ部に属していない場合には、処理はステップＳ８１４に進む。一方、画素ｘがオーバーラップ部に属している場合には、マスクデータ算出部１４３は補正データ一時保存部１４２からマスク量情報２０３を読み出し、画素ｘが属している分割エリアのマスク量を参照する（ステップＳ８０９）。
【００６５】
マスクデータ算出部１４３は、このマスク量に応じてランダム確率パラメータの値を変更する。ランダム確率パラメータは乱数の発生率を決定するパラメータであり、例えばある分割エリアのマスク量が３０％の場合には、その分割エリアにおいてデジタルマスク処理を施す画素の総数が３０％となるような乱数が発生するように、ランダム確率パラメータの値が設定される。マスクデータ算出部１４３は、ランダム確率パラメータに基づいて乱数を発生し、その乱数の値に基づいて、画素ｘからプロジェクタの投射画面のエッジの画素（すなわちオーバーラップ部のエッジの画素）までデジタルマスク処理を行うかどうか決定する（ステップＳ８１０）。
【００６６】
マスクデータ算出部１４３は、上記の処理の結果に基づいて、デジタルマスク処理を行うかどうか判定する（ステップＳ８１１）。デジタルマスク処理を行わない場合には、処理はステップＳ８１４に進む。一方、デジタルマスク処理を行う場合には、マスクデータ算出部１４３は、画素ｘからプロジェクタの投射画面のエッジの画素までマスクすることをマスクデータに記録する（ステップＳ８１２）。この場合のオーバーラップ部のエッジの画素の位置は幾何補正データ２００に基づいて決定される。
【００６７】
続いて、マスクデータ算出部１４３は画素番号ｘをオーバーラップ部のエッジ画素の画素番号まで増加させ（ステップＳ８１３）、処理対象となる画素の画素番号ｘがプロジェクタｐの画素数Ｍと等しいかどうか判定する（ステップＳ８１４）。画素番号ｘがＭと等しくない場合には、同じプロジェクタ番号のプロジェクタに関する処理を継続するため、画素番号ｘの値を１だけ増加させ（ステップＳ８１５）、ステップＳ８０７に戻る。
【００６８】
一方、画素番号ｘがＭと等しい場合には、マスクデータ算出部１４３は、処理対象となるプロジェクタのプロジェクタ番号ｐがプロジェクタ数Ｎと等しいかどうか判定する（ステップＳ８１６）。プロジェクタ番号ｐがＮと等しくない場合には、次のプロジェクタ番号のプロジェクタに関する処理を継続するため、プロジェクタ番号ｐの値を１だけ増加させると共に、画素番号ｘ＝１とし（ステップＳ８１７）、ステップＳ８０７に戻る。一方、プロジェクタ番号ｐがＮと等しい場合には、図７のステップＳ７０３へ進む。
【００６９】
キャリブレーションの終了後、コンテンツ画像等の画像を投影する場合には、コンテンツ再生部１２は画像データ記憶部１３からコンテンツ画像データを読み出し、画像変換部１５へ出力する。画像変換部１５において、幾何補正部１５２は補正データ保存部１５１から幾何補正データ２００を読み出し、コンテンツ画像データに対して幾何補正を行い、補正後のコンテンツ画像データをマスク処理部１５３へ出力する。マスク処理部１５３は補正データ保存部１５１からマスクデータ２０４を読み出し、このマスクデータ２０４によって示される画素の信号値が０となるように補正を行い、補正後のコンテンツ画像データを色補正部１５４へ出力する。
【００７０】
色補正部１５４は補正データ保存部１５１から色補正データ２０５を読み出し、コンテンツ画像データに対して色補正を行い、そのコンテンツ画像データに対応した画像表示部３のプロジェクタへ補正後のコンテンツ画像データを出力する。画像表示部３のプロジェクタによって、このコンテンツ画像データに基づいたコンテンツ画像がスクリーンに投影される。
【００７１】
上述したように、本実施形態においてマスクデータ算出部１４３は、複数のプロジェクタによって投影される複数の画像どうしの重なり部分（オーバーラップ部）に対して、信号値が０となる画素を含む補正領域を、複数の画像間で重ならないように設定する（図８のステップＳ８０５参照）。また、マスクデータ算出部１４３は、各補正領域において、信号値が０となる画素をランダムに指定する（図９のステップＳ８０９参照）ことにより、信号値が０となる画素を示すマスクデータを生成する。これにより、図６（ｃ）の分割エリア８３ｂにおけるマスクデータ８４ｂが生成される。マスクデータ８４ｂのパターンは、プロジェクタごとに異なっていることが望ましい。
【００７２】
図６（ｃ）の分割エリア８３ａにおけるマスクデータ８４ａの生成の際の手順も図８および図９と同様である。マスクデータ８４ｂを左右反転することにより、マスクデータ８４ａを生成するようにしてもよい。図８および図９に示される手順においては、オーバーラップ部８３を構成する各画像に対して、信号値が０となる画素を含む補正領域を、複数の画像間で重ならないように設定してから、信号値が０となる画素をランダムに指定しているが、以下のように手順を逆にしてもよい。すなわち、マスクデータ算出部１４３は、オーバーラップ部８３において、信号値が０となる画素をランダムに指定する。続いて、マスクデータ算出部１４３は、信号値が０となる画素が複数の画像間で重なっていないかどうか確認し、重なっていた場合には、少なくとも１つの画像データについて、該当画素の指定を変更する。
【００７３】
なお、上述した画像データの補正において、Ｒ，Ｇ，Ｂの各色に対して異なるマスクデータを生成し、適用してもよい。
【００７４】
以上の動作により、投影面に投影された画像どうしの重なり部分の境界は目立たなくなる。また、投影面に投影された画像の撮影データに基づいて、画像データ補正用のマスクデータが生成されるので、遮光板が正確な位置に設置されていない場合、あるいは遮光板が設けられていない場合であっても、重なり部分の境界が目立たないようにすることができる。さらに、マスクデータのパターンにランダムの要素を加えることにより、キャリブレーションカメラの解像度がプロジェクタに比べて低い場合であっても、高精細な画像の重なり部分の境界が目立たないようにすることができる。
【００７５】
次に、本発明の第２の実施形態について説明する。図１１は、本実施形態における画像データの補正手法を示す概念図である。図１１（ａ）のように、異なるプロジェクタによってスクリーン上に投影された画像７１および画像７２が重なり、オーバーラップ部７３が形成されるとする。このオーバーラップ部７３を構成する画像に対応した画像データの画素に対して、ランダムにデジタルマスク処理を行い、一部の画素の信号値を０とする。この画素はスクリーンに表示されない。
【００７６】
この場合、まず画像７１および７２の輝度を調べ、画像の明るさに応じて、デジタルマスク処理を行う画素の数を決定する。すなわち、画像が明るい場合には、デジタルマスク処理を行う画素の数を増加させ、画像が暗い場合には、デジタルマスク処理を行う画素の数を減少させる。続いて、画像７１および７２に対応した画像データにおいて、オーバーラップ部７３に対応し、デジタルマスク処理を行う画素のパターンがドット状となるように、デジタルマスク処理を行う画素をランダムに指定する。
【００７７】
画素をランダムに指定した後、異なる画像間で投影画像上の同じ位置の画素が重複して指定されているかどうか確認し、重複して指定されていた場合には、少なくとも１つの画像の該当画素について、デジタルマスク処理を行う指定を変更する。この結果、スクリーンに表示された画像７１および７２において、信号値が０となる画素のパターンはドット状のマスクパターン７４となる。
【００７８】
次に、本実施形態による画像処理装置の構成について説明する。マルチプロジェクションシステムの構成は図１と同一であるが、画像処理装置１における画像補正データ算出部１４の構成は図１０のとおりである。図１０において、図２と同一の構成には同一の符号を付与し、説明を省略する。この画像補正データ算出部１４においては、プロジェクタ輝度算出部１４５が設けられている。プロジェクタ輝度算出部１４５は、キャリブレーション時に幾何補正データ算出部１４１によって生成された幾何補正データ２００、および画像撮影部２によって生成された撮影データに基づいて、各プロジェクタの画素ごとの輝度を検出し、プロジェクタ輝度情報２０４を生成する。
【００７９】
マスクデータ算出部１４３は、幾何補正データ２００に基づいてオーバーラップ情報２０１および分割エリア情報２０２を生成すると共に、分割エリア情報およびプロジェクタ輝度情報２０４に基づいてマスク量情報２０３を生成する。マスクデータ算出部１４３は、第１の実施形態と同様に、生成した各情報に基づいて、信号値が０となる画素を指定するマスクデータを生成する。
【００８０】
以下、フローチャートに沿って本実施形態の動作を説明する。図１２は、キャリブレーション時の動作を示すフローチャートである。ステップＳ１２０１の処理は図７のステップＳ７０１の処理と同様であるので説明を省略する。続いて、マルチプロジェクションシステム制御部１０は画像データ記憶部１３から撮影データを読み出して画像補正データ算出部１４へ出力する。この撮影データはプロジェクタ輝度算出部１４５に入力される。プロジェクタ輝度算出部１４５は、補正データ一時保存部１４２から幾何補正データ２００を読み出し、撮影データおよび幾何補正データ２００に基づいて、各プロジェクタの画素ごとの輝度を検出し、その検出結果を示すプロジェクタ輝度情報２０４を補正データ一時保存部１４２に格納する（ステップＳ１２０２）。
【００８１】
マスクデータ算出部１４３は補正データ一時保存部１４２から幾何補正データ２００およびプロジェクタ輝度情報２０４を読み出し、幾何補正データ２００に基づいてオーバーラップ情報２０１および分割エリア情報２０２を生成すると共に、分割エリア情報およびプロジェクタ輝度情報２０４に基づいてマスク量情報２０３を生成する。マスクデータ算出部１４３は各情報を補正データ一時保存部１４２に格納すると共に、これらの情報に基づいて、マスクデータを生成するマスクパターン作成処理を行い、生成したマスクデータを幾何補正データ２００と共に、画像変換部１５へ出力する（ステップＳ１２０３）。ステップＳ１２０４〜ステップＳ１２０５の処理は図７のステップＳ７０３〜ステップＳ７０４の処理と同様であるので、説明を省略する。
【００８２】
図１３および図１４は、図１２のステップＳ１２０３におけるマスクパターン作成処理の詳細な動作を示すフローチャートである。ステップＳ１３０１〜ステップＳ１３０４の処理は図８のステップＳ８０１〜ステップＳ８０４の処理と同様であるので、説明を省略する。続いて、マスクデータ算出部１４３は、補正データ一時保存部１４２から分割エリア情報２０２およびプロジェクタ輝度情報２０４を読み出す。マスクデータ算出部１４３は、各プロジェクタの分割エリアごとの輝度に応じて、デジタルマスク処理を行う画素数を分割エリアごとに設定することにより、各分割エリアのドットマスク量を決定し、マスク量情報２０３を生成する。マスクデータ算出部１４３はこのマスク量情報２０３を補正データ一時保存部１４２に格納する（ステップＳ１３０５）。
【００８３】
続いて、マスクデータ算出部１４３はプロジェクタ番号ｐ＝１の画素番号ｘ＝１の画素（ステップＳ１３０６）について、補正データ一時保存部１４２から読み出したオーバーラップ情報２０１に基づいて（ステップＳ１３０７）、その画素ｘがオーバーラップ部に属するかどうか判定する（ステップＳ１３０８）。画素ｘがオーバーラップ部に属していない場合には、処理はステップＳ１３１６に進む。一方、画素ｘがオーバーラップ部に属している場合には、マスクデータ算出部１４３は補正データ一時保存部１４２からマスク量情報２０３を読み出し、画素ｘが属している分割エリアのドットマスク量を参照する（ステップＳ１３０９）。
【００８４】
マスクデータ算出部１４３は、このドットマスク量に応じてランダム確率パラメータの値を変更する。マスクデータ算出部１４３は、ランダム確率パラメータに基づいて乱数を発生し、その乱数の値に基づいて、対象の画素ｘに対してデジタルマスク処理を行うかどうか決定する（ステップＳ１３１０）。マスクデータ算出部１４３は、上記の処理の結果に基づいて、デジタルマスク処理を行うかどうか判定する（ステップＳ１３１１）。デジタルマスク処理を行わない場合には、処理はステップＳ１３１６に進む。
【００８５】
一方、デジタルマスク処理を行う場合には、マスクデータ算出部１４３は、既に作成した他のプロジェクタのマスクデータが補正データ一時保存部１４２に保存されているかどうか確認し、保存されている場合には、そのマスクデータを読み出して参照する。マスクデータ算出部１４３は、ステップＳ１３１０においてデジタルマスク処理を行うと決定した画素が、参照したマスクデータにおいてデジタルマスク処理を行う他の画素と画像上で重なるかどうか調べる（ステップＳ１３１２）。マスクデータ算出部１４３は、この結果に基づいて、画素が重なるかどうか判定する（ステップＳ１３１３）。
【００８６】
画素が重なる場合には、マスクデータ算出部１４３は、ステップＳ１３１０においてデジタルマスク処理を行うと決定した画素ｘの指定を変更し、その画素ｘに対してはデジタルマスク処理を行わないとする（ステップＳ１３１４）。一方、２つの画素が重ならない場合には、マスクデータ算出部１４３は、画素ｘをマスクすることをマスクデータに記録する（ステップＳ１３１５）。ステップＳ１３１６〜ステップＳ１３１９の処理は図９のステップＳ８１４〜ステップＳ８１７の処理と同様であるので、説明を省略する。
【００８７】
以上の動作により、第１の実施形態と同様に、投影面に投影された画像どうしの重なり部分の境界は目立たなくなる。図１２〜図１４に示される手順においては、オーバーラップ部を構成する各画像データに対して、信号値が０となる画素をランダムに指定（図１４のステップＳ１３１０参照）してから、信号値が０となる画素が複数の画像間で重ならないように設定（図１４のステップＳ１３１２〜ステップＳ１３１５参照）しているが、以下のように手順を逆にしてもよい。すなわち、マスクデータ算出部１４３は、オーバーラップ部を構成する各画像に対して、信号値が０となる画素を含む補正領域を、複数の画像間で重ならないように設定し、各補正領域において、信号値が０となる画素をランダムに指定する。
【００８８】
次に、本発明の第３の実施形態について説明する。図１７は、本実施形態における画像データの補正手法を示す概念図である。図１７のように、異なるプロジェクタによってスクリーン上に投影された画像７１および画像７２が重なり、オーバーラップ部７３が形成されるとする。このオーバーラップ部７３を構成する画像に対応した画像データの画素に対して、その画素のゲイン係数（輝度補正係数）をランダムに決定する。画像変換部１５に入力された画像データの各画素の信号値に対して、ゲイン係数が乗じられ、信号値が補正される。この結果、この画素の輝度が補正される。
【００８９】
この場合、画像７１および７２に対応した画像データにおいて、オーバーラップ部７３に含まれる各画素のゲイン係数をランダムに決定する。例えば、図１７においては１００％、６６％、３３％、０％の４種類のゲイン係数が用意され、各画素に対してこれらの中から１つのゲイン係数をランダムに割り当てる。このゲイン係数の種類は４種類に限定されるわけではない。
【００９０】
また、ゲイン係数をランダムに決定した後、異なる画像間で投影画像上の同じ位置の画素のゲインレベルの総和が所定のしきい値（例えば１００％）を下回るかどうか確認し、下回る場合には、該当する画素のゲイン係数を変更する。これにより、オーバーラップ部７３の輝度が暗くならないようにすることができる。上記の処理の結果、スクリーンに表示された画像７１および７２のオーバーラップ部７３において、ランダムにゲイン係数が指定されたゲインパターン７５（パターンデータ）は、図１７に示されるようなパターンとなる。
【００９１】
次に、本実施形態による画像処理装置の構成について説明する。マルチプロジェクションシステムの構成は図１と同一であるが、画像処理装置１における画像補正データ算出部１４の構成は図１５のとおりであり、画像変換部１５の構成は図１６のとおりである。図１５において、図１０と同一の構成には同一の符号を付与し、説明を省略する。この画像補正データ算出部１４においては、マスクデータ算出部１４３に替えて、ゲインデータ算出部１４６が設けられている。このゲインデータ算出部１４６はゲイン量情報２０５を生成する。ゲイン量情報２０５は、分割エリア情報２０２によって示される各分割エリア内の全体におけるゲイン係数の設定量（ゲイン係数の総和、平均値、あるいは最高値等）を示している。
【００９２】
ゲインデータ算出部１４６は、幾何補正データ２００に基づいてオーバーラップ情報２０１および分割エリア情報２０２を生成すると共に、分割エリア情報およびプロジェクタ輝度情報２０４に基づいてゲイン量情報２０５を生成する。ゲインデータ算出部１４６は、輝度が高い分割エリアに対しては、ゲイン量が小さくなるようにゲイン係数の設定を行い、輝度が低い分割エリアに対しては、ゲイン量が大きくなるようにゲイン係数の設定を行う。ゲインデータ算出部１４６は、生成した各情報に基づいて、オーバーラップ部を構成する画素のゲイン係数を指定するゲインデータを生成し、画像変換部１５へ出力する。
【００９３】
図１６において、図３と同一の構成には同一の符号を付与し、説明を省略する。図１６に示される画像変換部１５においては、マスク処理部１５３に替えて、ゲイン処理部１５５が設けられている。ゲイン処理部１５５は補正データ保存部１５１からゲインデータ２０６を読み出し、幾何補正部１５２によって幾何変形に関する補正が行われて出力された画像データの各画素の信号値に対して、ゲインデータ２０６によって示されるゲイン係数を乗ずることにより信号値の補正を行い、補正後の画像データを色補正部１５４へ出力する。
【００９４】
以下、フローチャートに沿って本実施形態の動作を説明する。図１８は、キャリブレーション時の動作を示すフローチャートである。ステップＳ１８０１〜ステップＳ１８０２の処理は図１２のステップＳ１２０１〜ステップＳ１２０２の処理と同様であるので説明を省略する。続いて、ゲインデータ算出部１４６は、ゲインデータを生成するゲインパターン作成処理を行い、生成したゲインデータを幾何補正データ２００と共に、画像変換部１５へ出力する（ステップＳ１８０３）。ステップＳ１８０４〜ステップＳ１８０５の処理は図１２のステップＳ１２０４〜ステップＳ１２０５の処理と同様であるので、説明を省略する。ただし、ステップＳ１８０４においては、マスクパターンに替えて、ゲインパターンを画像変換部１５に設定する。
【００９５】
図１９および図２０は、図１８のステップＳ１８０３におけるゲインパターン作成処理の詳細な動作を示すフローチャートである。ステップＳ１９０１〜ステップＳ１９０４の処理は図１３のステップＳ１３０１〜ステップＳ１３０４の処理と同様であるので、説明を省略する。続いて、ゲインデータ算出部１４６は補正データ一時保存部１４２から分割エリア情報２０２およびプロジェクタ輝度情報２０４を読み出す。ゲインデータ算出部１４６は、各プロジェクタの分割エリアごとの輝度に応じて、ゲイン量を分割エリアごとに決定し、ゲイン量情報２０５を生成する。ゲインデータ算出部１４６はこのゲイン量情報２０５を補正データ一時保存部１４２に格納する（ステップＳ１９０５）。
【００９６】
続いて、ゲインデータ算出部１４６はプロジェクタ番号ｐ＝１の画素番号ｘ＝１の画素（ステップＳ１９０６）について、補正データ一時保存部１４２から読み出したオーバーラップ情報２０１に基づいて（ステップＳ１９０７）、その画素ｘがオーバーラップ部に属するかどうか判定する（ステップＳ１９０８）。画素ｘがオーバーラップ部に属していない場合には、処理はステップＳ１９１５に進む。一方、画素ｘがオーバーラップ部に属している場合には、ゲインデータ算出部１４６は補正データ一時保存部１４２からゲイン量情報２０５を読み出し、画素ｘが属している分割エリアのゲイン量を参照する（ステップＳ１９０９）。
【００９７】
ゲインデータ算出部１４６は、このゲイン量に応じてランダム確率パラメータの値を変更する。ゲインデータ算出部１４６は、ランダム確率パラメータに基づいて乱数を発生し、その乱数の値に基づいて、対象の画素ｘのゲインレベルを決定する（ステップＳ１９１０）。続いて、ゲインデータ算出部１４６は、既に作成した他のプロジェクタのゲインデータが補正データ一時保存部１４２に保存されているかどうか確認し、保存されている場合には、そのゲインデータを読み出して参照する。ゲインデータ算出部１４６は、ステップＳ１９１０において決定したゲインレベルと、投影画像上で同位置の画素のゲインレベルとの総和を算出し、その総和があるしきい値（例えば１００％）を下回るかどうか調べる（ステップＳ１９１１）。ゲインデータ算出部１４６は、この結果に基づいて、算出した総和があるしきい値を下回るかどうか判定する（ステップＳ１９１２）。
【００９８】
総和があるしきい値を下回る場合には、ゲインデータ算出部１４６は、ステップＳ１９１０において決定した画素ｘのゲインレベルを変更して、同位置の他のプロジェクタの画素のゲインレベルとの総和がしきい値以上となるようにする（ステップＳ１９１３）。一方、総和があるしきい値を下回らない場合には、ゲインデータ算出部１４６は、ステップＳ１９１０において決定した画素ｘのゲインレベルをゲインデータに記録する（ステップＳ１９１４）。ステップＳ１９１５〜ステップＳ１９１８の処理は図１４のステップＳ１３１６〜ステップＳ１３１９の処理と同様であるので、説明を省略する。以上の動作により、第１および第２の実施形態と同様に、投影面に投影された画像どうしの重なり部分の境界は目立たなくなる。
【００９９】
次に、本発明の第４の実施形態について説明する。図２１は、本実施形態による画像変換部１５の構成を示すブロック図である。画像処理装置１の他の構成は図１等と同様である。図２１において、図１６等と同一の構成には同一の符号を付与し、説明を省略する。図２１に示される画像変換部１５においては、ランダムマスク／ゲインデータ切換部１５６が設けられ、マスク処理部１５３あるいはゲイン処理部１５５に替えて、マスク／ゲイン処理部１５７が設けられている。
【０１００】
補正データ保存部１５１には、複数の異なるデータ内容のマスク／ゲインデータ２０７が格納されている。これらのマスク／ゲインデータの総数は限定されない。マスク／ゲインデータ２０７は、第１または第２の実施形態におけるマスクデータと、第３の実施形態におけるゲインデータとの一方からなるデータ、あるいは両方の組み合わせからなるデータである。ランダムマスク／ゲインデータ切換部１５６は、通常のコンテンツ画像等の投影時に、動画像の１または複数のフレームごとに、マスク／ゲインデータ２０７からいずれか一つをランダムに選択して補正データ保存部１５１から読み出し、マスク／ゲイン処理部１５７へ出力する。
【０１０１】
マスク／ゲイン処理部１５７は、ランダムマスク／ゲインデータ切換部１５６から出力されたマスク／ゲインデータ２０７に基づいて、画像データに対してデジタルマスク処理あるいはゲイン補正を行い、補正後の画像データを色補正部１５４へ出力する。以上の動作により、画像データの補正に用いられるマスクデータあるいはゲインデータがランダムに切り替えられるので、オーバーラップ部のマスクパターンあるいは各画素のゲイン量をよりランダムにすることができる。
【０１０２】
次に、本発明の第５の実施形態について説明する。図２２は、本実施形態による画像変換部１５の構成を示すブロック図である。他の構成は図１等と同様であるとする。図２２において、図２１と同一の構成には同一の符号を付与し、説明を省略する。図２２に示される画像変換部１５においては、画質判定部１５８が設けられている。画質判定部１５８は、画像変換部１５に入力された画像データの画質を判定し、判定結果をマスク／ゲインデータ切換部１５６ｂへ出力する。
【０１０３】
マスク／ゲインデータ切換部１５６ｂは、この判定結果に基づいて、入力された画像データに適したマスク／ゲインデータ２０７を、補正データ保存部１５１に格納されたマスク／ゲインデータ２０７の中から選択して読み出し、マスク／ゲイン処理部１５７へ出力する。マスク／ゲイン処理部１５７は第４の実施形態と同様に、マスク／ゲインデータ切換部１５６ｂから出力されたマスク／ゲインデータ２０７に基づいて、画像データに対してデジタルマスク処理あるいはゲイン補正を行い、補正後の画像データを色補正部１５４へ出力する。
【０１０４】
上記の動作において、例えば画質判定部１５８によって、画像データが自然画の画像データであると判定された場合には、マスク／ゲインデータ切換部１５６ｂは、第１の実施形態と同様のランダムラインのパターンを有するマスク／ゲインデータ２０７を補正データ保存部１５１から読み出す。また、画質判定部１５８によって、画像データがＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）の画像データであると判定された場合には、マスク／ゲインデータ切換部１５６ｂは、第２の実施形態と同様のランダムドットのパターンを有するマスク／ゲインデータ２０７を補正データ保存部１５１から読み出す。
【０１０５】
ＣＧと比較して、自然画のようにつなぎ目がわかりにくい画像に対しては、パターン作成が容易なランダムラインのパターンを用いるとよい。また、ＣＧやアニメーションのように、一様な色のデータが含まれるために、エッジが目立ちやすい画像に対しては、つなぎ目が目立ちにくいランダムドットのパターンを用いるとよい。
【０１０６】
また、画質判定部１５８によって、画像データによって示される画像が明るい画像であると判定された場合には、マスク／ゲインデータ切換部１５６ｂは、より多くのランダムドットのパターンを有するマスク／ゲインデータ２０７を補正データ保存部１５１から読み出す。また、画質判定部１５８によって、画像データによって示される画像が暗い画像であると判定された場合には、マスク／ゲインデータ切換部１５６ｂは、より少ないランダムドットのパターンを有するマスク／ゲインデータ２０７を補正データ保存部１５１から読み出す。
【０１０７】
人間の目は、全体が暗い映像を見た場合には、微妙な輝度差を感知することができるようになる。そのため、ランダムドットを多くするとつなぎ目は目立ちにくくなるが、ランダムドットのパターンが目に付きやすくなる可能性がある。したがって、明るい画像に対しては、より多くのランダムドットのパターンを用い、暗い画像に対しては、より少ないランダムドットのパターンを用いるとよい。以上の動作により、画像データの種類に基づく画質に応じて、より適切なパターンデータを選択することができる。
【０１０８】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこれらの実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【図面の簡単な説明】
【０１０９】
【図１】本発明の第１の実施形態によるマルチプロジェクションシステムの構成を示すブロック図である。
【図２】第１の実施形態による画像補正データ算出部の構成を示すブロック図である。
【図３】第１の実施形態による画像変換部の構成を示すブロック図である。
【図４】第１の実施形態による画像データの補正手法を示す概念図である。
【図５】第１の実施形態におけるオーバーラップ情報、分割エリア情報、およびマスク量情報の内容を示す参考図である。
【図６】第１の実施形態において、２台のプロジェクタを用いた場合の条件を示す参考図である。
【図７】第１の実施形態におけるキャリブレーション時の動作を示すフローチャートである。
【図８】第１の実施形態におけるマスクパターン作成処理の動作を示すフローチャートである。
【図９】第１の実施形態におけるマスクパターン作成処理の動作を示すフローチャートである。
【図１０】本発明の第２の実施形態による画像補正データ算出部の構成を示すブロック図である。
【図１１】第２の実施形態による画像データの補正手法を示す概念図である。
【図１２】第２の実施形態におけるキャリブレーション時の動作を示すフローチャートである。
【図１３】第２の実施形態におけるマスクパターン作成処理の動作を示すフローチャートである。
【図１４】第２の実施形態におけるマスクパターン作成処理の動作を示すフローチャートである。
【図１５】本発明の第３の実施形態による画像補正データ算出部の構成を示すブロック図である。
【図１６】第３の実施形態による画像変換部の構成を示すブロック図である。
【図１７】第３の実施形態による画像データの補正手法を示す概念図である。
【図１８】第３の実施形態におけるキャリブレーション時の動作を示すフローチャートである。
【図１９】第３の実施形態におけるゲインパターン作成処理の動作を示すフローチャートである。
【図２０】第３の実施形態におけるゲインパターン作成処理の動作を示すフローチャートである。
【図２１】本発明の第４の実施形態による画像変換部の構成を示すブロック図である。
【図２２】本発明の第５の実施形態による画像変換部の構成を示すブロック図である。
【図２３】従来のマルチプロジェクションシステムによる画像の投影手法を説明するための模式図である。
【図２４】従来のマルチプロジェクションシステムによる画像の投影手順を示すフローチャートである。
【図２５】従来のマルチプロジェクションシステムによる画像の投影手法における問題点を説明するための模式図である。
【符号の説明】
【０１１０】
１・・・画像処理装置、１ａ・・・ＰＣ、２・・・画像撮影部、３・・・画像表示部、５・・・遮光板、６・・・スクリーン、１０・・・マルチプロジェクションシステム制御部、１１・・・テスト画像生成部、１２・・・コンテンツ再生部、１３・・・画像データ記憶部、１４・・・画像補正データ算出部、１５・・・画像変換部、４１，４２・・・プロジェクタ、１４１・・・幾何補正データ算出部、１４２・・・補正データ一時保存部、１４３・・・マスクデータ算出部、１４４・・・色補正データ算出部、１４５・・・プロジェクタ輝度算出部、１４６・・・ゲインデータ算出部、１５１・・・補正データ保存部、１５２・・・幾何補正部、１５３・・・マスク処理部、１５４・・・色補正部、１５５・・・ゲイン処理部、１５６・・・ランダムマスク／ゲインデータ切換部、１５６ｂ・・・マスク／ゲインデータ切換部、１５７・・・マスク／ゲイン処理部、１５８・・・画質判定部。
【図１】
2006014146.tif 000003
【図２】
2006014146.tif 000004
【図３】
2006014146.tif 000005
【図４】
2006014146.tif 000006
【図５】
2006014146.tif 000007
【図６】
2006014146.tif 000008
【図７】
2006014146.tif 000009
【図８】
2006014146.tif 000010
【図９】
2006014146.tif 000011
【図１０】
2006014146.tif 000012
【図１１】
2006014146.tif 000013
【図１２】
2006014146.tif 000014
【図１３】
2006014146.tif 000015
【図１４】
2006014146.tif 000016
【図１５】
2006014146.tif 000017
【図１６】
2006014146.tif 000018
【図１７】
2006014146.tif 000019
【図１８】
2006014146.tif 000020
【図１９】
2006014146.tif 000021
【図２０】
2006014146.tif 000022
【図２１】
2006014146.tif 000023
【図２２】
2006014146.tif 000024
【図２３】
2006014146.tif 000025
【図２４】
2006014146.tif 000026
【図２５】
2006014146.tif 000027