(57)【要約】【課題】テストパターンを撮影して得られる撮影データが、テストパターンデータに係る画像の全てを正常に含んでいない場合でも、画像全体に関する表示特性補正データを算出し得る表示特性補正データの算出方法等を提供する。【解決手段】テストパターンデータを生成し（Ｓ１）、このテストパターンデータに基づき画像表示装置にテストパターンを表示し（Ｓ２）、このテストパターンを撮影して撮影データを取得し（Ｓ３）、この撮影データから画像表示装置の表示特性補正データを算出する。このとき、撮影データが、画像の全部を正常に含んでいない場合には、その非正常領域を補完対象領域として設定し（Ｓ６，Ｓ７）、該補完対象領域以外の領域からこの補完対象領域の補完を行うことにより（Ｓ９，Ｓ１４）、上記テストパターンデータに係る画像の全部に関する補正データを算出する表示特性補正データの算出方法。【選択図】  図３
2005020314.tif 000002
【特許請求の範囲】
【請求項１】
テストパターンデータに基づき画像表示装置にテストパターンを表示し、
上記テストパターンを撮影して撮影データを取得し、
取得した撮影データに基づき上記画像表示装置の表示特性を補正するための補正データを算出する、表示特性補正データの算出方法であって、
取得された上記撮影データが、上記テストパターンデータに係る画像の全部を正常に含んでいない場合には、該正常に含んでいない領域を含むように補完対象領域を設定し、該補完対象領域以外の領域に基づいて該補完対象領域の補完を行うことにより、補完対象領域の補正データを含む、上記テストパターンデータに係る画像の全部に関する補正データ、を算出することを特徴とする表示特性補正データの算出方法。
【請求項２】
上記画像表示装置にテストパターンを表示するに先だって、上記テストパターンデータを生成することを特徴とする請求項１に記載の表示特性補正データの算出方法。
【請求項３】
上記表示特性は、幾何特性、色特性、輝度特性、ホワイトバランス特性、ガンマ特性、の内の少なくとも１つを含むことを特徴とする請求項１または請求項２に記載の表示特性補正データの算出方法。
【請求項４】
上記補完対象領域の補正データの算出は、
上記補完対象領域以外の領域の撮影データに基づいて上記補完対象領域の撮影データを補完することにより上記テストパターンデータに係る画像の全部に関する撮影データを取得し、
取得された撮影データに基づいて上記テストパターンデータに係る画像の全部に関する補正データを算出することにより、
行われるものであることを特徴とする請求項１から請求項３の何れか１項に記載の表示特性補正データの算出方法。
【請求項５】
上記補完対象領域の補正データの算出は、
上記補完対象領域以外の領域の撮影データに基づいて、該補完対象領域以外の領域の補正データを算出し、
算出された補完対象領域以外の領域の補正データに基づいて上記補完対象領域の補正データを補完することにより、
行われるものであることを特徴とする請求項１から請求項３の何れか１項に記載の表示特性補正データの算出方法。
【請求項６】
上記補完対象領域の補正データの算出は、
上記撮影データに基づいて、該撮影データに係る画像の全領域の補正データを算出し、
算出された補正データの内の補完対象領域以外の領域の補正データに基づいて上記補完対象領域の補正データを補完することにより、
行われるものであることを特徴とする請求項１から請求項３の何れか１項に記載の表示特性補正データの算出方法。
【請求項７】
上記補完対象領域を設定するに先だって、上記撮影データに係る画像を表示し、
表示した画像に係る手動による操作に応じて、上記補完対象領域を設定するものであることを特徴とする請求項１から請求項６の何れか１項に記載の表示特性補正データの算出方法。
【請求項８】
上記補完対象領域は、上記撮影データを解析することにより、上記テストパターンデータに係る画像を正常に含んでいない領域を認識した結果に基づいて、該領域を含むように自動的に設定されるものであることを特徴とする請求項１から請求項６の何れか１項に記載の表示特性補正データの算出方法。
【請求項９】
上記撮影データの解析は、複数のテストパターンデータに対応する複数の撮影データ同士を比較することにより行われるものであることを特徴とする請求項８に記載の表示特性補正データの算出方法。
【請求項１０】
上記補完対象領域は、上記撮影データに係る画像の全領域の補正データを解析することにより、上記テストパターンデータに係る画像を正常に含んでいない領域を認識した結果に基づいて、該領域を含むように自動的に設定されるものであることを特徴とする請求項６に記載の表示特性補正データの算出方法。
【請求項１１】
上記撮影データの解析は、複数のテストパターンデータに対応する複数の撮影データに係る画像の全領域の補正データ同士を比較することにより行われるものであることを特徴とする請求項１０に記載の表示特性補正データの算出方法。
【請求項１２】
上記補完対象領域を設定するに先だって、障害物検出装置を用いて障害物を検出し、
上記補完対象領域は、検出された障害物に該当する画像領域を、上記テストパターンデータに係る画像を正常に含んでいない領域として認識した結果に基づいて、該領域を含むように自動的に設定されるものであることを特徴とする請求項１から請求項６の何れか１項に記載の表示特性補正データの算出方法。
【請求項１３】
上記補完対象領域のデータの補完は、該補完対象領域以外の領域のデータをコピーすることにより行われるものであることを特徴とする請求項１に記載の表示特性補正データの算出方法。
【請求項１４】
上記補完対象領域のデータの補完は、該補完対象領域以外の領域のデータから、所定の相関関係に基づき算出されるものであることを特徴とする請求項１に記載の表示特性補正データの算出方法。
【請求項１５】
上記所定の相関関係は、上記補完対象領域内における補完対象部分の位置と、上記補完対象領域以外の領域における補完元のデータが存在する位置と、の距離であることを特徴とする請求項１４に記載の表示特性補正データの算出方法。
【請求項１６】
上記画像表示装置は、画像を投影するプロジェクタと、このプロジェクタにより投影される画像を表示するスクリーンと、を有してなるプロジェクション装置であることを特徴とする請求項１に記載の表示特性補正データの算出方法。
【請求項１７】
上記画像表示装置は、部分画像を各投影する複数のプロジェクタと、これら複数のプロジェクタにより投影される画像を表示するスクリーンと、を有し、上記プロジェクタにより上記スクリーンに投影される部分画像をその辺縁において隣接する部分画像に重畳領域をもって重ね合わせながら配列することにより全体として一画像を構成するようになされたマルチプロジェクション装置であることを特徴とする請求項１に記載の表示特性補正データの算出方法。
【請求項１８】
コンピュータに、
テストパターンデータに基づき画像表示装置にテストパターンを表示させ、
上記テストパターンを撮影して撮影データを取得させ、
取得した撮影データに基づき上記画像表示装置の表示特性を補正するための補正データを算出させるための、表示特性補正データの算出プログラムであって、
取得された上記撮影データが、上記テストパターンデータに係る画像の全部を正常に含んでいない場合には、該正常に含んでいない領域を含むように補完対象領域を設定させ、該補完対象領域以外の領域に基づいて該補完対象領域の補完を行わせることにより、補完対象領域の補正データを含む、上記テストパターンデータに係る画像の全部に関する補正データ、を算出させることを特徴とする表示特性補正データの算出プログラム。
【請求項１９】
テストパターンデータに基づき画像表示装置に表示させたテストパターンを撮影して撮影データを取得する撮影装置と、
取得した撮影データに基づき上記画像表示装置の表示特性を補正するための補正データを算出する演算装置と、
を具備し、
上記演算装置は、取得した上記撮影データが、上記テストパターンデータに係る画像の全部を正常に含んでいない場合には、該正常に含んでいない領域を含むように補完対象領域を設定し、該補完対象領域以外の領域に基づいて該補完対象領域の補完を行うことにより、補完対象領域の補正データを含む、上記テストパターンデータに係る画像の全部に関する補正データ、を算出するものであることを特徴とする表示特性補正データの算出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、テストパターンの撮影データに基づき画像表示装置の表示特性に対する補正データを算出する表示特性補正データの算出方法、表示特性補正データの算出プログラム、表示特性補正データの算出装置に関する。
【０００２】
【従来の技術】
画像表示装置は、１台の映像装置のみで構成されることもあるが、より大画面を達成するために、複数台の映像装置を組み合わせて構成されたものも知られている。具体的な例としては、複数のプロジェクタを用いて、各プロジェクタから部分的な画像を投影することにより、１つのスクリーン上において大きな１つの画像を構成するようになされたプロジェクションシステムが知られている。
【０００３】
このような画像表示装置では、個々の映像装置において、画像の歪み、画像の位置ずれ、色むら、輝度むら、ホワイトバランスのずれ、ガンマ特性の非最適性、などが生じることがあり、さらに、映像装置同士の組み合わせにおいて、幾何ずれ、色ずれ、輝度ずれ、ガンマ特性の違い、等が生じることがある。このような幾何特性、色特性、輝度特性、ホワイトバランス特性、ガンマ特性などの表示特性に非均一性があると、それが視覚的に認識されてしまい、画像全体の品質を損ねることがあった。
【０００４】
こうした点に対応するために、画像表示装置にテストパターンを表示して、その画像を例えばデジタルカメラ等の撮影装置により撮影し、撮影された画像に基づいて表示特性を補正するための補正データを作成し、該補正データに基づいて画像表示装置の表示特性を補正することにより、高品質な映像を表示するようにしたシステムが、従来より提案されている。
【０００５】
このような技術として、例えば、特開平９−３２６９８１号公報には、スクリーンの前にカメラを設置して、テストパターンを該スクリーンに表示し、表示されたテストパターンを撮影して、撮影された画像に基づいて補正データを算出し、その補正データに基づいて入力画像を補正して出力表示することにより、例えば幾何補正等を行う技術が記載されている。
【０００６】
また、国際公開番号ＷＯ９９／３１８７７には、部分画像を各投影する複数のプロジェクタを用いてスクリーン上に１つの画面を構成するマルチプロジェクション装置において、スクリーン状態監視カメラを設置し、該カメラから入力した画像情報に基づいて上記部分画像の幾何変形と局所的色補正とを行うようにする技術が記載されている。
【０００７】
これらの技術は何れも、補正データを算出するに当たって、画像表示装置に表示される画像の全てが撮影装置により撮影されること、すなわち、画像の全領域に係る撮像データが取得されること、を前提としたものとなっている。
【０００８】
【特許文献１】
特開平９−３２６９８１号公報
【０００９】
【特許文献２】
国際公開番号ＷＯ９９／３１８７７
【００１０】
【発明が解決しようとする課題】
しかし、実際の運用においては、画像表示装置の表示領域の全体を撮影することができない場合が生じることがある。例えば、画像表示装置を舞台などに設置する場合には、該画像表示装置と、この画像表示装置の表示補正をするために設置した撮影装置と、の間に、マイクロフォンや舞台装置等が位置してしまう場合である。あるいは、設置場所のスペースの関係から、画像表示装置の表示領域を全て画面内に納めることができるような距離に、撮影装置を配置することができない場合もある。
【００１１】
さらに、画像表示領域の全体を撮影することはできるが、撮影された画像データの少なくとも一部が正しい表示特性を保持していない場合もある。例えば、画像表示装置がプロジェクションタイプのものであって、そのスクリーンの面内に枠が設けられていると、該枠の近傍部分に微妙な影等が生じて、その影響で正確な表示特性を撮影することができないなどである。
【００１２】
本発明は上記事情に鑑みてなされたものであり、テストパターンを撮影して得られる撮影データが、テストパターンデータに係る画像の全てを正常に含んでいない場合でも、画像全体に関する表示特性補正データを算出することができ、高品位な画像を表示することが可能となる表示特性補正データの算出方法、表示特性補正データの算出プログラム、表示特性補正データの算出装置を提供することを目的としている。
【００１３】
【課題を解決するための手段】
上記の目的を達成するために、第１の発明による表示特性補正データの算出方法は、テストパターンデータに基づき画像表示装置にテストパターンを表示し、上記テストパターンを撮影して撮影データを取得し、取得した撮影データに基づき上記画像表示装置の表示特性を補正するための補正データを算出する、表示特性補正データの算出方法であって、取得された上記撮影データが、上記テストパターンデータに係る画像の全部を正常に含んでいない場合には、該正常に含んでいない領域を含むように補完対象領域を設定し、該補完対象領域以外の領域に基づいて該補完対象領域の補完を行うことにより、補完対象領域の補正データを含む、上記テストパターンデータに係る画像の全部に関する補正データ、を算出する方法である。
【００１４】
また、第２の発明による表示特性補正データの算出方法は、上記第１の発明による表示特性補正データの算出方法において、上記画像表示装置にテストパターンを表示するに先だって、上記テストパターンデータを生成する方法である。
【００１５】
さらに、第３の発明による表示特性補正データの算出方法は、上記第１または第２の発明による表示特性補正データの算出方法において、上記表示特性が、幾何特性、色特性、輝度特性、ホワイトバランス特性、ガンマ特性、の内の少なくとも１つを含む方法である。
【００１６】
第４の発明による表示特性補正データの算出方法は、上記第１から第３の発明による表示特性補正データの算出方法において、上記補完対象領域の補正データの算出が、上記補完対象領域以外の領域の撮影データに基づいて上記補完対象領域の撮影データを補完することにより上記テストパターンデータに係る画像の全部に関する撮影データを取得し、取得された撮影データに基づいて上記テストパターンデータに係る画像の全部に関する補正データを算出することにより、行われるものである。
【００１７】
第５の発明による表示特性補正データの算出方法は、上記第１から第３の発明による表示特性補正データの算出方法において、上記補完対象領域の補正データの算出が、上記補完対象領域以外の領域の撮影データに基づいて該補完対象領域以外の領域の補正データを算出し、算出された補完対象領域以外の領域の補正データに基づいて上記補完対象領域の補正データを補完することにより、行われるものである。
【００１８】
第６の発明による表示特性補正データの算出方法は、上記第１から第３の発明による表示特性補正データの算出方法において、上記補完対象領域の補正データの算出が、上記撮影データに基づいて該撮影データに係る画像の全領域の補正データを算出し、算出された補正データの内の補完対象領域以外の領域の補正データに基づいて上記補完対象領域の補正データを補完することにより、行われるものである。
【００１９】
第７の発明による表示特性補正データの算出方法は、上記第１から第６の発明による表示特性補正データの算出方法において、上記補完対象領域を設定するに先だって上記撮影データに係る画像を表示し、表示した画像に係る手動による操作に応じて上記補完対象領域を設定するものである。
【００２０】
第８の発明による表示特性補正データの算出方法は、上記第１から第６の発明による表示特性補正データの算出方法において、上記補完対象領域が、上記撮影データを解析することにより、上記テストパターンデータに係る画像を正常に含んでいない領域を認識した結果に基づいて、該領域を含むように自動的に設定されるものである。
【００２１】
第９の発明による表示特性補正データの算出方法は、上記第８の発明による表示特性補正データの算出方法において、上記撮影データの解析が、複数のテストパターンデータに対応する複数の撮影データ同士を比較することにより行われるものである。
【００２２】
第１０の発明による表示特性補正データの算出方法は、上記第６の発明による表示特性補正データの算出方法において、上記補完対象領域が、上記撮影データに係る画像の全領域の補正データを解析することにより、上記テストパターンデータに係る画像を正常に含んでいない領域を認識した結果に基づいて、該領域を含むように自動的に設定されるものである。
【００２３】
第１１の発明による表示特性補正データの算出方法は、上記第１０の発明による表示特性補正データの算出方法において、上記撮影データの解析が、複数のテストパターンデータに対応する複数の撮影データに係る画像の全領域の補正データ同士を比較することにより行われるものである。
【００２４】
第１２の発明による表示特性補正データの算出方法は、上記第１から第６の発明による表示特性補正データの算出方法において、上記補完対象領域を設定するに先だって障害物検出装置を用いて障害物を検出し、上記補完対象領域は、検出された障害物に該当する画像領域を、上記テストパターンデータに係る画像を正常に含んでいない領域として認識した結果に基づいて、該領域を含むように自動的に設定されるものである。
【００２５】
第１３の発明による表示特性補正データの算出方法は、上記第１の発明による表示特性補正データの算出方法において、上記補完対象領域のデータの補完が、該補完対象領域以外の領域のデータをコピーすることにより行われるものである。
【００２６】
第１４の発明による表示特性補正データの算出方法は、上記第１の発明による表示特性補正データの算出方法において、上記補完対象領域のデータの補完が、該補完対象領域以外の領域のデータから、所定の相関関係に基づき算出されるものである。
【００２７】
第１５の発明による表示特性補正データの算出方法は、上記第１４の発明による表示特性補正データの算出方法において、上記所定の相関関係が、上記補完対象領域内における補完対象部分の位置と、上記補完対象領域以外の領域における補完元のデータが存在する位置と、の距離である。
【００２８】
第１６の発明による表示特性補正データの算出方法は、上記第１の発明による表示特性補正データの算出方法において、上記画像表示装置が、画像を投影するプロジェクタと、このプロジェクタにより投影される画像を表示するスクリーンと、を有してなるプロジェクション装置である。
【００２９】
第１７の発明による表示特性補正データの算出方法は、上記第１の発明による表示特性補正データの算出方法において、上記画像表示装置が、部分画像を各投影する複数のプロジェクタと、これら複数のプロジェクタにより投影される画像を表示するスクリーンと、を有し、上記プロジェクタにより上記スクリーンに投影される部分画像をその辺縁において隣接する部分画像に重畳領域をもって重ね合わせながら配列することにより全体として一画像を構成するようになされたマルチプロジェクション装置である。
【００３０】
第１８の発明による表示特性補正データの算出プログラムは、コンピュータに、テストパターンデータに基づき画像表示装置にテストパターンを表示させ、上記テストパターンを撮影して撮影データを取得させ、取得した撮影データに基づき上記画像表示装置の表示特性を補正するための補正データを算出させるための、表示特性補正データの算出プログラムであって、取得された上記撮影データが、上記テストパターンデータに係る画像の全部を正常に含んでいない場合には、該正常に含んでいない領域を含むように補完対象領域を設定させ、該補完対象領域以外の領域に基づいて該補完対象領域の補完を行わせることにより、補完対象領域の補正データを含む、上記テストパターンデータに係る画像の全部に関する補正データ、を算出させるプログラムである。
【００３１】
第１９の発明による表示特性補正データの算出装置は、テストパターンデータに基づき画像表示装置に表示させたテストパターンを撮影して撮影データを取得する撮影装置と、取得した撮影データに基づき上記画像表示装置の表示特性を補正するための補正データを算出する演算装置と、を具備し、上記演算装置は、取得した上記撮影データが、上記テストパターンデータに係る画像の全部を正常に含んでいない場合には、該正常に含んでいない領域を含むように補完対象領域を設定し、該補完対象領域以外の領域に基づいて該補完対象領域の補完を行うことにより、補完対象領域の補正データを含む、上記テストパターンデータに係る画像の全部に関する補正データ、を算出するものである。
【００３２】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１から図２１は本発明の一実施形態を示したものであり、図１はマルチプロジェクションシステムの表示特性を補正する構成の概要を示す図である。
【００３３】
画像表示装置であるマルチプロジェクションシステムは、複数のＬＣＤプロジェクタあるいは複数のＤＬＰプロジェクタ等で構成される複数のプロジェクタ１と、記録媒体や通信回線等から供給される静止画像データや動画像データに基づいてこれらのプロジェクタ１のそれぞれにより投影される部分画像を生成して出力する画像処理装置２と、上記プロジェクタ１からの部分画像が投影されるスクリーン５と、を有して構成されていて、該プロジェクタ１によりスクリーン５に投影した部分画像をその辺縁において隣接する部分画像に重畳領域をもって重ね合わせながら配列することにより全体として一画像を構成するようになされたものである。
【００３４】
このようなマルチプロジェクションシステムは、上述したように、各プロジェクタ１のそれぞれにおいて、あるいはプロジェクタ１同士の相対的な関係において、表示特性が均一でない場合がある。
【００３５】
そこで、マルチプロジェクションシステムを製造したときや、設置したとき、あるいは設置後のメンテナンスのときなどに、こうした表示特性を補正する必要がある。そのための表示特性補正システムにおける表示特性補正データの算出装置を構成するのが、撮影装置としてのデジタルカメラ４と、障害物検出装置としての障害物センサ７と、演算装置としてのコンピュータ３と、である。
【００３６】
上記デジタルカメラ４は、上記スクリーン５の表示領域に表示されている画像を撮影して電子的な撮影画像データを生成するためのものである。
【００３７】
なお、ここでは撮影装置としてデジタルカメラ４を用いているが、これに限るものではなく、例えば銀塩カメラを用いて撮影を行い、現像後のフィルムから直接、またはフィルムから作成されたプリントを、スキャナ等でスキャンすることにより、撮影画像データを生成することも可能である。さらには、撮影装置が、例えばラインセンサ等を用いて、スクリーン５の表示領域を直接スキャンするシステム等であっても構わない。
【００３８】
上記デジタルカメラ４とスクリーン５との間に例えば立木等の障害物６が存在するとする。ここに障害物６とは、撮影装置であるデジタルカメラ４と画像表示装置の表示領域を構成するスクリーン５との間に存在して、該デジタルカメラ４によりスクリーン５上に表示されたテストパターンを撮影する際に、撮影された画像からテストパターンの情報の少なくとも一部を欠落させる要因となるものを指している。このような障害物６を検出するための手段の１つとして用いられるのが上記障害物センサ７である。この障害物センサ７は、種々の構成のものを採用することが可能であるが、幾つかの例として、超音波を用いたもの、レーザ光線を用いたもの、などが挙げられる。
【００３９】
なお、この図１においては、障害物センサ７を配置した例を示しているが、障害物６の検出は障害物センサ７を用いなくても、後述するように、例えば撮影データから検出することも可能である。
【００４０】
また、テストパターンに係る画像の全てに関する、正常な撮影データを得られない原因としては、上記障害物６だけでなく、その他の種々の要因があるが、これについては後で幾つかの例について述べる。
【００４１】
上記コンピュータ３は、システム全体の制御を行うとともに、後述するような各種の演算や処理を行うものであり、テストパターンを生成して上記画像処理装置２を介して上記プロジェクタ１によりスクリーン５に表示を行わせ、表示されたテストパターンを上記デジタルカメラ４により撮像させて、該デジタルカメラ４から取得した撮影データと、上記障害物センサ７からの障害物位置情報と、に基づいて、取得された撮影データが上記テストパターンデータに係る画像の全部を正常に含んでいない場合でも、該正常に含んでいない領域を含むように補完対象領域を設定し、該補完対象領域以外の領域に基づいて該補完対象領域の補完を行うことにより、上記テストパターンデータに係る画像の全部に関する補正データ、を算出するようになっている。
【００４２】
この図１に示す例においては、コンピュータ３は、一般的なパーソナルコンピュータ（ＰＣ）と同様に、ＣＰＵやメモリ、ハードディスク等を内蔵する本体３ａと、この本体３ａに接続されていて該本体３ａから出力される画像を表示するモニタ３ｂと、上記本体３ａに接続されていてモニタ３ｂの画面内に表示されている位置をポイントしたり選択したりするためのマウス３ｃと、該本体３ａに接続されていて文字データ等を入力するために用いられるキーボード３ｄと、を有して構成されている。
【００４３】
こうして、コンピュータ３により算出された補正データを、画像処理装置２に設定することにより、以後は、デジタルカメラ４、障害物センサ７、およびコンピュータ３をマルチプロジェクションシステムから取り外しても、該マルチプロジェクションシステムは、補正された高品位な画像を表示することが可能となる。
【００４４】
次に、図２は、マルチプロジェクションシステムの表示特性補正システムの機能的な構成を示すブロック図である。
【００４５】
この表示特性補正システムは、図２に示すように、システム全体の制御を行うための制御部１１と、表示特性補正データ（画像補正データ）を求めるためのテストパターンデータを生成するテストパターン生成部１２と、このテストパターン生成部１２により生成されたテストパターンデータに基づき表示を行う画像表示部１３と、この画像表示部１３に表示されたテストパターンを撮影して撮影データを出力するテストパターン撮影部１４と、上記撮影データ中におけるテストパターンが正常に表示されていない領域を補完対象領域として手動で設定するための補完対象領域手動設定部１５と、上記撮影データ中におけるテストパターンが正常に表示されていない領域を補完対象領域として自動的に検出するための補完対象領域自動検出部１６と、上記補完対象領域手動設定部１５または補完対象領域自動検出部１６により設定された補完対象領域の撮影データを該補完対象領域以外の領域の撮影データに基づいて補完する撮影データ補完部１７と、上記撮影データの一部または全部に基づいて画像補正データを算出する画像補正データ算出部１８と、上記画像補正データ算出部１８により算出された画像補正データが元のテストデータの全てに係るものでない場合あるいはテストパターンが正常に表示されていない部分を含む撮影データに基づいて画像補正データが算出されたものである場合に画像補正データの補完を行う画像補正データ補完部１９と、上記画像補正データ算出部１８または画像補正データ補完部１９により生成された補正データに基づいて上記画像表示部１３に表示するための画像データを補正する画像補正部２０と、を有して構成されている。
【００４６】
上記補完対象領域手動設定部１５は、上記テストパターン撮影部１４から出力されるテストパターンの撮影データを上記モニタ３ｂに表示させるテストパターン撮影画像表示部２２と、このモニタ３ｂに表示されたテストパターンの撮影データを見ながら操作者が上記マウス３ｃ等を用いて補完対象領域を指定する操作を行うと、その手動による操作に応じて補完対象領域を設定するための補完対象領域指定部２３と、を有して構成されている。
【００４７】
上記補完対象領域自動検出部１６は、上記テストパターン撮影部１４から出力されるテストパターンの撮影データに基づいて障害物の検出を行う障害物検出部２５と、この障害物検出部２５の検出結果に基づいて補完対象領域を判定する補完対象領域判定部２６と、を有して構成されている。
【００４８】
ここに、テストパターン撮影部１４はデジタルカメラ４に、画像表示部１３はプロジェクタ１およびスクリーン５に、画像補正部２０は画像処理装置２に、それぞれ対応している。
【００４９】
また、その他の構成要素、すなわち、制御部１１、テストパターン生成部１２、補完対象領域手動設定部１５、補完対象領域自動検出部１６、撮影データ補完部１７、画像補正データ算出部１８、画像補正データ補完部１９は、コンピュータ３に対応している。
【００５０】
このコンピュータ３に対応する構成要素の中でも、特に、テストパターン撮影画像表示部２２はモニタ３ｂに、補完対象領域指定部２３はマウス３ｃ（あるいはキーボード３ｄ）に、それぞれ対応している。
【００５１】
なお、障害物センサ７を用いる場合には、上記障害物検出部２５がこれに対応することになる。
【００５２】
図３は、上述したようなマルチプロジェクションシステムの表示特性補正システムの作用の概要を示すフローチャートである。
【００５３】
上述したような構成が、マルチプロジェクションシステムの表示特性補正システムとして機能する際には、コンピュータ３のオペレーティングシステム上において、表示特性補正データの算出プログラムが実行されている。
【００５４】
まず、制御部１１の制御に基づいて、テストパターン生成部１２により、表示特性を補正するためのテストパターンデータが生成される（ステップＳ１）。このテストパターンデータは、画像表示装置の、幾何特性、色特性、輝度特性、ホワイトバランス特性、ガンマ特性、等の表示特性を明確化するように構成されたものであり、さらに加えて、障害物６の位置や形状を明確化するように構成されたものとなっている。該テストパターンデータは、１つのみで複数の表示特性の補正データを算出することができるようにしても構わないが、補正対象とする表示特性毎に異なるテストパターンデータを生成するようにしても構わない。
【００５５】
上記テストパターン生成部１２により生成されたテストパターンデータは、画像表示部１３に送られて、テストパターンとして表示される（ステップＳ２）。具体的には、テストパターンデータが画像処理装置２により各プロジェクタ１に対応する部分画像データに変換され、各プロジェクタ１がこれらの部分画像データを投影することにより、スクリーン５上にテストパターンが表示される。
【００５６】
スクリーン５に表示されたテストパターンは、テストパターン撮影部１４、つまりデジタルカメラ４により撮影され、撮影データとして出力される（ステップＳ３）。
【００５７】
この撮影データは、コンピュータ３の本体３に設けられたインターフェースを介して内部のバッファメモリやあるいはハードディスク等に格納される。
【００５８】
コンピュータ３において実行されている表示特性補正データの算出プログラムは、撮影データを受け取ると、補完対象領域を手動で設定するか自動で設定するかを判断する（ステップＳ４）。この判断は、例えば、該表示特性補正データの算出プログラムが表示する操作画面のチェックマークが、補完対象領域の自動設定を行うチェックボックスと手動設定を行うチェックボックスとの何れに付されているかにより判断するようになっている。
【００５９】
ここで、手動設定が選択されていると判断された場合には、取得した撮影データを補完対象領域手動設定部１５のテストパターン撮影画像表示部２２、つまりモニタ３ｂに表示して、撮影されたテストパターンを該モニタ３ｂ上で確認することができるようにする（ステップＳ５）。
【００６０】
そして、操作者が補完対象領域指定部２３、つまりマウス３ｃ等を用いることにより、補完対象領域の指定を手動により行うと、該操作に応じてＣＰＵが補完対象領域の設定を行う（ステップＳ６）。このときに補完対象領域を範囲指定するために用いる図形の形状は、四角形、三角形、円形、自由多角形、自由曲線など、どのような形状のものでも構わないが、２次元な領域を指定することができる形状のものを用いる必要がある。また、障害物６が複数存在することもあるために、領域を複数設定することも可能となっている。
【００６１】
また、上記ステップＳ４において、自動設定が選択されていると判断された場合には、補完対象領域自動検出部１６の障害物検出部２５が障害物検出を行い、その結果検出された障害物に該当する画像領域を、補完対象領域判定部２６が、上記テストパターンデータに係る画像を正常に含んでいない領域として認識し、該領域を含むように補完対象領域を自動的に設定する（ステップＳ７）。
【００６２】
ここに、上記障害物検出部２５による障害物の検出は、上記図１に示したような障害物センサ７による検出結果に基づき行っても良いし、あるいは上記撮影データを解析することにより行っても構わないし、両方を兼用して用いるようにしても良い。
【００６３】
撮影データを解析する場合は、例えば、次のようにして行う。一例として、表示特性として輝度特性を補正する場合に、高輝度のテストパターンデータを作成すれば、障害物が存在すると、その部分が相対的に低輝度となる。従って、ある閾値を設定して、この閾値よりも輝度が低い領域を補完対象領域と設定することが考えられる。さらに精度を高めるために、高輝度のテストパターンデータと、低輝度のテストパターンデータと、の両方を作成する例については後述する。
【００６４】
また、補完対象領域判定部２６は、障害物が存在する領域もしくはその近傍のみを補完対象に指定するとは限らず、その他の要因により、表示特性を補正するための画像データとして用いるに適さない領域や、演算処理を容易に行うための設定領域も、補完対象領域と判定するようになっている。
【００６５】
その他の要因が存在するケースとしては、上述したように、スクリーン５にフレーム部材が配置されていてその影部分がある場合、あるいは通常のモニタを複数台配列して大画面を構成したとき等の表示画面同士の間の部分がある場合、が挙げられる。
【００６６】
さらには、例えば、プロジェクタ１がテストパターンをスクリーン５に投影する際に、光束が広がり過ぎた（投影画角が大きすぎた）とすると、テストパターンデータに係る画像の全てがスクリーン５に表示されない（つまり、画像の方がスクリーン５の表示領域よりも大きい）場合がある。この場合にスクリーン５の表示領域を撮影して得られる撮影データは、テストパターンに係る画像の全てを含んでいないことになる。このような撮影データに基づいて表示特性補正データを求めても、テストパターンに係る画像の全てに関する表示特性補正データは得られない。これに対して、後で投影画角を含む表示特性の調整を行えば、適切な画角での投影が行われることになるために、表示特性補正データとしては、表示対象となる画像データの全てに対する表示特性補正データが必要となる。従って、テストパターンに係る画像の内のスクリーン５に表示されていない部分についても補完対象領域として設定し、この補完対象領域についても他の補完対象領域と同様に表示特性補正データを算出する必要がある。
【００６７】
また、演算処理を容易に行うための設定領域としては、障害物の輪郭が複雑な形状である場合に、補完対象領域を、該障害物を含むように例えば矩形に設定する場合が挙げられる。
【００６８】
従って、補完対象領域判定部２６は、上述したような領域についても、必要に応じて補完対象領域であると判定するようになっている。
【００６９】
こうして上記ステップＳ６またはステップＳ７で設定された補完対象領域に関しても、補完処理を行うことにより、表示特性補正データを算出することになるが、このときに、大まかに次のような２つの方法がある。１つは、補完対象領域の撮影データを補完により求めて、全領域に関する撮影データを算出してから、全領域の表示特性補正データを算出する方法である。もう１つは、補完対象領域以外の領域の撮影データに基づいて補完対象領域以外の領域の表示特性補正データを算出し、該補完対象領域以外の領域の表示特性補正データから補完対象領域の表示特性補正データを算出する方法である。
【００７０】
従って、ここで、補完対象が撮影画像（つまり、撮影データ）であるか否かを判断する（ステップＳ８）。この判断についても、例えば、表示特性補正データの算出プログラムが表示する操作画面のチェックマークが、補完対象を撮影画像にするチェックボックスと表示特性補正データにするチェックボックスとの何れに付されているかにより判断するようになっている。
【００７１】
ここで、撮影画像が選択されている場合には、上述したように、まず、補完対象領域の撮影データを、補完対象領域以外の領域の撮影データから補完することにより求める（ステップＳ９）。
【００７２】
そして、算出された全領域の撮影データに基づいて、全領域の表示特性補正データを算出し（ステップＳ１０）、この処理を終了する。
【００７３】
一方、上記ステップＳ８において、補完対象が撮影画像でない場合には、補完対象領域も含めた撮影データの全てに基づいて表示特性補正データを算出するか否かを判断する（ステップＳ１１）。
【００７４】
ここで、撮影データの全てを用いない場合には、該撮影データの内の補完対象領域以外の部分に基づいて、表示特性補正データを算出する（ステップＳ１２）。
【００７５】
また、上記ステップＳ１１において、撮影データの全てを用いる場合には、該撮影データに基づいて、表示特性補正データを算出する（ステップＳ１３）。このように表示特性補正データの算出を、補完対象領域を除いた領域で行うことができるだけでなく、補完対象領域を考慮することなく全撮影データについて行うことも可能となっている。
【００７６】
こうして、ステップＳ１２またはステップＳ１３で求められた表示特性補正データに基づき、正常な撮影データに係る表示特性補正データが未だ求められていない補完対象領域について、補完を行うことにより、表示特性補正データを求めて（ステップＳ１４）、この処理を終了する。
【００７７】
なお、上記ステップＳ４において、補完対象領域を自動的に検出する設定がなされている場合には、上記ステップＳ７において撮影データに基づき実際の検出処理を行っているが、これに限るものではなく、補完対象領域を設定することなく（障害物６を考慮することなく）ステップＳ１３における全撮影データに関する表示特性補正データの算出を行った後に、算出された表示特性補正データに基づいて、補完対象領域の自動検出を行うようにすることも可能である。
【００７８】
すなわち、上述した例と同様に、表示特性としての輝度特性を補正するために、高輝度のテストパターンデータを作成した場合には、障害物が存在すると、その部分が相対的に低輝度となる。このような撮影データを用いて表示特性補正データを作成すると、該低輝度の部分については、他の部分に比べて輝度を大幅に上昇させるような補正データが作成されることになる。従って、補正データを解析して、適宜の閾値を越えるデータ部分を障害物が存在する部分であると見なして、該部分を含むように補完対象領域を設定すればよい。このように、補完対象領域は、撮影データに基づいて設定するに限るものではない。
【００７９】
こうして、補完対象領域を操作者が任意に設定することが可能であるとともに、該操作者による補完対象領域の設定を必要とすることなく障害物の判定から最終的な表示特性補正データの算出までの一連の流れを自動的に行うことも可能となっている。
【００８０】
上述したようにコンピュータ３により算出された表示特性補正データの内の、電子的な画像補正に用いられるデータ部分は、画像処理装置２に送信されて、該画像処理装置２において、表示対象となる画像データの補正が行われる。
【００８１】
また、上記コンピュータ３により算出された表示特性補正データの内の、手動による調整作業が必要な部分については、該コンピュータ３のモニタ３ｂに調整項目などとして表示され、作業員やユーザによる調整が行われることになる。手動による調整作業が必要な部分の例としては、プロジェクタ１の投影光学系に電動ズーム機能がない場合の上記投影画角の調整や、あるいは各プロジェクタの投影方向の調整などが例として挙げられる。もちろん、これらを電動により調整可能となるように構成しても良いが、装置全体のコストや重量等を考慮すると、ある程度の調整部分については手動により行うようにする方が効率的と考えられるからである。
【００８２】
なお、図２に示した構成では、テストパターン生成部１２により生成したテストパターンデータを画像表示部１３に直接出力することも可能であるが、画像補正部２０を介して出力しても構わない。この場合には、１回目のテストパターンデータは画像補正部２０により何等の補正を行うことなく画像表示部１３に出力し、このテストパターンによって算出された表示特性補正データを画像補正部２０に設定した後に、２回目のテストパターンデータ（例えば、１回目のテストパターンデータと同一でも構わない）を該画像補正部２０により補正した後に画像表示部１３により表示させて、その撮影データから再度、表示特性補正データを算出すれば、より精度を高めることが可能となる。このように、表示特性を補正する精度を高めるために、再帰的に調整を行うようにしても構わない。
【００８３】
次に、図４から図７は、補完対象領域を自動的に検出するための手段の一例を説明するための図であり、図４は、撮影領域３１内に障害物６が位置している例を示す図である。
【００８４】
この図４に示すような場合において、補完対象領域を検出するには、例えば以下のように行う。
【００８５】
まず、テストパターン生成部１２により輝度の高い画像に対応するテストパターンデータを生成して、画像表示部１３により表示させ、図５に示すような画像を撮影する。ここに図５は、障害物が存在する下で輝度の高いテストパターンを撮影したときの撮影データを示す図である。撮影データ３２には、障害物６に係る画像部分６ａが含まれている。
【００８６】
次に、テストパターン生成部１２により輝度の低い画像に対応するテストパターンデータを生成して、画像表示部１３により表示させ、図６に示すような画像を撮影する。ここに図６は、障害物が存在する下で輝度の低いテストパターンを撮影したときの撮影データを示す図である。撮影データ３３には、同様に、障害物６に係る画像部分６ａが含まれている。
【００８７】
これらの撮影データ３２ａと撮影データ３３ａとを比較すると、テストパターンに係る部分は輝度の変化が大きいはずであり、逆に、輝度の変化が小さい部分が障害物６に係る画像部分６ａであると推定することができる。
【００８８】
従って、図７に示すように、この障害物６に係る画像部分６ａを含むように、多少のマージンを設けながら、撮影データ３４中の補完対象領域３５を設定するようになっている。ここに図７は、撮影データ中の補完対象領域をマージンを設けながら設定する様子を示す図である。なお、このマージンは、障害物６に係る画像部分６ａが、それ以外の画像部分に影響を及ぼす可能性があったり、障害物６が、スクリーン５を撮影するデジタルカメラ４の被写界深度内にないためにボケが発生していたり、といったことを取り除くために設定するものであり、任意の幅に設定することが可能となっている。
【００８９】
また、このときの補完対象領域３５は、障害物６の画像部分６ａの輪郭に沿って設定することも可能であるが、処理の容易さ等を考慮して、障害物６の画像部分６ａを含む任意の形状（例えば矩形形状）にとるようにしても構わない。
【００９０】
なお、ここでは、高輝度と低輝度の２つのテストパターンを表示して、これらのテストパターンを比較すること（例えば、両方の撮影データの差分をとるなど）により障害物６の画像部分６ａを自動検出して精度の向上を図っているが、障害物６との輝度差が明確である場合などには、１つのテストパターンによって自動検出を行い、処理時間を短縮することも可能である。具体的には、上述したように、高輝度のテストパターンを表示して、撮影データ中の所定の輝度以下の部分を障害物６と推定するなどである。
【００９１】
さらに、表示するテストパターンの輝度を異ならせるに限るものではなく、表示するテストパターンの色を異ならせる、あるいは特定のテクスチャのテストパターンを表示する、などにより障害物６を検出することも可能である。加えて、障害物６がスクリーン５よりもデジタルカメラ４に近接した側に位置することから、ＡＦ技術を応用した距離検出によって障害物６を自動検出するようにしても構わないし、いわゆる画像認識技術を用いて障害物６を自動的に検出することも可能である。特に、あらかじめ撮影画像における障害物の形状が大まかに分かっている場合には、パターンマッチングなどの一般的に知られている画像に対する形状の認識技術の内の、該障害物の形状を検出するのに適したものを選択して、障害物が占める領域の検出に用いるようにすると良い。もちろん、上述したような技術を組み合わせることにより、より高精度な障害物検出を行うようにしても良い。
【００９２】
次に、図８および図９を参照して、撮影データの補完方法の一例について説明する。図８は撮影データ中における補完対象領域の様子の一例を示す図、図９は補完対象領域以外の領域の撮影データを用いて該補完対象領域の撮影データを補完する様子を示す図である。この撮影データの補完処理は、上記図３に示したステップＳ９において行われるものである。
【００９３】
例えば、図８に示すように、撮影データ３７中に、障害物６に係る画像部分が検出されて、補完対象領域６ｂ，６ｃが設定されたとする。
【００９４】
このときに、例えば補完対象領域６ｂについて、図９に示すように、補完処理を行う。この図９は、上記図８における補完対象領域６ｂの部分を拡大した様子を示している。
【００９５】
ここでは、補完対象領域６ｂ内の各着目点における撮影データを、該補完対象領域６ｂの外側となる周辺近傍の撮影データに基づいて、該着目点と周辺近傍との距離を考慮して重み付けを行いながら、補完する処理を行う。
【００９６】
例えば、補完対象領域６ｂ内の中心点３８を着目点とすると、該中心点３８の上方の周辺近傍からの寄与分（下向き矢印３９ｄに示す）と、該中心点３８の下方の周辺近傍からの寄与分（上向き矢印３９ｕに示す）と、は同等であり、同様に、該中心点３８の左方の周辺近傍からの寄与分（右向き矢印３９ｒに示す）と、該中心点３８の右方の周辺近傍からの寄与分（左向き矢印３９ｌに示す）と、は同等となる。
【００９７】
また、着目点が周辺近傍の何れかに近い場合には、その重み付けを重くし、逆に周辺近傍の何れかから遠い場合には重み付けを軽くする、などを行うことになる。この重み付けの具体的な例については、後で図１２を参照して説明する。
【００９８】
このようにして、補完対象領域６ｂ内の全ての点を着目点として、順に補完データを作成することにより、該補完対象領域６ｂ全体の補完を行う。
【００９９】
そして、上記補完対象領域６ｃについても、この補完対象領域６ｂと同様に補完処理を行うことになる。
【０１００】
なお、ここでは、着目点と周辺近傍との距離に基づいて、撮影データの相関関係を推定して補完するようにしたが、特定のパターンが繰り返されるようなテストパターンデータの場合には、それを考慮した相関関係を推定して補完を行うようにすると良い。
【０１０１】
また、撮影データの補完処理は、画像を構成する画素を単位として行っても構わないが、ここで行う補完処理は、表示特性補正データを算出するための処理であるために、必ずしも画素単位といった詳細な精度で処理を行う必要はない。そこで、例えば複数画素を１ブロックとしてまとめて、このブロック単位で補完処理を行うようにしても構わない。この場合には、処理時間を大幅に短縮することが可能となる利点がある。
【０１０２】
さらに、ここでは撮影データを補完する場合について説明したが、同様の補完方法を、表示特性補正データを補完する場合に適用することも可能である。
【０１０３】
次に、図１０および図１１を参照して、表示特性補正データの補完方法の一例について説明する。図１０は表示特性補正データ中における補完対象領域の様子の一例を示す図、図１１は補完対象領域以外の領域の表示特性補正データを用いて該補完対象領域の表示特性補正データを補完する様子を示す図である。この表示特性補正データの補完処理は、上記図３に示したステップＳ１４において行われるものである。
【０１０４】
補完対象領域以外の領域の撮影データに基づいて表示特性補正データを算出すると、該補完対象領域以外についての表示特性補正データが得られる。これが例えば図１０に示すようになったとする。
【０１０５】
この図１０に示す例においては、画像を構成する画素を所定数まとめてブロックとして扱い、このブロックを単位として表示特性補正データの算出を行うようになっている。この表示特性補正データ４１の左端部には、縦長の補完対象領域６ｅが存在し、さらに、該表示特性補正データ４１の中程やや右側には、略Ｌ字形状の補完対象領域６ｄが存在している。なお、実際の表示特性補正データは、画像上の各位置（各ブロック位置、あるいは１ブロックを１画素とした場合には各画素位置）に対応する表示特性補正データの集合体であって、２次元状の画像データ的な表示が行われるわけではないが、この図１０および図１１においては、画像データの同一位置に対応した視覚的な図示を行っている。
【０１０６】
このような補完前の表示特性補正データに基づいて、補完対象領域６ｄ，６ｅに係る表示特性補正データの補完処理を行うが、ここでは、これらの内の補完対象領域６ｄの表示特性補正データを補完する処理について、図１１を参照して説明する。
【０１０７】
この表示特性補正データの補完処理においては、補完対象領域６ｄを少なくとも１部でも含むブロックについて、該着目ブロックに近接するブロックの表示特性補正データを、例えばコピーすることにより行う。
【０１０８】
具体的には、補完対象領域６ｄに完全に含まれているブロック４２の表示特性補正データを、補完対象領域６ｄ以外の領域において、該ブロック４２に最も近接しているブロック４３の表示特性補正データからコピーすることにより、補完を行う。
【０１０９】
また、補完対象領域６ｄに一部が含まれているブロック４５の表示特性補正データについても、補完対象領域６ｄ以外の領域において、該ブロック４５に最も近接しているブロック４６の表示特性補正データからコピーすることにより、補完を行う。
【０１１０】
なお、補完対象領域６ｄに一部が含まれているブロック４４の表示特性補正データについては、該ブロック４４の右側に隣接するブロックが補完対象領域６ｄ以外の領域のブロックとして最も近接しているために、該ブロックの表示特性補正データを用いるようにしても構わないが、処理を簡略化するために、上記ブロック４６の表示特性補正データを上記ブロック４５へコピーする際に、該ブロック４４へもまとめてコピーする処理も可能である。
【０１１１】
このときの処理をどのように行うかについては、補正対象としている表示特性の種類に応じて、または生成したテストパターンに応じて、あるいは補完対象領域の大きさや形状などに応じて、最適な処理（つまり、処理時間が短く精度の良い結果を得られるような処理）を選択すれば良い。
【０１１２】
なお、補完をコピーにより行う場合、例えば、画像の上側から下側に向けてブロック毎にコピーするような場合には、同一のデータが縦方向に並ぶことになるために、縦方向の縞模様のパターンが生成されてしまうことになる。従って、このような場合には、補完後のデータ（補完後の撮影データ、または補完後の表示特性補正データ）をぼかすようなフィルタ処理を行うと良い。
【０１１３】
また、ここでは補完対象領域６ｄに近接する該補完対象領域６ｄ以外の領域の表示特性補正データを、コピーすることにより、該補完対象領域６ｄの表示特性補正データを補完するようにしたが、これに限るものではなく、補完対象となるブロックと補完元のブロックとの距離やパターンなどの相関関係に応じて、複数ブロックの表示特性補正データに重み付けをして補完するようにしても構わないことは勿論である。
【０１１４】
上述したようなコピーによる表示特性補正データの補完処理は、例えば表示特性が色特性であるときに用いるのに適した処理となっている。
【０１１５】
次に、図１２は、重み付けによる補完方法を説明するための図である。この図１２に示すような重み付けによる補完方法は、撮影データの補完処理に適用しても良いし、表示特性補正データの補完処理に適用しても構わない。
【０１１６】
補完対象領域内のデータ（撮影データ、または表示特性補正データ）を、補完対象領域以外の領域のデータに基づいて補完をする際に、単にコピーを行うよりも、相関関係を考慮してより自然な補完を行うようにした例について説明する。この図１２に示す例は、着目ブロック（あるいは着目画素）のデータを、その近傍のブロック（あるいは画素）のデータから、距離を相関関係とした重み付けを行って算出するようにしたものである。
【０１１７】
データ５１において、図中の太線で囲んだ領域が補完対象領域６ｆである。この補完対象領域６ｆにおける例えば左上角のブロック５２を補完する場合について説明する。
【０１１８】
該ブロック５２に近接し、かつ補完対象領域６ｆ以外の領域のブロックは、該ブロック５２の上隣のブロック５３と、左隣のブロック５４と、左上隣のブロック５５と、である。従って、ブロック５２のデータを、これらのブロック５３，５４，５５のデータに基づき補完するが、その際に距離を考慮して、ブロック５３，５４のデータを２という割合で考慮するとすると、ブロック５５のデータについては１という割合で考慮する。すなわち、ブロック５３，５４，５５のデータをそれぞれＸ，Ｙ，Ｚとすると、ブロック５２のデータは、（２Ｘ＋２Ｙ＋Ｚ）／５として算出される。
【０１１９】
なお、ここでは加重平均を取ることによりブロック５２のデータを算出しているが、そのデータの増減が１次関数的でない場合には、それに適した算出法を用いることは勿論である。
【０１２０】
このような演算を、補完対象領域６ｆ内の全てのブロックについて行うことによって、該補完対象領域６ｆに関するデータを全て取得することができる。
【０１２１】
また、ここで説明した算出法は、データが、撮影データである場合と、表示特性補正データである場合と、の何れにも適用することが可能である。
【０１２２】
続いて、図１３から図１５を参照して、表示特性としての幾何特性を補正する例について説明する。図１３は幾何特性を補正するためのテストパターンの撮影データに障害物が含まれている様子を示す図、図１４はテストパターン中のマーカを補完する様子を示す図、図１５は幾何的な歪みが発生しているときのテストパターン中のマーカ補完の様子を示す図である。
【０１２３】
幾何特性の補正を行う際には、テストパターン生成部１２は、例えば十文字形状をなすマーカが適宜の間隔で２次元的に配列されたテストパターンデータを作成するようになっている。
【０１２４】
このようなテストパターンを画像表示部１３により表示した際に、障害物６が存在すると、マーカの一部がテストパターン撮影部１４により撮影されないことになる。
【０１２５】
すなわち、撮影データ６１において、斜線で示す部分が障害物６の存在している部分を含む補完対象領域６ｇであるとする。このときには、該補完対象領域６ｇに本来含まれているはずのマーカ６２が欠損することになる。
【０１２６】
上記撮影データ補完部１７は、この欠損したマーカ６２の座標情報（より詳しくは、マーカの十文字形状が交差する点の座標情報）を、撮影データ６１の補完対象領域６ｇ以外の部分に基づいて算出するようになっている。
【０１２７】
まず、撮影データ６１の補完対象領域６ｇ以外に含まれるマーカ６２の座標検出は、次のように行われる。
【０１２８】
テストパターン生成部１２によって生成されたテストパターンデータに基づいて、マーカ６２が含まれると考えられるマーカ検出領域６３を各マーカ６２毎に設定し、該マーカ検出領域６３内においてマーカ６２の自動的な検出をそれぞれ行う。このマーカ検出領域６３を設定するのは、全領域を検出対象とした場合に比して処理時間を短縮することができるためである。これにより、補完対象領域６ｇ以外のマーカ６２の座標が検出される。
【０１２９】
マーカ６２の２次元的な配列が例えば格子点の配列となっている場合には、各マーカを、行インデックスと列インデックスとを用いて指定することができる。このようなインデックスの内の欠落しているものが、補完対象領域６ｇ内における欠損するマーカ６２のインデックスとなる。例えば、図１３に示す例においては、２つのマーカ６２が欠損しているが、インデックスを（行，列）として表すとすると、これらの内の一方は（４，４）というインデックスになり、他方は（５，４）というインデックスとなる。
【０１３０】
補完を行う場合には、欠損するマーカ６２（複数存在する場合にはその内の１つ）を上述したような行インデックスおよび列インデックスにより指定して、この着目している欠損マーカ６２と行インデックスが同一のマーカ６２を第１のマーカ群として選び、さらに該着目している欠損マーカ６２と列インデックスが同一のマーカ６２を第２のマーカ群として選ぶ。
【０１３１】
そして図１４に示すように、第１のマーカ群に含まれるマーカ６２の各座標に基づいて、横方向の並びの直線６３ｈを推定し、同様に、第２のマーカ群に含まれるマーカ６２の各座標に基づいて、縦方向の並びの直線６３ｖを推定する。
【０１３２】
こうして推定した２つの直線６３ｈ，６３ｖが交差する点の座標６２ａが、着目している欠損マーカ６２の座標の推定値となる。
【０１３３】
また、例えば図１５に示すような弓形の幾何的な歪みが生じている場合には、直線で推定することはできない。この場合には、第１のマーカ群に含まれるマーカ６２の各座標から、例えばスプライン補間によって横方向の並びの曲線６３ｈ’を推定することになる。
【０１３４】
そして、第２のマーカ群に含まれるマーカ６２の各座標に基づいて推定した縦方向の並びの直線６３ｖと、この曲線６３ｈ’と、が交差する点の座標６２ｂとして、着目している欠損マーカ６２の座標を推定することができる。
【０１３５】
さらに、横方向の並びだけでなく、縦方向の並びについても歪みが生じている場合には、第２のマーカ群についてもスプライン補間等を行うことになる。
【０１３６】
なお、ここでは曲線を推定するアルゴリズムとして、スプライン補間を例に挙げたが、これに限らずラグランジェ補間などの種々のアルゴリズムを採用することができる。
【０１３７】
このような補完に用いるアルゴリズムは、画像表示部１３の表示面の特性（例えば、凹面や凸面となっているなど）や、テストパターン撮影部１４の撮影特性（例えば、撮影光学系の歪曲収差など）などに応じて、最適なものを採用することが望ましい。
【０１３８】
こうして補間を行うことにより、画像全体のマーカ６２の位置が確定する。その後は、これらのマーカ６２が本来の表示位置になるように、幾何補正データを算出することになる。この幾何補正データの算出は、具体的には、例えば上記特開平９−３２６９８１号公報に記載されているような技術を用いれば良い。
【０１３９】
次に、図１６から図１９を参照して、表示特性としての色特性を補正する例について説明する。図１６は色特性を補正するためのテストパターンの撮影データを示す図、図１７は色特性を補正するためのテストパターンの撮影データに障害物が含まれている様子を示す図、図１８はテストパターンの撮影データを小さいブロックに区分する様子を示す図、図１９は小さいブロックに区分された撮影データに障害物が含まれている様子を示す図である。
【０１４０】
色補正を行うときには、幾何補正や輝度補正を行うときとは異なる、図１６に示すような撮影データ７１内に設定される色情報測定領域７２〜７６を用いるようになっている。これらの色情報測定領域７２〜７６の内の何れかが、例え一部でも障害物により遮られた場合、つまり図１７に示すように、撮影データ７１上における色情報測定領域７２〜７６が一部でも欠損した場合には、色補正に影響を与えてしまうことになる。
【０１４１】
さらに、撮影データ７１上において色情報測定領域７２〜７６と障害物とが全く重なっていなくても、撮影データ７１が撮影装置の光学系のフレアの影響などを受けることにより、障害物部分が色情報測定領域７２〜７６に影響を与え、色補正用のデータを正確に取得できないことがある。
【０１４２】
色補正に対するこうした影響を低減するために、以下のような補完を行うようにしている。但し、撮影データ上に障害物が存在したとしても、色情報測定領域に影響を及ぼすことがない場合には、この補完処理を省略することが可能である。
【０１４３】
ここでは、上記図３のステップＳ９におけるような、撮影データを補完する例について説明する。
【０１４４】
撮影データが、図１７に示すようになった場合、つまり色情報測定領域７２〜７６の内の中央部に位置する色情報測定領域７２が、障害物６により遮蔽されて、障害物の像６ｈとなっている場合には、該障害物の像６ｈを含むようにマージンを設けながら、補完対象領域７７を設定する。この補完対象領域７７の設定を例えば上記ステップＳ６において手動で行う場合には、図示のように、マウス３ｃ等を用いて画面上のポインタを移動させ、例えば４箇所の点７７ａ，７７ｂ，７７ｃ，７７ｄをクリックするなどにより領域設定する。
【０１４５】
なお、ここでは４箇所の点を入力して矩形状の領域を設定したが、点の数を増減させれば、三角形状や多角形状の領域を設定することも可能である。
【０１４６】
また、このときのマージンの幅は、例えば、上述したようなフレア等の影響を受ける可能性がある領域まで含むようにとると良い。
【０１４７】
さらに、ここでは、手動により補完対象領域を設定したが、自動による設定を行うことも可能であるのは上述した通りである。
【０１４８】
このようにして設定した補完対象領域７７に対して、例えば上記図１２において説明したような方法により、撮影データの補完を行うことになる。
【０１４９】
なお、上述では、色情報測定領域を円形としているが、もちろんこれに限るものではなく、矩形としても構わないし、その他の形状を採用することも可能である。また、１つの色情報測定領域の大きさも、変更することが可能である。さらに、色情報測定領域の数を、上記図１６に示した例では５つとしているが、これを減らすことも増やすことも可能、すなわち、１つから、全領域を網羅することができる数まで、任意に設定することが可能となっている。
【０１５０】
ここで、図１８は、マス目で示される色情報測定領域の数を多く（例えば最大に）して、全領域７８を網羅するようにした例を示している。この場合でも、障害物の像６ｈが存在する場合には、図１９に示すように、補完対象領域７７を設定して、同様に補完処理を行えばよい。
【０１５１】
また、表示特性としての輝度特性を補正する場合には、上述したような幾何特性を補正するテストパターンや、色特性を補正するテストパターンと兼ねることも可能であるし、白一色で構成されるテストパターン（あるいは、それに座標位置を決めるための格子点などを組み込んだテストパターン）を用いても良い。
【０１５２】
このような輝度特性の補正においても、上述したような手動または自動により補完対象領域を設定し、設定した補完対象領域に対して、コピーによる補完や、相関関係を考慮した補完を行うことにより、輝度が均一となるようにすれば良い。ただし、輝度特性は、自然な輝度分布となるように補正することが重要であるために、相関関係を考慮した補完を行うことが望ましい。
【０１５３】
データが、輝度の補正量をγ値の＋−補正係数によって扱うものであり、相関関係として上述したような距離を用いる場合には、上記図１２のブロック５２を補完する際に、上述したような算出式（２Ｘ＋２Ｙ＋Ｚ）／５を用いることができる。
【０１５４】
図２０は、撮影装置による撮影範囲が画像表示装置による表示領域よりも狭いときの様子を示す図である。
【０１５５】
上述したように、画像表示装置の表示領域５ａに表示された画像を全て撮影することができないのは、有体物である障害物が撮影装置４と画像表示装置の表示領域５ａとの間に存在する場合だけではない。この図２０に示すように、例えば撮影装置４の設置位置が限られていて（つまり、室内などで撮影装置４をそれ以上画像表示装置から遠ざけることができない場合など）、画像表示装置の表示領域５ａの全てを撮影範囲４ａ内にとらえきれない場合がある。
【０１５６】
あるいは、これとは逆に、上述したように、画像表示装置が投影型のものである場合に、投影する光束がスクリーンよりも広がって、テストパターンデータをスクリーン上に全て表示することができない場合もある。
【０１５７】
さらに、図２１は、画像表示装置の表示画面内に構造上の枠が存在する様子を示す図である。
【０１５８】
この図２１に示したような例では、スクリーン５に配置された枠８１の部分にはテストパターンが表示されず、さらに、該枠８１の近傍において表示されるテストパターンも、該枠８１の影等の影響を受けることが考えられる。該図２１に該当するケースとしては、スクリーン５の平面性を保持するために枠部材を用いて骨組み構造が形成されている場合や、複数のモニタ等を配列することにより大画面を構成している場合などが挙げられる。
【０１５９】
これらの図２０や図２１に示すようなケースであっても、テストパターンデータに係る画像の内の、撮影装置により撮影されなかった部分（あるいは、それにマージンを設けた部分）を補完対象領域に設定すれば、上述と同様に補完処理を行うことにより、テストパターンデータに係る画像の全範囲に対する表示特性補正データを算出することが可能となる。
【０１６０】
なお、取得された撮影データが、テストパターンデータに係る画像の全部を正常に含んでいないケースとしては、これらに限るものではなく、その他にも例えば、画像表示装置の表示領域の湾曲形状や、撮影装置の撮影光学系の収差などの影響により、撮影データに係る画像の周辺部などが歪んだりぼけたりしたときの、該周辺部分が挙げられ、さらに、画像表示装置の表示領域に外光（例えば、室内の照明光、太陽光、空の自然光、波の反射光など）による写り込みが発生したときの該写り込み部分が挙げられる。
【０１６１】
これらの場合にも、その正常とはいえない領域を含むように補完対象領域を設定することにより、上述と同様の補完処理を行うことが可能となる。
【０１６２】
特に、上記収差等による周辺部分の補完処理を行う場合には、例えば正常な撮影データが得られている画像の中心から、撮影データが正常でない画面の周辺に向かって、放射状にデータをコピーするなどが考えられる。
【０１６３】
また、画像表示装置の表示領域が湾曲形状となっているケースとは、例えばスクリーンを凹面状に形成するケースや、ＣＲＴを用いた画像表示装置の表示領域が凸面状になっているケース、例えば円筒形の壁面に沿って配置されるアーチ型スクリーン、あるいは、例えばプラネタリウム等に使用される半球形のドーム型スクリーンなどが、具体的に挙げられる。
【０１６４】
そして、上述では、補完対象領域の設定を、自動的に行うか、または手動で行うかを選択するようにしているが、これに限らず、例えばまず自動で行って、その後に手動により任意に変更するようしても良い。これによれば、操作者の負担を減らしながら、人間の視覚を用いたより高精度の領域設定を行うことが可能となる。
【０１６５】
なお、障害物６の設定は、セッティングを変更しない限り、一度行えば足りるが、必要に応じて、補正対象とする表示特性の種類毎に（つまり、輝度特性を補正対象とする場合、幾何特性を補正対象とする場合、色特性を補正対象とする場合、などの各々において）設定することも可能である。
【０１６６】
また、上述では画像表示部として投影型の画像表示装置であるプロジェクタ１およびスクリーン５を用いているが、本発明はこれに限定されるものではなく、例えば、プラズマディスプレイや液晶ディスプレイを用いた画像表示部にも同様に適用することが可能である。
【０１６７】
さらに、上述したような表示特性を補正するシステムは、プロジェクションシステムにのみ適用されるものではなく、ＣＲＴモニタや液晶モニタ等の画像表示装置、あるいはこれらを複数台組み合わせて構成されるマルチタイプの画像表示装置に対しても、適用することが可能である。
【０１６８】
このような実施形態によれば、テストパターンを撮影して得られる撮影データが、テストパターンデータに係る画像の全てを正常に含んでいない場合でも、画像全体に関する表示特性補正データを算出することが可能となる。
【０１６９】
従って、撮影装置と画像表示装置との間に障害物が存在したり、撮影装置による撮影範囲から画像表示装置の表示領域がはみ出したり、画像表示装置の表示領域内に枠等の構造物があったり、する場合でも、これらの要因を取り除くことなく、画像全体に関する表示特性補正データを算出して、高品位な画像を表示することが可能となる。
【０１７０】
また、表示特性補正データの算出を、補完対象領域を除いた領域で行う場合には、処理データが少なくなるために、処理時間を短縮することが可能となる。
【０１７１】
一方、表示特性補正データの算出を、補完対象領域を考慮することなく全撮影データについて行ってから、その後に補完対象領域の表示特性補正データを無効にして補間する場合には、表示特性補正データの算出までの処理を、従来のソフトウェアや装置等を用いてそのまま行うことができるために、補完部分だけをアドオンタイプの処理モジュールや処理装置として付加するだけで、正確な表示特性補正データを算出することが可能となる。従って、既に開発されているソフトウェアや装置を有効に活用することができ、開発コストを削減することが可能となる。
【０１７２】
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【０１７３】
【発明の効果】
以上説明したように本発明の表示特性補正データの算出方法、表示特性補正データの算出プログラム、表示特性補正データの算出装置によれば、テストパターンを撮影して得られる撮影データが、テストパターンデータに係る画像の全てを正常に含んでいない場合でも、画像全体に関する表示特性補正データを算出することができ、高品位な画像を表示することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態におけるマルチプロジェクションシステムの表示特性を補正する構成の概要を示す図。
【図２】上記実施形態におけるマルチプロジェクションシステムの表示特性補正システムの機能的な構成を示すブロック図。
【図３】上記実施形態におけるマルチプロジェクションシステムの表示特性補正システムの作用の概要を示すフローチャート。
【図４】上記実施形態において、撮影領域内に障害物が位置している例を示す図。
【図５】上記実施形態において、障害物が存在する下で輝度の高いテストパターンを撮影したときの撮影データを示す図。
【図６】上記実施形態において、障害物が存在する下で輝度の低いテストパターンを撮影したときの撮影データを示す図。
【図７】上記実施形態において、撮影データ中の補完対象領域をマージンを設けながら設定する様子を示す図。
【図８】上記実施形態において、撮影データ中における補完対象領域の様子の一例を示す図。
【図９】上記実施形態において、補完対象領域以外の領域の撮影データを用いて該補完対象領域の撮影データを補完する様子を示す図。
【図１０】上記実施形態において、表示特性補正データ中における補完対象領域の様子の一例を示す図。
【図１１】上記実施形態において、補完対象領域以外の領域の表示特性補正データを用いて該補完対象領域の表示特性補正データを補完する様子を示す図。
【図１２】上記実施形態における重み付けによる補完方法を説明するための図。
【図１３】上記実施形態において、幾何特性を補正するためのテストパターンの撮影データに障害物が含まれている様子を示す図。
【図１４】上記実施形態において、テストパターン中のマーカを補完する様子を示す図。
【図１５】上記実施形態において、幾何的な歪みが発生しているときのテストパターン中のマーカ補完の様子を示す図。
【図１６】上記実施形態において、色特性を補正するためのテストパターンの撮影データを示す図。
【図１７】上記実施形態において、色特性を補正するためのテストパターンの撮影データに障害物が含まれている様子を示す図。
【図１８】上記実施形態において、テストパターンの撮影データを小さいブロックに区分する様子を示す図。
【図１９】上記実施形態において、小さいブロックに区分された撮影データに障害物が含まれている様子を示す図。
【図２０】上記実施形態において、撮影装置による撮影範囲が画像表示装置による表示領域よりも狭いときの様子を示す図。
【図２１】上記実施形態において、画像表示装置の表示画面内に構造上の枠が存在する様子を示す図。
【符号の説明】
１…プロジェクタ（画像表示装置の一部）
２…画像処理装置（画像表示装置の一部）
３…コンピュータ（演算装置）
３ａ…本体
３ｂ…モニタ
３ｃ…マウス
３ｄ…キーボード
４…デジタルカメラ（撮影装置）
５…スクリーン（画像表示装置の一部）
６…障害物
７…障害物センサ（障害物検出装置）
１１…制御部
１２…テストパターン生成部
１３…画像表示部
１４…テストパターン撮影部
１５…補完対象領域手動設定部
１６…補完対象領域自動検出部
１７…撮影データ補完部
１８…画像補正データ算出部
１９…画像補正データ補完部
２２…テストパターン撮影画像表示部
２３…補完対象領域指定部
２５…障害物検出部
２６…補完対象領域判定部
【図１】
2005020314.tif 000003
【図２】
2005020314.tif 000004
【図３】
2005020314.tif 000005
【図４】
2005020314.tif 000006
【図５】
2005020314.tif 000007
【図６】
2005020314.tif 000008
【図７】
2005020314.tif 000009
【図８】
2005020314.tif 000010
【図９】
2005020314.tif 000011
【図１０】
2005020314.tif 000012
【図１１】
2005020314.tif 000013
【図１２】
2005020314.tif 000014
【図１３】
2005020314.tif 000015
【図１４】
2005020314.tif 000016
【図１５】
2005020314.tif 000017
【図１６】
2005020314.tif 000018
【図１７】
2005020314.tif 000019
【図１８】
2005020314.tif 000020
【図１９】
2005020314.tif 000021
【図２０】
2005020314.tif 000022
【図２１】
2005020314.tif 000023