(57)【要約】【課題】階調ムラを高精度かつ効率的に補正する。【解決手段】プロジェクターの画像形成素子上の各画素の位置と、被投射面９上の各画素の位置との対応関係を示す形状補正情報を算出する形状補正情報算出部３８と、形状補正情報に基づいて被投射面９での各画素の位置を画像データに規定された各画素の位置と略一致させる形状補正処理部３７ａ〜３７ｄと、形状補正処理後の階調測定用の画像データに基づいて各プロジェクターが投射する階調測定用の部分画像から選択される評価領域を含む複数の評価領域について、被投射面９上の輝度レベルと、階調測定用の画像データに規定された各評価領域での階調値との対応関係を示す階調補正情報を算出する階調補正情報算出部３５と、階調補正情報に基づいて被投射面９での各画素の輝度レベルを画像データに規定された各画素の輝度レベルに近づける階調補正処理部３４と、を備える。【選択図】図３
2011211276.tif 000002
【特許請求の範囲】
【請求項１】
それぞれが画像形成素子を有しており被投写面に画像を投射する複数のプロジェクターとともに用いられる画像処理装置であって、
前記画像形成素子上の各画素の位置と、前記被投射面上の各画素の位置との対応関係を示す形状補正情報を算出する形状補正情報算出部と、
前記形状補正情報に基づいて、処理後の画像データに基づいて前記複数のプロジェクターが協働して投射する画像の前記被投射面での形状を、処理前の前記画像データによって規定される形状と略一致させる形状補正処理を前記画像データに施す形状補正処理部と、
前記形状補正処理部により前記形状補正処理を施された階調測定用の画像データに基づいて前記複数のプロジェクターが協働して投射する階調測定用の画像のうちで各プロジェクターが投射する階調測定用の部分画像から選択される評価領域を含む複数の評価領域について、前記被投射面上の前記階調測定用の画像の各評価領域での輝度レベルと、前記階調測定用の画像を示す階調測定用の画像データに規定された各評価領域での階調値との対応関係を示す階調補正情報を算出する階調補正情報算出部と、
前記階調補正情報に基づいて、処理後の前記画像データに基づいて前記複数のプロジェクターが協働して投射する画像の被投射面での各画素の輝度レベルを、処理前の前記画像データに規定された各画素の階調値に相当する輝度レベルに近づける階調補正処理を前記画像データに施す階調補正処理部と、
を備えていることを特徴とする画像処理装置。
【請求項２】
前記形状補正情報算出部は、前記複数のプロジェクターによる前記被投射面上の全体の投射領域に収まる領域として設定された有効投射領域での画像の形状が、前記階調測定用の画像データによって規定される形状と略一致するように前記形状補正情報を算出し、
前記階調補正情報算出部は、前記形状補正情報を用いて前記形状補正処理を施された後の前記階調測定用の画像データに基づいて投射された前記被投射面上の階調測定用の画像の前記有効投射領域内の前記評価領域の輝度レベルを用いて前記階調補正情報を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記階調補正処理を施された後の画像データに基づいて前記複数のプロジェクターが協働して投射する画像のうちで、各プロジェクターが投射する部分画像を示す画像データを生成するデータ生成部を備え、前記形状補正処理部は、前記データ生成部により生成された各画像データに前記形状補正処理を施すことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記データ生成部は、前記画像を構成する複数の前記部分画像のうちで互いに隣り合う一対の部分画像の各々が該一対の部分画像で重複する重複領域を含むように、前記部分画像を示す画像データを生成することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記一対の部分画像を示す一対の前記画像データの各々を処理対象として、処理後の前記一対の画像データが示す前記一対の部分画像で前記重複領域が互いに重畳されたときの前記重複領域の各画素の輝度レベルを、前記階調補正処理部により前記階調補正処理を施される前の前記画像を示す画像データに規定された前記重複領域の各画素の階調値に相当する輝度レベルに近づけるエッジブレンド処理を施すエッジブレンド処理部を備えていることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記階調補正情報算出部は、前記階調測定用の画像データに基づいて前記データ生成部により生成された前記部分画像を示す各画像データに前記エッジブレンド処理部により前記エッジブレン処理を施された後の前記部分画像を示す各画像データに基づいて前記複数のプロジェクターが協働して投射し、前記一対の部分画像で前記重複領域が前記被投射面上で互いに重畳されている階調測定用の画像の各評価領域での輝度レベルを用いて、前記階調補正情報を算出することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
請求項１から請求項６のいずれか一項に記載の画像処理装置と、
前記画像処理装置により前記階調補正処理を施された後の画像データに基づいて、画像を協働して投射する複数のプロジェクターと、
を備えていることを特徴とする画像表示システム。
【請求項８】
それぞれが画像形成素子を有しており被投写面に画像を投射する複数のプロジェクターにおける前記画像形成素子上の各画素の位置と、前記被投射面上の各画素の位置との対応関係を示す形状補正情報を算出するステップと、
前記形状補正情報に基づいて、処理後の画像データに基づいて前記複数のプロジェクターが協働して投射する画像の前記被投射面での形状を、処理前の前記画像データによって規定される形状と略一致させる形状補正処理を前記画像データに施すステップと、
前記形状補正処理を施された階調測定用の画像データに基づいて前記複数のプロジェクターが協働して投射する階調測定用の画像のうちで各プロジェクターが投射する階調測定用の部分画像から選択される評価領域を含む複数の評価領域について、前記被投射面上の前記階調測定用の画像の各評価領域での輝度レベルと、前記階調測定用の画像を示す階調測定用の画像データに規定された各評価領域での階調値との対応関係を示す階調補正情報を算出するステップと、
前記階調補正情報に基づいて、処理後の前記画像データに基づいて前記複数のプロジェクターが協働して投射する画像の被投射面での各画素の輝度レベルを、処理前の前記画像データに規定された各画素の階調値に相当する輝度レベルに近づける階調補正処理を前記画像データに施すステップと、
を有していることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像表示システム、画像処理方法に関する。
【背景技術】
【０００２】
従来から、画像表示装置の１つとしてプロジェクターが知られている。プロジェクターは、設置が容易であることや、大画面の画像を表示可能であること等の特長を有している。近年、複数のプロジェクターを用いて画像を表示する画像表示システムが提案されている（例えば、特許文献１）。特許文献１のマルチディスプレイ装置は、複数のプロジェクターの各々に、表示する画像の一部の画像（以下、部分画像という）を投射させ、複数の部分画像の全体で１つの画像を表示する。これにより、大画面、高輝度、高解像度で画像を表示することが可能になる。
【０００３】
この種の画像表示システムにより、視聴者向けの画像（以下、コンテンツ画像という）を表示するには、被投射面上に複数の部分画像が並んで表示されるように、複数のプロジェクターを配置する。コンテンツ画像の表示品質を高めるには、各部分画像の歪や複数の部分画像の相対位置のずれを減らすこと、複数の部分画像での相対的な明るさや色調等の表示条件を高精度に管理することが重要である。一般に、上記の表示条件を手動で高精度に調整することは難しく、ユーザーの負担を減らす観点で、表示条件の調整を自動化する技術が期待されている。
【０００４】
明るさや色調の調整を自動化するには、輝度ムラ（グレイの階調ムラ）や色ムラ（色ごとの階調ムラ）を自動的に補正する技術（例えば、特許文献２）を適用することが考えられる。以下、輝度ムラや色ムラを総称して階調ムラという。特許文献２の画像表示装置は、画像補正部、データ格納部、および画像形成部を備えている。画像補正部は、データ格納部に格納されている補正データに基づいて、入力された画像データを補正する。画像形成部は、補正された画像データに応じて表示する画像を形成する。プロジェクターにより表示されたグレイ画像上の複数の位置における出力レベルがグレイ画像データに規定される入力レベルに近づくように、補正データが決定されている。補正データは、画像形成部の入出力特性データに基づいて算出されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−３４９７９１号公報
【特許文献２】特開２００１−２０９３５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献２の技術によれば、部分画像ごとの階調ムラを補正することができ、複数の部分画像の全体としての階調ムラを減らすことが可能であるようにも思われる。しかしながら、複数のプロジェクターにより表示を行う画像表示システムに、実際に特許文献２の技術を適用しようとすると、下記のような課題がある。
【０００７】
特許文献２の技術により、部分画像ごとの階調ムラを補正するには、プロジェクターごとにグレイ画像を表示して階調ムラを補正する必要があり、プロジェクターの数に応じて補正に要する手間や時間が増加してしまう。また、画像の全体での階調ムラを補正するには、複数の部分画像で輝度や色調を揃えるために、複数のプロジェクターでの相互の出力の調整に手間や時間を要してしまう。
【０００８】
また、部分画像の歪や複数の部分画像の相対位置のずれを補正すると、補正前後で被投射面上の各画素の位置が変化する。したがって、被投射面の各画素の位置と、各画素用の補正量とが対応しなくなり、結果として階調ムラの発生を招いてしまう。
【０００９】
本発明は、前記事情に鑑み成されたものであって、複数の部分画像の全体での階調ムラを効率的に補正することが可能な画像処理装置、画像表示システム、および画像処理方法を提供することを目的の１つとする。
【課題を解決するための手段】
【００１０】
本発明では、前記目的を達成するために以下の手段を採用している。
本発明の画像処理装置は、それぞれが画像形成素子を有しており被投写面に画像を投射する複数のプロジェクターとともに用いられる画像処理装置であって、前記画像形成素子上の各画素の位置と、前記被投射面上の各画素の位置との対応関係を示す形状補正情報を算出する形状補正情報算出部と、前記形状補正情報に基づいて、処理後の画像データに基づいて前記複数のプロジェクターが協働して投射する画像の前記被投射面での形状を、処理前の前記画像データによって規定される形状と略一致させる形状補正処理を前記画像データに施す形状補正処理部と、前記形状補正処理部により前記形状補正処理を施された階調測定用の画像データに基づいて前記複数のプロジェクターが協働して投射する階調測定用の画像のうちで各プロジェクターが投射する階調測定用の部分画像から選択される評価領域を含む複数の評価領域について、前記被投射面上の前記階調測定用の画像の各評価領域での輝度レベルと、前記階調測定用の画像を示す階調測定用の画像データに規定された各評価領域での階調値との対応関係を示す階調補正情報を算出する階調補正情報算出部と、前記階調補正情報に基づいて、処理後の前記画像データに基づいて前記複数のプロジェクターが協働して投射する画像の被投射面での各画素の輝度レベルを、処理前の前記画像データに規定された各画素の階調値に相当する輝度レベルに近づける階調補正処理を前記画像データに施す階調補正処理部と、を備えていることを特徴とする。
【００１１】
このようにすれば、形状補正情報算出部が形状補正情報を算出し、形状補正処理部が、形状補正情報に基づいて画像データに形状補正処理を施すので、被投射面上に表示された画像の形状を、補正前の画像データに規定された画像の形状と略一致させることができる。これにより、各部分画像の歪を減らすように、また複数の部分画像での相対位置のずれを減らすように、画像データを補正可能になる。
【００１２】
また、形状補正処理が施された後の階調測定用の画像データに基づいて投射された被投射面上の階調測定用の画像の各評価領域での輝度レベルを用いて、階調補正情報算出部が階調補正情報を算出するので、形状補正処理に伴う被投射面上の画素の移動が加味された階調補正情報が得られる。また、被投射面上の階調測定用の各部分画像から選択される評価領域を含む複数の評価領域の輝度レベルを用いて、階調補正情報算出部が階調補正情報を算出するので、各部分画像での階調ムラと、複数の部分画像での輝度レベルの違いとが加味された階調補正情報が得られる。すなわち、複数の部分画像を１つの画像としてみたときの画像の全体を加味した階調補正情報が得られ、この階調補正情報を用いて画像の全体を示す画像データに階調補正処理部が階調補正処理を施すので、複数の部分画像の全体としての階調ムラを減らすように画像データを効率的に補正可能になる。
【００１３】
本発明に係る画像処理装置は、代表的な態様として以下のような態様をとりえる。
【００１４】
前記形状補正情報算出部は、前記複数のプロジェクターによる前記被投射面上の全体の投射領域に収まる領域として設定された有効投射領域での画像の形状が、前記階調測定用の画像データによって規定される形状と略一致するように前記形状補正情報を算出し、前記階調補正情報算出部は、前記形状補正情報を用いて前記形状補正処理を施された後の前記階調測定用の画像データに基づいて投射された前記被投射面上の階調測定用の画像の前記有効投射領域内の前記評価領域の輝度レベルを用いて前記階調補正情報を算出するとよい。
【００１５】
このようにすれば、複数のプロジェクターにより投射可能な最大の領域のうちで、実際に画像が表示される有効投射領域の外側の領域用の、階調補正情報の算出や階調補正処理を省くことができ、実際に表示される画像の階調ムラを効率的に補正可能になる。
【００１６】
前記階調補正処理を施された後の画像データに基づいて前記複数のプロジェクターが協働して投射する画像のうちで、各プロジェクターが投射する部分画像を示す画像データを生成するデータ生成部を備え、前記形状補正処理部は、前記データ生成部により生成された各画像データに前記形状補正処理を施すとよい。
【００１７】
このようにすれば、階調補正処理部により補正された画像データに基づいて、複数の部分画像の各々を示す画像データ（以下、部分画像データという）をデータ生成部が生成するので、生成された各部分画像データに基づいて複数の部分画像を投射させることにより、複数の部分画像の全体での階調ムラが補正された画像を表示可能になる。また、各部分画像データに形状補正処理を施すので、各部分画像の歪や複数の部分画像の相対位置のずれを高精度に補正可能になる。
【００１８】
前記データ生成部は、前記画像を構成する複数の前記部分画像のうちで互いに隣り合う一対の部分画像の各々が該一対の部分画像で重複する重複領域を含むように、前記部分画像を示す画像データを生成するとよい。
【００１９】
このようにすれば、互いに隣り合う一対の部分画像で重複領域を重畳させて画像の全体を表示すると、被投射面上に複数の部分画像が隙間なく配列されるので、複数の部分画像で一体感を高めて画像を表示することが可能になる。
【００２０】
前記一対の部分画像を示す一対の前記画像データの各々を処理対象として、処理後の前記一対の画像データが示す前記一対の部分画像で前記重複領域が互いに重畳されたときの前記重複領域の各画素の輝度レベルを、前記階調補正処理部により前記階調補正処理を施される前の前記画像を示す画像データに規定された前記重複領域の各画素の階調値に相当する輝度レベルに近づけるエッジブレンド処理を施すエッジブレンド処理部を備えているとよい。
【００２１】
このようにすれば、被投射面上で一対の部分画像の重複領域が互いに重畳された状態で、重複領域の各画素の輝度レベルが画像データに規定された階調値に相当する輝度レベルよりも高くなることが回避され、被投射面上で重畳された重複領域すなわち部分画像の継ぎ目を識別させにくくすることができる。
【００２２】
前記階調補正情報算出部は、前記階調測定用の画像データに基づいて前記データ生成部により生成された前記部分画像を示す各画像データに前記エッジブレンド処理部により前記エッジブレン処理を施された後の前記部分画像を示す各画像データに基づいて前記複数のプロジェクターが協働して投射し、前記一対の部分画像で前記重複領域が前記被投射面上で互いに重畳されている階調測定用の画像の各評価領域での輝度レベルを用いて、前記階調補正情報を算出するとよい。
【００２３】
このようにすれば、被投射面上で一対の部分画像が互いの重複領域を重畳されている状態の階調測定用の画像の各評価領域での輝度レベルを用いて階調補正情報を算出するので、重複領域に対する形状補正情報の算出や形状補正処理を一対の部分画像でまとめて行うことができる。したがって、階調補正処理に要する演算等の負荷を減らすことができ、画像の階調ムラを効率的に補正することができる。
【００２４】
本発明の画像表示システムは、上記の本発明に係る画像処理装置と、前記画像処理装置により前記階調補正処理を施された後の画像データに基づいて、画像を協働して投射する複数のプロジェクターと、を備えていることを特徴とする。
【００２５】
このようにすれば、形状補正情報に基づいて画像データに形状補正処理を施すので、各部分画像の歪や複数の部分画像の相対位置のずれが低減された画像を表示可能になる。複数の部分画像からなる画像の全体を加味した階調補正情報が得られ、この階調補正情報を用いて画像の全体を示す画像データに階調補正処理部が階調補正処理を施すので、画像データを効率的に補正可能になり、階調ムラの少ない画像を効率的に表示可能になる。
【００２６】
本発明の画像処理方法は、それぞれが画像形成素子を有しており被投写面に画像を投射する複数のプロジェクターにおける前記画像形成素子上の各画素の位置と、前記被投射面上の各画素の位置との対応関係を示す形状補正情報を算出するステップと、前記形状補正情報に基づいて、処理後の画像データに基づいて前記複数のプロジェクターが協働して投射する画像の前記被投射面での形状を、処理前の前記画像データによって規定される形状と略一致させる形状補正処理を前記画像データに施すステップと、前記形状補正処理を施された階調測定用の画像データに基づいて前記複数のプロジェクターが協働して投射する階調測定用の画像のうちで各プロジェクターが投射する階調測定用の部分画像から選択される評価領域を含む複数の評価領域について、前記被投射面上の前記階調測定用の画像の各評価領域での輝度レベルと、前記階調測定用の画像を示す階調測定用の画像データに規定された各評価領域での階調値との対応関係を示す階調補正情報を算出するステップと、
前記階調補正情報に基づいて、処理後の前記画像データに基づいて前記複数のプロジェクターが協働して投射する画像の被投射面での各画素の輝度レベルを、処理前の前記画像データに規定された各画素の階調値に相当する輝度レベルに近づける階調補正処理を前記画像データに施すステップと、を有していることを特徴とする。
【００２７】
このようにすれば、形状補正情報に基づいて画像データに形状補正処理を施すので、各部分画像の歪や複数の部分画像での相対位置のずれを減らすように、画像データを補正可能になる。複数の部分画像からなる画像の全体を加味した補正情報が得られ、この階調補正情報を用いて画像の全体を示す画像データに階調補正処理部が階調補正処理を施すので、画像の全体としての階調ムラを減らすように画像データを効率的に補正可能になる。
【図面の簡単な説明】
【００２８】
【図１】本発明に係る画像表示システムの構成例を示す概念図である。
【図２】被投射面上の投射領域の位置関係を示す説明図である。
【図３】画像処理装置の機能構成を示すブロック図である。
【図４】形状補正情報および階調補正情報を算出するときの処理のフローを示すフローチャートである。
【図５】画像データを補正するときの処理フローを示すフローチャートである。
【図６】プロジェクター設置作業の処理フローを示すフローチャートである。
【図７】プロジェクター設置作業に用いるガイド画像の説明図である。
【図８】形状補正情報算出処理の処理フローを示すフローチャートである。
【図９】被投射面での特徴点の位置の測定方法を示す説明図である。
【図１０】形状補正情報の算出方法を示す説明図である。
【図１１】階調補正情報算出処理の処理フローを示すフローチャートである。
【図１２】（ａ）、（ｂ）は、エッジブレンド処理の処理内容を示す説明図である。
【図１３】被投射面上での輝度レベルの測定方法を示す説明図である。
【図１４】階調補正情報の算出方法を示す説明図である。
【図１５】（ａ）〜（ｃ）は、画像データを補正するときの処理内容を処理順に示す説明図である。
【図１６】（ａ）〜（ｃ）は、図１３（ｃ）から続く処理内容の説明図である。
【発明を実施するための形態】
【００２９】
以下、図面を参照しつつ本発明の実施形態を説明する。説明に用いる図面において、特徴的な部分を分かりやすく示すために、図面中の構造の寸法や縮尺を実際の構造に対して異ならせている場合がある。また、実施形態において同様の構成要素については、同じ符号を付して図示し、その詳細な説明を省略する場合がある。なお、本発明の技術範囲は下記の実施形態に限定されるものではない。本発明の主旨を逸脱しない範囲内で多様な変形が可能である。
【００３０】
図１は、本発明の一実施形態である画像表示システムの概念図、図２は被投射面上の投射領域の位置関係を示す説明図である。
【００３１】
図１に示すように画像表示システム１は、複数のプロジェクター２、画像処理装置３、および測定装置４を備えている。画像表示システム１は、例えば信号源８から入力された画像データが示すコンテンツ画像Ｐを複数のプロジェクター２で協働して、スクリーンや壁等の被投射面９に投射する。ここでは、複数のプロジェクター２として第１のプロジェクター２１、第２のプロジェクター２２、第３のプロジェクター２３、および第４のプロジェクター２４が設けられているとして説明する。本発明の適用範囲は、複数のプロジェクターを用いるものであれば、プロジェクターの数や配置に限定されない。以下の説明では、各プロジェクターから投射された画像を「部分画像」と称し、部分画像を示す画像データを「部分画像データ」と称することがある。
【００３２】
複数のプロジェクター２の各々は、供給された画像データ（ここでは部分画像データ）に基づいて画像（ここでは部分画像）を表示可能である。本発明の適用範囲は、複数のプロジェクターを構成する各プロジェクターの構成に限定されない。例えば、各プロジェクターは、単板式のプロジェクターであってもよいし、三板式のプロジェクター等の複数の画像形成素子を含んだものであってもよい。また、各プロジェクターは、被投射面９に対して視聴者と同じ側から投射するフロント投射型のものであってもよいし、被投射面９を挟んで視聴者と反対側から投射するリア投射型のものであってもよい。
【００３３】
本実施形態の複数のプロジェクター２の各々は、光源、３つの画像形成素子、および投射光学系を有する三板式のプロジェクターである。光源から射出された光は、赤色光、緑色光、および青色光に分離され、色光ごとに対応する画像形成素子に入射する。各画像形成素子は、二次元的に配列された複数の画素（以下、変調要素という）を有している。本実施形態では、各プロジェクターの画像形成素子の変調要素の数および変調要素の配列が、複数のプロジェクター２で、一致している。画像形成素子としては、例えば透過型または反射型の液晶ライトバルブや、デジタルミラーデバイス（ＤＭＤ）等が挙げられる。画像形成素子は、プロジェクターに入力された部分画像データの画素ごとの階調値を示すデータ（以下、画素データという）に基づいて、複数の変調要素を互いに独立して制御する。変調要素に入射した光は、変調要素ごとに変調されて画素データに規定された階調値に応じた光量の光になる。複数の変調要素により変調された光が全体として光学像（画像）になる。３つの画像形成素子は、互いに異なる色（赤、緑、青）の光学像を形成する。３色の光学像がダイクロイックプリズム等により合成された後に、合成された光学像が投射光学系により被投射面９に投射され、フルカラーの画像（ここでは部分画像）を表示可能になっている。
【００３４】
各プロジェクターが被投射面９上に投射可能な最大の領域である投射領域は、複数のプロジェクター２で異ならせて設定されている。図２に示すように、第１〜第４投射領域Ａ１〜Ａ４は、互いの周縁部が重なり合うように設定されており、全体として全体投射領域Ａ０を構成している。第１〜第４投射領域Ａ１〜Ａ４の各々は、隣接する他の投射領域と重畳された重畳領域Ａ５を含んでいる。
【００３５】
第１のプロジェクター２１の投射領域（第１投射領域Ａ１）は、第２のプロジェクター２２の投射領域（第２投射領域Ａ２）と被投射面９上の水平方向に並んでいる。この水平方向において、第１投射領域Ａ１の端部は、第２投射領域Ａ２の端部と重ね合わされている。第３のプロジェクター２３の投射領域（第３投射領域Ａ３）と、第４のプロジェクター２４の投射領域（第４投射領域Ａ４）との水平方向の位置関係については、第１、第２投射領域Ａ１、Ａ２の水平方向の位置関係と同様になっている。
【００３６】
第１投射領域Ａ１は、被投射面９上の水平方向と直交する垂直方向に第３投射領域Ａ３と並んでいる。この垂直方向において、第１投射領域Ａ１の端部は第３投射領域Ａ３の端部と重ね合わされている。第２投射領域Ａ２と第４投射領域Ａ４との垂直方向の位置関係については、第１、第３投射領域Ａ１、Ａ３の垂直方向の位置関係と同様になっている。
【００３７】
ところで、通常は全体投射領域Ａ０の外形が矩形にならない。これは、第１〜第４のプロジェクター２１〜２４の配置に起因して、第１〜第４投射領域Ａ１〜Ａ４の歪や相対位置のずれを生じるからである。ここでは、全体投射領域Ａ０に収まる略矩形の領域を実際に画像の表示に用いる領域（有効投射領域Ａ）としている。有効投射領域Ａは、例えば、全体投射領域Ａ０に収まる最大の矩形領域として設定され、そのアスペクト比はコンテンツ画像Ｐのアスペクト比に応じて設定される。第１〜第４のプロジェクター２１〜２４は、各投射領域のうちで有効投射領域Ａに収まる領域に対して各部分画像を投射するようになっている。
【００３８】
例えば、第１のプロジェクター２１から投射された光により、第１投射領域Ａ１のうちで有効投射領域Ａに収まる領域に、第１の部分画像Ｐ１が表示される。以下同様に、第２〜第４のプロジェクター２２〜２４により、第２の部分画像Ｐ２、第３の部分画像Ｐ３、および第４の部分画像Ｐ４が表示される。第１〜第４の部分画像Ｐ１〜Ｐ４は、重畳領域Ａ５にて互いの重複領域Ｐ５を重畳されて表示され、全体としてコンテンツ画像Ｐを構成する。
【００３９】
図１の説明に戻り、測定装置４は、被投射面９上に表示された画像の輝度レベルの色調分布（ＸＹＺまたはＲＧＢの三軸二次元情報）を測定可能なものである。本実施形態の測定装置４は、全体投射領域Ａ０の全体を含む被投射面９上の領域を撮像可能な撮像装置により構成されている。後述する形状補正情報や階調補正情報を算出するときに、撮像装置により撮像された撮像画像を示す撮像画像データは、画像処理装置３へ出力される。
【００４０】
撮像装置は、例えばＣＣＤカメラ等の二次元イメージセンサーにより構成される。撮像装置は、２以上の二次元イメージセンサーにより構成されていてもよい。例えば形状補正情報を算出するときの撮像用と、階調補正情報を算出するときの撮像用とで異なる二次元イメージセンサーを用いてもよい。
【００４１】
階調補正情報を算出するときの撮像用の撮像装置としては、ｘｙｚ等色関数近似の分光感度を持つフィルターを用いて撮像し、マトリクス補正演算によりＸＹＺ三刺激値を得るものや、等色関数とは異なるＲＧＢフィルターを用いて撮像し、ＲＧＢ画像を得るものが挙げられる。
【００４２】
ところで、１回の撮像により全体投射領域Ａ０の全体を撮像すれば、数回の撮像による撮像画像を合わせて全体投射領域Ａ０の全体を撮像する場合と比較して、撮像と撮像の間の撮像装置の移動等による誤差をなくすことができる。全体投射領域Ａ０の寸法やアスペクト比によっては、全体投射領域Ａ０の全体が撮像装置の画角に収まらない場合もありえる。この場合には、撮像装置を三脚等に据えること等により、被投射面９に対する撮像装置の相対位置を略固定した状態で全体投射領域Ａ０を部分ごとに撮像し、２回以上の撮像結果を合わせて全体投射領域Ａ０の全体を撮像した撮像画像を取得してもよい。
【００４３】
画像処理装置３は、コンテンツ画像Ｐを示す画像データを例えば信号源８から受け取る。画像処理装置３は、画像データに階調補正処理を施した後に、階調補正処理後の画像データを元に複数の部分画像データを生成する。各部分画像データは、第１〜第４の部分画像Ｐ１〜Ｐ４のいずれかを示すデータである。画像処理装置３は、各部分画像データにエッジブレンド処理を施した後に形状補正処理を施す。階調補正処理、形状補正処理、およびエッジブレンド処理では、概略すると下記の処理を行う。
【００４４】
階調補正処理では、補正前の画像データに基づいて投射される画像における階調ムラよりも補正後の画像データに基づいて投射された画像における階調ムラが減るように、コンテンツ画像Ｐを示す画像データを補正する。階調補正処理では、各部分画像での階調ムラと、複数の部分画像Ｐ１〜Ｐ４での相対的な輝度や色調の違いとを、いずれもコンテンツ画像Ｐの階調ムラとして同じ処理で補正する。各部分画像での階調ムラは、例えば、布状のスクリーンのたわみ等による被投射面９の局所的に歪みや、各プロジェクター内の光源光の強度の空間的な不均一性、レンズ等の光学部品における色収差等により発生する。複数の部分画像Ｐ１〜Ｐ４での相対的な輝度や色調の違いは、例えば、複数のプロジェクター２での定格の出力光量の違いや、プロジェクターの製造誤差等により発生する。
【００４５】
エッジブレンド処理では、図１に示したように、互いに隣り合う一対の部分画像で互いの重複領域Ｐ５が重畳されたときに、重複領域Ｐ５の各画素の輝度レベル値が、コンテンツ画像Ｐを示す画像データに規定された各画素の階調値に相当する輝度レベルに近づくように、各部分画像データを補正する。
【００４６】
形状補正処理では、各部分画像内の画像歪を補正するとともに、複数の部分画像Ｐ１〜Ｐ４の相対位置のずれを補正する。画像歪の一例として、例えば被投射面９に対する第１〜第４のプロジェクター２１〜２４の各々の投射方向、すなわち垂直方向の仰角や俯角、水平方向の煽り角等に応じて発生する画像歪（例えばキーストン歪）が挙げられる。画像歪の他の例として、例えば布状のスクリーンのたわみ等により、被投射面９が局所的に歪むことにより発生する画像歪が挙げられる。上記の第１〜第４の部分画像Ｐ１〜Ｐ４の相対位置のずれは、第１〜第４のプロジェクター２１〜２４で、例えば、投射方向が一致していないことや相対位置のずれていること等に起因する。
【００４７】
画像処理装置３は、形状補正処理後の部分画像データを、この部分画像を担当するプロジェクターへ入力する。第１〜第４のプロジェクター２１〜２４は、画像処理装置３から入力された部分画像データに基づいて、被投射面９上に第１〜第４の部分画像Ｐ１〜Ｐ４を投射する。画像処理装置３は、画像表示システム１の設置時や、画像表示システム１の設置時から所定期間が経過したメンテナンス時等の適宜選択されるタイミングに、形状補正処理に用いる形状補正情報や階調補正処理に用いる階調補正情報を算出する。
【００４８】
本発明に係る画像処理装置の機能を実現する態様として、例えば下記の第１〜第３の態様が挙げられる。
第１の態様として、各種処理を行うＡＳＩＣ等の１以上のロジック回路による画像処理装置が挙げられる。この画像処理装置は、その一部または全部が、第１〜第４のプロジェクター２１〜２４、測定装置４、信号源８のいずれかと一体化されていてもよい。
第２の態様として、プログラムが実装されたコンピューターによる構成が挙げられる。すなわち、プログラムにより各種処理をコンピューターに実行させることにより、画像処理装置の機能を実現することができる。例えば、メモリーやＣＰＵを利用して各処理における演算を実行させ、演算結果をハードディスクやメモリー等の記憶部に格納しておき、必要に応じて演算結果を読出して他の処理に供することにより、ロジック回路等を用いる場合と同様の処理結果が得られる。なお、第２の態様において、各種処理を複数のコンピューターに分担させて行わせるようにしてもよい。
第３の態様として、各種処理の一部の処理を行うロジック回路と、プログラムにより各種処理の他の処理を行うコンピューターとを組み合わせた構成が挙げられる。
【００４９】
このように、本発明に係る画像処理装置の機能を実現するには、各種処理を行う独立した装置としての態様の他に、各種処理の一部を行う複数の機能部の集合としての態様もとりえる。すなわち、複数の機能部が、別体の複数の装置に分かれて設けられており、互いに協働して処理を行う態様であっても画像処理装置の機能を実現することができる。
【００５０】
以上のように複数のプロジェクター２によりコンテンツ画像Ｐを表示すると、コンテンツ画像Ｐを大画面、高解像度、高輝度で表示にすることができる。例えば、一台のプロジェクターにより表示する場合と比較して、プロジェクターあたりの画素数（変調要素の数）が同じである条件では、解像度を下げることなく大画面でコンテンツ画像Ｐを表示することができる。また、同じ画面サイズでコンテンツ画像Ｐを表示する条件で比較すると、プロジェクターの数に応じて画素数を増すことができ、高解像度でコンテンツ画像を表示することができる。プロジェクターあたりの定格の出力光量が同じである条件で比較すると、表示に寄与する光の光量をプロジェクターの数に応じて増すことができ、高輝度でコンテンツ画像Ｐを表示することができる。
【００５１】
これらの効果を得るためにプロジェクターの画素数や出力を増す手法と比較すると、各プロジェクターのコストを飛躍的に下げることができるので、プロジェクターの数を加味しても装置コストを低減する効果が期待される。また、通常時はプロジェクターごとに例えば別の場所（例えば小会議室）に設置して使用し、用途に応じて、例えば大会議室に画像表示システムを構築して、コンテンツ画像を大画面、高解像度、高輝度で表示することも可能である。このように、プロジェクターを単独で使用するか、複数のプロジェクターを組み合わせて使用するかを用途に応じて選択可能になるので、１台のプロジェクターで上記の効果を得ようとする場合と比較して、利便性が高くなる。
【００５２】
また、画像処理装置３により階調補正処理や形状補正処理が施された画像データに基づいてコンテンツ画像Ｐが表示されるので、コンテンツ画像Ｐの全体での階調ムラや、各部分画像の画像歪、複数の部分画像での相対位置のずれが低減される。したがって、複数の部分画像での一体感が高められた状態でコンテンツ画像Ｐを表示することができ、コンテンツ画像Ｐを高品質な画像として表示可能になる。本発明では、階調補正処理に要する演算等の負荷を低減可能になっており、画像データを効率よく補正可能になっている。
【００５３】
次に、図３を参照しつつ画像処理装置３の構成について詳しく説明する。図３は、本発明に係る画像処理装置の機能構成を示すブロック図である。
図３に示すように画像処理装置３は、階調補正部３０、データ生成部３１、第１〜第４のエッジブレンド処理部３２ａ〜３２ｄ、および形状補正部３３を備えている。
【００５４】
階調補正部３０は、階調補正処理部３４、階調補正情報算出部３５、および記憶部３６を有している。記憶部３６は、例えばハードディスクや不揮発メモリー等により構成される。記憶部３６には、階調補正情報が格納されている。階調補正情報は、階調補正処理前の画像データに規定された各画素の階調値と、階調補正処理後の画像データに基づいて被投射面９上に表示された各画素（以下、表示画素という）の輝度レベルとの対応関係を示す情報である。すなわち、階調補正情報を参照すると、表示画素の輝度レベルを所定値に近づけるように画像データを補正するときに、各画素の階調値の補正量として要求される値が分かるようになっている。
【００５５】
本実施形態の階調補正情報は、画像データに規定された画素配列における各画素について、フルカラー画像を構成する各基本色の階調値の補正量を示す情報を含んでいる。具体的には、各画素の階調補正用のデータとして、赤の階調値の補正量を示す情報、緑の階調値の補正量を示す情報、および青の階調値の補正量を示す情報を含んでおり、これらの情報はテーブル形式で記憶部３６に格納されている。
【００５６】
階調補正処理部３４は、コンテンツ画像Ｐを表示するときに、記憶部３６から階調補正情報を読出し、コンテンツ画像Ｐを示す画像データに階調補正情報を用いて階調補正処理を施す。階調補正情報算出部３５が階調補正情報を算出する。階調補正情報を算出するときに、複数のプロジェクター２は協働して階調測定用の画像を被投射面９に投射する。被投射面９上の階調測定用の画像は、測定装置４により撮像され、得られた撮像画像を示す撮像画像データが階調補正情報算出部３５へ出力される。階調測定用の画像は、被投射面９に投射された状態で輝度レベルの分布を測定可能なパターンから適宜選択される。階調測定用の画像としては、階調値を高精度に測定可能にする観点で、全画素の階調値が同じである画像（以下、ベタ画像という）用いることが好ましい。階調測定用の画像を示す階調測定用の画像データは、画像処理装置３の内部（例えば記憶部３６）または外部（例えば信号源８）に格納されており、階調補正情報を算出するときに各プロジェクターへ出力される。
【００５７】
階調補正情報算出部３５は、階調測定用の画像における複数の評価領域の各々について、上記の撮像画像に写っている階調測定用の画像（階調測定用の撮像画像という）での階調値と、階調測定用の画像データに規定されている階調値とを比較し、階調補正情報を算出する。撮像画像の各画素の階調値は、この画素に相当する被投射面上の領域の輝度レベルに相当する。評価領域は、階調測定用の画像を構成する１画素または連続する２以上の画素により構成される領域である。被投射面９上の階調測定用の画像のうちで各プロジェクターが投射した領域を階調測定用の部分画像としたときに、いずれの階調測定用の部分画像にも１以上の評価領域が含まれるように複数の評価領域が選択されていれば、評価領域の範囲や数、配置については自由に設定可能である
階調補正情報算出部３５は、算出した階調補正情報を記憶部３６に格納し、階調補正情報を更新する。
【００５８】
データ生成部３１は、コンテンツ画像Ｐを表示するときに、階調補正処理後の画像データを元に各部分画像データを生成する。データ生成部３１は、例えば各投射領域のオーバーラップ量を示す情報、および各投射領域の被投射面９上での配置を示す情報を参照し、図２に示した重畳領域Ａ５の大きさを加味して部分画像データを生成する。オーバーラップ量は、一対の投射領域を所定の方向（例えば水平方向）に並べたときに、１つの投射領域の所定の方向での幅と、一対の投射領域が互いに重なり合う領域の所定の方向での幅との比率等により表される。例えば、コンテンツ画像Ｐを部分画像の数で等分割した複数の領域と、オーバーラップ量により定まる重複領域Ｐ５との和で表される領域に相当する画像を部分画像として、画像データから部分画像に相当するデータを抽出することにより部分画像データが得られる。
【００５９】
データ生成部３１は、第１の部分画像Ｐ１を示す第１の部分画像データを第１のエッジブレンド処理部３２ａへ出力する。データ生成部３１は、以下同様に、第２〜第４の部分画像Ｐ２〜Ｐ４を示す第２〜第４の部分画像データを第２〜第４のエッジブレンド処理部３２ｂ〜３２ｄへ出力する。
【００６０】
第１〜第４のエッジブレンド処理部３２ａ〜３２ｄは、入力された部分画像データに対してエッジブレンド処理を施す。重複領域Ｐ５の任意の画素は、複数の部分画像に含まれており、この画素の階調値は複数の部分画像データに規定されている。エッジブレンド処理では、上記の任意の画素の階調値として複数の部分画像データに規定された値の積算値が、階調補正処理前の画像データに規定されたこの画素の階調値に近づくように、各部分画像データを補正する。第１〜第４のエッジブレンド処理部３２ａ〜３２ｄは、エッジブレンド処理後の各部分画像データを形状補正部３３へ出力する。
【００６１】
形状補正部３３は、第１〜第４の形状補正処理部３７ａ〜３７ｄ、形状補正情報算出部３８、および記憶部３９を有している。記憶部３９は、階調補正部３０の記憶部３６と同様のものであり、記憶部３６と同じ装置により構成されていてもよい。記憶部３９には、形状補正情報が格納されている。形状補正情報は、各プロジェクターの画像形成素子上の各変調要素の位置と、被投射面９上の各表示画素の位置との対応関係を示す情報である。形状補正情報は、例えば変調要素ごとの値としてテーブル形式で格納されている。形状補正情報を参照すれば、有効投射領域Ａの所定の位置に所定の画素が表示されるようにする上で、各画素データをいずれの変調要素へ入力すればよいのかが分かる。
【００６２】
第１〜第４の形状補正処理部３７ａ〜３７ｄは、コンテンツ画像Ｐを表示するときに、上記の第１〜第４の部分画像データに形状補正処理を施す。例えは、第１の形状補正処理部３７ａは、第１のエッジブレンド処理部３２ａから第１のプロジェクター２１により投射する第１の部分画像Ｐ１を示す第１の部分画像データを受け取る。第１の形状補正処理部３７ａは、形状補正処理前の部分画像データに規定された部分画像が、第１投射領域Ａ１の内側の有効投射領域Ａ内に表示されるように、例えば、下記の形状補正処理を行う。
【００６３】
第１の形状補正処理部３７ａは、全体投射領域Ａ０の内側であって有効投射領域Ａの外側の各画素（以下、非表示画素という）について、形状補正情報により各非表示画素と対応付けられた画像形成素子の各変調要素に供給するデータを、非表示用のマスクデータ（例えば黒を示すデータ）にする。また、有効投射領域Ａの内側の各画素について、形状補正情報により表示画素と対応付けられた変調要素に供給するデータを、この表示画素用の画素データとして部分画像データに規定されたデータにする。
【００６４】
第１の形状補正処理部３７ａは、表示画素の位置が格子状の画素配列の格子点位置からずれている場合には、必要に応じてレンダリング処理等の補間処理を行う。例えば、表示画素に対応する画像データ上の画素の周囲の画素の画素データを用いて、表示画素の位置に応じた画素データを補間により求める。補間のときに参照する周囲の画素の位置や、補間のときに周囲の画素の画素データに乗じる重み付けの係数（補間係数）等は、形状補正情報の一部として予め求めておくとよい。
【００６５】
第２〜第４の形状補正処理部３７ｂ〜３７ｄは、第１の形状補正処理部３７ａと同様の形状補正処理を行う。すなわち、第２の形状補正処理部３７ｂは、第２のエッジブレンド処理部３２ｂから第２の部分画像データを受け取り、形状補正処理後の第２の部分画像データを第２のプロジェクター２２へ出力する。第３の形状補正処理部３７ｃは、第３のエッジブレンド処理部３２ｃから第３の部分画像データを受け取り、形状補正処理後の第３の部分画像データを第３のプロジェクター２３へ出力する。第４の形状補正処理部３７ｄは、第４のエッジブレンド処理部３２ｄから第４の部分画像データを受け取り、形状補正処理後の第４の部分画像データを第４のプロジェクター２４へ出力する。
【００６６】
形状補正情報算出部３８は、形状補正情報を算出する。形状補正情報を算出するときに、各プロジェクターは、複数の特徴点を含んだ形状測定用の画像を被投射面９に投射する。被投射面９上の形状測定用の画像は、測定装置４により撮像され、得られた撮像画像を示す撮像画像データが形状補正情報算出部３８へ出力される。形状測定用の画像の投射および撮像は、複数のプロジェクター２で並行して行ってもよいし、複数のプロジェクター２でタイミングを異ならせて行ってもよい。
【００６７】
形状補正情報算出部３８は、形状測定用の画像における複数の特徴点の各々について、上記の撮像画像に写っている形状測定用の画像（形状測定用の撮像画像という）での位置と、形状測定用の画像データに規定されている位置とを比較し、形状補正情報を算出する。形状補正情報算出部３８は、算出した形状補正情報を記憶部３９に格納し、形状補正情報を更新する。
【００６８】
次に、図４〜図１６を参照しつつ、画像処理装置３の処理フローと処理内容について説明する。
【００６９】
図４は、形状補正情報および階調補正情報を算出するときの処理のフローを示すフローチャート、図５は、画像データを補正するときの処理フローを示すフローチャートである。ここでは、画像表示システム１の設置時に形状補正情報および階調補正情報を算出する例について説明する。なお、下記のステップＳ２〜Ｓ７の処理を行うことにより、本発明に係る画像処理方法の一態様を行うことができる。また、ステップＳ２〜Ｓ７の処理をコンピューターに行わせるプログラムを用いることにより、本発明に係る画像処理装置の機能を実現することもできる。
【００７０】
図４に示すように、形状補正情報および階調補正情報を算出するのに先立ち、まず被投射面９に対して複数のプロジェクター２を配置し、必要に応じて各プロジェクターの配置を粗調整する（ステップＳ１）。次いで、各プロジェクターが投射した形状測定用の画像を用いて、画像処理装置３の形状補正情報算出部３８により形状補正情報を算出させる（ステップＳ２）。次いで、複数のプロジェクター２が協働して投射した階調測定用の画像を用いて、階調補正情報算出部３５により階調補正情報を算出させる（ステップＳ３）。
【００７１】
図５に示すように、コンテンツ画像Ｐを示す画像データを補正するには、ステップＳ３で算出された階調補正情報を用いて、階調補正処理部３４により画像データに階調補正処理を実行させる（ステップＳ４）。次いで、階調補正処理後の画像データを元に、データ生成部３１に各部分画像データを生成させる（ステップＳ５）。次いで、データ生成部３１が生成した各部分画像データに対して、第１〜第４のエッジブレンド処理部３２ａ〜３２ｄによりエッジブレンド処理を実行させる（ステップＳ６）。次いで、ステップＳ２で算出された形状補正情報を用いて、エッジブレンド処理後の各部分画像データに対して第１〜第４の形状補正処理部３７ａ〜３７ｄにより形状補正処理を実行させる（ステップＳ７）。
【００７２】
図６は、プロジェクター設置作業の処理フローを示すフローチャート、図７はプロジェクター設置作業の処理内容を示す説明図である。
図６に示すように、プロジェクター設置作業では、例えば各プロジェクターを設置するユーザーが、重畳領域Ａ５のサイズ（オーバーラップ量）を指定する（ステップＳ１１）。
【００７３】
本実施形態では、ユーザーからオーバーラップ量を示す情報の入力を受け付けるユーザーインターフェース（図示略）が画像処理装置３に設けられている。ユーザーが入力した情報は、画像処理装置３の内部または外部の記憶部に格納される。画像処理装置３は、オーバーラップ量を必要とする処理を実行するときに、上記の記憶部からオーバーラップ量を示す情報を読み出して処理に供する。上記のユーザーインターフェースとしては、例えばタッチパネルやキーボード、マウス等の各種入力デバイスが挙げられる。また、ユーザーは、上記の各種入力デバイスを利用して、各プロジェクターが担当する投射領域の被投射面９での配列を画像処理装置３に入力するようになっている。
【００７４】
なお、オーバーラップ量を示すデータ投射領域の配列を示すデータについては、固定値または可変値として予め設定しておくことも可能であり、この場合にはオーバーラップ量を示す情報等の入力を省くことができる。また、形状補正処理や階調補正処理をプログラムによりコンピューターに実行させる場合には、ユーザーは、コンピューターに接続された各種入力デバイスを利用して、コンピューターにオーバーラップ量を示す情報を入力するとよい。この場合には、コンピューターが入力値を自身の記憶部等に格納して管理し、処理に必要な場合に入力値を読み出し、処理に供するようにしてもよい。
【００７５】
次いで、画像処理装置３は、オーバーラップ量の入力値をユーザーから受け取り、重畳領域Ａ５のガイドを含んだ画像（以下、ガイド画像という）を示す画像データを各プロジェクターに供給する。各プロジェクターは、画像処理装置３から供給された画像データに基づいて、図７に示すように被投射面９にガイド画像Ｐ６を投射する（ステップＳ１２）。本実施形態では、データ生成部３１が、各プロジェクターの投射領域の被投射面９での配置、オーバーラップ量、および各プロジェクターの画像形成素子の画素数を用いて、重畳領域Ａ５の輪郭を示す図形を含んだガイド画像Ｐ６の画像データを生成する。
【００７６】
データ生成部３１は、例えば以下のようにしてガイド画像の画像データを生成する。ここでは、各プロジェクターの画像形成素子の画素数が１９２０×１０８０個であり、オーバーラップ量が２０％であるとする。データ生成部３１は、第１のプロジェクター２１が担当する第１投射領域Ａ１が、第１〜第４投射領域Ａ１〜Ａ４の配列のうちで水平方向の端かつ垂直方向の端に配置されていることを示す情報を、ユーザーが入力した情報から取得する。データ生成部３１は、水平方向のうちで第１投射領域Ａ１が第２投射領域Ａ２と重畳される側の第１投射領域Ａ１の端から３９６ピクセル（１９２０ピクセルの２０％）の位置を重畳領域Ａ５の輪郭として、この輪郭を示すガイドＧ１を含んだガイド画像Ｐ６の画像データを生成する。ユーザーは、ガイドＧ１の輪郭に第２投射領域Ａ２の輪郭が概ね重なるように、第１のプロジェクター２１または第２プロジェクター２２を移動させる。
【００７７】
データ生成部３１は、同様にして、第２〜第４のプロジェクター用のガイド画像の画像データを生成する。ユーザーは、各プロジェクター用のガイド画像を参照しつつ、第１〜第４のプロジェクターを設置する（ステップＳ１３）。ところで、各投射領域の歪や、複数の投射領域での相対位置のずれに起因する部分画像の歪や相対位置のずれについては、後の形状補正処理により補正されることになる。したがって、各投射領域の輪郭をガイドに厳密に一致させる必要はなく、プロジェクターの設置作業におけるユーザーの負担を軽減することができる。
なお、画像表示システム１の設置後、例えば画像表示システム１のメンテナンス時に形状補正情報を算出する場合には、上記のステップＳ１を省くこともできる。
【００７８】
図８は、形状補正情報算出処理の処理フローを示すフローチャート、図９は、被投射面での特徴点の位置の測定方法を示す説明図である。
図８に示すように、形状補正情報算出処理では、まずエッジブレンド処理による部分画像データの補正動作と形状補正処理による部分画像データの補正動作を禁止する（ステップＳ２１）。次いで、図９に示すように、各プロジェクターにより被投射面９上に形状測定用の画像Ｐ７を表示させる（ステップＳ２２）。形状測定用の画像Ｐ７は、特徴図形Ｇ２を含んでいる。特徴図形は、エッジ検出処理やパターン認識処理等を用いた各種画像処理技術により検出可能な形状や輝度分布の図形であり、特徴図形を検出したときに特徴図形を代表する点を特徴点として求めることが可能な図形である。
【００７９】
特徴図形については、その形状および位置を検出可能であり、検出した形状および位置と関係づけられた位置を特徴点の位置として特定可能であれば、その形状や数、配置などに特に限定はない。特徴図形の形状としては、例えば互いに交差した線（クロスハッチ、メッシュ）、ドット形状や矩形状であってもよい。特徴図形が、互いに交差する線である場合には、特徴図形を構成する線をハフ変換等により検出し、検出した線分の交点の位置を、それぞれ特徴点の位置として特定することができる。特徴図形がドット形状である場合には、上記の画像処理技術によりドット形状の輪郭または輝度分布を検出し、ドット形状の中心点の位置を特徴点の位置として特定することができる。図９には、互いに交差する２方向の各々に線分が周期的に並ぶメッシュ状の特徴図形Ｇ２を例示している。このような特徴図形Ｇ２は、線分の交差点の位置をいずれも特徴点の位置として特定可能である。
【００８０】
なお、形状測定用の画像を撮像した撮像画像から複数の特徴点を規定可能なように、形状測定用の画像は選択される。各プロジェクターから投射する形状測定用の画像に含まれる特徴点の数は、投射方向に応じて生じる画像歪を射影変換を用いて補正可能にする観点で、４点以上であることが好ましい。各プロジェクターにより投射する形状測定用の画像は、複数のプロジェクターで同じであってもよいし、異なっていてもよい。形状測定用の画像を示す形状測定用の画像データは、画像処理装置３の内部（例えば記憶部３９）または外部（例えば信号源８）に格納されており、形状測定用の画像を表示させるときに各プロジェクターへ出力される。
【００８１】
次いで、被投射面９での特徴点の位置を測定する（ステップＳ２３）。具体的には、被投射面９上に表示されている形状測定用の画像を測定装置４により撮像させ、得られた撮像画像に写っている形状測定用の画像（形状測定用の撮像画像）を検出する。ここでは、形状補正情報算出部３８が、上記の撮像画像を示す撮像画像データを受け取り、撮像画像データを解析して形状測定用の撮像画像を検出する。また、形状補正情報算出部３８は、上述したハフ変換等を利用して、形状測定用の撮像画像の特徴点の位置を検出する。
【００８２】
次いで、形状補正情報算出部３８は、ステップＳ２３で得られた形状測定用の撮像画像での特徴点の位置と、この形状測定用の画像を示す形状測定用の画像データに規定された特徴点の位置とを比較して、形状補正情報を算出する（ステップＳ２４）。以下、形状補正情報を算出する方法の例として、第１、第２の方法について説明する。
【００８３】
図１０は、射影変換を用いた形状補正情報を算出する第１の方法を示す説明図である。図１０には、形状測定用の画像データに規定された形状測定用の画像Ｄの一部、および形状測定用の撮像画像Ｔの一部を概念的に図示している。
【００８４】
図１０において、符号ｉ，ｊは画像データ上での画素の配列方向を示す。１９２０×１０８０個の画素を含んだ画像を示す画像データである場合には、例えばｉ方向に１９２０個の画素が配列され、ｊ方向に１０８０個の画素が配列される。この画素配列における各画素の位置は、画素配列でｉ方向の端かつｊ方向の端に配置された画素を基準として、座標（ｉ，ｊ）で表される。符号Ｄ１〜Ｄ４は、形状測定用の画像Ｄに含まれる特徴点を示す。特徴点Ｄ１〜Ｄ４は、各特徴点を順に結んだ線が四角形状の領域Ｄ５の輪郭をなすように選択される。図１０において、符号Ｔ１〜Ｔ４は、形状測定用の撮像画像Ｔに含まれる特徴点を示す。特徴点Ｔ１〜Ｔ４は、投射された形状測定用の画像Ｄにおける特徴点Ｄ１〜Ｄ４に相当する特徴点である。特徴点Ｔ１〜Ｔ４を順に結んだ線は四角形状の領域Ｔ５の輪郭をなしている。
【００８５】
射影変換の変換式は、下記の式（１）、式（２）で表すことができる。式（１）、式（２）において、（ｘ，ｙ）は変換前の任意の点の座標（ｉ，ｊ）を示し、（Ｘ，Ｙ）はこの点の変換先の座標（ｉ，ｊ）を示す。ａ〜ｈは変換係数を示し、ａ〜ｈを求めることにより、１つの射影変換が求まる。
Ｘ＝（ａｘ＋ｂｙ＋ｃ）／（ｇｘ＋ｈｙ＋１）・・・（１）
Ｙ＝（ｄｘ＋ｅｙ＋ｆ）／（ｇｘ＋ｈｙ＋１）・・・（２）
【００８６】
特徴点Ｄ１〜Ｄ４の各々の座標は、形状測定用の画像データに規定されているので既知である。特徴点Ｔ１〜Ｔ４の各々の座標は、形状測定用の撮像画像Ｔから特徴点の位置を検出することにより、既知になっている。式（１）、式（２）の（ｘ，ｙ）に特徴点Ｄ１の座標を代入し、（Ｘ，Ｙ）に特徴点Ｔ１の座標を代入すると、ａ〜ｈの関係式が２つ得られる。同様に特徴点Ｄ２、Ｔ２の組、特徴点Ｄ３、Ｔ３の組、特徴点Ｄ４、Ｔ４の組のそれぞれの座標を代入することにより、ａ〜ｈの８つの未知数に対して８つの関係式が得られる。この８元１次方程式を解くことにより、領域Ｄ５を領域Ｔ５に変換する射影変換のａ〜ｈが得られる。得られた射影変換に対して、領域Ｄ５の周上および内側に含まれる各画素の座標を（ｘ，ｙ）に代入することにより、領域Ｄ５の各画素と１対１で対応する領域Ｔ５での各画素の座標が求まる。
【００８７】
ここでは、形状測定用の画像Ｄに含まれる複数の特徴点から４つの特徴点Ｄ１〜Ｄ４を選択して、形状測定用の画像Ｄの一部をなす領域Ｄ５に対する射影変換を求める。そして、異なる特徴点を特徴点Ｄ１〜Ｄ４として選択することにより、領域Ｄ５を異ならせて射影変換を求める。得られた射影変換を用いて、上述のようにして領域Ｄ５の各画素と１対１で対応する領域Ｔ５での各画素の座標を求める。以下同様にして、形状測定用の画像Ｄの部分ごとの射影変換を求め、形状測定用の画像Ｄの各画素の座標と、画素ごとに対応する撮像パターンの画素の座標を求める。
【００８８】
形状測定用の画像Ｄの各画素の座標は、各プロジェクターの画像形成素子での変調要素の座標と対応関係がある。また、撮像画像Ｔの中での各画素の座標は、被投射面９での各表示画素の座標と対応関係がある。結果として、画像形成素子での画素（変調要素）の座標と、被投射面での画素（表示画素）の位置との対応関係を示す形状補正情報が得られることになる。
【００８９】
例えば、画像形成素子の各変調要素の座標に対して上記の射影変換を行うことにより、被投射面９での画素（以下、変換画素という）の座標が求まる。変換画素の座標の最大値や最小値を参照することにより、有効投射領域Ａの範囲が自動または手動で設定される。そして、有効投射領域Ａの中に、コンテンツ画像の形式や画素数に応じた画素（表示画素）の配列を配置するものとして、被投射面９での各表示画素の座標を上記の有効投射領域Ａの範囲の設定値から求める。表示画素の座標が変換画素の座標からずれる場合には、表示画素の周囲に位置する変換画素に供給される画素データを用いて表示画素の画素データを補間により求めるべく、周囲の変換画素と表示画素との距離に応じた補間の重み付けを示す補間係数を求めておいてもよい。この補間係数は表示画素ごとの固定値になるので、補正情報の一部として保存しておくとよい。
【００９０】
第２の方法では、撮像画像Ｔを形状測定用の画像Ｄに変換する射影変換（第１の方法での射影変換の逆変換）を求める。また、例えば撮像画像Ｔに含まれる特徴点の座標を用いて全体投射領域Ａ０の範囲を推定し、有効投射領域Ａの範囲を自動または手動で設定する。そして、有効投射領域Ａの中に、コンテンツ画像Ｐの形式や画素数に応じた表示画素の配列を配置するものとして、被投射面９での各表示画素の座標を上記の有効投射領域Ａの範囲の設定値から求める。得られた各表示画素の座標を射影変換により変換することにより、被投射面９上の各表示画素に対応する画像形成素子での変調要素の座標が求まる。このようにして求められた変調要素の座標が、実際の変調要素の座標と整合しない場合、すなわち画像形成素子の１つの変調要素が２以上の表示画素が対応する場合には、必要に応じて各変調要素に入力される画素データを補間により求めるべく、補間係数を求めておいてもよい。上述のように、求めた補間係数は補正情報の一部として保存しておくとよい。
【００９１】
図１１は、階調補正情報算出処理の処理フローを示すフローチャートである。
図１１に示すように、階調補正情報を算出するには、階調補正処理による画像データの補正動作を禁止しておき、エッジブレンド処理による部分画像データの補正と形状補正処理による部分画像データの補正動作を許可しておく（ステップＳ３１）。
【００９２】
図１２（ａ）、図１２（ｂ）はエッジブレンド処理の処理内容を示す説明図である。図１２（ａ）には、第１、第２投射領域Ａ１、Ａ２にわたり、重畳領域Ａ５をまたいで水平方向に延在する線分Ｂ−Ｂ’を図示している。図１２（ｂ）には、エッジブレンド処理後の部分画像データに基づいて第１、第２のプロジェクター２１、２２から射出された光について、線分Ｂ−Ｂ’上の各位置に入射する光の光量を概念図として示している。図１２（ｂ）の横軸は、線分Ｂ−Ｂ’上の位置を示し、図１２（ｂ）の横軸に第１、第２投射領域Ａ１、Ａ２および重畳領域Ａ５の範囲との対応関係を併記している。図１２（ａ）の縦軸は、エッジブレンド処理前の部分画像データにより各位置に入射する光の光量に占める、エッジブレンド処理後の部分画像データにより各位置に入射する光の光量を示している。
【００９３】
エッジブレンド処理前の部分画像データによる第１のプロジェクター由来の光量は、光の発散角を無視すると、第１投射領域Ａ１で略１になり、第２投射領域で略０になる。同様に、第２のプロジェクター由来の光量は、第２投射領域Ａ２で略１になり、第１投射領域で略０になる。エッジブレンド処理が施されていない部分画像データに基づいて投射されたときの第１、第２の部分画像の重複領域の表示に寄与する光量は、略２になると考えられる。
【００９４】
図１２（ｂ）に示すように、エッジブレンド処理後の部分画像データによる第１のプロジェクター由来の光量は、重畳領域Ａ５を除く第１投射領域で略１になっており、重畳領域Ａ５上で第１投射領域Ａ１から第２投射領域Ａ２に向かうにつれて滑らかな曲線を描いて０に漸近している。第２のプロジェクター由来の光量は、水平方向の重畳領域Ａ５の中心を対称軸として、第１のプロジェクター由来の光量と対称的になっている。すなわち、重畳領域Ａ５にて第１のプロジェクター由来の光量が減少するにつれて、第２のプロジェクター由来の光量が増加し、第１、第２プロジェクター由来の総光量が、重畳領域Ａ５の各位置で略１になるように、エッジブレンド処理で部分画像データを補正する。
【００９５】
図１１の説明に戻り、複数のプロジェクター２で並行して階調測定用の部分画像を被投射面９上に表示させる（ステップＳ３２）。次いで、被投射面上の階調測定用の画像の複数の位置で、位置ごとの各色の輝度レベルを測定する（ステップＳ３３）。
【００９６】
本実施形態では、各プロジェクターの入出力特性を利用して画像データを補正するときの補正量を示す階調補正情報を算出することを予定している。階調補正情報を算出するのに先立ち、入出力特性を示す入出力特性情報を取得する入出力特性取得処理を行う。入出力特性取得処理は、例えば予め算出されて記憶部等に格納されている入出力特性情報を読み出す処理であってもよいし、入出力特性情報を算出する処理であってもよい。
【００９７】
ここでは、入出力特性情報を算出して取得し、取得した入出力特性情報を階調補正情報の算出に供する。入出力特性情報を算出するには、各プロジェクターにより投射された出力測定用の画像の被投射面９上での輝度レベルを測定し、出力測定用の画像を示す出力測定用の画像データに規定された階調値と比較すればよい。
【００９８】
被投射面９上での出力測定用の画像の輝度レベルを測定する処理は、階調測定用の画像の複数の位置での輝度レベルを測定する処理と、並行してあるいは処理の一部または全部を共通化して行うことができる。また、出力測定用の画像を、階調測定用の画像と区別することなく用いることもできる。以下の説明では、別段の断りがない限り、出力測定用の画像も階調測定用の画像と称する。
【００９９】
本実施形態では、階調測定用の画像として、エッジブレンド処理前の画像データが示す画像の各画素の階調値が同じであるベタ画像を用いる。階調測定用の画像の色調は、フルカラー表示に用いる各基本色（ここでは、赤、緑、青）、およびモノクロ（白、グレイ、黒）を選択する。各基本色の階調測定用の画像を用いた輝度レベルの測定結果は、各プロジェクターの色ごとの入出力特性情報の算出に用いる。モノクロの階調測定用の画像を用いた輝度の測定結果は、被投射面９上の階調測定用の画像における色ムラの測定に用いる。
【０１００】
各基本色の階調測定用の画像として、階調値が異なる複数の画像を用意し、階調値に対する被投射面９上での輝度レベルの関係性を、複数段階の階調値に対して調べる。ここでは、赤、緑、青の各色調については、８ビットの階調値すなわち０から２５５までの整数で表される階調値の範囲のうちで、２５５、２２４、１９２、１６０、１２８、９６、６４、３２の８段階の各階調値の階調測定用の画像（２４種類）を用いる。モノクロの色調については、２５５、２２４、１９２、１６０、１２８、９６、６４、３２、０の９段階の階調値の階調測定用の画像（９種類）を用いる。すなわち、合計で３３種類の階調測定用の画像を用いる。
【０１０１】
被投射面９上の階調測定用の画像の輝度レベルを測定するには、各階調測定用の画像データをデータ生成部３１に入力する。各階調測定用の画像データが階調補正部３０の記憶部３６に格納されている場合には、階調補正処理部３４が各階調測定用の画像データを読出してデータ生成部３１へ出力するようにすればよい。各階調測定用の画像データが信号源８から供給される場合には、階調補正処理部３４が信号源８から各階調測定用の画像データを受け取り、データ生成部３１へ出力するようにすればよい。
【０１０２】
データ生成部３１は、入力された各階調測定用の画像データを元に、各プロジェクター用の階調測定用の部分画像データを生成する。例えば、データ生成部３１は、上述したガイド画像を示す画像データを生成するときに取得したオーバーラップ量を示す情報や、各投射領域の被投射面９上での配置を示す情報を参照して、階調測定用の部分画像データを生成する。データ生成部３１は、生成した階調測定用の部分画像データを第１〜第４のエッジブレンド処理部３２ａ〜３２ｄへ出力する。
【０１０３】
第１〜第４のエッジブレンド処理部３２ａ〜３２ｄは、入力された階調測定用の部分画像データにエッジブレンド処理を施し、エッジブレンド処理後の階調測定用の部分画像データを第１〜第４の形状補正処理部３７ａ〜３７ｄへ出力する。
【０１０４】
第１〜第４の形状補正処理部３７ａ〜３７ｄは、入力された階調測定用の部分画像データに形状補正処理を施す。ここでは、有効投射領域Ａの内側に対象となる階調値のベタ画像が表示され、有効投射領域の外側に黒が表示されるように、第１〜第４の形状補正処理部３７ａ〜３７ｄは、形状補正処理を施す。第１〜第４の形状補正処理部３７ａ〜３７ｄは、形状補正処理後の階調測定用の部分画像データを各プロジェクターへ出力する。
【０１０５】
図１３は被投射面上での輝度レベルの測定方法を示す説明図である。
図１３に示すように階調測定用の画像Ｐ８は、形状補正処理後の部分画像データに基づいて投射されているので、被投射面９上の有効投射領域Ａの内側に表示される。階調測定用の画像Ｐ８は、第１の部分画像Ｐ８１、第２の部分画像Ｐ８２、第３の部分画像Ｐ８３、および第４の部分画像Ｐ８４を含んでいる。第１〜第４の部分画像Ｐ８１〜Ｐ８４は、エッジブレンド処理後の部分画像データに基づいて投射されているので、互いに隣り合う一対の部分画像で互いに重畳されている重複領域の輝度レベルが、階調測定用の画像データに規定された階調値に相当する輝度レベルと概ね同じになっている。
【０１０６】
被投射面上での輝度レベルを測定するには、被投射面９上の階調測定用の画像Ｐ８の全体を含んだ領域を測定装置４により撮像する。測定装置４は、得られた撮像画像を示す撮像画像データを階調補正情報算出部３５に出力する。階調補正情報算出部３５は、階調測定用の画像Ｐ８のうちの複数の評価領域Ｅ１〜Ｅ４の輝度レベルに相当する撮像画像の画素の階調値を、撮像画像データから抽出する。評価領域ついては、第１〜第４の部分画像Ｐ８１〜Ｐ８４のいずれからも１以上の評価領域が選択されていれば、評価領域の範囲や数、位置について適宜選択することが可能である。
なお、測定装置４による撮像画像から形状測定用の画像または階調測定用の画像を抽出する機能については、画像処理装置３、測定装置４、あるいはその他の装置のいずれに持たせてもよい。
【０１０７】
入出力特性情報を算出するためのデータとしては、例えば各部分画像のうちで重複領域を除いた領域に相当する撮像画像の画素の階調値を撮像画像データから抽出し、その平均値を被投射面９上での部分画像の輝度レベル（出力）として用いればよい。
【０１０８】
このようにして、被投射面９上の評価領域の輝度レベルに相当する階調値や、被投射面９上での各部分画像の輝度レベルに相当する階調値を取得し、１種類の階調測定用の画像についての階調値の測定を終了する。得られた階調値を示す情報の量によっては、階調値を示す情報を記憶部３６に格納しておいてもよい。
【０１０９】
図１１の説明に戻り、階調補正情報算出部３５は、全種類の階調測定用の部分画像について階調値の測定が終了したか否かを判定する（ステップＳ３４）。いずれかの階調測定用の部分画像について階調値の測定が終了していない場合（ステップＳ３４；Ｎｏ）には、
測定対象を前回と異なる階調値の階調測定用の部分画像を変更し、ステップＳ３２に戻り、次回の測定対象の階調測定用の部分画像について輝度レベルの測定を開始する。全種類の階調測定用の部分画像について輝度レベルの測定が終了している場合（ステップＳ３４；Ｙｅｓ）には、ステップＳ３５に進む。
【０１１０】
階調補正情報算出部３５は、ステップＳ３３で測定した各評価領域の輝度レベルを、この階調測定用の画像データに規定された階調値と比較して、階調補正情報を算出する（ステップＳ３５）。以下、階調補正情報の算出方法の一例について、数値例を示して詳しく説明する。
【０１１１】
ここで、階調補正処理を行わないで、グレイのベタ画像を表示させた場合、例えばステップＳ３２で階調値がＮのグレイの階調測定用の画像を表示させた場合を考える。このとき、被投射面９上での赤成分の輝度レベルは１００×（Ｋｒ×Ｎ／２５５）、緑成分の輝度レベルは１００×（Ｋｇ×Ｎ／２５５）、青成分の輝度レベルは１００×（Ｋｂ×Ｎ／２５５）であるとする。上記のＫｒ、Ｋｇ、Ｋｂは、合成光の輝度レベルに対する各色光の寄与率を示す係数であり、Ｋｒは０．２９９程度、Ｋｇは０．５８７程度、Ｋｂは０．１１４程度である。同一の色成分の画素同士の相対的な輝度レベルに着目する場合には、係数Ｋｒ、Ｋｇ、Ｋｂを無視することができるので、以下の説明で係数Ｋｒ、Ｋｇ、Ｋｂを省略して示す場合もある。
【０１１２】
グレイの階調測定用の画像は、赤、緑、青の各階調値が１２８であるとし、このときに表示されるべき画像の赤成分、緑成分、青成分の各輝度レベルは５０Ｋｒ、５０Ｋｇ、５０Ｋｂであるとする。以下の説明では、これらの輝度レベルを基準輝度レベルという。また、赤成分、緑成分、青成分の輝度レベルの組を（Ｒ、Ｇ、Ｂ）で示す場合がある。
【０１１３】
このようなグレイの階調測定用の画像を投射したときに、図１３に示した第１の部分画像Ｐ８１に属する第１の評価領域Ｅ１の各色の輝度レベルの測定値が（４０Ｋｒ、５０Ｋｇ、５５Ｋｂ）であり、第２の部分画像Ｐ８２に属する第２の評価領域Ｅ２の各色の輝度レベルの測定値が（５５Ｋｒ、５０Ｋｇ、４５Ｋｂ）であったとする。すなわち、第１、第２の評価領域Ｅ１、Ｅ２は、表示すべき画像に対して色ムラを生じていることになる。
【０１１４】
本実施形態では、有効投射領域Ａの内側の複数の部分画像の全体を１つの画像として扱い、第１、第２の評価領域Ｅ１、Ｅ２の色ムラを複数の部分画像の全体での階調ムラとして補正する。詳しくは、第１、第２の評価領域Ｅ１、Ｅ２における各色成分の輝度レベルが基準輝度レベルに等しくなるように、第１の評価領域Ｅ１の階調値を規定する第１の部分画像データ、および第２の評価領域Ｅ２の階調値を規定する第２の部分画像データの元になる画像データを補正する。
【０１１５】
例えば、第１の評価領域Ｅ１に着目すると、赤成分の輝度レベルは４０Ｋｒであり、基準輝度レベル５０Ｋｒに比べて低いので、不足する輝度レベル１０Ｋｒを補うために要求される階調値の補正量を算出する。そして、この補正量を画像データ上の階調値に加算することにより第１の評価領域Ｅ１の赤成分を補正することができる。また、青成分の輝度レベルは５５Ｋｂであり、基準輝度レベル５０Ｋｂに比べて５Ｋｂ高いので、過剰な輝度レベル５Ｋｂを減らすのに必要な階調値の補正量だけ画像データ上の階調値を小さくすることにより第１の評価領域Ｅ１の青成分を補正することができる。同様に、第２の評価領域Ｅ２についても画像データ上での階調値を補正することにより、被投射面９上での色ムラを減らすことができる。
【０１１６】
図１４は、入出力特性を利用した階調補正情報の算出方法を示す説明図である。上記の補正量は、各プロジェクターの入出力特性を利用することにより容易に求めることができる。図１４では、被投射面９上の各基本色（赤、緑、青）の階調測定用の画像の輝度レベルの測定値を、各階調測定用の画像データに規定された階調値に対してプロットしたグラフにて入出力特性を示している。
【０１１７】
第１の評価領域Ｅ１の赤成分用の補正量を算出するときに、まず、下記の式（３）に示すように、第１の評価領域Ｅ１の赤成分の輝度レベルの補正量ΔＲＬ（Ｅ１）が算出される。式（３）において、ＲＬ（ＰＲ）は赤成分の基準輝度レベルであり、ＲＬ（Ｅ１）は第１の評価領域Ｅ１の赤成分の輝度レベルである。基準輝度レベルＲＬ（ＰＲ）は、階調測定用の画像の全域で共通の値である。１つの階調測定用の画像に対する基準輝度レベルは、例えば、この階調測定用の画像における複数の評価領域の被投射面９上での輝度レベルを測定した測定値の平均値に設定される。
ΔＲＬ（Ｅ１）＝ＲＬ（ＰＲ）−ＲＬ（Ｅ１）  ・・・（３）
【０１１８】
上記の数値例では、ＲＬ（ＰＲ）＝５０、ＲＬ（Ｅ１）＝４０であるので、ΔＲＬ（Ｅ１）＝＋１０になる。すなわち、階調補正処理では、赤成分の輝度が輝度レベルの補正量ΔＲＬ（Ｅ１）だけ増加するように、画像データ上の階調値Ｎを補正すればよい。第１の評価領域Ｅ１の赤成分に関する補正後の輝度レベルＣＲＬ（Ｅ１）は、下記の式（４）で与えられる。上記の数値例ではＲＬ（ＰＲ）＝５０、ΔＲＬ（Ｅ１）＝＋１０であるので、ＣＲＬ（Ｅ１）＝６０である
ＣＲＬ（Ｅ１）＝ＲＬ（ＰＲ）＋ΔＲＬ（Ｅ１）  ・・・（４）
【０１１９】
次に、入出力特性を参照して、基準輝度レベルＲＬ（ＰＲ）に対応する階調値Ｎ（ＲＬ（ＰＲ））、および補正後の輝度レベルＣＲＬ（Ｅ１）に対応する補正後の階調値Ｎ（ＣＲＬ（Ｅ１））を求める。図１４に示す例では、Ｎ（ＲＬ（ＰＲ））＝１７１、Ｎ（ＣＲＬ（Ｅ１））＝１７７である。
【０１２０】
第１の評価領域Ｅ１の赤成分に関する階調値の補正量ΔＮ（Ｅ１）は、下記の式（５）に示すように、補正前と補正後の階調値の差分で与えられる。
ΔＮ（Ｅ１）＝Ｎ（ＣＲＬ（Ｅ１））−Ｎ（ＲＬ（ＰＲ））  ・・・（５）
図１４に示す例では、ΔＮ（Ｅ１）＝＋６である。
【０１２１】
基準輝度レベルＲＬ（ＰＲ）＝５０に対応する階調値Ｎ（ＲＬ（ＰＲ））＝１７１を示すデータがプロジェクターに入力されたときには、第１の評価領域Ｅ１の被投射面９上の輝度レベルＲＬ（Ｅ１）は４０になる。一方、補正後の階調値Ｎ（ＣＲＬ（Ｅ１））＝１７７をプロジェクターに入力すれば、被投射面９上の輝度レベルは約１０増加して約５０になり、基準輝度レベルＲＬ（ＰＲ）にほぼ等しくなる。このように階調補正処理部３４は、階調補正処理前の画像データのうちで第１の評価領域Ｅ１に相当する画素の階調値をΔＮ（Ｅ１）だけ増すように画像データを補正すればよい。
【０１２２】
本実施形態では、階調補正情報算出部３５が評価領域の位置に応じた階調値の補正量ΔＮを階調補正情報として算出する。実際には、階調測定用の画像を撮像した撮像画像の中の有効投射領域を複数の分割領域に分割し、各分割領域に相当する被投射面９上の領域を評価領域としている。各分割領域は、撮像画像の１画素、または２以上の連続した画素により構成される。階調補正情報算出部３５は、各評価領域に対する階調値の補正量ΔＮを、評価領域を構成する画素の画像データ上での位置と関連付けて、テーブル形式で記憶部３６に格納する。階調補正情報算出部３５は、各評価領域の緑成分や青成分に対する補正量についても同様にして算出し、テーブル形式で記憶部３６に格納する。
【０１２３】
なお、階調補正処理部３４が補正前の画像データの階調値を増幅する乗算回路で構成されている場合には、乗算回路の乗算係数が補正量として設定される。また、各色用の画像形成素子に対応した入出力特性データを利用するのではなく、モノクロの階調画像データに対する光の出力特性、すなわち、３つの画像形成素子によって合成された光の入出力特性を示す１つの入出力特性データを、各色において共通に利用するようにしてもよい。
【０１２４】
図１５（ａ）〜図１５（ｃ）、図１６（ａ）〜図１６（ｃ）は、コンテンツ画像Ｐを示す画像データを補正するときの処理内容を処理順に示す説明図である。
【０１２５】
コンテンツ画像Ｐを示す画像データを補正するときに、階調補正処理部３４は信号源８等から画像データを受け取る。階調補正処理部３４は、記憶部３６から階調補正情報を読み出し、階調補正情報を用いて画像データに階調補正処理を施す（ステップＳ４）。階調補正処理後の画像データが示す画像Ｐ９０（図１５（ａ）参照）は、投射条件等により生じる階調ムラを被投射面９上で相殺するような階調ムラを含むことになる。
【０１２６】
次いで、データ生成部３１は、例えばオーバーラップ量を示す情報および各投射領域の配置を示す情報を参照して、図１５（ｂ）に示すように画像Ｐ９０に重複領域Ｐ５を設定する。そして、データ生成部３１は、図１５（ｃ）に示す部分画像Ｐ９１ａ〜Ｐ９１ｄに相当する各部分画像データを生成する（ステップＳ５）。
【０１２７】
次いで、第１〜第４のエッジブレンド処理部３２ａ〜３２ｄは、部分画像Ｐ９１ａ〜Ｐ９１ｄを示す部分画像データにエッジブレンド処理を施す（ステップＳ６）。図１６（ａ）に示すように、エッジブレンド処理後の部分画像データが示す部分画像Ｐ９２ａ〜Ｐ９２ｄは、重複領域Ｐ５の階調値が画像Ｐ９０よりも低くなる。
【０１２８】
次いで、第１〜第４の形状補正処理部３７ａ〜３７ｄは、記憶部３９から形状補正情報を読み出し、エッジブレンド処理後の部分画像データに形状補正情報を用いて形状補正処理を施す（ステップＳ７）。図１６（ｂ）に示すように、形状補正処理後の部分画像データが示す部分画像Ｐ９３ａ〜Ｐ９３ｄは、投射方向や被投射面９の歪み等のより発生する画像歪、および複数の部分画像の相対位置のずれを被投射面９上で相殺するような画像歪を含むことになる。
【０１２９】
形状補正処理後の各部分画像データは、各部分画像を担当するプロジェクターへ入力される。各プロジェクターは、入力された部分画像データに基づいて、被投射面９上に部分画像を投射する。図１６（ｃ）に示すように、被投射面９上での部分画像Ｐ９４ａ〜Ｐ９４ｄは、各部分画像での画像歪や階調ムラが補正された状態で表示される。また、部分画像Ｐ９４ａ〜Ｐ９４ｄは、複数のプロジェクターの相対位置のずれや定格出力の違いによる、相対位置のずれや輝度レベルの違いが補正された状態で表示される。このようにして、コンテンツ画像Ｐは、部分画像Ｐ９４ａ〜Ｐ９４ｄで一体感が高められた画像として表示される。
【０１３０】
以上のような本実施形態の画像処理装置にあっては、被投射面９上の複数の部分画像を１つの画像として階調補正情報を算出するので、複数の部分画像での輝度レベルの違いを加味した階調補正情報が効率的に得られる。
【０１３１】
コンテンツ画像Ｐの表示に用いるプロジェクターの数に関らず、階調測定用の画像の投射や輝度レベルの測定に要する手間や時間が、１台のプロジェクターを用いる場合と同程度になり、階調補正情報が効率的に得られる。
【０１３２】
重複領域Ｐ５に対する階調補正情報を複数の部分画像でまとめて算出するので、階調補正情報の算出に要する演算の負荷を減らすことができる。例えば、互いに隣り合う一対の部分画像について、部分画像ごとに階調補正情報を算出すると重複領域に対する階調補正情報の算出の演算を２回行うことになるのに対して、本実施形態では１回の演算で重複領域に対する階調補正情報が得られる。
【０１３３】
有効投射領域Ａの内側の領域について階調補正情報を算出するので、コンテンツ画像Ｐの表示に用いない領域に対する階調補正情報の算出を省くことができ、階調補正情報の算出に要する演算の負荷を減らすことができる。
【０１３４】
形状補正処理後の部分画像データに基づいて投射された階調測定用の画像を用いて階調補正情報を算出するので、階調値を補正する対象となる領域の被投射面９上での形状と、画像データ上に規定される形状とを略一致させることができる。すなわち、形状補正処理前後で被投射面９上の表示画素の位置が実質的に移動する影響を加味して階調補正情報を算出するので、階調ムラを高精度に補正することが可能になる。
【０１３５】
エッジブレンド処理後の部分画像データに基づいて投射された階調測定用の画像を用いて階調補正情報を算出するので、被投射面９上で重畳された重複領域Ｐ５の輝度レベルが、階調測定用の画像データに規定された階調値に相当する輝度レベルと同程度になる。したがって、被投射面９上を撮像した撮像画像に写っている階調測定用の画像における各位置の輝度レベルの分布する数値範囲が狭くなり、各位置での輝度レベルを細かい刻み幅で評価可能になるので階調ムラを高精度に検出することができる。
【０１３６】
本実施形態の画像表示システムにあっては、形状補正情報に基づいて部分画像データに形状補正処理を施すので、部分画像の歪や相対位置のずれを減らすことができ、コンテンツ画像Ｐの表示品質を高めることが可能になる。また、複数の部分画像を１つの画像としたときの画像の全体を加味した階調補正情報に基づいて画像データに階調補正処理を施すので、コンテンツ画像Ｐにおける階調ムラを高精度かつ効率的に補正することが可能になる。これにより、コンテンツ画像Ｐの表示品質を高めることが可能になり、また利便性の高い画像表示システムを実現することが可能になる。
【０１３７】
本実施形態の画像処理方法にあっては、部分画像の歪や相対位置のずれを減らすように部分画像データを補正することが可能になり、またコンテンツ画像Ｐの階調ムラを高精度かつ効率的に補正することが可能になる。
【符号の説明】
【０１３８】
１・・・画像表示システム、２・・・プロジェクター、３・・・画像処理装置、
４・・・測定装置、８・・・信号源、９・・・被投射面、
２１・・・第１のプロジェクター、２２・・・第２のプロジェクター、
２３・・・第３のプロジェクター、２４・・・第４のプロジェクター、
３０・・・階調補正部、３１・・・データ生成部、
３２ａ・・・第１のエッジブレンド処理部、３２ｂ・・・第２のエッジブレンド処理部、
３２ｃ・・・第３のエッジブレンド処理部、３２ｄ・・・第４のエッジブレンド処理部、
３３・・・形状補正部、３４・・・階調補正処理部、３５・・・階調補正情報算出部、
３６・・・記憶部、３７ａ・・・第１の形状補正処理部、
３７ｂ・・・第２の形状補正処理部、３７ｃ・・・第３の形状補正処理部、
３７ｄ・・・第４の形状補正処理部、３８・・・形状補正情報算出部、
３９・・・記憶部、Ｅ１〜Ｅ４・・・評価領域、Ｇ１・・・ガイド、
Ｇ２・・・特徴図形、
Ｓ１〜Ｓ７、Ｓ１１〜Ｓ１３、Ｓ２１〜Ｓ２４、Ｓ３１〜Ｓ３５・・・ステップ、
Ａ・・・有効投射領域、Ａ０・・・全体投射領域、Ａ１・・・第１投射領域、
Ａ２・・・第２投射領域、Ａ３・・・第３投射領域、Ａ４・・・第４投射領域、
Ａ５・・・重畳領域、Ｂ・・・線分、Ｄ・・・形状測定用の画像、
Ｄ１〜Ｄ４・・・特徴点、Ｄ５・・・領域、Ｐ・・・コンテンツ画像、
Ｐ１・・・第１の部分画像、Ｐ２・・・第２の部分画像、Ｐ３・・・第３の部分画像、
Ｐ４・・・第４の部分画像、Ｐ５・・・重複領域、Ｐ６・・・ガイド画像、
Ｐ７・・・形状測定用の画像、Ｐ８・・・階調測定用の画像、
Ｐ８１〜Ｐ８４・・・階調測定用の部分画像、Ｔ・・・形状測定用の撮像画像、
Ｔ１〜Ｔ４・・・特徴点
【図１】
2011211276.tif 000003
【図２】
2011211276.tif 000004
【図３】
2011211276.tif 000005
【図４】
2011211276.tif 000006
【図５】
2011211276.tif 000007
【図６】
2011211276.tif 000008
【図７】
2011211276.tif 000009
【図８】
2011211276.tif 000010
【図９】
2011211276.tif 000011
【図１０】
2011211276.tif 000012
【図１１】
2011211276.tif 000013
【図１２】
2011211276.tif 000014
【図１３】
2011211276.tif 000015
【図１４】
2011211276.tif 000016
【図１５】
2011211276.tif 000017
【図１６】
2011211276.tif 000018