(57)【要約】【課題】表示領域の環境光分布を補正するための演算処理負荷を増加することなく、且つテストパターンをユーザに視認されないように表示できる画像処理技術を実現する。【解決手段】画像処理装置は、入力画像または補正画像に対して補正値を用いて補正画像を生成する補正手段と、前記入力画像または前記補正画像に環境光分布を測定するための第１のパターンを組み込んだ第１の画像と、前記第１の画像とは異なる第２の画像を生成する画像処理手段と、前記第１の画像と前記第２の画像が同一フレーム内で切り替えながら表示された領域を撮像した画像に基づいて環境光分布を取得する取得手段と、前記取得手段により得られた環境光分布に基づいて前記補正値を算出する補正値算出手段と、を有する。【選択図】図２
2018092007.tif 000002
【特許請求の範囲】
【請求項１】
入力画像または補正画像に対して補正値を用いて補正画像を生成する補正手段と、
前記入力画像または前記補正画像に環境光分布を測定するための第１のパターンを組み込んだ第１の画像と、前記第１の画像とは異なる第２の画像を生成する画像処理手段と、
前記第１の画像と前記第２の画像が同一フレーム内で切り替えながら表示された領域を撮像した画像に基づいて環境光分布を取得する取得手段と、
前記取得手段により得られた環境光分布に基づいて前記補正値を算出する補正値算出手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記第１の画像と前記第２の画像を同一フレーム内で切り替えて表示部に出力する出力切替手段と、
前記第１の画像と前記第２の画像が表示された領域を撮像する撮像手段と、をさらに有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理手段は、前記入力画像または前記補正画像に模様色分布を測定するための第２のパターンを組み込んだ第３の画像と、前記第３の画像とは異なる第４の画像を生成し、
前記取得手段は、前記第３の画像と前記第４の画像が表示された領域を撮像した画像に基づいて模様色分布を取得し、
前記補正値算出手段は、前記取得手段により得られた環境光分布および模様色分布の少なくともいずれかに基づいて前記補正値を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第１の画像から前記第４の画像を同一フレーム内で切り替えて表示部に表示する表示手段と、
前記第１の画像から前記第４の画像が表示された領域を撮像する撮像手段と、をさらに有することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第１の画像と前記第２の画像とを同一フレーム内で切り替えて表示した際のフレーム時間内における積分画像は、前記入力画像または前記補正画像のフレーム時間内の積分画像と等しく、
前記第３の画像と前記第４の画像とを同一フレーム内で切り替えて表示した際のフレーム時間内における積分画像は、前記入力画像または前記補正画像のフレーム時間内の積分画像と等しいことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記画像処理手段は、
前記入力画像または前記補正画像に前記第１のパターンに基づく増加処理を行って前記第１の画像を生成する第１の増加処理手段と、
前記入力画像または前記補正画像に前記第１のパターンに基づく減少処理を行って前記第２の画像を生成する第１の減少処理手段と、を有し、
前記第１の画像と前記第２の画像は、前記入力画像または補正画像に対して所定のゲインをかけることによって生成された画像と等しいことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記画像処理手段は、
前記入力画像または前記補正画像に前記第１のパターンに基づく増加処理を行って前記第１の画像を生成する第１の増加処理手段と、
前記入力画像または前記補正画像に前記第１のパターンに基づく減少処理を行って前記第２の画像を生成する第１の減少処理手段と、
前記入力画像または前記補正画像に前記第２のパターンに基づく増加処理を行って前記第３の画像を生成する第２の増加処理手段と、
前記入力画像または前記補正画像に前記第２のパターンに基づく減少処理を行って前記第４の画像を生成する第２の減少処理手段と、を有し、
前記第１の画像と前記第２の画像は、前記入力画像または前記補正画像に対して面一様のオフセットを用いて生成される画像と等しく、
前記第３の画像と前記第４の画像は、前記入力画像または前記補正画像に対して所定のゲインをかけることによって生成された画像と等しいことを特徴とする請求項３から５のいずれか１項に記載の画像処理装置。
【請求項８】
前記増加処理手段または前記減少処理手段によって階調が飽和した領域が検出された場合、前記画像処理手段は、前記飽和した領域には前記入力画像または補正画像に前記第１および第２のパターンを増加する処理または減少する処理を行わず、
前記補正値算出手段は、前記飽和した領域の周辺領域に前記第１および第２のパターンを組み込んで得られた環境光分布に基づく補正値を補間することで前記飽和した領域の補正値を算出することを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】
前記増加処理手段または前記減少処理手段によって階調が飽和した領域が検出された場合、前記画像処理手段は、前記飽和した領域には前記入力画像または補正画像に前記第１および第２のパターンを増加する処理または減少する処理を行わず、
前記補正手段は、前回の処理で算出された補正値を適用することを特徴とする請求項６または７に記載の画像処理装置。
【請求項１０】
前記補正値算出手段は、前記入力画像または前記補正画像のフレームごとに補正値の算出を行うことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記補正値算出手段は、所定の時間ごとに補正値の算出を行うことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１２】
前記補正値算出手段は、前回の処理で算出した環境光分布または模様色分布との差分があった場合に、前記補正値の算出を行うことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１３】
補正手段が、入力画像または補正画像に対して補正値を用いて補正画像を生成するステップと、
画像処理手段が、前記入力画像または前記補正画像に環境光分布を測定するための第１のパターンを組み込んだ第１の画像と、前記第１の画像とは異なる第２の画像を生成するステップと、
取得手段が、前記第１の画像と前記第２の画像が同一フレーム内で切り替えながら表示された領域を撮像した画像に基づいて環境光分布を取得するステップと、
補正値算出手段が、前記取得した環境光分布に基づいて前記補正値を算出するステップと、を有することを特徴とする画像処理方法。
【請求項１４】
請求項１３に記載された画像処理方法をコンピュータに実行させるためのプログラム。
【請求項１５】
請求項１３に記載された画像処理方法をコンピュータに実行させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影面上の環境光分布を補正する画像処理技術に関する。
【背景技術】
【０００２】
プロジェクションマッピングやサイネージなどにおいて、明るい環境下での投影装置の使用機会が増加しており、環境光が投影面に当たることによって環境光分布にむらが発生する。この場合、投影面輝度分布に応じたエリアごとのゲイン、オフセットをかけることによって投影面上の輝度または色が均一に見えるように補正する環境光補正を行う。
【０００３】
通常、投影装置でコンテンツを投影する場合、部屋の照明を落とし暗い環境で投影するが、講義室や会議室でプレゼンテーション資料を投影する場合、人の出入りが多いことや、ノートにメモが取れるように、部屋の照明をつけて投影するケースもある。さらに、近年ではプロジェクションマッピングやサイネージ市場の拡大により、屋外での投影装置の使用機会が増えている。屋外の場合、太陽光や外灯などの環境光に投影面が晒されるケースが多く、真っ暗な環境で投影することが難しくなっている。このように屋外、屋内を問わず明るい環境で投影するケースは十分に想定できる。
【０００４】
上記のような明るい環境で投影する場合において、環境光が投影面に当たることによって投影面の見えに影響を与える。図１４は環境光下での投影ケースであって、投影面１４０１に環境光１４０３が当たっている様子を示している。投影装置１４０４により画像を投影面１４０１に投影したときに投影面１４０１上に輝度分布１４０２が生じる。
【０００５】
この場合、例えば投影画像の色温度と、環境光１４０３の色温度の違いによって投影面の輝度分布１４０２が色付いて見えてしまうことがある。ｓＲＧＢやＤＣＩ規格の場合、色温度は６５００Ｋである。一方、電球では３０００Ｋなど色温度が低いものもある。また、最近では勉強に適していると７０００Ｋ以上の蛍光灯が存在している。これら様々な色温度の環境光によって投影面の輝度分布１４０２は、暗室での投影時と異なった色で見えてしまう。
【０００６】
また、環境光１４０３が不均一に投影面１４０１に当たることによって投影面の輝度分布１４０２の輝度むらが視認されてしまうことがある。投影面１４０１上の環境光強度の勾配が急峻である程、輝度むらは目立ち易くなる。しかしながら、勾配が緩やかでも投影画像が暗めの場合、輝度むらが気になりやすくなる。通常、環境光は投影面に対し、オフセットで影響を与える。環境光によるこれらの色や輝度むらは投影装置のゲインとオフセット機能で補正することができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】国際公開第２Ｏ０５／０５７９４１号公報
【特許文献２】特開２０１５−１３８０４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところが、特許文献１のように、投影面上の環境光分布を得るために全白画像などのテストパターンを投影すると、ユーザにちらつきとして視認されることがある。すなわち、特許文献１では、全白画像をテストパターンとして投影し、投影面上の環境光分布を検出しているが、再生周波数が低く暗い画像を投影中に、再度環境光分布を取得するために全白画像を投影してしまうと、ユーザにちらつきとして視認されてしまう可能性がある。プロジェクションマッピングやサイネージでは徐々に常設展示が増えてきており、常に誰かが投影面を見ている可能性が高いが、前述のようなちらつきが見えてしまう可能性が高いケースではテストパターンは極力投影しないことが望ましい。
【０００９】
また、特許文献２では、入力画像からシミュレーション画像を算出する必要があるが、投影装置において環境光補正以外の色補正や曲面補正などの変形処理を行っていると、入力画像からシミュレーション画像を求めるための演算処理が増加することになる。
【００１０】
本発明は、上記課題に鑑みてなされ、その目的は、表示領域の環境光分布を補正するための演算処理負荷を増加することなく、且つテストパターンをユーザに視認されないように表示できる画像処理技術を実現することである。
【課題を解決するための手段】
【００１１】
上記課題を解決し、目的を達成するために、本発明の画像処理装置は、入力画像または補正画像に対して補正値を用いて補正画像を生成する補正手段と、前記入力画像または前記補正画像に環境光分布を測定するための第１のパターンを組み込んだ第１の画像と、前記第１の画像とは異なる第２の画像を生成する画像処理手段と、前記第１の画像と前記第２の画像が同一フレーム内で切り替えながら表示された領域を撮像した画像に基づいて環境光分布を取得する取得手段と、前記取得手段により得られた環境光分布に基づいて前記補正値を算出する補正値算出手段と、を有する。
【発明の効果】
【００１２】
本発明によれば、表示領域の環境光分布を補正するための演算処理負荷を増加することなく、且つテストパターンをユーザに視認されないように表示することができる。
【図面の簡単な説明】
【００１３】
【図１】環境光補正方法の説明図。
【図２】実施形態１の装置構成を示すブロック図。
【図３】実施形態１の環境光補正処理を示すフローチャート。
【図４】実施形態１の撮像画像の収集処理を示すフローチャート。
【図５】実施形態１の液晶パネルの駆動タイミングチャート。
【図６】実施形態１の環境光分布検出方法の説明図。
【図７】環境光補正値生成方法の説明図。
【図８】模様色補正の概略図。
【図９】実施形態２の装置構成を示すブロック図。
【図１０】実施形態２の環境光補正処理を示すフローチャート。
【図１１】実施形態２の撮像画像の収集処理を示すフローチャート。
【図１２】実施形態２の環境光と模様色分布の検出方法の説明図。
【図１３】環境光と模様色補正値生成方法の説明図。
【図１４】環境光下での投影状態を示す図。
【発明を実施するための形態】
【００１４】
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。
【００１５】
以下、本発明の投影装置を、例えば、静止画や動画を投影する透過型または反射型プロジェクタに適用した実施形態について説明する。
【００１６】
［環境光補正方法］
まず、図１を参照して、本実施形態の背景となる環境光補正方法の概要について説明する。なお、図１は説明の便宜のため輝度情報のみを記載している。図１（ａ）は入力画像の暗部側補正処理の概略、図１（ｂ）は明部側補正処理の概略をそれぞれ示している。また、図１の上段は補正前であり、且つ環境光下において投影した際の様子を示している。図１の中段は環境光補正後であり、且つ暗室下にて投影した際の様子を示している。図１の下段は補正後であり、且つ環境光下にて投影した際の様子を示している。
【００１７】
まず、図１（ａ）を用いて入力画像の暗部側補正処理を説明する。図１（ａ）では、理解の容易化のために全黒画像を入力画像とし投影装置２００より投影している。
【００１８】
まず、図１（ａ）の上段のように環境光補正前であると、投影面１０１に対し、環境光１０３が照射されて投影面上に輝度むらが生じているものとする。この輝度むらの形状は一例であり、図示のように線形でなくてもよい。また、以下では投影面上の環境光による輝度むらを環境光分布と呼ぶ。通常、環境光補正では投影面輝度分布１０２（ａ）を撮像装置１００で撮像し、補正値を生成する。この際、撮像画像から投影面上の直線１０４（ａ）上の輝度分布を観測すると、輝度分布は図１（ａ）の上段のグラフのようになるものとする。この場合、入力画像は全黒画像なのでこの輝度分布はほぼ環境光分布に等しい。
【００１９】
次に、撮像装置１００により取得した環境光分布に基づき入力画像に環境光補正を行い、補正画像を作成し、その補正画像を環境光のない暗室で投影した結果を図１（ａ）の中段に示す。補正後暗室下投影面輝度分布１０５（ａ）に対する投影面上の直線１０６（ａ）の輝度分布を図１（ａ）の中段のグラフに実線で示す。破線は図１（ａ）上段の投影面上の直線１０４（ａ）の輝度分布である。この実線は破線と足し合わせると一定値となるように算出されている。詳細な算出方法は後述する。
【００２０】
補正画像を環境光下にて投影した結果を図１（ａ）の下段に示す。前述の通り、環境光分布と補正画像の投影光が足し合わされると一定値となるため、投影面上の環境光分布が目立ちにくくなり、補正後環境光下投影面輝度分布１０７（ａ）は均一となる。補正後投影面輝度分布１０７（ａ）に対する投影面上の直線１０８（ａ）の輝度分布は、図１（ａ）の下段のグラフのように一定になる。
【００２１】
一方、図１（ｂ）の入力画像の明部側補正は環境光分布を均一にするという観点では暗部側補正と考え方は同じである。図１（ｂ）では、理解の容易化のため全白画像を入力画像として投影装置２００より投影した場合を示している。
【００２２】
暗部側補正では環境光分布に対し、領域ごとに入力画像の輝度を上げることによって補正していたのに対して、明部側補正では輝度を下げることによって補正する。環境光補正前かつ環境光下では投影面輝度分布は１０２（ｂ）のようになり、投影面上の直線１０４（ｂ）の輝度分布は図１（ｂ）の上段記載のグラフのようになる。
【００２３】
投影面輝度分布１０２（ｂ）に対する、補正後暗室下投影面輝度分布１０５（ｂ）の投影面上の直線１０６（ｂ）の輝度分布を図１（ｂ）の中段に実線で示す。破線は補正前投影面輝度分布１０２（ｂ）に対する投影面上の直線１０４（ｂ）の輝度分布である。このように、入力画像の明部側補正では、環境光分布と足し合わせると一定値となるように入力画像の輝度を落として補正している。
【００２４】
補正画像を環境光下で投影した結果を図１（ｂ）の下段に示す。補正後環境光下投影面輝度分布１０７（ｂ）に対する投影面上の直線１０８（ｂ）の輝度分布は、図１（ｂ）の下段の実線に示す通り一定となる。
【００２５】
また、環境光補正をするためには、自身の投影光の輝度強度に対する環境光の輝度強度の比率を知っている必要があるため、通常全白画像を入力画像として投影する。通常、全白画像を投影時の投影面の撮像画像を用いて補正値を算出する。
【００２６】
この環境光補正はある環境光分布に対応して実施するものであり、投影装置の電源を入れ、入力画像を投影する前に生成する。
【００２７】
環境光分布に変化があった場合は、再度投影面上の環境光分布を取得し、補正値を生成し直す必要がある。
【００２８】
この環境光補正は、前述した通り、投影面輝度分布に含まれる環境光分布に応じて補正する。そのため、投影面１０１が動く場合や投影装置２００が動く場合など、環境光分布に変化があった場合、再度環境光分布を投影面上の撮像画像より取得する必要がある。また、環境光が太陽光の場合、時間経過によって投影面に当たる環境光の環境光強度、入射角度、色温度などが変化するため、定期的に投影面上の環境光分布を取得し、補正値を更新する必要がある。
【００２９】
［実施形態１］
以下、本発明に係る実施形態１として、リアルタイムに環境光分布を検出し補正する方法を説明する。
【００３０】
なお、本実施形態では、入力画像に投影面上の輝度や色を測定するためのテストパターンを組み込み、ユーザに視認されないように表示しつつ撮像装置１００で撮像して投影面の環境光分布をリアルタイムに検出し補正する処理を説明する。
【００３１】
＜装置構成＞まず、図２を参照して、本実施形態の投影装置の構成及び機能の概略について説明する。
【００３２】
図２（ａ）は、本実施形態の投影装置の構成を示すブロック図である。
【００３３】
本実施形態の投影装置２００は、投影面に表示するべき画像に応じて、光変調素子の光の透過率（光強度）を制御して、光変調子を透過した光源からの光をスクリーンに投影することで、画像をユーザに提示する。
【００３４】
制御部２１０は、ＣＰＵやメモリなどを備えるマイクロコンピュータを備え、投影装置２００の各動作ブロックを制御する。ＲＡＭ２１１は、ワークメモリとして一時的に制御プログラムやデータを格納する揮発性メモリである。ＲＯＭ２１２は、制御部２１０の処理手順を記述した制御プログラムを記憶する不揮発性メモリである。ＲＯＭ２１２には、制御プログラムや各動作ブロックの設定パラメータや工場調整値等のデータが格納されている。また、ＲＯＭ２１２には、撮像装置１００により撮像された画像のＲＧＢ値と投影装置２００のＲＧＢ出力階調の間での変換マトリクスや逆変換マトリクスも含まれる。
【００３５】
制御部２１０は、記録再生部２２２により記録媒体２２１から読み出された静止画ファイルや動画ファイルを一時的に記憶し、ＲＯＭ２１２に記憶されたプログラムを用いて、それぞれの静止画や動画を再生することもできる。また、制御部２１０は、画像入力部２２０より受信した静止画ファイルや動画ファイルを一時的に記憶し、ＲＯＭ２１２に記憶されたプログラムを用いて、それぞれの静止画や動画を再生することもできる。また、制御部２１０は、撮像部２９１により得られた静止画データや動画データ（以下、画像データと総称する）を一時的にＲＡＭ２１１に記憶し、ＲＯＭ２１２に記憶されたプログラムを用いて、静止画ファイルや動画ファイルを生成して記録媒体２２１に記録させることもできる。
【００３６】
操作部２１３は、例えばスイッチやダイヤル、図示しない表示部上に設けられたタッチパネルなどからなり、ユーザ操作を受け付け、制御部２１０に操作信号を送信する。また、操作部２１３は、例えば、図示しないリモコンから送信される操作信号を受信する信号受信部（赤外線受信部など）を有し、受信した操作信号を制御部２１０に出力するものであってもよい。制御部２１０は、操作部２１３から受けた操作信号に応じて、投影装置２００の各動作ブロックを制御する。
【００３７】
画像入力部２２０は、図示しない外部装置から画像データと共に、解像度やフレームレートなどの画像情報を受信する。画像入力部２２０は、例えば、コンポジット端子、Ｓ映像端子、Ｄ端子、コンポーネント端子、アナログＲＧＢ端子、ＤＶＩ−Ｉ端子、ＤＶＩ−Ｄ端子、ＨＤＭＩ（登録商標）端子、ＤｉｓｐｌａｙＰｏｒｔ（登録商標）などを含む。また、画像入力部２２０は、アナログの画像データを受信した場合には、受信したアナログ信号をデジタル信号に変換し、画像処理部２４０に送信する。ここで、外部装置は、画像データを出力できるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機など、どのようなものであってもよい。
【００３８】
記録再生部２２２は、記録媒体２２１から読み出した静止画ファイルや動画ファイルを再生したり、また、撮像部２９１により得られた画像データを制御部２１０から受信して記録媒体２２１に記録する。また、画像入力部２２０より受信した静止画ファイルや動画ファイルを記録媒体２２１に記録してもよい。記録媒体２２１は、静止画ファイルや動画ファイル、その他、本実施形態のプロジェクタに必要な制御データなどを記録することができる。記録媒体２２１は、磁気ディスク、光学式ディスク、半導体メモリなどのあらゆる方式の記録媒体であってよく、着脱可能な記録媒体であっても、内蔵型の記録媒体であってもよい。
【００３９】
光源制御部２３０は、光源２６０のオン／オフの制御や光量の制御をする。光源２６０は、光変調素子２７０Ｒ、Ｇ、Ｂに光を照射し、スクリーンに画像を投影するための光を出力する。また、光源２６０は、例えば、ハロゲンランプ、キセノンランプ、高圧水銀ランプ、ＬＥＤ光源、レーザーダイオード、またはレーザーダイオードの発光する光を蛍光体などにより励起させ光波長を変換するタイプの光源などであり、スクリーンに画像を投影するための光を出力する。
【００４０】
画像処理部２４０は、画像入力部２２０から受信した画像データにフレーム数、画素数、画像形状などの変更処理を施して、光変調素子制御部２５０に送信する。また、画像処理部２４０は、フレーム間引き処理、フレーム補間処理、解像度変換処理、幾何学補正処理（キーストン補正処理）といった機能を実行することが可能である。また、画像処理部２４０は、画像入力部２２０から受信した画像データ以外にも、記録再生部２２２によって再生された動画や静止画などの映像に対して前述の変更処理を施すこともできる。画像処理部２４０の詳細な構成については後述する。
【００４１】
光変調素子制御部２５０は、画像処理部２４０で処理された画像データに基づいて、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各光変調素子２７０Ｒ、２７０Ｇ、２７０Ｂに印加する電圧を制御して、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光強度を変調する。光変調素子２７０Ｒは、光源２６０から出力された光のうち、赤色の光の強度を調整する。光変調素子２７０Ｇは、光源２６０から出力された光のうち、緑色の光の強度を調整する。光変調素子２７０Ｂは、光源２６０から出力された光のうち、青色の光の強度を調整する。
【００４２】
光変調素子２７０Ｒ、２７０Ｇ、２７０Ｂは、画像処理部２４０から入力された画像データに対応する光強度となるように、光変調素子制御部２５０により制御される。そのため、色合成部２８０により合成された光は、投影光学系２８１によりスクリーンに投影されると、画像処理部２４０により入力された静止画データや動画データに対応する静止画や動画がスクリーン上に表示されることになる。
【００４３】
色合成部２８０は、例えばダイクロイックミラーやプリズムからなり、光変調素子２７０Ｒ、２７０Ｇ、２７０Ｂにより変調された赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光を合成する。そして、色合成部２８０により赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の成分を合成した光は、投影光学系２８１に送られる。
【００４４】
投影光学系２８１は、色合成部２８０から出力された合成光をスクリーンに投影する。投影光学系２８１は、複数のレンズ、レンズ駆動用のアクチュエータからなり、レンズをアクチュエータにより駆動することで、投影画像の拡大、縮小、シフト、焦点調整などを行うことができる。
【００４５】
撮像部２９１は、投影装置２００の投影面を撮像して画像データを生成するために設けられており、投影光学系２８１を介して投影された静止画や動画を撮影（スクリーン方向を撮影）する。制御部２１０は、撮像部２９１により得られた画像データを一時的にＲＡＭ２１１に記憶し、ＲＯＭ２１２に記憶されたプログラムを用いて、静止画ファイルや動画ファイルに変換して記録媒体２２１に記録する。撮像部２９１は、被写体の光学像を結像するズームレンズやフォーカスレンズを含むレンズ群、レンズ群を駆動するアクチュエータ、アクチュエータを制御するマイクロプロセッサを備える。また、撮像部２９１は、レンズ群により結像された被写体像を電気信号に変換するＣＣＤやＣＭＯＳ等の撮像素子、撮像素子により得られたアナログ信号をデジタル信号に変換するＡ／Ｄ変換部などを備える。
【００４６】
撮像画像処理部２９２は、撮像部２９１により得られた撮像画像から投影面輝度分布を示す投影領域を切り出した投影領域切り出し画像を生成する。また、撮像画像処理部２９２は、撮像画像または投影領域切り出し画像を保存できるメモリを有している。
【００４７】
なお、本実施形態の光源制御部２３０、画像処理部２４０、光変調素子制御部２５０は、各部と同様の処理を行うことのできる単数または複数のマイクロプロセッサや、論理回路で構成されるＡＳＩＣなどであってもよい。または、例えば、ＲＯＭ２１２に記憶されたプログラムによって、制御部２１０が各動作ブロックと同様の処理を実行してもよい。
【００４８】
図２（ｂ）は画像処理部２４０の詳細な構成を示している。
【００４９】
デガンマ処理部２４０１は、入力画像にデガンマ処理を施し、輝度リニア空間に変換する。
【００５０】
補正部２４０２は、輝度リニア空間に変換した入力画像に、算出した環境光補正値をかけ、入力画像を補正し、補正画像を生成する。
【００５１】
倍速変換部２４０３は、各入力フレーム画像データを画像メモリ２４０４に書き込み、１つの入力フレーム画像データに対して複数のサブフレーム画像データを生成する。倍速変換部２４０３は、画像メモリ２４０４への１回の書き込み時に対して２度読み出すように構成される。若しくは、画像メモリ２４０４への書き込み時の速度と倍の速度で読み出すように倍速変換部２４０３を構成してもよい。すなわち、倍速変換部２４０３は、入力フレーム画像の垂直同期信号の周波数が６０Ｈｚである場合に、１２０Ｈｚに相当する周期で２つのサブフレーム画像データを生成する。また、倍速変換部２４０３が生成する複数のサブフレーム画像データは、入力フレーム画像データと同じ画像データである。つまり、倍速変換部２４０３が生成する複数のサブフレーム画像データ間において、同じ画素位置の画素データ同士は同じ階調を有する。
【００５２】
なお、本実施形態では、倍速変換部２４０３は２つのサブフレーム画像を生成し、そのうち最初に生成されるものを１ｓｔサブフレーム（第１の画像）といい、次に生成されるものを２ｎｄサブフレーム（第２の画像）とする。また、倍速変換部２４０３は、各サブフレームを生成すると同時に、生成したサブフレームが１ｓｔサブフレームなのか、２ｎｄサブフレームなのかを識別するためのＦｉｅｌｄ信号を生成し、出力切替部２４０７へ出力する。
【００５３】
画像メモリ２４０４は、補正画像を一時的に書き込み保存する。
【００５４】
環境光分布測色パターン増加処理部（以下、増加処理部）２４０５は、投影環境での環境光分布を検出するためのテストパターン（以下、環境光分布測色パターン）を倍速変換部２４０３で生成された１ｓｔサブフレーム画像に対して増加する処理を行う。増加処理とは、乗算処理でもよいし、乗算と加算処理の組み合わせでもよい。これにより、１ｓｔサブフレーム画像は入力画像または補正画像と異なる画像となる。詳細は後述する。
【００５５】
環境光分布測色パターン減少処理部（以下、減少処理部）２４０６は、環境光分布測色パターンを倍速変換部２４０３で生成された２ｎｄサブフレーム画像に対して減少する処理を行う。減少処理とは、乗算処理でもよいし、乗算処理と減算処理の組み合わせでもよい。これにより、２ｎｄサブフレーム画像は入力画像または補正画像と異なる画像となる。詳細は後述する。
【００５６】
出力切替部２４０７は、倍速変換後のサブフレームの垂直同期信号に同期し、倍速変換部２４０３からのＦｉｅｌｄ信号に応じて増加処理部２４０５からの出力と、減少処理部２４０６からの出力を交互に切り替える。すなわち、出力切替部２４０７は、増加処理部２４０５から出力された１ｓｔサブフレームデータと、減少処理部２４０６から出力された２ｎｄサブフレームデータを交互に出力する。
【００５７】
ガンマ処理部２４０８は、出力切替部２４０７から出力された画像に表示装置のガンマをかけ、ガンマ空間に変換する。
【００５８】
環境光分布算出部２４０９は、撮像画像処理部２９２が生成した１ｓｔサブフレーム投影領域切り出し画像と２ｎｄサブフレーム投影領域切り出し画像から環境光分布を算出する。ここで環境光分布とは、環境光強度に応じて求まるパネル画素ごとのＲＧＢオフセット値のことである。
【００５９】
環境光補正値算出部２４１０は、算出した環境光分布から投影面上の輝度と色の見えを補正する環境光補正値を算出する。ここで環境光補正値とは、パネル画素ごとのＲＧＢのゲインとオフセットのマトリックスであり、入力画像にかけることによって、投影面上での輝度と色を補正することができる。
【００６０】
＜環境光補正処理＞次に、図３および図４を用いて、本実施形態の環境光補正処理について説明する。
【００６１】
以下では、投影装置２００によって投影領域の環境光分布の検出をユーザに視認されることなく行い、投影対象の輝度と色の見えを補正する処理（以下、リアルタイム環境光補正）を説明する。
【００６２】
図３は本施形態のリアルタイム環境光補正処理を示すフローチャートである。なお、図３の処理は、制御部２１０が、ＲＯＭ２１２に格納されたプログラムを、ＲＡＭ２１１のワークエリアに展開し、各動作ブロックを制御することにより実現される。また、図３の処理は、ユーザ操作により図示しないリモコンや操作部２１３を介してリアルタイム環境光補正処理を開始する指示を受け付けた場合に実行される。後述する図４、図１０、図１１でも同様である。
【００６３】
Ｓ３０１では、制御部２１０は画像入力部２２０や記録再生部２２２を制御し、画像が投影装置２００に入力されているか否かを判定する。判定の結果、画像が入力されている場合はＳ３０２に進み、画像が入力されていない場合は本処理を終了する。
【００６４】
Ｓ３０２では、制御部２１０は画像処理部２４０を制御し、画像処理部２４０はデガンマ処理部２４０１により入力画像を輝度リニア空間に変換する。デガンマ処理部２４０１は、入力画像にガンマ処理を施し、入力画像を輝度リニア空間に変換する。
【００６５】
Ｓ３０３では、制御部２１０は画像処理部２４０を制御し、画像処理部２４０は環境光補正値算出部２４１０により環境光補正値を算出したことがあるか否かを判定し、算出したことがある場合はＳ３０４に進み、算出したことがない場合はＳ３０５に進む。なお、ユーザ操作により環境光補正処理の開始指示を受けた直後は補正値が生成されていないためＳ３０５に進む。
【００６６】
Ｓ３０４では、制御部２１０は画像処理部２４０を制御し、画像処理部２４０は補正部２４０２により入力画像に環境光補正値を適応し、補正画像を生成する。環境光補正値は、前述したようにゲインとオフセットからなり、入力画像にかけることによって投影面上の輝度と色の見えを補正することができる。環境光補正値の算出方法の詳細は後述する。
【００６７】
Ｓ３０５では、制御部２１０は光変調素子制御部２５０を制御し、光変調素子制御部２５０は光変調素子２７０への画像描画速度を倍速変換する。なお、後述するように、本実施形態ではパネルの駆動を２倍速とするが、２倍以上のｎ倍（ｎは整数）でもよい。また、入力画像が静止画の場合は倍速駆動をする必要がない。
【００６８】
Ｓ３０６では、制御部２１０は画像処理部２４０を制御し、画像処理部２４０は倍速変換部２４０３により入力画像（補正値を算出していない場合）または補正画像（補正値を算出している場合）を画像メモリ２４０４に書き込む。この際、画像メモリ２４０４への書き込み時間に対して少なくとも２回読み出しできるようにする。そして、Ｆｉｅｌｄ信号を生成し、出力切替部２４０７に送出する。
【００６９】
Ｓ３０７では、制御部２１０は撮像部２９１および撮像画像処理部２９２を制御し、環境光補正値を算出するために必要な投影面撮像画像を収集する。
【００７０】
ここで、図４を用いて、本実施形態の投影面撮像画像の収集方法を説明する。図４は、本実施形態の投影面の撮像画像の収集方法を示すフローチャートである。
【００７１】
Ｓ４０１では、制御部２１０は画像処理部２４０を制御し、画像処理部２４０は増加処理部２４０５により１ｓｔサブフレーム画像に増加処理を行い、減少処理部２４０６により２ｎｄサブフレーム画像に減少処理を行う。ここでは、１ｓｔサブフレームの投影画像と２ｎｄサブフレームの投影画像の時間積分の見えが補正後投影画像と同じになるように設定する。増加処理部２４０５は、環境光分布測色パターンをかけて１ｓｔサブフレーム側の入力画像または補正画像に増加処理を行う。さらに、減少処理部２４０６は、環境光分布測色パターンをかけて２ｎｄサブフレーム側の入力画像または補正画像に減少処理を行う。
【００７２】
ここで、本実施形態における環境光分布測色パターンについて説明する。環境光分布測色パターンは入力画像または補正画像に対し、ゲインαをかけることで生成することができる。ゲインαは０＜α＜１で定義される。以下、α＝０．１として説明する。この場合、１ｓｔサブフレームと２ｎｄサブフレーム投影時の投影面撮像画像を比較し、違いが分かる程度にゲインαを設定する必要がある。
【００７３】
次に、本実施形態の増加処理と減少処理について説明する。本実施形態では、増加処理は乗算処理または乗算と加算処理とし、減少処理は乗算処理または乗算処理と減算処理とする。入力画像または補正画像のある画素の輝度をＸ、増加処理後の輝度をＹ１、減少処理後の輝度をＹ２とすると、以下の式２のように記述できる。
増加処理が［乗算処理と加算処理］の場合：Ｙ１＝１．０＊Ｘ＋α＊Ｘ
増加処理が［乗算処理のみ］の場合：      Ｙ１＝（１．０＋α）＊Ｘ
減少処理が［乗算処理と減算処理］の場合：Ｙ２＝１．０＊Ｘ−α＊Ｘ
減少処理が［乗算処理のみ］の場合：      Ｙ２＝（１．０−α）＊Ｘ
・・・（２）
輝度ゲイン値は、補正画像にかけ、撮像部２９１で投影面を撮像したときに、第１および第２環境光分布測色パターン乗算時にて異なる画像であると認識できるレベルのゲイン値とする。
【００７４】
このようにゲインを設定することで、１ｓｔサブフレームと２ｎｄサブフレームを切り替えて投影した場合に時間積分によって、Ｙ１＋Ｙ２＝Ｘが成り立つ。すなわち、ユーザからは補正後の投影面輝度分布が常に見えるだけあり、テストパターンが組み込まれていることに気付かれにくくなる。
【００７５】
本実施形態では、上記式２を用いて出力画像を生成したが、必ずしもこの方法に限定するものではない。１ｓｔサブフレーム画像と２ｎｄサブフレーム画像とを、同一フレーム内で切り替えて表示した際のフレーム時間内積分画像が、入力画像または補正画像の１フレーム時間内積分画像と等しければよい。ただし、１ｓｔサブフレーム画像と２ｎｄサブフレーム画像の差分が入力画像または補正画像の画像情報を引き続き担持していることが必要である。
【００７６】
Ｓ４０２では、制御部２１０は画像処理部２４０を制御し、画像処理部２４０は出力切替部２４０７によりＦｉｅｌｄ信号に応じて出力画像を切り替える。Ｆｉｅｌｄ信号が１ｓｔサブフレームを指示していた場合は増加処理部２４０５が生成した画像を出力する。Ｆｉｅｌｄ信号が２ｎｄサブフレームを指示していた場合は減少処理部２４０６の生成した画像を出力するように切り替える。
【００７７】
Ｓ４０３では、制御部２１０は画像処理部２４０を制御し、画像処理部２４０はガンマ処理部２４０８により入力画像にガンマ処理を施し、ガンマ空間に変換する。
【００７８】
Ｓ４０４では、制御部２１０は光変調素子制御部２５０を制御し、ガンマ処理した出力画像を光変調素子２７０に描画し投影する。
【００７９】
Ｓ４０５では、制御部２１０は撮像部２９１を制御し、投影面上の投影面輝度分布を撮像する。撮像した画像は撮像画像処理部２９２が保持するメモリに一時的に格納される。
【００８０】
Ｓ４０６では、制御部２１０は撮像画像処理部２９２を制御し、環境光補正値を算出するために必要な投影面撮像画像がすべて取得されているか否かを判定する。同じフレームの１ｓｔサブフレームと２ｎｄサブフレーム画像を投影したときの撮像画像が収集されている場合はＳ４０７に進む。１ｓｔサブフレーム投影時撮像画像しかない場合はＳ４０２に戻り、出力画像を２ｎｄサブフレームに切り替えて投影し投影面を撮像する。
【００８１】
ここで、環境光分布の取得過程を視認されないようにするための投影と撮像のタイミングを説明する。
【００８２】
Ｓ４０２からＳ４０６にて、１ｓｔおよび２ｎｄサブフレーム画像を投影し、投影面を撮像することによって撮像画像を取得した。この過程をユーザに視認されないように、且つ、正しく撮像画像を取得できるように、パネルの駆動タイミングと撮像のタイミングを適度に制御する必要がある。
【００８３】
図５はパネル駆動のタイミングチャートであって、１ｓｔサブフレーム画像の投影と撮像、２ｎｄサブフレーム画像の投影と撮像のタイミングを示している。図５の横軸は時間を表す。
【００８４】
まず、時間Ｔ０にて制御部２１０は、１ｓｔサブフレームでのＦｉｅｌｄ信号を生成する。
【００８５】
これを受け、時間Ｔ１からＴ２の間で光変調素子制御部２５０は光変調素子２７０に増加処理部２４０５が生成した画像を書き込む。光変調素子制御部２５０は書き込みが完了したら、制御部２１０に完了を通知する。
【００８６】
次に、完了通知を受けた制御部２１０は、時間Ｔ３にて撮像同期信号を生成する。
【００８７】
これを受け、時間Ｔ４〜Ｔ５間で撮像部２９１は投影領域を撮像する。
【００８８】
２ｎｄサブフレームも同様にして、時間Ｔ６〜Ｔ１１間で減少処理部２４０６が生成した画像を投影した時の投影領域を撮像する。
【００８９】
このようにパネルを駆動することで、１ｓｔと２ｎｄサブフレームの投影画像を各々撮像することができる。また、このように環境光分布測色パターンで入力画像に増加処理と減少処理を行い表示を切り替えることによってユーザには投影対象の見えが時間積分され、パターンが視認されなくなる。
【００９０】
図４に戻り、Ｓ４０７では、制御部２１０は撮像画像処理部２９２を制御し、１ｓｔサブフレーム投影時の撮像画像と、２ｎｄサブフレーム投影時撮像画像から投影領域を切り出す。撮像部２９１によって投影面輝度分布を撮像すると、通常投影領域以外投影面上の周りの情報も撮像される。そのため、撮像画像から投影領域内の情報、すなわち投影面輝度分布のみを切り出す必要がある。例えば、１ｓｔサブフレーム投影時撮像画像と２ｎｄサブフレーム投影時撮像画像の差分画像から投影領域を検出してもよい。
【００９１】
上述した投影面の撮像画像収集処理を行った後、処理は図３のＳ３０８に進む。
【００９２】
Ｓ３０８では、制御部２１０は、１ｓｔサブフレームと２ｎｄサブフレームの投影領域切り出し画像から、環境光分布を算出する
次に、制御部２１０は画像処理部２４０を制御し、画像処理部２４０は環境光分布算出部２４０９により１ｓｔと２ｎｄサブフレーム投影領域切り出し画像から環境光分布を算出する。図６は１ｓｔと２ｎｄサブフレーム投影領域切り出し画像からリアルタイムに環境光分布を検出する方法を示す概略図である。図６の上段が１ｓｔサブフレーム、中段が２ｎｄサブフレームを示している。
【００９３】
環境光分布を算出するためには投影画像を求める必要がある。前述の通り、１ｓｔサブフレーム側では、入力画像または補正画像（未知）に環境光分布測色パターン（既知）を増加処理し、これを投影する。この入力画像または補正画像に環境光分布（未知）が加算される。これが投影面輝度分布となる。これを撮像部２９１で撮像した画像から取得した画像が、１ｓｔサブフレーム投影領域切り出し画像（既知）となる。このような関係性から図６の上段のような方程式が成り立つ。
【００９４】
２ｎｄサブフレームに関しても同様であり、図６の中段のような方程式となる。
【００９５】
ここでは、環境光分布測色パターン増加・減少処理での説明と同様にゲインα＝０．１として説明する
１ｓｔサブフレームで立てた方程式と、２ｎｄサブフレームで立てた方程式を連立して差分を求めると、図６の下段の式のようになる。図６の下段の式に対し、差分画像は既知であるため、入力画像または補正画像（未知）に対して解けば、入力画像または補正画像（未知）が求まる。
【００９６】
次に、算出した入力画像または補正画像を用いて環境光分布を求める。
【００９７】
図６の上段の式と、１ｓｔサブフレーム側の入力画像または補正画像が前述の計算結果より既知となったため、環境光分布（未知）について解けば求まる。このようにして、環境光分布を求めることができる。
【００９８】
以上の手順により、ユーザに視認されることなく環境光分布を取得することができる。
【００９９】
その後、Ｓ３０９において、上述のように算出した環境光分布に基づいて投影装置２００に設定する環境光補正値が算出される。すなわち、制御部２１０は画像処理部２４０を制御し、画像処理部２４０は環境光補正値算出部２４１０により、Ｓ３０８で取得した環境光分布に基づいて入力画像にかける環境光補正値を算出する。
【０１００】
ここでは、一例としてゲインとオフセットで環境光補正値を算出する方法を説明する。
【０１０１】
図７はＲＧＢゲイン／オフセットによる環境光補正値の算出方法の概略図を示している。なお、以下の算出方法は一例であり、これに限定するものではない。
【０１０２】
輝度や色むらが均一になる時の補正後の投影面のカメラ取得ＲＧＢ値を補正目標として算出する。そして、投影面輝度分布が補正目標となるように投影装置に設定するエリアごとの補正ゲイン、オフセット値を算出する。
【０１０３】
図７（ａ）、（ｂ）はいずれも、撮像装置１００内のグラフは横軸が投影装置の入力階調（輝度リニア空間）であり、縦軸がその時のカメラ取得階調である。
【０１０４】
図７（ａ）では暗室であり、且つ投影面１０１が無彩色スクリーンである投影環境において、投影装置２００から全黒画像から全白画像へと、輝度を徐々に上げた画像を入力画像として投影し、各々の画像を撮像装置１００で撮像した際の取得値を表している。なお、前提として、投影装置２００の輝度リニア空間における階調値に対し、カメラ取得階調はＲＧＢ共に同値で線形になるようキャリブレーションされているものとする。この場合、暗室、無彩色スクリーンへ全白画像を投影したときのカメラ取得ＲＧＢ値ＣａｍＲＧＢは、例えば補正の基準値としてＲＯＭ２１２に記録しておき、環境光補正値の算出に用いられるようにしておく。
【０１０５】
図７（ｂ）では、環境光１０３が投影面１０１に照射される場合における投影装置２００から全黒画像から全白画像へと、輝度を徐々に上げた画像を入力画像として投影したときの、撮像装置１００でのそれぞれの画像の取得階調値を例示している。図７（ｂ）に示すように、投影光は、先に求めた環境光分布ＣａｍＯｆｆｓｅｔＲＧＢの影響を受けて、撮像装置１００で取得するＲＧＢ階調のバランスは崩れる。この場合、ユーザの眼に投影面１０１上の投影光がＷに見えるように補正するにはカメラ取得階調のＲＧＢバランスをキャリブレーション時と同様に１：１：１になるように補正すればよい。よって、補正後の目標カメラ取得階調ＲＧＢバランスは、図７（ｂ）のグラフの太線となる。補正後の目標カメラ取得ＲＧＢバランスの太線は、暗部側は補正前カメラ取得ＲＧＢ値ＣａｍＲ’Ｇ’Ｂ’の中での最大値、明部側はＣａｍＲ’Ｇ’Ｂ’の中での最小値を取り、間を線形補間することで得られる。
【０１０６】
その後、前述のように環境光分布ＣａｍＯｆｆｓｅｔＲＧＢを補正後の目標カメラ取得ＲＧＢから引き、投影装置の出力階調に変換することで、環境光補正時に投影装置に設定すべきＲＧＢゲインとオフセット値を得ることができる。なお、カメラ取得ＲＧＢから投影装置の出力階調に変換するにはＲＯＭ２１２に記載の変換マトリクスを用いれよい。
【０１０７】
以上のように、本実施形態によれば、ユーザに環境光分布の取得を視認されることなく、補正値を算出し補正することができる。
【０１０８】
また、本実施形態においては、環境光検出用のゲインをかけたとき飽和してかけられなかった場合はゲインをかけないで、周りの領域から、かけられなかった領域の環境光強度を補間して求める。
【０１０９】
また、本実施形態において、増加処理部２４０５または減少処理部２４０６にて環境光分布測色パターンを入力画像または補正画像に埋め込んでいた。この場合、Ｓ４０１にて入力画像または補正画像にパターンを増加処理または減少処理と階調が飽和してしまい、パターンをかけられず、その領域の環境光強度、つまり補正値が求まらないケースがある。このようにパターンをかけられなかった領域は、飽和した領域の周辺領域にあるパターンをかけて得られた環境光強度を補間することで環境光強度を求め、補正値を求めればよい。
【０１１０】
また、本実施形態において、環境光検出用のゲインをかけるときに飽和してかけられなかった場合はゲインをかけないで、前回のフレームで取得した補正値を適応して補間するか、補間せずに前回のフレームで求めた補正値をそのまま引用してもよい。また、本実施形態においては、一定時間経過後に再度環境光分布を取得する。
【０１１１】
また、前述の手法ではフレームごとに、環境光分布測色パターンを補正画像に対し増加処理または減少処理を施し、その投影面輝度分布の撮像画像から環境光分布を取得していたが、フレームごとでなく所定の時間が経過した後でもよい。投影装置２００はタイマー機能を有し、所定の時間が経過する度に投影面を撮像し環境光補正を行ってもよい。このようにすることで、演算処理装置（ＣＰＵ）の処理能力により撮像画像から補正値を求める工程がフレームごとの処理で間に合わなくても一定時間ごとに補正し、対処することができる。
【０１１２】
また、本実施形態においては、前回取得した環境光分布と差分があった場合にのみ補正値を算出する。また、フレームごとに環境光分布を算出すると計算時間が増えてしまうため、前に取得した環境光分布を一時的に保存し、Ｓ３０９にて現在の環境光分布と比較し、変化のあった場合にのみ環境光補正値を算出してもよい。
【０１１３】
［実施形態２］次に、実施形態２として、投影面上の環境光分布と模様色分布をリアルタイムに検出し補正する処理を説明する。
【０１１４】
実施形態１では、リアルタイムな環境光の変化に追従した環境光分布を取得し、取得した環境光分布を用いた補正値の算出方法を説明した。実施形態２では、環境光分布だけでなく、投影面上の模様色の分布をリアルタイムに検出して補正するものである。
【０１１５】
以下、本実施形態の模様色補正のアルゴリズムの概略を説明する。
【０１１６】
まず、図８を用いて模様色のある投影対象に投影した場合、投影面上の見えにどのような影響を与えるのかを説明する。
【０１１７】
図８（ａ）は模様色補正なしの場合の概略図を示す。図８（ａ）に示すように模様色のある投影面８０１に投影装置９００から全白画像を入力画像として投影すると、投影面８０１上の模様色によって反射光のＲＧＢバランスが崩れ、その結果、投影面上の模様色が見えてしまう。図８（ａ）に示すように、撮像装置９００の撮像画像は投影した全白画像ではなく、投影面上の模様色がそのまま取れてしまう。このように、投影面上の模様色は投影面上の輝度分布に影響を与える。入力画像を投影した時に、投影面上の模様色の影響が投影面上の輝度分布に対し気にならないように補正することを模様色補正と呼ぶ。
【０１１８】
図８（ｂ）は模様色補正ありの場合の概略図を示す。
【０１１９】
従来手法では、全白画像を投影時、投影面撮像画像を用いて、投影面上の模様色分布（ＲＧＢ反射率のバランス：ＲＧＢゲイン）を求める。算出した模様色分布より、撮像装置１００の取得ＲＧＢバランスが、な彩色スクリーンに投影し撮像した時と同値になるような投影装置９００に設定する模様色補正値（ＲＧＢ各色のゲイン）を求める。投影面上の色が単色でなく、模様色のように面一様でない場合は、エリアごとに補正ゲイン値を変える必要があり、模様色補正値は２Ｄテーブルで保持する。図８（ｂ）のように、全白画像を入力画像とする時、入力画像に投影面８０１の模様色に応じて生成した模様色補正値ルをかけることによって、投影面輝度分布は単一グレーになり、模様色は見えなくなる。
【０１２０】
以上の方法で、エリアごとのＲＧＢゲインにより模様色補正を行うことができる。
【０１２１】
また、模様色と環境光の双方が混在する場合であっても、実施形態１と同様にエリアごとのゲインとオフセットで補正することができる。補正値の算出方法など詳細は後述する。
【０１２２】
次に、実施形態２の装置構成を説明する。図９（ａ）は本実施形態の投影装置９００のブロック図、図９（ｂ）は画像処理部９４０のブロック図を示している。本実施形態は、上述した実施形態１に対して画像処理部９４０の内部構成が異なる。
【０１２３】
以下、図９（ｂ）の画像処理部９４０の内部構成を説明する。
【０１２４】
デガンマ処理部９４０１は、入力画像にデガンマ処理を施し、輝度リニア空間に変換する。補正部９４０２は、輝度リニア空間に変換した入力画像に、算出した模様色と環境光補正値をかけ、入力画像を補正する。
【０１２５】
倍速変換部９４０３は、各入力フレーム画像データを画像メモリ９４０４に書き込み、１つの入力フレーム画像データに対して複数のサブフレーム画像データを生成する。基本動作は実施形態１の倍速変換部２４０３と同じであるが、実施形態２では４倍速で駆動させる。画像メモリ９４０４は、補正画像を一時的に書き込み保存する。
【０１２６】
模様色分布測色パターン増加処理部９４０５は、投影環境での模様色分布を検出するためのテストパターン（以下、模様色分布測色パターン）を倍速変換部９４０３で生成された１ｓｔサブフレーム画像に対して加算した結果と等しくなるような画像を生成する。
【０１２７】
模様色分布測色パターン減少処理部９４０６は、模様色分布測色パターンを倍速変換部９４０３で生成された２ｎｄサブフレーム画像に対して減算した結果と等しくなるような画像を生成する。
【０１２８】
環境光分布測色パターン増加処理部９４０７と環境光分布測色パターン減少処理部９４０８は、実施形態１の環境光分布測色パターン増加処理部２４０５と環境光分布測色パターン減少処理部２４０６と同様であるため説明を省略する。よって、１ｓｔ〜４ｔｈサブフレーム画像は入力画像または補正画像とは異なる画像となる。
【０１２９】
出力切替部９４０９は、倍速変換後のサブフレームの垂直同期信号に同期し、倍速変換部９４０３からのＦｉｅｌｄ信号に応じて出力画像を切り替えて出力する。模様色分布測色パターン増加処理部９４０５、模様色分布測色パターン減少処理部９４０６、環境光分布測色パターン増加処理部９４０７、環境光分布測色パターン減少処理部９４０８からの出力を切替える。
【０１３０】
本実施形態では、模様色検出のために、１ｓｔサブフレームとして模様色分布測色パターン増加処理部９４０５の出力、２ｎｄサブフレームとして模様色分布測色パターン減少処理部９４０６の出力が投影される。また、環境光分布検出のために、３ｒｄサブフレームとして環境光分布測色パターン増加処理部９４０７の出力、４ｔｈサブフレームとして環境光分布測色パターン減少処理部９４０８の出力が投影される。
【０１３１】
ガンマ処理部９４１０は、出力切替部９４０９から出力された画像に表示装置のガンマをかけ、ガンマ空間に変換する。
【０１３２】
模様色分布算出部９４１１は、撮像画像処理部２９２が生成した１ｓｔサブフレーム投影領域切り出し像と２ｎｄサブフレーム投影領域切り出し画像から模様色分布を算出する。ここで云う模様色分布とは、投影面の反射率に応じて求まるパネル画素ごとのＲＧＢゲイン値のことを指す。
【０１３３】
環境光分布算出部９４１２は、撮像画像処理部２９２が生成した３ｒｄサブフレーム投影領域切り出し画像と４ｔｈサブフレーム投影領域切り出し画像、更に模様色分布算出部９４１１で求めた模様色分布から環境光分布を算出する。
【０１３４】
視環境補正値算出部９４１３は、算出した模様色や環境光分布から投影面上の輝度と色の見えを補正する視環境補正値を算出する。ここで云う視環境補正値とは、パネル画素ごとのＲＧＢのゲインとオフセットのマトリックスであり、入力画像にかけることによって、ユーザの投影面上での輝度と色の見えを補正することができる。
【０１３５】
＜環境光補正処理＞次に、図１０から図１３を用いて、本実施形態の投影装置９００によって投影領域の視環境データ（模様色分布と環境光分布）の検出をユーザに視認されることなく行い、投影対象の色の見えを補正する処理を説明する。
【０１３６】
図１０は、本実施形態の環境光補正処理のフローチャートを示す。以下では、図３との相違点を中心に説明を行う。
【０１３７】
Ｓ１００３では、制御部２１０は画像処理部９４０を制御し、画像処理部９４０は視環境補正値算出部９４１３により、過去に視環境補正値を算出したことがあるか否かを判定し、算出したことがある場合はＳ１００４に進み、算出したことがない場合はＳ１００５に進む。
【０１３８】
Ｓ１００４では、制御部２１０は画像処理部９４０を制御し、画像処理部９４０は補正部９４０２により入力画像に視環境補正値を適応し、補正画像を生成する。視環境補正値は、前述したようにゲインとオフセットからなり、入力画像にかけることによって投影面上の輝度と色の見えを補正することができる。視環境光補正値の算出方法の詳細は後述する。
【０１３９】
Ｓ１００５では、制御部２１０は光変調素子制御部２５０を制御し、光変調素子制御部２５０は光変調素子２７０への画像描画速度を４倍速にする。なお、本実施形態ではパネルの駆動を４倍速とするが、４倍以上のｎ倍（ｎは整数）でもよい。また、入力画像が静止画の場合は倍速駆動をする必要がない。また、本実施形態では４倍速駆動としたが、これは１フレーム内に模様色補正値と環境光補正値の両方を算出する場合である。２フレームに分けて各々の補正値を取得することも可能であり、２倍速にし、１ｓｔフレームでは模様色、２ｎｄフレームでは環境光補正値を生成してもよい。
【０１４０】
Ｓ１００６では、制御部２１０は画像処理部９４０を制御し、画像処理部９４０は倍速変換部９４０３により入力画像（補正値を算出していない場合）または補正画像（補正値を算出している場合）を画像メモリ９４０４に書き込む。この際、画像メモリ２４０４への書き込み時間に対して少なくとも４開読み出しできるようにする。そして、Ｆｉｅｌｄ信号を生成し、出力切替部９４０９に送出する。
【０１４１】
Ｓ１００７では、制御部２１０は、視環境補正値を算出するために必要な投影面撮像画像を収集する。
【０１４２】
ここで、図１１を用いて、本実施形態の投影面撮像画像の収集方法を説明する。図１１は、本実施形態の投影面の撮像画像の収集方法を示すフローチャートである。
【０１４３】
Ｓ１１０１では、制御部２１０は画像処理部９４０を制御し、１ｓｔサブフレーム画像に模様色分布測色パターン分の増加処理、２ｎｄサブフレーム画像に模様色分布測色パターン分の減少処理、３ｒｄサブフレーム画像に環境光分布測色パターン分の増加処理、４ｔｈサブフレーム画像に環境光分布測色パターン分の減少処理を行う。まず、模様色分布測色パターン増加処理部９４０５は、模様色分布測色パターンを１ｓｔサブフレーム側の画像に加算し、模様色分布測色パターン減少処理部９４０６は２ｎｄサブフレーム側の画像に減算する。また、環境光分布測色パターン増加処理部９４０７は環境光分布測色パターンを３ｒｄサブフレーム側の画像に加算し、環境光分布測色パターン減少処理部９４０８は環境光分布測色パターンを４ｔｈサブフレーム画像から減算する。
【０１４４】
本実施形態では、模様色測色パターンは面一様の輝度オフセットである。輝度オフセット値は、補正画像にかけ、撮像部２９１で投影面を撮像したときに、１ｓｔサブフレームと２ｎｄサブフレーム撮像画像にて異なると画像であると認識できるレベルのオフセット値とする。環境光分布測色パターンは実施形態１と同じであるため、説明を省略する。
【０１４５】
本実施形態では、１ｓｔサブフレーム側の入力画像または補正画像に模様色測色パターンを加算し、２ｎｄサブフレーム側では減算した。しかし、必ずしもこの方法に限定するものではない。１ｓｔサブフレーム画像と２ｎｄサブフレーム画像とを、１フレーム内で切り替えて表示した際のフレーム時間内積分画像が、入力画像または補正画像の１フレーム時間内積分画像と等しければよい。また、３ｒｄサブフレーム画像と４ｔｈサブフレーム画像間も同様である。ただし、３ｒｄサブフレーム画像と４ｔｈサブフレーム画像の場合は、その差分が入力画像または補正画像の画像情報を引き続き担持していることが必要である。
【０１４６】
Ｓ１１０２からＳ１１０７は、図４のＳ４０２からＳ４０７と同じ処理であるため、説明を省略する。
【０１４７】
以上の手順により補正に必要な投影面撮像画像を収集した後、処理はＳ１００８に進む。
【０１４８】
Ｓ１００８では、制御部２１０は画像処理部９４０を制御し、画像処理部９４０は模様色分布算出部９４１１により、１ｓｔサブフレーム投影領域切り出し画像と２ｎｄサブフレーム投影領域切り出し画像から模様色分布を算出する。
【０１４９】
図１２（ａ）は模様色分布算出方法の概略図を示す。
【０１５０】
それぞれの要素の中の入力画像または補正画像や模様色分布測色パターン、環境光分布、各切り出し画像は例えばカメラ取得ＲＧＢや、ＸＹＺの三刺激値などの色情報の２次元配列で構成されている。模様色分布は、ＲＧＢやＸＹＺの各色情報にかかるゲインの２次元配列ある。
【０１５１】
上段式は１ｓｔサブフレーム、中段式は２ｎｄサブフレームにおける方程式である。この１ｓｔサブフレームの方程式と２ｎｄサブフレームでの方程式を連立し、差分を取ったものが図１２（ａ）の下段式である。この下段式の内、未知の要素は模様色分布のみとなり、この模様色分布に対し解くことで模様色分布を取得することができる。
【０１５２】
Ｓ１００９では、制御部２１０は画像処理部９４０を制御し、画像処理部９４０は環境光分布算出部９４１２により、３ｒｄサブフレームと４ｔｈサブフレームの投影領域切り出し画像と、Ｓ１００８で取得出した模様色分布から環境光分布を算出する。
【０１５３】
図１２（ｂ）は環境光分布算出方法の概略図を示す。上段が３ｒｄサブフレーム、中段が４ｔｈサブフレームにおける方程式を示している。概ね計算方法は、実施形態１の環境光分布算出方法と同じである。計算過程の中で、前述の過程で算出した模様色分布を用いるところのみが異なる。そのため、詳細な説明は省略する。
【０１５４】
Ｓ１０１０では、制御部２１０は画像処理部９４０を制御し、画像処理部９４０は視環境補正値算出部９４１３により、Ｓ１００９で算出した模様色と環境光分布に基づいて入力画像にかける視環境補正値を算出する。
【０１５５】
ここでは、一例としてゲインとオフセットで視環境補正値を算出する方法を説明する。なお、以下の補正値の算出方法は一例であり、これに限定するものではない。
【０１５６】
図１３は、ＲＧＢゲイン／オフセットによる視環境補正の概略図である。模様色分布が要素として増えたとしても、ＲＧＢゲインとオフセットで補正することができる。
【０１５７】
図１３（ａ）は、暗室且つ無彩色スクリーンである投影面１０１へ、全黒画像から全白画像へ徐々に輝度を上げ、それら画像を順次投影した場合のカメラ取得ＲＧＢを例示している。図１３（ｂ）は明環境且つ有彩色スクリーンである投影面８０１へ投影した場合を例示している。環境光によって投影画像にオフセットで影響を与え、模様色によってゲインで投影画像に影響を与えている。考え方は実施形態１の環境光補正と同じである。
【０１５８】
図１３（ｂ）のグラフの太線に示すように、補正後の目標カメラ取得ＲＧＢバランスは、暗部側は補正前カメラ取得ＲＧＢ値ＣａｍＲ’Ｇ’Ｂ’の中での最大値、明部側はＣａｍＲ’Ｇ’Ｂ’の中での最小値を取り、間を線形補間することで得られる。そして、補正後の目標カメラ取得ＲＧＢを前述のように求めた模様色分布ＣａｍＧａｉｎＲＧＢで除算する。その後、環境光分布ＣａｍＯｆｆｓｅｔＲＧＢを減算し、投影装置の出力階調に変換することで、視環境補正時に投影装置に設定すべきＲＧＢゲインとオフセット値を得ることができる。
【０１５９】
以上のように、本実施形態によれば、ユーザに模様色／環境光分布の取得を視認されることなく、補正値を算出し補正することができる。
【０１６０】
［他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１６１】
２００…投影装置、２１０…制御部、２４０２０…画像処理部、２４０２…補正部、２４０５…環境光分布測色パターン増加処理部、２４０６…環境光分布測色パターン減少処理部、２４０９…環境光分布算出部、２４１０…環境光補正値算出部
【図１】
2018092007.tif 000003
【図２】
2018092007.tif 000004
【図３】
2018092007.tif 000005
【図４】
2018092007.tif 000006
【図５】
2018092007.tif 000007
【図６】
2018092007.tif 000008
【図７】
2018092007.tif 000009
【図８】
2018092007.tif 000010
【図９】
2018092007.tif 000011
【図１０】
2018092007.tif 000012
【図１１】
2018092007.tif 000013
【図１２】
2018092007.tif 000014
【図１３】
2018092007.tif 000015
【図１４】
2018092007.tif 000016