(57)【要約】【課題】  投写画像の歪み補正処理を行う場合の環境影響軽減処理をより適切に実行することが可能な画像処理システム等を提供すること。【解決手段】  投写対象領域に投写された投写画像の少なくとも一部を含む領域を撮像することによって撮像情報を生成する撮像部１８０と、撮像情報に基づき、投写対象領域情報を生成する投写対象領域情報生成部１０２と、撮像情報に基づき、投写領域情報を生成する投写領域情報生成部１０３と、投写対象領域情報と、投写領域情報に基づき、投写画像の歪みを補正するとともに当該補正の度合いを示す補正情報を生成する画像歪み補正部１０３と、投写領域情報と、補正情報に基づき、表示領域情報を生成する表示領域情報生成部１０４と、撮像情報と、表示領域情報に基づき、環境影響を軽減する処理を実行する環境影響軽減部１０５とを含んでプロジェクタを構成する。【選択図】      図２
2006222857.tif 000002
【特許請求の範囲】
【請求項１】
投写対象領域に投写された投写画像の少なくとも一部を含む領域を撮像することによって撮像情報を生成する撮像手段と、
前記撮像情報に基づき、前記撮像手段の撮像領域における前記投写画像の位置に関する情報を示す投写領域情報を生成する投写領域情報生成手段と、
前記投写画像の歪みを補正するとともに当該補正の度合いを示す補正情報を生成する画像歪み補正手段と、
前記投写領域情報と、前記補正情報とに基づき、前記撮像領域における前記投写画像の歪み補正後の表示領域を示す表示領域情報を生成する表示領域情報生成手段と、
前記撮像情報と、前記表示領域情報とに基づき、前記撮像情報に含まれる前記表示領域内の情報を用いて理想環境と実際の使用環境の相違によって生じる環境影響を軽減する処理を実行する環境影響軽減手段と、
を含むことを特徴とする画像処理システム。
【請求項２】
請求項１において、
前記表示領域情報に基づき、前記投写対象領域内の前記表示領域に相当する領域に最適な大きさで前記投写画像が投写されるように、前記投写画像の大きさを調整するズーム部を制御するとともに当該調整の度合いを示す調整情報を生成する制御手段を含み、
前記環境影響軽減手段は、
前記調整情報に基づき、前記調整による前記投写画像の明るさの変化を判別し、当該明るさの変化に応じて前記撮像情報に含まれる前記表示領域内の情報を補正することによって補正撮像情報を生成する撮像情報補正手段と、
前記補正撮像情報に基づき、前記投写画像の色および明るさが理想的な状態となるように画像情報を補正する画像情報補正手段と、
を含むことを特徴とする画像処理システム。
【請求項３】
請求項２において、
前記画像情報補正手段は、
理想的な色を示す理想的色情報と、前記補正撮像情報とに基づき、前記理想的な色で前記投写画像が投写されるように画像情報を補正する色補正手段と、
理想的な明るさを示す理想的明るさ情報と、前記補正撮像情報とに基づき、前記理想的な明るさで前記投写画像が投写されるように前記色補正手段によって補正された画像情報を補正する明るさ補正手段と、
を含むことを特徴とする画像処理システム。
【請求項４】
請求項１〜３のいずれかにおいて、
前記投写画像として、赤色の単色画像と、緑色の単色画像と、青色の単色画像と、黒色の単色画像と、赤色、緑色、青色のいずれかの単色と黒色とを含む複数色画像とを異なる時点において投写する投写手段と、
前記複数色画像の撮像情報と、赤色、緑色、青色、黒色のいずれかの単色画像の撮像情報とに基づく差分画像を生成する差分画像生成手段と、
を含み、
前記複数色画像は、当該複数色画像の中央付近に位置する中央画像と、当該中央画像の周辺に位置する周辺画像と、前記中央画像および前記周辺画像以外の背景画像とから構成され、
前記中央画像および前記周辺画像が黒色で前記背景画像が黒色以外の単色であり、あるいは、前記中央画像および前記周辺画像が黒色以外の単色で前記背景画像が黒色であって、
前記投写領域情報生成手段は、前記差分画像に基づき、前記撮像領域における前記中央画像の位置に関する中央領域情報と、前記撮像領域における前記周辺画像の位置に関する周辺領域情報とを生成するとともに、前記中央領域情報および前記周辺領域情報に基づき、前記投写領域情報を生成することを特徴とする画像処理システム。
【請求項５】
請求項３に従属する請求項４において、
前記撮像情報補正手段は、赤色、緑色、青色および黒色の各単色画像の撮像情報に基づき、赤色、緑色、青色および黒色の各単色画像の補正撮像情報を生成し、
前記色補正手段は、赤色、緑色、青色および黒色の各単色画像の補正撮像情報に基づき、前記画像情報を補正し、
前記明るさ補正手段は、赤色、緑色および青色の各単色画像の補正撮像情報に基づき、白色の単色画像の補正撮像情報を生成するとともに、当該白色の単色画像の補正撮像情報と、黒色の単色画像の補正撮像情報とに基づき、前記色補正手段によって補正された画像情報を補正することを特徴とする画像処理システム。
【請求項６】
請求項２、３のいずれかに従属する請求項４、請求項５のいずれかにおいて、
前記撮像情報補正手段は、赤色、緑色、青色および黒色の各単色画像の撮像情報ごとに、前記撮像情報に含まれる前記表示領域を構成する全画素の画像信号値の平均値を当該画像信号値の種別ごとに演算するとともに、前記明るさの変化に応じて前記画像信号値の種別ごとの平均値を補正することにより、補正後の平均値を示す情報を前記補正撮像情報として生成することを特徴とする画像処理システム。
【請求項７】
投写対象領域に投写された投写画像の少なくとも一部を含む領域を撮像することによって撮像情報を生成する撮像手段と、
前記撮像情報に基づき、前記撮像手段の撮像領域における前記投写画像の位置に関する情報を示す投写領域情報を生成する投写領域情報生成手段と、
前記投写画像の歪みを補正するとともに当該補正の度合いを示す補正情報を生成する画像歪み補正手段と、
理想環境と実際の使用環境の相違によって生じる環境影響を軽減する処理を実行する環境影響軽減手段と、
前記投写画像として、赤色の単色画像と、緑色の単色画像と、青色の単色画像と、黒色の単色画像と、赤色、緑色、青色のいずれかの単色と黒色とを含む複数色画像とを異なる時点において投写する投写手段と、
前記複数色画像の撮像情報と、赤色、緑色、青色、黒色のいずれかの単色画像の撮像情報とに基づく差分画像を生成する差分画像生成手段と、
を含み、
前記複数色画像は、当該複数色画像の中央付近に位置する中央画像と、当該中央画像の周辺に位置する周辺画像と、前記中央画像および前記周辺画像以外の背景画像とから構成され、
前記中央画像および前記周辺画像が黒色で前記背景画像が黒色以外の単色であり、あるいは、前記中央画像および前記周辺画像が黒色以外の単色で前記背景画像が黒色であって、
前記投写領域情報生成手段は、前記差分画像に基づき、前記撮像領域における前記中央画像の位置に関する中央領域情報と、前記撮像領域における前記周辺画像の位置に関する周辺領域情報とを生成するとともに、前記中央領域情報および前記周辺領域情報に基づき、前記投写領域情報を生成し、
前記環境影響軽減手段は、前記撮像情報と、前記補正情報と、前記中央領域情報とに基づき、前記撮像情報に含まれる前記歪みが補正された状態の前記中央画像内の情報を用いて前記環境影響を軽減する処理を実行することを特徴とする画像処理システム。
【請求項８】
請求項７において、
前記投写手段は、前記投写画像の投写前に前記複数色画像または前記中央画像に相当する領域を有する画像を、前記中央画像に相当する領域が前記投写対象領域に投写されているかユーザーに確認させるための位置確認画像として投写することを特徴とする画像処理システム。
【請求項９】
請求項１〜８のいずれかに記載の画像処理システムを有することを特徴とするプロジェクタ。
【請求項１０】
撮像手段を有するコンピュータにより読み取り可能なプログラムであって、
コンピュータを、
前記撮像手段に投写対象領域に投写された投写画像の少なくとも一部を含む領域を撮像させることによって撮像情報を生成させる手段と、
前記撮像情報に基づき、前記撮像手段の撮像領域における前記投写画像の位置に関する情報を示す投写領域情報を生成する投写領域情報生成手段と、
前記投写画像の歪みを補正するとともに当該補正の度合いを示す補正情報を生成する画像歪み補正手段と、
前記投写領域情報と、前記補正情報とに基づき、前記撮像領域における前記投写画像の歪み補正後の表示領域を示す表示領域情報を生成する表示領域情報生成手段と、
前記撮像情報と、前記表示領域情報とに基づき、前記撮像情報に含まれる前記表示領域内の情報を用いて理想環境と実際の使用環境の相違によって生じる環境影響を軽減する処理を実行する環境影響軽減手段として機能させることを特徴とするプログラム。
【請求項１１】
撮像手段と、投写手段とを有するコンピュータにより読み取り可能なプログラムであって、
コンピュータを、
前記撮像手段に投写対象領域に投写された投写画像の少なくとも一部を含む領域を撮像させることによって撮像情報を生成させる手段と、
前記撮像情報に基づき、前記撮像手段の撮像領域における前記投写画像の位置に関する情報を示す投写領域情報を生成する投写領域情報生成手段と、
前記投写画像の歪みを補正するとともに当該補正の度合いを示す補正情報を生成する画像歪み補正手段と、
理想環境と実際の使用環境の相違によって生じる環境影響を軽減する処理を実行する環境影響軽減手段と、
前記投写手段に、前記投写画像として、赤色の単色画像と、緑色の単色画像と、青色の単色画像と、黒色の単色画像と、赤色、緑色、青色のいずれかの単色と黒色とを含む複数色画像とを異なる時点において投写させる手段と、
前記複数色画像の撮像情報と、赤色、緑色、青色、黒色のいずれかの単色画像の撮像情報とに基づく差分画像を生成する差分画像生成手段として機能させ、
前記複数色画像は、当該複数色画像の中央付近に位置する中央画像と、当該中央画像の周辺に位置する周辺画像と、前記中央画像および前記周辺画像以外の背景画像とから構成され、
前記中央画像および前記周辺画像が黒色で前記背景画像が黒色以外の単色であり、あるいは、前記中央画像および前記周辺画像が黒色以外の単色で前記背景画像が黒色であって、
前記投写領域情報生成手段は、前記差分画像に基づき、前記撮像領域における前記中央画像の位置に関する中央領域情報と、前記撮像領域における前記周辺画像の位置に関する周辺領域情報とを生成するとともに、前記中央領域情報および前記周辺領域情報に基づき、前記投写領域情報を生成し、
前記環境影響軽減手段は、前記撮像情報と、前記補正情報と、前記中央領域情報とに基づき、前記撮像情報に含まれる前記歪みが補正された状態の前記中央画像内の情報を用いて前記環境影響を軽減する処理を実行することを特徴とするプログラム。
【請求項１２】
請求項１０、１１のいずれかに記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【請求項１３】
撮像手段と、処理手段とを有するコンピュータによる画像処理方法であって、
前記撮像手段は、投写対象領域に投写された投写画像の少なくとも一部を含む領域を撮像することによって撮像情報を生成し、
前記処理手段は、
前記撮像情報に基づき、前記撮像手段の撮像領域における前記投写画像の位置に関する情報を示す投写領域情報を生成し、
前記投写画像の歪みを補正し、
当該補正の度合いを示す補正情報を生成し、
前記投写領域情報と、前記補正情報とに基づき、前記撮像領域における前記投写画像の歪み補正後の表示領域を示す表示領域情報を生成し、
前記撮像情報と、前記表示領域情報とに基づき、前記撮像情報に含まれる前記表示領域内の情報を用いて理想環境と実際の使用環境の相違によって生じる環境影響を軽減する処理を実行することを特徴とする画像処理方法。
【請求項１４】
撮像手段と、処理手段と、投写手段とを有するコンピュータによる画像処理方法であって、
前記投写手段は、投写画像として、赤色の単色画像と、緑色の単色画像と、青色の単色画像と、黒色の単色画像と、赤色、緑色、青色のいずれかの単色と黒色とを含む複数色画像とを異なる時点において投写し、
前記複数色画像は、当該複数色画像の中央付近に位置する中央画像と、当該中央画像の周辺に位置する周辺画像と、前記中央画像および前記周辺画像以外の背景画像とから構成され、
前記中央画像および前記周辺画像が黒色で前記背景画像が黒色以外の単色であり、あるいは、前記中央画像および前記周辺画像が黒色以外の単色で前記背景画像が黒色であって、
前記撮像手段は、投写対象領域に投写された各投写画像の少なくとも一部を含む領域を撮像することによって撮像情報を生成し、
前記処理手段は、
前記複数色画像の撮像情報と、赤色、緑色、青色、黒色のいずれかの単色画像の撮像情報とに基づく差分画像を生成し、
前記差分画像に基づき、前記撮像手段の撮像領域における前記中央画像の位置に関する中央領域情報と、前記撮像領域における前記周辺画像の位置に関する周辺領域情報とを生成し、
前記中央領域情報および前記周辺領域情報に基づき、前記撮像領域における前記投写画像の位置に関する情報を示す投写領域情報を生成し、
前記投写画像の歪みを補正し、
当該補正の度合いを示す補正情報を生成し、
前記撮像情報と、前記補正情報と、前記中央領域情報とに基づき、前記撮像情報に含まれる前記歪みが補正された状態の前記中央画像内の情報を用いて、理想環境と実際の使用環境の相違によって生じる環境影響を軽減する処理を実行することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投写画像の歪み補正処理と環境影響を軽減する処理を実行する画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法に関する。
【背景技術】
【０００２】
近年、センサーを有するプロジェクタを用いてスクリーンに画像を投写し、投写された投写画像をセンサーで撮像して画像処理を実行することにより、投写画像の歪み補正や環境影響（外光影響、スクリーンの色の影響等）を軽減するプロジェクタが提案されている。
【０００３】
従来のプロジェクタは、投写画像の歪み補正を行うセンサーと、環境影響を軽減するためのセンサーが別々に設けられていたり（例えば、セイコーエプソン社のＥＭＰ−８３５等）、投写画像の歪み補正用の処理と、環境影響軽減用の処理が別々に実行されたりしていた。
【０００４】
このため、従来のプロジェクタは、投写画像の歪み補正処理や環境影響軽減処理に時間がかかっていた。
【０００５】
このようなキャリブレーション処理にかかる時間を短縮するため、例えば、特許文献１では、プロジェクタが、視環境下推定データを生成することにより、必要となるキャリブレーション画像の投写回数を減らし、環境影響軽減処理にかかる時間を短縮することが記載されている。
【０００６】
しかし、投写画像の歪み補正が行われた場合、元々投写画像が表示されていた部分が歪み補正によって表示されなくなる場合がある。このような場合、当該部分の撮像情報を用いて環境影響軽減処理を実行しても、歪み補正後の投写画像が、環境影響が適切に軽減された画像とならない場合も考えられる。
【０００７】
例えば、特許文献２では、障害物のない領域に投写するため、プロジェクタが、選択された投写領域に該当する部分のセンシング情報に基づき、当該投写領域の視環境を把握して画像補正を行うことが記載されている。
【特許文献１】特開２００３−３３９０５６号公報
【特許文献２】特開２００４−４８６９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献２のプロジェクタは、投写画像の歪み補正が行われる場合、歪み補正後の投写画像の位置や形状を判別する手段を有していないため、環境影響を適切に軽減できない場合も考えられる。
【０００９】
また、ズーム機能によって投写画像の位置や形状が変化する場合も考えられ、このような場合であっても、プロジェクタは、より適切に環境影響軽減処理を実行する必要がある。
【００１０】
本発明は、上記の課題に鑑みなされたものであり、その目的は、投写画像の歪み補正処理を行う場合の環境影響軽減処理をより適切に実行することが可能な画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法を提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、本発明に係る画像処理システムは、投写対象領域に投写された投写画像の少なくとも一部を含む領域を撮像することによって撮像情報を生成する撮像手段と、
前記撮像情報に基づき、前記撮像手段の撮像領域における前記投写画像の位置に関する情報を示す投写領域情報を生成する投写領域情報生成手段と、
前記投写画像の歪みを補正するとともに当該補正の度合いを示す補正情報を生成する画像歪み補正手段と、
前記投写領域情報と、前記補正情報とに基づき、前記撮像領域における前記投写画像の歪み補正後の表示領域を示す表示領域情報を生成する表示領域情報生成手段と、
前記撮像情報と、前記表示領域情報とに基づき、前記撮像情報に含まれる前記表示領域内の情報を用いて理想環境と実際の使用環境の相違によって生じる環境影響を軽減する処理を実行する環境影響軽減手段と、
を含むことを特徴とする。
【００１２】
また、本発明に係るプロジェクタは、上記画像処理システムを有することを特徴とする。
【００１３】
また、本発明に係るプログラムは、撮像手段を有するコンピュータにより読み取り可能なプログラムであって、
コンピュータを、
前記撮像手段に投写対象領域に投写された投写画像の少なくとも一部を含む領域を撮像させることによって撮像情報を生成させる手段と、
前記撮像情報に基づき、前記撮像手段の撮像領域における前記投写画像の位置に関する情報を示す投写領域情報を生成する投写領域情報生成手段と、
前記投写画像の歪みを補正するとともに当該補正の度合いを示す補正情報を生成する画像歪み補正手段と、
前記投写領域情報と、前記補正情報とに基づき、前記撮像領域における前記投写画像の歪み補正後の表示領域を示す表示領域情報を生成する表示領域情報生成手段と、
前記撮像情報と、前記表示領域情報とに基づき、前記撮像情報に含まれる前記表示領域内の情報を用いて理想環境と実際の使用環境の相違によって生じる環境影響を軽減する処理を実行する環境影響軽減手段として機能させることを特徴とする。
【００１４】
また、本発明に係る情報記憶媒体は、上記プログラムを記憶したことを特徴とする。
【００１５】
また、本発明に係る画像処理方法は、撮像手段と、処理手段とを有するコンピュータによる画像処理方法であって、
前記撮像手段は、投写対象領域に投写された投写画像の少なくとも一部を含む領域を撮像することによって撮像情報を生成し、
前記処理手段は、
前記撮像情報に基づき、前記撮像手段の撮像領域における前記投写画像の位置に関する情報を示す投写領域情報を生成し、
前記投写画像の歪みを補正し、
当該補正の度合いを示す補正情報を生成し、
前記投写領域情報と、前記補正情報とに基づき、前記撮像領域における前記投写画像の歪み補正後の表示領域を示す表示領域情報を生成し、
前記撮像情報と、前記表示領域情報とに基づき、前記撮像情報に含まれる前記表示領域内の情報を用いて理想環境と実際の使用環境の相違によって生じる環境影響を軽減する処理を実行することを特徴とする。
【００１６】
本発明によれば、画像処理システム等は、歪み補正後の表示領域内の撮像情報を用いて環境影響軽減処理を実行することにより、投写画像の歪み補正処理を行う場合の環境影響軽減処理をより適切に実行することができる。
【００１７】
また、本発明に係る画像処理システムは、投写対象領域に投写された投写画像の少なくとも一部を含む領域を撮像することによって撮像情報を生成する撮像手段と、
前記撮像情報に基づき、前記撮像手段の撮像領域における前記投写画像の位置に関する情報を示す投写領域情報を生成する投写領域情報生成手段と、
前記投写画像の歪みを補正するとともに当該補正の度合いを示す補正情報を生成する画像歪み補正手段と、
理想環境と実際の使用環境の相違によって生じる環境影響を軽減する処理を実行する環境影響軽減手段と、
前記投写画像として、赤色の単色画像と、緑色の単色画像と、青色の単色画像と、黒色の単色画像と、赤色、緑色、青色のいずれかの単色と黒色とを含む複数色画像とを異なる時点において投写する投写手段と、
前記複数色画像の撮像情報と、赤色、緑色、青色、黒色のいずれかの単色画像の撮像情報とに基づく差分画像を生成する差分画像生成手段と、
を含み、
前記複数色画像は、当該複数色画像の中央付近に位置する中央画像と、当該中央画像の周辺に位置する周辺画像と、前記中央画像および前記周辺画像以外の背景画像とから構成され、
前記中央画像および前記周辺画像が黒色で前記背景画像が黒色以外の単色であり、あるいは、前記中央画像および前記周辺画像が黒色以外の単色で前記背景画像が黒色であって、
前記投写領域情報生成手段は、前記差分画像に基づき、前記撮像領域における前記中央画像の位置に関する中央領域情報と、前記撮像領域における前記周辺画像の位置に関する周辺領域情報とを生成するとともに、前記中央領域情報および前記周辺領域情報に基づき、前記投写領域情報を生成し、
前記環境影響軽減手段は、前記撮像情報と、前記補正情報と、前記中央領域情報とに基づき、前記撮像情報に含まれる前記歪みが補正された状態の前記中央画像内の情報を用いて前記環境影響を軽減する処理を実行することを特徴とする。
【００１８】
また、本発明に係るプロジェクタは、上記画像処理システムを有することを特徴とする。
【００１９】
また、本発明に係るプログラムは、撮像手段と、投写手段とを有するコンピュータにより読み取り可能なプログラムであって、
コンピュータを、
前記撮像手段に投写対象領域に投写された投写画像の少なくとも一部を含む領域を撮像させることによって撮像情報を生成させる手段と、
前記撮像情報に基づき、前記撮像手段の撮像領域における前記投写画像の位置に関する情報を示す投写領域情報を生成する投写領域情報生成手段と、
前記投写画像の歪みを補正するとともに当該補正の度合いを示す補正情報を生成する画像歪み補正手段と、
理想環境と実際の使用環境の相違によって生じる環境影響を軽減する処理を実行する環境影響軽減手段と、
前記投写手段に、前記投写画像として、赤色の単色画像と、緑色の単色画像と、青色の単色画像と、黒色の単色画像と、赤色、緑色、青色のいずれかの単色と黒色とを含む複数色画像とを異なる時点において投写させる手段と、
前記複数色画像の撮像情報と、赤色、緑色、青色、黒色のいずれかの単色画像の撮像情報とに基づく差分画像を生成する差分画像生成手段として機能させ、
前記複数色画像は、当該複数色画像の中央付近に位置する中央画像と、当該中央画像の周辺に位置する周辺画像と、前記中央画像および前記周辺画像以外の背景画像とから構成され、
前記中央画像および前記周辺画像が黒色で前記背景画像が黒色以外の単色であり、あるいは、前記中央画像および前記周辺画像が黒色以外の単色で前記背景画像が黒色であって、
前記投写領域情報生成手段は、前記差分画像に基づき、前記撮像領域における前記中央画像の位置に関する中央領域情報と、前記撮像領域における前記周辺画像の位置に関する周辺領域情報とを生成するとともに、前記中央領域情報および前記周辺領域情報に基づき、前記投写領域情報を生成し、
前記環境影響軽減手段は、前記撮像情報と、前記補正情報と、前記中央領域情報とに基づき、前記撮像情報に含まれる前記歪みが補正された状態の前記中央画像内の情報を用いて前記環境影響を軽減する処理を実行することを特徴とする。
【００２０】
また、本発明に係る情報記憶媒体は、上記プログラムを記憶したことを特徴とする。
【００２１】
また、本発明に係る画像処理方法は、撮像手段と、処理手段と、投写手段とを有するコンピュータによる画像処理方法であって、
前記投写手段は、投写画像として、赤色の単色画像と、緑色の単色画像と、青色の単色画像と、黒色の単色画像と、赤色、緑色、青色のいずれかの単色と黒色とを含む複数色画像とを異なる時点において投写し、
前記複数色画像は、当該複数色画像の中央付近に位置する中央画像と、当該中央画像の周辺に位置する周辺画像と、前記中央画像および前記周辺画像以外の背景画像とから構成され、
前記中央画像および前記周辺画像が黒色で前記背景画像が黒色以外の単色であり、あるいは、前記中央画像および前記周辺画像が黒色以外の単色で前記背景画像が黒色であって、
前記撮像手段は、投写対象領域に投写された各投写画像の少なくとも一部を含む領域を撮像することによって撮像情報を生成し、
前記処理手段は、
前記複数色画像の撮像情報と、赤色、緑色、青色、黒色のいずれかの単色画像の撮像情報とに基づく差分画像を生成し、
前記差分画像に基づき、前記撮像手段の撮像領域における前記中央画像の位置に関する中央領域情報と、前記撮像領域における前記周辺画像の位置に関する周辺領域情報とを生成し、
前記中央領域情報および前記周辺領域情報に基づき、前記撮像領域における前記投写画像の位置に関する情報を示す投写領域情報を生成し、
前記投写画像の歪みを補正し、
当該補正の度合いを示す補正情報を生成し、
前記撮像情報と、前記補正情報と、前記中央領域情報とに基づき、前記撮像情報に含まれる前記歪みが補正された状態の前記中央画像内の情報を用いて、理想環境と実際の使用環境の相違によって生じる環境影響を軽減する処理を実行することを特徴とする。
【００２２】
本発明によれば、画像処理システム等は、歪み補正後の中央領域内の撮像情報を用いて環境影響軽減処理を実行することにより、投写画像の歪み補正処理を行う場合の環境影響軽減処理をより適切に実行することができる。
【００２３】
また、前記画像処理システム、前記プロジェクタ、前記プログラム、前記情報記憶媒体において、前記表示領域情報に基づき、前記投写対象領域内の前記表示領域に相当する領域に最適な大きさで前記投写画像が投写されるように、前記投写画像の大きさを調整するズーム部を制御するとともに当該調整の度合いを示す調整情報を生成する制御手段を含み、
前記環境影響軽減手段は、
前記調整情報に基づき、前記調整による前記投写画像の明るさの変化を判別し、当該明るさの変化に応じて前記撮像情報に含まれる前記表示領域内の情報を補正することによって補正撮像情報を生成する撮像情報補正手段と、
前記補正撮像情報に基づき、前記投写画像の色および明るさが理想的な状態となるように画像情報を補正する画像情報補正手段と、
を含んでもよい。
【００２４】
これによれば、画像処理システム等は、大きさ調整後の表示領域内の撮像情報を用いて環境影響軽減処理を実行することにより、投写画像の大きさを調整する場合の環境影響軽減処理をより適切に実行することができる。
【００２５】
また、前記画像処理システム、前記プロジェクタ、前記プログラム、前記情報記憶媒体および前記画像処理方法において、前記画像情報補正手段は、
理想的な色を示す理想的色情報と、前記補正撮像情報とに基づき、前記理想的な色で前記投写画像が投写されるように画像情報を補正する色補正手段と、
理想的な明るさを示す理想的明るさ情報と、前記補正撮像情報と、前記表示領域情報とに基づき、前記理想的な明るさで前記投写画像が投写されるように前記色補正手段によって補正された画像情報を補正する明るさ補正手段と、
を含んでもよい。
【００２６】
これによれば、画像処理システム等は、色と明るさが調整された適切な画像を生成することができる。
【００２７】
また、前記画像処理システム、前記プロジェクタ、前記プログラム、前記情報記憶媒体および前記画像処理方法は、前記投写画像として、赤色の単色画像と、緑色の単色画像と、青色の単色画像と、黒色の単色画像と、赤色、緑色、青色のいずれかの単色と黒色とを含む複数色画像とを異なる時点において投写する投写手段と、
前記複数色画像の撮像情報と、赤色、緑色、青色、黒色のいずれかの単色画像の撮像情報とに基づく差分画像を生成する差分画像生成手段と、
を含み、
前記複数色画像は、当該複数色画像の中央付近に位置する中央画像と、当該中央画像の周辺に位置する周辺画像と、前記中央画像および前記周辺画像以外の背景画像とから構成され、
前記中央画像および前記周辺画像が黒色で前記背景画像が黒色以外の単色であり、あるいは、前記中央画像および前記周辺画像が黒色以外の単色で前記背景画像が黒色であって、
前記投写領域情報生成手段は、前記差分画像に基づき、前記撮像領域における前記中央画像の位置に関する中央領域情報と、前記撮像領域における前記周辺画像の位置に関する周辺領域情報とを生成するとともに、前記中央領域情報および前記周辺領域情報に基づき、前記投写領域情報を生成してもよい。
【００２８】
これによれば、画像処理システム等は、５種類の画像の投写と撮像を行うことによって投写画像の歪み補正処理と環境影響軽減処理を実行できるため、より効率的に画像処理を実行できる。
【００２９】
また、前記画像処理システム、前記プロジェクタ、前記プログラム、前記情報記憶媒体および前記画像処理方法において、前記撮像情報補正手段は、赤色、緑色、青色および黒色の各単色画像の撮像情報に基づき、赤色、緑色、青色および黒色の各単色画像の補正撮像情報を生成し、
前記色補正手段は、赤色、緑色、青色および黒色の各単色画像の補正撮像情報に基づき、前記画像情報を補正し、
前記明るさ補正手段は、赤色、緑色および青色の各単色画像の補正撮像情報に基づき、白色の単色画像の補正撮像情報を生成するとともに、当該白色の単色画像の補正撮像情報と、黒色の単色画像の補正撮像情報とに基づき、前記色補正手段によって補正された画像情報を補正してもよい。
【００３０】
これによれば、画像処理システム等は、赤色、緑色および青色の各単色画像の補正撮像情報に基づき、白色の単色画像の補正撮像情報を生成することにより、５種類の画像の投写と撮像を行うことによって投写画像の歪み補正処理と環境影響軽減処理を実行できるため、より効率的に画像処理を実行できる。
【００３１】
また、前記画像処理システム、前記プロジェクタ、前記プログラム、前記情報記憶媒体および前記画像処理方法において、前記撮像情報補正手段は、赤色、緑色、青色および黒色の各単色画像の撮像情報ごとに、前記撮像情報に含まれる前記表示領域を構成する全画素の画像信号値の平均値を当該画像信号値の種別ごとに演算するとともに、前記明るさの変化に応じて前記画像信号値の種別ごとの平均値を補正することにより、補正後の平均値を示す情報を前記補正撮像情報として生成してもよい。
【００３２】
これによれば、画像処理システム等は、表示領域の全画素の画像信号値の平均値を演算することにより、より効率的かつ適切に画像処理を実行できる。
【００３３】
また、前記画像処理システム、前記プロジェクタ、前記プログラム、前記情報記憶媒体および前記画像処理方法において、前記投写手段は、前記投写画像の投写前に前記複数色画像または前記中央画像に相当する領域を有する画像を、前記中央画像に相当する領域が前記投写対象領域に投写されているかユーザーに確認させるための位置確認画像として投写してもよい。
【００３４】
これによれば、画像処理システム等は、位置確認画像を用いて中央画像に相当する領域が投写対象領域に入っているかユーザーに確認させることにより、中央画像が撮像情報に確実に含まれる状態で撮像することができる。これにより、画像処理システム等は、適切な撮像情報を用いて画像処理を実行することができる。
【００３５】
また、前記画像処理システム、前記プロジェクタ、前記プログラム、前記情報記憶媒体および前記画像処理方法は、前記撮像情報に基づき、前記撮像領域における前記投写対象領域の位置に関する情報を示す投写対象領域情報を生成する投写対象領域情報生成手段を含み、
前記画像歪み補正手段は、前記投写対象領域情報と、前記投写領域情報とに基づき、前記投写画像の歪みを補正してもよい。
【００３６】
また、前記画像処理システム、前記プロジェクタ、前記プログラム、前記情報記憶媒体および前記画像処理方法において、前記画像歪み補正手段は、前記撮像情報と、前記投写領域情報とに基づき、前記投写領域内の明るさ指標値（例えば、輝度値、照度値等）のピーク位置を検出し、当該ピーク位置に基づき、投写画像の歪みを補正してもよい。
【発明を実施するための最良の形態】
【００３７】
以下、本発明を、画像処理システムを有するプロジェクタに適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施例は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施例に示す構成の全てが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。
【００３８】
（第１の実施例）
まず、第１の実施例として、画像歪み補正後の表示領域内の撮像情報を用いた画像処理について説明する。
【００３９】
図１は、第１の実施例における画像投写状況を示す概略図である。
【００４０】
プロジェクタ２０は、投写対象領域を有するスクリーン１０へ向け画像を投写する。これにより、スクリーン１０には、投写画像１２が表示される。
【００４１】
なお、本実施例では、図１に示すように、スクリーン１０の一部が外光８０による影響（環境影響）を受ける状態となっている。また、プロジェクタ２０がスクリーン１０に対して斜めの位置から投写しているため、投写画像１２は歪んだ状態となっており、いわゆる台形歪みが発生している。さらに、図１に示すように、投写画像１２の一部はスクリーン１０からはみ出した状態となっている。
【００４２】
本実施例では、プロジェクタ２０にセンサー６０を設け、センサー６０がスクリーン１０に投写された投写画像１２を含む（投写画像１２の一部でもよい。）センシング領域１４を撮像し、プロジェクタ２０が撮像情報に基づく画像処理を実行することにより、投写画像１２の歪み補正と環境影響軽減処理をほぼ同時に実行する。
【００４３】
次に、このような機能を実装するためのプロジェクタ２０の機能ブロックについて説明する。
【００４４】
図２は、第１の実施例におけるプロジェクタ２０の機能ブロック図である。
【００４５】
プロジェクタ２０は、スクリーン１０に投写された投写画像１２を撮像することによって撮像情報を生成する撮像部１８０と、撮像情報を記憶する記憶部１６０と、撮像情報に基づいて画像処理を実行する処理部１００と、処理部１００からの画像情報に基づいて画像を投写する投写部１９０とを含んで構成されている。なお、撮像部１８０は、センサー６０を含む。
【００４６】
また、処理部１００は、撮像情報に基づき、撮像部１８０の撮像領域におけるスクリーン１０の位置に関する情報を示す投写対象領域情報を生成する投写対象領域情報生成部１０１と、撮像情報に基づき、撮像領域における投写画像１２の位置に関する情報を示す投写領域情報を生成する投写領域情報生成部１０２と、投写対象領域情報と、投写領域情報に基づき、投写画像１２の歪みを補正するとともに当該補正の度合いを示す補正情報を生成する画像歪み補正部１０３と、投写領域情報と、補正情報に基づき、撮像領域における投写画像１２の歪み補正後の表示領域を示す表示領域情報を生成する表示領域情報生成部１０４と、撮像情報と、表示領域情報に基づき、撮像情報に含まれる表示領域内の情報を用いて理想環境と実際の使用環境の相違によって生じる環境影響を軽減する処理を実行する環境影響軽減部１０５とを含んで構成されている。
【００４７】
また、処理部１００は、ＰＣ等からの画像情報（デジタルＲＧＢ信号等）を入力して環境影響軽減部１０５に出力するとともに画像歪み補正部１０３を有する画像情報入力部１１０と、環境影響軽減部１０５からの画像情報を入力して投写部１９０に出力する画像情報出力部１４０と、キャリブレーション用の投写画像１２を投写するためのキャリブレーション情報を生成するキャリブレーション情報生成部１５０と、記憶部１６０に記憶された複数種の撮像情報に基づいて差分画像を生成する差分画像生成部１０６とを含んで構成されている。
【００４８】
また、プロジェクタ２０は、投写画像１２の大きさを調整するためのズーム機能を有している。このため、投写部１９０は、空間光変調器１９２、レンズ１９６に加え、投写画像１２の大きさを調整するためのズーム部１９４を有している。また、処理部１００は、ズーム部１９４を制御するとともに当該調整の度合いを示す調整情報を生成する制御部１０７を有している。
【００４９】
また、環境影響軽減部１０５は、制御部１０７からの調整情報に基づき、調整による投写画像１２の明るさの変化を判別し、当該明るさの変化に応じて撮像情報に含まれる表示領域内の情報を補正することによって補正撮像情報を生成する撮像情報補正部１３０と、補正撮像情報に基づき、投写画像１２の色および明るさが理想的な状態となるように画像情報を補正する画像情報補正部１２０とを含んで構成されている。
【００５０】
また、画像情報補正部１２０は、理想的な色を示す理想的色情報および補正撮像情報に基づき、理想的な色で投写画像１２が投写されるように画像情報を補正する色補正部１２２と、理想的な明るさを示す理想的明るさ情報および補正撮像情報に基づき、理想的な明るさで投写画像１２が投写されるように色補正部１２２によって補正された画像情報を補正する明るさ補正部１２４を含む。なお、明るさ補正部１２４の明るさ補正には環境影響を受ける状態において理想的な階調で投写画像１２が投写されるように画像情報を補正する階調補正が含まれる。
【００５１】
また、上述したプロジェクタ２０の各部の機能を実装するためのハードウェアとしては、例えば、以下のものを適用できる。
【００５２】
図３は、第１の実施例におけるプロジェクタ２０のハードウェアブロック図である。
【００５３】
例えば、画像情報入力部１１０としては、例えば、Ａ／Ｄコンバーター９３０、画像処理回路９７０等、記憶部１６０としては、例えば、ＲＡＭ９５０等、投写対象領域情報生成部１０１、投写領域情報生成部１０２、差分画像生成部１０６としては、例えば、画像処理回路９７０等、画像歪み補正部１０３、表示領域情報生成部１０４、制御部１０７、撮像情報補正部１３０としては、例えばＣＰＵ９１０等、キャリブレーション情報生成部１５０としては、例えば、画像処理回路９７０、ＲＡＭ９５０等、画像情報出力部１４０としては、例えば、Ｄ／Ａコンバーター９４０等、空間光変調器１９２としては、例えば、液晶パネル９２０等、色補正部１２２としては、理想的色情報を記憶するＲＯＭ９６０、色補正用の３次元ルックアップテーブル（３Ｄ−ＬＵＴ）を記憶するＲＡＭ９５０、３Ｄ−ＬＵＴを補正する画像処理回路９７０等、明るさ補正部１２４としては、理想的明るさ情報を記憶するＲＯＭ９６０、明るさ補正用の１次元ルックアップテーブル（１Ｄ−ＬＵＴ）を記憶するＲＡＭ９５０、１Ｄ−ＬＵＴを補正する画像処理回路９７０等を用いて実装できる。
【００５４】
また、撮像部１８０としては、例えば、ＣＣＤカメラ、ＣＭＯＳカメラ等を用いて実装できる。
【００５５】
なお、これらの各部はシステムバス９８０を介して相互に情報をやりとりすることが可能である。
【００５６】
また、これらの各部は回路のようにハードウェア的に実装してもよいし、ドライバのようにソフトウェア的に実装してもよい。
【００５７】
さらに、画像歪み補正部１０３等としてコンピュータを機能させるためのプログラムを記憶した情報記憶媒体９００からプログラムを読み取って画像歪み補正部１０３等の機能をコンピュータに実装してもよい。
【００５８】
このような情報記憶媒体９００としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＲＯＭ、ＲＡＭ、ＨＤＤ等を適用でき、そのプログラムの読み取り方式は接触方式であっても、非接触方式であってもよい。
【００５９】
また、情報記憶媒体９００に代えて、上述した各機能を実装するためのプログラム等を、伝送路を介してホスト装置等からダウンロードすることによって上述した各機能を実装することも可能である。
【００６０】
以下、これらの各部を用いた画像処理について説明する。
【００６１】
図４は、第１の実施例における前処理から投写対象領域情報生成までの画像処理の流れを示すフローチャートである。
【００６２】
まず、プロジェクタ２０は、前処理を実行する（ステップＳ１）。具体的には例えば、ユーザーがプロジェクタ２０を起動した場合、制御部１０７は、ズーム部１９４をズーム状態が初期状態になるように制御する。そして、キャリブレーション情報生成部１５０は、位置確認画像用のキャリブレーション情報を生成し、投写部１９０は、環境影響軽減部１０５、画像情報出力部１４０を介して入力された当該キャリブレーション情報に基づき、位置確認画像を投写する。なお、位置確認画像としては、例えば、画像全体を９等分した場合の中央の領域を有する画像、後述するチェッカーパターン画像等が該当する。プロジェクタ２０は、位置確認画像の中央の領域がスクリーン１０に投写されているかユーザーに確認させ、投写されていない場合はプロジェクタ２０の位置等をユーザーに調整させることにより、中央の領域がスクリーン１０に確実に投写される状態とすることができる。
【００６３】
前処理終了後、ユーザーがプロジェクタ２０の補正ボタンを押下した場合、プロジェクタ２０は投写画像１２の歪み補正処理と環境影響軽減処理を実行する。
【００６４】
まず、キャリブレーション情報生成部１５０は、画像全体が緑色の単色画像（Ｇ画像）を投写するためのキャリブレーション情報を生成する。投写部１９０は、当該キャリブレーション情報に基づき、Ｇ画像を投写する。
【００６５】
撮像部１８０は、Ｇ画像がスクリーン１０に投写された状態のセンシング領域１４を自動露出で撮像し、第１の撮像情報を生成する（ステップＳ２）。記憶部１６０は、第１の撮像情報を記憶する。
【００６６】
次に、キャリブレーション情報生成部１５０は、画像全体が緑色と黒色のチェッカーパターンで構成される複数色画像（チェッカーパターン画像）を投写するためのキャリブレーション情報を生成する。
【００６７】
図５は、第１の実施例におけるチェッカーパターン画像１６を示す図である。
【００６８】
チェッカーパターン画像１６は、画像全体を９等分した９つの領域のうち、中央画像と４隅の４つの周辺画像が黒色であり、それ以外の４つの背景画像が緑色である。
【００６９】
投写部１９０は、チェッカーパターン画像１６用のキャリブレーション情報に基づき、チェッカーパターン画像１６を投写する。
【００７０】
撮像部１８０は、チェッカーパターン画像１６が投写されたスクリーン１０上のセンシング領域１４を、Ｇ画像撮像時の露出で撮像し、第２の撮像情報を生成する（ステップＳ３）。記憶部１６０は、第２の撮像情報を記憶する。
【００７１】
次に、キャリブレーション情報生成部１５０は、画像全体が赤色の単色画像（Ｒ画像）を投写するためのキャリブレーション情報を生成する。投写部１９０は、当該キャリブレーション情報に基づき、Ｒ画像を投写する。
【００７２】
撮像部１８０は、Ｒ画像がスクリーン１０に投写された状態のセンシング領域１４を、Ｇ画像撮像時の露出で撮像し、第３の撮像情報を生成する（ステップＳ４）。記憶部１６０は、第３の撮像情報を記憶する。
【００７３】
次に、キャリブレーション情報生成部１５０は、画像全体が青色の単色画像（Ｂ画像）を投写するためのキャリブレーション情報を生成する。投写部１９０は、当該キャリブレーション情報に基づき、Ｂ画像を投写する。
【００７４】
撮像部１８０は、Ｂ画像がスクリーン１０に投写された状態のセンシング領域１４を、Ｇ画像撮像時の露出で撮像し、第４の撮像情報を生成する（ステップＳ５）。記憶部１６０は、第４の撮像情報を記憶する。
【００７５】
次に、キャリブレーション情報生成部１５０は、画像全体が黒色の単色画像（Ｋ画像）を投写するためのキャリブレーション情報を生成する。投写部１９０は、当該キャリブレーション情報に基づき、Ｋ画像を投写する。
【００７６】
撮像部１８０は、Ｋ画像がスクリーン１０に投写された状態のセンシング領域１４を、Ｇ画像撮像時の露出で撮像し、第５の撮像情報を生成する（ステップＳ６）。記憶部１６０は、第５の撮像情報を記憶する。
【００７７】
差分画像生成部１０６は、第１の撮像情報で表されるＧ画像の撮像画像と、第５の撮像情報で表されるＫ画像の撮像画像との差分画像（ＧＫ差分画像）を生成する（ステップＳ７）。記憶部１６０は、ＧＫ差分画像の情報を記憶する。
【００７８】
また、差分画像生成部１０６は、第１の撮像情報で表されるＧ画像の撮像画像と、第２の撮像情報で表されるチェッカーパターン画像１６の撮像画像との差分画像（チェッカー差分画像）を生成する（ステップＳ８）。記憶部１６０は、チェッカー差分画像の情報を記憶する。
【００７９】
投写領域情報生成部１０２は、チェッカー差分画像の情報に基づき、センサー６０の撮像領域における中央画像の領域（中央領域）の位置に関する中央領域情報と、撮像領域における周辺画像の領域（周辺領域）の位置に関する周辺領域情報を生成するとともに、中央領域情報および周辺領域情報に基づき、撮像領域における投写画像１２（投写領域）の位置に関する投写領域情報を生成する（ステップＳ９）。
【００８０】
具体的には例えば、投写領域情報生成部１０２は、チェッカー差分画像の各画素の値（差分値）が変化する点を判別することにより、中央領域の複数の中央基準位置と、チェッカー差分画像に含まれる周辺領域の周辺基準位置を検出する。そして、投写領域情報生成部１０２は、これらの基準位置に基づいて中央領域の４隅の位置を決定し、当該位置に基づいて投写領域の４隅の位置を決定する。なお、投写領域情報としては、例えば、撮像領域における投写領域の４隅の位置を示す情報等が該当する。
【００８１】
また、投写対象領域情報生成部１０１は、ＧＫ差分画像の情報と、投写領域情報に基づき、撮像領域におけるスクリーン１０の位置に関する投写対象領域情報を生成する（ステップＳ１０）。
【００８２】
具体的には例えば、投写対象領域情報生成部１０１は、投写領域情報に基づく中央領域の４隅の位置から外側に向かってＧＫ差分画像内のエッジ検出を行って境界線を決定することにより投写対象領域情報を生成する。なお、投写対象領域情報としては、例えば、撮像領域におけるスクリーン１０の４隅の位置を示す情報等が該当する。
【００８３】
図６は、第１の実施例における補正情報生成から画像投写までの画像処理の流れを示すフローチャートである。
【００８４】
画像歪み補正部１０３は、投写領域情報と、投写対象領域情報に基づき、投写画像１２の歪みを補正する度合いを示す補正情報を生成する（ステップＳ１１）。
【００８５】
表示領域情報生成部１０４は、補正情報と、投写領域情報に基づき、撮像領域における歪みが補正された投写画像１２の表示領域を示す表示領域情報を生成する（ステップＳ１２）。
【００８６】
より具体的には、表示領域情報生成部１０４は、投写領域情報と、投写対象領域情報に基づき、各領域の形状の相違を判別し、当該相違に応じて投写画像１２の歪みが補正され、投写画像１２が所望のアスペクト比（縦横比）になるように補正情報を生成する。
【００８７】
なお、投写対象領域情報生成部１０１、投写領域情報生成部１０２、画像歪み補正部１０３のより具体的な処理手順は、例えば、特願２００４−１５６２７３号に記載された手法を採用可能であるため、本実施例では説明を省略する。
【００８８】
制御部１０７は、表示領域情報に基づき、歪み補正後の最適なズーム状態を判別し、最適ズーム状態となるようにズーム部１９４を制御する（ステップＳ１３）。
【００８９】
撮像情報補正部１３０は、制御部１０７からの初期ズーム状態を示す情報および最適ズーム状態を示す情報、第１、第３、第４、第５の撮像情報並びに表示領域情報に基づき、最適ズーム状態における表示領域を構成する全画素の三刺激値の種別ごとの平均値を示す補正撮像情報を生成する（ステップＳ１４）。
【００９０】
より具体的には、撮像情報補正部１３０は、Ｒ画像の撮像情報のＲ、Ｇ、Ｂそれぞれの平均値、Ｇ画像の撮像情報のＲ、Ｇ、Ｂそれぞれの平均値、Ｂ画像の撮像情報のＲ、Ｇ、Ｂそれぞれの平均値、Ｋ画像の撮像情報のＲ、Ｇ、Ｂそれぞれの平均値を示す補正撮像情報を生成する。
【００９１】
また、色補正部１２２は、理想的な色を示す理想的色情報と、補正撮像情報に基づき、理想的な色で投写画像１２が投写されるように３Ｄ−ＬＵＴを生成する（ステップＳ１５）。
【００９２】
また、明るさ補正部１２４は、Ｒ画像の補正撮像情報、Ｇ画像の補正撮像情報およびＢ画像の補正撮像情報の和を演算することにより、白色画像（Ｗ画像）の補正撮像情報を生成する（ステップＳ１６）。より具体的には例えば、明るさ補正部１２４は、Ｒ画像の補正撮像情報、Ｇ画像の補正撮像情報およびＢ画像の補正撮像情報の和からＫ画像の補正撮像情報を２回減算した値をＷ画像の補正撮像情報として生成する。なお、Ｋ画像の補正撮像情報を２回減算するのは、３つの値を加算することによって３重になった外光成分から２つ分の外光成分を除去するためである。
【００９３】
そして、明るさ補正部１２４は、撮像情報補正部１３０からの補正撮像情報と、Ｗ画像の補正撮像情報と、理想的な明るさを示す理想的明るさ情報に基づき、理想的な明るさで投写画像１２が投写されるように１Ｄ−ＬＵＴを生成する（ステップＳ１７）。
【００９４】
プロジェクタ２０は、以上の手順により画像情報の補正準備が完了した状態となる。
【００９５】
そして、ＰＣから画像情報が入力された場合、画像歪み補正部１０３は、投写画像１２の歪みを補正するため、補正情報に基づいて画像情報を補正する（ステップＳ１８）。
【００９６】
また、色補正部１２２は、投写画像１２の色を補正するため、画像歪み補正部１０３によって補正された画像情報を、３Ｄ−ＬＵＴを用いて補正する（ステップＳ１９）。
【００９７】
また、明るさ補正部１２４は、投写画像１２の明るさを補正するため、色補正部１２２によって補正された画像情報を、１Ｄ−ＬＵＴを用いて補正する（ステップＳ２０）。
【００９８】
画像情報出力部１４０は、画像歪み補正処理と環境影響軽減処理が行われた画像情報を投写部１９０に出力する。投写部１９０は、当該画像情報に基づき、画像を投写する（ステップＳ２１）。
【００９９】
以上のように、本実施例によれば、プロジェクタ２０は、歪み補正後の表示領域内の撮像情報を用いて環境影響軽減処理を実行することにより、投写画像１２の歪み補正処理を行う場合の環境影響軽減処理をより適切に実行することができる。
【０１００】
また、プロジェクタ２０は、ズーム部１９４による大きさ調整後の表示領域内の撮像情報を用いて環境影響軽減処理を実行することにより、投写画像１２の大きさを調整する場合の環境影響軽減処理をより適切に実行することができる。
【０１０１】
また、本実施例によれば、プロジェクタ２０は、画像歪み補正用のキャリブレーション画像と、色や明るさを補正するためのキャリブレーション画像を共通化して５種類のキャリブレーション画像を投写、撮像することにより、画像処理を効率よく実行できる。すなわち、本実施例によれば、プロジェクタ２０は、画像歪み補正と、外光８０やスクリーン１０の色の影響を考慮した色と明るさの補正をほぼ同時に行うことができる。これにより、プロジェクタ２０は、キャリブレーション処理に必要となる時間を減らし、ユーザーに高い満足感を与えることができる。
【０１０２】
また、本実施例によれば、プロジェクタ２０は、位置確認画像を用いて中央画像に相当する領域がスクリーン１０に入っているかユーザーに確認させることにより、チェッカーパターン画像１６の中央画像内の撮像情報が確実に撮像情報に含まれる状態で撮像することができる。これにより、プロジェクタ２０は、適切な撮像情報を用いて画像処理を実行することができる。
【０１０３】
また、本実施例によれば、プロジェクタ２０は、一旦自動露出設定で最も輝度値の高いＧ画像を撮像することにより、適用環境に適合した露出で第１の撮像情報を生成することができる。また、プロジェクタ２０は、Ｇ画像の撮像時の露出で第２〜第５の撮像情報を生成することにより、差分画像の生成、Ｗ画像の補正撮像情報生成、環境影響補正（色補正、明るさ補正）に適した露出で第２〜第５の撮像情報を生成することができる。
【０１０４】
さらに、本実施例によれば、プロジェクタ２０は、１つのセンサー６０のみを用いて画像歪み補正処理と環境影響軽減処理を同時に実行することができるため、より簡易な構成で効率的に画像処理を実行することができる。
【０１０５】
（第２の実施例）
次に、第２の実施例として、画像歪み補正後の中央領域内の撮像情報を用いた画像処理について説明する。
【０１０６】
第１の実施例では、撮像情報補正部１３０は、表示領域全体の画素における撮像情報を用いている。これに対し、第２の実施例では、撮像情報補正部１３０は、上述した中央領域内の画素における撮像情報を用いる。この場合、撮像情報補正部１３０は、表示領域情報に代えて投写領域情報生成部１０２からの投写領域情報を用いることにより、中央領域の４隅の位置を把握することができ、中央画像内の撮像情報を用いることができる。
【０１０７】
プロジェクタ２０は、このような手法によっても、歪み補正後の投写画像１２の撮像情報を用いることができ、適切な撮像情報を用いて画像処理を実行することができる。
【０１０８】
特に、位置確認画像を用いて中央画像に相当する領域が投写対象領域に入っているかユーザーに確認させることにより、チェッカーパターン画像１６の中央画像内の撮像情報が確実に撮像情報に含まれる状態で撮像することができる。
【０１０９】
（変形例）
以上、本発明を適用した好適な実施の形態について説明してきたが、本発明の適用は上述した実施例に限定されない。
【０１１０】
例えば、上述した実施例では、プロジェクタ２０は、緑色と黒色のチェッカーパターン画像１６を用いたが、例えば、緑色以外の単色（赤色または青色）と黒色のチェッカーパターン画像を用いてもよい。また、チェッカーパターン画像１６を構成する色のパターンを逆にしてもよい。
【０１１１】
また、上述した実施例では、プロジェクタ２０は、白色の単色画像を用いていないが、上述した単色画像に加えて白色の単色画像を用い、チェッカーパターン画像１６に代えて白色と黒色のチェッカーパターン画像を用いてもよい。
【０１１２】
これによれば、プロジェクタ２０は、新たに白色の単色画像を投写して撮像する処理が必要となるが、白色の補正撮像情報を生成する処理を不要とすることができる。
【０１１３】
また、上述した実施例では、プロジェクタ２０は、投写対象領域情報と投写領域情報とに基づいて画像の歪みを補正したが、これ以外の画像歪み補正を行ってもよい。例えば、画像歪み補正部１０３は、撮像情報に基づいて撮像画像内の輝度値のピーク位置を検出し、当該ピーク位置に基づいて画像の歪みを補正してもよい。
【０１１４】
これによれば、プロジェクタ２０は、投写対象領域情報が不要となるため、スクリーン１０等の４隅を検出できない場合にも画像の歪みを補正することができる。
【０１１５】
また、投写部１９０がレンズシフト部を有している場合、画像歪み補正手段は、レンズシフト部を制御することによって画像の歪みが発生しないように制御してもよい。
【０１１６】
また、例えば、処理部１００に外光影響除去手段を設け、外光影響除去手段が、Ｋ画像の撮像情報に所定値以上の輝度値を有する画素領域がある場合、ＧＫ差分画像における当該画素領域の輝度値を、ＧＫ差分画像における当該画素領域近傍の輝度値に置換し、置換後の撮像情報をＫ画像の撮像情報として記憶部１６０に記憶してもよい。
【０１１７】
これによれば、プロジェクタ２０は、部分的な外光８０の影響を除外し、適切な画像処理を実行することができる。
【０１１８】
また、図４に示す前処理（ステップＳ１）は必須ではなく、プロジェクタ２０は、起動直後にステップＳ２以降の処理を実行してもよい。
【０１１９】
また、投写部１９０がズーム機能を有していない場合、画像情報補正部１２０は、補正撮像情報を用いる代わりに表示領域内の撮像情報を用いて３Ｄ−ＬＵＴおよび１Ｄ−ＬＵＴを生成してもよい。
【０１２０】
また、上述した実施例では、センサー６０は、Ｋ画像を用いて第５の撮像情報を生成したが、変形例として、非投写時のスクリーン１０を撮像して第５の撮像情報を生成してもよい。
【０１２１】
また、投写画像１２とスクリーン１０の位置関係は図１に示す例に限定されない。例えば、投写画像１２の外枠全部がスクリーン１０の外枠より外側にあってもよいし、内側にあってもよい。
【０１２２】
また、チェッカーパターン画像１６は、上述した実施例に限定されない。例えば、中央画像や周辺画像の形状は矩形に限定されず、円形、三角形等であってもよい。
【０１２３】
また、スクリーン１０以外の黒板、白板等における投写対象領域に画像を投写する場合であっても本発明は有効である。
【０１２４】
また、例えば、上述した実施例では、画像処理システムをプロジェクタ２０に実装した例について説明したが、プロジェクタ２０以外にもＣＲＴ（Cathode Ray Tube）等のプロジェクタ２０以外の画像処理システムに実装してもよい。また、プロジェクタ２０としては、液晶プロジェクタ以外にも、例えば、ＤＭＤ（Digital Micromirror Device）を用いたプロジェクタ等を用いてもよい。なお、ＤＭＤは米国テキサスインスツルメンツ社の商標である。
【０１２５】
また、上述したプロジェクタ２０の機能は、例えば、プロジェクタ単体で実装してもよいし、複数の処理装置で分散して（例えば、プロジェクタとＰＣとで分散処理）実装してもよい。
【０１２６】
さらに、上述した実施例では、センサー６０をプロジェクタ２０に内蔵した構成であったが、センサー６０を、プロジェクタ２０とは別の独立した装置として構成してもよい。
【図面の簡単な説明】
【０１２７】
【図１】第１の実施例における画像投写状況を示す概略図である。
【図２】第１の実施例におけるプロジェクタの機能ブロック図である。
【図３】第１の実施例におけるプロジェクタのハードウェアブロック図である。
【図４】第１の実施例における前処理から投写対象領域情報生成までの画像処理の流れを示すフローチャートである。
【図５】第１の実施例におけるチェッカーパターン画像を示す図である。
【図６】第１の実施例における補正情報生成から画像投写までの画像処理の流れを示すフローチャートである。
【符号の説明】
【０１２８】
２０  プロジェクタ（画像処理システム）、６０  センサー（撮像手段）、８０  外光、１００  処理部、１０１  投写対象領域情報生成部、１０２  投写領域情報生成部、１０３  画像歪み補正部、１０４  表示領域情報生成部、１０５  環境影響軽減部、１０６  差分画像生成部、１０７  制御部、１２０  画像情報補正部、１２２  色補正部、１２４  明るさ補正部、１３０  撮像情報補正部、１８０  撮像部、１９０  投写部、９００  情報記憶媒体
【図１】
2006222857.tif 000003
【図２】
2006222857.tif 000004
【図３】
2006222857.tif 000005
【図４】
2006222857.tif 000006
【図５】
2006222857.tif 000007
【図６】
2006222857.tif 000008
【手続補正書】
【提出日】平成18年3月8日(2006.3.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
投写対象領域に投写された投写画像の少なくとも一部を含む領域を撮像することによって撮像情報を生成する撮像手段と、
前記撮像情報に基づき、前記撮像手段の撮像領域における前記投写画像の位置に関する情報を示す投写領域情報を生成する投写領域情報生成手段と、
前記投写画像の歪みを補正するとともに当該補正の度合いを示す補正情報を生成する画像歪み補正手段と、
前記投写領域情報と、前記補正情報とに基づき、前記撮像領域における前記投写画像の歪み補正後の表示領域を示す表示領域情報を生成する表示領域情報生成手段と、
前記撮像情報と、前記表示領域情報とに基づき、前記撮像情報に含まれる前記表示領域内の情報を用いて理想環境と実際の使用環境の相違によって生じる環境影響を軽減する処理を実行する環境影響軽減手段と、
を含むことを特徴とする画像処理システム。
【請求項２】
請求項１において、
前記表示領域情報に基づき、前記投写対象領域内の前記表示領域に相当する領域に最適な大きさで前記投写画像が投写されるように、前記投写画像の大きさを調整するズーム部を制御するとともに当該調整の度合いを示す調整情報を生成する制御手段を含み、
前記環境影響軽減手段は、
前記調整情報に基づき、前記調整による前記投写画像の明るさの変化を判別し、当該明るさの変化に応じて前記撮像情報に含まれる前記表示領域内の情報を補正することによって補正撮像情報を生成する撮像情報補正手段と、
前記補正撮像情報に基づき、前記投写画像の色および明るさが理想的な状態となるように画像情報を補正する画像情報補正手段と、
を含むことを特徴とする画像処理システム。
【請求項３】
請求項２において、
前記画像情報補正手段は、
理想的な色を示す理想的色情報と、前記補正撮像情報とに基づき、前記理想的な色で前記投写画像が投写されるように画像情報を補正する色補正手段と、
理想的な明るさを示す理想的明るさ情報と、前記補正撮像情報とに基づき、前記理想的な明るさで前記投写画像が投写されるように前記色補正手段によって補正された画像情報を補正する明るさ補正手段と、
を含むことを特徴とする画像処理システム。
【請求項４】
請求項１〜３のいずれかにおいて、
前記投写画像として、赤色の単色画像と、緑色の単色画像と、青色の単色画像と、黒色の単色画像と、赤色、緑色、青色のいずれかの単色と黒色とを含む複数色画像とを異なる時点において投写する投写手段と、
前記複数色画像の撮像情報と、赤色、緑色、青色、黒色のいずれかの単色画像の撮像情報とに基づく差分画像を生成する差分画像生成手段と、
を含み、
前記複数色画像は、当該複数色画像の中央付近に位置する中央画像と、当該中央画像の周辺に位置する周辺画像と、前記中央画像および前記周辺画像以外の背景画像とから構成され、
前記中央画像および前記周辺画像が黒色で前記背景画像が黒色以外の単色であり、あるいは、前記中央画像および前記周辺画像が黒色以外の単色で前記背景画像が黒色であって、
前記投写領域情報生成手段は、前記差分画像に基づき、前記撮像領域における前記中央
画像の位置に関する中央領域情報と、前記撮像領域における前記周辺画像の位置に関する周辺領域情報とを生成するとともに、前記中央領域情報および前記周辺領域情報に基づき、前記投写領域情報を生成することを特徴とする画像処理システム。
【請求項５】
請求項３に従属する請求項４において、
前記撮像情報補正手段は、赤色、緑色、青色および黒色の各単色画像の撮像情報に基づき、赤色、緑色、青色および黒色の各単色画像の補正撮像情報を生成し、
前記色補正手段は、赤色、緑色、青色および黒色の各単色画像の補正撮像情報に基づき、前記画像情報を補正し、
前記明るさ補正手段は、赤色、緑色、青色および黒色の各単色画像の補正撮像情報に基づき、白色の単色画像の補正撮像情報を生成するとともに、当該白色の単色画像の補正撮像情報と、黒色の単色画像の補正撮像情報を利用して、前記色補正手段によって補正された画像情報を補正することを特徴とする画像処理システム。
【請求項６】
請求項２、３のいずれかに従属する請求項４、請求項５のいずれかにおいて、
前記撮像情報補正手段は、赤色、緑色、青色および黒色の各単色画像の撮像情報ごとに、前記撮像情報に含まれる前記表示領域を構成する全画素の画像信号値の平均値を当該画像信号値の種別ごとに演算するとともに、前記明るさの変化に応じて前記画像信号値の種別ごとの平均値を補正することにより、補正後の平均値を示す情報を前記補正撮像情報として生成することを特徴とする画像処理システム。
【請求項７】
投写対象領域に投写された投写画像の少なくとも一部を含む領域を撮像することによって撮像情報を生成する撮像手段と、
前記撮像情報に基づき、前記撮像手段の撮像領域における前記投写画像の位置に関する情報を示す投写領域情報を生成する投写領域情報生成手段と、
前記投写画像の歪みを補正するとともに当該補正の度合いを示す補正情報を生成する画像歪み補正手段と、
理想環境と実際の使用環境の相違によって生じる環境影響を軽減する処理を実行する環境影響軽減手段と、
前記投写画像として、赤色の単色画像と、緑色の単色画像と、青色の単色画像と、黒色の単色画像と、赤色、緑色、青色のいずれかの単色と黒色とを含む複数色画像とを異なる時点において投写する投写手段と、
前記複数色画像の撮像情報と、赤色、緑色、青色、黒色のいずれかの単色画像の撮像情報とに基づく差分画像を生成する差分画像生成手段と、
を含み、
前記複数色画像は、当該複数色画像の中央付近に位置する中央画像と、当該中央画像の周辺に位置する周辺画像と、前記中央画像および前記周辺画像以外の背景画像とから構成され、
前記中央画像および前記周辺画像が黒色で前記背景画像が黒色以外の単色であり、あるいは、前記中央画像および前記周辺画像が黒色以外の単色で前記背景画像が黒色であって、
前記投写領域情報生成手段は、前記差分画像に基づき、前記撮像領域における前記中央画像の位置に関する中央領域情報と、前記撮像領域における前記周辺画像の位置に関する周辺領域情報とを生成するとともに、前記中央領域情報および前記周辺領域情報に基づき、前記投写領域情報を生成し、
前記環境影響軽減手段は、前記撮像情報と、前記補正情報と、前記中央領域情報とに基づき、前記撮像情報に含まれる前記歪みが補正された状態の前記中央画像内の情報を用いて前記環境影響を軽減する処理を実行することを特徴とする画像処理システム。
【請求項８】
請求項７において、
前記投写手段は、前記投写画像の投写前に前記複数色画像または前記中央画像に相当する領域を有する画像を、前記中央画像に相当する領域が前記投写対象領域に投写されているかユーザーに確認させるための位置確認画像として投写することを特徴とする画像処理システム。
【請求項９】
請求項１〜８のいずれかに記載の画像処理システムを有することを特徴とするプロジェクタ。
【請求項１０】
撮像手段を有するコンピュータにより読み取り可能なプログラムであって、
コンピュータを、
前記撮像手段に投写対象領域に投写された投写画像の少なくとも一部を含む領域を撮像させることによって撮像情報を生成させる手段と、
前記撮像情報に基づき、前記撮像手段の撮像領域における前記投写画像の位置に関する情報を示す投写領域情報を生成する投写領域情報生成手段と、
前記投写画像の歪みを補正するとともに当該補正の度合いを示す補正情報を生成する画像歪み補正手段と、
前記投写領域情報と、前記補正情報とに基づき、前記撮像領域における前記投写画像の歪み補正後の表示領域を示す表示領域情報を生成する表示領域情報生成手段と、
前記撮像情報と、前記表示領域情報とに基づき、前記撮像情報に含まれる前記表示領域内の情報を用いて理想環境と実際の使用環境の相違によって生じる環境影響を軽減する処理を実行する環境影響軽減手段として機能させることを特徴とするプログラム。
【請求項１１】
撮像手段と、投写手段とを有するコンピュータにより読み取り可能なプログラムであって、
コンピュータを、
前記撮像手段に投写対象領域に投写された投写画像の少なくとも一部を含む領域を撮像させることによって撮像情報を生成させる手段と、
前記撮像情報に基づき、前記撮像手段の撮像領域における前記投写画像の位置に関する情報を示す投写領域情報を生成する投写領域情報生成手段と、
前記投写画像の歪みを補正するとともに当該補正の度合いを示す補正情報を生成する画像歪み補正手段と、
理想環境と実際の使用環境の相違によって生じる環境影響を軽減する処理を実行する環境影響軽減手段と、
前記投写手段に、前記投写画像として、赤色の単色画像と、緑色の単色画像と、青色の単色画像と、黒色の単色画像と、赤色、緑色、青色のいずれかの単色と黒色とを含む複数色画像とを異なる時点において投写させる手段と、
前記複数色画像の撮像情報と、赤色、緑色、青色、黒色のいずれかの単色画像の撮像情報とに基づく差分画像を生成する差分画像生成手段として機能させ、
前記複数色画像は、当該複数色画像の中央付近に位置する中央画像と、当該中央画像の周辺に位置する周辺画像と、前記中央画像および前記周辺画像以外の背景画像とから構成され、
前記中央画像および前記周辺画像が黒色で前記背景画像が黒色以外の単色であり、あるいは、前記中央画像および前記周辺画像が黒色以外の単色で前記背景画像が黒色であって、
前記投写領域情報生成手段は、前記差分画像に基づき、前記撮像領域における前記中央画像の位置に関する中央領域情報と、前記撮像領域における前記周辺画像の位置に関する周辺領域情報とを生成するとともに、前記中央領域情報および前記周辺領域情報に基づき、前記投写領域情報を生成し、
前記環境影響軽減手段は、前記撮像情報と、前記補正情報と、前記中央領域情報とに基づき、前記撮像情報に含まれる前記歪みが補正された状態の前記中央画像内の情報を用い
て前記環境影響を軽減する処理を実行することを特徴とするプログラム。
【請求項１２】
請求項１０、１１のいずれかに記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【請求項１３】
撮像手段と、処理手段とを有するコンピュータによる画像処理方法であって、
前記撮像手段は、投写対象領域に投写された投写画像の少なくとも一部を含む領域を撮像することによって撮像情報を生成し、
前記処理手段は、
前記撮像情報に基づき、前記撮像手段の撮像領域における前記投写画像の位置に関する情報を示す投写領域情報を生成し、
前記投写画像の歪みを補正し、
当該補正の度合いを示す補正情報を生成し、
前記投写領域情報と、前記補正情報とに基づき、前記撮像領域における前記投写画像の歪み補正後の表示領域を示す表示領域情報を生成し、
前記撮像情報と、前記表示領域情報とに基づき、前記撮像情報に含まれる前記表示領域内の情報を用いて理想環境と実際の使用環境の相違によって生じる環境影響を軽減する処理を実行することを特徴とする画像処理方法。
【請求項１４】
撮像手段と、処理手段と、投写手段とを有するコンピュータによる画像処理方法であって、
前記投写手段は、投写画像として、赤色の単色画像と、緑色の単色画像と、青色の単色画像と、黒色の単色画像と、赤色、緑色、青色のいずれかの単色と黒色とを含む複数色画像とを異なる時点において投写し、
前記複数色画像は、当該複数色画像の中央付近に位置する中央画像と、当該中央画像の周辺に位置する周辺画像と、前記中央画像および前記周辺画像以外の背景画像とから構成され、
前記中央画像および前記周辺画像が黒色で前記背景画像が黒色以外の単色であり、あるいは、前記中央画像および前記周辺画像が黒色以外の単色で前記背景画像が黒色であって、
前記撮像手段は、投写対象領域に投写された各投写画像の少なくとも一部を含む領域を撮像することによって撮像情報を生成し、
前記処理手段は、
前記複数色画像の撮像情報と、赤色、緑色、青色、黒色のいずれかの単色画像の撮像情報とに基づく差分画像を生成し、
前記差分画像に基づき、前記撮像手段の撮像領域における前記中央画像の位置に関する中央領域情報と、前記撮像領域における前記周辺画像の位置に関する周辺領域情報とを生成し、
前記中央領域情報および前記周辺領域情報に基づき、前記撮像領域における前記投写画像の位置に関する情報を示す投写領域情報を生成し、
前記投写画像の歪みを補正し、
当該補正の度合いを示す補正情報を生成し、
前記撮像情報と、前記補正情報と、前記中央領域情報とに基づき、前記撮像情報に含まれる前記歪みが補正された状態の前記中央画像内の情報を用いて、理想環境と実際の使用環境の相違によって生じる環境影響を軽減する処理を実行することを特徴とする画像処理方法。