(57)【要約】【課題】投写画像の歪みを自動的かつ適切に補正することが可能な画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法を提供すること。【解決手段】投写画像が投写されたセンシング領域をセンシングしてセンシング情報を出力するエリアセンサー部１８２と、投写領域内における複数の異なる領域ごとの平均輝度の比率と投写領域の座標を導出するための導出用座標とが関連づけられた角度補正データ１２４と、投写領域の導出用座標を示す座標データ１２２とを記憶する記憶部１２０と、センシング情報に基づき、投写領域における輝度分布に応じて角度補正データ１２４を参照し、角度補正データ１２４に基づき、座標データ１２２における導出用座標を補正する輝度分布解析部１６０と、座標データ１２２に基づき、投写画像の歪みが補正されるように、画像信号の補正を行うリサイズ部１３０とをプロジェクタに設ける。【選択図】        図４
2004222153.tif 000002
【特許請求の範囲】
【請求項１】
所定の投写画像が投写されたセンシング領域をセンシングしてセンシング情報を出力するセンシング手段と、
当該センシング情報に基づき、前記センシング領域に含まれる投写領域における輝度分布を解析する輝度分布解析手段と、
投写領域内における複数の異なる領域ごとの平均輝度の比率と投写領域の座標を導出するための導出用座標とが関連づけられた角度補正データと、投写領域の導出用座標を示す座標データとを記憶する記憶手段と、
前記座標データに基づき、投写画像の歪みが補正されるように、画像信号の補正を行う画像信号補正手段と、を含み、
前記輝度分布解析手段は、投写領域における輝度分布に応じて前記角度補正データを参照し、前記角度補正データに基づき、前記座標データにおける導出用座標を補正することを特徴とする画像処理システム。
【請求項２】
請求項１において、
矩形のスクリーンに矩形の投写画像を投写する場合に、前記センシング情報に基づく輝度分布に基づき、投写領域と、前記センシング領域に含まれるスクリーン領域とを抽出するとともに、抽出した投写領域およびスクリーン領域の各頂点の位置情報と、スクリーン領域の４隅の導出用座標情報とに基づき、前記座標データにおける４つの導出用座標を更新する周辺情報解析手段を含むことを特徴とする画像処理システム。
【請求項３】
請求項２において、
前記センシング情報に基づく輝度情報に基づき、所定の基準よりも明るい明状態か所定の基準よりも暗い暗状態かを判定する環境解析手段を含み、
明状態の場合には、前記周辺情報解析手段が前記座標データにおける導出用座標を更新し、暗状態の場合には、前記輝度分布解析手段が前記座標データにおける導出用座標を更新することを特徴とする画像処理システム。
【請求項４】
所定の投写画像が投写されたセンシング領域をセンシングしてセンシング情報を出力するセンシング手段と、
当該センシング情報に基づき、前記センシング領域に含まれる投写領域における輝度分布を解析する輝度分布解析手段と、
投写領域内における複数の異なる領域ごとの平均輝度の比率と投写領域の座標を導出するための導出用座標とが関連づけられた角度補正データと、投写領域の導出用座標を示す座標データとを記憶する記憶手段と、
前記座標データに基づき、投写画像の歪みが補正されるように、画像信号の補正を行う画像信号補正手段と、
補正された画像信号に基づき、投写画像を投写する画像投写手段と、を含み、
前記輝度分布解析手段は、投写領域における輝度分布に応じて前記角度補正データを参照し、前記角度補正データに基づき、前記座標データにおける導出用座標を補正することを特徴とするプロジェクタ。
【請求項５】
コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
所定の投写画像が投写されたセンシング領域をセンシング手段にセンシングさせてセンシング情報を出力するセンシング制御手段と、
当該センシング情報に基づき、前記センシング領域に含まれる投写領域における輝度分布を解析する輝度分布解析手段と、
投写領域内における複数の異なる領域ごとの平均輝度の比率と投写領域の座標を導出するための導出用座標とが関連づけられた角度補正データと、投写領域の導出用座標を示す座標データとを所定の記憶領域に記憶する記憶制御手段と、
前記座標データに基づき、投写画像の歪みが補正されるように、画像信号の補正を行う画像信号補正手段として機能させ、
前記輝度分布解析手段は、投写領域における輝度分布に応じて前記角度補正データを参照し、前記角度補正データに基づき、前記座標データにおける導出用座標を補正することを特徴とするプログラム。
【請求項６】
コンピュータにより読み取り可能な情報記憶媒体であって、請求項５に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【請求項７】
所定の投写画像が投写されたセンシング領域をセンシングしてセンシング情報を出力し、
当該センシング情報に基づき、前記センシング領域に含まれる投写領域における輝度分布を解析し、投写領域における輝度分布に応じ、投写領域内における複数の異なる領域ごとの平均輝度の比率と投写領域の座標を導出するための導出用座標とが関連づけられた角度補正データを参照し、
前記角度補正データに基づき、投写領域の導出用座標を示す座標データにおける導出用座標を補正し、
前記座標データに基づき、投写画像の歪みが補正されるように、画像信号の補正を行うことを特徴とする画像処理方法。
【請求項８】
請求項７において、
矩形のスクリーンに矩形の投写画像を投写する場合に、前記センシング情報に基づく輝度分布に基づき、投写領域と、前記センシング領域に含まれるスクリーン領域とを抽出し、
抽出した投写領域およびスクリーン領域の各頂点の位置情報と、スクリーン領域の４隅の導出用座標情報とに基づき、前記座標データにおける４つの導出用座標を更新することを特徴とする画像処理方法。
【請求項９】
請求項８において、
前記センシング情報に基づく輝度情報に基づき、明状態か暗状態かを判定し、明状態の場合には、前記位置情報と、スクリーン領域の４隅の導出用座標情報とに基づき、前記座標データにおける４つの導出用座標を更新し、暗状態の場合には、前記センシング情報に基づき、投写領域における輝度分布を解析し、投写領域における輝度分布に応じ、投写領域内における複数の異なる領域ごとの平均輝度の比率と投写領域の座標を導出するための導出用座標とが関連づけられた角度補正データを参照し、前記角度補正データに基づき、投写領域の導出用座標を示す座標データにおける導出用座標を補正することを特徴とする画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、台形歪みや回転ずれ等の投写画像の歪みを補正可能な画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法に関する。
【０００２】
【背景技術】
プロジェクタの投写画像において発生するいわゆる台形歪み等の画像の歪みを補正する種々の手法が提案されている。
【０００３】
例えば、プロジェクタの傾きを検出して垂直方向の歪みを自動的に補正する手法がある。
【０００４】
しかし、この手法では、ユーザーは水平方向の歪みを補正することはできない。
【０００５】
このため、水平方向の歪みを、ユーザーが画像を見ながらリモコンの補正用スイッチを押して歪みを手動で補正する手法がある。
【０００６】
しかし、ユーザーが、手動で歪みを補正するのは手間がかかる上、手動で適切に補正することは困難である。
【０００７】
このような問題点に鑑み、例えば、特許文献１では、カメラを用いて投影面を撮像し、投影領域における対向辺の長さを比較して歪みを検定し、検定結果により歪みを補正している。
【０００８】
【特許文献１】
特開２０００−２４１８７４号公報
【０００９】
【発明が解決しようとする課題】
しかし、当該公報では、本体内蔵のカメラが用いられており、カメラの光軸とレンズの光軸がほぼ同じになるため、撮像画像で示される投写領域は常にほぼ矩形となり、撮像画像に基づいて投写領域の対向辺の長さを比較することは困難である。
【００１０】
本発明は、上記の課題に鑑みなされたものであり、その目的は、投写画像の歪みを自動的かつ適切に補正することが可能な画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法を提供することにある。
【００１１】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る画像処理システムは、所定の投写画像が投写されたセンシング領域をセンシングしてセンシング情報を出力するセンシング手段と、
当該センシング情報に基づき、前記センシング領域に含まれる投写領域における輝度分布を解析する輝度分布解析手段と、
投写領域内における複数の異なる領域ごとの平均輝度の比率と投写領域の座標を導出するための導出用座標とが関連づけられた角度補正データと、投写領域の導出用座標を示す座標データとを記憶する記憶手段と、
前記座標データに基づき、投写画像の歪みが補正されるように、画像信号の補正を行う画像信号補正手段と、を含み、
前記輝度分布解析手段は、投写領域における輝度分布に応じて前記角度補正データを参照し、前記角度補正データに基づき、前記座標データにおける導出用座標を補正することを特徴とする。
【００１２】
また、本発明に係るプロジェクタは、所定の投写画像が投写されたセンシング領域をセンシングしてセンシング情報を出力するセンシング手段と、
当該センシング情報に基づき、前記センシング領域に含まれる投写領域における輝度分布を解析する輝度分布解析手段と、
投写領域内における複数の異なる領域ごとの平均輝度の比率と投写領域の座標を導出するための導出用座標とが関連づけられた角度補正データと、投写領域の導出用座標を示す座標データとを記憶する記憶手段と、
前記座標データに基づき、投写画像の歪みが補正されるように、画像信号の補正を行う画像信号補正手段と、
補正された画像信号に基づき、投写画像を投写する画像投写手段と、を含み、
前記輝度分布解析手段は、投写領域における輝度分布に応じて前記角度補正データを参照し、前記角度補正データに基づき、前記座標データにおける導出用座標を補正することを特徴とする。
【００１３】
また、本発明に係るプログラムは、コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
所定の投写画像が投写されたセンシング領域をセンシング手段にセンシングさせてセンシング情報を出力するセンシング制御手段と、
当該センシング情報に基づき、前記センシング領域に含まれる投写領域における輝度分布を解析する輝度分布解析手段と、
投写領域内における複数の異なる領域ごとの平均輝度の比率と投写領域の座標を導出するための導出用座標とが関連づけられた角度補正データと、投写領域の導出用座標を示す座標データとを所定の記憶領域に記憶する記憶制御手段と、
前記座標データに基づき、投写画像の歪みが補正されるように、画像信号の補正を行う画像信号補正手段として機能させ、
前記輝度分布解析手段は、投写領域における輝度分布に応じて前記角度補正データを参照し、前記角度補正データに基づき、前記座標データにおける導出用座標を補正することを特徴とする。
【００１４】
また、本発明に係る情報記憶媒体は、コンピュータにより読み取り可能な情報記憶媒体であって、上記プログラムを記憶したことを特徴とする。
【００１５】
また、本発明に係る画像処理方法は、所定の投写画像が投写されたセンシング領域をセンシングしてセンシング情報を出力し、
当該センシング情報に基づき、前記センシング領域に含まれる投写領域における輝度分布を解析し、投写領域における輝度分布に応じ、投写領域内における複数の異なる領域ごとの平均輝度の比率と投写領域の座標を導出するための導出用座標とが関連づけられた角度補正データを参照し、
前記角度補正データに基づき、投写領域の導出用座標を示す座標データにおける導出用座標を補正し、
前記座標データに基づき、投写画像の歪みが補正されるように、画像信号の補正を行うことを特徴とする。
【００１６】
本発明によれば、画像処理システム等は、輝度分布に基づいて投写領域の歪みを判定している。これにより、画像処理システム等は、投写光の光軸とセンシング手段の光軸がほぼ同じで撮像画像の形状からは画像の歪みを判別しにくい場合であっても、画像の歪みを適切に判別することができる。これにより、画像処理システム等は、投写画像の歪みを自動的かつ適切に補正することができる。
【００１７】
また、前記画像処理システムおよび前記プロジェクタは、矩形のスクリーンに矩形の投写画像を投写する場合に、前記センシング情報に基づく輝度分布に基づき、投写領域と、前記センシング領域に含まれるスクリーン領域とを抽出するとともに、抽出した投写領域およびスクリーン領域の各頂点の位置情報と、スクリーン領域の４隅の導出用座標情報とに基づき、前記座標データにおける４つの導出用座標を更新する周辺情報解析手段を含んでもよい。
【００１８】
また、前記プログラムおよび前記情報記憶媒体は、矩形のスクリーンに矩形の投写画像を投写する場合に、前記センシング情報に基づく輝度分布に基づき、投写領域と、前記センシング領域に含まれるスクリーン領域とを抽出するとともに、抽出した投写領域およびスクリーン領域の各頂点の位置情報と、スクリーン領域の４隅の導出用座標情報とに基づき、前記座標データにおける４つの導出用座標を更新する周辺情報解析手段としてコンピュータを機能させてもよい。
【００１９】
また、前記画像処理方法では、矩形のスクリーンに矩形の投写画像を投写する場合に、前記センシング情報に基づく輝度分布に基づき、投写領域と、前記センシング領域に含まれるスクリーン領域とを抽出し、
抽出した投写領域およびスクリーン領域の各頂点の位置情報と、スクリーン領域の４隅の導出用座標情報とに基づき、前記座標データにおける４つの導出用座標を更新してもよい。
【００２０】
これによれば、画像処理システム等は、矩形のスクリーン領域の各頂点の位置情報を用いて座標データにおける４つの導出用座標を更新することにより、画像の歪みを適切に補正することができる。
【００２１】
また、前記画像処理システムおよび前記プロジェクタは、前記センシング情報に基づく輝度情報に基づき、所定の基準よりも明るい明状態か所定の基準よりも暗い暗状態かを判定する環境解析手段を含み、
明状態の場合には、前記周辺情報解析手段が前記座標データにおける導出用座標を更新し、暗状態の場合には、前記輝度分布解析手段が前記座標データにおける導出用座標を更新してもよい。
【００２２】
また、前記プログラムおよび前記情報記憶媒体は、前記センシング情報に基づく輝度情報に基づき、所定の基準よりも明るい明状態か所定の基準よりも暗い暗状態かを判定する環境解析手段としてコンピュータを機能させ、
明状態の場合には、前記周辺情報解析手段が前記座標データにおける導出用座標を更新し、暗状態の場合には、前記輝度分布解析手段が前記座標データにおける導出用座標を更新してもよい。
【００２３】
また、前記画像処理方法では、前記センシング情報に基づく輝度情報に基づき、明状態か暗状態かを判定し、
明状態の場合には、前記位置情報と、スクリーン領域の４隅の導出用座標情報とに基づき、前記座標データにおける４つの導出用座標を更新し、暗状態の場合には、前記センシング情報に基づき、投写領域における輝度分布を解析し、投写領域における輝度分布に応じ、投写領域内における複数の異なる領域ごとの平均輝度の比率と投写領域の座標を導出するための導出用座標とが関連づけられた角度補正データを参照し、前記角度補正データに基づき、投写領域の導出用座標を示す座標データにおける導出用座標を補正してもよい。
【００２４】
これによれば、画像処理システム等は、実際の使用環境に適合した方式で座標データにおける導出用座標を補正することにより、投写画像の歪みを自動的かつ適切に補正することができる。
【００２５】
【発明の実施の形態】
以下、本発明を、投写画像の台形歪みを補正する画像処理システムとして機能するプロジェクタに適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施形態は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施形態に示す構成の全てが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。
【００２６】
（システム全体の説明）
図１は、台形歪み画像の一例を示す図である。
【００２７】
例えば、図１に示すように、矩形のスクリーン８の左手前に配置された画像処理システムの一種であるプロジェクタ２０が画像補正処理を行わずに矩形の画像を投写した場合、投写領域１２は、最左端が最も短く、最右端が最も長い台形状となる。
【００２８】
本実施の形態では、投写領域１２およびスクリーン領域１０を含むセンシング領域１４をセンシング手段であるセンサー３０を用いて撮像（センシング）する。
【００２９】
図２は、プロジェクタ２０に搭載されたセンサー３０で撮像した画像の一例を示す図である。
【００３０】
例えば、プロジェクタ２０のレンズの光軸とほぼ同じ光軸でセンサー３０が撮像した場合、その撮像画像において、スクリーン領域４０における投写領域４２は、長方形となり歪んでいないように見える。
【００３１】
しかし、図１に示すように、実際には、スクリーン８の正面から見ると、投写領域１２は歪んでいる。
【００３２】
本実施の形態では、センシング領域１４の輝度分布に応じて画像の補正処理を行っている。
【００３３】
図３は、画像の明るさの違いを示す模式図である。
【００３４】
例えば、図１に示すようにスクリーン８の左手前から単一色の画像を投写した場合、投写領域１２の左側が最も輝度が高く、投写領域１２の右側が最も輝度が低くなる。
【００３５】
本実施の形態では、投写領域１２の輝度分布に基づいて画像の歪みを把握し、歪みに応じて画像の補正処理を行っている。これにより、プロジェクタ２０のレンズの光軸とほぼ同じ光軸でセンサー３０が撮像した場合であっても、画像の歪みを適切に把握することができる。
【００３６】
（機能ブロックの説明）
次に、このような機能を実現するためのプロジェクタ２０の機能ブロックについて説明する。
【００３７】
図４は、本実施形態の一例に係るプロジェクタ２０の機能ブロック図である。
【００３８】
プロジェクタ２０は、信号入力部１１０と、記憶部１２０と、リサイズ部１３０と、信号出力部１４０と、画像生成部１５０と、輝度分布解析部１６０と、周辺情報解析部１７０と、環境解析部１８０と、画像投写部１９０とを含んで構成されている。
【００３９】
また、センサー３０は、エリアセンサー部１８２を含んで構成されている。
【００４０】
信号入力部１１０は、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）等から入力されるアナログ形式の画像信号を、デジタル形式の画像信号に変換する。
【００４１】
また、記憶部１２０は、投写領域１２の座標を導出するための導出用座標を示す座標テーブル１２２と、投写領域１２内における複数の異なる領域ごとの平均輝度の比率と投写領域１２の導出用座標とが関連づけられた角度補正テーブル１２４とを記憶している。なお、ここで、導出用座標としては、例えば、液晶ライトバルブの座標軸における座標、投写画像の座標軸における座標、ＸＹＺ３軸の絶対座標における座標等が該当する。
【００４２】
ここで、座標テーブル１２２と角度補正テーブル１２４のデータ構造およびデータ内容について説明する。
【００４３】
図５は、本実施形態の一例に係る座標データ１２２のデータ構造を示す図であり、図５（Ａ）は補正前の座標データ１２２のデータ内容を示す図であり、図５（Ｂ）は補正後の座標データ１２２のデータ内容を示す図である。また、図６は、本実施形態の一例に係る角度補正データ１２４のデータ構造を示す図である。
【００４４】
図５（Ａ）および図５（Ｂ）に示すように、座標テーブル１２２は、投写領域１２の４隅ＡＢＣＤまたはＡ’Ｂ’Ｃ’Ｄ’の導出用のｘｙ軸における座標を有している。
【００４５】
また、図６に示すように、角度補正テーブル１２４は、投写領域１２が横方向に分割された２つの領域の平均輝度の比率ＲＨおよび投写領域１２が縦方向に分割された２つの領域の平均輝度の比率ＲＶと、座標テーブル１２２の導出用座標と対応した導出用座標とが関連づけられている。これにより、プロジェクタ２０は、比率ＲＨ、ＲＶを求めることにより、導出用座標を一意に求めることができる。
【００４６】
また、画像信号の補正を行う画像補正手段として機能するリサイズ部１３０は、信号入力部１１０から入力される画像信号を１画像分記憶し、座標テーブル１２２に基づき、投写画像の歪みが補正（リサイズ）されるように画像信号を補正する。
【００４７】
なお、リサイズの具体的な手法としては、例えば、一般的に用いられている遠近変形処理によって歪みを補正する手法を採用してもよい。
【００４８】
また、画像生成部１５０は、全黒画像（黒のみからなる単一色の画像）および全白画像（白のみからなる単一色の画像）等のキャリブレーション画像を投写するための画像信号を生成し、信号出力部１４０に出力する。
【００４９】
このように、キャリブレーション用の画像信号をプロジェクタ２０の内部で生成することにより、ＰＣ等の外部入力装置からキャリブレーション用の画像信号をプロジェクタ２０に入力することなく、プロジェクタ２０単体でキャリブレーションを行うことができる。なお、画像生成部１５０を設けずに、ＰＣ等からキャリブレーション用の画像信号を入力してもよい。
【００５０】
また、信号出力部１４０は、リサイズ部１３０で補正された画像信号や画像生成部１５０からのキャリブレーション用の画像信号を入力し、アナログ形式の画像信号に変換して画像投写部１９０に出力する。
【００５１】
なお、プロジェクタ２０がデジタル形式のＲＧＢ信号のみを用いる場合、信号入力部１１０によるＡ／Ｄ変換処理および信号出力部１４０によるＤ／Ａ変換処理は不要である。
【００５２】
また、画像投写部１９０は、空間光変調器１９２と、空間光変調器１９２を駆動する駆動部１９４と、光源１９６と、レンズ１９８とを含んで構成されている。
【００５３】
駆動部１９４は、信号出力部１４０からの画像信号に基づき、空間光変調器１９２を駆動する。そして、画像投写部１９０は、光源１９６からの光を、空間光変調器１９２およびレンズ１９８を介して投写する。
【００５４】
なお、光源１９６としては、例えば、点光源、面光源等の種々の光源を採用可能である。
【００５５】
また、本実施の形態では、環境解析部１８０は、エリアセンサー部１８２からのセンシング情報に基づく輝度情報に基づき、所定の基準よりも明るい明状態か所定の基準よりも暗い暗状態かを判定する。
【００５６】
なお、この基準としては、例えば、平均輝度Ｙを０．３＊Ｒ信号値＋０．６＊Ｇ信号値＋０．１＊Ｂ信号値によって求めている場合、平均輝度Ｙが６０程度を閾値として明状態か暗状態かを判定してもよい。また、この閾値は、実際にはセンサー３０の設定やセンシング領域１４によって変化するため、上記値に限定されるものではない。
【００５７】
そして、明状態の場合には、周辺情報解析部１７０が座標テーブル１２２における導出用座標を更新し、暗状態の場合には、輝度分布解析部１６０が座標テーブル１２２における導出用座標を更新する。
【００５８】
なお、上述したプロジェクタ２０の各部を実現するためのハードウェアとしては、例えば、以下のものを適用できる。
【００５９】
図７は、本実施形態の一例に係るプロジェクタ２０のハードウェアブロック図である。
【００６０】
例えば、信号入力部１１０としては、例えばＡ／Ｄコンバーター９３０等、記憶部１２０としては、例えばＲＡＭ９５０等、リサイズ部１３０、画像生成部１５０、輝度分布解析部１６０、周辺情報解析部１７０および環境解析部１８０としては、例えば画像処理回路９７０、ＲＡＭ９５０、ＣＰＵ９１０等、信号出力部１４０としては、例えばＤ／Ａコンバーター９４０等、空間光変調器１９２としては、例えば液晶パネル９２０、液晶パネル９２０を駆動する液晶ライトバルブ駆動ドライバを記憶するＲＯＭ９６０等を用いて実現できる。
【００６１】
なお、これらの各部はシステムバス９８０を介して相互に情報をやりとりすることが可能である。
【００６２】
また、エリアセンサー部１８２としては、例えばＣＣＤセンサー等を用いて実現できる。
【００６３】
また、これらの各部は回路のようにハードウェア的に実現してもよいし、ドライバのようにソフトウェア的に実現してもよい。
【００６４】
さらに、輝度分布解析部１６０等としてコンピュータを機能させるためのプログラムを記憶した情報記憶媒体９００からプログラムを読み取って輝度分布解析部１６０等の機能をコンピュータに実現させてもよい。
【００６５】
このような情報記憶媒体９００としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＲＯＭ、ＲＡＭ、ＨＤＤ等を適用でき、そのプログラムの読み取り方式は接触方式であっても、非接触方式であってもよい。
【００６６】
また、情報記憶媒体９００に代えて、上述した各機能を実現するためのプログラム等を、伝送路を介してホスト装置等からダウンロードすることによって上述した各機能を実現することも可能である。
【００６７】
（画像処理の流れの説明）
次に、これらの各部を用いた画像処理の流れについて説明する。
【００６８】
図８は、本実施形態の一例に係る画像処理の流れを示すフローチャートである。
【００６９】
プロジェクタ２０起動後、画像生成部１５０は、キャリブレーション用の全黒画像と全白画像を投写するための画像信号を生成し、当該画像信号を、信号出力部１４０を介して画像投写部１９０に転送する。
【００７０】
画像投写部１９０は、当該画像信号に基づき、全黒画像と全白画像をスクリーン８に投写し、エリアセンサー部１８２は、それぞれの画像の投写時に、スクリーン領域１０および投写領域１２を含むセンシング領域１４を撮像する（ステップＳ１）。
【００７１】
エリアセンサー部１８２は、全黒画像と全白画像の撮像情報を環境解析部１８０に転送する。
【００７２】
環境解析部１８０は、全白画像の撮像情報から全黒画像の撮像情報を引いた差分情報を生成し、当該差分情報に基づき輝度変化量を把握する。そして、環境解析部１８０は、輝度変化量に基づき、センシング領域１４に含まれる投写領域１２を識別する。
【００７３】
そして、環境解析部１８０は、投写領域１２内の平均輝度と閾値を比較し、所定の状態よりも暗い暗状態であるかどうかを判定する（ステップＳ２）。
【００７４】
環境解析部１８０は、投写領域１２内の平均輝度が閾値未満の暗状態であると判定した場合、全黒画像と全白画像の撮像情報および投写領域１２の座標情報を輝度分布解析部１６０に転送する。
【００７５】
輝度分布解析部１６０は、画像を分割した複数の領域における平均輝度を演算し、各領域の平均輝度を対比した比率を演算する。
【００７６】
図９は、本実施形態の一例に係る画像を分割した状態を示す模式図であり、図９（Ａ）は、画像を左右に分割した模式図であり、図９（Ｂ）は、画像を上下に分割した模式図である。
【００７７】
例えば、図９（Ａ）に示すように、投写領域１２を左右に分割し、左側の領域の平均輝度をＹＬ、右側の領域の平均輝度をＹＲとする。また、図９（Ｂ）に示すように、投写領域１２を上下に分割し、上側の領域の平均輝度をＹＴ、下側の領域の平均輝度をＹＢとする。
【００７８】
輝度分布解析部１６０は、ＹＲがＹＬ以上の場合、ＹＲ／ＹＬを水平方向の比率ＲＨとして求め、ＹＲがＹＬ未満の場合、−（ＹＬ／ＹＲ）をＲＨとして求め、ＹＴがＹＢ以上の場合、ＹＴ／ＹＢを垂直方向の比率ＲＶとして求め、ＹＴがＹＢ未満の場合、−（ＹＢ／ＹＴ）をＲＶとして求める。
【００７９】
そして、輝度分布解析部１６０は、角度補正テーブル１２４を参照し、ＲＨ、ＲＶの値に応じて補正後の導出用座標を示すＡ’、Ｂ’、Ｃ’、Ｄ’の４点それぞれのｘｙ値を取得する。
【００８０】
さらに、輝度分布解析部１６０は、取得したＡ’、Ｂ’、Ｃ’、Ｄ’の４点それぞれのｘｙ値を座標テーブル１２２に書き込んで座標テーブル１２２を更新する。
【００８１】
以上のように、暗状態の場合、輝度分布解析部１６０が、投写領域１２の輝度勾配に基づき、スクリーン８とプロジェクタ２０との位置関係を把握し、角度補正テーブル１２４に基づき、座標テーブル１２２を補正する（ステップＳ３）。
【００８２】
また、環境解析部１８０は、投写領域１２の平均輝度が閾値以上の明状態であると判定した場合、全黒画像と全白画像の撮像情報および投写領域１２の座標情報を周辺情報解析部１７０に転送する。
【００８３】
周辺情報解析部１７０は、全黒画像の撮像情報に基づく輝度分布に基づき、スクリーン領域１０の座標情報を把握する。
【００８４】
そして、周辺情報解析部１７０は、投写領域１２の座標情報とスクリーン領域１０の座標情報とに基づき、スクリーン領域１０が投写領域１２に完全に包含されている場合、スクリーン領域１０の４隅の座標を用いて座標テーブル１２２を補正する。
【００８５】
また、周辺情報解析部１７０は、スクリーン領域１０が投写領域１２に完全に包含されていない場合、図１１に示すように、スクリーン領域１０の４隅の座標からなる長方形を設定し、当該長方形が投写領域１２の内部に完全に包含されるように、当該長方形の縮小処理および平行移動処理を行う。そして、周辺情報解析部１７０は、当該長方形が投写領域１２に完全に包含された時点における４隅の座標を用いて座標テーブル１２２を補正する。
【００８６】
なお、これらの処理によって投写領域１２のうち表示されなくなった部分は、スクリーン領域１０と同色（例えば黒等）の画像を表示すればよい。
【００８７】
以上のように、明状態の場合、周辺情報解析部１７０が、投写領域１２の形状をスクリーン領域１０に合わせるように座標テーブル１２２を補正する（ステップＳ４）。
【００８８】
そして、リサイズ部１３０は、輝度分布解析部１６０または周辺情報解析部１７０によって補正された座標テーブル１２２に含まれる４隅の座標導出用情報に基づき、画像をリサイズするように画像信号を補正する（ステップＳ５）。
【００８９】
そして、画像投写部１９０は、補正後の画像信号に基づき、画像を投写する（ステップＳ６）。
【００９０】
以上の手順により、プロジェクタ２０は、台形歪みが補正された画像を投写する。
【００９１】
図１０は、本実施形態の一例に係る台形歪み補正後の画像を示す模式図である。
【００９２】
例えば、補正前の投写領域１２は、四角形ＡＢＣＤのように台形状であるが、プロジェクタ２０は、画像信号を補正することにより、投写領域１３のＡ’Ｂ’Ｃ’Ｄ’のように投写領域を長方形状にすることができる。
【００９３】
以上のように、本実施形態によれば、プロジェクタ２０は、輝度分布に基づいて投写領域１２の歪みを判定している。これにより、プロジェクタ２０は、レンズ１９８とセンサー３０の光軸がほぼ同じで撮像画像の形状からは歪みを判別しにくい場合であっても、画像の歪みを適切に判別することができる。これにより、投写画像の歪みを自動的かつ適切に補正することができる。また、投写領域１２の厳密な形状を判別する必要はなく、投写領域１２の輝度分布を得られればよいため、センサー３０として解像度の低いセンサーを適用することも可能である。
【００９４】
また、本実施の形態によれば、明状態か暗状態かを判別し、輝度の変化を判別しにくい場合にはスクリーン領域１０の各頂点の位置情報を用いて座標データ１２２における４つの導出用座標を更新することにより、画像の歪みを適切に補正することができる。これにより、種々の使用環境に対してプロジェクタ２０を適用することができる。
【００９５】
（変形例）
以上、本発明を適用した好適な実施の形態について説明してきたが、本発明の適用は上述した実施例に限定されない。
【００９６】
例えば、上述した実施例では、投写領域１２の台形歪みについて説明したが、プロジェクタ２０は、投写領域１２に回転ずれによる歪みが生じている場合であっても画像を補正することが可能である。
【００９７】
図１２は、本実施形態の一例に係る回転ずれ補正後の画像を示す模式図である。
【００９８】
この場合、周辺情報解析部１７０は、スクリーン領域１０の４隅の座標からなる長方形を設定し、当該長方形が投写領域１２の内部に完全に包含されるように、当該長方形の縮小処理および平行移動処理を行う。そして、周辺情報解析部１７０は、当該長方形が投写領域１２に完全に包含された時点における４隅の座標を用いて座標テーブル１２２を補正する。
【００９９】
また、プロジェクタ２０の内部に傾きセンサーや重力センサーを設け、プロジェクタ２０が、縦方向の台形歪みを当該センサーで補正し、横方向の台形歪みをセンサー３０によるセンシング情報に基づいて補正してもよい。
【０１００】
さらに、レンズ１９８にズーム機能が設けられている場合、プロジェクタ２０は、ズームに関する情報（例えば、最も望遠になった状態が０で最も広角になった状態が１で表される数値等）を取得して台形歪みを補正してもよい。
【０１０１】
これによれば、望遠機能や広角機能を用いる場合であっても、台形歪みを自動的かつ適切に補正することが可能となる。
【０１０２】
また、上述した実施例では、図９（Ａ）および図９（Ｂ）に示すように、プロジェクタ２０は、投写領域１２を左右に分割した領域および上下に分割した領域を用いたが、分割数としては、例えば、４、９等の値を用いてもよい。この場合、プロジェクタ２０は、分割後の領域ごとに平均輝度を求めて画像処理を行ってもよい。
【０１０３】
また、角度補正テーブル１２４は、投写領域１２内における複数の異なる領域ごとの平均輝度の比率と投写領域１２の導出用座標とが関連づけられたものであるが、平均輝度の比率に代えて平均輝度の差分値を適用してもよい。
【０１０４】
また、上述した実施例では、キャリブレーション画像は、全白画像および全黒画像であったが、これらの画像に限定されず、種々のキャリブレーション画像を適用可能である。
【０１０５】
また、上述した実施例では、画像処理システムとしてプロジェクタ２０を用いたが、本発明は、プロジェクタ２０以外にも種々の前面投写型の画像表示装置に有効である。
【０１０６】
また、プロジェクタ２０としては、例えば、液晶プロジェクタ、ＤＭＤ（Ｄｉｇｉｔａｌ  Ｍｉｃｒｏｍｉｒｒｏｒ  Ｄｅｖｉｃｅ）を用いたプロジェクタ等を用いてもよい。なお、ＤＭＤは米国テキサスインスツルメンツ社の商標である。
【０１０７】
なお、上述したプロジェクタ２０の機能は、例えば、プロジェクタ単体で実現してもよいし、複数の処理装置で分散して（例えば、プロジェクタとＰＣとで分散処理）実現してもよい。
【０１０８】
さらに、プロジェクタ２０とセンサー３０とを別の装置として形成してもよいし、一体の装置として形成してもよい。
【図面の簡単な説明】
【図１】台形歪み画像の一例を示す図である。
【図２】プロジェクタに搭載されたセンサーで撮像した画像の一例を示す図である。
【図３】画像の明るさの違いを示す模式図である。
【図４】本実施形態の一例に係るプロジェクタの機能ブロック図である。
【図５】本実施形態の一例に係る座標データのデータ構造を示す図であり、図５（Ａ）は補正前の座標データのデータ内容を示す図であり、図５（Ｂ）は補正後の座標データのデータ内容を示す図である。
【図６】本実施形態の一例に係る角度補正データのデータ構造を示す図である。
【図７】本実施形態の一例に係るプロジェクタのハードウェアブロック図である。
【図８】本実施形態の一例に係る画像処理の流れを示すフローチャートである。
【図９】本実施形態の一例に係る画像を分割した状態を示す模式図であり、図９（Ａ）は、画像を左右に分割した模式図であり、図９（Ｂ）は、画像を上下に分割した模式図である。
【図１０】本実施形態の一例に係る台形歪み補正後の画像を示す模式図である。
【図１１】本実施形態の他の一例に係る台形歪み補正後の画像を示す模式図である。
【図１２】本実施形態の一例に係る回転ずれ補正後の画像を示す模式図である。
【符号の説明】
８  スクリーン、  １０、４０  スクリーン領域、  １２、１３、４２  投写領域、  １４  センシング領域、  ２０  プロジェクタ（画像処理システム）、  ３０  センサー（センシング手段）、  １２０  記憶部（記憶手段）、  １２２座標テーブル（座標データ）、  １２４  角度補正テーブル（角度補正データ）、  １３０  リサイズ部（画像信号補正手段）、  １６０  輝度分布解析部（輝度分布解析手段）、  １７０  周辺情報解析部（周辺情報解析手段）、  １８０  環境解析部（環境解析手段）、  １８２  エリアセンサー部（センシング手段）、  １９０  画像投写部（画像投写手段）
【図１】
2004222153.tif 000003
【図２】
2004222153.tif 000004
【図３】
2004222153.tif 000005
【図４】
2004222153.tif 000006
【図５】
2004222153.tif 000007
【図６】
2004222153.tif 000008
【図７】
2004222153.tif 000009
【図８】
2004222153.tif 000010
【図９】
2004222153.tif 000011
【図１０】
2004222153.tif 000012
【図１１】
2004222153.tif 000013
【図１２】
2004222153.tif 000014