(57)【要約】【課題】  投写対象領域の位置情報をより短時間で、かつ、正確に生成することが可能な画像処理システム等を提供すること。【解決手段】  第１のキャリブレーション画像をスクリーンへ向け投写する画像投写部１９０と、投写された第１のキャリブレーション画像を所定解像度よりも低い解像度で撮像して第１の撮像情報を生成するとともに、前記第１のキャリブレーション画像を前記所定解像度よりも高い解像度で撮像して第３の撮像情報を生成するセンサーと、第１および第３の撮像情報に基づき、センサー６０の撮像領域におけるスクリーンに相当する投写対象領域の位置に関する投写対象領域情報を生成する投写対象領域検出部１８０とをプロジェクタに設ける。【選択図】      図２
2005286574.tif 000002
【特許請求の範囲】
【請求項１】
第１のキャリブレーション画像を投写対象物へ向け投写する画像投写手段と、
投写された第１のキャリブレーション画像を所定解像度以下の解像度である低解像度で撮像して第１の撮像情報を生成するとともに、前記第１のキャリブレーション画像を前記低解像度以上の解像度である高解像度で撮像して第３の撮像情報を生成する撮像手段と、
前記第１および第３の撮像情報に基づき、前記撮像手段の撮像領域における前記投写対象物に相当する投写対象領域の位置に関する投写対象領域情報を生成する投写対象領域検出手段と、
を含み、
前記投写対象領域検出手段は、
前記第１の撮像情報に基づき、エッジ検出を行って第１のエッジ検出情報を生成するとともに、前記第３の撮像情報に基づき、エッジ検出を行って第３のエッジ検出情報を生成するエッジ検出手段と、
前記第１のエッジ検出情報に基づき、前記投写対象領域を仮検出して仮検出情報を生成するとともに、前記第３のエッジ検出情報に基づき、前記投写対象領域情報を生成する投写対象領域情報生成手段と、
を含み、
前記エッジ検出手段は、前記仮検出情報に基づき、仮検出された投写対象領域の境界線付近の画素群に対してエッジ検出を行うことにより、前記第３のエッジ検出情報を生成することを特徴とする画像処理システム。
【請求項２】
請求項１において、
前記エッジ検出手段は、前記第１の撮像情報に基づく第１の撮像画像内の複数箇所のエッジを検出して前記第１のエッジ検出情報を生成し、
前記投写対象領域情報生成手段は、前記第１のエッジ検出情報に基づく前記複数箇所の位置情報に基づき、線形近似直線または線形近似曲線を設定することにより、前記仮検出情報を生成することを特徴とする画像処理システム。
【請求項３】
請求項２において、
前記投写対象領域検出手段は、複数のエッジ検出点を評価する検出点評価手段を含み、
前記検出点評価手段は、前記複数のエッジ検出点が、前記線形近似直線または前記線形近似曲線から所定値以上乖離しているかどうかを判定し、前記所定値以上乖離している検出点を除外して前記線形近似直線または前記線形近似曲線を再設定するように、前記投写対象領域情報生成手段を制御することを特徴とする画像処理システム。
【請求項４】
請求項１〜３のいずれかにおいて、
差分画像を生成する差分画像生成手段と、
前記差分画像に基づき、前記撮像手段の撮像領域における所定の中央ブロック領域の複数の中央基準位置を検出する中央基準位置検出手段と、
を含み、
前記投写対象領域検出手段は、前記エッジ検出手段によるエッジ検出範囲を設定する検索範囲決定手段を含み、
前記画像投写手段は、第２のキャリブレーション画像を投写し、
前記撮像手段は、投写された前記第２のキャリブレーション画像を撮像して第２の撮像情報を生成し、
前記差分画像生成手段は、前記第１および第２の撮像情報に基づき、前記差分画像を生成し、
前記検索範囲決定手段は、前記中央ブロック領域の外部に前記エッジ検出範囲を設定し、
前記第１のキャリブレーション画像は、単色のキャリブレーション画像であり、
前記第２のキャリブレーション画像は、当該第２のキャリブレーション画像より小さく、かつ、当該第２のキャリブレーション画像の中央付近に位置する前記中央ブロック領域を含むことを特徴とする画像処理システム。
【請求項５】
請求項４において、
前記第２のキャリブレーション画像は、前記中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の背景領域とから構成され、
前記中央ブロック領域および前記周辺ブロック領域における各画素と、前記背景領域における各画素とは異なる指標値を有し、
前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出する周辺基準位置検出手段と、
前記中央基準位置と、前記周辺基準位置とに基づき、前記撮像領域における投写領域の位置に関する投写領域情報を生成する投写領域情報生成手段と、
を含むことを特徴とする画像処理システム。
【請求項６】
請求項５において、
前記投写領域情報生成手段は、前記中央基準位置と、前記周辺基準位置とに基づき、複数の近似直線または近似曲線を設定して前記中央ブロック領域および前記周辺ブロック領域の形状または配置を把握することにより、前記投写領域情報を生成することを特徴とする画像処理システム。
【請求項７】
請求項６において、
前記投写領域および前記中央ブロック領域は、矩形の領域であり、
前記投写領域情報生成手段は、前記複数の近似直線の交点または前記複数の近似曲線の交点を検出することにより、前記中央ブロック領域の４隅の位置を把握し、当該４隅の位置に基づき、前記投写領域の４隅の位置を示す前記投写領域情報を生成することを特徴とする画像処理システム。
【請求項８】
請求項５〜７のいずれかにおいて、
前記第１の撮像情報と、前記中央基準位置とに基づき、前記投写対象領域の複数の境界点を検出する投写対象領域境界点検出手段を含み、
前記周辺基準位置検出手段は、前記境界点に基づき、前記周辺基準位置を検出することを特徴とする画像処理システム。
【請求項９】
請求項５〜８のいずれかにおいて、
前記投写対象領域情報と、前記投写領域情報とに基づき、前記画像投写手段によって投写される画像の歪みを把握し、当該歪みが補正されるように、画像信号を補正する画像歪み補正手段を含み、
前記画像投写手段は、前記画像歪み補正手段によって補正された画像信号に基づき、画像を投写することを特徴とする画像処理システム。
【請求項１０】
第１のキャリブレーション画像を投写対象物へ向け投写する画像投写手段と、
投写された第１のキャリブレーション画像を所定解像度以下の解像度である低解像度で撮像して第１の撮像情報を生成するとともに、前記第１のキャリブレーション画像を前記低解像度以上の解像度である高解像度で撮像して第３の撮像情報を生成する撮像手段と、
前記第１および第３の撮像情報に基づき、前記撮像手段の撮像領域における前記投写対象物に相当する投写対象領域の位置に関する投写対象領域情報を生成する投写対象領域検出手段と、
を含み、
前記投写対象領域検出手段は、
前記第１の撮像情報に基づき、エッジ検出を行って第１のエッジ検出情報を生成するとともに、前記第３の撮像情報に基づき、エッジ検出を行って第３のエッジ検出情報を生成するエッジ検出手段と、
前記第１のエッジ検出情報に基づき、前記投写対象領域を仮検出して仮検出情報を生成するとともに、前記第３のエッジ検出情報に基づき、前記投写対象領域情報を生成する投写対象領域情報生成手段と、
を含み、
前記エッジ検出手段は、前記仮検出情報に基づき、仮検出された投写対象領域の境界線付近の画素群に対してエッジ検出を行うことにより、前記第３のエッジ検出情報を生成することを特徴とするプロジェクタ。
【請求項１１】
コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
第１のキャリブレーション画像を投写対象物へ向け投写する画像投写手段と、
投写された第１のキャリブレーション画像を所定解像度以下の解像度である低解像度で撮像して第１の撮像情報を生成するとともに、前記第１のキャリブレーション画像を前記低解像度以上の解像度である高い高解像度で撮像して第３の撮像情報を生成する撮像手段と、
前記第１および第３の撮像情報に基づき、前記撮像手段の撮像領域における前記投写対象物に相当する投写対象領域の位置に関する投写対象領域情報を生成する投写対象領域検出手段として機能させ、
前記投写対象領域検出手段は、
前記第１の撮像情報に基づき、エッジ検出を行って第１のエッジ検出情報を生成するとともに、前記第３の撮像情報に基づき、エッジ検出を行って第３のエッジ検出情報を生成するエッジ検出手段と、
前記第１のエッジ検出情報に基づき、前記投写対象領域を仮検出して仮検出情報を生成するとともに、前記第３のエッジ検出情報に基づき、前記投写対象領域情報を生成する投写対象領域情報生成手段と、
を含み、
前記エッジ検出手段は、前記仮検出情報に基づき、仮検出された投写対象領域の境界線付近の画素群に対してエッジ検出を行うことにより、前記第３のエッジ検出情報を生成することを特徴とするプログラム。
【請求項１２】
コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、
請求項１１に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【請求項１３】
第１のキャリブレーション画像を投写対象物へ向け投写し、
投写された第１のキャリブレーション画像を所定解像度以下の解像度である低解像度で撮像して第１の撮像情報を生成し、
前記第１のキャリブレーション画像を前記低解像度以上の解像度である高解像度で撮像して第３の撮像情報を生成し、
前記第１の撮像情報に基づき、エッジ検出を行って第１のエッジ検出情報を生成し、
前記第１のエッジ検出情報に基づき、前記投写対象領域を仮検出して仮検出情報を生成し、
当該仮検出情報に基づき、仮検出された投写対象領域の境界線付近の画素群に対してエッジ検出を行うことにより、第３のエッジ検出情報を生成し、
当該第３のエッジ検出情報に基づき、前記投写対象領域を検出して投写対象領域の位置に関する投写対象領域情報を生成することを特徴とする画像処理方法。
【請求項１４】
請求項１３において、
前記第１の撮像情報に基づく第１の撮像画像内の複数箇所のエッジを検出して前記第１のエッジ検出情報を生成し、
前記第１のエッジ検出情報に基づく前記複数箇所の位置情報に基づき、線形近似直線または線形近似曲線を設定することにより、前記仮検出情報を生成することを特徴とする画像処理方法。
【請求項１５】
請求項１４において、
複数のエッジ検出点が、前記線形近似直線または前記線形近似曲線から所定値以上乖離しているかどうかを判定し、
前記所定値以上乖離している検出点を除外して前記線形近似直線または前記線形近似曲線を再設定することを特徴とする画像処理方法。
【請求項１６】
請求項１３〜１５のいずれかにおいて、
第２のキャリブレーション画像を投写し、
投写された前記第２のキャリブレーション画像を撮像して第２の撮像情報を生成し、
前記第１および第２の撮像情報に基づき、差分画像を生成し、
当該差分画像に基づき、撮像領域における所定の中央ブロック領域の複数の中央基準位置を検出し、
前記中央ブロック領域の外部にエッジ検出範囲を設定し、
前記第１のキャリブレーション画像は、単色のキャリブレーション画像であり、
前記第２のキャリブレーション画像は、当該第２のキャリブレーション画像より小さく、かつ、当該第２のキャリブレーション画像の中央付近に位置する前記中央ブロック領域を含むことを特徴とする画像処理方法。
【請求項１７】
請求項１６において、
前記第２のキャリブレーション画像は、前記中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の背景領域とから構成され、
前記中央ブロック領域および前記周辺ブロック領域における各画素と、前記背景領域における各画素とは異なる指標値を有し、
前記第１および第２の撮像情報に基づき、差分画像を生成し、
前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出し、
前記中央基準位置と、前記周辺基準位置とに基づき、前記撮像領域における投写領域の位置に関する投写領域情報を生成することを特徴とする画像処理方法。
【請求項１８】
請求項１７において、
前記中央基準位置と、前記周辺基準位置とに基づき、複数の近似直線または近似曲線を設定して前記中央ブロック領域および前記周辺ブロック領域の形状または配置を把握することにより、前記投写領域情報を生成することを特徴とする画像処理方法。
【請求項１９】
請求項１８において、
前記投写領域および前記中央ブロック領域は、矩形の領域であり、
前記複数の近似直線の交点または前記複数の近似曲線の交点を検出することにより、前記中央ブロック領域の４隅の位置を把握し、当該４隅の位置に基づき、前記投写領域の４隅の位置を示す前記投写領域情報を生成することを特徴とする画像処理方法。
【請求項２０】
請求項１７〜１９のいずれかにおいて、
前記第１の撮像情報と、前記中央基準位置とに基づき、前記投写対象領域の複数の境界点を検出し、
前記境界点に基づき、前記周辺基準位置を検出することを特徴とする画像処理方法。
【請求項２１】
請求項１７〜２０のいずれかにおいて、
前記投写対象領域情報と、前記投写領域情報とに基づき、投写される画像の歪みを把握し、当該歪みが補正されるように、画像信号を補正することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像情報に基づいて投写対象領域を検出する画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法に関する。
【背景技術】
【０００２】
近年、ＣＣＤカメラを有するプロジェクタを用いてスクリーン等の投写対象物に画像を投写し、投写された投写画像をＣＣＤカメラで撮像して撮像領域内の投写対象物に相当する投写対象領域の４隅の座標を検出することにより、投写画像の位置を調整することが提案されている。
【０００３】
例えば、特許文献１では、映像表示可能領域内に画像を表示し、映像表示可能領域の全域を撮像することにより、画像の投写位置を調整する構成が採用されている。
【特許文献１】特開平５−３０５２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１の明細書の段落番号００１３では、フレームメモリに記憶された輝度情報をＣＰＵが取り込んで画像処理を行うことにより、スクリーンの表示可能領域の４隅の位置を検出することが記載されているが、具体的にどのような画像処理を行うかについては記載されていない。
【０００５】
従来の一般的な画像処理では、撮像情報に基づいてスクリーンの４隅の位置を検出する場合、撮像画像全体に対してフィルタリング処理を行う必要があり、画像処理に時間がかかり、演算量も多大であった。
【０００６】
このため、キャリブレーションに時間がかかり、ユーザーにとっての待ち時間が長くなってしまっていた。
【０００７】
本発明は、上記の課題に鑑みなされたものであり、その目的は、投写対象領域の位置情報をより短時間で、かつ、正確に生成することが可能な画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明に係る画像処理システムおよびプロジェクタは、第１のキャリブレーション画像を投写対象物へ向け投写する画像投写手段と、
投写された第１のキャリブレーション画像を所定解像度以下の解像度である低解像度で撮像して第１の撮像情報を生成するとともに、前記第１のキャリブレーション画像を前記低解像度以上の解像度である高解像度で撮像して第３の撮像情報を生成する撮像手段と、
前記第１および第３の撮像情報に基づき、前記撮像手段の撮像領域における前記投写対象物に相当する投写対象領域の位置に関する投写対象領域情報を生成する投写対象領域検出手段と、
を含み、
前記投写対象領域検出手段は、
前記第１の撮像情報に基づき、エッジ検出を行って第１のエッジ検出情報を生成するとともに、前記第３の撮像情報に基づき、エッジ検出を行って第３のエッジ検出情報を生成するエッジ検出手段と、
前記第１のエッジ検出情報に基づき、前記投写対象領域を仮検出して仮検出情報を生成するとともに、前記第３のエッジ検出情報に基づき、前記投写対象領域情報を生成する投写対象領域情報生成手段と、
を含み、
前記エッジ検出手段は、前記仮検出情報に基づき、仮検出された投写対象領域の境界線付近の画素群に対してエッジ検出を行うことにより、前記第３のエッジ検出情報を生成することを特徴とする。
【０００９】
また、本発明に係るプログラムは、コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
第１のキャリブレーション画像を投写対象物へ向け投写する画像投写手段と、
投写された第１のキャリブレーション画像を所定解像度以下の解像度である低解像度で撮像して第１の撮像情報を生成するとともに、前記第１のキャリブレーション画像を前記低解像度以上の解像度である高解像度で撮像して第３の撮像情報を生成する撮像手段と、
前記第１および第３の撮像情報に基づき、前記撮像手段の撮像領域における前記投写対象物に相当する投写対象領域の位置に関する投写対象領域情報を生成する投写対象領域検出手段として機能させ、
前記投写対象領域検出手段は、
前記第１の撮像情報に基づき、エッジ検出を行って第１のエッジ検出情報を生成するとともに、前記第３の撮像情報に基づき、エッジ検出を行って第３のエッジ検出情報を生成するエッジ検出手段と、
前記第１のエッジ検出情報に基づき、前記投写対象領域を仮検出して仮検出情報を生成するとともに、前記第３のエッジ検出情報に基づき、前記投写対象領域情報を生成する投写対象領域情報生成手段と、
を含み、
前記エッジ検出手段は、前記仮検出情報に基づき、仮検出された投写対象領域の境界線付近の画素群に対してエッジ検出を行うことにより、前記第３のエッジ検出情報を生成することを特徴とする。
【００１０】
また、本発明に係る情報記憶媒体は、コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、
上記プログラムを記憶したことを特徴とする。
【００１１】
また、本発明に係る画像処理方法は、第１のキャリブレーション画像を投写対象物へ向け投写し、
投写された第１のキャリブレーション画像を所定解像度以下の解像度である低解像度で撮像して第１の撮像情報を生成し、
前記第１のキャリブレーション画像を前記低解像度以上の解像度である高解像度で撮像して第３の撮像情報を生成し、
前記第１の撮像情報に基づき、エッジ検出を行って第１のエッジ検出情報を生成し、
前記第１のエッジ検出情報に基づき、前記投写対象領域を仮検出して仮検出情報を生成し、
当該仮検出情報に基づき、仮検出された投写対象領域の境界線付近の画素群に対してエッジ検出を行うことにより、第３のエッジ検出情報を生成し、
当該第３のエッジ検出情報に基づき、前記投写対象領域を検出して投写対象領域の位置に関する投写対象領域情報を生成することを特徴とする。
【００１２】
本発明によれば、画像処理システム等は、低解像度の撮像情報に基づいて投写対象領域を仮検出してからその境界線付近を、高解像度の撮像情報に基づいて投写対象領域を検出することにより、投写対象領域の位置情報をより短時間で、かつ、正確に生成することができる。
【００１３】
また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記エッジ検出手段は、前記第１の撮像情報に基づく第１の撮像画像内の複数箇所のエッジを検出して前記第１のエッジ検出情報を生成し、
前記投写対象領域情報生成手段は、前記第１のエッジ検出情報に基づく前記複数箇所の位置情報に基づき、線形近似直線または線形近似曲線を設定することにより、前記仮検出情報を生成してもよい。
【００１４】
また、前記画像処理方法は、前記第１の撮像情報に基づく第１の撮像画像内の複数箇所のエッジを検出して前記第１のエッジ検出情報を生成し、
前記第１のエッジ検出情報に基づく前記複数箇所の位置情報に基づき、線形近似直線または線形近似曲線を設定することにより、前記仮検出情報を生成してもよい。
【００１５】
これによれば、画像処理システム等は、エッジ検出対象となる領域をより狭めた状態でエッジ検出を行うことにより、投写対象領域の位置情報をより短時間で生成することができる。
【００１６】
また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記投写対象領域検出手段は、複数のエッジ検出点を評価する検出点評価手段を含み、
前記検出点評価手段は、前記複数のエッジ検出点が、前記線形近似直線または前記線形近似曲線から所定値以上乖離しているかどうかを判定し、前記所定値以上乖離している検出点を除外して前記線形近似直線または前記線形近似曲線を再設定するように、前記投写対象領域情報生成手段を制御してもよい。
【００１７】
また、前記画像処理方法は、複数のエッジ検出点が、前記線形近似直線または前記線形近似曲線から所定値以上乖離しているかどうかを判定し、
前記所定値以上乖離している検出点を除外して前記線形近似直線または前記線形近似曲線を再設定してもよい。
【００１８】
これによれば、画像処理システム等は、線形近似直線等から乖離した検出点を除外して処理を実行することにより、ノイズ等の影響を低減し、投写対象領域の位置情報をより正確に生成することができる。
【００１９】
また、前記画像処理システムおよび前記プロジェクタは、差分画像を生成する差分画像生成手段と、
前記差分画像に基づき、前記撮像手段の撮像領域における所定の中央ブロック領域の複数の中央基準位置を検出する中央基準位置検出手段と、
を含み、
前記投写対象領域検出手段は、前記エッジ検出手段によるエッジ検出範囲を設定する検索範囲決定手段を含み、
前記画像投写手段は、第２のキャリブレーション画像を投写し、
前記撮像手段は、投写された前記第２のキャリブレーション画像を撮像して第２の撮像情報を生成し、
前記差分画像生成手段は、前記第１および第２の撮像情報に基づき、前記差分画像を生成し、
前記検索範囲決定手段は、前記中央ブロック領域の外部に前記エッジ検出範囲を設定し、
前記第１のキャリブレーション画像は、単色のキャリブレーション画像であり、
前記第２のキャリブレーション画像は、当該第２のキャリブレーション画像より小さく、かつ、当該第２のキャリブレーション画像の中央付近に位置する前記中央ブロック領域を含んでもよい。
【００２０】
また、前記プログラムおよび前記情報記憶媒体は、コンピュータを、差分画像を生成する差分画像生成手段と、
前記差分画像に基づき、前記撮像手段の撮像領域における所定の中央ブロック領域の複数の中央基準位置を検出する中央基準位置検出手段として機能させ、
前記投写対象領域検出手段は、前記エッジ検出手段によるエッジ検出範囲を設定する検索範囲決定手段を含み、
前記画像投写手段は、第２のキャリブレーション画像を投写し、
前記撮像手段は、投写された前記第２のキャリブレーション画像を撮像して第２の撮像情報を生成し、
前記差分画像生成手段は、前記第１および第２の撮像情報に基づき、前記差分画像を生成し、
前記検索範囲決定手段は、前記中央ブロック領域の外部に前記エッジ検出範囲を設定し、
前記第１のキャリブレーション画像は、単色のキャリブレーション画像であり、
前記第２のキャリブレーション画像は、当該第２のキャリブレーション画像より小さく、かつ、当該第２のキャリブレーション画像の中央付近に位置する前記中央ブロック領域を含んでもよい。
【００２１】
また、前記画像処理方法は、第２のキャリブレーション画像を投写し、
投写された前記第２のキャリブレーション画像を撮像して第２の撮像情報を生成し、
前記第１および第２の撮像情報に基づき、差分画像を生成し、
当該差分画像に基づき、撮像領域における所定の中央ブロック領域の複数の中央基準位置を検出し、
前記中央ブロック領域の外部にエッジ検出範囲を設定し、
前記第１のキャリブレーション画像は、単色のキャリブレーション画像であり、
前記第２のキャリブレーション画像は、当該第２のキャリブレーション画像より小さく、かつ、当該第２のキャリブレーション画像の中央付近に位置する前記中央ブロック領域を含んでもよい。
【００２２】
これによれば、画像処理システム等は、エッジ検出対象となる領域をより狭めた形で処理を実行することにより、投写対象領域の位置情報をより短時間で生成することができる。
【００２３】
また、前記画像処理システムおよび前記プロジェクタにおいて、前記第２のキャリブレーション画像は、前記中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の背景領域とから構成され、
前記中央ブロック領域および前記周辺ブロック領域における各画素と、前記背景領域における各画素とは異なる指標値を有し、
前記画像処理システムおよび前記プロジェクタは、前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出する周辺基準位置検出手段と、
前記中央基準位置と、前記周辺基準位置とに基づき、前記撮像領域における投写領域の位置に関する投写領域情報を生成する投写領域情報生成手段と、
を含んでもよい。
【００２４】
また、前記プログラムおよび前記情報記憶媒体において、前記第２のキャリブレーション画像は、前記中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の背景領域とから構成され、
前記中央ブロック領域および前記周辺ブロック領域における各画素と、前記背景領域における各画素とは異なる指標値を有し、
前記プログラムおよび前記情報記憶媒体は、コンピュータを、前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出する周辺基準位置検出手段と、
前記中央基準位置と、前記周辺基準位置とに基づき、前記撮像領域における投写領域の位置に関する投写領域情報を生成する投写領域情報生成手段として機能させてもよい。
【００２５】
また、前記画像処理方法において、前記第２のキャリブレーション画像は、前記中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の背景領域とから構成され、
前記中央ブロック領域および前記周辺ブロック領域における各画素と、前記背景領域における各画素とは異なる指標値を有し、
前記第１および第２の撮像情報に基づき、差分画像を生成し、
前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出し、
前記中央基準位置と、前記周辺基準位置とに基づき、前記撮像領域における投写領域の位置に関する投写領域情報を生成してもよい。
【００２６】
これによれば、画像処理システム等は、投写画像に相当する投写領域よりも小さい中央ブロック領域の中央基準位置を検出することにより、投写画像の一部が投写対象物の外部に表示されてしまうような場合であっても、中央基準位置に基づいて投写領域の位置情報を生成することができる。
【００２７】
特に、これによれば、画像処理システム等は、中央基準位置だけではなく、その周辺に位置する周辺ブロック領域の周辺基準位置に基づいて投写領域の位置を把握することができるため、より高精度に投写領域の位置情報を生成することができる。
【００２８】
また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記投写領域情報生成手段は、前記中央基準位置と、前記周辺基準位置とに基づき、複数の近似直線または近似曲線を設定して前記中央ブロック領域および前記周辺ブロック領域の形状または配置を把握することにより、前記投写領域情報を生成してもよい。
【００２９】
また、前記画像処理方法において、前記投写領域情報生成手段は、前記中央基準位置と、前記周辺基準位置とに基づき、複数の近似直線または近似曲線を設定して前記中央ブロック領域および前記周辺ブロック領域の形状または配置を把握することにより、前記投写領域情報を生成してもよい。
【００３０】
また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記投写領域および前記中央ブロック領域は、矩形の領域であり、
前記投写領域情報生成手段は、前記複数の近似直線の交点または前記複数の近似曲線の交点を検出することにより、前記中央ブロック領域の４隅の位置を把握し、当該４隅の位置に基づき、前記投写領域の４隅の位置を示す前記投写領域情報を生成してもよい。
【００３１】
また、前記画像処理方法において、前記投写領域および前記中央ブロック領域は、矩形の領域であり、
前記複数の近似直線の交点または前記複数の近似曲線の交点を検出することにより、前記中央ブロック領域の４隅の位置を把握し、当該４隅の位置に基づき、前記投写領域の４隅の位置を示す前記投写領域情報を生成してもよい。
【００３２】
これによれば、画像処理システム等は、中央ブロック領域の４隅の位置に基づき、投写領域の４隅の位置を把握することができるため、より少ない処理で投写領域の４隅の位置を把握することができる。
【００３３】
また、前記画像処理システムおよび前記プロジェクタは、前記第１の撮像情報と、前記中央基準位置とに基づき、前記投写対象領域の複数の境界点を検出する投写対象領域境界点検出手段を含み、
前記周辺基準位置検出手段は、前記境界点に基づき、前記中央基準位置よりは前記境界点に近い位置にある前記周辺基準位置を検出してもよい。
【００３４】
また、前記プログラムおよび前記情報記憶媒体は、コンピュータを、前記第１の撮像情報と、前記中央基準位置とに基づき、前記投写対象領域の複数の境界点を検出する投写対象領域境界点検出手段として機能させ、
前記周辺基準位置検出手段は、前記境界点に基づき、前記周辺基準位置を検出してもよい。
【００３５】
また、前記画像処理方法は、前記第１の撮像情報と、前記中央基準位置とに基づき、前記投写対象領域の複数の境界点を検出し、
前記境界点に基づき、前記周辺基準位置を検出してもよい。
【００３６】
なお、ここで、前記周辺基準位置検出手段および前記画像処理方法は、前記境界点に基づき、前記中央基準位置よりは前記境界点に近い位置にある前記周辺基準位置を検出してもよい。
【００３７】
これによれば、画像処理システム等は、間隔の離れた複数の基準位置に基づいて投写領域の位置情報を生成することができるため、誤差の影響を受けにくく、より高精度に投写領域の位置情報を生成することができる。
【００３８】
また、前記画像処理システムおよび前記プロジェクタは、前記投写対象領域情報と、前記投写領域情報とに基づき、前記画像投写手段によって投写される画像の歪みを把握し、当該歪みが補正されるように、画像信号を補正する画像歪み補正手段を含み、
前記画像投写手段は、前記画像歪み補正手段によって補正された画像信号に基づき、画像を投写してもよい。
【００３９】
また、前記プログラムおよび前記情報記憶媒体は、コンピュータを、前記投写対象領域情報と、前記投写領域情報とに基づき、前記画像投写手段によって投写される画像の歪みを把握し、当該歪みが補正されるように、画像信号を補正する画像歪み補正手段として機能させ、
前記画像投写手段は、前記画像歪み補正手段によって補正された画像信号に基づき、画像を投写してもよい。
【００４０】
また、前記画像処理方法は、前記投写対象領域情報と、前記投写領域情報とに基づき、投写される画像の歪みを把握し、当該歪みが補正されるように、画像信号を補正してもよい。
【００４１】
これによれば、画像処理システム等は、従来より少ない処理で投写対象領域と投写領域のそれぞれの位置情報を生成することができるため、従来より効率的に画像の歪みを補正することができる。
【発明を実施するための最良の形態】
【００４２】
以下、本発明を、画像処理システムを有するプロジェクタに適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施形態は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施形態に示す構成の全てが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。
【００４３】
（システム全体の説明）
図１は、本実施形態の一例に係る画像投写状況を示す概略図である。
【００４４】
プロジェクタ２０は、スクリーン１０へ向け画像を投写する。これにより、スクリーン１０には、投写画像１２が表示される。
【００４５】
また、本実施形態のプロジェクタ２０は、撮像手段であるセンサー６０を有する。センサー６０は、投写画像１２が表示されたスクリーン１０を、撮像面を介して撮像し、撮像情報を生成する。プロジェクタ２０は、撮像情報に基づき、スクリーン１０と投写画像１２との位置関係や投写画像１２の形状を把握し、投写画像１２の歪みや表示位置の調整を行う。
【００４６】
本実施形態におけるプロジェクタ２０は、従来とは異なる画像処理を実行することにより、より短時間で、かつ、正確にセンサー６０の撮像領域内における投写対象領域（スクリーン１０に相当する領域）と、投写領域（投写画像１２に相当する領域）の位置情報を生成する。
【００４７】
次に、このような機能を実装するためのプロジェクタ２０の機能ブロックについて説明する。
【００４８】
図２は、本実施形態の一例に係るプロジェクタ２０の機能ブロック図である。
【００４９】
プロジェクタ２０は、ＰＣ（Personal Computer）等からのアナログＲＧＢ信号（Ｒ１、Ｇ１、Ｂ１）をデジタルＲＧＢ信号（Ｒ２、Ｇ２、Ｂ２）に変換する入力信号処理部１１０と、画像の色と明るさを補正するため、当該デジタルＲＧＢ信号（Ｒ２、Ｇ２、Ｂ２）をデジタルＲＧＢ信号（Ｒ３、Ｇ３、Ｂ３）に変換する色変換部１２０と、当該デジタルＲＧＢ信号（Ｒ３、Ｇ３、Ｂ３）をアナログＲＧＢ信号（Ｒ４、Ｇ４、Ｂ４）に変換する出力信号処理部１３０と、当該アナログＲＧＢ信号に基づき、画像を投写する画像投写部１９０とを含んで構成されている。
【００５０】
また、画像投写部１９０は、空間光変調器１９２と、空間光変調器１９２を駆動する駆動部１９４と、光源１９６と、レンズ１９８とを含んで構成されている。駆動部１９４は、出力信号処理部１３０からの画像信号に基づき、空間光変調器１９２を駆動する。そして、画像投写部１９０は、光源１９６からの光を、空間光変調器１９２およびレンズ１９８を介して投写する。
【００５１】
また、プロジェクタ２０は、第１および第２のキャリブレーション画像を表示するためのキャリブレーション情報を生成するキャリブレーション情報生成部１７２と、キャリブレーション画像の撮像情報を生成するセンサー６０と、センサー６０からの撮像情報を一時的に記憶する撮像情報記憶部１４０とを含んで構成されている。
【００５２】
また、プロジェクタ２０は、撮像情報に基づき、センサー６０の撮像面（撮像領域）における投写領域の位置を検出する投写領域検出部１５０を含んで構成されている。また、投写領域検出部１５０は、第１の撮像画像と第２の撮像画像との差分画像を生成する差分画像生成部１５２と、差分画像に含まれる中央ブロック領域の複数の中央基準位置を検出する中央基準位置検出部１５４と、差分画像に含まれる周辺ブロック領域の複数の周辺基準位置を検出する周辺基準位置検出部１５６と、各基準位置に基づき、投写領域の位置を示す投写領域情報を生成する投写領域情報生成部１５８とを含んで構成されている。
【００５３】
また、プロジェクタ２０は、センサー６０の撮像領域におけるスクリーン１０に相当する投写対象領域の位置に関する投写対象領域情報を生成する投写対象領域検出部１８０を含む。また、投写対象領域検出部１８０は、エッジ検出範囲を設定する検索範囲決定部１８２と、エッジ検出部１８４と、エッジ検出点を評価する検出点評価部１８８と、投写対象領域を仮検出して仮検出情報を生成するとともに、投写対象領域情報を生成する投写対象領域情報生成部１８６とを含んで構成されている。
【００５４】
さらに、プロジェクタ２０は、投写画像１２の歪みを補正する画像歪み補正手段を有する。より具体的には、プロジェクタ２０は、画像歪み補正手段として、投写領域情報と、投写対象領域情報とに基づき、画像歪み補正量を演算する画像歪み補正量演算部１６２と、当該画像歪み補正量に基づき、画像信号を補正する画像歪み補正部１１２とを有する。
【００５５】
また、上述したプロジェクタ２０の各部の機能を実装するためのハードウェアとしては、例えば、以下のものを適用できる。
【００５６】
図３は、本実施形態の一例に係るプロジェクタ２０のハードウェアブロック図である。
【００５７】
例えば、入力信号処理部１１０としては、例えば、Ａ／Ｄコンバーター９３０、画像処理回路９７０等、撮像情報記憶部１４０としては、例えば、ＲＡＭ９５０等、投写領域検出部１５０、投写対象領域検出部１８０としては、例えば、画像処理回路９７０等、画像歪み補正量演算部１６２としては、例えばＣＰＵ９１０等、キャリブレーション情報生成部１７２としては、例えば、画像処理回路９７０、ＲＡＭ９５０等、出力信号処理部１３０としては、例えば、Ｄ／Ａコンバーター９４０等、空間光変調器１９２としては、例えば、液晶パネル９２０等、駆動部１９４としては、例えば、液晶パネル９２０を駆動する液晶ライトバルブ駆動ドライバを記憶するＲＯＭ９６０等を用いて実装できる。
【００５８】
なお、これらの各部はシステムバス９８０を介して相互に情報をやりとりすることが可能である。
【００５９】
また、これらの各部は回路のようにハードウェア的に実装してもよいし、ドライバのようにソフトウェア的に実装してもよい。
【００６０】
さらに、投写対象領域情報生成部１８６等としてコンピュータを機能させるためのプログラムを記憶した情報記憶媒体９００からプログラムを読み取って投写対象領域情報生成部１８６等の機能をコンピュータに実装してもよい。
【００６１】
このような情報記憶媒体９００としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＲＯＭ、ＲＡＭ、ＨＤＤ等を適用でき、そのプログラムの読み取り方式は接触方式であっても、非接触方式であってもよい。
【００６２】
また、情報記憶媒体９００に代えて、上述した各機能を実装するためのプログラム等を、伝送路を介してホスト装置等からダウンロードすることによって上述した各機能を実装することも可能である。
【００６３】
以下、これらの各部を用いた投写領域の位置検出処理と、投写対象領域の位置検出処理について順に説明する。
【００６４】
（投写領域の位置検出処理の流れの説明）
まず、投写領域の位置検出処理の流れについて説明する。
【００６５】
図４は、本実施形態の一例に係る投写領域の位置検出処理の流れを示すフローチャートである。また、図５は、本実施形態の一例に係るキャリブレーション画像の模式図であり、図５（Ａ）は、第１のキャリブレーション画像１３の模式図であり、図５（Ｂ）は、第２のキャリブレーション画像１４の模式図である。
【００６６】
まず、プロジェクタ２０は、第１のキャリブレーション画像１３として、図５（Ａ）に示す全白（画像全体が白色）のキャリブレーション画像を投写する（ステップＳ１）。より具体的には、キャリブレーション情報生成部１７２は、第１のキャリブレーション画像１３用のキャリブレーション情報（例えば、ＲＧＢ信号等）を生成し、画像投写部１９０は、当該キャリブレーション情報に基づき、全白のキャリブレーション画像を投写する。
【００６７】
センサー６０は、スクリーン１０上の第１のキャリブレーション画像１３を自動露出設定で撮像して第１の撮像情報を生成する（ステップＳ２）。撮像情報記憶部１４０は、第１の撮像情報を記憶する。
【００６８】
そして、プロジェクタ２０は、第２のキャリブレーション画像１４として、図５（Ｂ）に示す第２のキャリブレーション画像１４を投写する（ステップＳ３）。より具体的には、キャリブレーション情報生成部１７２は、第２のキャリブレーション画像１４用のキャリブレーション情報を生成し、画像投写部１９０は、当該キャリブレーション情報に基づき、第２のキャリブレーション画像１４を投写する。
【００６９】
本実施例では、第２のキャリブレーション画像１４は、画像全体を９つのブロックに均等に区分した場合に、中央ブロック領域と、４隅の４つの周辺ブロック領域が黒色であり、その他のブロック領域が白色であるいわゆるチェッカーパターンのパターン画像である。
【００７０】
センサー６０は、スクリーン１０上の第２のキャリブレーション画像１４を、第１のキャリブレーション画像１３撮像時の露出で撮像して第２の撮像情報を生成する（ステップＳ４）。撮像情報記憶部１４０は、第２の撮像情報を記憶する。
【００７１】
差分画像生成部１５２は、第１および第２の撮像情報に基づき、第１のキャリブレーション画像１３と第２のキャリブレーション画像１４との差分画像を生成する（ステップＳ５）。なお、差分画像は、例えば、画素ごとの輝度値等を差分演算した画像である。また、差分画像は、例えば、画素ごとの差分値が所定閾値以上の画素はその差分値を、そうでない画素は０を各画素位置の値として有する画像である。なお、差分画像生成部１５２は、必ずしも画像全体を差分演算する必要はなく、以下の処理に必要な範囲内（画像の一部分）のみ差分演算を行ってもよい。
【００７２】
そして、投写領域検出部１５０は、差分画像の生成後、差分画像に含まれる中央ブロック領域の複数（本実施例では４つ）の中央基準位置と差分画像に含まれる周辺ブロック領域の複数（本実施例では８つ）の周辺基準位置を検出する。
【００７３】
図６は、本実施形態の一例に係る中央基準位置を検出する際の第１段階の検索方法を示す模式図である。また、図７は、本実施形態の一例に係る中央基準位置を検出する際の第２段階の検索方法を示す模式図である。
【００７４】
中央基準位置検出部１５４は、撮像面に相当する撮像領域１５における投写領域（投写画像１２に相当する領域）の位置を検出するために、まず、パターン画像の４つの中央基準位置を検出する（ステップＳ６）。なお、説明をわかりやすくするため、各図には投写対象領域１８を描いているが、実際の差分画像には投写対象領域１８や投写対象領域１８の外部の周辺ブロック領域１７−１〜１７−４の一部が存在しない場合もある。また、本実施形態では、初期状態では、投写画像１２がスクリーン１０を包含し、投写領域が投写対象領域１８を包含するものと仮定する。
【００７５】
より具体的には、中央基準位置検出部１５４は、差分画像に対し、図６に示すように、中央ブロック領域１６が位置すると予想される縦位置ｘ＝ｘｃ上をｙ＝ｙｐからｙ＝ｙｍまで画素ごとに差分値を検索することにより、差分値が変化する点Ｐ１、Ｐ２を判別する。例えば、Ｐ１(xc,y1)、Ｐ２(xc,y2)であるものと仮定する。
【００７６】
なお、ｘｃ、ｙｐ、ｙｍ等の検索基準位置の値は、例えば、レンズ１９８とセンサー６０のそれぞれの画角や位置によって決定されてもよいし、実験によって決定されてもよいし、あるいは、撮像結果に応じて決定されてもよい。後述するその他の検索基準位置についても同様である。
【００７７】
そして、中央基準位置検出部１５４は、図７に示すように、Ｐ１、Ｐ２を基準とした横位置ｙ＝ｙｃ上をｘ＝ｘｍからｘ＝ｘｐまで画素ごとに差分値を検索することにより、差分値が変化する点Ｐ４、Ｐ３を判別する。なお、ここで、例えば、yc=(y1+y2)/2である。
【００７８】
このようにして中央基準位置検出部１５４は、中央ブロック領域１６の４つの中央基準位置Ｐ１(xc,y1)、Ｐ２(xc,y2)、Ｐ３(x1,yc)、Ｐ４(x2,yc)を示す中央基準位置情報を周辺基準位置検出部１５６に出力する。
【００７９】
周辺基準位置検出部１５６は、中央基準位置情報に基づき、パターン画像の８つの周辺基準位置を検出する（ステップＳ７）。
【００８０】
図８は、本実施形態の一例に係る周辺基準位置を検出する際の第１段階の検索方法を示す模式図である。また、図９は、本実施形態の一例に係る周辺基準位置を検出する際の第２段階の検索方法を示す模式図である。
【００８１】
より具体的には、周辺基準位置検出部１５６は、Ｐ１のｙ座標y1からｍ％上方のｙ＝ｙｈ上をＰ３のｘ座標x1から数％中央側のｘ座標ｘｈからｘ軸の正方向に向かって差分画像の各画素の差分値が変化する点を検索する。これにより、差分値が変化する点Ｐ５が判別される。
【００８２】
同様に、周辺基準位置検出部１５６は、Ｐ２のｙ座標y2からｍ％下方のｙ＝ｙｎ上をｘ座標ｘｈからｘ軸の正方向に向かって差分画像の各画素の差分値が変化する点を検索する。これにより、差分値が変化する点Ｐ６が判別される。
【００８３】
同様の手法で、図９に示すように、点Ｐ７〜Ｐ１２が判別される。そして、周辺基準位置検出部１５６は、これらの８つの点の座標を示す周辺基準位置情報と、中央基準位置情報を投写領域情報生成部１５８に出力する。
【００８４】
投写領域情報生成部１５８は、周辺基準位置情報と、中央基準位置情報に基づき、近似直線（近似曲線でもよい。）を用いて投写領域の４隅の位置を検出する（ステップＳ８）。
【００８５】
図１０は、本実施形態の一例に係る近似直線を設定する際の第１段階を示す模式図である。図１１は、本実施形態の一例に係る近似直線を設定する際の第２段階を示す模式図である。
【００８６】
投写領域情報生成部１５８は、点Ｐ５、点Ｐ３、点Ｐ６の座標に基づき、図１０の破線で示される近似直線を設定する。同様の手法により、投写領域情報生成部１５８は、図１１に示すように、破線で示す４つの近似直線を設定し、各近似直線の４つの交点Ａ(xA,yA)〜Ｄ(xD,yD)を中央ブロック領域１６の４隅の点として判別する。
【００８７】
中央ブロック領域１６は、元の投写画像１２を１／９に縮小した画像に相当する領域であるため、投写画像１２が相当する投写領域の４隅の点ＥＦＧＨは以下のようになる。すなわち、Ｅ(xE,yE)＝(2*xA-xC,2*yA-yc)、Ｆ(xF,yF)＝(2*xB-xD,2*yB-yD)、Ｇ(xG,yG)＝(2*xC-xA,2*yC-yA)、Ｈ(xH,yH)＝(2*xD-xB,2*yD-yB)である。
【００８８】
以上のように、本実施形態によれば、プロジェクタ２０は、投写画像１２がスクリーン１０に含まれる場合はもちろん、投写画像１２の一部がスクリーン１０の外部に表示されている状態であっても、撮像領域１５における投写領域の４隅の位置を検出することができる。もちろん、プロジェクタ２０は、投写領域の位置情報をスクリーン１０平面における位置に変換して投写画像１２の４隅の位置情報を生成することも可能である。
【００８９】
（投写対象領域の位置検出処理の流れの説明）
次に、投写対象領域１８の位置検出処理の流れについて説明する。
【００９０】
図１２は、本実施形態の一例に係る投写対象領域１８の位置検出処理の流れを示すフローチャートである。
【００９１】
上述したステップＳ２の処理において、センサー６０は、第１のキャリブレーション画像１３を所定解像度（例えば、ＳＶＧＡ等）よりも低い解像度である低解像度（例えば、ＶＧＡ等）で撮像して第１の撮像情報を生成する（ステップＳ２）。撮像情報記憶部１４０は、第１の撮像情報を記憶する。
【００９２】
そして、第１のキャリブレーション画像１３がスクリーン１０に投写された状態で、センサー６０は、第１のキャリブレーション画像１３を上記低解像度よりも高い解像度である高解像度（例えば、ＸＧＡ、ＳＸＧＡ、ＵＸＧＡ等）で撮像して第３の撮像情報を生成する（ステップＳ１１）。撮像情報記憶部１４０は、第３の撮像情報を記憶する。
【００９３】
投写対象領域検出部１８０は、第１および第３の撮像情報に基づき、投写対象領域１８の位置情報を示す投写対象領域情報を生成する。
【００９４】
図１３は、本実施形態の一例に係る投写対象領域１８を検出する際の第１段階の検索方法を示す模式図である。また、図１４は、本実施形態の一例に係る投写対象領域１８を検出する際の第２段階の検索方法を示す模式図である。また、図１５は、本実施形態の一例に係る投写対象領域１８を検出する際の第３段階の検索方法を示す模式図である。また、図１６は、本実施形態の一例に係るエッジ検出点評価処理を示す模式図である。
【００９５】
まず、検索範囲決定部１８２は、エッジ検出対象を決定するため、第１の撮像情報と、上述した中央ブロック領域１６の４隅ＡＢＣＤの座標情報に基づき、図１３に破線で示す撮像領域における４本の検索補助線を設定する（ステップＳ１２）。より具体的には、検索範囲決定部１８２は、低解像度で撮像された白色の撮像画像を対象として、中央基準位置決定部１５４によって検出された中央ブロック領域１６の４隅ＡＢＣＤの座標よりもｐ％外側に検索補助線を設定する。
【００９６】
例えば、第１の検索補助線y=round[{max(yA,yB)+(yA-yD)*p/100}*a]、第２の検索補助線x=round[{max(xB,xC)+(xB-xA)*p/100}*a]、第３の検索補助線y=round[{min(yC,yD)-(yA-yD)*p/100}*a]、第４の検索補助線x=round[{min(xA,xD)-(xB-xA)*p/100}*a]である。なお、ここで、max、min、round、aは、それぞれ、引数のうち最大値を返す関数、引数のうち最小値を返す関数、引数の小数点第１位の値を四捨五入した整数を返す関数、第２の撮像画像の解像度（高解像度）を第１の撮像画像の解像度（低解像度）に変換するための係数である。なお、解像度を変換する必要がない場合にはaは不要である。
【００９７】
このように４本の検索補助線が設定されることにより、図１３に示すように、４本の検索補助線の４つの交点ＩＪＫＬが決定される。
【００９８】
エッジ検出部１８４は、交点ＩＪＫＬのそれぞれから領域ＩＪＫＬの外側に向かって検索補助線上の検索ライン上を第１の撮像画像を検索対象として１画素ずつエッジ検出を行う（ステップＳ１３）。これにより、図１３に示すように、８つのエッジ検出点ＭＮＯＰＱＲＳＴが検出される。
【００９９】
さらに、エッジ検出部１８４は、線分ＴＯから投写対象領域１８の境界線方向、線分ＮＱから投写対象領域１８の境界線方向、線分ＰＳから投写対象領域１８の境界線方向、線分ＲＭから投写対象領域１８の境界線方向のそれぞれに１画素ずつエッジ検出を行う。
【０１００】
ここでは、線分ＴＯから投写対象領域１８の境界線方向にエッジ検出を行う場合を例に採り説明する。エッジ検出部１８４は、図１４に示すように、線分ＴＯでは、エッジ検出する範囲は、例えば、Ｙ軸の平行かつ正の方向であり、線分ＩＪで７本、線分ＴＩ、ＪＯのそれぞれで２本ずつの検索ラインを設定する。なお、この７本の検索ラインを設定する領域を中側検索領域と呼び、２本ずつの検索ラインを設定する２つの領域を外側検索領域と呼ぶ。
【０１０１】
そして、エッジ検出部１８４は、これらの検索ライン上を１画素ずつエッジ検出を行うことにより、最大１１個、点ＭＮも含めると最大１３個のエッジ検出点を直線ＭＮ上に検出することができる。エッジ検出部１８４は、その他の線分ＮＱ、線分ＰＳ、線分ＲＭについても同様にエッジ検出を行う。
【０１０２】
なお、エッジ検出部１８４は、エッジ検出点のペアＭＮ、ＯＰ、ＱＲ、ＳＴの各ペアのうち一方の点が撮像領域１５内で検出できなかった場合、検出できなかった点を検索するための外側検索領域については投写対象領域１８の境界線は存在しないものとみなし、該当領域内で検索ラインの設定やエッジ検出を行わない。また、エッジ検出部１８４は、エッジ検出点のペアＭＮ、ＯＰ、ＱＲ、ＳＴの各ペアのうち双方の点が撮像領域１５内で検出できなかった場合、検出できなかった線分と平行な方向で近接する投写対象領域１８の境界線は存在しないものとみなし、検出できなかった線分を検索するための中側検索領域および外側検索領域内で検索ラインの設定やエッジ検出を行わない。
【０１０３】
これらの処理を実行することにより、エッジ検出部１８４は、投写対象領域１８の存在する可能性が低い領域についてのエッジ検出を省略することができ、より高速に処理を実行することができる。
【０１０４】
投写対象領域情報生成部１８６は、エッジ検出部１８４によって検出された複数のエッジ検出点に基づき、例えば、図１５の破線に示すような線形近似直線または線形近似曲線を設定することにより、投写対象領域１８を仮決定する（ステップＳ１４）。
【０１０５】
そして、検出点評価部１８８は、エッジ検出部１８４によって検出された複数のエッジ検出点のうち、投写対象領域情報生成部１８６によって設定された線形近似直線または線形近似曲線から所定値以上乖離しているかどうかを判定することにより、各エッジ検出点を評価する（ステップＳ１５）。
【０１０６】
例えば、図１６に示すように、照明光１９が撮像画像に含まれる場合、エッジ検出時に照明光１９の一部を検出してしまう場合がある。このような場合であっても、図１６に示すエッジ検出点Ｔは、投写対象領域１８の境界線からは所定値以上乖離していることにより、投写対象領域情報生成部１８６によって処理対象から除外される。
【０１０７】
このようにして投写対象領域情報生成部１８６は、処理対象から除外しなかったエッジ検出点のみを用いてより高精度に投写対象領域１８を検出する。
【０１０８】
より具体的には、エッジ検出部１８４は、高解像度の撮像情報である第３の撮像情報に基づき、処理対象から除外されなかったエッジ検出点の周辺画素に対してエッジ検出を行う（ステップＳ１６）。そして、エッジ検出部１８４は、エッジ検出情報を投写対象領域情報生成部１８６に出力する。
【０１０９】
投写対象領域情報生成部１８６は、当該エッジ検出情報に基づき、再び線形近似直線または線形近似曲線を設定することにより、投写対象領域１８を決定する（ステップＳ１７）。そして、投写対象領域情報生成部１８６は、投写対象領域１８の４隅の位置を示す投写対象領域情報を生成する。
【０１１０】
以上のように、本実施形態によれば、プロジェクタ２０は、低解像度の撮像情報に基づいて投写対象領域１８を仮検出してからその境界線付近を、高解像度の撮像情報に基づいて投写対象領域１８を検出することにより、投写対象領域１８の位置情報をより短時間で、かつ、正確に生成することができる。これにより、プロジェクタ２０は、画像処理システム全体の演算処理量を低減し、低負荷で高速な画像処理を実行できる。
【０１１１】
また、本実施形態によれば、プロジェクタ２０は、エッジ検出対象となる領域をより狭めた状態でエッジ検出を行うことにより、投写対象領域１８の位置情報をより短時間で生成することができる。
【０１１２】
また、プロジェクタ２０は、線形近似直線等から乖離したエッジ検出点を除外して処理を実行することにより、ノイズ等の影響を低減し、投写対象領域１８の位置情報をより正確に生成することができる。また、プロジェクタ２０は、エッジ検出の際には、全白画像のように高周波成分を含まないキャリブレーション画像を用いることにより、投写画像１２に起因するエッジ誤検出を回避し、精度のよいエッジ検出を行うことができる。
【０１１３】
これにより、プロジェクタ２０は、投写画像１２の歪みの補正や位置の調整、投写画像１２内におけるレーザーポインター等を用いた指示位置の検出等を適切に行うことができる。
【０１１４】
例えば、本実施形態において、画像歪み補正量演算部１６２は、投写領域情報生成部１５８からの投写領域情報と、投写対象領域情報生成部１８６からの投写対象領域情報に基づき、スクリーン１０と投写画像１２との位置関係を把握し、投写画像１２の歪みを補正するとともに、投写画像１２が所望のアスペクト比（縦横比）になるように画像歪み補正量を演算する。
【０１１５】
そして、画像歪み補正部１１２は、当該画像歪み補正量に基づき、画像信号（Ｒ１、Ｇ１、Ｂ１）を補正する。これにより、プロジェクタ２０は、所望のアスペクト比を保った形で歪みのない画像を投写することができる。
【０１１６】
もちろん、画像の歪みの補正方法はこの方法に限定されない。例えば、プロジェクタ２０は、撮像画像における輝度値の最も大きな画素を検出し、当該画素の位置に基づいて画像の歪みを補正してもよい。
【０１１７】
また、プロジェクタ２０は、図５（Ｂ）に示すパターン画像のように、中央だけではなく、その周辺にも特徴のある画像を用いることにより、中央だけに特徴があるパターン画像を用いる場合と比べ、より高精度に投写領域の４隅を判別することができる。
【０１１８】
例えば、プロジェクタ２０は、図６に示す点Ｐ１、点Ｐ２を判別する際に、その近傍の輝度値が変化する点も判別することが可能である。しかし、これらの間隔の狭い複数の点を用いて近似直線を設定する場合、間隔が離れた複数の点を用いて近似直線を設定する場合と比べ、近似直線の元になる点の１画素の誤差が近似直線により大きく影響してしまう。
【０１１９】
本実施形態では、プロジェクタ２０は、中央ブロック領域１６の基準点と、周辺ブロック領域１７−１〜１７−４の基準点とを用いることにより、間隔が離れた複数の点を用いて近似直線を設定することができるため、より高精度に投写領域の４隅を判別することができる。
【０１２０】
また、これにより、プロジェクタ２０は、プロジェクタ２０またはセンサー６０のシェーディングの影響を回避し、精度よく、投写領域全体の位置を把握することができる。
【０１２１】
また、本実施形態によれば、プロジェクタ２０は、差分画像全体を検索するのではなく、差分画像のうち必要な領域のみを検索することにより、より簡易かつ高速に投写領域の位置を検出することができる。
【０１２２】
また、キャリブレーション画像を投写する際に、一旦自動露出設定で全白画像を撮像して第１の撮像情報を生成することにより、適用環境に適合した露出で第１の撮像情報を生成することができる。また、プロジェクタ２０は、全白画像の撮像時の露出で第２の撮像情報を生成することにより、差分画像の生成に適した露出で第２の撮像情報を生成することができる。
【０１２３】
特に、自動露出設定で全白画像を撮像することにより、センサー６０は、スクリーン１０が外光の影響を受ける場合、投写距離が遠すぎたりスクリーン１０の反射率が低すぎて投写光の反射光が弱すぎる場合、投写距離が近すぎたりスクリーン１０の反射率が高すぎて投写光の反射光が強すぎる場合のいずれにおいても、固定露出で撮像する場合と比べ、センサー６０のダイナミックレンジを有効に活用して撮像することができる。
【０１２４】
（変形例）
以上、本発明を適用した好適な実施の形態について説明してきたが、本発明の適用は上述した実施例に限定されない。
【０１２５】
例えば、第１の撮像情報と第３の撮像情報を生成する場合、センサー６０が高解像度で第１のキャリブレーション画像１３を撮像し、高解像度の撮像情報を画像処理によって低解像度の撮像情報に変換することにより、１回の撮像で第１の撮像情報と第３の撮像情報を生成してもよい。
【０１２６】
また、投写画像１２の位置や大きさの調整に関しては、プロジェクタ２０の画角調整機能（ズーム機能）を用いてもよい。これにより、暗室状況下でも投写対象領域をより確実に検出できるようになる。
【０１２７】
また、例えば、検索の手順は任意であり、プロジェクタ２０は、差分画像に対して横方向に検索して中央基準位置や周辺基準位置を検出した後に当該中央基準位置や当該周辺基準位置に基づいて縦方向に検索してもよい。
【０１２８】
また、プロジェクタ２０は、投写領域情報に基づく画像の歪み補正以外にも、例えば、投写領域情報に基づき、投写領域内の色むら補正、投写領域内の指示位置検出等の投写領域の位置情報を使用する種々の処理を行ってもよい。
【０１２９】
さらに、プロジェクタ２０は、投写対象領域１８を検出してから投写領域を検出してもよい。例えば、第１の撮像情報と、中央基準位置に基づき、投写対象領域１８の複数の境界点を検出する投写対象領域境界点検出部を設けてもよい。さらに、周辺基準位置決定部１５６を、当該境界点に基づき、中央基準位置よりは当該境界点に近い位置にある周辺基準位置を検出するように構成してもよい。
【０１３０】
図１７は、本実施形態の他の一例に係る周辺基準位置を検出する際の第１段階の検索方法を示す模式図である。また、図１８は、本実施形態の他の一例に係る周辺基準位置を検出する際の第２段階の検索方法を示す模式図である。
【０１３１】
例えば、図１７に示すように、投写対象領域境界点検出部は、中央ブロック領域１６の中央基準位置Ｐ１〜Ｐ４に基づき、Ｐ３、Ｐ４のそれぞれから数％内側にある検索補助線上を、Ｐ１、Ｐ２のそれぞれのＹ座標の点ｙ１、ｙ２から外側に向かって１画素ずつエッジ検出を行ってもよい。これにより、４つのエッジ検出点ＴＵＶＷが検出される。
【０１３２】
周辺基準位置検出部１５６は、点ＴのＹ座標であるｙＴ、点ＵのＹ座標であるｙＵのうち小さい値と、Ｐ１のＹ座標であるｙ１に基づき、上側の横方向の検索の基準となる位置Ｙ＝ｙＱを検出する。また、エッジ検出部１８４は、点ＶのＹ座標であるｙＶ、点ＷのＹ座標であるｙＷのうち小さい値と、Ｐ２のＹ座標であるｙ２に基づき、下側の横方向の検索の基準となる位置Ｙ＝ｙＲを検出する。
【０１３３】
周辺基準位置検出部１５６は、Ｘ＝ｘｔ、Ｘ＝ｘＵ、Ｙ＝ｙＱ、Ｙ＝ｙＲの４本の直線が交わるそれぞれの交点から差分画像におけるＹ＝ｙＱ、Ｙ＝ｙＲ上を外側に検索し、出力のある画素を検出することにより、４つの点Ｐ５〜Ｐ８を判別する。周辺基準位置検出部１５６は、同様の手法により、残りの４点Ｐ９〜Ｐ１２を判別する。
【０１３４】
プロジェクタ２０は、このような手法によっても中央ブロック領域１６の中央基準位置と、周辺ブロック領域１７−１〜１７−４の周辺基準位置を判別し、投写領域の４隅の位置を判別することができる。
【０１３５】
特に、この手法によれば、投写領域情報生成部１５８は、前述した手法と比べ、近似直線を求めるための３点の間隔をより離した状態で近似直線を求めることができる。これにより、プロジェクタ２０は、より高精度に投写領域の位置を検出することができる。
【０１３６】
なお、中央基準位置の個数や周辺基準位置の個数は任意であり、上述した実施例に限定されない。
【０１３７】
また、第１のキャリブレーション画像１３と第２のキャリブレーション画像１４のパターンは、図５（Ａ）および図５（Ｂ）に示す例に限定されず、少なくとも差分画像になった状態で中央ブロック領域１６が形成されればよく、特に、差分画像になった状態で中央ブロック領域１６と周辺ブロック領域１７−１〜１７−４が形成されることが好ましい。例えば、中央ブロック領域１６を含む第１のキャリブレーション画像１３と、周辺ブロック領域１７−１〜１７−４を含む第２のキャリブレーション画像１４を採用してもよい。
【０１３８】
また、キャリブレーション画像、中央ブロック領域１６および周辺ブロック領域１７−１〜１７−４の形状は矩形に限定されず、例えば、円形等の矩形以外の形状を採用してもよい。もちろん、キャリブレーション画像全体の形状と、中央ブロック領域１６の形状は、相似形に限定されず、両者の形状の対応がわかる形状であればよい。さらに、周辺ブロック領域１７−１〜１７−４の個数も任意である。
【０１３９】
また、スクリーン１０以外の黒板、白板等の投写対象物に画像を投写する場合であっても本発明は有効である。
【０１４０】
また、例えば、上述した実施例では、画像処理システムをプロジェクタ２０に実装した例について説明したが、プロジェクタ２０以外にもＣＲＴ（Cathode Ray Tube）等のプロジェクタ２０以外の画像表示装置に実装してもよい。また、プロジェクタ２０としては、液晶プロジェクタ以外にも、例えば、ＤＭＤ（Digital Micromirror Device）を用いたプロジェクタ等を用いてもよい。なお、ＤＭＤは米国テキサスインスツルメンツ社の商標である。
【０１４１】
また、上述したプロジェクタ２０の機能は、例えば、プロジェクタ単体で実装してもよいし、複数の処理装置で分散して（例えば、プロジェクタとＰＣとで分散処理）実装してもよい。
【０１４２】
さらに、上述した実施例では、センサー６０をプロジェクタ２０に内蔵した構成であったが、センサー６０を、プロジェクタ２０とは別の独立した装置として構成してもよい。
【図面の簡単な説明】
【０１４３】
【図１】本実施形態の一例に係る画像投写状況を示す概略図である。
【図２】本実施形態の一例に係るプロジェクタの機能ブロック図である。
【図３】本実施形態の一例に係るプロジェクタのハードウェアブロック図である。
【図４】本実施形態の一例に係る投写領域の位置検出処理の流れを示すフローチャートである。
【図５】本実施形態の一例に係るキャリブレーション画像の模式図であり、図５（Ａ）は、第１のキャリブレーション画像の模式図であり、図５（Ｂ）は、第２のキャリブレーション画像の模式図である。
【図６】本実施形態の一例に係る中央基準位置を検出する際の第１段階の検索方法を示す模式図である。
【図７】本実施形態の一例に係る中央基準位置を検出する際の第２段階の検索方法を示す模式図である。
【図８】本実施形態の一例に係る周辺基準位置を検出する際の第１段階の検索方法を示す模式図である。
【図９】本実施形態の一例に係る周辺基準位置を検出する際の第２段階の検索方法を示す模式図である。
【図１０】本実施形態の一例に係る近似直線を設定する際の第１段階を示す模式図である。
【図１１】本実施形態の一例に係る近似直線を設定する際の第２段階を示す模式図である。
【図１２】本実施形態の一例に係る投写対象領域の位置検出処理の流れを示すフローチャートである。
【図１３】本実施形態の一例に係る投写対象領域を検出する際の第１段階の検索方法を示す模式図である。
【図１４】本実施形態の一例に係る投写対象領域を検出する際の第２段階の検索方法を示す模式図である。
【図１５】本実施形態の一例に係る投写対象領域を検出する際の第３段階の検索方法を示す模式図である。
【図１６】本実施形態の一例に係るエッジ検出点評価処理を示す模式図である。
【図１７】本実施形態の他の一例に係る周辺基準位置を検出する際の第１段階の検索方法を示す模式図である。
【図１８】本実施形態の他の一例に係る周辺基準位置を検出する際の第２段階の検索方法を示す模式図である。
【符号の説明】
【０１４４】
２０  プロジェクタ、６０  センサー（撮像手段）、１１２  画像歪み補正部（画像歪み補正手段）、１４０  撮像情報記憶部、１５０  投写領域検出部、１５２  差分画像生成部、１５４  中央基準位置検出部、１５６  周辺基準位置検出部、１５８  投写領域情報生成部、１６２  画像歪み補正量演算部（画像歪み補正手段）、１８０  投写対象領域検出部、１８２  検索範囲決定部、１８４  エッジ検出部、１８６  投写対象領域情報生成部、１８８  検出点評価部、９００  情報記憶媒体
【図１】
2005286574.tif 000003
【図２】
2005286574.tif 000004
【図３】
2005286574.tif 000005
【図４】
2005286574.tif 000006
【図５】
2005286574.tif 000007
【図６】
2005286574.tif 000008
【図７】
2005286574.tif 000009
【図８】
2005286574.tif 000010
【図９】
2005286574.tif 000011
【図１０】
2005286574.tif 000012
【図１１】
2005286574.tif 000013
【図１２】
2005286574.tif 000014
【図１３】
2005286574.tif 000015
【図１４】
2005286574.tif 000016
【図１５】
2005286574.tif 000017
【図１６】
2005286574.tif 000018
【図１７】
2005286574.tif 000019
【図１８】
2005286574.tif 000020
【手続補正書】
【提出日】平成17年3月14日(2005.3.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１のキャリブレーション画像を投写対象物へ向け投写する画像投写手段と、
投写された第１のキャリブレーション画像を所定解像度以下の解像度である低解像度で撮像して第１の撮像情報を生成するとともに、前記第１のキャリブレーション画像を前記低解像度以上の解像度である高解像度で撮像して第３の撮像情報を生成する撮像手段と、
前記第１および第３の撮像情報に基づき、前記撮像手段の撮像領域における前記投写対象物に相当する投写対象領域の位置に関する投写対象領域情報を生成する投写対象領域検出手段と、
を含み、
前記投写対象領域検出手段は、
前記第１の撮像情報に基づき、エッジ検出を行って第１のエッジ検出情報を生成するとともに、前記第３の撮像情報に基づき、エッジ検出を行って第３のエッジ検出情報を生成するエッジ検出手段と、
前記第１のエッジ検出情報に基づき、前記投写対象領域を仮検出して仮検出情報を生成するとともに、前記第３のエッジ検出情報に基づき、前記投写対象領域情報を生成する投写対象領域情報生成手段と、
を含み、
前記エッジ検出手段は、前記仮検出情報に基づき、仮検出された投写対象領域の境界線付近の画素群に対してエッジ検出を行うことにより、前記第３のエッジ検出情報を生成することを特徴とする画像処理システム。
【請求項２】
請求項１において、
前記エッジ検出手段は、前記第１の撮像情報に基づく第１の撮像画像内の複数箇所のエッジを検出して前記第１のエッジ検出情報を生成し、
前記投写対象領域情報生成手段は、前記第１のエッジ検出情報に基づく前記複数箇所の位置情報に基づき、線形近似直線または線形近似曲線を設定することにより、前記仮検出情報を生成することを特徴とする画像処理システム。
【請求項３】
請求項２において、
前記投写対象領域検出手段は、複数のエッジ検出点を評価する検出点評価手段を含み、
前記検出点評価手段は、前記複数のエッジ検出点が、前記線形近似直線または前記線形近似曲線から所定値以上乖離しているかどうかを判定し、前記所定値以上乖離している検出点を除外して前記線形近似直線または前記線形近似曲線を再設定するように、前記投写対象領域情報生成手段を制御することを特徴とする画像処理システム。
【請求項４】
請求項１〜３のいずれかにおいて、
差分画像を生成する差分画像生成手段と、
前記差分画像に基づき、前記撮像領域における所定の中央ブロック領域の複数の中央基準位置を検出する中央基準位置検出手段と、
を含み、
前記投写対象領域検出手段は、前記エッジ検出手段によるエッジ検出範囲を設定する検索範囲決定手段を含み、
前記画像投写手段は、第２のキャリブレーション画像を投写し、
前記撮像手段は、投写された前記第２のキャリブレーション画像を撮像して第２の撮像情報を生成し、
前記差分画像生成手段は、前記第１および第２の撮像情報に基づき、前記差分画像を生成し、
前記検索範囲決定手段は、前記中央ブロック領域の外部に前記エッジ検出範囲を設定し、
前記第１のキャリブレーション画像は、単色のキャリブレーション画像であり、
前記第２のキャリブレーション画像は、当該第２のキャリブレーション画像より小さく、かつ、当該第２のキャリブレーション画像の中央付近に位置する前記中央ブロック領域を含むことを特徴とする画像処理システム。
【請求項５】
請求項４において、
前記第２のキャリブレーション画像は、前記中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の背景領域とから構成され、
前記中央ブロック領域および前記周辺ブロック領域における各画素と、前記背景領域における各画素とは異なる指標値を有し、
前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出する周辺基準位置検出手段と、
前記中央基準位置と、前記周辺基準位置とに基づき、前記撮像領域における投写領域の位置に関する投写領域情報を生成する投写領域情報生成手段と、
を含むことを特徴とする画像処理システム。
【請求項６】
請求項５において、
前記投写領域情報生成手段は、前記中央基準位置と、前記周辺基準位置とに基づき、複数の近似直線または近似曲線を設定して前記中央ブロック領域および前記周辺ブロック領域の形状または配置を把握することにより、前記投写領域情報を生成することを特徴とする画像処理システム。
【請求項７】
請求項６において、
前記投写領域および前記中央ブロック領域は、矩形の領域であり、
前記投写領域情報生成手段は、前記複数の近似直線の交点または前記複数の近似曲線の交点を検出することにより、前記中央ブロック領域の４隅の位置を把握し、当該４隅の位置に基づき、前記投写領域の４隅の位置を示す前記投写領域情報を生成することを特徴とする画像処理システム。
【請求項８】
請求項５〜７のいずれかにおいて、
前記第１の撮像情報と、前記中央基準位置とに基づき、前記投写対象領域の複数の境界点を検出する投写対象領域境界点検出手段を含み、
前記周辺基準位置検出手段は、前記境界点に基づき、前記周辺基準位置を検出することを特徴とする画像処理システム。
【請求項９】
請求項５〜８のいずれかにおいて、
前記投写対象領域情報と、前記投写領域情報とに基づき、前記画像投写手段によって投写される画像の歪みを把握し、当該歪みが補正されるように、画像信号を補正する画像歪み補正手段を含み、
前記画像投写手段は、前記画像歪み補正手段によって補正された画像信号に基づき、画像を投写することを特徴とする画像処理システム。
【請求項１０】
第１のキャリブレーション画像を投写対象物へ向け投写する画像投写手段と、
投写された第１のキャリブレーション画像を所定解像度以下の解像度である低解像度で撮像して第１の撮像情報を生成するとともに、前記第１のキャリブレーション画像を前記低解像度以上の解像度である高解像度で撮像して第３の撮像情報を生成する撮像手段と、
前記第１および第３の撮像情報に基づき、前記撮像手段の撮像領域における前記投写対象物に相当する投写対象領域の位置に関する投写対象領域情報を生成する投写対象領域検出手段と、
を含み、
前記投写対象領域検出手段は、
前記第１の撮像情報に基づき、エッジ検出を行って第１のエッジ検出情報を生成するとともに、前記第３の撮像情報に基づき、エッジ検出を行って第３のエッジ検出情報を生成するエッジ検出手段と、
前記第１のエッジ検出情報に基づき、前記投写対象領域を仮検出して仮検出情報を生成するとともに、前記第３のエッジ検出情報に基づき、前記投写対象領域情報を生成する投写対象領域情報生成手段と、
を含み、
前記エッジ検出手段は、前記仮検出情報に基づき、仮検出された投写対象領域の境界線付近の画素群に対してエッジ検出を行うことにより、前記第３のエッジ検出情報を生成することを特徴とするプロジェクタ。
【請求項１１】
コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
第１のキャリブレーション画像を投写対象物へ向け投写する画像投写手段と、
投写された第１のキャリブレーション画像を所定解像度以下の解像度である低解像度で撮像して第１の撮像情報を生成するとともに、前記第１のキャリブレーション画像を前記低解像度以上の解像度である高解像度で撮像して第３の撮像情報を生成する撮像手段と、
前記第１および第３の撮像情報に基づき、前記撮像手段の撮像領域における前記投写対象物に相当する投写対象領域の位置に関する投写対象領域情報を生成する投写対象領域検出手段として機能させ、
前記投写対象領域検出手段は、
前記第１の撮像情報に基づき、エッジ検出を行って第１のエッジ検出情報を生成するとともに、前記第３の撮像情報に基づき、エッジ検出を行って第３のエッジ検出情報を生成するエッジ検出手段と、
前記第１のエッジ検出情報に基づき、前記投写対象領域を仮検出して仮検出情報を生成するとともに、前記第３のエッジ検出情報に基づき、前記投写対象領域情報を生成する投写対象領域情報生成手段と、
を含み、
前記エッジ検出手段は、前記仮検出情報に基づき、仮検出された投写対象領域の境界線付近の画素群に対してエッジ検出を行うことにより、前記第３のエッジ検出情報を生成することを特徴とするプログラム。
【請求項１２】
コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、
請求項１１に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【請求項１３】
第１のキャリブレーション画像を投写対象物へ向け投写し、
投写された第１のキャリブレーション画像を、撮像部を用いて所定解像度以下の解像度である低解像度で撮像して第１の撮像情報を生成し、
前記第１のキャリブレーション画像を、前記撮像部を用いて前記低解像度以上の解像度である高解像度で撮像して第３の撮像情報を生成し、
前記第１の撮像情報に基づき、エッジ検出を行って第１のエッジ検出情報を生成し、
前記第１のエッジ検出情報に基づき、前記撮像部の撮像領域における前記投写対象物に相当する投写対象領域を仮検出して仮検出情報を生成し、
当該仮検出情報に基づき、仮検出された投写対象領域の境界線付近の画素群に対してエッジ検出を行うことにより、第３のエッジ検出情報を生成し、
当該第３のエッジ検出情報に基づき、前記投写対象領域を検出して前記投写対象領域の位置に関する投写対象領域情報を生成することを特徴とする画像処理方法。
【請求項１４】
請求項１３において、
前記第１の撮像情報に基づく第１の撮像画像内の複数箇所のエッジを検出して前記第１のエッジ検出情報を生成し、
前記第１のエッジ検出情報に基づく前記複数箇所の位置情報に基づき、線形近似直線または線形近似曲線を設定することにより、前記仮検出情報を生成することを特徴とする画像処理方法。
【請求項１５】
請求項１４において、
複数のエッジ検出点が、前記線形近似直線または前記線形近似曲線から所定値以上乖離しているかどうかを判定し、
前記所定値以上乖離している検出点を除外して前記線形近似直線または前記線形近似曲線を再設定することを特徴とする画像処理方法。
【請求項１６】
請求項１３〜１５のいずれかにおいて、
第２のキャリブレーション画像を投写し、
投写された前記第２のキャリブレーション画像を、前記撮像部を用いて撮像して第２の撮像情報を生成し、
前記第１および第２の撮像情報に基づき、差分画像を生成し、
当該差分画像に基づき、前記撮像領域における所定の中央ブロック領域の複数の中央基準位置を検出し、
前記中央ブロック領域の外部にエッジ検出範囲を設定し、
前記第１のキャリブレーション画像は、単色のキャリブレーション画像であり、
前記第２のキャリブレーション画像は、当該第２のキャリブレーション画像より小さく、かつ、当該第２のキャリブレーション画像の中央付近に位置する前記中央ブロック領域を含むことを特徴とする画像処理方法。
【請求項１７】
請求項１６において、
前記第２のキャリブレーション画像は、前記中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の背景領域とから構成され、
前記中央ブロック領域および前記周辺ブロック領域における各画素と、前記背景領域における各画素とは異なる指標値を有し、
前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出し、
前記中央基準位置と、前記周辺基準位置とに基づき、前記撮像領域における投写領域の位置に関する投写領域情報を生成することを特徴とする画像処理方法。
【請求項１８】
請求項１７において、
前記中央基準位置と、前記周辺基準位置とに基づき、複数の近似直線または近似曲線を設定して前記中央ブロック領域および前記周辺ブロック領域の形状または配置を把握することにより、前記投写領域情報を生成することを特徴とする画像処理方法。
【請求項１９】
請求項１８において、
前記投写領域および前記中央ブロック領域は、矩形の領域であり、
前記複数の近似直線の交点または前記複数の近似曲線の交点を検出することにより、前記中央ブロック領域の４隅の位置を把握し、当該４隅の位置に基づき、前記投写領域の４隅の位置を示す前記投写領域情報を生成することを特徴とする画像処理方法。
【請求項２０】
請求項１７〜１９のいずれかにおいて、
前記第１の撮像情報と、前記中央基準位置とに基づき、前記投写対象領域の複数の境界点を検出し、
前記境界点に基づき、前記周辺基準位置を検出することを特徴とする画像処理方法。
【請求項２１】
請求項１７〜２０のいずれかにおいて、
前記投写対象領域情報と、前記投写領域情報とに基づき、投写される画像の歪みを把握し、当該歪みが補正されるように、画像信号を補正することを特徴とする画像処理方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
また、本発明に係る画像処理方法は、第１のキャリブレーション画像を投写対象物へ向け投写し、
投写された第１のキャリブレーション画像を、撮像部を用いて所定解像度以下の解像度である低解像度で撮像して第１の撮像情報を生成し、
前記第１のキャリブレーション画像を、前記撮像部を用いて前記低解像度以上の解像度である高解像度で撮像して第３の撮像情報を生成し、
前記第１の撮像情報に基づき、エッジ検出を行って第１のエッジ検出情報を生成し、
前記第１のエッジ検出情報に基づき、前記撮像部の撮像領域における前記投写対象物に相当する投写対象領域を仮検出して仮検出情報を生成し、
当該仮検出情報に基づき、仮検出された投写対象領域の境界線付近の画素群に対してエッジ検出を行うことにより、第３のエッジ検出情報を生成し、
当該第３のエッジ検出情報に基づき、前記投写対象領域を検出して投写対象領域の位置に関する投写対象領域情報を生成することを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
また、前記画像処理システムおよび前記プロジェクタは、差分画像を生成する差分画像生成手段と、
前記差分画像に基づき、前記撮像領域における所定の中央ブロック領域の複数の中央基準位置を検出する中央基準位置検出手段と、
を含み、
前記投写対象領域検出手段は、前記エッジ検出手段によるエッジ検出範囲を設定する検索範囲決定手段を含み、
前記画像投写手段は、第２のキャリブレーション画像を投写し、
前記撮像手段は、投写された前記第２のキャリブレーション画像を撮像して第２の撮像情報を生成し、
前記差分画像生成手段は、前記第１および第２の撮像情報に基づき、前記差分画像を生成し、
前記検索範囲決定手段は、前記中央ブロック領域の外部に前記エッジ検出範囲を設定し、
前記第１のキャリブレーション画像は、単色のキャリブレーション画像であり、
前記第２のキャリブレーション画像は、当該第２のキャリブレーション画像より小さく、かつ、当該第２のキャリブレーション画像の中央付近に位置する前記中央ブロック領域を含んでもよい。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
また、前記プログラムおよび前記情報記憶媒体は、コンピュータを、差分画像を生成する差分画像生成手段と、
前記差分画像に基づき、前記撮像領域における所定の中央ブロック領域の複数の中央基準位置を検出する中央基準位置検出手段として機能させ、
前記投写対象領域検出手段は、前記エッジ検出手段によるエッジ検出範囲を設定する検索範囲決定手段を含み、
前記画像投写手段は、第２のキャリブレーション画像を投写し、
前記撮像手段は、投写された前記第２のキャリブレーション画像を撮像して第２の撮像情報を生成し、
前記差分画像生成手段は、前記第１および第２の撮像情報に基づき、前記差分画像を生成し、
前記検索範囲決定手段は、前記中央ブロック領域の外部に前記エッジ検出範囲を設定し、
前記第１のキャリブレーション画像は、単色のキャリブレーション画像であり、
前記第２のキャリブレーション画像は、当該第２のキャリブレーション画像より小さく、かつ、当該第２のキャリブレーション画像の中央付近に位置する前記中央ブロック領域を含んでもよい。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
また、前記画像処理方法は、第２のキャリブレーション画像を投写し、
投写された前記第２のキャリブレーション画像を、前記撮像部を用いて撮像して第２の撮像情報を生成し、
前記第１および第２の撮像情報に基づき、差分画像を生成し、
当該差分画像に基づき、前記撮像領域における所定の中央ブロック領域の複数の中央基準位置を検出し、
前記中央ブロック領域の外部にエッジ検出範囲を設定し、
前記第１のキャリブレーション画像は、単色のキャリブレーション画像であり、
前記第２のキャリブレーション画像は、当該第２のキャリブレーション画像より小さく、かつ、当該第２のキャリブレーション画像の中央付近に位置する前記中央ブロック領域を含んでもよい。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
また、前記画像処理方法において、前記第２のキャリブレーション画像は、前記中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の背景領域とから構成され、
前記中央ブロック領域および前記周辺ブロック領域における各画素と、前記背景領域における各画素とは異なる指標値を有し、
前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出し、
前記中央基準位置と、前記周辺基準位置とに基づき、前記撮像領域における投写領域の位置に関する投写領域情報を生成してもよい。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
また、前記画像処理方法は、前記中央基準位置と、前記周辺基準位置とに基づき、複数の近似直線または近似曲線を設定して前記中央ブロック領域および前記周辺ブロック領域の形状または配置を把握することにより、前記投写領域情報を生成してもよい。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１０２
【補正方法】変更
【補正の内容】
【０１０２】
なお、エッジ検出部１８４は、エッジ検出点のペアＭＮ、ＯＰ、ＱＲ、ＳＴの各ペアのうち一方の点が撮像領域１５内で検出できなかった場合、検出できなかった点の外側を検索するための外側検索領域については投写対象領域１８の境界線は存在しないものとみなし、該当領域内で検索ラインの設定やエッジ検出を行わない。また、エッジ検出部１８４は、エッジ検出点のペアＭＮ、ＯＰ、ＱＲ、ＳＴの各ペアのうち双方の点が撮像領域１５内で検出できなかった場合、検出できなかった線分と平行な方向で近接する投写対象領域１８の境界線は存在しないものとみなし、検出できなかった線分を検索するための中側検索領域および外側検索領域内で検索ラインの設定やエッジ検出を行わない。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１３２
【補正方法】変更
【補正の内容】
【０１３２】
周辺基準位置検出部１５６は、点ＴのＹ座標であるｙＴ、点ＵのＹ座標であるｙＵのうち小さい値と、Ｐ１のＹ座標であるｙ１に基づき、上側の横方向の検索の基準となる位置Ｙ＝ｙＱを検出する。また、周辺基準位置検出部１５６は、点ＶのＹ座標であるｙＶ、点ＷのＹ座標であるｙＷのうち大きい値と、Ｐ２のＹ座標であるｙ２に基づき、下側の横方向の検索の基準となる位置Ｙ＝ｙＲを検出する。
【手続補正１０】
【補正対象書類名】図面
【補正対象項目名】図１７
【補正方法】変更
【補正の内容】
【図１７】
2005286574.tif 000021
【手続補正１１】
【補正対象書類名】図面
【補正対象項目名】図１８
【補正方法】変更
【補正の内容】
【図１８】
2005286574.tif 000022