(57)【要約】【課題】ユーザーが意図した投写位置を変更することなく、画像の歪み補正と焦点調節をほぼ同時に実行可能な画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法を提供すること。【解決手段】画像の歪みを調節するために、画像信号を補正する歪み補正部１２０と、補正された画像信号に基づき、画像を投写するとともに、焦点調節機能を有するレンズユニット１９８を有する画像投写部１９０と、画像投写領域までの焦点距離が変化するように、レンズユニット１９８の駆動を制御する制御部１６０およびフォーカスレンズ駆動部１６２と、投写された画像を撮像する撮像部１８０と、撮像情報に基づき、画像投写領域の中心までの焦点距離を導出するとともに、歪み補正部１２０による歪み補正量を導出する歪み補正量導出部１４０とを含んでプロジェクタを構成する。【選択図】        図５
2004274354.tif 000002
【特許請求の範囲】
【請求項１】
画像の歪みを調節するために、画像信号を補正する歪み補正手段と、
補正された画像信号に基づき、画像を投写するとともに、焦点調節機能を有するレンズユニットを有する画像投写手段と、
画像投写領域までの焦点距離が変化するように、前記レンズユニットの駆動を制御する駆動制御手段と、
投写された画像を撮像する撮像手段と、
当該撮像手段からの撮像情報に基づき、画像投写領域の中心までの焦点距離を導出するとともに、前記歪み補正手段による歪み補正量を導出する歪み補正量導出手段と、
を含み、
前記歪み補正量導出手段は、撮像情報に基づく画像の輝度の変化に基づき、画像投写領域の複数の境界点までの最適な焦点距離をそれぞれ判別し、当該焦点距離に基づき、画像投写領域の中心までの焦点距離を導出し、当該焦点距離と、前記画像投写手段の水平方向および垂直方向の半画角とに基づき、複数の境界点の３次元空間上の座標を導出し、当該３次元空間上の座標に基づいて歪み補正量を導出し、
前記歪み補正手段は、当該歪み補正量に基づき、画像信号を補正し、
前記駆動制御手段は、前記歪み補正量導出手段によって導出された画像投写領域の中心までの焦点距離となるように、前記レンズユニットの駆動を制御することを特徴とする画像処理システム。
【請求項２】
請求項１において、
前記歪み補正量導出手段は、撮像情報に基づく画像投写領域の複数の境界点付近の境界領域における輝度と画素数との関係を示す輝度分布に基づき、当該輝度分布が画像投写領域内の輝度分布と画像投写領域外の輝度分布とに明確に分離していることを条件として最適な焦点距離を判別することを特徴とする画像処理システム。
【請求項３】
請求項１、２のいずれかにおいて、
前記画像は、矩形の画像であり、
前記複数の境界点は、当該矩形の画像の各頂点であることを特徴とする画像処理システム。
【請求項４】
請求項１〜３のいずれかにおいて、
前記画像投写手段は、黒色画像と白色画像を投写し、
前記歪み補正量導出手段は、黒色画像の撮像情報と白色画像の撮像情報の差分に基づき、投写領域を判別することを特徴とする画像処理システム。
【請求項５】
画像の歪みを調節するために、画像信号を補正する歪み補正手段と、
補正された画像信号に基づき、画像を投写するとともに、焦点調節機能を有するレンズユニットを有する画像投写手段と、
画像投写領域までの焦点距離が変化するように、前記レンズユニットの駆動を制御する駆動制御手段と、
投写された画像を撮像する撮像手段と、
当該撮像手段からの撮像情報に基づき、画像投写領域の中心までの焦点距離を導出するとともに、前記歪み補正手段による歪み補正量を導出する歪み補正量導出手段と、
を含み、
前記歪み補正量導出手段は、撮像情報に基づく画像の輝度の変化に基づき、画像投写領域の複数の境界点までの最適な焦点距離をそれぞれ判別し、当該焦点距離に基づき、画像投写領域の中心までの焦点距離を導出し、当該焦点距離と、前記画像投写手段の水平方向および垂直方向の半画角とに基づき、複数の境界点の３次元空間上の座標を導出し、当該３次元空間上の座標に基づいて歪み補正量を導出し、
前記歪み補正手段は、当該歪み補正量に基づき、画像信号を補正し、
前記駆動制御手段は、前記歪み補正量導出手段によって導出された画像投写領域の中心までの焦点距離となるように、前記レンズユニットの駆動を制御することを特徴とするプロジェクタ。
【請求項６】
コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
画像の歪みを調節するために、画像信号を補正する歪み補正手段と、
補正された画像信号に基づき、画像を投写するとともに、画像投写領域までの焦点距離を変化させる焦点調節機能を有するレンズユニットの駆動と、投写された画像を撮像する撮像部の撮像駆動とを制御する駆動制御手段と、
当該撮像手段からの撮像情報に基づき、画像投写領域の中心までの焦点距離を導出するとともに、前記歪み補正手段による歪み補正量を導出する歪み補正量導出手段として機能させ、
前記歪み補正量導出手段は、撮像情報に基づく画像の輝度の変化に基づき、画像投写領域の複数の境界点までの最適な焦点距離をそれぞれ判別し、当該焦点距離に基づき、画像投写領域の中心までの焦点距離を導出し、当該焦点距離と、前記画像投写手段の水平方向および垂直方向の半画角とに基づき、複数の境界点の３次元空間上の座標を導出し、当該３次元空間上の座標に基づいて歪み補正量を導出し、
前記歪み補正手段は、当該歪み補正量に基づき、画像信号を補正し、
前記駆動制御手段は、前記歪み補正量導出手段によって導出された画像投写領域の中心までの焦点距離となるように、前記レンズユニットの駆動を制御することを特徴とするプログラム。
【請求項７】
コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、
コンピュータを、
画像の歪みを調節するために、画像信号を補正する歪み補正手段と、
補正された画像信号に基づき、画像を投写するとともに、画像投写領域までの焦点距離を変化させる焦点調節機能を有するレンズユニットの駆動と、投写された画像を撮像する撮像部の撮像駆動とを制御する駆動制御手段と、
当該撮像手段からの撮像情報に基づき、画像投写領域の中心までの焦点距離を導出するとともに、前記歪み補正手段による歪み補正量を導出する歪み補正量導出手段として機能させるためのプログラムを記憶し、
前記歪み補正量導出手段は、撮像情報に基づく画像の輝度の変化に基づき、画像投写領域の複数の境界点までの最適な焦点距離をそれぞれ判別し、当該焦点距離に基づき、画像投写領域の中心までの焦点距離を導出し、当該焦点距離と、前記画像投写手段の水平方向および垂直方向の半画角とに基づき、複数の境界点の３次元空間上の座標を導出し、当該３次元空間上の座標に基づいて歪み補正量を導出し、
前記歪み補正手段は、当該歪み補正量に基づき、画像信号を補正し、
前記駆動制御手段は、前記歪み補正量導出手段によって導出された画像投写領域の中心までの焦点距離となるように、前記レンズユニットの駆動を制御することを特徴とする情報記憶媒体。
【請求項８】
所定のキャリブレーション画像を、レンズユニットの焦点距離を変化させながら投写し、
当該レンズユニットの焦点距離の変化に応じて当該キャリブレーション画像を撮像し、
撮像情報に基づく画像の輝度の変化に基づき、画像投写領域の複数の境界点までの最適な焦点距離をそれぞれ判別し、
当該焦点距離と、前記画像投写手段の水平方向および垂直方向の半画角とに基づき、複数の境界点の３次元空間上の座標を導出し、
当該３次元空間上の座標に基づいて歪み補正量を導出し、
当該歪み補正量に基づき、画像の歪みが補正されるように、画像信号を補正し、
画像投写領域の複数の境界点までの最適な焦点距離に基づき、画像投写領域の中心までの焦点距離を導出し、
当該焦点距離となるように、前記レンズユニットの焦点距離を変化させ、補正された画像信号に基づき、画像を投写することを特徴とする画像処理方法。
【請求項９】
請求項８において、
撮像情報に基づく画像投写領域の複数の境界点付近の境界領域における輝度と画素数との関係を示す輝度分布に基づき、当該輝度分布が画像投写領域内の輝度分布と画像投写領域外の輝度分布とに明確に分離していることを条件として最適な焦点距離を判別することを特徴とする画像処理方法。
【請求項１０】
請求項８、９のいずれかにおいて、
前記画像は、矩形の画像であり、
前記複数の境界点は、当該矩形の画像の各頂点であることを特徴とする画像処理方法。
【請求項１１】
請求項８〜１０のいずれかにおいて、
前記キャリブレーション画像として、少なくとも黒色画像と白色画像を投写し、
黒色画像の撮像情報と白色画像の撮像情報の差分に基づき、投写領域を判別することを特徴とする画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像の歪み補正と焦点調節が可能な画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法に関する。
【０００２】
【背景技術】
プロジェクタ等の画像表示装置と画像の投写対象位置との相互関係によって画像が歪んでしまい、縦方向や横方向にいわゆる台形歪みが発生してしまう場合がある。また、画像表示装置と投写対象とがほぼ正対している場合であっても、画像表示装置と投写対象との距離が変化した場合には画像の焦点（ピント、フォーカス）がぼけた状態になってしまう。
【０００３】
したがって、画像表示装置は、画像を表示する場合には、画像の歪みやピントのぼけをなくした状態で画像を表示する必要がある。
【０００４】
しかし、一般的な画像の歪み補正機能およびオートフォーカス機能付きプロジェクタでは、ユーザーがマウス等を用いてスクリーンの４隅の点を指示することにより、半自動的に画像の歪みを補正している。その上、オートフォーカス実施には、一般的なプロジェクタは、画像の歪み補正を一旦解除してからキャリブレーション画像を投写している。この場合、当該プロジェクタが再び画像の歪みを補正すると、補正後の投写領域内が適切にフォーカスされない可能性がある。
【０００５】
また、ユーザーにとっては、マウス等を用いてスクリーンの４隅の点を指示することは煩雑である。
【０００６】
このような課題を解決するため、例えば、特許文献１では、焦点調節、ズーミング、俯仰角調整およびあおりの調整可能な投射レンズと、プロジェクタ本体前面に設置され、スクリーンに投射された画像を撮像するモニタカメラと、モニタカメラより入力された映像信号の情報をデジタルデータに変換して記憶するデータ変換手段と、データ変換手段により変換されたデジタルデータを演算処理する演算手段と、投射レンズの焦点調節手段と、投射レンズをズーミングするズーミング駆動手段と、モニタカメラにより撮像された画像内のスクリーンの位置を検出するスクリーン位置検出手段と、検出されたスクリーンの位置のデータにより映写画像の台形歪みを調整する台形歪み調整手段とを有するプロジェクタの自動画面位置調整装置が開示されている。
【０００７】
【特許文献１】
特開２０００−２４１８７４号公報
【０００８】
【発明が解決しようとする課題】
しかし、特許文献１の手法では、特許文献１の明細書の段落番号００２１〜００２９に記載されているように、テストパターン画像を投写して撮像してフォーカスの最良点を検出し、フォーカス調整を行い、全白画像を投写して撮像してスクリーンの端点を検出し、ズーミングにより投写画像がスクリーンの端点に達するまで投写範囲を縮小または拡大し、スクリーンの映像が画面の中央に位置するようにプロジェクタ本体前面の向きまたは投射レンズの俯仰角を調整している。
【０００９】
また、当該手法では、撮像された画像内のスクリーンの対向辺の長さを比較して台形歪みを検定し、調整している。
【００１０】
以上のように、特許文献１の手法では、一旦フォーカス調整を行ってから台形歪みを行うため、台形歪み後の画像のフォーカスが本来意図したフォーカス最良点とならない可能性がある。
【００１１】
また、スクリーンの位置を検出するためには、高解像度のカメラが必要となり、製造コストが増大してしまう。
【００１２】
さらに、特許文献１の手法では、元々の投写位置を無視して強制的にスクリーンの中央に画像が投写されるようにプロジェクタ本体の俯仰角等を調整している。このような処理が前提となっているため、プロジェクタの本体がスクリーンにほぼ正対していることが前提となっている。
【００１３】
しかし、実際には、プロジェクタの本体がスクリーンにほぼ正対していない場合に横方向の台形歪みが発生するため、プロジェクタの本体がスクリーンにほぼ正対していることを前提として処理を行うと、横方向の台形歪みを適切に補正することはできない。
【００１４】
また、ユーザーが意図した投写位置を無視して強制的にスクリーンの中央に画像が投写されるようにプロジェクタ本体の俯仰角等を調整したのでは、ユーザーの目的に沿った画像を表示することができない。具体的には、例えば、スクリーンの中央位置の前面に障害物があるため、ユーザーが、スクリーンの右半分に画像を投写するような場合も考えられる。
【００１５】
本発明は、上記の課題に鑑みなされたものであり、その目的は、ユーザーが意図した投写位置を変更することなく、画像の歪み補正と焦点調節をほぼ同時に実行可能な画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法を提供することにある。
【００１６】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る画像処理システムは、画像の歪みを調節するために、画像信号を補正する歪み補正手段と、
補正された画像信号に基づき、画像を投写するとともに、焦点調節機能を有するレンズユニットを有する画像投写手段と、
画像投写領域までの焦点距離が変化するように、前記レンズユニットの駆動を制御する駆動制御手段と、
投写された画像を撮像する撮像手段と、
当該撮像手段からの撮像情報に基づき、画像投写領域の中心までの焦点距離を導出するとともに、前記歪み補正手段による歪み補正量を導出する歪み補正量導出手段と、
を含み、
前記歪み補正量導出手段は、撮像情報に基づく画像の輝度の変化に基づき、画像投写領域の複数の境界点までの最適な焦点距離をそれぞれ判別し、当該焦点距離に基づき、画像投写領域の中心までの焦点距離を導出し、当該焦点距離と、前記画像投写手段の水平方向および垂直方向の半画角とに基づき、複数の境界点の３次元空間上の座標を導出し、当該３次元空間上の座標に基づいて歪み補正量を導出し、
前記歪み補正手段は、当該歪み補正量に基づき、画像信号を補正し、
前記駆動制御手段は、前記歪み補正量導出手段によって導出された画像投写領域の中心までの焦点距離となるように、前記レンズユニットの駆動を制御することを特徴とする。
【００１７】
また、本発明に係るプロジェクタは、画像の歪みを調節するために、画像信号を補正する歪み補正手段と、
補正された画像信号に基づき、画像を投写するとともに、焦点調節機能を有するレンズユニットを有する画像投写手段と、
画像投写領域までの焦点距離が変化するように、前記レンズユニットの駆動を制御する駆動制御手段と、
投写された画像を撮像する撮像手段と、
当該撮像手段からの撮像情報に基づき、画像投写領域の中心までの焦点距離を導出するとともに、前記歪み補正手段による歪み補正量を導出する歪み補正量導出手段と、
を含み、
前記歪み補正量導出手段は、撮像情報に基づく画像の輝度の変化に基づき、画像投写領域の複数の境界点までの最適な焦点距離をそれぞれ判別し、当該焦点距離に基づき、画像投写領域の中心までの焦点距離を導出し、当該焦点距離と、前記画像投写手段の水平方向および垂直方向の半画角とに基づき、複数の境界点の３次元空間上の座標を導出し、当該３次元空間上の座標に基づいて歪み補正量を導出し、
前記歪み補正手段は、当該歪み補正量に基づき、画像信号を補正し、
前記駆動制御手段は、前記歪み補正量導出手段によって導出された画像投写領域の中心までの焦点距離となるように、前記レンズユニットの駆動を制御することを特徴とする。
【００１８】
また、本発明に係るプログラムは、コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
画像の歪みを調節するために、画像信号を補正する歪み補正手段と、
補正された画像信号に基づき、画像を投写するとともに、画像投写領域までの焦点距離を変化させる焦点調節機能を有するレンズユニットの駆動と、投写された画像を撮像する撮像部の撮像駆動とを制御する駆動制御手段と、
当該撮像手段からの撮像情報に基づき、画像投写領域の中心までの焦点距離を導出するとともに、前記歪み補正手段による歪み補正量を導出する歪み補正量導出手段として機能させ、
前記歪み補正量導出手段は、撮像情報に基づく画像の輝度の変化に基づき、画像投写領域の複数の境界点までの最適な焦点距離をそれぞれ判別し、当該焦点距離に基づき、画像投写領域の中心までの焦点距離を導出し、当該焦点距離と、前記画像投写手段の水平方向および垂直方向の半画角とに基づき、複数の境界点の３次元空間上の座標を導出し、当該３次元空間上の座標に基づいて歪み補正量を導出し、
前記歪み補正手段は、当該歪み補正量に基づき、画像信号を補正し、
前記駆動制御手段は、前記歪み補正量導出手段によって導出された画像投写領域の中心までの焦点距離となるように、前記レンズユニットの駆動を制御することを特徴とする。
【００１９】
また、本発明に係る情報記憶媒体は、コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、
コンピュータを、
画像の歪みを調節するために、画像信号を補正する歪み補正手段と、
補正された画像信号に基づき、画像を投写するとともに、画像投写領域までの焦点距離を変化させる焦点調節機能を有するレンズユニットの駆動と、投写された画像を撮像する撮像部の撮像駆動とを制御する駆動制御手段と、
当該撮像手段からの撮像情報に基づき、画像投写領域の中心までの焦点距離を導出するとともに、前記歪み補正手段による歪み補正量を導出する歪み補正量導出手段として機能させるためのプログラムを記憶し、
前記歪み補正量導出手段は、撮像情報に基づく画像の輝度の変化に基づき、画像投写領域の複数の境界点までの最適な焦点距離をそれぞれ判別し、当該焦点距離に基づき、画像投写領域の中心までの焦点距離を導出し、当該焦点距離と、前記画像投写手段の水平方向および垂直方向の半画角とに基づき、複数の境界点の３次元空間上の座標を導出し、当該３次元空間上の座標に基づいて歪み補正量を導出し、
前記歪み補正手段は、当該歪み補正量に基づき、画像信号を補正し、
前記駆動制御手段は、前記歪み補正量導出手段によって導出された画像投写領域の中心までの焦点距離となるように、前記レンズユニットの駆動を制御することを特徴とする。
【００２０】
また、本発明に係る画像処理方法は、所定のキャリブレーション画像を、レンズユニットの焦点距離を変化させながら投写し、
当該レンズユニットの焦点距離の変化に応じて当該キャリブレーション画像を撮像し、
撮像情報に基づく画像の輝度の変化に基づき、画像投写領域の複数の境界点までの最適な焦点距離をそれぞれ判別し、
当該焦点距離と、前記画像投写手段の水平方向および垂直方向の半画角とに基づき、複数の境界点の３次元空間上の座標を導出し、
当該３次元空間上の座標に基づいて歪み補正量を導出し、
当該歪み補正量に基づき、画像の歪みが補正されるように、画像信号を補正し、
画像投写領域の複数の境界点までの最適な焦点距離に基づき、画像投写領域の中心までの焦点距離を導出し、
当該焦点距離となるように、前記レンズユニットの焦点距離を変化させ、補正された画像信号に基づき、画像を投写することを特徴とする。
【００２１】
本発明によれば、画像処理システム等は、画像の輝度の変化に基づき、画像投写領域の複数の境界点までのそれぞれの最適な焦点距離と、水平方向および垂直方向の半画角とに基づいて複数の境界点の３次元空間上の座標を導出して画像の歪みを補正すると同時に、それぞれの最適な焦点距離に基づく画像投写領域の中心までの焦点距離となるようにレンズユニットを駆動することができる。
【００２２】
これにより、画像処理システム等は、画像の歪み補正と焦点調節をほぼ同時に実行することができる。
【００２３】
また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記歪み補正量導出手段は、撮像情報に基づく画像投写領域の複数の境界点付近の境界領域における輝度と画素数との関係を示す輝度分布に基づき、当該輝度分布が画像投写領域内の輝度分布と画像投写領域外の輝度分布とに明確に分離していることを条件として最適な焦点距離を判別してもよい。
【００２４】
また、前記画像処理方法では、撮像情報に基づく画像投写領域の複数の境界点付近の境界領域における輝度と画素数との関係を示す輝度分布に基づき、当該輝度分布が画像投写領域内の輝度分布と画像投写領域外の輝度分布とに明確に分離していることを条件として最適な焦点距離を判別してもよい。
【００２５】
これによれば、画像処理システム等は、輝度分布に基づいて最適な焦点距離を判別することにより、高解像度のカメラを適用することなく、画像の歪み補正と焦点調節をほぼ同時に実行することができる。
【００２６】
また、前記画像処理システム、前記プロジェクタ、前記プログラム、前記情報記憶媒体および前記画像処理方法において、前記画像は、矩形の画像であり、
前記複数の境界点は、当該矩形の画像の各頂点であってもよい。
【００２７】
これによれば、画像処理システム等は、矩形の画像の各頂点を対象とすることにより、画像全体を対象とする場合と比べ、より効率的に画像の歪み補正と焦点調節を実行することができる。
【００２８】
また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記画像投写手段は、黒色画像と白色画像を投写し、
前記歪み補正量導出手段は、黒色画像の撮像情報と白色画像の撮像情報の差分に基づき、投写領域を判別してもよい。
【００２９】
また、前記画像処理方法において、前記キャリブレーション画像として、少なくとも黒色画像と白色画像を投写し、
黒色画像の撮像情報と白色画像の撮像情報の差分に基づき、投写領域を判別してもよい。
【００３０】
これによれば、画像処理システム等は、黒色画像の撮像情報と白色画像の撮像情報の差分に基づき、投写領域を判別することにより、投写領域をより明確に判別することができる。
【００３１】
【発明の実施の形態】
以下、本発明を、画像の歪みと画像の焦点調節をほぼ同時に実行するプロジェクタに適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施形態は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施形態に示す構成の全てが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。
【００３２】
（システム全体の説明）
図１は、画像投写時の状態を示す模式図である。
【００３３】
プロジェクタ２０は、スクリーン１０に対して矩形の画像を投写することにより、矩形の投写領域１２を形成する。また、本実施の形態では、撮像手段の一部である色光センサー６０は、投写領域１２を含むスクリーン１０上の領域を撮像する。
【００３４】
また、本実施の形態では、プロジェクタ２０は、色光センサー６０による撮像情報に基づく画像の輝度の変化に基づき、投写領域１２の境界点である４隅の領域までの最適な焦点距離をそれぞれ判別する。
【００３５】
図２は、本実施形態の一例に係る画像の４隅の処理対象を示す模式図である。また、図３は、焦点が合っている場合の画像の状態と輝度分布の関係を示す模式図であり、図３（Ａ）は、焦点が合っている場合の画像の状態を示す模式図であり、図３（Ｂ）は、焦点が合っている場合の輝度分布を示す模式図である。また、図４は、焦点が合っていない場合の画像の状態と輝度分布の関係を示す模式図であり、図４（Ａ）は、焦点が合っていない場合の画像の状態を示す模式図であり、図４（Ｂ）は、焦点が合っていない場合の輝度分布を示す模式図である。
【００３６】
図２に示すように、撮像画像２１０は、投写領域１２に相当する領域２１２とそれ以外の領域を含んでいる。また、プロジェクタ２０は、処理対象として上記４隅の付近の領域である境界領域２２０〜２２３を設定している。
【００３７】
例えば、焦点が合っている場合、境界領域２２２においては、領域２１２とそれ以外の領域とが明確に区分され、輝度分布も領域２１２とそれ以外の領域とが明確に分離している。
【００３８】
一方、例えば、焦点が合っていない場合、境界領域２２２においては、領域２１２とそれ以外の領域とが明確に区分されておらず、輝度分布も領域２１２とそれ以外の領域とが明確に分離していない。
【００３９】
なお、明確に分離しているかどうかの判定基準としては、例えば、所定の輝度範囲における総画素数が閾値を超えているかどうかという基準（すなわち、領域２１２の輝度分布とそれ以外の領域の輝度分布とに分離している）、画素数が閾値を超えていない輝度範囲が他の閾値を超えていない（すなわち、領域２１２とそれ以外の領域のどちらにも区分できない領域が少ない）という基準等を採用してもよい。
【００４０】
このように、本実施の形態では、プロジェクタ２０は、色光センサー６０による撮像情報に基づく画像の輝度の変化に基づき、投写領域１２の境界点である４隅の領域までの最適な焦点距離をそれぞれ判別する。
【００４１】
そして、本実施の形態では、プロジェクタ２０は、当該焦点距離に基づき、投写領域１２の中心までの焦点距離を導出し、当該焦点距離と、プロジェクタ２０の水平方向および垂直方向の半画角とに基づき、投写領域１２の４隅の３次元空間上の座標を導出し、当該３次元空間上の座標に基づいて歪み補正量を導出し、当該歪み補正量に基づき、画像信号を補正する。
【００４２】
さらに、本実施の形態では、プロジェクタ２０は、図１２に示す投写領域１２の歪みを補正した状態の投写領域１３の中心Ｐまでの焦点距離となるように、焦点調節機能を有するレンズユニットの駆動を制御する。
【００４３】
このようにして、プロジェクタ２０は、画像の投写位置を変更することなく、画像の歪み補正と焦点調節をほぼ同時に実行する。
【００４４】
（機能ブロックの説明）
次に、このような機能を実現するためのプロジェクタ２０の機能ブロックについて説明する。
【００４５】
図５は、本実施形態の一例に係るプロジェクタ２０の機能ブロック図である。
【００４６】
プロジェクタ２０は、画像信号を入力する信号入力部１１０と、画像の歪みが調節されるように、入力された画像信号を補正する歪み補正部１２０と、補正された画像信号を出力する信号出力部１３０と、画像信号に基づき、画像を投写する画像投写部１９０と、投写された画像を撮像する撮像部１８０と、撮像情報に基づき、投写領域１２の中心までの焦点距離を導出するとともに、歪み補正部１２０による歪み補正量を導出する歪み補正量導出部１４０とを含んで構成されている。
【００４７】
また、撮像部１８０は、焦点調節機能を有するレンズユニット１８４と、レンズユニット１８４からの光を受光する受光部１８２とを含んで構成されている。
【００４８】
また、画像投写部１９０は、空間光変調器１９２と、空間光変調器１９２を駆動する駆動部１９４と、光源１９６と、焦点調節機能を有するレンズユニット１９８とを含んで構成されている。
【００４９】
駆動部１９４は、信号出力部１３０からの画像信号に基づき、空間光変調器１９２を駆動する。そして、画像投写部１９０は、光源１９６からの光を、空間光変調器１９２およびレンズユニット１９８を介して投写する。
【００５０】
また、プロジェクタ２０は、駆動制御手段の一部として機能し、レンズユニット１８４およびレンズユニット１９８を駆動するフォーカスレンズ駆動部１６２と、歪み補正量導出手段の一部として機能し、撮像情報を解析する画像解析部１７０と、駆動制御手段の一部として機能し、撮像情報に基づき、フォーカスレンズ駆動部１６２を制御する制御部１６０と、補正用のキャリブレーション画像を生成するキャリブレーション画像生成部１５０とを含んで構成されている。
【００５１】
また、上述したプロジェクタ２０の各部を実現するためのハードウェアとしては、例えば、以下のものを適用できる。
【００５２】
図６は、本実施形態の一例に係るプロジェクタ２０のハードウェアブロック図である。
【００５３】
例えば、信号入力部１１０としては、例えばＡ／Ｄコンバーター９３０等、歪み補正部１２０としては、例えば画像処理回路９７０、ＲＡＭ９５０、ＣＰＵ９１０等、信号出力部１３０としては、例えばＤ／Ａコンバーター９４０等、キャリブレーション画像生成部１５０および画像解析部１７０としては、例えば画像処理回路９７０、ＲＡＭ９５０等、制御部１６０およびフォーカスレンズ駆動部１６２としては、例えばＣＰＵ９１０、ＲＡＭ９５０等、撮像部１８０としては、例えばＣＣＤカメラ等、空間光変調器１９２としては、例えば液晶パネル９２０、液晶パネル９２０を駆動する液晶ライトバルブ駆動ドライバを記憶するＲＯＭ９６０等を用いて実現できる。
【００５４】
なお、これらの各部はシステムバス９８０を介して相互に情報をやりとりすることが可能である。また、色光センサー６０は、撮像部１８０の一部である。
【００５５】
また、これらの各部は、その一部または全部を、回路のようにハードウェア的に実現してもよいし、ドライバのようにソフトウェア的に実現してもよい。
【００５６】
さらに、歪み補正部１２０等としてコンピュータを機能させるためのプログラムを記憶した情報記憶媒体９００からプログラムを読み取って歪み補正部１２０等の機能をコンピュータに実現させてもよい。
【００５７】
このような情報記憶媒体９００としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＲＯＭ、ＲＡＭ、ＨＤＤ等を適用でき、そのプログラムの読み取り方式は接触方式であっても、非接触方式であってもよい。
【００５８】
また、情報記憶媒体９００に代えて、上述した各機能を実現するためのプログラム等を、伝送路を介してホスト装置等からダウンロードすることによって上述した各機能を実現することも可能である。
【００５９】
次に、これらの各部を用いた画像処理の流れについて説明する。
【００６０】
図７は、本実施形態の一例に係る画像処理の流れを示すフローチャートである。
【００６１】
まず、ユーザーは、プロジェクタ２０を起動し、プロジェクタ２０は、キャリブレーション画像を投写する。
【００６２】
また、初期状態では、制御部１６０およびフォーカスレンズ駆動部１６２は、レンズユニット１８４、１９８の焦点距離が最短になるように、レンズユニット１８４、１９８の駆動を制御する（ステップＳ１）。
【００６３】
そして、プロジェクタ２０は、焦点距離が最遠になるまで（ステップＳ２）、撮像処理（ステップＳ３）を実行する。
【００６４】
図８は、本実施形態の一例に係る撮像処理の流れを示すフローチャートである。
【００６５】
プロジェクタ２０は、初回かどうかを判定し（ステップＳ１０）、初回の場合、キャリブレーション画像生成部１５０は、全黒のキャリブレーション画像を生成し、画像投写部１９０は、全黒のキャリブレーション画像を投写する（ステップＳ１１）。
【００６６】
撮像部１８０は、全黒のキャリブレーション画像が投写されたスクリーン１０を撮像する（ステップＳ１２）。
【００６７】
また、キャリブレーション画像生成部１５０は、全白のキャリブレーション画像を生成し、画像投写部１９０は、全白のキャリブレーション画像を投写する（ステップＳ１３）。
【００６８】
撮像部１８０は、全白のキャリブレーション画像が投写されたスクリーン１０を撮像する（ステップＳ１４）。
【００６９】
そして、プロジェクタ２０は、初回かどうかを判定し（ステップＳ１５）、初回の場合のみ投写領域を抽出する（ステップＳ１６）。具体的には、画像解析部１７０は、全白のキャリブレーション画像の撮像情報と全黒のキャリブレーション画像の撮像情報との差分に基づいて投写領域１２に相当する領域２１２とそれ以外の領域とを判別する。画像解析部１７０は、この情報を記憶しておくことにより、以降の処理において、境界領域２２０〜２２３を識別することができる。
【００７０】
そして、画像解析部１７０は、領域２１２の４隅周辺の輝度分布を検出する（ステップＳ１７）。撮像部１８０は、撮像情報として、例えば画像のＸＹＺ値を出力し、画像解析部１７０は、当該ＸＹＺ値に基づくＹ値を輝度として取り扱うことにより、輝度分布を検出することができる。
【００７１】
なお、ここで、ＸＹＺ値とは、国際照明委員会（ＣＩＥ：Ｃｏｍｍｉｓｓｉｏｎ  Ｉｎｔｅｒｎａｔｉｏｎａｌｅ  ｄｅ  ｌ’Ｅｃｌａｉｒａｇｅ）によって定められたデバイス非依存型の表色系であるＸＹＺ表色系における三刺激値の値である。また、ＸＹＺ表色系においては、Ｙ値を輝度値として取り扱うことができる。
【００７２】
そして、制御部１６０およびフォーカスレンズ駆動部１６２は、レンズユニット１８４、１９８の焦点距離が一定間隔で変化するように、レンズユニット１８４、１９８の駆動を制御する（ステップＳ１８）。
【００７３】
以上の撮像処理（ステップＳ３）を行っている間に、焦点距離が最遠になった場合、画像解析部１７０は、制御部１６０に記憶されている焦点距離と、画像解析部１７０内に記憶された輝度分布に基づいてプロジェクタ２０から投写領域１２の４隅までの距離を検出する（ステップＳ４）。
【００７４】
そして、制御部１６０は、当該情報を歪み補正量導出部１４０に転送する。歪み補正量導出部１４０は、投写領域１２の４隅までの距離に基づき、歪み補正量を導出する（ステップＳ５）。
【００７５】
ここで、歪み補正量の導出方法についてより詳細に説明する。
【００７６】
図９は、画像歪み発生時の画像の正面の模式図である。また、図１０は、画像歪み発生時の画像の上面の模式図である。また、図１１は、画像歪み発生時の画像の側面の模式図である。また、図１２は、画像歪み補正前の投写領域１２と、画像歪み補正後の投写領域１３を示す模式図である。
【００７７】
例えば、仮想的な３次元空間の原点をＯとし、Ｏを原点として水平方向をＸ軸、垂直方向をＹ軸、Ｘ軸およびＹ軸と垂直に交わる軸をＺ軸と想定する。
【００７８】
また、プロジェクタ２０の水平方向の半画角をθｈ、垂直方向の半画角をθｖとし、投写領域１２の４隅の点Ａ、Ｂ、Ｃ、Ｄまでの焦点距離をそれぞれＬ１、Ｌ２、Ｌ３、Ｌ４（単位はｃｍ等）とした場合、Ａ、Ｂ、Ｃ、Ｄの３次元空間上の座標は以下の三角関数を用いた計算により求めることができる。
【００７９】
2004274354.tif 000003
次に、Ａ、Ｂ、Ｃ、Ｄのうちの任意の３点の座標情報を用いてスクリーン１０に垂直なベクトルＮを求める。ここでは、Ａ、Ｃ、Ｄの座標情報を用いた場合の計算例を示す。
【００８０】
Ｎ＝（Ｘｎ，Ｙｎ，Ｚｎ），
Ｘｎ＝（Ｙ４−Ｙ３）＊（Ｚ１−Ｚ４）−（Ｚ４−Ｚ３）＊（Ｙ１−Ｙ４）
Ｙｎ＝（Ｚ４−Ｚ３）＊（Ｘ１−Ｘ４）−（Ｘ４−Ｘ３）＊（Ｚ１−Ｚ４）
Ｚｎ＝（Ｘ４−Ｘ３）＊（Ｙ１−Ｙ４）−（Ｙ４−Ｙ３）＊（Ｘ１−Ｘ４）
このベクトルＮから、スクリーン１０とプロジェクタ２０の成す角度、水平方向θｘ、鉛直方向θｙを求める。
【００８１】
閂＝ａｔａｎ（Ｘｎ／Ｚｎ）
閇＝ａｔａｎ（Ｙｎ／Ｚｎ）
そして、これらの角度情報θｘ、θｙを用いて、角度情報θｘ、θｙと画像歪み補正後の液晶ライトバルブ上の４隅のｘｙ座標における補正量とが関連づけられたテーブルから画像歪み補正後の４隅の液晶ライトバルブ上における座標Ａ’、Ｂ’、Ｃ’、Ｄ’を得る。
【００８２】
このようにして画像解析部１７０は、４隅の点Ａ、Ｂ、Ｃ、Ｄまでの焦点距離であるＬ１、Ｌ２、Ｌ３、Ｌ４に基づき、歪み補正量を導出することができる（ステップＳ５）。
【００８３】
また、画像解析部１７０は、液晶ライトバルブ上における画像歪みが補正された状態の領域を示す座標Ａ’、Ｂ’、Ｃ’、Ｄ’の中心の座標の位置と、投写領域１２の４隅の座標ＡＢＣＤとプロジェクタ２０との実際の距離を示すＬ１〜Ｌ４とに基づき、図１２に示す画像歪み補正後の投写領域１３の４隅の座標ＥＦＧＨの中心Ｐまでの距離Ｌ５を演算する（ステップＳ６）。
【００８４】
そして、制御部１６０およびフォーカスレンズ駆動部１６２は、レンズユニット１９８の焦点距離がＬ５となるように、レンズユニット１９８を制御する（ステップＳ７）。
【００８５】
このようにして、歪み補正部１２０は、台形歪みが補正される補正量で入力信号処理部１１０からの画像信号を補正し、画像投写部１９０は、補正された画像信号に基づき、焦点距離が調節された状態で画像を投写する（ステップＳ８）。
【００８６】
以上のように、本実施形態によれば、プロジェクタ２０は、画像の輝度の変化に基づき、投写領域１２の４隅までのそれぞれの最適な焦点距離と、水平方向および垂直方向の半画角とに基づいて４隅の３次元空間上の座標を導出して画像の歪みを補正すると同時に、それぞれの最適な焦点距離に基づく投写領域１２の中心までの焦点距離となるようにレンズユニット１９８を駆動することができる。
【００８７】
これにより、プロジェクタ２０は、画像の歪み補正と焦点調節をほぼ同時に実行することができる。
【００８８】
また、本実施形態によれば、プロジェクタ２０は、輝度分布に基づいて最適な焦点距離を判別することにより、高解像度のカメラを適用することなく、画像の歪み補正と焦点調節をほぼ同時に実行することができる。
【００８９】
さらに、本実施形態によれば、プロジェクタ２０は、矩形の画像の各頂点を対象とすることにより、画像全体を対象とする場合と比べ、より効率的に画像の歪み補正と焦点調節を実行することができる。
【００９０】
また、撮像部１８０の一部として機能する色光センサー６０は、位置を直接検出するものではなく、色光センサー６０の解像度が低くてもよいため、製品として提供する際の製造コストを抑えることができる。
【００９１】
（変形例）
以上、本発明を適用した好適な実施の形態について説明してきたが、本発明の適用は上述した実施例に限定されない。
【００９２】
例えば、上述した実施例では、歪み補正量を導出する際に、θｘ、θｙと補正量とが関連づけられたテーブルを用いたが、例えば、４隅の点Ａ、Ｂ、Ｃ、Ｄの３次元座標と補正量とが関連づけられたテーブルを用いてもよい。これによれば、プロジェクタ２０は、θｈ、θｘを求めることなく、歪み補正量を求めることができる。なお、θｘ、θｙを用いる方式を採用した場合、テーブルはθｘ、θｙを検索キーとした２次元構造でよいため、４隅の点の３次元座標を用いる方式と比べてテーブル構造を単純化できる、いわゆるテレ・ワイド（望遠・拡大）時にも対応できる等のメリットがある。
【００９３】
また、上述した実施例では、最短の焦点距離から最遠の焦点距離まで焦点距離を変更しながらキャリブレーション画像の投写、撮像、画像処理を繰り返し実行したが、例えば、投写領域１２の４隅の最適な焦点距離が検出された時点でキャリブレーション画像の投写等を終了してもよい。
【００９４】
また、上述した実施例では、画像処理システムとしてプロジェクタ２０を用いたが、本発明は、プロジェクタ２０以外にもＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）等の種々の光源を用いた画像処理システムに有効である。
【００９５】
また、プロジェクタ２０としては、例えば、液晶プロジェクタ、ＤＭＤ（Ｄｉｇｉｔａｌ  Ｍｉｃｒｏｍｉｒｒｏｒ  Ｄｅｖｉｃｅ）を用いたプロジェクタ等を用いてもよい。なお、ＤＭＤは米国テキサスインスツルメンツ社の商標である。
【００９６】
また、上述したプロジェクタ２０の機能は、例えば、プロジェクタ単体で実現してもよいし、複数の処理装置で分散して（例えば、プロジェクタとＰＣとで分散処理）実現してもよい。
【図面の簡単な説明】
【図１】画像投写時の状態を示す模式図である。
【図２】本実施形態の一例に係る画像の４隅の処理対象を示す模式図である。
【図３】焦点が合っている場合の画像の状態と輝度分布の関係を示す模式図であり、図３（Ａ）は、焦点が合っている場合の画像の状態を示す模式図であり、図３（Ｂ）は、焦点が合っている場合の輝度分布を示す模式図である。
【図４】焦点が合っていない場合の画像の状態と輝度分布の関係を示す模式図であり、図４（Ａ）は、焦点が合っていない場合の画像の状態を示す模式図であり、図４（Ｂ）は、焦点が合っていない場合の輝度分布を示す模式図である。
【図５】本実施形態の一例に係るプロジェクタの機能ブロック図である。
【図６】本実施形態の一例に係るプロジェクタのハードウェアブロック図である。
【図７】本実施形態の一例に係る画像処理の流れを示すフローチャートである。
【図８】本実施形態の一例に係る撮像処理の流れを示すフローチャートである。
【図９】画像歪み発生時の画像の正面の模式図である。
【図１０】画像歪み発生時の画像の上面の模式図である。
【図１１】画像歪み発生時の画像の側面の模式図である。
【図１２】画像歪み補正前の投写領域と、画像歪み補正後の投写領域を示す模式図である。
【符号の説明】
１０  スクリーン、１２  投写領域、２０  プロジェクタ（画像処理システム）、６０  色光センサー、１２０  歪み補正部、１４０  歪み補正量導出部（歪み補正量導出手段）、１６０  制御部（駆動制御手段）、１６２  フォーカスレンズ駆動部（駆動制御手段）、１７０  画像解析部（歪み補正量導出手段）、１９０  画像投写部、１９８  レンズユニット、１８０  撮像部、９００  情報記憶媒体
【図１】
2004274354.tif 000004
【図２】
2004274354.tif 000005
【図３】
2004274354.tif 000006
【図４】
2004274354.tif 000007
【図５】
2004274354.tif 000008
【図６】
2004274354.tif 000009
【図７】
2004274354.tif 000010
【図８】
2004274354.tif 000011
【図９】
2004274354.tif 000012
【図１０】
2004274354.tif 000013
【図１１】
2004274354.tif 000014
【図１２】
2004274354.tif 000015
【手続補正書】
【提出日】平成15年11月14日(2003.11.14)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像の歪みを調節するために、画像信号を補正する歪み補正手段と、
補正された画像信号に基づき、画像を投写するとともに、焦点調節機能を有するレンズユニットを有する画像投写手段と、
画像投写領域までの焦点距離が変化するように、前記レンズユニットの駆動を制御する駆動制御手段と、
投写された画像を撮像する撮像手段と、
当該撮像手段からの撮像情報に基づき、画像投写領域の中心までの焦点距離を導出するとともに、前記歪み補正手段による歪み補正量を導出する歪み補正量導出手段と、
を含み、
前記歪み補正量導出手段は、撮像情報に基づく画像の輝度の変化に基づき、画像投写領域の複数の境界点までの最適な焦点距離をそれぞれ判別し、当該境界点までの最適な焦点距離に基づき、画像投写領域の中心までの焦点距離を導出し、当該境界点までの最適な焦点距離と、前記画像投写手段の水平方向および垂直方向の半画角とに基づき、複数の境界点の３次元空間上の座標を導出し、当該３次元空間上の座標に基づいて歪み補正量を導出し、
前記歪み補正手段は、当該歪み補正量に基づき、画像信号を補正し、
前記駆動制御手段は、前記歪み補正量導出手段によって導出された画像投写領域の中心までの焦点距離となるように、前記レンズユニットの駆動を制御することを特徴とする画像処理システム。
【請求項２】
請求項１において、
前記歪み補正量導出手段は、撮像情報に基づく画像投写領域の複数の境界点付近の境界領域における輝度と画素数との関係を示す輝度分布に基づき、当該輝度分布が画像投写領域内の輝度分布と画像投写領域外の輝度分布とに明確に分離していることを条件として最適な焦点距離を判別することを特徴とする画像処理システム。
【請求項３】
請求項１、２のいずれかにおいて、
前記画像は、矩形の画像であり、
前記複数の境界点は、当該矩形の画像の各頂点であることを特徴とする画像処理システム。
【請求項４】
請求項１〜３のいずれかにおいて、
前記画像投写手段は、黒色画像と白色画像を投写し、
前記歪み補正量導出手段は、黒色画像の撮像情報と白色画像の撮像情報の差分に基づき、投写領域を判別することを特徴とする画像処理システム。
【請求項５】
画像の歪みを調節するために、画像信号を補正する歪み補正手段と、
補正された画像信号に基づき、画像を投写するとともに、焦点調節機能を有するレンズユニットを有する画像投写手段と、
画像投写領域までの焦点距離が変化するように、前記レンズユニットの駆動を制御する駆動制御手段と、
投写された画像を撮像する撮像手段と、
当該撮像手段からの撮像情報に基づき、画像投写領域の中心までの焦点距離を導出するとともに、前記歪み補正手段による歪み補正量を導出する歪み補正量導出手段と、
を含み、
前記歪み補正量導出手段は、撮像情報に基づく画像の輝度の変化に基づき、画像投写領域の複数の境界点までの最適な焦点距離をそれぞれ判別し、当該境界点までの最適な焦点距離に基づき、画像投写領域の中心までの焦点距離を導出し、当該境界点までの最適な焦点距離と、前記画像投写手段の水平方向および垂直方向の半画角とに基づき、複数の境界点の３次元空間上の座標を導出し、当該３次元空間上の座標に基づいて歪み補正量を導出し、
前記歪み補正手段は、当該歪み補正量に基づき、画像信号を補正し、
前記駆動制御手段は、前記歪み補正量導出手段によって導出された画像投写領域の中心までの焦点距離となるように、前記レンズユニットの駆動を制御することを特徴とするプロジェクタ。
【請求項６】
コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
画像の歪みを調節するために、画像信号を補正する歪み補正手段と、
補正された画像信号に基づき、画像を投写するとともに、画像投写領域までの焦点距離を変化させる焦点調節機能を有するレンズユニットの駆動と、投写された画像を撮像する撮像部の撮像駆動とを制御する駆動制御手段と、
当該撮像手段からの撮像情報に基づき、画像投写領域の中心までの焦点距離を導出するとともに、前記歪み補正手段による歪み補正量を導出する歪み補正量導出手段として機能させ、
前記歪み補正量導出手段は、撮像情報に基づく画像の輝度の変化に基づき、画像投写領域の複数の境界点までの最適な焦点距離をそれぞれ判別し、当該境界点までの最適な焦点距離に基づき、画像投写領域の中心までの焦点距離を導出し、当該境界点までの最適な焦点距離と、前記画像投写手段の水平方向および垂直方向の半画角とに基づき、複数の境界点の３次元空間上の座標を導出し、当該３次元空間上の座標に基づいて歪み補正量を導出し、
前記歪み補正手段は、当該歪み補正量に基づき、画像信号を補正し、
前記駆動制御手段は、前記歪み補正量導出手段によって導出された画像投写領域の中心までの焦点距離となるように、前記レンズユニットの駆動を制御することを特徴とするプログラム。
【請求項７】
コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、
コンピュータを、
画像の歪みを調節するために、画像信号を補正する歪み補正手段と、
補正された画像信号に基づき、画像を投写するとともに、画像投写領域までの焦点距離を変化させる焦点調節機能を有するレンズユニットの駆動と、投写された画像を撮像する撮像部の撮像駆動とを制御する駆動制御手段と、
当該撮像手段からの撮像情報に基づき、画像投写領域の中心までの焦点距離を導出するとともに、前記歪み補正手段による歪み補正量を導出する歪み補正量導出手段として機能させるためのプログラムを記憶し、
前記歪み補正量導出手段は、撮像情報に基づく画像の輝度の変化に基づき、画像投写領域の複数の境界点までの最適な焦点距離をそれぞれ判別し、当該境界点までの最適な焦点距離に基づき、画像投写領域の中心までの焦点距離を導出し、当該境界点までの最適な焦点距離と、前記画像投写手段の水平方向および垂直方向の半画角とに基づき、複数の境界点の３次元空間上の座標を導出し、当該３次元空間上の座標に基づいて歪み補正量を導出し、
前記歪み補正手段は、当該歪み補正量に基づき、画像信号を補正し、
前記駆動制御手段は、前記歪み補正量導出手段によって導出された画像投写領域の中心までの焦点距離となるように、前記レンズユニットの駆動を制御することを特徴とする情報記憶媒体。
【請求項８】
所定のキャリブレーション画像を、レンズユニットの焦点距離を変化させながら投写し、
当該レンズユニットの焦点距離の変化に応じて当該キャリブレーション画像を撮像し、
撮像情報に基づく画像の輝度の変化に基づき、画像投写領域の複数の境界点までの最適な焦点距離をそれぞれ判別し、
当該境界点までの最適な焦点距離と、前記画像投写手段の水平方向および垂直方向の半画角とに基づき、複数の境界点の３次元空間上の座標を導出し、
当該３次元空間上の座標に基づいて歪み補正量を導出し、
当該歪み補正量に基づき、画像の歪みが補正されるように、画像信号を補正し、
画像投写領域の複数の境界点までの最適な焦点距離に基づき、画像投写領域の中心までの焦点距離を導出し、
当該焦点距離となるように、前記レンズユニットの焦点距離を変化させ、補正された画像信号に基づき、画像を投写することを特徴とする画像処理方法。
【請求項９】
請求項８において、
撮像情報に基づく画像投写領域の複数の境界点付近の境界領域における輝度と画素数との関係を示す輝度分布に基づき、当該輝度分布が画像投写領域内の輝度分布と画像投写領域外の輝度分布とに明確に分離していることを条件として最適な焦点距離を判別することを特徴とする画像処理方法。
【請求項１０】
請求項８、９のいずれかにおいて、
前記画像は、矩形の画像であり、
前記複数の境界点は、当該矩形の画像の各頂点であることを特徴とする画像処理方法。
【請求項１１】
請求項８〜１０のいずれかにおいて、
前記キャリブレーション画像として、少なくとも黒色画像と白色画像を投写し、
黒色画像の撮像情報と白色画像の撮像情報の差分に基づき、投写領域を判別することを特徴とする画像処理方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る画像処理システムは、画像の歪みを調節するために、画像信号を補正する歪み補正手段と、
補正された画像信号に基づき、画像を投写するとともに、焦点調節機能を有するレンズユニットを有する画像投写手段と、
画像投写領域までの焦点距離が変化するように、前記レンズユニットの駆動を制御する駆動制御手段と、
投写された画像を撮像する撮像手段と、
当該撮像手段からの撮像情報に基づき、画像投写領域の中心までの焦点距離を導出するとともに、前記歪み補正手段による歪み補正量を導出する歪み補正量導出手段と、
を含み、
前記歪み補正量導出手段は、撮像情報に基づく画像の輝度の変化に基づき、画像投写領域の複数の境界点までの最適な焦点距離をそれぞれ判別し、当該境界点までの最適な焦点距離に基づき、画像投写領域の中心までの焦点距離を導出し、当該境界点までの最適な焦点距離と、前記画像投写手段の水平方向および垂直方向の半画角とに基づき、複数の境界点の３次元空間上の座標を導出し、当該３次元空間上の座標に基づいて歪み補正量を導出し、
前記歪み補正手段は、当該歪み補正量に基づき、画像信号を補正し、
前記駆動制御手段は、前記歪み補正量導出手段によって導出された画像投写領域の中心までの焦点距離となるように、前記レンズユニットの駆動を制御することを特徴とする。


【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
また、本発明に係るプロジェクタは、画像の歪みを調節するために、画像信号を補正する歪み補正手段と、
補正された画像信号に基づき、画像を投写するとともに、焦点調節機能を有するレンズユニットを有する画像投写手段と、
画像投写領域までの焦点距離が変化するように、前記レンズユニットの駆動を制御する駆動制御手段と、
投写された画像を撮像する撮像手段と、
当該撮像手段からの撮像情報に基づき、画像投写領域の中心までの焦点距離を導出するとともに、前記歪み補正手段による歪み補正量を導出する歪み補正量導出手段と、
を含み、
前記歪み補正量導出手段は、撮像情報に基づく画像の輝度の変化に基づき、画像投写領域の複数の境界点までの最適な焦点距離をそれぞれ判別し、当該境界点までの最適な焦点距離に基づき、画像投写領域の中心までの焦点距離を導出し、当該境界点までの最適な焦点距離と、前記画像投写手段の水平方向および垂直方向の半画角とに基づき、複数の境界点の３次元空間上の座標を導出し、当該３次元空間上の座標に基づいて歪み補正量を導出し、
前記歪み補正手段は、当該歪み補正量に基づき、画像信号を補正し、
前記駆動制御手段は、前記歪み補正量導出手段によって導出された画像投写領域の中心までの焦点距離となるように、前記レンズユニットの駆動を制御することを特徴とする。


【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
また、本発明に係るプログラムは、コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
画像の歪みを調節するために、画像信号を補正する歪み補正手段と、
補正された画像信号に基づき、画像を投写するとともに、画像投写領域までの焦点距離を変化させる焦点調節機能を有するレンズユニットの駆動と、投写された画像を撮像する撮像部の撮像駆動とを制御する駆動制御手段と、
当該撮像手段からの撮像情報に基づき、画像投写領域の中心までの焦点距離を導出するとともに、前記歪み補正手段による歪み補正量を導出する歪み補正量導出手段として機能させ、
前記歪み補正量導出手段は、撮像情報に基づく画像の輝度の変化に基づき、画像投写領域の複数の境界点までの最適な焦点距離をそれぞれ判別し、当該境界点までの最適な焦点距離に基づき、画像投写領域の中心までの焦点距離を導出し、当該境界点までの最適な焦点距離と、前記画像投写手段の水平方向および垂直方向の半画角とに基づき、複数の境界点の３次元空間上の座標を導出し、当該３次元空間上の座標に基づいて歪み補正量を導出し、
前記歪み補正手段は、当該歪み補正量に基づき、画像信号を補正し、
前記駆動制御手段は、前記歪み補正量導出手段によって導出された画像投写領域の中心までの焦点距離となるように、前記レンズユニットの駆動を制御することを特徴とする。


【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
また、本発明に係る情報記憶媒体は、コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、
コンピュータを、
画像の歪みを調節するために、画像信号を補正する歪み補正手段と、
補正された画像信号に基づき、画像を投写するとともに、画像投写領域までの焦点距離を変化させる焦点調節機能を有するレンズユニットの駆動と、投写された画像を撮像する撮像部の撮像駆動とを制御する駆動制御手段と、
当該撮像手段からの撮像情報に基づき、画像投写領域の中心までの焦点距離を導出するとともに、前記歪み補正手段による歪み補正量を導出する歪み補正量導出手段として機能させるためのプログラムを記憶し、
前記歪み補正量導出手段は、撮像情報に基づく画像の輝度の変化に基づき、画像投写領域の複数の境界点までの最適な焦点距離をそれぞれ判別し、当該境界点までの最適な焦点距離に基づき、画像投写領域の中心までの焦点距離を導出し、当該境界点までの最適な焦点距離と、前記画像投写手段の水平方向および垂直方向の半画角とに基づき、複数の境界点の３次元空間上の座標を導出し、当該３次元空間上の座標に基づいて歪み補正量を導出し、
前記歪み補正手段は、当該歪み補正量に基づき、画像信号を補正し、
前記駆動制御手段は、前記歪み補正量導出手段によって導出された画像投写領域の中心までの焦点距離となるように、前記レンズユニットの駆動を制御することを特徴とする。


【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
また、本発明に係る画像処理方法は、所定のキャリブレーション画像を、レンズユニットの焦点距離を変化させながら投写し、
当該レンズユニットの焦点距離の変化に応じて当該キャリブレーション画像を撮像し、
撮像情報に基づく画像の輝度の変化に基づき、画像投写領域の複数の境界点までの最適な焦点距離をそれぞれ判別し、
当該境界点までの最適な焦点距離と、前記画像投写手段の水平方向および垂直方向の半画角とに基づき、複数の境界点の３次元空間上の座標を導出し、
当該３次元空間上の座標に基づいて歪み補正量を導出し、
当該歪み補正量に基づき、画像の歪みが補正されるように、画像信号を補正し、
画像投写領域の複数の境界点までの最適な焦点距離に基づき、画像投写領域の中心までの焦点距離を導出し、
当該焦点距離となるように、前記レンズユニットの焦点距離を変化させ、補正された画像信号に基づき、画像を投写することを特徴とする。


【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００７９
【補正方法】変更
【補正の内容】
【００７９】
A:(X1,Y1,Z1)=(-L1*tan(θｈ) , L1*tan(θｖ) ,L1)
B:(X2,Y2,Z2)=(-L2*tan(θｈ) ,-L2*tan(θｖ) ,L2)
C:(X3,Y3,Z3)=( L3*tan(θｈ) ,-L3*tan(θｖ) ,L3)
D:(X4,Y4,Z4)=( L4*tan(θｈ) , L4*tan(θｖ) ,L4)
次に、Ａ、Ｂ、Ｃ、Ｄのうちの任意の３点の座標情報を用いてスクリーン１０に垂直なベクトルＮを求める。ここでは、Ａ、Ｃ、Ｄの座標情報を用いた場合の計算例を示す。


【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００８０
【補正方法】変更
【補正の内容】
【００８０】
N=(Xn,Yn,Zn)
Xn=(Y4-Y3)*(Z1-Z4)-(Z4-Z3)*(Y1-Y4)
Yn=(Z4-Z3)*(X1-X4)-(X4-X3)*(Z1-Z4)
Zn=(X4-X3)*(Y1-Y4)-(Y4-Y3)*(X1-X4)
このベクトルNから、スクリーン１０とプロジェクタ２０の成す角度、水平方向θｘ、鉛直方向θｙを求める。


【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】変更
【補正の内容】
【００８１】
θｘ=atan(Xn/Zn)
θｙ=atan(Yn/Zn)
そして、これらの角度情報θｘ、θｙを用いて、角度情報θｘ、θｙと画像歪み補正後の液晶ライトバルブ上の４隅のｘｙ座標における補正量とが関連づけられたテーブルから画像歪み補正後の４隅の液晶ライトバルブ上における座標Ａ’、Ｂ’、Ｃ’、Ｄ’を得る。