(57)【特許請求の範囲】
【請求項１】
多角形のスクリーンに画像を投影する投影部と、
前記スクリーンを撮影して、撮像エリア内にスクリーン画像を形成する撮像部と、
前記投影部と前記撮像部とを制御する制御部と、
前記撮像部の撮影によって、前記撮像エリア内に形成された前記スクリーン画像からスクリーン辺を検出し、検出されたスクリーン辺と前記投影部が投影する投影対象画像の辺とが対応するように前記投影対象画像の形状を変形する補正を行う画像処理部と、
前記スクリーンの傾斜角度を計測するスクリーン傾斜角度計測部と、を備え、
前記制御部は、
前記画像処理部が前記撮像部の撮像エリア内で検出した前記スクリーン辺の数がいくつあるかを判定し、
前記スクリーン辺が検出され、さらに前記スクリーン辺の少なくとも１辺が検出されなかったと判定した場合に、前記投影部を制御して、前記スクリーンと形状が対応する多角形画像を投影し、
前記撮像部を制御して、前記撮像エリア内に収まるように前記投影部が投影した前記多角形画像を撮影し、
前記画像処理部は、
前記撮像部の前記撮像エリア内において検出されなかったスクリーン辺を、前記傾斜角度部計測部が計測した前記スクリーンの傾斜角度に基づいて取得し、検出されたスクリーン辺及び取得したスクリーン辺に基づいて前記スクリーン画像を形成し、
前記投影部が投影した多角形画像の形状と前記撮像部の前記撮像エリア内に形成された多角形画像の形状との関係を取得し、取得した関係に従って、形成した前記スクリーン画像のスクリーン辺と前記投影部が投影する前記投影対象画像の辺とが対応するように前記投影対象画像の形状を変形する補正を行うように構成された、
ことを特徴とする画像投影装置。
【請求項２】
前記制御部は、前記スクリーン辺が検出され、さらに前記スクリーン辺の少なくとも１辺が検出されなかったと判定した場合に、前記スクリーンの傾斜角度を計測するように前記スクリーン傾斜角度計測部を制御し、
前記画像処理部は、前記撮像部の前記撮像エリア内において検出されたスクリーン辺を、前記スクリーン傾斜角度計測部が計測した前記スクリーンの傾斜角度に基づいて、前記スクリーンの平面を基準として座標が設定されたスクリーン座標系の辺に変換し、
前記撮像エリア内において検出されなかったスクリーン辺を、前記スクリーン座標系におけるスクリーン辺の情報に基づいて取得し、前記スクリーン座標系におけるスクリーン辺及び取得したスクリーン辺に基づいて補正した前記スクリーン画像を形成する、
ことを特徴とする請求項１に記載の画像投影装置。
【請求項３】
第１の多角形の各頂点座標と第２の多角形の各頂点座標とが供給され、前記第１の多角形の各頂点座標を前記第２の多角形の各頂点座標に変換する変換式を取得する変換式取得部を備え、
前記制御部は、前記撮像部の前記撮像エリア内に形成された多角形画像を前記第１の多角形、前記投影部が投影した多角形画像を前記第２の多角形として、前記第１の多角形の各頂点座標と前記第２の多角形の各頂点座標とを前記変換式取得部に供給して、前記変換式取得部から変換式を取得して前記画像処理部に供給し、
前記画像処理部は、制御部から供給された変換式に従って、前記投影部が投影した多角形画像の形状と前記撮像部の前記撮像エリア内に形成された多角形画像の形状との関係を取得する、
ことを特徴とする請求項１又は２に記載の画像投影装置。
【請求項４】
前記スクリーンは四角形であることを特徴とする請求項１乃至３のいずれかに記載の画像投影装置。
【請求項５】
多角形のスクリーンに画像を投影する投影部と、前記スクリーンを撮影して、撮像エリア内にスクリーン画像を形成する撮像部と、を備えた画像投影装置の投影画像補正方法であって、
前記投影部に、前記多角形のスクリーンに画像を投影させるステップと、
前記撮像部に、前記スクリーンを撮影させて、撮像エリア内にスクリーン画像を形成するステップと、
前記撮像部の撮影によって、前記撮像エリア内に形成された前記スクリーン画像からスクリーン辺を検出し、検出されたスクリーン辺と前記投影部が投影する投影対象画像の辺とが対応するように前記投影対象画像の形状を変形するステップと、
前記撮像部の撮像エリア内で検出した前記スクリーン辺の数がいくつあるかを判定するステップと、
前記スクリーン辺が検出され、さらに前記スクリーン辺の少なくとも１辺が検出されなかったと判定した場合に、前記投影部を制御して、前記スクリーンと形状が対応する多角形画像を投影するステップと、
前記撮像部を制御して、前記撮像エリア内に収まるように前記投影部が投影した前記多角形画像を撮影するステップと
前記スクリーンの傾斜角度を計測するステップと、
前記撮像部の前記撮像エリア内において検出されなかったスクリーン辺を、前記計測により得られた前記スクリーンの傾斜角度に基づいて取得し、検出されたスクリーン辺及び取得したスクリーン辺に基づいて前記スクリーン画像を形成するステップと、
前記投影部が投影した多角形画像の形状と前記撮像部の前記撮像エリア内に形成された多角形画像の形状との関係を取得するステップと、
取得した関係に従って、形成した前記スクリーン画像のスクリーン辺と前記投影部が投影する前記投影対象画像の辺とが対応するように前記投影対象画像の形状を変形する補正を行うステップと、を備えた、
ことを特徴とする画像投影装置の投影画像補正方法。
【請求項６】
コンピュータに、
画像投影装置の投影部に、多角形のスクリーンに画像を投影する手順、
画像投影装置の撮像部に、前記スクリーンを撮影させて、前記撮像部の撮像エリア内にスクリーン画像を形成する手順、
前記撮像部の撮影によって、前記撮像エリア内に形成された前記スクリーン画像からスクリーン辺を検出し、検出されたスクリーン辺と前記投影部が投影する投影対象画像の辺とが対応するように前記投影対象画像の形状を変形する手順、
前記撮像部の撮像エリア内で検出した前記スクリーン辺の数がいくつあるかを判定する手順、
前記スクリーン辺が検出され、さらに前記スクリーン辺の少なくとも１辺が検出されなかったと判定した場合に、前記投影部を制御して、前記スクリーンと形状が対応する多角形画像を投影する手順、
前記撮像部を制御して、前記撮像エリア内に収まるように前記投影部が投影した前記多角形画像を撮影する手順、
前記スクリーンの傾斜角度を計測する手順、
前記撮像部の前記撮像エリア内において検出されなかったスクリーン辺を、前記計測により得られた前記スクリーンの傾斜角度に基づいて取得し、検出されたスクリーン辺及び取得したスクリーン辺に基づいて前記スクリーン画像を形成する手順、
前記投影部が投影した多角形画像の形状と前記撮像部の前記撮像エリア内に形成された多角形画像の形状との関係を取得する手順、
取得した関係に従って、形成した前記スクリーン画像のスクリーン辺と前記投影部が投影する前記投影対象画像の辺とが対応するように前記投影対象画像の形状を変形する補正を行う手順、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像投影装置、画像投影装置の投影画像補正方法及びプログラムに関するものである。
【背景技術】
【０００２】
従来のプロジェクタとして、ＣＣＤ等の撮像素子を用いてスクリーンをカメラで撮影し、スクリーンに予め付されている黒枠に基づいて投光エリアの位置を設定するようにしたものがある（例えば、特許文献１参照）。
【０００３】
かかる従来のプロジェクタは、デジタルカメラでスクリーンを撮影する。図１４において、Area11は、デジタルカメラの撮影エリアであり、（a1,b1），（a2,b1），（a1,b2），（a2,b2）は、撮影エリアArea11の４つの頂点座標を示し、（ａ，ｂ）は、撮影エリアArea11の中心位置を示す。
【０００４】
Area12は、デジタルカメラで捉えたスクリーンエリアを示し、（x1,y1），（x2,y1），（x1,y2），（x2,y2）は、スクリーンエリアArea12の４つの頂点座標を示し、（x,y）は、スクリーンエリアArea12の中心位置を示す。
【０００５】
プロジェクタは、中心位置（x,y）を中心位置（ａ，ｂ）に移動する移動量を算出して、スクリーンエリアArea12を、算出した移動量だけ移動させる。
また、かかるプロジェクタは、スクリーン枠の４つの頂点と投光エリアの４つの頂点とが対応するように画像を変形することにより、スクリーンに対応する画像を投影することができる。
【特許文献１】特開２００４−７２５７０号公報（第８−１０頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、このような従来のプロジェクタでは、スクリーンの４辺を撮像エリアArea11内に収める必要があり、スクリーン枠を取得できない場合、あるいは撮像エリアArea11よりもスクリーンエリアArea12が大きく、撮像エリアArea11の範囲にスクリーンエリアArea12が収まらなくて、スクリーンの３辺までしか検出できなかった場合、画像を正しく補正することができない。
【０００７】
本発明は、このような従来の問題点に鑑みてなされたもので、画像を正しく補正することが可能な画像投影装置、画像投影装置の投影画像補正方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
この目的を達成するため、本発明の第１の観点に係る画像投影装置は、
多角形のスクリーンに画像を投影する投影部と、
前記スクリーンを撮影して、撮像エリア内にスクリーン画像を形成する撮像部と、
前記投影部と前記撮像部とを制御する制御部と、
前記撮像部の撮影によって、前記撮像エリア内に形成された前記スクリーン画像からスクリーン辺を検出し、検出されたスクリーン辺と前記投影部が投影する投影対象画像の辺とが対応するように前記投影対象画像の形状を変形する補正を行う画像処理部と、
前記スクリーンの傾斜角度を計測するスクリーン傾斜角度計測部と、を備え、
前記制御部は、
前記画像処理部が前記撮像部の撮像エリア内で検出した前記スクリーン辺の数がいくつあるかを判定し、
前記スクリーン辺が検出され、さらに前記スクリーン辺の少なくとも１辺が検出されなかったと判定した場合に、前記投影部を制御して、前記スクリーンと形状が対応する多角形画像を投影し、
前記撮像部を制御して、前記撮像エリア内に収まるように前記投影部が投影した前記多角形画像を撮影し、
前記画像処理部は、
前記撮像部の前記撮像エリア内において検出されなかったスクリーン辺を、前記傾斜角度部計測部が計測した前記スクリーンの傾斜角度に基づいて取得し、検出されたスクリーン辺及び取得したスクリーン辺に基づいて前記スクリーン画像を形成し、
前記投影部が投影した多角形画像の形状と前記撮像部の前記撮像エリア内に形成された多角形画像の形状との関係を取得し、取得した関係に従って、形成した前記スクリーン画像のスクリーン辺と前記投影部が投影する前記投影対象画像の辺とが対応するように前記投影対象画像の形状を変形する補正を行うように構成された、
ことを特徴とする。
【０００９】
前記制御部は、前記スクリーン辺が検出され、さらに前記スクリーン辺の少なくとも１辺が検出されなかったと判定した場合に、前記スクリーンの傾斜角度を計測するように前記スクリーン傾斜角度計測部を制御し、
前記画像処理部は、前記撮像部の前記撮像エリア内において検出されたスクリーン辺を、前記スクリーン傾斜角度計測部が計測した前記スクリーンの傾斜角度に基づいて、前記スクリーンの平面を基準として座標が設定されたスクリーン座標系の辺に変換し、
前記撮像エリア内において検出されなかったスクリーン辺を、前記スクリーン座標系におけるスクリーン辺の情報に基づいて取得し、前記スクリーン座標系におけるスクリーン辺及び取得したスクリーン辺に基づいて補正した前記スクリーン画像を形成するようにしてもよい。
【００１０】
第１の多角形の各頂点座標と第２の多角形の各頂点座標とが供給され、前記第１の多角形の各頂点座標を前記第２の多角形の各頂点座標に変換する変換式を取得する変換式取得部を備え、
前記制御部は、前記撮像部の前記撮像エリア内に形成された多角形画像を前記第１の多角形、前記投影部が投影した多角形画像を前記第２の多角形として、前記第１の多角形の各頂点座標と前記第２の多角形の各頂点座標とを前記変換式取得部に供給して、前記変換式取得部から変換式を取得して前記画像処理部に供給し、
前記画像処理部は、制御部から供給された変換式に従って、前記投影部が投影した多角形画像の形状と前記撮像部の前記撮像エリア内に形成された多角形画像の形状との関係を取得するようにしてもよい。
また、前記スクリーンは四角形であってもよい。
【００１１】
本発明の第２の観点に係る画像投影装置の投影画像補正方法は、
多角形のスクリーンに画像を投影する投影部と、前記スクリーンを撮影して、撮像エリア内にスクリーン画像を形成する撮像部と、を備えた画像投影装置の投影画像補正方法であって、
前記投影部に、前記多角形のスクリーンに画像を投影させるステップと、
前記撮像部に、前記スクリーンを撮影させて、撮像エリア内にスクリーン画像を形成するステップと、
前記撮像部の撮影によって、前記撮像エリア内に形成された前記スクリーン画像からスクリーン辺を検出し、検出されたスクリーン辺と前記投影部が投影する投影対象画像の辺とが対応するように前記投影対象画像の形状を変形するステップと、
前記撮像部の撮像エリア内で検出した前記スクリーン辺の数がいくつあるかを判定するステップと、
前記スクリーン辺が検出され、さらに前記スクリーン辺の少なくとも１辺が検出されなかったと判定した場合に、前記投影部を制御して、前記スクリーンと形状が対応する多角形画像を投影するステップと、
前記撮像部を制御して、前記撮像エリア内に収まるように前記投影部が投影した前記多角形画像を撮影するステップと
前記スクリーンの傾斜角度を計測するステップと、
前記撮像部の前記撮像エリア内において検出されなかったスクリーン辺を、前記計測により得られた前記スクリーンの傾斜角度に基づいて取得し、検出されたスクリーン辺及び取得したスクリーン辺に基づいて前記スクリーン画像を形成するステップと、
前記投影部が投影した多角形画像の形状と前記撮像部の前記撮像エリア内に形成された多角形画像の形状との関係を取得するステップと、
取得した関係に従って、形成した前記スクリーン画像のスクリーン辺と前記投影部が投影する前記投影対象画像の辺とが対応するように前記投影対象画像の形状を変形する補正を行うステップと、を備えた、
ことを特徴とする。
【００１２】
本発明の第３の観点に係るプログラムは、
コンピュータに、
画像投影装置の投影部に、多角形のスクリーンに画像を投影する手順、
画像投影装置の撮像部に、前記スクリーンを撮影させて、前記撮像部の撮像エリア内にスクリーン画像を形成する手順、
前記撮像部の撮影によって、前記撮像エリア内に形成された前記スクリーン画像からスクリーン辺を検出し、検出されたスクリーン辺と前記投影部が投影する投影対象画像の辺とが対応するように前記投影対象画像の形状を変形する手順、
前記撮像部の撮像エリア内で検出した前記スクリーン辺の数がいくつあるかを判定する手順、
前記スクリーン辺が検出され、さらに前記スクリーン辺の少なくとも１辺が検出されなかったと判定した場合に、前記投影部を制御して、前記スクリーンと形状が対応する多角形画像を投影する手順、
前記撮像部を制御して、前記撮像エリア内に収まるように前記投影部が投影した前記多角形画像を撮影する手順、
前記スクリーンの傾斜角度を計測する手順、
前記撮像部の前記撮像エリア内において検出されなかったスクリーン辺を、前記計測により得られた前記スクリーンの傾斜角度に基づいて取得し、検出されたスクリーン辺及び取得したスクリーン辺に基づいて前記スクリーン画像を形成する手順、
前記投影部が投影した多角形画像の形状と前記撮像部の前記撮像エリア内に形成された多角形画像の形状との関係を取得する手順、
取得した関係に従って、形成した前記スクリーン画像のスクリーン辺と前記投影部が投影する前記投影対象画像の辺とが対応するように前記投影対象画像の形状を変形する補正を行う手順、
を実行させるためのものである。
【発明の効果】
【００１３】
本発明によれば、画像を正しく補正することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態に係る画像投影装置としてのプロジェクタを、図面を参照して説明する。
本実施形態に係るプロジェクタ１の構成を図１に示す。
本実施形態に係るプロジェクタ１は、画像メモリ１１と、撮像部１２と、投影部１３と、角度センサ１４ｈ，１４ｖと、画像入力部１５と、演算部１６と、画像処理部１７と、リモコン受光部１８と、キーパッド１９と、制御部２０と、を備える。
【００１５】
このプロジェクタ１は、スクリーンＳを撮影し、スクリーンＳの４辺に投影画像の４辺を対応させることにより、画像の形状を補正し、撮像エリアの範囲においてスクリーンの辺をすべて検出できなかった場合でも、画像を正しく補正するように構成されている。
【００１６】
画像メモリ１１は、画像データを記憶するためのものである。撮像部１２は、図２に示すように、スクリーンＳを撮影するものであり、ＣＣＤ（Charge Coupled Device;電荷結合素子）等の撮像素子を備える。スクリーンＳの形状は、四角形であり、スクリーンＳは４つの頂点を有している。撮像部１２は、スクリーンＳを撮影することにより、図２に示すような撮像エリアArea1を形成する。
【００１７】
撮像部１２は、スクリーンＳの辺を検出するときに撮影を行う。撮像エリアArea1とスクリーンＳのエリアとの関係は、プロジェクタ１の光軸に対するスクリーンＳの傾斜角度に基づいて決定される。図３（ａ）は、撮像エリアArea1内にスクリーンＳの辺が含まれない場合を示す。図３（ｂ）は、スクリーンＳの４つの辺が含まれる場合を示す。図３（ｃ）は、スクリーンＳの辺が１〜３つ含まれる場合を示す（この図では、２つの辺）。
【００１８】
投影部１３は、画像を投影するものであり、投影素子（図示せず）と投影レンズ１３ａとを有している。この投影レンズ１３ａは、図４に示すように、プロジェクタ１の前面パネルに配置される。尚、撮像部１２は、投影レンズ１３ａとの視差を少なくするため、投影レンズ１３ａの近傍に配置される。
【００１９】
投影部１３は、図３（ｂ）に示すように、撮像エリア内にスクリーンＳの４つの辺が含まれる場合、あるいは、図３（ｃ）に示すように、スクリーンＳの１〜３つの辺が含まれる場合、多角形画像として、図５に示すような四角形画像Ｑを投影する。
【００２０】
この四角形画像Ｑは、投影画像とスクリーンＳとを対応させるための画像であり、四角形画像Ｑの４つの角度は、９０°である。この四角形画像Ｑは、検出されたスクリーンＳの辺から推測してスクリーンＳに収まるであろうサイズに設定される。Area2は、この四角形画像Ｑを投影したときに形成された投影エリアを示す。尚、画像メモリ１１は、この四角形画像Ｑのデータを予め記憶する。
【００２１】
撮像部１２は、この投影エリアArea2を撮影し、撮像素子上の投影エリアArea2の座標を取得する。この撮像部１２の撮像素子上における座標系を撮像素子座標とし、投影部１３の投影素子上における座標系を投影素子座標系とする。尚、いずれの座標系も２次元の直交座標系とする。
【００２２】
角度センサ１４ｈは、プロジェクタ１の光軸に対するスクリーンＳの傾斜角度として、スクリーンＳの水平方向の水平角度θhを計測するセンサである。角度センサ１４ｖは、プロジェクタ１の光軸に対してスクリーンＳの垂直方向の垂直角度θvを計測するものである。
【００２３】
角度センサ１４ｈ，１４ｖには、例えば、パッシブ方式の位相差センサが用いられる。角度センサ１４ｈ，１４ｖは、図２に示すように、プロジェクタ１の前面に配置される。
【００２４】
画像入力部１５は、投影する投影画像の画像データを入力するものである。プロジェクタ１は、例えば、画像データを記憶するコンピュータ（図示せず）に接続され、画像入力部１５は、このコンピュータから画像データが供給される。画像入力部１５は、コンピュータから画像データが供給されると、供給された画像データを画像メモリ１１に記憶する。
【００２５】
演算部１６は、第１の四角形の４つの頂点座標を第２の四角形の４つの頂点座標とが供給されて、第１の四角形の４つの頂点座標を第２の四角形の４つの頂点座標に変換する変換式を取得するものである。この変換式を取得する方法について説明する。
【００２６】
まず、座標系をｘ，ｙ，ｚ軸からなる直交座標系として、式ｆMを数１に示すように定義する。
【数１】
0004702050.tif 000002
そして、次の数２が成り立つような行列Ｍの決定を試みる。
【数２】
0004702050.tif 000003
まず、式ｆMは行列Ｍをスカラー倍しても不変であり、数２の第１の条件より、行列Ｍを次の数３によって表すことができる。
【数３】
0004702050.tif 000004
さらに、ｍ31＝α、ｍ32＝βとして、数２の第２、第３の条件より、行列Ｍは、次の数４によって表される。
【数４】
0004702050.tif 000005
また、数２の第４の条件に従ってα、βを求めると、α、βは、それぞれ、次の数５によって表される。
【数５】
0004702050.tif 000006
数５によって表されたα、βを数３に代入して、式を整理すると、数６を導くことができる。
【数６】
0004702050.tif 000007
ここで、数７に示す関係式が成立する。
【数７】
0004702050.tif 000008
行列Ｍ1，Ｍ2を次の数８に示すように定義する。
【数８】
0004702050.tif 000009
この結果、数７の第２式は、座標Ｐ０，Ｐ１，Ｐ２，Ｐ３を、それぞれ、座標Ｑ０，Ｑ１，Ｑ２，Ｑ３に変換する変換式となる。
【００２７】
演算部１６は、投影素子座標と撮像素子座標とが供給されると、それぞれの行列Ｍを決定し、この２つの座標間を変換する変換式を取得する。また、演算部１６は、スクリーンＳの４頂点の座標と４つの投影素子座標とが供給されると、それぞれの行列Ｍを決定し、スクリーンＳの４つの頂点座標を４つの投影素子座標に変換する変換式を取得する。
【００２８】
画像処理部１７は、画像データに対する画像処理を行うものである。画像処理部１７は、画像処理として、撮像部１２の撮影によって得られたスクリーンＳの辺を検出する。
【００２９】
画像処理部１７は、例えば、撮影画像に対して２値化してフィルタ処理を施するエッジ画像を取得し、ハフ変換を行うことにより、このエッジ画像からスクリーンＳの辺を検出する。ハフ変換とは、２次元平面上の直線を構成する点を、回転座標系のρ-θ平面上に投票して、ρ-θ平面上の投票数に変換する変換手法である。
【００３０】
次に、画像処理部１７は、検出されたスクリーンＳの辺が０の場合、水平角度θhと垂直角度θvとのデータが供給されて、制御部２０から、台形補正を行うように指示される。この場合、画像処理部１７は、画像処理として、台形補正処理を実行する。
【００３１】
具体的には、画像処理部１７は、台形補正前の四角形を図６（ａ）に示すように四角形ａｂｃｄとして、図６（ｂ）に示す投影像ａ’ｂ’ｃ’ｄ’の中に、投影像ｐ’ｑ’ｒ’ｓ’を切り出す。
【００３２】
画像処理部１７は、図６（ｃ）に示すように、切り出した投影像ｐ’ｑ’ｒ’ｓ’を逆変換して投影像ｐｑｒｓを生成し、生成した投影像ｐｑｒｓに、四角形ａｂｃｄの画像を射影変換することにより、台形補正を行う。
【００３３】
画像処理部１７は、このように台形補正処理を行うと、この補正した画像のデータを画像メモリ１１に記憶する。
【００３４】
また、画像処理部１７は、撮像エリアArea1内において、検出したスクリーンＳの辺が少なくとも１つの場合、制御部２０から、演算部１６が取得した変換式が供給されて、投影画像の画像変形処理を実行するように指示される。
画像処理部１７は、供給された変換式に従って、投影素子座標における投影画像を変形する画像変形処理を実行する。画像処理部１７は、このようにして変形した画像のデータを、画像メモリ１１に記憶する。
【００３５】
また、画像処理部１７は、図３（ｃ）に示すように、撮像エリアArea1内におけるスクリーンＳの辺が１〜３つ検出された場合、検出されなかったスクリーンＳの辺の頂点座標を取得する座標取得処理を実行する。図７は、投影部１３が四角形画像Ｑを投影した状態を示す。この場合、画像処理部１７には、水平角度θhと垂直角度θvとのデータが供給される。
【００３６】
画像処理部１７は、プロジェクタ１とスクリーンＳとの角度と検出した水平角度θh、垂直角度θvとが一致しているとして、検出されたスクリーンＳを、スクリーンＳ面を基準に座標が設定されたスクリーン座標に変換する。画像処理部１７は、このように座標変換を行って、図８に示すような補正スクリーンＳ１を生成する。
【００３７】
スクリーンＳが地平面に対して垂直でプロジェクタ１がスクリーンＳに対して左右に傾いていなければ、検出されたスクリーンの辺によって形成された直線は、スクリーン座標において正確に水平、垂直となる。
【００３８】
しかし、スクリーンＳが水平でなく、プロジェクタ１がスクリーンＳに対して左右に傾いていれば、この図８に示すように、補正スクリーンＳ１は回転する。
【００３９】
このため、画像処理部１７に、この補正スクリーンＳ１の回転方向の補正を行う。画像処理部１７は、補正スクリーンＳ１から、撮像エリアArea1内において検出できたスクリーンＳの辺の傾きの平均値を取得することにより、この補正スクリーンＳ１の回転方向の補正を行う。画像処理部１７は、このような補正スクリーンＳ１に対する回転補正を行って、図９に示すような補正スクリーンＳ２を生成する。
【００４０】
このようにして、画像処理部１７は、スクリーンＳに対して、水平方向、垂直方向、光軸を軸とする回転方向の３つの角度による補正を行う。
【００４１】
検出されたスクリーンＳの辺が２辺以上の場合、図９に示すように、補正スクリーンＳ１と補正スクリーンＳ２との間に、測定誤差等による微妙なずれが生じる。
【００４２】
投影画像がスクリーンＳのエリアと一致することが望ましいため、画像処理部１７は、図１０に示すように、図７に示す撮像エリアArea1とスクリーンＳとの関係において、検出できなかった辺には、補正スクリーンＳ２の辺を用い、検出できた辺には、補正スクリーンＳ１の辺をそのまま用い、この４辺による四角形の補正スクリーンＳ３を生成する。画像処理部１７は、このようにしてスクリーンＳの形状を補正して、この補正スクリーンＳ３の４つの頂点座標を取得する。
【００４３】
画像処理部１７は、このように座標取得処理を実行して、補正スクリーンＳ３の４つの頂点座標を取得すると、取得した頂点座標を制御部２０に供給する。そして、画像処理部１７は、このように変形した補正スクリーンＳ３の画像データを画像メモリ１１に記憶する。
【００４４】
リモコン受光部１８は、リモコン（図示せず）からの赤外線等を受光するものである。リモコンは、プロジェクタ１の操作情報を取得するためのものであり、プロジェクタ１の電源をオン、オフする電源スイッチを備える。リモコンは、取得した操作情報を、赤外線を利用してプロジェクタ１に送信する。
【００４５】
キーパッド１９は、プロジェクタ１を操作するための操作情報を入力するためのものであり、プロジェクタ１の水平方向、垂直方向の角度調整用のキー等を備える。キーパッド１９は、キーが操作されたとき、この操作情報を制御部２０に送信する。
【００４６】
制御部２０は、プロジェクタ１全体を制御するものであり、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備える。制御部２０は、リモコン受光部１８から、電源をオンした旨の操作情報を取得した場合、あるいは、キーパッド１９からプロジェクタ１の水平方向、垂直方向の角度調整用のキーを操作した旨の操作情報を受信した場合、補正制御処理を実行する。
【００４７】
制御部２０は、スクリーンＳを撮影するように撮像部１２を制御し、画像処理部１７に、撮像エリアArea1内のスクリーンＳの辺を検出するように指示する。
【００４８】
画像処理部１７がスクリーンＳの辺を検出すると、制御部２０は、検出されたスクリーンＳの辺がいくつあるかを判定する。そして、制御部２０は、検出されたスクリーンＳの辺の数に従って、異なる処理を実行する。
【００４９】
撮像エリアArea1内に、検出されたスクリーンＳの辺がないと判定した場合、図３（ａ）に示すように、スクリーンＳのエリアが撮像エリアArea1と比較して十分に広いと考えられる。この場合、スクリーンＳの４頂点の座標が得られないため、投影エリアArea2とスクリーンＳのエリアとを対応させるような画像変形を行うことはできない。
【００５０】
このため、制御部２０は、角度センサ１４ｈ，１４ｖに、それぞれ、スクリーンＳの水平角度θh、垂直角度θvを取得させ、この角度センサ１４ｈ，１４ｖが取得した水平角度θh、垂直角度θvを画像処理部１７に供給する。そして、制御部２０は、画像処理部１７に、投影画像の台形補正を行うように指示する。
【００５１】
撮像エリアArea1内において、検出されたスクリーンＳの辺が４つと判定した場合、図３（ｂ）に示すように、撮像エリアArea1内にスクリーンＳが収まっている場合である。この場合、スクリーンＳの４つ頂点座標が得られるため、投影部１３の投影素子における４つの頂点が撮像素子のどの４点に対応するかを判別することができる。このため、スクリーンＳの４つの頂点座標を投影素子座標に変換することにより投影画像のの四角形が定まるため、投影画像をこの四角形に変形するような画像変形を行う。
【００５２】
制御部２０は、投影エリアArea2の４つの頂点座標と投影素子座標の四角形画像Ｑの４つの頂点座標とを演算部１６に供給し、この変換式を取得する変換式取得処理を実行する。
【００５３】
即ち、制御部２０は、検出したスクリーンＳの４辺から推測してスクリーンＳに十分に収まると考えられるサイズの四角形画像Ｑを投影するように投影部１３を制御する。
【００５４】
制御部２０は、撮像部１２を制御して、投影エリアArea2が撮像エリアArea1内に収まるように、投影エリアArea2を撮影し、投影エリアArea2の４つの頂点座標を取得する。
【００５５】
そして、制御部２０は、演算部１６に、投影素子における投影画像の４つの頂点座標とスクリーンＳの４つの頂点座標とを供給して、この２つの座標間の変換式を取得するように指示する。
【００５６】
制御部２０は、このような変換式取得処理を実行すると、演算部１６から変換式を取得し、画像処理部１７に対し、取得した変換式を供給し、この変換式に従って画像変形処理を実行するように指示する。
【００５７】
撮像エリアArea1内において、検出したスクリーンＳの辺が１〜３つと判定した場合、即ち、４辺のうち、少なくとも１辺が検出されなかったと判定した場合、図３（ｃ）に示すように、撮像エリアArea1内において検出されなかったスクリーンＳの辺があるため、このままでは、上記のような画像変形を行うことはできない。
【００５８】
この場合、制御部２０は、まず、変換式取得処理を実行する。そして、制御部２０は、角度センサ１４ｈ、１４ｖに、それぞれ、水平角度θh、垂直角度θvを取得させる。制御部２０は、角度センサ１４ｈ、１４ｖがそれぞれ取得した水平角度θh、垂直角度θvを画像処理部１７に供給して、座標取得処理を実行するように指示する。
【００５９】
制御部２０は、さらに演算部１６に、投影素子における投影画像の４つの頂点座標とスクリーンＳの４つの頂点座標とを供給して、この２つの座標間の変換式を取得させる。制御部２０は、画像処理部１７に対し、この変換式を供給して、この変換式に従って画像変形処理を行うように指示する。
【００６０】
制御部２０は、画像処理部１７に対し、演算部１６から取得した変換式を供給し、供給した変換式に従って画像変形処理を実行するように指示する。
【００６１】
このように、補正制御処理を実行すると、制御部２０は、画像メモリ１１に記憶された補正画像をスクリーンＳに投影するように投影部１３を制御する。
【００６２】
次に本実施形態に係るプロジェクタ１の動作を説明する。
制御部２０は、リモコン受光部１８から、電源をオンした旨の操作情報を取得した場合、あるいは、キーパッド１９からプロジェクタ１の水平方向、垂直方向の角度調整用のキーを操作した旨の操作情報を受信すると、補正制御処理を実行する。
【００６３】
制御部２０は、図１１に示すフローチャートに従って、この補正制御処理を実行する。
即ち、制御部２０は、スクリーンＳを撮影するように撮像部１２を制御する（ステップＳ１１）。
【００６４】
制御部２０は、画像処理部１７に対し、スクリーンＳの辺を検出するように指示する（ステップＳ１２）。
【００６５】
制御部２０は、検出されたスクリーンＳの辺がいくつあるかを判定する（ステップＳ１３）。
【００６６】
撮像エリアArea1内において、検出されたスクリーンＳの辺がないと判定した場合（ステップＳ１３において０本）、制御部２０は、角度センサ１４ｈ、１４ｖに、それぞれ、スクリーンＳの水平角度θh、垂直角度θvを取得するように制御する（ステップＳ１４）。
【００６７】
制御部２０は、画像処理部１７に、角度センサ１４ｈ，１４ｖが取得した水平角度θh、垂直角度θvを供給して、投影画像の台形補正を行うように指示する（ステップＳ１５）。
【００６８】
撮像エリアArea1内において、検出されたスクリーンＳの辺が４つと判定した場合（ステップＳ１３において、４つ）、制御部２０は、図１２に示すフローチャートに従って変換式取得処理を実行する（ステップＳ１６）。
【００６９】
制御部２０は、検出したスクリーンＳの４辺から推定してスクリーンＳに十分に収まると考えられるサイズの四角形画像Ｑを投影するように投影部１３を制御する（図１２のステップＳ３１）。
【００７０】
制御部２０は、撮像部１２を制御して、撮像エリアArea1内に投影エリアArea2が収まるように、投影エリアArea2を撮影する（ステップＳ３２）。
【００７１】
制御部２０は、撮像部１２に、投影エリアArea2の４つの頂点座標を取得させる（ステップＳ３３）。
【００７２】
制御部２０は、演算部１６に、撮像素子座標における投影エリアArea2の４つの頂点座標と投影素子座標における四角形画像Ｑの４つの頂点座標とを供給して、この２つの座標間の変換式を取得するように指示する（ステップＳ３４）。
【００７３】
制御部２０は、このように変換式取得処理を実行すると、画像処理部１７に対し、取得した変換式を供給し、供給した変換式に従って画像変形処理を実行するように指示する（図１１のステップＳ１７）。
【００７４】
画像処理部１７は、供給された変換式に従って、投影画像の各座標を投影素子座標の各座標に変換する。そして、画像処理部１７は、変形した画像のデータを画像メモリ１１に記憶する。
【００７５】
撮像エリアArea1内において、検出されたスクリーンＳの辺が１〜３つと判定した場合（ステップＳ１３において１〜３つ）、制御部２０は、図１２に示すフローチャートに従って変換式取得処理を実行する（ステップＳ１８）。
【００７６】
制御部２０は、角度センサ１４ｈ、１４ｖに、それぞれ、スクリーンＳの水平角度θh、垂直角度θvを取得するように制御する（ステップＳ１９）。
【００７７】
制御部２０は、画像処理部１７に対して座標取得処理を実行するように指示する（ステップＳ２０）。
【００７８】
画像処理部１７は、図１３に示すフローチャートに従って、座標取得処理を実行する。即ち、画像処理部１７は、検出されたスクリーンＳを、スクリーンＳ面を基準に原点が設定されたスクリーン座標系の座標に変換する（図１３のステップＳ４１）。
【００７９】
画像処理部１７は、スクリーンＳ１から、検出できたスクリーンＳの辺の傾きの平均値を取得する（ステップＳ４２）。
画像処理部１７は、スクリーンＳ１の回転方向の補正を行う（ステップＳ４３）。
【００８０】
画像処理部１７は、検出できなかった辺には、スクリーンＳ２の辺を用い、検出できた辺には、スクリーンＳ１の辺をそのまま用いて、この４辺による四角形をスクリーンＳ３として取得し、このスクリーンＳ３の４つの頂点座標を取得する（ステップＳ４４）。
【００８１】
画像処理部１７は、取得した４つの頂点座標を制御部２０に供給する（ステップＳ４５）。
制御部２０は、画像処理部１７から４つの頂点座標が供給されると、この４つの頂点座標を演算部１６に供給して、投影画像の４つの頂点座標をスクリーンＳ３の４つの頂点座標に変換する変換式を取得する（図１１のステップＳ２１）。
【００８２】
制御部２０は、画像処理部１７に対して、取得した変換式を供給し、供給した変換式に従って画像変形処理を実行するように指示する（ステップＳ１７）。画像処理部１７は、供給された変換式に従って、投影画像の各座標を投影素子座標の各座標に変換する。そして、画像処理部１７は、変形した画像のデータを画像メモリ１１に記憶する。
【００８３】
制御部２０は、このように補正制御処理を実行すると、補正した画像をスクリーンＳに投影するように投影部１３を制御する。投影部１３は、画像メモリ１１から、補正した画像のデータを読み出して、スクリーンＳに投影する。スクリーンＳには、検出されたスクリーンＳの辺に一致した長方形の投影画像が投影される。
【００８４】
以上説明したように、本実施形態によれば、スクリーンＳの４辺すべてを検出できなかった場合に、プロジェクタ１は、スクリーンＳの水平角度θh、垂直角度θvを用いて検出できなかった辺の傾きを求め、スクリーンＳ３の４つの頂点座標を取得するようにした。
【００８５】
従って、スクリーンＳの枠がない場合、あるいはスクリーンが大きく撮像エリアArea1の範囲にスクリーンＳが収まらない場合であっても、スクリーンＳと投影エリアArea2とが対応するように投影画像を正しく補正することができる。
【００８６】
尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施の形態に限られるものではない。
例えば、上記実施形態では、画像処理部１７は、撮像エリアArea1内におけるスクリーンＳの辺が１〜３つ検出された場合に、検出できたスクリーンＳの辺の平均値に基づいて、補正スクリーン１の回転補正を行うようにした。しかし、辺の平均値ではなく、例えば、中間値等を用いて補正スクリーン１の回転補正を行うようにしてもよい。
【００８７】
角度センサ１４ｈ，１４ｖはパッシブ方式の位相差センサとして説明した。しかし、角度センサ１４ｈ，１４ｖは、このものに限られるものではなく、アクティブ方式のものであってもよい。
【００８８】
本実施形態では、投影部１３が、投影画像のサイズを決定するため、投影画像とは異なる四角形画像Ｑを投影するようにした。しかし、投影画像のサイズが判別できれば、画像入力部１５が入力した投影画像を四角形画像Ｑとして投影するようにしてもよい。また、投影画像のサイズを決定するための画像形状は、四角形でなくてもよく、スクリーンＳの形状に対応していれば、三角形、あるいは五角形以上であってもよい。
【００８９】
上記実施形態では、プログラムが、それぞれメモリ等に予め記憶されているものとして説明した。しかし、撮影装置を、装置の全部又は一部として動作させ、あるいは、上述の処理を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。
【００９０】
さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。
【図面の簡単な説明】
【００９１】
【図１】本発明の実施形態に係るプロジェクタの構成を示す図である。
【図２】図１に示す撮像部がスクリーンの方向を撮影したときの様子を示す図である。
【図３】スクリーンと撮像エリアとの具体的な関係を示す図である。
【図４】図１に示すプロジェクタの前面パネルを示す図である。
【図５】図１に示すプロジェクタが四角形画像を投影したときの撮像エリアと投影エリアとスクリーンとの関係を示す図である。
【図６】図１に示す画像処理部が実行する台形補正を示す図である。
【図７】スクリーンの辺が撮像エリアからはみ出た場合を示す図である。
【図８】水平角度と垂直角度とを用いて図７に示すスクリーンをスクリーン座標に変換した様子を示す図である。
【図９】図８に示すスクリーンに対して回転方向の補正を行った様子を示す図である。
【図１０】図９に示すスクリーンから、最終的な投影エリアを設定する様子を示す図である。
【図１１】図１に示す制御部が実行する補正制御処理を示すフローチャートである。
【図１２】図１に示す制御部が実行する変換式取得処理を示すフローチャートである。
【図１３】図１に示す画像処理部が実行する座標取得処理を示すフローチャートである。
【図１４】従来の投影画像の補正内容を示す図である。
【符号の説明】
【００９２】
１    プロジェクタ
１２  撮像部
１３  投影部
１４ｈ，１４ｖ  角度センサ
１６  演算部
１７  画像処理部
２０  制御部
【図１】
0004702050.tif 000010
【図２】
0004702050.tif 000011
【図３】
0004702050.tif 000012
【図４】
0004702050.tif 000013
【図５】
0004702050.tif 000014
【図６】
0004702050.tif 000015
【図７】
0004702050.tif 000016
【図８】
0004702050.tif 000017
【図９】
0004702050.tif 000018
【図１０】
0004702050.tif 000019
【図１１】
0004702050.tif 000020
【図１２】
0004702050.tif 000021
【図１３】
0004702050.tif 000022
【図１４】
0004702050.tif 000023