(57)【特許請求の範囲】
【請求項１】
所定のスクリーン座標系を有し、前記スクリーン座標系の座標値で定義された計測点と、前記スクリーン座標系の座標値で定義され、投影画像の投影位置や形状を指示する投影指示点とを有する投影面に画像を投影する画像投影装置であって、
所定の被投影面座標系を有する液晶パネルを備え、前記投影面に対して画像の投影を行う投影手段と、
前記投影面上の前記計測点と前記投影指示点、及び前記投影面に投影された画像を撮像画像として撮像する撮像手段と、
前記撮像手段で撮像した前記撮像画像を格納する画像メモリと、
キャリブレーションモードまたは投影モードの何れかのモード選択信号を出力するモード入力手段と、
撮像された前記計測点と前記投影手段の投影像に基づいて、前記スクリーン座標系と前記被投影面座標系間の変換パラメータを推定する投影パラメータ推定手段と、
前記投影指示点の前記座標値から投影指示点座標を計測する投影指示点座標計測手段と、
前記変換パラメータと前記投影指示点座標を格納するメモリと、
前記メモリに格納された前記投影指示点座標で指定される投影位置に投影画像を配置して、前記スクリーン座標で表現された想定投影画像を生成する想定投影画像生成手段と、
前記メモリに格納された前記変換パラメータに基づいて、前記想定投影画像を被投影面座標で表現された画像に変換するスクリーン−被投影面座標変換手段と、
を有することを特徴とする画像投影装置。
【請求項２】
所定のスクリーン座標系を有し、前記スクリーン座標系の座標値で定義された計測点と、前記スクリーン座標系の座標値で定義され、投影画像の投影位置や形状を指示する投影指示点とを有する投影面に画像を投影する画像投影装置であって、
所定の被投影面座標系を有する液晶パネルを備え、前記投影面に対して画像の投影を行う投影手段と、
前記投影面上の前記計測点と前記投影指示点、及び前記投影面に投影された画像を撮像画像として撮像する撮像手段と、
前記撮像手段で撮像した前記撮像画像を格納する画像メモリと、
キャリブレーションモードまたは投影モードの何れかのモード選択信号を出力するモード入力手段と、
撮像された前記計測点と前記投影手段の投影像に基づいて、前記スクリーン座標系と前記被投影面座標系間の変換パラメータを推定する投影パラメータ推定手段と、
前記投影指示点の前記座標値から投影指示点座標を計測する投影指示点座標計測手段と、
前記変換パラメータと前記投影指示点座標を格納するメモリと、
投影される画像を格納する投影画像蓄積手段と、
前記投影画像蓄積手段から任意の投影画像を選択する投影画像選択手段と、
前記メモリに格納された前記投影指示点座標で指定される投影位置に前記投影画像選択手段で選択された前記投影画像を配置して、前記スクリーン座標で表現された想定投影画像を生成する想定投影画像生成手段と、
前記メモリに格納された前記変換パラメータに基づいて、前記想定投影画像を被投影面座標系の座標値を有する画像に変換するスクリーン−被投影面座標変換手段と、
を有することを特徴とする画像投影装置。
【請求項３】
所定のスクリーン座標系を有し、前記スクリーン座標系の座標値で定義された計測点と、前記スクリーン座標系の座標値で定義され、投影画像の投影位置や形状を指示する投影指示点とを有する投影面に画像を投影する画像投影装置であって、
所定の被投影面座標系を有する液晶パネルを備え、前記投影面に対して画像の投影を行う投影手段と、
前記投影面上の前記計測点と前記投影指示点、及び前記投影面に投影された画像を撮像画像として撮像する撮像手段と、
前記撮像手段で撮像した前記撮像画像を格納する画像メモリと、
キャリブレーションモードまたは投影モードの何れかのモード選択信号を出力するモード入力手段と、
撮像された前記計測点と前記投影手段の投影像に基づいて、前記スクリーン座標系と前記被投影面座標系間の変換パラメータを推定する投影パラメータ推定手段と、
前記投影指示点の前記座標値から投影指示点座標を計測する投影指示点座標計測手段と、
前記変換パラメータと前記投影指示点座標を格納するメモリと、
投影される画像を格納する投影画像蓄積手段と、
前記投影画像蓄積手段から任意の投影画像を選択する投影画像選択手段と、
前記メモリに格納された前記投影指示点座標で指定される投影位置に、前記投影画像選択手段で選択された前記投影画像または外部から入力された投影画像を配置して、前記スクリーン座標で表現された想定投影画像を生成する想定投影画像生成手段と、
前記メモリに格納された前記変換パラメータに基づいて、前記想定投影画像を被投影面座標系の座標値を有する画像に変換するスクリーン−被投影面座標変換手段と、
を有することを特徴とする画像投影装置。
【請求項４】
前記投影パラメータ推定手段は、
前記モード入力手段からキャリブレーションモードが出力された際に、前記撮像手段で撮像された前記撮像画像を入力するスイッチ手段と、
前記スイッチから入力される前記撮像画像をアナログ／ディジタル変換するＡ／Ｄ変換手段と、
前記画像メモリに格納された前記撮像画像から前記撮像手段で定義される撮像面座標系における前記計測点の座標値を抽出する計測点抽出手段と、
前記計測点の前記撮像面座標系における座標値と前記スクリーン座標系における座標値から撮像面―スクリーン座標間変換パラメータを推定する撮像面−スクリーン座標変換パラメータ推定手段と、
前記画像メモリに格納された前記撮像画像から前記投影手段で投影された投影光の４つの頂点の前記撮像面座標系における座標値をそれぞれ抽出し、前記メモリに格納された前記撮像面−スクリーン座標変換パラメータに基づいて、前記投影光の４つの頂点の前記撮像面座標系における座標値をスクリーン座標系の座標値に変換して出力する投影光頂点座標抽出手段と、
前記投影光の４つの頂点の前記スクリーン座標系の座標値と前記投影画像の被投影面座標系の座標値とに基づいて、スクリーン−被投影面座標変換パラメータを前記変換パラメータとして推定するスクリーン−被投影面座標変換パラメータ手段と、を有する
ことを特徴とする請求項１乃至３記載の画像投影装置。
【請求項５】
さらに、前記投影手段から投影される基準画像を生成する投影基準画像生成手段と、
前期投影手段に接続され、前記モード入力部の出力モードに応じて、前記基準画像と前記投影画像の切替を行う切替手段と、
を備えることを特徴とする請求項１乃至３記載の画像投影装置。
【請求項６】
前記投影パラメータ推定手段は、
前記モード入力手段からキャリブレーションモードが出力された際に、前記撮像手段で撮像された前記撮像画像を入力するスイッチ手段と、
前記スイッチから入力される前記撮像画像をアナログ／ディジタル変換するＡ／Ｄ変換手段と、
前記画像メモリに格納された前記撮像画像から前記撮像手段で定義される撮像面座標系における前記計測点の座標値を抽出する計測点抽出手段と、
前記計測点の前記撮像面座標系における座標値と前記スクリーン座標系における座標値から撮像面―スクリーン座標間変換パラメータを推定する撮像面−スクリーン座標変換パラメータ推定手段と、
前記投影基準画像から前記撮像面座標系における投影基準点の座標値を抽出し、前記メモリに格納された前記撮像面−スクリーン座標変換パラメータによって、前記撮像面座標系における投影基準点の座標値を前記スクリーン座標系における投影基準点の座標値に変換して出力する投影基準点座標抽出手段と、
前記投影基準点の前記スクリーン座標系の座標値と前記投影画像の被投影面座標系の座標値とに基づいて、スクリーン−被投影面座標変換パラメータを前記変換パラメータとして推定するスクリーン−被投影面座標変換パラメータ手段と、を有する
ことを特徴とする請求項５記載の画像投影装置。
【請求項７】
前記投影面には、各頂点のスクリーン座標が既知の投影矩形面が配置され、
前記投影パラメータ推定手段は、
前記画像メモリに格納された前記撮像画像から、前記投影矩形面の各頂点の前記撮像面座標系による座標値を抽出する投影矩形面頂点座標抽出手段と、
前記投影矩形面の各頂点の前記撮像面座標系による座標値と前記スクリーン座標系における所定の座標値に基づいて、撮像面−スクリーン座標間変換パラメータを変換パラメータとして推定する撮像面・スクリーン座標変換パラメータ推定手段と、
を備え、
前記投影指示点座標計測手段は、撮像された前記投影矩形面の各頂点を前記投影指示点として前記投影指示点座標を計測し、
前記投影手段は、前記投影矩形面上に前記投影画像を投影する、
ことを特徴とする請求項１、２、３または５いずれか記載の画像投影装置。
【請求項８】
さらに、前記撮像画像の領域のうち前記投影画像領域以外の周辺領域の色を変換する周辺色変換手段を有することを特徴とする請求項１乃至７記載の画像投影装置。
【請求項９】
前記周辺色変換手段は、前記撮像画像の領域のうち前記投影画像領域以外の周辺領域の色を、光を透過させない色に変換することを特徴とする請求項８記載の画像投影装置。
【請求項１０】
さらに、前記撮像手段と前記投影手段の光軸を同一にする光軸一致手段を有することを特徴とする請求項１乃至９記載の画像投影装置。
【請求項１１】
投影面に画像を投影する画像投影方法であって、
投影指示点と計測点を設けた投影面に投光し、
前記投影面の投光領域を全て含むように撮影し、
撮影した画像をＡ／Ｄ変換してディジタル画像を生成し、
前記ディジタル画像から前記投影面上の前記計測点の撮像面座標を抽出し、
前記計測点の撮像面座標に基づいて、撮像面座標とスクリーン座標間の変換パラメータである撮像面−スクリーン座標変換パラメータを推定し、
前記ディジタル画像から前記投光領域の４つの頂点を抽出して当該４つの頂点の撮像面座標を求め、
前記投光領域の４つの頂点の撮像面座標を前記撮像面−スクリーン座標変換パラメータによってスクリーン座標に変換し、
前記スクリーン座標に基づいて、スクリーン座標系と被投影面座標系間の変換パラメータであるスクリーン−被投影面座標変換パラメータを推定し、
前記ディジタル画像から前記投影指示点の撮像面座標を抽出し、
前記投影指示点の撮像面座標を、前記撮像面−スクリーン座標変換パラメータを用いてスクリーン座標に変換し、
投影画像をロードして、前記スクリーン座標系の座標値を有する想定投影画像を生成し、
前記想定投影画像の前記スクリーン座標系の座標値を前記スクリーン−被投影面座標変換パラメータによって、被投影座標系の座標値に変換して被投影画像を生成し、
前記被投影画像を投影することによって、前記想定投影画像と同一の形状でかつ位置決めされた歪みのない投影画像を前記投影面上に形成する、
ことを特徴とする画像投影方法。
【請求項１２】
投影面に画像を投影する画像投影方法であって、
投影指示点と投影矩形面を設けた投影面に投光し、
前記投影面の投光領域を全て含むように撮影し、
撮影した画像をＡ／Ｄ変換してディジタル画像を生成し、
前記ディジタル画像から前記投影面上の前記投影矩形面の４つの頂点の撮像面座標を抽出し、
前記投影矩形面の４つの頂点の撮像面座標に基づいて、撮像面座標とスクリーン座標間の変換パラメータである撮像面−スクリーン座標変換パラメータを推定し、
前記ディジタル画像から前記投光領域の４つの頂点を抽出して当該４つの頂点の撮像面座標を求め、
前記投光領域の４つの頂点の撮像面座標を前記撮像面−スクリーン座標変換パラメータによってスクリーン座標に変換し、
前記スクリーン座標に基づいて、スクリーン座標系と被投影面座標系間の変換パラメータであるスクリーン−被投影面座標変換パラメータを推定し、
前記ディジタル画像から前記投影指示点の撮像面座標を抽出し、
前記投影指示点の撮像面座標を、前記撮像面−スクリーン座標変換パラメータを用いてスクリーン座標に変換し、
投影画像をロードして、前記スクリーン座標系の座標値を有する想定投影画像を生成し、
前記想定投影画像の前記スクリーン座標系の座標値を前記スクリーン−被投影面座標変換パラメータによって、被投影座標系の座標値に変換して被投影画像を生成し、
前記被投影画像を投影することによって、前記想定投影画像と同一の形状でかつ位置決めされた歪みのない投影画像を前記投影面上に形成する、
ことを特徴とする画像投影方法。
【請求項１３】
前記投光領域の４つの頂点の撮像面座標を求めるステップは、前記投影領域の各辺の直線の方程式をＨｏｕｇｈ変換で求め、それぞれの直線の交点を前記投光領域の４つの頂点の撮像面座標として求めることを特徴とする請求項１１または１２記載の画像投影方法。
【請求項１４】
投影面に画像を投影する画像投影方法であって、
複数の投影基準点を有する投影基準画像を投影面に投影し、
前記投影面の前記投影基準画像を全て含むように撮影し、
撮影した前記投影基準画像をＡ／Ｄ変換してディジタル画像を生成し、
前記ディジタル画像から前記投影面上の前記計測点の撮像面座標を抽出し、
前記計測点の撮像面座標に基づいて、撮像面座標とスクリーン座標間の変換パラメータである撮像面−スクリーン座標変換パラメータを推定し、
前記ディジタル画像から前記複数の投影基準点を抽出して全ての投影基準点の撮像面座標を求め、
前記全ての投影基準点の撮像面座標を前記撮像面−スクリーン座標変換パラメータによってスクリーン座標に変換し、
前記スクリーン座標に基づいて、スクリーン座標系と被投影面座標系間の変換パラメータであるスクリーン−被投影面座標変換パラメータを推定し、
前記ディジタル画像から前記投影指示点の撮像面座標を抽出し、
前記投影指示点の撮像面座標を、前記撮像面−スクリーン座標変換パラメータを用いてスクリーン座標に変換し、
投影画像をロードして、前記スクリーン座標系の座標値を有する想定投影画像を生成し、
前記想定投影画像の前記スクリーン座標系の座標値を前記スクリーン−被投影面座標変換パラメータによって、被投影座標系の座標値に変換して被投影画像を生成し、
前記被投影画像を投影することによって、前記想定投影画像と同一の形状でかつ位置決めされた歪みのない投影画像を前記投影面上に形成する、
ことを特徴とする画像投影方法。
【請求項１５】
投影面に画像を投影する画像投影方法であって、
複数の投影基準点を有する投影基準画像を投影面に投影し、
前記投影面の前記投影基準画像を全て含むように撮影し、
撮影した前記投影基準画像をＡ／Ｄ変換してディジタル画像を生成し、
前記ディジタル画像から前記投影面上の前記計測点の撮像面座標を抽出し、
前記計測点の撮像面座標に基づいて、撮像面座標とスクリーン座標間の変換パラメータである撮像面−スクリーン座標変換パラメータを推定し、
前記ディジタル画像から前記複数の投影基準点を抽出して全ての投影基準点の撮像面座標を求め、
前記全ての投影基準点の撮像面座標を前記撮像面−スクリーン座標変換パラメータによってスクリーン座標に変換し、
前記スクリーン座標に基づいて、スクリーン座標系と被投影面座標系間の変換パラメータであるスクリーン−被投影面座標変換パラメータを推定し、
前記ディジタル画像から前記投影指示点の撮像面座標を抽出し、
前記投影指示点の撮像面座標を、前記撮像面−スクリーン座標変換パラメータを用いてスクリーン座標に変換し、
投影画像をロードして、前記スクリーン座標系の座標値を有する想定投影画像を生成し、
前記想定投影画像の前記スクリーン座標系の座標値を前記スクリーン−被投影面座標変換パラメータによって、被投影座標系の座標値に変換して被投影画像を生成し、
前記被投影画像を投影することによって、前記想定投影画像と同一の形状でかつ位置決めされた歪みのない投影画像を前記投影面上に形成する、
ことを特徴とする画像投影方法。
【請求項１６】
前記スクリーン−被投影面座標変換パラメータを推定するステップは、４点以上の前記投影基準点の前記スクリーン座標に基づいて、最小２乗法でスクリーン−被投影面座標変換パラメータを推定することを特徴とする請求項１５記載の画像投影方法。
【請求項１７】
前記撮像面−スクリーン座標変換パラメータを推定するステップは、４点以上の前記計測点または前記投影矩形面の４つの頂点の撮像面座標に基づいて、最小２乗法で前記撮像面−スクリーン座標変換パラメータを推定することを特徴とする請求項１１乃至１６記載の画像投影方法。
【請求項１８】
前記想定投影画像を生成するステップの後に、
前記想定投影画像のうち前記選択画像以外の部分の色を変換するステップを備えることを特徴とする請求項１１乃至１７記載の画像投影方法。
【請求項１９】
前記想定投影画像を生成するステップの後に、
前記想定投影画像のうち前記選択画像以外の部分を光の透過しない色に変換するステップを備えることを特徴とする請求項１１乃至１７記載の画像投影方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、静止画や動画などの画像を拡大投影する画像投影装置及び画像投影方法に関する。特には、投影時における投影画像を投影可能な範囲内で利用者の指定した位置に任意に歪みなく投影することのできる画像投影装置及び画像投影方法に関する。
【０００２】
【従来の技術】
近年、静止画やビデオなどの動画をスクリーンに投影する液晶プロジェクタのような画像投影装置における投影歪み補正に関する研究開発が盛んに行われている。
【０００３】
一般的に、画像を投影する液晶プロジェクタのような画像投影装置を用いて画像を投影する場合、歪みなく投影するためにはスクリーンなどの投影平面に対してプロジェクタの投影軸が垂直になるように両者を配置する必要がある。
【０００４】
図２０は、スクリーンなどの投影平面とプロジェクタの位置関係及び投影画像を示す図である。図２０（ａ）は、投影平面に対してプロジェクタの投影軸が垂直な場合を示し、図２０（ｂ）は、投影平面に対してプロジェクタの投影軸が垂直でない場合を示している。
【０００５】
図２０において、プロジェクタは、画像を投影する投影部２００５と、投影部２００５で投影された画像を出力する液晶パネルなどの被投影面２００３と、被投影面２００３に出力された画像を投影面２００１に投影像２００４として投影する投影レンズ２００２とを備えている。
【０００６】
図２０（ａ）に示すように、投影面２００１に対してプロジェクタの投影軸が垂直な場合、投影面２００１に映し出される投影像２００４には歪が生じない。一方、図２０（ｂ）に示すように、投影面２００１に対してプロジェクタの投影軸が垂直でない場合、投影面２００１に映し出される投影像２００４には歪みが生じてしまうことになる。このような歪みを補正する方法としては、投影面２００１上の投影像２００４の歪みに関係するパラメータを求め、そのパラメータに基づいて投影対象の画像を予め歪んだ画像に変換して投影する画像投影方法がある。以下、従来の画像投影装置及び画像投影方法について説明する。
【０００７】
図２１は、従来の液晶プロジェクタを用いた画像投影装置を示す図である。図２１において、この画像投影装置は、歪み補正のパラメータを計算し、そのパラメータによって歪み補正変換した画像を出力するコンピュータ装置２１０２と、コンピュータ装置２１０２からのコンピュータ画面を投影する液晶プロジェクタなどの投影部２１０３を備えている。ここで、投影部２１０３は、コンピュータ装置２１０２からの画像を投影像２００４として、キャリブレーション用のスクリーン座標を規定する格子パターンのついた投影面２１０１に投影する。
【０００８】
次に、図２１に示した従来の画像投影装置の動作について説明する。
【０００９】
図２２は、図２１に示した従来の画像投影装置の動作を示すフローチャートである。図２２において、まず、利用者のキー操作によってキャリブレーションモードが設定される（ステップ２２０１）と、液晶プロジェクタ（投影部）２１０３は、コンピュータ装置２１０２からの基準画像パターンを投影面２１０１に投影する（ステップ２２０２）。
【００１０】
利用者は、投影された基準画像パターン像のキャリブレーション用の点のスクリーン座標値Ｐ0（Ｘsi，Ｙsi）（ここで、例えば、ｉ＝１〜４）を読み取る（ステップ２２０３）。そして、読み取ったスクリーン座標値Ｐ0（Ｘsi，Ｙsi）をコンピュータ装置２１０２に入力する（ステップ２２０４）。
【００１１】
全てのスクリーン座標値Ｐ0（Ｘsi，Ｙsi）が入力されたら（ステップ２２０５）、コンピュータ装置２１０２は、入力されたスクリーン座標値Ｐ0（Ｘsi，Ｙsi）から補正用パラメータを算出する(ステップ２２０６)。以下に、補正用パラメータの算出について説明する。
【００１２】
一般に、投影面２１０１上の点のスクリーン座標値Ｐ0（Ｘsi，Ｙsi）と、投影部２１０３内に設けられている被投影面である液晶パネル上の点Ｐ1（Ｘpi，Ｙpi）の関係は、以下の＜式１＞または＜式２＞のように表される。
0004415101.tif 000002
【００１３】
ここでＳ、Ｐの対応はそれぞれ既知であるので、４点以上の対応点の組によってＶを最小２乗法で推定することができる。以上が、キャリブレーション処理である。
【００１４】
次に、上記で求めた補正用パラメータＶを用いて、予め記憶されている投影用の画像データを歪みのないように変換して記憶する（ステップ２２０７）。
【００１５】
全ての記憶画像について歪み補正の変換処理が完了するまで、ステップ２２０７の処理を繰り返す（ステップ２２０８）。この時、歪みを無くすために変換処理を行うのと同様にして、投影面上の任意位置に投影を行うための変換をすることもできる。
【００１６】
次に、利用者のキー操作により投影モードが設定される（ステップ２２０９）と、補正済み画像データが、液晶プロジェクタ（投影部）２１０３によって、投影面２１０１に投影される（ステップ２２１０）。
【００１７】
【発明が解決しようとする課題】
しかしながら、図２１に示したような従来の画像投影装置によれば、キャリブレーション時に、利用者が、投影面２１０１上の格子パターンを基準にしてスクリーン座標を計測することになるため、スクリーン座標の読み取り誤差が生じるという問題があった。
【００１８】
また、投影位置の指定を行う場合にも、利用者が、投影面２１０１上の格子パターンを基準にして位置指定のためのスクリーン座標を計測することになるため、スクリーン座標の読み取り誤差により位置指定の誤差が生じるという問題があった。
【００１９】
したがって、本発明は、上記の問題点を解決するもので、その目的は、スクリーン座標を自動的に計測することができ、投影の歪み補正を含む画像変換パラメータの算出誤差を低減することができる画像投影装置及び画像投影方法を提供することである。
【００２０】
【課題を解決するための手段】
上記課題を解決するため、本発明の第１の態様の画像投影装置は、所定のスクリーン座標系を有し、スクリーン座標系の座標値で定義された計測点と、スクリーン座標系の座標値で定義され、投影画像の投影位置や形状を指示する投影指示点とを有する投影面に画像を投影する画像投影装置であって、所定の被投影面座標系を有する液晶パネルを備え、投影面に対して画像の投影を行う投影手段と、投影面上の計測点と投影指示点、及び投影面に投影された画像を撮像画像として撮像する撮像手段と、撮像部で撮像した撮像画像を格納する画像メモリと、キャリブレーションモードまたは投影モードの何れかのモード選択信号を出力するモード入力手段と、撮像された計測点と投影画像に基づいて、スクリーン座標系と被投影面座標系の変換パラメータを推定する投影パラメータ推定手段と、投影指示点の座標値から投影指示点座標を計測する投影指示点座標計測手段と、変換パラメータと投影指示点座標を格納するメモリと、メモリに格納された投影指示点座標で指定される投影位置に投影画像を配置して、スクリーン座標で表現された想定投影画像を生成する想定投影画像生成手段と、メモリに格納された変換パラメータに基づいて、想定投影画像を被投影面座標系の座標値を有する画像に変換するスクリーン−被投影面座標変換手段と、を有することを特徴とする。
【００２１】
また、上記課題を解決するため、本発明の第２の態様の画像投影装置は、所定のスクリーン座標系を有し、スクリーン座標系の座標値で定義された計測点と、スクリーン座標系の座標値で定義され、投影画像の投影位置や形状を指示する投影指示点とを有する投影面に画像を投影する画像投影装置であって、所定の被投影面座標系を有する液晶パネルを備え、投影面に対して画像の投影を行う投影手段と、投影面上の計測点と投影指示点、及び投影面に投影された画像を撮像画像として撮像する撮像手段と、撮像部で撮像した撮像画像を格納する画像メモリと、キャリブレーションモードまたは投影モードの何れかのモード選択信号を出力するモード入力手段と、撮像された計測点と投影画像に基づいて、スクリーン座標系と被投影面座標系の変換パラメータを推定する投影パラメータ推定手段と、投影指示点の座標値から投影指示点座標を計測する投影指示点座標計測手段と、変換パラメータと投影指示点座標を格納するメモリと、投影される画像を格納する投影画像蓄積手段と、投影画像蓄積手段から任意の投影画像を選択する投影画像選択手段と、メモリに格納された投影指示点座標で指定される投影位置に投影画像選択手段で選択された投影画像を配置して、スクリーン座標で表現された想定投影画像を生成する想定投影画像生成手段と、メモリに格納された変換パラメータに基づいて、想定投影画像を被投影面座標系の座標値を有する画像に変換するスクリーン−被投影面座標変換手段と、を有することを特徴とする。
【００２２】
また、上記課題を解決するため、本発明の第３の態様の画像投影装置は、所定のスクリーン座標系を有し、スクリーン座標系の座標値で定義された計測点と、スクリーン座標系の座標値で定義され、投影画像の投影位置や形状を指示する投影指示点とを有する投影面に画像を投影する画像投影装置であって、所定の被投影面座標系を有する液晶パネルを備え、投影面に対して画像の投影を行う投影手段と、投影面上の計測点と投影指示点、及び投影面に投影された画像を撮像画像として撮像する撮像手段と、撮像部で撮像した撮像画像を格納する画像メモリと、キャリブレーションモードまたは投影モードの何れかのモード選択信号を出力するモード入力手段と、撮像された計測点と投影画像に基づいて、スクリーン座標系と被投影面座標系の変換パラメータを推定する投影パラメータ推定手段と、投影指示点の座標値から投影指示点座標を計測する投影指示点座標計測手段と、変換パラメータと投影指示点座標を格納するメモリと、投影される画像を格納する投影画像蓄積手段と、投影画像蓄積手段から任意の投影画像を選択する投影画像選択手段と、メモリに格納された投影指示点座標で指定される投影位置に、投影画像選択手段で選択された投影画像または外部から入力された投影画像を配置して、スクリーン座標で表現された想定投影画像を生成する想定投影画像生成手段と、メモリに格納された変換パラメータに基づいて、想定投影画像を被投影面座標系の座標値を有する画像に変換するスクリーン−被投影面座標変換手段と、を有することを特徴とする。
【００２３】
ここで、投影パラメータ推定手段は、モード入力手段からキャリブレーションモードが出力された際に、撮像手段で撮像された撮像画像を入力するスイッチ手段と、スイッチから入力される撮像画像をアナログ／ディジタル変換するＡ／Ｄ変換手段と、画像メモリに格納された撮像画像から撮像手段で定義される撮像面座標系における計測点の座標値を抽出する計測点抽出手段と、計測点の撮像面座標系における座標値とスクリーン座標系における座標値から撮像面―スクリーン座標間変換パラメータを推定する撮像面−スクリーン座標変換パラメータ推定手段と、画像メモリに格納された撮像画像から投影手段で投影された投影光の４つの頂点の撮像面座標系における座標値をそれぞれ抽出し、メモリに格納された撮像面−スクリーン座標変換パラメータに基づいて、投影光の４つの頂点の撮像面座標系における座標値をスクリーン座標系の座標値に変換して出力する投影光頂点座標抽出手段と、投影光の４つの頂点のスクリーン座標系の座標値と投影画像の被投影面座標系の座標値とに基づいて、スクリーン−被投影面座標変換パラメータを変換パラメータとして推定するスクリーン−被投影面座標変換パラメータ手段と、を有するようにしてもよい。
【００２４】
また、上記課題を解決するため、本発明の第１の態様の画像投影方法は、投影面に画像を投影する画像投影方法であって、投影指示点と計測点を設けた投影面に投光し、投影面の投光領域を全て含むように撮影し、撮影した画像をＡ／Ｄ変換してディジタル画像を生成し、ディジタル画像から投影面上の計測点の撮像面座標を抽出し、計測点の撮像面座標に基づいて、撮像面座標とスクリーン座標間の変換パラメータである撮像面−スクリーン座標変換パラメータを推定し、ディジタル画像から投光領域の４つの頂点を抽出して当該４つの頂点の撮像面座標を求め、投光領域の４つの頂点の撮像面座標を撮像面−スクリーン座標変換パラメータによってスクリーン座標に変換し、スクリーン座標に基づいて、スクリーン座標系と被投影面座標系間の変換パラメータであるスクリーン−被投影面座標変換パラメータを推定し、ディジタル画像から投影指示点の撮像面座標を抽出し、投影指示点の撮像面座標を撮像面−スクリーン座標変換パラメータを用いてスクリーン座標に変換し、投影画像をロードして、スクリーン座標系の座標値を有する想定投影画像を生成し、想定投影画像のスクリーン座標系の座標値をスクリーン−被投影面座標変換パラメータによって、被投影座標系の座標値に変換して被投影画像を生成し、被投影画像を投影することによって、想定投影画像と同一の形状でかつ位置決めされた歪みのない投影画像を投影面上に形成する、ことを特徴とする。
【００２５】
これにより、スクリーン座標の自動計測を可能にし、歪み補正を含む画像変換パラメータ算出の誤差を小さく抑える。
【００２６】
また、上記課題を解決するため、本発明の第４の態様の画像投影装置は、さらに、投影手段から投影される基準画像を生成する投影基準画像生成手段と、前期投影手段に接続され、モード入力部の出力モードに応じて、基準画像と投影画像の切替を行う切替手段と、を備えることを特徴とする。
【００２７】
このとき、投影パラメータ推定手段は、モード入力手段からキャリブレーションモードが出力された際に、撮像手段で撮像された撮像画像を入力するスイッチ手段と、スイッチから入力される撮像画像をアナログ／ディジタル変換するＡ／Ｄ変換手段と、画像メモリに格納された撮像画像から撮像手段で定義される撮像面座標系における計測点の座標値を抽出する計測点抽出手段と、計測点の撮像面座標系における座標値とスクリーン座標系における座標値から撮像面―スクリーン座標間変換パラメータを推定する撮像面−スクリーン座標変換パラメータ推定手段と、投影基準画像から撮像面座標系における投影基準点の座標値を抽出し、メモリに格納された撮像面−スクリーン座標変換パラメータによって、撮像面座標系における投影基準点の座標値をスクリーン座標系における投影基準点の座標値に変換して出力する投影基準点座標抽出手段と、投影基準点のスクリーン座標系の座標値と投影画像の被投影面座標系の座標値とに基づいて、スクリーン−被投影面座標変換パラメータを変換パラメータとして推定するスクリーン−被投影面座標変換パラメータ手段と、を有するようにするとよい。
【００２８】
また、上記課題を解決するため、本発明の第２の態様の画像投影方法は、投影面に画像を投影する画像投影方法であって、複数の投影基準点を有する投影基準画像を投影面に投影し、投影面の投影基準画像を全て含むように撮影し、撮影した投影基準画像をＡ／Ｄ変換してディジタル画像を生成し、ディジタル画像から投影面上の計測点の撮像面座標を抽出し、計測点の撮像面座標に基づいて、撮像面座標とスクリーン座標間の変換パラメータである撮像面−スクリーン座標変換パラメータを推定し、ディジタル画像から複数の投影基準点を抽出して全ての投影基準点の撮像面座標を求め、全ての投影基準点の撮像面座標を撮像面−スクリーン座標変換パラメータによってスクリーン座標に変換し、スクリーン座標に基づいて、スクリーン座標系と被投影面座標系間の変換パラメータであるスクリーン−被投影面座標変換パラメータを推定し、ディジタル画像から投影指示点の撮像面座標を抽出し、投影指示点の撮像面座標を撮像面−スクリーン座標変換パラメータを用いてスクリーン座標に変換し、投影画像をロードして、スクリーン座標系の座標値を有する想定投影画像を生成し、想定投影画像のスクリーン座標系の座標値をスクリーン−被投影面座標変換パラメータによって、被投影座標系の座標値に変換して被投影画像を生成し、被投影画像を投影することによって、想定投影画像と同一の形状でかつ位置決めされた歪みのない投影画像を投影面上に形成する、ことを特徴とする。
【００２９】
投影基準画像を生成し、計測点と投影基準画像を用いて投影面座標系と投影部座標系の変換パラメータを推定することで、画像変換パラメータ算出の誤差のより一層の低減を図る。
【００３０】
また、上記課題を解決するため、本発明の第５の態様の画像投影装置は、投影面には、各頂点がスクリーン座標系における所定の座標値を有する平面矩形画像を配置され、投影パラメータ推定手段は、画像メモリに格納された撮像画像から、平面矩形画像の各頂点の撮像面座標系による座標値を抽出する投影矩形面頂点座標抽出手段と、平面矩形画像の各頂点の撮像面座標系による座標値とスクリーン座標系における所定の座標値に基づいて、撮像面−スクリーン座標間変換パラメータを変換パラメータとして推定する撮像面・スクリーン座標変換パラメータ推定手段と、を備え、投影指示点座標計測手段は、撮像された平面矩形画像の各頂点を投影指示点として投影指示点座標を計測し、投影手段は、平面矩形画像上に投影画像を投影する、ことを特徴とする。
【００３１】
また、上記課題を解決するため、本発明の第３の態様の画像投影方法は、投影面に画像を投影する画像投影方法であって、投影指示点と投影矩形面を設けた投影面に投光し、投影面の投光領域を全て含むように撮影し、撮影した画像をＡ／Ｄ変換してディジタル画像を生成し、ディジタル画像から投影面上の投影矩形面の４つの頂点の撮像面座標を抽出し、投影矩形面の４つの頂点の撮像面座標に基づいて、撮像面座標とスクリーン座標間の変換パラメータである撮像面−スクリーン座標変換パラメータを推定し、ディジタル画像から投光領域の４つの頂点を抽出して当該４つの頂点の撮像面座標を求め、投光領域の４つの頂点の撮像面座標を撮像面−スクリーン座標変換パラメータによってスクリーン座標に変換し、スクリーン座標に基づいて、スクリーン座標系と被投影面座標系間の変換パラメータであるスクリーン−被投影面座標変換パラメータを推定し、ディジタル画像から投影指示点の撮像面座標を抽出し、投影指示点の撮像面座標を撮像面−スクリーン座標変換パラメータを用いてスクリーン座標に変換し、投影画像をロードして、スクリーン座標系の座標値を有する想定投影画像を生成し、想定投影画像のスクリーン座標系の座標値をスクリーン−被投影面座標変換パラメータによって、被投影座標系の座標値に変換して被投影画像を生成し、被投影画像を投影することによって、想定投影画像と同一の形状でかつ位置決めされた歪みのない投影画像を投影面上に形成する、ことを特徴とする。
【００３２】
投影面上に配置した平面画像の頂点を計測点として変換パラメータを推定し、平面画像の頂点を投影指示点として投影指示点座標を計測することで、スクリーン上の任意位置に配置した平面画像上に自動的に歪み補正をした投影像を投影することができる。
【００３３】
さらに、上述した画像投影装置においては、撮像画像の領域のうち投影画像領域以外の周辺領域の色を変換する周辺色変換手段を有することもできる。この周辺色変換手段は、撮像画像の領域のうち投影画像領域以外の周辺領域の色を、光を透過させない色に変換するようにするとよい。
【００３４】
また、上述した画像投影方法においては、想定投影画像を生成するステップの後に、想定投影画像のうち選択画像以外の部分の色を変換するステップを備えることもできる。このとき、想定投影画像のうち選択画像以外の部分の色を光の透過しない色に変換するようにするとよい。
【００３５】
投影領域内の画像情報を有さない周辺部について、光を透過させない色に変換することで、無駄な投影光の部分がなく、歪みを補正した投影画像を提供することができる。
【００３６】
さらに、上述した画像投影装置においては、撮像手段と投影手段の光軸を同一にする光軸一致手段を有するようにするとよい。
【００３７】
ハーフミラーなどを設けて投影光軸と撮像光軸を一致させるため、投影面の配置位置に応じて撮像領域を変更する必要がなく、撮像部のパン、チルト及びズーム制御などの初期設定が不要となり、より利便性を向上することができる。
【００３８】
また、上述した画像投影方法においては、投光領域の４つの頂点の撮像面座標を求めるステップは、投影領域の各辺の直線の方程式をＨｏｕｇｈ変換で求め、それぞれの直線の交点を投光領域の４つの頂点の撮像面座標として求めることができる。また、スクリーン−被投影面座標変換パラメータを推定するステップは、４点以上の投影基準点のスクリーン座標に基づいて、最小２乗法でスクリーン−被投影面座標変換パラメータを推定するとよい。また、撮像面−スクリーン座標変換パラメータを推定するステップは、４点以上の計測点または投影矩形面の４つの頂点の撮像面座標に基づいて、最小２乗法で撮像面−スクリーン座標変換パラメータを推定することもできる。
【００３９】
【発明実施の形態】
＜実施の形態１＞
以下、本発明の第１の実施の形態について、図面を参照しながら説明する。図１は、本発明の画像投影装置の構成の一例を示す図である。図１において、この画像投影装置は、投影面１０１を撮影するＣＣＤ（Charge Coupled Device）カメラなどの撮像部１０２と、利用者などの外部からキャリブレーションモードや投影モードなどのモード指示を受けるモード入力部１０３と、モード入力部１０３でキャリブレーションモードが指定された時に撮像部１０２で撮影されたアナログ画像情報を出力するスイッチ１０４と、画像情報のアナログ／ディジタル（Ａ／Ｄ）変換を行うＡ／Ｄ変換部１０５と、Ａ／Ｄ変換されたディジタル画像を蓄積する画像メモリ１０６と、計測点１０１ａを画像から抽出し、その撮像面座標を出力する計測点抽出部１０７と、抽出された複数の計測点１０１ａの撮像面座標と計測点１０１ａの投影面１０１上におけるスクリーン座標から両座標系間の変換パラメータ（撮像面−スクリーン座標変換パラメータ）を推定する撮像面−スクリーン座標変換パラメータ推定部１０８と、投影部１１３から投影される投影光の輪郭四角形の４つの頂点の撮像面座標を抽出して、撮像面−スクリーン座標変換パラメータによってそれら撮像面座標をスクリーン座標に変換して出力する投影光頂点抽出部１０９と、投影光頂点抽出部１０９で抽出された４頂点のスクリーン座標、撮像面−スクリーン座標変換パラメータ及びこの４頂点に対応する被投影面座標からスクリーン座標系と被投影面座標系の変換パラメータ（スクリーン−被投影面座標変換パラメータ）を推定するスクリーン−被投影面座標変換パラメータ推定部１１０と、投影指示点１０１ｂの撮像面座標を画像から抽出して、撮像面−スクリーン座標変換パラメータを用いてそのスクリーン座標を出力する投影指示点座標計測部１１１と、投影光の輪郭四角形４頂点のスクリーン座標値、投影光指示点１０１ｂのスクリーン座標値、撮像面−スクリーン面変換パラメータ、スクリーン−被投影面変換パラメータを記憶するメモリ１１２と、利用者などの外部から指定され選択された画像を投影する投影部１１３と、投影モードにおいて利用者などの外部からの入力に応じて投影する画像を選択する投影画像選択部１１４と、メモリ１１２に蓄積された投影光の輪郭四角形４頂点座標及び投影指示点座標から投影面１０１上に投影が想定される画像（スクリーン座標系で表現）を生成する想定投影画像生成部１１５と、利用者などの外部から選択された画像を蓄積する投影画像蓄積部１１６と、スクリーン座標系で表現された想定投影画像をメモリ１１２に蓄積されたスクリーン−被投影面座標変換パラメータによって被投影面座標系で表現した投影画像に変換して出力するスクリーン−被投影面座標変換部１１７と、を備えている。
【００４０】
ここで、投影面１０１は、撮像面座標系とスクリーン座標系の変換パラメータを推定するのに用いられる計測点１０１ａと投影位置を指示する投影指示点１０１ｂを有する。
【００４１】
次に、各座標系について説明する。
【００４２】
図２は、各座標系関係を示す図である。図２において、撮像面である投影面２０９をｘｙ平面とし、計測点２１１の１点を原点とし、その原点を通る空間的にお互いに直交する３直線をＸw軸、Ｙw軸、Ｚw軸としてスクリーン座標系２０１を設定する。図２においては、図面上向かって右下の点をスクリーン座標系原点としている。なお、どの計測点２１１を原点にしてもよい。このスクリーン座標系２０１の定義によって、投影面２０９上に配置された計測点２１１、投影指示点２０８及び投影光輪郭四角形（以下、単に「投影光」ともいう）２１０の４頂点のスクリーン座標値（Ｘw，Ｙw，０）を定量化できる。
【００４３】
また、投影部１１３（図１）の投影中心を原点とし、投影部１１３の投影軸方向をｚ軸方向、液晶パネル等の被投影面をｘｙ平面としてプロジェクタ座標系（Ｘp，Ｙp，Ｚp）を設定する。
【００４４】
また、ＸpＹp平面に平行な被投影面上に定義される被投影面座標系（ｘp，ｙp）２０３の原点は、投影部１１３の投影軸（ｚp軸）がこの被投影面と交わる点である。
【００４５】
また、撮像部１０２（図１）のレンズ中心を原点とし、撮像部１０２の光軸方向をｚ軸方向、ＣＣＤ素子面をｘｙ平面としてカメラ座標系２０４を設定する。
【００４６】
また、ＸcＹc平面に平行なＣＣＤ素子面上に定義される撮像面座標系（ｘc，ｙc）２０５の原点は、撮像部１０２の光軸（Ｚc軸）がこの撮像面と交わる点である。
【００４７】
また、投影部１１３及び撮像部１０２は、それぞれ焦点距離Ｆp２０６と焦点距離Ｆc２０７を有する。
【００４８】
以下、上記のように構成された画像投影装置の動作について説明する。
【００４９】
図３は、本発明の画像投影装置の動作を示すフローチャートである。本発明の画像投影装置の動作は、大きくキャリブレーション処理（ステップ３０１〜ステップ３１１）と投影処理（ステップ３１２〜ステップ３１７）の２つの処理で説明することができる。
【００５０】
最初にキャリブレーション処理（ステップ３０１〜ステップ３１１）について説明する。
【００５１】
まず、モード入力部１０３において利用者などの外部からの入力によってキャリブレーションモードが設定される（ステップ３０１）と、投影部１１３が投光された状態（ステップ３０２）で撮像部１０２が投光領域を全て含むように撮影を行う（ステップ３０３）。
【００５２】
モード入力部１０３がスイッチ１０４をＯＮ状態にするため、撮像部１０２で撮影された画像はＡ／Ｄ変換部１０５に入力され、Ａ／Ｄ変換されてディジタル画像として画像メモリ１０６に格納される。
【００５３】
図４は、撮影された画像の例を示す図である。図４において、図２と同様のものには、同一の符号を付している。
【００５４】
次に、計測点抽出部１０７において、画像メモリ１０６に格納されているディジタル画像から投影面１０１上の計測点２１１を画像処理によって抽出し、その撮像面座標（ｘc，ｙc）を出力する(ステップ３０４)。
【００５５】
全ての計測点２１１について全ての抽出を完了したかチェック（ステップ２０６）し、完了していなければステップ３０４の処理を繰り返す。なお、計測点２１１と投影指示点２０８の画像上での識別は、その色や形などを変えるようにして行うとよい。
【００５６】
次に、撮像面−スクリーン座標変換パラメータ推定部１０８において、撮像面座標とスクリーン座標間の変換パラメータ（撮像面−スクリーン座標変換パラメータ）を計測点２１１から推定し（ステップ３０６）、この撮像面−スクリーン座標変換パラメータをメモリ１１２に格納する。ここで、一般に、スクリーン上の点（Ｘw1，Ｙw1，０）とその点が撮像された時の撮像面座標（ｘc1，ｙc1）は、以下の＜式３＞または＜式４＞のように表すことができる。
0004415101.tif 000003
【００５７】
ここで、それぞれの計測点２１１の撮像面座標（ｘc1，ｙc1）とスクリーン座標（Ｘw1，Ｙx1，０）の対応関係は既知であるので、４点以上の計測点２１１の対応によって変換パラメータ行列Ｌを最小２乗法で推定することができる。
【００５８】
次に、投影光頂点抽出部１０９において、ディジタル画像より投影光２１０の輪郭四角形の４頂点を画像処理によって抽出し、その撮像面座標（ｘc2，ｙc2）を求め、それら撮像面座標を撮像面−スクリーン座標変換パラメータによってスクリーン座標（Ｘw2，Ｙw2，０）に変換する（ステップ３０７）。
【００５９】
このスクリーン座標（Ｘw2，Ｙw2，０）をメモリ１１２に格納し、かつスクリーン−被投影面座標変換パラメータ推定部１１０に出力する。また、処理後の画像をメモリ１１２に出力する。そして、４つの頂点全ての処理が終了するまで（ステップ３０８）、ステップ３０７の処理を繰り返す。ここで、４頂点の撮像面座標（ｘc2，ｙc2）は、例えば、投影光２１０の輪郭四角形の各辺の直線の方程式をＨｏｕｇｈ変換などで求め、その４直線の交点を求めることで得ることができる。
【００６０】
次に、スクリーン−被投影面座標変換パラメータ推定部１１０において、スクリーン座標系と被投影面座標系間の変換パラメータ（スクリーン−被投影面座標変換パラメータ）を４頂点を用いて推定し（ステップ３０９）、メモリ１１２に格納する。
【００６１】
一般に、スクリーン上の点（Ｘw2，Ｙw2，０）とその点の液晶パネル上の被投影面座標（ｘp2，ｙp2）は、以下の＜式５＞または＜式６＞のように表すことができる。
0004415101.tif 000004
【００６２】
ここで、投影光２１０の輪郭四角形４頂点の被投影面座標（ｘp2，ｙp2）は、液晶パネル上の被投影矩形領域の４頂点に対応するため、容易に求めることができる。よって、４頂点の被投影面座標とスクリーン座標双方が既知となるため、その対応を用いて＜式５＞の連立方程式を解くことにより、スクリーン−被投影面座標変換パラメータＭを推定することができる。
【００６３】
次に、投影指示点座標計測部１１１において、ディジタル画像より投影指示点２０８を画像処理によって抽出し、その撮像面座標（ｘc3，ｙc3）を求め、メモリ１１２に格納されている撮像面−スクリーン座標変換パラメータを用いて（ｘc3，ｙc3）をスクリーン座標（Ｘw3，Ｙw3，０）に変換し（ステップ３１０）、メモリ１１２に格納する。
【００６４】
ここで、複数の投影指示点２０８がある場合には、ステップ３１０の処理を繰り返す（ステップ３１１）。この複数の投影指示点２０８の配置によって、投影位置やその投影の縦横比などを指定することもできる。
【００６５】
以上のステップ３１０〜３１１の処理がキャリブレーション処理となる。次に、投影処理について説明する。
【００６６】
モード入力部１０３において、利用者などの外部からの入力により投影モードが設定され（ステップ３１２)、投影画像選択部１１４において投影画像が選択される（ステップ３１３）と、変換処理を経て投影画像が投影部１１３によって投影される。
【００６７】
図５は、投影の一例の様子を示す図である。図５に示すように、投影光（投影画像）２１０が投影指示点２０８を左上頂点として歪みなく投影される。
【００６８】
投影画像選択部１１４において、利用者などの外部から投影画像が選択される（ステップ３１３）と、想定投影画像生成部１１５では、投影画像蓄積部１１６から選択画像をロードして、投影面１０１上に投影される投影像と同一の想定投影画像を生成する（ステップ３１４）。
【００６９】
図６は、想定投影画像を示す図である。この想定投影画像は、スクリーン座標系で表現され、スクリーン上に投影される投影像と同一の画像である。選択画像５０１は投影指示点２０８を左上頂点に一致するように、かつ投影光２１０の領域内に全体が納まるように拡大または縮小されて配置される。
【００７０】
次に、スクリーン−被投影面座標変換部１１７では、図６に示すスクリーン座標系表現の想定投影画像をスクリーン−被投影面座標変換パラメータＭにより、被投影座標系表現にし、被投影画像を生成する（ステップ３１５）。
【００７１】
そして、この被投影画像を投影部１１３で投影する（ステップ３１６）と、想定投影画像と同一の形状かつ位置決めされた歪みのない投影画像が投影面１０１上に形成される。
【００７２】
次に、利用者などの外部から投影終了が選択される（ステップ３１７）まで、ステップ３１３〜ステップ３１６の処理が繰り返される。
【００７３】
なお、上述の実施の形態では、投影指示点２０８が１つの場合について説明したが、この他にも、例えば、２点の投影指示点２０８で選択画像５０１の左辺を示すようにして、その投影位置だけでなく投影縮尺を指示することもできる。
【００７４】
図７は、２点の投影指示点２０８で定められた線分７０１と選択画像５０１の左辺とが一致するように、選択画像５０１を配置した例を示す図である。ここで、図７（ａ）は、選択画像５０１の配置前を示し、図７（ｂ）は、選択画像５０１の配置後を示す。図７の場合、選択画像５０１の元々の縦横比ｘ：ｙは、投影面２０９上でも保持される。また、選択画像５０１の縦横比ｘ：ｙを変えるような指示も投影指示点２０８を３点以上に設定することによって可能となる。
【００７５】
図８は、３点の投影指示点２０８で定められた線分７０１と選択画像５０１の左辺とが、及び線分８０１と選択画像５０１の底辺とが一致するように、選択画像５０１を配置した例を示す図である。ここで、図８（ａ）は、選択画像５０１の配置前を示し、図８（ｂ）は、選択画像５０１の配置後を示す。図８の場合、選択画像５０１の元々の縦横比ｘ：ｙは、線分７０１と線分８０１の比ｘ’：ｙ’に変換して投影される。この縦横比の変更における選択画像５０１の変換は、簡単な線形変換で実現することができる。また、選択画像の形状を変えるような指示も投影指示点２０８を４点以上設定することで可能になる。
【００７６】
図９は、４点の投影指示点２０８と選択画像５０１の４つの頂点位置を一致するように変形配置を行った図である。ここで、図９（ａ）は、選択画像５０１の配置前を示し、図９（ｂ）は、選択画像５０１の配置後を示す。図９に示したような形状変更についての選択画像５０１の変換は、ワーピングなどの非線形変換を用いて行うことができる。
【００７７】
以上のように、本実施の形態によれば、キャリブレーション処理用の撮像部１０２及びキャリブレーション処理実行部を備えることにより、利用者などの外部からの設定に応じた位置に、歪みなく選択画像を投影することができる。
【００７８】
なお、本実施の形態では、投影画像蓄積部１１６に蓄積され、利用者により選択された投影画像（選択画像）を歪み無く投影する装置を例に説明しているが、投影画像は外部より入力されるディジタル画像でもよい。これにより、Ａ／Ｄコンバータなどを用いればアナログ信号として存在するテレビジョン信号などについても歪みの無い投影が可能となる。
【００７９】
また、利用者による座標読み取りなどの計測手続きが必要ないため、簡易に位置決め投影ができ、位置決め及び歪み補正の精度を向上することができる。
【００８０】
＜実施の形態２＞
以下、本発明の第２の実施の形態について、図面を参照しながら説明する。
【００８１】
図１０は、本発明の画像投影装置の構成の一例を示す図である。なお、図１０において、図１と同様の構成については同一の符号を付している。図１０に示した画像投影装置は、投影面１０１を撮影するＣＣＤカメラなどの撮像部１０２と、利用者などの外部からキャリブレーションモードや投影モードなどのモード指示を受けるモード入力部１０３と、モード入力部１０３でキャリブレーションモードが指定された時に撮像部１０２で撮影されたアナログ画像情報を出力するスイッチ１０４と、画像情報のアナログ／ディジタル（Ａ／Ｄ）変換を行うＡ／Ｄ変換部１０５と、Ａ／Ｄ変換されたディジタル画像を蓄積する画像メモリ１０６と、計測点１０１ａを画像から抽出し、その撮像面座標を出力する計測点抽出部１０７と、抽出された複数の計測点１０１ａの撮像面座標と計測点１０１ａの投影面１０１上におけるスクリーン座標から両座標系間の変換パラメータ（撮像面−スクリーン座標変換パラメータ）を推定する撮像面−スクリーン座標変換パラメータ推定部１０８と、キャリブレーションモードと投影モードにおける投影画像の切替を行う切替スイッチ１００１と、キャリブレーションモードにおいて使用する投影基準画像を生成する投影基準画像生成部１００２と、利用者などの外部から指定され選択された画像を投影する投影部１１３と、投影部１１３から投影される投影基準画像から投影基準点を画像処理によって抽出してその撮像面座標を求め、後述するメモリ１１２に格納されている撮像面−スクリーン座標変換パラメータによって当該撮像面座標をスクリーン座標に変換する投影基準点座標抽出部１００３と、投影基準点座標抽出部１００３で抽出された投影基準点のスクリーン座標、撮像面−スクリーン座標変換パラメータ及び投影基準点に対応する被投影面座標からスクリーン座標系と被投影面座標系の変換パラメータ（スクリーン−被投影面座標変換パラメータ）を推定するスクリーン−被投影面座標変換パラメータ推定部１００４と、投影指示点１０１ｂの撮像面座標を画像から抽出して、撮像面−スクリーン座標変換パラメータを用いてそのスクリーン座標を出力する投影指示点座標計測部１１１と、投影基準点のスクリーン座標値、投影光指示点１０１ｂのスクリーン座標値、撮像面−スクリーン面変換パラメータ、スクリーン−被投影面変換パラメータを記憶するメモリ１１２と、投影モードにおいて利用者などの外部からの入力に応じて投影する画像を選択する投影画像選択部１１４と、メモリ１１２に蓄積された投影光の輪郭四角形４頂点座標及び投影指示点座標から投影面１０１上に投影が想定される画像（スクリーン座標系で表現）を生成する想定投影画像生成部１１５と、利用者などの外部から選択された画像を蓄積する投影画像蓄積部１１６と、スクリーン座標系で表現された想定投影画像をメモリ１１２に蓄積されたスクリーン−被投影面座標変換パラメータによって被投影面座標系で表現した投影画像に変換して出力するスクリーン−被投影面座標変換部１１７と、を備えている。
【００８２】
本実施の形態では、スクリーン−被投影面座標変換パラメータの推定精度を向上するために、投影基準画像を投影し、その４点以上の投影基準点の座標値を用いることによって、最小２乗法での推定精度を向上させる。
【００８３】
図１１は、４点以上の投影基準点１１０２を有する投影基準画像１１０１を投影面２０９上に投影した図である。
【００８４】
以下、本実施の形態による画像投影装置の動作について説明する。
【００８５】
図１２は、本実施の形態による画像投影装置の動作を示すフローチャートである。ここで、図１２において、図３と同一の処理を行うステップについては同一のステップ番号を付している。
【００８６】
最初に、キャリブレーション処理（ステップ３０１〜ステップ３１１）における動作について説明する。まず、モード入力部１０３において利用者の入力によりキャリブレーションモードが設定される（ステップ３０１）と、切替スイッチ１００１が作動し、投影部１１３は、投影基準画像生成部１００２で生成された投影基準画像１１０１（図１１）を投影する（ステップ１２０１）。
【００８７】
次に、撮像部１０２が投影基準画像１１０１を全て含むように撮影を行う（ステップ３０３）。
【００８８】
次に、撮影した画像をスイッチ１０４からＡ／Ｄ変換部１０５に入力し、Ａ／Ｄ変換部１０５でＡ／Ｄ変換した後、ディジタル画像として画像メモリ１０６に格納する。
【００８９】
次に、計測点抽出部１０７において、計測点の撮像面座標（ｘc，ｙc）を抽出（ステップ３０４）し、全ての計測点２１１について抽出が完了するまでステップ３０４の処理を繰り返す（ステップ３０５）。
【００９０】
次に、撮像面−スクリーン座標変換パラメータ推定部１０８において、撮像面座標とスクリーン座標間の変換パラメータを推定（ステップ３０６）し、メモリ１１２に格納する。
【００９１】
次に、投影基準点座標抽出部１００３において、撮像された全ての投影基準点１１０２を画像処理により抽出し、その撮像面座標（ｘc2，ｙc2）を求める。そして、それらの撮像面座標（ｘc2，ｙc2）を撮像面−スクリーン座標変換パラメータによってスクリーン座標（Ｘw2，Ｙw2，０）に変換して（ステップ１２０２）、メモリ１１２に格納し、かつスクリーン−被投影面座標変換パラメータ推定部１００４へ出力する。そして、全ての投影基準点１１０２についての処理が終了するまでステップ１２０２の処理を繰り返す（ステップ１２０３）。なお、計測点２１１、投影指示点２０８、投影基準点１１０２の識別は、それぞれの点の色や形状などを変えることによって行うとよい。
【００９２】
次に、スクリーン−被投影面座標変換パラメータ推定部１００４において、スクリーン座標系と被投影面座標系間の変換パラメータを投影基準点１０２を用いて推定し（ステップ１２０４）、メモリ１１２に格納する。上述の＜式５＞におけるＸw2とＹw2の値は、投影基準点抽出部１００３で得られており、また＜式５＞におけるｘp2とｙp2の値は、投影部１１３の液晶パネル上における被投影面座標であるため、液晶パネルサイズと投影基準画像の比がわかっていれば容易に求めることができる。よって、投影基準点１１０２が４点以上あれば、変換パラメータ（＜式６＞におけるＭ）は、最小２乗法によって推定することができる。
【００９３】
次に、投影指示点座標計測部１１１において、ディジタル画像より投影指示点２０８を画像処理によって抽出し、その撮像面座標（ｘc3，ｙc3）を求め、メモリ１１２に格納されている撮像面−スクリーン座標変換パラメータを用いて（ｘc3，ｙc3）をスクリーン座標（Ｘw3，Ｙw3，０）に変換し（ステップ３１０）、メモリ１１２に格納する。
【００９４】
ここで、複数の投影指示点２０８がある場合には、ステップ３１０の処理を繰り返す（ステップ３１１）。この複数の投影指示点２０８の配置によって、投影位置やその投影の縦横比などを指定することもできる。
【００９５】
以上のステップ３１０〜３１１の処理がキャリブレーション処理となる。次に、投影処理について説明する。
【００９６】
モード入力部１０３において、利用者などの外部からの入力により投影モードが設定される（ステップ３１２)と、モード入力部１０３からの投影モードを示す出力信号をうけた切替スイッチ３０１は、スクリーン−被投影面座標変換部１１７の出力を投影部１１３に入力するように作動する。そして、投影画像選択部１１４において投影画像が選択される（ステップ３１３）と、投影画像が投影部１１３によって投影される。
【００９７】
投影画像選択部１１４において、利用者などの外部から投影画像が選択される（ステップ３１３）と、想定投影画像生成部１１５では、投影画像蓄積部１１６から選択画像をロードして、投影面１０１上に投影される投影像と同一の想定投影画像を生成する（ステップ３１４）。
【００９８】
次に、スクリーン−被投影面座標変換部１１７では、図６に示すスクリーン座標系表現の想定投影画像をスクリーン−被投影面座標変換パラメータＭにより、被投影座標系表現にし、被投影画像を生成する（ステップ３１５）。
【００９９】
そして、この被投影画像を投影部１１３で投影する（ステップ３１６）と、想定投影画像と同一の形状かつ位置決めされた歪みのない投影画像が投影面１０１上に形成される。
【０１００】
次に、利用者などの外部から投影終了が選択される（ステップ３１７）まで、ステップ３１３〜ステップ３１６の処理が繰り返される。
【０１０１】
なお、本実施の形態では、投影画像蓄積部１１６に蓄積され、利用者により選択された投影画像（選択画像）を歪み無く投影する装置を例に説明しているが、投影画像は外部より入力されるディジタル画像でもよい。これにより、Ａ／Ｄコンバータなどを用いればアナログ信号として存在するテレビジョン信号などについても歪みの無い投影が可能となる。
【０１０２】
以上のように、本実施の形態によれば、キャリブレーション処理用の撮像部１０２及びキャリブレーション処理の実行部を備えることにより、投影位置の指定精度が大幅に向上し、投影歪み補正の精度を大幅に向上することができる。
【０１０３】
また、利用者による座標読み取りなどの計測手続きが必要ないため、簡易に位置決め投影ができ、位置決め及び歪み補正の精度を大幅に向上することができる。
【０１０４】
＜実施の形態３＞
以下本発明の第３の実施の形態について、図面を参照しながら説明する。
【０１０５】
図１３は、本発明の画像投影装置の構成の一例を示す図である。なお、図１３において、図１と同様の構成については同一の符号を付している。図１３に示した画像投影装置は、投影位置と投影領域を指定する長方形の投影矩形面１３０１が投影されている投影面１０１を撮影するＣＣＤカメラなどの撮像部１０２と、利用者などの外部からキャリブレーションモードや投影モードなどのモード指示を受けるモード入力部１０３と、モード入力部１０３でキャリブレーションモードが指定された時に撮像部１０２で撮影されたアナログ画像情報を出力するスイッチ１０４と、画像情報のアナログ／ディジタル（Ａ／Ｄ）変換を行うＡ／Ｄ変換部１０５と、Ａ／Ｄ変換されたディジタル画像を蓄積する画像メモリ１０６と、投影矩形面１３０１の４つの頂点をディジタル画像から抽出し、その撮像面座標を出力する投影矩形面頂点抽出部１３０２と、抽出された投影矩形面１３０１の４つの頂点とその頂点の投影面１０１上におけるスクリーン座標から両座標系間の変換パラメータ（撮像面−スクリーン座標変換パラメータ）を推定する撮像面−スクリーン座標変換パラメータ推定部１３０３と、投影矩形面１３０１の４つの頂点の撮像面座標を抽出して、撮像面−スクリーン座標変換パラメータによってそれら撮像面座標をスクリーン座標に変換して出力する投影光頂点抽出部１０９と、投影光頂点抽出部１０９で抽出された４頂点のスクリーン座標、撮像面−スクリーン座標変換パラメータ及びこの４頂点に対応する被投影面座標からスクリーン座標系と被投影面座標系の変換パラメータ（スクリーン−被投影面座標変換パラメータ）を推定するスクリーン−被投影面座標変換パラメータ推定部１１０と、投影矩形面１３０１の撮像面座標と撮像面−スクリーン座標変換パラメータを用いてスクリーン座標から投影指示点座標を計測する投影指示点座標計測部１３０４と、投影矩形面１３０１の４頂点のスクリーン座標値、投影矩形面１３０１のスクリーン座標値、撮像面−スクリーン面変換パラメータ、スクリーン−被投影面変換パラメータを記憶するメモリ１１２と、利用者などの外部から指定され選択された画像を投影する投影部１１３と、投影モードにおいて利用者などの外部からの入力に応じて投影する画像を選択する投影画像選択部１１４と、メモリ１１２に蓄積された投影矩形面１３０１の４頂点座標から投影面１０１上に投影が想定される画像（スクリーン座標系で表現）を生成する想定投影画像生成部１１５と、利用者などの外部から選択された画像を蓄積する投影画像蓄積部１１６と、スクリーン座標系で表現された想定投影画像をメモリ１１２に蓄積されたスクリーン−被投影面座標変換パラメータによって被投影面座標系で表現した投影画像に変換して出力するスクリーン−被投影面座標変換部１１７と、を備えている。
【０１０６】
上述の画像投影装置においては、投影面１０１上に配置した全ての頂点（４頂点）の相対的な位置関係が既知である投影矩形面１３０１（例えば、Ａ３サイズやＢ３サイズなどの所定サイズの用紙など）の上に完全に重なるか、もしくはその矩形内に縦横比を保った状態で選択画像を投影することによって、投影矩形面１３０１の４頂点を上述の第１の実施の形態における計測点および投影指示点として扱い、キャリブレーション処理及び投影処理を行う。
【０１０７】
以下、本実施の形態における画像投影装置の動作について説明する。
【０１０８】
図１４は、本実施の形態による画像投影装置の動作を示すフローチャートである。ここで、図１４において、図３と同一の処理を行うステップについては同一のステップ番号を付している。
【０１０９】
最初に、キャリブレーション処理（ステップ３０１〜ステップ１４０４）における動作について説明する。まず、モード入力部１０３において利用者などの外部からの入力によりキャリブレーションモードが設定される（ステップ３０１）と、投影部１１３が投光された状態（ステップ３０２）で撮像部１０２が投光領域全てを含むように撮影を行う（ステップ３０３）。
【０１１０】
次に、撮影による画像は、スイッチ１０４からＡ／Ｄ変換部１０５に入力され、Ａ／Ｄ変換部１０５でＡ／Ｄ変換されて画像メモリ１０６に格納される。
【０１１１】
図１５は、投影面２０９に撮影された画像の例を示す図である。図１５において、投影面２０９及び投影矩形面１３０１上に投影光２１０が投影されている。以降この図１５を用いて本実施の形態による画像投影装置の動作について説明する。
【０１１２】
次に、投影矩形面抽出部１３０２において、図１５に示す画像から投影矩形面１３０１の頂点を画像処理により抽出して、その撮像面座標（ｘc，ｙc）をメモリ１１２に格納し、撮像面−スクリーン座標変換パラメータ推定部１３０３に出力する（ステップ１４０１）。そして、４つの頂点全てについて抽出を完了したかチェックし（ステップ１４０２）、完了していなければステップ１４０１の処理を繰り返す。４頂点の撮像面座標（ｘc，ｙc）は、例えば、投影矩形面１３０１の輪郭四角形の各辺の直線方程式をＨｏｕｇｈ変換などで求め、その４直線の交点を求めることで得ることができる。
【０１１３】
次に、撮像面−スクリーン座標変換パラメータ推定部１０８において、撮像面座標とスクリーン座標間の変換パラメータ（撮像面−スクリーン座標変換パラメータ）を投影矩形面１３０１の４頂点より推定し（ステップ１４０３）、この撮像面−スクリーン座標変換パラメータをメモリ１１２に格納する。このようにして、上述した＜式４＞に示す変換パラメータ行列Ｌを推定することができる。
【０１１４】
次に、投影光頂点抽出部１０９において、投影光２１０の４頂点の全てのスクリーン座標を算出し（ステップ３０７及びステップ３０８）、メモリ１１２に格納する。
【０１１５】
次に、スクリーン−被投影面座標変換パラメータ推定部１１０において、スクリーン座標系と被投影面間の変換パラメータを投影光２１０の４頂点を用いて推定し（ステップ３０９）、メモリ１１２に格納する。
【０１１６】
次に、投影指示点座標計測１３０４において、ステップ１４０１で得られメモリ１１２に格納されている投影矩形面１３０１の４頂点の座標（ｘc2，ｙc2）を同じくメモリ１１２に格納されている撮像面−スクリーン座標変換パラメータを用いてスクリーン座標（Ｘw3，Ｙw3，０）に変換し（ステップ１４０４）、これを投影指示点としてメモリ１１２に格納する。以上がキャリブレーション処理となる。
【０１１７】
以下、投影処理（ステップ３１２〜ステップ３１７）に関しては、上述のステップ１４０４で得られた投影矩形面１３０１の４頂点を投影指示点として扱うことで、図３に示した処理と同様の処理を行うことができる。
【０１１８】
モード入力部１０３において、利用者などの外部からの入力により投影モードが設定され（ステップ３１２)、投影画像選択部１１４において投影画像が選択される（ステップ３１３）と、変換処理を経て投影画像が投影部１１３によって投影される。
【０１１９】
また、投影画像選択部１１４において、利用者などの外部から投影画像が選択される（ステップ３１３）と、想定投影画像生成部１１５では、投影画像蓄積部１１６から選択画像をロードして、投影面１０１上に投影される投影像と同一の想定投影画像を生成する（ステップ３１４）。
【０１２０】
次に、スクリーン−被投影面座標変換部１１７では、図６に示すスクリーン座標系表現の想定投影画像をスクリーン−被投影面座標変換パラメータＭにより、被投影座標系表現にし、被投影画像を生成する（ステップ３１５）。
【０１２１】
そして、この被投影画像を投影部１１３で投影する（ステップ３１６）と、想定投影画像と同一の形状かつ位置決めされた歪みのない投影画像が投影面１０１上に形成される。
【０１２２】
次に、利用者などの外部から投影終了が選択される（ステップ３１７）まで、ステップ３１３〜ステップ３１６の処理が繰り返される。
【０１２３】
なお、本実施の形態では、投影画像蓄積部１１６に蓄積され、利用者により選択された投影画像（選択画像）を歪み無く投影する装置を例に説明しているが、投影画像は外部より入力されるディジタル画像でもよい。これにより、Ａ／Ｄコンバータなどを用いればアナログ信号として存在するテレビジョン信号などについても歪みの無い投影が可能となる。
【０１２４】
以上、本実施の形態においては、投影矩形面１３０１の４頂点を実施の形態１における計測点２１１かつ投影指示点２０８として処理したが、投影矩形面１３０１を利用せずに、計測点２１１と投影指示点２０８を兼ねる４点を投影面上に配置してもよい。
【０１２５】
以上、本実施の形態によれば、キャリブレーション処理用の撮像部１０２及びキャリブレーション処理の実行部を備えるため、投影面１０１上の特定矩形領域上に歪みなく選択画像を投影することができる。
【０１２６】
また、利用者などによる座標読み取りなどの計測手続きが必要ないため、簡易に位置決め投影ができ、位置決め及び歪み補正の精度を大幅に向上することができる。
【０１２７】
＜実施の形態４＞
以下本発明の第４の実施例について、図面を参照しながら説明する。
【０１２８】
図１６は、本発明の画像投影装置の構成の一例を示す図である。なお、図１６において、図１と同様の構成については同一の符号を付している。図１６に示した画像投影装置は、投影面１０１を撮影するＣＣＤカメラなどの撮像部１０２と、利用者などの外部からキャリブレーションモードや投影モードなどのモード指示を受けるモード入力部１０３と、モード入力部１０３でキャリブレーションモードが指定された時に撮像部１０２で撮影されたアナログ画像情報を出力するスイッチ１０４と、画像情報のアナログ／ディジタル（Ａ／Ｄ）変換を行うＡ／Ｄ変換部１０５と、Ａ／Ｄ変換されたディジタル画像を蓄積する画像メモリ１０６と、計測点１０１ａを画像から抽出し、その撮像面座標を出力する計測点抽出部１０７と、抽出された複数の計測点１０１ａの撮像面座標と計測点１０１ａの投影面１０１上におけるスクリーン座標から両座標系間の変換パラメータ（撮像面−スクリーン座標変換パラメータ）を推定する撮像面−スクリーン座標変換パラメータ推定部１０８と、投影部１１３から投影される投影光の輪郭四角形の４つの頂点の撮像面座標を抽出して、撮像面−スクリーン座標変換パラメータによってそれら撮像面座標をスクリーン座標に変換して出力する投影光頂点抽出部１０９と、投影光頂点抽出部１０９で抽出された４頂点のスクリーン座標、撮像面−スクリーン座標変換パラメータ及びこの４頂点に対応する被投影面座標からスクリーン座標系と被投影面座標系の変換パラメータ（スクリーン−被投影面座標変換パラメータ）を推定するスクリーン−被投影面座標変換パラメータ推定部１１０と、投影指示点１０１ｂの撮像面座標を画像から抽出して、撮像面−スクリーン座標変換パラメータを用いてそのスクリーン座標を出力する投影指示点座標計測部１１１と、投影光の輪郭四角形４頂点のスクリーン座標値、投影光指示点１０１ｂのスクリーン座標値、撮像面−スクリーン面変換パラメータ、スクリーン−被投影面変換パラメータを記憶するメモリ１１２と、利用者などの外部から指定され選択された画像を投影する投影部１１３と、投影モードにおいて利用者などの外部からの入力に応じて投影する画像を選択する投影画像選択部１１４と、メモリ１１２に蓄積された投影光の輪郭四角形４頂点座標及び投影指示点座標から投影面１０１上に投影が想定される画像（スクリーン座標系で表現）を生成する想定投影画像生成部１１５と、利用者などの外部から選択された画像を蓄積する投影画像蓄積部１１６と、想定投影画像生成部１１５から出力される想定投影画像において利用者などの外部から選択された選択画像の存在しない周辺部の色を光を透過させない色、例えば、黒色など、に変換する周辺色変換部１６０１と、周辺色変換部１６０１で処理されたスクリーン座標系表現の想定投影画像をメモリ１１２に蓄積されたスクリーン−被投影面座標変換パラメータによって被投影面座標系で表現した投影画像に変換して出力するスクリーン−被投影面座標変換部１１７と、を備えている。
【０１２９】
本実施に形態においては、投影すべき選択画像に無関係な周辺光部分のない、位置合せされた歪みのない投影を行うために、想定投影画像において選択画像の存在しない周辺部の色を黒色などの光を透過させない色に変換する投影処理を行う。
【０１３０】
以下、本実施の形態における画像投影装置の動作について説明する。
【０１３１】
図１７は、本実施の形態による画像投影装置の動作を示すフローチャートである。ここで、図１７において、図３と同一の処理を行うステップについては同一のステップ番号を付している。
【０１３２】
ここで、キャリブレーション処理（ステップ３０１〜ステップ３１１）の動作については、上述の実施の形態１（図３）と全く同じ動作とすることができる。すなわち、まず、モード入力部１０３において利用者などの外部からの入力によってキャリブレーションモードが設定される（ステップ３０１）と、投影部１１３が投光された状態（ステップ３０２）で撮像部１０２が投光領域を全て含むように撮影を行う（ステップ３０３）。
【０１３３】
モード入力部１０３がスイッチ１０４をＯＮ状態にするため、撮像部１０２で撮影された画像はＡ／Ｄ変換部１０５に入力され、Ａ／Ｄ変換されてディジタル画像として画像メモリ１０６に格納される。
【０１３４】
次に、計測点抽出部１０７において、画像メモリ１０６に格納されているディジタル画像から投影面１０１上の計測点２１１を画像処理によって抽出し、その撮像面座標（ｘc，ｙc）を出力する(ステップ３０４)。
【０１３５】
全ての計測点２１１について全ての抽出を完了したかチェック（ステップ２０６）し、完了していなければステップ３０４の処理を繰り返す。
【０１３６】
次に、撮像面−スクリーン座標変換パラメータ推定部１０８において、撮像面座標とスクリーン座標間の変換パラメータ（撮像面−スクリーン座標変換パラメータ）を計測点２１１から推定し（ステップ３０６）、この撮像面−スクリーン座標変換パラメータをメモリ１１２に格納する。
【０１３７】
次に、投影光頂点抽出部１０９において、ディジタル画像より投影光２１０の輪郭四角形の４頂点を画像処理によって抽出し、その撮像面座標（ｘc2，ｙc2）を求め、それら撮像面座標を撮像面−スクリーン座標変換パラメータによってスクリーン座標（Ｘw2，Ｙw2，０）に変換する（ステップ３０７）。
【０１３８】
このスクリーン座標（Ｘw2，Ｙw2，０）をメモリ１１２に格納し、かつスクリーン−被投影面座標変換パラメータ推定部１１０に出力する。また、処理後の画像をメモリ１１２に出力する。そして、４つの頂点全ての処理が終了するまで（ステップ３０８）、ステップ３０７の処理を繰り返す。
【０１３９】
次に、スクリーン−被投影面座標変換パラメータ推定部１１０において、スクリーン座標系と被投影面座標系間の変換パラメータ（スクリーン−被投影面座標変換パラメータ）を４頂点を用いて推定し（ステップ３０９）、メモリ１１２に格納する。
【０１４０】
次に、投影指示点座標計測部１１１において、ディジタル画像より投影指示点２０８を画像処理によって抽出し、その撮像面座標（ｘc3，ｙc3）を求め、メモリ１１２に格納されている撮像面−スクリーン座標変換パラメータを用いて（ｘc3，ｙc3）をスクリーン座標（Ｘw3，Ｙw3，０）に変換し（ステップ３１０）、メモリ１１２に格納する。
【０１４１】
ここで、複数の投影指示点２０８がある場合には、ステップ３１０の処理を繰り返す（ステップ３１１）。この複数の投影指示点２０８の配置によって、投影位置やその投影の縦横比などを指定することもできる。
【０１４２】
以上のステップ３１０〜３１１の処理がキャリブレーション処理となる。次に、投影処理（ステップ３１２〜ステップ３１７）の動作について説明する。
【０１４３】
モード入力部１０３において利用者などの外部からの入力により投影モードが設定され（ステップ３１２）、投影画像選択部１１４において投影画像が選択される（ステップ３１３）と、変換処理を経て投影画像が投影される。
【０１４４】
図１８は、投影画像を投影面に投影した様子を示す図である。図１８に示すように、投影光（投影画像）２１０が投影指示点２０８を左上頂点として歪みなく投影される。図１８において、選択画像５０１の周辺部は、上述の図５に示した場合とは異なり、光が透過せず投影面２０９上では投影光２１０の当たっていない部分と同じ色になる。
【０１４５】
このように、投影画像選択部１１４において利用者などの外部から投影画像が選択される（ステップ３１３）と、想定投影画像生成部１１５では、投影画像蓄積部１１６から選択画像をロードして、投影面１０１上に投影される投影像と同一の想定投影画像を生成する（ステップ３１４）。
【０１４６】
次に、周辺色変換部１６０１は、想定投影画像における選択画像５０１の存在しない部分の色を黒色などの光を透過させない色に変換する（ステップ１７０１）。
【０１４７】
スクリーン−被投影面座標変換部１１７では、スクリーン座標系表現の想定投影画像をスクリーン−被投影面座標変換パラメータＭにより、被投影座標系表現にし、被投影画像を生成する（ステップ３１５）。
【０１４８】
そして、この被投影画像を投影部１１３で投影する（ステップ３１６）と、想定投影画像と同一の形状かつ位置決めされた歪みのない投影画像が投影面１０１上に形成される。
【０１４９】
次に、利用者などの外部から投影終了が選択される（ステップ３１７）まで、ステップ３１３〜ステップ３１６の処理が繰り返される。
【０１５０】
なお、本実施の形態では、投影画像蓄積部１１６に蓄積され、利用者により選択された投影画像（選択画像）を歪み無く投影する装置を例に説明しているが、投影画像は外部より入力されるディジタル画像でもよい。これにより、Ａ／Ｄコンバータなどを用いればアナログ信号として存在するテレビジョン信号などについても歪みの無い投影が可能となる。
【０１５１】
また、本実施の形態では、周辺色変換部１６０１により想定投影画像において投影画像の存在しない周辺部の色を黒色などの光を透過しない色に変換する例を示しているが、周辺部の色はスクリーン色と同色の色やデザイン効果を狙った他の色でもよい。
【０１５２】
以上、本実施の形態について説明したが、本実施の形態は、上述した実施の形態１〜３の何れにも適用することができる。
【０１５３】
以上のように、本実施の形態によれば、投影光の領域のうち利用者などの外部から指定された画像の存在しない部分の色を、光の透過しない色に変換する周辺色変換部１６０１を備えることで、投影光部分の存在しない無駄な領域を整形し、位置決めして歪みを補正した投影をすることができる。
【０１５４】
また、利用者などの座標読み取りなどの計測手続きが必要ないため、簡易に位置決めして投影することができ、位置決め及び歪み補正の精度を大幅に向上させることができる。
【０１５５】
＜実施の形態５＞
以下本発明の第５の実施例について、図面を参照しながら説明する。
【０１５６】
図１９は、本発明の画像投影装置の実施の形態の一例を示す図である。なお、図１９において、図１と同様の構成については同一の符号を付している。図１９に示した画像投影装置は、投影面１０１を撮影するＣＣＤカメラなどの撮像部１０２と、利用者などの外部からキャリブレーションモードや投影モードなどのモード指示を受けるモード入力部１０３と、モード入力部１０３でキャリブレーションモードが指定された時に撮像部１０２で撮影されたアナログ画像情報を出力するスイッチ１０４と、画像情報のアナログ／ディジタル（Ａ／Ｄ）変換を行うＡ／Ｄ変換部１０５と、Ａ／Ｄ変換されたディジタル画像を蓄積する画像メモリ１０６と、計測点１０１ａを画像から抽出し、その撮像面座標を出力する計測点抽出部１０７と、抽出された複数の計測点１０１ａの撮像面座標と計測点１０１ａの投影面１０１上におけるスクリーン座標から両座標系間の変換パラメータ（撮像面−スクリーン座標変換パラメータ）を推定する撮像面−スクリーン座標変換パラメータ推定部１０８と、投影部１１３から投影される投影光の輪郭四角形の４つの頂点の撮像面座標を抽出して、撮像面−スクリーン座標変換パラメータによってそれら撮像面座標をスクリーン座標に変換して出力する投影光頂点抽出部１０９と、投影光頂点抽出部１０９で抽出された４頂点のスクリーン座標、撮像面−スクリーン座標変換パラメータ及びこの４頂点に対応する被投影面座標からスクリーン座標系と被投影面座標系の変換パラメータ（スクリーン−被投影面座標変換パラメータ）を推定するスクリーン−被投影面座標変換パラメータ推定部１１０と、投影指示点１０１ｂの撮像面座標を画像から抽出して、撮像面−スクリーン座標変換パラメータを用いてそのスクリーン座標を出力する投影指示点座標計測部１１１と、投影光の輪郭四角形４頂点のスクリーン座標値、投影光指示点１０１ｂのスクリーン座標値、撮像面−スクリーン面変換パラメータ、スクリーン−被投影面変換パラメータを記憶するメモリ１１２と、利用者などの外部から指定され選択された画像を投影する投影部１１３と、投影モードにおいて利用者などの外部からの入力に応じて投影する画像を選択する投影画像選択部１１４と、メモリ１１２に蓄積された投影光の輪郭四角形４頂点座標及び投影指示点座標から投影面１０１上に投影が想定される画像（スクリーン座標系で表現）を生成する想定投影画像生成部１１５と、利用者などの外部から選択された画像を蓄積する投影画像蓄積部１１６と、スクリーン座標系で表現された想定投影画像をメモリ１１２に蓄積されたスクリーン−被投影面座標変換パラメータによって被投影面座標系で表現した投影画像に変換して出力するスクリーン−被投影面座標変換部１１７と、撮像部１０２と投影部１１３のそれぞれの光軸を同一にするハーフミラー部１９０１と、を備えている。
【０１５７】
本実施に形態においては、撮像部１０２と投影部１１３の光軸を同一にすることによって、投影面１０１がどの位置に配置されても、撮像部１０２の撮像領域を変更する必要がない。
【０１５８】
なお、本実施の形態における画像投影装置の動作は、上述した実施の形態１の図３に示した動作と同一である。
【０１５９】
なお、本実施の形態では、投影画像蓄積部１１６に蓄積され、利用者により選択された投影画像（選択画像）を歪み無く投影する装置を例に説明しているが、投影画像は外部より入力されるディジタル画像でもよい。これにより、Ａ／Ｄコンバータなどを用いればアナログ信号として存在するテレビジョン信号などについても歪みの無い投影が可能となる。
【０１６０】
以上のように、本実施の形態によれば、ハーフミラー部１９０１を設けることによって、投影光軸と撮像光軸を一致させることができ、投影面１０１の配置位置に応じて撮像領域を変更する必要がない。このため、撮像部１０２のパン、チルト、及びズーム制御などの初期設定が不要となり、より利便性が向上した。
【０１６１】
【発明の効果】
以上のように、本発明の画像投影装置及び画像投影方法によれば、撮像部で投影光の撮影を行い、その撮影画像から投影面と投影部にある被投影面間の座標変換パラメータを推定するため、任意に設定した投影位置に歪みなく選択画像を投影することができるようになった。
【０１６２】
また、投影前に行われていた座標読み取りなどの計測手続きが必要ないため、簡易に位置決めして投影することができ、位置決め及び歪み補正の精度を大幅に向上することができるようになった。
【０１６３】
また、選択投影画像の周辺部の色を光の透過しない色に変換することによって、簡易に位置決め投影ができ、位置決め及び歪み補正の精度を向上させながら、無駄な投影光部のない整形された画像を投影することができるようになった。
【０１６４】
また、ハーフミラー部を設けて投影光軸と撮像光軸を一致させるため、投影面の配置位置に応じて撮像領域を変更する必要がなく、撮像部のパン、チルト及びズーム制御などの初期設定が不要となり、より利便性を向上することができるようになった。
【図面の簡単な説明】
【図１】本発明の画像投影装置の構成を示すブロック図である。
【図２】投影面、撮像部、投影部におけるそれぞれの座標系を示す図である。
【図３】本発明の画像投影装置の動作を示すフローチャートである。
【図４】キャリブレーションモードにおける撮像画像の一例を示す図である。
【図５】投影イメージの一例を示す図である。
【図６】想定投影画像の一例を示す図である。
【図７】２点の投影指示点を配置した場合の投影例を示す図である。
【図８】３点の投影指示点を配置した場合の投影例を示す図である。
【図９】４点の投影指示点を配置した場合の投影例を示す図である。
【図１０】本発明の画像投影装置の構成を示すブロック図である。
【図１１】キャリブレーションモードにおける撮像画像の一例を示す図である。
【図１２】本発明の画像投影装置の動作を示すフローチャートである。
【図１３】本発明の画像投影装置の構成を示すブロック図である。
【図１４】本発明の画像投影装置の動作を示すフローチャートである。
【図１５】キャリブレーションモードにおける撮像画像の一例を示す図である。
【図１６】本発明の画像投影装置の構成を示すブロック図である。
【図１７】本発明の画像投影装置の動作を示すフローチャートである。
【図１８】投影モードにおける投影の一例を示す図である。
【図１９】本発明の画像投影装置の構成を示すブロック図である。
【図２０】投影面と被投影面の位置関係とその投影歪みの一例を示す図である。
【図２１】従来の画像投影装置の構成を示すブロック図である。
【図２２】従来の画像投影装置の動作を示すフローチャートである。
【符号の説明】
１０１、２０９、２００１、２１０１    投影面
１０１ａ、２１１    計測点
１０１ｂ、２０８    投影指示点
１０２    撮像部
１０３    モード入力部
１０４    スイッチ
１０５    Ａ／Ｄ変換部
１０６    画像メモリ
１０７    計測点抽出部
１０８、１３０３    撮像面−スクリーン座標変換パラメータ推定部
１０９    投影光頂点抽出部
１１０、１００４    スクリーン−被投影面座標変換パラメータ推定部
１１１、１３０４    投影指示点座標計測部
１１２    メモリ
１１３、２００５、２１０３    投影部
１１４    投影画像選択部
１１５    想定投影画像生成部
１１６    投影画像蓄積部
１１７    スクリーン−被投影面座標変換部
２０１    スクリーン座標系
２０２    プロジェクタ座標系
２０３    被投影面座標系
２０４    カメラ座標系
２０５    撮像面座標系
２０６    プロジェクタ焦点距離Ｆｐ
２０７    カメラ焦点距離
２１０    投影光輪郭四角形
５０１    選択画像
７０１、８０１    線分
１００１  切替スイッチ
１００２  投影基準画像発生部
１００３  投影基準点座標抽出部
１１０１  投影基準画像
１１０２  投影基準点
１３０１  投影矩形面
１３０２  投影矩形面頂点抽出点
１６０１  周辺色変換部
１９０１  ハーフミラー部
２００２  投影レンズ
２００３  被投影面（液晶パネル）
２００４  投影像
２１０２  コンピュータ装置
【図１】
0004415101.tif 000005
【図２】
0004415101.tif 000006
【図３】
0004415101.tif 000007
【図４】
0004415101.tif 000008
【図５】
0004415101.tif 000009
【図６】
0004415101.tif 000010
【図７】
0004415101.tif 000011
【図８】
0004415101.tif 000012
【図９】
0004415101.tif 000013
【図１０】
0004415101.tif 000014
【図１１】
0004415101.tif 000015
【図１２】
0004415101.tif 000016
【図１３】
0004415101.tif 000017
【図１４】
0004415101.tif 000018
【図１５】
0004415101.tif 000019
【図１６】
0004415101.tif 000020
【図１７】
0004415101.tif 000021
【図１８】
0004415101.tif 000022
【図１９】
0004415101.tif 000023
【図２０】
0004415101.tif 000024
【図２１】
0004415101.tif 000025
【図２２】
0004415101.tif 000026