(57)【要約】【課題】  投影面を、簡易且つ正確に検出できる投影システム、および投影システムにおける投影面の検出方法を提供する。【解決手段】  スクリーン１０を含む投影エリアに画像を投影するプロジェクタ１と、投影エリアを撮像するカメラ２と、プロジェクタ１およびカメラ２を制御する制御装置３とを備え、制御装置３は、プロジェクタ１によって濃淡パターンが投影された投影エリアをカメラ２が撮像した撮像画像を取得し、この取得した撮像画像に基づいて、濃淡パターンが不連続になる点、濃淡パターンの曲率の変化が不連続になる点を特徴点として検出し、複数の特徴点を通る線分を作成することによって、スクリーン１０の範囲を検出する。【選択図】図１
2012134731.tif 000002
【特許請求の範囲】
【請求項１】
投影面を含む投影エリアに画像を投影する投影装置と、前記投影エリアを撮像する撮像装置と、前記投影装置および前記撮像装置を制御する制御装置とを備え、
前記制御装置は、前記投影装置によって濃淡パターンが投影された前記投影エリアを前記撮像装置が撮像した撮像画像を取得し、この取得した撮像画像に基づいて、前記濃淡パターンが不連続になる点と前記濃淡パターンの曲率の変化が不連続になる点との少なくともいずれか一方を特徴点として検出し、複数の前記特徴点を通る線分を作成することによって、前記投影面の範囲を検出する
ことを特徴とする投影システム。
【請求項２】
前記濃淡パターンは、１つの方向に沿って濃淡が変化するパターンであることを特徴とする請求項１記載の投影システム。
【請求項３】
前記濃淡パターンは、複数の方向に沿って濃淡が変化するパターンであることを特徴とする請求項１記載の投影システム。
【請求項４】
前記濃淡パターンが曲線で構成されることを特徴とする請求項１乃至３いずれか記載の投影システム。
【請求項５】
前記制御装置が検出した前記投影面の範囲が複数ある場合、この複数の前記投影面の範囲をユーザに提示し、ユーザがいずれか１つの前記投影面の範囲を選択する選択手段を備えることを特徴とする請求項１乃至４いずれか記載の投影システム。
【請求項６】
前記制御装置が検出した前記投影面の範囲が複数ある場合、前記投影装置と前記投影面との位置関係に基づいて、いずれか１つの前記投影面の範囲を選択する選択手段を備えることを特徴とする請求項１乃至４いずれか記載の投影システム。
【請求項７】
投影面を含む投影エリアに濃淡パターンを投影し、この濃淡パターンが投影された前記投影エリアを撮像した撮像画像に基づいて、前記濃淡パターンが不連続になる点と前記濃淡パターンの曲率の変化が不連続になる点との少なくともいずれか一方を特徴点として検出し、複数の前記特徴点を通る線分を作成することによって、前記投影面の範囲を検出することを特徴とする投影システムにおける投影面の検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影システム、および投影システムにおける投影面の検出方法に関するものである。
【背景技術】
【０００２】
一般に、投影装置（プロジェクタ）は、映像機器の出力装置として静止画像や動画像を、スクリーン等の投影面に投影する。
【０００３】
しかしながら、投影面の凹凸の有無、投影装置と投影面との位置関係、投影面と画像を見るユーザとの位置関係によっては、投影面における投影像が歪むために画像が見えにくくなる虞がある。そこで、ユーザに対して適切な投影像を提供するために、投影面の３次元形状を計測し、当該計測した投影面形状に基づいて画像の補正をして、画像歪みのない投影処理が行われている（例えば、特許文献１〜３参照）。
【０００４】
さらに、ユーザに対して適切な投影像を提供するためには、画像が投影面の範囲内に収まるように投影エリアを設定することも必要であり、スクリーン等の投影面の範囲を検出する必要がある。従来は、投影面の範囲を手動設定する方法以外に、投影面に設けたマーカや、投影面と背景との境界を画像処理技術で検出することによって、投影面の範囲を自動検出する方法が用いられていた。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−８３９４９号公報
【特許文献２】特開２００２−６２８４２号公報
【特許文献３】特開２００７−２９５３７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、スクリーン等の投影面の範囲を自動検出するために、投影面上にマーカを設ける方法では、マーカ設置という作業が必要となり、検出に要する作業が煩雑であった。
【０００７】
また、投影面と背景との境界を検出する方法では、投影面の色が壁等の背景と同色、または似かよった色である場合、投影面の輪郭を正確に検出することが難しく、投影面の範囲を検出できない虞があった。
【０００８】
本発明は、上記事由に鑑みてなされたものであり、その目的は、投影面を、簡易且つ正確に検出できる投影システム、および投影システムにおける投影面の検出方法を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の投影システムは、投影面を含む投影エリアに画像を投影する投影装置と、前記投影エリアを撮像する撮像装置と、前記投影装置および前記撮像装置を制御する制御装置とを備え、前記制御装置は、前記投影装置によって濃淡パターンが投影された前記投影エリアを前記撮像装置が撮像した撮像画像を取得し、この取得した撮像画像に基づいて、前記濃淡パターンが不連続になる点と前記濃淡パターンの曲率の変化が不連続になる点との少なくともいずれか一方を特徴点として検出し、複数の前記特徴点を通る線分を作成することによって、前記投影面の範囲を検出することを特徴とする。
【００１０】
この発明において、前記濃淡パターンは、１つの方向に沿って濃淡が変化するパターンであることが好ましい。
【００１１】
この発明において、前記濃淡パターンは、複数の方向に沿って濃淡が変化するパターンであることが好ましい。
【００１２】
この発明において、前記濃淡パターンが曲線で構成されることが好ましい。
【００１３】
この発明において、前記制御装置が検出した前記投影面の範囲が複数ある場合、この複数の前記投影面の範囲をユーザに提示し、ユーザがいずれか１つの前記投影面の範囲を選択する選択手段を備えることが好ましい。
【００１４】
この発明において、前記制御装置が検出した前記投影面の範囲が複数ある場合、前記投影装置と前記投影面との位置関係に基づいて、いずれか１つの前記投影面の範囲を選択する選択手段を備えることが好ましい。
【００１５】
本発明の投影システムにおける投影面の検出方法は、投影面を含む投影エリアに濃淡パターンを投影し、この濃淡パターンが投影された前記投影エリアを撮像した撮像画像に基づいて、前記濃淡パターンが不連続になる点と前記濃淡パターンの曲率の変化が不連続になる点との少なくともいずれか一方を特徴点として検出し、複数の前記特徴点を通る線分を作成することによって、前記投影面の範囲を検出することを特徴とする。
【発明の効果】
【００１６】
以上説明したように、本発明では、投影面を、簡易且つ正確に検出できるという効果がある。
【図面の簡単な説明】
【００１７】
【図１】実施形態１の投影システムの構成を示すブロック図である。
【図２】同上の制御装置の構成を示すブロック図である。
【図３】同上の視点位置、プロジェクタ、カメラ、投影面の位置関係を示す図である。
【図４】同上のスクリーン範囲の検出処理を示すフロー図である。
【図５】（ａ）〜（ｄ）同上のスクリーン検出用の濃淡パターンを示す平面図である。
【図６】同上の濃淡パターンの投影時における撮像画像を示す構成図である。
【図７】同上のスクリーンの設置状況を示す側面図である。
【図８】（ａ）（ｂ）同上の特徴点を示す構成図である。
【図９】同上のスクリーンと濃淡パターンとの配置を示す平面図である。
【図１０】同上の撮像画像、投影画像、コンテンツ画像の関係を示す図である。
【図１１】（ａ）（ｂ）同上の撮像画像と投影画像との関係を示す図である。
【図１２】同上の変換テーブルＴｃｂを示す図である。
【図１３】同上の撮像画像とコンテンツ画像との対応関係を示す図である。
【図１４】（ａ）〜（ｆ）実施形態２のスクリーン検出用の濃淡パターンを示す平面図である。
【図１５】同上のスクリーンと濃淡パターンとの配置を示す平面図である。
【図１６】（ａ）〜（ｆ）実施形態３のスクリーン検出用の濃淡パターンを示す平面図である。
【図１７】同上のスクリーンと濃淡パターンとの配置を示す平面図である。
【図１８】（ａ）〜（ｅ）実施形態４のスクリーン検出用の濃淡パターンを示す位相特性図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態を図面に基づいて説明する。
【００１９】
（実施形態１）
本実施形態の投影システムは、図１に示すように、投影装置としてのプロジェクタ１，撮像装置としてのカメラ２，及び制御装置３を含む。この投影システムは、プロジェクタ１の投影画像の投影エリア及びカメラ２の撮像エリアとが重複しており、当該重複したエリアに、被照射対象としての投影面を構成する矩形状のスクリーン１０が配置されている。
【００２０】
この投影システムにおける制御装置３は、例えば図２に示すように構成される。
【００２１】
制御装置３は、画像入力部２１、入力画像メモリ２２、演算部２３、メモリ２４、記憶装置２５、Ｉ／Ｏ制御部２６、出力画像メモリ２７、画像出力部２８を有する。また、制御装置３には、投影画像を作成したり、撮像画像を取得するユーザの操作インターフェースとしての表示装置４、キーボード５、マウス６が接続されている。
【００２２】
この制御装置３は、画像入力部２１により、カメラ２により撮像された撮像画像を入力してディジタル化して入力画像メモリ２２に格納する。ここで、制御装置３は、図示しない信号線を介してカメラ２にコマンドを供給して、カメラ２の撮像動作を制御して、撮像画像を取得できる。
【００２３】
また、制御装置３は、演算部２３により作成した投影画像を出力画像メモリ２７に保存し、画像出力部２８からプロジェクタ１に出力させる。これにより、制御装置３は、プロジェクタ１から投影エリアに投影画像を投影する。
【００２４】
さらに、演算部２３は、投影画像を作成するための作業領域としてのメモリ２４を用いて、投影画像を作成する。このとき、演算部２３は、記憶装置２５に記憶されたスクリーン検出用の濃淡パターン、歪み補正用投影パターン、投影シーケンス、コンテンツ画像データ、変換テーブルＴｃｂ、歪み変換行列Ｈを用いて、投影画像を作成する。
【００２５】
スクリーン検出用の濃淡パターンは、スクリーン１０の範囲を検出するための濃淡パターン画像である。歪み補正用投影パターンは、スクリーン１０に対して投影される画像を補正するための縞パターン画像のことである。コンテンツ画像データは、スクリーン１０に投影される各種の画像データや映像データである。例えば、コンテンツ画像データとしては、プレゼンテーション用の画像データ等が挙げられる。また、投影シーケンスは、スクリーン検出用の濃淡パターン、歪み補正用投影パターン、コンテンツ画像データの投影順序を示すデータのことである。スクリーン検出用の濃淡パターン、歪み補正用投影パターン、コンテンツ画像データ、投影シーケンスの選択は、キーボード５及びマウス６が操作されたことに応じたＩ／Ｏ制御部２６から操作入力信号により、演算部２３が設定可能である。
【００２６】
そして、演算部２３は、まずスクリーン１０の範囲を検出して、このスクリーン１０の範囲内に画像投影領域が収まるように、プロジェクタ１の投影エリアを調整する。その後、スクリーン１０に歪みのないコンテンツ画像データを投影させるために、撮像画像を投影画像に変換する変換テーブルＴｃｂ（第１変換情報）、コンテンツ画像データを撮像画像に変換する歪み変換行列Ｈ（第２変換情報）を算出する。そして、演算部２３は、スクリーン１０の範囲を特定するためのスクリーン座標情報、変換テーブルＴｃｂ、歪み変換行列Ｈを記憶装置２５に記憶させる。
【００２７】
本実施形態の投影システムは、図３に示すように、ユーザ（観察者）の視点位置と同じ位置を、カメラ２の撮像位置とする。そして、投影システムは、図４に示すフローチャートにしたがって、スクリーン１０の範囲を検出する。
【００２８】
まず、制御装置３の演算部２３は、スクリーン検出用の濃淡パターンＰＴ１を、プロジェクタ１からスクリーン１０に向かって投影する（Ｓ１）。濃淡パターンＰＴ１は、図５（ａ）に示すように、直線状に形成された上下方向の縞模様であり、互いに等幅の濃領域ＲＨと淡領域ＲＬとが横方向に交互に形成されている。
【００２９】
演算部２３は、濃淡パターンＰＴ１が投影された投影エリアをカメラ２によって撮像し、画像入力部２１が、投影エリアの撮像画像Ｇ１を入力画像メモリ２２に格納する（Ｓ２）。演算部２３は、この撮像画像Ｇ１に基づいて、スクリーン１０の範囲を検出する。
【００３０】
図６は、撮像画像Ｇ１であり、濃淡パターンＰＴ１の投影エリア内に、壁Ｗと、壁Ｗの前方に設置されたスクリーン１０とが含まれている。ここで、スクリーン１０は、上辺１０１、下辺１０２、左辺１０３、右辺１０４を輪郭とする矩形状に形成されている。そして図７に示すように、スクリーン１０は、背景となる壁Ｗに上辺１０１が支持され、上辺１０１を軸にして下辺１０２側が前方に回動した斜め状態に設置されている。
【００３１】
カメラ２の撮像方向は、スクリーン１０に対して直交（正対）せず、横方向にずれて斜めに設置されている。したがって、撮像画像Ｇ１において、スクリーン１０の上辺１０１、下辺１０２、左辺１０３、右辺１０４の箇所は、濃淡パターンＰＴ１の濃領域ＲＨのエッジに特徴点が現れる。特徴点とは、濃領域ＲＨのエッジが不連続になる点、濃領域ＲＨのエッジの曲率の変化が不連続になる点である。
【００３２】
例えば、図８（ａ）に示すように、基部Ｍ１１上に凸部Ｍ１２が形成された凸形状の投影面Ｍ１にストライプ状の濃淡パターンＰＴ１１を投射した場合、基部Ｍ１１と凸部Ｍ１２との境目において、濃淡パターンＰＴ１１がずれて不連続になっている。
【００３３】
また、図８（ｂ）に示すように、同一方向の２面Ｍ２１，Ｍ２２を、面Ｍ２１，Ｍ２２に直交する面Ｍ２３で連結した段形状の投影面Ｍ２にストライプ状の濃淡パターンＰＴ１２を投射したとする。この場合、Ｍ２１，Ｍ２２，Ｍ２３の各境目において、濃淡パターンＰＴ１２の方向が変化しており、濃淡パターンＰＴ１２の曲率の変化が不連続になっている。
【００３４】
そして、図６において、上辺１０１の箇所は、濃領域ＲＨのエッジの方向が変化しており、エッジの曲率の変化が不連続になっている。下辺１０２の箇所は、スクリーン１０の影１０５によって濃領域ＲＨのエッジが上下方向に切断されるとともに横方向にずれ、ギャップが生じており、エッジが不連続になっている。左辺１０３の箇所は、濃領域ＲＨのエッジの方向が変化しており、エッジの曲率の変化が不連続になっている。右辺１０４の箇所は、スクリーン１０の影１０５によって濃領域ＲＨのエッジが上下方向に切断されるとともに横方向にずれ、ギャップが生じており、エッジが不連続になっている。
【００３５】
演算部２３は、撮像画像Ｇ１から、濃淡パターンＰＴ１の濃領域ＲＨのエッジを検出し（Ｓ３）、濃領域ＲＨのエッジの特徴点（濃領域ＲＨのエッジが不連続になる点、濃領域ＲＨのエッジの曲率の変化が不連続になる点）を検出する（Ｓ４）。次に、演算部２３は、ハフ変換を用いて、複数の特徴点を通る４つの線分を、上辺１０１、下辺１０２、左辺１０３、右辺１０４として抽出し、この上辺１０１、下辺１０２、左辺１０３、右辺１０４で囲まれる領域をスクリーン１０の範囲として検出する（Ｓ５）。
【００３６】
演算部２３は、スクリーン１０が４辺で囲まれた矩形状であることを予め認識しており、ハフ変換によって抽出された線分が５つ以上ある場合、ハフ変換における投票数が多い上位の線分から、上辺１０１、下辺１０２、左辺１０３、右辺１０４を検出する。
【００３７】
また、スクリーン１０の下辺１０２の下方に形成される影１０５の領域は、互いに平行な複数の線分が、下辺１０２の候補として抽出されることがある。この場合、複数の線分のうち、上辺１０１、左辺１０３、右辺１０４と組み合わせて構成される矩形内の面積が最小となる線分が、下辺１０２として選択される。
【００３８】
また、スクリーン検出用の濃淡パターンとして、図５（ｂ）に示すグラデーション模様の濃淡パターンＰＴ２を用いてもよく、濃淡パターンＰＴ２は、輝度の等高線が直線状に形成された上下方向の縞模様であり、縞の濃度が横方向にグラデーション状に周期的に変化する。濃淡パターンＰＴ２を用いた場合、輝度の等高線を検出し、輝度の等高線が不連続になる点、輝度の等高線の曲率の変化が不連続になる点を特徴点として検出することで、上記同様にスクリーン１０の範囲を検出することができる。
【００３９】
また、スクリーン検出用の濃淡パターンとして、図５（ｃ）に示すグラデーション模様の濃淡パターンＰＴ３を用いてもよく、濃淡パターンＰＴ２は、輝度の等高線が直線状に形成された斜め方向の縞模様であり、縞の濃度が斜め方向にグラデーション状に変化する。濃淡パターンＰＴ３を用いた場合、輝度の等高線を検出し、輝度の等高線が不連続になる点、輝度の等高線の曲率の変化が不連続になる点を特徴点として検出することで、上記同様にスクリーン１０の範囲を検出することができる。
【００４０】
また、スクリーン検出用の濃淡パターンとして、図５（ｄ）に示すストライプ模様の濃淡パターンＰＴ４を用いてもよく、濃淡パターンＰＴ４は、淡領域ＲＬ内に細幅の濃領域ＲＳが一定間隔で形成されている。濃淡パターンＰＴ４を用いた場合、輝度の極小値を検出することによって細幅の濃領域ＲＳを検出する。そして、輝度の極小値のラインが不連続になる点、輝度の極小値のラインの曲率の変化が不連続になる点を特徴点として検出することで、上記同様にスクリーン１０の範囲を検出することができる。
【００４１】
演算部２３は、上述のように検出したスクリーン１０の範囲をスクリーン座標情報として、記憶装置２５に記憶させる。そして、演算部２３は、スクリーン座標情報に基づき、プロジェクタ１の投影エリアをスクリーン１０内に合わせることによって、スクリーン１０の範囲内に画像投影領域を収めることができる。なお、ユーザの視点位置が不明の場合、スクリーン１０の全領域を画像投影領域に設定してもよい。
【００４２】
このように、投影システムは、スクリーン１０に向かってスクリーン検出用の濃淡パターンを投影し、濃淡パターンの特徴点を検出することによって、スクリーン１０の範囲を検出している。したがって、スクリーン１０の色が壁Ｗと同色、または似かよった色であっても、スクリーン１０の輪郭を正確に検出することができる。さらに、スクリーン１０にマーカを設置する必要がなく、スクリーン１０の検出に要する作業を簡略化できる。すなわち、スクリーン１０を、簡易且つ正確に検出できる投影システムとなる。
【００４３】
また、図５（ａ）〜（ｄ）に示す本実施形態のスクリーン検出用の濃淡パターンは、１つの方向に沿って濃淡が変化するパターンを用いている。したがって、濃淡パターンのエッジ等の境界とスクリーン１０の輪郭とが同方向で重複した場合、濃淡パターンの特徴点が発生しない虞がある。例えば、図９に示すように、スクリーン１０の左辺１０３、右辺１０４が、濃淡パターンＰＴ１の濃領域ＲＨと淡領域ＲＬとの境界（濃領域ＲＨのエッジ）に重複した場合、左辺１０３、右辺１０４では特徴点が発生せず、左辺１０３、右辺１０４の検出が困難となる。そこで、濃淡パターンの方向が異なる複数の濃淡パターンを用いて、特徴点を検出することによって、スクリーン１０の検出確率を向上させることができる。
【００４４】
さらに、投影システムは、カメラ２の撮像位置からスクリーン１０に投影されたコンテンツ画像を見たときに、歪み無くコンテンツ画像を見ることができるようにしており、以下、投影画像の歪み補正について説明する。
【００４５】
カメラ２の撮像位置から見て歪みの無い投影像とは、図１０（ａ）に示す撮像画像Ｇ１０１中の長方形領域である画像投影領域１１１の頂点Ｃ１、Ｃ２、Ｃ３、Ｃ４に、図１０（ｃ）のコンテンツ画像Ｇ１０３中のコンテンツ画像領域１１３の頂点Ｉ１、Ｉ２、Ｉ３、Ｉ４が一致して投影されることである。ここで、コンテンツ画像領域１１３は、コンテンツ画像Ｇ１０３中の形状を示しているが、コンテンツ画像Ｇ１０３の全体領域と等しいものであってもよい。一方、ユーザの視点位置とプロジェクタ１の設置位置とは、必然的に異なるものとなる。このため、図１０（ｂ）の投影画像Ｇ１０２上のスクリーン１０と、撮像画像Ｇ１０１上のスクリーン１０とは形状が異なる。最初に撮像画像Ｇ１０１から投影画像Ｇ１０２への変換情報（変換テーブルＴｃｂ）を求める。次に、コンテンツ画像Ｇ１０３上でのコンテンツ画像領域１１３を設定する（コンテンツ画像領域設定手段）。次に、コンテンツ画像Ｇ１０３から撮像画像Ｇ１０１への変換情報（歪み変換行列Ｈ）を求める。したがって、コンテンツ画像領域１１３が歪み変換行列Ｈにより画像投影領域１１１に変換され、この変換された画像投影領域１１１が変換テーブルＴｃｂを用いて、投影画像領域１１２に変換される。このようにして作成された投影画像を投影することにより、結果として、カメラ２の撮像位置、すなわち、ユーザの視点位置から歪み無くスクリーン１０上に投影されたコンテンツ画像を見ることができる。
【００４６】
投影システムは、撮像画像Ｇ１０１中の画像投影領域１１１の頂点Ｃ１、Ｃ２、Ｃ３、Ｃ４と、投影画像Ｇ１０２中の画像投影領域１１２の頂点Ｐ１、Ｐ２、Ｐ３、Ｐ４との関係を求めるために、３次元形状計測において時間縞パターン投影位相シフト法として知られている方法を使用する。撮像画像Ｇ１０１と投影画像Ｇ１０２との対応関係を求める処理とは、カメラ２の撮像素子上の位置と、プロジェクタ１の投影素子上の位置を対応付けることである。
【００４７】
この時間縞パターン投影位相シフト法は、輝度値が正弦波状に変化する縞パターンを歪み補正用投影パターンとして用い、この縞パターンの位相をずらしながら複数枚に亘り投影及び撮像を行う。次に、この時間縞パターン投影位相シフト法は、撮像された複数の撮像画像から、撮像素子の各画素において輝度値の初期位相を推定する。この初期位相は、投影素子上に設定したものであるため、撮像素子の各画素において求められた初期位相の推定値が、直接的に投影素子上の位置を表すものとなり、撮像画像と投影画像との対応付けができる。
【００４８】
撮像画像と投影画像との対応付けする位置の精度を高くするため、投影素子上に複数の位相を割り付けると、推定時に位相のつなぎ目において位相接続が必要となる。この位相接続の方式には多くのものが知られているが、本実施形態の投影システムは、処理が簡単で信頼性が高い空間コード化法を使用する。
【００４９】
また、演算部２３は、撮像画像中の矩形領域の頂点Ｃ１、Ｃ２、Ｃ３、Ｃ４と、コンテンツ画像の領域Ｉ１、Ｉ２、Ｉ３、Ｉ４との関係を求めるためには、射影変換を使用する。
【００５０】
具体的には、制御装置３は、プロジェクタ１の投光方向に直交する第１方向に周期的に明度が変化する縞パターンを投影して第１方向について位相シフト法を用いた対応付を行う。また、制御装置３は、投光方向に直交する面内で第１方向に直交する第２方向に周期的に明度が変化する縞パターンを投影して第２方向について位相シフト法を用いた対応付を行う。これにより、制御装置３は、撮像画像と投影画像との画素間の対応関係を定める変換テーブルＴｃｂ（変換情報）を求める。この変換テーブルＴｃｂは、記憶装置２５に記憶される（第１変換情報作成手段）。
【００５１】
制御装置３は、変換テーブルＴｃｂを用いることにより、図１１（ａ）の撮像画像Ｇ１０１に対して座標変換をして、図１１（ｂ）のような投影画像Ｇ１０２に変換することができる。ここで、制御装置３により取得された撮像画像Ｇ１０１の各画素は、投影画像Ｇ１０２に含まれる画素のサンプリングの格子点からずれた位置に変換される。このために、投影画像Ｇ１０２の各画素における輝度値を得るためには、投影画像Ｇ１０２の各画素のサンプリング点周辺に変換された撮像画像Ｇ１０１の輝度値を補間して求めることが必要となる。
【００５２】
投影画像Ｇ１０２を撮像画像Ｇ１０１の画素で補間する方法としては、制御装置３は、記憶装置２５に記憶しておいた変換テーブルＴｃｂを用いる。この変換テーブルＴｃｂは、図１２に示すように、投影画像Ｇ１０２の各画素周辺に変換された撮像画像Ｇ１０１の画素座標を登録して構成される。具体的には、撮像画像の座標（１，１）は投影画像の座標（１，１）と（１，２）に対応している。
【００５３】
演算部２３は、投影画像Ｇ１０２を作成する時には、投影画像Ｇ１０２の各画素を作成するために用いられる撮像画像Ｇ１０１の画素の輝度値を平均して、当該投影画像Ｇ１０２を構成する画素の輝度値として求める。なお、撮像画像Ｇ１０１がカラー画像の場合には、ＲＧＢの各要素について平均値を求めて、投影画像Ｇ１０２を作成する処理を行う。
【００５４】
また、演算部２３は、所定の視点位置に設けたカメラ２により撮像された撮像画像Ｇ１０１上で画像投影領域１１１を設定する（投影領域設定手段）。次に、コンテンツ画像Ｇ１０３上でのコンテンツ画像領域１１３を設定する（コンテンツ画像領域設定手段）。次に演算部２３は、設定されたコンテンツ画像領域１１３と撮像画像Ｇ１０１上の画像投影領域１１１との関係に基づいて、当該画像投影領域に画像を投影するようにコンテンツ画像データを変換する歪み変換行列Ｈを作成する。実際の投影時には、コンテンツ画像領域１１３が歪み変換行列Ｈにより撮像画像上の画像投影領域１１１に変換され（画像変換手段）、次に、この変換された撮像画像上の画像投影領域１１１が変換テーブルＴｃｂを用いて、投影画像上の画像投影領域１１２に変換され（領域変換手段）、プロジェクタ１から投影画像を投影させる。
【００５５】
この演算部２３により作成された歪み変換行列Ｈを用いてコンテンツ画像領域１１３のデータを、撮像画像Ｇ１０１上の画像投影領域１１１内のデータに変換する処理は、図１３に示すように、撮像画像の各画素に対して歪み変換行列Ｈによる演算を行ってコンテンツ画像上へ変換する。この歪み変換行列Ｈによる変換時は、撮像画像Ｇ１０１をコンテンツ画像Ｇ１０３の画素のサンプリング格子点に対してずれた位置に変換してしまう。このため、撮像画像上の画像投影領域１１１の各画素の輝度値を得るために、演算部２３は、撮像画像が変換された座標周辺のコンテンツ画像Ｇ１０３の輝度値を使って補間して求める。輝度値の補間方法としては、バイリニア法、バイキュービック法、また、テーブルを作成して補間する方法のどの方法を使っても良い。
【００５６】
以上のように、投影システムは、歪み変換行列Ｈを用いてコンテンツ画像データを撮像画像データに変換し、次に、撮像画像データを変換テーブルＴｃｂを用いて投影画像データに変換することにより、スクリーン１０に歪みのない画像を投影できる。
【００５７】
このように、本実施形態の投影システムは、スクリーン１０の範囲を自動検出した後に、このスクリーン１０の範囲内に画像投影領域を収めて、投影画像の歪み補正処理を行うものである。したがって、投影画像の歪み補正処理に必要なスクリーン１０の範囲検出を自動で簡易に行うことができるので、歪み補正処理を実行しやすい環境を構築できる。
【００５８】
（実施形態２）
本実施形態の投影システムは、スクリーン検出用の濃淡パターンとして、図１４（ａ）〜（ｆ）に示すように、複数の方向に沿って濃淡が変化するパターンを用いる。
【００５９】
濃淡パターンＰＴ１１は、図１４（ａ）に示すように、一点（中心）から放射状に伸びた直線で形成された縞模様であり、中心から互いに異なる方向に形成された濃領域ＲＨと淡領域ＲＬとが回転方向に交互に形成されている。
【００６０】
濃淡パターンＰＴ１２は、図１４（ｂ）に示すように、格子状に形成された縞模様であり、四角形の濃領域ＲＨと淡領域ＲＬとが上下方向および横方向に交互に形成されている。
【００６１】
濃淡パターンＰＴ１３は、図１４（ｃ）に示すように、一点（中心）から放射状に形成されて、輝度の等高線が直線状に形成されたグラデーション模様であり、濃度が回転方向にグラデーション状に周期的に変化する。
【００６２】
濃淡パターンＰＴ１４は、図１４（ｄ）に示すように、輝度の等高線が矩形状に形成されたグラデーション模様である。
【００６３】
濃淡パターンＰＴ１５は、図１４（ｅ）に示すように、一点（中心）から放射状に形成されたストライプ模様であり、細幅の濃領域ＲＳが、淡領域ＲＬ内において中心から互いに異なる方向に放射状に伸びた直線で形成されている。
【００６４】
濃淡パターンＰＴ１６は、図１４（ｆ）に示すように、格子状に形成されたストライプ模様であり、細幅の濃領域ＲＳが、淡領域ＲＬ内において格子状に形成されている。
【００６５】
このような複数の方向に沿って濃淡が変化する濃淡パターンＰＴ１１〜ＰＴ１６を用いることによって、濃淡パターンのエッジ等の境界とスクリーン１０の輪郭とが同方向で重複する状態の発生を抑制することができる。しかしながら、本実施形態においても、濃淡パターンのエッジ等の境界とスクリーン１０の輪郭とが同方向で重複した場合、濃淡パターンの特徴点が発生しない虞がある。例えば、図１５に示すように、スクリーン１０の下辺１０２、左辺１０３が、濃淡パターンＰＴ１１の濃領域ＲＨと淡領域ＲＬとの境界（濃領域ＲＨのエッジ）に重複した場合、下辺１０２、左辺１０３では特徴点が発生せず、下辺１０２、左辺１０３の検出が困難となる。そこで、濃淡パターンの方向が異なる複数の濃淡パターンを用いて、特徴点を検出することによって、スクリーン１０の検出確率を向上させることができる。
【００６６】
（実施形態３）
本実施形態の投影システムは、スクリーン検出用の濃淡パターンとして、図１６（ａ）〜（ｆ）に示すように、曲線で構成された濃淡パターンを用いる。
【００６７】
濃淡パターンＰＴ２１は、図１６（ａ）に示すように、一点（中心）から放射状に伸びた曲線で形成された縞模様であり、中心から互いに異なる方向に形成された濃領域ＲＨと淡領域ＲＬとが回転方向に交互に形成されている。
【００６８】
濃淡パターンＰＴ２２は、図１６（ｂ）に示すように、楕円状に形成された縞模様であり、楕円状の濃領域ＲＨと淡領域ＲＬとが交互に形成されている。
【００６９】
濃淡パターンＰＴ２３は、図１６（ｃ）に示すように、一点（中心）から放射状に形成されて、輝度の等高線が曲線状に形成されたグラデーション模様であり、濃度が回転方向にグラデーション状に周期的に変化する。
【００７０】
濃淡パターンＰＴ２４は、図１６（ｄ）に示すように、輝度の等高線が楕円状に形成されたグラデーション模様である。
【００７１】
濃淡パターンＰＴ２５は、図１６（ｅ）に示すように、一点（中心）から放射状に形成されたストライプ模様であり、細幅の濃領域ＲＳが、淡領域ＲＬ内において中心から互いに異なる方向に放射状に伸びた曲線で形成されている。
【００７２】
濃淡パターンＰＴ２６は、図１６（ｆ）に示すように、楕円状に形成されたストライプ模様であり、細幅の濃領域ＲＳが、淡領域ＲＬ内において楕円状に形成されている。
【００７３】
このような曲線で構成された濃淡パターンＰＴ２１〜ＰＴ２６を用いることによって、濃淡パターンのエッジ等の境界とスクリーン１０の輪郭とが同方向で重複する状態をより確実に抑制することができる。すなわち、図１７に示すように、矩形状のスクリーン１０に対して、曲線で構成された濃淡パターンＰＴ２１を投射した場合、スクリーン１０の輪郭は直線で構成されているため、濃淡パターンの特徴点が発生しやすくなり、スクリーン１０の検出確率が向上する。
【００７４】
（実施形態４）
本実施形態の投影システムは、スクリーン検出用の濃淡パターンとして、輝度値が正弦波状に変化する縞パターンを用い、輝度値が正弦波状に変化する縞パターンの位相をずらしながら複数枚に亘り投影及び撮像を行う。すなわち、時間縞パターン投影位相シフト法として知られている方法を用いる。
【００７５】
図１８（ａ）〜（ｄ）は、縞パターンの位相をπ／２づつずらした場合において、投影エリアの一方向の座標Ｘに対する輝度値の変化を示す。図１８（ａ）は、位相シフトが「０」、図１８（ｂ）は、位相シフトが「π／２」、図１８（ｃ）は、位相シフトが「π」、図１８（ｄ）は、位相シフトが「３π／２」となる。図１８（ｅ）は、座標Ｘの範囲［０〜Ｘ１］における輝度値の位相変化を示しており、座標Ｘが０〜Ｘ１に変化した場合に、輝度値の位相が２πずれる（１周期）ことを示している。
【００７６】
そして、演算部２３は、図１８（ａ）〜（ｄ）に示す縞パターンをスクリーン検出用の濃淡パターンとして順次用い、投影エリア中の等位相線に特徴点を見出す。すなわち、輝度の等位相線を検出し、輝度の等位相線が不連続になる点、輝度の等位相線の曲率の変化が不連続になる点を特徴点として検出することで、上記同様にスクリーン１０の範囲を検出することができる。
【００７７】
なお、時間縞パターン投影位相シフト法については、実施形態１において、投影画像の歪み補正処理に用いており、詳細な説明は省略する。
【００７８】
（実施形態５）
本実施形態の投影システムは、制御装置３が検出したスクリーン１０の範囲が複数ある場合、この複数のスクリーン１０の範囲をユーザに提示し、ユーザがいずれか１つのスクリーン１０の範囲を選択する選択手段を備えるものである。
【００７９】
制御装置３の演算部２３は、ハフ変換を用いて、複数の特徴点を通る４つの線分を、上辺１０１、下辺１０２、左辺１０３、右辺１０４として抽出する。そして、この上辺１０１、下辺１０２、左辺１０３、右辺１０４で囲まれる領域をスクリーン１０の範囲として検出するのであるが、特徴点の発生状況によっては、スクリーン１０の範囲として複数の候補が検出される場合がある。
【００８０】
このような場合、演算部２３は、表示装置４に、スクリーン１０の範囲の複数候補を表示し、ユーザに提示する。この表示形態は、プロジェクタ１に対するスクリーン１０の位置関係を表示したり、カメラ２に対するスクリーン１０の位置関係を表示することで構成される。ユーザは、キーボード５、マウス６を操作することによって、表示装置４に表示された複数候補から、実際の配置に近い候補を選択し、演算部２３は、ユーザによって選択された候補を、スクリーン１０の範囲として選択する。
【００８１】
したがって、スクリーン１０の範囲として複数の候補が検出された場合でも、ユーザの判断によって、スクリーン１０の範囲として適切な候補を選択することができる。
【００８２】
（実施形態６）
本実施形態の投影システムは、制御装置３が検出したスクリーン１０の範囲が複数ある場合、プロジェクタ１とスクリーン１０との位置関係に基づいて、いずれか１つのスクリーン１０の範囲を選択する選択手段を備えるものである。
【００８３】
制御装置３の演算部２３は、ハフ変換を用いて、複数の特徴点を通る４つの線分を、上辺１０１、下辺１０２、左辺１０３、右辺１０４として抽出する。そして、この上辺１０１、下辺１０２、左辺１０３、右辺１０４で囲まれる領域をスクリーン１０の範囲として検出するのであるが、特徴点の発生状況によっては、スクリーン１０の範囲として複数の候補が検出される場合がある。
【００８４】
そこで、演算部２３は、プロジェクタ１とスクリーン１０との位置関係に関する情報を予め記憶している。そして、演算部２３は、複数候補から、プロジェクタ１とスクリーン１０との位置関係に基づく適切な候補を、スクリーン１０の範囲として選択する。
【００８５】
したがって、スクリーン１０の範囲として複数の候補が検出された場合でも、プロジェクタ１とスクリーン１０との位置関係に基づいて、スクリーン１０の範囲として適切な候補を選択することができる。
【符号の説明】
【００８６】
１  プロジェクタ（投影装置）
２  カメラ（撮像装置）
３  制御装置
１０  スクリーン（投影面）
【図１】
2012134731.tif 000003
【図２】
2012134731.tif 000004
【図３】
2012134731.tif 000005
【図４】
2012134731.tif 000006
【図７】
2012134731.tif 000007
【図８】
2012134731.tif 000008
【図１０】
2012134731.tif 000009
【図１１】
2012134731.tif 000010
【図１２】
2012134731.tif 000011
【図１３】
2012134731.tif 000012
【図１８】
2012134731.tif 000013
【図５】
2012134731.tif 000014
【図６】
2012134731.tif 000015
【図９】
2012134731.tif 000016
【図１４】
2012134731.tif 000017
【図１５】
2012134731.tif 000018
【図１６】
2012134731.tif 000019
【図１７】
2012134731.tif 000020