(57)【要約】【課題】投影面に凹凸がある場合や投影装置と投影面とが正対していない場合であっても、画像の歪み補正を簡単且つ精度良く行う。【解決手段】投影制御装置３は、位相シフト法を用いてカメラ２の撮像画像とプロジェクタ１の投影画像との対応付けを行って第１変換情報を作成し、所定の視点位置に設けたカメラ２により撮像された撮像画像上で画像投影領域を設定し、撮像画像上の画像投影領域を第１変換情報を用いて投影画像上の画像投影領域に変換し、コンテンツ画像の形状を示すコンテンツ画像領域を設定し、変換された投影画像上の画像投影領域とコンテンツ画像領域との関係に基づいて第２変換情報を作成しておき、コンテンツ画像投影時には、第２変換情報を用いてコンテンツ画像データを変換する。【選択図】図１
2010283674.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツ画像データを用いて投影画像を投影する投影装置と、前記投影装置により投影されている投影画像を撮像して撮像画像を取得する撮像装置とを備え、
前記投影装置の投光方向に直交する第１方向に周期的に明度が変化する縞パターンを投影及び撮像させて当該第１方向について位相シフト法を用いて撮像画像と投影画像との対応付けを行い、前記第１方向に直交する第２方向に周期的に明度が変化する縞パターンを投影及び撮像させて第２方向について位相シフト法を用いて撮像画像と投影画像との対応付けを行うことにより、前記撮像画像と前記投影画像との画素間の対応関係を定めた第１変換情報を作成する第１変換情報作成手段と、
所定の視点位置に設けた前記撮像装置により撮像された撮像画像上で画像投影領域を設定する投影領域設定手段と、
前記投影領域設定手段により設定された撮像画像上の画像投影領域を、前記第１変換情報を用いて、投影画像上の画像投影領域に変換する領域変換手段と、
コンテンツ画像の形状を示すコンテンツ画像領域を設定するコンテンツ画像領域設定手段と、
前記投影領域設定手段により撮像画像上に設定された画像投影領域と、前記コンテンツ画像領域設定手段により設定されたコンテンツ画像領域との関係に基づいて、当該コンテンツ画像領域を撮像画像上の画像投影領域に投影するようにコンテンツ画像データを変換する第２変換情報を作成する第２変換情報作成手段と、
前記第２変換情報を用いてコンテンツ画像データを変換して、前記投影装置から投影画像を投影させる画像変換手段と
を備えることを特徴とする投影システム。
【請求項２】
前記撮像装置は、前記投影画像を見る観察者の視点位置又は投影装置周辺の任意の位置に設けられることを特徴とする請求項１に記載の投影システム。
【請求項３】
前記投影領域設定手段は、前記撮像画像から画像投影領域を所定の画像処理により検出することを特徴とする請求項１又は請求項２に記載の投影システム。
【請求項４】
前記投影領域設定手段は、前記投影装置の画像投影領域に付されたマークの位置を検出して、前記画像投影領域の頂点を求めることを特徴とする請求項３に記載の投影システム。
【請求項５】
前記第１変換情報作成手段は、前記位相シフト法を用いて行われた撮像画像と投影画像との対応付けを、空間コード化法を用いて修正して、前記第１変換情報を作成することを特徴とする請求項１乃至請求項４の何れか一項に記載の投影システム。
【請求項６】
投影装置の投光方向に直交する第１方向に周期的に明度が変化する縞パターンを投影及び撮像して当該第１方向について位相シフト法を用いて撮像画像と投影画像との対応付けを行い、前記第１方向に直交する第２方向に周期的に明度が変化する縞パターンを投影及び撮像して第２方向について位相シフト法を用いて撮像画像と投影画像との対応付けを行うことにより、前記撮像画像と前記投影画像との画素間の対応関係を定めた第１変換情報を予め作成し、
所定の視点位置に設けた撮像装置により撮像された撮像画像上で画像投影領域を設定し、
前記設定された撮像画像上の画像投影領域を、前記第１変換情報を用いて、投影画像上の画像投影領域に変換し、
コンテンツ画像の形状を示すコンテンツ画像領域を設定し、
前記変換された撮像画像上の画像投影領域と、前記設定されたコンテンツ画像領域との関係に基づいて、当該コンテンツ画像領域を撮像画像上の画像投影領域に投影するようにコンテンツ画像データを変換する第２変換情報を作成しておき、
実際にコンテンツ画像を投影する際に、前記第２変換情報を用いて前記コンテンツ画像データを変換して、前記投影装置から投影画像を投影させること
を特徴とする投影方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光を投影する投影システム及び投影方法に関する。
【背景技術】
【０００２】
従来より、映像投影装置としてプロジェクタを使って、パソコン画面を投影してプレゼンテーションを行う機会が増えてきている。
【０００３】
また、プロジェクタやパソコンが広く普及してきたため、専用のスクリーンを投影面として投影する以外に、会議室の壁を投影面として利用する使い方も増えてきている。このように専用のスクリーン以外に画像を投影する場合には、投影面に凹凸がある場合もある。投影面に凹凸があると、投影像が歪むために画像が見にくくなる場合も生じてしまう。また、狭い部屋でプロジェクタから画像を投影させる場合には、プロジェクタを投影面に対して直交（正対）して設置することが難しい。この場合には、一般的に、投影画像に台形補正等を施すことが必要となる。
【０００４】
更に、投影面を見る人の正面に設定できず、投影像を見る人は投影面に対して斜めから見なければならないような場合も発生している。また、複数の人が同じ投影面を見る場合には、見る人により画像歪みが著しくなる可能性がある。
【０００５】
このような状況でも、見る人に対して適切な投影像を提供するために、投影面の３次元形状を計測し、当該計測した投影面形状に基づいて画像の補正をして、画像歪みのない投影することが行われている。
【０００６】
例えば特許文献１には、光投影法を用いて三角測量法の原理により投影面の３次元形状を求め、逆投影シミュレーションにより補正画像を求めることが記載されている。
【０００７】
また、特許文献２には、テスト画像を投影面に投影して撮像し、当該撮像した撮像画像と投影画像とのずれに基づいて、歪み量を求めて画像の補正を行っている。特許文献２に記載された技術では、テスト画像の格子点が存在する部分では良好な補正量を求めることができる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００４−１４０８４５号公報
【特許文献２】特開２００１−８３９４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１に記載された技術では、画像を補正するために多くの計算量が必要となっている。また、特許文献１に記載された技術では、正確に３次元形状を計測するためにはカメラやプロジェクタの内部パラメータや外部パラメータを求めるためのキャリブレーション処理が別途必要となり、簡単に投影したい領域を設定することが困難である。
【００１０】
また、特許文献２に記載された技術では、テスト画像の格子点を投影できない部分では正確な補正量を求めることができないという問題点がある。また、画像が投影される全ての点に格子点を設定しようとすると、多数回に亘りテスト画像の投影、撮像及び補正量の算出を繰り返す必要があり、長い作業時間を要するという問題がある。
【００１１】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、投影面に凹凸がある場合や投影装置と投影面とが正対していない場合であっても、画像の歪み補正を簡単且つ精度良く行うことができる投影システム及び投影方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明に係る投影システムは、コンテンツ画像データを用いて投影画像を投影する投影装置と、前記投影装置により投影されている投影画像を撮像して撮像画像を取得する撮像装置とを備える。この投影システムは、上述の課題を解決するために、前記投影装置の投光方向に直交する第１方向に周期的に明度が変化する縞パターンを投影及び撮像させて当該第１方向について位相シフト法を用いて撮像画像と投影画像との対応付けを行い、前記第１方向に直交する第２方向に周期的に明度が変化する縞パターンを投影及び撮像させて第２方向について位相シフト法を用いて撮像画像と投影画像との対応付けを行うことにより、前記撮像画像と前記投影画像との画素間の対応関係を定めた第１変換情報を作成する第１変換情報作成手段と、所定の視点位置に設けた前記撮像装置により撮像された撮像画像上で画像投影領域を設定する投影領域設定手段と、前記投影領域設定手段により設定された撮像画像上の画像投影領域を、前記第１変換情報を用いて、投影画像上の画像投影領域に変換する領域変換手段と、コンテンツ画像の形状を示すコンテンツ画像領域を設定するコンテンツ画像領域設定手段と、前記投影領域設定手段により撮像画像上に設定された画像投影領域と、前記コンテンツ画像領域設定手段により設定されたコンテンツ画像領域との関係に基づいて、当該コンテンツ画像領域を撮像画像上の画像投影領域に投影するようにコンテンツ画像データを変換する第２変換情報を作成する第２変換情報作成手段と、前記第２変換情報を用いてコンテンツ画像データを変換して、前記投影装置から投影画像を投影させる画像変換手段とを備える。
【００１３】
本発明に係る投影システムにおいて、前記撮像装置は、前記投影画像を見る観察者の視点位置又は投影装置周辺の任意の位置に設けられることを特徴とする。
【００１４】
本発明に係る投影システムにおいて、投影領域設定手段は、撮像画像から画像投影領域を所定の画像処理により検出することを特徴とする。
【００１５】
本発明に係る投影システムにおいて、前記投影領域設定手段は、前記投影装置の画像投影領域に付されたマークの位置を検出して、前記画像投影領域の頂点を求めることを特徴とする。
【００１６】
本発明に係る投影システムにおいて、前記第１変換情報作成手段は、前記位相シフト法を用いて行われた撮像画像と投影画像との対応付けを、空間コード化法を用いて修正して、前記第１変換情報を作成することを特徴とする。
【００１７】
本発明に係る投影方法は、上述の課題を解決するために、投影装置の投光方向に直交する第１方向に周期的に明度が変化する縞パターンを投影及び撮像して当該第１方向について位相シフト法を用いて撮像画像と投影画像との対応付けを行い、前記第１方向に直交する第２方向に周期的に明度が変化する縞パターンを投影及び撮像して第２方向について位相シフト法を用いて撮像画像と投影画像との対応付けを行うことにより、前記撮像画像と前記投影画像との画素間の対応関係を定めた第１変換情報を予め作成し、所定の視点位置に設けた撮像装置により撮像された撮像画像上で画像投影領域を設定し、前記設定された撮像画像上の画像投影領域を、前記第１変換情報を用いて、投影画像上の画像投影領域に変換し、コンテンツ画像の形状を示すコンテンツ画像領域を設定し、前記変換された撮像画像上の画像投影領域と、前記設定されたコンテンツ画像領域との関係に基づいて、当該コンテンツ画像領域を撮像画像上の画像投影領域に投影するようにコンテンツ画像データを変換する第２変換情報を作成しておく。そして、この投影方法は、実際にコンテンツ画像を投影する際に、前記第２変換情報を用いて前記コンテンツ画像データを変換して、前記投影装置から投影画像を投影させる。
【発明の効果】
【００１８】
本発明に係る投影システム及び投影方法によれば、位相シフト法を用いて撮像画像と投影画像との画素間の対応関係を定めた第１変換情報と、撮像画像とコンテンツ画像との関係に基づいて第２変換情報とを作成しておき、コンテンツ画像データを第２変換情報により変換して、投影装置からコンテンツ画像を投影面に対して投影することができるので、投影面に凹凸がある場合や投影装置と投影面とが正対していない場合であっても、画像の歪み補正を簡単且つ精度良く行うことができる。
【００１９】
また、本発明に係る投影システムによれば、投影画像を見る観察者の視点位置が投影面に正対しているかどうかに拘わらず、第１変換情報及び第２変換情報を用いてコンテンツ画像データを変換して、観察者の位置から見て歪みのないコンテンツ画像を投影できる。
【００２０】
更に、本発明に係る投影システムによれば、撮像画像から画像投影領域を所定の画像処理により検出し、当該検出した画像投影領域から、当該画像投影領域の頂点を求めるので、自動的に画像投影領域を設定できる。
【００２１】
また、本発明に係る投影システムにおいて、投影装置の画像投影領域に付されたマークの位置を検出して、画像投影領域の頂点を求めるので、自動的に所望の画像投影領域を設定できる。
【００２２】
また、本発明に係る投影システムにおいて、位相シフト法を用いて行われた撮像画像と投影画像との対応付けを、空間コード化法を用いて修正して第１変換情報を作成するので、投影面の凹凸度合いが大きい場合でも、歪みのないコンテンツ画像を投影できる。
【図面の簡単な説明】
【００２３】
【図１】本発明の第１実施形態として示す投影システムの構成を示すブロック図である。
【図２】本発明の第１実施形態として示す投影システムにおける投影制御装置の構成を示すブロック図である。
【図３】本発明の第１実施形態として示す投影システムにおいて、視点位置、プロジェクタ、カメラ、投影面の位置関係を示す図である。
【図４】本発明の第１実施形態として示す投影システムにおいて、撮像画像、投影画像、コンテンツ画像の関係を示す図である。
【図５】本発明の第１実施形態として示す投影システムにおいて、撮像画像と投影画像との関係を示す図である。
【図６】本発明の第１実施形態として示す投影システムにおける変換テーブルＴｃｂを示す図である。
【図７】本発明の第１実施形態として示す投影システムにおいて、撮像画像とコンテンツ画像との対応関係を示す図である。
【図８】本発明の第１実施形態として示す投影システムにおける投影動作を示すフローチャートである。
【図９】本発明の第１実施形態として示す投影システムにおいて、変換テーブルＴｃｂを作成する動作を示すフローチャートである。
【図１０】本発明の第１実施形態として示す投影システムにおいて、第１方向において撮像画像と投影画像との対応をとる動作を示すフローチャートである。
【図１１】本発明の第１実施形態として示す投影システムにおいて、第２方向において撮像画像と投影画像との対応をとる動作を示すフローチャートである。
【図１２】本発明の第１実施形態として示す投影システムにおいて、変換テーブルＴｃｂを作成する詳細な動作を示すフローチャートである。
【図１３】本発明の第１実施形態として示す投影システムにおいて、歪み変換行列の作成動作を示すフローチャートである。
【図１４】本発明の第１実施形態として示す投影システムにおいて、第１方向において撮像画像と投影画像との対応をとる構成を示すブロック図である。
【図１５】本発明の第１実施形態として示す投影システムにおいて、第２方向において撮像画像と投影画像との対応をとる構成を示すブロック図である。
【図１６】本発明の第１実施形態として示す投影システムにおいて、位相シフト法の原理を説明するブロック図である。
【図１７】本発明の第１実施形態として示す投影システムにおいて、位相シフト法により投影する縞パターンを示す図である。
【図１８】本発明の第１実施形態として示す投影システムにおいて、空間コード化法により投影する投影画像を示す図である。
【図１９】本発明の第１実施形態として示す投影システムにおいて、位相をアンラッピングして絶対位相を求める処理を説明する図である。
【図２０】本発明の第２実施形態として示す投影システムにおいて、視点位置、プロジェクタ、カメラ、投影面の位置関係を示す図である。
【図２１】本発明の第２実施形態として示す投影システムにおいて、撮像画像、投影画像、コンテンツ画像の関係を示す図である。
【図２２】本発明の第２実施形態として示す投影システムにおける投影動作を示すフローチャートである。
【図２３】本発明の第２実施形態として示す投影システムにおいて、歪み変換行列の作成動作を示すフローチャートである。
【図２４】本発明の第３実施形態として示す投影システムにおいて、視点位置、プロジェクタ、カメラ、投影面の位置関係を示す図である。
【図２５】本発明の第３実施形態として示す投影システムにおいて、歪み変換行列の作成動作を示すフローチャートである。
【図２６】本発明の第４実施形態として示す投影システムにおいて、視点位置、プロジェクタ、カメラ、投影面の位置関係を示す図である。
【図２７】本発明の第４実施形態として示す投影システムにおいて、歪み変換行列の作成動作を示すフローチャートである。
【発明を実施するための形態】
【００２４】
以下、本発明の実施の形態について図面を参照して説明する。
【００２５】
［第１実施形態］
［照明システムの概略構成］
本発明の第１実施形態として示す投影システムは、図１に示すように、投影装置としてのプロジェクタ１，撮像装置としてのカメラ２，及び投影制御装置３を含む。この投影システムは、プロジェクタ１の投影画像の投影エリア及びカメラ２の撮像エリアとが重複しており、当該重複したエリアに、被照射対象としての投影面１０が含まれている。
【００２６】
投影面１０としては、あらゆる形状のものであっても良い。投影システムは、投影面１０に凹凸がある場合であっても、当該凹凸を含む投影面１０に対して歪みの無い画像を投影可能とするものである。また、投影面１０としては、平面に近い部屋の壁面や、投影面を凹型にしたものであても良い。
【００２７】
この投影システムにおける投影制御装置３は、例えば図２に示すように構成される。
【００２８】
投影制御装置３は、画像入力部２１、入力画像メモリ２２、演算部２３、メモリ２４、記憶装置２５、Ｉ／Ｏ制御部２６、出力画像メモリ２７、画像出力部２８を有する。また、投影制御装置３には、投影画像を作成するユーザの操作インターフェースとしての表示装置４、キーボード５、マウス６が接続されている。
【００２９】
この投影制御装置３は、画像入力部２１により、カメラ２により撮像された撮像画像を入力してディジタル化して入力画像メモリ２２に格納する。ここで、投影制御装置３は、図示しない信号線を介してカメラ２にコマンドを供給して、カメラ２の撮像動作を制御して、撮像画像を取得できる。
【００３０】
また、投影制御装置３は、演算部２３により作成した投影画像を出力画像メモリ２７に保存し、画像出力部２８からプロジェクタ１に出力させる。これにより、投影制御装置３は、プロジェクタ１から投影エリアに投影画像を投影する。
【００３１】
更に、演算部２３は、投影画像を作成するための作業領域としてのメモリ２４を用いて、投影画像を作成する。このとき、演算部２３は、記憶装置２５に記憶された投影パターン、投影シーケンス、コンテンツ画像データ、変換テーブルＴｃｂ、歪み変換行列Ｈを用いて、投影画像を作成する。投影パターンは、投影面１０に対して投影される計測のための縞パターン画像のことである。コンテンツ画像データは、投影面１０に投影される各種の画像データや映像データである。例えば、コンテンツ画像データとしては、プレゼンテーション用の画像データ等が挙げられる。また、投影シーケンスは、投影パターン、コンテンツ画像データの投影順序を示すデータのことである。投影パターン、コンテンツ画像データ、投影シーケンスの選択は、キーボード５及びマウス６が操作されたことに応じたＩ／Ｏ制御部２６から操作入力信号により、演算部２３が設定可能である。
【００３２】
更にまた、演算部２３は、投影面１０に歪みのないコンテンツ画像データを投影させるために、撮像画像を投影画像に変換する変換テーブルＴｃｂ（第１変換情報）、コンテンツ画像データを撮像画像に変換する歪み変換行列Ｈ（第２変換情報）を算出する。そして、演算部２３は、変換テーブルＴｃｂ、歪み変換行列Ｈを記憶装置２５に記憶させる。
【００３３】
第１実施形態として示す投影システムは、図３に示すように、観察者の視点位置と同じ位置を、カメラ２の撮像位置とする。そして、投影システムは、カメラ２の撮像位置から投影面１０に投影されたコンテンツ画像を見たときに、歪み無くコンテンツ画像を見ることができるようにする。
【００３４】
このカメラ２の撮像位置から見て歪みの無い投影像とは、図４（ａ）に示す撮像画像１０１中の長方形領域である画像投影領域１１１の頂点Ｃ１、Ｃ２、Ｃ３、Ｃ４に、図４（ｃ）のコンテンツ画像１０３中のコンテンツ画像領域１１３の頂点Ｉ１、Ｉ２、Ｉ３、Ｉ４が一致して投影されることである。ここで、コンテンツ画像領域１１３は、コンテンツ画像１０３中の形状を示しているが、コンテンツ画像１０３の全体領域と等しいものであっても良い。一方、観察者の視点位置とプロジェクタ１の設置位置とは、必然的に異なるものとなる。このため、図４（ｂ）の投影画像１０２上の投影面１０と、撮像画像１０１上の投影面１０とは形状が異なる。最初に撮像画像１０１から投影画像１０２への変換情報（変換テーブルＴｃｂ）を求める。次に、コンテンツ画像１０３上でのコンテンツ画像領域１１３を設定する（コンテンツ画像領域設定手段）。次に、コンテンツ画像１０３から撮像画像１０１への変換情報（歪み変換行列Ｈ）を求める。したがって、コンテンツ画像領域１１３が歪み変換行列Ｈにより撮像画像領域１１１に変換され、この変換された撮像画像領域１１１が変換テーブルＴｃｂを用いて、投影画像領域１１２に変換される。このようにして作成された投影画像を投影することにより、結果として、カメラ２の撮像位置、すなわち、観察者の視点位置から歪み無く投影面１０上に投影されたコンテンツ画像を見ることができる。
【００３５】
投影システムは、撮像画像１０１中の画像投影領域１１１の頂点Ｃ１、Ｃ２、Ｃ３、Ｃ３と、投影画像１０２中の画像投影領域１１２の頂点Ｐ１、Ｐ２、Ｐ３、Ｐ４との関係を求めるために、３次元形状計測において時間縞パターン投影位相シフト法として知られている方法を使用する。撮像画像１０１と投影画像１０２との対応関係を求める処理とは、カメラ２の撮像素子上の位置と、プロジェクタ１の投影素子上の位置を対応付けることである。
【００３６】
この時間縞パターン投影位相シフト法は、輝度値が正弦波状に変化する縞パターンの位相をずらしながら複数枚に亘り投影及び撮像を行う。次に、この時間縞パターン投影位相シフト法は、撮像された複数の撮像画像から、撮像素子の各画素において輝度値の初期位相を推定する。この初期位相は、投影素子上に設定したものであるため、撮像素子の各画素において求められた初期位相の推定値が、直接的に投影素子上の位置を表すものとなり、撮像画像と投影画像との対応付けができる。
【００３７】
撮像画像と投影画像との対応付けする位置の精度を高くするため、投影素子上に複数の位相を割り付けると、推定時に位相のつなぎ目において位相接続が必要となる。この位相接続の方式には多くのものが知られているが、本実施形態の投影システムは、処理が簡単で信頼性が高い空間コード化法を使用する。
【００３８】
また、演算部２３は、撮像画像中の矩形領域の頂点Ｃ１、Ｃ２、Ｃ３、Ｃ４と、コンテンツ画像の領域Ｉ１、Ｉ２、Ｉ３、Ｉ４との関係を求めるためには、射影変換を使用する。
【００３９】
具体的には、投影制御装置３は、プロジェクタ１の投光方向に直交する第１方向に周期的に明度が変化する縞パターンを投影して第１方向について位相シフト法を用いた対応付を行う。また、投影制御装置３は、投光方向に直交する面内で第１方向に直交する第２方向に周期的に明度が変化する縞パターンを投影して第２方向について位相シフト法を用いた対応付を行う。これにより、投影制御装置３は、撮像画像と投影画像との画素間の対応関係を定める変換テーブルＴｃｂ（変換情報）を求める。この変換テーブルＴｃｂは、記憶装置２５に記憶される（第１変換情報作成手段）。
【００４０】
投影制御装置３は、変換テーブルＴｃｂを用いることにより、図５（ａ）の撮像画像１０１に対して座標変換をして、図５（ｂ）のような投影画像１０２に変換することができる。ここで、投影制御装置３により取得された撮像画像１０１の各画素は、投影画像１０２に含まれる画素のサンプリングの格子点からずれた位置に変換される。このために、投影画像１０２の各画素における輝度値を得るためには、投影画像１０２の各画素のサンプリング点周辺に変換された撮像画像１０１の輝度値を補間して求めることが必要となる。
【００４１】
投影画像１０２を撮像画像１０１の画素で補間する方法としては、投影制御装置３は、記憶装置２５に記憶しておいた変換テーブルＴｃｂを用いる。この変換テーブルＴｃｂは、図６に示すように、投影画像１０２の各画素周辺に変換された撮像画像１０１の画素座標を登録して構成される。具体的には、撮像画像の座標（１，１）は投影画像の座標（１，１）と（１，２）に対応している。
【００４２】
演算部２３は、投影画像１０２を作成する時には、投影画像１０２の各画素を作成するために用いられる撮像画像１０１の画素の輝度値を平均して、当該投影画像１０２を構成する画素の輝度値として求める。なお、撮像画像１０１がカラー画像の場合には、ＲＧＢの各要素について平均値を求めて、投影画像１０２を作成する処理を行う。
【００４３】
また、演算部２３は、所定の視点位置に設けたカメラ２により撮像された撮像画像１０１上で画像投影領域１１１を設定する（投影領域設定手段）。次に、コンテンツ画像１０３上でのコンテンツ画像領域１１３を設定する（コンテンツ画像領域設定手段）。次に演算部２３は、設定されたコンテンツ画像領域１１３と撮像画像１０１上の画像投影領域１１１との関係に基づいて、当該画像投影領域に画像を投影するようにコンテンツ画像データを変換する歪み変換行列Ｈを作成する。実際の投影時には、コンテンツ画像領域１１３が歪み変換行列Ｈにより撮像画像上の画像投影領域１１１に変換され（画像変換手段）、次に、この変換された撮像画像上の画像投影領域１１１が変換テーブルＴｃｂを用いて、投影画像上の画像投影領域１１２に変換され（領域変換手段）、プロジェクタ１から投影画像を投影させる。
【００４４】
この演算部２３により作成された歪み変換行列Ｈを用いてコンテンツ画像領域１１３のデータを、撮像画像１０１上の画像投影領域１１１内のデータに変換する処理は、図７に示すように、撮像画像の各画素に対して歪み変換行列Ｈによる演算を行ってコンテンツ画像上へ変換する。この歪み変換行列Ｈによる変換時は、撮像画像１０１をコンテンツ画像１０３の画素のサンプリング格子点に対してずれた位置に変換してしまう。このため、撮像画像上の画像投影領域１１１の各画素の輝度値を得るために、演算部２３は、撮像画像が変換された座標周辺のコンテンツ画像１０３の輝度値を使って補間して求める。輝度値の補間方法としては、バイリニア法、バイキュービック法、また、テーブルを作成して補間する方法のどの方法を使っても良い。
【００４５】
以上のように、投影システムは、歪み変換行列Ｈを用いてコンテンツ画像データを撮像画像データに変換し、次に、撮像画像データを変換テーブルＴｃｂを用いて投影画像データに変換することにより、投影面１０に歪みのない画像を投影できる。
【００４６】
［投影システムの動作］
つぎに、上述したように構成された投影システムによる各種の動作について、図８乃至図１３のフローチャート等を参照して説明する。
【００４７】
「投影パターンの投影動作」
まず、投影システムによる投影パターンの投影動作について、図８を参照して説明する。
【００４８】
投影システムは、コンテンツ画像を投影する前処理として、上述したように、変換テーブルＴｃｂおよび歪み変換行列Ｈを作成して記憶装置２５に記憶しておく。
【００４９】
そして、ユーザによる操作などによって、コンテンツ画像を投影するタイミングとなると、ステップＳ１以降の処理を開始する。先ず、投影制御装置３は、記憶装置２５に記憶された変換テーブルＴｃｂ、歪み変換行列Ｈをメモリ２４に読み込む。
【００５０】
次のステップＳ２において、投影制御装置３は、ユーザが投影されることを希望するコンテンツ画像データを記憶装置２５からメモリ２４に読み込む。
【００５１】
次のステップＳ３において、投影制御装置３は、ステップＳ２で読み込んだコンテンツ画像データを、ステップＳ１にて読み込んだ変換テーブルＴｃｂ、歪み変換行列Ｈを用いて投影画像に変換する。
【００５２】
次のステップＳ４において、投影制御装置３は、ステップＳ３にて変換されたコンテンツ画像である投影画像を、プロジェクタ１に出力して、プロジェクタ１から投影画像を投影させる。これにより、投影システムは、変換テーブルＴｃｂ、歪み変換行列Ｈの作成時に設置したカメラ２の撮像位置から投影面１０に投影された画像を見れば歪みの無い画像を投影することができる。
【００５３】
「変換テーブルＴｃｂの作成動作」
次に、変換テーブルＴｃｂの作成動作について説明する。
【００５４】
変換テーブルＴｃｂは、撮像画像の画素と投影画像の画素を対応付けたテーブルデータ、すなわち、撮像素子上の位置データと、投影素子上の位置データとの対応関係を示す。このように撮像画像と投影画像との対応付けるために、本実施形態における投影システムは、一般的に３次元形状の計測において用いられる時間縞パターン投影位相シフト法と称される手法を応用する。
【００５５】
図１４に示すように、カメラ座標系２０２は、水平方向をｘ軸、垂直方向をｙ軸とし、撮像画像のサイズはｘ方向にｍ画素、ｙ方向にｎ画素とする。また、プロジェクタ座標系２０１は、水平方向をｕ軸、垂直方向をｖ軸とし、投影画像のサイズはｕ方向にｋ画素、ｖ方向にｌ画素とする。
【００５６】
投影システムは、図９に示すステップＳ１１において、図１４のような第１方向の縞パターン（第１方向の投影像３０１）をプロジェクタ１から投影し、カメラ２により投影エリアを撮像する。上述したように、カメラ２は、図３に示したように、投影面１０に対するユーザの視点位置が撮像位置となるように設置されている。そして、演算部２３は、撮像画像の各画素の輝度値を用いて、第１方向に沿うカメラ座標とプロジェクタ座標の対応付けを求める。ここで、第１方向に沿う座標とは、図１４に示したようにカメラ座標系２０２におけるｘ軸、プロジェクタ座標系２０１におけるｕ軸となる。
【００５７】
次のステップＳ１２において、プロジェクタ１は、図１５のような第１方向と直交する第２方向の縞パターン（第２方向の投影像３０２）を投影し、カメラ２により投影エリアを撮像する。そして、演算部２３は、撮像画像の各画素の輝度値を用いて、第２方向に沿うカメラ座標とプロジェクタ座標の対応付けを求める。ここで、第２方向に沿う座標とは、図１４に示したように、カメラ座標系２０２におけるｙ軸、プロジェクタ座標系２０１におけるｖ軸となる。
【００５８】
このようなステップＳ１１及びステップＳ１２により、カメラ座標における撮像画像の各画素に対するプロジェクタ座標における対応画素が求まる。
【００５９】
次のステップＳ１３において、ステップＳ１１及びステップＳ１２にて求めた撮像画像と投影画像との対応関係を用いて、プロジェクタ座標に対する、投影画像の各画素の輝度値を計算するときに必要となる撮像画像の画素を対応付ける変換テーブルＴｃｂを作成する。これにより、図６に示したような変換テーブルＴｃｂを作成できる。
【００６０】
上述したように、撮像画像と投影画像との対応付けには、時間縞パターン投影位相シフト法の原理を利用する。以下、時間縞パターン投影位相シフト法の原理を説明する。
【００６１】
図１６に、投影システムにおけるプロジェクタ１の投影素子１ａ、カメラ２の撮像素子２ａ、投影面１０の投影面ＡＢの配置を示す。図１６は、プロジェクタ１の主点、カメラ２の主点と、投影素子１ａ上の点Ｐの投影面上の像である点Ｒとで構成される平面で切り取った断面での模式図である。この断面は、投影面１０の投影面では直線ＡＢとなる。投影素子１ａ上の点Ｐから出射された投影光は、投影面１０上の投影面上の点Ｒで像を作る。この投影面上の点Ｒから反射された投影光は、撮像素子２ａ上で点Ｑに結像する。
【００６２】
時間縞パターン投影位相シフト法は、プロジェクタ１の投影素子１ａ上の位置Ｐと、正弦波状の縞パターンの初期位相とを関係付けて、図１７のように位相を０〜３π／２までπ／２ずつずらしながら順次縞パターンを投影する。時間縞パターン投影位相シフト法は、任意形状の投影面１０の投影面ＡＢに投影され、投影面ＡＢの３次元形状により変形させられた投影像を撮像して得られる撮像画像の各画素における輝度値を検出して、縞パターンの正弦波の初期位相値を画素ごとに推定する。次に、時間縞パターン投影位相シフト法は、撮像素子２ａ上の画素（位置Ｑ）ごとに推定された初期位相値と、投影素子１ａ上における位置Ｐの縞パターンの初期位相とから、同じ初期位相の投影素子１ａ上の位置Ｐ、撮像素子２ａ上の位置Ｑを求める。これにより、時間縞パターン投影位相シフト法は、撮像素子２ａのある画素Ｑで受光した光が、投影素子１ａ上のどの画素Ｐから出た光であるかを特定する。
【００６３】
初期位相は、投影面１０の投影面の３次元形状に応じて変形させられる。このため、初期位相値は、投影面の３次元形状を表す値となる。初期位相値を計算するときに、位相をずらしながら順次に縞パターン投影するために、「時間」という形容詞を付して、時間縞パターン投影位相シフト法と称される。本実施形態では、当該時間縞パターン投影位相シフト法のうち、撮像画像と投影画像との対応付けを行う手法を利用する。
【００６４】
以上のように、投影システムにおいては、撮像素子２ａ上の位置Ｑにおける縞パターンの初期位相が推定できると、当該推定した初期位相を投影した投影素子１ａ上の位置Ｐがわかる。時間縞パターン位相シフト法では、最低でも３つの位相をずらした縞パターンを投影することで、位相を推定できることが知られている。本実施形態では、図１７に示したように０から位相をπ/２づつずらす縞パターンを４つ使う場合を例にして説明している。しかし、３つの縞パターンを用いて、撮像素子２ａ上における各位置の初期位相を推定して、投影素子１ａ上の位置Ｐに対応する撮像素子２ａ上の位置Ｑを求めても良い。
【００６５】
このような時間縞パターン投影位相シフト法を用いて、上述の図９におけるステップＳ１１の第１方向（Ｘ方向）における撮像画像と投影画像との対応付を行う処理を、図１０を参照して説明する。
【００６６】
先ずステップＳ２１において、投影制御装置３は、図１８に示したバイナリパターン１、バイナリパターン２、バイナリパターン３、バイナリパターン４の縞パターンを用いて、空間コード化法で大局位相を算出する。この大局位相は、画面全体の位相を粗く表すものである。
【００６７】
次のステップＳ２２において、投影制御装置３は、時間縞パターン投影位相シフト法を用いて、第１方向における縞パターンを順次に投影及び撮像させ、撮像画像上における画素（局所）ごとに位相Φ１（ｘ）を求める。
【００６８】
このとき、図１７に示したように、シフトなし、π/２シフト、πシフト、３π/２シフトの縞パターンを撮像した撮像画像上における輝度値Ｉ０（ｘ）、Ｉ１（ｘ）、Ｉ２（ｘ）、Ｉ３（ｘ）は、下記の式１乃至式４のように表される。  
【数１】
2010283674.tif 000003
【００６９】
この式１乃至式４におけるＢ（ｘ）はバイアス成分、Ａ（ｘ）は振幅成分、Φ１（ｘ）は初期位相を表す。これら４つの輝度値Ｉ０（ｘ）、Ｉ１（ｘ）、Ｉ２（ｘ）、Ｉ３（ｘ）から、初期位相Φ１（ｘ）は、下記の式５により求めることができる。  
【数２】
2010283674.tif 000004
【００７０】
次のステップＳ２３において、投影制御装置３は、ステップＳ２１にて求めた大局位相を参照して、ステップＳ２２にて求めた局所位相の位相を接続するアンラッピング処理を行い、絶対位相Φ１（ｘ）を算出する。
【００７１】
時間縞パターン投影位相シフト法において、縞パターンが複数あると、撮像画像において推定された位相は、２πごとの繰り返しで位相飛びがある、いわゆるラッピングされたものとなる。このため、ラッピングされた位相を繋ぐアンラッピング処理が必要となる。このアンラッピング処理は、図１９（ａ）に示す第１方向における局所位相Φ１（ｘ）と、図１９（ｂ）に示す第１方向における大局位相とを合成して、図１９（ｃ）に示すような第１方向における絶対位相Φ１（ｘ）を求める処理である。これにより、投影制御装置３は、撮像画像全体にわたる粗い位相である大局位相を求め、次に、当該大局位相と、ラッピングされている局所位相とを比較して位相を繋ぎ、絶対位相を求めることができる。なお、空間コード化法による大局位相の算出方法は、「井口征士、佐藤宏介、三次元画像計測、昭晃堂、pp. 80-119」に示されている。
【００７２】
次のステップＳ２４において、投影制御装置３は、投影画像におけるｕ軸成分の位置を求める。ここで、図１４に示したように、投影画像のｕ軸成分は、撮像画像の第１方向（ｘ方向）に対応する。順次に投影及び撮像される縞パターンの縞の数をＭとすると、投影画像のｕ軸方向の画素数はｋ画素であることより、撮像画像上のｘの位置に対応する投影画像上のｕの位置は、下記の式６のように演算できる。  
【数３】
2010283674.tif 000005
【００７３】
このように、投影制御装置３は、空間コード化法及び時間縞パターン投影位相シフト法の双方を用いて、第１方向における撮像画像の座標と投影画像の座標との対応付けを行うことができる。
【００７４】
また、ステップＳ１２における第２方向におけるカメラ座標とプロジェクタ座標の対応関係を求める処理も、上述した第１方向と同様である。ステップＳ１２の処理は、図１１に示すようになる。先ずステップＳ３１において、投影制御装置３は、図１５に示すように、第１方向とは直交する方向の縞パターンを用いて、空間コード化法で大局位相を算出する。
【００７５】
次のステップＳ３２において、投影制御装置３は、時間縞パターン投影位相シフト法を用いて、第２方向における縞パターンを順次に投影及び撮像させ、撮像画像上における画素（局所）ごとに位相Φ２（ｙ）を求める。
【００７６】
このとき、図１７に示したように、シフトなし、π/２シフト、πシフト、３π/２シフトの縞パターンを撮像した撮像画像上における輝度値Ｉ０（ｙ）、Ｉ１（ｙ）、Ｉ２（ｙ）、Ｉ３（ｙ）は、下記の式７乃至式１０のように表される。  
【数４】
2010283674.tif 000006
【００７７】
これら４つの輝度値Ｉ０（ｙ）、Ｉ１（ｙ）、Ｉ２（ｙ）、Ｉ３（ｙ）から、初期位相Φ２（ｘ）は、下記の式１１により求めることができる。  
【数５】
2010283674.tif 000007
【００７８】
次のステップＳ３３において、投影制御装置３は、ステップＳ３１にて求めた大局位相を参照して、ステップＳ３２にて求めた局所位相の位相を接続するアンラッピング処理を行い、第２方向における絶対位相Φ２（ｘ）を算出する。
【００７９】
次のステップＳ３４において、投影制御装置３は、投影画像におけるｖ軸成分の位置を求める。ここで、図１４に示したように、投影画像のｖ軸成分は、撮像画像の第２方向（ｙ方向）に対応する。順次に投影及び撮像される縞パターンの縞の数をＭとすると、投影画像のｖ軸方向の画素数はｌ画素であることより、撮像画像上のｙの位置に対応する投影画像上のｖの位置は、下記の式１３のように演算できる。  
【数６】
2010283674.tif 000008
【００８０】
このように、投影制御装置３は、空間コード化法及び時間縞パターン投影位相シフト法の双方を用いて、第２方向における撮像画像の座標と投影画像の座標との対応付けを行うことができる。
【００８１】
上述した図１０のステップＳ２１〜ステップＳ２４からなる図９のステップＳ１１と、上述した図１１のステップＳ３１〜ステップＳ３４からなる図９のステップＳ１２の後に、投影制御装置３は、図１２の処理を行うことにより、ステップＳ１３にて変換テーブルＴｃｂの作成を行う。
【００８２】
投影制御装置３は、図１２に示すステップＳ４１において、ステップＳ１１中のステップＳ２４及びステップＳ１２中のステップＳ３４により算出された投影画像上の座標（ｕ，ｖ）を読み込む。この投影画像上の座標（ｕ，ｖ）は、下記の式１３のように、
【数７】
2010283674.tif 000009
【００８３】
のように表現される。
【００８４】
次のステップＳ４２において、投影制御装置３は、投影画像上の座標（ｕ，ｖ）の小数点以下を四捨五入し、対応する整数部を持つ変換テーブルＴｃｂの座標（ｕ，ｖ）の欄に、対応する撮像画像上の座標（ｘ，ｙ）を格納する。ここで、式１３に示した撮像画像上の座標（ｘ，ｙ）から変換した投影画像上の座標（ｕ，ｖ）は、図４に示したような離散的なサンプリング格子点である投影画像上の座標からはずれた位置となる。このために、投影制御装置３は、投影画像の各画素のサンプリング点周辺に変換された撮像画像の輝度値を補間して、投影画像の各画素における輝度値を求める必要がある。
【００８５】
したがって、図６に示す変換テーブルＴｃｂのうち、投影画像上の座標（ｕ，ｖ）に対応した撮像画像上の座標（ｘ，ｙ）の欄には、複数の撮像画像上の座標を格納する。そして、実際に、撮像画像上の座標を投影画像上の座標に変換する場合には、一又は複数の撮像画像上の画素を平均して、投影画像上の輝度値を求めることができる。
【００８６】
次のステップＳ４３において、投影制御装置３は、撮像画像の全面に亘りステップＳ４１及びステップＳ４２の処理を行ったか否かを判定する。撮像画像の全面に亘りステップＳ４１及びステップＳ４２の処理を行った場合には処理を終了し、そうでない場合にはステップＳ４１及びステップＳ４２の処理を行う。
【００８７】
これにより、投影制御装置３は、変換テーブルＴｃｂを作成して、記憶装置２５に記憶させることができる。
【００８８】
「歪み変換行列Ｈの作成動作」
つぎに、コンテンツ画像を投影画像に変換するための歪み変換行列Ｈの作成動作について、図１３を参照して説明する。
【００８９】
投影システムは、先ずステップＳ５１において、投影制御装置３の制御に従って、カメラ２により投影面１０の投影領域を撮像し、撮像画像を取得する。上述したように、カメラ２は、図３に示したように、投影面１０に対するユーザの視点位置が撮像位置となるように設置されている。
【００９０】
次のステップＳ５２において、投影制御装置３は、ステップＳ５１にて取得した撮像画像中の投影面の画像上に、コンテンツ画像を投影したい領域を設定する。このコンテンツ画像を投影したい領域は、図４における画像投影領域１１１である。このとき、投影制御装置３は、撮像画像上における画像投影領域１１１を特定する頂点位置を設定する。このとき、投影制御装置３は、カメラ２により撮像した撮像画像を表示装置４に表示させ、キーボード５及びマウス６の操作によって撮像画像上に指定された４個の頂点Ｃ１、Ｃ２、Ｃ３、Ｃ４を認識する。例えば、撮像画像上に長方形を上書きするようにキーボード５及びマウス６を操作させ、当該長方形の頂点を認識しても良く、マウス６により画像投影領域の４個の頂点のみを選択させても良い。
【００９１】
なお、撮像画像に設定した矩形の画像投影領域１１１の頂点をＣ１（ｘ１，ｙ１），Ｃ２（ｘ２，ｙ２），Ｃ３（ｘ３，ｙ３），Ｃ４（ｘ４，ｙ４）と表し、投影画像上の画像投影領域１１２の頂点（図４でいう画像投影領域１１２）をＰ１（ｕ１，ｖ１），Ｐ２（ｕ２，ｖ２），Ｐ３（ｕ３，ｖ３），Ｐ４（ｕ４，ｖ４）と表し、コンテンツ画像領域１１３の頂点をＩ１（ｓ１，ｔ１），Ｉ２（ｓ２，ｔ２），Ｉ３（ｓ３，ｔ３），Ｉ４（ｓ４，ｔ４）と表す。
【００９２】
次のステップＳ５３において、投影制御装置３は、撮像画像上の画像投影領域１１１の頂点Ｃ１、Ｃ２、Ｃ３、Ｃ４と、コンテンツ画像領域１１３の頂点Ｉ１、Ｉ２、Ｉ３、Ｉ４との関係から、変換情報（歪み変換行列Ｈ）を求める。この歪み変換行列Ｈは、いわゆる射影変換行列となっている。このため、歪み変換行列Ｈは次のように求められる。この歪み変換行列Ｈが用いられるのは、コンテンツ画像データを撮像画像に変換する処理である。しかし、歪み変換行列Ｈの使用時の処理を簡便にするために、以下では、撮像画像からコンテンツ画像への変換として歪み変換行列Ｈを求めることについて説明する。
【００９３】
射影変換行列は、同値関係で表され定数倍の違いは意味を持たないため、下記の式１４のように表すことができる。なお、式１４中の“〜”が同値関係を表し、定数倍の違いを許して等しいことを意味する。  
【数８】
2010283674.tif 000010
【００９４】
式１４において、ｓ，ｔはコンテンツ画像１０３の座標を示し、ｘ，ｙは撮像画像１０１の座標を示す。式１４のｈ１１〜ｈ３２からなる歪み変換行列Ｈによって、撮像画像上の画像投影領域１１１をコンテンツ画像領域１１３に変換できることを示している。すなわち上記式１４の射影変換行列が歪み変換行列Ｈとなり、歪み変換行列Ｈは下記の式１５のように定義される。  
【数９】
2010283674.tif 000011
【００９５】
上記式１５の歪み変換行列Ｈ及び撮像画像上の画像投影領域１１１の座標（x, y）を用いて、コンテンツ画像領域１１３の座標（ｓ，ｔ）を表現すると、ｓ，ｔは、非同次表現に直され、それぞれ下記の式１６，式１７のように表現される。  
【数１０】
2010283674.tif 000012
【００９６】
上記式１６，式１７をそれぞれ展開すると、ｓについては式１８の演算式が得られ、ｔについては式１９の演算式が得られる。  
【数１１】
2010283674.tif 000013
【００９７】
上記式１８，式１９の演算式を整理すると、ｓは下記式２０のようになり、ｔは下記式２１のようになる。  
【数１２】
2010283674.tif 000014
【００９８】
上記式２０，式２１を行列式で表すと、下記式２２のようになる。  
【数１３】
2010283674.tif 000015
【００９９】
撮像画像上の画像投影領域１１１の頂点Ｃ１（ｘ１,ｙ１）、Ｃ２（ｘ２,ｙ２）、Ｃ３（ｘ３，ｙ３）、Ｃ４（ｘ４，ｙ４）と、コンテンツ画像領域１１３の頂点Ｉ１（ｓ１，ｔ１），Ｉ２（ｓ２，ｔ２），Ｉ３（ｓ３，ｔ３），Ｉ４（ｓ４，ｔ４）の対応する４個の頂点の座標を上記式２２に適用すると、
【数１４】
2010283674.tif 000016
【０１００】
式２３となる。したがって、歪み変換行列Hを定義する変換行列は式２４のように求まる。  
【数１５】
2010283674.tif 000017
【０１０１】
上記の式１４を用いて、撮像画像からコンテンツ画像への対応関係が決定されると、上述の図７に示したように、撮像画像１０１とコンテンツ画像１０３との対応関係を定義できる。このように、歪み変換行列Ｈを算出すると、投影制御装置３は、記憶装置２５に歪み変換行列Ｈを記憶させておく。そして、投影システムは、実際に投影面１０にコンテンツ画像を投影させる場合には、式１４の歪み変換行列Ｈを用いてコンテンツ画像データを撮像画像データに変換し、次に、撮像画像データを変換テーブルＴｃｂを用いて投影画像データに変換して投影画像を作成し、プロジェクタ１に供給する。
【０１０２】
以上詳細に説明したように、本発明を適用した投影システムによれば、プロジェクタ１の投光方向に直交する第１方向に周期的に明度が変化する縞パターンを投影及び撮像させて当該第１方向について位相シフト法を用いて撮像画像と投影画像との対応付けを行い、第１方向に直交する第２方向に周期的に明度が変化する縞パターンを投影及び撮像させて第２方向について位相シフト法を用いて撮像画像と投影画像との対応付けを行う。これにより、撮像画像と投影画像との画素間の対応関係を定めた変換テーブルＴｃｂ（第１変換情報）を作成する。次に、投影システムは、図３に示したように所定の視点位置に設けたカメラ２により撮像された撮像画像１０１上で投影領域である画像投影領域１１１を設定する（Ｓ５１，Ｓ５２）。次に、コンテンツ画像１０３上でのコンテンツ画像領域１１３を設定する。次に、設定されたコンテンツ画像領域１１３と撮像画像１０１上の画像投影領域１１１との関係に基づいて、当該画像投影領域に画像を投影するようにコンテンツ画像データを変換する歪み変換行列Ｈ（第２変換情報）を作成する。実際の投影時には、コンテンツ画像領域１１３が歪み変換行列Ｈにより撮像画像上の画像投影領域１１１に変換され、次に、この変換された撮像画像上の画像投影領域１１１が変換テーブルＴｃｂを用いて、投影画像上の画像投影領域１１２に変換され、最終的にプロジェクタ１からコンテンツ画像が投影面１０に対して投影される。
【０１０３】
従来の投影システムでは、投影面１０に凹凸がある場合には、観察者からコンテンツ画像は歪んで見えてしまうが、この投影システムを使うと、位相シフト法を用いて、投影面の凹凸形状に対応した変換テーブルＴｃｂを作成して、コンテンツ画像を歪み変換行列Ｈを用いて変換された撮像画像上の画像投影領域１１１を変換するため、観察者から見て、投影面１０に対して歪みのないコンテンツ画像を投影することができる。したがって、この投影システムによれば、投影面１０に凹凸がある場合やプロジェクタ１と投影面１０とが正対していない場合であっても、画像の歪み補正を簡単且つ精度良く行うことができる
また、この第１実施形態として示す投影システムによれば、位相シフト法を用いて行われた撮像画像と投影画像との対応付けを、空間コード化法を用いて修正して、変換テーブルＴｃｂを作成するので、位相とびのない位相画像を作成でき、撮像画像と投影画像との対応付を高精度なものとすることができる。したがって、投影システムによれば、投影面１０の凹凸度合いが大きい場合でも、歪みのないコンテンツ画像を投影できる。
【０１０４】
［第２実施形態］
つぎに、第２実施形態として示す投影システムについて説明する。なお、上述の第１実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。
【０１０５】
第２実施形態として示す投影システムは、図２０に示すように、投影画像を見る観察者が投影面１０に正対しており、投影面１０に正対した位置から投影面１０に投影したコンテンツ画像を見た場合に歪みの無い投影像を提供するものである。この投影面１０に正対した位置から見て歪みの無い投影像とは、投影面１０中の画像を投影したい長方形の頂点Ｓ１、Ｓ２、Ｓ３、Ｓ４に対して、コンテンツ画像の頂点Ｉ１、Ｉ２、Ｉ３、Ｉ４が一致して投影されることである。なお、以下の説明では、例えば壁のような面においてユーザが任意に選択できる４点を投影面１０の頂点Ｓ１，Ｓ２，Ｓ３，Ｓ４を設定した場合について説明する。
【０１０６】
そのためには、図２１に示すように、投影面１０中の頂点Ｓ１、Ｓ２、Ｓ３、Ｓ４に対応する撮像画像１０１中の矩形領域の頂点Ｃ１、Ｃ２、Ｃ３、Ｃ４に、コンテンツ画像領域１１３の頂点Ｉ１、Ｉ２、Ｉ３、Ｉ４を一致させて投影する必要がある。
【０１０７】
一方、投影システムにおいては、カメラ２の撮像位置とプロジェクタ１の投影位置が異なる。このため、投影画像１０２上の投影面１０と、撮像画像１０１上の投影面１０とは、その形状が異なる。観察者が投影面１０に正対した位置から歪みの無いコンテンツ画像を見るためには、投影領域Ｓ１、Ｓ２、Ｓ３、Ｓ４に、コンテンツ画像領域１１３が一致して投影されればよい。このように投影するためには、投影面上の投影領域の頂点Ｓ１、Ｓ２、Ｓ３、Ｓ４と撮像画像上の画像投影領域の頂点Ｃ１、Ｃ２、Ｃ３、Ｃ４との関係、撮像画像上の画像投影領域の頂点Ｃ１、Ｃ２、Ｃ３、Ｃ４とコンテンツ画像領域１１３の頂点Ｉ１、Ｉ２、Ｉ３、Ｉ４との関係が分かり、撮像画像上の画像投影領域１１１の各画素を投影画像上の画像投影領域１１２の各画素に対応付けることができれば、投影システムは投影面１０に正対した位置から見て歪みの無いコンテンツ画像を投影することができる。
【０１０８】
投影面１０の頂点Ｓ１、Ｓ２、Ｓ３、Ｓ４と、当該頂点Ｓ１、Ｓ２、Ｓ３、Ｓ４に対応する撮像画像１０１における画像投影領域１１１の頂点Ｃ１、Ｃ２、Ｃ３、Ｃ４との関係は、先ず撮像画像１０１における画像投影領域１１１の頂点Ｃ１、Ｃ２、Ｃ３、Ｃ４の座標を読み取ることにより求める。次に、撮像画像１０１における画像投影領域１１１と、投影画像１０２における画像投影領域１１２との関係は、第１実施形態において説明した時間縞パターン投影位相シフト法を用いて求められ、変換テーブルＴｃｂにより定義される。次に、コンテンツ画像１０３におけるコンテンツ画像領域１１３の頂点Ｉ１、Ｉ２、Ｉ３、Ｉ４と、撮像画像上の画像投影領域１１１の頂点Ｃ１、Ｃ２、Ｃ３、Ｃ４との関係は、第１実施形態において説明した射影変換の考え方を用いて求められ、求められる変換行列は歪み変換行列Ｑとして定義される。
【０１０９】
［投影システムの動作］
つぎに、上述したように構成された投影システムによる各種の動作について説明する。
【０１１０】
「投影パターンの投影動作」
投影システムは、実際に観察者が正対した状態でコンテンツ画像を投影させる場合に、図２２に示すような動作を行う。
【０１１１】
先ずステップＳ６１において、投影制御装置３は、記憶装置２５に記憶しておいた変換テーブルＴｃｂと歪み変換行列Ｑをメモリ２４に読み込む。この歪み変換行列Ｑは、上述した第１実施形態における歪み変換行列Ｈと同様に、コンテンツ画像データを変換するものである。この歪み変換行列Ｑは、投影面１０に正対した観察者から当該投影面１０に投影されたコンテンツ画像を見たときに、歪み無くコンテンツ画像を観察することができるようにコンテンツ画像を歪ませる。
【０１１２】
次のステップＳ６２において、投影制御装置３は、記憶装置２５からメモリ２４にコンテンツ画像を読み込む。
【０１１３】
次のステップＳ６３において、投影制御装置３は、ステップＳ６２にて読み込んだコンテンツ画像を、ステップＳ６１にて読み込んだ変換テーブルＴｃｂ、歪み変換行列Ｑを用いて投影画像に変換する。これにより、投影制御装置３は、プロジェクタ１から投影する投影画像を作成する。
【０１１４】
次のステップＳ６４において、投影制御装置３は、ステップＳ６３にて変換したコンテンツ画像である投影画像を、プロジェクタ１に出力する。これにより、プロジェクタ１から投影面１０に対して投影画像を投影する。
【０１１５】
「歪み変換行列Ｑの作成動作」
つぎに、投影システムによる歪み変換行列Ｑの作成動作について、図２３を参照して説明する。
【０１１６】
先ず投影システムは、ステップＳ７１において、カメラ２により、投影面１０の投影領域を含む領域を撮像して、撮像画像を取得する。ここで、カメラ２による撮像領域と、部屋の壁などのコンテンツ画像を投影したい投影領域とは一致している必要はない。
【０１１７】
次のステップＳ７２において、図２１（ａ）のように、投影制御装置３は、ステップＳ７１にて取得した撮像画像１０１上で、コンテンツ画像を投影したい画像投影領域１１１を設定する。このとき、投影制御装置３は、表示装置４に撮像画像１０１を表示した状態で、画像投影領域１１１を指定するキーボード５及びマウス６の操作を検出する。これにより、投影制御装置３は、投影面１０の頂点Ｓ１，Ｓ２，Ｓ３，Ｓ４に対応する画像投影領域１１１の頂点Ｃ１，Ｃ２，Ｃ３，Ｃ４を検出する。ここで、第２実施形態においては、観察者の視点位置と投影面１０とを正対させ、カメラ２と投影面１０とを正対させていないので、撮像画像１０１に現れる画像投影領域１１１は、歪んだ形状となる。
【０１１８】
このとき、投影制御装置３は、第１実施形態と同様に、変換テーブルＴｃｂによる変換を行うことにより、撮像画像１０１中の画像投影領域１１１の画像データを、投影画像１０２中の画像投影領域１１２の画像データに変換する。
【０１１９】
次のステップＳ７３において、投影制御装置３は、ステップＳ７２にて求めた撮像画像１０１上の画像投影領域１１１の頂点Ｃ１、Ｃ２、Ｃ３、Ｃ４と、コンテンツ画像１０３におけるコンテンツ画像領域１１３の頂点Ｉ１、Ｉ２、Ｉ３、Ｉ４との関係を表す歪み変換行列Ｑを算出する。この歪み変換行列Ｑの算出処理は、下記のようになる。
【０１２０】
ここで、射影変換行列は、同値関係で表され定数倍の違いは意味を持たないため、下記の式２５のように表すことができる。なお、式２５中の“〜”が同値関係を表し、定数倍の違いを許して等しいことを意味する。  
【数１６】
2010283674.tif 000018
【０１２１】
式２５において、ｓ，ｔはコンテンツ画像領域１１３の座標を示し、ｘ，ｙは撮像画像上の画像投影領域１１１の座標を示す。式２５のｑ１１〜ｑ３２からなる歪み変換行列Ｑによって、画像投影領域１１１をコンテンツ画像領域１１３へ変換できることを示している。すなわち上記式１４の射影変換行列が歪み変換行列Ｑとなり、歪み変換行列Ｑは下記の式２６のように定義される。  
【数１７】
2010283674.tif 000019
【０１２２】
上記式２６の歪み変換行列Ｑ及び画像投影領域１１１の座標（ｘ，ｙ）を用いて、コンテンツ画像領域１１３の座標（ｓ，ｔ）を表現すると、ｓ，ｔは、非同次表現に直され、それぞれ下記の式２７，式２８のように表現される。  
【数１８】
2010283674.tif 000020
【０１２３】
上記式２７，式２８をそれぞれ展開すると、ｓについては式２９の演算式が得られ、ｔについては式３０の演算式が得られる。  
【数１９】
2010283674.tif 000021
【０１２４】
上記式２９，式３０の演算式を整理すると、ｓは下記式３１のようになり、ｔは下記式３２のようになる。  
【数２０】
2010283674.tif 000022
【０１２５】
上記式３１，式３２を行列式で表すと、下記式３３のようになる。  
【数２１】
2010283674.tif 000023
【０１２６】
画像投影領域１１１の頂点Ｃ１（ｘ１，ｙ１）、Ｃ２（ｘ２，ｙ２）、Ｃ３（ｘ３，ｙ３）、Ｃ４（ｘ４，ｙ４）と、コンテンツ画像領域１１３の頂点Ｉ１（ｓ１，ｔ１），Ｉ２（ｓ２，ｔ２），Ｉ３（ｓ３，ｔ３），Ｉ４（ｓ４，ｔ４）の対応する４個の頂点の座標を上記式３３に適用すると、
【数２２】
2010283674.tif 000024
【０１２７】
となる。したがって、歪み変換行列Ｑを定義する変換行列は式３５のように求まる。  
【数２３】
2010283674.tif 000025
【０１２８】
上記の式３５を用いて、撮像画像からコンテンツ画像への対応関係が決定されると、上述の図７に示したように、撮像画像１０１とコンテンツ画像１０３との対応関係を定義できる。このように、歪み変換行列Ｑを算出すると、投影制御装置３は、記憶装置２５に歪み変換行列Ｑを記憶させておく。そして、投影システムは、実際に投影面１０にコンテンツ画像を投影させる場合には、コンテンツ画像データを歪み変換行列Ｑを用いて撮像画像データに変換し、次に、撮像画像データを変換テーブルＴｃｂを用いて投影画像データに変換して投影画像を作成し、プロジェクタ１に供給する。
【０１２９】
また、歪み変換行列Ｑは、コンテンツ画像１０３の画素のサンプリング格子点に対して、変換画素がずれた位置に変換される。このため、撮像画像１０１の各画素の輝度値を得るために、投影制御装置３は、変換された座標周辺のコンテンツ画像１０３の輝度値を使って補間する。輝度値の補間方法としては、バイリニア法、バイキュービック法、また、テーブルを作成して補間する方法のどの方法を使っても良い。
【０１３０】
以上のように、投影システムは、変換テーブルＴｃｂと歪み変換行列Ｑを用いてコンテンツ画像データを変換することにより、投影面１０に正対している観察者から見て歪みのない投影画像を投影できる。
【０１３１】
以上詳細に説明したように、本発明を適用した第２実施形態として示した投影システムによれば、投影面１０に正対した視点位置であっても、第１実施形態と同様に、コンテンツ画像データを歪み変換行列Ｑにより変換して、投影面１０に対して歪みのないコンテンツ画像を投影できる。
【０１３２】
［第３実施形態］
つぎに、第３実施形態として示す投影システムについて説明する。なお、上述の実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。
【０１３３】
第３実施形態として示す投影システムは、歪み変換行列Ｑを算出する処理において、撮像画像１０１に対して所定の画像処理を行うことによって、投影面１０の頂点Ｓ１，Ｓ２，Ｓ３，Ｓ４に対応した画像投影領域１１１の頂点Ｃ１，Ｃ２，Ｃ３，Ｃ４を検出する。
【０１３４】
この投影システムにおいて、図２４に示すように、投影面１０の縁部には、投影枠１０ａが設けられている。この投影枠１０ａは、投影面１０の領域を表す役割を持ち、投影面１０の色とは異なる色となっている。投影枠１０ａは、通常においてプロジェクタ１を使用する場合に使われる、内側の投影面１０が白色であり縁部が黒色で縁取りをされたスクリーンが挙げられる。
【０１３５】
このような投影面１０及び投影枠１０ａをカメラ２により撮像すると、撮像画像１０１には、投影面１０と投影枠１０ａとで大きなコントラストが現れる。このため、投影制御装置３は、画像処理により投影面１０の画像投影領域１１１の頂点Ｃ１、Ｃ２、Ｃ３、Ｃ４を検出できる。この画像処理としては、例えば、撮像画像１０１を微分してエッジを抽出し、抽出されたエッジから直線を検出し、直線の交点として画像投影領域１１１の頂点Ｃ１、Ｃ２、Ｃ３、Ｃ４を求める方法が挙げられる。画像処理の他の例としては、頂点検出オペレータを使って、画像投影領域１１１の頂点Ｃ１、Ｃ２、Ｃ３、Ｃ４を直接検出する方法が挙げられる。
【０１３６】
このような投影システムは、図２５に示すように、ステップＳ８１において、カメラ２により、投影面１０の投影領域を撮像して、撮像画像１０１を取得する。
【０１３７】
次のステップＳ８２において、投影制御装置３は、ステップＳ８１にて取得した撮像画像１０１上で、コンテンツ画像を投影したい画像投影領域１１１を設定する。このとき、投影制御装置３は、撮像画像１０１に対して画像処理を行うことにより撮像画像１０１中の画像投影領域１１１の頂点Ｃ１，Ｃ２，Ｃ３，Ｃ４を自動的に検出する。「自動的に」とは、「手動によることなく」という意味である。
【０１３８】
次のステップＳ８３において、投影制御装置３は、投影画像１０１上の画像投影領域１１１の頂点Ｃ１、Ｃ２、Ｃ３、Ｃ４と、コンテンツ画像１０３におけるコンテンツ画像領域１１３の頂点Ｉ１、Ｉ２、Ｉ３、Ｉ４との関係を表す歪み変換行列Ｑを算出する。
【０１３９】
以上のように、第３実施形態として示す投影システムによれば、所定の画像処理によって撮像画像１０１から頂点Ｓ１，Ｓ２，Ｓ３，Ｓ４を自動的に検出できるので、撮像画像１０１内で画像投影領域１１１を設定する作業を、手作業で行うよりも効率的、短時間に行うことができる。
【０１４０】
［第４実施形態］
つぎに、第４実施形態として示す投影システムについて説明する。なお、上述の実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。
【０１４１】
第４実施形態として示す投影システムは、プロジェクタ１の画像投影領域に付されたマークの位置を検出して、撮像画像１０１内の画像投影領域１１１の頂点を求めるものである。
【０１４２】
第４実施形態として示す投影システムは、投影面１０を特定する頂点Ｓ１，Ｓ２，Ｓ３，Ｓ４の目安となるものが無い環境で、投影画像を投影する場面を想定している。例えば、投影面１０としては、部屋の壁などが挙げられる。そして、投影面１０の頂点Ｓ１，Ｓ２，Ｓ３，Ｓ４を認識して歪み変換行列Ｑを作成する場合に、図２６に示すように、ユーザが投影面１０の頂点Ｓ１，Ｓ２，Ｓ３，Ｓ４としたい位置にマーク１０６を貼付する。このマーク１０６は、取り外しが可能なシールのようなものである。このマーク１０６としては、投影面１０の色に対して高いコントラストを持つ色のものであれば良い。また、マーク１０６の形状は、画像処理による検出精度の高い円や四角形が望まれるが、これに限定しなくても良い。
【０１４３】
マーク１０６を貼付した状態で、投影システムは、カメラ２により貼付した全てのマーク１０６を含む撮像範囲で撮像を行って、撮像画像１０１を取得する。そして、投影システムは、撮像画像１０１に含まれているマーク１０６の画像内位置を、画像投影領域１１１の頂点Ｃ１，Ｃ２，Ｃ３，Ｃ４として自動的に検出する。このマーク１０６の検出方法としては、第３実施形態と同様に所定の画像処理である。また、撮像画像１０１内のマーク１０６の座標は、マーク１０６が円の場合には、撮像画像１０１中でマーク１０６の重心を求めることにより容易に検出することができる。
【０１４４】
そして、投影システムは、撮像画像１０１を用いて歪み変換行列Ｑを算出した後、投影面１０に貼られたマーク１０６を取り除く。これにより、ユーザが投影したい領域に、投影面１０に正対した視点位置から歪みの無いコンテンツ画像を投影することができる。
【０１４５】
このような投影システムは、図２７に示すように、先ずステップＳ９１にてユーザにより投影面１０の頂点Ｓ１，Ｓ２，Ｓ３，Ｓ４としたい位置にマーク１０６が貼付されると、ステップＳ９２にて、カメラ２により当該マーク１０６を含む領域を撮像する。
【０１４６】
次のステップＳ９３において、投影制御装置３は、ステップＳ９２にて取得した撮像画像１０１上で、コンテンツ画像を投影したい画像投影領域１１１を設定する。このとき、投影制御装置３は、撮像画像１０１に対して画像処理を行うことにより撮像画像１０１中のマーク１０６を自動的に検出して、画像投影領域１１１の頂点Ｃ１，Ｃ２，Ｃ３，Ｃ４を自動的に検出する。
【０１４７】
次のステップＳ９４において、投影制御装置３は、ステップ９３にて求めた撮像画像１０１上の画像投影領域１１１の頂点Ｃ１、Ｃ２、Ｃ３、Ｃ４と、コンテンツ画像１０３におけるコンテンツ画像領域１１３の頂点Ｉ１、Ｉ２、Ｉ３、Ｉ４との関係を表す歪み変換行列Ｑを算出する。
【０１４８】
その後のステップＳ９５において、ユーザにより投影面１０に貼付したマーク１０６を取り外す。
【０１４９】
以上のように、第３実施形態として示す投影システムによれば、撮像画像１０１内で画像投影領域１１１を設定する作業を、手作業で行うよりも効率的、短時間に行うことができる。特に、投影面１０を特定する頂点Ｓ１，Ｓ２，Ｓ３，Ｓ４を示すものがない場合であっても、ユーザによりマーク１０６を貼るだけで、壁などの面に対して所望の位置及び広さでコンテンツ画像を投影することができる。
【０１５０】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【符号の説明】
【０１５１】
１  プロジェクタ
２  カメラ
３  投影制御装置
４  表示装置
５  キーボード
６  マウス
１０  投影面
２１  画像入力部
２２  入力画像メモリ
２３  演算部
２４  メモリ
２５  記憶装置
２６  制御部
２７  出力画像メモリ
２８  画像出力部
１０１  撮像画像
１０２  投影画像
１０３  コンテンツ画像
１１１，１１２  画像投影領域
１１３  コンテンツ画像領域
【図１】
2010283674.tif 000026
【図２】
2010283674.tif 000027
【図３】
2010283674.tif 000028
【図４】
2010283674.tif 000029
【図５】
2010283674.tif 000030
【図６】
2010283674.tif 000031
【図７】
2010283674.tif 000032
【図８】
2010283674.tif 000033
【図９】
2010283674.tif 000034
【図１０】
2010283674.tif 000035
【図１１】
2010283674.tif 000036
【図１２】
2010283674.tif 000037
【図１３】
2010283674.tif 000038
【図１８】
2010283674.tif 000039
【図１９】
2010283674.tif 000040
【図２０】
2010283674.tif 000041
【図２１】
2010283674.tif 000042
【図２２】
2010283674.tif 000043
【図２３】
2010283674.tif 000044
【図２４】
2010283674.tif 000045
【図２５】
2010283674.tif 000046
【図２６】
2010283674.tif 000047
【図２７】
2010283674.tif 000048
【図１４】
2010283674.tif 000049
【図１５】
2010283674.tif 000050
【図１６】
2010283674.tif 000051
【図１７】
2010283674.tif 000052