(57)【要約】 【課題】校正用カメラの設置精度に依存することなく、投影画像データに対する幾何補正を精度良く実現する。【解決手段】本願発明に係る画像処理装置は、投影画像を投影するスクリーンの三次元位置を取得する取得手段と、取得手段により取得された三次元位置に基づいて、スクリーンに投影される投影画像の幾何補正を行う補正手段と、を備えることを特徴とする。【選択図】図４
2013165344.tif 000002
【特許請求の範囲】
【請求項１】
投影画像を投影するスクリーンの三次元位置を取得する取得手段と、
前記取得手段により取得された三次元位置に基づいて、前記スクリーンに投影される投影画像の幾何補正を行う補正手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記三次元位置は、複数の視点から撮影することにより得られた画像データから算出された距離情報に基づいて決定されることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正手段は、前記取得手段により取得された三次元位置に基づいて、前記投影画像の幾何補正を示す変換パラメータを算出し、算出された変換パラメータに基づいて投影画像の幾何補正を行うことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記取得手段は、前記投影画像の４隅の点、或いは格子状の模様を示す前記投影画像における格子点に従って三次元位置を取得することを特徴とする請求項１乃至３のうちのいずれか１項に記載の画像処理装置。
【請求項５】
前記補正手段による補正は画像データの射影変換であり、
前記変換パラメータは、前記射影変換のパラメータである
ことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
投影画像を投影するスクリーンの三次元位置を取得する取得工程と、
前記取得手段により取得された三次元位置に基づいて、前記スクリーンに投影される投影画像の幾何補正を行う補正工程と、
を備えることを特徴とする画像処理方法。
【請求項７】
前記三次元位置は、複数の視点から撮影することにより得られた画像データから算出された距離情報に基づいて決定されることを特徴とする請求項６に記載の画像処理方法。
【請求項８】
前記補正工程は、前記取得工程により取得された三次元位置に基づいて、前記投影画像の幾何補正を示す変換パラメータを算出し、算出された変換パラメータに基づいて投影画像の幾何補正を行うことを特徴とする請求項６又は７に記載の画像処理方法。
【請求項９】
前記取得工程は、前記投影画像の４隅の点、或いは格子状の模様を示す前記投影画像における格子点に従って三次元位置を取得することを特徴とする請求項６乃至８のうちのいずれか１項に記載の画像処理方法。
【請求項１０】
前記補正工程による補正は画像データの射影変換であり、
前記変換パラメータは、前記射影変換のパラメータである
ことを特徴とする請求項８に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチプロジェクションシステムにおける投影画像を補正する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
近年、複数台のプロジェクタを用いて複数の投影画像を組み合わせて大画面として表示する、高精細画像を投影可能なマルチプロジェクションシステムの研究が盛んに行われている。このマルチプロジェクションシステムにおいて、投影画像の位置合わせが重要である。投影画像の位置精度は、プロジェクタの設置精度に依存するため、大規模なマルチプロジェクションシステムでは、プロジェクタの設置精度を上げようとすると設置コストが多くかかることになる。
【０００３】
そこで、プロジェクタからの投影画像を校正用カメラで撮影し、その撮影結果に基づいてプロジェクタの姿勢を推定して画像を補正する方法が提案されている（例えば特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平８−２０１９１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１のような従来の手法では、２次元的な幾何補正を行うため校正用カメラがスクリーンに対して正対するように厳密に設定しなければ十分な補正効果が得られないという問題があった。
【０００６】
そこで本願発明は、校正用カメラの設置精度に依存することなく、投影画像データに対する幾何補正を精度良く実現する画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本願発明に係る画像処理装置は、投影画像を投影するスクリーンの三次元位置を取得する取得手段と、前記取得手段により取得された三次元位置に基づいて、前記スクリーンに投影される投影画像の幾何補正を行う補正手段と、を備えることを特徴とする画像処理装置。
【発明の効果】
【０００８】
本発明により、校正用カメラを厳密に設定しなくてもプロジェクタ間の位置合わせを精度よく実現することが可能になる。
【図面の簡単な説明】
【０００９】
【図１】本願発明の実施例による画像処理装置の構成例を示すブロック図である。
【図２】本願発明の実施例によるマルチプロジェクションシステムを模式的に示した図である。
【図３】校正用カメラの一例を模式的に示した図である。
【図４】本願発明の実施例による画像処理装置の機能構成を示す図である。
【図５】本発明の実施例による画像処理装置の処理手順を示すフロー図である。
【図６】距離情報算処理の処理手順を示すフロー図である。
【図７】参照点を説明するための図である。
【図８】参照点までの距離を算出する方法を説明するための図である。
【図９】変換パラメータ算出処理の処理手順を示すフロー図である。
【図１０】座標変換を説明するための図である。
【図１１】参照点と目標点の対応関係を説明するための図である。
【図１２】画像補正処理の処理手順を示すフロー図である。
【図１３】画像補正処理を説明するための図である。
【発明を実施するための形態】
【００１０】
（実施例１）
本実施例における画像処理装置の構成について、図１を参照して説明する。
【００１１】
図１は、本願発明の実施例による画像処理装置の構成例を示すブロック図である。画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インターフェース（Ｉ／Ｆ）１０４、表示Ｉ／Ｆ１０８、メインバス１０９を備える。
【００１２】
汎用Ｉ／Ｆ１０４は、カメラなどの撮像装置１０５や、マウス、キーボードなどの入力装置１０６、メモリーカードなどの外部メモリ１０７をメインバス１０９に接続させる。また、表示Ｉ／Ｆ１０８はモニタ１１０、プロジェクタ１１１などをメインバス１０９に接続させる。
【００１３】
以下、ＣＰＵ１０１がＨＤＤ１０３に格納された各種ソフトウェア（コンピュータプログラム）に基づいて実現される各種処理について説明する。
【００１４】
まず、ＣＰＵ１０１は、ＨＤＤ１０３に格納されている画像処理アプリケーションを起動し、ＲＡＭ１０２に展開するとともに、表示Ｉ／Ｆ１０８を介してモニタ１１０やプロジェクタ１１１にユーザインターフェース（ＵＩ）を表示する。
【００１５】
続いて、ＨＤＤ１０３や外部メモリ１０７に格納されている各種データ、撮像装置１０５で撮影された画像データ、入力装置１０６からの指示などがＲＡＭ１０２に転送される。
【００１６】
さらに、画像処理アプリケーション内の処理に従って、ＲＡＭ１０２に格納されているデータに対してＣＰＵ１０１が各種演算を実行し、演算結果が表示Ｉ／Ｆ１０８を介してモニタ１１０やプロジェクタ１１１に表示される。また、ＨＤＤ１０３、外部メモリ１０７にも格納される。
【００１７】
上記の構成を備える画像処理装置が、複数のプロジェクタからの投影画像を複数の異なる視点から撮影（以下、多視点撮影）した画像データに基づいて投影画像を補正する処理の詳細について図２から図４を参照して説明する。
【００１８】
ここで、本願発明の実施例によるマルチプロジェクションシステムの全体的な態様について、図２を参照して説明する。
【００１９】
プロジェクタ２０２及び２０３は、スクリーン２０１に画像を投影するプロジェクタである。例えば、プロジェクタ２０２は、スクリーン２０１に対し投影画像２０４のように画像を投影させる。また、プロジェクタ２０３は、スクリーン２０１に対し投影画像２０５のように画像を投影させる。
【００２０】
なお、一般に、マルチプロジェクションシステムにおいて、投影画像間のつなぎ目を目立たなくさせるために、投影画像２０４及び投影画像２０５を一部重複させる。図２においても、投影画像２０４及び投影画像２０５の一部が重複している。
【００２１】
校正用カメラ２０６は、多視点撮影可能な撮像装置であり、投影画像２０４及び２０５を撮影する。ここで、図３を参照して多視点撮影可能な校正用カメラ２０６の一例を説明する。
【００２２】
校正用カメラは、図３に示す校正用カメラ３１１のように、カラー画像データを取得する９個の撮像部３０１〜３０９及び撮像ボタン３１０を備える。
【００２３】
９個の撮像部３０１〜３０９は、正方格子上に均等に配置されている。
【００２４】
ユーザが撮像ボタン３１０を押下すると、撮像部３０１〜３０９が被写体からの光情報をセンサ（撮像素子）で受光し、受光した信号がＡ／Ｄ変換されて、複数のカラー画像データ（デジタルデータ）が取得される。
【００２５】
このような多眼方式の撮像装置である校正用カメラにより、同一の被写体を複数の視点から撮像したカラー画像群を得ることができる。なお、ここでは撮像部の数を９個としたが撮像部の数は９個に限定されない。すなわち、複数の撮像部を有していればよい。また、ここでは９個の撮像部が正方格子上に均等に配置される例について説明したが、撮像部の配置は任意である。例えば、放射状や直線状に配置してもよいし、撮像部の相対的な位置関係は、任意のものとすることができる。
【００２６】
尚、校正用カメラ２０６はプロジェクタへの投影画像を確認する観察位置２０７の近傍に設置して撮影するのが好適であるが、投影画像を面撮影できる位置であれば任意の位置に設置することができる。
【００２７】
画像処理装置２０８はプロジェクタ２０２、プロジェクタ２０３及びカメラ２０４を制御する。本実施例では２台のプロジェクタによるマルチプロジェクションシステムを説明するが、２台以上のプロジェクタを用いてシステムを構成しても構わない。
【００２８】
図４は、本実施例に係る画像処理装置の機能構成を示す図である。なお、図４に示す機能は、画像処理アプリケーションソフトウェアを解釈するＣＰＵ１０１の指示に基づいて実行される。
【００２９】
多視点画像データ入力部４０１は、校正用カメラ３１１が撮影した複数の画像データを入力する。入力された複数の画像データは、汎用Ｉ／Ｆ１０５を介してＨＤＤ１０３に格納される。
【００３０】
投影画像データ入力部４０２は、プロジェクタ２０２及び２０３に投影させる画像に係る投影画像データを入力する。投影画像データはＨＤＤ１０３に予め格納されているデータや、外部メモリ１０７に格納されているデータであり、或いは、外部の撮像装置１０５で撮影された画像データであってもよい。
【００３１】
距離情報算出部４０３は、多視点画像データ入力部４０１に入力された画像データを取得し、画像データが表す画像における視差を利用してスクリーンに投影された投影画像上の点までの距離を算出する。算出した距離情報はＲＡＭ１０２やＨＤＤ１０３に記憶する。
【００３２】
変換パラメータ生成部４０４は、距離情報算出部４０３で算出した距離情報と、投影画像データ入力部４０２に入力された投影画像データとを取得し、投影画像データの幾何補正を実行するための変換パラメータを生成する。生成した変換パラメータはＲＡＭ１０２やＨＤＤ１０３に記憶する。
【００３３】
画像データ補正部４０５は、変換パラメータ生成部４０４で生成したパラメータと投影画像データ入力部４０２から入力した投影画像データとを取得し、複数のプロジェクタから投影される投影画像データが適切に投影されるように投影画像データを幾何補正する。
【００３４】
画像データ投影部４０６及び４０７は、投影画像データ入力部４０２から入力した投影画像データや、画像データ補正部で補正した画像データを取得し、プロジェクタ２０２及び２０３にスクリーン２０１へ投影させる。
【００３５】
（画像処理のフロー）
以下では、本発明の実施例による画像処理装置の処理手順について、図５のフローチャートを参照して説明する。
【００３６】
ステップＳ５０１では、投影画像データ入力部４０２から投影画像データを入力する。ここでの投影画像データは、白色の均一パターンやコントラストの高いチェッカーパターンなどの画像に係る校正用の校正用画像データである。以下、本実施例では、投影画像データとして入力される校正用画像データに係る画像が白色の均一パターンであるものとして説明する。
【００３７】
ステップＳ５０２では、ステップＳ５０１で入力した校正用画像データを、画像データ投影部４０６及び４０７を介して、それぞれプロジェクタ２０２及び２０３からスクリーン２０１に投影させる。
【００３８】
ステップＳ５０３では、ステップ５０２でスクリーン２０１に投影した各投影画像を校正用カメラ３１１で多視点撮影し、多視点撮影に係る複数の画像データを多視点画像データ入力部４０１に入力する。
【００３９】
ステップＳ５０４では、距離情報算出部４０３において、ステップＳ５０３で入力した複数の画像データに基づいて、撮影位置から、スクリーン上の投影画像の所定の位置までの距離を距離情報として算出する。ここで、所定の位置は、例えば、投影画像の角の４点や、チェッカーパターンの格子点の位置とすることができる。尚、算出方法の詳細は後述する。
【００４０】
ステップＳ５０５では、変換パラメータ生成部４０４において、投影画像を幾何補正するためのパラメータを算出する。尚、パラメータ算出方法の詳細は後述する。
【００４１】
ステップＳ５０６では、画像データ補正部４０５において、投影画像データ入力部４０２から入力した投影画像データを、ステップＳ５０６で算出した変換パラメータに基づいて幾何補正する。補正した投影画像データは、画像データ投影部４０６，４０７を介してスクリーンに投影する。尚、投影画像データを幾何補正する処理の詳細は後述する。
【００４２】
（距離情報算出処理）
以下では、ステップＳ５０４における距離情報算出処理の詳細について図６のフローチャート及び図７と図８の模式図を参照して説明する。
【００４３】
ステップＳ６０１では、ステップＳ５０３で入力した複数の画像データの中から基準画像データを選択する。基準画像データは任意に選択してもよい。例えば、撮像部３０５で撮影した画像データを基準画像データとすることができる。
【００４４】
ステップＳ６０２では、ステップＳ６０１で決定した基準画像データに係る基準画像の４隅の点を参照点として決定する。尚、参照点の決定方法は所望の方法で構わない。例えば、基準画像の輝度分布に基づいてエッジを検出し、さらに検出したエッジの変曲点を求めることで得られる。ここで、図７（ａ）は基準画像７０１のＸ軸上のあるラインにおける輝度分布を示している。投影面の重複領域は周辺領域より相対的に明るくなるため、複数のプロジェクタから画像が投影されていても、各投影画像のエッジを検出することが可能である。
【００４５】
また、図７（ｂ）のようなＵＩ上に基準画像７０１を表示して、ユーザが指定しても良い。図７（ｂ）において、表示領域７０２に、ステップＳ７０１で選択した基準画像７０１が表示される。
【００４６】
表示領域７０２には、参照点を決定するためのポインタも併せて表示され、ユーザは参照点７０３〜７０６のように、投影画像２０４の４隅を参照点として決定することができる。また、投影画像２０５に関しても同様にして参照点を決定することができる。
【００４７】
このように、ＵＩ上で基準画像７０１を参照しながら参照点を設定してもよい。勿論、ＵＩに関してはこれに限られるものではなく、各投影画像の参照点をユーザが指示可能であれば、どのようなインターフェースを用いても構わない。このようにして、本実施例では、２つの投影画像２０４及び２０５に関して、各４点、合計８点の参照点が決定される。
【００４８】
ステップＳ６０３では、ステップＳ７０２で決定した８点の参照点から、距離を算出するための参照点を選択する。
【００４９】
ステップＳ６０４では、一例として、撮像部３０３で撮影した点からステップＳ７０３で選択した参照点までの距離を算出する。距離の算出は、レンズ焦点法やステレオ法など所望の三次元計測法を用いることが可能である。また、レーザー光などを用いて参照点までの距離を別途取得してもよい。本実施例では、多視点画像の対応点の位置関係から三角測量の原理に基づいて距離を求める手法について図８を用いて説明する。
【００５０】
図８はスクリーン２０１を撮像部３０４と撮像部３０６から撮影した場合における参照点までの距離の算出方法を説明するための図である。
【００５１】
撮像部３０６はレンズ８０１と、センサ８０２とを有する。また、撮像部３０４は、レンズ８０３と、センサ８０４とを有する。
【００５２】
以下では、ステップＳ６０３で選択した参照点が、参照点Ｐ1及び参照点Ｐ2である場合を例に、撮像部３０６のレンズ８０１からＰ1までの距離Ｌ1，及び撮像部３０４のレンズ８０３からＰ2までの距離Ｌ2を算出する方法について説明する。なお、撮像部３０６を視点Ｃ1、撮像部３０４を視点Ｃ2とする。
【００５３】
参照点Ｐ1は、視点Ｃ1ではＰ1‘に投影され、視点Ｃ2ではＰ1‘‘に投影される。また、参照点Ｐ2は、視点Ｃ1ではＰ2’に投影され、視点Ｃ2ではＰ2‘‘に投影される。
【００５４】
一般に、異なる視点から撮影した画像を重ねても、投影点Ｐ1‘とＰ1‘‘、'及びＰ2‘とＰ2‘‘は一致せず、Ｐ1‘Ｐ1 ‘‘の移動量が生じる。ここで、視点Ｃ1、Ｃ2から各参照点までの距離Ｌ1，Ｌ2が焦点距離ｆより十分大きいとすると、参照点の結像面は視点Ｃ1、Ｃ2で一致するとみなす。
【００５５】
従って、視点Ｃ1と視点Ｃ2間の基線長をｄとすると、相似の関係から次式が成り立つ。
【００５６】
【数１】
2013165344.tif 000003
【００５７】
【数２】
2013165344.tif 000004
【００５８】
よって、参照点Ｐ1及び参照点Ｐ2までの距離Ｌ1、Ｌ2は次式のようになる。
【００５９】
【数３】
2013165344.tif 000005
【００６０】
【数４】
2013165344.tif 000006
【００６１】
以上の算出方法により、撮影位置から各参照点までの距離を算出することができる。
【００６２】
ここで、撮像部３０３の撮影位置を原点とし、水平方向をＸ軸、垂直方向をＹ軸、校正用カメラからの距離方向をＺ軸とする。さらに、基準画像の幅方向の画素位置をＸ座標及び高さ方向の画素位置をＹ座標、各参照点までの距離はＺ座標に対応させることで各参照点の三次元空間上の位置が得られる。
【００６３】
ステップＳ６０５では、ステップＳ６０２で決定した全ての参照点に係る距離の算出が終了したかどうかを判定する。終了していればステップＳ５０４の処理を終了し、終了していなければステップＳ６０３に移行して次の参照点を選択する。
【００６４】
（変換パラメータ算出処理）
以下では、ステップＳ５０５における変換パラメータ算出処理の詳細について図９のフローチャート及び図１０、図１１を参照して説明する。
【００６５】
ステップＳ９０１では、ステップＳ６０２で設定した各参照点を読み込んで、撮像部３０３を基準とした座標値からスクリーン２０１に正対する視点を基準とした座標値に変換する。
【００６６】
具体的に、座標変換処理について図１０を参照して説明する。
【００６７】
まず、スクリーン２０１からの法線ベクトルNを求める。各参照点はスクリーン面内に存在するため、少なくとも３点の座標値があればスクリーン２０１に対する法線ベクトルNが得られる。ここで、任意の参照点の座標をＰ1（x1, y1, z1）、Ｐ2（x2, y2, z2）、Ｐ3（x3, y3, z3）とすると、法線ベクトルＮ（nx， ny， nz）は次式のようになる。
【００６８】
【数５】
2013165344.tif 000007
【００６９】
【数６】
2013165344.tif 000008
【００７０】
【数７】
2013165344.tif 000009
【００７１】
次に、スクリーン２０１に正対する視点位置V(vx， vy， vz)を求める。媒介変数をｔ、スクリーン上の点をＰ0（x0, y0, z0）とすると、スクリーンに正対する視点位置は次式のようになる。
【００７２】
【数８】
2013165344.tif 000010
【００７３】
【数９】
2013165344.tif 000011
【００７４】
【数１０】
2013165344.tif 000012
【００７５】
ここで、媒介変数ｔは、所望の条件で与えて構わない。例えば、観察距離に応じて設定しても良いし、あるいは図１０に示すように、XY平面にあると仮定してvz=0として求めても良い。
【００７６】
次に、視点位置Vを中心としてスクリーン２０１に正対する新たな座標系X’Y’Z’に変換するための視点変換行列Mを生成する。スクリーン上の点Ｐ0を注目点、上向きの方向ベクトルをU（ux, uy, uz）とすると、変換後の各軸の単位方向ベクトルAx（axx, axy, axz）, Ay（ayx, ayy, ayz）, Az（azx, azy, azz）は次式となる。
【００７７】
【数１１】
2013165344.tif 000013
【００７８】
【数１２】
2013165344.tif 000014
【００７９】
【数１３】
2013165344.tif 000015
【００８０】
従って、視点変換行列Ｍは次式のようになる。
【００８１】
【数１４】
2013165344.tif 000016
【００８２】
この視点変換行列Mを参照点の各座標に乗算することで、視点位置Vを中心とした座標系に変換可能である。従って、変換前の点Ｐ0（x0, y0, z0）を変換した点Ｐ0’（x0’, y0’, z0’）は次式のようになる。
【００８３】
【数１５】
2013165344.tif 000017
【００８４】
ここで、変換後の各参照点はスクリーン面上の点であるため視点Ｖからの距離、即ちＺ’座標が同一になるため、Ｘ’座標とＹ’座標の２次元で扱うことが可能になる。
【００８５】
ステップＳ９０２では、変換パラメータを算出する対象となる投影画像データを選択する。以下では、投影画像２０４に係る投影画像データを選択したものとして説明する。
【００８６】
ステップＳ９０３では、ステップＳ９０２で選択した投影画像データにおける４つの参照点Q1（x1, y1）、Q2（x2, y2）、Q3（x3, y3）、Q4（x4, y4）を取得する。
【００８７】
ステップＳ９０４では、投影画像の幅Ｗと高さＨを取得する。
【００８８】
ステップＳ９０５では、取得した４つの参照点が投影画像の４隅の点と対応するように目標点を決定する。参照点Q1、Q2、Q3、Q4に対応する目標点をそれぞれQ1’（x1’, y1’）、Q2’（x2’, y2’）、Q3’（x3’, y3’）、Q4’（x4’, y4’）とすると、対応関係は図１１のようになる。
【００８９】
ステップＳ９０６では、ステップＳ９０３で取得した参照点と、ステップＳ９０５で設定した目標点との対応関係に基づいて、ステップＳ９０２で選択した投影画像を幾何補正するための変換パラメータを算出する。幾何補正には射影変換を用いる。変換前の座標を（x, y）、変換後の座標を（x’, y’）とすると、射影変換は次式のようになる。
【００９０】
【数１６】
2013165344.tif 000018
【００９１】
【数１７】
2013165344.tif 000019
【００９２】
ここで、ａ1〜ａ8が変換パラメータである。変換パラメータ数は８個であるため変換前後の点、即ち参照点と目標点の対応が４点あれば変換パラメータを得られる。従って、変換パラメータは次式で算出される。
【００９３】
【数１８】
2013165344.tif 000020
【００９４】
ステップＳ９０７では、全ての投影画像の変換パラメータ算出が終了したかどうかを判定する。変換パラメータ算出が終了していればステップＳ５０５の処理を終了し、終了していなければステップＳ９０２に移行して処理を継続する。
【００９５】
（投影画像補正処理）
以下では、ステップＳ５０６における投影画像補正処理の詳細について図１２のフローチャートを参照して説明する。
【００９６】
ステップＳ１２０１では、ステップＳ９０１で求めたX’Y’Z’座標系において、投影画像の表示領域を設定する。
【００９７】
図１３（ａ）に示すように、表示領域１３０１は投影画像２０４及び２０５からなる投影領域１１０２に内包される矩形として決定する。なお、投影領域１１０２の大きさは、最終的に投影する画像のアスペクト比に応じた最大矩形を指定するのが好適である。その場合は投影画像のアスペクト比を入力することで自動的に決定可能である。勿論、図８（ｂ）で説明したようなＵＩなどから手動で決定しても構わない。
【００９８】
ステップＳ１２０２では、補正する投影画像を選択する。以下では投影画像２０４を選択したものとして説明する。
【００９９】
ステップＳ１２０３では、ステップＳ５０５で算出した変換パラメータから、ステップＳ１２０２で選択した投影画像に対応する変換パラメータを取得する。
【０１００】
ステップＳ１２０４では、補正する画素を選択する。尚、ここで選択する画素は、図１３（ｂ）に示すように、表示領域１３０１と投影画像２０４とが重複する領域１３０３に含まれる画素であり、非重複の領域１３０４における画素は選択されない。
【０１０１】
ステップＳ１２０５では、ステップＳ１２０４で選択した画素に対して幾何補正をする。幾何補正するための式はステップＳ１２０３で取得した変換パラメータを式１６及び式１７に代入することにより得られる。
【０１０２】
図１３（ｃ）は幾何補正の結果得られる画像を示している。幾何補正により、領域１３０３は、領域１３０５に変換される。一方、領域１３０４に対して幾何補正を適用すると領域１３０６に変換されるが、ステップＳ１２０４では選択されないため黒色にする。その結果、変換後の画像を投影すると、領域１３０３にだけ画像が表示されることになる。
【０１０３】
ステップＳ１２０６では、ステップＳ１２０２で選択した投影画像の全ての画素の補正が終了したか否かを判定する。終了していればステップＳ１２０７へ移行し、終了していなければステップＳ１２０３に移行して次の処理画素を選択する。
【０１０４】
ステップＳ１２０７では、全ての画像の補正が終了したかどうかを判定する。終了していればＳ５０６の処理を終了し、終了していなければステップＳ１２０２に移行して次の投影画像を選択する。
【０１０５】
以上の処理により、マルチプロジェクションシステムにおいて、校正用カメラを厳密に設置しなくても、精度良い位置合わせを実現することが可能になる。
【０１０６】
本実施例では、多視点撮影可能な校正用カメラを用いる。よって、アクティブな測距装置（例えば、赤外線を使った測距装置）を利用しなくとも投影画像の補正を行うことができる。また、本実施例では画像を用いることから投影画像の４隅を特定することができ、適切な幾何補正を実行することが可能となる。
【０１０７】
（実施例２）
実施例１では、ステップＳ５０４において距離情報算出部４０３が複数の画像データに基づいて距離情報を算出する。しかしながら、距離情報の算出はこれに限らない。例えば、赤外線を用いたアクティブ測距方式を用いても良い。赤外線を用いたアクティブ測距方式などの距離測定専用の機構を備えることにより、高精度に距離情報を取得することが可能になる。
【０１０８】
（その他の実施例）
実施例１における校正用画像データとして、コントラストが高く、格子状の模様のような格子状に分割されているチェッカーパターンなどを用いてもよい。この場合、チェッカーパターンの各格子点を参照点としてパターンの小領域毎に本手法を適用することで、プロジェクタのレンズなどにより発生する歪みも補正することが可能である。
【図１】
2013165344.tif 000021
【図３】
2013165344.tif 000022
【図４】
2013165344.tif 000023
【図５】
2013165344.tif 000024
【図６】
2013165344.tif 000025
【図９】
2013165344.tif 000026
【図１２】
2013165344.tif 000027
【図２】
2013165344.tif 000028
【図７】
2013165344.tif 000029
【図８】
2013165344.tif 000030
【図１０】
2013165344.tif 000031
【図１１】
2013165344.tif 000032
【図１３】
2013165344.tif 000033