(57)【特許請求の範囲】
【請求項１】
第１の投影装置を通して被投影画像を投影画像として投影するとともに、第２の投影装置を通して前記被投影画像を投影画像として、前記第１の投影装置による投影と同一の場所に重なるように投影する第０のステップと、
前記投影画像が重なった同一場所を撮像部が撮像した撮像画像を得る第１のステップと、
前記第１のステップで得られた前記撮像画像と前記被投影画像とに基づいて、前記第１の投影装置が投影する投影画像を補正して、補正された前記投影画像を前記同一の場所に投影する第２のステップと、
前記第２のステップで前記投影画像が投影された前記同一場所を前記撮像部が撮像した撮像画像を得る第３のステップと、
前記第３のステップで得られた前記撮像画像と被投影画像とに基づいて、前記第２の投影装置が投影する投影画像を補正して、補正された前記投影画像を前記同一の場所に投影する第４のステップと、
を有し、
前記第１のステップと前記第２のステップとを予め定めた複数の回数繰り返した後、前記第３のステップと前記第４のステップとを予め定めた複数の回数繰り返し行い、
前記第３のステップと前記第４のステップとを予め定めた複数の回数繰り返した後、予め定めた所定の回数となるまで再度前記第１のステップと前記第２のステップとを予め定めた複数の回数繰り返した後に前記第３のステップと前記第４のステップとを予め定めた複数の回数繰り返し行うこと
を特徴とする投影補正方法。
【請求項２】
前記第２のステップ、及び第４のステップで、画像の明るさを補正すること
を特徴とする請求項１に記載の投影補正方法。
【請求項３】
同一の内容の被投影画像を投影画像として同一の場所に重なるように投影する第１の投影装置、第２の投影装置と、
前記第１の投影装置と前記第２の投影装置によって投影された投影画像が重なった同一場所を撮像する撮像部と、
前記撮像部によって撮像された撮像画像と被投影画像とに基づいて、前記第１の投影装置が投影する投影画像を補正する第１の補正部と、
前記第１の補正部が補正した投影画像を前記第１の投影装置が前記同一の場所に投影した後に、前記同一場所を前記撮像部が撮像した撮像画像と被投影画像とに基づいて、前記第２の投影装置が投影する投影画像を補正する第２の補正部と、
を有し、
前記撮像部と前記第１の補正部とが予め定めた複数の回数、上記動作を繰り返した後、前記撮像部と前記第２の補正部とが上記動作を予め定めた複数の回数繰り返し行い、
前記撮像部と前記第２の補正部とが上記動作を予め定めた複数の回数繰り返した後、予め定めた所定の回数となるまで前記撮像部と前記第１の補正部とが上記動作を予め定めた複数の回数繰り返した後に前記撮像部と前記第２の補正部とが上記動作を予め定めた複数の回数繰り返し行うことを特徴とする投影補正装置。
【請求項４】
請求項１又は２に記載の投影補正方法を、コンピュータに実行させるための投影補正プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影補正方法、投影補正装置、及び投影補正プログラムに関する。
【背景技術】
【０００２】
複数のプロジェクタを使用して画像を投影するマルチプロジェクタシステムは、様々な用途に利用されている。例えば、各プロジェクタからの画像を繋ぎ合わせて巨大な画像を生成するタイリング法を用いたシステムが知られている。非特許文献1には、スクリーンに発生した影を消すため、２つのプロジェクタのうち、どちらのプロジェクタから投影された光が隠蔽されたかを判定し、スクリーン上に現れた影による欠損した輝度を補償する方法が記載されている。これらの例では、複数のプロジェクタを使うことの利点が発揮されている。
【０００３】
非特許文献1に記載の方法を含め、一般的に、プロジェクタを使ったフロント・プロジェクション、又はリア・プロジェクションでは、スクリーンを取り巻く照明環境に変化があると、スクリーン上の光学輝度が変化して、所望の画像が投影されないという問題があった。例えば、照明を消した暗室状態と蛍光灯を照らした環境では、スクリーン上の投影像においてそれぞれの輝度は異なる。また、スライドを使ったプレゼンテーションや遠隔会議システム等の環境では、スライドを投影した初期状態から照明状態が変化すると、スクリーン上での見え方が変化してしまう。
【０００４】
これに対して、非特許文献２には、１台のプロジェクタとカメラからなるシステムを使った輝度補正方法が記載されている。この方法では、プロジェクタからのＲＧＢ輝度値とカメラで観測されたＲＧＢ輝度値との間の相関関係に着目する。この方法はカラー混合行列（Color Mixing Matrix）と呼ばれる３×３の行列Ｖを使って、予め定めたＲＧＢ輝度値Ｃ=(ＣＲ，ＣＧ，ＣＢ)をカメラが観測するように、プロジェクタからのＲＧＢ出力値Ｐ=(ＰＲ，ＰＧ，ＰＢ) を補正する。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】J. Summet, M. Flagg, T. J. Cham, J. M. Rehg, and R. Sukthankar: ``Shadow Elimination and Blinding Light Suppression for Interactive Projected Displays", IEEE Transactions on Visualization and Computer Graphics, vol.13, no.3, pp.508-517, 2007.
【非特許文献２】K. Fujii, M. D. Grossberg, and S. K. Nayar: ``A Projector-Camera System with Real-Time Photometric Adaptation for Dynamic Environments", Proc. of IEEE Computer Vision and Pattern Recognition (CVPR), vol.1, pp.814-821, 2005.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献２に記載の技術では、スクリーンに発生した影を消去できないという欠点があった。以上のように、非特許文献１、２に記載の技術では、所望の画像を投影できないという欠点があった。
【０００７】
本発明は、上記の点に鑑みてなされたものであり、所望の画像を投影できる投影補正方法、投影補正装置、及び投影補正プログラムを提供する。
【課題を解決するための手段】
【０００８】
（１）本発明は、上記の課題を解決するためになされたものであり、本発明の一態様は、第１の投影装置と第２の投影装置が同一の内容の被投影画像データを同一の場所に重なるように投影し、投影画像を撮像する第１のステップと、前記第１のステップで撮像された画像の画像データと前記被投影画像データとに基づいて、前記第１の投影装置が投影する投影画像を補正して投影する第２のステップと、前記第２のステップで投影された投影画像を撮像する第３のステップと、前記第３のステップで撮像された画像の画像データと被投影画像データに基づいて、前記第２の投影装置が投影する投影画像を補正して投影する第４のステップと、を有することを特徴とする投影補正方法である。
【０００９】
（２）また、本発明の一態様は、上記の投影補正方法において、前記第１のステップと前記第２のステップを予め定めた回数繰り返した後、前記第３のステップと前記第４のステップを行うことを特徴とする。
【００１０】
（３）また、本発明の一態様は、上記の投影補正方法において、前記第２のステップ、及び第４のステップで、画像の明るさを補正することを特徴とする。
【００１１】
（４）また、本発明の一態様は、同一の内容の被投影画像を同一の場所に重なるように投影する第１の投影装置、第２の投影装置と、前記第１の投影装置と前記第２の投影装置によって投影された投影画像を撮像する撮像部と、前記撮像部によって撮像された前記投影画像の画像データと被投影画像データとに基づいて、前記第１の投影装置が投影する投影画像を補正する第１の補正部と、前記第１の補正部が補正した投影画像を前記第１の投影装置が投影した後に、前記撮像部によって撮像された前記投影画像の画像データと被投影画像データとに基づいて、前記第２の投影装置が投影する投影画像を補正する第２の補正部と、を有することを特徴とする投影補正装置である。
【００１２】
（５）また、本発明の一態様は、投影補正装置のコンピュータに、同一の内容の被投影画像データを同一の場所に重なるように投影し、投影画像を撮像する第１の手順、第１の手順で撮像された画像の画像データと前記被投影画像データとに基づいて、前記第１の投影装置が投影する投影画像を補正して投影する第２の手順、前記第２の手順で投影された投影画像を撮像する第３の手順、前記第３の手順で撮像された画像の画像データと被投影画像データに基づいて、前記第２の投影装置が投影する投影画像を補正して投影する第４の手順、を実行させる投影補正プログラムである。
【発明の効果】
【００１３】
本発明によれば、所望の画像を投影できる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態に係る投影補正装置の構成を示すブロック図である。
【図２】本実施形態に係る投影補正装置の動作の一例を示すフローチャートである。
【図３】本実施形態に係るフレーム処理を示すフローチャートである。
【図４】本実施形態に係る補正処理を示すフローチャートである。
【図５】本発明の第２の実施形態に係る投影補正装置の構成を示すブロック図である。
【図６】本実施形態に係る投影補正装置の動作の一例を示すフローチャートである。
【図７】本実施形態に係るフレーム処理を示すフローチャートである。
【図８】本実施形態に係る補正処理を示すフローチャートである。
【発明を実施するための形態】
【００１５】
（第１の実施形態）
以下、図面を参照しながら、本発明の第１の実施形態について詳しく説明する。
図１は、本発明の第１の実施形態に係る投影補正装置１の構成を示すブロック図である。図示する例では、投影補正装置１は、カメラ（撮像部）１０１、画像入力部１０２、フレーム処理部１０３、適応輝度補正部１０４−１（第１の補正部）、１０４−２（第２の補正部）（適応輝度補正部１０４−１、適応輝度補正部１０４−２を、適応輝度補正部１０４とも称す）、プロジェクタ１０５−１（第１の投影装置）、１０５−２（第２の投影装置）プロジェクタ１０５−１、プロジェクタ１０５−２を、プロジェクタ１０５とも称す）、コンテンツＤＢ（データベース）１０６、及び輝度補正ＤＢ（データベース）１０７を備える。
【００１６】
カメラ１０１は、スクリーンに投影された投影画像を撮像する。カメラ１０１は、撮像した画像の撮像画像データを画像入力部１０２に出力する。例えば、カメラ１０１は、天井付近等の上方に設置し、スクリーンのみが写るように撮像する。これにより、投影補正装置１では、スクリーン全体が隠れることなく投影画像全体を撮像できる。
画像入力部１０２は、カメラ１０１から入力された撮像画像データをフレーム処理部１０３へ出力する。
【００１７】
フレーム処理部１０３は、処理の開始時に、初期状態であることを示す初期化信号を適応輝度補正部１０４に出力する。ここで、処理の開始時とは、例えば、システムの起動時や、別の画像へ切り替えたとき、ユーザがリセット操作を行ったときなどである。
フレーム処理部１０３は、画像入力部１０２から入力された撮像画像データを適応輝度補正部１０４に出力する。フレーム処理部１０３は、撮像画像データと共に、後述するSＷ信号を適応輝度補正部１０４に出力する。SＷ信号とは、撮像画像データを適応輝度補正部１０４に出力したことを示す信号であり、複数ある適応輝度補正部１０４のうち、輝度信号の補正を行う適応輝度補正部１０４を示す情報である。輝度信号とは、フレーム処理部１０３によって、コンテンツＤＢ１０６から読み出されたオリジナル画像データの画素毎の輝度（明るさ）を示す信号である。フレーム処理部１０３が出力するＳＷ信号には、フレーム番号が付される。フレーム番号とは、フレーム処理部１０３が、入力された画像に対して、入力された順に付す番号であり、１から始まる自然数である。
フレーム処理部１０３は、フレーム番号が、予め定めた値になったときに、処理を終了する。
【００１８】
適応輝度補正部１０４は、入力された初期化信号に応じて、輝度補正ＤＢ１０７に記録されたパラメータの初期化を行う。なお、この初期化の詳細については、後述する。
適応輝度補正部１０４は、フレーム処理部１０３から入力されたＳＷ信号に基づいて、輝度信号の補正を行うか否かを判定する。適応輝度補正部１０４は、輝度信号の補正を行うと判定した場合には、コンテンツＤＢ１０５から、投影される画像データであるオリジナル画像データを読み出す。適応輝度補正部１０４は、読み出したオリジナル画像データと、フレーム処理部１０３から入力された撮像画像データとに基づいて、読み出したオリジナル画像データの輝度信号を補正し、補正した輝度信号をプロジェクタ１０５に出力する。
一方、適応輝度補正部１０４は、輝度信号の補正を行わないと判定した場合には、補正を行わずに輝度信号をプロジェクタ１０５に出力する。
適応輝度補正部１０４は、後述する、輝度補正に使用する補助補正量を輝度補正ＤＢ１０７に書き込み、読み出される。適応輝度補正部１０４は、後述する、ブレンディング・パラメータα、βを適応輝度補正部１０４から読み出す。
【００１９】
プロジェクタ１０５は、適応輝度補正部１０４から入力された輝度信号に基づき、画像をスクリーンに投影する。
コンテンツＤＢ１０６は、スクリーンに投影されるオリジナル画像データ（被投影画像データ）を保存する。輝度補正ＤＢ１０７は、適応輝度補正部１０４から、輝度補正に使用する補助補正量やブレンディング・パラメータを書き込まれ、記憶する。
【００２０】
次に、図２を参照して、本実施形態に係る投影補正装置１の動作を説明する。
ここでは、本実施形態における投影補正装置１で行われる各処理の詳細について説明する。
＜ＳＷ信号の生成処理とフレーム判定について＞
ここでは、フレーム処理部１０３において生成されるＳＷ信号の例について説明する。本実施形態では、ＳＷ信号は、フレーム番号に基づいて生成される。フレーム番号とは、フレーム処理部１０３が、入力された画像に対して、入力された順に付す番号であり、１から始まる自然数である。フレーム処理部１０３は、ＳＷ信号を、フレーム番号を用いて、例えば、以下のようにして生成する。
【００２１】
フレーム処理部１０３は、フレーム番号１からフレーム番号Ｆまでの撮像画像データに対しては、プロジェクタ１０５−１の補助補正量Ｄ１を更新するために用いられることを示すＳＷ信号を生成する。フレーム番号Ｆ＋１から２Ｆまでの撮像画像データに対しては、プロジェクタ１０５−２の補助補正量Ｄ２を更新するために用いられることを示すＳＷ信号を生成する。適応輝度補正部１０４が入力されたＳＷ信号に基づいてプロジェクタ１０５−１、２が行う２Ｆ回の画像に対する補正をフレーム判定と呼ぶ。
次回以降のフレーム判定でも、フレーム番号（ｍ）×Ｆ＋１から（ｍ＋１）×Ｆまでの撮像画像データに対しては、プロジェクタ１０５−１の補助補正量Ｄ１を更新するために用いられることを示すＳＷ信号を生成する。フレーム番号（ｍ＋１）×Ｆ＋１から（ｍ＋２）×Ｆまでの撮像画像データに対しては、プロジェクタ１０５−１の補助補正量Ｄ２を更新するために用いられることを示すＳＷ信号を生成する（ｍ＝０、１、・・・、Ｎ−２）。
【００２２】
フレーム処理部１０３は、上記の例では、撮像画像データに対して、最大でＮ×Ｆのフレーム番号を付す。適応輝度補正部１０４は、それぞれのフレーム番号に対応する撮像画像データを用いて補正処理を行う。例として、Ｆ＝２、Ｎ＝３の場合を例示する。フレーム番号１、２には、プロジェクタ１０５−１で補正処理を行うことを示すＳＷ信号を出力し、フレーム番号３、４には、プロジェクタ１０５−２で補正処理を行うことを示すＳＷ信号を出力する。ここまでが、第１回目のフレーム判定である。
フレーム番号５、６には、プロジェクタ１０５−１で補正処理を行うことを示すＳＷ信号を出力し、フレーム番号７、８には、プロジェクタ１０５−２で補正処理を行うことを示すＳＷ信号を出力する。ここまでが、第２回目のフレーム判定である。
【００２３】
＜補正に用いるパラメータの計算について＞
本実施形態において、カメラにより観測される輝度値Ｃは、式（１）に示すように、複数のプロジェクタから投影されるＲＧＢ輝度値の和で表される。
【００２４】
【数１】
0005654337.tif 000002
【００２５】
ここで、Ｐ１は式（２）で表される、適応輝度補正部１０４−１から出力されるＲＧＢ輝度値であり、Ｐ２は式（３）で表される、適応輝度補正部１０４−２から出力されるＲＧＢ輝度値である。また、Ｖ１は式（４）で表されるプロジェクタ１０５−１のカラー混合行列であり、Ｖ２は式（５）で表されるプロジェクタ１０５−２のカラー混合行列である。また、α、βは、投影画像の輝度を、プロジェクタ１０５−１、２双方のプロジェクタで分配するためのブレンディング・パラメータであり、１より小さな正の定数である。
【００２６】
【数２】
0005654337.tif 000003
【数３】
0005654337.tif 000004
【数４】
0005654337.tif 000005
【数５】
0005654337.tif 000006
【００２７】
式（１）に示されるＣは、撮像画像データの輝度値であり、式（６）のように表される。また、Ｆは、室内の照明などによる環境光成分を表し、式（７）のように表される。
【００２８】
【数６】
0005654337.tif 000007
【数７】
0005654337.tif 000008
【００２９】
適応輝度補正部１０４は、フレーム処理部１０３から初期化信号を入力されたときに、Ｖ１、Ｖ２、及びＦを計算し、その値は、輝度補正ＤＢ１０７に書き込まれる。Ｖ１、Ｖ２、及びＦの計算方法の一例について説明する。ここで、パラメータＶ１、Ｖ２、Ｆを計算するにあたっては、α＝β＝１とする。まず、適応輝度補正部１０４−１は、全画素が０のＲＧＢ値を持つサンプル画像のＲＧＢ輝度値Ｐ１を、プロジェクタ１０５−１、２に出力し、スクリーンに投影する。式（１）に従えば、撮像画像データの輝度値Ｃ＝Ｆとなり、Ｆが求まる。
【００３０】
次に、適応輝度補正部１０４−１は、別のサンプル画像を用い、プロジェクタ１０５−１に出力する。カメラ１は、投影された画像を撮像する。適応輝度補正部１０４−１は、フレーム処理部１０３から撮像画像データを入力され、撮像画像データの輝度値（Ｃ０と呼ぶ）を得る。
続いて、適応輝度補正部１０４−１は、Ｃ０を取得したのと同じサンプル画像を用い、ＲＧＢのうちＲ（赤）チャネルの出力をΔＰＲだけ変化させ、プロジェクタ１０５−１に出力する。カメラ１は、投影された画像を撮像する。適応輝度補正部１０４−１は、フレーム処理部１０３から撮像画像データを入力され、撮像画像データの輝度値（Ｃ１と呼ぶ）を得る。
【００３１】
適応輝度補正部１０４−１は、ΔＣ＝Ｃ１−Ｃ０を計算する。ΔＣのＲ、Ｇ、Ｂ、成分はそれぞれ、ΔＣＲ＝ＶＲＲ１ΔＰＲ、ΔＣＧ＝ＶＧＲ１ΔＰＲ、ΔＣＢ＝ＶＢＲ１ΔＰＲと表されるため、適応輝度補正部１０４−１は、ＶＲＲ１＝ΔＣＲ／ΔＰＲ、ＶＧＲ１＝ΔＣＧ／ΔＰＲ、ＶＢＲ１＝ΔＣＢ／ΔＰＲを計算する。適応輝度補正部１０４-１は、Ｇ（緑）、Ｂ（青）チャネルに対しても同様に計算する。また、適応輝度補正部１０４−２も同様に計算する。
【００３２】
＜輝度補正処理について＞
適応輝度補正部１０４−１、２から出力されるＲＧＢ輝度値Ｐ１、Ｐ２を次の式（８）、（９）のように表す。
【００３３】
【数８】
0005654337.tif 000009
【数９】
0005654337.tif 000010
【００３４】
ここで、補助補正量Ｄ１、Ｄ２は、補正のために導入されたパラメータであり、処理開始時に、適応輝度補正部１０４により、式（１０）、（１１）のように初期化される。補助補正量Ｄ１、Ｄ２は、補正を行う過程で適応輝度補正部１０４により変更されていく。
【００３５】
【数１０】
0005654337.tif 000011
【数１１】
0005654337.tif 000012
【００３６】
適応輝度補正部１０４は、式（８）、（９）に補助補正量Ｄ１、Ｄ２を代入することにより計算されたＲＧＢ輝度値Ｐ１、Ｐ２を計算する。適応輝度補正部１０４は、続いて、Ｐ１、Ｐ２に、ある正の定数α、β（以下ではブレンディング・パラメータと称する）を乗じた輝度値で表される画像データをそれぞれのプロジェクタ１０５−１、２に出力する。プロジェクタ１０５−１、２は、入力された該輝度値に基づいて、画像をスクリーンに投影する。ＲＧＢカメラ１０１は、画像がスクリーンに投影されたとき、式（１２）で表される輝度値Ｃ’を観測する。  
【００３７】
【数１２】
0005654337.tif 000013
【００３８】
適応輝度補正部１０４は、観測された輝度値Ｃ’が、オリジナル画像の輝度値である所望の輝度値Ｃとなるように、すなわち、式（１３）で示したΔＣの絶対値がある閾値よりも小さくなるように、プロジェクタから出力されるＲＧＢ輝度値Ｐ１、Ｐ２を逐次的に補正する。
【００３９】
【数１３】
0005654337.tif 000014
【００４０】
具体的には、以下の（ア）、（イ）の処理を繰り返し行う。
処理（ア）：適応輝度補正部１０４−１は、式（１４）に示すように、Ｄ１にΔＣ１（ここでは、ΔＣを、Ｄ１にのみ補正を加え、Ｄ２には補正を加えないということを明確にするために、ΔＣ１と表記する。）を加えることにより、補正後の補助補正量Ｄ１を求める。
【００４１】
【数１４】
0005654337.tif 000015
【００４２】
適応輝度補正部１０４−１は、このＤ１を式（８）に代入し、Ｐ１を求める。一方のプロジェクタ１０５−２は、補助補正値Ｄ２にΔＣ１を加えることなく、Ｄ２をそのまま用い、Ｄ２を、式（９）に代入することによりＰ２を求める。適応輝度補正部１０４−１、２は、このようにして求められたＰ１、Ｐ２に、ブレンディング・パラメータα、βそれぞれを乗じて生成したＲＧＢ輝度値を持つ画像データを、プロジェクタ１０５−１、２を通じて投影する。カメラ１０１は、投影画像を撮像し、輝度値Ｃ’を得る。式（１３）にＣ’を代入することにより、ΔＣを求める。以上が、処理（ア）である。
【００４３】
処理（イ）：適応輝度補正部１０４−２は、式（１５）に示すように、Ｄ２にΔＣ２（ここでは、ΔＣを、Ｄ２にのみ補正を加え、Ｄ１には補正を加えないということを明確にするために、ΔＣ２と表記する。）を加えることにより、補正後の補助補正量Ｄ２を求める。
【００４４】
【数１５】
0005654337.tif 000016
【００４５】
適応輝度補正部１０４−２は、このＤ２を式（９）に代入し、Ｐ２を求める。一方のプロジェクタ１０５−１は、補助補正値Ｄ１にΔＣ２を加えることなく、Ｄ１をそのまま用い、Ｄ１を、式（８）に代入することによりＰ1を求める。適応輝度補正部１０４−１、２は、このようにして求められたＰ１、Ｐ２に、ブレンディング・パラメータα、βそれぞれを乗じて生成したＲＧＢ輝度値を持つ画像データを、プロジェクタ１０５−１、２を通じて投影することにより、ΔＣを求める。以上が、処理（イ）である。
以後、（ア）、（イ）の処理を繰り返し行うことにより、Ｐ１、Ｐ２を更新していく。
【００４６】
＜画像収束判定について＞
上記の（ア）、（イ）の操作を、繰り返し行い、式（１６）に示すように｜ΔＣ｜が、予め定めた閾値Ａよりも小さくなったとき、Ｐ１、Ｐ２に基づいてスクリーンに投影される画像は収束したと判定する。
【００４７】
【数１６】
0005654337.tif 000017
【００４８】
図２は、本実施形態に係る投影補正装置１の動作を示すフローチャートである。
（ステップＳ１１）フレーム処理部１０３は、初期化信号を、適応輝度補正部１０４に出力する。適応輝度補正部１０４は、フレーム処理部１０３から初期化信号を入力されたときに、輝度補正ＤＢ１０７内に保存された、カラー混合行列Ｖ１、Ｖ２、Ｆ、補助補正量Ｄ１、Ｄ２、及びブレンディング・パラメータα、βを初期化する。具体的には、適応輝度補正部１０４は、カラー混合行列Ｖ１、Ｖ２、及び環境光のＲＧＢ成分を表すＦを、上述したように計算し、計算した値を代入する。なお、Ｖ１、Ｖ２、及びＦは、投影補正装置１を起動するときに一度だけ計算する。計算された、Ｖ１、Ｖ２、及びＦは、輝度補正ＤＢ１０７内に保存しておき、次回以降にステップＳ１１で適応輝度補正部１０４が初期化を行う場合は、Ｖ１、Ｖ２、及びＦは、再度計算する必要はなく、輝度補正ＤＢ１０７内に保存してあるＶ１、Ｖ２、及びＦをそのまま用いる。適応輝度補正部１０４は、補助補正量Ｄ１、Ｄ２に「０」を代入し、ブレンディング・パラメータα、βに、１以下の正の値を代入する。その後ステップＳ１２に進む。
【００４９】
（ステップS１２）カメラ１０１は、プロジェクタ１０５−１、２によってスクリーンに投影された投影画像を撮像する。カメラ１０１は撮像した撮像画像データを画像入力部１０２に出力する。その後ステップS１３に進む。
（ステップS１３）フレーム処理部１０３は、フレーム処理を行う。本ステップS１３の処理の詳細は、図３を用いて後述する。その後ステップS１４に進む。
【００５０】
（ステップS１４）適応輝度補正部１０４は、輝度補正処理を行う。本ステップS１４の処理の詳細は、図４を用いて後述する。その後ステップS１５に進む。
【００５１】
（ステップS１５）適応輝度補正部１０４は、上述したように、式（１６）に基づいて、画像収束判定を行う。画像が収束したと判定されたときは、終了処理に進む。画像が収束していないと判定されたときは、ステップS１６に進む。
（ステップS１６）適応輝度補正部１０４は、処理開始からの経過時間が、予め定めた値（例えば、１ｓ）より大きいか否かを判定する。予め定めた値より大きいと判定された場合（Ｙｅｓ）は、終了処理に進む。予め定めた値より大きくないと判定された場合（Ｎｏ）は、ステップS１７に進む。
（ステップS１７）フレーム処理部１０３は、フレーム番号が、予め定められた値であるか否かを判定する。予め定めた値である場合（Ｙｅｓ）は、終了処理に進む。予め定めた値でない場合（Ｎｏ）は、ステップS１２に進む。
【００５２】
次に、図３を参照して、図２に示したステップS１３の処理について詳細に説明する。
図３は、本実施形態に係るフレーム処理（ステップS１３）の処理を示すフローチャートである。
（ステップＳ１３１）フレーム処理部１０３は、画像入力部１０２から撮像画像データを入力されたか否かを判定する。撮像画像データを入力されたと判定された場合は、ステップＳ１３２に進む。撮像画像データを入力されなかったと判定された場合は、ステップＳ１３１に戻る。
（ステップＳ１３２）フレーム処理部１０３は、画像入力部１０２から入力された撮像画像データを、適応輝度補正部１０４−１、２に出力する。その後ステップＳ１３３に進む。
（ステップＳ１３３）フレーム処理部１０３は、ＳＷ信号を適応輝度補正部１０４−１、２に出力する。なお、このＳＷ信号には、上述したように、画像のフレーム番号を付加してもよい。その後、終了処理に進む。
【００５３】
次に、図４を参照して、図２に示したステップS１４の処理について詳細に説明する。ステップS１４は、プロジェクタの前方にある物体の影や、照明状態の変化などに起因するスクリーン上の投影画像の輝度の変化に応じて、プロジェクタに出力する輝度信号を補正する処理を行う。
【００５４】
図４は、本実施形態に係る補正処理（ステップS１４）を示すフローチャートである。
（ステップＳ１４１）適応輝度処理部１０４は、フレーム処理部１０３からＳＷ信号が入力されたか否かを判定する。ＳＷ信号が入力されたと判定された場合（Ｙｅｓ）は、ステップＳ１４２に進む。ＳＷ信号が入力されなかったと判定された場合（Ｎｏ）は、ステップＳ１４１に戻る。
（ステップＳ１４２）適応輝度処理部１０４は、フレーム処理部１０３から入力されたＳＷ信号に基づいて、輝度補正を行うか否かを判定する。輝度補正を行うと判定された場合（Ｙｅｓ）は、ステップＳ１４３に進む。輝度補正を行わないと判定された場合（Ｎｏ）は、ステップＳ１４５に進む。
【００５５】
（ステップＳ１４３）適応輝度処理部１０４は、コンテンツＤＢ１０６から、オリジナル画像データを読み出す。
適応輝度処理部１０４は、撮像画像データに対応する輝度値Ｃ’と、オリジナル画像データに対応する輝度値Ｃを用いて、式（１３）に示したΔＣを計算する。その後ステップＳ１４４に進む。
（ステップＳ１４４）適応輝度処理部１０４は、ステップＳ１４３で計算されたΔＣを用いて、式（１４）、又は式（１５）で示すように、補助補正値Ｄ１又はＤ２を更新する。その後ステップＳ１４５に進む。
【００５６】
（ステップＳ１４５）適応輝度処理部１０４は、Ｄ１、及びＤ２を用いて、式（８）又は（９）で示すように、ＲＧＢ輝度値Ｐ１、Ｐ２を計算する。その後ステップＳ１４６に進む。
（ステップＳ１４６）適応輝度処理部１０４−１は、ステップＳ１４５で計算したＰ１に基づいて、輝度信号αＰ１を計算し、αＰ１をプロジェクタ１０５−１に出力する。適応輝度処理部１０４−２は、ステップＳ１４５で計算したＰ２に基づいて、輝度信号βＰ２を計算し、βＰ２をプロジェクタ１０５−２に出力する。プロジェクタ１０５−１、２は、入力された輝度信号に基づいて、画像をスクリーンに投影する。その後終了処理に進む。
【００５７】
上述した構成によれば、投影補正装置１は、例えば、以下のように動作する。
フレーム処理部１０３は、パラメータを初期化する。(ステップＳ１１)カメラ１０１は、投影画像を撮像する。（ステップＳ１２）フレーム処理部１０３は、投影画像を適応輝度補正部１０４−１、２に出力する(ステップＳ１３２)。フレーム処理部１０３は、適応輝度補正部１０４−１が輝度信号の補正を行うことを示すSＷ信号を適応輝度補正部１０４−１、２に出力する（ステップＳ１３３）。
【００５８】
適応輝度補正部１０４−１は、式（１３）に示したΔＣ（ここでは、ΔＣ１）を計算し（ステップＳ１４３）、式（１４）で示した補助補正値Ｄ１を更新する（ステップＳ１４４）。適応輝度補正部１０４−１は、式（８）で与えられるＰ１に、αを乗じた輝度信号をプロジェクタ１０５−１に出力する。プロジェクタ１０５−１は、入力された輝度信号αＰ１に基づいて、画像をスクリーンに投影する（ステップＳ１４５、１４６）。適応輝度補正部１０４−２は、式（９）で与えられるＰ２に、βを乗じた輝度信号をプロジェクタ１０５−２に出力する。プロジェクタ１０５−２は、入力された輝度信号βＰ２に基づいて、画像をスクリーンに投影する（ステップＳ１４６）。
【００５９】
適応輝度補正部１０４−１は、ΔＣ１が、予め定めた閾値より小さいか否かを判定する（ステップＳ１５）。適応輝度補正部１０４−１は、ΔＣ１が、予め定めた閾値より小さいと判定した場合は、終了処理に進む。適応輝度補正部１０４−１は、ΔＣ１が、予め定めた閾値より小さくないと判定した場合は、次いで、処理開始からの時間の値が、予め定めた閾値よりも大きいか否かを判定する（ステップＳ１６）。適応輝度補正部１０４−１は、処理開始からの時間の値が、予め定めた閾値よりも大きいと判定した場合は、終了処理に進む。適応輝度補正部１０４−１は、処理開始からの時間の値が、予め定めた閾値よりも大きくないと判定した場合は、フレーム処理部１０３は、フレーム番号が、予め定めた値であるか否かを判定する（ステップＳ１７）。フレーム番号が、予め定めた値であると判定された場合は、終了処理に進む。フレーム番号が、予め定めた値でないと判定した場合は、カメラ１０１は、新たに投影画像を撮像する（ステップＳ１２）。
【００６０】
フレーム処理部１０３は、投影画像を適応輝度補正部１０４−１、２に出力する(ステップＳ１３２)。フレーム処理部１０３は、適応輝度補正部１０４−２が輝度信号の補正を行うことを示すSＷ信号を適応輝度補正部１０４−１、２に出力する（ステップＳ１３３）。
【００６１】
適応輝度補正部１０４−２は、式（１３）に示したΔＣ（ここでは、ΔＣ２）を計算し（ステップＳ１４３）、式（１５）で示した補助補正値Ｄ２を更新する（ステップＳ１４４）。適応輝度補正部１０４−２は、式（９）で与えられるＰ２に、βを乗じた輝度信号をプロジェクタ１０５−２に出力する。プロジェクタ１０５−２は、入力された輝度信号βＰ２に基づいて、画像をスクリーンに投影するステップＳ１４５、１４６）。適応輝度補正部１０４−１は、式（８）で与えられるＰ１に、αを乗じた輝度信号をプロジェクタ１０５−１に出力する。プロジェクタ１０５−１は、入力された輝度信号βＰ２に基づいて、画像をスクリーンに投影する（ステップＳ１４６）。
【００６２】
適応輝度補正部１０４−２は、ΔＣ２が、予め定めた閾値より小さいか否かを判定する（ステップＳ１５）。適応輝度補正部１０４−２は、ΔＣ２が、予め定めた閾値より小さいと判定した場合は、終了処理に進む。適応輝度補正部１０４−２は、ΔC２が、予め定めた閾値より小さくないと判定した場合は、処理開始からの時間の値が、予め定めた閾値よりも大きいか否かを判定する（ステップＳ１６）。適応輝度補正部１０４−２は、処理開始からの時間の値が、予め定めた閾値よりも大きいと判定された場合は、終了処理に進む。適応輝度補正部１０４−２は、処理開始からの時間の値が、予め定めた閾値よりも大きくないと判定した場合は、フレーム処理部１０３は、フレーム番号が、予め定めた値であるか否かを判定する（ステップＳ１７）。フレーム番号が、予め定めた値であると判定された場合は、終了処理に進む。フレーム番号が、予め定めた値でないと判定した場合は、カメラ１０１は、新たに投影画像を撮像する（ステップＳ１２）。
以後、適応輝度補正部１０４−１、２は、交互に補助補正値Ｄ１及びＤ２の更新を繰り返す。この動作により、適応輝度補正部１０４−１、２は、オリジナル画像データと撮像画像データとの差が小さくなるように、順次補正された輝度値Ｐ１、Ｐ２を計算する。
【００６３】
このように、本実施形態によれば、プロジェクタ１０５−１とプロジェクタ１０５−２は、コンテンツＤＢ１０６に記録された画像データに基づいて、画像を同一の場所に重なるように投影する。カメラ１０１は、投影された投影画像を撮像する。適応輝度補正部１０４−１は、輝度補正を行い、輝度補正後の輝度信号をプロジェクタ１０５−１に出力し、プロジェクタ１０５−１は、画像を投影する。一方、適応輝度補正部１０４−２は、D2を更新せずに，式（９）により輝度補正を行い、輝度信号をプロジェクタ１０５−２に出力し、プロジェクタ１０５−２は、画像を投影する。つまり、撮像された画像データと被投影画像データとに基づいて、投影装置が投影する投影画像を補正して投影する。
カメラ１０１は、投影された投影画像を撮像する。適応輝度補正部１０４−２は、輝度補正を行い、輝度補正後の輝度信号をプロジェクタ１０５−２に出力し、プロジェクタ１０５−２は、画像を投影する。一方、適応輝度補正部１０４−１は、D1を更新せずに，式（８）により輝度補正を行い、輝度信号をプロジェクタ１０５−１に出力し、プロジェクタ１０５−１は、画像を投影する。つまり、撮像された画像データと被投影画像データとに基づいて、投影装置が投影する投影画像を補正して投影する。
これにより、本実施形態では、投影補正装置１は、投影装置とスクリーンの間に人などが入って投影画像に影ができたときや、環境の明るさが変化した場合など、撮像画像とオリジナル画像との間に差が生じた場合に、自動的に各プロジェクタの出力を調整し、その差を小さくできる。すなわち、所望の画像を投影できる。また、高品質で高コントラストな投影像を維持することができる。
【００６４】
また、本実施形態によれば、プロジェクタ１０５−１とプロジェクタ１０５−２が投影した画像データに基づいて、適応輝度補正部１０４−１は輝度補正を行い、適応輝度補正部１０４−２はD2を更新せずに，式（９）により輝度補正を行い、輝度信号をプロジェクタ１０５−１、２に出力し、プロジェクタ１０５−１、２は、画像を投影する。
上記の動作を予め定めた回数を繰り返した後に、プロジェクタ１０５−１とプロジェクタ１０５−２が投影した画像データに基づいて、適応輝度補正部１０４−２は、輝度補正を行い適応輝度補正部１０４−１はD1を更新せずに，式（８）により輝度補正を行い、で、輝度信号をプロジェクタ１０５−１、２に出力し、プロジェクタ１０５−１、２は、画像を投影する。
これにより、本実施形態では、一方のプロジェクタを複数の撮像画像データに基づいて補正を行った後に、他方のプロジェクタを複数の撮像画像データに基づいて補正を行うため、補正が収束するまでの時間を短縮することができる。
【００６５】
（第２の実施形態）
以下、図面を参照しながら本発明の第２の実施形態について詳しく説明する。
上記第１の実施形態では、プロジェクタを２台用いる場合について説明した。本実施形態では、プロジェクタをＮ台（Ｎ＞２）用いる場合について説明をする。
図５は、Ｎ台のプロジェクタを使った投影補正装置２の構成を示すブロック図である。本実施形態に係る投影補正装置２は、適応輝度補正部２０４、及びプロジェクタ２０５がそれぞれN台であることを除いて、第１の実施形態における投影補正装置１と同様であるため、説明は省略する。
【００６６】
次に、図６を参照して、本実施形態に係る投影補正装置２の動作を説明する。
図６は、本実施形態に係る投影補正装置２の動作を示すフローチャートである。
【００６７】
（ステップＳ２１）フレーム処理部１０３は、初期化命令を、適応輝度補正部１０４に出力する。適応輝度補正部１０４は、フレーム処理部１０３から初期化命令を入力されたときに、輝度補正ＤＢ１０７内に保存された、カラー混合行列Ｖ１、Ｖ２、・・・、ＶＮ、環境光のＲＧＢ成分であるＦ、補助補正量Ｄ１、Ｄ２、・・・、ＤＮ、及びブレンディング・パラメータα１、α２、・・・、αＮを初期化する。具体的には、適応輝度補正部１０４は、カラー混合行列Ｖ１、Ｖ２、・・・、ＶＮ、及び環境光のＲＧＢ成分であるＦを、上述したように計算し、計算した値を代入する。なお、Ｖ１、Ｖ２、・・・ＶＮ及びＦは、投影補正装置１を起動するときに一度だけ計算する。計算された、Ｖ１、Ｖ２、・・・ＶＮ及びＦは、輝度補正ＤＢ１０７内に保存しておき、次回以降にステップＳ１１で適応輝度補正部１０４が初期化を行う場合は、Ｖ１、Ｖ２、・・・ＶＮ及びＦは、再度計算する必要はなく、輝度補正ＤＢ１０７内に保存してあるＶ１、Ｖ２、及びＦをそのまま用いる。補助補正量Ｄ１、Ｄ２、・・・、ＤＮに「０」を代入し、ブレンディング・パラメータα１、α２、・・・、αＮに、１以下の正の値αを代入される。その後ステップS２２に進む。
ステップＳ２２の処理は、図２に示した第１の実施形態におけるステップＳ１２の処理と同様である。
（ステップS２３）フレーム処理部１０３は、フレーム処理を行う。本ステップS２３の処理の詳細は、図７を用いて後述する。その後ステップS２４に進む。
【００６８】
（ステップS２４）適応輝度補正部１０４は、輝度補正処理を行う。本ステップS２４の処理の詳細は、図８を用いて後述する。その後ステップS２５に進む。
ステップＳ２５〜ステップＳ２７の処理は、図２に示した第１の実施形態におけるステップＳ１５〜Ｓ１７の処理と同様である。
【００６９】
次に、図７を参照して、図６に示したフレーム処理（ステップS２３）について詳細に説明する。
図７は、本実施形態に係るフレーム処理（ステップS２３）を示すフローチャートである。
ステップＳ２３１の処理は、図３に示した第１の実施形態におけるステップＳ１３１の処理と同様である。
（ステップＳ２３２）フレーム処理部１０３は、画像入力部１０２から入力された撮像画像データを、適応輝度補正部１０４−１、２、・・・、Ｎに出力する。その後ステップＳ２３３に進む。
（ステップＳ２３３）フレーム処理部１０３は、輝度補正を行うプロジェクタを指定するＳＷ信号を適応輝度補正部１０４−１、２・・・、Ｎに出力する。なお、このＳＷ信号には、画像のフレーム番号を付加してもよい。その後、終了処理に進む。
【００７０】
次に、図８を参照して、図６に示した補正処理（ステップS２４）について詳細に説明する。
図８は、本実施形態に係る補正処理（ステップS２４）を示すフローチャートである。
ステップＳ２４１〜Ｓ２４３の処理は、図４に示した第１の実施形態におけるステップＳ１４１〜Ｓ１４３の処理と同様である。
（ステップＳ２４４）適応輝度処理部１０４―ｋは、ステップＳ２４３で計算されたΔＣ（ΔＣｋと呼ぶ）を用いて、式（１７）で示すように、補助補正値Ｄｋを更新する。その後ステップＳ２４５に進む。
【００７１】
【数１７】
0005654337.tif 000018
【００７２】
（ステップＳ２４５）適応輝度処理部１０４は、Ｄ１、Ｄ２、・・・、ＤＮを用いて、式（１８）で示すように、ＲＧＢ輝度値Ｐ１、Ｐ２、・・・、ＰＮを計算する。その後ステップＳ２４６に進む。
【００７３】
【数１８】
0005654337.tif 000019
【００７４】
（ステップＳ２４６）適応輝度処理部１０４−ｋ（ｋ＝１、２、・・・、Ｎ）は、ステップＳ６０５で計算したＰｋに基づいて、輝度信号αｋＰｋをプロジェクタ１０５−ｋに出力する。プロジェクタ１０５−ｋ（ｋ＝１、２、・・・、Ｎ）は、入力された輝度信号に基づいて、画像をスクリーンに投影する。その後終了処理に進む。
【００７５】
このように、本実施形態によれば、プロジェクタ１０５−ｋ（ｋ＝１、２、・・・、Ｎ）は、コンテンツＤＢ１０６に記録された画像データに基づいて、画像を同一の場所に重なるように投影する。カメラ１０１は、投影された投影画像を撮像する。適応輝度補正部１０４−ｋは、輝度補正を行い、輝度補正後の輝度信号をプロジェクタ１０５−ｋに出力し、プロジェクタ１０５−ｋは、画像を投影する。一方、適応輝度補正部１０４−ｊ（ｊ≠ｋ）は、Ｄｊを更新しないで輝度補正を行い、輝度信号をプロジェクタ１０５−ｊ（ｊ≠ｋ）に出力し、プロジェクタ１０５−ｊ（ｊ≠ｋ）は、画像を投影する。
カメラ１０１は、投影された投影画像を撮像する。適応輝度補正部１０４−ｊ（ｊ≠ｋ）は、輝度補正を行い、輝度補正後の輝度信号をプロジェクタ１０５−ｊに出力し、プロジェクタ１０５−ｊは、画像を投影する。一方、適応輝度補正部１０４−ｋ（ｋ≠ｊ）は、Ｄｋを更新しないで輝度補正を行い、輝度信号をプロジェクタ１０５−ｋ（ｋ≠ｊ）に出力し、プロジェクタ１０５−１は、画像を投影する。
【００７６】
これにより、本実施形態では、投影補正装置１は、複数のプロジェクタの前に人が入るなどして投影画像に影ができたときや、環境の明るさが変化した場合など、撮像画像とオリジナル画像との間に差が生じた場合に、自動的に各プロジェクタの出力を調整し、その差を小さくできる。すなわち、所望の画像を投影できる。また、高品質で高コントラストな投影像を維持することができる。
【００７７】
なお、上述した実施形態において、ＳＷ信号は、撮像画像データのフレーム番号に基づいて生成したが、ＳＷ信号はこれに限られることはなく、補正を行う適応輝度処理部１０４を特定できるものであれば、いかなるものでもかまわない。
【００７８】
なお、上述した実施形態において、輝度とは、明度などの他の明るさを示すものでもよい。また、補正の対象とするものは、色、彩度などでもよい。
【００７９】
なお、上述した実施形態において、プロジェクタ、カメラ、及びコンテンツDBは必ずしも構成要素として接続している必要はなく、画像入力部、フレーム処理部、適応輝度補正部間のそれぞれのデータの流れは、ハードディスク、RAID装置、CD−ROMなどの記憶媒体を利用する、または、ネットワークを介してリモートなデータ資源を利用する形態でもかまわない。
【００８０】
なお、ブレンディング・パラメータα、βは、必ずしも同じ値にする必要はないが、同程度の値にすることが望ましい。例えば、α＞β、かつβの値が非常に小さいとする。この場合、２代目のプロジェクタの輝度を補正しても補正結果を出力するときにβ倍され、輝度補正が有効に機能しない。α、βは、α＝βを規定値とし、規定値としては、プロジェクタを２台使った場合は、０．４〜０．７程度、プロジェクタを３台使った場合は、０．５〜０．８程度に設定すると収束が速い。ただし、α、βの最適な値は、投影環境、特にスクリーンの材質や使用するプロジェクタによって代わるため、装置の設定環境に応じて設定する。
【００８１】
なお、上述した各実施形態における投影補正装置が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００８２】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００８３】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【００８４】
１、２・・・投影補正装置、１０１・・・カメラ、１０２・・・画像入力部、１０３・・・フレーム処理部、１０４（１０４−１、１０４−２、・・・、１０４−Ｎ）・・・適応輝度補正部、１０５（１０５−１、１０５−２、・・・、１０５−Ｎ）・・・プロジェクタ、１０６・・・コンテンツＤＢ、１０７・・・輝度補正ＤＢ
【図１】
0005654337.tif 000020
【図２】
0005654337.tif 000021
【図３】
0005654337.tif 000022
【図４】
0005654337.tif 000023
【図５】
0005654337.tif 000024
【図６】
0005654337.tif 000025
【図７】
0005654337.tif 000026
【図８】
0005654337.tif 000027