(57)【要約】【課題】効率よく、投影画像の輝度を補償できる。【解決手段】カラー混合行列算出部３０が、予め求められたＬＴ行列に基づいて、カラー混合行列Ｖ’ｉｊを生成し、カラー混合行列Ｖ’ｉｊの逆行列を求める。輝度補償処理部３２が、所定画像のｉ番目の画素と対応関係を有する照明画像のｊ番目の画素に対して、カラー混合行列Ｖ’ｉｊの逆行列と、カメラ応答のｉ番目の画素と対応関係を有する投影画像のｋ番目（ｋ≠ｊ）の画素の各々に対するカラー混合行列Ｖ’ｉｋ、及び投影画像のｋ番目（ｋ≠ｊ）の画素の各々から求められる、所定画像のｉ番目の画素に対する補助輝度とに基づいて、投影画像のｊ番目の画素を補償する。【選択図】図１３
2017083778.tif 000002
【特許請求の範囲】
【請求項１】
複数の色成分α毎に予め求められた、プロジェクタから照射するための照明画像のｊ番目の画素、及び前記プロジェクタから出力された照明画像を撮影するカメラにより撮影した画像における、カメラ応答の画素Ｃαｉ間の対応関係を表すライト・トランスポート行列に基づいて、前記カメラ応答のｉ番目の画素の各々に対し、前記カメラ応答のｉ番目の画素と対応関係を有する前記照明画像のｊ番目の画素の各々についての、前記複数の色成分α毎の前記ライト・トランスポート行列の要素を含む、前記複数の色成分α及び照明画像の複数の色成分βの組み合わせの各々に対する要素からなるカラー混合行列Ｖ’ｉｊを生成し、前記カラー混合行列Ｖ’ｉｊの逆行列を求めるカラー混合行列生成部と、
入力された画像を得るために前記プロジェクタから出力する照明画像である投影画像に対して、前記入力された画像のｉ番目の画素の各々について、前記入力された画像のｉ番目の画素と対応関係を有する前記投影画像のｊ番目の画素に対して、前記カラー混合行列生成部により求められた、前記カメラ応答のｉ番目の画素に対する、前記照明画像のｊ番目の画素についての前記カラー混合行列Ｖ’ｉｊの逆行列と、前記カメラ応答のｉ番目の画素と対応関係を有する前記照明画像のｋ番目（ｋ≠ｊ）の画素の各々に対する前記カラー混合行列Ｖ’ｉｋ、及び前記投影画像のｋ番目（ｋ≠ｊ）の画素の各々から求められる、前記画像のｉ番目の画素に対する補助輝度とに基づいて、前記投影画像のｊ番目の画素を補償する輝度補償処理部と、
を含む画像投影装置。
【請求項２】
前記輝度補償処理部は、前記入力された画像のｉ番目の画素と対応関係を有する前記投影画像のｊ番目の画素を補償する際に、前記カメラ応答のｉ番目の画素と対応関係を有する前記照明画像のｋ番目（ｋ≠ｊ）の画素の各々に対する前記カラー混合行列Ｖ’ｉｋ、及び前記投影画像のｋ番目（ｋ≠ｊ）の画素の各々の初期値、又は前回更新された前記投影画像のｋ番目（ｋ≠ｊ）の画素の各々から、前記画像のｉ番目の画素に対する補助輝度を算出し、
前記入力された画像のｉ番目の画素と対応関係を有する前記投影画像のｊ番目の画素に対して、前記カラー混合行列生成部により求められた、前記カメラ応答のｉ番目の画素に対する、前記照明画像のｊ番目の画素についての前記カラー混合行列Ｖ’ｉｊの逆行列と、前記画像のｉ番目の画素に対する前記補助輝度とに基づいて、前記投影画像のｊ番目の画素を算出することを、
予め定められた収束条件を満たすまで繰り返す請求項１に記載の画像投影装置。
【請求項３】
予め定められた複数の照明画像を生成し、前記照明画像毎に、前記プロジェクタから照明画像を出力させ、前記出力された照明画像を前記カメラにより撮影するように制御し、前記照明画像毎に前記カメラにより撮影した観測画像の各々について、複数の色成分α毎に、予め定められた閾値よりも大きい輝度値を有する画素をカメラ応答の画素Ｃαｉとして検出するパターン応答検出部と、
前記パターン応答検出部により生成された前記複数の照明画像と、前記パターン応答検出部により前記複数の色成分α毎に検出された照明画像毎の前記カメラ応答の画素Ｃαｉの各々とに基づいて、前記複数の色成分α毎に、前記ライト・トランスポート行列を推定するＬＴ行列推定部を更に含む請求項１又は２記載の画像投影装置。
【請求項４】
前記パターン応答検出部は、プロジェクタから照射するための、予め定められた、各々位置が異なる所定幅の縦ラインの照明を照射するための照明画像、又は各々位置が異なる前記所定幅の横ラインの照明を照射するための照明画像を生成し、
前記ＬＴ行列推定部は、前記複数の色成分α毎に、前記カメラ応答の画素Ｃαｉの各々に対し、前記縦ライン及び横ライン毎の観測画像から検出された前記カメラ応答の画素Ｃαｉと、前記縦ライン及び横ライン毎に生成された前記照明画像とに基づいて、前記ライト・トランスポート行列のうちの前記カメラ応答の画素Ｃαｉに関する各要素からなるライト・トランスポートベクトルｕ’ｉを推定することにより、前記色成分αの前記ライト・トランスポート行列を推定する請求項３に記載の画像投影装置。
【請求項５】
カラー混合行列生成部が、複数の色成分α毎に予め求められた、プロジェクタから照射するための照明画像のｊ番目の画素、及び前記プロジェクタから出力された照明画像を撮影するカメラにより撮影した画像における、カメラ応答の画素Ｃαｉ間の対応関係を表すライト・トランスポート行列に基づいて、前記カメラ応答のｉ番目の画素の各々に対し、前記カメラ応答のｉ番目の画素と対応関係を有する前記照明画像のｊ番目の画素の各々についての、前記複数の色成分α毎の前記ライト・トランスポート行列の要素を含む、前記複数の色成分α及び照明画像の複数の色成分βの組み合わせの各々に対する要素からなるカラー混合行列Ｖ’ｉｊを生成し、前記カラー混合行列Ｖ’ｉｊの逆行列を求めるステップと、
輝度補償処理部が、入力された画像を得るために前記プロジェクタから出力する照明画像である投影画像に対して、前記入力された画像のｉ番目の画素の各々について、前記入力された画像のｉ番目の画素と対応関係を有する前記投影画像のｊ番目の画素に対して、前記カラー混合行列生成部により求められた、前記カメラ応答のｉ番目の画素に対する、前記照明画像のｊ番目の画素についての前記カラー混合行列Ｖ’ｉｊの逆行列と、前記カメラ応答のｉ番目の画素と対応関係を有する前記照明画像のｋ番目（ｋ≠ｊ）の画素の各々に対する前記カラー混合行列Ｖ’ｉｋ、及び前記投影画像のｋ番目（ｋ≠ｊ）の画素の各々から求められる、前記画像のｉ番目の画素に対する補助輝度とに基づいて、前記投影画像のｊ番目の画素を補償するステップと、
を含む画像投影方法。
【請求項６】
前記輝度補償処理部が補償するステップは、前記入力された画像のｉ番目の画素と対応関係を有する前記投影画像のｊ番目の画素を補償する際に、前記カメラ応答のｉ番目の画素と対応関係を有する前記照明画像のｋ番目（ｋ≠ｊ）の画素の各々に対する前記カラー混合行列Ｖ’ｉｋ、及び前記投影画像のｋ番目（ｋ≠ｊ）の画素の各々の初期値、又は前回更新された前記投影画像のｋ番目（ｋ≠ｊ）の画素の各々から、前記画像のｉ番目の画素に対する補助輝度を算出し、
前記入力された画像のｉ番目の画素と対応関係を有する前記投影画像のｊ番目の画素に対して、前記カラー混合行列生成部により求められた、前記カメラ応答のｉ番目の画素に対する、前記照明画像のｊ番目の画素についての前記カラー混合行列Ｖ’ｉｊの逆行列と、前記画像のｉ番目の画素に対する前記補助輝度とに基づいて、前記投影画像のｊ番目の画素を算出することを、
予め定められた収束条件を満たすまで繰り返す請求項５に記載の画像投影方法。
【請求項７】
パターン応答検出部が、予め定められた複数の照明画像を生成し、前記照明画像毎に、前記プロジェクタから照明画像を出力させ、前記出力された照明画像を前記カメラにより撮影するように制御し、前記照明画像毎に前記カメラにより撮影した観測画像の各々について、複数の色成分α毎に、予め定められた閾値よりも大きい輝度値を有する画素をカメラ応答の画素Ｃαｉとして検出するステップと、
ＬＴ行列推定部が、前記パターン応答検出部により生成された前記複数の照明画像と、前記パターン応答検出部により前記複数の色成分α毎に検出された照明画像毎の前記カメラ応答の画素Ｃαｉの各々とに基づいて、前記複数の色成分α毎に、前記ライト・トランスポート行列を推定するステップと、を更に含む請求項５又は６記載の画像投影方法。
【請求項８】
コンピュータを、請求項１〜請求項４のいずれか１項に記載の画像投影装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像投影装置、方法、及びプログラムに係り、特に、投影画像の輝度を補償するための画像投影装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
プロジェクタは極めてフレキシブルな画像出力デバイスであり、投影仕様の範囲内であれば個人スペース、会議ホール、巨大パブリックビューイング、及びビルの壁面などに合わせて自由サイズの映像表示を提供する。プロジェクタを使って平面スクリーンではない任意の構造物（以下、被写体と称する）へ投影するとき、被写体の形状を事前に計測して、その形状に合わせて所定画像が空間歪みの無いように投影する技術は、プロジェクション・マッピング（projection mapping）として知られている。任意スケールの映像投影のメリットを活かしたプロジェクション・マッピングは、エンターテインメント志向のイベントやイルミネーションによる広告表示などに利用されている。
【０００３】
所定画像を正確に投影するために、プロジェクション・マッピングでは、プロジェクタ・カメラシステム（projector-camera system）が利用される。プロジェクタ・カメラシステムにおいて、カメラで観測される画像に応じてプロジェクタへ入力する画像を幾何変換すれば、所定画像を指定された位置に正確に投影することができる。通常、平面なスクリーンにプロジェクション・マッピングする場合には、事前のキャリブレーション作業で得た平面射影変換（plane-homography）を使い、プロジェクタ画面上の点とカメラ画面上の点をスクリーン面を介して対応付ける。この対応関係を利用して、プロジェクタから出力する所定画像を幾何変換して、所定画像をスクリーン面の決められた場所に投影する。
【０００４】
これに対して、空間構造に凹凸があったり曲がった構造である場合には、非特許文献１では、レーザ計測を利用して、被写体の空間構造あるいは凹凸形状を得る。その形状に合わせてプロジェクタへ入力する画像を幾何的に変形することにより、平面スクリーンと同様に指定個所に所定画像を投影することができる。あるいは、レーザ計測に頼らずに、構造光（structured light）と呼ばれる幾何パターンをプロジェクタから投影し、カメラで観測した歪み画像から空間構造の凹凸形状あるいは奥行きを計測する方式も利用できる。このように、従来技術は、外界または被写体の空間構造をレーザ計測またはプロジェクタ・カメラシステムを利用して空間構造を把握し、その凹凸形状または奥行きに合わせて指定個所へ所定画像を投影する。
【０００５】
これに対して、外界の空間構造を計測せずに、ライト・トランスポートを利用したプロジェクション・マッピングが知られている（非特許文献２）。ライト・トランスポート（light transport）とは、全ての照明画像の画素と全てのカメラ応答の画素間との入出力対応関係を表現したデータである。例えば、図１４に示すように照明画像の画素の１点１点を順番に点灯させ、外界からの光学的反射や屈折等をカメラ応答の画素で受光することによって、プロジェクタ・カメラシステムと被写体間のライト・トランスポートを得ることができる。プロジェクタ画面の画素数がｐ×ｑ画素でカメラ画面の画素数がｕ×ｖ画素であるとき、各点光源のカメラ応答の画像Ｃ’ｉを列ベクトル化して並べた行列Ｔ’は、ライト・トランスポート行列（light transport matrix）と呼ばれ、ｕｖ×ｐｑ画素の巨大、かつ、スパースな行列である（行列要素の大半が値０であり、僅かな要素のみが非零となる）。非特許文献２では、ライト・トランスポート行列の転置Ｔ’Ｔを利用して、プロジェクタからの視点から観測されるであろう仮想画像（dual photography）を人工的に生成する方法が公知である。なお、行列及びベクトルを表す場合には、記号の後ろに「’」を付して表現する。
【０００６】
一般的に、レーザあるいは構造光を使った３次元形状計測では一次反射光のみを受光することを前提としている。このため、被写体の構造によって発生する光学的な多重反射や屈折を扱うことができない。これに対して、ライト・トランスポートは一次反射光と多重反射や屈折光を区別することなく扱うことできるため、全ての照明画像の画素と全てのカメラ応答の画素間の対応付けに基づいた高精度なプロジェクション・マッピングを可能とする。なお、以降では、ライト・トランスポートをＬＴ、ライト・トランスポート行列をＬＴ行列と略する。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】J. Shimamura and K. Arakawa:“Location-Aware Projection with Robust 3-D Viewing Point Detection and Fast Image Deformation”, Proc. ACM International Conference on Multimedia,pp.296-299, 2004.
【非特許文献２】P. Sen, B. Chen, G. Garg, S.R. Marschner, M. Horowitz, M. Levoy, and H.P.A. Lensch: “Dual Photography”,ACM Transactions on Graphics, vol.23, no.3, pp.745-755, 2005.
【非特許文献３】K. Fujii, M.D. Grossberg, and S.K. Nayar: “A Projector-Camera System with Real-Time Photometric Adaptation for Dynamic Environments”, Proc. of IEEE Computer Vision and Pattern Recognition (CVPR), vol.1, pp.814-821, 2005.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
プロジェクタ・カメラシステムを使って、所定の画像を被写体に正確に投影するとき、カメラで観測したときの各画素の画素値が所定画像の画素値に同一になるように光学的に色補正する必要がある。非特許文献３の方法によれば、所定の輝度をカメラで観測するようにプロジェクタからの出力輝度を光学的に補償することができる。その方法は本発明が扱う平面物体以外の物体表面の輝度補償を扱っているが、プロジェクタ座標とカメラ座標が１対１の幾何的に対応付けられている場合に限定される。しかしながら、任意形状に対するＬＴでは直接反射光の他に二次以上の反射光や屈折光が含まれる。このため、被写体に所定画像を幾何的かつ光学的にプロジェクション・マッピングするには、ＬＴにおける投影画像の画素とカメラ応答の画素と間のＭ対Ｎの空間的対応関係を考慮して、プロジェクタから出力するカラー輝度を適切に調整する必要がある。ＬＴ行列はその関係を全て記述するため、その逆行列を利用すれば、輝度補償された画像を任意の被写体へ投影することが考えられる。
【０００９】
しかしながら、扱う画素が高解像度になるとＬＴ行列は、益々、スパース、かつ、巨大なサイズとなり、ＬＴ行列の逆行列の計算は一般の計算機において処理コストが非常に高く、実効的な計算が不可能となる。
【００１０】
本発明は、上記問題点を解決するために成されたものであり、効率よく、投影画像の輝度を補償できる画像投影装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、第１の発明に係る画像投影装置は、複数の色成分α毎に予め求められた、プロジェクタから照射するための照明画像のｊ番目の画素、及び前記プロジェクタから出力された照明画像を撮影するカメラにより撮影した画像における、カメラ応答の画素Ｃαｉ間の対応関係を表すライト・トランスポート行列に基づいて、前記カメラ応答のｉ番目の画素の各々に対し、前記カメラ応答のｉ番目の画素と対応関係を有する前記照明画像のｊ番目の画素の各々についての、前記複数の色成分α毎の前記ライト・トランスポート行列の要素を含む、前記複数の色成分α及び照明画像の複数の色成分βの組み合わせの各々に対する要素からなるカラー混合行列Ｖ’ｉｊを生成し、前記カラー混合行列Ｖ’ｉｊの逆行列を求めるカラー混合行列生成部と、入力された画像を得るために前記プロジェクタから出力する照明画像である投影画像に対して、前記入力された画像のｉ番目の画素の各々について、前記入力された画像のｉ番目の画素と対応関係を有する前記投影画像のｊ番目の画素に対して、前記カラー混合行列生成部により求められた、前記カメラ応答のｉ番目の画素に対する、前記照明画像のｊ番目の画素についての前記カラー混合行列Ｖ’ｉｊの逆行列と、前記カメラ応答のｉ番目の画素と対応関係を有する前記照明画像のｋ番目（ｋ≠ｊ）の画素の各々に対する前記カラー混合行列Ｖ’ｉｋ、及び前記投影画像のｋ番目（ｋ≠ｊ）の画素の各々から求められる、前記画像のｉ番目の画素に対する補助輝度とに基づいて、前記投影画像のｊ番目の画素を補償する輝度補償処理部と、を含んで構成されている。
【００１２】
また、第１の発明に係る画像投影装置において、前記輝度補償処理部は、前記入力された画像のｉ番目の画素と対応関係を有する前記投影画像のｊ番目の画素を補償する際に、前記カメラ応答のｉ番目の画素と対応関係を有する前記照明画像のｋ番目（ｋ≠ｊ）の画素の各々に対する前記カラー混合行列Ｖ’ｉｋ、及び前記投影画像のｋ番目（ｋ≠ｊ）の画素の各々の初期値、又は前回更新された前記投影画像のｋ番目（ｋ≠ｊ）の画素の各々から、前記画像のｉ番目の画素に対する補助輝度を算出し、前記入力された画像のｉ番目の画素と対応関係を有する前記投影画像のｊ番目の画素に対して、前記カラー混合行列生成部により求められた、前記カメラ応答のｉ番目の画素に対する、前記照明画像のｊ番目の画素についての前記カラー混合行列Ｖ’ｉｊの逆行列と、前記画像のｉ番目の画素に対する前記補助輝度とに基づいて、前記投影画像のｊ番目の画素を算出することを、予め定められた収束条件を満たすまで繰り返すようにしてもよい。
【００１３】
また、第１の発明に係る画像投影装置において、予め定められた複数の照明画像を生成し、前記照明画像毎に、前記プロジェクタから照明画像を出力させ、前記出力された照明画像を前記カメラにより撮影するように制御し、前記照明画像毎に前記カメラにより撮影した観測画像の各々について、複数の色成分α毎に、予め定められた閾値よりも大きい輝度値を有する画素をカメラ応答の画素Ｃαｉとして検出するパターン応答検出部と、前記パターン応答検出部により生成された前記複数の照明画像と、前記パターン応答検出部により前記複数の色成分α毎に検出された照明画像毎の前記カメラ応答の画素Ｃαｉの各々とに基づいて、前記複数の色成分α毎に、前記ライト・トランスポート行列を推定するＬＴ行列推定部を更に含むようにしてもよい。
【００１４】
また、第１の発明に係る画像投影装置において、前記パターン応答検出部は、プロジェクタから照射するための、予め定められた、各々位置が異なる所定幅の縦ラインの照明を照射するための照明画像、又は各々位置が異なる前記所定幅の横ラインの照明を照射するための照明画像を生成し、前記ＬＴ行列推定部は、前記複数の色成分α毎に、前記カメラ応答の画素Ｃαｉの各々に対し、前記縦ライン及び横ライン毎の観測画像から検出された前記カメラ応答の画素Ｃαｉと、前記縦ライン及び横ライン毎に生成された前記照明画像とに基づいて、前記ライト・トランスポート行列のうちの前記カメラ応答の画素Ｃαｉに関する各要素からなるライト・トランスポートベクトルｕ’ｉを推定することにより、前記色成分αの前記ライト・トランスポート行列を推定するようにしてもよい。
【００１５】
第２の発明に係る画像投影方法は、カラー混合行列生成部が、複数の色成分α毎に予め求められた、プロジェクタから照射するための照明画像のｊ番目の画素、及び前記プロジェクタから出力された照明画像を撮影するカメラにより撮影した画像における、カメラ応答の画素Ｃαｉ間の対応関係を表すライト・トランスポート行列に基づいて、前記カメラ応答のｉ番目の画素の各々に対し、前記カメラ応答のｉ番目の画素と対応関係を有する前記照明画像のｊ番目の画素の各々についての、前記複数の色成分α毎の前記ライト・トランスポート行列の要素を含む、前記複数の色成分α及び照明画像の複数の色成分βの組み合わせの各々に対する要素からなるカラー混合行列Ｖ’ｉｊを生成し、前記カラー混合行列Ｖ’ｉｊの逆行列を求めるステップと、輝度補償処理部が、入力された画像を得るために前記プロジェクタから出力する照明画像である投影画像に対して、前記入力された画像のｉ番目の画素の各々について、前記入力された画像のｉ番目の画素と対応関係を有する前記投影画像のｊ番目の画素に対して、前記カラー混合行列生成部により求められた、前記カメラ応答のｉ番目の画素に対する、前記照明画像のｊ番目の画素についての前記カラー混合行列Ｖ’ｉｊの逆行列と、前記カメラ応答のｉ番目の画素と対応関係を有する前記照明画像のｋ番目（ｋ≠ｊ）の画素の各々に対する前記カラー混合行列Ｖ’ｉｋ、及び前記投影画像のｋ番目（ｋ≠ｊ）の画素の各々から求められる、前記画像のｉ番目の画素に対する補助輝度とに基づいて、前記投影画像のｊ番目の画素を補償するステップと、を含んで実行することを特徴とする。
【００１６】
また、第２の発明に係る画像投影方法において、前記輝度補償処理部が補償するステップは、前記入力された画像のｉ番目の画素と対応関係を有する前記投影画像のｊ番目の画素を補償する際に、前記カメラ応答のｉ番目の画素と対応関係を有する前記照明画像のｋ番目（ｋ≠ｊ）の画素の各々に対する前記カラー混合行列Ｖ’ｉｋ、及び前記投影画像のｋ番目（ｋ≠ｊ）の画素の各々の初期値、又は前回更新された前記投影画像のｋ番目（ｋ≠ｊ）の画素の各々から、前記画像のｉ番目の画素に対する補助輝度を算出し、前記入力された画像のｉ番目の画素と対応関係を有する前記投影画像のｊ番目の画素に対して、前記カラー混合行列生成部により求められた、前記カメラ応答のｉ番目の画素に対する、前記照明画像のｊ番目の画素についての前記カラー混合行列Ｖ’ｉｊの逆行列と、前記画像のｉ番目の画素に対する前記補助輝度とに基づいて、前記投影画像のｊ番目の画素を算出することを、予め定められた収束条件を満たすまで繰り返すようにしてもよい。
【００１７】
また、第２の発明に係る画像投影方法において、パターン応答検出部が、予め定められた複数の照明画像を生成し、前記照明画像毎に、前記プロジェクタから照明画像を出力させ、前記出力された照明画像を前記カメラにより撮影するように制御し、前記照明画像毎に前記カメラにより撮影した観測画像の各々について、複数の色成分α毎に、予め定められた閾値よりも大きい輝度値を有する画素をカメラ応答の画素Ｃαｉとして検出するステップと、ＬＴ行列推定部が、前記パターン応答検出部により生成された前記複数の照明画像と、前記パターン応答検出部により前記複数の色成分α毎に検出された照明画像毎の前記カメラ応答の画素Ｃαｉの各々とに基づいて、前記複数の色成分α毎に、前記ライト・トランスポート行列を推定するステップと、を更に含むようにしてもよい。
【００１８】
また、第３の発明に係るプログラムは、コンピュータを、上記第１の発明に係る画像投影装置の各部として機能させるためのプログラムである。
【発明の効果】
【００１９】
本発明の画像投影装置、方法、及びプログラムによれば、予め求められたＬＴ行列に基づいて、色成分α及び照明画像の色成分βの組み合わせの各々に対する要素からなるカラー混合行列Ｖ’ｉｊを生成し、カラー混合行列Ｖ’ｉｊの逆行列を求め、所定画像のｉ番目の画素と対応関係を有する照明画像のｊ番目の画素に対して、所定画像のｉ番目の画素に対する、照明画像のｊ番目の画素についてのカラー混合行列Ｖ’ｉｊの逆行列と、カメラ応答のｉ番目の画素と対応関係を有する投影画像のｋ番目（ｋ≠ｊ）の画素の各々に対するカラー混合行列Ｖ’ｉｋ、及び投影画像のｋ番目（ｋ≠ｊ）の画素の各々から求められる、所定画像のｉ番目の画素に対する補助輝度とに基づいて、投影画像のｊ番目の画素を補償することにより、効率よく、投影画像の輝度を補償できる、という効果が得られる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施の形態に係る画像投影装置の構成を示すブロック図である。
【図２】縦ラインの照明画像と横ラインの照明画像の一例を示す概念図である。
【図３】カメラ応答を濃淡値として応答データを保存する場合の一例を示す概念である。
【図４】カメラ応答のＣ’と、照明画像のＰ’と、ＬＴ行列Ｔ’との関係の一例を表す概念図である。
【図５】本発明の第１の実施の形態に係る画像投影装置におけるパターン検出処理ルーチンを示すフローチャートである。
【図６】本発明の第１の実施の形態に係る画像投影装置におけるＬＴ行列推定処理ルーチンを示すフローチャートである。
【図７】本発明の第１の実施の形態に係る画像投影装置におけるカラー混合行列生成処理ルーチンを示すフローチャートである。
【図８】本発明の第１の実施の形態に係る画像投影装置における輝度補償処理ルーチンを示すフローチャートである。
【図９】本発明の第２の実施の形態に係る画像投影装置の構成を示すブロック図である。
【図１０】本発明の第３の実施の形態に係る画像投影装置の構成を示すブロック図である。
【図１１】本発明の第４の実施の形態に係る画像投影装置の構成を示すブロック図である。
【図１２】本発明の第５の実施の形態に係る画像投影装置の構成を示すブロック図である。
【図１３】本発明の第６の実施の形態に係る画像投影装置の構成を示すブロック図である。
【図１４】プロジェクタ・カメラシステムと被写体間のライト・トランスポートを得る一例を示す概念図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２２】
＜本発明の実施の形態に係る概要＞
【００２３】
プロジェクタ・カメラシステムの動作を活用したプロジェクション・マッピングにおいて、プロジェクタ画面の１画素がカメラ画面の１画素と対応付けるとは限らない一般的な状況において、ＬＴ行列の逆行列計算に頼らず所定画像を幾何的かつ光学的に補正して、被写体上に正確に投影することが、本発明の実施の形態が解決しようとする課題である。
【００２４】
＜本発明の第１の実施の形態に係る画像投影装置の構成＞
【００２５】
まず、本発明の第１の実施の形態に係る画像投影装置の構成について説明する。図１に示すように、画像投影装置１００は、カメラ１０と、プロジェクタ１２と、演算部２０と、出力部９０と、を含んで構成されている。なお、第１の実施の形態においては、１台のプロジェクタと１台のカメラのプロジェクタ・カメラシステムを用いる。
【００２６】
カメラ１０は、プロジェクタ１２により投影された照明画像を観測し、明るさを示す濃淡画像を取得し、パターン応答検出部２２に出力する。なお、第１の実施の形態においては、プロジェクタ１２から出力する単色照明として、例えば、白色照明を用いる。
【００２７】
プロジェクタ１２は、単色照明を用いて、パターン応答検出部２２による出力指示に従って被写体を投影する。
【００２８】
演算部２０は、パターン応答検出部２２と、ＬＴ行列推定部２８と、カラー混合行列生成部３０と、輝度補償処理部３２と、映像ＤＢ４０とを含んで構成されている。
【００２９】
パターン応答検出部２２は、以下に説明するように、プロジェクタ１２から照射するための、予め定められた複数の照明画像を生成し、照明画像毎に、プロジェクタ１２から照明画像を出力させ、出力された照明画像をカメラ１０により撮影するように制御し、照明画像毎にカメラ１０により撮影した観測画像の各々について、複数の色成分α毎に、予め定められた閾値よりも大きい輝度値を有する画素をカメラ応答の画素Ｃ’αｉとして検出する。
【００３０】
まず、パターン応答検出部２２において生成する照明画像の概要を説明する。後述するＬＴ行列推定部２８では、圧縮センシング（compressive sensing）と呼ばれるスパース信号復元技術により、できるだけ少ないカメラ応答から全体のＬＴを推定するため、その入力データとしては、できるだけ直交するような照明画像が最適である。直交するとは、照明画像の画素をスキャンして列ベクトルデータに再配置したとき、あるベクトルともう一つベクトルの内積が０になることを指す。完全に直交するのが理想的であるが、ここでは直交に近いものであれば圧縮センシングのための照明画像に利用することできる。本実施の形態では、照明画像として縦ラインあるいは横ラインから構成される照明を照射するための照明画像を生成する。異なる縦ラインの照明画像をベクトル化したときの内積は０であり、異なる横ラインの照明画像をベクトル化したときの内積も０である。縦ラインの照明画像と横ラインの照明画像をベクトル化したときの内積の値は互いに交差した画素数に比例するが、扱うプロジェクタ画面（全体の画素）においてそのライン幅が十分に狭ければほぼ０と見なすことができる。
【００３１】
パターン応答検出部２２は、具体的には、まず、プロジェクタ１２から、縦横ラインの照明画像を投影する範囲：Ｎ×Ｎ（＝１，０００×１，０００）画素の範囲を設定する。次に、縦横ラインの照明の幅ｎを設定する。理想的には、ｎ＝１画素を設定してもよいが、照明が微弱なために十分なカメラ応答が得られない場合があることを考慮して、第１の実施の形態においては、縦横ラインの照明の幅ｎはｎ＝４画素に設定する。ただし、ｎＬ＝Ｎ（Ｌは整数）とし、対象画素領域の縦横サイズＮがｎの倍数とする。一般的には、ｎは使用するプロジェクタ、カメラ、あるいは環境に依存するため、システムパラメータとして事前テストにより十分なカメラ応答が得られる範囲でライン幅ｎを決定してもよい。図２に照明画像の画素領域をＮ×Ｎ画素としたときのｎ×Ｎ画素の縦ラインの照明画像とＮ×ｎ画素の横ラインの照明画像の例を示す。黒い部分を照明の画素として使い、ｒｇｂの輝度値をｒ＝ｇ＝ｂ＝２５５と与えた白色の照明画像とする。
【００３２】
左端から右端へ幅ｎの等間隔で移動しながら、縦ラインの照明画像をプロジェクタから出力する。その照明パターンの投影のタイミングに応じて、カメラから観測画像を取得する。画像全体を処理対象とせず、観測範囲を設定して、その指定範囲においてカメラ応答を検出する。例えば、画像内でのＭ×Ｍ（＝１，０００×１，０００）画素の範囲を指定する（縦横のサイズは任意に設定しても処理内容に変更はない）。次に、事前に保有しておいた背景画像（プロジェクタ照明を当てていない状態）との背景差分を処理する。背景画像とは、照明パターンが照明されていない状態、あるいは黒を投影したときの観測画像である。当該背景差分において、蛍光灯などの環境光の下では画像雑音が多く混入するため、設定した閾値として例えば１０階調に設定しておき、当該値よりも大きい画素の各々をカメラ応答の画素Ｃ’αｉとして検出する。次に、検出されたカメラ応答の画素の各々について、２次元座標と共に、カメラ応答の輝度値を所定のデータ形式で応答データとして映像ＤＢ４０に記憶する。図３はカメラ応答データを保存するデータ形式の例であり、左端には検出された画素の座標が書き込まれ、その右側にカメラ応答のｒｇｂ輝度値が書き込まれる。全ての縦ライン照明についてカメラ応答を検出したあと、同様に、横ライン照明を下端から上端へ幅ｎの等間隔で移動しながらプロジェクタから出力して、その照明パターン応答画像から、上記の処理に従ってカメラ応答を検出する。Ｌ種類の縦ライン照明とＬ種類の横ライン照明が照明パターンとしてプロジェクタから出力されるため、本処理は２Ｌ種類のカメラ画像からカメラ応答データを映像ＤＢ４０に記憶し、全てのカメラ応答データを映像ＤＢ４０に記憶した時点で本処理を終了する。
【００３３】
ＬＴ行列推定部２８は、パターン応答検出部２２により生成された複数の照明画像と、パターン応答検出部２２によりｒｇｂの色成分α毎に観測された照明画像毎のカメラ応答の画素Ｃαｉの各々とに基づいて、ｒｇｂの色成分α毎に、カメラ応答の画素Ｃαｉの各々について、カメラ応答の画素Ｃαｉに対する照明画像の画素Ｐｊの対応関係を表すＬＴベクトルの各々を求めることにより、照明画像の画素Ｐｊ及びカメラ応答の画素Ｃαｉ間の対応関係を表すＬＴ行列を推定する。
【００３４】
本実施の形態では、ＬＴ行列推定部２８は、圧縮センシング（compressive sensing）を利用して、ＬＴ行列の全ての要素を推定する。
【００３５】
まず、ＬＴ行列推定部２８における圧縮センシングの原理を説明する。未知な被写体への映像投影において、Ｎ２次元のプロジェクタ照明ベクトルＰ’（Ｎ×Ｎ画素のプロジェクタ１２から投影する照明画像をベクトル化したデータ）が与えられるとプロジェクタ・カメラシステムはＭ２次元のカメラ観測ベクトルをＣ’とする（Ｍ×Ｍ画素のカメラ観測画像をベクトル化したデータ）と仮定する。一般的に、未校正なプロジェクタ・カメラシステムを使って任意の被写体（被写体は、その３次元形状と反射特性が不明であるとする）へ映像を投影するとき、照明画像とカメラ応答の入出力対応は、Ｍ２×Ｎ２のＬＴ行列Ｔ’を用いると、以下（１）式で表される。
【００３６】
【数１】
2017083778.tif 000003
【００３７】
Ｐ’はＮ２次元のプロジェクタ照明ベクトル、すなわちＮ×Ｎ画素の照明画像をベクトル化したデータを表し、Ｃ’はＭ２次元のカメラ観測ベクトル、すなわちＭ×Ｍ画素の観測画像をベクトル化したデータを表す。ＬＴ行列Ｔ’は、カメラ間の幾何的・光学的対応関係として、プロジェクタの画素から放射された光が被写体に反射したときの直接反射、間接反射を記述する。Ｆ’は環境照明に対応するカメラ応答であり、パターン応答検出部２２で用いた背景画像に相当する。なお、暗室環境でプロジェクタ・カメラシステムを用いる場合には、プロジェクタからのブラックオフセット光に反応したカメラ応答が主成分である。
【００３８】
上記（１）式は任意のプロジェクタ照明とカメラ観測のペアについて成り立ち、Ｋ種類のプロジェクタ照明｛Ｐ’１，Ｐ’２，・・・，Ｐ’Ｋ｝を用いて、そのカメラ応答｛Ｃ’１，Ｃ’２，・・・，Ｃ’Ｋ｝を観測するとき、以下（２）式を満たす。
【００３９】
【数２】
2017083778.tif 000004
【００４０】
プロジェクタ・カメラシステムを用いてＬＴを獲得することは、ユーザによって設計されたプロジェクタ照明を用いて、そのカメラ応答に基づいて行列Ｔ’を推定することを意味する。ここで、事前に黒画像を投影したカメラ応答画像から背景画像を得て、各カメラ応答はその背景差分によりベクトルＦ’が取り除かれているとする。
【００４１】
本実施の形態では、プロジェクタ照明に縦横ラインの照明を照射するための照明画像を用いるため、（２）式ではＫ＝２Ｌであり、各プロジェクタ照明｛Ｐ’１，Ｐ’２，・・・，Ｐ’Ｋ｝は該当する縦横ラインの照明画像の２次元画素の並びを列に再配置したベクトルとする。一方のカメラ応答データは、パターン応答検出部２２において図３のデータ形式で保存されている。上記（２）式のカメラ応答｛Ｃ’１，Ｃ’２，・・・，Ｃ’Ｋ｝は、カメラ応答データの画素座標に基づいて２次元画素の並びを列に再配置したベクトルとする。
【００４２】
（２）式の転置をとると、以下（３）式を得る。
【００４３】
【数３】
2017083778.tif 000005
【００４４】
ただし、便宜上、
【００４５】
【数４】
2017083778.tif 000006
【００４６】
と置換した（以降では、行列Φ’をセンシング行列と呼ぶ）。上記（３）式の左辺のＫ×Ｍ２の行列の各列をＫ次元ベクトルの各々からなる
【００４７】
【数５】
2017083778.tif 000007
【００４８】
で表し、上記（３）式の右辺の行列Ｔ’Ｔの各列をＮ２次元ベクトルの各々からなる
【００４９】
【数６】
2017083778.tif 000008
【００５０】
で表すことにより、上記（３）式は、
【００５１】
【数７】
2017083778.tif 000009
【００５２】
と書き直すことができる。（５）式から、第ｉ列のＫ次元ベクトルｖ’ｉは、
【００５３】
【数８】
2017083778.tif 000010
【００５４】
となる。ＬＴ行列推定部２８では、ｖ’ｉを応答ベクトル、ｕ’ｉをＬＴベクトルと呼ぶことにする。上記（６）式は、Ｎ２次元のＬＴベクトルｕ’ｉを入力とし、Ｋ×Ｎ２の行列の線形変換によってＫ次元の応答ベクトルｖ’ｉを出力すると解釈することができる。
【００５５】
上記（６）式では、応答ベクトルｖ’ｉは、ｉ番目のカメラ応答の画素におけるＫ種類の照明画像に対する時系列の応答を表し、未知のＬＴベクトルｕ’ｉをＫ種類の照明画像から構成される行列Φ’に変換することで得られる。一般的に、ＬＴ行列Ｔ’はスパースな性質をもつため、その行列を構成するＬＴベクトルｕ’ｉもスパースである。ＬＴ行列推定部２８は、（６）式に基づいてＬＴベクトルｕ’ｉを求めるために圧縮センシングを利用する。
【００５６】
圧縮センシングとは、ｌ１ノルム最小化の原理に基づいており、（６）式において、
【００５７】
【数９】
2017083778.tif 000011
【００５８】
を満たす解ｕ’ｉを求める信号処理手法である。（７）式において、
【００５９】
【数１０】
2017083778.tif 000012
【００６０】
はｌ１ノルムを表し、
【００６１】
【数１１】
2017083778.tif 000013
【００６２】
はｌ２ノルムを表す。圧縮センシングには様々なアルゴリズムが公知であるが、ここでは、実装が容易であり、理論的に収束性の良い、ＲＯＭＰ（Regularized Orthogonal Matching Pursuit）アルゴリズムを利用して解ｕ’ｉを求める。圧縮センシングにより、個々のｕ’ｉ，ｉ＝１，２，・・・，Ｍ２について、Ｍ２セットのＬＴベクトル
【００６３】
【数１２】
2017083778.tif 000014
【００６４】
が得られると、Ｍ２×Ｎ２のＬＴ行列Ｔ’は、
【００６５】
【数１３】
2017083778.tif 000015
【００６６】
の配列により求めることができる。
【００６７】
以上の原理に基づいて、ＬＴ行列推定部２８の処理内容を説明する。ＬＴ行列推定部２８が処理を開始すると、まず、上記（４）式に従ってセンシング行列Φ’を算出する。圧縮センシングを作動させるため、上記（７）式におけるパラメータεを設定する。カメラ応答には雑音が付加されているため、例えば、ε＝０．０１と与える。次に、映像ＤＢ４０に格納されたカメラ応答データを逐次読み出して、ｉ番目の応答ベクトルｖ’ｉを生成する。なお、応答ベクトルｖ’ｉはｉ番目のカメラ応答Ｃ’ｉとは異なる。
【００６８】
（３）式、及び（５）式から明らかなように、応答ベクトルｖ’ｉは、Ｋ種類のカメラ応答｛Ｃ’１，Ｃ’２，・・・，Ｃ’Ｋ｝のｉ番目の要素を取り出してベクトル化したデータである。
【００６９】
映像ＤＢ４０に格納されたカメラ応答データはｒｇｂの輝度値をもつため、各色の応答データをαチャネルの応答データと呼ぶことにする（α∈｛ｒ，ｇ，ｂ｝）。応答ベクトルｖ’ｊの生成では、映像ＤＢ４０からカメラ応答データを適宜読み出し、Ｋ種類のカメラ応答データのうちのαチャネルのカメラ応答｛Ｃ’１，Ｃ’２，・・・，Ｃ’Ｋ｝から、ｉ番目の要素のみを取り出して、Ｎ２次元ベクトルｖ’ｉを生成する。
【００７０】
次に、ＬＴ行列推定部２８は、ＲＯＭＰアルゴリズムを利用して、上記（７）式を満たすＬＴベクトルｕ’ｉを復元する。ＬＴ行列の構築では、事前にＭ２×Ｎ２の行列バッファＴ’αβ，（α＝β）を用意しておき、上記（８）式に従って、ｊ番目の行にＬＴベクトルの転置、すなわち、ｕ’Ｔｊを代入する。なお、通常のメモリサイズで用意するのではなく、スパース表現でメモリを確保し、ＬＴベクトルの非零要素のみを代入する。
【００７１】
ＬＴ行列推定部２８は、以上の処理を、ｒｇｂチャネルの応答データの全ての画素ｉ＝１，２，・・・，Ｍ２について処理すると、ｒチャネルの応答データから推定したＬＴ行列Ｔ’ｒｒ、ｇチャネルの応答データから推定したＬＴ行列Ｔ’ｇｇ、ｂチャネルの応答データから推定したＬＴ行列Ｔ’ｂｂが得られる。そして、ＬＴ行列推定部２８は、これらのＬＴ行列を映像ＤＢ４０に格納する。
【００７２】
カラー混合行列生成部３０は、ＬＴ行列推定部２８により推定されたｒｇｂの色成分α毎のＬＴ行列に基づいて、カメラ応答のｉ番目の画素の各々に対し、カメラ応答のｉ番目の画素と対応関係を有する照明画像のｊ番目の画素の各々についての、ｒｇｂの色成分α毎のＬＴ行列の要素を含む、ｒｇｂの色成分α及び照明画像のｒｇｂの色成分βの組み合わせの各々に対する要素からなるカラー混合行列Ｖ’ｉｊを生成し、カラー混合行列Ｖ’ｉｊの逆行列を求める。
【００７３】
カラー混合行列生成部３０の具体的な処理について以下に説明する。カラー混合行列生成部３０が処理を開始すると、まずＬＴ行列推定部２８で指定したＭ×Ｍのカメラ応答の各画素に関する輝度分配テーブルを初期化する（全てのテーブル値を０にセットする）。次に、Ｎ×Ｎの照明画像の各画素に関する輝度調整テーブルも初期化する（全てのテーブル値を０にセットする）。輝度分配テーブルとは１つのカメラ応答の画素が１つ又は２つ以上の照明画像の画素とＬＴの関係で結びつく回数を表し、輝度調整テーブルとは、１つの照明画像の画素が１つ又は２つ以上のカメラ応答の画素とＬＴの関係で結びつく回数を表す。テーブルの例としては、特定の形式である必要はなく、輝度分配テーブルでは、カメラ応答の画素を指標にして、照明画像の画素と結びつく回数を記録するだけのデータ形式を用意すればよく、輝度調整テーブルでは、照明画像の画素を指標にして、カメラ応答の画素と結びつく回数を記録するだけのデータ形式を用意すればよい。なお、ＬＴ行列は、縦方向がカメラ応答の画素の配置を表し、横方向が照明画像の画素の配置を表す行列形式である。
【００７４】
次に、カラー混合行列生成部３０は、カラー混合行列Ｖ’ｉｊを生成する。ここで、カラー混合行列Ｖ’ｉｊの生成の原理について説明する。一般的に、任意の照明画像Ｐ’を構成する照明画像の画素のｒｇｂの輝度値Ｐｒｊ，Ｐｇｊ，Ｐｂｊから、その観測画像Ｃ’を構成するカメラ応答の画素のｒｇｂ輝度値Ｃｒｉ，Ｃｇｉ，Ｃｂｉは、行列Ｔ’を用いて図４の行列演算で表現することができる。図４の行列Ｔ’は、９つのＬＴ行列、すなわち、Ｔ’αβ，α＝｛ｒ，ｇ，ｂ｝，β=｛ｒ，ｇ，ｂ｝から構成される。本実施の形態では、白色照明を使ってＬＴ行列Ｔ’ｒｒ、Ｔ’ｇｇ、Ｔ’ｂｂだけを求めるため、Ｔ’＝０、α≠βを用意しておく。
【００７５】
例として、ＬＴ行列によりカメラ応答の画素Ｃ’ｉ＝（Ｃｒｉ，Ｃｇｉ，Ｃｂｉ）が複数の照明画像の画素Ｐ’ｊ＝（Ｐｒｊ，Ｐｇｊ，Ｐｂｊ)，Ｐ’ｊ∈Ωｉとが結びつくとする。Ωｉは、カメラ応答の画素Ｃ’ｉ＝（Ｃｒｉ，Ｃｇｉ，Ｃｂｉ）とＬＴの関係にある複数の照明画像の画素Ｐ’ｊ＝（Ｐｒｊ，Ｐｇｊ，Ｐｂｊ）の集合を意味する。図４では、縦の破線は照明画像の画素Ｐ’ｊ＝（Ｐｒｊ，Ｐｇｊ，Ｐｂｊ)と結びつくＬＴ行列の要素を示しており、横の破線はカメラ応答の画素Ｃ’ｉ＝（Ｃｒｉ，Ｃｇｉ，Ｃｂｉ）と結びつくＬＴ行列の要素を示している。縦の破線と横の破線が交差する網掛けのＬＴ行列の要素が、照明画像の画素Ｐ’ｊ＝（Ｐｒｊ，Ｐｇｊ，Ｐｂｊ)とカメラ応答の画素Ｃ’ｉ＝（Ｃｒｉ，Ｃｇｉ，Ｃｂｉ）を直接に結びつける行列要素になる。そこで、ＬＴ行列Ｔ’αβ，α＝｛ｒ，ｇ，ｂ｝，β=｛ｒ，ｇ，ｂ｝において、色成分α及び色成分βの組み合わせの各々に対する、カメラ応答のｉ番目の画素と照明画像のｊ番目の画素とに関わる要素だけを取り出して、以下（９）式により３×３のカラー混合行列Ｖ’ｉｊを再形成することができる。
【００７６】
【数１４】
2017083778.tif 000016
【００７７】
ただし、各行列要素は、以下（１０）式の演算により取り出す。
【００７８】
【数１５】
2017083778.tif 000017
【００７９】
ここで、ｍ’ｉＴはｉ番目の要素が１でそれ以外が０の単位行ベクトルを表し、ｎ’ｊはｊ番目の要素が１でそれ以外が０の単位列ベクトルを表す。
【００８０】
そして、上記（９）式の行列Ｖ’ｉｊを用いて、カメラ応答の画素Ｃ’ｉを以下（１１）式によりの線形結合で表現することができる。
【００８１】
【数１６】
2017083778.tif 000018
【００８２】
以上の原理に基づいて、カラー混合行列生成部３０は、カラー混合行列Ｖ’ｉｊを生成する。まず、カラー混合行列生成部３０は、ＬＴ行列Ｔ’ｒｒ、Ｔ’ｇｇ、及びＴ’ｂｂを映像ＤＢ４０から読み出す。そして、それぞれのＬＴ行列においてカメラ座標Ｃ’ｉを指定して、指定したカメラ応答の画素Ｃ’ｉについて、その横方向に記録された全てのプロジェクタ座標において非零の要素を検出する。図４のＬＴの関係であるとして、ｉ番目のカメラ応答の画素Ｃ’ｉ＝（Ｃｒｉ，Ｃｇｉ，Ｃｂｉ）を指定したときに、ｊ番目の画素Ｐ’ｊ＝（Ｐ’ｒｊ，Ｐ’ｇｊ，Ｐ’ｂｊ）に対応する要素から非零の要素が検出されると、ＬＴ行列Ｔ’αβ、α＝｛ｒ、ｇ、ｂ｝、β＝｛ｒ、ｇ、ｂ｝から、対応する９つの行列要素を抽出し、上記（９）式のカラー混合行列Ｖ’ｉｊを生成する。次に、カラー混合行列Ｖ’ｉｊの行列式ｄｅｔ（Ｖ’ｉｊ）を計算し、ｄｅｔ(Ｖ’ｉｊ)≠０であるときカラー混合行列Ｖ’ｉｊの逆行列が存在するとして、カラー混合行列Ｖ’ｉｊを算出して保存する。このとき、（１１）式を満たす集合Ｐ’ｊ∈Ωｉにおいて、行列式ｄｅｔ（Ｖｉｊ）が最大となるときのカラー混合行列Ｖｉｊを見つけ出す。後述する輝度補償処理部３２の処理において、主応答テーブルを参照することにより、（１１）式の線形結合に対して、カメラ応答の画素Ｃ’ｉ＝（Ｃｒｉ，Ｃｇｉ，Ｃｂｉ）と最も主要なＬＴの関係にある照明画像の画素Ｐ’ｊ＝（Ｐ’ｒｊ，Ｐ’ｇｊ，Ｐ’ｂｊ）が分かればよいため、主応答テーブルには、カメラ応答の画素Ｃ’ｉ＝（Ｃｒｉ，Ｃｇｉ，Ｃｂｉ）に対して、主要なカラー混合行列Ｖｉｊが取り出せる程度の情報（例えば、サフィックスｊの値など）を書き込む。また、行列Ｖ’ｉｊの行列式ｄｅｔ(Ｖ’ｉｊ)＝０である場合は、その逆行列は計算できないとして、データを破棄して、ｉ番目のカメラ応答の画素Ｃ’ｉ＝（Ｃｒｉ，Ｃｇｉ，Ｃｂｉ）を指定したときに非零の要素が検出される、次の照明画像の画素に対する処理へ移行する。
【００８３】
輝度補償処理部３２は、以下に説明するように、入力された画像（以下、所定画像と称する）を得るためにプロジェクタから出力する照明画像である投影画像に対して、カメラ応答のｉ番目の画素の各々について、所定画像のｉ番目の画素と対応関係を有する照明画像のｊ番目の画素に対して、カラー混合行列生成部３０により求められた、所定画像のｉ番目の画素に対する、照明画像のｊ番目の画素についてのカラー混合行列Ｖ’ｉｊの逆行列と、カメラ応答のｉ番目の画素と対応関係を有する投影画像のｋ番目（ｋ≠ｊ）の画素の各々に対するカラー混合行列Ｖ’ｉｋ、及び投影画像のｋ番目（ｋ≠ｊ）の画素の各々から求められる、所定画像のｉ番目の画素に対する補助輝度とに基づいて、投影画像のｊ番目の画素を補償する。なお、所定画像は、予め被写体を撮影した未補償の画像であり、映像ＤＢ４０に格納しておくものとする。また、以下の説明では１枚の所定画像に対して処理を行う場合を例に説明するが、複数の所定画像に対して処理を行ってもよい。
【００８４】
また、輝度補償処理部３２は、所定画像のｉ番目の画素と対応関係を有する投影画像のｊ番目の画素を補償する際に、カメラ応答のｉ番目の画素と対応関係を有する照明画像のｋ番目（ｋ≠ｊ）の画素の各々に対するカラー混合行列Ｖ’ｉｋ、及び投影画像のｋ番目（ｋ≠ｊ）の画素の各々の初期値、又は前回更新された投影画像のｋ番目（ｋ≠ｊ）の画素の各々から、画像のｉ番目の画素に対する補助輝度を算出し、所定画像のｉ番目の画素と対応関係を有する投影画像のｊ番目の画素に対して、カラー混合行列生成部３０により求められた、カメラ応答のｉ番目の画素に対する、照明画像のｊ番目の画素についてのカラー混合行列Ｖ’ｉｊの逆行列と、画像のｉ番目の画素に対する補助輝度とに基づいて、投影画像のｊ番目の画素を算出することを、予め定められた収束条件を満たすまで繰り返す。
【００８５】
ここで、輝度補償処理部３２における輝度の補償の原理について説明する。ここでは、カラー混合行列生成部３０で得たカラー混合行列の逆行列Ｖ’ｉｊ−１を用いて、映像ＤＢ４０から取り出した所定画像の各画素の輝度を補償して被写体へ投影するのが、主な処理内容である。本処理では、説明の便宜上、カラー混合行列の逆行列Ｖ’ｉｊ−１、及び主応答テーブルを総称して補償パラメータとする。
【００８６】
本実施の形態では、カメラで観測したときの各画素の画素値を所定画像の画素値にするように補償する処理において、上記非特許文献３で公開されているカラー混合行列（color-mixing matrix）を使った輝度補償の方法を利用する。プロジェクタ１２から出力される照明以外の照明が被写体に照射されている一般的な状況では、上記（１０）式の関係は、カメラ応答の輝度Ｃ’ｉと投影画像の輝度Ｐ’ｊにおいて、以下（１２）式のように表すことができる。
【００８７】
【数１７】
2017083778.tif 000019
【００８８】
ここで、Ｆ’ｉはブラックオフセット光（黒の画像をプロジェクタから投影したときに放出される微弱な投影光）を含む環境光の成分を表す。各画素のＦ’ｉは、任意の環境照明の下で、黒の画像をプロジェクタから投影してカメラで観測すれば容易に得ることができる。
【００８９】
輝度補償の処理とは、上記（１２）式に基づいて、カメラ応答のｉ番目の画素Ｃ’ｉが与えられると、その輝度から環境光の成分を差し引いた後、ＬＴの関係で結びつく補償パラメータを使って、カメラ応答のｉ番目の画素Ｃ’ｉとＬＴの関係で結びつく輝度Ｐ’ｊの各々について、以下（１３）式により投影画像の画素の輝度Ｐ’ｊを決定する処理である。
【００９０】
【数１８】
2017083778.tif 000020
【００９１】
ただし、（１３）式で使われているＶ’ｉｊ−１はカラー混合行列Ｖｉｊの逆行列である。（１３）式において、Ｐ’ｊは（１２）式の線形結合において最も主要なＬＴの関係にある投影画像の画素の輝度であり、主応答テーブルを参照することによりその投影画像の画素を特定することができる。Ｓｉはｊ番目の投影画像の画素以外のＬＴの関係にある投影画像の画素とその対応するカラー混合行列により算出される輝度であり、便宜上、補助輝度と称する。もし、ＬＴと結びつく投影画像の画素が１つならば、主応答テーブルには１つの投影画像の画素の指標が書き込まれているため、補助輝度はＳｉ＝０になる。
【００９２】
ところで、（１３）式により投影画像の画素の輝度Ｐ’ｊが計算されるが、そのためには補助輝度Ｓｉが既知でなければならない。すなわち、集合Ωｉの中でｊ番目以外の全ての投影画像の画素の輝度Ｐ’ｋが求まっていないと、補助輝度Ｓｉを算出することができない。すべてのカメラ応答の画素から全ての投影画像の画素の輝度が決定した後でないと補助輝度が分からないため、（１３）式と（１４）式とは鶏と卵の関係になっている。輝度補償処理部３２では、この不整合な関係を解消しつつ、映像投影のために全ての投影画像の画素の輝度を補償する。
【００９３】
上記の輝度補償の原理に基づいて、輝度補償処理部３２は次の処理を行う。まず、処理を開始すると対象の全ての補償パラメータを読み出す。次に、映像ＤＢ４０から所定画像を読み出す。所定画像の各画素Ｃ’ｉについて、補助輝度をＳ’ｉ＝０と初期化する。次に、カメラ応答の画素Ｃ’ｉとカラー混合行列の関係で結びつく投影画像の画素について、（１３）式の計算により、投影画像の画素の輝度Ｐ’ｊを算出する。なお、環境光ベクトルＦ’ｉは、パターン応答検出部２２の処理において、背景差分に使った背景画像を利用すればよい。
【００９４】
カメラ応答の画素Ｃ’ｉとＬＴ関係にある全ての投影画像の画素の輝度Ｐ’ｊについて上記の処理が完了すると、（１４）式を使って補助輝度Ｓ’ｉを更新する。補助輝度が算出された後、再び、（１３）式の計算により、投影画像の画素の輝度Ｐ’ｊを算出する。この相互計算を反復することにより、上記で説明した（１３）式と（１４）式の双方を満たす適切な投影画像の画素の輝度を算出する。この相互補償において、１つ前の投影画像の画素の輝度と更新後の投影画像の画素の輝度がほぼ同一になったとき、相互補償が収束したと判定し、反復を停止する。上記の相互補償を全てのカメラ応答の画素Ｃ’ｉについて行い、全ての相互補償が収束した後、投影画像の画素Ｐ’ｊから構成される補償画像をプロジェクタ１２から被写体へ投影する。
【００９５】
以上により、本実施の形態に係る手法では、プロジェクタ照明とそのカメラ応答から効率的にＬＴ行列を使って、平面スクリーンへの画像投影と同様に、被写体投影の幾何歪みが無く、投影輝度が補償された高品質な画像を投影できる。
【００９６】
＜本発明の第１の実施の形態に係る画像投影装置の作用＞
【００９７】
次に、本発明の第１の実施の形態に係る画像投影装置１００の作用について説明する。  まず、図５を参照して、パターン応答検出処理ルーチンについて説明する。なお、カメラ１０において観測する範囲はＭ×Ｍ画素の範囲に設定されている。
【００９８】
まず、ステップＳ１００では、縦横ラインの照明画像を投影する照明対象領域をＮ×Ｎ画素と設定する。
【００９９】
次に、ステップＳ１０２では、縦ライン及び横ラインの照明の幅ｎを設定する
【０１００】
ステップＳ１０４では、照明パターンの番号ｆの初期値をｆ＝１と設定する。
【０１０１】
ステップＳ１０６では、照明パターンの番号ｆの値がＬより大きいか否かを判定する。照明パターンｆがＬ以下である場合には、ステップＳ１０８へ移行し、ｆがＬより大きい場合には、ステップＳ１１０へ移行する。
【０１０２】
ステップＳ１０８では、縦ライン照明を照射するための照明画像を設定すると共に、映像ＤＢ４０に記憶する。
【０１０３】
ステップＳ１１０では、横ライン照明を照射するための照明画像を設定すると共に、映像ＤＢ４０に記憶する。
【０１０４】
ステップＳ１１２では、ステップＳ１０８又はＳ１１０において設定した縦ライン照明画像又は横ライン照明画像をプロジェクタ１２から出力する。
【０１０５】
ステップＳ１１４では、プロジェクタ１２により出力された照明画像について、カメラ１０から観測画像を取得する。
【０１０６】
ステップＳ１１６では、色成分α毎に、映像ＤＢ４０から取得した背景画像と、ステップＳ１１４において取得した観測画像との背景差分を取得する。
【０１０７】
ステップＳ１１８では、色成分α毎に、予め設定した閾値と、ステップＳ１１６において取得した背景差分とから、カメラ応答の画素の各々を検出する。
【０１０８】
ステップＳ１２０では、ステップＳ１１８において色成分α毎に取得したカメラ応答の画素の各々の輝度値を応答データとして、照明パターンｆと対応づけて映像ＤＢ４０に記憶する。
【０１０９】
ステップＳ１２２では、照明パターンの番号の値ｆが２Ｌであるか否かを判定する。ｆの値が２Ｌである場合には、パターン応答検出処理ルーチンを終了し、ｆの値が２Ｌより小さい場合には、ステップＳ１２４へ移行してｆ＝ｆ＋１とし、ステップＳ１０６〜ステップＳ１２２の処理を繰り返す。
【０１１０】
次に、図６に示す、ＬＴ行列推定処理ルーチンについて説明する。
【０１１１】
まず、ステップＳ２００では、照明パターン毎に生成された照明画像に基づいて、上記（４）式に従ってセンシング行列Φ’を算出する。
【０１１２】
次に、ステップＳ２０２では、上記（７）式におけるパラメータεを、ε＝０．０１と設定する。
【０１１３】
次に、ステップＳ２０４では、カウンタｉをｉ＝１に初期化する。
【０１１４】
次に、ステップＳ２０６では、カウンタｉの値に基づいて、カメラ応答のｉ番目の画素を指定する。
【０１１５】
次に、ステップＳ２０８では、ステップＳ２０６で指定されたカメラ応答のｉ番目の画素について、映像ＤＢ４０に格納されたカメラ応答データを読み出して、色成分αに対する応答ベクトルｖ’ｉを生成する。
【０１１６】
次に、ステップＳ２１０では、カメラ応答のｉ番目の画素について、ステップＳ２００で算出したセンシング行列Φ’と、ステップＳ２０８で生成した応答ベクトルｖ’ｉとに基づいて、上記（７）式を満たす、色成分αに対するＬＴベクトルｕ’ｉを復元する。
【０１１７】
次に、ステップＳ２１２では、カメラ応答のｉ番目の画素について、予め用意されたＭ２×Ｎ２の行列バッファＴ’αβ，（α＝β）に対し、上記（８）式に従って、ｊ番目の行にＬＴベクトルの転置ｕ’Ｔｊを代入し、ＬＴ行列を構築し、映像ＤＢ４０に保存する。
【０１１８】
次に、ステップＳ２１４では、ｉがＭ２であるかを判定し、Ｍ２であればステップＳ２１８へ移行し、Ｍ２でなければステップＳ２１６へ移行する。
【０１１９】
次に、ステップＳ２１６では、カウンタｉをｉ＝ｉ＋１とカウントアップして、ステップＳ２０６へ移行する。
【０１２０】
次に、ステップＳ２１８では、全ての色成分αについてステップＳ２０４〜ステップＳ２１４までの処理を終了したか否かを判定する。全ての色成分αについてステップＳ２０４〜ステップＳ２１４までの処理を終了している場合には、ＬＴ行列推定処理ルーチンを終了し、全ての色成分αについてステップＳ２０４〜ステップＳ２１４までの処理を終了していない場合には、対象となる色成分αを変更し、ステップＳ２０４へ移行する。なお、対象となる色成分αは、赤色、緑色、青色の順に変更される。
【０１２１】
次に、図７に示す、カラー混合行列生成処理ルーチンについて説明する。
【０１２２】
次に、ステップＳ３００では、映像ＤＢ４０からＬＴ行列Ｔ’ｒｒ、Ｔ’ｇｇ、及びＴ’ｂｂを読み込む。
【０１２３】
次に、ステップＳ３０２では、カウンタｉをｉ＝１に初期化する。
【０１２４】
次に、ステップＳ３０４では、カウンタｉの値に基づいて、カメラ応答のｉ番目の画素を指定する。
【０１２５】
次に、ステップＳ３０６では、ステップＳ３０４で指定されたカメラ応答のｉ番目の画素について、その横方向に記録された全ての照明画像の画素に対するプロジェクタ座標において非零の要素を検出する。
【０１２６】
ステップＳ３０８では、ステップＳ３１０で非零の要素が検出された照明画像の画素から、カメラ応答のｉ番目の画素と結びつく照明画像のｊ番目の画素を１つ選択する。
【０１２７】
次に、ステップＳ３１０では、カメラ応答のｉ番目の画素と、ステップＳ３０８で選択された照明画像のｊ番目の画素との組み合わせについて、ＬＴ行列Ｔ’αβ、α＝｛ｒ、ｇ、ｂ｝、β＝｛ｒ、ｇ、ｂ｝から、対応する９つの行列要素を抽出し、上記（９）式のカラー混合行列Ｖ’ｉｊを生成する。
【０１２８】
次に、ステップＳ３１２では、ステップＳ３１２で計算されたカラー混合行列Ｖ’ｉｊの行列式ｄｅｔ（Ｖ’ｉｊ）を計算し、ｄｅｔ(Ｖ’ｉｊ)≠０であるかを判定する。ｄｅｔ(Ｖ’ｉｊ)≠０であれば、ステップＳ３１６へ移行し、ｄｅｔ(Ｖ’ｉｊ)≠０でなければステップＳ３１４へ移行する。
【０１２９】
次に、ステップＳ３１４では、ステップＳ３１２で抽出された行列要素を破棄し、ステップＳ３０８へ移行して、次の非零の要素が検出された照明画像の画素を選択する。
【０１３０】
ステップＳ３１６では、ステップＳ３１２で生成されたカラー混合行列Ｖ’ｉｊの逆行列を計算し、参照情報を書き込んだ主応答テーブルと共に補償パラメータとして映像ＤＢ４０に保存する。
【０１３１】
ステップＳ３１８では、ステップＳ３０６で非零の要素が検出された照明画像の全ての画素について、ステップＳ３１１〜ステップＳ３２２の処理を実行したか否かを判定する。ステップＳ３０８〜ステップＳ３１６の処理を実行していない、非零の要素が検出された照明画像の画素が存在する場合には、ステップＳ３０８へ戻る。一方、ステップＳ３１０で非零の要素が検出された照明画像の全ての画素について、ステップＳ３０８〜ステップＳ３１６の処理を実行した場合には、ステップＳ３２０へ進む。
【０１３２】
次に、ステップＳ３２０では、ｉがＭ２であるかを判定し、Ｍ２であれば処理を終了し、Ｍ２でなければステップＳ３２２へ移行する。
【０１３３】
次に、ステップＳ３２２では、カウンタｉをｉ＝ｉ＋１とカウントアップして、ステップＳ３０８へ移行する。
【０１３４】
次に、図８に示す、輝度補償処理ルーチンについて説明する。
【０１３５】
まず、ステップＳ４００では、映像ＤＢ４０から補償パラメータを読み込む。
【０１３６】
次に、ステップＳ４０２では、映像ＤＢ４０から所定画像を読み込む。
【０１３７】
次に、ステップＳ４０４では、ステップＳ４０２で読み込んだ所定画像に対する、投影画像の全ての画素をＰ’ｊ＝０と初期化し、所定画像の各画素Ｃ’ｉについて、補助輝度をＳ’ｉ＝０と初期化する。
【０１３８】
次に、ステップＳ４０６では、カウンタｉをｉ＝１に初期化する。
【０１３９】
次に、ステップＳ４０８では、カウンタｉの値に基づいて、処理対象となる所定画像のｉ番目の画素を指定する。
【０１４０】
ステップＳ４１０では、カメラ応答の画素Ｃ’ｉとカラー混合行列の関係で結びつく画素の集合Ωｉに含まれる、投影画像の画素Ｐ’ｊの各々について、ステップＳ４０４で初期化された、又は前回のステップＳ４１６で更新された補助輝度Ｓ’ｉに基づいて、上記（１３）式に従って、投影画像の画素の輝度Ｐ’ｊを算出する。
【０１４１】
ステップＳ４１２では、ステップＳ４１０で算出した投影画像のｉ番目の画素の各々の輝度Ｐ’ｊと、前回の投影画像のｉ番目の画素の各々の輝度Ｐ’ｊとの輝度差分を算出する。
【０１４２】
ステップＳ４１４では、ステップＳ４１２でｉ番目の画素の各々に対して算出された輝度差分に基づいて、投影画像の画素の輝度が収束したか否かを判定する。例えば、所定個以上の画素の輝度差分が閾値未満である場合には、投影画像の画素の輝度が収束したとしてステップＳ４１８へ移行し、画素の輝度差分が閾値未満である画素が所定個未満であれば、ステップＳ４１６へ移行する。
【０１４３】
ステップＳ４１６では、カメラ応答のｉ番目の画素と対応関係を有する投影画像のｋ番目（ｋ≠ｊ）の画素の各々に対するカラー混合行列Ｖ’ｉｋ、及び投影画像のｋ番目（ｋ≠ｊ）の画素Ｐ’ｋに基づいて、上記（１４）式に従ってｉ番目の画素に対する補助輝度Ｓ’ｉを更新して、ステップＳ４１０に戻ってステップＳ４１０〜Ｓ４１４の処理を繰り返す。
【０１４４】
ステップＳ４１８では、ｉがＭ２であるかを判定し、Ｍ２であればステップＳ４２６へ移行し、Ｍ２でなければステップＳ４２０へ移行し、カウンタｉをｉ＝ｉ＋１とカウントアップして、ステップＳ４０８に戻ってステップＳ４０８〜Ｓ４１４を繰り返す。
【０１４５】
そして、ステップＳ４２２では、ステップＳ４１０でカメラ応答のｉ番目の画素の各々について算出された投影画像の画素Ｐ’ｊから構成される投影画像をプロジェクタ１２から被写体へ投影し処理を終了する。
【０１４６】
以上説明したように、本発明の第１の実施の形態に係る画像投影装置によれば、照明画像毎に、プロジェクタから照明画像を出力させ、カメラにより撮影した観測画像の各々について、カメラ応答の色成分α毎に、カメラ応答の画素Ｃαｉを検出し、複数の照明画像と、カメラ応答の画素Ｃαｉの各々とに基づいて、ＬＴ行列を推定し、ＬＴ行列に基づいて、色成分α及び照明画像の色成分βの組み合わせの各々に対する要素からなるカラー混合行列Ｖ’ｉｊを生成し、カラー混合行列Ｖ’ｉｊの逆行列を求め、所定画像のｉ番目の画素と対応関係を有する照明画像のｊ番目の画素に対して、カラー混合行列生成部３０により求められた、所定画像のｉ番目の画素に対する、照明画像のｊ番目の画素についてのカラー混合行列Ｖ’ｉｊの逆行列と、カメラ応答のｉ番目の画素と対応関係を有する投影画像のｋ番目（ｋ≠ｊ）の画素の各々に対するカラー混合行列Ｖ’ｉｋ、及び投影画像のｋ番目（ｋ≠ｊ）の画素の各々から求められる、所定画像のｉ番目の画素に対する補助輝度とに基づいて、投影画像のｊ番目の画素を補償することにより、効率よく、投影画像の輝度を補償できる。
【０１４７】
また、本発明の第１の実施の形態に係る画像投影装置によれば、プロジェクタ照明とそのカメラ応答から効率的にＬＴ行列を使って、平面スクリーンへの画像投影と同様に、被写体投影の幾何歪みが無く、投影輝度が補償された高品質な画像を投影できる。
【０１４８】
＜第２の実施の形態に係る画像投影装置の概要＞
【０１４９】
次に、第２の実施の形態に係る画像投影装置２００の概要について説明する。本来、赤、緑、及び青のスペクトルは、可視光の波長帯において分布しているため、プロジェクタ・カメラシステムでは、プロジェクタとカメラ間のカラー混合（color mixing あるいはcrosstalk）が発生する場合がある。この現象は、プロジェクタ装置とカメラ装置の組み合わせに依存する。第２の実施の形態では、カラー混合を無視できないプロジェクタ・カメラシステムを用いたとき、図１２の処理構成においてｒｇｂ原色のカラー照明を用いて被写体を投影し、そのカメラ応答画像を観測してＬＴ行列を推定する。第２の実施形態では、説明の便宜上、ｒｇｂ原色のカラー照明のいずれかを色成分β，β∈｛ｒ，ｇ，ｂ｝のプロジェクタ照明と呼び、観測したカメラ画像のｒｇｂのカラー応答のいずれかを色成分α，α∈｛ｒ，ｇ，ｂ｝のカメラ応答と呼ぶ。第２の実施の形態ではカラー照明を用いて、そのカメラ応答画像から圧縮センシング手法によりＴ’αβ，（α＝β）を推定するだけではなく、カラー混合に相当するＴ’αβ，（α≠β）も推定する。
【０１５０】
＜本発明の第２の実施の形態に係る画像投影装置の構成＞
【０１５１】
次に、本発明の第２の実施の形態に係るリライティング画像生成装置の構成について説明する。図９に示すように、画像投影装置２００は、カメラ２１０と、プロジェクタ２１２と、演算部２２０と、出力部９０と、を含んで構成されている。
【０１５２】
カメラ２１０は、プロジェクタ２１２により投影された、各色成分βの照明画像を観測し、色値を表すｒｇｂ値を取得し、パターン応答検出部２２２に出力する。
【０１５３】
プロジェクタ２１２は、各色成分βの照明画像の各々を用いて、パターン応答検出部２２２による出力指示に従って被写体を投影する。
【０１５４】
演算部２２０は、パターン応答検出部２２２と、ＬＴ行列推定部２２８と、カラー混合行列生成部２３０と、輝度補償処理部３２と、映像ＤＢ２４０とを含んで構成されている。
【０１５５】
パターン応答検出部２２２は、プロジェクタ２１２から投影するｒｇｂの色成分βの照明画像を、赤照明画像、緑照明画像、及び青照明画像の順番で生成する。具体的には、照明パターンの番号ｆがｆ＜＝Ｌのとき、赤照明の縦ライン照明画像を設定し、当該番号ｆに対応する当該赤照明の縦ライン照明画像を映像ＤＢ２４０に記憶すると共に、当該赤照明の縦ライン照明画像をプロジェクタ２１２から投影させる。一方、当該番号ｆがｆ＞Ｌのとき、赤照明の横ライン照明画像を設定し、当該番号ｆに対応する当該赤照明の横ライン照明画像を映像ＤＢ２４０に記憶すると共に、当該赤照明の横ライン照明画像をプロジェクタ２１２から投影させる。パターン応答検出部２２２は、照明パターンの番号ｆごとに、上記の赤照明の縦ライン照明画像又は赤照明の横ライン照明画像を設定し、全ての赤照明のライン照明画像（２Ｌ本の縦横ライン照明画像）を順番にプロジェクタ２１２から投影し終えるまで上記処理を繰り返す。
【０１５６】
また、パターン応答検出部２２２は、２回目の照明パターンの生成において、緑照明の縦ライン照明画像を設定し、当該番号ｆに対応する当該緑照明の縦ライン照明画像を映像ＤＢ２４０に記憶すると共に、当該緑照明の縦ライン照明画像をプロジェクタ２１２から投影させる。以後、緑照明についても上記赤照明と同様に、全ての緑照明の縦横ライン照明画像を順番にプロジェクタ２１２から投影し終えるまで上記処理を繰り返す。また、パターン応答検出部２２２は、３回目の照明パターンの生成において、青照明の縦ライン照明画像を設定し、当該番号ｆに対応する当該青照明の縦ライン照明画像を映像ＤＢ２４０に記憶すると共に、当該青照明の縦ライン照明画像をプロジェクタ２１２から投影させる。以後、青照明についても上記赤照明と同様に、全ての青照明の縦横ライン照明画像を順番にプロジェクタ２１２から投影し終えるまで上記処理を繰り返す。以上のように、パターン応答検出部２２２は、赤照明、緑照明、及び青照明の各々について、２Ｌ本ずつ縦横ライン照明画像をプロジェクタ２１２から投影することにより、合計６Ｌ本のライン照明画像を生成する。
【０１５７】
パターン応答検出部２２２は、カメラ２１０において観測した、プロジェクタ２１２から投影された赤照明画像、緑照明画像、及び青照明画像の照明光に対するカメラ応答を検出する。具体的には、１回目の照明パターンに対する処理において、カメラ２１０から赤照明画像の照明光に対する観測画像を取得する。次に、映像ＤＢ２４０に記憶されているプロジェクタ２１２によるプロジェクタ照明を投影していない状態の観測画像である背景画像を取得し、赤照明画像に対する観測画像と背景画像との背景差分を処理し、観測画像の各画素のｒｇｂ値の各々に基づいて、Ｒ値の輝度値が予め定められた閾値よりも大きい場合に、当該画素のＲ値を赤照明に対するカメラ応答の赤の画素のＲ値として検出し、Ｇ値の輝度値が予め定められた閾値よりも大きい場合に、当該画素のＧ値を赤照明に対するカメラ応答の緑の画素のＧ値として検出し、Ｂ値の輝度値が予め定められた閾値よりも大きい場合に、当該画素のＢ値を赤照明画像に対するカメラ応答の青の画素のＢ値として検出する。次に、ｒｇｂの各色について、検出された赤照明画像に対するカメラ応答の当該色の画素の値の各々の輝度値を、赤照明画像に対する当該色の応答データとして映像ＤＢ２４０に記憶する。なお、パターン応答検出部２２２の処理は、プロジェクタ２１２から投影される赤照明の縦ライン照明画像又は横ライン照明画像を観測したカメラ２１０における赤照明画像に対するカメラ画像から赤照明画像に対するｒｇｂの各色の応答データを映像ＤＢ２４０に記憶し、全ての赤照明に対する縦ライン照明画像及び横ライン照明画像の各々についての赤照明画像に対するｒｇｂの各色の応答データを映像ＤＢ２４０に記憶した時点で赤照明画像に対する処理は、終了する。
【０１５８】
パターン応答検出部２２２は、２回目の照明パターンに対する処理において、緑照明画像に対して、上記赤照明画像に対する処理と同様に、緑照明画像に対するｒｇｂの各色の応答データを映像ＤＢ２４０に記憶し、全ての緑照明に対する縦ライン照明画像及び横ライン照明画像の各々についての緑照明画像に対するｒｇｂの各色の応答データを映像ＤＢ２４０に記憶した時点で緑照明に対する処理は終了する。また、パターン応答検出部２２２は、３回目の照明パターンに対する処理において、青照明画像に対して、上記赤照明画像に対する処理と同様に、青照明画像に対するｒｇｂの各色の応答データを映像ＤＢ２４０に記憶し、全ての青照明に対する縦ライン照明画像及び横ライン照明画像の各々についての青照明画像に対するｒｇｂの各色の応答データを映像ＤＢ２４０に記憶した時点で青照明画像に対する処理は終了する。
【０１５９】
映像ＤＢ２４０には、照明画像における赤照明、緑照明、及び青照明の各々に対応するｒｇｂの各色の応答データの各々と、照明パターンの番号ｆの各々に対応した赤照明、緑照明、及び青照明の各々に対応する縦ライン照明画像の各々又は横ライン照明画像の各々とが記憶されている。
【０１６０】
ＬＴ行列推定部２２８は、パターン応答検出部２２２より生成された複数の照明画像と、照明画像の色成分β及びカメラ応答の色成分α毎に観測された照明画像毎のカメラ応答の画素Ｃαｉの各々とに基づいて、カメラ画像の色成分α及び照明画像の色成分β毎に、ＬＴ行列を推定する。
【０１６１】
ＬＴ行列推定部２２８は、具体的には、まず、上記（４）式に従ってセンシング行列Φ’を算出する。本実施形態では、赤照明画像、緑照明画像、青照明画像を用いるが、同じライン照明画像を用いるためセンシング行列Φ’は赤照明画像、緑照明画像、青照明画像で共通に使うことができる。圧縮センシングを作動させるため、上記（７）式におけるパラメータεを設定する。次に、映像ＤＢ２４０に格納された色成分βの照明に対するカメラ応答データを逐次読み出して、Ｋ（＝２Ｌ）種類のカメラ応答f｛Ｃ’１，Ｃ’２，・・・，Ｃ’Ｋ｝からｉ 番目の色成分αの要素のみを取り出して、Ｎ２次元のカメラ応答ベクトルｖ’ｉを生成する。続いて、ＲＯＭＰアルゴリズムを利用して、上記（７）式を満たすＬＴベクトルｕ’ｉを復元する。ＬＴ行列の構築では、事前にＭ２×Ｎ２の行列バッファＴ’αβを用意しておき、上記（８）式に従って、ｊ番目の行にＬＴベクトルの転置、すなわち、ｕ’Ｔｊを代入する。なお、通常のメモリサイズで用意するのではなく、スパース表現でメモリを確保し、ＬＴベクトルの非零要素のみを代入する。以上の処理を、照明画像の色成分β毎に、色成分αの全てのカメラ応答の画素ｉ＝１，２，・・・，Ｍ２について処理する。そして、Ｔ’ｒｒ、Ｔ’ｒｇ、Ｔ’ ｒｂ、Ｔ’ ｇｒ、Ｔ’ｇｇ、Ｔ’ ｇｂ、Ｔ’ｂｒ、Ｔ’ｂｇ、及びＴ’ｂｂの９つ全てのＬＴ行列Ｔ’αβ，α,β｛ｒ,ｇ,ｂ｝を映像ＤＢ２４０に格納する。
【０１６２】
カラー混合行列生成部２３０は、ＬＴ行列推定部２２８により推定されたカメラ応答の色成分α及び照明画像の色成分β毎のＬＴ行列に基づいて、カメラ応答のｉ番目の画素の各々に対し、カメラ応答のｉ番目の画素と対応関係を有する照明画像のｊ番目の画素についてのカラー混合行列Ｖ’ｉｊを生成する。具体的な処理は、上記第１の実施の形態の画像投影装置１００のカラー混合行列生成部３０と同様である。
【０１６３】
なお、第２の実施の形態に係る画像投影装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【０１６４】
以上説明したように、本発明の第２の実施の形態に係る画像投影装置によれば、照明画像毎に、プロジェクタから各色成分βの照明画像を出力させ、カメラにより撮影した観測画像の各々について、カメラ画像の色成分α及び照明画像の色成分β毎に、カメラ応答の画素Ｃαｉを検出し、カメラ画像の色成分α及び照明画像の色成分β毎に、ＬＴ行列を推定し、ＬＴ行列に基づいて、カメラ応答のｉ番目の画素の各々に対し、カメラ応答のｉ番目の画素と対応関係を有する照明画像のｊ番目の画素についての、ｒｇｂの色成分α毎のＬＴ行列の要素を含む、色成分α及び照明画像の色成分βの組み合わせの各々に対する要素からなるカラー混合行列Ｖ’ｉｊを生成し、カラー混合行列Ｖ’ｉｊの逆行列を求め、所定画像のｉ番目の画素と対応関係を有する照明画像のｊ番目の画素に対して、カラー混合行列生成部２３０により求められた、所定画像のｉ番目の画素に対する、照明画像のｊ番目の画素についてのカラー混合行列Ｖ’ｉｊの逆行列と、カメラ応答のｉ番目の画素と対応関係を有する投影画像のｋ番目（ｋ≠ｊ）の画素の各々に対するカラー混合行列Ｖ’ｉｋ、及び投影画像のｋ番目（ｋ≠ｊ）の画素の各々から求められる、所定画像のｉ番目の画素に対する補助輝度とに基づいて、投影画像のｊ番目の画素を補償することにより、効率よく、投影画像の輝度を補償できる。
【０１６５】
＜第３の実施の形態に係る画像投影装置の概要＞
【０１６６】
次に、第３の実施の形態に係る画像投影装置について説明する。
【０１６７】
第３の実施の形態においては、Ｎ台のプロジェクタと１台のカメラのマルチプロジェクタ・システムを用いている点が第１の実施の形態と異なる。なお、第１の実施の形態に係る画像投影装置１００と同様の構成及び作用については、同一の符号を付して説明を省略する。また、プロジェクタが切り替えられた場合、当該切り替え先のプロジェクタについて、第１の実施の形態と同様の処理を行う。
【０１６８】
＜本発明の第３の実施の形態に係る画像投影装置の構成＞
【０１６９】
次に、本発明の第３の実施の形態に係る画像投影装置の構成について説明する。図１０に示すように、本発明の第３の実施の形態に係る画像投影装置３００は、カメラ１０と、Ｎ台のプロジェクタ１２Ａ〜プロジェクタ１２Ｎと、演算部３２０と、出力部９０と、を含んで構成されている。
【０１７０】
カメラ１０は、切替部３４２において切り替えられたプロジェクタ１２Ａ〜プロジェクタ１２Ｎのうちの何れか１つのプロジェクタにより投影された照明画像を観測し、明るさを示す濃淡画像を取得し、パターン応答検出部３２２に出力する。
【０１７１】
演算部３２０は、切替部３４２と、パターン応答検出部３２２と、ＬＴ行列推定部３２８と、カラー混合行列生成部３３０と、輝度補償処理部３３２と、映像ＤＢ３４０とを含んで構成されている。
【０１７２】
切替部３４２は、パターン応答検出部３２２の切り替え指示により、処理対象となるプロジェクタをプロジェクタ１２Ａ〜プロジェクタ１２Ｎのうちの１つに切り替える。なお、第３の実施の形態においては、１番初めの処理対象のプロジェクタとしてプロジェクタ１２Ａが選択されているものとする。また、第３の実施の形態においては、切替部３４２は、スイッチや分岐装置などを利用する。また、第３の実施の形態においては、終了条件である全てのプロジェクタについて処理が終了するまで、同期制御部３２２の切り替え指示により処理対象となるプロジェクタを切り替える。
【０１７３】
パターン応答検出部３２２は、照明画像毎に、切替部３４２において切り替えられたプロジェクタ１２Ａ〜プロジェクタ１２Ｎのうちの１つのプロジェクタから照明を照射させ、照射された照明をカメラ１０により撮影するように制御する。また、照明画像の数が、投影する全ての照明画像の数の値２Ｌである照明画像を送出した時点で繰り返し処理を停止し、切替部３４２に処理対象となるプロジェクタを切り替える切り替え指示を出力し、切替部３４２において処理対象となるプロジェクタが切り替えられた後に、照明画像の数を１に初期化し、上記処理を繰り返す。
【０１７４】
また、パターン応答検出部３２２は、切替部３４２において切り替えられているプロジェクタ１２Ａ〜プロジェクタ１２Ｎのうちの１つのプロジェクタから投影する照明画面を生成し、カメラ１０において観測した、切替部３４２において切り替えられているプロジェクタ１２Ａ〜プロジェクタ１２Ｎのうちの１つのプロジェクタから投影された照明光に対するカメラ応答を検出し、照明画像と対応づけて当該照明光についての応答データを作成し、映像ＤＢ３４０に記憶する。
【０１７５】
映像ＤＢ３４０には、プロジェクタ毎の、照明画像に対応した応答データの各々と、縦ライン照明画像の各々又は横ライン照明画像の各々とが記憶されている。
【０１７６】
ＬＴ行列推定部３２８は、プロジェクタ毎に、第１の実施の形態と同様の処理を行って、ＬＴベクトルを推定することにより、ＬＴ行列を推定する。
【０１７７】
カラー混合行列生成部３３０は、プロジェクタ毎に、第１の実施の形態と同様の処理を行って、カラー混合行列Ｖ’ｉｊを生成し、カラー混合行列Ｖ’ｉｊの逆行列を求める。
【０１７８】
輝度補償処理部３３２は、プロジェクタ毎に、第１の実施の形態と同様の処理を行って、カメラ応答のｉ番目の画素の各々について、ＬＴの関係で結びつく投影画像のｊ番目の画素の輝度値を補償する。また、当該プロジェクタにより投影画像を投影して、カメラ応答のｉ番目の画素の各々について、ＬＴの関係で結びつく投影画像のｊ番目の画素の輝度値を繰り返し更新する。
【０１７９】
なお、第３の実施の形態に係る画像投影装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【０１８０】
以上説明したように、本発明の第３の実施の形態に係る画像投影装置によれば、複数のプロジェクタを用いる場合において、照明画像毎に、切り替えられたプロジェクタ１２Ａ〜プロジェクタ１２Ｎのうちの１つのプロジェクタから照明画像を出力させ、カメラにより撮影した観測画像の各々について、カメラ応答の色成分α毎に、カメラ応答の画素Ｃαｉを検出し、複数の照明画像と、カメラ応答の画素Ｃαｉの各々とに基づいて、色成分α毎に、ＬＴ行列を推定し、ＬＴ行列に基づいて、カラー混合行列Ｖ’ｉｊを生成し、カラー混合行列Ｖ’ｉｊの逆行列を求め、所定画像を得るためにプロジェクタ１２Ａ〜プロジェクタ１２Ｎのうちの１つのプロジェクタから出力する照明画像である投影画像に対して、所定画像のｉ番目の画素と対応関係を有する照明画像のｊ番目の画素に対して、カラー混合行列生成部３３０により求められた、所定画像のｉ番目の画素に対する、照明画像のｊ番目の画素についてのカラー混合行列Ｖ’ｉｊの逆行列と、カメラ応答のｉ番目の画素と対応関係を有する投影画像のｋ番目（ｋ≠ｊ）の画素の各々に対するカラー混合行列Ｖ’ｉｋ、及び投影画像のｋ番目（ｋ≠ｊ）の画素の各々から求められる、所定画像のｉ番目の画素に対する補助輝度とに基づいて、投影画像のｊ番目の画素を補償することにより、効率よく、投影画像の輝度を補償できる。
【０１８１】
＜本発明の第４の実施の形態に係る画像投影装置の構成＞
【０１８２】
次に、本発明の第４の実施の形態に係る画像投影装置の構成について説明する。図１１に示すように、本発明の第４の実施の形態に係る画像投影装置４００は、カメラ２１０と、Ｎ台のプロジェクタ２１２Ａ〜プロジェクタ２１２Ｎと、演算部４２０と、出力部９０と、を含んで構成されている。
【０１８３】
カメラ２１０は、切替部４４２において切り替えられたプロジェクタ２１２Ａ〜プロジェクタ２１２Ｎのうちの何れか１つのプロジェクタにより投影された各色成分αの照明画像を観測し、色値を表すｒｇｂ値を取得し、パターン応答検出部４２２に出力する。
【０１８４】
演算部４２０は、切替部４４２と、パターン応答検出部４２２と、ＬＴ行列推定部４２８と、カラー混合行列生成部４３０と、輝度補償処理部４３２と、を含んで構成されている。
【０１８５】
切替部４４２は、パターン応答検出部４２２の切り替え指示により、処理対象となるプロジェクタをプロジェクタ２１２Ａ〜プロジェクタ２１２Ｎのうちの１つに切り替える。なお、第４の実施の形態においては、１番初めの処理対象のプロジェクタとしてプロジェクタ２１２Ａが選択されているものとする。また、第４の実施の形態においては、切替部４４２は、スイッチや分岐装置などを利用する。また、第４の実施の形態においては、終了条件である全てのプロジェクタを選択するまで、パターン応答検出部４２２の選択指示により処理対象となるプロジェクタを選択する。
【０１８６】
パターン応答検出部４２２は、切替部４４２において切り替えられたプロジェクタ２１２Ａ〜プロジェクタ２１２Ｎのうちの１つのプロジェクタから投影する照明画像を生成し、カメラ２１０において観測した、切替部４４２において切り替えられているプロジェクタ２１２Ａ〜プロジェクタ２１２Ｎのうちの１つのプロジェクタから投影された照明画像に対するカメラ応答を検出し、照明画像に対する応答データを生成し、映像ＤＢ４４０に記憶する。
【０１８７】
映像ＤＢ４４０には、プロジェクタ毎の、色成分βの照明画像に対応する各色成分αの応答データの各々と、色成分βの縦ライン照明画像の各々又は横ライン照明画像の各々とが記憶されている。
【０１８８】
ＬＴ行列推定部４２８は、プロジェクタ毎に、第２の実施の形態と同様の処理を行って、ＬＴベクトルを推定することにより、ＬＴ行列を推定する。
【０１８９】
カラー混合行列生成部４３０は、プロジェクタ毎に、第２の実施の形態と同様の処理を行って、カラー混合行列Ｖ’ｉｊを生成し、カラー混合行列Ｖ’ｉｊの逆行列を求める。
【０１９０】
輝度補償処理部４３２は、プロジェクタ毎に、第１の実施の形態と同様の処理を行って、カメラ応答のｉ番目の画素の各々について、ＬＴの関係で結びつく投影画像のｊ番目の画素の輝度値を補償する。また、当該プロジェクタにより投影画像を投影して、カメラ応答のｉ番目の画素の各々について、ＬＴの関係で結びつく投影画像のｊ番目の画素の輝度値を繰り返し更新する。
【０１９１】
なお、第４の実施の形態に係る画像投影生成装置の他の構成及び作用については、第２の実施の形態と同様であるため、説明を省略する。
【０１９２】
以上説明したように、本発明の第４の実施の形態に係る画像投影装置によれば、複数のプロジェクタを用いる場合において、照明画像毎に、切り替えられたプロジェクタ１２Ａ〜プロジェクタ１２Ｎのうちの１つのプロジェクタから各色成分βの照明画像を出力させ、カメラにより撮影した観測画像の各々について、カメラ画像の色成分α及び照明画像の色成分β毎に、カメラ応答の画素Ｃαｉを検出し、カメラ画像の色成分α及び照明画像の色成分β毎に、ＬＴ行列を推定し、ＬＴ行列に基づいて、カラー混合行列Ｖ’ｉｊを生成し、カラー混合行列Ｖ’ｉｊの逆行列を求め、所定画像を得るためにプロジェクタ１２Ａ〜プロジェクタ１２Ｎのうちの１つのプロジェクタから出力する照明画像である投影画像に対して、所定画像のｉ番目の画素と対応関係を有する照明画像のｊ番目の画素に対して、カラー混合行列生成部４３０により求められた、所定画像のｉ番目の画素に対する、照明画像のｊ番目の画素についてのカラー混合行列Ｖ’ｉｊの逆行列と、カメラ応答のｉ番目の画素と対応関係を有する投影画像のｋ番目（ｋ≠ｊ）の画素の各々に対するカラー混合行列Ｖ’ｉｋ、及び投影画像のｋ番目（ｋ≠ｊ）の画素の各々から求められる、所定画像のｉ番目の画素に対する補助輝度とに基づいて、投影画像のｊ番目の画素を補償することにより、効率よく、投影画像の輝度を補償できる。
【０１９３】
＜本発明の第５の実施の形態に係る画像投影装置の構成＞
【０１９４】
次に、本発明の第５の実施の形態に係る画像投影装置の構成について説明する。図１２に示すように、本発明の第４の実施の形態に係る画像投影装置５００は、入力部５１０と、プロジェクタ１２と、演算部５２０と、出力部９０と、を含んで構成されている。
【０１９５】
演算部５２０は、ＬＴ行列推定部２８と、カラー混合行列生成部３０と、輝度補償処理部３２と、映像ＤＢ４０とを含んで構成されている。
【０１９６】
本実施の形態では、入力部５１０が、第１の実施の形態におけるパターン応答検出部２２と同様の手法によって、他の装置により求められた、ｒｇｂの色成分α毎に観測された照明画像毎のカメラ応答の画素Ｃαｉの各々を入力データとして受け付ける。
【０１９７】
ＬＴ行列推定部２８は、予め生成され映像ＤＢ４０に格納された複数の照明画像と、入力部５１０により受け付けたｒｇｂの色成分α毎に観測された照明画像毎のカメラ応答の画素Ｃαｉの各々とに基づいて、第１の実施の形態と同様に、ｒｇｂの色成分α毎に、カメラ応答の画素Ｃαｉの各々について、カメラ応答の画素Ｃαｉに対する照明画像の画素Ｐｊの対応関係を表すＬＴベクトルの各々を求めることにより、照明画像の画素Ｐｊ及びカメラ応答の画素Ｃαｉ間の対応関係を表すＬＴ行列を推定する。
【０１９８】
本実施の形態ではＬＴ行列を圧縮センシングを利用して推定するため、カメラ応答データをコンパクトに格納することができる。さらに、カラー混合の有無に関わらずＬＴ行列を入力データとして扱うことができるため、処理内容は第１の実施の形態、又は第２の実施の形態と同様に説明できる。
【０１９９】
なお、第５の実施の形態に係る画像投影装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【０２００】
以上説明したように、本発明の第１の実施の形態に係る画像投影装置によれば、複数の照明画像と、入力されたカメラ応答の画素Ｃαｉの各々とに基づいて、ＬＴ行列を推定し、ＬＴ行列に基づいて、色成分α及び照明画像の色成分βの組み合わせの各々に対する要素からなるカラー混合行列Ｖ’ｉｊを生成し、カラー混合行列Ｖ’ｉｊの逆行列を求め、所定画像のｉ番目の画素と対応関係を有する照明画像のｊ番目の画素に対して、カラー混合行列生成部３０により求められた、所定画像のｉ番目の画素に対する、照明画像のｊ番目の画素についてのカラー混合行列Ｖ’ｉｊの逆行列と、カメラ応答のｉ番目の画素と対応関係を有する投影画像のｋ番目（ｋ≠ｊ）の画素の各々に対するカラー混合行列Ｖ’ｉｋ、及び投影画像のｋ番目（ｋ≠ｊ）の画素の各々から求められる、所定画像のｉ番目の画素に対する補助輝度とに基づいて、投影画像のｊ番目の画素を補償することにより、効率よく、投影画像の輝度を補償できる。
【０２０１】
＜本発明の第６の実施の形態に係る画像投影装置の構成＞
【０２０２】
次に、本発明の第６の実施の形態に係る画像投影装置の構成について説明する。図１２に示すように、本発明の第６の実施の形態に係る画像投影装置６００は、入力部６１０と、プロジェクタ１２と、演算部６２０と、出力部９０と、を含んで構成されている。
【０２０３】
演算部６２０は、カラー混合行列生成部３０と、輝度補償処理部３２と、映像ＤＢ４０とを含んで構成されている。
【０２０４】
本実施の形態では、入力部６１０が、第１の実施の形態におけるＬＴ行列推定部２８と同様の手法によって、他の装置により求められた、ｒｇｂの色成分α毎に予め求められたＬＴ行列の入力を受け付ける。
【０２０５】
カラー混合行列生成部３０は、入力部６１０により受け付けたｒｇｂの色成分α毎のＬＴ行列に基づいて、第１の実施の形態と同様に、カメラ応答のｉ番目の画素の各々に対し、カメラ応答のｉ番目の画素と対応関係を有する照明画像のｊ番目の画素の各々についての、ｒｇｂの色成分α毎のＬＴ行列の要素を含む、ｒｇｂの色成分α及び照明画像のｒｇｂの色成分βの組み合わせの各々に対する要素からなるカラー混合行列Ｖ’ｉｊを生成し、カラー混合行列Ｖ’ｉｊの逆行列を求める。
【０２０６】
本実施の形態ではカラー混合の有無に関わらずＬＴ行列を入力データとして扱うことができるため、処理内容は第１の実施の形態、又は第２の実施の形態と同様に説明できる。
【０２０７】
なお、第６の実施の形態に係る画像投影装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【０２０８】
以上説明したように、本発明の第６の実施の形態に係る画像投影装置によれば、予め求められたＬＴ行列に基づいて、色成分α及び照明画像の色成分βの組み合わせの各々に対する要素からなるカラー混合行列Ｖ’ｉｊを生成し、カラー混合行列Ｖ’ｉｊの逆行列を求め、所定画像のｉ番目の画素と対応関係を有する照明画像のｊ番目の画素に対して、所定画像のｉ番目の画素に対する、照明画像のｊ番目の画素についてのカラー混合行列Ｖ’ｉｊの逆行列と、カメラ応答のｉ番目の画素と対応関係を有する投影画像のｋ番目（ｋ≠ｊ）の画素の各々に対するカラー混合行列Ｖ’ｉｋ、及び投影画像のｋ番目（ｋ≠ｊ）の画素の各々から求められる、所定画像のｉ番目の画素に対する補助輝度とに基づいて、投影画像のｊ番目の画素を補償することにより、効率よく、投影画像の輝度を補償できる。
【０２０９】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０２１０】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。
【符号の説明】
【０２１１】
１０、２１０  カメラ
１２、２１２、２１２Ａ〜Ｎ  プロジェクタ
２０、２２０、３２０、４２０、５２０、６２０     演算部
２２、２２２、３２２、４２２       パターン応答検出部
２８、２２８、３２８、４２８       ＬＴ行列推定部
３０、２３０、３３０、４３０       カラー混合行列生成部
３２、２３２、３３２、４３２       輝度補償処理部
４０、２４０、３４０、４４０       映像ＤＢ
９０   出力部
１００、２００、３００、４００、５００、６００   画像投影装置
３４２、４４２       切替部
５１０、６１０       入力部
【図１】
2017083778.tif 000021
【図２】
2017083778.tif 000022
【図３】
2017083778.tif 000023
【図４】
2017083778.tif 000024
【図５】
2017083778.tif 000025
【図６】
2017083778.tif 000026
【図７】
2017083778.tif 000027
【図８】
2017083778.tif 000028
【図９】
2017083778.tif 000029
【図１０】
2017083778.tif 000030
【図１１】
2017083778.tif 000031
【図１２】
2017083778.tif 000032
【図１３】
2017083778.tif 000033
【図１４】
2017083778.tif 000034