(57)【要約】【課題】プロジェクタ画面の１画素がカメラ画面の１画素と対応付けるとは限らない一般的な状況において、所定画像を幾何的かつ光学的に補正して、被写体上に正確に投影することができる空間投影装置を提供する。【解決手段】横方向にｍ画素、縦方向にｎ画素の矩形の領域を白、それ以外の画素領域を黒とした画素パターンを点光源用画像として用いて被写体に対して投影してライト・トランスポートデータを獲得するＬＴ獲得部と、ライト・トランスポートデータに基づいてプロジェクタ画素の輝度を調整するための輝度配分比を算出するＬＴ調整部と、プロジェクタ画素とカメラ画素との幾何的対応情報と、輝度配分比と、基準のカラーサンプル画像から算出した輝度補償パラメータとを使用して、投影対象画像を幾何的かつ光学的に補正して、被写体へ投影対象画像を投影する画像を生成する投影画像生成部とを備える。【選択図】図１
2015100084.tif 000002
【特許請求の範囲】
【請求項１】
横方向にｍ画素、縦方向にｎ画素の矩形の領域を白、それ以外の画素領域を黒とした画素パターンを点光源用画像として用いて被写体に対して投影してライト・トランスポートデータを獲得するＬＴ獲得部と、
前記ライト・トランスポートデータに基づいてプロジェクタ画素の輝度を調整するための輝度配分比を算出するＬＴ調整部と、
プロジェクタ画素とカメラ画素との幾何的対応情報と、前記輝度配分比と、基準のカラーサンプル画像から算出した輝度補償パラメータとを使用して、投影対象画像を幾何的かつ光学的に補正して、前記被写体へ前記投影対象画像を投影する画像を生成する投影画像生成部と
を備えることを特徴とする空間投影装置。
【請求項２】
前記投影画像生成部は、前記被写体へ前記投影対象画像を投影した画像の観測画像を取得し、前記観測画像と、生成した前記投影対象画像を投影する画像との輝度誤差を求め、該輝度誤差が所定のしきい値より大きい場合に、フィードバックすべき輝度を算出し、算出した前記輝度に基づいて、前記プロジェクタ画素の輝度を更新することを特徴とする請求項１に記載の空間投影装置。
【請求項３】
ＬＴ獲得部と、ＬＴ調整部と、投影画像生成部とを備える空間投影装置が行う空間投影方法であって、
前記ＬＴ獲得部が、横方向にｍ画素、縦方向にｎ画素の矩形の領域を白、それ以外の画素領域を黒とした画素パターンを点光源用画像として用いて被写体に対して投影してライト・トランスポートデータを獲得するＬＴ獲得ステップと、
前記ＬＴ調整部が、前記ライト・トランスポートデータに基づいてプロジェクタ画素の輝度を調整するための輝度配分比を算出するＬＴ調整ステップと、
前記投影画像生成部が、プロジェクタ画素とカメラ画素との幾何的対応情報と、前記輝度配分比と、基準のカラーサンプル画像から算出した輝度補償パラメータとを使用して、投影対象画像を幾何的かつ光学的に補正して、前記被写体へ前記投影対象画像を投影する画像を生成する投影画像生成ステップと
を有することを特徴とする空間投影方法。
【請求項４】
コンピュータを、請求項１または２に記載の空間投影装置として機能させるための空間投影プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像投影装置を使用して、空間情報に合わせて画像を投影する空間投影装置、空間投影方法及び空間投影プログラムに関する。
【背景技術】
【０００２】
映像投影装置であるプロジェクタは極めてフレキシブルな画像出力デバイスであり、投影仕様の範囲内であれば個人スペース、会議ホール、巨大パブリックビューイング、ビルの壁などに合わせて自由サイズの映像表示を提供することができる。プロジェクタを使って平面スクリーンではない任意の構造物（以下、被写体と称する）へ投影するとき、被写体の形状を事前に計測して、その形状に合わせて所定画像が空間歪みの無いように投影する技術は、プロジェクション・マッピング（ｐｒｏｊｅｃｔｉｏｎ  ｍａｐｐｉｎｇ）として知られている。任意スケール表示の利点を活かして、プロジェクション・マッピングはエンターテインメント志向のイベントやイルミネーションによる広告表示などに利用されている。
【０００３】
プロジェクション・マッピングでは所定画像を正確に被写体に投影するために、プロジェクタ・カメラシステム（ｐｒｏｊｅｃｔｏｒ−ｃａｍｅｒａ  ｓｙｓｔｅｍｓ）が利用される。プロジェクタ・カメラシステムではカメラから入力された画像に応じてプロジェクタから出力する画像を幾何変換するように制御すれば、所定画像を指定された位置に投影することができる。通常、平面のスクリーンにプロジェクション・マッピングする場合には、事前のキャリブレーション作業で得た平面射影変換（ｐｌａｎｅ−ｈｏｍｏｇｒａｐｈｙ）を使い、プロジェクタ画面上の点とカメラ画面上の点をスクリーン面を介して対応付ける。この対応関係を利用して、プロジェクタから出力する所定画像を幾何変換して、所定画像をスクリーン面の決められた場所に投影する。
【０００４】
これに対して、空間構造に凹凸があったり曲がった構造である場合には、非特許文献１では、レーザ計測を利用して、被写体の空間構造あるいは凹凸形状を得るようにしている。その形状に合わせて所定画像を幾何的に変形させて、平面スクリーンと同様の状態で指定個所に所定画像を投影する。同様のアプローチとして、構造光（ｓｔｒｕｃｔｕｒｅｄ  ｌｉｇｈｔｓ）と呼ばれる幾何パターンをプロジェクタから投影し、カメラで観測した歪み画像から空間構造の凹凸形状あるいは奥行きを計測する方式も利用できる。このように、従来技術は、外界または被写体の空間構造をレーザ計測またはプロジェクタ・カメラシステムを利用して空間構造を把握し、その凹凸形状または奥行きに合わせて指定個所へ所定画像を投影する。
【０００５】
これに対して、外界の空間構造を計測せずに、ライト・トランスポートを利用したプロジェクション・マッピングが非特許文献２で公開されている。ライト・トランスポート（ｌｉｇｈｔ  ｔｒａｎｓｐｏｒｔ）とは、全てのプロジェクタ画素と全てのカメラ画素間の対応関係を表現したデータである。図７は、未校正なプロジェクタ・カメラシステムを使ったライト・トランスポート行列（ｌｉｇｈｔ  ｔｒａｎｓｐｏｒｔ  ｍａｔｒｉｘ）の測定を示す図である。図７に示すようにプロジェクタ画素の１点１点を順番に点灯させ、その画素からの光が光学的反射や屈折によって結び付くカメラ画素を検出することによってそのライト・トランスポートを得る。プロジェクタ画面の画素数がｐ×ｑ画素でカメラ画面の画素数がｕ×ｖ画素であるとき、各点光源のカメラ応答の画像Ｃｊを列ベクトル化して並べた行列Ｔは、ライト・トランスポート行列と呼ばれ、ｕｖ×ｐｑ画素の巨大、かつ、スパースな行列である。
【０００６】
非特許文献２では、この行列の転置ＴＴを利用して、プロジェクタからの視点から観測されるであろう仮想画像（ｄｕａｌ  ｐｈｏｔｏｇｒａｐｈｙ）を人工的に生成する方法が記載されている。
【０００７】
一般的に、レーザあるいは構造光を使った３次元形状計測では一次反射光のみを受光することを前提としている。このため、被写体の構造によって発生する光学的な多重反射や屈折を扱うことができない。これに対して、ライト・トランスポートは一次反射光と多重反射や屈折光を区別することなく扱うことできるため、全てのプロジェクタ画素と全てのカメラ画素間の対応付けに基づいた高精度なプロジェクション・マッピングを可能とする。
【０００８】
なお、プロジェクタ・カメラシステムの輝度補償技術は非特許文献３に記載の技術がある。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】J. Shimamura and K. Arakawa:"Location-Aware Projection with Robust 3-D Viewing Point Detection and Fast Image Deformation", Proc. ACM International Conference on Multimedia,pp.296.299, 2004.
【非特許文献２】P. Sen, B. Chen, G. Garg, S.R. Marschner, M. Horowitz, M. Levoy, and H.P.A. Lensch: "Dual Photography",ACM Transactions on Graphics, vol.23, no.3, pp.745.755, 2005.
【非特許文献３】K. Fujii, M.D. Grossberg, and S.K. Nayar: "A Projector-Camera System with Real-Time Photometric Adaptation for Dynamic Environments", Proc. of IEEE Computer Vision and Pattern Recognition (CVPR), vol.1, pp.814.821, 2005.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
レーザ光あるいは構造光による３次元計測に頼らずに、任意形状に対して所定画像をプロジェクション・マッピングするには、プロジェクタから出力した画素（これをプロジェクタ画素という）とカメラで観測した画素（これをカメラ画素という）を全て対応付ける必要がある。ここでは、この作業をライト・トランスポートの獲得と称する。図７では、ライト・トランスポートを獲得する概要を示しており、最も単純には各画素を点光源として使う。ｐ×ｑ画素のプロジェクタ画面において１点ずつ順番に繰り返して照明するとき、ｐｑ枚の画像をカメラで観測することになり、それぞれの画像においてカメラ応答の画素を検出してライト・トランスポートを獲得する。
【００１１】
ところが、プロジェクタとカメラの位置または姿勢の関係によっては、プロジェクタ画面の１画素を点光源として使うには不十分な場合がある。図８は、プロジェクタが被写体から遠い場合の例を示す図である。プロジェクタ画面の１画素から放出した照明光は広がりをもって進み被写体で反射し、その反射光をカメラ画面において数画素で観測するとき、プロジェクタ画面の１画素からの照明が微弱過ぎてカメラで観測できない場合がある。この状況は照明する側のプロジェクタの光学的感度特性や機能設定、並びに、観測する側のカメラの光学的感度特性や機能設定にも依存するため、ライト・トランスポートを獲得するにはプロジェクタ画面の１点を点光源として利用することは一般的ではない。
【００１２】
さらに、所定の画像を被写体に正確に投影するには、カメラで観測したときの各画素の画素値も所定画像の画素値にする必要がある。非特許文献３の方法によれば、所定の輝度をカメラで観測するようにプロジェクタからの出力輝度を光学的に補償することができる。その方法は平面物体以外の物体表面の輝度補償を扱っているが、プロジェクタ座標とカメラ座標が１対１の幾何的に対応付けられている場合に限定される。
【００１３】
また、任意形状に対するライト・トランスポートでは直接反射光の他に二次以上の反射光や屈折光が含まれる。このため、被写体に所定画像を幾何的かつ光学的にプロジェクション・マッピングするには、ライト・トランスポートにおけるプロジェクタ画素とカメラ画素間のＭ対Ｎの空間的対応関係を考慮して、プロジェクタから出力するカラーの輝度を自動調整する必要があるという問題がある。
【００１４】
本発明は、このような事情に鑑みてなされたもので、プロジェクタ・カメラシステムの動作を活用したプロジェクション・マッピングにおいて、プロジェクタ画面の１画素がカメラ画面の１画素と対応付けるとは限らない一般的な状況において、所定画像を幾何的かつ光学的に補正して、被写体上に正確に投影することができる空間投影装置、空間投影方法及び空間投影プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明は、横方向にｍ画素、縦方向にｎ画素の矩形の領域を白、それ以外の画素領域を黒とした画素パターンを点光源用画像として用いて被写体に対して投影してライト・トランスポートデータを獲得するＬＴ獲得部と、前記ライト・トランスポートデータに基づいてプロジェクタ画素の輝度を調整するための輝度配分比を算出するＬＴ調整部と、プロジェクタ画素とカメラ画素との幾何的対応情報と、前記輝度配分比と、基準のカラーサンプル画像から算出した輝度補償パラメータとを使用して、投影対象画像を幾何的かつ光学的に補正して、前記被写体へ前記投影対象画像を投影する画像を生成する投影画像生成部とを備えることを特徴とする。
【００１６】
本発明は、前記投影画像生成部は、前記被写体へ前記投影対象画像を投影した画像の観測画像を取得し、前記観測画像と、生成した前記投影対象画像を投影する画像との輝度誤差を求め、該輝度誤差が所定のしきい値より大きい場合に、フィードバックすべき輝度を算出し、算出した前記輝度に基づいて、前記プロジェクタ画素の輝度を更新することを特徴とする。
【００１７】
本発明は、ＬＴ獲得部と、ＬＴ調整部と、投影画像生成部とを備える空間投影装置が行う空間投影方法であって、前記ＬＴ獲得部が、横方向にｍ画素、縦方向にｎ画素の矩形の領域を白、それ以外の画素領域を黒とした画素パターンを点光源用画像として用いて被写体に対して投影してライト・トランスポートデータを獲得するＬＴ獲得ステップと、前記ＬＴ調整部が、前記ライト・トランスポートデータに基づいてプロジェクタ画素の輝度を調整するための輝度配分比を算出するＬＴ調整ステップと、前記投影画像生成部が、プロジェクタ画素とカメラ画素との幾何的対応情報と、前記輝度配分比と、基準のカラーサンプル画像から算出した輝度補償パラメータとを使用して、投影対象画像を幾何的かつ光学的に補正して、前記被写体へ前記投影対象画像を投影する画像を生成する投影画像生成ステップとを有することを特徴とする。
【００１８】
本発明は、コンピュータを、前記空間投影装置として機能させるための空間投影プログラムである。
【発明の効果】
【００１９】
本発明によれば、プロジェクタ・カメラシステムのライト・トランスポートに基づくプロジェクタ画素とカメラ画素間の幾何的対応関係を使って、凹凸や曲がった形状の空間構造に対してスクリーン平面上にあたかも投影されたかのように、所定の映像を投影することができる。さらに、その映像提示を使った拡張現実や映像コミュニケーションを実現することが可能となるという効果が得られる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示すＬＴ獲得部３１の処理動作をフローチャートである。
【図３】プロジェクタ座標の設定と画素パターンを示す図である。
【図４】ライト・トランスポートデータの一例を示す図である。
【図５】図１に示すＬＴ調整部３２の処理動作を示すフローチャートである。
【図６】図１に示す投影画像生成部３３の処理動作を示すフローチャートである。
【図７】未校正なプロジェクタ・カメラシステムを使ったライト・トランスポート行列の測定を示す図である。
【図８】プロジェクタが被写体から遠い場合の例を示す図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照して、本発明の一実施形態による空間投影装置を説明する。図１は同実施形態のシステム構成を示すブロック図である。図１に示す実施形態においては、１台のプロジェクタ１と１台のカメラ２のプロジェクタ・カメラシステムを使用する。本システムでは、空間投影装置３、映像データベース（ＤＢ）４を備える。図１において、符号３１は、プロジェクタ画素とカメラ画素の幾何的対応関係であるライト・トランスポートを獲得するＬＴ獲得部である。なお、本明細書において、ライト・トランスポートを「ＬＴ」と略す。符号３２は、ＬＴ獲得部３１において得たライト・トランスポートを読み込みに適した簡単なデータ形式で保有し、そのデータに基づいてプロジェクタ画素の輝度を調整するための輝度配分比を算出するＬＴ調整部である。符号３３は、プロジェクタ画素とカメラ画素の幾何的対応とプロジェクタ画素の輝度配分比と、ある基準のカラーサンプル画像から算出した輝度補償パラメータを使って、所定画像を幾何的かつ光学的に補正して、被写体５へ所定画像を投影する投影画像生成部である。プロジェクタ１は、ＬＴ獲得部３１から点光源用画像が入力されたとき、その画像を被写体５へ投影する。カメラ２は、所定画像をフィードバックによって取得するため、観測画像を投影画像生成３３部へ転送する。
【００２２】
この構成において、プロジェクタ１、カメラ２は必ずしも構成要素として接続している必要はなく、処理に必要なデータを取得すればよく、ＬＴ獲得部３１、ＬＴ調整部３２、投影画像生成部３３からそれぞれの矢印へのデータの流れは、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する、または、ネットワークを介してリモートなデータ資源を利用する形態でもどちらでも構わない。
【００２３】
次に、図１に示すＬＴ獲得部３１の処理動作を説明する。図２は、図１に示すＬＴ獲得部３１の処理動作をフローチャートである。この処理動作は、指定のプロジェクタ画素の範囲内の画素パターンを点滅させて、プロジェクタ１からその点光源を照明して、その反射光をカメラ２で測定して、ライト・トランスポートを獲得するものである。ライト・トランスポートを獲得する手段には他にも考えられるが、本実施形態では最もシンプルなｂｒｕｔｅ−ｆｏｒｃｅ  ｓｃａｎｎｉｎｇ（所定範囲内の全点スキャニング方式）によりライト・トランスポートを獲得する。
【００２４】
まず、処理を開始すると、ＬＴ獲得部３１は、プロジェクタ画面で点灯させるためのプロジェクタ座標として、座標値（ｘｊ，ｙｊ）を設定する（ステップＳ１）。次に、ＬＴ獲得部３１は、プロジェクタ座標が所定範囲内の座標であることを判定（図２に示す「点灯画素ＯＫ？」の判定）する（ステップＳ２）。この判定は、ＬＴ獲得に過剰なメモリを使わないため、全てのプロジェクタ画面を処理対象とするのではなく、所定範囲内のプロジェクタ座標を処理対象とするための役割も担う。そして、点灯画素ＯＫならば、ＬＴ獲得部３１は、図３に示すようにプロジェクタ画面に対してプロジェクタ座標（ｘｊ，ｙｊ）を左下隅の座標とし、横方向にｍ（ｍは自然数）画素、縦方向にｍ画素の矩形のｍ×ｍ画素の領域を白、それ以外の画素領域を黒とした画素パターンを設定して点光源用の画像を生成する（ステップＳ３）。図３は、プロジェクタ座標の設定と画素パターンを示す図である。本実施形態ではｍ×ｍ画素に限定されるものではなく、より一般的にｍ×ｎ画素の領域でもよい。この画素パターンのサイズは、プロジェクタ１からの各照明からの反射光が正常にカメラ応答を観測できれば十分であり、ユーザが画素パターンのサイズを自由に設定する。
【００２５】
次に、ＬＴ獲得部３１は、画素パターンを設定した後に、その画像（点光源用画像）をプロジェクタ１に対して出力して、被写体５へ点光源用画像を投影する（ステップＳ４）。そして、ＬＴ獲得部３１は、画像観測がＯＫとなるまで待機し（ステップＳ５）、「画像観測ＯＫ？」と判定された後、カメラ２でプロジェクタで投影されている被写体を撮影する。画像観測がＯＫの場合には、ＬＴ獲得部３１は、カメラ２を通じて観測画像を取得する（ステップＳ６）。一方、ＬＴ獲得部３１は、点光源用画像を投影する前に、画素を全く点灯させていない黒画像をプロジェクタ１から投影して背景画像を取得しておく。
【００２６】
次に、ＬＴ獲得部３１は、その背景画像を作業用に保有しておき、その背景画像を取り出し（ステップＳ７）、観測画像と背景画像との背景差分を処理する（ステップＳ８）。ＬＴ獲得部３１は、所定閾値を設定しておき（ステップＳ９）、その背景画像においてその閾値を超える画素値を検出する（ステップＳ１０）。このとき、応答画素が１点とは限らないため、ＬＴ獲得部３１は、閾値を超える画素のカメラ座標を全て記録する（ステップＳ１１）。これで得た複数のカメラ座標（ｕｋ、ｖｋ）は点光源用画像で与えたプロジェクタの画素パターンとライト・トランスポートとなる。ただし、画素パターンの設定において、プロジェクタ画素は矩形のｍ×ｍ画素のパターンで与えるため、全ての画素を記録する必要ないため、プロジェクタ画素とカメラ座標のライト・トランスポートを表すにはその代表値として始点のプロジェクタ画素の座標（ｘｊ、ｙｊ）を記録すれば十分である。そこで、プロジェクタ座標の書き込みでは、点光源用画像で与えたプロジェクタ画素の代表座標値（ｘｊ，ｙｊ）だけを記録する（ステップＳ１２）。
【００２７】
次に、ＬＴ獲得部３１は、プロジェクタ座標の書き込みが終わると、プロジェクタ座標の設定（ステップＳ１）に戻り、次のプロジェクタ座標において横方向に画素をｍ画素だけシフトして、
（ｘｊ，ｙｊ）←（ｘｊ＋ｍ，ｙｊ）  ・・・（１）
とプロジェクタ座標を設定する。ここで、←は代入を表す。
【００２８】
あるいは、横方向が指定の範囲内を超える場合は、プロジェクタ画素において縦方向に画素をｍ画素だけシフトして、
（ｘｊ，ｙｊ）←（ｘｊ，ｙｊ＋ｍ）  ・・・（２）
とプロジェクタ座標を設定する。
【００２９】
以上の処理を繰り返し行い、全てのプロジェクタ画素の座標について処理する。続いて、ＬＴ獲得部３１は、指定の範囲内のプロジェクタ画素のライト・トランスポートを全て得た後、すなわち、点灯画素が無い（ステップＳ２でＮＯ）と判定された後、縦方向にカメラ画素の座標とライト・トランスポートで結び付くプロジェクタ画素の座標を横方向に並べたデータをライト・トランスポートデータとして一時的に確保する（ステップＳ１３）。ここで確保されるライト・トランスポートデータの一例を図４に示す。図４は、ライト・トランスポートデータの一例を示す図である。そして、ＬＴ獲得部３１は、確保したライト・トランスポートデータをＬＴ調整部３２へ転送（ステップＳ１４）した時点で処理停止とし、本処理を終了する。
【００３０】
次に、図１に示すＬＴ調整部３２の処理動作を説明する。図５は、図１に示すＬＴ調整部３２の処理動作を示すフローチャートである。この処理動作は、ＬＴ獲得部３１から転送されたライト・トランスポートデータに基づいて、被写体５に所定画像を投影するためのプロジェクタ画素値の輝度を調整するための輝度配分比を算出するものである。
【００３１】
まず、処理を開始すると、ＬＴ調整部３２は、ＬＴ獲得部３１で処理した指定範囲内に関するプロジェクタ座標の投票テーブルを全て０に設定する（ステップＳ２１）。投票テーブルの例として、ＬＴ獲得部３１で処理した指定範囲内に関するプロジェクタ座標を行列形式に確保する。
【００３２】
次に、初期化の後、ＬＴ調整部３２は、ライト・トランスポートデータをロードする（ステップＳ２２）。ライト・トランスポートデータは縦方向に図４に示すデータ形式となっているため、ＬＴ調整部３２は、左端の各カメラ座標（ｕｋ，ｖｋ）を縦方向の順番に読み出して（ステップＳ２３）、横方向に記録された全てのプロジェクタ座標（ｘｊ，ｙｊ）を取り出す（ステップＳ２４）。このとき、そのプロジェクタ座標はｍ×ｍ画素の代表座標であるため、プロジェクタ座標（ｘｊ，ｙｊ）からプロジェクタ座標（ｘｊ＋ｍ−１，ｙｊ＋ｍ−１）のｍ×ｍ画素領域のプロジェクタ座標（ｘｊ＋Δｘ，ｙｊ＋Δｙ），０≦Δｘ≦ｍ−１，０≦Δｙ≦ｍ−１の範囲のプロジェクタ座標の投票テーブルにそれぞれ１票を投じる（ステップＳ２５）。これを対象とするライト・トランスポートデータ中のカメラ座標と結び付く全てのプロジェクタ座標について投票を行う（ステップＳ２６）。
【００３３】
各プロジェクタ座標（ｘｊ，ｙｊ）の投票結果がＮｘｙの場合、投影画像生成部３３ではそのプロジェクタ座標が画像投影に寄与する輝度配分比を１／Ｎｘｙとする（ステップＳ２７）。この輝度配分比は投影画像生成部において使う。例えば、輝度配分比が１／３である場合は、その座標の画素値は３箇所のカメラ座標に分配されることを意味する。もし、投票結果がＮｘｙ＝０である場合は、そのプロジェクタ座標は画像投影には寄与していないと判断して、投影画像生成部では処理対象としない。輝度配分比を決定した後、投影画像生成部３３へライト・トランスポートデータと投票テーブルを転送して、本処理を停止する。
【００３４】
次に、図１に示す投影画像生成部３３の処理動作を説明する。図６は、図１に示す投影画像生成部３３の処理動作を示すフローチャートである。この処理動作は、ＬＴ獲得部３１で得たライト・トランスポートデータとＬＴ調整部３２で得た輝度配分比を使って、映像ＤＢ４から取り出した各画像を被写体５へ投影するものである。
【００３５】
本実施形態では、カメラ２で観測したときの各画素の画素値を所定画像の画素値にする補償する処理において、非特許文献３で公開されているプロジェクタ・カメラシステムの輝度補正の方法を利用する。その従来の輝度補償方法では、各カメラ画素のカラー混合行列（ｃｏｌｏｒ  ｍｉｘｉｎｇ  ｍａｔｒｉｘ）とプロジェクタからのブラックオフセット光を含む環境光ベクトルを使う。ブラックオフセット光とは、黒の画像をプロジェクタから投影したときに放出される微弱な投影光を指す。本実施形態でも、非特許文献３で公知の手段によって、事前に撮影した４枚のサンプル画像（非特許文献３で使われている画像）から、各カメラ座標（ｕ，ｖ）のカラー混合行列Ｖｕｖと環境光ベクトルＦｕｖを算出しておく。例えば、この事前のセットアップとして、カメラ２の前に平面形状の被写体を設置して、その被写体にサンプル画像を投影して、非特許文献３で公知の方法によりカラー混合行列と環境光ベクトルを算出する。任意の被写体にサンプル画像を投影すると異常な画素値が得られるおそれがあるため、カラー混合行列と環境光ベクトルが求まらない画素が発生するのを防ぐことができる。
【００３６】
プロジェクタが入力輝度に対して線形的に輝度を出力する場合、カメラ輝度Ｃｕｖとプロジェクタ輝度Ｐｘｙは、
Ｃｕｖ＝ＶｕｖＰｘｙ＋Ｆｕｖ  ・・・（３）
の関係になる（非特許文献３参照）。もし、被写体が平面で、かつ、プロジェクタ座標とカメラ座標が１対１の幾何的に対応付けられているならば、そのカメラ座標とライト・トランスポートで結び付くプロジェクタ座標の輝度値Ｐｘｙは、式（３）の関係式を利用して
Ｐｘｙ＝Ｖｕｖ−１（Ｃｕｖ−Ｆｕｖ）  ・・・（４）
により輝度を補償できる。
【００３７】
非特許文献３に従って各カメラ座標（ｕ，ｖ）に関するカラー混合行列Ｖｕｖと環境光ベクトルＦｕｖが事前に得られているものとして、処理を開始すると、投影画像生成部３３は、対象全てのカラー混合行列Ｖｕｖと環境光ベクトルＦｕｖ（補償パラメータ）を読み出す（ステップＳ３１）。次に、投影画像生成部３３は、映像ＤＢ４から所定画像を読み出して（ステップＳ３２）、その画像の各座標について、以降を順番に処理する。
【００３８】
まず、カメラ座標（ｕ，ｖ）を設定し（ステップＳ３３）、ライト・トランスポートデータを参照して（ステップＳ３４）、カメラ座標（ｕ，ｖ）とライト・トランスポートの関係で幾何的に結び付くＭｕｖ個のプロジェクタ座標（ｘ，ｙ）を抽出する（ステップＳ３５）。これと並行して、ＬＴ調整部３２で得たプロジェクタ座標（ｘ，ｙ）の輝度配分比１／Ｎｘｙを設定する（ステップＳ３６）。カメラ座標（ｕ，ｖ）の画素値がＣｋであるとき、プロジェクタ画素Ｐｘｙを、
【数１】
2015100084.tif 000003
により算出する（ステップＳ３７）。
【００３９】
もし、プロジェクタ座標（ｘ，ｙ）の投票結果がＮｘｙ＝０のときは式（５）において、Ｐｘｙ＝０と設定する。式（５）によれば、複数のプロジェクタ座標と複数のカメラ座標がライト・トランスポートで幾何的に対応付けられることを前提にして各プロジェクタの輝度を補償することができる。全てのカメラ座標について、上記の処理が完了すると、その補償画像をプロジェクタ１から被写体５へ投影する（ステップＳ３８）。
【００４０】
次に、カメラ２によりその投影画像を観測して（ステップＳ３９）、所定画像とその観測画像との間の輝度誤差ΔＣｕｖを
ΔＣｕｖ（ｔ）＝Ｃｕｖ−Ｃｕｖ（ｔ）  ・・・（６）
によって検出する（ステップＳ４０）。式（６）では時間ｔを状態の変化を表す指標として使っており、Ｃｕｖ（ｔ）は時間ｔでのカメラ観測画像である。この表記に伴い、式（５）で算出した各プロジェクタ輝度を時刻ｔ＝０の初期状態Ｐｘｙ（０）とする。このとき、全ての輝度誤差が、
ΔＣｕｖＴ（ｔ）ΔＣｕｖ（ｔ）＜ε  ・・・（７）
を満たしているか否かを判定し（ステップＳ４１）、所定の許容値ε以内である場合、本処理を停止する。εはシステムの環境に応じてユーザの要望に応じて自由に設定してよいパラメータである。
【００４１】
もし、輝度誤差ΔＣｕｖ（ｔ）が所定の許容値ε以上である場合は、任意形状の被写体の表面に対する輝度補償に順応させるため、時間ｔでの観測画像を使ってフィードバックする輝度量を、
【数２】
2015100084.tif 000004
により算出する（ステップＳ４２）。続いて、現時点（時刻ｔ）でのプロジェクタ画素値がＰｘｙ（ｔ）のとき、次の時刻ｔ＋１のプロジェクタ輝度Ｐｘｙ（ｔ＋１）を
Ｐｘｙ（ｔ＋１）＝Ｐｘｙ（ｔ）＋ＧΔＰｘｙ（ｔ）  ・・・（９）
により更新する（ステップＳ４３）。式（９）では、ゲイン行列Ｇ：
【数３】
2015100084.tif 000005
を使う。κは０＜κ＜１の任意の値であり、本実施例ではκ＝０．５と設定する。この反復的な輝度補償を全ての輝度誤差が式（７）を満たすまで繰り返す。
【００４２】
上記の輝度補償により処理すれば、任意被写体表面に投影された各プロジェクタ画素に応じてその輝度を柔軟に調整することができる。なお、輝度誤差の検出を行うことなく、投影画像生成部の処理を終了することとしてもよい。
【００４３】
以上説明した処理を行うことにより、平面スクリーンへの画像投影と同様に、被写体投影の幾何歪みが無く、投影輝度が補償された高品質な画像を投影できる。
【００４４】
前述した実施形態における空間投影装置３をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【００４５】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
【産業上の利用可能性】
【００４６】
プロジェクタ・カメラシステムの動作を活用したプロジェクション・マッピングにおいて、プロジェクタ画面の１画素がカメラ画面の１画素と対応付けるとは限らない一般的な状況において、所定画像を幾何的かつ光学的に補正して、被写体上に正確に投影することが不可欠な用途に適用できる。
【符号の説明】
【００４７】
１・・・プロジェクタ、２・・・カメラ、３・・・空間投影装置、３１・・・ＬＴ獲得部、３２・・・ＬＴ調整部、３３・・・投影空間生成部、４・・・映像データベース（ＤＢ）、５・・・被写体
【図１】
2015100084.tif 000006
【図２】
2015100084.tif 000007
【図３】
2015100084.tif 000008
【図４】
2015100084.tif 000009
【図５】
2015100084.tif 000010
【図６】
2015100084.tif 000011
【図７】
2015100084.tif 000012
【図８】
2015100084.tif 000013