(57)【要約】【課題】面倒な計測作業を回避し、ライト・トランスポートを効率的に得る。【解決手段】Ｗ×Ｈ画素のプロジェクタから被写体に投影した点光源照明パターンをカメラで取得した観測画像を用いてプロジェクタの画素とカメラの画素の対応関係を示すライト・トランスポート・テーブルを用いて投影を行う際に、プロジェクタを横方向にｍ個、縦方向にｎ個に分割することによりｍ×ｎ個のサブ画面を生成し、ｍ×ｎ個のサブ画面のそれぞれから１画素ずつ選択して生成される（Ｗ／ｍ）×（Ｈ／ｎ）枚の点光源照明パターンを被写体に投影する手段と、サブ画面の各画素を点光源として被写体に投影した際に応答するカメラの画素が存在する観測範囲を予測する手段と、カメラで取得した観測画像から観測範囲を用いて各カメラの画素に対応するサブ画面の画素を求めることによりライト・トランスポート・テーブルを算出する手段とを備える。【選択図】図１
2015172712.tif 000002
【特許請求の範囲】
【請求項１】
横方向の画素数がＷ、縦方向の画素数がＨであるプロジェクタから被写体に投影した点光源照明パターンをカメラで取得した観測画像を用いて前記プロジェクタの画素と前記カメラの画素の対応関係を示すライト・トランスポート・テーブルを用いて投影を行う空間投影装置であって、
前記プロジェクタを横方向にｍ（ｍは２以上の自然数）個、縦方向にｎ（ｎは２以上の自然数）個に分割することによりｍ×ｎ個のサブ画面を生成し、前記ｍ×ｎ個のサブ画面のそれぞれから１画素ずつ選択して生成される（Ｗ／ｍ）×（Ｈ／ｎ）枚の点光源照明パターンを前記被写体に投影する点光源照明パターン投影手段と、
前記サブ画面の各画素を点光源として前記被写体に投影した際に応答する前記カメラの画素が存在する観測範囲を予測する観測範囲予測手段と、
前記カメラで取得した観測画像から前記観測範囲を用いて各カメラの画素に対応するサブ画面の画素を求めることにより前記ライト・トランスポート・テーブルを算出するライト・トランスポート・テーブル算出手段と
を備えることを特徴とする空間投影装置。
【請求項２】
前記ライト・トランスポート・テーブルを用いて入力画像を前記被写体に投影する画像投影手段をさらに備えることを特徴とする請求項１に記載の空間投影装置。
【請求項３】
前記画像投影手段は、
前記ライト・トランスポート行列を用いて輝度補償する際に、複数の輝度補償値が算出されるとき、前記複数の輝度補償値の平均を用いて前記輝度補償を実行することを特徴とする請求項２に記載の空間投影装置。
【請求項４】
コンピュータを、請求項１から３のいずれか１項に記載の空間投影装置として機能させるための空間投影プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プロジェクタを使い、空間情報に合わせて所定画像を投影する空間投影装置及び空間投影プログラムに関する。
【背景技術】
【０００２】
プロジェクタは極めてフレキシブルな画像出力デバイスであり、投影仕様の範囲内であればパーソナルスペース、会議ホール、巨大パブリックビューイング、ビルの壁面などに合わせて自由サイズの映像表示を提供することができる。プロジェクタを使って平面スクリーンではない任意の構造物（以下、被写体と称する）へ投影するとき、被写体の形状を事前に計測して、その形状に合わせて所定画像が空間歪みの無いように投影する技術は、プロジェクション・マッピング（projection mapping）として知られている。任意スケールの映像投影のメリットを活かしたプロジェクション・マッピングは、エンターテインメント志向のイベントやイルミネーションによる広告表示などに利用されている。
【０００３】
プロジェクション・マッピングでは、所定画像を正確に投影するために、目視確認と手動操作によって１画素単位での位置合わせを行う場合がある。これに対して、プロジェクタ投影の状態をカメラによって把握し、所定画像を指定された位置に投影するために、プロジェクタ・カメラシステムが利用されている。プロジェクタ・カメラシステムは、プロジェクタとカメラが連動して、カメラからのフィードバック画像に応じて、プロジェクタから投影出力する画像を処理する。通常、平面なスクリーンにプロジェクション・マッピングする場合には、キャリブレーション作業で得た平面射影変換（ｐｌａｎｅ−ｈｏｍｏｇｒａｐｈｙ）を使い、プロジェクタ画面上の点とカメラ画面上の点をスクリーン面を介して対応付ける。この対応関係を利用して、所定画像をスクリーン面の決められた場所に投影する。
【０００４】
もし、空間構造に凹凸があったり曲がった構造である場合には、その空間構造を事前に把握しなければならない。例えば、非特許文献１では、レーザ計測を利用して、被写体の空間構造、あるいは凹凸形状を得る。その形状に合わせて所定画像を幾何的に変形させて、平面スクリーンと同様の状態で指定個所に所定画像を投影する。あるいは、構造光（ｓｔｒｕｃｔｕｒｅｄ  ｌｉｇｈｔ）と呼ばれる幾何パターンをプロジェクタから投影し、カメラで観測した歪み画像から空間構造の凹凸形状あるいは奥行きを計測する方式も利用できる。このように、従来技術は、外界または被写体の空間構造をレーザ計測またはプロジェクタ・カメラシステムを利用して空間構造を把握し、その凹凸形状または奥行きに合わせて指定個所へ所定画像を投影する。
【０００５】
これに対して、外界の空間構造を計測せずに、ライト・トランスポートを利用したプロジェクション・マッピングが非特許文献２で公開されている。ライト・トランスポート（ｌｉｇｈｔ  ｔｒａｎｓｐｏｒｔ：ＬＴ）とは、全てのプロジェクタ画素と全てのカメラ画素間の対応関係を表現したデータである。図１５は、未校正なプロジェクタ・カメラシステムにおいてライト・トランスポート測定を示す図である。図１５に示すようにプロジェクタ画素の１点１点を順番に点灯させ、その画素からの光が光学的反射によって結び付くカメラ画素を検出することによって得られる。
【０００６】
プロジェクタ画面の画素数がｐ×ｑ画素でカメラ画面の画素数がｕ×ｖ画素であるとき、各点光源のカメラ応答の画像Ｃｊを列ベクトル化して並べた行列Ｔはｕｖ×ｐｑ画素の巨大、かつ、スパースな行列となり、ライト・トランスポート行列（ｌｉｇｈｔ  ｔｒａｎｓｐｏｒｔ  ｍａｔｒｉｘ：ＬＴＭ）と呼ばれる。非特許文献２では、この行列の転置ＴＴを利用して、視点から観測されるであろう仮想画像（ｄｕａｌ  ｐｈｏｔｏｇｒａｐｈｙ）を人工的に生成する方法が公知である。
【０００７】
一般的に、レーザあるいは構造光を使った３次元形状計測では直接反射光のみを受光することを前提としている。このため、被写体の構造によって発生する光学的な間接反射光、並びに、それらの多重反射光を扱うことができない。これに対して、ライト・トランスポートはカメラ画素においては点光源からの光が物体表面で反射した直接反射光、物体表面からそれ以外の表面で反射した間接反射光、並びに、これらの複数の反射光を含む多重反射光を扱う。ライト・トランスポートを利用すれば、直接反射光と間接反射光を区別することなく、全てのプロジェクタ画素と全てのカメラ画素間の対応付けに基づいた高精度なプロジェクション・マッピングを可能とする。
【０００８】
なお、プロジェクタ・カメラシステムを使って、物体表面に合わせた輝度補償を行う技術が非特許文献３において公開されている。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】J.Shimamura and K.Arakawa:"Location-Aware Projection with Robust 3-D Viewing PointDetection and Fast Image Deformation", Proc. ACM International Conference on Multimedia, pp.296.299,2004.
【非特許文献２】P.Sen, B.Chen, G.Garg, S.R.Marschner, M.Horowitz, M.Levoy, and H.P.A.Lensch: "DualPhotography", ACM Transactions on Graphics, vol.23, no.3, pp.745.755,2005.
【非特許文献３】K. Fujii, M. D. Grossberg, and S. K. Nayar:"A Projector-Camera System with Real-Time Photometric Adaptation for Dynamic Environments", Proc. of IEEE Computer Vision and Pattern Recognition (CVPR), vol.1, pp.814-821, 2005.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ライト・トランスポートを利用したプロジェクション・マッピングは、レーザあるいは構造光による３次元計測に頼らずに、任意形状に対して所定画像を投影することができる。ただし、そのライト・トランスポートを計測するための作業に膨大な時間がかかるという問題がある。図１５に示したように、プロジェクタ画面がｐ×ｑ画素であるとき、各画素を点光源として使い、カメラ応答の画素を検出する作業を順番に繰り返すと、単純にｐ×ｑ枚の画像を観測する必要がある。例えば、１０００×１０００画素の画像を点光源として使うと、１００００００枚の画像を処理してライト・トランスポート行列を生成することになり、計算機コストが高くその処理に多くの時間がかかる。これは全点を逐次点灯させてライト・トランスポートを計測する方式であり、ｂｒｕｔｅ−ｆｏｒｃｅ  ｓｃａｎ（以下ではＢＦＳと称する）と呼ばれている。
【００１１】
また、任意の物体表面には反射特性があるため、光学的に整合がとれた所定画像を投影する必要がある。非特許文献３には、物体表面に合わせた輝度補償が公開されているが、いわゆる、直接反射を前提とした輝度補償であるため、間接反射を考慮して適切に輝度を補償するわけではない。
【００１２】
本発明は、このような事情に鑑みてなされたもので、面倒な計測作業を回避し、ライト・トランスポートを効率的に得ることができる空間投影装置及び空間投影プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明は、横方向の画素数がＷ、縦方向の画素数がＨであるプロジェクタから被写体に投影した点光源照明パターンをカメラで取得した観測画像を用いて前記プロジェクタの画素と前記カメラの画素の対応関係を示すライト・トランスポート・テーブルを用いて投影を行う空間投影装置であって、前記プロジェクタを横方向にｍ（ｍは２以上の自然数）個、縦方向にｎ（ｎは２以上の自然数）個に分割することによりｍ×ｎ個のサブ画面を生成し、前記ｍ×ｎ個のサブ画面のそれぞれから１画素ずつ選択して生成される（Ｗ／ｍ）×（Ｈ／ｎ）枚の点光源照明パターンを前記被写体に投影する点光源照明パターン投影手段と、前記サブ画面の各画素を点光源として前記被写体に投影した際に応答する前記カメラの画素が存在する観測範囲を予測する観測範囲予測手段と、前記カメラで取得した観測画像から前記観測範囲を用いて各カメラの画素に対応するサブ画面の画素を求めることにより前記ライト・トランスポート・テーブルを算出するライト・トランスポート・テーブル算出手段とを備えることを特徴とする。
【００１４】
本発明は、前記ライト・トランスポート・テーブルを用いて入力画像を前記被写体に投影する画像投影手段をさらに備えることを特徴とする。
【００１５】
本発明は、前記画像投影手段は、前記ライト・トランスポート行列を用いて輝度補償する際に、複数の輝度補償値が算出されるとき、前記複数の輝度補償値の平均を用いて前記輝度補償を実行することを特徴とする。
【００１６】
本発明は、コンピュータを、前記空間投影装置として機能させるための空間投影プログラムである。
【発明の効果】
【００１７】
本発明によれば、面倒な計測作業を回避し、できるだけ少ないカメラ応答画像から直接反射光と間接反射光のライト・トランスポートを効率的に得ることができるという効果が得られる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１実施形態の構成を示すブロック図である。
【図２】図１に示す同期制御部１１の処理動作を示すフローチャートである。
【図３】図１に示す点光源照明生成部１２の処理動作を示すフローチャートである。
【図４】点光源照明生成部におけるサブ画面の点光源照明を示す図である。
【図５】図１に示すＬＴ計測部１４の処理動作を示すフローチャートである。
【図６】図４に示すプロジェクタ画面分割に応じて、カメラ画面を２×２に分割する例を示す図である。
【図７】ＬＴテーブルの一例を示す図である。
【図８】図１に示す観測方向予測部１３の処理動作を示すフローチャートである。
【図９】観測範囲の更新を示す図である。
【図１０】第２実施形態による空間投影装置の構成を示すブロック図である。
【図１１】ライト・トランスポートを使った輝度補償の原理を示す図である。
【図１２】図１０に示す画像投影部１５の処理動作を示すフローチャートである。
【図１３】本発明の第３実施形態による空間投影装置の構成を示すブロック図である。
【図１４】本発明の第４実施形態による空間投影装置の構成を示すブロック図である。
【図１５】未校正なプロジェクタ・カメラシステムにおけるＬＴ測定を示す図である。
【発明を実施するための形態】
【００１９】
＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による空間投影装置を説明する。図１は同実施形態の構成を示すブロック図である。図１に示す空間投影装置は、１台のプロジェクタと１台のカメラのプロジェクタ・カメラシステムを使ったものである。空間投影装置１は、プロジェクタ２とカメラ３のハンドリングを制御するための同期制御部１１、被写体４を照明するためプロジェクタ画面において照明パターンを生成する点光源照明生成部１２、その照明光に対するカメラ応答を検出するためカメラ画面において観測方向を予測する観測方向予測部１３、カメラから得た観測画像から点光源照明に応答した画素を検出するＬＴ測定部１４から構成される。
【００２０】
この構成において、プロジェクタ２、カメラ３は必ずしも構成要素として接続している必要はなく、処理に必要なデータを取得すればよく、同期制御部１１、点光源照明生成部１２、観測方向予測部１３、ＬＴ計測部１４からそれぞれの矢印へのデータの流れは、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する、または、ネットワークを介してリモートなデータ資源を利用する形態でもどちらでも構わない。
【００２１】
次に、図２を参照して、図１に示す同期制御部１１の処理動作を説明する。図２は、図１に示す同期制御部１１の処理動作を示すフローチャートである。まず、処理を開始すると、同期制御部１１は、点光源照明生成部１２との連携によりプロジェクタ２からの照明光を出力する準備をチェックした後（ステップＳ１）、プロジェクタ２から照明パターンを投影するためのフレーム番号ｆを同期信号として送出する（ステップＳ２）。フレーム番号は処理開始と同時にｆ＝０と初期化され、点光源照明生成部１２から照明パターンを投影するたびに１ずつカウントされる値である。
【００２２】
次に、同期制御部１１は、ＬＴ計測部１４との連携によりカメラにより画像キャプチャ（画像観測）の準備をチェックして（ステップＳ３）、カメラ３から画像を取得する命令として、そのトリガーをＬＴ計測部１４へ転送する（ステップＳ４）。そして、同期制御部１１は、点光源照明生成部１２から全ての照明パターンを投影した時点で処理停止とし、その停止命令があるまで、フレーム番号をカウントしながらこの処理を続ける（ステップＳ５）。
【００２３】
次に、図３を参照して、図１に示す点光源照明生成部１２の処理動作を説明する。図３は、図１に示す点光源照明生成部１２の処理動作を示すフローチャートである。まず、点光源照明生成部１２は、同期制御部１１から初期化されたフレーム番号を受信すると、本処理動作を開始する。フレーム番号は照明する画像の管理番号となり、時系列番号を示すように初期値ｆ＝０から付与され、カメラで画像を観測するたびに同期制御部１１においてｆ←ｆ＋１としてカウントアップされる。
【００２４】
図４は、プロジェクタ画面をプロジェクタ画面００、プロジェクタ画面１０、プロジェクタ画面０１、プロジェクタ画面１１の２×２領域に同じ画素サイズに分割した例である。この例を用いて、本処理動作を説明する。本処理を開始すると、点光源照明生成部１２は、各サブ画面の左下隅の画素を点光源として、４箇所の画素を点灯させた照明パターンを設定する（ステップＳ１１）。例えば、プロジェクタ画面のサイズをＷ×Ｈ画素として、プロジェクタ画面００、プロジェクタ画面０１、プロジェクタ画面１０、プロジェクタ画面１１で点灯させる画素の座標の初期値をそれぞれ（ｕ００，ｖ００）＝（１，１）、（ｕ１０，ｖ１０）＝（Ｗ／２＋１，１）、（ｕ０１，ｖ０１）＝（１，Ｈ／２＋１）、（ｕ１１，ｖ１１）＝（Ｗ／２＋１，Ｈ／２＋１）とする（ステップＳ１２）。
【００２５】
次に、点光源照明生成部１２は、同期制御部１１からフレーム番号を受信する（ステップＳ１３）。そして、点光源照明生成部１２は、フレーム番号の判定を行いながら（ステップＳ１４）、指定画素が各サブ画面の右端になったか否かを判定する（ステップＳ１５）。この判定の結果、サブ画面の右端になっていなければ、受信したフレーム番号に応じて、
（ｕ００，ｖ００）←（ｕ００＋１，ｖ００）  ・・・（１）
（ｕ１０，ｖ１０）←（ｕ１０＋１，ｖ１０）  ・・・（２）
（ｕ０１，ｖ０１）←（ｕ０１＋１，ｖ０１）  ・・・（３）
（ｕ１１，ｖ１１）←（ｕ１１＋１，ｖ１１）  ・・・（４）
により、その画素を１画素ずつ右方向にシフトさせて（ステップＳ１６）、各画素を点灯させた新たな照明パターンを設定して照明を行う（ステップＳ１８）。
【００２６】
一方、指定画素がサブ画面の右端になった場合、
（ｕ００，ｖ００）←（１，ｖ００＋１）          ・・・（５）
（ｕ１０，ｖ１０）←（Ｗ／２＋１，ｖ１０＋１）  ・・・（６）
（ｕ０１，ｖ０１）←（１，ｖ０１＋１）          ・・・（７）
（ｕ１１，ｖ１１）←（Ｗ／２＋１，ｖ１１＋１）  ・・・（８）
により、各サブ画面の左端に戻って、１画素分上方向にシフトさせて（ステップＳ１７）、各画素を点灯させた新たな照明パターンを設定して照明を行う（ステップＳ１８）。
【００２７】
これ以降、同期制御部１１からのフレーム番号転送を受信するたびに、式（１）〜式（４）の右シフトと、式（５）〜式（８）の上シフトによる点光源のスキャニングを、各サブ画面の右上隅の画素が点光源になるまで繰り返す。以上の処理によって、各フレームにおいて、４箇所の画素を点光源とした照明パターンがプロジェクタ２から被写体４へ照射されることになる。
【００２８】
図４に示すように、４箇所の画素を同時に点光源として使う場合は、Ｗ／２×Ｈ／２枚の照明パターンを使うことになる。この例では、２×２に分割する例を述べたが、一般的に、ｍとｎを整数として、ｍ×ｎ（ｍ＝ｎでもよい）に分割することにより、ｍｎ画素を同時に点光源照明に使うことができる。プロジェクタ画面の分割と同時点灯照明によって、従来の１画素を点光源照明とするＢＦＳ方式と比べて、ｍｎ倍の処理の速さを確保できる。
【００２９】
次に、図５を参照して、図１に示すＬＴ計測部１４の処理動作を説明する。図５は、図１に示すＬＴ計測部１４の処理動作を示すフローチャートである。まず、同期制御部１１から画像観測命令の同期信号が入力されると、ＬＴ計測部１４は、画像を取得できる状態かのチェックを行い（ステップＳ２１）、観測可能でなければ同期信号の待機を行う（ステップＳ２２）。
【００３０】
一方、観測可能状態ならばＬＴ計測部１４は、カメラ３から観測画像を取得する（ステップＳ２３）。次に、ＬＴ計測部１４は、事前に保有しておいた背景画像を取り出し（ステップＳ２４）、この背景画像との背景差分を処理する（ステップＳ２５）。背景画像とは、照明パターンが照明されていない状態、あるいは黒を投影したときの観測画像である。この背景差分において、蛍光灯などの環境光の元では画像雑音が多く混入するため、所定の閾値として例えば１０階調に設定しておき（ステップＳ２６）、ＬＴ計測部１４は、この値より大きい画素をカメラの応答画素として検出する（ステップＳ２７）。
【００３１】
図６は、図４に示すプロジェクタ画面分割に応じて、カメラ画面を２×２に分割する例を示す図である。観測方向予測部１３において、カメラ画面００の観測範囲は座標（ｘ００，ｙ００）を中心とした矩形枠として設定し、同様に、カメラ画面１０、カメラ画面０１、カメラ画面１１の観測範囲は、それぞれ座標（ｘ１０，ｙ１０）、座標（ｘ０１，ｙ０１）、座標（ｘ１１，ｙ１１）を中心とした矩形枠として設定する。なお、（ｘ００，ｙ００）等の決定方法については、後述する。
【００３２】
各観測範囲は点光源照明生成部１３において設定し（ステップＳ２８）、ＬＴ計測部１４は、各サブ画面でのプロジェクタ画素と対応付ける（ステップＳ２９）。これにより各観測範囲内で検出したカメラ画素と、その範囲に照射した点光源のプロジェクタ画素を特定できる。続いて、ＬＴ計測部１４は、ＬＴテーブルに書き込みを行う（ステップＳ３０）。例えば、プロジェクタ座標（Ｕｓ，Ｖｔ）に対して、２つのカメラ画素（Ｘｉ，Ｙｊ）、（Ｘ′ｉ，Ｙ′ｊ）が検出されたとする。図７は、ＬＴテーブルの一例を示す図である。図７に示すように、全てのカメラ座標を縦方向に並べたＬＴテーブルにおいて、カメラ座標（Ｘｉ，Ｙｊ）と光学的に結び付いたプロジェクタ座標（Ｕｓ，Ｖｔ）をカメラ座標（Ｘ′ｉ，Ｙ′ｊ）の横方向に、カメラ座標（Ｘ′ｉ，Ｙ′ｊ）と光学的に結び付いたプロジェクタ座標（Ｕｓ，Ｖｔ）をカメラ座標（Ｘ′ｉ，Ｙ′ｊ）の横方向にそれぞれ記録する。
【００３３】
このように、点光源照明生成部１２からの照明と同期しながら、各観測範囲内で応答したカメラ画素を逐次計測する。この処理により、各サブ画面からの点光源照明と、それに応答するカメラ画素を同時に計測することができ、従来のＢＦＳと同様のＬＴテーブルを得ることができる。この処理は、全ての点光源照明を使って、全てのカメラ座標に対応するプロジェクタ座標をＬＴテーブルに書き込み、本処理を終了する（ステップＳ３１）。
【００３４】
次に、図８を参照して、図１に示す観測方向予測部１３の処理動作を説明する。図８は、図１に示す観測方向予測部１３の処理動作を示すフローチャートである。観測方向予測部１３は、ＬＴ計測部１４においてカメラ応答画素を検出するために補助的に機能するものである。まず、処理を開始すると、観測方向予測部１３は、初期設定モードの判定を行う（ステップＳ４１）。この判定の結果、初期設定モードのときは、サブ画面の切り替えを行い（ステップＳ４２）、カメラ画面における観測範囲を初期設定する。図４に示すように、点光源としてプロジェクタ画面００の左下隅のプロジェクタ画素を点灯させた照明パターンを設定する（ステップＳ４３）。これを被写体４へ投影して観測画像を得る（ステップＳ４４）。
【００３５】
次に、観測方向予測部１３は、ＬＴ計測部１４で使った背景画像と同じ背景画像を取り出し（ステップＳ４５）、観測画像との背景差分を算出する（ステップＳ４６）。このとき、観測方向予測部１３は、所定の閾値を設定し（ステップＳ４７）、この閾値以下は雑音と見なし、所定閾値以上のカメラ応答画素を検出する（ステップＳ４８）。そして、観測方向予測部１３は、検出したカメラ画素の座標からその平均値（ｘ′，ｙ′）を算出する（ステップＳ４９）。この平均値の２次元座標を中心とした画素範囲をプロジェクタ画面００に対するカメラ画面での観測範囲の初期値とする（ステップＳ５０）。
【００３６】
例えば、横方向の探索範囲を２ｗ＋１、縦方向の探索範囲を２ｈ＋１と与え、ｘ′−ｗ≦ｘ≦ｘ′＋ｗ，ｙ′−ｈ≦ｙｘ≦ｙ′＋ｈの観測範囲（ｘ，ｙ）を初期値として設定する。あるいは、検出したカメラ画素の座標全てを覆うようにｗ、ｈの幅をそれぞれ設定してもよい。
【００３７】
次に、サブ画面をプロジェクタ画面１０に切り替えて、同様にプロジェクタ画面１０の初期の点光源照明に対する観測範囲を設定する。順番に、プロジェクタ画面０１、プロジェクタ画面１１の点光源照明に対しても観測範囲の初期値を設定する。以上、プロジェクタ画素の初期値を点灯させた状態において、他のサブ画面からの点光源照明を二重に観測しないように、互いに間隔を設けて所定の観測範囲を設定する。全てのサブ画面の観測範囲の設定が完了すると、本処理は初期設定モードから外れて、それぞれのサブ画面に対するカメラ画面での観測範囲のデータをＬＴ計測部１４へ転送する（ステップＳ５１）。
【００３８】
本実施形態において各サブ画面において新たな点光源照明パターンが設定されて被写体４を照射するたびに、ＬＴ計測部１４においてカメラ画面に設定された観測範囲においてカメラ応答画素を検出し、検出できたか否かを判定する（ステップＳ５２）。図４の各サブ画面の点光源は同期制御部１１から転送されるフレーム番号に従ってシフトするため、カメラ画面においてもそのシフトに追従して観測範囲を変更する必要がある。そこで、ＬＴ計測部１４から、それぞれの観測範囲で検出したカメラ応答画素を取り出し（ステップＳ５３）、再びその平均値を算出する（ステップＳ５４）。各観測範囲で算出した平均のカメラ応答画素の座標を中心として、横方向の探索範囲を２ｗ＋１、縦方向の探索範囲を２ｈ＋１と与えた観測範囲を更新する（ステップＳ５５）。
【００３９】
なお、探索範囲の設定では、初期状態ではサブ画面において共通とし、各シフト量に応じてフレーム間で探索範囲の横縦方向の範囲を２ｗ＋１＋Δｗ、２ｈ＋１＋Δｈに変化させてもよい（Δｗ、Δｈはサブ画面の横縦方向のシフト量に比例した変化量）。観測範囲の更新に伴い、それぞれのサブ画面に対するカメラ画面での観測範囲のデータをＬＴ計測部へ転送する。図９の左の図は、カメラ画面において分割された画面において、ｆ＝Ｆのときの観測範囲（黒丸の中心とした矩形）を示す。図９の右の図では、ｆ＝Ｆ＋１において新たなカメラ応答が検出されると、その検出された画素（黒丸）の位置の平均座標を中心とした矩形の観測範囲を設定する。ｆ＝Ｆのときの観測範囲は白丸で示した画素の観測範囲は破線で示されており、カメラ応答の検出に応じて観測範囲を更新する。次のフレームでは、この範囲においてカメラ応答を検出する。以上の処理は、ＬＴ計測部１４においてカメラ応答が検出されるたびに、観測方向予測部１３においてそれぞれのサブ画面に対するカメラ画面での観測範囲を更新することにより、サブ画面の点光源照明のシフトに追従して、効率的にカメラ応答画素を検出することができる。
【００４０】
これにより、図１５に示した状況において、未校正なプロジェクタ・カメラシステムを使って、未知の任意形状の表面にプロジェクタからの照明を投影したとき、プロジェクタ画面の各座標から照明した光線とカメラ画面の各座標の応答を結び付けるＬＴを効率的に獲得できる。
【００４１】
＜第２実施形態＞
次に、本発明の第２実施形態による空間投影装置を説明する。図１０は、第２実施形態による空間投影装置の構成を示すブロック図である。図１０に示す空間投影装置は、１台のプロジェクタと１台のカメラのプロジェクタ・カメラシステムを使ったものである。図１０において、図１に示す装置と同一の部分には同一の符号を付し、その説明を省略する。図１０に示す装置が図１に示す装置と異なる点は、画像投影部１５と画像データベース（ＤＢ）１６が新たに設けられている点である。
【００４２】
図１０に示す構成において、プロジェクタ２、カメラ３、画像データベース１６は必ずしも構成要素として接続している必要はなく、処理に必要なデータを取得すればよい。また、同期制御部１１、点光源照明生成部１２、観測方向予測部１３、ＬＴ計測部１４、画像投影部１５からのそれぞれの矢印で示すデータの流れは、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する、または、ネットワークを介してリモートなデータ資源を利用する形態でもどちらでも構わない。
【００４３】
次に、図１０に示す画像投影部１５の処理動作を説明する。画像投影部１５は、画像ＤＢ１６から取り出した各画像を、ＬＴ計測部１４で得たＬＴテーブルを使って任意の画像を被写体へ投影する。図１１は、ライト・トランスポートを使った輝度補償の原理を示す図である。カメラ画素Ｃαはプロジェクタ画面の丸枠で囲んだＮα個のプロジェクタ画素Ｐｉ，ｉ＝１，２，・・・，ｊ，・・・，ＮαとＬＴの関係にあり、カメラ画素Ｃβはプロジェクタ画素ＰｊのＬＴの関係にあるとする。つまり、プロジェクタ画素Ｐｊはカメラ画素ＣαとＣβの双方にＬＴの関係があると仮定する。非特許文献３によれば、物体表面の輝度変化を無視して平面投影のカラー混合行列を使うと、
【数１】
2015172712.tif 000003
という関係になる。ここで、ＶαとＶβはカメラ画素ＣαとＣβに関するカラー混合行列であり、ＦαとＦβはカメラ画素ＣαとＣβに関する環境光ベクトルを表す。
【００４４】
一般的に、複数のプロジェクタ画素とカメラ画素のライト・トランスポートについては、所定輝度値をＮα等分して分配すると、
【数２】
2015172712.tif 000004
により与えられる。式（１１）、（１２）により、プロジェクタ画素Ｐｉはユニークに決定できるが、プロジェクタ画素Ｐｊは２つの解Ｐα、Ｐβが与えられることになる。この不整合を解消するため、複数の輝度補償値が算出されるとき、
Ｐｊ＝（１／２）（Ｐα＋Ｐβ）  ・・・（１３）
により、輝度補償の整合を図る。式（１３）は３つ以上の補償輝度値が算出される場合にも拡張でき、それぞれの補償輝度値を加算して平均化すればよい。
【００４５】
以上のライト・トランスポートを使った輝度補償の原理を踏まえて、任意の被写体表面に対して光学的に整合がとれた所定画像を投影するための画像投影部１５の処理動作を説明する。図１２は、図１０に示す画像投影部１５の処理動作を示すフローチャートである。処理を開始すると、画像投影部１５は、ＬＴテーブルを読み出して（ステップＳ６１）各カメラ画素とライト・トランスポートで結び付くプロジェクタ画素の使用回数を集計する（ステップＳ６２）。一方、画像投影部１５は、投影する画像を画像ＤＢから読み出す（ステップＳ６３）とともに、補助輝度を初期化する（ステップＳ６４）。
【００４６】
次に、画像投影部１５は、投影画像における各カメラ画素について、ＬＴテーブルにおいて１つのプロジェクタ画素がある場合は式（１２）を、２つ以上のプロジェクタ画素がある場合は式（１１）を使ってそれぞれ輝度補償値を算出する（ステップＳ６５）。次に、画像投影部１５は、各プロジェクタ画素について２つの輝度補償値が算出される場合は式（１３）で平均化し、Ｎ個（Ｎ＞２）の輝度補償値が算出される場合は、それらを加算してプロジェクタ画素の集計より得た使用回数Ｎで平均化して輝度を調整する（ステップＳ６６）。そして、画像投影部１５は、所定画像の全ての画素について、上記の輝度補償と調整を行って、輝度調整画像を生成する（ステップＳ６７）。その画像をプロジェクタ２へ入力すると、被写体の表面に所定画像が投影されることになる（ステップＳ６８）。
【００４７】
次に、被写体表面の反射特性により輝度変化が発生する場合があるため、物体表面の輝度変化を調整する。式（１１）による輝度補償の枠組みにおいて補償輝度Ｐαに補助輝度Ｄαを導入して、
Ｐα＝（１／Ｎα）Ｖα−１（Ｃα−Ｆα＋Ｄα）  ・・・（１４）
により与える。なお、同時に、式（１２）の補償輝度Ｐβについても補助輝度Ｄβを導入して輝度変化に応じて調整するが、補償輝度Ｐβと同じの処理フローとなるため、以下では補償輝度Ｐαについて説明する。
【００４８】
補助輝度Ｄαは、平面投影より輝度が減少したときはＤα＞０となり、輝度が増加したときはＤα＜０となることで物体表面上の輝度調整の役割を担う。輝度変化を事前に予測することは困難であるため、補助輝度Ｄαを零ベクトルで初期化して、カメラ検出を行い（ステップＳ６９）、輝度変化があるか否かを判定して（ステップＳ７０）、カメラ３により検出した輝度変化に応じて補助輝度を更新する（ステップＳ７１）。初期の補助輝度Ｄαを与えたとき、カメラによって輝度Ｃ′αを観測したとする。輝度誤差ΔＣα、
ΔＣα＝Ｃα−Ｃ′α  ・・・（１５）
が検出されたならば輝度変化があると判定して、その輝度誤差をライト・トランスポートの関係で結び付くプロジェクタ画素へフィードバックする。ゲイン行列Ｋを与えて、補助輝度Ｄαを
【数３】
2015172712.tif 000005
により更新する。
【００４９】
更新した補助輝度Ｄαを式（１４）に代入し、式（１３）に従って輝度を再調整する。輝度変化が一定値に収束するまで式（１３）、（１４）、（１６）を使って輝度誤差ΔＣαのフィードバックを反復する（ステップＳ７２）ことにより、補償輝度Ｐαを物体表面の輝度変化に応じて調整する。
【００５０】
以上の処理により、ＬＴ計測部１４で得たライト・トランスポートの関係に基づき、平面スクリーンでの画像投影と同様に、被写体の凹凸形状に対して幾何歪みが無く、かつ、物体表面の特性に応じて光学的に輝度が調整された画像が投影できる。
【００５１】
＜第３実施形態＞
次に、図１３を参照して、本発明の第３実施形態による空間投影装置を説明する。図１３は、本発明の第３実施形態による空間投影装置の構成を示すブロック図である。図１３に示す空間投影装置１は、Ｎ（Ｎは２以上の自然数）台のプロジェクタと１台のカメラのマルチプロジェクタ・システムを使ったものである。図１３において、図１に示す装置と同一の部分には同一の符号を付し、その説明を省略する。図１３に示す装置が図１に示す装置と異なる点は、Ｎ台のプロジェクタ２−１〜Ｎが設けられている点である。
【００５２】
本実施形態では、１台のプロジェクタとカメラ３を連動させて、各プロジェクタ２−１〜Ｎとカメラ３間のライト・トランスポートを計測するものである。点光源照明生成部１２とプロジェクタ２−１〜Ｎはスイッチや分岐装置などを利用して接続を切り替えるようになっている。ある１つのプロジェクタと接続すると、第１実施形態と同様の処理によってライト・トランスポートを計測することができる。
【００５３】
＜第４実施形態＞
次に、図１４を参照して、本発明の第４実施形態による空間投影装置を説明する。図１４は、本発明の第４実施形態による空間投影装置の構成を示すブロック図である。図１４に示す空間投影装置１は、Ｎ（Ｎは２以上の自然数）台のプロジェクタと１台のカメラのマルチプロジェクタ・システムを使ったものである。図１４において、図１０に示す装置と同一の部分には同一の符号を付し、その説明を省略する。図１４に示す装置が図１０に示す装置と異なる点は、Ｎ台のプロジェクタ２−１〜Ｎが設けられている点である。
【００５４】
本実施形態では、ＬＴ計測部１４で各プロジェクタ２−１〜ＮのＬＴテーブルを読み込み、それに応じて画像を投影する。その処理内容は第２実施形態と同様である。本実施形態による空間投影装置１を使えば、パノラマの画像または高ダイナミックレンジの画像を多重投影することができる。
【００５５】
以上説明したように、複数のプロジェクタの画素を点光源とする照明パターンを用いてライト・トランスポート・テーブルを生成する際に、照明パターンに含まれる各点光源に対するカメラ応答画素が観察できる範囲を予測するようにした。この構成により、プロジェクタ・カメラシステムを使って、少ないカメラ応答画像から効率的に凹凸や曲がった形状の空間構造のライト・トランスポートを獲得することができる。また、直接反射と間接反射に関するライト・トランスポートを使えばスクリーン平面上にあたかも投影されたかのように、その空間構造に対して、幾何的、かつ、光学的に補正された画像を投影することができる。さらに、その画像提示を使った拡張現実や映像コミュニケーションを実現することが可能となる。
【００５６】
前述した実施形態における空間投影装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ）やＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等のハードウェアを用いて実現されるものであってもよい。
【００５７】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
【産業上の利用可能性】
【００５８】
面倒な計測作業を回避し、できるだけ少ないカメラ応答画像から直接反射光と間接反射光のライト・トランスポートを効率的に得ることが不可欠な用途に適用できる。
【符号の説明】
【００５９】
１・・・空間投影装置、１１・・・同期制御部、１２・・・点光源照明生成部、１３・・・観測方向予測部、１４・・・ＬＴ計測部、１５・・・画像投影部、１６・・・画像ＤＢ（データベース）、２、２−１〜Ｎ・・・プロジェクタ、３・・・カメラ、４・・・被写体
【図１】
2015172712.tif 000006
【図２】
2015172712.tif 000007
【図３】
2015172712.tif 000008
【図４】
2015172712.tif 000009
【図５】
2015172712.tif 000010
【図６】
2015172712.tif 000011
【図７】
2015172712.tif 000012
【図８】
2015172712.tif 000013
【図９】
2015172712.tif 000014
【図１０】
2015172712.tif 000015
【図１１】
2015172712.tif 000016
【図１２】
2015172712.tif 000017
【図１３】
2015172712.tif 000018
【図１４】
2015172712.tif 000019
【図１５】
2015172712.tif 000020