(57)【要約】【課題】不均一な投影面上に投影された画像の測色のリアルタイム補償が開示される。【解決手段】投影画像がキャプチャされ、投影面の単純化モデルの係数が、キャプチャ画像と元画像から得られたターゲット画像との間の距離を最短化することにより推定される。【選択図】図４
2019139206.tif 000002
【特許請求の範囲】
【請求項１】
投影システムにおける測色を補償する方法であって、前記投影システムは、プロジェクタと、カメラと、ピクセル測色補償モジュールとを含み、
前記ピクセル測色補償モジュールにより、
投影面の伝達関数のモデルの現在の係数を初期化し、反復的に、
ソース画像に大域パラメータ変換を適用することにより、ターゲット画像を決定し、
前記プロジェクタの逆伝達関数と前記現在の係数に基づく前記モデルにより計算された前記投影面の逆伝達関数とを適用することにより、補償画像を決定し、
前記補償画像の前記プロジェクタによる投影のキャプチャ画像を、投影面上で取得し、
前記キャプチャ画像と、前記ターゲット画像に適用された前記投影面の前記伝達関数の前記モデルに基づくこの画像のモデルとの間の距離を最短化することにより得られた新たな値により、前記現在の係数を更新する、方法。
【請求項２】
前記投影面の前記伝達関数の前記モデルが、ベースの線形結合として表現され、前記ベースの線形結合の係数が、連続的なパラメトリック関数のセットの線形結合として表現される、請求項１に記載の方法。
【請求項３】
前記ベースが、
投影ピクセルの位置により決まる第１のベースと、
前記投影ピクセルの位置とは独立した第２のベースとを含む、請求項２に記載の方法。
【請求項４】
前記連続的なパラメトリック関数のセットが、ＤＣＴパラメトリック関数及び／又は多項式パラメトリック関数を含む、請求項２又は３に記載の方法。
【請求項５】
前記投影面の前記伝達関数の前記モデルが、
2019139206.tif 000057
として表現され、
式中、
ｙｕ，ｖが、ピクセル座標（ｕ，ｖ）により示された前記投影面上での結果画像を表わす二次元マトリクスであり、
ｘｉ，ｊが、ピクセル座標（ｉ，ｊ）により示された、投影されるソース画像を表わす二次元マトリクスであり、
2019139206.tif 000058
が、インデックスｂにより示されたマトリクスセットにより構成される所定のベースであり、
Ｂ’ｉ，ｊｂ’が、インデックスｂ’により示されたマトリクスセットにより構成される所定のベースであり、
Δｄ，ｂ’が、ｄ及びｂ’により示されたスカラー係数であり、
ｃｅ，ｂが、ｅ及びｂにより示されたスカラー係数であり、
ａｕ，ｖが、前記投影面のアルベドを表わす係数であり、
2019139206.tif 000059
及び
2019139206.tif 000060
が、連続的なパラメトリック関数の所定のｄインデックス付き及びｅインデックス付きセットであり、
ｂｕ，ｖが、外光を表わす、請求項３に記載の方法。
【請求項６】
前記ターゲット画像を決定するのに使用される前記大域パラメータが、前記投影面の前記アルベドの平均値及び前記投影面上での前記外光の平均値である、請求項１〜５のいずれか一項に記載の方法。
【請求項７】
前記ターゲット画像を決定することが、所定レベルのノイズを前記ターゲット画像に導入することを更に含む、請求項１〜５のいずれか一項に記載の方法。
【請求項８】
所定レベルのノイズを前記ターゲット画像に導入することが、画像シーケンスにおける所定数の第１の画像についてのみ行われる、請求項７に記載の方法。
【請求項９】
請求項１〜８のいずれか一項に記載の方法を実行する装置。
【請求項１０】
請求項１〜８のいずれか一項に記載の方法を実行するためのコンピュータプログラムの命令を記憶している、コンピュータ可読記憶媒体。
【請求項１１】
プロジェクタと、
カメラと、
ピクセル測色補償モジュールとを含み、
前記ピクセル測色補償モジュールは、
投影面の伝達関数のモデルの現在の係数を初期化する第１の手段と、
ソース画像に大域パラメータ変換を適用することにより、ターゲット画像を決定する第２の手段と、
前記プロジェクタの逆伝達関数及び前記現在の係数に基づく前記モデルにより計算された前記投影面の逆伝達関数を適用することにより、補償画像を決定する第３の手段と、
前記補償画像の前記プロジェクタによる投影のキャプチャ画像を、投影面上で取得する第４の手段と、
前記キャプチャ画像と、前記ターゲット画像に適用された前記投影面の前記伝達関数の前記モデルに基づくこの画像のモデルとの間の距離を最短化することにより得られた新たな値により、前記現在の係数を更新する第５の手段とを含み、
少なくとも前記第２の手段による決定、前記第３の手段による決定、前記第４の手段による取得及び前記第５の手段による更新は、反復的に行われる、投影システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、不均一な投影面上に投影された画像の測色を補償するための方法及び装置に関する。
【背景技術】
【０００２】
画像は、ピクセルと呼ばれる要素点のアレイにより構成される。画像における各ピクセルは、典型的には、色空間、一般的には、３つの基色、すなわち、赤色、緑色、青色の色空間（Ｒ，Ｇ，Ｂ）における所定のピクセルについての色の強度を与える３つの数値（ｒ，ｇ，ｂ）により表わされる。他の色空間、例えば、色空間（Ｙ，Ｕ，Ｖ）（Ｙ成分は、ピクセルの光度を表わし、（Ｕ，Ｖ）は、色を符号化する色彩成分を表わす）が使用される場合がある。
【０００３】
このような画像が、ビデオプロジェクタを使用して投影されると、各投影ピクセルは、ビデオプロジェクタの物理的な限界のために、元のピクセルに正確に対応しない場合がある。典型的には、投影光の出力が制限され、利用可能な色空間が、元の色空間と正確に一致しない場合がある。さらに、光度が、プロジェクタと投影面との間の距離により低下する。ソースピクセルが投影ピクセルを生成するのにプロジェクタが影響を及ぼす方法を、伝達関数としてモデル化できる。
【０００４】
画像を投影面上に投影する際に、知覚ピクセルは、投影面により反射された投影ピクセルに対応するであろう。したがって、知覚ピクセルは、投影面のアルベドにより決まる。アルベドは、表面の「白色度」に対応する。すなわち、アルベドは、全く反射しない完全に黒色面に対応する０と、完全な白色面の完全な反射についての１との間の値を有する反射係数である。実際の投影条件では、一般的には、外部光源が、投影画像に加えて存在する。このことは、知覚ピクセルが、この付加的な光によっても決まることを意味する。投影画像中の所定の結果ピクセルＰｐと、ソース画像中の元のピクセルとの間の関係を、以下のように要約できる。
【数１】
2019139206.tif 000003
【０００５】
式中、Ｐ０は、元のピクセルであり、Ｐ（ｘ）は、その物理的限界によるプロジェクタの伝達関数であり、Ｃｄは、プロジェクタと投影面との間の距離による減衰パラメータであり、ａは、投影面のアルベドであり、ｌは、投影面上のピクセル位置において受光した外光の知覚ピクセルに対する寄与である。この等式は、距離による減衰パラメータ及び投影面アルベドを一体化させて、結果アルベドａｒに単純化することができる
【数２】
2019139206.tif 000004
【０００６】
この等式は、１つのピクセルの投影に当てはまるであろう。ピクセルの完全な画像を投影する場合、隣接するピクセルからの光は、任意の特定のピクセルの投影と相互作用する。画像を投影する完全なモデルは、下記等式により要約できる。
【数３】
2019139206.tif 000005
【０００７】
式中、ｙｕ，ｖは、ピクセル座標（ｕ，ｖ）により示された投影面上での結果画像を表わす二次元マトリクスであり、ｘｉ，ｊは、ピクセル座標（ｉ，ｊ）により示された投影ソース画像を表わす二次元マトリクスである。Ｐ（ｘｉ，ｊ）は、プロジェクタにより変形されたソース画像を表わす二次元マトリクスであり、これは、実際の投影された画像である。
2019139206.tif 000006
は、アルベドを表わすカーネルである。このカーネルは、ソース画像のピクセル座標（ｉ，ｊ）及び結果画像のピクセル座標（ｕ，ｖ）により示された四次元マトリクスである。ｌｕ，ｖは、ピクセル座標（ｕ，ｖ）により示された結果画像上での外光の寄与を表わす二次元マトリクスである。
【０００８】
最良の投影条件は、外光の無い暗室において使用可能な１に近い実際のアルベドを有する、均一な白色面に近い投影面を必要とすることが分かる。
【０００９】
投影スクリーンを取り除くことが有利であろうし、ほとんどの任意の投影面に、滑らかでない面にも、例えば、おそらく、滑らかでない木製ドアを一体化した部屋の壁等にも投影可能で、最良である可能性がある知覚投影画像を得るのも有利であろう。実際の条件において、投影室が完全に暗いことはなく、外光が考慮されるべきであると考えるのも有利である。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
課題は、外光の存在下で不均一な投影面でのビデオの投影結果を改善することである。
【００１１】
この課題の解決策は、カーネル
2019139206.tif 000007
及び外光寄与ｌｕ，ｖを決定し、ついで、プロジェクタＰの伝達関数を知ることであろう。全体的な投影プロセスを補償し、ソース画像に対応する投影面上での結果画像を取得するために、等式（３）におけるモデルの逆関数を投影前のソース画像に適応可能であろう。
【００１２】
この理論的な解決策には幾つかの欠点がある。１つ目の課題は、カーネルのサイズのために、決定すべき値の数が膨大であることである。例えば、１９２０×１９２０のフルＨＤ解像における画像を使用する場合、決定すべきカーネルは、約５．３  １０１２の値を有する。別の欠点は、プロジェクタの物理的能力にある。例えば、投影面の暗域を補償することは、プロジェクタの実際の出力を超える光出力を有するピクセルの投影を必要とする場合がある。
【００１３】
本発明は、１つ以上の前述の懸念に対処するために発明された。本発明は、投影されるべきビデオシーケンスの実際の画像に対して、これらの画像上で制限無しに有利に動作する、測色補償方法に関する。
【課題を解決するための手段】
【００１４】
本発明の第１の態様によれば、投影システムにおけるピクセル測色を補償する方法であって、投影システムは、プロジェクタと、カメラと、ピクセル測色補償モジュールとを含み、
投影面の伝達関数のモデルの現在の係数を初期化し、反復的に、
ソース画像に大域パラメータ変換を適用することにより、ターゲット画像を決定し、
プロジェクタの逆伝達関数と現在の係数に基づくモデルにより計算された投影面の逆伝達関数とを適用することにより、補償画像を決定し、
補償画像のプロジェクタによる投影のキャプチャ画像を、投影面上で取得し、
キャプチャ画像と、ターゲット画像に適用された投影面の伝達関数のモデルに基づくこの画像のモデルとの間の距離を最短化することにより得られた新たな値により、現在の係数を更新する、方法が提供される。
【００１５】
実施形態において、投影面の伝達関数のモデルは、ベースの線形結合として表現され、ベースの線形結合の係数は、連続的なパラメトリック関数のセットの線形結合として表現される。
【００１６】
実施形態において、ベースは、
投影ピクセルの位置により決まる第１のベースと、
投影ピクセルの位置とは独立した第２のベースとを含む。
【００１７】
実施形態において、連続的なパラメトリック関数のセットは、ＤＣＴパラメトリック関数及び／又は多項式パラメトリック関数を含む。
【００１８】
実施形態において、投影面の伝達関数のモデルは、
2019139206.tif 000008
［式中、
ｙｕ，ｖが、ピクセル座標（ｕ，ｖ）により示された投影面上での結果画像を表わす二次元マトリクスであり、
ｘｉ，ｊが、ピクセル座標（ｉ，ｊ）により示された、投影されるソース画像を表わす二次元マトリクスであり、
2019139206.tif 000009
が、インデックスｂにより示されたマトリクスセットにより構成される所定のベースであり、
Ｂ’ｉ，ｊｂ’が、インデックスｂ’により示されたマトリクスセットにより構成される所定のベースであり、
Δｄ，ｂ’が、ｄ及びｂ’により示されたスカラー係数であり、
ｃｅ，ｂが、ｅ及びｂにより示されたスカラー係数であり、
ａｕ，ｖが、投影面のアルベドを表わす係数であり、
2019139206.tif 000010
及び
2019139206.tif 000011
が、連続的なパラメトリック関数の所定のｄ−インデックス付き及びｅ−インデックス付きセットであり、
ｂｕ，ｖが、外光を表わす］
として表現される。
【００１９】
実施形態において、ターゲット画像を決定するのに使用される大域パラメータは、投影面のアルベドの平均値及び投影面上での外光の平均値である。
【００２０】
実施形態において、ターゲット画像を決定することは、所定レベルのノイズをターゲット画像に導入することを更に含む。
【００２１】
実施形態において、所定レベルのノイズをターゲット画像に導入することは、画像シーケンスにおける所定数の第１の画像についてのみ行われる。
【００２２】
本発明の別の態様によれば、本発明の方法を実行する装置が提供される。
【００２３】
本発明の別の態様によれば、本発明の方法を実行するためのコンピュータプログラムの命令を記憶している、コンピュータ可読記憶媒体が提供される。
【００２４】
本発明の別の態様によれば、
プロジェクタと、
カメラと、
ピクセル測色補償モジュールとを含み、
ピクセル測色補償モジュールは、
投影面の伝達関数のモデルの現在の係数を初期化する第１の手段と、
ソース画像に大域パラメータ変換を適用することにより、ターゲット画像を決定する第２の手段と、
プロジェクタの逆伝達関数及び現在の係数に基づくモデルにより計算された投影面の逆伝達関数を適用することにより、補償画像を決定する第３の手段と、
補償画像のプロジェクタによる投影のキャプチャ画像を、投影面上で取得する第４の手段と、
キャプチャ画像と、ターゲット画像に適用された投影面の伝達関数のモデルに基づくこの画像のモデルとの間の距離を最短化することにより得られた新たな値により、現在の係数を更新する第５の手段とを含み、少なくとも第２の手段による決定、第３の手段による決定、第４の手段による取得及び第５の手段による更新は、反復的に行われる、投影システムが提供される。
【００２５】
本発明の方法の少なくとも一部は、コンピュータにより実行されてもよい。したがって、本発明は、全体としてハードウェア実施形態、全体としてソフトウェア実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）、又は、一般的には全て、本明細書において、「回路」、「モジュール」、若しくは「システム」と呼ばれる場合があるソフトウェアとハードウェア態様とを組み合わせた実施形態をとることができる。更に、本発明は、媒体に具現化されたコンピュータ可用プログラムコードを有する表現の有体的表現媒体に具現化されたコンピュータプログラム製品をとることができる。
【００２６】
本発明がソフトウェアにおいて実行され得るため、本発明は、任意の適切なキャリア媒体において、プログラマブル装置に提供するためのコンピュータ可読コードとして具現化され得る。有形の非一時的キャリア媒体は、例えば、フロッピーディスク、ＣＤ−ＲＯＭ、ハードディスクドライブ、磁気テープデバイス、又はソリッドステートメモリデバイス等の記憶媒体を含んでもよい。一過性キャリア媒体は、電気シグナル、電子シグナル、光学シグナル、音響シグナル、磁気シグナル、又は電磁シグナル、例えば、マイクロ波又はＲＦシグナル等のシグナルを含んでもよい。
【００２７】
ここから、本発明の実施形態は、例示としてのみ、下記図面を参照して説明されるであろう。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施形態による測色補償システムのアーキテクチャを図示する。
【図２】本発明の実施形態による測色補償方法の全体的な論理アーキテクチャを図示する。
【図３】本発明の実施形態による、カメラによるキャプチャ後の投影プロセスの詳細を図示する。
【図４】本発明の実施形態による測色相関のための方法のフローチャートを図示する。
【図５】本発明の１つ以上の実施形態の実行のためのコンピュータデバイスの模式的なブロック図である。
【図６】一次元の例示におけるベースの概念を図示する。
【図７】一次元ベースの例を図示する。
【発明を実施するための形態】
【００２９】
本発明の目的は、投影室における外光を考慮して、不均一な投影面上に投影された画像シーケンスの測色を、リアルタイムに補償することである。補償は、投影されるべき実際のビデオシーケンスを、特定の目的のための画像及び特定の較正プロセスを必要することなく使用すべきである。
【００３０】
本発明の一態様によれば、ターゲット画像が決定される。このターゲット画像は、ソース画像に近く、代替的なソース画像であると見ることができる。ソース画像を得るための試みにおいて結果画像を補償することを求めるのに代えて、補償は、このターゲット画像に可能な限り近い結果画像を得ようとするであろう。ターゲット画像は、大域変化パラメータをソース画像に適用することにより得られる。この着想は、ヒトの視覚が全体的な変化、例えば、ソース画像より全体的に暗い画像であるガンマの修正等にあまり敏感ではないことである。すなわち、本発明は、全体的な変化ではない又は少なくとも全体として全体的な変化ではない、結果画像における局所的な変化を補償することを目的とする。
【００３１】
本発明の第２の態様によれば、ターゲット画像に適用されるべき補償を決定するために、画像の投影モデルが計算される。リアルタイム計算を達成するために、等式（３）に開示された完全なモデルは、革新的な方法で単純化される。この単純化は、得られたピクセルに隣接するピクセルの抜粋の利点を得ることを目的とする。また、投影面の肌目及び外光の両方が、典型的には、低頻度を示すことも考慮される。これらの仮定に基づいて、解決されるべき課題の合理的な複雑性を得るために、投影の完全なモデルを単純化可能である。
【００３２】
図１に、本発明の実施形態による測色補償システムのアーキテクチャを図示する。元画像シーケンス１．１は、測色補償のための補償デバイス１．２に入力される。補償デバイスは、典型的には、画像処理を実行するコンピュータデバイスである。また、補償デバイスは、投影画像シーケンス１．５をもたらす、投影面１．４上への画像の投影のためのプロジェクタ１．３の制御も担っている。補償を計算するために、システムは、投影画像をキャプチャするためのカメラ１．６も含む。キャプチャ画像も、補償デバイス１．２に入力され、補償デバイス１．２内で実行される補償方法に使用される。補償デバイス１．２、ビデオプロジェクタ１．３、及びカメラ１．６は、別個の接続されたデバイスとして実装されてもよく、又は、１つ若しくは２つの異なるデバイスに一体化されてもよい。
【００３３】
図２に、本発明の実施形態による、測色補償デバイス１．２内で実行される測色補償方法の全体的な論理型アーキテクチャを図示する。入力元画像２．１は、ターゲット画像２．３を生成するために、ターゲットモジュール２．２により処理される。ターゲット画像２．３は、補償画像２．５を取得するために、補償モジュール２．４により処理される。ついで、この補償画像２．５は、結果画像２．７をこの投影面上で得るために、プロジェクタにより投影面に投影される。結果画像２．７は、測定画像２．９を得るために、カメラ２．８によりキャプチャされる。
【００３４】
ついで、比較モジュール２．１０は、測定画像２．９を生成されたターゲット画像２．３と比較する。比較から、比較モジュール２．１０は、測定画像２．９とターゲット画像２．３との間の差異を最小化するために、補償モジュール２．４用の補償パラメータ２．１１を生成する。
【００３５】
投影された結果画像と元画像との間の差異を最小化するために、直観的に、投影画像を補償しようとする。この目的は、元画像に可能な限り近い投影画像を得ることであろう。残念ながら、このアプローチは、下記理由のために機能しない。滑らかでない投影面上に画像を投影すると、投影面のアルベドは均一ではない。画像の一部はアルベドが低い面に投影され、一方、画像の他の部分は、アルベドが高い面に投影されることを意味する。画像の一部の低いアルベドを補償するために、これらの部分に投影されたピクセルは、その光度を増加させる必要がある。プロジェクタの光出力には限界があるため、補償のために所定のピクセルの光度を増加させる可能性も限られる。この制限のために、元画像に可能な限り近い画像を回復させるために完璧な方法で、投影画像を補償しようとすることは、画像において、ある部分は正しく補正され得るが、他の近接する部分は補正され得ないという幾らかの不一致を招くであろう。それは、補正にはプロジェクタからの利用できないレベルの光出力を必要としうるためである。補正レベルにおけるこれらの局所的な不一致は、ヒトの眼に対して妨げとなり、乏しい結果をもたらす。
【００３６】
補償レベルにおける局所的な不一致は妨げであるが、光度の全体的な減衰は、ユーザにとってほとんど妨げにはならない。したがって、例えば、画像の全体的な光度を減少させることは有利であり、また画像内においてほぼ均一なレベルの補償を維持することは有利である。これは、ターゲット画像が生成されるためである。ターゲット画像は、少なくともプロジェクタの物理的な限界、外光の平均レベル、及び投影面の平均アルベドに基づいて、良好な結果画像を得るための補償プロセスの合理的なターゲットである。すなわち、全体的な不一致ではなく、局所的な不一致の補償に焦点が当てられている。ターゲット画像の生成を、以下に詳述する。
【００３７】
補償を考慮すると、ソース画像とキャプチャ画像との間の幾何関係が知られていると仮定される。この幾何関係は、非平坦投影面であることのため、又は投影面がプロジェクタの光学軸に直交しなくてもよいという事実のために、任意の幾何補正を考慮し得る。ほとんどの場合において、幾何補正に対する解決策が存在する。本明細書において、ソース画像及びキャプチャ画像の両方が矩形であるが、その解像が異なり得ることを仮定する測色補正に焦点を当てる。ソース画像におけるピクセルをキャプチャ画像におけるその対応するゾーンに関連付け、キャプチャ画像におけるピクセルをソース画像におけるその対応するゾーンに関連付けることが可能である。
【００３８】
図３に、図２におけるカメラ２．８によりキャプチャされる前の、投影プロセス２．６の詳細を図示する。
【００３９】
補償画像２．５は、プロジェクタ３．２の入力画像である。投影は、ＲＧＢ値を有し、それをプロジェクタの出力において電磁波に変換するピクセルの二次元マトリクスである入力を用いると見ることができる。補償画像２．５を投影画像３．３に変換する伝達関数Ｐとしてモデル化されてもよい。投影画像３．３は、結果画像３．５を得るための伝達関数Ｓとしてモデル化される場合がある投影面３．４に投影される。投影面３．４上に見られる結果画像は、測定画像２．７を得るために、カメラによりキャプチャされる。このキャプチャは、伝達関数Ｃとしてモデル化されてもよい。この完全なプロセスは、下記のようにモデル化されてもよい。
【数４】
2019139206.tif 000012
【００４０】
式中、ＩＣは、補償画像であり、ＩＭは、カメラによる測定画像であり、Ｐは、プロジェクタの伝達関数であり、Ｓは、プロジェクタ表面の伝達関数であり、Ｃは、カメラの伝達関数である。
【００４１】
特定のシステムにおいて、選択されたプロジェクタ及びカメラについて、伝達関数Ｐ及びＣが公知である。それらは、プロジェクタ及びカメラの製造メーカーにより与えられてもよく、又は、実際のデバイスにおいて測定されてもよい。投影面の伝達関数のみが既知でない。
【００４２】
解決されるべき課題の１つは、ターゲット画像２．３、ＩＴに可能な限り近い結果画像２．７、ＩＲを得るために、補償モジュール２．４をターゲット画像２．３、ＩＴに適用されるべき変換を決定することである。この目的を達成するために、ターゲット画像ＩＴを知り、測定画像ＩＭを測定する。結果画像ＩＲが
2019139206.tif 000013
としてモデル化され、Ｃ−１（ＩＭ）に対応することも知られている。ついで、補償画像ＩＣを得るためにターゲット画像ＩＴに適用されるべき補償は、
【数５】
2019139206.tif 000014
を実証すべきである。
【００４３】
プロジェクタの伝達関数Ｐは知られており、補償関数
2019139206.tif 000015
を得るために、投影面の伝達関数Ｓを決定する必要がある。
【００４４】
投影面の伝達関数Ｓは、等式（３）から以下のようにモデル化されてもよいことが分かる。
【数６】
2019139206.tif 000016
【００４５】
式中、
2019139206.tif 000017
は、四次元を有するカーネルマトリクスであり、同マトリクスは、投影面のアルベドのパラメトリックモデルを表わし、ｌｕ，ｖは、画像のサイズを有する二次元マトリクスであり、同マトリクスは、投影面上の外光を表わす。このモデルは、パラメトリックである。伝達関数Ｓを定義するパラメータを決定するために、選択された初期値から、測定画像と投影面の伝達関数Ｓのパラメトリックモデルに基づいて予測される画像との間の距離を最短化することにより、これらのパラメータの値を反復的に決定可能である。パラメトリックモデルは、完全なスクリーン及び外光が無いことを仮定して初期化されてもよい。これらのパラメータを使用して、補償画像
2019139206.tif 000018
を計算可能である。ついで、Ｓのモデルのパラメータは、以下の式を使用して決定される。
【数７】
2019139206.tif 000019
【００４６】
実際に、等式（６）の完全なモデルを使用するには、数時間の計算が必要であり、収束させるために、数百の画像でのａｒｇｍｉｎを計算する必要がある。ａｒｇｍｉｎ関数は、最小二乗法を使用して計算されてもよい。本発明の目的は、リアルタイムに投影画像を補償することであるため、完全なモデルの使用は実用的ではない。ａｒｇｍｉｎをリアルタイムに解くことができるが、それでも、補償を実現するために、不均一な投影面及び外光の影響を正確にモデル化できる、より限られた数のパラメータを有する単純化されたモデルを得るために、このモデルを単純化することが提案される。有利に、モデルのパラメータの決定は、収束させるのに少数の画像のみが必要である。
【００４７】
カーネル
2019139206.tif 000020
のサイズは、ｗ２ｈ２であり、約１０１２の係数である。
【００４８】
最初の着想は、所定のピクセル値における他のピクセルの影響が、ピクセルの隣りに限られ、又は、所定の狭い位置に限られることを仮定することである。この制限を表現するために、下記等式に従って、限られた数のベースによってカーネルを表現することが選択される。
【数８】
2019139206.tif 000021
【００４９】
ベースＢの概念を説明する。一次元の世界では、図６に図示されたように、次元ｄｉｍ（ｕ）の出力ベクターｙは、次元ｄｉｍ（ｉ）の入力ベクターｘにより決まる、例えば、
2019139206.tif 000022
と考えられる。一般的な場合には、
2019139206.tif 000023
は、次元ｄｉｍ（ｕ，ｉ）の完全なマトリクスであり、
2019139206.tif 000024
を
2019139206.tif 000025
（ここで、αはスカラーであり、
2019139206.tif 000026
は、スパースマトリクス（ベース）である）と書き換えることにより次元を減少させることが提案される。単純な例は、
2019139206.tif 000027
対角を選択することである。この場合には、出力ベクターの全ての値は、αにより縮小される１つの入力値により決まる（次元ｕが次元ｉより大きいと仮定）。この単純な場合には、
2019139206.tif 000028
を解くことは、相当減少される。別のベース、例えば、三重対角マトリクスが選択され得る。ベースとして対角又は三重対角マトリクスとついて記載されているが、本発明は、これらの例には限定されず、他のベースが企図されてもよい。
【００５０】
ここで、スカラーαは、各出力次元ｕについて異なり得ることが留意される。
2019139206.tif 000029
は、
2019139206.tif 000030
（αｕは、次元ｄｉｍ（ｕ）のベクターであり、各
2019139206.tif 000031
の個々の項目に対して、成分に関して多重されることが留意される）になる。また、解くべきモデルを表現するために、２つ以上のベースの組み合わせも使用できる。これにより、最終的な記述：
2019139206.tif 000032
が導かれる。ｂは、α及びＢを示すのに使用されるベース数である。ここでは、ｙｕからの各出力値は、ｘｉからの固有の入力値の組み合わせにより決まることが分かる。
【００５１】
入力データの全体領域が、出力データの特定の領域に「平均して」影響を及ぼす別の影響をモデル化できる。
2019139206.tif 000033
が提案される。ここで、ベースＢ’は、スカラー値を得るためにｘｉが点在する次元ｄｉｍ（ｉ）のベクトル又は図７に図示された一種の平均である。ついで、このスカラーに、次元ｄｉｍ（ｕ）のベクトルβｕを乗じて、出力が生成される。ここでは、このモデルについて、βｕからの出力の一部に影響を及ぼすために、Ｂ’iからの入力の一部を平均化できる。一次元世界において、当該モデルの最終的な式は、
2019139206.tif 000034
であろう。
【００５２】
2019139206.tif 000035
は、次元ｄｉｍ（ｕ，ｉ）のマトリクスであり、それと同様に、
2019139206.tif 000036
も、それぞれ次元ｄｉｍ（ｕ）及びｄｉｍ（ｉ）の２つのベクターの積であることが留意される。
【００５３】
初期の課題に戻って、第１の項
2019139206.tif 000037
は、結果画像における位置（ｕ，ｖ）により決まる相対係数である。これは、各目的ピクセルにおける各ソースピクセルの影響をモデル化することである。
【００５４】
第２の項
2019139206.tif 000038
は、位置（ｕ，ｖ）とは独立した大域係数である。より正確には、（ｕ，ｖ）により決まる項は、βｕ，ｖ，ｂ’のみである。同βｕ，ｖ，ｂ’は、次元ｄｉｍ（ｕ，ｖ）のマトリクスであり、ソース画像ｘｉ，ｊにより決まらない。これにより、例えば、全体的な照明をモデル化できる。この場合、ソース画像の一部は、出力画像の特定のゾーンに平均して影響を及ぼし得る。
【００５５】
2019139206.tif 000039
は、インデックスｂにより示されたマトリクスセットにより構成されるベースＢであり、マトリクス数は、少数、典型的には、１０前後のマトリクスである。同様に、Ｂ’ｉ，ｊ，ｂ’は、ｂ’により示されたベクトルセットにより構成されるベースｙＢ’であり、少数のベクトル、典型的には、１０前後のベクトルを有する。ここで、ベースＢ’は、例えば、スクリーンの幾何形状が角である場合には、投影画像の一部が投影画像の別の部分に反射される全体的な照明問題を補償するためのものである。ベースＢ’は、観察された幾何形状に従って選択され得るが、第１の実行は、例えば、画像ゾーン、例えば、画像の左側、右側、上側、及び下側の部分を平均化するベースを含み得る。
【００５６】
ベースＢは、変換に無関係なマトリクス
2019139206.tif 000040
について選択される。同変換は、
2019139206.tif 000041
ここで、
2019139206.tif 000042
を意味する。
ここで、境界（ｗ，ｈ）におけるｉ、ｊ、ｉ＋ｄｉ、ｊ＋ｄｊ、入力と次元を入力し、出力することを仮定することとは同じである。他に、
2019139206.tif 000043
は、マトリクスは疎であることを意味する。
【００５７】
カーネル
2019139206.tif 000044
がこの方法で表現される場合、係数の数及びしたがって、決定すべきパラメータの数は、２つのベースＢ及びＢ’の基数の合計で乗じた画像ｗｈのサイズに対応するように減少する。すなわち、完全なカーネルに対する約１０１２に代えて約２０．１０６になる
【００５８】
その一般性において、係数αｕ，ｖ，ｂおよびβｕ，ｖ，ｂ’は、画像のサイズを有するマトリクスセットであり、当該セットは、インデックスｂ及びｂ’により示される。典型的には、アルベドの進展及び外光が幾らか低頻度を示すという事実を考慮するために、これらの係数の完全性を低下させることができる。これは、これらの係数を画像空間上での連続関数として表現することにより行われてもよい。これらの関数は連続的であり、画像空間におけるそれらの進展は、低頻度を示すように、係数のモデルを制限する。これは、パラメータの完全な画像サイズのマトリクスから連続関数を定義する少しのパラメータへと、評価されるべきパラメータの完全性を低下させるであろう。例として、これらの関数は、ＤＣＴ係数又は低次の多項式関数、典型的には、３〜５桁であるように選択されてもよい。
【００５９】
βｕ，ｖ，ｂ’係数は、
【数９】
2019139206.tif 000045
として表現されてもよい。
【００６０】
式中、Δｄ，ｂ’は、ｄ及びｂ’により示されたスカラー係数である。ｄインデックスは、典型的には、約１０の値の小さな範囲の値をとる。所定のｂ’について、
2019139206.tif 000046
は、低い空間的頻度のベース関数、典型的には、ＤＣＴ又は低次の多項式関数のｄインデックスセットである。
【００６１】
一部の実施形態では、ｄインデックスセットの関数は、全てのｂ’ベースエレメントＢ’ｉ，ｊ，ｂ’について同じである。
【００６２】
αｕ，ｖ，ｂ係数は、
【数１０】
2019139206.tif 000047
として、同じ方法で表現されてもよい。
【００６３】
式中、ａｕ，ｖｃｅ，ｂは、ｅ及びｂにより示されたスカラー係数である。ｅインデックスは、典型的には、約１０の値の小さな範囲の値をとる。この係数は、アルベド及び所定の係数ｃｅ，ｂを表現するａｕ，ｖに分離される。所定のｂについて、
2019139206.tif 000048
は、低い空間頻度のベース関数、典型的には、ＤＣＴ又は低次の多項式関数のｅインデックスセットである。
【００６４】
全てのこれらの単純化を適用することにより、最終的な等式
【数１１】
2019139206.tif 000049
を得る。
【００６５】
この式において、ベース
2019139206.tif 000050
及びＢ’ｉ，ｊ，ｂ’並びに連続関数
2019139206.tif 000051
及び
2019139206.tif 000052
が予め定義されているため、公知である。一方、係数ａｕ，ｖは、アルベドを表わし、ｃｅ，ｂ、Δｄ，ｂ’、及びｂｕ，ｖは、全体的な照明を表わし、外光は、ａｒｇｍｉｎ算出を使用して評価されるべきである。評価されるべき係数の数は、完全なモデルの約１０１２の係数に代えて、約１０６に減少されるようになる。
【００６６】
したがって、投影面の伝達関数Ｓのモデルは単純化される。まず、所定のピクセルの得られた色における他のピクセルの影響が主にその隣接によることを考慮して、カーネルは、少数のベースの線形結合として表現され、これらのベースは、変換に無関係である。モデルは、投影面の典型的な肌目及び全体的な照明の低頻度特性を考慮するために更に単純化される。これは、線形結合の係数をパラメトリックな連続関数として表現することによりならされる。このような単純化されたモデルは、ａｒｇｍｉｎ関数を使用してリアルタイムに解かれてもよい。
【００６７】
図４に、本発明の実施形態による測色相関のための方法の体制図を図示する。
【００６８】
工程４．１において、モデルの係数を、デフォルト値に初期化する。典型的には、これらのデフォルト値は、完全な投影条件を仮定している。例えば、例示的な実施形態では、等式（１１）で表現されたモデルに従って、ｂｕ，ｖは、外光が無い状況に対応するｎｕｌｌであると仮定される。係数ａｕ，ｖ、ｃｅ，ｂ、及びΔｄ，ｂ’は、完全なアルベドに対応する値１により構成されるように選択される。
【００６９】
工程４．２において、本システムは、投影されるべき元画像を得る。最初に、この工程が実行され、この画像は、典型的には、投影されるべき画像シーケンスの第１の画像である。
【００７０】
工程４．３において、ターゲット画像を生成する。上記説明されたように、このターゲット画像は、元画像の大域パラメータによる変換である。この目的は、元画像に近い画像を得ることである。同画像は、投影面の不規則性及び周囲光を補償するために局所的に補正され得る。例示的な実施形態では、ターゲット画像は、投影面のアルベドの平均値Ａ及び外光の平均値Ｌに基づいて計算される。すなわち、等式（１１）により表現されたモデルに従って、これらの平均値は、
【数１２】
2019139206.tif 000053
により得られる。
【００７１】
係数値の初期化に従って、最初に、この工程は、Ａ＝１及びＬ＝０で実行されることになる。
【００７２】
一部の実施形態では、平均は、中央値、偏差、又はＡについてのアルベド及びＬについての外光の代表的な大域値を導くことができる他の関数により置き換えられてもよい。
【００７３】
第１の実施形態では、ターゲット画像は、Ａ及びＬから、例えば、
【数１３】
2019139206.tif 000054
に従って計算される。
【００７４】
式中、Ｉ０は、元画像であり、ＩＴは、ターゲット画像である。直観的に、外光と結び付けられた投影面が元画像よりクリアな結果画像を描く傾向にある場合、ターゲット画像は、全体的にクリアであろう。この全体的な挙動を補償しようとはしないであろう。
【００７５】
これらの平均値を使用することは、過剰であると証明できる。代替的な実施形態では、ターゲット画像は、元画像及びこの全体的に変化した画像の線形結合として得られる。例えば、ターゲット画像は、
【数１４】
2019139206.tif 000055
と計算されてもよい。
【００７６】
式中、αは、例えば、プロジェクタの光出力に基づいて選択されるパラメータである。高い光出力を有するプロジェクタは、画像をより良好に補償可能であるため、元画像により近いターゲット画像が選択されてもよい。このαパラメータも、投影面がどの程度不規則であるかによっても決まる場合がある。低レベルの補償が必要とされる場合、ターゲット画像は、元画像により近くあることができる。
【００７７】
工程４．４において、補償画像を、ターゲット画像から生成する。補償は、等式（５）を適用することにより行われる。
【数１５】
2019139206.tif 000056
【００７８】
式中、Ｐ−１は、プロジェクタＰの逆伝達関数であり、同関数は、公知であると仮定され、Ｓ−１は、投影面Ｓの逆伝達関数であり、同関数は、等式（１１）において表現された、モデルの係数の現在の値を使用して決定される。
【００７９】
工程４．５において、補償画像を、投影面に投影する。
【００８０】
工程４．６において、キャプチャ画像を得るために、投影画像を、カメラによりキャプチャする。
【００８１】
工程４．７において、モデルの係数の新しいバージョンを、ａｒｇｍｉｎ係数を実行することにより決定し、キャプチャ画像と等式（７）に従って得られたこの画像のモデルとの間の距離を最短化する。この場合、投影面の伝達関数は、等式（１１）の単純化されたモデルに従って表現される。モデルの係数のこの新しいバージョンは、工程４．２に戻るループによるシーケンスにおいて、次の画像の計算のために現在のバージョンを置き換える。
【００８２】
したがって、シーケンスの各画像の投影は、モデルの係数の調節に対応する。投影面の伝達関数の正しいモデルを提供する係数の関連値を得るための方法の収束速度は、シーケンスに存在する画像の種類により決まる。通常、良好な係数は、シーケンスの第１の画像から非常に素早く得られる。本方法では、少数の画像のみ、典型的には、３〜１０の画像後に収束させる。第２の投影前に、投影面の規則性の非常に正確な補償が得られることを意味する。
【００８３】
一部の画像シーケンスは、大きな静的ゾーンを提示してもよい。同静的ゾーンは、ピクセル値が画像間で変化しないソース画像におけるゾーンを意味する。これは、例えば、プロジェクタがコンピュータのスクリーンを投影するのに使用される場合である。その場合には、提案された方法では、ピクセル変化の原因として、アルベドと外光との間を区別することができない。投影面における肌目からのアルベドは、投影ピクセルに対して相乗効果を有するが、外光の場合は相加的な効果を有することを思い起こす。ピクセルの値が変化しない限り、このピクセルについて推定されたアルベド及び外光は正確でない場合がある。この事実は、アルベド及び外光推定が誤っている場合であっても、それらの値が静的である限り、これらのピクセルを正確に補償することを妨げない。これらのピクセルの値が変化し始めると、アルベド及び外光の推定の誤りにより、複数の画像に幾らかの補償の誤りが生じる場合があり、ここで当該方法をより正確な推定に集中させる。
【００８４】
この問題に対する解決策は、ピクセル値が静的とならないように、ターゲット画像に変動を導入することである。これは、例えば、ターゲット画像にランダムに一定レベルのノイズを導入することにより行われてもよい。このレベルのノイズを低く維持することにより、投影画像の劣化は、典型的には、ユーザに感じられず、又は、ほとんど感じられない。ピクセル値に導入されるこれらの小さな変動により、提案された方法が、画像全体にわたるモデルに対する正確な係数値を推定することに素早く集中することが確保される。
【００８５】
有利には、画像の劣化を制限するために、ターゲット画像へのノイズのこの導入は、画像シーケンスの開始時において、所定数の画像に限られる。例えば、ノイズは、シーケンスの１０又は２０の第１の画像のみに導入される。
【００８６】
図５は、本発明の１つ以上の実施形態の実行のためのコンピュータデバイス５．０の模式的なブロック図である。コンピュータデバイス５．０は、マイクロコンピュータ、ワークステーション、又は軽量ポータブルデバイス等のデバイスでもよい。コンピュータデバイス５．０は、
−中央演算装置５．１、例えば、マイクロプロセッサ（ＣＰＵを指す）；
−本発明の実施形態の方法の実行可能なコード及び本発明の実施形態による画像の少なくとも一部をエンコード又はデコードするための方法を実行するのに必要な変数及びパラメータを記憶するのに適合したレジスタを記憶するためのランダムアクセスメモリ５．２（ＲＡＭを指す）（そのメモリ能は、例えば、拡張ポートに接続される任意のＲＡＭにより拡張できる）；
−本発明の実施形態を実行するためのコンピュータプログラムを記憶するためのリードオンリーメモリ５．３（ＲＯＭを指す）；
−典型的には、処理されるべきデジタルデータ、例えば、ビデオデータが送信され又は受信される通信ネットワークに接続されるネットワークインタフェース５．４（ネットワークインタフェース５．４は、１つのネットワークインタフェースであることができ、又は、異なるネットワークインタフェース（例えば、有線及び無線インタフェース又は異なる種類の有線若しくは無線インタフェース）のセットから構成されることができる。データパケットは、ＣＰＵ５．１で動作するソフトウェアアプケーションの制御下で、送信用のネットワークインタフェースに書き出され、又は、受信用のネットワークインタフェースから読み込まれる）；
−ユーザからの入力を受信し、又は、ユーザに情報を提示するのに使用されてもよいユーザインタフェース５．５；
−大容量記憶デバイスとして提供されてもよいハードディスク５．６（ＨＤを指す）；
−データを外部デバイス、例えば、ビデオソース又はディスプレイから受信し／データを同外部デバイスに送信するのに使用されてもよいＩ／Ｏモジュール５．７
に接続された通信バスを含む。
【００８７】
実行可能なコードは、リードオンリーメモリ５．３中、ハードディスク５．６上、又は取外し可能なデジタル媒体、例えば、ディスク等上のいずれかに記憶されてもよい。変形例に従って、プログラムの実行可能なコードは、実行される前に、通信ネットワークにより、ネットワークインタフェース５．４を介して、コンピュータデバイス５．０の記憶手段、例えば、ハードディスク５．６の１つに記憶させるために受信され得る。
【００８８】
中央演算装置５．１は、本発明の実施形態に従った１つ以上のプログラムのソフトウェアコードの命令又は一部の実行を制御し、指示するように適合される。同命令は、前述の記憶手段の１つに記憶される。電源を入れた後に、ＣＰＵ５．１は、それらの命令が、例えば、プログラムＲＯＭ５．３又はハードディスク（ＨＤ）５．６からロードされた後に、ソフトウェアアプリケーションに関連するメインＲＡＭメモリ５．２からの命令を実行可能である。このようなソフトウェアアプリケーションは、ＣＰＵ５．１により実行されると、図４に示されたフローチャートの工程を行う。
【００８９】
図４に示されたアルゴリズムの任意の工程は、プログラマブルコンピュータマシン、例えば、ＰＣ（「パーソナルコンピュータ」）、ＤＳＰ（「デジタルシグナルプロセッサ」）、又はマイクロコントローラによる命令又はプログラムのセットの実行によりソフトウェアにおいて実行されてもよく、又は、マシン又は専用コンポーネント、例えば、ＦＰＧＡ（「フィールドプログラマブルゲートアレイ」）又はＡＳＩＣ（「特定用途向け集積回路」）によるハードウェアにおいて他に実行されてもよい。
【００９０】
本発明は、本明細書において、特定の実施形態を参照して上記されているが、本発明は、特定の実施形態には限定されず、本発明意の範囲内にある変更は、当業者に明らかであろう。
【００９１】
多くの更なる変更及び変形が、前述の図示された実施形態を参照して、当業者に示唆されるであろう。同実施形態は、例としてのみ与えられ、本発明の範囲を限定することを意図しておらず、同範囲は、添付の特許請求の範囲によってのみ決定される。解くに、異なる実施形態からの異なる特徴は、該当する場合には、互換的でもよい。
【００９２】
特許請求の範囲において、「含む」という語は、他の構成要素又は工程を排除せず、「ａ」又は「ａｎ」という不定冠詞は、複数を排除しない。異なる特徴が相互に異なる従属請求項において列挙されるという事実は、これらの構成要素の組み合わせが有利に使用され得ないことを示すものではない。
【図１】
2019139206.tif 000061
【図２】
2019139206.tif 000062
【図３】
2019139206.tif 000063
【図４】
2019139206.tif 000064
【図５】
2019139206.tif 000065
【図６】
2019139206.tif 000066
【図７】
2019139206.tif 000067