(57)【要約】【課題】入力画像との差異が少ない高画質の投影像が映し出されるようになる位相画像を生成する。【解決手段】画像処理装置１１は、入力画像Ｗから複数の位相画像を生成し、入力画像Ｗから生成された複数の位相画像が投影面１３に投影された場合にその複数の位相画像の画素が重なり合って形成される領域を画素とする重畳画像の各画素に対して、重畳画像の画素の画素値と、その画素に対応する入力画像Ｗの画素の画素値の差分が減少するように入力画像Ｗから生成された複数の位相画像の画素の画素値を変更して、投影面１３に投影される複数の位相画像を生成する。本発明は、例えば、画像生成装置に適用できる。【選択図】図３
2009008974.tif 000002
【特許請求の範囲】
【請求項１】
入力画像より低解像度で、投影手段により投影面に投影される場合に互いに所定のずらし量だけずれて重なり合う複数の位相画像を生成する画像生成装置において、
前記入力画像から複数の位相画像を生成する入力処理手段と、
前記入力画像から生成された複数の位相画像が前記投影面に投影された場合にその複数の位相画像の画素が重なり合って形成される領域を画素とする重畳画像の各画素に対して、前記重畳画像の画素の画素値と、その画素に対応する前記入力画像の画素の画素値の差分が減少するように前記入力画像から生成された複数の位相画像の画素の画素値を変更して、投影面に投影される前記複数の位相画像を生成する画像処理手段と
を備える画像生成装置。
【請求項２】
前記画像処理手段は、前記重畳画像の各画素に対して、前記重畳画像の画素の画素値とその画素に対応する前記入力画像の画素の画素値との差分に応じた所定の値だけ、前記入力画像から生成された複数の位相画像の画素の画素値を変更する処理を、前記重畳画像の画素の画素値とその画素に対応する前記入力画像の画素の画素値との比較結果に応じて繰り返して実行する
請求項１に記載の画像生成装置。
【請求項３】
前記画像処理手段は、変更された前記位相画像の画素の画素値が所定の範囲から外れている場合は、前記位相画像の画素の画素値のその不足分または超過分に応じた所定の値を、その前記位相画像の画素の近傍画素に加えるとともに、その前記位相画像の画素の画素値を所定の値にする
請求項２に記載の画像生成装置。
【請求項４】
前記所定の範囲は、前記投影手段の投影できる輝度の範囲または色の範囲である
請求項３に記載の画像生成装置。
【請求項５】
前記投影手段は、前記位相画像の数分だけ設けられ、
前記画像処理手段は、生成した位相画像を、対応する所定の前記投影手段に供給し、
各前記投影手段は、供給された前記位相画像を、前記複数の位相画像が互いに所定のずらし量だけずれて重なり合うように、前記投影面に投影する
請求項３に記載の画像生成装置。
【請求項６】
前記所定の範囲は、前記複数の位相画像に関わらず同じであるまたは前記複数の位相画像毎に異なる
請求項５に記載の画像生成装置。
【請求項７】
前記投影手段が１個設けられ、
前記画像処理手段は、生成した前記複数の位相画像を、前記投影手段に供給し、
前記投影手段は、視覚の時間積分効果により、前記複数の位相画像が互いに所定のずらし量だけずれて重なり合っているように視覚される時間間隔で、前記複数の位相画像を順に前記投影面に投影する
請求項２に記載の画像生成装置。
【請求項８】
前記投影手段は、透過型液晶プロジェクタ、反射型液晶プロジェクタ、またはDLP(Digital Light Processing)プロジェクタである
請求項２に記載の画像生成装置。
【請求項９】
前記投影面をさらに有する
請求項１に記載の画像生成装置。
【請求項１０】
入力画像より低解像度で、投影手段により投影面に投影される場合に互いに所定のずらし量だけずれて重なり合う複数の位相画像を生成する画像生成装置の画像処理方法において、
前記入力画像から複数の位相画像を生成する入力処理ステップと、
前記入力画像から生成された複数の位相画像が前記投影面に投影された場合にその複数の位相画像の画素が重なり合って形成される領域を画素とする重畳画像の各画素に対して、前記重畳画像の画素の画素値と、その画素に対応する前記入力画像の画素の画素値の差分が減少するように前記入力画像から生成された複数の位相画像の画素の画素値を変更して、投影面に投影される前記複数の位相画像を生成する画像処理ステップと
を含む画像生成方法。
【請求項１１】
入力画像より低解像度で、投影手段により投影面に投影される場合に互いに所定のずらし量だけずれて重なり合う複数の位相画像を生成する画像生成処理をコンピュータに実行させるプログラムにおいて、
前記入力画像から複数の位相画像を生成する入力処理ステップと、
前記入力画像から生成された複数の位相画像が前記投影面に投影された場合にその複数の位相画像の画素が重なり合って形成される領域を画素とする重畳画像の各画素に対して、前記重畳画像の画素の画素値と、その画素に対応する前記入力画像の画素の画素値の差分が減少するように前記入力画像から生成された複数の位相画像の画素の画素値を変更して、投影面に投影される前記複数の位相画像を生成する画像処理ステップと
を含む画像生成処理をコンピュータに実行させるプログラム。
【請求項１２】
請求項１の画像生成装置により生成された前記位相画像を記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像生成装置及び方法、プログラム、並びに記録媒体に関し、特に、本来投影したい画像より低解像度であり、投影面に投影される場合互いに所定のずらし量だけずれて重なり合うように投影面に投影されることで、本来投影したい画像との差異が少ない高画質の投影像が映し出されるようになる位相画像を生成する画像生成装置及び方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
本来投影したい画像（以下、入力画像と称する）より低解像度の投影画像を投影する投影装置を利用して、入力画像と同じ解像度の投影像を投影面に映し出す方法として、ウォビュレーション(Wobulation)と呼ばれる方法（例えば、非特許文献１参照）がある。
【０００３】
例えば図１下左から１番目に示す入力画像から、図１下左から２番目および３番目に示すような入力画像の解像度の１／２のサブ画像が生成され、そのサブ画像が、互いにサブ画像の半画素分ずれて重なる位置に、人間の視覚の時間積分効果を得ることができる時間間隔で投影される。
【０００４】
その結果、図１上の右に示すように、入力画像の２倍の解像度の投影像を視覚させることができる。
【０００５】
ウォビュレーション法では、サブ画像が視覚の時間積分効果を得ることができる時間間隔で投影されたが、複数の投影装置を利用して同時に投影し同様の効果を得るディスプレイシステムも考えられている（例えば、非特許文献２参照）。
【０００６】
図２は、このディスプレイシステムによる表示例を示している。
【非特許文献１】"Wobulation: Doubling the Addressed Resolution of Projection Displays", Will Allen (Digital Projection and Imaging, Hewlett-Packard, Corvallis, Oregon, USA) and Robert Ulichney (HP Labs, Cambridge, Massachusetts, USA) in the Proceedings of SID 2005
【非特許文献２】Yang, Ruigang, David Gotz, Justin Hensley, Herman Towles and Mike Brown. "PixelFlex: A Reconfigurable Multi-Projector Display System." IEEE Visualization 2001. San Diego, CA (October 21-26, 2001).
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、例えばウォビュレーション法では、サブ画像の画素の画素値は、入力画像の対応する所定の１つの画素の画素値に一義的に決定される。
【０００８】
例えば、第１のサブ画像の第２行第２列の画素の画素値は、入力画像の第３行第３列の画素の画素値とされ、第２のサブ画像の第１行第１列の画素の画素値は、入力画像の第２行第２列の画素値とされている。
【０００９】
したがってサブ画像の画素が重なり合って形成される投影像の領域の画素値（この領域の輝度値を示す画素値）は、その領域に対応する入力画像の画素の画素値とは必ずしも一致しないので、ウォビュレーション法で映し出される投影像は、入力画像と同じ解像度を有するものの滲んでいるような像となってしまう。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、入力画像より低解像度であり、投影面に投影される場合互いに所定のずらし量だけずれて重なり合うように投影面に投影されることで、入力画像との差異が少ない高画質の投影像が映し出されるようになる位相画像を生成することができるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の一側面の画像生成装置は、入力画像より低解像度で、投影手段により投影面に投影される場合に互いに所定のずらし量だけずれて重なり合う複数の位相画像を生成する画像生成装置において、前記入力画像から複数の位相画像を生成する入力処理手段と、前記入力画像から生成された複数の位相画像が前記投影面に投影された場合にその複数の位相画像の画素が重なり合って形成される領域を画素とする重畳画像の各画素に対して、前記重畳画像の画素の画素値と、その画素に対応する前記入力画像の画素の画素値の差分が減少するように前記入力画像から生成された複数の位相画像の画素の画素値を変更して、投影面に投影される前記複数の位相画像を生成する画像処理手段とを備える。
【００１２】
前記投影手段には、前記位相画像の数分だけ設けられ、前記画像処理手段には、生成した位相画像を、対応する所定の前記投影手段に供給させ、各前記投影手段には、供給された前記位相画像を、前記複数の位相画像が互いに所定のずらし量だけずれて重なり合うように、前記投影面に投影させることができる。
【００１３】
前記投影手段が１個設けられ、前記画像処理手段には、生成した前記複数の位相画像を、前記投影手段に供給させ、前記投影手段には、視覚の時間積分効果により、前記複数の位相画像が互いに所定のずらし量だけずれて重なり合っているように視覚される時間間隔で、前記複数の位相画像を順に前記投影面に投影させることができる。
【００１４】
本発明の一側面の画像生成装置には、前記投影面をさらに設けることができる。
【００１５】
本発明の一側面の画像生成方法またはプログラムは、入力画像より低解像度で、投影手段により投影面に投影される場合に互いに所定のずらし量だけずれて重なり合う複数の位相画像を生成する画像生成装置の画像処理方法において、前記入力画像から複数の位相画像を生成する入力処理ステップと、前記入力画像から生成された複数の位相画像が前記投影面に投影された場合にその複数の位相画像の画素が重なり合って形成される領域を画素とする重畳画像の各画素に対して、前記重畳画像の画素の画素値と、その画素に対応する前記入力画像の画素の画素値の差分が減少するように前記入力画像から生成された複数の位相画像の画素の画素値を変更して、投影面に投影される前記複数の位相画像を生成する画像処理ステップとを含む。
【００１６】
本発明の一側面においては、入力画像から複数の位相画像が生成され、前記入力画像から生成された複数の位相画像が前記投影面に投影された場合にその複数の位相画像の画素が重なり合って形成される領域を画素とする重畳画像の各画素に対して、前記重畳画像の画素の画素値と、その画素に対応する前記入力画像の画素の画素値の差分が減少するように前記入力画像から生成された複数の位相画像の画素の画素値が変更されて、投影面に投影される前記複数の位相画像が生成される。
【発明の効果】
【００１７】
本発明の一側面によれば、入力画像より低解像度であり、投影面に投影される場合互いに所定のずらし量だけずれて重なり合うように投影面に投影されることで、入力画像との差異が少ない高画質の投影像が映し出されるようになる位相画像を生成することができる。
【発明を実施するための最良の形態】
【００１８】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１９】
本発明の一側面の画像生成装置は、
入力画像より低解像度で、投影手段（例えば、図５の投影装置１２Ａ乃至１２Ｄ）により投影面（例えば、図３の投影面１３）に投影される場合に互いに所定のずらし量だけずれて重なり合う複数の位相画像を生成する画像生成装置（例えば、図５の画像処理装置１１）において、
前記入力画像から複数の位相画像を生成する入力処理手段（例えば、図５の入力処理部３１）と、
前記入力画像から生成された複数の位相画像が前記投影面に投影された場合にその複数の位相画像の画素が重なり合って形成される領域を画素とする重畳画像の各画素に対して、前記重畳画像の画素の画素値と、その画素に対応する前記入力画像の画素の画素値の差分が減少するように前記入力画像から生成された複数の位相画像の画素の画素値を変更して、投影面に投影される前記複数の位相画像を生成する画像処理手段（例えば、図５の繰り返し処理部３２及び出力処理部３３）と
を備える。
【００２０】
本発明の一側面の画像生成方法またはプログラムは、
入力画像より低解像度で、投影手段により投影面に投影される場合に互いに所定のずらし量だけずれて重なり合う複数の位相画像を生成する画像生成装置の画像処理方法において、
前記入力画像から複数の位相画像を生成する入力処理ステップ（例えば、図９のステップＳ４）と、
前記入力画像から生成された複数の位相画像が前記投影面に投影された場合にその複数の位相画像の画素が重なり合って形成される領域を画素とする重畳画像の各画素に対して、前記重畳画像の画素の画素値と、その画素に対応する前記入力画像の画素の画素値の差分が減少するように前記入力画像から生成された複数の位相画像の画素の画素値を変更して、投影面に投影される前記複数の位相画像を生成する画像処理ステップ（例えば、図９のステップＳ１２）と
を含む。
【００２１】
以下、図面を参照して本発明を適用した実施の形態について説明する。
【００２２】
図３は、入力画像より低解像度の投影画像を投影する投影装置を複数台利用して、入力画像と同等の解像度でかつ入力画像と同等の画質の投影像が投影面に映し出されるようにすることができる画像投影システム１の構成例を示している。
【００２３】
画像投影システム１は、画像処理装置１１、４個の投影装置１２Ａ，１２Ｂ，１２Ｃ，１２Ｄ、及び投影面１３から構成される。
【００２４】
画像処理装置１１には、各投影装置１２Ａ，１２Ｂ，１２Ｃ，１２Ｄ（以下、個々に区別する必要がない場合、単に、投影装置１２と称する）が投影する投影画像の２倍の解像度を有する入力画像Ｗが入力される。
【００２５】
画像処理装置１１は、後述するように、解像度が入力画像Ｗの１／２の４個の投影画像（以下、位相画像と称する）を生成し、対応する投影装置１２に供給する。
【００２６】
ここで、解像度とは、画像を表現する格子の細かさを単位長さ当りで示したものである。したがって、解像度が１／２になると、画素ピッチは２倍、画素の大きさ（面積）は４倍となる。
【００２７】
各投影装置１２は、透過型液晶プロジェクタ、反射型液晶プロジェクタ、DLP(Digital Light Processing)プロジェクタ等から構成され、画像処理装置１１から供給された位相画像を、４個の位相画像がそれぞれ縦横方向に位相画像の半画素分互いにずれて（すなわち、画素ピッチをdとした場合の画素の縦横の大きさの半分のずらし量d/2だけ互いにずれて）重なり合うように投影面１３に投影する（以下、このような投影を重畳投影とも称する）。
【００２８】
例えば、４個の位相画像を模式的に表した図４に示すように、投影装置１２Ａは、位相画像Ｑ１を所定の位置に投影し、投影装置１２Ｂは、位相画像Ｑ２を、位相画像Ｑ１に対して右方向にずらし量d/2だけずれて映し出されるように投影し、投影装置１２Ｃは、位相画像Ｑ３を、位相画像Ｑ２に対して下方向にずらし量d/2だけずれて映し出されるように投影し、投影装置１２Ｄは、位相画像Ｑ４を、位相画像Ｑ３に対して左方向にずらし量d/2だけずれて映し出されるように投影する。
【００２９】
図５は、画像処理装置１１の構成例を示している。
【００３０】
入力部２１は、画像処理装置１１に供給された入力画像Ｗを、画像処理部２２に供給する。
【００３１】
画像処理部２２は、各投影装置１２によりそれぞれ縦横方向に位相画像Ｑの半画素分ずれて重なり合うように投影されることで入力画像Ｗと同等の解像度でかつ入力画像Ｗと同等の画質の投影像が映し出されるようになる４個の位相画像Ｑ１乃至Ｑ４を生成し（その詳細は後述する）、分配部２３に供給する。
【００３２】
分配部２３は、画像処理部２２から供給された４個の位相画像Ｑ１乃至Ｑ４を、投影装置１２に分配する。図５の例では、分配部２３は、位相画像Ｑ１を投影装置１２Ａに供給し、位相画像Ｑ２を投影装置１２Ｂに供給し、位相画像Ｑ３を投影装置１２Ｃに供給し、位相画像Ｑ４を投影装置１２Ｄに供給する。
【００３３】
次に、それぞれ縦横方向に位相画像Ｑの半画素分ずれて重なり合うように投影されることで入力画像Ｗと同等の解像度でかつ入力画像Ｗと同等の画質の投影像が映し出されるようになる４個の位相画像Ｑ１乃至Ｑ４を生成する処理（以下、第１の位相画像生成処理と称する）の概略を、図６を参照して説明する。
【００３４】
解像度が入力画像Ｗの１／２の位相画像Ｑ１乃至Ｑ４（実際には、図中の位相画像Ｑの２５画素だけではなく、位相画像Ｑの全ての画素が対象とされる）が、それぞれ縦横方向に位相画像Ｑの半画素分互いにずれて重なり合うように投影面１３に投影されたとすると、すなわち位相画像Ｑに合わせて描かれている基準線が互いに合致するように投影面１３に投影されたとすると、投影面１３には、４個の位相画像Ｑのそれぞれの所定の画素Ｐが重なり合った領域Ｒ１乃至領域Ｒ１６（図中、投影像Ｚ'において影が付されている領域）が形成される。
【００３５】
位相画像Ｑの解像度が、入力画像Ｗの１／２であって、各位相画像Ｑが、それぞれ縦横方向に位相画像Ｑの半画素分互いにずれて重なりあうよう投影されるものとしていることから、この領域Ｒ１乃至領域Ｒ１６は、入力画像Ｗの各画素に対応する。したがって、この入力画像Ｗの各画素に対応する領域を画素（画素Ｓ１乃至Ｓ１６）とする、入力画像Ｗと同等の解像度を有する画像（以下、重畳画像Ｔと称する）が生成されることになる。
【００３６】
なお、図中、入力画像Ｗの画素Ｉと重畳画像Ｔの画素Ｓは、見易くするためにその大きさを拡大してあるが、本来の入力画像Ｗの画素Ｉと重畳画像Ｔの画素Ｓは、領域Ｒの大きさと同じである。
【００３７】
この重畳画像Ｔの画素Ｓ（すなわち対応する領域Ｒ）は、位相画像Ｑの画素Ｐが重なり合って形成されるので、重畳画像Ｔの画素Ｓの画素値vSは、位相画像Ｑの画素Ｐの画素値vPにより決定される。
【００３８】
例えば重畳画像Ｔの画素Ｓ６（すなわち対応する領域Ｒ６）は、位相画像Ｑ１の画素Ｐｍ、位相画像Ｑ２の画素Ｐｌ、位相画像Ｑ３の画素Ｐｇ、及び位相画像Ｑ４の画素Ｐｈが重なり合って形成されるので、画素Ｓ６の画素値vS6は、位相画像Ｑ１の画素Ｐｍの画素値vPm、位相画像Ｑ２の画素Ｐｌの画素値vPl、位相画像Ｑ３の画素Ｐｇの画素値vPg、及び位相画像Ｑ４の画素Ｐｈの画素値vPhを加算したものとなり、vS6=vPm+vPl+vPg+vPhと表される。
【００３９】
そこで、第１の位相画像生成処理では、この原理を利用して、初めに、入力部２１から供給される入力画像Ｗから、例えば入力画像Ｗの隣接する４個の画素の画素値が平均されて位相画像Ｑの所定の画素の画素値が算出され、これにより４個の位相画像Ｑが生成される。
【００４０】
例えば、入力画像Ｗの隣接する画素Ｉ６，Ｉ７，Ｉ１０，Ｉ１１の画素値が平均されて、位相画像Ｑ１の画素Ｐｍの画素値vPmが算出され、入力画像Ｗの隣接する画素Ｉ５，Ｉ６，Ｉ９，Ｉ１０の画素値が平均されて、位相画像Ｑ２の画素Ｐｌの画素値vPlが算出され、入力画像Ｗの隣接する画素Ｉ１，Ｉ２，Ｉ５，Ｉ６の画素値が平均されて、位相画像Ｑ３の画素Ｐｇの画素値vPgが算出され、入力画像Ｗの隣接する画素Ｉ２，Ｉ３，Ｉ６，Ｉ７の画素値が平均されて、位相画像Ｑ４の画素Ｐｈの画素値vPhが算出される。
【００４１】
そして、生成された４個の位相画像Ｑが投影面１３に投影された場合に生成される重畳画像Ｔの各画素に対して、重畳画像Ｔの画素の画素値とその画素に対応する入力画像Ｗの画素の画素値の差分が減少するように、４個の位相画像Ｑの画素の画素値が変更されて、最終的に投影される位相画像Ｑが生成される。
【００４２】
さらに具体的には、図７に示すように、生成された４個の位相画像Ｑが投影面１３に投影された場合に生成される重畳画像Ｔの画素の画素値とその画素に対応する入力画像Ｗの画素の画素値との差分に応じた所定の値だけ、生成された位相画像Ｑの画素値を変更する処理が、重畳画像Ｔの画素の画素値とその画素に対応する入力画像Ｗの画素の画素値との比較結果に応じて繰り返して実行される。
【００４３】
このようにして第１の位相画像生成処理が行われる。
【００４４】
図５に戻り、この第１の位相画像生成処理を実行する画像処理部２２の内部構成例について説明する。
【００４５】
画像処理部２２は、入力処理部３１、繰り返し処理部３２、出力処理部３３、及び画像メモリ３４から構成される。
【００４６】
なお画像メモリ３４には、入力画像Ｗ、４個の位相画像Ｑ、及び重畳画像Ｔの記憶領域（２次元配列）が確保される。
【００４７】
画像処理部２２の入力処理部３１には、入力部２１から入力画像Ｗが供給される。入力処理部３１は、入力部２１から供給される入力画像Ｗを、画像メモリ３４の記憶領域（２次元配列）にコピーする。入力処理部３１は、入力画像Ｗの各画素値と例えば使用可能な最大画素値との比をとること等により各画素値を例えば0.0〜1.0に収まるようにし、さらに投影面１３上での輝度値を評価するために、全ての画素値に対してγをかける。
【００４８】
ここで、画素値と（投影面１３上での）輝度値の関係は、図８に示すように非線形であり、ある画素の画素値をv、輝度値をIとすると、一般にI=vγが成り立つ。ここで、γは定数である。以下、この式に従って（投影面１３上での）輝度値を評価するために画素値を補正する処理を、「γをかける」と呼ぶ。
【００４９】
そして、入力処理部３１は、（画素値を補正した後の）入力画像Ｗから、例えば入力画像Ｗの隣接する４個の画素の画素値を平均して位相画像Ｑの画素値を算出し、これにより４個の位相画像Ｑ（以下、初期位相画像Ｑと称する）を生成し、繰り返し処理部３２に供給する。
【００５０】
繰り返し処理部３２は、入力処理部３１で生成された４個の初期位相画像Ｑについて、その４個の初期位相画像Ｑを投影面１３に投影した場合に生成される重畳画像Ｔの各画素の画素値（すなわち、４個の位相画像Ｑの所定の画素が重なり合って形成される領域の画素値）と、対応する入力画像Ｗの画素の画素値とを比較して、その比較結果が所定の条件を満たすか否か（すなわち、収束したか否か）を判定し、収束していないと判定した場合、重畳画像Ｔの画素の画素値と入力画像Ｗの対応する画素の画素値との差分に基づく所定の値を、位相画像Ｑの所定の画素にフィードバックする（すなわち位相画像Ｑの画素値をその値分変更する）。そして、繰り返し処理部３２は、画素値が変更された４個の位相画像Ｑについて、その４個の位相画像Ｑを投影面１３に投影した場合に生成される重畳画像Ｔの各画素の画素値と、対応する入力画像Ｗの画素の画素値とを比較して、その比較結果が所定の条件を満たすか否か（すなわち、収束したか否か）を判定し、収束していないと判定した場合、重畳画像Ｔの画素の画素値と入力画像Ｗの対応する画素の画素値との差分に基づく所定の値だけ、位相画像Ｑの画素値を変更する処理（以下、繰り返し処理と称する）を、収束したと判定されるまで繰り返し実行し、収束したと判定したときの４個の位相画像Ｑを、出力処理部３３に出力する。
【００５１】
出力処理部３３は、繰り返し処理部３２から供給される４個の位相画像Ｑの全ての画素値に対して、投影面１３上の輝度値を示す画素値を本来の画素値に戻すために、γ-1をかけ（γをかけることの逆補正にあたる）、例えば入力処理部３１で比をとるのに用いた最大画素値をかけ、さらに、例えば0.0〜1.0でクリップする。そして、出力処理部３３は、これらの処理の結果得られた４個の位相画像Ｑを、投影される最終的な４個の位相画像Ｑとして、分配部２３に供給する。なお、これらの処理を出力処理と称する。
【００５２】
次に、繰り返し処理部３２の構成例について説明する。繰り返し処理部３２は、重畳画像生成部４１、収束判定部４２、及びフィードバック処理部４３から構成されている。
【００５３】
重畳画像生成部４１は、入力処理部３１で生成された４個の初期位相画像Ｑ、または、フィードバック処理部４３により画素値が変更された４個の位相画像Ｑ（すなわち、フィードバックされた結果が得られた４個の位相画像Ｑ）について、４個の位相画像Ｑが投影面１３に投影された場合に生成される重畳画像Ｔの画素値を算出し、画像メモリ３４に供給して、確保された記憶領域に記憶させる。
【００５４】
収束判定部４２は、重畳画像生成部４１で算出された重畳画像Ｔの画素値と入力画像Ｗの画素値とを比較し、その比較結果に基づいて収束したかを判定する。この例では、それぞれ対応する重畳画像Ｔの画素と入力画像Ｗの画素の画素値の差分の絶対和が所定の閾値より小さいかが判定される。
【００５５】
フィードバック処理部４３は、収束判定部４２により収束していないと判定された場合、重畳画像Ｔの画素の画素値とその画素と対応する入力画像Ｗの画素の画素値との差分に基づく所定の値だけ、位相画像Ｑの所定の画素の画素値を変更する。そして、フィードバック処理部４３は、位相画像Ｑの変更された画素値を、画像メモリ３４に供給し、確保された記憶領域に記憶させる。
【００５６】
次に、図９のフローチャートを参照して、第１の位相画像生成処理を実行する場合の画像処理部２２の動作を説明する。
【００５７】
第１の位相画像生成処理は、入力部２１から入力画像Ｗが供給されると開始される。
【００５８】
ステップＳ１において、画像処理部２２の入力処理部３１は、各画像（入力画像Ｗ、各位相画像Ｑ、または重畳画像Ｔ）の処理対象とする色ごとの画像（プレーン）を示す変数ibandを0に初期化する。
【００５９】
入力画像Ｗ、４個の位相画像Ｑ、及び重畳画像Ｔのそれぞれは、色（例えば、R(Red)、G(Green)、B(Blue)）ごとの画像から構成され、変数iband＝0は、R色の画像（R画像）を示し、変数iband＝1は、G色の画像（G画像）を示し、変数iband＝2は、B色の画像（B画像）を示す。すなわちこの例の場合、変数ibandの上限を示す値（閾値nband）は、2となる。
【００６０】
ステップＳ２において、入力処理部３１は、入力画像Ｗ、４個の位相画像Ｑ、及び重畳画像Ｔのそれぞれの記憶領域を、画像メモリ３４に確保させる。
【００６１】
ステップＳ３において、入力処理部３１は、入力部２１から供給される入力画像Ｗを、画像メモリ３４の確保された２次元配列（記憶領域）にコピーする。入力処理部３１は、入力画像Ｗの各画素値と例えば使用可能な最大画素値との比をとること等により各画素値を例えば0.0〜1.0に収まるようにし、さらに投影面１３上での輝度値を評価するために、全ての画素値に対してγをかける。
【００６２】
ステップＳ４において、入力処理部３１は、入力画像Ｗから、４個の初期位相画像Ｑを求める。
【００６３】
例えば上述したように、入力画像Ｗの隣接する４個の画素の画素値を平均して４個の位相画像Ｑが生成される。
【００６４】
ステップＳ５において、繰り返し処理部３２は、繰り返し処理の繰り返し回数をカウントする変数nを１にセットする。
【００６５】
ステップＳ６において、繰り返し処理部３２の重畳画像生成部４１は、入力処理部３１で生成された４個の初期位相画像Ｑについて、４個の位相画像Ｑが投影面１３に投影された場合に形成される重畳画像Ｔを生成し、画像メモリ３４の確保された2次元配列（記憶領域）に記憶させる。
【００６６】
重畳画像Ｔの画素Ｓ（すなわち対応する領域Ｒ）は、位相画像Ｑの画素Ｐが重なり合って形成されるので、重畳画像Ｔの画素Ｓの画素値vSは、位相画像Ｑの画素Ｐの画素値vPにより決定される。
【００６７】
具体的には、上述したように、図６の例においては、例えば重畳画像Ｔの画素Ｓ６（すなわち対応する領域Ｒ６）は、位相画像Ｑ１の画素Ｐｍ、位相画像Ｑ２の画素Ｐｌ、位相画像Ｑ３の画素Ｐｇ、及び位相画像Ｑ４の画素Ｐｈが重なり合って形成されるので、画素Ｓ６の画素値vS6が、位相画像Ｑ１の画素Ｐｍの画素値vPm、位相画像Ｑ２の画素Ｐｌの画素値vPl、位相画像Ｑ３の画素Ｐｇの画素値vPg、及び位相画像Ｑ４の画素Ｐｈの画素値vPhが加算されて算出され、2次元配列（記憶領域）の重畳画像Ｔの画素Ｓ６に対応する位置に記憶される。
【００６８】
このようにして、重畳画像Ｔの各画素Ｓの画素値が算出されて、重畳画像Ｔが生成される。
【００６９】
ステップＳ７において、収束判定部４２は、変数nが、繰り返し処理の繰り返し回数の所定の閾値であるmaxcountより大きいかを判定する。ステップＳ７において、変数nが閾値maxcount以下であると判定された場合、ステップＳ８において、収束判定部４２は、それぞれ対応する重畳画像Ｔと入力画像Ｗの画素同士の差分絶対和を求めるための変数sumを0に初期化する。
【００７０】
ステップＳ９において、収束判定部４２は、重畳画像生成部４１で生成された重畳画像Ｔのうちまだ選択していない画素を選択し、その画素について重畳画像Ｔの画素Ｓの画素値と、画素Ｓに対応する入力画像Ｗの画素Ｉの画素値とを比較し、その差分dの絶対値を求め、変数sumに加える。
【００７１】
ステップＳ１０において、収束判定部４２は、重畳画像Ｔのうちまだ選択していない画素があるかを判定する。ステップＳ１０において、重畳画像Ｔのうちまだ選択していない画素があると判定された場合、処理はステップＳ９に戻り、新たな重畳画像Ｔの画素を選択し、その画素の画素値と入力画像Ｗの画素Ｉの画素値との差分の絶対値を、変数sumに加算する。
【００７２】
ステップＳ１０において、重畳画像Ｔのうちまだ選択していない画素がない、つまり、全ての画素が選択されたと判定された場合、ステップＳ１１において、収束判定部４２は、変数sum（全ての画素に対する重畳画像Ｔの画素値と入力画像Ｗの画素値の差分絶対和）が所定の閾値thより小さいかを判定する。ステップＳ１１において、変数sumが所定の閾値th以上であると判定された場合、収束していないものとされ、処理は、ステップＳ１２に進む。
【００７３】
ステップＳ１２において、フィードバック処理部４３は、重畳画像Ｔの画素の画素値とその画素に対応する入力画像Ｗの画素の画素値との差分に基づく所定の値を、位相画像Ｑの所定の画素の画素値に加えることによりその所定の画素にフィードバックするフィードバック処理を行う。
【００７４】
このフィードバック処理の詳細を、図１０のフローチャートを参照して説明する。
【００７５】
ステップＳ２１において、フィードバック処理部４３は、重畳画像Ｔの全画素に対するフィードバック処理のループを開始する。
【００７６】
ステップＳ２２において、フィードバック処理部４３は、収束していないと判定された重畳画像Ｔの所定の画素の画素値とその所定の画素に対応する入力画像Ｗの画素の画素値との差分を算出する。なおこの差分は、図９のステップＳ９の処理で算出されているので、それを記憶しておき、この処理で、記憶されているその差分を利用することもできる。
【００７７】
ステップＳ２３において、フィードバック処理部４３は、ステップＳ２２で算出した差分に基づく所定の値を、位相画像Ｑの所定の画素の画素値に加えることによりその所定の画素にフィードバックする。
【００７８】
図６の例では、重畳画像Ｔの画素Ｓ６の画素値vS6とその画素Ｓ６に対応する入力画像Ｗの画素Ｉ６の画素値vI6との差分d(=vS6−vI6)の１／４の値が、その重畳画像Ｔの画素Ｓ６（すなわち対応する領域Ｒ６）を形成している位相画像Ｑの４個の画素Ｐｇ、画素Ｐｈ、画素Ｐｌ、および画素Ｐｍに加えられることにより、それらの画素Ｐｇ、画素Ｐｈ、画素Ｐｌ、および画素Ｐｍにフィードバックされる。
【００７９】
ステップＳ２４において、フィードバック処理部４３は、重畳画像Ｔの全画素に対する上述した処理が行われたか否かを判定し、まだ処理が行われていない画素が存在すると判定された場合、処理をステップＳ２１に戻す。反対に、重畳画像Ｔの全画素に対して上述した処理が行われたと判定された場合、フィードバック処理のループを抜けて処理を、図９のステップＳ１３に進める。
【００８０】
ステップＳ１３において、繰り返し処理部３２は、変数nを１だけインクリメントする。
【００８１】
その後、処理はステップＳ６に進み、それ以降の同様の処理が行われる。すなわちステップＳ６において、フィードバック処理部４３によりフィードバックされた結果得られた４個の位相画像について、４個の位相画像Ｑが投影面１３に投影された場合に形成される重畳画像Ｔを生成し、画像メモリ３４の2次元配列（記憶領域）に記憶させる。
【００８２】
そしてステップＳ７乃至ステップＳ１１の処理が、ステップＳ７において、変数nが閾値maxcountより大きいと判定されるまで、またはステップＳ１１で、変数sumが所定の閾値thより小さいと判定されるまで、繰り返し実行される。
【００８３】
ステップＳ７において、変数nが閾値maxcountより大きいと判定された場合、またはステップＳ１１において、変数sumが所定の閾値thより小さいと判定された場合（すなわち、収束したとみなすことができる場合）、収束判定部４２は、そのときの４個の位相画像Ｑを、出力処理部３３に供給する。
【００８４】
ステップＳ１４において、出力処理部３３は、繰り返し処理部３２から供給される４個の位相画像Ｑの出力処理を行う。
【００８５】
この出力処理の詳細を、図１１のフローチャートを参照して説明する。
【００８６】
ステップＳ３１において、出力処理部３３は、全の位相画像Ｑに対する処理ループを開始する。
【００８７】
ステップＳ３２において、出力処理部３３は、所定の位相画像Ｑの全画素に対する処理ループを開始する。
【００８８】
ステップＳ３３において、出力処理部３３は、所定の位相画像Ｑの所定の画素に対して、γ-1をかけ、例えばステップＳ３で比をとるのに用いた最大画素値をかけ、さらに、各画素値を例えば0.0〜1.0でクリップして、これらの処理の結果得られる画素を、最終的な位相画像Ｑの画素とする。
【００８９】
ステップＳ３４において、出力処理部３３は、所定の位相画像Ｑの全画素に対する上述した処理が行われたか否かを判定し、まだ処理が行われていない画素が存在すると判定された場合、処理をステップＳ３２に戻す。反対に、所定の位相画像Ｑの全画素に対する上述した処理が行われたと判定された場合、処理ループを抜けて処理をステップＳ３５に進める。
【００９０】
ステップＳ３５において、出力処理部３３は、全位相画像Ｑに対する上述した処理が行われたか否かを判定し、まだ処理が行われていない位相画像Ｑが存在すると判定された場合、処理をステップＳ３１に戻す。反対に、全位相画像Ｑに対する上述した処理が行われたと判定された場合、この出力処理の結果得られた３個の位相画像Ｑを、分配部２３に出力し、処理ループを抜けて処理を、図９のステップＳ１５に進める。
【００９１】
ステップＳ１５において、入力処理部３１は、変数ibandを１だけインクリメントし、さらに、インクリメント後の変数ibandが閾値nbandより小さいかを判定する。ステップＳ１５において、インクリメント後の変数ibandが閾値nbandより小さいと判定された場合、処理は、ステップＳ２に進み、その変数ibandが示す色画像に対して、それ以降の処理が同様に行われる。
【００９２】
ステップＳ１５において、インクリメント後の変数ibandが閾値nband以上であると判定された場合、全ての色ごとの画像について、最終的な４個の位相画像Ｑが分配部２３に供給されたので、第１の位相画像生成処理は終了する。
【００９３】
図１２及び１３は、この第１の位相画像生成処理により生成された位相画像の投影の試行例を示している。
【００９４】
この試行では、画像処理装置１１において、上述した第１の位相画像生成処理により、図１２に示すような、位相画像Ｑ１乃至Ｑ４が生成され、投影装置１２Ａ乃至１２Ｄにより、位相画像Ｑ１乃至Ｑ４が、それらがそれぞれ縦横方向に位相画像Ｑの半画素分ずれて重なり合うように投影され、その結果図１３に示すような、入力画像Ｗとの差異が少ない高画質の投影像Ｚ'が投影面１３に映し出された。
【００９５】
以上のように、画像投影システム１では、生成された４個の位相画像Ｑが投影面１３に投影された場合に形成される重畳画像Ｔの各画素に対して、重畳画像の画素の画素値とその画素に対応する入力画像Ｗの画素の画素値の差分が減少するように生成された４個の位相画像Ｑの画素の画素値を変更して、最終的に投影される位相画像Ｑを生成するようにしたので、図１３の試行例のような、入力画像との差異が少ない高画質の投影像が投影面に映し出されるようにすることができる。
【００９６】
図１４は、画像処理装置１１の他の構成例を示している。この画像処理装置１１には、図５の画像処理装置１１のフィードバック処理部４３に代えて、フィードバック処理部５１が設けられている。他の部分は、図５における部分と同じ符号を付しており、その説明を適宜省略する。
【００９７】
フィードバック処理部５１は、収束判定部４２により収束していないと判定された場合、重畳画像Ｔの全画素に対して、重畳画像Ｔの画素の画素値とその画素に対応する入力画像Ｗの画素の画素値との差分に基づく所定の値を、位相画像Ｑの所定の画素に加えることによりその位相画像Ｑの画素にフィードバックする（すなわち位相画像Ｑの画素値をその値分変更する）。そして、フィードバック処理部５１は、フィードバックされた位相画像Ｑの画素の画素値がその位相画像Ｑに対応する投影装置１２の投影できる範囲から外れている場合は、その画素の画素値の不足分または超過分に応じた所定の値を、その画素の近傍画素に加えるとともに、その画素の画素値を所定の値にするフィードバック処理を行う。
【００９８】
図１５のフローチャートを参照して、フィードバック処理部５１によるフィードバック処理について説明する。なお、この処理は、この場合の画像処理装置１１による位相画像生成処理（以下、第２の位相画像生成処理と称する）における図９のステップＳ１２のフィードバック処理に対応する。第２の位相画像生成処理における他の処理は、図９のフローチャートにおいて対応する処理と同様の処理が行われるので、その説明は省略する。
【００９９】
ステップＳ５１において、フィードバック処理部５１は、図９のステップＳ１１の処理で収束していないと判定された重畳画像Ｔの全画素に対するフィードバック処理のループを開始する。
【０１００】
ステップＳ５２において、フィードバック処理部５１は、収束していないと判定された重畳画像Ｔの所定の画素の画素値とその所定の画素に対応する入力画像Ｗの画素の画素値との差分を算出する。なおこの差分は、ステップＳ９に相当する処理で算出されているので、それを記憶しておき、この処理で、記憶されているその差分を利用することもできる。
【０１０１】
ステップＳ５３において、フィードバック処理部５１は、ステップＳ５２で算出した差分に基づく所定の値を、図１０のステップＳ２３における場合と同様にして、位相画像Ｑの所定の画素の画素値に加えることによりその所定の画素にフィードバックする。
【０１０２】
ステップＳ５４において、フィードバック処理部５１は、フィードバックされた位相画像Ｑの全画素に対する振り分け処理ループを開始する。
【０１０３】
ステップＳ５５において、フィードバック処理部５１は、フィードバックされた位相画像Ｑの所定の画素値が投影できる輝度の範囲（例えば、0.0〜1.0）から外れているかを判定する。ステップＳ５５において、その位相画像Ｑの所定の画素の画素値が投影できる範囲から外れていると判定された場合、ステップＳ５６において、フィードバック処理部５１は、位相画像Ｑのその画素の近傍画素に、その画素の画素値の不足分（または超過分）に応じた所定の値を加えるとともに、その画素の画素値を所定の値（例えば、0.0（使用可能な最小画素値））とする。
【０１０４】
図６の例では、例えば重畳画像Ｔの画素Ｓ６（すなわち対応する領域Ｒ６）の画素値と入力画像Ｗの画素Ｉ６の画素値との差分に基づいてフィードバックされた位相画像Ｑの画素Ｐのうちの例えば位相画像Ｑ３の画素Ｐｇの画素値vPgが−0.4の場合、この画素値vPgが投影でき範囲0.0〜1.0から外れているので、その画素Ｐｇの近傍画素としての、その画素Ｐｇと重なる画素Ｐａ、画素Ｐｂ、画素Ｐｃ、画素Ｐｆ、画素Ｐｈ、画素Ｐｋ、画像Ｐｌ、画素Ｐｍのそれぞれに、画素Ｐｇの画素値の不足分−0.4に応じた例えば−0.05(=−0.4/8)が加えられるとともに、その画素Ｐｇの画素値が0.0とされる。
【０１０５】
ステップＳ５５において、フィードバックされた位相画像Ｑの所定の画素の画素値が投影できる範囲から外れていないと判定された場合、ステップＳ５６はスキップされる。
【０１０６】
ステップＳ５７において、フィードバック処理部５１は、フィードバックされた位相画像Ｑの全画素に対して、振り分け処理が行われたか否かを判定し、まだ処理が行われていない画素が存在すると判定された場合、処理をステップＳ５４に戻す。反対に、フィードバックされた位相画像Ｑの全画素に対して、振り分け処理が行われたと判定された場合、振り分け処理ループを抜けて処理をステップＳ５８に進める。
【０１０７】
ステップＳ５８において、フィードバック処理部５１は、フィードバックされた位相画像Ｑの全画素に対するクリッピング処理のループを開始する。
【０１０８】
ステップＳ５９において、フィードバック処理部５１は、フィードバックされた位相画像Ｑの所定の画素の画素値を投影できる範囲にクリッピングする。
【０１０９】
図６の例では、重畳画像Ｔの画素Ｓ６に対応する領域Ｒ６で重なり合う位相画像Ｑの例えば画素Ｐｇ、画素Ｐｈ、画素Ｐｌ、画素Ｐｌのそれぞれの画素値が投影できる範囲0.0乃至1.0にクリッピングされる。
【０１１０】
ステップＳ６０において、フィードバック処理部５１は、フィードバックされた位相画像Ｑの全画素に対して、クリッピング処理が行われたか否かを判定し、まだ処理が行われていない画素が存在すると判定された場合、処理をステップＳ５８に戻す。反対に、振り分け処理が行われた位相画像Ｑの全画素に対して、クリッピング処理が行われたと判定された場合、クリッピング処理のループを抜けて処理をステップＳ６１に進める。
【０１１１】
次に、ステップＳ６１において、フィードバック処理部５１は、重畳画像Ｔの全画素に対して上述した処理が行われたか否かを判定し、まだ処理が行われていない画素が存在すると判定された場合、処理をステップＳ５１に戻す。反対に、重畳画像Ｔの全画素に対して上述した処理が行われたと判定された場合、フィードバック処理のループを抜けて処理を終了させる。
【０１１２】
このように、位相画像Ｑの画素値が投影できる範囲に収まるような拘束条件を追加することで、「各プロジェクタが投影できる画素値の範囲」という非線形な条件下で、投影した結果が最適になる位相画像を求めることができる。
【０１１３】
なお、振り分け処理は省略してもよいが、この処理を追加することで収束性が向上する。
【０１１４】
また、クリッピング処理を行っても、重畳画像Ｔの処理される画素の順番次第では必ずしもフィードバック処理後の位相画像Ｑの画素値が範囲0.0〜1.0に収まっているとは限らない。
【０１１５】
図１６及び１７は、この第２の位相画像生成処理により生成された位相画像の投影の試行例である。
【０１１６】
この試行では、画像処理装置１１において、上述した第２の位相画像生成処理により、図１６に示すような、位相画像Ｑ１乃至Ｑ４が生成され、投影装置１２Ａ乃至１２Ｄにより、位相画像Ｑ１乃至Ｑ４が、それらがそれぞれ縦横方向に位相画像Ｑの半画素分ずれて重なり合うように投影され、図１７の試行例のような、入力画像Ｗとの差異が少ない高画質の投影像Ｚ'が投影面１３に映し出された。
【０１１７】
第２の位相画像生成処理の場合と第１の位相画像生成処理の場合について、本来投影したい画像である入力画像Ｗと最終的に出力される４個の位相画像Ｑに対する重畳画像Ｔとの差異の少なさを示すSNR（signal to noise ratio）を求めると、図１８に示すように、フィードバック処理の繰り返し回数（n）に関わらず、第２の位相画像生成処理の場合の方がSNRが高くなった。このように、位相画像Ｑの画素値を投影できる範囲に収めるようにする拘束条件を設ける第２の位相画像生成処理を行うことにより、本来投影したい画像である入力画像Ｗと最終的に出力される位相画像Ｑに対する重畳画像Ｔとの差異を少なくすることができ、その結果、入力画像Ｗとの差異がより少ない高画質な出力を提供することが可能になる。
【０１１８】
図１９は、画像処理装置１１の他の構成例を示している。この画像処理装置１１には、図１４の画像処理装置１１のフィードバック処理部５１及び出力処理部３３に代えて、フィードバック処理部７１及び出力処理部８１が設けられ、他の部分は、図５における部分と同じ符号を付しており、その説明を適宜省略する。
【０１１９】
例えば投影装置１２毎のばらつきや仕様等により、対応する各位相画像Ｑの投影できる画素値の範囲（例えば、輝度の範囲）が位相画像Ｑ毎に異なる場合がある。
【０１２０】
例えば、位相画像Ｑ１の画素値の投影できる範囲が0.0〜1.0と、位相画像Ｑ２の画素値の投影できる範囲が0.0〜0.25(=1/4)と、位相画像Ｑ３の画素値の投影できる範囲を0.0〜0.5(=1/2)と、位相画像Ｑ４の画素値の投影できる範囲が0.0〜0.125(=1/8)と、それぞれ異なる場合がある。
【０１２１】
そこでフィードバック処理部７１は、図１４のフィードバック処理部５１と同様に、収束判定部４２により収束していないと判定された場合、重畳画像Ｔの全画素に対して、重畳画像Ｔの画素の画素値と入力画像Ｗの対応する画素の画素値との差分に基づく所定の値を、位相画像Ｑの所定の画素に加えることによりその位相画像Ｑの画素にフィードバックする（すなわち位相画像Ｑの画素値をその値分変更する）。そして、フィードバック処理部７１は、フィードバックされた位相画像Ｑの画素の画素値が位相画像Ｑ毎の投影できる範囲から外れている場合は、その画素の画素値の不足分または超過分に応じた所定の値を、その画素の近傍画素に加えるとともに、その画素の画素値を所定の値にするフィードバック処理を行う。
【０１２２】
なお図１４のフィードバック処理部５１では、位相画像Ｑの投影できる範囲は一律に同じであるとし、その範囲から外れているか否かが判定された。
【０１２３】
出力処理部８１は、繰り返し処理部３２から供給される４個の位相画像Ｑの全ての画素値に対して、位相画像Ｑ毎の投影できる画素値の範囲の条件を逆補正するためのゲインをかけ、γ-1をかけ、例えば入力処理部３１で比をとるのに用いた最大画素値をかけ、さらに、例えば0.0〜1.0でクリップする。そして、出力処理部８１は、これらの処理の結果得られた４個の位相画像Ｑを、最終的な４個の位相画像Ｑとして、分配部２３に供給する。
【０１２４】
図２０のフローチャートを参照して、フィードバック処理部７１によるフィードバック処理を、そして図２１のフローチャートを参照して出力制御部８１による出力処理を説明するが、これらの処理は、この場合の画像処理装置１１による位相画像生成処理（以下、第３の位相画像生成処理と称する）における図９のステップＳ１２のフィードバック処理とステップＳ１４の出力処理に対応する。第３の位相画像生成処理における他の処理は、図９のフローチャートにおいて対応する処理と同様の処理が行われるので、その説明は省略する。
【０１２５】
初めに、フィードバック処理について説明する。
【０１２６】
ステップＳ７１乃至Ｓ７４、ステップＳ７６乃至Ｓ７８、並びにステップＳ８０及びＳ８１においては、図１５のステップＳ５１乃至Ｓ５４、ステップＳ５６乃至５８、並びにステップＳ６０及びＳ６１における場合と同様の処理が行われるので、その説明は省略する。
【０１２７】
ステップＳ７５において、フィードバック処理部７１は、フィードバックされた位相画像Ｑの所定の画素値が位相画像Ｑ毎の投影できる範囲（例えば、位相画像Ｑ１の投影できる範囲は0.0〜1.0、位相画像Ｑ２の投影できる範囲は0.0〜0.25(=1/4)、位相画像Ｑ３の投影できる範囲は0.0〜0.5(=1/2)、位相画像Ｑ４の投影できる範囲は0.0〜0.125(=1/8)）から外れているかを判定する。ステップＳ７５において、その位相画像Ｑの所定の画素の画素値が位相画像Ｑ毎の投影できる範囲から外れていると判定された場合、ステップＳ７６において、フィードバック処理部７１は、位相画像Ｑのその画素の近傍画素に、その画素の画素値の不足分（超過分）に応じた所定の値を加えるとともに、その画素の画素値を所定の値（例えば、0.0（使用可能な最小画素値））とする。
【０１２８】
図６の例においては、重畳画像Ｔの画素Ｓ６（すなわち対応する領域Ｒ６）の画素値と入力画像Ｗの画素Ｉ６の画素値との差分に基づいてフィードバックされた位相画像Ｑの画素Ｐのうちの例えば位相画像Ｑ３の画素Ｐｇの画素値vPgが−0.4の場合、この画素値vPgが位相画像Ｑ３の投影できる範囲0.0〜0.5から外れているので、その画素Ｐｇの近傍画素としての、その画素Ｐｇと重なる画素Ｐａ、画素Ｐｂ、画素Ｐｃ、画素Ｐｆ、画素Ｐｈ、画素Ｐｋ、画像Ｐｌ、画素Ｐｍのそれぞれに、画素Ｐｇの画素値の不足分−0.4に応じた例えば−0.05(=−0.4/8)が加えられるとともに、その画素Ｐｇの画素値が0.0とされる。
【０１２９】
ステップＳ７５において、フィードバックされた位相画像Ｑの所定の画素の画素値が位相画像Ｑ毎の投影できる範囲から外れていないと判定された場合、ステップＳ７６はスキップされる。
【０１３０】
ステップＳ７７において、フィードバック処理部７１は、フィードバックされた位相画像Ｑの全画素に対して、振り分け処理が行われたか否かを判定し、まだ処理が行われていない画素が存在すると判定された場合、処理をステップＳ７４に戻す。反対に、フィードバックされた位相画像Ｑの全画素に対して、振り分け処理が行われたと判定された場合、振り分け処理ループを抜けて処理をステップＳ７８に進める。
【０１３１】
ステップＳ７８において、フィードバック処理部７１は、振り分け処理が行われた全画素に対するクリッピング処理のループを開始する。
【０１３２】
ステップＳ７９において、フィードバック処理部７１は、振り分け処理が行われた位相画像Ｑの所定の画素の画素値を投影できる範囲にクリッピングする。
【０１３３】
図６の例では、重畳画像Ｔの画素Ｓ６に対応する領域Ｒ６で重なり合う位相画像Ｑの例えば画素Ｐｇ、画素Ｐｈ、画素Ｐｌ、画素Ｐｌのそれぞれの画素値が位相画像Ｑ毎の投影できる範囲0.0〜0.5、0.0〜0.125、0.0〜0.25、0.0〜1.0にクリッピングされる。
【０１３４】
ステップＳ７９において、フィードバック処理部７１は、振り分け処理が行われた位相画像Ｑの全画素に対して、クリッピング処理が行われたか否かを判定し、まだ処理が行われていない画素が存在すると判定された場合、処理をステップＳ７８に戻す。反対に、振り分け処理が行われた位相画像Ｑの全画素に対して、クリッピング処理が行われたと判定された場合、クリッピング処理のループを抜けて処理をステップＳ８０に進める。
【０１３５】
次に、ステップＳ８０において、フィードバック処理部７１は、重畳画像Ｔの全画素に対する上述した処理が行われたか否かを判定し、まだ処理が行われていない画素が存在すると判定された場合、処理をステップＳ７１に戻す。反対に、振り分け処理が行われた位相画像Ｑの全画素に対する上述した処理が行われたと判定された場合、フィードバック処理のループを抜けて処理を終了させる。
【０１３６】
次に、図２１のフローチャートを参照して、出力処理部８１による出力処理を説明する。
【０１３７】
ステップＳ９１及びＳ９２、並びにステップＳ９４乃至Ｓ９６においては、図１１のステップＳ３１及びＳ３２、並びにステップＳ３３乃至Ｓ３５における場合と同様の処理が行われるので、その説明は省略する。
【０１３８】
ステップＳ９３において、出力処理部８１は、繰り返し処理部３２から供給される、図２２に示すような、４個の位相画像Ｑの各画素値に対して、位相画像Ｑ毎の投影できる画素値の範囲の条件を逆補正するためのゲインをかける。
【０１３９】
すなわち、例えば、位相画像Ｑ１乃至Ｑ４のそれぞれの投影できる画素値の範囲が、例えば、0.0〜1.0、0.0〜0.25(=1/4)、0.0〜0.5(=1/2)、0.0〜0.125(=1/8)とされている場合、位相画像Ｑ２乃至Ｑ４のそれぞれの投影できる画素値の範囲に応じたゲイン、例えば4(1/4の逆数)、2(1/2の逆数)、8(1/8の逆数)がかけられる（なお、この場合は位相画像Ｑ１の投影できる画素値の範囲が基準となっている（この位相画像Ｑ１の投影できる最大画素値は1.0）ので、ゲインはかけない）。
【０１４０】
ステップＳ９４において、出力処理部８１は、所定の位相画像Ｑの所定の画素に対して、γ-1をかけ、例えば入力処理部３１で比をとるのに用いた最大画素値をかけ、さらに、各画素値を例えば0.0〜1.0でクリップして、これらの処理の結果得られる４個の位相画像Ｑを、最終的な４個の位相画像Ｑとして、分配部２３に供給（出力）する。
【０１４１】
ステップＳ９５において、出力処理部８１は、所定の位相画像Ｑの全画素に対する上述した処理が行われたか否かを判定し、まだ処理が行われていない画素が存在すると判定された場合、処理をステップＳ９２に戻す。反対に、所定の位相画像Ｑの全画素に対する上述した処理が行われたと判定された場合、処理ループを抜けて処理をステップＳ９６に進める。
【０１４２】
ステップＳ９６において、出力処理部８１は、全位相画像Ｑに対する上述した処理が行われたか否かを判定し、まだ処理が行われていない位相画像Ｑが存在すると判定された場合、処理をステップＳ９１に戻す。反対に、全位相画像Ｑに対する上述した処理が行われたと判定された場合、処理ループを抜けて出力処理を終了させる。
【０１４３】
なお、画像投影システム１に対しては、４個の投影装置１２のそれぞれの最大光量が、当初に定められた各位相画像Ｑ毎の使用可能な最大画素値に対応するものになるように各投影装置１２のランプ出力等の調整を行う。
【０１４４】
このようにすることで、同じ階調の投影装置を複数台使う場合、これらの投影装置が同じ明るさ（同じ最大画素値）の場合には台数倍の階調表現力を持つところが、これらの投影装置が異なる明るさの場合にはそれ以上の階調を表現することができる。
【０１４５】
例えば、簡便のために、同じ４階調の投影装置#1と投影装置#2を用いることとすると、これらの投影装置が同じ明るさの場合には、投影装置#1と投影装置#2による重畳投影を行うときの投影装置#1と投影装置#2は、図２３左に示すように、４階調の台数倍（２倍）の８階調の階調表現力を持つが、例えば投影装置#2の明るさが投影装置#1の半分の明るさである場合には、投影装置#1と投影装置#2による重畳投影を行うときの投影装置#1と投影装置#2は、図２３右に示すように、１２階調相当の階調表現力を持ち、台数倍以上の階調を表現できることになる。
【０１４６】
このようにして、重畳投影を行うことで、空間解像度と階調表現力の両方を同時に向上することが可能になる。
【０１４７】
図１９の例では、輝度の範囲が投影装置１２毎に異なる場合を例として説明したが、投影できる色成分に投影装置毎に偏りがある場合もある。そこでここでは対応する位相画像Ｑの色ごとの画像の画素値の範囲が異なる場合の例について説明する。
【０１４８】
この例では、異なる色再現性（色成分の偏り）を持つ２種類以上の投影装置が用いられている。例えば、図２４に示すように、位相画像Ｑ１及びＱ３を投影する投影装置１２Ａ及び１２Ｃは、赤色の色再現性に優れ、位相画像Ｑ２及びＱ４を投影する投影装置１２Ｂ及び１２Ｄは、緑色の色再現性に優れている。そこで、例えば、画素値の範囲（拘束条件）として、図２５に示すように、位相画像Ｑ１及びＱ３のR画像には0.0〜1.0を、G画像には0.0〜0.8を、B画像には0.0〜1.0を、それぞれ用い、位相画像Ｑ２及び位相画像Ｑ４のR画像には0.0〜0.8を、G画像には0.0〜1.0を、B画像には0.0〜1.0を、それぞれ設定し、その後の具体的な処理は、図１９のフィードバック処理部７１によるフィードバック処理と全く同じである。
【０１４９】
このようにして、異なる特性（例えば、色再現性）を持つ複数台の投影装置による重畳投影によって、それらの特性を相補的に生かす（例えば、色再現性を広げる）と同時に、空間解像度を向上することが可能になる。
【０１５０】
以上において図３に示した画像投影システム１では、複数の投影装置１２を用いて、複数の位相画像Ｑを、同時に、投影面１３に映し出されるように投影するようにしたが、視覚の時間積分効果を利用して、１台の投影装置１２が、複数の位相画像Ｑを、その効果が得られる時間間隔で順に投影するようにしても、複数の投影装置１２を用いた場合と同様の効果を得ることができる。
【０１５１】
図２６は、１台の投影装置を利用する場合の画像投影システム１００の構成例を示している。
【０１５２】
すなわち図３の４個の投影装置１２に代えて、１個の投影装置１０１が設けられている。
【０１５３】
画像処理装置１１には、投影装置１０１が投影する投影画像の２倍の解像度を有する入力画像Ｗが入力される。
【０１５４】
画像処理装置１１は、図３における場合と同様に、例えば４個の位相画像を生成し、投影装置１０１に供給する。
【０１５５】
投影装置１０１は、画像処理装置１１から供給された４個の位相画像を、図４に示したように、４個の位相画像Ｑがそれぞれ縦横方向に位相画像の半画素分互いにずれて（すなわち、画素ピッチをdとした場合の画素の縦横の大きさの半分のずらし量d/2だけずれて）重なり合うとともに、４個の位相画像Ｑが視覚の時間積分効果が得られる時間間隔で投影されるように、投影面１３に順次投影する。
【０１５６】
すなわち、投影装置１０１は、入力画像Ｗから生成された４個の位相画像Ｑについて、位相画像Ｑ１を投影し、その後、位相画像Ｑ２を、位相画像Ｑ１に対して右方向にずらし量d/2だけずれて映し出されるように投影し、その後、位相画像Ｑ３を、位相画像Ｑ２に対して上方向にずらし量d/2だけずれて映し出されるように投影し、その後、位相画像Ｑ４を、位相画像Ｑ３に対して左方向にずらし量d/2だけずれて映し出されるように投影する処理を、視覚の時間積分効果が得られる時間間隔で行う。
【０１５７】
このように画像処理装置１１から供給された４個の位相画像Ｑを、視覚の時間積分効果が得られる時間間隔で投影することにより、図３に示した４個の投影装置１２を利用した場合と同様に、入力画像Ｗとの差異が少ない高画質の投影像Ｚ'が投影面１３に映し出されるようにすることができる。
【０１５８】
図２７は、投影装置１０１の構成例を示すブロック図である。
【０１５９】
図２７において、投影装置１０１は、同期制御部１１１、光路駆動部１１２、及び投影部１１３から構成される。
【０１６０】
同期制御部１１１は、同期用のクロック信号を生成し、光路駆動部１１２及び投影部１１３に供給する。
【０１６１】
光路駆動部１１２は、同期制御部１１１から供給されるクロック信号に同期して、投影部１１３の投影光の光路を、位相画像がそれぞれ縦横方向に位相画像の半画素分ずれて映し出されるように駆動する。
【０１６２】
光路駆動部１１２は、例えば、投影部１１３の投影素子自体を駆動するもので構成されるが、その他、投影部１１３の投影光の光路上に設けた２軸のガルバノミラーを駆動するもので構成されるようにしてもよい。
【０１６３】
投影部１１３には、画像処理装置１１から供給される位相画像Ｑが供給される。
【０１６４】
投影部１１３は、例えば、入力画像Ｗのフレームレートに位相画像Ｑの枚数を乗じたフレームレートで位相画像Ｑを投影する投影素子、例えば、応答周波数が200Hz程度と比較的高速なLCOS(Liquid crystal on silicon)を採用した反射型液晶プロジェクタ等で構成され、同期制御部１１１から供給されるクロック信号に同期して、画像処理部２２から供給される位相画像Ｑを、位相画像Ｑが互いに所定のずらし量だけずれて重なり合っているように視覚される時間間隔で、順次投影する。
【０１６５】
以上のように、画像投影システム１００は、入力画像から、入力画像より低解像度の複数の位相画像を生成し、視覚の時間積分効果により、複数の位相画像が互いに所定のずらし量だけずれて重なり合っているように認識される時間間隔で、複数の位相画像を順次投影面に投影する。そして、複数の位相画像の生成において、画像投影システム１と同様に、生成された４個の位相画像Ｑが投影面１３に投影された場合に形成される重畳画像Ｔの各画素に対して、重畳画像の画素の画素値とその画素に対応する入力画像Ｗの画素の画素値の差分が減少するように生成された４個の位相画像Ｑの画素の画素値を変更して、最終的に投影される位相画像Ｑを生成するようにしたので、入力画像との差異が少ない高画質の投影像が投影面に映し出されるようにすることができる。
【０１６６】
上述した画像処理部２２は、重畳画像Ｔの画素Ｓの画素値と入力画像Ｗの対応する画素Ｉの画素値との差分に基づく所定の値を、位相画像Ｑの所定の画素Ｐの画素値に加えることによりその所定の画素Ｐにフィードバックするようにしたが、その他、これらの所定の画素Ｐに加えられる所定の値に例えば1.0より小さい（大きい）ゲインをかけるようにしてもよい。一般的には、このゲインを1.0よりやや小さい程度とすることで、収束性が良好となる。
【０１６７】
本実施の形態では、位相画像は、入力画像の1/2の解像度としたが、その他、1/2以外の1/n（nは整数）の解像度であってもよい。その場合、投影像を、実効的にn倍の解像度にすることが可能となる。
【０１６８】
また、画像投影システム１または画像投影システム１００では、入力画像の解像度よりも低解像度の投影画像（位相画像）を投影する投影装置を用いるので、システムの低コスト化が可能となる。
【０１６９】
画像処理装置１１により生成された位相画像Ｑは、記録媒体に記録して投影装置１２等の投影装置に提供されるようにしてもよい。
【０１７０】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１７１】
図２８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１７２】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１７３】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記憶部２０８、ネットワークインタフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。
【０１７４】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１７５】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD−ROM(Compact Disc−Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、ディジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１７６】
そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０１７７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１７８】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１７９】
【図１】ウォビュレーションを説明する図である。
【図２】ディスプレイシステムによる表示例を示す図である。
【図３】画像投影システムの構成例を示す図である。
【図４】４個の位相画像を模式的に表す図である。
【図５】画像処理装置１１の構成例を示す図である。
【図６】第１の位相画像生成処理の概略を説明する図である。
【図７】第１の位相画像生成処理の具体例を説明する図である。
【図８】画素値と輝度値の関係を示す図である。
【図９】第１の位相画像生成処理を実行する場合の画像処理部２２の動作を説明するフローチャートである。
【図１０】フィードバック処理部４３によるフィードバック処理を説明するフローチャートである。
【図１１】出力処理部３３による出力処理を説明するフローチャートである。
【図１２】生成された位相画像Ｑ１乃至Ｑ４を示す図である。
【図１３】投影像Ｚを示す図である。
【図１４】画像処理装置１１の他の構成例を示す図である。
【図１５】フィードバック処理部５１によるフィードバック処理を説明するフローチャートである。
【図１６】生成された位相画像Ｑ１乃至Ｑ４を示す図である。
【図１７】投影像Ｚを示す図である。
【図１８】SNRと繰り返し回数の関係を示す図である。
【図１９】画像処理装置１１の他の構成例を示す図である。
【図２０】フィードバック処理部７１によるフィードバック処理を説明するフローチャートである。
【図２１】出力処理部８１による出力処理を説明するフローチャートである。
【図２２】ゲインをかける前の位相画像Ｑ１乃至Ｑ４を示す図である。
【図２３】２つの投影装置による重畳投影の階調表現力を説明する図である。
【図２４】投影装置Ｑ１乃至Ｑ４の色再現性を示す図である。
【図２５】各位相画像Ｑの色ごとの画像に対する画素値の範囲を示す図である。
【図２６】画像投影システム１００の構成例を示すブロック図である。
【図２７】投影装置１０１の構成例を示すブロック図である。
【図２８】本発明を適用したコンピュータのハードウェアの構成例を示すブロック図である。
【符号の説明】
【０１８０】
１  画像投影システム，  １１  画像処理装置，  １２，１２Ａ乃至１２Ｄ  投影装置，  １３  投影面，  ２１  入力部，  ２２  画像処理部，  ２３  分配部，  ３１  入力処理部，  ３２  繰り返し処理部，  ３３  出力処理部，  ３４  画像メモリ，  ４１  重畳画像生成部，  ４２  収束判定部，  ４３  フィードバック処理部，  ５１  フィードバック処理部，  ７１  フィードバック処理部，  ８１  出力処理部，  １００  画像投影システム，  １０１  投影装置，  １１１  同期制御部，  １１２  光路駆動部，  １１３  投影部，  ２０１  ＣＰＵ，  ２０２  ROM，  ２０３  RAM，  ２０４  バス，  ２０５  入出力インタフェース，  ２０６  入力部，  ２０７  出力部，  ２０８  記憶部，  ２０９  通信部，  ２１０  ドライブ，  ２１１  リムーバブルメディア
【図１】
2009008974.tif 000003
【図２】
2009008974.tif 000004
【図３】
2009008974.tif 000005
【図４】
2009008974.tif 000006
【図５】
2009008974.tif 000007
【図６】
2009008974.tif 000008
【図７】
2009008974.tif 000009
【図８】
2009008974.tif 000010
【図９】
2009008974.tif 000011
【図１０】
2009008974.tif 000012
【図１１】
2009008974.tif 000013
【図１２】
2009008974.tif 000014
【図１３】
2009008974.tif 000015
【図１４】
2009008974.tif 000016
【図１５】
2009008974.tif 000017
【図１６】
2009008974.tif 000018
【図１７】
2009008974.tif 000019
【図１８】
2009008974.tif 000020
【図１９】
2009008974.tif 000021
【図２０】
2009008974.tif 000022
【図２１】
2009008974.tif 000023
【図２２】
2009008974.tif 000024
【図２３】
2009008974.tif 000025
【図２４】
2009008974.tif 000026
【図２５】
2009008974.tif 000027
【図２６】
2009008974.tif 000028
【図２７】
2009008974.tif 000029
【図２８】
2009008974.tif 000030