(57)【特許請求の範囲】
【請求項１】
複数のピクセルを有する入力画像から脱焦画像を生成する方法であって、前記入力画像がサイズを有し、且つ各ピクセルに対する深さデータ及び画像値データを含む方法において、
各画像要素セットが異なる分解度を有し、且つ少なくとも１つの画像要素を備える、複数の画像要素セットを決定する工程と、
各ピクセルに対し、そのピクセルに対する少なくとも１つの前記深さデータに基づいて、サイズを有するぼかし領域を決定する工程と、
各ピクセルに対し、そのピクセルに対する前記画像値データ及び前記ぼかし領域のサイズに基づいて、少なくとも１つの画像値寄与度を決定する工程と、
少なくとも１つの画像要素セットの少なくとも１つの画像要素に対し、その画像要素に対する少なくとも１つの画像値寄与度を与える寄与ピクセルを決定する工程と、
少なくとも１つの画像要素セットの少なくとも１つの画像要素の前記画像値データを、その画像要素に対する少なくとも１つの寄与ピクセルの少なくとも１つの画像値寄与度に基づいて決定する工程と、
前記複数の画像要素セットの対応する画像要素の画像値データを組み合わせて前記脱焦画像を生成する工程と
を備えることを特徴とする方法。
【請求項２】
各ピクセルに対し、そのピクセルに対する少なくとも１つの前記深さデータに基づいて、前記ぼかし領域を決定する工程は、更に光学システムの特徴に対応したデータに基づいて、そのピクセルに対する前記ぼかし領域を決定する工程を備える請求項１の方法。
【請求項３】
前記光学システムの特徴は、開口、焦点距離、倍率、および前記深さデータに対応した参照フレームに対する相対位置の少なくとも１つを備える請求項２の方法。
【請求項４】
前記入力画像は、少なくとも部分的に、前記入力画像に現れる少なくとも１つのオブジェクトを規定する電子データに由来する請求項１の方法。
【請求項５】
複数の画像要素セットを決定する工程は、前記入力画像の前記サイズに少なくとも部分的に基づいて、多数の画像要素セットを決定する工程を備える請求項１の方法。
【請求項６】
複数の画像要素セットを決定する工程は、少なくとも１つの第１の画像要素セットの分解度を前記ピクセルの分解度より粗くするように決定する工程を備える請求項１の方法。
【請求項７】
前記画像値データは、強度データおよび色データの少なくとも１つを備える請求項１の方法。
【請求項８】
少なくとも１つの画像要素のそれぞれは、サイズおよび位置を更に有し、
ぼかし領域のそれぞれは、位置を更に有し、そして
少なくとも１つの画像要素セットの少なくとも１つの画像要素に対し、その画像要素に少なくとも１つの寄与度を与える前記少なくとも１つの前記寄与ピクセルを決定する工程は、少なくとも前記画像要素のサイズと、各ピクセルのぼかし領域のサイズと、およびその画像要素と各ピクセルの相対位置とに基づいて、前記少なくとも１つの前記寄与ピクセルを決定する工程を備える請求項１の方法。
【請求項９】
少なくとも１つの画像要素のそれぞれは、サイズおよび位置を更に有し、
前記脱焦画像は、出力ピクセルのセットを有し、そして
前記複数の画像要素セットの対応する画像要素の画像値データを組み合わせて前記脱焦画像を生成する工程は、各出力ピクセルに対する前記画像値データを、その出力ピクセルの位置に重なる各画像要素からの前記画像値データを組み合わせることによって、決定する工程を備える請求項１の方法。
【請求項１０】
サイズおよびピクセルを有し、且つ各ピクセルに対する深さデータおよび画像値データを含む入力画像を記憶した記録媒体に結合可能なコンピュータ装置のために、該コンピュータ装置が実行可能な制御プログラムを記憶する記録媒体であって、前記制御プログラムは、
各画像要素セットが異なる分解度を有し、且つ少なくとも１つの画像要素を備える、複数の画像要素セットを決定する命令と、
各ピクセルに対し、そのピクセルに対する少なくとも１つの前記深さデータに基づいて、サイズを有するぼかし領域を決定する命令と、
各ピクセルに対し、そのピクセルに対する前記画像値データ及び前記ぼかし領域のサイズに基づいて、少なくとも１つの画像値寄与度を決定する命令と、
少なくとも１つの画像要素セットの少なくとも１つの画像要素に対し、その画像要素に対する少なくとも１つの画像値寄与度を与える寄与ピクセルを決定する命令と、
少なくとも１つの画像要素セットの少なくとも１つの画像要素の前記画像値データを、その画像要素に対する少なくとも１つの寄与ピクセルの少なくとも１つの画像値寄与度に基づいて決定する命令と、
前記複数の画像要素セットの対応する画像要素の画像値データを組み合わせて前記脱焦画像を生成する命令と
を含むことを特徴とする制御プログラムを記録した記録媒体。
【請求項１１】
少なくとも１つの画像装置のハードウエア構成要素の特徴に基づいて脱焦画像をシミューレートする方法であって、
少なくとも１つのオブジェクトを特徴付ける第１のモデルと、前記少なくとも１つのオブジェクトを見ることができる光学システムを特徴付ける第２のモデルとに基づいて、前記少なくとも１つのオブジェクトを含んだ仮想世界の画像を生成する工程と、
前記第１および第２のモデルに基づいて、前記光学システムを通して見ることができる前記少なくとも１つのオブジェクトの一部を表現する、それぞれが深さデータおよび画像値データを有するピクセルのセットを決定する工程と、
各画像要素セットが異なる分解度を有し、且つ少なくとも１つの画像要素を備える、複数の画像要素セットを決定する工程と、
各ピクセルに対し、そのピクセルに対する少なくとも１つの前記深さデータに基づいて、サイズを有するぼかし領域を決定する工程と、
各ピクセルに対し、そのピクセルに対する前記画像値データ及び前記ぼかし領域のサイズに基づいて、少なくとも１つの画像値寄与度を決定する工程と、
少なくとも１つの画像要素セットの少なくとも１つの画像要素に対し、その画像要素に対する少なくとも１つの画像値寄与度を与える寄与ピクセルを決定する工程と、
少なくとも１つの画像要素セットの少なくとも１つの画像要素の前記画像値データを、その画像要素に対する少なくとも１つの寄与ピクセルの少なくとも１つの画像値寄与度に基づいて決定する工程と、
前記複数の画像要素セットの対応する画像要素の画像値データを組み合わせて、前記光学システムを通して見ることができる前記少なくとも１つのオブジェクトの一部の脱焦画像をシミュレートする工程と
を含むことを特徴とする方法。
【請求項１２】
各ピクセルに対し、そのピクセルに対する少なくとも１つの前記深さデータに基づいて、前記ぼかし領域を決定する工程は、更に前記第２のモデルに基づいて前記ぼかし領域を決定する工程を含む請求項１１の方法。
【請求項１３】
前記第２のモデルは、開口、焦点距離、倍率、および前記少なくとも１つのオブジェクトに対する前記光学システムの相対位置の少なくとも１つの表現を備える請求項１２の方法。
【請求項１４】
シミュレートされた脱焦画像を、画像装置制御システムに与える工程を備える請求項１２の方法。
【請求項１５】
複数の画像要素セットを決定する工程は、前記光学システムを通して見ることができる前記少なくとも１つのオブジェクトの一部を表現するピクセルのセットのサイズに少なくとも部分的に基づいて、多数の画像要素セットを決定する工程を備える請求項１２の方法。
【請求項１６】
複数の画像要素セットを決定する工程は、少なくとも１つの第１の画像要素セットの分解度を前記ピクセルの分解度より粗くするように決定する工程を備える請求項１２の方法。
【請求項１７】
少なくとも１つの画像要素のそれぞれは、サイズおよび位置を更に有し、
ぼかし領域のそれぞれは、位置を更に有し、そして
少なくとも１つの画像要素セットの少なくとも１つの画像要素に対し、その画像要素に少なくとも１つの寄与度を与える前記少なくとも１つの前記寄与ピクセルを決定する工程は、少なくとも前記画像要素のサイズと、各ピクセルのぼかし領域のサイズと、およびその画像要素と各ピクセルの相対位置とに基づいて、前記少なくとも１つの前記寄与ピクセルを決定する工程を備える請求項１２の方法。
【請求項１８】
少なくとも１つの画像要素のそれぞれは、サイズおよび位置を更に有し、
前記脱焦画像は、出力ピクセルのセットを有し、そして
前記複数の画像要素セットの対応する画像要素の画像値データを組み合わせて前記脱焦画像を生成する工程は、各出力ピクセルに対する前記画像値データを、その出力ピクセルの位置に重なる各画像要素からの前記画像値データを組み合わせることによって、決定する工程を備える請求項１２の方法。
【請求項１９】
複数のピクセルを有し、且つ各ピクセルに対する深さデータ及び画像値データを含む入力画像から脱焦画像を生成する画像シミュレーション・システムであって、
各画像要素セットが異なる分解度と少なくとも１つの画像要素を有する、複数の画像要素セットを決定する画像要素決定回路と、
それぞれが決定された前記複数の画像要素セットの１つを記憶する複数の画像要素バッファと、
ぼかし領域決定回路と、
充填色決定回路と、
画像要素色決定回路と、
組み合わせ回路と
を備えることを特徴とする画像シミュレーション・システム。
【請求項２０】
前記ぼかし領域決定回路は、各ピクセルに対し、そのピクセルに対する少なくとも深さデータに基づいて、そのピクセルに対するぼかし領域を決定する請求項１９の画像シミュレーション・システム。
【請求項２１】
前記ぼかし領域決定回路は、各ピクセルに対して、光学システムの特徴に対応したデータに更に基づいて、前記ぼかし領域を決定する請求項２０の画像シミュレーション・システム。
【請求項２２】
前記光学システムの特徴は、開口、焦点距離、倍率、および前記深さデータに対応した参照フレームに対する相対位置の少なくとも１つを備える請求項２１の画像シミュレーション・システム。
【請求項２３】
前記充填色決定回路は、各ピクセルに対して、そのピクセルに対して決定されたぼかし領域のサイズおよび画像値データに基づいて、充填色を決定する請求項２０の画像シミュレーション・システム。
【請求項２４】
前記画像要素決定回路は、少なくとも１つの第１の画像要素セットの分解度を前記ピクセルの分解度より粗くするように決定する請求項１９の画像シミュレーション・システム。
【請求項２５】
少なくとも１つの画像要素のそれぞれは、サイズおよび位置を更に有し、またぼかし領域のそれぞれは、位置を更に有し、そして
前記画像要素色決定回路は、少なくとも１つの画像要素セットの少なくとも１つの画像要素に対し、その画像要素に１つの寄与度を与える少なくとも１つの寄与ピクセルを決定する請求項１９の画像シミュレーション・システム。
【請求項２６】
前記画像要素色決定回路は、各画像要素に対して、少なくともその画像要素のサイズと、各ピクセルのぼかし領域のサイズと、およびその画像要素と各ピクセルの相対位置とに基づいて、前記少なくとも１つの前記寄与ピクセルを決定する請求項２５の画像シミュレーション・システム。
【請求項２７】
少なくとも１つの画像要素のそれぞれは、サイズおよび位置を更に有し、前記脱焦画像は、出力ピクセルのセットを有し、そして
前記組み合わせ回路は、前記複数の画像要素セットの対応する画像要素の画像値データを組み合わせて前記脱焦画像を生成する請求項１９の画像シミュレーション・システム。
【請求項２８】
前記組み合わせ回路は、前記脱焦画像の各出力ピクセルに対する前記画像値データを、その出力ピクセルの位置に重なる各画像要素からの前記画像値データを組み合わせることによって、決定する請求項２７の画像シミュレーション・システム。
【請求項２９】
少なくとも１つの画像装置のハードウエア構成要素の特徴に基づいて脱焦画像をシミューレートする脱焦画像生成システムであって、
仮想世界中の少なくとも１つのオブジェクトを特徴付ける第１のモデルと、
光学システムを特徴付ける第２のモデルと、
前記第１および第２のモデルに基づいて、それぞれが深さデータおよび画像値データを有するピクセルを含む画像を生成する手段と、
各画像要素セットが異なる分解度と少なくとも１つの画像要素を有する、複数の画像要素セットを決定する画像要素決定回路と、
それぞれが決定された前記複数の画像要素セットの１つを記憶する複数の画像要素バッファと、
ぼかし領域決定回路と、
充填色決定回路と、
画像要素色決定回路と、
組み合わせ回路と
を備えることを特徴とする脱焦画像生成システム。
【請求項３０】
前記第１および第２のモデルの少なくとも１つは、前記少なくとも１つのオブジェクトおよび前記光学システムの相対位置の表現を備え、前記脱焦画像生成システムは、前記相対位置の表現を修正する手段を更に備え、前記脱焦画像生成システムは、前記相対位置の修正された表現に基づいて、新たにシミュレートされた脱焦画像を生成する請求項２９の脱焦画像生成システム。
【請求項３１】
請求項２９記載の脱焦画像生成システムを使用した画像シミュレーション・システム。
【請求項３２】
前記ぼかし領域決定回路は、各ピクセルに対し、そのピクセルに対する少なくとも深さデータに基づいて、そのピクセルに対するぼかし領域を決定する請求項３１の画像シミュレーション・システム。
【請求項３３】
前記ぼかし領域決定回路は、各ピクセルに対して、光学システムの特徴に対応したデータに更に基づいて、前記ぼかし領域を決定する請求項３２の画像シミュレーション・システム。
【請求項３４】
前記光学システムの特徴は、開口、焦点距離、倍率、および前記深さデータに対応した参照フレームに対する相対位置の少なくとも１つを備える請求項３３の画像シミュレーション・システム。
【請求項３５】
前記充填色決定回路は、各ピクセルに対して、そのピクセルに対して決定されたぼかし領域のサイズおよび画像値データに基づいて、充填色を決定する請求項３２の画像シミュレーション・システム。
【請求項３６】
前記画像要素決定回路は、少なくとも１つの第１の画像要素セットの分解度を前記ピクセルの分解度より粗くするように決定する請求項３１の画像シミュレーション・システム。
【請求項３７】
少なくとも１つの画像要素のそれぞれは、サイズおよび位置を更に有し、またぼかし領域のそれぞれは、位置を更に有し、そして
前記画像要素色決定回路は、少なくとも１つの画像要素セットの少なくとも１つの画像要素に対し、その画像要素に１つの寄与度を与える少なくとも１つの寄与ピクセルを決定する請求項３１の画像シミュレーション・システム。
【請求項３８】
前記画像要素色決定回路は、各画像要素に対して、少なくともその画像要素のサイズと、各ピクセルのぼかし領域のサイズと、およびその画像要素と各ピクセルの相対位置とに基づいて、前記少なくとも１つの前記寄与ピクセルを決定する請求項３７の画像シミュレーション・システム。
【請求項３９】
少なくとも１つの画像要素のそれぞれは、サイズおよび位置を更に有し、前記脱焦画像は、出力ピクセルのセットを有し、そして
前記組み合わせ回路は、前記複数の画像要素セットの対応する画像要素の画像値データを組み合わせて前記脱焦画像を生成する請求項３１の画像シミュレーション・システム。
【請求項４０】
前記組み合わせ回路は、前記脱焦画像の各出力ピクセルに対する前記画像値データを、その出力ピクセルの位置に重なる各画像要素からの前記画像値データを組み合わせることによって、決定する請求項３９の画像シミュレーション・システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、シミュレートされた画像を脱焦する手法に関する。特に、この発明は、多段分解を使用して合成画像の脱焦をシミュレートする手法に関する。
【０００２】
【従来の技術】
焦点深度の計算は、非常に価値あるものであるが、実時間グラフィックス応用では殆ど実施されない。このことは、焦点深度計算の計算コストが非常に高いという理由による。従来、単一の脱焦フレームは、生成するために数分かかる。事態を更に悪化させるものは、単純な焦点深度の制御が通常、関連フレームの長い列を必要とすることである。
【０００３】
ポトメシル(Potmesil)等による「合成画像生成のためのレンズ及び開口カメラモデル」、コンピュータ・グラフィックス、ＡＣＭ通信（１９８９年）には、レンズと開口による被写界深度効果を、コンピュータ・グラフィックス・システムでシミュレートする方法が説明されている。この方法は、２パス式のポスト・フィルリング処理方式である。第１のパスでは、画像と、対応するｚ深さのマップとを計算する。第２のパスでは、被写界深度効果を計算して、脱焦画像を生成する。
【０００４】
各ピクセルの色及びカメラ平面からの距離と、画像のサイズと、各ピクセルの位置と、照度分布とが与えられると、各ピクセルに対してぼかし円（a circle of confusion）が計算される。１つのピクセルのぼかし円は、そのピクセルがどのように出力画像に寄与するかを規定する。各入力ピクセルによって形成されたぼかし円のサイズと特徴を計算し、そしてその脱焦画像を形成するための各ぼかし円の寄与度を組み合わせることによって、脱焦画像が生成される。換言すれば、脱焦画像中のピクセルの強度は、元の画像中の各ピクセルに対して重なるぼかし円の強度分布を合計することによって決定される。
【０００５】
ポトメシル法によると、各入力ピクセルに対し繰り返される３つのキーステップがある。これら３つのステップは、レンダリング・エンジンがカメラの視点から２次元画像とｚ深さマップを生成した後に生じる。第１のステップは、１つのピクセルに対するぼかし円の半径を決定する。この半径は、そのピクセルのカメラからの距離と、下式によってモデル化されるカメラシステムの光学パラメータとを使用して決定される。
【０００６】
【数１】
0004434437.tif 000002
（１）
【０００７】
ここで、ｒはぼかし円の半径、Ｖpは画像平面からレンズ要素までの距離、Ｖuは画像距離、Ｆは焦点距離、ｎは開口数である。
【０００８】
第２のステップは、元のピクセルの色値が与えられて決定されたぼかし円内の照度分布を決定する。ポトメシル法は、前計算されたルックアップテーブルを使用して、この動作の処理コストを低減することを開示している。最後にポトメシル法は、各ピクセルを１つの出力画像に重ね合わせる各ぼかし円に対する照度分布情報を、下式に従って組み合わせる。
【０００９】
【数２】
0004434437.tif 000003
（２）
【００１０】
ここで、Ｑはピクセル面積（Ｘ，Ｘ＋ΔＸ）（Ｙ，Ｙ＋ΔＹ）における最終強度、Ａは画像中の点サンプルの数、ｑpは点サンプルＰの強度、ｘpは画像平面中のサンプルピクセルｐのｘ座標、ｙpは画像平面中のサンプルピクセルｐのｙ座標、ｚpはサンプルピクセルｐのｚ深さである。
【００１１】
【数３】
0004434437.tif 000004
（３）
【００１２】
ここで、Ｉは強度−分布関数であり、他の条件は下記の通りである。
【００１３】
【数４】
0004434437.tif 000005
（４）
【００１４】
ポトメシル法はまた、ぼかし円を横断する強度分布を修正することによって、レンズの回折効果をシミュレートする。各ぼかし円に対して一様な強度分布モデルが仮定される場合、焦点ずれしたピクセルの分布は、最終画像中で低分解度のディテールになると考えられる。ぼかし円の半径は、各寄与度の分解度がいかに低いかを決定する。各ピクセルの寄与度を計算するための従来の計算費用は、標準的なハードウエアを使用して、ぼかし円の半径の２乗に比例する。
【００１５】
ポトメシル法では、各ピクセルのぼかし円の半径が増加するに従って、処理の複雑さが指数関数的に増加する。１つの画像が脱焦されるに従い、各ピクセルのぼかし円は増加する。有意な数のピクセルが焦点ずれを起こすと、各ピクセルに対する処理時間は急激に増加する。従って、ポトメシル法は、有意な脱焦画像に対して極めて遅い。
【００１６】
最近のいくつかの研究は、フレーム間の可干渉性（coherence）を利用する一方で、修正されるピクセルだけに重要性ベースのレンダリングを実行することによって、この問題に取り組むことを見出そうとしている。「実時間被写界深度に対する重要性オーダリング」（P. Fearing, Proceedings of the 3rd International Conference on Computer Science, pp. 372-380, 1996）は、脱焦および／または距離の変化の度合いに従って、ピクセルをランク付けすることを教示している。このランク付けは、それからピクセルを優先度付けするために使用される。しきい値を越えた変化を有するピクセルだけが修正される。これらのピクセルはそれから、ランク付けされた重要性の順序と利用可能な処理資源とに従って修正される。しかしながら、可干渉性が失われた後の最初のフレームに対する処理時間は、依然として無視できない。
【００１７】
【発明が解決しようとする課題】
人間は、カメラを試行錯誤、即ち実際の操作によって焦点合わせする。人間はカメラを対象に向け、そして所望の形状が得られるまで、手動でその焦点を変化させる。焦点計算が上述のように長い時間を要するので、コンピュータで生成された画像を使用した実際の脱焦操作は、実用的ではない。
【００１８】
脱焦計算が十分速く、関連したフレーム列をほぼ実時間で計算できる場合は、レンダリング・システムは、焦点合わせの影響を試行錯誤的に調整可能にする。
【００１９】
この発明のシステムおよび方法は、多段分解法を使用して、各ピクセルに対して生成されたぼかし領域を組み合わせることにより、ポトメシル法を改善する。
【００２０】
この発明のシステムおよび方法は、出力画像に対する入力画像中の各ピクセルの寄与度の決定を単純化することにより、ポトメシルによって教示されたシステムおよび方法を改善する。
【００２１】
【課題を解決するための手段】
この発明のシステムおよび方法は、各ピクセルに対するぼかし領域(a region of confusion)と、複数の画像要素セットとを決定する。各画像要素セットは、異なる分解度(resolution)を有する。この発明のシステムおよび方法はそれから、画像要素セット中の各要素に対するピクセルの寄与度(contribution)を決定する。ぼかし領域は、画像要素セットからの寄与度を含む。
【００２２】
この発明のシステムおよび方法の一実施例では、各ピクセルのぼかし領域の面積は、ピラミッド（角錘）単位で、画像要素セットに分解される。あるピクセルに対して特定のぼかし領域が与えられると、ピラミッド単位で最小および完全表現を計算することが可能になる。完全表現とは、画像が再構築されるときに、元の信号の正確な照明および範囲が再生されるように、基礎的要素がピラミッド構造中に設定されているものである。最小表現とは、信号再生に使用されるピラミッド要素が、できるだけ少ない要素を修正するように選択されるものである。
【００２３】
この発明のシステムおよび方法は、多段分解(multi-resolution)構造内の大きな低分解度面積を充填することが、元の高分解度画像内の低分解度面積を充填するよりも効率的である、という事実を利用する。この発明のシステムおよび方法は、ポスト処理ベースの脱焦効果の処理速度を有意に増加させるために、各ぼかし領域の多段分解表現への効率的分解を結合する。
【００２４】
この発明に係る多段分解画像脱焦方法は、複数のピクセルを有する入力画像から脱焦画像を生成する方法であって、前記入力画像がサイズを有し、且つ各ピクセルに対する深さデータ及び画像値データを含む方法において、各画像要素セットが異なる分解度を有し、且つ少なくとも１つの画像要素を備える、複数の画像要素セットを決定する工程と、各ピクセルに対し、そのピクセルに対する少なくとも１つの前記深さデータに基づいて、サイズを有するぼかし領域を決定する工程と、各ピクセルに対し、そのピクセルに対する前記画像値データ及び前記ぼかし領域のサイズに基づいて、少なくとも１つの画像値寄与度を決定する工程と、少なくとも１つの画像要素セットの少なくとも１つの画像要素に対し、その画像要素に対する少なくとも１つの画像値寄与度を与える寄与ピクセルを決定する工程と、少なくとも１つの画像要素セットの少なくとも１つの画像要素の前記画像値データを、その画像要素に対する少なくとも１つの寄与ピクセルの少なくとも１つの画像値寄与度に基づいて決定する工程と、前記複数の画像要素セットの対応する画像要素の画像値データを組み合わせて前記脱焦画像を生成する工程とを備えることを特徴とする。
【００２５】
この発明の好ましい実施形態においては、各ピクセルに対し、そのピクセルに対する少なくとも１つの前記深さデータに基づいて、前記ぼかし領域を決定する工程が、更に光学システムの特徴に対応したデータに基づいて、そのピクセルに対する前記ぼかし領域を決定する。前記光学システムの特徴は、例えば開口、焦点距離、倍率、および前記深さデータに対応した参照フレームに対する相対位置の少なくとも１つを備える。また、前記入力画像は、例えば、少なくとも部分的に、前記入力画像に現れる少なくとも１つのオブジェクトを規定する電子データに由来する。複数の画像要素セットを決定する工程は、前記入力画像の前記サイズに少なくとも部分的に基づいて、多数の画像要素セットを決定する工程を備えるようにしても良い。複数の画像要素セットを決定する工程は、例えば少なくとも１つの第１の画像要素セットの分解度を前記ピクセルの分解度より粗くするように決定する工程を備える。前記画像値データは、例えば、強度データおよび色データの少なくとも１つを備える。
【００２６】
少なくとも１つの画像要素のそれぞれは、サイズおよび位置を更に有し、ぼかし領域のそれぞれは、位置を更に有し、そして少なくとも１つの画像要素セットの少なくとも１つの画像要素に対し、その画像要素に少なくとも１つの寄与度を与える前記少なくとも１つの前記寄与ピクセルを決定する工程は、少なくとも前記画像要素のサイズと、各ピクセルのぼかし領域のサイズと、およびその画像要素と各ピクセルの相対位置とに基づいて、前記少なくとも１つの前記寄与ピクセルを決定する工程を備えるようにしても良い。少なくとも１つの画像要素のそれぞれは、サイズおよび位置を更に有し、前記脱焦画像は、出力ピクセルのセットを有し、そして前記複数の画像要素セットの対応する画像要素の画像値データを組み合わせて前記脱焦画像を生成する工程は、各出力ピクセルに対する前記画像値データを、その出力ピクセルの位置に重なる各画像要素からの前記画像値データを組み合わせることによって、決定する工程を備えるようにしても良い。
【００２７】
また、この発明は、サイズおよびピクセルを有し、且つ各ピクセルに対する深さデータおよび画像値データを含む入力画像を記憶した記録媒体に結合可能なコンピュータ装置のために、該コンピュータ装置が実行可能な制御プログラムを記憶する記録媒体であって、前記制御プログラムが、各画像要素セットが異なる分解度を有し、且つ少なくとも１つの画像要素を備える、複数の画像要素セットを決定する命令と、各ピクセルに対し、そのピクセルに対する少なくとも１つの前記深さデータに基づいて、サイズを有するぼかし領域を決定する命令と、各ピクセルに対し、そのピクセルに対する前記画像値データ及び前記ぼかし領域のサイズに基づいて、少なくとも１つの画像値寄与度を決定する命令と、少なくとも１つの画像要素セットの少なくとも１つの画像要素に対し、その画像要素に対する少なくとも１つの画像値寄与度を与える寄与ピクセルを決定する命令と、少なくとも１つの画像要素セットの少なくとも１つの画像要素の前記画像値データを、その画像要素に対する少なくとも１つの寄与ピクセルの少なくとも１つの画像値寄与度に基づいて決定する命令と、前記複数の画像要素セットの対応する画像要素の画像値データを組み合わせて前記脱焦画像を生成する命令とを含むことを特徴とする。
【００２８】
本発明は、また、少なくとも１つの画像装置のハードウエア構成要素の特徴に基づいて脱焦画像をシミューレートする方法であって、少なくとも１つのオブジェクトを特徴付ける第１のモデルと、前記少なくとも１つのオブジェクトを見ることができる光学システムを特徴付ける第２のモデルとに基づいて、前記少なくとも１つのオブジェクトを含んだ仮想世界の画像を生成する工程と、前記第１および第２のモデルに基づいて、前記光学システムを通して見ることができる前記少なくとも１つのオブジェクトの一部を表現する、それぞれが深さデータおよび画像値データを有するピクセルのセットを決定する工程と、各画像要素セットが異なる分解度を有し、且つ少なくとも１つの画像要素を備える、複数の画像要素セットを決定する工程と、各ピクセルに対し、そのピクセルに対する少なくとも１つの前記深さデータに基づいて、サイズを有するぼかし領域を決定する工程と、各ピクセルに対し、そのピクセルに対する前記画像値データ及び前記ぼかし領域のサイズに基づいて、少なくとも１つの画像値寄与度を決定する工程と、少なくとも１つの画像要素セットの少なくとも１つの画像要素に対し、その画像要素に対する少なくとも１つの画像値寄与度を与える寄与ピクセルを決定する工程と、少なくとも１つの画像要素セットの少なくとも１つの画像要素の前記画像値データを、その画像要素に対する少なくとも１つの寄与ピクセルの少なくとも１つの画像値寄与度に基づいて決定する工程と、前記複数の画像要素セットの対応する画像要素の画像値データを組み合わせて、前記光学システムを通して見ることができる前記少なくとも１つのオブジェクトの一部の脱焦画像をシミュレートする工程とを含むことを特徴とする。
【００２９】
ここで、各ピクセルに対し、そのピクセルに対する少なくとも１つの前記深さデータに基づいて、前記ぼかし領域を決定する工程は、更に前記第２のモデルに基づいて前記ぼかし領域を決定する工程を含むようにしても良い。前記第２のモデルは、開口、焦点距離、倍率、および前記少なくとも１つのオブジェクトに対する前記光学システムの相対位置の少なくとも１つの表現を備えるものでもよい。シミュレートされた脱焦画像を、画像装置制御システムに与える工程を備えるようにしても良い。複数の画像要素セットを決定する工程は、前記光学システムを通して見ることができる前記少なくとも１つのオブジェクトの一部を表現するピクセルのセットのサイズに少なくとも部分的に基づいて、多数の画像要素セットを決定する工程を備えるようにしても良い。複数の画像要素セットを決定する工程は、少なくとも１つの第１の画像要素セットの分解度を前記ピクセルの分解度より粗くするように決定する工程を備えるようにしても良い。
【００３０】
少なくとも１つの画像要素のそれぞれは、サイズおよび位置を更に有し、ぼかし領域のそれぞれは、位置を更に有し、そして少なくとも１つの画像要素セットの少なくとも１つの画像要素に対し、その画像要素に少なくとも１つの寄与度を与える前記少なくとも１つの前記寄与ピクセルを決定する工程は、少なくとも前記画像要素のサイズと、各ピクセルのぼかし領域のサイズと、およびその画像要素と各ピクセルの相対位置とに基づいて、前記少なくとも１つの前記寄与ピクセルを決定する工程を備えるものでもよい。少なくとも１つの画像要素のそれぞれは、サイズおよび位置を更に有し、前記脱焦画像は、出力ピクセルのセットを有し、そして前記複数の画像要素セットの対応する画像要素の画像値データを組み合わせて前記脱焦画像を生成する工程は、各出力ピクセルに対する前記画像値データを、その出力ピクセルの位置に重なる各画像要素からの前記画像値データを組み合わせることによって、決定する工程を備えるようにしてもよい。
【００３１】
本発明に係る画像シミュレーション・システムは、また、複数のピクセルを有し、且つ各ピクセルに対する深さデータ及び画像値データを含む入力画像から脱焦画像を生成する画像シミュレーション・システムであって、各画像要素セットが異なる分解度と少なくとも１つの画像要素を有する、複数の画像要素セットを決定する画像要素決定回路と、それぞれが決定された前記複数の画像要素セットの１つを記憶する複数の画像要素バッファと、ぼかし領域決定回路と、充填色決定回路と、画像要素色決定回路と、組み合わせ回路とを備えることを特徴とする。
【００３２】
前記ぼかし領域決定回路は、例えば、各ピクセルに対し、そのピクセルに対する少なくとも深さデータに基づいて、そのピクセルに対するぼかし領域を決定するものである。
前記ぼかし領域決定回路は、例えば各ピクセルに対して、光学システムの特徴に対応したデータに更に基づいて、前記ぼかし領域を決定する。前記光学システムの特徴は、例えば、開口、焦点距離、倍率、および前記深さデータに対応した参照フレームに対する相対位置の少なくとも１つを備える。前記充填色決定回路は、例えば各ピクセルに対して、そのピクセルに対して決定されたぼかし領域のサイズおよび画像値データに基づいて、充填色を決定する。前記画像要素決定回路は、例えば少なくとも１つの第１の画像要素セットの分解度を前記ピクセルの分解度より粗くするように決定する。少なくとも１つの画像要素のそれぞれは、サイズおよび位置を更に有し、またぼかし領域のそれぞれは、位置を更に有し、そして前記画像要素色決定回路は、少なくとも１つの画像要素セットの少なくとも１つの画像要素に対し、その画像要素に１つの寄与度を与える少なくとも１つの寄与ピクセルを決定する。前記画像要素色決定回路は、例えば、各画像要素に対して、少なくともその画像要素のサイズと、各ピクセルのぼかし領域のサイズと、およびその画像要素と各ピクセルの相対位置とに基づいて、前記少なくとも１つの前記寄与ピクセルを決定する。
【００３３】
画像は、出力ピクセルのセットを有し、そして前記組み合わせ回路は、前記複数の画像要素セットの対応する画像要素の画像値データを組み合わせて前記脱焦画像を生成する。前記組み合わせ回路は、前記脱焦画像の各出力ピクセルに対する前記画像値データを、その出力ピクセルの位置に重なる各画像要素からの前記画像値データを組み合わせることによって、決定する。
【００３４】
本発明に係る脱焦画像生成システムは、また、少なくとも１つの画像装置のハードウエア構成要素の特徴に基づいて脱焦画像をシミューレートする脱焦画像生成システムであって、仮想世界中の少なくとも１つのオブジェクトを特徴付ける第１のモデルと、光学システムを特徴付ける第２のモデルと、前記第１および第２のモデルに基づいて、それぞれが深さデータおよび画像値データを有するピクセルを含む画像を生成する手段と、各画像要素セットが異なる分解度と少なくとも１つの画像要素を有する、複数の画像要素セットを決定する画像要素決定回路と、それぞれが決定された前記複数の画像要素セットの１つを記憶する複数の画像要素バッファと、ぼかし領域決定回路と、充填色決定回路と、画像要素色決定回路と、組み合わせ回路とを備えることを特徴とする。
【００３５】
前記第１および第２のモデルの少なくとも１つは、例えば、前記少なくとも１つのオブジェクトおよび前記光学システムの相対位置の表現を備え、前記脱焦画像生成システムは、前記相対位置の表現を修正する手段を更に備え、前記脱焦画像生成システムは、前記相対位置の修正された表現に基づいて、新たにシミュレートされた脱焦画像を生成する。前記ぼかし領域決定回路は、例えば、各ピクセルに対し、そのピクセルに対する少なくとも深さデータに基づいて、そのピクセルに対するぼかし領域を決定する。前記ぼかし領域決定回路は、各ピクセルに対して、光学システムの特徴に対応したデータに更に基づいて、前記ぼかし領域を決定する。前記光学システムの特徴は、開口、焦点距離、倍率、および前記深さデータに対応した参照フレームに対する相対位置の少なくとも１つを備える。前記充填色決定回路は、各ピクセルに対して、そのピクセルに対して決定されたぼかし領域のサイズおよび画像値データに基づいて、充填色を決定する。前記画像要素決定回路は、少なくとも１つの第１の画像要素セットの分解度を前記ピクセルの分解度より粗くするように決定する。少なくとも１つの画像要素のそれぞれは、サイズおよび位置を更に有し、またぼかし領域のそれぞれは、位置を更に有し、そして前記画像要素色決定回路は、少なくとも１つの画像要素セットの少なくとも１つの画像要素に対し、その画像要素に１つの寄与度を与える少なくとも１つの寄与ピクセルを決定する。前記画像要素色決定回路は、各画像要素に対して、少なくともその画像要素のサイズと、各ピクセルのぼかし領域のサイズと、およびその画像要素と各ピクセルの相対位置とに基づいて、前記少なくとも１つの前記寄与ピクセルを決定する。少なくとも１つの画像要素のそれぞれは、サイズおよび位置を更に有し、前記脱焦画像は、出力ピクセルのセットを有し、そして前記組み合わせ回路は、前記複数の画像要素セットの対応する画像要素の画像値データを組み合わせて前記脱焦画像を生成する。前記組み合わせ回路は、前記脱焦画像の各出力ピクセルに対する前記画像値データを、その出力ピクセルの位置に重なる各画像要素からの前記画像値データを組み合わせることによって、決定する。
【００３６】
この発明の他の特徴と利点は、以下に示す種々の実施例の詳細な説明において説明され、またはそれから明らかになる。この発明の種々の実施例は、図面を参照して詳細に説明される。
【００３７】
【発明の実施の形態】
図１は、この発明の脱焦画像生成システムおよび方法によって使用されるピラミッド表現の４つの画像要素セットを示している。これら４つの画像要素セットは、一辺が８（＝２3）ピクセルの方形画像から生じたものである。ｋ＝０即ち第０レベルに対応する、画像要素の第１のセット１０の各画像要素は、一辺が２0即ち１であるピクセルを有する方形である。かくして、画像要素の第１のセット１０、即ち第０レベルは、元の入力画像と同じ分解度を有する。
【００３８】
画像要素の第２のセット１１、即ちｋ＝１または第１レベルでは、画像要素のそれぞれは、一辺が２1即ち２であるピクセルを有する方形である。画像要素の第３のセット１２、即ちｋ＝２または第２レベルでは、画像要素のそれぞれは、一辺が２2即ち４であるピクセルを有する方形である。画像要素の第４のセット１３、即ちｋ＝３または第３レベルは、一辺が２3即ち８であるピクセルを有する単一の画像要素である。
【００３９】
よって、図１に示すように、画像要素セットが第０レベルから第３レベルに向かうに従って、分解度は各方向に半減する。このようにして、第１〜第３レベルの各画像要素は、その前の第０〜第２レベルの４つの画像要素とそれぞれ重なる。特に、ある画像の取りうるレベルの数は、後に詳細に説明するように、ceiling（Ｌｏｇ2（Ｎ））に等しくなる。ここで、Ｎは画像の最長辺の長さであり、また「ceiling（天井）」は切り上げ処理を示す。画像要素セットの合計数、即ちピラミッドのレベルの数は、画像のサイズから導かれる。加えて、図１に示されるように、任意のぼかし領域を満たすために使用されるピラミッドの最大レベルは、１＋Ｋである。ここで、Ｋ＝floor（Ｌｏｇ2（Ｌ））である。Ｌは、ぼかし領域のエッジ長であり、「floor（床）」は、切り下げ処理を示す（これは、Ｋ＝ceiling（Ｌｏｇ2（Ｌ））のときの、Ｋに等しい）。
【００４０】
ピクセルのぼかし領域に基づいて、任意のピクセルに対する画像要素の特定のセットまたはレベルが決定されると、ぼかし領域内の種々のピクセルに対するそのピクセルの画像データの寄与度が画像要素セットを使用して決定される。
【００４１】
図２（Ａ）〜（Ｈ）は、１６ピクセル×１６ピクセルの入力画像中の典型的な現在のピクセルの、そのピクセルに対するぼかし領域への寄与度を詳細に示している。図２（Ａ）は、その入力画像を示し、そして図２（Ｃ）に示されたぼかし領域の出力に到達するために、図２（Ｄ）〜（Ｈ）に示された画像要素セットに寄与する現在のピクセルを高輝度表示している。図２（Ｂ）は、現在のピクセルに対する焦点深度データを表し、これは以下で詳細に説明する。図２（Ｃ）は、現在のピクセルに対するぼかし領域が元の画像と同じサイズである必要がないことを示している。むしろ、図２（Ｂ）に表わされた現在のピクセルに対する焦点深度データに対して、現在のピクセルに対するぼかし領域は、グレイスケールで示された領域である（即ち、現在のピクセルはグレイスケールで示された出力ピクセルに寄与する）。
【００４２】
図２（Ｄ）〜（Ｅ）は、この発明の脱焦画像生成システムおよび方法が、元の画像のサイズに基づいて、入力画像に対して５レベルの分解度があると決定することを、示している。それ故、入力ピクセルのそれぞれが寄与する５つの画像要素セットがある。画像要素の特定のセット、および各セット内の特定の画像要素では、与えられたピクセルは、そのピクセルに対する焦点深度および入力画像中の位置に基づいて、寄与する。特に、与えられたピクセルに対して、焦点深度データは、そのピクセルに対するぼかし領域の範囲を規定する。このようにして、各セットの各画像要素とぼかし領域の関係は、そのピクセルがその画像要素に寄与するか否かを決定する。
【００４３】
各画像要素セット内の各画像要素は、基本的には、画像要素が現在のピクセルに対するぼかし領域内に完全に入るかどうか、そして同時に、低い分解度の画像要素セットの画像要素のうち、それ自身が現在のピクセルのぼかし領域内に完全に入る画像要素の境界内には完全に入らないかどうかによって決定される。図２（Ｄ）に示すように、低い分解度の画像要素セットの画像要素は、図２（Ｃ）に示されるぼかし領域よりは大きい。従って、現在のピクセルは、このピクセルに対するぼかし領域内には完全に入らないので、図２（Ｄ）に示す低い分解度の画像要素セットの画像要素には寄与しない。
【００４４】
次に、この発明の脱焦画像生成システムおよび方法は、次に高い分解度の画像要素セットに対する現在のピクセルの寄与度を決定する。この例では、この発明の脱焦画像生成システムおよび方法は、図２（Ｅ）に示された第２の画像要素セット内の右上の画像要素だけが、図２（Ｃ）に示されたぼかし領域内に完全に適合することを決定する。それ故、現在のピクセルは、この画像要素セットのこの画像要素だけに寄与する。
【００４５】
次に、この発明の脱焦画像生成システムおよび方法は、次に高い分解度の画像要素セットに対する現在のピクセルの寄与度を決定する。図２（Ｆ）に示すように、現在のピクセルは、グレイスケールで示された現在の画像要素セット内の５つの画像要素だけに寄与する。この画像要素セットの画像要素の他のピクセルに対する現在のピクセルによる寄与は、図２（Ｆ）に示された画像要素セットの他の画像要素を完全に含む低い分解度の画像要素によって既に表されているか、または、図２（Ｆ）に示されたこの画像要素セットの他の画像要素が少なくとも部分的にぼかし領域の外に広がっているか、のいずれかである。
【００４６】
この例では、図２（Ｆ）に示される画像要素セットの右上部分の４つの画像要素が図２（Ｅ）に示される画像要素セットの右上の境界内に完全に入る。それ故、現在のピクセルは、これらの要素に寄与しない。現在のピクセルはまた、図２（Ｆ）に示される画像要素セットの最も左側および最も下側の要素にも寄与しない。これは、これらの要素が、図２（Ｃ）に示されるぼかし領域を越えて広がっているためである。
【００４７】
この発明の脱焦画像生成システムおよび方法は、図２（Ｃ）に示されるぼかし領域全体が、種々の画像要素セットの１つに対する現在のピクセルの寄与度によって表されるまで、残りの画像要素セット内の画像要素に対する現在のピクセルの寄与度を決定する処理を続ける。
【００４８】
この処理は、元の画像の各ピクセルを現在のピクセルとして順番に選択することによって繰り返される。それから、画像要素セットは、脱焦された出力画像に到達するために、一緒に加えられる。換言すれば、入力画像中の全てのピクセルによるぼかし領域は、脱焦された出力画像を形成するために、一緒に組み合わされ、または合成される。
【００４９】
図３（Ａ）〜（Ｅ）は、最終出力画像が再結合または合成される様子を示している。図３（Ａ）〜（Ｄ）は、入力画像中の全てのピクセルを処理した後の、多段分解ピラミッドの異なる分解度レベルを示している。図３（Ｅ）に示された出力画像に到達するために、多段分解ピラミッドを構成する画像要素セットが一緒に加えられる。
【００５０】
この発明の脱焦画像生成システムおよび方法は、描画された画像ピクセルＩ（ｉ，ｊ）の２−Ｄマトリクスから開始する。ここで、各ピクセルは、画像強度値と、関連する画像深さ、即ちｚ深さとを有する。画像強度値は、白黒画像に対しては２値、８ビットのグレイスケール画像に対しては１バイト値、そしてカラー画像に対しては多バイト値である。例えば、カラー画像は、一般的にカラー成分の各セットに対して１バイトを有する。典型的には、これらカラー成分は、赤（Ｒ）の強度値、緑（Ｇ）の強度値および青（Ｂ）の強度値である。
【００５１】
この発明の脱焦画像生成システムおよび方法は、入力画像中の各ピクセルＩ（ｉ，ｊ）に対し、ぼかし円の半径を下式で決定することによって、脱焦出力画像に対する各入力画像ピクセルの寄与度の決定を単純化する。
【００５２】
【数５】
0004434437.tif 000006
（５）
【００５３】
ここで、Ｚは、画像深さ、即ちｚバッファのデータを表す。ｆは、式（１）を用いて、画像深さ、またはｚバッファのデータに関するぼかし円の半径の関数を表す。ｉは、画像データ中のｘオフセット、またはｚバッファに関する。ｊは、画像データ中のｙオフセット、またはｚバッファに関する。
【００５４】
それから、この発明の脱焦画像生成システムおよび方法は、ぼかし円をぼかし領域に変換する。次に、この発明の脱焦画像生成システムおよび方法は、ピクセルＩ（ｉ，ｊ）を中心としたぼかし領域を、このぼかし領域を正確にカバーするピラミッド表現内の最小画像要素セットに分解することを決定する。
【００５５】
【数６】
0004434437.tif 000007
（６）
【００５６】
ここで、Ｓkは、入力画像内の位置ｉ，ｊにおけるピクセルに対するぼかし領域に対する第ｋピラミッドレベル内の要素セットを表す。セットＳは、ぼかし領域を完全にカバーするために、ピラミッド表現内の各レベルで満たされなければならない画像要素セットの統合を含む。
【００５７】
それから、この発明の脱焦画像生成システムおよび方法は、ピクセル（ｉ，ｊ）の強度値に基づいた適当なカラー値を加えることによって、各レベルｋにおけるセットＳk内のピラミッド表現の各要素を修正する。
【００５８】
全ての入力画像ピクセルが処理された後に、脱焦出力画像を生成するために、ピラミッド表現の画像要素セットは組み合わされる。
【００５９】
この発明の脱焦画像生成システムおよび方法を実施するために、先に概略説明したように、ぼかし領域を多段分解のピラミッド表現に分解することが必要である。この発明の脱焦画像生成システムおよび方法の一実施例では、各円形のぼかし領域は、方形のぼかし領域を用いて近似されている。この発明の脱焦画像生成システムおよび方法のこの実施例では、脱焦される画像は方形であると仮定している。
【００６０】
従って、１つの入力画像は、長さＮピクセルの辺を持つ方形である。ピラミッド表現は、この入力画像に対してＫ個のサブ画像のシーケンスとして生成される。Ｋは下式で表される。
【００６１】
【数７】
0004434437.tif 000008
（７）
【００６２】
各サブ画像は、１以上の画像要素を含み、また各画像要素は、１以上のピクセルを越えて各方向に延びる。特に、第ｋ画像要素セット中の各画像要素は、２k個のピクセルを越えて各方向に延びる。かくして第ｋレベルの画像要素は、２k個の辺の長さｎkと、面積２2kとを有する。従って、第ｋサブ画像は、２2(K-k)個の画像要素を有する。
【００６３】
図２は、図２（Ｃ）に示された１５ピクセル方形のぼかし領域について説明されたが、図２（Ｄ）〜（Ｈ）もまた、図２（Ａ）に示されたＮ＝１６の辺を有する方形画像に対して生成されるレベルの取りうる数を示している。式（７）から、図２（Ａ）に示された画像に対して、Ｋは４に等しい。このようにして、Ｋは０からＫ、即ち０から４まで変化する整数であるから、多段分解ピラミッド表現のレベルの取りうる数は、式（６）から、１＋Ｋ、即ち５となる。これらレベルのそれぞれは、図２に示されている。特に、画像要素の第５セット１４、即ち第Ｋまたは第４レベルは、図２（Ｄ）に示されている。これに対し、画像要素の第１セット１０、即ち第０レベルは、図２（Ｈ）に示されている。
【００６４】
図１、図２（Ａ）および図２（Ｅ）を比較すると、図１に示された第４画像要素セット１３の８ピクセル方形の画像要素、即ち第３レベル１３は、図２（Ｅ）に示された第４画像要素セット１３の１つ、即ち第３レベル１３に対応することが理解されるべきである。
【００６５】
画像要素の第１セット１０、即ちｋ＝０または第０レベルは、２５６要素を有する。第１セット１０中の画像要素のそれぞれは、元の画像中のピクセルのサイズと同じサイズである。即ち、第１セット１０中の各画像要素は、２0、即ち１ピクセルの広がりを各方向に有し、且つ２2・0即ち１ピクセルの面積を有する。画像要素の第２セット１１、即ちｋ＝１または第１レベルは、６４要素を有する。第２セット１１中の各画像要素は、元の画像中のピクセルの４倍のサイズである。即ち、第２セット１１中の各画像要素は、２1、即ち２ピクセルの広がりを各方向に有し、且つ２2・1即ち４ピクセルの面積を有する。
【００６６】
画像要素の第３セット１２、即ちｋ＝２または第２レベルは、それぞれが元の画像のピクセルの１６倍のサイズの１６要素を有する。即ち、第３セット１２中の各画像要素は、２2、即ち４ピクセルの広がりを各方向に有し、且つ２2・2即ち１６ピクセルの面積を有する。画像要素の第４セット１３、即ちｋ＝３または第３レベルは、それぞれが元の画像の各ピクセルの６４倍のサイズの４要素を有する。即ち、第４セット１３中の各画像要素は、２3、即ち８ピクセルの広がりを各方向に有し、且つ２2・3即ち６４ピクセルの面積を有する。画像要素の第５セット１４、即ちｋ＝４または第４レベルは、元の画像の各ピクセルの２５６倍のサイズの単一要素を有する。この段階では、ｋ＝Ｋ＝４である。かくして、Ｎ＝１６を有する元の画像に対し、これより多いレベルまたは画像要素のセットは存在しない。
【００６７】
元の画像中の特別なピクセル（ｉ，ｊ）を中心としたＭ×Ｍピクセル・サイズ（１≦Ｍ≦Ｎ）の各方形ぼかし領域は、ピラミッド表現の画像要素セットに分解される。このようなぼかし領域は、その左下隅部を、下式で表される元の画像内の座標（ｘ，ｙ）上に有する。
【００６８】
【数８】
0004434437.tif 000009
（８）
【００６９】
【数９】
0004434437.tif 000010
（９）
【００７０】
ここで
【００７１】
【数１０】
0004434437.tif 000011
（１０）
【００７２】
ここで、ｒは、特別なピクセル（ｉ，ｊ）に対する画像深さデータに基づいて式（１）によって上記のように決定されたぼかし円の半径である。
【００７３】
元の、即ち入力された画像ピクセル値は、決定されたぼかし領域にわたって分布している。特に、任意のピクセル（ｉ，ｊ）は、入力画像強度Ｉ（ｉ，ｊ）を有する。上述したように、入力画像強度は、画像のタイプによって、２値画像に対して１ビット、グレイスケール画像に対して１バイト、フルカラー画像に対して多バイトとなる。この発明の脱焦画像生成システムおよび方法の実施例では、入力画像強度は、ぼかし領域に均等に分布している。即ち、与えられたピクセル（ｉ，ｊ）から生成されたぼかし領域の全てのピクセルに対して、単一の一様な充填色ｃが使用される。この単一の一様な充填色ｃは、入力強度Ｉから下式のように決定される。
【００７４】
【数１１】
0004434437.tif 000012
（１１）
【００７５】
ここで、ｃ（ｉ，ｊ）は、入力ピクセル（ｉ，ｊ）に対するぼかし領域中の各ピクセルの一様な充填色であり、Ｉ（ｉ，ｊ）は、そのピクセル（ｉ，ｊ）に対する入力画像値である。
【００７６】
原点（ｘ，ｙ）を有するサイズＭのぼかし領域を有するピクセルに対して、この発明の脱焦画像生成システムおよび方法によって使用される第Ｋレベルに対するサイズｎk（但し、ｎkは第ｋレベルの要素の一辺の長さ）の要素の数Ｂkは、下式で表される。
【００７７】
【数１２】
0004434437.tif 000013
（１２）
【００７８】
原点（ｘ，ｙ）を有するサイズＭのぼかし領域を有するピクセルに対して、この発明の脱焦画像生成システムおよび方法によって使用される第０から（Ｋ−１）レベルに対するサイズｎkの要素の数は、ｋ＝Ｋ−１から０まで、下式で繰り返し決定される。
【００７９】
【数１３】
0004434437.tif 000014
（１３）
【００８０】
ここで、「floor」は切り下げ処理、「ceiling」は切り上げ処理である。
【００８１】
サイズｎkの要素で開始して、この発明の脱焦画像生成システムおよび方法の第１のアルゴリズムでは、カウンタが０にセットされ、また第ｋレベルがＫ、即ちｋ＝Ｋにセットされる。
【００８２】
第ｋレベルに対して、一様な充填色ｃを使用して充填されるぼかし領域の残りの面積内に適合するサイズｎkの要素の数は、ｋ＝Ｋに対しては式（１２）を、またｋ≠Ｋに対しては式（１３）を使用して決定される。
【００８３】
Ｂkが０でない場合は、ピラミッドの第ｋレベルの要素が、一様な充填色ｃを使用して、可能な限り多く充填される。カウンタは、各画像要素が第ｋレベルに充填される毎にインクリメントされる。特に、カウンタが０である場合は、第ｋレベルの要素が可能な限り多く充填される。このカウンタはそれから、各画像要素が一様な充填色ｃを使用して充填されるにつれてインクリメントされる。しかし、カウンタが０でない場合は、画像要素の一部は、既に一様な充填色ｃを使用して充填されている。従って、より細かな分解度で同じ面積を複数回充填することは回避されなければならない。このようにして、ぼかし領域の境界と既に充填された領域の部分との間の面積は、可能な限り多く充填される。粗い分解度は、細かな分解度の倍数であるので、ぼかし領域の充填された部分の境界のトラックを保持することによって、重複は簡単に回避される。
【００８４】
それから、ｋはデクリメントされ、そしてぼかし領域が完全に充填されるまで、要素の数と要素充填ステップが繰り返される。
【００８５】
図４は、この発明による脱焦画像生成システム１００の一実施例の概略を示すブロック図である。この脱焦画像生成システム１００は、図４に示すように、信号線３０２を通して画像データソース３００に接続され、また信号線３１２を通して画像データシンク３１０に接続されている。画像データソース３００は、既知のあるいは後に開発される電子画像データのソースであって、例えばホストコンピュータ、スキャナ、分布型ネットワークのノード等である。信号線３０２は、画像データソース３００を脱焦画像生成システム１００に接続するための既知のあるいは後に開発される方式であって、例えばスキャナやビジョンシステムのカメラのような直接配線接続を含む。この信号線３０２はまた、ＬＡＮ、ＷＡＮ、インターネット、または他の既知のあるいは後に開発される分布型ネットワークを通る接続であってもよい。
【００８６】
画像データソース３００から与えられる画像データは、一般にビットマップまたはバイトマップの形態であり、そして各ピクセルに対し、そのピクセルの画像平面からレンズ要素までの距離を示す深さデータを含んでいる必要がある。しかしながら、脱焦画像生成システム１００によって画像データの受信形態から画像データに対するこの形態を生成できる場合は、その画像データは、脱焦画像生成システム１００によってこの形態のまま受信される必要はない、という点が理解されるべきである。かくして、画像データは、画像平面中のピクセルの位置とそのピクセルのレンズ要素からの距離が決定されるに十分な情報を規定する仮想現実マークアップ言語（ＶＲＭＬ）、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−３、ＭＰＥＧ−４または他の既知のまたは後に開発される画像データフォーマットとして受信される。
【００８７】
画像データソース３００は、例えば特願２０００−２６４２０号に記載された画像システムのシミュレーション・システムであってもよいことが理解されるべきである。前記特許出願における画像システムのシミュレーション・システムは、プログラムされた汎用コンピュータ上で実行されることが好ましく、またユーザ・インターフェース・サブシステム、データ処理サブシステムおよびハードウエア・インターフェースを備えていることが好ましい。このハードウエア・インターフェースは、照明制御サブシステム、フレームグラバー・サブシステム、レンズ制御サブシステム、および運動制御サブシステムを備える。データ処理サブシステムは、構成（コンフィグレーション）サブシステムおよび外部ビューと通信する、画像システムのシミュレーション処理サブシステムを備える。構成サブシステムは、仮想世界のモデルを記憶しており、また静止画像および／または実時間合成画像を生成するためのデータ処理サブシステムで使用されるシステム照明モデル、運動制御モデル、ワークピースモデル、およびレンズおよびカメラ構成データを有する。画像システムのシミュレーション・システムは、仮想の光学系およびカメラとは異なる高さでシミュレートされた視覚検査目標の画像を生成することが可能である。
【００８８】
画像データシンク３１０は、同様に、脱焦画像生成システム１００で生成された脱焦画像を受信できる、既知のまたは後に開発されるデバイス、例えばプリンタ、表示装置、ホストコンピュータまたは分布型ネットワークのノード等である。画像データシンク３１０を脱焦画像生成システム１００に接続する信号線３０２は、ホストコンピュータの内部バス、例えばプリンタに対し配線された接続、または分布型ネットワークを通しての接続である。このように、信号線３１２は、信号線３０２と同様に、既知のまたは後に開発される、画像データシンク３１０を脱焦画像生成システム１００に接続するための構造であり得る。
【００８９】
脱焦画像生成システム１００は、図４に示すように、入出力インターフェース１１０と、コントローラ１２０と、メモリ１３０と、ぼかし領域決定回路１４０と、充填色決定回路１５０と、画像要素セット決定回路１６０と、画像要素色決定回路１７０と、組み合わせ回路１８０とを備え、これらの間がデータおよび／または制御バス１９０によって相互接続される。特に、メモリ１３０は、入力画像バッファ１３２と、画像深さバッファ１３４と、複数のピラミッド・バッファ１３６と、出力画像バッファ１３８とを有する。
【００９０】
画像データが画像ソース３００から受信されると、その画像データは、コントローラ１２０の制御によって、入出力インターフェース１１０を通して脱焦画像生成システム１００に入力され、メモリ１３０に記憶される。画像ソース３００から信号線３０２を介して受信された画像データが既に入力画像データおよび入力画像深さデータの形態である場合は、その入力画像データは、入力画像バッファ１３２にストアされ、また入力画像深さデータは、画像深さバッファ１３４にストアされる。画像ソース３００から信号線３０２を介して受信された画像データが画像データおよび画像深さデータの形態でない場合は、受信された画像データは、メモリ１３０にストアされ、そしてコントローラ１２０によって、入力画像バッファ１３２および画像深さバッファ１３４にストアされるための画像データおよび画像深さデータに変換される。
【００９１】
画像データおよび入力画像深さデータが、入力画像バッファ１３２および画像深さバッファ１３４にそれぞれストアされると、各ピクセルに対する深さデータは、コントローラ１２０の制御によって、ぼかし領域決定回路１４０に順番に与えられ、そして対応する画像データは、コントローラ１２０の制御によって、充填色決定回路１５０に与えられる。ぼかし領域決定回路１４０は、現在のピクセルに対するぼかし領域のエッジ長Ｍを、そのピクセルの画像深さデータに基づいて決定する。それから、充填色決定回路１５０は、ぼかし領域決定回路１４０によって決定された現在のピクセルに対するぼかし領域のエッジ長と、現在のピクセルに対する入力画像値とに基づき、式（１１）について上述したように、現在のピクセルに対するぼかし領域に対して一様な強度分布の充填色を決定する。
【００９２】
同時に、画像要素セット決定回路１６０は、ぼかし領域決定回路１４０によって決定された現在のピクセルに対するぼかし領域を表現するに必要な画像要素セットの数、即ちレベルの数を決定する。特に、画像要素セット決定回路１６０は、エッジ長Ｍに基づいてセットまたはレベルの数を決定する。それから画像要素色決定回路１７０は、充填色決定回路１５０によって決定された一様な強度分布の充填色を、図２について概略説明したように、画像要素セット決定回路１６０によって決定された画像要素セットの画像要素の種々のものに分布させる。
【００９３】
組み合わせ回路１８０はそれから、画像要素セット決定回路１６０によって決定され、且つ画像要素色決定回路１７０によって充填された種々の画像要素セットを組み合わせる。特に、組み合わせ回路１８０がこれらの画像要素セットを組み合わせることができる２つの潜在的な手法がある。
【００９４】
元の入力画像に対する画像要素セットのそれぞれを分離しておく第１の方法では、現在のピクセルに対する各画像要素セットまたはレベルを、入力画像全体の他のピクセルから生じる対応するレベルの画像要素と組み合わせる。即ち、ピラミッド・バッファ１３６は、入力画像の潜在的なレベルのそれぞれに対して１つずつバッファを備える。現在のピクセルに対する種々の画像要素セットまたはレベルの種々の画像要素が充填されるときに、それぞれの特別なレベルの画像要素に対する画像データは、対応する画像要素セットまたはレベルに対する特別なピラミッド・バッファ内に既にある画像データと組み合わされる。
【００９５】
この場合、入力ピクセルの全てが分析され、そして種々のピラミッドレベルに分解されると、組み合わせ回路１８０は、ピラミッド・バッファ１３６内に入力し、それらを組み合わせて単一の脱焦出力画像として、出力画像バッファ１３８にストアする。
【００９６】
これに対し、第２の方法では、組み合わせ回路１８０は、画像要素セット決定回路１６０によって決定され、且つ画像要素色決定回路１７０によって充填された画像要素セットの全てを組み合わせて、現在のピクセルに対する単一の脱焦出力画像とする。現在のピクセルに対するこの脱焦出力画像はそれから、ピラミッド・バッファ１３６にストアされる。入力画像のピクセルの全てに対する脱焦出力画像のそれぞれが生成され、ピラミッド・バッファ１３６にストアされた後に、組み合わせ回路１８０は、ピクセルの全てに対する脱焦出力画像を組み合わせて、単一の脱焦出力画像とする。この脱焦出力画像はそれから、出力画像バッファ１３８にストアされる。
【００９７】
図５は、脱焦画像生成システム２００の第２実施例のブロック図である。図４に示した脱焦画像生成システム１００の第１実施例のように、脱焦画像生成システム２００は、信号線３０２を通して画像データソース３００に接続され、また信号線３１２を通して画像データシンク３１０に接続されている。図５に示すように、画像データソース３００は、ビットマップまたはバイトマップ形態の画像データと、画像深さデータに対する対応するビットマップまたはバイトマップとを与える。画像データソース３００から信号線３０２を介して受信される入力画像データおよび入力画像深さデータは、入力画像データおよび入力画像深さバッファ２１０にストアされる。入力画像データおよび入力画像深さデータが入力画像データおよび入力画像深さバッファ２１０で使用可能になると、制御モジュール２２０は、信号線２２６を使用して、ピラミッドバッファ２７０を先ずクリアする。
【００９８】
制御モジュール２２０はそれから、信号線２１２を介して、入力画像データバッファ２１０からの入力画像データの各ピクセルを順番に入力し、また画像深さバッファ２１０からの対応する入力画像深さデータを入力し、そして画像深さデータを、信号線２２２を介して画像深さ／ぼかし領域変換回路２３０に、また信号線２２４を介してぼかし領域色決定回路２４０に転送する。
【００９９】
画像深さ／ぼかし領域変換回路２３０は、現在のピクセルに対する画像深さデータから生成された方形ぼかし領域の１辺の長さを決定する。画像深さ／ぼかし領域変換回路２３０は、ぼかし領域の１辺の長さを、信号線２３４を介してぼかし領域色決定回路２４０に、また信号線２３２を介してピラミッド表現決定回路２５０に出力する。
【０１００】
ぼかし領域色決定回路２４０は、制御モジュール２２０から信号線２２４を介して受信された画像データと、画像深さ／ぼかし領域変換回路２３０から信号線２３４を介して受信されたぼかし領域の１辺の長さとに基づいて、現在のピクセルに対するぼかし領域の一様な強度分布の充填色を決定する。ぼかし領域色決定回路２４０は、現在のピクセルに対する一様な強度分布の充填色を、信号線２４２を介して、ピラミッド要素およびぼかし領域色組み合わせ回路２６０に出力する。
【０１０１】
ぼかし領域色決定回路２４０は、一様な強度分布の充填色を決定する。これに対し、ピラミッド表現決定回路２５０は、画像深さ／ぼかし領域変換回路２３０から信号線２３２を介して得られたぼかし領域の１辺の長さに基づいて、現在のピクセルに対するピラミッド表現の第０〜Ｋピラミッドレベルを生成する。ピラミッド表現決定回路２５０は、それから現在のピクセルに対する第０〜Ｋピラミッドレベルを、信号線２５２を介して、ピラミッド要素およびぼかし領域色組み合わせ回路２６０に出力する。
【０１０２】
ピラミッド要素およびぼかし領域色組み合わせ回路２６０は、図２（Ｃ）〜（Ｈ）について概略説明したように、ぼかし領域色決定回路２４０から信号線２４２を介して受信した一様な強度分布の充填色を、ピラミッド表現決定回路２５０から信号線２５２を介して受信した第０〜Ｋピラミッドレベルに分布させる。ピラミッド要素およびぼかし領域色組み合わせ回路２６０は、ピラミッド表現決定回路２５０から信号線２５２を介して受信された第０〜Ｋピラミッドレベルを、信号線２６２を介してピラミッドバッファ２７０に出力する。このピラミッドレベルは、ぼかし領域色決定回路２４０から受信された、分布された一様な強度分布の充填色を含んでいる。
【０１０３】
ピラミッドバッファ２７０は、ピラミッド要素およびぼかし領域色組み合わせ回路２６０からの着色されたピラミッド要素をストアする。図４に関して既に概略説明したように、ピラミッドバッファ２７０は、一連のピクセル指向バッファまたは多数のピラミッドレベル指向バッファで実現できる。ピクセル指向バッファが使用される場合、ピラミッドバッファ２７０内の各バッファは、入力画像のピクセルのそれぞれに関連させられる。この場合、ピラミッド要素およびぼかし領域色組み合わせ回路２６０から出力されるピラミッドレベルは組み合わされ、対応するピクセルに対するぼかし領域の単一の第０レベル表現となる。これに対し、ピラミッドバッファ２７０がピラミッドレベル指向バッファを含む場合は、ピラミッドバッファ２７０の各バッファは、入力画像データによって表現される入力画像のサイズに基づいて可能である第０〜Ｋピラミッドレベルの１つに対応する。この場合、ピラミッド要素およびぼかし領域色組み合わせ回路２６０から出力される着色された画像要素のそれぞれは、組み合わされ、その画像要素のピラミッドレベルに対応するバッファにストアされる。
【０１０４】
制御モジュール２２０は、入力画像データのピクセルの全てが選択され、且つそれらのデータが画像深さ／ぼかし領域変換回路２３０およびぼかし領域色決定回路２４０に送信されるまで、入力画像データおよび入力画像深さバッファ２１０から信号線２１２を介して入力画像データおよび入力画像深さデータを選択する処理を継続する。制御モジュール２２０は、入力画像データのピクセルの全てが選択され、分析されると、信号線２２８を介して出力画像組み合わせ回路２８０に制御信号を出力する。
【０１０５】
出力画像組み合わせ回路２８０が制御モジュール２２０から信号線２２８を介して制御信号を受信すると、出力画像組み合わせ回路２８０は、ピラミッドバッファ２７０に記憶されているデータの全てを入力し、そのデータをバッファ内で組み合わせて単一の脱焦出力画像にする。特に、ピラミッドバッファ２７０が脱焦画像データをピラミッドレベル指向で記憶している場合は、出力画像組み合わせ回路２８０は、図３（Ａ）〜（Ｅ）について概略説明したように、ピラミッド表現のレベルのそれぞれを組み合わせる。これに対し、ピラミッドバッファ２７０が脱焦画像データをピクセル指向で記憶している場合は、出力画像組み合わせ回路２８０は、各ピクセルに対する画像を組み合わせて出力画像データとする。出力画像組み合わせ回路２８０はそれから、脱焦出力画像を、信号線２８２を介して脱焦出力画像バッファ２９０に出力する。脱焦出力画像バッファ２９０はそれから、脱焦出力画像を、信号線３１２を介して画像データシンク３１０に出力する。
【０１０６】
式（８）および（９）について概略説明したように、任意のピクセルに対するぼかし領域の原点は、式（８）および（９）を使用して決定することができる。加えて、式（１２）および（１３）について概略説明したように、任意のピクセルに対するぼかし領域に対して、各サブ画像内の画像要素の数は、式（１２）および（１３）を使用して決定することができる。以下に示される式（１４）〜（２１）は、任意のピクセルに対するぼかし領域に対して、任意の特別なサブ画像に対するぼかし領域の一部として充填される特別な画像要素が決定される様子を詳細に説明する。上述したように、第ｋレベルまたはサブ画像に対して、第ｋレベルの画像要素は２k個の辺の長さｎkを有する。
【０１０７】
式（１４）および（１５）は、現在のピクセル対するぼかし領域内に完全に含まれる第ｋレベルまたはサブ画像の最も左下の画像要素の左下隅のＸおよびＹ座標をそれぞれ規定する。式（１６）および（１７）は、現在のピクセル対するぼかし領域内に完全に含まれる第ｋレベルまたはサブ画像の最も右下の画像要素の右下隅のＸおよびＹ座標をそれぞれ規定する。式（１８）および（１９）は、現在のピクセル対するぼかし領域内に完全に含まれる第ｋレベルまたはサブ画像の最も左上の画像要素の左上隅のＸおよびＹ座標をそれぞれ規定する。式（２０）および（２１）は、現在のピクセル対するぼかし領域内に完全に含まれる第ｋレベルまたはサブ画像の最も右上の画像要素の右上隅のＸおよびＹ座標をそれぞれ規定する。
【０１０８】
【数１４】
0004434437.tif 000015
（１４）
【０１０９】
【数１５】
0004434437.tif 000016
（１５）
【０１１０】
【数１６】
0004434437.tif 000017
（１６）
【０１１１】
【数１７】
0004434437.tif 000018
（１７）
【０１１２】
【数１８】
0004434437.tif 000019
（１８）
【０１１３】
【数１９】
0004434437.tif 000020
（１９）
【０１１４】
【数２０】
0004434437.tif 000021
（２０）
【０１１５】
【数２１】
0004434437.tif 000022
（２１）
【０１１６】
ここで、ｌｌＸkは、ぼかし領域内に完全に含まれる最も左下の第ｋレベル画像要素の左下隅のｘ値、ｌｌＹkは、ぼかし領域内に完全に含まれる最も左下の第ｋレベル画像要素の左下隅のｙ値、lｒＸkは、ぼかし領域内に完全に含まれる最も右下の第ｋレベル画像要素の右下隅のｘ値、lｒＹkは、ぼかし領域内に完全に含まれる最も右下の第ｋレベル画像要素の右下隅のｙ値、ｕlＸkは、ぼかし領域内に完全に含まれる最も左上の第ｋレベル画像要素の左上隅のｘ値、ｕlＹkは、ぼかし領域内に完全に含まれる最も左上の第ｋレベル画像要素の左上隅のｙ値、ｕｒＸkは、ぼかし領域内に完全に含まれる最も右上の第ｋレベル画像要素の右上隅のｘ値、ｕｒＹkは、ぼかし領域内に完全に含まれる最も右上の第ｋレベル画像要素の右上隅のｙ値である。
【０１１７】
第ｋレベルまたはサブ画像の、現在のピクセルに対するぼかし領域内に完全に入る最左上、最右上、最左下および最右下の画像要素が決定されると、次に第ｋレベルまたはサブ画像の、充填される画像要素が決定される。特に、より粗いサブ画像の他の画像要素が充填されていない場合は、第ｋレベルまたはサブ画像の、式（１４）〜（２１）中に規定されたＸおよびＹ座標によって規定される四辺形の境界内に入る全ての画像要素は、式（１１）を使用して充填される。ここで、「充填」とは、式（１１）によって規定される画像値を、式（１４）〜（２１）中に規定されたＸおよびＹ座標によって規定される四辺形の境界内の画像要素のそれぞれに対する現在の画像値に加えることを意味する。粗いサブ画像のどの画像要素も既に充填されている場合は、現在のサブ画像の中で、式（１４）〜（２１）中に規定されたＸおよびＹ座標によって規定される四辺形の境界内にあり、且つその最も右のＸ座標が、粗いサブ画像の充填された画像要素の最も左のＸ座標と等しいかまたはその左側にある画像要素、あるいはその最も左のＸ座標が、粗いサブ画像の充填された画像要素の最も右のＸ座標と等しいかまたはその右側にある画像要素、あるいはその最も下のＹ座標が、粗いサブ画像の充填された画像要素の最も上のＸ座標と等しいかまたはその上側にある画像要素、あるいはその最も上のＹ座標が、粗いサブ画像の充填された画像要素の最も下のＸ座標と等しいかまたはその下側にある画像要素だけが、式（１１）に従って充填される。このようにして、現在のピクセルに対するぼかし領域は、そのぼかし領域内に含まれる粗い画像要素から開始して、ぼかし領域の中心から充填される。ぼかし領域が画像のエッジまで延びていないと仮定すると、細かいサブ画像が分析されるときに、そのサブレベルの画像要素は、次に粗いサブレベルの画像要素の回りに方形の環状リングを形成する。ぼかし領域が画像の１以上のエッジまで延びていない場合は、図２Ｃ〜２Ｈに示すように、細かいサブ画像が分析されるときに、そのサブレベルの画像要素は、「Ｃ」形状、「Ｌ」形状または直線状の画像要素セットを形成する。
【０１１８】
図６は、式（１４）〜（２１）を使用するアルゴリズムを概略説明する疑似符号リストである。図６に示す疑似符号における充填ピラミッド要素（ｉ，ｊ，ｋ）処理は、下式で表される。
【０１１９】
【数２２】
0004434437.tif 000023
（２２）
【０１２０】
ここで、Ｉkは、第ｋピラミッドレベルで記憶された画像である。
最終出力画像は、入力画像中のピクセルの全ておよびそれらに対応するぼかし領域が分解されて多段分解ピラミッド表現で表された後に、再構築される。上述したように、図３Ａ〜３Ｅは、この再構築プロセスを説明している。この再構築プロセスは、Ｎ×Ｎ＝２k×２k出力画像中の全ての（ｉ，ｊ）に対して、下式で表される。
【０１２１】
【数２３】
0004434437.tif 000024
（２３）
【０１２２】
ここで、Ｉkは、第ｋピラミッドレベルで記憶された画像である。
【０１２３】
画像のサイズは経験的に既知であることが一般的であるので、ルックアップテーブルを使用することによって、式（２３）中の除算部分を省略することは可能である。
【０１２４】
ポロメシルは、回折効果を考慮した煩雑な分布モデルについて記述している。この発明の脱焦画像生成システムおよび方法の実施例は、一様な照明モデルを使用してシステムの処理能力を向上させる。しかしながら、十分な計算資源を利用可能な場合は、上述した一様な照明モデルは、回折効果のようなレンズ効果を追加的に含ませることができる、より煩雑なモデルに置き換えることができる。
【０１２５】
同様に、この発明の脱焦画像生成システムおよび方法の実施例は、ぼかし円を方形ぼかし領域にモデル化することによって、ぼかし円をピラミッド表現の画像要素セットへ分解することを単純化する。この発明の脱焦画像生成システムおよび方法の異なる実施例は、ぼかし円の半径が所定のしきい値を越えているか否か、そしてピクセルの寄与度が最終脱焦画像に現れていか否かを決定する。続いて、そのしきい値を調整することによって、品質レンダリングおよび速度レンダリングが、理解するのに単純で簡単な手法によってバランスされる。勿論、これにより、最終画像から有意なディテールが落される。
【０１２６】
図７Ａおよび７Ｂは、この発明による脱焦画像生成方法の一実施例の概略を示すフローチャートである。図７Ａに示すように、制御はステップＳ１００から開始し、ステップＳ１１０に移行してバッファを初期化またはクリアする。これらのバッファには、入力画像データバッフと、出力画像データバッファと、画像深さバッファと、入力画像の多段分解ピラミッド表現の画像要素セットのそれぞれに対するバッファとが含まれる。次に、ステップＳ１２０では、現在の画像データと画像深さデータが表示され、または画像データソースから入力される。ステップＳ１３０では、行カウンタｉがリセットされ、またステップＳ１４０では、列カウンタｊがリセットされる。それから制御はステップ１５０に移る。
【０１２７】
ステップ１５０では、現在のピクセル（即ち、位置（ｉ，ｊ）のピクセル）に対する入力画像強度Ｉと、現在のピクセルに対する画像深さデータとが使用され、ピクセル（ｉ，ｊ）に対するぼかし領域のエッジ長Ｍが決定される。ステップ１５０において更に決定されるものは、現在のピクセル（ｉ，ｊ）に対するぼかし領域が寄与する画像要素のセットＫの数である。ステップＳ１６０では、現在のピクセル（ｉ，ｊ）に対するぼかし領域に対する一様な充填色ｃが、現在のピクセル（ｉ，ｊ）に対し決定されたエッジ長および画像強度から決定される。ステップＳ１７０では、現在レベルカウンタｋは、現在のピクセル（ｉ，ｊ）が寄与するレベルｋの数に等しくセットされる。それから制御はステップＳ１８０に移行する。
【０１２８】
ステップＳ１８０では、第ｋレベルの画像要素の数Ｂkが、上述した式（１２）および（１３）に基づいて決定される。ステップ１９０では、画像要素の数Ｂkが０であるか否かの決定がなされる。Ｂkが０でない場合は、制御はステップＳ２００に移行する。Ｂkが０である場合は、制御はステップＳ２１０にジャンプする。
【０１２９】
ステップＳ２００では、ステップＳ１６０で決定されたぼかし領域用の一様な充填色ｃを使用して、ステップＳ１８０で決定されたＢk個の画像要素のそれぞれを充填する。制御はそれからステップＳ２１０に移行する。
【０１３０】
ステップＳ２２０では、現在レベルｋが０であるか否かの決定がなされる。現在レベルｋが０である場合は、現在のピクセルに対するレベルの全てが分析され、そして各レベルの特別な画像要素が一様な充填色ｃを使用して着色されている。この場合は、次のピクセルが選択される必要がある。そこで、制御はステップＳ２３０に移行する。しかしながら、現在のピクセルに対するレベルの全てが分析されていない場合は、制御はステップＳ２２０に移行する。
【０１３１】
ステップＳ２２０では、現在レベルｋは１だけデクリメントされ、次に高い分解度レベルが選択される。それから制御はステップＳ１８０にジャンプする。
【０１３２】
これに対し、ステップＳ２３０では、入力画像の現在の行の端に達したか否かが決定される。行端でない場合は、制御はステップＳ２４０に移行する。行端に達した場合、制御はステップＳ２５０にジャンプする。
【０１３３】
ステップＳ２４０では、現在の行ｉに沿って次のピクセルを選択するために、列カウンタｊが１だけインクリメントされる。制御はそれからステップＳ１５０にジャンプする。
【０１３４】
これに対し、ステップＳ２５０では、現在の画像の端に達したか否かが決定される。現在の画像の端に達してない場合は、制御はステップＳ２６０に移行する。現在の画像の端に達している場合は、制御はステップＳ２７０に移行する。
【０１３５】
ステップＳ２６０では、画像の次の行を選択するために、現在行カウンタｉがインクリメントされる。制御はそれからステップＳ１４０に移行し、そこで入力画像の次行の最初のピクセルを選択するために、列カウンタｊが１にリセットされる。制御はそれからステップＳ１５０に移行する。
【０１３６】
ステップＳ２７０では、入力画像中のピクセルの全てが分析されるように現在の画像の端に達すると、脱焦画像を形成するために、ステップＳ１８０〜Ｓ２００で入力画像の各ピクセルに対して生成されたＢk個の画像要素のセットが一緒に組み合わされる。それからステップＳ２８０に移行し、そこでこの制御方法は終了する。
【０１３７】
この脱焦画像生成のための制御方法においては、入力画像データは、実際の画像システムにおいて撮像された画像を一例として使用しているが、これに限らずシミュレーションにより生成された仮想画像データであっても良い。
この仮想画像データを生成する方法としては、測定対象（モデル１）と測定光学システム（モデル２）をモデル化し、モデル２に対してモデル１を入力して仮想画像データを生成する。モデル２は、画像システムのハードウェアシミュレーション工程において、光学系をシミュレートし、画像検査制御システムシミュレーション工程において、制御系をシミュレートする。すなわち、画像システムハードウェアシミューション工程は、照明シミュレーション工程と、フレームグラバシミュレーション工程と、レンズシミュレーション工程と、運動系シミュレーション工程とを含んでおり、これらの工程によって、例えば撮像・光学系を含む画像測定機本体をシミュレーションする。画像検査制御システムシミュレーション工程は、ユーザインタフェースシミュレーション工程と、データ処理シミュレーション工程と、制御シミュレーション工程とを含んでおり、制御シミュレーション工程には、照明制御シミュレーション工程と、フレームグラバ制御シミュレーション工程と、レンズ制御シミュレーション工程と、運動制御シミュレーション工程とを含んでおり、それぞれ、照明、フレームグラバ（撮像系）、レンズ、運動系の各制御シミュレーションを行う。
これらの各工程は、画像測定機全体の機能をシミュレーションできるため、モデル１をモデル２（画像システムハードウェアシミュレーション工程＋画像検査制御シミュレーション工程）への入力データとしてこれらの工程を実行させると、仮想画像データを得ることができるので、このデータを入力画像データとして使用することができる。
【０１３８】
上述した実施例では多段分解表現としてピラミッド表現が使用されたが、この発明の脱焦画像生成システムおよび方法は、どのような多段分解分解法でも使用できることが理解されるべきである。また、この発明の脱焦画像生成システムおよび方法の分解動作を加速するためにルックアップテーブルが使用できることも理解されるべきである。
【０１３９】
この発明は、上記に概略説明した実施例に関連して説明されたが、多くの変更、修正および変形が当業者にとって自明であることは明らかである。従って、上述した実施例は発明を説明することを意図したものであって、制限するものではない。種々の変更は、発明の精神および範囲を逸脱することなくなし得るものである。
【０１４０】
【発明の効果】
以上述べたように、この発明のシステムおよび方法によれば、多段分解法を使用して、各ピクセルに対して生成されたぼかし領域を組み合わせることにより、ポトメシル法を改善するようにしたので、脱焦計算が十分速く、関連したフレーム列をほぼ実時間で計算できるという効果を奏する。
【図面の簡単な説明】
【図１】  ８×８画像の変形表現として使用される多段分解ピラミッド構造の一例を示す。
【図２】  １６×１６ピクセルの入力画像中で例示された現在のピクセルの、そのピクセルに対するぼかし領域への寄与度を示す。
【図３】  多数のピラミッドバッファのそれぞれからの最終再構築画像に対する寄与を示す。
【図４】  この発明の脱焦画像生成システムの第１実施例の機能ブロック図である。
【図５】  この発明の脱焦画像生成システムの第２実施例の機能ブロック図である。
【図６】  この発明の脱焦画像生成システムおよび方法の一実施例を使用したアルゴリズムを概略説明する疑似符号リストである。
【図７Ａ】  この発明の脱焦画像生成方法の一実施例を概略説明するフローチャートである。
【図７Ｂ】  図７Ａの続きのフローチャートである。
【符号の説明】
１００…脱焦画像生成システム、１１０…入出力インターフェース、１２０…コントローラ、１３０…メモリ、１３２…入力画像バッファ、１３４…画像深さバッファ、１３６…ピラミッド・バッファ、１３８…出力画像バッファ、１４０…ぼかし領域決定回路、１５０…充填色決定回路、１６０…画像要素セット決定回路、１７０…画像要素色決定回路、１８０…組み合わせ回路、１９０…データおよび／または制御バス、２００…脱焦画像生成システム、２１０…入力画像データおよび入力画像深さバッファ、２２０…制御モジュール、２３０…画像深さ／ぼかし領域変換回路、２４０…ぼかし領域色決定回路、２５０…ピラミッド表現決定回路、２６０…ピラミッド要素およびぼかし領域色組み合わせ回路、２７０…ピラミッドバッファ、２８０…出力画像組み合わせ回路、２９０…脱焦出力画像バッファ、３００…画像データソース、３１０…画像データシンク。
【図１】
0004434437.tif 000025
【図２】
0004434437.tif 000026
【図３】
0004434437.tif 000027
【図４】
0004434437.tif 000028
【図５】
0004434437.tif 000029
【図６】
0004434437.tif 000030
【図７Ａ】
0004434437.tif 000031
【図７Ｂ】
0004434437.tif 000032