(57)【特許請求の範囲】
【請求項１】
複数の原画像に基づき物体の少なくとも１つの部分の合成画像を作成する画像処理方法であって、前記複数の原画像の各々が少なくとも前記物体の前記部分を含み、前記複数の原画像の各々が前記物体における異なる焦点面に対応する画像処理方法において、
前記原画像に対して第１の方式の解析を行う第１のステップであって、前記原画像の複数の空間位置のうち少なくとも複数の空間位置で、前記原画像のエッジ及び境界のうち少なくとも１つに対応する前記合成画像の第１の組の画素を決定する第１のステップと、
前記原画像に対して第２の方式の解析を行う第２のステップであって、前記原画像の前記複数の空間位置のうち少なくとも複数の空間位置で、前記原画像の面に対応する前記合成画像の第２の組の画素を決定する第２のステップとを有し、
前記第２のステップは更に、前記複数の原画像に含まれる焦点の合っていないエッジまたは境界に対応する画像誤差（artifacts）を抑制する第３のステップを有し、
前記第３のステップは、前記合成画像の前記第２の組の画素内に、前記合成画像の前記第１の組の画素の各画素から少なくとも所定のセットバック距離だけ離れて位置する少なくとも１つの画素を決定する第４のステップと、前記合成画像の前記第２の組の画素内に、前記合成画像の前記第１の組の画素のうち少なくとも１つの画素から前記所定のセットバック距離より短い距離だけ離れて位置する少なくとも１つの画素を決定する第５のステップで、前記合成画像の前記第２の組の画素の前記少なくとも１つの画素のうち、前記合成画像の前記第１の組の画素の各画素から少なくとも前記所定のセットバック距離だけ離れて位置する少なくとも１つと関連した特性に少なくとも部分的に基づき決定する第５のステップとを有する
ことを特徴とする画像処理方法。
【請求項２】
前記合成画像の前記第１の組の画素は、前記複数の原画像に含まれる十分に焦点の合ったエッジまたは境界に対応する前記合成画像の画像部分から成ることを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記合成画像の前記第２の組の画素は、前記複数の原画像に含まれる十分に焦点の合った面領域に対応する前記合成画像の画像部分から成ることを特徴とする請求項１記載の画像処理方法。
【請求項４】
前記合成画像の前記第１の組の画素は、前記合成画像の前記第２の組の画素が決定される前に決定され、
前記第２の組の画素は、前記第２の組の画素が、前記第１の組の画素内に存在するように決定された前記合成画像の画素のいずれをも含まないように決定されることを特徴とする請求項１記載の画像処理方法。
【請求項５】
前記第４のステップで決定される少なくとも１つの画素は、核画素から成り、
前記第５のステップで決定される少なくとも１つの画素は、前記核画素を含む併合領域に基づき決定され、
前記特性は、原画像、原画像インデックス、及び原画像焦点面のうち少なくとも１つから成ることを特徴とする請求項１記載の画像処理方法。
【請求項６】
前記第１の方式の解析及び前記第２の方式の解析のうち少なくとも１つは、グレースケール画像強度及びカラー画像強度のうち少なくとも１つに基づき行われることを特徴とする請求項１記載の画像処理方法。
【請求項７】
前記第１の方式の解析は、前記複数の空間位置のうち前記少なくとも複数の空間位置での前記原画像の数値的特徴付けから成ることを特徴とする請求項６記載の画像処理方法。
【請求項８】
前記数値的特徴付けは、勾配解析、勾配系列微分解析、空間フィルタリング、及びガウス空間フィルタリングのうち少なくとも１つから成ることを特徴とする請求項７記載の画像処理方法。
【請求項９】
前記第１のステップは、
前記複数の空間位置のうち前記少なくとも複数の空間位置で前記原画像の前記数値的特徴付けの結果を解析して、前記数値的特徴付けの結果が満足となるような空間位置を決定する第６のステップと、
数値的特徴付けの結果が満足となるような各空間位置で、前記満足となる結果に対応する各満足原画像を決定する第７のステップと、
前記各満足原画像に少なくとも部分的に基づいて、前記各空間位置で前記合成画像の前記第１の組の画素のうち少なくとも１つの画素を決定する第８のステップとから成ることを特徴とする請求項７記載の画像処理方法。
【請求項１０】
前記第２の方式の解析は、前記複数の空間位置のうち前記少なくとも複数の空間位置での前記原画像の数値的特徴付けから成ることを特徴とする請求項６記載の画像処理方法。
【請求項１１】
前記数値的特徴付けは、テクスチュア分類解析、コントラスト分類解析、不一致解析を含むテクスチュア分類解析、及びフラクタル次元解析のうち少なくとも１つから成ることを特徴とする請求項１０記載の画像処理方法。
【請求項１２】
前記第１のステップは、
前記複数の空間位置のうち前記少なくとも複数の空間位置で前記原画像の前記数値的特徴付けの結果を解析して、前記数値的特徴付けの結果が満足となるような空間位置を決定する第６のステップと、
数値的特徴付けの結果が満足となるような各空間位置で、前記満足となる結果に対応する各満足原画像を決定する第７のステップと、
前記各満足原画像に少なくとも部分的に基づいて、前記各空間位置で前記合成画像の前記第２の組の画素のうち少なくとも１つの画素を決定する第８のステップとから成ることを特徴とする請求項１０記載の画像処理方法。
【請求項１３】
画像装置と、ビジョンシステム制御部と、記憶部と、物体の少なくとも１つの部分の複数の原画像で、前記物体における複数の焦点面に対応する複数の原画像に基づき、前記物体の少なくとも前記部分における十分に焦点の合った合成画像を作成するべく作動する合成画像プロセッサとを具備したビジョンシステムにおいて、前記合成画像プロセッサが、
前記原画像に対して第１の方式の解析を行うエッジ処理部であって、前記原画像の複数の空間位置のうち少なくとも複数の空間位置で、前記原画像のエッジ及び境界のうち少なくとも１つに対応する前記合成画像の第１の組の画素を決定するエッジ処理部と、
前記原画像に対して第２の方式の解析を行う面処理部であって、前記原画像の前記複数の空間位置のうち少なくとも複数の空間位置で、前記原画像の面に対応する前記合成画像の第２の組の画素を決定する面処理部とを有し、
前記合成画像プロセッサが前記合成画像の前記第２の組の画素を決定したとき、前記合成画像プロセッサは、前記複数の原画像に含まれる焦点の合っていないエッジまたは境界に対応する画像誤差（artifacts）を抑制すると共に、前記合成画像の前記第２の組の画素内に、前記合成画像の前記第１の組の画素の各画素から少なくとも所定のセットバック距離だけ離れて位置する少なくとも１つの画素を決定し、前記合成画像の前記第２の組の画素内に、前記合成画像の前記第１の組の画素のうち少なくとも１つの画素から前記所定のセットバック距離より短い距離だけ離れて位置する少なくとも１つの画素を、前記合成画像の前記第２の組の画素の前記少なくとも１つの画素のうち、前記合成画像の前記第１の組の画素の各画素から少なくとも前記所定のセットバック距離だけ離れて位置する少なくとも１つと関連した特性に少なくとも部分的に基づき決定することを特徴とするビジョンシステム。
【請求項１４】
前記エッジ処理部は、
前記原画像に含まれる十分に焦点の合ったエッジまたは境界を示すための第１の特徴付けを、前記複数の空間位置の前記少なくとも複数の空間位置で、前記原画像に対して行うべく用いられる原画像エッジ処理部と、
前記原画像エッジ処理部によって行われた前記第１の特徴付けに基づき、前記合成画像の前記第１の組の画素を決定する合成画像エッジ決定部とから成り、
前記面処理部は、
前記原画像に含まれる十分に焦点の合った面領域を示すための第２の特徴付けを、前記複数の空間位置の前記少なくとも複数の空間位置で、前記原画像に対して行うべく用いられる原画像面処理部と、
前記原画像面処理部によって行われた前記第２の特徴付けに基づき、前記合成画像の前記第２の組の画素を決定する合成画像面決定部とから成ることを特徴とする請求項１３記載のビジョンシステム。
【請求項１５】
前記エッジ処理部は、前記面処理部が前記合成画像の前記第２の組の画素を決定する前に、前記合成画像の前記第１の組の画素を決定し、
前記面処理部は、前記第２の組の画素を、前記第２の組の画素が、前記第１の組の画素内に存在するように決定された前記合成画像の画素のいずれをも含まないように決定することを特徴とする請求項１３記載のビジョンシステム。
【請求項１６】
前記合成画像プロセッサは、前記ビジョンシステムの一般電算化制御装置の一部であることを特徴とする請求項１３記載のビジョンシステム。
【請求項１７】
前記一般電算化制御装置は更に、パートプログラム指示、検査プログラム制御指示、及び合成画像プロセッサ制御指示のうち少なくとも１つを発生することに用いられる制御指示発生装置から成り、前記発生された指示は、前記合成画像プロセッサを作動させて合成画像の所望の表示を作成することに用いられることを特徴とする請求項１６記載のビジョンシステム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、合成画像の生成に有用な画像処理方法およびビジョンシステムに関する。
【０００２】
【従来の技術】
高解像度マシンビジョンシステム、特に微視的マシンビジョンシステムは、３次元物体の細部についての高解像度で、よく焦点の合った画像を多く提供する。しかし、これは、焦点深度とも云われる、囲まれた全体画像内の視野の深さを犠牲にして成り立っている。しかしながら、マシンビジョンシステムに関するいくつかの出願では、高解像度で焦点がよく合った微視的検査を行い、及び／または物体の細部を記録することと、囲まれた全体画像をはっきりと視認し、または記録することとの双方を可能にしている。
【０００３】
こうした目的を達成するために、別々に焦点合わせを行って得られた３次元風景または物体の画像を組み合わせる、または融合させる方法が知られる。例えば、Ｈａｅｕｓｌｅｒに与えられた米国特許第４，１４１，０３２号公報は、物体に複数の水平面で焦点を合わせて複数の画像を生成し、高周波フィルタで各画像を濾波し、濾波されて得られた画像を足し合わせて微細部だけを含む合成画像を生成することを開示している。同様に、Ｆｅｒｒｅｎに与えられた米国特許第４，５８４，７０４号公報は、全画像視野における視覚可能な焦点の合った「薄片」を得ることを開示している。映像走査線信号として「薄片」を処理するとき、該信号は高周波フィルタを通過する。これによって、スパイク以外の全部を取り除くべく弁別された信号で、物体の焦点の合ったエッジを特定できる信号が提供される。２つの連続するスパイク（エッジ）の間の信号情報も、焦点の合った物体の部分として見做される。高周波フィルタを別のフィルタと組み合わせるようにしてもよい。その場合のフィルタは適応フィルタであってもよい。
【０００４】
通常、そのような比較的簡単な構成の高周波フィルタに基づく方法では、比較的高速な処理が為される。しかし、得られた合成画像は、選択されたフィルタパラメータ及び／または焦点の合った合焦特性と焦点の合っていない脱合焦特性とを区別するために使用される信号閾値に対して敏感である。以下、焦点の合っていることを「合焦」、焦点の合っていないことを「脱合焦」と呼ぶ。そういうものにおいて、これらの方法は、予測できない様々な原画像物体及び／または表面特性に対してロバスト性（外乱に強い性質）がなく、かつ望ましくない情報損失をもたらすこと、及び／または望ましくない高空間周波数誤差（artifacts）を脱合焦画像部分から受け取ることになるかも知れない。
【０００５】
各種のマルチ解像度空間フィルタリング技術に基づく方法も知られている。例えば、Ａｎｄｅｌｓｏｎに与えられた米国特許第４，６６１，９８６号公報は、Ｂｕｒｔピラミッド方法の諸相を説明したＢｕｒｔによる多数の論文を挙げており、また該方法の一変形を開示している。Ａｎｄｅｌｓｏｎ特許公報は、Ｍ個の画像の各空間周波数スペクトラムを、Ｎ個の空間周波数帯域を定めたＮ個の別個に仕分けされた画素サンプルセットからなるＭ個のほぼ類似の集合に分割することを開示する。対応するサンプルのうちの唯ひとつが選択され、Ｎ個の帯域ごとに、合焦が改善された画素サンプルの各単一セットが引き出される。そのとき、各単一セットの対応する画素サンプルが組み合わされて、合焦が改善された２次元画像が引き出される。
【０００６】
Ｂｕｒｔに与えられた米国特許第５，３２５，４４９号公報は、質的に異なる方式の各センシング／イメージング装置によって生成されてしまう、間違って合焦された画像や、質的に異なる画像をも、ほぼ十分に融合できる画像融合方法を開示する。Ｂｕｒｔ特許公報には、合成画像が有用な全情報を保持し、合成処理による誤差（artifacts、以下「誤差」という）を含まず、そして人工的な加工を施されてされていない限りは、画像融合が有効であると、言及されている。Ｂｕｒｔ特許公報は、マルチ解像度空間周波数技術も含んだ先のピラミッド技術が、合成画像内に顕著な誤差を生成してしまうことに言及している。Ｂｕｒｔ特許公報は、開示された勾配機能のような、方向付けられた機能を使用することに基づいた改善パターン選択方法を開示しており、この方法は、合成画像におけるエッジのような原画像パターンの保持を改善する。この方法は、合成画像を細分（refine）する局所特徴解析によって増強される。
【０００７】
【発明が解決しようとする課題】
通常、Ａｎｄｅｌｓｏｎ特許公報及びＢｕｒｔ特許公報に示されるピラミッド方法は、比較的高速に処理され、比較的ロバスト性がある。しかしながら、これらのピラミッド方法は本来、画像全体に均一に適用される単一方式の数学的処理に基づいている。そのため、その方法は、例えば、原画像の特徴のない部分及び／または脱合焦の部分における合焦外れエッジによって生成された、望ましくない高周波数誤差（artifacts）に対して、いつまでも過敏である。
【０００８】
畳み込み方法及びウエーブレットベースド（wavelet-based）方法も、合成画像の獲得に用いることができるものとして知れられている。これとは別の周知の「画像融合」方法は、多元エネルギ機能をまとめること及びこのエネルギ機能が最小化されるような画像融合結果を決定することを確実に行う。しかしながら、これらの方法のいずれもが通常、画像全体に均一に単一方式の数学的処理を適用する。実施の詳細に応じて、そのような方法が数理集約的になるか、比較的低速な処理になり、及び／または前述の方法の欠点を分け合う。
【０００９】
更に、数多くの方法が、単一画像のエッジを特定し、かつ単一画像を分割することが知られている。しかしながら、そのような方法では、多数の原画像の中から原画像を選択して、画像の脱合焦部分に存在する可能性のある誤差を予測するとともに抑制するやり方で合成画像を生成する工夫が行われていなかった。
【００１０】
以上のように、合成画像が有用な全情報を保持し、誤差を含まず、そして人工的な加工を施されていない限りは、合成画像が有効であることを考慮して、また、高速演算の市場での要求値及び利便性を考慮して、さらにまた、被加工品の様々な予測できない特徴及び形状からロバスト性があり信頼性のある結果を得ねばならないという必要性を考慮して、改善され市場で魅力ある解決策を求める要請がある。この解決策では、時間が経過しても安定した効果を保つことができ、３次元物体の細部について高解像度、良合焦の画像を提供でき、一方で、ユーザが、３次元物体の細部を囲む領域を明確に観察または記録できることが求められる。この要請は取り分け、微視的検査及び測定用に用いられる自動マシンビジョンシステムにおいて重要である。こうしたシステムでは、処理が比較的高速であり、詳細データが保存される合成画像作成方法であって、被加工品の様々な予測できない特徴及び形状からロバスト性のある結果が提供され得る合成画像作成方法を求める要請がある。
【００１１】
本発明はこのような要請に鑑みてなされたものであって、比較的短時間に広範囲の焦点深度を有した所望の合成画像を作成し、複数の原画像内に存在する画像詳細データを保存することのできる装置及び方法を提供することを目的とする。
【００１２】
また本発明は、被加工品の様々な予測できない特徴及び形状に対して、信頼性がありロバスト性がある所望の合成画像を作成できる装置及び方法を提供することを目的とする。
【００１３】
また本発明は、或る被加工品の特徴が予測可能であるとき、なお一層の信頼性がありロバスト性がある所望の合成画像を、一層より短い時間で作成するべく容易に改造できる装置及び方法を提供することを目的とする。
【００１４】
さらに本発明は、脱合焦の特徴から生じそうな誤差を抑制すると同時に所望の合成画像を作成できる装置及び方法を提供することを目的とする。
【００１５】
【課題を解決するための手段】
上記目的を達成するために、請求項１記載の発明によれば、複数の原画像に基づき物体の少なくとも１つの部分の合成画像を作成する画像処理方法であって、前記複数の原画像の各々が少なくとも前記物体の前記部分を含み、前記複数の原画像の各々が前記物体における異なる焦点面に対応する画像処理方法において、前記原画像に対して第１の方式の解析を行う第１のステップであって、前記原画像の複数の空間位置のうち少なくとも複数の空間位置で、前記原画像のエッジ及び境界のうち少なくとも１つに対応する前記合成画像の第１の組の画素を決定する第１のステップと、前記原画像に対して第２の方式の解析を行う第２のステップであって、前記原画像の前記複数の空間位置のうち少なくとも複数の空間位置で、前記原画像の面に対応する前記合成画像の第２の組の画素を決定する第２のステップとを有し、前記第２のステップは更に、前記複数の原画像に含まれる焦点の合っていないエッジまたは境界に対応する画像誤差（artifacts）を抑制する第３のステップを有し、前記第３のステップは、前記合成画像の前記第２の組の画素内に、前記合成画像の前記第１の組の画素の各画素から少なくとも所定のセットバック距離だけ離れて位置する少なくとも１つの画素を決定する第４のステップと、前記合成画像の前記第２の組の画素内に、前記合成画像の前記第１の組の画素のうち少なくとも１つの画素から前記所定のセットバック距離より短い距離だけ離れて位置する少なくとも１つの画素を決定する第５のステップで、前記合成画像の前記第２の組の画素の前記少なくとも１つの画素のうち、前記合成画像の前記第１の組の画素の各画素から少なくとも前記所定のセットバック距離だけ離れて位置する少なくとも１つと関連した特性に少なくとも部分的に基づき決定する第５のステップとを有することを特徴とする画像処理方法が提供される。
【００１６】
また、請求項１３記載の発明によれば、画像装置と、ビジョンシステム制御部と、記憶部と、物体の少なくとも１つの部分の複数の原画像で、前記物体における複数の焦点面に対応する複数の原画像に基づき、前記物体の少なくとも前記部分における十分に焦点の合った合成画像を作成するべく作動する合成画像プロセッサとを具備したビジョンシステムにおいて、前記合成画像プロセッサが、前記原画像に対して第１の方式の解析を行うエッジ処理部であって、前記原画像の複数の空間位置のうち少なくとも複数の空間位置で、前記原画像のエッジ及び境界のうち少なくとも１つに対応する前記合成画像の第１の組の画素を決定するエッジ処理部と、前記原画像に対して第２の方式の解析を行う面処理部であって、前記原画像の前記複数の空間位置のうち少なくとも複数の空間位置で、前記原画像の面に対応する前記合成画像の第２の組の画素を決定する面処理部とを有し、前記合成画像プロセッサが前記合成画像の前記第２の組の画素を決定したとき、前記合成画像プロセッサは、前記複数の原画像に含まれる焦点の合っていないエッジまたは境界に対応する画像誤差（artifacts）を抑制すると共に、前記合成画像の前記第２の組の画素内に、前記合成画像の前記第１の組の画素の各画素から少なくとも所定のセットバック距離だけ離れて位置する少なくとも１つの画素を決定し、前記合成画像の前記第２の組の画素内に、前記合成画像の前記第１の組の画素のうち少なくとも１つの画素から前記所定のセットバック距離より短い距離だけ離れて位置する少なくとも１つの画素を、前記合成画像の前記第２の組の画素の前記少なくとも１つの画素のうち、前記合成画像の前記第１の組の画素の各画素から少なくとも前記所定のセットバック距離だけ離れて位置する少なくとも１つと関連した特性に少なくとも部分的に基づき決定することを特徴とするビジョンシステムが提供される。
【００１７】
本発明の上記及び他の特徴並びに効果は、本発明に係る装置及び方法の各種実施の形態についての以下の詳細な説明に記載され、またそれから明らかになる。
【００１８】
【発明の実施の形態】
まず簡潔明白にするために、本発明に係る装置及び方法の各種実施の形態の動作原理および設計要素を、図１に示すようなビジョンシステム１００の一実施の形態を参照して説明する。図１に示すビジョンシステムの動作の基本的な説明は、本発明の装置及び／または方法を組み入れた、いずれのビジョンシステムの理解及び設計にも適用可能である。本発明の装置及び方法はこの具体的なビジョンシステム１００と関連して説明されるが、本発明に係る装置及び方法は、別の周知のまたは今後開発されるビジョンシステムにおいても使用され得るものである。
【００１９】
図１はビジョンシステム１００を示す。図１に示すように、ビジョンシステム１００はビジョンシステム機構部１１０と制御システム部１２０とを含む。制御システム部１２０は、本発明において用いることができる合成画像構成システムを構築し、合成画像プロセッサ１５０を含む要素からなる。制御システム部分１２０は更に、本発明に従って用いることができる制御指令発生システムを構築し、下記に説明するパートプログラム発生・実行部１８０を含む要素からなる。
【００２０】
ビジョンシステム機構部１１０はステージ１１１を含む。ステージ１１１は、Ｚ軸３００に垂直な平面方向、例えばＸ軸３１０方向に沿って、ステージ１１１を除いたビジョンシステム機構部１１０の残余部に対して移動可能である。ビジョンシステム１００によって画像生成が行われるべき部品２０は、ステージ１１１の上に載置される。図１に示す部品２０は、多数の比較的平らな平面領域２４，２６，２８、多数のエッジ２５，２７、及び少なくとも１つの傾斜面領域２１を含む。光源１１７は部品２０を照明するために使用され得る。該光源１１７は単純面照明、リング照明、またはプログラム制御リング照明であり、そして、透過照明及び／または落射照明のような別の光源であってもよい。
【００２１】
光源１１７からの光は、部品２０を照明した後、レンズ系１１３を通過してカメラシステム１１４によって集められて部品２０の画像を生成する。レンズ系１１３及びカメラシステム１１４は、筐体／枠１１５に固定されて映像アセンブリ１１２を形成する。映像アセンブリ１１２は、アクチュエータ１１６によってＺ軸３００方向に移動可能である。映像アセンブリ１１２をＺ軸３００方向に動かすことによって、レンズ系１１３の焦点面が部品２０に対してＺ軸３００方向に移動される。これにより、映像アセンブリ１１２を、選択された範囲に亘って移動することと、各々において部品２０の異なる各部分が合焦されている、部品２０の１組の原画像を撮影することとが可能となる。この方法で撮影された１組の原画像は通常、ほぼ空間的に一致（congruent）となる。
【００２２】
カメラシステム１１４によって取得された各画像は信号ライン３１を経て制御システム部１２０へ出力される。図１に示すように、制御システム部１２０は制御部１２５、入出力インタフェース部１３０、記憶部１４０、パートプログラム発生・実行部１８０、ＣＡＤファイル特徴抽出部１９０、及び合成画像プロセッサ１５０を含み、各々はデータ／制御バス１３６または各要素間の直接連結部のいずれかによって互いに接続される。カメラシステム１１４は信号ライン３１を介して、アクチュエータ１１６は信号ライン３２を介して、及び光源１１７は信号ライン３３を介して、入出力インタフェース部１３０に接続される。様々な実施の形態において、入出力インタフェース部１３０は、カメラシステム１１４と相互作用するように用いることができる画像制御インタフェース部（図示せず）、アクチュエータ１１６と相互作用するように用いることができる動作制御インタフェース部（図示せず）、及び光源１１７と相互作用するように用いることができる発光制御インタフェース部（図示せず）のうち１つまたはそれ以上を含むようにしてもよい。
【００２３】
表示装置１３４及び１つ以上の入力装置１３５も入出力インタフェース部１３０に、信号ライン３４及び１つ以上の信号ライン３５をそれぞれ介して接続され得る。表示装置１３４及び１つ以上の入力装置１３５は、パートプログラムを検分し、作成し、及び変更すること、部品２０に関するＣＡＤファイル情報を入力すること、カメラシステム１１４で撮影された原画像を検分すること、合成画像を検分すること、並びに／または制御システム部１２０及び／若しくはビジョンシステム機構部１１０を直接作動させることに使用され得る。しかし、予め限定されたパートプログラムを有し、充分に自動化されたシステムでは、表示装置１３４及び／または１つ以上の入力装置１３５、並びに、対応する信号ライン３４及び／または３５は取り除かれるようにしてもよい。
【００２４】
記憶部１４０は、ビジョンシステム１００の作動の必要性に応じてデータを記録し、保持する。様々な実施の形態において記憶部１４０は、１つまたはそれ以上の原画像記憶部１４１、パートプログラム記憶部１４２、合成画像処理記憶部１４３、及び／または合成画像記憶部１４４を含む。原画像記憶部１４１は、ビジョンシステム１００を作動させたとき、カメラシステム１１４を用いて撮影された原画像を記憶する。パートプログラム記憶部１４２は、部品の特定なタイプごとにビジョンシステム１００の作動を制御することに使用される１つまたはそれ以上のパートプログラムを記憶する。合成画像処理記憶部１４３は、以下により詳細に説明するが、合成画像プロセッサ１５０の作動中に必要に応じて記録され、及び／または作成されたデータを保持する。合成画像記憶部１４４は、合成画像プロセッサ１５０によって出力された合成画像データ表示及び／または合成画像を保持する。
【００２５】
図１に示す制御システム部１２０に含まれるような代表的な合成画像プロセッサ１５０は、本発明の装置及び方法により用いることのできる合成画像プロセッサの一実施の形態である。図１の代表的な合成画像プロセッサ１５０は、エッジ／境界処理回路またはソフトウェアルーチン１６０、及び表面処理回路またはソフトウェアルーチン１７０を含み、各々はデータ／制御バス１３７か、１つ以上のアプリケーションプログラム制御インタフェースか、または各回路若しくは各ソフトウェアルーチン間の直接接続かのいずれかによって互いに接続される。データ／制御バス１３７及びデータ／制御バス１３６は、制御システム部１２０の様々な実施の形態において同一のデータ／制御バスであってもよい。
【００２６】
図１に示す代表的なエッジ／境界処理回路またはソフトウェアルーチン１６０は、複数の原画像から原画像データを処理加工し、解析された原画像に基づき、合成画像内の１組のエッジまたは境界画素を決定する。すなわち、エッジ／境界処理回路またはソフトウェアルーチン１６０は、合成画像内のエッジ及び／または境界に対応する合成画像の第１の組の画素を決定するために用いられる１組の原画像についての或る方式の解析を行うべく作動可能である。図１に示す代表的な表面処理回路またはソフトウェアルーチン１７０は、複数の原画像から原画像データを処理加工し、解析された原画像に基づき、合成画像内の１組の面画素を決定する。同様に、表面処理回路またはソフトウェアルーチン１７０は、合成画像内の面領域に対応する合成画像の第２の組の画素を決定するために用いられる１組の原画像についての或る方式の解析を行うべく作動可能である。合成画像プロセッサ１５０の各要素及び作動については、更に詳しく後述する。
【００２７】
本発明において用いることができるビジョンシステム１００についての前述の説明は概して、自動プログラム作動に適したシステムを説明していると言える。しかし、本発明で使用されるビジョンシステム１００はまた、合成画像構築コマンドを含むコマンドが、ビジョンシステム１００の手動のまたは段階的な作動の間に、１つ以上の入力装置１３５を経て手動で発行されたとき、ほぼ同様に作動するようにしてもよい。更に、ビジョンシステム１００は各構成要素及び作動パラメータに順応することができるが、一般的に下記の説明は、ビジョンシステム機構部１１０の構成及び精査対象の製作品が既に知られると、及び／または予想し得ると仮定したものである。加えて、特別に検討されることはない如何なる所要の作動条件も、マシンビジョンシステムの作動に適した公知の手順によって満たされたと仮定している。
【００２８】
マシンビジョンシステムの操作者が、ステージ１１１上に取り付けられた部品２０の或る部分のような、表面形状が観察されるべき物体（objectまたはwork、以下単に「物体」という）の特定部分の合成画像を作成しようとしたとき、操作者はビジョンシステム１００を操作して、物体のその特定部分をビジョンシステム１００の視野内に位置づける。例えば映像アセンブリ１１２の照明設定並びに位置決め及び／または焦点合わせのような各画像取得パラメータが選択され、満足のいく原画像の１つの組が提供される。映像アセンブリ１１２の位置決め及び／または焦点合わせのようなパラメータは、操作者の試行錯誤、またはイリノイ州オーロラにあるミツトヨアメリカコーポレイション（ＭＡＣ）から提供される映像検査機のクイックビジョンシリーズのような、市販された各種のマシンビジョンシステムに利用できる様々な自動化「ツール」の支援のいずれかによって獲得され得るものである。
【００２９】
映像アセンブリ１１２をＺ軸３００方向に移動させることによって、レンズ系１１３の焦点面が部品２０に対してＺ軸３００方向に移動される。これにより、映像アセンブリ１１２を選択された範囲に亘って動かすことができ、そして通常、部品２０の所望部分の重要な各特徴に、別の原画像の少なくとも１つにおいて合焦されるようになる部品２０の１組の原画像を撮影することができる。選択された範囲は、複数の原画像を得るためにＺ軸方向の複数の等距離移動に分割するようにしてもよい。或いは、例えば比較的平らな平面領域２４，２６，２８のような部品２０の重要な特徴にぴったりと焦点を合わせることを可能にするＺ軸位置、またはこれらの合焦への接近法の組み合わせが選択されるようにしてもよい。複数の原画像が原画像記憶部１４１に格納されるようにしてもよい。
【００３０】
図１に示すビジョンシステム１００の代表的な構成にとって、この方法で撮影された１組の原画像は、ほぼ空間的に一致となる。すなわち、１つの原画像における或る特定な空間位置は、別のいずれの原画像でも同じ空間位置で物体の同じ部分に対応する。合成画像を処理するためには、原画像が空間的に一致であるということが確かでないならば、複数の原画像を、例えば画像相関または別のパターンマッチング技術のような公知の技術によって解析し、これによって、複数の原画像の空間位置が空間一致を提供するように調整されるようにしてもよい。合成画像プロセッサ１５０の空間一致／特徴一致処理回路またはソフトウェアルーチン１５２は、画像が空間的に一致であるか否かを決定するために、及び／または空間位置を調整して空間一致を獲得する上記技術の１つまたはそれ以上を実行するために使用され得る。
【００３１】
操作者が、ビジョンシステム１００の表示装置１３４及び／または入力装置１３５を使って、全原画像の唯１つの部分に対応する合成画像を得たい場合、操作者は、例えば表示装置１３４上の所謂「ボックスツール」を使って、物体２０の所望部分を選択及び／または限定するようにしてもよい。この場合、如何なる後続の合成画像処理も、対応する空間位置に限定され得る。
【００３２】
前述の操作者の行動または指令のいずれかまたは全ては、パートプログラム発生・実行部１８０によって記録することができ、そして、その結果をパートプログラム記憶部１４２に格納して、例えば部品２０の異なる見本を検査及び／または記録するために後程パートプログラム発生・実行部１８０による呼び出し及び自動実行を行うようにしてもよい。以上は、本発明の装置及び方法において用いることができる複数の原画像を提供する一実施の形態の方法を説明している。しかし、本発明の装置及び方法は、ビジョンシステムの詳細、複数の原画像を得るために使用される電磁スペクトラムの部分、並びに／または複数の原画像を得るため及び／若しくは準備するために使用される作動に拘らず、どんな類似の複数の原画像にも使用可能であると言える。
【００３３】
図２は、本発明における図１の合成画像プロセッサ１５０のエッジ／境界処理回路またはソフトウェアルーチン１６０、及び表面処理回路またはソフトウェアルーチン１７０の実施の形態の概要を示すブロック図である。図２に示すように、エッジ／境界処理回路またはソフトウェアルーチン１６０は、原画像エッジ／境界処理回路またはソフトウェアルーチン１６３、及び合成画像エッジ／境界決定回路またはソフトウェアルーチン１６６を含む。表面処理回路またはソフトウェアルーチン１７０は、原画像面処理回路またはソフトウェアルーチン１７３、及び合成画像面決定回路またはソフトウェアルーチン１７６を含む。エッジ／境界処理回路またはソフトウェアルーチン１６０、及び表面処理回路またはソフトウェアルーチン１７０に対する図２に示す特定な構成は、互いに独立であってよい。したがって、エッジ／境界処理回路またはソフトウェアルーチン１６０、及び表面処理回路またはソフトウェアルーチン１７０の双方の特定な構成例が、図２に一緒に図示されるが、エッジ／境界処理回路またはソフトウェアルーチン１６０、及び表面処理回路またはソフトウェアルーチン１７０の各々は、互いに別々に動作されたり、エッジ／境界処理回路またはソフトウェアルーチン１６０、及び表面処理回路またはソフトウェアルーチン１７０の他方の別の構成例と組み合わされたりすることが可能である。そのため、図２に示すエッジ／境界処理回路またはソフトウェアルーチン１６０、及び表面処理回路またはソフトウェアルーチン１７０の特定な組み合わせ構成例は、単なる実施例であり、これに限定されることなく、すなわち本発明の本質ではないとして理解されるべきである。
【００３４】
原画像エッジ／境界処理回路またはソフトウェアルーチン１６３は、複数の原画像から原画像データを処理及び／または特徴抽出するために用いられる。合成画像エッジ／境界決定回路またはソフトウェアルーチン１６６は、原画像エッジ／境界処理回路またはソフトウェアルーチン１６３からの出力結果に基づき、合成画像内の１組のエッジまたは境界画素を決定する。様々な実施の形態において、原画像エッジ／境界処理回路またはソフトウェアルーチン１６３は、原画像内の空間位置を解析及び／または特徴づけ、及び原画像内の潜在的エッジまたは境界画素を示す結果を提供するために用いられる解析部（図示せず）を含むようにしてもよい。
【００３５】
他の様々な実施の形態において、原画像エッジ／境界処理回路またはソフトウェアルーチン１６３はまた、原画像内の潜在的エッジまたは境界画素を示す結果のいくつの遮断のために用いられる確認部（図示せず）を含むようにしてもよい。これが使用された場合、該確認部は、原画像のどれにおいても容認できる（満足できる）エッジまたは境界画素を実際に示す結果のみを残す。さらに、様々な実施の形態において、合成画像エッジ／境界決定回路またはソフトウェアルーチン１６６が、原画像エッジ／境界処理回路またはソフトウェアルーチン１６３によって得られた結果の中から、合成画像用の最上のエッジまたは境界画素を選択または限定するために用いられる選択部（図示せず）を含むようにしてもよい。他の様々な実施の形態において、合成画像エッジ／境界決定回路またはソフトウェアルーチン１６６は更に、選択部からの出力結果を細分して、例えば本発明に係る装置及び方法によって、他の方法では拒絶されない画像誤差（artifacts）を拒絶するために用いられる細分部（図示せず）を含むようにしてもよい。
【００３６】
原画像面処理回路またはソフトウェアルーチン１７３は、複数の原画像から原画像データを処理及び／または特徴抽出するために用いられる。合成画像面決定回路またはソフトウェアルーチン１７６は、原画像面処理回路またはソフトウェアルーチン１７３からの出力結果に基づき、合成画像内の１組の面画素を決定する。様々な実施の形態において、原画像面処理回路またはソフトウェアルーチン１７３は、原画像内の空間位置を解析及び／または特徴づけ、及び原画像内の潜在的面画素を示す結果を提供するために用いられる解析部（図示せず）を含むようにしてもよい。
【００３７】
さらに、様々な実施の形態において、合成画像面決定回路またはソフトウェアルーチン１７６が、原画像面処理回路またはソフトウェアルーチン１７３によって得られた結果の中から、合成画像用の最上のエッジまたは境界画素を選択または限定するために用いられる選択部（図示せず）を含むようにしてもよい。他の様々な実施の形態において、合成画像面決定回路またはソフトウェアルーチン１７６は更に、選択部からの出力結果を細分して、例えば本発明に係る装置及び方法によって、他の方法では拒絶されない画像誤差（artifacts）を拒絶するために用いられる細分部（図示せず）を含むようにしてもよい。
【００３８】
他の様々な実施の形態において、合成画像プロセッサ１５０は更に、１つ以上の空間一致及び／または特徴一致処理回路またはソフトウェアルーチン、合成画像細分処理回路またはソフトウェアルーチン、及び合成画像格納及び／または出力処理回路またはソフトウェアルーチンを含む補助回路またはソフトウェアルーチン（図示せず）を含むようにしてもよく、各々はデータ／制御バス、１つ以上のアプリケーションプログラム制御インタフェース、または各回路またはソフトウェアルーチン間の直接接続のいずれか１つによって互いに接続されるものとする。上記の補助回路またはソフトウェアルーチンによって行われる作動については更に、以下に詳しく説明する。
【００３９】
図３は、本発明における合成画像を生成する方法の一実施の形態の概要を示すフローチャートである。処理はステップＳ１００で始まってステップＳ２００に進み、物体の所望の部分の複数の原画像を獲得するために用いられるビジョンシステム動作パラメータを限定する。ビジョンシステム動作パラメータは、半自動方式により手動で、または完全に自動的に限定される。これらのパラメータの結果を通して得られる複数の原画像の一般的特性は既に説明した。次にステップＳ３００では、複数の原画像が獲得され、それらの代表データが格納される。そしてステップＳ４００で、獲得された原画像が整合されていることが確かでないならば、すなわち前に概説したように、空間的に一致であることが確かでないならば、複数の原画像が、例えば画像相関または別のパターンマッチング技術のような公知の、または今後開発される技術のどれかによって解析される。複数の原画像の代表データはこの解析に基づき、複数の原画像を空間一致におくべく調整される。この後、処理はステップＳ５００に進む。
【００４０】
ステップＳ５００では、合成画像が、全原画像枠の唯１つの部分に対応する物体の部分に対して望まれるならば、合成画像が望まれる空間位置範囲を限定する。全原画像枠の上記部分の境界は、半自動方式により手動で、または完全に自動的に限定される。後続の合成画像処理は、その部分の限定された境界、すなわち空間位置範囲に対応するべく限定して、処理時間を減少させるようにしてもよい。次いでステップＳ６００で、複数の原画像の各々が、解析された各原画像における潜在的境界画素及び／またはエッジ画素に反応しこれを示す技術を使用して特徴付けられ及び／または解析される。周知の、または今後開発されるエッジ検出方法のいずれにおいても用いられ得る広範な様々な技術が、以下に更に説明するように、本発明に係る装置及び方法の様々な実施の形態において使用し得るものである。他の様々な実施の形態において、Ｃａｎｎｙエッジ検出装置（その構造及び動作は当業者に公知である）や類似の装置のような、周知のまたは今後開発されるエッジ検出装置のどれかを、ステップＳ６００において完全な形で使用し、本発明に係る装置及び方法において用いることのできる結果を提供するようにしてもよい。次にステップＳ７００で、エッジ及び／または境界解析技術による結果が評価され、以下に更に説明するように、合成画像内の１組の「エッジ」画素が決定される。この後、処理はステップＳ８００に進む。
【００４１】
ステップＳ８００では、複数の原画像の各々が、解析された各原画像内の潜在的面画素に反応しこれを示す技術を使用して特徴付けられ及び／または解析される。本発明に係る装置及び方法の様々な実施の形態における最も広い意味において、面画素は、エッジ及び／または境界画素であると決定されない如何なる画素をも含む。周知の、または今後開発される面フォーカス方法、領域特徴づけ方法、及び／または画像分割方法のどれにおいても用いられ得る広範な様々な技術が、以下に更に説明するように、本発明に係る装置及び方法の様々な実施の形態において使用し得るものである。次にステップＳ９００において、合成画像において弱められた残りの画素に対して、すなわち予め決定されなかった合成画像におけるそれらの画素に対して、面画素解析技術の結果が合成画像内の１組の「面」画素を決定するために使用される。様々な実施の形態において、領域フィルまたは領域併合タイプの処理は、以下に更に詳しく説明するように、本発明の装置及び方法における合成画像面画素を決定するために使用される。この後、処理はステップＳ１０００に進む。
【００４２】
ステップＳ１０００では、これまでのステップで作成された合成画像表示における、何処にも属さない成分を有する空間（void、以下、単に「空間」という）も満たされる。従来の画像におけるそのような空間を補充するための各種技術が知られている。周知の、または今後開発される空間補充技術のいずれもが、本発明に係る装置及び方法の様々な実施の形態において使用し得る。しかし、様々な実施の形態において、合成画像内の空間を補充するために使用されるべき画素値に対する基礎として潜在的に使用され得る複数の原画像が存在するので、空間を補充するために使用される技術は、以下に更に説明するように、その基礎をいずれの原画像が提供するかを選択決定するための付加的な処理によって補われる。この後、処理はステップＳ１１００に進む。
【００４３】
ステップＳ１０００は任意に選択されて実行されるものであり、そのため、本発明に係る装置及び方法の様々な実施の形態において使用されるエッジ及び／または境界及び／または面の解析の詳細によっては取り除くようにしてもよい。エッジ及び／または境界及び／または面の解析が合成画像の全画素を本質的に決定するならば、空間（void）用の合成画像表示を検査することや空間を補充することは必ず必要ということではない。この場合、ステップＳ１０００は取り除かれ、処理はステップＳ９００からステップＳ１１００へスキップする。しかし、これまでのステップで合成画像の全画素が決まっていないならば、ステップＳ１０００を使って合成画像表示内の空間を補充するようにしたほうがよい。
【００４４】
ステップＳ１１００では、合成画像表示が各種の適切な形式のいずれかで記憶装置に格納され、及び／または表示装置または記録装置に出力される。様々な実施の形態では、この格納及び／または出力ステップが下記の変換処理を含むようにしてもよい。この変換処理とは、これまでのステップから得られた合成画像表示を、特定な目的にはより便利で、望ましく、及び／または有用である合成画像の後続の電子的または物理的な表示に変換する処理である。例えば、本発明に係る装置及び方法の様々な実施の形態において、これまでのステップの詳細に従って、合成画像のエッジ画素及び面画素の別々に格納されたレコードを集めて組み合わせ、または併合して、格納された合成画像の単一の表示に変換する。
【００４５】
本発明に係る装置及び方法の様々な実施の形態における更なる例として、合成画像表示が合成画像内の空間位置の「マップ」の形式をとるようにしてもよく、このマップは、実画素強度値と対照をなす機能の値またはインデックスを含むものである。更にまた、マップの全部または部分における空間解像度が、原画像内の画素の空間解像度、または「メタ画素」の形式におけるより粗い空間解像度であってもよい。したがって、そのような実施の形態では、対応する合成画像が従来の画像として有意味に表示される前に、従来のグレースケール画像データまたはカラー画像データが、そのような「マップ」表示を所望の解像度及びデータ形式に変換することによって組み合わされねばならない。ステップＳ１１００ではどんな場合でも、特定な目的にはより便利で、望ましく、及び／または有用である合成画像の所望の表示は、記憶装置に格納され、及び／または表示装置または記録装置に出力される。この後、処理はステップＳ１２００に進んで、終了する。
【００４６】
ステップＳ１００−Ｓ５００は正に、本発明の装置及び方法によって用いることのできる複数の原画像を提供する方法の一実施の形態であると言える。したがって、一般に本発明の装置及び方法、取り分けステップＳ６００−Ｓ１２００は、基礎となるビジョンシステムの詳細、複数の原画像を得るために使用される電磁スペクトラムの部分、または類似な複数の原画像を得る及び／若しくは準備するために使用される特別な処理に拘らず、どんな類似の複数の原画像にも使用可能であると言える。
【００４７】
ここで用いられている用語「境界」及び「エッジ」に関して、用語「境界」及び「エッジ」は、本発明の装置及び方法の範囲及び動作において、一般に入れ替え可能に使用される。しかし、状況によっては、用語「エッジ」が更に、物体及び／またはその物体の画像上の異なる平面間の不連続点でのエッジを意味するようにしてもよい。同様に、用語「境界」が更に、物体及び／またはその物体の画像の比較的平らな面の上の２つの色、または比較的等質な２つの表面特性の間における不連続点での境界を意味するようにしてもよい。
【００４８】
用語「境界画素」及び「エッジ画素」は、本発明の装置及び方法の範囲及び動作において、入れ替え可能に使用される。双方の用語は、画像の局所的強度変化の周辺における画素に当てはまることが意図されている。これらの局所的強度変化は、例えばグレースケール強度またはカラー強度のいずれかである。これらの局所的強度変化は通常、従来の若しくは改善された、または今後開発されるエッジ検出処理のいずれかによって検出される。同様に、用語「境界特性」及び「エッジ特性」は、本発明の装置及び方法の範囲及び動作において、入れ替え可能に使用される。両用語は、単独でまたは組み合わせて、従来の若しくは改善された、または今後開発されるエッジ検出処理のいずれかによって使用可能ないずれの特性（その数値又は特性自体）をも意味するものとする。
【００４９】
境界特性を特徴づけ、エッジを検出するために用いられる処理は、高周波空間フィルタリング、勾配解析、方向性勾配解析、勾配系列微分解析、縦横比解析、候補エッジの範囲及び／または連結性解析などを含むが、これらに限定されるものではない。勾配解析は、グレースケール強度、カラー強度、テクスチュア度合いなどのいずれか１つまたはそれ以上を含むが、これらに限定されるものではない。縦横比解析は、候補エッジの長さ対幅を査定することを含むが、これらに限定されるものではない。
【００５０】
境界及び／またはエッジ特性に反応しこれを示す上記及び別の処理は、画像処理を扱う当業者に知られており、広範な各種周知のエッジ検出技術の１つまたはそれ以上の中に含まれる。１９９５年ＭｃＧｒａｗ Ｈｉｌｌ社刊行のＲａｍｅｓｈ Ｊａｉｎ他著作の「Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ」におけるエッジ検出に関する章には、関連した教示及び参考文献が示されている。ここに示される、境界特性に反応しこれを示すとともに、画像内のエッジを見分けるために使用されるほとんど全ての処理は更に、エッジが画像内で合焦される度合いに反応しこれを示すと言うこともできる。これは、脱合焦エッジが曇らされ、そのため、合焦時や極端な脱合焦時に脱合焦エッジが全く見えないこととは異なった、強度の空間分布を脱合焦エッジが示すという理由による。
【００５１】
さらに、様々な実施の形態において、解析された原画像の全てに亘って行われて１組の合成画像エッジ画素を決定するところのエッジ検出処理を使用することが望ましいと言うこともできる。複数の空間一致原画像の解析が、空間一致原画像の少なくとも１つの中に妥当なエッジ画素が存在しているということを示す場合において、上記の１組の合成画像エッジ画素は、いずれの空間位置でもエッジ画素を含むことになる。したがって、本発明に係る装置及び方法の様々な実施の形態において、ステップＳ６００及びＳ７００に対応して前に説明した処理は、複数の原画像に亘って作動して、原画像の或るタイプの解析を行うところのエッジ検出処理を実行するべく結合することもできる。上記の或るタイプの解析は、合成画像内のエッジ及び／または境界に対応する合成画像の第１の組の画素を決定するために用いることができるものである。
【００５２】
そこで、ステップＳ６００及びＳ７００に対応して前に説明した処理は、単一のステップに対応する単一でより複雑な多画像合成エッジ検出処理という別の構成で特徴づけられるようにしてもよい。したがって、様々な実施の形態において、前述した米国特許第５，３２５，４４９号に開示される多画像融合エッジ検出装置のような、如何なる周知のまたは今後開発される多画像合成エッジ検出器をも、本発明に係る装置及び方法において用いることができる結果を提供するために使用するようにしてもよい。合成画像内のエッジ画素の決定に関する別の各処理例については、以下に更に詳しく説明する。
【００５３】
既に述べられたここで使用される用語「面画素」に関して、本発明に係る最も広い意味において、「面画素」は、境界画素及び／またはエッジ画素であるとは決定されないところの如何なる画素をも含む。加えて、本発明の装置及び方法に係る多くの実際のケースにおいて、「面画素」は、物体上の比較的よく合焦され、等質で、比較的平らな局所領域の画像を構成する画素である。ここで使用される用語「表面特性」は、単独でまたは組み合わせて、例えば面及びテクスチュア分類法のような、周知のまたは今後開発される領域特徴づけ処理または技術のいずれかによって使用可能ないずれの特性（その数値又は特性自体）をも一般的に意味する。
【００５４】
換言すれば、表面特性は、或る特定な局所近傍におけるグレイレベル及び／またはカラーレベルの統計的特性及び空間分布と関連付けられた特性である。表面特性を特徴づけるために用いられる処理は、例えば不一致解析、平均強度、別の統計的テクスチュア及び／またはコントラスト測定、フラクタル次元、テクスチュア方向性測定などを含むが、それらに限定されるものではない。不一致解析及び平均強度はそれぞれ、例えばグレイレベル値またはカラーレベル値に適用され得る。
【００５５】
表面特性に反応しこれを示す上記の及び別の処理は、画像処理を扱う当業者には知られており、広範な各種周知の面フォーカス検出（自動合焦）方法、領域／テクスチュア特徴づけ方法、及び／または画像分割方法の１つまたはそれ以上に含まれる。１９９５年ＭｃＧｒａｗ Ｈｉｌｌ社刊行のＲａｍｅｓｈ Ｊａｉｎ他著作の「Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ」におけるテクスチュア及び領域に関する章には、関連した教示及び参考文献が示されている。面領域を分類する目的で表面特性に反応しこれを示し、特にテクスチュアを分類する目的で有用である上記に示されるほとんど全ての処理は更に、面が画像内で合焦される度合いに反応しこれを示すと言うこともできる。これは、脱合焦面テクスチュアがぼやけて、そのため、脱合焦面テクスチュアが合焦時とは異なった統計的及び空間的な強度分布を示し、極端に脱合焦となったときは、均一の強度（すなわち完全に滑らかなテクスチュア）を示すという理由による。
【００５６】
合成画像内の面画素の決定に関しては、様々な実施の形態において、解析された原画像の全てに亘って動作して、他の方法では境界画素及び／またはエッジ画素の位置であると決定されない如何なる空間位置をも含むところの１組の合成面画素を決定する面画素決定処理を使用することが望ましいと言うこともできる。したがって、本発明に係る装置及び方法の様々な実施の形態において、ステップＳ８００及びＳ９００に対応して前に説明した処理は、複数の原画像に亘って作動して、原画像の或るタイプの解析を行うところの面検出処理を実行するべく結合することもできる。上記の或るタイプの解析は、合成画像内の面領域に対応する合成画像の第１の組の画素を決定するために用いることができるものである。そこで、ステップＳ８００及びＳ９００に対応して前に説明した処理は、単一のステップに対応する単一でより複雑な多画像合成面検出処理という別の構成で特徴づけられるようにしてもよい。合成画像内の面画素の決定に関する各処理例については以下に更に詳しく説明する。
【００５７】
図４は、本発明における図３のステップＳ６００の、潜在的境界画素及び／またはエッジ画素に反応しこれを示す技術を使って原画像を解析する一実施の形態の概要をより詳細に示すフローチャートである。ステップＳ６００で開始されて処理はステップＳ６１０へ進み、解析されるべき原画像が、半自動方式による手動で、または完全に自動的に決定され、または限定される。例えば、一般的な場合、１組またはそれ以上の原画像を、予め獲得し格納しているようにする。これは、処理の長い中断の後でステップＳ６００が開始された場合である。このため、特定の１組の原画像を選択し、呼び出す必要がある。別な場合には、１組の原画像が、所望の原画像領域で脱合焦の特徴をもつ画像を含むようにしてもよい。そのような原画像を解析対象から削除して処理時間を短縮するようにすることが好ましい。
【００５８】
次にステップＳ６２０では、ステップＳ６１０で解析対象として予め選択されなかった原画像の１つが、解析されるべき現状の原画像として選択される。その後ステップＳ６３０で、解析されるべき現状の原画像に対応するデータにアクセスする。特に、所望の合成画像に含まれる空間位置に対応した現状の原画像内の空間位置に対するデータにアクセスする。処理はその後ステップＳ６４０に進む。
【００５９】
ステップＳ６４０では、アクセスされた原画像データがエッジ焦点インジケータ値を提供するために、および所望の空間解像度で局所結果を提供するために、解析される。様々な実施の形態では、ステップＳ６４０で、アクセスされた原画像データが、画像の局所的強度変化に反応しこれを示す数学的またはアルゴリズム技術を使って解析される。上記局所的強度変化は、例えばグレースケール強度値の変化またはカラー強度値の変化のいずれかであることができる。
【００６０】
様々な実施の形態では、現状の原画像のデータが先ず、白レベルとの関係で正規化される。その後、それぞれ画像データの行と列の方向における２次元ガウス分布の微分係数である２つの勾配演算子が限定される。或る実施の形態では、２次元ガウス分布は、１１×１１画素の大きさ及び９画素の実効幅に設定される。公知の畳み込み演算法によれば、これらの勾配演算子は、現状の原画像中の可能な画素位置の各々で系統的に適用される。現状の原画像中の画素ごとの各勾配演算結果値を２乗して得られた各値の合計の大きさは、局所勾配値として見做される。この場合、局所勾配値はエッジ焦点インジケータ値である。このような技術は、画像処理を扱う当業者に知られている。１９９５年ＭｃＧｒａｗ Ｈｉｌｌ社刊行のＲａｍｅｓｈ Ｊａｉｎ他著作の「Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ」には、関連した教示が示されている。
【００６１】
次にステップＳ６５０において、エッジ焦点インジケータ値がメタ画素に組み合わされる。次のステップＳ６６０では、各メタ画素を表すエッジ焦点インジケータ値が決定される。エッジ焦点インジケータ値は、例えばメタ画素によって包含されたエッジ焦点インジケータ値の全てを平均化することによって決定され得る。一般的には、メタ画素が１つの原画像に対して使用される場合、メタ画像は各原画像に対して使用されるべきである。処理はその後ステップＳ６７０へ進む。
【００６２】
ステップＳ６５０及びＳ６６０は、例えば画像化された物体の特徴に関連した原画像の倍率及び解像度に応じて、及び／または合成画像処理時間を最小化することが望ましいか否かに応じて、その実行が任意に選択されるようにすることもできる。或る特定のアプリケーションで合成画像処理時間が重視されない場合、処理をステップＳ６４０から直接ステップＳ６７０へスキップする。
【００６３】
ステップＳ６７０では、決定されたエッジ焦点インジケータ値が、後から必要となる用途のために記録または格納される。空間解像度に拘らず、すなわち画素解像度かメタ画素解像度かに拘らず、現状の原画像に対するエッジ焦点インジケータ値が、所望の合成画像に含まれる空間位置を包含し、該空間位置と概ね空間一致となるようにすることができる。その後ステップＳ６８０で、決定された原画像の全てが解析されたか否かを判別する。解析されるべき原画像が未だ存在するならば、処理はステップＳ６２０へ戻る。さもなければ、図３のステップＳ６００に対応する処理が終了する。この場合、処理はステップＳ６９０へ進んで、ステップＳ７００へ移る。
【００６４】
図５は、本発明に係る図３のステップＳ７００における１組のエッジ画素を決定または選択する処理における一実施の形態の概要をより詳細に示すフローチャートである。様々な実施の形態では上記のように、エッジ画素の決定または選択は、潜在的境界画素及び／またはエッジ画素に反応しこれを示す解析技術から得られた結果を基にする。処理がステップＳ７００で開始されてステップＳ７０５へ進み、そこで、解析されるべき原画像解析結果が決定される。その後ステップＳ７１０で、決定された原画像解析結果の解析されるべき空間位置が決定される。処理はその後ステップＳ７１５へ進む。
【００６５】
本発明に係る合成画像処理の特定な構成によっては、いずれの原画像解析結果が更に解析されるべきかを決定または再決定することが必要になるかもしれない。更に解析されるべきこれらの原画像解析結果が、半自動方式による手動で、または完全に自動的に決定されまたは確定されるようにしてもよい。様々な実施の形態では、図３のステップＳ６００のような先のステップで決定または限定された原画像解析結果が、更に解析されるべき原画像解析結果を表している。
【００６６】
同様に、本発明に係る合成画像処理の特定な構成によっては、原画像解析結果のいずれの空間位置が更に解析されるべきかを決定または再決定することが必要になるかもしれない。通常、これらの空間位置は、所望の合成像に含まれる空間位置に対応する。これらは、半自動方式による手動で、または完全に自動的に決定され、または限定されるようにしてもよい。様々な実施の形態では、図３のステップＳ６００のような先のステップで決定または限定された原画像解析結果は、更に解析されるべき空間位置を表している。
【００６７】
ステップＳ７１５では、ステップ７１０で決定された空間位置の１つで、予め選択されることがなく、このステップＳ７１５による解析に向けられたものが、解析されるべき現状の空間位置として選択される。次にステップＳ７２０で、ステップＳ７０５で決定された各原画像に対応する原画像解析結果データが、解析されるべき現状の空間位置ごとにアクセスされる。換言すれば、空間一致の原画像解析結果の全てが、全原画像に対して現状の空間位置ごとにアクセスされる。
【００６８】
その後ステップＳ７２５において、アクセスされたデータが解析されて最上の原画像解析結果が決定または選択され、合成画像フォーカス値の最大化が行われる。例えば、原画像解析結果が数値表示のエッジ焦点インジケータ値であるならば、数値表示の複数のエッジ焦点インジケータ値のうちの最適な１つが選択される。様々な実施の形態において、数値表示された最適なエッジ焦点インジケータ値は最大結果値である。処理はその後ステップＳ７３０へ進む。
【００６９】
ステップＳ７３０では、選択された原画像解析結果が妥当なエッジを示しているか否かを判別する。例えば、原画像解析結果が数値で表示されたエッジ焦点インジケータ値であるならば、この原画像解析結果が数値で表示された或る閾値と比較され、該閾値を越えた値だけが、合成画像を構築するという目的に合った、妥当な、充分に合焦されたエッジを表すと見做される。原画像解析結果が妥当なエッジを表さないならば、処理はステップＳ７１５へ戻る。表すならば、処理はステップＳ７３５へ進む。
【００７０】
ステップＳ７２５及びＳ７３０に関連して説明した処理に代わる別の実施の形態においては、合成画像を構築するという目的に合った、妥当な、充分に合焦されたエッジを表すところの第１の処理済み原画像解析結果を選択することによって、処理時間を最小化するようにする。例えば、原画像解析結果が前述の数値表示されたエッジ焦点インジケータ値であるならば、数値表示の複数のエッジ焦点インジケータ値が、妥当な充分に合焦されたエッジを表し、数値表示の或る閾値と系統的に比較される。そして、該閾値を越えた第１の原画像解析結果が、合成画像を構築するための原画像解析結果として選択される。この場合、閾値を越える原画像解析結果の選択に続いて、ステップＳ７３５が実行される。一方、原画像解析結果が妥当なエッジを表さないならば、処理はステップＳ７１５に戻る。
【００７１】
ステップＳ７３５では、妥当なエッジを表すと決定された原画像解析結果及び／またはインデックス番号のような、対応する原画像の表示が、現状の空間位置に関連づけて記録または格納される。そのデータ要素及びステップＳ７３５で記録された各関連情報を「合成エッジマップ」の要素と呼ぶことは便利であると言える。しかし、これらの記録されたデータ要素が従来の意味においてマップに現実的に組み込まれるか否かに拘らず、用語「マップ」がここで使用されるときはいつでも、該用語は、基礎となるデータ要素及び各関連情報を簡便に参照することのみに使用されると理解すべきである。さらに、本発明の装置及び方法の範囲が、ここに開示された基礎となるデータ要素及び各関連情報の特定な表示に限定されるものではないと理解すべきである。
【００７２】
次にステップＳ７４０では、先に決定された解析されるべき空間位置の全てが解析されたか否かを判別する。解析されるべき空間位置が未だ存在するならば、処理はステップＳ７１５へ戻る。存在しなければ、処理はステップＳ７４５へ進む。
【００７３】
ステップＳ７４５では、合成エッジマップ内のデータを修正または細分するか否かを決定する。本発明者は、合成エッジマップを修正するか否かに関係なく、本発明の装置及び方法が、広範の様々な合成画像における合成処理による誤差（artifacts、以下、単に「誤差」という）を有効に抑制するように設定した。しかし、以下に更に詳述するように、合成エッジマップはまた、各処理によって細分されて結果として生じる合成画像内の誤差を更に抑制することができる。したがって、これらの双方の代替選択肢は、本発明の装置及び方法の範囲内にある。合成エッジマップデータを修正または細分するための判別は、例えば画像化された物体の特徴に関連する原画像の倍率及び／または解像度に依存するようにしてもよい。これらのファクタは、原画像内の微視レベルには勿論、脱合焦画像部分内に存在し得る誤差の大きさにも影響を及ぼす。
【００７４】
これに代わって、上記判別が、例えば合成画像処理時間が最小化されるか否かに依存するようにしてもよい。本発明に係る合成画像処理装置及び／または方法における特定な構成に応じて、上記判別が半自動方式による手動で、または完全に自動的に行われるようにしてもよい。或る特定のアプリケーションにおいて合成画像処理時間が重視されないならば、合成エッジマップを修正または細分することが、デフォルト条件として判別されるようにしてもよい。或いは、操作者が、反復的な製造または検査の環境において典型的に発生するような、類似の物体の類似の合成画像を以前に見ていた場合には、その操作者が、その以前の観察に基づき、少なくとも部分的にその判別を行うようにしてもよい。合成エッジマップを修正または細分することを行わないと判別されたならば、処理はステップＳ７７０へジャンプする。一方、合成エッジマップが修正または細分されるべきならば、処理はステップＳ７５０へ進む。
【００７５】
ステップＳ７５０では、合成エッジマップが細分される。すなわち、合成画像に対応する空間位置と関連するデータ、特に、以前に決定された合成エッジマップ内の妥当なエッジ結果に対応する空間位置内及びその周辺の空間位置と関連するデータを、１つまたはそれ以上の処理によって修正して、結果として生じる合成画像内の誤差を更に抑制し、及び／または結果として生じる合成画像をそうではなく強調するようにする。周知のエッジ検出方法において使用される各種公知の技術は勿論、今後開発される適切な技術も、本発明に係る装置及び方法の様々な実施の形態により用いることができる。例えば、第２微分演算子に基づく技術を合成エッジマップ内の「薄い」エッジに使用して、エッジに隣接する「ぼやけ」成分などの成分を取り除くようにしてもよい。付加的にまたは代替的に、誤差のようなものである弱いエッジ及び破片が、これらの方法によって検出され、除去されるようにしてもよい。そのような技術は画像処理を扱う当業者には知られている。Ｒａｍｅｓｈ Ｊａｉｎ他著作の「Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ」に、関連する教示が行われている。合成エッジマップ内のデータが細分された後、処理がステップＳ７７０へ進む。
【００７６】
ステップＳ７７０では、本発明に係る合成画像処理装置及び／または方法の特定な構成に応じて、合成エッジマップ内のデータが、細分されたか否かに拘らず集められ、そして合成画像内のエッジ画素を決定するために用いられる表示として格納され、及び／または出力される。空間解像度に拘らず、すなわち画素解像度かメタ画素解像度かに拘らず、合成画像内のエッジ画素の上記表示が、所望の合成画像内に含まれる空間位置を包含し、そして、該空間位置と概ね空間一致となるようにすることができる。図５に示すように、図３のステップＳ７００に対応する処理はここで完了する。この場合、処理はステップＳ７７５に進み、ここで処理はステップＳ８００に移る。
【００７７】
図６は、本発明に係る図５のステップＳ７５０の合成エッジマップの細分に用いられる１組の処理における一実施の形態の概要をより詳細に示すフローチャートである。ステップＳ７５０で開始された処理がステップＳ７５１に進み、そこで、本発明に係る合成画像処理装置及び／または方法の特定な構成に応じて、必要ならば、以前に合成エッジマップと呼ばれたデータにアクセスまたは再アクセスする。これにより、後続のステップで修正及び／または細分が行われる。その後ステップＳ７５２へ進む。
【００７８】
ステップＳ７５２では、「弱い」エッジ指示データが「強い」エッジ指示データから所定の距離内に存在するような空間位置に対応する、合成エッジマップと呼ばれるデータが、変更及び／または細分される。強いエッジは、例えば勾配解析において大きな数値となるエッジのようなもので、原画像のうち第１の原画像において部分的に脱合焦であるが、該強いエッジは、原画像のうち別の原画像においてはより合焦に近く、より実際的に画像化されるけれども、１つのエッジとして依然解析され得る。強いエッジが脱合焦であるとき、強いエッジは移転または拡張された位置で検出され得る。これは、強いエッジが脱合焦状態にある合成画像に収容されるならば、誤差を生成する傾向にある。ステップＳ７５２では、本発明の装置及び方法によって、他の方法では少なくともいくつかのそのような誤差が抑制または除去される。
【００７９】
或る実施の形態では、エッジ表示データが、５×５メタ画素に組み合わされた前述の勾配結果の形式をもつ。合成エッジマップと呼ばれるデータ内の各空間位置が系統的に解析されて、その空間位置でのエッジ表示データの元の値が、４連結空間近傍の各データの平均値よりも小さい空間位置において、エッジ表示データが取り除かれる、すなわちそれがゼロにされる。
【００８０】
次にステップＳ７５３では、現状の合成エッジマップで表示された特定な原画像及び／または焦点面が決定される。第１の実施の形態では、現状の合成エッジマップのデータで表示された一意の原画像インデックスがそれぞれ、後続の反復処理を管理するために記録される。第２の実施の形態では、複数の原画像の全てのインデックスが、後続の反復処理を管理するために使用される。次のステップＳ７５４では、ステップＳ７５３で決定された原画像の１つで、解析用に以前に選択されなかった原画像の１つが、解析されるべき現状の原画像として選択される。様々な実施の形態では、現状の原画像がその対応する原画像インデックスによって特定される。
【００８１】
ステップＳ７５５では、現状の原画像インデックスに対応する現状の合成エッジマップのデータが評価用にアクセスまたは特定される。すなわち、基礎となる現状の原画像に対応する現状の合成エッジマップの全空間位置が、現状の反復処理において影響を受けることになる。
【００８２】
次にステップＳ７５６では、基礎となる現状の原画像に対応する現状の合成エッジマップの全空間位置が解析されて、延長された「ライン」または箇所の要素ではないエッジ画素が除去される。これはさらに、現状の合成エッジマップに対応するデータに含まれるエッジを修正し、浄化する。或る実施の形態では、その解析は、前に説明した組み合わせ５×５メタ画素を参照して、すなわち「エッジメタ画素」を参照して行われる。エッジメタ画素に対応する各空間位置は系統的に解析される。５×５エッジメタ画素はそれぞれ、４つまたはそれ以上のエッジメタ画素の局所グループの一部分であることを要求され、そこでは、局所グループの各メタ画素が、局所グループ内の少なくとも１つの別の４連結近傍に接触しなければならない。孤立したエッジメタ画素がこの反復処理を行えないような空間位置にとっては、対応するエッジ表示データ及び／または原画像インデックスが取り除かれる、すなわちゼロに設定される。処理はその後ステップＳ７５７へ進む。
【００８３】
別の実施の形態では、局所グループの各メタ画素が、局所グループ内の少なくとも１つの別の８連結近傍に接触しなければならないという以外は上記の実施の形態が流用される。更に別の実施の形態では、エッジメタ画素に対応する各空間位置が４つの構成要素で系統的に侵食される。各構成要素はそれぞれ、水平、垂直、及び各斜め方向の１つにおける１メタ画素分の幅及び４メタ画素分の長さである。侵食処理に続く処理で、エッジメタ画素に対応する各空間位置が、同じ４つの構成要素によって系統的に膨張される。この処理の組み合わせは、画像処理の技術分野で「オープニング」として知られる。こうした技術は画像処理を扱う当業者に知られている。１９９５年ＭｃＧｒａｗ Ｈｉｌｌ社刊行のＲａｍｅｓｈ Ｊａｉｎ他著作の「Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ」に関連する教示が行われている。除去されたメタ画素に関して、対応するエッジ表示データ及び／または原画像インデックスが、合成エッジマップに対応するデータにおいて取り除かれる、すなわちゼロに設定される。
【００８４】
前述のステップＳ７５１−Ｓ７５６の処理は、合成エッジマップに対応するデータをさらに細分することに向けられていたので、これによって、基礎となる現状の原画像に対応するエッジ誤差（artifacts）及びノイズが更に抑制される。ステップＳ７５６での現状の反復処理の後に残る合成エッジマップデータは、基礎となる現状の原画像において適度に合焦されている「真の」エッジに対応するかもしれない。
【００８５】
ステップＳ７５７では、ステップＳ７５６で変更されたような現状の合成エッジマップ内の基礎となる現状の原画像に対応する１組の空間位置が、空間的に「拡大」されて、現状の合成エッジマップに隣接のエッジ画素が加えられる。そのように加えられた隣接画素は、エッジ画像を少し広げることになり、よく合焦された隣接のエッジと同じ原画像からステップＳ７５７で選択される。これにより、良好な合成画像が結果として発生する。或る実施の形態では、基礎となる現状の原画像に対応する前述の捨てられた１組の５×５エッジメタ画素に対して、３×３構成要素によって系統的に処理が行われ、膨張が行われる。
【００８６】
次にステップＳ７５８では、ステップＳ７５７で加えられたエッジメタ画素における空間位置ごとに、対応するエッジ表示データ及び／または原画像インデックスが、合成エッジマップに対応するデータ内に記録される。
【００８７】
その後ステップＳ７５９で、以前に決定された原画像及び／または原画像インデックスの全てに対応する全データの解析が終了したか否かが判別される。まだ解析されていないデータが残っているならば、処理はステップＳ７５４に戻り、全てのデータの解析が終了していれば、ステップＳ７６０へ進む。
【００８８】
前述のステップＳ７５１−Ｓ７５９の処理が実行された結果、現状の合成エッジマップの基礎となる全原画像に対応するデータが解析され細分され、その細分された結果が記録された。上記の各処理が実行された結果、合成画像に含まれるべき空間位置に対して、１つ以上の基礎となる原画像が、妥当なよく合焦したエッジに対応するものとして表示されることが発生し得る。したがって、ステップＳ７６０では、合成エッジマップに対応するデータに記録された、エッジ表示データ及び／または原画像インデックスを有する空間位置ごとに、基礎となるいずれの原画像が最上のエッジ画像に対応するかを決定する。例えば、ステップＳ７６０の様々な実施の形態では、エッジ表示データの最大値を特定することによって、上記決定が行われる。更に、ステップＳ７６０で、対応する最上のエッジ表示データ及び／または対応する原画像インデックスが、合成画像を決定するための基礎として、細分された合成エッジマップに対応するデータに記録される。処理はその後ステップＳ７６１へ進み、そこで、図５のステップＳ７７０に進む。
【００８９】
図７は、本発明に係る図３のステップＳ８００における、潜在的面画素に反応しこれを示す技術を使用して原画像を解析する処理の一実施の形態の概要をより詳細に示すフローチャートである。ステップＳ８００で開始された処理はステップＳ８１０へ進んで、そこで、解析されるべき原画像が半自動の手動方式により、または自動方式により決定され、または限定される。例えば通常の場合、１つまたはそれ以上の組の原画像が予め獲得され、格納されている。この場合は、処理の長い中断の後にステップＳ８００が開始された場合であり、原画像の特定な組を選択し、呼び出す必要があるかもしれない。これとは別の場合、１組の原画像が、所望の合成画像領域内の脱合焦の特徴をもつ画像を含むようにしてもよい。したがって、この場合、解析からその原画像を除去して、処理時間を短縮することが望ましい。
【００９０】
次のステップＳ８２０では、ステップＳ８１０で決定された原画像の１つで、解析用に予め選択されなかったものが、解析されるべき現状の原画像として選択される。その後ステップＳ８３０で、解析されるべき現状の原画像のデータがアクセスされる。特に、所望の合成画像に含まれる空間位置に対応する現状の原画像内の空間位置のデータがアクセスされる。この後、処理はステップＳ８４０へ進む。
【００９１】
ステップ８４０では、アクセスされた原画像データが解析されて、面焦点インジケータ値が提供されるとともに、所望の空間解像度での局所結果が提供される。ステップＳ８４０の各種実施の形態においては、アクセスされた原画像データが、画像内の局所面焦点に反応しこれを示す数学的またはアルゴリズム技術を使って解析される。局所面焦点は、例えば局所近傍におけるグレースケール強度またはカラー強度のいずれかの空間分布によって表され得る。その後、処理はステップＳ８５０へ進む。
【００９２】
ステップＳ８４０の様々な実施の形態では、現状の原画像のデータに対して系統的に処理が行われて、可能な空間位置の各々で、例えばグレイレベルのような平均画像値が、その空間位置の中央に置かれた５×５区画の空間位置に含まれる全ての画像値から決定される。結果として生じる平均局所画像値は、その空間位置の画像データ値から減算されて、対応する各空間位置に対する剰余値を生成する。結果として生じる１組の剰余値及び対応する空間位置を、便宜上ここでは「剰余画像」と呼ぶ。
【００９３】
次に、様々な実施の形態において、空間位置毎に、その空間位置の中央に置かれた５×５領域における剰余値の標準偏差が決定される。その標準偏差はその領域の剰余値の平均値によって除算され、その空間位置の面焦点インジケータ値が決定される。前述の実施の形態の面焦点インジケータ値においては、インジケータ値の小さい値が、滑らかなまたは合焦していない面領域に対応する。これと反対に、インジケータ値の大きい値は、合焦感触領域に対応する。よく合焦した面領域を示す多くの別の技術及び測定法が、画像処理を扱う当業者には知られている。そうした技術を、前述の実施の形態に代替手段として使用して、本発明の装置及び方法において用いることができる面焦点表示装置を提供するようにしてもよい。１９９５年ＭｃＧｒａｗ Ｈｉｌｌ社刊行のＲａｍｅｓｈ Ｊａｉｎ他著作の「Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ」が、関連する教示を行っている。
【００９４】
ステップＳ８５０では、面焦点インジケータ値がメタ画素に組み合わされる。次にステップＳ８６０で、各メタ画素を表す面焦点インジケータ値が決定される。面焦点インジケータ値は、例えばメタ画素によって囲まれた面焦点インジケータ値の全てを平均化することにより決定され得る。通常、メタ画素が１つの原画像に対して使用されるならば、メタ画素は各原画像に対して使用されるべきである。組み合わされた面メタ画素サイズを、以前に使用されたまたは規定されたメタ画素サイズにマッチングさせることによって、並びに、組み合わされた面メタ画素及び組み合わされたエッジメタ画素を確実に１対１に対応して整列させることによって、本発明の装置及び方法に係る演算及び記録保持を簡略化するようにしてもよい。その後、処理はステップＳ８７０へ進む。
【００９５】
例えば、画像化された物体の特徴に関する原画像の倍率及び解像度に応じて、及び／または合成画像処理時間を最小化することが望ましいか否かに応じて、ステップＳ８５０及びＳ８６０を実行するか否かを任意に選択できるようにしてもよい。或る特定なアプリケーションで合成画像処理時間が重視されないならば、処理はステップＳ８５０及びＳ８６０をスキップし、ステップＳ８４０からステップＳ８７０へ直接進む。
【００９６】
さらに、様々な実施の形態において、ステップＳ８４０−Ｓ８６０を効果的に組み合わせ、及び／または混ぜるようにしてもよい。例えば、或る実施の形態では、剰余画像をステップＳ８３０で前述したように決定する。そして、剰余画像を５×５領域の規則正しい配列に分割する。５×５領域毎に、その領域における剰余値の標準偏差を決定する。決定された標準偏差は、その領域の剰余値の平均値によって除算されて、全ての領域及び／または空間位置を表す面焦点インジケータ値が決定される。上記の実施の形態では、５×５領域のサイズが、エッジ画素処理の前述の実施の形態と関連して説明された５×５エッジメタ画素サイズに対応するべく選択されるということに注意すべきである。上記の実施の形態において、或る空間解像度で面焦点インジケータ値を検定し、その後、別の空間解像度でそのインジケータ値を組み合わせるというステップＳ８４０及びＳ８５０の処理は、事実上、併合される。
【００９７】
ステップＳ８７０では、決定された面焦点インジケータ値が、後の使用に備えて記録または格納される。空間解像度に拘らず、すなわち画素解像度かメタ画素解像度かに拘らず、現状の原画像の面焦点インジケータ値が、所望の原画像に含まれる空間位置を包含し、それと概ね空間一致となるようにしてもよい。その後、ステップＳ８８０で、決定された原画像の全ての解析が終了したか否かの判別が行われる。解析されるべき原画像が未だ存在するならば、処理はステップＳ８２０へ戻る。存在しなければ、処理はステップＳ８９０へ進んで、そこではステップＳ９００へ進む。
【００９８】
図８は、本発明に係る図３のステップＳ９００の１組の面画素を決定または選択する処理における一実施の形態の概要をより詳細に示すフローチャートである。前述したように、様々な実施の形態では、面画素の決定または選択が、潜在的面画素に反応しこれを示す解析技術から得られる結果を基に行われる。ステップＳ９００で開始された処理はステップＳ９０５へ進んで、そこで、解析されるべき原画像解析結果が決定される。本発明に係る合成画像処理の特定な構成によっては、いずれの原画像解析結果が更に解析されるべきかを決定または再決定することが必要になるかもしれない。更に解析されるべきこれらの原画像解析結果が、半自動方式による手動で、または完全に自動的に決定され、または限定されるようにしてもよい。様々な実施の形態において、図３のステップＳ８００のような先のステップで決定または限定された原画像解析結果は、更に解析されるべき原画像解析結果を表している。処理はその後ステップＳ９１０へ進む。
【００９９】
ステップＳ９１０では、付加的な処理を行って合成画像内の潜在的エッジ誤差（artifacts）を更に抑制するか否かを決定する。本発明者は、そのような付加的な処理の有無によらず、本発明の装置及び方法が、広範な様々な合成画像における誤差を有効に抑制するように設定した。しかし、ステップＳ９１５によって以下に説明する処理では、従来方法では合成画像に発生する画像誤差で、複数の原画像に含まれる脱合焦のエッジまたは境界に対応する画像誤差を、更に抑制することができる。したがって、両代替処理は、本発明の装置及び方法の範囲内にある。
【０１００】
合成画像の潜在的エッジ誤差を更に抑制する決定は、例えば画像化された物体の特徴についての原画像の倍率及び／または解像度に依存するようにしてもよい。これらのファクタは、原画像内の微視レベルには勿論、脱合焦画像部分内に存在し得る誤差の大きさにも影響を及ぼす。これに代わって、上記決定が、例えば合成画像処理時間が最小化されるか否かに依存するようにしてもよい。本発明に係る合成画像処理装置及び／または方法における特定な構成に応じて、上記判別が半自動方式による手動で、または完全に自動的に行われるようにしてもよい。
【０１０１】
或る特定のアプリケーションにおいて合成画像処理時間が重視されないならば、デフォルト条件として、合成画像内の潜在的エッジ誤差を更に抑制することが判別されるようにしてもよい。或いは操作者が、反復的な製造または検査の環境において典型的に発生するような、類似の物体の類似の合成画像を以前に見ていた場合に、その操作者が、その以前の観察に基づき、少なくとも部分的にはその判別を行うようにしてもよい。合成画像内の潜在的エッジ誤差を更に抑制することをしないと判別されたならば、処理はステップＳ９２０へジャンプする。一方、合成画像内の潜在的エッジ誤差を更に抑制すると判別されたならば、処理はステップＳ９１５へ進む。
【０１０２】
ステップＳ９１５では、潜在的エッジ誤差を更に抑制することを促進する処理を後続の面画素決定処理の間に実行する。その後ステップＳ９２０において、決定された原画像解析結果内における解析されるべき空間位置が決定される。
【０１０３】
ステップＳ９１５の様々な実施の形態では、強いエッジが脱合焦であるとき、そのような強いエッジが、直に隣接する画像の領域で誤差を生成するので、現状の合成エッジマップに対応するデータが解析されて、現状の合成エッジマップに含まれるエッジに隣接した１組の空間位置が決定される。これらの空間位置は、後続の面画素決定処理の間、エッジ誤差バッファゾーンとして扱われる。或る実施の形態では、現状の合成エッジマップに対応するデータが、前述の組み合わされた５×５エッジメタ画素に対応する。５×５構成要素を使って、すなわちメタ画素の見地から５×５構成要素を使って、現状の合成エッジマップに対応する空間位置を膨張させることに本質的に等しい処理が実行される。１組の空間位置を膨張させる方法は、画像処理を扱う当業者に知られている。Ｊａｉｎ他著作の「Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ」に、関連する教示が行われている。
【０１０４】
膨張処理の結果に対応する付加空間位置に対して、すなわち合成エッジマップに既に含まれる前記要素を除いた付加空間位置に対して、特別なデータ及び／または値が割り当てられ、及び／または記録される。この特別なデータ及び／または値によって、更なる面画素決定処理の間に、上記空間位置がエッジ誤差バッファゾーンから成るものと見きわめられる。その後、特別なルールがエッジ誤差バッファゾーンの面画素を決定するために適用される。例えば、以下に詳しく説明する実施の形態において、面画素領域がエッジ誤差バッファゾーンに「併合」するようにしてもよい。ただし、面画素領域は、エッジ誤差バッファゾーンの核となる画素から開始することは許されない。
【０１０５】
前述のエッジ誤差バッファゾーンは、現状の合成エッジマップに含まれる各エッジを通常囲んでいるゾーンとして、代わりに見做され決定されてもよい。様々な実施の形態では、各ゾーンが、そのゾーンが囲んでいるエッジ画素から所定のセットバック距離だけ離れて通常位置づけられた外側のゾーン境界を有している。このエッジからの所定のセットバック距離は、本発明の装置及び方法において用いることができる画素、メタ画素の単位、または単位の組み合わせにおいて通常規定される。
【０１０６】
本発明に係る合成画像処理装置及び／または方法の特定な構成によっては、原画像解析結果のいずれの空間位置が更に解析されるべきかをステップＳ９２０で決定または再決定することが必要になるかもしれない。通常、これらの空間位置は所望の合成画像に含まれる空間位置に対応する。これらは、半自動方式による手動で、または完全に自動的に決定され又は確定されるようにしてもよい。
【０１０７】
様々な実施の形態において、図３のステップＳ８００のような先のステップで決定または限定された原画像解析結果は、更に解析されるべき空間位置を表している。エッジ誤差バッファゾーンが下記のように決定されるならば、それらのエッジ誤差バッファゾーンに対応する空間位置も、更に解析されるべく包含される。また更に、合成エッジマップに対応して既に決定された空間位置が、更に解析されるべき空間位置から除かれるようにしてもよい。
【０１０８】
ステップＳ９２５では、ステップＳ９２０で決定された空間位置の１つで、解析用に以前に選択されなかったものが、解析されるべき現状の空間位置として選択される。次のステップＳ９３０では、ステップＳ９０５で決定された各原画像に対応する原画像解析結果データが、解析されるべき現状の空間位置に代わってアクセスされる。換言すれば、現状の空間位置に対する空間一致の原画像解析結果の全てが、全ての原画像に代わってアクセスされる。その後ステップＳ９３５で、アクセスされたデータが解析されて、合成画像フォーカス値を最大化すべく、最上の原画像解析結果が決定または選択される。例えば、原画像解析結果が数値表示された面焦点インジケータ値であるならば、数値表示の複数の面焦点インジケータ値のうちの最適な１つが選択される。様々な実施の形態において、数値表示の最適な面焦点インジケータ値は最大結果値である。処理はその後ステップＳ９４０へ進む。
【０１０９】
ステップＳ９４０では、選択された原画像解析結果が妥当な面を示しているか否かを判別する。例えば、原画像解析結果が数値表示の面焦点インジケータ値であるならば、この原画像解析結果が数値表示の或る閾値と比較され、該閾値を越えた値だけが、合成画像を構築するという目的に合った、妥当で充分に合焦された面を表すと見做される。原画像解析結果が妥当な面を表さないならば、処理はステップＳ９２５へ戻る。表すならば、処理はステップＳ９４５へ進む。
【０１１０】
ステップＳ９４５では、妥当な面を表す決定された原画像解析結果及び／またはインデックス番号のような、対応する原画像の表示が、現状の空間位置に関連づけて記録または格納される。次にステップＳ９５０で、先に決定された解析されるべき空間位置の全てが解析されたか否かを判別する。解析されるべき空間位置が未だ存在するならば、処理はステップＳ９２５へ戻る。存在しなければ、処理はステップＳ９５５へ進む。
【０１１１】
上記のデータ要素、及びステップＳ９４５で記録された各関連情報を「合成面マップ」の要素と呼ぶことは便利であると言える。しかし、これらの記録されたデータ要素が従来の意味においてマップに現実的に組み込まれるか否かに拘らず、用語「マップ」がここで使用されるときはいつでも、該用語は、基礎となるデータ要素及び各関連情報を簡便に参照することのみに使用されると理解すべきである。さらに、本発明の装置及び方法の範囲が、ここに開示された基礎となるデータ要素及び各関連情報の特定な表示に限定されるものではないと理解すべきである。
【０１１２】
ステップＳ９５５では、合成面マップ内のデータを修正または細分するか否かを決定する。本発明者は、合成面マップを修正するか否かに関係なく、本発明の装置及び方法が、広範の様々な合成画像における誤差を有効に抑制するように設定した。しかし、以下に更に詳述するように、合成面マップはまた、各処理によって細分されて、結果として生じる合成画像内の誤差を更に抑制することができる。したがって、双方の代替選択肢は、本発明の装置及び方法の範囲内にある。合成面マップデータを修正または細分するための判別は、例えば画像化された物体の特徴に関連する原画像の倍率及び／または解像度に依存するようにしてもよい。これらのファクタは、原画像内の微視レベルには勿論、脱合焦画像部分内に存在し得る誤差の大きさにも影響を及ぼす。
【０１１３】
これに代わって、上記判別が、例えば合成画像処理時間が最小化されるか否かに依存するようにしてもよい。本発明に係る合成画像処理装置及び／または方法における特定な構成に応じて、上記判別が半自動方式による手動で、または完全に自動的に行われるようにしてもよい。或る特定のアプリケーションにおいて合成画像処理時間が重視されないならば、デフォルト条件として、合成面マップを修正または細分することが判別されるようにしてもよい。或いは、操作者が、反復的な製造または検査の環境において典型的に発生するような、類似の物体の類似の合成画像を以前に見ていた場合に、その操作者が、その以前の観察に基づき、少なくとも部分的にその判別を行うようにしてもよい。合成エッジマップを修正または細分することをしないと判別されたならば、処理はステップＳ９６５へジャンプする。一方、合成面マップが修正または細分されるべきならば、処理はステップＳ９６０へ進む。
【０１１４】
ステップＳ９６０では、合成面マップが細分される。すなわち、合成画像に対応する空間位置と関連するデータ、特に、以前に決定された合成面マップ内の妥当な面結果に対応する空間位置内及びその周辺の空間位置と関連するデータが、１つまたはそれ以上の処理によって修正されて、結果として生じる合成画像内の誤差を更に抑制し、及び／または結果として生じる合成画像をそうではなく強調するようにする。処理がステップＳ９６５へ進む。
【０１１５】
各種の周知の画像強調技術は勿論、今後開発される適切な技術も、本発明に係る装置及び方法の様々な実施の形態におけるステップＳ９６０において使用できる。例えば、ステップＳ９４０で、数値表示の面焦点インジケータ値が数値表示の或る閾値と比較されて、妥当な面画素が決定されるような前述の様々な実施の形態では、合成面マップに対応するデータが、いくつかのケースで、妥当な面画素によって囲まれた空間を含むようにしてもよい。この場合、周知の空間補充技術をその空間を補充するべく使用するようにしてもよい。そうした技術は、画像処理を扱う当業者に知られている。Ｊａｉｎ他著作の「Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ」に、関連する教示が行われている。しかし、合成画像内の空間を補充するために使用されるべき画素値に対する基礎として潜在的に使用されるようにしてもよい複数の原画像が存在するので、空間補充の周知の方法は、いずれの１つのまたは複数の原画像が空間補充の基礎を提供するべきかを決定する付加的方法で補足されねばならない。
【０１１６】
いずれの１つのまたは複数の原画像が空間補充の基礎を提供するべきかを決定する付加的方法の一実施の形態では、侵食処理に、周知の技術に係る膨張処理が続く。そのとき、上記処理によって補充された各空間に対して、空間を囲んだ空間位置の原画像インデックスの平均値に最も近接した原画像インデックスに基づいて空間が補充される。別の実施の形態では、領域併合法が使用される。周知の領域併合法を使用するようにしてもよく、こうした技術は、画像処理を扱う当業者に知られている。Ｊａｉｎ他著作の「Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ」に、関連する教示が行われている。しかし、周知の空間補充方法と同様、周知の領域併合法も、いずれの１つのまたは複数の原画像が、併合領域に加えられるべき画素値に対する基礎を提供するべきかを決定する付加的方法で補足されねばならない。合成面マップの細分に用いられる領域併合処理の一実施の形態を、図９を参照して更に以下に説明する。
【０１１７】
ステップＳ９６５では、本発明に係る合成画像処理装置及び／または方法の特定な構成に応じて、合成面マップ内のデータが、細分されたか否かに拘らず、合成画像内の面画素を決定するために用いられる表示として格納され、及び／または出力される。処理はステップＳ９７０に進み、ここで処理はステップＳ１０００に移る。
【０１１８】
様々な実施の形態では、合成面マップに対応するデータが、以前に決定された合成エッジマップ及び／または合成画像に対応するデータに組み合わされる。この組み合わされた面及びエッジ画素が、合成画像を決定するために用いられる表示として格納され、及び／または出力される。空間解像度に拘らず、すなわち画素解像度かメタ画素解像度かに拘らず、合成画像内の面画素及び／またはエッジ画素の上記表示が、所望の合成画像内に含まれる空間位置を包含し、そして、該空間位置と概ね空間一致となるようにすることができる。これにより、合成画像の空間一致の面画素及び／またはエッジ画素が、上記表示から或る画素解像度で決定される。
【０１１９】
例えば、様々な実施の形態で、面画素データ及び／またはエッジ画素データが、合成画像表示において、面メタ画素及び／またはエッジメタ画素の形式でそれぞれ表示される。特定な面メタ画素及び／またはエッジメタ画素とそれぞれ空間一致である面画素及び／またはエッジ画素は各々、その面メタ画素の原画像インデックスに対応する原画像の対応空間一致画素に基づき、画像値を与えられる。
【０１２０】
図９は、本発明に係る図８のステップＳ９６０の合成面マップを細分する処理における一実施の形態の概要をより詳細に示すフローチャートである。ステップＳ９６０で開始された処理はステップＳ９６１へ進んで、そこで、本発明に係る合成画像処理装置及び／または方法の特定な構成に応じて、必要ならば、合成面マップの現状のデータ表示にアクセス／再サクセスする。これにより、合成面マップの現状のデータ表示が後続のステップにおいて変更及び／または細分される。処理はその後ステップＳ９６２へ進む。
【０１２１】
ステップＳ９６２では、例えば図８のステップＳ９１０−Ｓ９１５において前述したように、エッジ誤差バッファゾーンから成る空間位置を特定する処理が以前に実行されたか否かを判別する。エッジ誤差バッファゾーンから成る空間位置を特定する処理が以前に実行されていないと判別されたならば、または、様々な実施の形態で、そうした以前の処理が無視されているならば、処理はステップＳ９６４へ進む。一方、以前に決定されたエッジ誤差バッファゾーンを後続の処理において使用して、合成画像の潜在的エッジ誤差を更に抑制すると決定されたならば、処理はステップＳ９６３へ進む。
【０１２２】
ステップＳ９６３では、エッジ誤差バッファゾーンの現状のデータ表示が、必要なときにアクセスまたは再アクセスされ、これによって、そのゾーンに含まれる空間位置が、合成画像の面画素を決定／細分する後続のステップにおける特別のバッファゾーン補充処理によって特定され、補充され得る。その後ステップＳ９６４で、現状の合成面マップに対応するデータが、限定された焦点面範囲を示す面領域に分割される。すなわち、現状の合成面マップが複数の面領域に分割されるが、それらの面領域では、面領域に含まれる全ての空間位置の画像データが、空間的に隣接する限られた数の原画像焦点面に対応している。処理はその後ステップＳ９６５へ進む。
【０１２３】
様々な実施の形態において、ステップＳ９６３に対応する処理が実行されるならば、エッジ誤差バッファゾーンに対応するデータを現状の合成面マップに含めるようにしてもよい。さらに、様々な実施の形態において、空間的に隣接する原画像焦点面を、連続する原画像インデックスによって都合よく示すようにしてもよい。或る実施の形態では、現状の合成面マップに対応するデータが、前述の５×５面メタ画素の形式となり、通常、含有された各画素に適合する対応の原画像インデックスを含む。上記実施の形態では、再帰的な領域併合アルゴリズムが、現状の合成面マップに対応するデータに適用される。
【０１２４】
この再帰的領域併合技術の或る実施の形態では、現状の合成面マップデータが、最大面焦点インジケータ値を有するメタ画素空間位置を求めて系統的に探索される。以下に説明する理由により、最大面焦点インジケータ値もゼロよりも大きい値であるべきである。その後、そのメタ画素空間位置は、限られた焦点面範囲を有した面領域を併合させる第１の核として設定される。次に、第１の核の原画像インデックスのうちプラスまたはマイナス２の増加量の範囲内にある原画像インデックスを有する第１の核の４連結近傍の全てを、その領域に含むことにより、その領域が第１の核の周囲で併合される。続いて、その領域に加えられた各近傍が第２の核と見做される。第１の核の原画像インデックスのうちプラスまたはマイナス２の範囲内にある原画像インデックスを有する各第２の核の４連結近傍の各々も、その領域に加えられる。そのような加えられた近傍がそれぞれ、付加的な第２の核となる。これが、領域がそれ以上併合できなくなるまで繰り返される。
【０１２５】
種々の実施の形態において、そのように決定された全領域サイズが、例えば３メタ画素のような閾値サイズよりも小さいならば、その領域の要素は、ゼロの面焦点インジケータ値を割り当てられ、割り当てられなかった要素のたまりに戻される。最小閾値サイズを求めるステップは、ノイズ及び／または微小な脱合焦面分子及び同種のものによって発生する小さな面誤差を抑制することに役立つ。その逆に、現在または以前の領域併合反復処理において領域と関連づけられた空間位置はいずれも、後続の再帰処理において検討されない。
【０１２６】
領域がもはや併合できないとき、再帰的アルゴリズムの実行が新しい領域に対して繰り返され、最大面焦点インジケータ値を有する次の空間位置を求める探索が開始される。この次の空間位置は新しい領域の新しい第１の核となる。再帰的領域併合アルゴリズムは、現状の合成面マップに含まれる全空間位置が、限られた焦点面範囲を示す面領域に含まれるまで繰り返される、または、限られた焦点面範囲の面領域と関連付けられない「視覚的に些細な」数の散在する画素のみを残すべく、予め決められた回数だけ反復処理が繰り返される。
【０１２７】
様々な実施の形態において、再帰的領域併合アルゴリズムの実行の間ずっと、エッジ誤差バッファゾーンにおける空間位置に対応する第１の核が通常選択されないので、脱合焦エッジ誤差が更に抑制され得る。或る実施の形態では、これは、ゼロの特別な値を上記のエッジ誤差バッファゾーン空間位置用の面焦点インジケータ値として割り当てることによって達成され、そのようなエッジ誤差バッファゾーン空間位置は「最大核」になることはない。
【０１２８】
しかし、エッジ誤差バッファゾーンの空間位置は勿論、上記の閾値最小サイズに到達できない領域の空間位置にも、該空間位置を包含し併合する隣接面領域を結合することが、通常望ましいとして許されるようにすることができる。この結合は、そのような空間位置が、直に隣接する面領域と同一の焦点面で最もよく合焦されそうであるという簡単な理由により行われる。したがって、再帰的面領域併合アルゴリズムの実行の間ずっと、領域がゼロの面焦点インジケータ値を有した近傍を含むべく併合するときはいつでも、現状の第１の核の原画像インデックスに拘らず、その近傍が上記領域に含まれる。
【０１２９】
ステップＳ９６４の処理の前述の実施の形態において、近傍を領域に収容するための基礎として選択された原画像インデックスの範囲が通常、隣接する原画像の間の焦点面ステップに関連した複数の原画像の焦点深度に依存するようにすることができる。例えば、様々な各実施の形態では、面領域で許される公称焦点面範囲を、第１の核に対応する原画像の視界の深さの１，２または３倍を越えて広がらないように設定するようにしてもよい。原画像焦点面が比較的接近している場合、或る領域で許された公称焦点面範囲に対応する原画像インデックスの数は、相対的により大きくなる。反対に原画像焦点面が比較的離れている場合、或る領域で許された公称焦点面範囲に対応する原画像インデックスの数は、相対的により小さくなる。別の様々な実施の形態では、８連結近傍を、前述の面領域併合処理で使用される４連結近傍に代わるものして考慮することもできる。
【０１３０】
更に、前述の単一原画像インデックス基準を無効及び／または補足するために別の面領域所属基準を付加し、これによって、より大きな領域が結果的に生じるようにしてもよい。例えば、さらに別の実施の形態において、第１の核からの特定の近傍の距離が、近傍及び第１の核の関連した面焦点インジケータ値と一緒に考慮され、及び／または近傍と第１の核との間の原画像インデックスにおける相違点で考慮される。近傍を領域に収容するための基準として役立つこれらの各種ファクタの間の所望の関係は、合成画像装置の予想される用途を表す多数の画像に対する試行錯誤によって決定される。そのような実施の形態では、顕著性が高いテクスチュアを含まない緩やかに起伏または傾斜する面部分が領域に含まれてもよく、その上、所望の合成画像が得られるようにしてもよい。
【０１３１】
また、様々な実施の形態において、空間的な空間（void）が、前述の面画素決定処理から得られた合成面マップに対応するデータに残るようにしてもよい。そのような実施の形態では、これにより、そのような空間を特定し、最も近接した近傍の原画像インデックスを、各空間と関連した空間位置に割り当てる処理が実行される。最も近接した近傍が２つ以上存在するならば、最も近接した近傍を決定するために用いられる処理において役立つ技術によって、最も近接した近傍のいずれもの原画像インデックスを空間に割り当てるようにしてもよい。
【０１３２】
ステップＳ９６５では、前述のステップＳ９８４の処理で決定された面領域の各々を解析し、各面領域の平均原画像インデックスを決定する。各面領域にとって、その領域の平均原画像インデックスは、その領域に含まれる全空間位置の原画像インデックスの全ての平均である。
【０１３３】
次のステップＳ９６６では、ステップＳ９６４−Ｓ９６５で解析された面領域ごとに、領域に含まれる空間位置の全てを、その領域の平均原画像インデックスに値が最も近い原画像インデックスに割り当てる。平均原画像インデックスは、領域に含まれる各空間位置にそれぞれ対応した焦点面の全てを最もよく表していると見做された焦点面を有する原画像に対応する。処理はその後ステップＳ９７６に進み、そこでステップＳ９７０へ移る。
【０１３４】
合成画像の面画素が、ステップＳ９６６で割り当てられた原画像インデックスに基づき構成されるとき、或る特定な面領域に対応する原画像の各部分を、単一の原画像に基礎付けるようにすることができる。この方法では、前述の実施の形態の処理が、本発明の装置及び方法によって、他の方法では除去されることのない少なくともいくつかの脱合焦誤差を抑制または除去する。
【０１３５】
前述したように、図８のステップＳ９７０の実行に続いて、処理は、図３のステップＳ１０００に進む。図３のステップＳ１０００に対応する処理の一実施の形態では、図９に示す各ステップから得られる合成画像表示が、依然として空間を含むようにしてもよい。すなわち、限られた数の空間位置が、合成画像画素が決定されずに残っているところに残るようにしてもよい。例えば、使用された特定の面画素決定処理の詳細に応じて、特に、エッジ誤差バッファゾーンを提供する各種実施の形態では、空間が、エッジ誤差バッファゾーンの近くの空間位置で発生するようなことがあってもよい。そのような場合、現状の合成画像表示内のこれらの空間及び別の空間を補充することが、ステップＳ１０００の部分として実行されることが好ましい。
【０１３６】
ステップＳ１０００に対応する処理の一実施の形態では、合成画像内の決定された全画素に対応する原画像及び／または原画像インデックスが、前述の方法によって識別される。空間を補充するため、合成画像表示に含まれた一意の原画像及び／または原画像インデックスの各々に対応する合成画像表示内の空間位置に対して、下記処理の別々の反復において処理が行われる。すなわち最初に、一意の原画像インデックスの１つが現状の反復の原画像インデックスとして選択される。次に、そのインデックスに対応する合成画像表示内の空間位置が、例えば周知の膨張法による３×３画素といった所定のサイズの構成要素を使用して膨張される。現状の反復の膨張処理によって「加えられた」空間位置の各々に対して、現状の原画像インデックスが、合成画像のその空間位置に対する基礎として割り当てられる。しかし、この実施の形態では、後続の膨張処理が、合成画像表示で予め決定された空間位置に対する基礎を決して無効にすることはないということができる。そして、これらの処理は、合成画像表示に含まれる原画像インデックスの全てに対して処理が終了するまで、別の原画像インデックスに対して繰り返し実行される。原画像の表示に含まれる原画像インデックスの全てに対応する１組の反復処理の１つの試みの後、全部の空間が補充されないならば、全処理が繰り返される。
【０１３７】
前述の処理の別の実施の形態では、後続の膨張処理が、予め決められた空間位置であって、前回の膨張処理によって補充された空間である空間位置にのみ対する原画像インデックスの基礎を無効にするようにしてもよい。一実施の形態では、含まれる全ての原画像インデックスに対する特定な試みの後、特定の空間位置が２またはそれ以上の原画像インデックスに割り当てられたならば、最も高い値の面焦点インジケータ値またはエッジ焦点インジケータ値に対応する原画像インデックスが、その空間位置に対する基礎として使用される。さらにまた、対応するインジケータ値の全てが同じタイプではないならば、最上の面焦点インジケータ値に対応する原画像インデックスが使用される。
【０１３８】
つぎに、図３のステップＳ６００及び／またはＳ７００に対応する処理についての更なる説明に戻る。本発明に係る装置及び方法における様々な実施の形態では、合成画像で示されるべき物体の部分に関する付加的な予備情報を入手できるとき、合成画像の誤差が更に抑制され、合成画像処理時間が短縮される。例えば、物体を表すＣＡＤファイルのような情報、またはほぼ同一の物体の先の合成画像を、マシンビジョンシステムの産業上の応用において頻繁に利用することができる。
【０１３９】
ＣＡＤファイル表示の場合、ＣＡＤファイル表示におけるエッジ及び境界の位置を、ＣＡＤファイル特徴抽出の各種周知の方法によって、ＣＡＤ表示から、半自動方式による手動で、または完全に自動的に決定するようにしてもよい。その場合、対応の物体の現状の組の原画像における対応のエッジ及び境界の空間位置は、空間一致及び／または特徴一致画像処理における更なる各種周知の半自動または完全自動の方法によって決定されるようにしてもよい。これらの方法は、例えば座標マッチング、パターンマッチング、テンプレートマッチング、及び同種のものを含むようにしてもよい。そうした方法は、例えば、イリノイ州オーロラにあるミツトヨアメリカコーポレイション（ＭＡＣ）から提供される映像検査機のクイックビジョンシリーズのような、様々な市販のマシンビジョンシステムにおいて物体上のエッジ及び境界の位置の検出に日常的に使用される。
【０１４０】
本発明の装置及び方法によって所望の先の合成画像が入手できるとき、その合成画像のエッジ画素の空間位置も入手できる。ほぼ同一の物体のそのような所望の先の合成画像が、各種公知の方法によって得られた現状の原画像と空間的に一致になるようにしてもよい。これらの方法は、例えば座標マッチング、パターンマッチング、テンプレートマッチング、画像相関、及び同種のものを含むようにしてもよい。これにより、現状の原画像のエッジの対応する空間位置が特定され得る。そのような前もって存在するＣＡＤ及び／または所望の合成画像表示の場合、合成画像のエッジ画素を決定するためのここで説明した全ての処理が、前もって存在するＣＡＤ及び／または所望の合成画像表示における決定されたエッジの周辺の空間位置に限定されるようにしてもよい。これにより、他の方法では画像の別の部分でエッジ解析処理によって発生する誤差及び異常子が、効果的に抑制される。加えて、関連する合成画像処理が、空間位置を余り考慮せずに行われ、より迅速に終了する。
【０１４１】
つぎに図１０−１３に移って、図１０は、電子組み立て物体の第１の面に位置づけられた焦点面を有する第１の原画像を示し、本発明の装置及び方法による合成画像を構築するために用いられる原画像を例示するものである。図１０に示す原画像は、原画像の左右の端で比較的よく合焦されているが、中心部分では概して脱合焦となっていると認められる。図１１は、電子組み立て物体の第２の面に位置づけられた焦点面を有する第２の原画像を示し、やはり本発明の装置及び方法による合成画像を構築するために用いられる原画像を例示するものである。図１１に示す原画像は、原画像の中心付近で比較的よく合焦されているが、左右端部分では概して脱合焦となっていると認められる。図１０及び図１１の原画像は、イリノイ州オーロラにあるミツトヨアメリカコーポレイション（ＭＡＣ）から提供される映像検査機のクイックビジョンシリーズのような市販のマシンビジョンシステムを使用して得られたものである。
【０１４２】
これらの２つの代表的な原画像はそれぞれ、隣接する原画像どうしが０．１ｍｍ焦点面間隔だけ離れた１１枚の原画像からの表示体である。各表示体のグレースケール情報は、システムカメラの２．５倍率のレンズと、操作者が決めた照明設定とを使用して撮影し得られたものである。図１０に示す原画像は、割り当てられた原画像インデックスが５であるものに対応し、一方、図１１に示す原画像は、割り当てられた原画像インデックスが１０であるものに対応する。したがって、これらの２つの画像は、０．５ｍｍだけ離れた焦点面に対応する。
【０１４３】
図１２は、各表示体に基づき決定された合成画像マップの表示を示し、本発明の装置及び方法により選択及び解析されたものである。図１２では、見やすくするために、データ表示が、２次元合成画像マップのリテラル形式で示される。図１２の或る特定な空間位置において中間濃淡で示される各部は、その空間位置の合成画像を決定するための基礎として使用されるべき別の特定の原画像を表す。
【０１４４】
図１３は、図１２に示した合成画像マップにより決定された合成画像である。図１３に示す合成画像は、合成画像の全ての部分で比較的よく合焦されていると認められる。図１３に示す合成画像の各空間位置では、合成画像が、特定の原画像からその空間位置で原画像を単にコピーすることにより決定され、この特定の原画像は、その空間位置で合成画像の画像値を決定するための基礎として原画像マップによって示される。図１３の合成画像を更に強調するために、付加的な画像処理は用いられなかった。しかし、合成画像の主観的な品質を改善するために用いることのできる付加的な強調手段が、本発明に係る装置及び方法の範囲内にある。そのような強調手段は、画像処理を扱う当業者に知られた各種フィルタ及び平滑化技術を含むが、それらに限定されるものではない。周知のまたは今後開発される適切な画像強調技術が、上記の合成画像を強調するために使用され得る。
【０１４５】
様々な実施の形態において、図１に示す制御システム部１２０は、プログラム制御の汎用コンピュータを使って実現されるようにしてもよい。ただし、制御システム部１２０はまた、特別な目的のためのコンピュータ、プログラム制御のマイクロプロセッサ若しくはマイクロコントローラ及び周辺集積回路要素、ＡＳＩＣ若しくは別の集積回路、ディジタル信号プロセッサ、離散要素回路のような配線電子若しくは論理回路、ＰＬＤ，ＰＬＡ，ＦＰＧＡ，若しくはＰＡＬのようなプログラム制御の論理デバイス、または同種のものによって実現され得る。通常、図２−８に示すフローチャートに対応する各処理を順番に実行することが可能な有限状態機械を実現することのできるデバイスを、さもなければここで説明するようなデバイスを、制御システム部１２０を実現するために使用することができる。図１の制御システム部１２０に示される各回路がとる特定の形態は、設計上の単なる選択にすぎず、当業者には自明かつ予測可能なものとなる。
【０１４６】
図１において、様々な実施の形態における記憶部１４０の変更可能な部分を、揮発性か不揮発性に拘らず、スタティック若しくはダイナミックＲＡＭ、フロッピー（登録商標）ディスク及びディスクドライブ、書き換え可能若しくは再書き換え可能光ディスク及びディスクドライブ、ハードドライブ、フラッシュメモリ、または同種のもののうちの１つまたはそれ以上を使って実現することができる。図１における記憶部１４０の通常のスタティック部分は、様々な実施の形態において、ＲＯＭを使用して実現される。しかし、このスタティック部分を、ＰＲＯＭ，ＥＰＲＯＭ，ＥＥＰＲＯＭのような別の不揮発性メモリ、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭのような光ＲＯＭディスク及びディスクドライブ、上記に示したようなフラッシュメモリ若しくは別の変更可能なメモリ、または同種のものを使って実現することもできる。以上のように、図１に示す記憶部４０を、変更可能で、揮発性若しくは不揮発性のメモリまたは変更不可能、すなわち固定のメモリの適当な組み合わせを用いて実現することができる。
【０１４７】
更に、制御システム部１２０を、プログラム制御の汎用コンピュータ、特定目的のコンピュータ、マイクロプロセッサ、または同種のものにおいて実行されるソフトウェアとして実現することができる。この場合、制御システム部１２０を、ビジョンシステム１００に埋め込まれたルーチンとして、サーバに常駐する資源として、または同種のものによって実現することができる。制御システム部１２０をまた、ソフトウェア及び／またはハードウェアシステムに物理的に合体することによって実現することもできる。
【０１４８】
本発明によれば、ビジョンシステムに結合可能な演算装置において実行できる制御プログラムを格納した記憶媒体が提供される。前記制御プログラムは、物体の少なくとも１つの部分の複数の原画像で、前記物体における複数の焦点面に対応する複数の原画像に基づき、前記物体の少なくとも前記部分における十分に合焦された合成画像を作成するための指示を含む。前記指示は、焦点及び少なくとも１つの境界特性に反応する第１の解析技術によって、前記原画像の複数の空間位置で前記原画像を解析するための指示と、前記第１の解析技術による解析結果に基づいて前記合成画像の第１の組の画素を決定するための指示と、焦点及び少なくとも１つの表面特性に反応する第２の解析技術によって、前記原画像の複数の空間位置で前記原画像を解析するための指示と、前記第２の解析技術による解析結果に基づいて前記第１の組の画素の外側の前記合成画像の第２の組の画素を決定するための指示とを有することを特徴とする。
【０１４９】
また本発明によれば、ビジョンシステムに結合可能で制御プログラムを実行するための装置に該制御プログラムを送信するために符合化された搬送波が提供される。前記制御プログラムは、物体の少なくとも１つの部分の複数の原画像で、前記物体における複数の焦点面に対応する複数の原画像に基づき、前記物体の少なくとも前記部分における十分に合焦された合成画像を作成するための指示を含む。前記指示は、焦点及び少なくとも１つの境界特性に反応する第１の解析技術によって、前記原画像の複数の空間位置で前記原画像を解析するための指示と、前記第１の解析技術による解析結果に基づいて前記合成画像の第１の組の画素を決定するための指示と、焦点及び少なくとも１つの表面特性に反応する第２の解析技術によって、前記原画像の複数の空間位置で前記原画像を解析するための指示と、前記第２の解析技術による解析結果に基づいて前記第１の組の画素の外側の前記合成画像の第２の組の画素を決定するための指示とを有することを特徴とする。
【０１５０】
本発明を上記に概説された実施の形態と関連して説明したが、多くの代替案、変更及び変形が、当業者にとり可能であることは明らかである。したがって、上記に明らかにした本発明の実施の形態は例示的なものであって、本発明はこれに限定されるものではない。各種の変更を、本発明の精神及び範囲を逸脱することなく行うことができる。
【０１５１】
【発明の効果】
以上詳述したように本発明によれば、物体の複数の原画像が撮影され、撮影された各原画像が、原画像の公称焦点面で物体の異なる面を示す。原画像は空間一致で獲得されるか、または原画像のデータ表示が空間一致となるべく相互に調整される。広範囲な焦点深度を有する合成画像を、原画像のよく合焦されたエッジ及び／または境界を特定することによって作成することができる。合成画像の特定なエッジまたは境界の各々は、特定なエッジまたは境界の各々のうちの最上に合焦された実例を備えた原画像に通常基づいて決定される。また合成画像を、原画像のよく合焦された面を特定することによって作成することができる。合成画像の特定な面部分の各々は、特定な面部分の各々のうちの最上に合焦された実例を備えた原画像に通常基づいて決定される。
【０１５２】
また、合成画像が階層的に発生される。すなわち、明らかによく合焦された面部分がエッジまたは境界と同じ空間位置で特定されるか否かに拘らず、決定されたエッジまたは境界が、合成画像における優先権を与えられる。これにより、境界及びエッジの付近で合成画像の誤差を抑制することができる。
【０１５３】
また、付加的なバッファゾーンが、決定されたエッジまたは境界に直に隣接して設けられる。これらのバッファゾーンで合成画像を生成することにより、原画像の「面領域に一面ににじみ出て」、面解析の間に例外の結果をもたらす脱合焦エッジによって、さもなければ生成される筈の誤差を抑制することができる。
【０１５４】
また、合成画像に対する基礎を最初に提供する、決定され、よく合焦された面部分を、隣接する面部分の原画像面に対する、対応する原画像の面についての考察に基づき修正することができる。
【０１５５】
さらに、従来の方法に比べ、合成画像の詳細データを保存している間に、合成画像を比較的迅速に作成することができる。結果的に得られる合成画像を、被加工品の様々な予測不可能な特徴及び形状を考慮して、ロバスト性のあるものに構成することができ、同時に、結果的に得られる合成画像の脱合焦の誤差を抑制、すなわち削減することができる。
【図面の簡単な説明】
【図１】本発明に係る合成画像作成装置を有するビジョンシステムの一実施の形態のブロック図である。
【図２】本発明における図１の合成画像プロセッサの実施の形態の概要をより詳細に示すブロック図である。
【図３】本発明における合成画像を生成する方法の一実施の形態の概要を示すフローチャートである。
【図４】本発明に係る図３に示す、潜在的境界画素及び／またはエッジ画素に反応しこれを示す技術を使って原画像を解析するステップの一実施の形態の概要をより詳細に示すフローチャートである。
【図５】本発明に係る図３に示す、１組のエッジ画素を決定または選択するステップの一実施の形態の概要をより詳細に示すフローチャートである。
【図６】本発明に係る図５に示す、合成エッジマップを細分するステップの一実施の形態の概要をより詳細に示すフローチャートである。
【図７】本発明に係る図３に示す、潜在的面画素に反応しこれを示す技術を使用して原画像を解析するステップの一実施の形態の概要をより詳細に示すフローチャートである。
【図８】本発明に係る図３に示す、１組の面画素を決定または選択するステップの一実施の形態の概要をより詳細に示すフローチャートである。
【図９】本発明に係る図８に示す、合成面マップを細分するステップの一実施の形態の概要をより詳細に示すフローチャートである。
【図１０】物体の第１の面に位置づけられた焦点面を有する第１の原画像を示す図である。
【図１１】物体の第２の面に位置づけられた焦点面を有する第２の原画像を示す図である。
【図１２】図９及び図１０に示す原画像を含む１組の原画像に基づき、本発明によって決定される合成画像マップを示す図である。
【図１３】図１２に示す合成画像マップ及び図９及び図１０に示す原画像を含む１組の原画像に基づき、本発明によって決定される合成画像を示す図である。
【符号の説明】
２０  部品
２１  傾斜面領域
２４  平面領域
２５  エッジ
２６  平面領域
２７  エッジ
２８  平面領域
３１  信号ライン
３２  信号ライン
３３  信号ライン
３４  信号ライン
３５  信号ライン
１００  ビジョンシステム
１１０  ビジョンシステム機構部
１１１  ステージ
１１２  映像アセンブリ
１１３  レンズ系
１１４  カメラシステム
１１５  筐体／枠
１１６  アクチュエータ
１１７  光源
１２０  制御システム部
１２５  制御部
１３０  入出力インタフェース部
１３４  表示装置
１３５  入力装置
１３６  データ／制御バス
１３７  データ／制御バス
１４０  記憶部
１４１  原画像記憶部
１４２  パートプログラム記憶部
１４３  合成画像処理記憶部
１４４  合成画像記憶部
１５０  合成画像プロセッサ
１５２  空間一致／特徴一致処理回路またはソフトウェアルーチン
１６０  エッジ／境界処理回路またはソフトウェアルーチン
１６３  原画像エッジ／境界処理回路またはソフトウェアルーチン
１６６  合成画像エッジ／境界決定回路またはソフトウェアルーチン
１７０  表面処理回路またはソフトウェアルーチン
１７３  原画像面処理回路またはソフトウェアルーチン
１７６  合成画像面決定回路またはソフトウェアルーチン
１８０  パートプログラム発生・実行部
１９０  ＣＡＤファイル特徴抽出部
３００  Ｚ軸
３１０  Ｘ軸
【図１】
0004188624.tif 000002
【図２】
0004188624.tif 000003
【図３】
0004188624.tif 000004
【図４】
0004188624.tif 000005
【図５】
0004188624.tif 000006
【図６】
0004188624.tif 000007
【図７】
0004188624.tif 000008
【図８】
0004188624.tif 000009
【図９】
0004188624.tif 000010
【図１０】
0004188624.tif 000011
【図１１】
0004188624.tif 000012
【図１２】
0004188624.tif 000013
【図１３】
0004188624.tif 000014