(57)【要約】      （修正有）【課題】空気介在物の解析方法を提供する。【解決手段】空気介在物の解析方法は、原本画像及びフィルタ処理された画像５から形成された差分画像のデータに対し、画像処理を行う。閉鎖容積内の空気介在物５１は、例えば接着点、はんだ接合部又は溶接継目の場合に生じ得る。半導体部品又はマイクロ電子部品用の接着層の分野では、各接着面をその中に存在する空気介在物の割合に関して特徴付けることが重要である。空気介在物を正確に特徴付けられるほど、接着面が使用不能な不合格品か否かをより確実に判定することができる。特定のピクセルにおける空気介在物の存在の確率に基づき画像内の空気介在物の割合を計算する方法によって、接着面を特徴付ける。これにより、互いに確率的に結合された少なくとも２つの特徴の条件付き確率の結び付けを、この画像領域に対して行うことができる。【選択図】図４
2019061668.tif 000002
【特許請求の範囲】
【請求項１】
閉鎖容積内の介在物（５１）を該容積の画像（１）に基づいて決定する方法であって、個々のピクセルについて、前記ピクセルの第１の特徴に対する閾値に応じて、前記ピクセル内に空気介在物が存在するかどうかについてイエス・ノー形式の命題が作成され、前記第１の特徴は、前記画像の原本（１）と前記画像についてフィルタ処理された画像との差分画像（３）に関連しており、
前記フィルタ処理された画像は、メディアンフィルタを通して作成されている、方法。
【請求項２】
前記閾値は、前記差分画像（３）内のノイズに基づいて自動的に決定される、請求項１に記載の方法。
【請求項３】
前記イエス・ノー形式の命題は、各ピクセルについて確立された介在物（５１）の存在確率に基づく全ての特徴を考慮した後、一番最後においてのみ作成される、請求項１又は２に記載の方法。
【請求項４】
前記ピクセルの第２の特徴が定義されると共に、前記第１の特徴及び前記第２の特徴についてそれぞれ確率が計算される、請求項３に記載の方法。
【請求項５】
前記第１の特徴及び前記第２の特徴は、互いに確率的に結合されており、前記第１の特徴の確率及び前記第２の特徴の確率は、互いに結び付いている、請求項４に記載の方法。
【請求項６】
前記結び付けによって得られた結果の平滑化が行われ、最大の確率を決定するために、検査されたピクセルと近傍ピクセルとの間で情報が交換される、請求項５に記載の方法。
【請求項７】
前記方法が、以下のパラメータのうち少なくとも１つを介して設定される、請求項４〜６のいずれか１項に記載の方法：
・メディアンフィルタのマスクサイズ（Ｕ）。
・第１の特徴の感度値（Ｓｍ1）、及び任意には、少なくとも１つのさらなる特徴の感度値（Ｓｍ2）。
・介在物の存在確率の閾値（ｘｃ）。
【請求項８】
前記方法が、以下のパラメータのうち少なくとも１つを介して設定される、請求項６に記載の方法：
・メディアンフィルタのマスクサイズ（Ｕ）。
・第１の特徴の感度値（Ｓｍ1）、及び任意には、少なくとも１つのさらなる特徴の感度値（Ｓｍ2）。
・第２の特徴の平滑値（ｘｓ）。
・平滑化方法の平滑ペナルティ値（Ｐｘｓ）。
・介在物の存在確率の閾値（ｘｃ）。
【請求項９】
前記方法は、複数の近傍ピクセルに対して反復実行される、請求項１〜８のいずれか１項に記載の方法。
【請求項１０】
前記方法は、Ｘ線画像とメディアンフィルタ処理された画像から形成された差分画像（３）に基づいている、請求項１〜９のいずれか１項に記載の方法。
【請求項１１】
コンピュータにロードされた際に請求項１〜１０のいずれか１項に記載の方法を実行するためのコンピュータプログラム。
【請求項１２】
前記方法を画像又は選択された画像領域に関して自動で実行するように構成されている、請求項１１に記載のコンピュータプログラム。
【請求項１３】
請求項１１又は１２に記載のコンピュータプログラムを備えた記憶媒体であって、前記コンピュータプログラムが前記記憶媒体に記憶されている、記憶媒体。
【請求項１４】
自動材料試験のための、請求項１〜１０のいずれか１項に記載の方法又は請求項１１又は１２に記載のコンピュータプログラム又は請求項１３に記載の記憶媒体の使用。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、材料内の、特に、接着面又ははんだ接合部における空気介在物を検査する方法に関する。さらに、本発明は、特に材料試験に関して、該方法を自動で適用するためのコンピュータプログラムに関する。
【背景技術】
【０００２】
接着面又は（平坦な）はんだ接合部における空気介在物は、ボイドとも称され、中空空間として存在している。そのため、これらの空気介在物は、通常、接着面の画像又は（例えば、Ｘ線画像の）記録の場合では、元の画像をフィルタ処理することによって決定される。検査された材料の表面又は容積に関する空気介在物のパーセンテージ割合は、重要である（いわゆる「ボイド計算」）。その理由は、材料がまだ十分に堅固である、安定している若しくは密着しているかどうか、又は、介在物が多すぎるために特定の機能をもはや発揮できないおそれがあると推定されるかどうかを評価できるためである。ボイド計算（ＶＣ）は、例えば、高性能ＬＥＤの製造過程において、熱伝導性材料内に空気介在物が多すぎる領域や大きすぎる領域が存在しないことを保証するため、標準として実行される。このようなボイド計算を行う理由は、このような空気介在物によって、特に気泡を含んでいる場合には、冷却能力が不十分となる可能性や、部品が破壊される可能性すらあるためである。
【０００３】
介在物又は中空空間の捕捉及び計算は、例えば、Ｘ線画像の特定の特徴についての閾値に依存して行われ得る。空気介在物は、例えば、空気介在物の影響を受けない領域とは異なる色若しくは輝度又は異なるグレースケールで表すことができ、その結果、グレースケール値を介して画像解析を行うことができる。ＶＣは、通常は原本画像とローパスフィルタ処理された画像との差を計算することによって行うことができ、このとき、差分画像の評価に使用できるように閾値を定義することが試みられる。有益な画像解析のためには、閾値に加えて、ローパスフィルタのマスクサイズもまた手動で定義する必要がある。それぞれの画像領域に対して、差分画像内の特定のグレースケール値に基づいて空気介在物についてのイエス・ノー形式の命題が作成される。差分画像における手動での閾値設定は、画像の不均一な露光（グレースケール値の分散）を補償できるという点において、原本画像における閾値設定よりも有用である。ローパスフィルタ処理された画像は、周囲の平均グレースケール値を包含している。周囲のサイズは、ローパスフィルタのマスクサイズによって決定される。そのため、差分画像は、個々のピクセルのグレースケール値についての、周囲の全ピクセルの平均グレースケール値からの偏差を含む。差分画像における閾値設定により、該グレースケール値についての、周囲の平均グレースケール値からの偏差が検出される。ボイドもまた、同様にして視覚的に認識される。ボイドは、周囲よりも明るいグレースケール値により表れる。原本画像における閾値形成の場合には、全体的な閾値に関連したピクセルの絶対輝度が検出される。この場合には、周囲よりも明るいかどうかとは関係なく、明るい構造が検出される。
【０００４】
正しい計算結果に対して特に影響があるのは、通常は存在しており、多かれ少なかれ大きく目立つ、画像のグレースケール値の分散である。「グレースケール値の分散」とは、好ましくは、特定の平均グレースケール値に関連する又は特定の方向の近傍ピクセルに関連するグレースケール値の偏差を意味しており、これは介在物には基づかないが、例えば、画像捕捉のタイプ又は検査された材料自体における不均一性（例えば、厚さの変化）に基づく。グレースケール値の分散は、露光時間の変化に対応しており、これは画像内の位置に依存する。
【０００５】
グレースケール値の分散が目立つ場合、閾値に基づいて評価を行うことが難しくなる。例えば、明るさが大きく変動する画像の場合には、グレースケール値の特定の閾値のみに基づく評価は推奨されない。全ての空気介在物がノイズもアーチファクトもなく捕捉されるように閾値を正確に設定し得ることは、非常に望み薄であるためである。むしろ、そのような閾値が存在しない場合も頻繁にあるため、任意の閾値を手動で定義すると、不利な不正確さを暗黙のうちに伴う。
【０００６】
したがって、グレースケール値についての特定の閾値のみによって空気介在物を捕捉することは、通常は思うように行うことができず、閾値設定は、差分画像において行われる。検査される画像では、閾値が低下することになるようなグレースケール値の分散やグレースケール値の範囲が通常存在しており、そのため、特定の空気介在物（比較的弱い又は小さい信号）は表されない。目立ったグレースケール値の分散が存在する場合には、差分画像に基づいて、全ての介在物が捕捉されるがノイズもまた誤って介在物として捕捉されることがないような閾値を定義することは、通常は不可能である。十分に正確な評価は、通常、不十分な画質により困難になる。不十分な画質からは、好ましくない閾値が選択されることになる。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
材料内の介在物、例えば、空気介在物若しくは他の中空空間のような介在物について又は少なくとも部分的に媒体で満たされた空洞のような介在物についても、可能な限り正確な方法で検出することを目的とする。また、空気介在物を正確に位置決めして可能な限り完全に捕捉する方法を提供することを目的とする。特に、接着部又ははんだ接合部における空気介在物の割合を可能な限り正確に決定することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的の少なくとも１つは、請求項１に記載の方法、請求項１１に記載のコンピュータプログラム及び請求項１３に記載の記憶媒体によって達成される。有利な発展形態は従属請求項に記載されており、これらの異なる従属請求項にて特定される個々の特徴は、明示的に除外されていない限り、原則として互いに組み合わせることができる。
【０００９】
本発明に係る方法は、閉鎖容積内の介在物を該容積の画像に基づいて決定することについて提供され、個々のピクセルについて、ピクセルの第１の特徴に対する閾値に応じて、ピクセル内に空気介在物が存在するかどうかについてイエス・ノー形式の命題が作成され、第１の特徴は、画像の原本と画像についてフィルタ処理された画像との差分画像に関連しており、本発明によれば、フィルタ処理された画像は、メディアンフィルタを通して作成されていることが提示される。
【００１０】
このような方法により、原本画像及びメディアンフィルタ処理された画像から、差分画像をよりロバストに決定することができる。第１の特徴は、好ましくは、特定のピクセルに割り当てられたグレースケール値に基づいている。メディアンフィルタには、ローパスフィルタと比べて、（グレースケール値）リストから中央値を選択できるという利点があり、これによって、大きく逸脱したグレースケール値の代わりに、より適切な又はより現実的なグレースケール値をピクセルに割り当てることができる。
【００１１】
介在物は、少なくとも接着部又ははんだ接合部の場合には、通常は空気介在物として存在している。しかしながら、介在物とは、実際の材料が途切れている任意の中空空間のことを全般的に示し得るものであり、中空空間が媒体で満たされているかどうかに関わらない。画像は、例えば、Ｘ線画像であり得る。容積は、解析されることになる閉鎖した接着領域、はんだ接合領域又は溶接領域であり得る。ここで、用語「閉鎖」とは、外部から見えない又はアクセスできない容積内部の材料組成物中に、任意の介在物又は不連続性が存在していることを意味すると理解され得る。これにより、必要な画像（例えば、Ｘ線画像）に基づく解析が行われる。したがって、容積は、好ましくは検査される材料サンプル、又は、部材の特定領域、例えば、ＬＥＤと該ＬＥＤが搭載されている部材との間の交差点である。原則、容積は任意の所望の固体部品であってもよく、例えば、キャストされた、押出された、射出成形された又はプレスされた部材であってもよい。したがって、本発明は、全般的に材料試験の分野にも関する。
【００１２】
第１の特徴は、特定のピクセルにおけるグレースケール値、特にグレースケール値の輝度（Intensitat）Ｉであり得る。
【００１３】
メディアンフィルタを適用する際には、特定のマスクが使用され得る。マスクは、フィルタが適用されるそれぞれのピクセルの局所的な周囲Ｕ（いわゆる近傍）を決定するように作用する。マスクサイズ（いわゆる局所性）は、メディアンフィルタを適用する際に、手動でも自動でも定義され得る。マスクが大きく選択されるほど、フィルタリングの際に多くの近傍ピクセルが考慮されると共に、中央値が広い基準で決定される。マスクが大きいほど、多くの計算能力が必要となる。計算時間を節約するために、星状領域又は周囲Ｕがメディアンフィルタに使用され得る。横、縦及び両斜めのピクセルのみが、中央値の計算に含まれる。マスクは通常では２次元であるが、理論的には１次元であってもよい。もっとも、その場合には、マスクに垂直な細い線がフィルタリングされる可能性がある。また、マスクサイズは手動で設定され、今日まで自動化の例はない。
【００１４】
中央値（ｍｅｄ）自体は、Niklaus Wirthの計算法に従って決定され得る。この計算法は、以下の引用文献において、さらに詳細に記載されている：Niklaus Wirth"Algorithms + data Structures = Programs"Englewood Cliffs: Prentice- Hall, 1976, pp. 366.
【００１５】
本方法の好ましい発展形態によれば、閾値は、差分画像内のノイズに基づいて自動的に決定される。
【００１６】
このため、閾値を手動で定義する必要はなくなっている。これにより、時間を節約することや、エントリの誤りや不利又は不正確な計算の基礎を避けることも可能になる。ユーザは、閾値の選択を試行錯誤することにより最適と思われる計算結果を求める慎重なアプローチを採用する必要がなくなる。
【００１７】
閾値の自動決定は、差分画像内の画像ノイズの自動決定によって、特に、いわゆるＸ８４基準によって行われ得る。Ｘ８４基準は、第１の特徴の中央値（ｍｅｄ）からの絶対偏差の中央値の決定に基づいている。Ｘ８４基準については、以下の引用文献にも詳しく説明されている：Hampel FR, Rousseeuw PJ, Ronchetti EM, Stahel WA"Robust Statistics: the Approach Based on Influence Functions"Wiley Series in Probability and Mathematical Statistics, John Wiley & Sons, 1986.
【００１８】
「画像ノイズ」とは、実際の画像情報とは独立して発生する外乱を意味しており、該画像情報と共に捕捉されざるを得ず、該画像の評価を難しくするものである。このような画像の評価は、特に、該ノイズが介在物の最も弱い画像信号よりも強い際において難しくなり、ここで介在物が非常に小さい場合にはとりわけ困難になる。ノイズは、グレースケール値の分散に重畳され得ると共に、グレースケール値の分散から完全に独立した分布を有し得る。
【００１９】
上述のＸ８４基準は、中央値（ｍｅｄ）から絶対偏差の中央値σＸ８４（ｘ）を計算する。これは、標準偏差のロバストな決定にほぼ相当する。中央値σＸ８４（ｘ）の計算は、位置ｘにおける検査ピクセルの、マスクサイズを介して設定され得る局所的な周囲Ｕにおける、グレースケール値の輝度Ｉを介して行われ得る。
【数１】
2019061668.tif 000003
【００２０】
本方法の好ましい発展形態によれば、イエス・ノー形式の命題は、各ピクセルについて確立された介在物（５１）の存在確率に基づく全ての特徴を考慮した後、一番最後においてのみ作成される。条件付き確率は、好ましくは確率とみなされる。確率を考慮することにより、手動で不正確に決定される可能性のある閾値にのみ基づいてイエス・ノー形式の命題を実行してしまうことを避けることができる。
【００２１】
いわゆる「ベイズの定理」は、条件付き確率の計算を可能にする：
【数２】
2019061668.tif 000004
ベイズの定理は、いわゆるベイズ統計の文脈における条件付き確率の計算に使用することができる。ベイズ統計では、通常３つの境界条件が存在する。
１．確率は、事象の確率としての古典的意味だけでなく、命題（Aussage）の確率としても定義され、ここで確率は命題の妥当性（Plausibilitat）に関連するものであり、妥当性の尺度として理解されるべきである。特定の命題について多くのことが分かっているほど、その命題は妥当性が高い（ここで考慮される画像計算の場合、命題は、例えば、ピクセル内の特定のグレースケール値に関連し得るものであり、そのため、間接的に介在物の存在に関連し得るものである）。
２．条件付き確率は、ベイズの定理に基づいて考慮又は計算される。
３．確率変数（Zufallsvariable）が定義されるが、それでも確率変数は定数を表し得る。
ベイズの定理が適用されると、特徴について確率分布が決定され、そこから特徴の値又は命題の妥当性が決定される。
【００２２】
上記式１．２において、変数ｓは状態であり、特に２つの相補的に可能な状態の１つ、すなわち考慮される場合において介在物が存在するか否かであり、ｍは検査されるいくつかの特徴であり、例えば、差分画像ΔＩのグレースケール値又はグレースケール値の輝度である。
【００２３】
ここで、ｐ（ｓ｜ｍ）は、いわゆる事後確率、すなわち特徴ｍの測定値が存在する場合、介在物に属するピクセルについて探索された確率である。さらに、ｐ（ｍ｜ｓ）は、いわゆる尤度関数、すなわち状態ｓが確立された際の特徴ｍの条件付き確率であり、ｐ（ｓ）はいわゆる事前分布である。状態が２つの場合には、無情報事前分布の値は０．５である。２つの各状態は、同じ確率を有する。
【００２４】
以下では、一例としてｐ（ｓ）＝０．５の値の事前分布を想定する。
【００２５】
例：ｐ（ｓ＝介在物｜ｍ（ΔＩ＝ａ））は、特定のグレースケール値ａが差分画像内に確率されている際に、ピクセルが介在物に属する確率である。
【００２６】
尤度関数ｐ（ｍ｜ｓ）は、以下の関数によってモデル化される。
【数３】
2019061668.tif 000005
ここで、ｃは小さい定数であり、特に、０〜０．５の範囲の定数である。値ａは、画像ノイズから生じる勾配に対応し、特に感度（入力パラメータ）を乗じたｘ８４基準から生じる勾配に対応する。
【００２７】
あるいは、別のモデリングとして、ロジスティック関数を使用することも可能である。その式は、ピクセルが空気介在物を表すとした場合における、差分画像内における特定のグレースケール値の確率を示す。差分画像のグレースケール値は、該式の入力値である。勾配は該画像内のノイズに起因するため、ノイズが小さいほど勾配が大きくなる。閾値ｔは、画像ノイズに感度を乗じたものより得られる。
【００２８】
差分画像の背景についての尤度関数は、これに対して相補的にモデル化され得る。
Ｐ（ΔＩ｜ｓ＝背景）＝１．０−ｐ（ΔＩ｜ｓ＝介在物）
「背景」とは、介在物のない中実な材料を表している画像の部分であって、場合によりノイズにより知覚可能に又は非知覚的に重畳される画像の部分を意味するものである。したがって、背景は、検査された材料にとって典型的な信号を提供する。
【００２９】
本方法の好ましい発展形態によれば、ピクセルの第２の特徴が定義されると共に、第１の特徴及び第２の特徴についてそれぞれ確率が計算される。
【００３０】
第２の特徴としては、探索方向に沿った勾配が用いられ得る。勾配として、位置に応じた輝度の導出が見られることになる。第２の特徴は、好ましくは、勾配対、特にエッジ対の絶対量及び向きに関係している。「エッジ対」とは、エッジ同士の間により明るいグレースケール値が存在する１対のエッジを意味するものであり、ここで、１つのエッジは、これらの特徴間の条件依存性により形成され得る。例えば、第１のエッジと第２のエッジとが併さってエッジ対を形成し得る。「向き」とは、定義された方向（例えば、差分画像のｘ座標軸又はｙ座標軸）に関するそれぞれのエッジの２次元配向を意味するものである。２つの勾配が反対の符号を有する際には、対は相反する向きを有する。第２の特徴は、差分画像に基づいて、好ましくは差分画像から確立された勾配画像に基づいて決定され得る。この勾配画像は、特定の閾値ｔを超える絶対値を備えた勾配を有するリストの基礎と理解され得る。
【００３１】
勾配は、特定の方向に沿ったグレースケール値の変化である。勾配がゼロより大きい場合には、グレースケール値の暗から明への遷移が画像内で起こる。勾配が大きいほど、遷移が速く行われる。勾配が負である場合には、グレースケール値の明から暗への遷移が起こる。画像内の輝度が一定である場合、勾配はゼロである。非常に大きな又は非常に小さな勾配は、画像のエッジとして知覚される。エッジ対は、絶対量が非常に大きな２つの勾配の対であり、そのうち１つはゼロより大きく、１つはゼロより小さい。エッジ対は、勾配対と同じである。
【００３２】
本方法の好ましい発展形態によれば、第１の特徴及び第２の特徴は、互いに確率的に結合されており、第１の特徴の確率及び第２の特徴の確率は、互いに結び付いている。
【００３３】
イエス・ノー形式の命題が作成される前に、２つを超える特徴を互いに確率的に結合させることも可能である。この結合させることにより得られる情報によっても同様に、イエス・ノー形式の命題の基礎について、各特徴それ自体を考慮するよりも広範な基礎を形成することが可能になり、その結果、イエス・ノー形式の命題をより確実に作成できると共に、介在物の割合をより正確に決定することができる。
【００３４】
第１の特徴と第２の特徴との結合は、条件付き確率についてのベイズ統計によって達成され得る。ここでは、第２の特徴の統合によって、特徴の確率が互いに結び付けられ得る各特徴から、最初に確率が分離して計算され得る。これらの確率は、条件付き確率についてのベイズ統計に結び付けられ得る。ここでは特に、それぞれの先行する特徴の探索される確率が、以降の計算のための事前分布として提供される。したがって、「結び付け」とは、第１の特徴に基づいて確立された確率に加えて、さらなる確率を計算に含めて考慮する統合プロセスを意味するものである。任意の数の特徴又は確率を結合することが可能であり、２つの特徴の結合であっても、より正確な結果画像が既に確立され得る。本明細書では、「結び付け」と「結合」が同義語として使用される。特徴は結合されるが、これは確率を結び付けることによって可能となる。「統合」は、ベイズの公式によって定義される。
【００３５】
好ましくは、２つの特徴が結合される。具体的には、２つの特徴の一方は、原本画像とメディアンフィルタ処理された画像との差分画像におけるピクセルのグレースケール値であり、２つの特徴の他方は、該差分画像におけるいわゆる勾配対であって、特定の探索方向に関して定義される勾配対である。介在物は、第２の特徴を用いて、例えば以下のようにして認識され得る：差分画像において、互換可能なエッジ対又は勾配対が、４つの異なる方向に探索される。４つの異なる方向としては、例えば、北Ｎ−南Ｓ、西Ｗ−東Ｅ、北西ＮＷ−南東ＳＥ及び南西ＳＷ−北東ＮＥ、又は、縦、横及び両斜めが挙げられる。エッジの向きに応じて、それらの間に介在物又は背景のいずれかが位置している：探索方向に向けられたエッジが、より明るいピクセルがそれらの間に位置するように向いている場合には、それらの間に介在物が存在しており、より暗いピクセルがそれらの間に位置するように向いている場合には、それらの間に介在物は存在しない。勾配画像と差分画像とは、原則的に異なるものである。勾配画像は、差分画像の各ピクセルについて勾配が計算された際にのみ存在する。
【００３６】
「互換可能なエッジ対」とは、向きが相反しており、少なくともほぼ等しい絶対量を有するエッジ対を意味する。
【００３７】
グレースケール値及び勾配対、又はそれらの向きに加えて、例えば、式１．５に従う尤度関数が、さらなる特徴として定義され得る。空気介在物を認識するために個別に機能し得る任意の画像操作もまた、特徴として用いられ得る。より多くの統計的に独立した特徴が結合されるほど、結果の確からしさはより高くなる。
【００３８】
以下では、特に、差分画像における第２の特徴として勾配又は勾配対が用いられる場合のモデル化について説明する。
【００３９】
第２の特徴は、好ましくは、差分画像内における勾配に関するものであり、好ましくは、比較可能な絶対量を備えた２つの勾配の対に基づいている。この第２の特徴は、単一の式により直接記述することはできない。むしろ、探索方向（例えば、横方向）に沿った第２の特徴を決定するために、差分画像内の絶対値が特定の閾値ｔを超える全ての勾配が、（勾配）リストに収集される。しかしながら、勾配は、絶対値が極大の場合にのみリストに含められる。このとき、向きが相反しているものの絶対量がほぼ等しい勾配対が、リスト内において探索される。ここでは、特徴は、勾配対ｇ（ｘ１）、ｇ（ｘ２）（ｘ１＜ｘ２）により構成されている。このような勾配対に囲まれている、探索方向に沿った全ての位置ｘ∈［ｘ１，ｘ２］についての尤度関数は、以下のようにしてモデル化することができる。
【数４】
2019061668.tif 000006
ここで、定数ｃ＜０．５である。
【００４０】
また、別のモデル化も可能である。例えば、その確率はエッジ対間の距離に応じてモデル化され、そのため距離が大きいほど確率が低くなる。背景の尤度関数はまた、これと相補的に実装され得る。
ｐ（ｇ（ｘ1），ｇ（ｘ2）｜ｓ＝背景）＝
１．０−ｐ（ｇ（ｘ1），ｇ（ｘ2）｜ｓ＝介在物）
上記の（勾配）リスト内に相手のない勾配ｇ（ｘ１）、すなわち、向きが相反しており絶対量がほぼ等しい対応する勾配が見つからない勾配もまた、探索される確率の決定に寄与する。したがって、探索方向における全ての後続位置ｘについての尤度関数は、以下のようにモデル化され得る。
【数５】
2019061668.tif 000007
ここで、ｓは介在物の予想されるサイズに関連する定数である。この関係は、ユーザによって予め定義又は指定されている。
【００４１】
確率を結び付ける、すなわち、さらなる特徴を統合する場合、先の特徴の事後確率は、各場合において、新たな計算の事前分布として機能し得る。
【数６】
2019061668.tif 000008
このようにして、より広範な情報基礎が用いられ得ると共に、より信頼性の高い計算結果が提供され得る。また、画像解析の精度が向上する。
【００４２】
本方法の好ましい発展形態によれば、該結び付けによって得られた結果の平滑化が行われ、最大の確率を決定するために、検査されたピクセルと近傍ピクセルとの間で情報が交換される。
【００４３】
平滑化は、いわゆる信念伝搬法（ＢＰ）によって行われ得る。ＢＰについては、以下の引用文献にも詳しく説明されている：Jonataha S. Yedidia, William T. Freeman and Yair Weiss "Understanding Belief Propagation and its Generalizations", 2002, TR-2001-22、Pedro F. Felzenzwalb and Daniel P. Huttenlocher,"Efficient Belief propagation for Early Vision", IJCV 2006.
【００４４】
近傍ピクセルにおける介在物の存在確率を、現在検査されているピクセルにおける介在物の存在確率へと統合することが可能であり、このとき特に、近傍ピクセルが情報を反復的に交換すると共に、情報が反復的に更新される。この統合は、ここではＢＰによって行われる。
【００４５】
情報は、メッセージの形態で存在し得る。このメッセージは、２つのピクセル間で交換され、繰り返し更新される。このとき、１つのピクセルの情報は、その近傍における４つのピクセルの情報に基づいて決定され得る。このために、いわゆる信念伝搬法に従う方法が適用され得る。信念伝搬法（ＢＰ）では、ベイジアンネットワークにおけるいわゆるマージン又は最大確率の計算が可能な計算法のクラスについて説明し得る。「マージン」とは、好ましくは、周辺確率を意味する。周辺確率は、特徴の結合についての相対頻度を包含する頻度表のエッジにある確率である。
【００４６】
「ベイジアンネットワーク」とは、好ましくは、ノードのランダム変数及びエッジが変数又は特徴間の条件依存性を記述する有向無閉路（閉路のない）グラフを意味する。「閉路」とは、好ましくは、ノードからそのノード自体までの経路、すなわち、その出力ノードにて終わる経路を意味しており、この経路が２つの同一のノードを通らない場合、閉路のないものとなる。ツリー構造は、閉路のないグラフの一例と考慮され得る。既知の条件付き独立性を考慮すると、関与する全ての変数又は特徴の共通確率分布は、ベイジアンネットワークによって表され得る。ベイジアンネットワークは、確率モデルのグラフ因子分解における基本的な考え方に基づいている。
【００４７】
閉路のあるグラフへのＢＰの適用、いわゆる「ループあり信念伝搬法（Loopy Belief Propagation）」は、マルコフ確率場（ＭＲＦ）においても可能であり、画像処理における情報の使用又は平滑条件の導入にとって有望な方法である。平滑条件としては、例えば、種々異なる状態に対する定数値と、同じ状態に対するゼロとが考慮され得る。この場合、該定数値は、勾配に依存する。
【００４８】
本明細書では、閉路のないグラフのみが使用されている。これ以外の場合には、ベイジアンネットワークはもはや適用できなくなる。したがって、この画像は、マルコフ確率場として考慮される。
【００４９】
画像はＭＲＦとしてモデル化することができ、各ピクセルは、ベイジアンネットワークにおいて、４つの直接近傍に接続される。ＢＰは、複数の近傍ピクセルがメッセージを交換する反復計算法である。メッセージの要旨は、以下の通りである：「自分（ピクセルｘi）は、そちら（ピクセルｘj）が以下の確率にて状態ｓに属していると信じる」。ＢＰでは、これらのメッセージｎが、反復的に更新され得る：
【数７】
2019061668.tif 000009
ここでは、影響関数ｆij（ｘi，ｘj）、局所的な測定値ｇi（ｘi）及び１つのピクセルの周囲における４つの近傍Ｎ（ｘi）を備える。上記の更新式のため、標準ＢＰは積和（Sum-Product）アルゴリズムとも称される。
【００５０】
「マルコフ確率場」（ＭＲＦ）とは、有向無閉路グラフ（ベイジアンネットワーク）とは対照的に、フィールド又は画像内の無向グラフ又は関係を記述する統計モデルであって、画像をセグメント化するために使用され得る統計モデルを意味する。ＭＲＦでは、特定のピクセルの特徴は、近傍ピクセルにおける対応する特徴に関係して配置される。「無向」とは、好ましくは、２つのノード間のエッジに方向情報を含まないグラフを意味する。したがって、２つのノード間の関係は、対称的である。
【００５１】
ここで、最大確率を有するピクセルの状態についてＢＰを用いて計算する場合には、上記の式１．７に関し、和の代わりに最大値を使用することができる。計算時間を節約するために、ＢＰでは、確率の代わりに該確率の負対数を使用することができる。したがって、最大積（Max-Product）アルゴリズム、すなわちメッセージの積（確率）に基づく計算法から、最小和（Min-Sum）アルゴリズム、すなわち確率の負対数の和に基づく計算法が作成される。
【００５２】
前のステップで計算された確率の負対数は、ＢＰにおいて導入又は考慮され得る。影響関数は、最大量を上限として勾配の絶対量に反比例する。
【００５３】
ガウシアン画像ピラミッドは、計算を高速化するために使用され得る。本明細書では、「画像ピラミッド」とは、好ましくは、画像情報の階層的分割を意味する。ここで、個々のピラミッドステップは、局所的な解像度及びコントラストに関連した異なる画像情報を包含している。これにより、近傍ピクセルが考慮でき、高コントラスト構造がより容易に認識可能となるが、位置決定があまりうまくいかない。近傍ピクセルを考慮でき、高コントラスト構造がより容易に認識可能となるが、位置決定はあまりうまくいかない。関連する画像領域をより高解像度のステップで解析するだけでよいため、低解像度ステップが想定される。
【００５４】
さらに、チェッカーボード更新パターンは、ＢＰ内のメッセージを更新するために使用され得る。「チェッカーボード更新パターン」とは、以下を意味する：画像内のピクセルを、チェッカーボード上の四角形のように交互に２つのグループに分ける。この２つのグループを「黒」グループ及び「白」グループとする。ここで、「黒」及び「白」は、グレースケール値又はピクセルの色を示すものではなく、ピクセルの位置のみに応じたものである。更新プロセスの１回目の反復では、「黒」ピクセルのメッセージのみが更新され、２回目の反復では「白」のみ、３回目には再び「黒」のみと続く。
【００５５】
本方法の好ましい発展形態によれば、該方法は、以下のパラメータのうち少なくとも１つを介して設定される：
・メディアンフィルタのマスクサイズＵ。
・第１の特徴の感度値、及び任意には、少なくとも１つのさらなる特徴の感度値。
・介在物の存在確率の閾値（信頼度）。
このとき、検出結果においてユーザが所望する信頼度は、信頼度閾値を超えて設定され得る。高い信頼度閾値が選択されるほど、ピクセルがボイドであると宣言される前でのピクセルの最終確率が大きくなる必要がある。信頼度閾値は、計算された確率を参照して決定を管理する：どのような確率がユーザに対してボイドとして示されるべきか？ 基本的な計算は、信頼値によっては変更されない。
【００５６】
「マスクサイズ」（いわゆる局所性）とは、好ましくは、フィルタが適用される各ピクセルの局所的な周囲Ｕ（いわゆる近傍）のサイズを意味する。
【００５７】
感度値に差分画像のｘ８４値を乗じることにより、ピクセルが空気介在物を表す場合におけるグレースケール値の確率についての尤度関数ｐ（ｍ｜ｓ）の閾値ｔが得られる。尤度関数の勾配ａは、閾値ｔに応じて計算され、同様に間接的に感度の影響を受ける。要約すると、アルゴリズムがボイドに対してより敏感に反応すると、感度はより高くなる。「信頼値」とは、本明細書において、ユーザが計算の際にどの不確実性を受け入れるかを事前に定義し得るものを意味する。
【００５８】
本方法の好ましい発展形態によれば、該方法は、さらに以下のパラメータのうち少なくとも１つを介して設定される：
・第２の特徴の平滑値。
・平滑化方法の平滑ペナルティ値。
ここでは、平滑値及び平滑ペナルティ値を介して、所望の平滑条件が設定され得る。
【００５９】
平滑値は、勾配の特徴（１５頁２１行）に関連し、エッジについて互換性のある相手（指数関数における、以前の変数ｓ−現在の変数ｚ）を見つけられなかった場合に確率がどれだけ早く低下するかについて定義する。この設定は、手動で行われる。平滑ペナルティ値は、信念伝搬に関連する。影響関数の乗数が、平滑ペナルティ値としてみなされるべきである。影響関数は、各ピクセルについて勾配の絶対量から得られ、勾配が最大の時に影響がゼロとなり、勾配がゼロの時に影響が１となる。これにより、４つの近傍の影響力がどれだけ高いかが設定される。平滑ペナルティ値が非常に高い場合には、画像内の全てのピクセルにて同じ結果（ボイド又は背景）が得られる。平滑ペナルティ値が非常に低い場合には、個々のピクセルの測定値のみがカウントされる。この設定は、手動で行われる。勾配の絶対量についての閾値ｔも同様に、ｘ８４基準に感度を乗じたものから間接的に得られる。対応する確実性を得るために、確率（信頼度）の閾値を０．５より大きく設定する必要がある。
【００６０】
本方法の好ましい発展形態によれば、該方法は、全ての関連するピクセル、すなわち、画像の全てのピクセル又は画像内にてユーザにより手動で選択された領域（（例えば、計算時間を節約するための）特定の検査領域）の全てのピクセルのいずれかに対して、反復実行される。
【００６１】
本方法の好ましい発展形態によれば、該方法は、原本画像としてのＸ線画像に基づいて実行される。
【００６２】
上記の目的の少なくとも１つは、請求項１１に記載のコンピュータプログラム及び請求項１３に記載の記憶媒体によっても達成される。この場合、コンピュータプログラムは、先の請求項のいずれか１項に記載の方法を自動で適用するために提供されてもよい。ここで、「自動」とは、好ましくは、原本画像を記録して差分画像を形成した後に、結果画像が、ユーザの入力なく計算、評価及び出力され得るプロセスを意味し得る。このプロセスでは、検査される材料の品質又は有用性に関する命題と既に関連して、結果画像が計算、評価及び出力され得る場合もある。
【００６３】
本発明は、以下の図を用いてさらに詳細に説明される。別段の定めが明示されない限り、詳細に示される実施例の個々の特徴は、原則として互いに組み合わせることもできる。
【図面の簡単な説明】
【００６４】
【図１】空気介在物を有する接着面のＸ線画像。
【図２】図１に示される原本画像とローパスフィルタ処理された画像との差分画像。該差分画像は、結果画像の計算の基礎となるものである。
【図３】図２に示される差分画像に基づいて標準的な計算を用い、好適な条件下で確立することができる結果画像。ここでは、介在物及び背景の各部分の両方が、介在物として表されている。
【図４】図２に示される差分画像に基づいて本発明に係る方法により計算され得る結果画像の例。
【発明を実施するための形態】
【００６５】
図１は、原本画像１、具体的には、空気介在物を有する接着面のＸ線画像を示しており、ここでは、空気介在物が背景よりも明るく表されている。画像面のおよそ３分の２は、大部分が中央に配置されたフレームにより画定されており、該フレームによって、画像解析のために特別に選択された検査領域が規定される。ここで示される画像１には、グレースケール値の分散が存在している。このことは、右上隅の画像背景が左下隅の画像背景より明るいことから認識され得る。このようなグレースケール値の分散があるため、単純な閾値形成により空気介在物を決定することが困難になる。
【００６６】
図２は、図１の原本画像及びローパスフィルタ処理された画像（図示しない）から計算された差分画像３を示している。ここでは、空気介在物３１が認識され得る。
【００６７】
図３は、図２に示される差分画像に基づいて標準的な計算を用い、好適な条件下で確立することができる結果画像４を示している。介在物４１及び画像背景４２の各部分の両方が介在物として計算されており、背景４２が最初に結果画像４にはっきりと現れる。ここでは、この計算結果は本発明に係る方法を用いて検査され得るため、これらは背景４２であって、空気介在物ではないことがわかる。そのため、この計算結果は、十分に正確ではない。
【００６８】
図４は、図２に示される差分画像に基づいて本発明に係る方法により計算され得る結果画像５を示しており、ここでは、結果画像５において、介在物５１が背景から明確に分離されていることが明らかである。図３に示される結果画像４において誤って計算された背景４１は、現在の結果画像５ではもう見えない。この計算結果は、より正確である。同時に、介在物のエッジの境界のコントラストがより高くなったため、介在物５１の輪郭、ひいては面又は容積が、より正確に決定され得る。また、結果画像５の右側に位置する大きな肘形状の介在物５１の場合には、介在物５１の全体が中空である、すなわち、図３に示す結果画像４に基づいて計算された介在物４１よりも大きな容積を有することも明らかである。これは、不正確に計算された介在物４１の場合、明らかに中空空間ではないと想定される領域が存在するためであり、同様に、本発明に係る方法を用いた計算において、正確さが改善されたこともまた明らかである。
【符号の説明】
【００６９】
１    原本画像
２    フィルタ処理された画像
３    差分画像
３１  差分画像内の介在物
４    標準ＶＣ（計算された画像）の結果
４１  計算結果画像内の介在物
４２  計算結果画像内の背景
５    本発明によるＶＣの結果（計算された画像）
５１  計算結果画像内介在物
ｘｃ  尤度の閾値（信頼度）
ｘｓ  平滑値、特にグラジエント特徴
Ｐｘｓ  平滑ペナルティ値（平滑度ペナルティ）
ＳＭ    感度値
Ｓｍ1  特徴１についての感度値
Ｓｍ2  特徴２についての感度値
ａ    画像ノイズに起因する勾配
ＢＰ  信念伝搬
ｃ    条件付き確率に関連する尤度関数の定数、特に、小さい定数＜０．５
ｆij（ｘi，ｘj）  影響関数
ｇ（ｘ1），ｇ（ｘ2）  勾配対
ｇi（ｘi）  局所的な測定値
ΔＩ  差分画像のグレースケール値輝度
ｍ    特徴。一般に、例えば、ｍ1、ｍ2又はさらなる特徴
ｍ1  第１の特徴、特に、グレースケール値又はグレースケール値輝度
ｍ2  第２の特徴、特に、勾配特徴
ｍｅｄ  中央値
ＭＲＦ  マルコフ確率場
ｎ    メッセージ
ｎij（ｘj）  ピクセルｉ及びその周囲の情報に基づいて確立されたメッセージ
Ｎ（ｘi）  ４つの近傍
ｐ（ｍ｜ｓ）  状態ｓが存在する際における、特徴ｍについてのベイズの定理に従う条件付き確率（いわゆる尤度関数）
ｐ（ｓ）  事前分布
ｐ（ｓ｜ｍ）  ピクセル内に介在物が存在する、ベイズの定理に従う探索される確率（いわゆる事後確率）
ｓ    相補的（固定）状態：介在物が存在するかどうか
ｚ    定数、介在物の予想サイズに関連する（尤度関数の右側の結果にて特定される）
σＸ８４（ｘ）  中央値（ｍｅｄ）からの絶対偏差の中央値
ｔ    勾配の絶対値についての閾値
Ｕ    位置ｘにおけるピクセルの局所的な周囲。フィルタの適用に関連して、マスクサイズ（局所性）としての正確に定義の場合に参照される。
ＶＣ  ボイド計算
ｘi  第１のピクセル
ｘj  第２のピクセル
【図１】
2019061668.tif 000010
【図２】
2019061668.tif 000011
【図３】
2019061668.tif 000012
【図４】
2019061668.tif 000013
【外国語明細書】
2019061668.tif 000014
2019061668.tif 000015
2019061668.tif 000016
2019061668.tif 000017
2019061668.tif 000018
2019061668.tif 000019
2019061668.tif 000020
2019061668.tif 000021
2019061668.tif 000022
2019061668.tif 000023
2019061668.tif 000024
2019061668.tif 000025
2019061668.tif 000026
2019061668.tif 000027
2019061668.tif 000028
2019061668.tif 000029
2019061668.tif 000030
2019061668.tif 000031
2019061668.tif 000032
2019061668.tif 000033
2019061668.tif 000034
2019061668.tif 000035
2019061668.tif 000036
2019061668.tif 000037
2019061668.tif 000038
2019061668.tif 000039
【Ｆｉｇ１】
2019061668.tif 000040
【Ｆｉｇ２】
2019061668.tif 000041
【Ｆｉｇ３】
2019061668.tif 000042
【Ｆｉｇ４】
2019061668.tif 000043