(57)【要約】  不均一性パターンの存在を検出し、各種の不均一性パターンの深刻度を示す出力を提供するためのシステムについて記載する。システムは、所定の製品のサンプルを表す多数のデジタル画像に対して、ユーザがエキスパート評価（即ち、ラベル）を効率的かつ一貫して割り当てることを援助できる、コンピュータ化評価ツールを含む。加えて、評価ソフトウェアは、コンピュータ化検査システムが、製造されたウェブ材料における不均一性パターンの存在をリアルタイムで検出し、各パターンの深刻度レベルを連続的尺度で示す出力を提供することを可能とするモデルを開発する。システムは、検査システムのスループットを大幅にそれ増加させるアルゴリズム的及びハードウェア的アプローチも含む。
2014511530.tif 000002
【特許請求の範囲】
【請求項１】
複数のトレーニング画像の各々に、不均一性パターンについての離散的な評価ラベルを自動的に割り当て、前記トレーニングサンプルに割り当てられた前記評価ラベルに基づき分類モデルを計算する評価ソフトウェアをコンピュータ上で実行することであって、前記評価ソフトウェアは、前記トレーニング画像のサブセットのみに関する入力をユーザから受信し、前記入力に基づき、残りのトレーニング画像のすべてのための前記評価ラベルを計算する、評価ソフトウェアをコンピュータ上で実行することと、
製造されたウェブ材料から捕獲されたサンプル画像を、前記画像から第１の複数の特徴を並列に抽出するために、コンピュータ化検査システム内に統合されたパイプライン型グラフィック処理ユニット（ＧＰＵ）のハードウェアコンポーネントを用いてリアルタイムで処理することと、
前記コンピュータ化検査システムを用いて前記分類モデルに従い、前記第１の複数の特徴から前記ウェブ材料の前記サンプル画像についての前記不均一性パターンについての深刻度レベルを計算することと、を備える、方法。
【請求項２】
前記離散的な評価ラベルを自動的に割り当てることが、
前記評価ソフトウェアを用いて、前記トレーニング画像の代表的なサブセットについて複数の画像クラスターを計算すること、
前記ユーザによって前記画像クラスターに割り当てられた個々の評価ラベルを受信すること、
ユーザによって前記画像クラスターに割り当てられた前記個々の評価ラベルを、前記それぞれの画像クラスター内の前記トレーニング画像のすべてに自動的に伝搬すること、及び
前記評価ラベルを自動的に計算し、前記トレーニング画像の前記代表的なサブセット内に含まれない、前記トレーニング画像の残りの画像のすべてに、パターンクラスの各々に関する前記計算された評価ラベルを割り当てること、を備える、請求項１に記載の方法。
【請求項３】
意思決定モデルであって、前記モデルに従って前記画像から抽出する第２の複数の特徴を動的に選択するためのトリガー連鎖を定義する、意思決定モデルを有する前記検査システムを用いて前記第１の複数の特徴を処理することと、
前記サンプル画像から前記第２の複数の特徴が抽出されると、前記不均一性パターンに関して前記サンプル画像を誤分類するコストの削減予想額を前記意思決定モデルに従って判定することと、
前記コストの削減予想額が閾値を超えれば、前記第２の特徴セットを抽出するために、前記検査システムの前記パイプライン型ＧＰＵの前記ハードウェアコンポーネントを用いて前記サンプル画像を処理することと、
前記画像から抽出した前記第１の複数の特徴及び前記第２の複数の特徴を用いて、前記検査システムで前記ウェブ材料の不均一性パターンの深刻度レベルを計算することと、を更に備える、請求項１に記載の方法。
【請求項４】
前記評価ラベルを自動的に割り当てることが、前記トレーニング画像の前記代表的なサブセット内に含まれない前記非ラベル付きトレーニング画像のそれぞれに関して、
前記非ラベル付きトレーニング画像の数値記述子の、前記トレーニング画像の前記代表的なサブセット内の前記ラベル付き画像のそれぞれの数値記述子への対距離を計算することと、
特定された各パターンクラスに関する一連の確率を計算することであって、各パターンクラスに関する前記一連の確率は、前記パターンクラスに関して特定された前記評価ラベルのぞれぞれに関する確率を含み、前記非ラベル付きトレーニング画像が、その特定のパターンクラスに関するその特定の評価ラベルが割り当てられている前記トレーニング画像のメンバーである確率を示す、特定された各パターンクラスに関する一連の確率を計算することと、
前記パターンクラスのそれぞれのうち最も高い確率を有する前記評価ラベルを、前記非ラベル付きトレーニング画像に割り当てることと、を備える、請求項１に記載の方法。
【請求項５】
前記評価ソフトウェアを用いて、前記トレーニング画像に割り当てられた前記離散的な評価ラベルに基づき、前記トレーニング画像の連続的なランク付けを計算することと、
前記コンピュータ化検査システムを用いて、前記トレーニング画像の前記連続的なランク付けに基づき、前記ウェブについての前記不均一性パターンの前記深刻度レベルを計算することと、を更に備える、請求項１に記載の方法。
【請求項６】
ウェブ材料の製造時にこのウェブ材料をリアルタイムで検査し、不均一性パターンの深刻度を計算する方法であって、
オンラインコンピュータ化検査システムを用いて、製造中のウェブ材料から捕獲された画像を受信することと、
第１の特徴セットを抽出するべく前記検査システムを用いて前記画像を処理することと、
意思決定モデルであって、前記モデルに従って前記画像から抽出する第２の特徴セットを動的に選択するためのトリガー連鎖を定義する、意思決定モデルを有する前記検査システムを用いて前記第１の特徴セットを処理することと、
前記画像から前記第２の特徴セットが抽出されると、前記不均一性パターンに関して前記画像を誤分類するコストの削減予想額を前記モデルに従って判定することと、
前記コストの削減予想額が閾値を超えれば、前記第２の特徴セットを抽出するべく、前記検査システムを用いて前記画像を処理するために、前記検査システム内に統合されたパイプライン型グラフィック処理ユニット（ＧＰＵ）のハードウェアコンポーネントを呼び出すことと、
前記画像から抽出した前記第１の特徴セット及び前記第２の特徴セットを用いて、前記検査システムによって前記ウェブ材料の前記不均一性パターンについての前記深刻度レベルを計算することと、を備える方法。
【請求項７】
前記モデルが、抽出する前記第２の特徴セット及び前記画像から抽出する任意の追加の特徴セットの選択を制御するための１つ以上の動的トリガーの連鎖を定義するマルコフモデルを備える、請求項６に記載の方法。
【請求項８】
前記深刻度レベルをユーザに出力するためのユーザインターフェースを提供することを更に備える、請求項６に記載の方法。
【請求項９】
前記ユーザインターフェースを提供することが、時間の経過に従って、前記ウェブ材料の前記不均一性パターンの前記深刻度レベルをグラフ化する図を更新することを備える、請求項８に記載の方法。
【請求項１０】
前記ユーザから入力を受信することと、
前記入力に応答して、前記製造されたウェブ材料のための１つ以上のプロセス制御パラメータを調節することと、を更に備える、請求項８に記載の方法。
【請求項１１】
ウェブ材料の製造時にウェブ材料をリアルタイムで検査し、不均一性パターンの深刻度を計算するためのオンラインコンピュータ化検査システムであって、
画像からどの特徴を抽出するのかをリアルタイムで選択するための動的トリガーの連鎖を定義する意思決定モデルを記憶するメモリと、
現在製造中の製造されたウェブ材料から捕獲されたサンプル画像を処理して、第１の特徴セットを抽出するソフトウェアを実行するコンピュータと、を含み、
前記ソフトウェアは前記意思決定モデルを適用し、追加の特徴セットの選択を繰り返し動的にトリガーし、前記サンプル画像から抽出し、前記検査システムのパイプライン型グラフィック処理ユニット（ＧＰＵ）のハードウェアコンポーネントを呼び出し、前記抽出された特徴が、前記ウェブ材料についての不均一性パターンの深刻度レベルを、定義された信頼度内で計算するのに十分になるまで、前記追加の特徴セットを抽出する、オンラインコンピュータ化検査システム。
【請求項１２】
前記ソフトウェアが前記モデルを適用して、前記新しい画像から抽出する第２の特徴セットの選択をトリガーし、
トリガーされると、前記ソフトウェアが、前記画像から抽出された前記第１の特徴セットに基づいて、特徴セット全体から前記第２の特徴セットを動的に選択し、
前記ソフトウェアが前記サンプル画像を処理して、前記画像から前記第２の特徴セットを抽出し、前記第１の特徴セット及び前記第２の特徴セットに基づいて前記不均一性パターンの深刻度レベルを計算する、請求項１１に記載の検査システム。
【請求項１３】
前記モデルがマルコフモデルを含む、請求項１２に記載の検査システム。
【請求項１４】
ウェブ材料をリアルタイムで検査するためのオンラインコンピュータ化検査システムであって、
トレーニング画像の連続的なランク付けを多次元特徴空間内の複数の点として表すモデルを記憶するメモリであって、前記多次元空間内の各点が、前記トレーニング画像の別の点に関する特徴ベクトルに相当する、メモリと、
前記検査システムのパイプライン型グラフィック処理ユニット（ＧＰＵ）であって、前記ＧＰＵの並列ハードウェアコンポーネントを用いて、製造されたウェブ材料から捕獲されたサンプル画像を処理して、前記サンプル画像から複数の特徴を並列に抽出する、パイプライン型グラフィック処理ユニット（ＧＰＵ）と、を備え、
前記コンピュータ化検査システムは、前記トレーニング画像の前記モデルに基づき、前記ウェブ材料の前記サンプル画像についての前記抽出された特徴から不均一性パターンの深刻度レベルを連続的尺度で計算する、オンラインコンピュータ化検査システム。
【請求項１５】
プロセッサ上で実行する評価ソフトウェアであって、前記評価ソフトウェアは、それぞれのトレーニング画像の画素値から、前記トレーニング画像のそれぞれに関する数値記述子を計算することによって、複数の前記トレーニング画像のそれぞれから特徴を抽出し、前記評価ソフトウェアは、第１のクラスタリングプロセスを実行して前記トレーニング画像の前記数値記述子を処理して、前記トレーニング画像の代表的なサブセットを自動的に選択し、前記トレーニング画像の前記代表的なサブセットに関する複数の画像クラスターを計算する、評価ソフトウェアと、
前記評価ソフトウェアによって提示され、前記代表的なトレーニング画像内に存在する１つ以上のパターンクラス、及び前記パターンクラスの各々についての評価ラベルのセットを特定する、ユーザからの入力を受信する入力機構を有するユーザインターフェースであって、前記ユーザインターフェースは、前記特定されたパターンクラスの各々について前記画像クラスターの各々に個々の評価ラベルを割り当てる入力を受信する入力機構を更に含み、前記画像クラスター毎に、前記評価ソフトウェアは、前記画像クラスターのために前記パターンクラスに割り当てられた前記個々の評価ラベルの各々を、その画像クラスター内の前記トレーニング画像のすべてに自動的に伝搬する、ユーザインターフェースと、
前記トレーニングサンプルに割り当てられた前記評価ラベルに基づき分類モデルを計算するトレーニングソフトウェアと、
オンラインコンピュータ化検査システムであって、製造されたウェブ材料から捕獲された新しい画像を処理して、前記新しい画像から複数の特徴を並列に抽出し、前記分類モデルに基づき前記ウェブ材料の連続的尺度についての不均一性パターンの深刻度レベルを計算する、前記検査システムのパイプライン型グラフィック処理ユニット（ＧＰＵ）を備える、オンラインコンピュータ化検査システムと、を備える、システム。
【請求項１６】
ユーザのトレーニング方法であって、
複数のトレーニング画像の各々に、不均一性パターンについての離散的な評価ラベルを自動的に割り当て、１人以上のエキスパートによって前記トレーニングサンプルに割り当てれられた前記評価ラベルに基づき分類モデルを計算する評価ソフトウェアをコンピュータ上で実行することと、
製造されたウェブ材料から捕獲されたサンプル画像を、前記画像から第１の複数の特徴を抽出するために、コンピュータ化検査システムを用いてリアルタイムで処理することと、
前記コンピュータ化検査システムを用いて前記分類モデルに従って、前記第１の複数の特徴から前記ウェブ材料の前記サンプル画像について前記不均一性パターンについての深刻度レベルを計算することと、
前記不均一性パターンを前記エキスパートと同じように視覚化するために、前記サンプル画像、及び前記分類モデルから計算された前記深刻度レベルの両者をトレーニング情報としてユーザに表示することと、を備える、方法。
【請求項１７】
前記不均一性パターンについての前記深刻度レベルの増大又は減少を要求する前記ユーザからの入力を受信することと、
前記入力に応答して、前記製造されたウェブ材料のための１つ以上のプロセス制御パラメータを調節することと、を備える、請求項１６に記載の方法。
【請求項１８】
前記評価ソフトウェアが、前記トレーニング画像のサブセットのみについての入力をユーザから受信し、前記入力に基づき、残りのトレーニング画像のすべてについて前記評価ラベルを計算する、請求項１６に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本出願は、その開示内容の全体を本明細書に援用する米国特許仮出願第６１／４４６，４０４号（２０１１年２月２４日出願）の利益を主張するものである。
【０００２】
（発明の分野）
本発明は、移動するウェブを検査するためのコンピュータシステムなど、自動検査システムに関する。
【背景技術】
【０００３】
移動ウェブ材料の解析に関するコンピュータ化検査システムは、近代の製造作業に重要であることが判明している。生産ラインの目標は、完全に均一でありのない材料を製造することである。しかし、不均一性は、ウェブベース材料を製造する際に一般的な問題である。これは、様々なプロセス中の変動要因又は処方エラーが原因で生じ得る。したがって、光学検査センサ（例えば、カメラ）によって捕獲されたデジタル画像に基づいて、製造された製品の品質を自動的に分類できる撮像ベースの検査システムを導入することがますます一般的になっている。最も単純な場合において、一部の検査システムは、捕獲された各デジタル画像（即ち、「サンプル」）に、サンプル又はその一部が許容可能か、許容不可能かを示す等級を割り当てようとするアルゴリズム（「分類子」と呼ばれることが多い）を適用する。
【０００４】
これらの検査システムは、各欠陥が製造された材料の単一領域に局在する「点」欠陥を識別しようとすることが多い。しかし、広い領域にわたってウェブ材料が不均一なばらつきを示す「不均一性」欠陥、つまり「パターン」と呼ばれる他の種類の欠陥が存在し得る。このような不均一性の例としては、まだら、びびり、バンディング、及び縞が挙げられる。これらのような不均一性タイプの欠陥は、本質的に分散しており、局部的ではない。その結果、このような欠陥をコンピュータ化検査システムで検出し、数値化することは、局部的な点欠陥よりも困難であり得る。
【０００５】
製造された材料の不均一性欠陥を検出しようとする場合、検査システムは、通常、サンプル画像の収集及び処理を行って、特定の不均一性を示す特徴を抽出する。検査システムは、これらの特徴に基づいて１つ以上の分類子を適用して、不均一性の深刻度を評価する。特徴抽出は、コンピュータ集約型であり、検査プロセスの制限要因であってよい。例えば、この工程では、フィルタリング処理、形態学的処理、時間的処理、スペクトラル処理、又は統計処理を含んでよいルーチンを通して、数百万画素を含む高解像度画像をおそらく５０以下の然るべき数字（又は特徴）に減らす。次に、得られた数は、対象製品の品質評価の基準を形成する。数百万の画素値を数十の有益な数字にまとめるためには相当の時間を要し得るので、現代のコンピュータであっても高速の生産速度に対してリアルタイムでは実行できない。１つの可能な手段としては、より高額なコンピュータを更に多く購入することが考えられるが、検査システムのコストを法外に高額にし、データ分散及び結果集約という実施上の更なる問題をもたらす。
【発明の概要】
【課題を解決するための手段】
【０００６】
概して、本開示は、製造された材料内の不均一性に対処するための全コンピュータ化システムについて説明する。例えば、システムは、所定の製品のサンプルを表す多数のデジタル画像に対して、ユーザがエキスパート評価（即ち、ラベル）を効率的かつ一貫して割り当てることを援助できる、コンピュータ化評価ツールを含む。加えて、評価ソフトウェアは、製造されたウェブ材料内の不均一性欠陥の存在をコンピュータ化検査システムがリアルタイムで検出することを可能とするモデルを発展させ、各欠陥の深刻度レベルを連続的尺度で示す出力を提供してよい。即ち、コンピュータ化検査システムは、エキスパート評価を、不均一性欠陥、つまり、パターンの存在を検出するためにリアルタイムで適用すべきトレーニングデータとして利用し、各欠陥の深刻度を示す出力を提供する。本技法は、不均一性の深刻度の連続的なチャート化を行うリアルタイム出力を提供することができる。換言すれば、本開示のコンピュータ化検査システムは、「許容可能」若しくは「許容不可能」、又は「１」、「３」、若しくは「５」のような離散的な評価ラベルに制約されずに、サンプルの、より連続的なランク付けを行うことができる。加えて、ウェブ形態で製造された材料で特定パターンを検出し、分類するように設計された検査システムのスループットを増加させる技法について説明する。ほぼ均一であると予測される所定量の材料の検査に必要な平均時間を大幅に削減するアルゴリズム及びハードウェアのアプローチについて説明する。本明細書に記載のアルゴリズム技法には、基準特徴セットで開始し、必要に応じてのみ追加の特徴計算をトリガーして、計算する画像特徴を動的（即ち、オンライン）に判定することが含まれる。実施形態によっては、計算は、多くの画像処理ルーチンのために最適化可能なグラフィック処理ユニット（graphics processing unit、ＧＰＵ）において遂行される。したがって、これらの技法は、著しい生産性の向上をもたらし得る。
【０００７】
１つの実施形態では、方法が、複数のトレーニング画像の各々に、不均一性パターン欠陥についての離散的な評価ラベルを自動的に割り当て、トレーニングサンプルに割り当てられた評価ラベルに基づき分類モデルを計算する評価ソフトウェアをコンピュータ上で実行することを備える。評価ソフトウェアは、トレーニング画像のサブセットのみに関する入力をユーザから受信し、その入力に基づき、残りのトレーニング画像のすべてのための評価ラベルを計算する。本方法は、製造されたウェブ材料から捕獲されたサンプル画像を、その画像から第１の複数の特徴を並列に抽出するために、コンピュータ化検査システム内に統合されたパイプライン型グラフィック処理ユニット（ＧＰＵ）のハードウェアコンポーネントを用いてリアルタイムで処理することと、コンピュータ化検査システムを用いて分類モデルに従い、第１の複数の特徴からウェブ材料のサンプル画像についての不均一性欠陥についての深刻度レベルを計算することと、を更に備える。
【０００８】
別の実施形態では、ウェブ材料の製造時にウェブ材料をリアルタイムで検査し、不均一性欠陥の深刻度を計算するためのオンラインコンピュータ化検査システムについて説明する。この検査システムは、画像からどの特徴を抽出するのかをリアルタイムで選択するための動的トリガーの連鎖を定義する意思決定モデルを記憶するメモリと、現在製造中の製造されたウェブ材料から捕獲されたサンプル画像を処理して、第１の特徴セットを抽出するソフトウェアを実行するコンピュータと、を備える。ソフトウェアはモデルを適用し、追加の特徴セットの選択を動的にトリガーし、サンプル画像から抽出し、検査システムのパイプライン型グラフィック処理ユニット（ＧＰＵ）のハードウェアコンポーネントを呼び出し、抽出された特徴が、ウェブ材料についての不均一性欠陥の深刻度レベルを、定義された信頼度内で計算するのに十分になるまで、追加の特徴セットを抽出する。新しい材料が検査システムに提示されると、動的トリガリング及び計算が必要に応じて繰り返される。
【０００９】
別の実施形態では、ウェブ材料をリアルタイムで検査するためのオンラインコンピュータ化検査システムが説明される。検査システムは、トレーニング画像の連続的なランク付けを多次元特徴空間内の複数の点として表すモデルを記憶するメモリであって、多次元空間内の各点が、トレーニング画像の別の点に関する特徴ベクトルに相当する、メモリを備える。検査システムは、この検査システムのパイプライン型グラフィック処理ユニット（ＧＰＵ）であって、このＧＰＵの並列ハードウェアコンポーネントを用いて、製造されたウェブ材料から捕獲されたサンプル画像を処理して、そのサンプル画像から複数の特徴を並列に抽出する、パイプライン型グラフィック処理ユニット（ＧＰＵ）を更に備える。コンピュータ化検査システムは、トレーニング画像のモデルに基づき、ウェブ材料のサンプル画像についての抽出された特徴から不均一欠陥の深刻度レベルを連続的尺度で計算する。
【００１０】
本明細書に記載の技法は、ウェブ上で製造された任意の材料を含む多数の生産ラインにおいて、適用性及び有用性を有する。この技法は、均一性が重視される様々な製品に対する幅広い適用性を有する。幾つかの例としては、光学フィルム、窓用フィルム、及び研磨材が挙げられる。
【００１１】
本発明の１つ以上の実施形態の詳細を、添付の図面及び以下の説明で示す。本発明の他の特徴、目的、及び利点は、説明及び図面、並びに特許請求の範囲から明らかとなるであろう。
【図面の簡単な説明】
【００１２】
【図１】本明細書に記載の技法を適用し得る、ウェブ製造及び加工システムの例を示すブロック図。
【図２】例示的なウェブ製造工場における、検査システムの例示的な実施形態を示す構成図。
【図３】本明細書に記載のシステムの操作例を示すフローチャート。
【図４】ソフトウェア評価ツールの作動の一例を示すフローチャート。
【図５】評価ツールにより提示されるユーザインターフェースの特徴の例。
【図６】評価ツールにより提示されるユーザインターフェースの特徴の例。
【図７】評価ツールにより提示されるユーザインターフェースの特徴の例。
【図８】評価ツールにより提示されるユーザインターフェースの特徴の例。
【図９】評価ツールにより提示されるユーザインターフェースの特徴の例。
【図１０】評価ツールにより提示されるユーザインターフェースの特徴の例。
【図１１】「マニホールド」と称される連続的な３次元（３Ｄ）表面。これを参照にすると、連続的ランク付けモデルを生成するトレーニングソフトウェアが適用するアルゴリズムが容易に理解される。
【図１２】トレーニング画像から抽出した特徴ベクトルをトレーニングソフトウェアが処理して、トレーニング画像の連続的なランク付けを構築し、連続的ランク付けモデルを生成する例示的なプロセスをより詳細に示すフローチャート。
【図１３】チャート化モジュールが連続的ランク付けモデルをリアルタイムで用いて、不均一性欠陥の存在を検出し、各欠陥の深刻度の連続的なチャート化を行う例示的なプロセスをより詳細に示すフローチャート。
【図１４】２次元特徴空間におけるｋ最近傍探索の論理的表現を示すグラフ。
【図１５】ハッシングアルゴリズムを用いる、ｋ最近傍探索の第２の技法。
【図１６】特徴抽出モジュールが、連続的で、より大きい特徴セットからの結果を使用してリアルタイムで「最適な特徴セット」を構築して、追加の特徴計算をトリガーする、動的システムアーキテクチャの例を示すフローチャート。
【図１７】ＲＯＣ空間における３段階シーケンスの性能。
【図１８】シミュレーション研究に基づいた性能結果を示すプロット。
【図１９】シミュレーション研究に基づいた性能結果を示すプロット。
【図２０】特定のトリガー戦略がコスト低減をもたらしたサンプルの（試験全体にわたる）平均割合を示す比較プロット。
【発明を実施するための形態】
【００１３】
図１は、本明細書に記載の技法を適用し得る、システム２の例を示すブロック図である。ウェブ製造工場６Ａ〜６Ｎ（ウェブ製造工場６）は、ウェブロール７の形態でウェブ材料を製造及び発送する製造現場を意味する。ウェブ製造工場６は、地理的に分散していてもよく、ウェブ製造工場の各々は、１つ以上の製造プロセスラインを有してもよい。一般に、ウェブロール７は、製造工場６のいずれかで製造され、追加処理のためにウェブ製造工場間で発送されてよい。完成したウェブロール１０は、製品１２Ａ〜１２Ｎ（製品１２）に加工するために加工現場８Ａ〜８Ｎ（加工現場８）に発送される。図１に示すように、加工制御システム４、ウェブ製造工場６Ａ〜６Ｎ（ウェブ製造工場６）、及び加工現場８Ａ〜８Ｎ（加工現場８）は、ウェブ材料の製造及び製品１２への加工に関する情報（例えば、欠陥情報）を交換するために、コンピュータネットワーク９で相互に接続されている。
【００１４】
一般に、ウェブロール７、１０は、既製のウェブ材料を含んでもよく、そのウェブ材料は、ある方向には一定の寸法を、またその直交方向には所定の又は不定の長さを有する任意のシート状材料であってよい。ウェブ材料の例には、金属、紙、織布、不織布、ガラス、ポリマーフィルム、フレキシブル回路又はこれらの組合せが含まれるが、これらに限られない。金属には、鋼又はアルミニウムなどの材料を挙げることができる。織布には一般的に様々な織物が挙げられる。不織布には、紙、濾材又は絶縁材料などが挙げられる。フィルムには、例えば積層体及びコーティングされたフィルムを含む無色（clear）かつ不透明なポリマーフィルムが挙げられる。
【００１５】
加工現場８は、ウェブ製造工場６からウェブロール１０を受領し、顧客１４Ａ〜１４Ｎ（顧客１４）に販売する製品１２に組み込むために、完成したウェブロール１０を個々のシートに加工してよい。加工システムは、製品に関連付けられた等級レベルなど様々な基準に基づいて、所定の完成したウェブロール１０をどの製品１４に加工するかを判定してよい。つまり、どのシートが製品１２のうちのどれに組み込まれるべきかという選択プロセスは、特定の等級レベルを各シートが満たしているかに基づき得る。本願に記載する技法に従えば、加工現場８はまた、完成したウェブロール１０の異常、即ち潜在的な欠陥に関するデータを受領してもよい。最終的に、加工現場８は、完成したウェブロール１０を個々のシートに変換してもよく、それらのシートは、消費者１４Ａ〜１４Ｎ（消費者１４）に販売される製品１２に組み込まれてもよい。
【００１６】
製品１２に組み込むための個々のシートに加工する準備のできた完成したウェブロール１０を生産するために、未完成のウェブロール７は、１つのウェブ製造工場、例えばウェブ製造工場６Ａにて、あるいは複数の製造工場にて、多数のプロセスラインによるプロセスを受けることが必要となり得る。各プロセスに関して、ウェブロールは典型的に、ウェブがそこから製造プロセスの中へ送られるソースロールとして使用される。各プロセスの後、ウェブは通常ウェブロール７に再度収集されて、別の製品ラインに移動されるか又は別の製造工場に出荷され、次にそこで広げられ、処理され、かつ再度ロールに収集される。最終的に完成したウェブロール１０が製造されるまでこのプロセスが繰り返される。多数の応用例で、各ウェブロール７のウェブ材料は、１つ以上のウェブ製造工場６の１つ以上の生産ラインで多数のコーティングを施されることがある。このコーティングは一般に、最初の製造プロセスの場合にはベースウェブ材料の露出表面に、後の製造プロセスの場合には既に施されたコーティングの露出表面に施される。コーティングの例には、接着剤、ハードコート、低接着性裏面コーティング、金属化コーティング、中性密度コーティング、電気的に導電性若しくは非導電性コーティング、又はこれらの組合せが挙げられる。
【００１７】
ウェブロール７の所与の１つの各製造プロセスの間、１つ以上の検査システムがウェブの異常情報を獲得する。例えば、図２に示されているように、生産ラインのための検査システムは、ウェブが処理されるとき、例えば、１つ以上のコーティングがウェブに塗布されるとき、連続して移動するウェブに近接して配置される１つ以上の画像取得装置を含んでもよい。画像取得装置は、連続して移動するウェブの連続的な部分を走査してデジタル画像を取得する。検査システムは、１つ以上のアルゴリズムを使用して画像を解析し、ウェブが加工される最終製品１２に応じて、実際の「欠陥」を示し得るいわゆる「局部的」異常情報をもたらす。検査システムは、例えば、各欠陥が単一領域に局在する「点」欠陥に関する異常情報をもたらしてよい。別の例としては、検査システムは、ウェブ材料が点欠陥の領域よりも大きい領域に広がる不均一なばらつきを示す「不均一」欠陥、つまり「不均一性」に関する異常情報をもたらしてよい。このような不均一性の例としては、まだら、びびり、バンディング、及び縞が挙げられる。
【００１８】
ウェブ製造工場６内の検査システムは、ウェブ製造時にリアルタイムで不均一性欠陥の存在を検出し、各欠陥の深刻度を示す出力を提供するためのアルゴリズムを適用してよい。例えば、コンピュータ化検査システムは、不均一性の存在及びそれらの深刻度に関してウェブ製造工場６内のプロセスエンジニアなどユーザにリアルタイムのフィードバックを提供してよい。これによりユーザは、プロセス条件を調節して、生産を大幅に遅延させたり、大量の使用不能材料を製造したりせずに問題を修正することにより、不均一性の出現に迅速に対応できる。コンピュータ化検査システムは、最終的に不均一性（例えば、「良」又は「不良」）の評価ラベルを割り当てるか、連続的尺度又はより正確な標本尺度（０〜１０の尺度で１．６３など）に基づいて所定サンプルの不均一性深刻度の測定値を算出することにより深刻度レベルを計算するアルゴリズムを適用してよい。
【００１９】
このプロセス中、検査システムは、本明細書に記載の技法を適用して、計算する画像特徴を動的に（即ち、ウェブ材料の製造中にリアルタイムで）判定してよい。１つの例では、検査システムは、システムによって内容が異なってよい基本特徴セットを抽出し、次に、必要に応じて追加の特徴（単数又は複数）の計算をトリガーすることから開始する。これらの技法は、取得された各サンプル画像について、連続的で、より大きい特徴セットの結果を使用してリアルタイムで「最適な特徴セット」を構築して、必要に応じて追加の特徴の計算をトリガーする。各検査システムは適当な基準特徴セットより開始し、次に、基本特徴セットの値に基づき、（基本外の特徴が存在する場合には）どの基本外の特徴を計算するべきかを決定する。同様に、これらの追加の特徴を解析し、追加の特徴が存在する場合には、どの追加の特徴が必要であるかを判定することができる。特徴抽出プロセスの各工程における決定は、本明細書において潜在的トリガーイベントと称される。一実施形態では、検査システムは、制御されたマルコフ連鎖モデル下での分類精度の期待利得を最適化するために、各潜在的トリガーイベントにおいて追加の特徴計算をトリガーするかどうかを決定する。
【００２０】
幾つかの実施形態では、検査システムの解析用コンピュータは、トレーニングデータに基づいて開発された連続的ランク付けモデルを適用して、捕獲されたデジタル画像を処理する。通例、トレーニングデータは、「許容可能」若しくは「許容不可能」又は「１」、「３」、若しくは「５」等のどちらかと言えば粗い離散的な評価ラベルをたいてい用いるアルゴリズムの「トレーニングフェーズ」中に処理され、連続的ランク付けモデルは、トレーニングデータを最適一致させるように開発される。つまり、トレーニングフェーズ及び連続的ランク付けモデルの開発後にトレーニングデータを連続的ランク付けモデルに適用すると、トレーニングデータが高精度で分類される。連続的ランク付けモデルをトレーニングデータから構築したら、解析用コンピュータは、処理の「分類フェーズ」中に、潜在的にはリアルタイムで、新たに製造した製品から捕獲されたサンプルに連続的ランク付けモデルを適用し、離散的な評価ラベルに制約されずに、不均一性の深刻度の連続的なチャート化を行う。これによって、コンピュータ化検査システムはサンプルの連続的なランク付けを提供してよい。例えば、コンピュータ化検査システムはアルゴリズムを適用して、０〜１０の尺度で１．６３など連続的尺度でウェブ材料内の不均一性欠陥の深刻度測定値をもたらしてよい。
【００２１】
幾つかの実施形態では、所定の製造されたウェブのデジタル画像の追加解析は、加工制御システム４によってオフラインで実行されてよい。加工制御システム４は、所定のウェブの分類に基づいて、各ウェブロール１０の加工計画を選択し、生成してよい。デジタル画像の解析及び深刻度レベルの測定は、特定の不均一性はある製品（例えば、製品１２Ａ）に欠陥をもたらし得るが、この異常性は、別の製品（例えば、製品１２Ｂ）では欠陥の原因になり得ないという点で用途に特有である。各加工計画は、最終的に消費者１４に販売され得る製品１２を作製するために、対応する完成したウェブロール１０を加工処理する規定の指示を表すものである。例えば、ウェブロール１０は、最終製品、例えば、ノートブックコンピュータのディスプレイに適用するための特定寸法のシートに加工され得る。別の例として、この同じウェブロール１０は、携帯電話のディスプレイに適用するための最終製品に加工されてもよい。加工制御システム４は、異常に適用され得る異なる欠陥検出アルゴリズムに照らして、どの製品がウェブの最大利用率といった特定のパラメータを最良に達成するかを識別することができる。
【００２２】
図２は、図１の例示的なウェブ製造工場６Ａ内にある、ウェブプロセスライン２１の一部に配置された検査システムの例示的な実施形態を示すブロック図である。この例示的な実施形態において、ウェブ２０の一区間が、２つの支持ロール２２、２４の間に配置されている。画像取得装置２６Ａ〜２６Ｎ（画像取得装置２６）は、連続して移動するウェブ２０にごく近接して配置され、連続して移動するウェブ２０の連続的な部分を走査して画像データを取得する。取得コンピュータ２７が画像取得装置２６から画像データを収集し、その画像データを解析用コンピュータ２８に送信する。
【００２３】
画像取得装置２６は、移動ウェブ２０の連続的な部分を読取ることができ、並びにデジタルデータストリームの形態で出力を提供することができる従来の画像デバイスであってもよい。図２に示されているように、撮像装置２６は、デジタルデータストリームを直接提供するカメラ又は追加のアナログ−デジタルコンバータを有するアナログカメラであってもよい。他のセンサ類、例えば、レーザースキャナなどが撮像取得デバイスとして利用されてもよい。ウェブの連続的な部分は、データが単一のラインの連続によって得られているということを示す。単一のラインは、センサ要素又はピクセルの一列に位置する、連続して移動するウェブの領域を含む。画像を収集するのに好適な装置の例には、Ｄａｌｓａ（Ｗａｔｅｒｌｏｏ，Ｏｎｔａｒｉｏ，Ｃａｎａｄａ）のＰｉｒａｎｈａ  Ｍｏｄｅｌｓ、又はＡｔｍｅｌ（Ｓａｎ  Ｊｏｓｅ，Ｃａｌｉｆ）のＭｏｄｅｌ  Ａｖｉｉｖａ  ＳＣ２  ＣＬなどのラインスキャンカメラが挙げられる。更なる例には、Ｓｕｒｆａｃｅ  Ｉｎｓｐｅｃｔｉｏｎ  Ｓｙｓｔｅｍｓ  ＧｍｂＨ（Ｍｕｎｉｃｈ，Ｇｅｒｍａｎｙ）からの、アナログ−デジタルコンバータと連結したレーザースキャナが挙げられる。
【００２４】
画像データは、画像の取得を支援する光学アセンブリの利用を通じて、任意に取得することができる。この組立体はカメラの一部であってもよく、又はカメラから分離されているいずれか一方でもよい。光学的組立体は、撮像プロセス中に反射光、透過光又は反射透過光（transflected light）を利用する。反射光は、例えば、表面のスクラッチなどウェブ表面の変形によって生じた欠陥の検出に、しばしば好適である。
【００２５】
いくつかの実施形態において、認識マーク制御器３０が認識マークリーダ２９を制御して、ロール及び位置の情報をウェブ２０から集める。例えば、基準マーク制御器３０は、バーコード又は他のしるしをウェブ２０から読み取るための１つ以上の写真光学センサを有していてもよい。加えて、認識マーク制御器３０は、ウェブ２０及び／又はローラ２２、２４と係合した１つ以上の高精度エンコーダから位置信号を受信してもよい。この位置信号に基づいて、認識マーク制御器３０は、検出された各認識マークに対する位置情報を判定する。基準マーク制御器３０は、検出された異常と関連付けるために、解析用コンピュータ２８にロール及び位置情報を伝える。
【００２６】
解析用コンピュータ２８は、取得用コンピュータ２７からの画像データストリームを処理する。特徴抽出モジュール４３は、本明細書に記載の技法に従って解析用コンピュータ２８上で実行し、ウェブ材料２０の製造中にリアルタイムで画像１枚単位で計算する画像の特徴を動的に判定する。つまり、製造中に取得された各画像に対して、特徴抽出モジュール４３は、連続的で、より大きい特徴セットの結果を使用してリアルタイムで「最適な特徴セット」を構築して、各種の潜在的な不均一性について深刻度レベルを計算できるようになるまで追加の特徴計算をトリガーする。一実施形態では、コンピュータ化された不均一性作図モジュール３９（「作図モジュール３９」）が、トレーニングデータ３５に基づいて開発された連続的ランク付けモデル３４（「モデル３４」）を使用するアルゴリズムを適用して抽出された特徴を処理して、不均一性欠陥の存在を検出し、各欠陥の深刻度レベルの連続図を提供する。
【００２７】
トレーニングデータ３５は、通常、１人以上のエキスパート３８によって評価が割り当てられた、大量の代表的なサンプルデジタル画像のセットで構成される。既に自動的にランク付けされたデータもトレーニングに使用できる。デジタル画像は、例えば、ウェブ２０、又はウェブプロセスライン２１で事前に製造された別のウェブから取得されたサンプルを表してよい。トレーニングサーバー３６は、エキスパート３８がサンプルを表す大量のデジタル画像に効率的かつ一貫して評価（即ち、ラベル）を割り当てるのを支援する、コンピュータ化エキスパート評価ツール３７（「評価ツール３７」）を提供するソフトウェアを実行するための動作環境を提供してよい。
【００２８】
トレーニングデータ３５が確立されると、トレーニングモジュール４１はトレーニングデータを処理して、作図モジュール３９がウェブ材料２０の取得用コンピュータ２７から受領した画像データのリアルタイム解析に引き続き使用するための連続的ランク付けモデル３４を生成する。このようにして、ウェブ材料２０の領域の新しい画像は、連続的ランク付けモデル３４に従って分類できる。検出され得る欠陥の例としては、まだら、びびり、バンディング、及び縞などの不均一性、並びに斑点、かき傷、及び油たれなど点欠陥が挙げられる。
【００２９】
解析用コンピュータ２８は、ウェブ２０の情報を識別するロール及び場合によっては各異常の位置情報を含めて、ウェブ２０の異常情報をデータベース３２に記憶してよい。例えば、解析用コンピュータ２８は、基準マーク制御器３０によってもたらされる位置情報を使用して、プロセスラインの座標系内の各異常の空間位置又は画像領域を判定する。即ち、基準マーク制御器３０からの位置データに基づき、解析用コンピュータ２８は、現在のプロセスラインによって使用されている座標系内の各異常に関するｘ、ｙ及び、場合によってはｚ位置、又は範囲を判定する。例えば、座標系は、ｘ次元が、ウェブ２０を横断する距離を表し、ｙ次元がウェブの長さに沿った距離を示し、ｚ次元がウェブの高さを表すように定義されてもよく、これはコーティング、材料又はウェブに既に適用された他の層の数に基づいてもよい。更に、ｘ、ｙ、ｚ座標系の原点は、プロセスライン内のある物理的な箇所で規定されてもよく、典型的には、ウェブ２０の初期供給点の配置に関連付けられる。データベース３２は、１つ以上のデータベースサーバーを実行するデータストレージファイル又は１つ以上のデータベース管理システム（ＤＢＭＳ）を含む、様々な形態の任意の数で実行されてもよい。データベース管理システムは、例えば、リレーショナル（ＲＤＢＭＳ）、階層的（ＨＤＢＭＳ）、多次元（ＭＤＢＭＳ）、オブジェクト指向（ＯＤＢＭＳ若しくはＯＯＤＢＭＳ）又はオブジェクトリレーショナル（ＯＲＤＢＭＳ）データベース管理システムであってもよい。一例として、データベース３２は、ＳＱＬ  Ｓｅｒｖｅｒ（商標）によってＭｉｃｒｏｓｏｆｔ  Ｃｏｒｐｏｒａｔｉｏｎから提供されているリレーショナルデータベースとして実行される。
【００３０】
処理が終了すると、解析用コンピュータ２８は、データベース３２に収集されたデータを、ネットワーク９を介して加工制御システム４に送信してよい。例えば、解析用コンピュータ２８は、連続的ランク付けモデル３４に従った、後続のオフラインでの詳細解析のために、ロール情報、並びに異常情報及び各異常に対応する副画像を加工制御システム４に伝えてよい。例えば、この情報は、データベース３２と加工管理システム４との間のデータベース同期によって通信されてもよい。いくつかの実施形態において、製品１２のうちの、各異常によって欠陥が発生し得る製品を、解析用コンピュータ２８ではなく加工管理システム４が判定してもよい。完成したウェブロール１０についてのデータがデータベース３２に収集されると、そのデータは、加工現場８に伝えられる、及び／又は除去可能、つまり水性のマークで直接ウェブの表面上にて、若しくはウェブ上の異常をマークする前若しくはその間にウェブに貼り付けられ得るカバーシート上にて、ウェブロール上の異常をマークするために使用されることができる。
【００３１】
解析用コンピュータ２８及びトレーニングサーバー３６の構成要素は、少なくとも一部分において、１つ以上のハードウェアマイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は任意の他のこれらに準ずる集積若しくは個別論理回路、並びにかかる構成要素の任意の組み合わせを含む、解析用コンピュータ２８の１つ以上のプロセッサによって実行されるソフトウェア命令として実装されてよい。このソフトウェア命令は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読み出しメモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読み出しメモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、ハードディスク、ＣＤ−ＲＯＭ、フロッピーディスク、カセット、磁気媒体、光媒体、又は他のコンピュータ読み取り可能な記憶媒体など、コンピュータ読み取り可能な非一時的媒体に記憶されてよい。製造工場６Ａ内への配置を例として示されているが、解析用コンピュータ２８並びにトレーニングサーバー３６は、製造工場外、例えば、中央位置又は加工現場に配置されてよい。例えば、解析用コンピュータ２８及びトレーニングサーバー３６は、加工制御システム４内で動作してよい。別の例では、上述の構成要素は、単一の計算プラットフォームで実行し、同一のソフトウェアシステムに統合されてよい。
【００３２】
図３は、図２の検査システムの概要を提供するフローチャートである。この例では、プロセスは、２つの一般的な処理フェーズ（トレーニングフェーズ４５及びオンライン予測フェーズ４７）を含む。
【００３３】
初めに、トレーニングモジュール４１は、通常、画像セットの形態であり、場合によっては粗雑に離散化された尺度に基づいて深刻度のランク付けがすでに判明している、トレーニングデータ３５を入力として受領する（５０）。次に、トレーニングサーバー３６上で実行する特徴抽出ソフトウェアモジュールが各画像を処理して、特徴を抽出する（５２）。特徴抽出は、各画像に固有の関連情報のコンパクトな数値表現として、各画像の数値記述子を提供する。トレーニングフェーズ中の特徴抽出はオフラインで実施されるため、特徴抽出ソフトウェアモジュールは、各トレーニング画像について特徴抽出計算一式を実行し得る。特徴は、トレーニングセット内の画像間の関係に関する有用な情報を保存しつつ、同時に無用な画像特徴を除外する任意の方法で抽出され得る。一般的な特徴抽出技法の例としては、フィルターセットを使用して画像を畳み込み積分し、フィルタリングした画像の統計値を計算する方法、又は色若しくは輝度ヒストグラムに基づいて特徴を抽出する方法が挙げられる。場合によっては、画素値を特徴として用いることができる。ただし、この場合、典型的には画像全体を記憶する必要があるため、記述子はコンパクトではない。一般に、得られた特徴は、対応する画像内の関連情報のコンパクト記述子として処理される。
【００３４】
本明細書に記載の技法は、任意の特定の特徴抽出法とともに用いることに限定されるものではなく、他の種類の特徴がより適切である用途に容易に適用されてよい。一般に、画像から抽出された特徴は、特定の種類の不均一性について画像に関する識別情報を含むという点において記述的である。したがって、特徴が抽出されると、各画像に対応する特徴ベクトルがこの画像に含まれる関連情報の大部分を示す。
【００３５】
１つの例示の特徴抽出アルゴリズムは、特に外見に関連するために、画像全域で、又は画像のサブ領域について画素特徴の小規模な共分散行列を計算することである。一旦この小規模な共分散行列（例えば、５×５）が抽出されると、画像を直接処理するのではなく、これらの行列のみに基づいて、画像間の一対比較を効率的に実行できる。例えば、グレースケール画像は、画素座標ｘ及びｙによってＩ（ｘ，ｙ）として指標化された２次元配列として定義される。各画素位置（ｘ，ｙ）、つまり特徴ベクトルは、画素の輝度値並びにその画素における一次導関数及び二次導関数に基づいて以下のように抽出される。
【００３６】
【数１】
2014511530.tif 000003
【００３７】
画像導関数（勾配）は、各画素における輝度値間の前進差分又は中心差分を計算するだけで概算できる。高次導関数、又はフィルター処理した画像の結果を含む他の特徴を、（式１）中のベクトルに組み込むこともできる。同様に、すべての導関数を含める必要はなく、例えば、所与の方向の導関数から、特定の欠陥に関する情報が得られない場合には、その導関数は（式１）から除去することができる。最終的に、これらの画素特徴の共分散行列が画像全域で以下のように計算される。
【００３８】
【数２】
2014511530.tif 000004
【００３９】
式中、Ｎは画像内の画素数であり、
【００４０】
【数３】
2014511530.tif 000005
【００４１】
画素特徴の平均値である。これは、後続の処理工程で画像間の一対距離を計算する際に有用であり得る。これらの共分散行列記述子の場合、一対距離は以下のように計算される。
【００４２】
【数４】
2014511530.tif 000006
【００４３】
式中、λｉ（ＣＩ１；ＣＩ２）は、２つの共分散行列のｉ番目の一般化固有値である。更なる詳細は、参照により本明細書に組み込まれるＯ．Ｔｕｚｅｌ，Ｆ．Ｐｏｒｉｋｌｉ，ａｎｄ  Ｐ．Ｍｅｅｒ．「Ｒｅｇｉｏｎ  Ｃｏｖａｒｉａｎｃｅ：Ａ  Ｆａｓｔ  Ｄｅｓｃｒｉｐｔｏｒ  ｆｏｒ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ」，Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  Ｅｕｒｏｐｅａｎ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，２００６に見出すことができる。
【００４４】
トレーニング画像のそれぞれについての特徴を抽出した後、エキスパート３８は、後述する方法で、コンピュータ化エキスパート評価ツール３７と対話し、抽出された特徴ベクトルに照らして、デジタル画像のそれぞれに離散的な評価５３を割り当てる（５５）。
【００４５】
次に、トレーニングモジュール４１は、抽出された特徴ベクトル及びエキスパート評価５３を処理し、トレーニング画像の連続的なランク付けを生成し、それらの不均一性の深刻度に基づき連続的ランク付けモデル３４を作成する（５４）。各トレーニング画像について当初判明していることは、対応するサンプルが、特定の種類の不均一性に対して「良」若しくは「不良」、又はレベル「１」、「３」、若しくは「５」であるかどうかを示す、エキスパート評価が全てである。これらのエキスパート評価は、トレーニング画像のしばしばおおまかな順位付けを提供する。即ち、トレーニング画像は、２つ若しくは３つの離散的区分、又はエキスパートがより細かい尺度の情報を提供できる場合は、より多くの区分にランク付けされ得る。トレーニングモデル４１は、このおおまかな順位付けを入力として使用し、特定の不均一性に関する連続的尺度に沿ってトレーニング画像が最良から最悪までにランク付けされる連続ランク付けを学習する。例えば、「良」の画像には「不良」とラベル付けされた画像よりも低い深刻度のランク付けを割り当てるなど、良いランク付けは、可能な限りエキスパート評価に留意するべきであるが、場合によっては、トレーニングモジュール４１は、離散的ラベルによって示唆された、おおまかなランク付けに反することを完全に防ぐことはできない。これは、人間の知覚の主観的性質のため、又は更には、トレーニングデータの手動のラベル付けにおける完全な誤りのために、エキスパート評価に間違いが含まれることがあり得るし、実際によく間違いが含まれているからである。
【００４６】
オンライン予測フェーズ４７の間、作図モジュール３９は、学習した連続的ランク付けモデル３４を生産ラインでリアルタイムに適用する。製造中のウェブのサンプル画像が捕獲されると（５６）、特徴抽出モジュール４３は、画像から特徴を抽出する（５８）。以下で詳述するように、特徴抽出モジュール４３は、ウェブ材料２０の製造中にどの画像の特徴をリアルタイムで画像１枚単位で計算するかを動的に判定する。製造中に取得された各サンプル画像について、特徴抽出モジュール４３は、連続的で、より大きい特徴セットの結果を使用してリアルタイムで「最適な特徴セット」を構築して、追加の特徴計算をトリガーする。特徴抽出モジュール４３は、サンプル画像から抽出する特徴をリアルタイムで選択するための動的トリガー連鎖を定義する、意思決定モデル（例えば、マルコフモデル）を記憶してよい。特徴抽出モジュール４３はモデルを適用して、抽出された特徴がウェブ材料の不均一性欠陥の深刻度レベルを計算するのに十分になるまで追加の特徴セットの選択を繰り返し動的にトリガーして、サンプル画像から抽出する（５９、６０）。したがって、任意の所定のサンプル画像について抽出される特徴の数及び特徴の抽出順は、特徴抽出モジュール４３によってリアルタイムで動的に判定される。コンピュータ検査システムは、「良」若しくは「不良」などの深刻度評価ラベルを割り当てるか、１〜１０の尺度で「１．６３」などの深刻度値を生成することにより深刻度レベルを計算してよい。続いて、不均一性欠陥の計算された深刻度は、ユーザに対する出力となってよい。例えば、抽出された特徴が、連続的ランク付けモデル３４に基づいて割り当てられる深刻度評価にとって十分になると、深刻度評価はユーザに対する出力となり得る。
【００４７】
本願明細書に記載されている技法は、新人をエキスパート評価者になるようにトレーニングするために利用されてよい。即ち、本願明細書に記載されている技法は、特定の不均一性欠陥の数及び深刻度を増やす又は減らすように作業者によって行われる調節に場合によっては応答して、具体的な不均一性欠陥の例を視覚的に提示するために用いることができる。これは、新人が、既存のエキスパートと同じように欠陥を視覚化し、エキスパート評価システムのトレーニングに用いられる画像について理解を深めることを可能とする。例えば、コンピュータ化検査システムは、製造されたウェブ材料から取得されたサンプル画像をリアルタイムで処理し、画像から第１の複数の特徴を抽出してよい。ユーザのためのトレーニングソフトウェアとして実装される評価ツール３７は、コンピュータ化検査システムを用いて第１の複数の特徴から分類モデルに従い、ウェブ材料のサンプル画像についての不均一性欠陥についての深刻度レベルを計算し、次に、サンプル画像、及び分類モデルから計算された深刻度レベルの両者をトレーニング情報としてユーザに表示してよい。
【００４８】
図４は、評価ツール３７が、エキスパート３８がトレーニングデータ３５に離散的な評価５３を割り当てる（図３の工程５５）のを支援する際の動作例を示すフローチャートである。最初、評価ツール３７は、トレーニングデータ３５、及び上述されたように特徴抽出ソフトウェアモジュールによって抽出された特徴ベクトルのセットを受信する。
【００４９】
この時点で、評価ツール３７はクラスタリング段階（６３）に入り、画像から抽出された記述的特徴に基づいて画像がクラスタリングされる。分類アルゴリズムの訓練及び試験に使用される画像のセットが、多くの場合、ほぼ何万もの非常に大きい画像であることは希なことではない。この多数の画像を短時間で詳細にクラスタリング及び視覚化することは、殆どの大きいデータセットがかなりの余剰を含むため、一般に実際的ではなく、また必要でない可能性があり、したがって代表的なサブセットのみを詳細に解析することが必要である。この理由のために、評価ツール３７は、ラベル付けプロセスにおいてエキスパート３８を援助するために画像の代表的なサブセットを自動選択する（６４）。エキスパート３８がデータを能動的に探索し、存在する欠陥のタイプを識別することを援助するために、評価ツール３７は、訓練データ３５内に存在する異なるタイプの欠陥の極度の例と、通常レベルの欠陥を有する画像の例とを含むようにサブセットを自動的に選択する。
【００５０】
１つの例では、評価ツール３７は、ウェブベース製品の画像における不均一性（即ち、テクスチャ）を特徴付けるのに十分であると認められた画素強度の分散を使用して、比較的極度の欠陥性の場合を区別する。更に、画素分散の算出は、比較的計算コストが低く、このことはトレーニング画像の非常に大きいセットに有利であり得る。上記に概略した共分散行列記述子の場合、画素強度分散は、行列ＣＩの左上の要素内に与えられ、したがって更なる算出は不要である。この例では、サブセットの選択における第１の工程は、最も高い分散を有するＮ１画像を識別することである（６４）。これらは、データ３５内の最も欠陥の多い画像Ｎ１にほぼ対応する。サブセットはセット全体の代表であることも重要であるため、評価ツール３７は、残りのセットからＮ２画像も無作為に選択する。このＮ１＋Ｎ２画像のセットは、初期サブセットＳ０（図３で「サブセット０」と示される）を含む。サイズＮ１及びＮ２は、ユーザにより選択される。
【００５１】
加えて、評価ツール３７は、未だＳ０に含まれていない、Ｓ０でよく表されない任意のアウトライアーを含むようにサブセットを生成する（６５）。上述した距離関数（式４）を使用して、Ｓ０内に含まれない残りの各画像を処理して、特徴空間内におけるそのｋ最近傍（k nearest-neighbor、ｋＮＮ）を識別する。用語「特徴空間」は、上記の式１に規定された特徴ベクトル等の特徴ベクトルの次元により規定される多次元空間を指す。１そのｋＮＮｓの全部に対する距離が、閾値Ｔｄよりも大きい場合、画像はアウトライアーと考慮される。パラメータｋ及びＴｄはエキスパート３８により構成されてもよいが、デフォルト値を使用してもよい。このことはエキスパート３８が異なる値を試み、結果を視認することを可能にする。デフォルト値の例は、例えば、ｋ＝５及びＴｄ＝１．０であってもよい。評価ツール３７は、この方法で選択された任意のアウトライアーを、以前選択されたＮ１＋Ｎ２画像に追加して、完全なサブセットＳ１（図１で「サブセット１」と示される）を形成する。
【００５２】
トレーニング画像の代表的なサブセットＳ１を選択した後、評価ツール３７は、そのサブセットにクラスタリングアルゴリズムを適用して、サブセットＳ１内の画像から比較的類似する画像の小グループを形成する（６６）。評価ツール３７はクラスターを形成して訓練データセットのより直感的視覚化を提示し、エキスパート３８の探索をより容易にする。一例において、評価ツール３７はボトムアップ型（bottom-up）凝集クラスタリングアルゴリズムを適用して、それらの共分散行列記述子に従って、画像クラスターをサブセットＳ１内に形成する。このプロセスでは、各画像は当初別個のクラスターとして処理され、以前確立されたクラスターを使用して、連続的なクラスターが識別される。例えば、（４）を使用して算出された画像間距離に基づいて、評価ツール３７は、訓練データ間の階層的な相互関係（inter-relationship）を封入する凝集型階層的関連ツリーを形成する。評価ツリーは所定の地点でプロセスを終了して（即ち、関連ツリーを「中断」して）、エキスパート３８により特定される、設定された数のクラスターＮｃを生成する。Ｗ．Ｈ．Ｅ．Ｄａｙ及びＨ．Ｅｄｅｌｓｂｒｕｎｎｅｒ、「Ｅｆｆｉｃｉｅｎｔ  Ａｌｇｏｒｉｔｈｍｓ  ｆｏｒ  Ａｇｇｌｏｍｅｒａｔｉｖｅ  Ｈｉｅｒａｒｃｈｉｃａｌ  Ｃｌｕｓｔｅｒｉｎｇ  Ｍｅｔｈｏｄｓ」、Ｊｏｕｒｎａｌ  ｏｆ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ、ｖｏｌ．１、ｎｏ．１、７〜２４頁、１９８４年に、凝集型階層的クラスタリングに関する追加情報を見いだすことができる。
【００５３】
多数のクラスター（例えば、いくつかの場合では、数百）が存在し得るため、評価ツール３７はまた、最も類似するグループが互いに直近して表示されるように、クラスターを互いに関連して順序付ける。これは評価ツール３７が、この場合はクラスター自体の間の関係を封入する第２の凝集型階層的関連ツリーを形成することにより達成される。それ故、クラスターの順序付けは、第２のツリーの最下レベル（リーフノード）を観察することにより得ることができる。第２の階層的関連ツリーを形成するために、評価ツリー３７は画像クラスターを対で解析し、各クラスター対の間の対的な（pairwise）クラスター間距離を算出する。クラスターのそれぞれの間のクラスター間距離を使用して、第２の関連ツリーを形成する。一例では、評価ツリー３７は、２つのクラスター内の画像の間の個々の距離の中央値として、２つのクラスターの間の距離を算出する。評価ツール３７は、第２のツリーのリーフノードの配置を用いて、画像クラスターの表示を調整し、それによって最も類似する画像クラスターを互いに空間的に直近して表示する。これはエキスパート３８が、訓練データ中に存在し、かつ訓練データにより表される欠陥を理解することを支援する。
【００５４】
関連ツリーの開発によりトレーニング画像をクラスタリングした後、評価ツール３７はユーザインターフェースを提示し、エキスパートはそのインターフェースによって、クラスターを視覚化し、クラスタリングが視覚的に許容できない場合に画像を再割り当てする機会を与えられる（６７）。次に、ユーザは、各画像を独立してラベル付けするのとは対照的に、画像のクラスターのそれぞれにエキスパート評価を割り当て（６８）、そして評価ツール３７が更なるユーザ交流を必要とせずにこれらエキスパート評価を残りの画像のセットに伝搬し、かくしてデータセット全体に関するエキスパート評価をもたらす（６９）。即ち、評価ツール３７は、明細書に記載したアルゴリズムを適用して、トレーニング画像のデータセット全体にエキスパート評価を自動的に割り当てる。換言すれば、エキスパート３８は、評価ツール３７により提供されるユーザインターフェースを使用して、識別された各欠陥クラスにおけるサブセットＳ１内の全部（又はいくつか）の画像クラスターにエキスパート評価を割り当てることのみを必要とする。評価ツール３７は、サブセットＳ１内に含まれない非ラベル付き画像を含む、残りの非ラベル付き画像にエキスパート評価を自動的に伝搬する。
【００５５】
各非ラベル付き画像Ｉｕに関して、評価ツール３７は、この画像から各ラベル付き画像Ｉｌ（即ち、エキスパート評価が割り当てられているサブセットＳ１内の各画像）への対距離を、距離関数（式４）を使用して計算する。次に、これらの距離を次式に従って対類似度に変換する。
【００５６】
【数５】
2014511530.tif 000007
【００５７】
ここで、バンド幅パラメータσは、距離に作用するヒューリスティックに従って選ばれる。
【００５８】
【数６】
2014511530.tif 000008
【００５９】
これらの類似度は重みへ正規化される。
【００６０】
【数７】
2014511530.tif 000009
【００６１】
量
【００６２】
【数８】
2014511530.tif 000010
【００６３】
は、特徴空間を通して酔歩において画像Ｉｕから画像Ｉｌへ移行する確率に対応し、ｗは、
【００６４】
【数９】
2014511530.tif 000011
【００６５】
のように正規化される。
【００６６】
最後に、画像Ｉｕが、この欠陥クラスにおけるエキスパート評価ｅに属する確率が、
【００６７】
【数１０】
2014511530.tif 000012
【００６８】
のように算出される（式中、
【００６９】
【数１１】
2014511530.tif 000013
【００７０】
は指示関数であり、したがって、ラベル付き画像
【００７１】
【数１２】
2014511530.tif 000014
【００７２】
が、この欠陥クラスにおけるエキスパート評価ｅに割り当てられた場合
【００７３】
【数１３】
2014511530.tif 000015
【００７４】
であり、そうでない場合、ゼロである）。帰属の確率ｐｅ（Ｉｕ）を、可能な各エキスパート評価ｅに関して算出し、最も高い確率を有するものを非ラベル付き画像Ｉｕのエキスパート評価として選択する。評価ツール３７は、各欠陥クラスにおいて、このプロセスを非ラベル付き画像の全部に関して反復する。Ｘ．Ｚｈｕ及びＺ．Ｇｈａｈｒａｍａｎｉ、「Ｌｅａｒｎｉｎｇ  ｆｒｏｍ  Ｌａｂｅｌｅｄ  ａｎｄ  Ｕｎｌａｂｅｌｅｄ  Ｄａｔａ  ｗｉｔｈ  Ｌａｂｅｌ  Ｐｒｏｐａｇａｔｉｏｎ」、ＣＭＵ  ＣＡＬＤ  Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ  ＣＭＵ−ＣＡＬＤ−０２−１０７、２００２年に、ラベル伝搬に関する更なる例示的な情報を見出すことができる。
【００７５】
再び図４を参照すると、エキスパート３８が画像の各クラスターにエキスパート評価を割り当て、残りの画像にラベルが自動的に伝搬された後、評価ツール３７は、エキスパートが訓練データ３５を探索し、必要であればラベル割り当てを調節して（７０）、訓練データ３５のセット全体に関するエキスパート評価を最終的に生成すること（７１）を可能にする。この方法で、評価ツール３７は、自動的サブセット選択と、続く訓練データ３５内の画像のより大きいセットに対するエキスパート評価の伝搬との機能性を提供する。その結果、評価ツール３７は、画像が有意な余剰を含み得る場合であっても、エキスパート３８が容易に操作し、大きいデータセット（例えば、ほぼ何万もの画像）に評価を割り当てることを可能にし得る。
【００７６】
図５は、評価ツール３７のユーザインターフェースにより提示されるウィンドウの例８０の図であり、エキスパート３８は、このインターフェースによって、クラスタリングプロセスを調節するパラメータを設定する。この例では、ウィンドウ８０は入力機構を含み、エキスパート３８はこの機構によって、トレーニング画像のディレクトリー、トレーニング画像のフォーマット、結果を出力するためのディレクトリー、及び評価ツールが画像の新たなクラスタリングを行う必要があるか、又は読取りが以前のクラスタリングプロセスからの入力結果であるかを示す選択を特定する。
【００７７】
加えて、エキスパート３８は、クラスタリングプロセスを調節する所定のパラメータを特定することができる。詳細には、ウィンドウ８０は、評価ツール３７がトレーニング画像を組織化するクラスターの数を特定するための入力フィールドを含む。上述したように、評価ツール３７は、ユーザにより特定された所望の数のクラスターを使用して、特定の数のクラスターに一致し、又は該数を超えるいくつかのリーフノードを有するように第１の関連ツリーを生成する際にクラスタリングプロセスを中断する。加えて、エキスパート３８は、訓練データ３５が大きいデータセットであり、評価ツール３７が本明細書に記載したクラスタリングのための画像の代表的なサブセットを自動的に識別する必要があるか否かを特定し得る。この場合、エキスパート３８は、代表的なサブセットＳ０のサイズ、即ち、含ませる最も高い分散を有する画像の数Ｎ１（図５の１５０）と、残りの画像から無作為に選択するための画像の数Ｎ２（図５の５０）とを調節するためのパラメータも特定し得る。このＮ１＋Ｎ２画像のセットは、初期サブセットＳ０を含む。加えて、エキスパート３８は、評価ツール３７が代表的なセットＳ１内にアウトライアーを含むか否かを特定し得、もしそうであれば、各画像の特徴空間内を検査するための最近傍の数ｋ（ｋＮＮｓ）（図５の５）と、画像をアウトライアーとして特徴付けるための閾値Ｔｄ（図５の１．０）とを特定し得る。
【００７８】
図６は、クラスタリング操作の結果を表示する、評価ツール３７により提示されるクラスター視認ウィンドウ９０の一例の図である。理解し得るように、２つの別個のパネル９１Ａ、９１Ｂ内に画像クラスターが視覚的に表示されており、ユーザはこのパネル９１Ａ、９１Ｂを介して、埋め込まれたハイパーリンクを使用してクラスターをナビゲート及び探索することができる。左側のパネル９１Ａは、各クラスター９２Ａ〜９２Ｎからの単一の代表的な（重心）画像を表示することによって、クラスタリング結果の高いレベルの外観を提供する。各クラスターに関して、パネル９１Ａは代表的な画像、クラスターに関連した識別子を表示し、そのクラスターに割り当てられた画像の数を括弧内に示す。例えば、クラスター９２Ａは、識別子「１０」を有し、３つの画像がこのクラスターに割り当てられている。評価ツール３７は、上述した第２の凝集型階層的関連ツリーに従って、クラスター９４Ａ〜９４Ｎをスクロール可能なパネル９１Ａ内に配置し、したがって、類似した画像を含むクラスターは、パネル内にて互いに直近して位置づけられる。換言すれば、評価ツール３７は、第２の凝集型階層的関連ツリーのリーフノードに従って、クラスターをスクロール可能なパネル９１Ａ内に配置し得る。
【００７９】
より詳細に探索するために、エキスパート３８は次に、任意のクラスター９２の代表的な画像又は識別子を選択（例えば、その上をクリック）して、その中に含まれる画像を右側パネル９１Ｂ内で視認することができる。図６の例では、エキスパート３８は、検査のためにクラスター９２Ａ（即ち、識別子「１０」を有するクラスター）を選択している。この例では、パネル９１Ｂは、クラスターに割り当てられた３つの画像を示し、全部が互いに強い類似性を有し、そのクラスタリングアルゴリズムがそれらを適切にグループ分けしたことを示す。パネル９１Ａにより提示されるようなサブセットＳ１内の画像のグループ分け及び順序付けにより、エキスパート２８は、クラスタリングされた訓練データ３５を非常に直感的に探索することができる。これは、手動での検査とラベル割り当てのために画像の大きい未組織化集合がユーザに単に提示され得る他の技術を越える利点を有し得る。本明細書に記載されるクラスタリング及び視覚化の能力は、エキスパート３８のデータ探索の仕事を簡素化し、代表的な訓練データ中に存在する欠陥のタイプをエキスパートが迅速に識別することを可能にし得る。
【００８０】
図６に示すように、クラスター視認ウィンドウ９０は入力領域９６を含み、エキスパート３８はこの入力領域９６によって個々の画像のクラスター割り当てを変更するよう交流し、また画像を異なるクラスター又は新たなクラスターのいずれかに移動する能力を含む。場合によっては、評価ツール３７は、画像を異なるクラスターに再割り当てするべきことをいつユーザが示したのかを記録し、この情報を用いて、この新しい入力に基づきクラスタリングを自動的に更新する。例えば、評価ツール３７は、元のクラスター内のどの画像が、移動された画像と類似しているのかを自動的に判定してよく、この判定に基づき、これらの画像を新しいクラスターに移動してもよい。加えて、入力領域９８は、ユーザがクラスター自体と交流することを可能にし、それには２つのクラスターを合併する能力と、クラスターを表示順の異なる位置に物理的に移動する能力と、が含まれる。評価ツール３７は、クラスター視認ウィンドウ９０内のディスプレーパネル９１Ａ、９１Ｂをリアルタイムで自動的に更新して、クラスター割り当てに為された変化を反映する。このように、評価ツール３７は、訓練データ３５内の代表的な画像の任意のタイプのグループ分け又は割り当てに関する最終的な決定権をエキスパート３８が有することを可能にする方法で使用され得る。これは、クラスタリング及び順序付け操作の最終的な目的が、訓練データの視覚化及び評価の能力を高めることであるため、視覚化の面での柔軟性の追加の手段も提供する。
【００８１】
加えて、クラスター視認ウィンドウ９０は、訓練データ３５内に存在する欠陥クラスの数を規定するための入力領域１００を含む。クラスター視認ウィンドウ９０は、エキスパート評価を画像に割り当てるための入力領域１０４も含む。入力領域１００、１０２のそれぞれは、以下に更に詳細に論じられる。
【００８２】
図７は、視認ウィンドウ９０の入力領域１００を更に詳細に示す。この例では、エキスパート３８は、クラスター視認ウィンドウ９０を介した、クラスタリングされた訓練データ３５の検査及び探索に基づいて、訓練データ中に３つの欠陥クラスが存在することを示している。図８に示すように、エキスパート３８が欠陥クラスの数を設定した後、クラスター視認ウィンドウ９０は、同一位置に別のメニュー１０２を提示して、ユーザが欠陥クラスの名称を入れることを可能にし、このことは、それらを識別する有意義な方法を提供する。図８の例では、エキスパート３８は、訓練データ３５内で識別された欠陥クラスの３つのタイプに、「びびり模様」、「まだら」及び「筋」の名称を入れている。クラスター視認ウィンドウ９０内のディスプレーパネル９１Ａ、９１Ｂは、エキスパート３８が入力領域１００及びメニュー１０２と交流する間、開放された状態のままであり、したがってエキスパートは、代表的な訓練データに関する欠陥クラスの数を割り当て、欠陥クラスのそれぞれに名称を割り当てる一方、クラスタリングされた訓練データをナビゲートし及び視覚化するオプションを尚、有している。
【００８３】
図９は、訓練データ３５の代表的なサブセットＳ１内の画像クラスターにエキスパート評価ラベルを割り当てるための、クラスター視認ウィンドウ９０の入力領域１０４を示す。エキスパート３８が入力領域１００及びメニュー１０２と交流して、データ中に存在する欠陥クラスの数及び名称を割り当てた後、評価ツール３７は、エキスパートが入力領域１０４と交流して訓練データ３５の画像にエキスパート評価を割り当てることを可能にする。この仕事を多大に簡素化するために、評価ツール３７は、非常に単調で退屈であり、かつ間違いやすい可能性がある、エキスパート３８による個々の画像に対するラベル付けの必要性の代わりに、クラスター全体に対する評価ラベルの割り当てを可能にする。加えて、エキスパート３８は、いずれのクラスターもラベル付けしないオプションを有する。続く処理において、サブセットＳ１内に含まれない残りの画像にラベルが伝搬された際、ラベルは、ラベル付けされていない任意のクラスター内の画像にも伝搬される。図９から理解し得るように、クラスター視認ウィンドウ９０は、エキスパート３８がクラスター内の全欠陥クラスを同時にラベル付けすることを可能にする。例えば、図９において、エキスパート３８は特定されたラベル「５」、「１」を有し、「１」は、訓練データのクラスター「１３」内の欠陥「びびり模様」、「まだら」及び「筋」である。更に、一例において、評価ツール３７は、割り当てられ得るエキスパート評価のタイプに関して制限を与えない。ラベルは、本明細書に示す「１」及び「５」ラベル等の数値であってもよく、又はテキストの「許容可能」及び拒絶」ラベルであってもよい。クラスターにエキスパート評価が割り当てられた後、パネルディスプレー９１はリアルタイムで更新されて、これらの変化を反映する。
【００８４】
図１０は、評価ツール３７により提示される最後のエキスパート評価視認ウィンドウ１１０の図であり、エキスパート３８はこのウィンドウを使用して、各欠陥クラスにおけるエキスパート評価を視覚化及び変更することができる。エキスパート評価視認ウィンドウ１１０は、全画像に関する最終的なエキスパート評価ラベルを表示する。図１０に示されるように、エキスパート評価視認ウィンドウ１１０は、２枚の横に並んだＨＴＭＬ表示パネル１１２、１１４を含み、これらのパネルを通して、ユーザは、埋め込まれたハイパーリンクを使ってページを検索することによって、結果を見ることができる。エキスパート評価視認ウィンドウ１１０は、左側に、エキスパート評価を変更するためのメニューオプション１２０も含む。
【００８５】
視覚化の面で、エキスパート評価視認ウィンドウ１１０は、直感的であり、またエキスパート３８又は他のユーザが容易に理解できるやり方で、ラベル付けプロセスの結果を表示する。一例として、エキスパート評価視認ウィンドウ１１０は、各欠陥クラスに関する結果を別個のＨＴＭＬページに表示する。各欠陥クラスにおいて、可能な各エキスパート評価を有する画像が、その欠陥クラスのためのＨＴＭＬページの別個の部分としてパネル１１４内に示される。例えば、図９に示すように、ＨＴＭＬパネル１１２は、欠陥クラスを列挙している。欠陥クラスの１つを選択すると、ＨＴＭＬパネル１１４は、可能な各エキスパート評価に関する画像を示す。これによりエキスパート３８は、画像に割り当てられたその欠陥の異なるラベルに基づいて、クラスター非依存的な方法で、欠陥を視認することができる。図９の例では、ソフトウェアツールは、ページ頂部の、ラベル「１」を受容した画像から開始して、「欠陥クラス１（びびり模様）」における結果を提示している。ＨＴＭＬパネル１１４は、欠陥クラスに使用されている各ラベルと、そのラベルのために、該ラベルが割り当てられた各画像とをエキスパート３８が検査できるように上下方向にスクロール可能である。
【００８６】
ユーザがデータを理解する能力を更に向上させるために、評価ツール３７は、所定の欠陥クラスにおける可能な各エキスパート評価内の画像を、類似する画像の比較的小さいグループにクラスタリングする別のクラスタリング操作を行う。評価ツール３７は、各クラスターの重心画像のみを示す、現在選択された欠陥クラス（例えば、「欠陥クラス１（びびり模様）」）のためのＨＴＭＬパネル１１４を生成する。これは、少数の、管理しやすい数の画像のみをディスプレイ上に保持するのを助ける。例えば、「びびり模様」欠陥クラス内のラベル「１」の場合、評価ツール３７は重心画像１１６を表示するＨＴＭＬパネル１１４のみを生成している。エキスパート３８は、各クラスターに関する重心画像をクリックして、そのクラスター内に含まれる全画像が表示されている別のＨＴＭＬページにナビゲートすることができる。
【００８７】
ＨＭＴＬパネル１１４を生成するためのクラスタリング操作に関連して、評価ツール３７は、欠陥クラスの全部に関して、可能な各エキスパート評価内の別個のクラスタリング算出を行う。即ち、記載したように、各画像は、全欠陥クラスにおけるエキスパート評価を受信する。換言すれば、各欠陥クラスは全部の画像を含むが、画像は一般に、各欠陥クラスにおける可能なエキスパート評価の間で異なるように分配される。例えば、所定の画像は、欠陥クラス「びびり模様」においてエキスパート評価「１」を有し得るが、欠陥クラス「まだら」においてエキスパート評価「５」を有し得る。評価ツール３７は、各欠陥クラスの各ラベルに関する独立した関連ツリーを算出するように、別個のクラスタリングを行う。一例として、評価ツール３７は、エキスパート評価「１」を有する画像及びエキスパート評価「５」を有する画像に関して欠陥クラス「びびり模様」におけるクラスタリングを算出してもよく、他の欠陥クラスにおいても同様に算出してもよい。
【００８８】
一実施形態例では、クラスターは、以下のように計算される。欠陥クラスｃにおけるエキスパート評価ｅを有する画像のセットは、
【００８９】
【数１４】
2014511530.tif 000016
【００９０】
と称される。セット
【００９１】
【数１５】
2014511530.tif 000017
【００９２】
は、初期サブセットＳ１からの画像と、エキスパート評価が伝搬されて
【００９３】
【数１６】
2014511530.tif 000018
【００９４】
からの他の画像との両方から構成される。画像
【００９５】
【数１７】
2014511530.tif 000019
【００９６】
は、本発明者らが以前にラベル付けした初期サブセットＳ１内に含まれていた、欠陥クラスｃにおけるエキスパート評価ｅを有する画像を表す。Ｓ１内の画像は以前にクラスタリングされたため、
【００９７】
【数１８】
2014511530.tif 000020
【００９８】
内の各画像は、既にクラスターに割り当てられている。評価ツール３７は、これらのクラスター割り当てを使用して、
【００９９】
【数１９】
2014511530.tif 000021
【０１００】
のクラスタリングを開始する。即ち、これはプロセスを開始するための初期クラスタリングとして用いられ、次に、これらのクラスターは、それらに新たな画像が連続的に追加されるときに変更される。
【０１０１】
【数２０】
2014511530.tif 000022
【０１０２】
内の各画像（即ち、
【０１０３】
【数２１】
2014511530.tif 000023
【０１０４】
クラスター割り当てを未だ有さない画像）の場合、その画像を、それが最も近い
【０１０５】
【数２２】
2014511530.tif 000024
【０１０６】
内のクラスターに割り当てる。この手順は、本発明者らの以前のクラスタリングＳ１を利用し、残りの画像
【０１０７】
【数２３】
2014511530.tif 000025
【０１０８】
を増分的にクラスタリングするため、各セット
【０１０９】
【数２４】
2014511530.tif 000026
【０１１０】
に関する新たなクラスタリングを全面的に計算するよりも効率的である。
【０１１１】
エキスパート評価視認ウィンドウ１１０は、画像名称を入れることによって任意の画像に関するエキスパート評価を変更するメニューオプション１２０も左側に含む。ユーザは、メニューオプション１２０を使用して、全欠陥クラスにおける画像の現在のエキスパート評価の視認と、必要であればそれらの変更との両方が可能である。
【０１１２】
評価ツール３７によって最終的に生成されたエキスパート評価５３は、トレーニング画像の連続的なランク付けを生成し、それらの不均一性の深刻度に基づく連続的ランク付けモデル３４を生成するために、トレーニングモジュール４１によって利用されることができる。図１１は、「マニホールド」１１６と称される連続的な３次元（３Ｄ）表面を示しており、これを参照すると、連続的ランク付けモデル３４を生成するトレーニングモジュール４１が適用するアルゴリズムが容易に理解される。各画像と関連付けられた特徴ベクトルは、高次元空間内の単一の点と考えることができる。しかしながら、すべての画像は、同じタイプの材料であり、同じ撮像デバイス又はその他のセンサによって、同じ撮像条件及び形状下で撮影されるので、自由度の基礎数は、埋め込む特徴空間の次元よりも低いことがある。したがって、マニホールド１１６（即ち連続的な３Ｄ表面）又はマニホールド群にある高次元点の１つであって、この空間に埋め込まれているが、固有の次元（自由度）が空間全体よりも低い場合のある、高次元点として各トレーニング画像を見るのが有用である。次元オブジェクトが組み込まれた３次元空間の単純なケースについて、例示の例が図１１に示されているが、実際には、特徴ベクトルの次元は一般にもっと高い。高次元空間に埋め込まれたマニホールドに関する更なる例示的な詳細は、Ｈ．Ｓ．Ｓｅｕｎｇ  ａｎｄ  Ｄａｎｉｅｌ  Ｄ．Ｌｅｅ，「Ｃｏｇｎｉｔｉｏｎ：Ｔｈｅ  Ｍａｎｉｆｏｌｄ  Ｗａｙｓ  ｏｆ  Ｐｅｒｃｅｐｔｉｏｎ」，Ｓｃｉｅｎｃｅ，ｖｏｌ．２９０，ｎｏ．５５００，ｐｐ．２２６８〜２２６９，Ｄｅｃ．２２，２０００に記載されている。
【０１１３】
図１１に関する１つの単純な例として、すべてのトレーニング画像が、様々なレベルのダウンウェブのびびりを有する同じウェブ材料を示すトレーニング画像セット。この単純なケースでは、各トレーニング画像が、様々な質感に関する特徴を取得する高次元特徴ベクトルによって示すことができても、この場合、この画像セット内に、びびりのレベルに対応する基礎的自由度が１つしかない場合がある。したがって、これらのトレーニング画像は、１次元マニホールドにある点、例えば、図１１の高次元空間内の曲線軌道を蛇行する線として見ることができる。
【０１１４】
特徴ベクトルの、マニホールド上の点としてのこの表現の１つの利点は、トレーニングモジュール４１のアルゴリズムが、トレーニングデータ内の最も関連がありかつ有用な情報のみを使用するために、トレーニングデータ内のこの基礎構造を利用する点である。更には、比較的高次元特徴ベクトルから学ぶときに、より低次元空間内への埋め込みが有用であることがある。アルゴリズムは、マニホールドへの埋め込みを行うために存在し、この埋め込みは、本明細書では、基礎構造を保持しながら、高次元データの低次元表現を回復させるタスクに関する用語である。このようなアルゴリズムのいくつかの例としては、自己組織化（コホネン）マップ、多次元尺度構成法、イソマップ、及び局所線形埋め込みが挙げられる。１つの例示的なアルゴリズムは拡散マップであり、これについては後で更に詳細に説明する。拡散マップに関する更なる詳細は、Ｓ．Ｌａｆｏｎ  ａｎｄ  Ａ．Ｂ．Ｌｅｅ，「Ｄｉｆｆｕｓｉｏｎ  Ｍａｐｓ  ａｎｄ  Ｃｏａｒｓｅ−Ｇｒａｉｎｉｎｇ：Ａ  Ｕｎｉｔｅｄ  Ｆｒａｍｅｗｏｒｋ  ｆｏｒ  Ｄｉｍｅｎｓｉｏｎａｌｉｔｙ  Ｒｅｄｕｃｔｉｏｎ，Ｇｒａｐｈ  Ｐａｒｔｉｔｉｏｎｉｎｇ，ａｎｄ  Ｄａｔａ  Ｓｅｔ  Ｐａｒａｍｅｔｅｒｉｚａｔｉｏｎ」，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｆｅｎｃｅ，ｖｏｌ．２８，ｎｏ．９，ｐｐ，１３９３〜１４０３，Ｓｅｐ．２００６に見出すことができる。
【０１１５】
各トレーニング画像の、特徴空間内のマニホールド上の点としての表現を考えると、トレーニングモジュール４１のアルゴリズムは、特徴空間の周囲において離散的なランダムウォークを行う。このランダムウォークの間、各タイムステップにおいて、ランダムウォーカーは、マニホールドから離れることなく、マニホールド上の１つの点から別の点に移動することができる。この文脈においては、アルゴリズムは、マニホールド上の１つの点からすべての他の点へ遷移する確率を計算する。一般に、この遷移確率は典型的には、マニホールド内の近い点ほど高く、遠い点ほど低い。しかしながら、このアルゴリズムはエキスパート評価を考慮して、離散的なラベルが異なる点間の遷移に対してペナルティを課す。続いて、これらの遷移確率を用いて、各点に由来するエキスパート評価をすべての周囲点に拡大して、各点が最終的に、他の点に由来する離散的なラベルの一部となるようにし、これにより、連続面に沿ったトレーニング画像の１つに対応する各点について連続的な深刻度値を計算することが可能になる。抽出された特徴と、得られた（エキスパート）ランク付けの両方とも、この段階で利用する。
【０１１６】
図１２は、トレーニングモジュール４１が特徴ベクトルを処理して、トレーニング画像の連続的なランク付けを学ぶとともに、連続的ランク付けモデル３４を生成する例示的なプロセスをより詳細に示すフローチャートである。
【０１１７】
まず、トレーニングモジュール４１が、Ｎ×Ｎ（Ｎはトレーニングサンプルの数である）のサイズの類似度行列Ｋを計算する（工程１２０）。例えば、Ｎ個のトレーニング画像の連続的なランク付けを学ぶには、特徴ベクトルセットをｘ１，ｘ２，．．．，ｘＮとして定義するとともに、対応するエキスパート評価ｃ１，ｃ２，．．．，ｃＮと定義する。離散的な評価のそれぞれを「１」、「３」、又は「５」、即ちｃｉ∈｛１，３，５｝と仮定する（この場合、「１」は、許容可能であるサンプルであり、「５」は、明らかに許容不可能であるサンプルである）。エキスパート評価は、これよりも細かく離散化することも、これよりも粗く離散化することもでき、アルゴリズムは、この特定的な例に限定されない。特徴ベクトルを考慮して、トレーニングモジュール４１は、Ｎ×Ｎのサイズの類似度行列Ｋを計算し、この場合、各要素は、例えば下記の式によって得られる。
【０１１８】
【数２５】
2014511530.tif 000027
【０１１９】
類似度行列によって、特徴空間内の各トレーニングサンプル対間の類似度の測定値が得られ、（式８）とは異なる他の式、例えば多項式を用いることもできる。バンド幅パラメータσは、一対の点の間の距離が長くなるにつれて、指数関数がどの程度速く減衰するかを定義する。実際、局所的なパラメータσは、そのｋ最近傍までの距離の中央値のようなヒューリスティックに従って、各トレーニングサンプルについて推定される。この場合、式（８）の分母は、サンプルｘｉ及びｘｊに対応する局所的なバンド幅の積になる。
【０１２０】
類似度行列で用いる距離は、特徴に応じて、（８）の例のように、単にユークリッド距離であることも、共分散距離又はカルバック−ライブラー距離のようなより高度な式であることもできる。
【０１２１】
次に、類似度行列から、下記の式に従って、遷移確率を計算することができる（工程１２２）。
【０１２２】
【数２６】
2014511530.tif 000028
【０１２３】
これは、点間の類似度のみに基づき、特徴空間内のランダムウォークでｘｉからｘｊに遷移する確率に相当する。これは類似度行列Ｋの正規化であり、その列が、有効な確率分布となる（即ち合計して１になる）ようにする。
【０１２４】
エキスパート評価によって付与された離散的なラベルを考慮するために、トレーニングモジュール４１は、ｘｉからｘｊへの遷移の事前確率を計算する。
【０１２５】
【数２７】
2014511530.tif 000029
【０１２６】
式中、σρは、この事前確率項に関するバンド幅パラメータである（工程１２３）。ｐｂ（ｉ，ｊ）の式は、遠い部分であるエキスパート評価に対してより重いペナルティを課し、そのためこの状況において、離散的なラベルに割り当てられる数値の選択が重要となる。
【０１２７】
続いて、トレーニングモジュール４１は、ｐａ（ｉ，ｊ）とｐｂ（ｉ，ｊ）の積によって各トレーニングサンプル対について総遷移確率を計算する（工程１２４）。
【０１２８】
【数２８】
2014511530.tif 000030
【０１２９】
自動拡散行列の構成成分と、エキスパート評価に違反したことに対するペナルティは、他の方法で組み合わせてもよい。集合的に、総遷移確率ｐ（ｉ，ｊ）は行列Ｐを形成する。Ｐ内の各エントリは、１つのタイムステップ内で、対応する点対間を遷移する確率を表す。
【０１３０】
トレーニングモジュール４１は、行列Ｐをｔ乗することによって、タイムステップｔでのランダムウォーク遷移確率を拡大する（工程１２５）。
【０１３１】
【数２９】
2014511530.tif 000031
【０１３２】
Ｐｔ（ｉ，ｊ）は、タイムステップｔにおいてｘｉからｘｊに遷移する確率に相当する。タイムステップｔの数は物理的意味を有さないが、ソフトウェアアプリケーション内でユーザが設定できる構成可能パラメータである。
【０１３３】
これらの遷移確率に基づき、トレーニングモジュール４１は拡散距離を計算する（工程１２６）。このような距離のそれぞれは、マニホールド上の各点対間の相違度の測定値である。２つの点の遷移確率分布が似ている場合には、その２つの点に、低い拡散距離を割り当てる（即ち、拡散空間内の非常に近くにあると言われる）。換言すれば、行列Ｐｔの各列が互いに似ている場合には、その２つの点に、低い拡散距離を割り当てる。一例では、下記の等価式に従って、２乗拡散距離を計算する。
【０１３４】
【数３０】
2014511530.tif 000032
【０１３５】
式中、ＰΨｌ＝λｌΨｌ即ちΨｌは固有ベクトル、λｌはＰの固有値である。これによって、行列Ｐを明示的にｔ乗するのと関連するリソースの使用を回避することができる。このようなリソースの使用は、多数のトレーニングサンプルが利用可能である場合に、計算上費用のかかる操作となり得るものである。固有ベクトルを計算するための迅速な技法、具体的には、最大固有値に対応する第１の固有ベクトルを計算するために開発された技法を用いることができる。
【０１３６】
サンプル対間の相違度に比例するこれらの拡散距離は、トレーニングモジュール４１によって、下記の式に従って、類似度に比例する重みに変換する（工程１２９）。
【０１３７】
【数３１】
2014511530.tif 000033
【０１３８】
式中、σｗは別のバンド幅パラメータであり、ηは単に、重み行列Ｗの列の合計が１になるようにする正規化定数である。最後に、トレーニングモジュール４１は、各トレーニングサンプルｘｉについて不均一性の深刻度ランク値を下記の式により計算することによって、連続的ランク付けモデル３４（「モデル３４」）を生成する（工程１３０）。
【０１３９】
【数３２】
2014511530.tif 000034
【０１４０】
得られたランク値ｒｉは、すべてのトレーニング画像のエキスパート評価の加重平均である。しかしながら、エキスパート評価が、高度に離散的であってよくても（例えば「１」、「３」、又は「５」）、ランク値は、連続的な細かいスケールによるものである。更には、全体的に連続的であるランク付けを付与するように、アルゴリズムパラメータをユーザインターフェースによって調節することができる。（式１５）における重みは、自動的な画像／特徴比較とエキスパートランクを組み合わせる拡散距離プロセスによって得られる。重みを正規化する他の方法、例えば指数重み関数も考慮することができる。
【０１４１】
図１２に関して上記したプロセスは、エキスパート評価における不正確なラベルを無効にすることができる。即ち、エキスパートが誤って、特定の画像を例えば「５」ではなく「１」とラベル付けした場合、上記のプロセスは、この点に、別の「５」点に近いランク値を割り当てることができる。これは主に、式（１４）の積における２つの異なる項の影響によるものである。第２の項が離散的なラベルを考慮する一方で、第１の項は、マニホールド上のデータの固有構造のみに基づいている。これらの項の比較影響は、それらの各バンド幅パラメータによって制御される。σｐを大きい値に設定する場合、遷移確率に対する事前確率項の影響は非常に小さくなる。
【０１４２】
更に、複数のエキスパートを組み合わせることもできる。この場合、トレーニングモジュール４１は、それらのエキスパートのそれぞれに関する類似度行列の計算において追加の重みを用いる。異なるエキスパートの信頼性は、同じ方法で評価することができる。
【０１４３】
図１３は、チャート化モジュール３９が連続的ランク付けモデル３４（「モデル３４」）をリアルタイムで用いて、不均一欠陥の存在を検出し、各欠陥の深刻度の連続的なチャート化を行う例示的なプロセスをより詳細に示すフローチャートである。
【０１４４】
製造しているウェブの新たな画像を取得するとき（１３０）、トレーニング画像の場合と同じ方法で、特徴を抽出する（１３２）。具体的には、トレーニングサンプルｘ１，ｘ２，．．．，ｘＮの特徴ベクトルを、トレーニングフェーズで学んだ、対応するランク値ｒ１，ｒ２，．．．，ｒＮとともに考えると、リアルタイムチャート化モジュール３９の関数は、新たな画像（本明細書ではクエリーサンプルと称する）から抽出した新たな特徴ベクトルｘｑについてランク値を推定するものである。
【０１４５】
最初に、チャート化モジュール３９が、所与の欠陥について、ｋ最近傍のｘｑ位置をトレーニングサンプルｘ１，ｘ２，．．．，ｘＮの中から探す（１３４）。１つの実施形態では、チャート化モジュール３９は、特徴空間内のユークリッド距離を用いて、最も近い近傍を見つける（下記の式によって与えられる）。
【０１４６】
【数３３】
2014511530.tif 000035
【０１４７】
チャート化モジュール３９は、ユーザが最も近い近傍の数ｋを構成可能パラメータとして特定できるインターフェースを表示してもよい。図１４は、２次元特徴空間におけるｋ最近傍探索の論理的表現を示すグラフである。この例では、特徴空間内のクエリー点１３５について、６個の最も近い近傍が特定されている。
【０１４８】
いくつかの技法を用いて、ｋ最近傍の位置を探してもよい。１つの技法は、トレーニングセット内のｘｑ（クエリー点）から各サンプルｘ１，ｘ２，．．．，ｘＮまでの距離を計算することによって、全数探索を行うものである。しかしながら、このタイプの全数探索は、特にトレーニングサンプルの数が大きく、特徴空間が高次元である場合、計算上費用がかかることがある。２つの他の技法について説明する。１つは完全一致探索である。即ち、この技法は、同じ結果を全数探索として戻すが、より効率的な方法で行うものである。もう１つは近似探索である。いずれの技法も、全数探索と比べて、計算オーバーヘッドの点で顕著な改善をもたらす。任意のｋ最近傍探索法を用いることができ、上記２つの例は、これらを代表するものに過ぎない。
【０１４９】
より効率的なｋ最近傍（ｋＮＮ）探索を行っても、全数探索と同じ結果をもたらす１つの技法は、まずトレーニングサンプルｘ１，ｘ２，．．．，ｘＮを「ボールツリー」として体系化するものである。このボールツリーは、特徴空間における近接度に基づき、トレーニングサンプルを階層的グループに体系化するデータ構造である。ツリーの最低レベルでは、各「リーフ」ノードに、すぐ近くにある１つ又は複数のサンプルが含まれることになる。チャート化モジュール３９がツリーの上部に進むと、グループにはより多くの点が含まれるが、依然として近接度に基づきグループ化される。最後に、ツリーの最上部では、「ルート」ノードに、このトレーニングセット内のすべての点が含まれる。この構造化は、トレーニングサンプルについて１回だけ計算され、クエリーのために何度も使われることになる点に留意されたい。ボールツリーの利用に関する更なる詳細は、Ａ．Ｗ．Ｍｏｏｒｅ，「Ｔｈｅ  Ａｎｃｈｏｒｓ  Ｈｉｅｒａｒｃｈｙ：Ｕｓｉｎｇ  ｔｈｅ  Ｔｒｉａｎｇｌｅ  Ｉｎｅｑｕａｌｉｔｙ  ｔｏ  Ｓｕｒｖｉｖｅ  Ｈｉｇｈ  Ｄｉｍｅｎｓｉｏｎａｌ  Ｄａｔａ」，Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  １２ｔｈ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｕｎｃｅｒｔａｉｎｔｙ  ｉｎ  Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｐｐ．３９７〜４０５，２０００に記載されている。
【０１５０】
トレーニングサンプルをこの階層的ボールツリー内に体系化したら、トレーニングサンプルを効率的に検索して、新たなクエリー点のｋＮＮを正確に見つけることができる。この検索を行うためのアルゴリズムは帰納的であることができ、効率的に検索するために、トレーニングデータの固有構造を利用する。例えば、クエリー点ｘｑがボールツリー内の１つの特定のノードに近いことが分かっている場合、チャート化モジュール３９は、時間を浪費して、遠くの別のノード内のクエリー点のｋＮＮの検索を続けることはない。検索時においてこのように効率性が向上した場合の、計算にかかるコストは、トレーニングサンプルのみを含むので、オフラインで構築できるツリーを構築することの複雑さによるものである。
【０１５１】
第２の例として、更なる計算の効率化は、近似ｋＮＮ探索を用いることによって実現することができ、この探索は、全数探索の結果に近い結果をもたらすように設計されている（ただし、全く同じであることが保証されているわけではない）。このようなアプローチの１つは、局所性鋭敏型ハッシュ（ＬＳＨ）である。上述のように、チャート化モジュール３９は、迅速なｋＮＮ探索を可能にするために、トレーニングサンプルを特徴空間内の構造に基づき体系化する。このケースでは、トレーニングサンプルをインデックス化するいくつかのハッシュテーブルを形成する。各ハッシュテーブルは、トレーニングサンプルのランダム投射を引いて、各サンプルの１次元表現を得てから、このライン沿いのサンプルを離散的なグループセットに入れることによって形成される。この手順を繰り返し、いくつかのハッシュテーブルを形成し、これらのハッシュテーブルに基づき、１つの点の近似ｋＮＮを迅速に高確率で見つけることができる。この実例としては、３つのトレーニングサンプル１４１Ａ、１４１Ｂ、及び１４１Ｃのそれぞれとクエリーサンプル１４２がハッシュされている３つのハッシュテーブル１４０の単純なケースについて、図１５に示されている。このケースでは、得られたハッシュテーブルのインデックス化によって、クエリーサンプルの２つの最も近い近傍１４１Ａ、１４１Ｂが正確に識別される。局所性鋭敏型ハッシュ（ＬＳＨ）に関する更なる詳細は、「Ｌｏｃａｌｉｔｙ−ｓｅｎｓｉｔｉｖｅ  ｈａｓｈｉｎｇ：Ａ．Ａｎｄｏｎｉ  ａｎｄ  Ｐ．Ｉｎｄｙｋ，Ｎｅａｒ−Ｏｐｔｉｍａｌ  Ｈａｓｈｉｎｇ  Ａｌｇｏｒｉｔｈｍｓ  ｆｏｒ  Ａｐｐｒｏｘｉｍａｔｅ  Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ  ｉｎ  Ｈｉｇｈ  Ｄｉｍｅｎｓｉｏｎｓ」，Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ  ｏｆ  ｔｈｅ  ＡＣＭ，ｖｏｌ．５１，ｎｏ．１，ｐｐ．１１７〜１２２，Ｊａｎ．２００８に記載されている。
【０１５２】
図１３のフローチャートに戻ると、ｋ最近傍の識別後、チャート化モジュール３９が、クエリー点について、クエリー点をそのｋ最近傍の線形結合として最も良く表す再構成重みを計算する（１３６）。この重みは、プラスであることもマイナスであることもでき、下記の誤差を最小化することによって計算することができる。
【０１５３】
【数３４】
2014511530.tif 000036
【０１５４】
式中、ｗｉは再構成重みであり、Ωはｋ最近傍セットである。誤差関数（１７）は、閉形式で最小化することができる。再構成重みを閉形式で計算することもできる。
【０１５５】
次に、チャート化モジュール３９が、特定の欠陥についてクエリー点の深刻度ランク値を、その欠陥に関するｋ最近傍のランク値の加重平均として計算する（１３８）。１つの例では、深刻度ランク値は、下記のように計算することができる。
【０１５６】
【数３５】
2014511530.tif 000037
【０１５７】
上述のように、クエリー点の不均一性深刻度ランク値は、連続的スケールによるものである。このアプローチによって、トレーニングセット内の最も似ている画像のランク値に近いランク値をクエリー点が得ることが可能になる。最も近い近傍法の代わりに、他のアウトオブサンプル法を用いることができると考えられる。
【０１５８】
最後に、チャート化モジュール３９が、計算した深刻度ランク値を作業者に出力する（１４０）。この出力は、欠陥に関する深刻度ランクの傾向を示すために、チャートのアップデートという形を取ってよいか、あるいはチャート化モジュール３９は単に、深刻度ランク値を単一の数字として出力してもよい。例えば、チャート化モジュール３９は、ウェブ材料の不均一欠陥の経時的な深刻度をグラフ化するために、新たな各画像を処理するたびにチャートをアップデートしてよい。本開示のコンピュータ化検査システム又はその他のコンポーネントは、後に、製造プロセスに関するプロセス制御パラメータの変更を指定するユーザからの入力を受信してもよく、その入力に応じてそのプロセス制御パラメータを調節してもよい。加えて、ユーザは、ウェブから捕獲された生画像、又は欠陥の視覚化を向上させるフィルタリングしたバージョンの画像を見てよい。例えば、ガボールフィルタ又は他の処理フィルタが適用されてよい。ユーザが利用可能なフィルタは、モデルを開発するときにトレーニング画像から特徴を抽出するために利用されるフィルタ（単数又は複数）をベースとするものであってよい。このようにして、ユーザはプロセスパラメータを調節し、ウェブからリアルタイムで得たフィルタリングした画像を見ることによって特定の不均一性パターンに関する調節の効果を見てよい。
【０１５９】
図１６は、動的システムアーキテクチャの例を示すフロー図である。このアーキテクチャでは、解析用コンピュータ２８の特徴抽出モジュール４３が取得コンピュータ２７からの画像データのストリームを処理し、ウェブ材料２０の製造中にどの画像特徴を画像１枚単位でリアルタイムで計算するのかを自動的に判断する。図示のように、特徴抽出モジュール４３は、連続的で、より大きい特徴セットの結果を使用してリアルタイムで「最適な特徴セット」を動的に構築して、追加の特徴計算をトリガーする。
【０１６０】
ウェブ材料の新しい画像の捕獲後、解析用コンピュータ２８は、エッヂトリミング、平坦化など多少の前処理を実行し、記録又は出力ディスプレイに表示するためにある特定の統計値を計算してよい。次に、特徴抽出モジュール４３は第１のトリガーポイント１６０に達し、フロー中のこの時点までの新しい画像について計算される特徴を解析することによって、追加処理をトリガーするかどうかが決定される。例えば、特徴抽出モジュール４３は、他の特徴抽出計算と比較して、操作者がより単純かつ高速処理と識別している基準特徴セットを適用してよい。トリガーポイント１６０において、特徴抽出モジュール４３は、いわゆるブロブレシピを用いてある形態素（ブロブ）解析を適用して、基準特徴セットを用いて点欠陥を検出する。同時に、特徴抽出モジュール４３は、基準特徴セットが、新しい画像内の不均一性のばらつきを信頼度内で評価するのに十分な証拠を提供するかどうかを判定する。例えば、現在の画像の分類を支援するためにより多くの特徴をトリガーするかどうかという判断は、単純な経験則に従って判定され得る。例えば、動的に判定された次善の特徴セットの追加による不均一性欠陥に関する画像の誤分類コストの削減予想額がある閾値を上回る場合には、特徴抽出モジュールは追加の特徴抽出をトリガーするように単純な決定規則を設定してよい。コストの削減予想額、即ち、要求される信頼度は、以下で詳述する学習されたマルコフモデルを用いて判定できる。そうではない場合、特徴抽出モジュール４３はトリガーポイント１６２に進み、引き続きより複雑な処理をトリガーする。つまり、第１のトリガーポイント１６２において、特徴抽出モジュール４３は、追加の特徴を抽出するために、第２の特徴抽出セットの計算、例えば画像の平坦化／周辺化（marginalization）を実行する。この第２の特徴抽出セットの計算は、最初に実行された基準特徴セットよりも複雑で、コンピュータ集約型であり得る。特徴抽出モジュール４３は、分類子とも呼ばれる画像レシピ（入力が、フロー中のこの時点までの新しい画像について抽出された特徴の一部又はすべてである数学モデル）を用いて不均一性の程度及び種類を再度識別しようとする。
【０１６１】
この処理はトリガーポイントの連鎖として繰り返され、各トリガーポイントにおいて、いずれかの種類の不均一性が画像内に存在する程度を判定するために、より複雑な追加画像処理計算が必要かどうかが判定される。各トリガーポイントにおけるこの判定は、フロー中のこの時点までの新しい画像について計算された特徴に基づいて行われる。
【０１６２】
場合によっては、ウェブ材料からリアルタイムで捕獲されたサンプル画像は、複数のパターンを含んでいてよい。特徴抽出モジュール４３は、図１６に示すプロセスセットに従って、任意の不均一性の最も正確な分類を実現する可能性の高い特徴がトリガーされるように動作する。このプロセスは、コンピュータ化検査システムによって撮像された個別のサンプルそれぞれに対して実行されてよい。あるいは、特徴抽出モジュール４３は、Ｘサンプル（Ｘは設定可能なパラメーター）ごとにプロセス構成要素のトリガー又は取り消しの必要性が確認される、ポーリング法の下で動作してよい。
【０１６３】
一例において、特徴抽出モジュール４３は、動的トリガーに関する制御されたマルコフモデルに従って動作するように設定される。この実施形態では、特徴抽出モジュール４３は、将来のトリガーイベントに関連する任意のトリガー工程ｔにおいて十分な情報の要約として機能する状態ベクトルｘ（ｔ）を定義する設定データを含む。完全を期すために、トリガーは、単一の画像サンプルを解析するプロセスの任意の時点で起こり、特徴抽出モジュール４３が計算する追加の特徴を選択する機会を有する。
【０１６４】
一例において、状態ベクトルは、一群の分類子｛Φｉ（ｔ）｝ｉ＝１Ｎを使用して定義され、式中、トリガー工程ｔにおいて、Φｉ（ｔ）は、工程ｔにおいてトリガーされる特徴及び前の工程｛Φｉ（ｔ−１）｝ｉ＝１Ｎにおける分類子のみに依存する。ＲＯＣ最適分類子強調アルゴリズムを用いてかかる一連の分類子群を構成できる方法の例は、国際公開第２０１０／０５９６７９号に記載されている。この例では、バイナリ分類子は、分類されたトレーニングデータから学習される決定規則（即ち、複数であり得る変数に基づいた閾値）セットで構成される。しかし、一般に、任意の離散的分類子アルゴリズムを用いることができた。他の例としては、サポートベクターマシン（ＳＶＭ）、ロジスティック回帰、又は決定木が挙げられる。
【０１６５】
特徴抽出モジュール４３の状態ベクトルの定義に関連して、工程ｔにおける状態ベクトルのｉ番目の要素は、Φｉ（ｔ）によって割り当てられる分類子として見なされる（即ち、ｘｉ（ｔ）＝Φｉ（ｔ））。一例は、ｘ（ｔ）∈｛０，１｝Ｎとなるバイナリ分類子であるが、本明細書に記載の方法は、多項式の場合にも拡張できる。
【０１６６】
特徴抽出モジュール４３の設定データは、所定のトリガーイベントにおける処置を決定する制御変数、即ち、次に計算されるように指定される、１つ以上のすでに計算されていない特徴の更なるセットが含まれる。考察を単純にするために、単一の特徴ｆが各トリガーイベントで選択されるべきであるとする。しかし、アルゴリズムは、ｆが、それどころか複数の特徴を表すと見なされる場合と同様である。分類子は、現在のサンプル画像に基づいた判断によって状態ベクトルを判定し、ｆ及び前の工程における一群の分類子にのみ依存するため、特徴抽出モジュール４３は、最適に選択されるべき制御値ｆによってパラメーター化された条件付き分布Ｐｆ（ｘ（ｔ＋１）│ｘ（ｔ））を用いて、現在の状態ベクトルに基づいた将来の状態ベクトルの予測を計算する。つまり、Ｐｆは、マルコフ連鎖の遷移関数と呼ばれる。特徴抽出モジュール４３は、制御戦略を実施するために遷移関数を予測する。サンプル画像のトレーニングセット及び関連付けられた一連の分類子群を所与とすると、特徴抽出モジュール４３は、単純なヒストグラム予測
【０１６７】
【数３６】
2014511530.tif 000038
【０１６８】
（式中、特徴ｆが選択される場合、
【０１６９】
【数３７】
2014511530.tif 000039
【０１７０】
はトレーニングサンプルの数であり、工程ｔにおける状態がｘ（ｔ）であり、工程ｔ＋１における状態がｘ（ｔ＋１）である）を用いるように設定されてよい。ノイズの多い
【０１７１】
【数３８】
2014511530.tif 000040
【０１７２】
及び空間のスパースサンプリングなど高次元に付随する問題を回避するために、Ｎを小さくするように選択してよい。あるいは、特徴抽出モジュール４３は、
【０１７３】
【数３９】
2014511530.tif 000041
【０１７４】
のパラメーター化又はカーネル平滑化を使用するように設定されてよい。
【０１７５】
これらの構成要素を整えた状態で、特徴抽出モジュール４３は、期待損失を最小化するｆを選択する遷移関数推定値を使用して、任意のトリガーイベントにおいて動的にｆを選択する。例えば、値ｃａ│ｂが、ａをｂとして誤分類するコストとして割り当てられると仮定すると（ａ，ｂ∈｛０，１｝）、ｘｉ（ｔ）＝１である場合、分類子Ｉを用いることの期待損失は、これが誤りである（即ち、正確な分類は０である）という仮定の下で決定される。この結果、期待損失はｃ１│０ｐｔ（０）ＦＡｆｉとなる。式中、ｐｔ（０）は任意の所定のサンプルが本当に０である事前確率であり、ＦＡｆｉは、分類子Ｉ（現在の制御値ｆによって明示的に指標化されて依存関係が強調される）の誤警告率（ｐｔ（０│１））である。同様に、ｘｉ（ｔ）＝０の場合、分類子ｉを用いることの期待損失は、ｃ０│１ｐｔ（１）（１−ＣＤｆｉ）であり、式中、ＣＤｆｉは分類子ｉの正検出率ｐｔ（１│１）である。損失関数は、以下のように表現できる。
【０１７６】
【数４０】
2014511530.tif 000042
【０１７７】
一例として、特徴抽出モジュール４３は、全トリガーイベントに対する総予測コストΣｔｃｔ（ｘ，ｆ）を最小化する制御戦略を使用する。状態のサイズ及び制御空間が大きすぎない場合、この問題は、まさに動的プログラミングによって解決できる。あるいは、ｆｔ＊＝ｍｉｎｆｃｔ（ｘ，ｆ）を選択し、各工程で欲張り経験則を適用して妥当な準最適解決法を見付けてよい。一実施形態では、全トリガーイベントの考えられる軌道がオフラインで計算され、特徴抽出モジュール４３が参照テーブルをオンラインで使用するようにプログラミングされる。このような方法では、現在のサンプルの最も顕著な特徴をトリガーするための制御されたマルコフ連鎖モデルを使用して、各サンプル画像に対して計算される特徴の数を低減させることが可能である。したがって、任意のトリガーイベントに応えて選択される特徴は、現在抽出されている特徴及び計算された遷移関数に基づいて動的に判定され得る。
【０１７８】
上述の技法は、例えば、単項分類子の損失関数の単純合計を用いて、多項分類子のケースに容易に拡張できる。また、ｃａ│ｂは、異なる欠陥区分に対して異なる基準で測定して相対的重要性を取り込んだり、特徴依存の計算時間に応じて追加因子を含めることができる。更に、上述の技法は、例示のコスト関数に関して説明してきた。他の可能性も存在する。例えば、クラスエントロピーの事後分布にペナルティーを課すコスト関数を検討してもよい。
【実施例】
【０１７９】
プロセス開発ラインから収集したフィルム画像を用いて、シミュレーション研究を実施した。サンプルセット一式には、様々な不均一性を示した８７６７枚の画像が含まれる。不均一性は、大きく７つの区分に分類できる。びびり区分及び（大）まだら区分に加えて、小まだら、棒跡／バンディング、染み／水跡、縞、及び対角変形欠陥がある。一連の分類子群は、それぞれ別個の区分に対して設計した。つまり、ヒストグラム及びガボールフィルター処理を用いて抽出したセット２６の統計及びスペクトルの特徴から選択した特徴を閾値化することにより、不均一性の有無を判定する、７つの異なるブール分類子群シーケンス（不均一性区分ごとに１つ）を設計した。分類子は、国際公開第２０１０／０５９６７９号に記載されている技法に従って設計し、サンプルセット一式に照準を合わせた。
【０１８０】
各分類子群シーケンスは、所定の群シーケンスにおいて連続する各分類子が、高い精度で目的の区分に不均一性をそれぞれ割り当てる傾向にある、連続的で、より複雑な分類子（即ち、より多くの特徴を用いる）を含むように設計した。トリガーイベントは、そのシーケンスにおける次の最も複雑な分類子セットに単一の選択した分類子群を前進させるものとして定義した。分類子群シーケンスにおける前進を可能にするのは追加の特徴であるため、これは、各トリガーイベントにおける現在のサンプルの追加特徴セットの計算に直接対応する。
【０１８１】
図１７は、ＲＯＣ空間における３段階シーケンスの性能を示す。図に示すように、各群１８０Ａ、１８０Ｂ、及び１８０Ｃは、８個の分類子で構成した。シーケンスがＲＯＣプロットの左上隅に近づいているという事実は、各工程（赤、次に緑、次に青）における性能の向上を示している。
【０１８２】
１回のシミュレーション試験には、８７６７枚のセットから５０枚のランダムな画像サンプルを選択する工程、及び１０種類のトリガーイベントに対してそれぞれ解析する工程が含まれ、各イベントは、単一の欠陥区分の分類子群を前進させるものであった。「一歩先を行く」欲張り最適化及びすべての誤分類エラーに割り当てた単位コストとともに上述の方法を用いて、各サンプルの「最適な」１０種類のトリガーを計算した。各サンプルのランダムトリガー選択（１０種類のトリガーイベントをすべてのトリガー候補セットからランダムに選択）とこれを比較した。平均性能を評価するために、１０００回のシミュレーション試験を実施した。図１８は、基準のランダム法（Ａ）と欲張り最適法（Ｂ）との違いを示すヒストグラムである。これらのヒストグラムは、１０００回の試験及び各試験あたり５０枚の画像を集計したものである。
【０１８３】
図１９及び２０は、シミュレーション研究に基づいた性能結果を示すプロットである。図１９は、試験／画像における平均誤分類コストを図示する。上述のように、すべての誤分類には単位コストを割り当てた。図に示すように、欲張り最適の制御トリガーは、全イベントにわたってランダムトリガーよりも低い平均コストを有し、最も顕著な差異は最初の２〜３のトリガーの後に見られる。図２０は、特定のトリガー戦略がコスト低減をもたらした５０枚のサンプルの（試験全体にわたる）平均欠陥数を示す比較プロットである。図に示すように、欲張りトリガーは、５０枚のサンプルの大部分において、平均的により良い性能を発揮した。
【０１８４】
特徴トリガー向けの制御されたマルコフ連鎖モデルは、明らかな向上をもたらすことを示す。欲張りアルゴリズムは単純だが、効率的手法と見なされ得るため、更なる向上は、より洗練された制御値の最適化を用いることによって得られてよい。また、本調査で考慮した特徴セットは比較的小規模（２６種類の特徴）である。より大規模な特徴セットから選択することが必要な場合、これらの技法は更により有利になり得る。このような場合、計算する最良の特徴を動的に検出することは、実際の生産ラインにおいて更に多くの利点を有し得る。一実施形態では、テーブル参照によってオンライン計算を実施でき、コストのかかる参照テーブルの構築はオフラインで実行できるため、この技法に伴うオンライン計算は最小限である。
【０１８５】
別のトリガーケースは、現在の品質を継続させるように制御するために最近のフレームと画像とを比較し、変化を検出すると、より詳細な解析をトリガーする場合である。例えば、現在のウェブが「良好なウェブ」段階にある場合、しばしば差異など単純な特徴を用いて、新たな不均一性の出現を検出できる。この検出は、より詳細な解析をトリガーし、次に追加の特徴の計算を要求する。例えば、本願明細書に記載されている手順に従って、オンライン生産ライン内の材料から得られた最近のサンプル画像を作図することができる。これは、既に分類されたトレーニングデータ（最近作図されたフレームで拡張可能なセット）を使用して実行できる。作図値において顕著な変化が検出されると、トリガーが実施され、新しいフレーム内の任意の不均一性の区分及び深刻度を検出するために拡張された特徴セットが要求される。
【０１８６】
実施形態によっては、オンライン環境における特徴抽出時間を更に短縮するべく動的特徴トリガーアルゴリズムを補完するようにコンピュータハードウェアが選択されてよい。先に述べたように、特徴抽出はいくつかの標準画像処理ルーチンを必要とする。均一性処理のためのオンライン特徴抽出のためのこうした操作は、標準的なＣＰＵよりもグラフィック処理ユニット（ＧＰＵ）上の方が迅速に遂行することができる。
【０１８７】
伝統的に、ＧＰＵは、コンピュータディスプレイ上で３Ｄシーンをレンダリングするためのグラフィックスパイプラインを有するように設計された。パイプラインに沿った特定の処理コンポーネントはしばしばシェーダと呼ばれる。ＧＰＵ座標系における形象の基底形状を作成するために、幾何プリミティブ（通例、三角形状）のセットが頂点シェーダによってまず処理される。次に、ピクセルシェーダによって照明が適用され、幾何シェーダを介してカメラプロジェクションが適用されてよい。ラスタ化及びテクスチャリングが次になされる。最後に、目に見えるシーンが選択され、画像がレンダリングされる。
【０１８８】
パイプラインにおけるいくつかの主要な工程は行列−ベクトル演算になるが、これは、ちょうど、ウェブ材料から捕獲された画像に対する或る種の特徴抽出操作、例えば、ガボール型フィルタを適用するために必要な演算であることが分かる。ＧＰＵは、これらの計算を遂行するように高度に最適化されており、複数のプロセッサを用いて異なる画素領域を同時に解析することによって並行処理を活用する。ＧＰＵの標準パイプラインにおける工程がすべて必要とされなくてもよい。それ故、或る特殊シェーダは活用されなくてもよい。幸い、最新のＧＰＵは、あらゆる処理工程を遂行することができる統合シェーダを利用する。しかも、より粒度の細かいＡＰＩが最新のＧＰＵによって露出されており、それ故、ＧＰＵ処理のための潜在用途の範囲を広げる。１つの例が、ＮＶｉｄｉａ  Ｃｏｒｐｏｒａｔｉｏｎによって最近公開されたＣプログラミング言語に対するＣＵＤＡ（Ｃｏｍｐｕｔｅ  Ｕｎｉｆｉｅｄ  Ｄｅｖｉｃｅ  Ａｒｃｈｉｔｅｃｔｕｒｅ、計算統合デバイスアーキテクチャ）ＡＰＩ拡張機能である。このアーキテクチャに伴う、露出共有メモリ領域、及びドライバＣＰＵとのより高速な通信等の付加強化機能は、ＧＰＵを汎用高性能計算に適したものにすることを目指すものである。
【０１８９】
均一性処理を多数適用するために、周波数領域フィルタリングを用いて特徴を抽出するべく何列ものガボールフィルタが用いられることになる。ＧＰＵ上に空間及び周波数領域フィルタリングを実装すると、伝統的なＣＰＵ実装に比べて大幅な性能向上が達成されてよい。大規模な特徴セットの場合には、周波数領域でフィルタリングを遂行する方がより効率がよい場合が多い。これは、ターゲット画像のＦＦＴは１度計算する必要があるだけであり、このとき、それは複数のフィルタによって並列に処理されることができるという事実のためである。
【０１９０】
いくつかの例では、均一性処理は、原理軸の１つと一致した正弦波成分方向を有するガボールフィルタ、及び局所化を提供するガウス窓を用いる。これは、同様の配向を有する予想欠陥（びびり等）から必然的に生じることである。このようなフィルタは独立している。即ち、それらは２つの１次元フィルタの外積から形成されることができる。空間畳み込みは、この場合、完全な２次元畳み込みを独立した１−Ｄ畳み込みに分解することによって迅速化されることができる。これは、より小さなフィルタを処理するときに、最良の性能を達成するために利用されることができる。
【０１９１】
並列画素計算及び最適化行列−ベクトル演算を含むＧＰＵの側面のおかげで、ＧＰＵは高速均一性処理における特徴抽出に便利なハードウェアコンポーネントになる。データ処理を加速する別の方法は、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ、特定用途向け集積回路）又はＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ、フィールドプログラマブルゲートアレイ）を用いるハードウェアの形での実装によるものである。
【０１９２】
本発明の様々な実施形態について説明してきた。これらの及び他の実施形態は、以下の特許請求の範囲に含まれる。
【図１】
2014511530.tif 000043
【図２】
2014511530.tif 000044
【図３】
2014511530.tif 000045
【図４】
2014511530.tif 000046
【図５】
2014511530.tif 000047
【図６】
2014511530.tif 000048
【図７】
2014511530.tif 000049
【図８】
2014511530.tif 000050
【図９】
2014511530.tif 000051
【図１０】
2014511530.tif 000052
【図１１】
2014511530.tif 000053
【図１２】
2014511530.tif 000054
【図１３】
2014511530.tif 000055
【図１４】
2014511530.tif 000056
【図１５】
2014511530.tif 000057
【図１６】
2014511530.tif 000058
【図１７】
2014511530.tif 000059
【図１８】
2014511530.tif 000060
【図１９】
2014511530.tif 000061
【図２０】
2014511530.tif 000062
【国際調査報告】
2014511530.tif 000063
2014511530.tif 000064