"コンピュータ上で評価ソフトウェアを実行して、それぞれの訓練画像の画像値から、前記訓練画像のそれぞれに関する数値記述子を算出することによって、複数の前記訓練画像のそれぞれからフィーチャを抽出する工程と、前記訓練画像の前記数値記述子を前記評価ソフトウェアを用いて処理して、前記訓練画像の代表的なサブセットを自動的に選択する工程と、前記評価ソフトウェアを用いて第1のクラスタリングプロセスを実行して、前記訓練画像の代表的なサブセットの前記数値記述子を処理し、訓練画像の前記代表的なサブセットに関する複数の画像クラスターを算出する工程と、前記複数の画像クラスターのそれぞれに、特定された欠陥のクラスのそれぞれに関する個々の評価標識を割り当てる、ユーザ又は前記コンピュータの少なくとも一方から入力を受信する工程と、を含み、前記ユーザから入力を受信する工程が、更に、前記評価ソフトウェアを用いてユーザインターフェースを提示して、前記複数の訓練画像内に存在する欠陥の1つ以上のクラスを特定する前記ユーザからの入力を受信することを含み、前記コンピュータから入力を受信する工程が、更に、前記コンピュータを使用して、前記代表的な訓練画像内に存在するいくつかの欠陥クラスを判定し、前記複数の画像クラスターのそれぞれに、前記特定された欠陥のクラスのそれぞれに関する重大度標識を割り当てることを含み、前記画像クラスターのそれぞれに関して、前記評価ソフトウェアを用いて、前記画像クラスターに関する前記欠陥のクラスに割り当てられた前記個々の評価標識のそれぞれを、その画像クラスター内の前記訓練画像の全部に自動的に伝播する、方法。前記評価ソフトウェアを用いて、前記訓練画像の前記代表的なサブセット内に含まれない、前記訓練画像の残りの全部に、欠陥のクラスのそれぞれに関する評価標識を自動的に割り当てる工程を更に含む、請求項1に記載の方法。前記評価ソフトウェアを用いて評価標識を自動的に割り当てる工程が、前記訓練画像の前記代表的なサブセット内に含まれない前記未標識訓練画像のそれぞれに関して、前記未標識訓練画像の前記数値記述子の、前記訓練画像の前記代表的なサブセット内の前記標識画像のそれぞれの前記数値記述子への対距離を算出する工程と、特定された各欠陥クラスに関する1セットの確率を算出する工程と、前記各欠陥クラスに関する確率の1セットが、前記欠陥クラスに関して特定された前記評価標識のぞれぞれに関する確率を含み、前記未標識訓練画像が、その特定の欠陥クラスに関するその特定の評価標識が割り当てられている前記訓練画像のメンバーである確率を示す工程と、前記欠陥クラスのそれぞれのうち最も高い確率を有する前記評価標識を、前記未標識訓練画像に割り当てる工程と、を含む、請求項1に記載の方法。前記訓練画像のそれぞれに関する数値記述子を算出する工程が、前記訓練画像のそれぞれに関して、複数の隣接画素に対する画素の強度値の1つ以上の導関数に基づいて、前記訓練画像の前記画素のそれぞれにおけるフィーチャベクトルを算出することと、前記訓練画像の前記画素のそれぞれに関する前記フィーチャベクトルに基づいて、前記訓練画像に関する共分散行列を算出することと、を含む、請求項1に記載の方法。前記訓練画像のそれぞれに関する数値記述子を算出する工程が、前記訓練画像のそれぞれに関して、前記訓練画像の前記画素値を1つ以上のフィルターで畳み込んで、前記訓練画像に関する前記数値記述子を算出することを含む、請求項1に記載の方法。前記訓練画像のそれぞれに関する数値記述子を算出する工程が、前記訓練画像のそれぞれに関して、前記訓練画像の前記画素の強度値のヒストグラムを算出し、前記強度値のヒストグラムから前記訓練画像に関する前記数値記述子を算出することを含む、請求項1に記載の方法。前記訓練画像の代表的なサブセットを自動的に選択する工程が、前記評価ソフトウェアを用いて前記訓練画像の前記数値記述子を処理して、前記訓練サンプルのそれぞれに関する画素強度分散を算出することと、前記評価ソフトウェアを用いて、最も高い画素強度分散を有する前記訓練画像の第1のサブセットを識別して、前記訓練画像の前記代表的なサブセット内に含めることと、を含む、請求項1に記載の方法。前記訓練画像の代表的なサブセットを自動的に選択する工程が、更に、前記評価ソフトウェアを実行して、前記第1のサブセットの選択後に残留した前記訓練画像から第2のサブセットを無作為に選択し、前記訓練画像の第2のサブセットを含むように、前記代表的なサブセットを算出することを含む、請求項7に記載の方法。前記評価ソフトウェアのユーザインターフェースを提示して、訓練画像の前記第1のサブセットに関する前記訓練画像の標的サイズを特定する第1の設定可能なパラメータと、訓練画像の前記第2のサブセットに関する標的サイズを特定する第2の設定可能なパラメータと、を受信する工程を更に含む、請求項8に記載の方法。前記訓練画像の代表的なサブセットを自動的に選択する工程が、更に、前記第1のサブセット又は前記第2のサブセット内に含まれない前記訓練画像のそれぞれに関して、前記評価ソフトウェアを用いて、前記数値記述子に関連したフィーチャ空間内における前記訓練画像に関する複数の最近隣数値記述子を識別することと、前記訓練画像の前記数値記述子に関する前記最近隣のそれぞれに対する距離を算出することと、前記訓練画像の前記最近隣に対する全部の前記距離が、前記訓練画像がアウトライアー訓練画像であることを示すアウトライアー閾値を越える場合、前記訓練画像を前記代表的なサブセット内に含めることと、を含む、請求項8に記載の方法。前記評価ソフトウェアのユーザインターフェースを提示して、訓練画像がアウトライアー訓練画像であるか否かを判定する際、識別するための最近隣の数を特定する第1の設定可能なパラメータと、前記アウトライアー閾値を特定する第2の設定可能なパラメータと、を受信する工程を更に含む、請求項10に記載の方法。前記評価ソフトウェアのユーザインターフェースを提示して、前記訓練画像が大きいデータセットを構成するか否かを特定し、クラスタリングのために前記訓練画像の前記代表的なサブセットを自動的に識別するよう前記評価ソフトウェアを指向させる、前記ユーザからの入力を受信する工程を更に含む、請求項1に記載の方法。前記評価ソフトウェアを用いて第1のクラスタリングプロセスを実行する工程が、前記訓練画像の前記代表的なサブセットの前記数値記述子を処理して、前記複数の画像クラスターを算出することを含む、請求項1に記載の方法。階層を算出する工程が、ユーザインターフェースを提示して、所望の数の前記画像クラスターを特定する入力を前記ユーザから受信することと、ボトムアップ型凝集クラスタリングアルゴリズムを前記訓練画像の前記代表的なサブセットに適用して、前記代表的なサブセット内の前記訓練画像のそれぞれに関する前記数値記述子に従ってツリーを形成することと、前記ユーザにより特定された前記画像クラスターの前記所望の数に少なくとも一致する、いくつかのリーフノードを有する前記ツリーを生成した後、前記クラスタリングプロセスを中断することと、を含む、請求項13に記載の方法。前記画像クラスターの画像間の類似性に基づいて、前記画像クラスターに関する順序を算出する工程と、前記評価ソフトウェアを用いて、前記複数の画像クラスターを表示し、前記順序付けに基づいて前記ユーザが前記複数の画像クラスターをナビゲートできるようにする入力機構を含む、ユーザインターフェースを提示する工程と、より類似する画像クラスターが類似しない画像クラスターと比較して、前記ユーザインターフェース上で互いにより近接して表示されるように、前記ユーザインターフェース内の前記画像クラスターを前記算出された順序に従って調整する工程と、を更に含む、請求項13に記載の方法。前記画像クラスターに関する順序を算出する工程が、前記画像クラスターの各対に関して、前記数値記述子を処理して、前記対の第1の画像クラスター内の各画像と、前記対の第2の画像クラスター内の各画像との間の個々の距離を算出することと、前記個々の距離の中央値を算出して、画像クラスターの前記対のそれぞれに関してクラスター間距離を決定することと、前記対的なクラスター間距離に基づいて、第2のツリーとしての前記順序を算出して、前記画像クラスターを順序付けることと、を含む、請求項15に記載の方法。前記評価ソフトウェアを用いて、前記ユーザが前記複数の画像クラスターを視認し及びナビゲートできるようにするユーザインターフェースを提示する工程が、前記第2のツリーのリーフノードの配置を使用して、前記ユーザインターフェース内の前記複数の画像クラスターの表示を調整することを含む、請求項16に記載の方法。前記評価ソフトウェアの前記ユーザインターフェース内にクラスター視認ウィンドウを提示する工程が、各クラスターからの単一の代表的な画像を表示することと、前記画像クラスターの1つに関する前記代表的な画像を選択する前記ユーザからの入力を受信することと、前記選択に応答して前記ユーザインターフェースを更新して、前記対応する画像クラスターに割り当てられた前記訓練画像を表示することと、を含む、請求項16に記載の方法。スクロール可能なパネル内に、前記第2の階層に従って、前記クラスターを配置する工程を更に含む、請求項18に記載の方法。入力機構を含むように前記ユーザインターフェースを提示して、合併される2つの前記画像クラスターを識別する前記ユーザからの入力を受信する工程と、入力の受信に応答して、前記ユーザにより識別された前記2つの画像クラスターの前記訓練画像を単一のクラスターに合併することによって、前記複数の画像クラスターを変更する工程と、前記ユーザインターフェースを更新して、前記変更された複数の画像クラスターを表示する工程と、を更に含む、請求項15に記載の方法。入力機構を含むように前記ユーザインターフェースを提示して、前記画像クラスターのうちの第1の画像クラスターから前記画像クラスターのうちの第2の画像クラスターへ再度割り当てられる前記訓練画像の1つ以上を識別する前記ユーザからの入力を受信する工程と、入力の受信に応答して、前記1つ以上の訓練画像を前記第2のクラスターへ再度割り当てることにより、前記複数の画像クラスターを変更する工程と、前記ユーザインターフェースを更新して、前記変更された複数の画像クラスターを表示する工程と、を更に含む、請求項15に記載の方法。第2のクラスタリングプロセスを実行して、画像クラスターの複数の階層を算出し、前記階層のそれぞれは、前記欠陥クラスのそれぞれのクラスに関する前記評価標識のそれぞれの標識を割り当てられた前記訓練画像をクラスタリングし、入力機構を含むように前記ユーザインターフェースを提示して、前記欠陥のクラスの1つを選択する入力を受信する工程と、前記入力の受信後、前記選択された欠陥クラスの前記評価標識に関して画像クラスターの前記階層を表示するよう前記ユーザインターフェースを提示する工程と、を更に含み、前記ユーザインターフェースは、前記ユーザが、前記選択された欠陥クラスに関する前記評価標識のそれぞれに関連した画像クラスターの前記階層をナビゲートできるようにする入力機構を含む、請求項15に記載の方法。第2のクラスタリングプロセスを実行する工程が、前記第1のクラスタリングプロセス中に決定された前記クラスター割り当てを使用して、前記第2のクラスタリングプロセスの前記画像クラスターを開始することを含む、請求項22に記載の方法。装置であって、プロセッサと、複数の訓練サンプルを記憶するメモリと、前記プロセッサ上で実行される評価ソフトウェアであって、前記評価ソフトウェアは、それぞれの訓練画像の画素値から、前記訓練画像のそれぞれに関する数値記述子を算出することによって、複数の前記訓練画像のそれぞれからフィーチャを抽出するフィーチャ抽出モジュールを含み、前記評価ソフトウェアは、第1のクラスタリングプロセスを実行して前記訓練画像の前記数値記述子を処理して、前記訓練画像の代表的なサブセットを自動的に選択し、前記訓練画像の前記代表的なサブセットに関する複数の画像クラスターを算出する、評価ソフトウェアと、前記代表的な訓練画像内に存在する欠陥の1つ以上のクラスと、前記欠陥クラスのそれぞれに関する1セットの個々の評価標識とを特定する、前記プロセッサ上で実行する前記評価ソフトウェア、又は、前記ソフトウェアにより提示され、かつユーザからの入力を受信するための入力機構を有するユーザインターフェースの少なくとも一方と、を備え、前記ユーザインターフェースが更に入力機構を含んで、前記特定された欠陥クラスのそれぞれに関する前記画像クラスターのそれぞれに個々の評価標識を割り当てる入力を受信し、場合により、前記プロセッサ上で実行される前記評価ソフトウェアが、前記代表的な訓練画像内に存在するいくつかの欠陥クラスを特定し、前記複数の画像クラスターのそれぞれに、前記特定された欠陥クラスのそれぞれに関する重大度標識を割り当て、前記画像クラスターのそれぞれに関して、前記評価ソフトウェアが、前記画像クラスターに関する前記欠陥クラスに割り当てられた前記個々の評価標識のそれぞれを、その画像クラスター内の前記訓練画像の全部に自動的に伝播する、装置。前記評価ソフトウェアが、前記訓練画像の前記代表的なサブセット内に含まれない、前記訓練画像の残りの画像の全部に、前記欠陥のクラスのそれぞれに関する評価標識を自動的に割り当てる、請求項24に記載の装置。前記訓練サンプルのそれぞれに割り当てられた前記評価標識のそれぞれが、特定の欠陥の重大度に対応する、請求項24に記載の装置。前記訓練サンプルが、製造された材料のデジタル画像であり、前記欠陥が、びびり模様、まだら、バンディング及び筋を含む不均一性欠陥である、請求項24に記載の装置。前記評価標識が、前記訓練サンプルのそれぞれを、対応する欠陥に関連して、許容可能又は許容不可能のいずれかとして分類する、請求項24に記載の装置。前記評価標識が、対応する欠陥に関連して、前記訓練サンプルのそれぞれを複数の等級レベルの1つとして分類する、請求項24に記載の装置。前記評価ソフトウェアが訓練段階を実行して、前記訓練サンプルに割り当てられた前記評価標識に基づいて分類モデルを算出する、請求項24に記載の装置。製造された材料から捕捉された複数のサンプルのそれぞれに、前記分類モデルに従って評価標識を割り当てる識別子を適用するコンピュータ化検査システムを更に含む、請求項30に記載の装置。システムであって、評価ソフトウェアを実行するサーバーであって、前記サーバーが、プロセッサと、複数の訓練サンプルを記憶するメモリと、前記プロセッサ上で実行される評価ソフトウェアであって、前記評価ソフトウェアは、それぞれの訓練画像の画素値から、前記訓練画像のそれぞれに関する数値記述子を算出することによって、複数の前記訓練画像のそれぞれからフィーチャを抽出するフィーチャ抽出モジュールを含み、前記評価ソフトウェアは、第1のクラスタリングプロセスを実行して前記訓練画像の前記数値記述子を処理して、前記訓練画像の代表的なサブセットを自動的に選択し、前記訓練画像の前記代表的なサブセットに関する複数の画像クラスターを算出する、評価ソフトウェアと、を含み、プロセッサ上で実行する前記評価ソフトウェア、又は、前記評価ソフトウェアにより提示されるユーザインターフェースの少なくとも一方が、前記代表的な訓練画像内に存在する欠陥の1つ以上のクラスと、前記欠陥クラスのそれぞれに関する1セットの個々の評価標識とを特定し、更に、前記ユーザインターフェースが、前記特定された欠陥クラスのそれぞれに関する前記画像クラスターのそれぞれに個々の評価標識を割り当てるユーザからの入力を受信する入力機構を含み、場合により、前記プロセッサ上で実行される前記評価ソフトウェアが、前記代表的な訓練画像内に存在するいくつかの欠陥クラスを特定し、前記複数の画像クラスターのそれぞれに、前記特定された欠陥クラスのそれぞれに関する重大度標識を割り当て、前記画像クラスターのそれぞれに関して、前記評価ソフトウェアが、前記画像クラスターに関する前記欠陥のクラスに割り当てられた前記個々の評価標識のそれぞれを、その画像クラスター内の前記訓練画像の全部に自動的に伝播し、更に、前記評価ソフトウェアが訓練段階を実行して、前記訓練画像に割り当てられた前記評価標識に基づいて分類モデルを算出し、ウェブ材料の連続的な部分を走査してサンプルを取得するコンピュータ化検査システムと、を含み、前記コンピュータ化検査システムは、識別子を適用して、前記分類モデルに従って、サンプルのそれぞれに評価を割り当てる、システム。コンピュータプロセッサがコンピュータ上で評価ソフトウェアを実行して、それぞれの訓練画像の画像値から、前記訓練画像のそれぞれに関する数値記述子を算出することによって、複数の前記訓練画像のそれぞれからフィーチャを抽出し、前記訓練画像の前記数値記述子を前記評価ソフトウェアを用いて処理して、前記訓練画像の代表的なサブセットを自動的に選択し、前記評価ソフトウェアを用いて第1のクラスタリングプロセスを実行して、前記訓練画像の代表的なサブセットの前記数値記述子を処理し、訓練画像の前記代表的なサブセットに関する複数の画像クラスターを算出し、前記複数の画像クラスターのそれぞれに、特定された欠陥のクラスのそれぞれに関する個々の評価標識を割り当てる、ユーザ又は前記コンピュータの少なくとも一方から入力を受信し、前記ユーザから入力を受信する工程が、更に、前記評価ソフトウェアを用いてユーザインターフェースを提示して、訓練画像の前記代表的なサブセット内に存在する欠陥の1つ以上のクラスと、前記欠陥クラスのそれぞれに関する1セットの評価標識とを特定する前記ユーザから入力を受信することを含み、場合により、前記コンピュータから入力を受信する工程が、更に、前記コンピュータを使用して、前記代表的な訓練画像内に存在するいくつかの欠陥クラスを判定し、前記複数の画像クラスターのそれぞれに、前記特定された欠陥クラスのそれぞれに関する重大度標識を割り当てることを含み、前記画像クラスターのそれぞれに関して、前記評価ソフトウェアを用いて、前記画像クラスターに関する前記欠陥クラスに割り当てられた前記個々の評価標識のそれぞれを、その画像クラスター内の前記訓練画像の全部に自動的に伝播する、ようにするソフトウェア命令を含む非一時的なコンピュータ可読媒体。一般に、本開示は、所定の製品のサンプルを表す多数のデジタル画像に対して、ユーザがエキスパート評価即ち、標識を効率的かつ一貫して割り当てることを援助できる、コンピュータ化評価ツールについて記載する。一例として、標識は、サンプル中に存在する特定の不均一性欠陥の重大度に対応し得る。ユーザが各サンプルを個々に標識する必要がある単調で退屈であり、主観的であり、間違いやすい場合があり、また一貫性のない標識付けをもたらし得る代わりに、コンピュータ化ツールは、最も煩わしい局面を自動化することによって、仕事を簡素化すると共に、ユーザに直感的視覚的フィードバックと、データと交流するための手段とを提供する。いくつかの代表的な実施形態において、コンピュータ化ツールは、視覚的に訴える方法でユーザに画像を表示し、ユーザがサンプル間の関係を空間的に視覚化することを可能にすることによって、一貫した標識の割り当ての仕事を容易にする。別の実施形態では、コンピュータは、サンプルを表す多数のデジタル画像に対して、評価即ち、標識を自動的に割り当てる。いくつかの代表的な実施形態では、記載したコンピュータ化評価ツールは、画像のクラスタリング及び順序付けを含む、直感的かつ構成可能な様式でデータを視覚化するための機構を提供する。所定の代表的な実施形態では、コンピュータ化ツールは、データ中に表される多数のタイプの欠陥を探索し、エキスパート評価を効率的に割り当てるための簡便なインターフェースを提供する。加えて、コンピュータ化ツールは、画像の欠陥に関する最も関連したサブセットを自動的に識別及び選択し、このサブセットから、更なるユーザ交流を必要とすることなく、残りの画像に標識を自動的に伝播する能力を含む、非常に大きいデータセットの標識に理想的な能力を有する。例示的な一実施形態では、装置は、プロセッサ、又はプロセッサを含むコンピュータと、複数の訓練サンプルを記憶するメモリと、プロセッサ上で実行する評価ソフトウェアと、を備える。評価ソフトウェアは、対応する訓練画像の画素値から、訓練画像のそれぞれに関する数値記述子を算出することによって、複数の訓練画像のそれぞれからフィーチャを抽出するフィーチャ抽出モジュールを含む。評価ソフトウェアは、第1のクラスタリングプロセスを実行して訓練画像の数値記述子を処理し、訓練画像の代表的なサブセットを自動的に選択し、訓練画像の代表的なサブセットに関する複数の画像クラスターを算出する。いくつかの代表的な実施形態では、プロセッサ上で実行する評価ソフトウェア、又は、評価ソフトウェアにより提示され、かつユーザからの入力を受信するための入力機構を提供するユーザインターフェースの少なくとも一方は、代表的な訓練画像内に存在する欠陥の1つ以上のクラスと、欠陥のクラスのそれぞれに関する1セットの評価標識とを特定する。所定の代表的な実施形態では、ユーザインターフェースは入力機構を含んで、特定された欠陥クラスのそれぞれに関する画像クラスターのそれぞれに個々の評価標識を割り当てる入力を受信する。追加の又は代替的な代表的な実施形態では、プロセッサ又はコンピュータは、代表的な訓練画像内に存在するいくつかの欠陥クラスを判定し、複数の画像クラスターのそれぞれに、特定された欠陥クラスのそれぞれに関する重大度標識を割り当てる。いくつかの特定の代表的な実施形態では、プロセッサ上で実行される評価ソフトウェアは、代表的な訓練画像内に存在するいくつかの欠陥クラスを特定し、複数の画像クラスターのそれぞれに、特定された欠陥クラスのそれぞれに関する重大度標識を割り当てる。前述した任意の代表的な実施形態では、評価ソフトウェアは、画像クラスターに関する欠陥クラスに割り当てられた個々の評価標識のそれぞれを、その画像クラスター内の訓練画像の全部に自動的に伝播してもよい。更なる実施形態では、方法は、コンピュータ上で評価ソフトウェアを実行して、それぞれの訓練画像の画像値から、訓練画像のそれぞれに関する数値記述子を算出することによって、複数の訓練画像のそれぞれからフィーチャを抽出する工程を含む。方法は更に、評価ソフトウェアを用いて訓練画像の数値記述子を処理して、訓練画像の代表的なサブセットを自動的に選択する工程と、評価ソフトウェアを用いて第1のクラスタリングプロセスを実行して、訓練画像の代表的なサブセットの数値記述子を処理する工程と、訓練画像の代表的なサブセットに関する複数の画像クラスターを算出する工程と、を含む。いくつかの代表的な実施形態では、プロセッサ上で評価ソフトウェアが実行され、評価ソフトウェアは、それぞれの訓練画像の画素値から、訓練画像のそれぞれに関する数値記述子を算出することによって、複数の訓練画像のそれぞれからフィーチャを抽出するフィーチャ抽出モジュールを含み、評価ソフトウェアは、第1のクラスタリングプロセスを実行して訓練画像の数値記述子を処理して、訓練画像の代表的なサブセットを自動的に選択し、訓練画像の代表的なサブセットに関する複数の画像クラスターを算出する。プロセッサ上で実行する評価ソフトウェア、又は、評価ソフトウェアにより提示され、かつユーザからの入力を受信するための入力機構を有するユーザインターフェースの少なくとも一方は、代表的な訓練画像内に存在する欠陥の1つ以上のクラスと、欠陥のクラスのそれぞれに関する1セットの個々の評価標識とを特定する。それ故、いくつかの特定の代表的な実施形態では、方法は更に、評価ソフトウェアを用いてユーザインターフェースを提示して、代表的な訓練画像内に存在する欠陥の1つ以上のクラスと、欠陥のクラスのそれぞれに関する1セットの評価標識とを特定するユーザからの入力を受信する工程と、画像クラスターのそれぞれに、特定された欠陥クラスのそれぞれに関する個々の評価標識を割り当てる入力を受信する工程と、画像クラスターのそれぞれに関して、画像クラスターに関する欠陥のクラスに割り当てられた個々の評価標識のそれぞれを、その画像クラスター内の訓練画像の全部に自動的に伝播する工程と、を含む。しかしながら、別の追加の又は代替的な代表的な実施形態では、方法は更に、代表的な訓練画像内に存在する欠陥の1つ以上のクラスと、欠陥のクラスのそれぞれに関する1セットの評価標識とを特定する、コンピュータからの入力を受信する工程を含む。所定のそのような実施形態では、コンピュータから入力を受信する工程は更に、コンピュータを使用して、代表的な訓練画像内に存在するいくつかの欠陥クラスを判定し、複数の画像クラスターのそれぞれに、特定された欠陥のクラスのそれぞれに関する重大度標識を割り当てることを含む。技術は、1つ以上の利点を提供することができる。例えば、訓練データの大きいセットを手動で標識付けすることを考慮すると、本明細書に記載したコンピュータ化ツールは、大きいデータセットを標識付けするこの単調で退屈なプロセスの部分を自動化する一方、ループ内の人を、その人の専門技術を効率的に利用する方法で尚維持する。これにより、管理された/半ば管理された分類アルゴリズムの訓練段階を介して開発されたモデルを、コンピュータ化検査システムによって上手く適用することができる。本発明の1つ以上の実施形態の詳細を添付図面及び以下の説明に示す。本発明の他の特徴、目的、及び利点は、説明及び図面、並びに特許請求の範囲から明らかとなるであろう。図1は、本明細書に記載される技術が適用され得るシステム2の一例を示す構成図である。ウェブ製造工場6A~6Nウェブ製造工場6は、ウェブロール7の形態のウェブ材料を生産及び出荷する製造サイトを表す。ウェブ製造工場6は、地理的に分散していてもよく、各ウェブ製造工場は、1つ以上の製造プロセスラインを有してもよい。一般に、ウェブロール7は、製造工場6のいずれかにより製造され、更なる加工のためにウェブ製造工場間で出荷されてもよい。完成したウェブロール10は変換サイト8A~8N変換サイト8に出荷されて、製品12A~12N製品12に変換される。図1に示すように、変換制御システム4、ウェブ製造工場6A~6Mウェブ製造工場6及び変換サイト8A~8N変換サイト8は、コンピュータネットワーク9によって相互接続されて、ウェブ材料の製造と、製品12への変換に関する情報例えば、欠陥情報を交換する。一般に、ウェブロール7、10は、既製のウェブ材料を含んでもよく、そのウェブ材料は、ある方向には一定の寸法を、またその直交方向には所定の又は不定の長さを有する任意のシート状材料であってよい。ウェブ材料の例には、金属、紙、織布、不織布、ガラス、ポリマーフィルム、フレキシブル回路又はこれらの組合せが含まれるが、これらに限られない。金属には、鋼又はアルミニウム等の材料を挙げることができる。織布には一般的に様々な織物が挙げられる。不織布には、紙、濾材又は絶縁材料等が挙げられる。フィルムには、例えば積層体及びコーティングされたフィルムを含む無色clearかつ不透明なポリマーフィルムが挙げられる。変換サイト8は、ウェブ製造工場6から完成ウェブロール10を受容し、完成ウェブロール10を個々のシートに変換して、消費者14A~14N消費者14に販売される製品12に組み込んでもよい。変換システムは、例えば製品に関連した等級レベル等の様々な基準に基づいて、所定の完成ウェブロール10がどの製品14に変換されるかを決定してもよい。即ち、どのシートがどの製品12に組み込まれるべきかという選択プロセスは、各シートが満たしている特定の等級レベルに基づき得る。本願に記載する技法に従えば、加工現場8はまた、完成したウェブロール10の異常、即ち潜在的な欠陥に関するデータを受領してもよい。最終的に、加工現場8は、完成したウェブロール10を個々のシートに変換してもよく、それらのシートは、消費者14A~14N消費者14に販売される製品12に組み込まれてもよい。製品12に組み込むための個々のシートに加工する準備のできた完成したウェブロール10を生産するために、未完成のウェブロール7は、1つのウェブ製造工場、例えばウェブ製造工場6Aにて、あるいは複数の製造工場にて、多数のプロセスラインによるプロセスを受けることが必要となり得る。各プロセスに関して、ウェブロールは典型的に、ウェブがそこから製造プロセスの中へ送られるソースロールとして使用される。各プロセスの後、ウェブは通常ウェブロール7に再度収集されて、別の製品ラインに移動されるか又は別の製造工場に出荷され、次にそこで広げられ、処理され、かつ再度ロールに収集される。最終的に完成したウェブロール10が製造されるまでこのプロセスが繰り返される。多数の応用例で、各ウェブロール7のウェブ材料は、1つ以上のウェブ製造工場6の1つ以上の生産ラインで多数のコーティングを施されることがある。このコーティングは一般に、最初の製造プロセスの場合にはベースウェブ材料の露出表面に、後の製造プロセスの場合には既に施されたコーティングの露出表面に施される。コーティングの例には、接着剤、ハードコート、低接着性裏面コーティング、金属化コーティング、中性密度コーティング、電気的に導電性若しくは非導電性コーティング、又はこれらの組合せが挙げられる。ウェブロール7の所定の1つに関する各製造プロセス中に、1つ以上の検査システムは、ウェブの異常情報を取得する。例えば、図2に示すように、生産ラインのための検査システムは、ウェブが処理されるとき、例えば、1つ以上のコーティングがウェブに塗布されるとき、連続して移動するウェブに直近して配置される1つ以上の画像取得装置を含んでもよい。画像取得装置は、連続して移動するウェブの連続的な部分を走査してデジタル画像を取得する。検査システムは、1つ以上のアルゴリズムによって画像を解析して、所謂局所異常情報を生成してもよく、前記情報は、ウェブが変換される最終的な製品12に応じた実際の欠陥を表し得る。検査システムは、例えば、各欠陥が単一範囲に制限される点欠陥に関する異常情報を生成し得る。別の例として、検査システムは、ウェブ材料が広い範囲にわたって不均一な変動性を有する、不均一欠陥又は不均一性に関する異常情報を生成してもよい。そのような不均一性の例には、まだら、びびり模様、バンディング及び筋が挙げられる。ウェブ製造工場内の解析用コンピュータは、捕捉された各デジタル画像即ち、サンプルに品質評価即ち、標識を割り当てる、本明細書で識別子と称するアルゴリズムを適用してもよい。解析用コンピュータは、ウェブが製造されているときにリアルタイムで、又はウェブに関する全画像データが捕捉された後にオフラインで、アルゴリズムを適用してもよい。いずれの場合でも、標識は、ウェブの対応する各領域を品質レベルに分類する。一例において、標識は、各領域を許容可能又は許容不可能のいずれかとして分類する。別の例では、識別子は、変動の程度に相当する複雑な標識のセットを割り当ててもよい。割り当てられた標識は、最終的に、ウェブが変換される特定の製品12に基づいて、ウェブ材料の領域の許容又は拒絶に使用され得る。分類プロセス中、解析用コンピュータは、訓練データに基づいて開発された識別モデルを適用することによって、捕捉されたデジタル画像を分類する。訓練データは、典型的には、アルゴリズムの訓練段階中に処理され、訓練データと最良に一致する識別モデルが開発される。即ち、訓練段階と分類モデルの開発との後、訓練データに分類モデルを適用することは、高い確率の正確さで訓練データを標識するであろう。訓練データからモデルが開発された後、解析用コンピュータは、処理の識別段階中、潜在的にはリアルタイムで、新たに製造された製品から捕捉したサンプルに該モデルを適用する。いくつかの実施形態では、所定の製造ウェブのデジタル画像の識別は、変換制御システム4によってオフラインで行われてもよい。変換制御システム4は、所定のウェブの識別に基づいて、各ウェブロール10用の変換プランを選択及び生成し得る。識別は、所定の異常が1つの製品、例えば、製品12Aで欠陥をもたらし得る一方、その異常が異なる製品、例えば、製品12Bでは欠陥の原因となり得ない点で用途特異的であり得る。各変換計画は、最終的に消費者14に販売され得る製品12を作製するために、対応する完成したウェブロール10を加工処理する規定の指示を表すものである。例えば、ウェブロール10は、最終製品、例えば、ノートブックコンピュータのディスプレーに適用するための特定寸法のシートに変換され得る。別の例として、この同じウェブロール10は、携帯電話のディスプレーに適用するための最終製品に変換されてもよい。変換制御システム4は、異常に適用され得る異なる欠陥検出アルゴリズムに照らして、どの製品がウェブの最大利用率といった特定のパラメータを最良に達成するかを識別することができる。図2は、図1の例示的なウェブ製造工場6A内にある、ウェブプロセスライン21の一部分の中に配置された検査システムの例示的な実施形態を示す構成図である。この例示的な実施形態において、ウェブ20の一区間が、2つの支持ロール22、24の間に配置されている。画像取得デバイス26A~26N画像取得デバイス26は、連続して移動するウェブ20に直近して配置され、連続移動ウェブ20の連続的な部分を走査して画像データを取得する。取得用コンピュータ27が画像取得デバイス26から画像データを収集し、その画像データを解析用コンピュータ28に送信する。画像取得デバイス26は、移動ウェブ20の連続的な部分を読取ることができ、またデジタルデータストリームの形態で出力を提供することができる従来の撮像デバイスであってもよい。図2に示すように、撮像デバイス26は、デジタルデータストリームを直接提供するカメラ又は追加のアナログ-デジタルコンバータを有するアナログカメラであってもよい。例えばレーザースキャナ等の他のセンサが、画像取得デバイスとして使用されてもよい。ウェブの連続的な部分は、データが単一のラインの連続によって得られているということを示す。単一のラインは、センサ要素又は画素の一列に位置する、連続して移動するウェブの領域を含む。画像を取得するのに好適なデバイスの例には、DalsaWaterloo,Ontario,CanadaのPiranhaModels、又はAtmelSanJose,CalifのModelAviivaSC2CL等のラインスキャンカメラが挙げられる。更なる例には、SurfaceInspectionSystemsGmbHMunich,Germanyの、アナログ-デジタルコンバータと連結したレーザースキャナが挙げられる。画像データは、場合により、画像の取得を支援する光学アセンブリの使用を通じて取得することができる。このアセンブリはカメラの一部であってもよく、又はカメラから分離されていてもよい。光学アセンブリは、撮像プロセス中、反射光、透過光又は反射透過光transflectedlightを使用する。反射光は、例えば、表面のスクラッチ等、ウェブ表面の変形によって生じた欠陥の検出に、しばしば好適である。いくつかの実施形態において、基準マークコントローラ30が基準マークリーダ29を制御して、ロール及び位置の情報をウェブ20から集める。例えば、基準マークコントローラ30は、バーコード又は他のしるしをウェブ20から読取るための1つ以上の写真光学センサを有していてもよい。加えて、基準マークコントローラ30は、ウェブ20及び/又はローラ22、24と係合した1つ以上の高精度エンコーダから位置信号を受信してもよい。この位置信号に基づいて、基準マークコントローラ30は、検出された各基準マークに対する位置情報を判定する。基準マークコントローラ30は、検出された異常に関連付けるために、ロール及び位置の情報を解析用コンピュータ28に通信する。解析用コンピュータ28は、取得用コンピュータ27から得られた画像データのストリームを処理する。即ち、本明細書に記載した技術によれば、解析用コンピュータ28は、識別子を適用して、訓練データ35に基づいて開発された分類モデル34モデル34に従って、捕捉された各デジタル画像に品質評価即ち、標識を割り当てる。識別子及び識別子構造の更なる詳細は、PCT国際出願公開第2010/059679号に記載されている。訓練データ35は、典型的には、1人以上のエキスパート38によって評価を割り当てられた代表的なサンプルのデジタル画像の大きいセットからなる。デジタル画像は、例えば、ウェブ20、又はウェブプロセスライン21が以前に生産した別のウェブから取得したサンプルを表すものであってもよい。それ故、いくつかの代表的な実施形態では、訓練サーバー36はソフトウェア実行用の作動環境を提供し、前記ソフトウェアは、コンピュータ化エキスパート評価ツール37評価ツール37を提供して、エキスパート38が効率的かつ一貫して、サンプルを表す多数のデジタル画像に評価即ち、標識を割り当てることを援助する。即ち、1人以上のエキスパート38は、エキスパート評価ツール37により提示されるユーザインターフェースと交流して、サンプルセットの各デジタル画像に品質評価を割り当てる。本明細書に更に詳細に記載されるように、エキスパート評価ツール37はユーザインターフェースを提供し、前記ユーザインターフェースは、1人以上のエキスパート38が訓練データ35中の画像のクラスターを視覚化及び変更し、訓練データを探索して、表された欠陥のタイプを識別し、画像にエキスパート評価を割り当てることを可能にする。より詳細には、エキスパート評価ツール37は、サンプル画像のクラスタリング及び順序付けのためのフィーチャを含む、データを直感的かつ構成可能な様式で視覚化するための機構を提供する。エキスパート評価ツール37はまた、データ中に表された多数のタイプの欠陥を探索し、エキスパート評価を効率的に割り当てるための簡便なインターフェースを提供する。加えて、エキスパート評価ツール37は、欠陥に関する最も関連した画像のサブセットを自動的に識別及び選択し、更なるユーザ交流を必要とすることなく、このサブセットからの標識を残りの画像に自動的に伝播する能力を含む、非常に大きいデータセットの標識に理想的な能力を有する。これにより、管理された/半ば管理された分類アルゴリズムの訓練段階の結果を、製造工場6内のコンピュータ化検査システムによって上手く適用することができる。エキスパート38は、ローカルユーザインターフェースを介して例えば、製造工場6A内のエキスパート38A、又はネットワーク9によって遠隔から例えば、エキスパート38B訓練サーバー36と直接交流できる。別の代表的な実施形態では、サンプルを表す多数のデジタル画像に評価即ち、標識を自動的に割り当てるコンピュータを、更に又は代替的に有することが所望され得る。例えば、訓練サーバー36は、例えば各画像内に観察されるいくつかの欠陥に基づいて、類似する画像を欠陥クラス内に纏めることによって、いくつかの欠陥クラスの判断を自動的に提供し、それによってサンプルセットの各デジタル画像に品質評価を自動的に割り当てるソフトウェア実行用の作動環境を提供してもよい。このことは、例えば、画像から抽出されたフィーチャを比較し、それらの類似性を算出することにより行うことができる。これを行なった後、例えば画像を、欠陥を有する他の画像と比較し、現在の画像内に示される重大度を他に関連して判断することによって、標識の初期判断を各欠陥クラス内の画像に自動的に割り当てることができる。エキスパート評価ツール37は、少なくとも部分的に又は完全にでも、ソフトウェア命令が訓練サーバー36の1つ以上のプロセッサにより実行されると同時に実施されてもよく、前記プロセッサは、1つ以上のハードウェアマイクロプロセッサ、デジタルシグナルプロセッサDSPs、特定用途向け集積回路ASICs、フィールドプログラマブルゲート配列FPGAs、又は任意の他の等価な集積若しくはディスクリート論理回路、及びそのような構成要素の任意の組み合わせを含む。ソフトウェア命令は、ランダムアクセスメモリRAM、リードオンリーメモリROM、プログラム可能なリードオンリーメモリPROM、消去可能プログラム可能なリードオンリーメモリEPROM、電気的に消去可能でプログラム可能なリードオンリーメモリEEPROM、フラッシュメモリ、ハードディスク、CD-ROM、フロッピーディスク、カセット、磁気媒体、光学媒体、又は他のコンピュータ-可読記憶媒体等の非一時的なコンピュータ可読媒体内に記憶されてもよい。例を目的として、製造工場6A内に配置されるように示されたが、訓練サーバー36及び評価ツール37は、製造工場の外部、例えば中央位置又は変換サイトに位置してもよい。例えば、訓練サーバー36及び評価ツール37は、変換制御システム4内で作動してもよい。この例では、訓練サーバー36は、ウェブ材料20から収集されたサンプルへの適用のために、分類モデル34を解析用コンピュータ28に通信する。訓練データ35及び分類モデル34が確立された後、訓練サーバー36は訓練データを処理して、収集コンピュータ27から受信されたウェブ材料20に関する画像データのリアルタイム解析及び分類での使用のためのモデル34を生成する。この方法で、ウェブ材料20の領域の新たな画像は、分類モデル34に従って分類され得る。解析用コンピュータ28は、ニューラルネットワーク、適応制御、データマイニング、遺伝的プログラミング、クラスター分析、主成分分析、パターン認識、及びコンピュータービジョン含む機械学習等の、エキスパートにより評価された訓練データ35を利用し得る任意の技術を使用することができる。検出され得る欠陥の例には、まだら、びびり模様、バンディング及び筋等の不均一性、並びに斑点、スクラッチ、油たれを含む部分的欠陥が挙げられる。解析用コンピュータ28は、ウェブ20のロール識別情報及び各異常の位置情報を含めて、ウェブ20の異常情報をデータベース32に記憶する。例えば、解析用コンピュータ28は、基準マークコントローラ30により生成される位置データを使用して、プロセスラインの座標系内で各異常の空間的位置又は画像領域を判定してもよい。即ち、解析用コンピュータ28は、基準マークコントローラ30から得た位置データに基づいて、現在のプロセスラインにより使用されている座標系内における、各異常のx、y軸上の位置、そしておそらくはz軸上の位置又は範囲を判定する。例えば、座標系は、x次元が、ウェブ20を横断する距離を表し、y次元がウェブの長さに沿った距離を示し、z次元がウェブの高さを表すように定義されてもよく、これはコーティング、材料又はウェブに既に適用された他の層の数に基づいてもよい。更に、x、y、z座標系の原点は、プロセスライン内のある物理的な箇所で規定されてもよく、典型的には、ウェブ20の初期供給点の配置に関連付けられる。データベース32は、1つ以上のデータベースサーバーを実行するデータストレージファイル又は1つ以上のデータベース管理システムDBMSを含む、様々な形態の任意の数で実行されてもよい。データベース管理システムは、例えば、リレーショナルRDBMS、階層的HDBMS、多次元MDBMS、オブジェクト指向ODBMS若しくはOODBMS又はオブジェクトリレーショナルORDBMSデータベース管理システムであってもよい。一例として、データベース32は、SQLServer商標によってMicrosoftCorporationから提供されているリレーショナルデータベースとして実行される。処理が終了した後、解析用コンピュータ28は、データベース32に収集されたデータを、ネットワーク9を介して変換制御システム4に送信し得る。例えば、解析用コンピュータ28は、ロール情報と異常情報、及び各異常に対応するサブ画像を、続くオフラインでの分類モデル34に従った詳細な解析のために変換制御システム4に通信してもよい。例えば、この情報は、データベース32と変換制御システム4との間のデータベース同期によって通信されてもよい。いくつかの実施形態では、製品12のうちの、各異常によって欠陥が発生し得る製品を、解析用コンピュータ28ではなく変換制御システム4が判定してもよい。完成したウェブロール10についてのデータがデータベース32に収集されると、そのデータは、変換サイト8に通信され、及び/又は除去可能な若しくは水性のマークで直接ウェブの表面上にて、あるいは、ウェブ上の異常をマークする前若しくはその間にウェブに貼り付けられ得るカバーシート上にて、ウェブロール上の異常をマークするために使用されることができる。図3は、評価ツール37の作動の一例を示すフローチャートである。最初に、評価ツール37は、典型的には画像50のセットの形態で訓練データ35を入力として受信する。次に、評価ツール37のフィーチャ抽出ソフトウェアモジュールが画像のそれぞれを処理してフィーチャ52を抽出する。フィーチャ抽出は、各画像の数値記述子を、各画像に固有の関連した情報のコンパクトな数値表現として提供する。フィーチャは、訓練セット中の画像間の関係に関する有用な情報を保存すると同時に、情報を与えない画像特性を排除する任意の方法で抽出されてもよい。通常のフィーチャ抽出技術の例としては、画像を1セットのフィルターで畳み込み、フィルタリングされた画像の統計値を算出し、又は色若しくは強度ヒストグラムに基づいてフィーチャを抽出することが挙げられる。時には、画素値がフィーチャとして使用され得るが、この場合、画像全体を記憶する必要があるため、記述子にコンパクト性が存在しない。一般に、得られたフィーチャは、対応する画像内の関連情報のコンパクトな記述として処理される。一実施形態では、フィーチャは特定用途向けであるが、その代わりに、異なる用途が、異なるフィーチャサブセットを使用する、フィーチャの豊富なセットを提供する。即ち、この例では、フィーチャは、複雑な特定用途向けのフィルターの使用を介して抽出されない。むしろ、フィルターは、画像の類似性を測定するための画像間の直接的な対比較のみを容易にする。評価ツール37は、任意の特定のフィーチャ抽出方法論による使用に限定されず、他のタイプのフィーチャがより適切である用途に容易に適用することができる。関連画像情報をコンパクトな形態に封入する例示的な一方法は、特にそれがテクスチャに関連する場合、画像全域にわたって画素フィーチャの小さい共分散行列を算出することである。この小さい共分散行列例えば、5×5を抽出した後、画像を直接扱う代わりに、画像間の対比較をそれらの行列のみに基づいて効率的に行うことができる。例えば、グレースケール画像は二次元配列として規定され、画素座標x及びyによってIx、yとしてインデックスされる。各画素位置x、yにおいて、画素の強度値と、その画素における第1及び第2の導関数とに基づいてフィーチャベクトルが抽出される。画像の導関数勾配は、各画素における強度間の前方又は中心差分により単純に近似することができる。最後に、これら画素フィーチャの共分散行列が画像全体にわたって算出される。式中、Nは、画像内の画素数であり、は、画素フィーチャの平均である。アルゴリズムのクラスタリング段階を含む、続く処理工程では、画像間の対距離を算出することが有用であり得る。これらの共分散行列記述子の場合、対距離は、として算出され、式中、λiCI1;CI2は、2つの共分散行列のi番目の一般化固有値である。更なる詳細は、参照により本明細書に組み込まれるO.Tuzel,F.Porikli,andP.Meer.RegionCovariance:AFastDescriptorforDetectionandClassification。ProceedingsoftheEuropeanConferenceonComputerVision,2006に見出すことができる。訓練画像のそれぞれからフィーチャを抽出した後、評価ツール37はクラスタリング段階53に入り、画像から抽出された記述的フィーチャに基づいて画像がクラスタリングされる。分類アルゴリズムの訓練及び試験に使用される画像のセットが、多くの場合、ほぼ何万もの非常に大きい画像であることは希なことではない。この多数の画像を短時間で詳細にクラスタリング及び視覚化することは、殆どの大きいデータセットがかなりの余剰を含むため、一般に実際的ではなく、また必要でない可能性があり、したがって代表的なサブセットのみを詳細に解析することが必要である。いくつかの代表的な実施形態では、コンピュータ又はプロセッサは、該コンピュータ又はプロセッサ上で実行するソフトウェアから情報を自動的に受信し、前記ソフトウェアは、代表的な訓練画像内に存在する欠陥の1つ以上のクラスと、欠陥のクラスのそれぞれに関する1セットの評価標識と、を特定する。このように、そのような所定の実施形態では、コンピュータ又はプロセッサは、代表的な訓練画像内に存在するいくつかの欠陥クラスを判定し、複数の画像クラスターのそれぞれに、特定された欠陥のクラスのそれぞれに関する重大度標識を割り当てるソフトウェア例えば、評価ツール37を実行する。いくつかの代表的な特定の実施形態では、コンピュータ又はプロセッサ上で実行される評価ソフトウェアは、代表的な訓練画像内に存在するいくつかの欠陥クラスを特定し、複数の画像クラスターのそれぞれに、特定された欠陥のクラスのそれぞれに関する重大度標識を割り当てる。所定の代表的な実施形態では、存在するいくつかの欠陥タイプの判定と、それらの各欠陥クラスにおける画像の重大度標識の割り当てとの一方又は両方は、ユーザ入力として受信され、及び/又は、例えば、コンピュータ若しくはプロセッサ上のソフトウェアを実行して、それら入力の全部若しくは一部を自動的に計算若しくは判断することによって、コンピュータからの入力として受信されてもよい。しかしながら、当業者は、コンピュータからの入力の受信は、様々な方法で達成できることを理解するであろう。本明細書で角度量子化AngleQuantization法と称される一例として、コンピュータは、以下の工程を実行することにより入力を受信してもよく、この工程は、別の工程によって特定の順序に制限又は限定されない限り、任意の順序で行うことができる。第1の工程上記に更に記載されているは、処理する画像の代表的なサブセットを選択する工程と、これら画像のそれぞれから記述的な数値フィーチャベクトルを抽出する工程と、それらをクラスタリングする工程と、を含む。存在するいくつかの欠陥タイプは、最初に、全体的な重心と称される空間内の全画像の重心を算出し即ち、全画像から抽出されたフィーチャ記述子の平均、次に他のクラスターに関するベクトルと比較した、全体的な重心から各個別クラスターの重心へのベクトルの角度を算出することによって、コンピュータ又はプロセッサ上で実行するソフトウェアにより判断することができる。おそらくは多数のクラスターの1セットが、それらの間に非常に小さい角度を有するベクトルを有すると見出された場合、このクラスターのセットは、単一タイプの欠陥を有する画像を表すと仮定することができる。そのような小さい角度を有するベクトルを有するクラスターのセットの全部を識別することにより、存在するいくつかの欠陥タイプが判定されるであろう。欠陥の各タイプを識別した後、これらのタイプは、最初にこの欠陥タイプを含むクラスターのベクトルを正規化し、次にそれらの平均を算出することにより、全体的な重心を起源とする単一ベクトルによって表すことができる。最後に、所定の欠陥クラスにおける画像の重大度標識は、この画像のベクトルフィーチャ空間内における全体的な重心からこの画像へのの、特定の欠陥タイプに関する代表的なベクトルに対する投影を算出することにより、自動的に判断することができ、欠陥の重大度は、この投影の長さによって与えられる。本明細書でトピックモデリングTopicModeling法と称される別の例として、コンピュータは、以下の工程を実行することにより入力を受信してもよく、この工程は、別の工程によって特定の順序に制限又は限定されない限り、任意の順序で行うことができる。画像が角度量子化法におけるようにクラスタリングされた後、各画像又は画像の数が多い場合、各クラスターの重心は、特定のサイズの正方形パッチに分割される。次に、発生確率的プロセスとして画像形成がモデリングされ、その目的は、画像が生成される理論的プロセスをできる限り正確にモデリングすることを試みることである。この発生モデルに従って、各画像が欠陥タイプの混合物から構成され、欠陥タイプのそれぞれは、この画像の構成にどのパッチが選択されるかに影響を与えるであろう。この発生プロセスを支配するパラメータは、例えばマルコフ連鎖モンテカルロサンプリング等の確率推論技術を用いて、画像から学習される。この推論の結果は、これらの画像内に見出される様々なタイプの欠陥のモデルを生成し、セット内の各画像は、これらの欠陥のいくつかの混合物としてモデリングされている。これもまた、所定の画像内での各欠陥タイプの寄与即ち、重大度レベルを測定する手段を提供するであろう。代表的な追加の又は代替的な実施形態では、1人以上のエキスパート38は、評価ツール37により提示されるユーザインターフェースと交流して、サンプルセットの各デジタル画像に品質評価を割り当て、評価ツール37は、画像の代表的なサブセットを自動的に選択して、標識プロセスにおいてエキスパート38を援助する54。エキスパート38がデータを能動的に探索し、存在する欠陥のタイプを識別することを援助するために、評価ツール37は、訓練データ35内に存在する異なるタイプの欠陥の極度の例と、通常レベルの欠陥を有する画像の例とを含むようにサブセットを自動的に選択する。そのような代表的な実施形態の1つでは、評価ツール37は、ウェブベース製品の画像における不均一性即ち、テクスチャを特徴付けるのに十分であると認められた画素強度の分散を使用して、比較的極度の欠陥性の場合を区別する。更に、画素分散の算出は、比較的計算コストが低く、このことは訓練画像の非常に大きいセットに有利であり得る。上記に概略した共分散行列記述子の場合、画素強度分散は、行列CIの左上の要素内に与えられ、したがって更なる算出は不要である。この例では、サブセットの選択における第1の工程は、最も高い分散を有するN1画像を識別することである54。これらは、データ35内の最も欠陥の多い画像N1にほぼ対応する。サブセットはセット全体の代表であることも重要であるため、評価ツール37は、残りのセットからN2画像も無作為に選択する。このN1N2画像のセットは、初期サブセットS0図3でサブセット0と示されるを含む。サイズN1及びN2は、ユーザにより選択される。加えて、評価ツール37は、未だS0に含まれていない、S0でよく表されない任意のアウトライアーを含むようにサブセットを生成する56。上述した距離関数eq.4を使用して、S0内に含まれない残りの各画像を処理して、フィーチャ空間内におけるそのk最近隣kNNsを識別する。用語フィーチャ空間は、上記のeq.1に規定されたフィーチャベクトル等のフィーチャベクトルの次元により規定される多次元空間を指す。そのkNNsの全部に対する距離が、閾値Tdよりも大きい場合、画像はアウトライアーと考慮される。パラメータk及びTdはエキスパート38により構成されてもよいが、デフォルト値を使用してもよい。このことはエキスパート38が異なる値を試み、結果を視認することを可能にする。デフォルト値の例は、例えば、k=5及びTd=1.0であってもよい。評価ツール37は、この方法で選択された任意のアウトライアーを、以前選択されたN1N2画像に追加して、完全なサブセットS1図1でサブセット1と示されるを形成する。訓練画像の代表的なサブセットS1を選択した後、評価ツール37は、そのサブセットにクラスタリングアルゴリズムを適用して、サブセットS1内の画像から比較的類似する画像の小グループを形成する60。評価ツール37はクラスターを形成して訓練データセットのより直感的視覚化を提示し、エキスパート38の探索をより容易にする。一例において、評価ツール37はボトムアップ型bottomup凝集クラスタリングアルゴリズムを適用して、それらの共分散行列記述子に従って、画像クラスターをサブセットS1内に形成する。このプロセスでは、各画像は当初別個のクラスターとして処理され、以前確立されたクラスターを使用して、連続的なクラスターが識別される。例えば、4を使用して算出された画像間距離に基づいて、評価ツール37は、訓練データ間の階層的な相互関係interrelationshipを封入する凝集型階層的関連ツリーを形成する。評価ツリーは所定の地点でプロセスを終了して即ち、関連ツリーを中断して、エキスパート38により特定される、設定された数のクラスターNcを生成する。凝集型階層的クラスタリングに関する更なる情報は、W.H.E.DayandH.Edelsbrunner,EfficientAlgorithmsforAgglomerativeHierarchicalClusteringMethodsJournalofClassification,vol.1,no.1,pp.7~24,1984に見出すことができる。多数のクラスター例えば、いくつかの場合では、数百が存在し得るため、評価ツール37はまた、最も類似するグループが互いに直近して表示されるように、クラスターを互いに関連して順序付ける。これは評価ツール37が、この場合はクラスター自体の間の関係を封入する第2の凝集型階層的関連ツリーを形成することにより達成される。それ故、クラスターの順序付けは、第2のツリーの最下レベルリーフノードを観察することにより得ることができる。第2の階層的関連ツリーを形成するために、評価ツリー37は画像クラスターを対で解析し、各クラスター対の間の対的なpairwiseクラスター間距離を算出する。クラスターのそれぞれの間のクラスター間距離を使用して、第2の関連ツリーを形成する。一例では、評価ツリー37は、2つのクラスター内の画像の間の個々の距離の中央値として、2つのクラスターの間の距離を算出する。評価ツール37は、第2のツリーのリーフノードの配置を用いて、画像クラスターの表示を調整し、それによって最も類似する画像クラスターを互いに空間的に直近して表示する。これはエキスパート38が、訓練データ中に存在し、かつ訓練データにより表される欠陥を理解することを援助する。いくつかの代表的な実施形態では、関連ツリーの開発により訓練画像をクラスタリングした後、評価ツール37はユーザインターフェースを提示し、エキスパートはそのインターフェースによって、クラスターを視覚化し、クラスタリングが視覚的に許容できない場合に画像を再割り当てする機会を与えられる62。次に、ユーザは、各画像を独立して標識するのとは対照的に、画像のクラスターのそれぞれにエキスパート評価を割り当て64、そして評価ツール37が更なるユーザ交流を必要とせずにこれらエキスパート評価を残りの画像のセットに伝播し、かくしてデータセット全体に関するエキスパート評価をもたらす66。即ち、評価ツール37は、明細書に記載したアルゴリズムを適用して、訓練画像のデータセット全体にエキスパート評価を自動的に割り当てる。換言すれば、エキスパート38は、評価ツール37により提供されるユーザインターフェースを使用して、識別された各欠陥クラスにおけるサブセットS1内の全部又はいくつかの画像クラスターにエキスパート評価を割り当てることのみを必要とする。評価ツール37は、サブセットS1内に含まれない非標識画像を含む、残りの非標識画像にエキスパート評価を自動的に伝播する。各非標識画像Iuに関して、評価ツール37は、この画像から各標識画像Il即ち、エキスパート評価が割り当てられているサブセットS1内の各画像への対距離を、距離関数eq.4を使用して算出する。次に、これらの距離をに従って、対的アフィニティーwiseaffinityに変換する式中、帯域幅パラメータσは、距離上で機能するヒューリスティックに従って選択されるこれらのアフィニティーは、重量に正規化される。量は、フィーチャ空間を通して酔歩において画像Iuから画像Ilへ移行する確率に対応し、wは、のように正規化される。最後に、画像Iuが、この欠陥クラスにおけるエキスパート評価eに属する確率が、のように算出される式中、は指示関数であり、したがって、標識画像が、この欠陥クラスにおけるエキスパート評価eに割り当てられた場合、であり、そうでない場合、ゼロである。帰属の確率peIuを、可能な各エキスパート評価eに関して算出し、最も高い確率を有するものを非標識画像Iuのエキスパート評価として選択する。評価ツール37は、各欠陥クラスにおいて、このプロセスを反復し、非標識画像の全部に関して反復される。標識伝播に関する更なる例示的な情報は、その全内容が参照により本明細書に組み込まれるX.ZhuandZ.Ghahramani,LearningfromLabeledandUnlabeledDatawithLabelPropagation。CMUCALDTechnicalReportCMU-CALD-02-107,2002に見出すことができる。再び図3を参照すると、いくつかの代表的な実施形態では、エキスパート38が画像の各クラスターにエキスパート評価を割り当て、残りの画像に標識が自動的に伝播された後、評価ツール37は、エキスパートが訓練データ35を探索し、必要であれば標識割り当てを調整して68、訓練データ35のセット全体に関するエキスパート評価を最終的に生成することを可能にする。この方法で、評価ツール37は、自動的サブセット選択と、続く訓練データ35内の画像のより大きいセットに対するエキスパート評価の伝播との機能性を提供する。その結果、評価ツール37は、画像が有意な余剰を含み得る場合であっても、エキスパート38が容易に操作し、大きいデータセット例えば、ほぼ何万もの画像に評価を割り当てることを可能にし得る。図4は、評価ツール37のユーザインターフェースにより提示される例示的なウィンドウ80の図であり、エキスパート38は、このインターフェースによって、クラスタリングプロセスを調整するパラメータを設定する。この例では、ウィンドウ80は入力機構を含み、エキスパート38はこの機構によって、訓練画像のディレクトリー、訓練画像のフォーマット、結果を出力するためのディレクトリー、及び評価ツールが画像の新たなクラスタリングを行う必要があるか、又は読取りが以前のクラスタリングプロセスからの入力結果であるかを示す選択を特定する。加えて、エキスパート38は、クラスタリングプロセスを調整する所定のパラメータを特定することができる。詳細には、ウィンドウ80は、評価ツール37が訓練画像を組織化するクラスターの数を特定するための入力フィールドを含む。上述したように、評価ツール37は、ユーザにより特定された所望の数のクラスターを使用して、特定の数のクラスターに一致し又は該数を超えるいくつかのリーフノードを有するように第1の関連ツリーを生成する際にクラスタリングプロセスを中断する。加えて、エキスパート38は、訓練データ35が大きいデータセットであり、評価ツール37が本明細書に記載したクラスタリングのための画像の代表的なサブセットを自動的に識別する必要があるか否かを特定し得る。この場合、エキスパート38は、代表的なサブセットS0のサイズ、即ち、含ませる最も高い分散を有する画像の数N1図4の150と、残りの画像から無作為に選択するための画像の数N2図4の50とを調整するためのパラメータも特定し得る。このN1N2画像のセットは、初期サブセットS0を含む。加えて、エキスパート38は、評価ツール37が代表的なセットS1内にアウトライアーを含むか否かを特定し得、もしそうであれば、各画像のフィーチャ空間内を検査するための最近隣の数kkNNs図4の5と、画像をアウトライアーとして特徴付けるための閾値Td図4の1.0とを特定し得る。図5は、クラスタリング操作の結果を表示する、評価ツール37により提示されるクラスター視認ウィンドウ90の一例の図である。理解し得るように、2つの別個のパネル91A、91B内に画像クラスターが視覚的に表示されており、ユーザはこのパネル91A、91Bを介して、埋め込まれたハイパーリンクを使用してクラスターをナビゲート及び探索することができる。左側のパネル91Aは、各クラスター92A~92Nからの単一の代表的な重心画像を表示することによって、クラスタリング結果の高いレベルの外観を提供する。各クラスターに関して、パネル91Aは代表的な画像、クラスターに関連した識別子を表示し、そのクラスターに割り当てられた画像の数を括弧内に示す。例えば、クラスター92Aは、識別子10を有し、3つの画像がこのクラスターに割り当てられている。評価ツール37は、上述した第2の凝集型階層的関連ツリーに従って、クラスター94A~94Nをスクロール可能なパネル91A内に配置し、したがって、類似した画像を含むクラスターは、パネル内にて互いに直近して位置づけられる。換言すれば、評価ツール37は、第2の凝集型階層的関連ツリーのリーフノードに従って、クラスターをスクロール可能なパネル91A内に配置し得る。より詳細に探索するために、エキスパート38は次に、任意のクラスター92の代表的な画像又は識別子を選択例えば、その上をクリックして、その中に含まれる画像を右側パネル91B内で視認することができる。図5の例では、エキスパート38は、検査のためにクラスター92A即ち、識別子10を有するクラスターを選択している。この例では、パネル91Bは、クラスターに割り当てられた3つの画像を示し、全部が互いに強い類似性を有し、そのクラスタリングアルゴリズムがそれらを適切にグループ分けしたことを示す。パネル91Aにより提示されるようなサブセットS1内の画像のグループ分け及び順序付けにより、エキスパート28は、クラスタリングされた訓練データ35を非常に直感的に探索することができる。これは、手動での検査と標識割り当てのために画像の大きい未組織化集合がユーザに単に提示され得る他の技術を越える利点を有し得る。本明細書に記載されるクラスタリング及び視覚化の能力は、エキスパート38のデータ探索の仕事を簡素化し、代表的な訓練データ中に存在する欠陥のタイプをエキスパートが迅速に識別することを可能にし得る。図5に示すように、クラスター視認ウィンドウ90は入力領域96を含み、エキスパート38はこの入力領域96によって個々の画像のクラスター割り当てを変更するよう交流し、また画像を異なるクラスター又は新たなクラスターのいずれかに移動する能力を含む。加えて、入力領域98は、ユーザがクラスター自体と交流することを可能にし、それには2つのクラスターを合併する能力と、クラスターを表示順の異なる位置に物理的に移動する能力と、が含まれる。評価ツール37は、クラスター視認ウィンドウ90内のディスプレーパネル91A、91Bをリアルタイムで自動的に更新して、クラスター割り当てに為された変化を反映する。このように、評価ツール37は、訓練データ35内の代表的な画像の任意のタイプのグループ分け又は割り当てに関する最終的な決定権をエキスパート38が有することを可能にする方法で使用され得る。これは、クラスタリング及び順序付け操作の最終的な目的が、訓練データの視覚化及び評価の能力を高めることであるため、視覚化の面での柔軟性の追加の手段も提供する。加えて、クラスター視認ウィンドウ90は、訓練データ35内に存在する欠陥クラスの数を規定するための入力領域100を含む。クラスター視認ウィンドウ90は、エキスパート評価を画像に割り当てるための入力領域104も含む。入力領域100、102のそれぞれは、以下に更に詳細に論じられる。所定の代表的な実施形態では、評価ソフトウェアをユーザインターフェースに提供して、代表的な訓練画像内に存在する欠陥の1つ以上のクラスを特定する、ユーザからの入力を受信することが望ましい場合がある。1つの例示的なユーザインターフェースを図6に示す。図6は、視認ウィンドウ90の入力領域100を更に詳細に示す。この例では、エキスパート38は、クラスター視認ウィンドウ90を介した、クラスタリングされた訓練データ35の検査及び探索に基づいて、訓練データ中に3つの欠陥クラスが存在することを示している。図7に示すように、エキスパート38が欠陥クラスの数を設定した後、クラスター視認ウィンドウ90は、同一位置に別のメニュー102を提示して、ユーザが欠陥クラスの名称を入れることを可能にし、このことは、それらを識別する有意義な方法を提供する。図7の例では、エキスパート38は、訓練データ35内で識別された欠陥クラスの3つのタイプに、びびり模様、まだら及び筋の名称を入れている。クラスター視認ウィンドウ90内のディスプレーパネル91A、91Bは、エキスパート38が入力領域100及びメニュー102と交流する間、開放された状態のままであり、したがってエキスパートは、代表的な訓練データに関する欠陥クラスの数を割り当て、欠陥クラスのそれぞれに名称を割り当てる一方、クラスタリングされた訓練データをナビゲートし及び視覚化するオプションを尚、有している。図8は、訓練データ35の代表的なサブセットS1内の画像クラスターにエキスパート評価標識を割り当てるための、クラスター視認ウィンドウ90の入力領域104を示す。エキスパート38が入力領域100及びメニュー102と交流して、データ中に存在する欠陥クラスの数及び名称を割り当てた後、評価ツール37は、エキスパートが入力領域104と交流して訓練データ35の画像にエキスパート評価を割り当てることを可能にする。この仕事を多大に簡素化するために、評価ツール37は、非常に単調で退屈であり、かつ間違いやすい可能性がある、エキスパート38による個々の画像に対する標識の必要性の代わりに、クラスター全体に対する評価標識の割り当てを可能にする。加えて、エキスパート38は、いずれのクラスターも標識しないオプションを有する。続く処理において、サブセットS1内に含まれない残りの画像に標識が伝播された際、標識は、標識されていない任意のクラスター内の画像にも伝播される。図6から理解し得るように、クラスター視認ウィンドウ90は、エキスパート38がクラスター内の全欠陥クラスを同時に標識することを可能にする。例えば、図6において、エキスパート38は特定された標識5、1を有し、1は、訓練データのクラスター13内の欠陥びびり模様、まだら及び筋である。更に、一例において、評価ツール37は、割り当てられ得るエキスパート評価のタイプに関して制限を与えない。標識は、本明細書に示す1及び5標識等の数値であってもよく、又はテキストの許容可能及び拒絶標識であってもよい。クラスターにエキスパート評価が割り当てられた後、パネルディスプレー91はリアルタイムで更新されて、これらの変化を反映する。図9は、評価ツール37により提示される最後のエキスパート評価視認ウィンドウ110の図であり、エキスパート38はこのウィンドウを使用して、各欠陥クラスにおけるエキスパート評価を視覚化及び変更することができる。エキスパート評価視認ウィンドウ110は、全画像に関する最終的なエキスパート評価標識を表示する。図9に示すように、エキスパート評価視認ウィンドウ110は、隣り合った2つのHTMLディスプレーパネル112、114を含み、ユーザはこのHTMLディスプレーパネル112、114を介して、埋め込まれたハイパーリンクを使用して、ページを通してナビゲートすることによって結果を視覚化することができる。エキスパート評価視認ウィンドウ110は、左側に、エキスパート評価を変更するためのメニューオプション120も含む。視覚化の面で、エキスパート評価視認ウィンドウ110は、直感的であり、またエキスパート38又は他のユーザが容易に理解できるやり方で、標識プロセスの結果を表示する。一例として、エキスパート評価視認ウィンドウ110は、各欠陥クラスに関する結果を別個のHTMLページに表示する。各欠陥クラスにおいて、可能な各エキスパート評価を有する画像が、その欠陥クラスのためのHTMLページの別個の部分としてパネル114内に示される。例えば、図9に示すように、HTMLパネル112は、欠陥クラスを列挙している。欠陥クラスの1つを選択すると、HTMLパネル114は、可能な各エキスパート評価に関する画像を示す。これによりエキスパート38は、画像に割り当てられたその欠陥の異なる標識に基づいて、クラスター非依存的な方法で、欠陥を視認することができる。図9の例では、ソフトウェアツールは、ページ頂部の、標識1を受容した画像から開始して、欠陥クラス1びびり模様における結果を提示している。HTMLパネル114は、欠陥クラスに使用されている各標識と、その標識のために、該標識が割り当てられた各画像とをエキスパート38が検査できるように上下方向にスクロール可能である。ユーザがデータを理解する能力を更に向上させるために、評価ツール37は、所定の欠陥クラスにおける可能な各エキスパート評価内の画像を、類似する画像の比較的小さいグループにクラスタリングする別のクラスタリング操作を行う。評価ツール37は、現在選択された欠陥クラス例えば、欠陥クラス1びびり模様のためのHTMLパネル114を生成して、各クラスターの重心画像のみを示し、このことはディスプレー上に小さい、管理できる数の画像のみを保持することを助ける。例えば、びびり模様欠陥クラス内の標識1の場合、評価ツール37は重心画像116を表示するHTMLパネル114のみを生成している。エキスパート38は、各クラスターに関する重心画像をクリックして、そのクラスター内に含まれる全画像が表示されている別のHTMLページにナビゲートすることができる。HMTLパネル114を生成するためのクラスタリング操作に関連して、評価ツール37は、欠陥クラスの全部に関して、可能な各エキスパート評価内の別個のクラスタリング算出を行う。即ち、記載したように、各画像は、全欠陥クラスにおけるエキスパート評価を受信する。換言すれば、各欠陥クラスは全部の画像を含むが、画像は一般に、各欠陥クラスにおける可能なエキスパート評価の間で異なるように分配される。例えば、所定の画像は、欠陥クラスびびり模様においてエキスパート評価1を有し得るが、欠陥クラスまだらにおいてエキスパート評価5を有し得る。評価ツール37は、各欠陥クラスの各標識に関する独立した関連ツリーを算出するように、別個のクラスタリングを行う。一例として、評価ツール37は、エキスパート評価1を有する画像及びエキスパート評価5を有する画像に関して欠陥クラスびびり模様におけるクラスタリングを算出してもよく、他の欠陥クラスにおいても同様に算出してもよい。例示的な一実施形態では、クラスターは、以下のように算出される。欠陥クラスcにおけるエキスパート評価eを有する画像のセットは、と称される。セットは、初期サブセットS1からの画像と、エキスパート評価が伝播されてからの他の画像との両方から構成される。画像は、本発明者らが以前に標識した初期サブセットS1内に含まれていた、欠陥クラスcにおけるエキスパート評価eを有する画像を表す。S1内の画像は以前にクラスタリングされたため、内の各画像は、既にクラスターに割り当てられている。評価ツール37は、これらのクラスター割り当てを使用して、のクラスタリングを開始する。即ち、これはプロセスを開始するための初期クラスタリングとして用いられ、次に、これらのクラスターは、それらに新たな画像が連続的に追加されるときに変更される。内の各画像即ち、クラスター割り当てを未だ有さない画像の場合、その画像を、それが最も近い内のクラスターに割り当てる。この手順は、本発明者らの以前のクラスタリングS1を利用し、残りの画像を増分的にクラスタリングするため、各セットに関する新たなクラスタリングを全面的に算出するよりも効率的である。エキスパート評価視認ウィンドウ110は、画像名称を入れることによって任意の画像に関するエキスパート評価を変更するメニューオプション120も左側に含む。ユーザは、メニューオプション120を使用して、全欠陥クラスにおける画像の現在のエキスパート評価の視認と、必要であればそれらの変更との両方が可能である。本発明の様々な実施形態について説明してきた。これらの及び他の実施形態は、以下の特許請求の範囲に含まれる。"