(57)【特許請求の範囲】
【請求項１】
複数組の履歴プロセスデータおよび第１のプロセスデータを有し、前記複数組の履歴プロセスデータと前記第１のプロセスデータを基に第１のワークを生産する第１のプロセス装置と、
プロセスデータを用いてそれぞれ生産したワークの実測データである複数の履歴測定値と、前記第１のワークの第１の実測値とを測定する第１の測定装置と、
前記履歴プロセスデータおよび前記履歴測定値を収集し、バーチャル測定を行う第１の自動バーチャル測定サーバと、
前記履歴プロセスデータおよび前記履歴測定値を用いてバーチャル測定モデルを構築するモデル構築サーバであって、
前記バーチャル測定モデルは、
特定のワークのプロセスデータを用いて前記特定のワークのバーチャル測定値を生成させるために用いる推定モデルであって、ニューラルネットワーク（ＮＮ）アルゴリズム、重回帰（ＭＲ）アルゴリズムまたはサポートベクターマシン（ＳＶＭ）アルゴリズムである推定アルゴリズムを基に構築される推定モデルと、
前記特定のワークの前記プロセスデータの品質を評価するために用いられるＤＱＩＸ値を計算するために用いるＤＱＩＸ（プロセスデータ品質インデックス）モデルであって、主成分分析（ＰＣＡ）およびユークリッド距離（ＥＤ）アルゴリズムを基に構築されるＤＱＩＸモデルと、
を含み、
当該バーチャル測定モデルを構築するモデル構築サーバと、
第２のプロセスデータを基に第２のワークを生産する第２のプロセス装置と、
前記第２のワークの第２の実測値を測定する第２の測定装置と、
前記第２のワークの第２のバーチャル測定値および前記第２のバーチャル測定値に付随するＤＱＩＸ値を得るために前記バーチャル測定モデルを用いて前記第２のワークのバーチャル測定を行う第２の自動バーチャル測定サーバと、を含み、
前記第１の自動バーチャル測定サーバは、前記第１のワークの第１のバーチャル測定値を得るために前記バーチャル測定モデルを用いて前記第１のワークのバーチャル測定を行い、
前記第２の自動バーチャル測定サーバを用いて前記バーチャル測定モデルの再訓練または調整を行い、前記第２のプロセスデータおよび前記第２の実測値を用いて前記履歴プロセスデータおよび前記履歴測定値の中の最も古いデータを替えることを特徴とする自動バーチャル測定のシステム。
【請求項２】
前記バーチャル測定モデルは、
ＲＩモデルと、ＧＳＩモデルと、ＤＱＩｙモデルと、を含み、
前記ＲＩモデルは、前記特定のワークの前記バーチャル測定値のＲＩ値を生成させるＲＩモデルであり、前記推定アルゴリズムと異なり、重回帰アルゴリズム、ニューラルネットワークアルゴリズムまたはサポートベクターマシンアルゴリズムである参考アルゴリズムを基に構築され、前記特定のワークの前記バーチャル測定値の統計分布と、前記参考アルゴリズムに基づいて前記特定のワークのプロセスデータから生成されたＲＩ値の統計分布と、の間のオーバーラップ領域を計算し、
生成された前記バーチャル測定値の前記ＲＩ値は、前記オーバーラップ領域が大きくなるに従い大きくなり、これは前記ＲＩ値に対応した前記バーチャル測定値の信頼レベルが高いことを表し、
前記ＧＳＩモデルは、マハラノビス距離アルゴリズムを基に構築され、前記バーチャル測定モデルの構築または訓練のために用いられ、前記プロセスデータのＧＳＩ値を計算し、
前記ＧＳＩ値は、全てのプロセスデータと前記特定のワークの前記プロセスデータとの間の類似度として定義され、
前記ＤＱＩｙモデルは、適応共鳴理論であるＡＲＴ２および標準化変数であるＮＶを基に構築され、前記特定のワークの実測値のＤＱＩｙ値を計算し
前記ＤＱＩｙ値は前記特定のワークの実測値の品質を評価するのに用いられ、
前記第２の自動バーチャル測定サーバは、前記バーチャル測定モデルを用いて付随する前記第２のバーチャル測定値のＲＩ値、ＧＳＩ値およびＤＱＩｙ値を得るのに用いられること、を特徴とする請求項１に記載の自動バーチャル測定のシステム。
【請求項３】
前記第１の自動バーチャル測定サーバは、
前記第１の自動バーチャル測定サーバの中のそれぞれのモジュールの状態を監視し、２段階バーチャル測定アルゴリズムを基に各モジュールの操作手順を制御する管理カーネルと、
前記ＤＱＩｘモデルおよび前記ＤＱＩｙモデルを用いて、前記第１のプロセスデータおよび前記第１の実測値の品質を評価するデータ前処理モジュールと、
プラグ着脱可能ドライバインターフェースであるＰＤＩと、
前記履歴プロセスデータ、前記履歴測定値、前記第１のプロセスデータおよび前記第１の実測値を収集するために前記ＰＤＩに接続され、収集された前記第１のプロセスデータおよび前記第１の実測値が、前記ＰＤＩを介して前記データ前処理モジュールに提供されるデータ収集ドライバと、
プラグ着脱可能アプリケーションインターフェースであるＰＡＩと、
前記ＰＡＩに接続されて前記バーチャル測定モデルを記憶するバーチャル測定モデル記憶モジュールと、
プラグ着脱可能通信インターフェースであるＰＣＩと、
前記ＰＣＩと接続され、前記モデル構築サーバと通信を行うコミュニケーションエージェントと、を含むことを特徴とする請求項２に記載の自動バーチャル測定のシステム。
【請求項４】
前記第２の自動バーチャル測定サーバは、
前記第２の自動バーチャル測定サーバの中のそれぞれのモジュールの状態を監視し、２段階バーチャル測定アルゴリズムを基に各モジュールの操作手順を制御する管理カーネルと、
前記ＤＱＩｘモデルおよび前記ＤＱＩｙモデルを用いて、前記第２のプロセスデータおよび前記第２の実測値の品質を評価するデータ前処理モジュールと、
プラグ着脱可能ドライバインターフェースであるＰＤＩと、
前記第２のプロセスデータ、前記第２の実測値を収集するために前記ＰＤＩに接続され、収集された前記第２のプロセスデータおよび前記第２の実測値が、前記ＰＤＩを介して前記データ前処理モジュールに提供されるデータ収集ドライバと、
プラグ着脱可能アプリケーションインターフェースであるＰＡＩと、
前記ＰＡＩに接続されて前記バーチャル測定モデルを記憶するバーチャル測定モデル記憶モジュールと、
プラグ着脱可能通信インターフェースであるＰＣＩと、
前記ＰＣＩと接続され、前記モデル構築サーバと通信を行うコミュニケーションエージェントと、を含むことを特徴とする請求項２に記載の自動バーチャル測定のシステム。
【請求項５】
前記第１の自動バーチャル測定サーバは、前記第１のプロセスデータおよび前記第１の実測値を用いて前記履歴プロセスデータおよび前記履歴測定値の中の最も古いデータを代替し、前記バーチャル測定モデルの再訓練または調整を行うことを特徴とする請求項１に記載の自動バーチャル測定のシステム。
【請求項６】
前記第１のプロセス装置と前記第２のプロセス装置とは種類が同じであることを特徴とする請求項１に記載の自動バーチャル測定のシステム。
【請求項７】
モデル構築サーバによって、複数組の履歴プロセスデータと、前記複数組の履歴プロセスデータを用いて生成されたそれぞれのワークの実測値である複数の履歴測定値とを用いて第１のバーチャル測定モデルを構築するモデル構築ステップと、
自動バーチャル測定サーバによって、プロセス装置からのワークの第１のプロセスデータを収集するステップと、
前記プロセス装置からの前記ワークの第１のプロセスデータを収集した後に、前記自動バーチャル測定サーバによって迅速に行われる第１段階バーチャル測定ステップであって、前記ワークの第１のＤＱＩＸ値を計算するためにＤＱＩＸモデルへ前記第１のプロセスデータを入力し、前記第１のＤＱＩＸ値が前記第１のプロセスデータの品質閾値よりも大きいか否かをチェックすることにより第１のチェック結果を得て、前記第１のチェック結果が否のときに、前記第１のバーチャル測定モデルへ前記第１のプロセスデータを入力することにより前記ワークの第１段階バーチャル測定値（ＶＭＩ）を計算する、第１段階バーチャル測定ステップと、
前記ワークの第１の実測値が得られた後に、前記自動バーチャル測定サーバによって行われる第２段階バーチャル測定ステップであって、初期値が「真」に設定されたモデルリフレッシュの指示を与えるステップと、前記モデルリフレッシュの指示が「真」であるときに行う再訓練が行われたか否かを判断する再訓練決定ステップとを含む、第２段階バーチャル測定ステップと、
前記再訓練により得られる第２のバーチャル測定モデルにより前記第１のバーチャル測定モデルを代替し、後続的に前記プロセス装置に入る他のワークの他の第１段階バーチャル測定値を計算するステップと、
を含む自動バーチャル測定の方法であって、
前記第１のバーチャル測定モデルは、
特定のワークのプロセスデータを用いて前記特定のワークのバーチャル測定値を生成させるために用いる推定モデルであって、ニューラルネットワーク（ＮＮ）アルゴリズム、重回帰アルゴリズムまたはサポートベクターマシン（ＳＶＭ）アルゴリズムである推定アルゴリズムを基に構築された推定モデルと、
前記特定のワークの前記プロセスデータの品質を評価するために用いられるＤＱＩＸ値を計算するために用いるＤＱＩＸモデルであって、主成分分析（ＰＣＡ）およびユークリッド距離（ＥＤ）アルゴリズムを基に構築され、前記ＤＱＩＸ値は前記プロセスデータの品質を評価するのに用いられるＤＱＩＸモデルと、
を含み、
前記モデル構築ステップはさらに、第１のプロセスデータ品質閾値を計算するために、クロスバリデーションのＬＯＯ方法を基に前記履歴プロセスデータを前記ＤＱＩＸモデルに応用することを含み、
前記再訓練は、前記第１のプロセスデータおよび前記第１の実測値を用いて前記第２のバーチャル測定モデルを得るために前記第１のバーチャル測定モデルの再訓練または調整を行い、前記履歴プロセスデータおよび前記履歴測定値の中の最も古いデータを代替し、
前記第２のバーチャル測定モデルのモデル種類および構築方法は、前記第１のバーチャル測定モデルと同じであることを特徴とする自動バーチャル測定の方法。
【請求項８】
前記第１のバーチャル測定モデルは、ＲＩモデルと、ＧＳＩモデルとを含み、
前記ＲＩモデルは、前記特定のワークの前記バーチャル測定値のＲＩ値を生成させるＲＩモデルであり、前記推定アルゴリズムと異なり、重回帰アルゴリズム、ニューラルネットワークアルゴリズムまたはサポートベクターマシンアルゴリズムである参考アルゴリズムを基に構築される参考予測モデルを含み、前記特定のワークの前記バーチャル測定値の統計分布と、前記参考アルゴリズムに基づいて前記特定のワークのプロセスデータから生成されたＲＩ値の統計分布と、の間のオーバーラップ領域を計算し、
生成された前記バーチャル測定値の前記ＲＩ値は、前記オーバーラップ領域が大きくなるに従い大きくなり、これは前記ＲＩ値に対応した前記バーチャル測定値の信頼レベルが高いことを表し、
前記ＧＳＩモデルは、マハラノビス距離アルゴリズムを基に構築され、前記第１のバーチャル測定モデルの構築または訓練のために用いられ、前記特定のワークのプロセスデータのＧＳＩ値を計算し、
前記ＧＳＩ値は、前記全てのプロセスデータと前記特定のワークのプロセスデータとの間の類似度として定義され、
前記モデル構築ステップは、
前記履歴プロセスデータおよび前記対応した履歴測定値を応用し、クロスバリデーションのＬＯＯ方法により推定モデル、ＲＩ（参考予測）モデルおよびＧＳＩモデルを再構築し、前記履歴プロセスデータそれぞれのバーチャル測定推定誤差、ＲＩ（参考予測）誤差およびＧＳＩ値をそれぞれ計算し、バーチャル測定推定のリフレッシュ閾値、ＲＩ（参考予測）のリフレッシュ閾値およびＧＳＩのリフレッシュ閾値を計算するステップと、をさらに含み、
前記第１段階バーチャル測定ステップは、
前記第１のプロセスデータを前記第１のバーチャル測定モデルの中の前記ＲＩ（参考予測）モデルおよび前記ＧＳＩモデルへ入力し、前記ワークの第１段階ＲＩ（参考予測）値および第１段階ＧＳＩ値を計算するステップと、をさらに含み、
前記第２段階バーチャル測定ステップは、
前記モデルリフレッシュの指示が「真」であるときに、前記プロセス装置に入る前記ワークと、それに前後した連続した複数のワークとを複数の連続したリフレッシュサンプルと定義するステップと、
第１のモデルリフレッシュ条件は、前記複数の連続したリフレッシュサンプルの前記第１段階バーチャル測定値の平均絶対誤差率がバーチャル測定推定のリフレッシュ閾値よりも小さいと定義するステップと、
第２のモデルリフレッシュ条件は、前記連続したリフレッシュサンプルの前記第１段階ＲＩ（参考予測）値の平均絶対誤差率が前記ＲＩ（参考予測）の前記リフレッシュ閾値よりも小さいと定義するステップと、
第３のモデルリフレッシュ条件は、前記連続したリフレッシュサンプルの前記第１段階ＧＳＩ値がＧＳＩのリフレッシュ閾値よりも小さいと定義するステップと、
前記第１のモデルリフレッシュ条件、前記第２のモデルリフレッシュ条件および前記第３のモデルリフレッシュ条件の全てが同時に満たされるときに判断結果を得て、モデルリフレッシュの指示は、判断結果が正の場合に「偽」に設定され、判断結果が否の場合に「真」に設定されるステップと、をさらに含むことを特徴とする請求項７に記載の自動バーチャル測定の方法。
【請求項９】
前記連続したリフレッシュサンプルの数は３であることを特徴とする請求項８に記載の自動バーチャル測定の方法。
【請求項１０】
前記モデル構築ステップは、
前記プロセス装置からの前記履歴プロセスデータの収集を自動バーチャル測定サーバに指示するステップと、
測定装置からの前記履歴測定値の収集を自動バーチャル測定サーバに指示するステップと、を含み、
前記履歴プロセスデータおよび前記履歴測定値は、同じワークと関連することを特徴とする請求項７に記載の自動バーチャル測定の方法。
【請求項１１】
前記第２段階バーチャル測定ステップは、
前記第２のバーチャル測定モデルを応用し、前記ワークが属するカセット中の全てのワークの第２段階バーチャル測定値（ＶＭＩＩ）のそれぞれを計算するステップをさらに含むことを特徴とする請求項７に記載の自動バーチャル測定の方法。
【請求項１２】
前記第１のバーチャル測定モデルは、ＲＩモデルをさらに含み、
前記ＲＩモデルは、バーチャル測定値の統計分布と、対応したＲＩ（参考予測）値の統計分布との間のオーバーラップ領域を計算し、前記バーチャル測定値のＲＩ値を生成し、前記ＲＩ値は、前記オーバーラップ領域が大きくなるに従い大きくなり、これは前記ＲＩ値に対応した前記バーチャル測定値の信頼レベルが高いことを表し、ＲＩ（参考予測）モデルは、参考アルゴリズムを基に構築され、前記参考アルゴリズムは、前記推定アルゴリズムと異なり、重回帰アルゴリズム、ニューラルネットワークアルゴリズムまたはサポートベクターマシンアルゴリズムであり、
第１段階推定ステップは、前記ＲＩモデルを用いて前記第１段階バーチャル測定値の前記ＲＩ値を計算するステップをさらに含み、
第２段階推定ステップは、前記ＲＩモデルを用いて前記第２段階バーチャル測定値の前記ＲＩ値を計算するステップをさらに含むことを特徴とする請求項１１に記載の自動バーチャル測定の方法。
【請求項１３】
前記第１のバーチャル測定モデルは、
前記特定のワークの実測値のＤＱＩｙ値を計算するＤＱＩｙモデルであって、前記ＤＱＩｙモデルは適応共鳴理論であるＡＲＴ２および標準化変数であるＮＶを基に構築され、前記ＤＱＩｙ値は前記実測値の品質の評価に用いられるＤＱＩｙモデルをさらに含み、
前記モデル構築ステップは、
前記履歴プロセスデータおよび前記対応した履歴測定値を最大許容変異の概念を基に、前記ＤＱＩｙモデルへ応用し、第１の測定データ品質閾値（
0004914457.tif 000228
）を計算するステップと、をさらに含み、
前記第２段階バーチャル測定ステップは、
前記再訓練決定ステップを行う前に、前記ＤＱＩｙモデルへ第１の実測値を入力し、前記ワークの第１のＤＱＩｙ値を計算するステップと、
前記第１のＤＱＩｙ値が前記第１の測定データ品質閾値よりも大きいか否かをチェックして第２のチェック結果を得て、前記第２のチェック結果が否のときに、前記再訓練決定ステップを行うステップと、をさらに含むことを特徴とする請求項７に記載の自動バーチャル測定の方法。
【請求項１４】
モデル構築サーバにより第１の自動バーチャル測定サーバに命令し、モデルを構築するために必要な複数の履歴測定値と、前記履歴測定値に対応した複数組の履歴プロセスデータを収集するステップと、
前記第１の自動バーチャル測定サーバを第１の測定装置に接続して前記履歴測定値を収集し、前記第１の自動バーチャル測定サーバを第１のプロセス装置に接続して前記履歴プロセスデータを収集するステップであって、前記履歴測定値は前記履歴プロセスデータを用いて測定されたそれぞれのワークの実測値であるステップと、
前記第１の自動バーチャル測定サーバにより、前記履歴プロセスデータと履歴測定値との間の相関性をチェックするステップと、
前記第１の自動バーチャル測定サーバにより、相関に成功した測定値およびプロセスデータの全てを前記モデル構築サーバへ送るステップと、
前記モデル構築サーバによりモデルの構築に必要なデータにデータ前処理ステップを行い、異常な前記履歴プロセスデータおよび前記履歴測定値を除去するステップと、
前記モデル構築サーバによりＤＱＩｘモデルおよびＤＱＩｙモデルを構築し、前記ＤＱＩｘモデルは、ワークを製造する前記プロセスデータのそれぞれのＤＱＩｘ値を計算し、前記ＤＱＩｘモデルは、主成分分析およびユークリッド距離アルゴリズムを基に構築され、前記ＤＱＩｙモデルは、第１の実測値のＤＱＩｙ値を計算し、前記ＤＱＩｙモデルは、ＡＲＴ２およびＮＶを基に構築するステップであって、前記ＤＱＩｘ値は第１のプロセスデータの品質を評価するのに用いられ、前記ＤＱＩｙ値は前記第１の実測値の品質を評価するのに用いられるステップと、
前記モデル構築サーバにより、前記ＤＱＩｘモデルおよび前記ＤＱＩｙモデルを応用してデータ選別ステップを行い、モデルの構築に必要な十分に関連した前記履歴プロセスデータおよび前記履歴測定値を選択するステップと、
前記モデル構築サーバにより、関連した前記履歴プロセスデータおよび前記履歴測定値を応用し、バーチャル測定モデルを構築するステップと、
前記バーチャル測定モデルは、前記ＤＱＩｘモデル、前記ＤＱＩｙモデル、推定モデル、ＲＩモデルおよびＧＳＩモデルを含み、
前記推定モデルは、推定アルゴリズムを基に構築し、前記推定アルゴリズムは、ニューラルネットワークアルゴリズム、重回帰アルゴリズムまたはサポートベクターマシンアルゴリズムであり、
前記ＲＩモデルは、ワークのそれぞれのＲＩ値を生成させるＲＩモデルであり、推定アルゴリズムと異なり、重回帰アルゴリズム、ニューラルネットワークアルゴリズムまたはサポートベクターマシンアルゴリズムである参考アルゴリズムを基に構築され、前記参考アルゴリズムに基づいて特定のワークのプロセスデータから生成されたＲＩ値の統計分布と、の間のオーバーラップ領域を計算し、
生成されたバーチャル測定値の前記ＲＩ値は、前記オーバーラップ領域が大きくなるに従い大きくなり、これは前記ＲＩ値に対応した前記バーチャル測定値の信頼レベルが高いことを表し、
前記ＧＳＩモデルは、マハラノビス距離アルゴリズムを基に構築され、第１のバーチャル測定モデルの構築または訓練のために用いられ、前記プロセスデータのそれぞれのＧＳＩ値を計算し、
ＧＳＩ値は前記全てのプロセスデータと、前記特定のワークのプロセスデータとの間の類似度として定義され、
前記モデル構築サーバによって前記第１の自動バーチャル測定サーバおよび第２の自動バーチャル測定サーバへ第１のバーチャル測定モデルを移植し、前記第１のプロセス装置および第２のプロセス装置により製造されたワークにバーチャル測定を行うステップと、
前記第１の自動バーチャル測定サーバおよび前記第２の自動バーチャル測定サーバのそれぞれによって、前記第１の自動バーチャル測定サーバおよび前記第２の自動バーチャル測定サーバの中の各前記第１のバーチャル測定モデルにモデルリフレッシュ手続を行うステップと、
前記モデルリフレッシュ手続が完了した後、前記第１の自動バーチャル測定サーバおよび前記第２の自動バーチャル測定サーバによりバーチャル測定サービスを提供するステップと、を含むことを特徴とする自動バーチャル測定の方法。
【請求項１５】
前記モデルリフレッシュ手続は、
再訓練ステップを行い、新たに収集したプロセスデータおよび対応した実測値を用いて前記履歴プロセスデータおよび前記履歴測定値の中の最も古いデータを代替し、前記第１のバーチャル測定モデルと種類および構築方法が同じ第２のバーチャル測定モデルを得るために前記第１のバーチャル測定モデルを再構築するステップと、
前記第２のバーチャル測定モデルにより前記第１のバーチャル測定モデルを代替し、後続のバーチャル測定サービスを提供するステップと、をさらに含むことを特徴とする請求項１４に記載の自動バーチャル測定の方法。
【請求項１６】
前記モデル構築サーバによって前記履歴プロセスデータおよび前記履歴測定値を応用し、クロスバリデーションのＬＯＯ方法に基づいて推定モデル、ＲＩ（参考予測）モデルおよびＧＳＩモデルを再構築し、前記履歴プロセスデータそれぞれのバーチャル測定推定誤差、ＲＩ（参考予測）誤差およびＧＳＩ値をそれぞれ計算し、バーチャル測定推定のリフレッシュ閾値、ＲＩ（参考予測）のリフレッシュ閾値およびＧＳＩのリフレッシュ閾値を計算するステップと、
前記第１の自動バーチャル測定サーバおよび前記第２の自動バーチャル測定サーバのそれぞれによって、新たに収集されたプロセスデータを前記第１のバーチャル測定モデルの中の前記推定モデル、前記ＲＩ（参考予測）モデルおよび前記ＧＳＩモデルへ入力し、第１段階推定値、第１段階ＲＩ（参考予測）値および第１段階ＧＳＩ値を計算するステップと、
前記第１の自動バーチャル測定サーバおよび前記第２の自動バーチャル測定サーバのそれぞれによって、前記第１のプロセス装置に入るワークと、それに前後した複数の連続したワークとを複数の連続したリフレッシュサンプルと定義するステップと、
前記第１の自動バーチャル測定サーバおよび前記第２の自動バーチャル測定サーバのそれぞれによって、第１のモデルリフレッシュ条件は、前記連続したリフレッシュサンプルの第１段階バーチャル測定値の平均絶対誤差率が前記バーチャル測定推定のリフレッシュ閾値よりも小さいと定義するステップと、
前記第１の自動バーチャル測定サーバおよび前記第２の自動バーチャル測定サーバのそれぞれによって、第２のモデルリフレッシュ条件は、前記連続したリフレッシュサンプルの第１段階ＲＩ（参考予測）値の平均絶対誤差率が前記ＲＩ（参考予測）のリフレッシュ閾値よりも小さいと定義するステップと、
前記第１の自動バーチャル測定サーバおよび前記第２の自動バーチャル測定サーバのそれぞれによって、第３のモデルリフレッシュ条件は、前記連続したリフレッシュサンプルの前記第１段階ＧＳＩ値が前記ＧＳＩのリフレッシュ閾値よりも小さいと定義するステップと、
前記第１の自動バーチャル測定サーバおよび前記第２の自動バーチャル測定サーバのそれぞれによって、前記第１のモデルリフレッシュ条件、前記第２のモデルリフレッシュ条件および前記第３のモデルリフレッシュ条件の全てが同時に達成されると判断結果を得て、判断結果が正の場合、前記モデルリフレッシュ手続を完了させるステップと、をさらに含むことを特徴とする請求項１４に記載の自動バーチャル測定の方法。
【請求項１７】
前記連続したリフレッシュサンプルの数は３であることを特徴とする請求項１６に記載の自動バーチャル測定の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、バーチャル測定（Ｖｉｒｔｕａｌ  Ｍｅｔｒｏｌｏｇｙ：ＶＭ）のシステムおよびその方法に関する。特に、ある種類の装置の全部のバーチャル測定モデルを同じ種類の他の装置へファンアウトまたは移植し、バーチャル測定の精度を確保することが可能な自動バーチャル測定（Ａｕｔｏｍａｔｉｃ  Ｖｉｒｔｕａｌ  Ｍｅｔｒｏｌｏｇｙ：ＡＶＭ）のシステムおよびその方法に関する。
【背景技術】
【０００２】
半導体およびＴＦＴ産業では、製造装置のプロセス安定性および収率の向上を達成するために、生産装置で処理される各ワーク（例えば、ＩＣファウンダリのウェーハまたはＴＦＴ−ＬＣＤ工場のガラス）にオンライン品質管理を行う必要があった。バーチャル測定は、ワークを実際に測定することが不可能であるか利用できないときに、製造装置から収集したプロセスデータを利用し、製造装置により製造されたワークの品質を推定するために用いる。バーチャル測定を応用する際は、同一の装置または同じ種類の装置中の処理チャンバの物理特性が同じでないため、バーチャル測定の推定精度を維持するために、それぞれの処理チャンバの推定モデルをそれらの特性に応じて構築する必要があった。そのため、工場全体にバーチャル測定を導入する場合、従来技術では各装置の各処理チャンバ（装置）に推定モデルをそれぞれ構築しなければならず、装置の種類および数が多い場合、工場全体の予測モデルの数が非常に多くなった。各装置のそれぞれの処理チャンバに個別のモデルを構築する従来技術を採用した場合、モデルを一つ々々構築するには大量の履歴データを抽出しなければならず、多くの人手およびコストがかかった。そのため、工場全体にバーチャル測定を導入することはほとんど不可能であった。そのため、上述の問題を解決することが可能な自動バーチャル測定（ＡＶＭ）のシステムおよび方法の開発が求められていた。
【０００３】
さらに、従来技術には、収集したプロセスデータまたは実際の測定データをオンラインおよびリアルタイムで品質を評価する能力がなかった。そのため、従来技術では、収集したプロセスデータまたは実際の測定データに異常が発生したとしても、依然として異常データを利用してバーチャル測定モデルの調整または再訓練を行うため、バーチャル測定の推定精度に悪影響を与えることがあった。さらに、工場全体の各装置の全てのプロセス装置（例えば、プロセスチャンバ）にバーチャル測定を行う必要がある大量のデータの評価および選別を自動的に行う困難を解決するために、従来技術では、収集したプロセスデータおよび実際の測定データをオンラインおよびリアルタイムでデータの品質評価を自動的に行い、異常なプロセスデータおよび実際の測定データを排除し、大量の人手および時間を節減することが可能な能力を自ら備える必要があった。そのため、データを自動的に評価して選別することが可能な能力を備えたデータ品質インデックスの開発が求められていた。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、同じまたは同じ種類の装置のそれぞれのチャンバへ自動ファンアウトまたは移植を行い、バーチャル測定モデルのリフレッシュ技術を提供するため、バーチャル測定を行う時間を大幅に減らし、バーチャル測定の精度を良好に保持することができる自動バーチャル測定のシステムおよびその方法を提供することにある。
【０００５】
本発明のもう一つの目的は、プロセスデータおよび実測データ（実測値）に対して自動評価および選別を行う能力を有するデータ品質評価インデックスを提供する自動バーチャル測定のシステムおよびその方法を提供することにある。
【課題を解決するための手段】
【０００６】
（１）  複数組の履歴プロセスデータおよび第１のプロセスデータを有し、前記プロセスデータを基に第１のワークを生産する第１のプロセス装置と、前記プロセスデータを用いてそれぞれ生産したワークの実測データである複数の履歴測定値と、前記第１のワークの第１の実測値とを有する第１の測定装置と、前記履歴プロセスデータおよび前記履歴測定値を収集する第１の自動バーチャル測定サーバと、前記履歴プロセスデータおよび前記履歴測定値を用いてバーチャル測定を構築するモデル構築サーバと、第２のプロセスデータを基に第２のワークを生産する第２のプロセス装置と、前記第２のワークの第２の実測値を測定する第２の測定装置と、バーチャル測定モデルを用いて前記第２のワークのバーチャル測定を行う第２の自動バーチャル測定サーバと、を含み、前記第２の自動バーチャル測定サーバを用いて前記バーチャル測定モデルの再訓練または調整を行い、前記第２のプロセスデータおよび前記第２の実測値を用いて前記履歴プロセスデータおよび前記履歴測定値中の最も古いデータを替えることを特徴とする自動バーチャル測定のシステムを提供する。
【０００７】
（２）  前記第１の自動バーチャル測定サーバは、前記バーチャル測定モデルを用い、前記第１のワークのバーチャル測定を行うことを特徴とする（１）に記載の自動バーチャル測定のシステムを提供する。
【０００８】
（３）  前記バーチャル測定モデルは、ニューラルネットワークアルゴリズム、重回帰アルゴリズムまたはサポートベクターマシンアルゴリズムである推定アルゴリズムを基に構築された推定モデルであって、前記ワークの第１のバーチャル測定値または前記第２のワークの第２のバーチャル測定値を生成させる推定モデルと、前記推定アルゴリズムと異なり、重回帰アルゴリズム、ニューラルネットワークアルゴリズムまたはサポートベクターマシンアルゴリズムである参考アルゴリズムを基に構築されたＲＩモデルであって、前記第１のバーチャル測定値および前記第２のバーチャル測定値のＲＩ値のそれぞれを生成させるＲＩモデルと、マハラノビス距離アルゴリズムを基に構築するＧＳＩモデルであって、前記第１のプロセスデータおよび前記第２のプロセスデータのそれぞれのＧＳＩ値を計算するＧＳＩモデルと、主成分分析およびユークリッド距離アルゴリズムＤＱＩｘを基に構築されたＤＱＩｘモデルであって、前記第１のプロセスデータおよび前記第２のプロセスデータのＤＱＩｘ値のそれぞれを計算するＤＱＩｘモデルと、ＡＲＴ２およびＮＶを基に構築されたＤＱＩｙモデルであって、前記第１の実測値および前記第２の実測値のＤＱＩｙ値を計算するＤＱＩｙモデルと、を含むことを特徴とする（２）に記載の自動バーチャル測定のシステムを提供する。
【０００９】
（４）  前記第１の自動バーチャル測定サーバは、前記第１の自動バーチャル測定サーバ中のそれぞれのモジュールの状態を監視し、２段階バーチャル測定アルゴリズムを基に各モジュールの操作手順を制御する管理カーネルと、前記ＤＱＩｘモデルおよび前記ＤＱＩｙモデルを用いて、前記第１のプロセスデータおよび前記第１の実測値の品質を評価するデータ前処理モジュールと、ＰＤＩと、前記履歴プロセス、前記履歴測定値、前記第１のプロセスデータおよび前記第１の実測値を収集するために前記ＰＤＩに接続され、収集された前記プロセスデータおよび前記実測値が、前記ＰＤＩを介して前記データ前処理モジュールに提供されるデータ収集ドライバと、ＰＡＩと、前記ＰＡＩに接続されて前記バーチャル測定モデルを記憶するバーチャル測定モデル記憶モジュールと、ＰＣＩと、前記ＰＣＩと接続され、前記モデル構築サーバと通信を行うコミュニケーションエージェントと、を含むことを特徴とする（３）に記載の自動バーチャル測定のシステムを提供する。
【００１０】
（５）  前記第２の自動バーチャル測定サーバは、前記第２の自動バーチャル測定サーバ中のそれぞれのモジュールの状態を監視し、２段階バーチャル測定アルゴリズムを基に各モジュールの操作手順を制御する管理カーネルと、前記ＤＱＩｘモデルおよび前記ＤＱＩｙモデルを用いて、前記第２のプロセスデータおよび前記第２の実測値の品質を評価するデータ前処理モジュールと、ＰＤＩと、前記第２のプロセスデータ、前記第２の実測値を収集するために前記ＰＤＩに接続され、収集された前記プロセスデータおよび前記実測値が、前記ＰＤＩを介して前記データ前処理モジュールに提供されるデータ収集ドライバと、ＰＡＩと、前記ＰＡＩに接続されて前記バーチャル測定モデルを記憶するバーチャル測定モデル記憶モジュールと、ＰＣＩと、前記ＰＣＩと接続され、前記モデル構築サーバと通信を行うコミュニケーションエージェントと、を含むことを特徴とする（３）に記載の自動バーチャル測定のシステムを提供する。
【００１１】
（６）  前記第１の自動バーチャル測定サーバは、前記第１のプロセスデータおよび前記第１の実測値を用いて前記履歴プロセスデータおよび前記履歴測定値中の最も古いデータを代替し、前記バーチャル測定モデルの再訓練または調整を行うことを特徴とする（２）に記載の自動バーチャル測定のシステムを提供する。
【００１２】
（７）  前記第１のプロセス装置と前記第２のプロセス装置とは種類が同じであることを特徴とする（１）に記載の自動バーチャル測定のシステム。
【００１３】
（８）  複数の履歴測定値と、前記複数の履歴測定値に対応した複数組の履歴プロセスデータとを用いて第１のバーチャル測定モデルを構築するモデル構築ステップを行うステップと、プロセス装置からのワークの第１のプロセスデータを収集するステップと、前記プロセス装置からの前記ワークの第１のプロセスデータを収集した後に、第１段階バーチャル測定ステップを迅速に行うステップと、前記ワークの第１の実測値が得られた後に、第２段階バーチャル測定ステップを行うステップと、第２のバーチャル測定モデルにより前記第１のバーチャル測定モデルを代替し、後続的に前記プロセス装置に入る他のワークの他の第１段階バーチャル測定値を計算するステップと、を含む自動バーチャル測定の方法であって、前記第１のバーチャル測定モデルは、ニューラルネットワークアルゴリズム、重回帰アルゴリズムまたはサポートベクターマシンアルゴリズムである推定アルゴリズムを基に構築された推定モデルを含み、前記第１段階バーチャル測定ステップは、前記第１のバーチャル測定モデルへ前記第１のプロセスデータを入力することにより前記ワークの第１段階バーチャル測定値（ＶＭＩ）を計算する第１段階バーチャル測定計算ステップを含み、前記第２段階バーチャル測定ステップは、モデルリフレッシュの指示が正確であるときに行う再訓練ステップが行われたか否かを判断する再訓練決定ステップを含み、前記再訓練ステップは、前記第１のプロセスデータおよび前記第１の実測値を用いて前記第２のバーチャル測定モデルの再訓練または調整を行い、前記履歴プロセスデータおよび前記履歴測定値中の最も古いデータを代替し、前記第２のバーチャル測定モデルのモデル種類および構築方法は、前記第１のバーチャル測定モデルと同じであることを特徴とする自動バーチャル測定の方法を提供する。
【００１４】
（９）  モデルリフレッシュの指示は、正確に初期設定されることを特徴とする（８）に記載の自動バーチャル測定の方法を提供する。
【００１５】
（１０）  前記第１のバーチャル測定モデルは、前記推定アルゴリズムと異なり、重回帰アルゴリズム、ニューラルネットワークアルゴリズムまたはサポートベクターマシンアルゴリズムである参考アルゴリズムを基に構築された参考予測モデルを含み、前記バーチャル測定値のＲＩを生成させるＲＩモデルと、マハラノビス距離アルゴリズムを基に構築し、前記第１のプロセスデータのＧＳＩ値を計算するＧＳＩモデルと、をさらに含み、前記モデル構築ステップは、前記履歴プロセスデータおよび前記履歴実測値を応用し、クロスバリデーションのＬＯＯ方法により推定モデル、参考予測モデルおよびＧＳＩモデルを再構築し、前記履歴プロセスデータそれぞれのバーチャル測定推定誤差、参考予測誤差およびＧＳＩ値をそれぞれ計算し、バーチャル測定推定のリフレッシュ閾値、参考予測のリフレッシュ閾値およびＧＳＩのリフレッシュ閾値を計算するステップと、をさらに含み、前記第１段階バーチャル測定計算ステップは、前記第１のプロセスデータを前記第１のバーチャル測定モデル中の前記参考予測モデルおよび前記ＧＳＩモデルへ入力し、前記ワークの第１段階参考予測値および第１段階ＧＳＩ値を計算するステップと、をさらに含み、前記第２段階バーチャル測定ステップは、前記モデルリフレッシュの指示が正確であるときに、前記プロセス装置に入る前記ワークと、それに前後した連続した複数のワークとを複数の連続したリフレッシュサンプルと定義するステップと、第１のモデルリフレッシュ条件は、前記複数の連続したリフレッシュサンプルの前記第１段階バーチャル測定値の平均絶対誤差率がバーチャル測定推定のリフレッシュ閾値よりも小さいと定義するステップと、第２のモデルリフレッシュ条件は、前記連続したリフレッシュサンプルの前記第１段階参考予測値の平均絶対誤差率が前記参考予測の前記リフレッシュ閾値よりも小さいと定義するステップと、第３のモデルリフレッシュ条件は、前記連続したリフレッシュサンプルの前記第１段階ＧＳＩ値がＧＳＩのリフレッシュ閾値よりも小さいと定義するステップと、前記第１のモデルリフレッシュ条件、前記第２のモデルリフレッシュ条件および前記第３のモデルリフレッシュ条件の全てが同時に満たされるときに判断結果を得て、モデルリフレッシュの指示は、判断結果が正確の場合、失敗に設定されるか、前記モデルリフレッシュの指示が正確であるステップと、をさらに含むことを特徴とする（８）に記載の自動バーチャル測定の方法を提供する。
【００１６】
（１１）  前記連続したリフレッシュサンプルの数は３であることを特徴とする（１０）に記載の自動バーチャル測定の方法を提供する。
【００１７】
（１２）  前記モデル構築ステップは、前記プロセス装置から前記履歴プロセスデータを収集するステップと、測定装置から前記履歴測定値を収集するステップと、を含み、前記履歴プロセスデータおよび前記履歴測定値は、同じワークと関連することを特徴とする（８）に記載の自動バーチャル測定の方法を提供する。
【００１８】
（１３）  前記第２段階バーチャル測定ステップは、前記第２のバーチャル測定モデルを応用し、前記ワークが属するカセット中の全てのワークの第２段階バーチャル測定値（ＶＭＩＩ）のそれぞれを計算するステップをさらに含むことを特徴とする（８）に記載の自動バーチャル測定の方法を提供する。
【００１９】
（１４）  前記第１のバーチャル測定モデルは、ＲＩモデルをさらに含み、前記ＲＩモデルは、バーチャル測定値の統計分布と、対応した参考予測値の統計分布との間のオーバーラップ領域を計算し、前記バーチャル測定値のＲＩ値を生成し、前記ＲＩ値は、前記オーバーラップ領域が大きくなるに従い大きくなり、これは前記ＲＩ値に対応した前記バーチャル測定値の信頼レベルが高いことを表し、参考予測モデルは、参考アルゴリズムを基に構築され、前記参考アルゴリズムは、前記推定アルゴリズムと異なり、重回帰アルゴリズム、ニューラルネットワークアルゴリズムまたはサポートベクターマシンアルゴリズムであり、第１段階推定ステップは、前記ＲＩモデルを用いて前記第１段階バーチャル測定値の前記ＲＩ値を計算するステップをさらに含み、第２段階推定ステップは、前記ＲＩモデルを用いて前記第２段階バーチャル測定値の前記ＲＩ値を計算するステップをさらに含むことを特徴とする（１３）に記載の自動バーチャル測定の方法を提供する。
【００２０】
（１５）  前記第１のバーチャル測定モデルは、主成分分析およびユークリッド距離アルゴリズムを基に構築されたＤＱＩｘモデルであって、前記第１のプロセスデータのＤＱＩｘ値を計算するＤＱＩｘモデルと、ＡＲＴ２およびＮＶを基に構築されたＤＱＩｙモデルであって、前記第１の実測値のＤＱＩｙ値を計算するＤＱＩｙモデルと、をさらに含み、前記モデル構築ステップは、前記履歴プロセスデータを前記ＤＱＩｘモデルに応用し、クロスバリデーションのＬＯＯ方法により第１のプロセスデータ品質閾値（
0004914457.tif 000002
）を計算するステップと、前記履歴プロセスデータおよび履歴実測値を最大許容変異の概念を基に、前記ＤＱＩｙモデルへ応用し、第１の測定データ品質閾値（
0004914457.tif 000003
）を計算するステップと、をさらに含み、前記第１段階バーチャル測定ステップは、前記第１段階バーチャル測定計算ステップを行う前に、ＤＱＩｘモデルへ前記第１のプロセスデータを入力し、前記ワークの第１のＤＱＩｘ値を計算するステップと、前記第１のＤＱＩｘ値が前記第１のプロセスデータ品質閾値よりも大きいか否かをチェックして第１のチェック結果を得て、前記第１のチェック結果が失敗のときに、前記第１段階バーチャル測定計算ステップを行うステップと、をさらに含み、前記第２段階バーチャル測定ステップは、再訓練−決定ステップを行う前に、前記ＤＱＩｙモデルへ第１の実測値を入力し、前記ワークの第１のＤＱＩｙ値を計算するステップと、前記第１のＤＱＩｙ値が前記第１の測定データ品質閾値よりも大きいか否かをチェックして第２のチェック結果を得て、前記第２のチェック結果が失敗のときに、前記再訓練−決定ステップを行うステップと、をさらに含むことを特徴とする（８）に記載の自動バーチャル測定の方法を提供する。
【００２１】
（１６）  モデル構築サーバにより第１の自動バーチャル測定サーバに命令し、モデルを構築するために必要な複数の履歴測定値と、前記履歴測定値に対応した複数組の履歴プロセスデータを収集するステップと、前記第１の自動バーチャル測定サーバを第１の測定装置に接続して前記履歴測定値を収集し、前記第１の自動バーチャル測定サーバを第１のプロセス装置に接続して前記履歴プロセスデータを収集するステップと、前記第１の自動バーチャル測定サーバにより、前記履歴プロセスデータと履歴実測値との間の相関性をチェックするステップと、前記第１の自動バーチャル測定サーバにより、相関に成功した測定値およびプロセスデータの全てを前記モデル構築サーバへ送るステップと、前記モデル構築サーバによりモデルの構築に必要なデータにデータ前処理ステップを行い、異常な前記履歴プロセスデータおよび前記履歴測定値を除去するステップと、前記モデル構築サーバによりＤＱＩｘモデルおよびＤＱＩｙモデルを構築し、前記ＤＱＩｘモデルは、ワークを製造する前記プロセスデータのそれぞれのＤＱＩｘ値を計算し、前記ＤＱＩｘモデルは、主成分分析およびユークリッド距離アルゴリズムを基に構築され、前記ＤＱＩｙモデルは、前記第１の実測値のＤＱＩｙ値を計算し、前記ＤＱＩｙモデルは、ＡＲＴ２およびＮＶを基に構築するステップと、前記モデル構築サーバにより、前記ＤＱＩｘモデルおよび前記ＤＱＩｙモデルを応用してデータ選別ステップを行い、モデルの構築に必要な十分に関連した前記履歴プロセスデータおよび前記履歴測定値を選択するステップと、前記モデル構築サーバにより、関連した前記履歴プロセスデータおよび前記履歴測定値を応用し、バーチャル測定モデルを構築し、前記バーチャル測定モデルは、前記ＤＱＩｘモデル、前記ＤＱＩｙモデル、推定モデル、ＲＩモデルおよびＧＳＩモデルを含み、前記推定モデルは、推定アルゴリズムを基に構築し、前記推定アルゴリズムは、ニューラルネットワークアルゴリズム、重回帰アルゴリズムまたはサポートベクターマシンアルゴリズムであり、ＲＩモデルは、ワークのそれぞれのＲＩインデックスを生成させる参考予測モデルを含み、前記参考予測モデルは、参考アルゴリズムを基に構築され、前記参考アルゴリズムは、推定アルゴリズムと異なり、重回帰アルゴリズム、ニューラルネットワークアルゴリズムまたはサポートベクターマシンアルゴリズムであり、前記ＧＳＩモデルは、前記プロセスデータのそれぞれのＧＳＩ値を計算し、前記ＧＳＩモデルは、マハラノビス距離アルゴリズムを基に構築されるステップと、前記第１の自動バーチャル測定サーバおよび第２の自動バーチャル測定サーバへ第１のバーチャル測定モデルを移植し、前記第１のプロセス装置および第２のプロセス装置により製造されたワークにバーチャル測定を行うステップと、前記第１の自動バーチャル測定サーバおよび前記第２の自動バーチャル測定サーバ中の各前記第１のバーチャル測定モデルにモデルリフレッシュ手続を行うステップと、前記モデルリフレッシュ手続が完了した後、前記第１の自動バーチャル測定サーバおよび前記第２の自動バーチャル測定サーバによりバーチャル測定サービスを提供するステップと、を含むことを特���とする自動バーチャル測定の方法を提供する。
【００２２】
（１７）  前記モデルリフレッシュ手続は、再訓練ステップを行い、新たに収集したプロセスデータおよび実測値を用いて前記履歴プロセスデータおよび前記履歴測定値中の最も古いデータを代替し、前記第１のバーチャル測定モデルと種類および構築方法が同じ第２のバーチャル測定モデルを再構築するステップと、前記第２のバーチャル測定モデルにより前記第１のバーチャル測定モデルを代替し、後続のバーチャル測定サービスを提供するステップと、をさらに含むことを特徴とする（１６）に記載の自動バーチャル測定の方法を提供する。
【００２３】
（１８）  前記履歴プロセスデータおよび前記履歴実測値を応用し、クロスバリデーションのＬＯＯ方法に基づいて推定モデル、参考予測モデルおよびＧＳＩモデルを再構築し、前記履歴プロセスデータそれぞれのバーチャル測定推定誤差、参考予測誤差およびＧＳＩ値をそれぞれ計算し、バーチャル測定推定のリフレッシュ閾値、参考予測のリフレッシュ閾値およびＧＳＩのリフレッシュ閾値を計算するステップと、新たに収集されたプロセスデータを前記第１のバーチャル測定モデル中の前記推定モデル、前記参考予測モデルおよび前記ＧＳＩモデルへ入力し、第１段階推定値、第１段階参考予測値および第１段階ＧＳＩ値を計算するステップと、前記第１のプロセス装置に入るワークと、それに前後した複数の連続したワークとを複数の連続したリフレッシュサンプルと定義するステップと、第１のモデルリフレッシュ条件は、前記連続したリフレッシュサンプルの第１段階バーチャル測定値の平均絶対誤差率が前記バーチャル測定推定のリフレッシュ閾値よりも小さいと定義するステップと、第２のモデルリフレッシュ条件は、前記連続したリフレッシュサンプルの第１段階参考予測値の平均絶対誤差率が前記参考予測のリフレッシュ閾値よりも小さいと定義するステップと、第３のモデルリフレッシュ条件は、前記連続したリフレッシュサンプルの前記第１段階ＧＳＩ値が前記ＧＳＩのリフレッシュ閾値よりも小さいと定義するステップと、前記第１のモデルリフレッシュ条件、前記第２のモデルリフレッシュ条件および前記第３のモデルリフレッシュ条件の全てが同時に達成されると判断結果を得て、判断結果が正確の場合、前記モデルリフレッシュ手続を完了させるステップと、をさらに含むことを特徴とする（１６）に記載の自動バーチャル測定の方法を提供する。
【００２４】
（１９）  前記連続したリフレッシュサンプルの数は３であることを特徴とする（１８）に記載の自動バーチャル測定の方法を提供する。
【００２５】
（２０）  前記ＲＩモデルは、バーチャル測定値の統計分布と、対応した参考予測値の統計分布との間のオーバーラップ領域を計算し、前記バーチャル測定値のＲＩ値を生成し、前記ＲＩ値は、前記オーバーラップ領域が大きくなるに従い大きくなることは、前記ＲＩ値に対応した前記バーチャル測定値の信頼レベルが高いことを示すことを特徴とする（１６）に記載の自動バーチャル測定の方法を提供する。
【発明の効果】
【００２６】
本発明の自動バーチャル測定のシステムおよびその方法は、同じまたは同じ種類の装置のそれぞれのチャンバへ自動ファンアウトまたは移植を行い、バーチャル測定モデルのリフレッシュ技術を提供するため、バーチャル測定を行う時間を大幅に減らし、バーチャル測定の精度を良好に保持することができる上、プロセスデータおよび実測データ（実測値）に対して自動評価および選別を行う能力を有するデータ品質評価インデックスを提供することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の一実施形態によるＡＶＭシステムの構造を示すブロック図である。
【図２】本発明の一実施形態によるＡＶＭサーバの構造を示すブロック図である。
【図３】本発明の一実施形態によるＲＩ値を示すグラフである。
【図４】本発明の一実施形態によるＲＩ閾値（ＲＩＴ）を定義するグラフである。
【図５】本発明の一実施形態によるＡＶＭシステムの動作順序を示すタイミング図である。
【図６Ａ】本発明の一実施形態によるモデル構築ステップを示す流れ図である。
【図６Ｂ】本発明の一実施形態による第１のＤＱＩｘモデルおよび第１のＤＱＩｙモデルを構築するステップ１５０を示す流れ図である。
【図７Ａ】本発明の一実施形態による２段階バーチャル測定アルゴリズムを応用したモデルリフレッシュステップを示す流れ図である。
【図７Ｂ】本発明の一実施形態によるＤＱＩｘ値のチェックを行うステップを示す流れ図である。
【図７Ｃ】本発明の一実施形態によるＤＱＩｙ値をチェック方法を示す流れ図である。
【図８】本発明の一実施形態を化学気相成長法装置へ応用したときの状態を示すグラフである。
【発明を実施するための形態】
【００２８】
以下、本発明の実施形態について図に基づいて説明する。
【００２９】
図１を参照する。図１は、本発明の一実施形態による自動バーチャル測定システムの構造を示すブロック図である。この自動バーチャル測定システムは、モデル構築サーバ６０および複数のＶＭユニット５０ａ，５０ｂを含む。これらＶＭユニット５０ａ，５０ｂは、インターネット６２を介してモデル構築サーバ６０と通信することができる。ＶＭユニット５０ａは、ＡＶＭサーバ３０ａ、プロセス装置２０ａおよび測定装置２２ａを含み、ＶＭユニット５０ｂは、ＡＶＭサーバ３０ｂ、プロセス装置２０ｂおよび測定装置２２ｂを含む。プロセス装置２０ａは、すでに生産されたワークの複数組の履歴プロセスデータと、現在生産しているか将来生産する予定の第１のワークの第１のプロセスデータとを有する。プロセス装置２０ｂは、現在生産しているか将来生産する予定の第２のワークの第２のプロセスデータを有する。測定装置２２ａは、すでに生産したワークの複数の履歴測定値を有し、第１のワークの第１の実測値を現在測定しているか、将来測定し、これら実測値は、プロセス装置２０ａ中のプロセスデータとそれぞれ対応する。測定装置２２ｂは、第２のワークの第２の実測値を現在測定しているか、将来測定し、第２の実測値は、第２のプロセスデータに対応する。ＡＶＭシステム１０中において、モデル構築サーバ６０は、まず、履歴プロセスデータ（プロセス装置２０ａから収集する。）を使用してから、履歴測定値（測定装置２２ａから収集する。）をそれらに対応させてバーチャル測定モデルを構築してから、ＡＶＭサーバ３０ｂへバーチャル測定モデルを自動的にファンアウトまたは移植する。これにより、ＡＶＭサーバ３０ｂは、プロセス装置２０ｂにより生産された第２のワークにバーチャル測定を行い、第１組のモデルを構築するのと同様の工程により、プロセス装置２０ｂに対して他のバーチャル測定モデルを構築する必要がない。さらに、プロセス装置２０ａ，２０ｂは、同じ装置または同じ種類の装置の異なるプロセスチャンバでもよく、それらの物理特性は全く同じである必要はない。そのため、ＡＶＭサーバ３０ｂは、第２のプロセスデータと、それらに対応した第２の実測値とを利用し、複数組の履歴プロセスデータおよび複数のバーチャル測定の構築に用いる履歴測定値中の最も古いデータを代替することにより、新たに移植されたバーチャル測定モデルを再構築（リフレッシュ）し、ＡＶＭサーバ３０ｂ中のバーチャル測定モデルの好ましい精度を回復または維持させることができる。上述の手順は、いわゆる「モデルリフレッシュ手順」である。同様に、ＡＶＭサーバ３０ａは、第１のプロセスデータと、それらに対応した第１の実測値とを使用し、バーチャル測定モデルの構築に用いる複数組の履歴プロセスデータおよび複数の履歴測定値を代替させることにより、バーチャル測定モデルを再訓練し、ＡＶＭサーバ３０ａ中のバーチャル測定モデルの好ましい精度の回復または維持を行うことができる。複数の第１のワークまたは第２のワークが生産されて測定された後、履歴プロセスデータおよび履歴測定値の全ては、第１のプロセスデータおよび第１の実測値か、第２のプロセスデータおよび第２の実測値により代替される。その後、新たに収集された第１のプロセスデータまたは第２のプロセスデータと、第１の実測値または第２の実測値とは、プロセスデータおよび実測値の現在のプールへ単に加えるだけであり、その中の最も古いデータの代替は行わない。
【００３０】
概して、本実施形態で使用される「プロセスデータ」には、プロセス装置（生産装置）のセンサデータ、装置状態データおよび前処理測定値が含まれる。この前処理測定値とは、このプロセス装置のプロセスを行う前のプロセスのバーチャル測定値および／または実測値である。
【００３１】
本実施形態のバーチャル測定モデルは、推定モデル、ＲＩモデル、ＧＳＩモデル、ＤＱＩｘモデルおよびＤＱＩｙモデルを含む。推定モデルは、上述の第１のワークおよび第２のワークのバーチャル測定値を生成するために用い、例えば、ニューラルネットワーク（Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ：ＮＮ）アルゴリズム、重回帰アルゴリズム、サポートベクターマシン（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ：ＳＶＭ）アルゴリズムまたはその他予測アルゴリズムなどの推定アルゴリズムを基に構築される。ＲＩモデルは、バーチャル測定値の信頼指数を生成するために用いる。この信頼指数モデルは、重回帰アルゴリズム、ニューラルネットワークアルゴリズム、サポートベクターマシンアルゴリズムまたはその他予測アルゴリズムなどの参考アルゴリズムを基に構築される。この参考アルゴリズムは、上述の推定アルゴリズムと異なっていなければならない。ＧＳＩモデルは、上述の第１のプロセスデータのＧＳＩ（Ｇｌｏｂａｌ  Ｓｉｍｉｌａｒｉｔｙ  Ｉｎｄｅｘ）を計算するために用い、このＧＳＩモデルは、マハラノビス距離アルゴリズムを基に構築されている。ＤＱＩｘモデルは、上述の第１のプロセスデータまたは第２のプロセスデータのプロセスデータ品質インデックスを計算するために用い、主成分分析（Ｐｒｉｎｃｉｐａｌ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ：ＰＣＡ）およびユークリッド距離（Ｅｕｃｌｉｄｅａｎ  Ｄｉｓｔａｎｃｅ：ＥＤ）アルゴリズムを基に構築されている。ＤＱＩｙモデルは、バーチャル測定モデルの構築に用いる第１の実測値または第２の実測値の測定データ品質インデックス（Ｄａｔａ  Ｑｕａｌｉｔｙ  Ｉｎｄｅｘ：ＤＱＩｙ）を計算するために用い、このＤＱＩｙモデルは、適応共鳴理論（Ａｄａｐｔｉｖｅ  Ｒｅｓｏｎａｎｃｅ  Ｔｈｅｏｒｙ  ２：ＡＲＴ２）およびＮＶ（Ｎｏｒｍａｌｉｚｅｄ  Ｖａｒｉａｂｉｌｉｔｙ）を基に構築されている。
【００３２】
図２を参照する。図２は、本発明の一実施形態による自動バーチャル測定サーバの構造を示すブロック図である。図２は、図１に示すＡＶＭサーバ３０ａおよびＡＶＭサーバ３０ｂの構造と、それぞれのコンポーネントの機能が同じであるため、ＡＶＭサーバ３０を説明例として用いる。ＡＶＭサーバ３０において、管理カーネル３２は、ＡＶＭサーバ３０中のそれぞれのモジュール状態を監視し、２段階バーチャル測定アルゴリズム４０を基に各モジュールの操作手順を制御するために用いる。データベース５６は、様々な種類のデータのデータ品質評価およびバーチャル測定推定に関連した全モデル、システム状態および予測結果などの情報を保存するために用いる。ＧＵＩ５８は、システム状態および予測結果の監視やパラメータ設定などの機能を提供する。レポート生成装置４２は、制御に必要なシステム状態や予想結果などの情報レポートを生成してもよく、データ前処理モジュール５２は、ＤＱＩｘモデルおよびＤＱＩｙモデルを基に、プロセスデータおよび実測値の品質を評価する。ＰＤＩ３８は、プロセスデータ１２および実測データ１４（測定値）を収集するデータ収集ドライバ４８と接続するために用いる。収集されたプロセスデータおよび測定データは、ＰＤＩ３８を介してデータ前処理モジュール５２に提供される。ＰＤＩ３８は、プラガビリティ（ｐｌｕｇｇａｂｉｌｉｔｙ）の機能を有する。例えば、ＰＤＩ３８のプラガビリティにより、ＡＶＭサーバ３０は、データ収集ドライバ４８を適切なものに変えることにより、異なる種類の装置から様々なプロセスデータおよび測定データを収集することができる。ＰＣＩ（Ｐｌｕｇｇａｂｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｉｎｔｅｒｆａｃｅ）３４は、図１に示すモデル構築サーバ６０と通信するために、コミュニケーションエージェント４４との接続に用いる。ＰＣＩ３４は、プラガビリティ機能を有する。例えば、ＰＣＩ３４のプラガビリティ機能を利用し、ＡＶＭサーバ３０は、コミュニケーションエージェント４４を適切なものに変えることにより、様々な種類の情報干渉フォーマットのリモートアプリケーションモデルと通信することができる。ＰＡＩ（Ｐｌｕｇｇａｂｌｅ  Ａｐｐｌｉｃａｔｉｏｎ  Ｉｎｔｅｒｆａｃｅ）３６は、使用中のバーチャル測定モデルが保存されているバーチャル測定モデル記憶モジュール４６と接続するために用いられる。このＰＡＩ３６もプラガビリティ機能を有する。例えば、ＰＡＩ３６のプラガビリティにより、ＡＶＭサーバ３０は、装置の種類に応じてバーチャル測定モデルを好適なものに変えることができる。
【００３３】
以下、ＲＩおよびＧＳＩに関するアルゴリズムと、それらの操作手順について説明し、後続のフロー工程でＤＱＩｘモデルおよびＤＱＩｙモデルについて説明する。
【００３４】
ＲＩおよびＧＳＩは、バーチャル測定値が信頼できるか否かをリアルタイムで知るために用いられる。このＲＩモデルは、プロセス装置のプロセスデータを分析することにより０〜１の間のＲＩ値を計算し、バーチャル測定結果が信頼できるか否か判断するために用いる。ＧＳＩモデルは、プロセスのＧＳＩ値を計算するために用いる。ＧＳＩとは、現在までに入力されたプロセスデータと、モデルの構築および訓練で用いられる全てのプロセスデータとの間の類似レベルと定義する。
【００３５】
〈ＲＩ（Ｒｅｌｉａｎｃｅ  Ｉｎｄｅｘ）〉
表１に示すように、プロセスデータ
0004914457.tif 000004
およびそれに対応した実測値
0004914457.tif 000005
を含むｎ組の履歴データが収集されたと仮定する。ここで、各組のプロセスデータには、ｐ個の個別のパラメータ（パラメータ１からパラメータｐまで）が含まれる。すなわち、
0004914457.tif 000006
。また、実際の生産における
0004914457.tif 000007
組のプロセスデータも収集されるが、
0004914457.tif 000008
の他には実測値は存在しない。すなわち、
0004914457.tif 000009
個目の製品のなかから１個目を選択して実際の測定を行う。現在の製造方法では、得られた実測値
0004914457.tif 000010
を用いて
0004914457.tif 000011
個目の製品の品質を推測する。
【００３６】
【表１】
0004914457.tif 000012
【００３７】
表１において、
0004914457.tif 000013
は、履歴測定値であり、
0004914457.tif 000014
は現在生産中である１個目の製品の実測値である。一般に、実測値
0004914457.tif 000015
は、平均値
0004914457.tif 000016
および標準偏差
0004914457.tif 000017
である。すなわち、
0004914457.tif 000018
。
【００３８】
サンプルセット
0004914457.tif 000019
の平均値および標準偏差に対し、全ての実測値を標準化すると、標準化された値（ｚ得点とも呼ばれる）
0004914457.tif 000020
を得ることができる。ここで、各ｚ得点それぞれの平均値は０であり、標準偏差は１である。すなわち、
0004914457.tif 000021
である。実測データにとって、対応する
0004914457.tif 000022
が０に近づくということは、実測値が規格中心値に近づいていることを示す。この標準化は、以下の数式で表される。
【００３９】
【数１】
0004914457.tif 000023
【数２】
0004914457.tif 000024
【数３】
0004914457.tif 000025
0004914457.tif 000026
は、第
0004914457.tif 000027
組の実測値であり；
0004914457.tif 000028
は、標準化された第
0004914457.tif 000029
組の実測値であり；
0004914457.tif 000030
は、全ての実測値の平均値であり；
0004914457.tif 000031
は、全ての実測値の標準偏差である。
【００４０】
ここの説明では、推定アルゴリズムとしてニューラルネットワーク（ＮＮ）アルゴリズムを採用して推定モデルを構築してバーチャル測定を行い、重回帰アルゴリズムなどを参考アルゴリズムとして用いて参考モデルを構築し、この参考モデルを推定モデルの比較基準として用いる。しかし、本発明は、他のアルゴリズムを推定アルゴリズムまたは参考アルゴリズムとして応用してもよいため、推定アルゴリズムと異なる参考アルゴリズムを提供することができる。これは、例えばＳＶＭアルゴリズムおよび他の関連したアルゴリズムであるが、これらだけに限定されるわけではない。
【００４１】
ニューラルネットワークアルゴリズムおよび重回帰アルゴリズムを利用するとき、それれ収束条件の各々が誤差２乗和（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅ  Ｅｒｒｏｒ：ＳＳＥ）が最小の条件下で、
0004914457.tif 000032
のとき、これら標準化された予測計測値（それぞれ
0004914457.tif 000033
および
0004914457.tif 000034
と定義する）は、標準化された実測値
0004914457.tif 000035
と同じでなければならない。つまり、
0004914457.tif 000036
のとき、
0004914457.tif 000037
の全ては標準化後の実測値を表すが、目的および推定モデルの違いに応じて異なる名称を有する。そのため、
0004914457.tif 000038
および
0004914457.tif 000039
は、
0004914457.tif 000040
および
0004914457.tif 000041
が同様に分布されていることを表すが、推定モデルが異なるため、２種類の予測演算法の平均値および標準偏差の推定値が異なる。ニューラルネットワーク推定モデル標準化後の平均値推定式
0004914457.tif 000042
および標準偏差推定式
0004914457.tif 000043
は、重回帰アルゴリズム標準化後の平均値推定式
0004914457.tif 000044
および標準偏差推定式
0004914457.tif 000045
と異なる。
【００４２】
ＲＩは、バーチャル測定値の信頼度を判断するために設計されている。このＲＩは、バーチャル測定値の統計分布
0004914457.tif 000046
と実測値の統計分布
0004914457.tif 000047
との間の類似レベルを考慮する必要がある。しかし、バーチャル測定を応用する際は、バーチャル測定値の信頼度を評価するために使用する実測値は存在しない（実測値が得られた場合、バーチャル測定を行う必要がないことは明らかである。）。そのため、本発明の一実施形態では、参考アルゴリズム（例えば、重回帰アルゴリズム）により計算した統計分布
0004914457.tif 000048
により
0004914457.tif 000049
の統計分布を代替させることができる。本実施形態の参考アルゴリズムは、時系列アルゴリズムやその他関連するアルゴリズムなどでもよいが、本実施形態はこれらだけに限定されるわけではない。
【００４３】
図３を参照する。図３は、本発明の好適な実施形態によるＲＩを示すグラフである。本実施形態のＲＩは、推定モデル（例えば、ニューラルネットワークアルゴリズムにより構築された推定モデル）のバーチャル測定値の統計分布
0004914457.tif 000050
と、参考モデル（例えば、重回帰アルゴリズムなどにより構築された参考モデル）からの参考予測値の統計分布
0004914457.tif 000051
との間の交差領域の値（オーバーラップ領域Ａ）と定義される。これにより、ＲＩは以下の数式で表される。
【００４４】
【数４】
0004914457.tif 000052
【００４５】
ここで、
0004914457.tif 000053
のとき
0004914457.tif 000054
であり、
0004914457.tif 000055
のとき
0004914457.tif 000056
であり、
0004914457.tif 000057
は１に設定される。
【００４６】
ＲＩは、オーバーラップ領域Ａの増大に従い増大する。この現象は、推定モデルの使用により得られる結果が参考アルゴリズムから得られる結果に近いことを表しているため、対応するバーチャル測定値の信頼度が高いことを表す。さもなければ、対応する測定値の信頼度は、ＲＩの減少に伴い低下する。
0004914457.tif 000058
から推定される分布
0004914457.tif 000059
と、
0004914457.tif 000060
から推定される分布
0004914457.tif 000061
が完全にオーバーラップするとき、統計学の分布理論により、そのＲＩ値は１に等しくなる。そして、これら２つの分布がほぼ完全に分離されると、そのＲＩ値は０に近づく。
【００４７】
以下、推定モデルから計算されるバーチャル測定値（
0004914457.tif 000062
および
0004914457.tif 000063
）の統計分布の計算方法を説明する。
【００４８】
ニューラルネットワーク推定モデルにおいて、収束条件が最小化された誤差２乗和（ＳＳＥ）である場合、「
0004914457.tif 000064
を与えると、
0004914457.tif 000065
の分布は平均値が
0004914457.tif 000066
に等しく、偏差が
0004914457.tif 000067
の分布となる。」、つまり
0004914457.tif 000068
が与えられると、
0004914457.tif 000069
となる。また、
0004914457.tif 000070
のＮＮ（ニューラルネットワーク）推定式は
0004914457.tif 000071
であり、
0004914457.tif 000072
のＮＮ推定式は
0004914457.tif 000073
である。
【００４９】
ＮＮ推定モデルを構築する前に、プロセスデータの標準化を行わなければならない。プロセスデータの標準化は、以下の数式で表される。
【００５０】
【数５】
0004914457.tif 000074
【数６】
0004914457.tif 000075
【数７】
0004914457.tif 000076
【００５１】
ただし、
0004914457.tif 000077
は、第ｉ組のプロセスデータ中の第ｊ個目のプロセスパラメータであり；
0004914457.tif 000078
は、第ｉ組のプロセスデータ中の第ｊ個目の標準化後のプロセスパラメータであり；
0004914457.tif 000079
は、第ｊ個目のプロセスデータの平均値であり；
0004914457.tif 000080
は、第ｊ個目のプロセスデータの標準偏差である。
【００５２】
このｎ組の標準化後のプロセスデータ
0004914457.tif 000081
と、このｎ組の標準化後の実測値
0004914457.tif 000082
とによりＮＮ推測モデルを構築する。その後、ｍ組の標準化後のプロセスデータ
0004914457.tif 000083
をＮＮ推測モデルへ入力し、対応する標準化後のバーチャル測定値
0004914457.tif 000084
を得る。
【００５３】
これにより、
0004914457.tif 000085
（すなわち、
0004914457.tif 000086
）の推定値と、
0004914457.tif 000087
（すなわち、
0004914457.tif 000088
）の推定値とは、以下の数式により計算することができる。
【００５４】
【数８】
0004914457.tif 000089
【数９】
0004914457.tif 000090
【数１０】
0004914457.tif 000091
【００５５】
ただし、
0004914457.tif 000092
は、標準化後のバーチャル測定値の平均値である。
【００５６】
以下、重回帰モデルから参考予測値（
0004914457.tif 000093
および
0004914457.tif 000094
）を計算する方法を説明する。
【００５７】
重回帰アルゴリズムの基本仮説は、「
0004914457.tif 000095
が与えられると、
0004914457.tif 000096
の分布は、平均値が
0004914457.tif 000097
に等しく、偏差が
0004914457.tif 000098
の分布である」。すなわち、
0004914457.tif 000099
が与えられると、
0004914457.tif 000100
である。ここで、
0004914457.tif 000101
の重回帰推定式は、
0004914457.tif 000102
であり、
0004914457.tif 000103
の重回帰推定式は、
0004914457.tif 000104
である。
【００５８】
ｎ組の標準化後のプロセスデータ
0004914457.tif 000105
と、このｎ組の標準化後の実測値
0004914457.tif 000106
との重回帰関係を得るために、重回帰分析を利用し、これらｐ個のパラメータが対応する重み係数（ｗｅｉｇｈｔｉｎｇ  ｆａｃｔｏｒ）は、
0004914457.tif 000107
で表される。
0004914457.tif 000108
と
0004914457.tif 000109
との関係は、以下の数式で表される。
【００５９】
【数１１】
0004914457.tif 000110
仮説
【数１２】
0004914457.tif 000111
および
【数１３】
0004914457.tif 000112
【００６０】
統計学上の重回帰分析中の最小二乗法を利用すると、パラメータ
0004914457.tif 000113
の推定式
0004914457.tif 000114
を得ることができる。すなわち、数式（１４）となる。
【００６１】
【数１４】
0004914457.tif 000115
【００６２】
そのため、重回帰参考モデルは、以下の数式（１５）で表される。
【００６３】
【数１５】
0004914457.tif 000116
【００６４】
したがって、推定段階のときにプロセスデータが入力されると、数式（１５）からそれらに対応した重回帰推定値
0004914457.tif 000117
を得ることができる。標準偏差
0004914457.tif 000118
の重回帰推定式である
0004914457.tif 000119
は以下の数式で表される。
【００６５】
【数１６】
0004914457.tif 000120
【数１７】
0004914457.tif 000121
【００６６】
ＮＮ推定モデルの推定式（
0004914457.tif 000122
）と、重回帰推定式（
0004914457.tif 000123
）が得られると、図３に示すような正規分布曲線が描かれる。各バーチャル測定値のＲＩは、交差領域の値（オーバーラップ領域Ａ）を計算することにより得ることができる。
【００６７】
ＲＩを得た後、ＲＩの閾値（ＲＩＴ）を得なければならない。ＲＩ＞ＲＩＴの場合、バーチャル測定値の信頼度は許容範囲となる。以下、ＲＩの閾値（ＲＩＴ）を決定する方法を説明する。
【００６８】
ＲＩの閾値（ＲＩＴ）を決定する前に、まず、最大許容誤差の上限（ＥＬ）を決定する必要がある。バーチャル測定値の誤差（Ｅｒｒｏｒ）は、実測値
0004914457.tif 000124
と、ニューラルネットワーク推定モデルから得られる
0004914457.tif 000125
との差値を全ての実測値の平均値で割った後の絶対値の百分率である。すなわち、数式（１８）で表される。
【００６９】
【数１８】
0004914457.tif 000126
【００７０】
その後、数式（１８）が定義する誤差およびバーチャル測定の精度規格により最大許容誤差の上限（ＥＬ）を指定する。これにより、ＲＩの閾値（ＲＩＴ）とは、図４に示すように、最大許容誤差の上限（ＥＬ）に対応したＲＩ値と定義することができる。すなわち、数式（１９）で表される。
【００７１】
【数１９】
0004914457.tif 000127
ただし、
0004914457.tif 000128
および
0004914457.tif 000129
は、数式（４）中で定義される。
【００７２】
【数２０】
0004914457.tif 000130
ただし、
0004914457.tif 000131
は、数式（３）中で定義される。
【００７３】
〈ＧＳＩ（Ｇｌｏｂａｌ  Ｓｉｍｉｌａｒｉｔｙ  Ｉｎｄｅｘｅｓ）〉
上述したように、バーチャル測定を応用しても、バーチャル測定値の精度を検証するための実測値は得られない。従って、標準化後の実測値
0004914457.tif 000132
の代わりに、標準化後の重回帰推定値
0004914457.tif 000133
を利用してＲＩを計算する。しかし、このような代替は、ＲＩに誤差を発生させることがあった。そのため、この不可避的な代替を補償するため、本実施形態ではキイプロセスパラメータのＧＳＩを利用し、ＲＩゲージによりバーチャル測定の信頼度の判断を助けることにより、偏差の大きいキイプロセスパラメータを認識することができる。
【００７４】
ＧＳＩの概念とは、全てのプロセスデータと、プロセスデータのモデルとの間の類似レベルである。このモデルは、推定モデルを構築するために使用する全ての履歴プロセスデータから得ることができる。
【００７５】
本発明は、様々な統計距離測定（例えば、マハラノビス距離）を利用して類似度の定量化を行う。マハラノビス距離とは、Ｐ．Ｃ．マハラノビスが１９３６年に発表した距離測定のことである。この技術手段は、変数間の相関関係を基に、サンプルの異なるパターンの認識および分析を行う。マハラノビス距離は、まだ知られていないサンプルと、すでに知られたサンプルとの間の類似度を決定するために用いられる。この方法は、データと尺度の不変性（ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ）との間の相関関係を考慮するため、測定値の大きさと関連性はない。データの類似度が高い場合、計算されるマハラノビス距離は小さくなる。
【００７６】
本発明は、計算されたＧＳＩ（マハラノビス距離を適用）のサイズを利用し、新たに入力されたプロセスデータがプロセスデータのモデルに類似するか否かを判断することができる。計算されたＧＳＩが小さい場合、これは新たに入力されたプロセスデータがモデルに類似している。したがって、新たに入力されるプロセスデータ（類似度が高い）のバーチャル測定値は比較的精度が高い。反対に、計算されたＧＳＩが大きすぎる場合、新たに入力された入力とモデルとが多少異なることを表す。その結果、新たに入力されたプロセスデータ（類似度が低い）のバーチャル測定値の精度は信頼性が低い。
【００７７】
推定モデルの標準化プロセスデータ
0004914457.tif 000134
の計算方法は、数式（５）、（６）、（７）で表される。まず、プロセスパラメータのモデルは、
0004914457.tif 000135
と定義する。ここで、
0004914457.tif 000136
は、
0004914457.tif 000137
に等しい。従って、標準化後のモデル中の各要素の値はそれぞれ０である（つまり、標準化後のモデルパラメータ
0004914457.tif 000138
はそれぞれ０である。）。言い換えると、
0004914457.tif 000139
中の全要素の各々は０である。続いて、標準化後のモデルパラメータ間の相関係数を計算する。
【００７８】
第ｓ個目のパラメータと第ｔ個目のパラメータとの間の相関係数が
0004914457.tif 000140
であり、ｋ組のデータが存在する場合、以下の数式（２１）で表される。
【００７９】
【数２１】
0004914457.tif 000141
【００８０】
各モデルパラメータ間の相関係数を計算した後に得られる相関係数の行列は、以下の数式で表される。
【００８１】
【数２２】
0004914457.tif 000142
0004914457.tif 000143
の逆行列
0004914457.tif 000144
が
0004914457.tif 000145
と定義された場合、
【数２３】
0004914457.tif 000146
【００８２】
これにより、第
0004914457.tif 000147
組目の標準化のプロセスデータ
0004914457.tif 000148
と、標準化のモデルプロセスデータ
0004914457.tif 000149
との間のマハラノビス距離
0004914457.tif 000150
の計算は、以下の数式（２４）で表される。
【００８３】
【数２４】
0004914457.tif 000151
【００８４】
そして最終的に、以下の数式が得られる。
【数２５】
0004914457.tif 000152
【００８５】
標準化された第
0004914457.tif 000153
回目のプロセスデータのＧＳＩは
0004914457.tif 000154
である。
【００８６】
ＧＳＩを得た後、ＧＳＩ閾値（ＧＳＩＴ）の定義は以下の通りである。
【００８７】
【数２６】
0004914457.tif 000155
【００８８】
いわゆる「クロスバリデーションのＬＯＯ原理」は、サンプルデータが模擬オンラインテストサンプルとしてモデルを構築するために使用する全てのプロセスデータから選択され、プロセスデータの残りを使用してＧＳＩモデルを構築した後、ＧＳＩモデルを使用してテストサンプル（例えば、ＧＳＩＬＯＯ）のＧＳＩ値を計算する。上述のステップをモデルの構築に使用する全てのサンプルデータ（プロセスデータ）に繰り返すことにより、サンプルデータそれぞれのＧＳＩＬＯＯ値の全てを計算することができる。そのため、数式（２６）中の
0004914457.tif 000156
は、例えば、サンプルデータそれぞれにより、全てのＧＳＩＬＯＯ値の９０％のトリム平均を計算する。数式（２６）の“ａ”の値は２〜３の間であるが、実際の状況に応じて微調整することができ、“ａ”の所定値は３である。
【００８９】
以下、本発明のＡＶＭシステムの動作方法を説明する。図１〜図５を参照する。図５は、本発明の一実施形態によるＡＶＭシステムの動作順序を示すタイミング図である。このＡＶＭシステムは、第１のバーチャル測定モデル（第１組のバーチャル測定モデル）を構築するモデル構築ステップと、モデルをファンアウトするモデルファンアウトステップとを含む。モデル構築ステップでは、まず、モデル構築サーバ６０がＡＶＭサーバ３０ａを利用し、バーチャル測定モデルの構築に必要なデータを収集する（ステップ１００）。バーチャル測定モデルを構築するデータには、複数組の履歴プロセスデータと、それらに対応した複数の履歴測定値（実測値）とが含まれる。続いて、ＡＶＭサーバ３０ａは、データ収集ドライバを介して測定装置２２ａに接続されて履歴測定データ（実測値）を収集し（ステップ１１０）、データ収集ドライバを介してプロセス装置２０ａに接続されて履歴プロセスデータを収集する（ステップ１２０）。その後、ＡＶＭサーバ３０ａは、履歴プロセスデータと履歴測定データとの関連性をチェックする（ステップ１３０）。例えば、それらの間の対応した関係が正確か否かをチェックする。例えば、同一のワークの履歴プロセスデータと履歴測定データとは同じ識別番号を有さなければならない。続いて、ＡＶＭサーバ３０ａは、関連に成功した全ての測定データおよびプロセスデータをモデル構築サーバ６０へ送り、関連したプロセスデータと測定データとを保存する。その後、モデル構築サーバ６０は、モデル構築に必要な収集データにデータ前処理ステップを行うため、異常なプロセスデータおよび測定データを削除し、収集データの正確性を確保することができる（ステップ１４０）。続いて、モデル構築サーバ６０は、第１のＤＱＩｘモデルおよび第１のＤＱＩｙモデルを構築する（ステップ１５０）。以下、ＤＱＩｘモデルおよびＤＱＩｙモデルの構築方法を説明する。その後、モデル構築サーバ６０は、第１のＤＱＩｘモデルおよび第１のＤＱＩｙモデルを応用し、データ選別ステップ１６０のステップを行うため、それぞれＮＮＲＴ、ＭＲＲＴ、ＧＳＩＲＴを有する推定モデル、ＲＩモデル、ＧＳＩモデルを構築するのに十分な関連したプロセスデータおよび測定データを選択する（ステップ１７０）。ＮＮＲＴ、ＭＲＲＴおよびＧＳＩＲＴについては後で説明する。
【００９０】
第１組のバーチャル測定モデルが構築された後、モデルファンアウトステップを行い、ＡＶＭサーバ３０ａおよびＡＶＭサーバ３０ｂへ第１組のバーチャル測定モデルを移植し、プロセス装置２０ａおよびプロセス装置２０ｂに生成されたワークにバーチャル測定を行う。モデルファンアウトステップでは、まず、モデル構築サーバ６０が第１組の推定モデル、ＲＩモデル、ＧＳＩモデル、ＤＱＩｘモデルおよびＤＱＩｙモデルをＡＶＭサーバ３０ａへ送ってから（ステップ１８０）、ＡＶＭサーバ３０ａがモデルリフレッシュ手続（再訓練ステップ）を迅速に行い、再訓練ステップが終了した後、全てのＶＭ関連サービスを提供するバーチャル測定モデルが準備される（ステップ１９０）。モデル構築サーバ６０は、第１組の推定モデル、ＲＩモデル、ＧＳＩモデル、ＤＱＩｘモデルおよびＤＱＩｙモデルをＡＶＭサーバ３０ｂへ送ってから（ステップ２００）、ＡＶＭサーバ３０ｂがモデルリフレッシュ手続（再訓練ステップ）を迅速に行い、再訓練ステップが終了した後、バーチャル測定モデルは、全てのバーチャル測定に関連したサービスの提供を準備する（ステップ２１０）。
【００９１】
以下、第１組のバーチャル測定モデルを構築するステップと、リフレッシュモデルの２段階アルゴリズムを応用するステップとを説明する。
【００９２】
＜モデル構築ステップ＞
バーチャル測定モデルがある種類のプロセス装置のために製造されない場合、ある種類のプロセス装置の第１組の推定モデル、ＲＩモデル、ＧＳＩモデル、ＤＱＩｘモデルおよびＤＱＩｙモデルを構築するためにモデル構築サーバ６０を用いる必要がある。図６Ａを参照する。図６Ａは、本発明の一実施形態によるモデル構築ステップを示す流れ図である。まず、ステップ１１０において、（履歴）測定データ（実測値）の収集を行う。実際には、全ての実測値がそれらに対応した（履歴）プロセスデータを有するため、実測値（測定データ）が収集された後、ステップ１３０を迅速に行い、測定データとプロセスデータとの関連性をチェックする。続いて、ステップ１３１において、関連性チェックが成功したか否かをチェックし、関連性チェックが成功した場合、ステップ１３２において、関連したプロセスデータおよび測定データを保存するか、或いはプロセスデータが放棄され、再びステップ１１０において測定データを収集する。その後、ステップ１３４において、モデル構築の履歴データ（測定データおよびプロセスデータ）が十分存在するか否かを判断する。履歴測定データおよびプロセスデータの量が十分存在する場合、プロセスエンジニアがステップ１４０を行い、異常なプロセスデータおよび測定データを削除し、モデルを構築するデータの正確性を確保する。ステップ１４０において、プロセスエンジニアは、全ての履歴プロセスデータおよび測定データを一つ々々検査するため、プロセスデータ標準仮パターンを構築し、適切な指標を選択し、測定データの異常モードを構築する。その後、履歴プロセスデータを応用して標準仮パターンに合致させ、測定データの異常モードの履歴測定データを比較することにより異常なプロセスデータと測定データとを除去する。その後、ステップ１４０により得られた正常な履歴測定データとプロセスデータとを使用し、第１のＤＱＩｘモデルおよび第１のＤＱＩｙモデルを構築する（ステップ１５０）。以下、ステップ１５０の流れを説明する。図６Ｂを参照する。図６Ｂは、本発明の一実施形態による第１のＤＱＩｘモデルおよび第１のＤＱＩｙモデルを構築するステップ１５０を示す流れ図である。履歴プロセスデータと測定データとが正常かつ十分な場合、ステップ１５０を行う。ステップ１５０では、まず、ステップ１５２を行い、第１のＤＱＩｘモデルを構築し、以下その方法を述べる。
【００９３】
ステップ１４０において、ｎ組の履歴プロセスデータが収集され、第１のＤＱＩｘモデルを構築する。各組の履歴プロセスデータはｐ個のパラメータから構成される。これらｎ組の履歴プロセスデータが応用され、ｐ個の固有ベクトルを生成させる。このｐ個の固有ベクトルは、主成分分析により対応する高い順の固有値（
0004914457.tif 000157
）を有する。その後、ｋ個の重要な特徴値（
0004914457.tif 000158
）を選択し、以下の数式（２７）で表される特徴抽出行列（ｆｅａｔｕｒｅ−ｅｘｔｒａｃｔｉｏｎ  ｍａｔｒｉｘ）Ｍを構築する。
【００９４】
【数２７】
0004914457.tif 000159
【００９５】
以下、ＤＱＩｘ値の計算方法を説明する。
【００９６】
まず、数式（２８）を応用し、第ｉ個目に入力したプロセスデータＸｉをｋ個のデータ特徴変数
0004914457.tif 000160
へ変換する。
【００９７】
【数２８】
0004914457.tif 000161
【００９８】
続いて、これらｋ個のデータ特徴変数が
0004914457.tif 000162
に変換されてから、ユークリッド距離（Ｅｕｃｌｉｄｅａｎ  Ｄｉｓｔａｎｃｅ：ＥＤ）アルゴリズムによりＤＱＩｘ値などの統合値に変換する。
【００９９】
【数２９】
0004914457.tif 000163
【０１００】
ただし、ｉは、第ｉ組の入力プロセスデータであり；
0004914457.tif 000164
は、トレーニングサンプルの第ｊ個の基準化変数の平均値である。
【０１０１】
理論上、
0004914457.tif 000165
は０であるため、数式（２９）は以下の数式（３０）のように簡略化することができる。
【０１０２】
【数３０】
0004914457.tif 000166
【０１０３】
同時に、クロスバリデーションのＬＯＯ（Ｌｅａｖｅ−Ｏｎｅ−Ｏｕｔ）方法を使用し、以下の数式（３１）によりプロセスデータ品質閾値（
0004914457.tif 000167
）を決定することができる。
【０１０４】
【数３１】
0004914457.tif 000168
【０１０５】
いわゆるクロスバリデーションのＬＯＯ方法では、モデル構築に使用される全てのプロセスデータから選択された１つのサンプルデータを模擬オンラインテストサンプルとして使用してから、履歴プロセスデータの残りを利用してＤＱＩｘモデルを構築した後、新たに構築されたＤＱＩｘモデルを用い、例えば、ＤＱＩＸＬＯＯなどの模擬オンラインテストサンプルのＤＱＩｘ値を計算する。上述のステップは、モデル構築のために用いられる全てのサンプルデータ（プロセスデータ）で繰り返され、それぞれのサンプルデータのＤＱＩＸＬＯＯ値を計算する。そのため、数式（３１）中の
0004914457.tif 000169
は、例えば、それぞれのサンプルデータにより計算されたＤＱＩＸＬＯＯ値の９０％のトリム平均である。数式（３１）の“ａ”の値は２〜３の間であるが、実際の状況に応じて微調整し、“ａ”の所定値は３である。
【０１０６】
ここで、特徴抽出行列ＭおよびＤＱＩｘはＤＱＩｘモデルを構成するが、このＤＱＩｘモデルは、再訓練または調整の条件に応じて更新（モデルリフレッシュ手続）される。
【０１０７】
ステップ１５２が完了した後、ステップ１５４において履歴プロセスデータのＺスコア値を計算する。続いて、ステップ１５６において、第１のＤＱＩｙモデルを構築する。このＤＱＩｙモデルはｍ個の類似パターンから構成される。本実施形態は、ρ＝０．９８の条件下の適応共鳴理論２（ＡＲＴ２）を応用し、これらｎ組の履歴プロセスデータのＺスコア値からｍ個の類似パターン｛Ｐ１，  Ｐ２，  …，  Ｐｍ｝に分類される。
【０１０８】
以下、ＤＱＩｙ値の計算方法を説明する。
【０１０９】
まず、新しい実測値ｙｊが収集されるとき、実測値ｙｊに対応したＺスコア値
0004914457.tif 000170
が適応共鳴理論２（ＡＲＴ２）により応用され、類似パターン｛Ｐ１，  Ｐ２，  …，  Ｐｍ｝から最も類似したパターンを探し出す。続いて、
0004914457.tif 000171
中のｖサンプル（
0004914457.tif 000172
）と、それらに対応した実測値
0004914457.tif 000173
およびこの新しい実測値ｙｊを利用して
0004914457.tif 000174
および
0004914457.tif 000175
の閾値（
0004914457.tif 000176
）を計算する。
【０１１０】
ｙｊの
0004914457.tif 000177
は、標準化変数（Ｎｏｒｍａｌｉｚｅｄ  Ｖａｒｉａｂｉｌｉｔｙ：ＮＶ）として得られる。
【０１１１】
【数３２】
0004914457.tif 000178
ただし、
【数３３】
0004914457.tif 000179
ただし、
0004914457.tif 000180
は、
0004914457.tif 000181
中の全てのｙｑ，ｌの平均値であり；
ｖは、パターン
0004914457.tif 000182
中のサンプル数である。
【０１１２】
あるパターン
0004914457.tif 000183
の
0004914457.tif 000184
は、
0004914457.tif 000185
の最大許容変異と定義する。
0004914457.tif 000186
が最大許容測定値と仮定すると、それは
0004914457.tif 000187
の最大許容変異を有し、
0004914457.tif 000188
は、以下の数式（３４）で表される。
【０１１３】
【数３４】
0004914457.tif 000189
ただし、
0004914457.tif 000190
は最大許容変異である。
【数３５】
0004914457.tif 000191
【０１１４】
ただし、
0004914457.tif 000192
はパターン
0004914457.tif 000193
中の範囲であり、
0004914457.tif 000194
は、全類似パターングループの総数である。
【０１１５】
類似パターン
0004914457.tif 000195
に
0004914457.tif 000196
を加えることにより、
0004914457.tif 000197
は以下の数式（３６）により得られる。
【０１１６】
【数３６】
0004914457.tif 000198
【０１１７】
0004914457.tif 000199
および
0004914457.tif 000200
を得た後に、
0004914457.tif 000201
の場合、これは新しい実測値が異常であることを表し、さもなければ新しい実測値が正常であることを表す。
【０１１８】
上述のＰＣＡ、ＬＯＯ、ＡＲＴ２、ＺスコアおよびＥＤアルゴリズムは、本発明の技術分野に属する通常の知識を有する者であるならば分かるため、ここでは詳しく述べない。
【０１１９】
その後、図６Ａに示すように、ステップ１６０において、データ削減を行う。データ削減ルールを実行し、推定モデル、ＲＩモデルおよびＧＳＩモデルの構築に必要なキーパラメータを選択する。続いて、選択されたキーパラメータを応用し、第１組の推定モデル、ＲＩモデルおよびＧＳＩモデルを構築する（ステップ１７０）。この推定モデルは、ワークのバーチャル測定値を計算するために用いる。ＲＩモデルは、ワークの参考予測値と、ワークのバーチャル測定値の信頼指数とを生成させるために用いる。このＧＳＩモデルは、ワークを生産するために用いるプロセスデータのＧＳＩ値を計算するために用いる。ＲＩモデル中の参考予測モデルと推定モデルとが使用するアルゴリズムは異なり、例えば、この推定モデルはニューラルネットワークアルゴリズムを使用し、参考予測モデルは重回帰アルゴリズムを使用する。そのため、（バーチャル測定）推定値および参考予測値はＧＳＩ値と共に応用し、モデルリフレッシュ手続が完了したか否かを判断するためにモデルリフレッシュの条件を設定する。モデルリフレッシュ条件を設定するため、ステップ１７０は、バーチャル測定推定のリフレッシュ閾値、参考予測のリフレッシュ閾値およびＧＳＩのリフレッシュ閾値を計算する必要がある。以下、これらリフレッシュ閾値の原則を述べる。
【０１２０】
クロスバリデーションのＬＯＯ（Ｌｅａｖｅ−Ｏｎｅ−Ｏｕｔ）方法によると、全てのサンプルデータ（履歴プロセスデータ）から１組のサンプルデータを選択し、模擬オンラインテストサンプルとしてモデルを構築し、サンプルデータの残りを用い、予測モデル（推定モデル、参考予測モデルおよびＧＳＩモデルを含む。）を構築し、テストサンプルの推定誤差値（ＥＮ）、参考予測誤差値（ＥＭ）およびＧＳＩＬＯＯ値を得てもよい。続いて、各サンプルデータに対応した推定誤差値（ＥＮ）、参考予測誤差値（ＥＭ）およびＧＳＩＬＯＯ値の全てが得られるまで、各サンプルデータに上述のステップを繰り返し、推定誤差値（ＥＮ）の最大値（Ｍａｘ）および最小値（Ｍｉｎ）と、参考予測誤差値（ＥＭ）の最大値（Ｍａｘ）および最小値（Ｍｉｘ）を得る。ＥＮおよびＥＭの最大値および最小値は、推定モデルおよび参考予測モデルの最悪および最適な推定／予測の正確性を表し、ＧＳＩのリフレッシュ閾値は、全てのＧＳＩＬＯＯ値と関係する。そのため、ＶＭ推定のリフレッシュ閾値（ＮＮＲＴ；推定にＮＮアルゴリズムを用いると仮定する。）および参考予測のリフレッシュ閾値（ＭＲＲＴ：参考予測がＭＲアルゴリズムを用いると仮定する。）の計算は、以下の数式（３７）および（３８）で表される。
【０１２１】
【数３７】
0004914457.tif 000202
【数３８】
0004914457.tif 000203
【０１２２】
ただし、ＮＮＲＴは、ＶＭ推定のリフレッシュ閾値であり；
ＭＲＲＴは、参考予測のリフレッシュ閾値であり；
Ｍａｘ（ＥＮ）は、（ＥＮｉ，  ｉ＝１，  ２，  …，  ｎ）の最大値であり；
Ｍｉｎ（ＥＮ）は、（ＥＮｉ，  ｉ＝１，  ２，  …，  ｎ）の最小値であり；
Ｍａｘ（ＥＭ）は、（ＥＭｉ，  ｉ＝１，  ２，  …，  ｎ）の最大値であり；
Ｍｉｎ（ＥＭ）は、（ＥＭｉ，  ｉ＝１，  ２，  …，  ｎ）の最小値であり；
ｎは、モデル構築のサンプルデータの組数である。
【０１２３】
ＧＳＩのリフレッシュ閾値（ＧＳＩＲＴ）の計算方法は、以下の数式（３９）で示される。
【０１２４】
【数３９】
0004914457.tif 000204
【０１２５】
数式（３９）が示すＧＳＩＲＴと、数式（２６）が示すＧＳＩＴとは定義が完全に同じである。ここで
0004914457.tif 000205
は、例えば、モデル構築の全てのサンプルデータのＧＳＩＬＯＯ値の９０％トリム平均を表す。数式（３９）の“ａ”は、２〜３の間であるが、実際の状況に応じて微調整することができ、“ａ”の所定値は３である。
【０１２６】
＜２段階バーチャル測定アルゴリズムを応用したモデルリフレッシュステップ＞
本実施形態の２段階バーチャル測定アルゴリズムは、以下２点の特長を有する。（１）ＤＱＩｘモデルおよびＤＱＩｙモデルを加えて、プロセスデータおよび測定データの品質を自動的に判別する。（２）自動モデルリフレッシュメカニズムを加え、同じ装置または同じ種類の装置のそれぞれのプロセスチャンバにバーチャル測定を導入して時間および人力を節減し、バーチャル測定の精度を良好に維持する。
【０１２７】
図７Ａを参照する。図７Ａは、本発明の一実施形態による２段階バーチャル測定アルゴリズムを応用したモデルリフレッシュステップを示す流れ図である。上述のモデル構築ステップが完了した後、複数組の履歴プロセスデータおよび複数の履歴測定値を用い、第１組のバーチャル測定モデル（第１組のバーチャル測定モデル）を構築する。第１組のバーチャル測定モデルは、ニューラルネットワーク（ＮＮ）アルゴリズム、重回帰（ＭＲ）アルゴリズム、支持ベクトル機械（ＳＶＭ）アルゴリズムまたはその他の予測アルゴリズムなどの推定アルゴリズムを基に構築された推定モデルを含む。第１段階バーチャル測定ステップ３００では、まず、ステップ３０２において、プロセス装置からのあるワークのプロセスデータを収集する。続いて、ステップ３０４において、あるワークのプロセスデータの収集が完了したか否かをチェックする。ステップ３０４の結果が失敗（例えば、ノー）の場合、ステップ３０２を継続して行い、ステップ３０４の結果が正確（例えば、イエス）の場合、ステップ３１０において、あるワークのプロセスデータのＤＱＩｘ値のチェックまたは評価を行う。図７Ａおよび図７Ｂを参照する。図７Ｂは、本発明の一実施形態によりＤＱＩｘ値をチェックするステップを示す流れ図である。ステップ３１０において、第１のＤＱＩｘモデルの後（特徴抽出行列Ｍおよびプロセスデータ品質閾値（
0004914457.tif 000206
）を含む）、ステップ３１２をまず行い、あるワークのプロセスデータ（Ｘｉ）のデータ特徴変数
0004914457.tif 000207
を抽出する。続いて、ステップ３１５において、プロセスデータ（Ｘｉ）の
0004914457.tif 000208
値を計算する。その後、ステップ３１６において、
0004914457.tif 000209
が
0004914457.tif 000210
よりも大きいか否かをチェックする。ステップ３１６の結果が正確（例えば、イエス）の場合、プロセスデータが異常データ（
0004914457.tif 000211
）であることを表し、ステップ３１８を行って警告を送り、データ分析を求める。ステップ３１６の結果が失敗の場合（例えば、ノー）、プロセスデータが正常データ（
0004914457.tif 000212
）であることを表し、ステップ３１７において、正常データ（
0004914457.tif 000213
）をＺスコア値（
0004914457.tif 000214
）に変換する。さらに、ＤＱＩｘモデルの再訓練または調整を行う場合は、ステップ３１３において、正常プロセスデータ（
0004914457.tif 000215
）を使用し、現在モデル構築に用いられているプロセスデータの最も古いデータを代替するため、特徴抽出行列Ｍを再計算する。そして、ステップ３１４において、次のワークのステップ３１２で使用するプロセスデータ品質閾値（
0004914457.tif 000216
）を再計算する。
【０１２８】
正常プロセスデータ（ステップ３１６の結果が失敗）または異常プロセスデータに関わらず、ステップ３２０（図７Ａに示す）を常に行い、あるワークのバーチャル測定値と、それに伴う信頼指数およびＧＳＩ（Ｇｌｏｂａｌ  Ｓｉｍｉｌａｒｉｔｙ  Ｉｎｄｅｘ）を計算する。例えば、第１段階バーチャル測定値（ＶＭＩ）と、そのＲＩ／ＧＳＩである。
【０１２９】
２段階バーチャル測定ステップ４００では、ステップ４０２において、あるワークの実測値（測定データ）を収集する。その後、ステップ４１０において、実測値の収集が完了したか否かをチェックする。ステップ４１０の結果が失敗（例えば、ノー）の場合、ステップ４０２を連続して行い、ステップ４１０の結果が正確（例えば、イエス）の場合、データ相関チェックステップ４２０を行い、あるワークの実測値に対応したプロセスデータが存在するか否かをチェックする。続いて、ステップ４２２において、データ相関チェックが成功したか否かを判断する。ステップ４２２の結果が失敗（例えば、ノー）の場合、ステップ４０２を継続して行い、ステップ４２２の結果が正確（例えば、イエス）の場合、ステップ４２４を行い、第１段階バーチャル測定ステップ３００で得られたプロセスデータのＤＱＩｘ値を評価することにより、相関プロセスデータが正常であるか否かを判断する。ステップ４２４の結果が失敗（例えば、ノー）の場合、ステップ４０２を続けて行い、ステップ４２４の結果が正確（例えば、イエス）の場合、ステップ４３０において、あるワークの実測値のＤＱＩｙ値のチェックまたは評価を行い、実測値が正常か否かを判断する。
【０１３０】
図７Ａおよび図７Ｃを参照する。図７Ｃは、本発明の一実施形態によるＤＱＩｙ値のチェックを示す流れ図である。ステップ４３０において、まず、ステップ４３３およびステップ４３２を行い、ＤＱＩｙモデルとも呼ばれる類似パターン｛Ｐ１，  Ｐ２，  …，  Ｐｍ｝から実測値ｙｊに対応したＺスコア値
0004914457.tif 000217
に最も似たパターンＰｑをサーチする。続いて、ステップ４３４において、
0004914457.tif 000218
を計算する。さらに、ステップ４３５において、
0004914457.tif 000219
を計算する。その後、ステップ４３６において、
0004914457.tif 000220
が
0004914457.tif 000221
よりも大きいか否かをチェックする。ステップ４３６の結果が正確（例えば、イエス）の場合、実測値が異常データ（
0004914457.tif 000222
）であることを表し、ステップ４３８において警告を送り、データ分析を求める。ステップ４３６の結果が失敗の場合（例えば、ノー）、実測値が正常データ（
0004914457.tif 000223
）であることを表し、ステップ４３９において、正常データ（
0004914457.tif 000224
）をＺスコア値（
0004914457.tif 000225
）に変換し、モデル構築に用いる。さらに、ＤＱＩｙモデルの再訓練または調整を行う場合は、ステップ４３３において、プロセスデータの正常なデータ（
0004914457.tif 000226
）と、それに対応したＺスコアデータ（
0004914457.tif 000227
）とを使用し、現在モデル構築に使用しているプロセスデータおよび実測値の最も古いデータを代替するため、次のワークの再サーチを行い、ステップ４３２において最も似たパターンを得る。ステップ４３６の結果が正確（例えば、ステップ４３０の結果が異常である。）であるとき、ステップ４３８において、警告を送り、データ解析を要求する。
【０１３１】
ステップ４３０の結果が正常の場合、再訓練決定ステップ４４０（図７Ａ）を行い、プロセス装置が所定期間アイドル状態であったか否かを判断する。ステップ４４０の結果が正確（例えば、イエス）の場合、ステップ４６０を行ってバーチャル測定モデルを再訓練する。ステップ４４０の結果が失敗（例えば、ノー）の場合、他の再訓練−決定ステップ４５０を行い、手動起動の指示またはモデルリフレッシュの指示が存在するか否かをチェックする。モデルリフレッシュの指示をモデルリフレッシュ手続で使用し、初期設定を“イエス”にする。例えば、新たに移植されたモデルが操作中のとき、モデルリフレッシュ手続は、新たに移植されたモデルの再訓練に入る必要がある。ステップ４５０の結果が正確（例えば、イエス）の場合、ステップ４６０においてバーチャル測定モデルの再訓練を行う。ステップ４５０の結果が失敗（例えば、ノー）の場合、推定モデル、ＲＩモデル、ＧＳＩモデル、ＤＱＩｘモデルおよびＤＱＩｙモデルの調整を行う。再訓練ステップまたは調整ステップを行う前に、新たに収集したプロセスデータおよび実測値を応用し、履歴プロセスデータおよび実測値の最も古いデータを代替する。いわゆる調整とは、選択されたワークの現在までに得られたプロセスデータおよび実測値を基に、それぞれのモデルの重み付け値またはパラメータ値を調整し、その調整は一般に数秒で完了する。いわゆる再訓練では、更新された履歴プロセスデータおよび実測値（履歴測定データ）を用いてバーチャル測定モデルを再構築するが、その再訓練は一般に数分以内に完了する。
【０１３２】
ステップ４６０およびステップ４７０が終了した後、モデル更新ステップ４８０を行い、新たに再訓練または調整したバーチャル測定モデル（推定モデル、ＲＩモデル、ＧＳＩモデル、ＤＱＩｘモデルおよびＤＱＩｙモデルを含む）により、全体の古いバーチャル測定モデルを代替する。これら新しいバーチャル測定モデルがステップ３１０，３２０，４３０にも提供され、次のワークに対応したプロセスデータのＤＱＩｘ値を評価し、次のワークの第１段階ＶＭ値（ＶＭＩ）と、それに伴うＲＩおよびＧＳＩを計算し、次のワークの実測値のＤＱＩｙ値を評価する。同時に、ステップ４９０において、新たなバーチャル測定モデルを用い、あるワークが属するカセット中の各ワークのバーチャル測定値と、それに伴うＲＩおよびＧＳＩ（例えば、２段階バーチャル測定値（ＶＭＩＩ）と、それに伴うＲＩ／ＧＳＩ）を再計算する。このカセットは、バーチャルカセットまたは物理カセットでもよい。その後、ステップ４９２において、モデルリフレッシュ条件を判断することができる。モデルリフレッシュ条件が達成されると、モデルリフレッシュの指示が取り消される。例えば、“ノー”に設定することは、バーチャル測定モデルをリフレッシュする必要がないことを表す。以下、本実施形態のモデルリフレッシュ条件を説明する。
【０１３３】
まず、モデルリフレッシュの指示が“イエス”の場合、製造工程装置に入る前および／または後のあるワークおよび複数の連続したワークが複数の連続したリフレッシュサンプルと定義される（例えば、３つの連続したリフレッシュサンプル）。以下３つの条件が同時に満たされる場合、本実施形態のモデルリフレッシュ条件が達成されたと判断し、モデルリフレッシュの指示が“ノー”に設定されるということは、モデルリフレッシュ手続の後の全てのバーチャル測定モデルが、十分な推定精度および予測精度を有し、バーチャル測定サービスの提供に準備される。さもなければ、モデルリフレッシュ手続は、連続的に実行しなければならない。以下、それら三つの条件を述べる。
【０１３４】
（１）第１のモデルリフレッシュ条件：
これら連続したリフレッシュサンプルの第１段階バーチャル測定値の平均絶対誤差率（Ｍｅａｎ  Ａｂｓｏｌｕｔｅ  Ｐｅｒｃｅｎｔａｇｅ  Ｅｒｒｏｒ：ＭＡＰＥ）は、バーチャル測定推定のリフレッシュ閾値（ＮＮＲＴ）よりも小さい。
【０１３５】
（２）第２のモデルリフレッシュ条件：
これら連続したリフレッシュサンプルの第１段階参考予測値の平均絶対誤差率は、参考予測のリフレッシュ閾値（ＭＲＲＴ）よりも小さい。
【０１３６】
（３）第３のモデルリフレッシュ条件：
これら連続したリフレッシュサンプルの第１段階ＧＳＩ値は、ＧＳＩのリフレッシュ閾値（ＧＳＩＲＴ）よりも小さい。続いて、第１〜第３のモデルリフレッシュ条件の全てを同時に満たすと判断結果が得られ、モデルリフレッシュの指示は、判断結果が正確（イエス）の場合、ノーに設定されるか、さもなければモデルリフレッシュの指示がイエスに保持される。
【０１３７】
そのため、プロセス装置が所定期間アイドル状態となったか（ステップ４４０）、手動起動の指示またはモデルリフレッシュの指示が存在するとき（ステップ４５０）、再訓練ステップ４６０を行うか、さもなければ調整ステップ４７０を行う。
【０１３８】
以下、応用例により本発明の実施形態の長所を説明する。図８を参照する。図８は、本発明の一実施形態を化学気相成長法（Ｃｈｅｍｉｃａｌ  Ｖａｐｏｒ  Ｄｅｐｏｓｉｔｉｏｎ：ＣＶＤ）装置へ応用したときの状態を示すグラフである。このＣＶＤ装置は、６つの処理チャンバＡ〜Ｆから構成される。この応用例では、チャンバＡを選択して第１組のバーチャル測定モデルを構築し、チャンバＦへのファンアウトまたは移植を行ってから、チャンバＦのＡＶＭサーバが第１組のバーチャル測定モデルのモデルリフレッシュ手続を実行する。図８に示すように、この応用例では、６０組の履歴プロセスデータをプロセスチャンバＡから収集し、プロセスチャンバＦからの２４個のサンプルを使用して、モデルリフレッシュの結果を評価する。この応用例では、ニューラルネットワーク（ＮＮ）アルゴリズムを基に推定モデルを構築し、重回帰（ＭＲ）アルゴリズムを基に参考予測モジュールを構築する。図８に示すように、サンプル０の場合、第１段階バーチャル測定値の平均絶対誤差率（ＭＡＰＥ−ＮＮ）、第１段階バーチャル測定参考予測値の平均絶対誤差率（ＭＡＰＥ−ＭＲ）およびプロセスチャンバＦのＧＳＩ値は、プロセスチャンバＡに基づく第１組の未再訓練バーチャル測定モデルを用いて得ることができる。明らかに、サンプル０の場合、ＭＡＰＥ−ＮＮおよびＭＡＰＥ−ＭＲが高すぎるが、これはプロセスチャンバＡの特性とプロセスチャンバＦの特性とが異なるためであり、この特性の違いは、サンプル０における非常に高いＧＳＩ値から知ることもできる。しかし、サンプル１において、第１組のバーチャル測定モデルが１回再訓練されるため、ＭＡＰＥ−ＮＮおよびＭＡＰＥ−ＭＲは非常に低くなり、そのＧＳＩ値も大幅に緩和され、本発明の実施形態で用いられる再訓練ステップ（モデルリフレッシュ手続）には効果がある。この応用例において、ＮＮＲＴは１．５８であり、ＭＲＲＴは１．２７であり、ＧＳＩＲＴは３．４８である。図８から分かるように、サンプル１〜３において（連続した３点）、第１のモデルリフレッシュ条件および第２のモデルリフレッシュ条件は満たしているが、第３のモデルリフレッシュ条件は満たしていない。そのため、モデルリフレッシュ手続を続ける。サンプル３〜５において、第１のモデルリフレッシュ条件、第２のモデルリフレッシュ条件および第３のモデルリフレッシュ条件を同時に満たすということは、プロセスチャンバＦのモデルリフレッシュ手続が完了し、プロセスチャンバＦのバーチャル測定モデルは精度が高く、バーチャル測定に関連したサービスを提供することができることを表す。
【０１３９】
上述の実施形態から分かるように、本発明は、同じ装置または同じ種類の装置の各プロセスチャンバへバーチャル測定を導入する大量の時間および人手を節減することができるとともに、バーチャル測定の精度を良好に維持し、プロセスデータおよび実際の測定データ（実測値）の評価および選別を自動的に行うため、工場全体へバーチャル測定を効果的に導入することができる。
【０１４０】
本発明では好適な実施形態を前述の通り開示したが、これらは決して本発明を限定するものではなく、当該技術を熟知するものなら誰でも、本発明の主旨と領域を脱しない範囲内で各種の変更や修正を加えることができる。従って本発明の保護の範囲は、特許請求の範囲で指定した内容を基準とする。
【符号の説明】
【０１４１】
１０  ＡＶＭシステム
１２  プロセスデータ
１４  実測データ
２０ａ  プロセス装置
２０ｂ  プロセス装置
２２ａ  測定装置
２２ｂ  測定装置
３０  ＡＶＭサーバ
３０ａ  ＡＶＭサーバ
３０ｂ  ＡＶＭサーバ
３２  管理カーネル
３４  ＰＣＩ
３６  ＰＡＩ
３８  ＰＤＩ
４０  ２段階バーチャル測定アルゴリズム
４２  レポート生成装置
４４  コミュニケーションエージェント
４６  バーチャル測定モデル記憶モジュール
４８  データ収集ドライバ
５０ａ  ＶＭユニット
５０ｂ  ＶＭユニット
５２  データ前処理モジュール
５６  データベース
５８  ＧＵＩ
６０  モデル構築サーバ
６２  インターネット
【図１】
0004914457.tif 000229
【図２】
0004914457.tif 000230
【図３】
0004914457.tif 000231
【図４】
0004914457.tif 000232
【図５】
0004914457.tif 000233
【図６Ａ】
0004914457.tif 000234
【図６Ｂ】
0004914457.tif 000235
【図７Ａ】
0004914457.tif 000236
【図７Ｂ】
0004914457.tif 000237
【図７Ｃ】
0004914457.tif 000238
【図８】
0004914457.tif 000239