(57)【要約】【課題】生産装置が加工中のプロセスパラメータと、製品の過去数ロットの実際測定値とを基に、将来生産される製品品質を予測する。【解決手段】本発明は主に推測モデル手段１００および予測モデル手段２００の二つからなり、その推測方法および予測方法は、実際の生産装置の特性に合わせて選択され、推測モデル手段１００にはバーチャル測定を用いることができる。また、本発明は自己探索手段１６０および自己調整手段１８０をさらに備え、アルゴリズムにより最適なパラメータおよび関数の組み合わせを選択して、新しい生産装置２０の特性および推測／予測精度の要求を満たす。【選択図】図２
2006024195.tif 000002
【特許請求の範囲】
【請求項１】
推測モデル手段、予測モデル手段、原始データ前処理手段、自己探索手段、自己調整手段および評価指標を少なくとも備える生産工程の品質予測システムであって、
前記推測モデル手段は、生産装置の現在の一組の入力データにより推測して前記生産装置が生産している製品の一ロットの推測品質値を得て、前記推測モデル手段は推測方法から構築され、前記推測方法は、第１のニューラルネットワーク、ファジー理論、ステップワイズ回帰およびその他の推測能力を有する技術からなる群から選ばれる一種以上を含み、
前記予測モデル手段は、現在推測される前記製品の一ロットの前記推測品質と、少なくとも製品の過去一ロットの少なくとも一つの実際の品質測定値とから、製品の次ロットの予測品質値を予測し、前記予測モデル手段は予測方法からなり、前記予測方法は、加重移動平均、第２のニューラルネットワークおよびその他予測能力を備えるアルゴリズムからなる群から選ばれる一種以上を含み、
前記原始データ前処理手段は、前記生産装置により入力された一組の原始データを、特定データ形式を有する前記入力データに変換し、
前記自己探索手段は、前記推測方法または前記予測方法を選択して関連する初期値を設定するときに、前記推測方法または前記予測方法に必要な一組の最適なパラメータと関数との組み合わせを選んで推測／予測精度を高め、
前記自己調整手段は、前記生産装置が一定時間運転された後に、推測／予測精度が所定精度よりも低くなったり、定期検査や部品交換により前記生産装置の特性が変化したりしたときに、前記自己調整機構を起動して調整を行い、新しい前記生産装置の特性および推測／予測精度の要求に合致させ、
前記評価指標は、前記製造工程の品質予測システムの精度を評価し、前記評価指標は、平均絶対誤差率（ＭＡＰＥ）および最大誤差（max error）からなる群から選ばれる一種以上を含むことを特徴とする生産工程の品質予測システム。
【請求項２】
推測モデルステップ、予測モデルステップ、原始データ前処理ステップ、自己探索ステップ、評価指標ステップおよび自己調整ステップを少なくとも含む生産工程の品質予測方法であって、
前記推測モデルステップにおいて、生産装置の現在の一組の入力データを基に推測を行い、前記生産装置が生産中の製品の一ロットの推測品質値を得て、前記推測モデルステップには推測方法が用いられ、前記推測方法は、第１のニューラルネットワーク、ファジー理論、ステップワイズ回帰およびその他推測能力を有する技術からなる群から選ばれる一種以上を含み、
前記予測モデルステップにおいて、現在推測できる製品の一ロットの前記推測品質値と、少なくとも製品の前ロットの少なくとも一つの実際の品質測定値とから、製品の次ロットの予測品質値を予測し、前記予測モデルステップには予測方法が用いられ、前記予測方法は、加重移動平均、第２のニューラルネットワークおよびその他予測能力を有するアルゴリズムからなる群から選ばれる一種以上を含み、
前記原始データ前処理ステップにおいて、前記生産装置により入力された一組の原始データを、特定データ形式を有する前記入力データに変換し、
前記自己探索ステップにおいて、前記推測方法または前記予測方法を選択して関連する初期値を設定するときに、前記推測方法または前記予測方法に必要な一組の最適なパラメータと関数との組み合わせを選んで推測／予測精度を高め、
前記評価指標ステップにおいて、前記製造工程の品質予測システムの精度を評価し、前記評価指標は、平均絶対誤差率および最大誤差からなる群から選ばれる一種以上を含み、
前記自己調整ステップは、前記生産装置が一定時間運転されて、推測／予測精度が所定下限値よりも低くなったり、定期検査や部品交換により生産装置の特性が変化したりしたときに調整を行い、新しい前記生産装置の特性および推測／予測精度の要求に合致させることを特徴とする生産工程の品質予測方法。
【請求項３】
前記ニューラルネットワークを用いる生産工程の品質予測方法であって、
前記推測モデルステップが、
前記生産装置のセンサデータを集めて複数の入力パラメータを選択するステップと、
隠れ層の層数、ノード数の範囲および伝達関数を選択するステップと、
複数のトレーニングデータセットおよび複数のテストデータセットを選択するステップと、
データ前処理を実施し、前記ニューラルネットワークのトレーニングを行う前に、前記センサデータおよび前記出力パラメータに対して正規化（normalize）を行い、前記ニューラルネットワークのトレーニングが完了した後に、前記ニューラルネットワークにより推測して得られた出力値を脱正規化するステップと、
前記ニューラルネットワークのトレーニング終了条件を設定するステップと、
前記ニューラルネットワークの初期ウエイトを設定するステップと、
前記ニューラルネットワークを実行するステップと、
推測出力と実際出力との誤差を計算するステップと、
終了条件が成立しているか否かを検査し、トレーニング回数が所定回数値に達するか前記誤差が所定誤差値よりも低くなる終了条件が成立したときに、前記ニューラルネットワークのトレーニングを終了するステップと、
前記終了条件が成立しないときに、前記誤差を戻して初期ウエイトを調整するステップを行い、前記ニューラルネットワークを実行するステップと、
自己探索が完了したか否かを検査して検査結果を生成するステップと、
前記検査結果がノーのときに、新しい隠れ層の層数、新しいノード数の個数または新しい伝達関数を選択するステップと、
前記検査結果がイエスのときに、前記初期ウエイト、前記隠れ層の層数、前記ノード数の範囲および前記伝達関数の最適な組み合わせを選択して、前記推測モデルステップの構築を完了するステップと、
を少なくとも含むことを特徴とする請求項２記載の生産工程の品質予測方法。
【請求項４】
前記予測方法は加重移動平均を用い、前記加重移動平均は測定装置により得られた製品の過去二ロットの前記実際の品質測定値（ｙｉ−１，ｙｉ−２）、前記推測品質値（ｙｃｉ）を基に、製品の次ロットの前記予測品質値（ｙｐｉ＋１）を予測し、前記加重移動平均の式は、ｙｐｉ＋１＝ｗｉｙｃｉ＋ｗｉ−１ｙｉ−１＋ｗｉ−２ｙｉ−２で表され、そのうちｗｉ，ｗｉ−１，ｗｉ−２はウエイト値であることを特徴とする請求項２記載の生産工程の品質予測方法。
【請求項５】
前記自己調整ステップは、
前記生産装置のセンサデータを集めて複数の入力パラメータを選択するステップと、
前記推測および／または予測モデルステップを実行し、製品の次ロットの前記推測および／または予測品質値を得るステップと、
前記推測および／または予測品質値と、実際の品質測定値とを用いて前記推測および／または予測品質値の推測および／または予測精度を計算するステップと、
前記推測および／または予測精度が前記所定下限値よりも低いか否かを判断して判断結果を生成するステップと、
前記判断結果がイエスのときに、前記推測／予測精度が所定下限値よりも低いデータをトレーニングデータへ加えて再びトレーニングし、前記推測および／または予測モデルステップを構築してから、製品の次ロットの品質推測／予測を継続して行うステップと、
前記判断結果がノーのときに、製品の次ロットの品質推測／予測を継続して行うステップと、
を少なくとも含むことを特徴とする請求項２記載の生産工程の品質予測方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は生産工程の品質予測システムおよびその方法に関し、特に半導体およびＴＦＴ−ＬＣＤの生産工場における生産装置の製品品質のバーチャル測定および予測に適用するシステムおよびその方法に関する。
【背景技術】
【０００２】
一般に半導体およびＴＦＴ−ＬＣＤの製造工程および検査工程は通常別々に行われる。つまり、先ず生産装置により加工を行ってから測定装置へ送って検査を行う。また、コストの関係上、大部分の検査は抜き取りサンプル方式により製品の品質を判断していた。そのため、生産工程において製品のあるロットに問題が発生しても、検査するまで分からない上、分かったときには工程設備によって不良品を含むロットが多数生産されていた。現在、大部分の方法は、生産設備のプロセスパラメータを監視し、このパラメータを基に生産された製品品質に異常が発生しているか否かを判断していた。しかし、これらの方法には、監視システムがプロセスパラメータの異常を探知したときに、不良品がすでに生産されているという共通の問題点があった。また、現在の半導体およびＴＦＴ−ＬＣＤの生産工場には、ロット生産が採用されているため、製品に異常が見つかったときには、通常一つや二つだけでなく一ロット全体が廃棄処分されるため、製品の歩留まりが低下するとともに、工場の生産能力および生産コストにも非常に悪い影響を与えた。そのため、各製造メーカは次ロットの製品品質を予測することができる方法を探していた。
【０００３】
現在、製品品質または製造工程で発生する異常を予測する方法には次のようなものがある。（１）生産データから製品不良が発生する原因を推論する半導体工場における装置修理の作業効率を向上させるアーキテクチャ。（２）ニューラルネットワークをプラズマエッチング装置のリアルタイム故障監視に利用し、パターン認識技術によりプラズマエッチング工程中のパラメータに異常が発生していないかを判断する技術。（３）表面実装技術（Surface Mount Technology：ＳＭＴ）を例に、ファジー連想メモリ（Fuzzy Associative Memory：ＦＡＭ）を用いて工程情報を取り出し、レベル調整作業管理方法と合わせ、図形化されたヒューマンマシンインタフェースを有するＳＭＴの品質予測および制御システム。（４）ウェーハの欠陥密度分布を取得する方法により歩留まり予測を向上させ、ウェーハ欠陥のクラスターレベルを探し出し、データの収集分析を行う時間およびコストを減らす。（５）製造工程中の温度を測定することによりＧａＡｓ装置の寿命を予測する方法。（６）温度上昇がＳｉＯ２薄膜の寿命に与える影響。
【０００４】
しかし、上述の研究は主に現有するプロセスパラメータデータを利用して、生産中の製品に発生する異常を推測するものであり、次ロットの製品品質を予測するものではなかった。一般にほとんどの研究は、推測するために入力されるパラメータの種類が少なかったため、推測アーキテクチャは特定の装置にしか適用することができなかった。
【０００５】
特許文献１では、半導体産業に応用する半導体ウェーハ製造工程の研磨厚の制御システムが開示されている。このシステムには、ウェーハ研磨装置、膜厚測定装置および研磨速度制御システムの三つの主要部分が含まれている。この特許文献１は、膜厚を比較する方式により必要な研磨速度を分析予測し、基本的には実際の品質測定値により研磨制御に必要な情報を提供する必要があり、バーチャル測定方式を用いて膜厚値を推測することはできず、測定するまでその結果は分からなかった。
【０００６】
特許文献２では、半導体設備に応用するデータベースパラメータモデルを利用した方法が開示されている。この方法は、半導体製造ツールの製造工程における損耗変化を比較し、この比較結果を基にパラメータ設定を変更し、加工される製品にツールの損耗により異常が発生することがないようにする。しかし、この方法には、製造工程のパラメータに大きい変化が発生した場合、データベースのパラメータモデルの種類と困難度も相対的に高まるため、設備特性の違いにより適合する予測モデルを使用することができず、柔軟性がないという問題点があった。
【０００７】
また、特許文献３では、半導体製造工程に応用する半導体製造設備の監視および工程結果の予測方法が開示されている。この方法では、工程設備のセンサデータおよび工程結果の測定値を得て、部分最小自乗方法（partial least square method）により新しいパラメータ設定を計算する。しかし、この方法では、現有するパラメータデータを基に現在生産されている製品測定値を予測することができるだけであり、将来の特定時間に生産される製品品質を予測することはできなかった。
【０００８】
また、特許文献４では、半導体ウェーハの温度予測に応用するウェーハ製造工程の温度を予測する方法が開示されている。この方法は、ウェーハ上の二種類の異なる塗布層を利用してウェーハ製造工程の温度を予測する。しかし、特許文献４の予測方法は基本的に特定種類の装置にしか適用できなかったため、汎用性に欠けていた。
【０００９】
従って、製品が生産される前に、生産装置自身が現有するプロセスパラメータと、製品の過去数ロットの品質測定データとを基に次ロットの製品品質を予測し、汎用性を備えて、従来技術の欠点を改善することのできる生産工程の品質予測システムおよびその方法が求められていた。
【００１０】
【特許文献１】米国特許第６５９４５４２号公報
【特許文献２】米国特許第６６２５５１３号公報
【特許文献３】米国特許第６６１６７５９号公報
【特許文献４】米国特許第６６６６５７７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明の第１の目的は、製品が生産される前に、生産装置自身が現有するプロセスパラメータと、製品の過去数ロットの品質測定データとを基に次ロットの品質を予測することができ、製品の品質および装置の使用機能および利用率（availability）を高めて、製造業の競争力を向上する生産工程の品質予測システムおよびその方法を提供することにある。
【００１２】
本発明の第２の目的は、半導体およびＴＦＴ−ＬＣＤの製造工程における様々な設備に適用し、汎用性を備えた生産工程の品質予測システムおよびその方法を提供することにある。
【課題を解決するための手段】
【００１３】
上述の目的を達成するため、本発明の生産工程の品質予測システムは、推測モデル手段、予測モデル手段、原始データ前処理手段、自己探索手段および自己調整手段を少なくとも備える。推測モデル手段は、生産装置の一組の入力データにより推測して生産装置が生産している製品の一ロットの推測品質値を得て、推測モデル手段は推測方法から構築され、推測方法は、第１のニューラルネットワーク、ファジー理論、ステップワイズ回帰（stepwise regression）およびその他の推測能力を有する技術からなる群から選ばれる一種以上を含む。予測モデル手段は、現在推測できる製品の一ロットの推測品質と、少なくとも製品の過去一ロットの少なくとも一つの実際の品質測定値とから、製品の次ロットの予測品質値を予測し、予測モデル手段は予測方法からなり、予測方法は、加重移動平均、第２のニューラルネットワークおよびその他予測能力を備えるアルゴリズムからなる群から選ばれる一種以上を含む。原始データ前処理手段は、生産装置により入力された一組の原始データを、特定データ形式を有する入力データに変換する。自己探索手段は、推測方法または予測方法を選択して関連する初期値を設定するときに、推測方法または予測方法に必要な一組の最適なパラメータと関数との組み合わせを選んで推測／予測精度を高める。自己調整手段は、生産装置が一定時間運転された後に、推測／予測精度が所定精度よりも低くなったり、定期検査や部品交換により生産装置の特性が変化したりしたときに、自己調整機構を起動して調整を行い、新しい生産装置の特性および推測／予測精度の要求に合致させる。
【００１４】
また、本発明の生産工程の品質予測方法は、推測モデルステップ、予測モデルステップ、原始データ前処理ステップ、自己探索ステップ、評価指標ステップおよび自己調整ステップを少なくとも含む。推測モデルステップにおいて、生産装置の一組の入力データを基に推測を行い、生産装置が生産中の製品の一ロットの推測品質値を得て、推測モデルステップには推測方法が用いられ、この推測方法は、第１のニューラルネットワーク、ファジー理論、ステップワイズ回帰およびその他推測能力を有する技術からなる群から選ばれる一種以上を含む。推測モデル手段はバーチャル測定として使用することもできる。いわゆるバーチャル測定とは、生産装置により検知されたデータを基に生産装置の操作性能を推測し、実際に測定を行う必要がない方法と定義する。予測モデルステップにおいて、現在推測できる製品の一ロットの推測品質値と、少なくとも製品の前ロットの少なくとも一つの実際の品質測定値とから、製品の次ロットの予測品質値を予測し、予測モデルステップには予測方法が用いられ、この予測方法は、加重移動平均、第２のニューラルネットワークおよびその他予測能力を有するアルゴリズムからなる群から選ばれる一種以上を含む。原始データ前処理ステップにおいて、生産装置により入力された一組の原始データを、特定データ形式を有する入力データに変換する。自己探索ステップにおいて、推測方法または予測方法を選択して関連する初期値を設定するときに、推測方法または予測方法に必要な一組の最適なパラメータと関数との組み合わせを選んで推測／予測精度を高める。評価指標ステップにおいて、製造工程の品質予測システムの精度を評価し、評価指標は、平均絶対誤差率および最大誤差からなる群から選ばれる一種以上を含む。自己調整ステップでは、生産装置が一定時間運転されて、推測／予測精度が所定下限値よりも低くなったり、定期検査や部品交換により生産装置の特性が変化したりしたときに調整を行い、新しい生産装置の特性および推測／予測精度の要求に合致させる。
【発明の効果】
【００１５】
上述したことから分かるように、本発明は、製品が生産される前に、生産装置自身が現有するプロセスパラメータと、製品の過去数ロットの品質測定データとを基に次ロットの製品品質を予測し、汎用性を備えて、従来技術の欠点を改善することができる。
【発明を実施するための最良の形態】
【００１６】
本発明は、統計的品質管理（Statistic
Process Control：ＳＰＣ）、高度プロセス制御（Advanced Process Control：ＡＰＣ）などの一般の監視システムと異なり、製品が生産される前に、設備（生産装置）自体の現在のプロセスパラメータと製品の過去数ロットの品質測定データとを基に、次ロットの製品品質を予測することができる。
【００１７】
図１は、本実施形態の製造工程の品質予測システムを示すブロック図である。この品質予測システムは、推測モデル手段１００および予測モデル手段２００からなる。この品質予測システムは、バーチャル測定および品質予測へ同時に使用され、推測モデル手段１００はバーチャル測定として使用される。この二層式アーキテクチャにより、本実施形態の品質予測システムは工場の実際の必要性に合わせて適当に組み合わせることができるため、実際の応用において柔軟性を有する。また、推測モデル手段１００内で使用する推測方法は代替が可能であり、実際の生産設備の物理特性およびパラメータ特性に合わせて、例えばニューラルネットワーク、ファジー理論およびステップワイズ回帰技術などのように、人工知能、統計や数学など様々なアルゴリズムを選択することができる。予測モデル手段２００内で使用される予測方法は、加重移動平均、ニューラルネットワークまたはその他予測能力を有するアルゴリズムである。
【００１８】
図２は、本実施形態の自己探索手段および自己調整手段を有する品質予測システムを示すブロック図である。先ず、生産装置２０のプロセスパラメータおよびそのセンサデータを原始データ前処理手段１１０へ送って処理する。生産装置２０のプロセスパラメータおよびそのセンサデータの種類は非常に多く、推測モデル手段１００が使用しなければならないパラメータはこれらデータの一部だけである可能性があるため、原始データ前処理手段１１０によりデータを選別し、非常に多いデータから必要なプロセスパラメータまたはセンサデータ（Ｘｉ）を取り出す必要があった。どのデータを選択して入力パラメータにするかは、生産装置２０の物理特性と、選定された推測方法または予測方法とにより異なる。また、この生産設備から得られるプロセスパラメータおよびセンサデータは、異なるデータ形式である可能性があるため、原始データ前処理手段１１０によりこれら異なる形式を処理して、推測モデル手段１００に必要な特定のデータ形式に変換する必要があった。
【００１９】
続いて、データ前処理手段１１０により処理された入力データを推測モデル手段１００へ送る。推測モデル手段１００は、生産装置２０の入力データを利用して、現在生産されている製品品質を推測し、推測品質値（ｙｃｉ）を得る。その後、この推測品質値を予測モデル手段２００へ入力する。この予測モデル手段２００は、現在推測できる製品の現ロットの推測品質値（ｙｃｉ）と、測定装置３０により得られた製品の過去数ロットの実際品質測定値（ｙｉ−１，ｙｉ−２，…，ｙｉ−ｎ）とにより、次ロットの製品品質を予測して予測品質値（ｙｐｉ＋１）を得る。予測モデル手段２００は、推測モデル手段１００と同様に、生産装置２０自体の特性に合わせて適当な予測方法を選択し、移動平均やニューラルネットワークなどにより予測モデルが構築される。
【００２０】
続いて、推測品質値（ｙｃｉ）を推測精度評価手段１３０へ送り、この製品の実際の品質測定値（ｙｉ）と比較して、推測精度評価指標を得る。同時に予測品質値（ｙｐｉ＋１）を予測精度評価手段２１０へ送ってこの製品の実際の品質測定値（ｙｉ＋１）と比べ、予測精度評価指標を得る。推測／予測精度の評価方法は非常に多く、評価する対象特性に合わせて適合する評価指標を選択することができる。例えば、平均絶対誤差率（Mean Absolute Percentage Error：ＭＡＰＥ）および最大誤差（max error）は、本実施形態の推測／予測精度の評価指標にすることができる。
【００２１】
また、半導体およびＴＦＴ−ＬＣＤの生産工場にある生産設備は種類が非常に多く、設備特性も同じでないため、一種類だけの推測アルゴリズムを様々な種類の装置に適用することは困難であった。そのため、本実施形態が提供する一般の推測モデル手段１００および予測モデル手段２００は、ユーザ１０が選択および設定のインタフェース１２０を介し、生産装置２０の特性に合わせて人工知能、統計または数学などの様々なアルゴリズムを選択することにより、推測モデル手段１００および予測モデル手段２００の推測方法および予測方法を構築する。使用する装置の種類が増加すると同時に予測アルゴリズムが増加し続けている現状において、用いることのできる予測アルゴリズムが多くなると、本予測アーキテクチャの適用性もそれに従って広がる。ユーザ１０は選択および設定のインタフェース１２０を用いて推測方法または予測方法を適当に選択し、関連初期値を設定することができる。そして、ユーザ１０が選択および設定を完了すると、品質予測システムは直ちに実行される。
【００２２】
本実施形態のもう一つの特徴は、推測モデルの自己探索手段３００、予測モデルの自己探索手段３１０、推測モデルの自己調整手段４００および予測モデルの自己調整手段４１０にあり、その主な目的は推測／予測アーキテクチャの構築にかかる労力および時間を減らすことにある。図２に示すように、一つの推測モデルまたは予測モデルを効率良く構築するため、本実施形態は様々なアルゴリズムが選択されて組み込まれた自己探索手段を提供する。例えば、ユーザ１０がバックプロパゲーションニューラルネットワークを選択して推測モデルを構築する場合、自己探索手段３００は、ユーザ１０により設定された隠れ層の層数、各隠れ層の個数範囲および伝達関数の種類などを基に、最適なパラメータ、関数およびウエイト値の組み合わせを自動的に探索する。ユーザ１０がファジー理論により推測モデルを構築した場合、自己探索手段３００は設定可能なメンバシップ関数から最適なメンバシップ関数を探し出す。この他に、ラジアル基底関数（Radial Basis Function）ニューラルネットワークを選択して推測モデルを構築し、トレーニング時間を短縮することもできる。同様に、ユーザ１０が加重移動平均により予測モデルを構築した場合、自己探索手段３１０はユーザ１０により設定されたウエイト値の範囲を基に最適なウエイト値の組み合わせを探し出す。そのため、ユーザ１０が探索パラメータの範囲または関数の種類を設定するだけで、自己探索手段３００、３１０は最適なモデルパラメータ、関数およびウエイト値の組み合わせを探し出すことができる。通常、各生産設備はそれぞれが異なるプロセスパラメータとセンサ特性とを有するため、装置特性により推測モデルおよび予測モデルを構築する必要がある。一つの新しいモデルを構築するには、非常に多くの人的資源と時間とを投入する必要があるため、自己探索手段は開発に必要な時間と人的資源を減らし、一つ一つ予め構築されたモデルにより、本実施形態の推測／予測システムを新しい装置へ移すときにかかる設定と調整の時間を大幅に短縮することができる。
【００２３】
また、設備は生産の過程において、時間が経過するにともない、部品が老化、疲労して設備特性に偏移が発生したり、定期検査、部品交換などにより回復された後の装置特性が以前の状態と一致しなくなるといった問題が発生したりするときに、予測アーキテクチャは自己調整を行う能力が必要であった。そして、これらの問題は推測モデルの自己調整手段４００および予測モデルの自己調整手段４１０により処理される。推測／予測精度評価指標を監視することにより、自己調整手段４００、４１０は、品質推測／予測モデル手段１００、２００の状態をいつでも知ることができ、実際の設備の必要性に合わせて許容精度の所定下限値Ｍ％（例えば９０％〜９９％）を設定することができる。推測／予測システム精度が所定の下限値よりも低い場合、自己調整手段４００、４１０は起動されて自己探索手段３００、３１０と合わせて、この推測／予測精度が所定下限値よりも低いデータをトレーニングデータ中へ加え、新たにトレーニングして一つの新しい品質予測システムを構築することにより古い品質予測システムを代替し、推測／予測精度を以前の要求標準まで回復させることができる。
【００２４】
図２において、予測モデルの自己調整手段４１０が点線で示されているが、これはこの自己調整手段４１０が選択可能であることを表している。つまり、この予測システムアーキテクチャは、選択された予測モデルに合わせて、この自己調整手段４１０を加えるか否かを決定することができるということである。予測モデル手段に加重移動平均が用いられている場合、このアルゴリズム自体の特性は自己調整機構の効果を突出させることが容易でないため、予測モデルの自己調整手段４１０を加えないことが考慮できる。ニューラルネットワークを予測モデルのアーキテクチャ方法にした場合、自己調整手段４１０を加えて予測誤差を低減させ、予測結果の精度をさらに向上させることができる。また、新しいアーキテクチャのノード数範囲の設定には、予め構築したアーキテクチャのノード数を基準にして、探索範囲を小さくして、自己調整手段の探索時間を節約することができる。
【００２５】
以下の実施形態では、ＴＦＴ−ＬＣＤの生産工場におけるスパッタリング装置を用いて説明する。
【００２６】
図３は、本実施形態のＴＦＴ−ＬＣＤの生産工場におけるスパッタリング装置を示す模式図である。この装置の内部には全部で１６個のモジュールがあり、各モジュールはそれぞれ異なる加工を行ってガラス（原材料）上に一層の薄い金属膜をコーティングし、この金属膜の機能はＬＣＤパネルのカラーフレームにすることである。図３の矢印は、製造工程が実施される方向を表す。先ず、ガラスが出入口から加工装置モジュールへ入れられ、モジュールの番号順に加工が行われる。前半８つのモジュールが完了すると、回転モジュールによりガラスを９番目のモジュールまで回転させて加工を継続し、最後に出入口から送り出す。この工程の各モジュールは全て真空状態である。真空バキュームを実行するモジュールには真空度センサが設置されて真空状態を知ることができる。不活性ガスの輸送を実行するモジュールには気体濃度センサが設置され、気体濃度の実際の状態を知ることができる。加工領域中の正負イオンプラズマ濃度を制御する電界には、電圧、電流およびパワーを探知するセンサが設置されている。そのため、実際の加工工程では連続したセンサデータが記録される。生産装置は生産工程においてプロセスパラメータ（センサ）データを記録し、ガラスの加工が完了すると、完成品１００個毎に２個をランダムに抜き取って測定装置へ送り、スパッタリング層の膜厚データを測定して記録する。
【００２７】
図４は、本実施形態の品質予測工程の流れを示す模式図であり、測定装置により提供される製品の過去数ロットの測定品質値（ｙｉ−１，ｙｉ−２，…，ｙｉ−ｎ）と、生産装置が現在生産中のプロセスパラメータから推測された現ロットの推測品質値（ｙｃｉ）とから、次ロットの予測品質値（ｙｐｉ＋１）を予測することができる。
【００２８】
（推測モデル手段の構築）
推測モデル手段の推測方法には、人工知能、数学や統計などの様々なアルゴリズムを用いることができる。本実施形態ではバックプロパゲーションニューラルネットワークの方法により構築された推測モデルを説明する。図５は、本実施形態の推測モデル手段の構築ステップを示す流れ図である。
【００２９】
先ず、ステップ４２２において、センサデータを集めて入力パラメータを選択する。本実施形態の装置は加工工程において、記録できるパラメータが計１７７項目あり、設備エンジニアにより設定された固定項目を削除し、装置特性を基に９６項目のパラメータを選別して有効なプロセスパラメータデータにする。これらのパラメータは、真空度、不活性ガス濃度、温度、電圧、電流、パワーの６種類に分けられる。その後、設備特徴、パラメータ特性分析および設備エンジニアの意見を基に、９６項目のパラメータから４０項目のパラメータを選別して入力パラメータとする。この４０項目のパラメータは、それぞれ装置モジュールの真空度、不活性ガス濃度およびパワーである。各モジュールセンサは、１０秒毎に一つのデータを記録し、一製品を約１分で完成させる。従って、１分間には６つのセンサデータと一つの製品とがつくられる。図６は、一つのモジュールのプロセスパラメータデータおよび製品測定値の一部を示す表であり、その表中では左から右にサンプリング時間、真空度、気体濃度１、気体濃度２、気体濃度３、パワー、加工開始時間および製品測定値が示されている。製品１００個毎にランダムに２個抜き取って測定し、抜き取る時間は約１００分間隔である。上述したことから分かるように、６つ毎の入力パラメータ値は、一製品の測定値に対応する。センサは１０秒毎に１データを記録するため、各パラメータには１分間に６つのデータが生成される。本実施形態は、製品を基に各設備モジュールの加工時間の前後の順番を選択し、全部で６つのデータを推測モデルのニューラルネットワークとして入力する。
【００３０】
続いて、ステップ４２４において、隠れ層の層数、ノード数範囲および伝達関数の種類を選択する。隠れ層の層数は、一般の情況では一層か二層で良好な収斂状態を得ることができる。隠れ層のノード数を多くすると収斂速度が加速されて、小さい誤差値を得ることができ、好適な推測効果を得ることができる。ただしノード数が多すぎると、過度の学習を引き起こしてトレーニング時間が長くなりすぎる現象を発生させる可能性があった。反対にノード数が少なすぎるときは、ネットワークアーキテクチャは出力と入力との間の関係を構築するのに不足であった。そのため、最も優れた効果を得るため、ノード数は適当に選択されなければならなかった。また、隠れ層における伝達関数の選択に関しては、従来のバックプロパゲーションニューラルネットワークの基本伝達関数タイプは対数シグモイド伝達関数（Log-Sigmoid）であり、この伝達関数は以下の数式（１）により表される。
【００３１】
【数１】
2006024195.tif 000003
【００３２】
また、選択できるその他の伝達関数は正接シグモイド伝達関数（Hyper Tangent-Sigmoid）であり、それは数式（２）のように表される。
【００３３】
【数２】
2006024195.tif 000004
【００３４】
本実施形態の二層の隠れ層のニューラルネットワークモデルを推測方法にし、各隠れ層の個数設定範囲を１〜５０とし、伝達関数の種類は対数シグモイド伝達関数および正接シグモイド伝達関数であり、自己探索機構を使用して、最適なノード数および伝達関数の組み合わせを自動的に探し出す。
【００３５】
続いて、ステップ４２６において、トレーニングデータセットおよびテストデータセットを選択する。本実施形態の原始装置データは８５個あり、そのうち５０個のデータセットはトレーニングデータとして使用され、残りの３５個はテストデータとして使用される。
【００３６】
続いて、データ前処理を行うステップ４２８へ進む。ステップ４２８では、ニューラルネットワークのトレーニングを実行する前に、入力値および出力値に対して正規化（normalize）を行いニューラルネットワークのトレーニングの効率をさらに良くする。そして、ニューラルネットワークのトレーニングが完了した後に、ネットワークにより推測された出力値を脱正規化することにより、実際の物理的規模を回復させる。
【００３７】
続いて、ステップ４３０において、トレーニング終了条件を設定する。本実施形態では、トレーニングのサイクル回数および誤差関数をトレーニングの終了条件に選択し、トレーニングが所定の回数値に達するか、誤差関数が所定の誤差値よりも低くなったときにトレーニングを終了する。
【００３８】
続いて、ステップ４３２において初期ウエイトを設定する。一般のニューラルネットワークでは乱数を発生させて初期ウエイトを設定するが、本実施形態では、制限条件を有するランダム初期化ウエイト値の方法であるニューイェン（Nguyen）とウィンドロウ（Windrow）の初期化アルゴリズムにより初期ウエイトを発生させる。
【００３９】
続いて、初期ウエイト設定が完了した後に、ステップ４３４においてニューラルネットワークの実行を開始する。
【００４０】
続いて、ステップ４３６において、推測された出力と実際の出力との誤差を計算する。誤差性能関数には、以下の数式（３）に示すように平均二乗誤差（Mean Square Error：ＭＳＥ）が用いられる。
【００４１】
【数３】
2006024195.tif 000005
【００４２】
続いて、ステップ４３８において、終了条件が成立したか否かを検査する。そして、トレーニング回数が所定の回数値に達するか、誤差関数が所定の誤差値よりも低くなるとトレーニングは直ちに停止される。
【００４３】
もし終了条件が成立しないときには、誤差を戻して初期ウエイトを調整するステップ４４０へ進んでから、ニューラルネットワークを実行するステップ４３４へ進む。ステップ４４０は、バックプロパゲーションネットワークの動作原理が基となっており、このサイクルによりニューラルネットワークの自己学習機構が構成されている。
【００４４】
ステップ４３８の終了条件が成立するとステップ４４２へ進んで、自己探索が完了したか否かを検査する。自己探索が完了していない場合には、ステップ４４４へ進んで、新しい隠れ層の層数、ノード数の個数そして伝達関数の組み合わせを選択してから、初期ウエイトを設定するステップ４３２へ進む。ステップ４４４において、自己探索機構は、新しい隠れ層の層数、ノード数の個数および伝達関数の組み合わせが未だ測定されていないか否かを検査し、まだある場合には、自己探索機構は一組の新しい隠れ層の層数、ノード数の個数そして伝達関数を選択し、ステップ４３２へ戻って測定を継続する。もし隠れ層の層数、ノード数の個数そして伝達関数の組み合わせが全て検査を通過すると、自己探索機構はステップ４４６へ進んで実行し、最適なウエイトパラメータの組み合わせを選択して保存し、推測モデルの構築を完成させる。
【００４５】
本実施形態が使用するニューラルネットワーク推測モデルは、自己学習機構を用いて構築されているため、システム開発者は可能な隠れ層の層数、各隠れ層のノード数範囲、伝達関数の種類そして終了条件などを入力するだけで、自己探索機構はこれらの設定を基に最適なニューラルネットワークの推測モデルおよび全てのウエイト値を自動的に探し出すことができるが、最適なモデルを探し出す時間は、設定されたパラメータの探索範囲と関係がある。探索時間を短縮するにはパラメータの探索範囲の大きさを適当に調整するだけでよい。一般に経験則を基に設定されたパラメータ範囲は探索時間を減らすことができ、時間という要素を考慮しなければ、パラメータの探索範囲が広いほど、より良いニューラルネットワークモデルを探し出すことができる。
【００４６】
また、本実施形態は移動平均を使用することにより予測モデル手段を構築し、この移動平均は測定設備により得られた過去二ロットの二つの実際の品質測定値（ｙｉ−１，ｙｉ−２）と、ニューラルネットワークの推測モデルにより得られた現ロットの推測品質値（ｙｃｉ）とを基に、次ロットの製品品質（ｙｐｉ＋１）を予測することができる。本実施形態は単純移動平均および加重移動平均の二種類の予測モデルによりこの予測効果を比較し、ウエイト値の範囲設定も自己探索機構（手段）が用いられて、最適な予測モデルを探索する。加重移動平均は以下の数式（４）で表される。
【００４７】
【数４】
2006024195.tif 000006
【００４８】
ユーザはウエイトパラメータの範囲を設定するだけで、自己探索機構は可能な様々なウエイトの組み合わせを測定し、予測値（ｙｐｉ＋１）と実際の品質測定値（ｙｉ＋１）との間の誤差の大きさを基に最適なウエイト組み合わせを探し出す。
【００４９】
また、本実施形態は評価指標を用いて予測精度を判断する。本実施形態の評価指標には平均絶対誤差率（Mean Absolute Percentage Error：ＭＡＰＥ）および最大誤差（max Error）の二つの誤差指標値が用いられ、品質予測モデルの評価は次の数式（５）および数式（６）で表される。
【００５０】
【数５】
2006024195.tif 000007
【００５１】
ＭＡＰＥ誤差指標値が０に近づくほど、モデルの予測能力は優れていることを示す。最大誤差指標は、実際値と予測値との間の最大差異を示す。
【００５２】
本実施形態の品質予測アーキテクチャは、上述の実施形態で示すニューラルネットワーク（Neural Network：ＮＮ）推測モデルと加重移動平均（ＷＭＡ）予測モデルとの組み合わせ以外にも、その他の組み合わせ方式を用いて品質予測システムを構築することもできる。例えば、ニューラルネットワーク（ＮＮ）推測モデルとニューラルネットワーク（ＮＮ）予測モデル、或いは一つに複合されたニューラルネットワーク（Combined Neural Network：ＣＮＮ）推測予測モデルの組み合わせなどである。図７は、本実施形態の予測結果を示すグラフである。１〜１０のデータをトレーニングデータとし、１１〜３０のデータをテストデータとし、本実施形態によるニューラルネットワーク（ＮＮ）のＭＡＰＥ値は１．８２％であり、複合ニューラルネットワーク（ＣＮＮ）のＭＡＰＥ値は１．７５％であり、最大誤差値はＮＮが４．９３％であり、ＣＮＮは４．２５％である。
【００５３】
以下、本実施形態の自己調整機構（手段）の動作を説明する。
【００５４】
図８は、本実施形態の推測／予測モデル自己調整機構（手段）の動作を示す流れ図である。
【００５５】
図２に示す品質予測システムの構築が完了すると、製品の品質予測を開始する。先ず、ステップ５０２において、プロセスパラメータおよびセンサデータを入力し、予測する生産装置のプロセスパラメータおよびセンサデータを品質予測システム中へ入力する。
【００５６】
続いて、ステップ５０４において、品質推測／予測機構を実行する。品質予測システムが、生産装置からプロセスパラメータおよびセンサデータを得ると、予め構築されていた品質推測／予測機構を基に製品の次ロットの品質推測／予測を行う。
【００５７】
続いて、ステップ５０６において、推測／予測値精度を計算する。自己調整機構（手段）は、製品の品質推測／予測値および実際の品質測定値を基に、推測／予測精度を計算する。
【００５８】
続いて、ステップ５０８において、予測精度が所定の下限値（例えば９５％）よりも低いか否かを判断する。その結果がノーの場合にはステップ５０２へ戻り、イエスの場合にはステップ５１０へ進み、推測／予測精度が所定の下限値よりも低いデータはトレーニングデータ中に入れられ、再びトレーニングを行って精度が高い推測／予測アーキテクチャを構築する（ステップ５１２）。ステップ５１２は、ステップ５１０において選択されたデータを利用し、前述した推測モデルおよび予測モデルの構築方法を用いて、一つの新しい品質推測／予測アーキテクチャを再び構築する。これが完成すると、ステップ５０２へ戻り、製品の次ロットの品質推測／予測を継続して実行する。
【００５９】
図９のグラフは、ニューラルネットワークの推測モデル手段を用いて、自己調整前と自己調整後の比較結果を曲線で表したものであり、正方形の印は自己調整前の推測値を示し、菱形の印は自己調整後の推測値を示す。
【００６０】
図９から分かるように、自己調整機構を有する推測モデルは、自己調整機構がないモデルよりも良い予測結果を得る（自己調整機構がない推測モデルの最大誤差（Max Error）は１１．０４％であり、自己調整機構を有する推測モデルの最大誤差（Max Error）は僅かに３．３９％である）。例えば、設備の製造工程に特性ドリフト（drift）／シフト（shift）が発生すると、ＮＮモデルまたはＣＮＮモデルは、特性ドリフト／シフトに関連するデータまでトレーニングされていないため、システムの推測／予測精度はこの製造工程のドリフト／シフトにより低下し（図９の左側の点線楕円で示す）、このときに推測システムは自己調整機構を起動し、この異常モデルをトレーニングに加える。その後、類似する異常が発生すると、製造工程のドリフト／シフトを正確に推測／予測し（図９の右側および中央の実線円で示す）。そのため、ＮＮまたはＣＮＮモデルの自己調整機構に対する設計は品質予測機構の精度を向上させることができる。
【００６１】
以下、本実施形態の簡便化された品質予測アーキテクチャを説明する。
【００６２】
図２に示すのは、本実施形態の典型的な推測能力および予測能力を有する品質予測アーキテクチャであるが、推測方法（アルゴリズム）および予測方法（アルゴリズム）はともにニューラルネットワークを選択し、これら推測モデル手段１００および予測モデル手段２００は複合することができる。図１０は、本発明のもう一つの実施形態による複合された後の一つのニューラルネットワークモデルの品質予測システムを示すブロック図である。この品質予測システムは、選択および設定のインタフェース１２２、推測／予測手段１５０、自己探索手段１６０、精度評価手段１７０および自己調整手段１８０からなる。推測／予測手段１５０の入力値は原始データ前処理手段１１０からのプロセスパラメータおよびセンサデータ（Ｘｉ）と、製品の過去数ロットの実際の品質測定値（ｙｉ−１，ｙｉ−２，…，ｙｉ−ｎ）であり、出力値は現ロットの膜厚推測値（ｙｃｉ）および製品の次ロットの膜厚予測値（ｙｐｉ＋１）である。
【００６３】
ニューラルネットワーク（ＮＮ）推測モデルと加重移動平均（ＷＭＡ）予測モデル、ニューラルネットワーク（ＮＮ）推測モデルとニューラルネットワーク（ＮＮ）予測モデルそして一つに複合されたニューラルネットワーク（ＣＮＮ）により構築された品質予測システムのＭＡＰＥ予測結果は以下の通りである。
【００６４】
ＮＮ−ＷＭＡの予測値ＭＡＰＥは１．７３％であり、ＮＮ−ＮＮの予測値ＭＡＰＥは１．７６％であり、ＣＮＮの予測値ＭＡＰＥは１．６３％である。そして、これら三種類の最大誤差の差異は１％の範囲内である。そのため、上述の結果からこれら三種類の異なる組み合わせは、実施形態の品質予測システムへの応用が実行可能であることが証明できる。
【００６５】
本発明の好適な実施形態から分かるように、本実施形態のアーキテクチャは、製品が生産される前から、生産装置により検知された現在のプロセスパラメータおよび測定装置により集められた製品の過去数ロットの品質測定データを基に、次ロットの品質を予測することができる。そのため、不良品の発生を大幅に減らして、工場の生産能力および製品の歩留まりを向上させることができるだけでなく、生産コストを下げて工場の競争力を高めることもできる。また、本実施形態はバーチャル測定および品質予測を同時に行うことができるため、汎用性を備えている。また、本実施形態は自己探索機構および自己調整機構を備え、推測／予測の精度を効果的に高めることができる。
【００６６】
本発明では好適な実施形態を前述の通り開示したが、これらは決して本発明を限定するものではなく、当該技術を熟知するものなら誰でも、本発明の主旨と領域を脱しない範囲内で各種の変更や修正を加えることができる。従って本発明の保護の範囲は、特許請求の範囲で指定した内容を基準とする。
【図面の簡単な説明】
【００６７】
【図１】本発明の一実施形態による生産工程の品質予測システムの主要構造を示すブロック図である。
【図２】本発明の一実施形態による自己探索手段および自己調整機構手段を備える品質予測システムを示すブロック図である。
【図３】本発明の一実施形態によるＴＦＴ−ＬＣＤの生産工場におけるスパッタリング装置の設備を示す模式図である。
【図４】本発明の一実施形態による品質予測の流れを示す模式図である。
【図５】本発明の一実施形態による推測モデル手段の構築ステップを示す流れ図である。
【図６】本発明の一実施形態による一モデルのプロセスパラメータデータおよび製品測定値の一部を示す表である。
【図７】本発明の一実施形態による予測結果を示すグラフである。
【図８】本発明の一実施形態による推測／予測モデル自己調整機構（手段）の動作を示す流れ図である。
【図９】本発明の一実施形態によるニューラルネットワークの推測モデル手段を用いて、自己調整前と自己調整後の結果比較を示すグラフである。
【図１０】本発明の一実施形態による複合後の一つのニューラルネットワークモデルの品質予測システムを示すブロック図である。
【符号の説明】
【００６８】
１０  ユーザ
２０  生産装置
３０  測定装置
１００  推測モデル手段
１１０  原始データ前処理手段
１２０  選択および設定のインタフェース
１２２  選択および設定のインタフェース
１３０  推測精度評価手段
１５０  推測／予測手段
１６０  自己探索手段
１７０  精度評価手段
１８０  自己調整手段
２００  予測モデル手段
２１０  予測精度評価手段
３００  推測モデルの自己探索手段
３１０  予測モデルの自己探索手段
４００  推測モデルの自己調整手段
４１０  予測モデルの自己調整手段
４２２  センサデータを集めて入力パラメータを選択
４２４  隠れ層の層数、ノード数の範囲および伝達関数の種類を選択
４２６  トレーニングデータセットおよびテストデータセットの選択
４２８  データ前処理
４３０  トレーニング終了条件の設定
４３２  初期ウエイトの設定
４３４  ニューラルネットワークの実行
４３６  推測出力と実際出力との誤差の計算
４３８  終了条件が成立したか否か検査
４４０  誤差を戻して初期ウエイトを調整
４４２  自己探索が完了したか否かを検査
４４４  新しい隠れ層の層数、ノード数の個数および伝達関数の組み合わせを選択
４４６  最適なウエイトパラメータの組み合わせを選択して推測モデルを構築
５０２  プロセスパラメータおよびセンサデータを入力
５０４  品質推測／予測機構の実行
５０６  推測／予測値精度の計算
５０８  予測精度の所定回数が連続して所定下限値よりも低いか判断
５１０  新しいトレーニングデータセットおよびテストデータセットの選択
５１２  品質予測アーキテクチャの再構築
【図１】
2006024195.tif 000008
【図２】
2006024195.tif 000009
【図３】
2006024195.tif 000010
【図４】
2006024195.tif 000011
【図５】
2006024195.tif 000012
【図６】
2006024195.tif 000013
【図７】
2006024195.tif 000014
【図８】
2006024195.tif 000015
【図９】
2006024195.tif 000016
【図１０】
2006024195.tif 000017
【外国語明細書】
QUALITY
PROGNOSTICS SYSTEM AND METHOD FOR MANUFACTURING PROCESSES 
Related
Applications
The
present application is based on, and claims priority from, Taiwan Application Serial Number
93115993, filed June
3, 2004, the
disclosure of which is hereby incorporated by reference herein in its entirety.
Field of the Invention
The
present invention relates to a quality
prognostics system and a quality prognostics method for manufacturing processes,
and more particularly, to the quality
prognostics system and method suitable for use in virtual metrology and predicting product quality manufactured
on production tools in semiconductor or TFT-LCD manufacturing plants.
Background of the Invention
Production
and quality measurement are generally separated in semiconductor and TFT-LCD
plants, i.e. after first being processed on a production tool, products are then delivered to a
measurement tool for inspection.  Based
on cost consideration, most of the inspection jobs are done by randomly
selecting some products in a product lot to determine the product
quality.  Consequently, occurrence of defects during production process
may not usually be discovered until measurement.  As such, numerous
defective products might have been produced before measurement is performed.
Currently, most methods to overcome this problem are to monitor process
parameters of the production tool so as to judge whether any product quality defects
occur.  Those methods are commonly disadvantageous in that
defective products have already been produced as soon as the monitoring system
detects that the process parameters are abnormal.  Currently, most
semiconductor and TFT-LCD plants employ batch production, meaning that in the
event of defects being discovered, the entire product lot must be discarded,
not simply one or two units of products.  Therefore, defects not only
reduce product yield, but also seriously impact production capacity and
cost.  Every manufacturer consequently, is eager to find a way to predict
production quality of the next product lot.
Currently, several scholars
have performed some researches on how to predict product quality or whether the
equipment or process is abnormal.  Those researches includes: proposing an
architecture for improving equipment maintenance work in semiconductor plants
and identifying the cause of a defect based on the production data; applying
neural networks for real-time fault identification in plasma etching, wherein a pattern recognition technique is used to determine the
process number for each record of plasma etching; designing a neurofuzzy
system having a graphic user interface for surface mount assembly defect
prediction and control by using fuzzy associative memory (FAM) to gather
process knowledge in combination with operation management strategy of level
coordination, wherein the surface mounting technique (SMT) is used as an
example; providing a methodology for extracting wafer-level defect density
distributions to improve yield prediction, so as to find the degree of defect
wafer clustering, thereby saving the time and cost for data collection and
analysis; proposing
an approach for reliable life-time prediction of GaAs devices via quantitative measurement of channel
temperature; and studying
the influence of
elevated temperature on degradation and lifetime prediction of thin
silicon-dioxide films.
However,
the above studies mainly focus on using the available sensor data to identify
possible defects of current production, but not the quality of the next product
lot.   Generally speaking, not many input data can be considered
simultaneously for purposes of conjecture in most studies, and the applications
of the proposed conjecture schemes are limited to certain types of equipment.
With
regard to the existing patent references, US patent 6594542, applied in the
semiconductor industry, discloses a system for controlling chemical mechanical
polishing thickness removal, the system mainly comprising three parts: a
polisher, a thickness measuring device and a polishing rate control
system.  Based on film thickness comparison, the patent reference predicts
the required polishing rate.  This patent reference basically still needs
to use actual quality measurement values for providing the information required
by polishing control.   This patent reference cannot conjecture the
film thickness by the method of virtual metrology, and the film thickness cannot be determined until measurement.
US patent 6625513, applied in
the semiconductor equipment industry, discloses a method of using data-based
model to compare the semiconductor tool variations during production processes,
and to change the parameter settings in accordance with the comparison result,
thereby preventing the defective products produced from tool variations. 
This method is disadvantageous in that: varieties and difficulty level of the
data-based model relatively increase a lot, when there are many process
parameters; and the data-based model cannot be properly used in accordance with
various tool features, thus not having flexibility.
US patent 6616759, applied in a
semiconductor process, discloses a method and a system for monitoring a
semiconductor processing apparatus and predicting its processing results. 
This method collects sensor data of the semiconductor processing apparatus and
the measurement values of the process result, and uses a partial least square
method to calculate new parameter settings.  However, this method is
merely based on the existing parameter data to predict the measurement value of
the product currently being manufactured, but cannot further predict the
quality of the product to be produced in a future period of time.
US patent 6666577, applied in
wafer temperature prediction, discloses a method for predicting wafer
temperature.  This method uses two different coating films formed on the
wafer to predict the wafer temperature.  However, the method disclosed in
this patent reference basically can be merely applicable to certain types of
equipment, and lacks of generic applicability.
Hence,
there is an
urgent need to develop a
quality prognostics system and
a quality prognostics method for manufacturing processes, thereby
predicting the quality of a next product lot before the next product lot is
produced by using the current process parameters of a production tool and the actual measurement values of
several previous product lots produced in the measurement tool; and having generic applicability, thus
further reducing the shortcomings of the conventional skills.
Summary of the Invention
A
main aspect of the present invention is to provide a quality prognostics system
and a quality prognostics method for manufacturing processes, thereby
predicting the quality of a next product lot before the next product lot is
produced by using the current process parameters of a production tool and the actual measurement values of
several previous product lots produced in the measurement tool, thus effectively promoting product
quality, and equipment efficiency and availability, further promoting
competitiveness for manufacturing industries.
The
other aspect of the present invention is to provide a quality prognostics
system and a quality prognostics method for manufacturing processes, thereby
having generic applicability for use in various tools in semiconductor and
TFT-LCD processes.
According
to the aforementioned aspects, a quality prognostics system for manufacturing
processes is provided.
According
to a preferred embodiment of the present invention, the quality prognostics
system for manufacturing processes is mainly composed of conjecture modeling
means and prediction modeling means.  The conjecture modeling means uses a
set of input data of a production tool to
conjecture a conjecture value for a product lot currently manufactured in the
production tool, wherein the conjecture modeling
means is built in accordance with a conjecture method, and the conjecture
method is selected from the group consisting of a first neural network
technique, a fuzzy logic technique, a stepwise regression technique and other
technologies having the conjecturing capability.  The prediction modeling
means uses the conjecture value of the product lot currently conjectured
together with at least one actual measurement value of at least one previous
product lot to predict a prediction value for a next product lot, wherein the
prediction modeling means is built in accordance with a prediction method, and
the prediction method is selected from the group consisting of a weighted
moving average technique, a second neural network technique and other
algorithms having the prediction
capability.  Further, the quality
prognostics system comprises raw-data pre-processing means for
converting a set of raw data inputted from the production tool to the set of input data of a specific
format.  Further, the quality
prognostics system comprises self-searching means for finding an optimal
combination of parameters/functions required by the conjecture method or the
prediction method when the conjecture method or the prediction method is just
selected and related initial values are just set up, thereby increasing the
prediction/conjecture accuracy.  Further, the quality prognostics system comprises
self-adjusting means for tuning system parameters to meet the
prediction/conjecture accuracy requirement, when a prediction accuracy or a
conjecture accuracy is lowered than a predetermined lower bound or the
properties of the production tool
are changed due
to scheduled maintenance or part replacement, after the production tool has been operated for a period of time.
Besides,
according to the aforementioned aspects, a quality prognostics method for
manufacturing processes is provided.
According to the preferred
embodiment of the present invention, the quality prognostics method for
manufacturing processes comprises: providing a conjecture modeling step and a
prediction modeling step.  The conjecture modeling step uses a set of
input data of a production tool
to conjecture a
conjecture value for a product lot currently manufactured in the production tool, wherein the conjecture modeling step is
based on a conjecture method, and the conjecture method is selected from the
group consisting of a first neural network technique, a fuzzy logic technique,
a stepwise regression technique and other technologies having the conjecturing
capability.  The conjecture modeling step can also be used for virtual
metrology, which is defined as a method to conjecture operation performance of
a production tool based on data sensed from the production tool and without
metrology operation.  The prediction modeling step uses the conjecture
value of the product lot together with at least one actual measurement value of
at least one previous product lot to predict a prediction value for a next
product lot, wherein the prediction modeling step is based on a prediction method,
and the prediction method is selected from the group consisting of a weighted
moving average technique, a second neural network technique and other
algorithms having the prediction
capability.  Further, the quality
prognostics method comprises: performing a raw-data pre-processing step
for converting a set of raw data inputted from the said production tool to the set of input data of a specific
format.  Further, the quality
prognostics method comprises: performing a self-searching step for
finding an optimal combination of parameters/functions required by the
conjecture method or the prediction method when the conjecture method or the
prediction method is just selected and related initial values are just set up,
thereby increasing the prediction/conjecture accuracy.  Further, the quality prognostics method
comprises: performing a self-adjusting step for tuning system parameters to
meet the prediction/conjecture accuracy requirement of the production tool newly changed, when a prediction accuracy
or a conjecture accuracy is lowered than a predetermined accuracy bound or the
properties of the production tool
are changed due
to scheduled maintenance or part replacement, after the production tool has been operated for a period of time.
Hence,
with the application of the present invention, the quality of a next product
lot can be prognosed before being produced by using the current process
parameters of a production tool
and the actual
measurement values of several previous product lots produced in the measurement
tool; and the present invention
also has generic applicability, thus reducing the shortcomings of the
conventional skills.
Brief Description of the
Drawings
The foregoing aspects and many
of the attendant advantages of this invention will become more readily
appreciated as the same becomes better understood by reference to the following
detailed description, when taken in conjunction with the accompanying drawings,
wherein:
Fig. 1 is a schematic diagram
showing the main structure of a quality
prognostics system for manufacturing processes according to a preferred
embodiment of the present invention;
Fig. 2 is a schematic diagram
showing the structure of the quality
prognostics system having self-searching means and self-adjusting means
according to the preferred embodiment of the present invention;
Fig. 3 is a schematic diagram
showing a sputtering tool of TFT-LCD factory according to an illustrative
example of the present invention;
Fig. 4 is a schematic diagram
showing the deployment flow of the illustrative example of the present
invention;
Fig. 5 is a schematic flow
chart showing the steps for constructing a conjecture model according to the
preferred embodiment of the present invention;
Fig. 6 is a table showing the
samples of sensor data and product measurement data according to the
illustrative example of the present invention;
Fig. 7 is a schematic diagram
showing the prediction result of the illustrative example of the present
invention;
Fig. 8 is a schematic flow
chart showing the operation procedure of the self-adjusting means according to
the preferred embodiment of the present invention; 
Fig. 9 is a schematic diagram
showing the effects of the self-adjusting means on the conjecture modeling
means using a neural network model, according to the preferred embodiment of
the present invention; and
Fig. 10 is a schematic flow
chart showing a quality
prognostics system for manufacturing processes according to the other
preferred embodiment of the present invention, wherein the quality prognostics system is
a combined conjecture-prediction modeling means using one combined neural
network (CNN) model.
Detailed Description of the
Preferred Embodiment
The
present invention can predict the production quality of the next product lot
based on the current product lot sensor data of the production tool and the quality measurement data from the
measurement tool for several previous product lots.  The so-called next
product lot means the product lot to be produced in the next production cycle,
and the previous product lot means the product lot which has been produced in
the previous production cycle.
Referring
to Fig. 1, Fig. 1 is a schematic diagram showing the main structure of a
quality prognostics system for manufacturing processes according to a preferred
embodiment of the present invention, wherein the quality prognostics system is
composed of conjecture modeling means 100 and prediction modeling means 200,
and can be used for both virtual metrology and quality prediction, wherein the
conjecture modeling means 100 can be applied to virtual metrology.  Using
this two-tier arrangement, the quality prognostics system can be formed in an
appropriate combination according to the actual needs of the plant, and is more
flexible on practical applications.  Further, a conjecture method used in
the conjecture modeling means 100 for establishing a conjecture model is
replaceable, and various algorithms of artificial intelligence, statistics or
mathematics, such as neural networks, fuzzy logic, stepwise regression techniques,
etc., all can be selected as the conjecture method.   As to a
prediction method used in the prediction modeling means 200 for establishing a
prediction model, weighted moving average, neural networks, or any algorithm
with prediction capability can be used as the prediction method.
Referring to Fig. 2, Fig. 2 is
a schematic diagram showing the structure of the quality prognostics system
having self-searching means and self-adjusting means according to the preferred
embodiment of the present invention.  At first, process parameters and
sensor data of a production tool
20 are delivered
to raw-data pre-processing means 110 for treatment.  Because many types of
process parameters and sensor data of the production tool 20 are collected, and perhaps only a portion
of the process parameters and sensor data collected is required in the
conjecture modeling means 100, raw-data pre-processing means 110 is needed to
perform data selection, whereby desired input data (Xi) are extracted from the numerous process parameters
and sensor data.  Generally, the guidelines of data selection depend on
the relationships between the parameters and the product, as well as the
properties of the conjecture method or the prediction method.  Moreover,
the process parameters and sensor data acquired from the production tool 20 may be different in data format, so
that raw-data pre-processing means 110 must have the capability of handling
these data of different formats to transform the data to the specific input
formats required by the conjecture modeling means 100.
Thereafter, the desired input
data treated by the raw-data pre-processing means 110 is sent to the conjecture
modeling means 100.  The conjecture modeling means 100 is designed to
conjecture the current product quality by using the desired input data (Xi) collected from the raw-data
pre-processing means 110, so as to obtain a conjecture value (yci).  The
conjecture value is inputted to the prediction modeling means 200.  The
prediction modeling means 200 is designed to predict the quality of the next
product lot by using the conjecture value (yci)
of the current product lot and the actual measurement values (yi-1, yi-2, …, yi-n)
of several previous product lots obtained from a measurement tool 30, so as to
obtain a prediction value (ypi+1). 
Similar to the conjecture modeling means 100, various algorithms with
prediction capability can be selected as the prediction method in accordance
with the properties of the production tool 20,
such as weighted moving average and neural networks, etc.
Thereafter,
the conjecture value (yci)
is sent to means 130 for evaluating the conjecture accuracy, wherein the
conjecture value (yci)
is compared with the actual measurement value (yi) of the current product lot so as to obtain a
conjecture evaluation index representing the conjecture accuracy. 
Meanwhile, the prediction value (ypi+1)
is sent to means 210 for evaluating the prediction accuracy, wherein the
prediction value (ypi+1)
is compared with the actual measurement value (yi+1) of the next product lot so as to obtain a
prediction evaluation index representing the prediction accuracy.  There
are several methods for evaluating the conjecture/prediction accuracy, and an
appropriate evaluation index can be selected as the conjecture/prediction
evaluation indexes of the present invention in accordance with the properties
of the target to be evaluated, such as mean absolute percentage error (MAPE)
and a maximum error.
Further, because diverse types
of production tool
in semiconductor
and TFT-LCD plants possess different properties, it is very unlikely that a
single conjecture algorithm will be able to be applied to all types of
equipment.   To solve this problem, the present invention provides a
generic (universal) conjecture modeling means 100 and a generic prediction
modeling means 200, wherein a user 10 may use a selection-and-setup interface
120 to properly select the conjecture method and the prediction method from
various algorithms of artificial intelligence, statistics and mathematics. 
With increase of the types of production tool, the conjecture/prediction algorithms
also increase accordingly.  While there are more and more
conjecture/prediction algorithms, the adaptability of the present invention
will be larger.  The purpose of the selection-and-setup interface 120 is
to assist the user 10 to select the conjecture method and the prediction method
properly, and setting up related initial values.  After the user 10 has
completed the conjecture/prediction algorithm selections and initial-value
setups, the quality prognostics system can commence running.
Further, the present invention
is also featured in providing self-searching means (mechanism) 300 of the
conjecture model; self-searching means (mechanism) 310 of the prediction model;
self-adjusting means (mechanism) 400 of the conjecture model; and self-
adjusting means (mechanism) 410 of the prediction model, thereby reducing time
and effort for building the conjecture/prediction models.  Such as shown
in Fig. 2, for efficiently constructing an acceptable conjecture or prediction
model, the present invention provides the self-searching means with various
built-in algorithms.  For example, if a back-propagation neural-network
algorithm is selected as the conjecture method for establishing the conjecture
model, the self-searching means 300 will base on the associated number of
hidden layers, the associated number of nodes for each hidden layer, and
transfer functions to automatically find an optimal combination of
parameters/functions required by the conjecture method, wherein the associated
number of hidden layers, the associated number of nodes for each hidden layer,
and transfer functions are initially assigned by the user 10.  If a fuzzy
theory is selected as the conjecture method for establishing the conjecture
model, then the self-searching means 300 will base on the possible membership
functions defined to find optimal membership functions.  Besides, a
radials-basic-function neural network may also be selected for shortening
training time of the conjecture model.  Similarly, if a
weighted-moving-average algorithm is chosen for establishing the prediction
model, then the self-searching means 400 will base on the associated range of
weight values defined by the user 10 to find the optimal combination of weight
values.  Hence, the user 10 simply needs to initially specify the bounds
or possibilities of the assigned parameters/functions, and the self-searching
means 300 and 310 then will search for the best combination of model
parameters, functions and weight values automatically.  Generally, with
regard to different types of production tool, their process parameters and sensor
data are also different, and thus the conjecture model and the prediction model
have to be established in accordance with the properties of the production tool.  Moreover, to build a new model
usually needs to invest a lot of manpower and time, so that the purpose of the
self-searching means is to shorten the development time and reduce manpower
required by means of individual pre-established models, thereby greatly
shortening the time of setup and adjustment while the conjecture/prediction
system is migrated to a new production tool.
On the other hand, during a
production process, the production tool may
suffer from part aging or fading over time, thus causing equipment-property
offset. Scheduled maintenance or part change might bring about
equipment-property inconsistency when the equipment restarts.  Therefore,
the quality prognostics system should possess the capability of self-adjusting,
and self-adjusting means 400 of the conjecture model and self-adjusting means
410 of the prediction model are used for solving the above-mentioned
problems.  By monitoring the evaluation indexes of conjecture/prediction
accuracy, the self-adjusting means 400/410 can be aware of the real-time
conditions of the conjecture/prediction modeling means 100/200 promptly, and a
predetermined lower bound M% (such as from 90% to 99%) for tolerable accuracy
can be defined in accordance with the actual requirement of production tool.  When the conjecture accuracy or
the prediction accuracy is lower than the predetermined lower bound M%, the
self-adjusting means 400/410 will be launched and cooperate with the
self-searching means 300/310 to add the data of which the conjecture accuracy
or the prediction accuracy is lower than the predetermined lower bound to
training data sets, thereby re-training and rebuilding a new
conjecture/prediction model to replace the old conjecture/prediction model, so
that the conjecture/prediction accuracy can return back to the original
acceptable bond.
The self-adjusting means 410
(mechanism) for the prediction model illustrated in Fig. 2 is marked by dotted
lines.  The dotted lines indicate that this self-adjusting mechanism is
optional.  The existence of the self-adjusting means 410 depends on the
feature of the prediction algorithm selected by the user 10.  For example,
if neural networks are adopted in the prediction modeling means 200, then the
addition of the self-adjusting means is essential for lowering prediction
errors and making the prediction result more accurate.  However, if the
weighted moving average is used in the prediction modeling means 200, then the
addition of the self-adjusting means 410 is not necessary.  Further, the
range of setting the parameters/functions for the new models can be based on
those used for the old models, whereby the new model can search the
parameters/functions in a smaller range, thus saving the searching time for the
self-adjusting means.
Hereinafter, a sputtering tool
from a TFT-LCD factory is used as an illustrative example for explaining the
present invention.
Referring to Fig. 3, Fig. 3 is
a schematic diagram showing a sputtering tool of TFT-LCD factory according to
an illustrative example of the present invention.  The sputtering
equipment includes 16 process modules each of which is assigned to a different
process, and the objective thereof is to plate a thin metallic coating on glass
(raw material), and the thin metallic coating serves as a color frame for LCD
panels.  The arrow direction in Fig. 3 indicates the process
sequence.  At first, glass enters the process modules via an input/output
port, and is processed in compliance with the module numbers.  Upon passing
process modules 1~8, the glass is sent by a rotating module to process module 9
for the subsequent processing.  Finally, the glass leaves the sputtering
tool via the input/output port.  Each module is in the vacuum condition
during the entire process.  A vacuum sensor is installed on a vacuuming
module for collecting a vacuum condition.  Moreover, a gas concentration
sensor is installed on an inert gas delivering module to monitor an actual
gas-concentration condition.  Sensors for detecting voltages, electric
currents and powers are installed in the electric field which controls the ion
plasma concentration.  Consequently, numerous sensor data are recorded
during the manufacturing process, i.e. the production tool will record the
process parameters (sensor) data during the entire manufacturing process. 
After the manufacturing process is done, two out of 100 sheets of products are
randomly selected and sent to a measurement tool for measuring and recording
their sputtering coating thickness.
Referring to Fig. 4, Fig. 4 is
a schematic diagram showing the deployment flow of the illustrative example of
the present invention.  By considering the actual measurement values (yi-1, yi-2, …, yi-n) of several previous product lots from the measurement tool, together with the conjecture
value (yci) of the current product lot
conceived from sensor data of the production tool, the next-lot prediction value of the
sputtering coating thickness (ypi+1) can be prognosed.
(1) Construction of the
Conjecture Model
Numerous algorithms of artificial
intelligence, mathematics and statistics may be applied to construct a
conjecture model.  In the present illustrative example, back-propagation
neural networks are applied to establish the conjecture model.  Referring
to Fig. 5, Fig. 5 is a schematic flow chart showing the steps for constructing
a conjecture model according to the preferred embodiment of the present
invention.
At first, step 422 is
performed to collect sensor data and input parameters.  With regard to the
equipment of the present illustrative example, there are about 177 items of
parameters recordable during the manufacturing process.  After eliminating
the fixed items set up by the equipment engineers, 96 items of parameters are
selected as valid sensor data based on the equipment properties.  The
parameters can be categorized into six groups including degree of vacuum, inert
gas concentration, temperature, voltage, electric current, and power. Then,
based on the equipment properties, parameter properties, and opinions from the
equipment engineers, 40 out of 96 items of parameters are selected as input
parameters, and these 40 items of parameters are mainly related to degree of
vacuum, inert gas concentration, and power.   The sensor of each
module collects and records a record of sensor data every ten seconds, and it
takes about one minute to complete the process for one sheet of product, and
thus there are six samples of sensor data and one sheet of finished products
generated every minute.  Referring to Fig. 6, Fig. 6 is a table showing
the samples of sensor data and product measurement data according to the
illustrative example of the present invention, wherein several samples of
sensor data and product measurement values are listed, and the information
listed, from left to right, includes sample time, vacuum, gas concentration 1,
gas concentration 2, gas concentration 3, power, move-in time, and product
measurement data.  A pair of sheets of products are randomly chosen from
every 100 sheets of products and measured once every 100 minutes.  Just as
described above, every six samples of sensor data are corresponding to one
product’s measurement datum, wherein the measurement datum is the reflection
wavelength of sputtering coating thickness.  The sensors record one set of
input parameters every 10 seconds, and thus six sets of parameter data are
produced per minute. In the illustrative example, all the six sets of parameter
data are fed into the neural-network conjecture model in time sequence.
Thereafter, step 424 is
performed to assign possible number of hidden layers, possible numbers of nodes
and transfer functions.  With regard to the selection of number of hidden
layers, generally, adopting one or two hidden layers is sufficient to achieve
good convergence.  Moreover, with more nodes in the hidden layer, the
convergence rate can be accelerated, and smaller error can be achieved, thus
accomplishing better conjecture result.  Nonetheless, too many nodes may
cause over-learning and excessive training time.  On the contrary, if too
few nodes exist, the network structure may not be sufficient to construct the
correlation between inputs and outputs.  Consequently, the number of nodes
must be properly set so as to obtain the optimal efficiency.  With regard
to selecting the transfer function in the hidden layer, the basic transfer
functional type for the conventional back-propagation neural network is a
Log-Sigmoid type shown as follows:
2006024195.tif 000018
An alternative type of the
transfer function is Hyper Tangent-Sigmoid type shown as follows:
2006024195.tif 000019
The present illustrative
example adopts the neural network model with two hidden layers as the
conjecture method, and the possible numbers of nodes is between 1 and 50. 
Furthermore, the possible transfer function is Log-Sigmoid type or Hyper
Tangent-Sigmoid type.  The best combination of the number of hidden
layers, numbers of nodes, and transfer functions is selected by using the
self-searching mechanism.
Thereafter, step 426 is
performed to select training data sets and test data sets.
Then, data-preprocessing step
428 is performed to normalize raw data.  Before entering the network
training step, the input raw data is normalized to increase the training
efficiency.  After finishing the training of neural networks, the output
data have to be de-normalized to recover the actual physical scale of the
output data.
Thereafter, step 430 is
performed to set up conditions for training termination.  The present
illustrative example chooses training cycle number and error bounds as
conditions for training termination.  When either training cycle number
reaches the limit or the error is within the bounds specified by the users, the
training step is terminated.
Then, step 432 is performed to
set up initial weights.  Commonly, the neural networks usually set up the
initial weights randomly, whereas the present illustrative example adopts the
conditional-random method proposed by Nguyen and Widrow to create initial
weights.
After the setup of initial
weights is completed, step 434 is performed to start running the neural
networks, thereby obtaining a conjecture value.
Thereafter, step 436 is
performed to compute an error value between the conjecture value and an actual
measurement datum (value), wherein mean square error (MSE) function is adopted
herein as the evaluation criterion as follows:
2006024195.tif 000020
Thereafter, step 438 is
performed to check if the conditions for terminating the training step have
been met.  When the number of training cycles for the training step
reaches a predetermined limit value, or the error value is lower than a
predetermined error value, the training step is terminated.
If the conditions for training
termination are not met, step 440 is performed to return the error value for
tuning initial weights, and then step 434 is performed to run the neural
networks again, wherein the step 440 is based on the theory of back-propagation
neural networks, and the aforementioned do-loop forms the self-learning
mechanism of the back-propagation neural networks.
If the termination conditions
of the step 438 are met, step 442 is then performed to check if the
self-searching step is finished.  If not, step 444 is performed to select
a new number of hidden layers, new numbers of nodes and new transfer functions,
and then step 432 is performed to step up initial weights again.  In the
step 444, the self-searching mechanism checks if any combination of the new
number of hidden layers, new numbers of nodes and new transfer functions has
not been tested.  If yes, then the self-searching mechanism will select a
combination of new number of hidden layers, new numbers of node and new
transfer functions and return to step 432 for continuously testing.  If
all the combinations of the number of hidden layers, numbers of nodes and
transfer functions have been tested, then the self-searching mechanism will
jump to step 446 for selecting and storing the optimal combination of the
initial weights, thus completely establishing the conjecture model.
In the present illustrative
example, the neural-network conjecture model is established by using
self-learning and self-searching mechanisms.  System developers merely
need to first assign a possible number of hidden layers, a possible number of
nodes in each hidden layer, possible transfer functions, desired training data
set and test data set, and termination conditions, and then the self-learning
and self-searching mechanisms will automatically search for the best
neural-network conjecture model and all of the initial weights, wherein the
time required to search for the best model depends on the termination
conditions and the possible number of hidden layers, possible numbers of nodes,
and transfer functions.  If the search time is expected to be shortened,
all it needs to do is reduce the possible numbers of layers and nodes
accordingly.  Commonly speaking, based on the previous experience, the
parameter range may be condensed for the purpose of reducing the search
time.  However, if the search time is unimportant, then enlarging the
possible numbers and reducing the error bounds may produce a more accurate
neural-network conjecture model.  
Further, in the present
illustrative example, moving average is used to construct the prediction
modeling means.  The moving average adopts the actual measurements (yi-1,
yi-2)
of two previous
product lots obtained from the measurement tool and a conjecture value (yci) of the current
product lot from the neural-network conjecture model to predict the product
quality (prediction value; ypi+1)
of the next product lot.  Meanwhile, the present illustrative example
builds two prediction models of simple moving average and weighted moving average (WMA)
for comparing the prediction results, wherein the self-searching mechanism is also used
for searching the initial weights to obtain the best prediction model. Weighted
moving average is expressed using the following formula:
2006024195.tif 000021
Initially, the user merely
need to specify the range of possible combinations of initial weights, and then
the self-searching mechanism would calculate all the prediction values (ypi+1) corresponding to all the
possible combinations of initial weights exhaustively.  Thereafter, the
best initial weights are selected by checking that the error between its
associated prediction value (expressed as ypi+1)
and the actual measurement value (expressed as yi+1) is minimal.
Moreover, the present
illustrative example employs an evaluation index to determine the prediction
accuracy, wherein the evaluation index adopts mean absolute percentage error
(MAPE) and max error (MaxError) to evaluate the conjecture/prediction accuracy
of the quality prognostics
system.  The formula is illustrated as follows:
2006024195.tif 000022
The
more closely the MAPE value approaches zero, the better the
conjecture/prediction accuracy of the model holds.  The max error stands
for the maximum difference between the actual measurement value and the
prediction value.
Besides
WMA, the prediction model of the present illustrative example also can be built
by neural networks, wherein two separate neural network models (NN) can be
adopted for the conjecture model and the prediction model, or both of the
conjecture model and the prediction model can be combined as one neural network
model (CNN; combined neural network).  Referring to Fig. 7, Fig. 7 is a
schematic diagram showing the prediction result of the illustrative example of
the present invention, wherein 1-10 sets of sample data are used for training
data; and 11-30 sets of sample data are used for testing data. The test results
of the present illustrative example show that the MAPE value of NN case is
1.82% and that of CNN case is 1.75%; the MaxError value of NN case is 4.93% and
that of CNN case is 4.25%.
The
operation procedure of the self-adjusting means is explained below.
Referring to Fig. 8, Fig. 8 is
a schematic flow chart showing the operation procedure of the self-adjusting
means according to the preferred embodiment of the present invention. 
After the quality prognostics
system shown in Fig. 2 is established, the quality prognostics of product can
be started.  At first, step 502 is performed to input sensor data
and process parameters, wherein the sensor data and process parameters are
obtained from the production tool to be prognosed, and are inputted to the quality prognostics system.
Step 504 is performed to run the conjecture/prediction mechanisms
(modeling steps).  After the quality prognostics system obtains the sensor data and process
parameters from the production tool, the conjecture/prediction mechanisms are
used to perform the quality prognostics
(conjecture/prediction)
for the next product lot.
Thereafter, step 504 is performed to evaluate the conjecture/prediction
accuracy.  The self-adjust mechanism (means) is based on the
conjecture/prediction value of the product to evaluate the conjecture
prediction accuracy (step 506).
Then, step 508 is performed to determine if the conjecture/prediction
accuracy is lower than the predetermined lower bound M% (such as 95%).  If yes, the current set of production
sensor data (Xi) and
measurement datum (yi) of which the conjecture/prediction accuracy is lower than the
predetermined lower bound, are added to the training data sets (step 510), and
then the conjecturing/prediction mechanisms (modeling steps) are re-trained and
rebuilt (step 512).  Step 512 uses the data selected from step 510 and the
aforementioned methods to rebuild the conjecturing/prediction mechanisms
(modeling steps).  Subsequently, step 502 is performed to run the
conjecture/prediction mechanisms for the next product lot.
Referring
to Fig. 9, Fig. 9 is a schematic diagram showing the effects of the
self-adjusting means on the conjecture modeling means using a neural-network
model, according to the preferred embodiment of the present invention, wherein
square signs stand for the conjecture values with self-adjustment; and asterisk
(*) signs stand for the conjecture values without self-adjustment.  It can
be known from Fig. 9 that the accuracy of the conjecture model with the
self-adjusting mechanism is better than that without the self-adjusting
mechanism. (The MaxError value of the without-adjusting case is 11.04%, while
that of the with-adjusting case is only 3.39%.)  For example, when the
production tool has the situation of property drift/shift, and the NN or CNN
model was not trained to cover have the data related to the drift/shift
situation data, the conjecture/prediction accuracy will be degraded due to the
drift/shift situation (such as shown in the dotted oval line located on the
left side of Fig. 9).  At this point, the quality prognostics system will
launch the self-adjusting mechanism, and add the aforementioned drift/shift
situation data to the training data sets.  Afterwards, when the similar
drift/shift situation occurs again, the prognostics system will be able to
accurately conjecture/predict the drift/shift situations (such as shown in the
circle lines located on the middle and right side of Fig. 9).  Hence, the
design of self-adjusting for the NN or CNN model can promote the accuracy of
the quality prognostics mechanism.
Further,
a simplified quality prognostics system of the present invention is explained
below.
The typical quality
prognostics system of the present invention having the conjecture and
prediction capability is shown in Fig. 2.  However, if the conjecture
method (algorithm)
and the prediction method
(algorithm) both
adopt neural network models, then the conjecture and prediction modeling means
100/200 can be combined.  Referring to Fig. 10, Fig. 10 is a schematic flow chart showing
a quality prognostics system
for manufacturing processes according to the other preferred embodiment
of the present invention, wherein the quality prognostics system is a combined conjecture-prediction
modeling means using one combined neural network (CNN) model.  The quality prognostics system is
composed of selection-and-setup interface 122, conjecture/prediction
means 150, self-searching means 160, and means 170 for accuracy evaluation.  The input
values of the conjecture/prediction means 150 are the current desired sensor
data and process parameters (Xi) from
the raw-data pre-processing means 110, and the actual measurement values (yi-1, yi-2, …, yi-n)
of several previous product lots; and the output values are a conjecture value (yci) of  the current
product lot, and the prediction value (ypi+1)
for the next product lot.
The MAPE prediction results
for the quality prognostics systems constructed from a neural-network (NN)
conjecture model and a WMA prediction model; a NN conjecture model and a NN
prediction model; and a combined neural network (CNN) model are 1.73%, 1.76%
and 1.63% respectively.  Also, the difference among their MaxErrors is
within 1%.  Based on the above results, the feasibility of theses three
combinations to the quality prognostics scheme of the illustrative example is
justified.
From
the aforementioned embodiment of the present invention, it can be known that
the quality of a next product lot can be prognosed before being produced by
using the current process parameters sensed from a production tool and the
actual measurement values of several previous product lots collected from the
measurement tool, thereby greatly reducing defective products, thus not only
promoting plant throughput but also lowering production cost; and the present
invention also has generic applicability, thus promoting competitiveness. 
Moreover, the present invention can be used for both virtual metrology and
quality prediction, and have generic capability.  Further, the present
invention has the self-searching and self-adjusting mechanisms, thereby
effectively increasing the conjecture/prediction accuracy.
As
is understood by a person skilled in the art, the foregoing preferred
embodiments of the present invention are illustrated of the present invention
rather than limiting of the present invention.  It is intended to cover
various modifications and similar arrangements included within the spirit and
scope of the appended claims, the scope of which should be accorded the
broadest interpretation so as to encompass all such modifications and similar
structure.
What is claimed is:
1. A quality prognostics system for manufacturing processes,
comprising:
conjecture modeling means for
using a set of current input data of a production tool to conjecture a
conjecture value for a product lot currently manufactured in said production
tool, wherein said conjecture modeling means is built in accordance with a
conjecture method, and said conjecture method is selected from the group
consisting of a first neural network technique, a fuzzy logic technique, a
stepwise regression technique and other technologies having the conjecturing
capability;
prediction modeling means for
using said conjecture value of said product lot together with at least one
actual measurement value of at least one previous product lot to predict a
prediction value for a next product lot, wherein said at least one previous
product lot is respectively produced in at least one production cycle, and said
at least one actual measurement value is one-to-one corresponding to said at
least one previous product lot, and said prediction modeling means is built in
accordance with a prediction method, and said prediction method is selected
from the group consisting of a weighted moving average technique, a second
neural network technique and other algorithms having the prediction capability;
raw-data pre-processing means
for converting a set of raw data inputted from said production tool to a set of
desired input data of a specific format;
self-searching means for
finding an optimal combination of parameters/functions required by said
conjecture method or said prediction method when said conjecture method or said
prediction method is just selected and related initial values are just set up,
thereby increasing the prediction/conjecture accuracy;
self-adjusting means for
tuning system parameters to meet the  prediction/conjecture accuracy
requirement of said production tool that encounters property-drift/shift
situations, when a prediction accuracy or a conjecture accuracy is lowered than
a predetermined lower bound or the properties of said production tool are
changed due to scheduled maintenance or part replacement, after said production
tool has been operated for a period of time; and
an evaluation index used to evaluate the conjecture/prediction accuracy for said manufacturing processes.
2. A quality prognostics method for manufacturing processes,
comprising:
providing a conjecture
modeling step for using a set of current input data of a production tool to
conjecture a current conjecture value for a product lot currently manufactured
in said production tool, wherein said conjecture modeling step is based on a
conjecture method, and said conjecture method is selected from the group
consisting of a first neural network technique, a fuzzy logic technique, a
stepwise regression technique and other technologies having the conjecturing
capability;
providing a prediction
modeling step for using said current conjecture value of said product lot
together with at least one actual measurement value of at least one previous
product lot to predict a prediction value for a next product lot, wherein said
at least one previous product lot is respectively produced in at least one
production cycle, and said at least one actual measurement value is one-to-one
corresponding to said at least one previous product lot, and said prediction
modeling step is based on a prediction method, and said prediction method is
selected from the group consisting of a weighted moving average technique, a
second neural network technique and other algorithms having the prediction capability;
performing a raw-data
pre-processing step for converting a set of raw data inputted from said
production tool to a set of desired input data of a specific format;
performing a self-searching
step for finding an optimal combination of parameters/functions required by
said conjecture method or said prediction method when said conjecture method or
said prediction method is just selected and related initial values are just set
up, thereby increasing the prediction/conjecture accuracy; 
providing an evaluation index used to evaluate the conjecture/prediction accuracy
for said manufacturing
processes; and
performing a self-adjusting
step for tuning system parameters to meet the  prediction/conjecture
accuracy requirement of said production tool that encounters
property-drift/shift situations, when a prediction accuracy or a conjecture
accuracy is lowered than a predetermined accuracy bound or the properties of
said production tool are changed due to scheduled maintenance or part
replacement, after said production tool has been operated for a period of time.
3. The quality prognostics method of claim 2,
wherein said conjecture method adopts said first neural network technique for
building neural networks, said conjecture modeling step further comprising:
collecting sensor data of said
production tool, and selecting a plurality of input parameters for said
production tool ;
assigning a possible number of
hidden layers, possible numbers of nodes and possible transfer functions;
selecting a plurality of
training data sets and a plurality of test data sets;
normalizing said sensor data
and said input parameters before entering a training step of said neural
networks, and de-normalizing an output value derived from said first neural
network technique after said training step is done;
setting up conditions for
terminating said training step;
setting up initial weights for
said neural networks;
running said neural networks
for obtaining a conjecture output value;
computing an error value
between said conjecture output value and said actual measurement datum;
checking if said conditions
for terminating said training step have been met, wherein said conditions
includes that the number of training cycles for said training step reaches a
predetermined limit value, and that said error value is lower than a
predetermined error value; and said training step of said neural networks is
terminated when either one of said conditions has been met;
when said conditions have not
been met, returning said error value to said step of setting up said initial
weights for re-tuning, and then running said neural networks;
checking if said
self-searching step is finished and generating a checking result;
when said checking result is
no, selecting a new possible number of hidden layers, new possible numbers of
nodes and new possible transfer functions; and 
when said checking result is
yes, said initial weights, said possible number of hidden layers, said possible
numbers of nodes and said possible transfer functions are selected as an
optimal combination, and completing the establishment of said conjecture
modeling.
4. The quality prognostics method of claim 2,
wherein said prediction method adopts said weighted moving average method, said
weighted moving average technique using said actual measurement values (yi-1,yi-2) of two
previous product lots obtained from a measurement tool together with said
current conjecture value (yci) to
predict said prediction value (ypi+1)
of said next product lot, wherein the formula of said weighted moving
average method is ypi+1=wiyci+wi-1yi-1+wi-2yi-2 wherein wi, wi-1, wi-2 are assigned weights.
5. The quality prognostics method of claim 2,
wherein said self-adjusting step comprises: 
inputting sensor data and a
plurality of process parameters from said production tool ;
performing said conjecture modeling step or said prediction modeling step
for obtaining said current
conjecture value or said
prediction value for said next product lot;
evaluating said conjecture accuracy or said prediction accuracy for said current conjecture value or said prediction
value;
determining if said conjecture accuracy or said prediction accuracy is
lower than said predetermined lower bound, and generating a determination
result;
when said determination result is yes, adding the current set of
production sensor data and measurement datum of which said conjecture accuracy
or said prediction accuracy is lower than said predetermined lower bound to
said training data sets, and re-training and rebuilding said conjecturing
modeling step or said prediction modeling step, and then subsequently performing
said conjecture modeling step or said prediction modeling step for said next
product lot; and
when said determination result is no, performing said conjecture modeling
step or said prediction modeling step for a new next product lot following said
next product lot.
ABSTRACT OF
THE INVENTION
A quality prognostics system
and a quality prognostics method for predicting the product quality during
manufacturing processes are disclosed.  The present invention utilizes the
current production tool parameters sensed during the manufacturing process and
several previous quality data collected from the measurement tool to predict
the future product quality.  The quality prognostics system is composed of
conjecture modeling means and prediction modeling means.  The conjecture modeling
means itself also can be applied for the purpose of virtual metrology.  Further,
the quality prognostics method possesses a self-searching means and a
self-adjusting means for searching the best combination of various
parameters/functions used by the conjecture algorithm or prediction algorithm;
and meeting the requirements of new equipment parameters and conjecture/prediction
accuracy.
2006024195.tif 000023
2006024195.tif 000024
2006024195.tif 000025
2006024195.tif 000026
2006024195.tif 000027
2006024195.tif 000028
2006024195.tif 000029
2006024195.tif 000030
2006024195.tif 000031
2006024195.tif 000032