(57)【要約】  モデル式作成時の過学習抑制と計算負荷抑制のトレードオフを解消するデータ処理装置を提供する。データ処理装置は、電子データを記録する記録部と、電子データを用い演算を行う演算部とを備え、演算部は、演算に用いる特徴量選択部を備え、特徴量選択部は、特徴量選択において、特徴量に順位付けを行い、上位のものから並び替える第一の工程(S101)と、順位に応じて一部の特徴量のみを用いたデータ群を複数個作成する第二の工程(S103)と、一部の特徴量のみを用いたデータ群のそれぞれを使用して、回帰もしくは分類問題の予測性能を評価する指標となる値を計算する第三の工程(S104)と、計算された予測性能指標を元に特徴量を削除する第四の工程(S105)と、前記削除された以外の特徴量に関して、予測性能指標を用いて特徴量の順位を更新する第五の工程(S106)とを備え、第二の工程から第五の工程を、第三の工程で計算される予測性能指標の最も良い値が更新されなくなるまで繰り返す(S102)。
2020115943.tif 000002
【特許請求の範囲】
【請求項１】
特徴値を用いて予測モデルを求めるデータ処理装置において、
Ｎを自然数とした場合、順位付けされたＮ個の第一の特徴量を１位からＮ位の順位に並び替える第一の工程と、
Ｎ個の第一のデータ群を作成する第二の工程と、
前記第一のデータ群の各々の予測性能を評価する第一の評価指標値を求める第三の工程と、
前記第一の評価指標値を基に前記第一の特徴量の一部を削除する第四の工程と、
前記第一の特徴量の中で前記削除された特徴量以外の特徴量である第二の特徴量の順位を前記第一の評価指標値を用いて更新する第五の工程と、
前記第二の特徴量の個数と同数の第二のデータ群を作成する第六の工程と、
前記第二のデータ群の各々の予測性能を評価する第二の評価指標値を求める第七の工程と、
前記第一の評価指標値の最小値と前記第二の評価指標値の最小値が同じ場合、前記第二の特徴量を用いて予測モデルを求め、
前記第一の評価指標値の最小値と前記第二の評価指標値の最小値が異なる場合、前記第二の評価指標値を基に前記第二の特徴量の一部を削除するとともに前記第二の特徴量の中で前記削除された特徴量以外の特徴量である第三の特徴量の順位を前記第二の評価指標値を用いて更新する第八の工程を実行する演算装置を備え、
Ｎ番目の前記第一のデータ群は、前記第一の特徴量の１位から前記Ｎ位までの特徴量を有し、
Ｍを前記第二の特徴量の個数とした場合、Ｍ番目の前記第二のデータ群は、前記第二の特徴量の１位からＭ位までの特徴量を有することを特徴とするデータ処理装置。
【請求項２】
請求項１に記載のデータ処理装置において、
前記第一の評価指標値は、ＡＩＣを用いて求められた値であることを特徴とするデータ処理装置。
【請求項３】
請求項１に記載のデータ処理装置において、
前記第五の工程は、前記Ｎ番目の前記第一のデータ群に対応する前記第一の評価指標値から(Ｎ−１)番目の前記第一のデータ群に対応する前記第一の評価指標値を減じた値を用いて前記第二の特徴量の順位を更新することを特徴とするデータ処理装置。
【請求項４】
特徴値を用いて求められた予測モデルにより処理結果が予測される半導体製造装置において、
Ｎを自然数とした場合、順位付けされたＮ個の第一の特徴量を１位からＮ位の順位に並び替える第一の工程と、
Ｎ個の第一のデータ群を作成する第二の工程と、
前記第一のデータ群の各々の予測性能を評価する第一の評価指標値を求める第三の工程と、
前記第一の評価指標値を基に前記第一の特徴量の一部を削除する第四の工程と、
前記第一の特徴量の中で前記削除された特徴量以外の特徴量である第二の特徴量の順位を前記第一の評価指標値を用いて更新する第五の工程と、
前記第二の特徴量の個数と同数の第二のデータ群を作成する第六の工程と、
前記第二のデータ群の各々の予測性能を評価する第二の評価指標値を求める第七の工程と、
前記第一の評価指標値の最小値と前記第二の評価指標値の最小値が同じ場合、前記第二の特徴量を用いて予測モデルを求め、
前記第一の評価指標値の最小値と前記第二の評価指標値の最小値が異なる場合、前記第二の評価指標値を基に前記第二の特徴量の一部を削除するとともに前記第二の特徴量の中で前記削除された特徴量以外の特徴量である第三の特徴量の順位を前記第二の評価指標値を用いて更新する第八の工程を実行する制御装置を備え、
Ｎ番目の前記第一のデータ群は、前記第一の特徴量の１位から前記Ｎ位までの特徴量を有し、
Ｍを前記第二の特徴量の個数とした場合、Ｍ番目の前記第二のデータ群は、前記第二の特徴量の１位からＭ位までの特徴量を有することを特徴とする半導体製造装置。
【請求項５】
請求項４に記載の半導体製造装置において、
前記第一の評価指標値は、ＡＩＣを用いて求められた値であることを特徴とする半導体製造装置。
【請求項６】
請求項４に記載の半導体製造装置において、
前記第五の工程は、前記Ｎ番目の前記第一のデータ群に対応する前記第一の評価指標値から(Ｎ−１)番目の前記第一のデータ群に対応する前記第一の評価指標値を減じた値を用いて前記第二の特徴量の順位を更新することを特徴とする半導体製造装置。
【請求項７】
請求項４ないし請求項６のいずれか一項に記載の半導体製造装置において、
前記予測モデルは、プラズマ処理装置のプラズマ処理結果を予測することを特徴とする半導体製造装置。
【請求項８】
特徴値を用いて予測モデルを求めるデータ処理方法において、
Ｎを自然数とした場合、順位付けされたＮ個の第一の特徴量を１位からＮ位の順位に並び替える第一の工程と、
Ｎ個の第一のデータ群を作成する第二の工程と、
前記第一のデータ群の各々の予測性能を評価する第一の評価指標値を求める第三の工程と、
前記第一の評価指標値を基に前記第一の特徴量の一部を削除する第四の工程と、
前記第一の特徴量の中で前記削除された特徴量以外の特徴量である第二の特徴量の順位を前記第一の評価指標値を用いて更新する第五の工程と、
前記第二の特徴量の個数と同数の第二のデータ群を作成する第六の工程と、
前記第二のデータ群の各々の予測性能を評価する第二の評価指標値を求める第七の工程と、
前記第一の評価指標値の最小値と前記第二の評価指標値の最小値が同じ場合、前記第二の特徴量を用いて予測モデルを求め、
前記第一の評価指標値の最小値と前記第二の評価指標値の最小値が異なる場合、前記第二の評価指標値を基に前記第二の特徴量の一部を削除するとともに前記第二の特徴量の中で前記削除された特徴量以外の特徴量である第三の特徴量の順位を前記第二の評価指標値を用いて更新する第八の工程とを有し、
Ｎ番目の前記第一のデータ群は、前記第一の特徴量の１位から前記Ｎ位までの特徴量を有し、
Ｍを前記第二の特徴量の個数とした場合、Ｍ番目の前記第二のデータ群は、前記第二の特徴量の１位からＭ位までの特徴量を有することを特徴とするデータ処理方法。
【請求項９】
請求項８に記載のデータ処理方法において、
前記第一の評価指標値は、ＡＩＣを用いて求められた値であることを特徴とするデータ処理方法。
【請求項１０】
請求項８に記載のデータ処理方法において、
前記第五の工程は、前記Ｎ番目の前記第一のデータ群に対応する前記第一の評価指標値から(Ｎ−１)番目の前記第一のデータ群に対応する前記第一の評価指標値を減じた値を用いて前記第二の特徴量の順位を更新することを特徴とするデータ処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデータ処理装置、方法、及び半導体製造装置に係り、特にデータ解析による処理結果の予測技術に関する。
【背景技術】
【０００２】
昨今の製造業においては、製造装置より得られるデータを有効活用し、生産性を向上させる取り組みが注目されている。例えば、半導体製造装置においては、特許文献１で公開されているように重回帰分析などの手法を用いた処理結果の予測がプロセスコントロール等に幅広く利用されている。一方で、製造プロセスが高度化、複雑化している現代製造業においては、生産工場全体で得られるデータは膨大な量におよび、重要なデータとそうでないデータの取捨選択は、データを活用した製造装置運用において必須の課題となっている。例えば、半導体製造装置においては、一つの製造装置に数十を超えるデータ取得のためのセンサが備え付けられていることも珍しくない。また製造プロセスに必要となる時間が長い場合は、それだけ多くのデータが蓄積されることとなり、取り扱うデータ量は膨大なものとなる。【０００３】
通常データ処理ではセンサによる計測から得られた時系列信号をそのまま使用する訳ではなく、その信号の特徴を良く表す特徴量、もしくはフィーチャと呼ばれる値を使用することが多い。時系列信号の平均値、標準偏差値などは特徴量の一つである。時系列信号から特徴量を抽出することにより、データ量をある程度圧縮することが可能になるが、この特徴量の抽出の段階では出来る限り多くの特徴量が抽出されることが望ましい。しかし、多くの場合、抽出した特徴量の中には解析上意味のないものも数多く存在し、そうした意味のない特徴量は計算時間の増加を招くばかりか、解析におけるノイズとして解析結果に悪影響を及ぼしうる。さらに処理結果の予測等のためのモデル式の作成において、使用する特徴量が多くなるにつれ、モデル式の作成時に過学習と呼ばれる汎化性能を欠いた状態に陥る可能性が高まる。【０００４】
過学習を抑制するためのモデル式の妥当性の評価指標として赤池情報量基準（Akaike Information Criteria: AIC）が良く知られており、AICを用いた重要な変数の選択は、例えば特許文献２において公開されている。また、抽出した特徴量から解析上意味のありそうな特徴量を選択するためのアルゴリズムは数多くのものが提案されている。【０００５】
例えば、非特許文献１においてはSequential Forward Selectionと呼ばれる繰り返し計算を用いた特徴量選択手法が開示されている。この方法はラッパー法と呼ばれる特徴量選択手法のうちの一つである。また、非特許文献２においてはFisher Criterionとよばれる特徴量の重要度のランキングを作成し、そのランキングに応じて特徴量を選択する手法が開示されている。この方法はフィルタ法と呼ばれる特徴量選択手法のうちの一つである。更に、非特許文献３においてはRandom Forestとよばれる回帰手法の中で特徴量の重要度のランキングを作成し、そのランキングに応じて特徴量を選択する手法が開示されている。この方法はエンベディット法と呼ばれる特徴量選択手法のうちの一つである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９―１０３７０号公報
【特許文献２】特開平７−２５３９６６号公報
【非特許文献】
【０００７】
【非特許文献１】P. Pudil, J. Novovicova, and J. Kittler, “Floating search methods in feature selection,” Pattern Recognition Letters, vol. 15, pp. 1119-1125, Nov. 1994.
【非特許文献２】Sa Wang, Cheng-Lin Liu, and Lian Zheng, “Feature selection by combining fisher criterion and principal feature analysis,” in Proc. of the Sixth International Conference on Machine Learning and Cybernetics, Hong Kong, China, 2007, pp. 1149-1154.
【非特許文献３】Leo Breiman, “Random Forest,” Machine Learning, vol. 45, pp. 5-32, 2001.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述したラッパー法では繰り返し計算の際に最適化のための評価指標が必要であり、フィルタ法、エンベディト法では特徴量数の最適化のための評価指標が必要となる。上述の通り、この評価指標にはAICが使われることがある。しかしながら、AICはモデルの汎化性能を担保し、過学習を抑制するための指標として有効であるが、AICを用いた評価による最適化を行っても過学習に陥る場合がある。また、そのような場合にも効果的に過学習を防ぐ手法として交差検証法があるが、交差検証法は計算に多大な時間を要する。【０００９】
本発明の目的は、上記のような課題を解決し、モデル式作成時の過学習抑制と計算負荷抑制のトレードオフを解消することが可能なデータ処理装置、方法、及び半導体製造装置を提供することにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するため、本発明においては、特徴値を用いて予測モデルを求めるデータ処理装置において、Ｎを自然数とした場合、順位付けされたＮ個の第一の特徴量を１位からＮ位の順位に並び替える第一の工程と、Ｎ個の第一のデータ群を作成する第二の工程と、第一のデータ群の各々の予測性能を評価する第一の評価指標値を求める第三の工程と、第一の評価指標値を基に第一の特徴量の一部を削除する第四の工程と、第一の特徴量の中で削除された特徴量以外の特徴量である第二の特徴量の順位を第一の評価指標値を用いて更新する第五の工程と、第二の特徴量の個数と同数の第二のデータ群を作成する第六の工程と、第二のデータ群の各々の予測性能を評価する第二の評価指標値を求める第七の工程と、第一の評価指標値の最小値と第二の評価指標値の最小値が同じ場合、第二の特徴量を用いて予測モデルを求め、第一の評価指標値の最小値と第二の評価指標値の最小値が異なる場合、第二の評価指標値を基に第二の特徴量の一部を削除するとともに第二の特徴量の中で削除された特徴量以外の特徴量である第三の特徴量の順位を第二の評価指標値を用いて更新する第八の工程を実行する演算装置を備え、Ｎ番目の第一のデータ群は、第一の特徴量の１位からＮ位までの特徴量を有し、Ｍを第二の特徴量の個数とした場合、Ｍ番目の第二のデータ群は、第二の特徴量の１位からＭ位までの特徴量を有することを特徴とするデータ処理装置を提供する。【００１１】
また、上記の目的を達成するため、本発明においては、特徴値を用いて求められた予測モデルにより処理結果が予測される半導体製造装置において、Ｎを自然数とした場合、順位付けされたＮ個の第一の特徴量を１位からＮ位の順位に並び替える第一の工程と、Ｎ個の第一のデータ群を作成する第二の工程と、第一のデータ群の各々の予測性能を評価する第一の評価指標値を求める第三の工程と、第一の評価指標値を基に第一の特徴量の一部を削除する第四の工程と、第一の特徴量の中で削除された特徴量以外の特徴量である第二の特徴量の順位を第一の評価指標値を用いて更新する第五の工程と、第二の特徴量の個数と同数の第二のデータ群を作成する第六の工程と、第二のデータ群の各々の予測性能を評価する第二の評価指標値を求める第七の工程と、第一の評価指標値の最小値と第二の評価指標値の最小値が同じ場合、第二の特徴量を用いて予測モデルを求め、第一の評価指標値の最小値と第二の評価指標値の最小値が異なる場合、第二の評価指標値を基に第二の特徴量の一部を削除するとともに第二の特徴量の中で削除された特徴量以外の特徴量である第三の特徴量の順位を第二の評価指標値を用いて更新する第八の工程を実行する制御装置を備え、Ｎ番目の第一のデータ群は、第一の特徴量の１位からＮ位までの特徴量を有し、Ｍを第二の特徴量の個数とした場合、Ｍ番目の第二のデータ群は、第二の特徴量の１位からＭ位までの特徴量を有することを特徴とする半導体製造装置を提供する。【００１２】
更に、上記の目的を達成するため、特徴値を用いて予測モデルを求めるデータ処理方法において、Ｎを自然数とした場合、順位付けされたＮ個の第一の特徴量を１位からＮ位の順位に並び替える第一の工程と、Ｎ個の第一のデータ群を作成する第二の工程と、第一のデータ群の各々の予測性能を評価する第一の評価指標値を求める第三の工程と、第一の評価指標値を基に第一の特徴量の一部を削除する第四の工程と、第一の特徴量の中で削除された特徴量以外の特徴量である第二の特徴量の順位を第一の評価指標値を用いて更新する第五の工程と、第二の特徴量の個数と同数の第二のデータ群を作成する第六の工程と、第二のデータ群の各々の予測性能を評価する第二の評価指標値を求める第七の工程と、第一の評価指標値の最小値と第二の評価指標値の最小値が同じ場合、第二の特徴量を用いて予測モデルを求め、第一の評価指標値の最小値と第二の評価指標値の最小値が異なる場合、第二の評価指標値を基に第二の特徴量の一部を削除するとともに第二の特徴量の中で削除された特徴量以外の特徴量である第三の特徴量の順位を第二の評価指標値を用いて更新する第八の工程とを有し、Ｎ番目の第一のデータ群は、第一の特徴量の１位からＮ位までの特徴量を有し、Ｍを第二の特徴量の個数とした場合、Ｍ番目の第二のデータ群は、第二の特徴量の１位からＭ位までの特徴量を有することを特徴とするデータ処理方法を提供する。
【発明の効果】
【００１３】
本発明のデータ処理装置により、モデル式作成時の過学習抑制と計算負荷抑制のトレードオフが解消される。
【図面の簡単な説明】
【００１４】
【図１】実施例１に係る特徴量選択部におけるデータ処理動作のフローチャートを示す図である。
【図２】実施例１に係る従来手法による特徴量選択におけるAICと特徴量数の関係を示すグラフ図である。
【図３】実施例１に係る特徴量選択部における特徴量選択で、繰り返し工程の中でAICと特徴量数の関係が変化していく様子を示すグラフ図である。
【図４】実施例１に係る従来手法による特徴量数、RR予測性能、計算所要時間をまとめた表を示す図である。
【図５】実施例１に係る特徴量選択部での特徴量選択を用いた場合の特徴量数、RR予測性能、計算時間をまとめた表を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明を実施するための形態を図面に従い順次説明する。なお、本明細書において、自然数であるＮやＭを英数小文字であるｎやｍと表記する場合がある。
【実施例１】
【００１６】
実施例１は、モデル式作成時の過学習抑制と計算負荷抑制のトレードオフが解消されるデータ処理装置の実施例である。すなわち、特徴値を用いて予測モデルを求めるデータ処理装置において、Ｎを自然数とした場合、順位付けされたＮ個の第一の特徴量を１位からＮ位の順位に並び替える第一の工程と、Ｎ個の第一のデータ群を作成する第二の工程と、第一のデータ群の各々の予測性能を評価する第一の評価指標値を求める第三の工程と、第一の評価指標値を基に第一の特徴量の一部を削除する第四の工程と、第一の特徴量の中で削除された特徴量以外の特徴量である第二の特徴量の順位を第一の評価指標値を用いて更新する第五の工程と、第二の特徴量の個数と同数の第二のデータ群を作成する第六の工程と、第二のデータ群の各々の予測性能を評価する第二の評価指標値を求める第七の工程と、第一の評価指標値の最小値と第二の評価指標値の最小値が同じ場合、第二の特徴量を用いて予測モデルを求め、第一の評価指標値の最小値と第二の評価指標値の最小値が異なる場合、第二の評価指標値を基に第二の特徴量の一部を削除するとともに第二の特徴量の中で削除された特徴量以外の特徴量である第三の特徴量の順位を第二の評価指標値を用いて更新する第八の工程を実行する演算装置を備え、Ｎ番目の第一のデータ群は、第一の特徴量の１位からＮ位までの特徴量を有し、Ｍを第二の特徴量の個数とした場合、Ｍ番目の第二のデータ群は、第二の特徴量の１位からＭ位までの特徴量を有する構成のテータ処理装置、方法、及び半導体製造装置の実施例である。【００１７】
図１から図５を用いて、実施例１のデータ処理装置、方法を説明する。本実施例のデータ処理装置は、図示を省略した電子データを記録する記録部と、記録された電子データを演算する演算部を備える。このようなデータ処理装置は、Personal Computer（PC）で代表される、電子データを演算するCentral Processing Unit（CPU）と、電子データや各種の処理プログラムを記憶する記憶部と、キーボードやディスプレイからなる入出力部と、通信インタフェースを備えた通常のコンピュータで実現できるため、データ処理装置の図示を省略する。【００１８】
本実施例のデータ処理装置の演算部内部には、処理プログラムで実現可能な特徴量選択部を備える。そして、記録部に記録される電子データは、モデル式の説明変数になる電子データと、目的変数になる電子データの二種類が存在する。例えば、製造装置における加工結果予測のためのデータ処理であれば、説明変数となる電子データは製造装置の稼働状態に関するデータであり、目的変数となるデータは加工結果のデータである。【００１９】
本実施例では、より具体的には製造装置として半導体製造装置の一つであるChemical Mechanical Polishing（CMP）装置を取り上げる。ここで、説明変数となるデータはウエハの回転速度やスラリーの量などの加工時の加工条件のモニタ値や、研磨パッドの使用時間など装置自体の状態に関するデータである。対して、目的変数となるデータはCMP装置での処理によるウエハの研磨量（Removal Rate: RR）である。作成するモデル式は、上記の装置データから、RRを予測する回帰式となる。【００２０】
記録部に記録された装置データは、演算部にて演算され、明らかに異常なデータの排除や特徴量の抽出など解析前処理が成される。装置データのサンプル数が増えると、横軸に特徴量、縦軸にサンプルをとった行列の行が増えていくことになる。上記のようなそれぞれのサンプルの特徴量を並べた行列を特徴量行列と呼ぶ。この特徴量行列において、解析に移行する所望の条件をみたした場合に、特徴量行列データおよび特徴量行列の各サンプルに対応するRRの値のデータが特徴量選択部に送られる。ここで、解析に移行する条件は、特徴量行列のサンプル数が所望の値をこえることや、特徴量行列におけるサンプルの蓄積期間が所望の期間をこえること等が挙げられる。【００２１】
特徴量選択部に送られた特徴量行列およびRRのデータを用いて、図1に示すフローチャートによって特徴量の選択処理がなされる。上述の通り、この選択処理の実行はCPUの所定のプログラム実行によって行われる。【００２２】
図１のフローチャートにおいて、特徴量選択部における第１工程では、まず、特徴量の重要度、すなわち特徴量ランキングをフィルタ法の一つであるFisher Criterionを用いて作成する(S101)。【００２３】
特徴量選択部における第２工程では、第１工程において作成したランキング(i)に応じて、特徴量の一部のみを用いたデータ群を作成する。以下このデータ群のことをサブセットと記載する。【００２４】
第２工程では特徴量の数と同数サブセットが作成される(S103)。ここで、Ｎ番目のサブセットに含まれる特徴量は、ランキングの１番目からＮ番目までの特徴量となる。例えば、全特徴量数が３個の場合、一つめのサブセットにはランキング一位の特徴量のみが含まれる。二つ目のサブセットにはランキング一位と二位の２つの特徴量が含まれる。３つめのサブセットにはランキング一位と二位と三位の３つの特徴量が含まれる。【００２５】
特徴量選択部における第３工程では、第２工程において作成したすべてのサブセットについて、回帰もしくは分類問題における予測性能を評価する指標となる値である評価指標、すなわちモデル式評価指標を計算して作成する(S104)。本実施例では、RRを推測する回帰問題であり、予測性能を評価する指標として上述したAICを採用することとする。第３の工程ではすべてのサブセットについてそれぞれのAICを計算することになる。【００２６】
図２に、横軸に各サブセットの番号を、縦軸に対応するAICをプロットしたグラフの一例を示す。本実施例の第４工程においては、第３工程において計算されたAICを基に不必要な特徴量を判断し、削除する(S105)。図２のグラフ201において、AICはサブセット番号８４番においてAICが最小となっている。これはランキング１番目から８４番目までの特徴量は予測性能を向上させることに寄与しているが、８５番目以降の特徴量は予測性能の向上に寄与していないことを示している。従って第４工程では、AICが最小となるサブセット番号の次のサブセット番号以降のランキングに相当する特徴量が削除される。すなわち、本実施例においてはランキング８５位以降の特徴量が削除される。【００２７】
本実施例特徴量選択部の第５工程においては、第４の工程で残った特徴量において、AICを基準にランキングが更新される(S106)。新たなランキングは以下の式１に示す重要度ギャップ（significance gap, SG）によって決定される(S107)。【００２８】
【数１】
2020115943.tif 000003
【００２９】
ここでAIC（ｎ）はｎ番目のサブセットに関するAICの値である。SG（１）に関しては、計算ができないため、いかなるSG(ｎ)よりも小さい値を設定する。【００３０】
第５工程におけるSGの意味を以下に述べる。ｎ番目のサブセットはｎ−１番目のサブセットにランキングｎ番目の特徴量を加えたものになる。従って。SG(ｎ)はｎ−１番目のサブセットにｎ番目の特徴量を加えたことによる予測性能の向上の度合いを表していることになる。従ってこの値が小さいほどｎ番目の特徴量による予測性能の向上が大きいことになり、ｎ番目の特徴量は重要であると判断される。第５工程においては、SGの小さい順番に特徴量の重要度ランキングが更新される。【００３１】
第５工程終了後、本実施例においては上記第２工程から第５工程が繰り返される(S102)。図３に繰り返しによってそれぞれの繰り返しの第３工程で得られる各サブセットにおけるAICの値のグラフを示す。繰り返しによって選択される特徴量が減少していき、AICの最小値も小さくなっている、つまり、予測性能が向上していることがわかる。【００３２】
上記第２工程から第５工程までの繰り返しは、ｍ番目の繰り返しにおいて第３の工程で得られるAICの最小値が、ｍ−１番目の繰り返しにおいて第３の工程で得られるAICの最小値と等しくなるまで繰り返される。繰り返しの終了後、AICが最も低くなったサブセットが、選択される特徴量からなるサブセットとなる。【００３３】
上記の手順で選択された特徴量サブセットを用いて演算部ではRRを推測する回帰モデルが作成される。この回帰モデルと特徴量サブセットの情報は記録部に保存される。上記のように、モデルを作成するための装置データとRRデータの両方を所望の期間、もしくは所望の量取得し、特徴量選択をしてモデルを作成する工程を一般にトレーニング工程と呼ぶ。【００３４】
対して、装置データのみを取得して、データからRRの予測を行う運用工程をテスティング工程と呼ぶ。テスティング工程では、新規に記録部に保存したデータを演算部に送り、トレーニング工程と同様の特徴量抽出などの解析前処理を実施する。その後に、記憶部に保存されている最適特徴量サブセットと同様の項目の特徴量を選択し、記憶部に保存されているRR推測回帰モデルを用いてRRの推測を行う。【００３５】
本実施例による過学習抑制効果、計算時間抑制効果、RR予測性能の確認を行うために、すでにRRが分かっているデータを用いて検証解析を行った。上記検証は交差検証法を用いて行った。【００３６】
図４に既存の特徴量選択手法を、回帰問題における特徴量選択に使用した場合の選択された特徴量の数、RR予測性能指標となる予測誤差指標および特徴量選択に要した時間の表401を示す。なお、この際、ラッパー法における特徴量選択のための性能評価指標としてはAICを使用した。また、フィルタ法およびラッパー法において最適な特徴量数を決定するための指標としてもAICを使用した。最終的な予測性能は交叉検証法にて求められたmean squared error (MSE)を使用した。【００３７】
図４に示すように、ラッパー法のSequential forward selectionやエンベディット法のLASSOにおいては予測性能を表すMSEは良い値となっているが、1000秒オーダーの長い計算時間が必要となっている。他の方法に関しては、MSEの値が極端に悪い値となっており、過学習に陥っていることが分かる。【００３８】
図５に本実施例の特徴量選択部における特徴量選択手法を同様の回帰問題における特徴量選択に使用した場合の特徴量選択に使用した場合の選択された特徴量の数、RR予測性能指標となる予測誤差指標および特徴量選択に要した時間の表501を示す。表501に示すように従来の手法のフィルタ法および一部のエンベディット法と同程度の短い時間で、過学習を抑制し、従来の手法のsequential forward selectionやLASSOにおいて得られた性能とほぼ同等の性能が得られていることが確認された。【００３９】
従って本実施例のデータ処理装置により、モデル式作成時の過学習抑制と計算負荷抑制のトレードオフが解消されるといえる。【００４０】
本発明により得られたモデル式による加工結果の推測値は種々に利用可能である。例えば、本発明におけるモデル式と取得データにより得られた加工結果の推測値と所望の加工値のずれがある管理値よりも大きくなった場合に、警告を発するシステムが存在してもよい。また、その警告に応じて、製造装置の加工を制御する制御システムが存在してもよい。前記の制御は、製造装置による製造プロセスを停止するような制御でもよい。また、製造装置の加工条件を自動的に変更するような制御であってもよい。【００４１】
以上、本発明を実施例１にもとづいて具体的に説明したが、本発明は実施例１の構成に限定されず、その要旨を逸脱しない範囲で種々に変更可能である。例えば、実施例１においては、CMP装置を例としたが、CMP装置からのデータに関わらず、その他のデータであっても構わない。その中でも、半導体製造装置に関しては一般に使用されるセンサが非常に多く、運用方法も複雑であることが多いため、抽出される特徴量が多くなる点や、目的変数となる加工結果のデータがリアルタイムで得られにくい点も鑑み、本発明の適用先として好適である。例えばプラズマエッチング装置からのデータは本発明にて処理されるデータとして好適である。【００４２】
例えば、そのような被処理体に所定の処理を実行する半導体製造装置は、半導体製造装置の状態をモニタするセンサと、センサの出力に基づく半導体製造装置の状態の電子データを記録する記録部と、半導体製造装置の状態に関する電子データを用い演算を行う演算部とを含み、演算部は、演算に用いる特徴量選択部を備え、特徴量選択部は、特徴量選択において、特徴量に順位付けを行い、上位のものから並び替える第一の工程と、順位に応じて一部の特徴量のみを用いたデータ群を複数個作成する第二の工程と、一部の特徴量のみを用いたデータ群のそれぞれを使用して、回帰もしくは分類問題の予測性能を評価する指標となる値を計算する第三の工程と、計算された予測性能指標を元に特徴量を削除する第四の工程と、削除された特徴量以外の特徴量に関して、予測性能指標を用いて特徴量の順位を更新する第五の工程と、を備え、第二の工程から第五の工程を、第三の工程で計算される予測性能指標の最も良い値が更新されなくなるまで繰り返す構成となる。【００４３】
言いかえるなら、特徴値を用いて求められた予測モデルにより処理結果が予測される半導体製造装置において、Ｎを自然数とした場合、順位付けされたＮ個の第一の特徴量を１位からＮ位の順位に並び替える第一の工程と、Ｎ個の第一のデータ群を作成する第二の工程と、第一のデータ群の各々の予測性能を評価する第一の評価指標値を求める第三の工程と、第一の評価指標値を基に第一の特徴量の一部を削除する第四の工程と、第一の特徴量の中で削除された特徴量以外の特徴量である第二の特徴量の順位を第一の評価指標値を用いて更新する第五の工程と、第二の特徴量の個数と同数の第二のデータ群を作成する第六の工程と、第二のデータ群の各々の予測性能を評価する第二の評価指標値を求める第七の工程と、第一の評価指標値の最小値と第二の評価指標値の最小値が同じ場合、第二の特徴量を用いて予測モデルを求め、第一の評価指標値の最小値と第二の評価指標値の最小値が異なる場合、第二の評価指標値を基に第二の特徴量の一部を削除するとともに第二の特徴量の中で削除された特徴量以外の特徴量である第三の特徴量の順位を第二の評価指標値を用いて更新する第八の工程を実行する制御装置を備え、Ｎ番目の第一のデータ群は、第一の特徴量の１位からＮ位までの特徴量を有し、Ｍを第二の特徴量の個数とした場合、Ｍ番目の第二のデータ群は、第二の特徴量の１位からＭ位までの特徴量を有することになる。【００４４】
なお、本発明におけるトレーニング処理における記録部、演算部、テスティング処理における記録部、演算部のそれぞれは単一のハードウェア内に存在してもよいし、複数のハードウェアに分散して配置されていてもよい。【００４５】
また、本発明のデータ元となる製造装置は一台であっても複数台であっても構わない。作成した一つのモデル式を複数台の製造装置のデータ処理に適用しても構わないし、複数のモデル式を作成し、それぞれ異なる製造装置のデータ処理に適用しても構わない。【００４６】
更に、演算部における特徴量選択部はハードウェアとして独立していてもよい。また、演算部全体のハードウェア内のプログラムの一部として存在しており、ハードウェアとして独立していなくてもよい。【００４７】
また更に、実施例１においては、第１工程において既存のフィルタ法によりランキングを作成したが、ランキングの作成方法は既存のフィルタ法以外の方法でも構わない。【００４８】
更にまた、実施例１においては、第３工程において、予測性能を評価する指標としてAICを採用したが、この指標はAIC以外の指標でも構わない。
【符号の説明】
【００４９】
201  グラフ
401、501  表
【図１】
2020115943.tif 000004
【図２】
2020115943.tif 000005
【図３】
2020115943.tif 000006
【図４】
2020115943.tif 000007
【図５】
2020115943.tif 000008
【国際調査報告】
2020115943.tif 000009
2020115943.tif 000010