(57)【要約】【課題】装置の異常検出に利用する統計的パラメータの調整を自動的に行う。【解決手段】ユーザーにより指定された製品ＩＤに係る分析結果を工程ＩＤ毎に表す分析結果一覧画面の閲覧回数および工程注目度を含む閲覧状況データ並びにＰ値補正ファクタに基づいて最新のＰ値補正ファクタを算出する。次に、製品の検査データと製造装置の装置履歴データのマージデータを所定の有意差検定法に適用して工程ＩＤおよび対比較される装置ＩＤの組合せ毎にＰ値を算出し、このＰ値とＰ値補正ファクタに基づいて新たなＰ値を算出する。次に、新たなＰ値を所定の有意水準と比較して装置差分析を行い、その結果を分析結果一覧画面として表示する。そして、分析結果一覧画面の閲覧回数および工程注目度を製品ＩＤ毎に統計して閲覧状況データを作成し、更新する。【選択図】図１
2011129580.tif 000002
【特許請求の範囲】
【請求項１】
複数の装置および工程によって製造された製品の製品ＩＤ、ロットＩＤおよび検査結果を関係付けた検査データを記録する検査データ記録部と、
前記製品ＩＤ、前記ロットＩＤ、工程ＩＤ、装置ＩＤおよび処理時刻を関係付けた装置履歴データを記録する装置履歴データ記録部と、
前記検査データおよび前記装置履歴データを取得し、前記製品ＩＤおよび前記ロットＩＤをキーとしてマージデータを作成するマージデータ作成部と、
ユーザーにより指定された前記製品ＩＤに係る分析結果を前記工程ＩＤ毎にトレンド図および箱ヒゲ図によって表す分析結果一覧画面の閲覧回数と前記分析結果一覧画面における前記工程ＩＤの選択回数に基づく工程注目度とを含む閲覧状況データを記録する閲覧状況データ記録部と、
前記工程ＩＤ毎にＰ値補正ファクタを記録するＰ値補正ファクタ記録部と、
前記閲覧状況データおよび前記Ｐ値補正ファクタに基づいて最新のＰ値補正ファクタを算出し、この最新のＰ値補正ファクタに基づいて前記Ｐ値補正ファクタ記録部を更新するＰ値補正ファクタ算出部と、
前記マージデータを所定の有意差検定法に適用して前記工程ＩＤおよび対比較される前記装置ＩＤの組合せ毎にＰ値を算出すると共に、このＰ値および前記Ｐ値補正ファクタに基づいて前記工程ＩＤおよび対比較される前記装置ＩＤの組合せ毎に新たなＰ値を算出し、この新たなＰ値を所定の有意水準と比較して装置差分析を行う装置差分析部と、
前記装置差分析の結果を前記分析結果一覧画面として表示すると共に、前記ユーザーの前記分析結果一覧画面に係る前記閲覧回数および前記工程注目度を前記製品ＩＤ毎に統計して前記閲覧状況データを作成し、前記閲覧状況データ記録部を更新する分析結果表示部と、
を備えることを特徴とする異常装置検出システム。
【請求項２】
前記分析結果表示部は、前記分析結果一覧画面においてユーザーに選択された前記工程ＩＤに係る各装置の詳細な分析結果とこの分析結果に対するアンケート入力部品を含む詳細結果画面を更に表示すると共に、前記選択回数および前記アンケートの結果に基づいて前記工程注目度を算出して前記閲覧状況データの一部として前記閲覧状況データ記録部に記録することを特徴とする請求項１記載の異常装置検出システム。
【請求項３】
前記分析結果表示部は、前記ユーザー毎に予め設定された重み付けを前記工程注目度の算出に用いることを特徴とする請求項２記載の異常装置検出システム。
【請求項４】
前記装置差分析部は、所定の有意水準補正法によって所定の有意水準を補正した新たな有意水準と前記新たなＰ値とを比較して装置差分析を行うことを特徴とする請求項１乃至請求項３のいずれか一項記載の異常装置検出システム。
【請求項５】
複数の装置および工程によって製造された製品の製品ＩＤ、ロットＩＤおよび検査結果を関係付けた検査データを記憶装置に記録する検査データ記録ステップと、
前記製品ＩＤ、前記ロットＩＤ、工程ＩＤ、装置ＩＤおよび処理時刻を関係付けた装置履歴データを前記記憶装置に記録する装置履歴データ記録ステップと、
前記検査データおよび前記装置履歴データを取得し、前記製品ＩＤおよび前記ロットＩＤをキーとしてマージデータを作成するマージデータ作成ステップと、
ユーザーにより指定された前記製品ＩＤに係る分析結果を前記工程ＩＤ毎にトレンド図および箱ヒゲ図によって表す分析結果一覧画面の閲覧回数と前記分析結果一覧画面における前記工程ＩＤの選択回数に基づく工程注目度とを含む閲覧状況データを記録する閲覧状況データ記録ステップと、
前記工程ＩＤ毎にＰ値補正ファクタを記録するＰ値補正ファクタ記録ステップと、
前記閲覧状況データおよび前記Ｐ値補正ファクタに基づいて最新のＰ値補正ファクタを算出し、この最新のＰ値補正ファクタに基づいて前記Ｐ値補正ファクタ記録部を更新するＰ値補正ファクタ算出ステップと、
前記マージデータを所定の有意差検定法に適用して前記工程ＩＤおよび対比較される前記装置ＩＤの組合せ毎にＰ値を算出するＰ値算出ステップと、
このＰ値および前記Ｐ値補正ファクタに基づいて前記工程ＩＤおよび対比較される前記装置ＩＤの組合せ毎に新たなＰ値を算出し、この新たなＰ値を所定の有意水準と比較して装置差分析を行う装置差分析ステップと、
前記装置差分析の結果を前記分析結果一覧画面として表示する画面表示ステップと、
前記ユーザーの前記分析結果一覧画面に係る前記閲覧回数および前記工程注目度を前記製品ＩＤ毎に統計して前記閲覧状況データを作成し、前記閲覧状況データ記録部を更新する閲覧状況データ作成ステップと、
をコンピュータに実行させることを特徴とする異常装置検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、半導体などの製造工場において使用する多数の装置の中から異常装置を検出する異常装置検出システムおよび異常装置検出プログラムに関する。
【背景技術】
【０００２】
一般に、半導体製造工場における製造装置バラツキ分析システムでは、測定データと装置処理履歴を取得し、それらのデータを対象に有意差検定を行い、“危険率（以下、「Ｐ値」という。）”がある有意水準を下回る場合にその工程・装置に異常があるとして技術者に注意喚起している。技術者は、その注意喚起に従い、実際に対象の工程・装置に異常があるかどうかを詳細に調査する（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２８９０２５号公報
【非特許文献】
【０００４】
【非特許文献１】Hochberg, Y. and Benjamini, Y.（1995） 「Controlling the False Discovery Rate： A Practical and Powerful Approach to Multiple Testing」 Journal of the Royal Statistical Society. Series B（Methodological）, Vol.57,No.1, 289-300
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、一般に統計的手法を用いた有意差検定の結果が実際の異常工程・装置の発見に結びつくケースは少なく、技術者の詳細調査は徒労に終わることが多い。これは製造工程における異常原因が必ずしも特定の装置によるものでない場合が多いことを意味する。つまり、装置の異常を見逃したくないがために、有意水準を甘く（高く）して多くの異常を警告することは、技術者に労力を浪費させることになる。逆に、有意水準を厳しく（低く）し過ぎると肝心の装置異常を見逃してしまうことになる。
【０００６】
このように、製造する製品の投入量、製造工程の種類によっては、データの分布や、ある期間内に使われる製造装置の台数が異なるのに対して、従来のシステムでは、有意差検定モデルや有意水準を一律に設定することがほとんどであった。したがって、対象の製品・工程が異なれば検定の精度も異なるため、有意水準を一定値に設定した場合には、ある製品・工程については良くアラームが出るが、別の製品・工程ではアラームが全く出ないという現象が起こる。この問題を解決するために、製品・工程毎に有意水準を微調整する方法（非特許文献１参照）が提唱されているが、半導体製造ラインなどは工程の数が非常に多いため、全ての工程について有意水準を手動で設定するのは大きな労力が必要となる。
【０００７】
また、製造ラインの状況は時間とともに変動し、一度設定した有意水準が現在も最適である保証はなく、精度を上げるためには常に有意水準の調整を行い続ける必要がある。また、異なる製品や異なるプロセスにおいても上記の調整を行わなければならないことから、運用における負荷が極めて大きく、実際にはこのような微調整はほとんど行われていないのが実情であった。
【０００８】
そこで、本発明は、上記従来技術の問題に鑑み、装置の異常検出のために利用する統計的パラメータの調整を自動的に行える異常装置検出システムおよび異常装置検出プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る異常装置検出システムは、複数の装置および工程によって製造された製品の製品ＩＤ、ロットＩＤおよび検査結果を関係付けた検査データを記録する検査データ記録部と、前記製品ＩＤ、前記ロットＩＤ、工程ＩＤ、装置ＩＤおよび処理時刻を関係付けた装置履歴データを記録する装置履歴データ記録部と、前記検査データおよび前記装置履歴データを取得し、前記製品ＩＤおよび前記ロットＩＤをキーとしてマージデータを作成するマージデータ作成部と、ユーザーにより指定された前記製品ＩＤに係る分析結果を前記工程ＩＤ毎にトレンド図および箱ヒゲ図によって表す分析結果一覧画面の閲覧回数と前記分析結果一覧画面における前記工程ＩＤの選択回数に基づく工程注目度とを含む閲覧状況データを記録する閲覧状況データ記録部と、前記工程ＩＤ毎にＰ値補正ファクタを記録するＰ値補正ファクタ記録部と、前記閲覧状況データおよび前記Ｐ値補正ファクタに基づいて最新のＰ値補正ファクタを算出し、この最新のＰ値補正ファクタに基づいて前記Ｐ値補正ファクタ記録部を更新するＰ値補正ファクタ算出部と、前記マージデータを所定の有意差検定法に適用して前記工程ＩＤおよび対比較される前記装置ＩＤの組合せ毎にＰ値を算出すると共に、このＰ値および前記Ｐ値補正ファクタに基づいて前記工程ＩＤおよび対比較される前記装置ＩＤの組合せ毎に新たなＰ値を算出し、この新たなＰ値を所定の有意水準と比較して装置差分析を行う装置差分析部と、前記装置差分析の結果を前記分析結果一覧画面として表示すると共に、前記ユーザーの前記分析結果一覧画面に係る前記閲覧回数および前記工程注目度を前記製品ＩＤ毎に統計して前記閲覧状況データを作成し、前記閲覧状況データ記録部を更新する分析結果表示部と、を備えることを特徴とする。
【００１０】
本発明に係る異常装置検出プログラムは、複数の装置および工程によって製造された製品の製品ＩＤ、ロットＩＤおよび検査結果を関係付けた検査データを記憶装置に記録する検査データ記録ステップと、前記製品ＩＤ、前記ロットＩＤ、工程ＩＤ、装置ＩＤおよび処理時刻を関係付けた装置履歴データを前記記憶装置に記録する装置履歴データ記録ステップと、前記検査データおよび前記装置履歴データを取得し、前記製品ＩＤおよび前記ロットＩＤをキーとしてマージデータを作成するマージデータ作成ステップと、ユーザーにより指定された前記製品ＩＤに係る分析結果を前記工程ＩＤ毎にトレンド図および箱ヒゲ図によって表す分析結果一覧画面の閲覧回数と前記分析結果一覧画面における前記工程ＩＤの選択回数に基づく工程注目度とを含む閲覧状況データを記録する閲覧状況データ記録ステップと、前記工程ＩＤ毎にＰ値補正ファクタを記録するＰ値補正ファクタ記録ステップと、前記閲覧状況データおよび前記Ｐ値補正ファクタに基づいて最新のＰ値補正ファクタを算出し、この最新のＰ値補正ファクタに基づいて前記Ｐ値補正ファクタ記録部を更新するＰ値補正ファクタ算出ステップと、前記マージデータを所定の有意差検定法に適用して前記工程ＩＤおよび対比較される前記装置ＩＤの組合せ毎にＰ値を算出するＰ値算出ステップと、このＰ値および前記Ｐ値補正ファクタに基づいて前記工程ＩＤおよび対比較される前記装置ＩＤの組合せ毎に新たなＰ値を算出し、この新たなＰ値を所定の有意水準と比較して装置差分析を行う装置差分析ステップと、前記装置差分析の結果を前記分析結果一覧画面として表示する画面表示ステップと、前記ユーザーの前記分析結果一覧画面に係る前記閲覧回数および前記工程注目度を前記製品ＩＤ毎に統計して前記閲覧状況データを作成し、前記閲覧状況データ記録部を更新する閲覧状況データ作成ステップと、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、装置の異常検出のために利用する統計的パラメータの調整を自動的に行える異常装置検出システムおよび異常装置検出プログラムが提供される。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る異常装置検出システムの全体構成例を示すブロック図。
【図２】図１の検査データ記録部に記録される検査データの具体例を示す図。
【図３】図１の装置履歴データ記録部に記録される検査データの具体例を示す図。
【図４】図１のマージデータ作成部におけるデータマージの具体例を示す図。
【図５】図１の閲覧状況データ記録部に記録される閲覧状況データの具体例を示す図。
【図６】図１のＰ値補正ファクタ記録部に記録されるＰ値補正ファクタの具体例を示す図。
【図７】図１の分析結果記録部に記録される分析結果の具体例を示す図。
【図８】本発明の一実施形態に係る異常装置検出システムに適用されるハードウェア構成例を示す図。
【図９】本発明の一実施形態に係る異常装置検出システムの処理の具体例を示すフローチャート。
【図１０】図１のＰ値補正ファクタ算出部における処理の具体例を示すフローチャート。
【図１１】図１の装置差分析部における処理の具体例を示すフローチャート。
【図１２】図１の装置差分析部における処理のうち、前述の図１１の処理の後に実行される処理の具体例を示すフローチャート。
【図１３】図１の分析結果表示部における処理の具体例を示すフローチャート。
【図１４】図１の分析結果表示部により出力される分析結果一覧画面の具体例を示す図。
【図１５】図１の分析結果表示部により出力される詳細結果画面の具体例を示す図。
【図１６】注目度算出に関してユーザー毎に設定された重み付けの具体例を示す図。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について図面を用いて詳細に説明する。図１は、本発明の一実施形態に係る異常装置検出システム１の全体構成例を示すブロック図である。この異常装置検出システム１は、半導体の製造工程において、製造装置の異常検出を自動で行うコンピュータシステムであり、検査データ記録部１０１、装置履歴データ記録部１０２、マージデータ作成部１０３、閲覧状況データ記録部１０４、Ｐ値補正ファクタ記録部１０５、Ｐ値補正ファクタ算出部１０６、装置差分析部１０７、分析結果記録部１０８および分析結果表示部１０９を備えている。
【００１４】
検査データ記録部１０１は、複数の装置および工程によって製造された製品の製品ＩＤ、ロットＩＤおよび検査結果を関係付けた検査データを記録する記憶装置である。図２は、図１の検査データ記録部１０１に記録される検査データの具体例を示す図である。
【００１５】
装置履歴データ記録部１０２は、製品ＩＤ、ロットＩＤ、工程ＩＤ、装置ＩＤおよび処理時刻を関係付けた装置履歴データを記録する記憶装置である。図３は、図１の装置履歴データ記録部１０２に記録される検査データの具体例を示す図である。
【００１６】
マージデータ作成部１０３は、検査データおよび装置履歴データを取得し、製品ＩＤおよびロットＩＤをキーとして検査データおよび装置履歴データのマージデータを作成するプログラムである。ここでは、予めデータを取得する対象の製品・工程・期間が設定されており、その設定に従い、検査データ（工程ＱＣデータ、装置データなど）、および装置履歴データ（装置ＩＤ、処理時刻など）を自動で取得し、製品ＩＤおよびロットＩＤをキーに両方のデータを連結して、１つのデータテーブルを生成する。図４は、図１のマージデータ作成部１０３で作成されるデータテーブルの具体例を示す図である。このデータを参照することで対象製品のロットの製造工程においてどの装置が使用され、ロットの品質が適切であったのか否かを把握することができる。
【００１７】
閲覧状況データ記録部１０４は、ある一定期間におけるユーザーの閲覧状況データを記録する記憶装置である。この閲覧状況データには、後述する分析結果一覧画面の閲覧回数Ｎ並びに分析結果一覧画面における工程ＩＤの選択回数および詳細結果画面におけるアンケート結果に基づく工程注目度Ｓが含まれている。図５は、図１の閲覧状況データ記録部１０４に記録される閲覧状況データの具体例を示す図である。図５（ａ）では、製品ＩＤと分析結果一覧画面の閲覧回数Ｎとの関係が示されている。また、図５（ｂ）では、製品ＩＤ、工程ＩＤおよび分析結果一覧画面での工程注目度Ｓの関係が示されている。
【００１８】
Ｐ値補正ファクタ記録部１０５は、Ｐ値（危険率）を補正するＰ値補正ファクタγを対象製品の工程ＩＤ毎に記録する記憶装置である。本システムでは、Ｐ値補正ファクタγは予め設定した初期値からユーザーの閲覧状況に基づいて順次補正されていく。図６は、図１のＰ値補正ファクタ記録部１０５に記録されるＰ値補正ファクタの具体例を示す図である。ここでは、製品ＩＤ、工程ＩＤおよびＰ値補正ファクタγの関係が示されている。
【００１９】
Ｐ値補正ファクタ算出部１０６は、マージデータ作成部１０３において検査データおよび装置履歴データから作成されたマージデータ、一定期間における閲覧状況データおよび記録されているＰ値補正ファクタγに基づいて最新のＰ値補正ファクタγ′を算出し、この最新のＰ値補正ファクタγ′に基づいてＰ値補正ファクタ記録部１０５に記録されているＰ値補正ファクタγを更新するプログラムである。
【００２０】
装置差分析部１０７は、検査データと装置履歴データを連結したマージデータを所定の分散分析法および多重検定法に適用して対象製品の工程ＩＤと、対比較を行う装置ＩＤの組合せ毎にＰ値を算出すると共に、このＰ値および最新のＰ値補正ファクタγ′に基づいて工程ＩＤと、対比較を行う装置ＩＤの組合せ毎に新たなＰ値（以下、「Ｐ′値」という。）を算出し、所定の有意水準α（例えば、α＝０．０５）を所定の補正方法によって補正した新たな有意水準α′と算出されたＰ′値とを比較して装置差分析を行うプログラムである。
【００２１】
ここでは、マージデータ作成部１０３で生成したデータテーブル（マージデータ）から統計学的手法を用いて装置差分析を行い、その結果得られたＰ値に、Ｐ値補正ファクタ算出部１０６で算出した最新のＰ値補正ファクタγ′を乗ずることによりＰ′値を算出し、このＰ′値が有意水準α′を下回る場合は、その工程ＩＤ、対比較を実施した装置ＩＤの組合せ、およびＰ′値を対象製品の分析結果（異常装置候補）として分析結果記録部１０８に記録する。さらに後述する方法を用いて、工程内での唯一の異常装置を特定して、工程ＩＤ、特定した異常装置の装置ＩＤ、工程固有のＰ′値（平均値）を分析結果（工程毎異常装置一覧）として分析結果記録部１０８に記録する。また、多重検定を用いて装置差異分析を行う場合、対象の装置台数が多いほど誤って装置差があると判定されてしまう確率（Familywise Error Rate）が大きくなる。これを補正するモデルとして、Benjamini & Hochberg（１９９５）によって、Fail Discovery Rate（FDR）に基づいて有意水準を補正する方法が提唱されている（以下、「ＢＨ法」という）。本実施形態では、既に公知のＢＨ法を基に、さらに各工程の装置が持つ固有のバラツキや技術者の持つ知見をモデルに組み込む手法を提唱する。
【００２２】
分析結果記録部１０８は、装置差分析部１０７における分析結果を記録する記憶装置である。図７は、図１の分析結果記録部１０８に記録される分析結果（異常装置候補リストおよび工程毎異常装置一覧）の具体例を示す図である。異常装置候補リストでは、工程ＩＤ、装置ＩＤの組合せおよび新たなＰ値（Ｐ′値）との関係が示されており、装置ＩＤ−１と装置ＩＤ―２の関係は、各工程内でユニークな組合せとなっている。例えば有意水準が０．０５の場合には工程Ａの分析結果はＥＱＰ１、ＥＱＰ２、ＥＱＰ３、ＥＱＰ４、ＥＱＰ５が異常装置の候補であることを表す。この異常装置候補リストの中から、後述する方法を用いて最も統計的に確からしい唯一の異常装置を求める。すなわち、異常装置候補リストから装置ＩＤ−１および装置ＩＤ−２の列に現れる装置ＩＤの出現頻度を求め、この出現頻度が最も高い装置を、対象工程での異常装置として特定する。仮に出現頻度が同じ装置が複数存在する場合は、装置ＩＤ毎にＰ′値の平均値を求めて、その平均値が最も小さいものを唯一の異常装置として特定する。この処理によって、工程毎にひとつ異常装置が特定され、工程固有のＰ′値（平均）が求まる。求めた工程ＩＤ、装置ＩＤ及びＰ′値（平均）を工程毎異常装置一覧に保存する。
【００２３】
具体的に図７を例にとると、工程ＡではＥＱＰ２が２回出現しており、ＥＱＰ２が出現頻度最大である。すなわち、ＥＱＰ２が工程Ａの唯一の異常装置と認識する。ここで、図７の矢印で示したように、ＥＱＰ２が含まれるレコードのＰ′値を平均すると、（０．００１＋０．００２）／２  ＝  ０．００１５になる。したがって、工程Ａの異常装置はＥＱＰ２であり、そのＰ′値（平均）は０．００１５である。
【００２４】
尚、本実施形態では工程毎に１つの異常装置を求める手法をとるが、実際には異常装置が複数存在する場合もある。しかしながら、本実施形態では解析技術者に出来るだけ絞り込んだ情報を提供することを目的とするため、システム側で示す異常装置は１つだけとする。後述する分析結果表示部１０９において、解析技術者に対して追加情報として、その他異常候補装置を異なる色で表示する等してもよい。
【００２５】
分析結果表示部１０９は、分析結果記録部１０８から分析結果を読み込み、各工程におけるトレンド図および箱ヒゲ図を含む分析結果一覧画面を表示すると共に、分析結果一覧画面の閲覧回数、分析結果一覧画面における工程ＩＤの選択回数および詳細結果画面のアンケートに対する回答を製品ＩＤ毎に統計して閲覧状況データを作成し、閲覧状況データ記録部１０４を更新するプログラムである。
【００２６】
また、分析結果表示部１０９は、分析結果一覧画面に基づき、ユーザーが注目する工程を対話形式で選択すると、その工程ＩＤをキーとして詳細結果画面を表示し、工程選択回数とアンケート結果に基づいて算出した工程注目度（詳細結果）の閲覧状況データで閲覧状況データ記録部１０４を更新する。
【００２７】
図８は、本発明の一実施形態に係る異常装置検出システム１に適用されるコンピュータの構成例を示す図である。同図に示されるように、異常装置検出システム１に適用されるコンピュータは、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３、入出力インターフェース２０４、システムバス２０５、入力装置２０６、表示装置２０７、補助記憶装置２０８および通信装置２０９から構成される。
【００２８】
ＣＰＵ２０１は、ＲＯＭ２０２やＲＡＭ２０３に記録された異常装置検出に関する各種のプログラムやデータなどを用いて演算処理を実行する処理装置である。ＲＯＭ２０２は、コンピュータを機能させるための基本プログラムや環境ファイルなどを記憶する読み取り専用の記憶装置である。ＲＡＭ２０３は、ＣＰＵ２０１が実行するプログラムおよび各プログラムの実行に必要なデータを記憶する記憶装置であり、高速な読み出しと書き込みが可能である。入出力インターフェース２０４は、各種のハードウェアとシステムバス２０５との接続を仲介する装置およびプログラムである。システムバス２０５は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３および入出力インターフェース２０４で共有される情報伝達路である。
【００２９】
また、入出力インターフェース２０４には、入力装置２０６、表示装置２０７、補助記憶装置２０８および通信装置２０９などのハードウェアが接続されている。入力装置２０６は、ユーザーからの入力を処理する装置であり、例えばキーボードやマウスなどである。表示装置２０７は、ユーザーに対して演算結果や作成画面などを表示する装置であり、例えばＣＲＴ、液晶ディスプレイ、プラズマディスプレイなどである。補助記憶装置２０８は、プログラムやデータを蓄積する大容量の記憶装置であり、例えばハードディスク装置などである。
【００３０】
以下、上記のように構成された異常装置検出システム１の動作を図面に基づいて説明する。図９は、本発明の一実施形態に係る異常装置検出システム１の処理の具体例を示すフローチャートである。
【００３１】
Ｓ９０１において、マージデータ作成部１０３は、対象の検査データおよび各ロット処理に使用した工程ＩＤ、装置ＩＤ、処理時刻を該当のデータベースから取得してロットＩＤをキーに両方のデータをマージする。  
Ｓ９０２において、Ｐ値補正ファクタ算出部１０６は、対象の製品の製造工程の内、未処理の工程の有無を判定する。ここで、未処理の工程ありと判定された場合には、Ｓ９０３へ進む。これに対して、未処理の工程なしと判定された場合には、Ｓ９０５へ進む。
【００３２】
Ｓ９０３において、Ｐ値補正ファクタ算出部１０６は、閲覧状況データ記録部１０４から対象の工程ＩＤに係る閲覧状況データを取得し、そのデータを用いてＰ値補正ファクタγ′を算出する。  
Ｓ９０４において、装置差分析部１０７は、マージしたデータを用いて有意差検定を行い、検定の結果得られたＰ値を最新のＰ値補正ファクタγ′により補正して新たなＰ値（Ｐ′値）とし、この新たなＰ値（Ｐ′値）とＢＨ法によって所定の有意水準αを補正した新たな有意水準α′との大小比較によって装置差分析を行い、分析結果を分析結果記録部１０８に記録した後にＳ９０２へ戻り、全ての工程について処理が完了するまでＳ９０２〜Ｓ９０４を繰り返す。  
Ｓ９０５において、分析結果表示部１０９は、分析結果記録部１０８から分析結果を取得し、工程毎に時系列トレンド図および箱ヒゲ図を横に並べた分析結果一覧画面を表示し、処理を終了する。
【００３３】
図１０は、図１のＰ値補正ファクタ算出部１０６における処理の具体例を示すフローチャートであり、図９のＳ９０３に相当する。  
Ｓ１００１においては、Ｐ値補正ファクタ記録部１０５から対象工程ｉのＰ値補正ファクタγiを取得する。  
Ｓ１００２においては、対象工程ｉのＰ値補正ファクタγiが存在する否かを判定する。ここで、Ｐ値補正ファクタγiが存在すると判定された場合は、Ｓ１００３へ進む。これに対し、Ｐ値補正ファクタγiが存在しないと判定された場合は、Ｓ１００７へ進む。
【００３４】
Ｓ１００３においては、分析結果一覧画面の閲覧回数N並びに一定期間内にユーザーが対象工程ｉを一覧より選択した回数およびアンケート結果に基づく工程注目度Ｓｉ（Ｓｉ ≧ ０）を含む閲覧状況データを閲覧状況データ記録部１０４から取得する。  
Ｓ１００４においては、取得された閲覧状況データより一覧表示の有無を判定する。ここで、一覧表示有り（Ｎ＞０）と判定された場合には、Ｓ１００５へ進む。これに対し、一覧表示無し（Ｎ＝０）と判定された場合には、Ｐ値補正ファクタγiの更新は不要のため、処理を終了する。
【００３５】
Ｓ１００５においては、Ｓ１００３において得られた閲覧回数N、工程注目度Ｓｉおよび予め設定された基準値δ（０ < δ < １.０）から、最新のＰ値補正ファクタγi′を算出する。ここでは、以下の式（１）より最新のＰ値補正ファクタγi′を算出する。  
γi′＝ γi × （１ ＋ δ × Ｓｉ／Ｎ）  ・・・式（１）  
ただし、Ｐ′ ＝ Ｐｍａｘ （ Ｐ′ ＞ Ｐｍａｘのとき）  
Ｐ′ ＝ Ｐｍｉｎ （ Ｐ′ ＜ Ｐｍｉｎのとき）
Ｓ１００６においては、算出された最新のＰ値補正ファクタγi′でＰ値補正ファクタ記録部１０５のＰ値補正ファクタγiを更新し、処理を終了する。  
Ｓ１００７においては、Ｐ値補正ファクタγiを１．０として、Ｐ値補正ファクタ記録部１０５に新規登録し、処理を終了する。
【００３６】
図１１は、図１の装置差分析部１０７における処理の具体例を示すフローチャートであり、図９のＳ９０４に相当する。  
Ｓ１１０１においては、対象工程ｉの検査データの外れ値除去を行う。  
Ｓ１１０２においては、対象工程ｉの検査データの正規性を確認するために、データの“歪度”および“尖度”を算出する。
【００３７】
Ｓ１１０３においては、算出された歪度と尖度を予め設定した閾値とそれぞれ比較し、正規性の有無を判定する。ここで、歪度と尖度が閾値の範囲内であり、正規性ありと判定された場合は、Ｓ１１０４へ進む。これに対し、歪度と尖度が閾値を超え、正規性なしと判定された場合は、Ｓ１１０５へ進む。
【００３８】
Ｓ１１０４においては、パラメトリック分析を用いて対象工程ｉに係る全ての装置間における検査データの平均値を求める。  
Ｓ１１０５においては、ノン・パラメトリック分析を用いて対象工程ｉに係る全ての装置間における検査データの平均値を求める。
【００３９】
Ｓ１１０６においては、対象工程ｉに係る全ての装置間における検査データの平均値に差があるか否かを検定する。ここで、平均値に差があると判定された場合は、Ｓ１１０７へ進む。これに対し、平均値に差はないと判定された場合は、Ｓ１１０９へ進む。  
Ｓ１１０７においては、個別装置間の多重検定を行い、対象工程ｉに係る装置の組合せ毎にＰ値を求める。
【００４０】
Ｓ１１０８においては、多重検定で得られたＰ値に、対象工程ｉに係るＰ値補正ファクタγiを乗ずることにより、対象工程ｉに係る装置の組合せ毎にＰ′値を算出する。  
Ｓ１１０９においては、Ｐ′値を１．０に設定する。  
Ｓ１１１０においては、ＢＨ法に基づいて所定の有意水準αを補正し、新たな有意水準α′を求める。
【００４１】
Ｓ１１１１においては、Ｓ１１０８で得られたＰ′値をＳ１１１０において補正により求められた有意水準α′と比較することにより装置差あり／なしの判定を行う。ここで、Ｐ′値が有意水準α′を下回り、装置差ありと判定された場合には、Ｓ１１１２へ進む。これに対して、Ｐ′値が有意水準α′以上であり、装置差なしと判定された場合には、処理を終了する。  
Ｓ１１１２においては、“装置間に差異はない”という帰無仮説の棄却により、装置差ありと判定された装置ＩＤの組合せとＰ′値を分析結果記録部１０８に記録し、処理を終了する。
【００４２】
図１２は、図１の装置差分析部１０７における処理のうち、前述の図１１の処理の後に実行される処理の具体例を示すフローチャートであり、前述と同様に図９のＳ９０４に相当する。  
Ｓ１２０１においては、前述の図１１で示される処理で記録した、異常装置候補リストを読み込む。  
Ｓ１２０２においては、Ｓ１２０１で読み込んだリストのうち、未処理の工程の有無を判定する。ここで、未処理の工程ありと判定された場合には、Ｓ１２０３へ進む。これに対して、未処理の工程なしと判定された場合には、Ｓ１２０９へ進む。
【００４３】
Ｓ１２０３では、Ｓ１２０１で読み込んだ異常候補リストのうち、今回処理対象の工程のみに絞り込む。  
Ｓ１２０４では、Ｓ１２０３で絞り込んだリストに対して、図７の例で示す装置ＩＤ−１、装置ＩＤ−２の列を全て検索し、このリスト内での装置ＩＤ毎の出現頻度を求める。
【００４４】
Ｓ１２０５では、上記で求めた装置ＩＤ毎の出現頻度から、出現頻度が最大の装置を求めて、Ｓ１２０３で絞り込んだリストを、当該装置のみという条件を用いて、さらに絞り込む。出現頻度が最大の装置が複数ある場合は、出現頻度が最大である、全ての装置を対象に絞り込む。
【００４５】
Ｓ１２０６では、Ｓ１２０５で絞り込んだリストに対して、Ｐ′値の平均値を求める。絞り込んだ装置が複数ある場合は、装置ＩＤ毎に平均値を求める。  
Ｓ１２０７では、Ｓ１２０６で求めた平均値が最小となる装置ＩＤを抽出する。  
Ｓ１２０８では、対象の工程ＩＤ、抽出された装置ＩＤ、及びＰ′値（平均）をメモリ上のテーブル（結果配列）に1レコードとして保存する。全ての工程について処理が完了するまでＳ１２０２〜Ｓ１２０８を繰り返す。この繰り返し処理により、メモリ上のテーブルは、工程の数だけレコード数を持つことになる。
【００４６】
Ｓ１２０９では、Ｓ１２０８でメモリ上のテーブル（結果配列）に保存された工程ＩＤ、装置ＩＤ、およびＰ′値（平均）の組合せリストを、Ｐ′値（平均）の小さい順番に並べ替える。  
Ｓ１２１０では、Ｓ１２０９で並び替えた、工程ＩＤ、装置ＩＤ、及びＰ′値（平均）の一覧表（結果配列）を、分析結果記録部１０８に記録する。
【００４７】
図１３は、図１の分析結果表示部１０９における処理の具体例を示すフローチャートであり、図９のＳ９０５に相当する。  
Ｓ１３０１においては、ユーザーからの分析結果表示要求の有無を判定する。ここで、表示要求ありと判定された場合には、Ｓ１３０２へ進む。これに対し、表示要求なしと判定された場合には、表示要求が行われるまで待機状態となる。  
Ｓ１３０２においては、装置差分析部１０７に処理要求を行う共に、分析結果記録部１０８より最新の分析結果を取得する。
【００４８】
Ｓ１３０３においては、取得した分析結果に基づいて分析結果一覧画面を作成し、表示する。図１４は、図１の分析結果表示部１０９により出力される分析結果一覧画面の具体例を示す図である。この画面では図７の工程毎異常装置一覧に示される分析結果を用いて、Ｐ′値（平均）の小さい順番に工程ＩＤが縦に並べられている。また、利用者が、装置異常あり／なしを大まかに把握するための最低限の情報として、時系列のトレンド図と装置ＩＤを基準に分割した箱ヒゲ図とが1行に並べて表示されている。このトレンド図と箱ヒゲ図には、異常装置を異なる色（ハッチング等）で表示するものとすると異常装置の把握が容易となるため好適である。更に、利用者のニーズに応じて装置の保守時期等のイベント情報をトレンド図の中に追加情報として記述してもよい。
【００４９】
Ｓ１３０４においては、閲覧状況データ記録部１０４から取得される閲覧状況データに含まれる閲覧回数を＋１して新たな閲覧状況データを作成し、このデータで閲覧状況データ記録部１０４を更新する。すなわち、一人のユーザーが、この分析結果一覧画面を閲覧すると、分析結果表示部１０９は、一定期間内にユーザーが異常装置の一覧を閲覧した回数を表すNを＋１する。ただし、同一人物が短時間に何度も一覧表示を行った場合は、１回と扱うようにする（ＷＥＢセッションを管理する等）ものとする。尚、本実施形態でいう「短時間」とは数時間を想定しているが、任意に設定を変更可能とする。
【００５０】
Ｓ１３０５においては、分析結果一覧画面の表示中にユーザーが工程を選択したか否かを判定する。図１４に示される分析結果一覧画面の場合には、各工程の表示部分がクリックされたか否かが判定される。ここで、工程の選択ありと判定された場合には、Ｓ１３０６へ進む。これに対し、分析結果一覧画面の表示中に工程の選択なしと判定された場合には、処理を終了する。
【００５１】
Ｓ１３０６においては、選択された工程の工程ＩＤをキーとして詳細結果を取得すると共に、詳細結果画面を作成して表示する。図１５は、図１の分析結果表示部１０９により出力される詳細結果画面の具体例を示す図である。分析結果一覧画面では大まかな結果を縮小表示したが、詳細結果画面ではユーザーが異常装置を把握するために必要な情報が多数付加されている。また、同図においては付加情報として、トレンド図の部分には装置毎の保守時期、レシピの変更時期が示されており、１つの点が１ロットの検査データを示している。グラフ上の点にマウスカーソルを近づけると、ロットの属性情報（ロットＩＤ、ロット処理で発生したイベント等）がポップアップウィンドウで表示される。また、箱ヒゲ図には平均値と標準偏差が付加されている。箱ヒゲ図の箱の部分にマウスカーソルを近づけるとその装置に対する詳細情報（装置ＩＤ、装置種類、メーカー、レシピ等）がポップアップウィンドウで表示される。また、トレンド図および箱ヒゲ図には規格の上限値（ＵＳＬ）および下限値（ＬＳＬ）がそれぞれ表示されている。両図とも利用者のニーズに応じて、装置の状態を把握するのに役立つ情報をさらに付加させることも可能である。例えば、最大値・最小値、前回のメンテナンスからの処理ロット数、リソグラフィ装置の場合は使用したマスク等である。また、詳細結果画面の最後には、“この結果は役に立ちましたか”というアンケートが加えられている。
【００５２】
Ｓ１３０７においては、詳細結果画面に含まれるアンケートに対するユーザーの回答を取得する。  
Ｓ１３０８においては、一定期間内におけるユーザーの工程ｉに対する注目の度合を表す工程注目度Ｓｉを分析結果一覧画面におけるユーザーの工程選択回数とユーザー毎に予め定義された重み付けｘおよびｙとに基づいて算出し、閲覧状況データ記録部１０４の閲覧状況データを更新する。ここでは、図１５の詳細結果画面を表示すると、先ず工程注目度Ｓｉを＋１する。更に、このアンケートに対する回答が“はい”の場合には、Ｓｉにｘを加え、“いいえ”の場合には、Ｓｉからyを引くことで工程注目度Ｓｉを算出する。ｘおよびｙは、ｘ ≧ １、 ｙ ≧ ２ のように予め設定した固定値である。
【００５３】
ただし、熟練度の高いユーザーが“はい”、“いいえ”のボタンをクリックした場合と、熟練度の低いユーザーが同じようにクリックした場合では、その結果の重みが異なる場合がある。すなわち、熟練度の低いユーザーからの応答は逆に“ノイズ”となり、装置の検出精度を低下させる可能性がある。そこで、本実施形態では熟練度の高いユーザーの返答に対してより重みを与えるために、ユーザー毎にｘおよびｙを設定する。この場合は、予めユーザーＩＤ毎にｘおよびｙを記述した重み付け定義テーブルを作成しておく必要がある。
【００５４】
図１６は、重み付け定義テーブルの具体例を示す図である。熟練度の高いユーザーに対しては、ｘおよびｙを大きく、熟練度が低いユーザーに対しては、ｘおよびｙを小さく設定する。ユーザーは、個々に与えられたユーザーＩＤを使用してシステムにログインする。システムは、ログイン時に使用したユーザーＩＤを追跡し、“はい”、“いいえ”のボタンをクリックした時に、前述の重み付け定義テーブルを参照し、当該ユーザーＩＤに相当するｘおよびｙを使用して工程注目度Ｓｉの演算を行う。この操作により、ユーザーが注目する工程は、クリックの頻度が高いことからＳｉが大きくなるため、Ｐ′が小さくなる。したがって、装置差の検出感度が上がり、かつ、一覧表示の順番が上位にシフトする。逆に、ユーザーが見向きもしない工程は、Ｓｉが小さくなるためＰ′が大きくなる。したがって、装置差の検出感度が下がり、一覧表示の順番も下位にシフトする。尚、工程注目度の算出においては、ユーザー毎に定義された重み付けを利用せずに、工程選択回数のみから算出することもできる。
【００５５】
Ｓ１３０９においては、フィードバックされた閲覧状況データに基づく分析処理を装置差分析部１０７に要求すると共に、その分析結果から分析結果一覧画面を作成して表示し、Ｓ１３０５へ戻る。すなわち、“はい”、“いいえ”のどちらをクリックした場合も分析結果一覧画面に戻り、分析結果の参照が行われる。尚、Ｓ１３０５〜Ｓ１３０９の処理は同製品に対する分析結果一覧画面を閉じるまで繰返し行われる。
【００５６】
このように、従来例では装置種類毎に予め決められた有意水準αと統計的検定の結果得られたＰ値とをそのまま比較することで有意差有り／無しを決定していたのに対して、本実施形態に係る異常装置検出システム１では、分析結果表示部１０９から得られたユーザーの閲覧状況に応じて、統計的に算出されたＰ値を補正するという形で、精度を自動的に向上させることができる。すなわち、有意差検定の精度を大きく左右するのは、有意差有り／無しを判定するために使用する有意水準αであるが、従来のように予め設定された有意水準αは、技術者による勘と経験によって決められた”固定値”であり、工程の数が数百に上ると、技術者が工程毎に最適なαを設定することは、現実的に困難である。これに対し、本実施形態に係る異常装置検出システム１では、“有意水準αの補正”を“Ｐ値の補正”という形で実現できる。したがって、最初は一律に適当な有意水準αを設定しておいても、ユーザーの利用によってＰ値が“自動的に”徐々に最適な値に調整されるため、製造装置の異常検出のための統計的パラメータ（Ｐ値）の調整に要する人員を削減できるとともに、調整にかかる時間を短縮することができる。また、製品・工程毎の検定パラメータ調整を行うことにより、製造装置の異常検出精度を大幅に向上させることができる。
【００５７】
更に、統計的手法を用いて異常装置を検出する従来のような方法では、上述したように、技術者の知見（例えば、工程や、装置の種類毎の感度の違いの情報）を検出方法の中に組み込むことは、技術者が勘と経験によって有意水準αを微調整することでしか実現できなかったが、本実施形態に係る異常装置検出システム１では、“技術者の知見（勘と経験）”を“Ｗｅｂの利用頻度”に置き換えることで検定モデルに組み込むことができる。
【００５８】
尚、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組合せにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
【符号の説明】
【００５９】
１…異常装置検出システム
１０１…検査データ記録部
１０２…装置履歴データ記録部
１０３…マージデータ作成部
１０４…閲覧状況データ記録部
１０５…Ｐ値補正ファクタ記録部
１０６…Ｐ値補正ファクタ算出部
１０７…装置差分析部
１０８…分析結果記録部
１０９…分析結果表示部
２０１…ＣＰＵ
２０２…ＲＯＭ
２０３…ＲＡＭ
２０４…入出力インターフェース
２０５…システムバス
２０６…入力装置
２０７…表示装置
２０８…補助記憶装置
２０９…通信装置
【図１】
2011129580.tif 000003
【図２】
2011129580.tif 000004
【図３】
2011129580.tif 000005
【図４】
2011129580.tif 000006
【図５】
2011129580.tif 000007
【図６】
2011129580.tif 000008
【図７】
2011129580.tif 000009
【図８】
2011129580.tif 000010
【図９】
2011129580.tif 000011
【図１０】
2011129580.tif 000012
【図１１】
2011129580.tif 000013
【図１２】
2011129580.tif 000014
【図１３】
2011129580.tif 000015
【図１４】
2011129580.tif 000016
【図１５】
2011129580.tif 000017
【図１６】
2011129580.tif 000018