(57)【要約】【課題】  説明変数から目的変数を予測可能な予測モデルを生成する予測モデル生成装置において、目的変数の予測精度を向上しつつ汎化性を確保可能な予測モデルを生成する技術を提供する。【解決手段】  予測モデル生成装置は、製品の製造工程で得られる説明変数と製品に関連する目的変数との対応関係が示された学習サンプルデータを用いて、機械学習によって仮予測モデルを生成する仮予測モデル生成部と、仮予測モデルを用いて算出された目的変数の予測値と、実際の目的変数の値との差分値を算出し、算出した第１の差分値と、説明変数とを用いて機械学習によって修正用学習モデルを生成する修正用学習モデル生成部と、仮予測モデルと修正用学習モデルとを用いて、予測モデルを生成する予測モデル生成部と、を備える。【選択図】  図１
2020102082.tif 000002
【特許請求の範囲】
【請求項１】
製品の製造工程で得られる説明変数から、前記製品に関連する目的変数を予測可能な予測モデルを生成する予測モデル生成装置であって、
前記説明変数と前記目的変数との対応関係が示された対応データを用いて、機械学習によって仮予測モデルを生成する仮予測モデル生成部と、
前記仮予測モデルを用いて算出された前記目的変数の予測値と、実際の目的変数の値との差分値を算出し、算出した第１の差分値と、前記説明変数とを用いて機械学習によって修正用学習モデルを生成する修正用学習モデル生成部と、
前記仮予測モデルと前記修正用学習モデルとを用いて、前記予測モデルを生成する予測モデル生成部と、を備える、
予測モデル生成装置。
【請求項２】
請求項１に記載の予測モデル生成装置であって、
前記修正用学習モデル生成部は、
前記修正用学習モデルを用いて算出された前記第１の差分値の予測値と、実際の前記第１の差分値との差分値を算出し、算出した第２の差分値と、前記第１の差分値とを比較し、差分値の減少度合いが所定以上の場合には、さらに、前記第２の差分値と、前記説明変数とを用いて追加修正用学習モデルを生成し、
前記予測モデル生成部は、前記仮予測モデルと、前記修正用学習モデルと、前記追加修正用学習モデルと、を用いて、新たな予測モデルを生成する、
予測モデル生成装置。
【請求項３】
請求項１または請求項２に記載の予測モデル生成装置であって、
前記仮予測モデル生成部が前記仮予測モデルを生成するときに用いる機械学習のアルゴリズムと、前記修正用学習モデル生成部が前記修正用学習モデルを生成するときに用いる機械学習のアルゴリズムとは、同じアルゴリズムであり、
前記修正用学習モデル生成部は、前記仮予測モデル生成部での機械学習に用いられるハイパーパラメータとは異なるハイパーパラメータを用いて、前記修正用学習モデルを生成する、
予測モデル生成装置。
【請求項４】
請求項３に記載の予測モデル生成装置であって、
前記仮予測モデル生成部と前記修正用学習モデル生成部は、それぞれ前記機械学習のアルゴリズムにランダムフォレストを用い、
前記仮予測モデル生成部が用いるランダムフォレストの木の深さは、前記修正用学習モデル生成部が用いるランダムフォレストの木の深さに比べて浅い、
予測モデル生成装置。
【請求項５】
製品の製造工程で得られる説明変数から、前記製品に関連する目的変数を予測可能な予測モデルを生成する予測モデル生成方法であって、
前記説明変数と前記目的変数との対応関係が示された対応データを用いて、機械学習によって仮予測モデルを生成する仮予測モデル生成工程と、
前記仮予測モデルを用いて算出された前記目的変数の予測値と、実際の目的変数の値との差分値を算出し、算出した差分値と、前記説明変数とを用いて修正用学習モデルを生成する修正用学習モデル生成工程と、
前記仮予測モデルと前記修正用学習モデルとを用いて、前記予測モデルを生成する予測モデル生成工程と、を備える、
予測モデル生成方法。
【請求項６】
製品の製造工程で得られる説明変数から、前記製品に関連する目的変数を予測可能な予測モデルの生成をコンピュータに実行させるコンピュータプログラムであって、
前記説明変数と前記目的変数との対応関係が示された対応データを用いて、機械学習によって仮予測モデルを生成する仮予測モデル生成機能と、
前記仮予測モデルを用いて算出された前記目的変数の予測値と、実際の目的変数の値との差分値を算出し、算出した差分値と、前記説明変数とを用いて修正用学習モデルを生成する修正用学習モデル生成機能と、
前記仮予測モデルと前記修正用学習モデルとを用いて、前記予測モデルを生成する予測モデル生成機能と、を前記コンピュータに実行させる、
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、予測モデル生成装置、予測モデル生成方法、および、コンピュータプログラムに関する。
【背景技術】
【０００２】
従来、製品の製造工程に関連する説明変数から当該製品に関連する目的変数を予測する予測モデルが求められている。例えば、特許文献１には、複数の製造機械が出力する複数の内部情報を比較し、差異を抽出する内部情報比較部と、内部情報と製造機械の構成情報とを用いて機械学習する学習器と、を備え、内部情報比較部によって抽出された差異を用いて、目的変数の予測値と実際の目的変数とのずれの原因を発見する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１３４７８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の学習器は、比較的短時間での、目的変数の予測値と実際の目的変数とのずれを発見する予測モデルを生成することを目的としている。このため、この学習器を、複数の工程変動が存在する比較的長時間の製造工程における予測モデルの生成に適用すると、影響の大きな工程変動の要因に引っ張られ、それ以外の工程変動の影響を考慮しきれなくなり、目的変数の予測精度が低下するおそれがある。
また、特許文献１に記載の学習器では、機械学習のアルゴリズムとして、深層学習が採用されている。しかしながら、深層学習では、各層の意味が不明であり、また、予測精度向上に貢献する重要な説明変数を明らかにすることができない。このため、学習器の学習結果から、製造工程に対する理解を深めたり、得られた知見を他の工程に適用したりすることができない。
【０００５】
本発明は、製品の製造工程で得られる説明変数から、製品に関連する目的変数を予測可能な予測モデルを生成する予測モデル生成装置において、目的変数の予測精度を向上しつつ汎化性を確保可能な予測モデルを生成する技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
【０００７】
（１）本発明の一形態によれば、製品の製造工程で得られる説明変数から、前記製品に関連する目的変数を予測可能な予測モデルを生成する予測モデル生成装置であって、前記説明変数と前記目的変数との対応関係が示された対応データを用いて、機械学習によって仮予測モデルを生成する仮予測モデル生成部と、前記仮予測モデルを用いて算出された前記目的変数の予測値と、実際の目的変数の値との差分値を算出し、算出した第１の差分値と、前記説明変数とを用いて機械学習によって修正用学習モデルを生成する修正用学習モデル生成部と、前記仮予測モデルと前記修正用学習モデルとを用いて、前記予測モデルを生成する予測モデル生成部と、を備える。
【０００８】
この構成によれば、仮予測モデル生成部は、対応データを用いて、機械学習によって仮予測モデルを生成する。このとき、仮予測モデルを用いて算出された目的変数の予測値と実際の目的変数の値との差分値である第１の差分値には、仮予測モデルに含まれなかった工程変動の要因が含まれていることが予想される。修正用学習モデル生成部は、第１の差分値と、説明変数とを用いて、機械学習によって修正用学習モデルを生成するため、仮予測モデルに含まれなかった工程変動の要因が、修正用学習モデルに含まれることとなる。予測モデル生成部は、仮予測モデル生成部と修正用学習モデル生成部とにおいて階層的に機械学習を用いることによって、混在した工程変動の要因を分解し生成した仮予測モデルと修正用学習モデルとを用いて、予測モデルを生成する。これにより、予測モデルは、複数の工程変動の要因を含む予測モデルとなり、目的変数の予測精度を向上させることができる。
また、予測モデルを生成する過程において、階層的に仮予測モデルと修正用学習モデルとを順番に生成するため、各モデルにおいて各説明変数の重要度を確認することができる。これにより、仮予測モデルと修正用学習モデルとを用いて生成された予測モデルの構成を理解しやすくなり、例えば、予測モデルを他の工程に展開しやすくなるなどの汎化性を確保することができる。
【０００９】
（２）上記形態の評価装置において、前記修正用学習モデル生成部は、前記修正用学習モデルを用いて算出された前記第１の差分値の予測値と、実際の前記第１の差分値との差分値を算出し、算出した第２の差分値と、前記第１の差分値とを比較し、差分値の減少度合いが所定以上の場合には、さらに、前記第２の差分値と、前記説明変数とを用いて追加修正用学習モデルを生成し、前記予測モデル生成部は、前記仮予測モデルと、前記修正用学習モデルと、前記追加修正用学習モデルと、を用いて、新たな予測モデルを生成してもよい。この構成によれば、修正用学習モデルを用いて算出された第１の差分値の予測値と、実際の第１の差分値との差分値である第２の差分値と、第１の差分値とを比較することによって、第２の差分値を算出した時点での目的変数の予測精度を検証することができる。第２の差分値と、第１の差分値とを比較し、差分値の減少度合いが所定以上の場合、修正用学習モデル生成部は、さらに、第２の差分値と、説明変数とを用いて追加修正用学習モデルを生成する。予測モデル生成部は、仮予測モデルと、修正用学習モデルと、追加修正用学習モデルと、によって予測モデルを生成するため、目的変数の予測精度をさらに向上することができる。
【００１０】
（３）上記形態の評価装置において、前記仮予測モデル生成部が前記仮予測モデルを生成するときに用いる機械学習のアルゴリズムと、前記修正用学習モデル生成部が前記修正用学習モデルを生成するときに用いる機械学習のアルゴリズムとは、同じアルゴリズムであり、前記修正用学習モデル生成部は、前記仮予測モデル生成部での機械学習に用いられるハイパーパラメータとは異なるハイパーパラメータを用いて、前記修正用学習モデルを生成してもよい。この構成によれば、仮予測モデル生成部での機械学習のハイパーパラメータと、修正用学習モデルでの機械学習のハイパーパラメータとを異ならせる。これにより、条件が異なる機械学習を別々に行うため、対応データに含まれる特性が異なる工程変動の要因を捕捉することができる。これにより、実際の目的変数の変動に沿った予測モデルを生成することができる。
【００１１】
（４）上記形態の評価装置において、前記仮予測モデル生成部と前記修正用学習モデル生成部は、それぞれ前記機械学習のアルゴリズムにランダムフォレストを用い、前記仮予測モデル生成部が用いるランダムフォレストの木の深さは、前記修正用学習モデル生成部が用いるランダムフォレストの木の深さに比べて浅くてもよい。この構成によれば、ランダムフォレストの木の深さが比較的浅い仮予測モデルにおける予測値は、実際の目的変数の時間変動のうち比較的長い変動を捕捉することができる。これにより、予測モデルは、実際の目的変数の時間変動に似た変動で、目的変数を予測することができるため、目的変数の予測精度をさらに向上することができる。
【００１２】
なお、本発明は、種々の態様で実現することが可能であり、例えば、モデル生成方法、モデル生成システム、モデルの生成をコンピュータに実行させるコンピュータプログラム、コンピュータプログラムを配布するためのサーバ装置、コンピュータプログラムを記憶した一時的でない記憶媒体等などの形態で実現することができる。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態の予測モデル生成装置の概略構成を示した説明図である。
【図２】第１実施形態の学習サンプルデータの一例を示す模式図である。
【図３】第１実施形態の予測モデル生成方法の手順を示すフローチャートである。
【図４】第１実施形態の予測モデル生成方法を説明する模式図である。
【図５】第１実施形態の予測モデル生成方法を説明する模式図である。
【図６】第１実施形態の予測モデル生成方法を説明する模式図である。
【図７】比較例の予測モデルによる目的変数の予測値と実際の目的変数との比較を示す説明図である。
【図８】第１実施形態の仮予測モデルによる目的変数の予測値と実際の目的変数との比較を示す説明図である。
【図９】第１実施形態の予測モデルによる目的変数の予測値との実際の目的変数と比較を示す説明図である。
【図１０】第１実施形態の予測モデルの予測精度と比較例の予測精度との比較を示す説明図である。
【発明を実施するための形態】
【００１４】
＜第１実施形態＞
図１は、第１実施形態における予測モデル生成装置１の概略構成を示した説明図である。予測モデル生成装置１は、製品５の製造工程１０で得られる説明変数から、製品５に関連する目的変数を予測可能な予測モデルを生成する。ここで、製品５の製造工程１０で得られる説明変数とは、製造工程１０において取得される製品５の製造に関連する工程条件や製品５の状態を示す物理量である。製品５の製造に関連する工程条件や製品５の状態を示す物理量とは、例えば、製品５の原材料６の加工工程において原材料６に加えられる圧力の大きさや加圧時間、原材料６の加熱工程における原材料６の加熱温度や加熱時間、原材料６自身の温度などの数値である。また、製品５に関連する目的変数とは、例えば、完成時の製品５の重さ、製品５の所定の部位の厚みや製品５の表面状態など、主に完成した製品を検査することによって得られる製品５の特性を表す数値である。なお、予測モデル生成装置１が適用される分野はこれに限定されない。予測モデル生成装置１によって生成される予測モデルは、目的変数と説明変数との関係を示していることから、製品５の出来栄えから、製造工程１０における諸条件を設定するときにも利用することができる。
【００１５】
予測モデル生成装置１は、学習サンプルデータ取得部１１と、仮予測モデル生成部１２と、修正用学習モデル生成部１３と、予測モデル生成部１４と、工程変動解析部１５と、を備える。学習サンプルデータ取得部１１は、ＣＰＵとＲＯＭ、ＲＡＭとから構成され、製造工程１０を構成する図示しない製造装置の制御部に電気的に接続している。仮予測モデル生成部１２と、修正用学習モデル生成部１３と、予測モデル生成部１４と、工程変動解析部１５とは、ＣＰＵがＲＯＭに格納されているコンピュータプログラムをＲＡＭに展開し実現される。
【００１６】
学習サンプルデータ取得部１１は、製造工程１０の制御部から、製品５の製造工程１０で得られる説明変数と、製品５に関連する目的変数と、を取得する。学習サンプルデータ取得部１１は、それぞれ取得した説明変数と目的変数とを、個々の製品５の説明変数と目的変数とが対応付けられた学習サンプルデータを作成し、図示しない記憶部に記憶する。学習サンプルデータは、製品５の製造に関連する説明変数と、製品５に関連する目的変数とが対応付けられていることから、「対応データ」として後述の予測モデル生成方法に利用される。
【００１７】
図２は、本実施形態の学習サンプルデータの一例を示す模式図である。本実施形態の学習サンプルデータは、予測モデル生成装置１での予測モデルの生成が容易になるように、マトリクス形式で予測モデル生成装置１の記憶部に記憶されている。図２に示すように、表２０では、表側に、目的変数と、説明変数１〜５の項目名とが並び、それぞれの行に、対応する値が記されている。例えば、目的変数ａ０１に対応する説明変数１〜５の値は、ｂ１、ｃ１、ｄ１、ｅ１、ｆ１となる。表２０は、学習サンプルデータ取得部１１によって、欠損値や、最大値、最小値、順序尺度や比例尺度などの不要変数が、事前に適切に処理される。
【００１８】
仮予測モデル生成部１２は、学習サンプルデータ取得部１１と、修正用学習モデル生成部１３と、予測モデル生成部１４と、工程変動解析部１５と、に電気的に接続されている。仮予測モデル生成部１２は、予測モデル生成装置１の記憶部に記憶されている学習サンプルデータを用いて、機械学習によって仮予測モデルを生成し、仮予測モデルを用いて目的変数の予測値を算出する。また、仮予測モデル生成部１２は、生成した仮予測モデルを用いて算出された目的変数の予測値と、実際の目的変数の値との差分値（以下、「第１の差分値」という）を算出する。仮予測モデル生成部１２は、第１の差分値を修正用学習モデル生成部１３に出力するとともに、生成した仮予測モデルを予測モデル生成部１４に出力する。
また、仮予測モデル生成部１２は、機械学習によって仮予測モデルを生成するとき、工程変動解析部１５が出力するデータにしたがって、機械学習のハイパーパラメータを設定する。仮予測モデル生成部１２における仮予測モデルの生成方法の詳細は、後述する。
【００１９】
修正用学習モデル生成部１３は、予測モデル生成部１４と、工程変動解析部１５とに、電気的に接続されている。修正用学習モデル生成部１３は、仮予測モデル生成部１２が算出した第１の差分値と、説明変数とを用いて機械学習によって修正用学習モデルを生成する。また、修正用学習モデル生成部１３は、生成した修正用学習モデルを用いて算出された第１の差分値の予測値と、実際の第１の差分値との差分値（以下、「第２の差分値」という）を算出する。修正用学習モデル生成部１３は、修正用学習モデルと、第２の差分値とを予測モデル生成部１４に出力する。
また、修正用学習モデル生成部１３は、機械学習によって修正用学習モデルを生成するとき、工程変動解析部１５が出力するデータにしたがって、機械学習のハイパーパラメータを設定する。修正用学習モデル生成部１３における修正用学習モデルの生成方法の詳細は、後述する。
【００２０】
予測モデル生成部１４は、仮予測モデルと修正用学習モデルとを用いて、予測モデルを生成する。予測モデル生成部１４は、生成した予測モデルを予測モデル生成装置１の外部に出力可能に構成されている。
また、予測モデル生成部１４は、修正用学習モデル生成部１３が出力する第２の差分値を用いて予測モデルにおける目的変数の予測精度を検証する。予測モデル生成部１４における予測モデルの生成方法と、予測モデルにおける目的変数の予測精度の検証の詳細は、後述する。
【００２１】
工程変動解析部１５は、学習サンプルデータ取得部１１と、仮予測モデル生成部１２と、修正用学習モデル生成部１３と、に電気的に接続されている。工程変動解析部１５は、予測モデル生成装置１の記憶部に記憶されている学習サンプルデータを用いて、製造工程１０の工程変動を解析し、解析結果のデータを、仮予測モデル生成部１２と、修正用学習モデル生成部１３と、に出力する。工程変動解析部１５における工程変動の解析方法の詳細は、後述する。
【００２２】
図３は、本実施形態の予測モデル生成方法の手順を示すフローチャートである。本実施形態では、製造工程１０の説明変数から、製造工程１０によって製造される製品５の目的変数を高精度に予測する予測モデルを生成する。
【００２３】
最初に、仮予測モデル生成部１２は、学習サンプルデータを取り込む（ステップＳ１１）。具体的には、仮予測モデル生成部１２は、予測モデル生成装置１の記憶部から学習サンプルデータを取り込む。仮予測モデル生成部１２は、図２に示す表２０の一部のデータである、点線枠２１で囲む領域のデータセットを、予測モデル生成処理に用いる学習サンプルデータとして取り込む。なお、表２０の目的変数ａ０９から目的変数ａ１３までのデータセットは、未学習サンプルデータとなり、予測モデルを生成した後の予測精度検証用のデータとして用いられる。
【００２４】
次に、仮予測モデル生成部１２は、機械学習によって仮予測モデルを生成する（ステップＳ１２）。具体的には、仮予測モデル生成部１２は、予測モデル生成装置１の記憶部から取り込んだ学習サンプルデータを用いて、機械学習によって仮予測モデルを生成する。本実施形態では、機械学習のアルゴリズムに、ランダムフォレストを用いる。このとき、仮予測モデル生成部１２は、機械学習に用いられるハイパーパラメータを調整する。本実施形態では、ハイパーパラメータは、工程変動解析部１５による製造工程１０の工程変動の解析結果を用いて設定される。工程変動解析部１５は、製造工程１０の工程変動を、例えば、フーリエ解析することによって工程変動を周波数分解し、当該周波数の大きさを参考にしてハイパーパラメータを設定する。
【００２５】
また、ハイパーパラメータは、目的変数と説明変数との関係の複雑さや、目的変数と相関がある変数の多さを考慮してユーザーにより事前に決定され、ユーザーによって設定されてもよい。ランダムフォレストを用いる本実施形態では、仮予測モデルによって算出される目的変数の予測値が、短期の工程変動よりも長期の工程変動に追従することを目的として、決定木の深さを浅め、例えば、２または３に制限することが好ましい。
仮予測モデル生成部１２は、仮予測モデルを、予測モデル生成部１４に出力する。
【００２６】
次に、仮予測モデル生成部１２は、学習サンプルデータの説明変数を用いて学習サンプルデータの目的変数の予測値を算出する（ステップＳ１３）。具体的には、仮予測モデル生成部１２は、ステップＳ１２において生成した仮予測モデルに、学習サンプルデータの説明変数を入力し、学習サンプルデータの目的変数の予測値を算出する。このとき、仮予測モデル生成部１２は、算出した学習サンプルデータの目的変数の予測値と、学習サンプルデータの実際の目的変数との差分値である第１の差分値を演算する。
【００２７】
図４は、本実施形態の予測モデル生成方法を説明する模式図である。具体的には、図４は、仮予測モデル生成部１２における学習サンプルデータの目的変数の予測値の算出結果と、第１の差分値と、を示している。なお、図４に示す表３０には、便宜上、１つの目的変数と、当該１つの目的変数に対応する５つの説明変数とのデータセットのそれぞれに番号１〜８を付してある。
仮予測モデル生成部１２は、図４（ａ）に示す表３０を用いてランダムフォレストによって生成した仮予測モデルに、表３０のデータセット１〜８のそれぞれの説明変数１〜５を入力し、目的変数の予測値を算出する。算出された目的変数の予測値は、図４（ｂ）の表３１の「目的変数の予測値」の行に記された値（ａ１１、ａ１２、ａ１３、ａ１４、ａ１５、ａ１６、ａ１７、ａ１８）である。
【００２８】
また、ステップＳ１３では、仮予測モデル生成部１２は、第１の差分値を演算する。具体的には、図４（ｂ）の表３１の「目的変数の予測値」の行に記された値のそれぞれと、図２の表２０の「目的変数」の行に記された値（ａ０１、ａ０２、ａ０３、ａ０４、ａ０５、ａ０６、ａ０７、ａ０８）のそれぞれとの差分値を演算する。その結果、図４（ｃ）の表３２に示す「第１の差分値」の値（ａ０１−ａ１１、ａ０２−ａ１２、ａ０３−ａ１３、ａ０４−ａ１４、ａ０５−ａ１５、ａ０６−ａ１６、ａ０７−ａ１７、ａ０８−ａ１８）となる。仮予測モデル生成部１２は、図４（ｃ）の表３２のデータを、修正用学習モデル生成部１３に出力する。
【００２９】
次に、修正用学習モデル生成部１３は、第１の差分値と、説明変数とを用いて修正用学習モデルを生成する（ステップＳ１４）。具体的には、修正用学習モデル生成部１３は、仮予測モデル生成部１２が演算した図４（ｃ）の表３２の値と、学習サンプルデータの説明変数と、を用いて、機械学習によって修正用学習モデルを生成する。本実施形態では、機械学習のアルゴリズムに、仮予測モデル生成部１２の機械学習のアルゴリズムと同じランダムフォレストを用いる。本実施形態では、ハイパーパラメータは、仮予測モデル生成部１２の場合と同様に、工程変動解析部１５による工程変動の解析結果を用いて設定される。このとき、修正用学習モデル生成部１３では、ハイパーパラメータは、仮予測モデル生成部１２のハイパーパラメータとは異なるように調整する。本実施形態では、具体的には、決定木の深さの制限をなくし、仮予測モデル生成部１２のランダムフォレストでの決定木の深さに比べ深めの決定木ができやすくするなどすることで、より幅広い工程変動の要因を網羅できるようにする。
修正用学習モデル生成部１３は、修正用学習モデルを、予測モデル生成部１４に出力する。
【００３０】
図５は、本実施形態の予測モデル生成方法を説明する模式図である。具体的には、図５は、修正用学習モデル生成部１３における第１の差分値の予測値の算出結果と、第２の差分値と、を示している。
修正用学習モデル生成部１３は、図５（ａ）に示す表４０を用いてランダムフォレストによって修正用学習モデルを生成した修正用学習モデルに、表４０のデータセット１〜８のそれぞれの説明変数１〜５を入力し、第１の差分値の予測値を算出する。算出された第１の差分値の予測値は、図５（ｂ）の表４１の「第１の差分値の予測値」の行に記された値（ａ２１、ａ２２、ａ２３、ａ２４、ａ２５、ａ２６、ａ２７、ａ２８）である。
【００３１】
また、ステップＳ１４では、修正用学習モデル生成部１３は、第２の差分値を演算する。具体的には、図５（ｂ）の表４１の「第１の差分値の予測値」の行に記された値のそれぞれと、図４（ｃ）の表３２の「第１の差分値」の行に記された値（ａ０１−ａ１１、ａ０２−ａ１２、ａ０３−ａ１３、ａ０４−ａ１４、ａ０５−ａ１５、ａ０６−ａ１６、ａ０７−ａ１７、ａ０８−ａ１８）のそれぞれとの差分値を演算する。その結果、図５（ｃ）の表４２に示す「第２の差分値」の値（ａ０１−ａ１１−ａ２１、ａ０２−ａ１２−ａ２２、ａ０３−ａ１３−ａ２３、ａ０４−ａ１４−ａ２４、ａ０５−ａ１５−ａ２５、ａ０６−ａ１６−ａ２６、ａ０７−ａ１７−ａ２７、ａ０８−ａ１８−ａ２８）となる。修正用学習モデル生成部１３は、図５（ｃ）の表４２のデータを、予測モデル生成部１４に出力する。
【００３２】
次に、予測モデル生成部１４は、仮予測モデルと修正用学習モデルとを用いて予測モデルを生成する（ステップＳ１５）。具体的には、予測モデル生成部１４は、仮予測モデル生成部１２が出力した仮予測モデルと、修正用学習モデル生成部１３が出力した修正用学習モデルとの和を、ステップＳ１５での予測モデルとして生成する。
【００３３】
次に、予測モデル生成部１４は、差分値の減少度合いが所定の値より小さいか否かを判定する（ステップＳ１６）。具体的には、予測モデル生成部１４は、第１の差分値と第２の差分値とから差分値の減少度合いを算出する。予測モデル生成部１４は、算出された差分値の減少度合いが所定の値より小さいと判定すると、今回の予測モデル生成方法を終了し、予測モデルを予測モデル生成装置１の外部に出力する。また、予測モデル生成部１４は、算出された差分値の減少度合いが所定以上であると判定すると、ステップＳ１７に進む。
【００３４】
ステップＳ１６において差分値の減少度合いが所定より大きいと判定されると、次に、修正用学習モデル生成部１３は、第２の差分値と説明変数とを用いて追加修正用学習モデルを生成する（ステップＳ１７）。具体的には、修正用学習モデル生成部１３は、修正用学習モデル生成部１３が演算した図５（ｃ）の表４２の値と、学習サンプルデータの説明変数と、を用いて、機械学習によって追加修正用学習モデルを生成する。本実施形態では、機械学習のアルゴリズムに、仮予測モデル生成部１２の機械学習のアルゴリズムと同じランダムフォレストを用いる。このとき、修正用学習モデル生成部１３では、ハイパーパラメータは、ステップＳ１４における修正用学習モデル生成部１３のハイパーパラメータとは異なるように調整する。
修正用学習モデル生成部１３は、追加修正用学習モデルを、予測モデル生成部１４に出力する。
【００３５】
図６は、本実施形態の予測モデル生成方法を説明する模式図である。具体的には、修正用学習モデル生成部１３における第２の差分値の予測値の算出結果と、第２の差分値の予測値と、実際の第２の差分値との差分値（以下、「第３の差分値」という）と、を示している。
修正用学習モデル生成部１３は、図６（ａ）に示す表５０を用いてランダムフォレストによって生成された追加修正用学習モデルに、表５０のデータセット１〜８のそれぞれの説明変数１〜５を入力し、第２の差分値の予測値を算出する。算出された第２の差分値の予測値が、図６（ｂ）の表５１の「第２の差分値の予測値」の行に記された値（ａ３１、ａ３２、ａ３３、ａ３４、ａ３５、ａ３６、ａ３７、ａ３８）である。
【００３６】
また、ステップＳ１７では、修正用学習モデル生成部１３は、第３の差分値を演算する。具体的には、図６（ｂ）の表５１の「第２の差分値の予測値」の行に記された値のそれぞれと、図５（ｃ）の表３２の「第２の差分値」の行に記された値（ａ０１−ａ１１−ａ２１、ａ０２−ａ１２−ａ２２、ａ０３−ａ１３−ａ２３、ａ０４−ａ１４−ａ２４、ａ０５−ａ１５−ａ２５、ａ０６−ａ１６−ａ２６、ａ０７−ａ１７−ａ２７、ａ０８−ａ１８−ａ２８）のそれぞれとの差分値を演算する。その結果、図６（ｃ）の表５２に示す「第３の差分値」の値（ａ０１−ａ１１−ａ２１−ａ３１、ａ０２−ａ１２−ａ２２−ａ３２、ａ０３−ａ１３−ａ２３−ａ３３、ａ０４−ａ１４−ａ２４−ａ３４、ａ０５−ａ１５−ａ２５−ａ３５、ａ０６−ａ１６−ａ２６−ａ３６、ａ０７−ａ１７−ａ２７−ａ３７、ａ０８−ａ１８−ａ２８−ａ３８）となる。修正用学習モデル生成部１３は、図６（ｃ）の表５２のデータを、予測モデル生成部１４に出力する。
【００３７】
次に、予測モデル生成部１４は、仮予測モデルと、ステップＳ１４で生成した修正用学習モデルと、ステップＳ１７で生成した追加修正用学習モデルと、を用いて、予測モデルを生成する（ステップＳ１８）。具体的には、予測モデル生成部１４は、仮予測モデルと、ステップＳ１４で生成した修正用学習モデルと、ステップＳ１７で生成した追加修正用学習モデルとの和を、ステップＳ１８の予測モデルとして生成する。
【００３８】
次に、予測モデル生成部１４は、差分値の減少度合いが所定の値より小さいか否かを判定する（ステップＳ１９）。具体的には、予測モデル生成部１４は、第２の差分値と第３の差分値とから差分値の減少度合いを算出する。予測モデル生成部１４は、差分値の減少度合いが所定の値より小さいと判定すると、今回の予測モデル生成方法を終了し、予測モデルを予測モデル生成装置１の外部に出力する。予測モデル生成部１４は、差分値の減少度合いが所定以上であると判定すると、ステップＳ１７に戻る。これ以降、本実施形態の予測モデル生成方法では、差分値の減少度合いが所定の値より小さくなるまで、ステップＳ１７からステップＳ１９を繰り返す。
予測モデル生成装置１の外部に出力された予測モデルは、例えば、未学習サンプルデータを用いて予測精度を確認され、製造工程１０での製品５の品質改善に利用される。
【００３９】
図７は、比較例の予測モデルによる目的変数の予測値と実際の目的変数との比較を示す説明図である。図８は、本実施形態の仮予測モデルによる目的変数の予測値と実際の目的変数との比較を示す説明図である。図９は、本実施形態の予測モデルによる目的変数の予測値との実際の目的変数と比較を示す説明図である。図７から図９では、横軸にデータセットのデータ番号が示されており、縦軸に、それぞれのデータセットの目的変数が示されている。図７に示す比較例の予測モデルは、本実施形態の予測モデル生成方法以外の方法で生成されたものである。図７から図９では、、学習サンプルデータとして取得されたデータセットを点線枠Ａ１で示しており、点線枠Ａ１内のデータセットを除くデータセットである未学習サンプルデータを用いて目的変数の予測値を算出している。
【００４０】
図７では、比較例の目的変数の予測値が実線Ｌ６１で示され、実際の目的変数が実線Ｌ６２で示されている。図７に示すように、比較例の目的変数の予測値は、実際の目的変数の短期変動である細かい上下変動に追従しているものの、長期変動である大きな上下変動には追従できていないことがわかる。
【００４１】
図８では、本実施形態の仮予測モデルでの目的変数の予測値が実線Ｌ７１で示され、実際の目的変数が実線Ｌ７２で示されている。図８に示すように、仮予測モデルでの目的変数の予測値は、ランダムフォレストの決定木を浅めにしたため、実際の目的変数の長期変動である大きな上下変動に追従できていることがわかる。
【００４２】
図９では、本実施形態の予測モデルでの目的変数の予測値が実線Ｌ８１で示され、実際の目的変数が実線Ｌ８２で示されている。図９に示すように、予測モデルでの目的変数の予測値は、実際の目的変数の変動の中心あたりで目的変数の変動に追従できていることがわかる。
【００４３】
図１０は、本実施形態の予測モデルの予測精度と比較例の予測精度との比較を示す説明図である。図１０には、縦軸に、目的変数の予測値と実際の目的変数との一致度を、予測精度として示し、横軸に、比較例と、本実施形態の仮予測モデルと、本実施形態の予測モデルと、の結果を順に示している。
図１０に示すように、図７で示した比較例では、目的変数の予測値と実際の目的変数とのずれが大きく、図１０に示す計算結果では、予測精度は、１８．５％となった。一方、図８で示した本実施形態の仮予測モデルでは、予測精度は、５２．３％となった。また、図９で示した本実施形態の予測モデルでは、予測精度は、７１．３％となり、予測精度が向上することが明らかとなった。
【００４４】
以上説明した、本実施形態の予測モデル生成装置１によれば、仮予測モデル生成部１２は、学習サンプルデータを用いて、機械学習によって仮予測モデルを生成する。このとき、仮予測モデルを用いて算出された目的変数の予測値と実際の目的変数の値との差分値である第１の差分値には、仮予測モデルに含まれなかった工程変動の要因が含まれていることが予想される。修正用学習モデル生成部１３は、第１の差分値と、説明変数とを用いて機械学習によって修正用学習モデルを生成するため、仮予測モデルに含まれなかった工程変動の要因が、修正用学習モデルに含まれることとなる。予測モデル生成部１４は、仮予測モデル生成部と修正用学習モデル生成部とにおいて階層的に機械学習を用いることによって、混在した工程変動の要因を分解し生成した仮予測モデルと修正用学習モデルとを用いて、予測モデルを生成する。これにより、予測モデルは、複数の工程変動の要因を含む予測モデルとなり、目的変数の予測精度を向上させることができる。したがって、製造工程１０における不良品発生を的確に予測することができるため、不良品発生を防止する対策を早期に実施することができる。
【００４５】
また、予測モデルを生成する過程において、階層的に仮予測モデルと修正用学習モデルとを順番に生成するため、各モデルにおいて各説明変数の重要度を確認することができる。これにより、仮予測モデルと修正用学習モデルとを用いて生成された予測モデルの構成を理解しやすくなり、例えば、予測モデルを他の工程に展開しやすくなるなどの汎化性を確保することができる。
【００４６】
また、本実施形態の予測モデル生成装置１によれば、修正用学習モデルを用いて算出された第１の差分値の予測値と、実際の第１の差分値との差分値である第２の差分値と、第１の差分値とを比較することによって、第２の差分値を算出した時点での目的変数の予測精度を検証することができる。第２の差分値と、第１の差分値とを比較し、差分値の減少度合いが所定以上の場合、修正用学習モデル生成部１３は、さらに、修正用学習モデルにおける差分値と、説明変数とを用いて追加修正用学習モデルを生成する。予測モデル生成部は、仮予測モデルと、修正用学習モデルと、追加修正用学習モデルと、によって予測モデルを生成する。これにより、目的変数の予測精度をさらに向上することができる。
【００４７】
また、追加修正用学習モデルを用いて算出された新たな予測値の予測精度がまだ十分でない場合、修正用学習モデル生成部１３は、さらに、追加修正用学習モデルにおける差分値と、説明変数とを用いて別の追加修正用学習モデルを生成する。予測モデル生成部は、仮予測モデルと、修正用学習モデルと、追加修正用学習モデルと、別の追加修正用学習モデルと、によって予測モデルを生成する。これにより、目的変数の予測精度を逐次的に向上することができる。
【００４８】
また、本実施形態の予測モデル生成装置１によれば、仮予測モデル生成部１２での機械学習のハイパーパラメータと、修正用学習モデル生成部１３での機械学習のハイパーパラメータとを異ならせる。これにより、条件が異なる機械学習を別々に行うため、学習サンプルデータに含まれる特性が異なる工程変動の要因を捕捉することができる。これにより、実際の目的変数の変動に沿った予測モデルを生成することができる。
また、本実施形態の予測モデル生成装置１によれば、工程変動解析部１５による工程変動の解析結果を用いて、仮予測モデルと修正用学習モデルのハイパーパラメータを設定することができる。これにより、製造工程１０の狙った変動要因を捕捉できているかどうかを確認しながら、ハイパーパラメータを設定していくことができる。
【００４９】
また、本実施形態の予測モデル生成装置１によれば、ランダムフォレストの木の深さが比較的浅い仮予測モデルにおける予測値は、実際の目的変数の時間変動のうち比較的長い変動を捕捉することができる。これにより、予測モデルは、実際の目的変数の時間変動に似た変動で、目的変数を予測することができるため、目的変数の予測精度をさらに向上することができる。
【００５０】
また、本実施形態の予測モデル生成装置１は、例えば、未学習サンプルデータでの予測モデルの予測精度を確認しながら、再帰的に、修正用学習モデル生成部１３において差分値を用いた機械学習を繰り返す。これにより、ユーザーは、学習サンプルデータへの説明力と、未学習サンプルデータでの予測精度とのバランスが良いタイミングで、修正用学習モデルの生成を止めることができる。したがって、ユーザーの好みや目的に応じて、予測モデルの予測精度と汎化性とを自由を調整することができる。
【００５１】
＜本実施形態の変形例＞
本発明は上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【００５２】
［変形例１］
上述の実施形態では、予測モデル生成部１４は、仮予測モデルと、修正用学習モデルとの和を、予測モデルとして生成するとした。しかしながら、予測モデルの生成方法はこれに限定されない。仮予測モデルと、修正用学習モデルとを用いて予測モデルが生成されればよい。
【００５３】
［変形例２］
上述の実施形態では、差分値の減少度合いが所定の値より小さい場合、予測モデルを生成するとした。しかしながら、予測モデルを生成する条件は、これに限定されない。差分値が所定以下になった場合でもよい。また、未学習サンプルデータでの予測精度が最小となる場合や、未学習サンプルデータにおいて重要な説明変数などが大きく変わらない場合などであってもよい。
【００５４】
［変形例３］
上述の実施形態では、工程変動解析部１５は、仮予測モデル生成部１２と、修正用学習モデル生成部１３とのそれぞれに電気的に接続するとした。しかしながら、工程変動解析部１５は、仮予測モデル生成部１２と、修正用学習モデル生成部１３とのいずれかに接続してもよいし、なくてもよい。工程変動解析部１５がない場合、仮予測モデル生成部１２でのランダムフォレストによる機械学習において、長期的な工程変動を捕捉するため、ハイパーパラメータの一つである決定木の数が少なくなるように、ハイパーパラメータを設定することが望ましい。
【００５５】
［変形例４］
上述の実施形態では、修正用学習モデル生成部１３は、仮予測モデル生成部１２での機械学習に用いられるハイパーパラメータとは異なるハイパーパラメータを用いて、修正用学習モデルを生成するとした。しかしながら、ハイパーパラメータは同じであってもよい。
【００５６】
［変形例５］
上述の実施形態では、仮予測モデル生成部１２と、修正用学習モデル生成部１３は、それぞれ機械学習のアルゴリズムにランダムフォレストを用いるとした。しかしながら、機械学習のアルゴリズムは、これに限定されない。
【００５７】
以上、実施形態、変形例に基づき本態様について説明してきたが、上記した態様の実施の形態は、本態様の理解を容易にするためのものであり、本態様を限定するものではない。本態様は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得るとともに、本態様にはその等価物が含まれる。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することができる。
【符号の説明】
【００５８】
１…予測モデル生成装置
５…製品
６…原材料
１０…製造工程
１１…学習サンプルデータ取得部
１２…仮予測モデル生成部
１３…修正用学習モデル生成部
１４…予測モデル生成部
１５…工程変動解析部
２０、３０、３１、３２、４０、４１、４２、５０、５１、５２…表
２１…点線枠
【図１】
2020102082.tif 000003
【図２】
2020102082.tif 000004
【図３】
2020102082.tif 000005
【図４】
2020102082.tif 000006
【図５】
2020102082.tif 000007
【図６】
2020102082.tif 000008
【図７】
2020102082.tif 000009
【図８】
2020102082.tif 000010
【図９】
2020102082.tif 000011
【図１０】
2020102082.tif 000012