(57)【要約】【課題】予測器の予測精度を向上させる学習データを正確かつ容易に選択する。【解決手段】予測器を構築するために用いる学習データに関する解析を行う計算機システムが実行する学習データの解析方法であって、計算機システムは計算機を備え、計算機は、複数の学習データを格納するデータベースと接続し、計算機が、データベースからターゲット学習データを選択するステップと、ターゲット学習データが、複数のテストデータに対する予測器の予測精度に与える影響の強さを表す影響スコアを算出するステップと、複数の学習データの各々の影響スコアに基づいて、複数の学習データの中から、予測器を構築するために入力する学習データセットに含める学習データを選択するステップと、を含む。【選択図】図１
2020030738.tif 000002
【特許請求の範囲】
【請求項１】
予測器を構築するために用いる学習データに関する解析を行う計算機システムが実行する学習データの解析方法であって、
前記計算機システムは、プロセッサ及び前記プロセッサに接続されるメモリを有する計算機を備え、
前記計算機は、複数の学習データを格納するデータベースと接続し、
前記学習データの解析方法は、
前記プロセッサが、前記データベースからターゲット学習データを選択する第１のステップと、
前記プロセッサが、前記ターゲット学習データが、複数のテストデータに対する前記予測器の予測精度に与える影響の強さを表す影響スコアを算出する第２のステップと、
前記プロセッサが、前記複数の学習データの各々の前記影響スコアに基づいて、前記複数の学習データの中から、前記予測器を構築するために入力する学習データセットに含める学習データを選択する第３のステップと、を含むことを特徴とする学習データの解析方法。
【請求項２】
請求項１に記載の学習データの解析方法であって、
前記第２のステップは、
前記プロセッサが、前記複数のテストデータの入力を受け付ける第４のステップと、
前記プロセッサが、ターゲットテストデータを選択する第５のステップと、
前記プロセッサが、前記ターゲット学習データを前記学習データセットに含めた場合の前記予測器のパラメータの変動傾向を示す値、前記予測器のパラメータを変動させた場合の前記ターゲットテストデータに対する予測結果の変動傾向を示す値に基づいて、前記ターゲット学習データが、前記ターゲットテストデータに対する前記予測器の予測精度に与える影響の強さを表す影響度を算出する第６のステップと、
前記プロセッサが、前記複数のテストデータの各々に対する、前記ターゲット学習データの影響度に基づいて、前記影響スコアを算出する第７のステップと、を含むことを特徴とする学習データの解析方法。
【請求項３】
請求項２に記載の学習データの解析方法であって、
前記テストデータには、前記予測器を調整するための特性であるチューニングラベルの値が付与され、
前記第６のステップは、前記プロセッサが、前記チューニングラベルの値毎に、前記影響度を算出するステップを含み、
前記第７のステップは、前記プロセッサが、前記チューニングラベルの値毎に、前記影響スコアを算出するステップを含むことを特徴とする学習データの解析方法。
【請求項４】
請求項２に記載の学習データの解析方法であって、
前記プロセッサが、前記選択された学習データに関する情報を表示するための表示情報を生成するステップを含むことを特徴とする学習データの解析方法。
【請求項５】
請求項２に記載の学習データの解析方法であって、
前記第６のステップは、前記プロセッサが、一つの学習データの複数の前記影響度を成分とするベクトルを羅列することによって構成される影響度行列を生成し、前記メモリに格納するステップを含み、
前記学習データの解析方法は、前記プロセッサが、前記影響度行列及び前記影響スコアを表示するための表示情報を生成するステップを含むことを特徴とする学習データの解析方法。
【請求項６】
請求項２に記載の学習データの解析方法であって、
前記プロセッサが、前記学習データセットを用いた学習処理を実行することによって構築された予測器を出力するステップを含むことを特徴とする学習データの解析方法。
【請求項７】
予測器を構築するために用いる学習データに関する解析を行う計算機システムであって、
前記計算機システムは、プロセッサ及び前記プロセッサに接続されるメモリを有する計算機を備え、
前記計算機は、複数の学習データを格納するデータベースと接続し、
前記プロセッサは、
前記データベースからターゲット学習データを選択し、
前記ターゲット学習データが、複数のテストデータに対する前記予測器の予測精度に与える影響の強さを表す影響スコアを算出し、
前記複数の学習データの各々の前記影響スコアに基づいて、前記複数の学習データの中から、前記予測器を構築するために入力する学習データセットに含める学習データを選択することを特徴とする計算機システム。
【請求項８】
請求項７に記載の計算機システムであって、
前記プロセッサは、
前記複数のテストデータの入力を受け付け、
ターゲットテストデータを選択し、
前記ターゲット学習データを前記学習データセットに含めた場合の前記予測器のパラメータの変動傾向を示す値、前記予測器のパラメータを変動させた場合の前記ターゲットテストデータに対する予測結果の変動傾向を示す値に基づいて、前記ターゲット学習データが、前記ターゲットテストデータに対する前記予測器の予測精度に与える影響の強さを表す影響度を算出し、
前記複数のテストデータの各々に対する、前記ターゲット学習データの影響度に基づいて、前記影響スコアを算出することを特徴とする計算機システム。
【請求項９】
請求項８に記載の計算機システムであって、
前記テストデータには、前記予測器を調整するための特性であるチューニングラベルの値が付与され、
前記プロセッサは、
前記チューニングラベルの値毎に、前記影響度を算出し、
前記チューニングラベルの値毎に、前記影響スコアを算出することを特徴とする計算機システム。
【請求項１０】
請求項８に記載の計算機システムであって、
前記プロセッサは、前記選択された学習データに関する情報を表示するための表示情報を生成することを特徴とする計算機システム。
【請求項１１】
請求項８に記載の計算機システムであって、
前記プロセッサは、
一つの学習データの複数の前記影響度を成分とするベクトルを羅列することによって構成される影響度行列を生成し、前記メモリに格納し、
前記影響度行列及び前記影響スコアを表示するための表示情報を生成することを特徴とする計算機システム。
【請求項１２】
請求項８に記載の計算機システムであって、
前記プロセッサは、前記学習データセットを用いた学習処理を実行することによって構築された予測器を出力することを特徴とする計算機システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機械学習の学習方法及びシステムに関する。
【背景技術】
【０００２】
近年、ＡＩを活用した様々なサービスが提供されている。任意の事象の予測を行うＡＩを実現するモデルを構築する方法として、機械学習を利用する方法が知られている。機械学習のアルゴリズムの一つとして教師あり学習がある。教師あり学習は、入力及び正解ラベルから構成される学習データを用いた学習である。
【０００３】
教師あり学習を用いてモデルを構築する場合、質の高い学習データを用いて学習を行うことによって過学習を抑制し、また、予測精度が向上することができる。ここで、質の高い学習データとは、モデルの予測精度の向上効果が高い学習データを表す。また、特定の状況又は用途に適合させたモデルにチューニングするためには、状況又は用途が考慮された学習データを用いて学習を行う必要がある。
【０００４】
したがって、教師あり学習では、使用する学習データを適切に選択することが重要である。この課題に対して特許文献１に記載の技術が知られている。
【０００５】
特許文献１には、「ノイズデータ除去支援装置は、或る時点における、入力変数の値および出力変数の実績値を包含する履歴レコードを、複数時点について格納するデータ記憶部と、ノイズ判定閾値を所定範囲内で変化させながら、入力変数の値から予測された出力変数の予測値と出力変数の実績値との差分が、ノイズ判定閾値以下の履歴レコードを抽出し、抽出した履歴レコードに基づいて、入力変数値から出力変数値を予測する予測関数とその予測誤差を算出し、算出された予測誤差が他に比べて小さなノイズ判定閾値を選択して出力する事前予測部と、を備える。」ことが記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１７−１０１１１号公報
【非特許文献】
【０００７】
【非特許文献１】Pang Wei Koh, Percy Liang、「Understanding Black-box Predictions via Influence Functions」、arXiv preprint arXiv:1703.04730 (2017)
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に記載の技術では、学習前に、ノイズ判定閾値以下の履歴レコード（学習データ）を選択している。しかし、ノイズと判定された履歴データを用いて学習を行うことによって、予測精度が向上する場合もある。したがって、学習データがモデルの予測精度に実際に与える影響を考慮して、学習データを選択する必要がある。
【０００９】
本発明は、前述の課題を鑑みてなされたなされたものである。すなわち、学習データがモデルの予測精度に与える影響を考慮して、予測精度の向上に貢献する学習データを適切かつ容易に選択する方法及びシステムを実現する。
【課題を解決するための手段】
【００１０】
本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、予測器を構築するために用いる学習データに関する解析を行う計算機システムが実行する学習データの解析方法であって、前記計算機システムは、プロセッサ及び前記プロセッサに接続されるメモリを有する計算機を備え、前記計算機は、複数の学習データを格納するデータベースと接続し、前記学習データの解析方法は、前記プロセッサが、前記データベースからターゲット学習データを選択する第１のステップと、前記プロセッサが、前記ターゲット学習データが、前記複数のテストデータに対する前記予測器の予測精度に与える影響の強さを表す影響スコアを算出する第２のステップと、前記プロセッサが、前記複数の学習データの各々の前記影響スコアに基づいて、前記複数の学習データの中から、前記予測器を構築するために入力する学習データセットに含める学習データを選択する第３のステップと、を含む。
【発明の効果】
【００１１】
本発明の一形態によれば、予測精度の向上に貢献する学習データを適切かつ容易に選択できる。上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
【図面の簡単な説明】
【００１２】
【図１】実施例１の計算機システムの構成の一例を示す図である。
【図２】実施例１の計算機のハードウェア構成の一例を示す図である。
【図３】実施例１の影響度情報のデータ構造の一例を示す図である。
【図４】実施例１の影響スコア情報のデータ構造の一例を示す図である。
【図５】実施例１のデータ受付部によって提供されるＧＵＩの一例を示す図である。
【図６】実施例１の計算機が実行する処理を説明するフローチャートである。
【図７】実施例１の計算機が実行する影響スコア算出処理を説明するフローチャートである。
【図８】実施例１の計算機が実行する出力情報生成処理を説明するフローチャートである。
【図９】実施例１の計算機によって出力される影響度情報の一例を示す図である。
【図１０】実施例２の計算機システムの構成の一例を示す図である。
【図１１】実施例２のチューニングラベル情報のデータ構造の一例を示す図である。
【図１２】実施例２の影響スコア情報のデータ構造の一例を示す図である。
【図１３】実施例２のデータ受付部によって提供されるＧＵＩの一例を示す図である。
【図１４Ａ】実施例２の計算機が実行する処理を説明するフローチャートである。
【図１４Ｂ】実施例２の計算機が実行する処理を説明するフローチャートである。
【図１５Ａ】実施例２の計算機が実行する影響スコア算出処理を説明するフローチャートである。
【図１５Ｂ】実施例２の計算機が実行する影響スコア算出処理を説明するフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の実施例を、図面を用いて説明する。ただし、本発明は以下に示す実施例の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。
【００１４】
以下に説明する発明の構成において、同一又は類似する構成又は機能には同一の符号を付し、重複する説明は省略する。
【００１５】
本明細書等における「第１」、「第２」、「第３」等の表記は、構成要素を識別するために付するものであり、必ずしも、数又は順序を限定するものではない。
【００１６】
図面等において示す各構成の位置、大きさ、形状、及び範囲等は、発明の理解を容易にするため、実際の位置、大きさ、形状、及び範囲等を表していない場合がある。したがって、本発明では、図面等に開示された位置、大きさ、形状、及び範囲等に限定されない。
【実施例１】
【００１７】
図１は、実施例１の計算機システムの構成の一例を示す図である。
【００１８】
計算機システムは、計算機１００−１、１００−２、１００−３、及び端末１０１から構成される。計算機１００−１、１００−２、１００−３、及び端末１０１は、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）及びＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等のネットワーク１０５を介して互いに接続される。ネットワーク１０５の接続方式は、有線及び無線のいずれでもよい。
【００１９】
以下の説明では、計算機１００−１、１００−２、１００−３を区別しない場合、計算機１００と記載する。
【００２０】
端末１０１は、ユーザが操作する計算機であり、図示しない、プロセッサ、主記憶装置、副記憶装置、ネットワークインタフェース、入力装置、及び出力装置を有する。端末１０１は、テストデータを格納するテストデータデータベース１４０を管理する。テストデータデータベース１４０は、予測器１２１の予測精度を検証するためのテストデータを格納する。テストデータは複数の項目の特徴量から構成される。
【００２１】
本明細書では、予測精度の検証に用いるテストデータデータベース１４０に格納される複数のテストデータをテストデータセットと記載する。
【００２２】
なお、端末１０１は、テストデータデータベース１４０を管理していなくてもよい。この場合、学習データデータベース１２２に格納される一部の学習データがテストデータとして扱われる。
【００２３】
計算機１００−１は、端末１０１からの操作を受け付けるＵＩ（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を提供する計算機である。計算機１００-１は、データ受付部１１０及び結果出力部１１１を有する。
【００２４】
データ受付部１１０は、ＵＩを介して、端末１０１からの入力を受け付ける。結果出力部１１１は、ＵＩを介して、計算機１００−２、１００−３が実行した処理の結果を出力する。
【００２５】
計算機１００−２は、モデル（予測器１２１）を構築するための学習処理を実行し、また、モデルを用いて任意の事象の予測を行う。計算機１００−２は、学習部１２０、予測器１２１を有し、また、学習データデータベース１２２を管理する。
【００２６】
予測器１２１は、入力されたデータを用いて、任意の事象の予測を行う。学習部１２０は、予測器１２１を構築するための学習処理を実行する。学習データデータベース１２２は、学習処理に使用する学習データを格納する。学習データは複数の項目の特徴量及び正解ラベルから構成される。
【００２７】
本明細書では、学習処理に用いる複数の学習データを学習データセットと記載する。後述するように、学習データデータベース１２２に格納される学習データの中から学習データセットに含める学習データが選択される。
【００２８】
計算機１００−３は、予測器１２１を構築するために使用する学習データを選択する。ここで、「予測器１２１の構築」は、新規に予測器１２１を構築すること、及び、再学習によって予測器１２１を再構築することを含む概念である。計算機１００−３は、影響スコア算出部１３０及び学習データ選択部１３１を有し、また、影響度情報１３２及び影響スコア情報１３３を管理する。
【００２９】
影響スコア算出部１３０は、学習データが、テストデータセットに対する予測器１２１の予測精度に与える影響の強さを表す影響スコアを算出する。本実施例の影響スコアは、任意のテストデータに対する予測を行う場合に、学習データが予測器１２１の予測精度に与える影響の強さを表す影響度を用いて算出される。影響度は、非特許文献１に記載の算出方法を用いて算出できる。なお、本実施例は、影響スコア及び影響度の算出方法に限定されない。
【００３０】
ここで、非特許文献１に記載の影響度の算出方法について説明する。影響スコア算出部１３０は、複数の学習データ、テストデータ、及び予測器１２１を用いて、評価対象の学習データを学習データセットに含めた場合の予測器１２１のパラメータの変動傾向を示す値を算出し、また、予測器１２１のパラメータを変動させた場合における任意のテストデータに対する予測結果の変動傾向を示す値を算出する。影響スコア算出部１３０は、二つの値を用いて影響度を算出する。影響スコア算出部１３０は、一つの評価対象の学習データについて、テストデータの数だけ影響度を算出する。影響度が正の場合、予測器１２１の予測精度を向上することを示し、影響度が負の場合、予測器１２１の予測精度が低下することを示す。
【００３１】
影響度を用いて算出される影響スコアは、テストデータ群に対する予測において、学習データが予測器１２１の予測精度に与える影響の強さを表す。
【００３２】
学習データ選択部１３１は、学習データの影響スコアに基づいて、学習データセットに含める学習データを選択する。
【００３３】
影響度情報１３２は、学習データの影響度を管理するための情報である。影響度情報１３２のデータ構造については図３を用いて説明する。影響スコア情報１３３は、学習データの影響スコアを管理するための情報である。影響スコア情報１３３のデータ構造については図４を用いて説明する。
【００３４】
ここで、計算機１００のハードウェア構成について説明する。図２は、実施例１の計算機１００のハードウェア構成の一例を示す図である。
【００３５】
計算機１００は、プロセッサ２０１、主記憶装置２０２、副記憶装置２０３、及びネットワークインタフェース２０４を有する。各ハードウェア構成は内部バスを介して互いに接続される。なお、計算機１００は、副記憶装置２０３を有していなくてもよい。また、計算機１００は、入力装置及び出力装置を有してもよい。
【００３６】
プロセッサ２０１は、主記憶装置２０２に格納されるプログラムを実行する。プロセッサ２０１がプログラムにしたがって処理を実行することによって、影響スコア算出部１３０等、特定の機能を実現する機能部（モジュール）として動作する。以下の説明では、機能部を主語に処理を説明する場合、プロセッサ２０１が当該機能部を実現するプログラムを実行していることを示す。
【００３７】
主記憶装置２０２は、プロセッサ２０１が実行するプログラム及び当該プログラムが使用する情報を格納する。また、主記憶装置２０２は、プログラムが一時的に使用するワークエリアを含む。
【００３８】
計算機１００−１の主記憶装置２０２には、データ受付部１１０及び結果出力部１１１を実現するためのプログラムが格納される。計算機１００−２の主記憶装置２０２には、学習部１２０及び予測器１２１を実現するためのプログラムが格納される。計算機１００−３の主記憶装置２０２には、影響スコア算出部１３０及び学習データ選択部１３１を実現するためのプログラムが格納される。
【００３９】
副記憶装置２０３は、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）及びＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等、データを永続的に格納する。
【００４０】
計算機１００−２の副記憶装置２０３は、学習データデータベース１２２を格納する。なお、学習データデータベース１２２は、計算機１００−２がアクセス可能なストレージシステムに格納されてもよい。計算機１００−３の副記憶装置２０３は、影響度情報１３２及び影響スコア情報１３３を格納する。
【００４１】
なお、各計算機１００が有する各機能部については、複数の機能部を一つの機能部にまとめてもよいし、一つの機能部を機能毎に複数の機能部に分けてもよい。また、各計算機１００が有する機能部を一つの計算機１００にまとめてもよい。
【００４２】
図３は、実施例１の影響度情報１３２のデータ構造の一例を示す図である。
【００４３】
影響度情報１３２は、行列形式のデータであり、行は学習データに対応し、列はテストデータに対応する。
【００４４】
Ｌ＿ｉはｉ行目の学習データの識別情報を表し、Ｔ＿ｈはｈ列目のテストデータの識別情報を表す。セルには影響度が格納される。例えば、ｉ行ｈ列には、テストデータ（Ｔ＿ｈ）に対する予測を行う場合に、学習データ（Ｌ＿ｉ）が予測器１２１の予測精度に与える影響の強さを表す影響度が格納される。一つの行は、影響度を成分とするベクトルとして扱うことができる。以下の説明では、影響度を成分とするベクトルを学習データの影響度ベクトルと記載する。
【００４５】
したがって、影響度情報１３２は、影響度ベクトルを羅列することによって生成された影響度行列を管理するための情報である。
【００４６】
図４は、実施例１の影響スコア情報１３３のデータ構造の一例を示す図である。
【００４７】
影響スコア情報１３３は、学習データＩＤ４０１及び影響スコア４０２から構成されるエントリを複数含む。一つのエントリが一つの学習データに対応する。
【００４８】
学習データＩＤ４０１は、学習データの識別情報を格納するフィールドである。影響スコア４０２は、学習データの影響スコアを格納するフィールドである。
【００４９】
図５は、実施例１のデータ受付部１１０によって提供されるＧＵＩの一例を示す図である。
【００５０】
ＧＵＩ５００は、学習データの選択処理を実行する場合に提供されるＵＩであり、端末１０１の出力装置に表示される。ＧＵＩ５００は、モデル設定欄５１０、テストデータ設定欄５２０、出力選択欄５４０、及び実行ボタン５５０を含む。
【００５１】
モデル設定欄５１０は、予測器１２１に関する設定を行うための欄である。モデル設定欄５１０は、ラジオボタン５１１、ラジオボタン５１２、及びモデルデータ設定欄５１３を含む。ラジオボタン５１１は、予測器１２１が構築済みである場合に選択される。ラジオボタン５１２は、予測器１２１が構築されていない場合に選択される。モデルデータ設定欄５１３は、予測器１２１を構築するためのモデルデータを設定する欄である。モデルデータ設定欄５１３には、モデルデータの格納場所を示すパス又はモデルデータに対応するファイル等が設定される。ラジオボタン５１２が操作された場合に、モデルデータ設定欄５１３への入力が有効化される。
【００５２】
テストデータ設定欄５２０は、テストデータセットに関する設定を行うための欄である。テストデータ設定欄５２０は、ラジオボタン５２１、ラジオボタン５２２、及びテストデータセット設定欄５２３を含む。ラジオボタン５２１は、テストデータセットを入力する場合に選択される。ラジオボタン５２２は、テストデータセットを入力しない場合に選択される。テストデータセット設定欄５２３は、入力するテストデータセットを設定するための欄である。テストデータセット設定欄５２３には、テストデータセットの格納場所を示すパス又はテストデータセットに対応するファイル等が設定される。ラジオボタン５２１が操作された場合に、テストデータセット設定欄５２３への入力が有効化される。
【００５３】
出力選択欄５４０は、出力する情報を選択するための欄である。出力選択欄５４０は、チェックボックス５４１、チェックボックス５４２、チェックボックス５４３、及びチェックボックス５４４を含む。チェックボックス５４１は、影響スコア及び影響度に関する情報を出力する場合に選択される。チェックボックス５４２は、影響スコアに基づいて選択された学習データを含む学習データセットを出力する場合に選択される。チェックボックス５４３は、学習データセットを用いて構築された予測器１２１を出力する場合に選択される。チェックボックス５４４は、影響度情報１３２のクラスタリングを実行する場合に選択される。チェックボックス５４１が操作された場合に、チェックボックス５４４への入力が有効化される。
【００５４】
以下の説明では、チェックボックス５４１に対応する要求を影響スコア出力要求と記載し、チェックボックス５４２に対応する要求を学習データ出力要求と記載し、チェックボックス５４３に対応する要求を予測器出力要求と記載する。なお、チェックボックス５４４が操作された場合、影響スコア出力要求にはクラスタリングを実行することを指示するフラグが含まれる。
【００５５】
実行ボタン５５０は、処理の実行を指示するための操作ボタンである。ユーザが実行ボタン５５０を操作した場合、モデル設定欄５１０、テストデータ設定欄５２０、及び出力選択欄５４０のそれぞれに設定した情報を含む実行要求がデータ受付部１１０に送信される。データ受付部１１０は、実行要求を受信した場合、計算機１００−３に開始指示を送信する。なお、開始指示には、ＧＵＩ５００を介して設定された各種情報が含まれる。
【００５６】
図６は、実施例１の計算機１００−３が実行する処理を説明するフローチャートである。
【００５７】
計算機１００−２は、実行要求を受け付けた計算機１００−１から処理の開始指示を受信した場合、以下で説明する処理を実行する。
【００５８】
影響スコア算出部１３０は、初期化処理を実行する（ステップＳ１０１）。具体的には、以下のような処理が実行される。
【００５９】
（Ａ１）影響スコア算出部１３０は、学習データデータベース１２２から複数の学習データを取得する。
【００６０】
影響スコア算出部１３０は、開始指示にテストデータ設定欄５２０のラジオボタン５２１の操作情報が含まれる場合、学習データデータベース１２２から取得した複数の学習データから学習データのグループを生成し、開始指示に含まれるテストデータセットからテストデータのグループを生成する。影響スコア算出部１３０は、各グループに含まれるデータに識別番号を付与する。
【００６１】
影響スコア算出部１３０は、開始指示にテストデータ設定欄５２０のラジオボタン５２２の操作情報が含まれる場合、学習データデータベース１２２から取得した複数の学習データの中から、所定の数の学習データをテストデータとして選択する。影響スコア算出部１３０は、テストデータとして選択された学習データを除く複数の学習データから学習データのグループを生成し、また、所定の数のテストデータからテストデータのグループを生成する。影響スコア算出部１３０は、各グループに含まれるデータに識別番号を付与する。
【００６２】
なお、本実施例は、学習データデータベースからテストデータを選択する方法に限定されない。例えば、影響スコア算出部１３０は、ランダムにテストデータが選択する。なお、テストデータの数は任意に設定できる。当該数は任意のタイミングで更新できる。
【００６３】
（Ａ２）影響スコア算出部１３０は、開始指示にモデルデータが含まれる場合、当該モデルデータを含む予測器１２１の生成指示を計算機１００−２に送信する。この場合、計算機１００−２は、モデルデータに基づいて予測器１２１を生成する。予測器１２１のパラメータには初期値が設定される。
【００６４】
（Ａ３）影響スコア算出部１３０は、影響度情報１３２及び影響スコア情報１３３を初期化する。
【００６５】
以上がステップＳ１０１の処理の説明である。
【００６６】
次に、影響スコア算出部１３０は、変数Ｊを初期化し（ステップＳ１０２）、また、変数Ｋを初期化する（ステップＳ１０３）。変数Ｊはテストデータの識別番号を表す変数であり、変数Ｋは学習データの識別番号を表す変数である。
【００６７】
具体的には、影響スコア算出部１３０は、変数Ｊ及び変数Ｋのそれぞれに１を設定する。このとき、影響スコア算出部１３０は、テストデータのグループに含まれるテストデータの数をＪｍａｘに設定し、学習データのグループに含まれる学習データの数をＫｍａｘに設定する。
【００６８】
次に、影響スコア算出部１３０は、テストデータのグループから変数Ｊに対応するテストデータを取得し、また、学習データのグループから変数Ｋに対応する学習データを取得する（ステップＳ１０４）。
【００６９】
次に、影響スコア算出部１３０は、テストデータ、学習データ、及び予測器１２１を用いて影響度を算出する（ステップＳ１０５）。なお、影響度の算出方法は非特許文献１に記載されているため、詳細な説明は省略する。
【００７０】
次に、影響スコア算出部１３０は、影響度情報１３２を更新する（ステップＳ１０６）。
【００７１】
具体的には、影響スコア算出部１３０は、影響度情報１３２のＫ行Ｊ列に対応するセルに算出された影響度を設定する。
【００７２】
次に、影響スコア算出部１３０は、変数Ｋの値がＫｍａｘに一致するか否かを判定する（ステップＳ１０７）。すなわち、全ての学習データについて処理が完了したか否かが判定される。
【００７３】
変数Ｋの値がＫｍａｘに一致しないと判定された場合、影響スコア算出部１３０は、変数Ｋに１を加算した値を変数Ｋに設定し（ステップＳ１０８）、その後、ステップＳ１０４に戻る。
【００７４】
変数Ｋの値がＫｍａｘに一致すると判定された場合、影響スコア算出部１３０は、変数Ｊの値がＪｍａｘに一致するか否かを判定する（ステップＳ１０９）。すなわち、全てのテストデータについて処理が完了したか否かが判定される。
【００７５】
変数Ｊの値がＪｍａｘに一致しないと判定された場合、影響スコア算出部１３０は、変数Ｊに１を加算した値を変数Ｊに設定し（ステップＳ１１０）、その後、ステップＳ１０３に戻る。
【００７６】
変数Ｊの値がＪｍａｘに一致すると判定された場合、影響スコア算出部１３０は、影響スコア算出処理を実行する（ステップＳ１１１）。影響スコア算出処理の詳細は図７を用いて説明する。
【００７７】
次に、影響スコア算出部１３０は、出力情報生成処理を実行する（ステップＳ１１２）。その後、影響スコア算出部１３０は処理を終了する。出力情報生成処理の詳細は図８を用いて説明する。
【００７８】
なお、一つの学習データに対して複数のテストデータを選択し、影響度を算出してもよい。すなわち、ステップＳ１０２とステップＳ１０３とを入れ替え、また、ステップＳ１０７及びステップＳ１０８とステップＳ１０９及びステップＳ１１０とを入れ替えてもよい。
【００７９】
図７は、実施例１の計算機１００−３が実行する影響スコア算出処理を説明するフローチャートである。
【００８０】
影響スコア算出部１３０は、変数Ｋを初期化する（ステップＳ２０１）。ステップＳ２０１の処理は、ステップＳ１０３の処理と同一である。
【００８１】
次に、影響スコア算出部１３０は、影響度情報１３２のＫ行目を、学習データの影響度ベクトルとして取得する（ステップＳ２０２）。
【００８２】
次に、影響スコア算出部１３０は、学習データの影響度ベクトルを用いて学習データの影響スコアを算出する（ステップＳ２０３）。本実施例は、影響スコアの算出方法に限定されない。例えば、影響スコア算出部１３０は、影響度ベクトルの各成分の合計値又は平均値を影響スコアとして算出する。また、影響スコア算出部１３０は、任意の係数ベクトルと影響度ベクトルとの内積を影響スコアとして算出する。
【００８３】
次に、影響スコア算出部１３０は、影響スコア情報１３３を更新する（ステップＳ２０４）。
【００８４】
具体的には、影響スコア算出部１３０は、影響スコア情報１３３にエントリを追加する。影響スコア算出部１３０は、追加されたエントリの学習データＩＤ４０１に学習データの識別番号を設定し、また、追加されたエントリの影響スコア４０２に算出された影響スコアを設定する。
【００８５】
次に、影響スコア算出部１３０は、変数Ｋの値がＫｍａｘに一致するか否かを判定する（ステップＳ２０５）。すなわち、全ての学習データについて処理が完了したか否かが判定される。
【００８６】
変数Ｋの値がＫｍａｘに一致しないと判定された場合、影響スコア算出部１３０は、変数Ｋに１を加算した値を変数Ｋに設定し（ステップＳ２０６）、その後、ステップＳ２０２に戻る。
【００８７】
変数Ｋの値がＫｍａｘに一致すると判定された場合、影響スコア算出部１３０は影響スコア算出処理を終了する。
【００８８】
図８は、実施例１の計算機１００−３が実行する出力情報生成処理を説明するフローチャートである。図９は、実施例１の計算機１００−３によって出力される影響度情報１３２の一例を示す図である。
【００８９】
影響スコア算出部１３０は、開始指示に影響スコア出力要求が含まれるか否かを判定する（ステップＳ３０１）。
【００９０】
開始指示に影響スコア出力要求が含まれないと判定された場合、影響スコア算出部１３０は、ステップＳ３０５に進む。
【００９１】
開始指示に影響スコア出力要求が含まれると判定された場合、影響スコア算出部１３０は、クラスタリングを実行するか否かを判定する（ステップＳ３０２）。
【００９２】
具体的には、影響スコア算出部１３０は、影響スコア出力要求にフラグが含まれるか否かを判定する。影響スコア出力要求にフラグが含まれる場合、影響スコア算出部１３０は、クラスタリングを実行すると判定する。
【００９３】
クラスタリングを実行しないと判定された場合、影響スコア算出部１３０は、図３に示す影響度情報１３２及び図４に示す影響スコア情報１３３を計算機１００−１に出力する（ステップＳ３０４）。その後、影響スコア算出部１３０はステップＳ３０５に進む。
【００９４】
この場合、計算機１００−１の結果出力部１１１は、影響度情報１３２及び影響スコア情報１３３を表示するための表示情報を生成し、当該表示情報を端末１０１に送信する。
【００９５】
クラスタリングを実行すると判定された場合、影響スコア算出部１３０は、影響度情報１３２を用いたクラスタリングを実行する（ステップＳ３０３）。本実施例はクラスタリングのアルゴリズムに限定されない。例えば、Ｉｎｆｉｎｉｔｙ  Ｒｅｌａｔｉｏｎａｌ  Ｍｏｄｅｌ等が考えられる。この結果、図９に示すような影響度情報１３２が生成される。
【００９６】
次に、影響スコア算出部１３０は、図９に示す影響度情報１３２及び図４に示す影響スコア情報１３３を計算機１００−１に出力する（ステップＳ３０４）。その後、影響スコア算出部１３０はステップＳ３０５に進む。
【００９７】
図９に示すような影響度情報１３２をユーザに提示することによって、ユーザは、入力するデータの特性に合わせて学習データを容易に選択することができる。また、テストデータに対する予測器１２１の予測精度を向上させる学習データを追加する必要があるか否かを容易に判定することができる。
【００９８】
ステップＳ３０１の判定結果がＮＯ又はステップＳ３０４の処理が実行された後、影響スコア算出部１３０は、開始指示に学習データ出力要求が含まれるか否かを判定する（ステップＳ３０５）。
【００９９】
開始指示に学習データ出力要求が含まれないと判定された場合、影響スコア算出部１３０は、ステップＳ３０８に進む。
【０１００】
開始指示に学習データ出力要求が含まれると判定された場合、影響スコア算出部１３０は、学習データ選択部１３１に学習データの選択を指示する（ステップＳ３０６）。
【０１０１】
具体的には、学習データ選択部１３１は、閾値と各学習データの影響スコアとの比較結果に基づいて、学習データセットに含める学習データを選択する。例えば、学習データ選択部１３１は、影響スコアが閾値より大きい学習データを選択する。なお、閾値は予め設定されているものとする。ただし、閾値は任意のタイミングで更新できる。
【０１０２】
次に、影響スコア算出部１３０は、選択された学習データを含む学習データセットを計算機１００−１に出力する（ステップＳ３０７）。その後、影響スコア算出部１３０はステップＳ３０８に進む。
【０１０３】
ステップＳ３０５の判定結果がＮＯ又はステップＳ３０７の処理が実行された後、影響スコア算出部１３０は、開始指示に予測器出力要求が含まれるか否かを判定する（ステップＳ３０８）。
【０１０４】
開始指示に予測器出力要求が含まれないと判定された場合、影響スコア算出部１３０は、出力情報生成処理を終了する。
【０１０５】
開始指示に予測器出力要求が含まれると判定された場合、影響スコア算出部１３０は、学習データ選択部１３１に学習データの選択を指示する（ステップＳ３０９）。ステップＳ３０９の処理はステップＳ３０６の処理と同一である。
【０１０６】
次に、影響スコア算出部１３０は、選択された学習データを含む学習データセットとともに学習処理の実行要求を計算機１００−２に送信する（ステップＳ３１０）。その後、影響スコア算出部１３０は出力情報生成処理を終了する。なお、実行要求には、選択された学習データの識別情報を含めてもよい。
【０１０７】
計算機１００−２の学習部１２０は、学習処理の実行要求を受信した場合、学習データセットを用いて予測器１２１の学習処理を実行する。学習部１２０は、学習データセットを用いた学習処理によって生成された予測器１２１を計算機１００−１に送信する。
【０１０８】
実施例１によれば、計算機１００−３は、影響スコアに基づいて、予測精度を向上できる学習データを効率的かつ容易に選択できる。また、影響度情報１３２及び影響スコア情報１３３をユーザに提示することによって、ユーザは、特定の特性を有するテストデータに関する予測精度を向上させるための学習データを確認することができる。さらに、選択された学習データを用いて予測器１２１を構築することによって、高い予測精度を実現できる予測器１２１をユーザに提供することができる。
【実施例２】
【０１０９】
任意の特性を有するデータに対する予測に適した予測器１２１を構築する場合、当該特性に合わせて予測器１２１をチューニングする必要がある。特性は、例えば、日中及び夜間等の時間の特性等が考えられる。この場合、日中の予測に適した予測器１２１を構築することが考えられる。以下の説明では、予測器１２１を調整するための特性をチューニングラベルと記載する。
【０１１０】
実施例２では、チューニングラベル及び影響スコアに基づいて学習データが選択される。以下、実施例１との差異を中心に実施例２について説明する。
【０１１１】
図１０は、実施例２の計算機システムの構成の一例を示す図である。
【０１１２】
計算機システムの装置構成は実施例１と同一である。実施例２の計算機１００のハードウェア構成は実施例１と同一である。また、実施例２の計算機１００−１、１００−２の論理構成は実施例１と同一である。
【０１１３】
実施例２では、計算機１００−３の論理構成が一部異なる。具体的には、計算機１００−３は、チューニングラベル情報１３４を管理する。
【０１１４】
チューニングラベル情報１３４は、テストデータに付与されたチューニングラベルを管理するための情報である。チューニングラベル情報１３４の詳細は図１１を用いて説明する。
【０１１５】
また、実施例２では、計算機１００−３が管理する影響スコア情報１３３のデータ構造が一部異なる。影響スコア情報１３３の詳細は図１２を用いて説明する。
【０１１６】
図１１は、実施例２のチューニングラベル情報１３４のデータ構造の一例を示す図である。
【０１１７】
チューニングラベル情報１３４は、テストデータＩＤ１１０１及びチューニングラベル１１０２から構成されるエントリを複数含む。一つのエントリが一つのテストデータに対応する。
【０１１８】
テストデータＩＤ１１０１は、テストデータの識別番号を格納するフィールドである。チューニングラベル１１０２は、チューニングラベルの値を格納するフィールドである。
【０１１９】
実施例２では、テストデータ及びチューニングラベルを分けて管理しているが、チューニングラベルの管理方法はこれに限定されない。例えば、テストデータにチューニングラベルを含めてもよい。
【０１２０】
図１２は、実施例２の影響スコア情報１３３のデータ構造の一例を示す図である。
【０１２１】
実施例２の影響スコア情報１３３は、影響スコア４０２が実施例１と異なる。具体的には、影響スコア４０２は、チューニングラベルの値毎の影響スコア、及びチューニングラベルの各値の影響スコアから算出される総合影響スコアを格納する。
【０１２２】
図１３は、実施例２のデータ受付部１１０によって提供されるＧＵＩの一例を示す図である。
【０１２３】
ＧＵＩ５００は、新たに、チューニングラベル設定欄５３０を含み、また、出力選択欄５４０が一部異なる。
【０１２４】
チューニングラベル設定欄５３０は、ラジオボタン５３１、ラジオボタン５３２、ラジオボタン５３３、ラジオボタン５３４、ラベルデータ設定欄５３５、及び種類設定欄５３６を含む。
【０１２５】
ラジオボタン５３１は、チューニングラベルを設定する場合に選択される。ラジオボタン５３２は、チューニングラベルを設定しない場合に選択される。ラジオボタン５３３は、手動でチューニングラベルを設定する場合に選択される。ラジオボタン５３４は、自動でチューニングラベルを設定する場合に選択される。
【０１２６】
ラベルデータ設定欄５３５は、チューニングラベル情報１３４を設定するための欄である。ラベルデータ設定欄５３５には、チューニングラベル情報１３４の格納場所を示すパス又はチューニングラベル情報１３４に対応するファイルが設定される。種類設定欄５３６は、チューニングラベルの種類を設定する欄である。例えば、ユーザは、学習データの項目がチューニングラベルの種類として設定される。
【０１２７】
出力選択欄５４０は、新たに、チェックボックス５４５及び値設定欄５４６を含む。チェックボックス５４５は、チューニングラベルを考慮した出力を行う場合に選択される。値設定欄５４６は、学習データを選択する場合に用いるチューニングラベルの値を設定する欄である。
【０１２８】
なお、チューニングラベル設定欄５３０において、ラジオボタン５３２が選択された場合、チェックボックス５４５及び値設定欄５４６の操作は無効化される。
【０１２９】
以下の説明では、チェックボックス５４５に対応する要求をチューニング要求と記載する。
【０１３０】
図１４Ａ及び図１４Ｂは、実施例２の計算機１００−３が実行する処理を説明するフローチャートである。
【０１３１】
ステップＳ１０１からステップＳ１１０までの処理は実施例１と同一である。ステップＳ１０９の判定結果がＹＥＳである場合、影響スコア算出部１３０は、チューニングラベルを手動で設定するか否かを判定する（ステップＳ１５１）。
【０１３２】
具体的には、影響スコア算出部１３０は、開始指示に、ラジオボタン５３３の操作に関する情報が含まれるか否かを判定する。開始指示に、ラジオボタン５３３の操作に関する情報が含まれる場合、影響スコア算出部１３０は、チューニングラベルを手動で設定すると判定する。
【０１３３】
チューニングラベルを手動で設定すると判定された場合、影響スコア算出部１３０は、チューニングラベル情報１３４を格納し（ステップＳ１５２）、その後、ステップＳ１１０に進む。
【０１３４】
具体的には、影響スコア算出部１３０は、開始指示に含まれるチューニングラベル情報１３４を主記憶装置２０２又は副記憶装置２０３に格納する。
【０１３５】
チューニングラベルを手動で設定しないと判定された場合、影響スコア算出部１３０は、チューニングラベルを自動で設定するか否かを判定する（ステップＳ１５３）。
【０１３６】
具体的には、影響スコア算出部１３０は、開始指示に、ラジオボタン５３４の操作に関する情報が含まれるか否かを判定する。開始指示に、ラジオボタン５３４の操作に関する情報が含まれる場合、影響スコア算出部１３０は、チューニングラベルを自動で設定すると判定する。
【０１３７】
チューニングラベルを自動で設定しないと判定された場合、影響スコア算出部１３０は、ステップＳ１１０に進む。
【０１３８】
チューニングラベルを自動で設定すると判定された場合、影響スコア算出部１３０は、チューニングラベル情報１３４を生成し（ステップＳ１５４）、その後、ステップＳ１１０に進む。具体的には、以下のような処理が実行される。
【０１３９】
（Ｂ１）影響スコア算出部１３０は、チューニングラベル情報１３４を初期化する。
【０１４０】
（Ｂ２）影響スコア算出部１３０は、テストデータを選択し、テストデータから種類設定欄５３６に設定された項目の特徴量を取得する。特徴量を変換する必要がある場合、影響スコア算出部１３０は、所定の変換アルゴリズムに基づいて取得された特徴量を変換する。例えば、チューニングラベルの値が「午前」又は「午後」であり、時刻に関する項目の値が取得された場合、影響スコア算出部１３０は、時刻を「午前」又は「午後」のいずれかに変換する。
【０１４１】
（Ｂ３）影響スコア算出部１３０は、チューニングラベル情報１３４にエントリを追加し、追加されたエントリのテストデータＩＤ１１０１に選択されたテストデータの識別番号を設定する。また、影響スコア算出部１３０は、追加されたエントリのチューニングラベル１１０２に特徴量を設定する。
【０１４２】
影響スコア算出部１３０は、全てのテストデータに対して（Ｂ２）及び（Ｂ３）の処理を実行する。
【０１４３】
なお、影響スコア算出部１３０は、生成されたチューニングラベル情報１３４をユーザに提示するための表示情報を生成し、計算機１００−１を介して端末１０１に表示情報を送信してもよい。この場合、影響スコア算出部１３０は、チューニングラベル情報１３４の修正を受け付ける機能を有してもよい。
【０１４４】
なお、チューニングラベル情報１３４の生成方法は前述のものに限定されない。例えば、テストデータを予測器１２１に入力した場合に得られる、中間出力を利用してチューニングラベルの値を決定する方法でもよい。以上がステップＳ１５４の処理の説明である。
【０１４５】
ステップＳ１１０では、影響スコア算出部１３０は影響スコア算出処理を実行する（ステップＳ１１０）。実施例２の影響スコア算出処理は、実施例１と一部異なる。実施例２の影響スコア算出処理の詳細は図１５Ａ及び図１５Ｂを用いて説明する。
【０１４６】
次に、影響スコア算出部１３０は、出力情報生成処理を実行し（ステップＳ１１１）、その後、処理を終了する。実施例２の出力情報生成処理は、処理の流れは実施例１と同一である。ただし、ステップＳ３０６及びステップＳ３０９の処理が一部異なる。
【０１４７】
具体的には、学習データ選択部１３１は、開始指示にチューニング要求が含まれるか否かを判定する。開始指示にチューニング要求が含まれないと判定された場合、学習データ選択部１３１は、閾値及び各学習データの総合影響スコアの比較結果に基づいて、学習データセットに含まれる学習データを選択する。開始指示にチューニング要求が含まれると判定された場合、学習データ選択部１３１は、閾値及び値設定欄５４６で指定されたチューニングラベルの値に対応する各学習データの影響スコアの比較結果に基づいて、学習データセットに含める学習データを選択する。
【０１４８】
図１５Ａ及び図１５Ｂは、実施例２の計算機１００−３が実行する影響スコア算出処理を説明するフローチャートである。
【０１４９】
影響スコア算出部１３０は、まず、チューニングラベルが設定されているか否かを判定する（ステップＳ２５１）。
【０１５０】
具体的には、影響スコア算出部１３０は、チューニングラベル情報１３４を管理しているか否かを判定する。チューニングラベル情報１３４を管理している場合、影響スコア算出部１３０は、チューニングラベルが設定されていると判定する。
【０１５１】
チューニングラベルが設定されていないと判定された場合、影響スコア算出部１３０は、ステップＳ２０１からステップＳ２０６までの処理を実行する。
【０１５２】
チューニングラベルが設定されていると判定された場合、影響スコア算出部１３０は、影響スコア算出部１３０は、変数Ｋを初期化する（ステップＳ２５２）。ステップＳ２５２の処理は、ステップＳ１０３の処理と同一である。
【０１５３】
次に、影響スコア算出部１３０は、変数Ｋに対応する学習データの総合影響スコアを算出する（ステップＳ２５３）。すなわち、チューニングラベルを考慮しないで影響スコアが算出される。当該影響スコアの算出処理は、ステップＳ２０３と同一である。
【０１５４】
次に、影響スコア算出部１３０は、影響スコア情報１３３を更新する（ステップＳ２５４）。
【０１５５】
具体的には、影響スコア算出部１３０は、影響スコア情報１３３にエントリを追加する。影響スコア算出部１３０は、追加されたエントリの学習データＩＤ４０１に学習データの識別番号を設定し、また、追加されたエントリの影響スコア４０２の「総合」のフィールドに算出された影響スコアを設定する。
【０１５６】
次に、影響スコア算出部１３０は、チューニングラベルの値を選択し、ターゲットテストデータ群を特定する（ステップＳ２５５）。
【０１５７】
具体的には、影響スコア算出部１３０は、チューニングラベル情報１３４を参照し、チューニングラベル１１０２に、選択されたチューニングラベルの値が設定されたエントリを特定する。特定されたエントリ群に対応するテストデータ群がターゲットテストデータ群となる。
【０１５８】
次に、影響スコア算出部１３０は、影響度情報１３２の変数Ｋに対応する学習データの影響度ベクトルを参照し、ターゲットテストデータ群の各々に対応する成分から影響度を取得する（ステップＳ２５６）。
【０１５９】
次に、影響スコア算出部１３０は、取得された複数の影響度を用いてチューニングラベルの影響スコアを算出する（ステップＳ２５７）。本実施例は、チューニングラベルの影響スコアの算出方法に限定されない。例えば、影響スコア算出部１３０は、取得された複数の影響度の合計値又は平均値をチューニングラベルの影響スコアとして算出する。
【０１６０】
次に、影響スコア算出部１３０は、影響スコア情報１３３を更新する（ステップＳ２５８）。
【０１６１】
具体的には、影響スコア算出部１３０は、ステップＳ２５４において追加されたエントリを特定する。影響スコア算出部１３０は、特定されたエントリの影響スコア４０２のチューニングラベルの値に対応するフィールドに、チューニングラベルの影響スコアを設定する。
【０１６２】
次に、影響スコア算出部１３０は、全てのチューニングラベルの値について処理が完了したか否かを判定する（ステップＳ２５９）。
【０１６３】
全てのチューニングラベルの値について処理が完了していないと判定された場合、影響スコア算出部１３０は、ステップＳ２５５に戻る。
【０１６４】
全てのチューニングラベルの値について処理が完了したと判定された場合、影響スコア算出部１３０は、変数Ｋの値がＫｍａｘに一致するか否かを判定する（ステップＳ２６０）。すなわち、全ての学習データについて処理が完了したか否かが判定される。
【０１６５】
変数Ｋの値がＫｍａｘに一致しないと判定された場合、影響スコア算出部１３０は、変数Ｋに１を加算した値を変数Ｋに設定し（ステップＳ２６１）、その後、ステップＳ２５３に戻る。
【０１６６】
変数Ｋの値がＫｍａｘに一致すると判定された場合、影響スコア算出部１３０は影響スコア算出処理を終了する。
【０１６７】
実施例２によれば、任意の特性を有するデータに対する予測に適した予測器１２１を構築するための学習データを選択できる。これによって、当該特性を有するデータに特化した予測器１２１を構築することができる。
【０１６８】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。また、例えば、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施例の構成の一部について、他の構成に追加、削除、置換することが可能である。
【０１６９】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。
【０１７０】
また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｐｙｔｈｏｎ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。
【０１７１】
さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することによって、それをコンピュータのハードディスクやメモリ等の記憶手段又はＣＤ−ＲＷ、ＣＤ−Ｒ等の記憶媒体に格納し、コンピュータが備えるプロセッサが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。
【０１７２】
上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。
【符号の説明】
【０１７３】
１００  計算機
１０１  端末
１０５  ネットワーク
１１０  データ受付部
１１１  結果出力部
１２０  学習部
１２１  予測器
１２２  学習データデータベース
１３０  影響スコア算出部
１３１  学習データ選択部
１３２  影響度情報
１３３  影響スコア情報
１３４  チューニングラベル情報
１４０  テストデータデータベース
２０１  プロセッサ
２０２  主記憶装置
２０３  副記憶装置
２０４  ネットワークインタフェース
５００  ＧＵＩ
５１０  モデル設定欄
５２０  テストデータ設定欄
５３０  チューニングラベル設定欄
５４０  出力選択欄
５５０  実行ボタン
【図１】
2020030738.tif 000003
【図２】
2020030738.tif 000004
【図３】
2020030738.tif 000005
【図４】
2020030738.tif 000006
【図５】
2020030738.tif 000007
【図６】
2020030738.tif 000008
【図７】
2020030738.tif 000009
【図８】
2020030738.tif 000010
【図９】
2020030738.tif 000011
【図１０】
2020030738.tif 000012
【図１１】
2020030738.tif 000013
【図１２】
2020030738.tif 000014
【図１３】
2020030738.tif 000015
【図１４Ａ】
2020030738.tif 000016
【図１４Ｂ】
2020030738.tif 000017
【図１５Ａ】
2020030738.tif 000018
【図１５Ｂ】
2020030738.tif 000019