(57)【要約】      （修正有）【課題】複数のデータを入力することなく、閾値を設定したデータと入力データとの評価を行う。【解決手段】データ評価システム１０００において、サーバは、学習データの中から、説明変数と目的変数とを設定し、説明変数の属性に基づいて、学習データの項目のうち閾値を設定する項目の有無を判定し、閾値を設定する項目がある場合、項目に設定した閾値と項目との関係を所定の手法で算出する。算出の結果を反映した閾値反映学習データを生成し、所定の基準に基づいて処理された学習データを用いて生成された予測モデルを用いて予測結果を出力し、所定の基準に基づいて処理された閾値反映学習データを用いて生成された閾値反映予測モデルを用いて閾値反映予測結果を出力する。そして、予測結果を用いて予測モデルを評価し、閾値反映予測結果を用いて閾値反映予測モデルを評価し、予測モデルの評価結果と閾値反映学習モデルの評価結果を比較して評価する。【選択図】図２
2020204993.tif 000002
【特許請求の範囲】
【請求項１】
評価対象となる学習データの中から、説明変数と、目的変数とを設定する変数設定部と、
前記説明変数の属性に基づいて、前記学習データの項目のうち閾値を設定する項目の有無を判定し、当該判定の結果、前記閾値を設定する項目がある場合、当該項目に設定した閾値と当該項目との関係を所定の手法で算出し、当該算出の結果を反映した閾値反映学習データを生成する閾値設定部と、
前記学習データを所定の基準に基づいて処理して、前記処理された前記学習データを用いて生成された予測モデルを用いて予測結果を出力し、前記閾値反映学習データから所定の基準に基づいて処理して、前記処理された前記閾値反映学習データを用いて生成された閾値反映予測モデルを用いて閾値反映予測結果を出力する学習部と、
前記予測結果として得られた予測値を用いて前記予測モデルを評価し、前記閾値反映予測結果として得られた閾値反映予測値を用いて前記閾値反映予測モデルを評価し、前記予測モデルの評価結果と前記閾値反映学習モデルの評価結果を比較して評価する評価部と、
を備えることを特徴とするデータ評価システム。
【請求項２】
前記閾値設定部は、前記所定の手法として、前記閾値と前記閾値を設定した項目の値との差分を求める減算により前記関係を算出する、
ことを特徴とする請求項１に記載のデータ評価システム。
【請求項３】
前記閾値設定部は、前記所定の手法として、前記閾値と前記閾値を設定した項目の値との絶対値の差分を求める減算により前記関係を算出する、
ことを特徴とする請求項１に記載のデータ評価システム。
【請求項４】
前記閾値設定部は、前記閾値と前記閾値を設定した項目の値との差が負である場合のみ有効とする減算または前記差が正である場合のみ有効とする減算により前記関係を算出する、
ことを特徴とする請求項１に記載のデータ評価システム。
【請求項５】
前記閾値設定部は、前記閾値と前記閾値を設定した項目の値との差が、前記閾値の負側の近傍に収まっている場合のみ有効とする計算または前記差が、前記閾値の正側の近傍に収まっている場合のみ有効とする計算により前記関係を算出する、
ことを特徴とする請求項１に記載のデータ評価システム。
【請求項６】
前記評価部は、前記予測モデルの評価値と、前記閾値反映予測モデルの評価値との乖離度が一定以上である場合、ユーザから指定されたデータを前記閾値反映学習データの中から探索し、該当データを表示部に表示する、
ことを特徴とする請求項１に記載のデータ評価システム。
【請求項７】
前記所定の手法として、前記閾値と前記閾値を設定した項目の値との差分を求める減算により前記関係を算出する手法、前記閾値と前記閾値を設定した項目の値との絶対値の差分を求める減算により前記関係を算出する手法、前記閾値と前記閾値を設定した項目の値との差が負である場合のみ有効とする減算または前記差が正である場合のみ有効とする減算により前記関係を算出する手法、前記閾値と前記閾値を設定した項目の値との差が、前記閾値の負側の近傍に収まっている場合のみ有効とする計算または前記差が、前記閾値の正側の近傍に収まっている場合のみ有効とする計算により前記関係を算出する手法、のいずれかの選択を受け付ける入力部を有し、
前記入力部が選択を受け付けた手法を用いて前記関係を算出し、当該算出の結果を反映した閾値反映学習データを生成する、
ことを特徴とする請求項１に記載のデータ評価システム。
【請求項８】
変数設定部が、評価対象となる学習データの中から、説明変数と、目的変数とを設定し、
閾値設定部が、前記説明変数の属性に基づいて、前記学習データの項目のうち閾値を設定する項目の有無を判定し、当該判定の結果、前記閾値を設定する項目がある場合、当該項目に設定した閾値と当該項目との関係を所定の手法で算出し、当該算出の結果を反映した閾値反映学習データを生成し、
学習部が、前記学習データから所定の基準に基づいて生成した予測モデルを用いた予測結果を出力し、前記閾値反映学習データから所定の基準に基づいて生成した閾値反映予測モデルを用いた閾値反映予測結果を出力し、
評価部が、前記予測結果として得られた予測値を用いて前記予測モデルを評価し、前記閾値反映予測結果として得られた閾値反映予測値を用いて前記閾値反映予測モデルを評価し、前記予測モデルの評価結果と前記閾値反映学習モデルの評価結果を比較して評価する、
ことを特徴とするデータ評価方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ評価システム、データ評価方法に関する。
【背景技術】
【０００２】
機械学習（ＭＬ：Machine Learning）や深層学習（ＤＬ：Deep Learning）をはじめとする人工知能（ＡＩ：Artificial Intelligence）システムに入力するデータを作成する際、数値に関する項目（例えば、何らかの値や時間といった計算可能な項目）が含まれる場合がある。この場合、人工知能システムは、コンピュータの処理方法である四則演算もしくはそれを用いたアルゴリズムを用いて、平均値の算出や大小比較等により、当該項目の処理を行う。
【０００３】
人工知能システムに対して、ユーザが定めた閾値を認識させること、かつその閾値をどのように活用するかを認識させることは、現状では困難である。したがって、その数値項目に上記閾値が含まれる場合、その閾値を用いて数値と閾値との関係を計算して新たな数値項目を追加した、人工知能システムへの入力用の新たなデータセットを作成している。例えば、特許文献１では、教師データを入力して機械学習を実行し、さらに平均値及び標準偏差を利用した乱数分布に基づいて算出した閾値を用いて一部を無効化した教師データを生成し、これを入力として機械学習する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１８−１５２０００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１では、同じデータソースであるにも関わらず、機械学習させるために、少なくとも２以上のデータを生成して機械学習させるため、データの多重管理が必要となる。また、閾値処理の手法を記録しなければならないので、閾値処理手法の多重管理が必要となる。さらに、機械学習後のデータは、入力したデータごとに出力されるため、入力時だけでなく、機械学習後においてもデータの多重管理が生じ、出力されたデータを評価する場合には、それぞれのデータを読み出して比較する等して評価を行う必要があり、評価手順が煩雑となってしまう。さらに、同じデータを異なるアルゴリズムで処理した結果を比較して評価する人工知能システムは存在するが、異なるデータの処理結果を同じアルゴリズムを用いて処理した結果を比較して評価する人工知能システムは存在しない。そのため、たとえ後者のような評価を行う場合であっても、従来の手順を用いなければならず、上記同様、評価手順が煩雑になると考えられる。
【０００６】
本発明は、複数のデータを入力することなく、閾値を設定したデータと入力データとの評価を行うことが可能な予測モデル評価システム、予測モデル評価方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明にかかるデータ評価システムは、評価対象となる学習データの中から、説明変数と、目的変数とを設定する変数設定部と、前記説明変数の属性に基づいて、前記学習データの項目のうち閾値を設定する項目の有無を判定し、当該判定の結果、前記閾値を設定する項目がある場合、当該項目に設定した閾値と当該項目との関係を所定の手法で算出し、当該算出の結果を反映した閾値反映学習データを生成する閾値設定部と、前記学習データを所定の基準に基づいて処理して、前記処理された前記学習データを用いて生成された予測モデルを用いて予測結果を出力し、前記閾値反映学習データから所定の基準に基づいて処理して、前記処理された前記閾値反映学習データを用いて生成された閾値反映予測モデルを用いて閾値反映予測結果を出力する学習部と、前記予測結果として得られた予測値を用いて前記予測モデルを評価し、前記閾値反映予測結果として得られた閾値反映予測値を用いて前記閾値反映予測モデルを評価し、前記予測モデルの評価結果と前記閾値反映学習モデルの評価結果を比較して評価する評価部と、を備えることを特徴とするデータ評価システムとして構成される。
【０００８】
また、本発明は、上記データ評価システムで実行されるデータ評価方法としても把握される。
【発明の効果】
【０００９】
本発明によれば、複数のデータを入力することなく、閾値を設定したデータと入力データとの評価を行うことができる。
【図面の簡単な説明】
【００１０】
【図１】本実施の形態におけるデータ評価システムの構成例を示す図である。
【図２】本システムにおける処理の流れを示す概念図である。
【図３】学習データの例を示す図である。
【図４】閾値設定画面の例を示す図である。
【図５】計算手法選択テーブルの例を示す図である。
【図６】計算手法の説明例を示す図である。
【図７】閾値反映学習データの例を示す図である。
【図８】評価結果画面の例を示す図である。
【図９】本システムで行われる処理（データ評価処理）の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照して、本発明にかかるデータ評価システム、データ評価方法の実施の形態を詳細に説明する。
【００１２】
図１は、本実施の形態におけるデータ評価システムの構成例を示す図である。図１に示すように、データ評価システム１０００は、サーバ１００と、端末２００とがネットワークＮを介して接続された構成となっている。図１では、サーバ１００、端末２００が、それぞれ１台ずつである構成を例示しているが、サーバ１００が複数のサーバによって構成されたり、クラウドとして構成されていてもよい。また、端末２００がネットワークＮを介してサーバ１００に複数接続されていてもよい。
【００１３】
サーバ１００は、数値に関する項目（例えば、何らかの値や時間といった計算可能な項目）を含む入力データから予測モデルを学習し、学習した予測モデルによる予測結果を評価するためのサーバであり、ハードウェアとしては一般的なコンピュータから構成される。端末２００は、上記予測結果を評価するためにユーザが操作するための端末であり、ハードウェアとしては一般的なコンピュータから構成される。ネットワークＮは、有線、無線を問わず、インターネット等の一般的な公衆回線網から構成される。なお、以下では、ユーザが端末２００を操作して上記予測結果を評価しているが、サーバ１００に端末２００と同様の機能を備え、サーバ１００を操作することで上記予測結果を評価してもよい。また、以下では、各処理をサーバ１００が実行する前提で説明しているが、１または複数のサーバがこれらの処理を実行してもよいし、サーバ１００の機能を有したクラウドがこれらの処理を実行してもよい。
【００１４】
サーバ１００、端末２００における各処理は、プログラムの実行により実現される。サーバ１００、端末２００は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ(Hard Disk Drive)、ＮＩＣ（Network Interface Card）といった、通信可能なコンピュータが備える一般的な構成を有し、ＣＰＵが、ＲＯＭからプログラムを読み出して実行することにより、各処理を実行する各機能部の機能が実現される。上記プログラムは、ＵＳＢ(Universal Serial Bus)メモリ等の記憶媒体から読み出されたり、ネットワークを介した他のコンピュータからダウンロードする等して、サーバ１００や端末２００に提供されてもよい。
【００１５】
サーバ１００は、送受信部１０１と、設定部１０２と、学習部１０３と、評価部１０４と、表示データ生成部１０５と、記憶部１０６とを有している。さらに、設定部１０２は、変数設定部１０２１と、閾値設定部１０２２とを有している。
【００１６】
送受信部１０１は、端末２００から入力された学習データを受信したり、サーバ１００が実行した予測モデルによる予測結果や評価結果を端末２００に送信する等、本システムで行われる処理に必要な情報を送受信する。
【００１７】
設定部１０２は、本システムで処理するデータに対して、変数や閾値等の各種情報を設定し、処理を行う。
【００１８】
変数設定部１０２１は、端末２００から指定された学習データの項目のうち、説明変数とする項目、目的変数とする項目を学習データに設定する。
【００１９】
なお、変数設定部１０２１は、説明変数のうち、従来の予測モデルにより得られた予測結果が設定されている説明変数を、従来予測変数として学習データの項目に設定してもよい。学習データ自体がすでに何らかの予測モデルを用いて得られたものである場合が多いことに着目し、従来予測変数を設定することにより、当該従来予測変数が、学習して得られた予測モデルによる予測結果にどのように影響を与えたのかを判断したり、あるいは学習して得られた予測モデルによる予測結果を従来予測変数の違いにより評価することができる。
【００２０】
閾値設定部１０２２は、学習データに含まれる数値に関する項目（例えば、何らかの値や時間といった計算可能な項目）に対する閾値を設定し、変数設定部１０２１が設定した説明変数とする項目、目的変数とする項目と、設定した上記閾値とを含む閾値反映学習データを生成する。閾値設定部１０２２が行う具体的な処理については後述する。
【００２１】
学習部１０３は、端末２００から受信された学習データおよび閾値設定部１０２２で生成された閾値反映学習データのそれぞれについて、所定の基準で訓練データと検証データとに分類する。学習部１０３は、上記学習データを分類した訓練データから予測モデルを生成し、上記閾値反映学習データを分類した訓練データから閾値反映予測モデルを生成する。学習部１０３は、生成した予測モデルに上記学習データを分類した検証データを入力して得られた学習結果である予測値を出力する。また、学習部１０３は、生成した閾値反映予測モデルに上記閾値反映学習データを分類した検証データを入力して得られた閾値反映学習結果である閾値反映予測値を出力する。上記モデルの生成については、従来から知られている各種アルゴリズムを用いることができる。
【００２２】
評価部１０４は、上記予測値と、上記閾値反映予測値と、上記目的変数の値とを比較し、これらの関係性を評価する。当該比較、評価の例については後述する。なお、変数設定部１０２１が上記従来予測変数を設定した場合には、当該従来予測変数の値を含めて関係性を評価してもよい。
【００２３】
表示データ生成部１０５は、評価部１０４による比較結果、評価結果を端末２００に表示させるためのデータを生成する。当該データの例や端末２００への表示例については後述する。
【００２４】
記憶部１０６は、本システムで用いられる学習データ、閾値反映学習データ、訓練データ、検証データをはじめ、設定された説明変数、閾値、目的変数の各項目やこれらの値を記憶する。各データの具体例については後述する。なお、設定部１２０が上記従来予測変数を設定した場合には、当該従来予測変数の項目や値を記憶してもよい。
【００２５】
端末２００は、入出力部２０１と、制御部２０２と、通信部２０３とを有して構成されている。
【００２６】
入出力部２０１は、ユーザから学習データの入力、説明変数、閾値、目的変数の指定を受け付けたり、サーバ１００による上記比較結果や評価結果を表示部に出力する。上記従来予測変数が設定される場合には、当該従来予測変数を含めてもよい。
【００２７】
制御部２０２は、端末２００の各部の動作を制御する。
【００２８】
通信部２０３は、サーバ１００との間で本システムに必要な各種データの送受信を司る。
【００２９】
図２は、本システムにおける処理の流れを示す概念図である。まず、サーバ１００の送受信部１０１は、端末２００から入力された学習データを受信２１する。
【００３０】
図３は、学習データの例を示す図である。図３に示すように、学習データ１０６１は、学習データのレコード番号（＃）と、項目１〜Ｎ（図３では項目７）までのＮ個の項目とが対応付けて記憶されている。図３では、例えば、学習データが「会社人事」を扱うデータである場合、項目１は年齢に関する項目、項目２は入社年度に関する項目、項目３は性別に関する項目、項目４は年休数に関する項目、項目５は残業時間に関する項目、項目６は退職（旧来予測値）に関する項目、項目７は退職（実績）に関する項目が挙げられる。
【００３１】
端末２００の制御部２０２は、入出力部２０１がユーザから受け付けた説明変数とする項目、目的変数とする項目をサーバ１００に送信２２する。サーバ１００の変数設定部１０２１は、送受信部１０１が受信した、上記学習データと、上記説明変数となる項目と、上記目的変数となる項目とを、対応付けて記憶部１０６に記憶２３する。これらの変数は、端末２００の入出力部２０１がタッチパネル等の画面（変数設定画面）からの入力を受け付け、設定される。
【００３２】
サーバ１００の変数設定部１０２１は、記憶部１０６に記憶された学習データの項目のうち、説明変数となる項目のうち、当該項目の属性を示すデータ型が数値に関する項目（例えば、何らかの値や時間といった計算可能な項目）である項目が含まれているか否かを判定２４し、上記数値に関する項目が含まれていると判定した場合、当該項目の項目名（あるいは項目番号）を、閾値設定部１０２２に出力する。
【００３３】
閾値設定部１０２２は、変数設定部１０２１から受け取った項目名（あるいは項目番号）を確認２５し、当該項目に対して閾値を設定する処理を開始２６する。
【００３４】
閾値設定部１０２２は、閾値を設定する処理を開始すると、当該項目に対する閾値設定画面を端末２００に送信し、端末２００の入出力部２０１が当該画面を表示２７する。
【００３５】
図４は、閾値設定画面の例を示す図である。図４では、端末２００の入出力部２０１がタッチパネル等の画面（閾値設定画面）４０１から入力を受け付けて、その結果を表示する様子を示している。
【００３６】
図４に示すように、閾値設定画面には、学習データを構成する項目のうち、変数設定部１０２１により設定された説明変数となる項目と、目的変数となる項目とが対応付けて表示される。また、閾値設定画面の中で、データ型が数値に関する項目（図４では、「残業時間」項目）について、当該項目の基準値となる閾値（図４では、「４０時間」）が設定されていることがわかる。当該閾値は、閾値設定部１０２２が変数設定部１０２１から受け取った項目名（あるいは項目番号）を読み取り、閾値有無欄４０２にチェックされた項目に対応する閾値欄４０３に、具体的な値が入力されることにより設定される。
【００３７】
閾値設定部１０２２は、閾値が設定されると、閾値計算手法設定画面を表示２９し、閾値と閾値を設定した項目の値との関係を算出するための計算手法選択テーブル５０１の読み出し３０を行う。
【００３８】
図５は、上記計算手法選択テーブルの例を示す図である。図５に示すように、計算手法選択テーブル５０１は、レコード番号（＃）と、計算手法と、当該計算手法で用いる計算式とが対応付けて記憶されている。図５では、図４の「計算手法」４０４のうち（１）〜（７）までの計算手法が選択可能であることを示している。
【００３９】
計算手法（１）は、単純な差分を求める減算により、閾値と閾値を設定した項目の値との関係を算出することを示している。当該計算手法は、入力される学習データが、閾値との差をプラスとマイナスで明確に分けて分析するデータである場合に適用すればよい。例えば、既定時間（例えば、法定残業時間や平均残業時間）を閾値として設定する。この場合、図６の（ａ）に示すように、当該規定時間と残業時間との差と、他の項目（例えば、退職（実績））との相関を分析する場合に適用することができる。
【００４０】
計算手法（２）は、絶対値の差分を求める減算により、閾値と閾値を設定した項目の値との関係を算出することを示している。当該計算手法は、閾値と閾値を設定した項目の値との差が特徴的な値として現れるモデルに適用すればよい。例えば、衛星と小惑星の引力による衛星の速度調査を行う場合に適用することができる。この場合、図６の（ｂ）において、最近接距離を閾値として設定すると、左図に示すように、引力による衛星の部品耐久性を縦軸とした場合の距離との相関関係（左図）や速度(右図)との相関関係を分析する場合に適用することができる。
【００４１】
計算手法（３）は、閾値と閾値を設定した項目の値との差が負である場合のみ有効とする減算により、閾値と閾値を設定した項目の値との関係を算出することを示している。当該計算手法は、閾値の前後で２領域に分類できるモデルに適用すればよい。例えば、図６の（ｃ）左図に示すように、画像の濃淡を示す濃度と他の項目（例えば、物体の認識率）との相関を分析する場合に適用することができる。図６の（ｃ）左図では、画像の濃度が閾値を超えて高くなると、物体の認識率が極端に低くなる関係にあることを示している。
【００４２】
計算手法（４）は、閾値と閾値を設定した項目の値との差が正である場合のみ有効とする減算により、閾値と閾値を設定した項目の値との関係を算出することを示している。当該計算手法は、上記（３）の場合と同様、閾値の前後で２領域に分類できるモデルに適用すればよい。例えば、図６の（ｃ）右図に示すように、画像の濃淡を示す濃度と他の項目（例えば、物体の認識率）との相関を分析する場合に適用することができる。図６の（ｃ）右図では、画像の濃度が閾値を超えて高くなると、物体の認識率が極端に高くなる関係にあることを示している。
【００４３】
計算手法（５）は、閾値と閾値を設定した項目の値との差が、閾値近傍（１パーセント未満）に収まっている場合のみ有効とする計算により、閾値と閾値を設定した項目の値との関係を算出することを示している。当該計算手法は、閾値近傍で振る舞いが変わり、閾値で発散するモデルに適用することができる。例えば、退職者の法定残業時間を閾値として設定し、当該閾値付近の退職者の数と残業時間との相関を分析する場合に適用することができる。その他、物質の比熱による振る舞いの違い(液体/固体)と他の項目との相関を分析する場合や、ＮＰコンプリート問題(巡回セールスパーソン問題)等における相関を分析する場合に適用することができる。
【００４４】
計算手法（６）は、閾値と閾値を設定した項目の値との差が、閾値の負側の近傍（３パーセント未満）に収まっている場合のみ有効とする計算により、閾値と閾値を設定した項目の値との関係を算出することを示している。当該計算手法は、計算手法（５）の場合と同様、閾値近傍で振る舞いが変わり、閾値で発散するモデルに適用することができる。例えば、法定残業時間を閾値として設定し、当該閾値付近の退職者の数と残業時間との相関を分析する場合に適用することができる。
【００４５】
具体的には、図３、４に示した学習データの残業時間に対して閾値を４０時間として設定した場合を考える。この場合、当該計算手法により算出される値（閾値反映値）は、最初のレコード（＃１）については、閾値反映値＝（４８−４０）÷４０＝０．２≧０となるため、閾値反映値は「０」として算出される。また、２番目のレコード（＃２）については、閾値反映値＝（３９．５−４０）÷３９．５＝−０．０１２５となり、０＞−０．０１２５＞−０．０３となるため、閾値反映値は「１」として算出される。同様に、Ｐ番目のレコード（＃Ｐ）については、閾値反映値＝（２０−４０）÷２０＝−１≦−０．０３となるため、閾値反映値は「０」として算出される。
【００４６】
計算手法（７）は、閾値と閾値を設定した項目の値との差が、閾値の正側の近傍（３パーセント未満）に収まっている場合のみ有効とする計算により、閾値と閾値を設定した項目の値との関係を算出することを示している。計算手法については上記（６）と同様であるため、具体的な説明は省略するが、この場合も上記（６）の場合と同様に、例えば、退職者の法定残業時間を閾値として設定し、当該閾値付近の退職者と残業時間との相関を分析する場合に適用することができる。
【００４７】
このように、図４に示した閾値設定画面では、計算手法設定欄４０４において、図５に示した各種計算手法を選択して設定することができる。選択方法は、例えば、プルダウンにより表示すればよい。図５に示した計算手法選択テーブル５０１は、あらかじめ記憶部１０６に記憶される。
【００４８】
図２に戻り、閾値設定部１０２２は、計算手法選択テーブルの読み出し３０を行い、計算手法が選択されると、閾値を設定した項目名（あるいは項目番号）と、設定された閾値と、選択された計算手法とを対応付けて記憶部１０６に記憶３１する。さらに、閾値設定部１０２２は、選択された計算手法により、閾値と閾値を設定した項目の値との相関関係を算出し、その結果である閾値反映値を含む学習データを閾値反映学習データとして生成３２し、当該閾値反映学習データを記憶部１０６に記憶３３する。その後、閾値設定部１０２２は、学習データと閾値反映学習データとを対応付けて記憶部１０６に記憶３４する。
【００４９】
図７は、閾値反映学習データの例を示す図である。図７に示すように、閾値反映学習データ１０６１は、図３に示した学習データ１０６１に、選択された計算手法により算出された閾値を反映した閾値反映値列７０１が追加されたデータであることがわかる。当該データの項目については図３において説明済みのため、ここではその説明を省略する。
【００５０】
サーバ１００の学習部１０３は、記憶部１０６に記憶された学習データ１０６１を読み出して自身に入力３５し、学習３６を行う。当該学習では、学習部１０３は、学習データ１０６１を、訓練データと検証データとに分類し、予測モデルを生成３６して、当該予測モデルを出力３７し、記憶部１０６に記憶３８する。また、学習部１０３は、上記学習において、閾値反映学習データ１０７１を、訓練データと検証データとに分類し、閾値反映予測モデルを生成３６して、当該閾値反映予測モデルを出力３７し、記憶部１０６に記憶３８する。上記分類の方法は、処理する学習データの内容等に応じて適宜定めればよい。例えば、学習データ、閾値反映学習データのうち全レコードからランダムに７割のレコードを選んで訓練データにして、残りの３割のレコードを検証データに分類すればよい。訓練データ、検証データについては、それぞれ、図３に示した学習データ、図７に示した閾値反映学習データと同様のレイアウトであるため、ここではその説明を省略する。
【００５１】
学習部１０３は、学習データ１０６１から得られた訓練データを用いてＡＩ学習して生成した予測モデルに検証データを入力し、得られた学習結果である予測値を出力３９し、出力した予測値を記憶部１０６に記憶４０する。また、学習部１０３は、閾値反映学習データ１０７１から得られた訓練データを用いてＡＩ学習して生成した閾値反映予測モデルに検証データを入力し、得られた学習結果である閾値反映予測値を出力３９し、出力した予測値を記憶部１０６に記憶４０する
その後、学習部１０３は、これまでに記憶部１０６に記憶した学習データと閾値反映学習データ、予測モデルと閾値反映予測モデル、学習結果である予測値と閾値反映予測値の対応づけ４１を行う。
【００５２】
評価部１０４は、学習部１０３が記憶した予測値の読み出しを行い、予測モデルによる予測結果の値と目的変数の値とを比較してその結果を表示４２１するとともに評価４２を開始する。また、評価部１０４は、学習部１０３が記憶した閾値反映予測値の読み出しを行い、閾値反映予測モデルによる閾値反映予測結果の値と目的変数の値とを比較してその結果を表示４２１するとともに評価４２を開始する。
【００５３】
さらに、評価部１０４は、評価を行った結果に基づいて、所定のデータ（例えば、端末２００を介してユーザから指定されたデータ）を閾値反映学習データの中から探索４２２し、該当データを表示部に表示する。
【００５４】
例えば、評価部１０４が上記評価４２を開始すると、表示データ生成部１０５は、上記予測モデルに検証データを入力して得られた予測結果である予測値と、目的変数の値と、これらの値がとられたときの件数とを含み、予測値、目的変数の値、件数を比較して表示するための表示用データを生成するとともに、評価部１０４が、所定の方法（例えば、正解率の算出方法）を用いて予測モデルの評価を行い、評価値（正解率）を計算する。その後、評価部１０４は、表示データ生成部１０５が生成した当該評価の値を含む表示用データを端末２００に送信し、端末２００の入出力部２０１が、当該評価の値を表示部に表示４３する。また、表示データ生成部１０５は、上記閾値反映予測モデルに検証データを入力して得られた予測結果である閾値反映予測値と、目的変数の値と、これらの値がとられたときの件数とを含み、閾値反映予測値、目的変数の値、件数を比較して表示するための閾値反映表示用データを生成するとともに、評価部１０４が、所定の方法（例えば、正解率の算出方法）を用いて閾値反映予測モデルの評価を行い、評価値（正解率）を計算する。その後、評価部１０４は、表示データ生成部１０５が生成した当該評価の値を含む閾値反映表示用データを端末２００に送信し、端末２００の入出力部２０１が、評価結果として、当該評価の値を表示部に表示４３する。
【００５５】
さらに、評価部１０４は、予測モデルを用いたときの評価値である正解率と、閾値反映予測モデルを用いたときの評価値である正解率との乖離度が一定以上である場合、端末２００を介してユーザから指定されたデータを閾値反映学習データの中から探索し、該当データを表示部に表示する。
【００５６】
図８は、評価部１０４による評価結果を表示する画面（評価結果画面）の例を示す図である。図８（ａ）は、評価結果画面に表示される、目的変数の値と、予測値と、これらの値がとられたパターンを示す件数とを対応付けた評価結果一覧である。図８（ｂ）は、評価結果画面に表示される、目的変数の値と、閾値反映予測値と、これらの値がとられたパターンを示す件数とを対応付けた閾値反映評価結果一覧である。
【００５７】
図８（ａ）では、目的変数の値「〇」であり、かつ予測値の値が「〇」である場合（ＴＴ）が８００件、目的変数の値「〇」であり、予測値の値が「×」である場合（ＴＦ）が２６０件、目的変数の値「×」であり、予測値の値が「〇」である場合（ＦＴ）が１８０件、目的変数の値「×」であり、かつ予測値の値が「×」である場合（ＦＦ）が５００件として集計されていることがわかる。例えば、評価対象となるデータが「会社人事」に関するデータである場合、目的変数の値および予測値において、「○」は「ＯＫ（退職していない）」を表し、「×」は「ＮＧ（退職した）」を表すと考えることができる。図８（ａ）では、目的変数の値と予測値が同じである割合を示す正解率Ａは、Ａ＝（800＋500）÷（800＋260＋180＋500）＝1,300÷1,740≒0.747＝74.7％であることがわかる。評価部１０４は、予測モデルの評価値である当該正解率を評価結果画面に表示し、ユーザに提示する。
【００５８】
また、図８（ｂ）では、ＴＴが１０００件、ＴＦが６０件、ＦＴが８０件、ＦＦが６００件として集計されていることがわかる。例えば、評価対象となるデータが「会社人事」に関するデータである場合、目的変数の値および閾値反映予測値において、「○」は「ＯＫ（退職していない）」を表し、「×」は「ＮＧ（退職した）」を表している。図８（ｂ）では、目的変数の値と閾値反映予測値が同じである割合を示す正解率Ｂは、Ｂ＝（1,000＋600）÷（1,000＋60＋80＋600）＝1,600÷1,740≒0.995＝99.5％であることがわかる。評価部１０４は、閾値反映予測モデルの評価値である当該正解率を評価結果画面に表示し、ユーザに提示する。
【００５９】
このように、評価結果画面において、閾値反映予測値を用いたときの正解率Ｂの方が、予測値を用いたときの正解率Ａよりも値が大きく、正解率が高い場合、ユーザは、設定した閾値のほうが実態をよく反映している予測モデルを算出したと判断することができる。上記の場合、閾値を設定していない生データからでは、残業時間が長いほど退職者数が多いと予測される確率が高くなると考えられる。一方、設定した閾値を反映したデータからは、例えば、元データとなる上記閾値反映学習データを探索することによって、単に残業時間の長さではなく、閾値から近い残業時間の社員の退職率が高い等と解釈することが可能となる。このことは、職場で就業時間が４０時間を超えないように管理されており、サービス残業を強いられていた可能性があるとの知見を得ることができることを意味している。
【００６０】
続いて、本システムで行われる処理について、フローチャートを用いて説明する。図９は、本システムで行われる処理（データ評価処理）の処理手順を示すフローチャートである。
【００６１】
サーバ１００の送受信部１０１は、端末２００から入力された学習データを受信して、記憶部１０６に格納する（Ｓ９０１）。学習データについては図３において既に説明したため、ここではその説明を省略する。
【００６２】
端末２００の制御部２０２は、入出力部２０１がユーザから受け付けた説明変数とする項目、目的変数とする項目をサーバ１００に送信し、サーバ１００の変数設定部１０２１は、送受信部１０１が受信した、端末２００から設定された説明変数となる項目、目的変数となる項目を、学習データに対応付けて記憶部１０６に記憶する（Ｓ９０２、Ｓ９０３）。
【００６３】
サーバ１００の変数設定部１０２１は、記憶部１０６に記憶された学習データの説明変数となる項目のデータ型を判定し（Ｓ９０４）、数値に関する項目の項目名（あるいは項目番号）を確認する（Ｓ９０５）。
【００６４】
閾値設定部１０２２は、変数設定部１０２１が確認した項目名（あるいは項目番号）の項目に閾値が設定されているか否かを判定し（Ｓ９０６）、閾値が設定されていると判定した場合（Ｓ９０６；Ｙｅｓ）、当該項目に対して閾値を設定する処理を開始し、当該項目に対する閾値設定画面を端末２００に送信し、端末２００の入出力部２０１が当該画面を表示する（Ｓ９０７）。一方、閾値設定部１０２２が閾値が設定されていないと判定した場合（Ｓ９０６；Ｎｏ）、ステップＳ９１１に進む。
【００６５】
閾値設定部１０２２は、閾値設定画面から閾値が入力されると、閾値計算手法設定画面を表示し、計算手法選択テーブルの中から計算手法の選択を受け付ける（Ｓ９０７）。閾値設定部１０２２は、閾値が入力された項目名（あるいは項目番号）と、入力された閾値と、選択された計算手法とを対応付けて記憶部１０６に記憶する（Ｓ９０８）。
【００６６】
さらに、閾値設定部１０２２は、選択された計算手法により、閾値と閾値を設定した項目の値との相関関係を算出し、その結果である閾値反映値を含む学習データを閾値反映学習データとして生成し（Ｓ９０９）、学習データと閾値反映学習データとを記憶部１０６に記憶する（Ｓ９１０）。
【００６７】
サーバ１００の学習部１０３は、記憶部１０６に記憶された学習データ１０６１と、閾値反映学習データ１０７１とを読み出して自身に入力し（Ｓ９１１）、学習を行う（Ｓ９１２）。例えば、学習部１０３は、当該学習において、学習データ１０６１を、訓練データと検証データとに分類し、予測モデルを生成するとともに、閾値反映学習データ１０７１を、訓練データと検証データとに分類し、閾値反映予測モデルを生成する。
【００６８】
学習部１０３は、生成した予測モデルおよび閾値反映予測モデルを出力し、記憶部１０６に記憶する（Ｓ９１３）。さらに、学習部１０３は、上記学習により得られた学習結果である予測値を出力して記憶部１０６に記憶するとともに、上記学習により得られた学習結果である閾値反映予測値を出力して記憶部１０６に記憶する（Ｓ９１４）。
【００６９】
学習部１０３は、学習データ、閾値反映学習データ内のすべてのレコードについて処理を実行したか否かを判定し（Ｓ９１５）、閾値反映学習データ内のすべてのレコードについて処理を実行していないと判定した場合（Ｓ９１５；Ｎｏ）、Ｓ９１２に戻って以降の処理を繰り返す。一方、学習部１０３は、閾値反映学習データ内のすべてのレコードについて処理を実行したと判定した場合（Ｓ９１５；Ｙｅｓ）、これまでに記憶部１０６に記憶した学習データと閾値反映学習データ、予測モデルと閾値反映予測モデル、学習結果である予測値と閾値反映予測値の対応づけを行う（Ｓ９１６）。
【００７０】
学習部１０３により上記対応付けが行われると、評価部１０４は、学習部１０３が記憶した予測値の読み出しを行い、予測モデルによる予測結果の値と目的変数の値とを比較してその結果として評価結果一覧を表示するとともに、学習部１０３が記憶した閾値反映予測値の読み出しを行い、閾値反映予測モデルによる閾値反映予測結果の値と目的変数の値とを比較してその結果として閾値反映評価結果一覧を表示する。このとき、評価部１０４は、所定の方法（例えば、正解率の算出方法）を用いて、予測モデルの評価を行って評価値（正解率）を計算するとともに、閾値反映予測モデルの評価を行って評価値（正解率）を計算し、これらを評価結果として表示部に出力する（Ｓ９１７）。
【００７１】
さらに、評価部１０４は、予測モデルの評価値と、閾値反映予測モデルの評価値との乖離度が一定以上である場合（例えば、正解率の差が、10%以上ある場合）、端末２００を介してユーザから指定されたデータを閾値反映学習データの中から探索し、該当データを表示部に表示する（Ｓ９１８）。その後、ユーザは、表示部に表示されたデータを確認し、上述した知見を得ることができる。
【００７２】
このように、本実施例では、上記のような各処理を実行することにより、学習データと設定した閾値を反映した学習データとを事前に準備しておく必要がなくなり、データの二重管理を避けつつ、両者の結果をシステム内で管理することが可能となる。また、ユーザは、学習データと設定した閾値を反映した学習データとを処理した結果を比較して、学習データを分析することができる。すなわち、本システムによれば、特定の説明変数の閾値を考慮した分析ができ、同一の入力データから閾値有無のデータセットを生成でき、複数のデータを入力することなく、閾値を設定したデータと入力データとの評価を行うことができる。
【符号の説明】
【００７３】
１０００      データ評価システム
１００        サーバ
２００        端末
Ｎ            ネットワーク
１０１        送受信部
１０２        設定部
１０２１      変数設定部
１０２２      閾値設定部
１０３        学習部
１０４        評価部
１０５        表示データ生成部
１０６        記憶部
２００        端末
２０１        入出力部
２０２        制御部
２０３        通信部
【図１】
2020204993.tif 000003
【図２】
2020204993.tif 000004
【図３】
2020204993.tif 000005
【図４】
2020204993.tif 000006
【図５】
2020204993.tif 000007
【図６】
2020204993.tif 000008
【図７】
2020204993.tif 000009
【図８】
2020204993.tif 000010
【図９】
2020204993.tif 000011