(57)【要約】  それぞれが複数のサンプルを含む第１の入力データ及び第２の入力データに対する教師あり機械学習に基づく予測モデルの適用結果に応じた第１の出力データ及び第２の出力データを取得するデータ取得部と、前記第１の出力データと前記第２の出力データとの比較に基づき、前記予測モデルの妥当性の検証を行う検証処理部と、を備える、情報処理装置。
2020149073.tif 000002
【特許請求の範囲】
【請求項１】
それぞれが複数のサンプルを含む第１の入力データ及び第２の入力データに対する教師あり機械学習に基づく予測モデルの適用結果に応じた第１の出力データ及び第２の出力データを取得するデータ取得部と、
前記第１の出力データと前記第２の出力データとの比較に基づき、前記予測モデルの妥当性の検証を行う検証処理部と、
を備える、情報処理装置。
【請求項２】
前記データ取得部は、
前記第１の出力データとして、前記第１の入力データに含まれる複数のサンプルの分類結果を取得し、
前記第２の出力データとして、前記第２の入力データに含まれる複数のサンプルの分類結果を取得し、
前記検証処理部は、前記第１の出力データとして取得された前記分類結果に応じた分布と、前記第２の出力データとして取得された前記分類結果に応じた分布と、の類似度に基づき、前記予測モデルの妥当性の検証を行う、
請求項１に記載の情報処理装置。
【請求項３】
前記検証処理部は、前記類似度がより高いほど、前記予測モデルに基づく予測がより妥当であると判定する、請求項２に記載の情報処理装置。
【請求項４】
前記第１の出力データと前記第２の出力データとの間の前記類似度の比較に係る次元の数は、前記第１の入力データと前記第２の入力データとの間の類似度の比較に係る次元の数よりも少ない、請求項２に記載の情報処理装置。
【請求項５】
前記第１の出力データとして取得された前記分類結果に応じた分布と、前記第２の出力データとして取得された前記分類結果に応じた分布と、のうちの少なくともいずれかに応じた情報が出力部を介して提示されるように制御する出力制御部を備える、請求項２に記載の情報処理装置。
【請求項６】
前記出力制御部は、前記第１の出力データとして取得された前記分類結果に応じた分布と、前記第２の出力データとして取得された前記分類結果に応じた分布と、のうちの少なくともいずれかに応じたヒストグラムが提示されるように制御する、請求項５に記載の情報処理装置。
【請求項７】
前記第１の入力データは、事前に生成された複数のサンプルに基づくデータであり、
前記第２の入力データは、実運用環境において収集された複数のサンプルに基づくデータである、
請求項１に記載の情報処理装置。
【請求項８】
前記第１の入力データ及び前記第２の入力データに対して前記予測モデルを適用することで前記第１の出力データ及び前記第２の出力データを生成する解析処理部を備え、
前記データ取得部は、前記解析処理部により生成された前記第１の出力データ及び前記第２の出力データを取得する、
請求項１に記載の情報処理装置。
【請求項９】
前記データ取得部は、外部装置から前記第１の出力データ及び前記第２の出力データを取得する、請求項１に記載の情報処理装置。
【請求項１０】
コンピュータが、
それぞれが複数のサンプルを含む第１の入力データ及び第２の入力データに対する教師あり機械学習に基づく予測モデルの適用結果に応じた第１の出力データ及び第２の出力データを取得することと、
前記第１の出力データと前記第２の出力データとの比較に基づき、前記予測モデルの妥当性の検証を行うことと、
を含む、情報処理方法。
【請求項１１】
前記第１の出力データとして、前記第１の入力データに含まれる複数のサンプルの分類結果が取得され、
前記第２の出力データとして、前記第２の入力データに含まれる複数のサンプルの分類結果が取得され、
前記第１の出力データとして取得された前記分類結果に応じた分布と、前記第２の出力データとして取得された前記分類結果に応じた分布と、の類似度に基づき、前記予測モデルの妥当性の検証が行われる、
請求項１０に記載の情報処理方法。
【請求項１２】
前記類似度がより高いほど、前記予測モデルに基づく予測がより妥当であると判定される、請求項１１に記載の情報処理方法。
【請求項１３】
前記第１の入力データは、事前に生成された複数のサンプルに基づくデータであり、
前記第２の入力データは、実運用環境において収集された複数のサンプルに基づくデータである、
請求項１０に記載の情報処理方法。
【請求項１４】
コンピュータに、
それぞれが複数のサンプルを含む第１の入力データ及び第２の入力データに対する教師あり機械学習に基づく予測モデルの適用結果に応じた第１の出力データ及び第２の出力データを取得することと、
前記第１の出力データと前記第２の出力データとの比較に基づき、前記予測モデルの妥当性の検証を行うことと、
を実行させる、プログラム。
【請求項１５】
前記第１の出力データとして、前記第１の入力データに含まれる複数のサンプルの分類結果が取得され、
前記第２の出力データとして、前記第２の入力データに含まれる複数のサンプルの分類結果が取得され、
前記第１の出力データとして取得された前記分類結果に応じた分布と、前記第２の出力データとして取得された前記分類結果に応じた分布と、の類似度に基づき、前記予測モデルの妥当性の検証が行われる、
請求項１４に記載のプログラム。
【請求項１６】
前記類似度がより高いほど、前記予測モデルに基づく予測がより妥当であると判定される、請求項１５に記載のプログラム。
【請求項１７】
前記第１の入力データは、事前に生成された複数のサンプルに基づくデータであり、
前記第２の入力データは、実運用環境において収集された複数のサンプルに基づくデータである、
請求項１４に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、機械学習と称される技術の応用が各種検討されている。例えば、特許文献１には、機械学習を利用した技術の一例として、機器の異常信号が与えられなくても、正常信号の学習に基づき、異常信号を判定可能とする技術が開示されている。【０００３】
特に、近年では、過去の事例を基にそこに蓄積された知見を活用可能とする予測分析と称される技術が注目されており、ビジネス上のアプリケーションで使用されるケースも増えてきている。具体的な一例として、需要予測、在庫予測、コールセンターの入電予測等のような、バックエンドのオペレーションの最適化に予測分析が利用されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１３／１９５１６４号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一方で、一部の分野においては、予測結果が正しかったか否かが判明するまでの期間が比較的長くなり、結果として、予測の実行後に比較的長い期間において予測結果の正当性を評価することが困難となる場合がある。このような状況下では、予測結果が正しかったか否かが判明するまでの期間中において、当該予測結果の正当性をいかに保証するかが課題となり得る。【０００６】
そこで、本開示では、予測結果の正当性を評価することが困難な状況下においても、予測に使用した予測モデルの妥当性をより好適な態様で評価可能とする技術を提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、それぞれが複数のサンプルを含む第１の入力データ及び第２の入力データに対する教師あり機械学習に基づく予測モデルの適用結果に応じた第１の出力データ及び第２の出力データを取得するデータ取得部と、前記第１の出力データと前記第２の出力データとの比較に基づき、前記予測モデルの妥当性の検証を行う検証処理部と、を備える、情報処理装置が提供される。【０００８】
また、本開示によれば、コンピュータが、それぞれが複数のサンプルを含む第１の入力データ及び第２の入力データに対する教師あり機械学習に基づく予測モデルの適用結果に応じた第１の出力データ及び第２の出力データを取得することと、前記第１の出力データと前記第２の出力データとの比較に基づき、前記予測モデルの妥当性の検証を行うことと、を含む、情報処理方法が提供される。【０００９】
また、本開示によれば、コンピュータに、それぞれが複数のサンプルを含む第１の入力データ及び第２の入力データに対する教師あり機械学習に基づく予測モデルの適用結果に応じた第１の出力データ及び第２の出力データを取得することと、前記第１の出力データと前記第２の出力データとの比較に基づき、前記予測モデルの妥当性の検証を行うことと、を実行させる、プログラムが提供される。
【図面の簡単な説明】
【００１０】
【図１】本開示の一実施形態に係るシステムの概略的な構成の一例について説明するための説明図である。
【図２】同実施形態に係るシステムにおける、予測モデルの妥当性の検証に係る技術の基本思想について概要を説明するための説明図である。
【図３】同実施形態に係るシステムの機能構成の一例を示したブロック図である。
【図４】同実施形態に係るシステムにおける予測モデルの検証に係る処理について説明するための説明図である。
【図５】同実施形態に係るシステムを構成する情報処理装置のハードウェア構成の一例を示す機能ブロック図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
なお、説明は以下の順序で行うものとする。
１．概略構成
２．予測モデルを利用した分析に関する検討
３．技術的特徴
３．１．基本思想
３．２．機能構成
３．３．処理
３．４．実施例
４．ハードウェア構成
５．むすび
【００１３】
＜＜１．概略構成＞＞
まず、図１を参照して、本開示の一実施形態に係るシステムの概略的な構成の一例について説明する。図１は、本実施形態に係るシステムの概略的な構成の一例について説明するための説明図である。
【００１４】
図１に示すように、本実施形態に係るシステム１は、情報処理装置１０と、端末装置３０とを含む。情報処理装置１０と端末装置３０とは、所定のネットワークＮ１を介して互いに情報を送受信可能に構成されている。なお、ネットワークＮ１の種別は特に限定されない。具体的な一例として、当該ネットワークＮ１は、Ｗｉ−Ｆｉ（登録商標）規格に基づくネットワークのような、所謂無線のネットワークにより構成されていてもよい。また、他の一例として、当該ネットワークＮ１は、インターネット、専用線、ＬＡＮ（Local  Area  Network）、または、ＷＡＮ（Wide  Area  Network）等により構成されていてもよい。また、当該ネットワークＮ１は、複数のネットワークを含んでもよく、少なくとも一部が有線のネットワークとして構成されていてもよい。また、情報処理装置１０と端末装置３０との間の通信が論理的に確立されていればよく、物理的には情報処理装置１０と端末装置３０との間が他の通信装置等により中継されてもよい。
【００１５】
情報処理装置１０は、入力されたデータに対して機械学習に基づき構築された予測モデルを適用することで、所定の問題に対する予測を行い、当該予測の結果を出力する。本実施形態に係るシステムにおいて、当該予測モデルは、所謂教師あり学習に基づき構築され、所定のアルゴリズムに基づき入力されたデータの分類、認識、判別等を行うロジックに相当する。即ち、上記予測モデルは、機械学習の分野における「分類器」、「認識器」、「判別器」等に相当し得る。上記予測モデルを実現するためのアルゴリズムとしては、例えば、線形回帰、ロジスティック回帰、ニューラルネットワーク、決定木、ＳＶＭ（Support  Vector  Machine）等が挙げられる。もちろん、これらはあくまで一例であり、機械学習の結果に基づき所定の予測（換言すると、分類、認識、判別等）を行うことが可能であれば、予測モデルを実現するためのアルゴリズムは特に限定されない。
【００１６】
このような構成の基で、例えば、情報処理装置１０は、端末装置３０から送信されたデータを入力データとして所定の予測を行い、当該予測の結果を当該端末装置３０に返送してもよい。
【００１７】
また、情報処理装置１０は、上記予測モデルの妥当性を検証する機能を備える。即ち、情報処理装置１０は、所望の契機で、上記予測モデルが正しい予測を行えているか否か（即ち、予測結果と実態との間に乖離が生じ得るか否か）を検証する。この場合には、例えば、情報処理装置１０は、当該検証の結果に応じて所定の報知情報（例えば、アラート）を端末装置３０に通知してもよい。なお、当該検証の方法については詳細を別途後述する。
【００１８】
端末装置３０は、情報処理装置１０に対する各種データの入力や、情報処理装置１０から通知される情報の提示を実現するための構成である。具体的な一例として、端末装置３０は、ユーザからの指示に応じて入力データを情報処理装置１０に送信し、当該情報処理装置１０から当該入力データに関する予測結果（即ち、当該入力データに対する上記予測モデルの適用結果）を取得してもよい。そして、端末装置３０は、所定の出力部（例えば、ディスプレイ等）を介して、当該予測結果に応じた情報をユーザに提示してもよい。
【００１９】
なお、図１に示す構成はあくまで一例であり、必ずしも、本実施形態に係るシステムの構成を限定するものではない。具体的な一例として、情報処理装置１０と端末装置３０とが一体的に構成されていてもよい。即ち、上述したシステムに相当する構成が、所謂スタンドアロンの装置として実現されてもよい。また、情報処理装置１０の少なくとも一部の機能が、複数の装置が連携することで実現されてもよい。具体的な一例として、上記予測モデルに基づき予測を行う機能と、当該予測モデルの検証を行う機能と、が異なる装置により実現されてもよい。また、他の一例として、情報処理装置１０に相当する機能の実行に際し、複数の装置に負荷が分散されてもよい。また、情報処理装置１０に対して複数の端末装置３０がアクセス可能に構成されていてもよい。
【００２０】
以上、図１を参照して、本開示の一実施形態に係るシステムの概略的な構成の一例について説明した。
【００２１】
＜＜２．予測モデルを利用した分析に関する検討＞＞
続いて、予測モデルを利用した分析や予測に関して検討を行ったうえで、本開示の一実施形態に係るシステムの技術的課題について整理する。
【００２２】
近年では、機械学習を利用して過去の事例を基にそこに蓄積された知見を活用可能とする予測分析に係る技術が注目されており、ビジネス上のアプリケーションで使用されるケースも増えてきている。具体的な一例として、需要予測、在庫予測、コールセンターの入電予測等のバックエンドのオペレーションの最適化のように、予測に誤りが生じた場合においても損失が少なく、影響が顧客に及びにくい領域において、上記予測分析に係る技術が使用されている。一方で、予測分析は過去の事例を基にそこに蓄積された知見を活用可能であるという点で、採用者予測、健康状況予測、ローンのデフォルト予測等のような顧客に直接影響が及びやすい分野においても、正しく活用することが可能であれば大きな効果が期待される。
【００２３】
これに対して、一部の分野においては、予測結果が正しかったか否かが判明するまでの期間が比較的長くなる場合があり、このような場合には、当該期間中に予測結果の正当性をいかに保証するかが課題となり得る。
【００２４】
具体的な一例として、需要予測や在庫予測等の分野においては、予測結果が正しかったか否かについて、数日以内といった比較的短い期間で判定結果を得ることが可能である。そのため、この場合には、当該予測結果と当該判定結果との照合により、予測に使用していた予測モデルが想定した通りに動作していることを保証することも可能である。
【００２５】
一方で、採用者予測、健康状況予測、ローンのデフォルト予測等の分野においては、予測結果が正しかったか否かについて、年単位の期間（例えば、予測の実行後に１〜３年程度の期間）を要する傾向にある。即ち、このようなケースでは、予測の実行後に年単位という比較的長い期間において予測結果が正しかったか否かを評価することが困難となる。そのため、このようなケースでは、当該期間中に予測結果の正当性をいかに保証するかが課題となり得る。
【００２６】
このように予測結果が正しかったか否かを判定可能となるまでの期間において、当該予測に使用した予測モデルが想定した通りに動作しているか否かを保証するための手法の一例として、学習時の入力データと、実運用時の入力データとを比較する方法が挙げられる。
【００２７】
具体的には、過去のデータに従って未来を予測するような状況下では、学習時に使用したデータの分布と、予測時に使用するデータの分布と、の乖離がより大きくなると、より正確な予測が困難となる傾向にある。このような特性を利用し、例えば、学習時に使用した入力データと、実運用環境での情報の収集結果に基づく入力データと、の間でそれぞれに含まれるサンプルの分布の乖離度を統計的に比較することで、当該比較の結果を、予測モデルの妥当性（即ち、予測モデルが想定した通りに動作しているか否か）の評価の一要素として利用することが可能である。
【００２８】
一方で、入力データに含まれる各サンプルは特徴量として多様な情報を含む場合が多い。具体的な一例として、健康状況予測を想定した場合に、サンプルとなる患者に対して、年齢、性別、身長、体重、血圧、血中の成分の値等の特徴量が設定され得る。このように、各サンプルに含まれる特徴量の項目の数がより多くなるような状況下では、入力データ間においてそれぞれに含まれるサンプルの分布の乖離度を統計的に比較するために要するデータ量や処理量が膨大となる。より具体的には、各サンプルに含まれる特徴量の項目の数が増大すると、サンプルの分布の乖離度の比較に係るバリエーションも当該項目の組合せの数に応じてさらに増大することとなる。そのため、このような状況下では、入力データ間の上記比較については、実質的には実現が困難となる場合がある。
【００２９】
以上のような状況を鑑み、本開示では、予測結果の正当性を評価することが困難な状況下においても、予測に使用した予測モデルの妥当性をより好適な態様で評価可能とする技術について提案する。
【００３０】
＜＜３．技術的特徴＞＞
続いて、本開示の一実施形態に係るシステムの技術的特徴について説明する。
【００３１】
＜３．１．基本思想＞
まず、本開示の一実施形態に係るシステムの技術的特長のうち、特に、予測モデルの妥当性の検証を実現するための技術の基本思想について概要を説明する。
【００３２】
本実施形態に係るシステムでは、学習時に使用した入力データと、実運用環境での情報の収集結果に基づく入力データと、のそれぞれを予測モデルに入力し、それぞれについて出力される予測結果（分類結果）の分布の類似度を比較することで当該予測モデルの妥当性を検証する。このとき、入力データは、含まれる各サンプルが特徴量として多様な情報を含み得る。そのため、例えば、入力データ間を比較する場合には、当該比較に係る次元の数（換言すると、当該比較に係るバリエーションの数）が、各サンプルの特徴量の項目の組合せの数に応じて増大することとなり、実質的に実現が困難なほどに膨大な数ともなり得る。これに対して、予測結果として出力されるデータ（以下、「出力データ」とも称する）は、１次元の予測確率（回帰問題の場合には予測値）のデータとなる。そのため、出力データ間を比較については、入力データ間の比較に比べて、比較に係る次元の数がより少なくなり、当該比較に係るデータ量や処理量もより低減される。
【００３３】
ここで、図２を参照して、本実施形態に係るシステムにおける、予測モデルの妥当性の検証に係る手順について、具体的な例を挙げて説明する。図２は、本実施形態に係るシステムにおける、予測モデルの妥当性の検証に係る技術の基本思想について概要を説明するための説明図である。具体的には、図２は、従業員の採用を行う場合を想定して、各志願者の情報を入力データとした教師あり機械学習に基づき構築した、志願者が優秀な結果を残す確率（即ち、優秀な志願者である確率）を出力する予測モデルの妥当性を検証する場合の一例を示している。即ち、学習時の入力データと、実運用環境での運用時の入力データと、のそれぞれには、志願者ごとの情報がサンプルとして含まれており、当該サンプルには少なくとも１以上の項目の特徴量が含まれ得る。また、学習時の入力データは、機械学習を行うために事前に生成されたデータである。学習時の入力データとしては、例えば、学習時に一般的に使用される予測モデルの性能を確認するためのデータが適用されてもよい。また、実運用環境での運用時の入力データは、当該実運用環境で収集された志願者ごとの情報をサンプルとして生成されたデータである。また、図２に示す予測モデルは、各入力データに含まれるサンプルごとに、当該サンプルに対応する志願者が優秀である確率を予測結果として出力する。
【００３４】
このような前提の基で、まず図２の上側の図に示すように、予測モデルに対して学習時の入力データ（例えば、予測モデルの性能を確認するためのデータ）が入力されることで、当該入力データに含まれるサンプルごとの出力値が取得され、当該出力値の分布が算出される。ここで、出力値とは、予測モデルによる予測結果に相当し、分類問題の場合には０〜１００％までの確率値であってもよいし、回帰問題であれば予測値であってもよい。また、取得された出力値や、当該出力値の分布の算出結果については保持される（例えば、所定の記憶領域に記憶される）。なお、このとき保持される上記出力値や当該出力値の分布が、図２に示す例における、学習時の入力データに対応する出力データ（以下、「学習時の出力データ」とも称する）の一例に相当する。即ち、当該入力データが「第１の入力データ」の一例に相当し、当該出力データが「第１の出力データ」の一例に相当する。また、学習時の入力データに基づく予測値の取得や当該予測値の分布の算出が行われるタイミングは特に限定されない。具体的な一例として、機械学習に基づく予測モデルの構築時に、上述した各種情報の取得及び保持が行われてもよい。また、他の一例として、予測モデルの妥当性の検証を行う際に、上述した各種情報の取得及び保持が行われてもよい。
【００３５】
次いで、図２の下側の図に示すように、実運用環境における上記予測モデルを利用した予測時に取得された出力値に基づき、当該出力値の分布が算出される。また、取得された出力値や、当該出力値の分布の算出結果については保持される。なお、このとき保持される上記出力値や当該出力値の分布が、図２に示す例における、実運用環境での運用時の入力データに対応する出力データ（以下、「実運用時の出力データ」とも称する）の一例に相当する。即ち、当該入力データが「第２の入力データ」の一例に相当し、当該出力データが「第２の出力データ」の一例に相当する。
【００３６】
そして、実運用環境における予測結果が所定のサンプル数以上（例えば、数十〜数百サンプル）蓄積した後に、学習時の出力データ（第１の出力データ）と、実運用時の出力データ（第２の出力データ）との間で比較が行われ、当該比較結果に応じて予測モデルの妥当性が判定される。具体的には、学習時の出力データと実運用時の出力データとの間の類似度がより高いほど、予測モデルがより妥当である（換言すると、予測モデルによる予測結果がより妥当である）と判定される。
【００３７】
より具体的な一例として、学習時の出力データと実運用時の出力データとの間で、それぞれの出力データに含まれるサンプルごとの出力値の平均値や中央値の比較が行われてもよい。この場合には、例えば、学習時の出力データと実運用時の出力データとの間での当該平均値や当該中央値の誤差が閾値以下の場合には出力データが類似していると判定され、当該誤差が閾値を超える場合には出力データが類似していないと判定されてもよい。また、ｔ検定により、学習時の出力データと実運用時の出力データとの間での出力値の違いの有意性が算出されてもよい。もちろん、これらはあくまで一例であり、学習時の出力データと実運用時の出力データとの間で、出力値に基づき類似度を比較することが可能であれば、その方法は特に限定されない。
【００３８】
また、他の一例として、学習時の出力データと実運用時の出力データとの間で、それぞれについて算出された出力値の分布の比較が行われてもよい。この場合には、例えば、学習時の出力データと実運用時の出力データとのそれぞれについて、出力値の最小値と最大値との間を複数の範囲に区切り、各出力値を対応する範囲にプロットすることでヒストグラムを生成し、当該ヒストグラムを比較の対象としてもよい。なお、ヒストグラムの類似度を比較する方法（換言すると、ヒストグラムの違いを判定する方法）としては、例えば、最頻値のレンジの違いや、極小及び極大となるレンジの違いを判定する方法が挙げられる。もちろん、これらはあくまで一例であり、学習時の出力データと実運用時の出力データとの間で、出力値の分布の類似度を比較することが可能であれば、その方法は特に限定されない。
【００３９】
上記比較の結果として、学習時の出力データと実運用時の出力データとの類似度がより高いほど（換言すると、出力データ間が類似していると判定された場合）、予測モデルが想定した通りに動作している可能性がより高くなる（即ち、予測モデルによる予測がより妥当である）と考えられる。
【００４０】
これに対して、学習時の出力データと実運用時の出力データとの類似度がより低いほど（換言すると、出力データ間が類似していないと判定された場合）、予測モデルが想定した通りに動作していない可能性がより高くなる（即ち、予測モデルによる予測がより妥当ではない）と考えられる。この場合には、例えば、分析者（ユーザ）に対してアラートをあげることで、当該分析者が対象となる予測モデルを見直すきっかけを作ることが可能となる。即ち、分析者は、当該アラートを受けて、学習時の入力データ、予測モデル、実運用時の入力データ、実運用時の出力データ等を基に原因の探索を開始するとよい。特に、実運用環境で良く表れる出力値と、それに対応する入力データと、の比較は、原因を突き止めるうえで有用となり得る。
【００４１】
なお、予測モデルが想定した通りに動作しない要因としては、例えば、予測モデルを実運用環境に導入する際の手違い等のようなデータ以外の要素に起因するものや、学習時のデータと実運用時のデータとの間に乖離がある場合等のようにデータの性質に起因するもの等、様々な理由が考えられる。
【００４２】
以上のように、上述した構成に基づき得られる結果は、予測モデルの妥当性（即ち、予測モデルが想定した通りに動作しているか否か）の評価の一要素として利用することが可能である。そのため、例えば、予測モデルを利用した予測結果の正当性を評価することが困難な場合においても、上述した当該予測モデルの妥当性の評価結果を、当該予測結果の正当性を保証するための一要素として利用することが可能となる。これにより、予測モデルを利用した予測結果の正当性の評価に比較的長い期間を要する状況下で、当該期間の経過前に、予測モデルが想定した通りに動作しているか否かを判定することが可能となり、必要に応じて当該予測モデルを見直すことも可能となる。
【００４３】
以上、図２を参照して、本開示の一実施形態に係るシステムの技術的特長のうち、特に、予測モデルの妥当性の検証を実現するための技術の基本思想について概要を説明した。
【００４４】
＜３．２．機能構成＞
続いて、図３を参照して、本開示の一実施形態に係るシステムの機能構成の一例について説明する。図３は、本実施形態に係るシステムの機能構成の一例を示したブロック図であり、図１に示すシステム１の機能構成の一例を示している。
【００４５】
図３に示すように、本実施形態に係るシステム１は、情報処理装置１０と、端末装置３０と、記憶部１１１とを含む。なお、図３に示す情報処理装置１０及び端末装置３０は、図１に示す情報処理装置１０及び端末装置３０に相当する。
【００４６】
（端末装置３０）
まず、端末装置３０の構成について説明する。図３に示すように、端末装置３０は、通信部３０１と、制御部３０３とを含む。また、端末装置３０は、入力部３０７と、出力部３０９とのうち少なくともいずれかを含んでもよい。
【００４７】
通信部３０１は、端末装置３０内の構成が、所定のネットワークＮ１を介して他の装置（例えば、情報処理装置１０）との間で情報の送受信を行うための構成である。なお、通信部３０１の構成については、通信方法や通信経路の種別に応じて適宜変更されてもよい。具体的な一例として、ネットワークＮ１が無線の通信経路により構成されている場合には、通信部３０１は、ＲＦ回路等のような無線通信を実現するための各種構成を含み得る。また、以降の説明では、端末装置３０内の構成が他の装置（例えば、情報処理装置１０）との間で情報の送受信を行う場合には、特に説明が無い限りは、当該通信部３０１を介して情報の送受信が行われるものとする。
【００４８】
入力部３０７は、端末装置３０に対してユーザが情報を入力するための入力インタフェースである。入力部３０７は、例えば、ボタン、レバー、キーボード、及びタッチパネル等のような入力デバイスを含んでもよい。なお、端末装置３０に対してユーザが情報を入力することが可能であれば、入力部３０７の構成は特に限定されない。具体的な一例として、入力部３０７は、ユーザの音声を集音するための集音部を含み、当該集音部に対して入力されたユーザの音声を、当該ユーザから入力された情報として取得してもよい。
【００４９】
出力部３０９は、端末装置３０がユーザに対して各種情報を提示するための出力インタフェースである。出力部３０９は、例えば、所謂ディスプレイ等のように、静止画像や動画像のような画像を出力する表示デバイスを含んでもよい。なお、端末装置３０がユーザに対して各種情報を提示することが可能であれば、出力部３０９の構成は特に限定されない。具体的な一例として、出力部３０９は、スピーカ等のように音響を出力する音響デバイスを含んでもよい。また、出力部３０９は、所謂バイブレータ等のように、提示対象となる情報に対応したパターンで振動することで、当該情報をユーザに提示する振動デバイスを含んでもよい。
【００５０】
制御部３０３は、端末装置３０の様々な機能を提供する。制御部３０３は、入出力制御部３０５を含む。なお、制御部３０３は、上記構成要素以外の他の構成要素をさらに含み得る。即ち、制御部３０３は、上記構成要素の動作以外の動作も行い得る。
【００５１】
入出力制御部３０５は、入力部３０７を介したユーザからの指示の内容に応じて各種処理を実行する。また、入出力制御部３０５は、ユーザからの指示の内容に応じた情報を、ネットワークＮ１を介して他の装置（例えば、情報処理装置１０）に送信してもよい。より具体的な一例として、入出力制御部３０５は、情報処理装置１０が所定の予測モデルに基づき予測を行うための入力データとして、ユーザからの指示に応じたデータを当該情報処理装置１０に送信してもよい。
【００５２】
また、入出力制御部３０５は、出力部３０９を介してユーザに所望の情報を提示する。例えば、入出力制御部３０５は、ネットワークＮ１を介して他の装置（例えば、情報処理装置１０）から受信したデータに応じた情報を、ユーザに提示してもよい。より具体的な一例として、入出力制御部３０５は、情報処理装置１０から所定の予測モデルに基づく予測結果に応じた出力データを取得し、当該出力データに応じた情報（例えば、少なくとも一部の予測結果に応じた情報）をユーザに提示してもよい。
【００５３】
（情報処理装置１０）
次いで、情報処理装置１０の構成について説明する。図３に示すように、情報処理装置１０は、通信部１０１と、制御部１０３とを含む。
【００５４】
通信部１０１は、端末装置３０における通信部３０１と実質的に同様である。そのため、詳細な説明は省略する。また、以降の説明では、情報処理装置１０内の構成が他の装置（例えば、端末装置３０）との間で情報の送受信を行う場合には、特に説明が無い限りは、当該通信部１０１を介して情報の送受信が行われるものとする。
【００５５】
制御部１０３は、情報処理装置１０の様々な機能を提供する。制御部１０３は、解析処理部１０５と、検証処理部１０７と、出力制御部１０９とを含む。なお、制御部１０３は、上記構成要素以外の他の構成要素をさらに含み得る。即ち、制御部１０３は、上記構成要素の動作以外の動作も行い得る。
【００５６】
解析処理部１０５は、各種解析に係る処理を実行する。例えば、解析処理部１０５は、所望の入力データに対して機械学習に基づき構築された予測モデルを適用することで、所定の問題に対する予測を行い、当該予測の結果に応じた出力データを所定の出力先に出力する。具体的な一例として、解析処理部１０５は、図２の上側の図を参照して説明したように、学習時の入力データに対して予測モデルを適用し、予測結果に応じて当該入力データに対応する出力データ（即ち、学習時の出力データ）を生成してもよい。また、解析処理部１０５は、図２の下側の図を参照して説明したように、実運用時の入力データに対して予測モデルを適用し、予測結果に応じて当該入力データに対応する出力データ（即ち、実運用時の出力データ）を生成してもよい。なお、入力データの取得元は特に限定されない。具体的な一例として、解析処理部１０５は、ネットワークＮ１を介して端末装置３０から入力データを取得してもよい。また、他の一例として、解析処理部１０５は、所定の記憶領域（例えば、記憶部１１１）に記憶された入力データを読み出してもよい。また、生成された出力データについては、所定の記憶領域（例えば、記憶部１１１）に一時的または恒久的に保持されてもよい。
【００５７】
検証処理部１０７は、解析処理部１０５による各種解析に係る処理の妥当性を検証する。具体的な一例として、検証処理部１０７は、解析処理部１０５が予測に使用する上記予測モデルの妥当性の検証を行ってもよい。具体的には、検証処理部１０７は、図２を参照して説明したように、解析処理部１０５により生成された学習時の出力データと実運用時の出力データとを比較することで、当該出力データの生成に利用された予測モデルの妥当性を検証してもよい。なお、当該検証の方法の一例については、図２を参照して前述した通りのため、詳細な説明は省略する。また、各出力データについては、解析処理部１０５から取得されてもよいし、所定の記憶領域に保持されたものが読み出されてもよい。なお、検証処理部１０７のうち、上記出力データを取得する部分が「データ取得部」の一例に相当する。即ち、この例の場合には、解析処理部１０５から上記出力データを取得する部分や、所定の記憶領域に保持された上記出力データを読み出す部分が、「データ取得部」の一例に相当し得る。
【００５８】
出力制御部１０９は、各種情報の出力を制御する。例えば、出力制御部１０９は、解析処理部１０５による各種予測結果に応じた出力情報を生成し、ネットワークＮ１を介して当該出力情報を端末装置３０に送信することで、当該端末装置３０の出力部３０９を介して当該出力情報（換言すると、上記予測結果）がユーザに提示されるように制御してもよい。具体的な一例として、出力制御部１０９は、出力データに基づき各サンプルに対応する出力値の分布を示すヒストグラムを上記出力情報として生成し、当該ヒストグラムを端末装置３０に送信してもよい。また、出力制御部１０９は、検証処理部１０７による検証結果に応じた出力情報を生成し、ネットワークＮ１を介して当該出力情報を端末装置３０に送信することで、当該端末装置３０の出力部３０９を介して当該出力情報（換言すると、上記検証結果）がユーザに提示されるように制御してもよい。
【００５９】
記憶部１１１は、情報処理装置１０が上述した各種機能を実現するためのプログラムやデータを一時的に又は恒久的に記憶する。例えば、記憶部１１１には、解析処理部１０５が各種予測に使用する上記入力データが保持されてもよい。また、記憶部１１１には、解析処理部１０５による上記予測モデルに基づく予測の結果に応じて生成された上記出力データが保持されてもよい。
【００６０】
なお、上述した構成はあくまで一例であり、本実施形態に係るシステム１の機能構成は、必ずしも図３に示す例には限定されない。具体的な一例として、端末装置３０に相当する部分と、情報処理装置１０に相当する部分と、一体的に構成されていてもよい。また、他の一例として、情報処理装置１０の各構成のうち、一部の構成が情報処理装置１０の外部に設けられていてもよい。具体的な一例として、解析処理部１０５に相当する部分が、情報処理装置１０とは異なる他の装置に設けられていてもよい。なお、この場合には、情報処理装置１０の構成のうち、当該他の装置から解析処理部１０５により生成された上記出力データを取得する部分が、「データ取得部」の一例に相当する。また、他の一例として、情報処理装置１０による実現される機能のうち少なくとも一部が、複数の装置が連携して動作することで実現されてもよい。即ち、当該機能の実行に際し、その処理負荷が互いに連携して動作する複数の装置に分散されてもよい。
【００６１】
以上、図３を参照して、本開示の一実施形態に係るシステムの機能構成の一例について説明した。
【００６２】
＜３．３．処理＞
続いて、図４を参照して、本開示の一実施形態に係るシステムの処理の流れについて、特に、予測モデルの検証に係る処理に着目して説明する。図４は、本実施形態に係るシステムにおける予測モデルの検証に係る処理について説明するための説明図である。
【００６３】
図４に示すように、情報処理装置１０（解析処理部１０５）は、まず対象となる予測モデルに対して、実運用環境での情報の収集結果に基づく入力データＤ１１１（即ち、実運用時の入力データ）と、学習時に使用した入力データＤ１２１（即ち、学習時の入力データ）と、を入力し、それぞれに対応する予測結果を取得する（Ｓ１０１）。そして、情報処理装置１０は、入力データＤ１１１に対応する予測結果（当該入力データＤ１１１に含まれるサンプルごとの出力値）に基づき、実運用環境での運用時における予測確率分布Ｄ１１３（即ち、サンプルごとの出力値の分布）を算出する。同様に、情報処理装置１０は、入力データＤ１２１に対応する予測結果（当該入力データＤ１２１に含まれるサンプルごとの出力値）に基づき、学習時における予測確率分布Ｄ１２３を算出する。なお、学習時における予測確率分布Ｄ１２３については、あらかじめ生成されていてもよい。
【００６４】
次いで、情報処理装置１０（検証処理部１０７）は、実運用環境での運用時における予測確率分布Ｄ１１３と、学習時における予測確率分布Ｄ１２３と、の比較を行う（Ｓ１０３）。具体的な一例として、情報処理装置１０は、予測確率分布Ｄ１１３及びＤ１２３それぞれに含まれる出力値の平均値や分散値を演算し、これらの分布ごとの平均値や分散値に基づき分布間における統計的距離を演算することで、これらの分布間の乖離度（換言すると、分布間の類似度）を統計的に比較してもよい。
【００６５】
そして、情報処理装置１０（検証処理部１０７）は、実運用環境での運用時における予測確率分布Ｄ１１３と、学習時における予測確率分布Ｄ１２３と、の比較結果に基づき、予測モデルＭ１０１の妥当性の判定を行う（Ｓ１０５）。具体的には、情報処理装置１０は、予測確率分布Ｄ１１３及びＤ１２３間が類似している場合には、予測モデルＭ１０１が妥当である、即ち、予測モデルＭ１０１が想定した通りに動作していると判定する。これに対して、情報処理装置１０は、予測確率分布Ｄ１１３及びＤ１２３間に乖離が生じている場合には、予測モデルＭ１０１が妥当でない、即ち、予測モデルＭ１０１が想定した通りに動作していない可能性があると判定する。なお、この場合には、情報処理装置１０（出力制御部１０９）は、所定の出力部を介して情報を報知することで、分析者（ユーザ）に対してアラートをあげてもよい。これにより、当該分析者に対して、予測モデルＭ１０１を見直すきっかけを作ることが可能となる。
【００６６】
以上、図４を参照して、本開示の一実施形態に係るシステムの処理の流れについて、特に、予測モデルの検証に係る処理に着目して説明した。
【００６７】
＜３．４．実施例＞
続いて、本開示の一実施形態に係るシステムの実施例として、具体的なユースケースを想定した当該システムの運用の一例について説明する。
【００６８】
（実施例１：採用時に志願者が２年以内に離職する確率の予測）
まず、実施例１として、本実施形態に係るシステムを利用して、採用時に志願者が２年以内に離職する確率を予測する場合の一例を説明する。即ち、本実施例では、過去の中途入社の社員の事例を基に、新規に中途入社を希望する志願者がどの程度離職しやすいかを予測する場合の例について説明する。
【００６９】
この場合には、まず、過去の中途入社の社員の事例を基に、機械学習に基づき予測モデルが構築される。このとき、システムにより、検証データ（即ち、学習時の入力データ）に対する予測モデルの適用結果に応じて出力されたサンプルごとの出力値（即ち、志願者ごとの出力値）に基づき、当該出力値の分布（換言すると、予測確率の分布）が算出される。そして、取得された出力値や、当該出力値の分布（即ち、学習時の出力データ）が所定の記憶領域に保持される。
【００７０】
次いで、実運用環境での運用時に、システムにより、当該実運用環境における志願者の情報をサンプルとした入力データに対して構築された上記予測モデルが適用され、予測結果に応じてサンプルごとの出力値（即ち、志願者ごとの出力値）が取得される。また、取得されたサンプルごとの出力値に基づき、当該出力値の分布（換言すると、予測確率の分布）が算出される。以上のようにして、実運用環境での運用時におけるサンプルごとの予測結果に応じた出力値や当該出力値の分布（即ち、実運用時の出力データ）が取得される。
【００７１】
次いで、システムにより、学習時の予測確率の分布と、実運用時の予測確率の分布と、の比較が行われ、分布間における乖離度（換言すると、類似度）が算出される。本事例では、志願者が２年以内に離職する確率として、学習時の予測確率の分布では予測確率の最頻値が３０〜４０％であるのに対して、実運用時の予測確率の分布では予測確率の最頻値が０〜１０％であったものとする。この場合には、実運用環境での運用時の入力データが想定したものと異なっている可能性があることとなる。
【００７２】
本事例では、調査の結果として、対象となる年の中途社員のＷｅｂテストの難易度が高く、全体的に高い点数を取りにくくなっている等の要因が影響していることがわかったものとする。この場合には、例えば、学習時の入力データとして利用しているＷｅｂテストの結果について、従前では絶対値として入力していたものに対して、年度ごとにスケーリングを行う前処理が適用されるように修正を施したうえで再学習を行うとよい。そして、再学習に基づき再構築された予測モデルを利用して、改めて学習時の予測確率の分布と、実運用時の予測確率の分布と、を算出し、これらの分布間の比較に基づき、当該予測モデルが修正されたことを確認すればよい。
【００７３】
以上、実施例１として、本実施形態に係るシステムを利用して、採用時に志願者が２年以内に離職する確率を予測する場合の一例について説明した。
【００７４】
（実施例２：生体サイクルの監視結果を利用した顧客が糖尿病になる確率の予測）
次いで、実施例２として、スマートウォッチ等を利用した生活サイクルの監視結果に基づき顧客が糖尿病になる確率を予測する場合の一例について説明する。
【００７５】
本実施例では、まず実施例１と同様に、過去の事例を基に、機械学習に基づき予測モデルが構築され、検証データに対する予測モデルの適用結果に応じて出力されたサンプルごとの出力値や、当該出力値の分布（即ち、学習時の出力データ）が所定の記憶領域に保持される。また、実施例１と同様に、実運用環境における顧客の情報をサンプルとした入力データに対して出力されたサンプルごとの出力値や、当該出力値の分布（即ち、実運用時の出力データ）が取得される。
【００７６】
次いで、システムにより、学習時の予測確率の分布と、実運用時の予測確率の分布と、の比較が行われ、分布間における乖離度が算出される。本事例では、顧客が糖尿病になる確率として、学習時の予測確率の分布ではピークが５〜１０％であるのに対して、実運用時の予測確率の分布ではピークが３０〜４０％であったものとする。この場合には、実運用環境での運用時の入力データが想定したものと異なっている可能性があることとなる。
【００７７】
本事例では、調査の結果として、実運用時に予測の対象となる国の顧客は、学習時に使用したデータに含まれるサンプル（顧客）とは生活サイクルや心拍センサの値に違いがあり、全体的に高い予測確率になっていることがわかったものとする。この場合には、例えば、実運用時に予測の対象となる上記国の顧客については、当該国の顧客のみをサンプルとした機械学習に基づき構築した予測モデルを適用するとよい。そして、当該予測モデルを利用して、改めて学習時の予測確率の分布と、実運用時の予測確率の分布と、を算出し、これらの分布間の比較に基づき、当該予測モデルが修正されたことを確認すればよい。
【００７８】
以上、実施例２として、スマートウォッチ等を利用した生活サイクルの監視結果に基づき顧客が糖尿病になる確率を予測する場合の一例について説明した。
【００７９】
（実施例３：ローン契約時に顧客に貸し出すことが可能な金額の上限値の予測）
次いで、実施例３として、ローン契約時に顧客に貸し出すことが可能な金額の上限値を予測する場合の一例について説明する。
【００８０】
本実施例では、まず実施例１と同様に、過去の事例を基に、機械学習に基づき予測モデルが構築され、検証データに対する予測モデルの適用結果に応じて出力されたサンプルごとの出力値や、当該出力値の分布（即ち、学習時の出力データ）が所定の記憶領域に保持される。また、実施例１と同様に、実運用環境における顧客の情報をサンプルとした入力データに対して出力されたサンプルごとの出力値や、当該出力値の分布（即ち、実運用時の出力データ）が取得される。
【００８１】
次いで、システムにより、学習時の予測確率の分布と、実運用時の予測確率の分布と、の比較が行われ、分布間における乖離度が算出される。本事例では、顧客に貸し出すことが可能な金額の上限値として、学習時の予測確率の分布と、実運用時の予測確率の分布と、でピークが３００万である点では同様であったが、実運用環境では１０００万以上貸し出すことが可能な顧客の割合が１０％多かったものとする。
【００８２】
本事例では、調査の結果として、一部の地域において全ての顧客に対して１０００万以上の貸し出し行われていたことから過学習がおきており、当該地域に在住の顧客については１０００万以上貸し出し可能として出力するように予測モデルが構築されていることがわかったものとする。この場合には、当該地域の顧客は、当該地域を含む地方の顧客として扱う等のように、各地域を地方別に集計する前処理が適用されるように過学習を防止するための修正を施したうえで再学習を行うとよい。そして、再学習に基づき再構築された予測モデルを利用して、改めて学習時の予測確率の分布と、実運用時の予測確率の分布と、を算出し、これらの分布間の比較に基づき、当該予測モデルが修正されたことを確認すればよい。
【００８３】
以上、実施例３として、ローン契約時に顧客に貸し出すことが可能な金額の上限値を予測する場合の一例について説明した。
【００８４】
＜＜４．ハードウェア構成＞＞
続いて、図５を参照しながら、本実施形態に係るシステムを構成する情報処理装置（例えば、図３に示す情報処理装置１０や端末装置３０）のハードウェア構成の一例について説明する。図５は、本開示の一実施形態に係るシステムを構成する情報処理装置のハードウェア構成の一例を示す機能ブロック図である。
【００８５】
本実施形態に係る撮像システムを構成する情報処理装置９００は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、を備える。また、情報処理装置９００は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インタフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。
【００８６】
ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般又はその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。なお、図３を参照して前述した情報処理装置１０の制御部１０３や端末装置３０の制御部３０３は、例えば、ＣＰＵ９０１により実現され得る。
【００８７】
ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インタフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。
【００８８】
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００のユーザは、この入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。なお、図３を参照して前述した端末装置３０の入力部３０７は、例えば、入力装置９１５により実現され得る。
【００８９】
出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９１７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。なお、図３を参照して前述した端末装置３０の出力部３０９は、例えば、出力装置９１７により実現され得る。
【００９０】
ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。なお、図３を参照して前述した記憶部１１１は、例えば、ストレージ装置９１９により実現され得る。
【００９１】
ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア又はＢｌｕ−ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ  ｍｅｍｏｒｙ  ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ  ｃａｒｄ）又は電子機器等であってもよい。
【００９２】
接続ポート９２３は、情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。
【００９３】
通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９２５は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。なお、図３を参照して前述した情報処理装置１０の通信部１０１や端末装置３０の通信部３０１は、例えば、通信装置９２５により実現され得る。
【００９４】
以上、本開示の実施形態に係る撮像システムを構成する情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図１３では図示しないが、本実施形態に係る撮像システムを構成する情報処理装置９００に対応する各種の構成を当然備える。
【００９５】
なお、上述のような本実施形態に係る撮像システムを構成する情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。なお、単数のコンピュータ、または、複数のコンピュータが連携するものを、「コンピュータシステム」とも称する。
【００９６】
＜＜５．むすび＞＞
以上説明したように、本開示の一実施形態に係るシステムにおいて、情報処理装置１０は、データ取得部と、検証処理部とを含む。データ処理部は、それぞれが複数のサンプルを含む第１の入力データ及び第２の入力データに対する教師あり機械学習に基づく予測モデルの適用結果に応じた第１の出力データ及び第２の出力データを取得する。検証処理部は、上記第１の出力データと上記第２の出力データとの比較に基づき、上記予測モデルの妥当性の検証を行う。以上のような構成により、例えば、予測結果の正当性の評価が困難な場合においても、予測モデルの妥当性の評価を行うことが可能となる。即ち、このような予測モデルの妥当性の評価結果を、当該予測モデルを利用した予測結果の正当性を保証するための一要素として利用することが可能となる。これにより、予測モデルを利用した予測結果の正当性の評価に比較的長い期間を要する状況下で、当該期間の経過前に、予測モデルが想定した通りに動作しているか否かを判定することが可能となり、必要に応じて当該予測モデルを見直すことも可能となる。
【００９７】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００９８】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００９９】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
それぞれが複数のサンプルを含む第１の入力データ及び第２の入力データに対する教師あり機械学習に基づく予測モデルの適用結果に応じた第１の出力データ及び第２の出力データを取得するデータ取得部と、
前記第１の出力データと前記第２の出力データとの比較に基づき、前記予測モデルの妥当性の検証を行う検証処理部と、
を備える、情報処理装置。
（２）
前記データ取得部は、
前記第１の出力データとして、前記第１の入力データに含まれる複数のサンプルの分類結果を取得し、
前記第２の出力データとして、前記第２の入力データに含まれる複数のサンプルの分類結果を取得し、
前記検証処理部は、前記第１の出力データとして取得された前記分類結果に応じた分布と、前記第２の出力データとして取得された前記分類結果に応じた分布と、の類似度に基づき、前記予測モデルの妥当性の検証を行う、
前記（１）に記載の情報処理装置。
（３）
前記検証処理部は、前記類似度がより高いほど、前記予測モデルに基づく予測がより妥当であると判定する、前記（２）に記載の情報処理装置。
（４）
前記第１の出力データと前記第２の出力データとの間の前記類似度の比較に係る次元の数は、前記第１の入力データと前記第２の入力データとの間の類似度の比較に係る次元の数よりも少ない、前記（２）または（３）に記載の情報処理装置。
（５）
前記第１の出力データとして取得された前記分類結果に応じた分布と、前記第２の出力データとして取得された前記分類結果に応じた分布と、のうちの少なくともいずれかに応じた情報が出力部を介して提示されるように制御する出力制御部を備える、前記（２）〜（４）のいずれか一項に記載の情報処理装置。
（６）
前記出力制御部は、前記第１の出力データとして取得された前記分類結果に応じた分布と、前記第２の出力データとして取得された前記分類結果に応じた分布と、のうちの少なくともいずれかに応じたヒストグラムが提示されるように制御する、前記（５）に記載の情報処理装置。
（７）
前記第１の入力データは、事前に生成された複数のサンプルに基づくデータであり、
前記第２の入力データは、実運用環境において収集された複数のサンプルに基づくデータである、
前記（１）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記第１の入力データ及び前記第２の入力データに対して前記予測モデルを適用することで前記第１の出力データ及び前記第２の出力データを生成する解析処理部を備え、
前記データ取得部は、前記解析処理部により生成された前記第１の出力データ及び前記第２の出力データを取得する、
前記（１）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記データ取得部は、外部装置から前記第１の出力データ及び前記第２の出力データを取得する、前記（１）〜（７）のいずれか一項に記載の情報処理装置。
（１０）
コンピュータが、
それぞれが複数のサンプルを含む第１の入力データ及び第２の入力データに対する教師あり機械学習に基づく予測モデルの適用結果に応じた第１の出力データ及び第２の出力データを取得することと、
前記第１の出力データと前記第２の出力データとの比較に基づき、前記予測モデルの妥当性の検証を行うことと、
を含む、情報処理方法。
（１１）
前記第１の出力データとして、前記第１の入力データに含まれる複数のサンプルの分類結果が取得され、
前記第２の出力データとして、前記第２の入力データに含まれる複数のサンプルの分類結果が取得され、
前記第１の出力データとして取得された前記分類結果に応じた分布と、前記第２の出力データとして取得された前記分類結果に応じた分布と、の類似度に基づき、前記予測モデルの妥当性の検証が行われる、
前記（１０）に記載の情報処理方法。
（１２）
前記類似度がより高いほど、前記予測モデルに基づく予測がより妥当であると判定される、前記（１１）に記載の情報処理方法。
（１３）
前記第１の入力データは、事前に生成された複数のサンプルに基づくデータであり、
前記第２の入力データは、実運用環境において収集された複数のサンプルに基づくデータである、
前記（１０）〜（１２）のいずれか一項に記載の情報処理方法。
（１４）
コンピュータに、
それぞれが複数のサンプルを含む第１の入力データ及び第２の入力データに対する教師あり機械学習に基づく予測モデルの適用結果に応じた第１の出力データ及び第２の出力データを取得することと、
前記第１の出力データと前記第２の出力データとの比較に基づき、前記予測モデルの妥当性の検証を行うことと、
を実行させる、プログラム。
（１５）
前記第１の出力データとして、前記第１の入力データに含まれる複数のサンプルの分類結果が取得され、
前記第２の出力データとして、前記第２の入力データに含まれる複数のサンプルの分類結果が取得され、
前記第１の出力データとして取得された前記分類結果に応じた分布と、前記第２の出力データとして取得された前記分類結果に応じた分布と、の類似度に基づき、前記予測モデルの妥当性の検証が行われる、
前記（１４）に記載のプログラム。
（１６）
前記類似度がより高いほど、前記予測モデルに基づく予測がより妥当であると判定される、前記（１５）に記載のプログラム。
（１７）
前記第１の入力データは、事前に生成された複数のサンプルに基づくデータであり、
前記第２の入力データは、実運用環境において収集された複数のサンプルに基づくデータである、
前記（１４）〜（１６）のいずれか一項に記載のプログラム。
【符号の説明】
【０１００】
１      システム
１０    情報処理装置
１０１  通信部
１０３  制御部
１０５  解析処理部
１０７  検証処理部
１０９  出力制御部
１１１  記憶部
３０    端末装置
３０１  通信部
３０３  制御部
３０５  入出力制御部
３０７  入力部
３０９  出力部
【図１】
2020149073.tif 000003
【図２】
2020149073.tif 000004
【図３】
2020149073.tif 000005
【図４】
2020149073.tif 000006
【図５】
2020149073.tif 000007
【国際調査報告】
2020149073.tif 000008
2020149073.tif 000009
2020149073.tif 000010
2020149073.tif 000011