(57)【要約】【課題】予め定められた時間までにモデルの生成を行うことを可能とする学習プログラム、学習装置及び学習方法を提供する。【解決手段】機械学習の学習パラメータと、学習パラメータによる機械学習の学習時間とをそれぞれが含む複数の実績情報と、機械学習の終了期限と、を受け付け、受け付けた複数の実績情報に基づき、複数の実績情報に含まれない学習パラメータによる機械学習の学習時間の推定値を算出し、算出した学習時間の推定値に基づき、複数の実績情報に含まれない学習パラメータのうち、受け付けた終了期限までに機械学習が終了する学習パラメータを特定し、特定した学習パラメータのうち、いずれかの学習パラメータによる機械学習を実行する。【選択図】図９
2019067327.tif 000002
【特許請求の範囲】
【請求項１】
機械学習の学習パラメータと、前記学習パラメータによる機械学習の学習時間とをそれぞれが含む複数の実績情報と、機械学習の終了期限と、を受け付け、
受け付けた前記複数の実績情報に基づき、前記複数の実績情報に含まれない学習パラメータによる機械学習の学習時間の推定値を算出し、
算出した前記学習時間の推定値に基づき、前記複数の実績情報に含まれない学習パラメータのうち、受け付けた前記終了期限までに機械学習が終了する学習パラメータを特定し、
特定した前記学習パラメータのうち、いずれかの学習パラメータによる機械学習を実行する、
処理をコンピュータに実行させることを特徴とする学習プログラム。
【請求項２】
請求項１において、
前記算出する処理では、
前記複数の実績情報に含まれる前記学習時間のうち、前記複数の実績情報に含まれない学習パラメータよりも小さい学習パラメータに対応する第１学習時間と、前記複数の実績情報に含まれない学習パラメータよりも大きい学習パラメータに対応する第２学習時間とを特定し、
特定した前記第１学習時間と前記第２学習時間とに基づき、前記複数の実績情報に含まれない学習パラメータによる機械学習の学習時間の推定値の算出を行う、
ことを特徴とする学習プログラム。
【請求項３】
請求項２において、
前記算出する処理では、前記第１学習時間と前記第２学習時間との間の時間を、前記複数の実績情報に含まれない学習パラメータによる機械学習の学習時間の推定値として算出を行う、
ことを特徴とする学習プログラム。
【請求項４】
請求項１において、
前記特定する処理では、
算出した前記学習時間の推定値に対応する学習パラメータを特定し、
特定した前記学習時間の推定値に対応する学習パラメータのうち、受け付けた前記終了期限までに機械学習が終了する学習パラメータの特定を行う、
ことを特徴とする学習プログラム。
【請求項５】
請求項１において、
前記実績情報は、前記実績情報に含まれる学習パラメータによる機械学習により学習された試行パラメータを用いた試行の成績を含み、
前記実行する処理では、前記複数の実績情報に基づき、前記複数の実績情報に含まれない学習パラメータによる機械学習により学習された試行パラメータを用いた試行の成績の推定値を算出し、
算出した前記成績の推定値に基づき、前記いずれかの学習パラメータを選択する、
ことを特徴とする学習プログラム。
【請求項６】
請求項５において、
前記実行する処理では、算出した前記成績の推定値が所定の条件を満たす学習パラメータを選択する、
ことを特徴とする学習プログラム。
【請求項７】
請求項６において、
前記所定の条件を満たす学習パラメータは、前記成績の推定値の範囲に含まれる成績のうち、最高の成績の推定値が得られる学習パラメータである、
ことを特徴とする学習プログラム。
【請求項８】
請求項５において、
前記試行は、検索パラメータを用いた検索処理であり、
前記成績は、前記検索処理の検索結果の評価である、
ことを特徴とする学習プログラム。
【請求項９】
機械学習の学習パラメータと、前記学習パラメータによる機械学習の学習時間とをそれぞれが含む複数の実績情報と、機械学習の終了期限と、を受け付ける情報受付部と、
受け付けた前記複数の実績情報に基づき、前記複数の実績情報に含まれない学習パラメータによる機械学習の学習時間の推定値を算出する推定値算出部と、
算出した前記学習時間の推定値に基づき、前記複数の実績情報に含まれない学習パラメータのうち、受け付けた前記終了期限までに機械学習が終了する学習パラメータを特定するパラメータ特定部と、
特定した前記学習パラメータのうち、いずれかの学習パラメータによる機械学習を実行する機械学習実行部を、を有する、
ことを特徴とする学習装置。
【請求項１０】
機械学習の学習パラメータと、前記学習パラメータによる機械学習の学習時間とをそれぞれが含む複数の実績情報と、機械学習の終了期限と、を受け付け、
受け付けた前記複数の実績情報に基づき、前記複数の実績情報に含まれない学習パラメータによる機械学習の学習時間の推定値を算出し、
算出した前記学習時間の推定値に基づき、前記複数の実績情報に含まれない学習パラメータのうち、受け付けた前記終了期限までに機械学習が終了する学習パラメータを特定し、
特定した前記学習パラメータのうち、いずれかの学習パラメータによる機械学習を実行する、
ことを特徴とする学習方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習プログラム、学習装置及び学習方法に関する。
【背景技術】
【０００２】
近年、音声認識や画像認識等の分野において、ディープラーニング手法が活用されている。ディープラーニング手法は、多層構造のニューラルネットワーク（以下、単にニューラルネットワークとも呼ぶ）に学習データを学習させることをよって行われる機械学習の手法である。
【０００３】
具体的に、利用者に対してサービスを提供する事業者（以下、単に事業者とも呼ぶ）は、例えば、利用者からの問合せに対する回答を自動で行う業務システム（以下、情報処理システムとも呼ぶ）を構築する際に、上記のディープラーニング手法を用いたモデルの生成を行う。これにより、事象者は、従来の機械学習の手法を用いた場合と比べて、例えば、利用者に対する回答の正答率を高めることが可能になる（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−２１８８６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のようなモデルは、例えば、用いられるディープラーニング手法に対応する各種パラメータの値に基づいて生成される。そのため、例えば、情報処理システムの構築時において、必要なパラメータの入力を行う。
【０００６】
ここで、上記のような情報処理システムが利用者に対して行う回答の正答率は、モデルの生成時において入力されたパラメータの値に影響する場合がある。そのため、事業者は、可能な限り、利用者に対する回答の正答率を高めることができるパラメータの値を決定する必要がある。そこで、事業者は、適切なパラメータの値を決定することが可能な関数（以下、獲得関数とも呼ぶ）を用いることにより、モデルの生成に要するパラメータの値を決定する。
【０００７】
しかしながら、上記のような獲得関数は、例えば、モデルの生成時間の制約等を考慮せずにパラメータの値の決定を行う場合がある。そのため、事業者は、例えば、予め定められた時間までにモデルの生成を行うことができない場合がある。
【０００８】
そこで、一つの側面では、予め定められた時間までにモデルの生成を行うことを可能とする学習プログラム、学習装置及び学習方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
実施の形態の一つの態様によれば、機械学習の学習パラメータと、前記学習パラメータによる機械学習の学習時間とをそれぞれが含む複数の実績情報と、機械学習の終了期限と、を受け付け、受け付けた前記複数の実績情報に基づき、前記複数の実績情報に含まれない学習パラメータによる機械学習の学習時間の推定値を算出し、算出した前記学習時間の推定値に基づき、前記複数の実績情報に含まれない学習パラメータのうち、受け付けた前記終了期限までに機械学習が終了する学習パラメータを特定し、特定した前記学習パラメータのうち、いずれかの学習パラメータによる機械学習を実行する、処理をコンピュータに実行させる。
【発明の効果】
【００１０】
一つの側面によれば、予め定められた時間までにモデルの生成を行うことを可能とする。
【図面の簡単な説明】
【００１１】
【図１】図１は、情報処理システム１０の全体構成を示す図である。
【図２】図２は、パラメータの値が特定される際の具体例を説明する図である。
【図３】図３は、パラメータの値が特定される際の具体例を説明する図である。
【図４】図４は、パラメータの値が特定される際の具体例を説明する図である。
【図５】図５は、パラメータの値が特定される際の具体例を説明する図である。
【図６】図６は、実績情報１３１の具体例を説明する図である。
【図７】図７は、情報処理装置１のハードウエア構成を説明する図である。
【図８】図８は、情報処理装置１の機能のブロック図及び情報格納領域１３０に記憶された情報のブロック図である。
【図９】図９は、第１の実施の形態の概略について説明するフローチャートである。
【図１０】図１０は、第１の実施の形態の概略を説明する図である。
【図１１】図１１は、第１の実施の形態における学習処理の詳細を説明するフローチャートである。
【図１２】図１２は、第１の実施の形態における学習処理の詳細を説明するフローチャートである。
【図１３】図１３は、第１の実施の形態における学習処理の詳細を説明するフローチャートである。
【図１４】図１４は、正答率情報１３１ａの具体例について説明する図である。
【図１５】図１５は、実績情報１３１の具体例を説明する図である。
【発明を実施するための形態】
【００１２】
［情報処理システムの構成］
図１は、情報処理システム１０の全体構成を示す図である。図１に示す情報処理システム１０は、情報処理装置１と、記憶装置２と、操作端末３とを含む。図１に示す操作端末３は、操作端末３ａ、３ｂ及び３ｃが含まれている。
【００１３】
情報処理装置１は、図１に示すように、例えば、利用者が操作端末３を介して、情報処理システム１０において用いるモデルｍｄ（以下、試行パラメータとも呼ぶ）の生成を行う処理（以下、学習処理とも呼ぶ）を行う旨の指示を行った場合、回答の正答率を高めることが可能なパラメータの値を特定し、特定したパラメータの値を入力としてモデルｍｄの生成を行う。そして、情報処理装置１は、図１に示すように、生成したモデルｍｄを記憶装置２に記憶する。
【００１４】
具体的に、情報処理装置１は、複数のパラメータの値をそれぞれ入力してモデルｍｄを生成する。そして、情報処理装置１は、生成したモデルｍｄのうち、回答の正答率が最も高いモデルｍｄを、情報処理システム１０において用いるモデルｍｄとして決定する。以下、パラメータの値が特定される際の具体例について説明を行う。
【００１５】
［パラメータの値が特定される際の具体例］
図２から図５は、パラメータの値が特定される際の具体例を説明する図である。具体的に、図２から図５は、モデルｍｄの生成時間あたりの回答の正答率ｃ／ｔ（以下、時間あたりの回答の正答率ｃ／ｔとも呼ぶ）を示すグラフである。図２から図５に示すグラフにおける横軸は、パラメータｐ（以下、単にｐとも表記する）の値を示している。また、図２から図５に示すグラフにおける縦軸は、時間あたりの回答の正答率ｃ／ｔを示している。なお、以下、モデルの生成を行う際に値の入力が行われるパラメータｐがパラメータｐ１のみであるものとして説明を行う。また、パラメータｐ１には、「１」から「６」までの整数値のいずれかが設定されるものとして説明を行う。
【００１６】
初めに、情報処理装置１は、図２に示すように、例えば、パラメータｐ１として「１」を特定する（図２の（１））。そして、情報処理装置１は、図２に示すように、パラメータｐ１として「１」を入力することによってモデルｍｄ１の生成を行い、生成したモデルｍｄ１を用いた場合における回答の正答率ｃ１と、生成したモデルｍｄ１の生成時間ｔ１とを取得する（図２の（２））。その後、情報処理装置１は、図３に示すように、ガウス過程に基づいた獲得関数に対し、取得済の正答率ｃの全て（正答率ｃ１）と、取得済の生成時間ｔの全て（生成時間ｔ１）と、パラメータｐ１の値とを入力することにより、パラメータｐ１の値のそれぞれに対応する時間あたりの期待改善度ｅｉ／ｔ（時間あたりの回答の正答率ｃ／ｔ（成績）が改善する期待度（推定値））を算出する（図３の（３））。
【００１７】
そして、情報処理装置１は、図３に示すように、例えば、算出した時間あたりの期待改善度ｅｉ／ｔ、及び、算出した時間あたりの期待改善度ｅｉ／ｔから推測された時間あたりの期待改善度ｅｉ／ｔの勾配（以下、単に勾配とも呼ぶ）を用いることにより、時間あたりの期待改善度ｅｉ／ｔの最大値を特定し、特定した最大値に対応するパラメータｐ１の値を特定する（図３の（４）、（５））。具体的に、情報処理装置１は、図３に示すように、例えば、パラメータｐ１の値が「２」である場合の時間あたりの期待改善度ｅｉ／ｔと、パラメータｐ１の値が「３」である場合の時間あたりの期待改善度ｅｉ／ｔと、これらの時間あたりの期待改善度ｅｉ／ｔから推測された勾配とから、時間あたりの期待改善度ｅｉ／ｔの最大値として「６」を特定する。すなわち、情報処理装置１は、この場合、次のモデルｍｄ２の生成を行う際に入力するパラメータｐ１の値として「６」を特定する。
【００１８】
さらに、情報処理装置１は、パラメータｐ１として「６」を入力することによりモデルｍｄ２の生成を行い、生成したモデルｍｄ２を用いた場合における回答の正答率ｃ２と、生成したモデルｍｄ２の生成時間ｔ２とを取得する（図３の（６））。その後、情報処理装置１は、図４に示すように、ガウス過程に基づいた獲得関数に対し、取得済の正答率ｃの全て（正答率ｃ１及び正答率ｃ２）と、取得済の生成時間ｔの全て（生成時間ｔ１及び生成時間ｔ２）と、パラメータｐ１の値とを入力することにより、パラメータｐ１の値のそれぞれに対応する時間あたりの期待改善度ｅｉ／ｔを算出する（図４の（７））。
【００１９】
そして、情報処理装置１は、図４に示すように、算出した時間あたりの期待改善度ｅｉ／ｔと勾配とを用いることにより、時間あたりの期待改善度ｅｉ／ｔの最大値を特定し、特定した最大値に対応するパラメータｐ１の値を特定する（図４の（８）、（９））。そして、情報処理装置１は、図４に示すように、例えば、次のモデルｍｄ３の生成を行う際に入力するパラメータｐ１の値として「３」を特定する。すなわち、情報処理装置１は、この場合、次のモデルｍｄ３の生成を行う際に入力するパラメータｐ１の値として「３」を特定する。
【００２０】
さらに、情報処理装置１は、パラメータｐ１として「３」を入力することによりモデルｍｄ３の生成を行い、生成したモデルｍｄ３を用いた場合における回答の正答率ｃ３と、生成したモデルｍｄ３の生成時間ｔ３とを取得する（図４の（１０））。その後、情報処理装置１は、図５に示すように、ガウス過程に基づいた獲得関数に対し、取得済の正答率ｃの全て（正答率ｃ１、正答率ｃ２及び正答率ｃ３）と、取得済の生成時間ｔの全て（生成時間ｔ１、生成時間ｔ２及び生成時間ｔ３）と、パラメータｐ１の値とを入力することにより、パラメータｐ１の値のそれぞれに対応する時間あたりの期待改善度ｅｉ／ｔを算出する（図５の（１１））。
【００２１】
そして、情報処理装置１は、図５に示すように、算出した時間あたりの期待改善度ｅｉ／ｔと勾配とを用いることにより、時間あたりの期待改善度ｅｉ／ｔの最大値を特定し、特定した最大値に対応するパラメータｐ１の値を特定する（図５の（１２）、（１３））。そして、情報処理装置１は、図５に示すように、例えば、次のモデルｍｄ４の生成を行う際に入力するパラメータｐ１の値として「４」を特定する。すなわち、情報処理装置１は、この場合、次のモデルｍｄ４の生成を行う際に入力するパラメータｐ１の値として「４」を特定する。
【００２２】
これにより、情報処理装置１は、生成済のモデルｍｄから取得される情報（正答率ｃ及び生成時間ｔ）と算出済の時間あたりの期待改善度ｅｉ／ｔとから、時間あたりの回答の正答率ｃ／ｔが高いモデルを生成することができる可能性が高いパラメータの値の特定を連続的に行うことが可能になる。そのため、情報処理装置１は、時間あたりの回答の正答率ｃ／ｔが高いモデルｍｄの生成を効率的に行うことが可能になる。
【００２３】
その後、情報処理装置１は、例えば、生成した各モデルｍｄに対応する正答率ｃ及び生成時間ｔを含む実績情報１３１を参照し、時間あたりの回答の正答率ｃ／ｔが最も高いモデルｍｄの特定を行う。そして、情報処理装置１は、特定したモデルｍｄを情報処理システム１０において用いるモデルｍｄとして決定する。以下、実績情報１３１の具体例について説明を行う。
【００２４】
［実績情報の具体例（１）］
図６は、実績情報１３１の具体例を説明する図である。
【００２５】
図６に示す実績情報１３１は、実績情報１３１に含まれる各項番を識別する「項番」と、各モデルｍｄを識別する「モデル名」と、パラメータｐを識別する「パラメータ名」と、「パラメータ名」に設定されたパラメータｐの値が設定される「値」とを項目として有している。また、図６に示す実績情報１３１は、「パラメータ名」に設定されたパラメータｐとして「値」に設定された値を入力して生成したモデルｍｄの生成時間ｔが設定される「生成時間」と、「パラメータ名」に設定されたパラメータｐとして「値」に設定された値を入力して生成したモデルｍｄを用いた場合における回答の正答率ｃ（例えば、時間あたりの回答の正答率ｃ／ｔ）が設定される「正答率」とを項目として有している。
【００２６】
具体的に、図６に示す実績情報１３１において、「項番」が「１」である情報には、「パラメータ」として「ｐ１」が設定され、「値」として「１」が設定され、「生成時間」として「１．５（ｈ）」が設定され、「正答率」として「６０（％）」が設定されている。図６に含まれる他の情報についての説明は省略する。
【００２７】
そして、情報処理装置１は、例えば、図６で説明した実績情報１３１を参照し、「正答率」に設定された情報のうち、「モデル名」が「ｍｄ４」である情報（「項番」が「４」である情報）の「正答率」に設定された情報である「８５（％）」が最も高い情報であると判定する。そのため、情報処理装置１は、この場合、例えば、モデルｍｄ４を用いて情報処理システム１０を構築することの決定を行う。
【００２８】
しかしながら、上記のような獲得関数は、例えば、モデルｍｄの生成時間ｔの制約等を考慮せずにパラメータｐの値の決定を行う場合がある。そのため、事業者は、例えば、予め定められた時間までにモデルｍｄの生成を行うことができない場合がある。
【００２９】
そこで、本実施の形態における情報処理装置１は、パラメータｐ（以下、学習パラメータｐとも呼ぶ）の値と、パラメータｐの値を入力することによるモデルｍｄの生成時間（以下、パラメータｐによる学習時間とも呼ぶ）とをそれぞれが含む複数の実績情報１３１と、モデルｍｄの生成の終了期限（以下、機械学習の終了期限とも呼ぶ）と、を受け付ける。
【００３０】
そして、情報処理装置１は、受け付けた複数の実績情報１３１に基づき、複数の実績情報１３１に含まれないパラメータｐの値によるモデルｍｄの生成時間ｔ（以下、機械学習の学習時間とも呼ぶ）の推定値を算出する。さらに、情報処理装置１は、算出した推定値に基づき、複数の実績情報１３１に含まれないパラメータｐの値のうち、受け付けた終了期限までにモデルｍｄの生成が終了するパラメータｐの値を特定する。
【００３１】
その後、情報処理装置１は、特定したパラメータｐの値のうち、いずれかのパラメータｐの値によるモデルｍｄの生成を実行する。
【００３２】
すなわち、情報処理装置１は、モデルｍｄの生成を行う際に入力を行うパラメータｐの値を、所定の終了期限内にモデルｍｄの生成を終えることができる範囲内で特定する。
【００３３】
これにより、情報処理装置１は、予め定められた終了期限までにモデルｍｄの生成を行うことが可能になる。
【００３４】
［情報処理装置のハードウエア構成］
次に、情報処理装置１のハードウエア構成について説明する。図７は、情報処理装置１のハードウエア構成を説明する図である。
【００３５】
情報処理装置１は、図７に示すように、プロセッサであるＣＰＵ１０１と、メインメモリ１０２（以下、単にメモリ１０２とも呼ぶ）と、外部インターフェース（Ｉ／Ｏユニット）１０３と、記憶媒体（ストレージ）１０４とを有する。各部は、バス１０５を介して互いに接続される。
【００３６】
記憶媒体１０４は、記憶媒体１０４内のプログラム格納領域（図示しない）に、学習処理を行うプログラム１１０を記憶する。
【００３７】
ＣＰＵ１０１は、図７に示すように、記憶媒体１０４からメモリ１０２にロードされたプログラム１１０と協働することによって学習処理を行う。
【００３８】
記憶媒体１０４は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等であり、学習処理を行う際に用いられる情報を記憶する情報格納領域１３０（以下、記憶部１３０とも呼ぶ）を有する。
【００３９】
また、外部インターフェース１０３は、ネットワークを介して操作端末３と通信を行う。
【００４０】
［情報処理装置のソフトウエア構成］
次に、情報処理装置１のソフトウエア構成について説明する。図８は、情報処理装置１の機能のブロック図及び情報格納領域１３０に記憶された情報のブロック図である。
【００４１】
ＣＰＵ１０１は、図８に示すように、プログラム１１０と協働することにより、情報受付部１１１と、推定値算出部１１２と、パラメータ特定部１１３と、機械学習実行部１１４と、実績測定部１１５と、情報送信部１１６として動作する。また、情報格納領域１３０には、図８に示すように、実績情報１３１と、学習データ１３２と、終了期限情報１３３とが記憶されている。
【００４２】
情報受付部１１１は、パラメータｐの値と、パラメータｐの値を入力することによるモデルｍｄの生成時間とをそれぞれが含む複数の実績情報１３１と、モデルｍｄの生成の終了期限を示す終了期限情報１３３と、を受け付ける。具体的に、情報受付部１１１は、後述する実績測定部１１５が、生成済のモデルｍｄを用いた場合における回答の正答率ｃと、そのモデルｍｄの生成時間ｔとの取得を行ったことに応じて、これらの情報を含む実績情報１３１の受け付けを行う。
【００４３】
推定値算出部１１２は、情報受付部１１１が受け付けた複数の実績情報１３１に基づき、複数の実績情報１３１に含まれないパラメータｐの値によるモデルｍｄの生成時間ｔの推定値を算出する。
【００４４】
パラメータ特定部１１３は、例えば、図２から図５で説明したように、生成済のモデルｍｄの正答率ｃ及び生成時間ｔから、次に生成するモデルｍｄに入力するパラメータｐの値を特定する。具体的に、パラメータ特定部１１３は、推定値算出部１１２が算出した推定値に基づき、複数の実績情報１３１に含まれないパラメータｐの値のうち、情報受付部１１１が受け付けた終了期限までにモデルｍｄの生成が終了するパラメータｐの値を特定する。
【００４５】
機械学習実行部１１４は、パラメータ特定部１１３が特定したパラメータｐの値のうち、いずれかのパラメータｐの値によるモデルｍｄの生成を行う。具体的に、機械学習実行部１１４は、パラメータ特定部１１３が特定したパラメータｐの値のうち、いずれかのパラメータｐの値を入力とし、学習データ１３２の機械学習を実行することによってモデルｍｄの生成を行う。
【００４６】
実績測定部１１５は、生成済のモデルｍｄを用いた場合における回答の正答率ｃと、そのモデルｍｄの生成時間ｔとを取得する。
【００４７】
情報送信部１１６は、機械学習実行部１１４が生成したモデルｍｄのうち、回答の正答率ｃが最も高いモデルｍｄを示す情報を操作端末３に送信する。
【００４８】
［第１の実施の形態の概略］
次に、第１の実施の形態の概略について説明する。図９は、第１の実施の形態の概略について説明するフローチャートである。また、図１０は、第１の実施の形態の概略を説明する図である。図１０を参照しながら、図９に示す第１の実施の形態の概略について説明を行う。
【００４９】
情報処理装置１は、図９に示すように、機械学習の学習パラメータと、学習パラメータによる機械学習の学習時間とをそれぞれが含む複数の実績情報１３１と、機械学習の終了期限と、を受け付けるまで待機する（Ｓ１のＮＯ）。
【００５０】
そして、複数の実績情報１３１と終了期限（例えば、終了期限情報１３３）を受け付けた場合（Ｓ１のＹＥＳ）、情報処理装置１は、Ｓ１の処理で受け付けた複数の実績情報１３１に基づき、Ｓ１の処理で受け付けた複数の実績情報１３１に含まれない学習パラメータによる機械学習の学習時間の推定値を算出する（Ｓ２）。
【００５１】
さらに、情報処理装置１は、Ｓ２の処理で算出した学習時間の推定値に基づき、複数の実績情報に含まれない学習パラメータのうち、Ｓ１の処理で受け付けた終了期限までに機械学習が終了する学習パラメータを特定する（Ｓ３）。以下、Ｓ３の処理の具体例について説明を行う。
【００５２】
［Ｓ３の処理の具体例］
図１０は、Ｓ３の処理の具体例について説明する図である。図１０に示す具体例は、図５で説明した例において、本実施の形態における学習処理によって時間あたりの期待改善度ｅｉ／ｔの最大値を特定する場合を説明する図である。
【００５３】
図６で説明した実績情報１３１において、「値」が「１」である情報（「項番」が「１」である情報）の「生成時間」には「１．５（ｈ）」が設定され、「値」が「３」である情報（「項番」が「３」である情報）の「生成時間」には「３（ｈ）」が設定され、「値」が「６」である情報（「項番」が「２」である情報）の「生成時間」には「６（ｈ）」が設定されている。すなわち、情報処理装置１は、この場合、例えば、モデルｍｄを生成する際に入力するパラメータｐ１の値が大きいほど、生成時間ｔが長くなる傾向にあるものと判定することが可能である。
【００５４】
そのため、情報処理装置１は、例えば、パラメータｐ１として「３」から「６」までの間の値を入力してモデルｍｄの生成を行う場合、モデルｍｄの生成に要する時間が３時間から６時間までの間であり、パラメータｐ１として「１」から「３」までの間の値を入力してモデルｍｄの生成を行う場合、モデルｍｄの生成に要する時間が１．５時間から３時間までの間であると判定する。したがって、情報処理装置１は、Ｓ３の処理において、例えば、終了期限までの残り時間が２時間である場合、図１０に示すように、モデルｍｄの生成を行う際に入力するパラメータｐ１の値の候補から「３」から「６」までの範囲を除外する。
【００５５】
図９に戻り、情報処理装置１は、Ｓ３の処理で特定した学習パラメータのうち、いずれかの学習パラメータによる機械学習を実行する（Ｓ４）。
【００５６】
すなわち、情報処理装置１は、生成済のモデルｍｄの生成に要した生成時間ｔを参照し、パラメータｐが取り得る値のそれぞれを入力とした場合にモデルｍｄの生成に要する生成時間ｔを推定する。そして、情報処理装置１は、パラメータｐが取り得る値のうち、モデルｍｄの生成が予め定められた終了期限までに完了すると推定されたパラメータｐの値を、モデルｍｄの生成を行う際に入力するパラメータｐの値として特定する。
【００５７】
これにより、情報処理装置１は、終了期限を超過することなくモデルｍｄの生成を行うことが可能になる。
【００５８】
なお、モデルｍｄは、例えば、検索パラメータを用いた検索処理（試行）を行うモデルであってよい。また、モデルｍｄを情報処理システム１０に用いた場合における時間あたりの期待改善度ｅｉ／ｔは、例えば、モデルｍｄによる検索処理を行った場合における時間あたりの正答率ｃ（検索結果の評価）が改善する期待度であってよい。
【００５９】
［第１の実施の形態の詳細］
次に、第１の実施の形態の詳細について説明する。図１１から図１３は、第１の実施の形態における学習処理の詳細を説明するフローチャートである。また、図１４及び図１５は、第１の実施の形態の詳細を説明する図である。図１４及び図１５を参照しながら、図１１から図１３に示す第１の実施の形態の詳細について説明を行う。
【００６０】
情報処理装置１の情報受付部１１１は、図１１に示すように、モデル生成タイミングまで待機する（Ｓ１１のＮＯ）。具体的に、情報受付部１１１は、例えば、事業者が操作端末３を介して、モデルｍｄの生成を開始する旨の入力を行うまで待機する。
【００６１】
そして、モデル生成タイミングになった場合（Ｓ１１のＹＥＳ）、パラメータ特定部１１３は、最初のパラメータｐの値を決定する（Ｓ１２）。パラメータ特定部１１３は、この場合、例えば、最初のパラメータｐの値をランダムに決定するものであってよい。なお、モデルｍｄを生成する際に入力するパラメータｐが複数存在する場合、パラメータ特定部１１３は、Ｓ１２の処理において、複数のパラメータｐの値をそれぞれ決定する。
【００６２】
その後、情報処理装置１の機械学習実行部１１４は、Ｓ１２の処理で決定したパラメータｐの値による機械学習を実行してモデルｍｄを生成する（Ｓ１３）。
【００６３】
そして、情報処理装置１の実績測定部１１５は、Ｓ１３の処理で生成したモデルｍｄを用いた場合における正答率ｃと、Ｓ１３の処理で生成したモデルｍｄの生成時間ｔとを取得する（Ｓ１４）。
【００６４】
具体的に、実績測定部１１５は、例えば、情報格納領域１３０に記憶された正答率情報１３１ａを参照することにより、Ｓ１３の処理で生成したモデルｍｄを用いた場合における正答率ｃの取得を行うものであってよい。また、実績測定部１１５は、Ｓ１３の処理で生成したモデルｍｄの生成が開始されてから完了するまでの時間を計測することによって、Ｓ１３の処理で生成したモデルｍｄの生成時間ｔの取得を行うものであってよい。以下、正答率情報１３１ａの具体例について説明を行う。
【００６５】
［正答率情報の具体例］
図１４は、正答率情報１３１ａの具体例について説明する図である。
【００６６】
図１４に示す正答率情報１３１ａは、正答率情報１３１ａに含まれる各情報を識別する「項番」と、事業者がモデルｍｄに対して入力した質問の内容が設定される「質問内容」と、「質問内容」に内容が設定された質問に対してモデルｍｄが出力した回答の内容が設定される「回答内容」とを項目として有する。また、図１４に示す正答率情報１３１ａは、「回答内容」に設定された内容が「質問内容」に設定された内容に対する回答として正しいか否かを示す情報が設定される「正誤」を項目として有する。「正誤」には、例えば、回答として正しいことを示す「○」、または、回答として正しくないことを示す「×」が設定される。
【００６７】
具体的に、図１４に示す正答率情報１３１ａにおいて、「項番」が「１」である情報には、「質問内容」として「Ａ社の電話番号を教えて」が設定され、「回答内容」として「０３−ｘｘｘｘ−ｘｘｘｘです。」が設定され、「正誤」として「○」が設定されている。また、図１４に示す正答率情報１３１ａにおいて、「項番」が「３」である情報には、「質問内容」として「Ａ社製のパソコンの対応ＯＳは？」が設定され、「回答内容」として「Ｂ−ＯＳです。」が設定され、「正誤」として「○」が設定されている。
【００６８】
一方、図１４に示す正答率情報１３１ａにおいて、「項番」が「４」である情報には、「質問内容」として「Ａ社の郵便番号は？」が設定され、「回答内容」として「Ｂ−ＯＳです。」が設定され、「正誤」として「×」が設定されている。図１４に含まれる他の情報についての説明は省略する。
【００６９】
なお、実績測定部１１５は、Ｓ１４の処理において取得した正答率ｃと生成時間ｔとを含む実績情報１３１を情報格納領域１３０に記憶する。以下、Ｓ１４の処理において取得した正答率ｃと生成時間ｔとを含む実績情報１３１の具体例について説明を行う。
【００７０】
［実績情報の具体例（２）］
図１５は、実績情報１３１の具体例を説明する図である。
【００７１】
図１５に示す実績情報１３１において、「項番」が「４」である情報には、「パラメータ」として「ｐ１」が設定されており、「値」として「２」が設定されており、「正答率」として「６０（％）」が設定されており、「生成時間」として「１．５（ｈ）」が設定されている。
【００７２】
すなわち、本実施の形態における情報処理装置１は、終了期限までに生成することが可能であると推測されるモデルｍｄから、次に生成を行うモデルｍｄの特定を行う。そのため、図１５に示す実績情報１３１における「項番」が「４」である情報は、図６で説明した実績情報１３１における「項番」が「４」である情報と異なっている。
【００７３】
図１１に戻り、パラメータ特定部１１３は、終了期限を経過しているか否かを判定する（Ｓ１５）。具体的に、パラメータ特定部１１３は、情報格納領域１３０にされた終了期限情報１３３を参照することにより、終了期限を経過しているか否かの判定を行うものであってよい。なお、終了期限情報１３３は、例えば、事業者によって予め情報格納領域１３０に記憶されるものであってよい。
【００７４】
その結果、終了期限を経過していないと判定した場合（Ｓ１５のＮＯ）、パラメータ特定部１１３は、パラメータｐが取り得る値を１つ特定する（Ｓ２１）。
【００７５】
そして、情報処理装置１の推定値算出部１１２は、情報格納領域１３０に記憶された実績情報１３１を参照し、Ｓ２１の処理で特定したパラメータｐの値による機械学習を実行してモデルｍｄを生成した場合における生成時間ｔを推定する（Ｓ２２）。
【００７６】
具体的に、推定値算出部１１２は、図１０で説明したように、生成済のモデルｍｄの生成に要した生成時間ｔを参照し、パラメータｐが取り得る値のそれぞれを入力とした場合にモデルｍｄの生成に要する生成時間ｔを推定する。
【００７７】
続いて、推定値算出部１１２は、現在時間から終了期限までの時間がＳ２２の処理で推定した生成時間ｔよりも短いか否かを判定する（Ｓ２３）。
【００７８】
その結果、現在時間から終了期限までの時間がＳ２２の処理で推定した生成時間ｔよりも短くないと判定した場合（Ｓ２４のＮＯ）、パラメータ特定部１１３は、Ｓ１４の処理において今までに取得した回答の正答率ｃの全てと、Ｓ１４の処理において今までに取得したモデルｍｄの生成時間ｔの全てと、パラメータｐの値とを獲得関数に入力することにより、パラメータｐの値のそれぞれに対応する時間あたりの期待改善度ｅｉ／ｔを算出する（Ｓ２５）。すなわち、パラメータ特定部１１３は、この場合、次のモデルｍｄを生成する際に入力するパラメータｐの値を決定するために比較される時間あたりの期待改善度ｅｉ／ｔの算出を行う。
【００７９】
一方、現在時間から終了期限までの時間がＳ２２の処理で推定した生成時間ｔよりも短いと判定した場合（Ｓ２４のＹＥＳ）、情報処理装置１は、Ｓ２５の処理を行わない。
【００８０】
そして、パラメータ特定部１１３は、図１３に示すように、Ｓ１２及びＳ２１の処理においてパラメータｐが取り得る値の全てが特定済であるか否かを判定する（Ｓ３１）。
【００８１】
その結果、パラメータｐが取り得る値の全てが特定済でないと判定した場合（Ｓ３１のＮＯ）、パラメータ特定部１１３は、Ｓ２１以降の処理を再度行う。
【００８２】
一方、パラメータｐが取り得る値の全てが特定済であると判定した場合（Ｓ３１のＹＥＳ）、パラメータ特定部１１３は、Ｓ２５の処理において時間あたりの期待改善度ｅｉ／ｔの算出が行われたか否かを判定する（Ｓ３２）。
【００８３】
なお、パラメータ特定部１１３は、例えば、Ｓ２５の処理において算出した時間あたりの期待改善度ｅｉ／ｔから推測される勾配から、パラメータｐの値を特定することによる時間あたりの期待改善度ｅｉ／ｔの算出を行う必要がないと判定した場合、パラメータｐが取り得る値の全てが特定済でない場合であってもＳ３２の処理を行うものであってよい。
【００８４】
その結果、Ｓ２５の処理において時間あたりの期待改善度ｅｉ／ｔの算出が行われたと判定した場合（Ｓ３２のＹＥＳ）、パラメータ特定部１１３は、Ｓ２５の処理で算出された時間あたりの期待改善度ｅｉ／ｔのうちの最大値を特定する（Ｓ３４）。
【００８５】
そして、パラメータ特定部１１３は、Ｓ３４の処理で特定した最大値に対応するパラメータｐの値を特定する（Ｓ３５）。その後、機械学習実行部１１４は、Ｓ１３以降の処理を再度行う。
【００８６】
一方、Ｓ３２の処理において、時間あたりの期待改善度ｅｉ／ｔの算出が行われていないと判定した場合、すなわち、終了期限までに生成可能なモデルが存在しないと判定した場合（Ｓ３２のＮＯ）、情報処理装置１の情報送信部１１６は、例えば、Ｓ１４の処理において取得された回答の正答率ｃ（情報格納領域１３０に記憶された実績情報１３１に含まれる回答の正答率ｃ）のうち、最も高い回答の正答率ｃに対応するモデル群ｍｄｇを示す情報を操作端末３に送信する（Ｓ３３）。また、情報送信部１１６は、Ｓ１５の処理において、終了期限を経過していると判定した場合も同様に（Ｓ１５のＹＥＳ）、Ｓ３３の処理を行う。
【００８７】
具体的に、図１５で説明した実績情報１３１に含まれる情報のうち、「正答率」に設定された情報が最も高い情報は、「正答率」に「７０（％）」が設定された情報（「モデル名」が「ｍｄ３」である情報）である。そのため、情報送信部１１６は、モデルｍｄ１からモデルｍｄ４のうち、モデルｍｄ３を採用することが好ましい旨の情報を、操作端末３に対して送信する。
【００８８】
このように、本実施の形態における情報処理装置１は、パラメータｐの値と、パラメータｐの値を入力することによるモデルｍｄの生成時間とをそれぞれが含む複数の実績情報１３１と、モデルｍｄの生成の終了期限と、を受け付ける。
【００８９】
そして、情報処理装置１は、受け付けた複数の実績情報１３１に基づき、複数の実績情報１３１に含まれないパラメータｐの値によるモデルｍｄの生成時間の推定値を算出する。さらに、情報処理装置１は、算出した推定値に基づき、複数の実績情報１３１に含まれないパラメータｐの値のうち、受け付けた終了期限までにモデルｍｄの生成が終了するパラメータｐの値を特定する。
【００９０】
その後、情報処理装置１は、特定したパラメータｐの値のうち、いずれかのパラメータｐの値によるモデルｍｄの生成を実行する。
【００９１】
すなわち、情報処理装置１は、モデルｍｄの生成を行う際に入力を行うパラメータｐの値を、所定の終了期限内にモデルｍｄの生成を終えることができる範囲内で特定する。
【００９２】
これにより、情報処理装置１は、予め定められた終了期限までにモデルｍｄの生成を行うことが可能になる。
【００９３】
以上の実施の形態をまとめると、以下の付記の通りである。
【００９４】
（付記１）
機械学習の学習パラメータと、前記学習パラメータによる機械学習の学習時間とをそれぞれが含む複数の実績情報と、機械学習の終了期限と、を受け付け、
受け付けた前記複数の実績情報に基づき、前記複数の実績情報に含まれない学習パラメータによる機械学習の学習時間の推定値を算出し、
算出した前記学習時間の推定値に基づき、前記複数の実績情報に含まれない学習パラメータのうち、受け付けた前記終了期限までに機械学習が終了する学習パラメータを特定し、
特定した前記学習パラメータのうち、いずれかの学習パラメータによる機械学習を実行する、
処理をコンピュータに実行させることを特徴とする学習プログラム。
【００９５】
（付記２）
付記１において、
前記算出する処理では、
前記複数の実績情報に含まれる前記学習時間のうち、前記複数の実績情報に含まれない学習パラメータよりも小さい学習パラメータに対応する第１学習時間と、前記複数の実績情報に含まれない学習パラメータよりも大きい学習パラメータに対応する第２学習時間とを特定し、
特定した前記第１学習時間と前記第２学習時間とに基づき、前記複数の実績情報に含まれない学習パラメータによる機械学習の学習時間の推定値の算出を行う、
ことを特徴とする学習プログラム。
【００９６】
（付記３）
付記２において、
前記算出する処理では、前記第１学習時間と前記第２学習時間との間の時間を、前記複数の実績情報に含まれない学習パラメータによる機械学習の学習時間の推定値として算出を行う、
ことを特徴とする学習プログラム。
【００９７】
（付記４）
付記１において、
前記特定する処理では、
算出した前記学習時間の推定値に対応する学習パラメータを特定し、
特定した前記学習時間の推定値に対応する学習パラメータのうち、受け付けた前記終了期限までに機械学習が終了する学習パラメータの特定を行う、
ことを特徴とする学習プログラム。
【００９８】
（付記５）
付記１において、
前記実績情報は、前記実績情報に含まれる学習パラメータによる機械学習により学習された試行パラメータを用いた試行の成績を含み、
前記実行する処理では、前記複数の実績情報に基づき、前記複数の実績情報に含まれない学習パラメータによる機械学習により学習された試行パラメータを用いた試行の成績の推定値を算出し、
算出した前記成績の推定値に基づき、前記いずれかの学習パラメータを選択する、
ことを特徴とする学習プログラム。
【００９９】
（付記６）
付記５において、
前記実行する処理では、算出した前記成績の推定値が所定の条件を満たす学習パラメータを選択する、
ことを特徴とする学習プログラム。
【０１００】
（付記７）
付記６において、
前記所定の条件を満たす学習パラメータは、前記成績の推定値の範囲に含まれる成績のうち、最高の成績の推定値が得られる学習パラメータである、
ことを特徴とする学習プログラム。
【０１０１】
（付記８）
付記５において、
前記試行は、検索パラメータを用いた検索処理であり、
前記成績は、前記検索処理の検索結果の評価である、
ことを特徴とする学習プログラム。
【０１０２】
（付記９）
機械学習の学習パラメータと、前記学習パラメータによる機械学習の学習時間とをそれぞれが含む複数の実績情報と、機械学習の終了期限と、を受け付ける情報受付部と、
受け付けた前記複数の実績情報に基づき、前記複数の実績情報に含まれない学習パラメータによる機械学習の学習時間の推定値を算出する推定値算出部と、
算出した前記学習時間の推定値に基づき、前記複数の実績情報に含まれない学習パラメータのうち、受け付けた前記終了期限までに機械学習が終了する学習パラメータを特定するパラメータ特定部と、
特定した前記学習パラメータのうち、いずれかの学習パラメータによる機械学習を実行する機械学習実行部を、を有する、
ことを特徴とする学習装置。
【０１０３】
（付記１０）
付記９において、
前記推定値算出部は、
前記複数の実績情報に含まれる前記学習時間のうち、前記複数の実績情報に含まれない学習パラメータよりも小さい学習パラメータに対応する第１学習時間と、前記複数の実績情報に含まれない学習パラメータよりも大きい学習パラメータに対応する第２学習時間とを特定し、
特定した前記第１学習時間と前記第２学習時間とに基づき、前記複数の実績情報に含まれない学習パラメータによる機械学習の学習時間の推定値の算出を行う、
ことを特徴とする学習装置。
【０１０４】
（付記１１）
付記９において、
前記パラメータ特定部は、
算出した前記学習時間の推定値に対応する学習パラメータを特定し、
特定した前記学習時間の推定値に対応する学習パラメータのうち、受け付けた前記終了期限までに機械学習が終了する学習パラメータの特定を行う、
ことを特徴とする学習装置。
【０１０５】
（付記１２）
機械学習の学習パラメータと、前記学習パラメータによる機械学習の学習時間とをそれぞれが含む複数の実績情報と、機械学習の終了期限と、を受け付け、
受け付けた前記複数の実績情報に基づき、前記複数の実績情報に含まれない学習パラメータによる機械学習の学習時間の推定値を算出し、
算出した前記学習時間の推定値に基づき、前記複数の実績情報に含まれない学習パラメータのうち、受け付けた前記終了期限までに機械学習が終了する学習パラメータを特定し、
特定した前記学習パラメータのうち、いずれかの学習パラメータによる機械学習を実行する、
ことを特徴とする学習方法。
【０１０６】
（付記１３）
付記１２において、
前記算出する工程では、
前記複数の実績情報に含まれる前記学習時間のうち、前記複数の実績情報に含まれない学習パラメータよりも小さい学習パラメータに対応する第１学習時間と、前記複数の実績情報に含まれない学習パラメータよりも大きい学習パラメータに対応する第２学習時間とを特定し、
特定した前記第１学習時間と前記第２学習時間とに基づき、前記複数の実績情報に含まれない学習パラメータによる機械学習の学習時間の推定値の算出を行う、
ことを特徴とする学習方法。
【０１０７】
（付記１４）
付記１２において、
前記特定する工程では、
算出した前記学習時間の推定値に対応する学習パラメータを特定し、
特定した前記学習時間の推定値に対応する学習パラメータのうち、受け付けた前記終了期限までに機械学習が終了する学習パラメータの特定を行う、
ことを特徴とする学習方法。
【符号の説明】
【０１０８】
１：情報処理装置          ２：記憶装置
３：操作端末              １０１：ＣＰＵ
１０２：メモリ            １０３：Ｉ／Ｏユニット
１０４：記憶媒体          １３０：情報格納領域
【図１】
2019067327.tif 000003
【図２】
2019067327.tif 000004
【図３】
2019067327.tif 000005
【図４】
2019067327.tif 000006
【図５】
2019067327.tif 000007
【図６】
2019067327.tif 000008
【図７】
2019067327.tif 000009
【図８】
2019067327.tif 000010
【図９】
2019067327.tif 000011
【図１０】
2019067327.tif 000012
【図１１】
2019067327.tif 000013
【図１２】
2019067327.tif 000014
【図１３】
2019067327.tif 000015
【図１４】
2019067327.tif 000016
【図１５】
2019067327.tif 000017