(57)【要約】【課題】ハイパーパラメータの調整工数を短縮することが可能なパラメータ調整装置、学習システム、パラメータ調整方法、およびプログラムを提供することである。【解決手段】実施形態のパラメータ調整装置は、推定部と、限定部と、決定部とを持つ。推定部は、機械学習によって得られた学習結果に基づいて、前記機械学習の動作を規定するハイパーパラメータと前記学習結果との関係を示す推定関数を推定する。限定部は、前記推定部により推定された推定関数に基づいて、前記ハイパーパラメータの値域を限定する。決定部は、前記限定部により限定された値域に含まれるハイパーパラメータの中から、前記機械学習に用いるハイパーパラメータを決定する。【選択図】図１
2018159992.tif 000002
【特許請求の範囲】
【請求項１】
機械学習によって得られた学習結果に基づいて、前記機械学習の動作を規定するハイパーパラメータと前記学習結果との関係を示す推定関数を推定する推定部と、
前記推定部により推定された推定関数に基づいて、前記ハイパーパラメータの値域を限定する限定部と、
前記限定部により限定された値域に含まれるハイパーパラメータの中から、前記機械学習に用いるハイパーパラメータを決定する決定部と
を備える、パラメータ調整装置。
【請求項２】
前記推定部は、前記機械学習の学習結果が得られていない範囲を含む前記推定関数を推定する、
請求項１に記載のパラメータ調整装置。
【請求項３】
前記推定部は、複数の基準関数のうち、前記機械学習によって得られた前記学習結果と、当該基準関数に基づいて算出された算出結果との差が最小になる基準関数を、前記推定関数として推定する、
請求項１または２に記載のパラメータ調整装置。
【請求項４】
前記決定部は、一様分布を用いた探索手法に基づいて、前記機械学習に用いるハイパーパラメータを決定する、
請求項１から３のいずれか一項に記載のパラメータ調整装置。
【請求項５】
前記推定部は、ニューラルネットワークの構成および結合の重みの調整に使用されるハイパーパラメータと前記学習結果との関係を示す推定関数を推定する、
請求項１から４のいずれか一項に記載のパラメータ調整装置。
【請求項６】
前記推定部は、前記機械学習によって得られた前記学習結果と、ポアソン分布の関数に基づいて算出された算出結果との差が最小になる関数を前記推定関数として推定する、
請求項１から５のいずれか一項に記載のパラメータ調整装置。
【請求項７】
請求項１から６のいずれか一項に記載のパラメータ調整装置と、
前記パラメータ調整装置によって決定された前記ハイパーパラメータを用いて、学習処理を行う学習装置と
を備えた学習システム。
【請求項８】
機械学習によって得られた学習結果に基づいて、前記機械学習の動作を規定するハイパーパラメータと前記学習結果との関係を示す推定関数を推定し、
前記推定された推定関数に基づいて、前記ハイパーパラメータの値域を限定し、
前記限定された値域に含まれるハイパーパラメータの中から、前記機械学習に用いるハイパーパラメータを決定する、
パラメータ調整方法。
【請求項９】
コンピュータに、
機械学習によって得られた学習結果に基づいて、前記機械学習の動作を規定するハイパーパラメータと前記学習結果との関係を示す推定関数を推定させ、
前記推定された推定関数に基づいて、前記ハイパーパラメータの値域を限定させ、
前記限定された値域に含まれるハイパーパラメータの中から、前記機械学習に用いるハイパーパラメータを決定させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、パラメータ調整装置、学習システム、パラメータ調整方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、画像認識、音声認識、および言語解析などの分野において、機械学習を用いた手法についての研究が行われている。特に、多層構造のニューラルネットワークを用いたディープラーニング手法が注目されている。このディープラーニング手法においては、予め教師データなどを用いた学習処理を行い、ニューラルネットワークの結合の重みなどが調整される。このようなニューラルネットワークの結合の重みを調整する場合、学習の動作を規定するハイパーパラメータ（学習率、各層のノード数、層数など）の値が、学習結果に大きな影響を及ぼす。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２３８６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のような学習処理においては、所望の学習結果が得られるまで、ハイパーパラメータの値を変化させながら学習処理を何度も繰り返す必要がある。例えば、ハイパーパラメータの値を変更するたびに学習結果を確認し、ハイパーパラメータと学習結果との関係を把握した上で、再びハイパーパラメータの値を調整する作業が必要となる。このため、このようなハイパーパラメータの調整に時間がかかる。
【０００５】
また、ハイパーパラメータの調整に確率分布による一般的探索手法を用いた場合、初期値に左右されて本来探索すべき値から外れた不要な範囲の探索を繰り返す可能性がある。このため、ハイパーパラメータの調整を行っても所望の学習結果を得ることができない場合がある。
【０００６】
本発明が解決しようとする課題は、ハイパーパラメータの調整を効率的に行うことが可能なパラメータ調整装置、学習システム、パラメータ調整方法、およびプログラムを提供することである。
【課題を解決するための手段】
【０００７】
実施形態のパラメータ調整装置は、推定部と、限定部と、決定部とを持つ。推定部は、機械学習によって得られた学習結果に基づいて、前記機械学習の動作を規定するハイパーパラメータと前記学習結果との関係を示す推定関数を推定する。限定部は、前記推定部により推定された推定関数に基づいて、前記ハイパーパラメータの値域を限定する。決定部は、前記限定部により限定された値域に含まれるハイパーパラメータの中から、前記機械学習に用いるハイパーパラメータを決定する。
【図面の簡単な説明】
【０００８】
【図１】実施形態の学習システムの一例を示す図。
【図２】実施形態のパラメータ調整装置の処理の一例を示すフローチャート。
【図３】実施形態のパラメータ調整装置の関数推定処理の一例を示すフローチャート。
【図４】実施形態における学習処理によって得られた学習結果と第１ハイパーパラメータとの関係を示す図。
【図５】実施形態における基準関数上の基準点と学習結果における基準点との調整処理を示す図。
【図６】実施形態における学習結果と基準関数から算出された算出結果との誤差が最小となる関数を推定する処理を示す図。
【図７】実施形態における関数推定部によって推定された複数の推定関数を示す図。
【図８】実施形態における探索範囲限定部によって限定された第１ハイパーパラメータの値域を示す図。
【図９】実施例のパラメータ調整装置の処理を示すフローチャート。
【図１０】実施例のパラメータ調整装置の関数推定処理を示すフローチャート。
【図１１】実施例における学習処理によって得られた学習結果と第１ハイパーパラメータとの関係を示す図。
【図１２】実施例における基準関数上の基準点と学習結果における基準点との調整処理を示す図。
【図１３】実施例における学習結果と基準関数から算出された算出結果との誤差が最小となる関数を推定する処理を示す図。
【図１４】実施例における関数推定部によって推定された複数の推定関数を示す図。
【図１５】実施例における探索範囲限定部によって限定された値域を示す図。
【図１６】実施例における学習処理結果を示す図。
【発明を実施するための形態】
【０００９】
以下、実施形態のパラメータ調整装置、学習システム、パラメータ調整方法、およびプログラムを、図面を参照して説明する。
【００１０】
図１は、実施形態の学習システムＳの一例を示す図である。学習システムＳは、例えば、パラメータ調整装置１と、学習装置３とを備える。パラメータ調整装置１と、学習装置３とは、ネットワークＮによって互いに接続されている。ネットワークＮは、例えば、ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）、インターネット、専用回線などを含む。
【００１１】
パラメータ調整装置１は、機械学習におけるハイパーパラメータの調整を行う。すなわち、パラメータ調整装置１は、機械学習のハイパーパラメータを調整する際に、学習処理を行った学習結果（正答率など）の傾向から、ハイパーパラメータと学習結果との関係を関数で推定し、この関数に基づいてハイパーパラメータの値域を限定する。例えば、パラメータ調整装置１は、ハイパーパラメータと、学習装置３がこのハイパーパラメータを用いて学習処理を行った学習結果との関係を関数で推定し、この関数に基づいてハイパーパラメータの値域を限定する。
【００１２】
パラメータ調整装置１は、例えば、パラメータ候補決定部１０（決定部）と、タスク送信部１２と、関数推定部１４（推定部）と、探索範囲限定部１６（限定部）と、記憶部１８とを備える。パラメータ調整装置１の各機能部のうち一部または全部は、プロセッサがプログラム（ソフトウェア）を実行することにより実現されてよい。この場合、パラメータ調整装置１は、上記のプログラムをコンピュータ装置に予めインストールすることで実現してもよい。或いは、ＣＤ−ＲＯＭなどの記憶媒体に記憶された上記のプログラム、又はネットワークを介して頒布される上記のプログラムを、コンピュータ装置に適宜インストールすることで実現してもよい。
【００１３】
パラメータ候補決定部１０は、調整対象とするハイパーパラメータの種類およびハイパーパラメータの値の組み合わせの候補を決定する。パラメータ候補決定部１０は、組み合わせの候補を決定するために、一様分布に基づくランダム方式の探索手法、確率分布に基づくベイジアン（Bayesian）方式の探索手法などを用いる。
【００１４】
タスク送信部１２は、パラメータ候補決定部１０によって決定された候補を用いた学習処理を示すタスクを学習装置３に送信する。学習装置３は、このタスクに基づいて、学習処理を実行する。
【００１５】
関数推定部１４は、学習装置３から受け取った学習結果の傾向に基づいて、ハイパーパラメータと学習結果との関係を示す関数（以下、「推定関数」と呼ぶ）を推定する。
【００１６】
探索範囲限定部１６は、関数推定部１４によって推定された推定関数に基づいて、学習結果が得られていない未学習範囲を含む学習結果の傾向を予測し、予測した傾向から、最適な学習結果が得られることが予測されるハイパーパラメータの値域を限定する。
【００１７】
記憶部１８は、予め機械学習において使用されるハイパーパラメータの探索範囲を記憶する。また、記憶部１８は、探索範囲限定部１６によって限定された各ハイパーパラメータの値域を記憶する。記憶部１８は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリなどで実現される。
【００１８】
学習装置３は、画像認識、音声認識、および言語解析などの判定処理などを行う。学習装置３は、パラメータ調整装置１から受け取ったハイパーパラメータに基づいて、学習処理を行う。学習装置３は、例えば、多層構造のニューラルネットワークを用いたディープラーニング手法を用いる。この学習処理では、ニューラルネットワークの構成および結合の重みなどが調整される。学習装置３は、学習処理における学習結果（正答率など）を、パラメータ調整装置１に入力する。
【００１９】
次に、パラメータ調整装置１の動作について説明する。図２は、パラメータ調整装置１の処理の一例を示すフローチャートである。
【００２０】
まず、パラメータ候補決定部１０は、入力部（図示しない）から入力されたユーザの指示などに基づいて、学習率、各層のノード数、層数などのハイパーパラメータの中で、調整対象とするハイパーパラメータを選択する（ステップＳ１０１）。以下においては、学習処理に関連する２つのハイパーパラメータ（第１ハイパーパラメータＡおよび第２ハイパーパラメータＢ）を調整対象とする例について説明する。
【００２１】
次に、パラメータ候補決定部１０は、２つのハイパーパラメータの内、一方のハイパーパラメータ（第１ハイパーパラメータＡ）の値の候補を複数個決定する。すなわち、パラメータ候補決定部１０は、記憶部１８から第１ハイパーパラメータＡの探索範囲を読み出し、その探索範囲内で第１ハイパーパラメータＡの値の候補を複数個決定する。第１ハイパーパラメータＡの探索範囲としては、例えば、１０ｎ（ｎ＝１，２，．．．）のように大きな範囲が設定されてよい。また、パラメータ候補決定部１０は、他方のハイパーパラメータ（第２ハイパーパラメータ）については固定値として設定する。
【００２２】
次に、タスク送信部１２は、パラメータ候補決定部１０によって決定されたパラメータセット（複数の値を有する第１ハイパーパラメータＡの各々と、固定値の第２ハイパーパラメータＢとの組み合わせ）を学習装置３に送信し、学習装置３に学習処理を行わせる（ステップＳ１０５）。また、タスク送信部１２は、学習装置３において行われる学習処理の繰り返し回数を規定するハイパーパラメータを学習装置３に送信してもよい。
【００２３】
次に、関数推定部１４は、学習装置３から受け取った学習結果に基づいて、第１ハイパーパラメータＡと学習結果との関係を示す推定関数を推定する（ステップＳ１０７）。図３は、パラメータ調整装置１の関数推定処理の一例を示すフローチャートである。
【００２４】
関数推定処理において、まず、関数推定部１４は、学習装置３から受け取った学習結果における基準点と、予め定義された基準関数ｆ（Ａ）との基準点との値が等しくなるように、基準関数ｆ（Ａ）をα（定数）倍する（ステップＳ２０１）。基準関数ｆ（Ａ）として、複数の基準関数ｆ（Ａ）が予め定義されてもよい。この場合、この複数の基準関数ｆ（Ａ）の中から、学習装置３から受け取った学習結果に近い傾向を示す関数が選択されてよい。図４は、学習装置３による学習処理によって得られた学習結果（正答率）と、第１ハイパーパラメータＡとの関係を示す図である。図５は、基準関数ｆ（Ａ）上の基準点Ｄ１と学習結果における基準点Ｄ２との調整処理を示す図である。図５に示すように、基準関数ｆ（Ａ）上の基準点Ｄ１と、学習結果における基準点Ｄ２との正答率の値が等しくなるように、基準関数ｆ（Ａ）をα倍する。
【００２５】
次に、関数推定部１４は、学習装置３から受け取った学習結果と、基準関数ｆ（Ａ）をα倍することにより得られた関数α＊ｆ（Ａ）から算出された算出結果との誤差（差）が最小となる関数を第１推定関数Ｆ１として推定する（ステップＳ２０３）。例えば、図６に示すように、関数推定部１４は、学習装置３から受け取った学習結果と、基準関数α＊ｆ（Ａ）から算出された算出結果との誤差の合計が最小となる関数を求めることで、第１推定関数Ｆ１を推定する。
【００２６】
次に、関数推定部１４は、上記の基準関数ｆ（Ａ）を用いて、第２ハイパーパラメータＢの最小値と対応する第２推定関数Ｆ２を推定する（ステップＳ２０５）。例えば、関数推定部１４は、上記のパラメータ候補決定部１０によって決定された複数の値を有する第１ハイパーパラメータＡの各々と第２ハイパーパラメータＢの最小値との組み合わせを学習装置３に送信して学習処理を行わせることにより得られた学習結果と、基準関数ｆ（Ａ）を定数倍することにより得られた関数から算出された算出結果との誤差が最小となる関数を第２推定関数Ｆ２として推定する。
【００２７】
次に、関数推定部１４は、上記の基準関数ｆ（Ａ）を用いて、第２ハイパーパラメータＢの最大値と対応する第３推定関数Ｆ３を推定する（ステップＳ２０７）。例えば、関数推定部１４は、上記のパラメータ候補決定部１０によって決定された複数の値を有する第１ハイパーパラメータＡの各々と第２ハイパーパラメータＢの最大値との組み合わせを学習装置３に送信して学習処理を行わせることにより得られた学習結果と、基準関数ｆ（Ａ）を定数倍することにより得られた関数から算出された算出結果との誤差が最小となる関数を第３推定関数Ｆ３として推定する。
【００２８】
次に、関数推定部１４は、第１推定関数Ｆ１、第２推定関数Ｆ２、および第３推定関数Ｆ３に基づいて、学習結果が得られていない範囲（未学習範囲）における推定関数を推定する（ステップＳ２０９）。例えば、関数推定部１４は、各推定関数における第２ハイパーパラメータＢと関連付けされる他のパラメータＣの変化を推定することで、固定値として設定された第２ハイパーパラメータＢの値と、第２ハイパーパラメータＢの最小値との間の推定関数を推定する。また、関数推定部１４は、固定値として設定された第２ハイパーパラメータＢの値と、第２ハイパーパラメータＢの最大値との間の推定関数を推定する。
【００２９】
図７は、関数推定部１４によって推定された複数の推定関数を示す図である。図７に示す例では、関数推定部１４によって第１推定関数Ｆ１、第２推定関数Ｆ２、および第３推定関数Ｆ３が推定された後、各推定関数における第２ハイパーパラメータＢと関連付けされる他のパラメータＣの変化を推定することで、推定関数Ｆ１，Ｆ２，およびＦ３以外の未学習範囲における推定関数（点線）が推定される。以上により、関数推定に関する本フローチャートの処理を終了する。
【００３０】
次に、探索範囲限定部１６は、関数推定部１４によって推定された複数の推定関数に基づいて、第２ハイパーパラメータＢの各値における第１ハイパーパラメータＡの値域を限定する（ステップＳ１１１）。第２ハイパーパラメータＢの値を選択する場合には、一様分布に基づくランダム方式、メトロポリス法などを用いてよい。また、第１ハイパーパラメータＡの値域を限定する場合には、各推定関数における学習結果のピーク値を基準とした所定の範囲を値域として限定してよい。探索範囲限定部１６は、限定した値域を、記憶部１８に記憶させる。
【００３１】
図８は、探索範囲限定部１６によって限定された第１ハイパーパラメータＡの値域を示す図である。図８に示す例では、関数推定部１４によって推定された推定関数における学習結果のピークＰを基準とした所定の範囲σを値域として限定されている。
【００３２】
次に、パラメータ候補決定部１０は、記憶部１８に記憶されている探索範囲限定部１６によって限定された値域に含まれる第１ハイパーパラメータＡの中から、最適な学習結果が得られることが予測される第１ハイパーパラメータＡの値を選択し、選択した第１ハイパーパラメータＡと第２ハイパーパラメータＢとのパラメータセットを決定する（ステップＳ１１３）。
【００３３】
次に、タスク送信部１２は、パラメータ候補決定部１０によって決定された機械学習に用いるパラメータセットを学習装置３に送信し、学習装置３に学習処理を行わせる（ステップＳ１１５）。以上により、本フローチャートの処理を終了する。
【００３４】
以上で説明した実施形態によれば、実際の学習結果の傾向から、各パラメータと学習結果との関係を関数で推定し、値域を限定しながら学習することによって、不要な範囲の探索回数を削減でき、ハイパーパラメータの調整にかかる作業工数を短縮することができる。
【００３５】
次に、Ｍｏｍｅｎｔｕｍ  ＳＧＣを用いたハイパーパラメータの調整方法に関する実施例について説明する。図９は、実施例における、パラメータ調整装置１の処理を示すフローチャートである。
【００３６】
まず、パラメータ候補決定部１０は、入力部（図示しない）から入力されたオペレータの指示などに基づいて、学習率、各層のノード数、層数などのハイパーパラメータの中で、調整対象とするハイパーパラメータを選択する（ステップＳ３０１）。ここでは、パラメータ候補決定部１０は、調整対象とする第１ハイパーパラメータＡとして「学習率」を選択し、第２ハイパーパラメータＢとして「モメンタム（ｍｏｍｅｎｔｕｍ）」を選択する。
【００３７】
次に、パラメータ候補決定部１０は、第１ハイパーパラメータＡ（学習率）として「学習率＝１０−ｎ（ｎ＝１，２，・・・５）」を決定し、第２ハイパーパラメータＢ（Ｂｄｅｆａｕｌｔ）（モメンタム）として「ｍｏｍｅｎｔｕｍ＝０．９０」を決定する（ステップＳ３０３）。
【００３８】
次に、タスク送信部１２は、パラメータ候補決定部１０によって決定されたパラメータセット（５つの第１ハイパーパラメータＡの各々と、固定値の第２ハイパーパラメータＢとの組み合わせ）を学習装置３に送信し、学習装置３に学習処理を行わせる（ステップＳ３０５）。図１１は、学習処理によって得られた学習結果と第１ハイパーパラメータＡとの関係を示す図である。
【００３９】
次に、関数推定部１４は、学習装置３から受け取った学習結果に基づいて、第１ハイパーパラメータＡと学習結果との関係を示す推定関数を推定する（ステップＳ３０７）。図１０は、パラメータ調整装置１の関数推定処理を示すフローチャートである。
【００４０】
関数推定処理において、まず、関数推定部１４は、学習装置３から受け取った学習結果における基準点と、予め定義された基準関数ｆ（Ａ）上における基準点との値が等しくなるように、基準関数ｆ（Ａ）をα（定数）倍する（ステップＳ４０１）。ここでは、基準関数ｆ（Ａ）として、以下の式（１）のポアソン分布が定義されているとする。
【数１】
2018159992.tif 000003
【００４１】
上記の式（１）におけるｋは、上記の学習率（１０−ｎ）におけるｎとの間において、ｎ＝ｋ＋１の関係を満たす。すなわち、この式（１）におけるｋは、第１ハイパーパラメータＡと関連付けされる変数である。また、この式（１）におけるλは、第２ハイパーパラメータＢと関連付けされる変数（パラメータＣ）である。
【００４２】
図１２に示すように、基準関数ｆ（Ａ）上の基準点Ｄ１と、学習結果における基準点Ｄ２との正答率の値が等しくなるように、基準関数ｆ（Ａ）をα倍する。関数推定部１４は、例えば、ｋ＝１（学習率＝０．０１）の場合の分布の値と、学習装置３から受け取った学習結果（正答率）との値が等しくなるように、基準関数ｆ（Ａ）をα倍する。
【００４３】
次に、関数推定部１４は、学習装置３から受け取った学習結果と、基準関数ｆ（Ａ）をα倍することにより得られた関数α＊ｆ（Ａ）から算出された算出結果との誤差（差）の合計が最小となる関数を第１推定関数Ｆ１として推定する（ステップＳ４０３）。関数推定部１４は、例えば、二乗誤差の和が最小になるλの値を推定する。図１３に示すように、関数推定部１４は、式（１）において、λ０＝２である関数を第１推定関数Ｆ１として推定する。
【００４４】
次に、関数推定部１４は、上記の基準関数ｆ（Ａ）を用いて、第２ハイパーパラメータＢの最小値（Ｂｍｉｎ）と対応する第２推定関数Ｆ２を推定する（ステップＳ４０５）。例えば、関数推定部１４は、上記のパラメータ候補決定部１０によって決定された５つの第１ハイパーパラメータＡの各々と第２ハイパーパラメータＢの最小値（０．０１）との組み合わせを学習装置３に送信して学習処理を行わせることにより得られた学習結果と、基準関数ｆ（Ａ）を定数倍することにより得られた関数から算出された算出結果との誤差が最小となる関数を第２推定関数Ｆ２として推定する。
【００４５】
次に、関数推定部１４は、上記の基準関数ｆ（Ａ）を用いて、第２ハイパーパラメータＢの最大値（Ｂｍａｘ）と対応する第３推定関数Ｆ３を推定する（ステップＳ４０７）。例えば、関数推定部１４は、上記のパラメータ候補決定部１０によって決定された５つの第１ハイパーパラメータＡの各々と第２ハイパーパラメータＢの最大値（０．９９）との組み合わせを学習装置３に送信して学習処理を行わせることにより得られた学習結果と、基準関数ｆ（Ａ）を定数倍することにより得られた関数から算出された算出結果との誤差が最小となる関数を第３推定関数Ｆ３として推定する。
【００４６】
次に、関数推定部１４は、第１推定関数Ｆ１、第２推定関数Ｆ２、および第３推定関数Ｆ３に基づいて、学習結果が得られていない範囲（未学習範囲）における推定関数を推定する（ステップＳ４０９）。図１４に示すように、関数推定部１４は、第１推定関数Ｆ１、第２推定関数Ｆ２、および第３推定関数Ｆ３を推定した後、０．０１＜ｍｏｍｅｎｔｕｍ＜０．９９の範囲において、第２ハイパーパラメータＢと、パラメータλとの関係を表した近似式を求める。例えば、関数推定部１４は、以下の式（２）および（３）の関係を表した近似式（４）を求める。式（４）において、ａおよびｂは定数である。
【数２】
2018159992.tif 000004
【００４７】
ここで、λ０＝Ｂｄｅｆａｕｌｔ、ΔＢ＝Ｂ−Ｂｄｅｆａｕｌｔ（Ｂは学習時に確率分布によって与えられる）であるため、近似式（４）は、式（５）のように表される。
【数３】
2018159992.tif 000005
【００４８】
本実施例において、関数推定部１４は、以下の式（６）によって表される近似式を求める（上記式（５）におけるｂは０とする）。この近似式（６）において、βは定数である。関数推定部１４は、この近似式（６）を用いて、０．０１刻みの各ｍｏｍｅｎｔｕｍの値でのλの値を求める（ｍｏｍｅｎｔｕｍ＝０．９は除く）。
【数４】
2018159992.tif 000006
【００４９】
このように、第１推定関数Ｆ１、第２推定関数Ｆ２、および第３推定関数Ｆ３における第２ハイパーパラメータＢと関連付けされるパラメータλの変化を推定することで、未学習範囲における推定関数が推定される。以上により、関数推定に関する本フローチャートの処理を終了する。なお、関数推定部１４が求める近似式は、一次関数の式である必要はなく、二次関数などの式であってもよい。また、近似式が予め定義されている場合には、第２ハイパーパラメータＢの最小値（Ｂｍｉｎ）と対応する第２推定関数Ｆ２および第２ハイパーパラメータＢの最大値（Ｂｍａｘ）と対応する第３推定関数Ｆ３を推定する処理を省略してもよい。
【００５０】
次に、探索範囲限定部１６は、関数推定部１４によって推定された複数の推定関数に基づいて、第１ハイパーパラメータＡの値域を限定する（ステップＳ３１１）。図１５は、関数推定部１４によって推定された複数の推定関数と、探索範囲限定部１６によって限定された値域を示す図である。図１５に示す例では、４つの第２ハイパーパラメータＢ（０．０９，０．６２，０．９０，０．９９）の各々に対して推定された推定関数において、正答率のピークＰ１からＰ４を第１ハイパーパラメータＡの値域として限定している。探索範囲限定部１６は、ピークＰ１からＰ４の各々を基準とした所定の範囲を値域として限定してもよい。
【００５１】
次に、パラメータ候補決定部１０は、探索範囲限定部１６によって限定された値域に含まれる第１ハイパーパラメータＡの中から、機械学習に用いる第１ハイパーパラメータＡを選択し、選択した第１ハイパーパラメータＡと第２ハイパーパラメータＢとのパラメータセットを決定する（ステップＳ３１３）。
【００５２】
次に、タスク送信部１２は、パラメータ候補決定部１０によって決定された機械学習に用いるパラメータセットを学習装置３に送信し、学習装置３に学習処理を行わせる（ステップＳ３１５）。以上により、本フローチャートの処理を終了する。
【００５３】
図１６は、実施例におけるパラメータ調整装置１によって調整されたハイパーパラメータを用いて学習処理を行った場合の処理結果を示す図である。正答率の平均改善幅とは、基準となる引数(ｌｒ＝０．０１，ｍｏｍｅｎｔｕｍ＝０．９)の正答率と、調整によって得られた正答率の最大値との差を示している。また、平均探索数は、ベイジアン探索において、実施例で求めた正答率以上の値が得られるまでの探索数の平均値を示している。ベイジアン探索での最大探索回数が４０回のため、その回数内で得られなかった場合は、値を４０として算出している。
【００５４】
図１６に示すように、従来のベイジアン探索を用いた場合と比較して、実施例におけるパラメータ調整装置１によって調整されたハイパーパラメータを用いて学習処理を行った場合、同じ程度の平均改善幅の値で、平均の探索数を半分程度に抑えることができる。また、探索数１５回の結果によると、本実施例により平均改善幅の値を向上させることができる。例えば、クラス数が「３０」であり、探索数が「１５」である条件下で比較すると、従来のベイジアン探索を用いた場合の平均改善幅は「１．８１」であるのに対して、本実施例では「２．５２」となっており、平均改善幅の値が向上していることが分かる。また、クラス数が増大するにつれて、本実施例では平均改善幅の値をより向上させることができる。
【００５５】
以上で説明した実施形態によれば、実際の学習結果の傾向から、各パラメータと学習結果との関係を関数で推定し、値域を限定しながら学習することによって、不要な範囲の探索回数を削減でき、ハイパーパラメータの調整にかかる作業工数を短縮することができる。
【００５６】
なお、上記の実施形態では、調整対象のパラメータとして２つのパラメータ（第１ハイパーパラメータＡおよび第２ハイパーパラメータＢ）を用いた例を説明したが、３つ以上のパラメータの調整に本実施形態を適用してもよい。
【００５７】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００５８】
１…パラメータ調整装置、３…学習装置、１０…パラメータ候補決定部、１２…タスク送信部、１４…関数推定部、１６…探索範囲限定部、１８…記憶部、Ｓ…学習システム
【図１】
2018159992.tif 000007
【図２】
2018159992.tif 000008
【図３】
2018159992.tif 000009
【図４】
2018159992.tif 000010
【図５】
2018159992.tif 000011
【図６】
2018159992.tif 000012
【図７】
2018159992.tif 000013
【図８】
2018159992.tif 000014
【図９】
2018159992.tif 000015
【図１０】
2018159992.tif 000016
【図１１】
2018159992.tif 000017
【図１２】
2018159992.tif 000018
【図１３】
2018159992.tif 000019
【図１４】
2018159992.tif 000020
【図１５】
2018159992.tif 000021
【図１６】
2018159992.tif 000022