(57)【要約】【課題】ハイパーパラメータを決定するための計算コストを低減する。【解決手段】学習装置は、算出部と、学習部と、を備える。算出部は、モデルの出力の局所分布の滑らかさを表す平滑度を含み、モデルを定める第１モデルパラメータを推定するための第１目的関数の値と、第１目的関数を利用してモデルを学習する学習方法のハイパーパラメータを第２モデルパラメータとして、学習データの距離スケールにより近い第２モデルパラメータを推定するための第２目的関数の値と、を算出する。学習部は、第１目的関数の値および第２目的関数の値を最適化するように第１モデルパラメータおよび第２モデルパラメータを更新する。【選択図】図１
2019046236.tif 000002
【特許請求の範囲】
【請求項１】
モデルの出力の局所分布の滑らかさを表す平滑度を含み、前記モデルを定める第１モデルパラメータを推定するための第１目的関数の値と、前記第１目的関数を利用して前記モデルを学習する学習方法のハイパーパラメータを第２モデルパラメータとして、学習データの距離スケールにより近い前記第２モデルパラメータを推定するための第２目的関数の値と、を算出する算出部と、
前記第１目的関数の値および前記第２目的関数の値を最適化するように前記第１モデルパラメータおよび前記第２モデルパラメータを更新する学習部と、
を備える学習装置。
【請求項２】
前記距離スケールは、予め定められた射影空間上での距離スケールである、
請求項１に記載の学習装置。
【請求項３】
前記モデルは、ニューラルネットワークであり、
前記距離スケールは、前記ニューラルネットワークの中間層の出力を示す射影空間上での距離スケールである、
請求項２に記載の学習装置。
【請求項４】
前記距離スケールは、複数の第１学習データそれぞれと、複数の学習データのうち他の学習データより前記第１学習データに距離が近い第２学習データと、の間の距離の平均である、
請求項１に記載の学習装置。
【請求項５】
前記距離スケールは、学習データごとに求められる、
請求項１に記載の学習装置。
【請求項６】
前記ハイパーパラメータは、前記平滑度を算出するためのハイパーパラメータである、
請求項１に記載の学習装置。
【請求項７】
前記モデルは、ニューラルネットワークである、
請求項１に記載の学習装置。
【請求項８】
請求項１から請求項７のいずれか１項に記載の学習装置と、
更新された前記第１モデルパラメータにより定められる前記モデルを用いた情報処理を制御する制御部と、
を備える情報処理装置。
【請求項９】
モデルの出力の局所分布の滑らかさを表す平滑度を含み、前記モデルを定める第１モデルパラメータを推定するための第１目的関数の値と、前記第１目的関数を利用して前記モデルを学習する学習方法のハイパーパラメータを第２モデルパラメータとして、学習データの距離スケールにより近い前記第２モデルパラメータを推定するための第２目的関数の値と、を算出する算出ステップと、
前記第１目的関数の値および前記第２目的関数の値を最適化するように前記第１モデルパラメータおよび前記第２モデルパラメータを更新する学習ステップと、
を含む学習方法。
【請求項１０】
コンピュータを、
モデルの出力の局所分布の滑らかさを表す平滑度を含み、前記モデルを定める第１モデルパラメータを推定するための第１目的関数の値と、前記第１目的関数を利用して前記モデルを学習する学習方法のハイパーパラメータを第２モデルパラメータとして、学習データの距離スケールにより近い前記第２モデルパラメータを推定するための第２目的関数の値と、を算出する算出部と、
前記第１目的関数の値および前記第２目的関数の値を最適化するように前記第１モデルパラメータおよび前記第２モデルパラメータを更新する学習部、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、学習装置、情報処理装置、学習方法およびプログラムに関する。
【背景技術】
【０００２】
機械学習に関して、高精度な分類器や回帰を学習するために、モデルのハイパーパラメータを自動チューニングする技術、および、目的関数に正則化項を加える技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１６−５２３４０２号公報
【非特許文献】
【０００４】
【非特許文献１】Takeru  Miyato1,  Shin-ichi  Maeda1,  Masanori  Koyama1,  Ken  Nakae1  &  Shin  Ishii，“DISTRIBUTIONAL  SMOOTHING  WITH  VIRTUAL  ADVERSARIAL  TRAINING”，arXiv:1507.00677v9，11  Jun  2016．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、ハイパーパラメータを決定するための計算コストが高いという問題があった。
【課題を解決するための手段】
【０００６】
実施形態の学習装置は、算出部と、学習部と、を備える。算出部は、モデルの出力の局所分布の滑らかさを表す平滑度を含み、モデルを定める第１モデルパラメータを推定するための第１目的関数の値と、第１目的関数を利用してモデルを学習する学習方法のハイパーパラメータを第２モデルパラメータとして、学習データの距離スケールにより近い第２モデルパラメータを推定するための第２目的関数の値と、を算出する。学習部は、第１目的関数の値および第２目的関数の値を最適化するように第１モデルパラメータおよび第２モデルパラメータを更新する。
【図面の簡単な説明】
【０００７】
【図１】第１の実施形態にかかる学習装置を含む情報処理装置のブロック図。
【図２】第１の実施形態における学習処理のフローチャート。
【図３】算出部による算出処理のフローチャート。
【図４】第２の実施形態にかかる学習装置を含む情報処理装置のブロック図。
【図５】第２の実施形態における算出処理のフローチャート。
【図６】第３の実施形態にかかる学習装置を含む情報処理装置のブロック図。
【図７】第１から第３の実施形態にかかる装置のハードウェア構成図。
【発明を実施するための形態】
【０００８】
以下に添付図面を参照して、この発明にかかる学習装置の好適な実施形態を詳細に説明する。
【０００９】
ハイパーパラメータは、設定可能な範囲が広く、精度への影響も大きい場合がある。このため、従来は、グリッドサーチおよびベイズ最適化等によりハイパーパラメータが決定されていた。このような方法では、複数回、学習が実行され、その結果により最適なハイパーパラメータが決定される。このため、ハイパーパラメータを決定するための計算コストが高くなる。
【００１０】
以下の各実施形態では、ハイパーパラメータに関する目的関数を導入してモデルの学習と同時にハイパーパラメータを学習する。これにより、ハイパーパラメータを手動で設定する必要がなくなる。また、例えば１回のモデルの学習で同時にハイパーパラメータも学習できるため、ハイパーパラメータを決定するための計算コストが低減できる。また、より精度が高いモデルを学習することが可能となる。
【００１１】
以下に説明する本実施形態は、機械学習モデルとしてニューラルネットワークを利用し、ＶＡＴ（Virtual  Adversarial  Training）法によりモデルを学習する場合を例に説明する。適用可能なモデルは、ニューラルネットワークに限られるものではない。また適用可能な学習方法は、ＶＡＴ法に限られるものではない。例えば、勾配ブースティングなどの他の学習方法を用いてもよい。例えば、ＳＶＭ（サポートベクターマシン）などを用いてもよい。
【００１２】
（第１の実施形態）
図１は、第１の実施形態にかかる学習装置１００を含む情報処理装置２００の構成の一例を示すブロック図である。情報処理装置２００は、学習装置１００により学習されたモデルを用いた情報処理を実行する装置の例である。情報処理は、モデルを用いた処理であればどのような処理であってもよい。例えば情報処理は、モデルを用いた音声認識、画像認識、および、文字認識などの認識処理であってもよい。また情報処理は、装置の異常予測、および、センサの値（室温など）の予測などの予測処理であってもよい。
【００１３】
図１に示すように、情報処理装置２００は、学習装置１００と、制御部２０１と、を備えている。学習装置１００は、学習データ記憶部１２１と、モデルパラメータ記憶部１２２と、算出部１０１と、学習部１０２と、を備えている。
【００１４】
学習データ記憶部１２１は、機械学習の学習データとして利用される予め用意されたデータセットを記憶する。データセットは、Ｎ個（Ｎは１以上の整数）の入力データｘｉ（ｉ＝１，２，・・・，Ｎ）と、入力データに対する出力ｙｉ（ｉ＝１，２，・・・，Ｎ）と、を含む。例えば画像の分類問題を考える場合、ｘは画像であり、ｙは画像に対する分類ラベルである。
【００１５】
モデルパラメータ記憶部１２２は、機械学習モデルの学習により推定するモデルパラメータφを記憶する。例えばニューラルネットワークの場合、モデルパラメータφは、重み、および、バイアスなどである。例えば、３層のニューラルネットワークＦ（ｘ）は、ｌ層の重みｗ（ｌ）、バイアスｂ（ｌ）を用いて以下の（１）式で表される。ここでａ（ｌ）は、ｌ層の活性化関数を表す。
Ｆ（ｘ）＝ａ（３）（ｗ（３）ａ（２）（ｗ（２）ａ（２）（ｗ（１）ｘ＋ｂ（１））＋ｂ（２））＋ｂ（３））  ・・・（１）
【００１６】
この場合のモデルパラメータは、｛ｗ（ｌ），ｂ（ｌ）；ｌ＝１，２，３｝である。すなわち、モデルパラメータφは以下の（２）式で表される。
φ＝｛ｗ（ｌ），ｂ（ｌ）；ｌ＝１，２，３｝  ・・・（２）
【００１７】
第１の実施形態では、ＶＡＴの学習挙動を制御するハイパーパラメータεを学習により推定する。このため、モデルパラメータ記憶部１２２は、さらにハイパーパラメータεをモデルパラメータとして記憶する。従って本実施形態のモデルパラメータは｛φ，ε｝となる。なおここでのφは式（２）で表される。
【００１８】
なおＶＡＴでは、モデル出力の局所分布の滑らかさを表す平滑度が正則化項として追加される。ハイパーパラメータεは、平滑度を算出するためのハイパーパラメータである。より具体的には、ハイパーパラメータεは、平滑度を算出するときの摂動の上限を示すハイパーパラメータである。ＶＡＴの詳細は後述する。
【００１９】
モデルパラメータ記憶部１２２に記憶するモデルパラメータφ、εの初期値は、ニューラルネットワークのパラメータに対する一般的な初期化方法で初期化する。例えば、モデルパラメータは、定数値、正規分布、および、一様分布等で初期化する。
【００２０】
算出部１０１は、学習時に用いられる目的関数の値（出力値）を算出する。本実施形態では、算出部１０１は、ＶＡＴで用いられる目的関数（第１目的関数）の値に加え、モデルパラメータとしてのハイパーパラメータを推定するための目的関数（第２目的関数）の値を算出する。
【００２１】
第１目的関数は、モデルの出力の局所分布の滑らかさを表す平滑度を含み、モデルを定めるモデルパラメータ（第１モデルパラメータ）を推定するための目的関数である。第２目的関数は、ＶＡＴ（第１目的関数を利用してモデルを学習する学習方法）のハイパーパラメータεをモデルパラメータ（第２モデルパラメータ）とする目的関数である。また、第２目的関数は、学習データの距離スケールにより近い第２モデルパラメータを推定するための目的関数である。
【００２２】
学習部１０２は、学習データを用いてモデル（ニューラルネットワーク）を学習し、モデルパラメータを更新する。例えば学習部１０２は、第１目的関数の値および第２目的関数の値を最適化するように、第１モデルパラメータおよび第２モデルパラメータを学習して更新する。
【００２３】
制御部２０１は、学習されたモデルを用いた情報処理を制御する。例えば制御部２０１は、更新された第１モデルパラメータにより定められるモデル（ニューラルネットワーク）を用いた情報処理を制御する。
【００２４】
上記各部（算出部１０１、学習部１０２、および、制御部２０１）は、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵ（Central  Processing  Unit）などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣ（Integrated  Circuit）などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。
【００２５】
学習データ記憶部１２１、および、モデルパラメータ記憶部１２２は、ＨＤＤ（Hard  Disk  Drive）、光ディスク、メモリカード、ＲＡＭ（Random  Access  Memory）などの一般的に利用されているあらゆる記憶媒体により構成することができる。記憶部は、物理的に異なる記憶媒体としてもよいし、物理的に同一の記憶媒体の異なる記憶領域として実現してもよい。さらに記憶部のそれぞれは、物理的に異なる複数の記憶媒体により実現してもよい。
【００２６】
情報処理装置２００は、例えば、ＣＰＵなどのプロセッサを備えるサーバ装置などにより実現してもよい。情報処理装置２００のうち制御部２０１をＣＰＵなどを用いたソフトウェアにより実現し、学習装置１００をハードウェア回路により実現してもよい。情報処理装置２００の全体をハードウェア回路により実現してもよい。
【００２７】
次に、このように構成された第１の実施形態にかかる学習装置１００による学習処理について図２を用いて説明する。図２は、第１の実施形態における学習処理の一例を示すフローチャートである。
【００２８】
学習装置１００は、学習データを受け付け、学習データ記憶部１２１に記憶する（ステップＳ１０１）。また学習装置１００は、初期値を設定したモデルパラメータをモデルパラメータ記憶部１２２に記憶する（ステップＳ１０２）。
【００２９】
算出部１０１は、記憶されたモデルパラメータおよび学習データを利用して、目的関数の値を算出する（ステップＳ１０３）。図３は、算出部１０１による算出処理の一例を示すフローチャートである。
【００３０】
算出部１０１は、機械学習のタスクに応じた目的関数Ｌｔａｓｋの値を算出する（ステップＳ２０１）。例えば、機械学習のタスクが多クラス分類問題の場合、算出部１０１は、交差エントロピーを目的関数Ｌｔａｓｋの値として算出する。
【００３１】
次に算出部１０１は、ＶＡＴで追加される正則化項であるモデル出力の局所分布の滑らかさを表す平滑度Ｌｉａｄｖを算出する（ステップＳ２０２）。平滑度Ｌｉａｄｖは、例えば以下の（３）式〜（５）式により算出される。
【数１】
2019046236.tif 000003
【数２】
2019046236.tif 000004
【数３】
2019046236.tif 000005
【００３２】
ｆ（ｘｉ）はニューラルネットワークの出力である。ＶＡＴを用いる場合、算出部１０１の出力Ｌ（φ）は以下の（６）式により表される。
【数４】
2019046236.tif 000006
【００３３】
ステップＳ２０１およびステップＳ２０２で算出される目的関数Ｌｔａｓｋの値、および、平滑度Ｌｉａｄｖは、ＶＡＴで用いられる目的関数（第１目的関数）に相当する。
【００３４】
上述のように、本実施形態では、算出部１０１は、モデルパラメータとしてのハイパーパラメータεを推定するための目的関数（第２目的関数）の値をさらに算出する。例えば算出部１０１は、まず、距離スケールｌｇを以下の（７）式により算出する（ステップＳ２０３）。
【数５】
2019046236.tif 000007
【００３５】
ｘｊは、ｘｉ以外の入力データ（第２学習データ）を表す。ｍｉｎは、入力データｘｉ（第１学習データ）ごとに求められる各ｘｊとの距離のうち最小値を表す。記号“＜＞”は、各ｘｉに対して求められた最小値の平均を表す。ｘｊは、入力されたデータのうちｘｉ以外の全データでもよいし、一部のデータでもよい。例えば学習部１０２での更新がミニバッチ単位で実施される場合は、ミニバッチのデータのうちｘｉ以外のデータをｘｊとしてもよい。このように、距離スケールｌｇは、各入力データ（ｘｉ）の隣接点（ｘｊ）との距離の最小値に基づき算出される。
【００３６】
算出部１０１は、距離スケールｌｇの値とハイパーパラメータεの値が近くなるように、ハイパーパラメータεに対する目的関数Ｌεを以下の（８）式で算出する（ステップＳ２０４）。目的関数Ｌεの値は、距離スケールｌｇとハイパーパラメータεとのずれに相当する。
【数６】
2019046236.tif 000008
【００３７】
算出部１０１の出力Ｌ（φ，ε）は、以下の（９）式で表される。
【数７】
2019046236.tif 000009
【００３８】
算出部１０１は、（９）式のＬ（φ，ε）の出力値を算出し、目的関数の値として出力し、算出処理を終了する。
【００３９】
図２に戻り、学習部１０２は、算出された目的関数の値を利用して、モデルパラメータを更新する（ステップＳ１０４）。例えば学習部１０２は、確率勾配降下法等を利用して、目的関数Ｌ（φ，ε）の値が小さくなるようにモデルパラメータを更新する。確率勾配降下法を利用した場合の具体的な更新の式は、以下の（１０）式および（１１）式で表される。ここで、γは確率勾配降下法の学習率を表し、添字ｔおよびｔ−１は更新後、更新前を表す。
【数８】
2019046236.tif 000010
【数９】
2019046236.tif 000011
【００４０】
学習部１０２は、更新したモデルパラメータを例えばモデルパラメータ記憶部１２２に記憶する。学習部１０２は、例えばモデルを用いた処理を実行する外部装置などの、モデルパラメータ記憶部１２２以外の構成部に更新したモデルパラメータを出力してもよい。
【００４１】
その後、学習部１０２は、更新を終了するか（学習を終了するか）否かを判定する（ステップＳ１０５）。更新を終了するかは、例えば、モデルパラメータの値が収束したかなどにより判定される。
【００４２】
更新を続ける場合（ステップＳ１０５：Ｎｏ）、ステップＳ１０３に戻り処理が繰り返される。更新を終了する場合（ステップＳ１０５：Ｙｅｓ）、学習部１０２は、モデルパラメータφおよびεを出力し、学習処理を終了する。
【００４３】
このように、第１の実施形態によれば、ユーザが手動で適切なハイパーパラメータ（εなど）の値を決める必要がなくなり、安定的に精度の高いモデルを学習することが可能となる。
【００４４】
（第２の実施形態）
第１の実施形態では、平滑度は入力データ空間上での変化に対するモデルの出力の滑らかさを表す。一方、入力データ空間よりも射影空間（例えばニューラルネットワークの場合、中間層の出力）の方が空間的に良い性質を持っていることが知られている。第２の実施形態では、平滑度を射影空間上での変化に対するモデル出力の滑らかさとして算出する。
【００４５】
図４は、第２の実施形態にかかる学習装置１００−２を含む情報処理装置２００−２の構成の一例を示すブロック図である。図４に示すように、情報処理装置２００−２は、学習装置１００−２と、制御部２０１と、を備えている。学習装置１００−２は、学習データ記憶部１２１と、モデルパラメータ記憶部１２２と、算出部１０１−２と、学習部１０２と、を備えている。
【００４６】
第２の実施形態では、算出部１０１−２の機能が第１の実施形態と異なっている。その他の構成および機能は、第１の実施形態にかかる学習装置１００のブロック図である図１と同様であるので、同一符号を付し、ここでの説明は省略する。
【００４７】
算出部１０１−２は、射影空間上での入力データの平滑度を算出する点が、第１の実施形態の算出部１０１と異なっている。算出部１０１−２は、例えば以下の（１２）〜（１４）式により、平滑度Ｌｉａｄｖを算出する。
【数１０】
2019046236.tif 000012
【数１１】
2019046236.tif 000013
【数１２】
2019046236.tif 000014
【００４８】
ここでｇ（ｘｉ）はニューラルネットワークの中間層（例えば最後の中間層）の出力であり、ｆ（ｇ（ｘｉ））はニューラルネットワークの出力である。
【００４９】
ｇ（ｘｉ）はニューラルネットワークの中間層の出力に限られず、どのような写像であってもよい。例えば、ｇ（ｘｉ）は主成分分析の写像としてもよい。またニューラルネットワークの中間層の出力とする場合、中間層は１つであってもよいし、複数であってもよい。例えば、複数の中間層の出力の和、および、複数の中間層の出力の重み付け和などをｇ（ｘｉ）として用いてもよい。
【００５０】
次に、このように構成された第２の実施形態にかかる学習装置１００−２の算出部１０１−２による算出処理について図５を用いて説明する。図５は、第２の実施形態における算出処理の一例を示すフローチャートである。なお、学習部１０２による学習処理の全体の流れは第１の実施形態の学習処理を示す図２と同様であるため説明を省略する。
【００５１】
ステップＳ３０１およびステップＳ３０２は、第１の実施形態にかかる学習装置１００におけるステップＳ２０１およびステップＳ２０２と同様の処理なので、その説明を省略する。
【００５２】
第２の実施形態の算出部１０１−２は、距離スケールの算出（ステップＳ３０４）の前に、射影空間上での入力データｘｉの位置ｇ（ｘｉ）を算出する（ステップＳ３０３）。次に算出部１０１−２は、射影空間上での入力データｘｉと隣接点ｘｊとの距離スケールｌｇを以下の（１５）式により算出する（ステップＳ３０４）。
【数１３】
2019046236.tif 000015
【００５３】
学習部１０２は、距離スケールｌｇとハイパーパラメータεが近くなるようにハイパーパラメータεに対する目的関数Ｌεを、上述の（８）式で算出する（ステップＳ３０５）。
【００５４】
第２の実施形態によれば、射影空間上でのデータ点の近傍距離が未知であっても、ユーザが手動でハイパーパラメータεを設定することなしに、精度の高いモデルを学習することができる。
【００５５】
（第３の実施形態）
第１および第２の実施形態では、すべての学習データに対して適切なハイパーパラメータεが学習される。一方、学習データの密度が異なる場合には、データ点ごとに近傍の距離が大きく異なることが予想される。そこで、第３の実施形態では、データ点ごとに定められるハイパーパラメータεｉを用いる。
【００５６】
なお、以下では第２の実施形態をもとにデータ点ごとのハイパーパラメータを用いるように変更した例を説明する。第１の実施形態に対しても同様の変更を適用できる。
【００５７】
図６は、第３の実施形態にかかる学習装置１００−３を含む情報処理装置２００−３の構成の一例を示すブロック図である。図６に示すように、情報処理装置２００−３は、学習装置１００−３と、制御部２０１と、を備えている。学習装置１００−３は、学習データ記憶部１２１と、モデルパラメータ記憶部１２２と、算出部１０１−３と、学習部１０２−３と、を備えている。
【００５８】
第３の実施形態では、算出部１０１−３および学習部１０２−３の機能が第２の実施形態と異なっている。その他の構成および機能は、第２の実施形態にかかる学習装置１００−２のブロック図である図４と同様であるので、同一符号を付し、ここでの説明は省略する。
【００５９】
算出部１０１−３は、以下の（１６）〜（１８）式により平滑度Ｌｉａｄｖを算出する点が、第２の実施形態の算出部１０１−２と異なっている。
【数１４】
2019046236.tif 000016
【数１５】
2019046236.tif 000017
【数１６】
2019046236.tif 000018
【００６０】
このように算出することで、本実施形態ではｒｉａの大きさがデータ点ごとで異なる。算出部１０１−３は、ハイパーパラメータεｉに対する目的関数の値を、以下の手順で算出する。まず算出部１０１−３は、各データ点の射影空間上での位置ｇ（ｘｉ）を算出する。算出部１０１−３は、データ点ごとの隣接点との距離スケールｌｉｇを以下の（１９）式で算出する。
【数１７】
2019046236.tif 000019
【００６１】
算出部１０１−３は、ハイパーパラメータεｉに対する目的関数Ｌｉεの値を以下の（２０）式で算出する。
【数１８】
2019046236.tif 000020
【００６２】
第３の実施形態において算出部１０１−３の出力Ｌ（φ、ε）は、以下の（２１）式で表される。
【数１９】
2019046236.tif 000021
【００６３】
学習部１０２−３は、確率勾配降下法等を利用して、目的関数Ｌ（φ，ε）の値が小さくなるようにモデルパラメータを更新する。確率勾配降下法を利用した場合の具体的な更新の式は、以下の（２２）式および（２３）式で表される。
【数２０】
2019046236.tif 000022
【数２１】
2019046236.tif 000023
【００６４】
なお、学習部１０２−３による学習処理の全体の流れ、および、算出部１０１−３による算出処理の全体の流れは、第１の実施形態の学習処理を示す図２、および、第２の実施形態の算出処理を示す図５と同様であるため説明を省略する。
【００６５】
第３の実施形態によれば、データが局所的に密集している場合など、データごとに適切な近傍距離が異なる場合でも、ユーザが手動でハイパーパラメータを設定することなしに精度の高いモデルを学習することができる。
【００６６】
以上説明したとおり、第１から第３の実施形態によれば、ハイパーパラメータを決定するための計算コストが低減可能となる。
【００６７】
次に、第１から第３の実施形態にかかる装置（情報処理装置、学習装置）のハードウェア構成について図７を用いて説明する。図７は、第１から第３の実施形態にかかる装置のハードウェア構成例を示す説明図である。
【００６８】
第１から第３の実施形態にかかる装置は、ＣＰＵ５１などの制御装置と、ＲＯＭ（Read  Only  Memory）５２やＲＡＭ５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、各部を接続するバス６１を備えている。
【００６９】
第１から第３の実施形態にかかる装置で実行されるプログラムは、ＲＯＭ５２等に予め組み込まれて提供される。
【００７０】
第１から第３の実施形態にかかる装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact  Disk  Read  Only  Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact  Disk  Recordable）、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。
【００７１】
さらに、第１から第３の実施形態にかかる装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、第１から第３の実施形態にかかる装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【００７２】
第１から第３の実施形態にかかる装置で実行されるプログラムは、コンピュータを上述した装置の各部として機能させうる。このコンピュータは、ＣＰＵ５１がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。
【００７３】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７４】
１００、１００−２、１００−３  学習装置
１０１、１０１−２、１０１−３  算出部
１０２、１０２−３  学習部
１２１  学習データ記憶部
１２２  モデルパラメータ記憶部
２００、２００−２、２００−３  情報処理装置
２０１  制御部
【図１】
2019046236.tif 000024
【図２】
2019046236.tif 000025
【図３】
2019046236.tif 000026
【図４】
2019046236.tif 000027
【図５】
2019046236.tif 000028
【図６】
2019046236.tif 000029
【図７】
2019046236.tif 000030