(57)【要約】【課題】学習データから、階層型ネットワークを用いて学習を行う際に、学習時間の削減と性能の向上との両方を同時に実現することを目的とする。【解決手段】階層型ネットワークを用いて学習を行う際に、基準となる第１のユニットから構成される第１のネットワークと、第１のユニットを粗視化することによって生成される第２のユニットから構成される第２のネットワークと、それぞれのネットワークのユニット同士の結合に対応する係数と、を用意し、係数の学習の過程で、第１のネットワークと、第２のネットワークと、を切り替えて学習を行う。【選択図】図３
2020119086.tif 000002
【特許請求の範囲】
【請求項１】
階層型ネットワークを用いて学習を行う際に、基準となる第１のユニットから構成される第１のネットワーク及び前記第１のユニットを粗視化することによって生成される第２のユニットから構成される第２のネットワークそれぞれのネットワークのユニット同士の結合に対応する係数の学習の過程で、前記第１のネットワークと前記第２のネットワークとを切り替えて学習を行う学習方法。
【請求項２】
前記第１のネットワークと前記第２のネットワークとの切り替えを、前記学習の過程で複数回、行う請求項１に記載の学習方法。
【請求項３】
前記学習の過程で、前記第１のネットワークと前記第２のネットワークと前記第２のユニットをさらに粗視化することによって生成される第３のユニットから構成される第３のネットワークとをそれぞれ切り替えて学習を行う請求項１に記載の学習方法。
【請求項４】
前記第１のユニットから構成される前記第１のネットワークを前記学習の過程において変化させる請求項１に記載の学習方法。
【請求項５】
階層型ネットワークを用いて学習を行う際に、基準となる第１のユニットから構成される第１のネットワーク及び前記第１のユニットを粗視化することによって生成される第２のユニットから構成される第２のネットワークそれぞれのネットワークのユニット同士の結合に対応する係数の学習の過程で、前記第１のネットワークと前記第２のネットワークとを切り替えて学習を行うよう制御する制御手段を有する学習装置。
【請求項６】
コンピュータを、
階層型ネットワークを用いて学習を行う際に、基準となる第１のユニットから構成される第１のネットワーク及び前記第１のユニットを粗視化することによって生成される第２のユニットから構成される第２のネットワークそれぞれのネットワークのユニット同士の結合に対応する係数の学習の過程で、前記第１のネットワークと前記第２のネットワークとを切り替えて学習を行うよう制御する制御手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習方法、学習装置及びプログラムに関する。
【背景技術】
【０００２】
従来、学習データから、階層型ネットワークを用いて学習を行い、入力信号から特定パターンを識別するための識別器を生成する学習方法が知られている。しかし、この方法は、学習のためのユニットの数、又は階層の数が増えれば増える程、処理において大きな計算コストを必要とする。また、学習のためのユニットの数及び階層の数が増え、ネットワークの自由度が大きくなればなる程、用いた学習データに過剰に適合した学習が行われるといういわゆる過適合の問題が生じることがある。一方、ネットワークの自由度を減らせば計算コストは減少し、過適合も一般的には生じにくくなるが、ネットワークの表現の自由度が減少し、最終的な性能が向上しにくくなる可能性が生じるという問題がある。
【０００３】
このような問題に対して、これまでにいくつかの提案がなされている。例えば、ネットワーク構造を構成するユニットを選択的に選び、自由度を減少させることによって過適合を防ぐドロップアウト法（非特許文献１）が知られている。また、ボルツマン分布の温度依存性を利用して、学習の段階に応じて確率分布を変化させ、学習初期に局所解にトラップされにくくするアニーリング法（非特許文献２）が知られている。また、ネットワークの経路のうち伝播する信号と結合荷重値との適合度が最も高い経路、又は当該経路とその近傍の経路のみ選択し、それ以外の経路はスパースとみなす手法（特許文献１）が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−２１０７４７号公報
【非特許文献】
【０００５】
【非特許文献１】N. Srivastava, G.E. Hinton, A. Krizhevsky et al. "Dropout: A Simple Way to Prevent Neural Networks from Overfitting" Journal of Machine Learning Research 15 (2014) 1929-1958.
【非特許文献２】Geman, S. and Geman, D. "Stochastic relaxation, Gibbs distributions, and the Bayesian restoration of images" IEEE Transactions on Pattern Analysis and Machine Intelligence, 6(6):721-741(1984).
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述したいずれの手法においても、学習のための計算時間と最終的な性能の向上との両方を両立させることは、そのままでは可能ではない。例えば、過適合を防ぐことと、学習に要する時間を短縮することとは必ずしも両立しない。また、ネットワークの小規模化による計算コストの低減を図ると、一般的には精度の低下を防止できない。
【課題を解決するための手段】
【０００７】
本発明は、階層型ネットワークを用いて学習を行う際に、基準となる第１のユニットから構成される第１のネットワーク及び前記第１のユニットを粗視化することによって生成される第２のユニットから構成される第２のネットワークそれぞれのネットワークのユニット同士の結合に対応する係数の学習の過程で、前記第１のネットワークと前記第２のネットワークとを切り替えて学習を行う学習方法である。
【発明の効果】
【０００８】
本発明によれば、学習データから、階層型ネットワークを用いて学習を行う際に、学習時間の削減と性能の向上との両方を同時に実現することができる。
【図面の簡単な説明】
【０００９】
【図１】情報処理装置のハードウェア構成の一例を示す図である。
【図２】情報処理装置の機能構成の一例を示す図である。
【図３】実施形態１の学習過程の情報処理の一例を示すフローチャートである。
【図４】基準ネットワークの一例を示す図である。
【図５】粗視化ネットワークの一例を示す図である。
【図６】粗視化ネットワークを基準ネットワークから生成する過程を示す図である。
【図７】基準ネットワークを設定する過程を示す図である。
【図８】ネットワークを切り替えていく過程を模式的に示す図である。
【図９】計算時間の比較を示す図である。
【図１０】切り替えを複数回、好適なタイミングで行う様子を示す図である。
【図１１】誤認識率を評価した結果を示す図である。
【図１２】粗視化０１ネットワークと粗視化０２ネットワークとの概念図である。
【図１３】実施形態２の学習過程の情報処理の一例を示すフローチャートである。
【図１４】基準０１ネットワークと基準０２ネットワークとの概念図である。
【発明を実施するための形態】
【００１０】
＜実施形態１＞
以下、実施形態１について説明する。
図１は、情報処理装置１００のハードウェア構成の一例を示す図である。情報処理装置１００は、学習装置の一例である。情報処理装置１００は、ハードウェア構成として、ＣＰＵ１０と、メモリ１１と、入力部１２と、表示部１３と、通信部１４と、を含む。ＣＰＵ１０は、情報処理装置１００の全体の処理を制御する。メモリ１１は、プログラムと、ＣＰＵ１０がプログラムに基づき処理を実行する際に用いるデータと、を記憶する。表示部１３は、ＣＰＵ１０の処理の結果等を表示する。入力部１２は、ユーザの操作指示をＣＰＵ１０に入力する。通信部１４は、情報処理装置１００をネットワークに接続する。ＣＰＵ１０がメモリ１１に記憶されているプログラムに基づき処理を実行することにより、後述する図２の情報処理装置１００の機能及び後述する図３、図１３のフローチャートの処理が実現される。メモリ１１は、記憶媒体の一例である。
【００１１】
図２は、情報処理装置１００の機能構成の一例を示す図である。トレーニングデータ記憶部１０１は、学習に用いるトレーニングデータを保持する。基準ネットワーク設定及び学習処理部１０２は、基準ネットワークを設定して学習を行う。ここで、基準ネットワークとは、階層型ネットワークにおいてその時点で基準と考えるネットワーク構成のことである。粗視化ネットワーク生成及び学習処理部１０３は、粗視化ネットワークの生成と学習とを行う。ここで、粗視化ネットワークとは、基準ネットワークのユニット及び結合状態を統合することによって粗視化し、自由度を小さくすることによって生成するネットワーク構成のことである。テストデータ記憶部１０４は、評価に用いるテストデータを保持する。テストデータ評価部１０５は、テストデータを用いて評価を行う。制御部１０６は、全体の制御、すなわち基準ネットワークと粗視化ネットワークとを切り替えて設定して学習を行い、テストデータを用いた評価結果から学習処理の終了判断を行う。学習結果格納部１０７は、最終的な学習結果を収納する。
【００１２】
図３は、実施形態１の学習過程の情報処理の一例を示すフローチャートである。
Ｓ１０１においては、基準ネットワーク設定及び学習処理部１０２と粗視化ネットワーク生成及び学習処理部１０３は、トレーニングデータ記憶部１０１からデータの読み込みを行う。ここでデータとは、例えば、文字、又は画像のパターン、又は時系列データ等を意味する。図４は、基準ネットワークの一例を示す図である。図４では、階層的ネットワークの例として、２層のネットワークを模式的に示している。図４において、第０層は入力層と呼ばれ、入力データ数（例えば、文字、又は画像データの画素数、又は時系列データの数）に対応するユニットが存在する。ここでは、第０層には、I個のユニットが存在するとし、i番目のユニットの値を、u0base_iとし、対応する出力値をz0base_iとする。第０層においては、z0base_i = u0base_iとなる。そして、中間層と呼ばれる第１層には、Ｊ個のユニットが存在するとし、j番目のユニットの値を、u1base_jとし、ユニット値に活性化関数fを作用させた出力値を、z1base_j=f(u1base_j)とする。ここで、活性化関数としては、シグモイド関数、又は正規化線形関数（ＲｅＬＵ）等が用いられる。そして、第０層と第１層との結合及び、第１層と出力層と呼ばれる第２層との結合を、ユニット同士を結ぶ直線で示している。例えば、第０層のi番目のユニットと、第１層のj番目のユニットとの結合に対応して、重み係数w1base_j,iが存在する。この重み係数の全体をWbaseと記す。また、第１層のj番目のユニットに対応して、バイア b1base_jが存在する。以上の関係を式で表すと、式１のようになる。式１に示すように、u1base_jはw1base_j,iとz0base_iとの積和に、b1base_jを加えたものとなる。
【数１】
2020119086.tif 000003
【００１３】
図５は、図４の基準ネットワーク構成から生成された、粗視化ネットワークの一例を示す図である。図５においては、基準ネットワーク第０層のユニット二つに、一つのユニットを対応させることによって生成する粗視化ネットワークを示している。ここでは、第０層には、I/2個のユニットが存在するとし、i番目のユニットの値を、u0coarse_iとし、対応する出力値をz0coarse_iとする。そして、第１層には、Ｊ個のユニットが存在するとし、j番目のユニットの値を、u1coarse_jとし、ユニット値に活性化関数を作用させた出力値を、z1coarse_j=f(u1coarse_j)とする。図５においても、ユニット同士の結合を直線で示している。例えば、第０層のi番目のユニットと、第１層のj番目のユニットとの結合に対応して、重み係数w1coarse_j,iが存在する。この重み係数の全体をWcoarseと記す。また、第１層のj番目のユニットに対応して、バイアスb1coarse_jが存在する。また、点線のユニットと点線の直線とは、基の基準ネットワーク構成のユニットとの結合を示している。以上の関係を式で表すと、式２のようになる。
【数２】
2020119086.tif 000004
【００１４】
図３のＳ１０２において、基準ネットワーク設定及び学習処理部１０２は、基準ネットワークの設定と学習とを行う。ここで、ネットワークを設定するとは、ネットワークを構成するユニット及びそれらの結合状態を決定することをいう。また、学習とは、階層型ネットワークにおいて、順伝搬計算の結果得られた出力値の誤差を、階層型ネットワークにおいて逆伝播させることによって、ネットワークの結合状態に対応する重み係数の更新を、順次反復的に行うことをいう。最初に基準ネットワークを設定する場合、基準ネットワーク設定及び学習処理部１０２は、経験的によく用いられるネットワーク構造を先験的に設定するか、その後さらにニューロエボリューションと呼ばれる分野で用いられているような手法を用いてダイナミックに変化させた上で設定してもよい。このニューロエボリューションの手法としては、例えば直接コーディング（ネットワークの構造の結合状態を行列で表現する）、又は間接コーディング（ネットワークの生成規則を文字列、又は実数値ベクトルで表現する）によって、ネットワークの構造を表現し、遺伝的アルゴリズムによって選択的にネットワーク構造を変化させていく手法等がある（文献１）。基準ネットワーク設定及び学習処理部１０２は、基準ネットワークの設定後には、基準ネットワークを用いて学習を行う。
（文献１）Yohannes Kassahun, Mark Edgington, Jan Hendrik Metzen, Gerald Sommer and Frank Kirchner. Common Genetic Encoding for Both Direct and Indirect Encodings of Networks. In Proceedings of the Genetic and Evolutionary Computation Conference (GECCO 2007), London, UK, 1029-1036, 2007.
【００１５】
図３のＳ１０３においては、粗視化ネットワーク生成及び学習処理部１０３は、Ｓ１０２で設定された基準ネットワークから対応する粗視化ネットワークを生成する。階層的ネットワークの第０層と第１層とにおいて、粗視化ネットワークを基準ネットワークから生成する過程を図６に示す。図６では、第０層の基準ネットワークに対応するユニットを点線のユニット５０１、５０３、５０４、５０６、５０７、５０９で、生成された粗視化ネットワークのユニットを実線のユニット５０２、５０５、５０８で示している。また、それぞれのネットワークの第０層と第１層との結合を、点線の直線と実線の直線とで示している。図６（a）は、基準ネットワークを構成するユニットに対応する粗視化ユニットと重み係数とを生成する様子を模式的に示している。点線の四角枠は、基準ネットワークを構成するユニット５０１と５０３とから、一つの粗視化ネットワークのユニット５０２を生成する様子を示している。ここで、粗視化ネットワークのユニット５０２：u0coarse_iの値は、対応する基準ネットワークのユニット５０１：u0base_iと５０３：u0base_i+1との値の演算（例えば和：u0coarse_i = u0base_i + u0base_i+1）により生成される。また、粗視化ネットワークのユニット同士の結合に対応する重み係数w1coarse_j,iは、対応する基準ネットワークユニット二つの結合に対応する重み係数w1base_j,iとw1base_j,i+1との演算（例えば和：w1coarse_j,i = 0.5 * w1base_j,i + 0.5 * w1base_j,i+1）により生成される。図６（b）は、そのように生成された粗視化ネットワークの模式図である。第０層のユニットはユニット５０２、５０５、５０８から成る。粗視化ネットワーク生成及び学習処理部１０３は、このネットワークを用いて、学習を行い一時的な学習結果（粗視化ネットワークでの重み係数）を取得する。
【００１６】
図３のＳ１０４においては、制御部１０６は、学習プロセスで基準ネットワークと粗視化ネットワークとの切り替えを終了するか否かの判定を行う。判定方法としては、例えばテストデータ記憶部１０４に格納されているテストデータ（評価用のデータ）を用いて、テストデータ評価部１０５において誤認識率を評価し、ある一定以下になったら終了とする。ここで、誤認識率は、評価に用いたテストデータ全体のうち、誤った結果が得られたものの比率として定義される。制御部１０６は、終了するならば、Ｓ１０５に進み、終了しないのならば、Ｓ１０２に戻る。Ｓ１０２に戻る場合は、制御部１０６は、粗視化ネットワークでの学習結果を、対応する基準ネットワークに反映させる。図７は、粗視化ネットワークから対応する基準ネットワークを設定する過程を模式的に示す図である。図７では、第０層の粗視化ネットワークに対応するユニットを点線のユニット６０２、６０５、６０８で、それから設定された基準ネットワークのユニットを実線のユニット６０１、６０３、６０４、６０６、６０７、６０９で示している。また、それぞれのネットワークの第０層と第１層との結合を、点線の直線と実線の直線とで示しており、それぞれに対応する重み係数が存在する。図７（a）では、粗視化ネットワークに対応する基準ネットワークのユニットを設定し、粗視化ネットワークでの学習で得られた重み係数から、基準ネットワークの重み係数を設定する様子を模式的に示している。点線の四角枠は、粗視化ネットワークを構成するユニット６０２から、粗視化ネットワークのユニットを生成した基の二つの基準ネットワークのユニット６０１と６０３とを設定する様子を示している。ここで、制御部１０６は、基準ネットワークのユニット６０１：u0base_iと６０３：u0base_i+1との値を、対応する粗視化ネットワークのユニット６０２：u0coarse_iの値から、それを複製する（例えば：u0base_i = 0.5 * u0coarse_i、u0base_i+1 = 0.5 * u0coarse_i）ことにより生成する。また、制御部１０６は、基準ネットワークのユニットに対応する重み係数w1base_j,iとw1base_j,i+1とを、対応する粗視化ネットワークユニット一つの重み係数w1coarse_j,iから、それを複製する(例えば：w1base_j,i = w1coarse_j,i、w1base_j,i+1 = w1coarse_j,i)ことによって設定する。図７（b）は、そのように設定した基準ネットワークの模式図である。基準ネットワーク設定及び学習処理部１０２は、このネットワークを用いて、再度学習を行い、その後Ｓ１０３に進む。
【００１７】
図３のＳ１０５において、制御部１０６は、学習過程の最後に、基準ネットワークでの学習を行うのか否かの選択を行う。選択の基準としては、例えばテストデータ記憶部１０４に格納されているテストデータ（評価用のデータ）を用いて、テストデータ評価部１０５において誤認識率を評価し、ある一定以下であれば、学習を完了とする。制御部１０６は、最後に基準ネットワークで学習を行うのならば、Ｓ１０６に進み、そうでないならば、Ｓ１０７に進む。Ｓ１０５からＳ１０７に進んだ場合、Ｓ１０７において、制御部１０６は、Ｓ１０３での粗視化ネットワークでの学習結果を最終的な学習結果とし、学習結果格納部１０７に格納する。
図３のＳ１０６において、基準ネットワーク設定及び学習処理部１０２は、学習過程の最後で、基準ネットワークを使用して学習を行う。基準ネットワークでの学習後は、Ｓ１０７に進む。Ｓ１０６からＳ１０７に進んだ場合、Ｓ１０７において、制御部１０６は、Ｓ１０６での基準ネットワークでの学習結果を最終的な学習結果とし、学習結果格納部１０７に格納する。
【００１８】
図８は、基準ネットワークと粗視化ネットワークとを切り替えていく過程を模式的に示す図である。基準ネットワークの第０層を構成するユニットとしては、ユニット６０１、６０３、６０４、６０６、６０７、６０９を使用している。また、粗視化ネットワークの第０層を構成するユニットとしては、ユニット５０２、５０５、５０８を使用している。縦軸は、学習をトレーニングデータ毎に行う際のバッチステップを表している。T0は粗視化ネットワークを設定した様子を、T1はその次に基準ネットワークを設定した様子を、T2はその次に粗視化ネットワークを設定した様子を、T3はその次に基準ネットワークを設定した様子を示している。
【００１９】
図９に示すのは、基準ネットワークのみを用いて、代表的なトレーニングデータ６００００個をベースに１００００バッチステップの学習を行った場合の計算時間と、基準ネットワークと粗視化ネットワークとを用いて、同様の計算を行った場合の計算時間と、の比較である。なお、８０００バッチステップまでは粗視化ネットワークを使用し、それ以降基準ネットワークに切り替えている。基準ネットワークと粗視化ネットワークとの切り替えを行った方が、計算時間の短縮ができていることがわかる。
【００２０】
図１０は、基準ネットワークと粗視化ネットワークとの切り替えを複数回、好適なタイミングで行う様子を模式的に示す図である。図１０の縦軸は、テストデータを評価した結果得られた誤認識率を、横軸はバッチステップに対応している。最初に、情報処理装置１００は、粗視化ネットワークを用いて学習を行い、図１０の（１）のタイミングで誤認識率の低下が飽和に達した段階で、基準ネットワークへの切り替えを行う。そして、情報処理装置１００は、学習を継続し、図１０の（２）のタイミングで誤認識率の低下が飽和に達した段階で、更に粗視化ネットワークへの切り替えを行う。そして、情報処理装置１００は、更に学習を継続し、図１０の（３）のタイミングで誤認識率の低下が飽和に達した段階で、更に基準ネットワークへの切り替えを行う。
【００２１】
図１１に示すのは、従来法と、基準ネットワークと粗視化ネットワークとの切り替えを行う実施形態１の方法で、学習ステップごとに代表的なテストデータを用いて誤認識率を評価した結果である。図１１の縦軸が誤認識率、横軸がバッチステップに対応し、合計２００００００ＳＴＥＰの試行をした結果である。線１００１は、従来法を用いた場合で、かなりはやい段階で、誤認識率の低下が飽和に達していることがわかる。線１００２は、実施形態１の手法を用いて、粗視化ネットワークから基準ネットワークへの切り替えを１６０００００ＳＴＥＰ目で１回行った場合である。切り替えを行ったタイミングで、飽和状態だった誤認識率が、更に低下し、最終的には従来法よりも性能が向上していることがわかる。線１００３は、実施形態１の手法を用いて、粗視化ネットワークから基準ネットワークへの切り替え、及び基準ネットワークから粗視化ネットワークへの切り替えを６０００００、８０００００、１２０００００、１４０００００、１８０００００ＳＴＥＰ目でそれぞれ行った場合である。切り替えを行ったタイミングで、飽和状態だった誤認識率が、更に低下し、最終的には１回しか切り替えを行わなかった前記の場合よりも性能が大きく向上していることがわかる。なお、この切り替えのタイミングは、経験的に最適だと考えられるＳＴＥＰ数で行った。しかし、制御部１０６が誤認識率の変化率をモニターし、ある閾値よりも小さくなった場合に、粗視化ネットワークから基準ネットワークへの切り替え、及び基準ネットワークから粗視化ネットワークへの切り替えを行うようにしてもよい。
【００２２】
実施形態１によれば、基準ネットワークと、粗視化ネットワークと、の切り替えにより、学習データから、階層型ネットワークを用いて学習を行う際に、学習時間の削減と性能の向上との両方を同時に実現することができる。
【００２３】
＜実施形態２＞
以下、実施形態２について説明する。
実施形態２においては、粗視化ネットワークとして、２段階のネットワーク、粗視化０１ネットワークと粗視化０２ネットワークとを考える。図１２は、粗視化０１ネットワークと粗視化０２ネットワークとの概念図である。図１２（ａ）は、第０層を粗視化し、ユニット１１０１0と１１０３0とからユニット１１０２0を、ユニット１１０４0と１１０６0とからユニット１１０５0を、ユニット１１０７0と１１０９0とからユニット１１０８0を生成することによって構成した粗視化０１ネットワークを示している。図１２（ｂ）は、第０層と第１層とを粗視化し、第０層のユニット１１０１0と１１０３0と１１０４0とからユニット１１１０0を、ユニット１１０６0と１１０７0と１１０９0とからユニット１１１１0を、そして、第１層のユニット１１０１1と１１０３1とからユニット１１０２1を、ユニット１１０３1と１１０５1とからユニット１１０４1を生成することによって構成した粗視化０２ネットワークを示している。図１２（ｃ）は、実施形態２で切り替えられるネットワーク構造の時系列変化を示している。基準、粗視化０１、粗視化０２という３つのネットワーク構造が存在するため、実施形態２の情報処理装置１００は、基準→粗視化０１→粗視化０２→基準といった系列で、それぞれのネットワーク構造に切り替えて学習を行っていく。このように、段階的、かつ、複数の層に対して粗視化を行うことにより、より効果的に学習に要する時間を短縮することができる。
【００２４】
図１３は、実施形態２の学習過程の情報処理の一例を示すフローチャートである。Ｓ２０１及びＳ２０２の処理は、図３のＳ１０１及びＳ１０２の処理と同様である。Ｓ２０３において、粗視化ネットワーク生成及び学習処理部１０３は、Ｓ２０２で設定した基準ネットワークから対応する粗視化０１ネットワークを生成し学習を行う。Ｓ２０４において、粗視化ネットワーク生成及び学習処理部１０３は、Ｓ２０３で設定した粗視化０１ネットワークから対応する粗視化０２ネットワークを生成し学習を行う。Ｓ２０５からＳ２０８までの処理は、Ｓ１０４からＳ１０７までの処理と同様である。
【００２５】
実施形態２によれば、基準ネットワークと、粗視化０１ネットワークと、粗視化０２ネットワークと、の切り替えにより、学習データから、階層型ネットワークを用いて学習を行う際に、学習時間の削減と性能の向上との両方を同時に実現することができる。
【００２６】
＜実施形態３＞
以下、実施形態３について説明する。
実施形態３においては、基準ネットワークとして、２段階のネットワーク、基準０１ネットワークと基準０２ネットワークとを考える。図１４は、基準０１ネットワークと基準０２ネットワークとの概念図である。図１４（ａ）は、基準０１ネットワークを、図１４（ｂ）は、基準０２ネットワークを示している。この基準０２ネットワークは、基準０１ネットワークの第０層を粗視化し、ユニット６０１と６０３とからユニット５０２を、ユニット６０４と６０６とからユニット５０５を、ユニット６０７と６０９とからユニット５０８を生成することによって構成した粗視化０１ネットワークを、その時点における基準ネットワークと再定義することによって生成される。図１４（ｃ）は、実施形態３で切り替えられるネットワーク構造の時系列変化を示している。基準０１、粗視化０１、基準０２、粗視化０２という２つの基準ネットワーク構造及びそれらに対応する２つの粗視化ネットワーク構造の合計４つのネットワーク構造が存在するため、基準０１→粗視化０１→基準０２→粗視化０２といった系列で、それぞれのネットワーク構造に切り替えて学習を行っていく。このように、その都度、基準ネットワーク構造を再定義するような全体構成にすることによって、例えば、ニューロエボリューションの分野で行われているように、ダイナミックにネットワーク構造を変化させていくような手法を併用することができる。
【００２７】
実施形態３によれば、学習の過程において基準となるネットワークを変化させた場合も、学習時間の削減と性能の向上との両方を同時に実現することができる。
【００２８】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００２９】
以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
【００３０】
以上、上述した各実施形態によれば、学習データから、階層型ネットワークを用いて学習を行う際に、学習時間の削減と性能の向上との両方を同時に実現することができる。
【符号の説明】
【００３１】
１０    ＣＰＵ
１１    メモリ
１００  情報処理装置
【図１】
2020119086.tif 000005
【図２】
2020119086.tif 000006
【図３】
2020119086.tif 000007
【図４】
2020119086.tif 000008
【図５】
2020119086.tif 000009
【図６】
2020119086.tif 000010
【図７】
2020119086.tif 000011
【図８】
2020119086.tif 000012
【図９】
2020119086.tif 000013
【図１０】
2020119086.tif 000014
【図１１】
2020119086.tif 000015
【図１２】
2020119086.tif 000016
【図１３】
2020119086.tif 000017
【図１４】
2020119086.tif 000018