(57)【要約】【課題】計算コストを削減しつつ、畳み込みニューラルネットワークを構成する畳み込み層における複数の重みを容易かつ適正に設定する。【解決手段】重み設定装置２０は、データ入力処理部２１、ベクトル抽出部２２、連結行列設定部２３、平均行列設定部２４、マップ設定部２５および記憶装置２７を有し、マップ設定部２５は、複数のクラスに分けられた複数のサンプルデータを用いて、畳み込みニューラルネットワークの第ｋ＋１層の各特徴マップの全要素を列挙したベクトルｚのフィッシャー判別基準ＪF（ｗ）が所定の拘束条件のもとでそれぞれ最大になるように複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1を設定する。【選択図】図３
2015052832.tif 000002
【特許請求の範囲】
【請求項１】
畳み込みニューラルネットワークを構成する共に、少なくとも１つの第ｋ層の特徴マップと複数の重みマップとを畳み込むことにより前記重みマップと同数の第ｋ＋１層の特徴マップを生成する畳み込み層における前記複数の重みマップを設定する重み設定装置であって、
複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの分散に基づく指標がそれぞれ最大になるように前記複数の重みマップを設定することを特徴とする重み設定装置。
【請求項２】
請求項１に記載の重み設定装置において、
第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの共分散行列についての固有値問題を解くことにより固有値ごとに得られる固有ベクトルを該固有値の大きい順に前記複数の重みマップとして設定することを特徴とする重み設定装置。
【請求項３】
請求項１または２に記載の重み設定装置において、
複数のクラスに分けられた複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルのクラス内共分散行列とクラス間共分散行列とに基づくフィッシャー判別基準が所定の拘束条件の下でそれぞれ最大になるように前記複数の重みマップを設定することを特徴とする重み設定装置。
【請求項４】
請求項３に記載の重み設定装置において、
ｊ番目（ただし、１≦ｊ≦Ｃであり、“Ｃ”は、サンプルデータのクラスの総数である。）のクラスに含まれるｉ番目（ただし、１≦ｉ≦Ｎｊであり、“Ｎｊ”は、ｊ番目のクラスに含まれるサンプルデータの総数である。）のサンプルデータの第ｋ層における特徴マップから抽出される特徴ベクトルを列挙して連結行列Ｘ(j)iを設定する連結行列設定手段と、
全サンプルデータの第ｋ層の連結行列Ｘ(1)1〜Ｘ(C)Njの平均行列Ｘ-と、ｊ番目のクラスに含まれるサンプルデータの第ｋ層の連結行列Ｘ(j)1〜Ｘ(j)Njの平均行列Ｘ-(j)とを設定する平均行列設定手段と、
次式（１）に示す固有値問題を次式（２）に示す拘束条件のもとで解くことにより固有値ごとに得られる固有ベクトルを前記複数の重みマップとして設定する重みマップ設定手段とを備えることを特徴とする重み設定装置。ただし、式（１）における“ΛF”は、固有値を対角要素とすると共に値０を非対角要素とする対角行列であり、式（１）および（２）における“Ｗ”は、前記複数の重みマップを列挙した行列であり、式（２）における“Ｉ”は単位行列であり、“ΣW”は、次式（３）に示すとおりであり、“ΣB”は、次式（４）に示すとおりであり、“Ｎ”は、サンプルデータの総数である。
【数１】
2015052832.tif 000011
【請求項５】
請求項１または２に記載の重み設定装置において、
複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの分散が所定の拘束条件の下でそれぞれ最大になるように前記複数の重みマップを設定することを特徴とする重み設定装置。
【請求項６】
請求項４に記載の重み設定装置において、
ｈ番目（ただし、１≦ｈ≦Ｎであり、“Ｎ”は、サンプルデータの総数である。）のサンプルデータの第ｋ層における特徴マップから抽出される特徴ベクトルを列挙して連結行列Ｘhを設定する連結行列設定手段と、
全サンプルデータの第ｋ層の連結行列Ｘ1〜ＸNの平均行列Ｘ-を設定する平均行列設定手段と、
次式（５）に示す固有値問題を次式（６）に示す拘束条件のもとで解くことにより固有値ごとに得られる固有ベクトルを前記複数の重みマップとして設定する重みマップ設定手段とを備えることを特徴とする重み設定装置。ただし、式（５）における“ΛE”は、固有値を対角要素とすると共に値０を非対角要素とする対角行列であり、式（５）および（６）における“Ｗ”は、前記複数の重みマップを列挙した行列であり、式（６）における“Ｉ”は単位行列であり、“ΣX”は、次式（７）に示す共分散行列であり、“Ｎ”は、サンプルデータの総数である。
【数２】
2015052832.tif 000012
【請求項７】
畳み込みニューラルネットワークを構成する共に、少なくとも１つの第ｋ層の特徴マップと複数の重みマップとを畳み込むことにより前記重みマップと同数の第ｋ＋１層の特徴マップを生成する畳み込み層における前記複数の重みマップを設定する重み設定方法であって、
複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの分散に基づく指標がそれぞれ最大になるように前記複数の重みマップを設定することを特徴とする重み設定方法。
【請求項８】
請求項７に記載の重み設定方法において、
第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの共分散行列についての固有値問題を解くことにより固有値ごとに得られる固有ベクトルを該固有値の大きい順に前記複数の重みマップとして設定することを特徴とする重み設定方法。
【請求項９】
請求項７または８に記載の重み設定方法において、
複数のクラスに分けられた複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルのクラス内共分散行列とクラス間共分散行列とに基づくフィッシャー判別基準が所定の拘束条件の下でそれぞれ最大になるように前記複数の重みマップを設定することを特徴とする重み設定方法。
【請求項１０】
請求項７または８に記載の重み設定方法において、
複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの分散が所定の拘束条件の下でそれぞれ最大になるように前記複数の重みマップを設定することを特徴とする重み設定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、畳み込みニューラルネットワークを構成する畳み込み層における複数の重みを設定する重み設定装置および方法に関する。
【背景技術】
【０００２】
近年、画像認識や音声認識、形状認識といった分野において、畳み込みニューラルネットワーク（Convolutional Neural Networks）が注目されている（例えば、非特許文献１〜４参照）。この種の畳み込みニューラルネットワークは、複数の畳み込み層や、当該畳み込み層と交互に並ぶプーリング層（部分サンプリング層）を有し、画像データや音声データ等の局所特徴を階層的に畳み込むことにより、画像や音声データを精度よくクラス分け（識別）可能とするものである。そして、このような畳み込みニューラルネットワークを構成する畳み込み層は、第ｋ層の特徴マップ（特徴量の配列）と複数の重みマップ（重みの配列）との畳み込み、すなわち、第ｋ層の特徴マップから抽出した複数の特徴ベクトルに対する複数の重みマップを用いた重み付けを行い、それにより当該重みマップと同数の第ｋ＋１層の特徴マップを生成する。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Y. LeCun, L. Bottou, Y. Bengio, and P. Haner. Gradient-based learning applied to document recognition. Proc. of the IEEE, 1998.
【非特許文献２】G. E. Hinton and R. Salakhutdinov. Reducing the dimensionality of data with neural networks. Science, 313:504.507, 2006.
【非特許文献３】R. Gens and P. Domingos. Discriminative learning of sum-product networks. In Proc. NIPS, 2012.
【非特許文献４】A. Krizhevsky, I. Sutskever, and G. E. Hinton. ImageNet classification with deep convolutional neural networks. In Proc. NIPS, 2012.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述のような畳み込みニューラルネットワークを用いて高精度な画像認識等を可能とするためには、各畳み込み層における重みマップ（多数の重み）を適正に設定しておく必要がある。しかしながら、多数の重みを適正に設定するためには、大量（例えば１００万個以上）の学習サンプルを用いて誤差逆伝播法による学習等を繰り返し行わなければならない。従って、重みマップの設定における計算コストは非常に高くなり、ＧＰＵやスーパーコンピュータ等を用いなければ適正な重みマップが得られないことが多い。また、多数のパラメータを用いた重みのチューニング（学習）に際しては、ノウハウも要求され、従来の一般的な重みマップの設定手法によって適正な重みマップを容易に得ることは困難である。そして、従来の重みマップの設定手法には、学習サンプル数が少ない場合、学習を繰り返し行っても適正な重みマップを得ることができない、という問題が存在している。
【０００５】
そこで、本発明は、計算コストを削減しつつ、畳み込みニューラルネットワークを構成する畳み込み層における複数の重みを容易かつ適正に設定することを主目的とする。
【課題を解決するための手段】
【０００６】
本発明による重み設定装置は、
畳み込みニューラルネットワークを構成する共に、少なくとも１つの第ｋ層の特徴マップと複数の重みマップとを畳み込むことにより前記重みマップと同数の第ｋ＋１層の特徴マップを生成する畳み込み層における前記複数の重みマップを設定する重み設定装置であって、
複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの分散に基づく指標がそれぞれ最大になるように前記複数の重みマップを設定することを特徴とする。
【０００７】
畳み込みニューラルネットワークの畳み込み層による第ｋ層の特徴マップ（特徴量の配列）と複数の重みマップ（重みの配列すなわち重みベクトル）との畳み込みは、第ｋ層の特徴マップから抽出される特徴ベクトルを順番に並べた結合ベクトルを並列に列挙した連結行列を“Ｘ”とし、第ｋ層と第ｋ＋１層との間の畳み込み層における複数の重みマップ（重みベクトル）ｗ1，ｗ2，…を並列に列挙した行列（重み行列）を“Ｗ”とし、第ｋ＋１層の各特徴マップの全要素（ニューロン）を列挙したベクトルｚ1，ｚ2，…を並列に列挙した行列（特徴行列）を“Ｚ”としたときに、
Ｚ＝（ｚ1，ｚ2，…）＝（Ｘ−Ｘ-）T（ｗ1，ｗ2，…）＝（Ｘ−Ｘ-）TＷ…（０）
という関係式により表される。ただし、第ｋ層は、畳み込み層の前段の層であり、第ｋ＋１層は、畳み込み層の後段の層であり、“Ｘ-”は、全サンプルデータの第ｋ層の連結行列Ｘの平均行列である。従来の重み設定手法は、基本的に、複数のクラスに分けられた複数のサンプルデータを用いた誤差逆伝播学習等を繰り返し行って複数の重みマップの要素を定めていくものであるが、本発明による重み設定装置は、従来とは全く異なるアプローチにより複数の重みマップを設定する。すなわち、本発明では、第ｋ層における局所特徴を第ｋ＋１層の受容野に重み付けしながら射影するための上記関係式（０）における行列Ｗを誤差逆伝播学習のような重みの修正（調整）を行うことなく解析的に導出することにより複数の重みマップが設定される。
【０００８】
ここで、上述のような畳み込みにより得られる第ｋ＋１層の各特徴マップ内（ベクトル空間）において、同じクラスに属する特徴ベクトル同士の距離（ユークリッド距離）が短くなり、かつ異なるクラスに属する特徴ベクトル同士の距離（ユークリッド距離）が長くなるほど、当該特徴マップの全要素を列挙したベクトルの分散に基づく指標がより大きくなる。これを踏まえて、本発明による重み設定装置は、複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルｚ（ただし、“ｚ”は、ベクトルｚ1，ｚ2…の何れかを示す。）の分散に基づく指標がそれぞれ最大になるように複数の重みマップを設定する。
【０００９】
このように設定される複数の重みマップを有する畳み込み層によれば、当該複数の重みマップと第ｋ層の特徴マップとを畳み込むことにより、各特徴マップにおいて同じクラスに属する特徴ベクトル同士の距離が短くなり、かつ異なるクラスに属する特徴ベクトル同士の距離が長くなるように第ｋ＋１層の複数の特徴マップを生成することができる。また、各ベクトルｚの分散に基づく指標をそれぞれ最大にする複数の重みマップは、当該ベクトルｚの分散（共分散行列）についての固有値問題を解くことにより固有値ごとの固有ベクトルとして容易に得ることが可能である。更に、上記固有値問題は、サンプルデータの数に依存するものではないことから、本発明による重み設定装置によれば、サンプルデータの数が少ない場合であっても、適正な複数の重みマップを得ることができる。従って、本発明による重み設定装置によれば、計算コストを削減しつつ、畳み込みニューラルネットワークを構成する畳み込み層における複数の重みを容易かつ適正に設定することが可能となる。
【００１０】
そして、本発明による重み設定装置により設定された複数の重みマップは、更に誤差逆伝播法による学習等を行ってチューニングされてもよいことはいうまでもない。また、構築されるべき畳み込みニューラルネットワークが複数の畳み込み層を含むものである場合には、複数の畳み込み層ごとに各ベクトルｚの分散に基づく指標がそれぞれ最大になるように複数の重みマップを設定すればよい。この結果、本発明による重み設定装置によれば、画像認識や音声認識、形状認識等に極めて有用な畳み込みニューラルネットワークを構築することが可能となる。なお、「分散に基づく指標」は、共分散行列等に基づいて導出される判別基準であってもよく、分散自体であってもよい。
【００１１】
また、前記重み設定装置は、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの共分散行列についての固有値問題を解くことにより固有値ごとに得られる固有ベクトルを該固有値の大きい順に前記複数の重みマップとして設定するものであってもよい。これにより、第ｋ＋１層の特徴マップを生成する畳み込み層における複数の重みマップをより適正に設定することが可能となる。
【００１２】
更に、前記重み設定装置は、複数のクラスに分けられた複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルのクラス内共分散行列とクラス間共分散行列とに基づくフィッシャー判別基準が所定の拘束条件の下でそれぞれ最大になるように前記複数の重みマップを設定するものであってもよい。このように、フィッシャー判別基準を利用することにより、第ｋ＋１層の各特徴マップにおける分離精度をより向上させることが可能となる。
【００１３】
また、前記重み設定装置は、ｊ番目（ただし、１≦ｊ≦Ｃであり、“Ｃ”は、サンプルデータのクラスの総数である。）のクラスに含まれるｉ番目（ただし、１≦ｉ≦Ｎｊであり、“Ｎｊ”は、ｊ番目のクラスに含まれるサンプルデータの総数である。）のサンプルデータの第ｋ層における特徴マップから抽出される特徴ベクトルを列挙して連結行列Ｘ(j)iを設定する連結行列設定手段と、全サンプルデータの第ｋ層の連結行列Ｘ(1)1〜Ｘ(C)Njの平均行列Ｘ-と、ｊ番目のクラスに含まれるサンプルデータの第ｋ層の連結行列Ｘ(j)1〜Ｘ(j)Njの平均行列Ｘ-(j)とを設定する平均行列設定手段と、次式（１）に示す固有値問題を次式（２）に示す拘束条件のもとで解くことにより固有値ごとに得られる固有ベクトルを前記複数の重みマップとして設定する重みマップ設定手段とを備えてもよい。ただし、式（１）における“ΛF”は、固有値を対角要素とすると共に値０を非対角要素とする対角行列であり、式（１）および（２）における“Ｗ”は、前記複数の重みマップを列挙した行列であり、式（２）における“Ｉ”は単位行列であり、“ΣW”は、次式（３）に示すとおりであり、“ΣB”は、次式（４）に示すとおりであり、“Ｎ”は、サンプルデータの総数である。
【００１４】
【数１】
2015052832.tif 000003
【００１５】
すなわち、上記ベクトルｚのクラス内共分散行列“Σ〜W”とし、クラス間共分散行列を“Σ〜B”とし、トレースを“ｔｒ”とし、フィッシャー判別基準を“ＪF（ｗ）”とすれば（ただし、“ｗ”は、複数の重みマップｗ1，ｗ2…の何れかを示す。）、
ＪF（ｗ）＝ｔｒΣ〜B／ｔｒΣ〜W＝ｗTΣBｗ／ｗTΣWｗ
としてフィッシャー判別基準ＪF（ｗ）を得ることができる。従って、連結行列Ｘ(j)iを設定する連結行列設定手段と、平均行列Ｘ-および平均行列Ｘ-(j)を設定する平均行列設定手段と、式（１）に示す固有値問題を式（２）の拘束条件のもとで解く重みマップ設定手段とを備えた重み設定装置によれば、各ベクトルｚのクラス内共分散行列Σ〜Wとクラス間共分散行列Σ〜Bとに基づくフィッシャー判別基準ＪF（ｗ）が式（２）の拘束条件の下でそれぞれ最大になるように複数の重みマップを設定することが可能となる。
【００１６】
また、前記重み設定装置は、複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの分散が所定の拘束条件の下でそれぞれ最大になるように前記複数の重みマップを設定するものであってもよい。これにより、クラス分けされていない複数のサンプルデータを用いて、第ｋ＋１層の特徴マップを生成する畳み込み層における複数の重みマップを容易かつ適正に設定することが可能となる。更に、第ｋ層の特徴マップから第ｋ＋１層の特徴マップへの次元圧縮をより適正に実行することができる。
【００１７】
この場合、前記重み設定装置は、ｈ番目（ただし、１≦ｈ≦Ｎであり、“Ｎ”は、サンプルデータの総数である。）のサンプルデータの第ｋ層における特徴マップから抽出される特徴ベクトルを列挙して連結行列Ｘhを設定する連結行列設定手段と、全サンプルデータの第ｋ層の連結行列Ｘ1〜ＸNの平均行列Ｘ-を設定する平均行列設定手段と、次式（５）に示す固有値問題を次式（６）に示す拘束条件のもとで解くことにより固有値ごとに得られる固有ベクトルを前記複数の重みマップとして設定する重みマップ設定手段とを備えてもよい。ただし、式（５）における“ΛE”は、固有値を対角要素とすると共に値０を非対角要素とする対角行列であり、式（５）および（６）における“Ｗ”は、前記複数の重みマップを列挙した行列であり、式（６）における“Ｉ”は単位行列であり、“ΣX”は、次式（７）に示す共分散行列であり、“Ｎ”は、サンプルデータの総数である。
【００１８】
【数２】
2015052832.tif 000004
【００１９】
すなわち、各ベクトルｚの分散を“ＪE（ｗ）”とすれば、ＪE（ｗ）＝ｗTΣXｗとして各ベクトルｚの分散ＪE（ｗ）を得ることができる。従って、連結行列Ｘhを設定する連結行列設定手段と、平均行列Ｘ-を設定する平均行列設定手段と、式（５）に示す固有値問題を式（６）の拘束条件のもとで解く重みマップ設定手段とを備えた重み設定装置によれば、各ベクトルｚの分散ＪE（ｗ）が式（６）の拘束条件の下でそれぞれ最大になるように複数の重みマップを設定することが可能となる。
【００２０】
本発明による重み設定方法は、
畳み込みニューラルネットワークを構成する共に、少なくとも１つの第ｋ層の特徴マップと複数の重みマップとを畳み込むことにより前記重みマップと同数の第ｋ＋１層の特徴マップを生成する畳み込み層における前記複数の重みマップを設定する重み設定方法であって、
複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの分散に基づく指標がそれぞれ最大になるように前記複数の重みマップを設定することを特徴とする。
【００２１】
この方法によれば、計算コストを削減しつつ、畳み込みニューラルネットワークを構成する畳み込み層における複数の重みを容易かつ適正に設定することが可能となる。
【００２２】
また、前記方法は、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの共分散行列についての固有値問題を解くことにより固有値ごとに得られる固有ベクトルを該固有値の大きい順に前記複数の重みマップとして設定するものであってもよい。
【００２３】
更に、前記方法は、複数のクラスに分けられた複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルのクラス内共分散行列とクラス間共分散行列とに基づくフィッシャー判別基準が所定の拘束条件の下でそれぞれ最大になるように前記複数の重みマップを設定するものであってもよく、複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの分散が所定の拘束条件の下でそれぞれ最大になるように前記複数の重みマップを設定するものであってもよい。
【図面の簡単な説明】
【００２４】
【図１】本発明による重み設定装置が適用される畳み込みニューラルネットワークを示す模式図である。
【図２】図１のニューラルネットワークを構成する畳み込み層における畳み込み処理を説明するための模式図である。
【図３】本発明による重み設定装置のブロック構成図である。
【図４】本発明による重み設定装置により実行される重み設定ルーチンを例示するフローチャートである。
【図５】本発明による重み設定方法の有用性を評価するための実験の結果を示す図表である。
【図６】本発明による重み設定方法の有用性を評価するための実験の結果を示す図表である。
【図７】本発明による重み設定方法の有用性を評価するための実験の結果を示す図表である。
【図８】本発明による重み設定方法の有用性を評価するための実験の結果を示す図表である。
【図９】本発明による重み設定方法の有用性を評価するための実験の結果を示す図表である。
【図１０】本発明による重み設定方法の有用性を評価するための実験の結果を示す図表である。
【図１１】本発明による重み設定方法の有用性を評価するための実験の結果を示す図表である。
【発明を実施するための形態】
【００２５】
次に、図面を参照しながら本発明を実施するための形態について説明する。
【００２６】
図１は、本発明による重み設定装置が適用される畳み込みニューラルネットワークを示す模式図である。同図に示す畳み込みニューラルネットワーク１は、図示しないＣＰＵ，ＲＯＭ，ＲＡＭ、システムバス、各種インターフェース、記憶装置等を含むコンピュータに実装されて、例えば画像データをクラス分け（分類）するのに用いられるものである。図示するように、畳み込みニューラルネットワーク１は、入力層２と、交互に並ぶ複数の畳み込み層３ａ，３ｂおよび複数のプーリング層（部分サンプリング層）４ａ，４ｂと、出力層５とを有する。
【００２７】
畳み込み層３ａ，３ｂは、それぞれの前段の第ｋ層の特徴マップ（特徴量の配列）から抽出した複数の特徴ベクトルに対する複数の重みマップ（重みの配列）を用いた重み付けを行い、当該重みマップと同数の第ｋ＋１層の特徴マップを生成する。また、プーリング層４ａ，４ｂは、それぞれの前段の層の特徴マップを部分的にサンプリング（プーリング）するものである。プーリングの手法としては、ｓピクセルだけ離間したｎ×ｎ個の近隣画素値の平均をとる平均プーリング（以下、「ＡＰ（ｎ，ｓ）」）という。）や、ｓピクセルだけ離間したｎ×ｎ個の近隣画素値の最大値をとる最大値プーリング（以下、「ＭＰ（ｎ，ｓ）」という。）、元画像の２×２の空間領域をプーリング領域とする平均プーリング（以下、「ＡＰq（ｎ，ｓ）」という。）、元画像の２×２の空間領域に対応をプーリング領域とする最大値プーリング（以下、「ＭＰq（ｎ，ｓ）」という。）。そして、図１の例では、出力層５のノードが前段の層の特徴マップと全結合される。
【００２８】
次に、図２を参照しながら、畳み込み層３ａ，３ｂによる畳み込み処理を説明する。ここでは、第ｋ層における特徴マップｍａｐ１，ｍａｐ２…がカラー画像から生成されたそれぞれＲ値、Ｇ値またはＢ値を示す３つの特徴マップであり（ただし、第ｋ層における特徴マップの座標系を“（ｘ、ｙ）”とする。）、これらの特徴マップｍａｐ１，ｍａｐ２…に対して畳み込み層３ａにより畳み込み処理が施される場合を例にとって当該畳み込み処理について説明する。
【００２９】
この場合、畳み込み層３ａは、第ｋ層の特徴マップｍａｐ１，ｍａｐ２…から、ｘ方向に１画素ずつずらしながらｎ×ｎ個（図２の例では、３×３個）ずつ画素値（特徴量）を抽出すると共に、更にｙ方向に１画素ずつずらしながらｎ×ｎ個ずつ画素値を抽出する。次いで、畳み込み層３ａは、各ｍａｐ１，ｍａｐ２…の同一座標（ｘ，ｙ）から抽出した画素値を順番に並べて特徴ベクトルｆ(k)(x,y)を設定し、これらの特徴ベクトルｆ(k)(x,y)を順番に並べて次式（８）に示す結合ベクトルｘ(k)(x′,y′)を（Ｐk−ｎ＋１）×（Ｐk−ｎ＋１）個だけ取得（抽出）する。ただし、式（８）において、（ｘ′，ｙ′）は、第ｋ＋１層の特徴マップにおける座標系を示し、“δ”は、“ｎ／２”の整商である。また、“Ｐｋ”は、第ｋ層の各特徴マップにおける画素数（特徴量の数）の平方個である。
【００３０】
【数３】
2015052832.tif 000005
【００３１】
そして、畳み込み層３ａは、結合ベクトルｘ(k)(x′,y′)と、予め設定されている複数の重みマップ（重みベクトル）ｗ1，ｗ2，…，ｗu，…，ｗmk+1（以下、何れかの重みマップを適宜“ｗ”として表す。）とを用いて第ｋ＋１層における特徴マップｍａｐ１，ｍａｐ２…を生成する。すなわち、畳み込み層３ａは、第ｋ＋１層における特徴マップｍａｐ１，ｍａｐ２…の（ｘ′，ｙ′）座標における要素（ニューロンすなわち特徴量）ｆ(k+1)(x′,y′)を、ｆ(k+1)(x′,y′)＝ｗuTｘ(k)(x′,y′)として算出する。ただし、“ｕ”は、重みマップのインデックスであり、“ｍk+1”は、第ｋ層と第ｋ＋１層との間の畳み込み層における重みマップの数＝第ｋ＋１層の特徴マップの数である。これにより、第ｋ層の特徴マップにおける局所特徴を受容野に重み付けしながら射影することで第ｋ＋１層の特徴マップが生成されることになる。
【００３２】
図３は、上述の畳み込みニューラルネットワーク１の各畳み込み層３ａ，３ｂにおける複数の重みマップを設定するのに用いられる本発明の一実施形態に係る重み設定装置２０のブロック構成図である。
【００３３】
重み設定装置２０は、パーソナルコンピュータ等に重み設定プログラム（ソフトウェア）をインストールすることにより構成され、複数のクラスに分けられた複数のサンプルデータに基づいて畳み込み層３ａ，３ｂにおける複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1を設定するものである。図３に示すように、重み設定装置２０は、重み設定プログラム（ソフトウェア）とコンピュータのＣＰＵやＲＯＭ，ＲＡＭ、各種インターフェース、記憶装置といったハードウェアとの一方または双方の協働により構築されるデータ入力処理部２１や、ベクトル抽出部２２、連結行列設定部２３、平均行列設定部２４、マップ設定部２５、記憶装置２７等を有する。
【００３４】
データ入力処理部２１は、それぞれクラスラベルが付された（クラス分けされた）複数のサンプルデータの入力を受け付け、必要に応じて、入力データを上述の特徴マップ（例えば、カラー画像に基づくＲ値、Ｇ値、Ｂ値を示す３つの特徴マップ）の形式に変換し、当該データ、すなわち第１層の特徴マップを記憶装置２７に記憶させる。ベクトル抽出部２２は、サンプルデータに基づく特徴マップから上述の（Ｐk−ｎ＋１）×（Ｐk−ｎ＋１）個の結合ベクトルｘ(k)(x′,y′)を抽出（設定）する。また、連結行列設定部２３は、ベクトル抽出部２２により抽出された（Ｐk−ｎ＋１）×（Ｐk−ｎ＋１）個の結合ベクトルｘ(k)(x′,y′)を並列に列挙することにより次式（９）に示す連結行列Ｘ(k)を設定する。
【００３５】
【数４】
2015052832.tif 000006
【００３６】
更に、平均行列設定部２４は、全サンプルデータの第ｋ層の連結行列Ｘ(1)1〜Ｘ(C)Njの平均行列Ｘ-と、ｊ番目のクラスに含まれるサンプルデータの第ｋ層の連結行列Ｘ(j)1〜Ｘ(j)Njの平均行列Ｘ-(j)とを設定する。ただし、“ｊ”は、サンプルデータのクラスのインデックス（１≦ｊ≦Ｃ）であり、“Ｎｊ”は、ｊ番目のクラスに含まれるサンプルデータの総数であり、“Ｃ”は、サンプルデータのクラスの総数である。そして、マップ設定部２５は、連結行列設定部２３や平均行列設定部２４により設定されたパラメータを用いて畳み込み層３ａ，３ｂにおける複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1を設定すると共に、第ｋ＋１層の特徴マップに相当する仮の特徴マップを設定し、設定したデータを記憶装置２７に記憶させる。
【００３７】
続いて、図４を参照しながら、上述の重み設定装置２０による複数の重みマップの設定手順について説明する。図４は、重み設定装置２０により実行される重み設定ルーチンを例示するフローチャートである。
【００３８】
重み設定ルーチンの開始に際して、重み設定装置２０のデータ入力処理部２１は、記憶装置２７（あるいは外部装置）から全サンプルデータの第１層の特徴マップを入力し、ＲＡＭに展開する（ステップＳ１００）。次いで、ベクトル抽出部２２は、まず、第１層の特徴マップから上述の（Ｐ1−ｎ＋１）×（Ｐ1−ｎ＋１）個の結合ベクトルｘ(1)(x′,y′)をサンプルデータごとに抽出（設定）する（ステップＳ１１０）。更に、連結行列設定部２３は、ベクトル抽出部２２により抽出された（Ｐ1−ｎ＋１）×（Ｐ1−ｎ＋１）個の結合ベクトルｘ(1)(x′,y′)を並列に列挙することにより式（９）に示す連結行列Ｘ(1)をサンプルデータごとに設定する（ステップＳ１２０）。また、平均行列設定部２４は、全サンプルデータの第ｋ層の連結行列Ｘ(1)1〜Ｘ(C)Njの平均行列Ｘ-と、ｊ番目のクラスに含まれるサンプルデータの第ｋ層の連結行列Ｘ(j)1〜Ｘ(j)Njの平均行列Ｘ-(j)とを設定する（ステップＳ１３０）。
【００３９】
ここで、畳み込み層による第ｋ層の特徴マップと複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1との畳み込みは、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルｚ1，ｚ2，…，ｚmk+1（以下、当該ベクトルの何れかを適宜“ｚ”として表す。）を並列に列挙した行列（特徴行列）を“Ｚ”とすれば、第ｋ層の特徴マップから抽出される結合ベクトルｘ(1)(x′,y′)を並列に列挙した連結行列Ｘ(k)と、全サンプルデータの第ｋ層の連結行列Ｘ(1)1〜Ｘ(C)Njの平均行列Ｘ-と、畳み込み層における複数の重みマップ（重みベクトル）ｗ1，ｗ2，…，ｗu，…，ｗmk+1を並列に列挙した行列（重み行列）Ｗとから次式（１０）のように表される。そして、上述のような畳み込みにより得られる第ｋ＋１層の各特徴マップ内において、同じクラスに属する特徴ベクトル同士の距離（ユークリッド距離）が短くなり、かつ異なるクラスに属する特徴ベクトル同士の距離（ユークリッド距離）が長くなるほど、上記ベクトルｚの分散に基づく指標がより大きくなる。
【００４０】
【数５】
2015052832.tif 000007
【００４１】
これを踏まえて、重み設定装置２０のマップ設定部２５は、複数のクラスに分けられた複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルｚの分散に基づく指標がそれぞれ最大になるように複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1を設定するものとして構築される。本実施形態において、マップ設定部２５は、各ベクトルｚの次式（１１）に示すクラス内共分散行列Σ〜Wと、次式（１２）に示すクラス間共分散行列Σ〜Bとに基づくフィッシャー判別基準ＪF（ｗ）が所定の拘束条件の下でそれぞれ最大になるように複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1を設定する。フィッシャー判別基準ＪF（ｗ）は、トレースを“ｔｒ”とすれば、次式（１３）および（１４）が成立することから、次式（１５）のように表される。
【００４２】
【数６】
2015052832.tif 000008
【００４３】
各ベクトルｚのフィッシャー判別基準ＪF（ｗ）をそれぞれ最大にする複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1は、次式（１６）に示す固有値問題を次式（１７）に示す拘束条件のもとで解くことにより、固有値λ1，λ2，…，λu，…，λmk+1ごとの固有ベクトルとして容易に得ることができる。ただし、式（１６）における“ΛF”は、固有値λ1，λ2，…，λu，…，λmk+1を対角要素とすると共に値０を非対角要素とする対角行列であり、式（１６）および（１７）における“Ｗ”は、上述の複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1を並列に列挙した行列であり、式（１７）における“Ｉ”は単位行列であり、“ΣW”は、次式（１８）に示すとおりであり、“ΣB”は、次式（１９）に示すとおりであり、“Ｎ”は、サンプルデータの総数である。また、連結行列Ｘhや平均行列Ｘ-，Ｘ-(j)に基づいて式（１６）の固有値問題を解くマップ設定部２５は、周知のソフトウェアを用いて容易に構築することができる。
【００４４】
【数７】
2015052832.tif 000009
【００４５】
マップ設定部２５は、ステップＳ１２０にて第１層の特徴マップからサンプルデータごとに設定された連結行列Ｘ(1)や、ステップＳ１３０にて設定された平均行列Ｘ-、平均行列Ｘ-(j)を用いて上記式（１６）の固有値問題を解き、固有値λ1，λ2，…，λu，…，λmk+1ごとに固有ベクトルを算出する（ステップＳ１４０）。そして、マップ設定部２５は、ステップＳ１４０にて固有値λ1，λ2，…，λu，…，λmk+1ごとに算出した所定数の固有ベクトルを当該固有値の大きい順に第２層（第ｋ＋１層）の特徴マップを生成するための重みマップｗ1，ｗ2，…，ｗu，…，ｗｍ2として設定し、設定した重みマップｗ1，ｗ2，…，ｗu，…，ｗｍ2を記憶装置２７に記憶させる（ステップＳ１５０）。
【００４６】
具体的には、例えば固有値を値が大きい順にλ1，λ2，λ3，…としたときに、マップ設定部２５は、固有値λ1に対応した固有ベクトルを重みマップｗ1として、固有値λ2に対応した固有ベクトルを重みマップｗ2として、…固有値λm2に対応した固有ベクトルを重みマップｗm2として設定する。なお、第２層（第ｋ＋１層）の特徴マップの数ｍ2（ｍk+1）は、固有値λ1，λ2，…，λu，…，λmk+1の大きさを考慮しながら任意に定めることができる。更に、ステップＳ１５０において、マップ設定部２５は、全サンプルデータについての第１層の特徴マップと、設定した重みマップｗ1，ｗ2，…，ｗu，…，ｗｍ2とを畳み込むと共に、対応するプーリング層と同様のプーリング処理を行うことにより、第３層（第ｋ＋２層）の仮の特徴マップをｍ2個だけ生成し、生成した第３層の仮の特徴マップを記憶装置２７に記憶させる。
【００４７】
上述のようにしてステップＳ１００からＳ１５０の処理が実行されると、重みマップを設定すべき畳み込み層の有無が判定され（ステップＳ１６０）、ステップＳ１６０にて重みマップを設定すべき畳み込み層が存在しない（畳み込み層が１個である）と判定された場合、その段階で本ルーチンが終了する。これに対して、ステップＳ１６０にて重みマップを設定すべき畳み込み層が存在していると判定された場合には、上述のステップＳ１００からＳ１５０の処理が繰り返し実行される。
【００４８】
この場合、ステップＳ１００ではデータ入力処理部２１により記憶装置２７からの第３層（第ｋ層）の仮の特徴マップがＲＡＭに展開され、当該第３層（第ｋ層）の仮の特徴マップに基づいて重みマップｗ1，ｗ2，…，ｗu，…，ｗｍ3（ｗmk+1）が設定されることになる（ステップＳ１１０〜Ｓ１５０）。また、この場合、ステップＳ１５０では、必要に応じて、全サンプルデータについての第３層（第ｋ層）の仮の特徴マップと、設定された重みマップｗ1，ｗ2，…，ｗu，…，ｗｍ4（ｗmk+1）との畳み込みと、対応するプーリング層と同様のプーリング処理とが行なわれ、第４層（第ｋ＋１層）の仮の特徴マップがｍ4個だけ生成されて記憶装置２７に格納されることになる。そして、ステップＳ１００〜Ｓ１５０の処理が繰り返し実行されて、ステップＳ１６０にて重みマップを設定すべき畳み込み層が存在しないと判定されると、その段階で本ルーチンが終了する。
【００４９】
なお、重み設定装置２０のマップ設定部２５は、上述のように、各ベクトルｚのフィッシャー判別基準ＪF（ｗ）が所定の拘束条件の下でそれぞれ最大になるように複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1を設定するものには限られない。すなわち、マップ設定部２５は、各ベクトルｚの分散ＪE（ｗ）自体が所定の拘束条件の下で最大になるようにｗ1，ｗ2，…，ｗu，…，ｗmk+1を設定するものとして構成されてもよい。
【００５０】
ベクトルｚの分散ＪE（ｗ）は、次式（２０）に示すように表され、各ベクトルｚのＪE（ｗ）をそれぞれ最大にする複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1は、次式（２１）に示す固有値問題を次式（２２）に示す拘束条件のもとで解くことにより、固有値λ1，λ2，…，λu，…，λmk+1ごとの固有ベクトルとして容易に得ることができる。ただし、式（２１）における“ΛE”は、固有値λ1，λ2，…，λu，…，λmk+1を対角要素とすると共に値０を非対角要素とする対角行列であり、式（２１）および（２２）における“Ｗ”は、上述の複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1を並列に列挙した行列であり、式（２２）における“Ｉ”は単位行列であり、式（２１）における“ΣX”は、次式（２３）に示す共分散行列であり、式（２３）における“ｈ”は、サンプルデータのインデックスである。そして、連結行列Ｘhと平均行列Ｘ-とに基づいて式（２１）の固有値問題を解くマップ設定部２５も、周知のソフトウェアを用いて容易に構築することができる。そして、このように各ベクトルｚの分散ＪE（ｗ）が拘束条件の下でそれぞれ最大になるようにｗ1，ｗ2，…，ｗu，…，ｗmk+1を設定する場合、式（２０）からわかるように、重みマップの設定前に、複数のサンプルデータを複数のクラスに分けておく必要はない。
【００５１】
【数８】
2015052832.tif 000010
【００５２】
図５から図７に、本発明による重み設定方法の有用性を評価するための“STL-10”データセット（１０個のクラスごとに１００枚の学習サンプル画像およびテストサンプル画像を含む）を用いた実験の結果を示し、図８から図１１に、“MNIST”データセット（１０個のクラスごとに６０００個の学習サンプル画像および１０００個のテストサンプル画像を含む）を用いた実験の結果を示す。
【００５３】
図５、図６、図８から図１０において、“Ｒａｎｄ（ｎ，ｄ）”は、ｎ×ｎ個のパッチ画像にｄ次元のランダム重みによるフィルタ処理を施すことを示す。また、“Ｋm（ｎ，ｄ）”は、Ｋミーンズ法により得られるｄ次元の視覚的単語を用いてｎ×ｎ個のパッチ画像から抽出される記述子を示す。更に、“ＣE（ｎ，ｍ）”は、上述の分散ＪE（ｗ）に基づくｍ個の重みマップ（以下、適宜「固有重みマップ」または「ＥＷＭ」という。）およびｎ×ｎ個の受容野を有する畳み込み層を示し、“ＣF（ｎ，ｍ）は、上述の分散ＪF（ｗ）に基づくｍ個の重みマップ（以下、適宜「フィッシャー重みマップ」または「ＦＭＷ」という。）およびｎ×ｎ個の受容野を有する畳み込み層を示す。
【００５４】
また、“Ｒ”，“Ｒ2”は、調整ユニット（ReLU）を示す。更に、“ＡＰ（ｎ，ｓ）”，“ＡＰq（ｎ，ｓ）”，“ＭＰq（ｎ，ｓ）”および“ＭＰq（ｎ，ｓ）”は、上述のとおりである。そして、例えば“Rand(5, 200)-R-AP(4, 4)-CF(3, 100)-R-APq”は、“d=200のrandom filters，ReLU，平均プーリング層，100 個のフィッシャー重みマップを有する 3×3の畳み込み層，ReLUおよび平均プーリング層が入力側から出力側に順番に並んだ畳み込みニューラルネットワークを示す。また、実験は、一般的な諸元（例えば、動作周波数３．２ＧＨｚのプロセッサ、３２ＧＢのメモリ）を有するデスクトップ型パーソナルコンピュータを用いて行われた。
【００５５】
図５および図６に示すように、本発明による重み設定方法により設定されるフィッシャー重みマップや固有重みマップを有する畳み込み層を備えた畳み込みニューラルネットワークによれば、サンプルデータの数が少ない“STL-10”データセットにおいても分類率（Classification rates）をより高くすることができる。そして、図７に示すように、本発明による重み設定方法により重みマップを設定すれば、“1-layer Vector Quantization”や“1-layer Sparse Coding”（A. Coates and A. Ng. The importance of encoding versus training with sparse coding and vector quantization. In Proc. ICML, 2011.参照）”，“3-layer Learned Receptive Field”（A. Coates and A. Ng. Selecting receptive fields in deep networks. In Proc. NIPS, 2011.参照），“Discriminative Sum-Product Network”（R. Gens and P. Domingos. Discriminative learning of sum-product networks. In Proc. NIPS, 2012.参照）といった従来の畳み込みネットワークに比べて、畳み込みニューラルネットワークの分類率をより向上させることが可能となる。従って、これらの実験結果から、本発明による重み設定方法は、比較的少ないサンプルデータを用いて画像認識性に優れた畳み込みニューラルネットワークを構築する上で極めて有用であることが理解されよう。
【００５６】
更に、図８から図１０に示すように、本発明による重み設定方法により設定されるフィッシャー重みマップや固有重みマップを有する畳み込み層を備えた畳み込みニューラルネットワークによれば、“MNIST”データセットにおける分類エラー率（Classification errors）をより充分に低くし得ることが理解されよう。なお、図９において、括弧（）内の数字は、受容野における特徴の数を示す。そして、本発明による重み設定方法により重みマップを設定すれば、“Large CNN (unsup. pretraining)［1］”（M. A. Ranzato, C. Poultney, S. Chopra, and Y. LeCun. Ecient learning of sparse representations with an energy-based model. In Proc. NIPS, 2006.参照）や、“Large CNN (unsup. pretraining)［2］”（K. Jarrett, K. Kavukcuoglu, M. A. Ranzato, and Y. Lecun. What is the best multi-stage architecture for object recognition? In Proc. IEEE ICCV, 2009.参照），“3-layer CNN + Stochastic Pooling”（M. D. Zeiler and R. Fergus. Stochastic pooling for regularization of deep convolutional neural networks. In arXiv preprint, 2013.参照）、Multi-Column Deep Neural Network”（D. Ciresan, U. Meier, and J. Schmidhuber. Multi-column deep neural networks for image classification. In Proc. IEEE CVPR, 2012.参照）といった従来の畳み込みネットワークと同等あるいはそれ以上の分類エラー率を得ることが可能となる。
【００５７】
以上説明したように、重み設定装置２０は、複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルｚの分散に基づく指標であるフィッシャー判別基準ＪF（ｗ）あるいは分散ＪE（ｗ）自体がそれぞれ最大になるように複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1を設定する。
【００５８】
このように設定される複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1を有する畳み込み層によれば、当該複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1と第ｋ層の特徴マップとを畳み込むことにより、各特徴マップにおいて同じクラスに属する特徴ベクトルｆ(k+1)(x′,y′)同士の距離が短くなり、かつ異なるクラスに属する特徴ベクトルｆ(k+1)(x′,y′)同士の距離が長くなるように第ｋ＋１層の複数の特徴マップを生成することができる。また、各ベクトルｚの分散に基づく指標ＪF（ｗ）あるいはＪE（ｗ）をそれぞれ最大にする複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1は、ベクトルｚの分散すなわち共分散行列についての固有値問題を解くことにより固有値ごとの固有ベクトルとして容易に得ることが可能である。更に、上記固有値問題は、サンプルデータの数に依存するものではないことから、重み設定装置２０によれば、サンプルデータの数が少ない場合であっても、適正な複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1を得ることができる。従って、重み設定装置２０によれば、計算コストを削減しつつ、畳み込みニューラルネットワーク１を構成する畳み込み層３ａ，３ｂにおける複数の重みを容易かつ適正に設定することが可能となる。
【００５９】
また、複数の重みマップの設定に際して、フィッシャー判別基準ＪF（ｗ）を利用することにより、第ｋ＋１層の各特徴マップにおける分離精度をより向上させることが可能となる。更に、連結行列Ｘ(j)iを設定する連結行列設定部２３と、平均行列Ｘ-および平均行列Ｘ-(j)を設定する平均行列設定部２４と、式（１６）に示す固有値問題を式（１７）の拘束条件のもとで解く重みマップ設定部２５とを含む重み設定装置２０によれば、各ベクトルｚのクラス内共分散行列Σ〜Wとクラス間共分散行列Σ〜Bとに基づくフィッシャー判別基準ＪF（ｗ）が式（１７）の拘束条件の下でそれぞれ最大になるように複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1を設定することが可能となる。
【００６０】
一方、複数の重みマップの設定に際して、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルｚの分散ＪE（ｗ）自体を指標として利用すれば、クラス分けされていない複数のサンプルデータを用いて、第ｋ＋１層の特徴マップを生成する畳み込み層における複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1を容易かつ適正に設定することが可能となる。更に、第ｋ層の特徴マップから第ｋ＋１層の特徴マップへの次元圧縮をより適正に実行することができる。この場合には、ｈ（１≦ｈ≦Ｎ）番目のサンプルデータの第ｋ層における特徴マップから抽出される特徴ベクトルを並列に列挙して連結行列Ｘhを設定するように連結行列設定部２３を構成し、全サンプルデータの連結行列Ｘ1〜ＸNの平均行列Ｘ-を設定するように平均行列設定部２４を構成し、式（２１）に示す固有値問題を式（２２）に示す拘束条件のもとで解くようにマップ設定部２５を構成すればよい。
【００６１】
そして、重み設定装置２０により設定された複数の重みマップｗ1，ｗ2，…，ｗu，…，ｗmk+1は、更に誤差逆伝播法による学習等を行ってチューニングされてもよいことはいうまでもない。また、構築されるべき畳み込みニューラルネットワークが複数の畳み込み層を含むものである場合には、上述のように、複数の畳み込み層ごとに各ベクトルｚの分散に基づく指標ＪF（ｗ）あるいはＪE（ｗ）がそれぞれ最大になるように複数の重みマップを設定すればよい。この結果、重み設定装置２０によれば、画像認識や音声認識、形状認識等に極めて有用な畳み込みニューラルネットワークを構築することが可能となる。
【００６２】
なお、本発明は上記実施形態に何ら限定されるものではなく、本発明の外延の範囲内において様々な変更をなし得ることはいうまでもない。更に、上記発明を実施するための形態は、あくまで課題を解決するための手段の欄に記載された発明の具体的な一形態に過ぎず、課題を解決するための手段の欄に記載された発明の要素を限定するものではない。
【００６３】
本発明は、畳み込みニューラルネットワークを用いた情報処理分野において利用可能である。
【符号の説明】
【００６４】
１  畳み込みニューラルネットワーク、２  入力層、３ａ，３ｂ  畳み込み層、４ａ，４ｂ  プーリング層、５  出力層、２０  重み設定装置、２１  データ入力処理部、２１  データ入力処理部、２２  ベクトル抽出部、２３  連結行列設定部、２４  平均行列設定部、２５  マップ設定部、２７  記憶装置。
【図１】
2015052832.tif 000013
【図３】
2015052832.tif 000014
【図４】
2015052832.tif 000015
【図５】
2015052832.tif 000016
【図６】
2015052832.tif 000017
【図７】
2015052832.tif 000018
【図８】
2015052832.tif 000019
【図９】
2015052832.tif 000020
【図１０】
2015052832.tif 000021
【図１１】
2015052832.tif 000022
【図２】
2015052832.tif 000023