(57)【要約】【課題】ニューラルネットワークの構造を定量的に解析することができる。【解決手段】解析部が、入力データの次元とクラスタとの組み合わせの各々について、入力データの次元の値を、学習データに含まれる入力データの次元の平均値で置き換えたときのクラスタに属する各ユニットの出力と、置き換える前の入力データに対するクラスタに属する各ユニットの出力との二乗誤差の和を組み合わせの関係として算出し、クラスタと出力データの次元との組み合わせの各々について、クラスタに属する各ユニットの出力値を、学習データに含まれる入力データを入力したときのクラスタの各ユニットの平均の出力値で置き換えたときの出力データの次元の値と、置き換える前の出力データの次元の値との二乗誤差を組み合わせの関係として算出する。【選択図】図１
2019159943.tif 000002
【特許請求の範囲】
【請求項１】
入力データ及び出力データからなる学習データに基づいて前記入力データから前記出力データを出力するための予め学習されたニューラルネットワークと、前記ニューラルネットワークについて予め求められたユニットからなるクラスタの構造とを受け付ける入力部と、
前記入力データの次元と前記クラスタとの組み合わせの各々について、前記入力データの前記次元の値を、前記学習データに含まれる前記入力データの前記次元の平均値で置き換えたときの前記クラスタに属する各ユニットの出力と、置き換える前の入力データに対する前記クラスタに属する各ユニットの出力との二乗誤差の和を前記組み合わせの関係として算出し、
前記クラスタと前記出力データの次元との組み合わせの各々について、前記クラスタに属する各ユニットの出力値を、前記学習データに含まれる前記入力データを入力したときの前記クラスタの各ユニットの平均の出力値で置き換えたときの前記出力データの前記次元の値と、置き換える前の前記出力データの前記次元の値との二乗誤差を前記組み合わせの関係として算出する解析部と、
を含む解析装置。
【請求項２】
算出した前記入力データの次元と前記クラスタとの組み合わせの各々の関係、及び前記クラスタと前記出力データの次元との組み合わせの各々の関係を、ベクトル又は行列により表すように出力する出力部を更に含む請求項１に記載の解析装置。
【請求項３】
サンプルの入力データ及び前記サンプルが属する次元を表す出力データからなる学習データに基づいて前記入力データから前記出力データを出力するための予め学習されたニューラルネットワークと、前記ニューラルネットワークについて予め求められたユニットからなるクラスタの構造とを受け付ける入力部と、
前記入力データの次元と前記クラスタとの組み合わせの各々について、前記入力データの前記次元の値を、前記学習データに含まれる前記入力データの前記次元の平均値で置き換えたときの前記クラスタに属する各ユニットの出力と、置き換える前の入力データに対する前記クラスタに属する各ユニットの出力との二乗誤差の和を前記組み合わせの関係として算出し、
前記クラスタと前記出力データの次元との組み合わせの各々について、前記クラスタに属する各ユニットの出力値を、前記学習データに含まれる前記入力データを入力したときの前記クラスタの各ユニットの平均の出力値で置き換えたときの前記出力データの前記次元の値と、置き換える前の前記出力データの前記次元の値との二乗誤差を前記組み合わせの関係として算出する解析部と、
前記学習データと、前記クラスタの構造と、算出した前記クラスタと前記出力データの次元との組み合わせの各々の関係とに基づいて、前記クラスタの各々に対し、前記クラスタに属する各ユニットの出力値に、前記学習データに含まれる前記出力データが表すサンプルが属する次元との組み合わせの関係に応じた雑音を加算し、前記ニューラルネットワークを誤差逆伝播法により再学習する再学習部と、
を含む解析装置。
【請求項４】
入力部が、入力データ及び出力データからなる学習データに基づいて前記入力データから前記出力データを出力するための予め学習されたニューラルネットワークと、前記ニューラルネットワークについて予め求められたユニットからなるクラスタの構造とを受け付けるステップと、
解析部が、前記入力データの次元と前記クラスタとの組み合わせの各々について、前記入力データの前記次元の値を、前記学習データに含まれる前記入力データの前記次元の平均値で置き換えたときの前記クラスタに属する各ユニットの出力と、置き換える前の入力データに対する前記クラスタに属する各ユニットの出力との二乗誤差の和を前記組み合わせの関係として算出し、
前記クラスタと前記出力データの次元との組み合わせの各々について、前記クラスタに属する各ユニットの出力値を、前記学習データに含まれる前記入力データを入力したときの前記クラスタの各ユニットの平均の出力値で置き換えたときの前記出力データの前記次元の値と、置き換える前の前記出力データの前記次元の値との二乗誤差を前記組み合わせの関係として算出するステップと、
を含む解析方法。
【請求項５】
算出した前記入力データの次元と前記クラスタとの組み合わせの各々の関係、及び前記クラスタと前記出力データの次元との組み合わせの各々の関係を、ベクトル又は行列により表すように出力する出力部を更に含む請求項４に記載の解析方法。
【請求項６】
入力部が、サンプルの入力データ及び前記サンプルが属する次元を表す出力データからなる学習データに基づいて前記入力データから前記出力データを出力するための予め学習されたニューラルネットワークと、前記ニューラルネットワークについて予め求められたユニットからなるクラスタの構造とを受け付けるステップと、
解析部が、前記入力データの次元と前記クラスタとの組み合わせの各々について、前記入力データの前記次元の値を、前記学習データに含まれる前記入力データの前記次元の平均値で置き換えたときの前記クラスタに属する各ユニットの出力と、置き換える前の入力データに対する前記クラスタに属する各ユニットの出力との二乗誤差の和を前記組み合わせの関係として算出し、
前記クラスタと前記出力データの次元との組み合わせの各々について、前記クラスタに属する各ユニットの出力値を、前記学習データに含まれる前記入力データを入力したときの前記クラスタの各ユニットの平均の出力値で置き換えたときの前記出力データの前記次元の値と、置き換える前の前記出力データの前記次元の値との二乗誤差を前記組み合わせの関係として算出するステップと、
再学習部が、前記学習データと、前記クラスタの構造と、算出した前記クラスタと前記出力データの次元との組み合わせの各々の関係とに基づいて、前記クラスタの各々に対し、前記クラスタに属する各ユニットの出力値に、前記学習データに含まれる前記出力データが表すサンプルが属する次元との組み合わせの関係に応じた雑音を加算し、前記ニューラルネットワークを誤差逆伝播法により再学習するステップと、
を含む解析方法。
【請求項７】
コンピュータを、請求項１又は請求項２に記載の解析装置の各部として機能させるためのプログラム。
【請求項８】
コンピュータを、請求項３に記載の解析装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、解析装置、方法、及びプログラムに係り、特に、ニューラルネットワークの構造を解析するための解析装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
データから学習された多層ニューラルネットワークに対し、ネットワーク解析を適用することにより、元のニューラルネットワークを単純化した構造を取り出し、より解釈しやすい形に変換することを可能とした技術がある。より具体的には、これらの技術は、多層ニューラルネットワークの各層のユニットについて、隣接する層のユニットと類似した結合パターンを持つユニット同士のグループ（クラスタ、又はコミュニティとも呼ぶ）を所定のアルゴリズムに従って見つけることにより、元の結合構造の単純化を実現している。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Watanabe. C, Hiramatsu. K, and Kashino. K. Modular representation of layered neural networks. Neural Networks, Vol. 97, pp. 62-73, 2018.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した既存技術により、多層ニューラルネットワークの構造を単純化した構造を取り出すことが可能となったが、これらの技術においては以下のような課題が存在していた。まず、上述した技術により取り出された、多層ニューラルネットワークのクラスタ構造において、各クラスタが果たす役割を定量的に知る方法が存在していなかった。つまり、これらの技術だけでは、各クラスタが入力データの各部分をどの程度見ていて、出力の各部分を予測するのにどの程度使われているのか、ということを知ることができなかった。また、これらの既存技術においては、各クラスタ間に存在する複数の結合を、閾値処理により１本にまとめて表現することにより、構造の単純化を行っていた。このため、既存技術を用いて得られる構造は、閾値の設定により大きく変化してしまい、そこから安定して似たような考察結果を読み取るということができなかった。そこで、閾値などの変数の設定によらず、安定して似たような考察結果を得ることができ、また各クラスタがニューラルネットワークの中で果たす役割を定量的に知ることができるようになるための技術が望まれている。
【０００５】
本発明は、上記問題点を解決するために成されたものであり、ニューラルネットワークの構造を定量的に解析することができる解析装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、第１の発明に係る解析装置は、入力データ及び出力データからなる学習データに基づいて前記入力データから前記出力データを出力するための予め学習されたニューラルネットワークと、前記ニューラルネットワークについて予め求められたユニットからなるクラスタの構造とを受け付ける入力部と、前記入力データの次元と前記クラスタとの組み合わせの各々について、前記入力データの前記次元の値を、前記学習データに含まれる前記入力データの前記次元の平均値で置き換えたときの前記クラスタに属する各ユニットの出力と、置き換える前の入力データに対する前記クラスタに属する各ユニットの出力との二乗誤差の和を前記組み合わせの関係として算出し、前記クラスタと前記出力データの次元との組み合わせの各々について、前記クラスタに属する各ユニットの出力値を、前記学習データに含まれる前記入力データを入力したときの前記クラスタの各ユニットの平均の出力値で置き換えたときの前記出力データの前記次元の値と、置き換える前の前記出力データの前記次元の値との二乗誤差を前記組み合わせの関係として算出する解析部と、を含んで構成されている。
【０００７】
また、第２の発明に係る解析装置は、サンプルの入力データ及び前記サンプルが属する次元を表す出力データからなる学習データに基づいて前記入力データから前記出力データを出力するための予め学習されたニューラルネットワークと、前記ニューラルネットワークについて予め求められたユニットからなるクラスタの構造とを受け付ける入力部と、前記入力データの次元と前記クラスタとの組み合わせの各々について、前記入力データの前記次元の値を、前記学習データに含まれる前記入力データの前記次元の平均値で置き換えたときの前記クラスタに属する各ユニットの出力と、置き換える前の入力データに対する前記クラスタに属する各ユニットの出力との二乗誤差の和を前記組み合わせの関係として算出し、前記クラスタと前記出力データの次元との組み合わせの各々について、前記クラスタに属する各ユニットの出力値を、前記学習データに含まれる前記入力データを入力したときの前記クラスタの各ユニットの平均の出力値で置き換えたときの前記出力データの前記次元の値と、置き換える前の前記出力データの前記次元の値との二乗誤差を前記組み合わせの関係として算出する解析部と、前記学習データと、前記クラスタの構造と、算出した前記クラスタと前記出力データの次元との組み合わせの各々の関係とに基づいて、前記クラスタの各々に対し、前記クラスタに属する各ユニットの出力値に、前記学習データに含まれる前記出力データが表すサンプルが属する次元との組み合わせの関係に応じた雑音を加算し、前記ニューラルネットワークを誤差逆伝播法により再学習する再学習部と、を含んで構成されている。
【０００８】
第３の発明に係る解析方法は、入力部が、入力データ及び出力データからなる学習データに基づいて前記入力データから前記出力データを出力するための予め学習されたニューラルネットワークと、前記ニューラルネットワークについて予め求められたユニットからなるクラスタの構造とを受け付けるステップと、解析部が、前記入力データの次元と前記クラスタとの組み合わせの各々について、前記入力データの前記次元の値を、前記学習データに含まれる前記入力データの前記次元の平均値で置き換えたときの前記クラスタに属する各ユニットの出力と、置き換える前の入力データに対する前記クラスタに属する各ユニットの出力との二乗誤差の和を前記組み合わせの関係として算出し、前記クラスタと前記出力データの次元との組み合わせの各々について、前記クラスタに属する各ユニットの出力値を、前記学習データに含まれる前記入力データを入力したときの前記クラスタの各ユニットの平均の出力値で置き換えたときの前記出力データの前記次元の値と、置き換える前の前記出力データの前記次元の値との二乗誤差を前記組み合わせの関係として算出するステップと、を含んで実行することを特徴とする。
【０００９】
第４の発明に係る解析方法は、入力部が、サンプルの入力データ及び前記サンプルが属する次元を表す出力データからなる学習データに基づいて前記入力データから前記出力データを出力するための予め学習されたニューラルネットワークと、前記ニューラルネットワークについて予め求められたユニットからなるクラスタの構造とを受け付けるステップと、解析部が、前記入力データの次元と前記クラスタとの組み合わせの各々について、前記入力データの前記次元の値を、前記学習データに含まれる前記入力データの前記次元の平均値で置き換えたときの前記クラスタに属する各ユニットの出力と、置き換える前の入力データに対する前記クラスタに属する各ユニットの出力との二乗誤差の和を前記組み合わせの関係として算出し、前記クラスタと前記出力データの次元との組み合わせの各々について、前記クラスタに属する各ユニットの出力値を、前記学習データに含まれる前記入力データを入力したときの前記クラスタの各ユニットの平均の出力値で置き換えたときの前記出力データの前記次元の値と、置き換える前の前記出力データの前記次元の値との二乗誤差を前記組み合わせの関係として算出するステップと、再学習部が、前記学習データと、前記クラスタの構造と、算出した前記クラスタと前記出力データの次元との組み合わせの各々の関係とに基づいて、前記クラスタの各々に対し、前記クラスタに属する各ユニットの出力値に、前記学習データに含まれる前記出力データが表すサンプルが属する次元との組み合わせの関係に応じた雑音を加算し、前記ニューラルネットワークを誤差逆伝播法により再学習するステップと、を含んで実行することを特徴とする。
【００１０】
第５の発明に係るプログラムは、コンピュータを、第１の発明に係る解析装置の各部として機能させるためのプログラムである。
【００１１】
第６の発明に係るプログラムは、コンピュータを、第２の発明に係る解析装置の各部として機能させるためのプログラムである。
【発明の効果】
【００１２】
本発明の解析装置、方法、及びプログラムによれば、入力データ及び出力データからなる学習データに基づいて入力データから出力データを出力するための予め学習されたニューラルネットワークと、ニューラルネットワークについて予め求められたユニットからなるクラスタの構造とを受け付け、入力データの次元とクラスタとの組み合わせの各々について、入力データの次元の値を、学習データに含まれる入力データの次元の平均値で置き換えたときのクラスタに属する各ユニットの出力と、置き換える前の入力データに対するクラスタに属する各ユニットの出力との二乗誤差の和を組み合わせの関係として算出し、クラスタと出力データの次元との組み合わせの各々について、クラスタに属する各ユニットの出力値を、学習データに含まれる入力データを入力したときのクラスタの各ユニットの平均の出力値で置き換えたときの出力データの次元の値と、置き換える前の出力データの次元の値との二乗誤差を組み合わせの関係として算出することにより、ニューラルネットワークの構造を定量的に解析することができる、という効果が得られる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態に係る解析装置の構成を示すブロック図である。
【図２】クラスタの構造において、入出力の寄与度を表す場合の一例を示す図である。
【図３】多層ニューラルネットワークのアルゴリズムを示す図である。
【図４】本発明の実施の形態に係る解析装置における解析処理ルーチンを示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１５】
＜本発明の実施の形態に係る解析装置の構成＞
【００１６】
次に、本発明の実施の形態に係る解析装置の構成について説明する。図１に示すように、本発明の実施の形態に係る解析装置１００は、ＣＰＵと、ＲＡＭと、後述する解析処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この解析装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部５０とを備えている。
【００１７】
入力部１０は、予め学習されたニューラルネットワークと、ニューラルネットワークについて予め求められたユニットからなるクラスタの構造とを受け付ける。また、クラスタの構造はどのような方法で抽出したものであってもよい。例えば、予め学習された多層ニューラルネットにおける各辺によって定まる、隣接する層の頂点間の結合関係に基づいて、多層ニューラルネットの各層に対し、当該層のコミュニティを抽出したものを、クラスタとすればよい。また、入力部１０は、ニューラルネットワークの入力となるサンプルの入力データ、及び当該サンプルが属する次元を表す出力データからなる学習データを受け付ける。ニューラルネットワークは入力データ、及び出力データからなる学習データに基づいて入力データから出力データを出力するためのニューラルネットワークとして学習されたものである。
【００１８】
演算部２０は、解析部３０と、再学習部３２とを含んで構成されている。
【００１９】
解析部３０は、入力データの次元ｉとクラスタｃとの組み合わせの関係ｖc,iinと、クラスタｃと出力データの次元ｊとの組み合わせの関係ｖc,joutとを算出する。算出されるｖc,iinとｖc,joutとは、それぞれ組み合わせにおける関係の強さを表す。
【００２０】
具体的には、解析部３０は、学習データをニューラルネットワークに入力し、入力データの次元ｉとクラスタｃとの組み合わせの各々について、学習データである入力データの次元ｉの値を、学習データに含まれる入力データの次元ｉの平均値で置き換えたときのクラスタｃに属する各ユニットの出力と、置き換える前の入力データに対するクラスタｃに属する各ユニットの出力との二乗誤差の和を、入力データの次元ｉとクラスタｃとの組み合わせの関係ｖc,iinとして定義し、算出する。
【００２１】
また、解析部３０は、学習データをニューラルネットワークに入力し、クラスタｃと出力データの次元ｊとの組み合わせの各々について、クラスタｃに属する各ユニットの出力値を、学習データに含まれる入力データを入力したときのクラスタｃの各ユニットの平均の出力値で置き換えたときの出力データの次元ｊの値と、置き換える前の出力データの次元ｊの値との二乗誤差を、クラスタｃと出力データの次元ｊとの組み合わせの関係ｖc,joutとして定義し、算出する。
【００２２】
上記の演算により、各クラスタの役割（入出力次元との関係の強さ）がそれぞれベクトル形式（ｖin={ｖc,jin},ｖout={ｖc,jout}）で得られる。
【００２３】
また、出力部５０において、より結果を解釈しやすくするために、これらの入力データの次元ｉとクラスタｃとの組み合わせの関係ｖc,iin、及びクラスタｃと出力データの次元ｊとの組み合わせの関係ｖc,joutについて、ベクトル又は行列により表すように出力する。例えば、文字画像認識を行うニューラルネットワーク（画像を入力として、その画像に何の文字が書かれているか予測した結果を出力する）に本実施形態を適用して、文字画像の学習データを用いて文字画像を認識する場合に、図２に示すように、ニューラルネットワークのユニットのクラスタの構造に対して、クラスタの各出力次元への寄与度を棒グラフで表すことで、クラスタがどの文字の認識に使われているかの寄与度を表したり、各入力次元からのクラスタへの寄与度を行列の分布により表すことで、入力画像のどの部分の情報を当該クラスタが受け付けているのかの寄与度を表すことができる。
【００２４】
また、解析部３０の演算結果に基づいて、ニューラルネットワークのパラメータを再学習することにより、ニューラルネットワークの汎化性能の向上を図ることができる。
【００２５】
再学習部３２は、学習データと、クラスタの構造と、算出したクラスタと出力データの次元との組み合わせの各々の関係ｖc,joutとに基づいて、クラスタの各々に対し、クラスタに属する各ユニットの出力値に、学習データに含まれる出力データが表すサンプルが属する次元との組み合わせの関係に応じた雑音を加算し、ニューラルネットワークを誤差逆伝播法により再学習し、出力部５０に出力する。
【００２６】
例えば、確率的最急降下法に基づいてニューラルネットワークの学習を行う場合、各クラスタに対し、学習の各反復でランダムに選ばれた学習データの出力データの次元の出力クラス（文字画像認識の場合、どの文字が書いてあるか、という情報に相当する）に対応する、出力次元ｊへのクラスタの寄与度ｖc,joutに比例した大きさの分散を持つ正規分布を以下（１）式に定義する。
【００２７】
【数１】
2019159943.tif 000003
・・・（１）
【００２８】
再学習部３２は、初期化したパラメータである結合重み｛ωi,jd｝とバイアス｛θid｝とサンプルから、パラメータの更新を行う。図３に示すAlgorithm1はパラメータ更新方法の一例であり、多層ニューラルネットワークによる出力値と観測データを用いた、各クラスタの出力クラスへの寄与度に基づく雑音ありの誤差逆伝播法である。学習データの入力データを入力した場合に、学習データが表すサンプルの属する出力クラスをｒとし、出力次元ｒへのクラスタｃの寄与度ｖc,ｒoutに比例した分散をσc,rとして、クラスタｃに属する各ユニットについて、８行目及び１０行目に示すように、上記（１）式の正規分布に応じた雑音を加算してユニットの出力ｏjdを計算した上で、誤差逆伝播法によりニューラルネットワークを更新する。
【００２９】
＜本発明の実施の形態に係る解析装置の作用＞
【００３０】
次に、本発明の実施の形態に係る解析装置１００の作用について説明する。入力部１０において、予め学習されたニューラルネットワークと、ニューラルネットワークについて予め求められたユニットからなるクラスタの構造と、入力となるサンプルの入力データと、サンプルが属する次元を表す出力データからなる学習データを受け付けると、解析装置１００は、図４に示す解析処理ルーチンを実行する。
【００３１】
ステップＳ１００では、解析部３０は、学習データをニューラルネットワークに入力し、学習データである入力データの次元ｉとクラスタｃとの組み合わせの各々について、入力データの次元ｉの値を、学習データに含まれる入力データの次元ｉの平均値で置き換えたときのクラスタｃに属する各ユニットの出力と、置き換える前の入力データに対するクラスタｃに属する各ユニットの出力との二乗誤差の和を、入力データの次元ｉとクラスタｃとの組み合わせの関係ｖc,iinとして定義し、算出する。また、学習データをニューラルネットワークに入力し、クラスタｃと出力データの次元ｊとの組み合わせの各々について、クラスタｃに属する各ユニットの出力値を、学習データに含まれる入力データを入力したときのクラスタｃの各ユニットの平均の出力値で置き換えたときの出力データの次元ｊの値と、置き換える前の出力データの次元ｊの値との二乗誤差を、クラスタｃと出力データの次元ｊとの組み合わせの関係ｖc,joutとして定義し、算出する。
【００３２】
ステップＳ１０２では、出力部５０は、入力データの次元ｉとクラスタｃとの組み合わせの関係ｖc,iin、及びクラスタｃと出力データの次元ｊとの組み合わせの関係ｖc,joutについて、ベクトル又は行列により表すように出力する。
【００３３】
ステップＳ１０４では、再学習部３２は、学習データと、クラスタの構造と、算出したクラスタと出力データの次元との組み合わせの各々の関係ｖc,joutとに基づいて、学習データの入力データを入力した場合に、クラスタｃの各々に対し、当該クラスタｃに属する各ユニットの出力値に、当該学習データに含まれる出力データが表すサンプルが属する次元ｒとの組み合わせの関係ｖc,ｒoutを用いた上記（１）式の正規分布に応じた雑音を加算するようにして、ニューラルネットワークを誤差逆伝播法により再学習し、出力部５０に出力する。
【００３４】
以上説明したように、本発明の実施の形態に係る解析装置によれば、入力データ及び出力データからなる学習データに基づいて入力データから出力データを出力するための予め学習されたニューラルネットワークと、ニューラルネットワークについて予め求められたユニットからなるクラスタの構造とを受け付け、入力データの次元とクラスタとの組み合わせの各々について、入力データの次元の値を、学習データに含まれる入力データの次元の平均値で置き換えたときのクラスタに属する各ユニットの出力と、置き換える前の入力データに対するクラスタに属する各ユニットの出力との二乗誤差の和を組み合わせの関係として算出し、クラスタと出力データの次元との組み合わせの各々について、クラスタに属する各ユニットの出力値を、学習データに含まれる入力データを入力したときのクラスタの各ユニットの平均の出力値で置き換えたときの出力データの次元の値と、置き換える前の出力データの次元の値との二乗誤差を組み合わせの関係として算出することにより、ニューラルネットワークの構造を定量的に解析することができる。
【００３５】
また、本発明の実施の形態の技術を用いて、各クラスタが「入力データのどの次元の情報を用いて、出力のどの次元の情報を推論するのに使われているか」ということを明らかにすることにより、各クラスタが大まかにどのような役割を果たすものかを知ることができる。例えば、上記図２に示すように、文字画像認識を行うニューラルネットワークに本技術を適用した場合、ニューラルネットワークにおける各クラスタが入力画像のどの部分を見て、何の文字の認識を行うのに使われているか、ということを知ることができる。
【００３６】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００３７】
例えば、上述した実施の形態では、再学習部を含む場合を例に説明したが、これに限定されるものではない。例えば、解析装置の演算部を解析部のみによって構成し、解析部による入力データの次元ｉとクラスタｃとの組み合わせの関係ｖc,iin、及びクラスタｃと出力データの次元ｊとの組み合わせの関係ｖc,joutの解析、及び出力を行うようにしてもよい。
【符号の説明】
【００３８】
１０   入力部
２０   演算部
３０   解析部
３２   再学習部
５０   出力部
１００ 解析装置
【図１】
2019159943.tif 000004
【図２】
2019159943.tif 000005
【図３】
2019159943.tif 000006
【図４】
2019159943.tif 000007