(57)【要約】【課題】効率のよい計算量削減を実現する。【解決手段】実施形態のパターン識別装置は、回帰型ニューラルネットワークを構成する中間層であるＲＮＮ層が、入力変換部とＲＮＮ処理部とを含む。ＲＮＮ層の入力変換部は、ステップ毎に、入力層から出力された特徴ベクトルまたは下位のＲＮＮ層に含まれるＲＮＮ処理部の出力からなる入力ベクトルと、当該ＲＮＮ層に含まれるＲＮＮ処理部の前ステップの出力からなる回帰入力ベクトルとに対する変換を行って、入力ベクトルの次元数と回帰入力ベクトルの次元数の和よりも小さい次元数の変換ベクトルを算出して出力する。ＲＮＮ層のＲＮＮ処理部は、ステップ毎に、当該ＲＮＮ層に含まれる入力変換部で算出された変換ベクトルからＲＮＮ出力ベクトルを算出して出力する。【選択図】図１
2018081493.tif 000002
【特許請求の範囲】
【請求項１】
入力層と出力層との間に、回帰型ニューラルネットワークを構成する中間層であるＲＮＮ層を１層以上有し、前記入力層に入力された特徴ベクトル系列に対応するパターン系列を前記出力層から出力するパターン識別装置であって、
前記ＲＮＮ層は、入力変換部とＲＮＮ処理部とを含み、
前記入力層は、ステップ毎に、前記特徴ベクトル系列を構成する特徴ベクトルを１つずつ順次出力し、
前記ＲＮＮ層の前記入力変換部は、ステップ毎に、前記入力層から出力された特徴ベクトルまたは下位の前記ＲＮＮ層に含まれる前記ＲＮＮ処理部の出力からなる入力ベクトルと、当該ＲＮＮ層に含まれる前記ＲＮＮ処理部の前ステップの出力からなる回帰入力ベクトルとに対する変換を行って、前記入力ベクトルの次元数と前記回帰入力ベクトルの次元数の和よりも小さい次元数の変換ベクトルを算出して出力し、
前記ＲＮＮ層の前記ＲＮＮ処理部は、ステップ毎に、当該ＲＮＮ層に含まれる前記入力変換部で算出された前記変換ベクトルからＲＮＮ出力ベクトルを算出して出力し、
前記出力層は、最上位の前記ＲＮＮ層に含まれる前記ＲＮＮ処理部で算出された前記ＲＮＮ出力ベクトルから前記パターン系列を算出して出力する、
パターン識別装置。
【請求項２】
前記入力変換部は、ステップｔにおける前記入力ベクトルｘｔと、前記回帰入力ベクトルｍｔ−１とから、ステップｔにおける前記変換ベクトルｖｔを、
【数１】
2018081493.tif 000022
（ただし、Ｗｖｘは前記入力ベクトルｘｔに対する重み行列、Ｗｖｍは前記回帰入力ベクトルｍｔ−１に対する重み行列である。）
または、
【数２】
2018081493.tif 000023
（ただし、ｋ（・）はベクトルごとに適用される非線形関数、Ｗｖｘは前記入力ベクトルｘｔに対する重み行列、Ｗｖｍは前記回帰入力ベクトルｍｔ−１に対する重み行列、ｂｖは前記変換ベクトルｖｔの次元数をＩとしたときのＩ次元のバイアスベクトルである。）
により算出する、
請求項１に記載のパターン識別装置。
【請求項３】
前記ＲＮＮ処理部は、ステップｔにおける前記変換ベクトルｖｔから、ステップｔにおける前記ＲＮＮ出力ベクトルｍｔを
【数３】
2018081493.tif 000024
（ただし、Ｗｍｖは前記変換ベクトルｖｔに対する重み行列、ｂｍはバイアスベクトル、σ（・）はベクトルの要素ごとに適用される非線形関数である。）
により算出する、
請求項２に記載のパターン識別装置。
【請求項４】
前記ＲＮＮ層の層数が１の場合、前記入力ベクトルの次元数をＮ、前記回帰入力ベクトルの次元数をＭ、前記変換ベクトルの次元数をＩとしたときに、
前記入力変換部は、
【数４】
2018081493.tif 000025
の条件を満たす前記変換ベクトルを算出して出力する、
請求項３に記載のパターン識別装置。
【請求項５】
前記ＲＮＮ層の層数がＲ（Ｒは２以上の整数）の場合、第ｒ層（１≦ｒ≦Ｒ）のステップｔにおける前記入力ベクトルの次元数をＮｒ、前記回帰入力ベクトルの次元数をＭｒ、前記変換ベクトルの次元数をＩｒとしたときに、
前記入力変換部は、
【数５】
2018081493.tif 000026
の条件を満たす前記変換ベクトルを算出して出力する、
請求項３に記載のパターン識別装置。
【請求項６】
前記ＲＮＮ処理部は、ＬＳＴＭ（Ｌｏｎｇ  Ｓｈｏｒｔ−Ｔｅｒｍ  Ｍｅｍｏｒｙ）であり、前記変換ベクトルｖｔから、ステップｔにおける前記ＲＮＮ出力ベクトルｍｔを
【数６】
2018081493.tif 000027
により算出する、
請求項２に記載のパターン識別装置。
【請求項７】
前記ＲＮＮ層の層数が１の場合、前記入力ベクトルの次元数をＮ、前記回帰入力ベクトルの次元数をＭ、前記変換ベクトルの次元数をＩとしたときに、
前記入力変換部は、
【数７】
2018081493.tif 000028
の条件を満たす前記変換ベクトルを算出して出力する、
請求項６に記載のパターン識別装置。
【請求項８】
前記ＲＮＮ層の層数がＲ（Ｒは２以上の整数）の場合、第ｒ層（１≦ｒ≦Ｒ）のステップｔにおける前記入力ベクトルの次元数をＮｒ、前記回帰入力ベクトルの次元数をＭｒ、前記変換ベクトルの次元数をＩｒとしたときに、
前記入力変換部は、
【数８】
2018081493.tif 000029
の条件を満たす前記変換ベクトルを算出して出力する、
請求項６に記載のパターン識別装置。
【請求項９】
前記入力変換部は、ステップｔにおける前記変換ベクトルｖｔのうち、ステップｔにおける前記入力ベクトルｘｔのみから計算される成分をｖｘｔ、前記入力ベクトルｘｔと前記回帰入力ベクトルｍｔ−１とから計算される成分をｖｃｔ、前記回帰入力ベクトルｍｔ−１のみから計算される成分をｖｍｔとしたときに、前記変換ベクトルｖｔを
【数９】
2018081493.tif 000030
（ただし、・Ｔは行列の転置、Ｗｖｘｉ，Ｗｖｘｃは前記入力ベクトルｘｔに対する重み行列、Ｗｖｍｉ，Ｗｖｍｃは前記回帰入力ベクトルｍｔ−１に対する重み行列である。）
または、
【数１０】
2018081493.tif 000031
（ただし、・Ｔは行列の転置、ｋ（・）はベクトルごとに適用される非線形関数、Ｗｖｘｉ，Ｗｖｘｃは前記入力ベクトルｘｔに対する重み行列、Ｗｖｍｉ，Ｗｖｍｃは前記回帰入力ベクトルｍｔ−１に対する重み行列、ｂｖｘは前記変換ベクトルの成分ｖｘｔの次元数をＩｘとしたときのＩｘ次元のバイアスベクトル、ｂｖｃは前記変換ベクトルの成分ｖｃｔの次元数をＩｃとしたときのＩｃ次元のバイアスベクトル、ｂｖｍは前記変換ベクトルの成分ｖｍｔの次元数をＩｍとしたときのＩｍ次元のバイアスベクトルである。）
により算出する
請求項１に記載のパターン識別装置。
【請求項１０】
前記ＲＮＮ処理部は、ステップｔにおける前記変換ベクトルｖｔから、ステップｔにおける前記ＲＮＮ出力ベクトルｍｔを
【数１１】
2018081493.tif 000032
（ただし、Ｗｍｖは前記変換ベクトルｖｔに対する重み行列、ｂｍはバイアスベクトル、σ（・）はベクトルの要素ごとに適用される非線形関数である。）
により算出する、
請求項９に記載のパターン識別装置。
【請求項１１】
前記ＲＮＮ層の層数が１の場合、前記入力ベクトルの次元数をＮ、前記回帰入力ベクトルの次元数をＭ、前記変換ベクトルの次元数をＩ、前記変換ベクトルのうち、前記入力ベクトルのみから計算される成分の次元数をＩｘ、前記回帰入力ベクトルのみから計算される次元数をＩｍとしたときに、
前記入力変換部は、
【数１２】
2018081493.tif 000033
の条件を満たす前記変換ベクトルを算出して出力する、
請求項１０に記載のパターン識別装置。
【請求項１２】
前記ＲＮＮ層の層数がＲ（Ｒは２以上の整数）の場合、第ｒ層（１≦ｒ≦Ｒ）のステップｔにおける前記入力ベクトルの次元数をＮｒ、前記回帰入力ベクトルの次元数をＭｒ、前記変換ベクトルの次元数をＩｒとし、当該変換ベクトルのうち、前記入力ベクトルのみから計算される成分の次元数をＩｒｘ、前記入力ベクトルと前記回帰入力ベクトルとから計算される成分の次元数をＩｒｃ、前記回帰入力ベクトルのみから計算される成分を成分の次元数をＩｒｍとしたときに、
前記入力変換部は、
【数１３】
2018081493.tif 000034
の条件を満たす前記変換ベクトルを算出して出力する、
請求項１０に記載のパターン識別装置。
【請求項１３】
前記ＲＮＮ処理部は、ＬＳＴＭ（Ｌｏｎｇ  Ｓｈｏｒｔ−Ｔｅｒｍ  Ｍｅｍｏｒｙ）であり、前記変換ベクトルｖｔから、ステップｔにおける前記ＲＮＮ出力ベクトルｍｔを
【数１４】
2018081493.tif 000035
により算出する、
請求項９に記載のパターン識別装置。
【請求項１４】
前記ＲＮＮ層の層数が１の場合、前記入力ベクトルの次元数をＮ、前記回帰入力ベクトルの次元数をＭ、前記変換ベクトルの次元数をＩ、前記変換ベクトルのうち、前記入力ベクトルのみから計算される成分の次元数をＩｘ、前記回帰入力ベクトルのみから計算される次元数をＩｍとしたときに、
前記入力変換部は、
【数１５】
2018081493.tif 000036
の条件を満たす前記変換ベクトルを算出して出力する、
請求項１３に記載のパターン識別装置。
【請求項１５】
前記ＲＮＮ層の層数がＲ（Ｒは２以上の整数）の場合、第ｒ層（１≦ｒ≦Ｒ）における前記入力ベクトルの次元数をＮｒ、前記回帰入力ベクトルの次元数をＭｒ、前記変換ベクトルの次元数をＩｒとし、当該変換ベクトルのうち、前記入力ベクトルのみから計算される成分の次元数をＩｒｘ、前記入力ベクトルと前記回帰入力ベクトルとから計算される成分の次元数Ｉｒｃ、前記回帰入力ベクトルのみから計算される次元数を次元数をＩｒｍとしたときに、
前記入力変換部は、
【数１６】
2018081493.tif 000037
の条件を満たす前記変換ベクトルを算出して出力する、
請求項１３に記載のパターン識別装置。
【請求項１６】
入力層と出力層との間に、回帰型ニューラルネットワークを構成する中間層であるＲＮＮ層を１層以上有し、前記入力層に入力された特徴ベクトル系列に対応するパターン系列を前記出力層から出力するパターン識別装置により実行されるパターン識別方法であって、
前記ＲＮＮ層は、入力変換部とＲＮＮ処理部とを含み、
前記入力層が、ステップ毎に、前記特徴ベクトル系列を構成する特徴ベクトルを１つずつ順次出力するステップと、
前記ＲＮＮ層の前記入力変換部が、ステップ毎に、前記入力層から出力された特徴ベクトルまたは下位の前記ＲＮＮ層に含まれる前記ＲＮＮ処理部の出力からなる入力ベクトルと、当該ＲＮＮ層に含まれる前記ＲＮＮ処理部の前ステップの出力からなる回帰入力ベクトルとに対する変換を行って、前記入力ベクトルの次元数と前記回帰入力ベクトルの次元数の和よりも小さい次元数の変換ベクトルを算出して出力するステップと、
前記ＲＮＮ層の前記ＲＮＮ処理部が、ステップ毎に、当該ＲＮＮ層に含まれる前記入力変換部で算出された前記変換ベクトルからＲＮＮ出力ベクトルを算出して出力するステップと、
前記出力層は、最上位の前記ＲＮＮ層に含まれる前記ＲＮＮ処理部で算出された前記ＲＮＮ出力ベクトルから前記パターン系列を算出して出力するステップと、
を含むパターン識別方法。
【請求項１７】
入力層と出力層との間に、回帰型ニューラルネットワークを構成する中間層であるＲＮＮ層を１層以上有し、前記入力層に入力された特徴ベクトル系列に対応するパターン系列を前記出力層から出力するパターン識別装置としての機能をコンピュータに実現させるためのプログラムであって、
前記ＲＮＮ層は、入力変換部とＲＮＮ処理部とを含み、
前記入力層が、ステップ毎に、前記特徴ベクトル系列を構成する特徴ベクトルを１つずつ順次出力するステップと、
前記ＲＮＮ層の前記入力変換部が、ステップ毎に、前記入力層から出力された特徴ベクトルまたは下位の前記ＲＮＮ層に含まれる前記ＲＮＮ処理部の出力からなる入力ベクトルと、当該ＲＮＮ層に含まれる前記ＲＮＮ処理部の前ステップの出力からなる回帰入力ベクトルとに対する変換を行って、前記入力ベクトルの次元数と前記回帰入力ベクトルの次元数の和よりも小さい次元数の変換ベクトルを算出して出力するステップと、
前記ＲＮＮ層の前記ＲＮＮ処理部は、ステップ毎に、当該ＲＮＮ層に含まれる前記入力変換部で算出された前記変換ベクトルからＲＮＮ出力ベクトルを算出して出力するステップと、
前記出力層は、最上位の前記ＲＮＮ層に含まれる前記ＲＮＮ処理部で算出された前記ＲＮＮ出力ベクトルから前記パターン系列を算出して出力するステップと、
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、パターン識別装置、パターン識別方法およびプログラムに関する。
【背景技術】
【０００２】
回帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）は、一般に、入力層と、１つまたは複数の中間層（ＲＮＮ層）と、出力層とから構成される。ＲＮＮ層が複数存在する場合には、下位層の出力が当該層の入力となり、当該層の出力が上位層の入力となるように、複数のＲＮＮ層が最下位層から最上位層の順に並べられる。ここで、最下位のＲＮＮ層の入力は入力層の出力であり、最上位のＲＮＮ層の出力が出力層の入力となる。また、各ＲＮＮ層は、１つまたは複数のユニットから構成される。
【０００３】
回帰型ニューラルネットワークは、特徴ベクトル系列が入力されると、各ＲＮＮ層で、入力のステップ毎に、当該ステップの下位層からの入力に加え、前ステップの当該ＲＮＮ層の出力からなる回帰入力を用いて当該ステップの出力を計算する。このため、系列のパターンを考慮したパターン識別が可能であり、例えば、音声認識や画像認識、文字認識、自然言語処理などの様々な分野でパターン識別装置として使用されている。
【０００４】
しかし、回帰型ニューラルネットワークは、中間層であるＲＮＮ層において、入力に加えて回帰入力も出力の計算に用いるため、中間層で入力のみから出力を計算する回帰型ではないニューラルネットワークと比べて、計算量が増加する。このため、回帰型ニューラルネットワークにおける計算量の削減が検討されているが、従来の方法では回帰型ニューラルネットワークにおける計算量を効率よく削減することが難しく、改善が求められている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許出願公開第２０１５／０１６１９９１号明細書
【非特許文献】
【０００６】
【非特許文献１】横山ほか、「ＤｅｅｐＬｅａｒｎｉｎｇによる次元圧縮を用いた時系列行動認識」、２０１５年度人工知能学会全国大会論文集、３Ｌ４−２、２０１５年６月
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明が解決しようとする課題は、計算量を効率よく削減することができるパターン識別装置、パターン識別方法およびプログラムを提供することである。
【課題を解決するための手段】
【０００８】
実施形態のパターン識別装置は、入力層と出力層との間に、回帰型ニューラルネットワークを構成する中間層である１層以上のＲＮＮ層を有し、前記入力層に入力された特徴ベクトル系列に対応するパターン系列を前記出力層から出力するパターン識別装置であり、前記ＲＮＮ層が、入力変換部とＲＮＮ処理部とを含む。前記入力層は、ステップ毎に、前記特徴ベクトル系列を構成する特徴ベクトルを１つずつ順次出力する。前記ＲＮＮ層の前記入力変換部は、ステップ毎に、前記入力層から出力された特徴ベクトルまたは下位の前記ＲＮＮ層に含まれる前記ＲＮＮ処理部の出力からなる入力ベクトルと、当該ＲＮＮ層に含まれる前記ＲＮＮ処理部の前ステップの出力からなる回帰入力ベクトルとに対する変換を行って、前記入力ベクトルの次元数と前記回帰入力ベクトルの次元数の和よりも小さい次元数の変換ベクトルを算出して出力する。前記ＲＮＮ層の前記ＲＮＮ処理部は、ステップ毎に、当該ＲＮＮ層に含まれる前記入力変換部で算出された前記変換ベクトルからＲＮＮ出力ベクトルを算出して出力する。前記出力層は、最上位の前記ＲＮＮ層に含まれる前記ＲＮＮ処理部で算出された前記ＲＮＮ出力ベクトルから前記パターン系列を算出して出力する。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態のパターン識別装置の機能的な構成例を示すブロック図。
【図２】ＲＮＮ層が複数ある場合の構成例を示すブロック図。
【図３】第２実施形態のパターン識別装置の機能的な構成例を示すブロック図。
【図４】ＬＳＴＭ層が複数ある場合の構成例を示すブロック図。
【図５】実施形態のパターン識別装置のハードウェア構成例を示すブロック図。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照しながら、実施形態のパターン識別装置、パターン識別方法およびプログラムについて詳細に説明する。実施形態のパターン識別装置は、回帰型ニューラルネットワークを用いたパターン識別装置である。すなわち、実施形態のパターン識別装置は、入力層と出力層との間に、回帰型ニューラルネットワークを構成する中間層であるＲＮＮ層を１層以上有し、入力層に入力された特徴ベクトル系列に対応するパターン系列を出力層から出力する。
【００１１】
ＲＮＮ層は、入力のステップ毎に、当該ステップの下位層からの入力に加え、前ステップの当該ＲＮＮ層の出力からなる回帰入力を用いて当該ステップの出力を計算する。したがって、ＲＮＮ層を中間層とする回帰型ニューラルネットワークを用いたパターン識別装置は、系列のパターンを考慮したパターン識別が可能である。
【００１２】
また、回帰型ニューラルネットワークの一種であるＬＳＴＭ（Ｌｏｎｇ  Ｓｈｏｒｔ−Ｔｅｒｍ  Ｍｅｍｏｒｙ）では、通常のＲＮＮ層のユニットの代わりに、例えば、入力を制御する入力ゲート、記憶を制御する忘却ゲート、および出力を制御する出力ゲートを備えたＬＳＴＭブロックと呼ばれるメモリセルを用いる。ＲＮＮ層にＬＳＴＭを用いたパターン識別装置は、入力ゲート、忘却ゲート、および出力ゲートを用いて入力、記憶、および出力を制御することで、長期の記憶の保持が可能となっており、通常のＲＮＮ層を用いたパターン識別装置では困難な長期の系列のパターンを考慮したパターン識別が可能となる。
【００１３】
しかし、回帰型ニューラルネットワークでは、上述のように、入力に加えて回帰入力も出力の計算に用いるため、入力のみから出力を計算する回帰型ではないニューラルネットワークと比べて、計算量が増加するという問題がある。特にＬＳＴＭでは、各ゲートで入力と回帰入力とを用いてゲート出力を計算しているため、大幅に計算量が増加するという問題がある。
【００１４】
この問題に対し、ＬＳＴＭを用いたＲＮＮ層（以下、これを特に「ＬＳＴＭ層」とよぶ）の出力から回帰射影層（ｒｅｃｕｒｒｅｎｔ  ｐｒｏｊｅｃｔｉｏｎ  ｌａｙｅｒ）を用いて当該層の出力よりも次元数の少ない回帰射影出力（ｒｅｃｕｒｒｅｎｔ  ｐｒｏｊｅｃｔｅｄ  ｏｕｔｐｕｔ）を生成し、回帰射影出力を次ステップの当該ＬＳＴＭ層の回帰入力および当該ステップの上位層の入力として用いることにより、計算量を削減する手法がある。
【００１５】
しかし、この手法では、各ＬＳＴＭ層の回帰射影出力の次元を予め決める必要があるため、各ＬＳＴＭ層における入力と回帰入力との次元数の配分を自動的に最適化できず、効率的な計算量削減を実現することが難しい。また、この手法では、最下位のＬＳＴＭ層の入力の次元数を削減することはできないという問題もある。ＲＮＮ層に入力する特徴ベクトルの次元を削減する方法として、ディープ・オートエンコーダ（ｄｅｅｐ  ａｕｔｏｅｎｃｏｄｅｒ）を用いる方法もあるが、仮に、この方法を用いてＬＳＴＭの入力の次元数と、回帰射影出力からなる回帰入力の次元数とを削減した場合であっても、これら次元削減後の入力の次元数と回帰入力の次元数とを予め決める必要があるため、やはり入力と回帰入力との次元数の配分を自動的に最適化することはできず、効率的な計算量削減を実現することが難しい。
【００１６】
そこで、実施形態のパターン識別装置では、回帰型ニューラルネットワークを構成する中間層であるＲＮＮ層が入力変換部とＲＮＮ処理部とを含む構成とし、入力変換部がＲＮＮ層の入力と回帰入力とに対する変換を行って変換ベクトルを生成し、ＲＮＮ処理部がこの変換ベクトルを用いてＲＮＮ出力ベクトルを算出する。すなわち、実施形態のパターン識別装置は、ＲＮＮ層の入力変換部が、ステップ毎に、入力層から出力された特徴ベクトルまたは下位のＲＮＮ層に含まれるＲＮＮ処理部の出力からなる入力ベクトルと、当該ＲＮＮ層に含まれるＲＮＮ処理部の前ステップの出力からなる回帰入力ベクトルとに対する変換を行って、入力ベクトルの次元数と回帰入力ベクトルの次元数の和よりも小さい次元数の変換ベクトルを算出して出力する。そして、ＲＮＮ層のＲＮＮ処理部が、ステップ毎に、当該ＲＮＮ層に含まれる入力変換部で算出された変換ベクトルからＲＮＮ出力ベクトルを算出して出力する。
【００１７】
このように、実施形態のパターン識別装置では、ＲＮＮ層の入力と回帰入力とに対する変換により次元数を削減した変換ベクトルを算出し、この変換ベクトルからＲＮＮ出力ベクトルを算出して出力する構成としているので、ＲＮＮ層の入力と回帰入力の次元削減後の次元数の配分を自動的に最適化することができ、効率よく計算量を削減することができる。以下では、中間層に通常のＲＮＮ層を用いた場合とＬＳＴＭ層を用いた場合とに分けて、実施形態のパターン識別装置の具体例をさらに詳しく説明する。
【００１８】
（第１実施形態）
まず、中間層に通常のＲＮＮ層を用いた場合の例を第１実施形態として説明する。図１は、第１実施形態のパターン識別装置の機能的な構成例を示すブロック図である。本実施形態のパターン識別装置は、図１に示すように、入力層１０と、ＲＮＮ層２０と、出力層３０とを備え、ＲＮＮ層２０が入力変換部２１とＲＮＮ処理部２２とを含む構成である。
【００１９】
入力層１０は、特徴ベクトル系列を受理して、系列のステップ毎に、特徴ベクトル系列を構成する特徴ベクトルを１つずつ順次出力する。
【００２０】
ＲＮＮ層２０の入力変換部２１は、ステップ毎に、入力層１０から出力された特徴ベクトルからなる入力ベクトルと、ＲＮＮ処理部２２の前ステップの出力であるＲＮＮ出力ベクトルからなる回帰入力ベクトルとに対する変換を行って、入力ベクトルの次元数と回帰入力ベクトルの次元数の和よりも小さい次元数の変換ベクトルを算出して出力する。
【００２１】
例えば、入力変換部２１は、ステップｔにおける入力ベクトルｘｔと、回帰入力ベクトルｍｔ−１とから、ステップｔにおける変換ベクトルｖｔを下記式（１）により算出する。
【数１】
2018081493.tif 000003
ただし、Ｗｖｘは入力ベクトルｘｔに対する重み行列、Ｗｖｍは回帰入力ベクトルｍｔ−１に対する重み行列である。
【００２２】
ここで、入力ベクトルｘｔの次元数をＮ、回帰入力ベクトルｍｔ−１の次元数をＭ、変換ベクトルｖｔの次元数をＩとおき、計算量の削減を実現するための変換ベクトルｖｔの次元数Ｉに対する制約条件について考える。
【００２３】
従来の一般的な回帰型ニューラルネットワークのＲＮＮ層では、Ｎ次元の入力ベクトルｘｔとＭ次元の回帰入力ベクトルｍｔ−１とを用いてＭ次元のＲＮＮ出力ベクトルを計算するため、その計算量は（Ｎ＋Ｍ）・Ｍと表すことができる。一方、本実施形態のＲＮＮ層２０では、まず、入力変換部２１において、Ｎ次元の入力ベクトルｘｔとＭ次元の回帰入力ベクトルｍｔ−１とを用いてＩ次元の変換ベクトルｖｔを算出し、その後、Ｉ次元の変換ベクトルｖｔからＭ次元のＲＮＮ出力ベクトルを計算するため、その計算量は（Ｎ＋Ｍ）・Ｉ＋Ｉ・Ｍと表すことができる。したがって、（Ｎ＋Ｍ）・Ｉ＋Ｉ・Ｍ＜（Ｎ＋Ｍ）・Ｍであれば、本実施形態により計算量が削減できると言える。
【００２４】
以上のことから、変換ベクトルｖｔの次元数Ｉは、下記式（２）に示す条件を満たすことが望ましい。つまり、入力変換部２１は、下記式（２）に示す条件を満たす変換ベクトルｖｔを算出して出力することが望ましい。
【数２】
2018081493.tif 000004
【００２５】
また、入力変換２１は、ステップｔにおける変換ベクトルｖｔのうち、入力ベクトルｘｔのみから計算される成分をｖｘｔとし、入力ベクトルｘｔと回帰入力ベクトルｍｔ−１とから計算される成分をｖｃｔとし、回帰入力ベクトルｍｔ−１のみから計算される成分をｖｍｔとしたときに、変換ベクトルｖｔを以下のように算出してもよい。
ｖｔ＝［ｖｘｔＴ，ｖｃｔＴ，ｖｍｔＴ］Ｔ
ｖｘｔ＝Ｗｖｘｉ・ｘｔ
ｖｃｔ＝Ｗｖｘｃ・ｘｔ＋Ｗｖｍｃ・ｍｔ−１
ｖｍｔ＝Ｗｖｍｉ・ｍｔ
ただし、・Ｔは行列の転置、Ｗｖｘｉ，Ｗｖｘｃは入力ベクトルｘｔに対する重み行列、Ｗｖｍｃ，Ｗｖｍｉは回帰入力ベクトルｍｔ−１に対する重み行列である。
【００２６】
このような線形変換を、便宜上、非全結合の線形変換と呼ぶ。非全結合の線形変換を用いる場合、成分ｖｘｔの次元数をＩｘ、成分ｖｃｔの次元数をＩｃ、成分ｖｍｔの次元数をＩｍとすると、（Ｉｘ＋Ｉｃ）・Ｎ＋（Ｉｍ＋Ｉｃ）・Ｍ＋Ｉ・Ｍ＜（Ｎ＋Ｍ）・Ｍ、（Ｉ−Ｉｍ）・Ｎ＋（Ｉｃ＋Ｉｍ）・Ｍ＋Ｉ・Ｍ＜（Ｎ＋Ｍ）・Ｍ、（Ｉ−Ｉｍ）・Ｎ＋（Ｉ−Ｉｘ）・Ｍ＋Ｉ・Ｍ＜（Ｎ＋Ｍ）・Ｍであれば、計算量が削減できると言える。
【００２７】
したがって、非全結合の線形変換を用いる場合には、入力変換部２１は、下記式（３）に示す条件を満たす変換ベクトルｖｔを算出して出力することが望ましい。
【数３】
2018081493.tif 000005
【００２８】
なお、非全結合の線形変換を用いる場合、変換ベクトルｖｔの次元数Ｉが回帰入力ベクトルｍｔ−１の次元数Ｍ以上（Ｉ≧Ｍ）であっても計算量を削減できる場合があるが、少なくとも、変換ベクトルｖｔの次元数Ｉが入力ベクトルｘｔの次元数Ｎと回帰入力ベクトルｍｔ−１の次元数Ｍとの和よりも小さい（Ｉ＜Ｎ＋Ｍ）ことが必要である。また、Ｉｃ＝Ｉ、Ｉｘ＝Ｉｍ＝０とした場合は、上記式（１）と等価になる。
【００２９】
以上説明した変換は線形変換であるが、入力変換部２１による変換は、必ずしも線形変換である必要はなく、アフィン変換や最適化可能な非線形変換などを用いてもよい。例えば、入力変換部２１は、ステップｔにおける入力ベクトルｘｔと、回帰入力ベクトルｍｔ−１とから、ステップｔにおける変換ベクトルｖｔを下記式（４）により算出してもよい。
【数４】
2018081493.tif 000006
ただし、ｋ（・）はベクトルごとに適用されるシグモイド関数、ｔａｎｈ関数などの非線形関数、Ｗｖｘは入力ベクトルｘｔに対する重み行列、Ｗｖｍは回帰入力ベクトルｍｔ−１に対する重み行列、ｂｖは変換ベクトルｖｔの次元数をＩとしたときのＩ次元のバイアスベクトルである。
【００３０】
上記式（４）の非線形変換により変換ベクトルｖｔを算出する場合も、変換ベクトルｖｔの次元数Ｉに対する制約条件は、上記式（１）の線形変換により変換ベクトルｖｔを算出する場合と同様である。すなわち、入力変換部２１は、上記式（２）に示す条件を満たす変換ベクトルｖｔを算出して出力することが望ましい。
【００３１】
また、入力変換２１は、ステップｔにおける変換ベクトルｖｔのうち、入力ベクトルｘｔのみから計算される成分をｖｘｔとし、入力ベクトルｘｔと回帰入力ベクトルｍｔ−１とから計算される成分をｖｃｔとし、回帰入力ベクトルｍｔ−１のみから計算される成分をｖｍｔとしたときに、変換ベクトルｖｔを、以下のように算出してもよい。
ｖｔ＝［ｖｘｔＴ，ｖｃｔＴ，ｖｍｔＴ］Ｔ
ｖｘｔ＝ｋ（Ｗｖｘｉ・ｘｔ＋ｂｖｘ）
ｖｃｔ＝ｋ（Ｗｖｘｃ・ｘｔ＋Ｗｖｍｃ・ｍｔ−１＋ｂｖｃ）
ｖｍｔ＝ｋ（Ｗｖｍｉ・ｍｔ＋ｂｖｍ）
ただし、・Ｔは行列の転置、ｋ（・）はベクトルごとに適用される非線形関数、Ｗｖｘｉ，Ｗｖｘｃは前記入力ベクトルｘｔに対する重み行列、Ｗｖｍｉ，Ｗｖｍｃは前記回帰入力ベクトルｍｔ−１に対する重み行列、ｂｖｘは前記変換ベクトルの成分ｖｘｔの次元数をＩｘとしたときのＩｘ次元のバイアスベクトル、ｂｖｃは前記変換ベクトルの成分ｖｃｔの次元数をＩｃとしたときのＩｃ次元のバイアスベクトル、ｂｖｍは前記変換ベクトルの成分ｖｍｔの次元数をＩｍとしたときのＩｍ次元のバイアスベクトルである。
【００３２】
このような非線形変換を、便宜上、非全結合の非線形変換と呼ぶ。非全結合の非線形変換を用いる場合、入力変換部２１は、上述の非全結合の線形変換を用いる場合と同様に、上記式（３）に示す条件を満たす変換ベクトルｖｔを算出して出力することが望ましい。
【００３３】
ＲＮＮ層２０のＲＮＮ処理部２２は、ステップ毎に、入力変換部２１で算出された変換ベクトルから、下記式（５）を用いて、ＲＮＮ出力ベクトルを算出する。
【数５】
2018081493.tif 000007
ただし、ｍｔはステップｔにおけるＲＮＮ出力ベクトル、ｖｔはステップｔにおける変換ベクトル、Ｗｍｖは変換ベクトルｖｔに対する重み行列、ｂｍはバイアスベクトル、σ（・）はベクトルの要素ごとに適用される非線形関数である。σ（・）は一般にシグモイド関数やｔａｎｈ関数などが用いられるが、他の非線形な関数を用いてもよい。
【００３４】
出力層３０は、ＲＮＮ処理部２２で算出されたＲＮＮ出力ベクトルから、パターン系列を算出する。パターン系列がＮクラス識別問題におけるＮ次元スコアベクトルの系列である場合、ステップｔにおけるスコアベクトルｙｔは、例えば式（６）を用いて計算される。
【数６】
2018081493.tif 000008
ただし、Ｗｙｍはスコアベクトル算出のための重み行列、ｂｙはバイアスベクトルである。
【００３５】
ここで、パターン系列は必ずしもスコアベクトルの系列である必要はなく、事後確率ベクトルの系列やスコアが最大となるクラスのインデックスの系列などであってもよい。パターン系列が事後確率ベクトルの系列である場合には、ステップｔにおける事後確率ベクトルｚｔは、例えばスコアベクトルｙｔから、下記式（７）を用いて計算される。
【数７】
2018081493.tif 000009
ただし、ｓｏｆｔｍａｘ（・）はソフトマックス関数であり、事後確率ベクトルｚｔの各要素ｚｔ（ｎ）は、スコアベクトルｙｔの各要素ｙｔ（ｎ）から、式（８）を用いて計算される。
【数８】
2018081493.tif 000010
【００３６】
また、パターン系列がスコアが最大となるクラスのインデックスの系列の場合は、ステップｔにおけるインデックスｎ~ｔは、例えば、スコアベクトルｙｔの各要素ｙｔ（ｎ）から、下記式（９）を用いて計算される。
【数９】
2018081493.tif 000011
ただし、ａｒｇｍａｘｎ（ｙｔ（ｎ））は、スコアベクトルｙｔの各要素ｙｔ（ｎ）のうち最大値を持つ要素のインデックスを求める関数である。
【００３７】
本実施形態のパターン識別装置において、ＲＮＮ層２０の入力変換部２１が変換ベクトルｖｔを算出するために用いる重み行列、すなわち、上記式（１）あるいは上記式（５）における重み行列Ｗｖｘ，Ｗｖｍは、学習データを用いて、例えば下記の参考文献に示される手法などにより最適化可能である。
＜参考文献＞P．J．Werbos，“Backpropagation  Through  Time：What  it  Does  and  How  to  Do  It，”，Proceedings  of  the  IEEE，vol．78，no．10，pp．1550-1560，Oct．1990．
【００３８】
本実施形態のパターン識別装置では、ＲＮＮ層２０の入力変換部２１が、上述の線形変換、非全結合の線形変換、非線形変換、非全結合の非線形変換のいずれかを用いて変換ベクトルｖｔを算出する構成としているため、学習データを用いて入力ベクトルｘｔと回帰入力ベクトルｍｔ−１とのどちらにより大きな重みを与えるかを自動的に決定することができ、変換ベクトルｖｔに対する入力ベクトルｘｔと回帰入力ベクトルｍｔ−１の次元数の配分を自動的に最適化することが可能となる。
【００３９】
本実施形態では、これまで、ＲＮＮ層２０が１つの場合について述べてきたが、図２に示すように、入力層１０と出力層３０との間に複数のＲＮＮ層２０（第１位ＲＮＮ層２０−１・・・第Ｒ位ＲＮＮ層２０−Ｒ）があってもよい。図２のように、ＲＮＮ層２０の数がＲであり、下位のＲＮＮ層２０の出力が上位のＲＮＮ層２０の入力となるように最下位層である第１位ＲＮＮ層２０−１から最上位層である第Ｒ位ＲＮＮ層２０−Ｒの順に並べられているとすると、入力層１０から出力される特徴ベクトルが第１位ＲＮＮ層２０−１の入力変換部２１−１の入力ベクトルとなり、第１位ＲＮＮ層２０−１のＲＮＮ処理部２２−１から出力されるＲＮＮ出力ベクトルは、その上位である第２位ＲＮＮ層２０−２の入力変換部２１−２の入力ベクトルとなる。
【００４０】
同様に、第ｒ位ＲＮＮ層２０−ｒ（１≦ｒ＜Ｒ）のＲＮＮ処理部２２−ｒから出力されるＲＮＮ出力ベクトルは、第（ｒ＋１）位ＲＮＮ層２０−（ｒ＋１）の入力変換部２１−（ｒ＋１）の入力ベクトルとなり、最上位の第Ｒ位ＲＮＮ層２０−ＲのＲＮＮ処理部２２−Ｒから出力されるＲＮＮ出力ベクトルが、出力層３０へ入力される。学習データを用いて各ＲＮＮ層２０の入力変換部２１における変換の最適化を行う際には、各ＲＮＮ層２０で入力ベクトルと回帰入力ベクトルの次元数の最適な配分が自動的に決定される。
【００４１】
このように複数のＲＮＮ層２０を持つ構成のパターン識別装置において、ＲＮＮ層２０の入力変換部２１が上記式（１）に示す線形変換または上記式（４）に示す非線形変換を用いて変換ベクトルを算出する場合、第ｒ位ＲＮＮ層（１≦ｒ≦Ｒ）２０−ｒで算出される変換ベクトルｖｒｔの次元数の次元数をＩｒ、第ｒ位ＲＮＮ層２０−ｒの入力ベクトルの次元数をＮｒ、第ｒ位ＲＮＮ層２０−ｒの回帰入力ベクトルの次元数をＭｒとすると、下記式（１０）を満たす場合に、計算量が削減できると言える。
【数１０】
2018081493.tif 000012
【００４２】
したがって、第ｒ位ＲＮＮ層２０−ｒの変換ベクトルｖｒｔの次元数Ｉｒは、下記式（１１）に示す条件を満たすことが望ましい。つまり、入力変換部２１は、下記式（１１）に示す条件を満たす変換ベクトルｖｒｔを算出して出力することが望ましい。
【数１１】
2018081493.tif 000013
【００４３】
また、このように複数のＲＮＮ層２０を持つ構成のパターン識別装置において、ＲＮＮ層２０の入力変換部２１が上述の非全結合の線形変換または非全結合の非線形変換を用いて変換ベクトルを算出する場合、第ｒ位ＲＮＮ層（１≦ｒ≦Ｒ）２０−ｒで算出される変換ベクトルｖｒｔの次元数をＩｒ、第ｒ位ＲＮＮ層２０−ｒの入力ベクトルの次元数をＮｒ、回帰入力ベクトルの次元数をＭｒとし、第ｒ位ＲＮＮ層２０−ｒで算出される変換ベクトルｖｒｔのうち、入力ベクトルのみから計算される成分の次元数をＩｒｘ、入力ベクトルと回帰入力ベクトルとから計算される成分の次元数をＩｒｃ、回帰入力ベクトルのみから計算される成分の次元数をＩｒｍとすると、下記式（１２）またはこれと等価な下記式（１３）を満たす場合に、計算量が削減できると言える。
【数１２】
2018081493.tif 000014
【数１３】
2018081493.tif 000015
【００４４】
したがって、第ｒ位ＲＮＮ層２０−ｒの変換ベクトルｖｒｔの次元数Ｉｒは、下記式（１４）に示す条件を満たすことが望ましい。つまり、入力変換部２１は、下記式（１４）に示す条件を満たす変換ベクトルｖｒｔを算出して出力することが望ましい。
【数１４】
2018081493.tif 000016
【００４５】
なお、上述したパターン識別装置の構成は、本発明の主旨を逸脱しない範囲内で種々の変形が可能である。例えば、入力層１０とＲＮＮ層２０の入力変換部２１との間に任意の処理を追加し、追加した処理の出力ベクトルを入力変換部２１の入力ベクトルの一部または全てとしてもよい。また、ＲＮＮ層２０のＲＮＮ処理部２２と出力層３０との間に任意の処理を追加し、追加した処理の出力ベクトルを出力層３０の入力の一部または全てとしてもよい。さらに、出力層３０が、ＲＮＮ層２０のＲＮＮ処理部２２で算出されるＲＮＮ出力ベクトルをそのままパターン系列として出力してもよい。
【００４６】
以上説明したように、本実施形態のパターン識別装置では、ＲＮＮ層２０の入力変換部２１が、入力ベクトルと回帰入力ベクトルとに対する変換により次元数を削減した変換ベクトルを算出する。そして、ＲＮＮ層２０のＲＮＮ処理部２２が、入力変換部２１により算出された変換ベクトルからＲＮＮ出力ベクトルを算出して出力する。したがって、本実施形態のパターン識別装置によれば、ＲＮＮ層２０に入力される入力ベクトルと回帰入力ベクトルの次元数の配分を自動的に最適化しながら、従来の回帰型ニューラルネットワークと比べてＲＮＮ層２０における計算量を削減することができ、効率的な計算量の削減を実現することができる。
【００４７】
（第２実施形態）
次に、中間層に通常のＬＳＴＭ層を用いた場合の例を第２実施形態として説明する。図３は、第２実施形態のパターン識別装置の機能的な構成例を示すブロック図である。本実施形態のパターン識別装置は、図３に示すように、第１実施形態のＲＮＮ層２０に代えてＬＳＴＭ層４０を備えた構成となっている。なお、ＲＮＮ層２０がＬＳＴＭ層４０に代わる以外は第１実施形態と同様であるため、以下では第１実施形態との相違点についてのみ説明する。
【００４８】
本実施形態のパターン識別装置におけるＬＳＴＭ層４０は、図３に示すように、入力変換部４１とＬＳＴＭ処理部４２とを含む。
【００４９】
ＬＳＴＭ層４０の入力変換部４１は、第１実施形態で説明したＲＮＮ層２０の入力変換部２１と同様に、系列のステップ毎に、上記式（１）に示す線形変換、または、非全結合の線形変換、または、上記式（４）に示す非線形変換、または、非全結合の非線形変換を用いて、入力ベクトルと回帰入力ベクトル（本実施形態ではＬＳＴＭ処理部４２の前ステップの出力であるＬＳＴＭ出力ベクトル）とに対する変換を行って、入力ベクトルの次元数と回帰入力ベクトルの次元数の和よりも小さい次元数の変換ベクトルを算出して出力する。ただし、本実施形態では、ＬＳＴＭ処理部４２において、後述のように、入力値に対する計算のほかに、入力ゲート、忘却ゲート、および出力ゲートの３つのゲートにおける計算に変換ベクトルが用いられるため、計算量の削減を実現するための変換ベクトルの次元数に対する制約条件が異なる。
【００５０】
ここで、ステップｔにおける入力ベクトルをｘｔ、回帰入力ベクトルをｍｔ−１、変換ベクトルをｖｔとし、入力ベクトルｘｔの次元数をＮ、回帰入力ベクトルｍｔ−１の次元数をＭ、変換ベクトルｖｔの次元数をＩとすると、従来の一般的な構成のＬＳＴＭ層における入力値と３つのゲートにおける行列計算の計算量は、４・（Ｎ＋Ｍ）・Ｍと表すことができる。一方、本実施形態のＬＳＴＭ層４０における入力値と３つのゲートにおける行列計算の計算量は、（Ｎ＋Ｍ）・Ｉ＋４・Ｉ・Ｍと表すことができる。したがって、（Ｎ＋Ｍ）・Ｉ＋４・Ｉ・Ｍ＜４・（Ｎ＋Ｍ）・Ｍであれば、本実施形態により計算量が削減できると言える。
【００５１】
以上のことから、上記式（１）に示す線形変換、または、上記式（４）に示す非線形変換を用いて変換ベクトルｖｔを算出する場合、変換ベクトルｖｔの次元数Ｉは、下記式（１３）に示す条件を満たすことが望ましい。つまり、ＬＳＴＭ層４０の入力変換部４１は、下記式（１５）に示す条件を満たす変換ベクトルｖｔを算出して出力することが望ましい。
【数１５】
2018081493.tif 000017
なお、この場合、変換ベクトルｖｔの次元数Ｉが回帰入力ベクトルｍｔ−１の次元数Ｍ以上（Ｉ≧Ｍ）であっても計算量を削減できる場合があるが、少なくとも、変換ベクトルｖｔの次元数Ｉが入力ベクトルｘｔの次元数Ｎと回帰入力ベクトルｍｔ−１の次元数Ｍとの和よりも小さい（Ｉ＜Ｎ＋Ｍ）ことが必要である。
【００５２】
また、上述の非全結合の線形変換または非全結合の非線形変換を用いて変換ベクトルｖｔを算出する場合、成分ｖｘｔの次元数をＩｘ、成分ｖｃｔの次元数をＩｃ、成分ｖｍｔの次元数をＩｍとすると、本実施形態のＬＳＴＭ層４０における入力値と３つのゲートにおける行列計算の計算量は、（Ｉｘ＋Ｉｃ）・Ｎ＋（Ｉｃ＋Ｉｍ）・Ｍ＋４・Ｉ・Ｍ、または、Ｉ＝Ｉｘ＋Ｉｃ＋Ｉｍの関係から、（Ｉ−Ｉｍ）・Ｎ＋（Ｉ−Ｉｃ）・Ｍ＋４・Ｉ・Ｍと表すことができる。
【００５３】
したがって、上述の非全結合の線形変換または非全結合の非線形変換を用いて変換ベクトルｖｔを算出する場合は、変換ベクトルｖｔの次元数Ｉは、下記式（１６）に示す条件を満たすことが望ましい。つまり、ＬＳＴＭ層４０の入力変換部４１は、下記式（１６）に示す条件を満たす変換ベクトルｖｔを算出して出力することが望ましい。
【数１６】
2018081493.tif 000018
【００５４】
ＬＳＴＭ層４０のＬＳＴＭ処理部４２は、ステップ毎に、入力変換部４１で算出された変換ベクトルから、下記式（１７）乃至式（２１）を用いて、ＬＳＴＭ出力ベクトルを算出する。
【数１７】
2018081493.tif 000019
一般に、σ（・）はシグモイド関数、ｇ（・）やｈ（・）はｔａｎｈ関数が用いられるが、他の非線形な関数を用いてもよい。
【００５５】
出力層３０は、ＬＳＴＭ層４０のＬＳＴＭ処理部４２で算出されたＬＳＴＭ出力ベクトルから、第１実施形態と同様の方法により、例えば、Ｎクラス識別問題におけるＮ次元スコアベクトルの系列、事後確率ベクトルの系列、スコアが最大となるクラスのインデックスの系列などのパターン系列を算出する。
【００５６】
本実施形態のパターン識別装置においても、ＬＳＴＭ層４０の入力変換部４１が、上述の線形変換、非全結合の線形変換、非線形変換、非全結合の非線形変換のいずれかを用いて変換ベクトルｖｔを算出する構成としているため、第１実施形態と同様に、学習データを用いて入力ベクトルｘｔと回帰入力ベクトルｍｔ−１とのどちらにより大きな重みを与えるかを自動的に決定することができ、変換ベクトルｖｔに対する入力ベクトルｘｔと回帰入力ベクトルｍｔ−１の次元数の配分を自動的に最適化することが可能となる。
【００５７】
本実施形態では、これまで、ＬＳＴＭ層４０が１つの場合について述べてきたが、図４に示すように、入力層１０と出力層３０との間に複数のＬＳＴＭ層４０（第１位ＬＳＴＭ層４０−１・・・第Ｒ位ＬＳＴＭ層４０−Ｒ）があってもよい。図４のように、ＬＳＴＭ層４０の数がＲであり、下位のＬＳＴＭ層４０の出力が上位のＬＳＴＭ層４０の入力となるように最下位層である第１位ＬＳＴＭ層４０−１から最上位層である第Ｒ位ＬＳＴＭ層４０−Ｒの順に並べられているとすると、入力層１０から出力される特徴ベクトルが第１位ＬＳＴＭ層４０−１の入力変換部４１−１の入力ベクトルとなり、第１位ＬＳＴＭ層４０−１のＬＳＴＭ処理部４２−１から出力されるＬＳＴＭ出力ベクトルは、その上位である第２位ＬＳＴＭ層４０−２の入力変換部４１−２の入力ベクトルとなる。
【００５８】
同様に、第ｒ位ＬＳＴＭ層４０−ｒ（１≦ｒ＜Ｒ）のＬＳＴＭ処理部４２−ｒから出力されるＬＳＴＭ出力ベクトルは、第（ｒ＋１）位ＬＳＴＭ層４０−（ｒ＋１）の入力変換部４１（ｒ＋１）の入力ベクトルとなり、最上位の第Ｒ位ＬＳＴＭ層４０−ＲのＬＳＴＭ処理部４２−Ｒから出力されるＬＳＴＭ出力ベクトルが、出力層３０へ入力される。学習データを用いて各ＬＳＴＭ層４０の入力変換部４１における変換の最適化を行う際には、各ＬＳＴＭ層４０で入力ベクトルと回帰入力ベクトルの次元数の最適な配分が自動的に決定される。
【００５９】
このように複数のＬＳＴＭ層４０を持つ構成のパターン識別装置において、ＬＳＴＭ層４０の入力変換部４１が上記式（１）に示す線形変換または上記式（４）に示す非線形変換を用いて変換ベクトルを算出する場合、第ｒ位ＬＳＴＭ層（１≦ｒ≦Ｒ）４０−ｒで算出される変換ベクトルｖｒｔの次元数の次元数をＩｒ、第ｒ位ＬＳＴＭ層４０−ｒの入力ベクトルの次元数をＮｒ、第ｒ位ＬＳＴＭ層４０−ｒの回帰入力ベクトルの次元数をＭｒとすると、入力変換部４１は、下記式（２２）に示す条件を満たす変換ベクトルｖｒｔを算出して出力することが望ましい。
【数１８】
2018081493.tif 000020
【００６０】
また、このように複数のＲＮＮ層２０を持つ構成のパターン識別装置において、ＲＮＮ層２０の入力変換部２１が上述の非全結合の線形変換または非全結合の非線形変換を用いて変換ベクトルを算出する場合、第ｒ位ＬＳＴＭ層（１≦ｒ≦Ｒ）４０−ｒで算出される変換ベクトルｖｒｔの次元数の次元数をＩｒ、第ｒ位ＬＳＴＭ層４０−ｒの入力ベクトルの次元数をＮｒ、第ｒ位ＬＳＴＭ層４０−ｒの回帰入力ベクトルの次元数をＭｒとし、第ｒ位ＬＳＴＭ層４０−ｒで算出される変換ベクトルｖｒｔのうち、入力ベクトルのみから計算される成分の次元数をＩｒｘ、入力ベクトルと回帰入力ベクトルとから計算される成分の次元数をＩｒｃ、回帰入力ベクトルのみから計算される成分の次元数をＩｒｍとすると、入力変換部４１は、下記式（２３）に示す条件を満たす変換ベクトルｖｒｔを算出して出力することが望ましい。
【数１９】
2018081493.tif 000021
【００６１】
なお、上述したパターン識別装置の構成は、本発明の主旨を逸脱しない範囲内で種々の変形が可能である。例えば、入力層１０とＬＳＴＭ層４０の入力変換部４１との間に任意の処理を追加し、追加した処理の出力ベクトルを入力変換部４１の入力ベクトルの一部または全てとしてもよい。また、ＬＳＴＭ層４０のＬＳＴＭ処理部４２と出力層３０との間に任意の処理を追加し、追加した処理の出力ベクトルを出力層３０の入力の一部または全てとしてもよい。さらに、出力層３０が、ＬＳＴＭ層４０のＬＳＴＭ処理部４２で算出されるＬＳＴＭ出力ベクトルをそのままパターン系列として出力してもよい。
【００６２】
以上説明したように、本実施形態のパターン識別装置では、ＬＳＴＭ層４０の入力変換部４１が、入力ベクトルと回帰入力ベクトルとに対する変換により次元数を削減した変換ベクトルを算出する。そして、ＬＳＴＭ層４０のＬＳＴＭ処理部４２が、入力変換部４１により算出された変換ベクトルからＬＳＴＭ出力ベクトルを算出して出力する。したがって、本実施形態のパターン識別装置によれば、ＬＳＴＭ層４０に入力される入力ベクトルと回帰入力ベクトルの次元数の配分を自動的に最適化しながら、従来の回帰型ニューラルネットワークと比べてＬＳＴＭ層４０における計算量を削減することができ、効率的な計算量の削減を実現することができる。
【００６３】
（補足説明）
上述した実施形態のパターン識別装置は、例えば、一般的なコンピュータを構成するハードウェアと、コンピュータで実行されるプログラム（ソフトウェア）との協働により実現することができる。例えば、コンピュータが所定のプログラムを実行することによって、上述した入力層１０と、入力変換部２１とＲＮＮ処理部２２とを含むＲＮＮ層２０、または、入力変換部４１とＬＳＴＭ処理部４２とを含むＬＳＴＭ層４０と、出力層３０とを実現することができる。
【００６４】
図５は、実施形態のパターン識別装置のハードウェア構成例を示すブロック図である。実施形態のパターン識別装置は、例えば図５に示すように、ＣＰＵ１０１などのハードウェアプロセッサと、ＲＡＭ１０２やＲＯＭ１０３などの内部記憶装置と、ＨＤＤ１０４などの外部記憶装置と、ネットワークを介して外部と通信を行う通信Ｉ／Ｆ１０５と、周辺機器を接続するための機器Ｉ／Ｆ１０６と、を備えた通常のコンピュータとしてのハードウェア構成を有する。
【００６５】
このとき、上記のプログラムは、例えば、磁気ディスク、光ディスク、半導体メモリ、またはこれに類する記録媒体に記録されて提供される。プログラムを記録する記録媒体は、コンピュータシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。また、上記プログラムを、コンピュータに予めインストールするように構成してもよいし、ネットワークを介して配布される上記のプログラムをコンピュータに適宜インストールするように構成してもよい。
【００６６】
上記のコンピュータで実行されるプログラムは、上述したパターン識別装置の機能的な構成要素を含むモジュール構成となっており、プロセッサがこのプログラムを適宜読み出して実行することにより、上述した各部がＲＡＭ１０２などの主記憶上に生成されるようになっている。
【００６７】
なお、実施形態のパターン識別装置は、上述した機能的な各部の一部または全部を、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field-Programmable  Gate  Array）などの専用のハードウェアにより実現する構成であってもよい。また、実施形態のパターン識別装置は、クラウドシステム上で動作する仮想マシンであってもよい。
【００６８】
以上、本発明の実施形態を説明したが、ここで説明した実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。ここで説明した新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。ここで説明した実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６９】
１０  入力層
２０  ＲＮＮ層
２１  入力変換部
２２  ＲＮＮ処理部
３０  出力層
４０  ＬＳＴＭ層
４１  入力変換部
４２  ＬＳＴＭ処理部
【図１】
2018081493.tif 000038
【図２】
2018081493.tif 000039
【図３】
2018081493.tif 000040
【図４】
2018081493.tif 000041
【図５】
2018081493.tif 000042