(57)【要約】【課題】ニューラルネットワークにおいて、未知パターンに対する汎化能力を改善することができるパターン認識装置、方法及びプログラムを提供する。【解決手段】本発明の一実施形態に係るパターン認識装置１００は、学習パターン群を示す情報を入力する入力部１１０と、ニューラルネットワークにおけるニューロンの活性値を示す式を高次元化して学習パターン群に適用し、高次元化された式を最急降下法によって誤差を最小化する方向に学習し、高次元化された式によって示される非線形の識別線又は識別面を用いて学習パターン群を識別するパターン認識学習部１２１と、を備える。【選択図】図３
2018112961.tif 000002
【特許請求の範囲】
【請求項１】
学習パターン群を示す情報を入力する入力部と、
ニューラルネットワークにおけるニューロンの活性値を示す式を高次元化して前記学習パターン群に適用し、前記高次元化された式を最急降下法によって誤差を最小化する方向に学習し、前記高次元化された式によって示される非線形の識別線又は識別面を用いて前記学習パターン群を識別するパターン認識学習部と、
を備える、パターン認識装置。
【請求項２】
前記高次元化された式によって示される非線形の識別線又は識別面は、超楕円であることを特徴とする、請求項１に記載のパターン認識装置。
【請求項３】
前記パターン認識学習部は、前記誤差が所定の基準を満たすまで、前記高次元化された式の結合係数及び閾値の更新を繰り返すことを特徴とする、請求項１又は２に記載のパターン認識装置。
【請求項４】
前記高次元化された式は、式（１）によって表されることを特徴とする、請求項１〜３のいずれか一項に記載のパターン認識装置。
【数１】
2018112961.tif 000018
ただし、ｃは学習パターン群の識別番号、ｎは学習パターンの識別番号、ｕｎ（ｃ）は活性値、Ｉｎは学習パターン、ｖ（ｃ）及びｗ（ｃ）は結合係数、θ（ｃ）は閾値、Ｔは転置を表す。
【請求項５】
前記入力部は、未知パターンを入力するようにさらに構成され、
前記パターン認識学習部によって学習された前記高次元化された式を用いて、前記未知パターンの認識を行うパターン認識実行部をさらに備えることを特徴とする、請求項１〜４のいずれか一項に記載のパターン認識装置。
【請求項６】
学習パターン群を示す情報を入力するステップと、
ニューラルネットワークにおけるニューロンの活性値を示す式を高次元化して前記学習パターン群に適用し、前記高次元化された式を最急降下法によって誤差を最小化する方向に学習し、前記高次元化された式によって示される非線形の識別線又は識別面を用いて前記学習パターン群を識別するステップと、
を備える、パターン認識方法。
【請求項７】
コンピュータに、
学習パターン群を示す情報を入力するステップと、
ニューラルネットワークにおけるニューロンの活性値を示す式を高次元化して前記学習パターン群に適用し、前記高次元化された式を最急降下法によって誤差を最小化する方向に学習し、前記高次元化された式によって示される非線形の識別線又は識別面を用いて前記学習パターン群を識別するステップと、
を実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パターン認識を行うための装置、方法及びプログラムに関する。
【背景技術】
【０００２】
パターン認識手法の一つに、認識対象のパターンを特定の種類のパターンに対応づける識別関数を用いる方法がある。識別関数はパターンの種類毎に識別境界によってパターン空間を分割し、分割された領域に属するパターンが当該種類のパターンに対応する。例えば、対象パターンが２次元パターンの場合には、識別関数が与える識別境界は識別線になり、３次元パターンの場合には、識別関数が与える識別境界は識別平面になり、一般にｎ次元パターンの場合には、識別関数が与える識別境界は識別ｎ次平面（「識別高次平面」ともいう）になる。
【０００３】
パターン認識装置は、一般的に識別線（３次元以上は識別平面）によって、複数のパターンからなるパターン群を他のパターン群から分離し、空間上にそのパターン群のみが属する領域を作る。パターン認識装置は、認識対象である未知のパターンが入力されると、その未知のパターンが分離された領域内に存在するかどうかを判定する。そしてパターン認識装置は、未知のパターンが分離された領域内に存在する場合にはその未知のパターンが分離されたパターン群に属すると識別し、領域外に存在する場合には別のパターン群に属すると識別する。
【０００４】
図１は、２次元平面上で、パターン群Ａをパターン群Ｂ及びパターン群Ｃから識別線Ｅ１によって分離する従来のパターン認識技術を示す模式図である。図１中の未知パターンＤ１は、識別線Ｅ１よりもパターン群Ａ側の領域に存在するため、パターン群Ａに属するパターンであると識別される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−５２５０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
図１に示す従来のパターン認識技術では、ニューラルネットワークにおけるパターン認識の一方法であるパーセプトロンを基礎とするため、無限の長さを有する直線（又は面）によって学習パターン群を分離する。このような技術では、図２（ａ）に例示する複雑に入り組んだ学習パターン群において、学習パターン群Ｃをその他の学習パターン群Ａ及びパターン群Ｂから完全に分離する位置に識別線Ｅ２を配置することができないため、学習が収束しないおそれがある。このような線形分離不能な学習パターンを用いてパーセプトロン学習を行う場合、パターン群Ｃの識別線Ｅ２が適切な位置に配置されないため、図２（ｂ）のように学習パターン群Ｃに近い未知パターンＤ２が入力されたとしても、未知パターンＤ２をパターン群Ｃに属すると判断することができない。さらに、従来のパターン認識技術では、図２（ｃ）のように学習パターン群Ｃの集合から遠い未知パターンＤ３を、学習パターン群Ｃに属すると判断してしまう。しかしながら、図２（ｃ）に示す未知パターンＤ３は、そのユークリッド距離が学習パターン群Ａに近いため、本来であれば学習パターン群Ａに属すると判断するのが正しい。このように、従来のパターン認識技術では、識別線の汎化能力が低い状態になってしまう場合が多い。
【０００７】
線形分離不能な学習パターンを用いてパターン認識を行う方法として、特許文献１に記載されているようなサポートベクターマシンが知られている。サポートベクターマシンは、非線形関数を用いて、入力パターンをより高次元空間へ写像することによって線形分離可能にする方法である。しかしながら、サポートベクターマシンは、入力パターンを写像するため、写像後の入力パターンの空間的関係性が、写像前の入力パターンの空間的関係性を保存していない可能性がある。すなわち、サポートベクターマシンでは、写像前の空間での学習パターン群の特徴が写像後の空間で失われる可能性がある。
【０００８】
本発明は、上述の問題に鑑みて行われたものであって、ニューラルネットワークにおいて、未知パターンに対する汎化能力を改善することができるパターン認識装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の第１の態様は、パターン認識装置であって、学習パターン群を示す情報を入力する入力部と、ニューラルネットワークにおけるニューロンの活性値を示す式を高次元化して前記学習パターン群に適用し、前記高次元化された式を最急降下法によって誤差を最小化する方向に学習し、前記高次元化された式によって示される非線形の識別線又は識別面を用いて前記学習パターン群を識別するパターン認識学習部と、を備える。
【００１０】
本発明の第２の態様は、パターン認識方法であって、学習パターン群を示す情報を入力するステップと、ニューラルネットワークにおけるニューロンの活性値を示す式を高次元化して前記学習パターン群に適用し、前記高次元化された式を最急降下法によって誤差を最小化する方向に学習し、前記高次元化された式によって示される非線形の識別線又は識別面を用いて前記学習パターン群を識別するステップと、を備える。
【００１１】
本発明の第３の態様は、プログラムであって、コンピュータに、学習パターン群を示す情報を入力するステップと、ニューラルネットワークにおけるニューロンの活性値を示す式を高次元化して前記学習パターン群に適用し、前記高次元化された式を最急降下法によって誤差を最小化する方向に学習し、前記高次元化された式によって示される非線形の識別線又は識別面を用いて前記学習パターン群を識別するステップと、を実行させる。
【発明の効果】
【００１２】
本発明によれば、高次元化された式によって示される非線形の識別線又は識別面を用いて学習パターン群を識別するため、線形分離不能なパターン群を学習し、未知パターンに対する汎化能力を改善することができる。
【図面の簡単な説明】
【００１３】
【図１】従来のパターン認識技術を示す模式図である。
【図２】従来のパターン認識技術においてパターン群を分離する識別線の模式図である。
【図３】実施形態に係るパターン認識装置ブロック図である。
【図４】実施形態に係る記憶部のブロック図である。
【図５】実施形態においてパターン群を分離する識別曲線の模式図である。
【図６】従来のパーセプトロンにより学習された例示的なパターン群の識別線の模式図である。
【図７】実施形態においてパターン群を分離する識別曲線の模式図である。
【図８】比較例としてパターン群を分離する双曲線の模式図である。
【図９】実施形態に係るパターン認識装置の概略構成図である。
【図１０】実施形態に係るパターン学習方法のフローチャートを示す図である。
【図１１】実施形態に係るパターン認識方法のフローチャートを示す図である。
【図１２】実施形態に係るパターン認識装置の概略構成図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照して、本発明の実施形態を説明するが、本発明は本実施形態に限定されるものではない。なお、以下で説明する図面で、同機能を有するものは同一符号を付け、その繰り返しの説明は省略することもある。
【００１５】
（実施形態）
図３は、本実施形態に係るパターン認識装置１００のブロック図である。図３において、矢印は主なデータの流れを示しており、図３に示したもの以外のデータの流れがあってよい。図３において、各ブロックはハードウェア（部材）単位の構成ではなく、機能単位の構成を示している。そのため、図３に示すブロックは単一の部材内に実装されてよく、あるいは複数の部材内に別れて実装されてよい。ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてよい。
【００１６】
パターン認識装置１００は、入力部１１０、パターン処理部１２０、出力部１３０、及び記憶部１４０を備える。
【００１７】
入力部１１０は、学習に用いられる学習パターン又は認識対象の未知パターンを示す入力データ（情報）を受け取り、パターン認識装置１００に入力する。入力データは、必要に応じて各種パラメータ等のその他のデータを含んでよい。入力データは、パターン認識装置１００の外部から取得されてよく、あるいはパターン認識装置１００（記憶部１４０）に予め記録されたものを読み出すことにより取得されてよい。
【００１８】
パターン処理部１２０は、パターン認識学習部１２１及びパターン認識実行部１２２を備える。パターン認識学習部１２１は、入力された学習パターンを用いて後述する学習処理を行う。パターン認識実行部１２２は、入力された未知パターンに対して後述する認識処理を行う。図３では、パターン処理部１２０はパターン認識実行部１２２を含む構成であるが、パターン認識実行部１２２を含まない構成でもよい。この場合には、パターン認識装置１００は、学習によりパターン認識用の識別関数を生成する機能を有するパターン認識学習装置となる。
【００１９】
出力部１３０は、パターン処理部１２０によって行われた処理の結果を出力する。具体的には、出力部１３０は、パターン認識学習部１２１が学習処理を行った場合には学習結果を示す情報を出力し、パターン認識実行部１２２が認識処理を行った場合には認識結果を示す情報を出力する。出力部１３０は、出力する情報を記憶部１４０に記録し、またパターン認識装置１００に接続された表示装置を用いて表示する。
【００２０】
図４は、本実施形態に係る記憶部１４０の詳細なブロック図である。記憶部１４０は、入力部１１０から入力されるデータ及び出力部１３０から出力されるデータをそれぞれ記録する、結合係数記憶部１４１、閾値記憶部１４２、学習パターン記憶部１４３、出力データ記憶部１４４、及び正解信号記憶部１４５を備える。
【００２１】
本実施形態に係るパターン認識学習部１２１によって行われる学習処理は、パターン認識装置の一手法であるパーセプトロンに代表される単層ニューラルネットワークにおいて、ニューロンの識別関数（活性値関数）を高次元化して学習パターン群に適用することによって、線形分離不能な複雑な学習パターン群を識別楕円（３次元以上は識別超楕円）によって分離し、未知パターンに対する認識能力（汎化能力）を向上させる。
【００２２】
図５は、本実施形態においてパターン群Ａ、Ｂ、Ｃを分離する識別曲線Ｆ１、Ｆ２、Ｆ３の模式図である。図２（ａ）〜図２（ｃ）に示すように、パターン群Ａ、Ｂ、Ｃは線形分離不能である。これに対して、本実施形態に係るパターン認識学習部１２１は楕円形状の識別曲線Ｆ１、Ｆ２、Ｆ３によって各パターン群Ａ、Ｂ、Ｃを分離する。本実施形態に係るパターン認識実行部１２２は、このように学習された識別関数を用いて未知パターンを高精度に分類することができる。
【００２３】
本実施形態に係るパターン認識学習部１２１によって行われる学習処理を具体的に説明する。本実施形態では、パターン群を学習する問題において、各学習パターン群を分離する識別関数を、単層のニューラルネットワークを用いて学習する。ニューラルネットワークは、パーセプトロンを用いてパターンを分離する。本実施形態では単層のニューラルネットワークを用いているが、２層以上の多層ニューラルネットワークを用いてもよい。
【００２４】
Ｃ個の学習パターン群に属するＮ個の学習パターンＩｎ（ｎ＝１…Ｎ）を、学習パターン群毎に分離する課題を例として、まずは従来から使われているパーセプトロンの動作を説明する。ここで、学習パターンは、式（１）のようなＤ次元のベクトルとする。
【００２５】
【数１】
2018112961.tif 000003
【００２６】
学習パターン群を分離する識別関数を式（２）、（３）に示す。式中で、ｃは学習パターン群の識別番号、ｎは学習パターンの識別番号、ｗ（ｃ）はパーセプトロンの結合係数、θ（ｃ）は閾値、ｕｎ（ｃ）はニューロン活性値、ｒｎ（ｃ）はニューロン出力値、Ｔは転置を表す。パーセプトロンは、入力された学習パターンＩｎに対して、式（２）、（３）によってニューロン出力値ｒｎ（ｃ）を計算する。
【００２７】
【数２】
2018112961.tif 000004
【００２８】
【数３】
2018112961.tif 000005
【００２９】
計算されたニューロン出力値ｒｎ（ｃ）によって、入力された学習パターンが誤った学習パターン群に属すると判定された場合には、式（４）、（５）によって結合係数ｗ（ｃ）及び閾値θ（ｃ）を更新し、識別関数（識別線又は識別面）を学習する。式中で、ｔｎ（ｃ）は、正解信号を表し、学習パターンＩｎが学習パターン群ｃに属する場合にｔｎ（ｃ）＝１、学習パターン群ｃに属さない場合にｔｎ（ｃ）＝０となる値である。εは、結合係数ｗ（ｃ）及び閾値θ（ｃ）の更新量を調整する係数である。式中の結合係数ｗ（ｃ）’及び閾値θ（ｃ）’は、更新後の結合係数ｗ（ｃ）及び閾値θ（ｃ）を表す。
【００３０】
【数４】
2018112961.tif 000006
【００３１】
【数５】
2018112961.tif 000007
【００３２】
ここまで説明した従来のパーセプトロンにより学習された例示的なパターン群の識別線を図６に示す。図６は、２次元平面上の２個のパターン群Ｇ１、Ｇ２をパーセプトロンで学習し、パターン群Ｇ１を線形分離した状態を示す。パーセプトロンは、識別能力（汎化能力）を考慮せずパターン群の分離のみを行うため、図６のように識別線がパターン群Ｇ１の近傍に配置されてしまう場合がある。その結果、未知パターンを誤認識しやすい。図６の識別線は、例えばパターン群Ｇ２よりもパターン群Ｇ１に近い未知パターンを、パターン群Ｇ２に属すると誤って判定してしまうおそれがある。
【００３３】
本実施形態では従来のパーセプトロンを改良し、識別関数として式（６）に示すニューロン活性値を導入する。具体的には、上述の式（１）〜（５）に代えて式（６）〜（１１）を用いる。本実施形態によれば、２次元の識別曲線によって、線形分離不能な学習パターンも分離可能である。式（６）では、学習パターンＩｎの２次項に対する結合係数ｖ（ｃ）が追加されている。結合係数ｖ（ｃ）、ｗ（ｃ）の学習式は式（７）、（８）であり、閾値θ（ｃ）の学習式は式（９）である。また、誤差Ｅは誤差関数の式（１０）で定義される。ニューロン出力値ｒｎ（ｃ）は、ニューロン活性値ｕｎ（ｃ）から式（１１）によって計算される。式（１１）において、μは傾きを表す係数である。
【００３４】
本実施形態に係る学習処理は、最急降下法により、式（７）、（８）、（９）に従ってｖ（ｃ）、ｗ（ｃ）、θ（ｃ）を更新しながら、式（１０）の誤差関数で表される誤差Ｅを最小化することによって、２次識別面で入力パターンを分離する。
【００３５】
【数６】
2018112961.tif 000008
【００３６】
【数７】
2018112961.tif 000009
【００３７】
【数８】
2018112961.tif 000010
【００３８】
【数９】
2018112961.tif 000011
【００３９】
【数１０】
2018112961.tif 000012
【００４０】
【数１１】
2018112961.tif 000013
【００４１】
式（６）の左辺を０とすると、学習パターンＩｎ空間では、式（６）は超楕円の方程式を表す。式（６）を用いて図６のような学習パターン群を分離する場合、図７のように楕円（以下、超楕円とする）の識別曲線Ｈ１、Ｈ２によって学習パターン群が分離されるため、従来のパーセプトロンにおいて図６の学習パターン群の近くに識別線が存在する場合と比べて、汎化能力が向上する。
【００４２】
式（６）においてＩｎの係数が正の値である場合、式（６）は学習パターンＩｎ空間で双曲線の方程式となってしまい、学習パターンＩｎ空間を正しい領域に分割できない。比較例として、２次元空間の双曲線Ｊ１でパターン群Ｇ１を分離する場合を、図８に示す。図８より、双曲線Ｊ１でパターン群Ｇ１を分離する場合、分離対象のパターン群Ｇ１とは点対称に１８０度反対側の領域にも分離領域が現れることが分かる。そのため、識別関数が双曲線Ｊ１になってしまうと、汎化能力が低下する。このような現象を防ぎ、式（６）を超楕円とするために、本実施形態ではＩｎの結合係数を−ｖ（ｃ）２とすることによって、必ず負の値に設定している。この方法により、学習パターン群を超楕円で分離することができる。
【００４３】
誤差関数の式（１０）を最急降下法で最小化する場合、結合係数ｖ（ｃ）、ｗ（ｃ）及び閾値θ（ｃ）の具体的な更新式は、式（７）、（８）、（９）を計算することによって得られる以下の式（１２）、（１３）、（１４）である。ここで、εは、結合係数ｖ（ｃ）、ｗ（ｃ）及び閾値θ（ｃ）の更新量を調整する係数である。式中の結合係数ｖ（ｃ）’、ｗ（ｃ）’及び閾値θ（ｃ）’は、更新後の結合係数ｖ（ｃ）、ｗ（ｃ）及び閾値θ（ｃ）を表す。
【００４４】
【数１２】
2018112961.tif 000014
【００４５】
【数１３】
2018112961.tif 000015
【００４６】
【数１４】
2018112961.tif 000016
【００４７】
全ての学習パターン群を学習するには、各学習パターン群に対して、式（６）の識別関数（活性値関数）によってニューロン活性値ｕｎ（ｃ）を計算し、式（１１）によってニューロン出力値ｒｎ（ｃ）を計算する。次に、式（１２）、（１３）、（１４）によって結合係数ｖ（ｃ）、ｗ（ｃ）及び閾値θ（ｃ）を更新する。そして、ニューロン出力値ｒｎ（ｃ）の計算、ならびに結合係数ｖ（ｃ）、ｗ（ｃ）及び閾値θ（ｃ）の更新を、式（１０）の誤差関数によって計算される誤差Ｅの値が十分小さくなるまで（すなわち所定の基準を満たすまで）繰り返す。これにより、学習が完了する。
【００４８】
本実施形態に係るパターン認識学習部１２１によって行われる学習処理は、識別関数として式（６）の関数を使用することにより、従来のパーセプトロンでは線形分離不能な学習パターン群を分離することが可能である。さらにこの学習処理は、学習パターン群を超楕円で分離するため、自然な球形で学習パターン群の空間を分離することができ、高い汎化能力を得ることができる。
【００４９】
次に、本実施形態に係るパターン認識実行部１２２によって行われる認識処理を具体的に説明する。パターン認識実行部１２２は、上述のパターン認識学習部１２１による学習処理によって学習が完了したニューラルネットワークに、未知のパターンが入力された場合に認識処理を実行する。パターン認識実行部１２２は、入力された未知パターンに対して、式（６）の識別関数（活性値関数）によってニューロン活性値ｕｎ（ｃ）を計算し、式（１１）によって各ニューロンのニューロン出力値ｒｎ（ｃ）を計算する。そして、パターン認識実行部１２２は、全てのニューロンの中で最大のニューロン出力値ｒｎ（ｃ）を有するニューロンに対応するパターン群を、入力された未知パターンが属するパターン群として決定する。
【００５０】
図９は、本実施形態に係るパターン認識装置１００の例示的な機器構成を示す概略構成図である。パターン認識装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０１と、メモリ１０２と、記憶装置１０３と、インターフェース１０４とを備える。パターン認識装置１００は独立した装置でよく、あるいは他の装置と一体に構成されてよい。
【００５１】
インターフェース１０４は、データの送受信を行う通信部であり、有線通信及び無線通信の少なくとも一方の通信方式を実行可能に構成される。インターフェース１０４は、該通信方式に必要なプロセッサ、電気回路、アンテナ、接続端子等を含む。インターフェース１０４は、ＣＰＵ１０１からの信号に従って、該通信方式を用いて外部機器又はネットワークに接続され、データの送受信を行う。インターフェース１０４は、例えば入力データを外部から受信し、あるいは表示装置に表示内容を示す信号を送信する。
【００５２】
記憶装置１０３は、パターン認識装置１００が実行するプログラムや、プログラムによる処理結果のデータ等を記憶する。記憶装置１０３は、読み取り専用のＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）や、読み書き可能のハードディスクドライブ又はフラッシュメモリ等を含む。また、記憶装置１０３は、ＣＤ−ＲＯＭ等のコンピュータ読取可能な可搬記憶媒体を含んでもよい。メモリ１０２は、ＣＰＵ１０１が処理中のデータや記憶装置１０３から読み出されたプログラム及びデータを一時的に記憶するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等を含む。
【００５３】
ＣＰＵ１０１は、処理に用いる一時的なデータをメモリ１０２に一時的に記録し、記憶装置１０３に記録されたプログラムを読み出し、該プログラムに従って該一時的なデータに対して種々の演算、制御、判別などの処理動作を実行するプロセッサである。また、ＣＰＵ１０１は、記憶装置１０３に処理結果のデータを記録し、またインターフェース１０４を介して処理結果のデータを外部に送信する。
【００５４】
本実施形態においてＣＰＵ１０１は、記憶装置１０３に記録されたプログラムを実行することによって、図３の入力部１１０、パターン認識学習部１２１、パターン認識実行部１２２及び出力部１３０として機能する。また、本実施形態において記憶装置１０３は、図３の記憶部１４０として機能する。
【００５５】
パターン認識装置１００は、図９に示す具体的な構成に限定されない。パターン認識装置１００は、１つの装置に限られず、２つ以上の物理的に分離した装置が有線又は無線で接続されることにより構成されていてもよい。パターン認識装置１００に含まれる各部は、それぞれ電気回路構成により実現されていてもよい。ここで、電気回路構成とは、単一のデバイス、複数のデバイス、チップセット又はクラウドを概念的に含む文言である。
【００５６】
また、パターン認識装置１００の少なくとも一部がＳａａＳ（Ｓｏｆｔｗａｒｅ  ａｓ  ａ  Ｓｅｒｖｉｃｅ）形式で提供されてよい。すなわち、パターン認識装置１００を実現するための機能の少なくとも一部が、ネットワーク経由で実行されるソフトウェアによって実行されてよい。
【００５７】
図１０は、本実施形態に係るパターン認識装置１００を用いるパターン学習方法のフローチャートを示す図である。図１０のフローチャートは、例えば利用者がパターン認識装置１００に対してパターン学習を実行するための所定の操作を行うことによって開始される。
【００５８】
まず、入力部１１０は、学習パターン群を示す入力データ（情報）を受け取り、パターン認識装置１００に入力する（ステップＳ１０１）。入力された学習パターン群は、記憶部１４０に記録される。
【００５９】
パターン認識学習部１２１は、式（６）の識別関数における結合係数ｖ（ｃ）、ｗ（ｃ）及び閾値θ（ｃ）を初期化する（ステップＳ１０２）。そして、パターン認識学習部１２１は、ステップＳ１０１で入力された学習パターン群を用いて、式（６）によってニューロン活性値ｕｎ（ｃ）を計算し、式（１１）によってニューロン出力値ｒｎ（ｃ）を計算する（ステップＳ１０３）。
【００６０】
パターン認識学習部１２１は、ステップＳ１０３で算出されたニューロン出力値ｒｎ（ｃ）を用いて、式（１２）〜（１４）によって結合係数ｖ（ｃ）、ｗ（ｃ）及び閾値θ（ｃ）を更新する（ステップＳ１０４）。また、パターン認識学習部１２１は、ステップＳ１０３で算出されたニューロン出力値ｒｎ（ｃ）を用いて、誤差関数の式（１０）によって誤差Ｅを計算する（ステップＳ１０５）。
【００６１】
ステップＳ１０５で算出された誤差Ｅが所定の基準値より大きい場合（ステップＳ１０６のＮＯ）、ステップＳ１０３〜Ｓ１０５を繰り返す。ステップＳ１０５で算出された誤差Ｅが所定の基準値以下である場合（ステップＳ１０６のＹＥＳ）、パターン学習方法を終了する。学習された識別関数は、記憶部１４０に記録される。
【００６２】
図１１は、本実施形態に係るパターン認識装置１００を用いるパターン認識方法のフローチャートを示す図である。図１１のフローチャートは、例えば利用者がパターン認識装置１００に対してパターン認識を実行するための所定の操作を行うことによって開始される。
【００６３】
まず、入力部１１０は、認識対象の未知パターンを示す入力データ（情報）を受け取り、パターン認識装置１００に入力する（ステップＳ２０１）。入力された未知パターンは、記憶部１４０に記録される。
【００６４】
パターン認識実行部１２２は、ステップＳ２０１で入力された未知パターンを用いて、パターン認識学習部１２１で学習された式（６）によってニューロン活性値ｕｎ（ｃ）を計算し、式（１１）によってニューロン出力値ｒｎ（ｃ）を計算する（ステップＳ２０２）。ニューロン出力値ｒｎ（ｃ）は、各ニューロンについて算出される。
【００６５】
パターン認識実行部１２２は、ステップＳ２０２で算出されたニューロン出力値ｒｎ（ｃ）を用いて、全てのニューロンの中で最大のニューロン出力値ｒｎ（ｃ）を有するニューロンに対応するパターン群を選択する（ステップＳ２０３）。そして、パターン認識実行部１２２は、ステップＳ２０３で選択されたパターン群を、入力された未知パターンが属するパターン群として決定する（ステップＳ２０４）。
【００６６】
パターン認識装置１００のＣＰＵ１０１は、図１０に示すパターン学習方法及び図１１に示すパターン認識方法に含まれる各ステップ（工程）の主体となる。すなわち、ＣＰＵ１０１は、図１０に示すパターン学習方法及び図１１に示すパターン認識方法を実行するためのプログラムをメモリ１０２又は記憶装置１０３から読み出し、該プログラムを実行してパターン認識装置１００の各部を制御することによって図１０に示すパターン学習方法及び図１１に示すパターン認識方法を実行する。
【００６７】
本実施形態に係るパターン認識装置１００は、パーセプトロンのニューロン活性値の式を高次元化し、最急降下法によって、誤差を最小化する方向に学習する。高次元化されたニューロン活性値を用いることによって、非線形な識別面で学習パターン群を分離することが可能であり、線形分離できない学習パターン群を分離できる。これにより、線形分離できない学習パターン群も学習できるようになり、未知パターン群に対する汎化能力が向上する。
【００６８】
本実施形態に係るパターン認識装置１００は、識別平面を高次化した識別曲面によって識別するため、従来のサポートベクターマシンのような入力パターンの写像を必要とせず、入力パターンの空間的関係性は失われない利点がある。
【００６９】
ニューロン活性値の式を単純に高次元化する場合、自由度が高くなり過ぎてしまい、最適な位置及び形状の識別分離面を設定できなくなる可能性がある。それに対して、本実施形態に係るパターン認識装置１００は、ニューロン活性値の式を工夫し、高次元の識別分離面を超楕円になるように学習を行う。このようにパターン空間を超楕円で分離することによって、自然な領域分割が可能となり、汎化能力を向上することができる。また、パターン空間を超楕円で分離するため、新たな学習パターンが追加された場合であっても、他の学習済みパターンの超楕円に与える影響を少なくすることができる。
【００７０】
（その他の実施形態）
図１２は、上述の実施形態に係るパターン認識装置１００の概略構成図である。図１２には、パターン認識装置１００が、線形分離不能なパターン群を学習し、未知パターンに対する汎化能力を改善する装置として機能するための構成例が示されている。パターン認識装置１００は、学習パターン群を示す情報を入力する入力部１１０と、ニューラルネットワークにおけるニューロンの活性値を示す式を高次元化して前記学習パターン群に適用し、前記高次元化された式を最急降下法によって誤差を最小化する方向に学習し、前記高次元化された式によって示される非線形の識別線又は識別面を用いて前記学習パターン群を識別するパターン認識学習部１２１と、を備える。
【００７１】
本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。
【００７２】
上述の各実施形態の機能を実現するように該実施形態の構成を動作させるプログラム（例えば、図１０、図１１に示す処理をパターン認識装置１００に実行させるプログラム）を記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のコンピュータプログラムが記録された記録媒体はもちろん、そのコンピュータプログラム自体も各実施形態に含まれる。
【００７３】
該記録媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作して処理を実行するものも各実施形態の範疇に含まれる。
【００７４】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００７５】
（付記１）
学習パターン群を示す情報を入力する入力部と、
ニューラルネットワークにおけるニューロンの活性値を示す式を高次元化して前記学習パターン群に適用し、前記高次元化された式を最急降下法によって誤差を最小化する方向に学習し、前記高次元化された式によって示される非線形の識別線又は識別面を用いて前記学習パターン群を識別するパターン認識学習部と、
を備える、パターン認識装置。
【００７６】
（付記２）
前記高次元化された式によって示される非線形の識別線又は識別面は、超楕円であることを特徴とする、付記１に記載のパターン認識装置。
【００７７】
（付記３）
前記パターン認識学習部は、前記誤差が所定の基準を満たすまで、前記高次元化された式の結合係数及び閾値の更新を繰り返すことを特徴とする、付記１又は２に記載のパターン認識装置。
【００７８】
（付記４）
前記高次元化された式は、式（１５）によって表されることを特徴とする、付記１〜３のいずれか一項に記載のパターン認識装置。
【数１５】
2018112961.tif 000017
ただし、ｃは学習パターン群の識別番号、ｎは学習パターンの識別番号、ｕｎ（ｃ）は活性値、Ｉｎは学習パターン、ｖ（ｃ）及びｗ（ｃ）は結合係数、θ（ｃ）は閾値、Ｔは転置を表す。
【００７９】
（付記５）
前記入力部は、未知パターンを入力するようにさらに構成され、
前記パターン認識学習部によって学習された前記高次元化された式を用いて、前記未知パターンの認識を行うパターン認識実行部をさらに備えることを特徴とする、付記１〜４のいずれか一項に記載のパターン認識装置。
【００８０】
（付記６）
学習パターン群を示す情報を入力するステップと、
ニューラルネットワークにおけるニューロンの活性値を示す式を高次元化して前記学習パターン群に適用し、前記高次元化された式を最急降下法によって誤差を最小化する方向に学習し、前記高次元化された式によって示される非線形の識別線又は識別面を用いて前記学習パターン群を識別するステップと、
を備える、パターン認識方法。
【００８１】
（付記７）
コンピュータに、
学習パターン群を示す情報を入力するステップと、
ニューラルネットワークにおけるニューロンの活性値を示す式を高次元化して前記学習パターン群に適用し、前記高次元化された式を最急降下法によって誤差を最小化する方向に学習し、前記高次元化された式によって示される非線形の識別線又は識別面を用いて前記学習パターン群を識別するステップと、
を実行させる、プログラム。
【符号の説明】
【００８２】
１００  パターン認識装置
１１０  入力部
１２０  パターン処理部
１２１  パターン認識学習部
１２２  パターン認識実行部
１３０  出力部
１４０  記憶部
【図１】
2018112961.tif 000019
【図２】
2018112961.tif 000020
【図３】
2018112961.tif 000021
【図４】
2018112961.tif 000022
【図５】
2018112961.tif 000023
【図６】
2018112961.tif 000024
【図７】
2018112961.tif 000025
【図８】
2018112961.tif 000026
【図９】
2018112961.tif 000027
【図１０】
2018112961.tif 000028
【図１１】
2018112961.tif 000029
【図１２】
2018112961.tif 000030
【手続補正書】
【提出日】平成30年1月30日(2018.1.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
学習パターン群を示す情報を入力する入力部と、
ニューラルネットワークにおけるニューロンの活性値を示す式を高次元化して前記学習パターン群に適用し、前記高次元化された式を最急降下法によって誤差を最小化する方向に学習し、前記高次元化された式によって示される非線形の識別線又は識別面を用いて前記学習パターン群を識別するパターン認識学習部と、
を備え、
前記高次元化された式によって示される非線形の識別線又は識別面は、超楕円であることを特徴とするパターン認識装置。
【請求項２】
前記パターン認識学習部は、前記誤差が所定の基準を満たすまで、前記高次元化された式の結合係数及び閾値の更新を繰り返すことを特徴とする、請求項１に記載のパターン認識装置。
【請求項３】
前記高次元化された式は、式（１）によって表されることを特徴とする、請求項１又は２に記載のパターン認識装置。
【数１】
2018112961.tif 000031
ただし、ｃは学習パターン群の識別番号、ｎは学習パターンの識別番号、ｕｎ（ｃ）は活性値、Ｉｎは学習パターン、ｖ（ｃ）及びｗ（ｃ）は結合係数、θ（ｃ）は閾値、Ｔは転置を表す。
【請求項４】
前記入力部は、未知パターンを入力するようにさらに構成され、
前記パターン認識学習部によって学習された前記高次元化された式を用いて、前記未知パターンの認識を行うパターン認識実行部をさらに備えることを特徴とする、請求項１〜３のいずれか一項に記載のパターン認識装置。
【請求項５】
学習パターン群を示す情報を入力するステップと、
ニューラルネットワークにおけるニューロンの活性値を示す式を高次元化して前記学習パターン群に適用し、前記高次元化された式を最急降下法によって誤差を最小化する方向に学習し、前記高次元化された式によって示される非線形の識別線又は識別面を用いて前記学習パターン群を識別するステップと、
を備え、
前記高次元化された式によって示される非線形の識別線又は識別面は、超楕円であることを特徴とするパターン認識方法。
【請求項６】
コンピュータに、
学習パターン群を示す情報を入力するステップと、
ニューラルネットワークにおけるニューロンの活性値を示す式を高次元化して前記学習パターン群に適用し、前記高次元化された式を最急降下法によって誤差を最小化する方向に学習し、前記高次元化された式によって示される非線形の識別線又は識別面を用いて前記学習パターン群を識別するステップと、
を実行させ、
前記高次元化された式によって示される非線形の識別線又は識別面は、超楕円であることを特徴とするプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明の第１の態様は、パターン認識装置であって、学習パターン群を示す情報を入力する入力部と、ニューラルネットワークにおけるニューロンの活性値を示す式を高次元化して前記学習パターン群に適用し、前記高次元化された式を最急降下法によって誤差を最小化する方向に学習し、前記高次元化された式によって示される非線形の識別線又は識別面を用いて前記学習パターン群を識別するパターン認識学習部と、を備え、前記高次元化された式によって示される非線形の識別線又は識別面は、超楕円であることを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明の第２の態様は、パターン認識方法であって、学習パターン群を示す情報を入力するステップと、ニューラルネットワークにおけるニューロンの活性値を示す式を高次元化して前記学習パターン群に適用し、前記高次元化された式を最急降下法によって誤差を最小化する方向に学習し、前記高次元化された式によって示される非線形の識別線又は識別面を用いて前記学習パターン群を識別するステップと、を備え、前記高次元化された式によって示される非線形の識別線又は識別面は、超楕円であることを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明の第３の態様は、プログラムであって、コンピュータに、学習パターン群を示す情報を入力するステップと、ニューラルネットワークにおけるニューロンの活性値を示す式を高次元化して前記学習パターン群に適用し、前記高次元化された式を最急降下法によって誤差を最小化する方向に学習し、前記高次元化された式によって示される非線形の識別線又は識別面を用いて前記学習パターン群を識別するステップと、を実行させ、前記高次元化された式によって示される非線形の識別線又は識別面は、超楕円であることを特徴とする。