(57)【要約】  【課題】    適切な学習処理、予測・診断処理および説明・規則抽出処理を良好に行えるようにするニューラルネットワークの構造を提供する。  【解決手段】  入力層素子と、非線形関数出力または線形関数出力の何れかを行う伝達関数を有する中間層素子と、所定領域で線形関数出力を、また、所定領域外の残領域でシグモイド関数出力を行う合成伝達関数を有する出力層素子と、を備え、複数の入力層素子、複数の中間層素子および出力層素子が結合された階層型構造によるニューラルネットワークの構造であって、複数の入力層素子のうちの一部と複数の中間層素子のうちの一部とが結合されてなる疎結合部分１１を有するニューラルネットワークの構造とした。【選択図】  図１
2006163808.tif 000002
【特許請求の範囲】
【請求項１】
入力層素子と、
非線形関数出力または線形関数出力の何れかを行う伝達関数を有する中間層素子と、
所定領域で線形関数出力を、また、所定領域外の残領域でシグモイド関数出力を行う合成伝達関数を有する出力層素子と、
を備え、複数の入力層素子、複数の中間層素子および出力層素子が結合された階層型構造によるニューラルネットワークの構造であって、
複数の入力層素子のうちの一部と複数の中間層素子のうちの一部とが結合されてなる疎結合部分を有することを特徴とするニューラルネットワークの構造。
【請求項２】
請求項１に記載されたニューラルネットワークの構造において、
前記中間層素子は多層に配置され、最下層の中間層素子と入力層素子とが、中間層素子同士が、および、最上層の中間層素子と出力層素子とがそれぞれ結合されることを特徴とするニューラルネットワークの構造。
【請求項３】
請求項１または請求項２に記載されたニューラルネットワークの構造において、
前記疎結合部分に加え、全ての入力層素子と複数の中間層素子のうちの一部とが結合されてなる１つの全結合部分を有することを特徴とするニューラルネットワークの構造。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、各種の制御、予測、診断という情報処理分野に用いられるニューラルネットワークの構造に関する。
【背景技術】
【０００２】
周知のようにニューラルネットワークは学習能力を持ち、非線形性、パターンマッチング性能に優れており、制御、予測、診断等の多くの分野に用いられている。
初期のニューラルネットワークは、その伝達関数に、ステップ関数や線形関数が用いられていたため、処理能力が低いという問題があった。その後シグモイド関数の適用、バックプロパゲーション法の発見により、その情報処理能力が飛躍的に向上し、その結果多くの分野において実用化されるに至った。余談ではあるが、近年では伝達関数として釣鐘形関数が使われるものもある。
【０００３】
さて、このニューラルネットワークとしては多くの構造が提案されているが、実用化されたその多くは、図４のニューラルネットワークの構造図で示すように、シグモイド関数を持つニューロン素子を２層（中間層・出力層）重ねた３階層型のものがほとんどである。この３階層型が多く用いられる理由としては、３階層型はいかなる関数でも任意の精度でモデル化できることが証明されているためである。
【０００４】
続いてこのようなニューラルネットワークを用いる予測・診断処理の流れについて図を参照しつつ説明する。
図５は、ニューラルネットワークを用いる一連の情報処理を説明する説明図である。図５で示すように、ニューラルネットワークによる情報処理では、学習処理１００、予測・診断処理２００、説明・規則抽出処理３００が行われる。
【０００５】
学習処理１００では、学習データを用いてニューラルネットワークの学習を行う。上記した階層型のニューラルネットワークは、学習データとして入力側の入力データと出力側の教師データを与えて通常はバックプロパゲーション法（誤差逆伝播法）と呼ばれるアルゴリズムにより学習される。学習により内部の結合状態が調整されて重み係数ｗの値が決定されていく。最終的には、学習結果である学習済みのニューラルネットワークを得て重み係数やニューラルネットワークの構造を表す学習結果データがデータベースに蓄積される。
【０００６】
予測・診断処理２００では、学習済みのニューラルネットワークに予測・診断用データを入力して、予測・診断を行う。学習済みのニューラルネットワークから予測または診断に係る出力データが出力される。
このような学習済みのニューラルネットワークは、学習時の入力データと同一の予測・診断用データを与えると学習時の教師データとほぼ同一の出力データを出力をする。また、学習時の入力データに近い予測・診断用データを与えると教師データに近い出力データを出力をする特徴がある。
【０００７】
説明・規則抽出処理３００では、学習済みのニューラルネットワークと予測・診断用データとを用いて、予測・診断について出力データの説明・規則抽出を行う。ニューラルネットワークでは予測するのみならず、ニューラルネットワークの出力理由を説明したり、さらにはニューラルネットワークが学習した内容から未知の規則を抽出したりというように、出力理由・説明・規則抽出を行いたいというニーズがある。
【０００８】
さて、このような通常のニューラルネットワークでは特に説明・規則抽出処理３００は容易ではなかった。この点について例を挙げて説明する。例えば、ニューラルネットワークは非線形性に優れているが、内部構造も非線形かつ複雑で解析が困難なため、入出力関係がブラックボックスとなっており、入力された予測・診断用データに対して得られた予測・診断に係る出力データの挙動について理由・根拠を説明できないものであった。
【０００９】
そこで説明・規則抽出処理３００が簡単になるようなニューラルネットワークが提案されている。このようなニューラルネットワークに係る先行技術として特許文献１〜４に記載されたものがある。
非特許文献１（「忘却付き構造学習：ニューラルネットワークの構造学習による規則性の発見と汎化、日本神経回路学会誌、Vol.1, No.2 (1994)」）に記載された先行技術は、学習処理１００と説明・規則抽出処理３００とに関わる。しかし、非特許文献１に記載の先行技術は主に離散問題（パターン認識等）が対象であり、対象データが離散データの場合には有益な方法であるが、連続データには適用できないものであった。
【００１０】
特許文献１（公開番号：特開２００１−３４４５９０号，発明の名称：「ニューラルネットワーク及びその学習方法、解析方法並びに異常判定方法」）に記載された先行技術は、連続値データを対象としたニューラルネットワークの出力値を説明するものであり、学習処理１００と説明・規則抽出処理３００とに関わる。特許文献１に記載の先行技術は連続データの問題が対象である。
しかしながら、特許文献１の説明・規則抽出処理３００として、図６のような入出力関係図（特許文献１では図２７）が例として挙げられている。この図は、横軸「入力値」、縦軸「出力層に伝搬する情報」の図であり、入力値が増減した場合の出力値の増減傾向を説明している。ここで、横軸は入力データそのものであるので理解は容易であるが、出力値はニューラルネットワークの内部情報を示しているため一般技術者では理解が容易でなく、説明・規則抽出処理３００が困難であった。
【００１１】
また、上記技術のニューラルネットワークは，ニューラルネットワークの各入力層素子への入力値と、出力層素子へ入力される入力値（中間層素子からの出力値に係数をかけた値）と、に関する情報を用いて解析する方法であるが、解析によって得られた入出力特性と実際のニューラルネットワークの出力特性とが完全には一致しない問題があった。これは、中間層素子および出力層素子であるニューロン素子の全てが非線形であるシグモイド関数を伝達関数としていることに起因している。しかし、シグモイド関数の特性を熟知していない一般の技術者が直感的に把握することは難しい。さらに入力層素子や中間層素子の数が増えるとさらに難しくなるのは明らかである。
【００１２】
特許文献２（特開２００２−４２１０６号公報，発明の名称：「ニューラルネットワークの構造」に記載の先行技術は、同じく連続データの問題を対象としたものであり、特許文献１の説明・規則抽出処理３００を改善する方法である。中間層にシグモイド関数、出力層に線形関数を用いる。
特許文献１の先行技術では、ニューラルネットワークの出力は、出力層素子においてもシグモイド関数により非線形変換を行っていため、非線形となっており、実際のニューラルネットワークからの出力が非線形となって解析結果から予想される入出力特性とは一致していなかった。一方、特許文献２では、解析により得られる入出力特性とニューラルネットワークの実際の入出力特性を一致させるため、最終的に出力層素子側で線形変換するような出力層素子を用いている。これにより一般技術者にも理解が容易な解析手法を提供することができ、近似誤差のない定量的な説明を実現している。
【００１３】
非特許文献２（「構造化ニューラルネットワークによる出力値の定量的説明方法」：電気学会Ｈ１５年全国大会））記載の先行技術は、特許文献２の先行技術で説明した線形関数の決定方式に係り、説明・規則抽出処理３００を改善を図るものである。シグモイド関数に代えてシグモイド関数の線形近似式を採用するものであり、特許文献２のように出力層素子の伝達関数に線形関数を採用するものである。図７はシグモイド関数の線形近似を説明する説明図である。図７で示すように、シグモイド関数の出力を線形近似した線形関数を出力層素子の伝達関数とすることで、縦軸を理解容易な「ニューラルネットワークの出力」そのものに換算するものである。
【００１４】
【特許文献１】特開２００１−３４４５９０号公報
【特許文献２】特開２００２−４２１０６号公報
【非特許文献１】「忘却付き構造学習：ニューラルネットワークの構造学習による規則性の発見と汎化、日本神経回路学会誌、石川 眞澄，山本 洋嗣  Vol.1, No.2 (1994)」
【非特許文献２】「構造化ニューラルネットワークによる出力値の定量的説明方法」：電気学会Ｈ１５年全国大会，2003/3/17〜19，仙台，第３分冊，P49，P50）
【発明の開示】
【発明が解決しようとする課題】
【００１５】
特許文献２，非特許文献２のように、シグモイド関数を線形関数に単純に置き換えるのは以下の（１）学習処理１００が適切になされないおそれがある、（２）誤差を生じるおそれがある、という問題点があった。以下説明する。
【００１６】
（１）学習処理１００が適切になされないおそれがある。  
特許文献２では、説明・規則抽出処理３００の改善を図るものの、学習処理１００において学習が不安定になりやすく、良好な学習ができず、その結果「学習結果」が得られなくなることがあった。このように学習が不安定になる理由を説明する。
ニューラルネットワークの一般的な学習式は次式のようになる。
【００１７】
【数１】
2006163808.tif 000003
【００１８】
ここに、出力層の出力データＯ（１）ｉ、教師データＴｉ、自乗誤差Ｅとすると次式のような関係を満たすものである。
【００１９】
【数２】
2006163808.tif 000004
【００２０】
このような数１，数２を用いて適切に学習するためには、学習係数αを小さな値にし、結合係数の修正を少しずつ繰り返し行わなければいけない。
ｆがシグモイド関数のときには、ニューロの出力Ｏ（１）の範囲は０〜１に、微分値ｆ’（）の範囲は０〜０．２５に限定されるので、修正量が過大な値になることがなく、その結果適切に学習される。
【００２１】
一方、ｆが例えば線形式ｙ＝ｘであるとＯ（１）の範囲は−∞〜＋∞であり、微分値ｆ’（）は１であるので、非常に大きな修正量になることがある。つまり、結合係数の修正量が極端に大きくなることがあり学習が発散しやすくなる欠点がある。もちろんニューラルネットワークの学習が適切に進行しているときには、適切な修正が行われているので発散する可能性は低い。しかし、学習初期時の結合係数は乱数で与えるのが普通であり、その結果、学習初期時において修正量が過大になり発散する可能性が常にある。
【００２２】
（２）誤差を生じるおそれがある。  
近似値はシグモイド関数の線形領域だけでも誤差が生じる。近似誤差の大きさを次表１に示す。
【００２３】
【表１】
2006163808.tif 000005
【００２４】
このように出力が０．４〜０．６付近では良好であるが、それ以外の領域では誤差が発生している。出力が０．４〜０．６以外の領域で誤差が許容できない分野には線形式は適用できないものであった。
【００２５】
換言すれば、特許文献２の方式では、説明・規則抽出処理３００の改善に効果があるものの、学習処理２００では発散により良好な学習ができないおそれがあり、また、予測・診断処理２００では、誤差により予測・診断の精度が高くないおそれがあるという問題があった。
【００２６】
そこで、上記した問題点に鑑みて本発明はなされたものであり、その目的は、適切な学習処理、予測・診断処理および説明・規則抽出処理を良好に行えるようにするニューラルネットワークの構造を提供することにある。
【課題を解決するための手段】
【００２７】
上記の課題を解決するため、本発明の請求項１に係る発明のニューラルネットワークの構造は、
入力層素子と、
非線形関数出力または線形関数出力の何れかを行う伝達関数を有する中間層素子と、
所定領域で線形関数出力を、また、所定領域外の残領域でシグモイド関数出力を行う合成伝達関数を有する出力層素子と、
を備え、複数の入力層素子、複数の中間層素子および出力層素子が結合された階層型構造によるニューラルネットワークの構造であって、
複数の入力層素子のうちの一部と複数の中間層素子のうちの一部とが結合されてなる疎結合部分を有することを特徴とする。
【００２８】
また、本発明の請求項２に係る発明のニューラルネットワークの構造は、
請求項１に記載されたニューラルネットワークの構造において、
前記中間層素子は多層に配置され、最下層の中間層素子と入力層素子とが、中間層素子同士が、および、最上層の中間層素子と出力層素子とがそれぞれ結合されることを特徴とする。
【００２９】
また、本発明の請求項３に係る発明のニューラルネットワークの構造は、
請求項１または請求項２に記載されたニューラルネットワークの構造において、
前記疎結合部分に加え、全ての入力層素子と複数の中間層素子のうちの一部とが結合されてなる１つの全結合部分を有することを特徴とする。
【発明の効果】
【００３０】
以上のような本発明によれば、適切な学習処理、予測・診断処理および説明・規則抽出処理を良好に行えるようにするニューラルネットワークの構造を提供することができる。
【発明を実施するための最良の形態】
【００３１】
続いて、本発明を実施するための最良の形態について、図を参照しつつ説明する。図１は、本形態（第１形態）のニューラルネットワークの構造を説明する説明図である。図１で示すように、入力層素子、中間層素子および出力層素子を備える階層型のニューラルネットワークであるが、（１）結合方式、（２）素子の両者に特徴を持つものである。
【００３２】
（１）の結合方式について、図１で示すように、複数の入力層素子のうちの一部と複数の中間層素子のうちの一部とが結合されてなる疎結合部分１１を有するような結合方式を採用している。
この疎結合部分１１では、中間層部分において入力層からのデータを任意の入力因子ごとに分離しているため、疎結合部分１１毎に解析が可能となって解析が容易となっており、説明・規則抽出処理３００において説明・規則を簡単に行うことができるようになる。
【００３３】
（２）の素子について、中間層素子では入力値−出力値の関係が非線形である素子（非線形素子）を用い、出力層素子では所定領域で線形関数出力を、また、所定領域外の領域でシグモイド関数出力を行う合成伝達関数を有する素子（融合素子）を用いる。
【００３４】
続いて出力層素子である融合素子について説明する。
この融合素子として伝達関数を次式に示す線形式とシグモイド関数とを融合した融合関数とする。先に従来技術で図７を示して説明したシグモイド関数出力の０．４〜０．６の領域では、ほとんど線形であり、線形式による近似誤差は１％未満である（表１参照）。この特徴により、シグモイド関数を用いたニューラルネットワークでもこの線形領域のみを用いる場合には線形近似可能である。ただ、誤差はわずかではあるが生じるため適用分野によっては、許容できないこともある。そこで、本発明では、線形と非線形関数を以下のように組み合わせる。
【００３５】
（数３）
ｙ＝０．２５ｘ＋０．５      （０．４≦ｙ≦０．６）（線形関数）
ｙ＝１／｛１＋exp（−ｘ）｝  （ｙ＜０．４，０．６＜ｙ）（シグモイド関数）
【００３６】
また、この場合学習時の教師データ（出力値）は上記線形領域内に収まるように０．４〜０．６に正規化する。教師データが０．４〜０．６に正規化されているため、学習により構築されるニューラルネットワークは出力０．４〜０．６の範囲のみ使用される。つまり線形式の領域のみ使われ、その結果近似誤差のない定量的な説明が可能になり、説明・規則抽出処理３００での説明・規則抽出を容易に行えるようになる。
【００３７】
なお、教師データを０．４〜０．６に設定しても、学習途中では、０．４〜０．６以外の領域が使われることがある。しかし、シグモイド関数を用いているため、学習係数の修正量が制限された学習は発散しない（通常の線形式では、学習中に発散する可能性があった）。このため、学習処理１００における学習精度を向上させる。さらに学習精度が高い学習済みのニューラルネットワークを用いるため、予測・診断処理２００における予測・診断精度も向上させる。
【００３８】
このように本形態のニューラルネットワークは、発散することなく適切に学習がされるため、精度の高い学習処理１００を行うことができる。
また、学習が良好に行われるため精度の高いニューラルネットワークとすることができ、精度の高い予測・診断処理２００を行うことができる。
さらにまた、疎結合部分を複数有する構造とし、さらに出力はこれら疎結合部分からの出力が伝達関数の線形箇所で加算された和として表されるようにしたため、説明・規則抽出処理３００も解析しやすいものとなり、説明・規則抽出処理３００が容易になる。
これら効果が相俟って特許文献２のニューラルネットワーの構造を大幅に改良し、学習精度の向上、予測・診断精度の向上および説明・規則抽出の容易化を合わて実現するニューラルネットワーク構造を提供することができるようになった。
【００３９】
このようなニューラルネットワークの構造としたので、従来の入出力特性の解析結果と実際のニューラルネットワークの入出力特性を一致させることができるため、出力と入力との因果関係を容易に把握することが可能となり、さらに学習データにない未知のデータに対しても、出力値を容易に推定することができるようになったため、非線形になれた技術者だけでなく、一般技術者でも容易に把握することが可能となる。
また、運用者の感覚と違う解析結果が出た場合には、ニューラルネットワークの再学習などの処理を事前に行うことが可能である。
さらにまた、階層型のニューラルネットワークの応答関数を変更しただけなので、通常の学習法・解析法・異常判定法をそのまま適用できる。
特に、本発明は，安全性，信頼性が要求される制御，医療，電力等の分野において有効である。
【００４０】
続いて他の形態について図を参照しつつ説明する。図２は他の形態（第２形態）のニューラルネットワークの構造を説明する説明図である。本形態のニューラルネットワークの構造は、図１の１層の中間層素子を持つニューラルネットワークに代えて、疎結合部分１１を有し、かつ中間層が複数層（図２では二層）になっているニューラルネットワークである。
このニューラルネットワークでは、中間層素子は多層に配置され、最下層の中間層素子と入力層素子とが、中間層素子同士（例えば図２のように二層の中間層ならば、最下層の一部の中間層素子と最上層の一部の中間層素子と）が、および、最上層の中間層素子と出力層素子とがそれぞれ結合される。また、複数の疎結合部分１１に分けて構築される。
【００４１】
中間層を複数層とする理由について説明する。階層型では，非線形変換が中間層の１層だけだと複雑な関数のモデル化は保証できないが、３層以上にすると、非線形変換が２つの中間層で行われるので、あらゆる関数のモデル化が可能となるためである。
そして２層の中間層素子を持つニューラルネットワークなどであっても出力層素子として融合素子を採用することで、本発明の効果を奏しうるものとなる。
【００４２】
このような本形態のニューラルネットワークによれば、上記した第１形態で奏しうる効果に加えて、学習精度や予測・診断精度が更に向上するものであり、これら効果が相俟って、更なる学習精度の向上、予測・診断精度の向上および説明・規則抽出の容易化を合わて実現するニューラルネットワーク構造を提供することができる。
【００４３】
続いて他の形態について図を参照しつつ説明する。図３は他の形態（第３形態）のニューラルネットワークの構造を説明する説明図である。本形態のニューラルネットワークの構造は、図３で示すように、入力層素子、中間層素子および出力層素子を備える階層型のニューラルネットワークであるが、上記した（２）の素子はそのまま採用し、（１）の結合方式を更に改良したニューラルネットワークの構造を持つものである。
【００４４】
（１）の結合方式について、複数の疎結合部分１１に加え、さらに全ての入力層素子と複数の中間層素子のうちの一部とが結合されてなる１つの全結合部分１２をを追加した結合方式を採用している。
【００４５】
このようなニューラルネットワークでは、全結合部分により入力因子の相互作用分のように分離不可能な要素を処理するため、構造を簡素化したにも拘らず従来技術と同等の学習精度および予測・診断精度も保証することが可能であり、学習処理１００，予測・診断処理２００をさらに高精度化させることができる。
また、全部結合、疎結合に分けたため、説明・規則抽出も解析しやすいものとなる。疎結合部分１１および全結合部分１２により説明・規則抽出処理３００が容易になる。
【００４６】
このような本形態のニューラルネットワークによれば、上記した第１形態で奏しうる効果に加えて、更なる学習精度の向上、予測・診断精度の向上および説明・規則抽出の容易化を合わて実現するものであり、使い勝手の良いニューラルネットワーク構造を提供することができるようになった。
【００４７】
なお、図示しないが、図３のニューラルネットワークの構造において、さらに多数層（例えば図２の最下層と最上層という二層の中間層）による中間層素子を採用することで、上記した第２形態で奏しうる効果に加えて、更なる学習精度の向上および予測・診断精度の向上を図ることが可能となり、学習精度の向上、予測・診断精度の向上および説明・規則抽出の容易化を合わて実現する使い勝手の良いニューラルネットワーク構造を提供することができる。
【００４８】
なお、これら図１〜図３を用いて説明したニューラルネットワークの構造では、各種の変形形態が可能である。
例えば、本形態のニューラルネットワークは、特に学習で発散が生じないようにするものであるため学習処理１００のみで用い、予測・診断処理２００、説明・規則抽出処理３００では、本発明の融合関数による出力層素子を用いる必要はなく、伝達関数として単なる線形式を用いる出力層素子を採用しても良い。
【００４９】
また、先に図１〜図３を用いて説明した各形態で中間層素子は、入力値に対して非線形な出力値が出力される非線形素子であるとして説明したが、中間層素子の一部もしくは全部で線形関数出力を行う伝達関数を有するような素子としても良い。中間層素子は線形変換する素子と非線形変換する素子とを取り混ぜることができる。
【００５０】
以上本発明のニューラルネットワークについて説明した。これらニューラルネットワークでは出力層の伝達関数として、線形関数とシグモイド関数を融合した融合関数による伝達関数を用いている。この結果、以下の利点がある。
（１）学習時において、学習が安定化する。
（２）定量的な説明ができる（図６の縦軸がニューラルネットワークの内部状態でなく、出力値で表されるので、理解が容易）。
（３）学習時以外は、特許文献２で記載したような出力層素子の伝達関数が線形式を用いたニューラルネットワークを用いることもできる（特許文献２の発明を用いた既存システムでも、学習部分だけを改造するだけですむ）
【図面の簡単な説明】
【００５１】
【図１】本発明を実施するための最良の形態のニューラルネットワークの構造を説明する説明図である。
【図２】他の形態のニューラルネットワークの構造を説明する説明図である。
【図３】他の形態のニューラルネットワークの構造を説明する説明図である。
【図４】ニューラルネットワークの構造図である。
【図５】ニューラルネットワークを用いる一連の情報処理を説明する説明図である。
【図６】従来技術のニューラルネットワークによる入出力関係図である。
【図７】シグモイド関数の線形近似を説明する説明図である。
【符号の説明】
【００５２】
１１  疎結合部分
１２  全結合部分
【図１】
2006163808.tif 000006
【図２】
2006163808.tif 000007
【図３】
2006163808.tif 000008
【図４】
2006163808.tif 000009
【図５】
2006163808.tif 000010
【図６】
2006163808.tif 000011
【図７】
2006163808.tif 000012