(57)【特許請求の範囲】
【請求項１】
階層型ニューラルネットワークであって、
処理部が、入力ベクトルを入力し、前記入力ベクトルをＨ次元のベクトルＸｈ（ｔ）  （ｈ＝１，…，Ｈ）  に非線形変換して出力する前処理手段と、
処理部が、前記前処理手段からのＨ次元のベクトルをそれぞれ入力し、ニューラルネットワークの各層の構成を表す式に関するデータを記憶した第１テーブルを参照し、次式の入出力関係で出力する複数の第１層のユニット｛ｈ｝（ｈ＝１，…，Ｈ）と、
（１）Ｉｈ（ｔ）＝Ｘｈ（ｔ）          （８）
（１）Ｏｈ（ｔ）＝（１）Ｉｈ（ｔ）        （９）
（ここで、（１）Ｉｈ（ｔ）と（１）Ｏｈ（ｔ）はｈ番目のユニットの入出力を表す。）
処理部が、重み係数を記憶した第２テーブルを参照し、前記第１層のユニットからの出力を重み係数ｗｃｋ’，ｋ，ｍ，ｈを介して入力し（（２）Ｉｃｋ’，ｋ，ｍ（ｔ））、前記第１テーブルを参照し、次式の入出力関係で出力する（（２）Ｏｃｋ’，ｋ，ｍ（ｔ））複数の第２層のユニット｛ｃ，ｋ，ｋ’，ｍ｝（ｃ＝１，…，Ｃ；ｋ，ｋ’＝１，…，Ｋｃ；ｍ＝１，…，Ｍｃ，ｋ）と、
【数１】
0003816762.tif 000026
（ただし、分析の対象とする事象はＣ個で、それぞれの事象ｃ（ｃ∈｛１，…，Ｃ｝）はＫｃ個の状態から構成されているとき、Ｋｃは隠れマルコフモデルの状態数に対応するパラメータ、Ｍｃ，ｋは事象ｃ及び状態ｋに対応する混合ガウス分布モデルのコンポーネント数を表す。）
処理部が、前記第２層のユニット｛ｃ，ｋ，ｋ’，ｍ｝（ｍ＝１，…，Ｍｃ，ｋ）の出力を入力し、前記第１テーブルを参照し、前記入力に１時刻前の第４層のユニットの出力を乗じた値を次式の入出力関係で出力する複数の第３層のユニット｛ｃ，ｋ，ｋ’｝と、
【数２】
0003816762.tif 000027
処理部が、前記第１テーブルを参照し、入力（４）Ｉｃｋ（ｔ）と出力（４）Ｏｃｋ（ｔ）を次式の入出力関係で出力する複数の第４層のユニット｛ｃ，ｋ｝（ｋ＝１，…，Ｋｃ）と、
【数３】
0003816762.tif 000028
処理部が、前記第４層のユニットのＫｃユニットの出力を入力し、前記第１テーブルを参照し、次式の入出力関係で出力する複数の第５層のユニット｛ｃ｝と、
【数４】
0003816762.tif 000029
処理部が、前記第５層のユニットの出力を出力部に出力する又は記憶部に記憶する手段と
を備えたニューラルネットワーク。
【請求項２】
前記前処理手段は、入力されたｄ次元ベクトルの要素をＨ次元（Ｈ＝１＋ｄ（ｄ＋３）／２）の値に非線形演算により変換し、
前記第１の層のユニットは、各入力ベクトル毎のＨ個のユニットを有し、
前記第２の層のユニットは、分析の対象とする事象Ｃ（ｃ＝１，２，…，Ｃ）、各事象を構成する隠れマルコフモデルの状態ｋ（ｋ＝１，２，…，Ｋｃ）、１時刻前の該状態ｋ’（ｋ’＝１，２，…，Ｋｃ）、及び、状態の事後確率を混合して表すガウス分布のコンポーネントｍ（ｍ＝１，２，…，Ｍｃ，ｋ）毎のＣ×Ｋｃ×Ｋｃ×Ｍｃ，ｋのユニットを有し、
前記第３の層のユニットは、事象数ｃ、状態数ｋ、１時刻前の状態数ｋ’毎のＣ×Ｋｃ×Ｋｃ個ユニットを有し、
前記第４の層のユニットは、事象数ｃ及び状態数ｋ毎のＣ×Ｋｃ個ユニットを有し、
前記第５の層のユニットは、前記事象数ｃ毎のＣ個のユニットを有する請求項１に記載のニューラルネットワーク。
【請求項３】
前記前処理手段は、
入力ベクトルｘ＝［ｘ１，ｘ２，・・・，ｘｄ］Ｔ  ∈Ｒｄに非線形演算による前処理を施し、次のＸ  ∈ＲＨに変換することを特徴とする請求項１又は２に記載のニューラルネットワーク。
【数５】
0003816762.tif 000030
【請求項４】
ニューラルネットワークの出力についての関数である評価関数Ｊは、学習時の時間変化が次式の学習則が成り立ち、評価関数Ｊが減少する方向に重みの差分を定めることを特徴とする請求項１乃至３のいずれかに記載のニューラルネットワーク。
ｄＪ／ｄｔ＝―ηＪβ
（ここで、ηは学習率、βは０＜β＜１を満たす定数）
【請求項５】
ニューラルネットワークの出力についての評価関数Ｊに関して学習の終了時刻ｔｆから学習率ηｔを計算し、
これを次式に記入して学習を行なうことにより収束時間を指定することを特徴とする請求項１乃至４のいずれかに記載のニューラルネットワーク。
【数６】
0003816762.tif 000031
【請求項６】
さらに、学習中に残りの学習時間ｔｆ−ｔと評価関数Ｊを表示する出力部をさらに備えた請求項５に記載のニューラルネットワーク。
【請求項７】
処理部が、状態数ｋ（ｋ＝１，２，…，Ｋｃ）、コンポーネント数ｍ（ｍ＝１，２，…，Ｍｃ，ｋ）、事象数ｃ（ｃ＝１，２，…，Ｃ）、入力信号数ｄ、時系列信号長Ｌ、収束時間ｔｆ、学習データ数Ｎの設定を行う機能と、
処理部が、ターミナルラーニングに基づき学習率ηｔを計算する機能と、
処理部が、学習回数Ｔ及び学習データ数Ｎに基づき、請求項１乃至６のいずれかに記載のニューラルネットワークにより前向き演算を実行する前向き演算機能と、
処理部は、重みｗｃｋ’，ｋ，ｍ，ｈを含む学習結果を記憶部に記憶する機能と
を備えたニューラルネットワークシステム。
【請求項８】
生体信号が入力され、入力された生体信号に従い識別用データを抽出する特徴抽出部と、
前記特徴抽出部が抽出した識別用データに基づき、請求項１乃至６のいずれかに記載のニューラルネットワークにより前向き演算を実行するＲ−ＬＬＧＭＮ演算部と、
前記Ｒ−ＬＬＧＭＮ演算部の出力結果の中で最も高い若しくは低い値又は予め決められた閾値より高い若しくは低い値を示した事象番号ｃを識別結果として選択する識別部と
を備えたニューラルネットワークシステム。
【請求項９】
前記Ｒ−ＬＬＧＭＮ演算部は、
前記記憶部から学習終了時に出力された重みｗｃｋ’，ｋ，ｍ，ｈを読み込む機能と、
前記記憶部又は前記識別部から識別用データを入力する機能と、
これら重み及び識別用データに基づき、前記前向き演算処理を実行する機能と
を備えた請求項８に記載のニューラルネットワークシステム。
【請求項１０】
前記前向き演算機能では、
処理部は、時系列信号長Ｌを記憶部から読み出し、初期値として設定する機能と、
処理部が、時系列信号長Ｌが０以下になるまで、前記前向き演算を実行する機能と、
処理部は、演算結果である第５層の出力を記憶部に記憶する機能と
を備えた請求項７乃至９のいずれかに記載のニューラルネットワークシステム。
【請求項１１】
前記特徴抽出部は、
生体信号として、脳波信号（ＥＥＧ）を入力し、
識別用データとして、特定の周波数帯域のパワースペクトルの平均値を要素とするベクトルを抽出することを特徴とする請求項７乃至１０のいずれかに記載のニューラルネットワークシステム。
【請求項１２】
前記特徴抽出部は、
生体信号は、筋電位信号（ＥＭＧ）を入力し、
識別用データとして、整流及び平滑後の振幅値を要素とするベクトルを抽出することを特徴とする請求項７乃至１０のいずれかに記載のニューラルネットワークシステム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ニューラルネットワーク、ニューラルネットワークシステム及びニューラルネットワーク処理プログラムに係り、特に、脳波や筋電位など生体信号のパターン認識システムに利用することができるニューラルネットワーク、ニューラルネットワークシステム及びニューラルネットワーク処理プログラムに関する。
【０００２】
【従来の技術】
Rumelhartら（文献［1］参照）（［  ］内は後述の参考文献の番号を表す。）によって提案された誤差逆伝搬型ニューラルネットは任意の非線形写像を獲得できる強力な学習能力を備えており、さまざまなパターン識別問題に応用されている。しかしながら、対象とする問題によってはまだ多くの課題が残されている。例えば、学習対象の写像が複雑になるにつれて、膨大な教師信号数や学習時間、大きなネットワーク構造が必要になり、ローカルミニマムなどの課題も懸念される。
【０００３】
このような課題を解決するための試みの１つに、学習対象に関して既知である特性をネットワークの構造として取り込むという方法がある（文献［2][3］参照）。この方法では結合荷重とネットワーク則に制約を科すことで、ニューラルネットを与えられた問題に適したように調節することが可能である。パターン識別問題に関しても、多くの研究者がニューラルネットと確率モデルの融合（文献［4］参照）を試みており、特に混合ガウス分布モデルを利用したニューラルネットが数多く提案されている（文献［5]-[11］参照）。
【０００４】
混合ガウス分布モデルとは、複数のコンポーネントと呼ばれる確率分布の線形和によって母集団の分布を近似する方法で、各コンポーネントにはガウス分布を用いる（文献［12］参照）。この混合ガウス分布モデルに基づいたニューラルネットの開発はTraven（文献［5］参照），Perlovsky  and  Mc-Manus（文献［6］参照）,Tsuji et al. （文献［7][8］参照）,Jordan and Jacobs（文献［9］参照）,Lee and Shimoji（文献［10］参照）,Streit and Luginbuhl（文献［11］参照）によって行われている。特に本発明者（辻）らは混合ガウス分布モデルと対数線形モデルに基づいたLog-Linerized  Gaus-sian  Mixture  Network（LLGMN）を提案し（文献［8］参照）、混合ガウス分布モデルに基づいて学習的に事後確率を推定する方法を示した。またこのLLGMNを用いて、複数の電極対によって計測した節電位（ＥＭＧ）信号から、前腕と手の６動作を識別することに成功している（文献［13］参照）。
【０００５】
1．  LLGMN
図１８に、LLGMNの構成図を示す（文献［8］参照）。まず最初に、入力ベクトルｘ＝［ｘ１，ｘ２，・・・，ｘｄ］Ｔ  ∈Ｒｄに非線形演算による前処理を施し、Ｘ ∈ＲＨに変換する。
【０００６】
【数７】
0003816762.tif 000002
【０００７】
第１層はベクトルＸの次元数Ｈ＝１＋ｄ（ｄ＋３）／２にあわせてＨ個のユニットからなり、入出力関数には恒等関数を用いる。第１層の入出力関係は、入力を（１）Ｉｊ，出力を（１）Ｏｊとすると、
（１）Ｉｊ＝Ｘｊ            （２）
（１）Ｏｊ＝（１）Ｉｊ            （３）
となる。
【０００８】
第２層は混合ガウス分布の総コンポーネント数と同数のユニットから構成され、第１層の出力を重み係数ｗｈ（ｃ、ｍ）を介して受け取り、事後確率を出力する。第２層のユニット｛ｃ，ｍ｝への入力を（２）Ｉｃ，ｍ出力を（２）Ｏｃ，ｍとすると、
【０００９】
【数８】
0003816762.tif 000003
【００１０】
となる。ただし、（ｃ＝１，・・・，Ｃ；ｍ＝１，・・・，Ｍｃ）で、Ｃは対象とするクラス数，Ｍｃはクラスｃを構成する混合ガウス分布のコンポーネント数を表す。また、ｗｈ（ｃ、Ｍｃ）＝０
である。
第３層は、事象数に対応するＣ個のユニットからなり、事象ｃの事後確率を出力する。ユニットｃは、第２層のＭｃ個のユニット｛ｃ，ｍ｝の出力を統合したものである。入出力間の関係は、
【００１１】
【数９】
0003816762.tif 000004
【００１２】
となる。以上のように、このネットワークは第１層と第２層の間の重み係数ｗｈ（ｃ、ｍ）を学習的に調節するだけで、各事象の事後確率を計算することができる。
しかしながら、これらのニューラルネットは対象とする問題の静的な特性しか学習することができず、対象が時間とともに変動するような動的なデータには適用することはできない。
【００１３】
２．隠れマルコフモデル
時系列信号の識別には隠れマルコフモデル（Hidden Markov Model：ＨＭＭ）（文献［14］参照）が一般的によく用いられており、特に音声認識の分野で成功を収めている（文献［17］参照）。ＨＭＭでは、状態数Ｎ，出力記号の数Ｍに対応して。状態遷移確率行列Ａ  ∈ＲＮ×Ｎ出力確率行列Ｂ  ∈ＲＭ×Ｎ，初期状態確率行列π  ∈ＲＮ×Ｎの３つの確率行列が必要となる。ＨＭＭをパターン識別に応用するには、それぞれの事象ｃに対する確率行列Ａｃ，Ｂｃ，πｃを、事象ｃに属する特定の出力記号列Ｏ１Ｏ２・・・Ｏｔの出力確率の尤度が最大になるようなパラメータを推定する。ここで、観測された出力記号列Ｏ１Ｏ２・・・Ｏｔにおいて、時刻ｔに事象ｃの状態Ｓｉにいる確率αｔ（ｉ）は、
αｔ（ｉ）＝Ｐ（Ｏ１Ｏ２・・・Ｏｔ，Ｓｉ｜ｃ）        （３１）
である。このαｔ（ｉ）は以下のように帰納的に計算可能で、観測した記号列出力の確率Ｐ（Ｏ｜ｃ）を求めることができる
【００１４】
【数１０】
0003816762.tif 000005
【００１５】
ここで、πｉは状態ｉの初期確率、ｂｊ（Ｏｔ）は状態ｉからＯｔが出力される確率、ａｉｊは状態ｉから状態ｊの遷移確率を表す。そして、Baum-Welthアルゴリズム（文献［14］参照）によって教師信号から遷移確率と出力確率の両方を推定することができる（文献［18］参照）。
さらにBaum and Sell（文献［19］参照）はBaum-Welthアルゴリズムに若干の制約条件を加えた連続密度ＨＭＭ(Continuous Density ＨＭＭ：以下CDHMM）を提案した：このCDHMMは連続信号を推定するために確率密度関数に混合ガウス分布モデルを利用しており、隠れマルコフモデルの能力を大きく向上させた。Juangら（文献［20］参照）は、このCDHMMの推定アルゴリズムを拡張して、音声認識に応用している。このようにして、ＨＭＭは高い試用能力を有しており、現実的に非常に効異的な手法である。
【００１６】
【発明が解決しようとする課題】
しかしながら、ＨＭＭの構造は未知なので経験や定義を頼りにパラメータを決定しなければならない。またＨＭＭの学習には大量の学習データが必要であり、学習データが少ないときには必要なパラメータをうまく推定できない場合もある。そこで近年、ＨＭＭとニューラルネットの融合に関する研究が盛んにおこなわれている（文献［21］［22］参照）。Bridle（文献［21］参照）らはＨＭＭをニューラルネット構造で表現する方法を示した。しかしながらこの方法はＨＭＭの構造をネットワークで展開したにすぎず、本質的な能力は同じである。またBourlard  and Wellekens（文献［22］参照）は、適切なリカレント結合を有するネットワークならば、ＨＭＭとして機能できることを明らかにした。
【００１７】
リカレント型（相互結合型）ニューラルネットワークは、ユニットを相互に結合し、内部で信号をフィードバックすることによって、動的なモデルを表現できることが知られている。しかし、混合ガウス分布を用いたパターン認識ができるニューラルネットワークに、リカレント構造を組み込む方式は知られておらず、組み込んだとしてもそれが一体として学習できる構造になるかどうかは明らかでなかった。
【００１８】
また、通時的誤差逆伝播学習(back propagation through time)において、学習の終了時刻を予測することは難しく、問題の難しさに依存して学習に必要な時間が大きく変化してしまう。特に生体信号のパターン認識問題のように実行前には必ず学習を行なわなければならないような場合には、学習の終了を待つユーザの負担が大きい。これはニューラルネットのエネルギー関数の収束時間が事前に分からないためである。
【００１９】
本発明は、以上の点に鑑み、簡素な構造で、時系列特性の学習が可能なニューラルネットワークを提供することを目的とする。また、本発明は、対数線形化された混合正規分布モデルに基づく５層を備え、リカレント構造を有し、動的なデータにも対応可能なニューラルネットワークシステムを提供することを目的とする。また、本発明は、学習前に終了時刻を明示することによって、学習収束を待つユーザ負担が軽減できるニューラルネットを提供することを目的とする。
【００２０】
【課題を解決するための手段】
本発明は、LLGMNの能力改善を目的とし、時間とともに変化する動的なデータにも適応可能な新しいリカレント型ニューラルネットR-LLGMNを提案した。このニューラルネットは、動的な確率モデルの1つである隠れマルコフモデルを内包しており、LLGMNでは不可能だった時系列特性の学習を行うことが可能であることを目的とする。また本発明は、遷移確率や出力確率密度関数などの統計パラメータをネットワークの重みとして表現しており、誤差逆伝播方式の学習則によりその重みを調節することを目的とする。提案手法の有効性・妥当性を検証するために、時間とともに激しく変動するＥＥＧ信号の識別実験を行い、十分な識別精度を実現した。さらに、本発明は、ターミナルラーニング方式を導入しているので、生体信号のパターン認識時の終了時刻を予め表示し、ユーザの精神的な負担を軽減することを目的とする。
【００２１】
本発明の第１の解決手段によると、
階層型ニューラルネットワークであって、少なくとも入力を非線形変換する前処理手段と、
混合ガウス分布モデルを構成する層と、
層間にフィードバックを有するリカレント構造をなす層と
を備えたニューラルネットワークが提供される。
【００２２】
本発明の第２の解決手段によると、
入力された入力ベクトルが入力され、入力ベクトルの各要素を組合わせて非線形変換して出力する前処理手段と、
前記前処理手段により非線形変換された値が入力され、入力を複数に分岐して出力する第１の層と、
前記第１の層の各ユニットの出力に、学習によって取得される重み係数を乗じた値が統合されたものが入力され、予め定められた関数で変換して出力する第２の層と、
前記第２層の各ユニットの状態ｋに対応する分布モデルのコンポーネントについての出力が統合されたものが入力され、同じ事象で第４の層の対応する状態の１時刻前の出力とを乗じて出力する第３の層と、
第３の層の各ユニットの状態についての出力が入力され、該入力を状態と事象・クラスについての出力が統合されたもので除算して出力する第４の層と、
第４の層の各ユニットの状態についての出力が統合されたものが入力され、入力を前記事象・クラスの分析結果として出力する第５の層と
を備えたニューラルネットワークシステムが提供される。
【００２３】
本発明の第３の解決手段によると、
処理部が、状態数ｋ（ｋ＝１，２，…，Ｋｃ）、コンポーネント数ｍ（ｍ＝１，２，…，Ｍｃ，ｋ）、事象・クラス数ｃ（ｃ＝１，２，…，Ｃ）、入力信号数ｄ、時系列信号長Ｌ、収束時間ｔｆ、学習データ数Ｎの設定を行う機能と、
処理部が、ターミナルラーニングに基づき学習率ηｔを計算する機能と、
処理部が、学習回数Ｔ及び学習データ数Ｎに基づき、上述のようなニューラルネットワークにより前向き演算を実行する前向き演算機能と、
処理部は、重みｗｃｋ’，ｋ，ｍ，ｈを含む学習結果を記憶部に記憶する機能と
を備えたニューラルネットワークシステムが提供される。
【００２４】
本発明の第４の解決手段によると、
入力された入力ベクトルが入力され、入力ベクトルの各要素を組合わせて非線形変換して出力する前処理機能と、
第１の層により、前記前処理手段により非線形変換された値が入力され、入力を複数に分岐して出力する機能と、
第２の層により、前記第１の層の各ユニットの出力に、学習によって取得される重み係数を乗じた値が統合されたものが入力され、予め定められた関数で変換して出力する機能と、
第３の層により、前記第２層の各ユニットの状態ｋに対応する分布モデルのコンポーネントについての出力が統合されたものが入力され、同じ事象で第４の層の対応する状態の１時刻前の出力とを乗じて出力する機能と、
第４の層により、第３の層の各ユニットの状態についての出力が入力され、該入力を状態と事象・クラスについての出力が統合されたもので除算して出力する機能と、
第５の層により、第４の層の各ユニットの状態についての出力が統合されたものが入力され、入力を前記事象・クラスの分析結果として出力する機能と
をコンピュータに実現させるためのニューラルネットワーク処理プログラムが提供される。
【００２５】
【発明の実施の形態】
１．混合ガウス分布を有するＨＭＭの対数線形化
本発明の実施の形態のネットワークは動的な確率モデルの１つである隠れマルコフモデル（文献［14］参照）をネットワーク構造として内包しており、通時的誤差逆伝搬アルゴリズム（文献［15］参照）により学習的に重みを調節することができる。
そこで以下に、上記の構成によるリカレント型混合ガウス分布モデルと対数線形モデルに基づいたネットワーク（R-LLGMN）がＨＭＭを構造として内包していることを明らかにする。
【００２６】
図１に、混合ガウス型の連続確率密度分布を持つＨＭＭを示す図である。
対象とする事象はＣ個で、それぞれの事象（ｃ∈｛１，…，Ｃ｝）はＫｃ個の状態から構成されている。このとき、与えられる時系列ｘ（ｔ）＝［ｘ（１），ｘ（２），…，ｘ（ｔ）］Ｔに対する事象ｃの事後確率Ｐ（ｃ｜ｘ（ｔ））は、次式のようになる。
【００２７】
【数１１】
0003816762.tif 000006
【００２８】
ただし、γcｋ’，ｋは事象ｃにおいて状態ｋ’から状態ｋに遷移する確率、ｂｃｋ（ｘ（ｔ））はｘ（ｔ）に対応した事象ｃの状態ｋからの事後確率を表している。また、事前確率πｃｋはＰ（ｃ，ｋ）｜ｔ＝０に等しい。ここで、事後確率ｂｃｋ（ｘ（ｔ））をコンポーネント数Ｍｃ，ｋから成る混合ガウス分布によって与えられるとすると（文献［８］［２３］参照）、（３７）式のγcｋ’，ｋｂcｋ（ｘ（ｔ））は、
【００２９】
【数１２】
0003816762.tif 000007
【００３０】
となる。ただし、γｃ，ｋ，ｍ，μ（ｃ，ｋ，ｍ）∈Ｒｄ，Σ（ｃ，ｋ，ｍ）  ∈  Ｒｄ×ｄはそれぞれ混合度、平均ベクトル、共分散行列である。平均ベクトルμ（ｃ，ｋ，ｍ）＝（μ（ｃ，ｋ，ｍ）１，…，μ（ｃ，ｋ，ｍ）ｄ）Ｔと共分散行列の逆行列
Σ（ｃ，ｋ，ｍ）−１＝［ｓ（ｃ，ｋ，ｍ）ｉｊ］
を用いると、（３９）式の右辺は、
【００３１】
【数１３】
0003816762.tif 000008
【００３２】
と展開できる。ただし、δｉｊはクロネッカーデルタで、ｉ＝ｊのとき１、ｉ≠ｊのとき０である。ここで、（４０）を対数線形化する（文献［８］参照）。
【００３３】
【数１４】
0003816762.tif 000009
【００３４】
ここで、（４２）式はR-LLGMNの非線形の前処理を表しており（（１）式参照）、ξｃｋ’，ｋ，ｍは係数ベクトルβｃｋ’，ｋ，ｍと変換された入力Ｘ∈ＲＨの積として表現することができる。以上より、βｃｋ’，ｋ，ｍを重み係数とみなすことで、ニューラルネットの構造として表現することが可能となった。
しかしながら、事後確率Ｐ（ｃ，ｋ｜ｘ（ｔ））の総和である次式は１であるため、事後確率のパラメータとしてξｃｋ’，  ｋ，ｍは冗長である。
【００３５】
【数１５】
0003816762.tif 000010
【００３６】
そこで、新しく変数Ｙｃｋ’，，ｋ，ｍ係数ベクトルＷｃｋ’，ｋ，ｍを導入すると、
【００３７】
【数１６】
0003816762.tif 000011
【００３８】
となる。ただし、定義よりＷｃＫｃ，ｋｃ，Ｍｃｋ＝０である。本発明ではこのベクトルＷｃｋ’，ｋ，ｍを無制約の重み係数とみなすことにする。このとき、（３７）式は、
【００３９】
【数１７】
0003816762.tif 000012
【００４０】
となる。
一方、（３８）式においてｔ＝１のとき、同様に混合ガウス分布モデルと対数線形モデルを導入すると、
【００４１】
【数１８】
0003816762.tif 000013
【００４２】
を得る。ここで本発明では、Ｗｃｋ’，ｋ，ｍ  （１）＝Ｗｃｋ’，ｋ，ｍと考える。なぜならＷｃｋ’，ｋ，ｍ  （１）とＷｃｋ’，ｋ，ｍの両方とも統計的拘束から解放された無制約の変数で、多数の未知統計パラメータを含んでいるからである。以上より、混合度  γｃ，ｋ，ｍ、平均ベクトル  μ（ｃ，ｋ，ｍ）、共分散行列  Σ（ｃ，ｋ，ｍ）、遷移行列γｃｋ’，ｋのような多くのパラメータをより少ない数のパラメータに置き換えることが可能になった。つまり、R-LLGMNは係数ベクトルＷｃｋ’，ｋ，ｍをニューラルネットの重み係数として扱い、誤差逆伝播方式の学習則によりこの重み係数を学習的に獲得することができるのである。
【００４３】
LLGMNにおいて、ターミナルラーニングは、学習時の評価関数Ｊを次の（１０１）式によって設定すれば、学習率ηに合わせて重み係数を変更することによって、評価関数が平衡点に収束できることが分かっている（文献［１６］参照）。R-LLGMNネットワークにおいて、同様に次の（１０１）式によって収束が可能なことが示されるので、指定した有限時間内で、評価関数を収束させることができる。これによって収束時間が多少長くなっても、終了を待つユーザ負担を減少させることができる。
ｄＪ／ｄｔ＝―ηＪβ                  （１０１）
【００４４】
２．リカレント構造の導入
図２に、本発明で提案するニューラルネットの構成図を示す。このネットワークは、第３層と第４層の間にフィードバックを有する５層構造のリカレント型ニューラルネットである。まず、入力ベクトルｘ（ｔ）  ∈  Ｒｄ（ｔ＝１，…，Ｔ）はLLGMNと同様の方法で変換し、Ｘ（ｔ）  ∈  ＲＨを第１層の入力とする。第１層の入出力関係は、
（１）Ｉｈ（ｔ）＝Ｘｈ（ｔ）          （８）
（１）Ｏｈ（ｔ）＝（１）Ｉｈ（ｔ）        （９）
となる。ここで、（１）Ｉｈ（ｔ）と（１）Ｏｈ（ｔ）はｈ番目のユニットの入出力を表す。
【００４５】
第２層のユニット｛ｃ，ｋ，ｋ’，ｍ｝（ｃ＝１，…，Ｃ；ｋ，ｋ’＝１，…，Ｋｃ；ｍ＝１，…，Ｍｃ，ｋ）は、第１層のユニットからの出力を重み係数ｗｃｋ’，ｋ，ｍ，ｈを介して受け取る。第２層のユニットへの入力を（２）  Ｉｃｋ’，ｋ，ｍ（ｔ）、出力を（２）  Ｏｃｋ’，ｋ，ｍ（ｔ）とすると、
【００４６】
【数１９】
0003816762.tif 000014
【００４７】
となる。ただし、Ｋｃは隠れマルコフモデルの状態数に対応するパラメータ、Ｍｃ，ｋはクラスｃ、状態ｋに対応する混合ガウス分布モデルのコンポーネント数を表す。（３．２）
第３層のユニット｛ｃ，ｋ，ｋ’｝への入力は、第２層のユニット｛ｃ，ｋ，ｋ’，ｍ｝（ｍ＝１，…，Ｍｃ，ｋ）の出力を統合したものである。また、その入力に１時刻前の第４層の出力を乗じた値が第３層の出力となる。入出力関係は、
【００４８】
【数２０】
0003816762.tif 000015
【００４９】
となる。ただし、初期状態は、例えば、（４）Ｏｃｋ，（０）＝１．０とする。
さらに第４層の入力  （４）Ｉｃｋ（ｔ）、と出力（４）Ｏｃｋ（ｔ）との関係は、
【００５０】
【数２１】
0003816762.tif 000016
【００５１】
で与えられる。
最後に、第５層のユニットｃは第４層のＫｃユニット｛ｃ，ｋ｝（ｋ＝１，…，Ｋｃ）の出力を統合したものである。入出力関係は、
【００５２】
【数２２】
0003816762.tif 000017
【００５３】
となる。
ここで、時系列信号の長さＴが１、状態数Ｋｃが１の場合の第５層のユニットについて考えよう。常にｔ＝１ならば、（１３）式におけるフィードバックが意味をなさなくなる。このとき、第２層から第５層までの関係（（１０）−（１７）式）はまとめて、
【００５４】
【数２３】
0003816762.tif 000018
【００５５】
と書くことができる。これはLLGMNにおける第２層と第３層の関係と同じである（（４）（５）式参照）。つまり、対象とする信号が時系列信号でない場合や、フィードバック統合が重要でない場合は、R-LLGMNはLLGMNに帰着するのである。
【００５６】
３．学習則
いま、時刻Ｔにおいて、ｎ番目の入力ベクトルｘ（ｔ）（ｎ）に対応する教師ベクトルＴ（ｎ）＝（Ｔ１（ｎ），…，Ｔｃ（ｎ），…，ＴＣ（ｎ））、  （ｎ＝１，…，Ｎ）が与えられた場合について考える。Ｔｃ（ｎ）は観測された事象がｃであるときは１、それ以外は０をとり、複数のクラスが同時に１になることはない。R-LLGMNは、Ｃ個のクラスそれぞれに用意されたＬ個の時系列信号（Ｎ＝Ｌ×Ｃ）を学習データとして学習を行う。学習用データに対するネットワークの評価関数Ｊは、
【００５７】
【数２４】
0003816762.tif 000019
【００５８】
と定義し、これを最小化、すなわち対数尤度を最大化するように学習を行う。ただし、（５）Ｏｃ（Ｔ）（ｎ）は入力ベクトルｘ（ｔ）（ｎ）に対する時刻Ｔでの出力を意味している。このとき、重みのｗｃｋ’，ｋ，ｍ，ｈの修正量△ｗｃｋ’，ｋ，ｍ，ｈを
【００５９】
【数２５】
0003816762.tif 000020
【００６０】
と定義する。ただし、η＞０は学習率である。また、R-LLGMNに含まれるリカレント結合の影響を考慮するため、通時的誤差逆転播方式（ＢＰＴＴ）を用いる（文献［１５］参照）。これは時系列中の誤差を蓄積して、重み修正量を計算するという方式である。ここで（２１）式の右の項                をｃｈａｉｎ  ｒｕｌｅを使って展開すると、（２２）式を得る。
【００６１】
【数２６】
0003816762.tif 000021
である。
【００６２】
また、Δｃ’ｋ”（ｔ）はＪｎの（４）Ｏｃ’ｋ”（Ｔ−ｔ）による偏微分である。（２４）式が成り立つので、上式は（２５）〜（２６）式となる。
【数２７】
0003816762.tif 000022
【００６３】
さらに本発明では、ターミナルラーニング（文献［１６］参照）（ＴＬ）の概念を学習則に取り入れ、ＴＬを用いることにより指定した有限時間内でニューラルネットの学習を平衡点に収束させる。ここで、重みｗｃｋ’，ｋ，ｍ，ｈを時間依存の連続変数として考えると、この時間微分は次式となる。
【００６４】
【数２８】
0003816762.tif 000023
【００６５】
ここで、ηｔは学習率でβ（０＜β＜１）は定数である。このとき、評価関数Ｊの時間微分は以下のように計算される。
【００６６】
【数２９】
0003816762.tif 000024
【００６７】
（２９）式から、評価関数Ｊは単調非増加関数となり学習が安定に収束することがわかる。この収束時間を計算する時、
【００６８】
【数３０】
0003816762.tif 000025
【００６９】
となる。ただし、Ｊ０は評価関数の初期値で、Ｊｆは平衡点におけるＪの収束値である。Ｊｆ＝０の場合、（３０）式の等号が成立し、学習率ηｔを用いて収束時間を指定できることがわかる。一方、Ｊｆ≠０の場合でも収束時間は常に（３０）式で与えられる上限値よりも早い時刻で平衡状態に到着することになる。
【００７０】
以上より、学習の終了時刻ｔｆから学習率ηtを計算し、このηtを（３０）式に代入して学習を行なえば、学習が完全に終了した場合は時刻ｔｆでＪ＝０となる。学習中には、ユーザには、残りの学習時間ｔｆ−ｔとＪの値を随時表示する。これにより学習終了を待つユーザの精神的負担をやわらげることができる。
【００７１】
４．ニューラルネットワークの処理
図３に、ニューラルネットワークを実現するためのハードウェアの構成図を示す。
この構成は、記憶部１、入力部２、出力部３、処理部４、インターフェースＩ／Ｆ５を備える。
記憶部１は、各種データを記憶する。記憶部１は、例えば、初期値を記憶する第１テーブル１１と、ニューラルネットワークの各層の構成を表す式に関するデータを記憶した第２テーブル、中間結果等を記憶する第３テーブル、重みなどの学習結果・最終結果を記憶する第４テーブルを有する。入力部２は、キーボード、ポインティングデバイス等の入力装置であり、初期値、評価関数、ニューラルネット等に関する各種データを入力及び設定する。出力部３は、ディスプレイ、媒体駆動装置、インターフェイス等の各種出力装置であり、初期値、中間結果、最終結果等の適宜のデータを出力する。処理部４は、記憶部１から初期値、中間結果、学習結果・最終結果等の各種データを読み取り、また、記憶部１に書きこむ。処理部４は、また、中間結果、学習結果・最終結果等についての各種計算処理、制御処理を実行する。さらに、処理部４は、中間結果、学習結果・最終結果等の各種データを出力部３に出力する。また、インターフェース（Ｉ／Ｆ）５は、例えば、後述するような節電信号や脳波信号等の各種信号の計測装置と情報の送受をするためのものである。
【００７２】
図４は、ニューラルネットワークの学習処理を示すフローチャートである。
まず、処理部４は、記憶部１に初期設定を行う（Ｓ１０１）。初期設定では、例えば、状態数Ｋｃ、コンポーネント数Ｍｃ，ｋ  、クラス数Ｃ、入力信号数ｄ、時系列信号長Ｌ、収束時間ｔｆ、学習データ数Ｎの設定を行う。つぎに、処理部４は、ターミナルラーニング（（２７）、（２８）式参照）に基づき学習率ηｔを計算する（Ｓ１０３）。処理部４は、記憶部１に記憶された学習回数Ｔを読み出し初期値として設定する（Ｓ１０５）。ここで、学習回数Ｔは、設定した収束時間ｔｆ（「３．学習則」参照）により決まる（Ｓ１０５）。処理部４は、さらに記憶部１に記憶された学習データ数Ｎを読み出し初期値として設定する（Ｓ１０７）。つぎに、処理部４は、R-LLGMNの前向き演算を実行する（Ｓ１０９）。
【００７３】
図５は、R-LLGMNの前向き演算処理を示すフローチャートである。
R-LLGMNの前向き演算処理では、まず、処理部４は、時系列信号長Ｌを記憶部１から読み出し、初期値として設定する（Ｓ２０１）。処理部４は、R-LLGMNの演算を、（８）〜（１９）式に基づいて実行する（Ｓ２０３）。処理部４は、時系列信号長Ｌを１減算して更新して記憶する（Ｓ２０５）。処理部４は、時系列信号長Ｌが０以下になるまでステップＳ２０３及びＳ２０５の処理を繰り返す。その後、処理部４は、（１９）式で求められた演算結果（５）Ｏ（ｔ）を記憶部１に記憶して、必要に応じて出力部３から出力する（Ｓ２０９）。
【００７４】
以上のようにステップＳ１０９の処理が実行された後、処理部４は、学習データ数Ｎを１減算して更新して記憶する（Ｓ１１１）。処理部４は、学習データ数Ｎが０以下になるまでステップＳ１０９及びＳ１１１の処理を繰り返す（Ｓ１１３）。その後、処理部４は、（２１）式に基づき重みｗｃｋ’，ｋ，ｍ，ｈを修正する（Ｓ１１５）。処理部４は、学習回数Ｔを１減算して更新して記憶する（Ｓ１１７）。処理部４は、学習回数Ｔが０以下になるまでステップＳ１０７からＳ１１７の処理を繰り返す。その後、処理部４は、重みｗｃｋ’，ｋ，ｍ，ｈを含む学習結果を記憶部１に記憶する（Ｓ１２１）。
【００７５】
つぎに、図６は、本発明によるニューラルネットワークを用いた生体信号識別処理を実行するための構成図である。
この構成は、特徴抽出部１１、識別部１２、バッファメモリ１４、R-LLGMN演算部１３を備える。特徴抽出部１１には、生体信号（脳波信号（ＥＥＧ）、筋電位信号（ＥＭＧ）など）が入力される。特徴抽出部１１は、入力された生体信号に従い識別用データを抽出する。例えば、生体信号として脳波信号が入力された場合、識別用データとして、特定の周波数帯域のパワースペクトルの平均値を要素とするベクトルを抽出する。また、生体信号として筋電位信号が入力された場合、識別用データとして、整流及び平滑後の振幅値を要素とするベクトルを抽出する。つぎに、識別部１２は、特徴抽出部１１により抽出された識別用データを記憶部に記憶する又はR-LLGMN演算部１３は出力する。R-LLGMN演算部１３は、上述のニューラルネットワークによる演算を行なうものであり、図３に示した構成に相当し、信号の送受はインタフェースＩ／Ｆ５を介して行うことができる。R-LLGMN１３は、記憶部から読み出した又は識別部１２から与えられた識別用データに基づき、R-LLGMN前向き演算を実行する（後述）。識別部１２は、R-LLGMN演算部１３の出力結果（５）Ｏｃ（ｔ）の中で最も高い値（又は、予め決められた閾値より高い値）を示したクラス番号ｃを識別結果として選択する。バッファメモリ１４は、識別部１２の識別結果を保持する。識別結果は、処理部によりバッファメモリ１４出力される。
【００７６】
図７に、本発明によるニューラルネットワークを用いた識別処理を示すフローチャートである。
R-LLGMN演算部１３は、記憶部から学習終了時に出力された重みｗｃｋ’，ｋ，ｍ，ｈを読み込む（Ｓ３０１）。R-LLGMN演算部１３は、記憶部又は識別部１２から識別用データを入力する（Ｓ３０３）。識別用データは、例えば、脳波信号（ＥＥＧ）又は筋電位信号（ＥＭＧ）から特徴を抽出したデータである。R-LLGMN演算部１３は、上述のようにR-LLGMNの前向き演算処理を実行する（Ｓ３０５）。R-LLGMN演算部１３は、前向き演算処理で算出された（５）Ｏｃ（ｔ）の中で最も高い値（又は、予め定められた閾値より高い値）を示すクラス番号ｃを識別結果として出力する（Ｓ３０７）。
【００７７】
５．ＥＥＧ信号識別実験
本発明で提案したニューラルネットの有効性を検証するために、時間とともに激しく変動する脳波（ＥＥＧ）信号を用いて識別実験をおこなった。
５．1  ＥＥＧ信号計測装置）
【００７８】
図８はＥＥＧ信号計測装置の全体図である。ＥＥＧ信号の計測には、簡易小型脳波計を使用した。計測したＥＥＧは無線でコンピュータに取り込まれる。測定されたＥＥＧ信号は、ハイパスおよびローパス（40［Hz］のアナログフィルタを通過後増幅され、A／D変換される。電極はヘツドバンドに固定されており、双極導出による脳波の差分をとることで大部分の測定ノイズを排除することができる。
ＥＥＧ信号の測定は以下の2種類の条件で行った。各々120秒間の学習データを計測し、Ｍ系列により作成したランダムな時間間隔にしたがって視覚刺激を変化させて420秒間の識別用脳波を計測した。
【００７９】
（1）開閉眼
被験者は通常の計算機室内の椅子に座り、安静にしておくこの状態で開閉眼時の時系列脳波パターンを計測する。
（２）開閉眼および閃光刺激
被験者は暗くした計算機室内の椅子に座り。安静にしておく。この被験者から約50［cm］離した位置に、光刺激（4［Hz］で点滅）を与えるフラッシュライト（光源：クセノン。エネルギー量：1.76［J］を設置する。この状態で開閉眼および閃光刺激時の時系列脳波パターンを計測する。
【００８０】
５−２．  時系列ＥＥＧ信号の特徴抽出
本発明で用いた脳波計は1対の電極しか備えていないために、脳波が発生している部位に関する空間的な情報は利用できない。そこで、一対の電極からより多くの情報を抽出するために、ＥＥＧ信号の周波数成分を利用する。
前処理として計測したＥＥＧ信号を128サンプル毎に高速フーリエ変換（FFT）し、周波数スペクトルを計算する。次に、スペクトル中の識別有効帯域（0〜35［Ｈz］に関して、臨床脳波学におけるδ、θ、α、βなどを基準に分割する。そして、それぞれの帯域毎にパワースペクトルの平均値を計算し、平均値の時系列データを作成した。このとき、帯域毎に時系列の範囲が0〜1になるように正規化した。なお、本実験に使用する周波数帯域は0〜8、9〜35［Hz］の2つの帯域とした。
【００８１】
５−３  開閉眼の識別
まず、図９は、披験者Aの開閉眼時の識別結果の一例を示す図である。この図は推定中の信号処理の様子を示しており、上から開眼・閉眼の状態を変化させたタイミング、2つの周波数帯域に対応したＥＥＧ信号、LLGMNの出力、LLGMNとニューラルフィルタを組み合わせた方式（LLGMN with NFと呼ぶ）（文献［8］、［24］参照）の出力、R-LLGMNの出力、識別結果を表している。R-LLGMNの設定は、状態数K1=K2=1、コンポーネント数Ｍ1,1＝Ｍ2,1＝１、学習データ長T=5,学習データ数Ｌ＝３である。
【００８２】
また、LLGMN with NFのLLGMN部はコンポーネント数が数Ｍ1,1＝Ｍ2,1＝３、学習データ数112（各56）。NF部はユニット数を８、それぞれのNＦの学習データ数168とし、考慮する遡り時間ステップは5とした。このNFは中間層にリカレント結合を有しており、非線形信号のフィルタリングを行うことができる。このときのR-LLGMNの識別率は9７.6％でかなり高い識別率を実現できている。またR-LLGMNはLLGMN with NFと比べて、出力波形の立ち上がりが多少遅れているものの、信号の安定性はかなり向上している。
【００８３】
図１０は、3人の被験者（A，B：男性，C：女性）に対して実験をおこなった結果を示す図である。ここでは比較のために、本発明で提案するR-LLGMN、LLGMN、LLGMN with NＦ、ＨＭＭ（注1）の4つの手法を用いた。各手法ともに、0〜lの様乱数を用いて10通りの異なる初期重みを作成して実験を行ったそれぞれの値は各手法の平均値と標準偏差である。ＨＭＭの設定は状態数K1=K2=1、学習データ長T=5、学習データ数４０とした。
【００８４】
5人のデータに共通して、LLGMNより他の3手法のほうが高い識別率を示している。これは、静的な統計モデルしか内包していないLLGMNが動的なＥＥＧ信号に対応しきれていないことを表している。それに対し、他の3手法は動的な統計モデルを内包しているためにＥＥＧ信号に適応し、高い識別率を実現している。しかしながら、LLGMN  with NＦはネットワークの規模が大きいためLLGMNとNＦを別々に学習しなければならず、学習が非常に困難である。［b］またＨＭＭは、学習は比較的に簡単だが、大量の学習デー夕が必要である。一方、R-LLGMNは少ない学習デー夕で動的・静的な特性を一度に学習できる。そのためLLGMN with NFとＨＭＭの両方の欠点を補っており、非常に有効な手法であることがわかる。
【００８５】
５−４  ３状態の光刺激の識別
次に、図１１は、被験者Aの開閉眼および閃光刺激時の識別結果の一例を示す図である。開閉眼のみの場合（図９）に比べてR-LLGMNの出力が乱れており、被験者の状態を識別することが非常に困難であることがわかる。これは、閃光刺激時の輝度変化以外の視覚刺激が少なく、ＥＥＧ信号に明確な変化が観測されなかったためである。このときの識別率は87．4％であった。
【００８６】
図１２は、5人の被験者に対する識別結果を示す図である。開閉眼時のＥＥＧパターン識別結果と比べると識別率が低下しているものの、平均するとR-LLGMNの識別率が一番高く、識別が可能であることがわかる。
次に、学習データ数を変化させて実験を行った時の結果を示す。この実験では比較のために、R-LLGMNとHMMを用いた。各設定は時系列の長さＴ＝５、コンポーネント数Mc,k=1、上対数Kc＝１で、学習データ数をＴ＝5,10,…,40に変化させた。なお、HMMの量子化レベル数はＱＬ＝４とした。
図１３及び図１４は、そのときの教師信号数に対する識別率の変化（HMM及びR-LLGMN）を示す図である。これは、１０通りの異なる初期重みで学習をおこない、未学習の２１０個の時系列データに少なくても、かなり高い識別率実現している。
以上の結果から、HMMの学習には大量のサンプルデータが必要であることがわかる。また、LLGMN  with  NFはネットワークの規模が大きいため、LLGMNとNFを別々に学習しなければならず、学習が非常に困難である[16]。一方、R-LLGMNは少ない学習データで動的・静的な特性を一度に学習することができる。そのためLLGMN  with  NFとHMMの両方の欠点を補うことができ、EGG識別に非常に有効な手法である。
【００８７】
最後に、状態数、コンポーネントの違いによる識別率の変化について調べた。学習データ数Ｌ＝３、時系列の長さをＴ＝５として、コンポーネント数をＭｃ，ｋ＝1,2,…,10,状態数をＫｃ＝1,2,…,10に変化させた（c＝１，2，3）。
【００８８】
図１５は、そのときの状態数とコンポーネント数に対する識別率の変化を示す図である（被験者Ｅ）。これは、10通りの異なる初期重みで学習をおこない、未学習の210個の時系列データについて識別率の平均と標準偏差を計算した結果である。図より、コンポーネント数と状態数を増やすことでR-LLGMNの表現力が増し。識別精度が向上していることがわかる。
【００８９】
６．ＥＭＧ駆動型ロボットシステムへの応用
本実施の形態では、ニューラルネットを利用したＥＭＧ信号のパターン識別を目的としている。ＥＭＧ情報には、振幅パターン、周波数パターン、またそれぞれに時系列特性がある。しかし従来の識別法のほとんどは、時系列特性を利用していない。また、既存のニューラルネットを利用しているためＥＭＧ信号の従う統計パターンも利用されていない。そこで、本報告ではネットワーク内にリカレント構造を導入し、ＥＭＧ信号の時間的な変化にも対応可能な新しいニューラルネットを紹介する。実験では、このニューラルネットの高い識別能力を証明する。
【００９０】
６−１  はじめに
近年、上肢切断者を支援するためのＥＭＧ制御型電動義手の開発が活発に行われている（文献1,2参照）。ＥＭＧ信号を義手のインタフェースとして利用する場合、筋の特性が切断者や計測位置によって異なるため、解析的に動作推定を行うのは難しい。そこで従来から、学習によって動作識別を行う方法が試みられてきた。例えば、FarryらはＥＭＧの周波数情報から、ロボットハンドを遠隔操作する手法を提案した（文献[25]参照）。また、Huang and Chen はＥＭＧの積分筋電等から、誤差逆伝播型ニューラルネット（以下、BPNNと略記）を用いて8動作の識別を行っている（文献[26]参照）。
著者らもこれまでに人間支援を目的としたＥＭＧ制御型マニピュレータシステムの構築を行ってきた。このシステムは、混合ガウス分布モデルと対数線形モデルに基づいたLog-Linearized Gaussian Mixture Network（以下、LLGMNと略記）（文献[27]参照）を用いてＥＭＧ信号の識別をおこない、その識別結果をロボットマニピュレータの制御手段として用いている（文献[28]参照）。
【００９１】
しかしながら、従来の方法はいずれも、入力信号の履歴を考慮しておらず、対象とする問題の静的な特性しか学習していない。そのため、対象が時間とともに変動するような動的な時系列信号を識別するには限界があった。
そこで本実施の形態では、パターン識別部にリカレント構造を有する新しいニューラルネットの導入を試みた。このニューラルネットは隠れマルコフモデルをネットワーク構造として内包しているため、動的な時系列信号を識別することが可能である。本実施の形態に使用した義手型ロボットシステムの概要を説明するとともに、切断者によるＥＭＧ識別実験の結果を示す。
【００９２】
６−２  ＥＭＧ制御型人間支援マニピュレータ
６−２．１  システム構成
図１６に、ＥＭＧ制御型人間支援マニピュレータシステムの構成図を示す（文献[28]参照）。本システムは、アーム制御部と義手制御部から構成される。アーム制御部には Move Master RM-501（（株）三菱電機製）、義手制御部には超音波モータ駆動型動力義手（文献[29]参照）を用いた。アーム制御部では磁気を利用した３次元位置センサを入力装置として用い、腕全体の大きな動きを実現する。一方、義手制御部では操作者のＥＭＧ信号から意図する前腕動作をニューラルネットにより識別し、手先の細かな動きを実現する。この際、人間の前腕部のインピーダンスモデルを義手制御に導入することで、人間のようなしなやかな動作を実現している（文献[30]参照）。
【００９３】
６−２．２  ニューラルネットによる動作識別
６−２．２．１  ＥＭＧ信号処理部
まず、操作者の腕に装着したL対の電極から測定したＥＭＧ信号を各チャンネルごとに全波整流した後、2次のディジタルバタワースフィルタ（カットオフ1[Hz]）に通す。そして平滑化した信号をサンプリング周波数100 [Hz]で採取する。そして、この信号の全チャンネルの和が1となるように正規化したものを、入力ベクトルｘ（ｔ）＝［ａ１（ｔ），ａ２（ｔ），・・，ａＬ（ｔ）］Ｔ∈ＲＬ（ｔ＝１，・・，Ｔ）とする。
【００９４】
６−３  実験
開発したニューラルネットの有効性を検証するために、ＥＭＧ信号を用いた動作識別実験を行った。ここでは比較のために、R-LLGMN，LLGMN（文献[27]参照），BPNNの３つの手法を用いた。被験者は男性（４２才）で約１年前に事故のため右手首から１５ｃｍ程の部位で前腕部を切断している。R-LLGMNの設定は、電極数Ｌ＝８、対象動作数Ｃ＝８（掌屈、背屈、回内、回外、握り、開き、手首共収縮、手先共収縮）、状態数Ｋ１＝Ｋ２＝１、コンポーネント数Ｍ１，１＝Ｍ２，１＝１、学習データ長Ｔ＝４、学習データ数Ｎ＝５とした。なお、ＢＰＮＮは試行錯誤的に、隠れ層２、ユニット数（入力層−８、第２層−１０、第３層−１０、出力層−８）とした。ＥＭＧ信号は各動作２．５秒間採取した。ただし、各動作間に１５秒間の休憩を取った。
【００９５】
図１７に、識別結果を示す図である。表中の値は各動作に対する識別率の平均値（Mean）と標準偏差（SD）である。表より、LLGMNよりR-LLGMNのほうが識別率が高く、過去の履歴情報を利用することにより識別精度が向上していることがわかる。また、LLGMNとR-LLGMNの両方がBPNNより標準偏差が小さく、安定して識別できていることが分かる。
【００９６】
６−４  まとめ
本実施の形態では、リカレント結合を有する新しいニューラルネット、R-LLGMNの能力を比較するとともに、ＥＭＧ制御型人間支援マニピュレータシステムへの導入を試みた。その結果、時系列信号の特性を有効に利用することが可能になり、識別精度が向上することを示した。今後は、連続動作間の曖昧になりやすい識別を改善するために、R-LLGMNに適した前処理法について考察する予定である。
【００９７】
７．参考文献
[1] D. E. Rumelhart and J. L. McClelland, "Learning Internal Representations by Error Propagation,"
Parallel Distributed Processing, Explorations in the Microstructure of Cognition, Vol. 1, D.E. Rumel-
hart, J.L. McClelland, and the PDP Research Group, Eds. MIT Press, 1986, pp. 318-362.
[2] T. Caelli, D.M. Squire, and T.P.J. Wild, " Model-based neural networks," Neural Networks, Vol. 6,No. 5, pp. 613-625, 1993.
[3]T. Tsuji and K. Ito "Preorganized Neural Networks: Error Back-Propagation Learning of Manipu-
lator Dynamics," Journal of Artificial Neural Networks, Vol. 2, No. 1-2, pp. 81-95, 1995.
[4] M.D. Richard and R.P. Lippmann, "Neural network classifiers estimate Bayesian a posteriori probabilities," Neural Computation, Vol. 3, pp. 461-483, 1991.
[5] H. G. C. Traven, "A neural network approach to statistical pattern classification by "semiparametric" estimation of probability density functions," IEEE
Trans. Neural Networks, Vol. 2, No. 3, pp. 366-377, 1991.
[6]L.I. Perlovsky and M.M. McManus, "Maximum likelihood neural networks for sensor fusion and adaptive classification," Neural Networks, Vol. 4, No. 1, pp. 89-102, 1991.
[7] 辻敏夫,森大一郎,伊藤宏司”統計構造を組み込んだニューラルネットによるＥＭＧ動作識別法,”電気学会論文誌Ｃ,Vol. 112-C, No. 8, pp. 465-473,1992.
[8] 辻敏夫,市延弘行,金子真,"混合正規分布モデルを用いたフィードフォワード型ニューラルネット”,電子情報通信学会論文誌D-II,  Vol. 77, No. 10, pp. 2093-2100,1994.
[9] M.I. Jordan and R.A. Jacobs "Hierarchical mixtures of experts and the EM algorithm," Proc. IEEE Int. Joint Conf. Neural Networks 1993, Vol. II, pp. 1339-1344.
[10]S. Lee and S. Shimoji, "Self-organization of Gaussian mixture model for learning class pdfs in pattern classification," Proc. IEEE Int. Joint Conf. Neural Networks 1993, Vol. III, pp. 2492-2495.
[11]R.L. Streit and T.E. Luginbuhl, "Maximum likelihood training of probabilistic neural networks,"
IEEE Trans. Neural Networks, Vol. 5, No. 5, pp. 764-783, 1994.
[12] B.S. Everitt and D.J. Hand, "Finite Mixture Distributions" , Chapman and Hall, 1981.
[13]O. Fukuda, T. Tsuji, A. Ohtsuka, and M. Kaneko, "ＥＭＧ-based human-robot interface for rehabilitation aid," Proc IEEE Int Conf on Robotics and Automation, pp. 3492-3497, Leuven, 1998.
[14] L.E. Baum and T. Petrie, "Statistical inference for probabilistic function of finite state Markov chains," Ann. Math. Stat., Vol. 37, No. 6, pp. 1554-1563, 1966.
[15] P.J. Werbos, "Back propagation through time: what it does and how to do it," Proceedings of the IEEE, Vol. 78, No. 10, pp. 1550-1560, 1990.
[16] T. Tsuji, O. Fukuda, M. Kaneko and K. Ito "Pattern Classification of Time-series ＥＭＧ Signals Using Neural Networks," International Journal of Adaptive Control and Signal Processing. (in press)
[17] L. R. Rablner, "A tutorial on hidden markov model and selected applications in speech recognition," Proceedings of the IEEE, Vol. 77, No. 2, pp. 257-286, 1989.
[18]A.P. Dempster, N. M. Larld and D.B. Rubin, "Maximum likelihood from incomplete data via the
EM algorithm," J. Roy. Stat. Soc. Sereies B, Methodological, Vol. 39, No. 1, pp. 1-38, 1977.
[19]L. E. Baum and G. R. Sell, "Growth functions for transformations on manifold," Ann. Math. Stat.,
Vol. 27, No. 2, pp. 211-2271 1968.
[20] B.H. Juang, S.E. Levinson, and M.M. Sondhi, "Maximum Likelihood estimation for multivariate
mixture observations of Markov chains," IEEETrans. Informat. Theory, Vol. IT-32, No. 2, pp. 307-309, 1986.
[2l] J.S. Bridle, "Alpha-nets : A recurrent 'neural' network architecture with a hidden Markov model interpretation," Speech Communication, Vol. 9, No .1, pp. 83-92, 1990.
[22] H Bourlard and C. J. Wellekens, "Links between Markov models and multilayer perceptrons," in Advances in Neural Information Processing Systems I, D.S. Touretzky, Eds. Morgan Kaufmann, Los Altos, CA, 1989, pp. 502-510.
[23] D.M. Titterington, A.F.M. Simth and U.E. Markov, Statistical analysis of finite mixture distributions, John Wiley & Sons, New York, 1985.
[24] 福田修,辻敏夫,金子真,"ニューラルネットによる時系列脳波パターンの識別,”電子情報通信学会論文誌,Ｄ−ＩＩ，Ｖol．Ｊ88，Ｎｏ.7，pp.  1896-1903,  1997.
[25] K. A. Farry, I. D. Walker and R. G. Baraniuk,  ''Myoelectric Teleoperation of a Complex Robotic Hand'', IEEE Transactions on Robotics and Automation, Vol. 12, No. 5, pp. 775-787, 1996.
[26] H.-P. Huang and C.-Y. Chen,
''Development of a Myoelectric Discrimination System for a Multi-Degree Prosthetic Hand'',
Proceedings of the 1999 IEEE International Conference on Robotics and Automation, Vol. 3, pp. 2392-2397, 1999. [27] 辻敏夫、市延弘行、金子真、
''混合正規分布モデルを用いたフィードフォワード型ニューラルネット''、電子情報通信学会論文誌、D-II，Vol. 77，No. 10，pp. 2093-2100，1994．
[28] 福田修、辻敏夫、金子真、
''ＥＭＧ信号を利用した手動制御人間支援マニピュレータ''、
日本ロボット学会誌、Vol. 18，No. 3，pp. 387-394，2000．
[29] 伊藤（宏）、永岡、辻、加藤、伊藤（正）、
''超音波モータを用いた3自由度前腕筋電義手''、
計測自動制御学会論文集、Vol. 27，No. 11，pp. 1281-1289，1991．
[30] 辻敏夫、重吉宏樹、福田修、金子真、
''ＥＭＧ信号に基づく前腕動力義手のバイオミメティック制御''、
日本機械学会論文集（C編）、Vol. 66，No. 648，pp. 2764-2771，2000．
【００９８】
なお、本発明のニューラルネットワーク又はそのシステムは、ニューラルネットワークによる演算方法、その各手順をコンピュータに実行させるためのニューラルネットワーク処理プログラム、ニューラルネットワーク処理プログラムを記録したコンピュータ読み取り可能な記録媒体、ニューラルネットワーク処理プログラムを含みコンピュータの内部メモリにロード可能なプログラム製品、そのプログラムを含むサーバ等のコンピュータ、等により提供されることができる。
【００９９】
【発明の効果】
本発明では、LLGMNの能力改善を実施することができ、時間とともに変化する動的なデータにも適応可能な新しいリカレント型ニューラルネットR-LLGMNを提案した。このニューラルネットは、動的な確率モデルの1つである隠れマルコフモデルを内包しており、LLGMNでは不可能だった時系列特性の学習を行うことが可能である。また遷移確率や出力確率密度関数などの統計パラメータをネットワークの重みとして表現しており、誤差逆伝播方式の学習則によりその重みを調節することができる。提案手法の有効性・妥当性を検証するために、時間とともに激しく変動するＥＥＧ信号の識別実験を行い、十分な識別精度を実現した。さらに、ターミナルラーニング方式を導入しているので、生体信号のパターン認識時の終了時刻を予め表示することができ、ユーザの精神的な負担を軽減できる。
【図面の簡単な説明】
【図１】混合ガウス型の連続確率密度分布を持つＨＭＭを示す図。
【図２】本発明で提案するニューラルネットの構成図。
【図３】ニューラルネットワークを実現するためのハードウェアの構成図。
【図４】ニューラルネットワークの学習処理を示すフローチャート。
【図５】  R-LLGMNの前向き演算処理を示すフローチャート。
【図６】本発明によるニューラルネットワークを用いた生体信号識別処理を実行するための構成図。
【図７】本発明によるニューラルネットワークを用いた識別処理を示すフローチャート。
【図８】ＥＥＧ信号計測装置の全体図。
【図９】披験者Aの開閉眼時の識別結果の一例を示す図。
【図１０】  3人の被験者（A、B：男性、C：女性）に対して実験をおこなった結果を示す図。
【図１１】被験者Aの開閉眼および閃光刺激時の識別結果の一例を示す図。
【図１２】  5人の被験者に対する識別結果を示す図。
【図１３】教師信号数に対する識別率の変化（HMM）を示す図。
【図１４】教師信号数に対する識別率の変化（R-LLGMN）を示す図。
【図１５】状態数とコンポーネント数に対する識別率の変化を示す図。
【図１６】ＥＭＧ制御型人間支援マニピュレータシステムの構成図。
【図１７】識別結果を示す図。
【図１８】  LLGMNの構成図。
【符号の説明】
１        記憶部
２        入力部
３        出力部
４        処理部
５        Ｉ／Ｆ
１１  特徴抽出部
１２  識別部
１３  バッファメモリ
１４  R-LLGMN演算部
【図１】
0003816762.tif 000032
【図２】
0003816762.tif 000033
【図３】
0003816762.tif 000034
【図４】
0003816762.tif 000035
【図５】
0003816762.tif 000036
【図６】
0003816762.tif 000037
【図７】
0003816762.tif 000038
【図８】
0003816762.tif 000039
【図９】
0003816762.tif 000040
【図１０】
0003816762.tif 000041
【図１１】
0003816762.tif 000042
【図１２】
0003816762.tif 000043
【図１３】
0003816762.tif 000044
【図１４】
0003816762.tif 000045
【図１５】
0003816762.tif 000046
【図１６】
0003816762.tif 000047
【図１７】
0003816762.tif 000048
【図１８】
0003816762.tif 000049