(57)【要約】【課題】本発明は、重度の障害者等が使用することができる筋電位信号、脳波、呼気、眼の動き、手足の動き等の生体信号を利用して制御が可能な作業支援マニピュレータシステムに関するものである。【解決手段】生体信号を利用した作業支援マニピュレータシステムは、生体信号入力部と、特徴パターン抽出処理部と、パターン識別部と、識別判定部と、作業選択部と、作業動作データべース部と、作業支援マニピュレータと、フィードバック部と、パラメータ記憶部とから構成されている。前記作業支援マニピュレータシステムは、前記生体から発生した電気信号の特徴パターンを抽出し、前記特徴パターンに基づいて使用者の意図する操作を識別した後、前記特徴パターンに基づく作業を選択する。前記選択された作業は、予め蓄積されている作業データべースに基づいて作業支援マニピュレータの軌道が制御されることによって行われる。【選択図】    図２
2004180817.tif 000002
【特許請求の範囲】
【請求項１】
生体から発生した生体信号を受信する生体信号入力部と、
前記生体信号入力部における生体信号の特徴パターンを抽出する特徴パターン抽出処理部と、
前記特徴パターン抽出処理部から抽出された特徴パターンに基づいて使用者の意図する操作を識別するパターン識別部と、
前記パターン識別部の識別結果を判定する識別判定部と、
前記識別判定部の判定結果に基づいて作業を選択する作業選択部と、
前記作業選択部で選択された作業に応じたマニピュレータの制御動作が保存されている作業動作データべース部と、
前記作業動作データべース部に保存されているデータべースのデータに基づいて作業を行う作業支援マニピュレータと、
前記作業支援マニピュレータの動作状態をディスプレイを介して使用者に提示するフィードバック部と、
前記各部に使用するパラメータの保存・読出が可能なパラメータ記憶部と、
から構成されていることを特徴とする生体信号を利用した作業支援マニピュレータシステム。
【請求項２】
前記生体信号は、筋電位、脳波、呼気、眼の動き、手足の動き等の内の一つまたは複数の組み合わせから構成されていることを特徴とする請求項１に記載された生体信号を利用した作業支援マニピュレータシステム。
【請求項３】
前記特徴パターン抽出処理部は、計測された生体信号を情報処理することによって特徴量を抽出することを特徴とする請求項１または請求項２に記載された生体信号を利用した作業支援マニピュレータシステム。
【請求項４】
前記パターン識別部は、学習機能を備えていることを特徴とする請求項１ないし請求項３のいずれか１項に記載された生体信号を利用した作業支援マニピュレータシステム。
【請求項５】
前記識別判定部は、識別保留判定閾値が設けられていることを特徴とする請求項１ないし請求項４のいずれか１項に記載された生体信号を利用した作業支援マニピュレータシステム。
【請求項６】
前記作業選択部は、前記識別判定部の識別判定結果に基づいて作業メニューの切り替え・実行を選択することが可能な構成を有し、前記作業メニューは、対象とする動作の階層構造の形式で整理されていることを特徴とする請求項１ないし請求項５のいずれか１項に記載された生体信号を利用した作業支援マニピュレータシステム。
【請求項７】
前記作業動作データべース部は、作業支援マニピュレータの動作を保存・再生することができる構成とすることを特徴とする請求項１ないし請求項６のいずれか１項に記載された生体信号を利用した作業支援マニピュレータシステム。
【請求項８】
前記作業支援マニピュレータのエンドエフェクタは、上腕切断者の断端部に着脱可能になっていることを特徴とする請求項１ないし請求項７のいずれか１項に記載された生体信号を利用した作業支援マニピュレータシステム。
【請求項９】
前記フィードバック部では、計測した生体信号、特徴パターン、情報処理された後のパターン、識別判定結果がグラフィカルに表示する表示制御手段を備えていることを特徴とする請求項１ないし請求項８のいずれか１項に記載された生体信号を利用した作業支援マニピュレータシステム。
【請求項１０】
前記パラメータ記憶部には、生体信号入力部において選択した信号の種類、特徴パターン抽出におけるフィルタのカットオフ、信号のピーク値などのパラメータ、パターン識別部におけるニューラルネットワークのパラメータ、識別判定部における動作判定閾値、識別保留判定閾値等のパラメータ、作業選択部における階層型メニューの構成が使用者毎に保存・読出可能なデータとして記憶されていることを特徴とする請求項１ないし請求項９のいずれか１項に記載された生体信号を利用した作業支援マニピュレータシステム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、重度の障害者等が使用することができる筋電位、脳波、呼気、眼の動き、手足の動き（加速度）等の生体信号を利用して制御が可能な作業支援マニピュレータシステムに関するものである。
【０００２】
人口に対する介護を必要とする高齢者の占める割合は、近年、増加の一途をたどっている。また、乳幼児期以前の障害、労働災害、交通事故、スポーツ事故、および疾患等により、介護を必要としている肢体不自由者は、その数が年々増加する傾向にある。したがって、介護ロボット開発の重要性が従来から指摘されており、中でも食事支援ロボットは、介護者の面から見ても、被介護者の面から見ても、その開発が期待されている。
【０００３】
たとえば、施設や病院等において、介護者は、食事時に多数の者を同時に介助しなければならないという問題がある。また、家庭内においても、介護者は、食事のことを考えると、長時間の外出ができないという問題がある。一方、被介護者にとって、食事は、楽しみの一つであり、人に対して気遣うことなく、自分のぺースで自分の思うように食べたいという願いがある。
【０００４】
食事ロボットは、現在までに多くの研究、開発がなされてきたが、そのほとんどが研究の段階であり、実用化されているものが少ない。現在、研究中の食事ロボットは、操作方法として用いられているレーザポインタや音声認識等の操作性に問題があり、まだ普及に至っていないというのが現状である。
【０００５】
本出願人は、ニューラルネットワークと作業モデルを組み合わせた制御方式を提案しているが、操作入力源として３次元位置センサを利用していることから、操作者にかかる負担が大きく、また、その操作性にも問題があった。
【０００６】
【従来の技術】
従来の障害者用の操作器は、たとえば、特開平９−２２４９６５号公報に記載されているように、操作者が操作する指向性のある光を発する操作器と、前記操作器から投光される光を受光し、操作者の意志を制御部に伝達する操作パネルと、前記操作パネルから入力される信号に基づいてアームを制御する制御部と、前記制御部により駆動されるアームとから構成されている。
【０００７】
前記操作者は、頬骨部分を前記操作器に押し当て、頭を動かすことにより、前記光を操作パネルの所望の位置に移動させる。前記操作パネルにおける受光部は、前記操作者の意志を制御部に伝達する。前記制御部は、前記操作者の意志にしたがってアームを駆動させる。
【０００８】
前記公報に記載された発明は、障害者に対する食事を支援するロボットとして使用できる。しかし、前記発明は、操作者が指向性のある光を発する操作器を頬や頭で操作する必要があり、障害の度合いによって、使用し難い場合があった。また、前記公報に記載された発明は、食事を支援することに限られており、その他の作業を実施することが考慮されていない。前記発明の作業は、作業パネルによって決まるものであり、操作者が自ら作業を設定することができなかった。
【０００９】
さらに、前記発明において、指向性のある光を発する操作器は、操作者の個人差に対して適応する機能を備えていないため、使用者の操作能力が低い場合、使用が困難であった。
【００１０】
【発明が解決しょうとする課題】
本発明は、以上のような課題を解決するためのものであり、筋電位、脳波、呼気、眼の動き、手足の動き（加速度）等を利用して重度の障害者であっても、容易に操作することができる生体信号を利用した作業支援マニピュレータシステムを提供することを目的とする。また、本発明は、重度の障害者であっても、あらゆる作業を使用者自らが学習することができる生体信号を利用した作業支援マニピュレータシステムを提供することを目的とする。
【００１１】
【課題を解決するための手段】
（第１発明）
第１発明の生体信号を利用した作業支援マニピュレータシステムは、生体から発生した生体信号を受信する生体信号入力部と、前記生体信号入力部における生体信号の特徴パターンを抽出する特徴パターン抽出処理部と、前記特徴パターン抽出処理部から抽出された特徴パターンに基づいて使用者の意図する操作を識別するパターン識別部と、前記パターン識別部の識別結果を判定する識別判定部と、前記識別判定部の判定結果に基づいて作業を選択する作業選択部と、前記作業選択部で選択された作業に応じたマニピュレータの制御動作が保存されている作業動作データべース部と、前記作業動作データべース部に保存されているデータべースのデータに基づいて作業を行う作業支援マニピュレータと、前記作業支援マニピュレータの動作状態をディスプレイを介して使用者に提示するフィードバック部と、前記各部に使用するパラメータの保存・読出が可能なパラメータ記憶部と、から構成されていることを特徴とする。
【００１２】
（第２発明）
第２発明の生体信号を利用した作業支援マニピュレータシステムにおいて、前記生体信号は、筋電位、脳波、呼気、眼の動き、手足の動き等の内の一つまたは複数の組み合わせから構成されていることを特徴とする。
【００１３】
（第３発明）
第３発明の生体信号を利用した作業支援マニピュレータシステムにおいて、特徴パターン抽出処理部は、計測された生体信号を情報処理することによって特徴量を抽出することを特徴とする。
【００１４】
（第４発明）
第４発明の生体信号を利用した作業支援マニピュレータシステムにおいて、パターン識別部は、学習機能を備えていることを特徴とする。
【００１５】
（第５発明）
第５発明の生体信号を利用した作業支援マニピュレータシステムにおいて、識別判定部は、識別保留判定閾値が設けられていることを特徴とする。
【００１６】
（第６発明）
第６発明の生体信号を利用した作業支援マニピュレータシステムにおいて、作業選択部は、前記識別判定部の識別判定結果に基づいて作業メニューの切り替え・実行を選択することが可能な構成を有し、前記作業メニューは、対象とする動作の階層構造の形式で整理されていることを特徴とする。
【００１７】
（第７発明）
第７発明の生体信号を利用した作業支援マニピュレータシステムにおいて、作業動作データべース部は、作業支援マニピュレータの動作を保存・再生することができる構成とすることを特徴とする。
【００１８】
（第８発明）
第８発明の生体信号を利用した作業支援マニピュレータシステムにおいて、作業支援マニピュレータのエンドエフェクタは、上腕切断者の断端部に着脱可能になっていることを特徴とする。
【００１９】
（第９発明）
第９発明の生体信号を利用した作業支援マニピュレータシステムにおいて、フィードバック部では、計測した生体信号、特徴パターン、情報処理された後のパターン、識別判定結果がグラフィカルに表示する表示制御手段を備えていることを特徴とする。
【００２０】
（第１０発明）
第１０発明の生体信号を利用した作業支援マニピュレータシステムにおいて、パラメータ記憶部には、生体信号入力部において選択した信号の種類、特徴パターン抽出におけるフィルタのカットオフ、信号のピーク値などのパラメータ、パターン識別部におけるニューラルネットワークのパラメータ、識別判定部における動作判定閾値、識別保留判定閾値等のパラメータ、作業選択部における階層型メニューの構成が使用者毎に保存・読出可能なデータとして記憶されていることを特徴とする。
【００２１】
【発明の実施形態】
（第１発明）
第１発明の生体信号を利用した作業支援マニピュレータシステムは、生体信号入力部と、特徴パターン抽出処理部と、パターン識別部と、識別判定部と、作業選択部と、作業動作データべース部と、作業支援マニピュレータと、フィードバック部と、パラメータ記憶部とから構成されている。前記作業支援マニピュレータシステムは、前記生体から発生した生体信号の特徴によって、特徴パターンを抽出し、前記特徴パターンに基づいて使用者の意図する操作を識別した後、前記特徴パターンに基づく作業を選択する。
【００２２】
前記選択された作業は、予め蓄積されている作業データべースに基づいて作業支援マニピュレータの軌道が制御されることで行われる。前記作業支援マニピュレータの動作状態は、ディスプレイを介して使用者が見ることができるようにフィードバックされ、前記各部に使用するパラメータとして、保存・読出ができるようにパラメータ記憶部に保存される。
【００２３】
（第２発明）
第２発明の生体信号を利用した作業支援マニピュレータシステムにおいて、生体信号は、筋電位、脳波、呼気、眼の動き、手足の動き等の内の一つまたは複数の組み合わせから構成されているため、重度障害者の場合、その人が一番使用し易い生体信号の一つのみによって前記作業支援マニピュレータを所望のように制御することができる。また、比較的障害程度が低い者の場合は、複数の生体信号を組み合わせて使用することによって、迅速でしかも正確な作業を前記作業支援マニピュレータに行わせることができる。
【００２４】
（第３発明）
第３発明の生体信号を利用した作業支援マニピュレータシステムにおいて、特徴パターン抽出処理部は、計測された生体信号をフィルタ等によって、平滑、整流、ピーク抽出、あるいは周波数解析等の情報処理を行うことによって特徴量を抽出する。
【００２５】
（第４発明）
第４発明の生体信号を利用した作業支援マニピュレータシステムにおいて、パターン識別部は、簡単な構造で、時系列特性のパターン識別に対する学習が短時間で可能な動的確率モデル内包型ニューラルネットワーク（本出願人が平成１３年６月５日に出願した特願２００１−１６９４６４）を使用することで、前記作業支援マニピュレータの作業が迅速かつ正確な識別精度を得ることができる。なお、本明細書において、時系列特性のパターン識別に対する学習が短時間で可能な動的確率モデル内包型ニューラルネットワークを単に動的確率モデル内包型ニューラルネットワークと記載する。
【００２６】
前記動的確率モデル内包型ニューラルネットワークは、入力ベクトルが入力され、入力ベクトルの各要素を組み合わせて非線形変換して出力する前処理手段と、前記前処理手段により非線形変換された値が入力され、入力を複数に分岐して出力する第１の層と、前記第１の層の各ユニットの出力に、学習によって取得される重み係数を乗じた値が統合されたものが入力され、予め定められた関数で変換して出力する第２の層と、前記第２の層の各ユニットの状態ｋに対応する分布モデルのコンポーネントについて出力が統合されたものが入力され、同じ事象で第４の層の対応する状態の１時刻前の出力を乗じて出力する第３の層と、第３の層の各ユニットの状態についての出力が入力され、該入力を状態と事象・クラスについての出力が統合されたもので除算して出力する第４の層と、第４の層の各ユニットの状態についての出力が統合されたものが入力され、入力を前記事象・クラスの分析結果として出力する第５の層と、を備えている。
【００２７】
前記動的確率モデル内包型ニューラルネットワークは、１時刻前の出力を乗じて出力するため、微細な動き等の特徴を抽出する必要がある本発明のような作業支援マニピュレータシステムに適している。
【００２８】
（第５発明）
第５発明の生体信号を利用した作業支援マニピュレータシステムにおいて、識別判定部は、識別保留判定閾値（たとえば、前記動的確率モデル内包型ニューラルネットワークの出力のエントロピー）が設けられている。すなわち、前記閾値より大きい値の場合、識別が曖昧になり、小さい値の場合、明確になる。
【００２９】
（第６発明）
第６発明の生体信号を利用した作業支援マニピュレータシステムにおいて、作業選択部は、前記識別判定部の識別判定結果に基づいて作業メニューの切り替え・実行を選択することが可能な構成を有する。前記作業メニューは、対象とする動作の階層構造の形式で整理されている。障害者は、障害の程度によって、生体信号の数に限りがあるため、階層構造の作業メニューによって、各種の作業が可能になる。たとえば、利用可能な生体信号が一つであっても、障害者は、その一つの生体信号を「実行」とすることで、前記階層構造からなる作業メニューを基にして、多種類の作業を容易に選択できる。
【００３０】
（第７発明）
第７発明の生体信号を利用した作業支援マニピュレータシステムにおいて、作業動作データべース部には、予め健常者の操作パターンが入力されているが、作業支援マニピュレータの動作を使用者に合わせたデータとして保存・再生することができる。
【００３１】
（第８発明）
第８発明の生体信号を利用した作業支援マニピュレータシステムにおいて、作業支援マニピュレータのエンドエフェクタは、上腕切断者の断端部に着脱可能になっている。作業支援マニピュレータの制御装置は、小型になり、携帯が可能になってきた。そこで、前記作業支援マニピュレータのエンドエフェクタは、上腕切断者の断端部に発生する生体信号と前記携帯型制御装置によって、所望の動きを行えるようになる。
【００３２】
（第９発明）
第９発明の生体信号を利用した作業支援マニピュレータシステムにおいて、フィードバック部は、モニターであり、計測した生体信号、特徴パターン、情報処理された後のパターン、識別判定結果がグラフィカルに表示される。障害者は、前記フィードバックされた生体信号、特徴パターン等を前記モニターで見ることにより、自分自身を学習させることができる。また、前記フィードバック部のモニターには、階層構造のメニューが表示されるため、作業を迅速かつ容易にこなすことができる。
【００３３】
（第１０発明）
第１０発明の生体信号を利用した作業支援マニピュレータシステムにおいて、パラメータ記憶部には、生体信号入力部において選択した信号の種類、特徴パターン抽出におけるフィルタのカットオフ、信号のピーク値などのパラメータ、パターン識別部における動的確率モデル内包型ニューラルネットワークのパラメータ、識別判定部における動作判定閾値、識別保留判定閾値等のパラメータ、作業選択部における階層型メニューの構成が使用者毎に保存・読出可能なデータとして記憶されている。前記各パラメータは、不都合があった場合、任意に設定を変えることができるようになっている。
【００３４】
【実施例】
図１は本発明の一実施例である筋電位制御型作業支援システムを説明するためのブロック概念図である。図１において、前記筋電位制御型作業支援システムは、生体信号発生部１１と、生体信号入力部１２と、軌道生成部１５と、上腕制御部１６１と、前腕制御部１６２と、作業支援マニピュレータ１６とから構成されている。
【００３５】
前記生体信号発生部１１は、たとえば、人体の前腕部、上腕二頭筋、上腕三頭筋、尺側手根伸筋、撓側手根屈筋、腕撓骨筋等に電極を付けることによって、筋電位信号（ＥＭＧ信号）等が発生する。また、本発明における筋電位信号とは、前記筋電位信号以外、たとえば、脳波、呼気、眼の動き、あるいは手足の動き等を電極から取り出した生体信号も含む。
【００３６】
前記人体の一部から発生した筋電位信号は、少なくとも一つ、あるいは複数の組み合わせからなり、作業支援マニピュレータ１６の軌道を制御するためのデータを生成する軌道生成部１５の基になる。また、作業支援マニピュレータシステムは、上腕制御部１６１に、たとえば、Ｍｏｖｅ  Ｍａｓｔｅｒ  ＲＭ−５０１（株式会社三菱電機製）を、前腕制御部１６２に超音波モータ駆動型動力義手を用いている。
【００３７】
前記上腕制御部１６１では、前記軌道生成部１５から与えられた目標軌道にしたがって各関節角度を計算した後、たとえば、ＰＩＤ（Ｐｒｏｐｏｒｔｉｏｎａｌ  Ｉｎｔｅｇｒａｌ  Ｄｅｒｉｖａｔｉｖｅ  ｃｏｎｔｒｏｌ）制御を行っている。前記前腕制御部１６２では、同じく軌道生成部１５から与えられた筋電位信号にかかる情報、駆動関節に基づいて、手先の細かな動きを実現する。前記前腕部の制御には、人間の腕のようなしなやかな特性が実現可能なインピーダンス制御を採用している。
【００３８】
図２は本発明の一実施例である筋電位制御型作業支援マニピュレータを説明するためのブロック概念図である。図２において、筋電位制御型作業支援マニピュレータは、生体信号発生部１１と、生体信号入力部１２と、特徴抽出処理部１３と、作業判定部１４と、軌道生成部１５と、作業支援マニピュレータ１６と、フィードバック部１７と、パラメータ保存部１８と、パラメータ設定部１９とから構成されている。
【００３９】
前記生体信号発生部１１から発生した筋電位信号を生体信号入力部１２において、筋収縮に伴う筋電パターンは、後述するように、スイッチとして用いて作業支援マニピュレータ１６の軌道制御を行う。前記生体信号入力部１２は、操作者に応じた計測が容易な筋を選択することができるので、誰に対しても簡単に作業支援マニピュレータ１６の軌道制御を行わせることができる。
【００４０】
たとえば、操作者は、筋電位信号計測用電極を身体（筋電位、脳波、呼気、眼の動き、手足の動き等）の一部または複数部に装着し、前記電極から測定された筋電位信号に前処理を施して特徴抽出を行う。本発明は、前記抽出された筋電位信号のパターン情報から本出願人が発明した動的確率モデル内包型ニューラルネットワークを用いてスイッチ番号（動作）の識別を行い、さらに、前記スイッチ番号（動作）から実行する作業を決定する。
【００４１】
前記特徴抽出処理部１３は、前記筋電位パターンからなる生体信号を前処理するデータ処理部１３１と、前記データ処理部１３１で処理された特徴量を抽出する特徴量抽出部１３２とから構成される。前記データ処理部１３１は、操作者に装着された電極から測定された筋電位信号を各チャンネル毎に全波整流、平滑化した信号をサンプリング周波数１００Ｈｚで採取する。
【００４２】
次に、特徴量抽出部１３２は、前記データ処理部１３１において処理した信号の全チャンネルの和が１となるように正規化したものを特徴パターンベクトルとして抽出する。
【００４３】
前記作業判定部１４は、パターン識別部１４１と、識別判定部１４２と、作業選択部１４３とから構成される。前記パターン識別部１４１は、本出願人が平成１３年６月５日に出願した特願２００１−１６９４６４に記載されているように、簡単な構造で、時系列特性のパターン識別に対する学習が可能な動的確率モデル内包型ニューラルネットワークを使用することで、操作者の所望する前記作業支援マニピュレータ１６の作業が何であるかを迅速かつ正確に識別精度することができる。
【００４４】
前記動的確率モデル内包型ニューラルネットワークは、混合正規分布モデルを対数線形化してネットワークを展開したもので、サンプルデータが従う統計分布をこのモデルにより学習的に推定し、入力パターンに対する各動作の事後確率を出力することができる。そして、前記識別判定部１４２は、前記動的確率モデル内包型ニューラルネットワークにおいて、事後確率が一番高いスイッチ番号を識別する。
【００４５】
前記識別判定部１４２は、識別保留判定閾値（たとえば、動的確率モデル内包型ニューラルネットワークの出力のエントロピー）が設けられている。すなわち、前記閾値より大きい値の場合、識別が曖昧になり、小さい値の場合、明確になる。前記動的確率モデル内包型ニューラルネットワークにおいて、前記識別保留判定閾値より小さい値となった場合、当該スイッチ番号を識別する。
【００４６】
前記動的確率モデル内包型ニューラルネットワークは、筋電位信号を時系列信号のパターン識別するために特化した構造であり、学習時間をたとえば数セカンド程度に設定することで、簡単な動作を短い時間で識別できる。すなわち、前記動的確率モデル内包型ニューラルネットワークは、特定の作業（スイッチ番号）に的を絞ることができるため、前記特定作業の学習効果が短時間で発揮し易く、本発明のような生体信号を利用した作業支援マニピュレータシステムに適している。
【００４７】
前記作業選択部１４３は、前記識別判定部１４２において判別されたパターンで、スイッチ番号（作業）から実行する作業を選択するものである。対象とする全ての作業は、後述するように、階層構造からなるメニューという形で用意されている。前記識別判定部１４２において、識別されたスイッチ番号に対応したコマンドは、階層構造からなるメニューの中から選択され実行に移される。
【００４８】
前記階層構造からなるメニューは、少ない筋電位信号によって、数多くの作業を行うことができる。また、少ない筋電位信号を組み合わせることによって、さらに多くの作業を行うことが可能である。また、筋電位信号を組み合わせて使用することは、単独の筋電位信号を用いることにより、雑音に対して強くなり、作業支援マニピュレータ１６に正確な動作を行わせることができる。
【００４９】
軌道生成部１５は、軌道データ記憶部１５１と軌道制御部１５２とから構成されている。前記軌道データ記憶部１５１は、測定された筋電位スイッチにより前記作業選択部１４３で決定された作業を実行するために、予め分割された各作業ごとの目標軌道、前腕動作、力データ等が記憶されており、選択された作業に必要な情報を上腕制御部１６１や前腕制御部１６２に送る。前記軌道データは、予め健常者が同じ環境で実際に作業を行った時の手先軌道や力情報であり、前記軌道データ記憶部１５１に予め記憶されている。
【００５０】
前記軌道制御部１５２は、軌道データ記憶部１５１に記憶されている軌道データを基にして作業支援マニピュレータ１６の動きを制御する。また、前記作業選択部１４３は、前記識別判定部１４２の識別判定結果に基づいて、後述する階層構造からなる作業メニューの切り替え・実行を選択することが可能である。また、前記作業メニューは、対象とする動作の階層構造の形式で整理されている。
【００５１】
前記作業支援マニピュレータ１６は、その先端部であるエンドエフェクタ自体を上腕切断者の断端部に着脱可能にすることができる。作業支援マニピュレータ１６の軌道データ記憶部１５１および軌道制御部１５２は、小型になり、携帯が可能になってきた。その結果、前記作業支援マニピュレータ１６のエンドエフェクタは、上腕切断者の断端部から発生する生体信号に基づいて、前記軌道データ記憶部１５１の軌道データと前記軌道制御部１５２の制御によって、所望の動きが行えるようになった。
【００５２】
フィードバック部１７は、生体信号入力部１２において測定された筋電位信号、前記パターン識別部１４１で識別された筋電位信号、識別判定部１４２で判定したスイッチ番号、作業選択部１４３で選択された作業等を表示するための表示制御手段および表示手段を含むモニターからなり、操作者が前記モニターを見ることにより、操作者側に筋電位信号等の情報がフィードバックされて、自分自身を学習することができる。また、前記フィードバック部１７には、階層構造のメニューが表示されるため、前記操作者がこれを見て作業を迅速かつ容易にこなすことができるようになる。
【００５３】
パラメータ保存部１８は、最初、健常者の操作パターンが入力されているが、作業支援マニピュレータ１６の動作を操作者に合わせたデータとして保存・再生することができる。前記パラメータ保存部１８は、生体信号入力部１２において選択された信号の種類、特徴抽出処理部１３におけるフィルタのカットオフ、信号のピーク値などのパラメータ、パターン識別部１４１における動的確率モデル内包型ニューラルネットワークのパラメータ、識別判定部１４２における動作判定閾値、識別保留判定閾値等のパラメータ、作業選択部１４３における階層型メニューの構成が使用者毎に保存・読出可能なデータとして記憶される。
【００５４】
前記パラメータ設定部１９は、パラメータ保存部１８に予め健常者のデータを設定した後で、不都合があった場合、任意に設定を変えることができるようになっている。
【００５５】
図３は本発明の実施例で、操作者が作業支援マニピュレータを実際に使用する例を説明するための図である。図３において、操作者１１の要求は、たとえば、上肢切断部に付けられた電極を介して筋電位信号が発生し、作業支援マニピュレータ１６の軌道を制御する。操作者１１は、フィードバック部１７のモニターを見ながら前記作業支援マニピュレータ１６の軌道を修正することができる。
【００５６】
図３に示す机上には、皿３１、皿３２、スプーン３３、コップ３４、ボトル３５等が載置されている。操作者１１は、意志により、筋電位信号が発生して上腕制御部１６１および前腕制御部１６２の制御の基に作業支援マニピュレータ１６の軌道を制御し、作業支援マニピュレータ１６が前記操作者１１の意志を代行して実行する。
【００５７】
図４は本発明の実施例で、筋電位信号の発生から作業の選択までを模式化した図である。図４において、生体に取り付けられた電極からなる生体信号発生部１１（人体の一部に付けられた電極）において、筋電位信号（ＥＭＧシグナル）１、２、・・・、Ｌは、特徴抽出処理部１３によって、前述のように、各種フィルタ等の前処理が行われ、作業判定部１４のパターン識別部１４１によって、特徴が判定される。
【００５８】
すなわち、前記筋電位信号は、本出願人が提案した特願２００１−１６９４６４に記載されている動的確率モデル内包型ニューラルネットワークを用いることによって、識別判定部１４２で、短時間に作業の特徴が判定および／または学習される。前記判定された作業（スイッチ番号）は、階層構造からなるメニュー１４３のタスクナンバー（作業番号）を得る。その後、作業支援マニピュレータ１６は、軌道生成部１５により、操作者の意志通りに軌道が制御される。
【００５９】
図５は本発明の実施例で、筋電位信号、推定筋力、識別されたスイッチ番号の時系列変化を示す図である。図５において、筋電位信号は、生体の４箇所に電極が取り付けられ、これらの電極から採られている（ＥＭＧシグナル参照）。前記図５に示された状態は、前記筋電位信号およびその推定筋力の関連が示されており、これによって、スイッチ番号が決まる。
【００６０】
前記スイッチ番号は、階層構造のメニューにおける作業が判る。また、前記筋電位信号、スイッチ番号、階層構造等がフィードバック部１７のモニターにも表示されるため、操作者１１は、図５に示された時間変化を見て作業支援マニピュレータ１６により正確な作業を行わせることができる。
【００６１】
図６は本発明の実施例で、命令の種類とスイッチ番号との関係を説明するための図である。図６において、命令の種類は、実行（Ｄｏ）、次（Ｎｅｘｔ）、・・・、停止（Ｓｔｏｐ）がある。もし、障害の程度が重い患者は、スイッチ番号１のみが選択される。この場合、後述する階層構造からなるメニューのランプを自動的に次々と移動させるようなソフトウエアにしておけば、前記重度障害者は、所望のタスクにランプが付いている時に、実行の意志表示を行えば、所望の作業が作業支援マニピュレータ１６によって行われる。
【００６２】
前記重度障害者は、スイッチが一つしか使用できない場合であっても、前記階層構造からなるメニューによって、多くの作業ができるように作業支援マニピュレータに命令できる。また、軽度障害者は、たとえば、スイッチが５個（図６の場合）使用できるため、これらのスイッチを巧みに使用することにより、短時間で所望の作業を作業支援マニピュレータ１６に命令できる。図６において、二重丸は、命令として利用でき、一重丸は自動的に実行でき、三角はタスクとして利用でき、線は利用できないことを示している。
【００６３】
図７は本発明の実施例で、命令の種類と階層構造のタスクとを説明するための図である。図７において、階層１は、作業支援マニピュレータ１６を初期位置へ動かすための命令であり、階層２は、操作者１１が所望する目的のものを指定するための命令であり、階層３は、選択した目的のものをどのように動かすかのための命令である。前記命令の種類あるいは順序は、任意に変えることができる。前記階層構造は、階層の数を任意に増加させることができる。前記のように階層構造からなるメニューは、少ないスイッチによって多くの作業を行うことができる。
【００６４】
図８（イ）および（ロ）は本発明の実施例で作業支援マニピュレータを説明するための図である。図８（イ）において、作業支援マニピュレータは、上腕部８１、前腕部８２、および義手８３から構成されている。前記上腕部８１は、Ｊ１ないしＪ３において、θ１ないしθ３の任意の角度で回転し、三次元の軌道をとることができる。前記前腕部８２は、（ロ）に示されているように、Ｊ５ないしＪ７において、θ５ないしθ６の任意の角度で回転し、所望の軌道をとることができる。
【００６５】
前記作業支援マニピュレータにおける上腕部８１、前腕部８２、および義手８３の部分は、単独または複数で直接障害者の腕等の断端部に取り付けることができる。図２に示された制御部が小型化されて携帯が可能になったため、前記上腕部８１、前腕部８２、および義手８３は、前記筋電位信号によって所望の軌道が制御されるようになった。前記上腕部８１、前腕部８２、および義手８３の軌道制御は、ＰＩＤ（Ｐｒｏｐｏｒｔｉｏｎａｌ  Ｉｎｔｅｇｒａｌ  Ｄｅｒｉｖａｔｉｖｅ  ｃｏｎｔｒｏｌ）制御により行
っている。
【００６６】
本作業支援マニピュレータシステムは、その有効性を示すために、健常者と上肢切断者を被験者として制御実験を行った。前記健常者の実験は、肢体不自由者による操作をある程度想定し、椅子に体を固定して、ほとんど動けない状態で行った。実験環境は、図３に示す状態で、図７のメニューを使用して行った。電極数およびスイッチ数は４で、うち一つは中断スイッチとした。作業中断スイッチは、できるだけ識別し易く、また、確実に行えるように、左手の動作として、左前腕部に電極を一対装着した。残りの３電極は、右前腕部に２対、右上腕部に１対装着した。
【００６７】
特に、図５において、実行された作業名が合わせて記載されているため、識別されたスイッチ番号により、実行する作業がうまく選択されていることがわかる。今回の実験で制御を行った結果、制御開始後数時間以内であれば、１００％の精度で行うことができ、本作業支援マニピュレータシステムの有効性を確認することができた。
【００６８】
以上、本発明の実施例を詳述したが、本発明は、前記実施例に限定されるものではない。そして、本発明は、特許請求の範囲に記載された事項を逸脱することがなければ、種々の設計変更を行うことが可能である。たとえば、筋電位信号の処理は、周知または公知の情報処理を使用することができる。さらに、作業支援マニピュレータの機械的構造は、前記同様に、周知または公知のものを適用することができる。
【００６９】
本発明は、食事支援ロボットについて記載されているが、食事以外の作業に適用できる。また、本発明は、上肢について記載されているが、上肢以外下肢に障害がある場合のロボットであっても同様であることはいうまでもないことである。また、本発明は、首から上の生体信号のみによってもロボットを制御することができる。
【００７０】
【発明の効果】
本発明によれば、障害程度の高低により、一つまたは複数の筋電位信号を組み合わせて使用することによって、迅速でしかも正確な作業を前記作業支援マニピュレータに行わせることができる。
【００７１】
本発明によれば、前記一つまたは複数の筋電位信号の組み合わせと、時系列特性のパターン識別および／または学習が短時間に可能な動的確率モデル内包型ニューラルネットワークの使用により、操作者の意志に従って前記作業支援マニピュレータの制御を行うことができる。
【００７２】
本発明によれば、前記作業支援マニピュレータの動作状態は、ディスプレイを介して使用者が見えるようにフィードバックされ、これらの各動作に使用するためのパラメータを保存・読出可能とすることができる。
【００７３】
本発明によれば、障害の程度によって、筋電位信号の数に限りがあるため、作業メニューを階層構造とすることで、各種の作業が可能になる。たとえば、一つの筋電位信号が「実行」だけであったとしても、前記階層構造からなる作業メニューをフィードバック部に表示させることで、多種類の作業を容易に実行できる。
【００７４】
本発明によれば、作業支援マニピュレータのエンドエフェクタは、上腕切断者の断端部に発生する生体信号と前記制御装置によって、所望の動きを行えるようになる。
【図面の簡単な説明】
【図１】本発明の一実施例である筋電位制御型作業支援システムを説明するためのブロック概念図である。
【図２】本発明の一実施例である筋電位制御型作業支援マニピュレータを説明するためのブロック概念図である。
【図３】本発明の実施例で、操作者が作業支援マニピュレータを実際に使用する例を説明するための図である。
【図４】本発明の実施例で、筋電位信号の発生から作業の選択までを模式化した図である。
【図５】本発明の実施例で、筋電位信号、推定筋力、識別されたスイッチ番号の時系列変化を示す図である。
【図６】本発明の実施例で、命令の種類とスイッチ番号との関係を説明するための図である。
【図７】本発明の実施例で、命令の種類と階層構造のタスクとを説明するための図である。
【図８】（イ）および（ロ）は本発明の実施例で作業支援マニピュレータを説明するための図である。
【符号の説明】
１１・・・生体信号発生部（操作者）
１１１・・・筋電位
１１２・・・脳波
１１３・・・呼気
１１４・・・手足の動き
１２・・・生体信号入力部
１３・・・特徴抽出処理部
１３１・・・データ処理部
１３２・・・特徴量抽出部
１４・・・作業判定部
１４１・・・パターン識別部
１４２・・・識別判定部
１４３・・・作業選択部
１５・・・軌道生成部
１５１・・・軌道データ記憶部
１５２・・・軌道制御部
１６・・・作業支援マニピュレータ
１６１・・・上腕制御部
１６２・・・前腕制御部
１７・・・フィードバック部
１８・・・パラメータ保存部
１９・・・パラメータ設定部
【図１】
2004180817.tif 000003
【図２】
2004180817.tif 000004
【図３】
2004180817.tif 000005
【図４】
2004180817.tif 000006
【図５】
2004180817.tif 000007
【図６】
2004180817.tif 000008
【図７】
2004180817.tif 000009
【図８】
2004180817.tif 000010