(57)【特許請求の範囲】
【請求項１】
外部機器を制御するためのインタフェースにおける生体信号から顎口腔運動の状態を推定する顎口腔運動状態の推定方法において、
上記顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面から生体信号を検出し、ニューラルネットワークにより上記検出した生体信号に基づいて上記顎口腔運動の状態を推定し、外部機器を制御するためのインターフェースとして用いられることを特徴とする顎口腔運動状態の推定方法。
【請求項２】
上記ニューラルネットワークは、上記推定に係る状態の誤差が所定範囲内になるまで、予め、上記顎口腔運動に係る教師信号に基づいて学習する学習プロセスと、該学習プロセス終了後に新たに検出された生体信号について推定した状態を実行推定状態として出力する実行推定プロセスとを行う機能を備えて構成されることを特徴とする請求項１記載の顎口腔運動状態の推定方法。
【請求項３】
上記顎口腔運動は、特定の運動部位の運動を含み、該特定の運動部位の推定に係る顎口腔運動の状態は、該特定の運動部位の位置及び／または力で規定されることを特徴とする請求項２記載の顎口腔運動状態の推定方法。
【請求項４】
上記特定の運動部位における顎口腔運動の状態は、他の部位との接触の状態であり、該他の部位との接触位置及び／または接触力で規定されることを特徴とする請求項３記載の顎口腔運動状態の推定方法。
【請求項５】
上記特定の運動部位に係る教師信号は、当該運動部位の位置及び／または力の実測値に基づいて出力されることを特徴とする請求項３または４記載の顎口腔運動状態の推定方法。
【請求項６】
上記ニューラルネットワークは、上記特定の運動部位の位置及び／または力での規定による推定の際、該特定の運動部位の推定すべき顎口腔運動以外に生じる他の顎口腔運動の状態の全部若しくは一部についても同時に推定することを特徴とする請求項５記載の顎口腔運動状態の推定方法。
【請求項７】
上記他の顎口腔運動に係る教師信号は、上記特定の運動部位の位置及び／または力、あるいはそれらの複合的な運動に対応するように一義的に定めた加工信号であることを特徴とする請求項６記載の顎口腔運動状態の推定方法。
【請求項８】
上記生体信号は、皮膚に付設される生体信号検出素子を複数配置した多点素子群により出力され、上記ニューラルネットワークは、該多点素子群の各生体信号検出素子間における生体信号の差分の全て若しくは一部の組み合わせに基づいて処理を行うことを特徴とする請求項２乃至７何れかに記載の顎口腔運動状態の推定方法。
【請求項９】
上記顎口腔運動を行う特定の運動部位が舌であり、上記推定に係る顎口腔運動の状態は、上記舌の舌先の上顎内面に対する接触位置及び／または接触力で規定され、
上記顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面を、下顎の先端と喉頭隆起（喉仏）との間の顎裏エリアに設定し、該顎裏エリアに複数の生体信号検出素子を付設して該生体信号検出素子により生体信号を検出するようにし、
上記学習プロセスにおいて、
上記舌に対峙する上顎内面の所定位置に複数の圧力センサを配置し、
上記ニューラルネットワークは、上記各圧力センサに対して舌先を接触させた際、該各圧力センサによる検知信号を教師信号とし、
上記各圧力センサに舌先を位置させて上記生体信号検出素子で検出した生体信号に基づいて上記舌先の上顎内面に対する接触位置及び／または接触力を推定し、且つ、該推定に係る接触位置及び／または接触力の誤差が所定範囲内になるまで、該当する圧力センサからの教師信号に基づいて学習し、
上記実行推定プロセスにおいて、
上記ニューラルネットワークは、上記上顎内面に対して舌先を接触させた際、該舌先の接触位置及び／または接触力を実行推定状態として出力することを特徴とする請求項５乃至８何れかに記載の顎口腔運動状態の推定方法。
【請求項１０】
上記ニューラルネットワークは、上記舌先の接触位置及び／または接触力での特定による推定の際、該舌の推定すべき顎口腔運動以外に生じる嚥下運動，開口運動，閉口運動，あくび運動，咬合運動のすくなくとも何れか１つの状態を同時に推定することを特徴とする請求項９記載の顎口腔運動状態の推定方法。
【請求項１１】
顎口腔運動の状態を推定する顎口腔運動状態の推定装置において、
上記顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面から生体信号を検出する生体信号検出手段と、該生体信号検出手段が検出した生体信号に基づいて上記顎口腔運動の状態を推定して出力するニューラルネットワークとを備え、
該ニューラルネットワークは、上記推定に係る状態の誤差が所定範囲内になるまで、予め、上記顎口腔運動に係る教師信号に基づいて学習する学習プロセスと、該学習プロセス終了後に新たに検出された生体信号について推定した状態を実行推定状態として出力する実行推定プロセスとを行う機能を備えて構成されることを特徴とする顎口腔運動状態の推定装置。
【請求項１２】
上記顎口腔運動は、特定の運動部位の運動を含み、該特定の運動部位の推定に係る顎口腔運動の状態は、該特定の運動部位の位置及び／または力で規定されることを特徴とする請求項１１記載の顎口腔運動状態の推定装置。
【請求項１３】
上記特定の運動部位における顎口腔運動の状態は、他の部位との接触の状態であり、該他の部位との接触位置及び／または接触力で規定されることを特徴とする請求項１２記載の顎口腔運動状態の推定装置。
【請求項１４】
上記ニューラルネットワークは、上記特定の運動部位の位置及び／または力での規定による推定の際、該特定の運動部位の推定すべき顎口腔運動以外に生じる他の顎口腔運動の状態の全部若しくは一部についても同時に推定することを特徴とする請求項１２または１３記載の顎口腔運動状態の推定装置。
【請求項１５】
上記生体信号検出手段は、皮膚に付設される生体信号検出素子を複数配置した多点素子群を備え、上記ニューラルネットワークは、該多点素子群の各生体信号検出素子間における生体信号の差分の全て若しくは一部の組み合わせに基づいて処理を行うことを特徴とする請求項１１乃至１４何れかに記載の顎口腔運動状態の推定装置。
【請求項１６】
上記ニューラルネットワークの実行推定プロセス機能により出力された実行推定状態から対応する顎口腔運動の状態を識別する運動状態識別手段を備えたことを特徴とする請求項１１乃至１５何れかに記載の顎口腔運動状態の推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、舌の運動，嚥下運動，咀嚼運動等の顎口腔運動の状態を推定する顎口腔運動状態の推定方法及び顎口腔運動状態の推定装置に関する。
【背景技術】
【０００２】
一般に、脊髄損傷，脳卒中，脳性麻痺，筋ジストロフィー等による重度の障害者においては、四肢運動機能に障害を持つことが多いことから、意思伝達が難しく、そのため、近年では，脳波，視点，呼気，顎の運動，舌の運動等のわずかに残存した機能を利用して、障害者の意思を抽出するインタフェースの研究が盛んに行われている。その中でも、舌の運動等の顎口腔運動は、頸椎損傷などでも比較的機能が残存しやすくその利用が考えられる。とりわけ、舌の運動は舌下神経に支配されており、口の中の手といわれるほど様々な動作が可能であり、舌先の位置を測定して、その利用に供することが考えられる。
【０００３】
従来、舌先の位置を測定する技術として、口内に圧力センサや永久磁石を設置するものが開発されている。例えば、口内に圧力センサを設ける技術としては、嚥下障害，咀嚼障害や発音障害等についての解析用のものであるが、特許文献１（特開２００６−２３４号公報）に掲載されたものが知られている。これは、被験者の口蓋形状に合わせて形成され複数の感圧センサを有する可撓性の舌圧センサシートである。この舌圧センサシートを用いるときは、これを被験者の上顎内面に装着し、各感圧センサにより舌圧を検知し、配線を通して検知信号を送信して、分析の用に供する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上記舌圧センサシートにあっては、口内に装着しなければならないので、衛生面の問題が生じる上、発話や飲食の妨げになり、装着時間が長くなると、障害者への心理的ストレスを生じさせたり、誤飲，感電，窒息等の医療事故の原因になりやすいという問題があった。
そのため、口内にセンサを設置することなく、非侵襲的で簡便に随意的な動作を推定できればよいことから、例えば、舌の運動を支配する舌筋の筋活動を筋電位計測で測定することが考えられる。しかしながら、舌の運動は、茎突舌筋，舌骨舌筋，オトガイ舌筋，上縦舌筋，下縦舌筋，横舌筋，垂直舌筋からなる舌筋と、顎二腹筋，茎突舌骨筋，顎舌骨筋，オトガイ舌骨筋，舌骨下筋，胸骨舌骨筋，胸骨甲状筋，甲状舌骨筋からなる舌骨筋とで発現されるばかりか、これらの複数の筋が重なり合っているため、特定の筋の筋活動を正確に測定することは困難になっている。また、正確に計測できたとしても、上・下肢を駆動する骨格筋とは異なり、筋電位と運動を一対一で関連付けることが難しい。更に、特定の筋の筋電位計測には、（１）最適な電極位置の探索に時間がかかる、（２）浅部，深部，近部，遠部の筋活動を正確に分離できない等の解決すべき課題が多い。
【０００６】
本発明は上記の点に鑑みて為されたもので、総合的な筋肉の生体信号の検出であっても、これと顎口腔運動の状態とを一対一で関連付けることができるようにし、非侵襲的で簡便にしかも高精度で顎口腔運動の状態を推定することができるようにした顎口腔運動状態の推定方法及び顎口腔運動状態の推定装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
このような目的を達成するための本発明の顎口腔運動状態の推定方法は、外部機器を制御するためのインタフェースにおける生体信号から顎口腔運動の状態を推定する顎口腔運動状態の推定方法において、上記顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面から生体信号を検出し、ニューラルネットワークにより上記検出した生体信号に基づいて上記顎口腔運動の状態を推定し、外部機器を制御するためのインターフェースとして用いられる構成としている。
【０００８】
ここで、顎口腔運動とは、特定の運動部位の動きあるいは顎口腔全体の複合的な動き、また、これらの動的あるいは静的な動き等、あらゆる運動を言う。例えば、舌の運動，顎の運動，顎の運動を伴う歯のかみ合わせの運動，咬合運動，咀嚼運動，嚥下運動，あくび運動，開口運動，閉口運動，口唇の開閉運動，発声運動，喉頭隆起（喉仏）の運動等、種々の運動が挙げられる。
また、ここで、生体信号とは、筋電位信号，筋音信号，筋硬信号等を言う。
【０００９】
これにより、例えば、生体信号が筋電位信号である場合、顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面から筋電位信号を検出するので、顎口腔運動に直接寄与する特定の筋肉からではなく総合的な筋電位の検出になることから、筋骨格系の解剖学的知識がなくても、検出が極めて簡易になる。そのため、少ない電極数（アンプ数）で、浅部，深部，近部，遠部の顎口腔運動に関与する筋活動をすべて含んだ生体信号を計測できる。
また、このような筋電位信号を用いても、ニューラルネットワークにより顎口腔運動の状態を推定するので、総合的な筋電位の検出であっても、これと顎口腔運動の状態とを一対一で関連付けることができるようになり、そのため、非侵襲的で簡便にしかも高精度で顎口腔運動の状態を推定することができるようになる。
他の生体信号においても同様である。
【００１０】
そして、必要に応じ、上記ニューラルネットワークは、上記推定に係る状態の誤差が所定範囲内になるまで、予め、上記顎口腔運動に係る教師信号に基づいて学習する学習プロセスと、該学習プロセス終了後に新たに検出された筋電位信号について推定した状態を実行推定状態として出力する実行推定プロセスとを行う機能を備えて構成される。
これにより、学習プロセスにおいて、推定に係る状態の誤差が所定範囲内になるまで学習させるので、少ない学習回数でも、高い推定精度で、顎口腔運動の状態を推定できるようになる。その結果、実行推定プロセスにおいて、被験者からの新たに検出された筋電位信号について推定した実行推定状態の推定精度を向上させることができる。
【００１１】
そして、必要に応じ、上記顎口腔運動は、特定の運動部位の運動を含み、該特定の運動部位の推定に係る顎口腔運動の状態は、該特定の運動部位の位置及び／または力で規定される構成としている。
特定の運動部位としては、特に随意的に動かすことができる部位、例えば、舌，口唇，顎等が挙げられる。
これにより、顎口腔運動の状態を、特定の運動部位の位置及び／または力で規定したので、出力する情報量を多くすることができ、意思伝達機能を向上させることができる。そのため、例えば、パソコン入力や、各種機械操作などのインタフェースとして、汎用性を増すことができる。特に、位置と力を同時に推定すれば、同時に、２つの事項の意思伝達が可能になり、例えば、電動車いすの進みたい方向とスピードを同時に制御することや、携帯電話のタッチ操作などもでき汎用性を増すことができる。
【００１２】
この場合、上記特定の運動部位における顎口腔運動の状態は、他の部位との接触の状態であり、該他の部位との接触位置及び／または接触力で規定されることが有効である。
この接触の状態の組合せ例としては、例えば、特定の運動部位が舌の場合、他の部位が上顎または下顎の内面，歯茎，口蓋や歯等が選択され、特定の運動部位が顎の場合、例えば、下顎の歯と上顎の歯との接触状態が選択される等である。
これにより、顎口腔運動の状態を、特定の運動部位と他の部位との接触位置及び／または接触力で規定したので、位置の特定や、力の特定が基準を設けて設定し易くなり、それだけ、インタフェースとして利用可能なコマンド数やその推定精度を向上させることができるようになる。
【００１３】
また、必要に応じ、上記特定の運動部位に係る教師信号は、当該運動部位の位置及び／または力の実測値に基づいて出力される構成としている。実測値に対応させて学習させるので、学習をさせ易くすることができ、また、推定精度を向上させることができる。
【００１４】
更に、必要に応じ、上記ニューラルネットワークは、上記特定の運動部位の位置及び／または力での規定による推定の際、該特定の運動部位の推定すべき顎口腔運動以外に生じる他の顎口腔運動の状態の全部若しくは一部についても同時に推定する構成としている。
特定の運動部位の推定すべき顎口腔運動以外に生じる他の顎口腔運動があったとき、特定の運動部位の所定の運動ではないことが分かるので、誤推定を防止することができる。例えば、特定の運動部位が舌の場合、舌の位置及び力に係る生体信号を検出しているときに、唾を飲み込むような嚥下運動，開口運動，閉口運動，あくび運動，咬合運動等が生じた場合、例えば、嚥下運動であれば、この嚥下運動に係る生体信号に基づいて嚥下運動状態として推定できるようにしておけば、舌の位置及び力の生体信号の検出において、検出する生体信号の分離ができ、誤検出を防止して確実な推定を行うことができるようになる。
【００１５】
更にまた、必要に応じ、上記他の顎口腔運動に係る教師信号は、上記特定の運動部位の位置及び／または力、あるいはそれらの複合的な運動に対応するように一義的に定めた加工信号である構成としている。より一層、誤検出を防止して確実な指定を行うことができるようになる。
【００１６】
また、必要に応じ、上記生体信号は、皮膚に付設される生体信号検出素子を複数配置した多点素子群により出力され、上記ニューラルネットワークは、該多点素子群の各生体信号検出素子間における生体信号の差分の全て若しくは一部の組み合わせに基づいて処理を行う構成としている。生体信号の差分の全て若しくは一部の組み合わせは、ニューラルネットワーク外で行っても良く、また、ニューラルネットワークの中で行うようにしても良い。生体信号検出素子は３以上配置することが望ましい。
例えば、生体信号として筋電位信号を検出する場合、生体信号検出素子として、表面電極を用い、多点素子群をアレイ電極で構成する。これにより、アレイ電極は、ｎ個の表面電極を用いて構成され、各電極位置における筋電位を単極誘導する。その後、ｎ個から２つの信号を選択し、その差を計算することでnＣ2＝ｍ通りの筋電位信号が得られる。更に、そのｍ個の信号から２つの信号を選択し、その差を計算することも可能である。本手法ではｎ個の電極とｎＣＨのアンプがあれば対応でき、機器の簡略化を図ることができる。更にまた、筋群全体を覆うように電極を配置し、異なる電極間距離で筋電位を測定することで、浅部，深部，近部，遠部の顎口腔運動に関与する筋活動をすべて入手することができるようになり、検出精度を向上させることができる。
【００１７】
そして、必要に応じ、上記顎口腔運動を行う特定の運動部位が舌であり、上記推定に係る顎口腔運動の状態は、上記舌の舌先の上顎内面に対する接触位置及び／または接触力で規定され、
上記顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面を、下顎の先端と喉頭隆起（喉仏）との間の顎裏エリアに設定し、該顎裏エリアに複数の生体信号検出素子を付設して該生体信号検出素子により生体信号を検出するようにし、
上記学習プロセスにおいて、
上記舌に対峙する上顎内面の所定位置に複数の圧力センサを配置し、
上記ニューラルネットワークは、上記各圧力センサに対して舌先を接触させた際、該各圧力センサによる検知信号を教師信号とし、
上記各圧力センサに舌先を位置させて上記生体信号検出素子で検出した生体信号に基づいて上記舌先の上顎内面に対する接触位置及び／または接触力を推定し、且つ、該推定に係る接触位置及び／または接触力の誤差が所定範囲内になるまで、該当する圧力センサからの教師信号に基づいて学習し、
上記実行推定プロセスにおいて、
上記ニューラルネットワークは、上記上顎内面に対して舌先を接触させた際、該舌先の接触位置及び／または接触力を実行推定状態として出力する構成としている。
【００１８】
この場合、上記ニューラルネットワークは、上記舌先の接触位置及び／または接触力での特定による推定の際、該舌の推定すべき顎口腔運動以外に生じる嚥下運動，開口運動，閉口運動，あくび運動，咬合運動のすくなくとも何れか１つの状態を同時に推定することが有効である。例えば、唾を飲み込むような嚥下運動の場合、「嚥下運動」として認識でき、随意運動との信号分離ができる。
【００１９】
そしてまた、上記目的を達成するための本発明の顎口腔運動状態の推定装置は、顎口腔運動の状態を推定する顎口腔運動状態の推定装置において、上記顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面から生体信号を検出する生体信号検出手段と、該生体信号検出手段が検出した生体信号に基づいて上記顎口腔運動の状態を推定して出力するニューラルネットワークとを備え、
該ニューラルネットワークは、上記推定に係る状態の誤差が所定範囲内になるまで、予め、上記顎口腔運動に係る教師信号に基づいて学習する学習プロセスと、該学習プロセス終了後に新たに検出された生体信号について推定した状態を実行推定状態として出力する実行推定プロセスとを行う機能を備えて構成される。
【００２０】
これにより、例えば、生体信号が筋電位信号である場合、生体信号検出手段が、顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面から筋電位信号を検出するので、顎口腔運動に直接寄与する特定の筋肉からではなく総合的な筋電位の検出になることから、筋骨格系の解剖学的知識がなくても、検出が極めて簡易になる。そのため、少ない電極数（アンプ数）で、浅部，深部，近部，遠部の顎口腔運動に関与する筋活動をすべて含んだ生体信号を計測できる。
また、このような筋電位信号を用いても、ニューラルネットワークにより、顎口腔運動の状態を推定するので、総合的な筋電位の検出であっても、これと顎口腔運動の状態とを一対一で関連付けることができるようになり、そのため、非侵襲的で簡便にしかも高精度で顎口腔運動の状態を推定することができるようになる。
また、学習プロセスにおいて、推定に係る状態の誤差が所定範囲内になるまで学習させるので、少ない学習回数でも、高い推定精度で、顎口腔運動の状態を推定できるようになる。その結果、実行推定プロセスにおいて、被験者からの新たに検出された筋電位信号について推定した実行推定状態の推定精度を向上させることができる。
他の生体信号においても同様である。
【００２１】
また、必要に応じ、上記顎口腔運動は、特定の運動部位の運動を含み、該特定の運動部位の推定に係る顎口腔運動の状態は、該特定の運動部位の位置及び／または力で規定される構成としている。
これにより、顎口腔運動の状態を、特定の運動部位の位置及び／または力で規定したので、出力する情報量を多くすることができ、意思伝達機能を向上させることができる。そのため、例えば、パソコン入力や、各種機械操作などのインタフェースとして、汎用性を増すことができる。特に、位置と力を同時に推定すれば、同時に、２つの事項の意思伝達が可能になり、例えば、電動車いすの進みたい方向とスピードを同時に制御することや、携帯電話のタッチ操作などもでき汎用性を増すことができる。
【００２２】
この場合、上記特定の運動部位における顎口腔運動の状態は、他の部位との接触の状態であり、該他の部位との接触位置及び／または接触力で規定されることが有効である。
これにより、顎口腔運動の状態を、特定の運動部位と他の部位との接触位置及び／または接触力で規定したので、位置の特定や、力の特定が基準を設けて設定し易くなり、それだけ、インタフェースとして利用可能なコマンド数やその推定精度を向上させることができるようになる。
【００２３】
更に、必要に応じ、上記ニューラルネットワークは、上記特定の運動部位の位置及び／または力での規定による推定の際、該特定の運動部位の推定すべき顎口腔運動以外に生じる他の顎口腔運動の状態の全部若しくは一部についても同時に推定する構成としている。
特定の運動部位の推定すべき顎口腔運動以外に生じる他の顎口腔運動があったとき、特定の運動部位の所定の運動ではないことが分かるので、誤推定を防止することができる。例えば、特定の運動部位が舌の場合、舌の位置及び力に係る生体信号を検出しているときに、唾を飲み込むような嚥下運動，開口運動，閉口運動，あくび運動，咬合運動が生じた場合、例えば、嚥下運動であれば、この嚥下運動に係る生体信号に基づいて嚥下運動状態として推定できるようにしておけば、舌の位置及び力の生体信号の検出において、検出する生体信号の分離ができ、誤検出を防止して確実な推定を行うことができるようになる。
【００２４】
更にまた、必要に応じ、生体信号検出手段は、皮膚に付設される生体信号検出素子を複数配置した多点素子群を備え、上記ニューラルネットワークは、該多点素子群の各生体信号検出素子間における生体信号の差分の全て若しくは一部の組み合わせに基づいて処理を行う構成としている。生体信号の差分の全て若しくは一部の組み合わせは、ニューラルネットワーク外で行っても良く、また、ニューラルネットワークの中で行うようにしても良い。
例えば、生体信号として筋電位信号を検出する場合、生体信号検出素子として、表面電極を用い、多点素子群をアレイ電極で構成する。これにより、アレイ電極は、ｎ個の表面電極を用いて構成され、各電極位置における筋電位を単極誘導する。その後、ｎ個から２つの信号を選択し、その差を計算することでnＣ2＝ｍ通りの筋電位信号が得られる。更に、そのｍ個の信号から２つの信号を選択し、その差を計算することも可能である。本手法ではｎ個の電極とｎＣＨのアンプがあれば対応でき、機器の簡略化を図ることができる。更にまた、筋群全体を覆うように電極を配置し、異なる電極間距離で筋電位を測定することで、浅部，深部，近部，遠部の顎口腔運動に関与する筋活動をすべて入手することができるようになり、検出精度を向上させることができる。
【００２５】
また、必要に応じ、上記ニューラルネットワークの実行推定プロセス機能により出力された実行推定状態から対応する顎口腔運動の状態を識別する運動状態識別手段を備えた構成としている。運動状態識別手段により、実行推定状態から対応する顎口腔運動の状態を識別するので、例えば、外部機器に、顎口腔運動の状態に対応して予め定めた指令を、自動的に行うことができ、各種制御に即座に対応できるようになる。
【発明の効果】
【００２６】
本発明によれば、顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面から生体信号を検出するので、顎口腔運動に直接寄与する特定の筋肉からではなく総合的な筋肉の生体信号の検出になることから、筋骨格系の解剖学的知識がなくても、検出が極めて簡易になる。そのため、簡易な装置で、浅部，深部，近部，遠部の顎口腔運動に関与する筋活動をすべて含んだ生体信号を計測できる。
また、ニューラルネットワークにより顎口腔運動の状態を推定するので、総合的な筋肉の生体信号の検出であっても、これと顎口腔運動の状態とを一対一で関連付けることができるようになり、そのため、非侵襲的で簡便にしかも高精度で顎口腔運動の状態を推定することができるようになる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施の形態に係る顎口腔運動状態の推定装置を示す図である。
【図２】本発明の実施の形態に係るニューラルネットワークの機能を示し、（ａ）は学習プロセス、（ｂ）は実行推定プロセスを示す図である。
【図３】本発明の実施の形態に係る顎口腔運動状態の推定装置において、生体信号検出手段のアレイ電極の構成を示す図である。
【図４】本発明の実施の形態に係る顎口腔運動状態の推定装置において、生体信号検出手段の筋電位信号の出力形態を模式的に示す図である。
【図５】本発明の実施の形態に係る顎口腔運動状態の推定装置において、生体信号検出手段のアレイ電極を人体の皮膚表面に装着した状態を示す図である。
【図６】本発明の実施の形態に係る顎口腔運動状態の推定装置において、教師信号を得るマウスピースの構成を示す図である。
【図７】本発明の実施の形態に係る顎口腔運動状態の推定装置において、ニューラルネットワークの構成を示す図である。
【図８】本発明の実施の形態に係る顎口腔運動状態の推定装置により顎口腔運動状態の推定を行う際のフローチャートである。
【図９】本発明の実施例１に係り、舌先の接触位置と接触力の推定結果を示すグラフ図である。
【図１０】本発明の実施例２に係り、舌先の連続運動に関しての推定結果を示すグラフ図である。
【図１１】本発明の実施例３に係り、教師信号を得るマウスピースの構成を示す図である。
【図１２】本発明の実施例３に係り、舌先の接触位置と接触力の推定結果を示すグラフ図である。
【発明を実施するための形態】
【００２８】
以下、添付図面に基づいて、本発明の実施の形態に係る顎口腔運動状態の推定方法及び顎口腔運動状態の推定装置について詳細に説明する。本発明の実施の形態に係る顎口腔運動状態の推定方法は、本発明の実施の形態に係る顎口腔運動状態の推定装置によって実現されるので、この推定装置の説明において説明する。
【００２９】
図１乃至図５には、実施の形態に係る顎口腔運動状態の推定装置Ｓを示している。この推定装置Ｓは、顎口腔運動の状態を推定する。顎口腔運動としては、特定の運動部位の運動を含み、実施の形態では、顎口腔運動を行う特定の運動部位が舌Ｔであり、推定に係る顎口腔運動の状態は、舌先Ｔａの上顎内面Ｊに対する接触位置及び接触力で規定される。また、実施の形態では、舌先Ｔａの接触位置及び接触力での特定による推定の際、舌Ｔの推定すべき顎口腔運動以外に生じる嚥下運動，開口運動及びあくび運動の状態を同時に推定する。
【００３０】
詳しくは、実施の形態に係る推定装置Ｓは、顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面から生体信号としての筋電位信号（ＥＭＧ）を検出する生体信号検出手段１と、この生体信号検出手段１が検出した筋電位信号に基づいて顎口腔運動の状態を推定して出力するニューラルネットワーク１０とを備えている。
【００３１】
生体信号検出手段１が筋電位信号を検出する皮膚表面は、図１及び図５に示すように、下顎の先端Ｈａと喉頭隆起（喉仏）Ｈｂとの間の顎裏エリアＨに設定されている。そして、生体信号検出手段１は、図３乃至図５に示すように、この顎裏エリアＨに付設される生体信号検出素子としての表面電極Ｅを複数配置した多点素子群としてのアレイ電極２を備え、図１に示すように、このアレイ電極２からの筋電位信号を前処理部３を介してニューラルネットワーク１０に出力する。前処理部３は、図示外の増幅用アンプ，整流器、Ａ／Ｄ変換器および生体信号の特徴抽出器を有して構成されている。また。ニューラルネットワーク１０では、アレイ電極２の各表面電極Ｅ間における節電位信号Ｅの差分の全ての組み合わせに基づいて処理を行う。
【００３２】
アレイ電極２は、ｎ個の表面電極Ｅ（Ｅ１〜Ｅｎ）を用いて構成され、各電極位置における筋電位を単極誘導する。その後、図４に示すように、ｎ個から２つの信号を選択し、その差を計測することでnＣ2＝ｍ通りの筋電位信号が得られる。更に、そのｍ個の信号から２つの信号を選択し、その差を計算することも可能である。実施の形態では、表面電極Ｅは９個（Ｅ１〜Ｅ９）用意され、図３に示すように、フィルムシート４の一側面に２０ｍｍ間隔で行列状且つピラミッド状に付設され、フィルムシート４の他側面に設けた９個のリード電極５に夫々接続されている。そして、図５に示すように、このフィルムシート４を顎裏エリアＨに付設することにより、表面電極Ｅは筋群全体を覆うように配置される。この場合、9Ｃ2＝３６通りの筋電位信号が得られ、一般的な双極誘導では７２個の電極と３６ＣＨのアンプが必要となるが、本実施例では、９個の電極と９ＣＨのアンプがあれば十分である。
【００３３】
ニューラルネットワーク１０は、図２に示すように、推定に係る状態の誤差が所定範囲内になるまで、予め、顎口腔運動に係る教師信号に基づいて学習する学習プロセス（図２（ａ））と、学習プロセス終了後に新たに検出された筋電位信号について推定した状態を実行推定状態として出力する実行推定プロセス（図２（ｂ））とを行う機能を備えて構成される。
学習プロセスにおいて、教師信号は、図１及び図６に示すように、舌Ｔに対峙する上顎内面Ｊの所定位置に配置した複数の圧力センサ２０（Ｃｈ１〜Ｃｈｎ）からの検知信号としている。図６に示すように、実施の形態では、圧力センサ２０は７個（Ｃｈ１〜Ｃｈ７）用意され、上顎内に装着される可撓樹脂製のマウスピース２１に設けられており、マウスピース２１の装着状態では、上顎内面Ｊの中心線線上の前，中，後、中心線を境にして左右対称の側方前後に夫々２か所ずつ配置される。圧力センサ２０は、舌先Ｔａの接触位置と接触力（押圧力）の大きさを検知し、検知信号をニューラルネットワーク１０に送出する。この場合、教師信号は、舌先Ｔａの接触位置及び接触力の実測値に基づいて出力され、ニューラルネットワーク１０においてこの実測値に対応させて学習させるので、学習をさせ易くすることができ、また、推定精度を向上させることができる。
【００３４】
ニューラルネットワーク１０は、各圧力センサ２０に舌先Ｔａを位置させて表面電極Ｅで検出した筋電位信号に基づいて、舌先Ｔａの上顎内面Ｊに対する接触位置及び接触力を推定し、且つ、例えば、推定に係る接触位置及び接触力の平均２乗誤差が０．０００１以下になるか、学習の繰り返し数が１０００回に到達するまで、該当する圧力センサ２０からの教師信号に基づいて学習する。
【００３５】
実施の形態に係るニューラルネットワーク１０は、図７に示すように、入力層１１、中間層１２、出力層１３からなる３階層型ニューラルネットワークであり、筋電位信号の測定値を入力信号、圧力センサ２０の出力値を教師信号とし、入力層１１と中間層１２、中間層１２と出力層１３の間の層間結合の重み付けを更新しながら学習し、即ち、各ニューロンの重みをバックプロパゲーション法で学習することで，上顎内面Ｊで計測した筋電位信号からの口腔内における舌先Ｔａの接触位置と接触力の同時推定を行う。
【００３６】
また、ニューラルネットワーク１０は、舌先Ｔａの接触位置及び接触力での特定による推定の際、舌Ｔの推定すべき顎口腔運動以外に生じる嚥下運動，開口運動及びあくび運動の状態を同時に推定する。ニューラルネットワーク１０は、学習プロセスにおいて、上記と同様に嚥下運動，開口運動及びあくび運動の状態の推定に係る学習を行うが、この際の教師信号は、一義的に定めた加工信号にしている。例えば、加工信号として、嚥下運動，開口運動及びあくび運動に夫々対応した押釦ボタンにおいて、被験者の押釦によりＤＣ５Ｖの電圧を付与する。
【００３７】
また、実施の形態に係る推定装置Ｓは、図１に示すように、ニューラルネットワーク１０の実行推定プロセス機能により出力された実行推定状態から対応する顎口腔運動の状態を識別する運動状態識別手段３０を備えている。実施の形態では、ニューラルネットワーク１０からの推定値（実行推定状態）から、舌先Ｔａの接触位置及び接触力を識別し、あるいは嚥下運動，開口運動，あくび運動として識別し、例えば、嚥下運動，開口運動あるいはあくび運動の場合は、出力を留保し、舌先Ｔａの接触位置及び接触力の推定結果のみを外部機器３１にインターフェース３２を介して送出するなどする。外部機器３１としては、表示装置やプリンタ、あるいは、パソコンやその他種々の制御装置等どのようなものでも良い。尚、嚥下運動，開口運動及びあくび運動の場合も、外部機器３１にインターフェース３２を介して送出して、表示装置やプリンタに出力したり、あるいは、制御装置の方で利用または非利用にする等適宜に用いて良い。
【００３８】
従って、実施の形態に係る顎口腔運動状態の推定装置Ｓによって、舌先Ｔａの接触位置及び接触力の推定を行うときは、上記のように、予め、ニューラルネットワーク１０の学習プロセス機能により、推定に係る状態の誤差が所定範囲内になるまで、顎口腔運動に係る教師信号に基づいて学習をすませておく。そして、図５に示すように、被験者に、表面電極Ｅが付設されたフィルムシートを顎裏エリアＨに付設し、舌Ｔの運動をさせて、舌先Ｔａの接触位置及び接触力の推定を行う。
図８に示すフローチャートを参照し、先ず、アレイ電極２の表面電極Ｅが顎裏エリアＨから筋電位信号を検出し（Ｓ１）、ニューラルネットワーク１０に送出する（Ｓ２）。
【００３９】
この場合、アレイ電極２は、ｎ個の表面電極Ｅを用いて構成され、各電極位置における筋電位を単極誘導し、その後、ｎ個から２つの信号を選択し、その差を計測することでnＣ2＝ｍ通りの筋電位信号を得るので、ｎ個の電極とｎＣＨのアンプがあれば対応でき、機器の簡略化を図ることができる。また、筋群全体を覆うように電極を配置し、異なる電極間距離で筋電位を測定することで、浅部，深部，近部，遠部の顎口腔運動に関与する筋活動をすべて入手することができるようになり、検出精度を向上させることができる。
また、顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面（顎裏エリアＨ）から筋電位信号を検出するので、顎口腔運動に直接寄与する特定の筋肉からではなく総合的な筋電位の検出になることから、筋骨格系の解剖学的知識がなくても、検出が極めて簡易になる。
【００４０】
そして、ニューラルネットワーク１０において推定が行われる。この場合、上記のように顎裏エリアＨからの筋電位信号を用いても、ニューラルネットワーク１０により顎口腔運動の状態を推定するので、総合的な筋電位の検出であっても、これと顎口腔運動の状態とを一対一で関連付けることができるようになり、そのため、非侵襲的で簡便にしかも高精度で顎口腔運動の状態を推定することができるようになる。
即ち、ニューラルネットワーク１０の学習プロセスにおいて、推定に係る状態の誤差が所定範囲内になるまで学習させるので、少ない学習回数でも、高い推定精度で、顎口腔運動の状態を推定できるようになる。その結果、実行推定プロセスにおいて、被験者からの新たに検出された筋電位信号について推定した実行推定状態の推定精度を向上させることができる。
【００４１】
ニューラルネットワーク１０からの推定結果が出力されると、運動状態識別手段３０により、舌先Ｔａの接触位置及び接触力を識別し、あるいは嚥下運動，開口運動，あくび運動の何れかとして識別する（Ｓ３）。舌先Ｔａの接触位置及び接触力と識別したときは（Ｓ３Ｙ）、インターフェース３２を介して外部機器３１に出力する（Ｓ４）。一方、嚥下運動，開口運動あるいはあくび運動を識別した場合には（Ｓ３Ｎ）、例えば、留保し、あるいは、インターフェース３２を介して、嚥下運動，開口運動あるいはあくび運動であることを出力して処理する（Ｓ５）。この場合、本来必要な舌先Ｔａの位置及び力に係る筋電位信号を検出しているときに、例えば、唾を飲み込むような嚥下運動が生じた場合、この嚥下運動に係る筋電位信号に基づいて嚥下運動状態として推定できるので、舌先Ｔａの位置及び力の筋電位信号の検出において、検出する筋電位信号の分離ができ、誤検出を防止して確実な推定を行うことができるようになる。
【００４２】
また、顎口腔運動の状態を、舌先Ｔａの接触位置及び接触力で規定したので、出力する情報量を多くすることができ、意思伝達機能を向上させることができる。そのため、例えば、パソコン入力や、各種機械操作などのインタフェースとして、汎用性を増すことができる。特に、位置と力を同時に推定すれば、同時に、２つの事項の意思伝達が可能になり、例えば、電動車いすの進みたい方向とスピードを同時に制御することや、携帯電話のディスプレイパネルのタッチ操作などもでき汎用性を増すことができる。更に、顎口腔運動の状態を、舌先Ｔａの上顎内面Ｊに対する接触位置及び接触力で規定したので、位置の特定や、力の特定が基準を設けて設定し易くなり、それだけ、推定精度を向上させることができるようになる。
【実施例】
【００４３】
以下、本発明の実施例について示す。
＜実施例１＞
アレイ電極２は、上記と同様に（図３乃至図５）、９つの表面電極Ｅを２０ｍｍ間隔でピラミッド状に配置して作成した。各電極位置における筋電位信号（ＥＭＧ信号）は、下顎角を基準電位とした単極誘導により導出した。筋電位計測には、電極リード線，プリアンプ回路，筋電アンプＩＣ(NB6101HS，ナブテスコ株式会社)で構成される筋電位計（図１の前処理部３に相当する）を用いた。筋電位計の増幅率は１，９５０倍、低域遮断周波数は２．３Ｈｚ、高域遮断周波数は３２０Ｈｚである。
【００４４】
マウスピース２１においては、図６に示すように、舌先Ｔａを押し付ける力とそのときの舌先Ｔａの位置を同時に計測するために、圧力センサ２０として、厚さ約０．２ｍｍのシート型力センサ(FlexiForce，ニッタ株式会社)を７枚貼り付けた。各位置におけるセンシングエリアは９．５ｍｍ、最大計測荷重は１１０Ｎである。
【００４５】
舌先Ｔａの位置と力の推定には、上記と同様に（図７）、入力層，中間層，出力層からなる階層型ＮＮを用いた。ＥＭＧ信号を入力層(ニューロン数９個)、圧力センサ２０の計測値と嚥下運動識別信号，開口運動識別信号，あくび運動識別信号を出力層(ニューロン数９個)に加え、各ニューロンの重みを誤差逆伝搬法で学習することで、顎裏で計測したＥＭＧ信号からの舌先Ｔａの位置と力の同時推定を行った。嚥下運動，開口運動あるいはあくび運動の際は、識別信号として、嚥下運動，開口運動及びあくび運動に夫々対応した押しボタンスイッチによりＤＣ５Ｖを入力した。嚥下運動，開口運動及びあくび運動を同時に学習することで随意運動との分離を図った。また、中間層のニューロン数は、ＥＭＧ信号のクロストークを積極的に利用しながら、舌筋と舌骨筋の筋活動を同時に考慮できるようアレイ電極２を構成する２電極間の組み合わせ数（9Ｃ2＝３６）と一致させた。
【００４６】
被験者は、健常成人男性１名(２２歳)である。実験は，アレイ電極２とマウスピース２１を装着した状態で行い、Ｃｈ１からＣｈ７まで圧力センサ２０に舌先Ｔａを押しつけた後、最大努力でもう一度、各センサに舌先Ｔａを押しつけ、最後に押しボタンスイッチを指で操作しながら嚥下運動，開口運動及びあくび運動を行った。これらの動作時間は１秒間とし、各動作の間に２秒間の脱力時間を設定した。以上の実験手順で、合計３セットの計測実験を行った。
【００４７】
１セット目の実験データを用いて、ネットワークを学習した後、未学習である２セット目および３セット目の実験動作に対して舌先Ｔａの位置と力の推定を行った。図９には、１セット目の実験データに対する推定結果を示した。その結果、各センサに押しつけた力の推定値が実測値(真値)とほぼ一致するとともに、誤認識することなく嚥下運動，開口運動及びあくび運動を正確に判別できることが確認された。
【００４８】
＜実施例２＞
アレイ電極２の付設条件及び圧力センサ２０の付設条件を上記の実施例１と同じにして、舌先Ｔａの上下フリック運動，左右フリック運動及び円運動の３つの運動状態を推定した。ここで、舌先Ｔａの上下フリック運動とは、舌先Ｔａを口蓋に接触させ、上または下になぞる動作である。舌先Ｔａの左右フリック運動とは、舌先Ｔａを口蓋に接触させ、左または右になぞる動作である。舌先Ｔａの円運動とは、舌先Ｔａを口蓋に接触させ、右まわりまたは左まわりに円を描く動作である。これら３つの動作は、携帯電話のディスプレイパネルのタッチ操作を模擬したものである。
【００４９】
上記と同様に（図７）、入力層，中間層，出力層からなる階層型ＮＮを用いた。ＥＭＧ信号を入力層(ニューロン数９個)、舌先Ｔａの上下フリック運動，左右フリック運動及び円運動にそれぞれ対応した識別信号を出力層(ニューロン数９個)に加え、各ニューロンの重みを誤差逆伝搬法で学習することで、顎裏で計測したＥＭＧ信号からの舌先Ｔａの上記運動の推定を行った。
舌先Ｔａの上下フリック運動，左右フリック運動及び円運動の際は、これらの運動に夫々対応した押しボタンスイッチによりＤＣ５Ｖ若しくはＤＣ２．５Ｖの識別信号を入力した。詳しくは、舌先Ｔａの上下フリック運動において、上フリックはＤＣ５Ｖ、下フリックはＤＣ２．５Ｖを入力した。舌先Ｔａの左右フリック運動において、左フリックはＤＣ５Ｖ、右フリックはＤＣ２．５Ｖを入力した。舌先Ｔａの円運動において、右回りはＤＣ５Ｖ、左回りはＤＣ２．５Ｖを入力した。
【００５０】
上記と同様に、被験者は、健常成人男性１名(２２歳)である。実験は，アレイ電極２とマウスピース２１を装着した状態で行い、各運動に対応した押しボタンスイッチを指で操作しながら、上フリック運動、下フリック運動、左フリック運動、右フリック運動、右まわりの円運動、左まわりの円運動を行った。以上の実験手順で、合計３セットの計測実験を行った。
【００５１】
１セット目の実験データを用いて、ネットワークを学習した後、未学習である２セット目および３セット目の実験動作に対して舌先Ｔａの運動を推定した。図１０には、１セット目の実験データに対する推定結果を示した。その結果、推定した運動識別信号が、教示信号である識別信号とほぼ一致するとともに、誤認識することなく舌先Ｔａの上下フリック運動，左右フリック運動及び円運動を正確に判別できることが確認された。
【００５２】
＜実施例３＞
図１１に示すように、マウスピース２１において、圧力センサ２０として、厚さ約０．２ｍｍのシート型力センサ(FlexiForce，ニッタ株式会社)を３枚貼り付けた。他は、実施例１と同様にし、Ｃｈ１からＣｈ３まで圧力センサ２０に舌先Ｔａを押しつけた後、最後に押しボタンスイッチを指で操作しながら嚥下運動ならびにあくび運動を行った。他は実施例１と同様の実験手順で計測実験を行った。結果を図１２に示す。
【００５３】
この結果から、推定したい舌先Ｔａの位置やその組み合わせを自由に選択しても、各センサに押しつけた力の推定値が実測値（真値）とほぼ一致するとともに、誤認識することなく嚥下運動、及びあくび運動を正確に判別できることが確認された。
【００５４】
尚、上記実施の形態では、特定の運動部位としての舌Ｔの顎口腔運動の状態を、舌先Ｔａの上顎内面Ｊに対する接触位置及び接触力で規定したが、必ずしもこれに限定されるものではなく、接触位置のみ、あるいは、接触力のみでも良く、適宜変更して差し支えない。また、舌先Ｔａの接触位置及び／または接触力は上顎内面Ｊに対するものに限定されるものではなく、例えば、頬肉，歯，口唇の内側あるいは外側等、舌先Ｔａが接触する部位であればどの部位を選択しても良く、適宜変更して差し支えない。更に、アレイ電極２の表面電極Ｅの数や、マウスピース２１の圧力センサ２０の数も上記に限定されるものではなく、適宜変更して差し支えない。
【００５５】
また、上記実施の形態では、ニューラルネットワーク１０は、入力層１１、中間層１２、出力層１３からなる３階層型ニューラルネットワーク１０を用いたが、必ずしもこれに限定されるものではなく、４階層以上のもの、あるいは、他の形式のニューラルネットワークにより構成しても良く、適宜変更して差し支えない。
【００５６】
尚また、上記実施の形態では、顎口腔運動として、舌Ｔの運動と嚥下運動，開口運動，あくび運動についての状態を推定する場合について説明したが、必ずしもこれに限定されるものではなく、例えば、顎の運動，顎の運動を伴う歯のかみ合わせの運動，咬合運動，咀嚼運動，あくび運動，顎や口唇の開閉運動，発声運動，喉頭隆起（喉仏）の運動等、どのような運動についての状態の推定であっても本発明を適用でき、適宜変更して差し支えない。
【００５７】
この場合、上記実施の形態においては、顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面を、顎裏エリアＨに設定したが、必ずしもこれに限定されるものではなく、上記の顎口腔運動を行う筋肉との関係で、どのような個所あるいはエリアに設定しても良く、適宜変更して差し支えない。また、筋電位信号を検出する電極の種類や数や大きさなども上記に限定されるものではなく、適宜変更して差し支えない。
【産業上の利用可能性】
【００５８】
本発明によれば、重度四肢麻痺者等の重度障害者の生活支援において僅かな残存機能から本人の動作意志を抽出する技術に適用でき、生活支援機器、リハビリテーションへの応用が期待できる。例えば、「あいうえお・・・」などの文字を舌先で描くことにより、パソコンに直接文字を入力することや、人工喉を利用して発話することも可能になる。また、電動車いすの運転制御，テレビゲーム用の舌コントローラ、携帯電話のディスプレイパネルのタッチ操作等、各種機械操作等のインタフェースとして利用できる。また、重度障害者だけでなく、健常者にも有用な技術として提供できることは勿論である。
【符号の説明】
【００５９】
Ｓ  顎口腔運動状態の推定装置
Ｔ  舌
Ｔａ  舌先
Ｊ  上顎内面
Ｈ  顎裏エリア
１  生体信号検出手段
２  アレイ電極（多点素子群）
Ｅ（Ｅ１〜Ｅｎ）  表面電極（生体信号検出素子）
３  前処理部
４  フィルムシート
５  リード電極
１０  ニューラルネットワーク
１１  入力層
１２  中間層
１３  出力層
２０（Ｃｈ１〜Ｃｈｎ）  圧力センサ
２１  マウスピース
３０  運動状態識別手段
３１  外部機器
３２  インターフェース
【図１】
0005924724.tif 000002
【図２】
0005924724.tif 000003
【図３】
0005924724.tif 000004
【図４】
0005924724.tif 000005
【図５】
0005924724.tif 000006
【図６】
0005924724.tif 000007
【図７】
0005924724.tif 000008
【図８】
0005924724.tif 000009
【図９】
0005924724.tif 000010
【図１０】
0005924724.tif 000011
【図１１】
0005924724.tif 000012
【図１２】
0005924724.tif 000013