(57)【要約】【課題】携帯型電子装置を利用しながら生体信号に基づき情報を認識することを可能にする。【解決手段】携帯電話と接続された送信機は、手の筋電信号等の生体信号に基づき情報を認識する認識手段と、生体信号の検出に影響する電磁波ノイズを発生する通信手段とを備える。そして、認識手段と通信手段とに所定の時間周期で動作許可信号を順次供給し、その動作許可信号を供給したときに、認識手段または通信手段を作動させる時分割制御を行う制御手段を設ける。【選択図】  図１
2004348382.tif 000002
【特許請求の範囲】
【請求項１】
生体信号に基づき情報を認識する認識手段と、前記生体信号の検出に影響するノイズ発生動作を行うノイズ発生手段とを備え、
前記認識手段と前記ノイズ発生手段とに動作許可信号を所定の時間周期で順次供給し、該動作許可信号を供給した前記認識手段または前記ノイズ発生手段を作動させる時分割制御を行う制御手段を設けたことを特徴とする携帯型電子装置。
【請求項２】
生体信号に基づき情報を認識する認識手段と、前記生体信号の検出に影響するノイズ発生動作を行うノイズ発生手段とを備え、
前記認識手段と前記ノイズ発生手段のいずれか一方に動作許可信号を順次供給し、該動作許可信号を供給した前記認識手段または前記ノイズ発生手段を作動させる時分割制御を行う制御手段を設けたことを特徴とする携帯型電子装置。
【請求項３】
生体信号に基づき情報を認識する認識手段と、前記生体信号の検出に影響するノイズ発生動作を行うノイズ発生手段とを備え、
前記認識手段は、動作許可信号が供給されたときに生体信号に基づき情報を認識する認識動作を行い、前記ノイズ発生手段は、動作許可信号が供給されたときに前記ノイズ発生動作を行うことを特徴とする携帯型電子装置。
【請求項４】
生体信号に基づき情報を認識する認識手段と、前記生体信号の検出に影響するノイズ発生動作を行うノイズ発生手段とを備えた携帯型電子装置の制御方法において、
前記認識手段と前記ノイズ発生手段とに、動作許可信号を所定の時間周期で順次供給し、該動作許可信号を供給した前記認識手段または前記ノイズ発生手段を作動させる時分割制御を行うことを特徴とする携帯型電子装置の制御方法。
【請求項５】
生体信号に基づき情報を認識する認識手段と、前記生体信号の検出に影響するノイズ発生動作を行うノイズ発生手段とを備えた携帯型電子装置の制御方法において、
前記認識手段と前記ノイズ発生手段のいずれか一方に動作許可信号を順次供給し、該動作許可信号を供給した前記認識手段または前記ノイズ発生手段を作動させる時分割制御を行うことを特徴とする携帯型電子装置の制御方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、携帯電話、ＰＤＡ、ウェアラブルＰＣ等の携帯型電子装置およびそれを作動させるための制御方法に関する。
【０００２】
【従来の技術】
従来から、携帯電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）や、ウェアラブルコンピュータ（体に装着して使用する携帯型コンピュータ、以下「ウェアラブＰＣ」という）等の携帯型電子装置はそれぞれ他の装置との関連なく、独立して作動可能なように設計されている。もちろん、係る携帯型電子装置は他の装置と連携して作動させることもできる。例えば、携帯電話とＰＤＡを連携させたり、携帯電話とウェアラブルＰＣを連携させたり、さらにはＰＤＡとウェアラブＰＣを連携させて作動させることが可能である。
【０００３】
ところで、近年、脳波や筋電信号等の生体から得られる信号（生体信号）を測定し、それを解析および信号処理した上で、情報機器の入力として用いることが可能となってきており、そのための各種入力インターフェース（生体信号入力Ｉ／Ｆ）が開発されている。従来のダイヤルキーやキーボード等の入力手段は、小型化が難しく、携帯型電子装置を小型化する際の障害になっていたことから、生体信号入力Ｉ／Ｆを採用することで、従来の入力手段が不要になり、携帯型電子装置自体の小型化が可能となる。そのため、携帯型電子装置と生体信号入力Ｉ／Ｆの融合は有意義であると考えられている。
なお、従来の生体信号を計測する装置に関し、例えば次の特許文献１に開示されているものがあった（例えば、特許文献１参照。）。
【０００４】
【特許文献１】
特開２００２−３２０５９１号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、生体信号は非常に微弱な信号であるため、測定または検出の際に外部からノイズの影響を受けやすい。そのため、生体信号の取り扱いにはノイズに対する十分な注意が必要とされ、このことが携帯型電子装置と生体信号入力Ｉ／Ｆを融合する上での課題となっていた。
一方、携帯型電子装置はその外部に比較的大きな電磁波を発生し、それが電磁的ノイズとなることが多い。このような電磁的ノイズは、一般に他の携帯型電子装置に対しては影響が少なく動作を不安定にすることはないが、生体信号の検出に対してはノイズとなって非常に大きな影響を及ぼす。特に携帯電話は外部に電磁波を放射することを基本的な機能としているから、生体信号の検出に影響しないように、その電磁波を遮断することが重要であるが、従来これを実現するための技術は知られていなかった。
【０００６】
そこで、本発明は上記課題を解決するためになされたもので、ノイズを発生する携帯型電子装置を利用しながら生体信号に基づき情報を認識することが可能な携帯型電子装置およびその制御方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、本発明は生体信号に基づき情報を認識する認識手段と、生体信号の検出に影響するノイズ発生動作を行うノイズ発生手段とを備え、認識手段とノイズ発生手段とに動作許可信号を所定の時間周期で順次供給し、その動作許可信号を供給した認識手段またはノイズ発生手段を作動させる時分割制御を行う制御手段を設けた携帯型電子装置を特徴とする。
この携帯型電子装置は、認識手段とノイズ発生手段とを時分割制御で作動させることにより、双方の作動期間を分けて重ならないようにし、双方の動作を両立させている。
【０００８】
また、本発明は、生体信号に基づき情報を認識する認識手段と、生体信号の検出に影響するノイズ発生動作を行うノイズ発生手段とを備え、認識手段とノイズ発生手段のいずれか一方に動作許可信号を順次供給し、その動作許可信号を供給した認識手段またはノイズ発生手段を作動させる時分割制御を行う制御手段を設けた携帯型電子装置を提供する。
この携帯型電子装置も、認識手段とノイズ発生手段とを時分割制御で作動させることにより、双方の作動期間を分けて重ならないようにし、双方の動作を両立させている。
さらに本発明は、生体信号に基づき情報を認識する認識手段と、生体信号の検出に影響するノイズ発生動作を行うノイズ発生手段とを備え、認識手段は、動作許可信号が供給されたときに生体信号に基づき情報を認識する認識動作を行い、ノイズ発生手段は、動作許可信号が供給されたときにノイズ発生動作を行う携帯型電子装置を提供する。
この携帯型電子装置は認識手段の認識動作とノイズ発生手段のノイズ発生動作の期間が重ならないようになっている。
【０００９】
そして、本発明は、生体信号に基づき情報を認識する認識手段と、生体信号の検出に影響するノイズ発生動作を行うノイズ発生手段とを備えた携帯型電子装置の制御方法において、認識手段とノイズ発生手段とに、動作許可信号を所定の時間周期で順次供給し、その動作許可信号を供給した認識手段またはノイズ発生手段を作動させる時分割制御を行う携帯型電子装置の制御方法を提供する。
また生体信号に基づき情報を認識する認識手段と、生体信号の検出に影響するノイズ発生動作を行うノイズ発生手段とを備えた携帯型電子装置の制御方法において、認識手段とノイズ発生手段のいずれか一方に動作許可信号を順次供給し、その動作許可信号を供給した認識手段またはノイズ発生手段を作動させる時分割制御を行う携帯型電子装置の制御方法を提供する。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。なお、同一要素には同一符号を用い、重複する説明は省略する。
図２は、本発明の特徴とする制御を行う送信機１６を利用して、利用者１０が携帯電話１２と筋電信号検出電極１４を使用する状態の一例を示す図である。図２に示すように、利用者１０は、送信機１６を腰部に装着するとともに、筋電信号検出電極１４を一方の手１０ｂに装着し、他方の手１０ｃに携帯電話１２を持っている。この図２では、図示しないロボットハンドが設置された遠隔地のユーザ（図示せず）と、利用者１０が携帯電話１２により会話をしながら、手１０ｂを動かしロボットハンドを遠隔操作する状態を想定している。
【００１１】
携帯電話１２は、図３に示すように、折畳式の構成を有し、表面に筋電信号検出電極１２ａが３つ設けられている。
各筋電信号検出電極１２ａは利用者１０の顔の皮膚が接触する面に設けられ、顔（特に頬や顎、口の周囲）の筋電信号を検出するための板状の電極からなり、利用者１０の筋電信号を検出する。携帯電話１２は、利用者１０が自らの頭部の近くに配置して筋電信号検出電極１２ａを頬や顎に接触させることができる。
【００１２】
また、携帯電話１２は、図４に示すように、筋電信号検出電極１２ａのほか、音声認識手段１２ｂ、通信手段１２ｃおよびスピーカ１２ｄを有している。音声認識手段１２ｂは、生体信号に基づき情報を認識する認識手段であって、生体信号に基づき情報を認識する動作（以下「認識動作」という）を実行する。すなわち、音声認識手段１２ｂは、筋電信号検出電極１２ａが検出した筋電信号を入力し、その筋電信号に基づいて（筋電信号の変化から）、利用者１０が発しようとしている音声情報を認識し、音声データを生成する。音声認識手段１２ｂは、配線ａにより送信機１６に接続され、その後述する制御手段１６ｃの時分割制御にしたがって作動する。なお、音声を認識する技術には各種技術があるので音声認識手段１２ｂにはそれを適用することができる。
【００１３】
通信手段１２ｃは、移動通信機能を有する手段であって、音声認識手段１２ｂが生成した音声データを図示しない携帯電話１２の基地局等に送信する。また、通信手段１２ｃは、その基地局等から相手方との通話のメッセージデータを受信し、その受信したメッセージデータに対応する音声をスピーカ１２ｄから出力させる。この通信手段１２ｃは配線ａにより送信機１６に接続され、その制御手段１６ｃの時分割制御にしたがって作動する。
ここで、制御手段１６ｃの時分割制御は、筋電信号検出電極１２ａによる生体信号の検出に影響する後述のノイズ発生動作を行うノイズ発生手段（通信手段１２ｃ，通信手段１６ｂ）と、認識手段（音声認識手段１２ｂ，動作認識手段１６ａ）とに動作許可信号を所定の時間周期で順次供給するとともに、その周期をある程度短くすることにより、みかけ上、前者の動作と後者の動作とが同時並行的に行われるようにするものである。
【００１４】
スピーカ１２ｄは通信手段１２ｃからメッセージデータを入力して、それを音声に変えて出力する。利用者１０はこの音声、すなわち相手方からの通話メッセージを聞くことが出来る
携帯電話１２は、筋電信号検出電極１２ａとともに音声認識手段１２ｂと通信手段１２ｃを設けているため、利用者１０が声を出さなくても（発声しなくても）、声を出すように口を動かすことによって音声を入力し、それを相手方に送信して会話（無声会話）を行えるように構成されている。図２では、利用者１０が声を出さず口１０ａだけを声を出すように動かして無声会話を行っている状態を想定している。例えば、利用者１０が人ごみにいて、声を出して会話を行うことが公衆マナーに違反するような場合は、この無声会話ができる携帯電話１２が好ましいものとなる。
【００１５】
携帯電話１２のように、顔面の頬および顎の筋肉による筋電信号を計測して、無声会話を可能とする技術は従来から知られている。例えば、２００２年３月２２日付け発行の日本経済新聞には、その第１面において、筋肉の動きを読みとり会話を行える携帯電話（読唇携帯電話）に関する事項が開示されている。
また、特開平６−１２４８３号公報には、唇周囲の筋電信号波形から発声単語を認識可能な技術が開示されている。
さらに、特開平７−１８１８８８号公報には、口周辺の筋電信号に基づいた合成音声を出力する音声代行装置が開示されている。
【００１６】
筋電信号検出電極１４は利用者１０の手１０ｂに装着可能な構成を有し、配線ｂにより送信機１６に接続されている。そして、筋電信号検出電極１４は手１０ｂの動きによる筋電信号を検出し、その検出した筋電信号を配線ｂを介して送信機１６に送信する。この筋電信号検出電極１４が装着された手１０ｂを利用者１０が動かすことにより手１０ｂの動作が検出され、図示しないロボットハンドが遠隔操作される。
なお、手に筋電信号検出電極１４を装着してロボットハンドを作動させる技術が従来から知られている。例えば、特開平２−２９８４７９号公報には学習型のロボットハンドが開示されている。
【００１７】
また、特開平５−１１１８８１号公報には、筋電信号を高速フーリエ変換した信号を用いてニューラルネットワークを学習させ、ニューラルネットワークを用いて手の動きを認識することによって、ロボットハンドの制御を行う技術が開示されている。
さらに、特開平６−３９７５４号公報には、雑音に強いニューラルネットワークを用いて手の動きを認識することによって、ロボットハンドの制御を行う技術が開示されている。
【００１８】
送信機１６は、利用者１０が携帯可能な携帯型の装置であって、図５に示すように、動作認識手段１６ａと、通信手段１６ｂおよび制御手段１６ｃを有している。
動作認識手段１６ａは、生体信号に基づき情報を認識する認識手段であって、音声認識手段１２ｂと同様、認識動作を実行する。この動作認識手段１６ａは、筋電信号検出電極１４が検出した手１０ｂの筋電信号を入力し、その筋電信号に基づいて（筋電信号の変化から）、手１０ｂの動作情報を認識し、手動作データを生成する。動作認識手段１６ａは制御手段１６ｃの時分割制御にしたがって作動する。なお、手の動作を認識する技術は上述のように従来公知であり、動作認識手段１６ａにはその従来技術を適用することができる。
【００１９】
通信手段１６ｂは、送信機１６を携帯電話として作動させるために必要な移動通信機能を内蔵し、その通信機能により、動作認識手段１６ａが生成した手１０ｂの手動作データを遠隔地のロボットハンドに送信する（このとき、そのロボットハンドは送信された手動作データに対応した動作を行う）。携帯電話による通信システムは、音声のみならずデータ通信でも用いられるので、通信手段１６ｂはこのデータ通信を用いて手動作データを送信することができる。この通信手段１６ｂも制御手段１６ｃの時分割制御にしたがって作動する。
【００２０】
制御手段１６ｃは、通信手段１６ｂと動作認識手段１６ａが接続され、携帯電話１２の通信手段１２ｃおよび音声認識手段１２ｂが配線ａにより接続されている。この制御手段１６ｃは、時分割制御の対象となる通信手段１２ｃ、音声認識手段１２ｂ、通信手段１６ｂおよび動作認識手段１６ａの各手段（以下、時分割制御の対象となるこれらの手段を「時分割対象手段」という）に、後述する動作許可信号を所定の時間周期で、いずれか一つに選択的に供給する。これにより、時分割対象手段の各手段が順番に作動する。そのため、音声認識手段１２ｂや動作認識手段１６ａが認識動作を実行する際には、通信手段１２ｃや通信手段１６ｂが動作を行わないように制御され、携帯電話１２における生体信号の検出およびそれに基づく情報の認識がノイズのない状況下で安定して行われる。
【００２１】
次に、制御手段１６ｃによる時分割制御の手順について、図１に示すフローチャートを参照して説明する。図１は制御手段１６ｃによる時分割制御の手順を示すフローチャートである。なお、図１ではステップをＳと略記している。
制御手段１６ｃは、図示しないメインルーチンから起動されるとステップ１に進み、時分割制御の対象となる動作（時分割動作）を行うか否かを判断する。なお、この判断は利用者１０の指示に基づいて行うのが好ましい。例えば、送信機１６に動作モードを指示するスイッチ（モードスイッチ１６ｄ、図２参照）を設け、利用者１０によるモードスイッチ１６ｄの設定により判断するとよい。この場合、利用者１０はモードスイッチ１６ｄを操作して、通信動作と生体信号の検出に関する動作を共存する必要があるか否かを指示する（共存する必要ありの場合に時分割動作を行う）。ステップ１で時分割動作を行わないと判断したときはステップ２に進み、時分割動作を行うと判断したときはステップ３に進む。
【００２２】
ステップ２では、時分割動作を行わないので、制御手段１６ｃは時分割対象手段（通信手段１２ｃ、通信手段１６ｂ、音声認識手段１２ｂ、動作認識手段１６ａのすべて）に動作許可信号を出力し、各手段が自由に動作可能にする。その後ステップ１１に進む。
ステップ３に進むと、時分割動作を行うので、制御手段１６ｃは時分割対象手段のうち、まず通信手段１２ｃに動作許可信号を出力し、その他の通信手段１６ｂ、音声認識手段１２ｂおよび動作認識手段１６ａには動作許可信号を出力しない。これにより、通信手段１２ｃは動作を自由に行い、電磁波ノイズを放射する等の生体信号の検出に影響する動作を行うこともある。しかし、音声認識手段１２ｂおよび動作認識手段１６ａは動作を実行することができないので、音声情報を認識する認識動作等のその電磁波ノイズの影響を受ける動作は実行されない。
【００２３】
続いてステップ４に進み、制御手段１６ｃが時間の計測を行い、その時間が所定の時間（以下この所定の時間を「待機時間」という）を経過した後にステップ５に進む。この待機時間は例えば２０ｍｓ程度の値に設定し得るが、これには限定されずどのような値でもよい。
ステップ５に進むと、制御手段１６ｃは時分割対象手段のうち通信手段１６ｂに動作許可信号を出力し、その他の通信手段１２ｃ、音声認識手段１２ｂおよび動作認識手段１６ａには動作許可信号を出力しない。そのため、通信手段１６ｂが動作を自由に行い、電磁波ノイズを放射する等の生体信号の検出に影響する動作を行うこともある。しかし、音声認識手段１２ｂおよび動作認識手段１６ａは音声情報を認識する認識動作等の電磁波ノイズの影響を受ける動作およびその他の動作も実行されない。
【００２４】
続くステップ６でステップ４と同様の待機時間を経過した後にステップ７に進み、制御手段１６ｃは音声認識手段１２ｂに動作許可信号を出力し、その他の通信手段１６ｂ、通信手段１２ｃおよび動作認識手段１６ａには動作許可信号を出力しない。そのため音声認識手段１２ｂが作動する。このとき、筋電信号検出電極１２ａにより検出された筋電信号に基づき音声情報を認識する動作のように、電磁波ノイズの影響を受ける認識動作が実行されることもある。しかし、通信手段１２ｃと、通信手段１６ｂによるノイズ発生動作は実行できない。
【００２５】
続くステップ８でステップ４と同様に待機時間を経過した後にステップ９に進み、制御手段１６ｃは動作認識手段１６ａに動作許可信号を出力し、その他の通信手段１６ｂ、通信手段１２ｃおよび音声認識手段１２ｂには動作許可信号を出力しない。そのため、動作認識手段１６ａが作動する。このとき、筋電信号検出電極１４により検出された筋電信号に基づき手の動作情報を認識する動作のように、電磁波ノイズの影響を受ける認識動作が実行されることがある。しかし、通信手段１２ｃ、通信手段１６ｂによるノイズ発生動作は実行されない。
続くステップ１０で、ステップ４と同様に待機時間を経過した後にステップ１１に進み、終了指示の有無を判断する。終了指示が有れば時分割制御を終了するが、無ければステップ１に戻り、上述の各ステップが繰り返される。
【００２６】
以上のように、本実施の形態では、上述の制御手段１６ｃが時分割対象手段の各手段に所定の待機時間を置いて周期的に動作許可信号を出力し、その動作許可信号を出力した手段を作動させる時分割制御を行っている。それにより、利用者１０の生体信号に基づき情報を認識する認識動作と、その生体信号の検出に影響するノイズ発生動作とが時間的に重ならないようにそれぞれの実行タイミングがずれ、それぞれの重畳が排除されている。これにより、携帯電話１２を作動させながら（通話を行いながら）、ノイズの少ない環境下で生体信号に基づき情報を認識することが可能となる。これにより、携帯型電子装置の入力に生体信号を利用することが可能となり、携帯型電子装置の小型化を図ることが可能となる。
【００２７】
ところで、図１に示した時分割制御によると、時分割対象手段のいずれか１つが作動している間は他の手段が作動しないことになる。そのため、例えば、通信手段１２ｃが後述する非ノイズ発生動作を実行している（ノイズを発生していない）ときでも、他の手段が作動しなくなり、携帯電話１２と送信機１６の連携が効率的に行われ難い状況が想定される。そこで、制御手段１６ｃの時分割制御を図６に示すようにして行うとよい。図６では、ノイズ発生手段（通信手段１２ｃ，通信手段１６ｂ）の動作をノイズ発生動作と非ノイズ発生動作とに分けるとともに、認識手段（音声認識手段１２ｂ，動作認識手段１６ａ）の動作を認識動作とノイズに影響されない動作（以下「非ノイズ影響動作」という）とに分けている。そして、ノイズ発生動作と認識動作が重ならないように、時分割対象手段を以下のように制御している。
【００２８】
すなわち、制御手段１６ｃは、各ノイズ発生手段と各認識手段に動作許可信号を所定の時間周期（期間Ｔ１，Ｔ２，Ｔ３，Ｔ４）で順次供給して（各期間Ｔ１，Ｔ２，Ｔ３，Ｔ４の開始タイミングに供給する）、その各期間中にノイズ発生動作と認識動作を行い、各期間中に非ノイズ発生動作と非ノイズ影響動作とを同時並行的に実行するようにしている。
続いて、制御手段１６ｃによるこの時分割制御の具体的な内容について、図７を参照して詳細に説明する。図７は、時分割対象手段のそれぞれの動作タイミングを示すタイミングチャートである。
【００２９】
図７では、ノイズ発生手段（通信手段１２ｃ、通信手段１６ｂ）による動作と認識手段（音声認識手段１２ｂ、筋電信号検出電極１４）による動作が見かけ上同時並行的に実行されている。ここでは、制御手段１６ｃが期間Ｔ１，Ｔ２，Ｔ３，Ｔ４で示される各期間の開始タイミングにおいて、動作許可信号を時分割対象手段の各手段に順次出力している。
携帯電話１２は通信を行う以上、外部に電磁波を放射する。これはノイズ発生動作である。図７（ａ）の動作チャートに示すように、通信手段１２ｃは制御手段１６ｃにより、そのノイズ発生動作を所定の時間を置いて周期的に実行するように制御されている。すなわち、通信手段１２ｃは期間Ｔ１で示されるタイミングでノイズ発生動作を実行し、所定の時間（Ｔ２＋Ｔ３＋Ｔ４）経過後、再びノイズ発生動作を実行する。しかし、その間はノイズ発生動作を実行せず、非ノイズ発生動作を実行している。
【００３０】
また、送信機１６もノイズ発生動作を所定の時間を置いて周期的に実行するように制御されている。すなわち、同図７（ｂ）の動作チャートに示すように、通信手段１６ｃが期間Ｔ２で示されるタイミングでノイズ発生動作を実行し、所定の時間（Ｔ３＋Ｔ４＋Ｔ１）経過後、再びノイズ発生動作を実行する。しかし、その間はノイズ発生動作を実行せず、非ノイズ発生動作を実行している（または休止状態である）。
このように、携帯電話１２と送信機１６は常にノイズ発生動作を行っているのではなく、ノイズ発生動作と非ノイズ発生動作とを周期的に繰り返すことによってそれぞれが一連の動作を行っている。
【００３１】
ここで、ノイズ発生動作とは、生体信号の検出を行う上で大きな（測定可能または認識可能な）影響を及ぼす動作をいい、非ノイズ発生動作とは、生体信号を検出する上で大きな影響を与えない動作（影響を全く及ぼさない動作のほか、影響を及ぼすが、その影響が生体信号の検出を行う上で無視しえる程度のものを含む）をいう。例えば、携帯電話１２の通信手段１２ｃが基地局に音声データを送信する動作は、外部に電波を放射する動作であるからノイズ発生動作である。これに対し、通信手段１２ｃが基地局から受信したメッセージデータに対応する音声をスピーカ１２ｄから出力させる動作や、筋電信号検出電極１４が検出した筋電信号に基づいて、音声認識手段１２ｂが音声情報を認識し、音声データを生成する動作や、その音声データを基地局への送信形式に変換する動作は非ノイズ発生動作である。
【００３２】
非ノイズ発生動作として、携帯電話１２が顔の筋電信号に基づき音声情報を認識する動作の例を示したが、他にも非ノイズ発生動作が存在する。例えば、通常の音声による会話のために携帯電話１２がそのマイクで受けた信号を処理して基地局への送信形式に変換する動作は外部との信号のやりとりの必要がなく、携帯電話１２内で閉じた処理であるから、非ノイズ発生動作である。
また、携帯電話１２以外の携帯型電子装置、例えば、ＰＤＡやウェアラブルＰＣでも、ノイズ発生動作の定義は同様である。例えば、外部との特に信号のやりとり等が必要なくても、高速演算処理は消費電力の増大に伴い外部にノイズを発生させ、生体信号の検出を行う上で大きな影響を及ぼし得るから、ノイズ発生動作に該当することがある。
【００３３】
携帯電話１２と送信機１６の各動作は、演算速度によりノイズ発生動作であるか否かを判断することができる。演算速度が一定値以上の高速演算は、生体信号の検出に大きな影響を及ぼすことがあると考えられているからである。この点に着目すると、演算速度が一定値以上の高速演算を行う動作がノイズ発生動作であり、演算速度がその一定値以下の低速演算を行う動作が非ノイズ発生動作と判断することができる。
また、携帯電話１２と送信機１６の各動作は、消費電力によりノイズ発生動作か否かを判断することもできる。一定値以上の消費電力が発生していると、発生するノイズも多く、生体信号の検出に大きな影響を及ぼすことがあり得るからである。この点に着目し、消費電力が一定値以上の動作をノイズ発生動作、一定値未満の動作を非ノイズ発生動作と判断するようにしてもよい。
【００３４】
一方、ノイズ発生手段（通信手段１２ｃ、通信手段１６ｂ）がノイズ発生動作を行っている期間中に認識手段（音声認識手段１２ｂ、筋電信号検出電極１４）が認識動作を行うと、生体信号の検出に大きな影響が及ぶ（検出される生体信号にノイズが混入し得る）恐れがある。しかし、ノイズ発生手段が非ノイズ発生動作を実行している期間中には、その恐れはないので、認識手段が認識動作を行ってもよい。
そこで、図７（ｃ）の動作チャートに示すように、音声認識手段１２ｂは期間Ｔ１および期間Ｔ２では非ノイズ発生動作（例えば、生体信号を解析或いは信号処理する動作、音声データを生成する等の動作）を行い、期間Ｔ３においてだけ認識動作を行う。また、同図７（ｄ）の動作チャートに示すように、動作認識手段１６ａは期間Ｔ１から期間Ｔ３までは非ノイズ発生動作（例えば、生体信号を解析或いは信号処理する動作、手動作データを生成する等の動作）を行うか、休止状態にあり、期間Ｔ４においてだけ認識動作を行う。
【００３５】
期間Ｔ２では、制御手段１６ｃが通信手段１６ｂにのみ動作許可信号を出力することで、通信手段１６ｂがノイズ発生動作を行う。この期間Ｔ２でも、音声認識手段１２ｂや動作認識手段１６ａは、生体信号の検出に大きく影響しない非ノイズ影響動作なら実行することができる。例えば、それ以前に認識した筋電信号に基づき、音声の認識動作を実行することができる。
また、期間Ｔ３では、制御手段１６ｃが音声認識手段１２ｂにのみ動作許可信号を出力するので、音声認識手段１２ｂが筋電信号検出電極１２ａから筋電信号を入力し、その筋電信号に基づき音声情報を認識する。期間Ｔ３では、通信手段１２ｃと通信手段１６ｂは非ノイズ発生動作を実行している（または休止状態である）。例えば、通信手段１２ｃは期間Ｔ１で受信した（通信相手方の）音声データをスピーカ１２ｄから出力させる動作を続行する。また、通信手段１６ｂはロボットハンドから送られてきたデータ（期間Ｔ２で受信したデータ）の解析処理等を行う。これらは生体信号の検出に影響を与えない非ノイズ発生動作である。通信手段１２ｃと通信手段１６ｂは非ノイズ発生動作を実行するが、ノイズ発生動作を実行しないので、音声認識手段１２ｂは筋電信号の入力を電磁波ノイズに妨害されることなく行える。
【００３６】
期間Ｔ４では、制御手段１６ｃが動作認識手段１６ａにのみ動作許可信号を出力するので、動作認識手段１６ａが筋電信号検出電極１４を介して筋電信号を入力し、その筋電信号に基づき手の動作情報を認識する。この期間Ｔ４では、通信手段１２ｃと通信手段１６ｂは非ノイズ発生動作を実行している（または休止状態である）。例えば、期間Ｔ３と同様に、通信手段１２ｃは音声をスピーカ１２ｄから出力させる動作を実行し、通信手段１６ｂはロボットハンドから送られてきたデータ（期間Ｔ２で受信したデータ）の解析処理等を行う。
【００３７】
また、この期間Ｔ４では、音声認識手段１２ｂが、期間Ｔ３で入力した筋電信号に基づき、利用者１０が発声しようとする音声データを生成するようにするとよい。ここで生成された音声データは、次の周期Ｔ１で通信手段１２ｃによる送信の対象とされる。これらは生体信号の検出に影響を与えない非ノイズ発生動作である。期間Ｔ４でも、通信手段１２ｃと通信手段１６ｂは非ノイズ発生動作を実行するが、ノイズ発生動作は実行しないので、動作認識手段１６ａは筋電信号の入力を電磁波ノイズ等に妨害されることなく行える。
以上のようにして時分割制御を行うと以下のような作用効果が得られる。図１に示す時分割制御では、動作許可信号を供給した手段のみが作動し、他の手段は作動しないように制御しているので、各手段が作動しない期間が存在し得る。しかし、図７では、各手段が作動しない期間を極力少なくし、みかけ上同時並行的に作動しているようにすることができるので、携帯電話１２と送信機１６の連携が一層効率的になる。
【００３８】
なお、図７のタイミングチャートでは、各期間Ｔ１，Ｔ２，Ｔ３，Ｔ４にはそれぞれ同じ時間幅が与えられているが、全体としてのパフォーマンス向上を目指してそれぞれに適した異なる時間幅を与えることもできる。各期間Ｔ１，Ｔ２，Ｔ３，Ｔ４は例えば２０ｍｓｅｃ程度の時間に設定することができる。この程度の時間をかけて筋電信号を検出すれば、音声の解析処理を良好に行えるからである。また、通信手段１２ｃの通信規格によって、期間Ｔ１は長短自在にすることができる。
図７ではノイズ発生手段が２つ（通信手段１２ｃ，通信手段１６ｂ）であり、認識手段が２つ（音声認識手段１２ｂ、動作認識手段１６ａ）である場合を例にとって説明しているが、いずれも２個以上有していてもよい。そして、各手段を時分割対象手段に設定して、上述した本発明の時分割制御を適用すれば同様の作用効果が得られる。もちろん、いずれも１つだけ有していてもよい。
【００３９】
また、時分割制御を行う制御手段１６ｃを送信機１６が有しているが、この制御手段１６ｃによる時分割制御と同じ時分割制御を行う制御手段を携帯電話１２に設けてもよい。この場合も、携帯電話１２によるノイズ発生動作と認識動作が時間的に重ならないようになるから、携帯電話１２で通話をしながら、ノイズの少ない環境下で生体信号に基づき情報を認識することが可能となる。
ところで、上述した携帯電話１２と送信機１６は同期して作動しなければならない。つまり、通信手段１２ｃ、通信手段１６ｂ、音声認識手段１２ｂおよび動作認識手段１６ａの動作は同期がとられていなければならない。その同期動作のため、携帯電話１２と送信機１６は配線ａより接続され、いわば有線通信システムで接続されている（ケーブルで接続されている）。このような接続によって、制御手段１６ｃが、通信手段１２ｃ等に動作許可信号を供給し、動作の同期を制御している。
【００４０】
上述の説明では、配線ａ，ｂにより、送信機１６は携帯電話１２と筋電信号検出電極１４に有線接続（ケーブル接続）されているが、有線接続の代わりに生体信号に影響を与えない程度の無線通信システムにより接続してもよい。米国ＩＢＭ社の以下のウェブサイトにも、無線通信システムによる接続に関する文献１が開示されている。
文献１：「Ｓｙｓｔｅｍｓ  Ｊｏｕｒｎａｌ  ｐｅｒｓｏｎａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋｓ：Ｎｅａｒ−ｆｉｅｌｄ  ｉｎｔｒａｂｏｄｙ  ｃｏｍｍｕｎｉｃａｔｉｏｎ  ｂｙ  Ｔ．Ｇ．Ｚｉｍｍｅｒｍａｎ  Ｒｅｐｒｉｎｔ  Ｏｒｄｅｒ  Ｎｏ．Ｇ３２１−５６２７」
ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｒｅｓｅａｒｃｈ．ｉｂｍ．ｃｏｍ／ｊｏｕｒｎａｌ／ｓｊ／ｍｉｔ／ｓｅｃｔｉｏｎｅ／ｚｉｍｍｅｒｍａｎ．ｈｔｍｌ
この接続は、生体を導線とみなして通信を行うものである。以下の説明では、このような無線通信システムによる接続を「生体ＬＡＮ」という。制御手段１６ｃがこの生体ＬＡＮを介して時分割対象手段に上述の時分割制御を行い、携帯電話１２を同期して作動させることもできる。
【００４１】
図８はノイズ発生動作を実行する第１の携帯型電子装置と、ノイズ発生動作の影響を受ける認識動作を実行する第２の携帯型電子装置が、生体ＬＡＮにより１台づつ接続されている無線通信システムのタイミングチャートの一例を図示したものである。もちろん、双方の携帯型電子装置は複数個接続されていてもよい。ここでは、第１の携帯型電子装置は携帯電話であり、第２の携帯型電子装置は筋電信号の検出装置を想定している（いずれも図示せず）。
以下の説明では、その第２の携帯型電子装置が筋電信号を検出し、それを解析および信号処理して利用者の発話内容を認識し、その認識した発話内容のデータを生体ＬＡＮを介して第１の携帯型電子装置に伝送することを想定している。こうすることにより、利用者が第１の携帯型電子装置を用いて他のユーザと通話を行う。
【００４２】
生体ＬＡＮを用いることにより、携帯型電子装置同士を通信ケーブルを介さずに接続することができるので、配線の引き回しが不要になり、接続作業が非常に容易になる。また、接続が容易になると、例えば上述の携帯電話１２や筋電信号検出電極１４を同期して作動させるための制御も簡易になる。
まず、第２の携帯型電子装置は、例えば以下の文献２、文献３に開示されている技術にしたがい筋電信号を検出し、それを解析および信号処理して利用者の動作データ（例えば、手の動作データ）を生成する。
文献２：ＩＥＥＥ生体医用工学会誌「Ｎｏｂｏｒｕ  Ｓｕｇｉｅ  ｅｔ  ａｌ．，  ”Ａ  ｓｐｅｅｃｈ  Ｅｍｐｌｏｙｉｎｇ  ａ  Ｓｐｅｅｃｈ  Ｓｙｎｔｈｅｓｉｚｅｒ  Ｖｏｗｅｌ  Ｄｉｓｃｒｉｍｉｎａｔｉｏｎ  ｆｒｏｍ  Ｐｅｒｉｏｒａｌ  Ｍｕｓｃｌｅｓ  Ａｃｔｉｖｉｔｉｅｓ  ａｎｄ  Ｖｏｗｅｌ  Ｐｒｏｄｕｃｔｉｏｎ，”    ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  ＢｉｏｍｅｄｉｃａｌＥｎｇｉｎｅｅｒｉｎｇ，  ｖｏｌ．３２  Ｎｏ．７，ｐｐ４８５−４９０」
文献３：特開平７−１８１８８８号公報
【００４３】
そして、第２の携帯型電子装置は生成された動作データを生体ＬＡＮを通じて第１の携帯型電子装置に伝送する。すると、第１の携帯型電子装置から外部のユーザと通話することが可能になる。
この無線通話システムでは、第２の携帯型電子装置が生体信号を検出し、その検出した生体信号を解析および信号処理して発話内容を認識する。このとき、第１の携帯型電子装置が外部と無線で通信を行っている間は、生体信号の検出に影響する電磁的ノイズが発生し、検出される生体信号にその電磁的ノイズが混入するおそれがある。そのため、第１、第２の携帯型電子装置は図８に示す手順にしたがい、以下のように作動する。
まず、図８（ａ）の動作チャートに示すように、第１の携帯型電子装置がステップ２１で外部と無線通信を行い、同図（ｂ）に示すように、次のステップ２２で生体ＬＡＮにより第２の携帯型電子装置と通信を行う。次に、ステップ２３において、第１の携帯型電子装置が生体信号の検出に影響を与えない程度にまで無線出力のレベルを落とす。これにより、第１の携帯型電子装置は非ノイズ発生動作を実行していることになる。
【００４４】
このとき、同図（ｃ）に示すように、ステップ２３では、第２の携帯型電子装置が生体信号を検出し、検出した生体信号を解析および信号処理して発話内容の情報を認識する。また、続くステップ２４で、その認識した発話内容のデータを生体ＬＡＮを介して第１の携帯型電子装置に伝送する（生体ＬＡＮ通信）。ステップ２５に進むと、その発話内容のデータを受領した第１の携帯型電子装置が無線出力のレベルを増大した上で、外部へその発話内容のデータを伝送する。このとき、第１の携帯型電子装置はノイズ発生動作を実行している。なお、第１の携帯型電子装置はそれと同時に外部から信号を受け取ることもできる。
【００４５】
次に、ステップ２６以降、以上の手順にしたがった処理を繰り返し実行する。これにより、第１の携帯型電子装置による通話と、第２の携帯型電子装置による生体信号の検出とを、生体ＬＡＮを用いた時分割制御により両立させることができる。
この通話システムでは、生体ＬＡＮを用いた場合を示しているが、生体ＬＡＮを用いるのではなく、有線回線や無線でもよい。また、生体ＬＡＮに関しても、上記した文献１によるものだけでなく、他の方式による生体ＬＡＮを用いてもよい。
【００４６】
【発明の効果】
以上詳述したように、本発明によれば、ノイズを発生する携帯型電子装置を使用しながら、脳波や筋電信号等の生体信号を検出して生体信号に基づき情報を認識することができる。したがって、携帯型電子装置において、生体信号を入力インターフェースとして利用することが可能となり、携帯型電子装置のさらなる小型化が期待できる。
【図面の簡単な説明】
【図１】制御手段による時分割制御の手順を示すフローチャートである。
【図２】送信機を利用して、携帯電話を使用する状態の一例を示す図である。
【図３】実施の形態にかかる携帯電話の外観斜視図である。
【図４】同じく、携帯電話の内部構成を示すブロック図である。
【図５】実施の形態にかかる送信機の内部構成を示すブロック図である。
【図６】制御手段による別の時分割制御の手順を示すタイミングチャートである。
【図７】図６の時分割制御の手順を実行する手段とともに示すタイミングチャートである。
【図８】生体ＬＡＮを用いて接続した場合の時分割制御の手順を示すタイミングチャートである。
【符号の説明】
１０…利用者、１２…携帯電話
１２ａ…筋電信号検出電極
１２ｂ…音声認識手段、１２ｃ，１６ｂ…通信手段
１４…筋電信号検出電極
１６…送信機、１６ａ…動作認識手段
１６ｃ…制御手段
【図１】
2004348382.tif 000003
【図２】
2004348382.tif 000004
【図３】
2004348382.tif 000005
【図４】
2004348382.tif 000006
【図５】
2004348382.tif 000007
【図６】
2004348382.tif 000008
【図７】
2004348382.tif 000009
【図８】
2004348382.tif 000010