(57)【要約】【課題】  情報処理装置や電子機器を手指が自由に使えない者が操作する場合や騒音環境下で使用する場合に入力可能な情報をより多様なものにし、入力操作を煩雑にせず、さらに装置構成をより簡素なものにする。【解決手段】  一方の耳介に取り付けられた骨伝導マイクロフォンにより検知された骨伝導音を増幅しサンプリングしてメモリに格納する。メモリに格納された骨伝導音信号を取り出し可変閾値処理を行って検出された歯咬音候補に対して部分空間パターン識別による多クラス識別を行う。この多クラス識別された歯咬音候補の歯咬音データに応じた信号を操作指令信号として生成する。【選択図】  図９
2011075989.tif 000002
【特許請求の範囲】
【請求項１】
一方の耳介に取り付けられた骨伝導マイクロフォンにより骨伝導音を検知し骨伝導音信号を生成することと、
該骨伝導音信号を増幅しサンプリングしてメモリに格納することと、
前記格納された骨伝導音信号を取り出し可変閾値処理を行って歯咬音候補を検出することと、
前記検出された歯咬音候補に対して部分空間パターン識別による多クラス識別を行うことと、
前記多クラス識別された歯咬音候補の歯咬音データに応じた信号を操作指令信号として生成することと、
からなることを特徴とする操作指令信号生成方法。
【請求項２】
骨伝導音の発生位置から前記一方の耳介に取り付けられた骨伝導マイクロフォンまでの骨伝導音の伝達経路が異なり骨伝導音に含まれる特徴が変化することにより異なる位置での骨伝導音の識別がなされるものであることを特徴とする請求項１に記載の操作指令信号生成方法。
【請求項３】
前記骨伝導音マイクロフォンにより採取された骨伝導音に関し、少なくとも前歯、左歯、右歯の噛み合わせ動作を識別して認識するものであることを特徴とする請求項１または２のいずれかに記載の操作指令信号生成方法。
【請求項４】
頭部の動作を検知するセンサにより採取された頭部動作に応じたデータを取得し、該頭部動作に応じた信号と前記歯咬音データに応じた信号とを組み合わせて操作指令信号を生成するようにしたことを特徴とする請求項１〜３のいずれかに記載の操作指令信号生成方法。
【請求項５】
骨伝導マイクロフォンと、該骨伝導マイクロフォンにより生成された骨伝導音信号を増幅する増幅部と、増幅された前記骨伝導音信号をサンプリングし骨伝導音データとして格納するデータロッガと、該データロッガのメモリに格納された骨伝導音データに対し歯咬音候補データを切り出す可変閾値処理部と、前記切り出された歯咬音候補データに対し多クラス識別を行う部分空間パターン識別処理部と、多クラス識別がなされた歯咬音候補データに応じた操作指令信号を生成する操作指令信号生成部とを備えることを特徴とする操作指令信号生成装置。
【請求項６】
骨伝導音の発生位置から前記一方の耳介に取り付けられた骨伝導マイクロフォンまでの骨伝導音の伝達経路が異なり骨伝導音に含まれる特徴が変化することにより異なる位置での骨伝導音の識別がなされるものであることを特徴とする請求項５に記載の操作指令信号生成装置。
【請求項７】
前記部分空間パターン識別処理部は前記骨伝導音マイクロフォンにより採取された骨伝導音に関し、少なくとも前歯、左歯、右歯の噛み合わせ動作を識別して認識するものであることを特徴とする請求項５または６のいずれかに記載の操作指令信号生成装置。
【請求項８】
頭部の動作を検知するセンサと、該センサにより採取された頭部動作に応じたデータを取得し、該頭部動作に応じた信号を生成する頭部動作認識部とをさらに備え、前記操作指令信号生成部においては前記歯咬音データに応じた信号と前記頭部動作認識部により生成された信号とを組み合わせて操作指令信号を生成するようにしたことを特徴とする請求項５〜７のいずれかに記載の操作指令信号生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は操作指令信号生成方法及び操作指令信号生成装置に関し、より詳細には、骨伝導マイクロフォン等の加速度センサにより検知した信号からコンピュータや機器への操作指令信号を生成するようにした操作指令信号生成方法及び操作指令信号生成装置に関する。
【背景技術】
【０００２】
コンピュータ等の情報処理装置や指令操作に基づいて動作する電子機器において、通常の形態としては、キーボード、マウス、タッチパネル、コントローラ等の入力装置を用いて情報、操作指令の内容を入力する。このような入力装置ではキー、ボタン等を押したり、パネル上でタッチすることにより入力を行う。また、他に音声入力装置があり、これは音声認識装置を備えており、発声による指令を認識して入力を行うものである。
【０００３】
ところで、病気や障害により手指が自由に使えない者はキーやボタンを操作して入力を行うことは困難であるため、キーボードやマウス等の操作に適合しないが、音声入力装置を用いることにより、情報処理装置や電子機器を操作することは可能になる。音声入力装置は発話能力があれば利用することができるが、発話障害のある場合には音声入力装置を使用することはできない。また、音声入力装置は周囲に他の者がいる場合に入力情報が知られるため、要秘性の事項に関して入力を行うには適切ではなく、また、周囲が騒音の大きい環境にあれば、音声認識が不正確または不可能になるという欠点がある。
【０００４】
手指を自由に使えない者にも操作入力を行うことができ、あるいは周囲の者に知覚されない形で操作入力信号を生成するための手段として、骨伝導マイクロフォンを用いたものがあり、これについて提案、開発がなされている。骨伝導マイクロフォンは、発声時に生じる頭蓋骨の振動を検知する音声信号を検出するイヤホン型の加速度センサであり、これを耳介に取り付けて検出を行う。骨伝導マイクロフォンは空中を伝播する周囲の雑音を検知しないので、これを用いた操作入力装置は雑音環境下においても利用可能性がある。
【０００５】
骨伝導マイクロフォンあるいは音声入力装置を用いた操作入力装置に関して、以下のような文献に開示されている。特許文献１には、耳介の後方下部に骨伝導マイクロフォンを取り付け、つぶやき音、歯咬音、舌打ち音などを採取し、採取された信号に対しＡＤ変換、量子化、音響モデルを用いた音声認識等の処理を行うことについて記載されており、また、特許文献２には、骨伝導マイクロフォンで口腔内の物音を検知し、予め処理内容ごとに登録されたデータと照合することにより処理内容を判定する入力方法、処理システムについて記載されている。
【０００６】
特許文献３には、操作者の顎の開閉動作により生じる超低周波音をイヤホンにより検出し、超低周波数を波形成形して顎の開閉動作回数に対応する数のパルス信号を生成し、このパルス数に対応して機器を制御することについて記載されており、また、特許文献４には、骨伝導マイク等を用いた音声入力装置により音声をピックアップし、それが操作データテーブルに登録されたものと判別された場合に、音声に対応づけられたコマンドを実行するようにした電子装置について記載されている。
【０００７】
特許文献５には、口腔内で発生する音を骨伝導センサにより検出し、呼び出し信号としての特徴量を抽出し一定の閾値を超えた場合に呼び出し信号を子機に送出するようにした骨伝導呼出装置について記載され、また、特許文献６には、左右の耳にマイクロフォンを取り付けて歯の噛み合わせ音及び発生位置を検出し、発生位置に応じたコマンドを発生させるようにした操作指令入力装置について記載されている。
【０００８】
特許文献７には、骨伝導マイクロフォンによって口腔内音を検出し、その検出信号によりスイッチを操作させるようにして、病気やけが等で手が使えない者でも操作できる操作スイッチについて記載されており、また、特許文献８には、顎の骨または皮膚表面を伝わる加速度を骨動マイクにより検出し、検出信号が歯を噛み合わせた時に発生する特定の周波数成分を含む場合にトリガ信号を発生し、その時系列のトリガ信号に基づいて電話の送受信を行うようにした常装着型電話装置について記載されている。
【０００９】
これらのうち、特許文献１〜５、７、８によるものでは、骨伝導マイクロフォンを用いて顎の開閉動作等を検知しそれに基づいて入力、機器の操作を行うようにしているが、１回の顎の１回の動作はそれ自体として認識されるのであり、動作の種類は識別されないので、オンオフ動作によるスイッチ機能による操作装置として用いるには妥当性があるが、入力装置として用いる場合には、多種の入力内容に応じて多くの動作を必要とすることになり、それだけ操作が煩雑とならざるを得ない。
【００１０】
特許文献６によるものでは、耳孔挿入式のヘッドホンに左側マイク及び右側マイクを備え、左右のマイクによって検出された音を認識処理することにより口内音とその検出位置とを検出し、発生位置に応じたコマンドを発生するようにしている。この音認識処理によっては右側の歯の噛み合わせと左側の歯の噛み合わせとを識別するということが可能である程度であり、入力情報の内容としてそれ以上の多様性は可能性が少なく、用途としても携帯音響装置の操作のような単純化されたものにとどまるとともに、センサは左右両側のものを備えることが前提になり、機能の割には装置構成がそれだけ煩雑なものになる。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特許第３７６０１７３号公報
【特許文献２】特開２００２−１６２９９０号公報
【特許文献３】特開２００７−１１６２７号公報
【特許文献４】特開２００４−１９８４８８号公報
【特許文献５】特開２００６−１８０９９４号公報
【特許文献６】特開２００６−３４３９６５号公報
【特許文献７】特開２００５−１３０４２７号公報
【特許文献８】特許第３５２５６６５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
手指を自由に使えない者でも情報処理機器や電子機器に関し入力操作、指令操作を行うようにし、また、騒音の環境下において、あるいは周囲にいる者に知られないような形でこれらの機器への入力、操作を行えるようにするための入力信号生成について、従来の手法によるものでは、入力すべき情報内容にそれほど多様性が可能でなく、そのため歯の噛み合わせのような動作をそれだけ多く反復する必要があるというように、操作が煩雑になることを免れないものであった。また、左右の音発生の位置を検出することを可能とするというものについても、それ以上の音認識の多様性はなされず、装置構成としてやはり煩雑性を伴うものになっていた。
【００１３】
このような状況において、情報処理装置や電子機器への入力可能な情報をより多様なものにし、入力操作を煩雑にせず、さらに装置構成をより簡素なものにして操作入力を行えるようにすることが求められていた。
【課題を解決するための手段】
【００１４】
本発明は前述した課題を解決すべくなしたものであり、本発明による操作指令信号生成方法は、一方の耳介に取り付けられた骨伝導マイクロフォンにより骨伝導音を検知し骨伝導音信号を生成することと、該骨伝導音信号を増幅しサンプリングしてメモリに格納することと、前記格納された骨伝導音信号を取り出し可変閾値処理を行って歯咬音候補を検出することと、前記検出された歯咬音候補に対して部分空間パターン識別による多クラス識別を行うことと、前記多クラス識別された歯咬音候補の歯咬音データに応じた信号を操作指令信号として生成することと、からなるものである。
【００１５】
骨伝導音の発生位置から前記一方の耳介に取り付けられた骨伝導マイクロフォンまでの骨伝導音の伝達経路が異なり骨伝導音に含まれる特徴が変化することにより異なる位置での骨伝導音の識別がなされるものとしてもよい。
【００１６】
前記骨伝導音マイクロフォンにより採取された骨伝導音に関し、少なくとも前歯、左歯、右歯の噛み合わせ動作を識別して認識するものとしてもよい。頭部の動作を検知するセンサにより採取された頭部動作に応じたデータを取得し、該頭部動作に応じた信号と前記歯咬音データに応じた信号とを組み合わせて操作指令信号を生成するようにしてもよい。
【００１７】
本発明による操作指令信号生成装置は、骨伝導マイクロフォンと、該骨伝導マイクロフォンにより生成された骨伝導音信号を増幅する増幅部と、増幅された前記骨伝導音信号をサンプリングし骨伝導音データとして格納するデータロッガと、該データロッガのメモリに格納された骨伝導音データに対し歯咬音候補データを切り出す可変閾値処理部と、前記切り出された歯咬音候補データに対し多クラス識別を行う部分空間パターン識別処理部と、多クラス識別がなされた歯咬音候補データに応じた操作指令信号を生成する操作指令信号生成部とを備えるものである。
【００１８】
骨伝導音の発生位置から前記一方の耳介に取り付けられた骨伝導マイクロフォンまでの骨伝導音の伝達経路が異なり骨伝導音に含まれる特徴が変化することにより異なる位置での骨伝導音の識別がなされようにしてもよい。
【００１９】
前記部分空間パターン識別処理部は前記骨伝導音マイクロフォンにより採取された骨伝導音に関し、少なくとも前歯、左歯、右歯の噛み合わせ動作を識別して認識するようにしてもよい。頭部の動作を検知するセンサと、該センサにより採取された頭部動作に応じたデータを取得し、該頭部動作に応じた信号を生成する頭部動作認識部とをさらに備え、前記操作指令信号生成部においては前記歯咬音データに応じた信号と前記頭部動作認識部により生成された信号とを組み合わせて操作指令信号を生成するようにしてもよい。
【発明の効果】
【００２０】
本発明においては、一方の耳介に取り付けられた骨伝導マイクロフォンにより骨伝導音を検知し、骨伝導音の発生位置から骨伝導マイクロフォンまでの伝達経路が異なることに応じて異なる位置で発生した骨伝導音を空間パターン識別によって精度よく多クラス識別することができ、前歯、右歯、左歯による噛み合わせ動作等を識別することにより、情報処理装置や電子機器を手指が自由に使えない者が操作する場合や騒音環境下で使用する場合にも入力可能な情報をより多様なものにし、入力操作を煩雑にせず、さらに装置構成をより簡素なものにすることができる。また、カメラや赤外線センサ等と組み合わせた形で構成することによりさらに入力情報を多様化した操作指令入力信号を生成することができる。
【図面の簡単な説明】
【００２１】
【図１】骨伝導マイクロフォンで得られる信号を示す図である。
【図２】歯咬音の波形と持続時間を示す図である。
【図３】可変閾値処理を用いた歯咬音検出処理を説明する図である。
【図４】可変閾値処理による歯咬音検出結果を示す図である。
【図５】２段階の閾値処理による歯咬音検出処理を説明する図である。
【図６】２段階の閾値処理による歯咬音の検出結果を示す図である。
【図７】歯咬音の識別についての評価試験結果を示す図である。
【図８】歯咬音識別の手順を示す図である。
【図９】操作指令信号生成装置の構成を示す図である。
【発明を実施するための形態】
【００２２】
本発明による操作指令信号生成方法及び操作指令信号生成装置においては、例えば骨伝導マイクロフォンを左右いずれか一方の耳穴に挿入した状態で歯の噛み合わせとその位置、舌打ち、飲み込みのような動作等を検出し識別し、それに基づいて操作指令信号を生成する。
【００２３】
骨伝動マイクロフォンは耳介に取り付けた場合に発声等の動作により生じる振動を頭蓋骨を介して検知する加速度検出型センサである。耳介に取り付けた場合に頭蓋骨を介して振動を検知する。騒音環境下でも空中を伝播する周囲の雑音等は検知せずに、身体の動作に応じた振動を検知することができる。ただし、振動としては、歯の噛み合わせの動作を意図した場合、それによる振動のほかに、舌打ち、首振り等他の意図しない身体動作による振動をも検知する。そのため、操作指令入力信号生成のためには、骨伝導信号の種類を識別する必要がある。
【００２４】
本発明では、一方の耳介に取り付けた骨伝導マイクロフォンにより得られた歯咬音の信号を解析処理して前歯、右歯、左歯のいずれであるかを識別するというように入力信号のパターン識別を行うという手法を用いて操作指令信号の生成を行う。そこで、歯咬音のパターン識別について説明する。
【００２５】
［歯咬音のパターン識別］
骨伝導マイクロフォンを右耳に装着し、前歯、左歯、右歯のみが接するように意識して歯を噛み合わせる場合について説明する。噛み合わせの際には、
・何回咬んでも疲れない強さで行う
・歯の接触位置は毎回同じにする
・楽な姿勢で、大きく体を動かさない
というような条件を課す。信号採取に際しては、骨伝導マイクロフォンを使用中に発声する、唾を飲み込む、首を動かすというような、使用者の意図にかかわらず発声する歯咬音以外の骨伝導音も採取する。
【００２６】
（１）歯咬音の検出
音声や身体動作によって発生した振動を骨伝導マイクロフォンにより骨伝導音として検知する。検知された骨伝導音の信号は数ｍＶ程度で微弱であるため、増幅器により３５ｄＢ増幅した後、サンプリング周波数２０ｋＨｚで採取し、メモリに格納する。
【００２７】
骨伝導マイクロフォンで得られる信号は図１に示すようなものであり、これから歯咬音の識別候補となる区間を自動的に検出するために、図２に示すように、歯咬音の持続時間とその特徴を解析する。その結果、歯咬音がピーク値をとる時点を基準として、その前５ｍｓｅｃ、後１０ｍｓｅｃの区間に歯咬音が収まることが確認される。したがって、このピーク値の前後１５ｍｓｅｃの区間に含まれる信号を歯咬音の識別候補として自動検出する。
【００２８】
ピーク値の検出方法については、２５６ｍｓｅｃの幅（Ｗ）の検出窓に含まれる信号の絶対値の平均値ηを用いて可変閾値Ｖｔｈを次のように設定する（図３）。
Ｖｔｈ＝η×２４                            （１）  
検出窓中の信号の絶対値の最大値が可変閾値よりも大きい時、その検出窓内に歯咬音候補となる信号が含まれているとし、ピーク値前後１５ｍｓｅｃの区間を切り出す。
【００２９】
この方法を１回行うのみでは、図４に示すように、雑音を歯咬音として検出する可能性がある。そのため、可変閾値処理によって検出した信号に対して、もう一度図５のように閾値（歯咬音の最小振幅値）を用いた処理を行うことにより、雑音を除去する。この２段階の閾値処理により、図６に示すような歯咬音候補を検出し、パターン識別を行う。
【００３０】
（２）歯咬音のパターン識別
検出された歯咬音となる信号に対して、代表的な部分空間パターン識別法であるクラフィック（ＣＬＡＦＩＣ）法を用いてパターン識別を行う。識別のための部分空間を作成する特徴量として、１５ｍｓｅｃ間の時系列信号をそのまま用いる。
【００３１】
識別のための部分空間を構成するために、予めクラス情報が既知の信号を用い、クラスごとに部分空間を作成する。あるクラスｉに属するパターンｘ（パターン数ｎｉ）のクラス自己相関行列
【数１】
2011075989.tif 000003
の固有値を求め、大きい順に並び替える。さらに、この時の固有値λｉｊに対応する固有ベクトルｕｉｊ（ｊ＝１，……，ｄ）によって張られる空間をクラスｉの部分空間とする。ここで、部分空間の次元ｄｉは、累積寄与率
【数２】
2011075989.tif 000004
が０．９以上になるように決定する。
【００３２】
実際の識別段階では、このようにして得られた各クラスの部分空間とクラス情報が未知な信号との類似度
【数３】
2011075989.tif 000005
を求める。
【００３３】
また、未知信号と各クラスの部分空間の類似度のうち、最大類似度が閾値以上であれば該当するクラスの歯咬音（前歯、右歯、左歯）とし、閾値以下であれば雑音（唾の飲み込み音、首振り等の身体動作により生じる音）として信号をリジェクトする。
【００３４】
［パターン識別の有効性］
前述のパターン識別法により、検出された歯咬音の識別がなされることについて、実際に被検者から採取した信号に関してパターン識別を行い確認する。実際例として、１５人の被検者の各々について歯咬音をそれぞれ３０サンプル、ノイズを５０サンプルずつ用い、３種類の歯咬音（前歯、右歯、左歯）とノイズの混合した信号からパターン識別法により多クラスに識別した結果に関しクロスバリデーションにより識別性能の評価を行っており、その結果を図７に示す。
【００３５】
クロスバリデーションに際しては、データ全体を５グループに分け、１つのグループに対し他のグループのデータを用いた推定評価を行うことを５回反復し平均値を算出する。図７において、黒棒は３種類の歯咬音とノイズの混合した信号から歯咬音を正しいクラスに識別できた正解率の平均値を識別率（感度％）として被検者ごとに示し、白棒は異なる部位の歯咬音と誤識別した割合（偽陽性率％）を示している。前歯、右歯、左歯の各歯咬音についての１５人の被検者についての感度及び偽陽性率とその平均値は表１のようであった。
【００３６】
【表１】
2011075989.tif 000006
【００３７】
このように、採取された歯咬音データに対するパターン識別により、前歯、右歯、左歯の歯咬音を９０％程度の精度で識別できるのであり、このようなパターン識別を用いて歯咬音の識別に基づいた操作指令信号の生成を行うことができる。
【００３８】
前述の例では、部分空間パターン識別法としてクラフィック法を用いた例について示したが、多重線形判別分析法（ＭＤＡ）あるいは他の非線形部分空間識別法を用いることによっても歯咬音の識別がなされ、これらのいずれかのパターン識別法を用いて多クラス識別器を構成することができる。また、特徴量についても、識別手段の前段に特徴抽出手段を導入し、骨伝導音のスペクトラムを特徴量としてもよい。
【００３９】
前述においては、信号を採取するセンサとして骨伝導マイクロフォンを一方の耳介に取り付けて用いている。骨伝導マイクロフォンは、加速度検出型のセンサであって、耳穴に装着した場合頭蓋骨を介して伝わる振動を検知し、前歯、右歯、左歯の歯咬音が異なる形の振動としてセンサに伝わることにより識別が可能になる。そのことから、１つのセンサで複数の振動発生位置を検出することができるものである。
【００４０】
本発明においては、一方の耳介に取り付けられた骨伝導マイクロフォンにより骨伝導音を検知し、骨伝導音の発生位置から骨伝導マイクロフォンまでの伝達経路が異なることに応じて異なる位置で発生した骨伝導音を空間パターン識別によって精度よく多クラス識別することができる。
【００４１】
検出対象としては、前歯、右歯、左歯の場合について説明したが、他にハミング、飲み込み、首振り等の動作に伴う振動についても検知、識別が可能である。これらは前歯、右歯、左歯の歯咬音に着目した場合はノイズとなるが、それら他の振動についても着目し、識別されれば検知対象信号として扱える。頭部以外にも、肩部、腹部、脚部等での振動発生についても骨伝導マイクロフォンで検知可能であり、それらを識別し信号として扱うことも可能である。
【００４２】
［歯咬音識別における処理の手順］
歯咬音識別を概括してその処理の手順を示すと図８のようになる。はじめに、（ａ）音声や身体動作によって発生した振動を骨伝導マイクロフォンにより骨伝導音として検知する。
【００４３】
（ｂ）検知された骨伝導音の信号は数ｍＶ程度で微弱であるため、増幅器により３５ｄＢ程度増幅し、サンプリング周波数２０ｋＨｚで採取しメモリに格納する。
【００４４】
（ｃ）現時刻より一定時間前の信号の平均値を時間による可変閾値として保持しておき、メモリ格納された信号を逐次スキャンし、可変閾値処理を行って、信号の振幅値が可変閾値を上回る信号を検出した場合に歯咬音候補を部分的に切り出し、メモリに格納するというようにして、歯咬音候補検出を行う。信号の切り出しを終えた時点で、それ以前の信号をメモリから消去する。この操作により、歯咬音以外の音声信号等はほぼ除去される。
【００４５】
（ｄ）（ｃ）で切り出された信号についてノルムによる正規化処理を行って部分空間パターン識別法による多クラス識別を行う。それにより当初の歯咬音データに対して、前歯、右歯、左歯の歯咬音であるというような識別がなされる。
【００４６】
上述の（ｂ）〜（ｄ）において、メモリに格納された複数の歯咬音信号に対し逐次スキャンして多クラス識別を行っているが、各歯咬音信号について逐次多クラス識別を行うようにしてもよい。この場合、メモリは採取された骨伝導音信号を一時的に保持するバッファとなる。
【００４７】
［操作指令信号生成装置］
骨伝導マイクロフォンを用いて骨伝導音を採取し、それに対して部分空間パターン識別による多クラス識別を行って歯咬音を識別することにより、意図された歯咬音（前歯、右歯、左歯）に応じた信号を生成し、操作指令入力とすることができる。このような操作指令信号生成のための装置は、前述の（ａ）〜（ｄ）の手順を実行するものとして構成され、図９に示されるようになる。
【００４８】
図９の操作指令信号生成装置は大略的に骨伝導マイクロフォン１０、増幅器２０、データロッガ３０，歯咬音信号処理部４０、操作指令入力信号生成部５０を備えており、また、６０は生成された操作指令信号を受ける機器（情報機器、電子機器等）である。増幅器２０は骨伝導マイクロフォン１０により検知された骨伝導音信号を３５ｄＢ程度のレベルに増幅する。データロッガ３０は増幅された信号をＡＤ変換し、周波数２０ｋＨｚでサンプリングするサンプリング部３１とサンプリングされた信号を歯咬音データとして格納するためのメモリ３２とからなる。
【００４９】
歯咬音信号処理部４０はメモリ３２に格納された歯咬音データを逐次呼び出し、可変閾値処理により歯咬音候補を検出する可変閾値処理部４１と、検出された歯咬音候補に対して空間パターン識別を用いたパターン識別処理により歯咬音の多クラス識別を行うパターン識別処理部４２とからなる。操作指令信号生成部５０では多クラス識別処理がなされた歯咬音信号に応じた操作指令信号を生成し、機器６０に送出する。
【００５０】
図９の操作指令信号生成装置は採取された歯咬音信号を多クラスに識別し、操作者が意図した噛み合わせの動作に応じた信号から機器への入力信号を生成する。噛み合わせの動作としては、特に前歯、右歯、左歯の噛み合わせに関して説明しているが、飲み込み動作、首振り動作等についても識別すれば、さらに入力信号は多様化される。
【００５１】
また、図９の操作指令信号生成装置は、センサとして骨伝導マイクロフォンを用いた形態のものであるが、さらに他の既存のセンサ、例えばカメラ、赤外線センサ等を併せて備える形態として、入力信号を多様化するような入力信号生成装置として構成することができる。
【００５２】
例えば、カメラにより頭部を撮影した動画からジェスチャ認識処理によって頭部の動作を認識してマウスポインタの機能を与え、前歯、右歯、左歯の各噛み合わせ動作によりマウスのクリック機能を与えるというように、骨伝導マイクロフォンとカメラとを組み合わせた操作指令入力信号生成装置として構成することにより、多様な入力操作を実行することができる。このように骨伝導マイクロフォンと他のセンサとを備えた操作指令入力信号生成装置においては、歯咬音信号について他クラス識別を行う歯咬音信号処理部のほかに、他のセンサにより採取された信号の識別処理部を備え、それらの処理部により生成された信号を併せて操作指令入力信号生成部において入力信号を形成する。
【産業上の利用可能性】
【００５３】
本発明は口内音や身体動作によるトリガ信号生成装置、多値スイッチ、パソコン等の情報処理機器、携帯電話機、携帯音響機器等の操作指令入力生成装置として利用することができ、また、重度障害や全身麻酔等で手指が自由に使えない者による意志伝達手段、他者に気づかれないようにすることが必要な通信・機器操作を行う手段として利用するというように、多様な形態で利用可能である。
【符号の説明】
【００５４】
１０  骨伝導マイクロフォン
２０  増幅器
３０  データロッガ
３１  サンプリング部
３２  メモリ
４０  歯咬音信号処理部
４１  可変閾値処理部
４２  パターン識別処理部
５０  操作指令信号生成部  
６０  機器
【図１】
2011075989.tif 000007
【図２】
2011075989.tif 000008
【図３】
2011075989.tif 000009
【図４】
2011075989.tif 000010
【図５】
2011075989.tif 000011
【図６】
2011075989.tif 000012
【図７】
2011075989.tif 000013
【図８】
2011075989.tif 000014
【図９】
2011075989.tif 000015