ピエゾフィルムセンサを用いた呼気マウスの開発
葛目幸一

石渡寛明

中段涼

横本直之

浜原周平

Development of Expiration Based Mouse Interface
Using Piezo Film Sensors
KOICHI KUZUME HIROAKI ISHIWATA RYO NAKADAN NAOYUKI YOKOMOTOSHUHEI HAMAHARA

1.

はじめに

重度の身体障害者のための入力デバイスには，脳波，筋電，視線，歯音，呼気など人間の様々な生体信号を用化を目指し次に示す事項について研究を実施した．
①呼気信号の瞬時振幅を求める計算法の開発．
②制御チャンネル数を改善するため長時間呼気，短時間呼気の判定法の開発．

用いたものがある．しかし，脳波や筋電，視線信号を③呼気信号と外乱雑音との識別法の開発．

用いたデバイスは高価で大がかりな装置になり，身体④呼気マウスのポインティング制御への応用．

障害者にとって必ずしも満足するものではなかった．
これまで我々は、歯音と呼気を用いた入力デバイスを提案し，その実用化に向け研究を進めてきた1）,2）．歯2.

呼気歯音マウスの構造と呼気信号の測定
2.1

入力デバイスの内部構造と動作原理

音信号を用いた入力デバイスとは，ユーザの歯音信号

呼気・歯音信号を用いた入力デバイスの概念図を図１

を骨伝導マイクにより検出し，ＣＤプレイヤーの操作に示す．本システムはピエゾフィルムセンサに呼気をや文字入力を行うものである．しかし，制御チャンネ

吹きかけ，呼気の強さや方向，長短によってマウスのル数の不足や歯をカチカチするために，顎を頻繁に動ポインティングを制御し、歯音をマウスのクリック信かす動作が身体障害者に負担になるなどの問題があっ号に利用するシステムである．まず，ユーザが左，中た．そこで，歯音信号へ新たに生体信号として呼気信央，右に設置されたピエゾフィルムセンサに呼気を発号を加え，呼気の強弱と長短並びに方向でマウスのポするとフィルムが振動しピエゾ効果により電圧が発生インティングを制御する新たな入力デバイスを提案しする．呼気信号は，増幅器により数 V 程度の大きさた．呼気を用いた既存の入力デバイスとして，ブレスに増幅され，AD 変換器によってデジタル信号へ変換マイクや炭酸ガスセンサなどがあるが，ブレスマイクされる．入力された信号が，ユーザの呼気であるかをは入力のたびに口に咥える動作が必要で衛生上問題が呼気信号判定器により判定する．ユーザの呼気と判定あり，また音声にも反応するため外乱雑音に弱い3)．

した場合は，呼気の方向と呼気強さによってマウスのサーミスタ温度センサは応答速度が遅い等の欠点があ移動方向と速度を制御する．また、呼気や歯音信号にる．

より，フォトカプラを介して，環境制御機器を操作す

本研究では，ピエゾフィルムセンサを用いた呼気マることもできるシステムである．ユーザが最初に入力ウスを提案する．ピエゾフィルムセンサは小型，軽量した呼気、歯音の最大振幅から求めた閾値を個人特性で安価であり，ピエゾ効果を利用して呼気による振動記憶回路に記憶させておき，その後の入力に対してそを容易に電気信号に変換できることができ、加えてピの閾値をもとに呼気、歯音信号であるかを判定する．

エゾセンサのもつ焦電効果を利用すればより高精度に呼気信号判定器，呼気信号方向，強度，長短判定器，呼気を検出することが期待される．本研究ではピエゾ

制御コード発生器、マウスポインタ制御回路をＦＰＧ

フィルムセンサを用いた呼気マウスについて，その実Ａ（Field Programmable Gate Array)でワンチップ化し，システムの小型化を図っている．

† 弓削商船高等専門学校・情報工学科
Yuge National College of Maritime Technology
Department of Information and Science Technology

情報処理学会 インタラクション 2010

ピエゾフィルムセンサ

AMP/LPFＡ Ｄ 変 換 器

左X・ 呼気方向・・呼気の強さの検出

制御コード発生器

中央AMP/LPF

右・呼気の長さ
熱変化検出（焦電効果）

・

歯音検出器

・Y
マウス制御

PhotoCoupler

個人特性記憶ユニット

骨伝導マイク

ECS

FPGA

図１

呼気の測定方法

呼気の検出には呼気の変化を効率よくとらえることが出来る適度な弾性をもつ大きさ 13×25mm２ のフィル

電圧（V）

2.2

呼気・歯音マウスのシステム図

ムセンサを使用した4）．呼気の解析において，アンプを用いてピエゾフィルムセンサの出力を数Vに増幅した後，AD変換器（ユニオンデータ株式会社製「UHA-２０歳の男性 7 名，女性３名の計１０名の協力を得て実施した．なお被験者には，唇から６，７cmに離れ時間（秒）

左0.6

1

長時間呼気

0.4

中央

右5234

左

中央

右0.2
電圧（V）

グ周波数１KHz，AD変換器は１２bitである．実験は，

短時間呼気

0BGU8M」）でデジタル信号に変換し，パソコン上で波形表示システムで観察した．測定条件は，サンプリン

0.4
0.3
0.2
0.1
0-0.1
-0.2
-0.3
-0.4
-0.5
-0.6

0-0 .2
時間（秒）

-0 .4
-0 .6
-0 .8

た箇所の左・中央・右に設置したピエゾフィルムセン

0

サに向け，左・中央・右の順番で顔を動かさず唇を変

図２

1

2345

短時間呼気、長時間呼気の波形の一例

形させ，特に呼気の長さの指定はせず，被験者が考え重畳する．本章では、これらの雑音を除去するためのる長い呼気（長時間呼気）と短い呼気（短時間呼気）

前処理フィルタ、呼気信号を検出するための平滑化フの２種類を発するように指示した．

ィルタの設計と長時間呼気と短時間呼気、呼気信号と2.3

実験結果

図２に長、短呼気信号の出力グラフを示す．この結果
よりピエゾフィルムセンサが３チャンネルとも独立し外部雑音の識別法について述べる．
3.1

呼気検出フィルタの設計

本研究では、Dyadic Wavelet 変換を用いて呼気検出シて長時間呼気，短時間呼気を検出でき，呼気信号の方ステムを構築した。Dyadic Wavelet 変換式を（１），向の判定も可能であることがわかる．呼気信号波形は、（２）に示す．

呼気信号強度に多少の強弱の差があるものの概ね同様の波形が観測された．

d j +1[ n] = ∑ g [ k ] x j [ n + 2 j k ](1)

x j +1[n] = ∑ h[k ]x j [n + 2 j k ]

(2)

k

3.

呼気信号の解析k

図５は測定した呼気信号の一例である．図中に丸く囲ってある箇所が呼気に対するピエゾフィルムセンサの反応である．測定結果からわかるように実際のピエゾフィルムセンサの出力には呼気信号以外に，60Hz の電源雑音や直流レベルが変化するオフセット電圧、隣接するセンサに呼気を発した時に発生する干渉雑音がここでh[k]はLow Pass Filter (LPF)，g[k] はHigh Pass
Filter (HPF)，ｘj+1[n]は信号の低周波成分，dj+1[n]は高周波成分である．Haar Waveletを用いることにより乗算器が不要となり回路規模を小さくできることから
h[k]={0.5,0.5}，g[k]={0.5,-0.5} で表されるフィルタを

ピエゾフィルムセンサを用いた呼気マウスの開発使用した。図３に、検出システムの概略図を示す。本

ーザの最初の呼気をユーザの呼気の特性として記憶さシステムは、DCオフセット雑音とハム雑音を除去すせ，残りの呼気データの閾値に用いた場合，呼気判定

る前処理フィルタS1、絶対値処理、並びに平滑化フィ

0.1
[au]

ルタS2で構成されている．なお、S1，S2は次式で表さ0.08

れ，フィルタS1はBand Pass Filter (BPF)，S2はLPFであ0.04る。

0.06

I0.02

I

0-0.02 1

S1 = h0 ∗ g 0(3)S 2 = h0 ∗ h1 ∗ h2 ∗ h3 ∗ h4 ∗ h5 ∗ h6(4)ただし＊は畳み込み演算である．なお，呼気の判定に

1000

199929983997-0.04-0.06-0.08-0.1

閾値処理を行うため十分滑らかな波形が得られるようフィルタ処理S2 はh0 ～ h6 までの畳み込み演算とした．
3.2

フィルタ処理0. 04

2LPF output

0.035

F4F30. 03

図１に示す呼気信号には、ハム雑音、干渉雑音並びにオフセット雑音が重畳していることがわかる。図３の処理システムを用いて呼気信号の処理を行った．フィ
ルタS1の処理により，ハム雑音が抑圧され，オフセッ

Detection pulse

0.025

F20. 021

F10.015

Threshold level

0. 01

F０0.005
011000

1999

2998

3997

[msec]

0

ト電圧が除去することができる．図４は絶対値処理を図４行った後、フィルタS2で処理した波形で、閾値処理をわかる．

x(n) h0 g0ABS

h0 h1 h2 h3

h4 h5x(n)S1

ABSS2h6 y(n)y(n)

hi ；LPF
gi ；HPF

ABS ；絶対値処理

100%
90%
80%
70%
60%
50%
40%
30%

呼気の検出率行うのに十分平滑化された信号が得られていることが閾値処理の結果

被験者Ａ
被験者Ｂ

20%
10%
0%
10% 20% 30% 40% 50% 60% 70% 80% 90% 100%閾値

図５

閾値を変化した時の呼気の検出率

図３ 呼気検出システムの概略図

4.

呼気の判定と雑音除去
4.1

閾値処理が可能であることが分かった．この結果より，最大値の 20％が最も適していると判断できる．
4.3

長時間呼気と短時間呼気の判定

呼気と外乱雑音を判別するために閾値を決めておく必長時間呼気と短時間呼気の判定条件を求めるため、第要がある．そこで，呼気信号の絶対値の最大値に対し２章の実験で取得した被験者 10 名の長、短時間呼気20％以上なら呼気，それ以下なら外乱雑音と判定する．

データに対して，閾値処理を行い 2 値判定し、呼気の図４で“I”と記している干渉雑音は 20％以下と判定

持続時間の最大、最小値を測定した（表１参照）．得

され，隣接するセンサに呼気を吹きかけるときに発生られた結果より呼気の持続時間が 0.1 秒から 0.4 秒まする干渉雑音が除去できる．

でを短時間呼気，0.4 秒以上を長時間呼気と判定する．

4.2

呼気検出精度の評価

これらの数値を閾値として個人特性記憶回路に記憶さ被験者である 20 歳の男性 1・女性 1 に，中央のピエせておき長，短時間呼気の判定に用いる．さらに判定

ゾフィルムセンサに向け，50 回程度の短時間呼気を条件を満たさない場合は雑音と判定する．

発するように指示し，前章の処理方法で最初の一発目

表１長短時間呼気持続時間の最小、最大持続時間の呼気信号を基準に，閾値を 10％～100％の範囲で変最小持続時間(sec)

最大持続時間(sec)化させた時の呼気の検出率を図５に示す．被験者 A

短時間呼気

0.1520.381

は 47 回中 46 回の短時間呼気が検出でき，被験者 B

長時間呼気

0.393

0.913

は 47 回中 45 回の呼気が検出できた．これにより，ユ情報処理学会 インタラクション 2010

呼気と外乱雑音の識別

4.4

[v]

32

長時間呼気と短時間呼気の判別にあたり外乱雑音との1識別が必要となる．そこで外乱雑音と呼気の持続時間0-1を比較した．ここで外乱雑音とはピエゾフィルムセン

-2

サに手や物が接触した時など，呼気以外の要因で発生-305000する雑音である．その外乱雑音データを採取するため，

10000

0.12波形を図６に示す。採取したデータに対して，第３章

1で述べた閾値（20％）の条件で処理し、センサの振動

00-0.1-1の持続時間を調べた（図中の数値が持続時間）。持続-0.2-2

時間の最大値は 55msec，最小値 7msec であった．こ-0.3-30

れは４.3 で定めた短時間呼気判定の閾値を全て下回っ

5000

55

23427電圧（Ｖ）

20000

05000

10000

20000

15000

[mec]

温度変化成分

呼気信号からの振動成分と温度変化成分の分離[msec]

26.

結論と今後の課題

00

1

2

3

45-2

重度身体障害者のための呼気マウスを実現するための-4

基礎的研究を行い,下記の結果が得られた．

-6① Dyadic

時間(秒)

図６ 指で装置を弾いた時のセンサの出力波形

5.

15000

振動成分
図８24

10000

[mec]ており，雑音とみなすことができる．
6[msec]20000

呼気信号の原波形

人工的に指でピエゾフィルムセンサを 5 回弾いた時の415000

マウスのポインティング制御法

提案したフィルタリング処理と閾値処理により，ハム雑音、オフセット雑音、干渉雑音を除去できることを確認した．

③の接触雑音も容易に削除できることを示したに分割し、呼気の強度に応じて、マウスの移動速度をンターラプタを取り外し、FPGAに実装されたマウス制御回路を接続した。マウスの左右への移動は、左右のセンサへの呼気入力、上下の移動は中央のセンサで行い，歯音入力により移動方向の切り替えを行う。
5.2

FPGA によるシステムの実装

図 7 に実験で使用したピエゾフィルムセンサと呼気・歯音マウス回路を実装することを目的に開発した

図 7 ピエゾフィルセンサと FPGA 基板
FPGA ボードをしめす。本ボードには、８CH の ADC,増幅器、XILINX 社製 SPARTAN－3,ECS 制御用の８CH フォトカプラから構成されている。

本研究で提案した時間閾値処理により長時間呼気と短時間呼気の識別が可能であり，またセンサへ

図４に示す呼気信号の強度を５つの領域（F ０ ～F4 ）変化させる．実験ではボール内蔵型マウスのフォトイ変換を用いることで、呼気の瞬時振幅が容易に計算できた．
②

マウスのポインティング制御と FPGA によるシステムの実現
5.1

wavelet④呼気によるマウスのポインティング制御が可能であることを確認した．
さらに外来雑音に頑健な信頼性の高いシステムを構築するため、ピエゾフィルムセンサの持つ焦電効果を利用し(図８参照)，呼気信号の検出精度の向上を図る
こと、呼気・歯音マウスの評価、また重度身体障害者を対象としたフィールド実験を実施し、提案したデバイスの有用性を実証する予定である．
参考文献
1) 石渡 寛明，葛目 幸一，“呼気と歯音信号を用いたウェアラブルコンピュータのユーザーインターフェース”，情報処理学会 インタラクショ
ン 2009 論文集ｐ171．
2) K.Kuzume “ A Character Input System Using Toothtouch Sound for Disabled People” ， ICCHP2008,
Lecture Note in Computer Science. pp.11571160(2008).
3) 伊賀聡一郎 他：Kirifuki:呼気・吸気を利用したGUI 操作環境の提案，情報処理学会 HI 研究会
１月.(2000).
4) http://www.t-sensor.co.jp/．