WISS2013

叩打音を利用した操作インタフェースと浴槽への適用
伊藤 大毅∗

平井 重行†

概要. 手指で「叩く」操作を元にしたインタラクションを浴槽に適用し，その叩打位置（叩く場所）や叩
打音色（叩き方），叩打パターン（叩くリズム）の組み合わせに対応した操作を実現するシステムを提案する．それらの方法により，様々な機器やシステムの操作を行うほか，叩くこと自体をエンタテインメントとすることまでを考えている．本稿では主に叩打位置の検出処理について述べる．

1

はじめに

日常生活において快適さの追求だけでなく，エンタテインメント要素まで含めた QoL(Quality ofLife) 向上を目指した住環境の研究が行われている．
我々はこれまで，住環境の中でも特に水場である浴室での操作インタフェースと応用システムの研究を行ってきた．静電容量方式タッチセンサを浴槽裏側に設置して「触れる」インタフェースを構成する
TubTouch[1] では，給湯器や照明などの機器，音楽
プレーヤアプリの操作を浴槽縁で行うシステムを実現している．また，Bathcratch[2] では，浴槽裏側に設置したピエゾセンサで浴槽のこする音を検出することにより「こする」インタフェースを構成し，DJ スクラッチ演奏を行うアプリケーションを実現している．
本研究では，これらの操作に加え，浴槽を「叩く」ことによる操作インタフェースを提案する．ここでは，叩打位置（叩いた場所）と叩打音色（叩き方），
さらに叩打パターン（叩くリズム）を利用し，浴室
内の様々な機器やシステムの操作，さらに新たなア
プリケーションの実現を含めて，日常生活環境に埋め込まれた入力インタフェースの活用を目指す．

2

システム概要2.1

システム構成日本国内で一般に普及しているシステムバスの浴槽において，その縁の裏側にピエゾセンサを取り付
け，浴槽縁の叩打を元に様々な入力手法を実現する．
浴槽叩打音を浴槽の個体振動としてピエゾセンサで直接計測し，その音響信号をリアルタイム処理することで操作イベントを出力するシステム構成とする（図 1）．ここでは，叩打音の音響信号に対し，「叩打位置」の検出処理（複数のセンサの信号を利用），「叩打音色」の認識処理を行い，それぞれの情報に基づいて叩打パターンの認識処理を行う．以下，本Copyright is held by the author(s).
京都産業大学大学院 先端情報学研究科†
京都産業大学 コンピュータ理工学部∗

図 1. 浴槽インタラクションシステム構成

稿においては主に「叩打位置」検出について述べる．

2.2

叩打位置検出手法

本システムでは浴槽裏側に設置したピエゾセンサ
によって叩打位置検出を行う．位置検出の仕組みとしては，センサ数の増加に伴う設置困難さと計算負荷の増加を考慮して，なるべく少ないセンサ数で実現できる方が良いと考える．このことから，ピエゾ
センサを多数連続的に並べるのではなく，一定距離で離して数個設置し，叩いた振動がセンサに伝搬するまでの時間差を利用して叩打位置を算出する方法[3] をとることにする．

2.3

初動検出処理時間差による位置検出を実現するためには，叩打による振動がセンサへ到達する時間を正確に求める必要がある．そのため，適切な閾値を設定して叩打音の振幅がそれを超えた時刻を初動（振動の到達時刻）として検出する．ただ，閾値によってはわずかな叩き方の違いで振幅の変化の仕方が著しく変わり，
検出時刻のばらつきが大きくなり十分な検出精度が得られない．そこでなるべく適切な処理を行うため，二乗平均平方根（RMS）により積分し，波形の時間変化をある程度平滑化して閾値処理する手法を用いる．これにより振動が増加し始める瞬間のみを的確に検出できる．

WISS 2013
叩打音伝搬時間
標準偏差
回帰直線
伝搬時間の範囲

図 2. 各叩打位置の伝搬時間の標準偏差と回帰直線

3

叩打音位置検出のための振動解析

叩打音の初動を検出する適切な閾値は未知であり，
ピエゾセンサの設置方法によってもかなり変化することが想定できる．また RMS 処理の際，波形を切りだす矩形窓の時間長も未知である．これら閾値とRMS 窓幅の長さの適切な値は，予め収録した叩打音
データを解析することで求めた．具体的には，浴槽を複数回叩打した音データを用意し，閾値と RMS 窓
幅を変化させながら，初動検出処理によって叩打位
置からセンサに振動が伝搬するまでの時間を求める．
この伝播時間の標準偏差が最小となる閾値と RMS
窓幅の値を適切な値とする．図 2 は，FRP の浴槽を指先で叩打した際の叩打音から求めた閾値と RMS
窓幅での各叩打位置の振動伝搬時間をプロットしたものである．この図は，叩打位置がセンサから 100〜300mm 離れた位置ならば伝搬時間が重複しておらず，その範囲までなら叩打位置が判別出来ることを示している．この結果から，適切な閾値，RMS 窓
幅，位置検出可能な距離の範囲（必要なセンサ数）を求められる．この解析手法と結果の利用は，新たに適用する浴槽環境に対するキャリブレーション手法として利用できる．

4

叩打音を利用するアプリケーション

本システムの応用例として，叩打位置と叩打音色に対応したサウンドを鳴らすエンタテインメントシ
ステム”BathDrum”を提案して実装している [4]．この BathDrum は現時点では叩打位置に合わせて単に音を鳴らすだけであるが，TubTouch や Bathcratchと同様に，浴室の天井裏設置のプロジェクタで浴槽
縁へ画面投影することで，より様々な応用や楽しみ方も実現できると言える．例えば，もぐらたたきゲー
ム，音楽に合わせて浴槽を叩くリズムゲームの表示などが考えられ，これに叩打音色や叩打パターンの認識も含めた処理を考えると応用も拡がる．また，
TubTouch システムではメニュー表示の On/Oﬀ を切り替える操作について，浴槽の特定位置を 2 度タップすることでユーザが明示的に操作するなど，他の操作手法と組み合わせる効果的な利用方法も考えら
れる．

5

おわりに

本論文では，浴槽を「叩く」インタフェースを提案し，そのシステム概要と叩打位置検出処理について述べた．現状では指先での叩打にのみ対応した処理であるため，手のひらや拳での叩打に対応させる予定である．また，検出精度向上のために周波数解
析や機械学習などの処理も検討し，処理の反応時間も調査する必要がある．そして，それらは叩打音色に関する処理も合わせて行うことを検討していく．
叩打音色の区別については，Lopes らのシステム [5]や Harrison らのシステム [6] で実装されているが，それらは多少のタイムラグが発生する手法のため瞬時の反応を必要とする処理にはあまり向いていない，
一方で PosessingDrums[7] ではリアルタイムの叩打
音色の変換を行っており，BathDrum のような瞬時の反応を必要とするシステムに応用できると考えている．それらの叩打音色の処理に加え，叩打パター
ン認識処理も合わせて応用できるようにしていく予
定である．

謝辞
本研究の一部は，中山隼雄科学技術文化財団の研究助成によって行われました．

参考文献[1] 榊原吉伸, 林宏憲, 平井重行,TubTouch: 湯水の影
響や自由 形状への適用を考慮した浴槽タッチ UI
環境, 情報処理学会論文誌 Vol.53, No.4, 2013.
[2] Shigeyuki Hirai, Yoshinobu Sakakibara and Seiho
Hayakawa. Bathcratch: Touch and Sound-Based
DJ Controller Implemented on a Bathtub, Proc.
of ACE2012, pp.44-56, 2012.
[3] Joseph A. Paradiso, Che King Leo, Nisha Checka,
Kaijen Hsiao. Passive acoustic sensing for tracking knocks atop large interactive display, Proc. ofthe 2002 IEEE International Conference on Sensors, pp.512-527, 2002.
[4] 伊藤大毅, 平井重行: 浴槽叩打音を利用したお風呂
ドラム BathDrum の叩打位置検出, 情処研究報告2013-EC-29-1, 2013.
[5] Pedro Lopes, Ricardo Jota, Joaquim A. Jorge.
Augmenting touch interaction through acoustic
sensing, Proc. of ITS2011, pp.53-56, 2011.
[6] Chris Harrison, Julia Schwarz and Scott E. Hudson. TapSense: Enhancing Finger Interaction on
Touch Surfaces. Proc. of UIST 11, pp.627-636,
2011.
[7] Kazuhiko Yamamoto. Possessing Drums: An Interface of Musical Instruments that Assigns Arbitrary Timbres to Personal Belongings, Journalof Information Processing, Vol.21, No.2, pp.274282, 2013.