情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162B38
2016/3/3

浴槽縁上での叩打音色識別によるユーザインタフェース
隅田 智之1,a)

平井 重行1,b)

概要：日本の浴室において，給湯器などの浴室リモコンは，壁に取り付けられていて場所が固定されているものが多い．それは，外観上の課題や高齢者・身障者による利用上の問題がある．それらの解決策として浴槽縁をユーザインタフェースとしてユニバーサルに利用できるシステムについて研究を行っている．
本論文では，そのようなシステムの 1 つの形として，浴槽縁に埋め込んだ音響センサを利用して，手指で叩く音からその叩き方（叩打音色）の違いを NMF(非負値行列因子分解) で識別する手法およびその性能について述べる．また，浴槽縁での叩き方の違いを利用したアプリケーション例についても示す．

Tap Tone User Interface on a Bathtub Edge
Tomoyuki Sumida1,a)Shigeyuki Hirai1,b)

Abstract: In a Japanese bathroom, remote controllers, such as water heater, audio, lighting, are put up on
a wall. They have some problems, such as appearance, use issue with elderly and disabled people. We havemade novel user interface systems to resolve them with converting a bathtub edge into an universal remotecontroller. This paper describes the user interface with embedded acoustic sensors which distinguish tapping
tones by several hand postures on a bathtub edge using NMF (Non-negative Matrix Factorization), and its
evaluations. In addition, some applications with this user interface are described.

1. はじめにザインタフェースを実現する TubTouch システムを構築している [8]．また，一方で伊藤らは，静電容量センサではな

HEMS を中心としたスマートホームの研究や IoT ブーム

く，複数のピエゾセンサを浴槽縁内部に設置して，縁上部によるスマートデバイスの登場が盛んになっている [1]-[4]．

を叩く位置や音色を識別するシステムを構築している [9]．

その中で，元々給湯器やオーディオ・TV などが導入され本研究は，この伊藤らのシステムにおける叩打音色の識別てきた浴室においては，あまり先進的な機器やスマート環性能があまり高くなかったため，その改良を行うものであ境としての取り組みが行われていないのが現状である．そる．加えて，その叩打音色の違いを利用した様々な応用例のような中で，給湯器やオーディオなどのリモコンは，壁を示し，浴室が新たなスマート環境として進展することをに取り付けた固定型のものがほとんどで，一度取り付ける目指す．と位置の変更ができない課題がある．浴室内で操作する際

本稿では，２章で関連研究について述べ，３章においての手の届き難い場所に設置して後々困ることがあるほか，研究環境を含むシステム概要と，識別する叩打音色（叩き高齢者や身障者は無理な姿勢で操作しないといけない場方）について説明する．４章では，伊藤らの研究 [10] で用合などの課題も指摘されている [5]-[7]．この課題を解決すいていた非負値行列因子分解（NMF: Non-negative Matrix

るために，榊原らは浴槽縁内部に静電容量センサを埋め込Factorization）の処理について，センサ信号の前処理を含み，その縁上に画面を投影することでユニバーサルなユーめた改良点とその性能向上について述べる．５章では，叩打音色識別を利用した浴槽縁でのアプリケーション例につ1a)b)京都産業大学 コンピュータ理工学部
Faculty of Computer Science and Engineering, Kyoto Sangyo
University
ui.suto05@gmail.com
hirai@cse.kyoto-su.ac.jp© 2016 Information Processing Society of Japan

いて挙げ，６章でまとめとする．

631

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162B38
2016/3/3!"#"$"

2. 関連研究
打音の識別処理を行っている関連研究について，利用手法を NMF と SVM に分けて挙げる．
&"%"

2.1 NMF を用いた研究
山本の PosessingDrums[11] の研究では，手や物で発生させた打音や摩擦音などを他の任意の音色に変換する処理を実現している．ここでは NMF を音色識別用途ではなく音色差し替えのための伝達関数として利用している．
安部らの研究 [12] では，ゲームインタフェースに応用するための打音検出に拡張 NMF を利用しており，検出のリアルタイム処理や音色登録機能などに特徴を持たせている．

2.2 SVM を用いた研究

図 1 浴槽縁上での叩き方a) 拳（Fist），b) 指関節（Knuckle），c) 指先の腹（Pad）
d) 爪（Tip），e) 複数本指の腹（Fingers）

Fig. 1 Hand postures for tapping on bathtub edge.
a) Fist , b) Knuckle , c) Pad , d) Tip , e) Fingers!"#$%&'()*+,-./0)1203045678

Lopes らの研究 [13] では，テーブルトップディスプレイのタッチ操作において，拳や指先，指関節での叩打音を識別して異なる操作イベントとして処理できるシステムを実現している．ここでは，テーブルトップの表面に設置したピエゾセンサからの入力音のパワースペクトルを!"#$%&'

SVM で処理している．また，同様の処理を Harrison らのTapSense[14] でも実現しており，こちらは携帯端末で同様の操作を実現している．

3. システム概要
本研究システムは，日本国内で一般的に普及しているユニットバスの浴槽において，浴槽側面の水の入らない空間内の浴槽縁裏にあたる場所に音響センサ（ピエゾセンサ）を取り付ける．そして，入浴者が浴槽縁を叩く音をピエゾセンサによって浴槽の固体振動として直接計測を行う．計測された音響信号を元として，叩打音色の判別処理をリアルタイムで行う．叩打音色の判別処理で推定された音色の種類に応じた異なる操作イベントによって，様々な機器の制御やアプリケーションの操作を目指す．また，浴室ユーザインタフェースの先行研究である TubTouch では天井取付プロジェクタを用いて浴槽縁表面に操作画面や情報を投影してユーザに提示する形式をとっている．システムバスの天井裏には浴室暖房機などの機器を設置できる空間が設けられているため，本研究でも天井取付プロジェクタを使用しアプリケーションなどの情報を提示する．本章では，システムのハードウェア構成と叩打音色識別処理のシステム設計を述べる．また，本研究で扱う叩き方は伊藤らの研究でも着目している図１の５パターンの叩き方に着目して識別精度問題の解決とアプリケーションの実装を行う．

3.1 ハードウェア構成
ハードウェアの構成としては浴槽叩打音を浴槽の固体振© 2016 Information Processing Society of Japan!()*+,-.
図 2

ハードウェア構成

Fig. 2 Hardware configuration.

動として検出する音響センサ部分と，音響センサ部分から入力される信号の叩打音色識別処理と機器やアプリケーションを制御するコンピュータ部分から構成される (図２参照)．それらのセンサとコンピュータは浴槽の裏側に設置することを想定している．日本の一般家庭に普及しているユニットバスは浴槽などが複数のパーツから構成されているので，取り外しが容易である．図３のように浴槽の横壁も容易に取り外す事ができ，水が内部に入らない空間へのアクセスが容易に行えるため，センサ類や回路といった機器を既存のユニットバスに容易に設置することができる．

TubTouch と Bathcratch[15] においても浴槽内空間にセンサを設置しており，本研究でも同様に浴槽内空間にセンサや機器を設置する．ここでは，安価で入手でき，幅広い周波数帯域を検出する事が出来るアコースティックギター用のピエゾピックアップを用いている．

3.2 叩打音色識別システム概要
叩打音色識別処理システムでは，ピエゾセンサから入力される音響信号に対し，叩き方を識別するための処理を行う．現時点で，このシステム全体は Max6 上で構築してお632情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162B38
2016/3/3

表 1

データ収録環境と処理条件

Table 1 Conditions of sound recording and processing.

図 3

浴槽横のエプロン壁を取りはずした様子

Fig. 3 Side of bathtub without apron.

!"#$%&'()*!"#$%&),-.

水準

値

使用言語

Max/MSP

サンプリングレート

44.1 [kHz]量子化ビット数

16 [bit]

入力バッファサイズ

128 [sample]

フィルタ

HPF(5.0 [kHz])RMS 窓幅

128 [sample]

FFT 窓幅256 [sample]を施す．浴槽での叩打音は，高周波成分が比較的少なく，低周波成分が大きい傾向がある（図 5 の各叩き方のスペクトログラムを参照）．しかし，特定の叩き方での音響信号'()*+'()-.
/01234/012347-.
556
89:;<=>1?@34?@GH
ABCD:EF%図 4

叩打音色識別システム流れFig. 4 Percussion timbre identification system flow.には低周波成分と比べると弱いが識別処理での特徴量になりうる高周波成分が含まれている．このことから，フィルタ処理を行い低周波成分を削り高周波成分を強調することで識別精度の向上を図る．

4.1.3 識別処理
フィルタ処理後の波形に FFT を施し，得られたパワースペクトルを NMF で構成した識別器に入力する．本研究における識別器は，NMF と SVM の２つの手法で試みているが，本稿では NMF の識別器を用いる．ここでは，あらかじめ識別すべき叩打音色をテンプレートとして事前に識別器に入力しておき，NMF での繰り返し計算処理によって識別処理を行う．各叩き方のテンプレートは，キャリブレーションデータとして事前に複数回叩打した音響信号

り，NMF による識別処理は C++にて Max エクスターナを収録しておき，各叩打音のパワースペクトルの全パワールオブジェクトとして実装している．この部分の処理フ成分で正規化したものを求めておき，複数回ぶんの平均パローを図 4 に示す．入力された音響信号は，叩打音検知処ワースペクトルをテンプレートとして用いる．これは叩く理が行われ，検知された信号に対し，識別処理の前段階と強さによる周波数成分の違いを平滑化するために行う．こしてフィルタ処理が行われる．その後，FFT によってパのキャリブレーション処理により，全叩き方のテンプレーワースペクトルを得て，NMF による識別処理が行われる．

トを取得し，NMF 識別器に設定しておく．

NMF に，事前に識別する波形（パワースペクトル）のテンプレートを与えておき，その NMF として合致したテンプレートの ID を識別結果として出力する．

4. 叩打音色識別処理とその性能評価

4.2 性能評価
図 1 に示した 5 種類の叩き方を用いて識別性能評価を行う．また，操作インタフェースとして連打する場合も想定し，連打時の処理時間性能についても評価する．本評価

4.1 叩打音色識別処理の内容

は，京都産業大学の実験住宅Ξ Home（くすぃーほーむ）

4.1.1 叩打音検知処理[16][17] の浴槽で行った．ここで用いた音響信号計測と処

ピエゾセンサから入力される音響信号に対し，入力信号理の条件を表 1 に示す．の振幅レベルの閾値処理によって叩打音の初動を検知する．

4.2.1 識別性能の評価

ただ，時間波形そのままでは振動が激しく振幅レベルを扱

前述の５種類の叩き方に対し，２種類だけ利用する組合うのが困難なため，二乗平均平方根（RMS）の積分処理

せ（１０通り），３種類だけ利用する組合せ（１０通り），によって時間波形の振幅レベルを随時処理する（Running

４種類だけ利用する組合せ（５通り），５種類すべて使用す

RMS 法）．この手法と適切な閾値設定により，振幅レベルる場合，それぞれについて識別性能を評価した．この評価が大きくなり始める初動を的確に検出することができる．

では，５人の被験者が各叩き方を１００回ずつ叩いたデー

4.1.2 フィルタ処理

タを用いた．その中の１人のデータをテンプレートとして次節の識別処理の前処理として，ハイパスフィルタ処理© 2016 Information Processing Society of Japan

用い，それ以外で評価を行う形で交差検定を行った．

633

情報処理学会 インタラクション 2016
IPSJ Interaction 2016!"

162B38
2016/3/3

#"%"

$"

&"

図 5 各叩打音の波形とスペクトログラムの例a) 拳（Fist），b) 指関節（Knuckle），c) 指先の腹（Pad），d) 爪（Tip），e) 複数本指の腹（Fingers）
Fig. 5 Wave forms and spectrograms for each hand posture for tapping.
a)fist , b)Knuckle , c)Pad , d)Tip , e)Fingers.

図 6

各叩打音組合せの平均識別精度

Fig. 6 Averages of classification accuracy for each tappingcombination.

図 7

各叩き方の平均残響持続時間

Fig. 7 Duration averages of reverberation for each tapping
hand form.

4.2.2 連打性能
図６のグラフでは，各組合わせでの平均識別精度を示し連打に関しての大きな問題は，叩打後の残響成分であている．図６から，５パターンではユーザインタフェースる．叩打後は浴槽内で共鳴するため残響成分がピエゾセンに用いるのは難しそうだということが分かる．３パターン

サからの音響信号に含まれる．また，その残響成分は叩きでの平均識別精度は 71%程度だが，特定の組合せを見ると方によって持続時間が異なる．そのため，叩打音検知後の80%を超えるものがあり，３パターンの特定の組合せを用不検知時間を適切に設定しないと１回の叩打で２回検知すいれば実用に耐えられると考察できる．このことから，後ることとなり，これはユーザインタフェースでは致命的な述するアプリケーションでは３パターンの叩き方を用いて欠陥である．そのことから，複数人に各叩打音色 10 回ず実装している．また，個人での識別精度結果が複数人でのつ強く叩いてもらい各叩打音色での残響持続時間を測定を識別精度結果より高精度であることから，個人宅の浴室で行う．それらの実験結果を図７に示す．結果より，叩き方の利用を考えているため基本的には４・５人のテンプレーによって残響持続時間が異なることが分かる．長いものでトを登録しておき，テンプレートを切り替えることにより平均 0.13 秒程度で，短いもので平均 0.004 秒程度となって識別精度の確保ができるのではないかと考えられる．

いる．このことから，全ての叩き方で同じ閾値を用いて不© 2016 Information Processing Society of Japan634

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

図 8

BathDrum の演奏の様子

Fig. 8 Playing BathDrum.

162B38
2016/3/3

図 9

機器操作メニュー展開時の様子

Fig. 9 Menu buttons to operate facilities.

検知時間を設定すると残響持続時間が短い叩き方での連打回数の低下を招き，もしくは残響持続時間が長い叩き方の意図しない連続叩打検知が発生する．これらの問題を防ぐために，本研究では叩打音検知，フィルタ処理，識別処理種類のみとなる．それ以上にイベント種別を増やすには，を行った後，識別結果によって結果に対応する事前に用意ダブルタップやトリプルタップのような叩く回数によるイした個別の不検知時間の閾値を設定することで，各叩き方ベント検出も併用することができる．の連打回数の確保と意図しない連続検知を回避することでシステム全体としての連打性能を確保する．

5. アプリケーション例

5.3 文字入力
様々なコンピュータ環境・状況での文字入力手法が提案されているが [18] - [20]，本研究では叩き方の違いのみで文本研究で構築した叩打音色識別処理システムを用いて，字入力を行う操作手段を作成した．３パターンの叩き方の実際の浴室内で動作するアプリケーション例について述

違いを用いて，１つ目の叩き方では子音の選択，２つ目のべる．これらは実験住宅Ξ Home の浴室天井裏に設置さ叩き方では母音の選択，３つ目の叩き方で決定処理を行い，れたプロジェクタから浴槽縁に画面投影し，動作するもの

子音・母音を選択していない状態で３つ目の叩き方を行うとなっている．投影する画面は Processing で描画処理をと消去処理を行うといったシステム設計を行っている．ま用い，叩打音色識別処理システムとは OSC（Open Sound

たその他の入力アプリケーションとして，叩き方の違いをControl）プロトコルで識別音色 ID などのメッセージを送利用したモールス信号入力アプリケーションも実装した．

受信して処理を行っている．

１つ目の叩き方に「・」を，２つ目の叩き方に「ー」を割り当てて３つ目の叩き方で決定処理を行うといったアプリ

5.1 BathDrum
先行研究で開発した BathDrum で利用していた浴槽縁上の叩打位置検出処理に，本研究の叩打音色識別を組み合ケーションとなっている．

6. おわりにわせた，浴槽打楽器アプリケーションである．伊藤らの先本研究は，浴槽に設置したピエゾセンサによって検出す

行研究 [10] では，叩打音色の識別精度が低かったため，2る浴槽を叩くといった行為に着目し，その中でも叩き方に種類の叩き方の識別として処理を行っていたが，それでもついての識別精度向上を行い，叩き方の違いを用いたユー誤検出が多かった．本研究ではその識別処理性能が全般的ザインタフェースの提案を行った．本稿では，本システムに改善されており，２つの叩き方のみだと高い識別精度でのハードウェア構成と叩打音色識別処理システムの概要に打楽器として利用できる．また叩き方の組合せによってはついて述べ，叩打音色を利用したアプリケーションの実装

3 音色でも高い精度が出せ，それを利用した打楽器演奏も例を示した．

可能となっている．

今後は，体や手足が浴槽に当たった際の音など含む雑音への対処が必要である．また，4 種以上の叩打音識別精度5.2 機器などのメニュー操作の向上を図ると共に，浴槽縁への手指での叩打だけでなく，榊原らによる浴槽 UI の先行研究 TubTouch[8] で行って入浴中に浴槽の内壁を意図的に「蹴る」行為などもユーザいた浴槽縁での機器操作について，叩打音でも行えるようインタフェースイベントとして処理する予定である．そし適用した．識別精度から考慮して，叩き方の組合せは 3 つて，アプリケーションも増やすことも含め，より実用的なが適切だが，それだと入力に利用できる操作イベントが 3

操作インタフェースシステムとして構築していきたい．

© 2016 Information Processing Society of Japan635

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162B38
2016/3/3

参考文献
[1]

[2]

[3]

[4]

[5]
[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

S. S. Intille, K. Larson, J. Beaudin, E. Munguia Tapia, P.
Kaushik, J. Nawyn, and T.J. McLeish, The Place- Lab:a live-in laboratory for pervasive computing re- search(Video), Proc. of Pervasive2005, 2005.
B.de Ruyter, et al. Ambient Intelligence Research in
HomeLab: Engineering the User Experience, AmbientIntelligence, Springer, pp.49-61, 2005.
椎尾一郎，元岡展久，塚田浩二, 神原啓介, 太田裕治. Ocha
House とユビキタスコンピューティング, ヒューマンイン
タフェース学会誌, Vol.12, No.1, pp.7-12, 2010.
上田博唯, 山崎達也. ユビキタスホーム: 日常生活支援のための住環境知能化の試み, ロボット学会論文誌, Vol.25,pp.10-16, 2007.
高橋賢一. 浴室リモコン端末 GUI におけるデザイン視点.
デザイン学研究特集号, Vol.11, No.2, pp.3942, 2003.
馬場朗, 日比谷新平, 奈木野豪秀, 小笹詩織, 庄境誠, 竹原清隆. 浴室向け音声コントローラの開発. 情報処理学会研究報告 2008-SLP-73, pp.1922, 2008.
林宏憲, 榊原吉伸, 早川聖朋, 平井重行. タッチセンサ内蔵
浴槽による浴室のインタラクションデザインとその応用.
ヒューマンインタフェース学会研究報告集 Vol.12, No.1.
2010.
榊原吉伸, 林宏憲, 平井重行, TubTouch: 湯水の影響や自由形状への適用を考慮した浴槽タッチ UI 環境, 情報処理学会論文誌 Vol.53, No.4, 2013.
伊藤大毅, 平井重行: 浴槽叩打音を利用したお風呂ドラム
BathDrum の叩打位置検出, 情処研究報告 2013-EC-29-1,
2013.
伊藤大毅, 平井重行: BathDrum2: 叩打位置と音色を利用した浴槽打楽器, 情報処理学会研究報告 2015-MUS-10619/2015-EC-35-19,2015.
Kazuhiko Yamamoto. Possessing Drums: An In- terfaceof Musical Instruments that Assigns Ar- bitrary Timbres
to Personal Belongings, Journal of Information Processing, Vol.21, No.2, pp.274- 282, 2013
安部武宏, 佐古淳: ゲームの直感的なインターフェースに向けたリアルタイムでの打音検出-音のボタン- , 情報処理学会研究報告. 2014-MUS-104, pp.1-6, 2014.
Pedro Lopes, Ricardo Jota, Joaquim A. Jorge. Augmenting touch interaction through acoustic sensing, Proc. ofITS2011, pp.53-56, 2011.
Chris Harrison, Julia Schwarz and Scott E. Hud- son.
TapSense: Enhancing Finger Interaction on Touch Surfaces. Proc. of UIST 11, pp.627-636, 2011.
Shigeyuki Hirai, Yoshinobu Sakakibara and Seiho
Hayakawa. Bathcratch: Touch and Sound-Based DJController Implemented on a Bathtub, Proc. ofACE2012, pp.44-56, 2012.
平井重行, 上田博唯. 京都産業大学の生活型実験住宅Ξ
Home(くすぃーほーむ) について. 電子情報通信学会信学技報, Vol.110, No.35, MVE2010-12. pp.4350, 2010.
平井重行, 上田博唯. 実験住宅Ξ Home (くすぃーほーむ)でのユーザエクスペリエンス研究へ向けて. 計測自動制御学会 SI2011 講演論文集, 2011.
増井俊之. 携帯端末のテキスト入力手法. ヒューマンイ
ンタフェース学会誌, Vol.4, No.3, pp. 131-144, August2002.
椎尾 一郎, 増井 俊之, 塚田 浩二. MouseField: ユビキタ
スコンピューティングのための入力デバイス. 情報処理学会論文誌, Vol. 46, No. 7, pp. 1661-1670, July 2005. 情報処理学会論文誌.
平山健一, 小枝正直: スマートフォンにおける片手親指特性を考慮した文字入力方式の提案と実装, 全国大会公園論
文集. 2013(1),73-75,2013-03-06© 2016 Information Processing Society of Japan636