情報処理学会 インタラクション 2017
IPSJ Interaction 201717INT009
2017/3/2

浴槽叩打音を利用した浴室でのインタラクション手法
隅田 智之1,a)

伊藤 大毅1,b)

川勝 椋介1,c)

平井 重行2,d)

概要：日本の浴室環境のスマート化の策として，浴槽にピエゾセンサを後付けで埋め込み，浴槽縁の上面を手指で軽く叩くことで様々な操作手法を提供するシステムを提案する．これは，浴槽縁上面の叩打位置，
叩き方の違いによる叩打音色，叩くリズムの違いによる叩打パターンをそれぞれ検出・識別して操作イベントとして，浴室機器の制御をはじめ様々なアプリケーションに利用できるものである．本稿では，そのシステムの処理内容と実装および各機能性能について述べる．そして，実際の浴室で動作する様々なアプ
リケーション例を示すと共に，本システムの意義や将来性のほか，各操作イベントのインタラクションデ
ザインに関する制約などについて議論する．

Interaction Technique for Bathrooms Using Tap Sounds on The
Bathtub Edge
Sumida Tomoyuki1,a)

Ito Daiki1,b)

Kawakatsu Ryosuke1,c)Hirai Shigeyuki2,d)Abstract: We present a user interface system that converts an existing bathtub into various controllers bytapping locations, tones and patterns with their tap sounds on a bathtub edge. This system utilizes embedded
piezoelectric sensors in a bathtub edge to analyze acoustic signals of tap sounds, and also a projector installed
above the tub to project menus on the edge. This paper describes each of the tapping user interface eventsand their specific detection methods with signal processing techniques, and their performance evaluations.
We also give eﬀective applications for spending bathing time using this system. In addition, the discussion
about the significance and the future of this system, and its limitations on interaction design with detected
control events are also described.

1. はじめにことから，見栄えの悪さやメーカ・機器の違いによる個々のリモコン操作の混乱，入浴位置による操作のし辛さ，なスマート環境を実現する IoT（Internet of Things）製品

どの問題が指摘されている [4]．我々は，それら問題の解決の登場が盛んとなっているなか，我々はインタラクティブ

手段の１つとして，浴槽縁内部に静電容量センサを組み込なユーザインタフェース（UI）を持つスマート浴室環境をむと共に，縁上へ浴室天井から画面投影する TubTouch を提案・試作してきた [1]-[3]．近頃の日本の浴室は，海外の提案，実装している [3]．TubTouch では，浴室の中心線とそれとは違って様々な浴室機器が導入されて高機能化が著なる浴槽縁をタッチインタフェース化することで，それらしい．給湯機のリモコンが設置され，温度と湯量の設定が問題解決を図る一方で，浴槽縁の投影画面が自由に変更可

でき，照明機器やオーディオ，浴室暖房乾燥機まで導入さ能なことから浴室ならではの様々なアプリケーション例もれている浴室も多い．しかし，それらは個別のリモコンが示し，これまでにないスマート浴室環境を実現している．

用意されており，機器の数だけ浴室の壁に固定配置される

ただ，常にセンシング可能なタッチセンサの利用に対し，浴槽を跨いで出入りする際に縁に手をかける行為と，操作

1
2
a)
b)
c)
d)

京都産業大学大学院 先端情報学研究科
京都産業大学 コンピュータ理工学部
ui.suto05@gmail.com
daiki.ito7818@gmail.com
i1658038@cc.kyoto-su.ac.jp
hirai@cse.kyoto-su.ac.jp© 2017 Information Processing Society of Japanのための浴槽縁のタッチとの区別の問題，浴槽から溢れるくらいの湯水がある場合に手指と湯水との区別ができな
くなるなどの問題があった．これらの TubTouch の問題に対して，タッチセンサの代わりにピエゾセンサを浴槽縁内

67

情報処理学会 インタラクション 2017
IPSJ Interaction 201717INT009
2017/3/2

部に設置し，タッチではなく手指でのノックやタップする

うため位置検出方法は処理負荷も軽い Joseph らと同様の際の叩打音（振動）を解析することで，TubTouch 同様の手法を採用するが，浴槽縁の形状は幅が狭くて細長く，単UI 環境が構築できると考えた．ここでは，まず叩く操作

純な平面とは限らず曲面をも対象としていることから，位を受け付ける位置（以下，叩打位置と記載）の検出機能を

置検出は１次元的に行い，それを叩打位置に関する操作イ実装した [5][6]．また入浴者の場所や姿勢によっては叩打

ベントとして利用する．

できる位置が限定的であることから，叩き方の違いによる音色の違い（以下，叩打音色と記載）に関する識別機能も2.2 叩打音色識別に関する研究実装した [7][8][9]．加えて，意図的ではなく身体が浴槽にPosessingDrums[14] は，手や物で発生させた打音や摩擦

当たって鳴る叩打音を意図的な操作と区別することも配慮

音を他の任意音色にリアルタイムで変換する機能を，非負値して，連打や音楽的なリズムパターン（以下，叩打パター

行列因子分解（NMF: Nonnegative Matrix Factorization）

ン）を検出する機能も付加する．本研究論文の貢献は，こを用いて実現している．この研究では変換したい音色のパれまで行ってきた叩打位置 [5][6]，叩打音色 [7][8][9] の機能

ワースペクトルを変換行列として設定して低レイテンシでの実装と新たな性能向上に加え，叩打パターンの入力機能処理している．本研究システムでも同様に NMF を利用すも実装し，3 種類の叩打音入力機能を統合的に扱えるようるが，音色の変換ではなく叩打音の識別に特化した処理をにした点が 1 つである．また，これら叩打音による入力機

施し，その結果を操作イベントとして利用する．

能を個別・組合せて利用するアプリケーション例を示した

Lopes らのシステム [15] や Chris らの TapSense[16] で

うえで，本研究システムの意義や将来性についての議論しは，テーブルトップやスマートフォン上をタップやノックている点，またインタラクションデザインに関する本研究した音色についてそのパワースペクトルを SVM で識別し，システムにおける制約などについて議論している点も本論

操作イベントとして利用している．SVM は NMF での識文の貢献として挙げられる．

別手法に比べて学習負荷が高い．我々の NMF の手法では

本論文は，以下で関連研究について述べ，本研究システ

識別のためのテンプレートが短時間で作成でき，様々な浴ムの概要と構成，各機能の実装と性能について述べる．こ槽材質や形状，設置環境において即座に対応できるというのシステムを用いたアプリケーション例を示したうえで，利点がある．

システムの導入や適用，インタラクションデザインに関す

また，関連製品として Mogees[17][18] があり，内蔵したる制約，近い将来のスマートハウス像について議論を行う．

コンタクトマイク（ピエゾセンサ）で，手指の叩打音など

2. 関連研究
浴室において様々な操作が可能なインタフェースの研究を機械学習して，様々な機器のリモコン代わりにすることができる．ただし，どのような機械学習アルゴリズムを利用しているのかは不明である．

としては，浴槽内の湯水の水面を利用する AquaTop Dis-play[10] が挙げられる．ただし，本研究は浴槽本体を操作

2.3 叩打パターンに関する研究

インタフェースかつ叩打音を利用するシステムであるた

TapSongs[19] は，リズム入力をパスワード入力に利用すめ，本章では主に叩打音を利用したインタフェースの関連る研究であり，イヤホンの音量ボタンを特定パターンで研究についてまとめる．

タップすることで，音楽プレイヤーのロックを外す手法などを提案し，ユーザ評価を行っている．また，Ghomi ら

2.1 叩打位置検出に関する研究
Joseph らは，複数ピエゾセンサをガラス窓に取り付け，はリズムパターンによる入力が初心者にも効率的に再現できるか実験を行い，ユーザがリズム入力をショートカット

ノックの振動の各センサ到達時間差からノック位置を算出

キーの代わりとして有効に利用できることを示した [20]．

し，画面操作する UI を構築している [11]．PinPonPlus[12]これらから，リズムパターンを操作イベントに利用するこも同様に卓球台の裏面にセンサを配置し，同手法でピンポとが有効であるとして，本研究でも浴槽縁を叩くリズムをン球の台上の跳ねた位置を算出しており，これらの研究で

操作イベントとして利用する．例えば，早いダブルタップ

は２次元平面を対象としている．

（ex. タタン）で照明点灯，ダブルタップに追加 1 回タップ

Skinput[13] では，ピエゾアレイを組み込んだアームバ
ンドを上腕に巻き，前腕や手指のタップ位置を算出して操作イベントとして利用するシステムである．ここではタッ（ex. タタンタ）で消灯，といった適用が考えられる．

3. システム概要

プの際の振動を皮膚電動と骨伝導両方の伝搬パターンを本研究システムは，日本国内で一般的なシステムバスでサポートベクターマシン（SVM:Support Vector Machine）の利用を前提としている．システムバスの多くは浴槽の横で事前に機械学習し，タップ位置を検出する．

壁が開く構造となっており，オプション機器が後付け可能

本研究は Skinput のような軟物体ではなく，固体物を扱© 2017 Information Processing Society of Japanである．本研究では，これを利用してピエゾセンサを浴槽

68

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

図 1

17INT009
2017/3/2

浴槽叩打インタフェースのシステム概要

Fig. 1 System overview.
図 2 各叩打位置の伝搬時間の標準偏差と回帰直線

縁裏面の部分に設置する．これにより，浴槽表面を叩いてFig. 2 Distances of tap locations from the sensor and diﬀerences in determined arrival times.

発生する音響を浴槽自体の固体振動として計測し，その音響信号を元に，各種信号処理などを施して，叩打位置検出，a)

叩打音色識別，叩打パターン識別をリアルタイムで行う．

b)c)

これらの処理結果は個別にもしくは組み合わせた入力イベ
ントとして，機器操作やアプリケーションに利用する（図d)1 参照）．

e)

3.1 ハードウェア構成
現在の我々のシステムは，ヤマハリビングテック製（現トクラス製）1616 サイズのシステムバスにて，ピエゾセン
サとしてアコースティックギター用のピエゾピックアップ（SHADOW 製 SH-711）を用いている．ピエゾセンサから

図 3

浴槽縁上での叩き方a) 拳（Fist），b) 指関節（Knuckle），c) 指先の腹（Pad），
d) 爪（Tip），e) 複数本指の腹（Fingers）
Fig. 3 Hand postures for tapping on bathtub edge.
a) Fist , b) Knuckle , c) Pad , d) Tip , e) Fingersの音響信号は USB オーディオインタフェースで PC に信号を入力し，PC にて次節以降の各種叩打音処理や，アプ

信号到達時間差で位置検出を行うためには，到達時間をリケーション処理を行っている．なお，浴槽縁上の画面は，正確に検出する必要がある．ここでは，Joseph ら [11] と同

TubTouch 同様に浴室天井裏へ設置したプロジェクタから様に移動実効値法（Running Root-Mean-Square Method）

投影する．浴室乾燥機などが設置されているシステムバス

を用いて，波形そのものではなく振動エネルギー（二乗振の天井裏は空きスペースがあり，プロジェクタ設置は容易

幅の一定時間窓での積分値）が設定した閾値を超えた時刻である．

を信号の初動時刻として検出する．

4. 叩打音処理手法と性能

4.1.2 叩打位置検出のためのキャリブレーション
この手法を用いた場合，移動実効値法での窓幅と初動検

本章では，叩打位置，叩打音色，叩打パターンの各機能

出の適切な閾値が未知であり，それらはピエゾセンサの設の処理手法と性能について述べる．叩打位置と叩打音色に置位置によっても変化する．そこで本手法では，キャリブ

ついては，それぞれ細かい改良を重ねて性能向上が行われレーションとして予め使用する浴槽に対して各叩打位置をている一方で，叩打パターンは今回新たに実装された機能それぞれ 30 回叩打したデータを取得し，検出閾値と移動である．

実効値法の窓幅を変化させながら，叩打位置からセンサに振動が伝搬するまでの時間を求める．そのセンサへの伝搬

4.1 叩打位置

時間の標準偏差が最小になるような閾値と窓幅を適切な値

4.1.1 叩打位置検出手法についてとする．図 2 は，浴槽を指先で叩打した際のキャリブレー

位置検出は，浴槽裏側に複数のピエゾセンサを設置して，ションデータから求めた窓幅と閾値での各叩打位置の振動

叩打音による振動到達時間差から算出する．ピエゾセンサ

伝搬時間をプロットしたものである．この図から，叩打位を細かく配列上に並べたものを浴槽裏側に設置すれば振動置がセンサから 100〜300mm 離れた位置であれば伝搬時の最大振幅位置を検出することも可能だが，回路の複雑さ，間が重複していないため，この範囲であれば叩打位置判別

もしくは計算コストの問題，設置の汎用性低下などがあるが可能である事が分かる．本研究では，FRP 製と人工大理

ため，できるだけ少ない個数のセンサで実現することとし

石製の２つの浴槽に対して評価を行い，同様の図 2 の結果た．ここでは，一定間隔でピエゾセンサを離して設置する．

であることを確認した．また，このキャリブレーション法© 2017 Information Processing Society of Japan69

情報処理学会 インタラクション 2017
IPSJ Interaction 2017a)

17INT009
2017/3/2

b)

c)

d)

e)

図 4

各叩打音の波形と RMS 後の波形，スペクトログラムの例a) 拳（Fist），b) 指関節（Knuckle），c) 指先の腹（Pad），
d) 爪（Tip），e) 複数本指の腹（Fingers）
Fig. 4 Waveforms, RMS waveform and spectrograms for each tapping hand posture.
a) Fist , b) Knuckle , c) Pad , d) Tip , e) Fingers

１

登録テンプレート数

が，識別処理において特徴量になりうる高周波成分が含ま×

登録テンプレート数

≈

周波数

周波数

１
h1

V

入力パワースペクトル

W
Tim2

Tim3

テンプレート行列

を 5kHz に設定したハイパスフィルタ処理を施し，低周波成分を削りそれぞれの叩打音色の特徴的な高周波成分を強h2調することにより，識別精度の向上を行う．
前処理後の波形に FFT を施し，得られたパワースペクト

h3

Tim1

れている．このことから，前処理としてカットオフ周波数

H

励起行列

ルを NMF で構成した識別器に入力する．本研究では，識別
したい叩打音のパワースペクトルが既知であるため，NMF
を教師ありとしてリアルタイムで適用する．通常 NMF による音源分離は時間的にかなり長いスペクトログラム行列

図 5 本手法での NMF 行列の概要

に対して行われるため，リアルタイム処理にはあまり適用

Fig. 5 Overview of NMF matrix.

されないが，叩打音は極短い時間での励起であり，本手法
ではリアルタイム性を確保するため，叩打音の励起部分のを用いれば，別の異なる形状の浴槽でのインタフェース構

1 フレームのみを分解し識別処理を行う（図 5）．ここでは，築も可能だと考える [5]．

あらかじめキャリブレーションとして識別する叩打音色を
複数回叩打したデータを取得し，各叩打音のパワースペク

4.2 叩打音色

トルの全パワー成分で正規化したものを算出し，それらをここでは，図 3 に示す 5 種類（Fist, Knuckle, Pad, Tip,

叩打音色毎に平均をとったものをテンプレートとして登録

Fingers）の叩き方に基づいて作成した叩打音識別処理手法

する（図 5 の W）
．また，入浴中の身じろぎなどの叩打音色について述べ，その識別性能について述べる．また，連打

でないノイズも検知するため，これも事前に収録したユーを想定した場合の音色毎の処理時間性能についても述べる．

ザが自由に入浴したときのデータからテンプレートを作成

4.2.1 叩打音色識別手法について

し識別器に登録する．そして，入力パワースペクトルにつ

従来手法において叩打音色識別では，まず叩打位置検出

いて NMF での繰り返し計算処理を行い励起行列（図 5 のと同様に移動実効値法を用いた閾値処理で叩打音を検知

H）を更新し，更新後の励起行列の要素と入力パワースペ

する．このとき，叩打位置検出処理と同じ移動実効値法のクトルの全パワー成分を用いた確率計算をした後，最も確窓幅と初動検出閾値を用いて同期をとっている．浴槽で率が高いテンプレートの ID を操作イベントとして出力すの叩打音は，高周波成分が比較的少なく，低周波成分が大る [9]．本研究における改善手法としては，ハイパスフィル

きい傾向がある（図 4）．しかし，いくつかの叩き方（Pad

タ処理後のパワースペクトルに対して，それぞれの叩打音

や Tip，Fingers）の信号には低周波成分と比較すると弱い© 2017 Information Processing Society of Japan70

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

図 6 各叩打音色組合せの平均識別精度

Fig. 6 Averages of identification accuracy for each tapping
combination.

17INT009
2017/3/2

図 8 各叩打音色の平均残響持続時間とそれぞれの標準偏差Fig. 8 Average duration of reverberation andstandard deviation for each tapping hand posture.

れば使用してもさほど問題がないことも考えられる．
一方で，個人での識別精度については，全体的に複数人での評価より精度が高いことがわかる．これから，普段は家族 4-5 人程度が入浴するということを想定すると，家族
内の個人毎にテンプレートを登録して，個別に切り替えて
図 7

各叩打音色組合せにおける平均ノイズ検出精度

Fig. 7 Averages of noise detection accuracy for each tapping
combination.

利用すれば識別精度は高い状態で利用可能と言える．
ノイズ検出に関しては，各叩打音色組合せにノイズクラスを追加した NMF 識別器に，収録したノイズデータを入色の特徴的な成分を強調するようなフィルタリング処理を力し，どれだけ正確にノイズ検出できるか評価した．図 7

追加することで，識別精度向上を図っている．

では，全組合せに対して検出性能が非常に高く安定してい4.2.2 識別性能の評価ることを示している．この結果より，叩打音色識別処理で5 人の被験者に図 3 の 5 種類の叩き方それぞれ 100 回ずの結果を用いることで，叩打位置検出や叩打パターン検出

つ浴槽縁を叩打してもらい，その取得したデータを元に識における誤動作，誤識別を防ぐことができる．

別精度の評価を行った結果を図 6 に，ノイズ検出精度の結4.2.3 連打性能

果を図 7 に示す．この評価では，5 種類の叩き方に対し，2連打する場合，叩打後に浴槽内で共鳴した周波数の残響

種類だけ利用する組合せ（5 C2 通り），3 種類だけを利用す成分が残り，移動実効値法での叩打タイミング検出が正確る組合せ（5 C3 通り），4 種類だけを利用する組合せ（5 C4に行えなくなることが問題になる．また，残響時間は叩打通り），5 種類すべてを使用する場合（5 C5 通り）のそれ

音色によって持続時間に差があるため，叩打音タイミング

ぞれについて評価を行った．また，本評価ではそれぞれの検知後に叩打音色毎に持続時間内の誤検知を防ぐため，不叩打音色組合せにノイズクラスを追加した NMF 識別器を

検知時間を適切に設定する必要がある．そこで，5 人の被用いる．「複数人での平均識別精度」は，4 人のデータか

験者から各叩打音色をそれぞれ強めに 10 回ずつ叩打した

ら NMF のテンプレートを作成し，残り 1 人のデータの識データから，叩打音を検知した時点から叩打位置で設定し別精度を求めることを交差検定として行った結果である．

た RMS 閾値を下回るまでの残響時間を測定した（図 8 参「個人での平均識別精度」は 1 人毎のデータをランダムで選照）．この結果から，残響の長い Fist で平均 120msec，短出した半分のデータでテンプレート作成し，残り半分で識いもので 40msec 程度となった．これらの結果から，本シ別した結果を表したものである．さらに，叩打以外の入浴

ステムでは叩打音色識別だけでなく，叩打位置や次節の叩中に体が浴槽に接触したなどのノイズ音についても，キャ打パターンの処理においても，音色毎の個別の不検知時間

リブレーション用とは別に被験者 3 人の合計 20 分程度のを設定して意図しない連続検知の回避と，叩打音色毎の連

入浴時のデータを元に NMF テンプレートを作成して評価

打性能を確保する．例えば，Fist であれば 150msec ほどのした．

不検知時間で秒 6 連打程度まで可能に，Knuckle や Tip でこの結果より，5 組合せでは入力手段として用いるにはあれば 40msec ほどの不検知時間で秒 25 連打程度まで可能

識別精度の問題から困難と判断できる．ただ，平均識別精と言える．このことから，連打が必要なアプリケーション

度は 2-5 の各組合せ数におけるそれぞれの叩打音色組合せとそうでないアプリケーションに対して，割り当てる叩打の平均であるため，特定の組合せであれば 80%以上のもの

音色を切り替えることでユーザインタフェースの構築はでがあるなど，特定組合せを用いることで 3 組合せ程度であきると考える．

© 2017 Information Processing Society of Japan71

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

図 9

17INT009
2017/3/2

パターン検出時の時間処理

Fig. 9 Time series diagram of tap pattern recognition .
図 11

浴室機器制御Fig. 11 Example application of controlling appliances.

4.3.2 叩打パターン認識性能
前節で説明した確率密度関数の平均 µ，標準偏差 σ について，5 人の被験者から各叩打パターンに対して 20 個ず
つのタイミングデータを取得してあり，そのデータの基に計算した値を設定している．表 1 は，3 叩打のパターンに対する平均と分散の値を示す．これらのデータを用いた場
図 10

3 叩打の場合のパターン識別処理概念図

Fig. 10 Diagram for identification of 3 tap patterns.

合の 3 叩打の識別性能について 5 分割交叉検証を行った結果，100%の認識性能が得られている．

4.3 叩打パターン
叩打パターンは, 一定時間内の叩打音の連打数を元に検出する. ここでは,「タタン」(2 連打),「タタタン」(3 連打)

表 1

3 叩打パターンでの正規化時間差の平均と標準偏差Table 1 Averages and standard deviations of normalized time
diﬀerence in 3 tap patterns.

だけでなく,「タンタタ」（以下●・●●と表記）や「タタンタ」（●●・●）のような特定リズムパターンも入力イベントとして認識し, 利用できるようにする.

叩打パターン●●●●・●●

平均 (µ)

0.49050.70480.3069標準偏 (σ)0.02160.03210.0343●●・●

4.3.1 叩打パターン認識手法について
ここでは叩打音色識別処理から出力される叩打音色 IDを用いる. 叩打位置検出処理からの結果の受け取りや，この処理で RMS 閾値による叩打音検知を行った場合，叩打音ではないノイズもリズム認識処理に含まれる可能性があるため，ここでは入力音が叩打音かノイズかに識別されている叩打音色からの結果を主に用いる．
この処理ではまずパターンの受付時間, 最大叩打回数を設定しておく. そして, 叩打音識別処理から送られる叩打イ
ベント (ID) と次の叩打イベントとの間の時間間隔を記録する. 最初の叩打から受付時間を超えた場合, もしくは最大叩打回数を超えた場合に, それまで受け付けた叩打を 1
つのパターンとしてみなしてパターン認識処理を行う.(図9) 記録した叩打間の時間差の合算値で各時間差を正規化し, その正規化時間差を用いて確率密度関数 (次式) によってパターン推定率を求める.
∑∑
f (x, j) =N (xi , µji , σji )j

5. アプリケーション例
特定目的の操作手法およびアプリケーション例と共に，前章で説明した操作イベントの単体もしくは組合せによる
具体的な適用例を示す．これらにより，本研究システムは，単なる浴槽機器のリモコン機能を浴槽縁で実現しているだけでなく，様々なアプリケーションの切り替えができる
ことで，より多様な浴室での過ごし方に対応できるプラッ
トフォームとしての側面を示す．なお，ここで示すアプリ
ケーション例は，すべてが本システムの操作イベント適用が最適とは限らず，TubTouch でも適用可能なものもある．
それら適用の適切さについては，6 章の議論において考察する．
本章で示すいずれの例も，浴槽縁に表示される画面は，浴室天井裏に設置したプロジェクタから投影している．叩打(1)i

音処理による操作イベント出力はすべて Max 上で（C++による外部オブジェクトの実装含む），投影画面は Processing

上式の xi は i 番目の正規化時間差と µji と σji は j 個目のでそれぞれ実装し，その間は OpenSoundControl プロトコ

パターンの平均と標準偏差から，それぞれの叩打パターン

ルで通信するシステムとなっている．

の f (x, j) を計算し，最も大きな値を取ったパターンを認識結果とする．また，3 叩打の場合の処理概念図を図 10 に示す．現状の実装では 3 叩打までの処理に留めているが，この手法では 4 叩打以上のパターンでも適用できる．

© 2017 Information Processing Society of Japan

5.1 浴室機器制御
給湯機の給湯温度設定，照明操作，音楽プレイヤーなどの機器操作を叩打音でも行えるような浴室機器制御のアプ

72

情報処理学会 インタラクション 2017
IPSJ Interaction 201717INT009
2017/3/2

図 13
図 12

文字入力時の画面例

Fig. 13 Example entertainment applications.

リズムパターン提示例（左：●・●●，右：●・●・）

Fig. 12 Rhythm pattern description in each icon.

a)

b)

c)

d)

(Left: ●・●●, Right: ●・●・)

リケーション例を実装した（図 11 参照）．操作イベントの割り当てはいろいろと可能であるが，叩打位置に応じた操作手法はその場所にメニュー選択肢やアイコンを表示することで単純に表現できるため，ここではあえて叩打音色と叩打パターンで操作できる形式で実装した．叩打音色処理
では，最も識別精度の高い，Knuckle と Tip の 2 組合せを

図 14

エンタテインメントアプリケーション例

使用し，叩打パターンについては 3 叩打でのリズムパターa)Whac-A-Mole，b) 早押しボタン，ンを適用した．具体的には，Knuckle をアプリケーションc)BathDrum2, d) リズムゲームの起動・終了・切り替えなどに割り当て，Tip をアプリケー

Fig. 14 Entertainment application example.
a)Whac-A-Mole，b)Quiz Buzzer，c)BathDrum2, d)Rhythm Game

ション自体の機能制御に割り当てることで操作イベント
割当ての複雑さを軽減している．また，割り当てた叩打パ
ターンについては，図 12 のように操作アイコンやメニュー

声認識機能が速度と正確さの点で実用的になれば，この例

アイコン上にドラム譜のような形式でリズムパターンを提のような文字入力手法の適用の必要性は低くなる可能性は示することで理解しやすい操作手法の表示を試みた．これある．

らにより，基本的なメニュー画面の遷移や，個別の機器操
作画面への本研究システムの適用が可能であることを確認した．

5.3 エンタテインメントアプリケーション
日本の文化では，浴室はリラックスする場，また親子のコミュニケーションの場，半身浴で読書する場など，様々

5.2 文字入力な側面を持った空間と言える．それらの様々な用途の中様々なアプリケーションが浴室環境で動作すると想定すで，個人もしくは複数人で楽しむことができるエンタテイ

れば，検索文字列の入力や何かしらの文字入力が必要とな

ンメントアプリケーションの例を示す．ここで示す例は，る場面が考えられる．多様な環境での文字入力手法が提案

いずれも実際の叩打に対して低レイテンシで操作イベン

されているが [21][22]，本研究システムにおいては，識別精トが処理される必要があるものばかりであり，数百ミリ秒

度が高い 3 音色（Knuckle, Tip, Fingers）を用いて叩打音

単位でのレイテンシで動作する TubTouch では実用に耐え

色のみで文字入力を行う UI 適用例を示す．1 つ目は仮名ないアプリケーションと言える．図 14 に本節の各アプリ

入力を行う適用例で，Knuckle を子音選択，Tip を母音選

ケーション画面例を示す．

択，Fingers で仮名確定もしくは 1 文字削除に割り当てた．

5.3.1 Whac-A-Mole

また，別手法として，モールス信号の 2 種類の入力（短点，

浴槽縁の幅広い範囲で叩打位置を利用するもぐら叩き長点）を Kinuckle と Tip の 2 音色に割り当て，3 つ目の音

ゲームを実装した．内容は制限時間内に，横一列に並んだ色を上記同様に決定処理もしくは削除処理に割り当てる実穴から出てくるモグラを何匹叩けるかを競う [5][6]．これ装も行った．実用上は前者のほうが利用範囲が広いと言えは，叩く行為を利用した定番ゲームであり，その単純さかるが，文字入力手法の別例として実装した．また，叩打音

ら幼児から大人まで短時間で楽しめるものの例である．

色ではなく叩打位置を利用して，３つの位置でそれぞれ子5.3.2 早押しボタン

音，母音，文字確定を割り当てることも可能である．なお，

日本人が親子や兄弟で一緒に入浴した場合に，なぞなぞ

ここではあくまでも本研究システムを利用する場合の適用の出し合いをすることがある．そのような場合に誰が解答

例として挙げたものであり，残響が大きい浴室環境での音権を得るか競うための早押しボタンアプリケーションを作© 2017 Information Processing Society of Japan73

情報処理学会 インタラクション 2017
IPSJ Interaction 201717INT009
2017/3/2

成した．叩打位置を利用して特定場所にボタンを表示して本研究の元々の動機は，給湯機などの浴室リモコンが浴室

おり，叩けばそのボタンの色が変わってサウンドがなる．

壁に固定されており，その設置位置によっては高齢者や障ボタンは複数設置可能で，リセットボタンを叩くことで全がい者が無理な姿勢を強いられる問題点に端を発していボタンが元の状態に戻る．日常生活における日本入浴文化る．その解決手段の一つとして浴槽縁の利用を提案した．

独特の親子コミュニケーションを演出するアプリケーショ

また，日本の一般家屋で普及しているシステムバスの多くンと言える [5][6]．

は，浴槽の横壁が開く構造でありジェットバスなどのオプ

5.3.3 BathDrum2

ション機器が後付けできる．また，その天井には浴室暖房

浴槽縁を叩いて演奏する浴槽打楽器である．叩打位置と乾燥機が埋め込まれた構成であることも多く，天井裏のそ叩打音色を利用して，叩く位置によって打楽器の種類が，の周囲にはスペースがあることから，オプション機器の一叩き方によって打楽器の音色が変わる．打楽器の音色が変部が設置される場所としても利用されている．本研究シスわる例としては，ハイハットのオープン・クローズ，スネ

テムは，センサとプロジェクタをこれらの空き空間に後付

アドラムのリムショットありとなしのストローク，などがけとして導入できる点にも大きな意義がある．さらに，浴ある [7][8][9]．

室は裸で利用する場所であり，カメラを用いたビジョン技

叩打位置検出は 10msec 程度で行えることは確認できて術を必要としないシステム構成である点も意義がある．

いる．叩打音色処理も併用する BathDrum2 の場合，図 8

これらの意義に加え，従来の浴室機器のリモコン機能の残響時間の結果から，Pad や Fingers で叩くとしてもだけでなく，5 章で挙げたこれまでにない浴室アプリケー

100msec ほどの不検知時間で良いため，1 秒あたり 10 連

ションをも可能とするアプリケーションプラットフォーム

打程度の処理は可能である．これは両手で高速に叩くにはとして機能する側面も持っている点も本研究の将来性の点不十分だが，普通に打楽器として演奏するには十分なレで重要と考えている．これは，PC やスマートフォンでフスポンスが得られる．そのため，幼児を含むドラム演奏がロントアプリケーションを切り替えながら利用するこれまできない人でも適当に叩けば音が鳴って遊ぶことができ，でのコンピュータ利用のスタイルを，日常生活の空間に適

音楽経験者がドラムのリズムパターンを普通に叩くにも用し，アプリケーションを切り替えることで部屋・空間の100msec 程度のレイテンシだと，通常のドラム演奏に近い機能を切り替えて生活を送る生活スタイルを提案してい感覚で演奏をすることができる．

ることにもなる．これは，住宅の特定の場所（例えばキッ5.3.4 リズムゲーム

チンや玄関，トイレなど）に対するアプリケーションがイ「太鼓の達人」や「ダンスダンスレボリューション」など

ンターネット上で公開され，人々はそれらを自宅にインスのリズムゲームは，基本的にボタン（位置）の違いとタイトールして空間の機能を拡張し，それらを切り替えながらミングを曲の進行内容に合わせて操作する．ここでは，そ

生活するというスマートハウスの未来の姿を，浴室環境でれら基本的なリズムゲームと同様に叩打位置とタイミング

実現しているとも言える．

だけで操作するものと，叩打音色を組み合わせて難易度の高い操作を行うゲーム内容とを実装した．浴槽縁上に複数

6.2 叩打音利用に関する制約についての叩打点を設定し，浴槽縁の端から色と形の違うオブジェ

叩打位置，叩打音色，叩打パターンの 3 種類の操作イベクトが流れてくるものとなっている．ユーザは，流れてくントが利用できることに対し，アプリケーションのインタるオブジェクトに合った位置と叩き方（例えば，四角形でラクションデザインに関係する各操作イベントの制約につあれば Knuckle）で浴槽を叩いてゲームを楽しむことがでいて考察する．本研究システムの現在の実装では，叩打位

きる．

置は 10cm 程の間隔で区別可能，叩打音色は組合せによっ

6. 議論て 3 種類まで識別可能，叩打パターンは最大 5 叩打でのリ
ズムパターンまで利用可能である．これらをメニュー操作

本章では，前述の浴槽叩打音による操作イベントを浴室やアプリケーション操作に適用する場合，操作イベント毎のスマート化へ向けたインタラクションデザインと本シスの制約を考慮したうえで，どの入力イベントを何の操作にテムの意義の観点で議論，考察する．

割り当てるのかがインタラクションデザインとしての要点となる．また，用いる操作イベントの種類の増加は，その6.1 インタラクション場としての浴槽の利用とその将来性
浴槽縁を浴室におけるインタラクション場に利用する意

対応関係をユーザの記憶に頼る事になるため，分かりやす
さや慣れやすさの点で影響が出ることが考えられる．

義について述べる．浴槽縁は，浴室の中心線付近であるこ叩打位置については，浴槽内での座る姿勢や位置によっとから，浴槽での入浴中も洗い場にいる時も手を伸ばせばて手の届く範囲が限られることに注意が必要となる．一方

簡単に手が届いて操作できる場所である点が第一の意義とで洗い場にいる場合は，立位か椅子での座位かなど姿勢にして挙げられる．これは TubTouch システムと同様だが，よる影響も多少はあるが，浴槽内での座位に比べ，叩打可© 2017 Information Processing Society of Japan74

情報処理学会 インタラクション 2017
IPSJ Interaction 201717INT009
2017/3/2

能な位置の制約は多くないと言える．画面の表示位置や向び操作手法を適用する必要がある．

きをユーザの場所は浴槽内か洗い場かに応じて変更する機

6.3.3 レイテンシ能が必要と考えられる．現状ではその機能の実装はしてい

TubTouch では手指による操作に対し，センサ反応の都

ないが，給湯機に内蔵されている水圧センサの値を利用す

合から数百 msec 程度のレイテンシが発生する．これに対れば，浴槽に人がいるか否か判定が可能なので [1]，それでして本研究システムでは，連打しない場合のレイテンシは

表示位置の変更は可能と考えられる．

10 msec 以下であり，TubTouch に比べかなりレスポンス

叩打音色については，姿勢や座高，腕の長さの違いなどは良い．ただ，叩打音色によっては残響特性から高速な連による手腕の姿勢に依存して，叩打しやすい叩き方が変打に向かないこともあるため（図 8 参照），操作イベントのわることが考えられる．このことから，利用する叩打音色

割り当てについては注意を要する．

（叩き方）の設定はユーザ毎に自由に変えられるようにすべ

6.3.4 設置および初期設定の容易さ

きと言え，現状のシステムでは個人毎の設定・登録が簡単

TubTouch では，複数の静電容量センサを浴槽縁裏に自にできるようにしてある．その上で，通常の機器操作やア

由に配置可能であるが，湯水の影響を少なくするために電プリケーションであれば，連打する必要はあまりないが，極サイズを大きくする必要があることで制約がある．タッ

BathDrum のような特定アプリケーションでは連打性能が

チ操作の閾値はセンサ設置箇所の上面を手で触れることで大きく演奏内容に影響するので割当てる音色に注意を要す

完了する．本研究システムでは，ピエゾセンサを 30cm 間ると言える．

隔で浴槽縁裏に設置し，叩打位置を割り出すためのキャリ

叩打パターンについては，叩打間隔や入力待機の時間設

ブレーションには上述の通り浴槽縁を複数回叩くことで可定をマウスのダブルクリックの間隔設定のように，ユーザ能である．叩打音色に関しては，使用する音色毎に浴槽縁毎にカスタマイズできるようにすることが重要と考える．

を複数回叩く必要がある．TubTouch に比べセンサの設置

その上で，人によって音楽リズムの知識・経験が違うので，に関しては簡単だが，初期設定に関しては手間がかかると利用するパターン数もカスタマイズできるようにすべきで言える．

あり，現在の実装でその機能を組み込んである．

6.4 TubTouch との併用
6.3 タッチ操作との比較
本節では先行研究である TubTouch と，本システムとのTubTouch は，浴槽出入りの際の縁を手で掴む行為と，意図したタッチ操作との区別が難しい [3]．入浴者が任意

比較について議論する．

に画面表示の ON/OFF（操作入力受付中か否か）の切り

6.3.1 浴槽の湯水による影響

替え可能とすべきであり，TubTouch の研究ではタッチ以

TubTouch は，本システムと同様に浴槽縁内部に静電容

外の手段としてダブルノックなどの叩打音を利用すること

量センサを設置するが，それらは浴槽に湯水が満たされても提案している．ただ，叩打音は何かの拍子に手足が浴槽いると，タッチセンサが常に反応して人による操作を全くに当たることも配慮し，意図的に 2 連打などすることが必受け付けなくなる問題がある．また，縁の上面にまばらに要といえる．本研究システムでは，2 連打や 3 連打以外に，湯水がある程度ならタッチ操作は可能だが，広く湯水が複雑な叩打パターンまで含めて操作イベントとして扱える乗っている状態でタッチすると湯水全体で触れた反応となので，ピエゾセンサ 1 個だけを利用して TubTouch の補助

り誤動作する問題がある．本研究システムの場合は，浴槽的システムとしても利用することができる．

内の湯水の量や湯温によって叩打音色の周波数の伝達応答が若干変化する場合があることは確認できているが，識別6.5 他環境への適用

精度に大して影響はでない．また，湯水の量によっては湯TubTouch および本研究システムの技術は，プロジェク

が浴槽内壁に波打つ可能性もあるが，これに対しても叩打タの取り付けとセンサを組み込む空間があれば，キッチン

音色識別時にノイズと判定するので問題はない．これらのやトイレなどの他の水場への適用も可能である．また最近ことから，本システムは湯水による影響は TubTouch に比は小型プロジェクタや Raspberry Pi などの小型ボードマ

べて少ないと言える．

イコンが利用でき，様々な環境・場面への適用が今後ます

6.3.2 連続量の入力ます容易になると考えられる．さらに，水場以外の適用先

TubTouch ではタッチ操作の他に近接操作やスライド操としてテーブルや壁，化粧台といった様々な場所への操作

作による連続量（値）の入力が可能である．これにより，音インタフェースの導入が可能と言え，6.1 節で述べた生活

楽プレイヤでの音量調整や照明の調光がし易い側面があっ空間に対するアプリケーションをインストールして空間のた．本研究システムでは，いずれの操作イベントも時間離機能を切り替える生活スタイルを実現する可能性も広がる

散的な入力のみのため，連続量のような値の入力に際してと考えている．

は段階的な値を変化させるインタフェースとして画面およ© 2017 Information Processing Society of Japan75

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

7. おわりに

17INT009
2017/3/2[3]

本研究は，浴槽縁裏にピエゾセンサを設置することで，既存の日本に一般的に普及している浴槽に後付けすることができる，浴槽縁を叩く操作インタフェースの UI システ
ムを提案・実装した．このシステムでは，ユーザは浴槽縁の「叩打位置」，複数のノックやタップなどの叩き方の違い

[4]
[5]
[6]

による「叩打音色」，叩くリズムによる「叩打パターン」の3 種類のイベントを利用して，様々なアプリケーションに[7]利用可能である．これにより，既存の浴室内機器について壁に固定されたリモコンを使わずに操作できるほか，様々[8]なアプリケーションを浴槽縁上で利用することができ，これまでにない入浴時間の過ごし方を実現可能である．

[9]

本論文では，このシステムの概要と機能および実装について述べた．叩打位置検出では，複数のピエゾセンサからの信号の到達時間の差を用いる手法と性能について述べ[10]

た．叩打音色の識別については，機械学習の一手法である

NMF を浴槽の叩打音の適用した手法として実装し，その識別精度と連打性能の評価を行った．叩打パターンについ[11]ては，複数回の叩打の時間間隔を用いて確率密度関数を計算することによって複雑なリズムパターンを検出する手法を導入し，100%の性能が出ていることを確認している．

[12]

また，本論文では，このシステムを用いて具体的なアプリ
ケーション例を幾つも実装し，既存機器の制御や，親子のコミュニケーション支援，入浴を楽しくするエンタテイン[13]

メントアプリケーションなどを例に，本研究システムの応
用性や将来性について示した．さらに，本研究に関する議[14]

論として，浴槽を操作インタフェースに用いる意義や，叩打音色に関する制約，タッチセンサとの併用などについても考察を行った．

[15]

今後は，叩打位置検出における２点以上の同時叩打の検出や，現手法の改良やほかの機械学習手法の検討による叩[16]

打音色識別精度の向上を目指し，手指だけの叩打だけでな
く，入浴中に浴槽内壁を「蹴る」行為などもイベントとして処理できるようにする予定である．さらに有用な応用例

[17]
[18]

も提案し，実際に被験者による入浴してのユーザ評価も行う予定である．そして，現状の浴室をスマート化する有効策の１つとして，また住宅のスマートハウス環境の将来像[19]の１つとして，本研究システムを世の中に提案，普及させていきたい．
参考文献
[1]

[2]

平井重行, 藤井元, 佐近田展康, 井口征士. 新たなアメニ
ティ空間を目指した浴室:入浴状態を音で表現する風呂システム, ヒューマンインタフェース学会論文誌, Vol.6,
No.3, pp.287-294, 2004.
Shigeyuki Hirai, Yoshinobu Sakakibara and Seiho
Hayakawa. Bathcratch: Touch and Sound-Based DJ
Controller Implemented on a Bathtub, Proc. of© 2017 Information Processing Society of Japan

[20]
[21]

[22]

ACE2012, pp.44-56, 2012.
榊原吉伸，林宏憲，平井重行，TubTouch: 湯水の影響や自由形状への適用を考慮した浴槽タッチ UI 環境，情報処理学会論文誌 Vol.53, No.4, 2013.
高橋賢一. 浴室リモコン端末 GUI におけるデザイン視点,
デザイン学研究特集号, Vol.11, No.2, pp.3942, 2003.
伊藤大毅, 平井重行: 叩打音を利用した操作インタフェー
スと浴槽への適用, WISS2013 論文集, pp.149-150, 2013.
Shigeyuki Hirai and Daiki Ito, Entertainment Applications for Tapping on a Bathtub Edge Using Embedded
Acoustic Sensors, Proc. of ACE2015, 2015.
伊藤大毅 , 平井重行 : BathDrum2: 叩打位置と音色を利用した浴槽打楽器 , 情報処理学会研究報告 2015-MUS106-19/2015-EC-35-19, 2015.
隅田智之, 平井重行. ”浴槽打楽器 BathDrum2 の叩打音色
識別精度の向上.” 情報処理学会研究報告 2016-MUS-110-2,
2016.
Tomoyuki Sumida and Shigeyuki Hirai, BathDrum2:
Percussion Instruments on a Bathtub Edge with LowLatency Tap Tone Identification, Proc. of ACE2016,2016.
Koike, Hideki, Yasushi Matoba, and Yoichi Takahashi.
”AquaTop display: interactive water surface for viewing
and manipulating information in a bathroom.” Proc. of
ITS2013. 2013.
Joseph A. Paradiso, Che King Leo, Nisha Checka, Kaijen Hsiao. Passive acoustic sensing for tracking knocks
atop large interactive display, Proc. of the 2002 IEEE
International Conference on Sensors, pp.512-527, 2002.
Hiroshi Ishii, Craig Wisneski, Julian Orbanes, Ben Chunand Joe Paradiso. PingPongPlus: design of an athletictangible interface for computer-supported cooperativeplay, Proc. of CHI 99, pp.394-401, 1999.
Chris Harrison, Desney Tan, Dan Morris. Skinput: appropriating the body as an input computing systems,
Proc. of CHI2010, pp.453-462, 2010.
Yamamoto, Kazuhiko. ”Possessing drums: an interfaceof musical instruments that assigns arbitrary timbres topersonal belongings.” Information and Media Technologies 8.2 ,485-493, 2013.
Pedro Lopes, Ricardo Jota, Joaquim A. Jorge. Augmenting touch interaction through acoustic sensing, Proc. of
ITS2011, pp.53-56, 2011.
Chris Harrison, Julia Schwarz and Scott E. Hudson.
TapSense: Enhancing Finger Interaction on Touch Surfaces. Proc. of UIST 11, pp.627-636, 2011.
”Mogees”, http://mogees.co.uk
Zamborlin, Bruno. Studies on customisation-driven digital music instruments. Diss. PhD Dissertation, Goldsmith University of London and Universit Pierre et Marie
Curie, Cited on page 49. 2015.
Jacob O. Wobbrock. Tapsongs: tapping rhythm-based
passwords on a single binary sensor, Proc. of UIST2009,
pp.93-96. 2009.
Ghomi, Emilien, et al. ”Using rhythmic patterns as an
input method.” Proc. of CHI2012. 2012.
増井俊之. ”携帯端末のテキスト入力方法.” ヒューマンイン
タフェース学会誌= Journal of Human Interface Society:human interface 4.3 11-24. 2002.
平山健一, 小枝正直. ”スマートフォンにおける片手親指特性を考慮した文字入力方式の提案と実装.” 情報処理学会
第 75 回全国大会講演論文集, 73-75, 2013.

76