情報処理学会 インタラクション 2012IPSJ Interaction 20122012-Interaction
2012/3/16

Bathcratch: こするインタフェースの提案と浴槽エンタテインメント応用
平井	  重行 	  	  	  榊原	  吉伸 	  	  	  早川	  聖朋こする行為によって発せられる「キュッキュッ」という音を検出して入力ユーザインタフェースに用いることを提案する．そしてその具体的な適用例として，浴槽をこすることで DJ が行うスクラッチ演奏を楽しめるエンタテインメントシステム Bathcratch を開発した．ここでは，浴槽をこすった場合にのみスクラッチ音が鳴る仕組みを実現している．本稿では，こすり音の音響的特徴とその簡易検出手法について述べ，Bathcratch システムについて述べる．	 

Bathcratch: Rubbing Interface and Its Applicationof A Bathtub Entertainment System
SHIGEYUKI HIRAI†YOSHINOBU SAKAKIBARA‡SEIHO HAYAKAWA

This paper introduces a new user-interface technique for a surface computing using detecting squeak sounds
that we rub something by hands or fingers. Squeak sounds by rubbing something have some acousticalcharacteristics. We develop a simple detection technique for that sounds. This paper also describes its musicalapplication “Bathcratch” which we can play DJ scratching by detecting squeaking sounds with rubbing abathtub with water.

1.

本稿では，こすり音の特徴とその簡易や検出方法にはじめについて述べる．その後，こすり音検出の応用例である

我々は，物を指でこすると「キュッ，キュッ」と音Bathcratch システムの概要とその機能や音楽演奏処理が鳴ることに着目し，その音を検出して入力インタフなどについて説明する．また，この Bathcratch は作品ェースとして用いることを提案する．日常生活におい展示できるようカスタマイズしたものも制作したので，てそのような音がいつでも簡単に鳴らすことができる

そ の 内 容 に つ い て も 述 べ る ． な お ， Bathcratch は場所は水場であり，その端的な場所には浴室や洗面所，Bath と Scratch をかけた名称である．

キッチンなどが挙げられる．我々はその中でも浴室に注目し，提案インタフェースを活用するアプリケーシ
ョンの一つとして，浴槽をこすることで音楽演奏を行うシステム Bathcratch を制作した 1)．この応用システ
ムは，DJ が音の表現手法として用いるスクラッチ演奏になぞらえて，浴槽をこすることで DJ スクラッチ演奏を行うシステムである．図 1 にその演奏中の様子を示す．この応用システムの入力インタフェースは浴
図1 	 Bathcratchd で浴槽をこすっている例

槽そのものであり，こする行為を検出するセンサは浴槽に内蔵している．

2.

こすり音の入力インタフェース利用

皿などの表面が滑らかなものを手指でこすった際に京都産業大学	  コンピュータ理工学部「キュッ，キュッ」という音が聞こえる．陶器以外に

Faculty of Computer Science and Engineering, Kyoto Sangyo
University

も，ABS などの樹脂で成形された家電製品や日用品，京都産業大学大学院	  先端情報学研究科

塗料などで滑らかに表面加工された木製品，FRP やDepartment of Frontier Infomatics, Graduate School of Kyoto

人造大理石（人工大理石），ホーローなどで構成されSangyo University

る洗面台や浴槽などの住宅設備など，日常生活の身のフリーランス周りにあるもので，滑らかな表面仕上げとなっている

Freelance701

ものは多数存在する．我々は経験上，それら表面をこを行って簡易にこすり音検出ができることを確認した

すった際に同様の音が鳴ることを知っている．そして

１）。浴槽に限らず他の物でも同様のこすり音であれこすり方（指の角度やこする向き，力の入れ方など）

ば，ピエゾピックアップなどのコンタクトマイクで固や，こする人によって鳴る音は様々だが，多くの場合

体振動を計測し、その F0 検出を行うことで容易に擦にピッチ（音高）があるように聞こえている．これをり音入力インタフェースが構築できると言える．

入力インタフェースとして利用できれば，ユビキタス

3.

環境におけるユーザインタフェースの一つとして様々に応用可能と考えられる．

音 楽 シ ス テ ム Bathcratch の 概 要

本章では，先に提案したこすり音を入力インタフェ

このような考えのなか，我々は次章以降で述べる浴ースとして活用する音楽応用システムについて述べる．

槽をこする行為がそのままエンタテインメントとなる

ここでは，「こすって音を出す」という行為に着目し，応用システムを試作するため，実際に浴槽をこすったDJ が音の表現手法として用いているスクラッチ演奏音，叩いた音などを録音し，その音響的特徴の違いにになぞらえて，浴槽をこすることでそのような演奏がついて確認することにした．ここでの録音方法についできるシステム Bathcratch を考案し，制作してきた．ては，浴槽縁上面の裏側にピエゾピックアップを取り現在の Bathcratch システム概要を浴槽上面から見た付け，浴槽をこすった音を浴槽自体の固体振動（音響図として図３に示す．浴槽右縁上面の裏側の位置にピ信号）として録音した．録音の際は浴槽に湯水を入れエゾピックアップを取り付けて，こすり音の検出に用た状態で，人は浴槽中に入らずに録音を行った．そのいる．計測された音響データは PC へオーディオ I/F

信号波形とスペクトログラムを図 2 に示す．いずれのを介して入力され，こすり音検出に利用される．また，波形もサンプリングは 16bit/44.1kHz で行い，スペク

浴槽左縁上面の裏側には，静電容量方式タッチセンサ

トログラムは 256 点ハニング窓，ホップサイズ 64 サの端子を取り付けてある．これは，TubTouch システンプル（約 1.45msec）で計算したものである．

ムとして研究しているものである 2) 3)．このタッチセンサにより，浴槽縁に触れることでスクラッチ演奏音のフレーズやリズムトラックの切り替えなどの操作を行う．これらの入力インタフェースは浴槽として一見何の変哲もないものであり，天井裏に設置したビデオプロジェクタで浴槽縁にメニューやこすり位置などの表示を行うことで，自由なユーザインタフェースを構築できる．また PC ではこすり音検出と共にスクラッチ音の生成処理やリズムトラック処理など音楽制御処

図2 	 浴槽こすり音と叩き音のスペクトログラム

理を行う．それらの処理の流れを図 3 に示す．

左）こすり音、右）叩き音

図２から，浴槽こすり音については明確な調波構造があり，それが時間的に波形の始めから終わりあたりまで連続的に続くことがわかる．また，他の様々なこすり音の波形についても解析したところ，基本周波数
F0 はおよそ 100~600Hz の範囲となることも確認できた．一方で，浴槽叩き音については，ほんのごくわずかに調波構造らしきものが見受けられるが，こすり音ほど明確ではなく，かつ波形の時間も短いという特徴がわかる．これらを考慮することで，こすり音と叩き音の区別をすることができると考えられる．
以上から，浴槽を用いたこすり音検出とその入力インタフェース化には，音響振動波形にある程度の振幅があり，かつ調波構造を持つ波形がある程度時間持続するかどうかを見れば良いことがわかる．これに対し、
図3 	 Bathcratch のシステム構成

我々は調波構造の有無を忠実に見ずに， F0 検出だけ702

では，そのタッチ位置検出機能のみ用いて，リズムト…
タイミングと時間長
浴槽裏取付のピエゾセンサ

クラッチ音のピッチ操作などに用いている．

こすり音の検出フレーズ
浴槽裏取付のタッチセンサ

ラックの切り替えと On/Off，フレーズ切り替え，ス

スクラッチサウンドスクラッチフレーズの合成

サウンド出力スクラッチフレーズの選択と設定

図4 	 Bathcratch の音楽生成処理の流れ

4.

Bathcratch の 入 力 イ ン タ フ ェ ー ス

4.1

浴槽こすり音検出

図5 	 静電容量タッチセンサの浴槽への設置

2 章でも述べた通り，本システムでは調波構造を確

入力インタフェース機能の投影表示認しているわけではなく，F0 が時間軸方向で一定時4.3間同様の値が続くという簡易な手法でこすり音検出を

前節までのセンサは，浴槽自体の見た目は何も変え行っている．ここでは，Max/MSP 上で F0 検出を行うておらず，そのままでは操作箇所およびその内容がわ

エクスターナルオブジェクト sigmund~の F0 推定機からない．そこで浴室天井裏に設置したプロジェクタ能を用いている．このオブジェクトでは F0 推定値ので浴槽縁上面に画面投影し，自由度の高い UI 画面を出力がおよそ 50msec 間隔で可能で，その連続した出投影することにした（図 1 の浴槽縁を参照）．

力値 3 つを処理することでこすっているか否かを判断

なお，こすり音検出の箇所を提示しているが，こすしている．そのため実際の浴槽こすり始めからこすりり音検出のためのピエゾピックアップは，こする提示検出までのレイテンシは 150msec 程度となっている．

箇所付近でなくとも構わない．操作箇所を提示するの4.2

は，ユーザにこする操作を促すためのアニメーション

浴槽タッチ位置検出表示を行うためだけである．

DJ が通常行うスクラッチ演奏は，ターンテーブルを手で前後に操作することで音の再生速度を変化させ

5.

Bathcratch の ス ク ラ ッ チ 演 奏 処 理

5.1

スクラッチ演奏処理概要

たり，音出力を操作するフェーダなどを操作して様々なスクラッチフレーズを作り出す．Bathcratch では，こする行為の手の動きに完全に同期したこすり音検出

図 6 に，Bathcratch のこすり音検出処理とスクラッを行うことが先のレイテンシの都合上困難である．そチ演奏処理を実装した Max/MSP パッチの画面を示す．

こで，あらかじめ設定したスクラッチフレーズを自由に選択して切り替え，演奏としてのバリエーションを出せるようにしている．ここでのフレーズ選択やその他機能の On/Off 操作など行うため，我々が以前から浴槽用入力インタフェース研究で利用してきた静電容量方式のタッチセンサシステム TubTouch を導入し，浴槽縁裏側に設置している（図 5 参照）．
静電容量センサはマルチタッチ入力可能なタッチパネルなどで利用されているが，通常はタンク内の水位測定に利用されるなど，水分にも反応するセンサとして知られている．浴槽のような湯水がある場所ではタッチセンサとして利用できないと思われがちだが，

図6 	 Bathcratch の Max/MSP パッチメイン画面

元々は誘電体を検出するセンサであり，水と人間の皮

この画面のうち，中段のチェックボックスが多数並

膚とでは比誘電率には差がある．TubTouch は，このぶエリアについては，次節で説明するスクラッチフレ

特性を利用して浴槽に湯水を入れた状態でも浴槽縁のーズの設定を行うものである．その右横の BPM 値はタッチ位置検出，スライダー入力，近接入力の 3 つのフレーズの演奏テンポ設定であり，リズムトラックの入力インタフェース機能を実現している．Bathcratchd

テンポに合う形で設定される．また，このスクラッチ

703

フレーズ自体はリズムトラックの BPM 値と完全に同ザはその機能の On/Off を自由に設定できる．なお，期して鳴るようになっている．これにより不慣れな人

各音符位置で鳴るスクラッチ音素材は個別で自由に組

でも浴槽をこすってテンポに合った演奏が可能である．

み替え可能である．ただ，これは Max/MSP の画面上5.2で設定することになる．

スクラッチフレーズの切り替え機能

スクラッチフレーズは，2 拍毎に鳴る 2 分音符フレ

5.4

リズムトラック処理ーズから，4 分音符フレーズ，8 分音符フレーズ，3スクラッチ演奏の伴奏として再生するリズムトラッ

連符フレーズ，16 分音符フレーズまであり，浴槽縁

クは，あらかじめ用意されたサウンドファイルをオンに投影表示されるメニュー項目で自由に選択・切り替メモリでループ再生する．複数のサウンドファイルをえができる．各フレーズにおいては，どの拍位置で音設定しておいて，浴槽縁のメニューでそれらを切り替を鳴らすかを Max パッチ画面（図 6）中段のチェッえることができる．

クボックスが多数並んだエリアであらかじめ設定してリズムトラック再生の内部動作としては，読み込まおく．このチェックボックスグループは，上からそれせたファイルすべてを同時再生しており，選択された

ぞれ 2 分，4 分，8 分，3 連，16 分音符の設定グルーリズムトラックのみ音量が上がるようにしている．こプである．そして，これらフレーズすべては BPM 値

れにより，いつリズムトラックを切り替えても，に合わせて常に並行再生されている．そのうち，浴槽BPM 値が同じであればスクラッチフレーズとタイミ

縁のメニューで選択されたフレーズに対して，先のこングのずれが全く起こらないようになっている．

すり音検出結果に応じて音量を上げ下げすることで，6.

システムとして演奏フレーズが出力される．

作品展示

そのため，2 分音符フレーズが選択されている場合

Bathcratch の デ モ ン ス ト レ ー シ ョ ン 用 ビ デ オ はに，いくら素早く浴槽をこすっても 2 分音符毎にしかYouTube で視聴できる．このビデオがメディアアー

スクラッチ音は鳴らない．逆に，16 分音符フレーズ

ト系コンペ「アジアデジタルアート大賞 2010」で入の選択状態では，浴槽をゆっくりこすると手の動きよ賞したことから，2011 年 3 月 17 日~29 日の期間，福りも細かなスクラッチフレーズが演奏されることにな

岡アジア美術館で催された「アジアデジタルアート大る．ただ，実際の DJ がスクラッチ演奏をする場合，賞展」にて作品展示を行った．また，その展示用シスターンテーブルの操作以外に，その音量を操作するフテムについては 2011 年 10 月 9 日には日本科学未来館

ェーダも合わせて操作することが多い．フェーダ操作で行われた「エンタテインメントコンピューティングとターンテーブル操作の組み合わせで様々なフレーズ2011」でもデモ展示を行った．本来，Bathcratch は実や発音のバリエーションを創り出しており，それらの際の浴槽で入浴中に利用することを想定しているが，

操 作 の 組 み 合 わ せ 毎 に Chups や Forward / Back

これらの展示では浴槽に入らずに浴槽の横に立って体Scratch，Transformer Scratch など技の名前がある

4) 5)

．

験できるようにする必要があり，センサ配置や UI 投本システムのフレーズ切り替え機能は，そのフェーダ

影の内容を多少変更したものを制作した．図 7 に展示

操作を簡略化したものと言える．

会場に設置した作品セットを，図 8 にこの展示用に制5.3作した UI 画面の写真を載せる．

スクラッチ音素材とエフェクト

現在の Bathcratch 内部処理では，スクラッチ音自体はレコーディングされたスクラッチ音の音素材を再生している．各スクラッチフレーズの各音符位置で鳴る音素材は，何種類もの素材を個別に設定してあり，あまり機械的ではなく，それなりに人が演奏しているように聞こえるよう工夫している．ただ，同じフレーズが繰り返し鳴り続けると，フレーズとしての変化がないため演奏に面白みがなくなる．そこで，スクラッチ音素材の再生速度を発音毎でランダムに微調整する（ピッチに変化を付ける）エフェクトをかけることで，より人間が演奏しているような音として聞こえるようなモードを作っている．浴槽縁上面へ投影する UI 画

図7 	 アジアデジタルアート大賞展での展示面でもそのピッチ変化のボタンを用意しており，ユー704

これらの展示でわかったことが幾つかある．一つは，リズムトラックの音量の上げすぎや，ピエゾピックアップのマイクアンプのゲインを上げすぎると，リズムトラック中の音高のある音に反応してスクラッチ音が鳴ってしまうことがあった．これは，湯水を溜めている場合には起こらない現象であり，湯水は外部からの音を浴槽の固体振動として伝搬させるのを抑える役割を果たしていると推察している．もう一つわかったこ

図8 	 展示向けユーザインタフェース表示とは，入力インタフェースのタッチセンサ部分が触れ

この UI では，浴槽横に立った際に浴槽右端の箇所るだけで反応するため，こする箇所も軽く触れて手をにグラデーションがスクロール表示される四角いエリ前後に動かせばよいと勘違いされるということである．

アを表示し，そこをこすってもらうように仕向けてい遊び方の説明書きを横に立てておいても，水で「キュる．また，スクラッチフレーズの選択メニューボタン

ッ，キュッ」と音を鳴らすことに気が付かない場面ががその左側（浴槽手前側）に並んでおり，各ボタンに多くの来場者で見受けられた．幸い，展示会の説明員

は 4 分音符などの音符マークでフレーズの違いを表しが随時説明していたため，本来のこする動作でシステた．その左横にはピッチ変化のエフェクトボタンを配ムを体験してもらったが，展示システムという観点で置し，一番左側には，リズムトラック切り替えボタン

は，こするエリアに対する操作の誘導をいかに行うかおよびその再生 On/Off のボタンを配置した．

が今後の課題になると考えている．

リズムトラックは展示用に新たに用意した．体験者

7.

が各リズムトラックの名称がわかるようテキスト表示
すると共に，各リズムの落ち着き度合いや激しさをメ

関連研究

こする動作をユーザインタフェースとして活用する

ニューボタン枠の色を変更することで表現した．

研究は幾つか挙げることができる．例えば，Harrison

また，こする際に必要な湯水については，側の石けらの Scratch Input 6) ではマイク付きの聴診器を壁やテん皿に載せた吸水性スポンジに水をふくませておき，ーブルなどに設置し，その面を爪先でひっかく音を検その水を指先に付けてこすってもらうようにした．福

出・処理することで，ひっかくジェスチャを認識する

岡での展示の来場者の体験している様子を図 9 に，日という入力インタフェースを実現している．また，

本科学未来館での展示の様子を図１0 に示す．

Smith らの Stane 7) では，ピエゾセンサを内蔵した小型デバイスの表面を同じく爪でひっかく際の振動を検出し，その振動パターンや長さで様々な入力手段に用いる試みを行っている．一方で，こする動作以外に音響信号を入力インタフェースとして活用している例としては，Harrison らの Skinput 8) が挙げられる．これはピエゾフィルムが複数内蔵されたユニットを上腕部に巻き，同じ腕の前腕部や手をタップした際に皮膚表面を伝わる振動を検出することで，タップした位置を図9 	 ADAA 大賞展 2010 での来場者体験中の様子特定することができる．
スクラッチに限らず DJ の演奏行為に関する音楽システムやユーザインタフェースの研究は数多く行われている．まずウェアラブルインタフェースを用いる研究としては，藤本らの ExDJ システムをウェアラブル化した研究 9) や，Slayden らの DJammer システム 10)，
冨林らのウェアラブル DJ システム 11) 12) が挙げられる．また，ターンテーブルによる DJ 演奏のインタフ
ェースを活用しつつ新たな試みを行っているものもある．その例としては，Andersen による Mixxx13) があ図10 	 EC2011 でのデモ展示の様子

り，ARToolKit を用いてターンテーブル上に再生する
705

ご協力を頂いた．謹んで感謝の意を表する．

サウンドや波形の情報などを重畳表示するインタフェースを提案・開発している．Beamish らの DʼGroove

参システム 14) ではフォースフィードバック機能を持つ

文献

1) 平井重行, 榊原吉伸, 早川聖朋: Bathcratch: 浴槽こすり音を利用した日常生活環境組み込み型楽器 , 情 報 処 理 学 会 研 究 報 告 2011-MUS-90-1(2011).
2) 林宏憲, 平井重行: 水場での静電容量式タッチセンサの適用と入力インタフェースの実現, 情報 処 理 学 会 研 究 報 告 2009-HCI135/UBI24-18(2009).
3) 榊原吉伸，平井重行: TubTouch: 湯水の影響や自由形状への適用を考慮した浴槽タッチ UI 環
境, インタラクション 2012 論文集 (2012).
4) DJ TA-SHI: DVD 版マスト・テクニック 25!スペシャル DJ 編，リットーミュージック (2002).
5) DJ TA-SHI: DVD 版マスト・テクニック 25! プラス＋ DJ 編, リットーミュージック (2003).
6) Chris Harrison, Scott E. Hudson: Scratch Input:
Creating Large, Inexpensive, Unpowered and Mobile
finger Input Surfaces. Proc. of UIST '08, pp.205-208(2008).
7) Roderick Murray-Smith, John Williamson, Stephen
Hughes, Torben Quaade: Stane: Synthesized
Surfaces for Tactile Input, Proc. of CHI2008,
pp.1299-1302 (2008).
8) Chris Harrison, Desney Tan, Dan Morris: Skinput:
Appropriating the Body as an Input Surface, Proc. ofCHI2010, pp.453-462 (2010).
9) 藤本貴之, 西本一志: ブースをフロアへとシームレスに拡張する Wearable DJ システム, エンタ
テインメントコンピューティング 2003 論文集,Vol.2003, No.1, pp.47-52 (2003).
10) April Slayden, Mirjana Spasojevic, Mat Hans, Mark
Smith: The DJammer: "air-scratching" and freeing
the DJ to join the party, CHI2005 Extended Abstracts,
pp.1789-1792 (2005).
11) 冨林豊, 竹川佳成, 寺田努, 塚本昌彦: 装着型センサを用いたウェアラブル DJ システムの開発と実運用, 情報処理学会研究報告 2008-MUS-78,
pp.39-44 (2008).
12) 冨林豊, 竹川佳成, 寺田努, 塚本昌彦: 装着型無線加速度センサを用いたウェアラブル DJ シス
テム, WISS2008 論文集, pp.85-90 (2008).
13) Tue Haste Andersen: Mixxx: Towards Novel DJ
Interfaces, Proc. of NIME03, pp.30-35 (2003).
14) Timothy Beamish, Karon Maclean, Sidney Fels:
Manipulating music: multimodal interaction for DJs,
Proc. of CHI2003, pp.327-334 (2003).
15) Kentaro Fukuchi: Multi-track Scratch Player On A
Multi-Touch Sensing Device, Proc. of ICEC	  2007
(LNCS 4740), pp.211-218 (2007).

操作レコード盤（ターンテーブル）および DJ ミキサーと同等のインタフェース機器を用意して，デジタルオーディオの様々なデータに対して DJ の基本テクニ
ックの 練習をしたり，応用的な操作ができるシステ
ムを構築している．他に，Fukuchi によるシステムでは，マルチタッチテーブルを用いて投影された音楽データの波形に触れて卓上でこする動作をすることでスクラッチ演奏する波形の選択と演奏音合生成を行っている．このシステムは実環境上に投影した情報に触れたりこすったりするなど，Bathcratch に似た操作環境と言えるが，こすり動作の検出方法が従来のタッチセンサを用いている点で違うと言える．

8.

考

おわりに

本論文ではまず，こする行為により発する音を検出して入力インタフェースに用いる提案を行った．日常生活でこすり音を耳にする機会は，窓ガラスの掃除や風呂掃除，食器洗いなど，水が存在する様々な場面で考えられ，それらは多くの人が経験しているはずである．また，その入力インタフェースの応用例として，浴槽表面をこする行為を DJ のスクラッチ演奏になぞらえて楽しむエンタテインメントシステム Bathcratchについて述べた．その Bathcratch については，福岡アジア美術館や日本科学未来館での作品展示を重ねることで，機器構成の簡略化を行ったり，UI の表示に改良を重ねてきた．一方で，固体振動を元にしたこすり音検出に関する課題が明らかになってきた．
今後は，このこすり音検出の課題を解決策を検討すると共に，こすり音検出をより精緻な処理として行うよう改良する予定である．その改良については，これまでのように単にタイミングを検出だけでなく，こする方向の区別やその強さ，こすっている指の本数まで検出して利用できるようにすることを考えている．そして浴槽以外の日常生活の場面でも入力インタフェー
スとして活用でいる箇所で適用した例を示したい．また，Bathcratch システムについては，スクラッチ音自体を単なる音素材再生するだけでなく，ユーザが選曲した好みの曲の再生中にその曲の音でスクラッチできるようにする機能も実装予定である．
謝辞	  Bathcratch については，デモビデオ撮影やロゴ作成など作品制作過程において，京都産業大学の上田研究室と平井研究室のメンバーに多大な706