情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161A05
2016/3/2

擦り音による指本数識別を利用したユーザインタフェース
川勝 椋介1,a)

平井 重行1,b)

概要：滑らかな面と手指が擦れた際に発する擦り音とその時の擦った指の本数を識別して利用する新たな入力インタフェースを提案する．このインタフェースは擦り音がなる環境の都合から主に水場での利用が中心となる．本研究では，指本数毎の擦り音の識別に，GMM によって構築した音響スペクトルモデルを用いている．本稿では擦り音のスペクトル解析と GMM の構築，および指本数に対する識別性能について述べ，応用システム例について示す.

User Interface Using Diﬀerence of Rubbing Sounds by a Number ofFingers
Kawakatsu Ryosuke1,a)Hirai Shigeyuki1,b)

Abstract: We propose novel user interface using a number of rubbing fingers and its sound with a smoothsurface and water. This interface is basically applied with wet area because of the rubbing sound with water. This paper describes the classification method for a number of rubbing fingers using its rubbing soundwith spectrum model by Gaussian Mixture Model (GMM), and its performance. We also describe a few
applications using this user interface.

1. はじめに内部にセンサを設置するため，操作インタフェースが表面を加工しないため，衝撃によるセンサの故障などは起こりウェアラブル機器が普及していると共に，Internet ofにくく，掃除を含めたメンテナンス性にも優れていると言Things (IoT) の側面を持つ家庭用スマートデバイスが多える．ただ，Bathcratch での擦り音検出は，擦ったか否か数登場している．これらにより，住宅内の情報化が多種多だけの検出であったため，押しボタン 1 個の操作と同等の様に進展しつつある．一方で，以前から家具や調度品，住こと（単一イベントの操作）しかできていない．

宅設備ににコンピュータを組み込んでインタラクティブな本研究では，この擦り音検出の機能を浴槽だけでなく水住宅環境に関する研究が様々に行われている [1-6]．その場で汎用的かつ多機能的に扱えるよう改良することを目的

ような中，平井らは浴室内の行動計測や操作インタフェーとして，擦った指の本数や擦りパターンなどの検出を行う．

ス構築などを通じて，インタラクティブな浴室環境の研究

今回は擦り音の指の本数によるパワースペクトルの違いにを重ねてきている [7-11]．とりわけ，Bathcratch システム着目し，それをガウス混合分布（GMM）でモデル化して[11] で提案された操作インタフェースは，濡れた滑らかな指の本数識別に用いることを提案する．

面（ここでは浴槽）を指で擦れば鳴る擦り音を検出するも本稿では，第 2 章において，GMM 構築のための擦り音ので，水場ならではの操作手法と言える．ここでは，擦る解析とモデル生成，指本数の識別処理手法について述べる．

面の裏側にピエゾセンサを設置して音響信号として処理す

第 3 章では，擦る指本数毎の GMM の構築とそれによる指ることで擦り検出を行っている．これは，機器や構造物の本数識別性能の評価について述べる．第 4 章では，構築し1た擦り音の GMM による指本数識別を利用したアプリケーa)b)

京都産業大学 コンピュータ理工学部
Faculty of Computer Science and Engineering, Kyoto Sangyo
University
flicka.muk99@gmail.com
hirai@cse.kyoto-su.ac.jp© 2016 Information Processing Society of Japan

ション例を示す．そして，第 5 章をまとめとする．

175

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161A05
2016/3/2

2. GMM による擦り音のモデル化と指本数の識別処理手順
人工大理石や FRP などの滑らかな表面を持つ素材を擦ったときの擦り音にはピッチ (音高) と明確な調波構造が存在している．水がある状態で指で擦ると，StickSlip 現象が起こって擦り音が鳴る．この擦り音には耳で聞き取れるピッチ（音高）があり，音響信号として F0 と調波構造があることがわかる．また，この擦り音を複数本の指で擦った際には，それぞれの指の力加減などにより指ごとに異なるピッチの音が発生する．その具体的な例として，一本指と二本指のそれぞれでの擦り音のスペクトログラムを図 1に示す．ここでは，右側の二本指のほうが調波構造が折り重なる形で現れていることが分かる．本研究では，この特徴に着目して指の本数の識別を試みた．

Σk =N
1 ∑
γ(znk )(xn − µk )(xn − µk )T
Nk n=1

(4)

Nk(5)
N
E ステップでは現在のパラメータから負担率 γ(znk ) を計πk =

算し (式 2)，M ステップでは E ステップで求められた負担率を用いて平均ベクトル µ，分散 Σ，混合係数 π をそれぞれ負担率 γ(znk ) が最大になるように更新を行い (式 3-5)，収束性が確認されるまで E ステップと M ステップを交互に繰り返し計算を行う.

2.2 指本数の識別処理手順
まず最初に M 本指の擦り音モデルを typeM とする．次に 44100Hz サンプリングされた未知データが与えられた場
合，先頭から 512 サンプルずつ取得していき，RMS(RootMean Square: RMS) を求め閾値以上の波形が検知された時から処理を開始する.(式 6)

図 1v
uNu1 ∑RM S[x] = txi 2
N i=1

こすり音のスペクトログラム(6)

処理を開始すると，各フレーム毎に FFT を行い，面積左) 一本指 右) 複数本指正規化及び F0 正規化で GMM と同様のスケーリングを行Fig. 1 Spectrogram of Rubbing Sound.
Right) Single Left) Multipleう．次に各 type の GMM と積和演算を行うことで互いに相関し合う周波数成分を強調させる．ただし F0 付近はどの GMM も他の成分に比べ大きな値を取るため判定に使え

2.1 GMM による擦り音の音響スペクトルモデル

ず，また，高倍音成分は値が小さすぎるため計算処理をす

擦り音を指本数で分類するために各指本数ごとのモデルを次式の GMM により生成する．学習データとして用いる必要がない．そのため，積和演算を行う周波数帯域を制限することによってこれらの問題を解決する.

るのは面積正規化及び F0 正規化によってスケーリングされた擦り音のパワースペクトルにおけるピークデータである．ピークデータ取得は閾値処理によって行っている.

p(x(m) ) =K∑(m)(m)(m)πk N (x(m) ; µk , Σk )

(1)

k=1

ここで，m は m 本指の擦り音モデルを表し,GMM の混合数を K とし k は分布番号を示す.N (; µ, Σ) は，平均ベク(m)トル µ，分散 Σ の正規分布を表す．πkは n 本指の擦り音モデルの k 番目の混合係数に当たる．これら EM アルゴ
リズムによって最尤推定を行う更新式は以下の通りである.
図 2γ (znk ) = p(zk = 1|x) =Nk =N∑

πk N (x|µk , Σk )K
Σj=1 πj N (x|µj , Σj )Fig. 2 Block diagram of the proposed method.

(2)
そして得られた各 type 毎の積和値の中で最大値を取るtype をカウントしていく．そして次のフレームに移り，再γ(znk )び RMS を求めて閾値以上であれば同様の処理を繰り返す.

n=1N1 ∑µk =γ(znk )xn
Nk n=1© 2016 Information Processing Society of Japan

提案手法の処理開始からの処理フロー(3)

最終的に RMS 閾値以下のフレームが来た時に処理を終了し，カウントが最大となる type を結果として出力する.

176

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161A05
2016/3/2

3. GMM の構築とその性能評価
今回は，人工大理石でできたキッチンカウンターの天板の裏にピエゾセンサを設置して擦り音の収録と解析，GMMによるモデル化を行った．ピエゾセンサはアコースティッ
クギター用のピエゾピックアップ Guyatone GP-1 を用い，その出力を USB オーディオインタフェースを介して44100Hz / 16bit でサンプリングした．音響収録に用いたキッチンカウンターと収録時の様子を図 3 に示す．

図 4計算する周波数帯域の下限値と F 値の関係

Fig. 4 Relationship between F-measure and Lower Limit ofCalculation Frequancy Range.

図 3

キッチンにおける実験環境

Fig. 3 Experiment environment in Kitchen.

3.1 周波数の制限帯域と精度検証
様々な擦り音のパワースペクトルを解析したところ，大きく変動する周波数成分は F0 と第 2 高調波であることが確認できている．また，指本数が 2 本以上の場合，異なる指の F0 は比較的近い周波数であり，一番低く検出される F0 とその第 2 高調波の間に存在することがほとんどで

図 5計算する周波数帯域の上限値と F 値の関係

Fig. 5 Relationship between F-measure and Upper Limit ofCalculation Frequancy Range.

あることも確認できている．複数本指の場合，一番低いF0 の第 2 高調波と第 3 高調波の間に，他の指の第 2 高調波が入ることになるため，一番低い F0 の第 3 高調波までを GMM のモデル構築に用いることとした．そこでまず初めに周波数帯域を 1.0[Fs /F0 ] < n ≤ 2.0[Fs /F0 ] に設定し，下限値を上昇させることで最適値を検証する.(図 4) また，今回用いる擦り音モデルと同一環境・同一被験者で収録された擦り音データを未知データとして扱う．結果
として 1.1[Fs /F0 ] 付近が最も精度が高いことが確認された. 次に下限値を 1.1[Fs /F0 ] と設定し上限値を上昇させると以下のような結果が得られる．この事から最適値は1.1[Fs /F0 ] < n ≤ 2.0[Fs /F0 ] と考えられる．よってこれ以降の検証ではこの範囲を用いる．

図 6

GMM の混合数と F 値の関係

Fig. 6 Relationship between Recall and GMM components.

3.2 GMM の混合数と精度検証
擦り音モデルと同一環境・同一被験者で収録された擦りな影響が出ることはないが微弱な精度向上には繋がってい音データを未知データとして固定し，擦り音モデルにおけることが分かる．ただしある一定数から精度が頭打ちになる GMM の混合数を変化によって精度がどのように変化することも確認されている．この事から，実装するマシンのるかを検証する．図 6 より，GMM の混合数は精度に大き性能により計算負荷を減らした場合でも精度に大きな支障© 2016 Information Processing Society of Japan177

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161A05
2016/3/2

表 2を与えないことが示された．

再現率の環境依存性

Table 2 Environmental dependence of Recall.

3.3 ユーザの状態と精度検証

GMM

Other environment

Same environment

同一被験者に五日間に渡って擦り音を収集し，同一のtype1

79.40%

86.50%

GMM と条件で各日付毎の精度を検証した．(表 1) ただし

type2

46.20%

0.00%

type3

37.80%

81.75%

Multi-finger

76.30%

79.50%

今回は type2,type3 は複数本指判定を行った場合を成功と見なしている．この結果から，ユーザの状態などによって複数本指の精度が大きく変動する課題が明らかになった．

し，複数本指の判定すべてが type3 となってしまっており，精度が大きく変動する原因の一つとして一つの指の擦り音

結果的に精度が向上したとは言い難い状況と言える．

に対して他の指の擦り音が小さ過ぎることが考えられる．
このような問題は擦り音モデルとして用意した被験者と別

4. アプリケーション実装例の被験者の擦り音においても同様の問題が多く見られ，上達度や指の状態などの要因が予想できる．
表 1

前述の，指本数識別の結果から，指 1 本と複数本での違いが識別できるシステムとして，幾つかのアプリケーションに適用した．本章では以下の各節でそのアプリケーショユーザの状態と再現率の関係

Table 1 Relationship between Recall and User Condition.

ンについて述べる．

Number of days

1st

2nd

3rd

4th

Temperature

24.7 ℃

24.4 ℃

26.1 ℃

25.3 ℃

25.1 ℃

Humidity

58%

57%

54%

46%

49%

キッチンなどに導入する例として作成した擦り音を用い

type1

95%

100%

100%

100%100%

たブックリーダーアプリである．調理中などで手が水に濡

type2

60%

85%

90%

90%

65%

type3

85%

40%

25%

85%

25%

5th

4.1 iRubBook

れた状態や汚れている状態でも擦る指本数によってページ送り戻しやスクロールが可能である．また，マウスのダブルクリックのような連続操作にも対応しており，連続で3.4 実装環境変化による精度検証

擦った回数と指本数によって読む本の切り替えが行える.

入力インタフェースとして汎用的に扱う事を考慮すると，様々な環境で頑健に動作する認識手法であるべきと言える．また，キャリブレーションの手間も省略できることが望ましい．そのような観点から，前述のキッチンとは別の環境として，表面の滑らかさが違う別の人工大理石（図4）に対し，先に生成した擦り音モデルを用いて精度検証を行った．また，図 4 の環境に合わせた擦り音モデルを生成することで，精度の違いも検証した．それらの結果を表4 に示す．

図 8iRubBook

Fig. 8 iRubBook

4.2 iRubRemocon
家電のスマート化やスマートデバイスの登場など，様々な機器がネットワークで接続され，リモートコントロール
図 7

異なった実験環境例

Fig. 7 Other experiment environment example

できる状況にある．ここでは高機能学習型の赤外線リモコ
ン機器 iRemocon *1 と擦り音識別を連携させ，様々な機器を操作するシステムを構築した．例えば，キッチンで調理

表 2 より，別環境の擦り音モデルを用いた場合における中にキッチンカウンターを擦り，離れた位置にあるテレビ

再現率は 75%を超える精度で判定が行えている事が分かのチャンネルを切り替えたり，BGM の音量を変更したりる. また，擦り音モデルを環境に合わせたものに変更するすることができる．

事で 80%近い精度で判定が行えていることが分かる. しか*1

© 2016 Information Processing Society of JapaniRemocon: http://i-remocon.com/178情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161A05
2016/3/2張するなどの応用を示した．今後は，キッチンでの食器類のぶつかる音やその他の雑音との区別をすることと共に，識別性能の向上を目指す．そして，ユーザ評価実験などを通じ，水場でのユーザインタフェースとしての有用性について検証を行う．一方で，Raspberry Pi や Edison などの小型コンピュータボードでも動作するよう計算処理負荷を軽減し，機器や環境に埋め込んだユーザインタフェースとして適用しやすくすることにも取り組む予定である．
参考文献
図 9iRubRemocon[1]

Fig. 9 iRubRemocon[2]

4.3 Bathcratch+
先行研究である浴槽エンタテインメントシステム

Bathcratch[11] は，擦り音の励起のみを検出してスクラッ[3]チサウンドを生成していたが，本研究の手法を適用することで，擦った指の本数でスクラッチサウンドの切り替えやエフェクトをかけることなどができる Bathcratch+ を構

[4]

築した.
[5]

[6]

[7]

[8]

[9]
図 10

Bathcratch+

Fig. 10 Bathcratch+

5. おわりに

[10]

[11]

本研究は，先行研究で提案された擦り音検出によるユー
ザインタフェースを，指の本数まで識別する入力インタフェースシステムとして拡張し，汎用的に利用できるよう改良することを目指している．現在は，1 本から 3 本まで[12]

Cory D. Kidd, et al. : The Aware Home: A Living
Laboratory for Ubiquitous Computing Research, Proc.
of theSecond International Workshop on Cooperative
Buildings - CoBuild 99. Position paper, 1999.
椎尾一郎, Jim Rowan, Elizabeth Mynatt: Digital Decor: 日用品コンピューティング, ヒューマンインタフェース学会論文誌 Vol.5 no.3 p.323 -330, 2003.
S. S. Intille, K. Larson, J. Beaudin, E. Munguia
Tapia, P. Kaushik, J. Nawyn, and T.J. McLeish, ”The
PlaceLab:alive-in laboratory for pervasive computing research (Video),” Proc. of Pervasive2005, 2005.
B.de Ruyter, et al.: Ambient Intelligence Research in
HomeLab: Engineering the User Experience, AmbientIntelligence, Springer, pp.49-61, 2005.
上田博唯, 山崎達也: ユビキタスホーム: 日常生活支援のための住環境知能化の試み, ロボット学会論文誌,
Vol.25,pp.10-16, 2007.
平井重行, 上田博唯: 実験住宅Ξ Home(くすぃーほーむ)
でのユーザエクスペリエンス研究へ向けて, 計測自動制御
学会 SI2011 講演論文集, 2011.
平井重行, 藤井元, 佐近田展康, 井口征士: 新たなアメニ
ティ空間を目指した浴室:入浴状態を音で表現する風呂システム, ヒューマンインタフェース学会論文誌, Vol.6,No.3, pp.287-294, 2004.
大西諒, 平井重行: RFID を用いた浴室内行動計測の基礎検討, 情報処理学会論文誌 Vol.49, No.6,pp.1932-1941,2008.
榊原吉伸, 林宏憲, 平井重行:TubTouch: 湯水の影響や自由形状への適用を考慮した浴槽タッチ UI 環境, 情報処理学会論文集 Vol.54, No.4, pp.1538-1550, 2013.
伊藤大毅, 平井重行: 叩打音を利用した操作インタフェー
スと浴槽への適用, 情報処理学会第 77 回全国大会講演論
文集, 2ZA-03 (2015)
Shigeyuki Hirai, Yoshinobu Sakakibara and Seiho
Hayakawa,Bathcratch: Touch and Sound-Based DJController Implemented on a Bathtub, In Proc. of 9th International Conference ACE 2012, pp.44-56, 2012.
C.M. ビショップ (著), 元田 浩, 栗田 多喜夫, 樋口 知之,松本 裕治, 村田 昇 (訳) : パターン認識と学習 下 - ベイズ理論による統計的予測, シュプリンガー・ジャパン (2007)の指本数で擦った音から各本数の擦り音のパワースペクト
ルから GMM を構築し，それらを用いて指本数識別について試みた．現状の性能評価からは，2 本と 3 本とを識別することは困難ではあるものの，それらを複数本での擦り音と見なすことで，1 本指か複数本指かの識別は高精度で行えることは確認できた．その上で，キッチンなどの水場で活用できる生活支援のアプリケーションや先行研究のエンタテインメントアプリケーション Bathcratch の機能を拡© 2016 Information Processing Society of Japan179