情報処理学会 インタラクション 2015
IPSJ Interaction 2015

C612015/3/7

ブロック玩具に対する能動的音響計測を用いたプロトタイピング
大野 誠1,a)

志築 文太郎2,b)

田中 二郎2,c)

概要：ブロック玩具に対する能動的音響計測を用いてインタラクティブなプロトタイプを作成する手法を示す。ブロックの形状を有する音響センサをプロトタイプに取り付け、そのプロトタイプへの操作をソフトウェア上で学習させることによって、デザイナは容易にインタラクティブなプロトタイプを作成することが可能である。

A Prototyping Technique with Toy Blocks
using Active Acoustic Sensing
Makoto Ono1,a)Buntarou Shizuki2,b)Jiro Tanaka2,c)Abstract: We present a prototyping technique with toy blocks for interactive prototypes. It uses active
acoustic sensing to recognize user’s manipulation on prototypes. This technique allows designers to create
interactive prototypes easily and rapidly.

1. はじめにものである。さらに、物体の音響特性は構造物の構造の変化によっても生じることが分かっている [6]。

レゴブロックやデュプロブロックのようなブロック玩具

本研究ではこのことに着目し、既存のブロック玩具をプを用いれば、デザイナは容易に様々な構造を構築することロトタイプの構成要素として用いて、インタラクティブなが可能であるため、ブロック玩具はプロトタイピングによプロトタイプを作成可能とするプロトタイピング手法を示く使用される [3]。

す。本手法はブロック玩具を用いて構成したプロトタイプ一方で、我々は先行研究として、物体の音響特性を能動（タッチパッド、レバー、ペダル等）、ブロックの形状を有す的に計測することにより、既存物体から様々なタッチジェる音響式のセンサ、およびコンピュータを用いる。デザイ

スチャを認識する手法 [6]、タッチセンシティブなオブジェ

ナは、センサをプロトタイプに取り付けた状態でプロトタクトのプロトタイピングツール [7]、およびタッチの圧力をイプを操作し（レバーを曲げる等）、その時の音響特性をコ連続値として認識する手法 [8] を開発してきた。これらは、ンピュータに学習させる。これにによって、コンピュータ

物体の音響特性がタッチによって変化することを利用し、はプロトタイプへの操作を認識する。すなわちコンピュー

機械学習を適用することによって容易にタッチを認識する

タに認識して欲しい操作をプロトタイプを用いて実演するのみで、デザイナは容易にインタラクティブなプロトタイ

12a)b)c)

筑波大学大学院 システム情報工学研究科
Graduate School of Systems and Information Engineering,University of Tsukuba
筑波大学 システム情報系
Faculty of Engineering, Information and Systems, Universityof Tsukuba
ono@iplab.cs.tsukuba.ac.jp
shizuki@iplab.cs.tsukuba.ac.jp
jiro@iplab.cs.tsukuba.ac.jp© 2015 Information Processing Society of Japan

プを作成することが可能である。
これまでにもブロック玩具に着目した研究はいくつかなされている。Gupta らの DuploTrack[4] はデザイナが組み立てているデュプロブロックの状態を深度カメラを用いて認識し、プロトタイプの組み立てプロセスを提示している。

Muller らの faBrickation[5] は 3D プリンタとブロックを組960

み合わせることにより、高速なプロトタイプ作成の支援をサをプロトタイプに取り付けた状態でセンサモジュールか行っている。椎尾らの StudI/O[9] は投影を用いてブロッらスイープ信号が発せられると、片方の圧電センサがプロク玩具の組み立てを支援している。これらの研究はブロットタイプを振動させ、もう片方がその振動応答を電気信号ク玩具を用いたプロトタイプの組み立て支援を主眼としてへと変換する。

いるのに対し、本研究はブロック玩具を用いて構成したプロトタイプにインタラクティブ性を持たせることを主眼としている。
本手法と同様の目的を持って作られたツールキットとして、Mindstorms[1] がある。Mindstorms はモータ、センサ、ギア、ローラ等の部品を用いたインタラクティブな作品を作成することを可能とする。一方、本手法は Mindstormsのサブセットとして位置づけられる。ただし、Mindstormsに含まれるセンサ（温度センサやタッチセンサ等）は基本的に単一の機能のみを有するが、本手法におけるセンサは

図 1ハードウェア：a) センサモジュール、b) レゴブロック型の圧電センサ

Fig. 1 The hardware: a) sensor module, b) lego compatible
piezo-electric elements.

学習方式を変えることによって異なる働きをするため、より汎用的である。また、本手法の検出結果を Mindstormsに与えることが可能となれば、Mindstorms と組み合わせてより高度なプロトタイプを作成可能になるものと考えられる。

2. システム構成
本システムはブロック玩具によるプロトタイプの音響特性を取得するハードウェアと、機械学習やアプリケーションを記述するためのソフトウェアによって構成される。

2.1 ハードウェア
今回使用したハードウェアを図 1 に示す。ハードウェアはセンサモジュールと圧電センサによって構成される。

2.1.1 センサモジュール

2.2 ソフトウェア
ソフトウェアは機械学習を行う認識ソフトウェアと、プロトタイプへの操作に対する応答を定義するためのアプリ
ケーションオーサリングソフトウェアによって構成される。

2.2.1 認識ソフトウェア
認識ソフトウェアはセンサモジュールから得られた音響特性を特徴量として機械学習を行う。機械学習のアルゴリズムとして Support Vector Machine(SVM) を採用し、実装には LIBSVM[2] を用いた。認識ソフトウェアでは、用途に応じて以下の異なる学習方式をとる。
連続値学習
線形な動作による操作（例：スライダを動かす）を認

センサモジュールは我々の先行研究で用いたもの [7] で識させる場合には連続値学習を行う。連続値学習にはある（図 1a）。このセンサモジュールは物体を振動させる

Support Vector Regression（SVR）を用いる。デザイための信号として 20kHz〜40kHz のスイープ信号を出力す

ナーは認識ソフトウェア上に表示されるバーが上昇する。またその振動応答の包絡線を包絡線検波回路によってるアニメーションを見ながら、その動作と操作が対応検波し、その結果を音響特性として USB シリアル通信をするように入力を行う。認識ソフトウェアは現在表示介して PC へと送信する。

しているバーの高さを教師ラベル（0.0〜1.0）、その時2.1.2 圧電センサのデザイナの操作によって変化する音響特性を特徴量

今回、我々の先行研究 [7] において用いた圧電センサをレゴブロック向けに改良した（図 1b）。具体的には、レゴブロックを用いて作成したプロトタイプに簡単に取り付けとして SVR による機械学習を行う。認識結果は連続値（0.0〜1.0）として出力される。
離散値学習られるよう、圧電センサの形状をレゴブロックと同等とし離散的な動作による操作（例：ボタンを押す）を認識た。なお、この圧電センサは、レゴブロック以外にも、そさせる場合には離散値学習を行う。離散値学習にはのサイズが 2 倍であるデュプロブロックにも取付可能でSupport Vector Classification（SVC）を用いる。デザある。この圧電センサの形成方法は次の通りである。まず

イナは認識ソフトウェア上でいくつかの操作ラベルを3D プリンタを用いてレゴブロックのモデルを途中まで出定義し、そのラベルに対応するプロトタイプの操作を力した状態で 3D プリンタを一時停止した。この状態で圧行う。認識ソフトウェアはそのラベルを教師ラベル、電素子をモデルに固定し、その後に出力を再開した。

デザイナの操作によって変化した音響特性を特徴量とこれまで同様、この圧電センサは 3.5mm のオーディオプラグを介してセンサモジュールに接続される。このセン© 2015 Information Processing Society of Japan

して SVC による機械学習を行う。認識結果は離散値（各操作ラベル名）として出力される。

961

図 2

連続値入力の適用例：a) レバー、b) ペダル、c) スライダ

Fig. 2 Examples of continuous input: a) lever, b) pedal, c) slider.

図 3

離散値入力の適用例：a) スイッチ、b) ゲームコントローラ, c) インタラクティブアニ
マルFig. 3 Examples of discrete input: a) switch, b) game controller, c) interactive animal.

これらの認識結果は認識ソフトウェアからプロセス間通信（現実装では OSC プロトコルもしくは HTTP プロトコ

ハンドルコントローラに応用可能である。
ペダルル）を通してアプリケーションオーサリングソフトウェア

図 2b のようにブロックを組み、ペダルを赤矢印方向に送信される。に押し込む動作によって連続値学習を行い、ペダルの2.2.2 アプリケーションオーサリングソフトウェア踏み具合が認識されることを確かめた。なお、このペデザイナはプロトタイプへの操作に対応する応答を定義

ダルにはバネが含まれており、ペダルを押し込まないするためにアプリケーションオーサリングソフトウェアを時には自動的に元の高さに戻るようになっている。本用いる。現在我々はアプリケーションオーサリングソフト

例は、レーシングゲームのアクセルペダルや、Angryウェアとして Max/MSP および Scratch という二つのビBirds のようなアクションゲームの入力インタフェー

ジュアルプログラミング環境を採用している。これらを用いてデザイナは、認識ソフトウェアからの認識結果に応じスとして応用可能である。
スライダて効果音を鳴らす、ビジュアル・エフェクトを表示する等

図 2c のようにブロックを組み、黄色のブロックをつの応答を、プログラムの記述によって定義できる。また、まみとして赤矢印方向にスライドさせる動作によってMax/MSP では、シェルスクリプトや AppleScript 等の外連続値学習を行い、スライダの位置が認識されること部プログラムを実行するプログラムを記述することも可能を確かめた。本例は音楽プレイヤのシークを行うためであるため、デザイナは iTunes を操作する等の高度な応の入力インタフェースとして応用可能である。

答を定義することが可能である。

3. 適用例
本手法の適用例を以下に示す。これらの適用例は全て著者らによって作成された。

3.1 連続値入力
連続値学習を適用した例を図 2 に示す。
レバー

3.2 離散値入力
離散値入力の学習を適用した例を図 3 に示す。
スイッチ
図 3a のようにブロックを組み、スイッチを左右に倒した状態においてそれぞれ離散値学習を行い、2 状態の入力が可能なスイッチを作成した。
ゲームコントローラ
図 3b のようにブロックを組み、4 つの黄色いタイルブ

図 2a のようにブロックを組み、黄色いブロックをレロックと、2 つの丸いタイルブロックをそれぞれタッバーとして赤矢印方向に回転させる動作によって連続チした状態において離散値学習を行い、ゲームコント値学習を行い、レバーの回転角が認識されることを確ローラを作成した。4 つの黄色いタイルブロックを方かめた。本例はレーシングゲームやバランスゲームの向入力に、2 つの丸いタイルブロックをアクションボ© 2015 Information Processing Society of Japan962

タンとして割り当てることによって、スーパーファミイダにおいて、つまみの部位と台座の部位との結合が弱い

コンやゲームボーイのようなゲームのコントローラのため、スライダの認識精度は他の適用例に比べて低い。今プロトタイプを作成することが可能である。

後はそのような事例を調査し、センサの取付位置に関するインタラクティブアニマル判断基準を明らかにする必要がある。

デュプロブロックと動物型のブロックを用いて、インまた、操作の認識精度は学習の良し悪しに依存する。特タラクティブアニマルというプロトタイプを作成したに、連続値学習の場合、認識ソフトウェア上に表示される（図 3c）。これは黄色のベースブロック（図 4a）に動バーに従って、正確に一定速度で操作を行う必要がある。

物型のブロックが乗せられると、その種類を認識し、これにはデザイナの習熟が求められるため、今後はよりデその動物に対応した効果音を再生する（図 4b）。また、ザイナにとって負担が少なくかつ効率的に学習を行える機

その状態で動物ブロックが触れられるとさらに異なる

械学習 UI を探る必要がある。

効果音を再生する（図 4c）。図 5 のように、複数種類の動物型ブロックを識別することも可能であり、それ5. まとめぞれの動物に対応した異なる効果音が再生される。こ

本稿ではブロック玩具を用いてインタラクティブなプロのプロトタイプは、以上の各状態における音響特性のトタイプを作成する手法を示した。ブロックの形状を有す離散値学習を行うことによって作成した。

る音響センサをプロトタイプに取り付け、そのプロトタイプへの操作をソフトウェア上で学習させることによって、デザイナは簡単にインタラクティブなプロトタイプを作成することが可能である。
参考文献

図 4

動物型ブロックとタッチの認識

Fig. 4 Recognition of animal-shaped block attached to the base

[1]
[2]

block and touch on the animal.

[3]
[4]

図 5

動物型ブロックの識別

Fig. 5 Classification of animal-shaped blocks.

[5]

4. 議論
本手法の音響センサは、前節で示したように様々な操作[6]を認識できるものの、いくつかの制約を持つ。
まず、センサの取付位置によって、操作が認識されやすく音響特性が変化する場合とそうでない場合が生じる。ただし、現在その判断基準が無いため、取付位置を決める際[7]に経験則が求められる。例えば図 2b のペダルの場合、水色の台座ブロックにセンサを取り付けても、認識に効果的な音響特性の変化は生じない。一方、実際に手や足が触れ[8]る黄色のブロックにセンサを取り付けた場合、ペダルの踏み具合と連動して音響特性に変化が生じる。これはペダルを押し込むことによって黄色のブロックにひずみが生じることによるものと思われる。また、操作する部位とセンサの取付位置は構造的に強く結合されていなければならないという制約もある。この制約により、図 2c に示したスラ© 2015 Information Processing Society of Japan[9]

LEGO, Mindstorms. http://mindstorms.lego.com/ . (accessed 2014.12.17).
Chih-Chung Chang and Chih-Jen Lin. LIBSVM: A library for support vector machines. ACM Transactions
on Intelligent Systems and Technology, Vol. 2, No. 3, pp.
27:1–27:27, 2011.
Lawrence Cralg. Right–Rapid–Rough. Ask Magazine,No. 13, pp. 12–15, 2003.
Ankit Gupta, Dieter Fox, Brian Curless, and Michael Cohen. DuploTrack: A real-time system for authoring andguiding duplo block assembly. In Proceedings of the 25th
annual ACM symposium on User interface software andtechnology, pp. 389–402. ACM, 2012.
Stefanie Mueller, Tobias Mohr, Kerstin Guenther, Johannes Frohnhofen, and Patrick Baudisch. faBrickation:
Fast 3D printing of functional objects by integrating construction kit building blocks. In Proceedings of the 32nd
annual ACM conference on Human factors in computingsystems, pp. 3827–3834. ACM, 2014.
Makoto Ono, Buntarou Shizuki, and Jiro Tanaka. Touch& Activate: Adding interactivity to existing objects using active acoustic sensing. In Proceedings of the 26th
annual ACM symposium on User interface software andtechnology, pp. 31–40. ACM, 2013.
Makoto Ono, Buntarou Shizuki, and Jiro Tanaka. A rapid
prototyping toolkit for touch sensitive objects using active
acoustic sensing. In Proceedings of the adjunct publication of the 27th annual ACM symposium on User interface software and technology, pp. 35–36. ACM, 2014.
Makoto Ono, Buntarou Shizuki, and Jiro Tanaka. Sensing
touch force using active acoustic sensing. In Proceedingsof the 9th annual ACM symposium on Tangible, Embedded and Embodied Interaction, 4 pages. ACM, 2015. (toappear).
椎尾一郎, 橋本菜摘. StudI/O: 立体への投影を利用したトイブロック組み立て支援. WISS’14: 第 22 回インタラクティブシステムとソフトウェアに関するワークショップ,
pp. 37–42. ソフトウェア科学会, 2014.

963