情報処理学会 インタラクション 2017
IPSJ Interaction 201717INT008
2017/3/2

積み木遊び認識のためのスマートウォッチを活用した積み木型インタフェース
石川 美笛†1

高嶋 和毅†1

中島 康祐†2

北村 喜文†1

概要：積み木遊び認識のためのスマートウォッチを内蔵した積み木型ユーザインタフェースを提案する．スマートウ
ォッチのモーションセンサ情報を用いることで遊び手の動作が認識するとともに，そのマルチタッチスクリーンを積み木各面に拡張することで，積み木への指の接触や他の積み木との接続を認識することができる．本稿では，スマー
トウォッチを用いた積み木型インタフェースのプロトタイプを試作し，積み木への指の接触と積み木同士の接続の認
識性能を検証する．また，これらの結果を基に，センサ情報から積み木遊びの内容を認識する方法について議論する．

Block-Shaped Interface with Smart Watch
for Recognizing Building and Playing Processes
MITEKI ISHIKAWA†1 KAZUKI TAKASHIMA†1
KOSUKE NAKAJIMA†2 YOSHIFUMI KITAMURA†1
Abstract: This work presents a novel block-shaped user interface that embeds a smart watch for recognizing and accessing playing
process. Each block’s spatial movements and physical contacts with either fingers or neighbor blocks are detected by the smart
watch’s motion sensors and expanded multi-touch screen respectively. We implemented a first prototype using 3D printed building
blocks and Sony smart watches, and conducted a technical evaluation to verify its fundamental detection accuracy regarding finger
and block connections. We also discuss possible ways to estimate and recognize playing process with the proposed block interface.

1. はじめに来の積み木と同様に自由な積み重ねにおける形状認識ができるブロック[9]を試作してきた．しかし，これらはそれぞ

積み木は幼稚園の概念の創始者フリードリヒ・フレベーれ認識できる動きの種類が限られており，積み木遊びを評ルによって考案された玩具の一つである．子供たちは積み価する上で重要とされる，積み上げ遊びと平面遊び，そし

木で遊ぶことで形態や大きさなどの比較，図形の創作を自て積み木の持ち方を同時に認識することはできなかった．

主・自発的に行うことができる．こうした一連の遊びを通そこで本研究では近年急速に普及が進むスマートウォッ

して子供たちの柔軟性や創造力を養うことができ，人間形

チを多機能センサとして活用することで，より多くの遊び成において重要な役割を果たすとされている[1,2]．また，の内容を記述することができる“A-Block 2”を提案する.

日本では 3 歳児検診の内容に積み木を積み上げる項目があり，認知機能の発達の指標として用いられるほか，遊戯療法の種目の一つとして積み木遊びが行われてきた歴史もある．このようなアセスメントをより効果的に実施するためには，子供たちの積み木遊びを定量的に観察することが極めて重要である．
積み木に関連するものとして，ブロック型インタフェー
スは，文化や世代に依存しないものとして様々に提案されてきた．直感的に 3D モデリングを行うためのブロック[3,4]や，教育やゲーム用インタフェースのために開発されたブロック[7,8]，電子的な接続による構築形状の認識が可能なブロックを用いて認知機能の診断を行った研究[11]もある．
遊戯療法の分野において我々は A-Block[5]を開発し，加速

図 1: A-Block 2 プロトタイプ
Figure 1: A-Block 2 prototype

度センサと地磁気センサを用いた積み木の動きの記述や従†1 東北大学 電気通信研究所
Research Institute of Electrical Communication, Tohoku University†2 三菱電機株式会社 デザイン研究所
Mitsubishi Electric Design Laboratory© 2017 Information Processing Society of Japan59

情報処理学会 インタラクション 2017
IPSJ Interaction 201717INT008
2017/3/2

A-Block 2 では，A-Block と同様に，スマートウォッチに内関連することも示している[14]．しかしながら，A-Block は蔵されている加速度，角速度，地磁気センサを用いて積み加速度センサを用いているために，積み木の動きや姿勢は

木の動きを認識することができる他，マルチタッチスクリ

検出できても手指の接触や積み木同士の接続を検出するこーンを拡張利用して，積み木への手指の接触と他の積み木とが難しかった．また，Bluetooth 通信を用いているためにの接続を検出することが可能である．本稿では，関連研究

ホスト 1 台につき扱える積み木の数に制限があるなどの実を述べた後，A-Block 2 の実装に関する技術的な工夫や積み験や運用上の大きな課題があった．

木の動きの認識精度の検証結果，および将来的な積み木遊

StackBlock[9]は，A-Block と同様に積み木の基本的な遊び

び認識の方法などを報告する．

方を対象とし，自由な積み重ねを認識することができる高2. 関連研究

機能積み木デバイスである．積み木の表面に赤外線 LED と

2.1 ブロック型 UI

フォトトランジスタをマトリクス上に敷き詰めることによって，ブロックの積み重ね位置をリアルタイムに計測し，ブロック型ユーザインタフェースは現実世界とコンピュ構築形状を認識することが可能である．積み木同士の重なータとのインタラクションをより直感的にすることができりを高精度に識別できる一方で，乱暴・丁寧に扱うといっるため，3D モデルの形状構築，タッチパネル上のウィジェ

た積み木の動きや振って遊ぶといった遊び手の動作を記述

ットやゲームといった分野で研究開発が盛んに行われてきすることができない．

た．その中で，ブロック間の接続情報や構築形状を認識す

そこで本研究では，表１に示すように，定量的な積み木

るセンシングの技術などが開発されている． DuploTrack[3]

遊び計測を目指し開発された A-Block や StackBlock を引きは Kinect を利用し，自由な構築形状およびその過程をリア

継ぎ，積み木の動作認識，積み木への手指の接触，およびルタイムにユーザに提示することが可能なシステムである．

積み木同士の接続認識を実現できる積み木型デバイス“A-

ActiveCube[6]は，マイコンが内蔵されたブロックを用いてBlock 2”を検討する．

それらを電子的に接続することによって形状構築の認識を実現している．また，静電容量の変化を利用してタッチデ

3. A-Block 2 設計と実装ィスプレイ上で“積み上げ”動作を認識するゲーム用のブ

3.1 A-Block 2 への設計要求

ロ ッ ク 型 ウ ィ ジ ェ ッ ト CapStones[7] も あ る ． Capacitive

我々はこれまでに，幼稚園や保育所に出向き，3 歳 0 ヶBlock[4]は１つ１つのブロックが静電容量を持つコンデン

月から 7 歳 7 ヶ月までの述べ 100 人以上の幼児と児童を対サとなっており，静電容量を計測することで積み重なって象に積み木遊びの様子を観察してきた[9,14]．その結果，いるブロックの形状認識ができる．Sifteo cubes[8]は教育向

個々の積み木の基本的な動作と複数個の積み木を連携したけのゲームデバイスとして開発され，加速度センサと 4 辺

遊び方の認識が必要であることがわかった．その中での基の赤外線センサによって動作や他のブロックとの接続状況

本動作としては，積み木を把持する，動かす，そして置くを検知し，前面にあるタッチスクリーンによってインタラ動作であった．遊び方としては，2 段以上積み上げる“積クションを行う．

み上げ遊び”，積み上げずにタイルのように敷き詰めて並べ

以上で述べたブロック型インタフェースでは，レゴのよる“平面遊び”，そして 2 段以上積み上がっている状態から

うにブロック同士の接続にコネクタを用いるものである．

崩す“崩し遊び”の 3 種類が主なものであった．その他，

これらでは複数のブロックを接続して安定した 3 次元形状

それほど頻度は高くないが，“崩し遊び”も見られた．

を構築できるが，ブロック同士の接続自由度は少なく自由な置き方や崩し方を許す積み木とは異なる．またセンシン

表 1: A-Block 2 の位置づけ

グに関して，カメラ等の外部センサを利用した場合には，Table 1: General description of A-Block 2

センサの配置やブロックを操作する手などに起因する計測

A-Block

Stack
Block

〇

×

死角が生まれるために，子供の自由な遊びを細かく認識することは難しい．
2.2 積み木遊び認識デバイス

動き
積重ね

我々はこれまでに遊戯療法において積み木遊び中の子供たちの遊びにおける動作センシングを行う“A-Block”を開発した[5]．A-Block 内部には加速度と地磁気センサを持つ
無線多機能センサデバイスが埋め込まれており，個々の積
み木の動きの情報が Bluetooth 通信によってホスト PC へ送

△
衝撃利用

〇
△

平面

×

ベースブロ
ック利用

形状
構築

×

〇

A-Block 2〇(加速度センサ)〇（拡張タッチスクリーン）〇（拡張タッチスクリーン）△（タッチスクリーン解像
度依存）信される．これらのセンサ情報を用いて，幼児の積み木での遊び方の特徴（立てた回数等）が幼児のストレス軽減と© 2017 Information Processing Society of Japan60

情報処理学会 インタラクション 2017
IPSJ Interaction 201717INT008
2017/3/2

これらの観察から，主要な遊び方の認識のためには積みによるものの他の搭載されているセンサを必要に応じて利木の動き，積み木と手指の接触，積み木同士の接続を検出用可能であるといった拡張性にも優れている．以上のよう可能なセンシング機構が求められることが分かる．また，に，(2)の手指と積み木同士の接触検出について，新たに検このセンシング機構は“崩し遊び”や乱暴な遊び方がなさ

討を加える必要はあるものの，これが実現できれば，スマれた場合にも破損するといったことのない頑健な機構であートウォッチの利用は合理的であることが分かる．

ることが求められる．以上をまとめると設計要求として，

A-Block 2 にて，積み重ねと平面並べを認識することがで(1)積み木遊び中の基本動作が認識できるように加速度セきれば，積み木の遊び方のより深い議論が可能となる．しンサ等のモーションセンサを搭載し，(2) 積み木への手指

かし，これらの情報からだけでは，複数の積み木のブリッの接触及び積み木同士の接続検出が可能である．また，そジ接続などが認識できないために，StackBlock でめざしてれらのセンシング機構が積み木の遊び場所や，積み木の持いたような細かな積み木の形状構築の認識までには至らな

ち方や置き方の妨げとならないように，(3)センシングデー

い（表１）．本研究では，先に述べたように，遊び方を理解

タをワイヤレスに送受信でき，なおかつ従来の積み木の持するために，積み木と指の接触と，積み木同士の接続を検ち方に影響を与えないためにも(4)小型で軽量である必要

出することを研究の対象とし，スマートウォッチのタッチがある．その他，玩具として(5)頑健な作りであり，かつ長スクリーンの検出面を積み木 6 面に拡張することを検討す

時間の遊びにも耐えられる必要がある．最後に，積み木のる．

個数を拡張できるように，将来的に(6)拡張が可能なセンシ

3.3 内蔵加速度センサを用いた積み木の動作検出ング機構であることが望ましい．
3.2 スマートウォッチを利用した積み木の設計

A-Block では，積み木を置く行為，積む行為，立てる行為のそれぞれの回数と時間を認識対象としていた[5,14]．これ

設計要求で述べた(1)から(6)までの要求を満たすために，は，ストレスが軽減されるような積み木遊びの特徴として，

本研究ではウォッチ型ウェアラブルデバイスであるスマー

積み木を置き直す，ゆっくり置く行為，積み上げて高い構

トウォッチ(SONY 製 Smart Watch3)を多機能センサデバイ

造物を作ろうとする行為，積み木を持って考え込んだりす

スとして採用し，A-Block と同様に積み木に内蔵することる行為があるとされていたからである．これらは全て内蔵にした．スマートウォッチは元来，時計として人の手首にの加速度センサ及び地磁気センサを利用して認識していた．

装着してその動きを計測することができる．その中には，また，この他に加速度値を特徴量変換し，サポートベクタ

加速度センサ，角速度センサ，地磁気センサが内蔵されてマシンによる機械学習を行い，積み木を振る行為や落とす

おり，人の日常動作検出に必要とされる 10 Hz 以上で動作行為，崩す行為などの 16 種類の動作を認識可能であった可能である[10]．これにより，遊び中の基本的な動作をセン[14]．本研究で提案している A-Block 2 においても加速度セ

シングし識別することが可能であり(1)についての要件をンサを有しているため，A-Block にて計測できていた積み満たす．(2)手指と積み木の接触検出については，本研究で木の動作認識は可能である．

は，積み木に埋め込んだスマートウォッチのタッチスクリ

3.4 タッチスクリーンを用いた指と積み木の接触検出

ーンのタッチ検出機能を，導電性素材を用いて積み木の表

スマートウォッチのマルチタッチスクリーンを利用して面にまで拡張することで，積み木表面での手指の接触と積積み木と手指の接触および積み木同士の接続認識を行う機

み木同士の接続を検出できる機構を考案した．これにより，構を提案する．ここでは，まず初めにマルチタッチスクリ

加速度センシングだけでは検出が難しかった積み木の持ちーンの構造について述べ，その上で提案する接続検出方法

方や積み木の積み重ねや平面に並べるといった遊びを認識を説明する．

することが可能になる．(3)無線計測については，スマート

現在のスマートフォンやタブレットといった小型の情ウォッチは Wi-Fi による通信が可能であるため，ホストと報端末にはタッチスクリーンが搭載されており，その多くなるデバイスと無線でセンシングデータの送受信が可能でが静電容量方式の種類の一つである相互容量方式のスクリある．(4)サイズについて，今回利用するウォッチ自体のサーンを採用している．相互容量方式ではディスプレイ内部

イズは 36 mm×51 mm×10 mm，重量が約 38 g と小型であに駆動電極，受信電極と呼ばれる透明の 2 種類の電極が交り，市販されている一般的レンガ型の積み木のサイズ（縦差するように敷き詰められている．駆動電極はある周期で56 mm，横 112 mm，高さ 25 mm）や半レンガ型（縦 56 mm，１本ずつ順に信号が印加され，駆動-受信電極間で静電結合

横 56 mm，高さ 25 mm）に埋め込むことができる（図１）．

を形成する．人の指のような導電体がディスプレイに接触(4)遊びに対する頑健性については，ウォッチ自体に長時間すると，ディスプレイと指で静電結合を形成する．この時駆動するバッテリを搭載して，かつ日常生活やスポーツのにディスプレイ下の駆動-受信電極間の静電結合が減少す

行動計測にも対応するために問題にならない．また，(6)拡るため，その現象を受信電極の方で順にスキャニングし，張性については，Wi-Fi 機能を搭載しているために積み木検知することによってマルチタッチの検出を実現している．

型デバイス個数の拡張やスマートウォッチデバイスの種類

中島らはこの機構を利用し，マルチタッチスクリーン上に© 2017 Information Processing Society of Japan61

情報処理学会 インタラクション 2017
IPSJ Interaction 201717INT008
2017/3/2

おいてタッチを必要とせずに認識が可能なウィジェット，以上離して配置するように設計した．設計した導電性素材

PUCs[12]を開発した．我々はスマートウォッチのスクリーの配置パターンを図 3 に示す．

ンと積み木の各面を接続させることで，マルチタッチスク

3.5 プロトタイプの実装

リーンにおける接続検出能力を積み木各面まで延長させる

スマートウォッチ（SONY 製 Smart Watch3）で可動する機構を考案した．この機構により，どの面に手指が触れた

ソフトウェアは Android Studio にて実装し，ホスト PC の管のかといった面ごとの接触及び導電性物体を接続させたと

理ソフトウェアは C#及び Unity を用いて実装した．ウォッきの接続認識が可能である．スクリーン上に 6 つの導電性

チとホストの通信は WebSocket によって行われる．システ

素材を互いに離して配置し，積み木の 6 つの側面にも導電ム概要を図 4 に示す．今回のプロトタイプではスマートウ

性素材をそれぞれ配置する．スクリーン上の導電性素材とォッチ側は 20 Hz で加速度，角速度，地磁気の値を送信し，側面の導電性素材を接続することで，人の手が積み木の面

タッチ検出があった場合にはタッチの位置座標を送信する．

に接触した時に，スクリーンへのタッチと同様に，導電性

ホスト PC では各積み木からのセンサ情報を統合して積み

素材下でタッチの検出がされる．また，積み木同士でも同木の動き方や積み重ね，並べて遊びなどの状態を認識する．

様にタッチの検出が行われる．図 2 に A-Block 2 の構造を

現在はプロトタイプ製作の段階であるためホストとして示す．プロトタイプでは導電性素材として銅テープを用い

PC を用いているが，Unity はマルチプラットフォームに対た．

応するために，様々なデバイスをホストとして利用できる．

次にスクリーン上の 6 つの導電性領域の設計および配置

また，積み木は 3D プリンタを用いて樹脂素材で製作した．

方針について述べる．一般に相互容量方式で用いられている電極の電極幅は，約 5 mm となっている[12]．このようなスクリーンの機構上，5 mm 以下の間隔で複数箇所タッチが検出された場合，ディスプレイのタッチをコントロール
する IC によって同一のタッチと見なされたり，タッチ箇所が移動したと見なされたりとユニークな検出が難しくなる．そこで本システムでも電極幅 5 mm を仮定し，6 つの箇所それぞれがユニークに検出できるように，スクリーン上の導電性素材のサイズを 5×5 mm としてそれぞれ 5 mm
図 4: システム構成
Figure 4: System architecture

4. 接触及び接続認識の評価試作した A-Block 2 積み木について，指の接触検出，および積み木との接続認識の 2 点について性能を評価した．
4.1 指の接触検出性能
図 2: A-Block 2 の構造
Figure 2: Structure of A-Block 2

指の接触検出について評価した結果について述べる．評価の方法は単純なものとして，人が指で積み木の側面を 1面ずつ触る試行を 10 回繰り返した．各面の認識率を表 2(a)に示す．これより，全体の認識は 76.7%となった．ほとん
どの面において高い認識率が得られたが，全く認識されなかった面もあった．各タッチディスプレイには誤った接触認識を防ぐために，人体と接触した際に生じる電界の変化を基準に閾値が定められている．このことから，直接指でディスプレイをタッチすることと比較して我々の手法では，安定した電界の変化が生じないことが原因として考え

図 3: 導電性素材の配置パターン

られる．この問題に対して人体と接地される面積を大きく

Figure 3: Pattern arrangement of conductive materials© 2017 Information Processing Society of Japan62

情報処理学会 インタラクション 2017
IPSJ Interaction 201717INT008
2017/3/2

表 2: 積み木への手指の接触認識率
Table 2: Recognition rate of finger touch for each surface

表 3: 積み木同士の接続認識率(a)Table 3: Recognition rate of block connection in study (a)(a) Recognition rate of each surface of prototype 1 [%]The recognition rate of each surface of Block1 [%]Surface ID
Recognition rate

1
100

2
100

3
90

4
0

5
100

6
70

(b) Recognition rate of each surface of prototype 2 [%]Surface ID
Recognition rate

1
100

2
100

3
90

4
100

5
100

6
100

B2-1
B2-2
B2-3
B2-4
B2-5
B2-6

B1-1
100
100
100
100
10
0

B1-2
100
100
100
100
20
100

B1-3
100
100
100
100
0
90

B1-4
100
100
100
100
0
100

B1-5
100
100
100
100
10
100

B1-6
100
100
100
100
10
100

The recognition rate of each surface of Block2 [%]
B2-1
B2-2
B2-3
B2-4
B2-5
B2-6

図 5: A-Block 2 プロトタイプ 2
Figure 5: The second version of prototype A-Block 2するために図 5 に示すプロトタイプ 2 を試作した．この試作では，積み木の周囲を導電性素材で囲むことにより，指で触った時に接地される面積が大きくなり，結果として電界の変化が大きくなる．このプロトタイプ 2 で同様の実験を行った結果を表 2(b)に示す．表 2(b)より，各面の認識率は向上し，全体としては 96.3 %の認識率となった．また，同時に 5 つの面まで接触検出を確認することができた．原
理的には同時に 6 つの面を触った時でもそれぞれの接触検出が可能であると考えられるが，今回用いているスマート
ウォッチの仕様上 6 つ以上の同時タッチは誤りと見なすア
ルゴリズムが内部 IC に組み込まれていると思われる．5 点の同時認識ができれば実用上は特に問題とならないと考える．
4.2 積み木同士の接触検出性能
次に，積み木の面同士を接触させた場合の検出性能について評価した．我々の試作の中で，積み木の面同士を接続する場合，指での接触よりも電界の変化が小さくなることが予想されるために，まず，(a) 積み木同士の接続によってディスプレイ上のタッチ検出が可能なのかを確認したのち，(b)プロトタイプ 2 の積み木を用いて実際の積み木の形状で接続認識ができるかを二段階で検証した．
実験(a)について説明する．導電性ゴムを図 3 のパターンで配置し，その 1 つをブロックのある 1 辺に接続させる．
同じように積み木をもう一つ用意し，ディスプレイ上の導電性ゴムと接続されている面同士を接続させ，タッチ検出が生じるかどうか調べた．積み木各面を 20 回ずつ，計 36
パターンの面について認識を調べた．その結果を表 3 に示

© 2017 Information Processing Society of Japan

B1-1
100
100
100
100
100
100

B1-2
100
100
100
100
100
100

B1-3
100
100
100
100
100
100

B1-4 B1-5 B1-6
100
100
100
100
100
100
100
100
10
100
100
80
100
100
80
100
100
20
B1…Block1, B2…Block2

す．表 3 では，実験に用いたそれぞれぞれの積み木側でのそれぞれの面による認識率を示している．これらから，総じて高い認識率が得られたことが確認でき，積み木 1，2 それぞれの認識率の平均は 75.6 %，91.6 %であった．中には80 %を大きく下回る面もあったが，どちらか一方が接続を認識していれば十分であるため，全体の平均の認識率は99.2 %であった．
この結果から，積み木同士の接続であってもその接続を十分な精度で検出できることが確認できたため，続いてプ
ロトタイプ 2 の積み木を 2 つ用いて各面を 10 回接続させ，それぞれの積み木で接続検出がとれるかどうか調べた（実験(b)）．実験(a)では，理想的な接続環境におけるブロック
検出精度を検証しているのに対して，この実験(b)では，積み木を用いて立体方向に配線を施した試作機の検出精度を検証することである．結果を表 4 に示す．表 4 上段，中段はそれぞれ積み木 1 と積み木 2 のそれぞれの面の認識率を示しており，積み木 1 と積み木 2 の認識率平均はそれぞれ66.7 %，61.7 %であった．また，表 4 下段には，積み木 1 と積み木 2 どちらかによって認識された率を示す．このトータルの平均の認識率は 80.6 %であった．実験(a)の場合と比
べて認識率が低下した原因として，実際に 3D プリンタをベースに試作した ABS 樹脂製の積み木の形状の精度が完璧ではなく，積み木同士接続させた場合の接続検出部である銅テープ同士の接続が不良であったことや，本検証は，実験者によって自然な積み木の動作を入力として用いたことなどが考えられる．また，他の原因として考えられるのが積み木それぞれのスクリーンと接続されている接続検出部が面方向によっては接地部と接地されにくいことである．
(a)の結果等から総合すると，実装に関して銅線の配線や接63

情報処理学会 インタラクション 2017
IPSJ Interaction 201717INT008
2017/3/2

表 4: 積み木同士の接続認識率(b)Table 4: Recognition rate of blocks connection in study (b)The recognition rate of each surface of Block1 [%]
B2-1
B2-2
B2-3
B2-4
B2-5
B2-6

B1-1
100
100
40
100
10
100

B1-2
100
0
40
90
0
90

B1-3
100
60
40
20
30
40

B1-4
0
80
0
80
100
80

B1-5
70
30
30
70
10
90

B1-6
100
100
50
80
100
90

The recognition rate of each surface of Block2 [%]
B2-1
B2-2
B2-3
B2-4
B2-5
B2-6

B1-1
50
100
60
70
30
100

B1-2
90
100
60
100
0
100

B1-3
0
60
60
0
70
50

B1-4 B1-5 B1-6
100
100
100
90
30
100
50
40
90
90
70
0
10
0
0
90
80
80
B1…Block1, B2…Block2

The total recognition rate [%]
B2-1
B2-2
B2-3
B2-4
B2-5
B2-6

B1-1
100
100
60
100
30
100

B1-2
100
100
60
100
0
100

B1-3
100
60
60
20
70
50

B1-4
100
90
50
90
100
90

B1-5
100
30
40
70
0
90

状態とし，ある閾値以上の加速度値とタッチ検出をした場
合に積み木を“動かしている”状態とする．
“動かしている”
状態から，加速度値がある閾値以下になった場合に“置く”
動作を検出したとして，再び“動かしていない”状態とす
る．この検出方法で 1 分間動かしている，または動かしていない動作を 10 秒ずつ繰り返し，それらの動作が認識された回数を計算した結果，認識率は 100 %であった．また，個々の積み木の傾き方等の状態の形状認識は加速度値と地磁気の値によって行う．
5.2 積み木遊び内容認識
前節で説明した個々の積み木の動作及び形状情報を統合して，積み木遊びの全体の内容，形状構築の認識手法について述べる．今回のプロトタイプでは積み木遊びの内容
として，積み木遊びの基本的な遊びである，“積み上げ遊び”，“平面遊び”の 2 つを認識することにした．これらは，前述した幼児と児童を対象とした積み木遊びの観察から確認できた代表的な遊び方である．
図 6 に，それぞれの遊び方認識手法の概要と簡単な状態遷移を示す．まず，積み上げ遊びを認識する手法について

B1-6
100
100
90
80
100
90

説明する．ある積み木を 1 つの積み木の上に乗せて置く場
合を考える．この時 1 つの積み木が“動かしている”状態
から“動かしていない”状態に遷移し，“置く”動作が認識される．加速度値から重力に鉛直な方向にある面を算出し，その面から接続認識があった場合に“積み上げ”の動作を行ったとする．置かれた方の積み木においても接続認識が行われるために，積み上げられた位置が分かり，形状認識

続検出部，接地部のデザインまたは素材について依然として検討の余地はあるものの，本提案では，80～90％程度のが可能となる．次に，ある 2 つの積み木を隣同士に接続し，1 段のみで平面遊びを行う際の認識方法について説明する．

積み木接続（積み上げと平面を含む）を検出できることがこの時に 1 つ，もしくは 2 つの積み木が“動かしている”

分かった．

状態から“動かしていない”状態に遷移する．どちらも加5. 積み木遊びの認識手法

接続認識が行われるため，“平面遊び”の動作を行ったとし，速度値から，重力方向に垂直な 4 つの面のどれかに対して

本節では加速度，角速度，地磁気センサ，積み木への接その接続面から形状の認識を行う． 例として 2 つの積み

触，積み木同士の接続検出から積み木中の動作を認識し，木を挙げて説明したが，複数個の積み木でも同様の認識が遊びの内容，形状構築の認識を行う方法を説明する．初め

できる．

に，個々の積み木が持つ情報から行う動作認識手法を述べ，それらの情報を統合した全ての積み木の動作情報から積み木遊びの内容と形状構築の認識手法の方法について述べる．
5.1 個々の積み木動作認識
それぞれの積み木は 3 軸の加速度，角速度，地磁気セン
サ値，スクリーン上のタッチ検出座標値及び ID 情報を持つ．タッチ座標値と各面の対応をとることによって，指の接触認識及び積み木の接続認識が可能である．しかし，ス
クリーン上では入力されたタッチが指による接触か，積み木による接続かは識別できないため，加速度センサ値の情報と組み合わせて“動かしている状態”と“動かしていない状態”のどちらの状態にあるかによって認識を行う方

図 6: 遊び方認識手法
Figure 6: Method of playing recognition

法を考えた．個々の積み木の初期状態を“動かしていない”© 2017 Information Processing Society of Japan64

情報処理学会 インタラクション 2017
IPSJ Interaction 201717INT008
2017/3/2

スクリーンといったセンサデータから，個々の積み木の動作を認識する．これらのデータは積み木遊びの中でも基礎的な特徴を示すものであるが，積み木を置いたり立てたりした回数はストレス軽減効果に貢献できると期待されている[14] ．今後は，全体の積み木の動作データを統合することによって，より次元の高い遊び方の分析が可能なシステ
ムと発展させ，内容の可視化を行っていく予定である．積図 7: 遊び方認識実験

み木遊び中の動作や遊び方の可視化により，カウンセラー

Figure 7: Experiment of playing recognition

や子の発達に不安のある親などが行動解析のために使用するツールを提供できると考えている．積み木を使用の際の手の動きに関する基本的動作が記述可視化できるようになればブロック型ユーザインタフェースのデザインを検討する上でのプラットフォームとして応用できる可能性もある．
将来的には A-Block と同様に積み木を増やし，加速度のみで取得したデータとの比較や，より多彩な動作認識をできるシステムを目指していきたい．
6.2 プロトタイプの考察
A-Block 2 実現に向け，プロトタイプを製作し評価を行った．既存のデバイスを使用する上の限界として，タッチを

図 8: 遊び方認識へのステップ

検出する閾値が現状では調節できないこととタッチが検出

Figure 8: Step for the building block play recognition

できる数がスマートウォッチのそれぞれのメーカーによっ

また，各積み木から送信されるデータには ID 情報があるため，“動かしている”状態の時間から最も使用した色や形を算出することが可能であり，これらの情報も積み木遊
びの内容として記録対象とすることも可能である．
また，考案した積み木型デバイス及び動作認識手法によって，“積み上げ遊び”，“平面遊び”がどの程度認識可能なのか予備的な評価実験を行った．成人ユーザ 4 人にある形状の積み木の図（図 7）を 6 枚提示し，それと同じ形状をプロトタイプ 2 の積み木を 3 つ用いて再現してもらう．提示した図は積み上げ遊びと平面遊びそれぞれを要する形状となっており，3 通りパターンがある．ユーザが形状を組み立てる際に，提案するアルゴリズムによって“積み上げ遊び”及び“平面遊び”が正確に認識されるか実験を行った．結果は平面遊びの認識率が 66.7 %，積み上げ遊びの認
識率が 83.3 %となった．この結果は 3.3 節で行った，プロトタイプ 2 の積み木を用いた接続認識の結果を踏まえると，妥当な結果といえる．今後，より良い認識ができるよう，素材や配線の工夫を施すことでさらに認識率は上がると考
える．

6. 議論
6.1 センサデータと遊び方分析に向けて
5 節の予備的評価実験の結果を踏まえ，現状の A-Block 2のプロトタイプにより，遊びの内容認識が記述できる可能性が示せた．図 8 には，遊びの内容の認識に向けたデータの取り扱いを示している．加速度，地磁気センサ，タッチ© 2017 Information Processing Society of Japanて制限されていることが挙げられる．今後，デバイスのアップデートなどで対応できるかもしれない．
本研究では積み木の自由の重ね方を意識しているが，StackBlock[9]で対象としていた斜め置きの検討に至っていない．これに対応するためには，本節 3.3 でも述べたように，より電界の変化を促すような導電性素材と各面に最適な面積を考える実験を行う必要がある．また，将来的に子供たちに使用してもらうことを考え，現状のように銅テープがむき出しになっているのではなく，配線が隠せるような機構を考える必要がある．デザイン性を考え，銅テープの代わりに導電性ゴムを周りに配置した機構も考えられる．
また，カラフルな積み木を作ることを考え，透明な導電体である ITO（酸化インジウムスズ）を導電体として使用する方法も検討している[12]．円柱や三角形などの他の形状も今回提案した手法で実現可能と考えられるが，3D プリン
タで導電性のフィラメントと非導電性のフィラメントを使用し，導電性の素材を内部に組み込んだ積み木の製作により実現する方法も可能であると考えている[13]．

7. おわりに本研究では，積み木遊び認識のためのスマートウォッチを内蔵した積み木型ユーザインタフェース A-Block 2 を提案し，評価実験を通してその有用性と可能性を示した．ス
マートウォッチのモーションセンサ情報を用いることで遊び手の動作が認識できる他，そのマルチタッチスクリーンを導電性素材により積み木各面に拡張することで，積み木への指や他の積み木の接触と接続を認識することができる．

65

情報処理学会 インタラクション 2017
IPSJ Interaction 201717INT008
2017/3/2

今後は，導電性素材の配線やサイズの最適化に加えて積み
木らしい外観を作ることや，より多くのプロトタイプを実装して，現場でのデータ収集及び可視化などを計画している．

謝辞
本研究の一部は科研費（15K12177）の助成を受けたも
のである．

参考文献
[1]

伊藤智里, 高橋敏之. 一幼児の積み木遊びに見られる多様な発達的特徴. 美術科教育学会誌, 美術教育学会誌, 美術教育
学, 32 号, pp. 41-53 (2011).
[2] 中村哲. 幼児期における積み木遊びの教育思想と保育実践:[大型積木遊び]の保育実例をてがかりに. 学校教育学研究,
第 1 巻, pp. 1-14 (1989).
[3] Gupta, A., Fox, D., Curless, B., & Cohen, M. DuploTrack: a realtime system for authoring and guiding duplo block assembly. Proc.
of UIST, pp. 389-402 (2012).
[4] 吉田有花, 志築文太郎, 田中二郎. Capacitive Blocks: 静電容量に基づくブロックシステム. 第 23 回インタラクティブシステ
ムとソフトウェアに関するワークショップ論文集, 日本ソフトウェア科学会, pp. 1-6 (2015).
[5] Hosoi, T., Takashima, K., Adachi, T., Itoh, Y., & Kitamura, Y. Ablocks: recognizing and assessing child building processes during
play with toy blocks. Proc. of SIGGRAPH Asia 2014 Emerging
Technologies, No. 1 (2014).
[6] Kitamura, Y., Itoh, Y., & Kishino, F. 2001. Real-time 3D interaction
with ActiveCube, EACHI’01, pp.355-356 (2001).
[7] Chan, L., Müller, S., Roudaut, A., & Baudisch, P. CapStones andZebraWidgets: sensing stacks of building blocks, dials and sliders
on capacitive touch screens. Proc. of SIGCHI, pp. 2189-2192 (2012).
[8] Merrill, D., Sun, E., & Kalanithi, J. Sifteo cubes. EACHI'12,
pp.1015-1018 (2012).
[9] 安藤正宏, 細井俊輝, 中島康祐, 伊藤雄一, 北村喜文, 尾上孝雄. 積み木型ブロックデバイスのための赤外線による積み重ね認識手法に関する検討. ヒューマンインタフェース学会研究報告集, Vol. 15, No. 7, pp. 125-128 (2013).
[10] Junker, H., Lukowicz, P., and Troster, G. Sampling frequency, signal
resolution and the accuracy of wearable context recognition systems.
ISWC 2004, Vol. 1, pp. 176-177 (2004).
[11] E. Sharlin, Y. Itoh, B. Watson, Y. Kitamura, S. Stutphen, and L. Liu.
Cognitive cubes: a tangible user interface for cognitive assessment.
Proc. of SIGCHI, pp. 347-354 (2002).
[12] 中島康祐, 伊藤雄一, Simon Voelker, Christian BjorgeThoresen,
Kjell IvarOvergard, Jan Borchers. PUCs: 静電容量方式マルチタ
ッチパネルにおけるユーザの接触を必要としないウィジェッ
ト検出手法. 情報処理学会論文誌, Vol. 56, No. 1, pp. 329-337(2015).
[13] 上野新葉, 加藤邦拓, 宮下芳明. 表面でのタッチ操作が可能なタンジブルインタフェースの 3D プリント手法. 情報処理学 会 研 究 報 告 ヒ ュー マ ン コ ンピ ュ ー タ イ ン タ ラク シ ョ ン（HCI）, Vo. 167, No. 4, pp. 1-7 (2016).
[14] 細井俊輝, 佐藤裕美, 高嶋和毅, 伊藤雄一, 足立智昭, 北村喜文, 加速度センサを用いた積み木による子供のストレス軽減効果に関する一検討, ヒューマンインタフェース学会研究報
告集, Vol. 16, No. 4, pp. 91-96 (2014).

© 2017 Information Processing Society of Japan

66