情報処理学会 インタラクション 2017
IPSJ Interaction 2017

3-6F-072017/3/2

磁気計測に基づき構造認識を行うブロックシステム
池川 航史1,a)

中前 秀太2,b)

志築 文太郎3,c)

概要：我々のブロックシステムは，磁気を用いてブロックの構造を認識する．これによって，ブロックを組み立てるという直感的な操作を用いた 3D モデリングを可能にする．本システムのブロックは永久磁石を内蔵するのみの単純な構造を持つ．本システムは，このブロックから成る構造物の構造を，磁気センサを複数配置したハードウェアを用いて認識する．

A Block Systemwith Magnetism-based Structure Recognition
Koshi Ikegawa1,a)Shuta Nakamae2,b)Buntarou Shizuki3,c)Abstract: We present a block system with magnetism-based structure recognition. Our system allows users
to create 3D models using intuitive operation of building blocks. Each block of our system has a simple
structure with a permanent magnet. Our system recognizes the structure of blocks by using hardware withmultiple magnetic sensors.

1. はじめに実世界に存在する有形の物体に対する直接操作により，モデルが同期しているため直感的な操作である．そのため，ブロック型 TUI は初心者や子ども向けの 3D モデリングを実現する可能性を有する．

無形であるコンピュータ内の情報を操作可能にするタンブロック型 TUI を実現するにあたり，組み立てられたブジブルユーザインタフェース（TUI）が提唱されているロック（以降，構造物）の構造を認識する必要がある．そ（[7][10][15] など）．また，TUI のひとつとして，LEGO*1 なの手法は大きく 2 つに分かれる．1 つ目はブロックに内蔵どのブロック型玩具を組み立てることによって 3D モデされたマイクロコントローラを含む電子回路によって構造ルの作成を可能にするブロック型 TUI が研究されているを認識する手法である．2 つ目は，構造物全体を俯瞰でき（[1][3][14] など）．3D モデリングをする上で，マウスおよる位置に設置されたカメラによる手法である．しかし，1びキーボードを用いた操作に比べて，ブロックを組み立てつ目には，ブロック自体に複雑な回路を内蔵する必要があるという操作は，構造物とリアルタイムに形成される 3Dるという欠点がある．また，2 つ目には，カメラを追加するためシステムが大型になる，ユーザの手によるオクルー

123a)b)c)*1

筑波大学情報学群情報メディア創成学類
College of Media Arts Science and Technology, School of Informatics, University of Tsukuba
筑波大学大学院システム情報工学研究科コンピュータサイエンス専攻
Department of Computer Science, Graduate School of Systems and Information Engineering, University of Tsukuba
筑波大学システム情報系
Faculty of Engineering, Information and Systems, Universityof Tsukubaikegawa@iplab.cs.tsukuba.ac.jp
nakamae@iplab.cs.tsukuba.ac.jp
shizuki@iplab.cs.tsukuba.ac.jp
https://www.lego.com© 2017 Information Processing Society of Japan

ジョンが発生する等の問題が生じる．
以上の問題に対して我々は，ブロックに永久磁石を内蔵し，さらに磁気センサを複数配置したハードウェアを用いて構造物の構造を認識するブロックシステム Tesla Blocks（図 1）を開発した．本システムのブロックは永久磁石のみを内蔵するという単純な構造を持つ．また，構造の認識に用いる電子回路は，ユーザが構造物を作成する土台に統合されているため，システムを小型にできる．さらに，構造の認識に磁気を用いるため，オクルージョンは発生しない．

707

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

3-6F-072017/3/2

その他にも，吉田ら [17] は熱溶解積層方式の 3D プリン
タを使用し，導電性と非導電性のフィラメントを組み合わせることによりブロック自体がコンデンサとなるように設計した．このブロックが積み上げられるとコンデンサが並列接続され，結果として土台において計測される静電容量が線形に増加する．システムは計測した静電容量をブロックの個数に対応付けすることによってブロックの積み上げ個数を検出する．Chan ら [6] は静電容量式タッチパネルの上に積み上げられたブロックの個数を検出できるシステムを開発した．このシステムのブロックにはそれぞれ上下に 4 つ以上の接点がある．ユーザがブロックを置く際にブロックの側面を触ると，タッチパネル上に積み上げら
図 1: Tesla Blocks システムの外観．
Fig. 1 Overview of our block system called Tesla Blocks.

れた個数に応じたタッチ点が発生する．システムは発生したタッチ点の組み合わせから個数を推定する．これらの手法は先述した手法に比べ，マイクロコントローラを内蔵せ2. 関連研究
ブロック型 TUI の研究における構造認識手法の代表的なものは，ブロックに内蔵されたマイクロコントローラを含むず，ブロックが持つ静電容量の検出によってオクルージョンによる誤認識を解決した 3D モデリングを実現している．
我々の手法は磁石をブロックに内蔵するという新たな方法によって 3D モデリングを実現している．

電子回路による手法である．Anderson ら [1] や Watanabe

永久磁石と磁気センサを用いた TUI の研究も盛んに行わ

ら [16] の研究においては，ユーザが構造物を作成した時れている．Bianchi らは 3 種類の永久磁石を用いることにに，ブロックに内蔵されているマイクロコントローラ同士よって，磁気センサを内蔵したスマートフォンと組み合わが通信することにより構造を認識する．さらに，Ando らせて利用できるタンジブルなツールを作成した [4]．スライの StackBlock [2] は，直方体の 6 面すべてに赤外線 LED

ダやダイアルなどの各ツールには永久磁石が内蔵されておとフォトトランジスタを格子状に敷き詰めたブロックを提り，磁気を計測することによってスマートフォンの周囲に案している．このシステムは赤外線 LED の受発光からブどのツールが置かれたか，またそれらがどのように操作さロックの積み重ねを検出し，それぞれのブロック間の接触れたのかを認識し，スマートフォンのインタラクションを領域を推定する．それぞれのブロック同士が赤外線通信を拡張している．さらに Bianchi らは，バッテリ，モータ及用いたデータ通信を行うことによって構造を認識するこび磁石を内包したマーカを提案している [5]．磁石はモータとを可能としている．Hosoi ら [9] は積み木の中に磁気セの先に埋め込まれており，マーカによって各モータの回転ンサ，加速度センサ，Bluetooth モジュールを搭載したブ数を調整している．マーカの永久磁石が回転することによロックを設計している．システムは積み木の積み上げ個数り SN の極性が変化し，システムはその変化の周波数を解以外にも，それぞれの積み木の積み方（方向や接地面）を析することによってマーカの種類を区別し，様々なアプリリアルタイムに認識する．一方，我々のシステムは，永久ケーションへと応用している．これらに対して我々は 3D磁石のみを内蔵させるという単純な構造によってブロックモデリングへと永久磁石と磁気センサを適用している．

型 TUI を実現している．

永久磁石と磁気センサを用いた TUI の研究には，我々の構造物全体を俯瞰できる位置に設置されたカメラによるシステムと同様に，格子状に配置された磁気センサを用い構造認識手法によってブロック型 TUI を実現している研究た研究もある．Liang らの GaussStones [13] は特性の異なも見られる．Baudisch らの Lumino [3] は，グラスファイる磁気シールドの中に永久磁石を内蔵したマーカを利用しバとマーカによって構成されたブロックを使用している．

たシステムである．シールド内に局所的に発生した磁気をシステムはこのブロックを用いて作成された構造物を机液晶パネルの裏にある磁気センサアレイ（GaussSense [12]）の下のカメラから撮影し，マーカの底面の見え方の違いかを用いて計測することによってマーカを認識している．こら積み上げられたブロックの高さを認識している．Millerのシステムは高さ方向に 2 つ積み上げられたマーカを認ら [14] や Gupta ら [8] のシステムは，深度カメラを用いて識することが可能である．GaussBricks [11] は GaussSense

ブロックの構造を認識している．我々のシステムは，カメと同じハードウェアを使用し，両端に磁石がついた骨型のラではなく磁気に基づくため，これらのシステムと比較しパーツの組み合わせを認識している．これによってタッチて小型なシステムを実現しており，またオクルージョンにパネルにおける様々なインタラクションを実現している．

よる誤認識を解決している．

一方，我々は永久磁石と磁気センサを用いてブロック型© 2017 Information Processing Society of Japan708

情報処理学会 インタラクション 2017
IPSJ Interaction 2017ab3-6F-07
2017/3/2

cabc

図 2: 磁気ブロックの構成要素：（a）永久磁石，（b）スペーサ，（c）2 × 2 LEGO duplo．
Fig. 2 Components of a magnetic block: (a) permanent magnet, (b) spacer, (c) 2 × 2 LEGO duplo.

TUI を実現している．

3. Tesla Blocks

図 3: 構造認識ハードウェアの外観：（a）Arduino Nano，（b）マルチプレクサ，（c）4 つの磁気センサ．

Tesla Blocks はユーザが組み立てたブロックの構造を認

Fig. 3 Components of the structure recognition hardware: (a)識し，その認識結果を 3D モデルとして描画するシステム

Arduino Nano, (b) multiplexer, (c) four three-axis Hallである（図 1）．Tesla Blocks は磁石を内蔵したブロック

sensors.

（以降，磁気ブロック），格子状に配置された磁気センサを持つハードウェア（以降，構造物認識ハードウェア），3Dサル基板上に配置した．ユーザはこの格子状に配置されたモデルビューアから構成される．本節にて，Tesla Blocks

磁気センサの上に構造物を作成する．この構造物認識ハーについて，その構成要素と磁気計測に基づくブロック認識

ドウェアの上部にユーザが構造物を作成できるように，3Dの手法を述べる．

プリンタにて構造物認識ハードウェアが収まるケースを印刷した．このケースの上面には LEGO duplo と同じ間隔で3.1 磁気ブロック8 × 8 個の突起が並んでいる．また，各磁気センサは 75 Hz

我々は 2 × 2 の LEGO duplo*2 の内部に永久磁石を埋めにて計測値をマイコンに出力し，±0.47 mT の検出レンジ込むことにより，磁気ブロックを作成した．図 2 に磁気を持つように設定されている．なお今回使用した磁気セン

ブロックの構成要素を示す．磁気ブロックは永久磁石（図サでは I2 C 通信にて使用するスレーブアドレスが固定で2a）とスペーサ（図 2b），LEGO duplo（図 2c）から成る．

あったため，マルチプレクサを用いることによりマイコン

今回我々は永久磁石として直径 6 mm，高さ 2.5 mm，表面と複数の磁気センサとの通信を可能とした．また，地磁気における磁束密度 220 mT のネオジム磁石を使用した．なの影響を除くために，マイコンの起動時に取得した計測値

お，2 × 2 の LEGO duplo の内部にある円筒型の空洞は直径をオフセットとして，磁気センサの計測値をシリアル通信10.8 mm である．このため，永久磁石をこの空洞に固定すにて PC へ送信する．

るためにスペーサを使用した．スペーサは直径 10.5 mm，高さ 16.0 mm の円筒形であり，上部に永久磁石を固定するための直径 6.25 mm，高さ 2.5 mm の窪みを持つ．我々は

3.3 3D モデルビューア
ユーザが組み立てた磁気ブロックの構造を推定し，そのこのスペーサを設計し，熱溶解積層方式の 3D プリンタに推定結果を 3D モデルとして描画する 3D モデルビューアて印刷した．

を実装した．図 4 に 3D モデルビューアの動作例を示す．
我々は本ビューアを Processing を用いて実装した．また

3.2 構造物認識ハードウェア

3D モデルの描画には Processing 標準の 3D 描画エンジン

ユーザが組み上げた磁気ブロックの構造を認識するためである P3D を使用した．本ビューアは，ユーザが 3D モデのハードウェアを実装した（図 3）．構造物認識ハードウェ

ルを確認しやすくするために，マウス操作による視点移動

アはマイコン（図 3a，Arduino Nano）と 16 チャンネル・機能とズーム機能を提供している．

アナログ・マルチプレクサ（図 3b，Texas Instruments 社製

CD74HC4067），4 個の 3 軸磁気センサ（図 3c，Honeywell3.4 磁気計測に基づくブロック認識

社製 HMC5883L）から成る．我々は磁気センサを 2 × 2 のTesla Blocks は磁気センサの計測値を，構造物が取り得格子状に，間隔がそれぞれ 32 mm となるようにユニバーる構造全パターンに対応するセンサ予測値と比較し，最も*2近いセンサ予測値に対応するパターンを推定結果とする．

https://www.lego.com/ja-jp/duplo© 2017 Information Processing Society of Japan709

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

3-6F-072017/3/2

次に同じ調査を構造物の底面が最大 3 行 3 列とした場合において行った．この場合，高さ 3 からシステムの処理が重くなり正常に動作しなくなった．この原因として，本システムではあらかじめ構造全パターンに対応するセンサ予測値を算出しているため，構造物の規模に応じて指数関数的にセンサ予測値が増えることが考えられる．したがって今後は，システムが全パターンのセンサ予測値を用いずとも，構造を推定できるアルゴリズムを作成する必要がある．

5. まとめ図 4: 3D モデルビューアの動作例：（左）ユーザが作成した構造物，（右）3D モデルビューアにて描画された 3D モ

磁気センサを格子状に配置したハードウェアを用いて，ユーザによって組み立てられたブロックの構造を認識するブロックシステムである Tesla Blocks の設計および実装をデル．
Fig. 4 Screenshot of our 3D model viewer: (left) structure as-

示した．本システムのブロックは永久磁石のみを内蔵する

sembled by the user, (right) the 3D model drawn by theという単純な構造を持つ．また，構造の認識に用いる電子

3D model viewer.

回路は，ユーザが構造物を作成する土台に統合されているため，カメラを用いるシステムと比較し，小型なシステム

まず，構造全パターンに対応するセンサ予測値を算出するための基礎データとして，我々は N 行 N 列の各座標にを実現した．今後は予備実験から得た知見をもとに，検出できる構造物の規模を大きくする計画である．

対して，ブロックを 1 個置いた場合から M 個積み上げた場合の磁気センサの計測値を記録した．つまり，N × N × M

参考文献

パターンの計測値を基礎データとして記録した．次に，磁[1]気ベクトルには加法定理が成り立つことから，システムは基礎データを元に，ある構造物が作成された磁気センサの予想計測値を全パターン算出する．
実行時，システムは計測値に最も近いセンサ予測値を探索する．この結果，得られたパターンをユーザが作成した構造物の構造と認識し，3D モデルビューア上に描画する．

[2]

4. 予備実験我々は今回実装した Tesla Blocks における構造認識の精度を調査した．
我々は始めに構造物の底面が最大で 2 行 2 列とした場合において，どれほどの高さまでシステムが構造認識を正し[3]く行えるのか調査した．まず高さ 2 × 2 × 1 パターンの計測値を基礎データとしてシステムに与えたのち，我々は自由に 2 行 2 列および，高さ 1 以下の構造物を作成した．こ[4]の結果，システムは全ての構造物を正しく認識することが確認された．以降，システムが正しく認識していることが確認された場合，高さを 1 つ増やし調査を繰り返した．この結果，高さ 4 まではシステムは正しく認識し，高さ 5 に[5]おいては誤認識が多くなった．誤認識の原因は，今回我々が作成した磁気ブロックの誤差（永久磁石の磁気，スペーサの大きさなど）や構造認識ハードウェアの磁気センサの精度誤差が考えられる．したがって，今後，誤認識の原因を精査し，また磁気センサの数や密度を上げるなどの工夫によって，改良を試みる計画である．

© 2017 Information Processing Society of Japan[6]

Anderson, D., Frankel, J. L., Marks, J., Agarwala, A.,
Beardsley, P., Hodgins, J., Leigh, D., Ryall, K., Sullivan, E. and Yedidia, J. S.: Tangible Interaction +Graphical Interpretation: A New Approach to 3D Modeling, Proceedings of the 27th Annual Conference on
Computer Graphics and Interactive Techniques, SIGGRAPH ’00, New York, NY, USA, ACM Press/AddisonWesley Publishing Co., pp. 393–402 (online), DOI:
10.1145/344779.344960 (2000).
Ando, M., Itoh, Y., Hosoi, T., Takashima, K., Nakajima, K. and Kitamura, Y.: StackBlock: Block-shaped
Interface for Flexible Stacking, Proceedings of the Adjunct Publication of the 27th Annual ACM Symposium
on User Interface Software and Technology, UIST ’14
Adjunct, New York, NY, USA, ACM, pp. 41–42 (online),
DOI: 10.1145/2658779.2659104 (2014).
Baudisch, P., Becker, T. and Rudeck, F.: Lumino: Tangible Building Blocks Based on Glass Fiber Bundles,
ACM SIGGRAPH 2010 Emerging Technologies, SIGGRAPH ’10, New York, NY, USA, ACM, pp. 16:1–16:1(online), DOI: 10.1145/1836821.1836837 (2010).
Bianchi, A. and Oakley, I.: Designing Tangible MagneticAppcessories, Proceedings of the 7th International Conference on Tangible, Embedded and Embodied Interaction, TEI ’13, New York, NY, USA, ACM, pp. 255–258(online), DOI: 10.1145/2460625.2460667 (2013).
Bianchi, A. and Oakley, I.: MagnID: Tracking Multiple Magnetic Tokens, Proceedings of the Ninth International Conference on Tangible, Embedded, and Embodied Interaction, TEI ’15, New York, NY, USA, ACM, pp.
61–68 (online), DOI: 10.1145/2677199.2680582 (2015).
Chan, L., Müller, S., Roudaut, A. and Baudisch, P.:CapStones and ZebraWidgets: Sensing Stacks of Building Blocks, Dials and Sliders on Capacitive Touch
Screens, Proceedings of the SIGCHI Conference on Hu-710

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

[7]

[8]

[9]

[10]

[11]

man Factors in Computing Systems, CHI ’12, New
York, NY, USA, ACM, pp. 2189–2192 (online), DOI:
10.1145/2207676.2208371 (2012).
Fitzmaurice, G. W., Ishii, H. and Buxton, W. A. S.:
Bricks: Laying the Foundations for Graspable User Interfaces, Proceedings of the SIGCHI Conference on HumanFactors in Computing Systems, CHI ’95, New York, NY,USA, ACM Press/Addison-Wesley Publishing Co., pp.
442–449 (online), DOI: 10.1145/223904.223964 (1995).
Gupta, A., Fox, D., Curless, B. and Cohen, M.: DuploTrack: A Real-time System for Authoring and Guiding
Duplo Block Assembly, Proceedings of the 25th Annual
ACM Symposium on User Interface Software and Technology, UIST ’12, New York, NY, USA, ACM, pp. 389–402 (online), DOI: 10.1145/2380116.2380167 (2012).
Hosoi, T., Takashima, K., Adachi, T., Itoh, Y. and Kitamura, Y.: A-blocks: Recognizing and Assessing Child
Building Processes During Play with Toy Blocks, SIGGRAPH Asia 2014 Emerging Technologies, SA ’14,
New York, NY, USA, ACM, pp. 1:1–1:2 (online), DOI:
10.1145/2669047.2669061 (2014).
Ishii, H. and Ullmer, B.: Tangible Bits: Towards
Seamless Interfaces Between People, Bits and Atoms,
Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems, CHI ’97, New
York, NY, USA, ACM, pp. 234–241 (online), DOI:
10.1145/258549.258715 (1997).
Liang, R.-H., Chan, L., Tseng, H.-Y., Kuo, H.-C.,
Huang, D.-Y., Yang, D.-N. and Chen, B.-Y.: GaussBricks: Magnetic Building Blocks for Constructive Tangible Interactions on Portable Displays, Proceedings ofthe SIGCHI Conference on Human Factors in Computing Systems, CHI ’14, New York, NY, USA, ACM,
pp. 3153–3162 (online), DOI: 10.1145/2556288.2557105(2014).

© 2017 Information Processing Society of Japan

3-6F-072017/3/2

[12]

[13]

[14]

[15]

[16]

[17]

Liang, R.-H., Cheng, K.-Y., Su, C.-H., Weng, C.-T.,
Chen, B.-Y. and Yang, D.-N.: GaussSense: Attachable Stylus Sensing Using Magnetic Sensor Grid, Proceedings of the 25th Annual ACM Symposium on User
Interface Software and Technology, UIST ’12, New
York, NY, USA, ACM, pp. 319–326 (online), DOI:
10.1145/2380116.2380157 (2012).
Liang, R.-H., Kuo, H.-C., Chan, L., Yang, D.-N. andChen, B.-Y.: GaussStones: Shielded Magnetic Tangibles for Multi-token Interactions on Portable Displays,
Proceedings of the 27th Annual ACM Symposium on
User Interface Software and Technology, UIST ’14,
New York, NY, USA, ACM, pp. 365–372 (online), DOI:
10.1145/2642918.2647384 (2014).
Miller, A., White, B., Charbonneau, E., Kanzler, Z.
and LaViola Jr., J. J.: Interactive 3D Model Acquisition and Tracking of Building Block Structures,
IEEE Transactions on Visualization and Computer
Graphics, Vol. 18, No. 4, pp. 651–659 (online), DOI:
10.1109/TVCG.2012.48 (2012).
Ullmer, B. and Ishii, H.: Emerging Frameworks for Tangible User Interfaces, IBM Systems Journal, Vol. 39,
No. 3-4, pp. 915–931 (online), DOI: 10.1147/sj.393.0915(2000).
Watanabe, R., Itoh, Y., Asai, M., Kitamura, Y.,
Kishino, F. and Kikuchi, H.: The Soul of ActiveCube: Implementing a Flexible, Multimodal, Threedimensional Spatial Tangible Interface, Computers inEntertainment, Vol. 2, No. 4, pp. 15–15 (online), DOI:
10.1145/1037851.1037874 (2004).
吉田有花，志築文太郎，田中二郎：Capacitive Blocks: 静電容量に基づくブロックシステム，第 23 回インタラク
ティブシステムとソフトウェアに関するワークショップ
論文集 (WISS2015)，日本ソフトウェア科学会，pp. 1–6(2015).

711