情報処理学会 インタラクション 2014
IPSJ Interaction 2014

A0-2
2014/2/27

StackBlock: 積み重ね形状構築を可能とするブロック型デバイス
安藤正宏†1伊藤雄一†1細井俊輝†2足立智昭†3中島康祐†1
尾上孝雄†1

高嶋和毅†2北村喜文†2

本研究では，子供の積み木遊び方を計測・理解することが可能なブロック型 UI“StackBlock”を提案する．子供の積み木遊びの観察に基づき，積み重ね認識に求められる仕様を決定し，赤外線を用いて実装した．StackBlock の表面には赤外線 LED とフォトトランジスタを敷き詰めており，ブロックを積み重ねると，向かい合う LED とフォトトラン
ジスタが赤外線通信し，ブロック ID や面 ID，接触領域情報などをブロック間で交換する．これによりカメラなどの追加のセンサを用いることなく，ブロックにより構築された 3 次元形状を認識できる．また，従来のブロック型 UIと違い，接続や分離に強い力が不要となり，積み木と同様に接続の向きの自由度も高くなる．提案する積み重ね認識
手法における形状認識の精度とリアルタイム性について検討し，十分な性能を実現できていることを確認した．

StackBlock: Building Block Interface
Recognizing 3D Shape of Stacked Blocks
MASAHIRO ANDO†1 TOSHIKI HOSOI†2 KOSUKE NAKAJIMA†1KAZUKI TAKASHIMA†2 YUICHI ITOH†1 TOMOAKI ADACHI†3
TAKAO ONOYE†1
YOSHIFUMI KITAMURA†2
We have developed a novel building block interface called “StackBlock” that measures and recognizes child’s playing withbuilding blocks. We propose a technique that recognizes the 3D shape of the stacked building blocks based on the observation ofchild’s playing with building blocks. Each surface of the block detects the area contacted by the other blocks using infrared LEDs
and phototransistors spread over the surface. The information on the contacted area is transmitted to a host computer by the relayof infrared communication between the blocks, and then the host computer recognizes the 3D shape based on the contact
information from all stacked blocks. We implemented the prototype of StackBlock and evaluated the accuracy and the latency of
3D shape recognition.

1. はじめにとに繋がり，心的ストレスに対する積み木遊戯療法にも新たな展開が期待できる．しかし，これまでのブロック型 UIコンピュータとより直感的に情報とインタラクションすは積み木を対象としたものではなく，ブロック同士の接る方法として，タンジブルユーザインタフェース（TUI）

続・分離の認識や，接続の向きの認識，データ通信などのと呼ばれる実物体を操作対象とするインタフェースが提案ために，ホックや磁石などで十分な強度でブロック同士をされている[1-5]．TUI では，情報が実物体に割り当てられ接続するものであった[7-10]．これらでは，構築形状を固ており，ユーザはその実物体を操作することで情報とイン定しやすい反面，積み木特有の遊びである柔軟な積み重ね

タラクションできる．TUI の中でもブロックを組み上げるや積み木崩しをすることはできなかった．

操作により 3D モデルを構築できるブロック型 UI は，ブロ

そこで我々は，積み木における遊びを正確に認識すること

ックを組み合わせることにより，任意の形状を構築できるができるブロック型 UI“StackBlock”を提案する．本稿でため，建築や工業デザインでのモデリングや，知育玩具，

は，子供の積み木遊びの観察に基づき，赤外線を用いた自脳機能の診断など，様々な分野に応用されている[9, 10]．

由で柔軟な積み重ねの認識手法について検討し実装した結一方，従来，慢性的な心的ストレスを被った子供に対す果を報告する．本提案手法では，ブロック表面に赤外線る心理的ケアに，積み木による遊戯療法がよく用いられてLED とフォトトランジスタをマトリクス状に敷き詰め，2

きた[6]．この療法では，子供の積み木遊びをビデオでコー

つのブロックを積み重ねた時の赤外線 LED の発光およびディングしたり，行動や操作を観察者が解釈したりすることが主な測定方法であったが，不安定な心理状態にある子供の遊び方の微妙な変化を正確に計測することは難しかった．そのため，子供の積み木遊びを正確に認識できれば，子供の心理状態を定量的にかつリアルタイムに推定するこ†1 大阪大学 大学院情報科学研究科
Graduate School of Information Science and Technology, Osaka University†2 東北大学 電気通信研究所
Research Institute of Electrical Communication, Tohoku University†3 宮城学院女子大学 発達臨床学科
Department of Developmental and Clinical Studies, Miyagi Gakuin Woman’s
College© 2014 Information Processing Society of Japan

図 1
Figure 1

実装した StackBlock

Implementation of StackBlock.
135フォトトランジスタの受光状況から接触領域を検出する．

うため，接続や分離に強い力を必要とせず，接続の向きのまた，対面する LED とフォトトランジスタの赤外線通信に自由度も高い．しかし，形状認識のためのセンサを備えてより，形状認識に必要な情報をブロック間で交換し，最終おらず，積み重なったブロックの ID などの情報を取得で的にホスト PC に情報を伝達する．また，StackBlock の形

きないため，構築形状の認識は不可能である．

状認識の精度やリアルタイム性を評価した．

一方で，外部のセンサによるブロック形状認識手法も多提案する StackBlock の外観を図 1 に示す．図に示すよう

く提案されている[11, 12]．Miller らは Kinect を用いてブロに，StackBlock は，積み木と同様に積み重ねるだけでそのックの構築形状を認識し，形状を PC 上に再現する手法を

構築形状を認識することができるブロック型 UI である．

提案している[11]．これらのカメラベースの形状認識手法

磁石やホックといったブロック間接続のための固定部を持はブロック同士を密着して結合する必要がないため，接たないため，ブロック同士が部分的に重なった状態など自続・分離に強い力を必要とせず，接続の向きの自由度が高

由度の高い積み重ねを認識することができ，また赤外線のいという利点がある．しかし，これらの手法では，カメラ

反射や通信を用いていることから積み木と手の接触認識もから取得したデータをもとに形状認識を行うため，ユーザ可能となる．

の手でブロックが隠れたり，構築形状の内部に空洞が生じ

2. 関連研究2.1 ブロック型 UI
ブロック型 UI は，実世界のブロックを用いることにより専門的な知識がないユーザの 3 次元モデリングを可能とした．こうしたブロックでの構築形状の認識方法は様々なものが提案されてきた．

たりした場合，正確な形状の認識が難しい．StackBlock では，接続や分離に強い力を必要とせず，接続の向きの自由度も高く，また構築形状による死角の発生しない形状認識
手法を，赤外線を用いて実現する．
2.2 赤外線による接触認識
Stackblock では積み重ねを認識するために，ブロック間
で重なっている領域を検出する必要がある．こうした接触

代表的なものとして，ブロック内部にセンサを埋め込んを認識する方法として，赤外線を用いた接触認識手法がタだ手法がある．Anderson らは，LEGO 型のブロックを用い

ッチインタラクションの実現のために検討されてきた．

て複雑な形状をコンピュータに入力できるシステムを提案

赤外線による接触認識手法として Han らは，FTIR と呼している[7, 8]．このシステムはユーザが自由に形状を組みばれる手法を提案している[14]．アクリルパネルのエッジ立てた後にコンピュータに接続し，電源を投入すると，ブから赤外線を照射し，全反射した状態で指などを当てると，ロックの 3 次元形状を認識し，その形状のモデリングを行触れた部分の反射率が変化し全反射が崩れ，赤外線が漏れうシステムである．各ブロックにはプロセッサが搭載され出す．FTIR はこの漏れ出した赤外線をディスプレイの裏側ており．コンピュータと各ブロック間の通信により構築形に取り付けた赤外線カメラなどで撮影しタッチを認識する状を認識する．また，Watanabe らが提案した ActiveCube手法である．また，Echtler らが提案した Inverted FTIR はデは各ブロックにマイコンを搭載したブロック型 UI で，

ィスプレイの裏側に液晶ディスプレイを取り付け，赤外線

Anderson らの手法と同様，コンピュータと各ブロック間のカメラをディスプレイ上部に設置し，液晶ディスプレイで電気的な通信により構築形状を認識する[9, 10]．ActiveCube

反射した赤外線を撮影しタッチを認識する[15]．Inverted

は 3 次元形状の認識だけでなく，ユーザの操作意図を入力

FTIR では，通常の FTIR では不可能である液晶ディスプレするためのセンサや，コンピュータの内部情報やシミュレ

イによる認識結果の提示が可能となる．

ーション結果を提示するための出力デバイスを備えたブロ

一方で，松下らは DI と呼ばれる手法を提案している[16]．

ックを装備することにより，リアルタイムな双方向のイン

ディヒューザーを取り付けたディスプレイの裏側に赤外線

タラクションも実現している．これらのブロック間で電気を照射した状態で指などを当てると，触れた部分では赤外的な通信を行うブロック型 UI では，安定したブロック間

線は分散されない．DI はこの分散されない赤外線を赤外線通信のために，ブロック同士を密着して接続する必要があ

カメラなどで撮影しタッチを認識する手法である．また，り，LEGO のホックや磁石が用いられている．その結果，Benko らの提案した Sphere は DI を球状に応用し，球状の接続・分離に強い力が必要であり，接続の向きの自由度がディスプレイでのタッチ認識を可能としている[17]．

低いという特徴を持つ．

このように赤外線を用いた接触認識では赤外線の受光

また，李らが提案した Bloxels はブロック間で光通信をさえ確保されれば接触認識が可能であり，接触対象の物体

行うブロック型 UI であり，ブロックが積み上げられたとを自由に動かすことが可能である．StackBlock ではこのよき，隣接ブロックからの色のデータを受信しフルカラーでうな赤外線を用いた接触認識を用いた形状認識手法を検討

発光することで 1 つのピクセルの機能をなし，全体で 1 つする．

の形状ディスプレイとして機能する．Bloxels は光通信を行© 2014 Information Processing Society of Japan

136

3. 子供の積み木遊び方の観察・分析
3.1 概要StackBlock による積み重ね認識に求められる仕様を検討するため，子供に実際に積み木遊びをしてもらい，それを観察して遊び方の傾向を分析した．
実験に利用した積み木は，アクリル製の大小 2 種類をそれぞれ 6 個ずつ，計 12 個であった．大きい積み木のサイズ
は 100×50×25mm，質量は 78g，小さい積み木は 50×50
×25mm，39g であり，一般的な積み木のサイズと似た重量である．また，12 個の積み木は 5 色（赤 3，青 3，黄 3，
緑 1，白 2）で構成した．
被験者は生後 2 歳 8 か月から 6 歳 6 か月の 12 人であり，平均年齢は 3 歳 11 か月，男児 7 人，女児 5 人であった．
3.2 実験環境と手順
実験室（子供用プレイルーム）に子供用の机と椅子を置

図 2 観察された各操作の比率
Figure 2

Ratio of found operations

き，机の上にあらかじめ積み木をセットした．また被験者（子供）の積み木遊びのサポートや誘導のため，実験室には女性実験担当者が控えていた．
被験者は保護者とともに入室し，約 20 分間積み木で遊んだ．被験者の積み木遊びの様子を 2 台のビデオカメラで撮影した．被験者の子供たちは，様々な精神状態（元気，
寝起き，機嫌が悪い）であり，傾向としては，実験室に入室した際に高いストレスを持つ子供は多かった（母親へのインタビューや実験者による抑うつ行動分析）．そのため，
以下のデータは，個人差は大きいものの，ストレスを処理(a)ずれ(b)挑戦的で柔軟な積み

図 3 積み重ねの例
3 Exampleof flexible stacking
3.4 結果とFigure
StackBock
で求められる仕様
ほぼすべての被験者が 20 分間飽きずに積み木遊びを継する積み木遊びのデータも含まれていると考える．

続した．実験中に撮影したビデオをもとに，実験者が先述

3.3 評価指標と分析方法の評価指標に基づいて各操作の回数を数え，全被験者のもビデオデータから，積み木による形状構築の際に見られのを合計した．被験者の積み木遊びで観察された各操作のた積み木の置き方を，以下の 3 点に着目して分類した．

割合を図 2 に示す（母親や実験者のサポート時の操作は省



「上に」積み重ねた・「隣に」置いたく）．
実験では 2 歳 8 か月という幼い年齢の子供も難なく積既に置かれている積み木の上に積み重ねたか，または，

み木遊びをすることができた．
積み木をただ積み重ねたり，その隣に並べるように置いたかを分類した．

家や乗り物をイメージして見立てながら形状を構築したり「立てて」置いた・「寝かせて」置いたするなど，様々な遊び方が見られた．







大小それぞれの積み木の面積が最も大きい面を下に

図 2(a)に示すように，「上に」積み重ねる場合が 65%であした場合を「寝かせた」とみなし，それ以外の面を下り，積み木における大部分の遊び方は上方向への積み重ねにした場合を「立てた」とみなした．

であることが確認できた．一方で，積み重ねではなく，「隣「まっすぐ」・「ずらして」
・「斜めに」置いたに」置く平面での接続場面も 35％と多く観察された．これ

積み木の辺や頂点どうしを合わせたり，辺どうしが平は，複数の構造を持つ（例えば二つの塔）場面や，パズル

行になるように置いたりした場合を「まっすぐ」，辺のように遊ぶ場面などが該当する．そのため，積み重ね認や頂点がずれて置いた場合を「ずらして」，それ以外

識は当然のことであるが，平面での積み木の広がりも認識の場合を「斜めに」置いたとみなした．

するような設計が望ましい．

「ためらいなく」置いた・「迷いながら」置いた

図 2(b)は，面の利用方法を示したもので，寝かせて置く

積み木を持ち上げてから置くまでに滞りが無かった（大きな面を下に）ことが 58%と多かった．立てて置く場

場合を「ためらいなく」置いた，途中で手を止めたり，合も観察されたため，6 面すべて認識機能を持たせること

別の積み木に持ち替えたりした場合を「迷いながら」が必要と言える．しかし少なくとも初期検討時点では，面置いたとみなした．

積の大きな面に対して接触認識や積み重ね認識システムを導入すべきであると言える．

© 2014 Information Processing Society of Japan137

図 2(d)は，置き方に関するものである．多くの子供には，複数のブロックを綺麗にそろえて（ピッタリ重ねて等）置く意思があるように見受けられたが，実際にはこのような積み重ねを実現できたのは 32%程度であった．一方で，積み木を平行方向に「ずらして」積み重ねられたのは 63%と非常に多かった（図 3(a)）．また「斜めに」置いた場合が5%であった．ずらしたか，ずれてしまったか，子供の意図について議論することは難しいが，子供にとっての積み木の積み重ねは多様であり，積み木の高い自由度故に部分的な積み重なりが多くなる傾向がはっきりと観察できた．雑図 4

システム全体像

Figure 4

System Overview.

な遊び，慌てている，うまく積み上げられなかったなど子そこで我々は赤外線 LED とフォトトランジスタをブロ

供にとって重要な反応がこのあたりに表れているものと考ック面に敷き詰め，赤外線の受光状態を利用した積み重ねえられる．被験者の年齢が低いこともあり斜めに置くよう認識手法を提案する．システム全体像を図 4 に示す．本手

なやや難しい置き方は 5%とあまり観察されなかった．し法では，赤外線の受光から積み重ねを検出し，赤外線通信

かし，実験終盤や挑戦的な積み重ね時，重要な見立て遊びを用いてデータ通信を行うことにより，赤外線のみで積み時に見られることが多かったことから（図 3(b)），斜めの置重ね認識が行うことを可能とする．また赤外線 LED とフォき方についても重要な意味を持つ可能性は高い．したがっ

トトランジスタをブロック内に敷き詰めることにより，ブて，実験全体を観察したところ，積み重ねにおける並行のロックの柔軟な積み重ねや積み重ねのずれなどを高い精度

ずれは 10mm 以下の精度で認識できることが望ましい．斜で認識可能となると考えられる．こうした積み重ね認識の

め置きの角度については，頻度が低いことから初期検討にためには，どのブロックが，どのブロックの，どの面に，おいては 15 度程度を目標とすることで十分と考える．

どのように乗っているかを接触箇所毎に検出し，BasePanel「迷いな
図 2(d)は，置くときの振る舞いを示したもので，に集約し，ホスト PC に送信する必要がある．BasePanel はがら」置く場合が 12%であった．迷いながら置く場合、1最も下に敷かれた通常のブロックとは異なる大きなブロッ

個の積み木を手に持ってから置くまでの時間が長くなる．

クであり，構築形状の情報を集約し，ホスト PC に送信す

迷いの度合いは集中度やストレスの大きさとも関係がある

るだけでなく，3.4 節で示した平面での積み木の広がりをため，手の接触が認識できれば，積み木が手に持たれた時認識する役割も担っている．そのためには，接触箇所ごと間を計測でき，これにより迷いの度合いを定量化することの，お互いのブロックの ID と，それぞれの接触面の ID，ができると考えられる．

それぞれの接触部分の領域情報と接触方向情報（以下では以上のように，子供ならではの積み木遊びの傾向を分析

これらを接触情報と呼ぶ）が必要である．特に，ブロック

した結果，StackBlock という子供のあそびを理解しようと同士の部分的な積み重ねを認識するためには，接触していするシステムにおいて，柔軟な積み重ね方（部分的，ずれ，るブロックの接触領域を認識する必要がある．

斜め等）の認識を検討する意義は最も大きいと考えられる．

4. 赤外線による積み重ね認識手法
4.1 概要本章では StackBlock のための赤外線による積み重ね認識
手法について述べる．
3.4 節で示したような仕様を満たす柔軟な積み重ね（ずれや部分的な重なりを含むもの）認識手法を設計して実装

そこで，ブロック表面に赤外線 LED とフォトトランジス
タをマトリクス上に敷き詰める方法を用いる．ユーザがブロックを積み重ねると，ブロック表面に配置されたフォトトランジスタの内，対面するブロックと接触している領域
内のフォトトランジスタは，対面するブロック表面に配置された赤外線 LED からの赤外線を受光するため，ブロック
表面のフォトトランジスタの受光状況に基づいて接触領域の認識が可能となる．

する必要がある．2 章で示した電気的な接続手法では，ブまた，このように赤外線 LED とフォトトランジスタを敷

ロック同士の接続の自由度が低くなる可能性が高く，また，き詰めたブロックでは，対面するブロック間での赤外線通接続・分離に力が必要であるという問題点がある．Kinect

信が可能となる．そこで，対面するブロック間で接触情報などのカメラを用いた手法ではオクルージョンや構築形状

を赤外線通信で交換することによって，各接触箇所におけによっては正確な認識ができないという問題点がある．まる接触情報を，一方のブロックに集約できる．

た，圧力センサなどを用いた接触領域の形状認識手法は，これを利用して，自分より下のブロックへ自身の接触情接続の自由度が高く，接続・分離に強い力を必要とせず，報を伝搬する．
これを繰り返し，
全接触箇所の接触情報を，オクルージョンなども発生しないが，ブロック間で構築形

BasePanel に集約する．BasePanel は全ての他のブロックを状データ等の通信が不可能である．

支える土台で，唯一ホスト PC と有線接続されており，集© 2014 Information Processing Society of Japan

138

図 6
Figure 6

素子の配置

Arrangement of Elements.

る．
4.3 StackBlock の構成・実装
StackBlock は以下に示す要素を統合して構成する．
図 5

フローチャート

Figure 5 ブロックの制御

Flowchart.

 マイクロコントローラによる制御
 マイクロコントローラの I／O ポート拡張

約した接触情報をホスト PC に定期的に送信する．ホスト
PC は BasePanel から受信した全接触箇所の接触情報に基づ



接触領域の認識

き構築形状を復元する．
このようにして，提案手法では，接触領域の認識に用いる赤外線 LED とフォトトランジスタを，情報伝搬のため



赤外線 LED による発光フォトトランジスタによる受光量認識

赤外線通信の通信にも用いることで，ホスト PC との通信のための追

赤外線 LED によるパターン発光

加的なハードウェアを各ブロックに搭載せずに，ホスト PC

フォトトランジスタによる受光パターン認識

への情報伝搬を実現する．
4.2 各ブロックの処理実装した StackBlock のプロトタイプを図 1 に示す．
StackBlock は，3 章の実験で用いたブロックを参考として，積み重ね認識のための各ブロックの処理フローを下に

縦 50 mm，横 100 mm，高さ 35 mm，重さ 100 g とした．ま置かれたブロックを図 5(a)に，上に載せられたブロックをた，最低限の積み重ね認識の実装として，今回のプロトタ

図 5 (b)に示す．基本的に各接触箇所では，下のブロックがイプでは 6 面のうち 100 mm×50 mm の 2 面のみに赤外線上のブロックに向けて赤外線通信により指示を送り，上のLED とフォトトランジスタを実装し，積み重ね認識の評価

ブロックはその指示に従って面発光や要求された情報の送に用いている．また，3.4 節の要求仕様で示したように，信を行う．まず，BasePanel 及びそれに連なるブロック（以1cm 程度のずれを認識するために，100 mm×50 mm の面に

下，下ブロック）の上面は定期的に全面発光し接触を待機は 36 個の赤外線 LED と 50 個のフォトトランジスタを 1cmする(図 5 (a)-1）．いずれかの下ブロックに接触した新たな四方あたりに 1 つずつ,マトリクス状に配置する（図 6）．

ブロック（以下，上ブロック）は，この定期的な発光を受実装に用いた赤外線 LED とフォトトランジスタを表 1 に示信すると，下面の全 LED を一定時間点灯する．下ブロッ

す．

クは，受光した上面のフォトトランジスタの受光状況に基各ブロックの制御に用いたマイクロコントローラとマ

づき接触領域を検出する（図 5 (a)-1, (b)-1）．なお，この応イクロコントローラの I／O ポート拡張に用いた素子を表 1

答がない間は，下ブロックは上面に接触がないと判断するに示す．また，プロトタイプの実装では 1 つのマイクロコ（図 5 (a)-1）．応答を受信した下ブロックは，上ブロックにントローラで実装した 2 面を制御する．接触領域の認識に接触領域を検出する指示を送ってから上面の全 LED を点はマイクロコントローラの A／D コンバータ機能を用い，灯する（図 5 (a)-2）．上ブロックは下ブロックからの接触領赤外線通信はマイクロコントローラのシリアル通信機能を域検出の指示を受け取った後，下面のフォトトランジスタ

表 1の受光状況に基づき接触領域を検出する（図 5 (b)-2）．最後に，下ブロックは上ブロックに接触情報の送信要求を送り，上ブロックは，自身の接触情報，及び，自身より上の実装に用いた素子

Table 1
素子名

Elements of Use.
型番

製造元

赤外線 LED

TAN111C

Stanley

フォトトランジスタ

TEMT1020

Vishayマイクロコントローラ

R5F2123CJFP

ルネサスエレクトロニクス

最も下に敷かれた BasePanel に全ての接触面での接触情報

シフトレジスタ

TC74VHC595FT

東芝を集約し，BasePanel がホスト PC にこれらの情報を送信す

デコーダ

CD74HCT238

Texas Instruments

マルチプレクサ

BU4051BCFV

ローム

ブロックから受け取って保持している全ての接触情報を下に送信する．
（図 5 (a)-3, (b)-3）．これを繰り返すことにより，© 2014 Information Processing Society of Japan

139

用いて実装した．

5. 赤外線による積み重ね認識の評価

るフォトトランジスタ数が，長辺方向にずらした場合に対し短辺方向にずらした場合の方が多くなり，誤認識されや
すいフォトトランジスタが多くなるためだと考えられる．

提案した赤外線 LED とフォトトランジスタによる積み重

中心軸を一致させ，ブロックを回転させた場合には平均

ね認識では，重なり方の変化に対する形状認識精度や，積正解率が 95％程度となった（図 8(c)）．このように本手法

み重ね認識のリアルタイム性が重要となる．そこで，実装では柔軟な積み重ねも正確に認識可能であることが確認さしたプロトタイプを用いて，1) 形状認識の精度，及び，2)

れた全体を通して，ブロックの積み重ね方により多少の誤積み重ね認識のリアルタイム性をそれぞれ評価する．
5.1 形状認識の精度に関する評価
StackBlock は，各ブロックの各面に配置されたフォトト
ランジスタの受光状況に基づいて形状認識を行っている．
そのためフォトトランジスタの受光状況は StackBlock の形
状認識の精度に大きく影響する．本節の評価では 1) 重なり方の変化への追従，及び，2) 積み重ね時のブロック間距
離が形状認識精度に与える影響をそれぞれ評価する．
5.1.1 重なり方の変化への追従に関する評価
StackBlock は，各ブロックの各面に配置されたフォトト
ランジスタの受光状況に基づいて形状認識を行っているた
め，各ブロックのマイコンが，ブロックの重なっている領
域内のフォトトランジスタは受光と認識し，領域外のフォ
トトランジスタは非受光と認識することが，形状認識の前提条件となる．

図 7

ブロックの積み重ね

Figure 7

Stack of Blocks.

そこで上下のブロックが，ずれの無いように積み重ねた状
態を初期状態（図 7(a)）とし，以下に示す各場合において，
フォトトランジスタの受光状況の正解率を評価することにより，重なり方の変化への形状認識の追従を評価する．


下のブロックの長辺方向に，上のブロックを 5 mm ず
つ，50 mm までずらした場合（図 7(b)）



下のブロックの短辺方向に，上のブロックを 5 mm ず
つ，25 mm までずらした場合（図 7(c)）



上下のブロックの中心軸を一致させたまま，上のブロ
ックを 15 度ずつ，180 度まで回転させて接触させた場合（図 7(d)）
正解率は上下のブロックに配置される全フォトトラン

ジスタのうち，接触領域内で受光，接触領域外で非受光と認識されるフォトトランジスタの割合である．また各構築形状に対し 3 回ずつ繰り返し評価を行った．
実験の結果を図 8 に示す．長辺方向にブロックをずらした場合には平均正解率が 95％程度となった（図 8(a)）．また，ブロックを 5mm ずらすごとに正解率が大きく変動するという特徴がみられるが，これは赤外線 LED とフォトト
ランジスタ 10 mm 四方あたりに 1 つずつ配置しているため，ブロックを 5mm ずらすごとに対面する素子が赤外線 LEDとフォトトランジスタで入れ替わり，受光認識のされやすさが変化するからだと考えられる．
短辺 方向 にブ ロッ ク ずら した 場合 には 平 均正 解率が93％程度となり，長辺方向の場合より低い値を示した（図8(b)）．これは，ブロックを積み重ねた際の境界部分に接す© 2014 Information Processing Society of Japan

図 8
Figure 8

実験結果

experimental results.

140差はあるものの，平均正解率が 95 %程度と高い数値を示し

外光なしの場合もほぼ同様の結果が得られた．接触と判断ており，積み重ね形状が変化しても形状認識が行われるこされたフォトトランジスタ数は，接触時から 15 mm までとが確認された．しかし，単純な形状の場合であっても正増加し，その後は緩やかに減少している．このように，15

解率が 100 %とならない場合が多々あった．これは，重なmm までは離れるほどブロックが認識する接触領域が実際り方によっては，重なった領域内にありながらも，受光がに重なっている領域よりも広くなる傾向がみられた．これ認識されにくいフォトトランジスタが存在するためだと考は，赤外線 LED の指向性により，ブロック間距離が離れえられる．この問題は，受光認識のしきい値の動的制御をれば離れるほど，広い範囲に赤外線が広がることが原因と行い，各フォトトランジスタに対し適切なしきい値を設定考えられる．
また，ブロック間距離が離れれば離れるほど，することで改善されると考えられる．ただし，StackBlock認識される接触領域が狭まるのは，赤外線が十分な強度でにおいて，積み重ねられるブロックの形状は既知であるた

届かなくなるためであると考えられる．この問題は，指向

め多少の誤差はプログラム上で修正可能であり，また，ブ性の高い LED を使用することと，認識に用いるしきい値

ロックの積み重ねの境界部分での誤認識は行・列単位でのを適切な値に設定することにより改善されると考えられる．

ずれとなるため，最大 1cm のずれとなり全体の形状認識に

5.2 積み重ね認識のリアルタイム性の評価与える影響は小さいと考えられる．
5.1.2 ブロック間距離が形状認識に与える影響の評価

積み重ね認識のリアルタイム性の評価として，ブロック同士の接触・分離がホスト PC に伝達されるまでの時間をStackBlock の積み重ね認識には赤外線を用いているた測定する．3 章にて，実際の子供の遊びを観察したが，積め，ブロック間が離れていても積み重なったとして形状認

み重ねデータを利用する場面（診断のための計測か，アプ

識が行われる可能性がある．

リケーションか）において，この認識速度やリアルタイム

そこで，形状認識される最大のブロック間距離を評価す性の要求は異なるため，具体的な仕様の目標は立てていな

る．BasePanel にブロック 1 つを積み重ねた状態から，スペい．ここでは，ユーザインタフェースとしての一般的なリーサーを連結することにより，ブロックの位置を 5 mm 刻アルタイム性を指標にして議論する．

みで垂直方向に離し，それぞれの位置で形状認識されるか

実際の操作と同様に電源の入った 2 つのブロックを重ねどうかを調査する．また，蛍光灯などの外光による影響もると，5.1.2 節で示したようにブロックが離れた状態でも通評価するために，蛍光灯をつけた部屋（外光あり）での測信が開始されるため，ブロックからホスト PC への通信時

定と暗室（外光なし）での測定をそれぞれ行う．

間を正確に測定できない．そこで今回の実験では予め 2 つ実験の結果，外光ありでの測定と外光なしでの測定に違いは見られず，ブロック間距離が最大 65 mm で形状認識がのブロックは重ねておき，上方のブロックの電源のオンオ
フによって接触と分離を模擬する．

行われることが確認された．このようにブロック間が離れ

2 つのブロックのうち下のブロックは USB でホスト PCていても形状認識が行われてしまうことが確認されたが，に接続し，赤外線通信で集約した情報を PC に転送する．

見方を変えればブロック同士が接続される直前の状態も認

通信時間の計測では，ブロックの電源のオンオフにより接識できるため，StackBlock はユーザがブロックを積み重ね

触や分離を模した瞬間から，ホスト PC 上に形状変化が反る前に構築形状を予測したり，ユーザがブロックをどこに映されたデータが表示されるまでの時間を計測する．ブロ

置くか迷うといった動作を認識したりすることができるとック内のマイコンとホスト PC の間でクロックの同期を取考えられる．この他，ブロック間距離を離した場合には，

れ な い た め ， 通 信 時 間 は カ メ ラ （ Point Grey Research,

赤外光の拡散により接触と判断される領域が広がることもGRAS-03K2C-C）でホスト PC の画面と StackBlock を 60fps

確認された．BasePanel，ブロックにおける，接触と判断さで撮影した映像から測定する．測定は接触と分離でそれぞれるフォトトランジスタ数とブロック間距離の関係を図 9

れ 10 回ずつ繰り返す．

に示す．
また，
図 4 は外光ありの場合の測定結果であるが，実験の結果，接触時の通信時間は平均 984 msec（SD=246
msec），分離時の通信時間は平均 762 msec（SD=201 msec）
であった．結果，接触の認識により多くの通信時間を要していることが分かった．これは接触の場合，下ブロックが定期発光に対する応答を受けてから，両ブロックで接触領域の検出が行われる一方，分離の場合は定期発光に対して応答がない時点で接触情報をホスト PC に伝達できること
により通信時間に差が現れたと考えられる．
一般に，ユーザはタスクの種類に応じた適切な時間内に

図 9
Figure 9

実験結果

experimental results.

© 2014 Information Processing Society of Japan

ユーザインタフェースからレスポンスがあることを期待す
るが，コマンドラインからの入力のような比較的単純なタ141

スクでは，1 秒程度以下のシステム応答時間が好ましいと参考文献

されている[6]．今回の実験結果では，提案する積み重ね認

1) H. Ishii, and B. Ullmer, “Tangible bits: towards seamless interfaces
between people, bits and atoms,” Proc. of CHI '97, pp.234-241, 1997.
2) G.W. Fitzmaurice, “Bricks: laying the foundations for graspableuser interfaces,” pp.442–449, ACM Press, 1995.
3) B. Ullmer, H. Ishii, and R.J.K. Jacob, “Token+constraint systems
for tangible interaction with digital information,” ACM Trans. Comput. Hum. Interact., vol.12, no.1, pp.81–118, March 2005.
4) S. Brave, H. Ishii, and A. Dahley, “Tangible interfaces for remotecollaboration and communication,” Proceedings of the 1998 ACM
conference on Computer supported cooperative work, pp.169–178, New
York, NY, USA, 1998, ACM.
5) H. Ishii, A. Mazalek, and J. Lee, “Bottles as a minimal interface toaccess digital information,” CHI ’01 Extended Abstracts on Human
Factors in Computing Systems, pp.187–188, New York, NY, USA, 2001,
ACM.
6) Reddy, L.A. et al., “Empirically based play interventions forchildren,” American Psychological Association, 2005.
7) D. Anderson, J.L. Frankel, J. Marks, D. Leigh,E. Sullivan, J.
Yedidia, and K. Ryall, “Buildingvirtual structures with physical blocks, ”
Proc. of UIST '99, pp.71-72, 1999.
8) D. Anderson, J.L. Frankel, J. Marks, A. Agarwala, P. Beardsley, J.
Hodgins, D. Leigh, K. Ryall, E. Sullivan, and J.S. Yedidia, “Tangibleinteraction + graphical interpretation: a new approach to 3d modeling,”
Proceedings of the 27th annual conference on Computer graphics andinteractive techniques, pp.393–402, New York, NY, USA, 2000, ACM
Press/Addison-Wesley Publishing Co.
9) R. Watanabe, Y. Itoh, M. Asai, Y. Kitamura, F. Kishino, and H.
Kikuchi, “The soul of activecube - implementing a flexible, multimodal,
three dimensional spatial tangible,” Proc. of ACE '04, pp.178-180, 2004.
10) Y. Itoh，S. Akinobu，H. Ichida，R. Watanabe，Y. Kitamura, and F.
Kishino,“Tsu.mi.ki: stimulating children’s creativity and imagination
with interactive blocks,” Proceedings of International Conference on
Creating, Connecting and Collaborating through Computing (C5 ’04),
pp.62–70，2004.
11) A. Miller et al., “Interactive 3D model acquisition and tracking ofbuilding block,” IEEE Transactions on Visualization and Computer
Graphics, Vol.18, No.4, pp.651-659, April 2012.
12) A. Gupta, D. Fox, B. Curless, and M. Cohen, “DuploTrack: arealtime system for authoring and guiding duplo block assembly,” Proc.
of UIST '12, pp.389-402, 2012.
13) 李鎭河, 筧康明, 苗村健, “Bloxels:発光ブロック群による実体
ボクセルディスプレイ : 積層によるブロック間の情報伝達(人工現実感,及び一般) ,” 電子情報通信学会技術研究報告. MVE, マル
チメディア・仮想環境基礎, Vol.109, No.75, pp.31-36, 2009.
14) J.Y. Han, “Low-cost multi-touch sensing through frustrated totalinternal reflection,” Proceedings of UIST’05, pp.115–118, New York,NY, USA, 2005, ACM.
15) F. Echtler, A. Dippon, M. T¨onnis, and G. Klinker, “Inverted ftir:
easy multitouch sensing for flatscreens,” Proceedings of ITS’09, pp.29–
32, New York, NY, USA, 2009, ACM.
16) N. Matsushita, and J. Rekimoto, “Holowall: designing a finger,
hand, body, and object sensitive wall,” Proceedings of UIST’97, pp.209–
210, New York, NY, USA, 1997, ACM.
17) H. Benko, A.D.Wilson, and R. Balakrishnan, “Sphere: multi-touch
interactions on a spherical display,” Proceedings of UIST ’08, pp.77–86,
2008.
18) T.W. Butler, “Computer response time and user performance.,”
Proceedings of the CHI’83, pp.58–62, New York, NY, USA, 1983,
ACM.

識手法で 2 つのブロックの積み重ねを認識した場合，リア
ルタイム性を有していると言える．今回の実装で 2 ブロッ
クの積み重ね認識は 1 秒以内に可能であるものの，積み重ねを認識するためには通信遅延をさらに減らす必要がある．
そのためには使用するマイコンを増設したり，ブロック内の処理を最適化するなどの検討が必要である．

6. 今後の予定
StackBlock は 4 章で示したようにブロックの接触領域の認識に，赤外線 LED による発光とフォトトランジスタによる受光量認識を用いている．ブロック表面からは赤外線を発光するため，指などをブロック表面に接触させると自身の発光する赤外線が反射する．この赤外線の反射と，ブロックを積み重ねた際の対面ブロックからの赤外線を認識することにより，ブロックとの接触と，指などのブロック以外の物体との接触を識別可能となる．これを応用し，次のプロトタイプ作成ではブロックとの接触，ブロック以外の物体との接触を区別するアルゴリズムを組み込む予定である．
また，3 章で示したように，子供の積み木遊びにおける
ブロックをずらして置く，雑に置く，ななめに置くというような柔軟な積み重ねを計測する意義は非常に大きい．そのため，今後はブロックの 6 面全てに接触認識を実装し，無線化も実現したブロックを量産し，パッケージングする
ことで，積み木遊びと同様の積み重ねインタラクションを認識できるシステムの実現を目指す．本稿ではそのシステ
ム実現のための最も基礎の部分を提案・検討した．そのシステムが実現すれば，PTSD などの慢性的な心的ストレスを被った子供や，発達性協調運動障害の子供などに対する遊戯療法への応用が考えられる他，インタラクティブトイなどの教育分野への応用も考えられる[9, 10]．

7. おわりに本研究では，部分的な積み重ねを認識できるブロック型
UI である StackBlock のための，赤外線による積み重ね認識手法を提案した．子供の積み木遊びの観察・分析を行い，プロトタイプを実装した．評価実験により，形状認識の精度，形状認識のリアルタイム性を確認した．今後は，より正確な認識手法やより短時間で認識可能なアルゴリズムの検討を進めていく．また，6 面全てに接触認識を実装した
ブロックを量産することで，積み木遊びと同様の積み重ね
インタラクションを認識できるシステムの実現を目指す．
謝辞

StackBlock の実装にあたりご支援いただいた株式

会社システムワットの菊池日出男氏に深い感謝の意を表す．
また，本研究は JSPS 科研費若手研究(A)24680013 の助成を受けたものである．

© 2014 Information Processing Society of Japan

142