情報処理学会 インタラクション 2019
IPSJ Interaction 2019

INT19011
2019/3/6

手遊びや影絵に基づく操作が可能なロボットの組み立てプラットフォームとその実演・評価
辻 天斗1,a)

牛田 啓太1,b)

陳 キュウ1,c)

概要：本稿では，手遊びや影絵に基づくハンドジェスチャでロボットのリアルタイム操作を行うプラット
フォームを提案する．手指の動きをセンサで計測し，それをロボットの動きに反映させる．ロボットはユーザがブロックを使って組み立てることができる．ロボットを操作するために，ロボットの関節に手指の動かし方を示すためのブロックを接続し，マウス・トラックパッドでロボットと手指の関節可動範囲を対応づける．イベントで体験会・ワークショップを実施し，ロボットの操作は 200 名以上が体験し，ロボットの組み立てと操作には 19 名が参加した．これにより，提案手法が直感性のある操作であること，リアルタイムに操作できるロボットを子供でもデザインできることを確認した．

1. はじめにロボットが個人で所有*1 *2 できるほど身近になり，ロボッ
トをユーザ自身で組み立て，動きを与えるためにプログラ
ミングを行うキットも登場した*3 *4 ．これらはコントロー
ラを利用してロボットを操作することも可能である．しかし，コントローラでは動き自体を任意に操作できず表現性が損なわれるという問題が指摘されている [1]．これに対し
本稿では，ユーザが組み立てたロボットの動きをリアルタイムにかつ任意に操作できるようにする．このとき創作物を操作するため，さまざまな形状を操作できる必要がある．

図 1: 実装システムでワニのロボットを操作

操作情報を取得するため，体の動きをモーションキャプ
チャで取得する手法が提案されている．その中に体全体のして次のような特徴を持つことが望ましいと考えた．

動きを転写するもの [2] があるが，これは任意に動きを操( 1 ) コントローラよりも複雑な動きを再現できる

作できるものの大掛かりである．一方で手の動きでロボッ( 2 ) さまざまな形状のロボットを操作できる

トを操作する手法 [3] は，手にグローブを装着しなければ( 3 ) 手にグローブなどをつけずに手軽に操作できるならない，手指と動きの対応づけにメタファがないなどわ( 4 ) 操作方法がメタファを持ち，子供でもロボットを簡単

かりやすいとは言えない．一方で，文献 [3] では子供でもロボットを簡単に組み立てられるように，プログラミングや電子工作を必要としないこの考えは提案手法でも取り入れることにした．
以上をまとめて，ロボット組み立てプラットフォームと
1
a)
b)
c)
*1
*2
*3
*4

工学院大学
cm17032@ns.kogakuin.ac.jp
ushida@cc.kogakuin.ac.jp
chen@cc.kogakuin.ac.jp
RoBoHoN, https://robohon.com/
aibo, https://aibo.sony.jp/
KOOV, https://www.koov.io/
Artec ROBO, https://www.artec-kk.co.jp/artecrobo/© 2019 Information Processing Society of Japanに操作できる( 5 ) プログラミングや電子工作などを必要とせずに子供でも簡単にロボットを組み立てられる
そこで筆者らは，手遊びや影絵に基づく操作が可能なロ
ボット組み立てプラットフォームを実装 (図 1) し，ロボッ
ト操作の実演・展示を実施した．これには 200 名以上が参加した．さらに参加者自身がロボットの組み立ても行う
ワークショップを実施し，19 名が参加した．これらの実演
で子供が動くものを簡単にかつ意欲的に作り出すことを確認できれば，ロボットなどを利用したプログラミング教育
への足がかりとしての役割を期待できる．

92

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

INT19011
2019/3/6

2. 関連研究2.1 仮想空間内におけるオブジェクトの操作手法ロボットではなくコンピュータ内の画像や 3D モデルに直接動きを与える手法もある [4,5]．形状を持つものを動かす点で共通点も多いが，提案手法は手を用いる点で異なる．
手の動きを利用する手法として，Polyak はグローブをつ(a) 口を閉じる

けて人型の 3D モデルを操作した [6]．また糸操り人形*5 の要領で操作する Marionette Zoo*6 がある．提案手法は手に(b) 口を開ける

図 2: 手の動きをロボットに伝える仕組み

センサをつけず，手自体をロボットに見立てる．

Oshita はタッチパネルやユーザの手や腕の動きで人型モ2.5 STEM 教育

デルを操作する手法 [1, 7] を提案した．Leite らも手の動き組み立てたロボットを動かすためにビジュアルプログラ

で人型モデルの顔や体の動きを操作した [8]．手で人型モ

ミングを行う製品がある*3 *4 *7 ．ぬいぐるみを動かすデバ

デルに直接動きを与えるこれらに対し，筆者らはさまざま

イス [26] やウェアラブルな工作キット [27]，ロボット自体な形状に適用可能な手法を提案した [9]．本稿ではこれををフィギュアのように動かし再生するもの [28] など，簡便ロボットにも適用する．

に動くものを作る試みが多く存在する．Seeha らはグロー
ブを着けてユーザが組み立てたロボットを手の動きで動く

2.2 ロボットの操作手法
モーションキャプチャで体全体の動きをロボットに転写 [2, 10] したり，ロボットアームを人の声 (母音・高さ) やようにした [3]．これらに対して提案手法は手遊びや影絵に基づくことで，組み立てたロボットを第三者でも直感的に操作できる利点がある．

タッチパネルで操作 [11, 12] する手法がある．Cao らはロボットを MR 技術で組み立てたり操作したりできるように

3. 手遊びや影絵のハンドジェスチャ

した [13]．Guo らはぬいぐるみをロボットに見立て，ぬい

3.1 特徴を満たす操作手法

ぐるみの位置とロボットを連動させた [14]．これらに対し

ここでは 1 節で述べた提案手法の特徴をいかに満たすか

提案手法は手の動きでさまざまな形のロボットを操作する．

を考える．特徴 (1) について，例で示す．図 2 上段は，ワニの影絵である [29]．これにおいて親指を曲げるとワニロ

2.3 影を用いたインタラクション

ボットの口が閉じ，伸ばすと口が開くようにする．これに手遊びや影絵を取り込み，演出を加えるアート作品や研よりユーザは手がワニになったかのような感覚で操作で究も存在する [15–18]．Chita らは手の影をモチーフにした

きる．また人間の手は特に器用に動くことも考えると，ロ

家電の操作方法を提案した [19]．提案手法では影絵の動き

ボットをわかりやすく表現力豊かに操作できると考える．

を拡張する (ロボットを操作する) だけでなく，ユーザの創特徴 (2) について，手遊びや影絵は多種多様 [29] で，提作物に適用できる．また，プログラミングなしで手指の動案手法で操作できるロボットの形状にはさまざまなものがきによる操作を変更できる．

考えられる．ユーザは自由にロボットを組み立てて操作できる．

2.4 ハンドジェスチャを用いるインタフェース

特徴 (3) については体の動きではなく手の動きを利用す

Liang らはジェスチャを識別し，対応するアニメーショ

ることとした．体の動きを用いた場合には広い空間が必

ンを再生することで 3D モデルの動きを操作した [20]．ま要であるが，手の動きであれば小さな空間でもよい．またた，ハンドジェスチャを識別してさまざまなアプリケー

Leap Motion を用いるので手にマーカをつける必要はない．

ションを操作するものもある [21–25]．これらは手の動き

特徴 (4) については，操作方法が手遊びや影絵に基づくをいくつかのジェスチャに識別し，対応する反応を行うもという喩えの表現になっている．手遊びや影絵の経験に基のである．提案手法はジェスチャの識別はせず，手遊びやづいて，ユーザは自ら操作方法を見つけられることを期待

影絵に基づく手の姿勢をそのままロボットの姿勢として反する．

映させるため、より直接的で表現力の高いインタラクショ
ンになる．
*5
*6
*7

http://youkiza.jp/about/rekishi.html
https://lm-s-apps-amnesia.leapmotion.com/apps/marionettezoo/osx
LEGO
MINDSTORMS,
https://www.lego.com/jajp/mindstorms© 2019 Information Processing Society of Japan

以上から，提案手法は (1), (2), (3), (4) の特徴を持つと考える．特徴 (5) については 3.2 節で述べる．

3.2 手指の動きをロボットに伝える仕組み提案手法ではロボットとユーザの手指の動きを対応づけ

93情報処理学会 インタラクション 2019
IPSJ Interaction 2019

INT19011
2019/3/6- PC-

Leap Motion

θr

LeapMotion

- 3.1

-

(a) 内転外転でハサミの開閉

θr(b) 屈曲伸展でハサミの向き(Studuino)

図 3: カニのハサミの動きと手指を曲げる向き

θr(Studuino)

-

-

PC

(Studuino)
θr-て操作する．手や腕の 2 つの骨をベクトル (⃗a および ⃗b) と

USB

PWM

PC

図 4: 操作時のフローチャート

みなし，そのなす角 θh を抽出する．図 2 の例では，ワニの顎関節 (θr ) に親指末節骨 (⃗a) と人差し指末節骨 (⃗b) を紐づけた．次にロボット側と手指側の関節可動範囲も対応づける．図 2 では口を閉じたときの手指側の角を θhc ，ロボッ
ト側を θrc とし，開けたときはそれぞれ θho ，θro とする．
ロボットの関節角 θr を θh の一次関数で対応づける．

θr =θrc − θro(θh − θho ) + θroθhc − θho(1)(a) 口を開く(b) 口を閉じる(c) 尻尾を左に振る(d) 尻尾を右に振る

以上より，ロボットの一関節に対して ⃗a と ⃗b に対応する手の骨を指定し，可動範囲 (θho , θhc , および θro , θrc ) を対応
づければ，手の動きをロボットに伝えられる．
操作の自由度を高め，動きを適切に反映させるために手指の角は大きさだけでなく向きも考慮する．たとえばカニのハサミ (図 3；CG の操作で示す) では人差し指と中指でハサミの開閉と向きの 2 つの動きが考えられる．内転外転方向と屈曲伸展方向の角度をそれぞれハサミの開閉と向きとして分け，別々にロボットに伝えることになる．この仕図 5: ワニのロボットの動作

組みを用いるためロボットの関節には手指の骨だけでなく動かす方向も対応づける．

4.1 手指の動きをロボットに伝える仕組み

これらの対応づけはロボットの形状によって異なる．し操作時のプラットフォームのフローチャートを図 4 に示たがって，ユーザはロボットを組み立てたあと，ロボット

す．操作時，システムはまず手の動きを Leap Motion で計の関節に手の 2 つの骨とその動く方向を対応付ける．本稿測する．これより PC で 3.2 節のとおりにロボットの関節では 1 節で述べた特徴 (5) のためにロボットの関節に設定

角 (θr ) を計算する．これをロボットのマイコンへ伝え，関を表すブロックを取り付けてこれを行う．

節が θr だけ開くようにそのサーボモータを制御する．以

4. 実装
組み立てたロボットを提案手法で操作できるプラット
フォームを実装した．ロボットはアーテックロボのブロッ上を繰り返しリアルタイムに動きを反映させる．

4.2 動くロボットを組み立てる
実装したプラットフォームでは，次の工程でロボットをクとマイコン (Studuino)，サーボモータを利用して組み立組み立てて操作できるようにする．

てる．プラットフォームは Unity と Leap Motion がサポー

( 1 ) ロボットを組み立てる

トする Windows と macOS で動作する．開発環境は下記( 2 ) ロボットと手指の動きを対応づけるの通りである．

( 3 ) ロボットと手指の可動範囲を対応づける• macOS 10.12.6

ワニのロボットを例に説明する．これはその影絵に基づき，• Unity 2017.2.0f3(C# 6.0, .NET 4.6)

口の開閉と尻尾を左右に振る動作ができるものとする．右• Leap Motion (SDK v2.3)

手の親指を伸ばして口を開き，曲げて口を閉じる (図 5(a),• アーテックロボ アドバンス(b))．左手の親指の曲げ伸ばしで尻尾を左右に動かせる (図5(c), (d))．

© 2019 Information Processing Society of Japan94

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

INT19011
2019/3/6

がVaxをもとにブロックの種類を識別とロボットのマイコン
はシリアル接続している- Studuinoとスキャナは
I2C接続- ブロックのVax端子とスキャナは結線- VaxをStudinoへ返却- ブロックの種類によって固有のVaxを持つ- Vaxからブロックを識別にブロックの種類を返却「どのサーボモータにどのブロックが取り付けられているか」を渡す

PCがマイコンへ
ブロック読込リクエスト

サーボモータに装着したスキャナでブロックの
電圧Vaxを測定
StuduinoPC(a) 顎関節(b) 尻尾図 6: ワニロボットの関節部に取り付けたサーボモータ

図 7: 手指ブロックを取り付

図 8: Studuino の変換デバ

けたサーボモータ

イス取り付け例

PC(Studuino)

図 9: ブロックの読み取り

図 10: ブロック内部回路

4.2.1 ロボットの組み立て
ワニをブロックで形作ったあと，動かしたい部分で分ける．口の開閉は上顎を動かして再現し，尻尾も振れるよう

図 11: 対応づけホーム画面

図 12: 可動範囲の設定(a) ハサミを開く(b) ハサミを閉じるに，上顎・胴体 (下顎はブロックで接続しておく)・尻尾に分ける．これらをサーボモータを介して接続する (図 6)．

4.2.2 ロボットと手指の動きの対応づけ組み立てたロボットと手指の動きを対応づける．組み立て時に加え，ここでも手遊びや影絵に基づくことで直感性のある操作が可能になる．対応づけはサーボモータに装着したスキャナ (図 7) に手指の動かし方を示すブロックを接続して行う．このやり方は，動く部位であるサーボモータ
そのものに，それがいかにしたら動くかを直接的に設定し図 13: カニのロボットの動作ている．ブロックは 3 色あり青色には手指の部位 (どの指パーツとブロックの情報を PC で読み込むと，接続されたの末節骨か，手首，腕)，緑色には右手・左手，赤色に屈曲

サーボモータのボタンが有効になる (図 11)．ボタンを押伸展・外転内転 (それぞれ「曲げる」「広げる」と表記) があすとブロックで対応づけた手指の動きが表示される (図 12

る．ブロックは同じ色のコネクタに接続する．ワニの顎のは顎関節の設定画面)．この画面で手指の動きの変更と可場合は，顎関節のスキャナに「曲げる」
「右手」
「親指」
「手

動範囲の対応づけができる．ロボット側はスライダを動か首」のブロックを接続する．尻尾には「曲げる」「左手」「親して設定する．スライダに従ってロボットが動き，それを指」「手首」を用いる．関節パーツのコネクタを Studuino

実際に見て設定できる．ここではワニの顎関節を開けたとへと変換基板を通して接続する (図 8)．

き (上段，θro ) を 73◦ ，閉じたとき (下段，θrc ) を 0◦ として

図 7 中のスキャナは Arduino Pro Mini を内蔵する．接続されたブロックの電圧 Vax を測定し，Studuino がブロッいる．それぞれに対応した手の姿勢を計測して手指側 θho ,θhc を設定する．尻尾も同様に設定する．

クを識別して PC に伝える (図 9)．ブロック内部回路 (図10) は Arduino の 3.3 V，GND 端子およびアナログ入力

4.3 ロボットの作例および動作例

端子 (Vax ) に接続されている．ブロックは種類ごとに固有

ワニロボットは図 5 の動きで噛みつかせたり尻尾を振っの抵抗比を持つので，Vax によりブロックを識別できる．

たりできる．カニでは人差し指と中指を開いたり閉じたり

変換デバイスは関節パーツと Studuino の接続の仲介やスしてハサミの開閉をする (図 13)．右手で右ハサミを，左手キャナへの電力の供給を担う．

で左ハサミを動かす．右ハサミの関節には「広げる」「右4.2.3 可動範囲の対応づけ

手」「中指」「人差し指」のブロックを接続している．ゾウ

最後に手指とロボットの可動範囲を対応づける．関節© 2019 Information Processing Society of Japanは耳と鼻，頭が動く (図 14)．右手中指の曲げ伸ばしで鼻を95

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

INT19011
2019/3/6(a) 鼻を上に伸ばす(c) 右耳を前に動かす(a) 左足のみで立つ(b) 鼻を下ろす(d) 右耳を後ろに動かす(b) 右足のみで立つ

図 15: 恐竜のロボットの動作

図 14: ゾウのロボットの動作(a) 両羽を広げる(a) 口を開ける(c) 尾びれを左に振る(b) 両羽を振り下ろす(b) 口を閉じる(d) 尾びれを右に振る

図 16: 鳥のロボットの動作

上下に振ることができる．右手首を屈曲伸展させて頭を上

図 17: 魚のロボットの動作

5.1 展示・実験の概要と手順

下に動かせる．左手では人差し指・中指・薬指・小指を曲

1 日目はワニ (図 5) と，カニ (図 13) とゾウ (図 14) のロ

げ伸ばしすると右耳が，親指で左耳が前後に動く．恐竜はボットを操作できる 2 コースを設けた．2 日目はワニと恐左手を広げ右手を握ると右足に重心が移り，右手を広げ左竜 (図 15)，カニとゾウの 2 コースである．参加者には筆者手を握ると左足に重心が移る足踏みができる (図 15)．鳥らが係員として付き添ってロボットを操作してもらった．

は羽が動く (図 16)．手を握ると羽を下ろし，手を開くと羽最初は具体的な手の動かし方を参加者に伝えずに，センを上げる．右手で右羽を，左手で左羽を動かす．魚は右手

サの上でロボットの形 (ワニならワニの形) を手で作ること

で尾びれが横に動き，口が開閉する (図 17)．手首から中指と，動かせる部位 (ワニなら口と尻尾) を指示した．30 秒

にかけて屈曲・伸展させることで尾びれを動かせる．右手

ほど経過しても手で形を作れない，ロボットを動かせないの小指と薬指を開いたり閉じたりして口を開閉させる．

ときは参加者に演示した．ただし恐竜のみ最初から演示し5. ロボットの操作の体験展示とその評価ている．また，センサが参加者の手指を正しく認識するよ
うに，両手や隣り合った指は離す，ゆっくり動かすよう指工学院大学八王子キャンパスで開催された「第 25 回科示している．体験は両コース共に 3 分以内で終了する．参学教室」(2018/8/25–26) でロボットを操作する実演展示を加者は基本的にコースを選べるが，混雑時は空コースを体行った．参加者はこのイベントに来場した一般の方である．

験する．
参加者は体験後にアンケートを記入する．回収したアン
ケートは 223 通だった．参加者は 2–37 歳 (2–5 歳 32 名，© 2019 Information Processing Society of Japan96

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

図 18: 参加者がワニを操作

INT19011
2019/3/6

図 19: 参加者がカニの右ハサミを操作

6–7 歳 68 名，8–9 歳 69 名，10–12 歳 46 名，13–14 歳が 3
名，37 歳 1 名，未回答 4 名)，男性 144 名女性 61 名 (未回
答 18 名)，右利き 193 名左利き 16 名両利き 4 名 (未回答 10名) である．幼児については保護者に付き添ってもらう形で回答をお願いした．

5.2 学齢ごとの操作の様子
ワニの操作時は，センサの上でワニの頭を右手で作り口を開閉させるよう伝えた．おおむね 6 歳以上は手の動きを自分で考えて口を開閉できた (図 18)．このうち数秒で動

0%

10%

30%

40%

50%

60%

70%

80%

90%

100%

M

SD

2.36

1.31

表現性(ゾウ)

2.63

1.54

表現性(ワニ)

2.81

1.48

表現性(恐竜)

3.46

1.77

慣れやすさ(カニ)

2.65

1.41

慣れやすさ(ゾウ)

2.49

1.52

慣れやすさ(ワニ)

2.90

1.72

慣れやすさ(恐竜)

3.20

1.95

楽しさ(カニ)

1.97

1.56

楽しさ(ゾウ)

1.70

1.26

楽しさ(ワニ)

1.56

1.11

楽しさ(恐竜)

1.56

1.06

疲れにくさ(カニ)

2.03

1.69

疲れにくさ(ゾウ)

2.03

1.65

疲れにくさ(ワニ)

1.87

1.43

疲れにくさ(恐竜)

2.34

1.79

←Positive

1

2

3

4

5

6

7

Negative→

図 21: アンケート結果

識されず，前述の注意点を伝えることで操作できた．5 歳
が 8 割ほどだった．他は演示により開閉できるようになっ20%

表現性(カニ)

かせた参加者は 8 割ほどであった．その他は手が正しく認
以下では影絵と異なり，手を開いたり握ったりする参加者

図 20: 参加者がゾウの鼻を操作(図 18 中の左の女児)，カニのハサミに挟まれないようにしたりする遊びが見られた．

た．ワニの尻尾を左右に振る動きについては，学齢を問わずワニの影絵を演示することで動かせた参加者がほとんどだった．ワニ全体の影絵はそれほど知られていないためと考える．
ワニのあとに，参加者は演示を見てから恐竜を操作する．
多くの参加者が恐竜の膝や股関節を動かせたが，足踏みでバランスを崩す様子が多く見られた．
もう一方のコースでは，最初にカニのハサミを動かす．

5.3 アンケート
年齢，利き手，性別と各ロボットの表現性，慣れやすさ，楽しさ，疲れにくさへの評価 (7 段階) を記入する．ポイン
トが低いほど肯定的な，高いほど否定的な評価である．評
価項目と実際の質問文は下記の通りである．
表現性 どれくらい思い通りに操作できましたか
慣れやすさ どれくらい早く慣れましたか

おおむね 6 歳以上は手の動かし方を伝えずとも手でハサミ

楽しさ どれくらい楽しかったですかの形を作りロボットを動かせた (図 19)．しかし人差し指

疲れにくさ どれくらい疲れましたかと中指ではなく親指と人差し指を動かしたため，動かない場面も 1 割ほど見受けられた．幼児は演示なしで影絵の動きで操作した参加者が 1 割，手を握る・開くは 3 割で操作した．演示を必要とした幼児も手を握る・開く動作で操作していた．
ゾウについては，右手で鼻を動かすよう指示した．ほとんどの参加者がこの大まかな指示で鼻を動かせた (図 20)．

4 本の指の曲げ伸ばしという大きな動きが，学齢を問わずに見られた．耳については演示なしで動かせた 6 歳以上の参加者が約半数だった．5 歳以下は演示をする前に左手を握ったり開いたりして両耳を一緒に動かすことが多かった．
参加者がロボットを動かすのを見て，その保護者が手の動きを教える場面もあった．保護者にも具体的な操作方法を伝えていないが，4.3 節の動きを教えていた．
ロボットの操作だけでなく，それを使って遊ぶ様子も見図 21 はアンケートの結果である．カニ・ゾウは全ての項目に対して 7 割以上の参加者が肯定的な (3 以下) 評価だった．ワニも表現性・慣れやすさついて 68%, 67%，楽しさ・疲れにくさは 8 割以上が肯定的な回答だった．恐竜は表
現性・慣れやすさ・楽しさ・疲れにくさについてそれぞれ

56%・59%・90%・76%が肯定的な回答だった．年代別の分析は 2–5・6–7・8–9・10–12 歳で行った．2–5 歳はカニの慣れやすさ・疲れにくさでそれぞれ 55%・64%，8–9 歳はゾウの表現性で 65%，カニ・ゾウの他の項目は年代を問わずに 7 割以上で肯定的だった．ワニの表現性・慣れやすさ
は全ての年代で 6 割以上が，ワニや恐竜の楽しさ・疲れにくさは全ての年代で 7 割以上で肯定的な評価を受けた．恐竜の表現性は 2–5，10–12 歳で 7 割以上が，慣れやすさは

2–5，8–9，10–12 歳で 6 割以上が肯定的な回答をした．コメントは 71 件，内容の一例を示す．

られた．ワニの口に手を入れて噛まれる前に手を引いたり© 2019 Information Processing Society of Japan97

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

• 手の動きでロボットが動いた (2 件 8 歳男児/11 歳女児)
• 手の動きで操作して楽しかった/すごい/びっくり(9 歳男児 3 名/7 歳男児/8 歳女児)

INT19011
2019/3/6

6. ロボット組み立て・操作のワークショップとその評価• 恐竜が楽しい/すごい/かわいい/こけたのがおもしろ

工学院大学八王子キャンパスで開催された「第 25 回科

い (8 歳女児/9 歳男児，11 歳，7 歳男児/10 歳女児/9学教室」(2018/8/25–26) で，ロボットを組み立てて動かす

歳男児)

ワークショップを実施した．参加者はこのイベントに来場• 家でもやりたい (8 歳)した一般の方である．

• 手でワニの形を作らなくてもいい (5 歳男児)
6.1 実験の概要と手順
5.4 考察

参加者は 4.2 節の通りにロボットを組み立てから操作ま5.4.1 学齢ごとの手の動きでを行う．筆者らが係員として付き添って実施した．そのワニ，カニ，ゾウについて，多くの参加者が具体的な動後アンケートに回答する．参加者は 19 名，18 体のロボッ

かし方を知らされずとも操作できた．6 歳以上の多くは手ト (内 1 体は 2 名での合作) が作られた．回収したアンケー

遊び・影絵で動かしていた．手遊びや影絵は幼稚園や保育

ト 14 通 (未回収 5 名) から男性 8 名女性 4 名 (未回答 2 名)，園などでよく行われている．参加者はこの経験に基づいて

右利き 13 名左利き 1 名の 5–12 歳 (5 歳 1 名・8 歳 3 名・9数秒でロボットを動かせたと考える．

歳 4 名・10 歳 2 名・11 歳 3 名・12 歳 1 名) が参加していた．

一方で 5 歳以下の半数は演示を必要なしで手を開く・握幼児には保護者が付き添う形でアンケートに回答する．まる動きで操作した．2–4 歳は手指の発達期間であり，指を 1た参加者は事前に 5 節のロボット操作の体験をしている．

本だけ動かすような動きが難しいのであろう．簡単な，手体験は 1 回 30 分とした．組み立てを 15 分，対応づけとを握る・開く動きを指示するとより多くの幼児が動かせた．

操作を 15 分で行う．またロボットの動く部位は 2 人の回

アンケートからカニ，ゾウ，ワニへの評価は学齢を問わでは 1 人 1 か所，1 人のみの回は 2 か所までとした．

ずに過半数が好意的な評価をした．操作の様子を含め，こまず参加者はロボットを組み立てる (4.2.1 節)．次に参れらは提案手法が直感的であることを示唆する．手の動き

加者はロボットと手指の動かし方を対応づける．手指をど通りにロボットが動くので，ロボットが体の一部になった

う動かしてロボットを動かすのかを参加者自身で考えてかのように感じていると推測する．

もらう．このとき影絵や手遊びを用いるように指示はしな

演示なしでは簡単な動き (手を握ったり開いたり) で操い．ただし，手指以外の動き (腕を動かす，口を動かす) の作する参加者 (特に 4–5 歳) が多かった．この動きには 4.3

場合には再度手指の動きにするよう求めた．動きを決めた

節の動きを含むため，設定変更なしでロボットの操作がでら，それがどんな動きか (右手・左手，動かす指，広げる・

きる．ワニを例にすると，口の開閉を行う親指の屈伸がこ曲げる) を，係員の説明のもとで分析してもらった．これの動きに含まれている．対応づけた動きと操作時の動きがに基づいて，スキャナに接続するブロック (図 7) を参加者

異なっても意図通りに操作できる可能性がある．

に選んで接続してもらった．

5.4.2 操作性と楽しさ

最後にロボットと手指の可動範囲を対応づける．参加者

恐竜ではバランスを崩さずに足踏みができた例はほとんは図 11,12 の画面でブロック読み取り後の設定を行う．PC

どなかった．アンケートから，恐竜については他に比べての操作が難しい場合は補助するが，可動範囲の決定は全員

操作性への肯定的な評価が少なかった．一方で楽しさへの参加者自身で行ってもらった．ロボット側は画面上のスラ

評価は他のロボットと同水準である．正しく動かせることイダに従って動くロボットを見て，これを決定する．手指だけが楽しさを感じる要素ではないと考えられる．

側はロボットの姿勢 (範囲の端点) を見て，そのときの手の5.4.3 ロボット操作の遊び・知育への発展

姿勢を参加者がセンサの上で実演し，これを計測する．対ロボットを用いる遊びも見られた．提案手法での操作は応づけ完了後，組み立てたロボットを参加者が動かす．

容易でありロボットの操作に気を取られないので，子供がロボットの活用場面を考える余裕が生まれたと推測する．

6.2 ワークショップの様子

また，参加者の保護者や参加者同士でロボットの操作方法

6.2.1 組み立てられたロボットの操作方法を教える場面もあった．これらから，遊びを通じてものの

手遊びや影絵に基づいた操作をするロボットは 18 体中活用を考えたり，幼児においては手指をより複雑に動かす

9 体だった．図 22 は 8 歳男児が作った首長竜のロボット訓練となったりと，知育への発展が期待できる．現に，手である．右手を恐竜の頭に見立て，手首を外転内転させて*7

首と頭を横に振る．図 23 は 9 歳男児による恐竜の口のロ

遊びや手指を動かす知育玩具 もある．

ボットである．右手を開いたり握ったりすることで口の開*7

ルーピング 汽車，https://ec.bornelund.co.jp/shop/g/gJT3200/© 2019 Information Processing Society of Japan

閉ができる．右手親指を下顎，残りの 4 本の指を上顎に見98

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

INT19011
2019/3/6(a) 左に振る(a) 口を閉じる

図 24: 鳥のロボットを操作(b) 右に振る(b) 口を開ける

図 25: ロボットを操作 (5 歳)

図 22: 首長竜のロボットを操作

図 23: 恐竜の口を操作

図 26: 四足ロボットを操作する様子(b) ハサミを閉じる(a) ハサミを開く

図 27: ハサミを操作立てている．また図 24 のように両羽が動く鳥のロボット

たるかは，係員が手首や指を動かして説明した．おおむねも作られた (8 歳女児)．両手をあおぐように動かすことで9 歳以上はこれを理解し，適切に動きを分析し，ブロック

羽ばたく．右手で右羽が，左手で左羽が動く．図 25 は 5を選べた．関節 2 か所目の対応づけでは，9 歳以上は指示

歳男児が作ったロボットである．左手を握ったり開いたりなしで適切に行えていた．8 歳以下では手指の動かし方のすることで口が開閉する．手を口に見立てており未就学児

動かす方向を分析するときに，再度の説明が必要なことがでも手遊びや影絵に基づく操作を考えた例と言える．

あった．右手左手，手指の使用部位のブロックは，8 歳以

手遊びや影絵を利用していない例も 7 体あった．その多上であれば自分で選択できていた．しかし，手首・腕を用

くは手を握ったり開いたりで動かすものだった．

いるときは補足説明が必要だった．「手指のどの指が動い

6.2.2 複数人でのロボット製作ているか選んでください」と説明したため，動きの基準と

図 26 は 12 歳と 5 歳の兄弟が共同して組み立てたロボッ

なる手首や腕を用いづらくなったためであろう．なお，5

トである．最初は別々のものだったが，保護者が「合体し歳の参加者は自分の手指の動きが分析できず，係員が代わてみたら？」とかけた声に従って 1 つのロボットになった．

りに参加者の動きを見てブロックを選択し，接続のみを参左手人差し指を左右に振ると首が左・右を向く (12 歳担加者が行った．

当)．右手の握る・開く動作で尻尾を縦に振る (5 歳担当)．

6.2.5 可動範囲について

6.2.3 生き物ではなく道具をかたどったロボット

おおむね 10 歳以上の参加者は指示通りに設定できた．

図 27 は 10 歳女児が作ったハサミのロボットである．右また関節 2 か所目は指示なしで対応づけを行えた．9 歳以

手をハサミを持つ形にしハサミで紙を切るように親指と人下の参加者はトラックパッドの操作が難しかったので，保差し指・中指を開く・挟む動作で刃の部分が動く．

護者や筆者らが補助した．ロボットの可動範囲は実際に動6.2.4 ロボットと手指の対応づけ作業

くロボットを見て，参加者全員が自分で決定できた．手指対応づける手指の動きは参加者自身に決定・実演してもの可動範囲も対応づけたいロボットの姿勢を見ながら，参らった．手指の動かす方向が曲げる・広げるのいずれにあ加者自身が手で形を作り計測した．結果として，大人が補© 2019 Information Processing Society of Japan99

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

0%

10%

20%

30%

40%

50%

INT19011
2019/3/6

60%

70%

80%

90%

100%

イメージ

6.4 考察6.4.1 ロボットの操作方法

ブロック

参加者は 5 節の体験をしているが，組み立て時には手遊

可動範囲

びや影絵を利用するような誘導はしていない．それにも関想像どおりかわらず約半数が短時間でそれらに基づく操作を定めた．

表現性

手遊びや影絵に基づいていない操作方法もあった．ここ慣れやすさで見られた手を握ったり開いたりする動きは，参加者が最楽しさ

初に思いつく簡単な動きだったためと考えられる．

疲れにくさ
1

←Positive

2

3

4

5

6

7

Negative→

図 28: アンケート結果

6.4.2 生き物ではなく道具をかたどったロボット
道具のロボットも作られた (図 27)．他の例では手遊びや影絵に基づき手をロボットに直接見立てているが，道具助したのはトラックパッドの操作のみである．
図 27 の例では，可動範囲の対応づけが逆になってしまっ(ロボット) を使う手に見立てている点が特徴的である．道
具は自律的に動かず，手を使うことに着目している．

た．指を閉じると刃が開き，指を開くと刃が閉じる．

6.4.3 ロボットと手指の対応づけ

6.3 アンケートの動きの対応づけ作業を完了させ操作できた．未就学児を最年少参加者 (5 歳) を含めて全員が組み立てたロボット
年齢，利き手，性別とロボットの組み立てや操作への評含め，子供でもロボットのリアルタイム操作方法をデザイ

価を記入する．ポイントが低いほど肯定的な，高いほど否ンできたと考える．5 歳の参加者を除く全員がロボットを定的な評価である．質問文は次の通りである．

動かすための手指の動きを分析でき，さらに，おおむね 9

イメージのしやすさ どう手を動かしたらロボットが動く

歳以上の参加者は，2 か所目の関節に対する動きの分析おべきかイメージしやすかったか
ブロックのわかりやすさ どのブロック (指や動かし方，右手左手) を使うかすぐにわかったか
可動範囲のわかりやすさ ロボットの関節で開いた時と閉じた時の設定はわかりやすかったか

よび対応づけは指示なしでも行えた．アンケートからもこの対応づけ作業はわかりやすかったと確認できる．この作業において，キーボードの操作はなくしており，トラック
パッドでのクリックのみで操作できる．またロボットの動きを実際に見たり，操作時の手の姿勢を作ったりして設定

想像どおりか 想像通りのロボットを組み立てられたかするので操作をイメージしやすい．これらの特長により，表現性 どれくらい思い通りに操作できたか

参加者は簡単に対応づけ作業を完了できたと考える．

慣れやすさ 操作はどれくらい早く慣れたか

一方で，ブロックによる対応づけについて，5 歳の参加

楽しさ 操作はどれくらい楽しかったか

者には多くの補助が必要だった．ユーザインタフェースの疲れにくさ 操作はどれくらい疲れたか

いっそうの改良が必要だろう．例えば，文字ではなくアイ「可動範囲の分かりやすさ」の項目では 67%の参加者が，そコンを利用する，トラックパッドではなくタッチパネルをれ以外の項目では 8 割以上が肯定的な評価をした (図 28)．

導入するなどがあげられる．また，ロボットを直接動かし

これらから提案手法による組み立て方法や，参加者が組みて可動範囲を設定できるようにすることも考えられる．

立てたロボットの操作について肯定的な評価を得ていると言える．コメント欄 (任意記入) の内容を次に示す．

• 楽しかった (5 歳男児，8 歳女児)
• もっと大きなロボットを作ってみたい (5 歳男児)
• 複数の場所が動くロボットを作ってみたい (5 歳男児)
• 作れて楽しかった (11 歳女児)
• いろんな仕組みだからすごいと思った (11 歳女児)
• ブロックを組み立てるのが大変だったけど，思い通りに動いたので楽しかった (10 歳女児)

• おもしろかった (8 歳男児)
• ハネを動かすことにしたけど，難しかった．でもかわ
いくできてうれしかった (10 歳女児)

• つぎは車を作りたい (9 歳男児)
• 昨日 (1 日目) はできなかったので今日も来たらできて嬉しかった (11 歳)© 2019 Information Processing Society of Japan

7. 2 つのワークショップから得られた知見
5 節では，1) 手遊びや影絵に基づくロボット操作に直感性があること，2)6 歳以上は手遊びや影絵の動きで操作すること，3) 幼児は手を握る・開くような操作をすること，

4) 簡単にロボットを操作できるため子供でもロボットの利用方法を自然と考えたこと，を確認できた．6 節では，1)ロボットのリアルタイム操作方法を子供がデザインしたこと，2) その操作方法が影絵や手遊びに基づいていること，

3) 道具のロボットはそれを使う手の動きで操作できること，4) 未就学児でもロボットの組み立てから操作までを行えたこと，が見出された．
また「影絵や手遊びに基づく操作に直感性があること」「子供が組み立てたロボットの操作が影絵や手遊びに基づくこと」から，子供の組み立てたロボットに対しても，

100情報処理学会 インタラクション 2019
IPSJ Interaction 2019

INT19011
2019/3/6

操作方法を知らない他のユーザが直感的にロボットを操作できると考える．この点が LEGO MINDSTORMS や

ArtecRobo，文献 [3] などの既存のキットと大きく異なる[11]点である．第三者が直感的にロボットを操作できると，創作物を作ることだけでなく，多くの人がその利用を考えられるようになる．

[12]

8. おわりに[13]

本稿では手遊びや影絵に基づくロボットの操作手法と組み立てプラットフォームを提案した．さまざまな形にロボットを組み立てて，手がロボットになったような感覚で[14]

リアルタイムに操作できる．組み立て時にプログラミングや電子工作も必要としない．本プラットフォームによるロボットの操作を，幼児・小学生 200 名ほどに体験してもらった．操作性や楽しさの面で肯定的な印象を与えていたことを確認した．ロボットの組み立てワークショップも 19

[15]
[16]
[17]

名が参加した．参加者はロボットを組み立て，手遊びや影絵を取り入れた操作方法を定めて動かせた．これより提案
手法でロボットを直感的に操作する方法を簡単にデザイン[18]

できることが示された．
今後は，可動箇所の多いロボットにおける分かりやすい[19]

操作方法や子供が組み立てたロボットを第三者が直感的に操作できるかを調査する．
[20]

参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

M.Oshita: Multi-Touch Interface for Character Motion Control Using Example-Based Posture Synthesis ,WSCG 2012, D11, 9 pages, 2012.
B.Spanlang, X.Navarro, J.Normand, S.Kishore,
R.Pizarro and M.Slater: Real time whole body motion mapping for avatars and robots ACM VRST’13,
pp.175-178, 2013.
J.S.Seehra, A.Verma, K.Peppler and K.Ramani:
HandiMate: Create and Animate using Everyday Objects as Material , TEI’15, pp.117–124, 2015.
L.Leite and V.Orvalho: Shape your body: control avirtual silhouette using body motion , ACM CHI’12,
pp.1913-1918, 2012.
A.Jacobson, D.Panozzo, O.Glauser, C.Pradalier,
O.Hilliges and O.Sorkine-Hornung:Tangible andmodular input device for character articulation , ACM
Trans. on Graphics, Vol.33, Issue 4, Article 82, 12
pages, 2014.
E.Polyak:Virtual impersonation using interactive
glove puppets , ACM SIGGRAPH Asia 2012 Posters,
Article 31, 2012.
M.Oshita, H.Oshima, Y.Senju and S.Morishige: Character Motion Control by Hands and Principal Component Analysis , ACM VRCAI ’14, pp.171–179, 2014.
L.Leite and V.Orvalho:
Mani-Pull-Action: Handbased Digital Puppetry , Proc. ACM Hum.-Comput.
Interact., Vol. 1, Issue EICS, Article 2, 16 pages, 2017.
辻，牛田，陳： 手遊びのハンドジェスチャを用いた 3D モ
デル操作手法 ，信学技報, vol. 118, no. 95, MVE2018-1,
pp. 15–20, 2018.
M.Sakashita,
T.Minagawa,
A.Koike,I.Suzuki,© 2019 Information Processing Society of Japan

[21]

[22]

[23]

[24]

[25]

[26]

[27]

[28]

[29]

K.Kawahara and Y.Ochiai:
You as a Puppet:
Evaluation of Telepresence User Interface for Puppetry , ACM UIST 17, pp.217–228, 2017.
B.House, J.Malkin and J.Bilmes:
The VoiceBot: avoice controlled robot arm , ACM CHI 09, pp.183–
192, 2009.
S.Hashimoto, A.Ishida, M.Inami and T.Igarashi:
TouchMe : An Augmented Reality Based Remote
Robot Manipulation , Journal of Robotics and Mechatronics (JRM), Vol.25, No.3, 2013.
Y.Cao, Z.Xu, T.Glenn, K.Huo and K.Ramani: AniBot: A Modular Robotics System Supporting Creation, Tweaking, and Usage with Mixed-Reality Interactions , ACM TEI 18, pp.419–428, 2018.
C.Guo, J.E.Young and E.Sharlin:
Touch and toys:
new techniques for interaction with a remote group ofrobot , ACM CHI 09, pp.491–500, 2009.
Shadow Monsters, https://vimeo.com/106798521(参照2018-12-14)
Puppet Parade - Interactive Kinect Puppets,
https://vimeo.com/34824490(参照 2018-12-14)
C.Jacquemin, G.Gagneré and B.Lahoz:
Shedding
light on shadow: real-time interactive artworks basedon cast shadows or silhouettes , ACM MM’11, pp.173–
182, 2011.
The
ManualInput
Sessions,
http://www.tmema.org/mis/(参照 2018-12-14)
E.Chita, Y.Sugiura, S.Hashimoto, K.Kunze, M.Inami
and M.Ogata: Silhouette interactions: using the handshadow as interaction modality , UbiComp/ISWC’15
Adjunct, pp.69–72, 2015.
H.Liang, J.Chang, I.K.Kazmi, J.J.Zhang and P.Jiao:
Puppet Narrator: Utilizing Motion Sensing Technology in Storytelling for Young Children , VS-Games
2015, pp.1–8, 2015.
L.G.Cowan and K.A.Li: ShadowPuppets: supporting
collocated interaction with mobile projector phones using hand shadows , ACM CHI’11, pp.2707–2716, 2011.
Y.Ying and R.Davi:
Toward natural interaction in
the real world: real-time gesture recognition , ICMIMLMI’10, Article No.15, 2010.
S.S.Rautaray and A.Agrawal:
A novel human computer interface based on hand gesture recognition using computer vision techniques , IITM’10, pp.292–296,
2010.
A.D.Bimbo, L.Landucci and A.Valli: Multi-User Natural Interaction System based on Real-Time Hand
Tracking and Gesture Recognition , ICPR’06, pp.55–
58, 2006.
M.V.Bergh and L.V.Gool: Combining RGB and ToF
cameras for real-time 3D hand gesture interaction ,IEEE-WACV 2011, pp.66–72, 2011.
Y.Sugiura, C.Lee, M.Ogata, A.Withana, Y.Makino,
D.Sakamoto, M.Inami and T.Igarashi:
PINOKY: aring that animates your plush toys , ACM CHI’12,
pp.725–734, 2012.
M.Kazemitabaar, J.McPeak, A.Jiao, L.He, T.Outing
and J.E.Froehlich: MakerWear: A Tangible Approach
to Interactive Wearable Creation for Children , ACM
CHI’17, pp.133–145, 2017.
H.Raﬄe, A.Parkes, H.Ishii and J.Lifton:
Beyondrecord and play: backpacks: tangible modulators for
kinetic behavior , ACM CHI 06, pp.681–690, 2006.
後藤 圭，手で遊ぶおもしろ影絵ブック，PHP 研究所，
2005．

101