情報処理学会 インタラクション 2015
IPSJ Interaction 2015

B75
2015/3/6

球体型自走ロボットを用いたダンスパフォーマンスシステムの設計と実装
土田修平1

寺田 努1,2

塚本昌彦1

概要：近年，ロボティクス技術の進展に伴い，人と踊る様々な移動ロボットが開発されている．移動ロボットを利用してパフォーマの身体表現の幅を広げる試みが見受けられる．しかし，これら移動ロボットを用いたパフォーマンスでは，パフォーマと移動ロボットのインタラクションについて明確にされていない．
パフォーマの動作と移動ロボットの動作との表現に関するインタラクションを明確にし，対応付けを定式化することができれば，パフォーマの身体表現に新たな変化を与えることができると考えられる．そこで
本研究では，パフォーマの身体動作と球体型自走ロボットの動作との組み合わせによって，身体表現にどのような影響をもたらすか調査するために，パフォーマの動作と球体型自走ロボットの動作の対応を考える仕組みを構築する．具体的には球体型自走ロボットと，光という表現の要素を加えた新たな身体表現を模索できるシステムを提案する．また，提案システムを本番環境での実運用を試み，実運用における問題点を洗い出した．さらに，新しい表現方法について聞き取り調査を基に模索した．

Design and Implementation of a Dance Performance System
Using a Self-propelled Sphere Robot
Tsuchida Shuhei1

Terada Tsutomu1,2

Tsukamoto Masahiko1

Abstract: Recently, various methods for having moving robots dance have been developed because of theadvances in robotics-related technologies．There is an attempt that the phizical expression of the performance is extended by moving robots. However, the performance using these robots are not clear about theinteraction between the self-propelled robot and performers. If we are able to clarify the interaction of theexpression of the moving of the robots and the moving of the performers, and formulate the association ofthose, it is considered that we will be able to change the physical expression of performer. In this study, webuild a mechanism to consider the corresponding between the moving of the spherical robots and the movingof the performers in terms of a combination of those, in order to investigate whether to bring what eﬀect on
the body expression. Specifically, we propose a system that we are able to grope new body expressions areadded the spherical self-propelled robots and lights. In addtion, we attempted the proposed system in theproduction environment,and it was washed out the problems in the actual operation. Furthermore, we grope
the new body expression based on the interviews.

1. はじめにことによって，ダンスパフォーマンスのための練習を支援すること [4–7] や，ステージ上に存在しないパフォーマを近年，ロボティクス技術の進展に伴い，人と踊る様々なステージ上に存在するかのような表現 [8] を行うことが可

移動ロボットが開発されている [1, 2]．これら移動ロボッ能となった．また，移動ロボットを利用してパフォーマのトがパフォーマの代わりを務めることや，映像を映し出す身体表現の幅を広げる試みが見受けられる．しかし，これらの移動ロボットを用いたパフォーマンスでは，パフォー

12

神戸大学大学院工学研究科
Graduate School of Engineering, Kobe University
科学技術振興機構さきがけPRESTO, Japan Science and Technology Agency© 2015 Information Processing Society of Japan

マと移動ロボットのインタラクションについて明確にされていない．パフォーマの動作と移動ロボットの動作との表

718

現に関するインタラクションを明確にし，それぞれの対応

de Deux を作成した．パフォーマは縦横無尽に舞う布に合付けを定式化することができれば，パフォーマの身体表現わせて踊るパフォーマンスを行う．TOVIA co. [13] が作に新たな変化を与えることができると考えられる．

製したニンジャ―ライトは，身体の動作に合わせて球体群

そこで本研究では，パフォーマの身体動作と球体型自走を上下移動させることによって，まるで空間を操っているロボットの動作との組み合わせによって，身体表現にどのかのような表現が可能である．CHUNKEY MOVE [15] のような影響をもたらすか調査するために，パフォーマの動CONNECTED にもニンジャ―ライトと同様の表現が見受

作と球体型自走ロボットの動作の対応を考える仕組みを構けられる．

築する．今回利用する移動ロボットは Sphero2.0 [9] であ

これらのように，人の身体表現と移動する物体との連携る．これは，他の移動ロボットと比較して球体という単純は数多く見られるものの，人の身体表現と移動する物体のな形状が，ロボットの機能的に見える部分を最大限に削ぎ表現におけるインタラクションに着目した研究は行われて落したものとなっており，単なる移動するオブジェとしていない．

楽しめるデザインであることが Sphero2.0 を利用する理由

また，本研究に関連する研究として，ロボティクス技術の 1 つである．ホイールやローラーが剥きだした状態であを用いた身体性の拡張に関する研究を挙げる．吉田ら [16]れば，物体の移動そのものだけでなく，回転する部分にもは，擬似的に身体の一部とすることで，自分の手を伸ばし観客やパフォーマの意識が向いてしまう可能性があるため、ているような感覚や，幽体離脱して遠くに飛んでいるよう単純な移動する物体に比べ，身体表現には向いていないとな感覚を提示するシステムを提案した．金井ら [17] は，ロ考えられる．また，球体自身が移動する様は，物体が移動ボットが受けた触刺激を人に伝達することで，その人の身するための機構が直観的にわかりにくく，一般的な人々に体性がロボットにまで拡張されるかを実験により検証した．

はできない身体動作の連続を見せるパフォーマと同様に，これらのように，ロボティクス技術を用いて，身体性の観衆に非日常な感覚を与えられる可能性が高く，身体表現拡張を試みる研究は見られるが，身体表現に着目した研究との連携に適していると考えられる．さらに，球体というは行われていない．本研究では人の身体表現と移動する物

形状は最も衝撃を吸収・分散させることができ，身体表現体，特に球体型自走ロボットの表現の連携による身体表現を行っているパフォーマとの衝突が起こった場合でも，壊の変化について調査が可能なシステムを提案する．

れにくいといった利点がある．それら移動する球体型自走ロボットと，光という表現の要素を加えた新たな身体表現を模索できるシステムを今回提案し，このシステムを利用することによって身体表現を拡張できると考えられる．

3. 提案システム
3.1 設計方針
提案システムの目的は，身体表現において，人間の身体

本論文では，2 章にて関連研究を紹介し，3 章にて提案に移動する物体と光という新たな表現の要素を加えること

システムの概要について述べる．4 章にて新たな表現手法で，身体表現にどのような影響を与えるか調査可能にするについて模索し，5 章にて舞台での実運用について述べ，6ことである．そのためには，パフォーマが自由に物体の移章にて本論文のまとめを行う．

動と光を制御でき，パフォーマ自身で新たな要素を考慮し2. 関連研究たパフォーマンスを作成できる仕組みを構築するが必要がある．音楽や振り付けに合わせて球体型自走ロボットの動近年，多くの演出家や芸術家が，様々な技術によって移き，光のパターンを作成するために，プログラミングの知動させた物体を用いて身体表現の拡張を試みている．Daito

識がないパフォーマでも主にマウス操作で作成できるシス

Manabe ら [10] は，身体とデータの関係をコンピュータ制テムを構築する．

御したクアッドコプターを使うことで，実際の空間でダンまた，球体型自走ロボットを実際に動作させることにサーが身体的に，そしてより直感的にオブジェクトを認識

よって動きを確認する方法は，カメラを設置できる広い場できる様なシステムを開発した．DreamWorks Animation

所や通信環境の整備，球体型自走ロボットの充電など，手LLC. [11] は，仮想の生物であるドラゴンを移動するロ間がかかり簡単には行えないため，シミュレータ上で容易ボットで表現することによって，CG では表現できない 3に確認できる仕組みが必要である．シミュレータ上で動く次元の空間を利用したパフォーマンスを行った．William

球体自走型ロボットに合わせて実際に踊りながら確認できForsythe [12] は，大量の振り子を吊るした空間を作製した．

るシステムを構築する．

これにより，鑑賞者がこの空間に一度入ると，周期的なリズムを刻む振り子に合わせて，かわしながら移動してしまい，それがまるで踊っているかのように見える．DanielWurtzel [14] は，床に置かれた風を起こす装置によって，布がまるで意図を持って踊っているかのように見える Pas© 2015 Information Processing Society of Japan

3.2 システム構成
提案システムの利用手順は以下の通りである．

( 1 ) 開発したアプリケーションを用いて，球体型自走ロボットの動作と光をそれぞれ作成する．

719

表 1 Sphero2.0 の仕様サイズḟ䛾┠ⓗᆅ

ḟ䛾┠ⓗᆅ
䜎䛷䛾㌶㊧

重量168[g]最高速度2[m/s]

通信可能距離max 30[m]䝗䝷䝑䜾䠃䝗䝻䝑䝥䛷䛾┠ⓗᆅ䛾ኚ᭦

図 3㡢ᴦ᝟ሗϯ䝥䝸䞁䝍䛷〇స䠄^ᶞ⬡䠅
図 1⌫య䛾఩⨨☜ㄆ⏬㠃๓䛾┠ⓗᆅ

φ 74[mm]䝇䝷䜲䝎䞊᧯స䛻䜘䜛┠ⓗᆅ䛾ኚ᭦

フォーメーション作成時の画面⌫య䛾㏿ᗘ᝟ሗ

ᕷ㈍ရ䜢๐䜛䠄䝥䝷䝇䝏䝑䜽䠅

新たに作製した外殻䝣䜷䞊䝯䞊䝅䝵䞁☜ㄆ⏬㠃䝣䜷䞊䝯䞊䝅䝵䞁䛾タᐃⓏ㘓䛧䛯䝣䜷䞊䝯䞊䝅䝵䞁䛾᭩䛝㎸䜏

図 4Z'᝟ሗ

タイムラインに沿ったフォーメーション，RGB 情報の登録

3.2.1 動作，光作成用アプリケーション
㡢ᴦ᝟ሗ䝣䜷䞊䝯䞊䝅䝵䞁࿧䜃ฟ䛧䜻䞊䝣䝺䞊䝮Z'᝟ሗ

図 2 動作，光作成用アプリケーションの UI開発したアプリケーションの UI を図 2 に示す．開発には openFrameworks を用いた．制御できる球体自走型ロボットの個数はパフォーマンスの規模に合わせて自由に変( 2 ) Microsoft 社の Kinect [18] を用いて，シミュレータ上で先ほど作成した通りに光り，移動させた球体と踊りの確認を行う，( 3 ) 光，動作のパターンを制御用 PC，Android にそれぞれ保存する．

( 4 ) 音楽と球体型自走ロボットの移動，光を同期させながら，パフォーマンスを行う．
提案システムを実現するために以下の 2 つのソフトウェア更できる仕様になっている．
フォーメーション作成時の画面を図 3 に示す．球体型自走ロボットのフォーメーションは，スライダでパラメータを操作，もしくは球体型自走ロボットの位置を示した点を直接ドラッグ＆ドロップすることによって，作成できる．
作成したフォーメーションを音楽情報が載ったタイムラインにキーフレームを追加する (図 4) ことによって，音楽に同期させたフォーメーション移動を可能にする．

を実装した．ハードウェアに関しては球体型自走ロボット

また，動作，光の確認は 3D 表示が可能で，Kinect を利である Sphero2.0 を用いた．Sphero2.0 のスペックを表 3.2

用してシミュレータ上で実際に振り付けを行いながら，パに示す．Sphero2.0 内に赤外線 LED を組み込むため，外殻フォーマンス全体の確認ができる．パフォーマンス確認時を取り除き，新たに外殻を 3D プリンタを用いた ABS 樹の画面を図 5 に示す．パフォーマは Kinect で取得した関脂で作製したタイプと，市販されている球体型カプセルの節情報から作成したボーンで表されている．パフォーマン

一部を削ることによって作製したタイプの 2 タイプを作製

スが確認すると，球体型自走ロボットの動作と光のパターした．動力部分をそれらに入れ正常に動作することを確認

ンの情報が入ったファイルを自動的に CSV 形式で作成さした．作製した外殻を図 1 に示す．

れる．

© 2015 Information Processing Society of Japan720

䝟䝣䜷䞊䝬
಩൸஧ਗ଍ढ़ওছ

0DLQ3&ૉ৬஑ঽ௒ট঎ॵॺभ
向き，速度情報ॲথ१‫ش‬਱ऌ‫؜‬速度5*%ੲਾ

$QGURLG図 6ૉ৬஑ঽ௒ট঎ॵॺ

システム構成⌫యᆺ⮬㉮䝻䝪䝑䝖

図 5

パフォーマンス確認時の画面⌫యᆺ⮬㉮䝻䝪䝑䝖

3.2.2 球体型自走ロボット制御システム
球体型自走ロボット制御システムの構成を図 6 に示す．
赤外線カメラを用いて，映像の背景差分から赤外線 LEDを搭載した球体型自走ロボットの位置を検出し，手動で IDを割り当てている．赤外線カメラは自由な位置，角度で設置することができ，射影変換を用いて天井に取り付けた環境と同様の球体型自走ロボットの位置情報に変換している．
球体型自走ロボットが移動する位置，光り方については，

図 7

目的地までの理想の軌跡からの距離 d

動作，光作成用アプリケーションにて作成した CSV 形式のファイルを読み込むことによって，決定してる．光り方

現段階のシステムの制約としては，カメラと球体型自走のパターンについてはあらかじめ Android 側に保存しておロボットの間にダンサーが一定時間以上入ってしまった場

く．これにより，メイン PC から Android へ送る情報を球合には球体型自走ロボットのトラッキングが難しくなる

体型自走ロボットの動作のみにし，情報量を減らすことがため，カメラと球体型自走ロボットの間に入らないようなできる．

パフォーマンス構成を強いられる．また，速度においても球体型自走ロボットの次の目的地までの距離，角度から，PID 制御を用いて球体型自走ロボットの速度，向きを算出する．また，それぞれの球体同士は衝突を避けるため，距離に応じて斥力が働くようにし，速度，向きがその値にPID 制御を用いているため，球体型自走ロボットの性能を最大限に生かした動作ができない．

4. 表現手法の模索応じて修正される．さらに，球体型自走ロボットはカメラ

通常のパフォーマンスでは実現できない身体表現手法の映像からは向きを判定することができない．そのため，パ確立を目指し，ダンス歴 3 年以上のパフォーマ 10 名にデフォーマンス開始時を基準として，向きを設定しているが，モ動画を確認してもらい，新しい身体表現の可能性につい球体型自走ロボットが移動を繰り返す度に，向きにずれがて聞き取り調査を行った．得られた表現から考えられる新生じても，どれだけずれが起こったか確認することができ

しい表現手法を以下に示す．

ない．そこで，図 7 に示すように，目的地までの理想の軌• パフォーマと球体が連動しているかのように見せる跡からの距離 d を毎フレーム毎に算出し，距離 d の値と球手法

体の角度のずれる方向から，球体型自走ロボットの向きを

図 8 のようにパフォーマの身体動作と球体の動作が揃推測し，向きの修正を行っている．制御用 PC にて決定しえば，それぞれが連動して動作しているように見えるた球体型自走ロボットの速度，向き情報を Wi-Fi を介して，と考えられる．また，パフォーマの動作に合わせて球Android に送信し，Android から Bluetooth 接続された球体の光り方が変化すれば，パフォーマによって光を変体型自走ロボットに命令を行っている．Bluetooth 接続を化させたかのように見えると考えられる．

安定させるために，Android1 台につき球体型自走ロボッ• 発光する球体の照明効果を用いてパフォーマの身体をト 1 台のみの対応付けにしている．尚，電波の干渉を避け見せる手法るため，Wi-Fi の使用する周波数帯域は 5GHz を用いた．

パフォーマが発光する球体に近づけばダンサーの身© 2015 Information Processing Society of Japan721ϭ͘Ϯ͘ϯ͘ϰ͘䝟䝣䜷䞊䝬䜹䝯䝷⌫యᆺ⮬㉮䝻䝪䝑䝖

図 8

パフォーマと球体が連動しているかのように見せる
図 9 舞台でのリハーサル風景

体 (肌など) が浮かび上がる．この効果を用いて，球体の光り方を様々な方法で制御することによって，ダンサーの生身の部分を多様に見せることができると考えられる，• 非日常感を強調するために素朴な見た目の球体を利用

5. 実運用の試み
提案システムが舞台上における多数の観客に見せるパフォーマンスにおいても利用できるか確認するために，する手法

2014 年 10 月 11 日，神戸ファッション美術館オルビスホー

球体型自走ロボットの見た目を，日常にある素朴なもルで開催された塚本・寺田研究室設立 10 周年記念講演会の，例えば野球ボールやテニスボール，毛糸玉といっにおいて，本システムを利用したデモを行った（図 9) が，たものにする．これら普段動くことがない物体が，パ研究室での環境とは異なった舞台上での本番環境では，シフォーマが単なる「道具」「モノ」として持っていた物ステムが正常に動作されなかった．システムが正常に動作

体を床に置くといった何気ない動作に合わせて，突如しなかった原因の 1 つとして，無線の干渉が考えられる．

動き出すことによって，パフォーマの反応を変えるこ

本番当日，150 人以上の観客を会場内に収容したため，研とができ，現実世界から少し逸脱した世界を表現でき究室での環境以上に，Bluetooth 通信で使用される 2.4GHzると考えられる．の周波数帯域を利用したアクセスが増えたと考えられる．

• 空間の伸縮を強調するために，球体群の範囲を変更す

このため，本システムにおいて，Sphero2.0 と Android がる手法接続するために多数の Bluetooth 通信での接続を行った

多数の球体が移動する様は空間が伸縮しているようなが，パフォーマンスの待機中にこれらの接続が切断され，感覚を覚える．また，移動する形によっては，磁界な再接続に時間がかかり，限られた時間内での修復ができな

ど，力が働いている場所があるかのような感覚も覚えかった．この問題については，他の周波数帯域を利用したる．これらを利用して，パフォーマの身体動作に合わ通信方法を検討する必要がある．また，システムでの問題

せて球体群が集まってきたり，広がったりする，もしに加え，照明を落としきった状態では発光する球体型自走

くは球体群の動きによってパフォーマの身体動作の大ロボットは視認できるが，パフォーマはほとんど視認でききさが変化すると考えられる．

なかった．この問題については，パフォーマに蓄光テープ• 生き物の群れのように見せる手法など暗闇で光を放つ素材を身体に沿わせる，もしくは再帰球体群が移動する様は，魚などの群れを彷彿させる．

性反射材を身に纏い，赤外線カメラに干渉しないスポット

自律的に球体を動作させるアルゴリズムを利用して，ライトを観客席側からパフォーマに当てることによって，球体群がパフォーマを避ける，球体群がパフォーマのパフォーマの動作を視認可能にする必要がある．

身体動作に反応するといった演出を行えば，球体群とパフォーマがコミュニケーションを取ってるかのように見えると考えられる．

6. まとめ
本論文では，パフォーマの身体動作と球体型自走ロボットの動作との組み合わせによって，身体表現にどのような© 2015 Information Processing Society of Japan722

影響をもたらすか調査するためのシステムを提案し，新しい身体表現の可能性について模索した．今後，システムを利用して様々なパフォーマンスを作成し，パフォーマの身[10][11]

体動作と球体型自走ロボットの動作の対応を定義していく
ことによって，単なる身体の拡張ではなく，身体表現レベル[12]での拡張を行い，新たな身体表現のジャンルとしての確立[13]を目指す．また，球体に限らず，様々な形状の自走ロボットを製作し，形状による違いがどのような影響を身体表現[14]に及ぼすのか，についても調査を行う．さらに，現在のシ[15]

ステムでは，カメラの設置や無線など実環境におけるシステムの利用において，いくつか問題点が挙げられる．本番[16]

環境への利用に向けてシステムの改善を行う．他にも，動力部分が外殻に包まれているため，容易に完全な防水加工ができる．今後は陸上のみならず，シンクロナイズドスイ[17]

ミングなど水上での身体表現の拡張も行う．
謝辞

本研究の一部は，独立行政法人情報処理推進機構の 2014 年度未踏 IT 人材発掘・育成事業「ダンスパフォー[18]D. Manabe:
Dance with Drones, https://www.
youtube.com/watch?v=HQLORg5COiU.
DreamWorks Animation LLC: How To TrainYourDragon
LiveSpectacular,
http://dreamworksdragonslive.com/.
William Forsythe: Nowhere and Everywhere at the Same
Time No.2, https://vimeo.com/94638603.
Tovia co.: ニンジャ―ライト, http://www2u.biglobe.
ne.jp/~tovia/lighting/NINJARLIGHT.html.
Daniel Wurtzel: Pas de Deux, https://vimeo.com/94638603.
CHUNKYMOVE:
CONNECTED,
https://www.youtube.com/watch?v=VgKxTcds2V8.
吉田成朗, 鳴海拓志, 橋本直, 谷川智洋, 稲見昌彦, 五十嵐健夫, 廣瀬通孝: ジェスチャ操作型飛行ロボットによる身体性の拡張, 日本ソフトウェア科学会台 21 回インタラク
ティブシステムとソフトウェアに関するワークショップ
2012 論文集, pp.403–408 (Mar. 2012).
金井 祐輔, 大澤 博隆, 今井 倫太: 触知覚伝達は人とロボッ
トに一体感をもたらすか?, 電子情報通信学会技術研究報
告. CNR, Vol. 113, No. 84, pp. 19–23 (June 2013).
Microsoft:
Kinect, http://www.xbox.com/ja-JP/
kinect.

マンスに特化した自走ロボット制御システムの開発」による支援を受けて行われた．
参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

池内克史, 中澤篤志, 小川原光一, 高松淳, 工藤俊亮, 中岡慎一郎, 白鳥貴亮: 民族芸能のデジタルアーカイブとロボットによる動作提示, 日本バーチャルリアリティ学会学
会誌, Vol. 9, No. 2, pp. 14–20 (June 2004).
F. Tanaka, J. R. Movellan, B. Fortenberry and K. Aisaka:
Daily HRI Evaluation at a Classroom Environment Reports from Dance Interaction Experiments-, Proc. ofthe 1st ACM SIGCHI/SIGART Conference on HumanRobot Interaction (HRI ’07), pp. 3–9 (Mar. 2006).
中村彰宏, 大林千尋, 柴田智広: ダンシング Roomba〜踊る掃除制御〜, 情報処理学会研究報告, Vol.2011-EC-20,
No. 10, pp. 1–6 (May 2011).
S. Tsuchida, T. Terada and M. Tsukamoto: A System forPracticing Formations in Dance Performance Supportedby Self-Propelled Screen, Proc. of the 4th Augmented
Human International Conference (AH ’13), pp. 178–185 (Mar. 2013).
K. Kosuge, T. Takeda, Y. Hirata, M. Endo, M. Nomura,
K. Sakai, M. Koizumi and T. Oconogi: Partner Ballroom Dance Robot-PBDR-, SICE Journal of Control,Measurement, and System Integration (SICE JCMSI),
pp. 74–80 (Jan. 2008).
D. V. Lu, C. Wilson, A. Pileggi and W. D. Smart:
A Robot Acting Partner, Proc. of the ICRA 2011
Workshop on Robots Art: Frontiers in Human-Centred
Robotics as Seen by the Arts, (May 2011).
A. Nakamura, S. Tabata, T. Ueda, S. Kiyofuji, and Y.
Kuno: Multimodal Presentation Method for a Dance
Training System, Proc. of the SIGCHI Conference onHuman Factors in Computing Systems Extended Abstracts (CHI ’05), pp. 1685–1688 (Apr. 2005).
E. Jessop, P. A. Torpey and B. Bloomberg: Music andTechnology in Death and the Powers, Proc. of the International Conference on New Interfaces for MusicalExpression (NIME ’11), pp. 349–354 (May 2011).
Orbotix: Sphero2.0, http://www.gosphero.com/ja/.

© 2015 Information Processing Society of Japan723