WISS 2015

球体型自走ロボットを用いたダンスパフォーマンス環境の構築
土田 修平 ∗ 寺田 努 ∗ † 塚本 昌彦 ∗概要. 近年，ロボティクス技術の進展に伴い，複数の移動ロボットと身体表現を組み合わせたパフォーマンスが数多く見受けられる．しかし，これまでパフォーマ自身が，複数の移動ロボットを用いたパフォーマンスをインタラクティブに作成できるようなシステムはなく，自由に移動ロボットを利用できなかった．
そこで本研究では，パフォーマが自身の動作と移動ロボットの動作の対応を考慮しつつ，インタラクティブにパフォーマンスを作成できる仕組みを構築する．具体的には球体型自走ロボットの動作と，LED の光という要素を加えたパフォーマンスを自由に作成できるシステムを開発した．システムの有効性を評価するために，3 名のパフォーマに，実際にシステムを利用してパフォーマンスの作成およびパフォーマンスの実演を行ってもらった．また，実験環境外での場所でも安定してシステムが利用できることを確認した．

1

はじめに

近年，ロボティクス技術の進展に伴い，人と踊る様々な移動ロボットが開発されており [1, 2]，移動ロボットがパフォーマの代わりを務めたり [3]，移動ロボットがパフォーマと共にパフォーマンスを行う試み [4] がすでに行われている．しかし，これまでプログラミング知識のないパフォーマでも，複数の移動ロボットを用いたパフォーマンスをインタラクティブに作成できるようなシステムはなく，自由に表現を創出できる環境がなかった．
そこで本研究では，パフォーマ自身が自身の動作と移動ロボットの動作の対応を考慮しつつ，インタラクティブにパフォーマンスを作成できるシステムを構築する．システムは移動ロボットの動作・明滅パターン作成用アプリケーションと移動ロボットの制御システムからなり，アプリケーション上で移動ロボットの動作とパフォーマの振り付けを同時に作成・確認でき，作成したパターン通りに移動ロボットを制御できる．今回，移動ロボットとして球体型自走ロボットである Orbotix 社の Sphero2.0[5] を用いた. これは新体操やマイム，ジャグリングなどのストリートパフォーマンスで見られるように，身体を用いたパフォーマンスでは球体という形状との親和性が高いと考えたためである．また，球体は最も衝撃を吸収，分散できる形状であり，万が一パフォーマと衝突した場合も，壊れにくい．
人と協調する移動ロボットの例として，Kosuge
ら [6] は，社交ダンスを踊るダンスパートナーロボッ
トを開発した．これは人間の意図するステップを推移して移動できる．Higuchi ら [7] は，人間の歩く，屈むといった身体動作を利用するによって，無人航空機（UAV）の前後左右への移動や回転といった制
Copyright is held by the author(s).
神戸大学大学院工学研究科†
科学技術振興機構さきがけ∗

御が可能なシステムを開発した．このように人間の動作を基に動作を生成する方法は見られるが，移動ロボットを用いてパフォーマンスを自由に作成することはできない．
また，吉田ら [8] は，コール・ド・バレエと呼ばれるクラシックバレエにおける群舞を対象とし，パフォーマの配置シミュレーションを行うシステムを開発した．今回，プログラミング知識のないパフォーマでも簡単に複数の移動ロボットを利用したパフォーマンスを作成できるシステムの開発を行った．
本論文では，2 章にて提案システムの概要について述べる．3 章にて評価実験について説明，実験の結果と考察．実際のパフォーマンスについて述べる．
4 章にて本論文のまとめを行う．

2

提案システム2.1

設計方針

提案システムの目的は，簡単に複数の球体型自走ロボットを用いたパフォーマンスを作成することである．そこで，音楽や振り付けに合わせて球体型自走ロボットの動き，光の明滅パターンを作成するために，プログラミングの知識がないパフォーマでも主にマウス操作でパターンを作成できるシステムを構築する．
また，パフォーマンスの確認方法として，球体型自走ロボットを実際に動作させる方法が考えられる
が，カメラを設置できる広い場所や通信環境の整備，球体型自走ロボットの充電など，手間がかかり簡単には行えない．そのため，アプリケーション上で球体型自走ロボットとパフォーマの動作を組み合わせたパフォーマンスを容易に確認できる仕組みが必要である．

2.2

システム構成提案システムの構成を図 1 に示す．システムの利WISS 2015ϯ䝥䝸䞁䝍䛷〇స䠄^ᶞ⬡䠅

ᕷ㈍ရ䜢๐䜛䠄䝥䝷䝇䝏䝑䜽䠅図 2. 新たに作製した外殻⌫య䛾఩⨨☜ㄆ⏬㠃⌫య䛾఩⨨᝟ሗタᐃ⏬㠃⌫య䛾఩⨨᝟ሗ䛾ㄪᩚ

図 1. システム構成

用手順は以下の通りである．

1. 開発したアプリケーションを用いて，球体型自走ロボットの動作と明滅パターンをそれぞれ作成する．

2. アプリケーション上に，作成した動作，明滅パ
ターン通りに光り，移動する球体と Microsoft
社の Kinect を用いて棒人間を表示する．これ
らを見ながら，実際に踊りつつ振り付けの確認を行う，

3. 動作，明滅パターンを CSV 形式のファイルとして出力し，球体型ロボットの制御用 PC，携帯端末 (Android 端末) にそれぞれ保存する．
4. パフォーマは，音楽に同期して移動，明滅する球体型自走ロボットに合わせて，実際にパフォーマンスを行う．
提案システムで使用する球体型自走ロボットの動力部分は Sphero2.0 を用いた．動力部分を包む外殻は，3D プリンタを用いて作製した ABS 樹脂製のタイプと，市販されているプラスチック製の球体型カプセルの一部を削ることによって作製したタイプの2 タイプである．作製した外殻を図 2 に示す．
提案システムを実現するために，2 つのソフトウェアを実装した．

2.2.1

動作，明滅パターン作成用アプリケーション

開発した動作，明滅パターン作成用アプリケーショ
ンの UI を図 3 に示す．開発には openFrameworksを用いた．
動作パターン作成時の画面を図 4 に示す．球体型自走ロボットの位置情報は，スライダでパラメータを操作，もしくは球体型自走ロボットの位置を示した点をドラッグ＆ドロップすることによって作成で㡢ᴦ᝟ሗ⌫య䛾఩⨨᝟ሗ࿧䜃ฟ䛧䜻䞊䝣䝺䞊䝮Ⰽ᝟ሗ

図 3. 動作，明滅パターン作成用アプリケーションの UIきる．作成した位置情報を音楽情報が表示されたタイムラインにキーフレームを追加する．また，明滅パターンの作成は位置情報と同様にタイムラインにキーフレームを追加する．追加したキーフレームには，CMYK の色表現で表示されたパレット画像をクリックして得られる色情報を保存する．これにより，音楽の再生に合わせて登録された位置情報が呼び出され，音楽に同期した球体型自走ロボットの動作，明滅を可能にする．
また，アプリケーション上で，作成された動作，明滅パターン通りに動作する球体と Kinect でパフォー
マから取得した関節情報を基に作成された棒人間をそれぞれ表示させ，それらを見ながら．実際に踊りつつパフォーマンス全体の確認ができる．パフォー
マンス確認時の画面を図 5 に示す．パフォーマンス
確認後，球体型自走ロボットの動作，明滅パターンは CSV 形式のファイルで出力される．

2.2.2

球体型自走ロボット制御システム

球体型自走ロボット制御システムの構成を図 6 に示す．赤外線カメラを用いて，あらかじめ取得した映像と現在の映像の差分から赤外線 LED を搭載した球体型自走ロボットの位置を検出する．球体型自走ロボットの位置情報は，射影変換を用いて天井に球体型自走ロボットを用いたダンスパフォーマンス環境の構築ḟࡢ┠ⓗᆅḟࡢ┠ⓗᆅ䜎䛷䛾㌶㊧䝗䝷䝑䜾䠃䝗䝻䝑䝥䛷䛾┠ⓗᆅ䛾ኚ᭦⌧ᅾ䛾఩⨨䝇䝷䜲䝎䞊᧯స䛻䜘䜛┠ⓗᆅ䛾ኚ᭦

図 6. 球体型自走ロボット制御用システムの構成
図 4. 動作パターン作成時の画面ࣃࣇ࢛࣮࣐⌫యᆺ⮬㉮ࣟ࣎ࢵࢺ図 5. パフォーマンス確認時の画面取り付けた環境と同様の環境に変換する．これにより，赤外線カメラは自由な位置，角度で設置することができる．
球体型自走ロボットが移動する位置，光り方については，動作，明滅パターン作成用アプリケーショ
ンにて作成した CSV 形式のファイルを読み込むことによって決定している．光の明滅パターンについてはあらかじめ Android 端末に保存しておき．メイン PC から Android 端末へ送信される情報は動作パターンのみである．
球体型自走ロボットの次の目的地までの距離，角度から，PID 制御を用いて球体型自走ロボットの速度，向きを算出する．また，それぞれの球体同士は衝突を避けるため，距離に応じて斥力が働くようにし，速度，向きがその値に応じて修正される．制御用 PC にて決定した球体型自走ロボットの速度，向き情報を Wi-Fi を介して，Android 端末に送信し，Android 端末から Bluetooth 接続された球体型自走ロボットに命令を行っている．Bluetooth 接続を安定させるために，Android1 台につき球体型自走ロボット 1 台のみの対応付けにしている．また，電波の干渉を避けるため，Wi-Fi の使用する周波数帯域は 5GHz を用いた．
現段階のシステムの制約としては，カメラと球体型自走ロボットの間にパフォーマが一定時間以上入ってしまった場合には球体型自走ロボットのトラッキングが難しくなるため，カメラと球体型自走ロボットの間に入らないようなパフォーマンス構成を強いられる．

3

評価実験

3.1

実験環境

システムを利用して球体自走型ロボットを用いたパフォーマンスを作成し，システムの操作性，また，パフォーマンス完成までにどれだけの時間を要したかについて調査した．さらに，このような移動ロボットを伴うパフォーマンスにおいて，パフォーマが見せたいイメージ・表現と実際に作成したパフォーマンスの対応が被験者内で重複するかどうか調査した．
被験者は平均年齢 22.3 歳，ストリートダンス経験 4年以上の男性 3 名に加えて，パフォーマンス作成経験を有するシステム開発者の 1 名である．実験手順
は以下の手順で行った．

(1) アプリケーションの使用方法について，約 20分の説明を受ける．

(2) 約 1 分 10 秒の長さで BPM120 の曲を基に，アプリケーション上で振り付けの作成を行う．

(3) アプリケーション上で振り付けの確認を行う．
(4) 実際に球体型自走ロボットを用いたパフォーマンスを行う．
今回，使用する球体型自走ロボットの数は 3 体とした．パフォーマンスを作成する際は移動ロボットの動作，明滅パターンとパフォーマの振り付けを同時に行い，アプリケーション画面で随時移動ロボットの移動を確認しながら，インタラクティブに振り付けの修正・作成を進めた．また，Kinect を用いて表示された棒人間と作製した球体型自走ロボットの動き，明滅パターンを見ながら，実際に踊りつつ振り付けの確認を行った．振り付け作成時には振り付けの構成がしやすいように白紙の A4 用紙 1 枚とペン 1 本を配布した．また，アプリケーションの操作に関す

WISS 2015

図 7. 実験手順 4 の配置図

る質問は，随時受け付けた．実験手順 2，3 の時間を記録し，実験の最後には，システムについてアプリケーションに関するコメントをいただいた．さらに，パフォーマンスの見せたいイメージ・表現と作成した移動ロボットの動作，明滅パターンの対応を 8 拍毎に分けてコメントを頂いた．ここでいう 1 拍は，4 分音符とする．最後に実験手順 4 の配置図を図 7 に示す．
実験器具は PC(Apple，iMac 27-inch late 2013)，
ウェブカメラ (iBUFFALO, BSW20KM11BK) を用いた. 実験は研究室内にある奥行 6m，横幅 7mの 2 面が鏡張りのスタジオにて行った．扉をすべて閉じ，外部からの音ができるだけ入らないように努めた．また，プロジェクタ映像を使用する際は，部屋の電気を消した環境で行った．

3.2

評価と考察

被験者 1 のメモを図 8，8 拍毎のパフォーマの見せたいイメージ・表現を表 1 にそれぞれ示す．3 台の球体型自走ロボットを含めたパフォーマンスの作成にかかった時間は被験者 1 において 2 時間 38 分，被験者 2 において 3 時間 29 分，被験者 3 において2 時間 17 分，被験者 4 において 1 時間 4 分それぞれかかった．また，平均作成時間は 2 時間 22 分であった．
アプリケーションについてのアンケートとして，どこに球体型自走ロボットがあり，どのように移動しているのか一目でわかったという好意的な意見もあったが，Kinect を利用して振りを確認した時には，実際にボールとの距離感を身体で掴む感覚が得難く，できれば実際に球体型自走ロボットを利用して，振りの確認を行いたかったという意見もあった．
これに関しては，アプリケーション上でも実際に球体型自走ロボットと踊るような感覚を与えられる仕組みが必要と考えられる．また，光を指定する場合にキーフレーム間で色のグラデーションがかかるよ
うにあらかじめ設定しておいたことが，かえって操作しづらかったという意見があった．さらに，タイムラインのシーケンスバーを移動した場合に，瞬時に球体型自走ロボットの位置が移動すればより便利になるのでは，といった意見もいただいた．これら指摘された項目については今後，修正する必要がある．
被験者 4 については，システムを利用してパフォー

図 8. 被験者 1 のメモマンスを作成した経験があることから時間の短縮が見られる．これについては，システムの操作の慣れが時間を短縮した要因の一つとして考えられるが，システムの操作性としてはアンケートに回答していただいた被験者全員が使いやすい，すぐに使いこなせた等の意見を頂き，実際に操作している時間についてはそれほど大きな時間な差生じたとは考えにく
い．操作の慣れに関する差といったこと以上に，システム利用経験者は球体を組み合わせた方法や，実際に球体型自走ロボットと踊ることによって得られた感覚が経験として蓄積されているため，自分が伝えたい表現がイメージしやすく，また，表現を実現するための方法が思いつき易いことが，時間短縮につながった要因であると考えられる．そのため今回得られた，見せたいイメージ・表現に関する回答を基に，パフォーマが表現したいこと，例えば，球体自走ロボットがパフォーマと連動しているようにみせるといった表現を行いたい場合に，連動しているよ
うに見せるための様々な動作パターンをあらかじめ用意しておく．そして，それら用意した動作パターンを映像として再生し，確認することができれば，システム利用の経験の差を埋められ，作成時間を短縮できると考えられる．ここで，回答された見せたいイメージ・表現から，パフォーマ間で重複見せたいイメージ・表現を抽出・列挙する．

• 抽出された表現
空間に入る，連動，強調，集まる，囲む，広げる，空間を作る，全体を回転，境界を移動• 抽出された動作
交差，スライド，1 列に並ぶ，固定，1 つずつ
動作
複数の人が回答した表現に対応する動作がそれぞれ同一の動作を行っているならば，その動作ははよくパフォーマに利用される動作といえる．ここで，球体型自走ロボットを用いたダンスパフォーマンス環境の構築

表 1. 8 拍毎のパフォーマの見せたいイメージ・表現
拍

888888888888888888

見せたいイメージ・表現

明滅パターン

静止

色の変化を見せる

ポージング．ボール静止．観客の目線をパフォーマに

4 拍毎に色の系統を変化

ボールと交差し隊形移動
ボール停止. 観客の目線をパフォーマに
観客の目線をパフォーマにボールと交差しボールで三角形を作りその中にパフォーマが入る
後半はパフォーマとロボットの動きを少しずつシンクロさせていく
パフォーマとロボットで四角形を作る．
1 つのロボットを操作して動かす
ボールがパフォーマの前で一列にパフォーマとロボットが一緒に横にスライド

赤系統
青，緑系統
黄色から赤

細かく色を変化させる

パフォーマが前に出るとつられてボールも前へ
最後の４カウントでロボットと一緒に集まる抽出された表現のうち，複数人で見られた表現に対応する動作を列挙する．それぞれの動作がどのような特徴を持っているか確認，考察する．
空間に入るという表現はすべての被験者が回答している表現である．被験者 1 については，縦一列に並んでいた球体型自走ロボットが三角形の形へ回転するように移動し，8 拍かけて球体型自走ロボットが移動して空いたスペースにパフォーマが滑り込んでいる．被験者 2 については，あらかじめ球体型自走ロボットの位置が描く三角形のスペース内に 2 拍程度で滑り込んでいる．と同時にそのまま球体型自走ロボットの移動に合わせて，パフォーマは空間内の位置を維持している．被験者 3 については，縦一列に並んでいた球体型自走ロボットが三角形の形へ左右に広がるように移動し，8 拍かけて球体型自走ロボットが移動して空いた空間にパフォーマが滑り込んでいる．被験者 1 と比べると，空いた空間のやや後方にパフォーマが位置している．被験者 4 については，あらかじめ球体型自走ロボットの位置が小さな三角形を描いており，それらが 4 拍かけて広がり，空いたスペースに 4 拍かけてパフォーマが滑り込んでいる．これらの結果から，空間に入るという表現の中には，球体型自走ロボットの移動後にできた空間にパフォーマ素早く滑り込む動作と，あらかじめ形作られた隊形の空間内に滑り込む動作の 2 つが見られる．
強調させる表現についても，すべての被験者が回答している表現である．被験者 1 については観客の目線をパフォーマに，という回答であったが，強調と同意と汲み取れる．被験者全員に関しては，すべての球体型自走ロボットを静止させた状態でパフォーマが踊っている．被験者 2 については，パフォーマの立ち位置をほぼ固定し，ボールの動作を 8 拍ずつ変化させる動作も見られた．また，被験者 4 に関しては，1 つの球体型自走ロボットとパフォーマが同時に移動する状態も強調と表現している．被験者 1についても 1 つのロボットを操作するといった動作がみられ，これも同様に強調を表現していると考えられる．これらから，動きを強調という表現の中には，球体型自走ロボットがすべて静止した状態でのパフォーマが自由に踊る動作，パフォーマの位置は動かさずに球体型自走ロボットのみ動作，球体型自走ロボット 1 つとパフォーマが合わせて同時に動く動作の 3 つがみられる．
連動という表現についても，すべての被験者が回答している表現である．被験者 1 については，縦一列にならんだ球体型自走ロボットとパフォーマが同時に同じ方向へ 8 拍かけて移動している．また，縦一列にならんだ球体型自走ロボットにパフォーマが近づくと，2 拍遅れて球体型自走ロボットがパフォーマから離れる．被験者 2 については，三角形を描く球体型自走ロボットの中心にパフォーマが立ち，8拍毎に方向を変えながら，同時に移動を繰り返す．
被験者 3 については，横一列に並んだ球体型自走ロボットの後方にパフォーマが立ち，8 拍かけて横へ同時に移動している．被験者 4 にていては，横一列に並んだ球体型自走ロボットの後方にパフォーマが立ち，8 拍ごとに前後方向へ同時に移動している．
また，足など，身体の一部分が一つの球体型自走ロボットと同時に同じ方向へ移動している．これらから，連動するという表現には，球体型自走ロボットとパフォーマが同時に同じ方向へ移動する動作と，時間差を設けて同じ方向へ移動する動作の 2 つが見られた．
集まるという表現には，被験者 1，3，4 の 3 人が回答している表現である．被験者 1 については，大きく広がっているパフォーマと球体型自走ロボットが 4 拍かけて中心に集まっている．被験者 3 につ

WISS 2015ࣃࣇ࢛࣮࣐

⌫యᆺ⮬㉮䝻䝪䝑䝖ほᐈ

図 9. 実環境におけるパフォーマンス

いては，左右に広がっていた球体型自走ロボットが中心に 4 拍かけて移動し，パフォーマを含めた縦一列の隊形を形成している．被験者 4 については，パフォーマが回転する動作に合わせて，広がっている球体型自走ロボットが 8 拍かけて中心に移動している．これらから，あつまるという表現には，広がっている球体型自走ロボットとパフォーマが中心に移動する動作，パフォーマの動作に合わせて球体型自走ロボットが中心に移動する動作の 2 つがみられた．
今後の課題として，これら上記の項目を基に，見せたいイメージ・表現についての項目とそれに対応したロボットの動き，光の明滅パターンをアプリケーション上で映像として再生，確認できるように実装する．また，より多くのパフォーマにシステムを利用していただき，表現のライブラリとして，内容を充実させることを目指す．さらに，4 個以上の球体型自走ロボットでも同様に調査を進める．

3.3 実際のパフォーマンスでの評価
2015 年 3 月 6-8 日にかけて日本科学未来館で開催されたインタラクション 2015 において，本システムを利用したデモを行った (図 9)．2 時間に及ぶデモ発表において約 1 分程度のパフォーマンスを繰り返し安定して行うことができた．学会の参加者は約600 名以上であり，多くの人々にパフォーマンスを見ていただくことができた．観客からは，「パフォーマが移動ロボットをリアルタイムに操作しているように見えた」，「移動ロボットのふらつく様がたまらなく愛おしく感じた」，「移動ロボットがもう少し大きくなければ，遠く離れた観客からは球体という形状が認識されないのでは」など，意見をいただけた．
結果として，2 部門でのインタラクティブ発表賞を受賞し，パフォーマンスを行う実際の環境においても十分に耐えうるシステムであることを証明できた．

4

まとめ

本論文では，球体型自走ロボットの動作，明滅パターンをパフォーマの動作を考慮しながらインタラクティブに作成できるシステムを構築した．システ
ムの有効性を示すために，3 名の被験者にシステムを利用して動作，明滅パターンを作成および，パフォーマンスを実演してもらった．また，被験者毎の表現したいイメージと動作パターンを列挙，考察し，振り付けの作成時間短縮のための手法を示した．さらに、実験環境外での場所でも安定してシステムが利用できることを確認した．
今後，システムを利用して様々なパフォーマンスを作成し，システムの改善に努める．また，球体に限らず，様々な形状の自走ロボットを製作し，形状による違いがどのような影響を身体表現に及ぼすのか，についても調査を行う．

謝辞
本研究の一部は，2014 年度 IPA 未踏 IT 人材発掘・育成事業，科学技術振興機構研究成果展開事業
スーパークラスタプログラムおよび文部科学省科学研究費補助金基盤研究 (A)(23240010) によるものである．ここに記して謝意を表す

参考文献[1] M. P. Minchalowski, et al.: A Dancing Robotfor Rythmic Social Interaction, Proc. of the
2nd ACM/IEEE International Conference on
Human-Robot Interaction (HRI ’07), pp. 89–96(Mar. 2007).
[2] S. Tsuchida, et al.: A System for Practicing
Formations in Dance Performance Supportedby Self-Propelled Screen, Proc. of the 4th Augmented Human International Conference (AH’13), pp. 178–185 (Mar. 2013).
[3] E. Jessop, et al.: Music and Technology in
Death and the Powers, Proc. of the International Conference on New Interfaces for Musical Expression (NIME ’11), pp. 349–354 (May2011).
[4] R. Barnelt et. al.: SERAPH(2011), http://www.csail.mit.edu/node/1640.
[5] Orbotix: Sphero2.0, http://www.gosphero.
com/ja/.
[6] K. Kosuge, et al.: Partner Ball-room Dance
Robot-PBDR-, SICE Journal of Control,
Measurement, and System Integration (SICEJCMSI), pp. 74–80 (Jan. 2008).
[7] K. HIguchi, et al.: Flying head: A headsynchronization mechanism for flying telepresence, Proc. of the 23rd International Conferenceon Artificial Reality and Telexistence (ICAT’13), pp. 28–34 (Dec. 2013).
[8] 吉田逸生, 曽我麻佐子: コール・ド・バレエ: ゲーム
パッドを用いた群舞配置シミュレーション, インタ
ラクション 2011 論文集, Vol. 2011, pp. 389–390(Mar. 2011).