「インタラクション2000」平成12年2月

iDance 一マルチモーダル移動ロボットを用いた音楽生成環境
鈴木健嗣，大橋武史，田部圭史郎，橋本周司
早稲田大学理工学部応用物理学科
1はじめに構【4】によって移動、回転することができるものである。また、外力をロボットへ伝えるためのインタフ
ェースとして、ひずみゲージを用いた重心座標取得

音楽とは、楽器などを用いて音響により個人の感性や思想を表現する手段であるということができる。
音楽の表現の自由度を上げるために、楽器や声帯という物理的制約を超えて、自由な体の動きから音楽インタフェース plate を用いている【5］。これにより、インタフェース上での体重移動および外力でのロボを生成する試みがこれまでにも発表されてきたットの制御が可能になる。また、環境情報を取得す【1】【2】。しかし、ロボットをインタフェースの道具とるために、CCDカメラと2つのマイクロフォンをして使用しているものは少ない。音楽演奏やダンス搭載している。これに加え、スピーカやメインコンなどの実時間性が要求される芸術の場面では、パフトローラであるMacintosh G3コンピュータを含むォーマーの感性的な動きに対応する身体性を持ったすべてが、全方向移動ロボットの上に搭載され、自実体インタフェースが特に重要である。
また、従来のシステムでは、ユーザは純粋にシス律移動可能なロボットとなっている。

テムを使用するのみに留まっている傾向があり、シ3 システム入力部

ステムをデザインするユーザとしての音楽家に着目

1）モーションインタフェースモジュール：このモしたものは少ない。しかしながら、音楽家などが容ジュールは、インタフェース上にある物体の重心位易にデザイン、作曲できる環境を提供することは重要である。
本論文では、人間とインタラクションを行う身体置を取得する役割を持つ。インターフェース下部にを持ったロボットインタフェースを用いた音楽環境圧値として得られる。これより、コントローラ内のの構築例ついて報告する。さらに、提案手法の特徴
は、音楽制御ばかりでなく、ロボット部からの入出力信号としても、MIDIデータを用いていることであマイクロチップを利用して、全体の重心位置が求め4つのひずみゲージが取りつけられている。それぞれのゲージの抵抗が変化することにより、荷重が電られる。500ミリ秒毎に得られた重心位置情報は、㊨CCDCoIorCameraる。このMIDIネットワークを用いることで、すべての情報伝達はMIDIを用いて行われているため、ソフトウエア部は、Max／FTSを用いることでそれぞれの入出力を関連付けることが可能になる。これより、音楽家、作曲家や振り付け師などを含むユーザが、音楽の生成だけでなく、ロボットの動作をも容易に関連付けることができる。
2 システム構成 iDance 【3】

製作したシステムiDanceの全体図を図1に示す。
本システムは大きく分けて、ロボット部、全方向移動用インタフェース部、出力部、メインコントロー
ラの4つの要素からなる。ロボットは全方向移動機

iDance −AnEnvironmentfor MusicalCreatioD Using
MultimodalMobileRobot
KenjiSuzukiandSlmjiHashimoto
Dept．ofAppliedPhysics，WasedaUniversity（kenji，Shuji）＠shalab・Phys・WaSeda．ac．jp
3−4−10kubo，Shinjuku−kn，Tbkyo169−8555，Japan

図1システム構成とMIDIネットワーク
Figurel・OverallofDevelopedSystemArchitecture−71−

MIDIコントローラを介して、MIDI情報に変換され、メインコントローラへ送られる。

2）音響入力モジュール：環境の音響情報は、システムに装備された左右2つのマイクロフォンより取得する。2つのマイク入力からの音量を比較することで簡単な音源定位が可能となる。また、手拍子を図2 iDance によるダンスパフォーマンス行う際、そのテンポを取得するモジュールも作成し

Figure2．DancePerformancewith

iDanceた。これにより、ユーザは手拍子やパーカッション子と同様に、歌声や口笛などもロボットに対する刺基づいてコード進行を生成し、それに対しメロディーを確率的に生成するルールベース作曲など、いくつかの基本的な音楽生成のモードを用意してある。
このプロトタイプを用いることで、ユーザは容易に激として与えることができる。

音響、画像、動作の入出力関係を対応付けることが

3）画像入力モジュール：システム前部に装備され可能である。

でロボットとコミュニケーションすることが可能になる。さらに、このモジュールはピッチ情報を取得することも可能である。これにより、環境音や手拍た小型CCDカメラからの動画像から情報を抽出するモジュールである。320×240（pixel）の画像データ

5 おわりにから、各ピクセル単位でのRGB情報、色相、彩度、提案するDanceは、ユーザからの力覚入力を得ることが可能であり、より直接的なロボットと人間の明度などが、100ミリ秒毎に求められる。これにより、ユーザは色のついた旗や、LEDライトなどを用インタラクションを行うことができた。さらに、
MIDIネットワークを用いることで、作曲家や舞踏家などが容易にロボットを用いた作曲、演出活動を行うことが可能になるため、新しい音楽芸術の可能性が広がると考えられる。
また、現在までは、聴覚へのフィードバックを中心とした音楽に着目してきたが、今後、大型ディスいることで、ロボットに刺激を与えることが可能である。
4 システム出力部

入力モジュールからのMIDIデータに基づいて、システムの出力モジュールがロボットの動作と音楽を生成する。以下の出力モジュールはすべてMIDIネットワークに接続されている。
1）全方向移動ロボット操作：メインコントローラ
から出力されたMIDIデータは、MIDIコントローラ

プレイ、モーションセンサなどを用いて、視覚、触覚へもフィードバックを行う、よりマルチモーダルなパフォーマンスアートの環境の構築を試みたい。

（図1：Motion MIDI）を介してD／A変換されロボ

参考文献

ットを操作するコマンドに変換される。ここでは、ロボットが自発的に行動する動作、またユーザが直接ロボットに触れて操作することによって生じる受動的動作の2種類のロボット動作を用意している。

【1】井口征士： ジェスチャによる感性表現の認識 ，

日本ロボット学会誌，Ⅶ1．17，No．7，pp．933−936，
1999【2］H．Katayose，TKanamori，K．Kamei，YNagashima，K．Sato，S．Inokuchiand S．Shimura， VirtualPerformer，inProc．ofICMC93，PP．138−0145，1993［3］KenjiSuzuki，TbkeshiOhashiandS叫iHashimoto：

ここでいう自発的動作には、カメラ、マイクからの情報により生じる動作も含まれる。現在は、障害物Interactive MultimodalMobile Robotfor Musical

回避を考慮に入れていないため、自発的動作は回転が中心である。一方、受動的動作とは、ユーザが手や足でロボットに力を加えたり、自身が上に乗って重心を動かすことによってロボットを操作すること

Performance，in Proc．ofICMC99，Pp．407−410，

1999【4］ShigeoHirose，ShinichiAmano：

TheVuton：High

Payload High EfBcienpy Holonomic O叩ni−である。現在、動きと入力の対応関係を容易にするために、重心の変化する方向と、ロボットが動く方

DirectionalVヒhicle，inProc・OfIntl・Symposiumon
RoboticsResearch，PP．253−260，1993【5］JunYbkono，S叫iHashimoto：

向を同一にしてある。

Omni−Directional％hicle

MotionInterfacefbr，in Proc．of7thIntl．

2）音楽生成モジュール：入力モジュールからの情Wbrkshop on Robot and Human Communication，

報によって音楽を生成する。ここでは、音楽理論に

pp．436−441，1998−72−