HAI シンポジウム 2013
Human-Agent Interaction Symposium 2013

P3

身体動作認識に基づくインタラクティブサウンド生成システム
Interactive Sound Generation System Based on Body Motion
Recognition
北洞 穂高 1∗ 前田 陽一郎 2 高橋 泰岳 1
Hotaka Kitabora1 Yoichiro Maeda2 Yasutake Takahashi1
1

福井大学大学院工学研究科知能システム工学専攻
1
University of Fukui
2
大阪工業大学 工学部 ロボット工学科
2
Osaka Institute of Technology

Abstract:
Recently, the researches on interactive sound mainly changes the aspect due tothe interaction of human and system, and it aims at generating the sound exceeds anticipationof human which was full of the complexity and diversity. The sound generation system whichused the network of chaotic elements also has been developed in our laboratory. However, inthe present system, it is diﬃcult to make a human intention reﬂect. So, this research aims at asystem which man enjoys himself more, and is easier to carry out intuitive operation, while theparameter operated by man’s bodily motion from an external camera. Moreover, the result ofKansei evaluation performed about the proposed system is also reported.

1

はじめにがら直感的操作をしやすいシステムを目指す。身体動作を認識し、そこから被験者の意思に合致したサウンド生成することを目的としている。また提案システムについてのアンケート及び生成された音についての感性評価も行ったので、これについても報告する。

近年、人間とロボットやシステムとの間のインタラクションに関連する研究が盛んに行われている。その中でもインタラクティブアートとして研究されている
インタラクティブサウンドは主に人間とシステムとの相互作用によってその様相を変え、人間の予想を上回る複雑性や多様性にあふれたサウンドを生成することを目的としている。
音と動作、特に舞踊に関しての研究は多くされており、手の動作による音響信号の編集を行う指揮システム [1]や踊りが音楽から受ける影響を視覚的に表現する試み[2] 等や印象語から楽曲を生成するシステム [3] などがある。本研究室でも大規模カオスを用いて視覚的、聴覚的アミューズメント効果を人間に与えることを目標としたサウンド生成システム ICAS(Interactive ChaoticAmusement System) の開発を進めてきた [4]。しかしながら、現在のシステムでは操作できるのはカオスパラメータのみであり、単純な操作で音が出力できる反面、人間の意図を反映させるのが難しいシステムとなっている。
そこで本研究では、外部カメラを用いて人間の身体動作からパラメータの操作を行い、より人間が楽しみな

2

大規模カオスについて

以下では ICAS システムにおいて用いている大規模カオスについて主に説明する [5]。大規模カオスとは、複数のカオス要素をネットワーク状に結合させていることから大規模結合写像とも呼ばれる。これを用いることで、写像全体の挙動を複雑かつ多様性のあるものにできる。大規模カオスはカオス要素の結合構造によって結合写像格子 (Coupled Map Lattice: CML)、大域結合写像 (Globally Coupled Map: GCM) に分類される。
本研究でも用いられる大域結合写像 (GCM) とは、個々のカオス要素の出力値の平均をとり、全体へ影響させるモデルであり、式は以下のとおりである。本研究のGCM のカオス要素には (1) 式のロジスティック写像、結合式には (2) 式を用いており、xi (t) が状態、e が全要素に働く結合力、f (xi (t)) は (1) 式であり、N は全カオス要素の数である。また、パラメータの a と e の値により、GCM の挙動は大きく同期相、秩序相、部分∗ 連絡先：福井大学大学院工学研究科知能システム工学専攻〒 910-8507 福井県福井市文京 3 丁目 9 番 1 号
E-mail: hkitabora@ir.his.u-fukui.ac.jp

51

0.4
同期相
部分秩序相

0.3
秩序相
秩序相e 0.2
部分秩序相0.1
非同期相

0
1.4

1.5

1.6

1.7

1.8

1.9

2.0a

図 2: GCM による挙動の範囲変化

図 1: GCM の相図による挙動作は困難である。そこで GCM による挙動を持ちながらサウンドに人間の意図を反映させる為に、GCM の出力からサウンド要素へ割り当てる時に変化させる方法を提案する。これにより、GCM による挙動を保ちながら音の 3 要素を変化させ、全体的な印象を変化させる。図 2 は音高についての例である。左は GCM による挙動で 61-73 の範囲で音高が変化するが、その範囲を 68-79 に変化させることで GCM の挙動を損なわず音高の高低を任意に変化させることができる。

秩序相、非同期相の 4 種類に変化する。(図 1)

xi+1 (t) = 1 − axi (t)2e ∑f (xj (t))
N j=1(1)Nxi (t + 1) = [1 − e]f (xi (t)) +3(2)ICAS

本研究室ではカオス理論を用いてサウンドを生成することによって多様な視覚的、聴覚的アミューズメント効果を人間に与える ICAS(Interactive Chaotic Amusement System) の開発を進めている。本研究ではこのICAS システムを用いたサウンド生成実験を行ったので、ここではその概要について説明する。
本システムでは非同期性パラメータ a と同期性パラメー
タ e の２つのパラメータを GCM ごとに調整し、サウンドを制御することが可能である。主に制御できるサウンドは音高・音長・音量の 3 種類を GCM のカオスパラメータにより制御している。他にもシステムに適用している音楽要素としてテンポ、音色、エコー、調性などがある。

44.2

身体動作からどのようなサウンド変化を行うかを以下のように定義する。

• 音高について MIDI では 0-127 段階に音の高低を変化できる。本研究においては一般によく聞かれる範囲から被験者が不快に感じない程度に音の高低差が分かる範囲 52-92(C5 から±２オクターブ程度) を変化範囲とする。
• 音長について音符１つについての長さは音楽理論に基づき、7 種類 (32 分音符・16 分音符・8 分音符・4 分音符・2 分音符・全音符・休符) の音の長さを用いる。
• 音量について音高と同じく MIDI では 0-127 段階の音の強さを変化できる。本研究においては強弱がわかる程度に 63-127 の範囲をとる。

サウンド制御について本実験において用いる ICAS システムではサウンド出力に MIDI(Musical Instrument Digital Interface) 形式を用いている。本実験においては音情報のうち、基本的な音の 3 要素 (音高・音長・音量) を利用する。

4.1

サウンドの変化について• カオスパラメータ、同期性 (e) 及び非同期性 (a)についてサウンドの挙動を変化させる大規模カオスのパラメータも身体動作にて変化させる。
また、サウンドの変化はリアルタイムで行い、動作による音の変化が被験者に直接伝わるようにする。

サウンド印象の変化方法

本研究で用いている ICAS システムでは音の 3 要素を大規模カオスによって制御しており、その特性上カオスパラメータのみによる直接的なサウンドの印象操52図 3: 身体動作による指示認識 ICAS の概念図

表 1: 対応表
実験 1
操作項目
実験 2
C(x) カオスパラメータ:a M(x)C(z) カオスパラメータ:e M(y)固定
音長範囲調整C(z)RH(y)
音高範囲調整C(x)LH(y)
音量範囲調整固定

図 4: モーションキャプチャによる各関節の認識図

図 5: 実験中の画像

身体動作の認識方法

55.2

動作解析には Microsoft 社の Kinect カメラを用いたモーションキャプチャにより、身体の 15 点の関節部位の運動情報を求め、身体動作の認識により前述の ICASシステムを制御する (図 3)。

5.1

身体動作の各音要素操作への割り振り

身体動作による音要素のパラメータ操作を以下にまとめる。また、事前に行った手の座標を用いた実験 1のパラメータ操作割り振りと今回行った動作量をパラメータ操作に用いた実験 2 の 2 種類を表記する。表 1
は身体動作の座標の移動や動作量から音要素へ変換を行い、カオスパラメータや操作範囲パラメータの操作に用いた。

操作に用いる動作

本研究ではモーションキャプチャによる身体の 15 点の関節情報を用いて身体動作の認識を行う。(図 4)
主に以下の動作をパラメータの操作に用いる。

6

実験

提案手法を評価するため構築したシミュレータを用いて感性実験を行った。モーションキャプチャ用のカメラデバイスに Microsoft 社の Kinect センサを、音楽生成に Cycling 74 社の MAX6 を用いた。今回は 20代の男女 3 名に被験者となってもらい、システムの評価を行った。その時の実験風景を図 5 に示す。

• 身体の中心の移動カメラに対して自身の体の中心の座標がどのような位置にあるかでパラメータを操作する。以降は身体の中心の座標値を C(x, y, z)とする。
• 手の座標人間が操作するのに最も適した部位である手先の座標を用いてパラメータを操作する。今回は Y 座標のみを用いており、以降は左手の Y
座標値を LH(y)、右手の Y 座標値を RH(y) とする。

6.1

実験結果

実際に被験者によって出力されたサウンドを楽譜形式で示す。左は活発なイメージの音 (図 6) を、右は穏やかなイメージの音 (図 7) を生成してもらった。また、実験によるアンケート評価を表 2 に、過去に行った実験 1 と今回行った実験 2 の比較を表 3 に示す。
今回行った実験 2 は実験 1 に比べ、使いやすさが低下しているものの、飽きにくさや面白さでは向上して• 身体動作量各関節においての動作の量によってパラメータを操作する。身体の各部の関節座標の 100msec での動作差分により求める。以降は
M (x, y, z) とする。

53表 2: アンケート評価
項目
被験者 A 被験者 B 被験者 C
使いやすさ
33
2
見やすさ
544
飽きにくさ
52
5
面白さ
54
4
生成した音への評価334

表 3: 事前実験との比較

図 6: 被験者 1 名の活発なイメージの楽譜手法
使いやすさ 見やすさ 飽きにくさ 面白さ 音の評価
事前実験
3.43
4.3
3.83
4
4.1
実験
2.67
4.3
44.6
3.3

参考文献
[1] 鈴木健嗣, 小尾正和, 橋本周司, 音響信号と映像信号を対象としたジェスチャによる音楽指揮システ
ム, 情報処理学会シンポジウム論文集, pp.61-62(2007)

図 7: 被験者 1 名の穏やかなイメージの楽譜[2] 濱田 雅史, 八村 広三郎, 音楽演奏から抽出される感性情報による CG の舞踊表現の制御, 人
文科学とコンピュータ研究会報告 2003(6), 49-56,
2003-01-24

いる点が見られ、被験者からも好評化であった。しかしながら生成された音についてはあまりよい評価は得られず、これはカオスパラメータを動作量による変化にしたので、動作量による操作は被験者がパラメータを維持するのが実験 1 の時に比べ難しくなってしまった点が原因であると推測する。

7[3] 岡田龍太郎, 芳村 亮, 本間秀典, 北川高嗣, 任意の言葉の音相の印象に合致した楽曲の自動構成方式, 日本データベース学会 Letters, Vol.6, No.2,pp.25-28 (2007)

むすび[4] 前田陽一郎, 宮下滋, 対話型遺伝的アルゴリズムを用いたカオティック・インタラクティブ・サウン
ド生成システム, 日本知能情報ファジィ学会誌,
Vol.21, No.5, pp.768-781 (2009)

本研究では、外部カメラを用いて人間の身体動作からパラメータの操作を行い、より人間が楽しみながら直感的操作をしやすいシステムを目指している。今回の実験では動作量による音の操作の適性やアミューズメント性の検証も踏まえて実験を行った。実験により動作量によるアミューズメント性の向上は認められたが、操作性の難易度から生成された音への評価は下がってしまった。
今後の予定としては、アミューズメント性と出力された音への評価を高めるために、ジェスチャ動作等の固定化された動作による操作を用いた新たな音楽理論等の導入や、視覚情報も用いたインタラクティブシステムを実現していく予定である。

[5] 金子邦彦, ”複雑系のカオス的シナリオ,店 (2001)

54

朝倉書