画像電子学会
The Institute of Image Electronics
Engineers of Japan

年次大会予稿
Proceedings of the Media Computing Conference

バイオリン演奏時のモーションキャプチャを用いた特徴抽出の検討
Study on Feature Extraction Behavior of Violinist using Motion Capture
入江寿弘†

Toshihiro IRIE††日本大学†Nihon University

E-mail: †tirie@eme.cst.nihon-u.ac.jp

1. は じ め にり予定の計測可能領域が有られない場合は、再度カメ

日本舞踊やバイオリン演奏などの芸術分野におけるラの位置・姿勢角を調整して一連のカメラ キャリブレ

高度な技能の伝承は、技能者と生徒が 1 対 1 での直接ーションを行う。

的な教育が効果的である。技能の習得には繰り返しの練習が不可欠であるが、卓越した技能者の人数は少な

2.2 セ ン サ 式 モ ー シ ョ ン キ ャ プ チ ャく、直接的な教育が充分実施できない状況である。

光学式モーションキャプチャでは計測領域の外側にそ こ で 、生 徒 に 動 作 を 効 率 的 に 教 示 し 、技 術 を 的 確 にカメラを設置するため、三脚やポールまたは天井に取新しい世代に継承する教育支援システムの開発が求めり付けた架台にカメラを取り付ける。このため計測専られている。技能の伝承・保存のために、モーション用のスタジオが必要で、計測用カメラ自体も高フレーキャプチャを用いた動作のディジタルデータでの記録ムレートでの撮影が必要なため、通常のテレビカメラが普及してきている。

より高額である。

本研究では芸術分野における教育支援システムの構築[ 1]を目的としてバイオリン演奏の動作計測と解析方法について検討を行った。

半 導 体 製 造 技 術 の 発 達 で MEMS （ Micro ElectroMechanical Systems）技 術 を 用 い た 加 速 度 セ ン サ 、角 速度センサなど各種センサが安価に入手可能となってきた。これらのセンサを用いる事により安価なモーショ

2.モ ー シ ョ ン キ ャ プ チ ャンキャプチャが構築でき、一般的にも市販されるよう

2.1 光 学 式 モ ー シ ョ ン キ ャ プ チ ャになってきている。

モーションキャプチャとは、人物や物体の動作計測を行い、そのデータをディジタル化してコンピュータに 取 り 込 む こ と で 記 録 す る 方 法 [ 2] で あ る 。 光 学 式 モ ーションキャプチャは計測対象に取り付けられた複数の球状の反射マーカの画像を複数台のカメラでコンピュータに読み込み、それぞれの反射マーカのカメラ撮像面での２次元座標を抽出する。 それらのデータから反射マーカの３次元位置を求めるために、最初にそれぞれのカメラの３次元の位置と姿勢角を求めるキャリブ
図 1

レーションを行う。L 字型の枠にマーカを貼り付けたモーションセンサ

キャリブレータをすべてのカメラでとらえる事が出来

セ ン サ 式 モ ー シ ョ ン キ ャ プ チ ャ (図 1)で は 加 速 度 セる要に計測エリアの中心に配置し、カメラ撮像面でのンサ、角速度センサ、地磁気センサを用いて姿勢角をマーカの２次元位置を元にキャリブレータの位置を原検出することが可能である。ただし、光学式モーショ点とする座標上でのカメラの位置と姿勢角を算出する。

ンキャプチャの様に３次元的な位置を検出することは次に、カメラの２次元的な位置関係が有る程度求ま出来ないので、仮想的な地面を設定し足底部分の接地

っ て い る 状 態 で 、計 測 エ リ ア 全 体 で T 字 型 の キ ャ リ ブと遊脚の判定を行いながら空間内での移動を推定してレータを動かしながら一定時間計測を行い、すべてのいる。

カメラで捉えたマーカ位置が計測領域全体でほぼ満足

また、推定する角度情報の中でピ ッチ角・ロール角する変換係数行列を求める。カメラの配置や台数によは速度センサと合わせて推定することは出来るが、ヨ画像電子学会
The Institute of Image Electronics
Engineers of Japan

年次大会予稿
Proceedings of the Media Computing Conference

ー角については地磁気を用いて推定している。地磁気は磁性体が近くに有ると影響を受けやすいのでセンサ周辺に金属製品が無い様に配慮する必要が有る。

3.2 ビブラート演 奏
図 4 はモーションキャプチャで計測したバイオリン
演奏時の弓の 3 か所の x 軸方向の軌跡である。それぞ

センサ式モーションキャプチャでも測定前にキャれ一直線上の弓に付けたマーカは固定している位置がリブレーションが必要で被験者がセンサを装着した状違うにも関わらず、各位置の軸はほぼ同様の動きをし態で幾つかの決められた姿勢を行う事で各センサの補ているとわかる。

正係数等を推定している。しかし、センサの取り付け次に、マーカ同士が近すぎると誤認識を起こすため、位置や向きを厳密に決めるのが困難で、キャリブレー

左 手 の 親 指（ 図 5）、人 差 し 指（ 図 6）、薬 指（ 図 7）にションの姿勢も正確に決められないので光学式モーシつけたマーカの計測が行えているか確認を行った。

ョンキャプチャ程の精度確保ができない事が課題である。

3.モ ー シ ョ ン キ ャ プ チ ャ に よ る 計 測
3.1 測 定 条 件
モーションキャプチャを用いてバイオリン演奏の動作計測を行った。バイオリン演奏の動作計測はマーカ を 上 半 身 42 個 、指 3 個 、バ イ オ リ ン 5 個 、弓 3 個 につ け た 計 53 個 の マ ー カ を 取 り 付 け 4m×4m の 計 測 領 域
で 計 測 を 行 っ た 。11 台 の カ メ ラ を 設 置 し 、カ メ ラ キ ャ
リブレーションやピント調整を行うことでカメラ位置

図 4

弓のマーカ位置の計測結果演奏した曲は「きらきら星」でビブラートで指板をやパラメータの調整を行った。

押さえている指の位置を動かし、聴覚上見かけの音高を保ちながら音の高さを揺らす技術を用いて演奏してた。親指はほぼ動かさず、人差し指、薬 指を動かす。
この実験では人差し指の位置移動を行わなかった
ので親指とほぼ同じ位置で動いいる事が判る。
また、ビブラートによりグラフのように人差し指と薬指は、親指よりも振幅が大きく動作している。
zx（ a）
図 2

しかし、手の近くに付けたマーカは楽器の陰に隠れyたり、違う指と間違えて認識してしまうことも多いた
め補正が必要であることが判った 。

(b)

モーションキャプチャ計測
１ :Top Bow

2 :M i d dl e B ow
3 :B o t to m B o w（ a） 表 面
図 3(b)裏 面(c)弓計測に用いたバイオリン

図 2（ a）は 計 測 中 の 様 子 の 写 真 、（ b）は マ ー カ 位 置をモーションキャプチャのシステム上で表示したものである。図 3 は計測に用いたバイオリンで赤の矢印位置にマーカを取り付けた場所を示す。

図 5 ビブラート時の親指の軌跡

画像電子学会
The Institute of Image Electronics
Engineers of Japan

年次大会予稿
Proceedings of the Media Computing Conference

3.3 ボーイング計 測 の比 較
次 に ボ ー イ ン グ 動 作 で 442[Hz]で チ ュ ー ニ ン グ さ れた 開 放 弦 第 ２ 弦 Ａ 音 (ラ )を 発 生 す る 動 作 に つ い て 計 測を行った。ボーイングは弦の同じ位置を弓下から弓先まで全弓で弾き続けることで均質な音を出す練習動作を計測した。図 8 は生徒のボーイングの軌跡で図 9 は教 師 の 軌 跡 で あ る 。 Top Bow と Bottom Bow の 軌 跡 が教師はほぼ等間隔であるのに対して生徒の場合は折り返し点で狭まっていることが判る。この事から教師はほぼ平行に動かしているのに対し、生徒は傾きが変化していることが判る。
図 6 ビブラート時の人差し指の軌跡

3.4 音 の解 析ボーイングを行った際の音量の時間的な変化につい振幅て解析した。

図 7 ビブラート時の薬指の軌跡
時 間 [s]振幅

図 10 ボ ー イ ン グ 時 の 音 量 変 化 （ 生 徒 ）

図 8 ボーイング動作の軌跡（生徒）時 間 [s]

図 11 ボ ー イ ン グ 時 の 音 量 変 化 （ 教 師 ）図 10 の 生 徒 は 小 刻 み に 振 幅 が 変 化 し て い る の に 対 し 、
図 11 の 教 師 の 演 奏 は 変 化 が ゆ っ た り と し て い る こ とがわかる。また、生徒は弓の移動方向で音量が 異なっているのに対し、教師は方向に関わらずほぼ一定の音量を保って演奏している事が判る。
バイオリン演奏におけるボーイング動作ではより安定した状態を維持することが重要な要素となるため、技能者の方が音響解析からも安定したボーイングを行っていることがわかる

図 9 ボーイング動作の軌跡（教師）4. ま と め
楽器演奏の動作についてモーションキャプチャを行

画像電子学会
The Institute of Image Electronics
Engineers of Japan

年次大会予稿
Proceedings of the Media Computing Conference

い基本的な動作での教師と生徒の動作や音の違いについて検討を行った。
今後、機会が有れば卓越した技能者の演奏についても そ の 動 作 の 計 測 や 特 徴 分 析 を 行 い 、３ DCG で の 動 作
教示やロボットを用いた演奏等についても検討していく予定である。
謝辞

この研究を行う当たり、適切な助言を頂いた川上央先生、斎藤恵美子先生、長尾嘉満先生に深く感謝いた
し ま す 。そ し て 、バ イ オ リ ン の モ ー シ ョ ン キ ャ の 計 測・実験データの整理等を行ってくれた実験当時の研究室の大学院生達に感謝します。
問合せ先：
入江寿弘

〒 274-8501

千 葉 県 船 橋 市 習 志 野 台 7-24-1

日本大学理工学部

精 密 機 械 工 学 科 613 室

TEL 047-469-8792
e-mail： tirie@eme.cst.nihon-u.ac.jp

文

献[1] 日 本 舞 踊 の 技 能 教 示 シ ス テ ム の 研 究 :-カ メ ラ と 慣
性 セ ン サ を 用 い た 動 作 計 測 シ ス テ ム の 検 討 -,高 村
直 也 ,栗 山 寛 子 ,田 中 拓 也 ,小 野 寺 司 ,青 木 駿 介 ,入 江寿 弘 ,丸 茂 美 恵 子 , 第 18 回 計 算 工 学 講 演 会 論 文 集 ,H-2-4, 2013[2] デ ィ ジ タ ル 画 像 処 理 :奥 富 正 敏 、小 沢 眞 治 、清 水 雅夫 、 堀 修 CG-ARTS 協 会 、 2006