WISS2008

演奏ルールを用いたウッドベースのための実時間運指取得システムの開発
Development of a Real-Time Fingering Detection System for Contrabass Using Musical Rules

澤 光映

竹川 佳成

寺田 努

塚本 昌彦∗

Summary. 弦楽器演奏において運指は演奏に影響する重要な要素であるが，同じ楽曲であっても演奏家の身体的特徴や音楽の表現方法によってさまざまな運指が考えられるため，楽曲から運指を一意に決定することは難しい．一方，実際に演奏を聞きながらリアルタイムで演奏者の運指情報を得られれば，誤った運指を認識して修正するなど効率的な演奏学習が可能となる．そこで本論文では，カメラベースのシンプルな画像処理と，ウッドベースの演奏特性をもとに定義したルールを組み合わせることで，実時間で高精度にウッドベース演奏の運指を取得するシステムの構築を目的とする．提案システムは，指に貼り付けたカラーマーカをカメラで読み取り，ウッドベースの演奏特性から定義したルールを用いて検出結果を補正することで運指検出を行う．評価実験の結果，提案手法を用いた場合は平均 87%の正答率で運指が取得できた．また，本システムを独習および遠隔レッスンのための学習支援に応用し，その有用性について検討した．

1

はじめに演奏家が望む音楽表現を実現するために用いる演奏技術の 1 つに運指 (指使い) がある．本研究で対象とするウッドベース (コントラバス) においても，運指は音程の良し悪し，フレーズ自体の弾きやすさ，音色などの音楽表現に大きく影響するため，演奏家は弾きやすさや効率より作品の意図を考えた音楽的な指使いを選ぶ．意図する音楽表現は演奏家各々で異なるため，優れた運指は数多く存在する.
一方，我々が得られる運指情報は，作曲家や教育者によって書き入れられた楽譜や教則本など数少ないため，レッスンの現場では指導者は生徒の演奏を見ながら運指の指導を行う．しかし，地理的に離れた教師と生徒がレッスンを行う遠隔レッスン [1] では，質の高いテレビ会議システムの構築はコスト面で難しく，指導者は生徒の演奏状況を十分に確認できない．したがって，リアルタイムに演奏者の運指を取得する技術が求められている．運指情報が取得できれば，遠隔レッスン以外にも，誤った運指を認識して修正するなどの独習支援や，演奏と運指を同時に見ながらの効率的な演奏学習が可能となる．
これまでに筆者らの研究グループでは，カメラベースのシンプルな画像処理と，鍵盤の演奏特性をもとに定義した演奏ルールを組み合わせることで，実時間でピアノ演奏の運指を取得するシステムを構築した [2]．このシステムは，鍵盤楽器専用ルールを提案
し，打鍵をする位置に他の指が存在することはほとんどなく，認識結果の信頼性が高いという理由から∗

Copyright is held by the author(s).
Mitsuteru Sawa, Tsutomu Terada and MasahikoTsukamoto, 神戸大学大学院 工学研究科 電気電子工学専攻, Yoshinari Takegawa, 神戸大学 自然科学系先端融合研究環

運指が未検出の場合のみにルールを適用していた．
しかし，ウッドベースのように，一定の音域内に複数の指が密集するために起こる誤検出を防ぐ必要がある楽器にはうまく適用できない．したがって，ウッドベース専用ルールとルール処理アルゴリズムの考案が新たに求められる．
そこで本論文では，ウッドベースを対象とした実時間運指取得システムを構築する．提案システムでは，指に貼り付けた小型のカラーマーカをカメラで読み取り，さらにウッドベースによる演奏特性をルールとして定義し，ルールの実行タイミングを柔軟に制御できるルール処理手法を導入し，カメラによる検出結果を補正することで高精度な運指検出を行う.
以下，2 章でシステムの設計について述べ，3 章でシステムの実装を説明する．4 章では評価について述べ，5 章で考察を行う．6 章で応用について述べ，最後に 7 章で本論文のまとめを行う．

2システムの設計

本論文で構築する運指取得システムは，以下の方針をもとに設計した.
1. 演奏を妨げない運指取得
2. 演奏ルールを用いた補正処理
1. に関しては，コンサートやレッスンなど演奏者が演奏に集中していても利用できるように出来る限り演奏を妨げない，つまり指に余計なデバイスをつけずにシステムを実現することを目指した．提案システムではカメラを用い，各指の爪に貼り付けたカラーマーカの画像処理から運指取得を行う．カラーマーカは薄いシールであり，装着に違和感が少ない．
2. に関しては，演奏や弦の配列，手の特性をもとに定義したルールにより運指を補正する．提案シス
テムは実時間処理を実現するため，画像処理をシンWISS 2008No1

ベース ピックアップ
音高，音高，弦情報

2
3
4
5
6

固定カメラ
固定カメラ カメラ映像
カメラ映像
動画像データ
動画像データ

表 1. 運指ルール
項目
運指ポジションが検出できれば運指は一意に決まる
第 1 フレットは人差指で押弦する
ローポジションでは親指，薬指で押弦しない
ハイポジションでは小指で押弦しない
指の交差は生じない
開放弦は押弦しない

PC

運指情報生成図 1. システム構成

前 指板領域の抽出
処 マーカの色情報取得
理

薬指は小指の補助

マーカを監視No發弦/押弦/離弦イベント
Yes

押弦している指の解析
ルールによる運指補正
運指情報生成図 2. 運指解析処理のフローチャート

プルにしており，正確な運指の取得は困難である．また，演奏時には指が見えにくくなることもあるため，画像処理だけで正確に指の位置を特定することは難しい．そこで，本システムでは目的をウッドベース演奏に特化し，ウッドベースのピックアップから生成される押弦イベント (ノートオン) や離弦イベント(ノートオフ) の発生と画像処理を連携させることで押弦位置を特定し，さらに，ウッドベースの演奏特性を表すルールを適用することで運指情報を取得する．
2.1

システム構成提案する運指取得システムの構成を図 1 に示す．
カメラを用いて取得した指板領域とマーカの動画像データ及び，ピックアップから得られる演奏情報 (音高，弦番号) をもとに PC 上で運指を特定する．運指解析処理の流れを図 2 に示す．カメラはベース本体に固定し，前処理としてカメラ画像から指板領域を抽出する．カラーマーカの色抽出は，カメラ画像から得られた RGB 値を輝度変化に強い HSV 値に変換し，認識させる．
ウッドベース演奏者は，左手で押弦を行い，右手小指は使用しない

図 3. ローポジション (左)，ハイポジション (右) における左手のフォームで撥弦することが一般的である．撥弦操作を行う右手は，ピチカート奏法 (弦を指ではじくことによって音を出す演奏技法) の場合，基本的に人差指を使用するため，右手の運指解析は行わない. 左手の押弦していない指の状態は，運指特定において重要である
ため，システムは撥弦操作時だけでなく常にカラーマーカを監視しておき，押弦/離弦が生じたときは押弦/離弦した指を解析する．また，ルールによる運指補正は，撥弦操作時を含めて常に実行される.
2.2

ルールによる運指補正

本研究ではシンプルな画像処理を用いてマーカの位置検出を行うため，マーカの認識ミスが生じる．
一般に，認識精度を上げるためには特別な画像変換や複雑なパターン認識を用いるが，それらを適用すると計算コストが高くなり，リアルタイム処理が難しくなる．また，押弦している指が他の指に隠れたり，カメラに対して指を立て過ぎるなど画像処理ではマーカを認識できない状況も起こりうる．そこで，ウッドベース演奏の特徴を活かし，演奏や弦の配列をもとに定義したルールを用い，運指の補正を行う.
表 1 に本システムで適用した運指ルールを示す．なお，これらのルールは特殊奏法 (和音奏法やライトハンド奏法等) を想定しておらず，一般的な奏法のみを想定している．特殊奏法については今後，検討していく予定である．以下にそれぞれのルールについて説明する．

Development of a Real-Time Fingering Detection System for Contrabass Using Musical Rules

薬指が運指同一フレット上で中指, 小指が検出
Yes
マーカの確度が高い方を運指とする

中指

小指

No

人差し指は検出できているYes
人差し指の検出位置を運指の候補から除外できる．本ルールでは小指が検出された場合，薬指を運指とする．

No

基本的な押弦する
手の形の特性より薬指の１つ上のフレットで検出

薬指の２つ上のフレットで検出

中指

小指

ルール 5
ルール 2 で述べたように，ウッドベースには運指ポジションを基にした構え方で演奏するので，人差指または中指が小指をまたいで押弦することはない．
ルール 6

中指

図 4. 薬指が検出された場合の運指候補決定のフロー
チャート

楽器の特性上，開放弦では押弦しないため，開放弦に運指は存在しない．
以上の 6 つのルールは，3 人のウッドベース奏者の 3 曲の演奏を観察した結果，96%の確度で満たされていることを確認した.
2.3

ルール 1
運指ポジションが検出できれば，運指は一意に決まる．ウッドベースはエレキベース [3] にあるようなフレットは存在しないが，演奏者は指板上にフレットがあると仮想的に見立て，3 つの連続するフレット上に押弦に使用する指を順番に配置する．この配置を運指ポジションと呼ぶ．本ルールを用いることで，例えばローポジションで実際の運指が中指とし，その運指が未検出の場合，未検出の運指の上下の仮想的なフレット付近にあるマーカを探索し，どちらか一方のマーカが検出できればその運指を中指に決定できる.
ルール 2
本ルールは，楽器の構造上，第 1 フレットは人差指で押さえることが一般的であることを利用したものである．このルールを用いると，検出したマーカの位置に依存せず，演奏情報 (音高，弦番号) で運指が一意に定まるため，第 1 フレットの運指を正確に検出できる.
ルール 3
本論文では，ローポジションを第 0 フレットから第 11 フレットまでとする．図 3 はローポジション，ハイポジションにおける左手のフォームを示している．ローポジションでは，図 3(左) に示すように，人差指，中指，小指を押弦に使用する． 薬指は小指が押弦する時の負荷を軽減するための補助的な役割を担っている．本ルールを用いることで，ローポジションで發弦が発生した場合，親指，薬指が運指として認識されたときの誤認識を検出できる．親指はネックの後ろ側にあり，押弦に使用しないため運指候補としない．図 4 は薬指が検出された場合の運指候補決定のフローチャートを示す．
ルール 4
本論文では，ハイポジションを第 12 フレットから第 24 フレットまでとする．図 3(右) に示すように，ハイポジションでは，親指，人差指，中指，薬指を押弦に使用し，小指は使用しない．そのため，小指ルール処理

ウッドベースでは，楽器と押弦する手のフォームの特性上，一定の音高内に複数の指が密集する場合があり，それによる誤検出を防ぐ必要がある．このためルール処理部において，画像処理による結果を優先にする場合と，ルールによる運指予測結果を優先にする場合の 2 種類の処理手法を採用し，ルールを定義する際にどちらの処理手法を用いるかを決定することとした．具体的には表 1 におけるルール 1，5 は従来研究 [2] と同様に画像処理により運指が求まらなかった場合にのみ適用され，ルール 2，3，4，6 は画像処理による運指認識結果よりも優先される．
このように処理方法を選択的にすることによる認識率の変化は 4 章にて評価する．

3

システムの実装

2 章で述べた運指取得システムのプロトタイプを実装した．PC としては，ASUS 社の P5B-VM(CPUCore2 Duo 2.13GHz，RAM 3GB) を使用し，カメラは，Creative 社の WebCam Live! Motion(解像度 320× 240，フレームレート 最大 30fps) を用いた．使用
楽器はウッドベースとほぼ同じスケール (弦長) をもつ ARIA 社のアップライトベース SWB-LITE sp を使用した．撥弦された音を MIDI 情報として取得するために，ベースにアクティブピックアップである
Roland 社の GK-3B を装着し，MIDI インターフェースとして Roland 社の GI-20 を用いた．マーカは 3M社のスコッチライトと，kincsem 社の蛍光テープから赤，緑，青，ピンク，黄の 5 色を用いた．カメラ
はベースに木の枠を装着し，指板領域と爪に貼ってあるマーカがよく見える位置に調節した．1 台のカメラで処理する指板領域が広くなると相対的にマーカが小さくなり認識率が低下するため，今回のプロトタイプではカメラ 3 台用い，各弦開放弦の位置から 5 フレットまで，6 フレットから 11 フレットまで，12 フレットから 24 フレットまでの 3 つの領域をそれぞれ担当させた．PC 上のソフトウェアの開発は，Windows XP 上で Visual C++ .NET2005 と Intel 社の OpenCV ライブラリを用いて行った．

WISS 2008

表 2. 課題曲

楽曲名FLY ME TO THE MOON
THE DAYS OF WINE AND ROSES
WAVE

作者名
Bart Howard
Henry Mancini
Antonio Carlos Jobim

正答率
90
80
70
60

4.2

50
40
30
20
10

曲

A

条件

楽曲

ルールなし
ルールあり
従来手法

曲A

曲

B

曲B

曲

C

曲C

66.4%

60.9%

51.4%

84.9%

89.9%

85.1%

70.1%

78.4%

69.9%

図 5. 認識正答率

4

評価

実装したプロトタイプの有効性を示すために，ウッドベース習熟者 3 名に 3 つの曲目を演奏させ，運指認識の正答率を調査した．また，ルールを適用した場合としない場合とで比較し，ルールの有効性について検証した．以下に，実験の詳細を述べる.
4.1

略称
曲A
曲B
曲C

演奏してもらった．プロトタイプを用い，ルール適用時および未適用時の運指などの演奏情報を記録した．また，被験者の手元を撮影した映像をもとに正解運指列を得た．

(%)

100

0

テンポ
4 分音符 = 80
4 分音符 = 100
4 分音符 = 125

実験の手続き課題曲
表 2 に実験で演奏した課題曲を示す．また，実験
では，曲 A は頭から 16 小節目まで，曲 B はそのコード進行をもとにしたウォーキング・ライン 16 小節，
曲 C は頭から 16 小節目までを譜面どおり演奏してもらった．曲 A は課題曲の中でもっともテンポが遅いが，ハイポジションでの演奏が多く含まれている．
曲 B は 4 分音符のみで構成され，Jazz では一般的なベースラインである．曲 C は課題曲の中でもっともテンポが速く，リズミカルで音の跳躍も多い．
被験者
課題曲を楽譜に指定されたテンポで十分に弾きこなせる大学生 3 名 (ウッドベース歴 6 年，4 年，3 年)の 3 名で実験した．
実験の手続き被験者は曲 A から C の順にすべての曲を 3 回づつ弾き，弾きやすい運指で楽譜に指示されたテンポで評価結果

図 5 に各楽曲のルール適用時と未適用時の運指認識正解率を示す．ルール適用時の運指認識正答率は平均して 87%と高く，同音異弦の識別ができ，高速で複雑な演奏の追従を高い精度で行えた．また，図6 に認識結果の詳細を示す．以下，具体的なルール適用事例を述べる．
事例 1
マーカ認識の不安定さから，運指を認識できない例である．図 6 に示す「曲 B の 1 小節目の Eb 音」のような第 1 フレット上に運指の音高がある場合，ルール 2 を用いることで人差し指を運指とできた．
事例 2
図 6 に示す「曲 A の 8 小節目の C#音」はローポジションで演奏されていたが，ルール未適用時，薬指で押弦していると誤認識していた．ルール 3 を適用することで正しく小指が認識された．
事例 3
図 6 に示す「曲 A の 1 小節目の B 音」はハイポジションで演奏されていたが，ルール未適用時，小指で押弦していると誤認識していた．ルール 4 を適用することで小指は運指交互から除外された.
ルール適用時にうまく認識できなかった箇所
図 6 に示す「曲 C の 10 小節目の Bb 音」では，実際には中指で押弦していたが小指で押弦していると誤認識した．これはルール 3 がうまく機能しなかった例である．ルール 3 では薬指が運指として検出されたときの処理を想定しているが，押弦されたときの左手のフォームをビデオ映像で確認したところ，小指が運指認識するフレット近傍にあったことや，指先の傾きの影響もあり，マーカの確度は小指のほうが中指よりも高かったため誤認識してしまった．

5考察

従来研究のルール処理との比較
筆者らの先行研究 [2] ではルール処理部において，画像処理から運指が得られなかった場合のみ，ルールを用いて認識できなかった運指を確定するというDevelopment of a Real-Time Fingering Detection System for Contrabass Using Musical Rules

曲A

ルール適応時 3
ルール未適応時
曲B

1

ルール適応時ルール未適応時
曲C

2

12 T 3

34T

事例3
4

100

81

2

3

93

21×
事例1

ルール適応時 4 1 4 0 4 1
ルール未適応時 3243

10111244

ルール適応ミス
運指番号0T
指解放弦
親指4022240

事例21134 1×
事例1

1
人差し指432中指043
薬指

0 1 414
小指

図 6. 認識結果の詳細

表 3. 被験者に対するアンケート

No1234

質問項目
マーカは演奏中，妨げにならない運指がすぐにわかることは嬉しい
本システムを利用したい
実際に効果が期待できる

評価
4.0
4.3
4.0
3.6

アプローチを採用していた．これは，鍵盤楽器であれば，画像処理で運指が取得できた場合，打鍵をする位置に指が密集することは少なく，誤認識をすることがめったにないことを利用したものである．一方，提案手法では，ウッドベースの特性を考慮し，画像処理による結果を優先にする場合と，ルールによる運指予測結果を優先にする場合の 2 種類の処理手法を採用し，ルールを定義する際にどちらの処理手法を用いるかを定義しておくこととした．図 5 に示す
実験結果より，従来のルール処理では，特にローポジションにおける薬指の誤検出が多く (ローポジションでは薬指で押弦しない)，提案手法より平均 14%誤検出が多くなっていた．このことから，提案手法におけるルール処理の優位性が示せたといえる．
被験者に対するアンケートの実施
評価実験後に，被験者 3 名にアンケートを実施した．表 3 にアンケートの内容と評価の平均を示す (1が評価が最も低く，5 が最も評価が高い)．全体的に本システムに対して肯定的な意見が多く，実際に利用してみたいという意見を得た．また，カメラを楽器に固定することで楽器が重くなり，少し違和感が出るなど，システムの問題点も指摘された．

関連研究
2 台のカメラを用い，画像処理を用いてギターのコード検出を行うシステムがある [4]．この研究ではカメラに撮影される色の変動の影響を考慮するなどロバストな指認識を可能にしており, コード検出において精度の高い認識を実現している．また，フォトリフレクタ方式による撮像システムを用いて楽器側から運指を認識する研究がある [5]．しかし，楽器本体に特別な装置を埋め込む必要があり，個人が所有している楽器をそのまま使用して運指を認識できない．一方，あらかじめ入力しておいた楽曲データをもとに運指を自動生成する試みも存在する．鍵盤運指生成のアプローチとして [6] があり，弦楽器では[7] がある．これらの研究はいくつかの運指ルールを含んでおりこれらのルールを取り込むことで提案方式の精度を高められる可能性がある．
本研究は，筆者らの研究グループで構築した鍵盤楽器のための運指取得のコンセプトを参考にしている [2]．しかし，先行研究は，同一の音高を発音する方法が複数通り存在し，音高指定と撥弦が異なる位置で行われる奏法など弦楽器ならではの特性に対応できない．したがって，本研究では，ウッドベースの演奏法に特化したルールの考案と処理タイミングの拡張，カメラ位置の検討，指板領域の抽出，音高・音量・撥弦/離弦タイミングといった演奏情報の取得方法など，システムの本質的な問題から実装上の問題まで検討および改良を重ねたものである．

6

応用

提案システムの実用例として，独習や遠隔レッスンなどの運指学習支援があげられる．そこで，これWISS 2008

追跡アルゴリズムを用いていたため，弾き直しやミスタッチがあった場合，楽譜にプロットする運指情報と整合がとれない場合があった．演奏者の演奏を追跡するアルゴリズムはこれまでに多数提案されており，それらを応用したり，運指認識情報を活用した新たな演奏追跡アルゴリズムを提案していきたい．

7４ ４ １ ０ ２ ０ ２ ４ ４ ４２２００２１２ ０ ２１ ０１ ２１

１ ４ ２０ ２４ ０ ２２２ １ １０ ２ ４４２２０ ４
図 7. 学習支援アプリケーションのスクリーンショット

らを想定したアプリケーションを実装した．
図 7 に実装したアプリケーションのスクリーンショットを示す．アプリケーションでは押弦する手がキャプチャされているカメラ画像 (図 7 左上) および，指定した楽譜の音符 (図 7 下) の下に取得した運指を表示させている．また，あらかじめ正解運指をシステムに登録しておき，正解運指と実際に得られた運指が異なる場合，表示する運指の色を変え，運指ミスに気づきやすくした．また，独習支援のアプリ
ケーションにおいては，楽譜中にどれだけ運指ミスがあったかという採点機能を実装した．
使用感としては，遠隔レッスンにおいて素早く動く指の画像から運指の特定は難しく，運指情報は有用だった．また，運指認識精度は，誤認識が若干見られたが，楽譜上に記載されている音高や音列情報，経験則から運指を修正できたり，生徒と直接会話することで補完でき，実際のレッスンで十分使えるレベルであった．また，ユーザへは最も確度が高い運指を提示していたが，確度をもとに順位付けされた複数の運指情報を提示するという方法も考えられ，これにより，運指の誤認識を指導者の知識でカバーできると思われる．提示方法に関する検討および評価は今後の課題としたい．
一方，独習では演奏中や演奏後に運指ミスを確認できたり，運指ミスの履歴から自分のミスしやすいところを確認でき，運指学習に有用であった．運指認
識精度に関しては，今回使用した楽曲は筆者自身演奏し慣れていたため，運指誤認識か自分自身のミスか判断できたが，演奏に余裕がない場合や，演奏習熟レベルが低い場合，混乱を招くと考えられる．運指の独習を支援を目的とする場合は，認識精度の向上は必須であるといえる．
今回作成したアプリケーションはシンプルな演奏

おわりに

本論文では，爪に貼り付けたカラーマーカをカメラで認識することで実時間でウッドベースの運指を取得するシステムを設計し，プロトタイプを実装した．提案システムは実時間処理を実現するために複雑な画像処理は行わず，ウッドベースの特徴をもとに定義したルールから運指認識率の向上を図った．プ
ロトタイプシステムの評価結果より，運指を高い精度で取得できることがわかった. 今後の課題としては，これまでの章で述べたもの以外に，撥弦に使用する右手の運指取得，他の弦楽器への応用，確度に基づいた運指提示，さまざまなレベルのウッドベース習熟者による評価実験を行う予定である．

謝辞
本研究の一部は，中山隼雄科学技術文化財団研究助成「UnitInstruments: さまざまな演奏スタイルに適用可能な電子楽器の開発」の支援によるものである．ここに記して謝意を表す．

参考文献[1] 遠隔レッスンシステムのホームページ:
http://www.yamaha-mf.or.jp/onken/soft/theme5.html.
[2] 竹川佳成，寺田 努，西尾章治郎: 鍵盤楽器のための実時間運指取得システムの構築，コンピュータ
ソフトウェア (日本ソフトウェア科学会論文誌),
Vol. 23, No. 4, pp. 51–59, 2006．
[3] エレキベースのホームページ:
http://yamaha.jp/product/guitars-basses/el-basses/.
[4] C.Kerdvibulvech，H.Saito: Real-Time Guitar
Chord Recognition System Using Stereo Cameras for Supporting Guitarists，ECTI Transactions on Electrical ENG.，Electronics，andCommunications VOL. 5 NO. 2，pp. 147–157,2007.
[5] 青木直史，棚橋 真，岸本英一，安田星季，岩越睦郎: 画像処理によるギター運指動作のキャプチャ
リング，電子情報通信学会総合大会講演論文集，p.
110, 2005.
[6] M. Hart，R. Bosch, and E. Tsai: Finding Optimal Piano Fingerings, The UMAP Journal, Vol.
21, No. 2, pp. 167–177, 2000.
[7] 三浦雅展，柳田益造: 単旋律ギター演奏における最適押弦位置決定システムの構築，情報処理学会
研究報告，pp. 127–132, 2002.