電子情報通信学会論文誌 2015/2 Vol. J98–D No. 2のとき，事前に指先検出位置を探索空間とした DP ト

5 指の指先の同時追跡に基づくピアノ運指認識手法
有賀橋本治樹†学† a)（正員）乘†

西山

ための粗い追跡経路を算出する．また，指先位置を同典子††（正員）

長田

Piano Fingering Recognition by Simultaneous Tracking of Five
Fingertips††

定しないワイルドカードを探索空間に設定することによって指先の未検出を考慮し，オクルージョンに頑健な安定した追跡を可能とする．

Haruki ARUGA† , Jo NISHIYAMA† , Nonmembers,

Manabu HASHIMOTO† a) , and Noriko NAGATA†† , Members†ラッキング（離散的 DPT）を行い，解析的 DPT の2. 提案アルゴリズム
提案手法のアルゴリズムを図 1 に示す．まず，フ中京大学大学院情報科学研究科，名古屋市

Graduate School of Information Science and Technology,レームごとに指先を検出し，候補指先位置に設定する．

Chukyo University, Nagoya-shi, 466–8666 Japan次に，この候補指先位置をもとに離散的 DPT と解析

関西学院大学大学院理工学研究科，三田市

Graduate School of Science and Engineering,

Kwansei

Gakuin University, Sanda-shi, 669–1337 Japana) E-mail: mana@isl.sist.chukyo-u.ac.jp

的 DPT を用いて五つの指先を同時に追跡し，指先追跡経路を算出する．最後に，この追跡経路と打鍵されDOI:10.14923/transinfj.2014JDL8020

た鍵盤位置を比較することによって運指を判定する．

あらまし 複数の指先の追跡を最適経路決定問題と定される候補指先位置と全指先の対応付けの中から最して扱い，解析的 DPT により得られた追跡経路から適な対応付けを一括処理により算出する．その後，2運指を認識する手法を提案する．複数物体の相対的な段階目の処理である解析的 DPT では，画像全体を探位置関係の連続性を評価することにより，特徴が似た索空間として最適な追跡経路を解析的に算出する．

追跡の 1 段階目の処理である離散的 DPT では，想物体を同時に追跡できる．実験により，運指認識成功

2. 1 離散的 DPT を用いた指先対応付け
解析的 DPT の前処理として，候補指先位置を探率 98%を確認した．
キーワード DP トラッキング，複数物体追跡，ワ索空間とした全指先との対応付けを離散的 DPT により行う．第 t フレームの追跡パラメータを wt =イルドカード，運指認識

1. ま え が き(wt,1 , ..., wt,M )T , wt,m = (xt,m , yt,m )T と定義して，初心者のピアノ演奏の学習をサポートするために運目的関数 (1) を最小化する最適経路（w1 , w2 , ..., wT ）指の自動認識が望まれているが，従来の運指認識手を求める．ただし，M は指先の数，m は指の種類を法 [1], [2] では，指先の密着や，打鍵指のオクルージョ示しており，T は動画像のフレーム数である．また，ンによる誤認識が問題であった．そこで，指先の追跡

λ1 と λ2 は各項の重みである．

を動画全フレームにおける指先位置の最適経路決定問題と捉え，大局的な最適解を求めることによって，指先の密着やオクルージョンに頑健な指先追跡を行い，追跡された全ての指先の経路から運指を認識する手法を提案する．大局的な最適化に基づく追跡手法として，解析的解法によって高精度かつ高速に追跡する手F (w1 , ..., wT ) =T Mdt,m (wt,m )t=1 m=1+λ1MT (wt,m −wt−1,m )2(1)t=2 m=1+λ2T M

2
(wt,m −wt,m−1 )−(wt−1,m −wt−1,m−1 )t=2 m=2法（解析的 DP トラッキング；DPT）[3] がある．この手法は，テンプレートとの類似度とフレーム間の移動量の連続性を評価する目的関数を用いて，画像上の単一物体を追跡する手法である．しかしながら，それぞれの指先を単独で追跡する場合には，指の種類の違いによる画像特徴の差が小さいことに起因して，他の指先との誤対応が起こり得る．
そこで本研究では，指先同士の相対的な位置関係の連続性を評価する項を解析的 DPT の目的関数に加えることにより，解析的 DPT をベースとして五つの指先を同時に追跡し，追跡経路から運指を認識する．こ328

電子情報通信学会論文誌

Fig. 1図 1 提案アルゴリズムのブロック図
The block diagram of proposed algorithm.

c 一般社団法人電子情報通信学会 2015
D Vol. J98–D No. 2 pp. 328–330 

レ タ ーFig. 2

図 2 最適経路の決定手順The procedure for determining the optimalpath.
Fig. 3

第 1 項は，第 t フレームにおいて m の指先が wt,m に

表 1 追跡成功率と処理時間
Tracking success rate and processing time.

存在することを仮定した場合の局所コスト dt,m (wt,m )Table 1を示し，本研究では Chamfer Matching を用いる．第提案手法

2 項，第 3 項はそれぞれ，位置の連続性コストと相対

Mean Shift 法
離散的 DPT
提案手法

位置の連続性コストを意味する．このとき，候補指先位置の中に指先位置を同定しないワイルドカードを設

図3 実験環境
The environment of the experiment.

親指55.049.1
83.1

追跡成功率 [%]
人差指 中指 薬指 小指29.9
1.7
0.96.397.5 97.1 96.6 97.7
97.3 96.8 97.2 98.9

平均
18.8
87.6
94.6

処理時間
[sec]
14.7
49.7
52.4

TMR
（CPU：Intel CORE
i7-2.93GHz，メモリ：8GB）定することによって，セルフオクルージョンによる指先の未検出に対応する．目的関数の計算時には他の指す．演奏楽曲は，一般的には初心者向けの演奏楽曲と先位置から推定した指先位置を用いて評価する．目的

されており，指先のセルフオクルージョンが多数発生関数を用いて最終フレームまで累積コストを計算し，しているが，ピアノの練習曲として一般的に使用され累積コストが最小の位置からバックトレースすることる楽曲である．また，本実験では目的関数 (1) の λ1により，最適経路を決定する．

を 1，λ2 を 7 とした．

2. 2 解析的 DPT を用いた高精度指先追跡

まず，指先追跡の比較実験を示す．比較手法は色ヒ

離散的 DPT により得られた追跡経路を中心としてストグラムを用いた Mean Shift 法 [4] と離散的 DPT

局所コストを二次関数で表現することにより，近似的のみを用いた手法，提案手法とする．結果を表 1 に示に全探索空間で追跡することができる．図 2 に解析

す．追跡成功率は追跡結果と正解位置との距離がしき

的 DP マッチングの処理手順を示す．各フレームの局い値（15 画素）以下であった割合とした．

所コスト関数と累積コスト関数の係数を算出後，最終Mean Shift 法では，指同士の密着により他の指へのフレームの累積コスト関数の最小の位置からバックト誤対応が発生したため，認識率が低下していた．特にレースすることにより，最適経路を決定する．

指同士の密着が頻繁に起きていた中指，薬指，小指の3. 実験結果と考察認識率が低下していた．これに対して，提案手法は誤実 験 に は 初 心 者 向 け の 演 奏 楽 曲 と し て Menuet

対応することなく，安定した追跡が可能であった．指（J.S.Bach）の 一 部 を 演 奏 す る 約 32 秒 間 の 動 画 像

くぐりによって，親指が遮蔽されながら大きく移動し（30fps，960 枚，64 打鍵）を使用した．実験環境をているため，離散的 DPT と提案手法においては，親図 3 に示す．実験には，電子ピアノとして（a）に示指が他の指に比べて追跡成功率が低くなったと考えらしたカシオ計算機株式会社の PX-750BK，RGB カれる．しかし，提案手法は離散的 DPT に比べて，親メラとして（b）に示した The Imaging Source 社の指に対して追跡成功率の向上が確認できた．

DFK22AUC03 を用いた．実験に用いた動画像は，鍵次に，運指認識性能を表 2 に示す．運指認識成功率

盤から高さ 0.8m，鍵盤の奥から手前に向けて約 10 度

は，認識結果の運指と実際の演奏で用いた運指が一致の角度で設置したカメラを用いて取得した．また，約した割合とした．鍵盤の押下の有無は，電子ピアノか3 オクターブの鍵盤を計測可能であり，画像サイズはら得られる MIDI 信号の音名，打鍵開始時刻，打鍵終744x480 である．
（c）に実際に取得した画像の例を示了時刻の情報をもとに判断する．演奏曲に対する提案
329

電子情報通信学会論文誌 2015/2 Vol. J98–D No. 2

Table 2表 2 運指認識成功率と処理時間
Fingering recognition rate and processingtime.

追跡手法
Mean Shift 法
離散的 DPT
提案手法

認識成功率 [%]
409598

処理時間 [sec]
14.7
49.7
52.4

指を認識する手法を提案した．指先のセルフオクルー
ジョンを含む，実演奏データに対する実験により本手法の有用性を確認した．
謝辞 本研究の一部は科研費 B（24300088）の助成を受けて遂行されたものである．
文

手法の認識成功率は 98%，処理時間 52.4 秒であった．

子安大士，木村慎二，前川 仁，“ピアノ演奏動作解析のための 3 次元手指追跡，” 情報科学技術フォーラム講演論
文集，vol.10, no.3, pp.171–172, Sept. 2011.

[2]

有賀治樹，岡 明也，橋本 学，長田典子，“連続デプス
画像解析に基づく仮説検証型ピアノ運指認識手法，” 情処学
音楽情報科学研報，vol.2013–MUS–100, no.11, pp.1–6,Aug. 2013.

[3]

藤村一行，内田誠一，“大局的最適化に基づくトラッキン” 信学論（D），vol.J92-D, no.8,グ–DP トラッキング–，
pp.1279–1288, Aug. 2009.

[4]

D. Comaniciu, V. Ramesh, and P. Meer, “Real-time

運指は，実際に打鍵した指先の追跡結果が打鍵された鍵盤の範囲内（横幅：約 30 画素，縦幅：約 220 画素）であれば正しく認識できるため，表 1 の追跡成功率に比べて運指認識成功率が高くなったと考えられる．本
手法は，演奏が終了した時点から処理を始め，例えば30 秒程度の演奏の場合，演奏後 50 秒程度で結果を出力できる．したがって，演奏を記録した動画像に合わ

献[1]

せて運指認識結果を演奏者に提示することによって，tracking of non-rigid objects using mean shift,” IEEE演奏の支援が十分に可能であると考えられる．

Computer Vision and Pattern Recognition, vol.2,

4. む す び
解析的 DPT をベースとして，新たに複数物体の相対的な位置関係を考慮する項を目的関数に加えることにより，複数の指先を同時に追跡し，追跡経路から運330

pp.142–149, Hilton Head Island, United States ofAmerica, June 2000.

（平成 26 年 5 月 18 日受付，9 月 30 日再受付，10 月 31 日早期公開）