Vol.2016-MUS-112 No.12
2016/7/31

৘ใॲཧֶձ‫ڀݚ‬ใࠂ
IPSJ SIG Technical Reportᰐ͖ಈ࡞ʹΑΔࣗಈේΊ͘ΓγεςϜͰͷ߹ਤͱϦζϜϊϦͷ൑ผ஍Ӫ ͸Δ͔1,a)ᜊ౻ ߁೭1,b)தଜ ӫଠ2ࠧեࢁ ໜथ3֓ཁɿຊใࠂͰ͸ɼࣗಈේΊ͘ΓγεςϜʹ͓͍ͯɼԋ૗ऀͷේΊ͘Γ߹ਤͷᰐ͖ͱϦζϜϊϦಈ࡞Λ൑ผ͢Δํ๏ʹ͍ͭͯٞ࿦͢Δɽ࣮ࡍͷϐΞϊԋ૗ʹ͓͍ͯɼԋ૗ऀ͸ේΊ͘Γ܎ʹᰐ͍ͯේΊ͘Γͷ߹ਤΛૹ͍ͬͯΔ͜ͱ͔Βɼզʑ͸ᰐ͖ಈ࡞ΛΩϡʔͱͨࣗ͠ಈේΊ͘ΓΛ։ൃ͖ͯͨ͠ɽ͔͠͠ɼᰐ͖ಈ࡞͸ේΊ͘Γͷ߹ਤ͚ͩͰ͸ͳ͘ϦζϜͷϊϦʹ΋‫ݱ‬ΕΔɽͦͷͨΊγεςϜ͸ේΊ͘Γ߹ਤͷᰐ͖ಈ࡞ͷΈΛ‫ݕ‬ग़͢Δඞཁ͕͋Δɽͦ͜Ͱɼᰐ͖ಈ࡞ͱϦζϜϊϦಈ࡞ͷαϯϓϧΛूΊͨ݁Ռɼᰐ͖ಈ࡞ΑΓ΋ϦζϜϊϦಈ࡞͸ઙ͘ᰐ͍͍ͯΔ͜ͱ͕໌Β͔ͱͳͬͨɽ͜ͷ͜ͱ͔Βɼ2 ͭͷಈ࡞ͷ֤ʑʹ͓͚Δඓͷ࠷Լ఺ͷฏ‫ۉ‬Λ‫ٻ‬Ίɼ͞Βʹ྆ऀͷฏ‫ۉ‬Λᮢ஋ͱͯ͠ઃఆ͠ɼͦΕʹΑͬͯ൑ผՄೳ͔Ͳ͏͔Λ࣮‫ʹݧ‬ΑΓௐ΂ͨɽͦͷ݁Ռɼ྆ऀͷ൑ผ͸ՄೳͰ͕͋ͬͨɼේΊ͘Γ߹ਤͷᰐ͖͕ϦζϜϊϦͱͯ͠‫ޡ‬ೝࣝ͞ΕΔ͜ͱ͕͋ͬͨɽ͜Ε͸ᮢ஋ࢉग़ʹ༻͍ͨಈ࡞ͷαϯϓϧ਺͕଍Γͣɼଥ౰ͳᮢ஋Ͱͳ͍͜ͱ͕‫ݪ‬Ҽͱߟ͑ΒΕΔɽࠓ‫ޙ‬ͷ՝୊ͱͯ͠ɼᮢ஋ͷ‫ݸ‬ਓదԠ΋ඞཁͰ͋Ζ͏ɽΩʔϫʔυɿᰐ͖ʹΑΔࣗಈේΊ͘ΓɼָේɼӅΕϚϧίϑϞσϧɼᰐ͖ͱϦζϜϊϦͷ൑ผJibiki Haruka1,a)Saito Yasuyuki1,b)Nakamura Eita2

Sagayama Shigeki3

Abstract: This study discusses a method for discriminating players’ page turning cues against head shaking
motions for the purpose of developing an automatic page turning system for music scores. Nodding is commonly used as a page turning cue in actual piano playing and has been used in our proposed system. Sincea similar motion is made when pianists shake head in time to the music, it is necessary to discriminate pageturning cues from this head shaking motion. Through the experimental results, we noticed that displacement of player’s nose position in head shaking motion is shallower than that in page turning cue. Thus wesubstituted an average between average of the deepest nose position in page turning cue and in head shaking
motion into a threshold to distinguish two types of nodding, and confirmed this eﬀectiveness. Although thesystem could perform page turning properly, sometimes page turning cues were recognized as head shaking
motions incorrectly. As a future work, the threshold should be properly set by personalization process toavoid such error caused by personal diﬀerences of nodding deepness.
Keywords: Automatic page turning by nodding, musical scores, Hidden Markov model, Discrimination ofnodding between page turning cue against head shaking motions

1. ͸͡Ίʹ

ͷԋ૗Ͱ͸ේΊ͘Γ܎Λ͚ͭΔ͜ͱ͕͋Δɽ͜ͷ৔߹ɼࣄલʹԋ૗ऀͱේΊ͘Γ܎ͰේΊ͘ΓͷλΠϛϯάΛ࿅शָ‫ث‬ͷԋ૗ʹָ͓͍ͯේΛΊ͘Δ͜ͱΛේΊ͘Γͱ͍͓͔ͯ͠Ͷ͹ͳΒͣɼේΊ͘Γ܎ͷٕྔʹΑͬͯ͸ָේΛ͏ɽේΊ͘Γ͸‫ج‬ຊతʹԋ૗ऀຊਓ͕ߦ͏͕ɼಛʹϐΞϊ͔ͬ͠ΓΊ͘Εͳ͍ɼָේΛམͱͯ͠͠·͏ͳͲԋ૗ͷ๦͛ʹͳͬͯ͠·͏͜ͱ͕͋ΔɽͦͷͨΊɼਓͷखʹ୅ΘΓɼ123a)b)໦ߋ௡޻‫ߴۀ‬౳ઐ໳ֶߍ
NITɼKisarazu College, Chiba 292–0041, Japan‫౎ژ‬େֶ େֶӃ৘ใֶ‫ڀݚ‬Պ ஌ೳ৘ใֶઐ߈
Kyoto Univ., Sakyo-ku, Kyoto 606–8501, Japan໌࣏େֶ ૯߹਺ཧֶ෦ ઌ୺ϝσΟΞαΠΤϯεֶՊ
Meiji Univ., Nakano-ku, Tokyo 164–8525, Japan
sdj15b08@j.kisarazu.ac.jp
saito@j.kisarazu.ac.jp

c 2016 Information Processing Society of Japan⃝‫ػ‬ց΍ιϑτ΢ΣΞʹΑͬͯΊ͘ΔࣗಈේΊ͘Γ͕։ൃ͞Ε͖ͯͨɽͨͱ͑͹ɼਤ 1 ͸υΠπͷ forma:BeneʢϑΥϧϚɾϕʔωʣ͕ࣾ։ൃͨ͠ࢴָේΛΊ͘ΔේΊ͘Γ‫ػ‬ʮϑϝΫʔϧʯ[1] Ͱ͋ΔɽϑϝΫʔϧʹ͸ϑοτεΠον͕෇ଐ͓ͯ͠ΓɼͦΕΛ౿ΉͱΞʔϜ͕ટճ͠ɼͦͷઌ୺ʹ͋

1Vol.2016-MUS-112 No.12
2016/7/31

৘ใॲཧֶձ‫ڀݚ‬ใࠂ
IPSJ SIG Technical Reportਤ 1ϑϝΫʔϧɽਤ 2ϑΣΞϦʔɽΔ࣓ੴ͕༧Ίϖʔδ۱ʹష͓͍ͬͯͨమย෇͖γʔϧʢΫϦοϓʣΛ‫ٵ‬ணͯ͠ɼͦͷϖʔδΛΊ͘Δɽͨͩ͠ɼ҆ఆද 1ԋ૗தͷಈ࡞ͷঢ়ଶɽͳಈ࡞ͷͨΊʹ͸֎෦ి‫͕ݯ‬ඞཁͰ͋Δ͜ͱ΍ɼϐΞϊͷঢ়ଶઆ໌ϖμϧΛ྆଍Λ࢖ͬͯ౿ΜͰ͍Δ৔߹ɼϑοτεΠονΛS1ಈ͔ͳ͍౿ΊͣʹָේΛΊ͘Εͳ͍ͱ͍͏ܽ఺͕͋Δɽ·ͨɼਤ 2S2ԼΛ޲͘ͷ iPhoneɾiPad ޲͚ిࢠָේαʔϏεʮϑΣΞϦʔʯ[2]S3ಈ͔ͳ͍

S4্Λ޲͘Ͱ͸ɼԋ૗Ի͔Βԋ૗ҐஔਪఆΛࣗ͠ಈේΊ͘Γ‫ػ‬ೳΛ࣮૷͍ͯ͠Δɽ࣋ͪӡͼ͕༰қͰ͋Δͷ͸ར఺͕ͩɼઐ༻ͷָේΛ 1 ‫ ۂ‬400 ԁͰߪೖ͠ͳ͚Ε͹ͳΒͳ͍ͨΊɼखܰʹೝࣝ෦ʹ෼͚ΒΕΔɽຊষͰ͸ͦΕͧΕͷ෦෼Ͱ༻͍ͨखར༻Ͱ͖Δͱ͸‫͍ݴ‬೉͍ɽ๏ʹ͍ͭͯड़΂Δɽ‫ࡏݱ‬ɼൃදձ΍ίϯΫʔϧͳͲͷ࣮ࡍͷԋ૗Ͱ͸ɼԋ૗ऀ͸ේΊ͘Γ܎ʹᰐ͍ͯේΊ͘Γͷ߹ਤΛૹ͍ͬͯΔɽͦ

3.1 ‫إ‬௥੻෦͜Ͱɼզʑ͸ᰐ͖ͷδΣενϟೝࣝʹΑΔࣗಈේΊ͘Γʹ‫إ‬௥੻෦͸ೋͭͷஈ֊Ͱߏ੒͞Ε͍ͯΔɽୈ 1 ஈ֊Ͱ͍ͭͯιϑτ΢ΣΞͷ։ൃΛߦ͖ͬͯͨ [3]ɽຊ‫Ͱڀݚ‬͸͸ɼUSB ΧϝϥʹΑͬͯऔಘͨ͠ը૾͔Β Haar-like ಛ௃͞Βʹɼᰐ͖ಈ࡞ͱϦζϜϊϦಈ࡞Λ൑ผ͠ɼේΊ͘ΓͷΛ༻͍ͯ‫ݕإ‬ग़Λߦ͏ [4]ɽͦͯ͠ɼ‫ݕ‬ग़ͨ͠‫إ‬ը૾͔Βඓ߹ਤΛग़ͨ͠ͱ͖ͷΈָේ͕Ί͘ΒΕΔΑ͏ͳํ๏Λ‫ݕ‬౼ͷ෦෼ͷը૾Λ੾ΓऔΓςϯϓϨʔτը૾ͱ͢Δɽ·ͨɼ͢ΔɽඓͷҐஔΛऔಘ͓ͯ͘͠ɽ͜ͷୈ 1 ஈ֊͸ιϑτ΢ΣΞ͕

2. ιϑτ΢ΣΞͷཁ‫༷࢓ٻ‬ຊ‫Ͱڀݚ‬։ൃͨ͠ιϑτ΢ΣΞͷ࢓༷͸ҎԼͷ௨ΓͰ͋Δɽ‫ى‬ಈ͞Εͨͱ͖Ұ౓͚࣮ͩߦ͞ΕΔɽୈ 2 ஈ֊Ͱ͸ɼ࠶౓USB ΧϝϥʹΑͬͯऔಘͨ͠ը૾ͱɼςϯϓϨʔτը૾ͰςϯϓϨʔτϚονϯάΛߦ͏ɽͦͯ͠ɼϚονϯά͞ΕͨඓͷҐஔΛऔಘ͠ɼલճҐஔͱࠓճҐஔͷࠩ෼ΛͱΔ͜ͱͰ‫إ‬ͷҠಈ‫཭ڑ‬ɾҠಈํ޲ΛಘΔ͜ͱ͕Ͱ͖Δɽ͜ͷೋ• ಄෦ͷಈ͖Λ web ΧϝϥͰೝࣝ͠ɼͦΕΛේΊ͘Γஈߏ੒ʹΑͬͯɼը૾ϑϨʔϜશମ͔Βຖճ‫ݕإ‬ग़Λߦ͏ͷΩϡʔͱͯ͠࢖༻͢Δɽ• ָේσʔλ͸ PDF ‫͢ͱࣜܗ‬ΔɽΑΓ΋ߴ଎ʹ‫إ‬௥੻Λߦ͏͜ͱ͕Ͱ͖Δɽຊ‫Ͱڀݚ‬͸खܰʹར༻Ͱ͖Δ͜ͱΛ໨తͱͨͨ͠Ίɼ҆

3.2 δΣενϟೝࣝ෦ՁʹೖखͰ͖Δ USB ΧϝϥΛ༻͍Δ͜ͱͱͨ͠ɽ·ͨɼ͢

3.2.1 ӅΕϚϧίϑϞσϧͰʹख‫͋ʹݩ‬ΔࢴͷָේΛར༻͢Δ৔߹ɼεΩϟφʹΑΓᰐ͖ಈ࡞ͷਂ͞΍଎౓ͳͲ͸ɼԋ૗͍ͯ͠Δָ‫ۂ‬΍ԋ૗ָේΛऔΓࠐΉඞཁ͕͋Δɽͦͷͱ͖ PDF ‫ͯ͠ͱࣜܗ‬อऀʹΑͬͯҟͳΔɽͦͷͨΊɼՃ଎౓΍มҐྔɼᰐ͘޲͖ଘ͢Δ͜ͱ͕ଟ͍ɽ͞ΒʹɼPDF ‫Ͱࣜܗ‬͸ 1 ͭͷϑΝΠϧͳͲʹᮢ஋Λઃఆ͢Δ͜ͱͰ͸શͯͷԋ૗ऀͷᰐ͖ಈ࡞Λ಺ʹෳ਺ϖʔδΛ֨ೲͰ͖ΔͨΊɼָේΛอଘ͢Δ‫ͱࣜܗ‬ೝࣝ͢Δͷ͸ෆՄೳͰ͋Δɽͦ͜Ͱɼԋ૗தͷಈ࡞Λঢ়ଶͯ͠࠷దͰ͋ΔɽҎ্ΑΓຊ‫Ͱڀݚ‬͸ָේσʔλ͸ PDFͱ͠ɼ֬཰Ϟσϧͱͯ͠ߟ͑Δɽͨͩ͠ɼ‫؍‬ଌͰ͖Δ৘ใ‫ͨ͠ͱࣜܗ‬ɽ͸ USB Χϝϥ͔ΒಘΒΕΔը૾ͷΈͰ͋ΔͨΊɼᰐ͖ಈ

3. ιϑτ΢ΣΞʹ༻͍ͨख๏
ຊ‫Ͱڀݚ‬։ൃͨ͠ιϑτ΢ΣΞ͸‫إ‬௥੻෦ͱδΣενϟc 2016 Information Processing Society of Japan⃝࡞͸௚઀‫؍‬ଌͰ͖ͳ͍ӅΕঢ়ଶͰ͋ΔɽͦͷͨΊɼӅΕϚϧίϑϞσϧ (HMM, hidden Markov model) Λ༻͍Δɽຊ‫Ͱڀݚ‬͸ԋ૗தͷಈ࡞Λද 1 ʹࣔ͢ 4 ͭͷঢ়ଶʹ෼͚ɼ2

Vol.2016-MUS-112 No.12
2016/7/31

৘ใॲཧֶձ‫ڀݚ‬ใࠂ
IPSJ SIG Technical Report
0.30

s1, s3s2s4

Occurrence probability

0.25ԋ૗தͷಈ࡞ͷϞσϧͷঢ়ଶભҠਤɽද 2‫߸ه‬ࣜதͰ࢖ΘΕ͍ͯΔ‫߸ه‬ɽn࣌‫ྻܥ‬ͷ‫਺ݸ‬(t)

࣌ࠁ t Ͱͷঢ়ଶ

riaijb(sj (t) , o(t) )

0.00
-20

-15

-10
-5
0
510
Distance between current and previous nose position

ਤ 4ঢ়ଶͷ‫਺ݸ‬

o(t)

0.10

આ໌

c
Sj

0.15

0.05

15

20b(sj , dp ) ͷग़ྗ֬཰ɽ
s1
s2, s4
s3

0.16

0.14

(j = 1, 2, · · · , c)

0.12

ग़ྗ

Occurrence probabilityਤ 30.20

ঢ়ଶ i ͕ॳ‫ظ‬બ୒͞ΕΔ֬཰

(i = 1, 2, · · · , c)ঢ়ଶ i ͔Β j ΁ͷભҠ֬཰

0.10

0.08

0.06

0.04ग़ྗ o(t) ͕ঢ়ଶ Sj (t) ͔Β

0.02‫؍‬ଌ͞ΕΔ֬཰
0.00

pj (t)

࣌ࠁ t ʹ͓͚Δঢ়ଶ j ͷ࠷େ֬཰qj (t)࠷దͳঢ়ଶ‫ྻܥ‬ͷ഑ྻ

z(t)

-10

010
20
30
Distance between current and average nose position

ਤ 5࠷దͳঢ়ଶ‫ྻܥ‬ͷঢ়ଶ൪߸ӅΕϚϧίϑϞσϧԽ͢Δɽ͜ͷϞσϧͷঢ়ଶભҠΛਤ 3ʹࣔ͢ɽͨͱ͑͹ɼS1 S2 S3 S4 S1 ΍ S1 S2 S4 S1 ͷΑ͏ͳঢ়ଶ‫ྻܥ‬ͷ৔߹ɼ1 ճᰐ͍ͨͱߟ͑ΒΕΔɽ·ͨɼS3 ͷb(sj , da ) ͷग़ྗ֬཰ɽ

z (n) = argmaxi {pi (n) }εςοϓ 4ɿঢ়ଶ‫ྻܥ‬ͷ֬ఆz (t)Δͱߟ͑ΒΕΔɽ

(t = n − 1 , · · · , 2, 1)

લ߲Ͱड़΂ͨΑ͏ʹɼᰐ͖ಈ࡞͸௚઀‫؍‬ଌͰ͖ͣɼ‫؍‬ଌͰ͖Δ৘ใ͸ USB Χϝϥ͔ΒಘΒΕΔը૾ͷΈͰ͋Δɽͦ͜ͰɼUSB Χϝϥ͔ΒಘΒΕΔը૾ΑΓ‫إ‬ͷҠಈ‫཭ڑ‬ɾҠಈํ޲Λࢉग़͠ɼͦΕΒΛঢ়ଶͷग़ྗͱͯ͠ߟ͑ঢ়ଶભҠͷਪఆΛߦ͏ɽ͜ͷঢ়ଶભҠͷਪఆʹ͸ Viterbi ΞϧΰϦζϜΛ༻͍Δɽఆ͢Δ͜ͱ͕Ͱ͖ɼҎԼͷ 4 ͭͷεςοϓʹΑΓߏ੒͞Ε͍ͯΔ [5]ɽࣜ (1)ʙ(6) Ͱ࢖ΘΕ͍ͯΔ‫߸ه‬Λද 2 ʹࣔ͢ɽεςοϓ 1ɿॳ‫ظ‬Խ

qi= 0= maxi {pjͳ͓ɼ‫ٻ‬ΊΒΕΔঢ়ଶ‫ྻܥ‬͸࣌ࠁʹରͯ͠‫͋Ͱॱٯ‬Δ͜ͱʹ஫ҙ͕ඞཁͰ͋Δɽ(t)·ͨɼຊ‫Ͱڀݚ‬͸ b(sj , o(t) ) ͸ࣜ (7) Ͱ‫ٻ‬Ί͍ͯΔɽdp͸‫ͱࡏݱ‬લճͷඓͷҐஔͷ‫͋Ͱ཭ڑ‬Γɼda ͸‫ͱࡏݱ‬ฏ‫ۉ‬ͷඓͷҐஔͷ‫͋Ͱ཭ڑ‬Δɽb(sj , dp ) ͷ஋͸ਤ 4 ʹɼb(sj , da )ͷ஋͸ਤ 5 ʹࣔ͢ɽb(sj , o(t) ) = b(sj , dp ) b(sj , da )(7)

4. ࣮૷ຊ‫Ͱڀݚ‬͸ιϑτ΢ΣΞ։ൃʹ Java[6] Λ༻͍ͨɽJavaϓϦέʔγϣϯιϑτ΢ΣΞͷ։ൃɼ͓Αͼల։͕༰қͰ(2)͋ΔɽͦͷͨΊ‫ࡏݱ‬͸ϊʔτ PC ༻ͷιϑτ΢ΣΞͰ͋Δ͕ɼࠓ‫ޙ‬λϒϨοτ୺຤ͳͲɼϞόΠϧ୺຤޲͚΁ͷιϑτ΢ΣΞͱͯ͠ల։͍͖͍ͯͨ͠ͱߟ͍͑ͯΔɽ·ͨɼ‫إ‬εςοϓ 2ɿ࠶‫ؼ‬తಋग़

pj(6)

(1)

(i = 1 , 2, · · · , c)(t)qz(t+1) (t+1)͸൚༻ੑʹ༏Ε͓ͯΓɼϓϥοτϑΥʔϜʹґଘ͠ͳ͍Ξpi (1) = ri b(Si (1) , o(1) )
(1)

=(t)

Viterbi ΞϧΰϦζϜ͸࣌‫ྻܥ‬ͷঢ়ଶભҠͷ࠷ద‫ܦ‬࿏Λਪ(5)(i = 1 , 2, · · · , c)ঢ়ଶ͕௕͘ଓ͘৔߹͸ɼᰐ͖ͷಈ࡞Ͱ͸ͳ͘ख‫ݩ‬Λ‫͍ͯݟ‬

3.2.2 Viterbi ΞϧΰϦζϜ40‫ݕ‬ग़ʹ͸ OpenCV[4] Λ༻͍͍ͯΔɽͦͯ͠ɼPDF ָේͷ(t−1)

aij } b(Sj(t)(t),o )qj (t) = argmaxi {pj (t−1) aij }(t = 2 , 3, · · · , n) (i, j = 1, 2, · · · , c)εςοϓ 3ɿऴ୺ͷঢ়ଶͷܾఆc 2016 Information Processing Society of Japan⃝(3)

දࣔʹ͸ PDFRenderer[7] Λ༻͍ͨɽ(4)

5. ᰐ͖ಈ࡞ͱϦζϜϊϦಈ࡞ͷαϯϓϦϯάௐࠪϐΞϊͷԋ૗தʹςϯϙΛ‫ͯ͡ײ‬ᰐ͖ಈ࡞Λ͢Δ͜ͱ͕

3

Vol.2016-MUS-112 No.12
2016/7/31

৘ใॲཧֶձ‫ڀݚ‬ใࠂ
IPSJ SIG Technical Report

300

330

320

鼻の位置

鼻の位置

340

350

340
360
380

360

400

370
0500

1000

0

1500

200

400

600

800

1000

時刻

時刻

図む1鼻リ
図 1 リズムノリ動作を含のズ
位ム
置ノ リ 動 作 を 含 む 鼻 の 位
図ま2なリ
図置2 リ ズ ム ノ リ 動 作 を 含いズ
鼻ムのノ位リ
置動 作 を 含 ま な い 鼻 の 位 置

6た ．
ϦζϜϊϦಈ࡞Λ‫ؚ‬ΉඓͷҐஔɽਤ
7のリ頷ϦζϜϊϦಈ࡞Λ‫͍ͳ·ؚ‬ඓͷҐஔɽ
リングした．
ム動リ ンਤ
グしリ ズ ム ノ リ 動 作 は 譜 め くリりズ
合図ノき作
動は作譜
とめ
比く
べりて合
深図 の 頷 き 動 作 と 比 べ て 深・ ソ フ ト ウ ェ ア の 最 低・限 のソ利フ
用ト法ウ
をェ
説ア
明のし最自低由限にの 利 用 法くを頷説か明なしい自こ由とにが 判 明 しくた頷
．かよなっいてこ，と頷がき判
動明
作しとた
リ．
ズよ っ て ， 頷 き 動 作 と リ ズ
演奏してもらう
演奏してもらうム ノ リ 動 作 を 区 別 す る 閾ム値ノをリ設動定作すをる区
こ別とす
でる2閾
つ値のを動設 定 す る こ と で 2 つ の 動͋Δɽ͜ΕΛϦζϜϊϦಈ࡞ͱ‫Ϳݺ‬ɽຊ‫Ͱڀݚ‬։ൃͨ͠ι・ ペ ー ジ 送 り 以 外 で は・な るペべーくジ動送
かりず以に外演で奏はしなてる べ く 動 か ず に 演 奏 し て作 の 判 別 が 可 能 で あ る と作考のえ判ら別れがる可．能 で あ る と 考 え ら れ る ．
もらうもらうϑτ΢ΣΞͰ͸͜ͷϦζϜϊϦಈ࡞ΛේΊ͘Γ߹ਤͷᰐ͖
今リ
後動の作課が題含としれて ， 2 つ今の後動の作課
を題区と別しすてる，
閾2値つをの設動 作 を 区 別 す る 閾 値 を 設τ΢ΣΞͷ࠷௿‫ݶ‬ͷ྆ํΛઆ໌͠ɼࣗ༝ʹԋ૗ͯ͠΋Β͍ɼま
自 由 に 演 奏 し て も ら う と自き由ににリ演ズ奏ムしノてリも動ら作うがと
含き
まにれリ ズ ム ノ定 し ， 動 作 判 別 で き る か定
検し討，す動る作
こ判と別がであきげる
らかれ検る討．す る こ と が あ げ ら れ る ．
ಈ࡞ͱ‫ޡ‬ೝࣝͯ͠͠·͏Մೳੑ͕͋Δɽͨͩ͠ɼϦζϜϊ
ると考えられる．
ると考えられる．
ԋ૗தͷ‫ޡ‬ಈ࡞ͷ༗ແΛ֬ೝͨ͠ɽののたピ
めアにノさのら演に奏
多 く のそ演の奏た
時めのに頭さ部らのに動多きくののサ演ン奏
プ時 の 頭 部 の 動 き の サ ン プ
サかンらプリ歳奏か ら 21そ歳
サ ン プ リ ン グ 調 査 は 19 歳
21ン歳グの調ピ査
アはノ 19の演Ϧಈ࡞ͱේΊ͘Γ߹ਤͷᰐ͖ಈ࡞ʹҟͳΔಛ௃͕͋ΔͳΒ
リ ン グ 15を 行ࡀ͔Βい た い ．21 ࡀͷϐΞϊԋ૗‫͕͋ݧܦ‬Δ 10 ໊リ楽ン曲
グはを「行エいリたーい．
࣮‫Ͱݧ‬͸ɼゼ経 験 が あ る 3 名 に よ っ て経行験
わがれあたる． 3楽名
曲にはよ「っエてリ行ーわ
ゼれ た ．
ま たを，目シ安スにテ演ム奏の 改 善 のまたため，にシイス
ンテ
タムーのフ改ェ善ーのスたのめ に イ ン タ ー フ ェ ー ス の͹൑ผ͕ՄೳͰ͋Δͱߟ͑ΒΕΔɽͦ͜Ͱɼ։ൃͨ͠ιϑに 」BPMを用いの た め に 」 を 用 い ， テ ンのポた
はめ110を，目テ安ンにポ演は奏 110 BPMΛඃ‫͠ͱऀݧ‬ɼָ‫ۂ‬͸ࢦఆͤͣɼࣗ༝ʹબ‫ͯ͠ۂ‬΋Βͬͨɽ改の善鼻やの，位ペ置ーのジグ
戻ラ
り 機 能改を善実や装，しペてーいジ
き戻たりい機．能 を 実 装 し て い き た い ．
した．
自由に演奏してもらったときした．
自由に演奏してもらったときの鼻の位置のグラτ΢ΣΞΛ༻͍ͯ಄෦ͷಈ͖ͷαϯϓϦϯάௐࠪΛߦͬてもフ を 図 5 に 示 す ． ま た ，フなをる図
べ 5くに
動示
かすず．にま演た奏，しなてるもべ く 動 か ず に 演 奏 し݁Ռͱͯ͠ϦζϜϊϦಈ࡞Ͱ͸ේΊ͘Γ͸͞Εͣɼ͖ͪΜ
謝本辞学 術本振研興究会のの一科部学は研
日究
本費
学術振興会の科学研究費
謝6辞に 示本す研ͨɽҎԼͷ৚݅ͰͦΕͧΕ1っラճͣͭɼ‫ܭ‬
2置．
ճԋ૗ͯ͠΋Β
たの．究
図の5一
中部 は 日ら っ た と き の 鼻 の 位 置 のらグ
フとをき
図の6鼻にの示位す
図グ5ラ
中フ を 図ͱේΊ͘Γ߹ਤͷᰐ͖ͷͱ͖ͷΈΊ͘ΒΕΔ͜ͱΛ֬ೝ͠
補 助 金 に基よ盤る研．究 (A) 26240025 に よ る ．
補動
助作
金を基行盤っ研て究い (A)る ．26240025の 丸 で 囲 っ て い る 時 刻 でのリ丸ズでム囲
ノっリて動い作るを時行刻っでてリいズ
るム．ノ リ͍ͦΕͧΕͷ಄෦ͷಈ͖ͷαϯϓϧΛूΊͨɽ

10 ճʹରͯ͠ 2 ճͷׂ
1200
られ時 刻 1200 の と き の リ ズ時
ム刻ノリ動 作のでと楽き譜のがリ
めズ
くムらノ
れリ 動 作 で 楽 譜 が め くͨɽ͔͠͠ɼේΊ͘Γ߹ਤͷᰐ͖
文献
文献と頷
た こ と 以 外 ， 誤 動 作 は なた
かこっとた以．外リ，ズ誤ム動ノ作
リは動な作かとっ頷た ． リ ズ ム ノ リ 動 作߹ͰϦζϜϊϦಈ࡞ͱͯ͠‫ޡ‬ೝࣝͯ͠͠·ָ͍ේ͕Ί͘Β
めり 機年「 12フメ[1] “ 自 動 譜 め く り 機 「[1]フ メ“ク自ー動ル譜」”（く2015
月ク ー ル 」”（ 2015 年 12 月
1. ιϑτ΢ΣΞͷ࠷௿‫ݶ‬ͷར༻๏Λઆ໌ࣗ͠༝ʹԋ૗
まり深く頷
き 動 作 を 比 べ る と ， リ ズきム動ノ作
リを動比作べでる
はとあ，
まリりズ
深ム
くノ頷リ 動 作 で は11あ日
11 日 閲 覧 ）閲覧）Εͳ͍͜ͱ͕͋ͬͨɽ͜Ε͸ᮢ஋ࢉग़ʹ༻͍ͨಈ࡞ͷαϯ
http://inforent.dreamblog.jp/blog/78.html
ことから，頷
い て い な い こ と が 明 ら かいとてないっなたい．こ
ことのがこ明とらかからと，な頷っ た ． こ のhttp://inforent.dreamblog.jp/blog/78.html
ͯ͠΋Β͏ɽ
電 子年楽12
譜月
フェ（[2]ー”（“201511 ア日リ閲ー覧”）2015 年 12 月 11 日 閲 覧 ）動 作“を電防子ぐ楽こ譜とフがェ ア リ[2]き の 深 度 の 閾 値 を 設 定 すきるの
こ深と度での誤閾
動値作をを設防定ぐすこるとこがと で 誤ϓϧ਺͕଍Γͣɼଥ౰ͳᮢ஋Ͱͳ͍͜ͱ͕‫ݪ‬ҼͰ͋Δͱߟ
http://www.fairy-score.com/
http://www.fairy-score.com/
2. ϖʔδૹΓҎ֎Ͱ͸ͳΔ΂͘ಈ͔ͣʹԋ૗ͯ͠΋で き る と 考 え ら れ る ． までたき，る
そとの考閾え
値らはれさるら．にま多たく，のそ の 閾 値 は さ ら に 多 く の地藤曳康
は之る,か齋藤康之, “ジェスチャ認[3] 地 曳 は る か, 清 水 寿[3]一, 齋“,ジ清ェ水ス寿チ一
ャ, 認る͑ΒΕΔɽ͜ͷ໰୊͸ɼᮢ஋ͷ‫ݸ‬ਓԽΛߦ͏͜ͱͰվળͰ
．動 譜 め く り にサ ン プ リ ン グ 調 査 を 行 いサ決ン
定プしリたン
いグと調考査えをて行いいる決．定 し た い と 考識えにてよいる識関にすよるる研自究動”,譜 映め像
く情り報に 関 す る 研 究 ”, 映 像 情 報
自Β͏ɽメ
ディア
学会
技術報告学
ま跡た技，演音 かをら用のい楽る
譜こ追と跡 技 術 [7,8] メをデ用ィ
いアる͖Δͱߟ͑ΒΕΔɽͦͷ൑ผํ๏ͱͯ͠ɼԋ૗Ի͔Βͷָ
こ会と 技 術 報 告 , vol.39, no.8, pp.61-64,, vol.39, no.8, pp.61-64,
ま た ，演 奏 音 か ら の 楽 譜 追術奏
[7,8]
2015.
2015.
で ， 楽 譜 の 右 端 付 近 以 外でで，行楽
わ譜れのる右動端
作付を近無以視外すでる行
こわ れ る 動 作 を 無 視 す る こ“Java”
年 12 月 11 日 閲 覧 ）[4] “ Java”（ේ௥੻ٕज़2015 年 12[4]月 11日閲[9]覧（）2015ࣗ༝ʹԋ૗ͯ͠΋Β͏ͱ͖ʹϦζϜϊϦಈ࡞͕‫·ؚ‬ΕΔ[8],Λ༻͍Δ͜ͱͰɼָේͷӈ୺෇ۙҎ֎
いずともリズと が で き る と 考 え ら れ るとたがめで，き閾る値とを考用えいらずれとる
もたリめズ， 閾 値 を 用https://www.java.com/jp/
https://www.java.com/jp/
可 能“性OpenCV”
が あ るͰߦΘΕΔಈ࡞Λແࢹ͢Δ͜ͱ͕Ͱ͖Δͱߟ͑ΒΕΔɽ
．（ 2015 年[5]12 “ム ノ リ 動 作 と 頷 き 動 作 をム判ノ別リで動き作ると可頷能き性動が作あをる判．別 で き る[5]月 OpenCV”
11 日 閲 覧（）2015 年 12 月 11 日 閲 覧 ）ͱߟ͑ΒΕΔɽ
http://opencv.org/
http://opencv.org/
1. ま と め
1. ま と め[6] 年“12PDFRenderer”[6] “ PDFRenderer”（ 2015月 11 日 閲 覧（）2015 年 12 月 11 日 閲 覧 ）αϯϓϦϯάௐࠪ͸ 19 ࡀ͔Β
21ࡀͷϐΞϊͷԋ૗‫ݧܦ‬に利用できる
本 研 究 で は 演 奏 の 妨 げ に本な研ら究ずで，は手演
軽奏にの利妨用げでにきなるら ず ， 手 軽https://developer.android.com/reference/https://developer.android.com/reference/
認 識A.にArzt,
よ る G.
自動譜と を 目 的 と し て 頷 き のこジとェをス目
チ的
ャと認し識てに頷
よきるの自ジ動ェ譜ス チ ャ͕͋Δ 3こ໊ʹΑͬͯߦΘΕͨɽָ‫ۂ‬͸ʮΤϦʔθͷͨΊʹʯ
[7] S.A.Dixon,Arzt, G.
and
S. Dixon, “ Automatic page[7]Widmer,
and“ Widmer,Automaticpage
forvia real-timemusicians
machine via real -time machineっ た ． まfor
た ，musicians turning
め く り に つ い て ソ フ ト ウめ
ェくアりのに開つ発いをて行ソっフたト．ウ
まェたア，の 開 発 を 行turning
listening'',
ECAI2008, pp.241 -245, 2008.
ຊ‫Ͱڀݚ‬͸ԋ૗ͷ๦͛ʹͳΒͣɼखܰʹར༻Ͱ͖Δ͜ͱΛ༻͍ɼςϯϙ͸ 110 BPMΛ໨҆ʹԋ૗ͨ͠ɽࣗ༝ʹԋlistening'', Proc.
of ECAI2008,
pp.241Proc.
-245,of2008.
譜 め く り 合 図 の 頷 き 動 作譜
とめテくンり
ポ合を図感のじ頷てき頷動く作リとズテ
ムン ポ を 感 じ て 頷 く リ ズ ム
E. Nakamura,[8]
E. Nakamura,[8]T. Nakamura,Y. Saito, T. Nakamura, Y. Saito,，
開ウェア
を実Λ໨తͱͯ͠ᰐ͖ͷδΣενϟೝࣝʹΑΔࣗಈේΊ͘Γʹ૗ͯ͠΋Βͬͨͱ͖ͷඓͷҐஔͷάϥϑΛਤノ リ 動 作 の 判 別 に つ い てノ，リ
開動
発作
しのた判ソ別フにトつウいェてア6をʹࣔ͢ɽ·
実発 し た ソ フN.トOno,
N. “Ono,and S. Sagayama,
andS. Sagayama,
Outer-ProductHidden “ Outer-Product Hidden
MarkovModelandFollowPolyphonic MIDI Score Follow
MIDIScore
際ンにプ用リいン，頭きのを結サ果ン，プ リ ン グ し Markovた ．そ の Model
結 果 ，and Polyphonic
際 に 用 い ，頭 部 の 動 き を サグ部
しのた動．そ7. ·ͱΊͨɼͳΔ΂͘ಈ͔ͣʹԋ૗ͯ͠΋Βͬͨͱ͖ͷඓͷҐஔͷ͍ͭͯιϑτ΢ΣΞͷ։ൃΛߦ͖ͬͯͨɽ։ൃͨ͠ιϑτάϥϑΛਤ 7 ʹࣔ͢ɽਤ 6 தͷ‫Ͱؙ‬ғ͍ͬͯΔ࣌ࠁͰϦζ΢ΣΞΛ࣮ࡍʹ༻͍ɼ಄෦ͷಈ͖ͷαϯϓϧΛूΊͨɽͦϜϊϦಈ࡞Λߦ͍ͬͯΔɽ࣌ࠁ 1200 ͷͱ͖ͷϦζϜϊϦ

ͷ݁ՌɼςϯϙΛ‫ͯ͡ײ‬ಈ͘ϦζϜϊϦಈ࡞͸ේΊ͘Γ߹ಈ࡞Ͱָේ͕Ί͘ΒΕͨ͜ͱҎ֎ɼ‫ޡ‬ಈ࡞͸ͳ͔ͬͨɽϦਤͷᰐ͖ಈ࡞ͱൺ΂ͯਂ͘ᰐ͔ͳ͍͜ͱ͕൑໌ͨ͠ɽͦ͜ζϜϊϦಈ࡞ͱᰐ͖ಈ࡞Λൺ΂ΔͱɼϦζϜϊϦಈ࡞Ͱ͸Ͱᰐ͖ಈ࡞ͱϦζϜϊϦಈ࡞Λ۠ผ͢Δᮢ஋Λઃఆ͠ɼ࢖

͋·Γਂ͘ᰐ͍͍ͯͳ͍͜ͱ͕໌Β͔ͱͳͬͨɽ༻࣮‫ݧ‬Λߦͬͨɽ݁Ռͱͯ͠ɽ͖ͪΜͱේΊ͘Γ߹ਤͷᰐ6. ᮢ஋Λ༻͍ͨᰐ͖ͱϦζϜϊϦͷ൑ผαϯϓϦϯάௐࠪͷ݁ՌΑΓɼᰐ͖ͷਂ౓ʹରͯ͠ᮢ஋͖ಈ࡞ͷͱ͖ͷΈָේ͕Ί͘ΒΕΔ͜ͱΛ֬ೝͨ͠ɽ͔͠͠ɼේΊ͘Γ߹ਤͷᰐ͖ 10 ճʹରͯ͠ 2 ճͷׂ߹ͰϦζϜϊϦಈ࡞ͱͯ͠‫ޡ‬ೝࣝͯ͠͠·ͬͨɽΛઃఆ͢Δ͜ͱͰᰐ͖ͱϦζϜϊϦͷ൑ผ͕Ͱ͖Δͱߟ͑ࠓ‫ޙ‬ͷ՝୊ͱͯ͠ɼᮢ஋ͷ‫ݸ‬ਓԽΛߦ͍‫ޡ‬ೝ͕ࣝվળ͞ΒΕΔɽͦ͜Ͱɼ3 ໊෼ͷαϯϓϧσʔλ͔Βᰐ͖ಈ࡞ͱΕΔ͔ௐࠪ͢Δඞཁ͕͋ΔɽͦͷଞɼγεςϜͷվળͷͨϦζϜϊϦಈ࡞ͷ֤ʑʹ͍ͭͯඓͷ࠷Լ఺ͷฏ‫ۉ‬Λ‫ٻ‬ΊɼΊʹΠϯλʔϑΣʔεͷվળ΍ɼϖʔδ໭Γ‫ػ‬ೳΛ࣮૷͠͞Βʹ྆ऀͷฏ‫ۉ‬஋Λᮢ஋ͱͨ͠ɽ͜ͷᮢ஋ΑΓ΋ਂ͘ᰐ͍͖͍ͯͨɽ͍ͨ৔߹ɼේΊ͘Γ߹ਤͷᰐ͖ͱ͠ϖʔδΛΊ͘Δɽᮢ஋Λઃఆͨ͠ιϑτ΢ΣΞͰ࢖༻࣮‫ݧ‬Λߦͬͨɽιϑc 2016 Information Processing Society of Japan⃝ँࣙ ຊ‫ڀݚ‬ͷҰ෦͸೔ຊֶज़ৼ‫ڵ‬ձͷՊֶ‫ڀݚ‬අิॿۚ ‫ج‬൫‫( ڀݚ‬A) 26240025 ʹΑΔɽ4৘ใॲཧֶձ‫ڀݚ‬ใࠂIPSJ SIG Technical Report

Vol.2016-MUS-112 No.12
2016/7/31

ࢀߟจ‫ݙ‬[1][2][3][4]
[5]
[6]
[7]

[8]

[9]ࣗ ಈ ේ Ί ͘ Γ ‫ػ‬ʮ ϑ ϝ Ϋ ʔ ϧ ʯ(online)ɼೖ ख ઌ⟨http://inforent.dreamblog.jp/blog/78.html⟩(2016.04.19).
ిࢠָේϑΣΞϦʔ (online)ɼೖखઌ ⟨http://www.fairyscore.com/⟩ (2016.04.19).
஍Ӫ͸Δ͔, ਗ਼ਫणҰ, ᜊ౻߁೭: δΣενϟೝࣝʹΑΔ
ࣗಈේΊ͘Γʹؔ͢Δ‫ڀݚ‬, ө૾৘ใϝσΟΞֶձٕज़ใ
ࠂ, Vol. 39, No. 8, pp. 61–64, 2015.
OpenCVʢonlineʣ, ೖखઌ ⟨http://opencv.org/⟩(2016.04.19).
ੴҪ݈Ұ࿠, ্ాमޭ: ଓɾΘ͔Γ΍͍͢ύλʔϯೝࣝ-‫ڭ‬ࢣͳֶ͠शೖ໳-, ΦʔϜࣾ, pp. 138–143, 2014.
Java (online), ೖखઌ ⟨https://www.java.com/jp/⟩(2016.04.19).
PDFRendererʢonlineʣ,ೖखઌ ⟨https://developer.android.com/reference/⟩(2016.04.19).
A. Arzt, G. Widmer, and S. Dixon: Automatic pageturning for musicians via real-time machine listening,
Proc. of ECAI2008, pp.241-245 (2008).
E. Nakamura, T. Nakamura, Y. Saito, N. Ono, and S.
Sagayama: Outer-Product Hidden Markov Model andPolyphonic MIDI Score Following, Journal of New Music Research, Vol. 43, No. 2, pp. 183–201, 2014.

c 2016 Information Processing Society of Japan⃝5