平成 28 年度 修士論文

スマートタンバリンを用いた複数人でのカラオ
ケ支援システム

指導教員 北原鉄朗准教授

日本大学大学院総合基礎科学研究科

6115M16 栗原拓也

2017 年 2 月 提出

i

概

要

カラオケは娯楽の 1 つとして広く根付いている．カラオケを楽しむ理由はいくつか考えられるが，仲間同士の親睦を深めることがあげられる．この場合，カラオケの参加者同士の相互のコミュニケーションが重要である．つまり，歌い手は自らの歌唱を聴き手に伝えるだけでなく，聴き手はその歌唱を聴き，楽しんでいることを何らかの表現で歌い手に伝えることが重要である．これにより，歌い手
は聴き手が歌唱を楽しんでくれていることに快を感じ，聴き手にとってもカラオ
ケが単に歌唱を聴く場から，歌い手とともに自己表現をする場と変えることができる．
しかし，現状のカラオケでは必ずしもこのようになっていない．聴き手は単に歌い手の歌唱を聴くのみで，能動的に関わろうとはしないことが少なくない．カ
ラオケ店にはタンバリンやマラカスのような小道具が備えられていることが少な
くないが，必ずしも十分に活用されているとは言いがたい．その理由として，タンバリンをどのように活用すれば良いのか分からないこと，不適切な使い方をするとかえって歌唱の邪魔になるために躊躇してしまうことなどが挙げられる．
筆者は，こうした状況に鑑み，卒業論文において，タンバリンに Wii リモコンを組み込み，タンバリンの叩き方（タンバリン譜）を画面に表示することで，タンバリン演奏を促すシステムを提案した．このシステムにより，タンバリンを叩く
きっかけを与え，特にタンバリンの叩き手が知らない楽曲に対して適切なタンバ
リン演奏ができるようになり，カラオケの盛り上げに一定の貢献をすることができた．しかし，タンバリンと Wii リモコンをテープで留めただけであるため，使っiiているうちに結合部が不安定になってくるという問題（強度の問題），タンバリンの叩き手を 1 人が担うことでその人がタンバリン演奏に夢中になるため，歌い手とのコミュニケーションにはなっていないという問題（単独演奏の問題）が生じた．また，楽曲によってはタンバリン譜が難しく，正しく演奏できないという問題（難度の問題）も発生した．さらに，叩き手から歌い手への働きかけがタンバ
リンの音を出すことだけであり，他のモダリティを十分に活用できていないという問題（モダリティの問題），曲調によってはタンバリンがうるさすぎるという問
題（音量の問題）も確認された．
本研究では，まず強度の問題と単独演奏の問題に取り組んだ．強度の問題に対しては Wii リモコンを挿入できるタンバリンを 3D プリンタで作成した．単独演奏の問題に対しては，歌い手も含めたカラオケに参加する全員が，タンバリン演奏に参加できるよう改良を行った．A メロや B メロと呼ばれる箇所は叩き手をローテーションさせることとし，サビと呼ばれる箇所や間奏部は全員がタンバリン演
奏を行うようにすることで，演奏にメリハリがつくように工夫した．単独演奏条
件と全員演奏条件において本システムを使ってもらい，アンケートを取ったところ，「一体感を得られたか」「盛り上げに貢献できたか」などの項目において全員演
奏条件の回答が単独演奏条件よりも上回り，一定の効果を有していることが確認できた．
次に，難度の問題，モダリティの問題，音量の問題に取り組んだ．難度の問題については，タンバリンを演奏する目的が，あくまで楽曲を楽しんでいることを周りに伝えてカラオケを盛り上げることであり，指定されたとおりにタンバリンを叩くことではないことに鑑み，表示されるタンバリン譜を簡略化した．また，従来は表示されたタンバリン譜の通りに演奏したときに「OK」という表示されていたが，タンバリン演奏における参加度を定義し，参加度が一定の値を超えたときに演奏者のアイコンが笑顔になるという表示がなされるようにした．モダリティの問題に対しては，タンバリンに光る機能を追加した．タンバリンを叩いたタイ

iii
ミングで光る機能であるが，後述の音量制御機能と併用することで，タンバリンの音をほとんど出さずに光らせることも可能である．音量の問題に対しては，タンバリンに備わっているシンバルを上下から押さえつける機構を導入することで，タンバリンの音量を制御できるようにした．システムを使った 1 時間のカラオケを 6 回行ってもらう長期実験を行ったところ，システムを長期的に使用してもカラオケ支援の効果が大きく下がることはなく，演奏のアドバイスにも飽きることなく長期的に効果があることが確認された．また，タンバリンの演奏を増えると，カラオケのメンバーに視線を送る回数が増えているという結果が得られ，システ
ムでタンバリンの仕様を促すことでコミュニケーションが深くなっていると考えれる．しかし，光る機能と音量調整機能を加えたタンバリンは新たな強度の問題と音量の問題により長期実験であまり使われなかった．
以上により，強度の問題，単独演奏の問題を解決することができた．難度の問
題は解決策を提案したものの，その効果は十分に検証されていない．光る機能と音量調整機能を加えたタンバリンは実験で使われることが少なく，モダリティの問題と音量の問題を解決するに至らなかった．

v

目

目

次

次

v

図目次

ix

表目次

xiii

第1章 序

論

1

1.1

背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1

1.2

目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2

1.3

論文の構成

3

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

第 2 章 カラオケ支援とコミュニケーション支援に関する研究

2.1

2.2

5

カラオケ支援 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

2.1.1

音高修正システム . . . . . . . . . . . . . . . . . . . . . . . .

5

2.1.2

曲に合わせた 3DCG アニメーション生成システム . . . . . .

6

2.1.3

カラオケの背景生成システム . . . . . . . . . . . . . . . . .

6

2.1.4

カラオケ採点システム . . . . . . . . . . . . . . . . . . . . .

7

2.1.5

歌声のモーフィングシステム . . . . . . . . . . . . . . . . .

7

音楽におけるコミュニケーション支援. . . . . . . . . . . . . . . .

2.2.1

音楽コンサートにおける双方向コミュニケーション支援

2.2.2

視聴者協力型ライブ演出システムによるコミュニケーション. .

システム . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7
7

8

vi
ライブ・エンタテインメントコミュニケーションシステム .

8

本研究の位置づけ . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9

2.2.3
2.3

第 3 章 複数人プレイに対応したタンバリン演奏支援システム

3.1

13

はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

3.2 Wii タンバリンの設計・制作 . . . . . . . . . . . . . . . . . . . . . . 13
3.3

3.4

3.5

システム概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

3.3.1

Wii リモコンとの Bluetooth による通信 . . . . . . . . . . . . 15

3.3.2

メニューの表示 . . . . . . . . . . . . . . . . . . . . . . . . . 16

3.3.3

タンバリン譜の生成 . . . . . . . . . . . . . . . . . . . . . . 17

3.3.4

カラオケの実行 . . . . . . . . . . . . . . . . . . . . . . . . . 18

タンバリン譜面の生成方法 . . . . . . . . . . . . . . . . . . . . . . . 21

3.4.1

生成方針 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

3.4.2

演奏のタイミングの生成 . . . . . . . . . . . . . . . . . . . . 26

3.4.3

叩く強さの決定 . . . . . . . . . . . . . . . . . . . . . . . . . 30

タンバリン演奏の判定方法 . . . . . . . . . . . . . . . . . . . . . . . 31

3.5.1

叩いたかの判定 . . . . . . . . . . . . . . . . . . . . . . . . . 31

3.5.2

強く叩いたかの判定 . . . . . . . . . . . . . . . . . . . . . . 31

3.5.3

振ったかの判定 . . . . . . . . . . . . . . . . . . . . . . . . . 32

3.6

タンバリン譜に対する評価 . . . . . . . . . . . . . . . . . . . . . . . 33

3.7

実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

3.7.1

実験の目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

3.7.2

被験者 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

3.7.3

実験環境 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

3.7.4

実験の手続き . . . . . . . . . . . . . . . . . . . . . . . . . . 35

3.7.5

使用曲 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

3.7.6

実験結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

vii
3.7.7
3.8

考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

まとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

第 4 章 スマートタンバリンおよび演奏参加度に基づいたカラオケ支援システ
ム

39

4.1

はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

4.2

スマートタンバリンの設計 . . . . . . . . . . . . . . . . . . . . . . . 40

4.3

「参考」としてのタンバリン譜表示 . . . . . . . . . . . . . . . . . . 42

4.4

4.5

4.6

4.3.1

タンバリン譜の簡略化 . . . . . . . . . . . . . . . . . . . . . 42

4.3.2

演奏参加度のフィードバック . . . . . . . . . . . . . . . . . 43

システムの実装 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

4.4.1

システム画面 . . . . . . . . . . . . . . . . . . . . . . . . . . 44

4.4.2

スマートタンバリンの光 . . . . . . . . . . . . . . . . . . . . 45

長期実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

4.5.1

実験の目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

4.5.2

被験者 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

4.5.3

実験環境 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

4.5.4

実験手続き . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

4.5.5

使用曲 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

4.5.6

実験結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

4.5.7

考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

まとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

第 5 章 考察と課題

5.1

51

考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

5.1.1

手法ごとの考察 . . . . . . . . . . . . . . . . . . . . . . . . . 51

5.1.2

システムの考察 . . . . . . . . . . . . . . . . . . . . . . . . . 53

viii
5.2

課題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

5.2.1

手法ごとの検証 . . . . . . . . . . . . . . . . . . . . . . . . . 54

5.2.2

スマートタンバリンの改良 . . . . . . . . . . . . . . . . . . . 55

5.2.3

システムの統合 . . . . . . . . . . . . . . . . . . . . . . . . . 55

第6章 結
参考文献

論

57
59

ix

図目次

2.1

システム概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

3.1

Wii タンバリンの模式図 . . . . . . . . . . . . . . . . . . . . . . . . 14

3.2

3D プリンタで作成した Wii タンバリン . . . . . . . . . . . . . . . . 14

3.3システムの流れ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

3.4

メニュー画面．現在選択中の項目が点滅し，Wii リモコンの十字キー
およびボタンで「練習モード」またはカラオケで演奏する楽曲を選
ぶ．
「システムあり」は，タンバリン譜の生成・表示，演奏の判定・
フィードバック，叩き手の交代の指示が有効であることを表す． . . 17

3.5

カラオケ実行中の画面例．画面上部にタンバリン譜，画面中央部に歌詞が表示される．タンバリン譜は 1 小節分を 1 行として，2 行表示
する．この例では各小節 2 拍目，4 拍目にタンバリンを叩くことを意味する．誰が叩き手かはタンバリンのアイコンの背後にある円の色で区別される．この色と各 Wii タンバリンの LED の点灯パター
ンの対応関係が画面下部に表示されている． . . . . . . . . . . . . . 18

3.6

タンバリン譜表示部の説明 . . . . . . . . . . . . . . . . . . . . . . . 19

3.7

叩き手交代の流れ . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

3.8

サビのときのシステム画面 . . . . . . . . . . . . . . . . . . . . . . . 23

x
3.9 『千本桜』（作曲・作詞：黒うさ P）[13] の A メロの冒頭 4 小節（主要パートのみ抜粋, 筆者らが原曲を聴いて採譜, 他の図も同様）.
「Hand Clap & Tamb.」は我々が望ましいと考える手拍子およびタ
ンバリン演奏のパターン（他の図も同様）. スネアドラムが 2 拍・4拍目を中心に演奏しており, 手拍子・タンバリンもそれに合わせて叩くパターンである. . . . . . . . . . . . . . . . . . . . . . . . . . . 25

3.10 『千本桜』[13] のイントロの冒頭 4 小節. 図 3.9 と異なり, スネアド
ラムは 8 分音符レベルの裏拍を叩いているが, 手拍子やタンバリン
も同様に叩くのが望ましいと考える. . . . . . . . . . . . . . . . . . 26

3.11 『千本桜』 [13] のサビの冒頭 4 小節. スネアドラムは 4 つの表拍す
べてで叩いている. 手拍子やタンバリンもこれに合わせるのが望ましいと考える.

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

3.12 『千本桜』[13] のサビ直前のいわゆる「キメ」の箇所. 手拍子やタンバリンを叩く場合も, この「キメ」のリズムに合わせるのが望ましい.

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

3.13 タンバリン譜自動生成 . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.14 『千本桜』[13] の転調直前のサビ. 転調してもう 1 度繰り返すサビ
をより盛り上げるため, 最低限の楽器数で静かに演奏している. そのため, 手拍子やタンバリン演奏においても, 他のサビとは区別して静かに演奏すべきである. その 1 つの方針として, 小節の頭のみ叩くというものが考えられる. . . . . . . . . . . . . . . . . . . . . . . 30

3.15 Wii タンバリンの加速度の向き . . . . . . . . . . . . . . . . . . . . 32
4.1

スマートタンバリンの中身 . . . . . . . . . . . . . . . . . . . . . . . 41

4.2

スマートタンバリン

4.3

システムのタンバリン譜の生成例 . . . . . . . . . . . . . . . . . . . 43

4.4システムの画面例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

. . . . . . . . . . . . . . . . . . . . . . . . . . 41

xi
4.5

アンケート結果の平均 . . . . . . . . . . . . . . . . . . . . . . . . . 48

xiii

表目次

3.1

タンバリン譜評価結果 . . . . . . . . . . . . . . . . . . . . . . . . . 34

3.2

被験者の役割. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

3.3

アンケート結果（SD：標準偏差） . . . . . . . . . . . . . . . . . . . 38

1

第1章 序

1.1

論

背景

カラオケは主要な娯楽の 1 つである．カラオケ文化産業論 [1] によると，カラオ
ケは，余暇の場と機会の提供，仲間との親睦を深める，自己表現によるストレス解消といった目的を達成する場である．その中でも，仲間との親睦は主要な目的の 1 つである．仲間との親睦を目的にカラオケを行う場合，参加者同士の相互のコ
ミュニケーションが必要である．カラオケにおける主要な情報伝達は，歌い手から聴き手への歌唱の伝達であるが，それだけでは十分ではない．聴き手がその歌唱を聴き，楽しんでいることも何らかの表現で歌い手に伝えることが必要である．
これにより，歌い手は聴き手が歌唱を楽しんでくれていることに快を感じ，聴き手にとってもカラオケが単に歌唱を聴く場から，歌い手とともに自己表現をする
場と変えることができるからである．
しかし，現状のカラオケでは必ずしもこのようになっていない．聴き手は単に歌い手の歌唱を聴くのみで，能動的に関わろうとはしないことが少なくない．筆者が独自に行った調査によると，30 人中 27 人がカラオケ実施中につまらないと感じたことがあると回答し．その理由として，歌われている曲を知らなかったり，
どのようにして歌っている人と一緒に楽しめば良いか分からないなどがある．多くのカラオケ店では，タンバリンやマラカスのような小道具が備えられていることが少なくない．しかし，これらの小道具が十分に活用されているとは言いがたい．その理由として，これらをどのように活用すればいいのかが分からないこと
や，不適切な使い方をするとかえって歌唱の邪魔になるために躊躇してしまうこ

第1章 序2

論となどが挙げられる．

1.2

目的

本研究の目的は，カラオケ実施中に聴き手に対してタンバリンの演奏を促し，これにより，聴き手が歌唱を聴いていることを歌い手に伝え，歌い手の満足感を高めるとともに，聴き手の「やることがない」という状態を解消し，聴き手の満足感を高めることができるシステムを実現することである．筆者は，卒業論文において，タンバリンの叩き方（タンバリン譜）をカラオケの画面に表示し，タンバリ
ンに埋め込まれた Wii リモコン [2] を利用してタンバリン譜通りにタンバリンを叩いたかどうかを判定するシステムを実現した [3]．このシステムにより，特にタンバリンの叩き手が知らない楽曲に対して，タンバリンを適切に演奏できるようになり，カラオケの盛り上げに一定の貢献をすることができた．しかしながら，次にあげる問題点が明らかになった．

• 強度の問題：タンバリンと Wii リモコンをテープで留めただけであるため，使っているうちに結合部が不安定になってくる問題• 単独演奏の問題：タンバリンの叩き手を 1 人が担うことで，その人がタンバ
リンの演奏に夢中になり，歌い手とのコミュニケーションが成立しないという問題• 難度の問題：楽曲によってはタンバリン譜が難しく，正しく演奏できないという問題• モダリティの問題：叩き手から歌い手への情報伝達手段がタンバリンの音を出すのみであり，他のモダリティが活用されていない問題• 音量の問題：曲調によってはタンバリンがうるさすぎるという問題

1.3. 論文の構成

3

本論文では，これらの問題を解決する方法について議論する．まずは，強度の問
題と単独演奏の問題を解決するシステムを提案し，そのシステムの有効性を実験により検証する．その後，難度の問題，モダリティの問題，音量の問題を解決する新たなシステムについて述べ，その効果を実験により確かめる．

1.3

論文の構成

本論文では，まず第 2 章において，カラオケ支援や音楽におけるコミュニケー
ション支援に関する研究を概観し，本研究の全体構想および位置付けについて述べる．第 3 章では，上述の問題のうち，強度の問題と単独演奏の問題を解決する方法について述べ，この方法を取り込んだシステムの有効性を検証するために行った実験について報告する．第 4 章では，難度の問題，モダリティの問題，音量の問題についてその解決方法を議論する．また，その解決方法を導入したシステムについて述べ，実施した評価実験についても述べる．第 5 章では，第 3 章および第 4章で述べた実験結果について考察を加え，残された課題について議論する．最後に第 6 章で結論を述べる．

5

第 2 章 カラオケ支援とコミュニケー
ション支援に関する研究
本章では，まずカラオケ支援と音楽を用いたコミュニケーション支援の研究について述べる．そして，本研究とそれらを比較して本研究の位置づけを明らかに
する．

2.1

カラオケ支援

本節ではカラオケ支援に関する研究を紹介する．

2.1.1

音高修正システム

浦川らの研究 [4] は，歌が上手に歌えない音痴の人たちが付き合いでカラオケに行かなくてはならない時に，音高のずれを修正してくれるというものである．システムは Java により構築され，ボーカルパートを取得するブロック，声の高さを変換するブロック，メインブロックの三つのブロックから成り立つ．ボーカルパー
トを取得するブロックでは，SMF フォーマットからテンポ，ノートオン，ノート
オフ，デルタタイムの情報を取得し，演奏開始からの経過時間の関数として，ボーカルパートの周波数を計算する．声の高さを変換するブロックでは，ピッチ抽出
エラーによる影響を受けないよう，LPC 分析合成を用いて変換する．そして，メ
インブロックは，他の二つのブロックが連動し，カラオケシステムとして動作す第 2 章 カラオケ支援とコミュニケーション支援に関する研究6

るものである．上記のシステムの構成により，マイクロホンに入力された歌声の音高がはずれいていても，MIDI データに入力されているボーカルパートの情報を用いて正しい音程を得て，音程を修正してスピーカーから出力することができる．
ヴィブラートの付与，駆動源の位相特性の操作による声質変換などを盛り込みエ
ンターテイメントとしての発展を今後の課題としている．

2.1.2

曲に合わせた 3DCG アニメーション生成システム

白井らの研究 [5] は，曲にあった 3DCG アニメーションを作り，それを通信カ
ラオケでリアルタイムで再生できる新たな 3DCG 通信カラオケを提案した．提案
する上で以下の四つのことを開発した．1)MIDI と 3DCG との同期方法を一拍単位で行い，同期の遅延を軽減させる．2)3DCG のカラオケコンテンツ制作環境のCG データを部品化し，複数のカラオケコンテンツで共有することにより制作時間を軽減させる．3)3DCG のカラオケコンテンツデータ配信方法を 2) を利用してデータ転送量を限定し，転送時間を短縮させる．4)M2 システムでのプロトタイプ
開発を行う．上記のことにより，より効率よく 3DCG 通信カラオケができるよう
になった．

2.1.3

カラオケの背景生成システム

寺田らの研究 [6] は，アクティブデータベースを用いたカラオケの背景画像生成
システム Active Karaoke を構築した．この Active Karaoke は，データベース中に格納されている画像などのマルチメディア素材をもとにする．素材は間近に撮った写真を使用したり，用意していた画像をインターネットからダウンロードして得る事ができる．そして，歌詞の内容や曲調に合ったものを選択し，カラオケの背景として曲に合わせてリアルタイムに提示することを可能とした．また，様々な要求に対応できるように，発生する事象 (イベント)，ルールの発火条件 (コンディ2.2. 音楽におけるコミュニケーション支援

7ション)，実行される操作 (アクション) の三つの組みからなる ECA ルールに記述することで機能をカスタマイズすることができる．

カラオケ採点システム

2.1.4

竹内らの研究 [7] は，従来のカラオケ採点法にない 1)『音程に対する分解能』の高いピッチ抽出法，2) 検出誤りの少ない高精度なビブラート検出法の二つを用いて人の歌声の音高と平均律音階の最小距離に基づいた歌唱評価法を提案するものである．歌唱評価用のピッチ抽出法では，音声信号を分析し，合成自己相関関数
を用いて抽出する．ビブラート検出は，スペクトルを利用したピッチ周期変化量の算出を行い，正・負の相関係数を用いて検出する．また，より人の感性に近い歌唱評価をするため，歌声が心地よく聴こえる” 歌声の音高と平均律音階の距離”を利用するものである．

歌声のモーフィングシステム

2.1.5

Pedro らの研究 [8] は，歌を歌っているときにあらかじめ録音した歌にリアルタ
イムでモーフィングするシステムの開発．歌っている歌のピッチ，音色，ビブラー
ト，発音を修正することで，事前に録音して解析した別の人の歌に似せることが
できる．

2.2

音楽におけるコミュニケーション支援

2.2.1

音楽コンサートにおける双方向コミュニケーション支援

Pou らの研究 [9] は，音楽のライブコンサートで腕にウェアラブルデバイスを着け加速度でステージの映像効果を編集し演奏者と観客の双方向のコミュニケーショ

第 2 章 カラオケ支援とコミュニケーション支援に関する研究

8ンを支援することで，コンサートの一体感と高揚感を高める．観客の動きや演奏者の操作によりリアルタイムで変化するのでコンサートに参加している感覚が生
まれ，双方向コミュニケーションが高められる．

2.2.2

視聴者協力型ライブ演出システムによるコミュニケーションシステム

米澤らの研究 [10] は，研究生放送での楽器演奏で視聴者とコミュニケーションをとるために演奏者の配信環境を制御し，演出を行うことで，コミュニケーショ
ンを可能とする視聴者協力型ライブ演出システムを提案した．視聴者が演奏に合わせて遠隔でカメラの切替・ズームイン/ズームアウト・回転などの演出操作をする．視聴者が演奏に合わせて演出するだけなく，カメラの切替に演奏者が追随して演奏を変化させるなど，演奏者と視聴者はお互いの意思伝達し，これまでにないコミュニケーションの創発を確認した．

2.2.3

ライブ・エンタテインメントコミュニケーションシステム

平川らの研究 [11] は，ペンライトを用いたライブでのコミュニケーションシス
テムを提案した．アニソンや声優・アイドルの歌，と言った「オタクジャンル」のライブ・エンタテインメントでは観客は自発的に示し合わせて用意した「ケミカルライト」を使う．これは観客側の「会場で一体感をもって歌い手を応援したい，盛り上がりたい」というニーズの現れである．ここでの「一体感」を具体的には表現すると「歌い手と自分」「自分と他の観客」の関係で共通感覚を得たいということ．その達成には「つながる感」が大事になるので，それを増幅するシステムの開発を目指した．基地局からの指令コマンドを赤外線で送りペンライトの色を一斉に変えることで観客が演出に加わることで「会場と観客」という関係がうまれ，会場との一体感が生まれる．

2.3. 本研究の位置づけ

2.3

9

本研究の位置づけ

本研究の目的は，カラオケにおいてタンバリンの使用を促し，歌い手と聴き手の相互のコミュニケーションを促進させることである．筆者が卒業論文において提案したシステムの概要を図 2.1 に示す．本システムは主に 3 つの要素からなる．

1 つ目が Wii タンバリンである．タンバリンに Wii リモコンを埋め込んだものである．これにより，タンバリンを動かした際の加速度を計測できるようになる．2
つ目がタンバリン譜の生成・表示部である．タンバリンをどのように叩くべきかを表した「タンバリン譜」をカラオケの伴奏再生に用いる MIDI データから自動的に生成し，カラオケのディスプレイに歌詞と一緒に表示する．3 つ目がタンバリンの加速度データからの演奏判定・フィードバック部である．加速度データを分析することで，表示されたタンバリン譜通りに演奏できているかを判定し，演奏できていれば「OK」と表示する．
序論で述べたように，これらは一定の効果はもたらしたものの，様々な問題が明らかになった．
「強度の問題」は Wii タンバリンに対する問題である．
「単独演奏の問題」はカラオケ参加者のうち 1 人がタンバリン演奏を担当するという方針そのものに対する問題である．
「難度の問題」はタンバリン譜生成・表示部に対する問題である．
「モダリティの問題」はタンバリン演奏に対するフィードバック部に対する問題である．
「音量の問題」はタンバリンというハードウェアそのものに対する問題である．
こうした問題を解決しつつ，タンバリンを活用してカラオケにおける相互のコ
ミュニケーションを支援する研究は，これまで行われてこなかった．2.1 節で述べたように，カラオケに対して様々な拡張や支援を行う研究はこれまで行われてきたが，いずれも，カラオケにおける相互のコミュニケーションの改善，特に，聴き手が歌唱を聴いているか歌い手が実感できない問題や聴き手が何をしていいか
分からないという問題の解決を目指すものではなかった．また，カラオケに限定されない，音楽におけるコミュニケーション支援については，2.2 節で述べたよう

10

第 2 章 カラオケ支援とコミュニケーション支援に関する研究に様々なものが行わている．これらは聴き手が楽しんでいることを表現することを促すのみで，歌い手も一緒に楽しめているかには注目していない．カラオケでは，コミュニケーションを取ることで聴き手が楽しめれば良いというものではな
く，一緒に歌い手も歌って楽しむということが重要になる．
本論文では，卒業論文 [3] において提案したシステムをベースとし，上で述べた問題について解決を図る．第 3 章においてまず強度の問題と単独演奏の問題について検討する．強度の問題については，Wii リモコンを取り付けることができるタ
ンバリンを 3D プリンタにて新たに設計・作成する．単独演奏の問題については，
タンバリンの演奏を歌い手も含めた全員が担うこととし，複数の Wii タンバリンを使用できるようにシステムを改良するとともに，叩き手の交代を指示する機能などを追加する．これにより，単独で演奏するよりも，カラオケ参加者同士の一体感が高まり，よりカラオケを楽しめるようになることを示す．
第 4 章では，難度の問題，モダリティの問題，音量の問題について検討する．難度の問題については，画面に表示するタンバリン譜を単純化する．しかし，単に単純化しただけではより高度な演奏を望む叩き手には対応できない．そこで，タ
ンバリン譜の通りに叩くのではなく，タンバリン譜を参考に自由にタンバリンを叩いてもらうものとする．具体的には，タンバリン演奏に対する参加度を定義し，その参加度が高い場合にポジティブなメッセージを表示し，低い場合は参加を促
すメッセージを表示するものとする．モダリティの問題は，タンバリンに光る機能を導入する．これにより，叩き手は音と光の両方によりカラオケへの能動的参加を表現することができる．音量の問題については，タンバリンのシンバルを上下から押さえつける機構を導入する．

2.3. 本研究の位置づけ

11

図 2.1: システム概要

13

第 3 章 複数人プレイに対応したタンバリン演奏支援システム
3.1

はじめに

本章では，本システムの全体像を述べるとともに，「強度の問題」と「単独演奏の問題」について解決する方法を議論する．すでに述べたように，筆者らは卒業論
文において，聴き手にタンバリンの演奏を促すために，タンバリン譜をカラオケの画面に表示し，また，タンバリンに埋め込んだ Wii リモコンを用いて加速度を計測し，タンバリン譜通りに叩けていれば「OK」と表示するシステムを提案した[3]．しかし，タンバリンと Wii リモコンをテープで結合しただけであるため，長時間使っていると結合部が不安定になってしまう問題（強度の問題）があった．また，タンバリンの叩き手を 1 人が担うために，その人がタンバリン演奏に夢中になり，歌い手とのコミュニケーションが成立しないという問題（単独演奏の問題）があった．本章では，前者に対しては Wii リモコンを取り付けられるタンバリン
を 3D プリンタにて制作する．後者に対しては歌い手を含めた全員がタンバリン演
奏に参加するようシステムを拡張する．

3.2

Wii タンバリンの設計・制作

本章で使用するタンバリンは，タンバリンの演奏を判定するために，タンバリ
ンに加速度センサーを入れ，その加速度情報を Bluetooth で送信する．Wii リモ
コンには 3 軸加速度センサー，Bluetooth モジュールが組み込まれているので，そ14

第 3 章 複数人プレイに対応したタンバリン演奏支援システム

図 3.1: Wii タンバリンの模式図
れらを利用するために，Wii リモコンをタンバリンに取り付ける（図 3.1，本稿では「Wii タンバリン」と呼ぶ）．Wii リモコンから正しい加速度情報を得るためには Wii リモコンをタンバリンにしっかりと固定する必要がある．そこで，Wii リ
モコンを固定できるよう 3D でモデリングしたタンバリンを 3D プリンタで，材料は PolyMax PLA を利用し, FDM 方式により積層ピッチは 0.2mm にて作成した（図 3.2）．Wii タンバリンは赤と白の 2 色ある．

図 3.2: 3D プリンタで作成した Wii タンバリン

3.3. システム概要

3.3

15

システム概要本システムは，通常のカラオケのような伴奏の再生および歌詞の表示にタンバ
リン譜の表示を加えることで，タンバリンの演奏方法を自ら考えられない人でもタンバリン譜の演奏を可能にするものである．タンバリンの演奏には，Wii タンバ
リンを使用し，タンバリン奏者（以下，叩き手という）が譜面通りに演奏できた
ときにそのことが分かるように表示を変化させる．
システムでは，Wii リモコンの加速度情報を取得するために Wrj4P5[12] というライブラリを使用している．このライブラリでは同時に最大 7 台まで接続することが可能だが，本システムではタンバリン演奏者を 3 人と想定しシステムの設計を行った．
システムの流れを図 3.3 に示す．本システムを起動すると，まず Wii リモコンとの通信が行われる．その後，メニュー画面（図 3.3）に移行する．メニュー画面では「練習モード」か演奏したい楽曲を選ぶことができる．このモードで，ユーザに本システムの使い方を覚えてもらう．練習モードが終了すると，改めてメニュー画面に戻るので演奏したい楽曲を選択する．すると，あらかじめ用意された伴奏再生用の MIDI ファイルからタンバリン譜を生成する．タンバリン譜の生成が終わったらすぐに MIDI ファイルの再生が開始され，カラオケが始まる．カラオケ
実行中は，歌詞・タンバリン譜の表示，タンバリン演奏の判定・フィードバック，
叩き手の交代の指示が並行して行われる．

3.3.1

Wii リモコンとの Bluetooth による通信

本システムを起動するとまず Wii リモコンと Bluetooth にて接続を試みる．

16

第 3 章 複数人プレイに対応したタンバリン演奏支援システム

図 3.3: システムの流れ

3.3.2

メニューの表示

3.3.1 節の Wii リモコンとの接続が完了したら，図 3.4 のメニュー画面が表示される．このメニュー画面では，現在選択中の項目が点滅し，Wii リモコンの十字キーを用いて「練習モード」またはカラオケで演奏する楽曲を選ぶことができる．

Wii リモコンのボタンでそれを確定させる．

3.3. システム概要

17

図 3.4: メニュー画面．現在選択中の項目が点滅し，Wii リモコンの十字キーおよびボタンで「練習モード」またはカラオケで演奏する楽曲を選ぶ．
「システムあり」
は，タンバリン譜の生成・表示，演奏の判定・フィードバック，叩き手の交代の指示が有効であることを表す．

3.3.3

タンバリン譜の生成

演奏練習の後, 演奏する曲を選ぶと, その曲に合ったタンバリン譜を生成する. 詳
細は 3.4 節にて議論するが, 基本的には楽曲再生用の MIDI データのスネアドラムのパートに基づいて生成する.

18

第 3 章 複数人プレイに対応したタンバリン演奏支援システム

図 3.5: カラオケ実行中の画面例．画面上部にタンバリン譜，画面中央部に歌詞が表示される．タンバリン譜は 1 小節分を 1 行として，2 行表示する．この例では各小節 2 拍目，4 拍目にタンバリンを叩くことを意味する．誰が叩き手かはタンバ
リンのアイコンの背後にある円の色で区別される．この色と各 Wii タンバリンの

LED の点灯パターンの対応関係が画面下部に表示されている．

3.3.4

カラオケの実行

タンバリン譜の生成が終了すると，MIDI データの再生が始まり，カラオケがスタートする．MIDI データ再生中は，以下に示す歌詞・タンバリン譜の表示，タンバリン演奏の判定・フィードバック，叩き手の交代の指示が並行して行われる．

3.3. システム概要

19

図 3.6: タンバリン譜表示部の説明
歌詞・タンバリン譜の表示
カラオケ中は，通常のカラオケと同様に歌詞が表示され，その上部にタンバリン譜が表示される（図 3.5）．表示部の詳細を以下に示す．

• 画面上部
概要 画面上部の，5 つの縦線が横に並んだものが 2 行にわたって表示されている領域に，タンバリン譜が表示される．この表示部を説明した図を図3.6 に示す．1 行が 1 小節に対応し，縦線は拍節を表す．つまり，同時に 2 小節分のタンバリン譜が表示される．ここにタンバリンを叩くことを示すアイコンと現在の演奏位置を表す太線が表示される．太線は楽曲の進行に合わせて自動的に左から右へ移動する．このアイコンと太線が重なるタイミングで，叩き手は Wii タンバリンを叩く．
アイコンの意味 タンバリンを叩くことを表すアイコンは，タンバリンおよび手の画像とその背後の色のついた円で構成されている．この円の色が叩き手（個々の Wii タンバリンに割り当てられた ID）を表す．現在の

第 3 章 複数人プレイに対応したタンバリン演奏支援システム

20

実装では緑が 1，青が 2，紫が 3 となっている．どの Wii タンバリンがどの ID を持つかは，Wii リモコンの 4 つの LED の光る位置で区別することができる（たとえば，ID が 2 の場合は □■□□ のように左から 2
番めの LED が点灯する）．
楽曲の進行に合わせた表示の変化 2 行の表示部のうち，現在の演奏位置が上段の小節の場合は，下段にはその次の小節のタンバリン譜が表示される．現在の再生位置（太線）が上段の小節の最後に達したら，下段の小節の最初に移る．この際，下段の小節が始まるタイミングを分かりやすくするため，下段の小節が始まる少し前から下段の太線を表示する（左側の余白に表示し，小節の開始にタイミングが合うように右に移動させる）．つまり，下段の小節が始まる直前は，上下段の両方に太線が表示されることになる．また，現在の演奏位置が下段に移ると，上段がその次の小節のタンバリン譜にすぐ切り替わる．下段の小節が終わって上段の小節に移る場合の処理は，上段から下段に移る際と同様である．

• 画面中央部
画面中央部には通常のカラオケと同様に歌詞が表示される．文字の色が曲の進行と同期して流れるように変化する．

• 画面下部
画面上部のタンバリン譜のアイコンの色と Wii タンバリンの ID の関係をここで表示する．各 ID に対応する色が３つ円として表示され，そのすぐ下に

Wii リモコンの LED の点灯パターンが表示される．各プレイヤーはこの点
灯パターンを Wii リモコンの LED で確認し，その Wii タンバリンがどの色に対応しているのかを，ここで把握する．

3.4. タンバリン譜面の生成方法

21

タンバリン演奏の判定・フィードバック
タンバリン譜に基づいてユーザがタンバリンを叩くと, タンバリンに内蔵されている Wii リモコンが加速度を計測し, 本システムがその情報を Bluetooth にて受信し, 正しい演奏かどうかを判定する. 具体的には, 叩くべきタイミングで, 指定された叩き手が, 指定された強さで叩いているか判定する. 正しく叩けていると判定されると, 円の中の絵が「OK」に変わる. 本システムはタンバリンの演奏を促すためのものであるため，タンバリン符のない箇所でタンバリンを叩いたからといって，ネガティブなフィードバックを行うことは望ましくない．そこで，タンバリ
ン符のない箇所での演奏判定は行わない．具体的な判定方法は 3.5 章で述べる.

叩き手の交代の指示
タンバリンの演奏はサビでは全員に同じ演奏を指示し, サビ以外では指示された一人が演奏する. 演奏者の指定は, 予め入力しておいた楽曲構成情報をもとにイントロをプレイヤー 1 が演奏, A メロをプレイヤー 2 が演奏といったように曲が展開するタイミングで演奏が変わるように指示する（図 3.7）. 全員がタンバリンを叩
くサビでは, 図 3.8 のように叩き手を表す円には，全員に割り当てられた色が描画される. なお, 叩き手の交代の機能は, 無効にできる.

3.4

タンバリン譜面の生成方法

3.4.1

生成方針

カラオケでのタンバリン演奏の難しい点は, やみくもに演奏すると, 歌い手の邪魔になってしまうことである. 盛り上がるような演奏で, かつ歌い手の邪魔をしないという相反する条件に合うような演奏をする必要がある. また, あくまで盛り上げることが目的であり, 一般のカラオケ愛好家が練習なしに叩けないほど難しいの22

第 3 章 複数人プレイに対応したタンバリン演奏支援システム

図 3.7: 叩き手交代の流れ
は適切とは言えないので, 過度に演奏が難しいものは避ける必要がある. これらの条件を満たすタンバリン譜を生成するための方針を, 以下で議論する.

扱う楽曲（MIDI データ）に対する仮定
本研究では，日本のカラオケで一般的に歌われているポピュラー音楽を対象とする．使用する MIDI データは次の条件を満たすものとする．

• ドラムパートがあり，スネアドラムが演奏されている．スネアドラムは自然な演奏になるように，適切にヴェロシティに変化が付けられているものとす
る．いわゆるバラード調の曲を中心にスネアドラムの演奏がない楽曲も存在するが，一般的にそのような楽曲は静かな楽曲であることが多く，スネアド
ラムの入っている楽曲に比べてタンバリン演奏の重要性は相対的に高くないと判断し，ここでは対象外とする．

• 4 分の 4 拍子の楽曲である．

3.4. タンバリン譜面の生成方法

23

図 3.8: サビのときのシステム画面• 歌詞の表示用に歌詞データ（歌詞の各文字とその開始・終了時刻）がメタイ
ベントとして挿入されている．

• 間奏時には「（間奏）」という文字列が歌詞データとして挿入されている．
• 「前奏」「A メロ」「B メロ」「サビ」などの楽曲構成情報（各項目の名称と項目の切り替えのタイミング）が挿入されているか別途用意されている．
「叩
き手の交代」の機能を無効にしている場合はこれらの情報はなくてもよい．
この場合，サビの箇所を自動的に推定する．自動的に推定する場合には，「1番（A メロ→ B メロ→サビ）→ 2 番（A メロ→ B メロ→サビ）」のようなポピュラー音楽における典型的な楽曲構成になっていることを前提とする．

第 3 章 複数人プレイに対応したタンバリン演奏支援システム

24• 最初のトラックが主旋律（歌い手が歌うべきパート）となっている．

基本方針
タンバリン演奏は, 盛り上げるために音楽に合わせて音を出すという点で, 手
拍子と共通した特徴がある. 手拍子は, 一般的なポピュラー音楽では 2 拍目と 4 拍
目に手を叩くことが多い. 図 3.9 に『千本桜』[13] の A メロの場合を示す. この場
合においては, 図の「Hand Clap & Tamb.」に書いてあるように 2 拍目と 4 拍目で手拍子をするのが一般的と思われるので, タンバリンもそれに合わせて叩くのが望ましい. カラオケで再生される伴奏では, 2 拍目と 4 拍目にアクセントを与えるのは, スネアドラムが担うのが一般的である. スネアドラムにはスナッピーと呼ばれる金属線が張られており, 通常のドラムセットに含まれる楽器の中で目立つ音を出すからである. このことから, スネアドラムに合わせて叩くのを基本とし, 16 分音符レベルの裏拍などの演奏が難しい箇所を除去するという方針が考えられる.
スネアドラムが 2 拍目と 4 拍目を演奏しない場合もある. たとえば, 『千本桜』のイントロ（図 3.10）ではスネアドラムは 8 分音符レベルの裏拍で叩かれており,
サビ（図 3.11）では 4 つの表拍のすべてでスネアドラムが叩かれている. これはそのタイミングにアクセントを与えたいからだと考えられる. そのため, こういった場合も, タンバリンはスネアドラムに合わせて叩くのが望ましい. 実際, 図 3.10 や
図 3.11 の場面で図 3.9 と同じようにタンバリンを演奏すると, 曲の最初から最後までほとんど同じ演奏パターンになってしまい, 曲のメリハリや緩急が損なわれると考えられる.
以上のことから, スネアドラムに合わせて演奏することを基本方針とし過度に難しくなるのを避けるためにいくつかの音符は省略する.

3.4. タンバリン譜面の生成方法

25

図 3.9: 『千本桜』（作曲・作詞：黒うさ P）[13] の A メロの冒頭 4 小節（主要パートのみ抜粋, 筆者らが原曲を聴いて採譜, 他の図も同様）. 「Hand Clap & Tamb.」
は我々が望ましいと考える手拍子およびタンバリン演奏のパターン（他の図も同様）. スネアドラムが 2 拍・4 拍目を中心に演奏しており, 手拍子・タンバリンもそれに合わせて叩くパターンである.
「キメ」の部分の演奏
ポピュラー音楽には, 俗に「キメ」と呼ばれる特徴的な演奏をする箇所がある
場合がある. 「キメ」は, すべての（あるいはほとんどの）楽器が全く同じリズムで演奏することで, そのリズムやフレーズを目立たせ, 楽曲の進行に一定のアクセントを与えるもので, サビに入る直前やサビの終わりなどによく見られる [14]. たとえば, 『千本桜』[13] では, サビに入る直前で図 3.12 に示すようなフレーズが入る. ここの場面ではほぼ全ての楽器が同じリズムで演奏する. 「キメ」はその楽曲のアイデンティティにもなりうる重要な箇所であり, 盛り上がる箇所とも考えられるので, タンバリンでもそれに合わせて演奏するのが望ましい.

第 3 章 複数人プレイに対応したタンバリン演奏支援システム

26

図 3.10: 『千本桜』[13] のイントロの冒頭 4 小節. 図 3.9 と異なり, スネアドラムは

8 分音符レベルの裏拍を叩いているが, 手拍子やタンバリンも同様に叩くのが望ましいと考える.
静かな曲への対応
アップテンポで盛り上がる楽曲では, タンバリンもその盛り上がりに合わせて強く叩くのが望まれるが, いわゆるバラード調の静かな楽曲でタンバリンを強く叩
くと, 歌唱を邪魔したり楽曲の雰囲気を壊してしまう可能性がある. そこで, 盛り上がる楽曲と静かな楽曲とでは, タンバリン譜に違いをつける.

3.4.2

演奏のタイミングの生成

演奏のタイミングの生成は以下の流れで行う（図 3.13）.

MIDI データのスネアドラムに合わせて生成
前述の基本方針にしたがって, MIDI データのスネアドラムの演奏箇所に合わせて符を生成する. ただし, 実際のドラム演奏では, 16 分音符レベルの裏拍に弱くスネアドラムを叩くことがよく行われる. このような演奏方法は, ドラム演奏の未3.4. タンバリン譜面の生成方法

27

図 3.11: 『千本桜』 [13] のサビの冒頭 4 小節. スネアドラムは 4 つの表拍すべてで叩いている. 手拍子やタンバリンもこれに合わせるのが望ましいと考える.
経験者には馴染みが薄いと予想され, そのままタンバリンで再現しようとすると,過度に難しくなると考えられる. そこで, 16 分音符レベルで裏拍の符はすべて削除
する. さらに, ヴェロシティー 1 が特に低い符も削除することで, ドラム演奏の未経験者でも叩ける難度に抑える. 「ベロシティが特に低い符」は次のように決定する．

1. スネアドラムの演奏箇所のすべてのベロシティに関してヒストグラムを作成
する．

2. ヒストグラムに複数のピークができる場合，ベロシティが低い方から１つ目のピークと２つ目のピークの間で最も度数が低いベロシティ（谷のベロシ
ティ）を求める．

1

ヴェロシティーは, ノートオンメッセージ（MIDI 音源に対して「音を鳴らせ」という指令を行

うメッセージ）の 1 つ 1 つに付与されるパラメータの 1 つで, 本来 MIDI キーボードなどの鍵を叩く速さを表す. ピアノの鍵を速く叩くと強い音が出ることから, 実際には音の強さを表すパラメー
タである. 0 以上 127 以下の整数を取る. ノートオフメッセージ（音を消す指令を行うメッセージ）にもオフヴェロシティーというパラメータがあるが, ほとんど使われない.

第 3 章 複数人プレイに対応したタンバリン演奏支援システム

28

図 3.12: 『千本桜』[13] のサビ直前のいわゆる「キメ」の箇所. 手拍子やタンバリンを叩く場合も, この「キメ」のリズムに合わせるのが望ましい.

3. 2. で求めた値よりベロシティが低い符を削除対象とする．

7 つ以上の楽器が一小節で 3 音以上同時に鳴っていたらそれに合わせて符を生成
同時に 7 つ以上 2 の楽器が一小節で 3 音以上鳴っているフレーズをキメ（サビの前等に多く見られる複数の楽器が同じフレーズを同時に演奏する印象に残り易い部分）と判断し，そのフレーズに合わせてタンバリンを演奏するようにタンバ
リン譜を生成する. キメに合わせてタンバリンを演奏することでタンバリンの演奏が曲と合っているように感じられる.
2

この値は実験的に決定した．楽曲全体の楽器（パート）数が 7 未満のときは「キメ」に相当するフレーズはないものと扱われる．

3.4. タンバリン譜面の生成方法

29

図 3.13: タンバリン譜自動生成

8 分音符レベルで 3 音以上連続していたら振る符を生成
スネアドラムの演奏が 8 分音符レベルで 3 音以上続く場合, タンバリンをそれに合わせて叩くのは必ずしも簡単ではない. そこで, このような場合はタンバリンを叩く代わりに振ってもよいこととし, 画面上の表示も区別する（叩いても構わない）.

タンバリン符がない小節は他のパートが無音でなければ小節の頭に符を生成(1)∼(3) の方法でタンバリン譜を生成した場合, スネアドラムの演奏が全くない箇所は, タンバリンの演奏はないこととなる. タンバリン演奏は, 前述のように

30

第 3 章 複数人プレイに対応したタンバリン演奏支援システム

図 3.14: 『千本桜』[13] の転調直前のサビ. 転調してもう 1 度繰り返すサビをより盛り上げるため, 最低限の楽器数で静かに演奏している. そのため, 手拍子やタンバリン演奏においても, 他のサビとは区別して静かに演奏すべきである. その 1 つの方針として, 小節の頭のみ叩くというものが考えられる.
歌い手の邪魔をしない範囲で, 積極的に場の盛り上げに貢献すべきである. そこで,両者のバランスをとるため, 小節の頭にのみ符を生成する. たとえば, 『千本桜』[13] の転調直前のサビに対しては図 3.14 のような結果となる.

3.4.3

叩く強さの決定スネアドラムのヴェロシティの平均が高い曲は賑やかで, ヴェロシティの平均が低い曲は静かな曲と判断できる. そこで, ヴェロシティの平均の高い曲は強く叩く符を多く, ヴェロシティの平均の低い曲は強く叩く符を少なくする. ただし, 強く叩く符があまりに多いとうるさいだけのメリハリのない演奏になる可能性が高い.
そのため, 強く叩く符の割合には上限を設けるのが望ましい. ここでは, その上限
を 2/3 とする. また, 著者らによる予備検討では, 曲の賑やかさが平均的な程度の場
合に, 強く叩く符の割合を 1/3 にすると, 盛り上がりと歌い手の邪魔の回避を一定程度両立できた. そこで, 様々な曲から求めた全スネアドラム譜のヴェロシティー

3.5. タンバリン演奏の判定方法

31の平均値を M , 対象曲のみから求めたスネアドラムのヴェロシティーの平均値をm とすると, 1 (1 + m−M ) (m > M )
3
127−M

R=


m
3M

(otherwise)

を強く叩く割合とする. タンバリンの各符に対して同時に鳴っている楽器の数が多
い順にこの割合の分だけ「強く叩く符」に割り当てる. ただし, 同じ小節に強く叩く符とそうでない符が混在すると, 叩く難度が高くなってしまうと思われることから, 各小節内に強く叩く符とそうでない符が混在しないように強く叩く符を割り当
てる.

3.5

タンバリン演奏の判定方法

タンバリンに取り付けた Wii リモコンで 3 次元の加速度データを取得して正しい演奏が出来ているか判定する.

Wii リモコンの加速度の向きは図 3.15 の通りなので, タンバリンを叩く, 振る時に加速する向きは x 軸になる.

3.5.1

叩いたかの判定

1 フレーム毎に Wii リモコンの x 軸の加速度差が大きい時を叩いたと判定する.
具体的には, 時刻 t における加速度を at とすると |at − at−1 | が閾値より大きくなる
時刻 t の時に叩いたと判定する.

3.5.2

強く叩いたかの判定

叩いたかの判定と同様に 1 フレーム毎に Wii リモコンの x 軸の加速度差が閾値を越えたときに強く叩いたと判定する.

32

第 3 章 複数人プレイに対応したタンバリン演奏支援システム

図 3.15: Wii タンバリンの加速度の向き

3.5.3

振ったかの判定

Wii リモコンの x 軸の加速度を 1 フレーム毎に計測する. 時刻 t に置ける加速度を
at とすると at at−1 < 0 の時, タンバリンの動く向きが変わるということになる.20
フレームの間でタンバリンの動く向きが変わる回数を計測し, その回数が閾値より多いときタンバリンを振ったと判定する.

3.6. タンバリン譜に対する評価

3.6

33

タンバリン譜に対する評価

本システムが自動生成したタンバリン譜が音楽的に妥当かどうか, 音楽大学を卒業した音楽の専門家 1 名に評価してもらった. 用意した MIDI ファイルにタンバリン譜の演奏を追加し, タンバリン譜の表示に合わせてそれを再生したものを見てもらい, 不足符（タンバリンを叩くべきだが叩く指示が出ていない箇所）と不要符（タンバリンを叩かない方が望ましいが叩く指示がでている箇所）を書き込んでもらった. 結果を表 3.1 に示す. すべての曲のほとんどの箇所について, 一定程度の音楽的妥当性があることが分かった. 不足符について, 同じパターンが続く中で, たまたまスネアドラムのヴェロシティが低かったために, ある箇所の符が省略された
場合に, その箇所もタンバリンを叩くべきだという指摘がいくつか見られた.
本システムでは, スネアドラムのない小節には無音でなければ小節の頭に符を生成するという方針をとった. この方針により頭に符が生成された小節は合計で 327小節あるが, そのうち 313 小節は不要符も不足符も指摘されなかった. このことから, この方針が一定の評価を得ていることが分かる. 一方, この方針をとったために不要符が発生した場面として, サビやエンディングの最後の音が数小節に渡って延びているときに, その小節の頭に符が生成されたケースがあげられる. このようなケースは, 当該小節内にノートオンメッセージがあるかどうかによって除外できるので, 今後, こういったケースの除外を導入する必要がある.

3.7

実験

3.7.1

実験の目的

本実験では，全員がタンバリン演奏に参加することで場の一体感が増し，カラオケがより盛り上がるとの仮説を立て，この仮説の妥当性を検証する．そのため歌い手・叩き手・聴き手を固定した場合（「単独演奏」条件）と歌い手も含めて全

第 3 章 複数人プレイに対応したタンバリン演奏支援システム

34

表 3.1: タンバリン譜評価結果
曲

総符数

不足符数

不要符数

栄光の架け橋175

5

6

小さな恋の歌

564

1

0

千本桜

563

6

0

残酷な天使のテーゼ

300

7

4

君の知らない物語

687

6

8

サウダージ

480

1

0

女々しくて

232

2

1

員がタンバリン演奏に参加する場合（「全員演奏」条件）の両方の条件でシステムを用い，その結果を比較する．

3.7.2

被験者

被験者は同じサークルに所属する 9 名の大学生（19∼23 歳, 男性 6 名，女性 3 名）である．このうち 5 名が楽器を習った経験がある．

3.7.3

実験環境

実験は実際のカラオケ店のカラオケルームにて行った．カラオケの再生にはカラオケルームに設置された機器ではなく，我々があらかじめ用意した MIDI ファイ
ルを用いた（ヤマハミュージックデータショップ [14] にて購入）．この MIDI ファ
イルには歌詞情報などの必要な情報が埋め込まれているものとする．持ち込んだ

PC を市販の MIDI 音源（ヤマハ MU500）に接続し，この MIDI 音源のオーディオ
出力をカラオケルーム内のアンプの入力端子に接続した．マイクはカラオケルー

3.7. 実験35
表 3.2: 被験者の役割.
単独演奏

全員演奏

役割 1

歌い手

歌い手兼叩き手

役割 2

叩き手

叩き手

役割 3

聴き手

叩き手

ムに常備されているものをそのまま用いた．本システムの画面は，カラオケルー
ム常設の大型ディスプレイに出力される．このように，マイク，スピーカー，ディ
スプレイはカラオケルームに設置されたものを用いつつ，その他については我々が用意した機器を用いた．タンバリンについては節 3.2 の Wii タンバリンを用いた．

3.7.4

実験の手続きまず，場を和らげるために通常のカラオケの機器を用いて 1 曲歌ってもらい，その次にシステムの説明をする．その後，3 組のうち 2 組は「単独演奏」条件（曲は『女々しくて』（ゴールデンボンバー），『君の知らない物語』（supercell）の順）の後に「全員演奏」条件（『残酷な天使のテーゼ』（高橋洋子），『千本桜』（WhiteFlamefeat. 初音ミク）順），残りの 1 組は「全員演奏」条件の後に「単独演奏」条件（使用楽曲は同じ）で実験を行った．両条件における 3 名の役割を表 3.2 のように定義
する．

3.7.5

使用曲

JOYSOUND の 2013 年カラオケランキング上位から，被験者でありかつ主なユーザ層である 20 代に人気で，タンバリン演奏が合うと予想される 4 曲を用いた．
『単独演奏』条件が『女々しくて』と『君の知らない物語』，『全員演奏』条件が『残第 3 章 複数人プレイに対応したタンバリン演奏支援システム

36

酷な天使のテーゼ』と『千本桜』である．本来，このような実験では用いる楽曲などの条件を揃えて実験刷るべきであるが，同じ楽曲を複数回用いると，1 回目に比べて 2 回目の方がタンバリン演奏に慣れが生じ，少し前に歌ったり聴いたりしたばかりの曲であるために，盛り上がりに対して不利になる可能性が高いと考え，異なる楽曲を用いることとした．楽曲の選定にあたっては，曲調や生成されるタ
ンバリン譜の難度ができるだけ近いと思われるものを慎重に選んだ．

3.7.6

実験結果

実験結果を表 3.3 に示す．評価は 1 が最もネガティブで 6 が最もポジティブな評価となっている．役割 1 の Q7（タンバリンは必要か），Q9（また歌唱者をやりたいか）を除き，全役割の全設問について，全員演奏条件の方が単独演奏条件よりも回答の平均値が高かった．以下，役割ごとに結果をまとめる．

• 役割 1 について
Q1∼Q6 で全員演奏条件の回答の平均値が 5.0 以上となり，ともに単独演奏条件を上回ったが，Q7（タンバリンは必要か），Q9（また歌唱者をやりたいか）では，全員演奏条件が単独演奏条件を下回る結果となった．

• 役割 2 について
すべての項目において，全員演奏条件の回答の平均値が 5.0 以上であった．
特に，Q1（カラオケを楽しめたか），Q3（一体感を得られたか），Q5（盛り上げに貢献出来たか）では，被験者（3 名）の全員が最高得点である「6」を回答した．

• 役割 3 について
Q4（飽きなかったか）以外のすべての項目において，全員演奏条件の回答の平均値が 5.0 以上であった．

3.8. まとめ

3.7.7

37

考察

前節で述べた実験結果に対して，次のように考察する．

• Q1∼Q6 において，どの役割についても全員演奏の方が単独演奏条件よりも回答の平均値が高かったことから，少なくともこの 9 名の被験者については，
全員がタンバリン演奏に参加することで，一体感を高め，カラオケをより盛り上げ，より楽しめるものにすることができたといえる．

• 役割 1 の Q7（タンバリンは必要か），Q9（また歌唱者をやりたいか）において，全員演奏条件が単独演奏条件を下回ったことに対する 1 つの理由として，歌いながらタンバリンを演奏するのが難しかったことが考えられる．実際，アンケートの回答ではないが，実験後に「歌詞を見ながらタンバリン譜も見て歌唱と演奏の両方をしないといけないのが大変」と言っていた被験者がいた．歌詞とタンバリン譜の表示方法を改善する，あるいは，歌い手を兼
ねる叩き手のみタンバリン譜の難度を下げるなどの対策が望まれる．

3.8

まとめ

本章では，複数人に向けたタンバリン演奏支援について述べた．タンバリン演奏
支援システムとして，MIDI データのスネアドラムをもとにタンバリン譜を生成・提示して複数人でのタンバリンの演奏を促すシステムを提案した．画面に合わせて Wii リモコン内蔵のタンバリンを叩くことで，演奏の正しさが画面にフィードバックされ，ゲーム感覚でタンバリン演奏を楽しむことができる．また，複数人で演奏するように，A メロや B メロなどの曲構成に基づいて叩き手を交代する仕様になっており，サビは全員で叩くことで盛り上がりを強調するようになっている．このシステムを実際のカラオケ店にて実験したところ，叩き手が知らない楽曲に対してタンバリンを叩く際やワンパターンな演奏を避けたい場合には一定の38

第 3 章 複数人プレイに対応したタンバリン演奏支援システム
表 3.3: アンケート結果（SD：標準偏差）

役割 1
質問

役割 2

役割 3

単独演奏

全員演奏

単独演奏

全員演奏

単独演奏

全員演奏

平均

SD

平均

SD

平均

SD

平均

SD

平均

SD

平均

SD

Q1. カラオケを楽しめたか

5.16

0.40

5.50

0.83

5.50

0.83

6.00

0.00

4.66

1.50 5.33

1.03

Q2. 他人は楽しんでいたか

4.50

0.54

5.50

0.83

4.66

1.21

5.66

0.81

4.16

1.60 5.16

1.32

Q3. 一体感を得られたか

4.33

1.03

5.66

0.81

4.50

1.51

6.00

0.00

3.66

1.03 5.33

1.21

Q4. 飽きなかったか

5.16

1.32

5.66

0.51

5.33

1.03

5.83

0.40

3.00

1.89 4.66

1.96

Q5. 盛り上げに貢献出来たか

4.33

0.81

5.16

1.69

4.83

1.16

6.00

0.00

2.16

1.16 5.33

1.96

Q6. 盛り上がったか

4.33

0.81

5.00

1.67

4.66

1.21

5.83

0.40

3.50

1.22 5.33

1.03

Q7. タンバリンは必要か

5.16

0.75

4.50

1.64

4.33

1.36

5.83

0.40

3.66

1.03 5.00

0.63

Q8. 演奏は曲に合っていたか

3.66

0.81

4.66

0.81

4.66

1.50

5.50

0.54

3.83

1.16 5.66

0.51

Q9. 歌唱者になりたいか

5.33

1.03

4.83

1.83

3.83

1.94

5.50

0.54

4.50

1.51 5.33

0.89

効果が見込めるものの, タンバリン譜の難度が高くて叩き手によっては正確に叩くのが難しい場合や，そういった場合にリズムのズレが発生してむしろ歌いにくくなる点などが明らかになった.

39

第 4 章 スマートタンバリンおよび演
奏参加度に基づいたカラオケ
支援システム
4.1

はじめに前章では，Wii リモコンを取り付けられるタンバリンを 3D プリンタで作成するとともに，歌い手を含めた全員がタンバリン演奏に加わることで，カラオケ参加者の間の一体感を高め，カラオケをより盛り上がるものにすることができた．しかし，いくつかの問題が残されていた．

1 つは，生成されるタンバリン譜の難度が高い場合があり，正しく演奏できない場合があるという問題（難度の問題）である．特に，難度が高くて正しく演奏できない場合にリズムがずれる叩き手がおり，むしろ歌いにくくなるという場面も見られた．この問題を考える上で重要なことは，本来，タンバリンを叩く目的は，叩き手が歌い手の歌唱を聴いて楽しんでいることを歌い手に伝えること，叩き手が能動的にカラオケに関わることで参加者同士の一体感を高めることなどにあり，何らかの譜面が提示されそのとおりに叩くことは本質ではないということである．
つまり，「参考」として何らかの譜面を提示することは構わないが，より積極的・能
動的なタンバリン演奏はむしろ認めていくべきである．また，その「参考」として提示される譜面は必要以上に凝ったものではなく，シンプルなものが望ましい．
提示するタンバリン譜はシンプルなものとし，それよりも積極的・能動的な演奏

40第 4 章 スマートタンバリンおよび演奏参加度に基づいたカラオケ支援システム
に対してポジティブな表示をすることで，様々なレベルの叩き手に対応できるよ
うにする．

2 つ目は，音以外のモダリティの活用について検討されていないという問題（モダリティの問題）である．第 3 章で述べたシステムは，聴き手はタンバリンを叩くこと，つまりタンバリンの音を出すことによって能動的なカラオケへの参加を表現する．しかし，聴覚メディアは歌唱やカラオケの伴奏再生などで使われているし，タンバリンが必要以上に音を出すとうるさくて歌唱の邪魔になる．タンバ
リン演奏のリズムがずれると歌いにくくなるという問題がある．そこで，視覚メ
ディアとの併用を検討する．具体的には，タンバリンに LED を取り付け，タンバ
リンの演奏に合わせて光を発するようにする．これにより，より幅の広い表現が可能になると期待される．

3 つ目の問題は，上でも述べたが音量の問題である．この問題については，タン
バリンのシンバルを上下から押さえつける機構を導入することで，タンバリンの音量調整を可能にする．上述の光る機能と組み合わせることで，タンバリンの音をほとんど出さずに光のみで演奏表現を行うことも可能である．これは，タンバ
リンの音がふさわしくない静かな曲調の楽曲に有効であると期待される．

4.2

スマートタンバリンの設計

スマートタンバリンは，Bluetooth モジュール・加速度センサー・サーボモータ・
シリアル LED・リチウムイオン電池を組み込み Wii タンバリン同様 3D プリンタ
で，材料は PolyMax PLA を利用し, FDM 方式により積層ピッチは 0.2mm にて作成した（図 4.1）．
シリアル LED は 20 個取り付けてあり RGB 各色 256 段階で光らせることができる（図 4.2）．
スマートタンバリンを光らせることで，聴き手はタンバリンの演奏だけでなく

4.2. スマートタンバリンの設計

図 4.1: スマートタンバリンの中身

図 4.2: スマートタンバリン

41

42第 4 章 スマートタンバリンおよび演奏参加度に基づいたカラオケ支援システム
光によってノリ，同調を示すことを可能にし，さらに光でカラオケを演出することを楽しめ，その演出で歌い手のコミュニケーションをとることができる．また光の演出をすることで，タンバリンの演奏に適さない静かな曲でも聴き手はカラオケを楽しむことができる．
サーボモータを組み込むことで，タンバリンの音を鳴らすシンバルを挟み込み
音量を小さくすることが可能になる．これにより静かな曲に合わせて小さな音で演奏したり，タンバリンの音が出ないようにし光だけを楽しむことができるようにする．
このスマートタンバリンは同時に複数接続できないため複数人で演奏するときはスマートタンバリンは 1 つのみで残りの叩き手は Wii タンバリンを使用する．

4.3「参考」としてのタンバリン譜表示

3 章では，タンバリン譜を表示し，表示に対して正しく演奏できているときフィードバックを行っていたために，ユーザが表示に合わせて正しく演奏しようとする
が，正しく演奏できない場合があるという問題（難度の問題）が生じた．そこで，タンバリン譜をシンプルなものにし「参考」として表示し，フィードバックを積
極的・能動的な演奏に対して行うことで様々な叩き手のレベルに対応する．

4.3.1

タンバリン譜の簡略化

本システムのタンバリン譜は，節 3.4 の方法で生成したものを図 4.3 の例の様に，曲の展開ごとに一番多い小節の演奏パターンに，上記で定めた曲のキメ部分をキメに合わせて演奏するように指示するものを演奏アドバイスとして生成すること
でタンバリンの演奏方法が分からない人に対しても最低限の演奏ができるよう支援する．

4.4. システムの実装

43

図 4.3: システムのタンバリン譜の生成例

演奏参加度のフィードバック

4.3.2

2 章のように表示に合わせて正しい演奏した時にフィードバックを行うと，難度の問題が生じてしまう．そこで，ユーザの演奏を促すために，積極的・能動的な演奏に対してフィードバックを行う．本システムでは，1 小節の間にどれだけタンバ
リンを叩いたかを演奏参加度と呼び，次の 3 段階に分けそれをフィードバックする．(1) 全く演奏していない．(2) 演奏はしているが表示されているタンバリン譜
以下しかタンバリンを叩いてない．(3) 表示されているタンバリン譜より多く叩い
ている．

4.4

システムの実装

本章のシステムと前章のシステムの大きな違いは，タンバリン譜の表示がシンプルになり，演奏参加度に対するフィードバックを行う点である．そこで前章のシステムの画面上部で 2 行で表示していたタンバリン譜を本章のシステムでは，1
行にし，余った 1 行で演奏のアドバイスなどを行う．前章のシステムの画面下部
で Wii タンバリンの ID 関係を表示していた部分では，それぞれのユーザに割り当てたアイコンが表情で演奏参加度のフィードバックを行う．

44第 4 章 スマートタンバリンおよび演奏参加度に基づいたカラオケ支援システム

4.4.1

システム画面

本章のシステムでのカラオケ画面は，通常のカラオケと同様に歌詞が表示され，その上部に演奏のアドバイスが表示され，さらに上にタンバリン譜が表示される．
歌詞の下部の人のアイコンは叩き手の演奏参加度に合わせて表情が変わる（図 4.4）．
表示部の詳細は以下に示す．

図 4.4: システムの画面例• 画面上部 1 行目
画面上部 1 行目の，5 つの縦線が横に並んだものが表示されている領域に，タンバリン譜が表示される．前章のシステムのタンバリン譜が 1 行になり，表
示方法や表示されるアイコンは前章のシステムと同様である．

• 画面上部 2 行目
画面上部 2 行目には，サビと間奏では「盛り上がるところ」と表示し，そこで，全員の演奏参加度が 3 になると，「Good」というフィードバックをする．

4.4. システムの実装

45

キメの 3 小節前からは「○小節後にキメ」という文字とキメの小節の譜面が表示する．それ以外では「分からなければ上のリズムを参考に」という文字を表示する．

• 画面中央
画面中央部には通常のカラオケと同様に歌詞が表示される．文字の色が曲の進行と同期して流れるように変化する．

• 画面下部
画面下部には人のアイコンが表示され，叩き手の演奏参加度によってこのアイコンの表情が 3 段階に変化する．また，叩き手が 4 小節以上タンバリンを演奏しないとき，その叩き手のアイコンの上に「演奏しよう」という文字が表示される．叩き手全員の演奏参加度が一番高くなった時に，すべてのアイ
コンが手を振る．どのタンバリンにどのアイコンが割り当てられるかは，左からスマートタンバリン，赤い Wii タンバリン，白い Wii タンバリンとなる．

4.4.2

スマートタンバリンの光スマートタンバリンは，叩くたびに光を変え 2 秒間光続ける．光の色は次のように決定する．

• 演奏参加度に合わせて明度が 3 段階に変わり演奏参加度が高ければ明度が高く，演奏参加度が低ければ明度が低くなる．

• 叩くたびに色相をランダムで決める．

46第 4 章 スマートタンバリンおよび演奏参加度に基づいたカラオケ支援システム

4.5

長期実験

4.5.1

実験の目的

本実験では，システムを 3 人 1 グループで 1 時間のカラオケを 6 回行ってもらった．歌い手や叩き手，タンバリンの使用について強制せずに普段どおりのカラオ
ケの環境に近い状態で，システムによりタンバリンの演奏を促せているか，コミュ
ニケーションは生まれているか，カラオケの満足度などを検証し，それが長期的に効果があるのか調査する．

4.5.2

被験者

被験者は，同じサークルに所属する 9 名の大学生の 3 グループと同じゼミナー
ルの 3 名の大学生の 1 グループ（19∼24 歳，男性 7 名，女性 5 名）である．

4.5.3

実験環境

実験環境については節 3.7.3 と同様である．タンバリンについては，節 4.2 のス
マートタンバリン 1 つと節 3.2 の Wii タンバリンを 2 つ使用した．

4.5.4

実験手続き

各グループ 1 回目の実験時にシステムの使い方などについて 30 分ほど説明を行
い，タンバリンの使用については自由な状態で 1 時間システムを使ってカラオケ実験をしてもらってた．それ以降のカラオケ実験実験では，システムの説明を行っていない．カラオケ中は，コミュニケーションを行う際に相手を見るだろうという仮定のもと，どのくらいコミュニケーションをとっているか調べるために，被験者にウェアラブルカメラを目に近い位置に着けてもらい視線情報を得た．カラ

4.5. 長期実験

47

オケ終了後，タンバリンを使用した曲の特徴やカラオケの満足度などに関するア
ンケートを行った．

4.5.5

使用曲

カラオケパセラの 2017 年 9 月の月間カラオケランキング TOP100 の中からヤマハミュージックデータショップ [14] にて購入可能な 80 曲から実験時にユーザが好きな曲を選曲した．

4.5.6

実験結果

アンケート結果をグラフ 4.5 に示す．6 段階評価であり，どの項目も 1 がネガティ
ブな回答，6 がポジティブな回答である．これらの結果は次のようにまとめられる．

• Q1（タンバリンの演奏アドバイスが表示されるカラオケは良かったか？）の評価は，実験の回数を重ねるごとに高くなっていった．

• Q2∼Q5 については 2 回目の実験時に評価が下がったが，6 回目の実験時には 2 回目の実験時よりも高い評価となり，1 回目の実験時と 6 回目の実験時の評価の平均の差は全て 0.25 未満になった．

• スマートタンバリンの使用については，どのグループも 1 回目の実験時に数回使用する程度だった．
ウェラブルカメラの視線情報から他のメンバーに視線を送った回数を数え，カラオケ中にメンバーに視線を送った回数とタンバリンの演奏参加度が 2 以上（1 小
節中にタンバリンを 1 度以上叩いた）が曲中の何割か（以下，演奏参加率と呼ぶ）の相関を調べた．実験毎の歌った曲数が違うため，実験毎に他の人に視線を送った回数をカラオケのメンバー 3 人で足したものを実験時歌った曲数で割ったもの

48第 4 章 スマートタンバリンおよび演奏参加度に基づいたカラオケ支援システムと，実験で歌われた曲の演奏参加率の平均で相関を求め，相関係数は 0.528，p 値
は 0.007 となった.

図 4.5: アンケート結果の平均

4.5.7

考察

前節で述べた実験結果に対して, 次のように考察する.

• アンケートの Q1∼Q5 において，どの評価項目においても 1 回目の実験時と6 回目の実験時で評価の平均が 0.25 よりも下がることはなく，システムを長期的に使用しても，カラオケ支援としての効果が大きく下がることはなかったといえる．

• Q1（タンバリンの演奏アドバイスが表示されるカラオケは良かったか？）の評価の平均は，実験を重ねるごとに上がっているので，被験者はシステムの演奏アドバイス表示部に飽きることなく，カラオケを楽しめたと考えられる．

4.6. まとめ49

• カラオケ中にメンバーに視線を送った回数と演奏参加率には，強くはないが相関が認められ，システムによりタンバリンの演奏を促し，演奏が増えることで，他のメンバーに視線を送る回数が増えコミュニケーションがより活発になっている考えられる．

• スマートタンバリンによる光でのカラオケ支援は，スマートタンバリンの使用回数が少なく検証を行うことができなかった．被験者が実験後スマートタ
ンバリンを使用しなかった理由として，「スマートタンバリンを激しく叩くと壊れそう」，「Wii タンバリンよりも音が小さい」などを挙げており，スマー
トタンバリンの強度の向上とタンバリンの音量の幅を更に広くするなどの対策が望まれる．

4.6

まとめ

本章では，タンバリンに光る機能と音量調整機能をつけたスマートタンバリンとユーザの演奏を制限しない演奏支援システムの実装について述べた．タンバリン譜を簡略化し，フィードバックを演奏の正確度ではなく，どのくらいタンバリンを叩いたかに対して行うことで，難度の問題を解決した演奏システムを実現した．システムを長期的に使用してもカラオケ支援システムとしての効果が大きく下がることはなかった．また，システムにより，タンバリンの演奏を促し，タンバ
リンの演奏を増やすことで，カラオケメンバーに視線を送る回数が増え，コミュ
ニケーションが活発になったと考えられる．しかし，スマートタンバリンは，長期実験で多く使われることはなく，スマートタンバリンの強度向上やタンバリンの音量の幅を広くするなどの対策の必要性が明らかになった．

51

第 5 章 考察と課題

5.1

考察

5.1.1

手法ごとの考察

タンバリン譜面の生成
卒業論文 [3] では，タンバリン譜面の生成と演奏の判定によるフィードバックを実装したシステムとタンバリン譜面の表示とフィードバックのないシステムで比較実験を行った．叩き手へ「タンバリンが叩きやすかったか」を 1∼6 で 6 を最もポジティブな評価として評価してもらった結果，タンバリン譜面の表示をしないシステムの評価の平均は 4 でタンバリン譜面を表示したシステムの評価の平均が4.625 となり，タンバリン譜面を表示したシステムの方が高い評価となったので，タンバリン譜面の表示はタンバリン演奏支援システムとして有効であると考えられる．

演奏判定とフィードバック
現状では，3 章の手法での演奏判定の精度の検証は行ってない．しかし，3.7 節の評価実験を行った際に，演奏判定の反応が悪いといった意見は出なかった．また，筆者が 3.7 節の実験に立ち会ったが，演奏の判定の精度が悪いために正しく
フィードバックされていない場面はあまりなかった．

52

第5章

考察と課題

演奏者の指示3.7 節の評価実験で単独演奏よりも全員演奏の方がカラオケを盛り上げるシステ
ムとして高い評価を得ることができた．しかしこの評価実験では，全員演奏の方法として曲の展開ごとに演奏者を切替え，サビでは全員で演奏するように指示する手法のみの検証しか行っていない．
全員演奏の手法として，常に全員で同時に演奏する手法や二人で同時に演奏し曲の途中で演奏者を切り替えるなど様々な手法が考えられるので，そういった様々な手法と 3.4 節での手法を比較し全員演奏の手法として 3.4 節の手法が最適か検証を行う必要がある．

タンバリン譜の簡略化

4.5 節の評価実験ではスマートタンバリンがあまり使用されなかったが，タンバ
リン譜面を表示しカラオケを盛り上げるためのシステムとして一定の評価を得る
ことができた．評価実験の際に被験者からの意見として「演奏の表示が良かった」などの意見をもらった．
しかし，3 章のタンバリン譜から簡略化したことによって評価が上がったかの検証は行っていない．また，タンバリン譜の簡略化の手法は様々だが，4.3 節の手法が最も効果的かの検証も行っていない．したがって，タンバリン譜を簡略化していないもの，4.3 節の手法，その他の手法でどの手法が最も難度の問題を解決するのに適しているか検証する必要がある．

スマートタンバリンの光る機能

4.5 節の評価実験ではスマートタンバリンがあまり使用されることがなかったので，タンバリンに光る機能をつけたことによってモダリティの問題が解決できるか有効性を検証するまでに至らなかった．

5.1. 考察53

タンバリンに光る機能をつけることでモダリティの問題を解決できるのか，光る機能のありのタンバリンと光る機能なしのタンバリンとで比較し，その有効性を検証する必要がある．

スマートタンバリンの音量調整機能
光る機能同様にスマートタンバリンの音量調整機能についても評価実験ではあまり使われることがなかったために有効性を検証するまでに至らなかった．
スマートタンバリンが使用されなかった理由として，Wii タンバリンよりも音量が小さいことが挙げられた．これはシンバルの数を Wii タンバリンの 6 枚から 4 枚にしたためである．この問題を解決するためにシンバルの枚数を増やし，スマー
トタンバリンでも大きな音を出せるようにする必要がある．音量調整機能は音を抑えるのみなので，スマートタンバリンのシンバルを多くすることで，タンバリンの出せる音量の幅が広がり，賑やかな曲で普段よりも大きな音でタンバリンを演奏するなどのことが可能になる．

5.1.2

システムの考察

3 章と 4 章で提案した複数人に向けたタンバリンの演奏支援は，コミュニケー
ションを生み出し，一体感を与え，カラオケを盛り上げ，楽しめるものにすることができ，単独演奏の問題を解決することが出来た．
強度の問題についても Wii タンバリンを作製することで Wii リモコンとタンバリンの結合部が不安定になることがなくなり，強度の問題も解決することが出来た．
難度の問題については，4 章のシステムで「参考」としてのタンバリン譜で表示
し，積極的・能動的な演奏に対してポジティブな表示を行うことで，様々なレベルの叩き手に対応てきるようになった．しかし，タンバリン譜を簡略化し演奏参

第5章

54

考察と課題

加度に対するフィードバックを行うことで難度の問題を解決できるか有効性を検証できていない．
モダリティと音量の問題については，光る機能と音量調整機能をつけたスマー
トタンバリンを作製したが，評価実験であまり使われることがなく有効性を検証するまでに至らなかった．光と音量調整機能それぞれの有効性の検証実験を行い，有効性が認められたらスマートタンバリンの強度の問題と音量が小さいという問題を解決しスマートタンバリンの使用を促していく必要がある．

課題

5.2

今後の課題として，システムで使用した手法ごとの有効性の検証，スマートタ
ンバリンの改良，3 章のシステムと 4 章のシステムの統合が望まれる．本節では，以上の 3 つの課題について述べる．

5.2.1

手法ごとの検証5.1.1 節で述べたように，演奏判定の精度の検証，演奏者の指示の手法とタンバ
リン譜の簡略化の手法の検証，スマートタンバリンの光る機能と音量調整機能の有効性の検証をする必要がある．
しかし，検証を行うには以下の課題がある．

• 演奏判定の精度の検証：演奏指示通りに叩きどの程度正しく判定されていたかというカバー率を求めるために，ログを取得する機能が必要となる．

• 演奏者の指示の手法の検証：演奏者の切替手法として常に全員で同時に演奏するといった手法や二人で同時に演奏し曲の途中で演奏者を切り替える手法など様々なものが考えられるため，どの手法が単独演奏の問題を解決するのに最も効果的か示すことは難しい．

5.2. 課題55

• タンバリン譜の簡略化の手法の検証：演奏者の指示の手法の検証と同様に，
タンバリン譜の簡略化の手法も様々なものが考えられる．そのためどの手法が難度の問題を解決するのに最も効果的か示すことは難しい．

• スマートタンバリンの光る機能の有効性の検証：光る機能を使った状態のタンバリンと光る機能を使っていない状態のタンバリンをカラオケで演奏した
際に，光る機能によってコミュニケーションが活発になりモダリティの問題を解決できるかの比較実験が必要となる．

• スマートタンバリンの音量調整機能の有効性の検証：光る機能の有効性の検証と同様に，音量調整機能のあるタンバリンと音量調整機能のないタンバリ
ンをカラオケで演奏してもらい，演奏者が曲に合わせてタンバリンの音量を調整することで歌い手がタンバリンの演奏を邪魔だと感じなくなり音量の問
題を解決できるかの比較実験が必要となる．

5.2.2

スマートタンバリンの改良

4.5 節の実験では，スマートタンバリンをあまり使用してもらうことが出来なかった．その理由として「スマートタンバリンを激しく叩くと壊れそう」，「Wii タンバリンよりも音が小さい」などが挙げられた．これらのスマートタンバリンの強度の問題とタンバリンの音量の問題を解決するために，今後 3D プリンタでの出力時の積層ピッチの変更やタンバリンのシンバルの数を増やすなどの改良が必要だと考えられる．

5.2.3

システムの統合

3 章では演奏者を指示し，ゲーム風のタンバリン譜面の表示とフィードバックを行うシステムを提案し，リズムに合った演奏に評価を行うフィードバックを行っ

56

第5章

考察と課題

た．4 章では参考として簡単なタンバリン譜面を表示し自由なタンバリンの演奏を促し，演奏参加度をフィードバックするシステムを提案した．
カラオケでは，リズムに合わせ歌い手の邪魔をしないようにしながら，カラオ
ケを盛り上げるような演奏参加度の高い演奏をすることが理想的である．したがって今後は，リズムに合った演奏と演奏参加度のどちらも評価し，リズムに合っていてかつ演奏参加度が高い演奏を促せるよう 3 章のシステムと 4 章のシステムを統合していく必要がある．
統合の際に，リズムに合わせて演奏すると演奏参加度が低くなってしまい，演
奏参加度を高くするため多く叩くとリズムに合わないといったような問題が予想される．このような問題を解決するために，曲ごとにリズムに合わせることを優先するかタンバリンの演奏参加度を高めることを優先するか変えるなどの工夫が，システムを統合する際に必要だと考えられる．

57

第6章 結

論

本研究では，カラオケで仲間どうしの親睦を深めるためにコミュニケーションに注目したカラオケ支援システムを提案した．
卒業論文において，タンバリンの叩き方を画面に表示し，タンバリンと Wii リ
モコンをテープで留めたものを使って演奏の判定を行いフィードバックすること
で，タンバリンの使用を促すシステムを提案した．しかし，このシステムの問題
点として強度の問題，単独演奏の問題，モダリティの問題，音量の問題が挙げられた．本稿では，これらの問題を解決するための 2 つのシステムの実装と評価実験を行った．
まず強度の問題と単独演奏の問題に取り組んだ．強度の問題に対しては Wii リ
モコンを挿入できるタンバリンを 3D プリンタで作成した．単独演奏の問題に対しては，歌い手も含めたカラオケに参加する全員が，タンバリン演奏に参加できるよう改良を行った．A メロや B メロと呼ばれる箇所は叩き手をローテーションさせることとし，サビと呼ばれる箇所や間奏部は全員がタンバリン演奏を行うようにすることで，演奏にメリハリがつくように工夫した．単独演奏条件と全員演奏
条件において本システムを使ってもらい，アンケートを取ったところ，「一体感を得られたか」「盛り上げに貢献できたか」などの項目において全員演奏条件の回答
が単独演奏条件よりも上回り，一定の効果を有していることが確認できた．
次に，難度の問題，モダリティの問題，音量の問題に取り組んだ．難度の問題については，タンバリンを演奏する目的が，あくまで楽曲を楽しんでいることを周りに伝えてカラオケを盛り上げることであり，指定されたとおりにタンバリンを

58

第6章 結

論

叩くことではないことに鑑み，表示されるタンバリン譜を簡略化した．また，従来は表示されたタンバリン譜の通りに演奏したときに「OK」という表示されていたが，タンバリン演奏における参加度を定義し，参加度が一定の値を超えたときに演奏者のアイコンが笑顔になるという表示がなされるようにした．モダリティの問題に対しては，タンバリンに光る機能を追加した．タンバリンを叩いたタイ
ミングで光る機能であるが，音量制御機能と併用することで，タンバリンの音をほとんど出さずに光らせることも可能である．音量の問題に対しては，タンバリ
ンに備わっているシンバルを上下から押さえつける機構を導入することで，タンバリンの音量を制御できるようにした．システムを使った 1 時間のカラオケを 6 回行ってもらう長期実験を行ったところ，システムを長期的に使用してもカラオケ支援の効果が大きく下がることはなく，演奏のアドバイスにも飽きることなく長期的に効果があることが確認された．また，タンバリンの演奏を増えると，カラオ
ケのメンバーに視線を送る回数が増えているという結果が得られ，システムでタンバリンの仕様を促すことでコミュニケーションが深くなっている考えれる．しかし，光る機能と音量調整機能を加えたタンバリンは新たな強度の問題と音量の問題により長期実験であまり使われなかった．
以上により，強度の問題，単独演奏の問題，難度の問題は解決策を提案したものの，その効果は十分に検証されていない．光る機能と音量調整機能を加えたタンバリンについては実験で使われることが少なく，モダリティの問題と音量の問題を解決するに至らなかった．

59

参考文献
[1] 野口恒:カラオケ文化産業論，PHP 研究所[2] http://www.nintendo.co.jp/wii/controllers/index.html[3] 木下尚洋，栗原拓也，山口竜之介：“カラオケにおける非歌唱者のためのタンバ
リン演奏支援システム”，MUS，Vol．2015-MUS-10，No.10，pp．1-8，2015-08-24．
[4] 浦川 雄一，勝瀬 郁代，川島 達也：“外れた音程を修正するカラオケシステム”，平成 20 年度電気関係学会九州支部連合大会（第 61 回連合大会）講演論
文集，セッション ID: 03-2P-06．

[5] 白井 豊，林 克彦，徳永 真志，鈴木 誠一，大久保 晴代：“3 次元 CG を用いた
通信カラオケの開発”，情報処理学会研究報告．
［グラフィクスと CAD］，Vol．

1998，No．32，pp．37-42，1998-04-24．
[6] 寺田 努，塚本 昌彦，西尾 章治郎：“アクティブデータベースを用いたカラオ
ケの背景作成システム”, 情報処理学会研究報告．
［音楽情報科学］，Vol．2000，

No．19，pp．73-78，2000-02-17．
[7] 竹内 英世，保黒 政大，梅崎 太造：“人の主観評価に近いカラオケ採点法”，電気学会論文誌，Vol．130，No．6，pp．1042-1053，2010-06．

第6章 結60

論[8] Pedro Cano，Alex Loscos，Jordi Bonada，Maarten de Boer，Xavier Serra：“Voice Morphing System for Impersonating in Karaoke Applications”，ICMC，Vol．2000，2000-08-24．
[9] Ayneto Pou Marc，小林 香絵，土屋 雅人：“音楽コンサートにおける双方向
コミュニケーション支援システムの研究”，日本デザイン学会，第 62 回研究発表大会，セッション ID: A7-01．

[10] 米澤 拓郎，徳田 英幸：“Control Manually:視聴者協力型ライブ演出システム
によるコミュニケーションと演出効果の拡張”，UBI，Vol．2012-UBI-35，No．

8，pp．1-8，2012-07-07．
[11] 平川新吾，末光智彦，小林威晴，佐藤 皇太郎 ，大久保 明 ：“ライブ・エンタ
テインメントコミュニケーションシステム「LumiConne(ルミコネ)」の開発経緯と実装技術”，EC，Vol．2012-EC-23，No．4，pp．1-6，2012-03-19．

[12] https://ja.osdn.net/projects/wrj4p5/wiki/Wrj4P5[13] 黒うさ P，“千本桜”，http://www.nicovideo.jp/watch/sm15630734/，2011[14] https://yamahamusicdata.jp/
.

61

謝

辞

本論文を作成するにあたり，北原鉄朗准教授から，丁寧かつ熱心なご指導を賜りました．首都大学東京の馬場哲晃准教授，横溝有希子さん，竹腰美夏さんにもタンバリンの作成など多くの場面でご協力いただきました．北原研究室の院生の皆様には日常の議論を通じて多くの知識や示唆をいただきまして感謝しています．
特に同じ学年の鈴木君とは苦しい時はお互いに助け合い楽しいときは分かち合い
苦楽を共にする仲となりました．本論文の審査に当たり，副査を担当くださった韓東力教授と宮田章裕准教授には，鋭いご指摘やご意見をいただきました．また，実験の際に被験者を快く引き受けてくださった被験者の皆様のご協力に感謝します．