平成 29 年度 卒業論文

カラオケのためのハモリパート練習支援システム〜試作システムを用いた被験者実験の報告〜

指導教員 北原 鉄朗 准教授

日本大学 文理学部 情報科学科
小笠原 梢

2018 年 2 月 提出

i

概

要

近年カラオケは世代関係なく普及しており, グループでのカラオケ, ヒトカラなど, カラオケの楽しみ方は多く存在する. グループでの楽しみ方の一つとして, 主旋律と副旋律を 2 人で歌ってハーモニーを奏でることがあげられる. しかし副旋律（いわゆるハモリパート）の練習を行なう際に, 主旋律につられてしまい上手く歌
えない, 曲のキーを変更した場合に副旋律の音高が分からなくなってしまうなど,
副旋律の習得は困難であると考えられる. 既存研究や既存システムには, 相対音感を鍛えるシステムが存在する. しかし, 音感自体の習得に時間がかかることで副旋律を歌えるようになるまでに多くの時間を要し, 副旋律の習得が困難であることが問題であった.
本研究では, 副旋律の歌唱練習を一人で行なえるように, 歌唱練習支援システムを開発した. このシステムは, (1) 副旋律の自動生成機能, (2) 音高表示機能（ユーザー歌唱の音高を視覚的に表示する機能）, (3) ループバック機能（ユーザーの副
旋律の習得状況に応じて, 装着するヘッドホンへの自身の声の返しを変更するように促す機能）(4) キー変更機能, の 4 つの機能を持つ. 本論文では, (2)〜(4) の有効性を被験者実験を通じて明らかにする.
被験者実験 1 では, 音高表示機能, ループバック機能により, 主旋律につられな
いための練習が可能かどうかを確かめた. ループバックあり＋音高表示あり条件を提案手法とし, 音高表示機能なし条件を比較手法 1, ループバックなし条件を比較手法 2 とし, 実験を行なった. 主旋律につられるかどうかの設問（0〜6 の 7 段階評価）では, 他の 2 手法よりもわずかに評価が高かったが, 必ずしも十分な差とは

ii
言えなかった. この結果が得られた理由として, 実験の時間が短かったことや, シ
ステムの音声が MIDI 音源であったためにそもそもつられない状況になかった可能性が挙げられる. しかし実験後のインタビューでは, 4 名が提案手法が他の手法に比べて主旋律につられなかったと回答していることから, 音高表示機能は本番で主旋律につられないための副旋律練習に一定の効果をもたらしている可能性がある. 習得度（生成された副旋律とユーザーの音高一致率）については, 提案手法では被験者 10 名中 7 名に習得度の向上が見られたが, 比較手法 1 では 3 名しか向上が見られなかったことから, ループバック機能と音高表示機能が副旋律の習得に有効であることがわかった.
実験 2 では, キー変更機能が, 原曲と異なるキーでのハモり習得に有効かどうかを確かめる実験を行なった. キー変更可能条件とキー変更不可能条件を比較し, 検証を行なった. 本番での副旋律の歌いにくさについての設問（0〜6 の 7 段階評価）
では, キー変更可能条件が不可能条件よりも評価が 1.3 以上高く, キー変更可能条
件を使用した方がハモりやすいという結果が得られた. 習得度をみると, キー変更
可能条件では, 被験者 12 名中 8 名に習得度の向上が見られたが, キー変更不可能条
件では, 4 名しか向上が見られなかったことから, キー変更機能が副旋律の習得に有効であることが確かめられた.
以上より, ループバック機能, 音高表示機能は, 主旋律につられないための練習に一定の効果を持っていることがわかった. また, キー変更機能の必要性, 原曲と異なるキーでのハモり習得に有効であることが確かめられた.

iii

目

目

次

次

iii

図目次

v

表目次

vii

第1章 序

論

1

1.1

本研究の背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1

1.2

本研究の目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1

1.3

本論文の構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2

第 2 章 関連研究・システム

3

2.1

HMM と音符連鎖確率を用いた旋律への自動和声付け [2] . . . . . .

3

2.2

和声学に基づく合唱譜自動作成システム CMY [3] . . . . . . . .

3

2.3

歌唱評価のための指導者知識に基づく合唱学習支援 [4] . . . . . . .

4

2.4

RelaPitch:歌って鍛える相対音感習得支援システム [5] . . . . . . . .

5

2.5

MiruSinger: A Singing Skill Visualization Interface Using RealTime Feedback and Music CD Recordings as Referential Data [6] .

5

2.6

誰でも好みの曲を手軽に歌える歌唱支援システム [7] . . . . . . . .

6

2.7

うまく歌える！演奏がうまくなる！楽譜が読める！音感スーパーレッ
スン [8]

2.8. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6

関連研究の問題点と本研究における方針 . . . . . . . . . . . . . . .

6

iv
第 3 章 システム構成

93.1

システム概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.2

システムの流れ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

第 4 章 評価実験

4.1

4.2

9

13

実験 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

4.1.1

被験者 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

4.1.2

実験手順 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

4.1.3

使用曲 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

4.1.4

アンケート結果 . . . . . . . . . . . . . . . . . . . . . . . . . 15

4.1.5

習得度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

実験 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

4.2.1

被験者 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

4.2.2

実験手順 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

4.2.3

使用曲 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

4.2.4

アンケート結果 . . . . . . . . . . . . . . . . . . . . . . . . . 19

4.2.5

習得度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

第5章 結
参考文献

論

25
29

v

図目次

3.1

スタート画面（青枠は現在選択されている曲を表し, 上下の方向キー
で曲を変更する. 左のボタンでは, クリックで伴奏音量の調節, メイ
ンメロディ音量の調節ができ, 副旋律を主旋律より上につけるか, 下につけるか選択できる. 右のボタンでも, クリックで主旋律の練習を行なうか, 副旋律の練習を行なうか選択でき, 任意にキーを変更することができる）. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

3.2

歌唱練習画面（黒の線がユーザーの歌った音高を表し, 赤のバーが副旋律の音高を, グレーのバーが主旋律を表している. 下部分のボ
タンをクリックすることで, はじめからの再生, 巻き戻し, 早送りができる. また, オクターブ上やオクターブ下での歌唱の際は, 上下の方向キーで歌唱したユーザーの音高をハモりの音高バーに合わせることができる）. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

4.1

アンケート集計結果 (Q1〜Q3 は高いほど高評価, Q4 は低いほど高評価) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

4.2

実験 1 における習得度（上：提案手法

下：比較手法 1） . . . . . . 21

4.3

アンケート集計結果 (Q1〜Q3 は高いほど高評価, Q4 は低いほど高評価) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

4.4

実験 2 における習得度（上：キー変更可能

下：キー変更不可能）

23

vii

表目次

4.1

実験 1 の条件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

1

第1章 序

論

本章では, 研究の背景, 目的を述べた後, 本論文の構成を述べる.

1.1

本研究の背景近年カラオケは世代関係なく普及しており, グループでのカラオケ, ヒトカラなど, カラオケの楽しみ方は多く存在する. グループでの楽しみ方の一つとして, 主旋律と副旋律を 2 人で歌ってハーモニーを奏でることがあげられる. しかし副旋律（いわゆるハモリパート）の練習を行なう際に, 楽曲から副旋律のメロディーライ
ンを聴き取ることが困難, 副旋律が存在しない曲でハモることができない, 主旋律につられてしまい上手く歌えない, 曲のキーを変更した場合に副旋律の音高が分からなくなってしまうなど, 副旋律の習得は困難であると考えられる. 副旋律の歌唱練習に特化した先行研究は少なく, 主旋律につられないための練習が可能な副旋律の歌唱支援システムは, 調査において見つかっていない.

1.2

本研究の目的

本研究では, 白石と共同で副旋律の練習に特化した歌唱練習支援システムの試作に取り組んでいる. 白石は文献 [1] において副旋律（いわゆるハモリパート）の自動生成とその手法について, 歌唱練習システムの実装について詳しく報告した. 文
献 [1] におけるシステムの実装では, 副旋律の自動作成, キー変更ができる機能, 及
び主旋律につられないため練習を行なうことができるであろう機能を備えたシス第1章 序2

論

テムの試作を行なった. 本稿では, 実際にこれらの機能を用いて以下の問題が解決可能か必要に応じて実験を行なったので報告する. 副旋律を自動作成することで,楽曲から副旋律のメロディーラインを聴き取ることが困難, 副旋律が存在しない曲
でハモることができない問題を解決する. キー変更機能をつけることで, キーを変更した場合に副旋律がわからなくなってしまう問題を解決する. あえて主旋律につられやすい状況で練習を行わせることで, 主旋律につられてしまう問題を解決する. 文献 [1] において試作したシステムの機能を使って実際にこれらの問題が解決かどうか検証はされていない. 本稿では, 試作したシステムでの副旋律の習得および, 主旋律につられないための練習が実際に可能かどうか被験者実験を通して確かめることを目指す.

1.3

本論文の構成本論文は次の構成からなる. 第 2 章では, 本研究に関係する既存研究や既存シス
テムについて述べる. 第 3 章では, 本研究の実現のためのシステム構成や処理の方法を述べる第 4 章では, 本システムを用いて実際に主旋律につられないための練習支援ができるか, 副旋律を習得可能かを調べる被験者実験を行なった結果を述べる.
第 5 章では本研究の結論, また今後の課題について述べる.

3

第 2 章 関連研究・システム
ここでは, 関連する研究やシステムを紹介し, それらで未解決の課題を述べ, 本研究における方針を述べる.

2.1

HMM と音符連鎖確率を用いた旋律への自動和声
付け [2]

与えられた主旋律に対して適切な和音進行を自動的に付与するシステムである.
このシステムでは HMM を利用し確率的な推定問題として自動和声付けに取り組んでいる. 和音と複数の音符の連鎖関係を考慮し, 非和声音を区別することによって主旋律に適合する和声付けを行なっている. しかし, システムは古典派音楽 (バッハ作曲) に対して 3 和音を付けるものであり, カラオケでの歌唱曲への和声付けには適していない.

2.2

和声学に基づく合唱譜自動作成システム CMY[3]
合唱譜自動作成システムである. 楽譜情報から自動作曲を行なうため, ユーザが入力するバス譜に対してソプラノ譜, アルト譜, テノール譜を自動生成するシステ
ムの実装を行なっている. このシステムでは和声の配置をルールベースで行なっており, 『芸大和声』（多くの日本の作曲家が, 和声付けをするために基礎教育を行な第 2 章 関連研究・システム

4

う際に利用している書籍）に基づいた規則を実装している. 具体的には「禁ぜられる和音配置」, 「推奨される和音配置」, 「標準的な連結の原則」の 3 種の規則を実装している. この研究は合唱譜の自動生成のため, 出力として 3 つのパートが生成される. 本研究ではカラオケでの主旋律と副旋律の 2 パートでの歌唱を想定しており, 副旋律は 1 パートのみ必要であるため, 既存の手法を利用することはできない.

2.3

歌唱評価のための指導者知識に基づく合唱学習支援[4]
合唱におけるパート練習, 全体練習, フレーズ練習といった合唱特有の練習形態
を模擬しながら学習を進めるシステムである. 楽譜情報から得た音高と, 学習者の歌唱情報から抽出した音高と音量がリアルタイムに表示され, 即時フィードバック
情報（もっとなめらかに, などの指示）が, 指導対象箇所と同期しながら提示される. 事後フィードバックでは, ，直近歌唱における音高と音量を評価した結果が示される．理想音高とのずれが大きかった箇所，および大きな音量のオーバーシュー
トが生じた箇所がフレーズ歌詞と共に示される．同時に，次回の歌唱時にどのよ
うに歌えばその誤りが改善されるのかを，指導語により示されるというものである. この研究はあくまでも合唱学習の支援であるため, 曲のキーを変更して歌うことを想定されていない. そのためカラオケなどで歌唱相手がキー変更した場合に対応ができないことが挙げられる.

2.4. RelaPitch:歌って鍛える相対音感習得支援システム [5]2.4

5RelaPitch:歌って鍛える相対音感習得支援システ
ム [5]

相対音感習得支援システムであり. これは, マルチモーダルフィードバック機能を利用して音程の感覚を身に着ける支援を行なうシステムである. 視覚, 聴覚から自分の音程のフィードバックを行ない, 相対音感を鍛えるものである. システムの一部として単音のハモリの音を練習することができる機能が備わっている. しかし
相対音感の習得には多くの時間を要し, 効率的ではない. また単音に対しての副旋律の音しか分からず, 連続した音の副旋律の練習をすることができないため, 歌唱
練習には向いていない.

2.5

MiruSinger: A Singing Skill Visualization
Interface Using Real-Time Feedback and Music CD Recordings as Referential Data [6]この研究では, ユーザが歌を歌ったり聴いたりするだけでなく, 「見る」歌唱力
向上支援インタフェース MiruSinger を提案した. MiruSinger は, ユーザーの歌唱を録音し, 歌唱の音高を軌跡として可視化する. ビブラートなどは着色され, 歌い方がおかしかった部分を視覚的に把握することができる. また, CD 音源と, 自分の歌唱を聴き比べる機能も備えている. MIruSinger では, CD 音源のボーカルを伴奏を含む楽曲から, 自動で抽出を行ない, F0 を推定する. マウス操作で推定結果を調節することでボーカルの抽出精度を向上させる機能も持っている. しかし, 主旋
律と副旋律を区別し, 抜き出すことは難しいと考えられる他, そもそも副旋律が存在しない曲には対応できないことや, 主旋律につられない練習ができないことが問題である.

第 2 章 関連研究・システム6

2.6

誰でも好みの曲を手軽に歌える歌唱支援システム[7]
誰でも好みの曲を手軽に歌える歌唱支援システム「うたプロ」を構築した. 事前に任意の歌手の歌い方を分析し, パラメタを推定しておく. この研究は, 使用者が任意の楽曲に対しうたプロを用いて歌唱を行なうと, その歌手の歌い方がユーザーの歌声に反映され, 対象歌手の歌い方を自由に体験できるというものである. しかし, ユーザーは歌手の歌い方に加工された音声を聞きながら自らの歌い方を工夫するものであり, 相手がいる場面での歌唱を想定していない.

2.7

うまく歌える！演奏がうまくなる！楽譜が読める！
音感スーパーレッスン [8]

楽器がない人, 楽譜が読めない人でも CD を通して音感を鍛えることができる書籍である. 音感スーパーレッスンでは副旋律をうまく歌えるようになるコツについても触れている. 1. 自分の声をよく聴いて歌う, 2. ハモりのメロディを覚える, 3.
相手の声をよく聴くの 3 点をコツとしていた. ここから, 自分の音・相手の音をよく聴くことができるようになるための機能が必要と考えられる.

2.8

関連研究の問題点と本研究における方針

これまで, 様々なジャンルの楽曲に対し自動和声付けを行なうシステムが研究されてきた [2], [3]. しかし, 既存の自動和声付けシステムの和声付けの手法は, 主旋律のデータのみを基に和声付けを行なっており, 伴奏データを考慮していないため自動生成された副旋律が伴奏に合わない可能性がある. また既存研究では, 音感を鍛える支援システム [5] や, 歌唱練習支援システム [4],[6], [7] が存在する. しかし,

2.8. 関連研究の問題点と本研究における方針

7

音感を鍛える支援システムの問題点として, 音感の習得には時間がかかり効率的ではないことや, 主旋律につられないための練習ができないことが挙げられる. また,歌唱練習支援システムでも, 主旋律につられないための練習ができない, 曲のキーを変更して歌うことができないなどの問題があった. 加えて主旋律につられないためのコツとして, 自分の音・相手の音をよく聴くことができるようになることが有効であるとされている [8]. そこで本研究では, 伴奏情報を考慮した副旋律の自動作
成, 及び主旋律につられないための機能（自分の音・相手の音をよく聴くことができるようになる機能）, キー変更機能を備えたシステムの試作を目指す.

9

第 3 章 システム構成
本章では, システムの概要と流れについて述べる.

3.1

システム概要本研究で実装したハモリパート練習支援システム [1] は, 主旋律と副旋律のメロ
ディラインを音とグラフィクスで確認しながら副旋律の歌唱練習を行なえるシス
テムである（図 3.1, 図 3.2）. システムが副旋律を生成するため, 元々副旋律の存在しない楽曲も扱うことができる.
副旋律の練習において問題となるのは, 副旋律担当の歌唱者にとって主旋律に比べて馴染みが薄いために, 歌唱時に主旋律につられてしまったり, キーを変更する
だけで副旋律が分からなくなったりしてしまうことである. こういった問題を解決するため, 本システムには次の機能が実装されている.

• 副旋律のメロディラインを音とグラフィクスで確認できる. （オーディオイ
ンターフェイスを用いることでマイクから入力された歌唱音声がヘッドフォ
ンを通じて歌唱練習者へループバックする）. 歌唱の正解率によって「もっと自分の声を聞こう」と表示され, 音声の音高（F0）が画面に表示されることで, 正しい音高で歌えているかを耳と目で確認できる. これにより, つられているかどうかを自覚しながら練習することができる.

• キーを変更して練習することで, 主旋律担当の歌唱者の音域に合ったキーで練習することができる. また, 副旋律を主旋律よりも高い音高に付ける（い

第3章

10

システム構成わゆる「上でハモる」）か低い音高に付ける（いわゆる「下でハモる」）かを切り替えることができるので, 副旋律担当の歌唱者の音域に合わせて選ぶことができる.

図 3.1: スタート画面（青枠は現在選択されている曲を表し, 上下の方向キーで曲を変更する. 左のボタンでは, クリックで伴奏音量の調節, メインメロディ音量の調節ができ, 副旋律を主旋律より上につけるか, 下につけるか選択できる. 右のボタ
ンでも, クリックで主旋律の練習を行なうか, 副旋律の練習を行なうか選択でき, 任
意にキーを変更することができる）.

3.2. システムの流れ

11

図 3.2: 歌唱練習画面（黒の線がユーザーの歌った音高を表し, 赤のバーが副旋律の音高を, グレーのバーが主旋律を表している. 下部分のボタンをクリックすることで, はじめからの再生, 巻き戻し, 早送りができる. また, オクターブ上やオクターブ下での歌唱の際は, 上下の方向キーで歌唱したユーザーの音高をハモりの音
高バーに合わせることができる）.

3.2

システムの流れ

1. 練習を行ないたい楽曲を選択する．
2. 練習を行なう楽曲を再生する際の様々な設定を行なう．
• 主旋律，伴奏の音量を選択する．
• 主旋律のキーを選択する．
• 上ハモリ，下ハモリの選択をする．

第3章

12

システム構成3. 1 で選択した楽曲の MIDI データから楽曲の主旋律と伴奏の情報を取得し，それに基づいて副旋律を生成する．

4. 2 で選択した設定を 3 で生成した副旋律，主旋律，伴奏にそれぞれ適用し，再生を行なう．

5. 歌唱練習中のシステムの動きとユーザーの操作については以下の通りである.
• ユーザの歌唱データを 5ms 毎に保存し，WORLD[9] によって F0 推定を行なう.

• ユーザ自身の音高（F0）を表示し, 主旋律，副旋律をリアルタイムにそれぞれ表示する．

• 練習中には上下の方向キーを押すことで，ユーザ自身の音高表示を行なう際，オクターブ上げた (下げた) 状態で表示を行なうことができる.

• はじめからボタンを押すと曲がはじめから再生される．巻き戻しボタンを押すと 4 小節前が再生される．早送りボタンを押すと 4 小節先が再生
される．

13

第 4 章 評価実験
本章では, 評価実験を行なった実装環境と実験 1, 実験 2 について述べる. 実験 1
では, 音高リアルタイム表示機能, ループバック調節機能が, 主旋律につられてしまう問題を解決可能かどうか実験を行なう. 実験 2 では, キー変更機能の必要性の検証, 実際に原曲キー以外の副旋律が習得可能かを確かめ, 原曲キー以外の副旋律の音高が分からなくなってしまう問題を解決できるかを実験を通して確かめる.

4.1

実験 1

実験 1 では, ループバック（返し音量変更を促す機能）
・ユーザ音高リアルタイ
ム表示機能を用いることで主旋律につられないようにする練習は可能かを確かめることを目的としている.

4.1.1

被験者

被験者は一般の大学生 12 名（男性 5 名, 女性 7 名）でである. そのうち 2 名が過去に 5 年以上のピアノ経験があるが, ピアノを習っていた以外は特別な音楽的訓練は受けていない.

4.1.2

実験手順

表 4.1 における各手法において, 1 手法 2 曲, 計 6 曲の副旋律の練習を 12 人全員に行なってもらい, 一曲ごとにシステムに関するアンケートを行なった. また, DIO[9]第 4 章 評価実験

14
表 4.1: 実験 1 の条件
ループバック機能

音高表示機能

提案手法

有り

有り

比較手法 1

有り

無し

比較手法 2無し有りを用いて被験者の音高推定を行なった. 歌唱中の各被験者の副旋律の習得度は, F0
推定結果と正解副旋律（自動生成された副旋律）の F0 の差が 200cent 以内のフレーム数の割合である. ただし, この差が 800cent 以上の場合, 無声区間のために F0 が推定されないフレームは除外し, 50%以上のフレームが除外された被験者（2 名）は, 以降の分析からは省くこととする.
表 4.1 の全ての手法において以下の手順で実験を行なう.

1. 1 曲目の練習歌唱（2 分）
2. 1 曲目の本番歌唱

1, 2 を 3 回繰り返す

3. アンケートへの回答
4. 2 曲目の練習歌唱（2 分）
5. 2 曲目の本番歌唱

4, 5 を 3 回繰り返す

6. アンケートへの回答
練習歌唱では各手法を用いて 1 人で副旋律を練習する一方, 本番歌唱ではどの条件
でもループバック有り, 音高表示無しとし, 実験者の歌う主旋律に合わせて副旋律を歌ってもらった.
アンケートの設問は次の通りである.

4.1. 実験 1

15

Q1 自分の歌っている音の高さが正しいか把握できたか
Q2 練習は本番歌唱に役立ったと思うか
Q3 練習において主旋律につられない練習ができたか
Q4 本番において主旋律につられなかったか
Q1〜Q3 は 7 段階（0〜6）で回答してもらい, Q4 のみ値が低いほど高評価である.

4.1.3

使用曲

「さくらんぼ (大塚愛)」「 夏の日の 1993(class)」「GLAMOROUS SKY(中島美嘉)」「 明日の扉 (I WiSH)」「RPG(SEKAI NO OWARI)」「未来予想図 II(Dreams

Come True)」の 6 曲を用いた. 難易度がおおよそ一定になるような 2 曲組を作り,
3 つの手法全てにおいて使用する曲の組を変更することで各手法での曲の難易度によって実験に影響が出ないよう考慮している. ただし, 実験時間を短縮するため
サビのみとし, 歌詞の違いが実験に影響を及ぼさないように「ラララ」で歌っても
らった.

4.1.4

アンケート結果

アンケート結果を, 図 4.1 に示す.
図 4.1 を見ると, Q1 では, 提案手法が他の比較手法よりも回答の平均値が高かった. 特に, 比較手法 1 と比べると, 回答の平均値が 2.0 以上高く, 95%信頼区間の重なりの全く見られないことから, 音高表示機能が音の高さの把握に効果的であることが確かめられた.

Q2 も, 提案手法が他の比較手法よりも回答の平均値が 0.5 前後高かった. しかし, 95%信頼区間の重なりが大きく, 必ずしも十分な差とは言いがたい.

第 4 章 評価実験

16

図 4.1: アンケート集計結果 (Q1〜Q3 は高いほど高評価, Q4 は低いほど高評価)

Q3 も Q2 と同様に, 提案手法が他の比較手法よりもわずかに回答の平均値が高かったが, 95%信頼区間の重なりが大きく, 十分な差は得ることができなかった. この理由として, 実験における練習時間が短く, 練習内で主旋律を意識する状況に達するのが難しかった点, 現在の実装では主旋律は MIDI 音源の音色で演奏されるため, そもそもつられやすい状況になっていなかったことがあげられる.

Q4 では, 提案手法が他の比較手法よりも回答の平均値が低くなった. しかし, Q2,
Q3 と同様に必ずしも大きいとは言えない差であった. とはいえ, 実験後のインタビューでは 4 人の被験者が「提案手法の方が, 比較手法 1 よりも主旋律につられなかった」と答えていた. ここから, 音高表示機能は, 本番で主旋律でつられないための練習として一定の効果を持っている可能性がある.
以上から, 十分な差とはいえないものの, ループバック機能と音高表示機能が, 本
番でつられないための副旋律練習に一定の効果をもたらしている可能性がある.

4.1.5

習得度

提案手法, 比較手法 1 における本番の習得度の変化を図 4.2 に示す.

4.2. 実験 2

17

提案手法では, 被験者 10 名中 7 名に習得度の向上が見られた一方, 比較手法 1 で習得度の向上が見られたのは, 10 名中 3 名であった. このことから, 音高表示が副
旋律の習得に有効であることが確かめられた. しかし被験者 J, 被験者 H は, 提案
手法では習得度の向上が見られず, 比較手法 1 で習得度の向上が見られた. この一因として, この被験者は比較手法 1 を後に実験したことが考えられる. 実際, 徐々に慣れていき, 後の実験の方が習得度が向上したと被験者が答えていた. また, 被験者 D の提案手法のグラフをみると 2 回目の本番で大きく（約 39%）習得度が低下しているが, 3 回目の本番では習得度が大きく（約 42%）向上している. 習得度が大きく低下した理由として, 歌い始めの音高を間違い, 後の音高も間違ったまま歌ってしまうため大きく習得度が下がると考えられる.
以上から, ループバック機能と音高表示機能が副旋律の習得に有効であることが
わかった.

4.2

実験 2

実験 2 では, キー変更機能の必要性を確かめるとともに, キー変更機能を用いて実際に原曲キー以外の副旋律が習得可能かを確かめることを目的としている.

4.2.1

被験者

実験 1 とは異なる一般の大学生 13 名（男性 6 名, 女性 7 名）である. うち 6 名に5 年以上のピアノ経験があり, 1 名に 5 年以上のベース経験がある.

4.2.2

実験手順

「キー変更可能」条件,「キー変更不可能」条件の各々について, 次の手順で実験を行なった.

第 4 章 評価実験

18
1. 1 曲目の練習歌唱（2 分）
2. 1 曲目の本番歌唱

1, 2 を 3 回繰り返す

3. アンケートへの回答
4. 2 曲目の練習歌唱（2 分）
5. 2 曲目の本番歌唱

4, 5 を 3 回繰り返す

6. アンケートへの回答
7. 3 曲目の練習歌唱（2 分）
8. 3 曲目の本番歌唱

7, 8 を 3 回繰り返す

9. アンケートへの回答
練習歌唱では本システムを用いて 1 人で副旋律を練習する一方, 本番歌唱では, キー
を原曲より長 2 度高く設定し, 練習歌唱では, 「キー変更可能」条件では被験者が自由にキーを変更し, 「キー変更不可能」条件ではキーを原曲と同じものに固定した. また, 一曲ごとにシステムに関するアンケートを行なった. DIO[9] を用いて被験者の音高推定を行なった. 歌唱中の各被験者の副旋律の習得度は, F0 推定結果と正解副旋律（自動生成された副旋律）F0 の差が 200cent 以内のフレーム数の割合である. ただし, この差が 800cent 以上の場合, 無声区間のために F0 が推定されないフレームは除外し, 50%以上のフレームが除外された被験者（2 名）は, 以降の分析からは省くこととする. また, アンケートの設問は次の通りである.

Q1 練習は本番での歌唱に役立ったと思ったか
Q2 本番では, うまく歌えたと思ったか
Q3 本番では, 副旋律を歌うことは簡単だったか

4.2. 実験 2

19

Q4 本番ではキーが原曲と異なり, ハモリにくいと感じたか
Q1〜Q3 は 7 段階（0〜6）で回答してもらい, Q4 のみ値が低いほど高評価である.

4.2.3

使用曲

「さくらんぼ (大塚愛)」「 夏の日の 1993(class)」「GLAMOROUS SKY(中島美嘉)」「 明日の扉 (I WiSH)」「RPG(SEKAI NO OWARI)」「未来予想図 II(Dreams

Come True)」の 6 曲を用いた. 難易度がおおよそ一定になるような 3 曲組を作り,
2 つの手法全てにおいて使用する曲の組を変更することで各手法での曲の難易度によって実験に影響が出ないよう考慮している. ただし, 実験時間を短縮するため
サビのみとし, 歌詞の違いが実験に影響を及ぼさないように「ラララ」で歌っても
らった.

4.2.4

アンケート結果

アンケート結果を, 図 4.3 に示す.

Q1〜Q3 では, キー変更可能条件が不可能条件よりも回答の平均値が 1.3 以上高く, 95%信頼区間の重なりも全く見られなかった. ここから, キー本番と同じものに設定できることで, 練習を本番時の歌唱に役立てられると言える.

Q4 では, キー変更可能条件が不可能条件よりも回答の平均値が 2.0 以上低かった. 加えて, 95%信頼区間の重なりはほとんど見られないことから, キー変更可能
条件を使用した方がハモりやすいという結果が得られた. よって原曲のキーで覚えたハモりを原曲と異なるキーで歌うことは容易ではないと考えられる.
以上から, 原曲キーで副旋律を練習すると異なるキーでの歌唱には簡単には対応できないことがわかった. ここからキー変更機能は必要であることがわかった.

第 4 章 評価実験

20

4.2.5

習得度

キー変更可能条件, キー変更不可能条件における本番の習得度の変化を図 4.4 に
示す. ここで, 習得度は, F0 推定結果と譜面通りの F0 の差が 200cent 以内のフレーム数の割合である. ただし, この差が 800cent 以上の場合, 無声区間のために F0 が推定されないフレームは除外し, 50%以上のフレームが除外された被験者（1 名）
は, 以降の分析からは省くこととする.
キー変更可能条件では, 被験者 12 名中 8 名に習得度の向上が見られた一方, キー
変更不可能条件で習得度の向上が見られたのは, 12 名中 4 名であった. このことから, キー変更機能が副旋律の習得に有効であることが確かめられた. しかし, 被験者 K のキー変更不可能条件をみると 2 回目の本番で大きく（約 30%）習得度が低下しているが, 3 回目の本番では習得度が大きく（約 35%）向上している. 習得度が大きく低下した理由として, 歌い始めの音高を間違い, 後の音高も間違ったまま歌ってしまうため大きく習得度が下がると考えられる.
結果, キー変更機能を用いて実際に原曲キー以外の副旋律が習得可能であることが確かめられた.

4.2. 実験 2

図 4.2: 実験 1 における習得度（上：提案手法

21

下：比較手法 1）

22

第 4 章 評価実験

図 4.3: アンケート集計結果 (Q1〜Q3 は高いほど高評価, Q4 は低いほど高評価)

4.2. 実験 2

図 4.4: 実験 2 における習得度（上：キー変更可能

23

下：キー変更不可能）

25

第5章 結

論

副旋律の練習の練習を行なう際に, 主旋律につられてしまい上手く歌えない, 曲のキーを変更した場合に副旋律の音高が分からなくなってしまうことが問題であった. これらの問題を解決するために, ループバック機能, 音高表示機能, キー変更
機能を備えたシステムの実装を行ない, 本稿では有効性を確かめるための実験を行なった.
被験者実験 1 では, ループバック機能・音高表示機能は主旋律につられないための練習に有効かどうかを確かめた. ループバックあり＋音高表示あり条件を提案手法とし, 音高表示機能なし条件を比較手法 1, ループバックなし条件を比較手法 2 とし, 実験を行なった. 自分の歌っている音の高さが正しいか把握できたかという設問（0〜7 段階評価）では, 提案手法の評価が比較手法 1 よりも 2.0 以上高かったことから, 音高表示機能が音の高さの把握に有効であるとわかった. 練習は本番歌唱に役立ったと思うか, 主旋律につられない練習ができたかという設問では, 提案手
法が他の手法よりも評価がわずかに十分な差とは言えなかった. この結果を得た理由として, 実験の練習時間が短く主旋律を意識する状況まで至らなかったことや,システムでは MIDI 音源で再生されるためそもそもつられやすい状況でなかったことが挙げられる. 本番において主旋律につられなかったかという設問では, 提案
手法が他の手法よりもわずかに評価が高くなったが十分と言えなかった. しかし,実験後のアンケートでは, 4 人の被験者が提案手法が他の手法に比べて主旋律につられなかったと回答していることから, 音高表示機能は本番で主旋律につられないための副旋律練習に一定の効果をもたらしている可能性があることがわかった. 習

26

第5章 結

論

得度では, 提案手法では被験者 10 名中 7 名に習得度の向上が見られたが, 比較手法 1 では 3 名しか向上が見られなかったことから, ループバック機能と音高表示機
能が副旋律の習得に有効であることがわかった. 以上をまとめると, ループバック（返し音量変更を促す機能）
・ユーザ音高リアルタイム表示機能を用いることでおおよそ主旋律につられないようにする練習が可能であり, これらの機能を使うこと
で副旋律の習得が可能であることがわかった.
実験 2 では, キー変更機能の必要性と, キー変更機能がハモり習得に有効かどうかを確かめた. キー変更可能条件とキー変更不可能条件を比較し, 検証を行なった.
練習は本番での歌唱に役立ったか, 本番ではうまく歌えたか, 副旋律を歌うことは簡単だったかという設問（0〜6 の 7 段階評価）では, キー変更可能条件が不可能条
件よりも評価が 1.3 以上高かったことから, キーを本番と同じものに設定できることで練習を本番時の歌唱に役立てられるとわかった. 本番ではキーが原曲と異なり, ハモりにくいと感じたかという設問では, キー変更可能条件が不可能条件よりも評価が 2.0 以上高かったことから, キー変更可能条件を使用した方がハモりやす
いという結果が得られた. よって原曲のキーで覚えたハモりを原曲と異なるキーで歌うことは容易ではないと考えられる. 習得度をみると, キー変更可能条件では,
被験者 12 名中 8 名に習得度の向上が見られたが, キー変更不可能条件では, 4 名しか向上が見られなかったことから, キー変更機能が副旋律の習得に有効であることが確かめられた.
以上より, 音高表示機能, ループバック機能は, 主旋律につられないための練習に一定の効果を持っていることがわかった. また, キー変更機能の必要性, 原曲と異なるキーでのハモり習得に有効であることが確かめられた.
今後の展望としては, 練習時間を増やすことや, 様々な楽曲を用いて実験を実施することで, 更にシステムの有効性を確かめていきたい. 今回被験者には「ラララ」
で歌ってもらったため, 実際の歌詞と音高表示を両方見ながらの歌唱練習について実験はしておらず, 今後は検証していく必要がある. また, テンポの速い曲に関し

27ては音高表示が追いつかずユーザーに歌いにくさを感じさせてしまうため, 速い曲にも対応できるような改善の必要がある.

29

参考文献
[1] 白石美南, カラオケのためのハモリパート練習支援システム〜ハモリパートの自動生成および練習支援システムの試作〜, 2017 年度卒業論文, 日本大学文理学部情報科学科 (2018).

[2] 菅原啓太, 米田隆一, 西本卓也, 嵯峨山茂樹（東大・情報理工） , HMM と音符連鎖確度を用いた旋律への自動和声付け, 情報処理学会研究報告 (2003).

[3] エバンズベンジャミンルカ, 棟方渚, 小野 哲雄, 和声学に基づく合唱譜自動作
成システム

CMY

―転回系の実装と評価―, 情報処理学会研究報告 (2013).

[4] 香山瑞恵, 中西将, 岡部真実, 浅沼和志, 伊東一典, 為末隆弘, 橋本昌巳, 歌唱評
価のための指導者知識に基づく合唱学習支援, 人工知能学会全国大会論文集(2011).
[5] 福本 愛由星, 橋田 光代, 片寄 晴弘, RelaPitch:歌って鍛える相対音感習得支援システム , エンターテイメントコンピューティングシンポジウム (2016).

[6] Tomoyasu Nakano, Masataka Goto, Yuzuru Hiraga, MiruSinger: A Singing
Skill Visualization Interface UsingReal-Time Feedback and Music CD Recordings as Referential Data, Ninth IEEE International Symposium on Multimedia (2007).
[7] 中野 皓太, 誰でも好みの曲を手軽に歌える歌唱支援システム, 情報処理推進機
構 2009 年度上期採択案件 (2009).

参考文献

30

[8] 小原孝, うまく歌える！演奏がうまくなる！楽譜が読める！音感スーパーレッ
スン, 株式会社ナツメ社 (2012).

[9] 森勢将雅, 河原英紀, 西浦 敬信, 基本波検出に基づく高 SNR の音声を対象とした高速な F0 推定法, 電子情報通信学会論文誌 (D), Vol. J93-D, No. 2, pp.

109–117, (2010).

31

謝

辞

本論文を作成するにあたり, 卒業論文指導教員の北原鉄朗准教授から, 多くの的
確な助言を頂戴し, 厳しくも丁寧かつ熱心なご指導を賜りました. ここに感謝の意を表します.
共同研究者である, 白石美南氏には, 技術面だけでなく精神的にも支えていただ
きました. 苦楽を共にし, 時にはお互いに励ましあいながら成長を共にしました.
私が病床に伏す中, この卒業論文が製本されたのも白石氏の尽力あってのものです.
本当にありがとうございました.
本研究の先輩である棚橋徹氏からは, システムの実装において技術的なアドバイ
スを頂きました. また, 原稿, 資料作成時には, 大変丁寧なご指導をいただきました. 心より感謝申し上げます.
本研究室の先輩である大野涼平氏には, 研究や就職活動などで辛いときに, 自身の研究でお忙しいにも関わらず, 何度も相談に乗っていただき, 励まして頂きました. また, 関連研究の調査の方法やまとめ方など, 細かなところまでご指導頂きました. 心より感謝申し上げます.
同期の市川亮佑氏には, 他方の研究分野の方からの視点から客観的なアドバイスをいただき, 活発な議論にお付き合い頂きました. 感謝の念が絶えません.
予備実験の実施に際しては, 宇田川真唯氏にご協力いただいたおかげもあり, 万全の態勢で本実験に臨むことができました. ありがとうございます.
実験にご協力頂いた方々, 就職指導課の方, 北原研究室の同期, 後輩の皆様に感謝致します.