メロディリズムのタップを併用する Voice-to-MIDI 変換手法の音高変換精度評価
伊藤

直樹†

西本

一志†

計算機を用いた音楽制作における MIDI シーケンスデータ入力法のひとつに鼻歌入力法がある．
しかし既存システムでは 1 音毎の区切りがうまくゆかないことによる変換精度低下が起こる．この問題に対して我々はタップ併用型 Voice-to-MIDI 手法を提案し，既にタタタ歌唱を前提とする既存
VtoM システムとの比較実験を行い，既存システムと比較して勝るとも劣らない精度で音高変換できることを示している．しかし，歌詞歌唱などの任意の発音の歌唱を許容する既存システムとの比較はこれまで行っておらず，本システムの有用性を十分に示すことができていなかった．そこで今回タタタ歌唱を前提としない，自由歌唱可能なシステムとの比較を実施し，本システムの有用性を明らかにした．

Evaluation of Pitch Translation Accuracy of a Voice-to-MIDI That
Concurrently Uses Rhythm Taps of Singing Melody
NAOKI ITOU†

KAZUSHI NISHIMOTO†

Voice-to-MIDI is an input method of MIDI sequence data just by singing a melody. However, the quality oftranslation of the ordinary Voice-to-MIDI systems is insufficient. One of the most significant problems is thepoor accuracy of the segmentation of notes. To solve this problem, we already proposed a novel Voice-to-MIDI
method that uses concurrently input rhythm tapping while singing. We confirmed that our prototype systemachieved much more accurate translation results than that of the ordinary system that imposes users to sing in a
special way called "tatata singing." However, we haven't yet compared our system with a system that allows
the users to sing in any ways like singing with lyrics. Hence, in this paper, we conducted experiments tocompare our system with the system that allows free singing and we confirmed the superiority of our system.

1.

はじめに

与える．したがって初期の処理ステージでの誤りは，それ以降のステージでのさらなる誤りを引き起こし，計算機を用いた音楽制作における MIDI（Musical

最終的に得られる変換結果をきわめて精度の悪いもの

Instrument Digital Interface）シーケンスデータ入力法

としてしまう．これを防ぐためには各ステージにおいの ひ と つ に ， 鼻 歌 入 力 1)-3)（ Voice-to-MIDI： 以 下てできるだけ高い精度の処理結果を出すことが必要と

VtoM）法がある．VtoM を使うと，ユーザは，マイなる．とりわけ，初期のステージである歌唱区間の検クに向かって頭に浮かんだメロディや記憶しているフ知および 1 音毎の区間検知の精度を上げることは，そレーズを歌うだけで音符を入力できるので，特に絶対れ以降の処理ステージへの波及効果が大きいので，極音感や相対音感を持たないユーザや楽器演奏技術の無めて重要である．

いユーザにとって有用な入力方法である．しかしなが

ところが，歌唱区間や 1 音毎の区間を計算機処理にら，従来の VtoM システムには多くの課題があった．

よって検知することは容易ではない．このため，多く

VtoM システムの処理は，一般にの既存 VtoM システムでは，すべての音を「タ」とい• 歌唱区間の検知

う音で明確に区切って発声して歌う「タタタ歌唱」の• 1 音毎の区間検知

ような，特殊な歌唱方法が求められる．これにより一• その区間のピッチ採集

定の水準の処理結果が得られるようになる．しかしな• そのピッチ情報からの区間音高推定

がら，たとえば初めに歌詞を作ってからメロディを作という手順で行われる．この各処理ステージで得られ曲する「歌詞先作曲」の場合，歌詞の持つイントネー

た結果は，いずれも連鎖的に次の処理の結果に影響をションなどがメロディに大きく影響するため，歌詞をそのまま歌唱することが不可欠である．このような場† 北陸先端科学技術大学院大学
Japan Advanced Institute of Science and Technology

合，歌唱スタイルを制限せず，任意のスタイルの歌唱

情報処理学会 インタラクション 2010

によって MIDI シーケンスデータを入力することがで
きる VtoM システムの実現が求められる．

図 2 にタタタ歌唱入力を前提とするある市販システ
ムにおける「（ゆうやけこや）けえのあかとんぼ」部

そこで，我々はタップ併用型 Voice-to-MIDI（以下分の変換結果を示す．上段は入力された歌詞歌唱の音TVM と略す）手法を既に提案した 4)．これは，計算

声波形を，中段は正解のメロディラインを手動入力し機が苦手とするが人にとっては容易な区間区切り作業て 2 オクターブ移調したもの（正解データ），下段はを人が担当し，計算機は得意だが人が苦手とするピッV-to-M システムによる認識結果を示す．このシステ

チ抽出を計算機が担当する，人と計算機の協調型シス

ムは音量変化によって音が区切られると推測されるが，テムであると言える．TVM を用い，タタタ歌唱を前

本来 1 音であるのに複数の音に認識されてしまったり，提とする既存 VtoM システムとの比較実験を行い，逆に複数の音に分割されなければならない箇所が 1 音

TVM が既存システムと比較して勝るとも劣らない精と認識されてしまったりしている箇所が多数ある．

度で音高変換できることを示した 5)．

図 3 は，別のシステムによる「おわれてみた」部分

しかし，歌詞歌唱などの任意の発音の歌唱を許容すの変換結果である．このシステムでは主に音高変化にる既存システムとの比較はこれまで行っておらず，本

よって音が区切られると推測されるが，意図しないピシステムの有用性を十分に示すことができていなかっッチの変化にも反応してしまい，「お」と「て」の部た．そこで今回タタタ歌唱を前提としない，自由歌唱

分で余計な音が出力されてしまっている．

可能なシステムとの比較を実施し，あらゆる歌唱スタ
イルにおける TVM の優位性を実証したので報告する．

2.

先行研究

文献 6)7)では音声認識のために，本研究と同様に発声に併せたタッピングなどによる区切り情報入力を行

図1 赤とんぼの楽譜っている．これらにより音節区切り情報の効果は示されているが，V-to-M システムへの適用を目的とした研究ではない．またこれらの文献より，TVM の歌詞
認識への応用も考えられるが，歌詞認識の難しさ 8)もあり，現時点では研究の対象とはしていない．
VtoM の精度向上に関する文献 9)では，音程の外れた歌唱にも対応可能な手法についても述べられており，発声した個々の音が絶対音高から外れていても，相対音高としてはスケールを構成していることを利用して，補正を行うことが提案されている．また文献 1)の鼻歌入力システムでは，スケール上の音に優先して認識

図2 音量によって区切られ，複数音が 1 音に，1 音が複数音にされるように重み付けを行うことが可能である．これ変換された例（赤とんぼの「けえのあかとんぼ」）

らの音高認識結果の補正手法は，音響処理レベルを超えた，より高次の音楽処理レベルの処理ステージで適用される技術であり，TVM と組み合わせることによりさらに高精度な V-to-M システムを実現することが可能と考えられる．

3.

タップ併用型 Voice-to-MIDI システム

3.1

既存 VtoM システムの問題点

既存の V-to-M システムに歌詞歌唱を入力したときの問題点を示す．市販の V-toM システムに童謡「赤図3 音高変化によって区切られ，余分な音が出力された例（赤とんぼ」（野ばら社刊「童謡」の変ホ長調版 10）を使

とんぼの「おわれてみた」）

用: 図 1）を歌詞歌唱入力した結果を 2 例示す．

このように，従来の V-to-M システムは歌唱音声デ

メロディリズムのタップ入力併用によるユーザとシステムの協調型 Voice-to-MIDI 手法の音高変換精度評価

ータを適切に 1 音ずつに区切れず，その結果個々の音

自己相関の正の最大値近傍の周波数のものを用いて求の音高や音長の誤認識が起こっていると言える．

める．更にスペクトルの内挿 11)を用いて cent 単位でタップ併用型 VtoM 手法の概要

音高推定を行い短時間ピッチとして出力する．これは

3.2

上記のような問題に対処するためには，音量の変化

周波数解像度不足を補うためである．

が乏しいことによって音が区切られない問題やピッチ

離鍵後，短時間ピッチ時系列データから半音単位での変化による意図しない区切れの発生を同時に抑えらとったヒストグラムを生成し，最も頻度の高い音高のれなければならない．そこで TVM では，機械が苦手

音名を求め，これをこの区間に対応する音符 1 つ分のな音符区切り判定を人間が手動処理し，人間の苦手な音高として出力する．

ピッチ抽出をシステムが自動処理するという協調的な3.4処理手法を採用した．

以前のシステム 5)6)では，タップを終了することで無発声検知機構

ユーザは，歌唱と並行してメロディの各音を区切る

音長が決定されるシンプルな仕組みであったため，情報（リズム区切り情報）を入力する．具体的には，

1 音の長さ分だけキーを押下し続けずに，タップして歌唱するメロディのリズムに併せて鍵盤楽器や PC キ

もすぐに離してしまうようなタップでは十分な量の短ーボード，あるいはなんらかのボタンなどをタッピン

時間ピッチ情報が取得できずない問題があった．このグすることにより，1 音毎のリズム区切りを入力する．

点を踏まえて，本システムでは歌唱区間の途切れを検その上で，鍵やボタンが押下された時点から短時間ピ知する機構を実装した．具体的には，本システムではッチ算出処理を開始し，鍵やボタンが離され押下が終ピッチ抽出に循環自己相関を用いているため，タップ了した時点か歌唱の途切れが検知された時点のどちら

後に D2-F5 の音高範囲内に最大の正相関値がなくな

か長い方まで短時間ピッチ列算出を継続し，この間をれば歌唱区間の終了と判断する．

１つの音符に対応する音声データであるとして，得られた短時間ピッチ列から 1 つの音高を推定し出力する．
3.3

プロトタイプの構成

上記の処理を実装した TVM プロトタイプシステム

タップ終了と歌唱終了のタイミングによって終了位
置は以下の 3 パターンに分かれる．
• タップ終了後に歌唱が終了：歌唱終了時点• 歌唱が終了しないまま次のタップ開始：次のタップ開始直前（レガート音）

について述べる．入力は音声波形とリズム区切り情報，
出力は D2-F5 までの半音単位の音高（A4 = 440Hz を• タップ終了より先に歌唱が終了：タップ終了時点基準とする）である．入力音声は 22050Hz，16bit, モ

この手法により対象とする音高範囲内に目立つ音がノラルでサンプリングされる．リズム区切り情報にはなければ，音量閾値などの手法を用いずに有音 / 無MIDI キーボードや PC キーボードの打鍵および離鍵音を判別可能となり，周期性がはっきりとした音が存の入力時刻情報を用いる．PC キーボードの場合は，在していなければ環境音の音量変化への動的対応や小タッピングに‘<’と‘>’の 2 キーを使用し，1 キー

音量下でも判別が可能となるなどのメリットがある．

のみ連打しても 2 キーを交互に打鍵してもよい仕様と一方でこの手法では，タップ終了後でも，歌唱以外した．処理はオンライン（リアルタイム）で行われる．

の音に反応したことによって範囲内に最大の正相関値

キーを押下することにより，システムに打鍵情報が出現していれば消音されない可能性があるが，PC（MIDI note on message）が入力されたら，これをト内蔵マイクやヘッドセットマイクなど数種類のマイクリガーとしてマイクより入力されてくる歌唱音声デーで調査したところ，概ね良好に作動した．なお，タッタからの短時間ピッチ算出処理を開始し，キーが離さ

プ開始～200ms までは無発声を検知しないようにした．

れ離鍵情報（MIDI note off message）が入力されるか，また，音が鳴っているにもかかわらず音高範囲内にピ後述する無発声検知機構によって終了が検知されるまッチが無いと判定されることを想定し，音量（パワーで短時間ピッチ算出処理を繰り返し, 短時間ピッチのス ペ ク ト ルの 合 計 値） が直 前 の フ レー ム の 音量 の時系列データを記録する．短時間ピッチ算出は，入力90%以上であれば終了しない仕様とした．

波形に対する短時間フーリエ変換(STFT，フレームサ

4.

評価実験

隔⊿t=128samples : 約 6ms)から求めたパワースペクト

4.1

実験概要

ルの D2-F5 相当の周波数間に存在するピークのうち，

リズム区切り情報追加による効果と問題点を探るた

このパワースペクトルに対する IFFT から求めた循環

め，歌唱音声データの分割区間数の精度と，各区間のイズ twin = 2048samples : 約 100ms，フレーム移動間

情報処理学会 インタラクション 2010

音高認識精度の評価を行った．すでに「タタタ歌唱」

タに BP2 で記録した波形と組み合わせてオフラインを推奨するシステムを用いていた比較評価を行い，処理で MIDI データに変換する．実験では両システム

TVM がこのシステムと比較して勝るとも劣らない精で完全に同じ歌唱波形を使用するために便宜上，本来度で音高変換できることを既に示している 6)．今回

オンライン処理である TVM をオフライン処理とした．

は，TVM と同様に歌詞歌唱などの自由な発音の入力

しかし，この実験のために更なる精度向上を目的としを許容する VtoM システムと比較する．これは，我々たような処理は追加せず，同等の出力結果となる．

の目指す歌唱スタイルを制限しない入力という目的により近しい既存システムと考えられる．
なお歌唱の音の立ち上がりおよび立ち下がりを正確に判定するのは困難であるため，今回の実験では，音長やリズムの精度については評価しない．
4.2

楽曲

なお，BP2 で記録した歌唱波形と TVM のタップデータの同期が必要となるが，TVM 用の PC で歌唱波
形をタップと同期させて記録しており，その波形とBP2 の波形を目視して同期位置を探した．
タップに用いたデバイスは，HP: 2710p ノート PCのキー“<”および“>”である．これらのキーは隣歌唱する楽曲は以下の 2 種類である．

接して存在する．被験者は，これらのキーの両方ある• 課題曲（赤とんぼ）

いは片方のみを好みに応じて用いる．

• 各被験者が選んだ自由曲（歌詞のあるメロディを１コーラス程度）
赤とんぼは，音高の範囲が広く，変化も激しいが一

4.4

被験者

被験者は，筆者らが所属する大学の男子学生 8 名と女子学生 1 名である．予備調査により被験者の音楽知方で同一音高が連続する箇所もあり，適度な難しさを識や能力を調べた．項目を以下に示す．

持っている．かつ多くの人が知っている曲であること[1]「鍵の音名」：ピアノ上の鍵の音名回答

から課題曲に採用した．歌唱テンポによって大きく 2[2]「音高聴取」：ピアノで弾かれた単音の音名回答

種類の歌唱条件を設定し，「テンポ自由」では，被験[3]「音の高低」：ピアノで弾かれた 2 音の高低回答

者の好みのテンポで歌唱させた．また，赤とんぼは通常遅いテンポで歌唱されるため，「BPM=120」で歌唱させ，歌唱とタップの同期が速いテンポでも可能かを検証した．

項目 1-3 はいずれも全 6 問ある．各被験者の 6 問中の正解数と楽器経験を表 1 に示す．
なお TVM の支援対象は，主に音感を持たないユー
ザであるが，この実験では，様々な被験者のデータを

自由曲では，赤とんぼよりもリズムや音高変化が複得るために和音楽器経験者・リズム楽器経験者や音感

雑でより実践的な曲への対応が可能かを検証するためがあると思われる被験者にも参加をお願いした．そのに，各被験者自身が選曲したポップスなどのメロディ

結果，楽器経験なし 4 名と経験あり 5 名となった．

を歌唱させた．
4.3

機材設定

4.5

実験手順

実験は大学内の防音室を用いて 1 名ずつ行った．

比 較 に 用 い た 既 存 V-to-M シ ス テ ム は ， KAWAI:

まず VtoM の練習および歌唱しながらタッピングすBand Producer 2 12)に付属の鼻歌入力機能(以下, BP2る練習を 5 分ずつ行った後，以下の順序で実施した．

と略す)である．この機能は，予め設定した音量閾値

まず，被験者に課題曲の童謡「赤とんぼ」の 1 番(全を超過したときと半音単位の音高閾値を超えたときに

31 音符: 図 1 参照)を，歌詞を見ながら 3 回聴取させ，音符が区切られると変換結果から推測されるが，例えメロディをできるだけ覚えるように指示し，音量で区切られなかったとしても音高変化があれば区[1]

赤とんぼ：テンポ自由

切られるため，歌唱の発音により影響されにくいと思[2]

赤とんぼ：BPM=120

われたため比較対象として採用した．

[3]

自由曲

次にデータの記録および処理手順について述べる．

の順に歌唱させた．この 3 歌唱課題それぞれにおいて被験者に試唱させて BP2 の録音音量閾値を設定し

表 2 の歌唱条件をランダムな順番で呈示して歌唱させた後，BP2 に歌唱をリアルタイムで入力し，MIDI デ

た．赤とんぼについては，それぞれの入力方法についータに変換する．同時にその歌唱は Wave 波形としてて，3 回ずつ歌唱を入力させた．自由曲については，

BP2 上で録音される．TVM のためのタップデータの被験者の負担を考えて 1 コーラス程度を 1 回歌唱させ記録については，被験者に歌唱と同時にタップを入力た．各被験者の自由曲を表 3 に示す．実験は全て歌詞

させ，BP2 とは別の PC で記録する．このタップデー

歌唱（途中で歌詞が分からなくなった場合は適当な発メロディリズムのタップ入力併用によるユーザとシステムの協調型 Voice-to-MIDI 手法の音高変換精度評価

評価方法

音でもよい）で行い，実験中は，歌詞カードは見ても4.6

よいが楽譜は一切呈示しなかった．

被験者が必ずしも楽譜通り，あるいはそれを移調し

表1 各被験者の予備調査項目 1-3 の正解数と楽器経験
音

者

名

正解

半音差

高低

A

6

0

1

5

なし

なければならない．そこで，BP2 で記録した実験中の

B

3

0

0

2

なし

歌唱音響波形から，第一筆者が 1 音毎に音高の特定を

C

6

1

0

5

なし

行い，これを「正解データ」とした．つまり，楽譜上

D

3

1

0

6

なし

に記載されている音高ではなく，実際に歌唱された音

E

0

1

0

6

太鼓,ムックリ 1 カ月

高を正解データとする．これにより，被験者の歌唱誤

F

5

0

0

5

和太鼓 2-3 年

りをシステムの誤りとみなしてしまうことを回避し，

G

6

0

0

6

電子オルガン 2 年

純粋にシステムの性能を評価できる．こうして得られ

H

6

0

4

6

電子オルガン 3 年た正解データと各システムの音高認識結果の比較によ

ピアノ 5 年って正解個数を割り出して評価を行った．

6

5

音の

1

6

楽器経験

各システムの音高認識性能を評価するためには，楽譜

被験

I

音高聴取

た音高通りに歌唱できたとは限らない．ゆえに正しくに記載された音との食い違いが被験者の歌唱の誤りによるものか，システムの誤認識によるものかを弁別し

ピアノ 10 年以上

歌唱からの音高特定の手順（正解データの求め方）は 以 下 の 通 り で あ る ． 波 形 処 理 ソ フ ト （ Adobe:

表2 実験で用いた歌唱条件の組合せ[A] 赤とんぼプ再生した音に対して，ピッチを細かく調整可能なピ

テンポ

タップ

自由

BPM = 120

ッチベンドホイールつきのキーボード（Ensoniq: MR-あり76）で音高特定を試みる．もし，ここで決められないなし（BP2 のみ使用）

場合は，その発音区間内で発音長に応じて適当に選んありだ 1～4 箇所程度のそれぞれについて，ある程度定常なし（BP2 のみ使用）

な音になるように 30～300ms 程度の短い範囲でループ再生して局所的に音高特定を行う．あまりにも音高[B] 自由曲
テンポの変化が大きい音や音高の特定が困難な音は評価から

タップ

自由

除外した．なお各音の区切りはタッピングによって得あり

注1. テンポ・自由: 好みのテンポで歌唱．
・BPM=120: BPM=120 のメトロノームに合わせて歌唱．
注2. タップ
・あり: タップしながら歌唱．
・なし: 歌唱のみ．BP2 におけるタップの有無による比較用．

歌手名られた区切りではなく，試聴や波形の目測によっておおよその位置を割り出した．この作業により各音を，A)

音高が一意に決まる音

B)

2 音の間で決めがたい音

C)

発音中に音高が変化する音の 3 種類に分類した．なお，B と C に分類される音

表3 各被験者の自由曲
被験

Audition1.0）上で，各音の発音開始～終了までをルー

は，可能性のある音すべてを正解データとみなした．
曲名

者

次に発音開始および終了位置に基づき，個々の音について正解データと認識結果を対応づけ，両者の音高

A

Mr. Children

Overを比較することにより正解を判定した．ここで分類 B,

B

井上あずみ

さんぽ

C にあてはまる音との比較の場合は，複数の正解デー

C

フォーククルセダース

11 月 3 日

タのうちいずれかの音高と一致すれば正解とし，

D

スピッツ

チェリー

[1]

正解音：一致した音EAcid Black Cherry

愛してない

[2]

誤り音：一致しなかった音F

ブルームオブユース

ラストツアー[3]

欠落音：欠落した音Gチャーリー・コーセイ

ルパン三世

H

SMAP

世界で一つだけの花

a. 欠落した音の全体数

I

高橋洋子

残酷な天使のテーゼ

b. 欠落した音の内，他の音と結合された音その 1※自由曲では欠落した音を以下に分けて示す．

情報処理学会 インタラクション 2010

余分音：余分な音[4]に分類して個数を集計した．自由曲の「3. 欠落した

体的に欠落・余分音は非常に少なく上手くタップによる音区切りおよび音高変換がなされていると言える．

音」については，出力されなかった音の全体数および

一方 BP2 は誤り音が少なく認識した音の音高変換

その内の正しく区切られず前の音と結合されてしまっ

精度は非常に高いものの，欠落・余分音が多いことがた音の数についても示す．
「4. .余分音」に分類される

分かる．欠落音については，赤とんぼでは同一音高ののは，本来 1 つの音が複数音に認識され，かつその中連続箇所が楽譜上４箇所存在しており，それらが 1 音に正解と一致した音があった場合に正解音に加算されのロングトーンに変換された影響が見られた．余分音

る 1 音分を除いた残りの音，および歌唱中における咳

が多い原因は歌唱中のピッチ変動や揺れが多いためで等のノイズによるものなどとなる．1～3 の音数の合ある．例えば 3 小節目の「あか」のような落差の大き計は，各メロディの全音符数と一致する（赤とんぼのい箇所では，ピッチが大幅なアンダーシュートを起こ場合 31 音）．

し，本来の音高に戻るまでに複数の音高に掛かる．ま最後に上記の分類結果を用いて変換精度を求める．

た 3-4 小節にかけての「とーんーぼー」のようなロン

例えば，正しく音高が変換された音数が多いが余分なグトーンは意図しないピッチ変動が起きやすい．また音も多く出力された場合，よいシステムとは言い難い．

BP2 では，タップの有無に関わらず同等の認識精度でそこで，歌唱された音数に対して正しく音高が変換さあり，タップを行うことによって歌唱が乱れて精度がれた音数の割合を測る再現率，およびシステムが認識下がるようなことは無かったと考えられる．

した全音数に対して正しく音高が変換された音数の割

総じて，TVM は BP2 よりも再現率・適合率・F 値

合を測る適合率の 2 つの尺度で評価する．また再現率

いずれも全被験者について高い結果を示した．再現と適合率を総合して評価する指標として F 値も求め率・適合率ともに 100%の被験者が 5 名いた．これにる．それぞれ以下の計算で求められる．

は楽器経験なしの被験者 A，B も含まれており，この• 再現率(%) = 正解音数 / 全歌唱音数*100レベルの曲や歌唱条件に対しては楽器経験の有無は影• 適合率(%) = 正解音数 / (正解音数+誤り音数+余

響を及ぼしにくいと見られる．

分音数)*100• F 値 = (2*再現率*適合率) / (再現率+適合率)
なお全歌唱音数は以下のように求める．
全歌唱音数(音) = 正解音数+誤り音数+欠落音数

5.

評価実験結果および考察

5.2

赤とんぼ:テンポ BPM = 120「テンポ BPM = 120，歌詞歌唱，タップあり」の歌
唱条件による入力 3 回分計 93 音について被験者ごとに集計を行った結果，および BP2 におけるタップの有無による精度比較用に「テンポ BPM = 120，歌詞歌
唱，タップなし」の結果を表 4-B に示す．

評価実験結果および考察について述べる．なお，

TVM では歌唱テンポの上昇に伴い負荷が高まると

BP2 で全体的に欠落音が多い点については，同一音高ともに誤り・欠落・余分の各音数も自由テンポ時よりの連続箇所など複数音が 1 音に変換されたことが影響増加しているが，これは妥当な結果と言える．中でもすることはあるが，その分を除いてもなお大量の欠落

被験者 E は欠落・余分音が大きく増加しているが，音が残る場合がある．そこで音量閾値設定の影響が考音長をある程度保ったタップ間隔ではなく，区切るべえられたため，閾値を調整して検証してみたが変換結き箇所から全く外れた音の途中でタップされた例が見果に大きな変化は見られなかった．また音量が小さいられたことから，テンポが速く追いつかなかったとい音が出力された一方で，その音よりも音量が大きい音

うよりもタップするべき位置を把握できずに混乱したが欠落したケースも見られたため，原因の特定は困難と見られる．

として断念した．
5.1

赤とんぼ:テンポ自由

一方 BP2 では余分音については，自由テンポ時よ
りもむしろ減少する結果となった．これは，テンポが「テンポ自由，歌詞歌唱，タップあり」の歌唱条件

速くなると 1 音当たりの歌唱時間が短くなりピッチのによる入力 3 回分計 93 音について被験者ごとに集計

変 動 が 減 る た め と 考 え ら れ る ． ま た BP2 で は ，を行った結果，および BP2 におけるタップの有無に

BPM=120 での歌唱でも自由テンポ時と同様タップのよる精度比較用に「テンポ自由，歌詞歌唱，タップな有無によらず同等の認識精度であり，タップの有無はし」の結果を表 4-A に示す．

あまり精度に影響しなかったと考えられる．

TVM は，被験者 C の誤り音が多少多いものの，全総じて，タップ位置のミスが音高変換精度を落とす

メロディリズムのタップ入力併用によるユーザとシステムの協調型 Voice-to-MIDI 手法の音高変換精度評価のは TVM の性質上避けがたく，テンポ自由時よりはるべき位置を把握できずに混乱したと想像される箇所

多少劣るものの，再現率・適合率・F 値いずれもほとが，ともに存在した．しかしながら，各被験者とも非

んどの被験者について TVM の方が高い結果となり，常に高いと思われる負荷にも関わらず高い再現率を達

再現率・適合率ともに 100%の被験者が 2 名いた．ま成していることから，「タップしながら歌唱する」行

た余分音の出力が十分に抑制されており，テンポが速為は，基本的に実施可能なものであったと言うことがくなっても正しく変換可能であることが分かった．

できるだろう．

5.3

自由曲

5.4

全体考察

各被験者が選択した自由曲について「テンポ BPM

以上より，TVM は，BP2 のような音高変化によっ= 自由，歌詞歌唱，タップあり」で入力した結果をて音を区切る VtoM システムの問題点である 1 音が複

図 4-C に示す．図 4-C に見られるとおり，合計値では数音に認識され余分な音が出力されやすいという点にTVM が BP2 よりも再現率・適合率・F 値のすべてに対処できることが示された．また，TVM システムは，おいて上回り，総合的にみると TVM は，「タップし歌唱時の負荷の増加はあるものの，既存の歌詞歌唱なながら歌唱する」という負荷の高さにも関わらず，よどの任意の発音の歌唱を許容するシステムに比べて，り実践的なポップスなどのメロディの入力においてもより高い音高変換精度を達成した．よって先の「タタ高い変換精度を得られていることが分かる．

タ歌唱」システムとの比較結果 5)と合わせて，TVM

ただし，問題点も明らかになった．被験者 A，E，F については，欠落音中の結合音の数が多く見られる結果となっている．結合音は，被験者が 1 音ごとに正は十分な有用性があると考えられる．

6.

結論

しくタップしていないため複数音が 1 音に結合されて本稿では，我々が提案しているメロディリズムタッ

変換された箇所であることを示す．TVM では区間のプによって音の区切りを入力する人間と計算機との協最頻音高が採用されるため，複数音が 1 音に結合され

調的 VtoM である，タップ併用 Voice-to-MIDI システ

た場合，最長音長の音の音高が採用されてしまい，そムと歌詞歌唱などの任意の発音の歌唱を許容する既存の結果として誤り音と判定され，更に残りの音は欠落

VtoM システムとの音高変換精度の比較を行った．そ音と判定されてしまう．よって結合音の存在は誤り音の結果，TVM の有用性を実証するとともに，VtoMと欠落音の両方に影響を与えてしまう結果となる．

における音の区切りの重要性を示した．

ただし，今回の評価基準では，タップ開始時点の音

今後，誤った音区切りを減らすことと，タップへのの音高を正解として精度を評価しているが，仮に複数依存度を減らすために必要なタップか否かを判定する

音が結合されて 1 音にみなされてしまった場合に，そ機構を開発し組み込む予定である．また歌詞先作曲にこに含まれる音のいずれかの音と音高が一致した場合

おける実践的な使用評価を行っていく予定である．

も正解とみなせば，精度は更に上がる．これは BP2でも同様に起こるが，音高変化で音が区切られるため，結合音の発生は主に同一音高連続箇所となる．よって
TVM のように 1 音目が一致しなくても他のいずれかの音が一致することによる精度向上の余地は少ないと言える．このように今回の評価基準は TVM にとって厳しいものであるにも関わらず，TVM では，被験者
E，F の場合に再現率についてそれぞれ BP2 より 15%
および 18%高く，被験者 A の場合に BP2 と同等の適合率であり，また被験者 F の場合に適合率が BP2 よりも 14%高いという結果となっていることから，
TVM は良好な性能を達成していると言える．
その他，A，E，F 以外の被験者における誤りの発生原因は，タップ開始位置のズレにより音区切りがう
まくいかなかったことにあると考えられる．テンポが速く追いつかなかったと想像される箇所と，タップす

参

考

文

献

1) YAMAHA 株 式 会 社 : XGworks ST;
http://www.yamahasynth.com/jp/products/music_pro
duction_software/ma_65w/
2) 株 式 会 社 INTERNET: SingerSongWriter Lite5;
http://www.ssw.co.jp/products/ssw/win/sswlt60w/ind
ex.html3) MakeMusic Inc.: Finale2010,
http://www.e-frontier.co.jp/
4) 伊藤 直樹，西本 一志: MIDI シーケンスデータの 2step 打ち込み法への鼻歌による音高入力の適用，情報処理学会研報 2006-EC-5, Vol.2006,
pp.43-48, (2006).
5) Naoki Itou, Kazushi Nishimoto: A voice-to-MIDI
system for singing melodies with lyrics, Proc. of theint. conf. on ACE'07, pp.183-189, Salzburg, Austria,(2007).
6) 番弘光，伊藤克亘，武田一哉，板倉文忠: タッ
ピングを利用した音声認識の検討; 情報処理学

情報処理学会 インタラクション 2010

会研報，SLP-47, pp71-76, (2003).
7) 岩田憲治，渡邉康司，中川竜太，篠田浩一，古井貞煕: 音声とペンの準同期入力に対するマルチモーダル認識;日本音響学会 2006 年秋季講演
論文集 1-2-23, (2006).
8) 尾関弘尚，鎌田貴幸，後藤真孝，速水悟: 歌声の歌詞認識における音高の影響について; 日本
音響学会秋季講論集, pp637-638, (2003).
9) 清水 純, 丸山 剛志, 三浦 雅展 柳田 益造: ハ
ミングによる単旋律の自動採譜; 日本音響学会
音 楽 音 響 研 究 会 研 資 , Vol.23, No.5, pp.95-100,
注1.
注2.
注3.
注4.

注5.
A)

表 4 赤とんぼおよび自由曲の変換結果"*"付きの被験者は「音楽経験なし」と回答した被験者．
全歌唱音数は本来 93 音だが，歌唱されなかったり，音高の特定が困難等で集計から除外した箇所がある．
全歌唱音数(音) = 正解音数 + 誤り音数 + 欠落音数
再現率(%) = 正解音数 / 全歌唱音数 * 100
適合率(%) = 正解音数 / (正解音数+誤り音数+余分音数) * 100
F 値 = (2*再現率*適合率) / (再現率+適合率)
太字：3 歌唱条件中最も高い値, 下線：BP2 のタップあり/なしの 2 条件を比較し，より高い値を示す．

赤とんぼ [歌唱条件：テンポ自由，歌詞歌唱，タップあり]

TVM
全歌
被験者 唱音 正解 誤り 欠落 余分 再現 適合
数(音) (音) (音) (音) (音) 率(%) 率(%)
93
93
0
0
0 100 100
A*
B*
93
93
0
0
0 100 100
C*
92
88
4
0
0 95.7 95.7
D*
93
92
1
0
0 98.9 98.9
E
93
91
2
0
2 97.8 95.8
F
93
93
0
0
0 100 100
G
93
92
1
0
0 98.9 98.9
H
93
93
0
0
0 100 100
93
93
0
0
0 100 100I
836 8288
0
2 99.0 98.8
合計

B)

(2004).
10) 野ばら社: http://www.nobarasha.co.jp/
11) 原 裕一郎，井口 征士: 複素スペクトルを用いた周波数同定: 計測自動制御学会, pp718-723,(1983).
12) 株 式 会 社 河 合 楽 器 製 作 所 : Band Producer 2,
http://www.kawai.co.jp/

F値
100
100
95.7
98.9
96.8
100
98.9
100
100
98.9

BP2
正解 誤り 欠落 余分 再現 適合(音) (音) (音) (音) 率(%) 率(%)
87
0
6
14 93.5 86.1
80
1
12
6 86.0 92.0
73
1
18
4 79.3 93.6
900
3
13 96.8 87.4
88
0
5
9 94.6 90.7
9012
28 96.8 75.6
90
1
2
14 96.8 85.7
87
0
6
2 93.5 97.8
900
3
5 96.8 94.7
775
4
57
95 92.7 88.7

F値
89.7
88.9
85.9
91.8
92.6
84.9
90.9
95.6
95.7
90.6

BP2（タップなし歌詞歌唱）
全歌唱 正解 誤り 欠落 余分 再現 適合
音数(音) (音) (音) (音) (音) 率(%) 率(%)
93
85
0
8
10 91.4 89.5
93
58
5
30
3 62.4 87.9
87
81
0
6
9 93.1 90.0
93
91
0
2
11 97.8 89.2
93
80
4
9
9 86.0 86.0
92
90
0
2
31 97.8 74.4
93
90
0
3
12 96.8 88.2
93
90
0
3
4 96.8 95.7
93
93
0
0
21 100 81.6
830 7589
63 110 91.3 86.4

F値
90.4
73.0
91.5
93.3
86.0
84.5
92.3
96.3
89.9
88.8

赤とんぼ [歌唱条件：テンポ BPM = 120，歌詞歌唱，タップあり]

TVM
全歌
被験者 唱音 正解 誤り 欠落 余分 再現 適合
数(音) (音) (音) (音) (音) 率(%) 率(%)
93
93
0
0
2 100 97.9
A*
B*
93
93
0
0
3 100 96.9
C*
93
85
7
1
1 91.4 91.4
D*
93
93
0
0
0 100 100
E
93
73
5
15
11 78.5 82.0
F
93
90
3
0
0 96.8 96.8
G
93
90
1
2
2 96.8 96.8
H
93
93
0
0
0 100 10093
92
1
0
0 98.9 98.9
I837 80217
18
19 95.8 95.7
合計

F値
98.9
98.4
91.4
100
80.2
96.8
96.8
100
98.9
95.8

BP2
正解 誤り 欠落 余分 再現 適合(音) (音) (音) (音) 率(%) 率(%)
76
0
17
13 81.7 85.4
76
0
17
5 81.7 93.8
542
37
0 58.1 96.4
882
3
7 94.6 90.7
62
1
30
6 66.7 89.9
67
0
26
3 72.0 95.7
80
2
11
11 86.0 86.0
710
22
1 76.3 98.6
83
0
10
3 89.2 96.5
657
7 173
49 78.5 92.1

F値
89.7
87.4
72.5
92.6
76.5
82.2
86.0
86.1
92.7
84.8

BP2（タップなし歌詞歌唱）
全歌唱 正解 誤り 欠落 余分 再現 適合
音数(音) (音) (音) (音) (音) 率(%) 率(%)
93
77
0
16
11 82.8 87.5
93
76
1
16
3 81.7 95.0
93
62
1
30
4 66.7 92.5
93
79
0
14
4 84.9 95.2
92
69
1
22
8 75.0 88.5
93
63
0
30
2 67.7 96.9
93
80
0
13
14 86.0 85.1
92
72
0
20
4 78.3 94.7
93
82
0
11
4 88.2 95.3
835 660
3 172
54 79.0 92.1

C) 自由曲 [歌唱条件：テンポ BPM = 自由，歌詞歌唱，タップあり]
被験者

全歌唱
音数
(音)

A*

120

B*

63

C*

61

D*

122

E

98

F

172

G

90

H

198

I

209

合計

1133

TVM
誤り 欠落(音) 余分 再現率 適合率(音) 結合(音) (音)
(%)
(%)
20
0
72.5
87.0
87
13
16
0
0
92.1
92.1
58
5
0
0
0
83.6
83.6
51
10
0
0
0
99.2
99.2
121
1
0
8
10
81.6
80.0
80
10
7
9
2
90.1
93.9
155
8
9
0
0
100
100
90
0
0
2
0
97.5
98.5
193
3
2
0
1
94.3
93.8
197
12
0
1032
62
39/34
13
91.1
93.2

正解
(音)

F値
79.1
92.1
83.6
99.2
80.8
92.0
100
98.0
94.0
92.1

正解 誤り 欠落(音)(音) (音) 結合(音)
23
93
4
7
18
44
1
7
40
17
4
14
23
99
0
16
33
65
0
10
37
124
1
21
23
66
1
14
57
141
1
43
41
166
2
17
815
14 295/149

BP2
余分
(音)

再現率 適合率
F値
(%)
(%)
9

77.5

87.7 82.3

2

69.8

93.6 80.00

27.9

81.0 41.5

20

81.1

83.2 82.2

4

66.3

94.2 77.8

31

72.1

79.5 75.6

12

73.3

83.5

0

71.2

99.3 82.9

7

79.4

94.9 86.5

85

71.9

89.2 79.6

78

F値
85.1
87.9
77.5
89.8
81.2
79.7
85.6
85.7
91.6
85.1