音楽情報処理最前線 !

未来の音楽の楽しみ方、作り方はどう変わるのか ?
コンピュータは音楽を理解できるようになるのか ?
コンピュータを使って音楽を研究する「音楽情報処理」という研究分野が、世界的に注目を集めています。
本連載では、そうした最先端の研究事例を紹介していきます。

VOCALOID に歌を真似させるVocaListener（ぼかりす）
話題の初音ミクや鏡音リン・レンを買ってみたけれど、思いどおりに歌わせるのは大変。
こういう風に歌って欲しいというニュアンスを、自分で歌って伝えたい !
そんな望みをかなえる技術、VocaListener（略して、ぼかりす）を紹介します。

1. 誰でも使いやすいVOCALOID へ

2. VOCALOIDに歌を真似させたい

初音ミク発売以降の VOCALOIDの人気はすごい。これまで作VocaListener は歌声からその歌い方をそっくり真似て、音高と曲をしたことがなくても、購入して歌わせてみた人は多いのでは音量に関するコントロールパラメータ（PIT, PBS と DYN）
を自動ないだろうか。そこには、曲作りのためだけではなく、自分の好的に調整する。歌詞の入力も、「こういう歌詞ですよ」とテキスト

きな歌をVOCALOID で歌わせたい、VOCALOID がこういう風にを事前に与えれば、音符ごとに割り当てる作業はほとんど自動で歌ったらどうなるのか聴いてみたい、といったさまざまな想いもあ行える。歌詞の入力ではミスが発生する可能性があるが、その場るだろう。

合は「ここが間違っていますよ」と"ダメ出し"すると、新しい候補
VOCALOID で歌を作るを選び直してくれる（図2）。それでも直らないような箇所は、手作

図１ VOCALOID を歌わせるためには、音符やコントロールパラには、マウスや MIDI キーメータをマウスや MIDI キーボードによる打ち込みで入力していたボードを使って、音符と歌では、歌を真似させるためにはどうするか。単純には、元の歌が、VocaListener を使うことで 歌って 入力することが可能となる。

詞を入力する。一番単純に声から声の高さ（ピッチ）や声の大きさを抽出して、それをそのままマウス
入力

Aさん
MIDI
キーボード

音符と歌詞Bさん

チで歌えるわけではないし、歌詞によって音量にもばらつきがあ調整すれば、歌い方に自分る。この結果、同じパラメータを与えても合成結果が変わってしなりの表情を付けたり、よまう（図3）。これは、初音ミクと鏡音リン・レンを切り替えた時に、り人間らしい声で歌わせたパラメータを再調整しなければならない原因でもある。

りもできる
（図1）
。

もう一つの原因は、自然な歌声を合成するために、VOCALOIDが合成するためには必要な処理だが、歌を真似させたい場合には、VOCALOID Editor

細かなパラメータ調整と、そこでVocaListenerは、実際に合成してみて、それが元の歌声実際に合成して聴いてみを本当に真似できているかを比較して確かめる。真似できていなるという作業を何度も繰りければ、パラメータを調整し直し、もう一度合成して比較する（図『想いも一緒に』歌声

歌声と歌詞から楽譜を自動的に入力もお返さなければならない。し4）。このような処理を繰り返すことで、楽譜や歌詞が変わったり、かも、時間をかけてようや歌手を切り替えたりしても、歌を真似ることができる。

く調整し終わった初音ミク
用のパラメータは、例えば図3

鏡音リン等の別の歌手では音ミクとした場合と鏡音リンとした場合の合成結果の違い。特に音ニュアンスが微妙に変わっ量にばらつきがあることが分かる。

い「ここが間違っている！」とダメ出し
もい
VocaListener
は新しい候補を提案

全く同じ楽譜、歌詞、コントロールパラメータで、歌手を初てしまい、パラメータの再初音ミク調整が必要となる。
こ の よ う な 問 題 は、VOCALOID を実際に使っにしょDTMmagazine 8 2008

自動的に音を滑らかに繋ぐことにある。これは、滑らかな歌声をパラメータの調整結果が思いどおりにならない場合がある。

候補を選びなおしてくれる。この例では、歌詞の中で『想い』の「も」72

なぎ合わせて合成しているということがある。人は正確無比なピッコントロールパラメータをミク"を作り出すためには、が間違っていた（長くなってしまっていた）

おはVOCALOIDは人間が歌った声を"サンプリング"して、それをつコントロールパラメータていた場合、 ダメ出し をすると VocaListener は自動的に新しいも鏡音リン・レンの声で歌わせることができる。さらにも大変で "自分なりの初音図 2 歌詞の自動入力で、二つの繋がった音符の境界位置が間違っいれではうまくいかない。それには二つの原因があって、一つ目にた人ならば 経 験したことがあるだろう。そしてこう思ったことがないだろう
か、「歌を作っているのだから、歌ってニュアンスを伝えたい 」と。以 下では、そのような望みを叶える技
術 VocaListener [1] を 紹介する。

音高（ピッチ）VocaListenerいパラメータにしてしまえば良いのでは、と思える。しかし、実はこ音符と歌詞を、初音ミクや69
68
67
66
65
64
63
62

歌詞鏡音リン
き音符とた

ちどまる音量Cさんもはこれで、入力した通りのしかし、この作業はとて歌って入力業で微調整する。

時間

「音楽情報科学研究会」へ参加してみませんか ?

中野 倫靖

後藤 真孝

情報処理学会 音楽情報科学研究会（SIGMUS）は、コン（なかの ともやす）（ごとう まさたか）

2008 年筑波大学大学院図書館情報メディア研究1998 年早稲田大学大学院理工学研究科博士後期科博士後期課程修了。博士（情報学）。現在、産課程修了。博士（工学）。現在、産業技術総合研

業技術総合研究所特別研究員。口
（くち）
ドラム

究所主任研究員。計算機によって実世界の音楽・認識や歌唱力評価等、歌声情報処理に関する研音声コンテンツを自在に扱える技術の確立を目究に取り組んでいる。歌声を用いた表現や歌声指し、音楽・音声の音響信号の自動理解と、そに関する人間の理解を解明し、その応用システれに基づくユーザインタフェースの研究を中心ムを計算機上に実現することを目指している。に、様々な研究課題に取り組んでいる。

3. でも、思いどおりに歌えない歌を真似させることでニュアンスを細かく伝えられるのは分ピュータと音楽とが関わり合うあらゆる場面を活動対象とする学際的研究会で、年 5 回の研究発表会を開催しています。
研究会に会員登録すると、参加できなかった研究発表会の論文集の郵送、過去の全研究発表会の論文のダウンロードなどの特典があります。研究会の登録方法や研究発表会の開催に関する最新情報などは http://www.ipsj.or.jp/sigmus/ をご覧ください。

4. VocaListenerから始まる
新しい音楽の作り方、楽しみ方

かったけれど、それでは歌がうまい人しか使えないのではないか。

作曲や演奏を自分で経験してみることは、音楽のより深い理解

それに、音が高くて歌えない場合はどうするのか。そのような場につながり、素晴らしい音楽を聴いた時の感動を大きくする。こ合のために、VocaListenerはへたな歌をうまくしたり、声の高さ

れは、単にBGMとして音楽を聴くだけでなく、その細部に凝らさを変えたり、歌い方を変えたりするための機能も備えている（図5）。

れた技巧や、曲の意味、曲を引き立てる歌い方に意識を向け、理解できるようになった結果だろう。

「音高変更機能」

VOCALOID や VocaListenerを通じて、普段音楽を作ろうとは思っていなかった人でも手軽にボーカルパートを作ることができへたな歌をうまく変換するために特に重要なのは「音程のずれをれば、新しい音楽の作り方や楽しみ方を生み出せるのではないだ

直す」
ことだろう。そのようなずれた音は、音高変更機能を使うころうか。例えば、一から作曲するのは難しくても、「ここはこう変とで修正できる。音高変更機能では、音高の変化が半音単位となえたい」というアレンジ案を出すことは、比較的簡単だろう。また、るように音高をずらす「調子はずれ補正」と、部分的もしくは歌唱

歌は楽器と違って特別な道具を必要としない。うまく歌うのは必全体の音高をずらす「音高トランスポーズ」がある。これらの機能ずしも簡単ではないが、歌うこと自体には特別な訓練は必要ない。

により、音程のずれを補正したり、男性が歌った歌唱を女性の声つまり、VocaListener を使うことで、音楽を聴くだけだった人も域に変更したりできる。

より積極的に音楽制作に関わっていける可能性があると考えている。作曲が出来る人、歌がうまい人、音楽を聴くだけだった人、様々「歌唱スタイル変更機能」

な人が関わりあって新しい音楽を生み出し、そして楽しめる未来。
我々はそんな場面を支援したい。そのために、VocaListener とい

VocaListener では、声の高さと声の大きさを変更する歌唱ス
タイル変更機能を備えている。この機能では、ビブラート（音高と音量の周期的な変動）を自動的に検出し、ビブラートとそれ以外を分けて個別に歌唱スタイルを変更できる。この機能を使うことで、歌い方を誇張したり、のっぺりとした歌い方にしたりできる。

う技術を何らかの形で世の中に出して、多くの人達に使ってもらえるよう検討を進めている。

5. 研究としての VocaListener
これまで、VocaListener を VOCALOIDのパラメータ調整支援

自分で歌ってそれをミクやリン・レンの声で客観的に聴くことは、システムという側面から紹介してきた。しかし、我々は元々「歌声実は効果的な歌唱トレーニングにもなっている。いい歌を作ろう

情報処理」
として以前から歌声に関する様々な研究を展開していとしていたら、自分も歌がうまくなっていた。こんな嬉しい副作用て、VocaListener はその一つの成果に位置付けられる。そこでは、によって、補正機能なしでも魅力的な歌声が作れるようになるか

VocaListener は歌声を自在に加工・出力するための研究用ツールもしれない。今後は、そうした「歌を作りながら歌がうまくなる」
支でもあり、今後は歌声知覚の研究にも役立てる等、様々な観点か援機能も研究していきたい。

ら歌声の秘密を探っていく予定である。

図4

歌を真似るために、VocaListener は実際に合成して元の歌声と比図5

音高変更機能の「調子はずれ補正」と歌唱スタイル変更機能を利用

較してパラメータを調整し直し、元の歌声に近付ける。ここでは音高をした結果の音高と音量。歌唱スタイル変更機能では、ビブラート区間を例に挙げているが、音量も同じようにして比較を繰り返す。

強調し、それ以外の区間を抑制している。

合成音

ビブラート以外の区間
抑制

元の歌

音高調整
１回

音高調整
２回

時間

パラメータ調整回数

音高（ピッチ）

パラメータ初期値（PIT=0, PBS=1）

69
68
67
66
65
64
63

ビブラート区間強調

調子はずれ補正

音量

音高調整
なし

変更前

変更後

時間

参考文献：[1] 中野倫靖, 後藤真孝. VocaListener: ユーザ歌唱を真似る歌声合成パラメータを自動推定するシステムの提案. 情報処理学会 音楽情報科学研究会 研究報告2008-MUS-75. vol.2008, no.50, pp.49-56, 2008.

DTMmagazine 8 200873