音楽情報処理最前線 !

未来の音楽の楽しみ方、作り方はどう変わるのか ?
コンピュータは音楽を理解できるようになるのか ?
コンピュータを使って音楽を研究する「音楽情報処理」という研究分野が、世界的に注目を集めています。
本連載では、そうした最先端の研究事例を紹介していきます。

あなたの話声を歌声に変換する歌声合成システムSingBySpeaking
言葉を話すのと同じくらい簡単に色々な歌声を出してみたい。
でも、歌を歌うのは上手ではないし、ボイストレーニングを受けるのも大変だし…。
今回はそういった問題を解決する技術、「SingBySpeaking」
を紹介します。

1. 言葉を話すだけで歌声を合成したい（注1）①話声の高さF0（エフゼロ）②時間長「歌を歌うのは大好きだけど、自分の思い通りに歌うのは難し③音色

い」
こんな悩みを持つ人は少なくないだろう。
「言葉を話すようにの3つの情報を、それぞれに対応する3つの変換処理部で変換し、簡単に歌声を出してみたい！」と思った人はいないだろうか？ 歌歌声を合成する。この変換処理が歌声特有の特徴を付与すること声（うたごえ）も、話声（はなしごえ）も、人間の声に他ならないのに相当する。具体的には、まず本連載の 2008 年 9月号でも紹介だから、このような希望を抱いてもおかしくはない。

された音声分析変換合成法「STRAIGHT」
を用いて、歌詞の朗読音

もしも、歌詞を朗読するだけで自動で歌声に変換してくれる声を声の高さに対応する「F0 情報」と、音色に対応する「スペクトような技術があれば、上記の希望を少しでも満たしてくれるのル情報」に分解。次に、F0の変化情報を譜面のMIDIデータで変換。

では…。そこで登場するのが、今回紹介する歌声合成システム

話声の時間長や、音色を歌声のものへ変換。最後に、変換した各「SingBySpeaking」である。

情報を使って「STRAIGHT」
によって再合成することで、歌声を合成する。

2. 話すだけで自分の声で歌ってくれる「SingBySpeaking」

以下では、各変換処理部の概要を紹介する。
① 声の高さを変換する（正確すぎる変化は人間らしくならない！）

歌声は、話声と同じ人間の声ではあるものの、実はその音響的歌声は、その高さの変化（F0 変化）が楽曲のメロディに対応しな構造はかなり異なっていて、いろいろな「歌声特有の特徴」が存ている点で話声とは大きく異なる。しかも、実際の歌声の F0 変在する。
「SingBySpeaking」
は、歌詞を朗読した音声にこの「歌声化は、MIDIデータのような階段状の矩形的な変化をするのではな特有の特徴」を付与することで、歌声へ変換することができる。

く、図 2に示すように、以下の 4 種の変動が含まれた複雑で滑らかな変化をしている。

図1のように歌詞の朗読音声と、それに対応したメロディの譜面（MIDIデータ）を入力し、○オーバーシュート：滑らかな音高変化、及び変化直後に目標音高を越える瞬時的な変動○ヴィブラート：同一音高区間での準周期的

図 1 SingBySpeaking の処理の流れ
自分が発話した歌詞の朗読音声と、メロディの MIDI データから歌声を合成する。声の高さ（F0）、時間長、音色に対し歌声特有の特徴を付与する処理を段階的に施すことで、歌詞の朗読音声が歌声へと変換される。各変換処理部では、図 2 以降で示す歌声特有の音響特徴が付与される。歌詞の朗読音声の分析と、歌声を合成する処理において「STRAIGHT」を使用している。
譜面情報(MIDI)

メロディ遷移の概形（階段状）
声の高さ

STRAIGHT(分析)

時間

F0変化

周波数

時間長変換処理部
音色変換処理部

時間

振幅

話声のスペクトル(母音区間)

歌声のスペクトル情報

則で細かい変動

図2
声の高さ
（F0）
変化中の 4 種の変動成分の一例

歌声のF0変化

声の高さ（F0）
変換処理部

歌声のF0変化

声の高さ

歌声のスペクトログラム

スペクトル情報○微細変動：発声区間全体で観測される不規時間

4種の変動成分を付与●オーバーシュート●ヴィブラート●プレパレーション●微細変動○各音韻を子音部+結合部+母音部の３区間の３区間に分割○３区間長の総和が音符長となるように時間伸長○プレパレーション：音高変化直前に、変化とは逆方向に振れる瞬時的な変動

オーバーシュート
時間

振幅変調付与前の波形

周波数

3kHz

STRAIGHT(合成)

歌声のスペクトル

振幅変調付与後の波形

振幅

歌声合成音
周波数

74

音声波形に対してF0変化中のヴィブラートに同期した振幅変調を付与

3kHz

DTMmagazine 11 2008

ヴィブラート

5300
5200
5100

声の高さ（F0）変化

5000
4900

3 kHz付近のスペクトルピークを強調することで強調することで歌手のホルマン
トを付与

微細変動

5400

声の高さ [cent]

話声(歌詞の朗読音声)

周波数

話声のスペクトログラムな変動

4800

プレパレーション
200

400

600

800

1000

1200

1400

時間 [ms]ヴィブラートはプロの歌唱者に多い特徴だが、それ以外は歌唱技術に関係なく歌声共通に観測される。
「SingBySpeaking」
では、MIDI データによるメロディ遷移の概形（階段状の変化）に対して、4 種の F0 の変動を付与することで歌声の F0 変化を生成している。

「音楽情報科学研究会」へ参加してみませんか ?

齋藤 毅

後藤 真孝

情報処理学会 音楽情報科学研究会（SIGMUS）
は、コンピュータ（さいとう たけし）

（ごとう まさたか）

2006 年北陸先端科学技術大学院大学博士後期課

1998 年早稲田大学大学院理工学研究科博士後期課程修了。博士（情報科学）。ATR 認知情報科学研究所を経て、現在、産業技術総合研究所特別研究員。

程修了。博士（工学）。現在、産業技術総合研究所主任研究員。計算機によって実世界の音楽・音声すると、参加できなかった研究発表会の論文集の郵送、過去の全歌声知覚及び歌声合成、音声中の個人性知覚に関コンテンツを自在に扱える技術の確立を目指し、音の登録方法や研究発表会の開催に関する最新情報などは http://と音楽とが関わり合うあらゆる場面を活動対象とする学際的研究する研究に従事。
「人間が如何にして歌声を発声し、楽・音声の音響信号の自動理解と、それに基づく聴いているのか？」という問題に対して、情報科学、心理学、生理学の多角的立場から取り組んでいる。

ユーザインタフェースの研究を中心に、様々な研究課題に取り組んでいる。

読者の中には「ヴィブラートは歌声を表情豊かにしてくれるが、それ以外の変動は却って邪魔になるのでは？」と考える人がいる

会で、年 5 回の研究発表会を開催しています。研究会に会員登録
研究発表会の論文のダウンロードなどの特典があります。研究会
www.ipsj.or.jp/sigmus/ をご覧ください。

3.「SingBySpeaking」
がもたらすものかもしれない。確かにヴィブラートは重要だが、それだけでは不「SingBySpeaking」
は、話声を驚くほど自然で人間らしい歌声十分である。実際、その他の３種の変動は、歌唱技術や歌唱スタに変換してくれ、「言葉を話すように簡単に歌声を出してみたい」

イルに関係なく生み出される「歌声共通の成分」であることが、さという希望を叶えてくれる。しかし、この研究がもたらすものはまざまな研究でわかってきた。
つまり、これらの変動の存在こそが、これだけでは無い。歌声特有のさまざまな音響特徴を段階的に付自然で「人間らしい歌声」
としての条件と言え、歌声合成において与していきながら歌声を合成して聴くことで、自分の話声が歌声も重要な役割を担っているのだ。に徐々に変化していくのを、直感的に理解できる。つまりは、歌「SingBySpeaking」
では、この 4 種の変動に着目し、MIDI デー声を合成し、更には歌声の仕組みを理解できる歌声合成システム

タとして入力されるメロディ遷移の概形に対して各変動を付与すともいえるのだ。
「SingBySpeaking」
で合成した音声のサンプルることで、歌声のF0 変化を自動生成する。

は、http://staff.aist.go.jp/saitou-t/singbyspeaking.html 上で楽しむことができるので、是非とも聴いて確認してみて頂きたい。

② 声の時間長を変換する（子音・結合部・母音に分割！）
歌詞を朗読した場合と比べ、歌声中の個々の音韻長は大きく異6000なることになる。日本語の歌声の場合、一つの音韻（ひらがな1い。つまり、歌声中の個々の音韻の長さ（音韻長）
は、楽曲のテン

図 3 時間長の変換処理

話声

歌詞の朗読音声中の一つの音韻のサウンドスペク
トログラムを示しており、子音部、結合部、母音4000

周波数 [Hz]文字で表記できる音声）に一つの音符が割り当てられることが多子音─母音境界部の各区間を独立に時間伸長できる。結合部の長さは 40ms で固定しており、母音部を最も長く伸長2000

ポが与えられると、自動的に決定される。
そこで「SingBySpeaking」
では、図 3 に示すように、音韻一つ0を子音部＋結合部＋母音部の 3 区間に分割し、個々の区間を個別

2040

子音部60している。その際、音声波形を直接伸長するのではなく、スペクトルの時間系列を伸長していること

80 100 120

結合部

見すると音韻全体を一様に伸長すれば良いのでは？と思うかもしれない。しかし、子音部や結合部をむやみに伸長すると人間の声周波数 [Hz]た長さとなるように伸長している。これは面倒な処理なので、一歌声

6000

部は 40ms に固定して、母音部は音符長からこれら2 区間を引いに注意してもらいたい。

時間伸長

母音部に時間伸長する。具体的には、子音部はごく僅かに伸長し、結合4000

20000として不自然になってしまう。つまり、声の自然性を保持した状態で、歌声の長さを自在に変換するためにこのような処理が必要

50

子音部

100150
時間 [ms]結合部

200250

母音部になると言える。
80③ 声の音色を変換する（歌声には話声にはない「響き」がある！）
F0 と同様に、スペクトルにも歌声特有の特 徴が 観 測され（注 2）数帯域にエネルギーが集中している部分）」である。これは、

50
40
3020

スペクトルの 2.4 〜 3.2 kHz 付近に存在する顕著なピーク成分で、10

主に男性オペラ歌唱で（一部の邦楽歌唱においても）観測される。

0

うまい歌唱にはこの特徴があることが多く、「歌声特有の響き」
を−10

テノール歌手 (歌声)テノール歌手 (話声)民謡歌手 (歌声)01000

2000におけるスペクトルに対して、3 kHz 付近のピークを強調するこ×107の音色を、より歌声らしく変化させることができる。

6

ブラートに同期した振幅変調である。図5を見ると、F0変化にお周波数 [Hz]とで、歌手のホルマントを付与している。これにより、自分の声二つ目の特徴は、音声振幅（声の大きさ）及びホルマントの、ヴィけるヴィブラートに同期して、音声波形全体とホルマントが変動し

注 1：音響信号処理分野では、声の高さを基本周波数と呼び、更にこれを F0 と表記することが多い。
注 2：singer's formant や singing formant と呼ばれることも多い。

5000

6000×102

声の高さ（F0）の変化
声の大きさのエンベロープ

241
ヴィブラートに同期した振幅変調

3周波数 [Hz]図5

ヴィブラートに同期した声の大きさ及びホルマントの振幅変調成分

35×10

3406

ヴィブラートに同期させて声の大きさの変化に振幅変調を付与することで、この特徴を表現している。これにより、単にヴィブラー

4000

3ていることが分かる。ここでは、F0変化を生成する際に付与したトを付与した時より、はるかに表情豊かな歌声に変換される。

3000
周波数 [Hz]

与えることも明らかとなっている。ここでは、話声中の母音区間

振幅(dB)

一つ目の特徴は、図 4に示した「歌手のホルマント（特定の周波テノール歌手の歌声と話声を比較すると、2.5kHz付近において歌声の方が大きなピークを持っていることが分かる。また、民謡歌唱のおいても、4kHz 付近に同様にピークがある。いずれも「歌手のホルマント」
であり、歌声の音色に大きな変化をもたらす。

60

振幅 [dB]「SingBySpeaking」
では2 種類の特徴を話声に付与している。

図 4 「歌手のホルマント」の一例

歌手のホルマント70

プロのソプラノ歌手が発声した母音／a／の声の大きさの変化と高さ（F0）変化（上図）、及びサウンドスペクトログラム（下図）。F0 変化中のヴィブラートに同期して、声の大きさとホルマント（サウンドスペクトログラム中の色が濃い帯状の箇所）が振幅方向に変調されていることが分かる。

30200

400

600

800

1000 1200 1400

時間 [ms]DTMmagazine 11 200875