音楽情報処理最前線 !

未来の音楽の楽しみ方、作り方はどう変わるのか ?
コンピュータは音楽を理解できるようになるのか ?
コンピュータを使って音楽を研究する「音楽情報処理」という研究分野が、世界的に注目を集めています。
本連載では、そうした最先端の研究事例を紹介していきます。

「歌声」と「話声」
はどう違うか？ 人間の“声”を理解するコンピュータの実現を目指して
人の声には色々な形がある。言葉を伝えたり、笑ったり、泣いたり、歌ったり。
そんな声の違いを聞き分けるコンピュータがあれば、人と同じようにコミュニケーションできるかもしれない。
ここでは、その中でも歌声と話声に注目して、その違いを聞き分けるシステムを紹介する。

1.「歌声」とは何かでは、この「メロディ」
や「響き成分」を無くしたら、人間は正しく歌声と答えられるだろうか？

歌声と話声は人間の声という意味では全く同じである。しかし、これを調べるために、実際に韻律（声の大きさや声の高さの変声を少し聞けば、相手が歌っているのか話しているのかはすぐに化やリズム）を崩した声を作成してみた。具体的には、1秒の声を分かる。では、人間は声の中のどういった特徴を手がかりに、歌8 等分し、これらをランダムな順番でつなぎ合わせたものだ。

声と話声を聞き分けているのだろうか？

一方で、音色を崩した声も作成した。こちらは中高域の周波このような疑問から、まず人間の歌声と話声の聞き分け能力を調べてみた。

数成分をローパスフィルタで取り除いた音声ファイルだ（ただし、フィルタのカットオフ周波数を800Hzに設定して、声の高さの変最初に音声ファイルを用意した。これは、さまざまなジャンルの曲(日本語および英語)を、さまざまな歌唱力の男女100人に歌ってもらい、またその歌詞を読み上げてもらったものだ。

化は聞こえる）。
これらの声を、先ほどと同じ10 人に聴いてもらい、その声が「歌声」なのか「話声」なのか二択で選んでもらった。

この音声ファイルを短く切り出して10 人の被験者に聴いても図 2を見ていただきたい。歌声の識別率が大きく下がっている

らい、その声が「歌声」
なのか「話声」
なのか二択で選んでもらった。のが分かるだろう。やはりメロディや響き成分を崩した歌声を聴結果が 図1である。図を見れば分かるとおり、人間は0.5 秒でも90％、1秒程度聴けば歌声なのか話声なのか、100% 識別できるようだ。

いたとき、人間は正しく歌声と答えられない。
図を使って、その原因を考えてみよう。図 3は、韻律を崩した歌声と話声から、声の高さを取り出したものだ。

1秒程度で被験者10 人全員が正しく聞き分けられるということ歌声の特徴であるメロディ（階段状に変化する音程）が崩れてしは、声の中に含まれる「歌声らしさ」
もしくは「話声らしさ」
は、音まい、話声の声の高さの変化と、ほとんど見分けがつかなくなる

楽のジャンルや歌唱力、歌詞の言語などにはほとんど依存していのが分かるだろう。

ないということになる。

図 4は音色。破線で囲った響き成分が取り除かれると、歌声のそこで今度は1秒の声の中の、どういった音響的な特徴を聞き分けの手がかりとしているのか調べてみることにした。

スペクトログラムは話声のスペクトログラムとほとんど見分けがつかないのが分かる。
予想どおり人間は歌声と話声を聞き分けるために、韻律と音色100の特徴をどちらも重要な手がかりとしており、また図 2 の識別率の下がり具合から考えて、韻律がより重要だと考えられる。

90

一 連 の 聞 き 取 り テ ス ト を http://www.sp.m.is.nagoya-u.

識別率﹇%﹈

ac.jp/~ohishi/listening_test.html 上で体験できるので、是非とも80聴いて確認してみて頂きたい。
70
話声の識別率歌声の識別率
両者を平均した識別率

60
50

話声の識別率歌声の識別率

100
00.5

1.02.0

図 1 さまざまな長さの歌声と話声を人間が聴いて判断する場合の識別率：歌声の識別率は歌声を聴いたとき歌声と正答した割合、話声の識別率は話声を聴いたとき話声と正答した割合、さらに両者を平均した識別率を示す。

2.「話声」との違いは？
「声」に含まれる特徴として、最も重要なのは声の高さと音色だ。
「歌声」
について考えてみると、声の高さの変化は「メロディ」を表すものであるから、聞き分けには特に重要だと考えられる。
また「歌声」の音色には「歌手のホルマント」と呼ばれる特徴的な周波数の「響き成分」(本連載の 2008 年11月号で紹介 ) が含まれていることも分かっている。

108 DTMmagazine 3 2009

識別率﹇%﹈

声の長さ［秒］

1.5

90
80
7060

元々の声

音色を崩した声

韻律を崩した声

図 2 韻律や音色の特徴を崩した声を人間が聴いて判断する場合の識
別率：特徴を崩した歌声の識別率が話声に比べて大きく下がった。

「音楽情報科学研究会」へ参加してみませんか ?

大石康智

後藤真孝

武田一哉

情報 処 理学 会 音楽 情報 科 学 研究会（SIGMUS）は、コン（おおいしやすのり）（ごとうまさたか）（たけだかずや）

2006 年名古屋大学大学院情報科学研究科

1998 年早稲田大学大学院理工学研究科博1985 年名古屋大学大学院工学研究科修士修士課程修了。現在、同大学院情報科学研士後期課程修了。博士（工学）。現在、産業課程修了。博士（工学）。現在、名古屋大学研究会に会員登録すると、参加できなかった研究発表会の論究科博士課程に在籍。歌声の音程、音色、技術総合研究所主任研究員。計算機によっ

大学院情報科学研究科教授。音声による文集の郵送、過去の全研究発表会の論文のダウンロードなど

ピュータと音楽とが関わり合うあらゆる場面を活動対象とする学際的研究会で、年 5 回の研究発表会を開催しています。

音量に含まれる歌い手の個性を分析し、そて実世界の音楽・音声コンテンツを自在に対話、歌唱、自動車運転など、人間行動のれをモデリングする研究に取り組んでい扱える技術の確立を目指し、音楽・音声の原理と多様性を、信号処理手法により解明る。個性を活かした歌声の合成や個性に基音響信号の自動理解と、それに基づくユーする研究に取り組んでいる他、利用者が好関する最新情報などは http://www.ipsj.or.jp/sigmus/ をご覧

づく楽曲検索といった新しい歌声システム

ザインタフェースの研究を中心に、様々なきな聴取位置を選択できる、自由聴点オーください。の開発を目指している。

研究課題に取り組んでいる。

ディオ技術の開発も進めている。

歌声﹈
声の高さ﹇ cent6400

一方、話声は声の高さが文末に向かって徐々に下降するため、韻律を崩した歌声

F0 変動情報は「負の値」となることが多い。
したがって、F0 変動情報が 0に近い値であれば「歌声である確6000率」が高く、負の値であれば「話声である確率」が高いということ5600
5200を学習する。新たに未知の声がシステムに入力されたとき、事前
0

0.5

時間［秒］

1.00

話声﹈
声の高さ﹇ cent

4000

0.5

時間［秒］

1.0に学習したこのような確率に基づいて、歌声なのか話声なのか識別結果を決定するのである。

韻律を崩した話声

システムの詳細については、文献[1]を参照していただきたい。

3600

4.あらゆる声を聞き分けさせたい

3200
2800の特典があります。研究会の登録方法や研究発表会の開催に

00.5

時間［秒］

1.0

00.5

時間［秒］

1.0

図 3 韻律を崩した歌声と話声の声の高さ：階段状に変化する歌声のメロディと話声の右下がりな韻律が崩れてしまい、どちらも声の高さが飛び飛びに変化する。

こうして作ったシステムでの識別結果を図 5に示す。今回のシステムでは、人間が 100％識別できた1秒の音声で識別率＝約80％、声の長さが長くなるにつれて、識別率はだんだん上がっていくものの、人間の聞き分け能力には追い付けなかった。
しかし、声の中には、まだこのシステムで扱っていない情報が含まれており、これらを活用することで認識率をさらにアップす

歌声4000ることが可能だと考えられる。

音色を崩した歌声﹈
周波数﹇ Hz

例えば歌声のリズム感もその一つだ。今回の実験では、ラップ

3000やヒップホップの曲を歌った歌声が「話声」と識別されてしまうこ2000とがあったが、これらは「リズム」や「声の大きさ」の情報を識別の10000手がかりに利用することで解決できるだろう。
00.5

時間［秒］

1.00

話声

4000

0.5

時間［秒］

1.0

また
「えーと…」
とか「あー」のような、言い淀む話声が「歌声」と誤って識別されてしまっていた。このような歌声と話声の中間的音色を崩した話声な声を分析することも重要な課題である。

周波数
﹇ Hz﹈

3000

さて、今回は歌声と話声に注目したが、人間の口から発声され2000る声には、他にも笑い声や泣き声、囁き声やため息など色々な形

1000

態がある。今後はこのようなさまざまな声の聞き分けに関しても

00

0.5

時間［秒］

1.000.5

時間［秒］

1.0

図 4 音色を崩した歌声と話声のスペクトログラム：歌声の「響き成分」
が取り除かれて、話声のスペクトログラムと見分けがつかなくなってしまう。

研究してみたい。
寂しそうな声だったら、元気づける会話をしてくれたり、楽しそうな声であったら、一緒に笑いあえるような、人の気持ちのわかるコンピュータを実現させたいと考えている。
100

3.コンピュータに聞き分けさせる

まず声を周波数分析して、声の高さ（F0 情報 *）と音色（スペクトル情報）を取り出す。
次に、これらがある時間にどれだけ変化したかを分析して、韻律を表す「F0 変動情報」と「スペクトル変動情報」を取り出す。
例えば図 3に示す矢印の傾きは「F0 変動情報」を表している（ここでは声の高さではなく、声の高さの変化を取り出す必要があることに着目してほしい）。
あとは、このような声の情報を、人間の聞き分け能力を調べたときに使った大量の歌声と話声から取り出して、歌声と話声でどのように声の情報が異なるのか、「確率」を使って事前に学習しておく。例えば、図 3に示すように、歌声は音を一定に伸ばすことが多いため、F0 変動情報
（矢印の傾き）が「0に近い値」となることが多い。

識別率﹇%﹈

今回分かったことを活かして、歌声と話声を聞き分けるシステムを作り上げたので、以下にその作成手順を説明しよう。

9080706050

システムの識別性能
人間の聞き分け能力

00.5

1.0

声の長さ
［秒］

1.52.0

図 5 さまざまな長さで切り出した声に対するシステムの自動識別結
果：システムは 2 秒の歌声と話声を 87.3% 識別できた。しかし、人間の聞き分け能力と比較するとシステムの識別性能はまだまだ低い。
※ 音響信号処理分野では、声の高さを基本周波数と呼び、更にこれを F0 と表記することが多い。
参考文献[1] 大石康智 , 後藤真孝 , 伊藤克亘 , 武田一哉．スペクトル包絡と基本周波数の時間変化を利用した歌声と朗読音声の識別．情報処理学会論文誌 , vol.47，no.6，pp.1822-1830，2006．

DTMmagazine 3 2009109