情報処理学会研究報告
IPSJ SIG Technical Report

歌声情報処理の誕生と発展後藤 真孝1,a)

概要：本招待講演では，「歌声情報処理」(singing information processing) と我々が 2008 年に名付けた研究分野が，どのように誕生してどう発展していったのかを，特に黎明期に焦点を当てながら紹介する．歌声情報
処理は，歌声を対象とした音楽情報処理であり，歌声固有の特徴に関する基礎研究から，歌声合成，歌詞認識，歌手同定，歌声検索，歌声評価等の応用研究まで多岐に渡る．2008 年 10 月に日本音響学会誌に掲載された解説「歌声情報処理の最近の研究」が同分野名を冠した最初期の文献であるが，その後，情報処理学会
音楽情報科学研究会においても，2010 年 7 月にスペシャルセッション「歌声情報処理最前線！」，2012 年 2
月に「歌声情報処理最前線!!」，2013 年 9 月に「歌声情報処理最前線!!!」が開催され，研究者だけでなく一般の方々からも注目を集め，それぞれメディア報道もされた．国際的にも，2010 年 3 月の IEEE ICASSP 2010
での招待講演「Singing Information Processing Based on Singing Voice Modeling」や，2014 年 10 月の IEEEICSP 2014 での招待講演「Singing Information Processing」，2022 年 7 月の IEEE/ACM Transactions on Audio,Speech, and Language Processing に掲載された「Deep Learning Approaches in Topics of Singing Information
Processing」で，同分野が推進・紹介されてきた．2019 年 1 月の IEEE Signal Processing Magazine に掲載された「An Introduction to Signal Processing for Singing-Voice Analysis」の中でも，同分野名が言及されながら，その発展が紹介されている．このように国内外で認知度が高まった「歌声情報処理」は，今後もより多くの人達の興味を集め，ますます発展していくことを期待したい．

1. 歌声情報処理とは「歌声情報処理」は，歌声を対象とした音楽情報処理である．情報処理学会 音楽情報科学研究会 (SIGMUS) の第138 回研究発表会では，「歌声情報処理最前線 2023」と「歌声情報処理の過去・現在・未来」の特別企画が開催されるが，本招待講演は，後者の特別企画で「歌声情報処理の過去」に位置づけられる．そこで，「歌声情報処理」(singinginformation processing) と我々が 2008 年に名付けた研究分野が，どのように誕生してどう発展していったのかを，特に黎明期に焦点を当てながら紹介する．
「歌声情報処理」の分野名を冠した最初期の文献は，2008
年 10 月に日本音響学会誌に掲載された我々の解説「歌声情報処理の最近の研究」[1] である．その中で，近年，音楽情報処理分野の発展と共に，歌声に関する研究活動が世界的に活発に取り組まれ，学術的な観点からだけでなく，産業応用的な観点からも注目を集めている．そうした歌声に関する研究は，歌声固有の特徴に関する基礎研究から，歌声合成，歌詞認識，歌手同定，歌声検索，歌声評価等の応用研究まで多岐に渡
1a)

産業技術総合研究所
National Institute of Advanced Industrial Science and Technology(AIST)
m.goto@aist.go.jp

c 2023 Information Processing Society of Japan⃝る．そこで本解説では，そうした歌声に関する幅広い研究を「歌声情報処理」と名付け，具体的な研究事例をできるだけ多く挙げて紹介する．
（文献 [1] の抜粋）のように「歌声情報処理」を名付けた [2]．そして，歌声は，音声と音楽の両方の側面を持つが，いずれの分野の観点からも未解決の研究課題は多い．例えば，歌声は通常の音声よりもはるかに変動が大きく，また，歌声と相互に関連し合う伴奏音も大きな音量で含まれているため，その自動認識は，技術的に最も難しいクラスの音声認識問題であると言える．実際，歌
声の歌詞の自動認識は，まだほとんど実現できていない．音楽の認識・理解の観点からも，従来主に研究されてきた楽器音に比べ，歌声の変動の大きさは並外れており，技術的に難しくかつ興味深い課題が多い．歌
声の合成に関しても，話声のように言語として内容が伝わる必要があることに加え，声の高さや強さの動的で複雑な変化や歌声としての表現力が求められ，まだまだ研究途上で課題も多い．このように歌声情報処理の研究は，学術的にもまさにフロンティアである．
（文献 [1] の抜粋）のように，歌声情報処理の研究分野としての魅力を論じた．この 15 年前の状況に対し，その後，大きく研究が進展した．

1

情報処理学会研究報告
IPSJ SIG Technical Report

歌声情報処理は，上記の抜粋中でも指摘されているように，研究テーマの多様さにも魅力がある．文献 [1] の解説
では，• 歌う計算機 (歌声合成)• 歌詞を聴く計算機 (歌詞の認識，歌詞の同期)• 声色が分かる計算機 (歌手名の同定，歌声の類似度)• 歌声を検索する計算機 (ハミング検索，歌声検索，口ドラム検索)• 歌声を評価する計算機 (歌唱力の自動評価)のようなテーマが紹介されている．また，文献 [2] の中で，我々の歌声情報処理システムの研究事例を( 1 ) 歌声理解システム (歌声を聴いて理解するシステム)• LyricSynchronizer: 音楽と歌詞の時間的対応付けシステム• Singer ID: 歌手名同定システム• MiruSinger: 歌唱力向上支援システム• Hyperlinking Lyrics: 歌詞中に共通して登場するフレーズ間へのリンク作成システム• Breath Detection: ブレス音自動検出システム( 2 ) 歌声に基づく音楽情報検索システム• VocalFinder: 声質の類似度に基づく楽曲検索システム• Voice Drummer: 口（くち）ドラムによるドラム譜入力システム( 3 ) 歌声合成システム• SingBySpeaking: 歌詞の朗読音声を歌声に変換する歌声合成システム• VocaListener: ユーザの歌い方を真似ることが可能な歌声合成システムの三つのカテゴリに分類して紹介した．

2. 音楽情報科学研究会と歌声情報処理

図 1 情報処理学会誌「情報処理」2012 年 5 月号の表紙（特集「CGMの現在と未来: 初音ミク，ニコニコ動画，ピアプロの切り拓いた世界」[3–7]）

抜粋）のように，注目が集まり研究分野が大きく盛り上がっていた様子を紹介している．参考までに，上記の一連の文
献 [3–7] を含む特集「CGM の現在と未来: 初音ミク，ニコ

歌声情報処理，特にその一研究テーマである「歌声合成」

ニコ動画，ピアプロの切り拓いた世界」が掲載された情報に対して社会的関心が高まったきっかけは，2007 年 8 月 31

処理学会誌「情報処理」2012 年 5 月号は，その特集の中身日に発売された，歌声合成技術「VOCALOID2」[4] に基づと異例の表紙（図 1）によって話題となり，1960 年の学会

く歌声合成ソフトウェア「初音ミク」[5] である．これによ

設立以来，初めて学会誌冊子が売り切れた．そこで情報処り，「人間の歌声でなければ聴く価値がない」という旧来の理学会は特集のみの別刷冊子を発売したが，それも完売し価値観が打破され，「合成された歌声がメインボーカルのて，デジタル版が発売された．この別刷は，2013 年 7 月に楽曲を積極的に楽しむ文化」が世界で初めて日本に誕生し「第 44 回 星雲賞【ノンフィクション部門】」を受賞し，情た [3]．そして，権利の開放 [5] により「ニコニコ動画」[6]

報処理学会誌 2013 年 9 月の記事 [8] で「前代未聞の星雲賞上で N 次創作 [7] の連鎖反応が起きた．文献 [3] でも受賞」と紹介された．

情報処理研究者の立場からの研究開発も活発に取りそして当時，音楽情報科学研究会の研究発表会に，研究組まれている．音楽情報処理分野の部分領域である者ではない一般の方々も注目し，多数参加してくださるよ「歌声情報処理」は以前から研究開発が進んできたが，うになったきっかけが，第 75 回研究発表会で 2008 年 5 月

初音ミク現象以降，社会的な関心が高まり，さまざま

28 日 (水) に発表された「VocaListener: ユーザ歌唱を真似な大学や企業，研究機関，個人が参入してきている．

る歌声合成パラメータを自動推定するシステムの提案」[9]（中略） 歌声合成以外にもさまざまな歌声情報処理の論文である．この VocaListener（略称「ぼかりす」）によ技術の研究開発・実用化が進んでいる．（文献 [3] のる自然な歌声合成結果（2008 年 4 月 28 日に「ニコニコ動画」に投稿された動画「【初音ミク】 PROLOGUE 【ぼかc 2023 Information Processing Society of Japan⃝2

情報処理学会研究報告
IPSJ SIG Technical Report*1 ）は，当時多くの方々に衝撃を与えて話題となり，りす】」

がら，多くの研究者の参入を呼びかけた．また，2014 年

様々な報道もなされた．

10 月の IEEE ICSP 2014 での招待講演「Singing Information

そうした「歌声情報処理」に対する関心の高さと活発なProcessing」[11] でも紹介した．国際会議 ISMIR 2015 では，研究開発を背景に，情報処理学会 音楽情報科学研究会では「Why Singing is Interesting」と題したチュートリアル [12]•*2スペシャルセッション「歌声情報処理最前線！」*7 の中で，歌声情報処理を紹介した．

(2010 年 7 月 28 日開催，第 86 回研究発表会*3 )その後，国際的にも歌声情報処理の研究に対する関心が高*4スペシャルセッション「歌声情報処理最前線!!」

まっていき，2019 年 1 月の IEEE Signal Processing Magazine(2012 年 2 月 3 日開催，第 94 回研究発表会*5 )に掲載された解説論文「An Introduction to Signal Processing• スペシャルセッション「歌声情報処理最前線!!!」

for Singing-Voice Analysis」[13] の中でも，singing informa-(2013 年 9 月 1 日開催，第 100 回研究発表会*6 )tion processing の分野名が言及されながら，その発展が紹の三つのスペシャルセッションを企画し，開催した．この介されている．また，2022 年 7 月の IEEE/ACM Transac-

いずれも，研究者だけでなく一般の方々からも注目を集め，

tions on Audio, Speech, and Language Processing に掲載さそれぞれメディア報道もされた．当時の雰囲気が伝わるよれたサーベイ論文「Deep Learning Approaches in Topics ofうに，スペシャルセッション冒頭でそれぞれの企画趣旨をSinging Information Processing」[14] では，歌声情報処理の説明したスライドを，図 2，図 3，図 4 に示す．最初の二つ

様々な研究テーマに関して，深層学習を用いた研究事例がのスライドを含む関連情報が，上記のリンク先で公開され多数紹介されている．

•ている．そしてその後も，音楽情報科学研究会等の場で，歌声情報処理の多彩な研究成果が様々な研究者によって活4. おわりに発に発表され続けている．上記のように 2010 年，2012 年，このように国内外で認知度が高まった「歌声情報処理」

2013 年と開催されてきた「歌声情報処理最前線」が，冒頭は，今後もより多くの人達の興味を集め，ますます発展しで述べた特別企画「歌声情報処理最前線 2023」として 10ていくことが期待される．文献 [1] の最後で述べた年ぶりに開催されることはとても喜ばしい．

学際的な研究分野であるため，今回はそのすべての3. 歌声情報処理の国際的な広がり側面は紹介できなかったが，心理学，生理学，声楽等の歌声を取り巻く様々な知見も，信号処理，機械学習，こうした国内での歌声情報処理の盛り上がりを受け，国インタフェース等と合わせて考慮していくことが，今際的にも，2010 年 3 月の IEEE ICASSP 2010 での招待講後大切になると考えられる．

演「Singing Information Processing Based on Singing Voice

最初にも述べたように，歌声は，音声と音楽の両方Modeling」[10] で，「歌声情報処理」(singing informationの側面を持つ．現在，音声言語情報処理と音楽情報処processing) を新たな研究分野として理の研究分野は，お互いに影響を与えつつもまだ接点

In this paper, we propose a novel area of research re-は多くない．しかし，将来的には，音声と音楽を別々ferred to as singing information processing. To shape theに考えずに，それらの総合的な情報処理の実現を目指

concept of this area, we ﬁrst introduce singing understand-す「音情報処理」という分野を確立していきたいと我々

ing systems for synchronizing between vocal melody andは考えている．歌声情報処理の研究は，まさにそのた

corresponding lyrics, identifying the singer name, evalu-めの王道的アプローチの一つであり，成功の鍵を握っ

ating singing skills, creating hyperlinks between phrasesている．同分野が，より多くの人達の興味を集め，今in the lyrics of songs, and detecting breath sounds. We

後もさらに発展していくことを期待したい．
（文献 [1]then introduce music information retrieval systems basedの抜粋）

on similarity of vocal melody timbre and vocal percussion,の学際的な発展は，まだ道半ばではあるが，過去 15 年間

and singing synthesis systems. （文献 [10] の抜粋）

で着実に切り拓かれてきた．歌声情報処理でさらに新たなのように提唱し，その魅力と様々な研究成果を紹介しな研究テーマが生まれてくるのは間違いなく，10 年後が楽しみである．

*1
*2
*3
*4
*5
*6

https://www.nicovideo.jp/watch/sm3128145
https://staff.aist.go.jp/m.goto/IPSJ/
event20100728.htm
http://www.sigmus.jp//SIG/sig201007program.
html
https://staff.aist.go.jp/m.goto/IPSJ/
event20120203.htm
http://www.sigmus.jp/?page_id=872
http://www.sigmus.jp/?page_id=2151

c 2023 Information Processing Society of Japan
⃝

謝辞 「歌声情報処理」の研究開発に携わり同分野を発展させてきた研究者の皆さまと，同分野に興味を持ち，応援し，その研究成果を楽しんでいるすべての皆さまに感謝する．
*7

チュートリアルスライド: https://www.ismir2015.uma.
es/docs/ISMIR2015tutorial_Singing.pdf

3情報処理学会研究報告
IPSJ SIG Technical Report

図 2 情報処理学会 音楽情報科学研究会（夏シンポ 2010）イベント企画
スペシャルセッション「歌声情報処理最前線！」(2010 年 7 月 28 日 (水)) の冒頭スライド

参考文献
[1]

[2]

[3]

[4]

[5]
[6]

[7]

[8]

後藤真孝，齋藤 毅，中野倫靖，藤原弘将： 解説 “歌声情報処理の最近の研究”，日本音響学会誌， Vol. 64, No. 10,
pp. 616–623 (2008).
後藤真孝，齋藤 毅，中野倫靖，藤原弘将： 歌声情報処
理: 歌声を対象とした音楽情報処理，情処研報 音楽情報科学 2010-MUS-86-4，pp. 1–9 (2010).
後藤真孝： 初音ミク，ニコニコ動画，ピアプロが切り拓いた CGM 現象，情報処理 (情報処理学会誌)，Vol. 53, No. 5,
pp. 466–471 (2012).
剣持秀紀： 歌声合成の過去・現在・未来: 「使える」歌
声合成のためには，情報処理 (情報処理学会誌)， Vol. 53,
No. 5, pp. 472–476 (2012).
伊藤博之： 初音ミク as an interface，情報処理 (情報処理学会誌)， Vol. 53, No. 5, pp. 477–482 (2012).
戀塚昭彦： ニコニコ動画の創造性: 動画コミュニティサー
ビス「ニコニコ動画」の 5 年間，情報処理 (情報処理学会誌)，Vol. 53, No. 5, pp. 483–488 (2012).
濱野智史： ニコニコ動画はいかなる点で特異なのか: 「擬似同期」「Ｎ次創作」「Fluxonomy（フラクソノミー）」，
情報処理 (情報処理学会誌)， Vol. 53, No. 5, pp. 489–494(2012).
中島秀之： 情報処理 2012 年 5 月号別刷「《特集》CGM の現在と未来: 初音ミク，ニコニコ動画，ピアプロの切り拓いた世界」前代未聞の星雲賞受賞，情報処理 (情報処理学会誌)， Vol. 54, No. 9, pp. 992–993 (2013).

c 2023 Information Processing Society of Japan
⃝

[9]

[10]

[11]

[12]

[13]

[14]

中野倫靖，後藤真孝： VocaListener: ユーザ歌唱を真似る歌声合成パラメータを自動推定するシステムの提案，情処研報音楽情報科学 2008-MUS-75-9，pp. 49–56 (2008).
Goto, M., Saitou, T., Nakano, T. and Fujihara, H.: Singing
Information Processing Based on Singing Voice Modeling,
Proceedings of the 2010 IEEE International Conference onAcoustics, Speech, and Signal Processing (IEEE ICASSP2010), pp. 5506–5509 (2010).
Goto, M.: Singing Information Processing, Proc. of the 12thIEEE International Conference on Signal Processing (IEEEICSP 2014) (2014).
Dixon, S., Goto, M. and Mauch, M.: Tutorial “Why Singingis Interesting”, The 16th International Society for Music Information Retrieval Conference (ISMIR 2015) (2015).
Humphrey, E. J., Reddy, S., Seetharaman, P., Kumar, A., Bittner, R. M., Demetriou, A., Gulati, S., Jansson, A., Jehan,T., Lehner, B., Krupse, A. and Yang, L.: An Introduction toSignal Processing for Singing-Voice Analysis: High Notes inthe Effort to Automate the Understanding of Vocals in Music,IEEE Signal Processing Magazine, Vol. 36, No. 1, pp. 82–94(2019).
Gupta, C., Li, H. and Goto, M.: Deep Learning Approaches
in Topics of Singing Information Processing, IEEE/ACM
Transactions on Audio, Speech, and Language Processing,Vol. 30, pp. 2422–2451 (2022).

4

情報処理学会研究報告
IPSJ SIG Technical Report

図 3 情報処理学会 音楽情報科学研究会 イベント企画
スペシャルセッション「歌声情報処理最前線!!」(2012 年 2 月 3 日 (金)) の冒頭スライドc 2023 Information Processing Society of Japan⃝5

情報処理学会研究報告
IPSJ SIG Technical Report

図 4 情報処理学会 音楽情報科学研究会 イベント企画
スペシャルセッション「歌声情報処理最前線!!!」(2013 年 9 月 1 日 (日)) の冒頭スライド

本稿は，
後藤 真孝: ”歌声情報処理の誕生と発展”, 情報処理学会 音楽情報科学研究会 研究報告, Vol.2023-MUS-138, No.19,

pp.1-5, August 2023.に，2013 年 9 月開催のスペシャルセッション「歌声情報処理最前線!!!」の情報を追記した訂正版である．

c 2023 Information Processing Society of Japan⃝6