616

日本音響学会誌 64 巻 10 号（2008），pp. 616–623

歌声情報処理の最近の研究*
後 藤 真 孝，齋 藤

毅，中 野 倫 靖，藤 原 弘 将（産業技術総合研究所）∗∗
43.75.−z

1. 注目を集める歌声情報処理

ポピュラ音楽）の制作では，歌声の音高を信号処理で補正する歌声情報処理技術が日常的に用いら

近年，音楽情報処理分野の発展と共に [1–3]，歌

れており，歌手の歌唱力が不十分な箇所の音程補声に関する研究活動が世界的に活発に取り組まれ，正や意図的な表現効果を狙った補正等で，必要不

学術的な観点からだけでなく，産業応用的な観点

可欠なものとなっている。歌声を用いた楽曲検索からも注目を集めている。そうした歌声に関するも実用化され，メロディを歌ったりハミングした

研究は，歌声固有の特徴に関する基礎研究から，歌りすると曲名が分かるサービスは，携帯電話で簡声合成，歌詞認識，歌手同定，歌声検索，歌声評

単に利用できる。最近では，歌声の合成も注目を

価等の応用研究まで多岐に渡る。そこで本解説で集め，歌声合成技術を用いて制作された楽曲が，は，そうした歌声に関する幅広い研究を「歌声情ニコニコ動画や YouTube のような動画共有サー

報処理」と名付け，具体的な研究事例をできるだ

ビスに大量に投稿されている。まだ実験的ではあけ多く挙げて紹介する。

るが，そうした歌声合成技術を用いた楽曲を収録

歌声は，音声と音楽の両方の側面を持つが，いした音楽 CD すら市販されている。ほかにも，カずれの分野の観点からも未解決の研究課題は多い。

ラオケの歌声採点機能等が普及している。特にポ

例えば，歌声は通常の音声よりもはるかに変動がピュラ音楽では歌声を中心に音楽を聴く人達が多

大きく，また，歌声と相互に関連し合う伴奏音もく，今後も，歌声に関する様々なアプリケーショ

大きな音量で含まれているため，その自動認識は，ンの登場が期待されている。

技術的に最も難しいクラスの音声認識問題である

本解説では，通常の歌唱以外にもハミングや口と言える。実際，歌声の歌詞の自動認識は，まだ（くち）ドラム（ドラムの擬音語表現）等，人間のほとんど実現できていない。音楽の認識・理解の口から発声される音楽に関連した声をすべて「歌観点からも，従来主に研究されてきた楽器音に比声」と捉え，この「歌声情報処理」という研究分

べ，歌声の変動の大きさは並外れており，技術的に野を様々な角度から解説していく。

難しくかつ興味深い課題が多い。歌声の合成に関しても，話声のように言語として内容が伝わる必

2. 歌声情報処理の発展の背景

要があることに加え，声の高さや強さの動的で複近年の歌声情報処理の急速な発展は，長年にわ雑な変化や歌声としての表現力が求められ，まだたって取り組まれてきた歌声に関する基礎研究のまだ研究途上で課題も多い。このように歌声情報

存在に支えられている。その中から，歌声の音響処理の研究は，学術的にも正にフロンティアである。

分析によって明らかとなってきた歌声特有の音響

その上，音楽は産業・文化の面で主要なコンテ

特徴を紹介し，歌声情報処理の研究にとって重要ンツの一つであり，歌声は音楽の最も重要な要素

な歌声データベース（DB）について述べる。

であることから，その研究成果は社会的にも大き2.1 歌声特有の音響特徴なインパクトを持っている。既に商業音楽（特に歌声は，話声と比較して発声の高さや強さの変∗∗∗Recent studies on singing information processing.
Masataka Goto, Takeshi Saitou, Tomoyasu Nakano
and Hiromasa Fujihara (National Institute of Advanced Industrial Science and Technology (AIST),
Tsukuba, 305–8568) e-mail: m.goto@aist.go.jp

動幅が広く，より複雑で動的な特性を持つことが知られている。特に楽曲の旋律に沿って変化する
基本周波数（F0 , 声の高さ）の軌跡には，歌声固有の動的な変動成分が現れる。中でも，以下に示

617

歌声情報処理の最近の研究

図–1 歌声における 4 種の基本周波数（F0 ）動的変動成分。

図–2 テノール及び民謡歌唱における singer’s formant の一例。

す 4 種の成分は，歌唱法や歌唱者に依存せず様々な歌声において共通して存在し，かつ歌声を知覚

まず，ハミング検索（6.1 節で後述）の研究にする上で重要な役割を担っていることが明らかと利用する目的で収録された研究用 DB が幾つかあなってきている（図–1）[4]。

る [9–11]。そこでは，ハミング（鼻歌，歌詞なし

オーバシュート：滑らかな音高変化，及びその直歌唱）や歌唱，口笛などの音響信号に加え，その後に目標音高を超える瞬時的な変動成分
ヴィブラート：同一音高区間で観測される 4∼8 Hzの準周期的な変動成分
プレパレーション：音高変化直前に変化とは逆方向に触れる瞬時的な変動成分
微細変動：発声区間全体に観測される不規則で細かい変動成分

歌唱の音高・音長を記録した標準 MIDI ファイルが提供されている。
更に，国内では声楽等のクラシック音楽に加えて，邦楽やポピュラ音楽などを含めてジャンルのバラエティに富んだ大規模な DB として以下のよ
うなものがある。

RWC 研究用音楽 DB（RWC-MDB）[12]

研究

また，スペクトルにおける歌声特有の特徴も存在

目的で共通利用できる世界初の著作権処理済み

し，中でも Sundberg によって報告された singer’s

音楽 DB である。ポピュラ音楽，ロック，ジャformant （歌手のホルマント）が代表的である [5]。

ズ，ラテン，声楽，邦楽，童謡や英語の有名曲，

これは，主に男性オペラ歌唱の母音スペクトルの単音の歌唱など，多様なスタイルの歌唱とその3 kHz 付近に存在する顕著なピーク成分で，歌声歌詞が用意されている。

に聴感的な響きを与える要因と考えられており，

日本語歌唱音声 DB「日本語を歌・唄・謡う」[8]邦楽（日本の伝統芸能）歌唱においても観測され

邦楽（日本の伝統芸能）のほぼすべてのジャンル

ることが報告されている [6, 7]。図–2 は，後述すと，洋楽の各ジャンルの歌唱が収録された DB でる歌声 DB「日本語を歌・唄・謡う」[8] に収録さある。同一の歌詞をそれぞれの典型的歌唱法でれているテノール歌手による歌声と話声，及び民発声した歌唱音声と朗読音声が収録されている。

謡歌手による歌声の母音/a/発声時の長時間平均スペクトルである。歌声の方が話声に比べて，テAIST ハミング DB（AIST-HDB）[13] RWCMDB の曲を初めて聴く歌唱者が 1 回及び 5 回

ノール歌唱では 3 kHz，民謡歌唱では 4 kHz 付近

聴いた後に，思い出しながら歌った音声を収録のスペクトル成分がそれぞれ強いことが分かる。

した DB である。同一メロディの歌唱とハミン

そのほかにも歌声特有の音響特徴は多数報告されグに加え，朗読音声も収録されている。まだ未ているが，詳細に関しては参考文献 [5] を参照さ公開であるが，今後の公開が検討されている。

れたい。

2.2 歌声データベース（DB）

3. 歌う計算機

歌声を対象とした研究では，これまで各研究毎

計算機に歌を歌わせる，すなわち歌声合成は，歌に歌唱音声を収録して実施することが多かった。

声情報処理の分野では最も古くから取り組まれてしかし近年，研究上共通利用が可能な，歌声に関いる研究課題の一つである。そして，この歌声合する音楽 DB が増えつつある。

成の研究は，ここ数年で多様な展開を見せている。

618

日本音響学会誌 64 巻 10 号（2008）

歌声合成の歴史を少し遡ってみると，特に 1980

4. 歌詞を聴く計算機

年代後半から 1990 年代にかけて，ヨーロッパの研究機関を中心に活発に研究されている。そのほと歌詞は歌声が表現する情報の中でも，最も重要んどは，より良いオペラ歌唱の合成や，それを通じな要素の一つであり，計算機による歌詞の理解をたオペラ歌唱の生成メカニズムの解明を目的とし目指した研究が盛んになっている。

た，いわば西洋文化におけるオペラ歌唱の重要性を

4.1 歌詞の認識反映した取り組みと言えるものであった。中でも，歌詞の認識とは，歌詞が未知の楽曲の音響信号

映画「カストラート（伊 Farinelli Il Castrato）」

から，その楽曲の歌詞を自動的に書き起こすことにおいて IRCAM（フランス国立音響音楽研究所）を目指す研究である。これは，音声認識の歌声版のグループが作成した去勢された男性歌手（カスと捉えることができる。しかし，歌声を対象としトラート）の歌声合成音 [14] や，KTH（スウェーた場合，1 章で述べた変動の大きさや伴奏音といっデン王立工科大学）の Sundberg らによるホルマ

た難しさがあるため，伴奏を含む歌声にも適用可

ント合成型の歌声合成システム [15]，Cook らの能な歌詞認識はまだ実現されていない。しかし，

声道音響管の物理モデルを用いた歌声合成システ

歌詞の認識は，歌詞による楽曲検索など様々な応

ム [16] が代表的である。

用が可能で，今後の研究の発展が期待される。

近年では，話声の音声合成分野で確立された波

無伴奏の歌唱を対象にした研究例としては，単形接続方式や HMM（隠れマルコフモデル）合成方

独歌唱の自動採譜システムに歌詞の認識を組み込式といったコーパスベースの合成手法を採用する

んだ研究 [25]，歌声の音高と歌詞の認識精度とのことで，実用性の高い歌声合成システムが提案さ関係を調べた研究 [26]，歌声のような高い音高にれてきている [17–19]。中でも YAMAHA による

おいてもロバストな音声のモデル化手法に関する

VOCALOID [18] の技術を用いた，クリプトン・

研究 [27] や，ハミング検索（6.1 節）において音高

フューチャー・メディア社の「初音ミク」や「鏡音だけでなく歌詞も考慮することで性能向上に取り

リン・レン」は，市販の歌声合成ソフトウェアと組んだ研究 [28] がある。一方，伴奏を含む歌唱をしては異例の販売数を記録しており，エンドユー対象にした研究は，4.2 節の歌詞同期以外ではほザが多様な歌声を自由に合成して楽しめる時代が

とんどないが，音素境界が既知という限定された到来したと言える。

条件下で歌声の音素認識に取り組んだ研究 [29] はほかにも，スキャット歌唱の分析・加工・合成シある。ほかにも，歌詞の認識ではないが，伴奏付

ステム [20]，歌詞の朗読音声を歌声に変換する歌

き歌唱中の歌詞の言語同定に取り組んだ研究 [30]

声合成システム [21]，異なる歌唱スタイルを混ぜがある。

合わせる歌声モーフィング [22]，更にはユーザの歌

4.2 歌詞の同期い方を真似ることが可能な歌声合成システム [23]歌詞の同期とは，歌詞が既知の楽曲に対して，が提案されており，歌声合成研究の多様化が進ん

歌詞と音楽音響信号とを時間的に対応付ける研究でいる。

である。この研究課題は，音声認識の研究で使わまた，国際会議 Interspeech 2007 では，歌声合れる HMM に基づく強制アラインメント技術が対成のスペシャルセッションが企画され，世界中の 6

象とする問題に近いが，前節でも述べた歌声特有グループが提案している歌声合成システムが一同の難しさがある。しかし，歌詞の認識に比べると，に介して，歌声合成音の品質を紹介し合った [24]。

問題設定を単純化したことで実用的な性能が得ら

このことからも，音声信号処理分野における歌声合

れやすく，一部の例外 [31] を除いて，伴奏付きの成への注目が世界中で高まっていることが分かる。

歌唱を対象にしている。そうした伴奏付きの歌唱

以上のように，現在，歌声合成は，学術的及びを対象とする研究は，強制アラインメントを使用

産業応用的に特に注目されている歌声情報処理技

しない研究 [32–34] と，強制アラインメント使用術の一つである。今後は，歌唱スタイルや歌唱者する研究 [35–38] の二つに分類できる。

の違いも柔軟に表現し，表情豊かな歌声が合成可
能なシステムの登場が期待される。

強制アラインメントを用いない場合，歌声の音韻的な特徴は利用せず，手がかりとして，声調言619

歌声情報処理の最近の研究語である広東語特有の性質 [32] や音韻の持続時間のための手法を発展させた研究であり，静的なス

長 [34]，楽曲の標準 MIDI ファイル [33] などを用

ペクトルの類似度に基づいて歌声が似ているかどいる。ただし，適用できる範囲に制約は大きい。

うかを推定する。今後，歌い回しなどの歌声の動

一方，強制アラインメントを用いる場合，伴奏の的な要素も考慮に入れるなど，研究の更なる発展

影響をどのように低減させるかが重要となる。そのために，歌声の F0 推定をして歌声を伴奏音から分離する手法 [39–42] や，歌声が存在する区間をが期待される。

6. 歌声を検索する計算機

検出する手法（歌声区間検出手法）[43] などと併用

近年，個人が大量の楽曲にアクセスできるようすることが多い。そうした歌詞同期研究の具体例になり，様々な方法で聴きたい楽曲を効率良く検としては，歌声区間検出手法を用いた研究 [35] や，索・ブラウジングする音楽情報検索（MIR：Music

文献 [39] の手法で歌声を分離した後に歌声区間検Information Retrieval）の重要性が高まっている。

出をする研究 [36]，更に調波構造で分離できない

本章では，そうした検索方法の中から，歌唱を対無声子音を別に検出する研究 [38] などがある。ま象としたハミング検索，ヴォーカルの声質に基づた，別のアプローチとして，強制アラインメント

いた歌声検索，口ドラム検索について紹介する。

の探索範囲に音楽的知識による制約を設けること

6.1 ハミング検索

で，性能向上を図った研究 [37] がある。

ハミングとは「ラララー」等の歌詞を伴わな

5. 声色が分かる計算機

い歌唱を指し，ハミング検索（QBH：Query-by-

Humming）は，それを検索キーとして楽曲を検索

歌声の声色（声質）は，誰が歌っているかというする方法である。書誌情報（タイトルやアーティ

情報を与えるだけでなく，声を聴いたときの人間

スト名）以外を利用する「コンテンツ内容に基づくの聴感的印象を大きく左右する大切な要素である。

音楽情報検索」の先駆けであり，1990 年代の黎明

5.1 歌手名の同定

期の研究 [58–60] を経て，数多くの研究がなされて歌手名の同定とは，あらかじめ DB に登録されきた（詳しい紹介は，文献 [1, 61, 62] に譲る）
。最た歌手の中から，入力した楽曲の歌手が誰かを特近では，QBSH（Query-by-Singing/Humming）

定する研究で，2000 年代初めから多くの研究例がとも呼ばれ，音楽情報検索のコンテストであるある [44–54]。一般的には，ケプストラム法や線形ターマシン（SVM）などを用いたパターン認識手

MIREX（Music Information Retrieval Evaluation eXchange）[63] の課題として 2006 年〜2008
年に採用されている。また，うたごえ検索 [64] や
midomi [65] といった，ハミング検索を利用した法により歌手名を同定する。具体例としては，歌音楽検索サービスも登場している。

予測法（LPC）などに基づく特徴量を抽出後，混合ガウス分布（GMM）や HMM，サポートベク

声区間検出手法によって歌声と判断された区間のほかにも，F0 軌跡の動的変動を相平面（F0 –∆F0

みを同定に使用する研究 [45–47, 49, 53]，歌声区

平面）で表現する方法 [66] や，歌声から F0 推定

間検出に加えて伴奏音の影響を低減させる処理をせずに音程を確率モデルで表す方法 [67]，ユーザ

した研究 [48, 50, 51, 54]，ヴィブラートの個人性を歌唱を学習して検索性能を上げる方法 [68] なども利用した研究 [52] などがある。また，問題設定は提案されている。また，F0 以外の特徴量も検索で多少異なるが，ある歌手の歌声が楽曲に含まれて利用する試みとして，歌詞情報を検索に利用する

いるかを 2 値判定する研究もある [55]。

方法 [28] や，MFCC（Mel-Frequency Cepstral

5.2 歌声の類似度た歌声を持つ楽曲を検索する検索システム [57] な

Coeﬃcients）やホルマント周波数等を利用する方
法 [69] などもある。
6.2 歌 声 検 索
5.2 節で述べた歌声の類似度を利用して，歌手の声質に基づいて音楽を検索するシステム VocalFinder [57] が提案されている。このシステムでは，ど，様々な研究事例がある。いずれも歌手名同定

ユーザが検索キーとして自分好みの声色の歌唱を楽曲間で歌手の歌声（声色）がどれだけ似ているかを，歌声の類似度として定量的に求める手法
は応用範囲が広く，歌声の類似度に基づいた楽曲の自動分類 [56] や，ある曲の歌手の歌声とよく似620

日本音響学会誌 64 巻 10 号（2008）

含む楽曲を入力すると，楽曲 DB の中から，そのて，その仕方や発声位置は歌唱力と関連する可能声色に似た歌唱の楽曲を探しだしてユーザに提示性がある。まだその関連性の詳細は調査されていする。これにより，ユーザは自分の好みの歌声をないが，ブレスの音響分析や自動検出は研究され持つ今まで知らなかった楽曲を発見することがでている [78, 79]。

7.2 歌唱力の自動評価

きる。

6.3 口ドラム検索

歌唱力を自動的に評価するシステムとしては，口（くち）ドラムとは，ドラム音を「ドンタンド

カラオケの採点機能が普及しており，そこでは主ドタン」のように擬音語で表現したり，音響的に模に評価用の楽譜情報（音高）からの差異に基づい倣して発声したりした歌唱音声を指す。海外ではて採点している。最近では，ヴィブラート検出，

主に後者を扱い，それを Beatboxing と呼ぶことがしゃくり（ポルタメント）検出などの機能も備え多い。口ドラム検索（Query-by-Beatboxing）は，ている。また，音高や音長の一致に基づいて自動

そのような歌唱音声を認識し，対応するドラム音

評価する研究がある [80]。

もしくはドラムパターン（1 小節を最小単位とす

一方で，楽譜を用いずに歌唱力を自動的に評価るドラムスの演奏パターン）を得る方法である。

する研究もある。そのような研究としては，相対音擬音語表現に近い発声を認識するには，主に音声

高とヴィブラートに関する音響特徴を用いた SVM

認識と同様の枠組みで，HMM を用いて単音（「ドによる方法 [81] や，MFCC やメルフィルタバン

ン」など）ごとにモデル化する方法 [70, 71]，音ク係数を特徴量とした GMM による方法 [82] が素（/d/, /o/, /N/ など）ごとにモデル化する方ある。後者では，singer’s formant に相当する周法 [72] がある。一方，Beatboxing（ドラム音を音

波数帯域が評価に有効であった。

響的に模倣した音声）を対象とした研究では，主7.3 歌唱力に関連したアプリケーションにドラム音認識で利用されている音響特徴量に基歌唱力に関連したアプリケーションとして，カづき，SVM やニューラルネットワークなどの機

ラオケの自動採点機能以外に，歌唱力向上（歌唱ト械学習を用いて認識している [73–75]。

レーニング）の支援が考えられる。具体例として，

7. 歌声を評価する計算機

ユーザ歌唱の分析結果をリアルタイムに可視化してフィードバックする方法が提案されている [83–

歌のうまさ（歌唱力）は，歌唱を特徴付ける重86]。特に，目標とする音高に対して，ユーザ歌唱

要な要素の一つである。歌唱力を決定付ける音響の音高がどれぐらい外れているかが分かるように的な要素の解明は，歌唱指導や訓練場面に有用な表示することで，ユーザ歌唱の音高の正確さが向だけでなく，音楽情報検索や歌声合成などへの応上することが報告されている [83, 84]。

用も期待できる。本章では，歌唱力に関係する音響特徴と自動評価，アプリケーションを紹介する。

7.1 歌唱力に関係する音響特徴
ヴィブラートと singer’s formant を有することが典型的な good voice（良い歌声）の条件であり [76]，それらが「歌声らしい」という聴感的印象に影響を与えているという知見がある [7]。また，
2.1 節のオーバシュートは，歌唱力の差によらず

8. 歌声情報処理の今後
ここまで歌声に関する研究が注目を集めた時代
は過去になく，「歌声情報処理」の研究は，今後も急速に進展していくことが予想される。本解説で述
べた以外にも様々な研究課題が未解決のまま残っており，また，年々新たな課題も提案され，学会発表されている。学際的な研究分野であるため，今生起するが，プロによる歌唱の方が，アマチュア

回はそのすべての側面は紹介できなかったが，心よりも変動が小さいという知見がある [77]。

理学 [87]，生理学 [88]，声楽 [89] 等の歌声を取り逆に vocal ugliness（歌声の不快さ）の条件とし巻く様々な知見も，信号処理，機械学習，インタて，不規則なヴィブラートや音高の不一致，音源ス

フェース等と合わせて考慮していくことが，今後ペクトルにおける乏しい基本波振幅，及び singer’s

大切になると考えられる。

formant の欠如が指摘されている [15]。
また，歌唱中のブレス（息継ぎ，吸気）につい最初にも述べたように，歌声は，音声と音楽の両方の側面を持つ。現在，音声言語情報処理と音621

歌声情報処理の最近の研究

楽情報処理の研究分野は，お互いに影響を与えつ
つもまだ接点は多くない。しかし，将来的には，音声と音楽を別々に考えずに，それらの総合的な情報処理の実現を目指す「音情報処理」という分野を確立していきたいと我々は考えている。歌声情報処理の研究は，正にそのための王道的アプロー
チの一つであり，成功の鍵を握っている。同分野
が，より多くの人達の興味を集め，今後も更に発展していくことを期待したい。
謝

辞

3 章の執筆にあたり，北海道医療大学 榊原健一
氏から有益なコメントをいただいた。
文

献[ 1 ] 後藤真孝, 平田圭二, “音楽情報処理の最近の研究,”
音響学会誌, 60, 675–681 (2004).
[ 2 ] 片寄晴弘, 後藤真孝, “音楽のデザイン転写技術の開発にむけて—CrestMuse プロジェクトの「価値」創出視点からの紹介—,” 人工知能学会第 20 回全国大会 (2006).
[ 3 ] 後藤真孝, “研究会千夜一夜, 音楽情報処理の研究を始めませんか？—音楽情報科学研究会（SIGMUS）—,”
情報処理, 48, 1046–1047 (2007).
[ 4 ] T. Saitou, M. Unoki and M. Akagi, “Developmentof an F0 control model based on F0 dynamic characteristics for singing-voice synthesis,” Speech Commun., 5, 267–277 (2005).
[ 5 ] J. Sundberg, The Science of Singing Voice(Northern Illinois University Press, DeKalb, 1987).
[ 6 ] I. Nakayama, “Comparative studies on vacal
expression in Japanese traditional and Westernclassical-style singing, using a common verse,” Proc.
ICA 2004, pp. 1295–1296 (2004).
[ 7 ] 齋藤 毅, 辻 直也, 鵜木祐史, 赤木正人, “歌声らしさの知覚モデルに基づいた歌声特有の音響特徴量の分析,”
音響学会誌, 46, 405–417 (2008).
[ 8 ] 中山一郎, “日本語を歌・唄・謡う,” 音響学会誌, 11,
688–693 (2003).
[ 9 ] M. Lesaﬀre, K. Tanghe, G. Martens, D. Moelants,
M. Lemanand, B.D. Baets, H.D. Meyer and J.-P.
Martens, “The MAMI query-by-voice experiment,Collecting and annotating vocal queries for music information retrieval,” Proc. ISMIR 2003, pp. 65–71(2003).
[10] E. Unal, S.S. Narayanan, H.-H. Shih, E. Chew
and C.-C.J. Kuo, “Creating data resources for designing usercentric frontends for query-by-humming
systems,” Multimedia Syst., 10, 475–483 (2005).
[11] J.-S.R. Jang, “QBSH, A corpus for designing QBSH (Query by Singing/Humming) systems,”
http://www.cs.nthu.edu.tw/∼jang/.
[12] 後藤真孝, 橋口博樹, 西村拓一, 岡 隆一, “RWC 研
究用音楽データベース：研究目的で利用可能な著作権処
理済み楽曲・楽器音データベース,” 情報処理学会論文誌,
45, 728–738 (2004).
[13] 後藤真孝, 西村拓一, “AIST ハミングデータベース：
歌声研究用データベース,” 情報処理学会研究報告, 2005MUS-61, pp. 7–12 (2005).
[14] P. Depalle, G. Garcia and X. Rodet, “A virtual
castrato,” Proc. ICMC ’94, pp. 357–360 (1994).
[15] J. Sundberg, “The KTH synthesis of singing,”

Adv. Cognit. Psychol. (Special issue on Music Performance), 2, 131–143 (2006).
[16] P.R. Cook, “Identiﬁcation of control parametersin an articulatory vocal tract model, with applications to the synthesis of singing,” PhD Thesis, Stanford Univ. (1991).
[17] J. Bonada and X. Serra, “Synthesis of the singing
voice by performance sampling and spectral models,”IEEE Sig. Process. Mag., 24, 67–79 (2007).
[18] 剣持秀紀, 大下隼人, “歌声合成システム VOCALOID,”
情 報 処 理 学 会 研 究 報 告, 2007-MUS-072, pp. 25–28(2007).
[19] 酒向慎司, 宮島千代美, 徳田恵一, 北村 正, “隠れマルコフモデルに基づいた歌声合成システム,” 情報処理学
会論文誌, 45, 719–727 (2004).
[20] 河原英紀, 片寄晴弘, “高品質音声分析変換合成シス
テム STRAIGHT を用いたスキャット生成研究の提案,”
情報処理学会論文誌, 43, 208–218 (2002).
[21] 齋藤 毅, 後藤真孝, 鵜木祐史, 赤木正人, “SingBySpeaking: 歌声知覚に重要な音響特徴を制御して話声を歌声に変換するシステム,” 情報処理学会研究報告, 2008MUS-74-5, pp. 25–32 (2008).
[22] 河原英紀, 生駒太一, 森勢将雅, 高橋 徹, 豊田健一,
片寄晴弘, “モーフィングに基づく歌唱デザインインタ
フェースの提案と初期検討,” 情報処理学会論文誌, 48,
3637–3648 (2007).
[23] 中野倫靖, 後藤真孝, “VocaListener：ユーザ歌唱を真似る歌声合成パラメータを自動推定するシステムの提案,” 情報処理学会研究報告, 2008-MUS-75, pp. 49–56(2008).
[24] Interspeech 2007, Synthesis of Singing Challenge,
http://www.interspeech2007.org/Technical/
synthesis of singing challenge.php.
[25] C.-K. Wang, R.-Y. Lyu and Y.-C. Chiang,“An automatic singing transcription system withmultilingual singing lyric recognizer and robust
melody tracker,” Proc. Eurospeech 2003, pp. 1197–
1200 (2003).
[26] 尾関弘尚, 鎌田貴幸, 後藤真孝, 速水 悟, “歌声の歌
詞認識における音高の影響について,” 音講論集, pp. 637–
638 (2003.10).
[27] A. Sasou, M. Goto, S. Hayamizu and K. Tanaka,“An auto-regressive, non-stationary excited signal
parameter estimation method and an evaluation ofa singing-voice recognition,” Proc. ICASSP 2005,
pp. I–237–240 (2005).
[28] M. Suzuki, T. Hosoya, A. Ito and S. Makino,“Music information retrieval from a singing voice using lyrics and melody information,” EURASIP J.
Adv. Signal Process., 2007 (2007).
[29] M. Gruhne, K. Schmidt and C. Dittmar,“Phoneme recognition in popular music,” Proc. ISMIR 2007, pp. 369–370 (2007).
[30] W.-H. Tsai and H.-M. Wang, “Automatic identiﬁcation of the sung language in popular music recordings,” J. New Music Res., 36, 105–114 (2007).
[31] A. Loscos, P. Cano and J. Bonada, “Low-delay
singing voice alignment to text,” Proc. ICMC 99(1999).
[32] C.H. Wong, W.M. Szeto and K.H. Wong, “Automatic lyrics alignment for Cantonese popular music,”
Multimedia Syst., 4-5, 307–323 (2007).
[33] M. Müller, F. Kurth, D. Damm, C. Fremerey and
M. Clausen, “Lyrics-based audio retrieval and multimodal navigation in music collections,” Proc. ECDL
2007, pp. 112–123 (2007).
[34] M.-Y. Kan, Y. Wang, D. Iskandar, T.L. Nwe and622
A. Shenoy, “LyricAlly: Automatic synchronization of
textual lyrics to acoustic music signals,” IEEE Trans.
Audio Speech Lang. Process., 16, 338–349 (2008).
[35] K. Chen, S. Gao, Y. Zhu and Q. Sun, “Popular song and lyrics synchronization and its application to music information retrieval,” Proc. MMCN
’06 (2006).
[36] H. Fujihara, M. Goto, O. Jun, K. Komatani, T.
Ogata and H.G. Okuno, “Automatic synchronization
between lyrics and music CD recordings based on
Viterbi alignment of segregated vocal signals,” Proc.
ISM 2006, pp. 257–264 (2006).
[37] D. Iskandar, Y. Wang, M.-Y. Kan and H. Li, “Syllabic level automatic synchronization of music signals and text lyrics,” Proc. ACM Multimedia 2006,
pp. 659–662 (2006).
[38] H. Fujihara and M. Goto, “Three techniques for
improving automatic synchronization between music
and lyrics, fricative sound detection, ﬁller model, andnovel feature vectors for vocal activity detection,”
Proc. ICASSP 2008, pp. 69–72 (2008).
[39] M. Goto, “A real-time music-scene-description
system: Predominant-F0 estimation for detecting
melody and bass lines in real-world audio signals,”
Speech. Commum., 43, 311–329 (2004).
[40] M. Ryynänen and A. Klapuri, “Transcription of
the singing melody in polyphonic music,” Proc. ISMIR 2006, pp. 222–227 (2006).
[41] J.-L. Durrieu, G. Richard and B. David, “Singer
melody extraction in polyphonic signals using source
separation methods,” Proc. ICASSP 2008, pp. 169–
172 (2008).
[42] 藤原弘将, 後藤真孝, 奥乃 博, “歌声の統計的モデル化とビタビ探索を用いた多重奏中のボーカルパートに対する音高推定手法,” 情報処理学会論文誌, 49 (2008).
[43] T.L. Nwe and Y. Wang, “Automatic detection of
vocal segments in popular songs,” Proc. ISMIR 2004,
pp. 138–145 (2004).
[44] B. Whitman, G. Flake and S. Lawrence, “Artist
detection in music with minnowmatch,” Proc. NNSP
2001, pp. 559–568 (2001).
[45] A.L. Berenzweig, D.P. W. Ellis and S. Lawrence,“Using voice segments to improve artist classiﬁcationof music,” Proc. AES-22 Int. Conf. Virtual, Synthetic and Entertainment Audio (2002).
[46] Y.E. Kim and B. Whitman, “Singer identiﬁcatinin popular music recordings using voice coding features,” Proc. ISMIR 2002, pp. 164–169 (2002).
[47] T. Zhang, “Automatic singer identiﬁcation,”
Proc. ICME 2003, Vol. I, pp. 33–36 (2003).
[48] M.A. Bartsch, “Automatic singer identiﬁcationin polyphonic music,” PhD Thesis, Univ. Michigan(2004).
[49] N.C. Maddage, C. Xu and Y. Wang, “Singer identiﬁcation based on vocal and instrumental models,”
Proc. ICPR ’04, Vol. 2, pp. 375–378 (2004).
[50] 藤原弘将, 北原鉄朗, 後藤真孝, 駒谷和範, 尾形哲也,
奥乃 博, “伴奏音抑制と高信頼度フレーム選択に基づく楽曲の歌手名同定手法,” 情報処理学会論文誌, 47, 1831–
1843 (2006).
[51] W.-H. Tsai and H.-M. Wang, “Automatic singer
recognition of popular music recordings via estimation and modeling of solo vocal signals,” IEEE Trans.
Audio Speech Lang. Process., 14, 330–341 (2006).
[52] T.L. Nwe and H. Li, “Exploring vibratomotivated acoustic features for singer identiﬁcation,”
IEEE Trans. Audio Speech Lang. Process., 15, 519–

日本音響学会誌 64 巻 10 号（2008）

530 (2007).
[53] J. Shen, B. Cui, J. Shepherd and K.-L. Tan,
“Towards eﬃcient automated singer identiﬁcation inlarge music databases,” Proc. SIGIR ’06, pp. 59–66(2006).
[54] H. Fujihara, T. Kitahara, M. Goto, K. Komatani,
T. Ogata and H.G. Okuno, “Singer identiﬁcation
based on accompaniment sound reduction and reliable frame selection,” Proc. ISMIR 2005, pp. 329–336(2005).
[55] W.-H. Tsai and H.-M. Wang, “Automatic detection and tracking of target singer in multi-singer
music recordings,” Proc. ICASSP 2004, pp. 221–224(2004).
[56] W.-H. Tsai, H.-M. Wang, D. Rodgers, S.-S.
Cheng and H.-M. Yu, “Blind clustering of popular
music recordings based on singer voice characteristics,” Proc. ISMIR 2003, pp. 167–173 (2003).
[57] H. Fujihara and M. Goto, “A music information
retrieval system based on singing voice timbre,” Proc.
ISMIR 2007, pp. 467–470 (2007).
[58] T. Kageyama, K. Mochizuki and Y. Takashima,“Melody retrieval with humming,” Proc. ICMC 1993,
pp. 349–351 (1993).
[59] A. Ghias, J. Logan, D. Chamberlin and B. Smith,“Query by humming: Musical information retrieval
in an audio database,” Proc. ACM Multimedia 1995,
Vol. 95, pp. 231–236 (1995).
[60] T. Sonoda, M. Goto and Y. Muraoka, “A WWWbased melody retrieval system,” Proc. ICMC 1998,
pp. 349–352 (1998).
[61] R. Dannenberg, W. Birmingham, B. Pardo, C.
Meek, N. Hu and G. Tzanetakis, “A comparative evaluation of search techniques for query-byhumming using the MUSART testbed,” J. Am. Soc.
Inf. Sci. Technol., 58, 687–701 (2007).
[62] E. Unal, E. Chew, P. Georgiou and S. Narayanan,“Challenging uncertainty in query by humming systems: A ﬁngerprinting approach,” IEEE Trans. Audio Speech Lang. Process., 16, 359–371 (2008).
[63] J.S. Downie, “The music information retrieval
evaluation exchange (2005–2007): A window into music information retrieval research,” Acoust. Sci. &Tech., 29, 247–255 (2008).
[64] ウタゴエ株式会社: うたごえ検索, http://www.
utagoe.com/jp/service/search.html.
[65] Melodis Corporation:
midomi, http://www.
midomi.co.jp/.
[66] Y. Ohishi, M. Goto, K. Ito and K. Takeda, “A
stochastic representation of the dynamics of sung
melody,” Proc. ISMIR 2007, pp. 371–372 (2007).
[67] 市川拓人, 鈴木基之, 伊藤彰則, 牧野正三, “複数の音程特徴量によるハミング入力楽曲検索システムの高精度化,” 情報処理学会研究報告, 2008-MUS-74, pp. 7–12
(2008).
[68] D. Little, D. Raﬀensperger and B. Pardo, “A
query by humming system that learns from experience,” Proc. ISMIR 2007, pp. 335–338 (2007).
[69] A. Duda, A. Nurnberger and S. Stober, “Towards
query by singing / humming on audio databases,”
Proc. ISMIR 2007, pp. 331–334 (2007).
[70] O. Gillet and G. Richard, “Drum loops retrieval
from spoken queries,” J. Intell. Inf. Syst., 24, 159–
177 (2005).
[71] O. Gillet and G. Richard, “Indexing and querying
drum loops databases,” Proc. CBMI 2005 (2005).
[72] 中野倫靖, 緒方 淳, 後藤真孝, 平賀 譲, “口ドラム623

歌声情報処理の最近の研究
認識手法とそのドラム譜入力システムへの応用,” 情報処
理学会論文誌, 48, 386–397 (2007).
[73] A. Kapur, M. Benning and G. Tzanetakis,“Query-by-beat-boxing: Music retrieval for the DJ,”
Proc. ISMIR 2004, pp. 170–177 (2004).
[74] A. Hazan, “Towards automatic transcription of
expressive oral percussive performances,” Proc. IUI2005, pp. 296–298 (2005).
[75] E. Sinyor, C. McKay, R. Fiebrink, D. McEnnis
and I. Fujinaga, “Beatbox classiﬁcation using ACE,”
Proc. ISMIR 2005, pp. 672–675 (2005).
[76] W.T. Bartholomew, “A physical deﬁnition of“good voice-quality” in the male voice,” J. Acoust.
Soc. Am., 55, 838–844 (1934).
[77] 齋藤 毅, 鵜木祐史, 赤木正人, 榊原健一, “歌声の基本周波数変化に含まれるオーバーシュートの知覚への影響に関する検討,” 音響学会聴覚研資, H-2006-109,
pp. 611–616 (2006).
[78] D. Ruinskiy and Y. Lavner, “An eﬀective algorithm for automatic detection and exact demarcation of breath sounds in speech and song signals,”IEEE Trans. Audio Speech Lang. Process., 15, 838–
850 (2007).
[79] T. Nakano, J. Ogata, M. Goto and Y. Hiraga,“Analysis and automatic detection of breath sounds
in unaccompanied singing voice,” Proc. ICMPC 10(2008).
[80] P. Lal, “A comparison of singing evaluation algorithms,” Proc. Interspeech 2006, pp. 2298–2301(2006).
[81] 中野倫靖, 後藤真孝, 平賀 譲, “楽譜情報を用いない
歌唱力自動評価手法,” 情報処理学会論文誌, 48, 227–236(2007).
[82] P. Prasert, K. Iwano and S. Furui, “An automatic
singing voice evaluation method for voice training
systems,” 音講論集, pp. 911–912 (2008.3).
[83] D.M. Howard and G.F. Welch, “Microcomputerbased singing ability assessment and development,”
Appl. Acoust., 27, 89–102 (1989).
[84] 平井重行, 片寄晴弘, 井口征士, “歌の調子外れに対する治療支援システム,” 信学論, J84-D-II, 1933–1941(2001).
[85] D. Hoppe, M. Sadakata and P. Desain, “Development of real-time visual feedback assistance in singing
training: A review,” J. Comput. Assist. Learn., 22,
308–316 (2006).
[86] T. Nakano, M. Goto and Y. Hiraga, “MiruSinger:
A singing skill visualization interface using real-time
feedback and music CD recordings as referential
data,” Proc. ISM 2007 Workshops, pp. 75–76 (2008).
[87] D. Deutsch, Ed., The Psychology of Music (Academic Press, New York, 1982).
[88] I.R. Titze, Principles of Voice Production (TheNational Center for Voice and Speech, Denver, 2000).
[89] フレデリック フースラー, イヴォンヌ ロッド・マー
リング, うたうこと 発声器官の肉体的特質—歌声のひ.
みつを解くかぎ（音楽之友社, 東京, 1987）

後藤真孝

1998 年早稲田大学大学院理工学研究科
博士後期課程修了。博士（工学）。現在，産業技術総合研究所主任研究員。筑波大学大学院准教授（連携大学院），統計数理研究所客員准教授を兼任。科学技術分野の文部科学大臣表彰 若手科学者賞，ドコ
モ・モバイル・サイエンス賞 基礎科学部
門 優秀賞等 22 件受賞。日本音響学会，情報処理学会，電子情報通信学会，日本音楽知覚認知学会各
会員。

齋藤

毅

2000 年金沢大・工・電気情報工卒，2002
年北陸先端科学技術大学院大学情報科学研
究科博士前期課程修了。2006 年同博士後期課程修了。博士（情報科学)。同年 ATR
認知情報科学研究所，2007 年から産業技術総合研究所特別研究員。歌声知覚及び合成に関する研究に従事。 2006 年聴覚研究会研究奨励賞受賞。日本音響学会，情報処理学会，ISCA 各会員。

中野倫靖

2008 年筑波大学大学院図書館情報メデ
ィア研究科博士後期課程修了。博士（情報学）。現在，産業技術総合研究所特別研究員。音楽デザイン転写・音響信号理解に基づく音インタフェースに従事。日本音楽
知覚認知学会 2006 年度春季研究発表会研
究選奨，インタラクション 2007 インタラ
クティブ発表賞受賞。日本音響学会，情報処理学会，日本音楽知覚認知学会，各会員。

藤原弘将

2005 年京都大学工学部情報学科卒業。
2007 年同大学大学院情報学研究科知能情報学専攻修士課程修了。同年，産業技術総合研究所に入所し，現在に至る。音楽情報処理，音楽情報検索，音声情報処理に興味を持つ。平成 19 年度山下記念研究賞受賞。日本音響学会，情報処理学会，電子情報通信学会各会員。