2010/07/28 SIGMUSスペシャルセッション「歌声情報処理最前線！」

歌声情報処理 「歌声情報処理」

歌声情報処理:• 歌声を対象とした音楽情報処理 音楽は産業・文化の面で主要なコンテンツ

歌声を対象とした音楽情報処理• 歌声は音楽の最も重要な要素の一つ• 歌声を中心に音楽を聴く人達も多い

産業技術総合研究所

後藤 真孝 齋藤 毅 中野 倫靖 藤原 弘将• 歌声情報処理の研究成果は社会的にも大きなインパクト• 様々な歌声関連技術が社会的に関心を集める

2010/07/28 情報処理学会 音楽情報科学研究会
No. 1

No. 2

歌声情報処理歌声情報処理システム

 「歌声情報処理」

 三つのカテゴリ

1. 歌声を聴いて理解するシステム• 学術的な観点からだけでなく、産業応用的な観点からも注目

LyricSynchronizer
Singer ID
MiruSinger
Hyperlinking Lyrics
Breath Detection- 歌声の音高を信号処理で自動補正 (例: Auto-Tune)- ハミング検索 (例: midomi)- 歌声合成 (例: VOCALOID)- カラオケでの歌声評価（採点）機能

2. 歌声に基づく音楽情報検索システム• 研究対象は多岐にわたり拡大中

VocalFinder
Voice Drummer

3. 歌声合成システム

産総研での研究事例を紹介
産総研での研究事例を紹介

SingBySpeaking
VocaListener

No. 3

No. 4

歌声情報処理システムを可能にする技術

歌声情報処理システム

 共通して用いた主要技術

 三つのカテゴリの 出
韻
中 抽
識・音 認
音 声
詞 の合 歌歌
混

1. 歌声理解
LyricSynchronizer
Singer ID
MiruSinger
Hyperlinking Lyrics
Breath Detection
2. 音楽情報検索
VocalFinder
Voice Drummer
3. 歌声合成
SingBySpeaking
VocaListener

VVVV

質

歌

声 識の 認
声 の歌

高 化
音 ルの モデ声 の1. 歌声を聴いて理解するシステム
LyricSynchronizer
Singer IDMiruSinger
Hyperlinking Lyrics
Breath Detection

V（アラインメント）
V（歌手の声質）
V（ビブラート）V（スポッティング）

V

2. 歌声に基づく音楽情報検索システム
V（声質類似度）

VocalFinder
Voice Drummer

V（ΔF0）V（口ドラム）V（音声）V（アラインメント）

No. 5

後藤 真孝 （産業技術総合研究所）

3. 歌声合成システム
SingBySpeaking
VocaListenerV（F0軌跡）V（ビブラート）
No. 6

No. 1

2010/07/28 SIGMUSスペシャルセッション「歌声情報処理最前線！」[Fujihara, Goto,Okuno, 2006-]

LyricSynchronizer

歌声情報処理システムを可能にする技術

 混合音中の歌声と歌詞の時間的対応付けシステム

 共通して用いた主要技術の 出韻中 抽
識・音 認
音 声
詞 の合 歌
歌混• 楽曲の再生と同期して色が変わる歌詞を見る• 歌詞上の任意の単語をクリックするとそこから再生質
声 識の 認声 の高 化
音 ルの モデ
声 の歌
歌
1. 歌声理解V
V（アラインメント）
LyricSynchronizer
VV（歌手の声質）
Singer ID
V
V（ビブラート）
MiruSinger
V
V（スポッティング）
Hyperlinking Lyrics
BreathDetection
自動ボーカル抽出手法[Goto, 1999-]
2. 音楽情報検索
メロディー音高推定手法
PreFEst によってV
V（声質類似度） V（ΔF0）
VocalFinder
様々な楽器音が含まれる混合音からボーカルを抜き出す
V（口ドラム）
Voice Drummer
3. 歌声合成
V（音声）V（F0軌跡）SingBySpeaking
混合音V（アラインメント） ボーカル
V（ビブラート）
VocaListener

現在の再生位置

クリックした場所から再生可能
No. 7

No. 8

歌声情報処理システムを可能にする技術

歌声情報処理システム

 共通して用いた主要技術

 三つのカテゴリの 出韻中 抽
識・音 認
音 声
詞 の合 歌歌混歌

質
声 識の 認
声 の歌

高 化
音 ルの モデ声 の1. 歌声を聴いて理解するシステム
LyricSynchronizer
Singer ID
MiruSinger
Hyperlinking Lyrics
Breath Detection

1. 歌声理解V
V（アラインメント）
LyricSynchronizerV
V（歌手の声質）
Singer ID
V
V（ビブラート）
MiruSinger
V [Fujihara,V（スポッティング）
Hyperlinking
Lyrics
自動歌詞同期手法
Goto, Okuno, 2006-]
Breath Detection
抽出したボーカル中の各音素の位置を
2. 音楽情報検索
歌声用音響モデル(HMM)を用いてViterbiアラインメントV
V（声質類似度） V（ΔF0）
VocalFinderV（口ドラム）
Voice Drummer
3. 歌声合成
V（F0軌跡）SingBySpeakingspaoia V（音声）auoui
V（アラインメント）
V（ビブラート）
VocaListener
No. 9

2. 歌声に基づく音楽情報検索システム
VocalFinder
Voice Drummer

3. 歌声合成システム
SingBySpeaking
VocaListenerNo. 10Singer ID

歌声情報処理システムを可能にする技術[Fujihara, et al., 2005-]

 混合音中の歌手名同定(ID: idenfitication)するシステム

 共通して用いた主要技術の 出
韻
中 抽
識・音 認
音 声
詞 の合 歌歌混• 入力した楽曲中の歌声の歌手名を自動的に同定
話者認識に近い

歌手名:
Steve Perry

楽曲: “With or Without You”
アーティスト: U2

歌手名:Bono

No. 11

後藤 真孝 （産業技術総合研究所）

高 化
音 ルの モデ
声 の歌
歌
1. 歌声理解VV（アラインメント）
LyricSynchronizerV
V（歌手の声質）
Singer ID
V
V（ビブラート）
MiruSinger
V
V（スポッティング）
Hyperlinking Lyrics
BreathDetection
自動ボーカル抽出手法[Goto, 1999-]
2. 音楽情報検索
メロディー音高推定手法 PreFEst によってV
V（声質類似度） V（ΔF0）
VocalFinder
様々な楽器音が含まれる混合音からボーカルを抜き出す
V（口ドラム）
Voice Drummer
3. 歌声合成
V（音声）V（F0軌跡）SingBySpeaking
混合音V（アラインメント） ボーカル
V（ビブラート）
VocaListener• 歌手名がメタデータに記録されていなくても楽曲検索可能

楽曲: “Open Arms”
アーティスト: Journey質
声 識の 認声 のNo. 12

No. 2

2010/07/28 SIGMUSスペシャルセッション「歌声情報処理最前線！」

歌声情報処理システムを可能にする技術

歌声情報処理システム

 共通して用いた主要技術

 三つのカテゴリの 出韻中 抽識・音 認
音 声
詞 の合 歌歌混歌

質声 識の 認
声 の歌

高 化
音 ルの モデ声 の1. 歌声を聴いて理解するシステム
LyricSynchronizer
Singer ID
MiruSinger
Hyperlinking Lyrics
Breath Detection

1. 歌声理解V
V（アラインメント）
LyricSynchronizerV
V（歌手の声質）
Singer ID
V
V（ビブラート）
MiruSinger
VV（スポッティング）
Hyperlinking Lyrics
BreathDetection
歌声の声質モデリング手法[Fujihara, et al., 2005-]
2. 音楽情報検索
歌声らしさの高いフレームの特徴量（LPMCC）を用いてV
V（声質類似度） V（ΔF0）
VocalFinder
各歌手ごとに声質をモデリングしたGMMを学習
V（口ドラム）
Voice Drummer
3. 歌声合成
歌手Ａ？
GMM
V（音声） GMMV（F0軌跡）
SingBySpeaking
歌手Ｂ
混合音
ボーカル V（アラインメント）
V（ビブラート）
VocaListener
GMM
No. 13

2. 歌声に基づく音楽情報検索システム
VocalFinder
Voice Drummer

3. 歌声合成システム
SingBySpeaking
VocaListenerNo. 14[Nakano, Goto,Hiraga, 2007-]

MiruSinger

歌声情報処理システムを可能にする技術

 歌唱力向上支援システム

 共通して用いた主要技術• 既存の楽曲のボーカルの歌い方に忠実に歌いたい！
• 混合音中のボーカルを分析して可視化• それに合わせてユーザの歌声も比較表示• リアルタイムに音高（F0）が可視化され、ビブラート区間も表示
ユーザの歌声 自動的に検出された
ビブラート

time
No. 15

質声 識の 認声 の高 化
音 ルの モデ
声 の歌
歌
1. 歌声理解VV（アラインメント）
LyricSynchronizer
VV（歌手の声質）
Singer ID
V
V（ビブラート）
MiruSinger
VV（スポッティング）
Hyperlinking Lyrics
Breath Detection
自動ボーカル抽出手法 [Goto, 1999-]
2. 音楽情報検索
メロディー音高推定手法
V PreFEst によってV（声質類似度） V（ΔF0）
VocalFinderV（口ドラム）
Voice Drummer
様々な楽器音が含まれる混合音からボーカルを抜き出す
3. 歌声合成
V（音声）V（F0軌跡）SingBySpeaking
混合音 V（アラインメント） ボーカル
V（ビブラート）
VocaListenerF0 (log freq.)

既存の楽曲のボーカルの 出
韻
中 抽
識・音 認
音 声
詞 の合 歌歌混

No. 16

歌声情報処理システムを可能にする技術

歌声情報処理システム

 共通して用いた主要技術の 出
韻
中 抽
識・音 認
音 声
詞 の合 歌歌混

 三つのカテゴリ質歌

声 識の 認
声 の歌高 化
音 ルの モデ声 の1. 歌声を聴いて理解するシステム
LyricSynchronizer
Singer ID
MiruSinger
Hyperlinking Lyrics
Breath Detection

1. 歌声理解VV（アラインメント）
LyricSynchronizerV
V（歌手の声質）
Singer ID
V
V（ビブラート）
MiruSinger
V
V（スポッティング）
Hyperlinking Lyrics
Breath Detection
自動ビブラート検出手法[Nakano, Goto, Hiraga, 2006-]
2. 音楽情報検索
V
V（声質類似度） V（ΔF0）
VocalFinder
ΔF0の短時間フーリエ変換（STFT）に基づいてV（口ドラム）
Voice Drummer「ビブラートらしさ」を求める
3. 歌声合成
V（音声）V（F0軌跡）SingBySpeaking
V（ビブラート）
VocaListener
ΔF0 V（アラインメント）
STFT
No. 17

後藤 真孝 （産業技術総合研究所）

2. 歌声に基づく音楽情報検索システム
VocalFinder
Voice Drummer

3. 歌声合成システム
SingBySpeaking
VocaListenerNo. 18No. 3

2010/07/28 SIGMUSスペシャルセッション「歌声情報処理最前線！」

Hyperlinking Lyrics[Fujihara, Goto,Ogata, 2008-]

歌声情報処理システムを可能にする技術 歌詞中の共通するフレーズ間へのリンク作成システム

 共通して用いた主要技術• ある曲の歌詞中のフレーズから別の曲の歌詞中の同一フレーズへとリンクを作成
Song Aの 出
韻
中 抽
識・音 認
音 声
詞 の合 歌歌
混… In your eyes …

ハイパーリンク(1) キーフレーズを抽出(2) キーフレーズを発見(3) ハイパーリンクを作成
No. 19

歌詞が既知の楽曲

歌詞が未知の楽曲

高 化
音 ルの モデ
声 の歌
歌
1. 歌声理解VV（アラインメント）
LyricSynchronizer
VV（歌手の声質）Singer ID
V
V（ビブラート）
MiruSinger
VV（スポッティング）
Hyperlinking Lyrics
Breath Detection
2. 音楽情報検索
自動ボーカル抽出手法[Goto, 1999-]
V
V（声質類似度） V（ΔF0）
VocalFinder
メロディー音高推定手法
PreFEstによってV（口ドラム）
VoiceDrummer
3. 歌声合成様々な楽器音が含まれる混合音からボーカルを抜き出す
V（音声）V（F0軌跡）SingBySpeaking
V（ビブラート）
VocaListener
混合音 V（アラインメント） ボーカル

Song B… In your eyes …

質
声 識の 認声 のNo. 20

歌声情報処理システムを可能にする技術

歌声情報処理システム

 共通して用いた主要技術

 三つのカテゴリの 出韻
中 抽
識・音 認
音 声
詞 の合 歌歌
混歌

質声 識の 認
声 の歌

高 化
音 ルの モデ声 の1. 歌声を聴いて理解するシステム
LyricSynchronizer
Singer ID
MiruSinger
Hyperlinking Lyrics
Breath Detection

1. 歌声理解V
V（アラインメント）
LyricSynchronizerV
V（歌手の声質）
Singer ID
V
V（ビブラート）
MiruSinger
V
V（スポッティング）
Hyperlinking Lyrics
Breath Detection
2. 音楽情報検索
V
V（声質類似度）（ΔF0）
VocalFinder
キーワードスポッティング手法[Fujihara,Goto, Ogata, V
2008-]V（口ドラム）
Voice Drummer
抽出したボーカル中の各キーフレーズの位置を
3. 歌声合成
歌声用音響モデル(HMM)を用いてViterbiアラインメント
V（音声）V（F0軌跡）SingBySpeaking
V（アラインメント）
V（ビブラート）
VocaListenerNo. 21

2. 歌声に基づく音楽情報検索システム
VocalFinder
Voice Drummer

3. 歌声合成システム
SingBySpeaking
VocaListenerNo. 22

Breath Detection[Nakano, Ogata,Goto, Hiraga, 2008-]

歌声情報処理システム

 無伴奏の単独歌唱中のブレス音を自動検出するシステム

 三つのカテゴリ• 検出したブレス音の用途(1) 歌声の収録においてブレスを削除、強調(2) メロディーのフレーズ境界の検出、楽曲の構造分析(3) 歌唱力の自動評価

1. 歌声を聴いて理解するシステム
LyricSynchronizer
Singer ID
MiruSinger
Hyperlinking Lyrics
Breath Detection

 三種類のHMM: ブレス音、有声区間、無音

2. 歌声に基づく音楽情報検索システム
VocalFinder
Voice Drummer

3. 歌声合成システム

ブレス音
Don't lie to me!

I know your heart is untrue

SingBySpeaking
VocaListenerDon't make me suffer any more!

No. 23

後藤 真孝 （産業技術総合研究所）

No. 24No. 4

2010/07/28 SIGMUSスペシャルセッション「歌声情報処理最前線！」

VocalFinder

歌声情報処理システムを可能にする技術[Fujihara, Goto, 2007-] 歌声の声質の類似度に基づく楽曲検索システム

 共通して用いた主要技術
質の 出高 化
韻
声 識
中 抽
音 ル識
・音 認の 認音 声の モデ詞 の声 の合 歌
声 の歌 1999-]
歌
混歌
自動ボーカル抽出手法[Goto,
1. 歌声理解メロディー音高推定手法
によってV PreFEst
V（アラインメント）
LyricSynchronizerV
V（歌手の声質）
Singer ID様々な楽器音が含まれる混合音からボーカルを抜き出す
VV（ビブラート）
MiruSinger
V
Hyperlinking Lyrics
混合音 V（スポッティング） ボーカル
Breath Detection
2. 音楽情報検索
VV（声質類似度） V（ΔF0）
VocalFinderV（口ドラム）
Voice Drummer
3. 歌声合成
V（音声）V（F0軌跡）SingBySpeaking
V（アラインメント）
V（ビブラート）
VocaListener• ユーザの好みの楽曲の歌声に類似した歌声を持つ楽曲を検索・発見

元の楽曲検索された楽曲

No. 25

No. 26

歌声情報処理システムを可能にする技術

歌声情報処理システム

 共通して用いた主要技術

 三つのカテゴリ

質の 出
高 化
韻
声 識
中 抽
音 ル識・音 認の2005-]
音 声の モデ認
歌声の声質モデリング手法
et al.,
詞 [Fujihara,
声合 歌
声ののの歌
歌
混歌
歌声らしさの高いフレームの特徴量（LPMCC、ΔＦ０）を用いて
1. 歌声理解V
V（アラインメント）
LyricSynchronizer 各曲ごとに声質をモデリングしたGMMを学習
V
V（歌手の声質）
Singer ID
歌手Ａ歌手
V
V（ビブラート）
MiruSinger
GMM
GMM歌手Ｂ
混合音Lyrics
ボーカルV
V（スポッティング）
Hyperlinking
GMM
Breath Detection
2. 音楽情報検索
V
V（声質類似度） V（ΔF0）
VocalFinderV（口ドラム）
Voice Drummer
3. 歌声合成
V（音声）V（F0軌跡）SingBySpeaking
V（アラインメント）
V（ビブラート）
VocaListenerNo. 27

1. 歌声を聴いて理解するシステム
LyricSynchronizer
Singer ID
MiruSinger
Hyperlinking Lyrics
Breath Detection

2. 歌声に基づく音楽情報検索システム
VocalFinder
Voice Drummer

3. 歌声合成システム
SingBySpeaking
VocaListenerNo. 28

Voice Drummer[Nakano, Goto,Ogata, Hiraga, 2005-]

歌声情報処理システムを可能にする技術 口（くち）ドラムによるドラム譜入力システム

 共通して用いた主要技術• 口ドラム（ボイスパーカッション）によってドラムパターンを検索の 出韻中 抽
識・音 認
音 声
詞 の合 歌歌混

ドラム音を真似た「ドンタンドドタン」のような発声• 既存の楽曲のドラムパートだけを差し替えて編曲

口ドラム入力「ドンタンドドタン」

後藤 真孝 （産業技術総合研究所）

高 化
音 ルの モデ
声 の歌
歌
1. 歌声理解V
V（アラインメント）
LyricSynchronizerV
V（歌手の声質）
Singer ID
V
V（ビブラート）
MiruSinger
V
V（スポッティング）
Hyperlinking Lyrics
Breath Detection
2. 音楽情報検索
V
V（声質類似度） V（ΔF0）
VocalFinderV（口ドラム）
Voice Drummer
3. 歌声合成
V（音声）V（F0軌跡）SingBySpeaking
HMMに基づく口ドラム認識手法
V（アラインメント）
V（ビブラート）
VocaListener[Nakano,Goto, Ogata, Hiraga, 2005-]

認識結果

No. 29質声 識の 認
声 のNo. 30

No. 5

2010/07/28 SIGMUSスペシャルセッション「歌声情報処理最前線！」

歌声情報処理システム

SingBySpeaking[Saitou, Goto, 2007-]

 話声を歌声に変換する歌声合成システム

 三つのカテゴリ• 歌詞の朗読音声と楽譜情報を入力すると音高、音韻長、歌唱フォルマントを加工して歌声に変換

1. 歌声を聴いて理解するシステム
LyricSynchronizer
Singer ID
MiruSinger
Hyperlinking Lyrics
Breath Detection

変換された歌声話声

2. 歌声に基づく音楽情報検索システム
VocalFinder
Voice Drummer

3. 歌声合成システム
SingBySpeaking
VocaListenerNo. 31

No. 32

歌声情報処理システムを可能にする技術

歌声情報処理システムを可能にする技術

 共通して用いた主要技術の 出韻中 抽識・音 認
音 声
詞 の合 歌歌混

 共通して用いた主要技術
質声 識の 認声 の高 化
音 ルの モデ声 のの 出
歌声の音高（F0）軌跡生成手法
韻中 抽識音高 化
音 ルの モデ
声 の歌
歌混歌(1) オーバーシュート
1. 歌声理解V
V（アラインメント）
LyricSynchronizerV
V（歌手の声質）
Singer ID(2) プレパレーションV
V（ビブラート）
MiruSinger(3) ビブラート + (4) 微細変動
V
V（スポッティング）
Hyperlinking Lyrics
楽譜に対応するF0軌跡
Breath Detection
動的変動成分を付与したF0軌跡
2. 音楽情報検索
V
V（声質類似度） V（ΔF0）
VocalFinderV（口ドラム）
Voice Drummer
3. 歌声合成
V（音声）V（F0軌跡）SingBySpeaking
V（アラインメント）
V（ビブラート）
VocaListener歌歌
1. 歌声理解V
V（アラインメント）
LyricSynchronizerV
V（歌手の声質）
Singer ID
V
V（ビブラート）
MiruSinger
自動歌詞同期手法
Goto, Okuno, 2006-]
V [Fujihara,V（スポッティング）
Hyperlinking
LyricsBreathDetection
話声中の各音素の位置を
2. 音楽情報検索
音響モデル(HMM)を用いてViterbiアラインメントV
V（声質類似度） V（ΔF0）
VocalFinderV（口ドラム）
Voice Drummer
3. 歌声合成
V（音声）V（F0軌跡）SingBySpeaking
V（アラインメント）
V（ビブラート）
VocaListenerNo. 33

質声 識・ 認の 認
音 声
楽譜情報に対して4種類のF0動的変動成分を付与
詞 の声 の合 歌

No. 34

歌声情報処理システム

VocaListener[Nakano, Goto, 2008-]

 歌声を歌声に変換する歌声合成システム

 三つのカテゴリ• ユーザの歌声の音高（F0）と音量を真似るように歌声合成ソフトウェアVOCALOIDのパラメータを推定

1. 歌声を聴いて理解するシステム
LyricSynchronizer
Singer ID
MiruSinger
Hyperlinking Lyrics
Breath Detection

2. 歌声に基づく音楽情報検索システム
VocalFinder
Voice Drummer

3. 歌声合成システム
SingBySpeaking
VocaListenerNo. 35後藤 真孝 （産業技術総合研究所）

No. 36No. 6

2010/07/28 SIGMUSスペシャルセッション「歌声情報処理最前線！」

VocaListener: 歌唱力を補正しながら歌声合成
元歌

音高（声の高さ）

歌声情報処理システムを可能にする技術
 共通して用いた主要技術

合成歌唱

70の 出
韻
中 抽
識・音 認
音 声
詞 の合 歌
歌混68
1. 歌声理解
LyricSynchronizer
Singer ID
MiruSinger
Hyperlinking Lyrics
Breath Detection
2. 音楽情報検索
VocalFinderVoice Drummer
3. 歌声合成
SingBySpeaking
VocaListener

66
6462
時間
歌詞
い ま も せつない

す がたさ が し て いるよNo. 37

VVVV

歌

質
声 識の 認
声 の歌

高 化
音 ルの モデ声 のV（アラインメント）
V（歌手の声質）
V（ビブラート）V（スポッティング）

V

V（声質類似度）

V（ΔF0）V（口ドラム）V（音声）V（アラインメント）

V（F0軌跡）V（ビブラート）

No. 38

歌声情報処理システム

歌声情報処理システム

 三つのカテゴリ

1. 歌声を聴いて理解するシステム

LyricSynchronizer
Singer ID
MiruSinger
Hyperlinking Lyrics
Breath Detection

2. 歌声に基づく音楽情報検索システム

LyricSynchronizer

藤原弘将, 後藤真孝, 奥乃博

Singer ID

藤原弘将, 北原鉄朗, 後藤真孝, 奥乃博MiruSinger

中野倫靖, 後藤真孝, 平賀譲

Hyperlinking Lyrics

藤原弘将, 後藤真孝, 緒方淳

Breath Detection

中野倫靖, 後藤真孝, 緒方淳, 平賀譲

2. 歌声に基づく音楽情報検索システム

VocalFinder
Voice Drummer

3. 歌声合成システム
SingBySpeaking
VocaListener

VocalFinder

藤原弘将, 後藤真孝

Voice Drummer

中野倫靖, 後藤真孝, 緒方淳, 平賀譲

3. 歌声合成システム

No. 39No. 40SingBySpeaking

齋藤毅, 後藤真孝, 鵜木祐史, 赤木正人

V中野倫靖 後藤真孝

Li t

歌声情報処理システムを可能にする技術

おわりに 共通して用いた主要技術

 今後の展望の 出
韻
中 抽
識・音 認
音 声
詞 の合 歌歌混

1. 歌声理解
LyricSynchronizer
Singer ID
MiruSinger
Hyperlinking LyricsBreath Detection
2. 音楽情報検索
VocalFinder
Voice Drummer
3. 歌声合成
SingBySpeaking
VocaListener

後藤真孝

PreFEst

1. 歌声を聴いて理解するシステム

VVVV質歌

声 識の 認
声 の歌

高 化
音 ルの モデ声 の• 歌声は音声と音楽の両方の側面を持つ
いずれの分野の観点からも未解決の研究課題は多い• 音声認識の観点から歌声の自動認識： 技術的に最も難しいクラスの音声認識問題

V（アラインメント）
V（歌手の声質）

歌声は音声よりも概して変動が大きい
歌声と関連し合う伴奏音が大きい
実際、伴奏を伴う歌声の歌詞の自動認識は実現できていないV（ビブラート）V（スポッティング）

V

V（声質類似度）

V（ΔF0）V（口ドラム）V（音声）V（アラインメント）

No. 41

後藤 真孝 （産業技術総合研究所）

V（F0軌跡）V（ビブラート）
No. 42

No. 7

2010/07/28 SIGMUSスペシャルセッション「歌声情報処理最前線！」

おわりにおわりに 今後の展望 今後の展望• 歌声は音声と音楽の両方の側面を持つ• 歌声は音声と音楽の両方の側面を持つ

いずれの分野の観点からも未解決の研究課題は多い

いずれの分野の観点からも未解決の研究課題は多い• 音声認識の観点から• 音声認識の観点から！
究 は ， ロン テ ィ ア研のにフ
報処 理
歌声の自動認識：
技術的に難しくかつ興味深い課題が多い
もま さに
歌声情的
従来主に研究されてきた楽器音に比べ学術 歌声の変動の大きさは並外れている

歌声の自動認識： 技術的に最も難しいクラスの音声認識問題

歌声の自動認識： 技術的に最も難しいクラスの音声認識問題• 音楽の認識・理解の観点から• 音楽の認識・理解の観点から歌声の自動認識： 技術的に難しくかつ興味深い課題が多い
従来主に研究されてきた楽器音に比べ歌声の変動の大きさは並外れている歌声の合成： まだまだ研究途上で課題が多い

歌声の合成： まだまだ研究途上で課題が多い

話声のように言語として内容が伝わる必要がある
声の高さや強さ、声色の動的で複雑な変化歌声としての表現力が求められる
No. 43

話声のように言語として内容が伝わる必要がある
声の高さや強さ、声色の動的で複雑な変化歌声としての表現力が求められる
No. 44

歌声情報処理を研究しませんか？

No. 45後藤 真孝 （産業技術総合研究所）

No. 8