後藤 真孝 （産業技術総合研究所）

音楽情報処理最前線

自己紹介 後藤 真孝 （４２歳）

音楽情報処理最前線:• 産業技術総合研究所 （産総研： さんそうけん）
上席研究員 兼 メディアインタラクション研究グループ長

能動的音楽鑑賞インタフェースと歌声情報処理システム

兼務: 統計数理研究所 客員教授
筑波大学 准教授 (連携大学院)
IPA未踏IT人材発掘・育成事業 プロジェクトマネージャ（PM）• 1992年から20年間、音楽情報処理を研究

産業技術総合研究所• 1998年から14年間、音声インタフェースを研究後藤 真孝@MasatakaGoto
2012/06/14 2012年度人工知能学会全国大会 AIレクチャー：先端AI
No. 1

No. 2

音楽情報処理分野の急速な発展

音楽情報処理分野の急速な発展 音楽情報処理・音楽情報検索分野の重要性の増大

 音楽情報処理・音楽情報検索分野の重要性の増大
 世界中の様々な研究機関・研究者が参入• 「音楽」は産業・文化の面で主要なコンテンツ• 2000年以降、世界的に急増 （FP6, FP7等のプロジェクト多数）• 多様なオンライン音楽配信サービスの普及• 関連国際会議の数も増加

音楽圧縮技術 (MP3) 、携帯型音楽プレーヤの普及

ISMIR, ICASSP, SMC, WASPAA, SAPA,
AdMIRe, MIRUM, LUC, DAFx, NIME, ICMC, ICMPC, etc.

定額制聴き放題の音楽配信サービスも登場• 好きな曲を好きなときに好きな場所で好きなだけ聴ける時代• 国内では情報処理学会 音楽情報科学研究会が最大規模

音楽情報検索・自動分類・推薦に対する潜在的需要
従来未解決で本質的な課題「複数の音が相互に関係しながら時間的な構造を形成して内容を伝える」信号の理解• この世のすべての音楽がデジタル化され情報通信技術によって配信・検索・共有・創作・発信される
No. 3

No. 4

音楽情報処理分野の急速な発展

音楽情報処理分野

 新たな時代に突入： 社会に不可欠な技術として広く認知1940 1950 1960

1970

1980

第一期

1990

対象：MIDI・楽譜

第三期
対象：音響信号・CD

プ
I
ア
ter
ID
イザ
B
ps
用
、ピ
サ
、M
応
Na DD
セ Ｘ７
セ
曲
楽
コ動
d, te/Cクoニ
音 ク組 シン 、Ｄ シン
、
o
/iP
ジッ
グ 源
ル
Cの ッ
es acen st.fm ミクーIA リア ナロ M音 ジタ
音
r
P3 un
a
ミュ ート
F
EN イ
デ
ア
: M : i T タ: G S : L : 初
ップ アア
代 年代
代 年代 代
信
縮
成
N
ト
ー
年
年
年
配
S
圧
合
ク
40 950 960 970 980
ス メディ
楽 音楽 タデ 楽
声
1
1
19
音
デ
1
1
音
メ
歌

音楽家のための技術

アーティストのための技術

今日の商業音楽制作で必要不可欠な技術として広く普及
No. 5• 音楽に関する
信号処理、採譜、音源分離、識別、分析、理解、
検索、推薦、分類、流通、同期、変換、加工、要約、
作曲、編曲、作詞、演奏、伴奏、楽譜認識、
楽音合成、歌声合成、生成、支援、符号化、視覚化、
インタラクション、ユーザインタフェース、
データベース、アノテーション、ソーシャルタグ等

2010

2000

第二期

 研究目的や研究課題は人それぞれで多様

ロ

認識・理解

一般ユーザのための技術

記号処理

能動的音楽鑑賞
インタフェース

本日の
トピック
信号処理

歌声情報処理システム
生成

音楽配信、検索、鑑賞、制作等において必要不可欠な技術
No. 6

2012/06/14 人工知能学会全国大会 AIレクチャー：先端AI

No. 1

後藤 真孝 （産業技術総合研究所）

音楽情報処理最前線

研究目的
 音楽音響信号理解によって能動的音楽鑑賞
インタフェース

エンドユーザの音楽の聴き方を豊かに 音楽鑑賞を より能動的に楽しめるようにより没入して楽しめるようにしたい～ 音楽の聴き方の未来を創る ～No. 7

能動的音楽鑑賞インタフェース

No. 8

能動的音楽鑑賞

技術が音楽鑑賞の形態を変える

 音楽との能動的なインタラクション

 音楽鑑賞の環境が日々進歩• 音楽圧縮技術 (MP3) の普及: オンライン音楽配信サービス• 携帯型音楽プレーヤの普及: 数万曲をいつでもどこでも聴ける• 「能動的」という言葉が音楽の創作を暗示
音楽と能動的にインタラクションできるのは音楽家だけ• 普通、音楽鑑賞は受動的と捉えられがち 音楽音響信号理解技術が日々進歩 音楽音響信号の記録の歴史

記録できない• 音楽ＣＤのような実世界の音楽音響信号を処理可能• 生演奏された楽曲をその場で聴く

様々な楽器音、歌声が含まれる混合音

演奏者へのフィードバック• 音楽理解対象の拡大(拍手、歓声、手拍子等）

時代

テープやＭＤ，ＣＤ
への記録

メロディー, ビート, サビ, ドラム, etc.

• 自分で好きなように録音・編集
曲順を自分で決定f

高音質（ハイファイ）を追求

t…

chorus …
chorus chorus

音質をイコライジング

No. 9

No. 10

我々の研究アプローチ

能動的音楽鑑賞インタフェース
 三つの観点

能動的音楽鑑賞インタフェースの実現

1. 音楽再生
SmartMusicKIOSK
Cindy
LyricSynchronizer 能動的な音楽鑑賞を可能にする

エンドユーザ（非音楽家）向け音楽インタフェース

2. 音楽加工（タッチアップ）

 Research question

Drumix
INTER「音楽音響信号理解研究が音楽の聴き方をどのように能動的で豊かにできるか？」

No. 11

3. 音楽検索・閲覧
Musicream
MusicRainbow
VocalFinder
No. 12

2012/06/14 人工知能学会全国大会 AIレクチャー：先端AI

No. 2

後藤 真孝 （産業技術総合研究所）

音楽情報処理最前線[Goto, 2002-2006]

1. 音楽再生: 再生位置の変更

1. 音楽再生: 歌詞

 最も単純な能動的なインタラクションの一つ[Fujihara, Goto,
Okuno, 2006-]

 歌詞を見たり歌いながら音楽を聴く• 印刷あるいは表示された歌詞を見る• 現在の再生位置を自分で目で追う必要があった• 「次の曲へ頭出し」ボタンを押して興味のない曲を飛ばす より能動的なインタラクションは？

 より能動的なインタラクションは？

• 再生と同期して色が変わる歌詞を見る／クリックする• 楽曲内部で興味のない箇所を飛ばす
インタフェース:

インタフェース:

SmartMusicKIOSK:

LyricSynchronizer:
歌詞と楽曲との自動的な時刻同期

サビ出し機能付き音楽試聴機
音楽理解技術:

音楽理解技術:自動ボーカル抽出＆歌詞同期手法

自動サビ区間検出手法

インタラクション:

インタラクション:

歌詞上の任意の単語をクリックするとそこから再生「音楽地図」を見ながら再生位置を容易に変更
No. 13

No. 14[Yoshii, Goto, Okuno, 2005-][Goto, Goto, 2004-]

2. 音楽加工（タッチアップ）: ドラムス

3. 音楽検索・閲覧: 曲 ユーザによる音楽の軽微で個別な変更（カスタマイズ） 商用オンライン音楽配信サービス• 音質調整つまみ（高域と低域）やグラフィックＥＱの使用• 周波数特性の調整程度しか加工できなかった• 書誌情報（曲名、アーティスト名、ジャンル等）に基づいて楽曲検索や音楽コレクションの閲覧（ブラウジング） より能動的なインタラクションは？

 より能動的なインタラクションは？

• 楽曲間の類似度に基づく能動的なインタラクション

インタフェース:

Drumix:

インタフェース:

ドラムパートのリアルタイム編集機能付き音楽プレーヤ

Musicream:

音楽理解技術:音楽コレクションを能動的に閲覧して好みの楽曲と出会う

自動ドラム音認識手法
自動ビートトラッキング手法

音楽理解技術:音響信号に基づく楽曲間の類似度

インタラクション:

インタラクション:

バスドラムとスネアドラムの音量と音色を変更
楽曲再生中にそのドラムパターンを容易に編集

楽曲の閲覧、検索、発見、管理

No. 15

No. 16

何が本質的に難しいのか？

混合音に対する音高推定の難しさ

 グランドチャレンジ 音がたった一つなら簡単

 ボーカル入りの音響信号

不良設定な逆問題
ある音の周波数成分が同時に鳴っている他の音の成分と重複

周波数（Ｈｚ）

入力
高調

周波数（Ｈｚ）• 複数の音が混ざり合った混合音（複雑な音響信号）の自動理解

波
構
造

+

+

+ ...

+

音高
パワー
No. 17

メロディー

ベース

ピアノ

ギター

混合音の周波数成分

周波数成分

メロディー

周波数成分

メロディーとベース

No. 18

2012/06/14 人工知能学会全国大会 AIレクチャー：先端AI

No. 3

後藤 真孝 （産業技術総合研究所）

音楽情報処理最前線[Goto, 1999-][Goto, 1999-]

PreFEst： 基本アイディア

メロディーとベースの音高推定手法 “PreFEst”
 混合音中で最も優勢な音高 （基本周波数）を推定

 音源数を仮定しない独自のモデル化• 各音高の尤もらしさを最大事後確率推定に基づいて推定• メロディーとベースの音高を推定： 帯域制限して適用

マルチレート信号処理
瞬時周波数低域において最も優勢な高調波構造

混合分布モデル
ＥＭアルゴリズム

対数周波数

バンドパス フィルタ

対数周波数 （cent）

ベース

従来困難だった複雑な混合音に対する音高推定を可能にする

中高域において最も優勢な高調波構造

+

+ +

+ +

時間的な連続性
マルチエージェントモデル
対数周波数

メロディー

+ ...

混合音

メロディー

周波数成分の確率密度関数ベース

No. 19

あらゆる音高の音が混合した分布

音高の確率密度関数

安定な音高

No. 20

混合音に対する音高推定技術の発展[Fujihara, Goto,
Okuno, 2006-]

LyricSynchronizer 音高推定技術 PreFEst [後藤, 1999-2001] の系譜

 自動ボーカル抽出手法 [Goto, 1999-]• 混合ガウスモデルをスペクトルにフィッティング• 周波数方向のモデル化から時間方向のモデル化へ• メロディー音高推定手法 PreFEst によって様々な楽器音が含まれる混合音からボーカルを抜き出す「調波時間構造化クラスタリング法 HTC」 [亀岡, 小野, 嵯峨山, 2005]
PreFEstモデル

混合音

周波数方向
の分布

HTCモデル
時間方向の分布 自動歌詞同期手法 [Fujihara, Goto, Okuno, 2006-]• 抽出したボーカル中の各音素の位置を歌声用音響モデル(HMM)を用いてViterbiアラインメント

時間-周波数平面における分布• モデル選択を不要にし、事前分布も仮定しないですむように「無限潜在的調波配分法 iLHA」 [吉井, 後藤, 2010]
No. 21

階層ノンパラメトリックベイズモデルを周辺化変分ベイズ法で学習

ボーカル

a

o

i

sp

a

a

u

o

u

i

No. 22[Yoshii, Goto, Okuno, 2005-]

能動的音楽鑑賞インタフェース

Drumix 自動ドラム音認識手法 [Yoshii, Goto, Okuno, 2004-]

 三つの観点• ドラム音の発音時刻とスペクトログラムを推定• ドラム音のテンプレートパターンの適応＆マッチングを反復

1. 音楽再生
SmartMusicKIOSK
Cindy
LyricSynchronizer

種となるテンプレート 適応したテンプレート

1. テンプレートに近いドラム音の候補を検出
2. 検出した箇所のスペクトログラムの中央値でテンプレートを更新

2. 音楽加工（タッチアップ）
Drumix
INTER

反復更新

 自動ビートトラッキング手法 [Goto, 1993-1998]

3. 音楽検索・閲覧
Musicream
MusicRainbow
VocalFinder• ドラムパターンを小節単位で扱えるように

No. 23

No. 24

2012/06/14 人工知能学会全国大会 AIレクチャー：先端AI

No. 4

後藤 真孝 （産業技術総合研究所）

音楽情報処理最前線

音楽の聴き方を豊かにしたい

今後の重要な方向性

 「音楽の聴き方が多面的」である以上

 「音楽理解力拡張インタフェース」

豊かにする方法も様々• 音楽の理解力を拡張してくれるインタフェース• 今回の「能動的音楽鑑賞インタフェース」の中にも「音楽理解力拡張インタフェース」があった！

• 多様な能動的音楽鑑賞インタフェースの検討が必要
 豊かにする土台となる「音楽を聴く力」を暗黙の前提

インタフェース:• 「音楽を創作する力」、「音楽を演奏する力」: 音楽家の能力

SmartMusicKIOSK:• 「音楽を聴く力」: エンドユーザの能力

サビ出し機能付き音楽試聴機
インタラクション:• 他人が楽曲中の何の要素をどう聴いているか??

「音楽地図」を見ながら再生位置を容易に変更• 自分が音楽を聴いているときに何がわかっていないのか??
楽曲構造や音楽家の意図を理解する力を拡張 「音楽を聴く力」を向上させる方法は自明でない
No. 25

楽曲構造を意識して聴くきっかけ
サビの繰り返しごとに歌詞やアレンジが変化する様子を把握
No. 26

今後の重要な方向性

今後の重要な方向性

 「音楽理解力拡張インタフェース」

 「音楽理解力拡張インタフェース」• 音楽の理解力を拡張してくれるインタフェース• 今回の「能動的音楽鑑賞インタフェース」の中にも「音楽理解力拡張インタフェース」があった！

• 音楽の理解力を拡張してくれるインタフェース• 今回の「能動的音楽鑑賞インタフェース」の中にも「音楽理解力拡張インタフェース」があった！
インタフェース:

インタフェース:

Drumix: ドラムパートのリアルタイム

LyricSynchronizer:

編集機能付き音楽プレーヤ

歌詞と楽曲との自動的な時刻同期

インタラクション:

バスドラムとスネアドラムの音量と音色を変更
楽曲再生中にそのドラムパターンを容易に編集

インタラクション:

歌詞上の任意の単語をクリックするとそこから再生
歌詞を理解する力を拡張

ドラムパートを聞き分けて理解する力を拡張

歌詞に注目して聴くきっかけ
歌詞が伝えるメッセージをより的確に把握

バスドラム、スネアドラムを聞き分け
ドラムパターンが曲の印象に与える影響を把握

No. 27

No. 28

結局何がわかったか

さらにその次は？

 「音楽理解力拡張インタフェース」を実現する上で 「音楽を聴く力自体の向上・トレーニング」

何が重要か？

• 「音楽理解力拡張インタフェース」で音楽を聴く力を支援する次のステップ• 楽曲が内在している情報の視覚化• 音楽再生と同期した情報表示

音楽を聴く力を向上• 音楽再生や音楽的要素を制御できる
インタラクティブなインタフェース

何をすればいい??

 気づかせてくれるインタフェースは嬉しい

語学学校、語学教材

音楽に関する学校や教材の多くは音楽家がターゲット• ある音楽的要素を気づかせるきっかけを与えてユーザが見過ごしがちな点をサポート

聴音トレーニングや絶対音感の習得も目的が違う• 能動的でインタラクティブだと没入感が得られより深く楽曲と向かい合える
No. 29

外国語を聴く力を向上 「音楽理解力向上インタフェース」を研究しませんか？
No. 302012/06/14 人工知能学会全国大会 AIレクチャー：先端AI

No. 5

後藤 真孝 （産業技術総合研究所）

音楽情報処理最前線

歌声情報処理がアツい！
 「歌声情報処理」 = 歌声を対象とした音楽情報処理• 歌声に関する研究活動が世界的に活発• 学術的な観点からだけでなく、産業応用的な観点からも注目

歌声情報処理システム 日本は歌声情報処理先進国！

• 2007年以来、 歌声合成ソフトウェア（VOCALOID）がヒット• 歌声合成技術に基づく楽曲がニコニコ動画に大量に投稿• 大規模な協調的創造活動が起き続けている～ 音楽の創り方の未来を創る ～• 世界に類を見ない CGMの新たな時代 を切り拓く
CGM: Consumer Generated Media （消費者生成メディア）• 歌声合成技術でメインボーカルを制作したCDが多数発売
No. 31

No. 32

歌声情報処理がアツい！
 様々な本質的な貢献と相乗効果

VocaListener• VOCALOID技術を生み出したヤマハ株式会社の貢献• キャラクタという身体性を合成歌声に持たせたことで「誰が歌っているのか」「誰に歌わせたいのか」を明確にした
クリプトン・フューチャー・メディア株式会社の貢献• 時刻同期コメントによって、視聴者の移り変わる感情をクリエータに伝達できる「ニコニコ動画」という社会装置も重要な役割• クリエータ、リスナ、歌声音源提供者、サポートする方々の活躍• MikuMikuDance等の個人レベルで作成した様々な歌声合成関連ソフトウェアの利用も拡大（ぼかりす）
産業技術総合研究所

中野 倫靖

後藤 真孝

 歌声合成以外にも様々な歌声情報処理技術が広く普及• 歌声の高さ補正、カラオケでの歌声採点機能等
No. 33

No. 34[中野, 後藤, 2008-][中野, 後藤, 2008-]

歌声情報処理: VocaListener （ぼかりす）

歌声情報処理: VocaListener （ぼかりす）
 ユーザ歌唱を真似る歌声合成システム(1) ユーザが歌うお手本を『歌う』ことによって(2) 歌い方を真似て音高（声の高さ）

より自然なニュアンスで音量（声の大きさ）

歌声が合成できるように♪立ち止まる時～

歌声合成システム

VOCALOID のパラメータを調整
No. 35

歌声を合成する(3) 歌がへたでも歌唱力補正できる

人間らしい
合成歌声

♪立ち止まる時～

No. 36

2012/06/14 人工知能学会全国大会 AIレクチャー：先端AI

No. 6

後藤 真孝 （産業技術総合研究所）

音楽情報処理最前線

HRP-4C 未夢が自然な歌声と表情で歌唱
 お手本歌唱を真似る二つの技術により実現

VocaListener で歌う
サイバネティックヒューマン
HRP-4C 未夢HRP-4C VocaListener（ぼかりす）「歌い方」を真似て歌声合成する技術 VocaWatcher（ぼかうお）「顔表情」を真似てロボットの歌唱動作を生成する技術
人間
（お手本）

産業技術総合研究所

ぼかうお

梶田 秀司、中野 倫靖、後藤 真孝、松坂 要佐、

歌い方

中岡 慎一郎、松本 吉央、横井 一仁
No. 37

ロボット
顔表情

ぼかりす
No. 38Songle

能動的音楽鑑賞サービス

ユーザが誤り訂正により貢献可能な能動的音楽鑑賞サービス～ 誰でも使えるWebサービスを目指して ～産業技術総合研究所
後藤 真孝 吉井 和佳 藤原 弘将
Matthias Mauch 中野 倫靖

No. 39No. 40

誰でも手軽にWeb上で能動的音楽鑑賞を！

Songle (http://songle.jp)
 能動的音楽鑑賞サービス Songle （ソングル）

能動的音楽鑑賞サービス• 計算機が音楽を自動理解（解析）して中身を可視化• インタラクティブに音楽鑑賞を楽しめる• Web上で公開中の任意の楽曲 (MP3のURL) を登録可能

Songle http://songle.jp

No. 41

No. 42

2012/06/14 人工知能学会全国大会 AIレクチャー：先端AI

No. 7

後藤 真孝 （産業技術総合研究所）

音楽情報処理最前線

Songle (http://songle.jp)

Songle + SmartMusicKIOSK 産総研独自の音楽理解技術を使用

 サビ出し機能付き音楽試聴機SmartMusicKIOSKを搭載• ４種類の音楽的要素を推定して表示• 楽曲中のサビ区間や繰り返し区間へ頭出しして聴くことが可能

表示された「音楽地図」を見ながら繰り返しや音楽的要素に気づくことができる

楽曲構造

サビ区間

（サビ区間と繰り返し区間）

コード

サビ区間 サビ区間
繰り返し区間（ルート音と和音の種類）

メロディライン（歌声の音高軌跡）

階層的なビート構造（小節の先頭と拍位置）
No. 43

No. 44

音楽理解技術の誤り

効率的な誤り訂正インタフェース
 推定誤りを誰でも自由に訂正して保存・共有できる機能

 推定誤りが不可避• Web上の楽曲は多様だが音楽理解技術には得手不得手がある

楽曲構造

階層的なビート構造

歌声を含むポピュラー音楽を前提
サビ区間
小節の先頭と拍位置

楽曲構造

繰り返し区間（サビ区間と繰り返し区間）

コード

メロディライン（ルート音と和音の種類）

コード

メロディライン（歌声の音高軌跡）

歌声の音高軌跡

階層的なビート構造

ルート音と和音の種類（小節の先頭と拍位置）
No. 45

No. 46

Songleまとめ: 社会的意義

訂正せずに楽しむだけで十分 Songle は誤り訂正を集積するのが目的ではなく

 世界初のWebサービスによりユーザの役に立つ• 研究開発段階の音楽インタフェースや技術を誰でも使えるように

人々の音楽の聴き方を能動的で豊かにするのが目的 音楽理解技術の存在自体への認知度の向上• 訂正せずに能動的音楽鑑賞を楽しむだけでよい• 他の応用事例開拓への波及効果
 音楽理解技術の性能への理解を促す• どういう音楽ジャンルや混合音に対する推定が難しいか Songle で容易に訂正できる人は限られている• 訂正の痕跡を着色することで性能が過大評価されないよう配慮• 訂正する場合でも全部を完璧にせずに一部だけでよい

No. 47

No. 48

2012/06/14 人工知能学会全国大会 AIレクチャー：先端AI

No. 8

後藤 真孝 （産業技術総合研究所）

音楽情報処理最前線

Songleまとめ: 学術的意義

音楽のデジタル化がもたらす真の価値を引き出す

 ユーザの訂正による利便性と利用率向上の探求

 デジタル化された音楽コンテンツが持つ潜在的な可能性• 従来の音楽理解研究にはなかった発想• 音声認識では我々のPodCastle (http://podcastle.jp) が先駆的

• まだ充分には引き出されていない
 多量の楽曲に自在にアクセスできる量的な変化は起きた みんなで訂正する社会的訂正によるポジティブスパイラル• 音楽配信、オンラインストレージ等の普及（１）音楽理解技術に基づくサービスを利用して性能を理解• 膨大な音楽コンテンツをいつでもどこでも視聴可能（２）誤りを訂正してサービス改善にユーザが貢献 デジタル化がもたらす真の価値は質的な変化（３）その改善がより良い音楽鑑賞体験に結びつき（１）がさらに促進• 音楽コンテンツを蓄積するだけでなく計算可能にしていく！
• 変化を起こす鍵となるのが音楽理解技術

従来のゲームの楽しさや金銭的報酬をインセンティブとした
クラウドソーシングのアプローチでは（３）が欠けていた• 音楽の楽しみ方がより能動的で豊かになる質的な変化をエンドユーザの日常生活で起こすことが最終的な目的[Turnbull et al., ’07] [Mandel et al., ’07] [Law et al., ’07][Lee, ’10][Mandel et al., ’10]
No. 49No. 50

是非お試し下さい！

グランドチャレンジ

http://songle.jp
日本語版と英語版が利用できます
Web上で公開中の任意の楽曲 (MP3のURL) を登録できます
No. 51

No. 52[後藤, 2010][後藤, 2010]

グランドチャレンジ

グランドチャレンジ

 「個人ごとに最適な音楽を提供できるか？」 「音楽の流行を予測できるか？」• 音楽の好み、状況、気持ちによって聴きたい音楽が変わる• それらを考慮して、最適な楽曲を新たに生成したり、既存の膨大な楽曲の中から選択• 人々は幸せと喜びを与えてくれる技術を手放せなくなる• ヒット曲の予想は技術的に可能か？
「なぜ売れないのか」のコンサルティングは技術的に可能か？

• グローバル＆ローカルに流行を予測できる技術はまだこれから音楽の中身だけからは判断が難しく
社会的なWeb上の情報を総合的に組み合わせる必要あり

社会的にも大きなインパクト• 世界規模の音楽聴取履歴が得られれば流行予測可能？

• 一から新たな音楽を生成するのは難易度が高い

音楽配信技術の普及により、全楽曲再生の履歴を記録・共有
監視社会的な是非はともかく実現可能性が高まる

既存楽曲の素材・アイディアの再利用（N次創作）• 音楽の再利用やカスタマイズは今後発展するアプローチ• 個人ごとに最適な音楽の提供が可能になったとき何が起きる？

複数の楽曲を巧みに混ぜて組み合わせる「マッシュアップ」

鑑賞対象の音楽の多様化が加速して流行が起きにくくなるのか？
他人が聴く音楽が聴きたくて大規模な流行が起きやすくなるのか？

既存楽曲の要素を改変する「タッチアップ」
No. 53

No. 54

2012/06/14 人工知能学会全国大会 AIレクチャー：先端AI

No. 9

後藤 真孝 （産業技術総合研究所）

音楽情報処理最前線[後藤, 2010][後藤, 2010]

グランドチャレンジ

グランドチャレンジ

 「人間と音楽との関係をより豊かにできるか？」 「音楽自体に新たな進化をもたらすか？」• 人類は初めて、あらゆる音楽へ瞬時にアクセスすることが可能に• 新たな技術（ピアノ、ギター等）の登場が新たな音楽表現を生んできた今後も音楽は蓄積され、アクセス可能な楽曲の数は単調増加

今後も必然的に、新たな音楽表現が生まれ続ける

歴史的必然であり、人々の音楽生活を便利にし、望ましい

楽音合成技術同様、歌声合成技術が普及することは歴史的必然• 過去の膨大な楽曲群の中に埋もれ、聴いてもらいにくい時代• 人類の音楽の音響信号としての複雑度は、単調増加している？

他の作品の影響を受けているのでパクリと勘違いされやすくなる？

一般の人々が快適に感じる複雑度には限界がある• 音楽のオリジナリティの概念の再考• 次の音楽進化の一つの鍵が「マッシュアップ」

楽曲の部分的な要素間の類似度の自動計算が可能に
楽曲同士がいかに似ている要素を多く持っているかが明らかに複数の楽曲（構成音の一部）を素材として重ねて混ぜ合わせ、最初から一つの曲であったかのように融合させる音楽制作手法
受け手の頭の中に既にある音楽の記憶を参照することによって快適に受容可能な複雑度の限界を押し上げることができる• 感動体験中心型の新たな音楽文化を生み出す可能性
音楽で重要なのはオリジナリティや著作権ではない作品の魅力、完成度で、いかに感動を与えるかを重視する時代
No. 55

一から作曲していたら作り出せない複雑な音響信号に到達可能
No. 56[後藤, 2010][後藤, 2010]

グランドチャレンジ

グランドチャレンジ

 「音楽自体に新たな進化をもたらすか？」 「環境問題、エネルギー問題に寄与できるか？」• 人類の音楽の音響信号としての複雑度は、単調増加している？
• 人類の歴史において音楽のテンポも、単調増加している？
• 同じ曲ならテンポが速くなれば曲長が短くなる• 「単位エネルギー当たりの幸せ」という新たな概念を後藤が提唱
今後は「幸せ ÷ エネルギー」が重要になるのでは？
消費エネルギーを減らしつつ幸せを増やす研究開発が今後重要• 音楽等のコンテンツは豊かで人間らしい生活を送る上で不可欠

単位時間あたりに鑑賞できる曲数は増える

幸せや充足感を得る手段の有無は生活の質に直結「膨大な楽曲にアクセスできる時代」には都合が良い• 音楽: 必要エネルギーが少なく繰り返し視聴に耐える良質な娯楽• どこまで速くしても，人間の脳は楽しむことができるのか？
• それを支援・訓練する技術は、どのようなものか？
• もし仮に世界中の音楽のテンポを毎年5 BPM早くしたとしたら？

制作資源・エネルギーはディジタルコンテンツ制作環境で低下• 「N次創作」 や 「マッシュアップ」
既存コンテンツの良い点を凝縮して幸せを増すのに有効な手段

人間の聴覚や脳の能力が追従して向上していくのだろうか？

結果的に、コンテンツがリサイクル（再利用）されるエネルギー効率の良いコンテンツ制作手段に意図せずになっている

No. 57

No. 58

おわりに 音楽情報処理分野での我々の研究事例を紹介
 「能動的音楽鑑賞インタフェース」の研究事例• 音楽の聴き方の未来を創る• 「音楽理解力拡張インタフェース」• 「音楽理解力向上インタフェース」

おわりに 「歌声情報処理システム」の研究事例• 音楽の創り方の未来を創る 能動的音楽鑑賞サービス Songle の紹介• 誰でも使えるWebサービスを目指して
 グランドチャレンジ
No. 59No. 602012/06/14 人工知能学会全国大会 AIレクチャー：先端AI

No. 10

後藤 真孝 （産業技術総合研究所）

音楽情報処理最前線

謝辞
 藤原 弘将 氏
 吉井 和佳 氏
 奥乃 博 氏

音楽情報処理の研究は楽しいので、是非皆様も！

 後藤 孝行 氏
 中野 倫靖 氏(LyricSynchronizer / Songle)(Drumix / Songle)(LyricSynchronizer / Drumix)(Musicream)(VocaListener / VocaWatcher / Songle)

 梶田 秀司 氏、松坂 要佐 氏、中岡 慎一郎 氏、

松本 吉央 氏、横井 一仁 氏 (VocaWatcher) Matthias Mauch (Songle)
 JST CREST CrestMuse、OngaCRESTプロジェクト
 我々の研究を様々な立場から応援して下さる方々
No. 61

No. 62

どうもありがとうございました文献

能動的音楽鑑賞インタフェース•

ご意見 ・ ご感想 はこちらまで•

E-mail: m.goto@aist.go.jp

SmartMusicKIOSK•URL: http://staff.aist.go.jp/m.goto/Masataka Goto: A Chorus-Section Detection Method for Musical Audio Signals and Its
Application to a Music Listening Station, IEEE Transactions on Audio, Speech, andLanguage Processing, Vol.14, No.5, pp.1783-1794, 2006.

LyricSynchronizer•

Twitter: @MasatakaGoto
No. 63Masataka Goto: Active Music Listening Interfaces Based on Signal Processing,Proceedings of the 2007 IEEE International Conference on Acoustics, Speech, andSignal Processing (ICASSP 2007), pp.IV-1441-1444, 2007.
Masataka Goto: Music Listening in the Future: Augmented Music-Understanding
Interfaces and Crowd Music Listening, Proceedings of the AES 42nd International
Conference on Semantic Audio, pp.21-30, 2011.

Hiromasa Fujihara, Masataka Goto, Jun Ogata, and Hiroshi G. Okuno:
LyricSynchronizer: Automatic Synchronization System Between Musical Audio Signals
and Lyrics, IEEE Journal of Selected Topics in Signal Processing, Vol.5, No.6, pp.12521261, 2011.

No. 64

文献


•



•

•

•

Masataka Goto and Takayuki Goto: Musicream: Integrated Music-Listening Interface
for Active, Flexible, and Unexpected Encounters with Musical Pieces, IPSJ Journal,
Vol.50, No.12, pp.2923-2936, 2009.
後藤 真孝, 齋藤 毅, 中野 倫靖, 藤原 弘将: 解説 "歌声情報処理の最近の研究", 日本
音響学会誌, Vol.64, No.10, pp.616-623, 2008.
Masataka Goto, Takeshi Saitou, Tomoyasu Nakano, and Hiromasa Fujihara: Singing
Information Processing Based on Singing Voice Modeling, Proceedings of the 2010
IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP
2010), pp.5506-5509, 2010.



中野 倫靖, 後藤 真孝: "VocaListener: ユーザ歌唱の音高および音量を真似る歌声合成システム", 情報処理学会論文誌, Vol.52, No.12, pp.3853-3867, 2011.

Shuuji Kajita, Tomoyasu Nakano, Masataka Goto, Yosuke Matsusaka, Shin'ichiro
Nakaoka, and Kazuhito Yokoi: VocaWatcher: Natural Singing Motion Generator for a
Humanoid Robot, Proceedings of the 2011 IEEE/RSJ International Conference onIntelligent Robots and Systems (IROS 2011), pp.2000-2007, 2011.
Masataka Goto, Tomoyasu Nakano, Shuuji Kajita, Yosuke Matsusaka, Shin'ichiro
Nakaoka, and Kazuhito Yokoi: VocaListener and VocaWatcher: Imitating a Human
Singer by Using Signal Processing, Proceedings of the 2012 IEEE International
Conference on Acoustics, Speech, and Signal Processing (ICASSP 2012), pp.53935396, 2012.

Songle•後藤 真孝, 吉井 和佳, 藤原 弘将, Matthias Mauch, 中野 倫靖: "Songle: ユーザが誤り訂正により貢献可能な能動的音楽鑑賞サービス", 情報処理学会 インタラクション2012
論文集, pp.1-8, 2012. (ベストペーパー賞)

グランドチャレンジ
••VocaListener•No. 65

Kazuyoshi Yoshii, Masataka Goto, Kazunori Komatani, Tetsuya Ogata, and Hiroshi G.
Okuno: Drumix: An Audio Player with Real-time Drum-part Rearrangement Functions
for Active Music Listening, IPSJ Journal, Vol.48, No.3, pp.1229-1239, 2007.

VocaWatcher

歌声情報処理•Musicream•

文献

Drumix

後藤 真孝: "音楽情報学", 情報処理(情報処理学会誌), Vol.51, No.6, pp.661-668, 2010.
後藤 真孝: 初音ミク，ニコニコ動画，ピアプロが切り拓いたCGM現象, 情報処理(情報処
理学会誌), Vol.53, No.5, pp.466-471, 2012.

No. 66

2012/06/14 人工知能学会全国大会 AIレクチャー：先端AI

No. 11