メディアテクノロジーシリーズ

2社

音楽情報処理
後藤真孝

ロ
ナ

【編著】

北原鉄朗・深山覚・竹川佳成・吉井和佳

コ

【共著】

コロナ社

メディアテクノロジーシリーズ 編集委員会
編集委員長 近藤邦雄（元東京工科大学，工学博士）

編 集 幹 事 伊藤貴之（お茶の水女子大学，博士（工学））編 集 委 員 五十嵐悠紀（お茶の水女子大学，博士（工学））（五十音順）

稲見昌彦（東京大学，博士（工学））牛尼

剛聡（九州大学，博士（工学））大淵康成（東京工科大学，博士（情報理工学））

竹島由里子（東京工科大学，博士（理学））
拓志（東京大学，博士（工学））馬場哲晃（東京都立大学，博士（芸術工学））日浦慎作（兵庫県立大学，博士（工学））

社

鳴海

ロ
ナ

松村誠一郎（東京工科大学，博士（学際情報学））
三谷純（筑波大学，博士（工学））三宅陽一郎（株式会社スクウェア・エニックス，博士（工学））芳明（明治大学，博士（知識科学））（2023 年 5 月現在）

コ

宮下

編著者・執筆者一覧
編 著 者 後藤真孝（6 章）

執 筆 者 北原鉄朗（1，3 章）（執筆順）

竹川 佳成（4 章）

深山覚（2 章）

吉井 和佳（5 章）

刊行のことば“Media Technology as an Extension of the Human Body and the Intelligence”「メディアはメッセージである（The medium is the message）」というマ
クルーハン（Marshall McLuhan）の言葉は，多くの人々によって引用される

社

大変有名な言葉である。情報科学や情報工学が発展し，メディア学が提唱されたことでメディアの重要性が認識されてきた。このような中で，マクルーハンの
この言葉は，つねに議論され，メディア学のあるべき姿を求めてきたといえる。

ロナ

人間の知的コミュニケーションを助けることができるメディアは生きていく
うえで欠かせない。このようなメディアは人と人との関係をより良くし，視野を広げ，新しい考え方に目を向けるきっかけを与えてくれる。
また，マクルーハンは「メディアはマッサージである（The medium is themassage）」ともいっている。マッサージは疲れた体をもみほぐし，心もリラッ

コ

クスさせるが，メディアは凝り固まった頭にさまざまな情報を与え，考え方を広げる可能性があるため，マッサージという言葉はメディアの特徴を表しているともいえるだろう。

さらにマクルーハンは “人間の身体を拡張するテクノロジー” としてメディアをとらえ，人間の感覚や身体的な能力を変化させ，社会との関わりについて述べている。現在，メディアは社会，生活のあらゆる場面に存在し，五感を通してさまざまな刺激を与え，多くの技術が社会生活を豊かにしている。つまり，
この身体拡張に加え，人工知能技術の発展によって “知能拡張” がメディアテ
クノロジーの重要な役割を持つと考えられる。このために物理的な身体と情報や知識を扱う知能を融合した “人間の身体と知能を拡張するメディアテクノロジー” を提案・開発し，これらの技術を活用して社会の構造や仕組みを変革し，

刊 行 の こ と ばii

どのような人にとっても住みやすく，生活しやすい社会を目指すことが望まれている。
一方，大学におけるメディア学の教育は，東京工科大学が 1999 年にメディア学部を設置して以来，全国の大学でメディア関連の学部や学科が設置され文理芸分野を融合した多様な教育内容が提供されている。その体系化が期待されメディア学に関する教科書としてコロナ社から「メディア学大系」が発刊された。
この第一巻の『改訂メディア学入門』には，メディアの基本モデルの構成として「情報の送り手，伝達対象となる情報の内容（コンテンツ），伝達媒体となる
情報の形式（コンテナ），伝達形式としての情報の提示手段（コンベア），情報社の受け手」と書かれている。これからわかるようにメディアの基本モデルには文理芸に関連する多様な内容が含まれている。

メディア教育が本格的に開始され 20 年を過ぎるいま，多くの分野でメディア

ロナ

学のより高度で急速な展開が見られる。文理芸の融合による総合知によって人間生活や社会を理解し，より良い社会を築くことが必要である。
そこで，このメディア分野の研究に関わる大学生，大学院生，さらには社会人の学修のため「メディアテクノロジーシリーズ」を計画した。本シリーズは“人間の身体と知能を拡張するメディアテクノロジー” を基礎として，コンテン

コツ，コンテナ，コンベアに関する技術を扱う。そして各分野における基本的な
メディア技術，最近の研究内容の位置づけや今後の展開，この分野の研究をするために必要な手法や技術を概観できるようにまとめた。本シリーズがメディア学で扱う対象や領域を発展させ，将来の社会や生活において必要なメディア
テクノロジーの活用方法を見出す手助けとなることを期待する。
本シリーズの多様で広範囲なメディア学分野をカバーするために，電子情報通信学会，情報処理学会，人工知能学会，日本ソフトウェア科学会，日本バーチャルリアリティ学会，ヒューマンインタフェース学会，日本データベース学会，映像情報メディア学会，可視化情報学会，画像電子学会，日本音響学会，芸術科学会，日本図学会，日本デジタルゲーム学会，ADADA Japan などにおいて第一線で活躍している研究者の方々に編集委員をお願いし，各巻の執筆者選

刊 行 の こ と ば

iii

定，目次構成，執筆内容など検討を重ねてきた。
本シリーズの読者が，新たなメディア分野を開拓する技術者，クリエイター，
研究者となり，新たなメディア社会の構築のために活躍されることを期待するとともにメディアテクノロジーの発展によって世界の人達との交流が進み相互理解が促進され，平和な世界へ貢献できることを願っている。
2023 年 5 月

近藤邦雄

編集幹事

伊藤貴之

ロ
ナ

社

編集委員長

表紙・カバーデザインについて

私たちは五感というメディアを介して世界を知覚し，自己の存在を認知することができます。メディア技術の進歩によって五感が拡張され続ける中，「人」はなにをもって「人」と呼べるのか，そんな根源的な問いに対する議論が絶えません。
本書の表紙・カバーデザインでは，二値化された五感が新しい機能や価値を再構築する様子をシンプルなストライプ柄によって表現しました。それぞれのストライプはコ

5 本のゆらぎを持った線によって描かれており，手描きのような印象を残しました。
しかし，この細かなゆらぎもプログラム制御によって生成されており，十分に細か
く量子化された表現によって「ディジタル」と「アナログ」それぞれの存在がゆらぐ様子を表しています。乱雑に描かれたストライプをよく観察してみてください。本書を手に取った皆さんであれば，きっともう一つ面白いことに気づくでしょう。
デザインを検討するにあたって，同じコンセプトに基づき，いくつかのグラフィッ
クパターンを生成可能なウェブアプリケーションを準備しました。下記 URL にて公開していますので，あなただけのカバーを作ってみてください。読者の数だけカバー
デザインが存在するのです。世界はあなたの五感を通じて存在しているのですから。

馬場哲晃〈Cover Generator〉 ぜひお試しくださいhttps://tetsuakibaba.github.io/mtcg/（2023 年 5 月現在）

ま え

が

き

「音楽情報処理」は，コンピュータ上で音楽のあらゆる側面を扱う研究分野である。身近で魅力的な研究成果の宝庫で，とても人気が高い。スマートフォン
で音楽を聴いたり，コンピュータで音楽を制作したりできるのは，音楽情報処理が発展したおかげであり，すでに音楽の鑑賞や創作の多くの場面で研究成果が利社用されている。さらに，未来の音楽体験を切り拓くような新しい研究成果もつぎつぎと生まれており，研究者ではない一般の方々も音楽に関連した技術には興味を持ちやすい。音楽がディジタル化され，音楽情報処理の力でつぎつぎとロナ

新しいサービスや体験が生まれていく中で，その産業的な重要性は増している。
音楽情報処理は，学術的にも重要で多くの研究者の関心を集めてきた。それは，音楽が人の創意工夫が込められた多様で複雑な現象であり，それを情報処理するうえで，挑戦的で未解決な問題が多いからである。例えば，人間が音楽を聴いて理解できることの，まだごく一部しかコンピュータで自動的に解析でコ

きないし，人間が創作する魅力的な音楽に匹敵するような楽曲を自動的に生成することはまだできない。それでも，多くの研究者の貢献で着実に研究分野は
進展し，ひと昔前から考えたら夢のような技術が数多く実現されてきた。
本書は，そうした研究分野について，「音楽情報処理」と題して日本語で初めて書かれた書籍である。音楽情報処理への学術的・産業的・社会的・文化的な関心の高さから，これまでさまざまな学会誌等で解説記事が書かれてきたが，研究分野名を書名に冠した書籍はなかった。そこで，本書では，音楽情報処理に関する基礎的な解説に加え，代表的な研究テーマに関して具体的な研究事例を交えながら紹介することとした。そうした書籍では著者も重要となるので，本書では，実際に当分野で長年研究開発をしてきて，かつ，現在も活躍し続けている現役の研究者たちが，それぞれの専門性を活かして執筆することとした。

ま

え

が

き

v

本書は，6 章で構成されている。1 章では，「音楽情報処理の基礎」として，研究分野の全体像や，コンピュータ上での音楽のデータ表現を解説する（北原鉄朗担当）。2 章では，コンピュータが音楽を生成する「自動作曲」について，その発展の歴史や，創造性に対する考え方と実現方法，さらには機械学習を用
いたさまざまな自動作曲事例を紹介する（深山覚担当）。3 章では，人間が作曲をしたり即興演奏をしたりする際のコンピュータの支援方法について，「作曲支援・即興演奏支援」の具体的な研究事例を交えて紹介する（北原鉄朗担当）。

4 章では，楽器に焦点を当て，その演奏を支援する「楽器演奏支援」について，楽器演奏を演奏者が学ぶ支援から，レッスンで教師が指導する支援まで含めて

社

幅広く紹介する（竹川佳成担当）。以上の 2〜4 章が，音楽の創作に関連したトピックだったのに対し，5〜6 章では，音楽の鑑賞に関連したトピックを扱う。

5 章では，コンピュータが音楽を自動的に解析する「自動採譜」について，そのロナ問題の定式化から出発し，ビートやコード，歌声のような主要な音楽要素の推定方法を紹介する（吉井和佳担当）。6 章では，そのような音楽解析技術が，実際に人々の音楽の聴き方をどのように豊かにするのかについて，具体的な「音楽鑑賞インタフェース」の事例を交えて紹介する（後藤真孝担当）。
ぜひ，本書をパラパラとめくって，興味を持った章から読み始めてみていたコ

だきたい。本書の特長として，各章は関連しているものの独立して書かれており，その内容を理解するうえで，前の章まで読んでいることは前提としていな
い。いろいろな章を読み進め，最終的に本書全体を読むことで，音楽情報処理の研究分野に対する理解を深めていくことが可能となっている。
音楽情報処理の研究開発は楽しいので，本書を読んで興味を持った方々には，ぜひ取り組んでいただきたいと願っている。本書を読んだ後に，より発展的に学びたい方々に向けたメッセージも「あとがき」に記している。最後に，本書執筆の機会を与えてくださった「メディアテクノロジーシリーズ」編集委員会
ならびにコロナ社の担当者各位に，著者一同を代表して感謝の意を表する。
2023 年 7 月
編著者

後藤真孝

目

次

1

第

章

音楽情報処理の基礎
1.1.1 音楽情報処理とは

2

1.1.2 音楽情報処理の歴史

3

1.1.3 音楽情報処理の分類

6

社

1.1 音楽情報処理へのいざない . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

ロ
ナ

1.1.4 音楽情報処理で用いられる技術やプログラミング言語
1.1.5 音楽情報処理の研究を知ることができる学会・国際会議

1

8
10

1.2 コンピュータにおける音楽データの表現方法 . . . . . . . . . . . . . . . . . . . . . 14
1.2.1 信 号 と 記 号

141.2.2 音 響 信 号

15

1.2.3 スペクトログラム

コ

17

1.2.4 MIDI

19

1.2.5 ピ ア ノ ロ ー ル

21

1.2.6 MusicXML

23
第

自

2

動

章

作

曲

2.1 自 動 作 曲 と は . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.1.1 創造的な行為の自動化としての自動作曲
2.1.2 創造性の考え方の分類

29

24

目

2.1.3 自動作曲の創造性の実現方法

次

vii

30

2.2 機械学習を用いた自動作曲 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.2.1 音楽と確率・統計

32

2.2.2 自動作曲の定式化

41

2.2.3 自動作曲の解法

41

2.2.4 自動作曲の評価

45

2.3 機械学習を用いた自動作曲の研究事例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
2.3.1 再帰的ニューラルネットワークを用いた研究事例
2.3.2 変分オートエンコーダを用いた研究事例

54

社

2.3.3 敵対的生成ネットワークを用いた研究事例
2.3.4 トランスフォーマを用いた研究事例

3

58

59

章

ロ
ナ

第

50

作曲支援・即興演奏支援

3.1 作 曲 支 援 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.1.1 「誰」が行う「何」を支援するか

63

3.1.2 ユーザも含めて作曲システムと考える

コ

3.1.3 曲線に基づく作曲支援の研究事例

65
69

3.1.4 ループシーケンサに基づく作曲支援の研究事例

72

3.2 即 興 演 奏 支 援 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
3.2.1 即興演奏支援における課題

75

3.2.2 鍵盤型 UI を用いた研究事例

76

3.2.3 旋律概形を用いた研究事例

79

3.2.4 専用デバイスを用いた研究事例
3.2.5 音楽と無関係の行動を用いた研究事例
3.2.6 多様なジャムセッションを実現する

81
82
82

viii

目

次

第

4

章

楽器演奏支援4.1 楽器演奏支援とは . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
4.2 独 習 支 援 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
4.2.1 運指学習を考慮したピアノ学習支援

91

4.2.2 リズム学習を考慮したピアノ学習支援

95

4.2.3 視線情報を用いた打鍵支援からの離脱

97

4.2.4 曖昧情報・虚偽情報の提示によるポジショニング支援からの離脱 100

社

4.2.5 視覚と聴覚を用いたポジショニング学習支援とその離脱
4.2.6 モチベーションを考慮したピアノ学習支援システム

104
107

4.3 レ ッ ス ン 支 援 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .109

ロナ

4.3.1 気づきのアノテーション機能を持つピアノレッスン支援
4.3.2 悪癖発見機能を持つピアノレッスン支援

110

114

4.3.3 カメラスイッチング機能を持つオンラインピアノレッスン支援 116

コ

第

自

5

動

章

採

譜

5.1 基本的な枠組み . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .122
5.1.1 問 題 設 定
5.1.2 統計的アプローチ
5.1.3 性 能 評 価

124
128
133

5.2 ビート・ダウンビート推定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .134
5.2.1 ビート・ダウンビートの定義

135

5.2.2 ビート・ダウンビート推定の手がかり

136

5.2.3 深層推論モデルに基づくアプローチ

137

5.2.4 深層生成モデルに基づくアプローチ

139

目

次

ix

5.3 コード・キー推定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .143
5.3.1 コード・キーの定義

144

5.3.2 コード・キー推定の手がかり

145

5.3.3 深層推論モデルに基づくアプローチ

146

5.3.4 深層生成モデルに基づくアプローチ

148

5.3.5 変分オートエンコーダによる統合

150

5.4 歌 声 採 譜 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .154
5.4.1 ピアノロール推定と楽譜推定
5.4.2 歌声採譜の手がかり

154

156
158

5.4.4 深層生成モデルに基づくアプローチ

160

6

章

ロ
ナ

第

社

5.4.3 深層推論モデルに基づくアプローチ

音楽鑑賞インタフェース

6.1 技術が切り拓く音楽鑑賞インタフェースの発展 . . . . . . . . . . . . . . . . . .163
6.2 楽曲の鑑賞インタフェース . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .164
165

6.2.2 自動音楽同期に基づく音楽鑑賞インタフェース

169

コ

6.2.1 音楽構造解析に基づく音楽鑑賞インタフェース

6.2.3 音源分離に基づく音楽鑑賞インタフェース
6.2.4 能動的音楽鑑賞インタフェース

175

6.2.5 音楽理解力拡張インタフェース

177

171

6.3 音楽コレクションの鑑賞インタフェース . . . . . . . . . . . . . . . . . . . . . . . . . .179
6.3.1 音楽検索インタフェース

180

6.3.2 音楽探索インタフェース

183

6.3.3 音楽推薦インタフェース

192

目

x

あ と

が

次

き . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .197

引用・参考文献 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .199
引 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .216

コ

ロ
ナ

社

索

注 1） 本書の書籍詳細ページ（https://www.coronasha.co.jp/np/isbn/978433
9013726/）から URL リンク集などの補足情報がダウンロードできます。
注 2） 本書で使用している会社名，製品名は一般に各社の登録商標です。
R や TM は省略しています。
本書では⃝
注 3） 本書で紹介している URL は 2023 年 7 月現在のものです。

第

1

章

音楽情報処理の基礎
音楽情報処理とは，その名の通り音楽を対象とした情報処理なのだが，音楽活動（鑑賞，歌唱，演奏，作曲など）の何に着目し，誰（音楽の専門家，非専門家）をターゲットユーザとして研究開発を行うかは，さまざまである。

社

そのため，音楽情報処理という分野にはかなり多彩な研究テーマが含まれる。
本章では，音楽情報処理という研究分野を概観した後，その基礎となる音楽

ロナ

データのコンピュータでの表現方法についても述べる。

1.1 音楽情報処理へのいざない

音楽は，われわれの生活に最も根付いた芸術の一つである。街を歩けば BGMが聞こえてくるし，ひと昔前は音楽 CD などの物理メディア，いまはインターコ

ネット上の音楽配信サービスでさまざまな楽曲が流通し，老若男女問わず音楽を娯楽として楽しんでいる。中には，自ら作曲してインターネット上の動画共有サイトに投稿する人もいる。楽器演奏も，子供の習い事として定番なだけでなく，趣味で演奏をする人も少なくない。
一方，コンピュータやインターネットをはじめとする情報処理技術も，われわれの生活になくてはならないものになっている。多くの人が肌身離さず使っているスマートフォンは，まさにコンピュータそのものであるし，交通機関の運行や銀行の ATM なども，コンピュータで制御されている。また，インター
ネット上の動画共有サイトやショッピングサイト抜きには生活できないという人も少なくないだろう。
この両者，つまり音楽と情報処理技術が組み合わさったとき，何が起こるだ1. 音楽情報処理の基礎

2

ろうか。音楽を対象に情報処理技術を研究する研究分野を音楽情報処理（music

information processing）† といい，じつはすでに半世紀以上の歴史がある。本節では，音楽情報処理がどんな分野なのか，音楽情報処理によって何が可能になるのかを簡単にひも解いてみたい。

1.1.1 音楽情報処理とは音楽を対象とした情報処理技術と聞いて，読者はどんなものを想像するだろうか。すぐに思いつくものは，コンピュータを活用した音楽制作だろう。テレビ
番組などで，音楽制作スタジオで音楽家がインタビューを受けているシーンを見社たことはないだろうか。そんな現場をよく見ると，シンセサイザーやスピーカ，
ミキサなどと一緒にコンピュータが置かれていることに気づくだろう。DAW（digital audio workstation）と呼ばれるソフトウェアを使うことで，電子楽ロナ器で演奏したメロディをコンピュータに取り込んだり，音符を一つひとつコンピュータで入力し，生楽器と遜色のない音色，または生楽器では出せないコン
ピュータならではの音色で奏でたりすることができる。歌唱や生演奏の録音もコンピュータ上で行い，コンピュータ 1 台だけで楽曲を仕上げることも可能である。

コ

一方，音楽制作をしない一般の音楽鑑賞者が直接利用する技術としては，どんなものがあるだろうか。一つは，音楽の検索や推薦であろう。街中で BGMがかかっているときに，それが誰の何という楽曲なのかを知りたいことがある。
そんなときにスマートフォンで録音すると曲名とアーティスト名を調べてくれるアプリがすでに実用化されている。そのほかにも，自分の好みの楽曲を入力すると，それに似た別の楽曲を検索してくれる技術も生まれている。現在，購†「音楽情報処理」に直接対応する英語表現は music information processing であるが，ほかにもさまざまな呼び方がある。例えば，music informatics，music technology などである。computer music も用いられたことがあるが，コンピュータを活用した音楽制作（または制作した音楽）を意味することも多い。また，音楽情報検索に特化した music information retrieval（MIR），R の意味を変更して音楽情報処理研究全体を指すようにした music information research，あるいは音楽以外の音も含めた soundand music computing もよく用いられる。

1.1 音楽情報処理へのいざない3

買情報や評価情報をベースとしたソーシャルフィルタリングに基づくものが先だって実用化されているが，楽曲の中身を解析し，その中身に基づいて検索・推薦する技術の研究も進んでいる。
このように，音楽を対象とした情報処理技術はさまざまな可能性を秘め，すでに一部は音楽制作現場やわれわれの生活に深く入り込んでいる。そんな技術の研究開発を行う研究分野，それが音楽情報処理である。

1.1.2 音楽情報処理の歴史
音楽情報処理の歴史は長く，コンピュータそのものと同じぐらいの歴史があ社る。1950 年代にはすでに，自動で作曲された作品『イリアック組曲』が発表されている。以下，現在までの音楽情報処理のトレンドの変化を簡単に紹介する。
なお，ここで述べられている歴史は網羅的ではないうえに，筆者なりのまとめ

ロナに過ぎないことに留意されたい。

音楽情報処理の歴史において，初期の頃はコンピュータがまだ普及していない
ため，一般の音楽鑑賞者や音楽の非専門家向けというよりは作曲家が自身の表現の幅を広げるための研究や，研究者が基礎的な技術の探求を行う研究が多かった。
形式的なプロセス† によって楽曲を作る試みはアルゴリズム作曲（algorithmic

コ

composition）と呼ばれ，さまざまなアルゴリズムによって新奇な音符列を生み出し，創作活動に用いられてきた。楽音合成（musical sound synthesis）も活発に研究されてきた。1980 年代に世界初のフルディジタルシンセサイザー製品として発売された FM 音源は，1970 年代にスタンフォード大学の研究者によって発表されたものである。その後もさまざまな合成方式が研究され，またそれらに基づく多数の製品が発売されたことで，楽音合成技術は音楽の制作現場には欠かせない技術となっている。また，同時期（1980 年代）に策定された電子楽器間の演奏情報送受信規格 MIDI（musical instrument digital interface）†

ここでは，数理的な処理やアルゴリズムの実行など，作曲者の主観やアイディアを介在させないプロセスを指す。コンピュータでの実行に適しているが，人間が手動で行って
もよい。

4

1. 音楽情報処理の基礎は，研究コミュニティから生まれた技術ではないものの，演奏情報の通信プロ
トコルやデータフォーマットとして，音楽情報処理研究では欠かせないものとなっている。
一方，楽器音や楽曲の音楽音響信号（音の波形）の解析も活発に行われてきた。1960 年代に高速フーリエ変換（fast Fourier transform, FFT）が発明されると，音声（人の声）に対して，音の高さに相当する基本周波数（fundamental

frequency）を推定する研究が生まれ，楽器音に対しても同様の試みがなされるようになった。当初は単音（一つの音のみが同時に鳴っているもの）が対象であったが，1990 年頃からしだいに多重音（複数の音が同時に鳴っているもの）

社に研究対象が広がり，自動採譜（automatic music transcription）という研究テーマが確立されていく。自動採譜の研究は奥深く，2020 年代のいまでも実用化されているとは言い難いが，ディープニューラルネットワークなどの導入にロ
ナ

より，楽器を限定すれば相当高い精度が実現されつつある。

1990 年代以降は，MP3（MPEG-1 Audio Layer 3）をはじめとする高品質のオーディオ圧縮・符号化技術（audio compression and coding technique）
が登場した。これに加えてストレージの小型化・大容量化・低価格化が進んだ
ことが背景となり，2000 年代に携帯型の大容量音楽プレーヤーが普及した。まコ

たちょうどこの時期，インターネット上での音楽配信サービスも登場し，1 曲ごとの販売から，定額制で聴き放題の音楽ストリーミングサービス（現在主流のサブスクリプションサービス）へと発展していった。
このように，音楽を扱う舞台がコンピュータ（音楽プレーヤーも小さなコンピュータである）やインターネット上に移ると，何千・何万もの楽曲をいつでもど
こでも自由に聴ける分，いま聴きたい曲をどのように選び出すかが問題となる。
そこで世界中で研究が活発になったのが，音楽情報検索（music information

retrieval, MIR）である。音楽情報検索の研究の一環として，音楽音響信号の演奏内容（メロディ，リズムパターン，コード進行など）の自動認識や自動音楽
アノテーション（automatic music annotation），指定された楽曲または楽曲
群に似た楽曲を見つける類似楽曲検索（similarity-based music retrieval），好1.1 音楽情報処理へのいざない5

みの楽曲を自動的にリコメンドする音楽推薦（music recommendation），研究用の音楽データベース整備，それらの技術を活用して音楽鑑賞を高度化する音
楽鑑賞インタフェース（music listening interfaces）など，さまざまな研究が行われるようになった。
一方，音楽そのものの形式化を情報処理技術の力を借りて行う試みも行われた。1980 年代に提唱された GTTM（generative theory of tonal music）や暗意実現モデル（implication-realization model）は，それぞれ生成文法，ゲシュ
タルト心理学に着想を得た音楽理論である。これらはのちに，コンピュータ上で実装する試みがなされるようになり，計算論的音楽理論（computational music

社

theory）の構築という研究テーマが生まれることとなった。
2000 年代には，歌声合成（singing voice synthesis）も大きな進化を遂げた。
歌声合成技術の研究開発はその前から行われてきたが，歌声合成技術がキャラロ
ナ

クターを伴う形のソフトウェアとして発売されたこと，そのソフトウェアを用いて制作した音楽作品をアマチュアやプロのクリエイターがインターネット上で発表する環境が整ったことから，爆発的なブームになった。
これらと並行して，リアルタイムに動作する音楽システムの研究も行われてきた。VR/AR 技術やウェアラブル技術を用いた演奏支援システムや音楽表現

コのためのユーザインタフェース（user interface for musical expression），コン
ピュータ上に構築された仮想演奏家とセッションを行うジャムセッションシス
テム（jam session system），人間の演奏に同期しながら伴奏を奏でてくれる自動伴奏システム（automatic accompaniment system）などである。これらのシステムはリアルタイムに動作することが求められるため，低遅延処理，安定した動作，マルチスレッドによる並行処理を行う必要がある。
上で述べたアルゴリズム作曲は，自動作曲（automatic music composition）と呼ばれることが多くなり，作曲家向けの作曲支援研究のほか，非作曲家が手軽にオリジナル楽曲を手に入れることを目指した研究，機械学習の一応用としての研究など，多様な研究が生まれている。特に，2010 年代の第 3 次人工知能（AI）
ブーム以降は，ディープニューラルネットワークの応用例として音楽の自動生索

アルゴリズム作曲
暗意実現モデル

3
5

【う】
歌声合成
歌声採譜

5
154

【え】
【お】

6

ロ
ナ

演奏表情付け音楽のサイコロ遊び
26
音楽の事例検索182
音楽表現のためのユーザ
インタフェース
5
音楽理解技術164
音楽理解力拡張インタ
フェース
177
音楽理解力向上インタ
フェース
179
音響信号処理
9
音響モデル
132
音高推定
126
オンセット強度信号136
オンセットロール 126, 127コ

オーディオ圧縮・符号化技術
4
音機能
79
音機能固定マッピング
79
音楽加工
174
音楽加工インタフェース 174
音楽鑑賞インタフェース
5, 164
音楽検索インタフェース 180
音楽コレクションの鑑賞
インタフェース
164
音楽情報検索4, 143, 180
音楽情報処理2, 3
音楽推薦
5
音楽推薦インタフェース
180, 192
音楽ストリーミングサービス
180
音楽タッチアップ174
音楽探索インタフェース
180, 183【く】
クロスエントロピー 45, 147
クロマベクトル
145

【け】

社

【あ】

引

【か】

階層マルコフモデル
楽音合成
確率変数
隠れマルコフモデル
歌詞同期手法楽曲の鑑賞インタ
フェース
カテゴリカル分布

149
3
124
131
169
164
141

【き】
機械学習
記号表現
基本周波数
教師あり学習教師なし学習協調フィルタリング

9
14
4
130
132
192

計算音楽学
計算論的音楽理論
計算論的創造性
系列対系列モデル
ゲートタイム
言語モデル

123
5
6
155
21
132

【こ】
高速フーリエ変換
コネクショニスト
時間分類
コントロールチェンジ

4
155
19

【さ】
再帰的ニューラル
ネットワーク
50
再現率
134
最尤推定
132
サーストンの一対比較法 48
サ ビ
165
サビ区間検出手法
166
サンプリング周波数15【し】時間畳み込みネットワーク
138
シグモイド関数
137

索

引

217

【て】

【ひ】

ディスカウンティング
37
テイタム
127
ディレイテッド畳み込み 138
定 Q 変換125
適合率134
敵対的生成ネットワーク 58
データオーギュメン
テーション
36
デルタタイム
20
テンポ
135

【す】

【と】

ピアノロール 21, 122, 126
ビタビアルゴリズム
131
ピッチベンド20
ピッチロール
126
ビート
135
ビームサーチ43
ビーム幅
43
ヒューマンコンピュータ
インタラクション87
標準 MIDI ファイル
20
標本化
15
標本化定理
15

推薦エンジン
194
推論モデル
129
ステップタイム
21
スペクトル
125
スペクトログラム17, 18, 124

統計的機械学習123
動的計画法
120, 134, 171
動的ベイジアン
ネットワーク139
トランスフォーマ
59, 138
貪欲法
42

【せ】

【な】

ロ
ナ

社

システムエクスクルーシブ
メッセージ
20
自動音楽アノテーション 4
自動楽譜認識171
自動採譜
4, 122
自動作曲
5
自動伴奏システム
5
ジャムセッションシステム
5, 83
償却型変分推論153
信号表現
14
振幅スペクトル
18

133
131
142
35
132
71

コ

正解率
生成モデル
セミマルコフモデル
ゼロ頻度問題潜在変数モデル
旋律概形【そ】

双方向長短期記憶
ソフトマックス関数

138
147

【た】
対話的進化計算67
ダウンビート135
多重音高推定126
短時間フーリエ変換 18, 125【ち】チャンネルメッセージ20
注意機構
59, 157
長距離依存関係39【ふ】

複素スペクトル
フーリエ変換フレーム
プログラムチェンジ
プロジェクション
マッピング

18
9
18
20
87, 88

ナイキスト周波数125
内容に基づく音楽情報検索
180
内容に基づくフィルタリング
193

ベルヌイ分布137
変分オートエンコーダ
54, 150【の】【ま】

能動的音楽鑑賞インタ
フェース
ノートオフメッセージ
ノートオンメッセージ

窓関数

175
19
19

【は】
バイナリクロスエントロピー
拍節マルコフモデル
パターン認識ハミング検索パワースペクトル
半教師あり学習

【へ】

18

【め】
メルスペクトログラム

126

【ら】
138
155
9
180
18
133

ラプラス分布
ラプラス法

142
36

【り】
離散フーリエ変換
離散変数
リズム採譜
量子化ビット数

17, 125
129
155
15

索

218

引

【る】

【れ】

類似楽曲検索ループシーケンサ

4

♢

【B】

36
37
122 GAN
10 GTTM
154
153
HMM
138
138 IEC

BCE
BLSTM

F 値
FFNN

58
5

【H】

23, 171
136

OMR
OSS

【G】

【P】

PCA
Processing
131 Python

【I】

ロ
ナ

184
10
9

【Q】

67 QBH9147 Julia
125
【M】
155
MATLAB
9
【D】
Max
10
3, 19
2 MIDI
9139 MIDI データ
17, 125 MIDI メッセージ19
4, 143, 180
120, 134, 171 MIR
MOS
47
【F】
MP3
4
9, 23
134 MusicXML
120

コ

DAW
DBN
DFT
DP

【O】

【J】

【C】
CE
CQT
CTC

4
3

社

Add-one スムージング
Add-α スムージング
AMT
Arduino
AST
AVI

129

♢
FFT
FM 音源

【A】

連続変数

64

180

【R】
50

RNN

【S】
18, 125

STFT

【T】
138

TCN

【V】
54, 150VAE【X】
XR(AR, MR, VR)

87

—— 編著者・著者略歴 ——北原 鉄朗（きたはら1993年 早稲田大学理工学部電子通信学科卒業
1995年 早稲田大学大学院理工学研究科修士課
程修了（電気工学専攻）
1998年 早稲田大学大学院理工学研究科博士後期課程修了（電子・情報通信学専攻）
博士（工学）
1998年 電子技術総合研究所研究員
2001年 産業技術総合研究所研究員（改組）2005年 産業技術総合研究所主任研究員
2009年 産業技術総合研究所研究グループ長
2011年 産業技術総合研究所上席研究員
2013年 産業技術総合研究所首席研究員
現在に至る

2002年 東京理科大学理工学部情報科学科卒業
2004年 京都大学大学院情報学研究科修士課程修了（知能情報学専攻）
2007年 京都大学大学院情報学研究科博士後期課程修了（知能情報学専攻）
博士（情報学）2010年 日本大学講師
2014年 日本大学准教授
2020年 日本大学教授
現在に至る

深山 覚（ふかやま

竹川 佳成（たけがわ

さとる）

コ

吉井 和佳（よしい かずよし）

2003年 京都大学工学部情報学科卒業
2005年 京都大学大学院情報学研究科修士課程修了（知能情報学専攻）
2008年 京都大学大学院情報学研究科博士後期課程修了（知能情報学専攻）
博士（情報学）2008年 産業技術総合研究所研究員
2013年 産業技術総合研究所主任研究員
2014年 京都大学講師
2018年 京都大学准教授
現在に至る

てつろう）

よしなり）

2003年 三重大学工学部情報工学科卒業
2005年 大阪大学大学院情報科学研究科博士前期課程修了（マルチメディア工学専攻）
2007年 大阪大学大学院情報科学研究科博士後期課程修了（マルチメディア工学専攻）
博士（情報科学）2007年 神戸大学助教
2012年 公立はこだて未来大学助教
2014年 公立はこだて未来大学准教授
2022年 公立はこだて未来大学教授
現在に至る

ロ
ナ

2008年 東京大学理学部地球惑星物理学科卒業
2010年 東京大学大学院情報理工学系研究科修士課程修了（システム情報学専攻）
2013年 東京大学大学院情報理工学系研究科博士課程修了（システム情報学専攻）
博士（情報理工学）
2013年 産業技術総合研究所研究員
2017年 産業技術総合研究所主任研究員
2023年 産業技術総合研究所企画主幹
現在に至る

社

後藤 真孝（ごとう まさたか）Music Information Processing社

音楽情報処理ロナ

c Goto, Kitahara, Fukayama, Takegawa, Yoshii 2023⃝
2023 年 9 月 28 日 初版第 1 刷発行

検印省略

編 著 者
著
者

コ

発 行 者
印 刷 所
製 本 所

★

後
藤
真
孝
北
原
鉄
朗
深
山
覚
竹
川
佳
成
吉
井
和
佳
株式会社
コ ロ ナ 社
代 表 者
牛 来 真 也
三 美 印 刷 株 式 会 社
株式会社
グ リ ー ン

112–0011 東京都文京区千石 4–46–10
発 行 所 株式会社 コ ロ ナ 社
CORONA PUBLISHING CO., LTD.
Tokyo Japan
振替 00140–8–14844・電話（03）3941–3131（代）
ホームページ https://www.coronasha.co.jp

ISBN 978–4–339–01372–6 C3355 Printed in Japan（松岡）＜出版者著作権管理機構 委託出版物＞
本書の無断複製は著作権法上での例外を除き禁じられています。複製される場合は，そのつど事前に，出版者著作権管理機構（電話 03-5244-5088，FAX 03-5244-5089，e-mail: info@jcopy.or.jp）の許諾を得てください。
本書のコピー，スキャン，デジタル化等の無断複製・転載は著作権法上での例外を除き禁じられています。
購入者以外の第三者による本書の電子データ化及び電子書籍化は，いかなる場合も認めていません。
落丁・乱丁はお取替えいたします。