初音ミクとN次創作に関連した音楽情報処理研究

初音ミクとN次創作に関連した音楽情報
処理研究
VocaListenerとSongrium

Music information processing research related to Hatsune Miku and N-th Order Derivative
Creation
VocaListener and Songrium

後藤 真孝1

中野 倫靖1

濱崎 雅弘1GOTO Masataka1; NAKANO Tomoyasu1; HAMASAKI Masahiro1
1 産業技術総合研究所 情報技術研究部門（〒305-8568 茨城県つくば市梅園1-1-1 中央第2 産業技術総合研究所 情報技術研
究部門）E-mail: m.goto[at]aist.go.jp
1 Information Technology Research Institute, National Institute of Advanced Industrial Science and Technology (AIST) (IT, AIST,
1-1-1 Umezono, Tsukuba, Ibaraki 305-8568)
原稿受理（2013-12-05）
情報管理

56(11), 739-749, doi: 10.1241/johokanri.56.739 (http://dx.doi.org/10.1241/johokanri.56.739)

著者抄録
本稿では，初音ミクと N 次創作に関連した音楽情報処理の研究事例として，歌声合成技術 VocaListener と音楽視聴支
援サービス Songrium を紹介する。VocaListener は，初音ミク等の歌声合成ソフトウェアを用いて，録音された人間の歌声の事例からその歌い方（声の高さと声の大きさ）をまねて自然な歌声を合成する技術である。Songrium は，オリジナル楽曲とそれらの N 次創作結果である派生作品といったさまざまな関係性を可視化できる音楽視聴支援サービスである。本稿ではさらに，より未来を見据えて自動創作と自動鑑賞の可能性を考察することで，音楽がもたらす感動の本質的な要因についても議論する。

キーワード
歌声合成，初音ミク，CGM，N次創作，音楽情報処理，歌声情報処理

1. 初音ミクとN次創作

めて日本に誕生した。これは，ヤマハ株式会社の歌
声合成技術「VOCALOID2」1）～ 3）に基づいてクリプト「人間の歌声でなければ聴く価値がない」という旧

ン・フューチャー・メディア株式会社が歌声合成ソ

来の価値観が打破され，「合成された歌声がメイン

フトウェア「初音ミク」4）～ 6） を2007年8月31日に発ボーカルの楽曲を積極的に楽しむ文化」が世界で初売したことによって引き起こされた。このソフトウェ
アを購入すれば，誰でも自分の楽曲を歌わせること

動画は，HTML版でご覧ください。

ができるため，アマチュアを中心とした多くのクリ情報管理 vol. 56 no. 11

2014

739

情報管理

JOHO KANRI
2014
vol.56 no.11

Journal of Information Processing and Management

http://johokanri.jp/

February

エーターによって，合成された歌声をメインボーカ

得られ，クリエーターの励みになるため9），初音ミ

ルとする楽曲が次々と発表された。

ク等の楽曲や動画の作品を発表する場として最適でしかも，発売元が「初音ミク」という名前の仮想あった。

の歌手をイメージしたアニメ風のキャラクターのイ

このニコニコ動画の場で，クリエーターと視聴者

ラストをソフトウェアパッケージの箱に描き，そのの創意工夫の相乗効果により多様な二次創作が生まキャラクターを誰でも合法的に非商用利用できるよ

れた。例えば，歌声合成による元楽曲を人間が歌っ

4）。こうして権利を的確にたり，演奏したり，踊ったりする実写動画や，そのうにライセンスを整備した

開放したことで，多様な連鎖反応が起きた。例えば，

実写の踊りをさらにC Gキャラクターで再現した動画

キャラクターや楽曲のイメージのイラストを描いた等も発表されている。こうした創作が創作を呼び起

り，他のクリエーターが作った楽曲に対して新たなこす連鎖反応（集団的創造現象）は「N次創作」と呼映像を付けて動画にしたり，キャラクターのイラス

ばれる10）。その本質にはコミュニケーションの要素

トをスライドショーのように自分の曲に付けて動画もあり，「この作品に対して，私はこういう作品を二にしたりする「二次創作」（派生した著作物の創作）

次創作して応えよう」といった掛け合いのような創が盛んに取り組まれた。こうした権利を開放する流

作の連鎖が起きている。その過程で複数の作品の良れは，初音ミク以降に次々と発売された他の歌声合いところが掛け合わされて良質な作品が生まれ，さ成ソフトウェアでも受け継がれている。

らに人気が高まっていった。

このように，歌声合成の手軽さと特徴的な歌声，
キャラクター等が人気を呼び，多くの人々が初音ミ
クやその周辺の技術・文化・現象に興味をもって多2. 初音ミクとN次創作に関連した音楽情報
処理研究

彩な活動をしたことで，未来を切り拓く画期的な素晴らしい現象が起き続けている7）。これは「初音ミ以上のC G M現象では，日本の技術・社会・文化のク現象」とも呼ばれ，今日では，歌声合成技術が普すべての強みが結集したと思えるような明るい未来

及することは歴史的必然であると確信できる状況とが築かれつつあり，音楽情報処理研究者の立場からなった8）。

の研究開発も活発に取り組まれている。特に，音楽一般の人々が活発に創作活動を繰り広げて内容

情報処理分野の部分領域である「歌声情報処理」11）

が 生 成 さ れ て い く こ の よ う な メ デ ィ ア は，C G M

は以前から研究開発が進んでいたが，初音ミクの登（Consumer Generated Media，消費者生成メディア）

場以降，社会的な関心が高まり，さまざまな大学やと呼ばれる。歌声合成に関連した創作を促進し，連企業，研究機関，個人が参入してきている。このほ鎖反応が盛り上がる場として貢献したのがC G M作

かにも，ニコニコ動画上での創作活動も研究されて品を中心とした動画共有サービス「ニコニコ動画」

おり，例えば，初音ミク関連のN次創作における協調（http://www.nicovideo.jp/video_top/）である。そ的創造活動（引用関係や役割等）が分析された12）。

こでは，動画の視聴を共通体験としたうえでの，作以 下， そ う し た 初 音 ミ ク とN次 創 作 に 触 発 さ

品内の時刻に同期したコメント（時刻同期コメント）

れ た わ れ わ れ の 研 究 事 例 と し て， 歌 声 合 成 技

等によるメタレベルのコミュニケーションを，視聴術V o c a L i s t e n e r13），14） と 音 楽 視 聴 支 援 サ ー ビ ス

者同士で，あるいは動画のクリエーターと視聴者間

Songrium15），16）を紹介する。

で楽しむことができる。動画作品を投稿すると，時
刻同期コメントが視聴者からフィードバックとして740

初音ミクとN次創作に関連した音楽情報処理研究

3. お手本歌唱の歌い方をまねる歌声合成
技術VocaListener（ぼかりす）

合成が可能になった。さらに，ユーザーによる合成
結果の微調整を容易にする技術も開発した。
VocaListenerは，以下の2つの特長をもつ。

13）
，
14）は，
VocaListener（ボーカリスナー，
略称「ぼかりす」）（1）反復推定に基づく歌声合成パラメーター推定技「初音ミク」などの歌声合成ソフトウェアを用いて，録音さ術によって，合成結果の品質が向上し，歌声合れた歌声の事例からその歌い方（声の高さと声の大きさ）

成ソフトウェアやその音源（歌手の声）を容易をまねて歌声が合成できる技術である。人間がお手本をに切り替えて合成可能「歌って示す」ことで，より自然なニュアンスで歌声が合

VocaListenerを実現するうえで難しいのは，歌唱事成できる。従来は，人間らしい自然な歌声を合成しようと例の歌い方の分析結果（声の高さと大きさ）を，そ

すると，その細かいニュアンスを表現するために，楽譜とのまま歌声合成ソフトウェアにパラメーターとして歌詞を入力した後に，歌声合成パラメーターをユーザー与えても，音源（歌手の声）によって声の高さと大が人手で長時間調整しなければならないことが多かった。

きさが異なって合成されることである。これは歌声

その楽譜入力と調整をVocaListenerにより自動化すること合成ソフトウェアが通常，多数の短い歌声波形の断で，調整時間が大幅に減少し，調整に関する知識をもたな

片を切り貼りして合成音を出す仕組みをもち，前後いユーザーでも高品質な歌声合成結果を得ることが容易

関係にも依存した非線形な動作をするからである。

となった（図1）。これによりユーザーは，合成された歌声

そこでVocaListenerでは，あたかも何度も発声練習す

によってどのような表現をしたいのか，どのようなメッセー

るかのように，合成音を再度取り込んで分析し，意ジを伝えたいのかに，より注力して歌声が合成できるよう図したとおりでない部分のパラメーターを補正してになる。

再度合成する処理を何度も反復することで，歌い方

われわれはVocaListenerを実現するために，反復推を高精度にまねた歌声合成を実現した。これにより，定に基づく歌声合成パラメーター推定技術を開発し歌声合成ソフトウェアやその音源（歌手の声）を切た。この技術によって合成結果の品質が向上し，歌り替えても，その新たな声に合わせて自動的に再度声合成ソフトウェアやその音源（歌手の声）を切りパラメーターが調整されるため，多様な歌声で容易替えても再調整せずに自動的に歌声が合成できるよに合成できるようになった。

うになった。その際，歌詞と歌声の自動対応付け技（2）歌詞と歌声の高精度な自動対応付け技術により，術によって，楽譜を一切入力しなくても歌うだけで楽譜を一切入力しなくても歌詞のテキストに合わせて歌うだけで合成可能歌唱事例において，歌詞のどこをいつ歌っているかを自動的に対応付けることで，歌詞の各音節の音
高（声の高さ）を推定し，音符化して歌声合成用の楽譜表現を生成可能にした。その自動対応付け技術の精度を向上させるために，多量の歌声に音節の記号をラベル付けし，歌声専用音響モデル（歌声特有の音響的な響き方を学習したモデル）を構築した。
これにより，ユーザーが音符とその音節を1つひとつ

図1

VocaListenerの処理概要

人間の歌声と歌詞を入力して，その歌い方に近くなるように歌声合成パラメーターを反復推定して歌声合成する。

入力してタイミングを調整しなくても，歌うだけでタイミングが最適に調整された音符列を得ることが情報管理 vol. 56 no. 11

2014

741

情報管理

JOHO KANRI
2014
vol.56 no.11

Journal of Information Processing and Management

http://johokanri.jp/

February

可能になり，利便性が向上した。

創作した膨大な数の音楽コンテンツが公開されていVocaListenerは，産業技術総合研究所が単独で研究るが，ユーザーがそれらの中から関心のある動画を開発をして2008年に発表した成果であるが，2012年

見つける手掛かりとして，音楽コンテンツ同士がも10月19日にヤマハ株式会社から製品名「VOCALOID3

つ関係性，例えばオリジナル楽曲と派生作品との間

Job Plugin VocaListener」として発売が開始され，誰にある派生関係や，楽曲の類似関係，クリエーター

でも購入すれば利用可能な技術となった。動画1に，の人間関係など多様な関係性を活用できる音楽視聴

VocaListenerのデモンストレーション動画を示す。ほ

支援システムはなかった。

かにも，さまざまな合成結果のデモンストレーショ

Songriumは，Webマイニング技術および音楽理解

ン動画がhttp://staff.aist.go.jp/t.nakano/VocaListener/

技術に基づき，動画共有サービス（ニコニコ動画，

index-j.htmlで閲覧できる。

Y o u T u b e）上の音楽動画60万件以上の関係性を抽出

4. 音楽コンテンツの関係性を可視化する

し可視化することができる。これは派生関係を可視化する「惑星ビュー」機能や，楽曲間の関係性をユー

音楽視聴支援サービスSongrium（ソンザーが自由に追加できる「矢印タグ」機能，曲調やグリウム）

歌声の特徴に基づく楽曲群や派生作品群の可視化機能をもつ音楽視聴支援システムであり，誰でも利用「Songrium（ソングリウム）」（http://songrium.

できるW e b上のサービスとして公開した。ユーザー

j p）15），16） は，W e b上の動画共有サービスで公開さは一連の可視化機能によって明らかになる多様な関れている音楽コンテンツ（オリジナル楽曲を収録し係性を手掛かりに楽曲や派生作品と出会うことがでた動画や，その「N次創作」の派生作品となる動画）

きる。さらに試聴を容易にするサビ出し機能や，さ間の関係性を可視化し，さまざまな「つながり」をまざまな形態でSongriumを利用するためのインター

意識しながら鑑賞できる音楽視聴支援サービスであフェース（自動連続再生，
ブラウザ拡張）も実現した。

る。2013年8月27日に一般公開し，実証実験を開始

動画2に，これらの機能を紹介するS o n g r i u mのデモしているので，誰でも無料で利用できる。

ンストレーション動画を示す。

動画共有サービスの普及により，クリエーターが

動画1 VocaListenerのデモンストレーション動画（http://www.youtube.com/watch?v=XpOINZcWkh4）

742

Songriumは，以下の3つの特長をもつ。

動画2 Songriumのデモンストレーション動画（http://www.youtube.com/watch?v=9Uc4Tz99INE）

に歌声合

初音ミクとN次創作に関連した音楽情報処理研究（1）音楽コンテンツのつながりを意識した鑑賞を実現する「関係性ブラウジング」

してきたかも知ることができる。
「矢印タグ」は，ある楽曲が別の楽曲に対してどのW e bマイニング技術により，ニコニコ動画の場合

ような関係にあるのかをテキストで自由に記述してには「初音ミク」などの歌声合成ソフトウェアを用共有する仕組みである。一般的なソーシャルタギング

いている約10万件のオリジナル楽曲を発見して登録

ではコンテンツ単体に対してタグ付けするのに対し，

するとともに，それらと派生関係にある約50万件の矢印タグは2つのコンテンツ間の関係に対してタグ付作品群を自動的に抽出して登録した。そして，自動けできる特長をもつ。同一作者の次回作やデビュー抽出された楽曲と派生作品との関係を「惑星ビュー」

作のようなW e bマイニング技術で発見できる関係にによって可視化した（図2）。さらにそうした派生関

ついては，矢印タグとして自動生成される。それに係に加え，オリジナル楽曲間の任意の関係性を「矢加えて，ユーザーが自由に矢印タグを追加できるイ

印タグ」として可視化することができる。矢印タグ

ンターフェースによって，自動処理では発見が難しはユーザーが誰でも付与して共有することができい楽曲間の多様な関係も共有することができる。

る。ユーザーがSongriumに登録された楽曲を選ぶと，（2）楽曲の中身を自動解析した結果を利用した音楽

関係性が可視化された画面を見ながら，元の動画共

星図，サビ出し機能などによる鑑賞支援

有サービス上にある楽曲やその派生作品の動画をス

音楽理解技術によって楽曲の中身を自動的に解析

トリーミング再生して楽しむことができる。

した結果を利用した以下の鑑賞支援機能により，さ「惑星ビュー」では，派生作品の種類や視聴回数がらに豊かな鑑賞を可能にする。

色やサイズなどで直感的に表されており，楽曲によっ（a）音 楽 星 図： 楽 曲 の 曲 調 を 分 析 し，2次 元 平て見た目が大きく変わる。このような派生作品群の面上で曲調の似た曲を近くに配置することで，可視化により，オリジナル楽曲を視聴しているだけ

Songriumにすでに登録された音楽動画60万件のでは気付きにくい派生作品が発見できる。さらにオ

うちオリジナル楽曲にあたる10万曲を俯瞰でき

リジナル楽曲がどのような種類の派生作品を生み出る「音楽星図」を実現した（図3）。曲調が似た曲を発見したいときには，音楽星図上で近くに存在する楽曲をクリックすると，それが中央に

図2

オリジナル楽曲の「惑星ビュー」と「矢印タグ」の表示例

中心の丸いサムネイル画像がオリジナル楽曲を，その周りを回転す
図2 オリジナル楽曲の「惑星ビュー」と「矢印タグ」の表示例
るカラフルな複数の円形図形が派生作品群を示している。楽曲を中中心の丸いサムネイル画像がオリジナル楽曲を，その周りを回転心とした同心円はそれぞれが派生作品の回転軌道を表している。回するカラフルな複数の円形図形が派生作品群を示している。楽曲を
転半径は派生作品の投稿時期を示しており，新しい派生作品ほど外中心とした同心円はそれぞれが派生作品の回転軌道を表している。
側にある。円形図形の大きさは派生作品の再生回数，色は派生作品
回転半径は派生作品の投稿時期を示しており，新しい派生作品ほ
の種類（例えば青色は楽曲を歌唱した派生作品，赤色は楽曲に合わ
ど外側にある。円形図形の大きさは派生作品の再生回数，色は派せて踊った派生作品）を意味する。中央の楽曲に向けて伸びている
生作品の種類（例えば青色は楽曲を歌唱した派生作品，赤色は楽
直線は矢印タグを示しており，矢印タグ上にある丸いサムネイル画
曲に合わせて踊った派生作品）を意味する。中央の楽曲に向けて像はつながったもう一方の楽曲を示している。この矢印タグをたど伸びている直線は矢印タグを示しており，矢印タグ上にある丸いサることで次々に楽曲を視聴できる。
ムネイル画像はつながったもう一方の楽曲を示している。この矢印
タグをたどることで次々に楽曲を視聴できる。

図3 楽曲の曲調を自動解析して「音楽星図」として可視化した例
約10万曲のオリジナル楽曲が，曲調の近さに基づいて2次元平面上に配置されている。地図サービスのように，マウス操作でスクロールやズーミングをして楽曲を探索できる。再生回数の多い楽曲は丸い
図3 楽曲の曲調を自動解析して「音楽星図」として可視化した例
サムネイル画像で表示されている。

約10万曲のオリジナル楽曲が，曲調の近さに基づいて2次元平面上に配置されている。地図サービスのように，マウス操作でスク
ロールやズーミングをして楽曲を探索できる。再生回数の多い楽曲
は丸いサムネイル画像で表示されている。
情報管理 vol. 56 no. 11 2014

743

情報管理

JOHO KANRI
2014
vol.56 no.11

Journal of Information Processing and Management

http://johokanri.jp/

February

移動してきて視聴できる。
（b）歌声の男女度：同一楽曲をさまざまな歌手が歌唱した派生作品群（以下，歌唱動画）に対して，歌声の音響的特徴から男女度（男声らしいか女声らしいかを示す指標）を自動推定し，その結果を可視化する機能を実現した（図4）。この機能によって，男女度の違いを俯瞰しながらさま

図5

サビ出し機能の使用例

楽曲構造を可視化することで，任意のサビ区間や繰り返し区間を押してジャンプしながら効率的に試聴できる。左下の「サビJUMP」ボ
タンを押して「次のサビ区間の頭出し再生」もできる。

ざまな歌唱動画を聴き比べることができる。ただし，ニコニコ動画上の音楽コンテンツのみにスを用意した。

対応している。

（a）自動連続再生インターフェース「バブルプ（c）サビ出し機能：楽曲中で一番代表的な盛り上

レーヤ」：ユーザーが指定した期間に投稿されたがる主題の部分である「サビ」を容易に見つけ楽曲群を自動連続再生できる。投稿日時順に楽て試聴できる「サビ出し機能」を実現した（図5）。これはわれわれが研究開発中の能動的音楽鑑賞サービス「Songle（ソングル）」（http://17）の「サビ出し機能」と連携している。
songle.jp）

曲が次々と出現して増えていく様子をアニメー
図5 サビ出し機能の使用例
ション表示しつつ，再生回数などユーザーが指楽曲構造を可視化することで，任意のサビ区間や繰り返し区間を押してジャンプしながら効率的に試聴できる。左下の「サビJUMP」ボタ
定した条件を満たした楽曲群の一部分を順次再ンを押して「次のサビ区間の頭出し再生」もできる。

生して紹介することで，1つのムービーのように自動解析したサビの位置の誤りにユーザーが気視聴することができる（図6）。これにより動画

付いた場合は，それをSongle上のインターフェー

共有サービス上のトレンドの変遷が容易に俯瞰スで訂正することで，Songrium上の表示も正しできる。ただし，ニコニコ動画上の音楽コンテ

くなる。

ンツのみに対応している。

（3）音楽視聴支援サービスを多様なインターフェー
スで利活用（b）ブラウザ拡張「Songrium Extension」：「ブラウザ拡張」機能に対応したW e bブラウザを使用

W e bマイニング技術，音楽理解技術，さらにユー

しているユーザーに対して，Songrium専用のブザー入力によって得られた関係性をより多くのユーラウザ拡張を提供する。これによりSongriumに

ザーに利用してもらうために，多様なインターフェー

アクセスしなくても，ニコニコ動画やY o u T u b e
上でオリジナル楽曲や派生作品を閲覧するだけ
で，直接，サビ出し機能等のSongriumの機能の一部を使用できる。

5. 自動創作と自動鑑賞の可能性
女声らしさの高い派生作品が多いオリジナル楽曲

男声らしさの高い派生作品が多いオリジナル楽曲

図4 楽曲を歌唱した派生作品における歌声の男女度分布の表示例
歌唱動画の派生作品は，動画共有サービス上で作品数も視聴回数も多く，人気が高い。歌唱動画同士では曲自体には違いがないので，声質や歌い方の違いが重要となる。画面中央の赤や青の円形図形は歌唱動画を表しており，上にあるほど歌声の女声らしさが高く，下にあるほど男声らしさが高い，と自動推定されている。このように歌声の声質を可視化することで，ユーザーは歌声の違いを意識しな
がらさまざまな歌唱動画を聴き比べやすくなる。

744

冒頭で述べたように，「人間の歌声でなければ聴く図4 楽曲を歌唱した派生作品における歌声の男女度分布の表示例

価値がない」という旧来の価値観が打破され，「合成

歌唱動画の派生作品は，動画共有サービス上で作品数も視聴回数も多く，人気が高い。歌唱動画同士では曲自体には違いがないので，声質や歌い方の違いが重要となる。画面中央の赤や青の円形図形は歌唱動画を表しており，上にあるほど歌声の女声らしさが高く，下にあるほど男声らしさが高い，と自動推定されている。このように歌声の声質を可視化することで，ユーザーは歌声の違いを意識しな
がらさまざまな歌唱動画を聴き比べやすくなる。

された歌声がメインボーカルの楽曲を積極的に楽しむ文化」が誕生したのは衝撃的であった。それと同時に，音楽情報処理の発展が今後も別の既存の価値観を打破し，さらに新たな文化を生む可能性を感じ

間を押
」ボタ

初音ミクとN次創作に関連した音楽情報処理研究を楽しむ文化においては，作者が人間であるか，計算機であるかを，音以外の証拠からつかむことは不可能になった。これまでも，歌声以外の楽器音は電子楽器で合成可能になり，非専門家には区別のつかない高いクオリティとなって音楽制作で用いられてきたが，少なくともメインボーカルの歌声からそこに人間の介在が確信できた。しかし，メインボーカ
ルとして歌声合成が受け入れられた現在，もはや，完全に全自動で歌が作られて動画共有サービスに投稿されても，気付くことができない環境でわれわれは音楽を楽しんでいるのである。この環境では，計
図6

指定期間のオリジナル楽曲群をムービーのように鑑賞する「バブルプレーヤ」の画面例

図6 指定期間のオリジナル楽曲群をムービーのように鑑賞する
ユーザーが期間を指定すると，動画共有サービスにその間に投稿さ「バブルプレーヤ」の画面例
れた楽曲群が投稿日時順に現れ，投稿された楽曲群の変遷を俯瞰でユーザーが期間を指定すると，動画共有サービスにその間に投稿きる。楽曲はそれぞれ1つのバブル（着色された円形図形）で表されされた楽曲群が投稿日時順に現れ，投稿された楽曲群の変遷を俯ており，楽曲の投稿に合わせて次々とバブルが増えて集まっていく瞰できる。楽曲はそれぞれ1つのバブル（着色された円形図形）でアニメーションが表示される。バブルの色は使用されている歌声合
表されており，楽曲の投稿に合わせて次々とバブルが増えて集まっ
成ソフトウェアの歌声ライブラリの種類を，大きさは再生回数を表ていくアニメーションが表示される。バブルの色は使用されている歌している。
声合成ソフトウェアの歌声ライブラリの種類を，大きさは再生回数を表している。

算機が音楽（歌詞，歌唱，伴奏）を自動生成して投稿した作品であっても，人間が気付かずに再生してコメントを付ければ，計算機側は再生数やコメントの内容を自動理解して改善の手掛かりとして活用できる。改善しながら何度も作品投稿を繰り返すこと
で，よりよい作品が自動生成できるようになる潜在的な可能性を秘めている。

させてくれた。では，より進んだ1つの究極的な可能

さらに，現在の技術ではその実現可能性はまだ低性として，「計算機が自動的に創作して，計算機が自くても，計算機が本当の意味で歌い始めたら，つまり，動的に鑑賞する未来」はありえるのだろうか。音楽

何らかの感情と解釈されうる状態をもち，それを自がもたらす感動の本質を考察するためにその議論を己主張として歌で表現し始めたとしたら，われわれ試みる。

人間はどのように思うのだろうか。あるいは，もし「音
楽の自動生成」という言葉に抵抗はあっても，その5.1 自動創作

自動生成の仕組みが実は，人間が作品として発表しまず，「自動創作」から考える。例えば，さまざまている膨大なC G M作品のN次創作であり，人間と計な未来の可能性の1つとして，楽曲や歌詞すら技術の算機との「仮想合作」と呼べる状態だったらどうか。

力によって全自動で生成され，それを人々が積極的

つまり，膨大なユーザーがC G M文化の中で創り出すに楽しむ文化も誕生するかもしれない。すでにさま楽曲が膨大な曲数（例えば数百万曲）に達し，それざまな研究者が自動作曲に向けた研究開発に取り組らの楽曲に対する自動音楽理解結果に基づいて新たんでいるものの，現時点では，われわれ自身も「人な素晴らしい作品が自動生成されたときに，われわ間の作品だからこそ楽しめる」という考えを捨てにれ人間はどのように思うのだろうか。

くい。しかし，「人間の歌声でなければ聴く価値がない」という旧来の価値観が打破された以上，「人間の作品でなければ聴く価値がない」という価値観が打破されない保証はない。
すでに，動画共有サービスで歌声合成による作品

5.2 自動鑑賞
以上の議論では，少なくとも聴衆としては人間を前提にしていた。しかし，聴衆が計算機という可能性もあるのだろうか。「自動鑑賞」が可能になった未情報管理 vol. 56 no. 11

2014

745

情報管理

JOHO KANRI
2014
vol.56 no.11

Journal of Information Processing and Management

http://johokanri.jp/

February

来を考える。
現在の計算機による音楽の自動理解の研究では，も受容して楽しめる範囲での変容の可能性の方が高いであろう。

音楽音響信号中に表現されるさまざまな音楽的要素
や現象を記述したり，ジャンル分類やタギング，感情等の事前に学習したラベルを付与したりする取自動創作のような技術によって創作された音楽は，り組みが多い。動画共有サービス「ニコニコ動画」

どういう感動をもたらすのであろうか。それが純粋の時刻同期コメントと音楽との関係を機械学習しに素晴らしければ受け入れられるのか，それとも潜て，音楽に対してコメントを自動生成するシステム

在的にはいくら感動できる音楽であったとしても，「MusicCommentator」18）も実現された。しかし，音人間が創作していないと聴衆が知ってしまった段階

楽を人間と同じように好みや価値判断までともなうで，感動できなくなるのだろうか。

形で「鑑賞」するような技術は，実現されていない。

コンテンツ全般（ここでは音楽）がもたらす感動

このように現在の技術ではその実現可能性はまだ低には，少なくとも以下の3つの要因が絡み合っている

いが，もしそれが可能になったとしたら，われわれという仮説をわれわれは考えている19）。

人間はどのように思うのだろうか。

（i）コンテンツ自体の感動

人間は，自分が音楽を創作した後に，その作品をコンテンツそのものによって純粋に引き起こされ「人間が聴いてくれる」ことに価値を感じる。作品をる感動である。そのコンテンツが創作された過程表現すること自体に価値を感じて誰にも聴いてもらや，それが社会的，文化的にどういう意味をもっわない場合もあり得るが，通常は，作品に表現したているのかには無関係に感じられる感動といえる。

何らかのメッセージや気持ちを他の人間が受けとめ（ii）オリンピック的感動てくれたり，それがコミュニケーション的な役割を

同じ生身の人間が創作しているとわかっている

果たしてくれたりすることを期待する。したがって，からこその感動である。例えば，いくら早弾き

これも自動創作同様，現時点では，人間ではなく「計のすごい演奏を含む音楽であっても，それが計算機が聴いてくれる」としても，そこに価値は感じ

算機によって自動演奏されていると知っていれにくい。しかし，これも「人間の聴衆でなければ聴ば感動しないが，人間が目の前で演奏していれいてもらう価値がない」という旧来の価値観としてば感動する。それは，オリンピックで選手が走っ打破される可能性がないとは言い切れない。

ている横を，自動車で走ってゴールに到着してさらには，「自動創作」と「自動鑑賞」がともに技も感動しないのと同様であり，オリンピックで術的に可能になった未来においては，計算機が創作は自分と同じ人間がその行為をしている点が，して，計算機が鑑賞する状況もあり得る。人間が鑑感動を生んでいる。

賞するのが前提でなければ，聴覚器官や人間の理解

746

5.3 音楽がもたらす感動とは（iii）文脈的感動力の制約を受けなくなり，テンポが極めて速くなっコンテンツがおかれた文脈を知っていることにたり音響表現が極めて複雑になったりするなど，音より生まれる感動である。同じコンテンツであっ楽表現が変容していく可能性すらある。それはS F的ても，それが誕生した社会的，文化的，個人的で興味深いが，現実には，そうした未来でも人間が背景を知っていることで，人々は感動すること

創作し，人間が鑑賞する世界は続くはずである。そがある。この状況でこういう表現をしたコンテ

うであれば，これまで同様，新たな技術の登場が新ンツだから，あのコンテンツの影響を受けて生

たな音楽表現を生んでいく変容は起きつつも，人間

まれたコンテンツだから，あの人がこうしたい初音ミクとN次創作に関連した音楽情報処理研究という理由で創作したコンテンツだから，感動（ぼかりす）」でも類似した議論はあった。本技術にする場合がある。上記の「オリンピック的感動」

よる自然な歌声合成結果の楽曲に対して，（i）「コン

も，「創作過程という文脈」に特化した文脈的感

テンツ自体の感動」で純粋に高く評価する人々がい動という解釈もできる。

た一方で，それが手作業によるパラメーター調整で

本稿では上記の3つを取り上げたが，感動には他のなく技術の力だと知ったことによって，（i i）「オリン

要因もある。例えば，ほかの人との共同体験である

ピック的感動」が失われて低い評価に転じる人々もことによって得られる感動（この人と一緒にこの曲いたのは興味深い（ただし，実際にはこの技術を使っうれが聴けて嬉 しいというような感動）などがあげられた場合でも，クリエーターの裁量で表現を調整したる。文脈的感動に近いが，文脈がコンテンツ側でなく，り工夫したりできる余地が多く，いずれ理解が進め鑑賞者側にある。

ば（i i）の感動も広まる可能性はある）。また，われわ

従来は，（i）～（iii）の感動は切り分けることは困難

れの歌声合成文化の発展を真に願う気持ちや長年のであった。コンテンツが発表されるときには，誰が取り組みを知っている方々からは，（iii）「文脈的感動」

どういう形で発表しているかが見えやすかったからを感じて高い評価をいただく場合もあり得る。

である。しかし，現在では，例えば動画共有サービスに創作した音楽の動画を投稿した場合，（i）の純粋

6. おわりになコンテンツ自体の感動があれば，高い評価を受けられる可能性がある（ただし，埋もれて高く評価さ初音ミク現象やN次創作を引き起こすC G M現象は，れない場合も多い）。さらに，コンテンツ創作過程も技術の発展が新たな価値観や文化を生み出した事例

公開すれば，（i i）のオリンピック的感動の可能性が増として大きなインパクトを与えてきたが，現在も多様

えるし，ある文脈に意図的に位置付けて発表すれば，性を増しながらさまざまな形で広がり続けている。

（iii）の文脈的感動を引き起こせる可能性がある。

技術や文化が発展していくうえで，多様であること，

では今後，技術がより一層進歩して，自動創作が多様な価値観が共存共栄することは重要である。

可能になったり，音楽の創作や演奏などが手軽になっ

例えば，歌声合成技術が発展すると「人間の歌手て誰でも可能になったりしたときに，人はどう感動

はいらなくなるのか」についてしばしば議論されるするのだろうか。もし純粋に（i）のコンテンツ自体

が，われわれ人類が歌うことをやめない以上，歌手の感動を感じられるならば，その観点では，何ら変がいらなくなるとは思えない。人は，強制されて歌わらない感動が得られるであろう。逆に，もしそこうわけでなく歌いたいから歌っているし，聴き手も，に（i i）のオリンピック的感動が不可欠なのだとする

この人（好きな歌手，友だち，自分の子供）が歌うと，感動できなくなる可能性がある。それが非常にから，と思って聴くからである。単に歌声合成とい簡単に創作されたと知ってしまうと，高く評価しにう選択肢が増えて表現が多様になるだけであり，すくい気持ちが生じる場合があるからである。その状

べてが歌声合成になってしまって多様性が失われる

況下でも，例えば，初音ミクのようなキャラクター（擬のは望ましくない。

人化した仮想の身体性をもつ存在）がコンテンツを合成された歌声がもつ表現力においても多様性は創作したと受け止められれば，（iii）の文脈的感動と（i）

重要であり，3章で紹介したVocaListener（ぼかりす）のコンテンツ自体の感動が得られるのかもしれない。

を使った自然な合成結果よりも，使わない人工的な3章で述べた，人間が歌うだけで手軽に自然な歌声

合成結果の方が，むしろ歌声合成らしさが強くて人が合成できるわれわれの歌声合成技術「VocaListener

間の歌手とは違う表現として好ましいという価値観
情報管理 vol. 56 no. 11

2014

747

情報管理

JOHO KANRI
2014
vol.56 no.11

Journal of Information Processing and Management

http://johokanri.jp/

Februaryをもつ人々もいる。こうした自然さを増す技術もあ

これは技術の力で切り拓かれつつある新たな世界

くまで選択肢を増やす手段なのであって，合成されであり，単に「歌やキャラクターを好む人々のためた歌声すべてが自然になってしまうのは，むしろ不の趣味的な世界」だとみなすと，この本質を見誤る。

自然なのである。初音ミクが発端となったC G M現象

実際，本現象に注目している研究者には，これまで

は，海外にもより一層広がりつつあり，今後，世界のキャラクターを中心とした文化にはなじみが薄く，中の多様な価値観・文化・表現・技術を尊重し合う

初音ミクで初めて議論している人々も多い。日本がことで，さらなる未来が切り拓かれていく。

海外に対して圧倒的に先行しているこの日本発の現

初音ミク現象には，人と人をつなげるハブ（h u b）

象を今後どう発展させていけるかは，1人ひとりの行の効果があり，異分野にいる人々が，初音ミクや歌動にかかっている。本稿をきっかけに，より多くの声合成をキーワードに次々とつながってきた。クリ

人々がこの技術の力で切り拓かれつつある新たな世

エーター同士も，N次創作のように多くのコンテン界に興味をもち，さまざまな形でそのさらなる発展

ツが絡み合う過程で交流が促進され，視聴者を交えに関わっていただければと願っている。

たコミュニケーションも活発である。4章で紹介したSongriumが，そうした「つながり」をより深めてい謝辞

く場としても機能することをわれわれは目指していSongriumのインターフェースデザインとWebサーる。学術的な研究開発だけでなく，周辺のソフトウェ

ビスの実装を担当していただいた石田啓介氏に感ア・ハードウェア開発や動画ランキング制作なども謝する。本研究の一部は科学技術振興機構（J S T）

活発で，さまざまなコラボレーションが生まれる土CRESTの支援を受けた。

壌となっている。

参考文献
1) Kenmochi, Hideki; Ohshita, Hayato. Vocaloid ― Commercial Singing Synthesizer Based on Sample
Concatenation, in Proc. of Interspeech 2007. 2007, p. 4009-4010.
2) 剣持秀紀. 歌声合成の過去・現在・未来:「使える」歌声合成のためには. 情報処理（情報処理学会誌）.
2012, vol. 53, no. 5, p. 472-476.
3) 剣持秀紀. 歌声合成システムVOCALOIDの開発. システム／制御／情報（システム制御情報学会誌）. 2012,
vol. 56, no. 5, p. 244-248.
4) 伊藤博之. 初音ミクas an interface. 情報処理（情報処理学会誌）. 2012, vol. 53, no. 5, p. 477-482.
5) 剣持秀紀. 歌声合成技術の動向 ―「初音ミク」を支える技術 ―. 日本音響学会誌. 2011, vol. 67, no. 1, p.
46-50.
6) 後藤真孝.「初音ミク」はなぜ注目されているのか. 電気学会誌. 2012, vol. 132, no. 9, p. 630-633.
7) 後藤真孝. 初音ミク，ニコニコ動画，ピアプロが切り拓いたCGM現象. 情報処理（情報処理学会誌）. 2012,
vol. 53, no. 5, p. 466-471.
8) 後藤真孝. 音楽情報学. 情報処理（情報処理学会誌）. 2010, vol. 51, no. 6, p. 661-668.
9) 戀塚昭彦. ニコニコ動画の創造性: 動画コミュニティサービス「ニコニコ動画」の5年間. 情報処理（情報処理学会誌）.2012, vol. 53, no. 5, p. 483-488.

748

初音ミクとN次創作に関連した音楽情報処理研究

10) 濱野智史. ニコニコ動画はいかなる点で特異なのか:「擬似同期」「N次創作」「F l u x o n o m y（フラクソノミー）」.情報処理（情報処理学会誌）.2012, vol. 53, no. 5, p. 489-494.
11) 後藤真孝, 齋藤毅, 中野倫靖, 藤原弘将. 歌声情報処理の最近の研究. 日本音響学会誌. 2008, vol. 64, no. 10, p.
616-623.
12) 濱崎雅弘, 武田英明, 西村拓一. 動画共有サイトにおける大規模な協調的創造活動の創発のネットワーク分
析 ― ニコニコ動画における初音ミク動画コミュニティを対象として. 人工知能学会誌. 2010, vol. 25, no.
1, p. 157-167.
13) 中野倫靖, 後藤真孝. VocaListener: ユーザ歌唱の音高および音量を真似る歌声合成システム. 情報処理学会
論文誌. 2011, vol. 52, no. 12, p. 3853-3867.
14) 後藤真孝, 中野倫靖, 梶田秀司, 松坂要佐, 中岡慎一郎, 横井一仁. 人間の歌い方を真似る歌声合成システム
VocaListenerとロボット顔動作生成システムVocaWatcher. システム／制御／情報（システム制御情報学
会誌）.2012, vol. 56, no. 5, p. 249-255.
15) 濱崎雅弘, 後藤真孝. Songrium: 関係性に基づいて音楽星図を渡り歩く音楽視聴支援サービス. WISS 2012
論文集. 2012.
16) Hamasaki, Masahiro; Goto, Masataka. Songrium: A Music Browsing Assistance Service Based on
Visualization of Massive Open Collaboration Within Music Content Creation Community, in Proc. of the
9th International Symposium on Open Collaboration (WikiSym + OpenSym 2013). 2013, p. 1-10.
17) 後藤真孝, 吉井和佳, 藤原弘将, Matthias Mauch, 中野倫靖. Songle: 音楽音響信号理解技術とユーザによる誤り訂正に基づく能動的音楽鑑賞サービス. 情報処理学会論文誌. 2013, vol. 54, no. 4, p. 1363-1372.
18) Yoshii, Kazuyoshi; Goto, Masataka. MusicCommentator: Generating Comments Synchronized withMusical Audio Signals by a Joint Probabilistic Model of Acoustic and Textual Features, in Proc. of ICEC
2009. 2009, p. 85-97.
19) 後藤真孝. 招待講演「未来を切り拓く音楽情報処理」.情報処理学会研究報告（音楽情報科学）.2013, v o l .
2013-MUS-99, no. 33, p. 1-9.

Author Abstract
In this paper we introduce two examples of music information processing research related to "Hatsune Miku"
and N-th Order Derivative Creation: a singing synthesis technology "VocaListener" and a music browsing
assistance service "Songrium". VocaListener is a technology that uses singing synthesis software like "Hatsune
Miku" to synthesize natural singing voices by imitating the pitch and dynamics of recorded examples ofhuman singing voices. Songrium is a music browsing assistance service that visualizes various kinds ofrelations, such as relations among both original songs and their derivative works generated from the N-th
Order Derivative Creation. This paper then examines future possibilities of automatic creation and automatic
appreciation and also discusses essential factors of emotional, touching experiences elicited by music.

Key words
singing synthesis, Hatsune Miku, CGM, N-th Order Derivative Creation, music information processing, singing
information processing

情報管理 vol. 56 no. 11

2014749