songmash
http://songle.jp

http://songmash.jp

音楽の中身を自動解析する
能動的音楽鑑賞サービス

マッシュアップ音楽の創作支援サービス

・ 人々が音楽理解技術の力でポピュラー音楽をより深く理解して楽しめるようにするサービス
・ ニコニコ動画、YouTube の音楽動画、ピアプロ、Sound
Cloud、MP3 に対応し、100 万曲以上を自動解析済み（閲覧時の音楽は元のウェブサイト上で再生）・ 解析誤りを候補選択などにより訂正して保存・共有可能
・ サビ出し機能で楽曲中のサビや繰り返し区間へ頭出し可能

・ 複数の異なる楽曲を巧みに混ぜ合わせて自然に聞こえるよう音楽を制作する音楽制作手法「マッシュアップ」を支援
・ ピアプロ、SoundCloud の 8 千曲以上を自動解析済み
・ 興味を持った楽曲断片があればすぐ配信元で詳しく聴ける・ 断片提供による新たな音楽プロモーション手段へ発展可能

Songleの楽しみ方

Songmashの楽しみ方

マッシュアップ鑑賞・創作を新たな音楽発見（推薦）手段へ

1

☟サビ区間

楽曲構造
コード

☝根音とコードタイプ

メロディ☟歌声の音高☟拍と小節の先頭

ビート構造

音楽の中身を可視化した「音楽地図」を見ながら鑑賞

Songle Widget による音楽連動制御
音楽理解
技術

ウェブ上の曲からマッシュアップを自動生成

2

楽曲
ウェブ上の音楽コンテンツ再生

3

ユーザ（ウェブブラウザ）

音楽地図
楽曲構造の可視化
サビ出し機能音楽連動制御ブラウザベース開発フレームワーク Songle Widget

マッシュアップの編集

音楽連動制御のための API（Application Programming Interface）

編集結果の公開・共有

マッシュアップ音楽の作り方
入力楽曲

TextAlive

Songrium3DV-sido×Songle（ロボットダンス）

...

楽曲１
楽曲２
楽曲３

一般公開 API で、プログラミングできれば誰でも音楽に連動した世界を実現可能

出力楽曲

Songle プロジェクト : 後藤 真孝 / 川崎 裕太 /井上 隆広 / 吉井 和佳 / 中野 倫靖

Songmash プロジェクト :後藤 真孝 / 川崎 裕太 / Matthew Davies

謝辞 藤原 弘将 氏、Matthias
Mauch 氏、櫻井 稔 氏

上記サービス・技術に関するお問い合わせは songle-ml@aist.go.jp（Songle）songmash-ml@aist.go.jp（Songmash）まで
閲覧時の音楽（マッシュアップ音楽を含む）は Songle、Songmash を経由せずストリーミング再生されるため、元のコンテンツが削除されると再生できません

コード進行が調和してテンポが同期するよう楽曲断片を加工
・時間長を変えず音高を変更
・音高を変えずに時間伸縮➡区間毎に多様な楽曲から断片を選んで同時再生させる

謝辞 Graham Percival 氏

TextAlive
http://textalive.jp

みんなで創作を楽しめる、ウェブブラウザ上で動く
歌詞アニメーション制作支援サービス
歌詞アニメーション = 音楽と共に歌詞の内容を魅力的に伝える動画の演出手法
・ 音楽と同期して歌詞がアニメーションする Kinetic Typography の一種
・ 従来、タイミング調整と効果的な動きの設計を文字ごとにする必要があった
・ 歌詞カードや単なるカラオケ表示と比べて、制作に膨大な手間が必要だった「魅力的だが、制作が難しい & 手間が膨大だった」問題を TextAlive が解決！

TextAlive の楽しみ方

1

ウェブ上の曲の歌詞アニメーションを自動生成23

ブラウザ上でさらに編集

プログラミングで拡張

動画制作者は、直感的なユーザインタフェースで演出を詳しく思い通りに変更できる。

プログラマは、演出内容を決めるアルゴリズムをアニメーション再生中に編集できる。

既存の作品も自由に編集して、 TextAlive の機能を強化して、みんなで創作を楽しめる。
みんなの演出力を高められる。

TextAlive を支える技術･音楽理解エンジン･歌詞同期エンジン

音楽理解技術に基づく歌詞アニメーションの自動生成

歌詞アニメーションの直感的な編集

テンプレート（演出アルゴリズム）のライブプログラミング

プログラミング環境技術に基づく動画のリアルタイム合成･編集

TextAliveプロジェクト : 加藤 淳 / 中野 倫靖 / 後藤 真孝

謝辞 上記の図では、ピアプロ・キャラクター・ライセンスに基本サービス・技術に関するお問い合わせは textalive-ml@aist.go.jp まで
歌詞アニメーション閲覧時の音楽は TextAliveを経由せずストリーミング再生されるため、元のコンテンツが削除されると再生できません

クター「初音ミク」を使用した。イラストは典樹氏によるもの。

づいてクリプトン・フューチャー・メディア株式会社のキャラ

songrium
http://songrium.jp

膨大な音楽コンテンツを、可視化で楽しみながら様々な視点で鑑賞できる音楽視聴支援サービス
音楽星図

超歴史プレーヤ

Songrium3D

音楽史の流れを時系列にそって追体験 音楽星図を三次元 CG で表現────バブルアニメーションであの頃の ビートや音楽構造と連動した視覚流行りを可視化。
的演出を楽しめる。

歌声リレー再生コメント分析

音響特徴量の類似関係を元に平面配置された楽曲を、夜空の星々のように探索できる。
惑星ビューで派生作品の様子も俯瞰できる。

生成力ランキング

一つの楽曲を多様な歌声でリレーをするように連続再生。

スマートプレーヤ「か わ い い」「高 音 綺 麗」な ど、気になるコメントを元に動画を次々視聴できる。

Songrium を支える技術
ウェブマイニングによる音楽コンテンツの自動収集・分類

生成力がある（派生作品が多 投稿期間やマイリスト数、ジャンルく作られる）楽曲を見つけ出 タグなどの絞り込み条件で連続再生。
せる新しい楽曲ランキング。 サビだけを次々に聴くこともできる。

音楽理解技術による音楽コンテンツの自動解析

Songriumプロジェクト : 濱崎 雅弘 / 石田 啓介 / 後藤 真孝 / 中野 倫靖 / 佃 洸摂 / 深山 覚
本サービス・技術に関するお問い合わせは songrium-ml@aist.go.jp まで / 閲覧時の音楽は Songrium を経由せずストリーミング再生されるため、元のコンテンツが削除されると再生できません

技術が切り拓く音楽体験の未来
音楽情報処理技術に基づく 4 つの鑑賞・創作支援サービス

音楽の中身を自動解析して理解する
http://songle.jp

膨大な音楽コンテンツを可視化する
http://songrium.jp

歌詞アニメーション作成を支援する
http://textalive.jp

音楽のマッシュアップを支援する
http://songmash.jp

以上のサービスはすべてウェブで無料公開中です
学術研究目的で公開しながら実証実験中です
本研究の一部はJST CRESTおよびACCELの支援を受けています

技術が切り拓く音楽体験の未来
音楽情報処理技術に基づく 4 つの鑑賞・創作支援サービス

音楽の中身を自動解析して理解する
http://songle.jp

膨大な音楽コンテンツを可視化する
http://songrium.jp

歌詞アニメーション作成を支援する
http://textalive.jp

音楽のマッシュアップを支援する
http://songmash.jp

以上のサービスはすべてウェブで無料公開中です
学術研究目的で公開しながら実証実験中です
本研究の一部はJST CRESTおよびACCELの支援を受けています

技術が切り拓く音楽体験の未来
音楽情報処理技術に基づく 4 つの鑑賞・創作支援サービス

音楽の中身を自動解析して理解する

http://songle.jp

膨大な音楽コンテンツを可視化する

http://songrium.jp

歌詞アニメーション作成を支援する

http://textalive.jp

音楽のマッシュアップを支援する

http://songmash.jp

以上のサービスはすべてウェブで無料公開中です
学術研究目的で公開しながら実証実験中です
本研究の一部はJST CRESTおよびACCELの支援を受けています