音楽情報処理研究が切り拓く
未来の音楽体験
予稿集

開催概要
開催名

OngaACCELシンポジウム2020「音楽情報処理研究が切り拓く未来の音楽体験」

開催日

2020年9月12日（土） 13:30-16:30（13:15 配信開始予定）

開催形式

オンライン開催（YouTube Live によるライブ動画配信）

主催

科学技術振興機構 (JST)OngaACCELプロジェクト「次世代メディアコンテンツ生態系技術の基盤構築と応用展開」
科学技術振興機構(JST) 戦略的創造研究推進事業 ACCEL 2016年度採択研究課題
研究代表者
プログラム
マネージャー
研究分担者

後藤 真孝（産業技術総合研究所 首席研究員）
伊藤 博之（科学技術振興機構 ACCELプログラムマネージャー）

研究分担者
研究分担者
研究分担者

森島 繁生（早稲田大学 教授）
中村 聡史（明治大学 教授）
佐々木 渉（クリプトン・フューチャー・メディア(株) チームマネージャー）

吉井 和佳（京都大学 准教授）

プログラム
13:15

動画配信開始13:30-13:35 「プログラムマネージャーよりご挨拶」
伊藤 博之 ( 科学技術振興機構 ACCELプログラムマネージャー )13:35-13:45 「研究代表者によるプロジェクト紹介」
後藤 真孝 ( 研究代表者 / 産業技術総合研究所 首席研究員 )13:45-14:25 「後藤グループに関する研究成果の紹介」
後藤 真孝 ( 研究代表者 / 産業技術総合研究所 首席研究員 )14:25-14:50 「吉井グループに関する研究成果の紹介」
吉井 和佳 ( 研究分担者 / 京都大学 准教授 )14:50-15:00

休憩

15:00-15:25 「森島グループに関する研究成果の紹介」
森島 繁生 ( 研究分担者 / 早稲田大学 教授 )15:25-15:50 「中村グループに関する研究成果の紹介」
中村 聡史 ( 研究分担者 / 明治大学 教授 )15:50-16:05 「佐々木グループに関する研究成果の紹介」
佐々木 渉 ( 研究分担者 / クリプトン・フューチャー・メディア(株) チームマネージャー ）16:05-16:25 「プログラムマネージャーによる総括」
伊藤 博之 ( 科学技術振興機構 ACCELプログラムマネージャー )16:25-16:30 「研究代表者よりご挨拶」
後藤 真孝 ( 研究代表者 / 産業技術総合研究所 首席研究員 )音 楽 情報処理 研 究 が 切 り 拓 く
未来の 音 楽 体 験
予稿集

はじめに
OngaACCEL シンポジウム 2020「音楽情報処理研究が切り拓く未来の音楽体験」をご視聴いただき、どうもありがとうございます。我々の「OngaACCEL（音画 ACCEL/ おんがあくせる）プロジェクト」では、音楽体験の未来を切り拓く技術開発によって、音楽の楽しみ方がより能動的で豊かになるように、鑑賞・創作・協創の 3 つの側
面から人々を支援できるサービスプラットフォームの構築を目指しています。2016 年 8 月に始まった研究プロ
ジェクトの最終年度になりましたので、これまでの研究成果をみなさまにご紹介する公開シンポジウムを企画いたしました。我々の最新の研究成果を楽しんでいただきながら、さまざまなご意見やアドバイスをいただき、みなさまと手を携えて、学術的な貢献をしつつ社会の役に立てるような研究開発を今後も推進していきたいと考えています。
本シンポジウムはオンラインで開催され、3 時間のライブ動画配信により、OngaACCEL プロジェクトの研究代表
者（後藤 真孝）とプログラムマネージャー（伊藤 博之）、4 名の研究分担者（吉井 和佳、森島 繁生、中村 聡史、佐々木 渉）が研究成果のデモンストレーションを交えながら講演します。また、講演を補足するために、本予稿集には主要な研究成果に関するポスター集も掲載しました。是非併せてお楽しみいただければ幸いです。
我々の研究活動は、2016 年に研究プロジェクト「次世代メディアコンテンツ生態系技術の基盤構築と応用展開」（OngaACCEL プロジェクト）が科学技術振興機構 (JST) 戦略的創造研究推進事業 ACCEL に採択され、多くの方々に支えていいただくことで、これまで大きく発展してくることができました。しかも、この OngaACCEL プロジェ
クトは、その前に 5 年間、JST 戦略的創造研究推進事業 CREST に採択されて 2011 年から実施した研究プロジェ
クト「コンテンツ共生社会のための類似度を可知化する情報環境の実現」（OngaCREST プロジェクト）の研究成果が土台となっています。日ごろからご支援・ご議論いただくみなさまに深く感謝すると共に、今後も引き続き
情熱と信念を持って未来社会において大切な技術を研究開発し、音楽情報処理研究が切り拓く未来の音楽体験を
より一層豊かにして、学術的・産業的・社会的・文化的にさまざまな貢献をしていきたいと考えています。今後とも、どうぞよろしくお願いいたします。

研究代表者
後藤 真孝

プログラムマネージャー
伊藤 博之

研究代表者 略歴
後藤 真孝 （産業技術総合研究所 首席研究員）
1998年早稲田大学大学院 理工学研究科 博士後期課程修了。博士（工学）。現在、国立研究開発法人 産業技術総合研究所 人間情報インタラクション
研究部門 首席研究員 兼 メディアコンテンツ生態系プロジェクトユニット代表。JST ACT-I「情報と未来」研究総括、日本学術会議 連携会員等を兼任。日本学士院学術奨励賞、日本学術振興会賞、ドコモ・モバイル・サイエンス賞 基礎科学部門 優秀賞、FIT船井業績賞、科学技術分野の文部科学大臣表彰 若手科学者賞、星雲賞【ノンフィクション部門】等、51件受賞。国際音楽情報検索学会 第10/15回国際会議ISMIR 2009/2014 General
Chair、2007〜2008年度 情報処理学会 音楽情報科学研究会 主査。未来のメディアコンテンツ体験をより豊かにする技術の確立を目指し、音の自動理解や音インタフェース、歌声情報処理等の研究を28年間推進。
プログラムマネージャー 略歴
伊藤 博之 （科学技術振興機構 ACCELプログラムマネージャー）
北海道大学に勤務の後、1995年7月札幌市内にてクリプトン・フューチャー・メディア株式会社を設立。世界各国に100数社の提携先を持ち、3000万件以上のサウンドコンテンツは世界でも最大級。DTMソフトウエア、音楽配信アグリゲーター、3DCG技術など、音を発想源としたサービス構築・技術開発を日々進めている。
「初音ミク」の開発会社としても知られている。北海学園大学経済卒。NoMaps実行委員長、日本ネットクリエイター協会理事、Independent Music Coalition Japan (IMCJ)理事、北海道情報大学客員教授も兼任。2016年より科学技術振興機構ACCELプログラムマネー
ジャーとしてOngaACCELプロジェクトに参加。
主な受賞歴として、藍綬褒章受章(2013年秋の受勲)、
FIT船井業績賞(2016年)。

2

目次
はじめに

2

目次

3

OngaACCEL プロジェクトの狙いと研究成果の紹介

4

Songle: 楽曲の中身を自動解析する能動的音楽鑑賞サービス

10

Songle Sync: 大規模音楽連動制御プラットフォームとその活用事例

11

Songrium: 膨大な音楽コンテンツを俯瞰的に鑑賞できる音楽視聴支援サービス

12

TextAlive: 音楽に同期したリリックビデオ制作支援サービスとその活用事例

13

Lyric Jumper: 歌詞トピック解析技術に基づく歌詞探索サービス

14

音楽音響信号中の様々な要素を推定する音楽解析技術

15

音楽推薦・検索に基づく音楽鑑賞支援

16

身体モーションの情報処理と制作支援技術

17

CRNN-HSMM ハイブリッドモデルに基づく歌声採譜

18

変分オートエンコーダーに基づく半教師あり深層コード推定

19

事前学習済み言語モデルを用いた正則化に基づくドラム採譜

20

LSTM-HSMM ハイブリッドモデルに基づく音楽構造解析

21

深層多重音検出に基づくピアノ採譜

22

フォトリアルなキャラクタのダンスおよび歌唱動作生成システム

23

ダンス動画創作支援 : 1 枚画像からの着衣全身 3 次元モデリング技術

24

ダンス動画創作支援 : 動画からの 3 次元ダンスモーション自動推定技術

25

歌唱動画創作支援 : 1 枚画像からの顔の 3 次元モデリングおよび表情合成技術

26

歌唱動画創作支援 : 音楽からの個性ある歌唱アニメーション生成技術

27

音楽理解技術に基づくリズムを利用した体験型コンテンツの創出

28

音楽を聴く行為に着目した音楽キュレーション技術

29

文字の数式化と融合による未来の歌詞表現の実現

30

ダンス理解のための基礎的研究と応用のためのデータベース構築

31

Kiite: 楽曲と出会える音楽発掘サービス

32

OngaACCEL プロジェクト研究参加者一覧

33

3

OngaACCEL プロジェクト「次世代メディアコンテンツ生態系技術の基盤構築と応用展開」の狙いと研究成果の紹介
後藤 真孝
産業技術総合研究所
OngaACCEL プロジェクトでは、音楽体験の未来を切り拓く技術開発によって、音楽の楽しみ方がより能動的で豊かになるように、鑑賞・創作・協創の三つの側面から人々を支援できるサービスプ
ラットフォームの構築を目指している。これまでに基礎から応用まで幅広い研究成果を創出し、学術論文として発表するだけでなく、視聴者やクリエータが利用できるウェブサービス群を開発して公開してきた。さらに、ライブコンサートやイベント等での実証実験を通じて技術を洗練させてきた。今後もさらなる研究開発により、コピー不可能な能動的体験による価値創出を目指していく。

てきた。これらを通じて、学術的・産業的・社会的・

1. OngaACCEL プロジェクトの狙い
本研究プロジェクト「次世代メディアコンテンツ

文化的にさまざまな貢献をし、次世代のメディアコ

生態系技術の基盤構築と応用展開」（プロジェクト名 :ンテンツ産業の発展にも貢献することを目指してい

OngaACCEL（音画 ACCEL/ おんがあくせる）プロジェ

る。本プロジェクトでは、「コンテンツ」として主

クト、科学技術振興機構 (JST) 戦略的創造研究推進に音楽あるいは音楽動画（ミュージックビデオ、ダ

事業 ACCEL、実施期間 : 2016 年 8 月〜 2021 年 3 月、

ンス動画等）を対象としている。

研究代表者 : 後藤 真孝、プログラムマネージャー :この OngaACCEL プロジェクトは、その前に 5 年

伊藤 博之、研究分担者 : 吉井 和佳、森島 繁生、中間取り組んだ研究プロジェクト「コンテンツ共生社

村 聡史、佐々木 渉）では、図 1 のように、大規模会のための類似度を可知化する情報環境の実現」（プな音楽コンテンツの蓄積に対する分析・合成を可能

ロジェクト名 : OngaCREST（音画 CREST/ おんがくにする技術を実現することで、鑑賞・創作・協創のれすと）プロジェクト、科学技術振興機構 (JST) 戦

三つの側面から人々を支援するための基盤技術を構

略的創造研究推進事業 CREST、実施期間 : 2011 年

築してきた。さらにその応用展開として、鑑賞支援

10 月〜 2017 年 3 月、研究代表者 : 後藤 真孝、研サービス、創作支援サービス、協創支援サービスな究分担者 : 森島 繁生、中村 聡史、吉井 和佳）の研

どの様々なサービスを実現可能にする「音楽コンテ

究成果が土台となっている。OngaCREST では、音ンツ生態系のサービスプラットフォーム」も構築し楽の音響信号から構成要素を推定する音楽理解技術

次世代のメディアコンテンツ産業の発展に貢献

応用展開

音楽コンテンツ生態系のサービスプラットフォーム
♬
♪

♬ ♬
㽈
㽈
㽈♪
♪
♪
♪
♪ ♬
♬
♪
㽈
㽈
♬ ♬
㽈
㽈♪♪♪㽈
♬

視聴者向け♬♬
鑑賞支援サービス

基盤構築

♪

♬

A.──────
B.────
C.────

♬

クリエータ向け
創作支援サービス

相互効果のある 鑑賞 創作 協創 支援技術

次世代メディア
コンテンツ生態系技術

基盤構築

大規模音楽分析合成技術

図 1: OngaACCEL プロジェクトの概要

4D.────
──

E.────
──
キュレータ向けF.────
── 㽈G.────
──
協創支援サービス
H.────
──────
I.────

きている。

によってデジタル音楽の真価を引き出し、人々がより能動的に音楽を楽しめるようにする技術の研究開

この Songle Sync や、後述する Songrium、Text

発 に 取 り 組 ん だ。そ う し た 研 究 成 果 を 活 か し て、

Alive、Kiite 等の様々なウェブサービスの基盤となっ

ACCEL プロジェクトでは大規模なメディアコンテンているプラットフォームが、『Songle: 楽曲の中身をツから価値を創出するためのプラットフォームを構

自動解析する能動的音楽鑑賞サービス』である。こ

築している。そして、音楽の中身を自動解析する技の「Songle（ソ ン グ ル）」(https://songle.jp) は、音術により、新たな価値を生み出し貢献することを目

楽の中身を自動解析する技術により、新たな価値を指している。

生み出して貢献するための中核となるプラット
フォーム的サービスであり、かつ、音楽の中身を可

2. OngaACCEL シンポジウム 2020 で紹介視化することで人々が音楽をより深く理解して能動する研究成果的に楽しめるようにするサービスでもある。Songle

OngaACCEL プロジェクトでは、コンテンツの膨の解析結果を外部から利用するための API を提供し大な蓄積が土壌となってコンテンツの豊かな生態系ており、それにより上記のような様々なサービスをを生み出し、新たな価値を創出するための技術を「次実現可能にしている。

世代メディアコンテンツ生態系技術」と名付け、音Songle は、『音楽理解技術に基づくリズムを利用

楽の楽しみ方がより能動的で豊かになるための研究した体験型コンテンツの創出』でも活用されており、

開 発 を 進 め て き た。今 回 の 公 開 シ ン ポ ジ ウ ム「高齢者向け音楽体験システム」では音楽に合わせ「OngaACCEL シンポジウム 2020: 音楽情報処理研究て運動を促すことを目的に、専用デバイスを踏んだが切り拓く未来の音楽体験」では、OngaCREST プ

りスマートデバイスをタップしたりしてリズムを楽

ロジェクトの成果も土台にしつつ、2016 年 8 月以

しむ音楽ゲームを、Songle による解析結果に基づい降の研究成果を中心に紹介する。以下では、本シンて 実 現 し た。さ ら に「JusTune」(https://justune.

ポジウムの 23 件のポスター題名を『』に囲んで概net) でも、マイクロタスクを取り込んだ音楽ゲーム

要を説明する。鑑賞・創作・協創の三つの側面からを Songle の API で実現した。

人々を支援することに取り組んできたため、2.1 節

他 に プ レ ス 発 表 を し た 代 表 的 な 成 果 は、『Lyric

では鑑賞支援、2.2 節では創作支援、2.3 節では協創

Jumper: 歌詞トピック解析技術に基づく歌詞探索

支援のための技術・サービスに関する研究成果を紹サービス』である。この「Lyric Jumper（リリックジャ

介する。

ンパー）」(https://lyric-jumper.petitlyrics.com)[2] は、
株 式 会 社 シ ン ク パ ワ ー と 産 総 研、JST が 共 同 で2.1 鑑賞支援技術・サービス

2017 年 2 月 21 日にプレス発表をした。これは、鑑賞支援では、音楽理解技術により大規模な楽曲

シンクパワーの「プチリリ」が配信する歌詞データを分析し、好みの音楽をより能動的で多様に楽しむの一部（約 18 万曲）を、産総研が開発した歌詞トピッことができるようにするための研究開発を中心に進ク解析技術を用いて自動解析し、歌詞に出てくる単

めてきた。

語の出現の仕方から、楽曲ごとのトピックを自動推

鑑賞支援技術に関してプレス発表をした最も代表定することで実現した歌詞探索ツールである。

的な成果は、『Songle Sync: 大規模音楽連動制御プ

鑑 賞 支 援 の た め の ウ ェ ブ サ ー ビ ス と し て は、

ラ ッ ト フ ォ ー ム と そ の 活 用 事 例』で あ る。こ の「Songrium（ソ ン グ リ ウ ム）」(https://songrium.jp)「Songle Sync（ソングルシンク）」(https://api.songle.

も一般公開しており、『Songrium: 膨大な音楽コンテ

jp/sync)[1] は、産業技術総合研究所（産総研）と科ンツを俯瞰的に鑑賞できる音楽視聴支援サービス』

学技術振興機構 (JST) が共同で 2017 年 8 月 2 日にでは、新たに派生作品の創作を引き起こした要因を

プレス発表をした。これは、産総研の音楽理解技術

推定して可視化する技術 [3][4] を実現した。

と新たに開発した大規模音楽連動制御技術を融合さ『音楽推薦・検索に基づく音楽鑑賞支援』では、せた、音楽に連動した演出を容易に利用・開発でき

異種クエリの混合が可能な音楽コンテンツ探索技術

るプラットフォームである。一般公開をして様々な「Query-by-Blending」[5]、作業用 BGM 推薦システ

実証実験に取り組みながら、機能と性能を改良して

ム「FocusMusicRecommender」[6]、
ユーザ属性（国5籍・年齢・性別）の匿名性を守るために音楽再生履であり、『文字の数式化と融合による未来の歌詞表

歴をカモフラージュする技術「Listener Anonymizer」

現の実現』ではその基礎研究として、音楽印象に基[7]、コンテンツと推薦理由を同時に多様化する推薦

づくフォント生成 [22] や、数式化された文字への演技術「DualDiv」[8]、消費済みコンテンツに対する算によるアニメーション表現 [23] 等を実現した。

推 薦 理 由 の 提 示 フ レ ー ム ワ ー ク「ER for Repeat

CG キャラクターが歌ったり踊ったりする音楽動

Consumption」[9]、創作行動ログが消費行動支援に画の創作支援では、フォトリアル（実写風）なキャ反映される推薦技術「ABCPRec」[10] 等の、多様なラクタに焦点をあて、全身の写真 1 枚のみからその鑑賞支援技術を実現した。

人物のダンス動画を、顔の写真 1 枚のみからその人

こうした多様な鑑賞支援を可能にするための基礎

物の歌唱動画を自動生成できる総合的なシステムを技術として、音楽の中身を自動解析する技術は重要『フォトリアルなキャラクタのダンスおよび歌唱動であり、メロディに対応する歌声の楽譜を推定する

作生成システム』で実現した。ダンス動画に関して『CRNN-HSMM ハイブリッドモデルに基づく歌声採

は、『ダンス動画創作支援 : 1 枚画像からの着衣全身譜』[11]、コードを推定する『変分オートエンコーダー

3 次元モデリング技術』[24][25] で写真から 3 次元に基づく半教師あり深層コード推定』[12]、ドラム復元してその人物の全身モデルを生成して、『ダン譜を推定する『事前学習済み言語モデルを用いた正ス動画創作支援 : 動画からの 3 次元ダンスモーショ

則化に基づくドラム採譜』[13]、音楽構造を推定す

ン自動推定技術』で動画中のダンスモーションを推る『LSTM-HSMM ハイブリッドモデルに基づく音楽

定して踊らせることが可能になった。歌唱動画に関

構造解析』[14][15]、ピアノ楽曲から楽譜を採譜すしては、『歌唱動画創作支援 : 1 枚画像からの顔の 3

る『深層多重音検出に基づくピアノ採譜』[16] を実次元モデリングおよび表情合成技術』[26] で写真か現した。他にも、『音楽音響信号中の様々な要素をらその人物の顔モデルを生成して、『歌唱動画創作推定する音楽解析技術』では、音楽のビート推定

支援 : 音楽からの個性ある歌唱アニメーション生成[17] や音楽印象推定、楽器音識別 [18]、歌声分離技術』[27] で歌声に合う歌唱動作を生成して歌わせ[19]、ループ素材の分解・再構成 [20] 等を実現した。

ることが可能になった。
動画中のダンスモーションを推定すると誤りが生

2.2 創作支援技術・サービス

じるが、その誤りを人手で修正する作業を支援する

創作支援では、コンテンツの生成技術を基礎技術

インタフェース [28] を『ダンス理解のための基礎的として、人間の能力を補いつつ、好みに合ったコン

研究と応用のためのデータベース構築』で実現した。

テンツを自在に生み出せるようにするための研究開

さらに、ダンスにおいて人はどこで自分を判断して発を中心に進めてきた。楽曲の創作支援にも取り組

おり、機械はそれを判定可能かを明らかにした [29]。

んだが、動画共有サービス等を中心に楽曲を発表す

他にも『身体モーションの情報処理と制作支援技る際に映像を伴うことも多く、その音楽動画を創作術』では、ダンス情報処理の研究として、ダンスのする支援の需要が高いため、以下ではその研究成果

類似性に基づくダンス楽曲検索インタフェースを紹介する。

「Query-by-Dancing」[30]、グループダンスパフォー

創作支援技術に関してウェブサービスとして公開

マンス動画作成インタフェース「DanceUnisoner」

している代表的な成果は、『TextAlive: 音楽に同期し[31]、ダンス情報処理研究のためのストリートダン

たリリックビデオ制作支援サービスとその活用事

ス動画データベース「AIST Dance Video Database」

例』[21] である。この「TextAlive（テキストアライブ）」[32]、モーション間を任意のタイミングで滑らかに(https://textalive.jp) では、ユーザが楽曲を選んで動遷移させる手法 [33]、身体モーション制作システム

画の「スタイル」を指定するだけで、リリックビデ「OptiMo」[34] 等を実現した。

オ（歌詞アニメーション）を制作可能にした。様々
2.3 協創支援技術・サービスな実証実験に取り組みながら、機能を改良してきて協創支援では、他の人たちにコンテンツの魅力をいる。
こうした歌詞の表現に関しては、文字の動きだけ伝える行為に着目し、音楽コンテンツの価値を増幅

でなく、フォントも含めた表現を支援できると有用させていくようにするための研究開発を中心に進め6

る。そこで、OngaACCEL では鑑賞支援、創作支援、てきた。
協創支援技術に関してプレス発表をした最も代表

協創支援の三つの側面で、そうした体験を創出する的な成果は、『Kiite: 楽曲と出会える音楽発掘サービ

研究開発に取り組んできた。まず鑑賞支援では、音ス』である。この「Kiite（キイテ）」(https://kiite.jp) は、

楽再生時の可視化等により理解が深まる体験や、音クリプトン・フューチャー・メディア株式会社と産楽に連動した総合的な体験、音楽検索・ブラウジン

総研、JST が共同で 2019 年 8 月 30 日にプレス発グの支援によりインタラクティブにコンテンツと出表をした。これは、歌声合成技術による歌唱を含む

会う体験が、コピー不可能な体験となる。次に創作膨大な楽曲（動画共有サービスによってインター支援では、何かをクリエイト（創作）する創造的活

ネット上で公開されている約 32 万曲の音楽動画）

動はコピー不可能な体験となる。創作結果を見てそを、「軽快」「激しい」などの自動分析された音楽のの創作過程をいくら想像しても、創作したクリエー

印象で視聴者が絞り込み、自動検出されたサビ区間

タと同じ体験・気持ちを得ることはできない。クリ

を効率よく試聴することで、次々と新たな楽曲に出エータのみが得られる体験はコピー不可能である。

会うことができるサービスである。そうして発掘しさらに協創支援では、他の人たちと一緒に音楽を鑑た好みの楽曲をプレイリストにボタン一押しで手軽賞する一体感や、自分の好きな曲を他の人たちが気に登録すると、お気に入りの楽曲が繰り返し鑑賞しに入る瞬間を見る喜びのような、他の人たちと一緒やすくなるとともに、他の視聴者とも共有できる。

に創る音楽体験が、コピー不可能な体験となる。

また、音楽推薦エンジンが各視聴者の再生履歴やプ

コンテンツのデジタル化が進み膨大に蓄積されてレイリスト、楽曲の音響信号の自動解析結果などにきたが、その潜在的な可能性はまだ充分には引き出

基づいて日々自動生成する「お勧め楽曲のプレイリされておらず、従来は多量のコンテンツに受動的にスト」を聴けば、幅広い音楽を楽しめる。さらに、

アクセスできる量的な変化（コンテンツ数が増える

視聴者自身が音楽推薦エンジンをカスタマイズして変化）が中心であった。次の段階は、「コピー不可複数保存でき、気分に応じて使い分けられる高度な能な能動体験」を情報技術の力で実現する質的な変機能も備えている。同じ曲を同じ瞬間に楽しめる音化（体験の質が変わる変化）であり、それこそがデ

楽発掘カフェ「Kiite Cafe（キイテカフェ）」(https://ジタル化の本質である。そのような量的だけでなくcafe.kiite.jp) も開発して公開した。

質的な変化に基づくコンテンツの真価は、まだ充分

他にも『音楽を聴く行為に着目した音楽キュレーには引き出されていなかった。OngaACCEL プロジェ

ション技術』では、質問応答型音楽キュレーション

クトでは、「コピー不可能な能動的体験」による価サービス「mureq」(https://mureq.com)、音楽を庭

値創出が未来社会において本質的であることを認識に植え、育て、聴いてもらうサービス「otoniwa」、

しながら、コンテンツの膨大な蓄積が土壌となって分 岐 型 音 楽 キ ュ レ ー シ ョ ン サ ー ビ ス「reco.mu」

新たなコンテンツ生態系を生み出し、価値を創出す(https://reco.mu)[35]、グループ型音楽鑑賞アプリ

るための「次世代メディアコンテンツ生態系技術」「Uniotto」(https://uniotto.org)[36] のように、様々の研究開発に取り組んできた。今後も、多様な創作・なアプローチから協創支援技術を実現した。

鑑賞・協創支援技術を研究開発して、学術的、産業的、
社会的、文化的に貢献することを目指していく。

3. OngaACCEL プロジェクトが切り拓く未
参考文献

来の音楽体験

[1] Jun Kato, Masa Ogata, Takahiro Inoue, and Masataka
Goto: Songle Sync: A Large-Scale Web-based Platform forControlling Various Devices in Synchronization withMusic, Proc. ACM Multimedia 2018.
[2] Kosetsu Tsukuda, Keisuke Ishida, and Masataka Goto:
Lyric Jumper: A Lyrics-Based Music Exploratory Web
Service by Modeling Lyrics Generative Process, Proc.
ISMIR 2017.
[3] Kosetsu Tsukuda, Keisuke Ishida, Masahiro Hamasaki,
and Masataka Goto: Songrium Derivation Factor Analysis:
A Web Service for Browsing Derivation Factors by

OngaACCEL プロジェクトでは、「コピー不可能な能動的体験」による価値創出を可能にする様々な技術を実現してきた。コンテンツのデジタル化が普及した今日、より多くの人々がより多くのコンテンツに出会える素晴らしさがある一方で、コピー可能な
受動的な体験の産業上の価値は今後徐々に失われてしまう心配がある。しかし、その人ならではの能動的な体験は、コピー不可能な体験となって価値があ7

on a Neural Harmonic Structure Renderer, Proc. IEEEWASPAA 2019.
[20] Jordan B. L. Smith, Yuta Kawasaki, and Masataka
Goto: Unmixer: An Interface for Extracting and Remixing
Loops, Proc. ISMIR 2019.
[21] Jun Kato and Masataka Goto: User-Generated
Variables: Streamlined Interaction Design for Feature
Requests and Implementations, Companion to
Programming 2017, Article No.28, 2017.
[22] Kosuke Nonaka, Junki Saito, and Satoshi Nakamura:Music Video Clip Impression Emphasis Method by Font
Fusion Synchronized with Music, Proc. ICEC-JCSG 2019.
[23] 佐藤剣太 , 中村聡史 , 鈴木正明 : 印象増幅のための手書き文字へのエフェクト付与手法 , 情報処理学会論文誌 ,Vol.59, No.9, pp.1761-1773, 2018.
[24] Shunsuke Saito, Zeng Huang, Ryota Natsume, Shigeo
Morishima, Angjoo Kanazawa, and Hao Li: PIFu:
Pixel-Aligned Implicit Function for High-Resolution
Clothed Human Digitization, Proc. ICCV 2019.
[25] Ryota Natsume, Shunsuke Saito, Zeng Huang, WeikaiChen, Chongyang Ma, Hao Li, and Shigeo Morishima:
SiCloPe: Silhouette-Based Clothed People, Proc. CVPR
2019.
[26] Shugo Yamaguchi, Shunsuke Saito, Koki Nagano,
Yajie Zhao, Weikai Chen, Shigeo Morishima, and Hao Li:
High-Fidelity Facial Reﬂectance and Geometry Inference
from an Unconstrained Image, ACM Trans. on Graphics,
Vol.37, Issue 4, No.162, 2018.
[27] 加藤 卓哉 , 深山 覚 , 中野 倫靖 , 後藤 真孝 , 森島 繁生 :歌声と楽曲構造を入力とした歌唱時の表情アニメーション
自動生成手法 , 画像電子学会誌 , Vol.48, No.2, pp.303-314,
2019.
[28] 又吉 康綱 , 小山 裕己 , 深山 覚 , 後藤 真孝 , 中村 聡史 :画像の類似度を用いたダンス動画モーション訂正手法 ,WISS 2019 論文集 , 2019.
[29] Saeka Furuichi, Kazuki Abe, and Satoshi Nakamura:
The Possibility of Personality Extraction Using Skeletal
Information in Hip-hop Dance by Human or Machine,
Proc. INTERACT 2019.
[30] Shuhei Tsuchida, Satoru Fukayama, and Masataka
Goto: Query-by-Dancing: A Dance Music Retrieval System
Based on Body-Motion Similarity, Proc. MMM 2019.
[31] 土田 修平 , 深山 覚 , 後藤 真孝 : DanceUnisoner: グルー
プダンスパフォーマンス動画作成インタフェース , WISS2019 論文集 , 2019.
[32] Shuhei Tsuchida, Satoru Fukayama, Masahiro
Hamasaki, and Masataka Goto: AIST Dance Video
Database: Multi-genre, Multi-dancer, and Multi-camera
Database for Dance Information Processing, Proc. ISMIR
2019.
[33] Yuki Koyama and Masataka Goto: Precomputed
Optimal One-Hop Motion Transition for Responsive
Character Animation, The Visual Computer, Vol.35,
No.6-8, pp.1131-1142, 2019.
[34] Yuki Koyama and Masataka Goto: OptiMo:
Optimization-Guided Motion Editing for Keyframe
Character Animation, Proc. ACM CHI 2018.
[35] 野中 滉介 , 中村 聡史 : 未知の音楽に誘導することを目的とした分岐型人力音楽推薦手法の提案 , 情処研報 ,Vol.2020-HCI-187, 2020.
[36] 田村 柾優紀 , 新納 真次郎 , 白鳥 裕士 , 田島 一樹 , 中
村 聡史 : Uniotto: グループ型音楽鑑賞手法の提案と実装 ,GN Workshop 2017 論文集 , 2017.

Modeling N-th Order Derivative Creation, IEICE Trans. on
Information and Systems, Vol.E101-D, No.4, pp.10961106, 2018.
[4] Kosetsu Tsukuda, Masahiro Hamasaki, and Masataka
Goto: Modeling N-th Order Derivative Creation Based onContent Attractiveness and Time-Dependent Popularity,
IEICE Trans. on Information and Systems, Vol.E103-D,
No.5, 969-981, 2020.
[5] Kento Watanabe and Masataka Goto: Query-byBlending: A Music Exploration System Blending Latent
Vector Representations of Lyric Word, Song Audio, andArtist, Proc. ISMIR 2019.
[6] Hiromu Yakura, Tomoyasu Nakano, and Masataka
Goto: FocusMusicRecommender: A System for
Recommending Music to Listen to While Working, Proc.
ACM IUI 2018.
[7] Kosetsu Tsukuda, Satoru Fukayama, and Masataka
Goto: Listener Anonymizer: Camouﬂaging Play Logs to
Preserve Userʼ s Demographic Anonymity, Proc. ISMIR
2018.
[8] Kosetsu Tsukuda and Masataka Goto: DualDiv:
Diversifying Items and Explanation Styles in Explainable
Hybrid Recommendation, Proc. ACM RecSys 2019.
[9] Kosetsu Tsukuda and Masataka Goto, Explainable
Recommendation for Repeat Consumption, Proc. ACM
RecSys 2020.
[10] Kosetsu Tsukuda, Satoru Fukayama, and Masataka
Goto: ABCPRec: Adaptively Bridging Consumer andProducer Roles for User-Generated Content
Recommendation, Proc. ACM SIGIR 2019.
[11] Ryo Nishikimi, Eita Nakamura, Masataka Goto,
Katsutoshi Itoyama, and Kazuyoshi Yoshii: BayesianSinging Transcription Based on a Hierarchical Generative
Model of Keys, Musical Notes, and F0 Trajectories,
IEEE/ACM Trans. on ASLP, Vol.28, pp.1678-1691, 2020.
[12] 呉 益明 , Tristan Carsault, 中村 栄太 , 吉井 和佳 : 音楽
音響信号に対するラベル・テクスチャ分離型変分自己符号化器を用いた半教師ありコード推定 , 情処研報 , Vol.2019MUS-124, 2019.
[13] 石塚 崚斗 , 錦見 亮 , 中村 栄太 , 吉井 和佳 : 事前学習済み言語モデルによる正則化を用いた深層ニューラルネッ
ト ワ ー ク に 基 づ く ド ラ ム 採 譜 , 情 処 研 報 , Vol.2020MUS-128, 2020.
[14] Go Shibata, Ryo Nishikimi, and Kazuyoshi Yoshii:
Music Structure Analysis Based on an LSTM-HSMM
Hybrid Model, Proc. ISMIR 2020.
[15] 柴田 剛 , 錦見 亮 , 中村 栄太 , 吉井 和佳 : 同質性・反復性・規則性を考慮した階層隠れセミマルコフモデルに基づく統計的音楽構造解析 , 情報処理学会論文誌 , Vol.61,
No.4, pp.757-767, 2020.
[16] 柴田 健太郎 , 中村 栄太 , 錦見 亮 , 吉井 和佳 : 深層多重音検出を用いた音響信号から楽譜へのピアノ採譜 , 情処
研報 , Vol.2019-MUS-125, 2019.
[17] Tian Cheng, Satoru Fukayama, and Masataka Goto:
Convolving Gaussian Kernels for RNN-based Beat
Tracking, Proc. EUSIPCO 2018.
[18] Takumi Takahashi, Satoru Fukayama, and Masataka
Goto: Instrudive: A Music Visualization System Based on
Automatically Recognized Instrumentation, Proc. ISMIR
2018.
[19] Tomoyasu Nakano, Kazuyoshi Yoshii, Yiming Wu,
Ryo Nishikimi, Kin Wah Edward Lin, and Masataka Goto:
Joint Singing Pitch Estimation and Voice Separation Based8

音楽 情報処理 研 究 が 切 り 拓 く
未来の 音 楽 体 験
ポスター集Songle: 楽曲の中身を自動解析する
能動的音楽鑑賞サービス
後藤 真孝 川崎 裕太 井上 隆広 Tian Cheng 高橋 卓見 吉井 和佳 *1 中野 倫靖
産業技術総合研究所

*1

京都大学

Songle（ソングル）とはSongle API

能動的音楽鑑賞サービス Songle (https://songle.jp)

Songle の解析結果を外部から利用するため API を提供• 音楽の中身を自動解析する技術により、• 音楽連動制御のためのウェブベースの開発フレームワーク

新たな価値を生み出して貢献するための• プログラミングができれば誰でも音楽に連動した世界を実現可能に中核となるプラットフォーム的サービス• Songle に連動するため、Songle 上で解析誤りを訂正すればより正確に同期• 音楽の中身を可視化することで人々が音楽をより深く理解して

Songle Widget API

能動的に楽しめるようにするサービス• 解析結果に基づく音楽連動制御を手軽に利用できる外部埋め込みプレーヤ• ニコニコ動画、YouTube の音楽動画、ピアプロ、MP3 に対応

Songle Sync API• 解析結果に基づく大規模な音楽連動制御を可能にするプラットフォーム Songle

180 万曲以上を自動解析済み（閲覧時の音楽は元のサイト上で再生）

Sync のための API（Songle Sync アプリ開発者向けキットも提供）• 代表的な音楽的要素を自動解析して音楽の中身を可視化した「音楽地図」
を表示
楽曲構造（サビ区間と繰り返し区間）

Songle REST API• 解析結果を JSON や XML 形式で取得して利用することができる RESTful API

ビート構造（拍と小節の先頭）
コード（根音とコードタイプ）
メロディ（歌声の音高）

プラットフォームの役割
Songle がプラットフォームとして様々なサービスを実現可能に

楽曲構造
コード
ビート構造

▼サビ区間

TextAlive▲繰り返し区間

Songle Sync

▲根音とコードタイプ

Kiite▲拍と小節の先頭

音楽に同期した
リリックビデオ制作支援サービス

多様な機器を制御できる大規模
音楽連動制御プラットフォーム

Songrium
Songrium 音楽星図

Songrium バブルプレーヤ
Songrium 超歴史プレーヤ

音楽印象分析・音楽推薦を駆使して楽曲と出会える音楽発掘サービス

Songrium 3D
Songrium 歌声リレー再生

Songle Widget 利用例
音楽に連動した Web ページの背景アニメーション
音楽に連動した照明制御（実世界デバイス制御）
CG キャラクタ等の音楽連動アニメーション
Photo x Songle による音楽に連動した写真表示
V-Sido x Songle による音楽連動ロボットダンス

メロディ▲歌声の音高膨大な音楽コンテンツを俯瞰的に鑑賞できる音楽視聴支援サービス「音楽地図」の誤りをユーザが自発的に訂正「音楽地図」

Songrium スマートプレーヤ
Songrium コメント分析
Songrium 生成力ランキング

Songle API (Application Programming Interface)
Songle 解析結果に基づくイベント駆動プログラミング（音楽理解技術によるサビ、ビート、メロディ、コード等の解析結果）

Songle• サビ出し機能により楽曲中のサビ区間や繰り返し区間への頭出しが可能

音楽地図訂正インタフェース

楽曲の中身を自動解析する
能動的音楽鑑賞サービス

Songle プライベート楽曲機能

音楽地図の誤りを訂正して保存・共有可能なインタフェース

非公開状態で楽曲をアップロードして自動解析・訂正する機能• 自動解析誤りをみんなで訂正してユーザ体験の向上に貢献できる• 2019 年 7 月に公開
• 従来はインターネット上で公開されている楽曲しか扱えなかったのに対し、モバイル版 Songle 音楽地図訂正インタフェース

自分だけが閲覧することができる状態で任意の楽曲を解析できる機能• 2020 年 7 月に公開

• TextAlive 等からも「 Songle プライベート楽曲機能」を利用可能• スマートフォン上でサビ区間とビート構造を訂正可能• モバイル版 Kiite のサビ出し機能
で解析誤りに気づいたユーザがその場でサビ区間を訂正できる

10

Songle Sync: 大規模音楽連動制御
プラットフォームとその活用事例
加藤 淳 井上 隆広 後藤 真孝 石田 啓介 渡邉 研斗
濱崎 雅弘 笠井 志麻 川崎 裕太 尾形 正泰
産業技術総合研究所

Songle Sync（https://api.songle.jp/sync）とは♬ ♪♬㽈♪ ♬ 㽈♪
♪ ♬
♬㽈
♬
音楽
♪♬
♬
音楽理解技術

大規模音楽連動制御技術

♪
♬

ウェブ上の

♪
♬

㽈 㽈♬
♪

音楽が多様な機器の演出を駆動

スマートフォン

タブレット

ロボット

IoTデバイスパソコン

ウェブ上の音楽の再生に合わせて多種多様な機器を同時制御することで、
ウ
ブ上の音楽の再生に合わせて多種多様な機一体感のある演出ができる大規模音楽連動制御プラットフォーム

実証実験 回線種別（Wi-Fi・携帯）、回線状況（ライブハウス・展示場・屋外）を変えて応用範囲（DJ ステージ、待ち時間演出、花火との同期など）を検証

3

1

LIGHT UP NIPPON HOKKAIDO feat. 初音ミク
モエレ沼 芸術花火 2019/8/25, 2019/9/7

マジカルミライジ
2017 keisei× ミクダヨー DJ ステージ
− Songle Sync コラボ − 2017/9/2

花火大会 2 件で花火と音楽に同期した演出を表示
4

マジカルミライ 2018/2019 初音ミクバースデー
メッセージ企画 − Songle Sync コラボ − 各年 8/31

SNOW MIKU LIVE! 2018 開演前演出 2018/2/9-2/10

遠隔地の盆踊りを同期

1 DJ ステージの楽曲再生と同期した演出を携帯

5
2

北海道どこでも盆踊りwith Domingo
2020/8/8-8/16

Digital Stars presents 初音ミクバースデー
メッセージ企画 − Songle Sync コラボ −2020/8/31

Songle Sync アプリ開発者向けキット• JavaScript でプログラミングできれば Songle Sync を活用したアプリケーションの開発が可能なキット• 2017/8/2 プレスリリースと同時に、実証実験として無償で配布開始

回線経由で聴衆端末に表示
2 ライブハウス内で Wi-Fi メッシュを介して紗幕と聴衆端末が楽曲再生と同期した演出を表示
3, 4 公募メッセージを楽曲再生と同期して聴衆端末に投影、各年のべ 4,377 名 5,139 名（オンライン・オフライン累計）が参加
5 公募メッセージを世界中の聴衆端末に楽曲再生と同期して投影する試みを 24 時間かけて 6 回異なるタイムゾーンで実施、のべ 10,590 名が参加

性能評価
各端末を直接接続する既存手法
実測 40 ~ 180 [ms] のレイテンシ• 既存手法と比較してレイテンシ大幅減• 動画配信と比較して通信量大幅減

各端末が自律動作する提案手法
実測 -20 ~ 0 [ms] のレイテンシ

11• Wi-Fi/4G LTE
実機で実用範囲のジッタ

Songrium: 膨大な音楽コンテンツを俯瞰的に鑑賞できる音楽視聴支援サービス
濱崎 雅弘

石田 啓介

後藤 真孝

佃 洸摂

中野 倫靖

産業技術総合研究所

Songrium (ソングリウム) とは
音楽視聴支援サービス Songrium (https://songrium.jp)

動画共有サービス上の音楽コンテンツ ♬ ♬・多様な関係性を意識しながら，Web 上で

ウェブマイニング技術
音楽理解技術

音楽視聴支援サービス（派生作品群の可視化）

動画の再生

新しい音楽コンテンツに出会うことができるサービス

https://songrium.jp

惑星ビュー

不特定多数のユーザー

大量楽曲の可視化（ウェブブラウザを使用）（ウェブェ

・Web マイニングによる音楽コンテンツの自動収集・分類，

音楽星図

サビ出し機能音楽情報処理技術による音楽コンテンツの自動解析，（楽曲の俯瞰図）矢印タグ（つながり）

それらのデータを用いたさまざまな可視化インタフェース

インターネット（ウェブ）

関係性の追加Web-native music

派生要因分析

Web で発表，共有，視聴され，派生作品が生まれる音楽

派生作品の創作を引き起こした要因を推定して可視化

・すべてが Web 上にあるため誰でも聴ける，統計や機械処理に向く・オリジナル作品の魅力・オリジナル作品の人気・派生作品の人気

・ニコニコ動画上で広がりを見せる VOCALOID 音楽はその最先端事例の 3 種類の要因を考慮
・クリエータの膨大な作品履歴から各要因の各クリエータに対するニコニコ動画上の VOCALOID オリジナル楽曲は 21 万曲以上，影響の大きさ 確率的に推定する手法を開発

そこから生まれた派生動画は 82 万動画以上

パラメータ推定による派生要因推定のための基礎技術

派生関係が巨大なネットワークを構築

・派生コンテンツの全データが観測される確率が最大になるように・新しいコンテンツを生み出す原動力に

確率的 EM アルゴリズムを用いてパラメータ推定

音楽のオープンコラボレーション

・コンテンツだけでなく関係も生まれる

初音ミク動画の引用ネットワーク(2010): 全オリジナル作品の全派生作品， : 各派生作品の創作を引き起こした要因

歌ってみた，踊ってみた，演奏してみた，描いてみた，MMD をつけてみた: オリジナル作品のランキング入りイベント， : 派生作品のランキング入りイベント

・一方で膨大かつ多様になり過ぎて，全体が見渡しにくくなっている問題もSongrium 派生要因分析 α版
Web-native Music のための音楽視聴インタフェースの必要性

派生作品の詳細
派生作品ツリー：各派生作品がオリジナル作品また・膨大な音楽コンテンツを俯瞰的に派生作品ツリー

鑑賞できる音楽視聴支援サービス

Songrium
人気影響度推移グラフ

Songrium の様々な機能
クリエータ特性マップ

Songrium 音楽星図では、膨大なオリジナル

はいずれかの派生作品の影響を受けて創作された様子を可視化．
人気影響度推移グラフ：派生作品の創作に対してコ
ンテンツの人気が与えた影響の大きさの1ヶ月ごとの推移を可視化．
クリエータ特性マップ：派生作品を創作した各クリ
エータが3種類の各要因を日頃どの程度重視しているかを可視化．

楽曲を，音響特徴量の類似関係をもとに平面配置．マウスによるパン・ズーム操作でオリジナル作品のマッピング

21 万曲の楽曲を俯瞰できる．惑星ビューによる派生作品の俯瞰や，サビから再生を用

音楽星図

いたコンテンツ視聴もできる．

じて「定番曲」「チャレンジ曲」「玄人受け曲」「流行候補曲」といった新しい観点からオリジナル作品を類似度に基づく楽曲の平面配置探すことが可能．

音楽音響信号から人が受ける印象に基づく類似度尺度で平面を構成し楽曲を
配置．

惑星ビュー

クリエータの詳細

矢印タグ

クリエータがこれまでに創作した各派生作品に関して

派生動画の様子が俯瞰でき，さらにそこからオリジナル楽曲の特徴も知ることができる．

「派生要因となった可能性の高い動画」および「派生影響を与えた動画」が表示される．オリジナル作品から影響を受けている派生作品や，影響を与えた派生作品といった情報の俯瞰が可能．

矢印タグ
音楽コンテンツ間の関係に名前を付ける，新しいソーシャルタギング．

提案手法で推定されるオリジナル作品の性質に応じてオリジナル作品を二次元空間にマッピング．クリエー
タは自分がどのような曲の派生作品を作りたいかに応

惑星ビュー

12

TextAlive: 音楽に同期したリリックビデオ
制作支援サービスとその活用事例
加藤 淳

後藤 真孝

中野 倫靖

川崎 裕太

産業技術総合研究所

TextAlive（https://textalive.jp）
でできること1

楽曲＋歌詞＝楽Web ブラウザ上でW

2

リリックビデオを自動生成
リ

自由に編集
自

3

プログラミングでプ

表現力を拡張表

楽曲と歌詞を指定すれば、歌詞がタイミングよくアニメー
ションするリリックビデオを自動生成して誰でも楽しめる

動画制作者は、直感的なユーザイ
ンタフェースで演出を詳しく思い通りに変更できる

プログラマは、演出内容を決める
アルゴリズムをアニメーション再生中に編集できる

多様な演出スタイルから曲に合うものを選び、フォントや配色、動きなどのパラメタを調整して好みの動画を作れる

既存の作品も自由に編集して、N次創作を手軽に楽しめる

TextAliveの機能を強化して、ユーザ全員の演出力を高められる

多様なユーザのための創作支援技術

商業ライブなどでの活用事例

2015/9/8 プレスリリース以降 33 回（2020/8/15 時点）
バージョンアップを重ね、視聴者、楽曲・動画制作者など多様なユーザのための創作支援技術を継続的に開発

プログラマとユーザ間のコミュニケーション支援技術• プログラマの指定したパラメタをユーザが自由に調整可能 (Live Tuning)

No Maps 2016 IDOL DIVERSITY ベルリン少女ハート
アイドルライブ背景演出「asthma」「ROOM 24-7」• 新たなパラメタをユーザが変数宣言として提案可能 (User-Generated Variables)

SNOW MIKU LIVE! 2018
背景映像演出「愛の詩」

Songle プライベート楽曲などのクリエイター支援機能• MP3 ファイルと歌詞入力で外部非公開のリリックビデオを制作可能 (2019/8/2)• 歌詞タイミングを VSQX ファイルからインポートすることも可能 (2019/7/30)• 楽曲・歌詞・イラストのライセンスが許せば、レンダリングサーバで動画をレンダリングして MP4・WebM 形式でダウンロード可能 (2016/10/14)

Songle Sync 連携機能
• 大規模音楽連動プラットフォーム Songle Sync と連携し、TextAlive 上のリリッ

SNOW MIKU LIVE! 2018
背景映像演出「四角い地球を丸くする」

クビデオはすべて、
QR コードにより多数の端末で同時に楽しめる (2019/8/8)

初音ミク マジカルミライ 2018
背景映像演出「METEOR」

これまでの実証実験等一覧

イベントなどでのアウトリーチ活動• 2016/10/14-10/16 No Maps 2016 Trade Show 出展
No Maps 2016 IDOL DIVERSITY ライブ演出 2 曲に利用

• TextAlive を多くの方々に利用いただき研究に活かすため、解説小冊子の制作、技• 2018/2/9-2/10

術系同人誌即売会での無償頒布、SNS アカウント運用など多彩な広報活動を展開• 2018/8/25-8/26, 8/31-9/2 初音ミク マジカルミライ 2018 大阪 / 東京
ライブ演出 1 曲に利用、
TextAlive 講座 3 回開講• 様々なイベントで TextAlive による動画制作方法を解説した講座を計 6 回開講

SNOW MIKU LIVE! 2018 ライブ演出 2 曲に利用

• 2019/2/9-2/10

SNOW MIKU LIVE! 2019 ライブ演出 2 曲に利用

• 2019/6/17

ジュリアナの祟り ライブ演出 2 曲に利用

• 2019/8/9-8/11, 8/30-9/1 初音ミク マジカルミライ 2019 大阪 / 東京
ライブ演出 3 曲に利用、
TextAlive 講座 2 回開講• 2019/11/13-11/15 Inter BEE 2019 株式会社モリサワブースにデモ出展
初音ミク マジカルミライ 2019 TextAlive 講座 頒布物・盛況の会場・鼎談の様子• 2020/8/15

13

ニコニコネット超会議 2020 夏 JNCA 主催 紹介番組放映

Lyric Jumper: 歌詞トピック解析技術に基づく歌詞探索サービス
佃 洸摂 石田 啓介 後藤 真孝
産業技術総合研究所

Lyric Jumper とは

Lyric Jumper の様々な機能

様々な歌詞やアーティストに出会える新しい歌詞探索サービス
https://lyric-jumper.petitlyrics.com• 歌詞のトピックを可視化• アーティストごとの歌詞の傾向に基づく歌詞探索• 株式会社シンクパワーと共同開発• 同社が運営する歌詞配信サービス「プチリリ」の日本語歌詞 18 万曲を使用

歌詞トピック推定
提案モデル : 歌詞データ全体での単語の出現傾向を利用し傾向の差異が端的に表現されるようトピックを決定• アーティスト・楽曲・単語という 3 階層の構造を考慮• アーティストごとにトピックの分布θを持つ

歌詞フレーズ発掘機能• 楽曲ごとに一つのトピック z を持つ

フレーズ発掘ボタンを押すとアーティストの様々な歌詞の中からトピックと関連が深いフレーズを抜き出して次々と表示

歌詞強調表示機能
トピックを参考に曲名を選択すると歌詞を表示する際にそのトピックと特に関連深いフレーズを強調表示

歌詞トピックが k である確率

評価実験

アーティストフィルタ機能• 登録歌詞数の上位 1000 アーティストの 93,716 件の歌詞を使用
悪トピックを選択するとそのトピックに分類された持ち歌の

1400

LDA
提案モデル

比率の高さと曲数の多さに基づいて
関連アーティストを表示

1300

1200

スマートフォン版

横軸：トピック数
縦軸： Perplexity

良
1100
0

10

20

30

40

50

歌詞のトピック推定のデファクトスタンダードである LDA よりも提案モデルが高精度であることを示した
謝辞：株式会社シンクパワー（Lyric Jumper の共同運用・歌詞データ提供）

14

音楽音響信号中の様々な要素を推定する音楽解析技術
深山 覚 Tian Cheng 中野 倫靖 Jordan B. L. Smith 高橋 卓見 後藤 真孝
川崎 裕太 吉井 和佳 *1 呉 益明 *1 錦見 亮 *1 Kin Wah Edward Lin
産業技術総合研究所

*1

京都大学

音楽のリミックス

音楽印象推定Unmixer：音楽音響信号をループ素材に分解・再構成

音楽を聞いて感じる印象を音楽音響信号から自動推定• ループ素材を組み合わせる創作過程を完成した音楽音響信号から逆推定• 特徴量ごとの推定誤差をガウス過程回帰によって見積もって印象を推定• 小節単位スペクトログラムに非負値タッカー分解を適用しループ素材を抽出• 見積もった誤差の小さい特徴量に重みをつけて従来法より高性能で推定
1

印象空間

楽曲

活発な
張り詰めた

2

3

特徴量

ガウシアンプロセス

機敏な
興奮した

神経質な

情熱的な
緊張した

意気揚々とした覚醒

楽しい

いらいらした
不愉快な

特徴量抽出

高次元
音響特徴量

音楽のビート推定

愉快な
誘起

悲しい

適応的統合
valence
正解値

ガウシアンプロセス消沈した
回帰
停滞した
退屈した

誤差を見積もりながらの推定

のどかな

推定値

くつろいだ
不活発な

穏やかな

arousal

楽器音識別

ガウスカーネルを用いたビート推定器の高性能化

INSTRUDIVE：楽器編成の自動認識に基づく楽曲探索システム• ビート位置にガウスカーネルを畳み込んで深層学習による推定器を学習• 楽器編成を深層学習で自動認識：周波数・時間方向に個別にフィルタを設計• 学習データ中の正解・不正解データの不均衡を緩和しビート推定性能改善• 楽曲を楽器編成で探索可能：ジャンル横断型の新しい楽曲探索・鑑賞を実現• 楽曲中の楽器が使われる割合をパイチャートで可視化

音楽からの歌声分離
深層学習に基づく歌声調波構造モデルによる歌声分離• 音楽の歌声音高推定と歌声分離を同時学習する深層ニューラルネットワーク• 微分可能な Neural Harmonic Structure Renderer でネットワークを接続
freq. (360)

Input

Network

HCQT

F0 salienceestimation
networktime (512)freq. (2048)

Harmonic structure

freq. (2048)

Neuralharmonic
structurerenderertime (512)time (512)Output• 楽曲の聴き方（次々変化 or 同質）に応じた 2 種類の楽曲探索空間

F0 saliency map

time (512)freq. (2048)

Vocal mask

freq. (2048)

Vocal
Accomp.
separation
network

STFT

freq. (360)time (512)

Accompaniment mask

time (512)• F0 軌跡が高調波構造へ変換されて歌声の物理的意味の解釈を手助け

15

音楽推薦・検索に基づく音楽鑑賞支援佃 洸摂 渡邉 研斗 矢倉 大夢 後藤 真孝 深山 覚 中野 倫靖
産業技術総合研究所

Query-by-Blending

DualDiv

異種クエリの混合が可能な音楽コンテンツ探索技術

コンテンツと推薦理由を同時に多様化する推薦技術• 類似した音響 / 単語 / メタタグが近傍に配置された高次元空間を教師なし学習• コンテンツの多様化に加えて推薦理由も多様化された推薦が可能• 音響 / 単語 / メタタグをクエリとして混ぜた新しい音楽コンテンツ探索が可能• 推薦リスト中のアイテムがユーザに選択される確率を高める仕組みを実現•言語処理分野の word2vec 等で用いられる分布仮説を音楽情報処理分野へ応用• 貪欲法によって実時間で多様化された推薦理由を選択する手法を提案

異種クエリ

類似する単語・曲・アーティスト

クロスモーダル高次元空間

Shwayze

音響

アーティスト：多様化
推薦理由：非多様化

summer

1位クエリの混合island単語

beach

Janet Jackson

2位

lover

The Jackson 5

3位

message

人気度ベース
アーティストベース

90s

友人ベースは 1 位
説得力があるから Avril を聴こう！
2位

アーティストベース

punk

The Beatles
rock

3位

人気度ベース
ユーザベース

90s

Avril Lavigne
pop

タグベース

アーティストベース

band

Spice Girls
pop

タグベース

Avril Lavigne
pop

FocusMusicRecommender

アーティストベース

band

Spice Girls
pop

Michael Jackson

アーティストThe Beatles
rock

説得力を感じる推薦理由がないな…

アーティスト：多様化
推薦理由：多様化

タグベース
アーティストベース

punk

友人ベース

ER for Repeat Consumption

PC 作業中の集中を助けるための作業用 BGM 推薦システム

消費済みコンテンツに対する推薦理由の提示フレームワーク• 集中を保つには嫌いな曲だけでなく、好きな曲の聴取も避けるべきとされている• ユーザが過去に消費したコンテンツを再度理由付きで推薦することでコンテンツの寿命を延ばすことが目的• 一方で、好きでも嫌いでもない微妙な曲を自ら見つけ出すのは難しい• 推薦理由に影響を与える要因として Personal・Social・Item の 3 種類を提案• 作業中のフィードバックや楽曲間類似度から、好きでも嫌いでもなさそうなそれぞれに適した作業用 BGM を自動で見つけ出すシステムを提案
この曲は好きじゃないのかな？
次の曲へスキップ！

要因

階層的分類アルゴリズムで好きでも嫌いでもない曲を探し出す
楽曲間
類似度
空間

作業ログ

• 622 人を対象としたアンケート調査により提案フレームワークの有用性を検証

Personalfactor

嫌いな曲作業に集中しているはずなのに、わざわざ選んだということはかなり好きなのかな？

好きな曲

作業ログ

初めて Shake It Oﬀ を聴いてからちょうど 5 年が経過したからです

P-last

最後に Shake It Oﬀ を聴いてからちょうど 3 年が経過したからですP-together

先程聴いた Lady Gaga の Applause と一緒に Shake It Oﬀ をよく聴いていたからです
次に Shake It Oﬀ を聴くと合計再生回数が 100 回になるからですS-total

全ユーザの Shake It Oﬀ の総再生回数が 100 万回に到達したからです

S-unique

Shake It Oﬀ を聴いたユニークユーザ数が 10 万人に到達したからです

S-favorite

Shake It Oﬀ をお気に入りに登録したユーザ数が 1 万人に到達したからですItem

I-release

Shake It Oﬀ が発売されてからちょうど 5 年が経過したからですfactorI-liveSocial

作業用 BGMとして推薦

以下の理由で、過去に聴いた Taylor Swift の Shake It Oﬀ を推薦しました：

P-ﬁrstP-totalfactor

この曲をもっと聴きたい！

スタイル

Taylor Swift のライブで今日 Shake It Oﬀ が歌われたからです

Listener Anonymizer

ABCPRec

ユーザ属性（国籍・年齢・性別）の匿名性を守るために
音楽再生履歴をカモフラージュする技術

創作行動ログが消費行動支援に反映される UGC 推薦技術

• できるだけ少ない曲数で効率的に匿名化可能な楽曲を選択・推薦• コンテンツを創作することで消費コンテンツの推薦精度が上がる仕組みを実現• 100 万件の再生ログを用いた機械学習における特徴選択技術により実現• ユーザの消費者ベクトルと創作者ベクトルを適応的に学習する手法を提案• ユーザの消費情報に加えて創作情報も考慮した推薦が可能

あなたの国籍は…？
推薦対象ユーザの消費コンテンツの創作コンテンツ

Listener Anonymizer
国籍の確率分布を計算

国籍を匿名化するうえでの各楽曲の有用性を計算
消費

ユーザ
楽曲

16

消費

身体モーションの情報処理と制作支援技術土田 修平 小山 裕己 深山 覚 後藤 真孝 濱崎 雅弘
産業技術総合研究所

Query-by-Dancing

DanceUnisoner

ダンサーの姿勢の類似度に基づくダンス音楽検索

グループダンスパフォーマン動画作成インタフェース• ダンサーの姿勢時系列をクエリとしてダンス動画中のダンス音楽を検索• 動画編集加工により想像が困難なグループダンスの検討・確認・共有を可能に• 音楽ジャンルに依らず姿勢から直接的に音楽を検索し音楽鑑賞・ダンス創作可能• １人のダンス動画を複製・加工して多数配置しグループダンスを可視化• 姿勢時系列の連続性とダンスのカテゴリの違いに敏感な姿勢特徴量を考案• 背景差分処理を施した動画を重畳的に配置し音響指紋を利用し音楽と同期再生• 姿勢情報を活用した新たな音楽鑑賞・ダンス創作支援を実現• 集約された少ないパラメタの直感的な操作によりインタラクティブな編集加工

Optimal One-Hop Motion Transition
ターゲットシナリオ
身体モーションデータを切り替えることで対話的にアバターを動作させる

AIST Dance Video Database

既存アプローチの問題点
モーションデータを遷移させる際に、世界初のストリートダンス動画の大規模データベース

慣性を無視した不自然な動作や足の滑• 複数ダンスジャンル・複数ダンサー・複数カメラによるダンス動画を収録

りなどが発生してしまう• ダンス動作とダンス音楽の分析・生成をするダンス情報処理研究に有用

提案：One-Hop Transition• ６種類のカメラ配置に加え１種類の移動カメラ配置による動画を収録

二つのモーションデータを遷移させる• オリジナルダンス動作・オリジナルダンス音楽を収録し際に最適な中間モーションを計算して研究目的に限り無償で https://aistdancedb.ongaaccel.jp より入手可能

挿入することで、全体として滑らかで自然なモーションを実現する

動画 13,940 本（ソロダンス 1,510 本 / グループダンス 108 本）

OptiMoオリジナル楽曲 60 曲（1 ダンスジャンルにつき 6 曲）
ストリートのダンスジャンル 10 種類（break, pop, lock, waack, middle
hip-hop, krump, LA-style hip-hop, house, street jazz, ballet jazz）

目的：最適化計算の活用
キーフレームに基づく身体モーション制作時に、アニメータが最適化計算を活用す

プロダンサー 35 人（男性 20 人女性 15 人）るために有効なシステム設計を模索する

提案：身体モーション制作システム OptiMo
透明性（何が起きているか分かる）
・制御可能性（プロセスに能動的に介入できる）・
編集可能性（得られた結果を容易に編集できる）の 3 つのシステム設計指針に基づき、目的関数に関連する値を可視化する機能や、最適化の振る舞いを対話的に制御する機能を搭載している

17

CRNN-HSMM ハイブリッドモデルに基づく歌声採譜
錦見 亮 中村 栄太 後藤 真孝 *1 吉井 和佳
京都大学

*1

産業技術総合研究所

研究背景

キーアイディア

歌声採譜

深層モデルと確率モデルの統合

音楽音響信号から歌声が担うメロディの楽譜を推定

両モデルのデメリットを相互補完

従来研究｜ピアノロール形式の推定

深層モデル｜注意機構モデルに基づく歌声採譜• 各音符を「半音単位の音高」と「発音時刻と継続長」
で表現• Pros ｜音響スペクトログラムを直接扱える柔軟な表現力

・発音時刻と継続長は量子化されていない• Cons｜学習困難，
楽譜の整合性・妥当性の無保証

音楽音響信号

ピアノロール形式

注意機構付きEnc.-Dec. モデル

本研究｜楽譜形式の推定

確率モデル｜隠れセミマルコフモデルに基づく歌声採譜

・各音符を「半音単位の音高」と「発音位置と継続長」で表現• Pros ｜楽譜の整合性・妥当性

・発音位置と音価はテイタム（e.g. 16 分音符）単位で表現• Cons｜同音連打や休符が推定不能

音楽音響信号

調

楽譜形式

楽譜

歌声音高軌跡E major

提案手法
CRNN-HSMM ハイブリッドモデル
畳み込み再帰型ニューラルネットワーク（CRNN）に基づく音響モデルと隠れセミマルコフモデル（HSMM）に基づく楽譜モデル統合モデル
E major調

C# minor

楽譜

歌声HSMM 楽譜モデル

CRNN 音響モデル

調・音高・リズムの生成過程を表現

音符列とスペクトログラムの関係を表現
歌声

C major調モデル｜各小節ごとの調の遷移

音高音高モデル｜調に依存した音高の遷移

CNN

ミ
レ＃
レ
ド＃
ド
2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

時間軸方向に maxpooling

実験結果
音響モデル（CRNN）に楽譜モデル（HSMM）
を統合することにより精度が向上
音響モデルのみ

音符単位誤り率 [%]Bad30

音響モデル＋楽譜モデル

27.2

25

19.6

20

14.3
10.6
6.7

5

5.1

正解

26.4
22.7

15.3

16.9
13.1

CRNN

平均

CRNN
+
HSMM

2.1

0

Good

Bi-LSTM1

リズムモデル｜音符の開始位置の遷移

10

Grid
maxpool

テイタム時刻1

15

音高・オンセット確率

音高

脱落

挿入

オンセットオフセット

18

変分オートエンコーダーに基づく
半教師あり深層コード推定
呉 益明

Tristan Carsault

中村 栄太

*1

京都大学

吉井 和佳

IRCAM

*1

従来の研究

マルコフ型言語モデルの統合
・一次マルコフモデルを言語モデル ( 変数 S の事前分布 ) とし、コードラベル系列

従来の研究のラベル継続性を反映させる

・統計的機械学習手法に基づく

・遷移確率の設定：自己遷移確率は 0.9、コード間遷移確率は一様・学習機構の定式化は識別的、生成的アプローチに大別される・推定分布を与えられたとき、言語モデル尤度の期待値は解析的に求めることがで識別的アプローチ（深層学習モデル）

採
譜

きる

演
奏

生成的アプローチ（隠れマルコフモデル）

生成モデルに基づく学習機構

実験結果
正則化によるコード推定性能の向上

変分オートエンコーダー（VAE）に基づく定式化
・コードラベル系列（離散値変数）と潜在特徴系列（連続値変数）を潜在変数とし、音コード推定正解率の改善

響特徴量（クロマベクトル）を確率的に生成する深層生成モデルを定義
・深層コード推定モデルは、生成モデルの潜在変数事後分布の変分近似と位置付け

マルコフ型言語モデルによるコードラベル連続性維持の効果

VAE 学習＋マルコフ事前分布

正解ラベル

VAE 学習VAE 学習＋マルコフ事前分布

教師あり学習のみ

VAE 学習教師あり学習のみ

コード推定結果の例
生成・認識過程の同時学習生成モデルによる推定モデルの正則化

クロマベクトル

正解ラベル

S 、Zの事前分布による推定モデルの正則化
教師あり学習のみ

VAE 学習推定モデルの教師あり学習VAE 学習＋マルコフ事前分布

目標関数⇒

19

事前学習済み言語モデルを用いた正則化に基づくドラム採譜
石塚 崚斗 錦見 亮 中村 栄太 吉井 和佳
京都大学

研究背景

正則化に基づく学習法

自動音楽採譜 (automatic music transcription; AMT)

テイタム単位の

ボーカル
ボ
カル

ドラム採譜

従来は人手で ...
AMT によれば
自動で楽譜が手に入る！

音響音楽信号

Point２：

ギタ
ギター

スペクトログラム
重みづけ和

CRNN

学習時における

パ ト譜
パート譜

採譜出力の正則化
ドラム

応用場面などなど ...

１. 音楽の創作活動支援

Point３：

２. 耳コピの補助言語モデルの設計
頭に浮かんだメロディ
を ...
メロディーを

HH
SD
BD
アクティベーション（Bigram or GRU）

Point４：

あのドラマの名曲を ...

微分可能な二値化に基づく誤差逆伝播

自動ドラム採譜
ドラムの特徴・ 複数楽器のうち BD・SD・HH の主要 3 パートに注目

入力

DNNs

・ 音楽音響信号から得られるメルスペクトログラム
・ 予め既存手法で推定されたビート時刻（F=96.4%）
出力

仮定

本研究では
テイタムを
16 分音符に設定・ 各楽器のオンセット時刻はテイタム時刻に沿う

Ground-truth

誤差逆伝播！

学習過程で
採譜結果を

言語
モデル

音楽的に妥当なパターンに

ドラム譜

誘導！

実験結果
推定ビート

正解ビート

CRNN( 従来法 )

70.8

77.4

65.9

71.0

77.6

66.1

CRNN( 提案法 )

78.9

86.3

73.1

79.3

86.7

73.3

＋Bi-gram

81.4

84.7

79.1

80.8

83.7

78.8

＋GRU

81.6

84.0

80.2

81.1

83.2

79.7

・ 従来の最高精度より約 8% 向上！
アクティベーション

・ 16 分音符単位のオンセット時刻

二値化による

評価値（%）

スペクトログラム・ 音の高さ・長さよりオンセット時刻が重要
音楽のスパース性から非負値行列因子分解が利用されてきた。最近では CNN や RNNによって高い精度を達成している

HH
SD
BD

微分可能な

HH
SD
BD

ビートの種類・ ポピュラー楽曲の音楽的な構造を支える

問題設定

最小化

テイタム時刻Point１：

ポピュラー音楽から楽譜を自動で書き起こす

・ 正則化により精度が約 2% 向上！

HH
SD
BD

・ Bi-gram よりも GRU の方が向上幅が大きい

学習時における損失の正例に対する重み，言語モデルの重み，
RNN の層数・次元数のハイパーパラメータは検証データに対して最適化を行った・ ビートの推定精度が良くない場合は更なる検討が必要
ドラム譜

音楽言語モデル

デモ

スキップ型 Bi-gram
16 テイタム前からの遷移を学習・推定

多くのポピュラー

HH

音楽は 4/4 拍子でSD構成されることがBD多いという仮定に基づいている16 テイタム前からの遷移

GRU（gated recurrent unit）
各テイタム以前からの遷移を直接学習・推定・ 正則化が音楽的に不自然なドラムパターンを効果的に防いでいることを確認

履歴を常に保持し続HHけるためスキップ型

・ Fill-in などの少し複雑なドラムパターンを単純化しすぎてしまう傾向

SD

Bi-gram と比べて・ クラッシュシンバル等と主要 3 パートの楽器と混同してしまう傾向

BD

強力な予測性能を・ 今後は RNN 部や言語モデルを self-attention に置き換えてドラムパターンの……

履歴を保持し続ける有するよりグローバルな構造捉えることや複数楽器への対応が考えられる
20

LSTM-HSMM ハイブリッドモデルに基づく音楽構造解析
柴田 剛 錦見 亮 中村 栄太 吉井 和佳
京都大学

研究背景
音楽構造解析

セクションの持つ重要な性質• 楽曲のセクション構造の認識• セクション内での音響特性の同質性

意味上のまとまり（イントロ・A メロ・サビなど）• 同じラベルのセクション間での反復性• 試聴用音源の生成や楽曲再生時のナビゲーションに応用可能• セクション継続長の規則性

階層隠れセミマルコフモデル
同質性・反復性・規則性を統一的に扱う確率的生成モデル [Shibata+, ʻ19]
潜在状態

• 楽曲のセグメンテーション・

継続長

クラスタリングを行う

セクション

4 小節

8 小節

生成

全遷移型セミマルコフモデル• イントロ・サビなどのラベル

Left-to-Right 型マルコフモデル

コードはわからない！

階層

音響モデル

観測特徴量

DNN によるラベル推定と統合セクション継続長に関する規則性

8 小節

クロマ

セクションとコードに依存するクロマ特徴量

MFCC

セクションのみに依存する MFCC
音色特徴量の同質性

LSTM-HSMM ハイブリッドモデル

コード進行のセクション間の反復性

実験結果

セグメンテーション・ラベリングを同時に処理

結果例

ラベリングを行う双方向 LSTM と階層隠れセミマルコフモデル（HSMM）
の統合

正解データ

クロマ
MFCC

BLSTM出力
メルスペクトル

双方向LSTM

提案モデル

推定セクションラベル
セクションラベルの事後確率分布

0 sec

LSTM-HSMM
Aメロ

B メロ

サビ

Aメロ

100

50

intro
verse A

verse Bverse C150

chorus A
chorus B

200

bridge A
ending250

pre-chorus
misc

B メロ

• 双方向 LSTM
フレーム単位のメルスペクトルからセクションラベルを推定• 階層 HSMM

従来手法

ラベルの事後確率分布を利用してメルスペクトルの生成過程も表現

より向上！

双方向 LSTM の結果を用いて初期化することで悪い初期値を避ける
chorus ( サビ ) 始まりの曲や verse B/C の認識などが課題
21

深層多重音検出に基づくピアノ採譜
柴田 健太郎 中村 栄太 錦見 亮 吉井 和佳
京都大学

背景

提案法 2

声部推定

コスト関数に基づく系列最適化（動的計画法）

問題設定：音響信号からピアノ楽譜を推定• 演奏上読みやすい楽譜には正しい声部分離が不可欠• 声部配置が満たすべき制約をコスト関数として定義
・同じ声部ラベルを持つ継続音と非継続音にコストを与える
音響信号

楽譜

演奏 MIDI

・同じ声部で時間が一時的にオーバーラップする音符にコストを与える etc.
• 最適な声部系列をビタビアルゴリズムで推定

本研究の目標は五線譜で表現された楽譜の推定

適切な声部配置例

不適切な声部配置例• 応用：音楽演奏の手助け、自動作曲システム、楽曲検索など• ほとんどの従来研究では「採譜 = 演奏 MIDI 推定」• DNN による演奏 MIDI 推定手法の発展 [Hawthorne+ 18, Wu+ 19 など ]• 統計モデルによる演奏 MIDI から楽譜推定手法の発展 [Nakamura+ 18 など ]システム構成結果
定量評価

多重音音響信号• 楽譜推定精度を評価

発音時刻、ベロシティー
推定

多重音解析

多重音検出

・編集距離に基づく誤り率と多角的な F 値を算出

音符トラッキング• 従来法（PLCA）
から提案手法（DNN 音高検出）により全体的に大幅に精度向上

演奏 MIDI
発音時刻リズム量子化

・音高誤り、余分音符、不足音符が激減

リズム量子化

音価認識

・声部分離法により声部推定精度が改善

量子化 MIDI
両手パート分離

声部分離

声部分離

両手パート情報付き量子化 MIDI
楽譜化

MuseScore 3

楽譜 (MusicXML, PDF など )提案法 1 多重音検出モデル
ピアノ採譜のこれから
PitchNet
DeepLabv3+

音高
アクティベーション

音響
スペクトログラム• 現状

オンセット付き音高
アクティベーション

Velocities

Velocities

OnsetsOnsets・音高・リズムは既に高精度
・見にくい休符・タイが減少

演奏 MIDI・音価、拍節構造に改善の余地

OnVelNet
オンセット行列、
ベロシティー行列

マスク処理済み
オンセット行列、
ベロシティー行列• 残された課題

DeepLab3+ を拡張

・装飾音、演奏表現等の推定• CNN 約 80 層からなる巨大 ResNet

・トリル、
アルペジオ

• オンセット・ベロシティー（音強）も推定可能に

・前打音、
後打音

• 同音連打を表現可能

・スラー、
ペダルイベント

損失関数• 音高アクティベーション、オンセット行列：バイナリクロスエントロピー• ベロシティー：平均二乗誤差22フォトリアルなキャラクタのダンスおよび歌唱動作生成システム
岩本 尚也 加藤 卓哉 *1 夏目 亮太 山口 周悟 岩瀬 翔平 島村 遼 森島 繁生
早稲田大学

ExaWizards Inc.

*1

システム概要音楽動画創作支援を目的として、画像１枚のみから着衣全身および顔面の３次元モデリングを行い、音楽にシンクロしてダンスおよび歌唱アニメーション動画像を自動生成するシステムの開発を行った。歌唱は音楽解析、ダンスは動画解析に基づいて生成される。また、顔および全身のモデルを統合した半自動キャラクタ生成パイプラインを実現した。
研究成果

入力

研究成果

入力

出力

自動生成

自動生成

顔写真１枚

着衣全身写真１枚

高精細な顔モデル

高精細全身モデル

研究成果

研究成果
高精細な全身モデルによる高画質な顔モデルによる歌唱アニメーション

自動生成

学習表情
歌い回しの個性歌声

出力ボーン自動挿入自動生成

歌唱アニメーション

ダンス動画

ダンスアニメーション
ダンスモーション

音楽に同期したフォトリアルなキャラクタの歌唱アニメーション動画の自動生成

音楽に同期したフォトリアルなキャラクタのダンスアニメーション動画の自動生成

自由に撮影された顔写真１枚から高精細顔モデルを生成して歌手の個性を反映した歌唱動画作成が可能に

着衣全身写真１枚から高精細全身モデルを生成してダンスが可能に

歌唱キャラクタ自動生成フロー

ダンスキャラクタ自動生成フロー

１枚の任意方向から撮影された顔画像を入力すると、自動的に音楽にシンクロした １枚の着衣全身画像を入力すると、自動的に音楽にシンクロしたダンス動画が出力
歌唱動画が出力される。なお、顔と歌唱生成の２つの独自の研究成果に基く。

される。なお②PIFu に基づいて生成されたキャラクタは、Unity 上でリアルタイム
CG 合成される。

Singing Character Synthesis Pipeline
Iwaseʼ s Method(Trained before the test)

Expression+Head
Rotation(Training Output)

Function

Python CodeExpression+Head
Rotation(For Face)

Singing Voice(Voice Only)

Iwaseʼ s Method(Motion Estimation)

Expression+Head
Rotation(For Face)

Shugoʼ s Method(Reconstruction)

Image (Front, Face)

Textures(For Face)

Extrapolate
Image

Identity Param.

Synthesis
Identity③テクスチャ抽出

DatasetCompareTraining Model①背景削除

OutputMaya

Singing Voice(Training Input)②三次元復元
Textrue 推定（PIFu）

Input

Intermediate
Output

研究成果

Morphable Face
(Face, Teeth, Eyes)⑤リアルタイム
アニメーション
レンダリング④リギング

Identiﬁed Face
Model with
Singing
Animation(Face, Teeth, Eyes)

CombineTexture(For Face)

Identiﬁed
Expression Face
(Face, Teeth, Eyes)

Deformation
Transfer

Expression Models(Face, Teeth)

キャラクタ生成パイプライン

ダンスポーズ推定システム

ポーズは GLTF および FBX で
正面画像を含む複数枚（3 枚）の全身画像から、フォトリアルキャラクタを生成する ダンス動画を入力として、３次元ポーズを推定する。
ためのパイプラインを示す。全身および顔の後処理方法を改良し、これらを統合し 出力される。
Dance Pose Estimation Pipelineてより実写性を高めたキャラクタを生成することが可能となった。ただし、現時点

Input
Video
(Video ﬁle or URL)

で１か所のみランドマークを手動で指定する必要がある（Retopology 処理）。
Shugoʼ s
Method(Reconstruction)

Textures(For Face)

Extrapolate
Image

Textures(For Face)

2D Poses(2D Coordinate)

Nakatsukaʼ s Method(Pose Reﬁnement)

DatasetFunctionIntermediate

Full Body Model Synthesis Pipeline
Image(Front, Face)

Nakatsukaʼ s Method(2D Pose Estimation)

Template Model(Body)Input

VIBE(3D Pose

Output3D Poses(SMPL)

DatasetIdentity Param.

Synthesis
Identity

PIFu

Template Model(Body, Neutral)

KASHIKAʼ s Module(SMPL2GLTF)

Intermediate
Mesh (Eyes, N)

Rigid Trans.
Image(Front, Body)

Python CodeFunction

Mophable Face(face, Teeth, Eyes)

Original Mophable
Model(Face, Teeth, Eyes)
Decompose

Mesh (Teeth, N)
Mesh (Face, N)

Mesh(Body)

Non Rigid ICP(Retopology)

Mesh(Body)

Non Rigid ICP(Reﬁnement)

Mesh(Body, Neutral)

Blender

OutputCombine3D Motion(GLTF)FBX(Body, Eyes, Teeth)(Neutral, Expressions)Mongle(3D Motion)

File Format
Conversion(GLTF2FBX)

Handcrafted
Camera Parameter
Estimation

CameraParameters

TextureMapping

Texture(For Body)

Meshlab

Image(Multi-Angle, Body)

Deformation
Transfer

Mesh(Body, Expressions)

Rigid
Transformation

Mesh(Eyes, Teeth)(Expressions)Mesh(Eyes, Teeth, Neutral)
Template Model(Eyes, Teeth)(Neutral, Expressions)

3D Motion
(FBX)

Wrap3

Template Model(Body)(Neutral, Expressions)

Unity(3D Motion)

Python Code

まとめ・今後の課題

C++ code
Blender

１枚のみの画像から歌唱やダンス動作可能なフォトリアルキャラクタ生成技術を開発し、システムとして実装した。通常は長い時間と膨大な人的コストを必要とするキャラクタ生成プロセスを自動化することを可能とした。
今後も Uncanny Valleyを脱するための研究開発を進め、省力化に大幅に貢献しつつ、プロダクションレベ
ルに到達できる技術開発を推進していく。

23

ダンス動画創作支援：1 枚画像からの着衣全身３次元モデリング技術
夏目 亮太 斉藤 隼介 *1
早稲田大学

*1

森島 繁生

南カリフォルニア大学

システム概要全身画像１枚の入力から本人そっくりの”踊るアバター”を作成できるシステム

全身画像の撮影

1. 背景削除

2. 全身の 3D 復元

3. テクスチャベイク

5. ダンスアバター

4. リギング

全身の 3D 復元

3D 復元結果

近年、拡張現実や仮想現実などの没入型の映像体験が流行している。
それらの映像に必要な 3DCG コンテンツを制作するためには、現実世界の 3 次元物体をデジタル化する必要がある。しかし、着衣人物の 3DCG 化の場合は、何十台ものカメラを用いた緻密なスキャン装置や、非常に複雑な長時間の撮影作業が必要となる。そこで
我々は、着衣人物の写真一枚から、深層学習を用いて全身の 3D 形状を復元するシステムを実現することで、誰でも気軽に自身の 3DCG コンテンツを用いた映像体験が可能となるシステムを開発した。

誰でも簡単に自身の3DCG コンテンツが利用可能に
入力画像

提案手法

3D 復元結果（テクスチャ）3D 復元結果

ダンスアバターの作成

・Pixel-Aligned Implicit Function (PIFu) という新しい 3D 情報の表現方法を提案し PIFu で 3D 復元した全身のオブジェクトに対し、
自動でリギングを行うことに効率良く 3D 情報を扱うことにより、人の全身の高精度な 3D 復元を実現

より、任意のモーションを付与した映像を作成可能

・提案手法では、3D 形状だけでなく、画像中には見えない背面のテクスチャも、高精度での復元を実現

3D 復元結果

モーション付与結果

今後の展望
実サービスへの応用を考えると、より高解像度な 3D 形状とテクスチャの復元が求められる。また、今後の課題としては、動画中の人物に対して、時系列的に安定した復元の実現が考えられる。

24

ダンス動画創作支援：動画からの３次元ダンスモーション自動推定技術
中塚 貴之 吉井 和佳 *1 小山 裕己 *2 深山 覚 *2 後藤 真孝 *2 森島 繁生
早稲田大学

*1

京都大学

*2

産業技術総合研究所

はじめに

提案手法

バーチャルキャラクタを用いたダンス動画コンテンツは、「踊ってみた動画」
等で人

２次元姿勢推定気のコンテンツの一つである。近年では、バーチャルユーチューバーやバーチャル• 画像の認識 - 生成モデル統合による半教師有り２次元姿勢推定

アイドルといったように、活躍の場をインターネットに求めるクリエイターが増え• 生成モデルを導入するメリットている。バーチャルライブでもダンスパフォーマンスのキャプチャシステムが重要・認識モデル、
生成モデルの双方から２次元姿勢推定結果の姿勢らしさをだが、ダンスモーションデータの多くは、専用の装置での撮影、またはクリエイター

多面的に評価することで認識モデルの推定性能を改善の手作業によって作成されており、コストが高い。我々は単眼カメラの動画から、バーチャルキャラクタに適用可能な３次元ダンスモーションを取得するシステム

・教師無し画像を学習データとして活用を実現した。

ワークフロー• 動画ファイル、もしくはニコニコ動画や YouTube といった動画共有サービスの動画 URL を入力とし、３次元ダンスモーションを出力
・ベースライン手法に対する姿勢推定性能の改善• 対象人物の２次元姿勢推定結果と３次元姿勢推定結果をリファインメントし、ダ
ンスモーションとして破綻の少ないモーションを推定

・生成モデルを導入し、姿勢らしさを考慮することで性能を改善
・教師無し画像を学習データに加えることでさらに性能を改善

実験条件：ベンチマークデータセットの 60% を教師有り、

モーション推定結果

40% を教師無し画像として利用

３次元姿勢推定 [Kocabas et al., 2020]•ゲート付き回帰型ユニットと敵対的生成ネットワークを組み合わせた手法

入力動画

姿勢のリファインメント•姿勢推定結果に対し関節の位置や身体の向きの時間変化量が非常に大きいフレー
ムを特定し、前後の推定結果を用いて滑らかに補間

出力結果

入力動画

今後の展望
• ２次元姿勢推定で提案した認識 - 生成モデルを統合する枠組みを３次元姿勢推定

出力結果

および時間方向に拡張することで、より高品質な３次元ダンスモーションの推定・障害物による遮蔽や自己遮蔽に対しても頑健なモーション推定25

歌唱動画創作支援：1 枚画像からの顔の３次元モデリングおよび表情合成技術
山口 周悟 斉藤 隼介 *1
早稲田大学

*1

森島 繁生

南カリフォルニア大学

システム概要顔画像１枚の入力からフォトリアルな顔モデルを作成できるシステム＋

顔画像の撮影

３D モデルフィッティング＆UV テクスチャ展開

フォトリアルレンダリング &表情付きモデルを用いた歌唱アニメーション

テクスチャ推定 & 補間

提案手法

テクスチャ推定結果

近年、特に映画のプロダクションでは不気味の谷を超えるデジタルアバターが活用され、視聴者が CG の存在にすら気づかないレベルの映像が表現されている。しかし、このようなデジタルアバターを作成するためには Light Stage のような三次元撮影装置を利用する必要があり、個人が自分のデジタルアバターを作成するのは費用等の点から困難である。
そこで、一枚の顔写真から高画質の皮膚表面反射率と形状を推定するディープラー
ニングベースの手法を提案する。画像にはオクルージョンや任意の照明条件が含まれていても対応可能である。再構成された高解像度テクスチャは、Diﬀuse（拡散反射）
アルベドと Specular（鏡面反射）アルベドの高解像度の皮膚表面反射率マップ、
中・高周波 Displacement マップを含む。これにより、新しい照明条件の下でフォト

照明・方向に対する頑健性

リアルなデジタルアバターをレンダリングすることが可能である。

outputinput

ワークフロー

input image

先行研究との比較
テクスチャ推定

テクスチャ補間

26

input texture

output歌唱動画創作支援 : 音楽からの個性ある歌唱アニメーション生成技術
岩瀬 翔平

加藤 卓哉 *1 森島 繁生

早稲田大学

*1

ExaWizards Inc.

提案手法

はじめに
歌唱時表情アニメーションの制作

生成ネットワーク

3DCG コンテンツの一つとして歌唱アニメーションがある。音楽に合わせて踊るダ

表情を音声的要因と個性的要因に分解する

ンスアニメーションの制作は盛んに行われる一方で、歌唱時の表情アニメーションの制作は難易度が高く多大な時間を要するため、表情は固定されてしまうことが多い。
また、写実的な 3DCG モデルでは、人間的に自然な動作がより高い水準で求められると同時にキャラクタとなる歌唱者の個性を保持することが要求されるため、制作における技術的障壁がさらに高いと言える。そこで我々は歌声データから直接、

例）口形→音声的要因、 瞼の開閉→個性的要因
・歌声から音声特徴量を抽出し、歌唱ラベルより歌唱者情報を与える
・歌唱者ラベルを入れ替えることで出力アニメーションの個性が変更可能
歌声

自然かつ個性を反映した表情アニメーションを生成可能なシステムを実現した。

メル周波数
スペクトログラム

口形素予測値

ブレンドシェイプ
パラメータ

システム概要・本手法では深層学習モデルを用いて歌声から、表情を制御するブレンドシェイプ
データセット中の歌唱者

パラメータと顔回転のパラメータを推定する。

回転パラメータ

・学習データセット中の各歌唱者に対応する歌唱者ラベルによって出力アニメー
ションの個性の制御が可能である。
・これらパラメータを用いて高精細な３次元顔モデルのアニメーションが制作可
能である。

時間安定性
フレーム単位で推定されたパラメータは時間的に不安定
・適応的にフィルタを生成・適応することで時間方向に平滑化を行う
・重みを求める適応的フィルタネットワークは生成ネットワークと同時に学習を通して獲得する
して獲得する

歌声

歌唱者ラベル

ブレンドシェイプ

回転

歌唱

パラメータ

パラメータ

アニメーション

適応的
フィルタ

生成結果

歌唱データセット
データセット構成
男性歌唱者５名 x J-POP 楽曲 5 曲・ブレンドシェイプによって表される表情データ
・表情データと同期された音声

表情データ
・歌声と一致した自然な動作の生成が可能
・歌唱者ラベルの入れ替えにより瞼の開閉のタイミングや顔の傾きが変化
音声データ

・極端に大きな首振り動作は再現できていないため今後の課題となる

27

音楽理解技術に基づくリズムを利用した体験型コンテンツの創出
横山 幸大 伊藤 理紗 當麻 僚太郎 中村 聡史 後藤 真孝 *1 井上 隆広 *1
明治大学

産業技術総合研究所 *1

問題意識と目的

JusTune

音楽は様々な可能性を秘めているが、その体験としてはまだ十分に力を発揮できて

好きな音楽で新たな体験を (https://justune.net)

いない。

• 好きな音楽について、Songle の音楽解析結果を

音楽理解技術を活用し、その解析結果に基づき音楽体験（ミュージックエクスペリ

利用し、そのリズムやサビなどの認識結果に基づき

エンス：MX）を拡張！

音楽ゲームを自動生成

ミュージックエクスペリエンスを高めるサービスやアプリケーションの実現！

・音楽ゲームとして楽しむだけでなく、
マイクロタスクをゲーム内に取り込むことによって、具体的な方法

ゲームを楽しみながら社会貢献可能• 好きな音楽を利用して高齢者の運動を支援• 好きな音楽をゲームとして楽しみ社会貢献
・その場で流れる音楽を認識して新たな体験へ

その場に流れる音楽で新たな体験を (https://justune.net/live)• 音楽との偶然の出会いを利用したコミュニケーション• ラジオやテレビ、
街なかのスピーカなどから流れてくる音楽が何なのか、そして音楽の何ミリ秒目が再生されているのかを Songle API により認識し、Songle の解析結果を利用してリアルタイムに音楽ゲームを楽しめるように！
・マイクロタスクについても同じく貢献可能！

高齢者向け音楽体験システム
踏んでリズムを楽しむ音楽ゲーム• 高齢者が懐かしむことができる音楽を利用し、Songle による音楽の解析結果をもとに、リズムに合わせて踏んで楽しむゲームを生成
・踏むときに利用するタイルの数や、難易度に応じて、タイルに割り当てられる踏むタイミングが動的に変化
・運動を促すことが目的のため、無理なく楽しめる様々なモードを搭載

その場に流れる音楽で体験共有 (https://justune.net/sync)• ライブや花火大会の会場など、多くのひとが参加する環境において、
ある音楽が
なった時、
その音楽を Songle API により認識して、Songle の音楽解析結果を利用
し音楽ゲームを自動生成、
また Songle Sync の仕組みを利用することで、周りのみんなと一斉に音楽をゲームとして楽しむことが可能に！

スマートデバイスを利用した複数人で楽しむリズムゲーム• 高齢者が懐かしむことができる音楽を利用し、その音楽の Songle による認識結離れたひとと同じ音楽で体験共有 (https://justune.net/comm)果をもとに、リズムに合わせてみんなで触って楽しむゲームを生成• ラジオやテレビ、
ライブ配信など、同じ音楽をまったく同じタイミングで聴いて・Songle Sync の仕組みにより、たくさんのデバイスが完全に同期し、それぞれのタいるひとを Songle API の認識から判断し、今流れている音楽について、
他者を感イミングでタップすることで音楽をすすめることが可能

じることを可能に！

・高価なデバイスを使わずとも、施設のひとがもつスマートデバイスだけで実施す

その他応用ることが可能自身にのみ聞こえる音楽によるプレゼンテーション支援• 音楽を聴きながらプレゼンすることで、プレゼンの質を向上• 緊張しない・時間を守りやすい・音量制御が可能・テンポ制御が可能など

自身にのみ聞こえる音楽によるコミュニケーション支援• 緊張してしまうコミュニケーションを、音楽により改善・間を取りやすいなどのポジティブな効果

28

音楽を聴く行為に着目した音楽キュレーション技術
野中 滉介 松山 直人 髙橋 拓 斉藤 絢基
新納 真次郎 田村 柾優紀 白鳥 裕士 中村 聡史
明治大学

問題意識と目的

reco.mu（レコミュ）

日々膨大な音楽が制作されていくため、有名な音楽への再生が集まり、せっかくの分岐型音楽キュレーションサービス (https://reco.mu)

素晴らしい音楽が埋もれてしまう。

• 他者に音楽を薦めるとき、その他者が色々な観点で音楽をキュレーションすることにより、音楽を再発見できるようにす

音楽をどう興味を持つかということにるとともに、音楽の世界をより豊かにする！

着目した音楽推薦サービス• この曲が好きならこの曲、具体的な方法この曲がいまいちならこの曲といった• ひとの推薦してほしいというニーズを満たすサービスの実現感じで推薦を行う• 他者により深く興味を持ってもらうための推薦手法とサービスの実現• ユーザの聴き方に応じて音楽が分岐• グループで音楽を楽しむことを支援する手法の実現• 分岐型は後半の満足度が向上• まだメジャーではないアーティストを応援するサービスの実現

ユーザの聴き方から再キュレーション• 他者がどう音楽を楽しんだかを記録し、分岐の改善が可能

mureq（ミューリック）• 他者がどう音楽をすすめているかを参考に、
プレイリストを Fork して改良

質問応答型音楽キュレーションサービス (https://mureq.com)• マニアックなコンテキストなどを含む質問に様々なユーザが回答して集合知として音楽が集まり、音楽プレイリストを完成させるサービス

クエリの例
・朝に外を走りたくなるような曲をください
・カラオケに入ってるマイナーなボカロ曲で、歌いやすい盛り上がる曲覚えたい

Uniotto（ユニオット）グループ型音楽鑑賞アプリ (https://uniotto.org)• 音楽をひとりで楽しむのではなく、お互いに音楽をすすめあうことを可能にする
グループ型音楽鑑賞支援アプリケーション（iOS 用）• 音楽をグループで楽しむための様々なミニアプリケーションの提案

リレー音楽プレイヤ• 質問に対して音楽が集まることで、結果的に音楽に対するアノテーションとな• 参加者がリレー形式で音楽を選びり、検索のインデックスとして利用可能に

その音楽の連なりなどをうまく利用しグループの会話を盛り上げるプレイヤ

otoniwa（おとにわ）

音札

音楽を庭に植え、育て、聴いてもらうサービス• 参加者のもつ音楽をカルタの手札としその音楽が再生されてからいかに早く• 自身の好きなアーティストの音楽を聴いてそのカルタを取ることができるかを競いもらうため庭に植える

またその音楽をすすめあうゲーム• 庭で音楽が再生されると、ポイントがもらえる（動画の視聴数も向上）

ミュージック人狼• 再生数の伸び率によりポイントがもらえる• 参加者がそれぞれ音楽を選択しため、音楽を発掘してすすめることを促進

再生されている音楽が誰によるものかを再生されているひとは自分じゃないと演技しそうでないひとは推理する人狼ゲーム

29

文字の数式化と融合による未来の歌詞表現の実現
斉藤 絢基 新納 真次郎 佐藤 剣太 野中 滉介 佐々木 美香子 鈴木 正明 中村 聡史
明治大学

問題意識と目的

印象に基づく歌詞生成

ミュージックビデオで提示される歌詞や、カラオケで提示される歌詞など、文字に音楽印象に基づくフォント生成よる表現は様々な場面に存在しているが画一的なことが多い。

• 音楽から推定された印象に基づき、歌詞に文字表現を適用し、その文字表現に基こうした文字表現を、音楽に合わせてより豊かな表現をできるようにし、音楽の印

づき印象の拡張を行う

象を増幅可能とする。

具体的な方法• 文字を数式として表現し、演算可能に• 演算により、状況に応じた新たなる文字表現を生成

文字の数式化と文字表現の生成
フーリエ級数展開による文字の数式化• 音楽の印象を利用して、歌詞のフォントを生成し適用した実験を実施し、切ない・• 文字を芯線の座標と、その太さで表現し、フーリエ級数展開により数式化

滑稽・可愛いについては印象強調可能だが、元気が出る・激しいについては強調が難しく、アニメーションなどを利用する必要あり

数式化された文字への演算によるアニメーション表現• 芯線に対して正弦波、矩形波などを付与することで、文字アニメーションを生成• 印象に適切なアニメーションタイプを生成して多様な表現を可能に数式化された文字の加重平均化
・数式化された複数の文字表現を任意の割合で融合し、新しい文字表現を生成

応用
手書き・フォントの融合による温かみのある手紙作成• 手書きとフォントの融合により、送り手にとって恥ずかしくなく、また受け手に文字表現の印象を形容詞対の値で表現し、任意の点で融合

とってうれしい手紙が作成可能

・18 種のフォントについて、35 対の形容詞対を用意し、17 人に印象評価依頼
・フォントをベクトル表現可能とするとともに、因子分析により 4 軸を抽出

コミックのセリフや字幕などへの適用• コミックのセリフや、映画の字幕など、様々な文字表現が行われる場面において、フォント融合や手書き融合の技術を利用し、好感度の高い文字表現や、
印象評価

・形容詞対の選択により表現する平面を値を上げる文字表現などが可能に選定し、任意の点の指定により新しい文字表現を生成可能に融合インタフェース• フォントを絵の具のように融合可能なユーザインタフェースの実現

30

ダンス理解のための基礎的研究と応用のためのデータベース構築
又吉康綱 古市冴佳 斎藤光 阿部和樹 中村聡史
小山裕己 *1 深山覚 *1 後藤真孝 *1 森島繁生 *2
明治大学

産業技術総合研究所 *1

早稲田大学 *2

問題意識と目的• 中学校の体育の教育におけるダンスの必修化や、踊ってみた動画の隆盛、
テレビ

Mongle（モングル）
ダンスモーション誤り修正インタフェース (https://mongle.jp)

番組などにおける参加を促すダンス映像、ダンスのプロリーグに関する• 森島研究室のダンス動画からの骨格認識手法をもとに、ダンス動画を骨格情報と

D.LEAGUE の発足など、ダンスに対する注目が高まっている。

ともに情報を蓄積• 独自にダンスを楽しむ場合、そのひとの個性にあったダンスを利用する必要があ• ウェブインタフェース上で誤り修正可能とする

るうえ、ニュアンスを理解するための仕組みも必要になる。
• 参考にできるダンス動画は膨大にあるが、キーワード以外での探索はできないた
め、その検索・探索を可能にするための基盤技術が必要になる。

具体的な方法• ダンスの個性について理解する• ダンスにおいてニュアンスを習得する適切な方法を模索• 大規模ダンスデータベースを構築し、修正可能とする

ダンスの個性
ダンスにおけるそのひとらしさ、個性とは何なのか？
• ダンスにおいて自身を判断する材料が個性の一部といえる？

誤り修正を支援する類似度判定手法

ダンスの骨格情報だけを抽出したものを提示し、自身がどのものかを判断しても• ダンス動画内における類似シーンを画像ベースで発見し、そのシーンにおける骨らったところ、熟達したダンサーは自身のダンスを高精度に判断できていた格推定結果は類似していると判断し、その骨格情報を誤り修正のための候補として提示

ダンスにおけるそのひとらしさを機械が判断可能か？
• ダンスにおいてひとはどこで自分を判断しており、機械はそれを判定可能か？

https://www.nicovideo.jp/watch/sm29383900

・結果：経験豊富なダンサー＞経験が浅いダンサー

ダンスの習得容易性向上

・経験豊富なダンサーは、動きではなく、体の形を判別に利用していた

ダンスにおいて難しいニュアンスを動画からどう習得するか？
• ダンスにおいて習得するのが難しいニュアンスをいかにして動画だけを視聴して習得を目指す
着目した音楽推薦サービス• 漫画的オノマトペ提示手法が最も効果的！
• ダンスの構造表現にも取り組む
・角度特徴を使うことで機械も高精度に判定可能

31

Kiite: 楽曲と出会える音楽発掘サービス
石田 啓介

佐藤 浩輔 *2 濱崎 雅弘 後藤 真孝 佃 洸摂 佐々木 渉 *1
高橋 卓見 渡邉 研斗 深山 覚 中村 聡史 *2

産業技術総合研究所*1

クリプトン・フューチャー・メディア株式会社

Kiite（キイテ）とは

*2

明治大学

Kiite の様々な機能

音楽発掘サービス Kiite (https://kiite.jp）

音楽発掘用プレーヤー機能：多数の楽曲を次々と試聴しながらプレイリストを作成・共有可能• 膨大な歌声合成楽曲の中を探索し、好みの楽曲に出会えるサービス•音楽印象分析・音楽推薦技術を用いて、多様な探索・絞り込み・推薦を実現• 効率的な試聴を可能にする音楽発掘用プレーヤー：•ユーザが複数の推薦エンジンを作成でき、他のユーザのエンジンも利用可能•楽曲のサビ区間を事前に自動検出し、音楽動画をサビから試聴できる• 自分のプレイリストを作成して、自分のお気に入りの音楽を広めたり、•再生中にボタンを一押しで手軽にプレイリストへ追加できる

他のユーザが作ったプレイリストを視聴することが可能

自分の「好き」を見つけて自分の「好き」を広める音楽発掘サービス

効率的に試聴できる音楽動画再生プレーヤー画面

プレイリスト表示・再生画面

音楽レーダー機能：音楽印象分析に基づく探索・絞り込みが可能• 歌声合成の歌手名、投稿日、
ジャンル、ソーシャルタグ、再生数などの属性をフィルター条件として組み合わせて絞り込める

モバイル版 Kiite• 音楽印象分析技術によって楽曲の音響信号からその印象を自動分析し、その結果も組み合わせながら絞り込める

スマートフォン・タブレット用 Kiite• Kiite の音楽レーダー機能、音楽推薦エンジン機能、新曲チェック機能などを、
スマートフォン等のモバイル端末から手軽に利用可能レーダーとなる印象マップと試聴候補の画面

印象マップを拡大表示した画面

複数の音楽推薦エンジンを使い分けて新たな楽曲に出会う• 音楽推薦エンジンがユーザ毎に異なる「お勧め楽曲のプレイリスト」
を自動生成•視聴履歴やお気に入り、楽曲の音響信号を自動解析して得られる曲調を利用• ユーザに自動でパーソナライズ（個人適応）した推薦エンジンに加え、ユーザが自分でカスタマイズ（改造）した「カスタム推薦エンジン」
を追加可能

Kiite Cafe

•自分の推薦エンジンだけでなく、他のユーザの推薦エンジンも利用可能「好き」が伝わる音楽発掘カフェ• そこに居るだけであなたの「好き」がみんなに伝わるバーチャルカフェ
• Kiite Cafe にログインしているユーザのお気に入り曲やプレイリストの曲から、次に流れる曲が自動的に選曲され、みんなで同時に視聴できる• いま流れている曲が「誰の好き」なのか、今その曲を聴いて「誰が好き」になったのかが伝わる

推薦エンジンによるお勧め楽曲のプレイリスト画面

カスタム推薦エンジンの作成画面

選曲理由の表示
流れている曲の選曲理由

ボーカロイド楽曲レーベルKARENTとのコラボレーション企画を2020年8月に実施

現在流れている曲が、誰のプレイリスト登録曲やお気に入り曲であるかが、すぐにわかる

Kiite Cafe がクリエータとの新しい交流の場に動画プレーヤ

ログイン中のユーザお気に入りマーク

吹き出し

ユーザの反応を表示
現在流れている曲をお気に入り登録すると、画面に• 特定のクリエータが作成したプレイリストの楽曲だけが選曲される特別な時間帯を用意し、特別企画として告知

ハートマークが現れ登録したことが周りに伝わる。
さらに吹き出しや回ったりもできる• 当日はクリエータ本人も参加し、100 名を越えるユーザが集合

32

OngaACCEL プロジェクト 研究参加者一覧
後藤グループ（産業技術総合研究所）
後藤 真孝（産業技術総合研究所）
濱崎 雅弘（産業技術総合研究所）
中野 倫靖（産業技術総合研究所）
深山 覚（産業技術総合研究所）
加藤 淳（産業技術総合研究所）
佃 洸摂（産業技術総合研究所）
小山 裕己（産業技術総合研究所）
渡邉 研斗（産業技術総合研究所）
Tian Cheng（産業技術総合研究所）
土田 修平
Kin Wah Edward Lin（産業技術総合研究所）
Fabrizio Pedersoli （産業技術総合研究所）（産業技術総合研究所）
川崎 裕太

2016/08 - 2021/03
2016/08 - 2021/03
2016/08 - 2021/03
2016/08 - 2021/03
2016/08 - 2021/03
2016/08 - 2021/03
2017/04 - 2021/03
2018/04 - 2021/03
2016/12 - 2021/03
2017/04 - 2021/03
2018/05 - 2021/03
2019/04 - 2021/03

石田 啓介
井上 隆広
田中 一大
笠井 志麻
髙橋 卓見
中村 美慧
矢倉 大夢
田中 利枝
Jordan Smith
尾形 正泰
Paul Haimes
中村 裕美（産業技術総合研究所）

2016/11 - 2021/03（産業技術総合研究所）

2016/11 - 2021/03（産業技術総合研究所）

2016/11 - 2021/03（産業技術総合研究所）

2019/04 - 2021/03（産業技術総合研究所）

2019/04 - 2021/03（産業技術総合研究所）

2019/04 - 2021/03（産業技術総合研究所）

2019/12 - 2021/03（産業技術総合研究所）

2017/04 - 2017/10（産業技術総合研究所）

2016/11 - 2017/12（産業技術総合研究所）

2016/08 - 2018/08（産業技術総合研究所）

2017/04 - 2019/02（産業技術総合研究所）

2017/02 - 2019/09

大喜多 美里
福田 翼
尾島 優太
村田 叡
津島 啓晃
和田 雄介
糸山 克寿
柴田 健太郎
上田 舜
持橋 大地（京都大学）

2016/08 - 2017/03（京都大学）

2016/08 - 2017/03（京都大学）

2016/08 - 2018/03（京都大学）

2018/02 - 2018/03（京都大学）

2016/08 - 2019/03（京都大学）

2016/08 - 2019/03（東京工業大学）

2016/08 - 2019/03（京都大学）

2017/04 - 2020/03（京都大学）

2017/04 - 2020/03（統計数理研究所）

2016/08 - 2020/03

佐藤 和仁
平田 明日香辻 雄太
朝比奈 わかな
佐藤 晴紀
赤堀 渉
伴山 裕貴
成田 史弥
福里 司
杉原 大志
小澤 禎裕
柿塚 亮
佐藤 優伍
古川 翔一
中村 優文
持田 恵佑
佐藤 樹
松田 聡子
山本 祥彰
谷田川 達也
小坂 昴大
板摺 貴大
高森 啓史
宮川 翔貴
又吉 祐
野澤 直樹
井上 和樹
夏目 亮太
山口 智也
山岸 奏実
矢代 達希
岩住 有希子（早稲田大学）2020/04 - 2021/03（早稲田大学）2020/04 - 2021/03（早稲田大学）2020/04 - 2021/03（早稲田大学）2016/09 - 2017/03（早稲田大学）2016/09 - 2017/03（早稲田大学）2016/11 - 2017/03（早稲田大学）2016/11 - 2017/03（早稲田大学）2016/11 - 2017/03（早稲田大学）2016/11 - 2017/08（早稲田大学）2017/04 - 2017/09（早稲田大学）2016/09 - 2018/03（早稲田大学）2016/08 - 2018/03（早稲田大学）2016/11 - 2018/03（早稲田大学）2016/11 - 2018/03（早稲田大学）2016/11 - 2018/03（早稲田大学）2016/08 - 2018/03（早稲田大学）2016/08 - 2018/03（早稲田大学）2016/08 - 2018/09（早稲田大学）2018/04 - 2018/09（早稲田大学）2016/08 - 2019/03（早稲田大学）2016/11 - 2019/03（早稲田大学）2016/08 - 2019/03（早稲田大学）2016/08 - 2019/03（早稲田大学）2016/09 - 2019/03（早稲田大学）2018/04 - 2019/08（早稲田大学）2016/11 - 2020/03（早稲田大学）2017/04 - 2020/03（早稲田大学）2017/04 - 2020/03（早稲田大学）2017/04 - 2020/03（早稲田大学）2017/04 - 2020/03（早稲田大学）2018/04 - 2020/03（早稲田大学）2019/04 - 2020/03

2016/11 - 2021/03

吉井グループ
吉井 和佳
中村 栄太
Andrew McLeod
呉 益明
錦見 亮
柴田 剛
石塚 崚斗
平松 祐紀
大山 偉永
寺尾 萌夢
Florian Thalmann（京都大学）

2016/08 - 2021/03（京都大学）

2016/08 - 2021/03（EPFL）

2018/04 - 2021/03（京都大学）

2018/10 - 2021/03（京都大学）

2016/08 - 2021/03（京都大学）

2018/04 - 2021/03（京都大学）

2019/04 - 2021/03（京都大学）

2019/04 - 2021/03（京都大学）

2020/05 - 2021/03（京都大学）

2020/05 - 2021/03（京都大学）

2020/06 - 2021/03

森島グループ
森島 繁生
Savkin Pavel
加藤 久美子
岩本 尚也
加藤 卓哉
斎藤 隼介
山口 周悟
中塚 貴之
野沢 綸佐
福原 吉博
金田 綾乃
山本 晋太郎
馮起
粥川 青汰
島村 僚
久家 隆宏
石田 大地
土屋 志高
趙 慕絲
松田 聡子
谷田川 達也
板摺 貴大
岩瀬 翔平
小池 達也
田中 啓太郎
辻 雄太
中村 和也
大矢 隆
小林 篤史
綱島 秀樹
栗林 雅希
久保谷 善記沖川 翔太（早稲田大学）2016/08 - 2021/03（早稲田大学）2016/08 - 2021/03（早稲田大学）2018/04 - 2021/03（早稲田大学）2016/09 - 2021/03（エクサウィザーズ）2016/09 - 2021/03（南カリフォルニア大学）

2016/11 - 2021/03（早稲田大学）2016/11 - 2021/03（早稲田大学）2016/09 - 2021/03（早稲田大学）2016/09 - 2021/03（早稲田大学）2016/10 - 2021/03（早稲田大学）2016/09 - 2021/03（早稲田大学）2016/08 - 2021/03（早稲田大学）2017/04 - 2021/03（早稲田大学）2017/04 - 2021/03（早稲田大学）2018/04 - 2021/03（早稲田大学）2018/04 - 2021/03（早稲田大学）2018/04 - 2021/03（早稲田大学）2018/04 - 2021/03（早稲田大学）2018/04 - 2021/03（早稲田大学）2019/04 - 2021/03（東京大学）

2019/04 - 2021/03（早稲田大学）2019/04 - 2021/03（早稲田大学）2019/04 - 2021/03（早稲田大学）2019/04 - 2021/03（早稲田大学）2019/04 - 2021/03（早稲田大学）2019/04 - 2021/03（早稲田大学）2019/04 - 2021/03（早稲田大学）2019/04 - 2021/03（早稲田大学）2019/04 - 2021/03（早稲田大学）2020/04 - 2021/03（早稲田大学）2020/04 - 2021/03（早稲田大学）2020/04 - 2021/03（早稲田大学）2020/04 - 2021/03

33

中村グループ
中村 聡史
鈴木 正明
佐藤 浩輔
高橋 拓
佐々木 美香子
又吉 康綱
菅野 一平
桑原 樹蘭
南里 英幸
野中 滉介
古市 冴佳
細谷 美月
松山 直人
伊藤 理紗
船崎 友稀奈
杉本 知佳
二宮 洸太
濱野 花莉
梶田 美帆
藤原 優花
横山 幸大
新納 真次郎
青木 由樹乃
植木 里帆
山崎 郁未
飯島 雅也
清水 亜美

（明治大学）

2016/08 - 2021/03（明治大学）

2016/08 - 2021/03（明治大学）

2017/01 - 2021/03（明治大学）

2017/04 - 2021/03（明治大学）

2017/04 - 2021/03（明治大学）

2017/04 - 2021/03（明治大学）

2018/04 - 2021/03（明治大学）

2018/04 - 2021/03（明治大学）

2018/04 - 2021/03（明治大学）

2018/04 - 2021/03（明治大学）

2018/04 - 2021/03（明治大学）

2018/04 - 2021/03（明治大学）

2018/04 - 2021/03（明治大学）

2019/04 - 2021/03（明治大学）

2019/04 - 2021/03（明治大学）

2019/04 - 2021/03（明治大学）

2019/04 - 2021/03（明治大学）

2019/04 - 2021/03（明治大学）

2019/04 - 2021/03（明治大学）

2019/04 - 2021/03（明治大学）

2019/04 - 2021/03（明治大学）

2019/11 - 2021/03（明治大学）

2020/04 - 2021/03（明治大学）

2020/04 - 2021/03（明治大学）

2020/04 - 2021/03（明治大学）

2020/04 - 2021/03（明治大学）

2020/04 - 2021/03

中村 瞭汰
山口 真
福地 翼
久保田 夏美佐藤 剣太
新納 真次郎
牧 良樹
松田 滉平
松井 啓司
田村 柾優紀
大野 直紀
土屋 駿貴
前島 紘希
田島 一樹
白鳥 裕士
上西 隆平
神山 拓史
斉藤 絢基
樋川 一幸
山浦 祐明
阿部 和樹
徳久 弘樹
斎藤 光
水野 颯
大島 遼
木頃 伸哉

佐々木グループ
佐々木 渉
林 禎康
長澤 公平
田名部 茂

（クリプトン・フューチャー・メディア株式会社）

2016/08 - 2021/03（クリプトン・フューチャー・メディア株式会社）

2016/08 - 2021/03（クリプトン・フューチャー・メディア株式会社）

2019/11 - 2021/03（クリプトン・フューチャー・メディア株式会社）

2016/08 - 2019/11

34（明治大学）

2020/04 - 2021/03（明治大学）

2020/07 - 2021/03（明治大学）

2016/08 - 2018/03（明治大学）

2016/08 - 2018/03（明治大学）

2016/08 - 2019/03（明治大学）

2016/08 - 2019/03（明治大学）

2016/08 - 2019/03（明治大学）

2016/08 - 2019/03（明治大学）

2016/08 - 2019/03（明治大学）

2016/08 - 2019/03（明治大学）

2016/08 - 2019/03（明治大学）

2016/08 - 2019/03（明治大学）

2016/08 - 2019/03（明治大学）

2016/08 - 2019/03（明治大学）

2016/08 - 2019/03（明治大学）

2017/04 - 2019/03（明治大学）

2016/08 - 2020/03（明治大学）

2016/08 - 2020/03（明治大学）

2016/08 - 2020/03（明治大学）

2016/08 - 2020/03（明治大学）

2016/08 - 2020/03（明治大学）

2018/04 - 2020/03（明治大学）

2017/04 - 2020/03（明治大学）

2017/04 - 2020/03（明治大学）

2016/08 - 2020/03（明治大学）

2018/04 - 2020/03

OngaACCELシンポジウム2020 (https://ongaaccel.jp/symposium2020/)「音楽情報処理研究が切り拓く未来の音楽体験」予稿集
科学技術振興機構（JST）戦略的創造研究推進事業 ACCEL
2016 年度採択研究課題「次世代メディアコンテンツ生態系技術の基盤構築と応用展開」

発行日
代表者
編集者
発行

2020 年9 月12 日
後藤 真孝
中村 美慧 笠井 志麻 加藤 淳
OngaACCEL プロジェクト <info@mail.ongaaccel.jp>
国立研究開発法人 産業技術総合研究所
人間情報インタラクション研究部門 メディアインタラクション研究グループ〒305-8568 茨城県つくば市梅園1-1-1 中央第二TEL 029-861-1344