DEIM Forum 2023 XX-Y

楽曲メディアコンテンツのビート特徴に合致した
スライドショー動画メディアコンテンツ生成方式
山口 凜華†

岡田 龍太郎†

峰松 彩子†

中西 崇文††武蔵野大学データサイエンス学部 〒135-8181 東京都江東区有明 3-3-3
E-mail: † s2122069@stu.musashino-u.ac.jp,{ryotaro.okada, ayako.minematu , takafumi.nakanishi }@ds.musashino-u.ac.jp，

あらまし 本研究では，楽曲メディアコンテンツのビート特徴に合致したスライドショー動画メディアコンテン
ツ生成方式について示す．本方式は，楽曲メディアコンテンツと複数の画像メディアコンテンツ群を入力とし，楽曲と映像が連動したスライドショー動画メディアコンテンツを自動生成する．本方式では，楽曲メディアコンテン
ツのリズムを特徴づけているドラムパートを抽出した上で，その音量の大きい箇所を時系列情報として取り出したものをビート特徴として定義し，その特徴に合わせて画像メディアコンテンツが切り替わるようなスライドショー動画メディアコンテンツを生成する．本方式を実現することで，ユーザは楽曲と映像が連動した動画メディアコンテンツを容易に作成することが可能となる．
キーワード 音声・音楽，マルチメディア，スライドショー動画メディアコンテンツ

1. は じ め に替わるスライドショー動画メディアコンテンツの生成

近 年 ，YouTube な ど の 動 画 共 有 サ ー ビ ス や Instagramを支援するシステムを作ることができれば，コンテンなどの画像の共有を目的としたソーシャルネットワー

ツの作成にかかる時間や労力を低減させることが可能

キ ン グ サ ー ビ ス に お い て ，シ ョ ー ト 動 画 と 呼 ば れ る 90になると考える．

秒以内の短い動画が若い年代を中心に流行している．

本稿では，楽曲メディアコンテンツのビート特徴にその中でも，スライドショー動画メディアコンテンツ合致したスライドショー動画メディアコンテンツ生成と呼ばれる，音楽に合わせて画像を切り替える形式の

方 式 に つ い て 示 す ．本 方 式 は 以 下 の 手 順 で 構 成 さ れ る ．

動 画 が 人 気 を 博 し て い る ．Instagram に お い て は ，ス ラ

まず，1 つの楽曲メディアコンテンツと複数の画像メ

イドショー動画メディアコンテンツを手軽に作成する

ディアコンテンツを入力する．入力された楽曲メディことができる機能を内包するリールと呼ばれる機能がアコンテンツは音声分離機能と切り替えタイミング抽実装されている．

出機能によってリズムタイミングデータを抽出する．

これらの流れによって，多くのユーザが自身の作成そのリズムタイミングデータは，入力された楽曲メデしたメディアコンテンツを発信できるようになると，ィアコンテンツと複数の画像メディアコンテンツとと他のユーザよりも更に質の高い動画を作成したいと考もに，タイミングマッチ機能によって楽曲付き動画メえるユーザが現れる．そのようなニーズに合わせて動デ ィ ア コ ン テ ン ツ と し て 生 成 ，出 力 す る ．本 方 式 で は ，画編集ソフトもかなり身近な存在になりつつある．

楽曲メディアコンテンツのリズムを特徴づけるものとスライドショー動画メディアコンテンツを作る際してドラムパートに着目する．ドラムパートの音量がに，一般的に手軽に作成することができるタイプのも大きい箇所を時系列情報として取り出したものをビーのは，画像は一定の決められた時間間隔で切り替わるト特徴として定義し，画像メディアコンテンツが切りものとなっている．それに対して，動画クリエイター替わるタイミングとして利用する．

が作成した質の高いスライドショー動画メディアコン

本方式により，楽曲メディアコンテンツや画像メデテンツでは，画像の切り替えのタイミングが一定ではィアコンテンツを効率的に選択，統合を実現することな く ，BGM の テ ン ポ や リ ズ ム に 合 わ せ て 切 り 替 わ る た

で，ユーザに新たなメディアコンテンツを提供するこめ，視聴者は音楽と画像がマッチした感覚を味わうことが可能となる．とができる．しかし，このような動画は動画クリエイ

本稿は，次のように構成される．2 節では，関連研

ターが手動で画像の切り替えタイミングを指定してい究について示す．3 節では，本方式である楽曲メディることが多く，作成のためには多くの時間や労力が必

アコンテンツのビート特徴に合致したスライドショー要となる．

動画メディアコンテンツ生成方式について示す．4 節

以上のことから，任意の音楽に連動して画像が切りでは，本方式を実現する実験システムを構築し，実験結果を示す．5 節では，本稿をまとめる．

2. 関 連 研 究
本 節 で は ， 2.1 節 で 楽 曲 と 映 像 が 連 動 し た 動 画 コ ン
テ ン ツ 生 成 に 関 す る 研 究 に つ い て 述 べ る ． 2.2 節 で はスライドショーの自動生成に関する研究について述べる ． 2.3 節 で は ， ド ラ ム パ ー ト に よ る 音 楽 の セ グ メ ン
テ ー シ ョ ン に 関 す る 研 究 に つ い て 述 べ る ．2.4 節 で は ，本研究の位置付けについて述べる．

2.1. 楽 曲 と 映 像 が 連 動 し た 動 画 コ ン テ ン ツ 生 成 に関 する研 究
平 井 [1]ら は ，音 の エ ネ ル ギ ー を 表 す RMS の 変 化 に ，映像の明滅や動きなどのアクセントを対応させるよう
図 1に，既存の音楽動画コンテンツを切り貼りする音楽動画自動生成システムを提案している．
F.Jonathan ら [2]は ， セ マ ン テ ィ ッ ク ビ デ オ コ ン テ ンツの選択と自動ビデオ構成による音楽スポーツビデオ生成システムを提案している．

2.2. スライドショーの自 動 生 成 に関 する研 究舟 澤 ら [2]は ユ ー ザ が 指 定 し た 楽 曲 に 対 し ，そ の 歌 詞
情 報 を 基 に 検 索 し た Web 画 像 を 用 い て ，ス ラ イ ド シ ョーを自動で生成するシステムを提案している．
X.Songhua ら [3]は ， 個 人 の 写 真 と 音 楽 の 歌 詞 と の 関連性を推測し，音楽に最適な個人写真を選択し，音楽スライドショーを生成するシステムを提案している．

2.3. ドラムパートによる音 楽 のセグメンテーションに関 する研 究H.Tan ら [3]は ， ド ラ ム ル ー プ パ タ ー ン が 音 楽 の 顕 著
なリズム構造をどのように特徴付けるかを説明し，それの抽出アプローチについて示している．これは，抽出されたドラムループパターンが音楽のセグメンテーションに有用性があることを示唆している．

2.4. 本 研 究 の位 置 付 け

提案方式の全体像

ツのビート特徴に合致したスライドショー動画メディアコンテンツを出力する．
3 章 の 構 成 に つ い て 述 べ る ．3.1 節 で は ，提 案 方 式 の概 要 に つ い て 述 べ る ． 3.2 節 で は ， 音 声 分 離 機 能 に つい て 述 べ る ． 3.3 節 で は ， 切 り 替 え タ イ ミ ン グ 抽 出 機
能 に つ い て 述 べ る ． 3.4 節 で は ， タ イ ミ ン グ マ ッ チ 機
能について述べる．

3.1. 提 案 方 式 の概 要
本節では提案研究の概要について述べる．提案方式の全体像を図 1 に示す．本方式は，音声分離機能，切り替えタイミング抽出機能，タイミングマッチ機能から構成される．切り替えタイミング抽出機能はオンセット検出機能と切り替えタイミング集約機能からなる．
本方式の入力は楽曲メディアコンテンツと画像メディアコンテンツ群であり，出力は楽曲付きスライドショー動画メディアコンテンツである．まず，入力された楽曲メディアコンテンツに対して音声分離機能を適用しドラムの音声データを抽出する．次にドラムの音声データに対して切り替えタイミング抽出機能を適本方式では，選択した楽曲メディアコンテンツのド用し，リズムタイミングデータを抽出する．最後に，ラムビートに合わせて画像メディアコンテンツ群を切タイミングマッチ機能によって，このリズムタイミンり替えることで，スライドショー動画メディアコンテグデータに合わせて入力した画像メディアコンテンツンツを生成するシステムを実現する．これにより，楽群を配置し楽曲と合成することによって，スライドシ曲の音楽的な特徴に合わせたスライドショー動画を生ョー動画メディアコンテンツを生成しユーザに提供す成することが可能になる．

る．

3. 楽 曲 メ デ ィ ア コ ン テ ン ツ の ビ ー ト 特 徴 に 合致したスライドショー動画メディアコンテ

3.2. 音 声 分 離 機 能
音声分離機能は，入力された楽曲メディアコンテン

ンツ生成方式ツをピアノ，ボーカル，ベース，ドラムのパートに分

本節では，提案方式である楽曲メディアコンテンツ離し，ドラムパートのみを抽出する機能である．本機のビート特徴に合致したスライドショー動画メディア

能の入力は楽曲メディアコンテンツであり，出力はドコンテンツ生成方式について述べる．

ラムパートの音声データである．

本方式は，1 つの楽曲メディアコンテンツと複数のこの機能では，事前学習済みモデルを用いて音源をメディアコンテンツを入力し，楽曲メディアコンテン

分 離 す る ツ ー ル で あ る Spleeter[6]を 楽 曲 メ デ ィ ア コ ンテンツに適用させることで楽曲を 4 つのパートに分離し，ドラムパートの音声データのみを出力する．
本機能によって，画像メディアコンテンツの切り替えタイミングを判断するための音声データの出力が可能となる．

3.3. 切 り替 えタイミング抽 出 機 能3.4. タイミングマッチ機 能タイミングマッチ機能とは，リズムタイミングデータを基準に楽曲メディアコンテンツと画像メディアコンテンツ群を合成する機能である．
本機能の入力は，切り替えタイミング抽出機能の出力であるリズムタイミングデータと，本方式の入力で切り替えタイミング抽出機能とは，ドラムの音声デある楽曲メディアコンテンツと画像メディアコンテンータからドラム音が強く鳴っている箇所を抽出する機ツ群であり，出力はスライドショー動画メディアコン能である．

テンツである．

本機能の入力はドラムパートの音声データであり，以上の一連の機能によって，楽曲メディアコンテン出力は時系列形式のリズムタイミングデータである．

ツのビート特徴に合致したスライドショー動画メディ本機能は，オンセット検出機能と切り替えタイミン

アコンテンツ生成方式が実現する．

グ集約機能からなる．
この機能によって，楽曲メディアコンテンツのビー

4. 実 験

ト特徴に合致したタイミングでの画像メディアコンテ

本節では本方式の評価実験について述べる.

ンツの切り替えの実現が可能となる．

実験ではプロトタイプシステムに対して，ドラムの3.3.1. オ ン セ ッ ト 検 出 機 能オンセット検出機能は，音声データからドラムの音テンポが早い楽曲と遅い楽曲を入力し，切り替えタイミング抽出機能の出力結果を確認する．これにより，が強く鳴っている箇所を抽出する機能である．オンセ

ビート特徴の反映の検証を行う．

ットとは楽器の音が鳴り始める箇所のことであり，そ4.1. 実 験 環 境のオンセットを抽出する方式をドラムの音声データに本方式のプロトタイプシステムを実装し，実験をお適用することによって，打楽器であるドラムの強く鳴

こ な っ た ．入 力 す る 楽 曲 と し て ，「 Baby I Need You」(作っている箇所を抽出する．

詞 :Mr.Black 作 曲 :Ann sung hyun， Joosiq)の サ ビ の 7 秒

本機能の入力はドラムパートの音声データであり，間と，「 ccMixter」(作 詞 : Creative Commons)の サ ビ の 11

出力は時系列形式のリズムタイミングデータである．

秒 間 の 2 曲 を 使 用 し た ．「 Baby I Need You」 は テ ン ポ

ま ず ド ラ ム パ ー ト の 音 声 デ ー タ に お い て ， Onsetの速い楽曲であり，「 ccMixter」は テ ン ポ の 遅 い 曲 で あEnvelope と 呼 ば れ る 直 前 の 音 と の 音 量 の 差 分 を 算 出 する．

る ． そ の 後 ， Onset Envelope の 値 が 設 定 さ れ た 閾 値 を4.2. 実 験 ： ビート特 徴 の反 映 の検 証

超 え た 時 点 を Onset と し て 検 出 す る ．

3.3.2. 切 り 替 え タ イ ミ ン グ 集 約 機 能切り替えタイミング集約機能とは，ドラムパートの本研究では，ビート特徴の反映の検証を目的としてテンポの早い楽曲と遅い楽曲を入力し，切り替えタイ
ミ ン グ 抽 出 機 能 に お け る Onset Envelope と オ ン セ ッ ト

音声データにおいてオンセットが連続している箇所のの様子を確認する．

タイミングを集約させる機能である．

4.3. 実 験 結 果

本機能の入力はオンセット検出機能の出力のリズムタイミングデータであり，出力は集約されたリズムタイミングデータである．

本節では，実験結果とそれに対する考察を述べる．
「 Baby I Need You」 に 対 し て オ ン セ ッ ト 検 出 機 能 ま
で 適 用 し た 段 階 の Onset Envelope と オ ン セ ッ ト を 図 2

本機能では，リズムタイミングデータにおいて隣りに示す．切り替えタイミング集約機能まで適用した段合 う 時 点 の 時 間 間 隔 が 0.2 秒 以 下 の 場 合 ， 後 ろ の タ イ

階 の Onset Envelope と オ ン セ ッ ト を 図 3 に 示 す ．図 2，ミングの除去を行う．

図 3 の 横 軸 は 時 間 を 表 し て い て ，縦 軸 は Onset Envelope

これにより，画像メディアコンテンツの切り替えがを 表 し て い る ． Onset Envelope は 0-1 に 正 規 化 し た 値

早すぎることによる画像の認識不可を防止することがを 用 い て い る ． 実 線 は Onset Envelope を 示 し ， 点 線 は可能となる．

オンセットの時点を示している．

図 2 「 Baby I Need You」 の オ ン セ ッ ト 検 出

図 4 「 ccMixter」 の オ ン セ ッ ト 検 出

図 3 「 Baby I Need You」 の図 5 「 ccMixter」

切り替えタイミング集約
図 2 と図 3 を見比べると，図 3 では図 2 からオンセッ ト が 減 少 し て い る こ と が 分 か る ．オ ン セ ッ ト の 数 は ，
図 2 の と き は 18、 図 3 の と き は 12 で あ っ た 。 近 く に存在するオンセットが切り替えタイミング集約機能によって集約され，極端に短いタイミングでの画像の切り替えが行われなくなったことが分かる．
「 ccMixter」 に 対 し て オ ン セ ッ ト 検 出 機 能 ま で 適 用
し た 段 階 の Onset Envelope と オ ン セ ッ ト を 図 4 に 示 す ．の切り替えタイミング集約ート特徴と合致しているかを検証した．切り替えタイ
ミ ン グ 抽 出 機 能 の 出 力 か ら ， テ ン ポ の 速 い 「 Baby INeed You」は 画 像 の 切 り 替 え タ イ ミ ン グ が 11 回 ，テ ン
ポ の 遅 い 「 ccMixter」 は 画 像 が 7 回 存 在 す る こ と が わかった．このことから，テンポの早い楽曲ほど画像の切り替えタイミングが多くなるといえる．

5. 終 わ り に切り替えタイミング集約機能まで適用した段階の本稿では，楽曲メディアコンテンツのビート特徴にOnset Envelope と オ ン セ ッ ト を 図 4 に 示 す ． 軸 は 図 2，合致したスライドショー動画メディアコンテンツ生成

図 3 と同様である。
「 Baby I Need You」の 場 合 と 同 様 に ，方式について述べた．本方式は，楽曲メディアコンテ切り替えタイミング集約機能が有効に機能しているこンツと複数の画像メディアコンテンツ群を入力とし，と が 分 か る ．オ ン セ ッ ト の 数 は ，図 4 の と き は 26，図

楽曲と映像が連動したスライドショー動画メディアコ

5 の と き は 18 で あ っ た ．

ンテンツを自動生成するものである．本方式では，楽続 い て ，「 Baby I Need You」 と 「 ccMixter」 の 切 り 替

曲メディアコンテンツのリズムを特徴づけているドラ

えタイミング抽出機能の出力の比較を行う．ただし，ムパートを抽出した上で，その音量の大きい箇所を時「 Baby I Need You」 の 開 始 4 秒 ま で は ド ラ ム パ ー ト が系列情報として取り出したものをビート特徴として定な い た め 正 常 な 比 較 を 行 う た め ， 4-7 秒 の 範 囲 に 限 定義し，その特徴に合わせて画像メディアコンテンツがした結果を示し，考察を行う．

切り替わるようなスライドショー動画メディアコンテ

4-7 秒 の 範 囲 の 切 り 替 え タ イ ミ ン グ の 数 を 確 認 す ると ，「 Baby I Need You」 は 11 回 ，「 ccMixter」 は 7 回 存在していることがわかる．
本実験では，画像の切り替えタイミングが楽曲のビンツを生成することが可能となる．
本方式は，ユーザの保持している画像メディアコンテンツを使って容易にスライドショー動画メディアコンテンツを生成されるようになり，ユーザに新たなメディアコンテンツを提供することが可能になった．

ま た ,本 稿 で は ， 本 方 式 を 実 現 す る 実 験 シ ス テ ム を構築し，実験を行うことで有効性の検証を行った．
今後の課題としては，ユーザが選択した画像メディアコンテンツ群の中からも，その楽曲の雰囲気に一致する画像メディアコンテンツを選択できるようにすることが挙げられる．

参考文献[1] 平 井 辰 典 ， 大 矢 隼 士 ， 森 島 繁 生 ， “音 楽 と 映 像 が同 期 し た 音 楽 動 画 の 自 動 生 成 シ ス テ ム ” ， IPSJSIG Technical Report， Vol.2013-MUS-99， No.26，2013/05/11．
[2] Wang, Jinjun, Changsheng Xu, Chng Eng Siong,
Ling-yu Duan, Kong-Wah Wan and Qi Tian.
“Automatic generation of personalized music sports
video.” MULTIMEDIA， 2005.
[3] 舟 澤 慎 太 郎 ， 石 先 広 海 ， 帆 足 啓 一 郎 ， 滝 嶋 康 弘 ，
甲 藤 二 郎 ，“歌 詞 情 報 を 利 用 し た Web 画 像・楽 曲連動 スライドショー自動生成 スライドショー
自 動 生 成 シ ス テ ム ”, IPSJ SIG Technical Report，Vol.2010-MUS-84， No.13， 2010/02/16.
[4] Xu, Songhua, Tao Jin and F. Lau. “Automatic
Generation of Music Slide Show Using PersonalPhotos.” 2008 Tenth IEEE International Symposium
on Multimedia， pp． 214-219， 2008.
[5] Tan, Hui Li, Yongwei Zhu, Susanto Rahardja andLekha Chaisorn. “Rhythm analysis for personal andsocial music applications using drum loop patterns.”
2009 IEEE International Conference on Multimedia
and Expo， pp． 1672-1675， 2009.
[6] Hennequin, R., Khlif, A., Voituret, F., & Moussallam,
M. Spleeter: a fast and efficient music source
separation tool with pre-trained models. Journal ofOpen Source Software, 2020.