情報処理学会第 77 回全国大会

2S-04

単一楽曲の切り貼りによる動画の盛り上がりに同期した BGM 自動付加手法
佐藤 晴紀††早稲田大学/JST平井 辰典††

中野 倫靖†††

後藤 真孝††† 森島 繁生††††CREST ††早稲田大学 †††産業技術総合研究所 ††††早稲田大学理工学術院総合研究所/JST CREST

1. はじめに
近年，動画共有サービスの利用者の増加に伴い,動画を共有する文化が広がっており，個人が動画制作に携わる機会が増加している.動画制作における重要な過程に BGM の付加があり,視聴者の動画に対する印象を強くさせる効果がある[1].また，動画をより印象的に見せるために，編集者が「動画の決定的なシーンに楽曲のサビを合わせる」などのこだわりを持って BGM を付加することがある.こだわりを実現するために，楽曲の切り貼りによる編集(以降，再編と呼ぶ)がたびたび行われているが，再編したBGM に違和感が残らないようにしつつ，長さを調節するためには反復的な編集作業が必要であり，これらを同時に考慮した再編には多くの労力が必要となる.この問題を解決するため，これまでにも動画に BGM を付加する手法の研究が行われてきた[2]，[3]．しかし，既存研究の多くは BGM を自動で付加することを重視しており，こだわりを反映させて動画の特定のタイミングに楽曲の特定の箇所を付加するための手法は提案されていない.
本稿では，ユーザが動画と楽曲の指定箇所を入力として与えると，動画と楽曲の始端と終端を合わせつつ，動画と楽曲の指定箇所を同期させた BGM を動画へ自動的に付加する手法を提案する.それにより，楽曲の編集を経験したことのないユーザでもこだわりを反映した BGM の付加を可能とする.

2. BGM 付加手法
本稿における提案手法では，動画と楽曲の始端と終端を合わせつつ，動画と楽曲の指定箇所が同期した BGM の付加を実現させる.一般に動画と楽曲の長さ及び，指定箇所は時間的に異なるため，長さ及び指定箇所の同期は困難であるが，本手法では小節単位での楽曲の再編により実現する.
本手法の流れを図 1 に示す.まず，小節ごとに音響特徴量を抽出する(図 1，A).次に，動画と楽曲の始端，動画と楽曲の終端を合わせ，動画と楽曲の指定箇所を入力する(図 1，B).ここで,動画と楽曲の指定箇所の対は複数でもよい.そして，楽曲の第一小節の終わりと指定箇所の始まり，指定箇所の終わりと楽曲の最終小節の始まりの間を小節単位での再編“An automatic BGM to video addition method synchronizing attention points of avideo clips via rearrangement of a musical piece”† Haruki SATO， Waseda University/JST CREST†† Tatsunori HIRAI， Waseda University††† Tomoyasu NAKANO， Masataka GOTO， National Institute of Advanced
Industrial Science and Technology (AIST)†††† Shigeo MORISHIMA ， Waseda Research Institute for Science andEngineering/JST CREST

図 1. 提案手法の流れ

図 2. 音響特徴量の抽出によって補間する(図 1，C).最後に，動画の長さとBGM の長さを一致させながら結合させることで，動画と楽曲のユーザの指定箇所が同期した BGM の動画への付加を行う(図 1，D).
2.1 音響特徴量の抽出
小節単位で楽曲を再編する際，小節の繋ぎ目の違和感を軽減させるために，類似した小節同士を接続させる.そこで，楽曲を小節ごとに分割したのち，小節を前半/後半の二区間に分割し，それぞれの区間ごとに音響特徴量を抽出する(図 2).楽曲の小節構
造情報は既存のアノテーション情報を用いた.
小節の始まり/終わりから半拍分の MFCC(低 12 次元)，ΔMFCC(低 12 次元)，RMS(1 次元)を抽出する
1 ○2 ).RMS とは音のエネルギーを表す特徴量(図 2,○であり RMS を𝐸𝑅𝑀𝑆 とした時，標本数 n と i 番目の波形の標本値 zi を用いて式(1)のように表せる.
𝑛1𝐸𝑅𝑀𝑆 = √ ∑ 𝑧𝑖2𝑛(1)𝑖=1

次に，前半/後半区間の MFCC の平均と標準偏差を3 ○4 ).ここで，サンプ抽出する(各低 12 次元,図 2,○
リング周波数は 44.1kHz，分析窓幅・シフト幅は10ms とした.
2.2 小節の補間
小節の補間は図 3 に示すような経路選択により行う.まず，楽曲の第一小節と指定箇所と最終小節の間を補間する小節の候補として全小節を配置する.
次に各小節間の繋がりやすさを式(2)に示すコストに基づいて決定する.

2-375

Copyright 2015 Information Processing Society of Japan.
All Rights Reserved.

情報処理学会第 77 回全国大会

表 1. 順位相関係数𝜌の相関がある組の数と統計量
1%水準 5%水準
平均標準偏差最大最小380.6448
0.12780.8424 0.4545
表 2. BGM に用いた楽曲と順位の中央値
曲番号・ジャンル 中央値 曲番号・ジャンル 中央値49No.1・ポップス
No.53・クラシック
49
No.8・ロック
No.55・行進曲
82
No.21・ダンス
No.72・ワールド
3
7
No.29・ジャズ
No.87・声楽
3
7No.38・ラテン
No.91・邦楽図 3. 小節の補間方法
𝐷1𝐷2
𝑗 2′𝑗 2

𝐶𝑗𝑘 = 𝛼√∑(𝒚𝑘𝑖 − 𝒙𝑖 ) + ∑(𝒚′𝑘𝑖 − 𝒙𝑖 )
𝑖=1

(2)

𝑖=1

ここで，𝒙, 𝒙′ , 𝒚, 𝒚′ は 2.1 章で述べた小節の前半/後半区間の特徴量ベクトル，𝑗, 𝑘は小節番号，𝐷1 , 𝐷2 は特徴量の次元数である．また，𝛼は元の楽曲における後続の小節の接続されやすさを制御する重み係数であり，元の楽曲と同じ接続である場合には 0 とする．最後に，楽曲の第一小節の終わりから指定箇所を経由し最終小節の始まりにかけて，動的計画法を用いてコストの合計が最小となる経路を決定し，その経路上の小節を接続することで BGM を作成する.
2.3 動画と楽曲の指定箇所の同期
本手法では，小節単位での再編を行うため，再編された BGM の長さは小節の長さの自然数倍となる.
従って，動画の指定箇所が小節の自然数倍でない場
合，再編された BGM において動画と楽曲の指定箇所が最大で 1/2 小節分ずれてしまう.
そこで，楽曲の第一小節から指定箇所，指定箇所から最終小節の区間に相当する映像部を，ずれに応じて均等にフレームを複製・削除することで伸縮させる.これにより，動画と楽曲の指定箇所が同期した BGM 付き動画の作成が可能となる.

被験者の組み(10 組= 5C2)ごとに順位相関係数を計算し，1%・5%水準で相関がある組の数と統計量を求めた結果及び，順位の中央値を表 1，表 2 に示す.
表 1 より平均が 5%水準の値を超えているため順位に相関があることが分かる.中央値が小さい楽曲はNo.72，No.29，No.38 であり，同じメロディの繰り返しが多いため小節の繋ぎ目が自然になりやすいと考えられる.一方，中央値が大きい楽曲は No.53，No.55 であり，メロディやテンポが変化しやすいた
め，小節の繋ぎ目で違和感が大きくなりやすかった.
これらの問題については，音楽構造やテンポを考慮したコスト関数の設計により，対応可能となると考えている.また，歌声の有無を考慮していないた
め，小節の繋ぎ目で歌声が出現・消失する可能性がある(No.1 及び No.8 の楽曲は歌声があるが,小節の繋ぎ目が歌声区間に現れなかったため中央値が小さくなったと考えられる).以上より，本手法は同じメロディが多いインストゥルメンタルの楽曲であれば，自然な再編が可能であると考えられる.
また，本手法の性能として,指定箇所を増やすと小節の探索の自由度が減少してしまい，小節の繋ぎ目の違和感が大きくなりやすいという傾向があった.

3. 楽曲の再編結果の評価

4. まとめと今後の課題

0 (𝑘 = 𝑗 + 1)𝛼={
1.0 (その他)(3)

本手法が適用可能な楽曲の特徴を調査するため，
RWC 研究用音楽データベース[4]の音楽ジャンルデータベースの 10 楽曲に本手法を用いて BGM を作成し，自然さを順位法により評価した.被験者間の評価に相関があれば，順位の中央値が上位である楽曲は自然であると言える.楽曲は，音楽ジャンルデータベースの大分類の中から 1 曲ずつ選曲し,小節構造情報は AIST Annotation for RWC Music Database(Beat structure)を用いた[5].20 代の男性 4 人,女性 1人を被験者とし，BGM の長さは評価の簡易化のため冒頭 30 秒とした.被験者は BGM を聴取し，順位付けを行った(BGM には小節の繋ぎ目が複数箇所あるようにした).2 つの順位の相関には，Spearman の順位相関係数を用いた[6].同順位のない順序ベクト
ル𝒂, 𝒃の順位相関係数𝜌は式(4)の様に表される.
𝜌=1−

6
𝑁3 − 𝑁𝑁∑(𝑎𝑖 − 𝑏𝑖 )2

(4)

𝑖=1

ここで，𝑁は楽曲数，𝑎𝑖 , 𝑏𝑖 は順序ベクトル𝒂, 𝒃における𝑖番目の要素の順位を表す.𝑁が 10 の場合は𝜌 ≥0.7333，𝜌 ≥ 0.5636ならばそれぞれ 1%・5%水準で有意な相関がある.

本稿では，動画と楽曲の指定箇所が同期したBGM を動画へ自動付加する手法を提案した．
今後，テンポの変動や歌声がある楽曲に本手法を適用可能にするようなコスト関数の設計を行いたい.
また，一度再編された BGM に対して，ユーザが気に入らなかった部分を他の候補から選択し置換することで容易に編集できるシステムとすることで，よりユーザ好みな BGM の付加を実現したい.
謝辞 本研究の一部は JST CREST の支援を受けた.
また，RWC 研究用音楽データベースを使用した.
参考文献
1) 岩宮眞一郎，“オーディオ・ビジュアル・メディアを通しての情報伝達における視覚と聴覚の相互作用に及ぼす音と映像の調和の影響，”音響学会誌
Vol.48(9)，pp. 31-39，1992.
2) Feng et al., “Auto-generation of professional background music for home-madevideos,” Proceedings of the 2nd International Conference on Internet Multimedia
Computing and Service, pp.15-18, 2010.
3) 小野ら,“音楽のムード分類結果を利用したホームビデオへの自動 BGM付与・同期手法,” 情報科学技術フォーラム講演論文情集 9.2(2010):295-296.
4) 後藤ら,“RWC 研究用音楽データベース: 研究目的で利用可能な著作権処理済み楽曲・楽器音データベース，”情報処理学会論文誌,Vol.45, No.3,pp.728-738, 2004.
5) Masataka Goto, “AIST Annotation for the RWC Music Database,” Proceedingsof the 7th International Conference on Music Information Retrieval, pp.359-360, 2006.
6) Kendall et al., “Rank Correlation methods,” 5th edition, p.260, Oxford UniversityPress(1990)

2-376

Copyright 2015 Information Processing Society of Japan.
All Rights Reserved.