WISS 2018

ぽちょっと: MAD 動画作成のためのシーン検索システム
大和 幸司 ∗

松村 耕平 ∗

野間 春生 ∗

概要. MAD 動画はファンが好きなアニメの中からお気に入りのシーンを切り貼りし再編集したものである. その中でもアニメのセリフを使ったものをセリフ MAD と呼ぶ. セリフ MAD の作成では, 作成に必要なシーンを検索し切り出すことに多大な時間がかかる. そこで, セリフ MAD 作成のためのシーン検索を容易に行えるシステムを開発した. 本システムでは, アニメのセリフ情報を用いて使用者がシーンを容易に検索でき, 検索したシーンを切り出すためのインターフェースを提供する. 予備実験を通して, 提案システムを用いることでセリフ MAD 作成に必要なシーンの検索にかかる時間が従来の作成方法に比べて 3 分の 1になることを確認し, ユーザの負担が減少したと考える.

1

はじめに

MAD 動画はファンがアニメ中のシーンを切り取り, 再編集した 2 次創作動画である. MAD 動画はYoutube やニコニコのような動画共有サイトに視聴者から投稿される動画のジャンルのひとつである.
本研究では, MAD 動画のうち, アニメ中のセリフを中心に作成された動画 (本稿ではこれをセリフ MADと呼ぶ) を対象として, その作成を支援する.
セリフ MAD の作成のためのプロセスは大きく分けて, 素材データの準備, シーンの検索, シーンの切り出し, そして, 構成の 4 つからなる.
これらのうち, シーンの検索には多くの時間を要する. 著者の 1 人が 4 分程度のセリフ MAD を 10作品作成したところ, 1 作品あたり 8 時間程度の作業が必要であった. また, この作成時間のうち 7,8割程度を, テーマに沿ったセリフを含むシーンの検索に要した. この時間を短縮することで MAD 動画作成者の負担を軽減することができる.
本研究では, 素材となる動画のセリフを用いることで, セリフ MAD 作成者がコンテンツ作成に必要なシーンの検索と切り取りが容易にできるシステムを提案する. 提案するシステムでは, 素材となる動画からセリフ情報を抜き出し, 一覧として提示する.
これにより, 作成するセリフ MAD に必要なシーンの検索が容易になる. また, 検索された箇所にマーカを自動的に付与することで容易にセリフを切り出せる.

2

シーン検索システムの実装

本研究では, シーン検索のために, アニメ中のセリフ箇所を自動的に検出し, セリフを文字情報として検索可能にするシステムを作成する. セリフ MADの作成者は自身の記憶を頼りに, 動画中から特定の∗Copyright is held by the author(s).
立命館大学情報理工学部

セリフを含むシーンを探す. システムによって特定のセリフを含むシーンを抽出することができれば検索にかかる時間が減少すると考えられる.
本研究ではセリフ箇所の検出のために動画に含まれる字幕情報を利用する. セリフの発話と同時に字幕が表示されるため, 特定のセリフを含むシーンを検索するために有用であると考えられる.
図 1 に示すように, システムは, アニメの DVD に含まれる字幕情報を画像として取得する. DVD では, 字幕はテキストファイルではなく画像で保存されているため画像を取得した. 取得した字幕画像に対し google の光学的文字認識（OCR）を行うことで, セリフ情報を取得する. 取得した情報には, 字幕開始位置, 字幕終了位置そして字幕内容（セリフ）が含まれる.

字幕画像の抽出DVD

OCRでの字幕情報の抽出

100:00:01,02 --> 00:00:02,09
暑い••••••
200:00:04,17 --> 00:00:06,18
おはようございます
300:00:07,04 --> 00:00:09,03
ご利用ありがとうございます

図 1. 字幕情報抽出の例

本システムは Adobe Premiere のプラグインとして実装した. 既存システムにプラグインとして機能を拡張することで, 本来の編集機能を失わずにシステムを実装するためである. 提案システムとして作成をしたプラグインを図 2 から図 4 に示す.
作成したプラグインの機能にはセリフ一覧の表示,セリフの検索, 素材の動画上にマーカを付与する機能がある. セリフ一覧の表示では, セリフの書かれWISS 2018たボタンが一覧で表示される. セリフの検索では,検索ボックスを用いて, セリフ一覧から目的のセリフ箇所の検索ができる. 素材の動画上にマーカを付与する機能では, 表示されているセリフのボタンをクリックすることで, 素材となる動画にマーカが付与される. 付与される場所はセリフの区間で, マーカにはセリフの内容が表示される. それに加え, 作成中に使用しているセリフと使用していないセリフの検索ができる.

こうしす！のセリフが表示されている. 使用中のセリフに対応するボタンを緑色, 使用されていないセリフに対応するボタンを灰色で表示している. ボタンをクリックすることでセリフの使用有無を切り替えることができる. ユーザが灰色のボタンを押すと,セリフ箇所にマーカが付与され, ボタンが緑色に変化する. ユーザが緑色のボタンを押すと, マーカが外れ, ボタンが灰色に変化する. システムのユーザ
は, マーカの始点と終点を選択し切り取ることで容易にシーンの切り出しができる.

プラグイン
緑/灰色のみの切り替え

検索ボックスclicked(緑色のみ)

unclicked(灰色のみ)

セリフ一覧「電車」を検索図 2. 開発したプラグインの表示画面

ボタン切り替わりとマーカー付与
プラグイン

素材動画

3

予備実験として, 著者の 1 人が, 作成したシステムを使った場合と使わない場合のそれぞれで, 2 つのシーンの検索を行なった. 実際にセリフ MAD を作成することを想定して, 動画から目的のシーンを検索し切り出すまでにかかる時間を測定した. セリ
フ MAD 作成には, ユーザにとって既知の動画を使用することを前提としている. そのため, システムを使用する前に, 被験者に動画の視聴を促し, ある程度の内容を把握をしてもらった. また, 被験者にAdobe Premiere に慣れてもらうため, 実験の前に何度か動画の切り取りを試してもらった.
実験の結果, システムなしの場合では 4 分 43 秒,システムありの場合は 1 分 30 秒と 3 分の 1 になることがわかった. 実際には表 1 に示すようにセリフMAD に使用されるシーンの数は, 本実験で行なったシーン検索数よりも多い. そのため, 本システムを使った場合, 必要な全てのシーンの探索にかかる時間はさらに減少することが推測される.

図 3. セリフボタンの動作説明「暑い……」

表 1. MAD 動画のシーン数

MAD 動画
AB
C「おはようございます」

4マーカー

マーカー

図 4. 字幕情報を用いたマーカ付与全体図

図 4 に, こうしす！1 を素材として利用した場合のマーカ付与の例を示す. 図 2 から図 4 のボタンには1

こ う し す ！ こ ち ら 京 姫 鉄 道 広 報 部 シ ス テ ム 課,
Open Process Animation Project Japan (OPAP-JP),
http://kosys.opap.jp/

予備実験

再生時間

シーン数

03:51
04:41
01:31

388
136
91

まとめと今後の展望

本論文では, セリフ MAD の作成プロセスのうち,シーンの検索とシーンの切り出しを支援するためのシステムを提案・実装した. アニメ動画に含まれる字幕情報を利用することで, アニメ中のセリフ箇所を自動的に検出し, セリフを文字情報として検索可能にする. 実装したシステムはアニメ中のセリフ一覧の表示, セリフの検索, 素材の動画上へのマーカの付与の機能を持つ. 被験者実験により有効性を確認した. 今後は, セリフからのキャラクタ特定を行い, セリフ MAD の作成をさらに容易にしていく.