DEIM Forum 2016 C5-4

プロット中の重要文とショットの対応付けによる映画要約支援方式
李雪山†

堂元健太郎†

宇津呂武仁††† 筑波大学大学院システム情報工学研究科 〒 305-8573 茨城県つくば市天王台 1-1-1†† 筑波大学 システム情報系 知能機能工学域 〒 305-8573 茨城県つくば市天王台 1-1-1
あらまし

本論文では，Wikipedia に掲載されている映画のプロットを情報源として，映画の映像の要約を支援する方式を提案する．本論文の映画要約方式においては，まず，Wikipedia 中のプロットから重要文を抽出する．次に，映画映像をショット列に分割するツールを適用し，数百個のショットに分割する．そして，分割されたショット列において，プロット中の重要文に対応するショットを選定しこれを抽出する．この選定過程においては，時間情報付き字幕(サブタイトル) およびシーン描写 (スクリプト) を利用してプロットとショットの人物を対応付けること，および，字幕およびプロット中の語の重複を利用してプロットとショットを対応付けることを行う．最後に，抽出されたショットに対応する映画映像を結合することにより，要約映像を作成する．
キーワード 映画要約, プロット, ショット, 重要文抽出

A Method of Assisting Movie Summarization
by Aligning Plot Sentences and Shots
Xueshan LI† , Kentaro DOMOTO† , and Takehito UTSURO††† Grad. Sch. of Systems and Information Engineering, University of Tsukuba, Tsukuba 305-8573 Japan†† Faculty of Engineering, Information and Systems, University of Tsukuba, Tsukuba 305-8573 Japan

1. は じ め に

本論文の映画要約方式においては，まず，Wikipedia 中のプロットから重要文を抽出する．次に，映画映像をショット列に映画は重要な娯楽文化の一つであり，毎年多数の映画が制作分割するツールを適用し，数百個のショットに分割する．そしされている．一方，映画を視聴する利用者の側に立つと，膨大て，分割されたショット列において，プロット中の重要文に対な映画作品の中から，自分の興味に合った作品を選択する必要応するショットを選定しこれを抽出する．この選定過程においに迫られているのが現状であると言える．そのため，映画の予ては，時間情報付き字幕 (サブタイトル) およびシーン描写 (ス

告編等の要約映像をふまえた上で，視聴する作品を選ぶ作業のクリプト) を利用してプロットとショットの人物を対応付ける必要性は年々高まっているのが現状である．しかし，通常，予こと，および，字幕およびプロット中の語の重複を利用してプ

告編映像は，激しい場面の組み合わせで構成される場合が多ロットとショットを対応付けることを行う．最後に，抽出されく，映画のストーリーを把握する目的においては，有益とは言たショットに対応する映画映像を結合することにより，要約映い難い．

像を作成する．

これらの状況をふまえて，本論文では，図 1 に示す映画要約の支援方式の流れに沿って，Wikipedia 中のプロット中の重要

2. 映画要約の支援方式

文に対応するショットを抽出し，映画要約結果として出力する

本論文で提案する映画要約の支援方式の流れを図 1 に示す．

方式を提案する．本論文の映画要約方式において想定する利用

本方式においては，まず，Wikipedia 中における当該映画作品者像としては，主として以下が挙げられる．のエントリの記事本文から，映画の物語のあらすじ (プロット（ 1 ） すでに一度視聴済の映画に対して，鑑賞レポートを書(plot)) を収集する．次に，あらかじめ定義された文の重要度のく必要がある場合．

基準に基づいて，プロット中の重要文を人手で選択する．一方，（ 2 ） 自分が一度視聴した映画を他人に推薦する場合や映画映画の動画に対しては，映像途中のカメラ切り替わり個所におの宣伝をする場合．

いて動画をショット列に分割するツール [1] を適用することに（ 3 ） これから自分が新たに視聴する映画を選ぶ場合．

よって，通常の 2 時間程度の時間長の映画を数百個のショット

図 1 映画要約の支援方式の流れ

図2

Wikipedia に掲載されている「ローマの休日」のプロットの一部へと分割する．そして，分割されたショット列において，プロット中の重要文に対応するショットを選定しこれを抽出する．この選定過程においては，時間情報付き字幕 (サブタイトル) およことにより，映画の要約映像を生成する．

3. Wikipedia 中の映画のプロット

びシーン描写 (スクリプト) を利用してプロットとショットの人

Wikipedia に掲載されている映画のプロットは，映画のス物を対応付けること，および，字幕およびプロット中の語の重トーリーに沿って重要な内容の概要を記したもので，通常，数複を利用してプロットとショットを対応付けることを行う．最「ロー百 ∼ 千数百語程度の長さで記述される（注 1）．一例として，後に，選択されたショット列に対応する断片的動画を結合する（注 1）：日本語版 Wikipedia の場合は，「あらすじ」というタイトルの段落にお䝥䝻䝑䝖୕䠖The sedave eventually makes her fall asleep on a bench, where Joe୺䛯䜛≀ㄒ䛾㉳ⅬBradley, an expatriate American reporter working for an American news service
based in Rome, ﬁnds her. 䠄㙠㟼๣䛜ຠ䛔䛶䝧䞁䝏䛷╀䛳䛶䛧䜎䛳䛯䜰䞁䜢䚸䜰䝯䝸䜹ே≉ὴဨ䛾䝆䝵䞊䛜ぢ䛴䛡䜛䚹䠅Not recognizing her,
he oﬀers her money so she can take a taxi home, but a very woozy "Anya Smith" (as shelater calls herself) refuses to cooperate. Joe ﬁnally decides, for safety's sake, to let her
spend the night in his apartment. He is amused by her regal manner, but less so when she
appropriates his bed. He transfers her to a couch.
ᅄ䠖The next morning, Joe, having already slept through the interview Princess
Ann was scheduled to give, hurries oﬀ to work, leaving her sll asleep.䠄⩣ᮅ䚸ྲྀᮦணᐃ䜢ᐷ㐣䛤䛧䛶䛧䜎䛳䛯䝆䝵䞊䛿䚸ᐷ䛶䛔䜛ᙼዪ䜢ṧ䛧䛯䜎䜎ᛴ䛔䛶௙஦䜈⾜䛟䚹䠅᭱㔜せ4ᩥ௨እ䛾㔜せᩥ

When his editor, Mr. Hennessy (Hartley Power), asks why Joe is late, Joe lies, claiming tohave aended the press conference for the princess. Joe makes up details of the allegedinterview unl Hennessy informs him that the event had been canceled because theprincess had suddenly “fallen ill”. ஬䠖Joe sees a picture of her and realizes who isin his apartment. 䠄䝆䝵䞊䛿⋤ዪ䜰䞁䛾෗┿䜢ぢ䛶䚸⮬ศ䛾䜰䝟䞊䝖䛻䛔䜛ዪᛶ䛜ఱ⪅䛛Ẽ௜䛟䚹䠅㔜せᩥ౛䠖ሙ㠃㌿᥮஬䠖䝆䝵䞊䛿⋤ዪ䜰䞁䛾෗┿䜢ぢ䛶䚸⮬ศ䛾䜰䝟䞊䝖䛻䛔䜛ዪᛶ䛜ఱ⪅䛛Ẽ௜䛟䚹䝆䝵䞊䛜᪂⪺䜢ぢ䛶䛔䜛᪂⪺䛻䛿ዪ⋤䛾ጼ䜢䛧䛯䜰䞁䛾෗┿䛜㍕䛳䛶䛔䜛㔜せᩥ䛸ᑐᛂ䛵䛡䜙䜜䛯䝅䝵䝑䝖䝅䝵䝑䝖ෆᐜ

図 3 プロット中の重要文をショットに対応付ける過程 (「ローマの休日」の例)
表 1 最重要 4 文の種別および例
種別
オープニング

ある日の昼下がり，静かな川辺の野原で，アンはヨーロッパ諸国

アリスは姉と一緒に歴史の本を読んでいたが，を表敬訪問していた．

すっかり退屈していた．
その時，アリスはチョッキを着ている白兎が眠ってしまったアンを，物語の大きな懐中時計を持って走り去るのを見て，アメリカ人特派員の起点必死で白兎を追いかけた．

ジョーが見つける．
ジョーは王女アンの写真を見て，奇妙な空間の部屋にたどり着く．

自分のアパートにいる

転換

結末

ふしぎの国のアリス

ある国の王女である鎮静剤が効いてベンチで主たる場面

ローマの休日女性が何者か気付く．
王女と二人の記者は，しかし喋る取っ手にたどり着いたアリスは，周りの人にそれとは気づかれずじぶんが眠っているだけなのだと知ると秘密のやり取りを交わしたのだった．

「起きるのよ」と呼びかける．

マの休日」のプロットの一部を図 2 に示す．

4. 映画のプロットからの重要文抽出（ 1 ） 物語の進行の根幹を形成する最重要文として，表 1 に示す四種類，すなわち，•

オープニング

具体的な映画の例として，「ふしぎの国のアリス」，「ローマの•

主たる物語の起点休日」，「白雪姫」について，プロット中の文の数を表 2 に示す．

•

場面転換

これから分かるように，Wikipedia 中のプロットは，比較的詳•結末細に書かれている．人手による重要文抽出の際には，映画の物を抽出する．

語において相対的に重要な内容を厳選して少数の重要文を抽出（ 2 ） 物語の進行の細部を把握するために，最重要 4 文以外する必要がある．そこで，本論文では，重要文選定の際の手順の重要文を抽出する．

として，以下の二段階の手順を経る．

「ふしぎ表 1 には，実際の映画例「ローマの休日」，および，の国のアリス」において最重要 4 文を抽出した結果もあわせていて記述される．

示す．また，図 3 の上半分には，「ローマの休日」のプロットのる弊害を最小限に抑えるために，プロット中の一つの文に対し「場一部において，最重要 4 文のうちの「主たる物語の起点」，て対応可能なショットの数に上限を設ける方式が提案されてい面転換」，および，「最重要 4 文以外の重要文」を選定した様子

る．本論文でも，この方式に従い，プロット中の一つの文に対「ローマの休日」，「ふしぎの国を示す．また，表 2 においては，して対応可能なショットの数に上限 (文献 [6] の方式に従い，本のアリス」，「白雪姫」について，実際に選定された重要文の数

論文では，上限を 83 とする) を設ける．

を示す．このうち，「ローマの休日」については，抽出された重6. 1 人物を介した対応付け

要文全 11 文を図 4 に示す．

プロット中の文 si に含まれる人物名，および，ショット tj 中

5. 動画のショット分割に出現する人物の対応付けを利用した類似度 fid (si , tj ) を算出
する際には，ショット中に出現する人物 c(∈ C ，ただし，C はショットとは，図 3 の最下部において連続するコマの画像を映画中に出現する全人物の集合) とプロット中に含まれる人物示すように，長時間の映像全体の中で，カメラが切り替わるま

名 d(∈ D，ただし，D はプロット中に含まれる全人物名の集合)での間の映像の単一断片を指す．通常，一つのショット内部の映の間の対応付けを判定する次式の関数を学習してこれを用いる．

像においては，大きな変化が起こらない．例えば，一つのショットの例としては，動かない景色，車の連続の移動，人が水を飲む一連の動作，等が挙げられる．本論文では，一つのショット内部の映像においては大きな変化が起こらないことに着目し，静止画としてのショット画像を閲覧して重要文と対応付けることによって，効率よい映画要約を行う．
本論文では，映画映像のショット分割を行う際には，動画をショット列に分割するツール [1]（注 2）（注 3）を適用する．ここで，分割結果のショットの時間長が 1 分以上の場合には，ショット分割不足の可能性があるので，同一ツールを用いて再分割を行う．

6. プロット中の重要文とショットの自動対応付け

align(c, d) =1(人物 c と人物名 d が対応する場合)

0(その他の場合)

この関数の学習は，時間情報付き字幕 (サブタイトル) と人物名を用いたシーン描写 (スクリプト) を対応付けることによって行う．
この関数 align(c, d) を用いることによって，次式によって，プロット中の文 si に含まれる人物名，および，ショット tj 中に出現する人物の対応付けを利用した類似度 fid (si , tj ) を算出する．

fid (si , tj ) =j+r
align(c, d) · I(c)k=j−r c∈Cj d∈Di

本論文においては，プロット中の重要文とショットを自動的上式においては，ショット tj に隣接する前後 r ショットずつをに対応付ける手法として，文献 [6] における方式を用いる．文含めたショット群中に出現する人物の集合を Cj ，プロット中の献 [6] においては，以下に述べる手法によって，Wikipedia 中

文 si に含まれる全人物名の集合を Di として，関数 align(c, d)の映画プロット中の各文に対して，映像中の人物や時間情報付によって対応する人物 c(∈ Cj ) と人物名 d(∈ Di ) の組数を類似

き字幕 (サブタイトル) を介して映像中のショットに対応付ける度 fid (si , tj ) とする．ただし，各人物 c に対しては，人物 c が方式を提案している．

出現するショット数を nF T (c) として，逆文書頻度 IDF(inverse

文献 [6] の方式においては，次式によってプロット中の文 siとショット tj の間の類似度 ff us (si , tj ) を定義し，この類似度を用いた動的計画法によって，プロット中の文とショットの対応付けを行う．

ff us (si , tj ) = fid (si , tj ) + α · fsubtt (si , tj )document frequency) に相当する次式の重みを付与する．

c∈C
I(c ) =log n (c∗ ) + 1∗

log max nF T (c)FT

6. 2 字幕およびプロット中の語を介した対応付け
各ショットを時間情報付き字幕 (サブタイトル) に対応付けた後，字幕およびプロット中の語の重複を集計することによっ

ここで，fid (si , tj )，および，fsubtt (si , tj ) は，それぞれ，プロッ
ト中の文 si に含まれる人物名とショット tj 中に出現する人物の対応付けを利用した類似度 (6. 1 節)，および，各ショットを時間情報付き字幕 (サブタイトル) に対応付けた後，字幕およびプロット中の語の重複を集計することによってプロットとショットの対応を測定する類似度 (6. 2 節) であり，α は重みパラメータである．
また，文献 [6] の手法においては，プロットの文数に対して，候補となるショット数が数十倍程度の数であるにも関わらず，てプロットとショットの対応を測定する類似度 fsubtt (si , tj ) を算出する際には，まず，時間情報付き字幕 (サブタイトル) の時間情報を用いることにより，各ショット tj に対してサブタ
イトル subtt の集合を対応付ける．そして，次式によって，プ
ロット中の文 si に含まれる語 v とショット tj に対応付けられたサブタイトル subtt 中の語 w の間の重複を集計し，これを類似度 fsubtt (si , tj ) として用いる．ただし，次式において，関数

word-match(v, w) は，語 v と語 w が同一の場合のみ 1 を返す関数として定義される．

全てのショットをプロット中のいずれかの文に対応付けるという制約が課せられている．文献 [6] においては，この制約によ（注 2）：http://mklab.iti.gr/project/video-shot-segm（注 3）：文献 [1] において報告されているショット分割精度は，88.7%である．

fsubtt (si , tj ) =word-match(v, w)

v∈si w∈subtt∈tj

word-match(v, w) =1(v = w)

0

(v =| w)

表 2 人手による映画要約作業において用いた映画例および要約結果の統計情報
プロット
映画名

中の文の数

ローマの休日
ふしぎの国のアリス
白雪姫

図4

重要文の数

自動分割

人手で後のショット選択されたの数

ショットの数

要約前の要約結果の映画の時間長

動画の時間長

要約率4111516

14

1 時間 58 分 11 秒

2 分 17 秒

1.9%

43988616

1 時間 1 分 43 秒

1 分 41 秒

2.7%

15872219

1 時間 23 分 16 秒

2 分 17 秒

2.8%

Wikipedia 中のプロットから選定した重要文とショットの対応付け結果 (「ローマの休日」の例)

6. 3 予 備 調 査として，全てのショットをプロット中のいずれかの文に対応付「ローマの休日」を対象とする予備調査を行った．ただし，けるのではなく，プロットの中の各文に対して，少数のプロッ

文献 [6] の方式の性能の上限を見積もるために，時間情報付き
字幕 (サブタイトル) とシーン描写 (スクリプト) の間の対応付けは人手で行った．また，プロット文中の代名詞についても，人手でその照応先の人名に書き換えた後，予備調査を行なった．

トを厳選して対応付ける方式を導入することが挙げられる．

7. プロットとショットの人手対応付けによって作成した映画要約例

そして，プロットとショットを自動対応付けした結果のうち，特本節では，参考として，人手で作成した理想的な映画要約例に，4. 節で選定した重要文 11 文とショットとの対応結果を評を示すために，数百個からなるショットの静止画一覧を閲覧し，価した．この結果においては，11 文中 8 文に対する対応付け抽出された各重要文に対応するショット 1∼3 個程度を手動で選結果において，人手で作成した参照用対応ショット (平均約 20択することによって作成した映画要約例を示す．

ショット) が含まれていた．これより，約 73%の対応付け精度

7. 1 プロットとショットの人手対応付けを達成できた．
ここで，本質的な問題点として，本論文の本来の目的は，映画や映像を要約するための手段としてプロット中の各文とショットを対応付けることにあるのに対して，文献 [6] の主目的は，プロット中の各文をショットに対応付けた結果を用いることに「ローマの休日」における最重要 4 文
図 3 下半分においては，のうちの「場面転換」を表す文「ジョーは王女アンの写真を見て，自分のアパートにいる女性が何者か気付く．
」

よって，各ショットによって構成される映像を検索することでとショットを対応付ける過程を示す．この例の場合には，重要ある点が挙げられる．映像検索が主目的の場合には，検索漏れ文の前半の内容を示す「ジョーが新聞を見ている」ショット，おを防ぐために，すべてのショットを検索対象とする必要がある．

よび，重要文の後半の内容を示す「新聞に王女の姿をしたアン

一方，映像要約が主目的の場合には，むしろその逆に，プロッの写真が載っている」ショット，の計 2 ショットを選んでいる．

ト中の各文に対応する少数のショットを正確に同定する必要が

この例の場合には，この二つのショットによって，重要文の内ある．そこで，性能を改善するためのもう一つの本質的な方策

容が過不足なく理解できるショット画像を選ぶことができる．

なお，ここで，重要文に対応付けるショットの数を多くすれを高精度に対応付けることが挙げられる．また，時間情報付きばするほど，要約結果の映像が長くなり，映画の内容がよりよサブタイトルとスクリプトを対応付けた上で，映像中のショッく把握できるようになる一方で，重要文以外の内容が混入するトおよびシーンと対応付けた後，映画プロットと統合して構造可能性も高くなり，要約映像を視聴する際の効率は悪くなる．

化する方式を確立する．

そこで，本論文では，一つの重要文に対応付けるショットの数は，最大 3 個までとして対応付けの作業を行った．

7. 2 要 約 例
プロット中の重要文とショットの対応付け手法として，7. 1 節で述べた人手による対応付け方式を用いた場合について，「ローマの休日」，「ふしぎの国のアリス」，「白雪姫」を対象として映画要約を行った結果の統計情報を表 2 に示す．なお，Wikipedia
上のプロットとしては，「ローマの休日」は英語版を，「ふしぎの国のアリス」，「白雪姫」は日本語版を，それぞれ用いた．映画
要約の結果，各映画は，1 時間 58 分 11 秒が 2 分 17 秒 (要約率 1.9%) へ，1 時間 1 分 43 秒が 1 分 41 秒 (要約率 2.7%) へ，

1 時間 23 分 16 秒が 2 分 17 秒 (要約率 2.8%) へと，それぞれ要約された．一例として，「ローマの休日」について，重要文とショットを対応付けた結果を図 4 に示す．

8. 関 連 研 究
映画等の映像要約についての関連研究として，文献 [2] においては，映画の文法に基づき，アクション区間，緊迫した区間，落ち着いた区間を抽出し，映画要約の際の特徴量として用いる手法を提案している．また，文献 [9] においては，映画やドラマなどの撮影・編集上の技法により感性情報が強調される場面に着目し，映像要約の際の手がかりとして検討を行っている．
一方，映画の字幕情報と映像情報の対応付けを行い，映画のシーン分割を行う手法の一つとして，文献 [3] では，字幕中の人名と顔画像の対応付けを行う手法を提案している．また，文献 [8] においては，字幕を文書ベクトル化して意味的まとまり区間を抽出することにより映画要約を行う手法を提案している．
さらに，文献 [7] では，映画・ドラマにおいて，時間情報付きのサブタイトルとスクリプトを対応付けるとともに，映像のシーン分割を行い，これらの情報を統合した上で重要シーンのランキングを行い，映画・ドラマを要約する手法を提案している．
また，文献 [6] においては，Wikipedia 中の映画プロット中の各文に対して，映像中の人物や時間情報付きサブタイトルを介して映像中のショットに対応付けることにより，映像検索を行う手法を提案している．その他，文献 [4] においては，字幕および映像中の特徴を併用してニュース映像中の重要部分を抽出する手法を提案している．

9. お わ り に
本論文では，Wikipedia 中に掲載されている映画のプロット情報を手がかりとして，プロットを映画の映像から生成したショットに対応付けることにより，映画要約過程を支援する手法を提案した．今後の課題としては，文献 [6] において用いられている映画プロットと映像中のショットの対応付け方式を実装するとともに，文献 [5] において提案されている映像中のシーン分割方式との併用を行い，映画プロットと映像中のショット

文

献[1] E. Apostolidis and V. Mezaris. Fast shot segmentation
combining global and local visual descriptors1. In Proc.
ICASSP, pp. 6583–6587, 2014.
[2] 出口嘉紀, 吉高淳夫. 映画の文法に基づく要約映像の生成. 情報処理学会研究報告, Vol. 2004–DBS–132, pp. 33–40, 2004.
[3] C. Liang, Y. Zhang, J. Cheng, C. Xu, and H. Lu. A novelrole-based movie scene segmentation method. In Advancesin Multimedia Information Processing — PCM2009, Vol.
5879 of LNCS, pp. 917–922. Springer, 2009.
[4] 中村裕一, 金出武雄. ニュース映像からの重要セグメント抽出 —画像特徴と言語特徴の相互関係を用いたニュース映像要約. 第 3
回知能情報メディアシンポジウム, pp. 61–68, 1997.
[5] P. Sidiropoulos, V. Mezaris, I. Kompatsiaris, H. Meinedo,M. Bugalho, and I. Trancoso. Temporal video segmentation to scenes using high-level audiovisual features. IEEE
Transactions on Circuits and Systems for Video Technology, Vol. 21, No. 8, pp. 1163–1177, 2011.
[6] M. Tapaswi, M. Bäuml, and R. Stiefelhagen. Aligning plot
synopses to videos for story-based retrieval. International
Journal of Multimedia Information Retrieval, Vol. 4, No. 1,pp. 3–16, 2015.
[7] T. Tsoneva, M. Barbieri, and H. Weda. Automated summarization of narrative video on a semantic level. In Proc.
Semantic Computing, pp. 169–176, 2007.
[8] H. Yi, D. Rajan, and L.-T. Chia. Semantic video indexing
and summarization using subtitles. In Advances in Multimedia Information Processing — PCM2004, Vol. 3331 ofLNCS, pp. 634–641. Springer, 2004.
[9] 吉高淳夫, 田中壮詩, 平嶋宗. 映画等を対象としたダイジェスト
映像生成のための映像特徴に関する検討. 情報処理学会研究報
告, Vol. 2007–HCI–124, pp. 79–86, 2007.