マンガを原作とする映像のシーン対応に関する一考察
中村貴洋†

宮下芳明†

A Consideration of Scene Correspondence of Videos Based on Comics
TAKAHIRO NAKAMURA†

1.

はじめにHOMEI MIYASHITA†

だコメントを利用する手法[6]など，数多の研究がなされている．また，マンガという形態を用いて情報を今日，発行されているマンガを原作として制作され提示する研究もおこなわれており，映像内の効率的なているアニメーション（以下，アニメと呼ぶ），テレブラウジング[7]，体験データの要約[8]，ゲームのプビドラマ，映画が数多く見られる．これらの映像は原レイログを提示[9]するためにマンガを用いたり，マ作とするマンガをベースに物語が展開していくことかンガ調インタフェースのチャットシステム[10]などもら，マンガと似通ったシーンが存在する．無論，全てある．著者らもこれまでにマンガ風にサムネイルを提の映像やシーンにおいて一致しているわけではないが，示することで，動画内の印象に残るシーンを見つけや登場人物や物語の展開など，ある程度の一致が見受けすくするシステムを実装した[11]．本研究においては，られる．一方，マンガについて着目すると，マンガは映像内のシーンの重要度を測定するためにマンガのコ

枠線，人物，背景，吹き出し，擬音，記号（物体の軌マ割りを用いる．

跡を表現する効果線などを指す）というコマを構成す

2.

提案手法

配置するコマの配列（以下，総称してコマ割りと呼2.1

着目するコマぶ）で描かれている．マンガ家はこれらを巧みに駆使関連研究[7]-[9]のように，マンガのコマ割りを用いすることで，読みやすさのほか，緊迫感や盛り上がりて情報を提示する研究は，主として映像内の各シーンなどをコントロールしている[1][2]．に重要度を設け，重要度に応じてコマのサイズを決定る要素と，コマの数，大きさ，形状というページ内にそこで，原作マンガのコマ割りを分析することで得（重要度が高いシーンには大きなサイズのコマを割りられる情報というのは，マンガをもとに制作された映振る）する手順を踏んでいる．一方，市販されている像にも応用できるのではないかと考え，「コマ割りか

マンガにおいても，それぞれのコマを物語展開の要とら作者が強調したい内容を取り出すことで，映像におなる“決めゴマ”と，決めゴマでは表現しきれない箇ける各シーンの重要度を測定できるのではないか」と所を補う“捨てゴマ”に分類することができ，マンガいう仮説を立てた．本稿はマンガを原作として制作さ

家は決めゴマの周囲に，枝葉のように捨てゴマを配置れている映像のうち，まずはアニメのジャンルについすることで，物語の展開をコントロールしている[2]．て調査を行い，この仮説を検証したものである．また，以上のことから，映像内のシーンの重要度を判定す抽出した情報をもとに要約映像の生成を試み，その効るにはマンガのコマサイズが有効なのではないかと推果を確認した．

測し，コマサイズをもとに映像内の重要なシーンを抽

これまで，映像内のシーンを解析する研究として，出することを試みる．なお本稿で抽出したい“重要な映像内の構造を検出，分析する手法[3][4]のほか，制シーン”とは，ユーザの主観による評価であるため，作者側の文法に基づいた手法[5]やユーザが書き込ん意味的内容だけでなく，心理的内容[4]も含んでいることになる．

† 明治大学大学院理工学研究科新領域創造専攻ディジタルコンテンツ系

2.2

コマとショットの対応

マンガのコマサイズと映像内のシーンとの関係性をProgram in Digital Contents Studies, Programs in Frontier

調査するにあたり，予めマンガのコマと映像内のシーScience and Innovation, Graduate School of Science andンとの対応関係を明示する必要がある，本研究では，

Technology, Meiji University

情報処理学会 インタラクション 2010

コマと映像の対応付けを以下のルールのもとに行った．
対応関係を図 1 に示す．
まず，映像をショットごとに区切る．ここで述べる
ショットとは，カメラが切り替わる箇所（カット）で区切られた区間のことである．その後，映像の１ショットを基準に，対応しているとみられるマンガの 1 コ
マとを対応させる．ショットを基準としたのは，実験に先立ち著者がマンガと映像を見比べた結果，ショットとコマが 1 対 1 に対応している割合が高いと判断したためである．対応付けには，音声情報（吹き出しのセリフとショットのセリフ）と視覚情報（コマ内の画像とショットの構図や登場人物）の両方を考慮し対応付けを行う．また，対応付けを行うにあたり，厳密な抽出結果を得るため複数人の抽出結果による多数決論理，あるいは自動化をすべきであるが，本研究はマンガのコマ割りと映像におけるシーンの重要度との関係を調査することを目的とするため，自動化に関しては今後の課題とし，今回は著者 1 名の主観においてマニュアルで対応付けを行った．

3.

実験

3.1

対象映像

評価実験に使用する映像および原作のマンガは，2008 年間コミック売上部数ランキング[12]において 1位を獲得した ONE PIECE を使用し，マンガをもとに制作されたアニメと原作のマンガとの違いを検証する．
なお，評価にはアニメの 300 話（マンガの対応箇所は417-418 話）を使用した．
対象映像を予め調査したところ，タイトルバックより前に流れている冒頭シーンは前回までの話の内容をまとめた，あらすじであった．そのため実験にあたり，あらすじは既に要約済みの映像とみなし，対象とする映像の範囲外とする．また，オープニング映像とエンディング映像，コマーシャルの前後にあるアイキャッチも本編内容とは直接関係しないため範囲外とした．
3.2

映像とマンガの対応付け

実験対象範囲内の映像（総時間長：18 分 00 秒）の総ショット数を計測したところ，283 ショットで構成されていた．このショットと，マンガのコマ（全 162コマ）を前述した条件のもと対応付けを行った．マンガの対応箇所については，著者が予め調査したものである．ショットとコマの対応付けの結果を表 1 に示す．
表1 対応付けの結果

図1 コマとショットの対応関係

対応付けを行うにあたり，映像のショットとマンガのコマは 1 対 1 に対応させることを基準とするが，以下の条件が見られる場合は，対応するコマやショットが存在しなかったり，1 ショットに対して複数のコマを対応，もしくは 1 つのコマを複数のショットに対応

また，マンガにあるセリフ，あるいはコマ内の画像と同様と思われる構図をとる映像が存在しない場合．
(2) 1 つの吹き出しのセリフが，連続したショットにわたり続いている場合．(3) 1 つのコマ内に複数の吹き出しがあり，それぞれの吹き出しのセリフに対応したショットが存在する場合．(4) 吹き出しのセリフと，映像のセリフが一致しているものの，コマ内の構図とショット内の構図が明らかに異なっており，かつ，前後 1 ショット以内にコマの画像と同じ構図のショットが見られる場合．(5) 連続したコマの吹き出しのセリ
フが，1 つのショット内で話されている場合．

283

コマの総数

162

コマに対応しているショットの数

171

n 個のコマが対応するショットの数

7

n 個のショットが対応するコマの数27

対応するコマを持たないショットの数115

対応するショットを持たないコマの数17させたりする．(1) ショットと同様と思われる吹き出
しのセリフ，あるいは画像がマンガに存在しない場合．

ショットの総数

3.3

重要ショットの抽出

原作のマンガを読んだ経験がある被験者 A，B，原作のマンガを読んだ経験がない被験者 C，D，（いずれも 20 代の学生）に映像を視聴させ，映像内の重要だと思われるショットを抽出させた．この際，抽出する数には制限を設けなかった．なお，被験者 A，B が該当するマンガを最後に読んだのは，それぞれ実験日より一カ月前，二週間前であった．
被験者が抽出したショットと，マンガのコマとの関係を表 2 に示す．表中の S は被験者が抽出したショ
ット数，Na は被験者が抽出したショットの中で，コマとの対応付けがあるショットの数をあらわす．Na/S
は，コマとの対応付けを持つショットが，被験者が抽マンガを原作とする映像のシーン対応に関する一考察出したショットの何%を網羅しているのかを計算したものである．また，被験者が抽出したショットに対応秒，EQL：4 分 47 秒であった．
被験者には 3.3 にて重要ショットを抽出させたのち，するコマのサイズは，各ページの中で上位から何%に要約手法に関する説明はせずに 2 種類の要約映像を視あたるか（平均を算出）を調査した．

聴させ，どちらの映像がどのように優れていたかヒアリング調査を行った．被験者が抽出したショットと，表2 ショットの抽出結果

要約映像に使用したショットとの関係を表 3 に示す．

被験者

ABCD

表中の Nb は，被験者が抽出したショットと要約映像

ショット数：S

2125

65

7

内のショットの一致数であり，Nb/S はそれぞれの要コマの対応有：Na1619297

約映像が，被験者が抽出したショットの何%を網羅しNa / S [%]76%76%45%100%ているのかを示す．また，実験映像の 50～150 ショッ

コマサイズ

37.5%

18.8%

42.6%

20.1%

トに対応する CCM のショットと被験者の抽出結果を
図 2 に記載する．

3.4

要約映像

表3 抽出したショットと要約映像の関係

マンガのコマ割りをもとに，各ページにおいてコマサイズが上位 2 コマに属するコマに対応するショット

被験者

ABCDを取り出し，そのショットのみを連ねることで要約映

ショット数：S

2125657像（以下，CCM：ComiC Method）を生成した．各ペ一致数：Nb

CCM

8(38%)

16(64%)

15(23%)

6(86%)

ージにおける上位のコマサイズを使用したのは，マン(Nb / S [%])

EQL

6(29%)

8(32%)

16(25%)

2(28%)

ガ家はコマを単に並べるのではなくページを基本単位として二次元的に構成し，読者も二次元の面に広がった情報を総合的に読み取るという手法がマンガには定考察4.

抽出したショットとコマの関係着している[1]からである．また，表 2 において抽出4.1

したショットに対応するコマサイズ平均が約 30%で被験者 A，B，D は，CCM が EQL の結果を上回っあり，本実験で使用したマンガの各ページにおける平ていることが見て取れる．特に被験者 D に関しては，均コマ数が約 6 コマであることから，上位 2 コマと一原作のマンガに関する知識が全くないにも関わらず，致する．なお，CCM はコマ割りをもとにショットをCCM で使用したショットとの一致率が，EQL を大幅並べたため，一部が評価映像のショット順序とは異なに上回っている．また，被験者 C に関しても，EQLる並びになっている．

を上回ってはいないものの，その差は 2%と僅かであ比較対象として，ショットの総数が CCM と同じ数る．そのため，原作のマンガを読んだ経験の有無に依になるように，一定間隔でショットを連ねた要約映像

らず，原作マンガのコマサイズから，映像内の重要な（以下，EQL：EQuaL interval）を用意した．ショッシーンを取り出すことが可能だと考えられる．

トを基準にコマとの対応付けを行っていることと，秒抽出したショットとコマとの一致率が低い被験者 C

数でシーンを区切ると不自然な切出しが目立つ[4]とに関して調査したところ，被験者 C は映像内の重要いう報告があることから，EQL においてもショットなショットを抽出する際，ショット間の話の展開も重を基準に要約映像を作成した．それぞれの要約映像の要だとみなし，2 分強にわたり連続したショットを重総ショット数は 67 であり，時間長は CCM：4 分 44

要なショットとして抽出していた．本稿で提案した手

図2 50～150 ショットに関する結果

情報処理学会 インタラクション 2010

法は，ページごと，つまり一定の間隔で区切られたシ

また，本稿では著者 1 名がコマとショットの対応付ーンごとにショットの重要度を判定するため，被験者けを行ったが，このときマンガと映像で異なる点がC のように，連続した長時間のシーンを重要とみなす多々見られた．これは，コマとページという二次元的ことはできない．その点に関しては，今後検討を重ねな要素で構成されるマンガと，時間経過という一次元ていく必要がある．

的な要素で構成される映像との性質の違いに起因する

4.2

要約映像としての評価

ヒアリング調査を行ったところ，被験者 B，C，Dものであり，対応付けの自動化に向け，今後も更なる検討を重ねていく必要がある．

から，CCM の方が物語の要点を捉えているという意

前述の通り，マンガ家はコマ割りを巧みに駆使する見が出たものの，要約映像としての見やすさに関してことで読者の作品に対する受け取り方をコントロール

被験者 A は EQL の方が映像演出の転調を抑えていたする．本稿で提案する手法は，単にユーザにとって重ため見やすかったという感想を述べた．竹内は，マン要なシーンを抽出することだけでなく，原作者が作品ガにおいて前述した“決めゴマ”だけを羅列した場合，にかける“思い”や“願い”を，メディアを超えて受飛躍が多すぎ，物語内の時間経過が豊かに発展しないけ継ぐものだといえるのかもしれない．と述べている[2]．本研究で決めゴマをサイズの大きなコマと仮定すれば，CCM は決めゴマのみを羅列したことになり，そのため映像としての見やすさということに関しては，等ショット間隔で要約され てい る
EQL の方が見やすくなったのかもしれない．
CCM は，本編と異なるショットの並びとなっている箇所が 2 つ存在していた．だが，本編と要約映像でショットの展開が異なっていたことに気付いたか聞いたところ，全被験者ともに気付かなかったという回答を得た．このことから，映像と異なる配置にショットを並べたとしても，マンガと同様の展開が維持されているのであれば，要約映像に関しては違和感なくユーザに受け止められるのではないかと考えられる．
以上の考察は，被験者数の観点からするともちろん断定できるに足るものではない．しかしながら，ショットの一致率および被験者の感想を聞く限り，今後も議論や検討を重ねていくことで，原作マンガから映像内のシーンの重要度を測定することは十分に行えるものと考えている．

5.

おわりに

本稿では，映像内のショットと原作のマンガにおけるコマを対応付けることで，映像内のシーンの重要度が測定可能かどうか評価を行い，効果を確認した．また，マンガと映像の関係を「対応付け」という視点から論じ，要約映像の生成を試みた．本稿で示した内容
は，「マンガが原作である」ということが前提条件であるが，マンガを原作とする映像が多数制作されている今日において，一つの方向性を予想することはできたと考えている．今後はコマ割り（形状や，配列）をより詳細に分析していくことで，さらなる改善が見込
まれる．

参考

文

献1) 秋田孝宏: 「コマ」から「フィルム」へ –マン
ガとマンガ映画–，NTT 出版，2005
2) 竹内オサム: マンガ表現学入門，筑摩書房，
20053) Smith M.A., Kanade T.: Video Skimming andCharacterization through the Combination of Imageand Language Understanding, IEEE International
Workshop on Content-based Access of Image andVideo Databases, pp.61-70, 1998
4) 森山剛 ，坂内正夫: ド ラマ映像の心理的 内 容に基づいた要約映像の生成，電子情報通信学会論文誌，Vol. J84-D-II，No. 6，pp.1122-1131，2001
5) 出口嘉紀，吉高敦夫: 映画の文法に基づ く要約
映像の生成，情報処理学会研究報告，Vol.2004 ，
No. 3，pp.33-40，2004
6) 宮森恒，中村聡史，田中克己: 番組実況チャットを利用したテレビ番組のメタデータ自動抽出方式，情報処理学会論文誌，Vol. 46，No. SIG
18(TOD 28)，pp.59-71，2005
7) Uchihashi, S., Foote, J., Girgensohn, A., andBoreczky, J.: Video Manga: Generating Semantically
Meaningful Video Summaries, ACM Multimedia 99,pp.383-392, 1999
8) 小関悠，角康之，西田豊明，間瀬健二: ぱらぱ
らアニメによる体験データの要約・編集支援シ
ステム，コンピュータソフトウェア，Vol. 24，
No. 3，pp.41-50，2007
9) 首田大仁，Thawonmas, R.: オンラインゲームのプレイログを用いた漫画の自動生成，ゲーム学会和文論文誌，Vol. 3，No. 1，pp.41-46，200910) Kurlander, D., Skelly, T., and Salesin, D.: ComicChat. SIGGRAPH’96, pp.225－236, 1996
11) 中村貴洋，青木秀憲，宮下芳明: マンガ的手法を用いたニコニコ動画ナビゲーション，情報処理学会研究報告，Vol.2008，No.106，pp.103-110,
200812) http://contents.oricon.co.jp/music/special/081215_01_10.html