人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第18回)
SIG-AM-18-09

キャラクタの出現頻度に着目したコミックのエピソード分割手法の検討
Episode division method in comics
by using frequency of personages’ appearance
中本 竣也 1
Shunya Nakamoto1
11

朴 炳宣 2Byeongseon Park2

関西大学 総合情報学部

22

Faculty of Informatics, Kansai University

松下 光範 1∗
Mitsunori Matsushita1

関西大学大学院総合情報学研究科

Graduate School of Informatics, Kansai University

Abstract: This paper propose a method for dividing story in a comic by episode. In recentyears, it has been possible to search comics by using bibliographic information such as publishers
and authors. It, however, is still diﬃcult to search the comics by focusing on the contents of them.
To solve the problem, we aim to develop a system to search an intended episode of a comic. To
achieve this goal, we focus on the frequency of personages’ appearance. This idea is based on
hypothesis that the trend of personages appearance relates to the episode’s progress in comics.
Our experiment so far revealed that weighting the importance of personages (e.g., main characterand rival character) can contribute to divide episodes correctly.

1

はじめに電子書籍の普及，発展に伴って Web 上やタブレット端末，およびスマートフォンなどのディジタルデバイスで読むことができるディジタルコミックが登場しており，他の電子書籍と同様に利用者数が増加している．
電子書籍市場の 8 割以上をディジタルコミックが占めており，その発展に大きく貢献している [8]．コミックの電子化によって，従来のコミックでは考えられなかった新しい利用や表現が期待されている．その一つとして，エピソードごとの検索が挙げられる．
電子書籍販売サイトによってコミックの検索が可能であり，これらに対する読者の利用意向は高い [8]．電子書籍販売サイトでコミックの検索を行う場合，作品のタイトルや著者など書誌情報を用いた検索が可能である．一方で，従来のサービスでは，コミックの内容に関する検索はジャンルによる簡略的なものに留まっており，現状では「ルフィがゾロと出会うエピソードを閲覧したい」といったような読者の詳細な要求に応えることができていない．この問題を解決するために，
本研究ではコミックから特定のエピソードを検索するための技術の実現を目的とし，その端緒として，コミックに書かれた内容情報に基づきエピソードを自動的に分割する手法を検討する．エピソードはコミックのペー∗ 連絡先：関西大学総合情報学部総合情報学科〒 569-1095 大阪府高槻市霊山寺町 2-1-1
E-mail: mat@res.kutc.kansai-u.ac.jp

ジ上のコマ割りとそのページの連続から表現されるものであり，複数のエピソードによりコミックが構成されるという特徴がある [10]．コミックが出版される際，エピソードは明示されない事が多く，エピソードを明確に分割することが難しい．コミックは出版形式（e.g.,週刊・月刊誌，単行本）による単位（e.g.,「巻」「話」）をもとにエピソードが構成され，コミックを分割する
際，現状では，巻数や話数が考えられる．しかし，必ずしも一つの単位ごとに一つのエピソードが表現されているとは限らず，複数の「巻」や「話」に渡って一つのエピソードを構成する場合がある．そこで本研究
では，コミックに含まれた内容情報（e.g., キャラクタ，セリフ）からエピソードを特定し，それらを分割することを試みる．

2

関連研究

2.1

ストーリ推定に関する研究

これまで様々なコンテンツにおいて，コンテンツを効率的に利用・選択する必要性が高まっており，ダイジェストや要約表現の自動生成に関する研究が国内外で行われている．テキスト要約に関する研究は盛んに行われているが，ストーリ抽出においては，自動化できていない現状である．相良らの研究では，テキストのストーリはメインストーリとサブストーリの組み合- 53 -

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第18回)
SIG-AM-18-09

わせから構成されるという考えに基づき，従来の重要文抽出を利用したテキストからのストーリ抽出の手法が提案され，有効性について確認されている [7]．岩永らの研究では，野球の試合に関する報道を取り上げ，試合中に発生したイベントについて報じたテキストを入力とし，それらを基にその試合のダイジェストを生成する手法について提案している [6]．各イベントは試合中に生じた全てのイベントの通し番号，イニング，裏表，攻撃側のチーム名，打者，打席の内容，盗塁，選手交代などからなる．吉高らは，映画やドラマなどの映像コンテンツを対象とし，製作者がある場面を演出するための技法に着目する手法を提案した [11]．映像や音声に現れる特徴に着目することで，効果的なダイジェスト生成を目指している．印象的な場面であるかどうかの判断は視聴者によってばらつきがあると考えられるが，このような手法から制作する側が意図的に作った印象的な場面を検出することが可能であると示唆された．

2.2

内容情報の自動識別に関する研究

ションが，現時点で自動取得が困難なメタデータでは背景の距離がシーン切り替わりにおいて最も影響力が大きい要素であると明らかにされた [5]．Morozumi らは，ネットワーク環境上でのコミックへのアクセスや，再利用のためのメタデータフレームワークを提案している [2]．

3

コミック内のキャラクタの自動識別に関する研究や，コミックの自動コマ分割に関する研究は盛んに行われている [1][4]．石井らの研究では，コミックのコマ分割処理において，帯を用いた分割線候補の検出，および分割線適合検査を用いる手法が提案されている [4]．さらに，分割の際に用いる閾値の最適化を図り，分割線検出精度の向上を確認している．野中らはスマートフォンのような小画面の端末における電子コミックの閲覧を容易にするため，電子コミックのコマ検出を自動的に行うことを可能にする画像解析技術 GT-Scan を開発した [9]．GT-Scan は複数の画像処理モジュールの組み合わせによって構成され，入力されたコミック画像を解析してコマ情報を出力する．GT-Scan によってコマ情報付与の作業時間を約 70%削減することができ，また少年漫画では 95%，少女漫画では 78%の精度でコマの自動検出が行われていた．それに付随し，コマ情報が付与された電子コミック用データをスマートフォンで閲覧する際に，コマ単位に閲覧できる GT-Comic Viewerを開発，商品化し，読みやすい電子コミックを低コストで提供可能な環境を整えた．

2.3

図 1: 提案手法による区切り位置

コミックを構成する要素の中でキャラクタは最も頻繁に出現する要素であり，最も重要な要素である [10]．
エピソードの区切りでは，そのエピソードに特有のキャラクタの登場や退場が頻繁に行われている．例えば，「ある敵を倒すまでの物語」というエピソードでは，敵が登場した部分や敵が退場した部分がエピソードの区切りとなる．そこで本稿では，「キャラクタの登場や退場はエピソードの区切りを表す重要な要素である」と仮定し，キャラクタの出現頻度に着目する．同じ登場人物が共通して出現している話同士は，一つのエピソードに分類されると考えられ，出現している登場人物が異なる話同士は異なるエピソードに分類されると考えられるため，本稿の提案手法では，一話ごとのキャラクタの出現頻度を用いて隣接話間の類似度を測り，エピソード分割の指標とする．
本稿では類似度の算出に cos 類似度を用いた． cos
類似度は，二つの n 次元のベクトル間の距離を測る際に用いられ，値が 1 に近いほど二つのデータが似通っていることを示す． cos 類似度を求める数式を以下に示す．

コミックへのアクセス支援に関する研究

現在，コマの同定 [3] や，構成要素に基づく自動シーン分割処理 [5]，書誌またはコンテンツ情報の構造化 [2]などに関する研究が行われている．石井らの研究では，各コマに含まれる構成要素の分布に対する解析から，現時点で自動取得可能とされるメタデータではナレー提案手法⃗ =cos(⃗q, d)⃗q · d⃗|⃗q | |d⃗ |(1)

出現頻度に基づくエピソードの区切り位置の判別例を
図 1 に示す．図 1 の「×」は該当箇所が 区切りであることを示している．なお本稿では指標によって得られた隣接話間の類似度が 0.5 未満の場合をエピソードを区切る箇所とした．例えば，図 1 の場合，2 話と 3 話，- 54 -

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第18回)
SIG-AM-18-09

図 2: キャラクタの出現頻度分布 (進撃の巨人)

図 4: キャラクタの出現頻度分布 (銀魂)図 3: キャラクタの出現頻度分布 (DEATH NOTE)

図 5: キャラクタの出現頻度分布 (焼きたて!!ジャぱん)

6 話と 7 話，12 話と 13 話の間の 3 箇所がシステムがそれぞれのエピソードの区切り位置であると提示していることを表す．

4.2

4

予備実験

4.1

予備実験の概要

ベースラインとして各話のキャラクタの出現回数をベクトルで表現し，隣接話間の cos 類似度を求めた（以下，指標 (A) と呼ぶ）．使用したコミックは『銀魂』（空知英秋著，集英社）『，進撃の巨人』（諌山創著，講談社），『DEATH NOTE』（大場つぐみ，小畑健著，集英社），『焼きたて!!ジャぱん』（橋口たかし著，小学館）を対象とした．指標 (A) によって提示されたエピソード分割と正解データの比較実験を行い，エピソード分割の一致率を算出した．

表 1: 指標ごとの一致率（%）
作品名
ABC
銀魂
28.2 92.3 82.1
進撃の巨人
47.6 66.7 66.7
焼きたて!!ジャぱん 57.5 67.5 60.0
DEATH NOTE
71.4 59.5 69.0
平均51.2 72.6 69.5

予備実験の結果

表 1 の A 列に示すように，指標 (A) からは十分な精度が得られなかった．原因として，いずれの作品についても高い類似度が示される箇所が多く，0.5 を下回る箇所が少なかたったため，区切りとして検出される箇所が少ないことが挙げられる．
『DEATH NOTE』と『焼きたて!!ジャぱん』において，特に多くの箇所で類似度が高いことが確認された．これはある特定の箇所では出現に変化があるキャラクタ数より，変化がないキャラクタ数が多いことが原因であると考えた．そこで，4作品について，キャラクタの出現頻度の分布を調査した．その結果を図 2〜図 5 に示す．
『進撃の巨人』と『銀魂』の 2 作品では 300 回以上出現していたキャラクタは 3 キャラクタのみだったが，特に高い類似度が示される話が多かった『焼きたて!!ジャぱん』と『DEATHNOTE』の 2 作品は 300 回以上出現していたキャラクタは，それぞれ 6 キャラクタ，7 キャラクタ存在していた．このことから，『DEATH NOTE』と『焼きたて!!
ジャぱん』は同じキャラクタによって構成される話が多いため，特に高い類似度が提示される箇所が多かったと考えられる．
常に出現しているキャラクタに比べ，稀に出現するキャラクタが各エピソードの特徴となると考えられる
ため，キャラクタの出現の傾向に対する重み付けを行うことで，実態を反映した類似度を得ることが期待される．そこで実験では指標 (A) に加え，2 種類の重み付け手法について検討することでエピソード分割の精度向上を図った．

- 55 -

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第18回)
SIG-AM-18-09

5

実験

本稿の提案手法によってエピソードごとの分割を行うにあたり，キャラクタごとに重み付けを行うことでエピソード分割の精度向上が期待される．提案手法の有効性の確認，適切な重み付け手法の検討のために，それぞれの精度を比較する実験を行った．

5.1

実験の概要

指標 (A) に加え，2 種類の重み付け手法について検討した．本実験では，予備実験と同様に『銀魂』，『進撃の巨人』，『DEATH NOTE』，『焼きたて!!ジャぱん』の 4 作品の 1 巻〜5 巻を対象とした．
一つ目の重み付け手法は TF-IDF の考え方を用いたものである．ある特定のエピソードにのみ出現するキャラクタは，そのエピソードを特徴づけるキャラクタであると考えられるため，話ごとのキャラクタの出現回数を TF とし，各話に対する出現回数の逆数を IDF とした．それにより，特定のエピソードに含まれる話に多く出現し，他の話では出現が少ないキャラクタにより高い重みを与える．この数式を以下に示し，この重み付けを指標 (A) に反映したものを指標 (B) とする．

wij = TFij · IDFi

(2)

nij
TFij = ∑k nkj

(3)

Cdfi

(4)

IDFi = log

nijlog 2Nipj

図 7: IDF 値の分布（DEATH NOTE）

5.2

ここで， nij はある j 話内におけるキャラクタ i の出∑
現回数であり， k nkj は j 話におけるすべてのキャラクタの出現回数の和である． C がコミックの総話数， dfi は，あるキャラクタ i が出現する話の数を示している．
二つ目の指標は，キャラクタの出現間隔を用いた重み付け手法である．全ての話に渡って連続的に出現するキャラクタよりも，非連続的に出現していたキャラクタが再度出現する話は，その直前のエピソードと異なるエピソードに属すると考えられる．そこで，対象キャラクタが直前に出現してから次に出現するまでの間隔を重みとし，指標 (A) に反映したものを指標 (C)とする．数式を以下に示す．

wij =図 6: IDF 値の分布（銀魂）(5)nij はある j 話内におけるキャラクタ i の出現回数であり， pj は j 話の総ページ数， Ni はキャラクタ i が直前に出現してから次に出現するまでの間隔を，それぞれ表している．

実験結果

指標 (B)，(C) を用いて得られたデータと人手による正解データの比較結果を表 1 の B 列， C 列に各々示す．
『銀魂』，『進撃の巨人』，『焼きたて!!ジャぱん』の 3作品に対して (B) と (C) どちらの指標を用いた場合も(A) よりも高い正答率が示された．特に『銀魂』において (B) の指標を用いた際に，92.3%の精度でエピソードを正しく分割できた．このことから，キャラクタごとに重み付けを行った上で類似度を求める手法によるエピソード分割の有効性が示された．一方，『DEATHNOTE』では (B) と (C) のどちらの指標を用いた場合も，(A) より低い正答率が示された．

6

考察

指標 (B)，(C) によって，一致率の向上が確認されたため，キャラクタごとに出現の傾向に基づき重み付けを行った上で，隣接話間のキャラクタの出現頻度について類似度を測り，エピソード分割の指標とする手法の有効性が示された．
『銀魂』は特定の話にのみ出現しているキャラクタが存在し，このようなキャラクタのIDF 値が常に出現するキャラクタ（e.g., 主人公）よりも高かった．これにより，キャラクタの登場と退場によって各エピソードの分割が可能であることが示唆さ- 56 -人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第18回)
SIG-AM-18-09

れた．一方，『DEATH NOTE』は出現するキャラクタ数が少なく，エピソードの変化をキャラクタの種類ではなく，少ないキャラクタによるセリフや行動で表現している場合が多く見受けられた．
『DEATH NOTE』と『銀魂』の IDF 値の分布を調査したところ，『DEATHNOTE』は『銀魂』に比べ，IDF 値が低いキャラクタの数が少なかった（図 6，図 7 参照）．
『DEATH NOTE』
は『銀魂』に比べ，キャラクタごとの IDF 値の差が小さく，各エピソードの特徴となるようなキャラクタの数が少なかったことが原因と考えられる．

7

参考文献[1] Ishii, D., Yamazaki, T. and Watanabe, H.: Multi
Size Eye Detection on Digitized Comic Image,IIEEJ 3rd Image Electronics and Visual Computing Workshop, pp. 1–4 (2012).
[2] Morozumi, A., Nomura, S., Nagamori, M. andSugimoto, S.: Metadata Framework for Mnga:
A Multi-paradigm Metadata Description Framework forDigital Comics, International Conferenceon Dublin Core and Metadata Applications,pp. 61–70 (2009).

おわりに[3] Tanaka, T., Shoji, K., Toyama, F. andMiyamichi, J.: Layout analysis of tree structured
scene frames in comic images, 20th International
Joint Conference on Artificial Intelligence, pp.
2885–2890 (2007).

書籍販売サイトなどではコミックの書誌情報を用いた検索が可能になっている．一方で，コミックの内容情報による検索はジャンル検索のような簡略的なものに留まっている．そのため，本研究ではコミックからエピソードの検索を行う技術の実現を目的とし，その端緒として本稿では，コミックに混在する要素の中からキャラクタの出現頻度に着目した．コミックをエピソードごとに自動的かつ定量的に分割する手法を試みた．人手による分割と提案手法による分割の比較実験を行った結果，キャラクタごとに重み付けを行った上で類似度を求める手法におけるエピソード分割の有効性が示された．
『DEATH NOTE』のような作品は，出現するキャラクタではなく，キャラクタの状態や様子，言動により各エピソードを表現している場合が多かった．そのため，このようなコミックについては本稿の手法では十分な精度が得られなかった．今後は，このようなコミックに対して，キャラクタの出現頻度以外のコミックを構成する要素に着目したエピソード分割手法を検討する必要がある．また，コミックを分類することができればコミックごとに適切なエピソード分割手法を選択できると考えられる．
また，現在では，コミックやコミックを原作とするアニメーション作品のダイジェストを自動生成する研究は行われているが，本研究で用いた手法でエピソード分割が可能になった場合，ダイジェストの生成に応用できると期待される．

謝辞
本研究の実施にあたり JSPS 科研費 15K12103 の助成を受けた．記して謝意を表す．

[4] 石井大祐, 河村圭, 渡辺裕: コミックのコマ分割処理に関する一検討, 電子情報通信学会論文誌,
Vol. J90-D, No. 7, pp. 1667–1670 (2007).
[5] 石井大祐, 柳澤秀彰, 三原鉄也, 永森光晴, 渡辺裕: マンガの構成要素に基づく自動シーン分割処理に関する一検討, 電子情報通信学会技術研究報
告, Vol. 114, No. 349, pp. 73–76 (2014).
[6] 岩永朋樹, 西川仁, 徳永健伸: テキスト速報を用いた野球ダイジェストの自動生成, 言語処理学会発表論文集, No. 22, pp. 238–241 (2016).
[7] 相良直樹, 砂山渡, 谷内田正彦: 重要文抽出を利用したテキストからのストーリー抽出, 情報処理学会研究報告自然言語処理．2004-NL-164, No. 108,
pp. 159–164 (2004).
[8] 電子書籍ビジネス調査報告書 2016: インプレス総合研究所 (2016).
[9] 野中俊一郎, 沢野哲也, 羽田典久: コミックスキャン画像からの自動コマ検出を可能とする画像処理技術「GT-Scan」の開発, Fuji Film RESEARCH& DEVELOPMENT , No. 57, pp. 46–49 (2012).
[10] 三原鉄也, 永森光晴, 杉本重雄: ディジタルコミックにおけるストーリ構造とビジュアル構造を表すメ
タデータモデル, 情報処理学会研究報告. FI, No. 9,
pp. 1–8 (2011).
[11] 吉高淳夫, 田中壮詩, 平嶋宗: 映画等を対象としたダイジェスト映像生成のための映像特徴に関する検討, 情報処理学会研究報告, Vol. 2007, No. 68,
pp. 79–86 (2007).

- 57 -