DEIM Forum 2019 I4-1

マンガ制作支援に向けたメタデータモデルと深層学習による構図推薦への応用
伊藤 博典†

浅野 泰仁†† 京都大学情報学研究科 〒 606-8501 京都府京都市左京区吉田本町 36-1
E-mail: †h-ito@db.soc.i.kyoto-u.ac.jp, ††asano@i.kyoto-u.ac.jp
あらまし近年，マンガは子供だけが楽しむものではなく，幅広い世代に楽しまれるものとなっている．またマンガという表現手法は，その表現の自由度の高さによる内容への親しみやすさ，伝わやすさといった特徴を活かして，広告などのビジネスにおける利用や学習マンガなどの教育における利用など様々な分野において活用が進んでいる．しかし，マンガ制作を専門としていない一般の人がこれを活用・制作するにあたり，脚本等の内容をコマ割り・キャラ
クタ配置・吹き出し配置などによりマンガ表現に落とし込む構図作成の技術が大きなハードルとなっている．そこで，脚本を型に合わせて書くことで自動的に構図を推薦する技術によりこのハードルを乗り越える支援を行うことで，マンガ表現の利活用がより進むと期待される．本論文では，構図と脚本の観点から機械学習を適用するためのメタデー
タモデルを提案するとともに，深層学習による構図推薦の手法について提案する．
キーワード コミック工学，メタデータモデル，アノテーション，構図推薦, 深層学習

1. は じ め にガ制作における大きなハードルとなっているこのマンガ表現における専門知識の一例としては，場面や状況に応じたパースや

近年，マンガは子供だけが楽しむものではなく，幅広い世代

人物・吹き出しなどの配置，サイジングなどがある．これらをに楽しまれるものとなっており，特に日本の社会においては文踏まえずにマンガを制作すると，どのような状況下に登場人物化としても広く浸透している．また，マンガという表現手法は，があるのか，何が中心的に伝えたいものなのかといったことが，その表現の自由度の高さによるメリットを活かして，近年では分かりにくくなってしまい，先に挙げたマンガ表現のメリット

商品の宣伝広告などのビジネスにおける利用や学習マンガのよを活用できない．

うな教育における利用など，エンターテイメントの領域以外にそこで本研究では，マンガ表現によるメリットを活かして，も様々な分野において活用が進んでいる．これは日本国内にと効果的に内容を伝えるために，この専門知識や暗黙的な技術がどまらず，世界中においても認知や利用が進んでおり，マンガ

用いられているマンガをもとに深層学習を行い，脚本に適したで楽しむ人，マンガでメッセージを伝える人，マンガで学ぶ人

構図を生成し，推薦することで一般の人々のマンガ制作支援をなど，多様な目的のためにマンガを利用する人はますます増加行うことを目的とする．

している．マンガで表現するメリットとしては，次のようなものがある．

(1) テキストのみの表現よりも目に止まりやすく，記憶に残りやすい．

本論文では，機械学習のためのマンガメタデータモデルを提案するとともに，これをもとに構築したアノテーションデータ
セット及びこれを利用したニューラル機械翻訳による構図推薦
手法について提案する．

(2) ストーリに乗せて情報を伝えるため，感情移入しやすい．

本論文の貢献としては次の 3 つがある．

(3) テキストのみでは伝わりにくいことを分かりやすく表現(1) 機械学習のためのマンガメタデータモデルの提案

できる．

機械学習により表現/伝達したい内容を書き下した脚本をもこれらのメリットから，一般の人々においてもマンガの表現とに構図推薦を行うためには，まず学習データが必要となる手法を娯楽・教育・ビジネスといった様々なシーンにおいて利が，この脚本と構図の観点から収集されたデータセットは存在

用したい人々も増加している．近年はコミ Po! [1] のような絵をしていない．そこでデータセットを新たに構築するために，マ書かなくとも，3D モデルを利用してマンガを作成することがンガにおいて描かれる各動作により構成される脚本とそれをできるソフトウェアなども市販されている．しかし，マンガ表

表現する構図について，その構成要件を詳細に定義するととも現の利用にあたって，内容への親しみやすさ，伝わりやすさ，に，それらの情報を階層的に結びつけたマンガメタデータモデ

分かり易さといったマンガの表現手法によるメリットを活用す

ルを設計した．本提案モデルの定義に当たり，はじめに必要なるためには，表現/伝達したい内容を書き下した脚本に応じて，性質を明らかにしたモデルを作成し，これをもとに作成された

マンガにおける各要素を構成する構図の技術が重要である．こアノテーションデータを用いて，定性評価並びにインタビュー

こには暗黙的なものも含め専門知識が多用されており，マンガを行った．[2] 本論文では，これらの実験結果のフィードバック

制作を専門としていない一般の人々にとって，この部分がマンを取り入れて完成させたメタデータモデルについて提案する．

(2) アノテーションデータセットの構築
本提案メタデータモデルをもとに，機械学習により表現/伝達したい内容を書き下した脚本をもとに構図推薦を行うために必要となるアノテーションデータセットをクラウドソーシング
によって構築した．ここでは提案メタデータモデルをもとに，クラウドワーカーに古典文学をマンガ化した三冊のマンガのコマに対して，構図アノテーション及び脚本アノテーションを付与してもらった．本データセットによりマンガの各コマにおける構図と脚本に関するアノテーションデータの組を得ることを

図 1 Fujimoto らのメタデータモデル可能にした．

(3) 深層学習を用いた構図推薦手法の提案

Morozumi らの手法では，デジタルマンガを主な対象として，

本研究では，マンガ制作における表現/伝えたい内容を書き下先の 3 つの観点から個別の表現に依らず，内容に関する要素をした脚本に応じた構図を生成する問題を，可変長の単語ラベル

マンガの構造に従って抽象化された実体として記述するための列からなる入力に対して対応する可変長の単語ラベルを適切にメタデータフレームワークを定義している．そのため，書誌情

出力する翻訳の問題と同等に捉えた．そこで入力文を描きたい

報やキャラクタ，動作，話数，シリーズといった観点からイン

内容を書き下した脚本アノテーションとし，出力文をこれに対

ターネット上におけるマンガ内外における検索やプロによるマ応した適切な構図を示した構図アノテーションとして，ニューンガ制作における再利用に向いたモデルとなっているが，各情ラル機械翻訳モデル [3] を適用することで，構図情報を生成し報を横断的に結びつけるアノテーションの困難性やそのコスト

構図推薦を行った．提案手法では，上記のアノテーションデーの大きさが問題であり，またマンガ内の各オブジェクトの存在

タセットによってモデルを訓練し，この訓練済みモデルによりする領域についての情報を持たないため，構図を対象とした機ユーザがコマ内で表現したい内容を指定の形式で脚本アノテー

械学習への適用は難しい．

ションとして入力することで，それに適した構図アノテーショ

本研究では，マンガ制作に詳しくないユーザを対象として，ンを得ることができる．本論文では，提案手法の定量評価によ表現したい内容を書き下した脚本からマンガ構図を自動生成すり提案メタデータモデルの機械学習への応用可能性を，また定ることでマンガ制作支援を行うことを目標としており，その内性評価により提案手法が素人によるマンガ制作の支援を行える

容を効果的に伝えるためにアングルやショットなどの構図におことを示した．

いて重要となる要素に着目したメタデータモデルを提案する．

本論文の構成は以下の通りである．第 2 章では，関連研究とまた提案メタデータモデルにおいては，話数やシリーズといっ

してマンガを対象としたメタデータモデルの諸研究とニューラた大きな粒度のストーリ構造ではなく，マンガ制作の基となる

ル機械翻訳の概要について説明する．第 3 章では，機械学習の脚本から動作を用いて，マンガ内で描かれる内容を表現できる

ためのマンガメタデータモデルについて述べ，第 4 章では，機ようにした点も本研究は Morozumi らの研究と異なる．

械学習に利用する提案モデルをもとに構築したデータセットに

Fujimoto ら [8] は，マンガ画像における登場人物や文字の認ついて説明する．第 5 章では，ニューラル機械翻訳を用いた構

識やテキストと画像からなるマルチモーダルな表現に対応し図推薦手法について説明し，第 6 章では，この構図推薦手法にた検索に関する技術を発展させることを目標として，学術利用対して行った評価実験について説明する．第 7 章では，研究全可能な大規模で高品質なオープンマンガデータセットを構築す

体のまとめと今後の展望について述べる．

るとともに，このデータセットのアノテーションに用いるメタ

2. 関 連 研 究

データモデルについて提案した．

Fujimoto らのメタデータモデルは，長方形の囲いを基準と本章では，はじめにマンガを対象としたメタデータモデルのして，コマ，登場人物，テキストの 3 つから定義され，各要素先行研究について紹介し，次に構図推薦に利用したニューラルの存在する画像中の空間座標，登場人物の名前や顔，全体像，

機械翻訳の概要について説明する．

台詞の内容のみから成る簡潔なモデルである．図 1 にこのメタマンガのメタデータモデルに関する研究としては，Morozumi
らの研究 [4] や Fujimoto らの研究 [8] が挙げられる．

データモデルを示す．
このモデルは，キャラクタや吹き出しといった観点からの画

Morozumi ら [4] は，ネットワーク環境におけるマンガの発像的な特徴抽出やその画像認識など機械学習に向いたモデルで見やアクセス，再利用のためのメタデータフレームワークを提あり，そのアノテーションのコストも小さく，データセット作

案している．このフレームワークでは，出版された具体物とし成に向いたものとなっているが，マンガ内で表現されている内てのマンガに関する書誌記述，マンガにおける表現やストーリ

容については表現できない点やマンガ表現における特徴の一つに関する構造記述，マンガに登場する主要人物や動作主体，コであるオノマトペや吹き出しの形といった要素が不足している

ンセプトに関するオントロジー記述の 3 つの観点から議論し，点が，構図推薦において必要となる構図と脚本の関連について

それぞれ「FRBR [5]」，「TV-Anytime [6]」，「知的実体を示す辞の学習において問題である．

書項目 [7]」を基礎として拡張したモデルを提案している．

提案メタデータモデルでは，マンガにおける構図を表現する

ために必要となる各要素と内容を示す脚本を表現するために必要となる各要素を定義するとともに，これらの関連についても定義した．また，構図において重要な小道具や背景などの場面
状況を認識するために必要な要素についても新たに定義した．
次にニューラル機械翻訳の概要について述べる．NMT とは，
機械翻訳にニューラルネットワークの計算モデルを適用したものであり，2014 年に登場して以降，それまでのスタンダードであった統計的機械翻訳 (SMT) から翻訳精度を飛躍的に向上させた技術である．SMT では，単語の翻訳確率や並べ替えの確率などの翻訳に必要な知識を対訳コーパスから統計的な情報として学習し，辞書や言語モデルといった独立した翻訳知識を用意したり，翻訳時に考慮する素性を設計する必要があるのに

図 2 提案マンガメタデータモデルの全体図

対し，NMT では 1 つのニューラルネットワークを用意するだけで訓練も翻訳もすべて同じ枠組みで行うことができ，対訳文

薦のための深層学習モデルの訓練に用いるアノテーションデーを与えるだけでニューラルネットワークが翻訳に必要な情報をタセット構築の基盤として利用する目的で定義した．

自動的に学習し，入力から出力までが単一のモデルで完結する．

そのため，提案モデルはアノテーションデータ作成の上で重ここでは，ニューラル機械翻訳の代表的な仕組みについて要となる時間的なコストを踏まえて，構図と脚本について関連

Seq2Seq [9] を例に概説する．seq2seq は大きく分けて 3 つの性も含めて表現する上で必要となる要素をそれぞれ定義した．

パーツで構成されている．1 つ目は，入力文をベクトル表現に

このモデルは先行研究 [2] のモデルに対して，実験結果をフィー変換するエンコーダ，2 つ目は出力すべき単語を決定する際にドバックして定義したものである．

入力文のどこに注目するかをコントロールするアテンション機

本研究では，「マンガ原作の書き方」[13] に基づいて，「脚本」

構，3 つ目は入力文とアテンションの情報を基に出力文を生成

を「だれが，何に，どんなことを，どんな気持ちでしているか」するデコーダである．

の観点から記述された複数の動作から構成されるものと定義

エンコーダでは， 入力文中の各単語を分散表現と呼ばれる

し，「構図」については「イラスト・マンガ書き方ナビ」[14] か

数百次元からなる実数値ベクトルに変換する embedding を行

ら「一つのコマにおいて，視点や物体の大きさ，配置などからう．この分散表現では単語の意味のようなものがそれぞれ表現

描かれるキャラクタや吹き出しなどをどのように表現するか」される.

について示すものとして各要素について定義した．

アテンション機構は，embedding された入力文とデコーダの内部状態を判断材料として，次の単語を訳出する際に注目すべ

本論文で提案するマンガメタデータモデルの全体像を図 2 に示す．

き箇所を判断する役割を担う．ここで注目する単語は決定的に

ここでは，図 2 の赤点線で囲まれた実体集合を構図メタデー

1 つに決めるのではなく，入力文のすべての単語に対して確率

タモデル，緑点線で囲まれた実体集合を脚本メタデータモデル

的に注目し，入力文の各単語の分散表現とアテンションを掛けとして定義した．また青実線で囲まれた実体は，既存のマンガた結果を足し合わせることで，入力分散表現の重み付き和を計

メタデータモデルでは定義されていない実体であり，本研究に算し，これをデコーダで出力する際の判断材料として利用しておいて脚本を表現し，構図において重要となる要素を表現する

いる．

ために新たに定義したものである．

デコーダは，アテンションの情報と 1 つ前に出力した単語の各実体についての詳細及びアノテーションにおける基準は先情報を入力として受け取り，次の単語を出力する．デコーダで行研究 [2] と同様であるため，本章では新たに追加した Ono-

は，各単語の出力確率をもとにそれぞれ最も確率の高い単語を

matope 実体を具体化する「Area」と「Notation」実体の詳細

出力することで翻訳を行う．以上が seq2seq の仕組みの概略でについてのみ説明する．

ある．

先行研究 [2] では，Onomatope 実体は表記のみを記述するも本研究ではコマに描きたい内容を書き下した脚本をもとに適のとなっていたが，評価実験の結果からマンガでの自然さに大した構図の推薦を行う手法を提案するが，このニューラル機械翻きな影響を与えること，マンガ制作経験者と未経験者の間で最訳 (NMT) において CNN [10] の進化系である DenseNet [11]も差が出る要素であったことから，未経験者のマンガ制作支援を活用したモデル [12] によって脚本アノテーションと構図アノにおいては，オノマトペを配置やサイズを指定する必要がある

テーションの関連を学習させることによって行った．

と考え，Onomatope 実体を具体化する Area 実体と Notation

3. 機械学習のためのマンガメタデータモデル

実体を新たに加えた．この Area 実体は，コマ内において対象のオノマトペの始点座標とそのサイズに関する情報をもってお

本章では，マンガに対して機械学習を脚本と構図の観点から適用するために新たに定義したマンガメタデータモデルについて提案する．提案モデルは，脚本をもとにしたマンガの構図推り，Notation 実体はそのオノマトペの表記についての情報を持つ．

図 4 構図推薦の全体の流れ

図 3 アノテーションツールの作業画面

5. 深層学習を用いたマンガ構図推薦
本章では，提案メタデータモデルを元に構築したアノテー
ションデータセットで訓練した深層学習を利用した，脚本をも4. アノテーションデータセットとにしたマンガ構図推薦手法について提案する．

本章では，提案メタデータモデルをもとに構築したアノテー
ションデータセットについて述べる．

本研究において取り組んだマンガ構図推薦の問題は，入力として可変長のマルチラベルを受け取り，それに対応する可変長

本研究では，脚本をもとにした構図推薦によるマンガ制作支のマルチラベルを予測して出力する問題として捉えることが援を目的としており，この構図推薦に利用する深層学習では，でき，これと同種の問題として機械翻訳のタスクがある．機械

マンガ内で表現される内容を書き下した脚本を構造化して記述

翻訳のタスクは，可変長の翻訳元文の単語列を受け取り，それした脚本アノテーションとマンガ内で描かれているキャラクタに対応する可変長の目的言語の単語列を出力する問題であり，などの各要素について構造化して記述した構図アノテーション

我々は翻訳元文として脚本アノテーションを，目的言語としてが組み合わさったデータセットが必要となる．しかし，先行研

構図アノテーションを与えることで，同様の手法で脚本を元に究のメタデータモデルとそのデータセットではこれらをカバーしたマンガ構図推薦の問題を解けると考えた．

したものは存在しない．そのため，提案マンガメタデータモデ

関連研究においても述べたように，近年の機械翻訳の分野

ルをもとに，コマごとにマンガ内で表現される内容を描かれてにおいてはニューラルネットワークを利用したニューラル機械

いる動作を中心に脚本アノテーションを，構図を表現するキャ翻訳が発展しており，これにより翻訳精度は年々目覚ましいス

ラクタなどの各要素について構図アノテーションを付与した

ピードで向上している．そして，最近のニューラル機械翻訳に

データセットを構築した．

おける精度向上の一因として，画像処理の領域で目覚ましい成このアノテーションデータセットを構築するにあたり，アノ果を上げた畳み込みの仕組みの適用がある．

テーションを付与する対象のマンガとして，「坊っちゃん」[16]，

本研究では，この畳み込みの手法をニューラル機械翻訳に「銀河鉄道の夜」[17]，「蟹工船」[18] の三冊を選定した．この理適用し，IWSLT2014 の翻訳タスクに置いて SoTA を達成した

由としては，将来的に原作からの脚本アノテーションの自動生

Attention2D [12] と呼ばれるモデルを用いて構図推薦を行った．

成を見据え，古典文学を原作としてマンガ化されたものを選定

ここで，この Attention2D を用いた構図推薦手法の全体の流した．

れを図 4 に示す．

このマンガ三冊に対して，クラウドソーシングサービスであ

ここでは，提案手法の入出力の詳細について 5. 1 節で説明

る Lancers [15] において募集したマンガに親しみのある日本

し，提案手法において用いた Attention2D の概要について 5. 2

語話者にアノテーションデータを作成してもらった．また，こ節で説明する．また本提案手法では，複数のマンガのアノテーのデータセットの構築に際し，広くアノテータを募集し，アノションデータを横断的に学習で利用できるようにし，またデーテーションデータを収集することを目的として，提案メタデー

タを集約してラベルの種類を減らすことで学習を上手く進める

タモデルを網羅した Web ベースのアノテーションツールを作ことを目的として，いくつかの前処理を行った．その詳細につ成した．このツールの作業画面を図 3 に示す．

いては，5. 3 節で述べる．

ここで今回構築したデータセットにおける各要素のデータ量について，表 1 に示す．

5. 1 入 出 力
提案手法では，入力として一コマで表現したい内容を脚本メ
タデータモデルの Action 実体に従って書き下した文を与える．

表 1 アノテーションデータセットの各項目のデータ量

Page
データ量
データ量

ここでは，一行が Action 実体に従って書かれた一つの動作をFrame Character Balloon

示し，表現したい内容を表現する動作の数に応じて行数が増える．Action 実体の表現形式としては，[”Subject”, ”Verb”,

556

2545

3782

Onoma

Prop

Action

1048

1239

4784

2771

”Target”, ”Emotion”, ”Content”] の形式であり，各動作をこのフォーマットに従って記述したものを入力として与える．例
えば，「Chara2 が怒って Chara1 を〇〇と言いながら殴る」といった内容を記述する場合には，[Chara2, 殴る, Chara1, 怒り,

ノテーションと構図アノテーションの関係をコマ単位で学習さ〇〇] といった形の入力となる．

せる．ここでは脚本アノテーションをソース文，構図アノテー

また，出力ではこの入力された構図アノテーションに応じて，ションをターゲット文としており，それぞれの一文が各コマの構図メタデータモデルの Area, Grid-Line, Scene Type, Angle,

持つ脚本情報と構図情報を持っている．そのため，ソース文はDistance, Character, Balloon, Onomatope, Prop の各実体に

コマ内で表現されている各行動についての情報を連結した形で，従った形で表現された構図アノテーションが生成される．この出ターゲット文はコマの構図を表現する各要素が連結した形で記力では，Area, Grid-Line, Scene Type, Angle, Distance のコマ

述されている．つまり，今回のデータにおいてはソース文では全体に関連する実体の情報についてはどの入力に対しても必ず一

各動作ごとに，ターゲット文はコマ，キャラなどの各要素の単つずつ含んでおり，Character, Balloon, Onomatope, Prop の位で順番が固定であるため，出現位置の情報がモデルに組み込各要素に関する実体の情報については，入力に応じてその個数がまれることで予測精度が向上すると考えられる．

変化する．ここで，コマ全体に関連する実体の情報は，[”Frame

2 つ目の理由は，Attention2D では各ラベルを生成する際に，Width”, ”Frame Height”, ”Grid-Line”, ”Scen Type”, ”An-

それまでの出力に応じたアテンションの値を利用できることでgle”, ”Distance”] の形式で表現される．またキャラクタについある．これまでの Seq2Seq を始めとする アテンション機構でての情報は各キャラクタごとに，[”Width”, ”Height”, ”Start

は，生成を行う前の段階でアテンションの値の計算はすでに完

Point”, ”Character ID”, ”Part”, ”Aspect”]，吹き出しについ了しており，生成済みの単語に関係なく，これを各デコーダにての情報は各吹き出しごとに，[”Width”, ”Height”, ”Start

入力として使いまわして与えるのが一般的な形であった．しかPoint”, ”Speker ID”, ”Shape”, ”Content”] の形で表現されし，この仕組ではそれまでに生成された単語を考慮した上で関る．そしてオノマトペについての情報は各オノマトペごとに，連性の高い単語に着目することができないため，文章全体の[”Width”, ” Height”, ”Start Point”, ”Notation”]，小道具に自然さを保つことが難しい．それに対して Attention2D では，ついての情報は各小道具ごとに，[”Width”, ”Height”, ”Start

生成済みのラベルを考慮した Attention の値を用いるため，全

Point”, ”Prop Name”, ”User ID”] の形で表現される．Start

体で自然な文章が生成されやすい．今回の出力である構図アノ

Point はコマの始点座標からの距離座標を示すものであり，各テーションに置いては，例えば出力されたコマのサイズに応じ

ID は登場人物に割り当てられた ID を示す．

てキャラのサイズが変わる，キャラの位置に応じてセリフの位

5. 2 Attention2D

置が変化するといった形で，前後のレイヤー間のラベルに強い

本 節 で は ，本 研 究 に お い て 構 図 推 薦 に 利 用 し た Atten-

相関があるため，この Attention2D の特徴が有用であると考

tion2D [12] について概説する．このモデルは，従来の Seq2Seq

えた．

に代表されるようなエンコーダとデコーダを用いたニューラル

また本モデルの利用においては，いくつかのハイパーパラ

機械翻訳のモデルと比較して，大きく異なる 2 つの特徴を持っメータの設定が必要となるが，Elbayad らが論文中で各ハイている．

パーパラメータの探索結果を提示しており，本研究ではこの中1 つ目は，従来のニューラル機械翻訳ではエンコーダとデコーで最も高い翻訳精度を達成した，embedding size = 128, layer

ダの 2 つを用いる構造がデファクト・スタンダードになっている

num = 24, growth rate = 3 を構図推薦の学習において採用のに対し，このモデルでは CNN の進化系である DenseNet [11]した．

を用いることでデコーダの機構だけで機械翻訳を実現している．

5. 3 前 処 理

この機構によって訓練時の生成においてすべての単語をまとめ

そして，今回データセットを深層学習の訓練に用いるに際して生成できるため，学習時間が少なく済むといったメリットがて，アノテーションデータセットのデータをそのまま用いると有る．

データ量に対してラベルの種類が多すぎるため，学習が進まな

2 つ目は，このモデルはアテンション機構を持たず，入力・い点や各キャラクタ ID が示すキャラクタがマンガに応じて異出力の系列をまとめて二次元の CNN を用いて畳み込むことなるため，複数のマンガを横断的に学習に利用できないといっで，アテンション機構を擬似的に実現しているという特徴があ

た問題があった．そこで本提案手法では，複数のマンガのアノる．従来のニューラル機械翻訳では，アテンションは最初にエテーションデータを横断的に学習で利用できるようにし，またンコーダで計算したものを繰り返し用いているため，デコー

データを集約してラベルの種類を減らすことで学習を上手くダの出力に応じてアテンションの特徴量を変更することはでき

進めることを目的として，いくつかの前処理を行った．まず，ない．しかし，このモデルではデコーダで生成されたラベルに複数のマンガのアノテーションデータを横断的に扱う上で最

よって Attention の特徴量を再計算するため，全体でより自然も問題となる同じキャラクタ ID が示すキャラククタがマンガな文章が生成されやすいといった特徴がある．

に応じて変化する点に対しては，各マンガの脚本アノテーショ

今回，アノテーションデータセットを用いてマンガ構図推薦

ンデータにおけるキャラクタの出現頻度をもとにキャラクタのを行うに当たり，この Attention2D を活用する理由として上ID に対して重要度付けを行い，それをもとにラベル付を行う

記の特徴に係る 2 つの理由がある．

前処理によって，横断的にキャラクタを扱えるようにした．そ1 つ目の理由は，ラベルの出現位置の情報を入力として組みして，データ量が少ない中で学習を上手く進めるために，脚込めることである．今回提案する構図推薦手法では，脚本ア本アノテーションデータにおける動作を示す動詞については，

用いられるデータセットとして WMT’14(De - EN) があるが，

表 2 WER の結果
全体

コマ

WER 21.7% 17.5%

キャラ セリフ

29.1%

20.0%

オノマトペ 小道具

16.4%

21.5%

これは約 500 万ペアの文から構成されている．ニューラル機械
翻訳の分野においては，これ以上の量を含んだデータセットが用いられることが多いが，これらのデータセットではその分未

Wikipedia で学習済みの Word2Vec [19] を利用して各動詞を

知語を含め単語数が多い．それに対し，我々のデータセットはベクトル化し，そのベクトル化された各動詞を Kmeans [20] に

ペアの数は少ないものの，単語数としては固定のラベル数しかよって 20 クラスに分類し，そのクラスに応じたラベル付を行っなく，またこれも提案手法の前処理において数をできる限り小たほか，吹き出しやオノマトペの文字を含む実体については，

さくしているため，大幅に WER が上昇しなかったと考える．

文字数に応じて 3 文字ごとにクラス分けを行い，そのクラスに

また，実際の誤予測を詳細に見ると，各要素の持つラベルの位応じてラベル付を行った．また構図アノテーションデータ特有

置や個数といった観点でのミスはなく，同じ属性のラベル内での各要素の領域に関する情報については，それぞれ 25 ピクセの予測誤りが多く見受けられたため，データセットの量を増やルごとに近い方に寄せてラベル付することで，ラベルの集約をしていくことで WER は改善されるものと考える．また今回の行った．これらの前処理によって，ニューラル機械翻訳の学習

WER による評価では，キャラクタにおける値が一番悪かったモデルを脚本・構図アノテーションデータセットに対して適用

が，これは一部の出力において同じキャラクタを示す羅列を上できるようにしている．

限まで繰り返し生成していたものがあったことが原因である．

6. 評 価 実 験

今回のモデルでは，全体に対する生成ラベルの上限は組み込ん

本章では，提案マンガメタデータモデルをもとに提案した

この機構を設けることによって WER は改善されると考える．

でいたが，要素単位での生成上限を設ける機構がなかったため，

構図推薦手法に対して行った定量評価と定性評価について説6. 2 定 性 評 価明する．本研究では，Attention2D の学習自体がどの程度う

本研究の提案構図推薦手法を利用することで，どの程度素人まく行えたかを確認するために，定量評価として Word Error

を含めた制作者のマンガ制作を支援できるかを評価するため，Rate(WER) による精度評価を行った．この実験詳細と結果に

以下のような定性評価を行った．今回の評価実験では，マンガ

ついて，6. 1 節において説明する．また，提案手法の構図推薦

制作経験者 2 名 A , B と未経験者 2 名 C , D に各コマに用意

により未経験者のマンガ制作を支援できるか確認するために，されたアノテーションをもとに作成してもらった．ここでは，実際に生成された構図アノテーションをもとに 4 名の被験者にアノテーションデータセットに含まれている 3 冊のマンガか

コミ Po!を用いてマンガを制作してもらい，それを別の 6 名のらそれぞれ 10 コマ，計 30 コマを利用し，この 30 コマを 15

被験者に分かりやすさと自然さの観点及びコマ同士の比較によ

コマずつの 2 つのグループ X , Y に分けた．そして，制作者

り評価してもらった．この実験詳細と結果について，6. 2 節にを A と C からなる Team1 と B と D からなる Team2 の 2

おいて説明する．

チームに分け，Team1 には X グループのコマのそれまでの状

6. 1 定 量 評 価

況説明と脚本アノテーション，及び Y グループのコマのそれ

本研究の構図推薦手法に利用した Atenntion2D のモデルにまでの状況説明と脚本アノテーションに加えて，脚本アノテー

よるアノテーションデータセットの学習がどの程度上手く行え

ションから提案手法により生成された構図アノテーションを割たかを確認するために，Word Error Rate(WER) による精度

当て，もう一方の Team2 には X と Y で与えるものを入れ替

評価を行った．この評価実験では，学習に利用していない 100

えたものを割り当てた．そして，各チームの制作者それぞれがコマ分のテストデータを用いて行った．この WER は機械翻訳

コミ Po!を用いて，状況描写と脚本アノテーションのみの場合の評価指標としてよく用いられる指標で，以下のように定義さはそれをもとに想像力だけで，構図アノテーションがある場合れる．

については基本的にはそれに従って作成してもらった．ただし，

W ER =

S+D+I
N

(1)

ここで，S, D, I は，それぞれ出力文を正解文と比較したときに，正解文に近づけるために置換した単語の数，削除した単語

今回の提案手法の目的はマンガの制作支援であるため，構図ア
ノテーションに従う上で明らかに表現がおかしくなるものについては修正，削除を，表現が足りないものについては追加を許可している．

の数，挿入した単語の数を表し，N は正解文の総単語数を示す．

次に，上記のようにして作成された合計 120 コマに対して，

本実験では，コマごとの構図に関する全要素に対して，及び別の被験者 6 名によりそれぞれ 3 つの評価を行ってもらった．

コマごとの構図に関する各要素に対して WER を算出し，そのこの評価においては，それぞれ制作者が経験者か未経験者かは平均を求めた．この結果を表 2 に示す．

伏せて行った．1 つ目の評価実験では，制作された各コマが状

上記の結果は，近年のニューラル機械翻訳による WER と比

況描写と比較して内容をわかりやすく表現できているかを ○，較するとやや高い結果となったが，実用できる範囲内の精度が△，X の三段階で評価してもらった．2 つ目の評価実験では，得られた考える．また，今回近年のニューラル機械翻訳による制作された各コマが自然かどうかを自然，どちらともいえない，

WER よりやや高い値となった理由としては，データセットの不自然の三段階で評価してもらった．3 つ目の評価実験では，量的不足が大きいと考える．ニューラル機械翻訳においてよく異なる制作者による同じ状況描写について表現したコマを比較

表 3 Team1 により制作されたコマに対する分かりやすさの評価

A(WithC) A(Withoout) C(WithC) C(Without)

上記の表 3 と表 4 より，分かりやすさの観点については，A,

B のマンガ経験者の場合は，構図推薦をベースとして制作され

○

80

82

60

46

たコマについても，構図推薦なしで制作されたものと同等の評

△

7

7

20

31

X

3

1

10

13

価を得ており，またマンガ制作経験のない C, D については，構図推薦をベースとして制作されたコマのほうが高い評価をよ

表 4 Team2 により制作されたコマに対する分かりやすさの評価り多く得ている．また表 5 と表 6 より，自然さの観点について
は，A , B のマンガ経験者については，構図推薦をベースとし

B(WithC) B(Without) D(WithC) D(Without)
○

68

69

64

58

て制作されたコマのほうが，構図推薦なしで制作されたコマよ

△

19

20

23

16

りも評価がやや低いもののの，分かりやすさと同様にマンガ制

X

3

1

3

6

作経験のない C, D については，構図推薦をベースとして制作

表 5 Team1 により制作されたコマに対する自然さの評価

A(WithC) A(Withoout) C(WithC) C(Without)

されたコマのほうが高い評価をより多く得ている．
そして，表 7 と表 8 の結果から，制作されたコマを比較するとマンガ制作経験者 A, B の場合は，構図推薦なしで自作した

自然

70

77

38

24

もののほうが良い出来のものが多いことが見て取れる．しかし，

どちらでも

18

12

43

49

未経験者の C, D の場合では，構図推薦をベースとして制作し

不自然

2

1

9

17

た場合の方が比較においてよい評価を多く得た．以上より，品
質としてはマンガ経験者の作成するものにやや劣るものの，未表 6 Team2 により制作されたコマに対する自然さの評価

経験者のマンガ制作の手助けとして十分に役立つことが示せた．

B(WithC) B(Without) D(WithC) D(Without)
自然

56

65

47

40

どちらでも

32

23

35

38

不自然

2

2

8

12

7. まとめと今後の課題
本論文では，機械学習に向けたマンガメタデータモデルを提案し，それを元に構築されたデータセットを利用した深層学習

表 7 グループ X のコマにおける制作者ごとの比較評価結果

による構図推薦手法について提案した．提案メタデータモデル
は，構図の観点からマンガ表現において内容を適切に伝えるたA(WithC) B(Without) C(WithC) D(Without)A(WithC)

-

45

63

50

B(Without)

45

-

61

53

C(WithC)

26

29

-

40

D(Without)

38

36

50

-

めの画像情報と，脚本の観点から表現したい内容を言語情報を結びつけ，表現したものである．ここでは，これらの情報をともに機械学習において扱えるようにした上で，データセットを構築する上で欠かせないアノテーションコストの観点も考慮
し，マンガのコマにおける各要素とそのコマに対する脚本的要

表 8 グループ Y のコマにおける制作者ごとの比較評価結果

素を定義した．そして，提案メタデータモデルをもとにクラウ
ドソーシングサービスを利用して，アノテーションデータセッ

A(Without) B(WithC) C(Without) D(WithC)
A(Without)

-

55

82

49

B(WithC)

35

-

67

51

C(Without)

7

22

-

30

D(WithC)

40

38

59

-

トを構築し，このデータセットをもとにニューラル機械翻訳の技術を利用して，アノテーションデータセットの各コマにおける動作を示す脚本アノテーションを入力文として，それに対応する構図アノテーションをペアとしてモデルの学習を行い，この学習済みモデルを利用した構図推薦を実現した．
この構図推薦手法の評価として，WER を用いた定量評価とし，分かりやすさと自然さを総合的に加味してどちらがよいか推薦された構図をもとに実際に制作されたコマと想像をもとに選択してもらった．

制作されたコマの比較を行うことで本手法の定性評価を行った．

1 つ目の実験の結果について，それぞれの作者について構図

WER による定量評価では，データセットの量的不足により近推薦ありとなしに分けて，獲得した評価値の数を表 3 と表 4 に年の SoTA ほどの精度は達成できなかったものの現実的に応用示す．2 つ目の実験の結果について，それぞれの作者について可能なレベルの精度を得ることができた．また，定性評価にお構図推薦ありとなしに分けて，獲得した評価値の数を表 5 と表いてもこの構図推薦手法を用いることで，我々が目標としてい6 に示す．3 つ目の実験の結果について，それぞれの作者の組

たマンガ制作未経験者によるマンガ制作の支援の目的が達成でみ合わせについて構図推薦ありとなしに分けた場合のより良い

きていることを確認できた．

と評価された数を表 7 と表 8 に示す．これらの表 7 と表 8 で

今後の課題としては，本論文ではデータセットの量的不足には，ある行の作者の制作したコマが各列の作者の制作したもの

よりコマ単位での構図推薦に留まっているが，実際にマンガをと比較してよりよいと評価された数を示しているここで表中の制作していく上ではページ全体を考慮した上での構図を考える(WithC) は構図推薦ありを意味し，(Without) は構図推薦なし

必要がある．そのためにはデータセットの充実が不可欠であるを意味する．

が，より大規模なアノテーションデータセットを構築するには

まだまだアノテーションコストが大きい．そのため，今後はマンガにおける画像認識の精度を向上させることで，マンガにおけるラベル付けを容易にし，アノテーションデータセットをより簡易に構築できるようにしていくことも考えていく必要があ
るだろう．

謝

辞

本研究は JSPS 科研費基盤研究 (C) No. 15K00423, No.

17K01590, 新学術領域研究 (研究領域提案型) No. 18H05031の助成を受けたものです．ここで心より感謝申し上げます．

文

献[1] “コミ Po!” https://www.comipo.com/[2] 伊藤 博典, 浅野 泰仁. “マンガ制作支援に向けたメタデータモデル” 第 10 回データ工学と情報マネジメントに関するフォーラム(DEIM2018).
[3] 中澤 敏明. “機械翻訳の新しいパラダイム:ニューラル機械翻訳の原理.” 情報管理, Vol. 60, No. 5, pp. 299-306 (2017).
[4] Ayako Morozumi et al. “Metadata Framework for Manga: A
Multi-paradigm Metadata Discription Framework for Digital Comics.” Proceedings of DC-2009, pp. 61–70, 2009.
[5] “Functional Requirements for Bibliographic Records Final Report.” International Federation of Library Associations and Institutions, 1998. http://www.ifla.org/VII/
s13/frbr/frbr.pdf[6] TV-Anytime Forum. ”Welcome to the TV-Anytime website.” http://www.tv-anytime.org/[7] 両角彩子, 永森光晴, 杉本重雄. “ストーリーの知的内容を表す
メタデータ記述項目の提案:Wikipedia 上のマンガ・小説作品記事を対象として.” 情報処理学会研究報告, Vol. 2008-FI-92, No.
105, pp. 1-14, 2008.
[8] Azuma Fujimoto et al. “Manga109 Dataset and Creationof Metadata.” Proceedings of the 1st International Workshop on coMics ANalysis, Processing and Understanding(MAMPU’16), Article No. 2, 2016.
[9]
Sutskever, Ilya, Oriol Vinyals, and Quoc V. Le. “Sequence
to sequence learning with neural networks.” Advances inneural information processing systems. p. 3104-3112 (2014).
[10]
Krizhevsky, A., Sutskever, I. and Hinton, G. E. “Imagenet classi cationwith deep convolutional neural networks.”
Advances in neural information processing systems. p. 10971105 (2012).
[11] Huang, G., Liu, Z., Van Der Maaten, L. and Weinberger, K.
Q. “Denselyconnected convolutional networks.” 2017 IEEE
Conference on ComputerVision and Pattern Recognition(CVPR), IEEE, pp. 2261-2269 (2017).
[12] Elbayad, M., Besacier, L. and Verbeek, J. “Pervasive attention:2d convolu-tional neural networks for sequenceto-sequence prediction.” arXiv preprintarXiv:1808.03867(2018).
[13] 大石 賢一. マンガ原作の書き方. 言視社. 2012.
[14] CLIP STUDIO. イラスト・マンガ書き方ナビ. https://www.
clipstudio.net/oekaki/archives/1517[15]
Lancers , https://www.lancers.jp/[16] Team バンミカス, 夏目 漱石. 坊っちゃん, イースト・プレス.
(2016)[17] バラエティ・アートワークス, 宮沢 賢治. 銀河鉄道の夜, イース
ト・プレス. (2007)[18] バラエティ・アートワークス, 小林多喜二. 蟹工船, イースト・プ
レス. (2007)[19] 鈴木 正敏. 日本語 Wikipedia エンティティベクトル. http://www.cl.ecei.tohoku.ac.jp/m-suzuki/jawikivector[20] Hartigan, J. A. and Wong, M. A. “Algorithm AS 136: A
k-means cluster-ing algorithm.” Journal of the Royal Statistical Society. Series C (AppliedStatistics), Vol. 28, No. 1,
pp. 100-108 (1979)