DEIM Forum 2019 P2-146

マイクロタスクによるマンガの暗黙的構造についてのメタデータ作成－マンガのコマを読む順序とテキストの発話者について－
武井 響也†1†1

三原 鉄也†2永森 光晴†3杉本 重雄†4

筑波大学情報学群情報メディア創成学類 〒305-8550 茨城県つくば市春日１－２
筑波大学図書館情報メディア系 〒305-8550 茨城県つくば市春日１－２†2†3†4E-mail:†1s1511447@u.tsukuba.ac.jp †2mihara@slis.tsukuba.ac.jp †3nagamori@slis.tsukuba.ac.jp†4sugimoto@slis.tsukuba.ac.jp

あらまし 電子書籍等によってマンガを Web 上で閲覧する機会が増え，またそれらのマンガに関する情報も数多く提供されている．一般的に画像データで提供されるマンガについて，描画されたオブジェクトの検索やマンガの内容を解釈しそれを利用するためにはマンガの構造に関するメタデータが必要になる．こうしたメタデータは，マンガのコマ領域やテキストの認識などの明示的に表現された構造については機械的な認識手法が提案されているが，コマを読む順序やテキストの発話者に代表される，明示的に表現されない暗黙的な構造の情報の作成については人手に頼らざるを得ず，多大な労力を割かなければならない．
そこで本研究では，人によって判断する必要のあるコマの読み順序とテキストの発話者メタデータ作成をマイクロタスク化し，不特定多数のワーカに処理させることで作成する手法を提案した．更にこのマイクロタスクを実施し，作成結果をアルゴリズムによる推定結果と比較することで，提案手法の妥当性を検証した．
キーワード マンガ，コミック，メタデータ，マイクロタスク，クラウドソーシング

1. は じ め にどの、読者が物語の文脈を踏まえて解釈する内容につ

近年，スマートフォンやタブレットが急速に普及したことにより，ディジタルな媒体でマンガを読む機会が増えている．それに伴い，マンガに関する様々な情
報 も Web 上 で 数 多 く 提 供 さ れ て い る ．こ の よ う に デ ィ
ジタル環境でマンガに触れることが容易になった現代では，その特性を活かしたマンガの利用が求められており，そのための研究が広く行われている．
テキストやキャラクターといったマンガを構成す

いてはマンガ画像上から明示的に読み取ることができるオブジェクトに対する検索の実現や，マンガの内容いない暗黙的な構造についてのメタデータ作成の過程を解釈し利用する試みなど，ディジタル環境でのマンをマイクロタスク化し，不特定多数のワーカに処理さガの高度な利用を実現には，マンガの内容をメタデーせることによって，品質を低下させることなく効率的タとして記述したマンガのメタデータが必要不可欠ででスケーラブルにメタデータを作成する手法を提案すある．これは，マンガが一般的に画像データで提供さる．本研究では，マンガのコマを読む順序とテキストれており，テキストデータで提供されているものとはの発話者の２種類の暗黙的構造に関する情報のメタデ異なり，画像から直接オブジェクトの情報を抽出するータ作成を対象とする．まず，マンガのコマを読む順ことが困難なためである．マンガ画像内におけるコマ序を決定するため，マンガのコマの領域に関する情報やキャラクタなどのオブジェクトの位置やコマを読むからメタデータ作成に必要なデータを得るためのタス

順序，そしてテキストの発話者など様々な情報がメタクを作成する．同様にテキストの発話者を決定するたデータとして記述されれば，マンガの内容とその構造

め，マンガのコマ，テキスト，キャラクタの情報からを画像データに依らず利用できる．

マイクロタスクを作成した．そして，そのタスクをワ

しかし，現状ではマンガのメタデータの作成は人手で行われることが多く，上記のような多くの構造に関な い ケ ー ス が 多 く ，機 械 的 に 認 識 す る の が 困 難 で あ る ．
そのため，このような暗黙的な構造に関する情報に関しては，人手でマンガを読んだ上でメタデータの作成を行う必要があり，非常に多大な労力を割かなければならない．
そこで本研究では，マンガ画像に明示的に示されてーカに処理させ，アルゴリズムによる推定結果と比較することで提案手法の妥当性を検証する．

する情報を記述するには多大な労力が必要となる．その中でも，マンガのオブジェクトの位置のようなルー

2. マ ン ガ の 暗 黙 的 構 造 に つ い て の メ タ デ ー タルの定めやすいものであれば，機械的な認識手法が提2.1. マンガの内容についてのメタデータの利用案されているため大量に作成することも比較的容易で近年，スマートフォンやタブレットが急速に普及しある．しかし，コマを読む順序やテキストの発話者なたことにより，ディジタルな媒体でマンガを読む機会が 増 え ，加 え て マ ン ガ に 関 す る 様 々 な 情 報 も Web 上 でする．その後，白と黒を反転して連結成分を抽出する数多く提供されている．このようなマンガに関する情ことで背景と要素を分け，コマ領域とテキスト領域を報の中でも，研究などでの利用を目的として，マンガ検出している．の内容をメタデータとして記述したものが提供されて

野 中 [7]は ，マ ン ガ の コ マ は 矩 形 で 表 現 さ れ る こ と がい る ．Manga109[1]は マ ン ガ 画 像 の 研 究 利 用 を 促 進 す る

多いという特徴を利用して，画像内から矩形領域を検ために公開された幅広い対象読者層やジャンルのマン出することによってコマを抽出する手法を提案した．

ガのオープンな画像データセットである．マンガ画像

この研究では，検出された矩形領域以外の線をコマのに加えて、マンガ画像中のオブジェクトに関するメタ境界線の候補として検出することで，他のオブジェクデータが提供されている．

トがコマの境界線を遮っていたり，コマの境界線が明

近年，このようなマンガのメタデータを利用した研究 が 盛 ん に 行 わ れ て い る ．山 下 [2]は ，マ ン ガ に 関 す る

確に描画されていなかったりするケースでのコマ領域の抽出を試みている．

質問応答システムについての検討を行っている．これ

また，テキストの発話者についても，マンガ画像上は ，「 名 探 偵 コ ナ ン [3]で 主 人 公 が ス ケ ー ト ボ ー ド に 乗から明示的に読み取ることのできるものであれば，機っているシーンが見たい」といった質問に対して，該械 的 な 認 識 を 行 う こ と が で き る ．Rigaud[8]は ，マ ン ガ

当するマンガのコマ画像を提示することを目的としたのテキストの発話者の推定を行うため，吹き出しの尻

シ ス テ ム で あ る ．こ の よ う な 提 示 を 実 現 す る た め に は ，尾を利用した手法を提案している．この研究では，吹マンガの書誌情報などの情報に加え，主人公であるキき出しの尻尾の先端位置とキャラクタの中心位置とのャラクタ，さらに主人公がスケートボードに乗ってい距離を計算することで，発話者として適切であるキャるシーンのデータなど，マンガの内容に関するデータラクタの推定を行っている．

が付与されたマンガ画像を対象として，読者に提示すこのように，コマの領域やオブジェクト同士の位置る コ マ を 探 さ な く て は な ら な い ．迎 山 [4]は 4 コ マ 漫 画関係などマンガ画像上に明示的に示されているものでを分析し，得られた特徴情報からルールを設定して 2あれば，上述のような機械的な認識手法が提案されてコマ漫画を作成することを試みている．この試みにおいるため比較的容易にメタデータの作成を行うことがいても，テキストやキャラクタなどマンガの内容に関できる．しかし，コマを読む順序やテキストの発話者する構造化されたデータを利用してコマ同士の関係をなどは，マンガ画像上から明示的に読み取れないケー発見・利用し，機械的なマンガの生成の可能性についスが多く存在する．このようなケースでは，人手でマて検討している．

ンガを読んだ上で判断する必要があるため，メタデー

これらの研究では，マンガ画像内におけるコマやキャラクタの位置などのマンガ画像上から明示的に読みタの作成を行う際には非常に多大な労力を割かなくてはならない．

取ることのできる構造に加え，コマを読む順序やテキ一方で，メタデータ作成の効率化を目的として機械ストの発話者などマンガ画像上から明示的に読み取る的な認識手法と人手による判断を組み合わせた手法がことができず，暗黙的であるケースが多く存在するよ

提 案 さ れ て い る ．三 原 [9]は ，マ ン ガ の コ マ 領 域 に 関 す

うな構造に関する情報が記述されたメタデータが必要

るメタデータを作成するため，画像認識技術を用いてとされている．

マンガの構成要素の自動抽出を行い，抽出結果がコマ

2.2. マンガの暗黙的構造についてのメタデータ作成

領域として適切か否かをクラウドソーシングの利用にの課題

よって不特定多数のワーカに判定させる手法を提案し

2.1 節 で 述 べ た よ う に ， 近 年 マ ン ガ の 内 容 に つ い てた．その結果，人手によるメタデータ作成の精度を保記述したメタデータの必要性が高まってきている．しち，かつワーカの負担を軽減することができ，マイク

か し ，こ の メ タ デ ー タ の 作 成 は 人 手 で 行 う こ と が 多 く ，ロタスク化によるマンガのメタデータ作成の有効性を多 大 な 労 力 が 必 要 と な る ．Manga109 の 提 供 す る メ タ デ示している．

ータの作成は人手によって行われており，約 1 年 3 ヶそのため本研究では，この手法を応用し，特に記述

月 も の 歳 月 を 要 し て い る [5]．こ の 課 題 を 解 決 す る た め

が困難であるとされるマンガの暗黙的構造についてのに，マンガの構造情報を機械的に認識する技術が考案

メタデータ作成の過程をマイクロタスク化し，不特定されている．

多数のワーカに処理させることによってメタデータ作

Rigaud[6]は ，マ ン ガ 画 像 の 連 結 成 分 を ベ ー ス と し てマンガのコマ領域とテキスト領域を自動抽出する手法を提案している．まず連結成分の抽出を容易にするため入力画像をグレースケール化し，白黒の二値に変換成を行う手法を提案する．

3. マ ン ガ の 暗 黙 的 構 造 の メ タ デ ー タ 作 成 の マ
イクロタスク化

3.1. クラウドソーシングとマイクロタスク
近年，インターネットの普及によりオンライン上で不 特 定 多 数 の 人 に 作 業 を 発 注 し ，群 衆 の 力 を 利 用 し て ，一人だけでは解決が困難な問題に取り組むクラウドソーシングが増えている．そして，このクラウドソーシ
ングのうち，ごく短時間で一回の作業が可能になるよ
うにタスクを細分化して，それを複数の作業者に提示し分担して作業する手法としてマイクロタスクがある．
このマイクロタスクは，特別なスキルを必要としない作業が中心であり，幅広い層の個人に作業を委託することができる．このようにマイクロタスク型のクラウドソーシングでは，一人では解決が困難な大きな仕事を分担して解決する，計算機だけでは解決が困難な問題を人間に解決させる，ということが可能になる．

3.2. マンガの暗黙的構造のメタデータ作成のマイク
ロタスク化
2.2 節 で も 言 及 し た が ，三 原 は ，3.1 節 で 述 べ た マ イ
クロタスク型のクラウドソーシングを用いてマンガのコマ領域の抽出結果の正誤をワーカに判定させた．このタスクでは，ワーカはコマ領域の判定を行うため，結果の正誤をマンガ画像上から明示的に読み取ることが で き る ． し か し ， 2.2 節 で 述 べ た よ う に ， マ ン ガ の暗黙的構造の情報はマンガ画像上から明示的に読み取ることができないケースが多く存在する．特に近年のマンガの表現は多様化しており，暗黙的構造の情報がマンガ画像上から読み取れないケースが増えている．
このような暗黙的な構造については，マンガを読んだ上で文脈を理解し，マンガの物語を把握していないとメタデータを作成することができない．そのため，クラウドソーシングを用いてこうしたマンガの暗黙的な構造についてメタデータ作成を行うことで、人手による判断とデータ作成の負担を分散することでの効率的でスケーラブラルなデータ作成が両立でき，明示的な構造についてのメタデータ作成以上の効果が期待できる．そこで本研究では，マンガの暗黙的構造についてのメタデータ作成過程をクラウドソーシングを用いてマイクロタスク化する．

4. マ ン ガ の メ タ デ ー タ を 作 成 す る た め の マ イ
クロタスクの作成

4.1. コマを読む順序を決定するマイクロタスク

いることを前提とし，そのデータを用いる．コマを読む順序を決定するマイクロタスクの作成には，タスクの対象となるマンガ画像に含まれる全てのコマの領域に関する情報が付与されているデータを用いる．テキストの発話者を決定するマイクロタスクの作成には，タスクの対象となるマンガ画像に含まれる全てのコマ・テキスト・キャラクタの領域に関する情報が付与されているデータを用いる．
コマを読む順序を決定するマイクロタスクは，図 1の よ う な タ ス ク 画 面 で 行 う ．タ ス ク 画 面 で は ，「コマを読む順番にクリックしてください」という質問文を提示し，ワーカにコマをクリックさせる．その指示を受けてワーカがコマをクリックすると，クリックされたコマが選択状態となったことを表すため，コマが半透明の赤色で描画され，そのコマ領域の中心にクリックされた順番が描画される．ワーカがクリックするコマを選択する過程でカーソルがコマ領域内に含まれた場
合 ，図 1 の 中 央 で 示 さ れ て い る よ う に そ の コ マ 領 域 が赤枠で囲まれることで，ワーカはクリックすべきコマ領域を知ることができる．ページ画像内の全てのコマの順序を決定した後，ワーカが「送信」ボタンをクリックすると，タスクが終了し，結果が出力される．
タスクの生成と結果の処理についてのフローチャー ト を 図 2 に 示 す ．ま ず タ ス ク の 生 成 は ，ペ ー ジ 画 像とそのページ画像に含まれる全てのコマの領域に関する情報を用いて行われる．生成したタスクをワーカに発行する際，もしそのワーカに対して既に同じタスクを発行していた場合は異なるタスクを発行する．コマを読む順序の決定は，タスク結果の多数決を利用する
ため，3 人以上に同じタスクを発行する仕様となっている．そのため，もし同じタスクが 3 回以上行われており，多数決によって読み順序を 1 つに決定することができる場合，つまりタスクを実施した 3 人の内 2 人以上が同じ回答をしていた場合，多数決の結果を正解の 読 み 順 序 と し ，そ の タ ス ク は こ れ 以 上 発 行 し な い ．3
人のタスク結果の多数決によって読み順序が 1 つに決まらない場合は，1 人ずつワーカ数を増やし，多数決結果が 1 つに決定した時点でそのページのタスクを終了とする．

4.2. テキストの発話者を決定するマイクロタスク
本 研 究 で 作 成 し た マ イ ク ロ タ ス ク は ，図 3 の タ ス ク
画 面 で 示 さ れ る タ ス ク で あ る ．タ ス ク 画 面 で は ，「以下の青枠のテキストは赤枠のキャラクターのみが発しているものですか？」という質問文を提示し，ワーカに

本研究では，コマを読む順序とテキストの発話者を回 答 さ せ る ．図 3 の 青 枠 の テ キ ス ト は ，こ の タ ス ク で決定するためのマイクロタスクの作成を行う．これら発話者を決定するテキストを表しており，赤枠のキャのタスクを作成するにあたり，マンガの構造に関するラクターは，青枠のテキストの話者として推定された情報がある程度まで付与されているデータが存在してキャラクターを表している．もし赤枠のキャラクター

同じタスクを発行していた場合は異なるタスクを発行する．タスクが発行され，ワーカが処理を行うと，結果が出力され，次のタスクを発行する．テキストの発話者の決定は，コマを読む順序と同様タスク結果の多数決を利用するため，3 人以上に同じタスクを発行する仕様となっている．そのため，もし同じタスクが 3回以上行われている場合，多数決の結果を正解の発話者とし，そのタスクはこれ以上発行しない．本研究では，このフローによるテキストの発話者を決定するタスクを 2 回行う．
図 5 はタスク生成に必要となる発話者を機械的に推定するためのアルゴリズムを示したものである．このアルゴリズムは，タスクを行う対象となるマンガ画像に含まれる全てのテキストを対象とし，1 テキストごとに実行する．まず，対象となるテキストが含まれ
図 1

コマを読む順序を決定するマイクロタスクのタスク画面

るコマと同じコマにキャラクターが存在していればそのキャラクターを話者と推定する．もし同じコマに複数のキャラクターが存在していた場合は，各キャラクター領域の中心座標とテキストの中心座標との距離を測定し，その中で最もテキストに近いキャラクターを発話者と推定する．対象となるテキストと同じコマにキャラクターが存在しなければ 1 つ前のコマにキャラクターが存在しているかを確認し，キャラクターが存在していれば同様の手法でテキストに最も近いキャラクターを話者とする．1 つ前のコマにもキャラクターが存在しなければ 1 つ後のコマ，そのコマにも存在しな け れ ば 2 つ 前 の コ マ …と い っ た 順 で キ ャ ラ ク タ ー の存在するコマを探索し，キャラクターが存在した時点でそのコマ内でテキストとの距離が最も近いキャラク
ターを発話者と推定する．本研究における 2 回目のマ
イクロタスクでは，1 回目の結果で発話者として適切

図 2

コマを読む順序を決定するマイクロタスクのフローチャートが発話者として適切であれば「はい」を，適切でなければ「いいえ」をクリックさせる．その後タスクが終了し，結果が出力される．
以上のようなタスクがどのように生成され，結果がどのように処理されるかを表したフローチャートを図4 に示す．まず，マンガのコマ・テキスト・キャラク
ターの領域に関する情報から，機械的にテキストの発話者の推定を行う．そして，その推定結果とマンガのページ画像を用いてタスクの生成を行う．そのタスクをワーカに発行する際，もしそのワーカに対して既に図 3

テキストの発話者を決定するマイクロタス
クのタスク画面5. 評 価 実 験
5.1. 実験方法
4 章で示した 2 つのマイクロタスクの効果を検証するために，それぞれ評価実験を行った．本研究の評価
実験では，マイクロタスクによって決定した結果とアルゴリズムによる機械的な推定のみに基づく結果を比較する．

5.2. コマを読む順序を決定するマイクロタスクの評価
実 験 に 用 い る ア ル ゴ リ ズ ム は ，図 6 に 示 す も の で ある．このアルゴリズムは，タスクを行う対象となる全てのマンガ画像を対象とし，画像 1 ページごとに実行する．まず，対象ページ内の全てのコマの中で，コマ領域の左上の座標が一番上に位置しているコマを検出する．もし検出されたコマが 1 つであった場合は，その コ マ の 読 み 順 序 を「 1」と 確 定 す る ．検 出 さ れ た コ マ
図 4が複数存在する，つまり複数のコマが一番上に位置しテキストの発話者を決定するマイクロタス
クのフローチャートている場合は，そのコマの中で一番右に位置している
コ マ の 読 み 順 序 を 「 1」 と 確 定 す る ． 読 み 順 序 確 定 後 ，確定したコマを除いたページ内の全てのコマを対象として，再度同じ処理を繰り返す．ページ内のコマ全ての読み順序が確定すると，そのページのコマを読む順
序の推定は終了し，次のページの推定に移行する．これを対象ページ全てに対して行うと結果が出力され，その結果を比較対象としてマイクロタスクの評価を行う．
テキストの発話者を決定するマイクロタスクの評
価 実 験 は ， 4.2 節 で 述 べ た 発 話 者 を 推 定 す る ア ル ゴ リズムの結果を比較対象として行う．
実 験 は ，マ ン ガ「 飛 ぶ 東 京 切 符 と 花 束 」[10]を 用 いた．コマを読む順序を決定するマイクロタスクでは，
77 ペ ー ジ の マ ン ガ 画 像 を 用 い て ，ペ ー ジ 毎 に 3 回 の タス ク を 作 成 し ， 計 231 タ ス ク で 実 験 を 行 い ， テ キ ス トの発話者を決定するマイクロタスクでは，マンガ画像
77 ペ ー ジ に 含 ま れ る 624 個 の テ キ ス ト を 用 い て ，テ キス ト 毎 に 3 回 の タ ス ク を 作 成 し ，計 1872 タ ス ク で 実 験を行った．その後，多数決による結果と，アルゴリズ
ムによる推定のみに基づく結果とを比較した．マイク
ロタスクのワーカ数は 9 人である．

5.3. コマを読む順序を決定するマイクロタスクの評価
実験
コマを読む順序を決定するマイクロタスクを行った 結 果 を 表 1 に 示 す ．こ れ は ，あ ら か じ め 使 用 し た マ
ンガの著者によって作成された正解データと，ワーカ
図 5

テキストの発話者を推定するアルゴリズムでないと判定されたキャラクターを除いて推定を行った結果をマイクロタスクによって正誤判定させる．の回答を用いた多数決によって得られた結果とを比較したものである．表に示した通り，マイクロタスクによってコマを読む順序をワーカに選択させた結果の多あらかじめ用意された正解データと多数決の結果とを比 較 し た も の が 記 述 さ れ て い る ．尚 ，表 に お け る T とは True，F は False を 表 し ，T/F は“ 正 解 デ ー タ で は 発話者として適切であるとされているが，多数決の結果で は 不 正 解 と 判 定 さ れ た テ キ ス ト 数 ” を ， F/T は “ 正解データでは発話者として不適切であるとされているが，多数決の結果では適切と判定されたテキスト数”
を ， F/F は “ 正 解 デ ー タ で は 発 話 者 と し て 不 適 切 と されており，多数決の結果でも不適切と判定されたテキ
ス ト 数 ” を ， T/T は “ 正 解 デ ー タ で は 発 話 者 と し て 適切であるとされており，多数決の結果でも適切と判定されたテキスト数”を表している．マイクロタスクによって推定結果の正誤をワーカに判定させた結果の多数 決 に よ り ，1 回 目 で 49 個 ，2 回 目 で 22 個 の 正 し い 発
話者を決定することができ，2 回のタスクを通して全78 テ キ ス ト 中 71 個 の テ キ ス ト の 正 し い 発 話 者 を 決 定することができた．この結果を，アルゴリズムによる推定結果と比較したものが表 4 である．2 回のマイク
図 6

コマを読む順序を推定するアルゴリズム

ロ タ ス ク を 行 う こ と に よ っ て ，ア ル ゴ リ ズ ム に よ る 推
定 の み で は 発 見 す る こ と が で き な か っ た テ キ ス ト 28数 決 に よ り ， 98.7%の ペ ー ジ で 正 し い 読 み 順 序 を 決 定

個 の う ち 21 個 の テ キ ス ト の 発 話 者 の 発 見 に 成 功 し てすることができた．この結果を，アルゴリズムによるいる．また，アルゴリズムによる推定結果に対し，マ推 定 結 果 と 比 較 し た も の が 表 2 で あ り ，マ イ ク ロ タ ス

イ ク ロ タ ス ク に よ る 結 果 は 有 意 水 準 1%で 有 意 で あ っク に よ っ て 14.3%多 く の ペ ー ジ で 適 切 な 読 み 順 序 を 決た．これにより，マイクロタスクによる結果の方がよ定することができている．また，アルゴリズムによるり多くの適切なテキストの発話者を決定できると結論

推定結果に対し、マイクロタスクによる結果は有意水づけることができる．

準 1%で 有 意 で あ っ た 。 こ れ に よ り ， マ イ ク ロ タ ス ク
による推定結果の方がより多くの適切なコマの読み順序を決定できると結論づけることができる．

5.4. テキストの発話者を決定するマイクロタスクの評

5.5. 考察本研究では，コマを読む順序を決定するマイクロタ
スクを，一から人手で判断し順番にクリックさせる，という仕様で設計したところ，非常に高い正答率を得

価実験
テキストの発話者を決定するマイクロタスクを行っ た 結 果 を 表 3 に 示 す ．こ の 表 で も ，5.3 節 と 同 様 に ，

表 3

テキストの発話者を決定するマイクロタス
クのワーカの回答による多数決の結果

表 1

コマを読む順序を決定するマイクロタスクのワーカの回答による多数決の結果

表 4
表 2

アルゴリズムによって読み順序を推定した

結果とマイクロタスクによって読み順序を決定した
結果との比較

アルゴリズムによって発話者を推定した結果とマイクロタスクによって発話者を決定した結果との比較

る こ と が で き た ．図 7 で 示 し た 例 は ，ア ル ゴ リ ズ ム による推定のみ（左図）では正しい読み順序を推定することができなかったが，マイクロタスクによって正しい読み順序を得ることができた（右図）例である．この例のように，ルールを定めてコマを読む順序を推定することはある程度までは可能ではあるが，そのルールに則らないケースも存在するため，人手による判断が必要であることがわかる．そのため，コマを読む順序についてのメタデータを作成することにおいて，人手によって判断することのできる本研究の提案手法が有効であると言える．本研究では，コマを読む順序が多様であり機械的に推定を行うことができないパターンが多く存在したため，一から人手でコマを読む順序を判断する手法を採った．しかし，機械的な推定を行うためのアルゴリズムの精度が向上すれば，コマを読図 7アルゴリズムによって推定された読み順序む順序を決定するマイクロタスクもテキストの発話者（ 左 ）と ，マ イ ク ロ タ ス ク に よ っ て 決 定 し た 読 み 順 序を決定するマイクロタスクと同様に，推定結果に対し（右）て正誤判定を行う仕様で設計することができる．
また，テキストの発話者を決定するマイクロタスク
は，マイクロタスクによる推定結果の正誤を判定させる 仕 様 で 設 計 を 行 っ た が ，こ の 手 法 に よ っ て 約 90%のテキストの発話者を決定することができ，アルゴリズ
ムを用いて推定を行った結果と比べると，非常に正確な デ ー タ を 作 成 す る こ と が で き た ．図 8 で 示 し た 例 は ，1 回目のマイクロタスクでアルゴリズムによる発話者の推定結果が誤っていると判断され，再度同じテキストに対して発話者を推定し，マイクロタスクを実施した結果，適切な発話者であると判断された例である．
このように，アルゴリズムによる推定結果が誤っているケースをマイクロタスクによって発見することができ，加えてそのテキストの発話者を再度推定することでより多くの適切な発話者を発見することができてい図 8

アルゴリズムによる発話者の推定が誤ってると言える．よって，テキストの発話者についてのメいた例（左図）と，2 回のマイクロタスクによって適タデータを作成することにおいても，本研究の手法は切な発話者を決定することができた例（右図）有効であると言える．
今回 2 回のタスクでどちらも不適切と判断された発話 者 の 例 を 図 9 に 示 す ．こ の 例 で は ，テ キ ス ト が 電 車のアナウンスとなっているため，マンガ内に発話者として適切なキャラクタが存在していない．この例のように，そのページ内に発話者として適切なキャラクタが存在していないもしくは発話者がマンガ内に登場していないテキストに関しては，人手でメタデータを作

図 9

不正解と判断されたテキストの例成する必要がある．
るためのマイクロタスクを実装した．また，コマを読6. お わ り にむ順序を決定するマイクロタスクとテキストの発話者

本研究では，マンガ画像上に明示的に表現されたいなを決定するマイクロタスクの両システムを実装し評価

い暗黙的な構造の情報についてのメタデータを作成す実験を行った．これらにより，クラウドソーシングによって不特定多数のワーカに処理させることによって，精度の高いデータを作成する手法を提案した．
今後は，より多くのマンガ作品に対して実験を行い，マンガ作品が増えたことによるワーカの回答の品質の変化などを評価する必要がある．さらなるディジタルマンガを利用した研究の促進のために，研究利用可能なマンガのメタデータの大規模な整備が望まれる．本研究での提案手法を用いて，非営利型のマイクロタス
ク ク ラ ウ ド ソ ー シ ン グ の プ ラ ッ ト フ ォ ー ム
Crowd4U[ 11 ] 上 でLOD

forEnhancing

Mangacontents[12] (LODEM)プ ロ ジ ェ ク ト と し て 実 際 に マ ン
ガの内容に関するメタデータ作成のマイクロタスクを公開と実施を予定している．このプロジェクトによって ，Manga109 な ど の 第 三 者 が 研 究 用 途 で 自 由 に 利 用 することができるマンガ画像データセットのメタデータや既に作成されているメタデータを拡張する新たなメタデータの作成と整備が期待できる．

謝辞
本 研 究 は JSPS 科 研 費 JP18K11984，JP18K18328 の 助成を受けたものです．
また，本研究における Crowd4U の利用とマイクロタスクの実装に当たっては融合知能デザイン研究室及び同研究室森嶋厚行教授，橋本大空氏の協力を頂きました．ここに深謝致します．

参考文

献[1] Manga109. (オ ン ラ イ ン ), 入 手 先 <http://www.manga109.org/ja/annotations>, (参 照2019-01-24).
[2] 山 下 諒 , 陸 禽 一 , 松 下 光 範 . “コ ミ ッ ク を 対 象 と した質問応答システムのための質問タイプ分類の検 討 ”. 人 工 知 能 学 会 イ ン タ ラ ク テ ィ ブ 情 報
ア ク セ ス と 可 視 化 マ イ ニ ン グ 研 究 会 (第 7 回 ),SIG-AM-07-06. 2014.
[3] 青 山 剛 昌 . 名 探 偵 コ ナ ン . 小 学 館 . 名 探 偵 コ ナ ン
原 作 公 式 サ イ ト . (オ ン ラ イ ン ), 入 手 先 <https://www.conan-portal.com/#newsContent>, (参照 2019-01-24).
[4] 迎 山 和 司 . “既 存 の 漫 画 に 基 づ い た 2 コ マ 漫 画 の 自律 生 成 ”. 第 32 回 人 工 知 能 学 会 全 国 大 会 （ 2018）
論 文 集 , 1K1-OS-2a-02. 2018.
[5] 相 澤 清 晴 , 松 井 勇 佑 , 藤 本 東 , 大 坪 篤 史 , 小 川 徹 .
“学 術 マ ン ガ デ ー タ セ ッ ト の 構 築 ~Manga 109~”.
映 像 情 報 メ デ ィ ア 学 会 誌 Vol.72, No.3,pp.358-362. 2018.
[6] Christophe Rigaud, Norbert Tsopze, Jean-ChristopheBurie, Jean-Marc Ogier. “Robust frame and text
extraction from comic books”. Graphics Recognition.
New Trends and Challenges Lecture Notes in
Computer Science, 2013, 7423, pp.129-138.
[7] 野 中 俊 一 郎 ， 沢 野 拓 也 ， 羽 田 典 久 .“ コ ミ ッ ク ス キャン画像からの自動コマ検出を可能とする画像
処 理 技 術 「 GT-Scan」 の 開 発 ” ． FUJIFILMRESEARCH&DEVELOPMENT， No.57， pp.46-49．
2012[8] Christophe Rigaud, Nam Le Thanh, J.-C. Burie, J.-M.
Ogier, Motoi Iwata, Eiki Imazu, Koichi Kise.
“Speech balloon and speaker association for comicsand manga understanding”. 13th InternationalConference on Document Analysis and Recognition,
2015, pp.351-355.
[9] 三 原 鉄 也 , “画 像 認 識 と マ イ ク ロ タ ス ク 型 ク ラ ウ ド
ソーシングを組み合わせたマンガのコマ領域の判 定 ”, 人 工 知 能 学 会 全 国 大 会 論 文 集 , 32, 4M1-05.
2018.
[10] 木 野 陽 . “飛 ぶ 東 京 切 符 と 花 束 ”.
[11] Crowd4U. (オ ン ラ イ ン ), 入 手 先 <http://crowd4u.org/ja/ >(参 照 2019-01-24)[12] The LODEM Project - LOD for Enhancing Manga
contents - Crowd4U.(オ ン ラ イ ン ), 入 手 先<http://crowd4u.org/ja/projects/lodem>(参 照2019-01-24)