(57)【要約】【課題】アノテーションが付与された漫画データセットを自動生成する。【解決手段】コマ配置部２４は、ページ画像内の領域にコマ４０を配置し、画像割り当て処理部２８は、画像変換部２６が自然画像１６から変換した漫画画像４２を各コマ４０に割り当てる。吹き出し付与部３０、文字付与部３２、効果線付与部３４により、各コマ４０に対して吹き出し４４、文字４６、効果線４８が付与され、漫画データであるページ画像が生成される。アノテーション付与部３６は、上述の各部の処理結果を参照し、当該ページ画像に含まれる漫画の各要素に関する情報を取得して、当該ページ画像に対してアノテーションを付与する。【選択図】図１
2020024555.tif 000002
【特許請求の範囲】
【請求項１】
ページ画像内の領域にコマを配置するコマ配置部と、
前記コマに漫画画像を割り当てる画像割り当て処理部と、
前記コマ配置部が配置した前記コマ、及び、前記画像割り当て処理部が割り当てた前記漫画画像に基づいて、前記コマ及び前記漫画画像に関するアノテーションを前記ページ画像に付与するアノテーション付与部と、
を備えることを特徴とする漫画データセット生成装置。
【請求項２】
前記アノテーションが前記コマの形状を示す、
ことを特徴とする請求項１に記載の漫画データセット生成装置。
【請求項３】
前記コマに吹き出しを付与する吹き出し付与部と、
をさらに備え、
前記アノテーション付与部は、前記吹き出し付与部が付与した前記吹き出しに基づいて、前記吹き出しに関するアノテーションを前記ページ画像に付与する、
ことを特徴とする請求項１又は２に記載の漫画データセット生成装置。
【請求項４】
前記アノテーションが前記吹き出しの形状を示す、
ことを特徴とする請求項３に記載の漫画データセット生成装置。
【請求項５】
前記コマに文字を付与する文字付与部と、
をさらに備え、
前記アノテーション付与部は、前記文字付与部が付与した前記文字に基づいて、前記文字に関するアノテーションを前記ページ画像に付与する、
ことを特徴とする請求項１から４のいずれか１項に記載の漫画データセット生成装置。
【請求項６】
前記コマに効果線を付与する効果線付与部と、
をさらに備え、
前記アノテーション付与部は、前記効果線付与部が付与した前記効果線に基づいて、前記効果線に関するアノテーションを前記ページ画像に付与する、
ことを特徴とする請求項１から５のいずれか１項に記載の漫画データセット生成装置。
【請求項７】
自然画像を前記漫画画像へ変換する画像変換部と、
をさらに備えることを特徴とする請求項１に記載の漫画データセット生成装置。
【請求項８】
前記アノテーション付与部は、前記自然画像に付与されていたアノテーションに基づいて、前記漫画画像に関するアノテーションを付与する、
ことを特徴とする請求項７に記載の漫画データセット生成装置。
【請求項９】
コンピュータを、
ページ画像内の領域にコマを配置するコマ配置部と、
前記コマに漫画画像を割り当てる画像割り当て処理部と、
前記コマ配置部が配置した前記コマ、及び、前記画像割り当て処理部が割り当てた前記漫画画像に基づいて、前記コマ及び前記漫画画像に関するアノテーションを前記ページ画像に付与するアノテーション付与部と、
として機能させることを特徴とする漫画データセット生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、漫画データセット生成装置及び漫画データセット生成プログラムに関する。
【背景技術】
【０００２】
従来、出力ページを複数のコマにコマ割りした上で、複数の画像を各コマに貼り付けることで、複数の画像を漫画風に表示する技術が提案されている（例えば特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５０７３６１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、漫画を学習データとして用いてＡＩエージェント（学習器）を学習させて、十分に学習したＡＩエージェントに漫画を解析させることが考えられる。ＡＩエージェントに漫画を解析させることで、例えば、漫画から好適に文字部分を抽出して当該文字部分の翻訳を行うサービス、あるいは、あるキャラクターの登場回数や初登場の場面の特定などを行うサービスなどを提供することが可能となる。
【０００５】
漫画を学習データとして用いてＡＩエージェントに学習を行わせるためには、アノテーションが付与された大量の漫画データ（漫画データセット）が必要となる。アノテーションとは、学習用データの意味あるいは特徴を示すものである。漫画データセットのアノテーションとしては、例えば、各コマ内に描かれたオブジェクトが何であるかあるいはオブジェクトのコマ内の位置などを示すもの、吹き出しの位置あるいは形状を示すもの、文字領域の位置あるいは形状を示すものなどが含まれる。
【０００６】
従来、アノテーションが付与された漫画データセットが提供されている（例えば、Ｍａｎｇａ１０９（http://www.manga109.org/ja/annotations））。しかしながら、ＡＩエージェントを十分に学習させるには、大量の漫画データセットが必要であり、提供されているアノテーション付きの漫画データセットが不足しているというのが現状である。
【０００７】
また、２次的な問題として、従来提供されている漫画データセットにおいては、付されたアノテーションが不足しているという問題も指摘できる。例えば、従来の漫画データセットでは、１つのコマの形状がコマそのものの形状ではなくコマの外接矩形で表現され、また、吹き出しの形状は示されていない。したがって、当該漫画データセットを用いて学習しても、コマ自体の形状が解析できない、あるいは、吹き出しの形状が解析できないという問題が指摘できる。
【０００８】
本発明の目的は、アノテーションが付与された漫画データセットを自動生成することにある。
【課題を解決するための手段】
【０００９】
本発明は、ページ画像内の領域にコマを配置するコマ配置部と、前記コマに漫画画像を割り当てる画像割り当て処理部と、前記コマ配置部が配置した前記コマ、及び、前記画像割り当て処理部が割り当てた前記漫画画像に基づいて、前記コマ及び前記漫画画像に関するアノテーションを前記ページ画像に付与するアノテーション付与部と、を備えることを特徴とする漫画データセット生成装置である。
【００１０】
望ましくは、前記アノテーションが前記コマの形状を示す、ことを特徴とする。
【００１１】
望ましくは、前記コマに吹き出しを付与する吹き出し付与部と、をさらに備え、前記アノテーション付与部は、前記吹き出し付与部が付与した前記吹き出しに基づいて、前記吹き出しに関するアノテーションを前記ページ画像に付与する、ことを特徴とする。
【００１２】
望ましくは、前記アノテーションが前記吹き出しの形状を示す、ことを特徴とする。
【００１３】
望ましくは、前記コマに文字を付与する文字付与部と、をさらに備え、前記アノテーション付与部は、前記文字付与部が付与した前記文字に基づいて、前記文字に関するアノテーションを前記ページ画像に付与する、ことを特徴とする。
【００１４】
望ましくは、前記コマに効果線を付与する効果線付与部と、をさらに備え、前記アノテーション付与部は、前記効果線付与部が付与した前記効果線に基づいて、前記効果線に関するアノテーションを前記ページ画像に付与する、ことを特徴とする。
【００１５】
望ましくは、自然画像を前記漫画画像へ変換する画像変換部と、をさらに備えることを特徴とする。
【００１６】
望ましくは、前記アノテーション付与部は、前記自然画像に付与されていたアノテーションに基づいて、前記漫画画像に関するアノテーションを付与する、ことを特徴とする。
【００１７】
また、本発明は、コンピュータを、ページ画像内の領域にコマを配置するコマ配置部と、前記コマに漫画画像を割り当てる画像割り当て処理部と、前記コマ配置部が配置した前記コマ、及び、前記画像割り当て処理部が割り当てた前記漫画画像に基づいて、前記コマ及び前記漫画画像に関するアノテーションを前記ページ画像に付与するアノテーション付与部と、として機能させることを特徴とする漫画データセット生成プログラムである。
【発明の効果】
【００１８】
本発明によれば、アノテーションが付与された漫画データセットを自動生成することができる。
【図面の簡単な説明】
【００１９】
【図１】本実施形態に係る漫画データセット生成装置の構成概略図である。
【図２】コマ割りの例を示す図である。
【図３】自然画像から漫画画像が生成される過程を示す図である。
【図４】各コマに漫画画像が割り当てられ、吹き出しが付与されたページ画像を示す図である。
【図５】文字及び効果線がさらに付与されたページ画像を示す図である。
【図６】コマの外接矩形及びコマの形状を示す図である。
【図７】人領域及び顔領域を示す図である。
【図８】吹き出しの形状を示す図である。
【図９】文字領域及び効果線領域を示す図である。
【図１０】漫画データセット生成処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態について説明する。
【００２１】
図１には、本実施形態に係る漫画データセット生成装置１０の構成概略図が示されている。本実施形態における漫画データセット生成装置１０は、一般的なコンピュータ（例えばサーバコンピュータ）などであってよく、また、以下に示す機能を有する限りにおいて、どのような装置であってもよい。
【００２２】
通信部１２は、例えばネットワークアダプタなどを含んで構成される。通信部１２は、ＬＡＮあるいはインターネットなどの通信回線を介して、他の装置と通信する機能を発揮する。
【００２３】
記憶部１４は、例えばＲＯＭ、ＲＡＭあるいはハードディスクなどを含んで構成される。記憶部１４には、漫画データセット生成装置１０の各部を動作させるための漫画データセット生成プログラムが記憶される。また、図１に示される通り、記憶部１４には、自然画像１６が記憶される。
【００２４】
自然画像１６は、人物、物、あるいは建物などを含む自然風景をカメラで撮像して得られた画像である。記憶部１４には、多数の自然画像１６が記憶されていてよい。なお、本実施形態では、漫画データセット生成装置１０内の記憶部１４に自然画像１６が記憶されているが、自然画像１６は、漫画データセット生成装置１０からアクセス可能な他の装置に記憶されていてもよい。
【００２５】
また、自然画像１６には、予め種々のアノテーションが付されている。例えば、自然画像１６に含まれる人物の外接矩形（人領域）、自然画像１６に含まれる人物の顔領域、自然画像１６に含まれる各オブジェクトの外接矩形、あるいは自然画像１６に含まれる各オブジェクトの名称などのアノテーションが付されている。
【００２６】
入力部１８は、例えばマウス、キーボード、あるいはタッチパネルなどを含んで構成される。入力部１８は、ユーザからの指示を漫画データセット生成装置１０に入力するために用いられる。
【００２７】
表示部２０は、例えば液晶パネルなどを含んで構成される。表示部２０には種々の画面が表示される。
【００２８】
なお、漫画データセット生成装置１０がサーバコンピュータである場合には、入力部１８及び表示部２０が設けられていなくてもよい。
【００２９】
制御部２２は、例えばＣＰＵなどを含んで構成される。制御部２２は、記憶部１４に記憶された漫画データセット生成プログラムに従って、漫画データセット生成装置１０の各部を制御する。また、図１に示される通り、制御部２２は、コマ配置部２４、画像変換部２６、画像割り当て処理部２８、吹き出し付与部３０、文字付与部３２、効果線付与部３４、及びアノテーション付与部３６としても機能する。制御部２２がこれらの機能を発揮することで、アノテーションが付与された漫画データセットが生成される。以下、これらの機能の詳細について説明する。
【００３０】
コマ配置部２４は、漫画データのベースとなるページ画像（当該ページ画像は当初は無地であってよい）内の領域に、１又は複数の漫画のコマを配置する処理を行う。コマの配置は、例えば、特許文献１に記載の方法を用いることができる。詳しくは、ページ画像内の領域を縦に分割する処理と横に分割する処理とを繰り返して、ページ画像を複数のコマに分割する。例えば、まずページ画像を横に分割して複数のコマに分割し、次いで、分割したコマを縦に分割してさらにコマ割りするというような処理を所定の停止基準を満たすまで繰り返す。
【００３１】
このように分割された複数のコマは、特許文献１の図３〜６に示すような木構造で表現することができる。すなわち、当該木構造は、水平（横方向）分割ノード「Ｈ」から下方に延びた枝の分岐数は横に分割して得られたコマ数を示し、垂直（縦方向）分割ノード「Ｖ」から下方に延びた枝の分岐数、縦に分割して得られたコマ数を示す。
【００３２】
停止基準としては、例えば、分割された領域（コマ）の面積が所定の面積以下となる、分割されたコマの面積の逆数に比例した確率で停止する、木構造の深さが所定値に達した、木構造の深さに比例した確率で停止する、あるいはランダムで停止するなどを採用することができる。
【００３３】
図２（ａ）〜（ｃ）に、コマ配置部２４によりページ画像に配置された複数のコマ４０の例が示されている。コマ４０には枠が付されてその領域が可視化されていてもよいが、図２（ａ）に示されるように、枠がないコマ４０が配置されてもよい。また、コマ４０とコマ４０との間には余白が設定されてもよい。また、各コマ４０間の余白の幅は一定でなくてもよい。
【００３４】
なお、本実施形態では、コマ配置部２４は、ページ画像を分割することでコマ４０を配置していたが、ページ画像に１又は複数のコマ４０を配置する方法はその他の方法を採用してもよい。
【００３５】
コマ配置部２４は、ページ画像における各コマ４０のレイアウトを示す情報、すなわち、各コマの形状及び位置を示す情報を記憶部１４に保持しておく。
【００３６】
画像変換部２６は、自然画像１６を漫画風の（漫画タッチの）画像である漫画画像に変換する処理を行う。当該漫画画像は、各コマ４０内の画（画像）として用いられるものである。漫画データセット生成装置１０が生成する漫画データセットは、漫画を解析するＡＩエージェントを学習させるために用いられるものである。各コマ４０内の画が自然画像１６であると、漫画解析用のＡＩエージェントを適切に学習できなくなる場合がある。したがって、漫画解析用のＡＩエージェントをより適切に学習させるべく、画像変換部２６は自然画像１６を漫画画像に変換する。
【００３７】
本実施形態では、画像変換部２６は、以下の手順で自然画像１６を漫画画像に変換する。まず、画像変換部２６は、自然画像１６のグレースケールに変換する。図３（ａ）に、グレースケール化した自然画像１６ａが示されている。
【００３８】
次に、画像変換部２６は、グレースケール化した自然画像１６ａに対してバイラテラルフィルタを施す。バイラテラルフィルタとは、注目画素（例えばフィルタの中央）からの距離に応じた重み、及び、注目画素との画素値の差に応じた重みに基づいて、フィルタ内の画素の画素値の平均化を行うフィルタである。これにより、画像のエッジを保存しながら、画素値の平滑化を行うことができる。図３（ｂ）に、バイラテラルフィルタ適用後の自然画像１６ｂが示されている。
【００３９】
次いで、画像変換部２６は、自然画像１６ｂを鮮鋭化させるアンシャープマスク処理を実行する。アンシャープマスク処理は、原画像にローパスフィルタを施して平滑化した画像と、原画像とに重みを付した上で差分を取ることによって、原画像を鮮鋭化させる処理である。図３（ｃ）に、アンシャープマスク処理後の自然画像１６ｃが示されている。
【００４０】
最後に、画像変換部２６は、自然画像１６ｃを三値化する。具体的には、自然画像１６ｃの各画素の画素値を黒、白、中間色（グレー）のいずれかに対応する値とし、中間色の領域をスクリーントーン（ドットなど）で表現する。以上の処理により、自然画像１６が図３（ｄ）に示すような漫画画像４２に変換される。
【００４１】
なお、本実施形態では、漫画画像４２は自然画像１６から変換されて生成されるが、予め漫画画像が用意され、自然画像１６に代えて記憶部１４に記憶されていてもよい。
【００４２】
画像割り当て処理部２８は、コマ配置部２４が配置した各コマ４０に、画像変換部２６が生成した漫画画像４２を割り当てる処理を行う。具体的には、画像割り当て処理部２８は、各コマ４０に漫画画像４２をはめ込む処理を行う。
【００４３】
コマ４０の形状と漫画画像４２の外形形状の関係によっては、漫画画像４２の一部が切り出されてコマ４０にはめ込まれることになる。この場合、画像割り当て処理部２８は、漫画画像４２の生成元である自然画像１６に付されていたアノテーション、あるいは、漫画画像４２（あるいは生成元の自然画像１６）に対する画像解析などに基づいて、漫画画像４２のうち、できるだけオブジェクト（人物含む）多く含む領域を切り出してコマ４０はめ込むのが望ましい。
【００４４】
なお、複数のコマ４０にはめ込む複数の漫画画像４２においては、意味上の関連性がなくてもよい。
【００４５】
吹き出し付与部３０は、漫画画像４２がはめ込まれた各コマ４０に吹き出しを付与する処理を行う。吹き出しとは、漫画内のキャラクタのセリフなどが記載される種々の形状の枠である。本実施形態は、種々の形状の吹き出しが予め記憶部１４に記憶されており、吹き出し付与部３０は、記憶部１４に記憶された種々の形状の吹き出しからランダムに吹き出しを選択して各コマ４０に付与する。なお、吹き出しは、コマ配置部２４が配置した全てのコマ４０に付与される必要はなく、そのうちの一部のコマ４０に付与されてもよい（以下に説明する文字及び効果線についても同様）。
【００４６】
図４に、漫画画像４２がはめ込まれた各コマ４０に吹き出し４４が付与されたページ画像が示されている。
【００４７】
吹き出し付与部３０は、各コマ４０にはめ込まれた漫画画像４２の生成元である自然画像１６に付されていたアノテーション、あるいは、当該漫画画像４２（あるいは生成元の自然画像１６）に対する画像解析などに基づいて、漫画画像４２に含まれるオブジェクトと重なる面積ができるだけ小さくなる位置に吹き出し４４を付与するのが望ましい。好適には、漫画画像４２に含まれるオブジェクトに重ならないように吹き出し４４を付与する。特に、漫画画像４２に人物が含まれている場合には、当該人物の顔領域に重ならないように吹き出し４４を付与するのが好適である。なお、吹き出し４４は、コマ４０の中に収まっている必要はなく、図４に示すように、一部がコマ４０からはみ出していてもよい。
【００４８】
吹き出し付与部３０は、各コマ４０に付与した吹き出し４４の形状及び位置を示す情報を記憶部１４に保持しておく。
【００４９】
文字付与部３２は、漫画画像４２がはめ込まれた各コマ４０に文字を付与する処理を行う。本実施形態では、文字付与部３２は、吹き出し付与部３０が付与した吹き出し４４の中に文字を付与する。また、漫画には吹き出し４４外にも文字が書かれている場合（例えば効果音を表現する文字など）が考えられるため、文字付与部３２は、吹き出し４４外の領域に文字を付与してもよい。なお、付与される複数の文字（文）は、意味を成すものでなくてもよい。また、文字のサイズ及び文字の数もランダムに決定されてよい。
【００５０】
図５に、吹き出し４４の中に文字４６が付与されたページ画像が示されている。
【００５１】
文字付与部３２は、各コマ４０に付与した文字の領域である文字領域の形状及び位置を示す情報を記憶部１４に保持しておく。
【００５２】
効果線付与部３４は、漫画画像４２がはめ込まれた各コマ４０に効果線を付与する処理を行う。効果線とは、漫画によく用いられている、画に表現効果などを付与するための線である。本実施形態は、種々の効果線が予め記憶部１４に記憶されており、効果線付与部３４は、記憶部１４に記憶された種々の効果線からランダムに効果線を選択して各コマ４０に付与する。
【００５３】
図５には、コマ４０内に付与された効果線４８が示されている。
【００５４】
効果線付与部３４は、各コマ４０に付与した効果線の領域である効果線領域の形状（線の延伸方向含む）及び位置を示す情報を記憶部１４に保持しておく。
【００５５】
コマ配置部２４、画像変換部２６、画像割り当て処理部２８、吹き出し付与部３０、文字付与部３２、及び効果線付与部３４の処理によって、漫画データが自動生成される。
【００５６】
アノテーション付与部３６は、上述の各部が生成した漫画データ（ページ画像）に対してアノテーションを付与する。ページ画像は上述の各部が生成したものであるため、アノテーション付与部３６は、記憶部１４に保持された、上述の各部の処理結果を参照することで、当該ページ画像に含まれる漫画の各要素に関する情報を取得することができ、当該情報に基づいて種々のアノテーションを付与することができる。以下、各アノテーションについて具体的に説明する。
【００５７】
アノテーション付与部３６は、コマ配置部２４が配置したコマ４０のレイアウト（各コマ４０の形状及び位置）に基づいて、各コマ４０に関するアノテーションを付与する。図６（ａ）にはコマ配置部２４により配置されたコマ４０の例が示されている。コマ４０の形状が既知であることから、アノテーション付与部３６は、コマ４０に関するアノテーションとして、図６（ｂ）に示すような、コマ４０の外接矩形５０のみならず、図６（ｃ）に示すような、コマ４０自体の形状５２を含めることができる。コマ４０の外接矩形５０及び形状５２は、コマ４０の形状のみならず、その位置も示すものである。
【００５８】
また、アノテーション付与部３６は、画像割り当て処理部２８がコマ４０に割り当てた漫画画像４２に基づいて、漫画画像４２に関するアノテーションを付与する。漫画画像４２に関するアノテーションとしては、図７に示すように、漫画画像４２に含まれる人物の領域を示す人領域５４、及び、漫画画像４２に含まれる人物の顔の領域を示す顔領域５６などが含まれる。人領域５４あるいは顔領域５６は、対応する人物あるいは顔が誰であるのかを識別する情報を含んでいてもよい。その他、漫画画像４２に含まれる種々のオブジェクト（例えば建物、動物、物など）を示す領域が含まれる。オブジェクトを示す領域にも、対応するオブジェクトが何であるかを識別する情報を含んでいてよい。上記各領域は、対応する人物、顔、あるいはオブジェクトの大きさ及び位置を示すものである。
【００５９】
漫画画像４２に関するアノテーションは、当該漫画画像４２の生成元である自然画像１６に付されていたアノテーションに基づいて付与される。例えば、漫画画像４２に関する上述の人領域５４、顔領域５６、その他オブジェクトの領域を示すアノテーションとして、自然画像１６に付されていたアノテーションをそのまま利用することができる。
【００６０】
なお、アノテーション付与部３６が漫画画像４２に対して画像解析を行うことで、人領域５４、顔領域５６、その他の領域を識別し、その識別結果に基づいて漫画画像４２に関するアノテーションを付与するようにしてもよい。
【００６１】
また、アノテーション付与部３６は、吹き出し付与部３０が付与した吹き出し４４（の形状及び位置）に基づいて、吹き出し４４に関するアノテーションを付与する。図８（ａ）には吹き出し付与部３０により付与された吹き出し４４の例が示されている。吹き出し４４の形状が既知であることから、アノテーション付与部３６は、各吹き出し４４に関するアノテーションとして、図８（ｂ）に示すような、吹き出し４４の自体の形状５８を含めることができる。吹き出し４４の形状５８は、吹き出し４４の形状のみならず、その位置も示すものである。
【００６２】
また、アノテーション付与部３６は、文字付与部３２が付与した文字４６に基づいて、文字４６に関するアノテーションを付与する。具体的には、アノテーション付与部３６は、既知である文字領域の形状及び位置に基づいて、図９に示すような、文字領域６０の形状及び位置を示すアノテーションを付与する。
【００６３】
さらに、アノテーション付与部３６は、効果線付与部３４が付与した効果線４８に基づいて、効果線４８に関するアノテーションを付与する。具体的には、アノテーション付与部３６は、既知である効果線領域の形状及び位置に基づいて、図９に示すような、効果線領域６２の形状及び位置を示すアノテーションを付与する。
【００６４】
アノテーション付与部３６がページ画像に付与するアノテーションの種類は、上記に限られるものではない。例えば、アノテーション付与部３６が、漫画画像４２あるいはそれに対応する自然画像１６に含まれる人物あるいはキャラクタの表情を解析して、当該人物あるいはキャラクタが含まれるコマ４０に対して、当該人物あるいはキャラクタの感情を示すアノテーションを付与するようにしてもよい。
【００６５】
コマ配置部２４、画像変換部２６、画像割り当て処理部２８、吹き出し付与部３０、文字付与部３２、及び効果線付与部３４によって、複数のページ画像が自動生成され、アノテーション付与部３６によって各ページ画像に対してアノテーションが自動付与される。これにより、アノテーションが付与された複数のページ画像からなる漫画データセットが自動生成される。
【００６６】
生成された、アノテーション付きの漫画データセットによれば、漫画解析用の種々の学習器を好適に学習させることができる。例えば、Ｒ−ＣＮＮ、Ｆａｓｔ  Ｒ−ＣＮＮ、Ｆａｓｔｅｒ  Ｒ−ＣＮＮ、ＳＳＤ、ＹＯＬＯ／ＹＯＬＯｖ２／ＹＯＬＯｖ３といった学習器をアノテーション付きの漫画データセットで学習することで、漫画データからコマ領域、文字領域、顔領域、あるいは人領域の検出などを行うことができるようになる。また、Ｍａｓｋ  Ｒ−ＣＮＮをアノテーション付きの漫画データセットで学習することで、漫画内の正確なコマの形状や吹き出しの形状を抽出することが可能になる。
【００６７】
本実施形態に係る漫画データセット生成装置１０の構成概略は以上の通りである。以下、図１０に示すフローチャートに従って、漫画データセット生成処理の流れについて説明する。
【００６８】
ステップＳ１０において、コマ配置部２４は、ページ画像内の領域に、１又は複数の漫画のコマを配置する。
【００６９】
ステップＳ１２において、画像変換部２６は、自然画像１６に対して、グレースケール化処理、バイラテラルフィルタの適用、アンシャープマスク処理、及び三値化処理を行うことで、自然画像１６を漫画画像４２に変換する。
【００７０】
ステップＳ１４において、画像割り当て処理部２８は、ステップＳ１０で配置された各コマ４０に、ステップＳ１２で生成された漫画画像４２を割り当てる。
【００７１】
ステップＳ１６において、吹き出し付与部３０は、ステップＳ１２で漫画画像４２が割り当てられたコマ４０に吹き出し４４を付与する。
【００７２】
ステップＳ１８において、文字付与部３２は、ステップＳ１６で付与された文字４６を付与する。
【００７３】
ステップＳ２０において、効果線付与部３４は、ステップＳ１２で漫画画像４２が割り当てられたコマ４０に効果線４８を付与する。
【００７４】
ステップＳ２２において、アノテーション付与部３６は、ステップＳ１０〜Ｓ２０により生成されたページ画像に対して、種々のアノテーションを付与する。
【００７５】
ステップＳ１０〜Ｓ２２を繰り返すことで、アノテーションが付された複数のページ画像からなる漫画データセットが生成される。
【００７６】
以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。
【符号の説明】
【００７７】
１０  漫画データセット生成装置、１２  通信部、１４  記憶部、１６  自然画像、１８  入力部、２０  表示部、２２  制御部、２４  コマ配置部、２６  画像変換部、２８  画像割り当て処理部、３０  吹き出し付与部、３２  文字付与部、３４  効果線付与部、３６  アノテーション付与部。
【図１】
2020024555.tif 000003
【図２】
2020024555.tif 000004
【図３】
2020024555.tif 000005
【図４】
2020024555.tif 000006
【図５】
2020024555.tif 000007
【図６】
2020024555.tif 000008
【図７】
2020024555.tif 000009
【図８】
2020024555.tif 000010
【図９】
2020024555.tif 000011
【図１０】
2020024555.tif 000012