(57)【要約】【課題】少ない計算時間で十分な精度が得られるコマ分割処理を行うコマ分割装置等を提供する。【解決手段】制御部１１は、縦分割処理（ステップＳ４）と横分割処理（ステップＳ５）を所定の終了条件を満たすまで繰り返す（ステップＳ６）。縦分割処理では、縦分割対象領域３０における上縁部３１上の画素の中から開始点３３を決定し、開始点３３から上縁部３１と対向する下縁部３２上の終了点３４までの線分３５の画素値を確認し、線分３５の全ての画素値が背景色の場合、この線分３５を分割線４０として新たな分割領域４１を認識する。横分割処理では、横分割対象領域５０における左縁部５１上の画素の中から開始点５３を決定し、開始点５３から左縁部５１と対向する右縁部５２上の終了点５４までの線分５５の画素値を確認し、線分５５の全ての画素値が背景色の場合、この線分５５を分割線６０として新たな分割領域６１を認識する。【選択図】図２
2014149563.tif 000002
【特許請求の範囲】
【請求項１】
コマ割りされたコンテンツの画像を対象画像とし、コマの形状に合わせて前記対象画像を分割するコマ分割装置であって、
前記対象画像内の分割領域である第１対象領域における第１縁部上の開始点から、前記第１縁部と対向する第２縁部上の終了点までの第１線分上の画素値を確認し、前記第１線分上の全ての画素値が背景色であれば、前記第１線分を分割線として新たな前記分割領域を認識する第１分割手段と、
前記第１対象領域内の前記分割領域である第２対象領域における前記第１縁部と直交する第３縁部上の開始点から、前記第３縁部と対向する第４縁部上の終了点までの第２線分上の画素値を確認し、前記第２線分上の全ての画素値が背景色であれば、前記第２線分を分割線として新たな前記分割領域を認識する第２分割手段と、
を具備し、
所定の終了条件を満たすまで、前記第１分割手段及び前記第２分割手段による処理を繰り返す
ことを特徴とするコマ分割装置。
【請求項２】
前記第１分割手段及び前記第２分割手段によって認識される前記分割領域の識別情報を多分木のデータ構造によって記憶する記憶手段、
を更に具備し、
前記記憶手段は、前記第１分割手段によって認識される前記分割領域の識別情報を、前記第１対象領域としての前記分割領域の識別情報が親ノードとなるように前記多分木のデータ構造に記憶し、前記第２分割手段によって認識される前記分割領域の識別情報を、前記第２対象領域としての前記分割領域の識別情報が親ノードとなるように前記多分木のデータ構造に記憶する
ことを特徴とする請求項１に記載のコマ分割装置。
【請求項３】
前記記憶手段は、前記分割領域の識別情報が前記コマの表示順序に合致するように記憶する
ことを特徴とする請求項２に記載のコマ分割装置。
【請求項４】
前記第１分割手段は、前記第１縁部上の単一の開始点に対して、前記第２縁部及び前記第２縁部の延長線上の複数の終了点までの複数の前記第１線分上の画素値を確認することによって新たな前記分割領域を認識し、
前記第２分割手段は、前記第３縁部上の単一の開始点に対して、前記第４縁部及び前記第４縁部の延長線上の複数の終了点までの複数の前記第２線分上の画素値を確認することによって新たな前記分割領域を認識する
ことを特徴とする請求項１乃至請求項３のいずれかに記載のコマ分割装置。
【請求項５】
コンピュータが、コマ割りされたコンテンツの画像を対象画像とし、コマの形状に合わせて前記対象画像を分割する処理を実行するためのコマ分割プログラムであって、
前記コンピュータを、
前記対象画像内の分割領域である第１対象領域における第１縁部上の開始点から、前記第１縁部と対向する第２縁部上の終了点までの第１線分上の画素値を確認し、前記第１線分上の全ての画素値が背景色であれば、前記第１線分を分割線として新たな前記分割領域を認識する第１分割手段と、
前記第１対象領域内の前記分割領域である第２対象領域における前記第１縁部と直交する第３縁部上の開始点から、前記第３縁部と対向する第４縁部上の終了点までの第２線分上の画素値を確認し、前記第２線分上の全ての画素値が背景色であれば、前記第２線分を分割線として新たな前記分割領域を認識する第２分割手段として機能させ、
所定の終了条件を満たすまで、前記第１分割手段及び前記第２分割手段による処理を繰り返すように機能させるためのコマ分割プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コマ割りされたコンテンツの画像を入力し、コマの形状に合わせて画像を分割するコマ分割装置等に関するものである。
【背景技術】
【０００２】
近年、電子書籍の普及に伴い、漫画のようにコマ割りされたコンテンツも電子媒体として普及し始めている。ここで、コマとは、枠線によって区切られた区画である。コマ割りされたコンテンツとは、１ページに複数のコマがレイアウトされたコンテンツであり、漫画の他に、パンフレット、カタログ、新聞、雑誌等がある。
【０００３】
コマ割りされたコンテンツを小型のタブレット端末やスマートフォン等で閲覧する場合、画面サイズの制約上、ページ単位の表示ではなく、コマ単位の表示が望まれる。そこで、従来から、特許文献１や非特許文献１、２のように、コマ分割の自動化技術が研究されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３７３９６２１号公報
【非特許文献】
【０００５】
【非特許文献１】野中  俊一郎、沢野  哲也、羽田  典久著、『コミックスキャン画像からの自動コマ検出を可能とする画像処理技術「GT-Scan」の開発』、FujiFilm Res&Dev、No.57、pp.46-49、２０１２年
【非特許文献２】石井  大祐、河村  圭、渡辺  裕著、『コミックのコマ分割処理に関する一検討』、電子情報通信学会論文誌  Ｄ、Vol.J90-D、No.7、pp.1667-1670、２００７年
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１、非特許文献１、２を含めた従来の技術では、複雑な処理を行うために計算時間を要する。特に、非特許文献１、２のように、コマの枠線を検出する手法では、線検出処理において漫画の登場人物、文字、吹き出し等の線も検出してしまうので、不要な線（＝コマの枠線ではない線）の除去処理を行う必要があり、計算時間を要する。更に、従来の技術では、多くの計算時間を要しても、十分な精度が得られているとは言えない。
【０００７】
本発明は、前述した問題点に鑑みてなされたものであり、その目的とすることは、少ない計算時間で十分な精度が得られるコマ分割処理を行うコマ分割装置等を提供することである。
【課題を解決するための手段】
【０００８】
前述した目的を達成するための第１の発明は、コマ割りされたコンテンツの画像を対象画像とし、コマの形状に合わせて前記対象画像を分割するコマ分割装置であって、前記対象画像内の分割領域である第１対象領域における第１縁部上の開始点から、前記第１縁部と対向する第２縁部上の終了点までの第１線分上の画素値を確認し、前記第１線分上の全ての画素値が背景色であれば、前記第１線分を分割線として新たな前記分割領域を認識する第１分割手段と、前記第１対象領域内の前記分割領域である第２対象領域における前記第１縁部と直交する第３縁部上の開始点から、前記第３縁部と対向する第４縁部上の終了点までの第２線分上の画素値を確認し、前記第２線分上の全ての画素値が背景色であれば、前記第２線分を分割線として新たな前記分割領域を認識する第２分割手段と、を具備し、所定の終了条件を満たすまで、前記第１分割手段及び前記第２分割手段による処理を繰り返すことを特徴とするコマ分割装置である。
【０００９】
第１の発明のコマ分割装置は、前記第１分割手段及び前記第２分割手段によって認識される前記分割領域の識別情報を多分木のデータ構造によって記憶する記憶手段、を更に具備し、前記記憶手段は、前記第１分割手段によって認識される前記分割領域の識別情報を、前記第１対象領域としての前記分割領域の識別情報が親ノードとなるように前記多分木のデータ構造に記憶し、前記第２分割手段によって認識される前記分割領域の識別情報を、前記第２対象領域としての前記分割領域の識別情報が親ノードとなるように前記多分木のデータ構造に記憶するようにしても良い。また、前記記憶手段は、前記分割領域の識別情報が前記コマの表示順序に合致するように記憶するようにしても良い。
【００１０】
また、前記第１分割手段は、前記第１縁部上の単一の開始点に対して、前記第２縁部及び前記第２縁部の延長線上の複数の終了点までの複数の前記第１線分上の画素値を確認することによって新たな前記分割領域を認識し、前記第２分割手段は、前記第３縁部上の単一の開始点に対して、前記第４縁部及び前記第４縁部の延長線上の複数の終了点までの複数の前記第２線分上の画素値を確認することによって新たな前記分割領域を認識するようにしても良い。
【００１１】
第２の発明は、コンピュータが、コマ割りされたコンテンツの画像を対象画像とし、コマの形状に合わせて前記対象画像を分割する処理を実行するためのコマ分割プログラムであって、前記コンピュータを、前記対象画像内の分割領域である第１対象領域における第１縁部上の開始点から、前記第１縁部と対向する第２縁部上の終了点までの第１線分上の画素値を確認し、前記第１線分上の全ての画素値が背景色であれば、前記第１線分を分割線として新たな前記分割領域を認識する第１分割手段と、前記第１対象領域内の前記分割領域である第２対象領域における前記第１縁部と直交する第３縁部上の開始点から、前記第３縁部と対向する第４縁部上の終了点までの第２線分上の画素値を確認し、前記第２線分上の全ての画素値が背景色であれば、前記第２線分を分割線として新たな前記分割領域を認識する第２分割手段として機能させ、所定の終了条件を満たすまで、前記第１分割手段及び前記第２分割手段による処理を繰り返すように機能させるためのコマ分割プログラムである。
【発明の効果】
【００１２】
本発明により、少ない計算時間で十分な精度が得られるコマ分割処理を行うコマ分割装置等を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】コマ分割装置１を実現するコンピュータのハードウエア構成図
【図２】コマ分割処理の流れを示すフローチャート
【図３】縦分割処理の流れを示すフローチャート
【図４】縦分割処理を説明する模式図
【図５】横分割処理の流れを示すフローチャート
【図６】横分割処理を説明する模式図
【図７】分割結果の反映処理を説明する模式図
【図８】コマ分割処理の変形例を説明する模式図
【発明を実施するための形態】
【００１４】
以下図面に基づいて、本発明の実施形態を詳細に説明する。図１は、コマ分割装置１を実現するコンピュータのハードウエア構成図である。図１のハードウエア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。また、コマ分割装置１は、１台の筐体から構成されても良いし、複数台の筐体から構成されても良い。
【００１５】
コマ分割装置１を実現するコンピュータは、制御部１１、記憶部１２、メディア入出力部１３、通信制御部１４、入力部１５、表示部１６、周辺機器Ｉ／Ｆ部１７等が、バス１８を介して接続される。
【００１６】
制御部１１は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等で構成される。ＣＰＵは、記憶部１２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各装置を駆動制御し、コマ分割装置１が行う後述する処理を実現する。ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部１２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各種処理を行うために使用するワークエリアを備える。
【００１７】
記憶部１２は、例えば、ＨＤＤ（Hard Disk Drive）やフラッシュメモリ（Flash Memory）であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（Operating System）等が格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、後述する処理をコンピュータに実行させるためのアプリケーションプログラムが格納されている。これらの各プログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。
【００１８】
メディア入出力部１３は、データの入出力を行い、例えば、ＣＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＤＶＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、各種メモリカードのスロット等のメディア入出力装置を有する。通信制御部１４は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク間の通信を媒介する通信インタフェースであり、ネットワークを介して、他のコンピュータ間との通信制御を行う。ネットワークは、有線、無線を問わない。
【００１９】
入力部１５は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。入力部１５を介して、コンピュータに対して、操作指示、動作指示、データ入力等を行うことができる。表示部１６は、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。なお、入力部１５及び表示部１６は、タッチパネルディスプレイのように、一体となっていても良い。
【００２０】
周辺機器Ｉ／Ｆ（Interface）部１７は、コンピュータに周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１７を介してコンピュータは周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ部１７は、ＵＳＢやＩＥＥＥ１３９４やＲＳ−２３２Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００２１】
コマ分割装置１の具体例としては、スタンドアロン型のパーソナルコンピュータ、クライアントサーバ型のサーバコンピュータ、携帯電話端末、スマートフォン、タブレット端末等の携帯端末が挙げられる。
【００２２】
コマ分割装置１は、後述するコマ分割処理によって、コマ割りされたコンテンツの画像を対象画像とし、コマの形状に合わせて対象画像を分割する。分割されたコマは、閲覧端末によって、１コマ単位で表示したり、数コマ纏めて表示したりすることができる。閲覧端末は、携帯電話端末、スマートフォン、タブレット端末、パーソナルコンピュータ等が挙げられる。閲覧端末の画面サイズは様々である。
【００２３】
図２は、コマ分割処理の流れを示すフローチャートである。図２に示すように、コマ分割装置１の制御部１１は、対象画像を入力する（ステップＳ１）。制御部１１は、メディア入出力部１３、通信制御部１４、周辺機器Ｉ／Ｆ部１７等を介して外部から対象画像を入力しても良いし、予め記憶部１２に記憶されている対象画像を読み出しても良い。
【００２４】
対象画像は、コマ割りされたコンテンツの画像である。コンテンツは、漫画、パンフレット、カタログ、新聞、雑誌等である。対象画像は、例えば、紙媒体のコンテンツをイメージスキャナ（不図示）によってスキャンしたラスタ画像（「ビットマップ画像」とも言う。）である。対象画像は、コンテンツの１ページ分のラスタ画像でも良いし、見開き１ページ分のラスタ画像でも良い。
【００２５】
次に、制御部１１は、対象画像に対して前処理を実行する（ステップＳ２）。制御部１１は、必要に応じて、ノイズ除去処理を実行する。また、制御部１１は、コンテンツの背景領域（「空白領域」とも言う。）と非背景領域を区別するために、背景領域に属する画素の画素値を第１の色（例えば「白」）、非背景領域に属する画素の画素値を第２の色（例えば「黒」）に変換する二値化処理を実行する。背景領域の色が既知の場合、ユーザが、記憶部１２に格納される設定ファイルに予め背景領域の色情報を登録しておいても良い。また、制御部１１は、ステップＳ１において対象画像を表示部１６に表示し、ユーザに入力部１５を介して背景領域に属する画素を１つ指定させ、その画素の画素値を背景領域の色として決定するようにしても良い。制御部１１は、このように背景領域の色を決定することによって、二値化処理を精度良く実行することができる。尚、二値化処理は必須の処理ではなく、以下の処理において、制御部１１が、背景領域に属する画素と、非背景領域に属する画素を区別できれば良い。以下では、背景領域に属する画素の画素値に設定する色を「背景色」と表記する。
【００２６】
次に、制御部１１は、対象画像の全体領域又は分割領域の中から縦分割対象領域を決定する（ステップＳ３）。分割領域とは、対象画像の一部の領域であって、後述するステップＳ４の縦分割処理又はステップＳ５の横分割処理によって認識される領域である。また、縦分割対象領域とは、対象画像の全体領域又は分割領域の中で、後述するステップＳ４の縦分割処理の対象となる領域を意味する。
【００２７】
ステップＳ３〜Ｓ５の繰り返し処理を初めて実行する場合、制御部１１は、対象画像の全体領域を縦分割対象領域として決定する。２回目以降の場合、制御部１１は、分割領域の中から、ステップＳ４の縦分割処理を実行していないものを縦分割対象領域として決定する。
【００２８】
次に、制御部１１は、ステップＳ３において決定された縦分割対象領域に対して、縦分割処理を実行する（ステップＳ４）。縦分割処理については、図３、図４を参照しながら説明する。
【００２９】
図３は、縦分割処理の流れを示すフローチャートである。図４は、縦分割処理を説明する模式図である。図４では、制御部１１が、ステップＳ３〜Ｓ５の繰り返し処理を初めて実行する場合の分割前の状態（＝図４（ａ））と分割後の状態（＝図４（ｂ））を図示している。図４（ａ）に示すように、対象画像２０には、背景２２に重畳配置された複数のコマ２１が含まれている。尚、コマ２１内部に含まれる漫画の登場人物、文字、吹き出し等の線は、省略されている。
【００３０】
図４（ａ）に示すように、縦分割対象領域３０は、例えば、長方形の形状をなす。座標系は、例えば、縦分割対象領域３０の左上の頂点を原点Ｏ、左から右に向かって横方向をＸ軸の正方向、上から下に向かって縦方向をＹ軸の正方向とする。前述の通り、ステップＳ３〜Ｓ５の繰り返し処理を初めて実行する場合、制御部１１は、対象画像２０の全体領域を縦分割対象領域３０として決定する。
【００３１】
図３に示すように、制御部１１は、縦分割対象領域３０における上縁部３１上の画素の中から開始点３３を決定する（ステップＳ１１）。制御部１１は、上縁部３１上の全画素を開始点３３として決定しても良いし、所定の間隔ごとに間引いて開始点３３を決定しても良い。図４では、開始点３３は上縁部３１上の黒丸として図示している。
【００３２】
次に、制御部１１は、開始点３３から、上縁部３１と対向する下縁部３２上の終了点３４までの線分３５の画素値を確認し（ステップＳ１２）、線分３５の全ての画素値が背景色か否かを判定する（ステップＳ１３）。図４では、終了点３４は下縁部３２上の黒丸として図示し、線分３５は二点鎖線の矢印によって図示している。
【００３３】
一般に、コマ割りされたコンテンツでは、コマの枠線が矩形となっていることが多い。そこで、制御部１１は、線分３５として、開始点３３から下縁部３２までの垂線を用いることが望ましい。この場合、終了点３４は、この垂線の足となる。但し、後述する変形例でも説明する通り、線分３５は、Ｙ軸と平行となる垂線に限らず、Ｙ軸と平行ではない直線であっても良い。
【００３４】
線分３５の全ての画素値が背景色の場合（ステップＳ１３のＹｅｓ）、制御部１１は、この線分３５を分割線４０として新たな分割領域４１を認識し、分割結果に反映し（ステップＳ１４）、ステップＳ１５に進む。そうではない場合（ステップＳ１３のＮｏ）、制御部１１は、何もせずにステップＳ１５に進む。尚、分割結果の反映処理については、図７を参照しながら後述する。
【００３５】
次に、制御部１１は、上縁部３１上の全ての画素を処理済か否か判定する（ステップＳ１５）。上縁部３１上の全ての画素を処理済の場合（ステップＳ１５のＹｅｓ）、制御部１１は、縦分割処理を終了する。そうではない場合（ステップＳ１５のＮｏ）、制御部１１は、ステップＳ１１から処理を繰り返す。
【００３６】
図４に示す例の場合、全ての画素値が背景色の線分３５は３本存在する。従って、図４（ｂ）に示すように、制御部１１は、これら３本の線分３５を分割線４０ａ、４０ｂ、４０ｃとして、分割領域４１ａ、４１ｂを認識し、分割結果に反映する。具体的には、制御部１１は、分割線４０ａと分割線４０ｂの間に挟まれる領域を分割領域４１ａとして認識し、分割線４０ｂと分割線４０ｃの間に挟まれる領域を分割領域４１ｂとして認識する。
【００３７】
図２の説明に戻る。次に、制御部１１は、ステップＳ４の縦分割処理による分割結果に基づいて、横分割処理を実行する（ステップＳ５）。横分割処理については、図５、図６を参照しながら説明する。
【００３８】
図５は、横分割処理の流れを示すフローチャートである。図６は、横分割処理を説明する模式図である。図６では、制御部１１が、横分割対象領域５０が分割領域４１ａの場合の分割前の状態（＝図６（ａ））と分割後の状態（＝図６（ｂ））を図示している。横分割対象領域５０とは、縦分割対象領域３０内の分割領域４１の中で、後述するステップＳ２２〜Ｓ２６の繰り返し処理の対象となる領域を意味する。尚、図４と同様、コマ２１内部に含まれる漫画の登場人物、文字、吹き出し等の線は、省略されている。
【００３９】
図６（ａ）に示すように、横分割対象領域５０は、例えば、長方形の形状をなす。座標系は、例えば、横分割対象領域５０の左上の頂点を原点Ｏ、左から右に向かって横方向をＸ軸の正方向、上から下に向かって縦方向をＹ軸の正方向とする。
【００４０】
図５に示すように、制御部１１は、縦分割対象領域３０内の分割領域４１の中から、横分割対象領域５０を決定する（ステップＳ２１）。ここで、制御部１１は、縦分割対象領域３０内の分割領域４１の中から、ステップＳ２２〜Ｓ２６の繰り返し処理を実行していないものを、横分割対象領域５０として決定する。
【００４１】
次に、制御部１１は、横分割対象領域５０における左縁部５１上の画素の中から開始点５３を決定する（ステップＳ２２）。制御部１１は、左縁部５１上の全画素を開始点５３として決定しても良いし、所定の間隔ごとに間引いて開始点５３を決定しても良い。図６では、開始点５３は左縁部５１上の黒丸として図示している。
【００４２】
次に、制御部１１は、開始点５３から、左縁部５１と対向する右縁部５２上の終了点５４までの線分５５の画素値を確認し（ステップＳ２３）、線分５５の全ての画素値が背景色か否かを判定する（ステップＳ２４）。図６では、終了点５４は右縁部５２上の黒丸として図示し、線分５５は二点鎖線の矢印によって図示している。
【００４３】
縦分割処理のステップＳ１２と同様に、制御部１１は、線分５５として、開始点５３から右縁部５２までの垂線を用いることが望ましい。この場合、終了点５４は、この垂線の足となる。但し、後述する変形例でも説明する通り、線分５５は、Ｘ軸と平行となる垂線に限らず、Ｘ軸と平行ではない直線であっても良い。
【００４４】
線分５５の全ての画素値が背景色の場合（ステップＳ２４のＹｅｓ）、制御部１１は、この線分５５を分割線６０として新たな分割領域６１を認識し、分割結果に反映し（ステップＳ２５）、ステップＳ２６に進む。そうではない場合（ステップＳ２４のＮｏ）、制御部１１は、何もせずにステップＳ２６に進む。尚、分割結果の反映処理については、図７を参照しながら後述する。
【００４５】
次に、制御部１１は、左縁部５１上の全ての画素を処理済か否か判定する（ステップＳ２６）。左縁部５１上の全ての画素を処理済の場合（ステップＳ２６のＹｅｓ）、制御部１１は、ステップＳ２７に進む。そうではない場合（ステップＳ２６のＮｏ）、制御部１１は、ステップＳ２２から処理を繰り返す。
【００４６】
次に、制御部１１は、縦分割対象領域３０内の全ての分割領域４１を処理済か否か判定する（ステップＳ２７）。縦分割対象領域３０内の全ての分割領域４１を処理済の場合（ステップＳ２７のＹｅｓ）、制御部１１は、横分割処理を終了する。そうではない場合（ステップＳ２７のＮｏ）、制御部１１は、ステップＳ２１から処理を繰り返す。
【００４７】
図６に示す例の場合、全ての画素値が背景色の線分５５は４本存在する。従って、図６（ｂ）に示すように、制御部１１は、これら４本の線分５５を分割線６０ａ、６０ｂ、６０ｃ、６０ｄとして、分割領域６１ａ、６１ｂ、６１ｃを認識し、分割結果に反映する。具体的には、制御部１１は、分割線６０ａと分割線６０ｂの間に挟まれる領域を分割領域６１ａとして認識し、分割線６０ｂと分割線６０ｃの間に挟まれる領域を分割領域６１ｂとして認識し、分割線６０ｃと分割線６０ｄの間に挟まれる領域を分割領域６１ｃとして認識する。
【００４８】
本発明の実施の形態におけるコマ分割装置１によれば、分割領域６１ｂのように、コマ２１の枠線が矩形でなくても、精度良くコマ２１を分割することができる。言い換えれば、コマ分割装置１によれば、互いに隣接するコマ２１同士の枠線が連結していない限り、精度良くコマ２１を分割することができる。
【００４９】
尚、図６（ｂ）に示す分割領域６１ｂのように、円の枠線を有するコマ２１と面取りされた矩形の枠線を有するコマ２１に対しては、枠線が連結しているため、コマ分割装置１は両者を分割することができない。同様に、三角形の枠線を有するコマ２１とハート型の枠線を有するコマ２１に対しても、枠線が連結しているため、コマ分割装置１は両者を分割することができない。しかしながら、このように枠線が連結しているコマ２１同士は、関連が強いコマ２１同士と考えられる。従って、このようなコマ２１同士は分割せずに、閲覧時に一緒に表示される方が望ましいと言える。
【００５０】
図２の説明に戻る。次に、制御部１１は、所定の終了条件を満たすか否か判定する（ステップＳ６）。所定の終了条件を満たす場合（ステップＳ６のＹｅｓ）、制御部１１は、コマ分割処理を終了する。そうではない場合（ステップＳ６のＮｏ）、制御部１１は、ステップＳ３から処理を繰り返す。尚、所定の終了条件の具体例については、分割結果の反映処理を説明した後に説明する。
【００５１】
ここで、図７を参照しながら、分割結果の反映処理について説明する。図７は、分割結果の反映処理を説明する模式図である。図７（ａ）は、図４及び図６の例に対する分割結果７０を示している。図７（ｂ）は、分割結果のデータ構造７１を示している。
【００５２】
図７（ａ）では、分割領域４１（６１）同士の境界を二点鎖線によって図示している。分割領域４１（６１）の数は、１２個である。ここで、コマ２１内部に図示された「Ａ−１−Ａ−１」といった分割領域４１（６１）の識別記号について説明する。「Ａ」、「Ｂ」といったアルファベットの文字は、ステップＳ４の縦分割処理によって分割されたときに付与された識別記号を示している。また、「１」、「２」、「３」といった数字は、ステップＳ５の横分割処理によって分割されたときに付与された識別記号を示している。例えば、「Ａ−１−Ａ−１」は、最初に縦分割処理によって「Ａ」という識別記号が付与され、次に横分割処理によって「１」という識別記号が付与され、次に縦分割処理によって「Ａ」という識別記号が付与され、次に横分割処理によって「１」という識別記号が付与されたことを示している。
【００５３】
制御部１１は、分割領域４１（６１）の識別情報を多分木のデータ構造によって記憶部１２に記憶する。多分木のデータ構造とは、グラフ理論の木の構造をした木構造のうち、親ノードが３個以上の子ノードを持つことができるデータ構造である。また、多分木のデータ構造は、子ノードの上限数に制限がない。尚、２個までの子ノードしか持つことができない木は二分木、Ｎ個までの子ノードしか持つことができない木はＮ分木と呼ばれており、多分木と区別される。
【００５４】
制御部１１は、ステップＳ１４において、縦分割処理によって認識される分割領域４１の識別記号を、縦分割対象領域３０としての分割領域の識別記号が親ノードとなるように多分木のデータ構造に記憶する。また、制御部１１は、ステップＳ２５において、横分割処理によって認識される分割領域６１の識別記号を、横分割対象領域５０としての分割領域の識別記号が親ノードとなるように多分木のデータ構造に記憶する。
【００５５】
例えば、画面サイズが小さい閲覧端末では、１コマ単位で表示する方が良く、画面サイズが大きい閲覧端末では、１コマ単位で表示するよりも、数コマ纏めて表示した方が良い場合もある。多分木のデータ構造は、階層単位の処理が容易に実現できるため、上記のように分割結果７０を記憶しておくことによって、１コマ単位で表示する場合と数コマ纏めて表示する場合の表示切替機能を容易に提供することができる。
【００５６】
更に、制御部１１は、コマ２１の閲覧順序に合わせて識別記号を付与する。例えば、基本的な右綴じ（縦書き）漫画のコマ２１の閲覧順序は、（１）見開きページであれば、右から左のページへと読み進める、（２）各ページ内においては、上段から下段へ向かって読み進める、（３）同じ段に複数のコマ２１が存在する場合、右から左へ向かって読み進める、というものである。
【００５７】
そこで、制御部１１は、ステップＳ１４において、右に位置する分割領域４１から順に小さい記号の識別記号を付与する。ここで、付与される記号は、図７の例のように、数字やアルファベット等の全順序（「線型順序」とも言う。）の関係がある順序集合の元とする。例えば、図４（ｂ）に示す例の場合、制御部１１は、分割領域４１ａに対して最も小さい記号の識別記号である「Ａ」を付与し、分割領域４１ｂに対して次に小さい記号の識別記号である「Ｂ」を付与する。
【００５８】
同様に、制御部１１は、ステップＳ２５において、上段に位置する分割領域６１から順に小さい記号の識別記号を付与する。例えば、図６（ｂ）に示す例の場合、制御部１１は、分割領域６１ａに最も小さい記号の識別記号である「１」を付与し、分割領域６１ｂに対して次に小さい記号の識別記号である「２」を付与し、分割領域６１ｃに対して次に小さい記号の識別記号である「３」を付与する。
【００５９】
図７（ｂ）では、［］（大かっこ）に囲まれた数字によって、表示順序情報７２を図示している。上記のように識別記号を付与することによって、制御部１１は、分割結果のデータ構造７１を探索し、容易に表示順序情報７２を決定することができる。具体的には、制御部１１は、多分木の最上層のノードから、より小さい番号の識別記号を有する子ノードを優先して最下層方向に探索していき、子ノードを持たないノードに到達した順に表示順序情報７２を決定する。
【００６０】
図７（ｂ）の例であれば、制御部１１は、最上層（第０階層）のノードに対する子ノードの中から一番小さい識別記号のノード「Ａ」（第１階層）に進み、第１階層のノードに対する子ノードの中から一番小さい識別記号のノード「１」（第２階層）に進み、第２階層のノードに対する子ノードの中から一番小さい識別記号「Ａ」（第３階層）に進み、第３階層のノードに対する子ノードの中から一番小さい識別記号のノード「１」（第４階層）に進む。第４階層のノードに対する子ノードは存在しないので、制御部１１は、「Ａ−１−Ａ−１」に対して１番小さい「１」の表示順序情報７２を決定する。以下、同様にして、制御部１１は、表示順序情報７２が未決定のノードの中で、より小さい番号の識別記号を有する子ノードを優先して最下層方向に探索していき、子ノードを持たないノードに到達すると、次の表示順序情報７２を決定していく。
【００６１】
上記のように、多分木のデータ構造７１を用いて、分割領域４１（６１）の識別情報がコマ２１の閲覧順序に合致するように記憶することによって、閲覧端末によるコンテンツの閲覧時、正しい順序でコマ２１を表示するように制御することができる。また、同じ繰り返し処理の中で、分割処理と表示順序決定処理の両方を実行することができるため、計算時間を短縮することができる。具体的な例としては、前述の通り、制御部１１が、多分木のデータ構造７１のノードに付与する識別記号をコマ２１の閲覧順序に合致するように記憶部１２に記憶する態様がある。また、他の例としては、前述の通り、制御部１１が、表示順序情報７２を決定し、分割領域４１（６１）の識別情報に紐付けて表示順序情報７２を記憶部１２に記憶する態様がある。
【００６２】
尚、面積が小さい分割領域４１（６１）は、例えば、ページ番号のみを含むものであったり、コマ２１の外に描かれた文字だったりする。そこで、制御部１１は、面積が小さい分割領域４１（６１）の識別情報に紐付けて、閲覧端末において表示しないことを示す非表示情報を記憶部１２に記憶するようにしても良い。これによって、コンテンツの閲覧に不要な分割領域４１（６１）は、閲覧端末に表示しないように制御することができる。
【００６３】
また、制御部１１は、同一の親ノードを有する分割領域４１（６１）同士が、両方とも面積が小さい場合には、閲覧端末において一緒に表示することを示す同時表示情報を記憶部１２に記憶するようにしても良い。これによって、コマ２１の外に描かれた文章のように、文字ごとに分割領域４１（６１）として分割されてしまった場合でも、同時に表示するように制御することができる。
【００６４】
ここで、ステップＳ６における終了条件の具体例について説明する。終了条件としては、以下が挙げられる。
【００６５】
（終了条件１）対象画像内の全ての分割領域４１（６１）を縦分割対象領域３０として決定し、ステップＳ３〜Ｓ５の繰り返し処理を実行しても、新たな分割領域４１（６１）が発生しないこと。終了条件１を用いる場合、コマ２１の枠線が矩形だけであって、枠線同士が連結していないコンテンツであれば、前述の処理によってコマ２１を全て分割することができる。
【００６６】
（終了条件２）ステップＳ３〜Ｓ５の繰り返し処理を所定の回数（＝１〜ｎ回）だけ繰り返すこと。例えば、経験的に最適な繰り返し回数が分かっている場合、終了条件２を用いても良い。終了条件２を用いる場合、無限ループに陥ることがない。
【００６７】
（終了条件３）対象画像内の分割領域４１（６１）の最大面積が閾値以下となること。例えば、閲覧端末の画面サイズが予め特定できている場合、終了条件３を用いることによって、ユーザごとの閲覧端末の画面サイズに適したコマ分割処理を実行することができる。尚、終了条件３を用いる場合、無限ループに陥ることがあるので、終了条件１又は２とのＯＲ条件にすることが望ましい。
【００６８】
（終了条件４）対象画像内の分割領域４１（６１）の個数が閾値以上になること。例えば、各コマ２１が同一サイズの商品カタログのように、１ページ内のコマ数が予め分かっている場合、終了条件４を用いることによって、分割漏れや過分割を確実に防ぐことができる。尚、終了条件４を用いる場合、無限ループに陥ることがあるので、終了条件１又は２とのＯＲ条件にすることが望ましい。
【００６９】
（終了条件５）分割結果７０を記憶する多分木の階層数が閾値以上になること。終了条件５を用いることによって、終了条件３や４を用いる場合と同様の効果を得ることができる。尚、終了条件５を用いる場合、無限ループに陥ることがあるので、終了条件１又は２とのＯＲ条件にすることが望ましい。
【００７０】
ここで、図８を参照しながら、コマ分割処理の変形例について説明する。図８は、コマ分割処理の変形例を説明する模式図である。前述の説明では、コマ分割装置１の制御部１１は、縦分割処理と横分割処理において、それぞれ１つの開始点３３（５３）に対して１本の線分３５（５５）だけ用いるものとしたが、変形例では、１つの開始点３３（５３）に対して複数本の線分３５（５５）を用いる。
【００７１】
図８は、縦分割処理の変形例を示している。図８（ａ）に示す例では、コマ２１ａの左縁部とコマ２１ｂの右縁部が、Ｙ軸に平行ではない線となっている。このような例では、ステップＳ１２において、制御部１１が垂線上の画素値だけを確認する場合、コマ２１ａとコマ２１ｂを分割することができない。
【００７２】
そこで、制御部１１は、上縁部３１上の１つの開始点３３に対して、下縁部３２及び下縁部３２の延長線３６上の複数の終了点３４を決定する。終了点３４の範囲は、例えば、開始点３３から下縁部３２に下ろした垂線と所定の角度（±９０度未満）をなす直線によって定まる範囲とする。そして、図８（ｂ）に示すように、制御部１１は、開始点３３と決定された終了点３４を結ぶ線分３５上の画素値を確認することによって新たな分割領域４１を認識する。具体的には、図８（ｃ）に示すように、制御部１１は、分割線４０ｄと分割線４０ｅの間に挟まれる領域（＝コマ２１ａが含まれる領域）を分割領域４１ｃとして認識し、分割線４０ｅと分割線４０ｆの間に挟まれる領域（＝コマ２１ｂが含まれる領域）を分割領域４１ｄとして認識する。すなわち、変形例によれば、コマ２１ａとコマ２１ｂを分割することができる。尚、横分割処理も同様の処理によって同様の効果を得ることができる。
【００７３】
この変形例によれば、制御部１１は、縦分割処理において、上縁部３１上の単一の開始点３３に対して、下縁部３２及び下縁部３２の延長線３６上の複数の終了点３４までの複数の線分３５上の画素値を確認することによって新たな分割領域４１を認識する。また、制御部１１は、横分割処理において、左縁部５１上の単一の開始点５３に対して、右縁部５２及び右縁部５２の延長線上の複数の終了点５４までの複数の線分５５上の画素値を確認することによって新たな分割領域６１を認識する。
【００７４】
また、前述の説明では、制御部１１は、縦分割処理において、上縁部３１から開始点３３を決定することとしたが、更に、下縁部３２から開始点３３を決定しても良い。すなわち、制御部１１は、縦分割処理において、更に、下縁部３２上の単一の開始点３３に対して、上縁部３１及び上縁部３１の延長線上の複数の終了点３４までの複数の線分３５上の画素値を確認することによって新たな分割領域４１を認識しても良い。同様に、制御部１１は、横分割処理において、更に、右縁部５２上の単一の開始点５３に対して、左縁部５１及び左縁部５１の延長線上の複数の終了点５４までの複数の線分５５上の画素値を確認することによって新たな分割領域６１を認識しても良い。
【００７５】
尚、図２のフローチャート及び上記の説明によれば、コマ分割装置１は、ステップＳ３〜Ｓ５の繰り返し処理において、縦分割処理の後に横分割処理を実行するものとしたが、横分割処理の後に縦分割処理を実行しても同様の効果を得ることができる。
【００７６】
包括的に言い換えれば、コマ分割装置は、対象画像内の分割領域である第１対象領域における第１縁部上の開始点から、第１縁部と対向する第２縁部上の終了点までの第１線分上の画素値を確認し、第１線分上の全ての画素値が背景色であれば、第１線分を分割線として新たな分割領域を認識する第１分割処理と、第１対象領域内の分割領域である第２対象領域における第１縁部と直交する第３縁部上の開始点から、第３縁部と対向する第４縁部上の終了点までの第２線分上の画素値を確認し、第２線分上の全ての画素値が背景色であれば、第２線分を分割線として新たな分割領域を認識する第２分割処理を、所定の終了条件を満たすまで繰り返す。これによって、コマ分割装置は、少ない計算時間で十分な精度が得られるコマ分割処理を行うことができる。
【００７７】
また、コマ分割装置は、第１分割処理及び第２分割処理によって認識される分割領域の識別情報を多分木のデータ構造によって記憶する。より詳細には、コマ分割装置は、第１分割処理によって認識される分割領域の識別情報を、第１対象領域としての分割領域の識別情報が親ノードとなるように多分木のデータ構造に記憶し、第２分割処理によって認識される分割領域の識別情報を、第２対象領域としての分割領域の識別情報が親ノードとなるように多分木のデータ構造に記憶する。これによって、コマ分割装置は、１コマ単位の表示制御と数コマ纏めた表示制御の切替機能を容易に実現することができる。
【００７８】
また、コマ分割装置は、分割領域の識別情報がコマの表示順序に合致するように記憶する。これによって、コマ分割装置は、閲覧端末によるコンテンツの閲覧時、正しい順序でコマを表示するように制御することができる。
【００７９】
更に、変形例では、コマ分割装置は、第１分割処理において、第１縁部上の単一の開始点に対して、第２縁部及び第２縁部の延長線上の複数の終了点までの複数の第１線分上の画素値を確認することによって新たな分割領域を認識し、第２分割処理において、第３縁部上の単一の開始点に対して、第４縁部及び第４縁部の延長線上の複数の終了点までの複数の第２線分上の画素値を確認することによって新たな分割領域を認識する。これによって、コマ分割装置は、更に精度が高いコマ分割処理を行うことができる。
【００８０】
以上、添付図面を参照しながら、本発明に係るコマ分割装置等の好適な実施形態について説明したが、本発明は上述の例に限定されるものではない。例えば、図２、図３、図５のフローチャートによれば、コマ分割処理から縦分割処理と横分割処理を順次呼び出すものとしたが、本発明は、縦分割処理及び横分割処理の再帰呼出しによって実現しても良い。その他、各ステップの具体的な計算態様や記憶態様についても、上述の例に限定されるものではない。
【符号の説明】
【００８１】
１.........コマ分割装置
２０.........対象画像
２１.........コマ
２２.........背景
３０.........縦分割対象領域
３１.........上縁部
３２.........下縁部
３３.........開始点
３４.........終了点
３５.........線分
３６.........延長線
４０.........分割線
４１.........分割領域
５０.........横分割対象領域
５１.........左縁部
５２.........右縁部
５３.........開始点
５４.........終了点
５５.........線分
６０.........分割線
６１.........分割領域
７０.........分割結果
７１.........分割結果のデータ構造
７２.........表示順序情報
【図１】
2014149563.tif 000003
【図２】
2014149563.tif 000004
【図３】
2014149563.tif 000005
【図４】
2014149563.tif 000006
【図５】
2014149563.tif 000007
【図６】
2014149563.tif 000008
【図７】
2014149563.tif 000009
【図８】
2014149563.tif 000010