(57)【要約】    【課題】  精度良くコマ抽出を行うことのできる装置を提供する。    【解決手段】  コマ枠直線抽出手段２は、漫画画像からコマ枠を構成する直線を抽出する。分割位置決定手段４は、漫画画像を上下方向に分割する位置を決定する。コマ抽出手段６の抽出領域設定手段６２は、上下方向に分割された各領域のそれぞれについて、コマ枠直線が、少なくともコ字状またはＬ字状になっている部分に、矩形の抽出領域を設定する。分割手段６４は、抽出領域を設定した部分以外の残余部分いついて、抽出領域の枠線を延長して、残余部分を矩形の抽出領域として分割する。結合手段６６は、抽出領域のそれぞれについて、画像要素が連続していれば、一つの抽出領域に結合する。【選択図】  図１
2017045219.tif 000002
【特許請求の範囲】
【請求項１】
漫画画像からコマを抽出するための装置であって、
対象画素について、コマ枠を構成する直線を検出しようとする検出方向に対して垂直な方向の所定幅内に、少なくとも１つの画像要素があるかどうかを、検出方向の全ての画素について判断する画像要素判断手段であって、前記検出方向を前記垂直な方向に、前記所定幅よりも小さい幅にて水平移動させて、画像要素判断を繰り返す画像要素判断手段と、
前記画像要素判断手段による画像要素が、前記検出方向に所定長さ以上連続していればコマ枠であると判断し、検出方向にコマ枠直線を生成するコマ枠判断手段と、
抽出されたコマ枠の横線を延長した分割直線を生成する分割直線生成手段と、
対象となる分割直線に隣接する分割直線が、所定間隔以上離れているかどうかを判断する分割直線間隔判断手段と、
隣接する上下の分割直線のうち、一方の分割直線のみが所定間隔以上離れている場合には、対象となる分割直線を、他方の分割直線の方向に所定距離移動する分割直線決定手段と、
前記決定された分割直線によって分割された各々の領域について、コマ枠直線が少なくともコ字状になっている部分または少なくともＬ字状になっている部分に矩形の抽出領域を設定する抽出領域設定手段と、
抽出領域として設定した部分以外の残余部分について、前記抽出領域の枠線を延長して、新たな抽出領域を設定して残余部分を分割する分割手段と、
抽出領域のそれぞれについて、当該抽出領域の画像要素が、隣接する抽出領域の画像要素と連続しているかどうかを判断し、連続していれば１つの抽出領域として結合する結合手段と、
を備えたコマ抽出装置。
【請求項２】
漫画画像からコマを抽出するためのコマ抽出装置をコンピュータによって実現するためのコマ抽出プログラムであって、コンピュータを、
対象画素について、コマ枠を構成する直線を検出しようとする検出方向に対して垂直な方向の所定幅内に、少なくとも１つの画像要素があるかどうかを、検出方向の全ての画素について判断する画像要素判断手段であって、前記検出方向を前記垂直な方向に、前記所定幅よりも小さい幅にて水平移動させて、画像要素判断を繰り返す画像要素判断手段と、
前記画像要素判断手段による画像要素が、前記検出方向に所定長さ以上連続していればコマ枠であると判断し、検出方向にコマ枠直線を生成するコマ枠判断手段と、
抽出されたコマ枠の横線を延長した分割直線を生成する分割直線生成手段と、
対象となる分割直線に隣接する分割直線が、所定間隔以上離れているかどうかを判断する分割直線間隔判断手段と、
隣接する上下の分割直線のうち、一方の分割直線のみが所定間隔以上離れている場合には、対象となる分割直線を、他方の分割直線の方向に所定距離移動する分割直線決定手段と、
前記決定された分割直線によって分割された各々の領域について、コマ枠直線が少なくともコ字状になっている部分または少なくともＬ字状になっている部分に矩形の抽出領域を設定する抽出領域設定手段と、
抽出領域として設定した部分以外の残余部分について、前記抽出領域の枠線を延長して、新たな抽出領域を設定して残余部分を分割する分割手段と、
抽出領域のそれぞれについて、当該抽出領域の画像要素が、隣接する抽出領域の画像要素と連続しているかどうかを判断し、連続していれば１つの抽出領域として結合する結合手段として機能させるためのコマ抽出プログラム。
【請求項３】
漫画画像からコマ枠を構成する直線を抽出するための装置であって、
対象画素について、直線を検出しようとする検出方向に対して垂直な方向の所定幅内に、少なくとも１つの画像要素があるかどうかを、検出方向の全ての画素について判断する画像要素判断手段と、
前記画像要素判断手段による画像要素が、前記検出方向に所定長さ以上連続していればコマ枠であると判断し、検出方向にコマ枠直線を生成するコマ枠判断手段とを備え、
前記画像要素判断手段は、前記検出方向を前記垂直な方向に、前記所定幅よりも小さい幅にて水平移動させて、画像要素判断を繰り返すことを特徴とするコマ枠直線抽出装置。
【請求項４】
漫画画像からコマ枠を構成する直線を抽出するコマ枠直線抽出装置をコンピュータによって実現するためのプログラムであって、コンピュータを、
対象画素について、直線を検出しようとする検出方向に対して垂直な方向の所定幅内に、少なくとも１つの画像要素があるかどうかを、検出方向の全ての画素について判断する画像要素判断手段と、
前記画像要素判断手段による画像要素が、前記検出方向に所定長さ以上連続していればコマ枠であると判断し、検出方向にコマ枠直線を生成するコマ枠判断手段とをして機能させるコマ枠直線検出プログラムにおいて、
前記画像要素判断手段は、前記検出方向を前記垂直な方向に、前記所定幅よりも小さい幅にて水平移動させて、画素要素判断を繰り返すことを特徴とするコマ枠直線抽出プログラム。
【請求項５】
請求項１〜４のいずれかの装置またはプログラムにおいて、
前記漫画画像は、二値化され輪郭が抽出された画像であることを特徴とする装置またはプログラム。
【請求項６】
漫画画像からコマ枠を構成するコマ枠横線を抽出する横線検出手段と、
抽出されたコマ枠横線を延長した分割直線を生成する分割直線生成手段と、
対象となる分割直線に隣接する分割直線が、所定間隔以上離れているかどうかを判断する分割直線間隔判断手段と、
隣接する上下の分割直線のうち、一方の分割直線のみが所定間隔以上離れている場合には、対象となる分割直線を、他方の分割直線の方向に所定距離移動する分割直線決定手段と、
を備えた分割位置決定装置。
【請求項７】
コンピュータによって分割位置決定装置を実現するためのプログラムであって、コンピュータを、
漫画画像からコマ枠を構成するコマ枠横線を抽出する横線検出手段と、
抽出されたコマ枠横線を延長した分割直線を生成する分割直線生成手段と、
対象となる分割直線に隣接する分割直線が、所定間隔以上離れているかどうかを判断する分割直線間隔判断手段と、
隣接する上下の分割直線のうち、一方の分割直線のみが所定間隔以上離れている場合には、対象となる分割直線を、他方の分割直線の方向に所定距離移動する分割直線決定手段として機能させるための分割位置決定プログラム。
【請求項８】
請求項１、２、６、７のいずれかの装置またはプログラムにおいて、
前記分割直線決定手段は、隣接する上下の分割直線の双方が所定間隔以上離れている場合には、対象となる分割直線の上方向に所定画素数の範囲における画像要素の数と、対象となる分割直線の下方向に所定画素数の範囲における画像要素の数とを比較し、画像要素の数の少ない方に所定距離移動することを特徴とする装置またはプログラム。
【請求項９】
請求項１、２、６〜８のいずれかの装置またはプログラムにおいて、
前記分割直線決定手段は、隣接する上下の分割直線の双方が所定間隔未満しか離れていない場合には、対象となる分割直線を移動しないことを特徴とする装置またはプログラム。
【請求項１０】
請求項１、２、６〜９のいずれかの装置またはプログラムにおいて、
前記分割直線決定手段は、隣接する上または下の分割直線が前記所定間隔より小さい第二の所定間隔未満しか離れていない場合には、当該分割直線と対象となる分割直線の平均によって得られた位置の分割直線に統合することを特徴とする装置またはプログラム。
【請求項１１】
請求項１、２、６〜１０のいずれかの装置またはプログラムにおいて、
前記分割直線決定手段は、決定した分割直線がコマ枠の縦線に交差している場合、交差しないように分割直線を移動することを特徴とする装置またはプログラム。
【請求項１２】
漫画画像からコマを抽出するための装置であって、
コマ枠を構成する直線を抽出するコマ枠直線抽出手段と、
コマ枠直線が少なくともコ字状になっている部分または少なくともＬ字状になっている部分をコマとして取り出すコマ取出手段と、
を備えたコマ抽出装置。
【請求項１３】
漫画画像からコマを抽出するためのコマ抽出装置を、コンピュータによって実現するためのプログラムであって、コンピュータを、
コマ枠を構成する直線を抽出するコマ枠直線抽出手段と、
コマ枠直線が少なくともコ字状になっている部分または少なくともＬ字状になっている部分をコマとして取り出すコマ取出手段として機能させるためのコマ抽出プログラム。
【請求項１４】
請求項１、２、１２、１３のいずれかの装置またはプログラムにおいて、
前記コマ取出手段は、コマ枠直線の所定距離外側においてコマを取り出すことを特徴とする装置またはプログラム。
【請求項１５】
請求項１、２、１２〜１４のいずれかの装置またはプログラムにおいて、
前記コマ取出手段は、取り出した２つのコマについて、一方のコマの重心が、他方のコマの領域内に入っている場合には、面積の小さい方のコマを削除することを特徴とする装置またはプログラム。
【請求項１６】
漫画画像からコマを抽出するための装置であって、
コマ枠を構成する直線を抽出するコマ枠直線抽出手段と、
コマ枠直線が少なくともコ字状になっている部分または少なくともＬ字状になっている部分に矩形の抽出領域を設定する抽出領域設定手段と、
抽出領域として設定した部分以外の残余部分について、前記抽出領域の枠線を延長して、新たな抽出領域を設定して残余部分を分割する分割手段と、
抽出領域のそれぞれについて、当該抽出領域の画像要素が、隣接する抽出領域の画像要素と連続しているかどうかを判断し、連続していれば１つの抽出領域として結合する結合手段と、
を備えたコマ抽出装置。
【請求項１７】
漫画画像からコマを抽出するための抽出装置をコンピュータによって実現するためのコマ抽出プログラムであって、コンピュータを、
コマ枠を構成する直線を抽出するコマ枠直線抽出手段と、
コマ枠直線が少なくともコ字状になっている部分または少なくともＬ字状になっている部分に矩形の抽出領域を設定する抽出領域設定手段と、
抽出領域として設定した部分以外の残余部分について、前記抽出領域の枠線を延長して、新たな抽出領域を設定して残余部分を分割する分割手段と、
抽出領域のそれぞれについて、当該抽出領域の画像要素が、隣接する抽出領域の画像要素と連続しているかどうかを判断し、連続していれば１つの抽出領域として結合する結合手段として機能させるためのコマ抽出プログラム。
【請求項１８】
請求項１、２、１６、１７のいずれかの装置またはプログラムにおいて、
前記結合手段は、残余部分の各抽出領域について、画像要素に基づいてmin-max法にて抽出領域を再設定し、抽出領域が他の抽出領域と接するかどうかによって、連続しているかどうかを判断することを特徴とする装置またはプログラム。
【請求項１９】
請求項１８の装置またはプログラムにおいて、
前記結合手段は、前記接する部分において、当該部分の所定割合以上に直線が存在すれば、結合しないことを特徴とする装置またはプログラム。
【請求項２０】
請求項１９の装置またはプログラムにおいて、
前記結合手段は、前記直線の有無を、コマ枠直線抽出手段によって抽出したコマ枠直線に基づいて判断することを特徴とする装置またはプログラム。
【請求項２１】
請求項１９の装置またはプログラムにおいて、
前記結合手段は、前記直線の有無を、コマ枠直線抽出手段による直線抽出よりも抽出のしきい値を下げて抽出した直線に基づいて判断することを特徴とする装置またはプログラム。
【請求項２２】
請求項１９の装置またはプログラムにおいて、
前記結合手段は、前記直線の有無を、コマ枠直線抽出手段によって抽出したコマ枠直線が所定割合以上あれば結合し、所定割合に達していなければ、前記直線の有無を、コマ枠直線抽出手段による直線抽出よりも抽出のしきい値を下げて抽出した直線に基づいて判断することを特徴とする装置またはプログラム。
【請求項２３】
請求項１８〜２２のいずれかの装置またはプログラムにおいて、
前記結合手段は、前記接する部分において、当該部分に垂直な所定範囲において画素要素が全くなければ、結合しないことを特徴とする装置またはプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、漫画画像からコマを抽出するコマ抽出装置に関する。
【背景技術】
【０００２】
漫画画像からコマを抽出する技術が提案され実施されている。たとえば、特許文献１では、コマの右辺、下辺、左辺、上辺の線分を順に検出することで、コマを検出するようにしている。
【０００３】
また、特許文献２では、コマの枠線と吹き出し線とを別々に検出し、吹き出し線を含めてコマとして抽出するようにしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−７８９２３
【特許文献２】特開２０１４−２１２４７６
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の手法では、コマの四辺に線分がないとコマの検出を行うことができないという問題があった。たとえば、吹き出しがコマの枠からはみ出て示されている場合などには、正確にコマを検出できないという問題があった。
【０００６】
特許文献２の手法では、吹き出しがコマ枠からはみ出しているような場合であっても、コマを検出できる。しかし、コマ枠の線とは別に吹き出しの線を検出しなければならず、特に吹き出しのように形状に規則性の無い線を検出することは難しかった。このため、結果的に精度良くコマを検出することができないという問題があった。
【０００７】
この発明は、上記のような問題点を解決して、精度良くコマ抽出を行うことのできる装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
この発明の独立して適用可能ないくつかの特徴を以下に示す。
【０００９】
(1)(2)この発明に係るコマ抽出装置は、漫画画像からコマを抽出するための装置であって、対象画素について、コマ枠を構成する直線を検出しようとする検出方向に対して垂直な方向の所定幅内に、少なくとも１つの画像要素があるかどうかを、検出方向の全ての画素について判断する画像要素判断手段であって、前記検出方向を前記垂直な方向に、前記所定幅よりも小さい幅にて水平移動させて、画像要素判断を繰り返す画像要素判断手段と、前記画像要素判断手段による画像要素が、前記検出方向に所定長さ以上連続していればコマ枠であると判断し、検出方向にコマ枠直線を生成するコマ枠判断手段と、抽出されたコマ枠の横線を延長した分割直線を生成する分割直線生成手段と、対象となる分割直線に隣接する分割直線が、所定間隔以上離れているかどうかを判断する分割直線間隔判断手段と、隣接する上下の分割直線のうち、一方の分割直線のみが所定間隔以上離れている場合には、対象となる分割直線を、他方の分割直線の方向に所定距離移動する分割直線決定手段と、前記決定された分割直線によって分割された各々の領域について、コマ枠直線が少なくともコ字状になっている部分または少なくともＬ字状になっている部分に矩形の抽出領域を設定する抽出領域設定手段と、抽出領域として設定した部分以外の残余部分について、前記抽出領域の枠線を延長して、新たな抽出領域を設定して残余部分を分割する分割手段と、抽出領域のそれぞれについて、当該抽出領域の画像要素が、隣接する抽出領域の画像要素と連続しているかどうかを判断し、連続していれば１つの抽出領域として結合する結合手段とを備えている。
【００１０】
したがって、精度よくコマ枠直線を検出し、コマ枠を分断せずにコマを分割する横線を精度よく設定することができ、分割した領域において適切にコマを抽出することができる。
【００１１】
(3)(4)この発明に係るコマ枠直線抽出装置は、漫画画像からコマ枠を構成する直線を抽出するための装置であって、対象画素について、直線を検出しようとする検出方向に対して垂直な方向の所定幅内に、少なくとも１つの画像要素があるかどうかを、検出方向の全ての画素について判断する画像要素判断手段と、前記画像要素判断手段による画像要素が、前記検出方向に所定長さ以上連続していればコマ枠であると判断し、検出方向にコマ枠直線を生成するコマ枠判断手段とを備え、前記画像要素判断手段は、前記検出方向を前記垂直な方向に、前記所定幅よりも小さい幅にて水平移動させて、画像要素判断を繰り返すことを特徴としている。
【００１２】
したがって、精度よくコマ枠直線を検出することができる。
【００１３】
(5)この発明に係るコマ枠直線抽出装置は、漫画画像は、二値化され輪郭が抽出された画像であることを特徴としている。
【００１４】
したがって、精度よくコマ枠直線を検出することができる。
【００１５】
(6)(7)この発明に係る分割位置決定装置は、漫画画像からコマ枠を構成するコマ枠横線を抽出する横線検出手段と、抽出されたコマ枠横線を延長した分割直線を生成する分割直線生成手段と、対象となる分割直線に隣接する分割直線が、所定間隔以上離れているかどうかを判断する分割直線間隔判断手段と、隣接する上下の分割直線のうち、一方の分割直線のみが所定間隔以上離れている場合には、対象となる分割直線を、他方の分割直線の方向に所定距離移動する分割直線決定手段とを備えている。
【００１６】
したがって、コマ枠を分断せずにコマを分割する横線を精度よく設定することができる。
【００１７】
(8)この発明に係る分割位置決定装置は、分割直線決定手段が、隣接する上下の分割直線の双方が所定間隔以上離れている場合には、対象となる分割直線の上方向に所定画素数の範囲における画像要素の数と、対象となる分割直線の下方向に所定画素数の範囲における画像要素の数とを比較し、画像要素の数の少ない方に所定距離移動することを特徴としている。
【００１８】
したがって、コマ枠を分断せずにコマを分割する横線を精度よく設定することができる。
【００１９】
(9)この発明に係る分割位置決定装置は、分割直線決定手段が、隣接する上下の分割直線の双方が所定間隔未満しか離れていない場合には、対象となる分割直線を移動しないことを特徴としている。
【００２０】
したがって、コマ枠を分断せずにコマを分割する横線を精度よく設定することができる。
【００２１】
(10)この発明に係る分割位置決定装置は、分割直線決定手段が、隣接する上または下の分割直線が前記所定間隔より小さい第二の所定間隔未満しか離れていない場合には、当該分割直線と対象となる分割直線の平均によって得られた位置の分割直線に統合することを特徴としている。
【００２２】
したがって、余分な分割直線をなくすることができる。
【００２３】
(11)この発明に係る分割位置決定装置は、分割直線決定手段が、決定した分割直線がコマ枠の縦線に交差している場合、交差しないように分割直線を移動することを特徴としている。
【００２４】
したがって、コマ枠を分断せずにコマを分割する横線を間違って設定することを防ぐことができる。
【００２５】
(12)(13)この発明に係るコマ抽出装置は、漫画画像からコマを抽出するための装置であって、コマ枠を構成する直線を抽出するコマ枠直線抽出手段と、コマ枠直線が少なくともコ字状になっている部分または少なくともＬ字状になっている部分をコマとして取り出すコマ取出手段とを備えている。
【００２６】
したがって、コマを精度よく取り出すことができる。
【００２７】
(14)この発明に係るコマ抽出装置は、コマ取出手段が、コマ枠直線の所定距離外側においてコマを取り出すことを特徴としている。
【００２８】
したがって、コマ枠線を途切れさせることなく、コマを取り出すことができる。
【００２９】
(15)この発明に係るコマ抽出装置は、コマ取出手段が、取り出した２つのコマについて、一方のコマの重心が、他方のコマの領域内に入っている場合には、面積の小さい方のコマを削除することを特徴としている。
【００３０】
したがって、重複して抽出したコマを統合することができる。
【００３１】
(16)(17)この発明に係るコマ抽出装置は、漫画画像からコマを抽出するための装置であって、コマ枠を構成する直線を抽出するコマ枠直線抽出手段と、コマ枠直線が少なくともコ字状になっている部分または少なくともＬ字状になっている部分に矩形の抽出領域を設定する抽出領域設定手段と、抽出領域として設定した部分以外の残余部分について、前記抽出領域の枠線を延長して、新たな抽出領域を設定して残余部分を分割する分割手段と、抽出領域のそれぞれについて、当該抽出領域の画像要素が、隣接する抽出領域の画像要素と連続しているかどうかを判断し、連続していれば１つの抽出領域として結合する結合手段とを備えている。
【００３２】
したがって、背景なども含めて適切にコマを抽出することができる。
【００３３】
(18)この発明に係るコマ抽出装置は、結合手段が、残余部分の各抽出領域について、画像要素に基づいてmin-max法にて抽出領域を再設定し、抽出領域が他の抽出領域と接するかどうかによって、連続しているかどうかを判断することを特徴としている。
【００３４】
したがって、連続した領域を適切にまとめて取り出すことができる。
【００３５】
(19)この発明に係るコマ抽出装置は、結合手段が、前記接する部分において、当該部分の所定割合以上に直線が存在すれば、結合しないことを特徴としている。
【００３６】
したがって、枠線によって区分されている領域は結合しないようにすることができる。
【００３７】
(20)この発明に係るコマ抽出装置は、結合手段が、前記直線の有無を、コマ枠直線抽出手段によって抽出したコマ枠直線に基づいて判断することを特徴としている。
【００３８】
したがって、処理を迅速に行うことができる。
【００３９】
(21)この発明に係るコマ抽出装置は、結合手段が、前記直線の有無を、コマ枠直線抽出手段による直線抽出よりも抽出のしきい値を下げて抽出した直線に基づいて判断することを特徴としている。
【００４０】
したがって、精度のよい処理を行うことができる。
【００４１】
(22)この発明に係るコマ抽出装置は、結合手段が、前記直線の有無を、コマ枠直線抽出手段によって抽出したコマ枠直線が所定割合以上あれば結合し、所定割合に達していなければ、前記直線の有無を、コマ枠直線抽出手段による直線抽出よりも抽出のしきい値を下げて抽出した直線に基づいて判断することを特徴としている。
【００４２】
したがって、処理の迅速化と精度の良さを両立させることができる。
【００４３】
(23)この発明に係るコマ抽出装置は、結合手段が、前記接する部分において、当該部分に垂直な所定範囲において画素要素が全くなければ、結合しないことを特徴としている。
【００４４】
したがって、実質的に連続していない領域を結合するおそれがない。
【００４５】
「画像要素判断手段」は、実施形態においては、ステップＳ１３〜Ｓ２０がこれに対応する。
【００４６】
「コマ枠判断手段」は、実施形態においては、ステップＳ２１がこれに対応する。
【００４７】
「分割直線生成手段」は、実施形態においては、ステップＳ３１〜Ｓ３６がこれに対応する。
【００４８】
「分割直線間隔判断手段」は、実施形態においては、ステップＳ３８、Ｓ３９、Ｓ４０がこれに対応する。
【００４９】
「分割直線決定手段」は、実施形態においては、ステップＳ４２、Ｓ４３がこれに対応する。
【００５０】
「抽出領域設定手段」は、実施形態においては、ステップＳ５２がこれに対応する。
【００５１】
「分割手段」は、実施形態においては、ステップＳ５３がこれに対応する。
【００５２】
「結合手段」は、実施形態においては、ステップＳ６０がこれに対応する。
【００５３】
「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。
【図面の簡単な説明】
【００５４】
【図１】この発明の一実施形態によるコマ抽出装置の機能ブロック図を示す。
【図２】コマ抽出装置のハードウエア構成である。
【図３】コマ抽出プログラムの全体フローチャートである。
【図４】コマ枠直線の抽出処理のフローチャートである。
【図５】コマ枠直線の抽出処理のフローチャートである。
【図６】二値化され、輪郭抽出された漫画画像である。
【図７】設定された探索ラインの例である。
【図８】抽出されたコマ枠線を示す図である。
【図９】分割位置決定処理のフローチャートである。
【図１０】分割位置決定処理のフローチャートである。
【図１１】分割位置決定処理のフローチャートである。
【図１２】分割直線ＤＬ１〜ＤＬ１６を示す図である。
【図１３】分割直線ＤＬ１、ＤＬ７〜１０を示す図である。
【図１４】分割直線の上下領域を示す図である。
【図１５】移動した分割直線ＤＬ１、ＤＬ７〜１０を示す図である。
【図１６】分割直線ＤＬとコマ枠縦線との関係を示す図である。
【図１７】決定された分割直線ＤＬａ、ＤＬｂ、ＤＬｃを示す図である。
【図１８】抽出領域の設定・結合処理のフローチャートである。
【図１９】抽出領域の設定・結合処理のフローチャートである。
【図２０】抽出領域の設定・結合処理のフローチャートである。
【図２１】抽出領域の設定および残余部分に対する領域設定を示す図である。
【図２２】抽出領域の設定を示す図である。
【図２３】設定された抽出領域ＣＬＭ１〜ＣＬＭ５を示す図である。
【図２４】抽出領域の設定方法を示す図である。
【図２５】抽出領域の設定方法を示す図である。
【図２６】残余部分に対する領域設定を示す図である。
【図２７】残余部分の領域における、min-max法による抽出領域の設定方法を示す図である。
【図２８】設定された抽出領域を示す図である。
【図２９】接合領域における処理を説明するための図である。
【図３０】接合領域において、結合処理を行わない場合の例である。
【図３１】分割部分ごとに決定された抽出領域を示す図である。
【図３２】決定された抽出領域を示す図である。
【図３３】コマとして分割された漫画画像である。
【発明を実施するための形態】
【００５５】
１．全体構成
図１に、この発明の一実施形態によるコマ抽出装置の全体構成を示す。このコマ抽出装置は、コマ枠直線抽出手段２、分割位置決定手段４、コマ抽出手段６を備えている。
【００５６】
このコマ抽出装置の構成の概要は、以下のとおりである。コマ枠直線抽出手段２は、漫画画像からコマ枠を構成する直線を抽出する。分割位置決定手段４は、抽出した横線に基づいて、漫画画像を上下方向に分割する位置を決定する。コマ抽出手段６は、分割された漫画画像の各領域について、コマを抽出する。
【００５７】
上記各手段の構成の詳細は、以下のとおりである。コマ枠直線抽出手段２は、画像要素判断手段２２とコマ枠判断手段２４を備えている。画像要素判断手段２２は、二値化されて、輪郭の抽出された漫画画像を受け取る。画像要素判断手段２は、漫画画像について、検出方向に設定した検出線に対して垂直な方向の所定幅内（たとえば７画素内）に、少なくとも一つの画像要素（二値化画像における「１」）があるかどうかを判断する。これを、検出線の方向に沿って、検出線上の全画素について行う。このようにすることで、二値化・輪郭化された漫画画像において、コマ枠直線が真っ直ぐでなかったとしても、直線として検出することができる。
【００５８】
次に、コマ枠判断手段２４は、画像要素判断手段２２によって「画像要素有り」として検出された画素が、検出線の方向に沿って、所定長さ（所定画素数）以上連続（たとえば、画像全幅の１／７以上連続）しているかどうかを判断する。所定長さ以上連続していれば、これをコマ枠直線として抽出する。以上のようにして、コマ枠直線抽出手段２によって、コマ枠を構成する縦線と横線（コマ枠直線）が抽出される。
【００５９】
次に、分割位置決定手段４の分割直線生成手段４２は、抽出された横線を延長して分割直線を生成する。分割直線間隔判断手段４２は、生成した分割直線について、隣接する分割直線が所定間隔以上（たとえば、画像全幅の１／５以上）離れているかどうかを判断する。分割直線決定手段４６は、対象とする分割直線の上下に隣接する分割直線のうち、上の（下の）分割直線のみが所定間隔以上離れている場合には、対象とする分割直線を、下の（上の）分割直線の方向に所定距離（たとえば、３画素）移動する。このようにして、余白部分において、漫画画像を上下方向に分割することができる。
【００６０】
コマ抽出手段６の抽出領域設定手段６２は、上下方向に分割された各領域のそれぞれについて、コマ枠直線が、少なくともコ字状またはＬ字状になっている部分に、矩形の抽出領域を設定する。分割手段６４は、抽出領域を設定した部分以外の残余部分いついて、抽出領域の枠線を延長して、残余部分を矩形の抽出領域として分割する。結合手段６６は、抽出領域のそれぞれについて、当該抽出領域の画像要素が隣接する抽出領域の画像要素と連続しているかどうかを判断する。連続していれば、その抽出領域同士を一つの抽出領域に結合する。このようにして、コマに対応する抽出領域を決定する。
【００６１】
以上のようにして、漫画画像からのコマの取り出しが行われる。
【００６２】
２．ハードウエア構成
図２に、情報受領端末装置２のハードウエア構成を示す。この実施形態では、コマ抽出装置を、スタンドアローンのＰＣにて構成している。ＣＰＵ８０には、メモリ８２、ディスプレイ８４、ハードディスク８６、ＤＶＤ−ＲＯＭドライブ８８、キーボード／マウス９０、スキャナ９２が接続されいる。
【００６３】
ハードディスク８６には、オペレーティングシステム９４、コマ抽出プログラム９６が記録されている。コマ抽出プログラム９６は、オペレーティングシステム９４と協働してその機能を発揮するものである。これらプログラムは、ＤＶＤ−ＲＯＭ９８に記録されていたものを、ＤＶＤ−ＲＯＭドライブ８８を介して、ハードディスク８６にインストールしたものである。
【００６４】
３．コマ抽出プログラム９６の処理
コマ抽出プログラム９６の全体概要フローチャートを、図３に示す。ＣＰＵ８０は、まず、二値化されて輪郭抽出された漫画画像から、コマ枠直線を抽出する（ステップＳ１）。続いて、抽出したコマ枠直線の内の横線を用いて、コマとコマの間の空白にて、上下方向に分割を行う（ステップＳ３）。次に、分割した各領域において、コマを抽出するための抽出領域を設定しするとともに、画像情報を元にこれら抽出領域を結合し、適切な抽出領域を得る（ステップＳ５）。以上のようにして、抽出領域を得た後、当該抽出領域によって元の漫画画像からコマごとの画像を得ることができる。
【００６５】
(1)コマ枠直線の抽出
図４、図５に、図３のコマ枠直線の抽出（ステップＳ１）の詳細フローチャートを示す。ＣＰＵ８０は、スキャナ９２にて読み込んだ漫画画像を取り込む（ステップＳ１１）。次に、ＣＰＵ８０は、取り込んだ漫画画像を二値化し、ラプラシアンフィルタ処理等により、その輪郭の抽出を行う（ステップＳ１２）。図６に、二値化され輪郭抽出された漫画画像を示す。なお、この実施形態では、図６の二値化・輪郭化画像よりも、二値化のしきい値を下げた、二値化・輪郭化画像（低しきい値漫画画像）も生成して記録するようにしている。低しきい値漫画画像は、二値化のしきい値が低いため、相対的に黒画素が多くなる。以下の処理では、図６の漫画画像を基本として用いるが、一部の処理において、低しきい値漫画画像を用いる場合がある。
【００６６】
続いて、ＣＰＵ８０は、この漫画画像に対し読み取り時の傾き等を修正するため、角度補正を行う。たとえば、ハフ変換で長い横線を抽出し、その直線が０度になるように補正する。
【００６７】
次に、ＣＰＵ８０は、図７にその一部を示すように、直線を抽出するための探索横ラインＨＬ１、ＨＬ２、ＨＬ３・・・を、漫画画像に対して設定する（ステップＳ１３）。この実施形態では、これら探索横ラインＨＬ１、ＨＬ２、ＨＬ３・・・を、４画素間隔で設定するようにしている。ＣＰＵ８０は、同様に、探索縦ラインＶＬ１、ＶＬ２、ＶＬ３・・・を設定する（ステップＳ１４）。
【００６８】
探索横ラインＨＬ１、ＨＬ２、ＨＬ３・・・、探索縦ラインＶＬ１、ＶＬ２、ＶＬ３・・・を設定すると、ＣＰＵ８０は、最初の探索横ラインＨＬ１を対象ラインとして、当該対象ラインＨＬ１の左端の画素を探索点とする。ＣＰＵ８０は、この探索点の上下３画素（探索点も含めて７画素）内に黒（二値化画像の「１」）があるかどうかを判断する（ステップＳ１７）。少なくとも一つの黒があれば、探索テーブルに「有」を記録する（ステップＳ１８）。なければ、探索テーブルに「無」を記録する（ステップＳ１９）。なお、上記の探索ラインの設定間隔、上下の探索範囲は、元画像に応じて任意の数値にすることができる。
【００６９】
ＣＰＵ３０は、上記の処理を、対象ラインＨＬ１の全ての探索点について繰り返す（ステップＳ１６、Ｓ１７、Ｓ１８、Ｓ１９、Ｓ２０）。したがって、対象ラインＨＬ１についての、各探索点おける黒の有無が探索テーブルに記録されることになる。
【００７０】
対象ラインＨＬ１の全ての探索点についての処理を行うと、ＣＰＵ８０は、探索テーブルに基づき、「有」が画像横幅（スキャン幅）の１／７以上連続する部分に、コマ枠直線を引く（ステップＳ２１）。コマ枠直線は、探索ライン上に引く。
【００７１】
以上のようにして、最初の対象ラインＨＬ１についての処理が終わると、ＣＰＵ８０は、対象ラインをＨＬ２、ＨＬ３・・・というように順次変えて、上記の処理を繰り返す（ステップＳ１５〜Ｓ２２）。なお、探索横ライン全てについての処理を終えると、次に、探索縦ラインについても同様に処理を行う。なお、探索縦ラインについては、ステップＳ１７において左右３画素を探索する。
【００７２】
以上のようにして抽出されたコマ枠直線ＷＬを図８に示す。図８に示すように、コマ枠以外の直線ＥＬも抽出されているが、全てのコマ枠直線ＷＬが抽出されている。
【００７３】
この実施形態では、上下（左右）３画素、つまり７画素の範囲に「黒」が連続していれば直線であるとしている。したがって、枠線が傾いていたり、エイリアス（凸凹）があったりしても、検出することができる。
【００７４】
また、探索範囲は７画素であるにもかかわらず、探索ラインの間隔をこれより狭くしている（この実施形態では４画素）。これにより、コマ枠直線の検出漏れを防ぐことができる。このため、コマ枠直線が太い場合などには、図８に示すように、１本のコマ枠に対して、２つ以上のコマ枠直線を検出する場合もあるが、後の処理で対応するようにしている。つまり、検出漏れの防止に重点を置くことで、コマ抽出の精度を上げるようにしている。
【００７５】
(2)分割位置の決定
図９〜図１１に、図３の分割位置の決定（ステップＳ３）の詳細フローチャートを示す。ＣＰＵ８０は、上記にて抽出したコマ枠直線のうちの横線（コマ枠横線）の位置に、全幅にわたる分割直線を設定する（ステップＳ３１）。図１２に、このようにして設定した分割直線ＤＬ１、ＤＬ２、ＤＬ３・・・を示す。次に、ＣＰＵ８０は、最初の分割直線ＤＬ１を対象分割直線として以下の処理を行う。まず、対象分割直線ＤＬ１上で、コマ枠直線が存在する画素の数を計数する。さらに、対象分割直線ＤＬ１上で、コマ枠直線がない部分において、「黒」部分の画素の数を計数する。両計数値を合計し、これが、全幅に対して所定割合以上（たとえば、全幅の８５％以上）あるかどうかを判断する（ステップＳ３３）。
【００７６】
所定割合以上あれば、対象分割直線をそのまま残す（ステップＳ３４）。所定割合に達していなければ、コマ枠直線ではない可能性が高いので、当該対象分割直線を削除する（ステップＳ３５）。ここでは、対象分割直線ＤＬ１においては、コマ枠直線が８５％以上であるので、残されることになる。
【００７７】
ＣＰＵ８０は、以上の処理を、全ての対象分割直線について行う（ステップＳ３２〜Ｓ３６）。その結果、図１２における、分割直線ＤＬ７〜ＤＬ９は、分割直線として残さずに削除される。したがって、図１３に示すように、分割直線ＤＬ１〜ＤＬ６、ＤＬ１０が残ることになる。
【００７８】
次に、ＣＰＵ８０は、分割直線の位置を調整する。コマ枠直線の上で分割を行うと、コマが切れてしまうからである。この実施形態では、対象とする分割直線の上下に隣接する分割直線との間隔が、横幅の１／５以上あるかどうかによって、対象分割直線の移動方向を決定している。
【００７９】
まず、ＣＰＵ８０は、対象分割直線の上に隣接する分割直線との間隔が、横幅の１／５以上あるかどうかを判断する（ステップＳ３８）。さらに、対象分割直線の下に隣接する分割直線との間隔が、横幅の１／５以上あるかどうかを判断する（ステップＳ３９、Ｓ４０）。なお、その方向に隣接する分割直線がない場合には、間隔が横幅の１／５以上あるものとして処理を行う。
【００８０】
対象分割直線と上の分割直線との距離が１／５以上あり、下の分割直線との距離が１／５に満たない場合には、ＣＰＵ８０は、その対象分割直線を所定画素（たとえば、３画素）だけ、下方向に水平移動する（ステップＳ４２）。
【００８１】
対象分割直線と上の分割直線との距離が１／５に満たず、下の分割直線との距離が１／５以上の場合には、ＣＰＵ８０は、その対象分割直線を所定画素（たとえば、３画素）だけ、上方向に水平移動する（ステップＳ４３）。
【００８２】
対象分割直線と上下の分割直線との距離が、ともに１／５に満たない場合には、その対象分割直線は移動しない。
【００８３】
対象分割直線と上下の分割直線との距離が、ともに１／５以上の場合には、対象分割直線の上側３画素の領域内における「黒」画像の数と、対象分割直線の下側３画素の領域内における「黒」画像の数を計数する（図１４参照）。そして、「黒」画像の画素数の少ない方に、対象分割直線を移動する（ステップＳ４１）。「黒」画像の少ない方が空白である可能性が高いからである。
【００８４】
ＣＰＵ８０は、以上の処理を、全ての分割直線について繰り返す（ステップＳ３７〜Ｓ４４）。上記の処理によって移動した分割直線を、図１５に示す。それぞれ、コマとコマの間の空白に移動されている。
【００８５】
次に、ＣＰＵ８０は、対象とする分割直線と隣接する分割直線との間隔が横幅の１／２０以下であるかどうかを判断する（ステップＳ４６）。１／２０以下であれば、対象分割直線と、隣接する分割直線との平均位置（上下方向の平均座標位置）に分割直線を統合する（ステップＳ４７）。分割直線を統合した場合には、当該分割直線を対象分割直線として、再度、ステップＳ４６を繰り返す。図１５の場合であれば、分割直線ＤＬ１、ＤＬ２が、図１７に示すように分割直線ＤＬａとして統合される。また、分割直線ＤＬ３〜ＤＬ６が、図１７に示すように分割直線ＤＬｂとして統合される。
【００８６】
対象分割直線に対し、１／２０以下の距離で隣接する分割直線がなければ、ＣＰＵ８０は、対象分割直線が、コマ枠直線のうちの縦線（コマ枠縦線）と交差するかどうかを判断する（ステップＳ４８）。交差する場合には、この位置で分割を行うことが適切でないので、対象分割直線を移動する。ここでは、コマ枠縦線の端点までの距離が短い方に対象分割直線を、交差がなくなるまで移動する（ステップＳ４９）。たとえば、図１６Ａに示すように、分割直線ＤＬが、コマ枠縦線ＷＬに交差している場合、分割直線ＤＬからは、端点ＥＰ１よりも端点ＥＰ２の方が近い。したがって、図１６Ｂに示すように、分割直線ＤＬを下方向に水平移動して、交差しないようにする。
【００８７】
ＣＰＵ８０は、上記の処理を全ての分割直線を対象分割直線として繰り返し処理を行う（ステップＳ４５〜Ｓ５０）。その結果、図１７に示すように、分割直線ＤＬａ、ＤＬｂ、ＤＬｃが決定される。この分割直線によって、漫画画像は、第１の部分Ａ、第２の部分Ｂに分割される。
【００８８】
(3)抽出領域の設定・結合
図１８〜２０に、図３の抽出領域の設定・結合（ステップＳ５）の詳細フローチャートを示す。ＣＰＵ８０は、上記分割した部分Ａ、Ｂのそれぞれについて、以下のステップＳ５２〜Ｓ６０を実行する。
【００８９】
ＣＰＵ８０は、まず、コマ枠直線が少なくともコ字状またはＬ字状となっている部分を見いだして、その外側３画素に抽出領域を設定する（ステップＳ５２）。たとえば、部分Ａについては、図２１に示すように、抽出領域ＣＬＭ１、ＣＬＭ２が見いだされることになる。抽出領域ＣＬＭ１、ＣＬＭ２ともに、コマ枠直線がコ字状となっていることから抽出される。
【００９０】
なお、図２１において、枠ＳＵＲは、部分Ａの全体を示している。ステップＳ５１において設定した抽出領域ＣＬＭ１、ＣＬＭ２は、明確にコマであると判定した部分であるということができる。
【００９１】
次に、ＣＰＵ８０は、上記の抽出領域ＣＬＭ以外の部分（残余部分）について、抽出領域の線を延長して、複数の領域を設定する（ステップＳ５３）。その状態を、図２２に示す。抽出領域ＣＬＭ１、ＣＬＭ２の周囲に、１３個の領域ＳＣ１〜ＳＣ１３が設定されている。
【００９２】
次に、ＣＰＵ８０は、ＳＣ１〜ＳＣ１３の各領域において、「黒」の画素を矩形で囲って抽出領域を設定する（ステップＳ５４）。図２２の場合、領域ＳＣ１〜ＳＣ１３のいずれにおいても「黒」画素がない。したがって、新たな抽出領域は設定されない。このため、複数の抽出領域を結合するかどうかを判断するステップＳ５５〜Ｓ６０では、何も実行されない。結果として、部分Ａに対しては、図２１に示すように、コマを抽出するための抽出領域ＣＬＭ１、ＣＬＭ２が決定されることになる。
【００９３】
次に、ＣＰＵ８０は、図１７の領域Ｂについて、ステップＳ５２以下の処理を行う。まず、コマ枠直線が少なくともコ字状またはＬ字状となっている部分を見いだして、抽出領域を設定する（ステップＳ５２）。図２３に、設定された抽出領域ＣＬＭ１１、ＣＬＭ１２を示す。
【００９４】
なお、コマ枠直線がコ字状になっている部分が検出された場合には、コ字状のコマ枠直線を全て囲うように抽出領域を設定する。たとえば、図２４Ａに示すようなコ字状が検出された場合、コマ枠直線Ｌ２、Ｌ３を基準として、その外側３画素に矩形を抽出領域ＣＬＭとして設定する（Ｌ３より短いＬ１は辺の基準としない）。Ｌ１とＬ３が同じ長さの場合にはどちらを用いてもよい。図２３の抽出領域ＣＬＭ１１、ＣＬＭ１２はこのようにして設定されたものである。
【００９５】
また、この枠直線がＬ字状になっている部分が検出された場合には、Ｌ字状のコマ枠直線を基準として抽出領域を設定する。たとえば、図２４Ｂに示すようなＬ字状が検出された場合、コマ枠直線Ｌ４、Ｌ５を基準として、矩形の抽出領域ＣＬＭを設定する。
【００９６】
また、この実施形態では、設定した抽出領域内に少なくとも一部が含まれるコマ枠直線は、以後の抽出領域の設定には用いないようにしている。たとえば、図２５Ａに示すように、吹き出しなどがコマからはみ出ていたために、右上と左下が途切れた状態でコマ枠直線が検出されたとする。この場合、コマ枠直線Ｌ１、Ｌ６、Ｌ５による抽出領域ＣＬＭ１、コマ枠直線Ｌ２、Ｌ３、Ｌ４による抽出領域ＣＬＭ２が想定され、両者が重なったものとなる。
【００９７】
しかし、上記のように、この実施形態では、設定した抽出領域内に少なくとも一部が含まれるコマ枠直線は、以後の抽出領域の設定には用いない。したがって、抽出領域ＣＬＭ１が先に設定されると、コマ枠直線Ｌ４が、以後の抽出領域の設定には用いられないので、図２５Ｂに示すように、抽出領域ＣＬＭ２が重複せずに設定される。
【００９８】
また、抽出領域ＣＬＭ２が先に設定されると、コマ枠直線Ｌ１が、以後の抽出領域の設定には用いられないので、図２５Ｃに示すように、抽出領域ＣＬＭ１が重複せずに設定される。
【００９９】
この実施形態では、上記のようにして重複した抽出領域の設定を排除している。さらに、念のため、ＣＰＵ８０は、２つの抽出領域が重複している場合、一方の抽出領域の重心が、他方の抽出領域内に入っていれば、面積の小さい方の抽出領域を削除するようにしている。これにより、明らかに同じ領域に対して設定された抽出領域の重複を回避することができる。
【０１００】
また、図８の例では、コマ枠直線が二重に検出されている部分がある（部分ＤＵＰを囲うコマ枠直線）。この場合に、外側のコマ枠直線にて抽出領域が設定されると、内側のコマ枠直線は抽出領域の設定から排除されるので、重複して領域が設定されるおそれはない。
【０１０１】
なお、内側のコマ枠直線にて先に抽出領域が設定された場合には、外側のコマ枠直線によっても抽出領域が設定されることになる。この場合には、上記の重心の重なりによって、一方を削除して重複を回避することができる。なお、このような事態を未然に防ぐために、抽出領域の設定を行う場合には、長いコマ枠直線から順に検出を行うことが好ましい。
【０１０２】
次に、ＣＰＵ８０は、ステップＳ５２において設定した抽出領域の線を延長し、抽出領域以外の部分（残余部分）に、領域を設定する（ステップＳ５３）。図２６に、設定された領域を示す。
【０１０３】
次に、ＣＰＵ８０は、残余部分に設定したそれぞれの領域について、「黒」画素の部分を矩形で囲って抽出領域を設定する（ステップＳ５４）。この実施形態では、min-max法を用いて、抽出領域の設定を行っている。
【０１０４】
たとえば、図２６の領域ＳＣ５１について、ＣＰＵ８０は、次のようにして抽出領域を設定する。図２７Ａに、領域ＳＣ５１の詳細を示す。まず、ＣＰＵ８０は、この領域ＳＣ１において、最も小さいＸ座標を持つ「黒」画素を見いだし、そのＸ座標をＸminとして記録する。同様に、最も大きいＸ座標を持つ「黒」座標を見いだし、そのＸ座標をＸmaxとして記録する。
【０１０５】
さらに、ＣＰＵ８０は、最も小さいＹ座標を持つ「黒」画素を見いだし、そのＹ座標をＹminとして記録する。同様に、最も大きいＹ座標を持つ「黒」座標を見いだし、そのＹ座標をＹmaxとして記録する。
【０１０６】
ＣＰＵ８０は、図２７Ｂの二点鎖線にてに示すように、（Ｘmin，Ｙmin）と（Ｘmax，Ｙmax）によって定義される矩形を基準として、これより３画素分外側を抽出領域として設定する。
【０１０７】
このようにして、残余部分についても抽出領域ＣＬＭ２１、ＣＬＭ２２を設定した状態を、図２８に示す。ＣＰＵ８０は、ステップＳ５２、Ｓ５４において設定した全ての抽出領域から２つの抽出領域の組を対象として、これら２つの抽出領域を結合できるかどうかの判断を行う。この判断を、全ての抽出領域の組み合わせに対して行う。以下詳細を示す。
【０１０８】
まず、２つの対象抽出領域が接しているかどうかを判断する（ステップＳ５６）。この実施形態では、２つの対象抽出領域の枠間が３画素以内（重なっている場合を含む）にあれば接しているものと判断している。コマ枠線抽出の際の検出誤差を考慮したものである。
【０１０９】
２つの対象領域が接していなければ、結合しない。２つの対象領域が接していれば、原則的には結合するが、いくつかの例外がある。ＣＰＵ８０は、２つの対象領域が接していると判断すると、接合領域（接している領域）において、コマ枠線が接合領域の長さの９０％以上あるかどうかを判断する（ステップＳ５７）。
【０１１０】
図２９に、対象抽出領域ＣＬＭ１１と対象抽出領域ＣＬＭ２１の拡大図を示す。２つの領域ＣＬＭ１１、ＣＬＭ２１が接する位置に中心線ＣＬを設定する。２つの領域の間に空白があれば、その空白の中央を中心線ＣＬとし、２つの領域が重なっていれば重なりの中央を中心線ＣＬとする。この中心線ＣＬに垂直な両方向に３画素の範囲を、接合領域ＣＯＮとする。ＣＰＵ８０は、この接合領域ＣＯＮに、接合領域ＣＯＮの長手方向の９０％以上のコマ枠線があるかどうかを判断する。
【０１１１】
図２９の例では、抽出領域ＣＬＭ１１、ＣＬＭ１２ともに、コマ枠線から３画素外側に設定されているので、その領域は重なっている。重なった領域の中央に中心線ＣＬが設定されており、その外側３画素の範囲に接合領域ＣＯＮが設定されている。
【０１１２】
ＣＰＵ８０は、接合領域の長さ方向において、９０％以上のコマ枠線があれば、結合を行わない。図３０に、２つの抽出領域が接しているにもかかわらず、結合しない場合の例を示す。コマ枠線ＷＬが全幅にわたって引かれており、コマと背景等とを別のものとする意図があると思われるので、結合しないようにしている。
【０１１３】
なお、ステップＳ５７において、接合領域ＣＯＮに９０％以上のコマ枠線が見いだせない場合、ＣＰＵ８０は、ハードディスク８６に記録されている低しきい値漫画画像の、当該接合領域（に対応する領域）を取得する。ＣＰＵ８０は、低しきい値漫画画像の接合領域について、ステップＳ１３〜Ｓ２０に示す処理により、接合領域の長手方向に９５％以上の直線（コマ枠線）があるかどうかを判断する。
【０１１４】
９５％以上のコマ枠線があれば、結合を行わない。ステップＳ５７において既に判断しているにも拘わらず、さらに、ステップＳ５８で判断しているのは次のような理由によるものである。ステップＳ５７においては、通常のしきい値にて二値化した漫画画像に基づいてコマ枠線の有無を判断している。しかし、元の画像においてコマ枠線の近傍に画像がある場合には、コントラストの関係などから、本来描かれているコマ枠線の一部が、二値化画像に表れない可能性がある。そこで、確実にコマ枠線を検出できるように、しきい値を下げた画像に基づいて、コマ枠線の有無を判断している。この実施形態では、しきい値を下げているので、そのかわり、コマ枠線の有無の判断基準を９５％と厳しくしている（場合によっては、同じく９０％としてもよい）。
【０１１５】
なお、ステップＳ５７を実行せず、ステップＳ５８だけを実行するようにしてもよい。しかし、この実施形態では、処理速度と正確性の双方を実現するため、まずステップＳ５７によって判断し、ＮＯであった場合にのみステップＳ５８を実行するようにしている。
【０１１６】
ステップＳ５７、Ｓ５８において、所定長さ以上のコマ枠線が検出されなければ、ＣＰＵ８０は、通常の二値化・輪郭化漫画画像において、接合領域中に「黒」画素が一つもないかどうかを判断する（ステップＳ５９）。接合領域ＣＯＮにおいて、「黒」画素が全くなければ、コマ枠とコマ枠の間の余白である可能性が高いので、２つの対象抽出領域の結合は行わない。接合領域において「黒」画素が一つでもあれば、２つの対象抽出領域を一つの抽出領域に結合する（ステップＳ６０）。
【０１１７】
以後、ＣＰＵ８０は、全ての抽出領域の組合せについてステップＳ５５〜Ｓ６１を実行する。なお、ステップＳ６０にて結合された抽出領域は、未処理の抽出領域とみなして、再度、他の抽出領域との結合の要否を判断する。
【０１１８】
図２８の例であれば、抽出領域ＣＬＭ１１、ＣＬＭ２１、ＣＬＭ１２は、全て結合されることになる。
【０１１９】
図３１に、結合処理がなされた後の抽出領域ＣＬＭａ、ＣＬＭｂ、ＣＬＭｃを示す。全ての分割部分について結合処理を終えると、ＣＰＵ８０は、図３１に示す分割直線ＤＬａが、正しいものであるかどうかを再度チェックするようにしている。つまり、分割直線ＤＬａを挟んで、結合処理後の各抽出領域が結合されるかどうかを判断する。これは、たとえば、画像中に長い横線が絵の要素として含まれておりその周囲が白画像であった場合等に、間違って分割直線が設定されてしまう可能性があるからである。なお、この実施形態のように、分割部分ごとに処理を行うことで、抽出領域の組合せの数が減り、処理を高速化することもできる。
【０１２０】
図３１の場合であれば、分割直線ＤＬａを挟んで対向する、抽出領域ＣＬＭａと抽出領域ＣＬＭｃが結合されるか、抽出領域ＣＬＭｂと抽出領域ＣＬＭｃが結合されるかを判断する。この判断処理は図２０に示すように、各分割部分内における結合処理と同様である。
【０１２１】
図３１の例では、分割直線ＤＬａが正しく認識されており、抽出領域ＣＬＭａと抽出領域ＣＬＭｃ、抽出領域ＣＬＭｂと抽出領域ＣＬＭｃはいずれも結合されない。
【０１２２】
以上のようにして、ＣＰＵ８０は、図３２に示すように、コマ抽出するための抽出領域ＣＬＭａ、ＣＬＭｂ、ＣＬＭｃを生成する。ＣＰＵ８０は、この抽出領域ＣＬＭａ、ＣＬＭｂ、ＣＬＭｃに基づいて、元の漫画画像について、コマの抽出を行う。このようにして得られた各コマＣ１〜Ｃ３を、図３３に示す。
【０１２３】
４．その他の実施形態
(1)上記の実施形態では、１台のＰＣによって全ての処理を実行する場合について説明した。しかし、複数台のＰＣによって各機能を分担して実行するようにしてもよい。
【０１２４】
(2)上記実施形態では、スタンドアローンのＰＣとしてコマ抽出装置を構築した場合について説明した。しかし、サーバ装置としてコマ抽出装置を構築するようにしてもよい。この場合、サーバ装置とインターネットなどで通信可能な端末装置において、漫画画像をスキャンし、スキャン後の画像（あるいは、二値化・輪郭化した画像）をサーバ装置に送信するようにすればよい。サーバ装置は、処理結果として得た抽出領域を端末装置に返信する。あるいは、抽出領域によって抽出した各コマの画像を、端末装置に返信するようにしてもよい。
【０１２５】
(3)上記実施形態では、図３のステップＳ１、Ｓ３、Ｓ５のいずれも、本発明に係る手法を用いている。しかし、ステップＳ１、Ｓ３、Ｓ５のいずれか一つまたは二つを用い、他のステップは、従来技術による手法を用いるようにしてもよい。
【０１２６】
(4)上記実施形態では、ステップＳ５７、Ｓ５８を設けているが、いずれか一方だけを設けるようにしてもよい。
【０１２７】
(5)上記実施形態では、抽出領域内にコマが含まれていてもこれを無視するようにしている。しかし、抽出領域内においてもコマ枠線によってＬ状やコ字状の領域が形成されていれば、コマであるとして抽出するようにしてもよい。
【０１２８】
(6)上記実施形態では、水平方向に分割を行ってから、各分割部分にて抽出領域の設定・結合を行っている。しかし、垂直方向に分割行ってから、同様の処理を行うようにしてもよい。また、分割を行わずに、抽出領域の設定・結合を行うようにしてもよい。
【図２】
2017045219.tif 000003
【図３】
2017045219.tif 000004
【図４】
2017045219.tif 000005
【図５】
2017045219.tif 000006
【図７】
2017045219.tif 000007
【図９】
2017045219.tif 000008
【図１０】
2017045219.tif 000009
【図１１】
2017045219.tif 000010
【図１４】
2017045219.tif 000011
【図１６】
2017045219.tif 000012
【図１８】
2017045219.tif 000013
【図１９】
2017045219.tif 000014
【図２０】
2017045219.tif 000015
【図２４】
2017045219.tif 000016
【図２５】
2017045219.tif 000017
【図１】
2017045219.tif 000018
【図６】
2017045219.tif 000019
【図８】
2017045219.tif 000020
【図１２】
2017045219.tif 000021
【図１３】
2017045219.tif 000022
【図１５】
2017045219.tif 000023
【図１７】
2017045219.tif 000024
【図２１】
2017045219.tif 000025
【図２２】
2017045219.tif 000026
【図２３】
2017045219.tif 000027
【図２６】
2017045219.tif 000028
【図２７】
2017045219.tif 000029
【図２８】
2017045219.tif 000030
【図２９】
2017045219.tif 000031
【図３０】
2017045219.tif 000032
【図３１】
2017045219.tif 000033
【図３２】
2017045219.tif 000034
【図３３】
2017045219.tif 000035