(57)【特許請求の範囲】
【請求項１】
マンガのページ画像に対しコマ画像を照合して前記コマ画像に対応する前記ページ画像の対応部分を検出する方法であって、
前記ページ画像と前記コマ画像の相対的な縮尺を変更して第２ページ画像又は第２コマ画像を作成し、それを新たなページ画像又はコマ画像とする縮尺変更ステップと、
前記縮尺変更ステップで処理されたページ画像の同色領域に外接する外接矩形の中心点をページ特徴点とするステップと、
前記ページ特徴点のページ特徴量を求めるステップと、
前記縮尺変更ステップで処理されたコマ画像の同色領域に外接する外接矩形の中心点をコマ特徴点とするステップと、
前記コマ特徴点のコマ特徴量を求めるステップと、
前記ページ特徴量と前記コマ特徴量とを比較し、前記ページ特徴量と前記コマ特徴量とが互いに等しいか又はほぼ等しくなるページ特徴点及びコマ特徴点のペアを選び、選択ページ特徴点及び選択コマ特徴点のペアとするステップと、
前記選択ページ特徴点と前記選択コマ特徴点とが重なるように前記ページ画像と前記コマ画像とを重ね合わせて前記ページ画像と前記コマ画像との位置関係を決定するステップと、
前記選択コマ特徴点が存在する同色領域の外接矩形が、前記選択ページ特徴点が存在する同色領域の外接矩形と重なるような拡大縮小率をもって前記コマ画像を拡大又は縮小するステップと、
前記選択コマ特徴点を除いた他の各コマ特徴点のコマ特徴量と等しいか又はほぼ等しいページ特徴量を有するページ特徴点を、前記コマ特徴点からある一定の距離として定められる判定距離内で探し、このようなページ特徴点が存在すれば該ページ特徴点とコマ特徴点とが対応するとみなし、このように対応したページ特徴点とコマ特徴点のペアの数を、前記位置関係及び前記拡大縮小率における得点とするステップと、
前記選択ページ特徴点及び前記選択コマ特徴点のペアを変え、前記位置関係及び前記拡大縮小率を変化させて前記得点を求め、前記得点が最大となる適切な位置関係及び適切な拡大縮小率を求めるステップと、
あるコマ特徴点と対応するページ特徴点との距離の絶対値の総和が最も小さくなるように最小二乗法を用いて前記適切な位置関係及び前記適切な拡大縮小率を最適化するステップと
を含む方法。
【請求項２】
前記ページ画像と前記コマ画像の前記相対的な縮尺が複数個設定される、請求項１に記載の方法。
【請求項３】
前記ページ特徴量及び前記コマ特徴量は、外接矩形の縦横比と、（同色領域の面積÷該外接矩形の面積）の値とにより定まるものである、請求項１に記載の方法。
【請求項４】
請求項１〜３のいずれか一項に記載の方法をコンピュータに実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像のパターンマッチング方法及びプログラムに関する。具体的には、本発明は、マンガのページ画像に対しコマ画像を照合する方法及びプログラムに関する。
【背景技術】
【０００２】
画像のパターンマッチングは、特許文献１に記載されているように半導体の検査で用いられている。さらに、この画像のパターンマッチングは、特許文献２に記載されているように指紋認証などでも用いられている。
【０００３】
その一方で、マンガの製作には特別に配慮すべき事項があり、一般的なパターンマッチング法をそのまま利用することは難しい。
【０００４】
例えば、近年、マンガを携帯電話やＰＤＡ、ポータブル・ゲーム機などの小型端末に配信することが盛んになっている。ページ単位で作成されたマンガをこのような携帯端末の小さな画面にそのまま表示することはできないので、ページ単位のマンガ画像から、小画面に表示できるコマ画像を切り出す。このとき、ページ画像に日本語版のものと、その中の言葉や文章を外国語に置き換えた外国語版があると、日本語版から作成したコマ画像に対応して外国語版のコマ画像を自動的又は半自動的に作成することができれば、外国語版のコマ画像の作成が効率的になる。すなわち、このようなコマ画像の作成はオペレータの作業によるが、それを可能な限り簡略化するためのソフトウェアツールが求められている。
【０００５】
【特許文献１】特開２００６−２１４８１７号公報
【特許文献２】特開２００７−１２０８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
このように、パターンマッチングに基づくマンガの製作において利用できるソフトウェアツールが求められている。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明に係るマンガのページ画像に対しコマ画像を照合して前記コマ画像に対応する前記ページ画像の対応部分を検出する方法は、前記ページ画像と前記コマ画像の相対的な縮尺を変更して第２ページ画像又は第２コマ画像を作成し、それを新たなページ画像又はコマ画像とする縮尺変更ステップと、前記縮尺変更ステップで処理されたページ画像の同色領域に外接する外接矩形の中心点をページ特徴点とするステップと、前記ページ特徴点のページ特徴量を求めるステップと、前記縮尺変更ステップで処理されたコマ画像の同色領域に外接する外接矩形の中心点をコマ特徴点とするステップと、前記コマ特徴点のコマ特徴量を求めるステップと、前記ページ特徴量と前記コマ特徴量とを比較し、前記ページ特徴量と前記コマ特徴量とが互いに等しいか又はほぼ等しくなるページ特徴点及びコマ特徴点のペアを選び、選択ページ特徴点及び選択コマ特徴点のペアとするステップと、前記選択ページ特徴点と前記選択コマ特徴点とが重なるように前記ページ画像と前記コマ画像とを重ね合わせて前記ページ画像と前記コマ画像との位置関係を決定するステップと、前記選択コマ特徴点が存在する同色領域の外接矩形が、前記選択ページ特徴点が存在する同色領域の外接矩形と重なるような拡大縮小率をもって前記コマ画像を拡大又は縮小するステップと、前記選択コマ特徴点を除いた他の各コマ特徴点のコマ特徴量と等しいか又はほぼ等しいページ特徴量を有するページ特徴点を、前記コマ特徴点からある一定の距離として定められる判定距離内で探し、このようなページ特徴点が存在すれば該ページ特徴点とコマ特徴点とが対応するとみなし、このように対応したページ特徴点とコマ特徴点のペアの数を、前記位置関係及び前記拡大縮小率における得点とするステップと、前記選択ページ特徴点及び前記選択コマ特徴点のペアを変え、前記位置関係及び前記拡大縮小率を変化させて前記得点を求め、前記得点が最大となる適切な位置関係及び適切な拡大縮小率を求めるステップと、あるコマ特徴点と対応するページ特徴点との距離の絶対値の総和が最も小さくなるように最小二乗法を用いて前記適切な位置関係及び前記適切な拡大縮小率を最適化するステップとを含む。
【０００８】
別の実施形態で、前記ページ画像と前記コマ画像の前記相対的な縮尺を複数個設定することができる。
【０００９】
別の実施形態で、前記ページ特徴量及び前記コマ特徴量は、外接矩形の縦横比と、（同色領域の面積÷該外接矩形の面積）の値とにより定めることができる。
【００１０】
別の実施形態で、上述した本発明に係るマンガのページ画像に対しコマ画像を照合して前記コマ画像に対応する前記ページ画像の対応部分を検出する方法をコンピュータに実行させるコンピュータプログラムを提供される。
【発明の効果】
【００１１】
本発明によれば、マンガの製作に適したパターンマッチング方法を提供することができる。この方法により、マンガのページ画像にコマ画像を照合することで効率的にマンガを製作できる。
【発明を実施するための最良の形態】
【００１２】
次に、本発明に係るマンガのページ画像にコマ画像を照合する方法を実施する一つの形態について図面を参照しながら説明する。
【００１３】
まず、図１はマンガのページ画像１を示しており、図２はコマ画像２を示している。ページ画像１及びコマ画像２はともに色画像を白黒画像に変換するグレー化の処理がなされている。グレー化は、一例として、以下の式により行うことができる。「輝度」は白黒の輝度であり、Ｒ、Ｇ、Ｂは赤、緑、青の輝度を表す。
【数１】
0004880566.tif 000002
【００１４】
図３は、本発明に係るマンガのページ画像１にコマ画像２を照合する方法のフローチャートを示している。ステップＳ３０１から開始し、ステップＳ３０２においてページ画像１を縮小して新たなページ画像を作成する。このとき、ここでは縮小率として１／２を用いるが、１／３、１／４、１／５などを用いることもできる。この縮小率は任意であるが、ページ画像からコマ画像を作成するとき１／２から１／４くらいに縮小するのが一般的であるので、それにならって、１／２や１／４、１／８といった切りのいい縮小率を使用するものである。
【００１５】
ステップＳ３０３では、ステップＳ３０２で作成されたページ画像とコマ画像２において、白に近いピクセルと黒に近いピクセルとをそれぞれ塗りつぶす。この塗りつぶしは、例えばシード・フィル（ｓｅｅｄ  ｆｉｌｌ）・アルゴリズム又はスキャン・ライン・シード・フィル（ｓｃａｎ  ｌｉｎｅ  ｓｅｅｄ  ｆｉｌｌ）のアルゴリズムにより行うことができる。
【００１６】
具体的には、白に近いピクセルを塗りつぶすために、まず白いピクセルを１点見つける。そのピクセルを開始点として、シード・フィルで同じく白い色の領域を塗りつぶす。このようにして塗りつぶされた領域が、１つの同色領域となる。ここでの「同色」とは厳密な同色という意味である必要はなく、ある範囲をもった同系色を「同色」と考えることができる。次に、まだ塗られていない領域から白いピクセルを新たに１点見つける。そのピクセルを開始点として、シード・フィルで同じく白い色の領域を塗りつぶす。このようにして新たに塗りつぶされた領域が、もう１つの同色領域となる。これを、白いピクセルがなくなるまで続けることにより、白に近いピクセルの塗りつぶしが行われる。
【００１７】
黒に近いピクセルの塗りつぶしも同様である。まず黒いピクセルを１点見つける。そのピクセルを開始点として、シード・フィルで同じく黒い色の領域を塗りつぶす。このようにして塗りつぶされた領域が、１つの同色領域となる。ここでの「同色」とは厳密な同色という意味である必要はなく、ある範囲をもった同系色を「同色」と考えることができる。次に、まだ塗られていない領域から黒いピクセルを新たに１点見つける。そのピクセルを開始点として、シード・フィルで同じく黒い色の領域を塗りつぶす。このようにして新たに塗りつぶされた領域が、もう１つの同色領域となる。これを、黒いピクセルがなくなるまで続けることにより、黒に近いピクセルの塗りつぶしが行われる。
【００１８】
図４及び図５は、このようにして塗りつぶされたページ画像４及び塗りつぶされたコマ画像５をそれぞれ示している。
【００１９】
ステップＳ３０４では、ステップＳ３０３で塗りつぶされてできたページ画像４の特徴点を求める。この特徴点をページ特徴点と呼ぶ。このページ特徴点を求めるためには、まず、図６に示しているように、まずページ画像４における同色領域のうち面積が一定以上であって、ページ画像４の外周に接していない同色領域６１ａを選ぶ。次に、選ばれたこの同色領域６１ａに外接する外接矩形６２ａを定める。この外接矩形６２ａの対角線の交点をページ特徴点６３ａと定める。この他の同色領域についても同様にページ特徴点６３ｂ〜６３ｊを求めることができる。すなわち、図６に示されているページ画像４にはページ特徴点が１０個（６３ａ〜６３ｊ）存在する。これらページ特徴点の分布を図８に示している。
【００２０】
ここで、コマ画像はページ画像の一部を切り取って作成されるため、コマ画像の外周に接する領域は、ページ画像における広い領域の一部である。すなわち、このコマ画像の外周に接する領域の形状は、ページ画像における対応領域の形状とは異なる。したがって、上述したように、ステップＳ３０４では、ページ画像４の外周に接していない同色領域から特徴点を抽出する。
【００２１】
ステップＳ３０５では、ステップＳ３０４で求めたページ特徴点６１の特徴量であるページ特徴量を求める。このページ特徴量は、ページ特徴点６３が存在する外接矩形６２の縦横比と、（その同色領域の面積÷外接矩形６２の面積）の値とにより定めることができる。つまり、このページ特徴量は単一の値ではなく、２つの値により定まるものである。
【００２２】
ステップＳ３０６では、ステップＳ３０３で塗りつぶされてできたコマ画像５の特徴点を求める。この特徴点をコマ特徴点と呼ぶ。このコマ特徴点は、ページ特徴点と同様のやり方で求めることができる。すなわち、コマ特徴点を求めるためには、まず、図７に示しているように、コマ画像５における同色領域のうち面積が一定以上であって、コマ画像５の外周に接していない同色領域７１ａを選ぶ。次に、選ばれた同色領域７１ａに外接する外接矩形７２ａを定める。この外接矩形７２ａの対角線の交点をコマ特徴点７３ａと定める。他の同色領域についても同様にコマ特徴点７３ｂ〜７３ｌを求めることができる。すなわち、図７に示されているコマ画像５にはコマ特徴点が１２個（７３ａ〜７３ｌ）存在する。これらコマ特徴点の分布を図９に示している。
【００２３】
ステップＳ３０７では、ステップＳ３０６で求めたコマ特徴点７１の特徴量であるコマ特徴量を求める。このコマ特徴量は、上述したページ特徴量と同様のやり方で求めることができる。すなわち、このコマ特徴量は、コマ特徴点７３が存在する外接矩形７２の縦横比と、（その同色領域の面積÷外接矩形７２の面積）の値とにより定めることができる。コマ特徴量も単一の値ではなく、２つの値により定まるものである。
【００２４】
ステップＳ３０８では、ステップＳ３０５で求めたページ特徴量とステップＳ３０７で求めたコマ特徴量とが互いに等しいか又はほぼ等しくなるページ特徴点及びコマ特徴点のペアを選ぶ。選ばれたページ特徴点及びコマ特徴点のペアを選択ページ特徴点及び選択コマ特徴点のペアとする。ここでは、ページ特徴点６３ｂを選択ページ特徴点とし、コマ特徴点７３ｃを選択コマ特徴点とする。
【００２５】
ステップＳ３０９では、選択ページ特徴点６３ｂと選択コマ特徴点７３ｃとが重なるように、ページ画像４とコマ画像５とを重ねあわせる。これにより、ページ画像４とコマ画像５とのある位置関係が定まる。
【００２６】
ステップＳ３１０では、選択コマ特徴点７３ｃが存在する外接矩形が、選択ページ特徴点６３ｂが存在する外接矩形と重なるようにコマ画像を拡大または縮小する。これは、（選択ページ特徴点６３ｂが存在する外接矩形の面積÷選択コマ特徴点７３ｃが存在する外接矩形の面積）の値を、全てのコマ特徴点の座標に乗じ、コマ特徴点を平行移動させることにより行うことができる。コマ画像の拡大または縮小後のページ特徴点及びコマ特徴点の分布を図１０に示している。
【００２７】
ここで、選択ページ特徴点のページ特徴量のうちの外接矩形の縦横比と、選択コマ特徴点のコマ特徴量のうちの外接矩形の縦横比とが少なくともほぼ等しいため、コマ画像をある拡大縮小率で拡大又は縮小すると、選択コマ特徴点７３ｃが存在する外接矩形が、選択ページ特徴点６３ｃが存在する外接矩形と少なくともほぼ重なることに注意されたい。
【００２８】
ステップＳ３１１では、まず選択コマ特徴点を除いた他のコマ特徴点のコマ特徴量と等しいか又はほぼ等しいページ特徴量を有するページ特徴点を、前記コマ特徴点からある一定の距離として定められる判定距離内で探す。この判定距離を用いるのは、縮小などにより生ずる特徴点の位置のずれに対応できるようにするとともに、あまり離れた点が計算の対象となることを防ぐためである。このようなページ特徴点が存在すると、ページ画像の一部分とコマ画像の対応関係が一応明らかになったと考えられる。そして、このように対応するページ特徴点とコマ特徴点のペアの数を、ステップＳ３０９において重ね合わせた位置関係及び前記拡大縮小率における得点と定める。なお、対応するページ特徴点とコマ特徴点のペアが図１０において丸印で示されている。ここでは、対応するページ特徴点とコマ特徴点のペアが７ペア存在するため、この場合の得点は「７」である（選択ページ特徴点６３ｂと選択コマ特徴点７３ｃのペアは得点には含めない）。
【００２９】
ステップＳ３１２では、ページ画像のページ特徴点に対する対応関連を見つけることができるコマ特徴点毎に、ページ特徴点とコマ特徴点との距離の絶対値を求めて、それを足し合わせた値を画像処理誤差として求める。以下に画像処理誤差を求める式を示す。
【数２】
0004880566.tif 000003
ここで、Ｘｎ１、Ｙｎ１は、コマ特徴点のうち、上記判定距離内にページ特徴点が存在するコマ特徴点のＸ座標とＹ座標とをそれぞれ表している。Ｘｎ２，Ｙｎ２は、コマ特徴点（Ｘｎ１，Ｙｎ１）から上記判定距離内に存在するページ特徴点のＸ座標とＹ座標とをそれぞれ表している。ｍは、判定距離内にページ特徴点が存在するコマ特徴点の数である。
【００３０】
ステップＳ３１３では、ステップＳ３０８で選択された選択ページ特徴点と選択コマ特徴点のペアを除いて、他にページ特徴量とコマ特徴量が等しいかほぼ等しいページ特徴点とコマ特徴点とのペアが存在するかを決定する。そして、このようなペアが存在する場合は、ステップＳ３０８からステップＳ３１２を繰り返す。これに対して、他にこのようなペアが存在しない場合は次のステップＳ３１４に進む。
【００３１】
ステップＳ３１４では、ページ画像に対する処理中のコマ画像の適切な位置関係と拡大縮小率を求める。具体的には、ステップＳ３１１で対応するページ画像と処理中のコマ画像との間で求められた得点のうち、最大の得点を有するページ画像とコマ画像との位置関係及びコマ画像の拡大縮小率を決定する。最大の得点を有する位置関係が複数ある場合は、ステップＳ３１２において求められた画像処理誤差が最小の位置関係を選ぶ。
【００３２】
ステップＳ３１５では、最適な位置関係と拡大縮小率を求めるために、ステップＳ３１４で決定された位置関係と拡大縮小率とを最小二乗法により最適化する。そして、ステップＳ３１６で手順を終了する。
【００３３】
以上のようにしてページ画像とコマ画像の照合が行われる。ページ画像の照合位置とコマ画像とを重ね合わせた様子を図１１に示している。
【００３４】
なお、ステップＳ３０２においてページ画像の縮小率として１／２を選択した。ここで、別の縮小率として例えば１／４を用い、ステップＳ３０３からステップＳ３１５を実行して、縮小率が１／２の場合のステップＳ３１５で定まる最適な位置関係と拡大縮小率と、縮小率が１／４の場合のステップＳ３１５で定まる最適な位置関係と拡大縮小率とを比較し、より良い位置関係及び拡大縮小率を採用することもできる。別の縮小率として１／３や１／５とすることもでき、また複数設定することもできる。
【００３５】
マンガのページ画像及びコマ画像において、グレーの領域は元々網点などが描かれていた領域である。特にページ画像及びコマ画像は、縮小によりグレーの領域の形状が大幅に変わる。すなわち、このグレーの領域から特徴点を抽出することは効率的とはいえない。
【００３６】
マンガは主線を黒色又は白色で描くため、写真や文章の画像とは異なり、黒色の主線で囲まれた白色の領域又は白色の主線で囲まれた黒色の領域を多く含んでいる。これら白色の領域及び黒色の領域は、縮小による画像劣化の影響を主線よりも受けにくいという特徴がある。したがって、白色の領域及び黒色の領域は、縮小したページ画像とのマッチングに用いる特徴点を抽出する領域に適している。本発明は、この特性を利用してなされたものである。
【００３７】
本発明に係る方法によれば、日本語版のページ画像から作成した日本語版のコマ画像と、外国語版のページ画像とがある場合に、日本語版のコマ画像に対応して外国語版のコマ画像を効率的に作成できる。
【００３８】
さらに、本発明に係る方法によれば、あるページ画像とそのページ画像から作成された複数のコマ画像とがある場合に、それぞれのコマ画像がページ画像のどの部分に対応しているかを効率的に決定できる。
【００３９】
なお、本発明は、以上の説明から明らかなように、マンガのページ画像に対しコマ画像を照合するために、当業者が技術常識に基づいて組み上げることのできるプログラムもその技術的範囲に含むものである。
【図面の簡単な説明】
【００４０】
【図１】マンガのページ画像を示す図である。
【図２】マンガのコマ画像を示す図である。
【図３】本発明に係る方法の処理手順を示すフローチャートである。
【図４】ページ画像の黒に近いピクセルと白に近いピクセルとをそれぞれ塗りつぶした図である。
【図５】コマ画像の黒に近いピクセルと白に近いピクセルとをそれぞれ塗りつぶした図である。
【図６】ページ画像における同色領域と外接矩形とページ特徴点とを示す図である。
【図７】コマ画像における同色領域と外接矩形とコマ特徴点とを示す図である。
【図８】ページ特徴点の分布を示す図である。
【図９】コマ特徴点の分布を示す図である。
【図１０】コマ画像の拡大または縮小後のページ特徴点及びコマ特徴点の分布を示す図である。
【図１１】ページ画像の照合位置とコマ画像とを重ね合わせた様子を示す図である。
【符号の説明】
【００４１】
１  ページ画像
２  コマ画像
４  ページ画像を塗りつぶした画像
５  コマ画像を塗りつぶした画像
６１  ページ画像における同色領域
６２  ページ画像における外接矩形
６３、６３ａ〜６３ｊ  ページ特徴点
７１  コマ画像における同色領域
７２  コマ画像における外接矩形
７３、７３ａ〜７３ｌ  コマ特徴点
【図３】
0004880566.tif 000004
【図８】
0004880566.tif 000005
【図９】
0004880566.tif 000006
【図１０】
0004880566.tif 000007
【図１】
0004880566.tif 000008
【図２】
0004880566.tif 000009
【図４】
0004880566.tif 000010
【図５】
0004880566.tif 000011
【図６】
0004880566.tif 000012
【図７】
0004880566.tif 000013
【図１１】
0004880566.tif 000014