(57)【特許請求の範囲】
【請求項１】
入力された画像の傾きを補正する画像処理装置において、
入力画像の中心領域の画素値を所定の画素値に統一して、エッジ画素を抽出するエッジ抽出手段と、
前記エッジ抽出手段によって抽出されたエッジ画素を連結して線分を抽出する線分抽出手段と、
前記線分抽出手段によって抽出された線分を基に画像の傾き角度を抽出する傾き抽出手段と、
前記傾き抽出手段によって抽出された画像の傾き角度を基に画像の傾きを補正する傾き補正手段とを有することを特徴とする画像処理装置。
【請求項２】
前記エッジ抽出手段は、前記所定の画素値に統一された画素値を対象にエッジ画素を抽出することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記線分抽出手段は、エッジ画素を連結しエッジ座標を抽出するエッジ座標抽出手段と、前記エッジ座標を走査し、各エッジ座標から次エッジ座標への方向コードを付与する方向コード付与手段と、前記方向コード付与手段によって与えられたある方向コードとそれに連なる方向コードとの傾きの差に基いて抽出した屈曲点のエッジ座標と、端点のエッジ座標とを結ぶ線分に新たな方向コードを付与する第２の方向コード付与手段とを有することを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記第２の方向コード付与手段は、各エッジ座標の方向コードを走査し、ある方向コードとそれに連なる方向コードとの傾きの差が所定の閾値以下の点のエッジ座標を消去し、前記傾きの差が所定の閾値より大きい点である屈曲点のエッジ座標を保存するとともに、端点のエッジ座標を保存し、各点を結ぶことによって新たな線分を抽出し、その線分に新たな方向コードを付与することを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記線分抽出手段は、前記新たな方向コードを付与した線分を走査し、線分長が所定の閾値より長く、かつ方向コードの傾きが所定の範囲にある線分を水平線分または垂直線分として抽出することを特徴とする請求項３記載の画像処理装置。
【請求項６】
前記傾き抽出手段は、抽出された全線分に対して、各線分角度を抽出し、抽出された各線分角度に、全線分長さの和を分母とし、各線分長さを分子とした重みを乗じ、この重み付き線分角度を全て加算した値を画像の傾き角度として抽出することを特徴とする請求項１記載の画像処理装置。
【請求項７】
入力画像の中心領域の画素値を所定の画素値に統一して前記入力画像の傾きを補正する画像処理装置であって、入力画像に対して傾きを抽出する傾き抽出手段と、前記傾き抽出手段によって抽出された傾きを基に画像の傾きを補正する傾き補正手段と、前記傾き補正手段によって補正された傾きが、所定の閾値以下である場合に補正の終了を判定する終了判定手段とを有し、前記終了判定手段によって終了と判定されるまで、傾き補正後の出力画像を新たな入力画像として、傾き抽出、傾き補正および終了判定を繰り返すことを特徴とする画像処理装置。
【請求項８】
入力画像の中心領域の画素値を所定の画素値に統一して前記入力画像の傾きを補正する画像処理方法であって、入力された画像のエッジ画素を抽出するステップと、抽出されたエッジ画素を連結して線分を抽出するステップと、抽出された線分を基に画像の傾き角度を抽出するステップと、抽出された画像の傾き角度を基に画像の傾きを補正するステップとを含むことを特徴とする画像処理方法。
【請求項９】
入力画像の中心領域の画素値を所定の画素値に統一して前記入力画像の傾きを補正する画像処理方法において、入力画像に対して傾きを抽出するステップと、抽出された傾きを基に画像の傾きを補正するステップと、補正された傾きが、所定の閾値以下である場合に補正の終了を判定するステップとを有し、補正された傾きが、所定の閾値よりも大きい場合には、終了と判定されるまで、傾き補正後の出力画像を新たな入力画像として、傾き抽出、傾き補正および終了判定を繰り返すことを特徴とする画像処理方法。
【請求項１０】
入力画像の中心領域の画素値を所定の画素値に統一して前記入力画像のエッジ画素を抽出するステップと、抽出されたエッジ画素を連結して線分を抽出するステップと、抽出された線分を基に画像の傾き角度を抽出するステップと、抽出された画像の傾き角度を基に画像の傾きを補正するステップとを含む画像処理方法を、コンピュータに実行させるためのプログラムを記録したコンピュータによって読取り可能な記録媒体。
【請求項１１】
入力画像の中心領域の画素値を所定の画素値に統一して前記入力画像に対して傾きを抽出するステップと、抽出された傾きを基に画像の傾きを補正するステップと、補正された傾きが、所定の閾値以下である場合に補正の終了を判定するステップとを有し、補正された傾きが所定の閾値よりも大きい場合には、終了と判定されるまで、傾き補正後の出力画像を新たな入力画像として、傾き抽出、傾き補正および終了判定を繰り返す画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータによって読取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力された画像データの傾きを補正する画像処理装置、画像処理方法およびそれを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来、産業の中心は、その発展過程の中でハードウェア産業からソフトウェア産業へと移行を遂げ、さらに２１世紀はコンテンツ産業へ移行すると予測される。そして、コンテンツ産業の最も近いターゲットは、近年国内外で注目を集めている電子書籍であり、その中でも、画像処理技術を応用してローコストで作成可能な画像ベースの電子書籍が有力視されている。特に日本国内では、売上で全紙書籍の約半数を占める「漫画」が対象となるため、画像ベースの電子書籍がその中心となる。
【０００３】
画像ベースの電子書籍の利点は、既存の校正済み書籍を基に、▲１▼スキャナ入力→▲２▼傾き補正→▲３▼各種画像処理→▲４▼人手による修正／編集→▲５▼コンテンツ出力までの作成過程のほとんどが自動化でき、極めてローコストにコンテンツが作成できる点である。そして、商品となるコンテンツデータは高精度に傾き補正しておく必要があるため、上記作成過程では、特に▲２▼の傾き補正が重要となる。
【０００４】
入力画像の傾きを自動的に補正する「傾き補正技術」は、電子ファイリングシステム、ＯＣＲ（Optical Character Reader；光学式文字読取装置）ソフトの前処理機能などで既に実現されており、特開平９−１２０４３０号公報の「画像処理装置」（従来技術１）、および特開平０１−６４０７６号公報の「画像ファイル装置」（従来技術２）に従来技術が開示されている。
【０００５】
従来技術１は、画像に罫線などが存在する場合に、画像の輪郭座標列を走査し、輪郭の４隅を求め、その４隅から細長い形状のものを線分として抽出し、抽出された線分の中で最も細長いものから画像の傾きを抽出し補正する方式である。
【０００６】
また、従来技術２は、入力原稿の周辺エッジ部分が白である前提条件のもと、画像入力時の原稿よりも外側の領域を黒とし、その情報をもとに原稿の周辺エッジ部分を抽出し、そのエッジ情報から原稿の傾きを抽出し補正する方式である。
【０００７】
前記従来技術１では、孤立した線分が存在する場合に安定した性質を有し、前記従来技術２では、原稿周辺エッジが白となる条件下で安定した性能を有する。
【０００８】
【発明が解決しようとする課題】
しかしながら、これらの従来技術を、画像ベースの電子書籍で最重要となる「漫画」に対して適用すると、「漫画」が有する各種問題のため補正精度が低下する問題が発生する。その結果、人手による補正工数が大となり、画像ベース電子書籍の利点（ローコストな電子化）がそこなわれる。従来技術の問題点を、以下、具体的に述べる。
【０００９】
従来技術１では、輪郭形状が細長いものを線分として抽出しているため、線分が他の文字や絵などと接触している場合（このようなケースは漫画で頻出する）は、線分の輪郭の４隅が抽出できず、輪郭形状が細長くならず適用できない。
【００１０】
また、最も細長い線分を１つだけ採用するため、その線分に傾きがあった場合は、補正結果が誤りとなる。これは、漫画ではコマ線が意図的に斜めに書かれている場合があるからである。
【００１１】
従来技術２では、原稿の周辺エッジが白であることを前提条件とし、画像入力時の原稿より外側部分を黒画素とすることにより周辺エッジを抽出するものであるが、周辺に絵がある原稿や周辺が黒く塗られている原稿（このようなケースも漫画では頻出する）は、正確に原稿の周辺エッジが抽出できず、補正結果が誤りとなる。
【００１２】
以上のとおり、漫画などを対象とした場合、これらの従来技術では高精度に傾き補正ができないという問題があった。
【００１３】
本発明の目的は、画像中に存在する線分が文字や絵と接触している場合、補正誤りの要因となる斜め線分が存在している場合、および原稿の周辺エッジが白でない場合でも、高精度に傾き補正を行うことができる画像処理装置、画像処理方法およびそれを記録した記録媒体を提供することである。
【００１４】
【課題を解決するための手段】
本発明は、入力された画像の傾きを補正する画像処理装置において、
入力画像の中心領域の画素値を所定の画素値に統一して、エッジ画素を抽出するエッジ抽出手段と、
前記エッジ抽出手段によって抽出されたエッジ画素を連結して線分を抽出する線分抽出手段と、
前記線分抽出手段によって抽出された線分を基に画像の傾き角度を抽出する傾き抽出手段と、
前記傾き抽出手段によって抽出された画像の傾き角度を基に画像の傾きを補正する傾き補正手段とを有することを特徴とする画像処理装置である。
【００１５】
本発明に従えば、画像処理装置は、入力された画像のエッジ画素を抽出し、抽出されたエッジ画素を連結して線分を抽出し、抽出された線分を基に画像の傾き角度を抽出し、抽出された画像の傾き角度を基に画像の傾きを補正するので、入力された画像中に存在する線分が文字や絵と接触している場合でも、補正誤りの要因となる斜め線分が存在している場合でも、原稿の周辺エッジが白でない場合でも、高精度に傾き補正を行うことができる。
【００１７】
また前記エッジ抽出手段は、入力画像の中心領域の画素値を、所定の画素値にするので、画像中心部に存在するエラー要因、たとえば斜め線分が削除され、傾き補正の性能が向上し、また傾き補正を高速化することができる。
また本発明の前記エッジ抽出手段は、所定の画素値に統一された画素値を対象にエッジ画素を抽出することを特徴とする。
本発明に従えば、エッジ画素は所定の画素値に統一された画素値から抽出されるので、前記所定の画素値以外の画素値を有する画素は非エッジ画素とし、入力画像の全画素からエッジ画素を注目画素として抽出することができる。
【００１８】
また本発明の前記線分抽出手段は、エッジ画素を連結しエッジ座標を抽出するエッジ座標抽出手段と、前記エッジ座標を走査し、各エッジ座標から次エッジ座標への方向コードを付与する方向コード付与手段と、前記方向コード付与手段によって与えられたある方向コードとそれに連なる方向コードとの傾きの差に基いて抽出した屈曲点のエッジ座標と、端点のエッジ座標とを結ぶ線分に新たな方向コードを付与する第２の方向コード付与手段とを有することを特徴とする。
【００１９】
本発明に従えば、前記線分抽出手段は、エッジ座標抽出手段によって、エッジ画素を連結しエッジ座標を抽出し、方向コード付与手段によって、前記エッジ座標を走査し、各エッジ座標から次エッジ座標への方向コードを付与し、各エッジ座標の方向コードを走査し、第２の方向コード付与手段によって、ある方向コードとそれに連なる方向コードとの傾きの差が所定の閾値以下の点のエッジ座標を消去し、前記傾きの差が所定の閾値より大きい点である屈曲点のエッジ座標を保存するとともに、端点のエッジ座標を保存し、各点を結ぶことによって新たな線分を抽出し、その線分に新たな方向コードを付与する。これによって、エッジ座標から各線分が抽出される。
また本発明の前記第２の方向コード付与手段は、各エッジ座標の方向コードを走査し、ある方向コードとそれに連なる方向コードとの傾きの差が所定の閾値以下の点のエッジ座標を消去し、前記傾きの差が所定の閾値より大きい点である屈曲点のエッジ座標を保存するとともに、端点のエッジ座標を保存し、各点を結ぶことによって新たな線分を抽出し、その線分に新たな方向コードを付与することを特徴とする。
本発明に従えば、第２の方向コード付与手段によって、ある方向コードとそれに連なる方向コードとの傾きの差が所定の閾値以下の点のエッジ座標が消去され、前記傾きの差が所定の閾値より大きい点である屈曲点のエッジ座標および端点のエッジ座標は保存される。こうして保存されたエッジ座標の各点を結ぶことによって新たな線分が抽出され、その新たな線分には新たな方向コードが付与される。
【００２０】
また本発明の前記線分抽出手段は、前記新たな方向コードを付与した線分を走査し、線分長が所定の閾値より長く、かつ方向コードの傾きが所定の範囲にある線分を水平線分または垂直線分として抽出することを特徴とする。
【００２１】
本発明に従えば、前記線分抽出手段は、前記新たな方向コードを付与した線分を走査し、線分長が所定の閾値より長く、かつ方向コードの傾きが所定の範囲にある線分を水平線分または垂直線分として抽出するので、傾き補正に不必要な極端な斜め線分や短い線分を除去することができる。
【００２２】
また本発明の前記傾き抽出手段は、抽出された全線分に対して、各線分角度を抽出し、抽出された各線分角度に、全線分長さの和を分母とし各線分長さを分子とした重みを乗じ、この重み付き線分角度を全て加算した値を画像の傾き角度として抽出することを特徴とする。
【００２３】
本発明に従えば、前記傾き抽出手段は、抽出された全線分に対して、各線分角度を抽出し、抽出された各線分角度に、全線分長さの和を分母とし各線分長さを分子とした重みを乗じ、この重み付き線分角度を全て加算した値を画像の傾き角度として抽出するので、線分長さの長いものほどその傾き角度を採用することができ、エラー要因となりうる線分の角度が反映されにくくなる。
【００２４】
また本発明は、入力画像の中心領域の画素値を所定の画素値に統一して前記入力画像の傾きを補正する画像処理装置であって、入力画像に対して傾きを抽出する傾き抽出手段と、前記傾き抽出手段によって抽出された傾きを基に画像の傾きを補正する傾き補正手段と、前記傾き補正手段によって補正された傾きが、所定の閾値以下である場合に補正の終了を判定する終了判定手段とを有し、前記終了判定手段によって終了と判定されるまで、傾き補正後の出力画像を新たな入力画像として、傾き抽出、傾き補正および終了判定を繰り返すことを特徴とする画像処理装置である。
【００２５】
本発明に従えば、画像処理装置は、入力画像に対して傾きを抽出し、抽出された傾きを基に画像の傾きを補正し、補正された傾きが所定の閾値以下である場合に補正の終了を判定し、傾きが所定の閾値よりも大きい場合には終了と判定されるまで、傾き補正後の出力画像を新たな入力画像として、傾き抽出、傾き補正および終了判定を繰返すので、傾き補正精度を向上させることができる。
【００２６】
また本発明は、入力画像の中心領域の画素値を所定の画素値に統一して前記入力画像の傾きを補正する画像処理方法であって、入力された画像のエッジ画素を抽出するステップと、抽出されたエッジ画素を連結して線分を抽出するステップと、抽出された線分を基に画像の傾き角度を抽出するステップと、抽出された画像の傾き角度を基に画像の傾きを補正するステップとを含むことを特徴とする画像処理方法である。
【００２７】
本発明による画像処理方法に従えば、入力画像の中心領域の画素値を所定の画素値に統一して前記入力画像のエッジ画素を抽出し、抽出されたエッジ画素を連結して線分を抽出し、抽出された線分を基に画像の傾き角度を抽出し、抽出された画像の傾き角度を基に画像の傾きを補正するので、入力された画像中に存在する線分が文字や絵と接触している場合でも、補正誤りの要因となる斜め線分が存在している場合でも、原稿の周辺エッジが白でない場合でも、高精度に傾き補正を行うことができる。
【００２８】
また本発明は、入力画像の中心領域の画素値を所定の画素値に統一して前記入力画像の傾きを補正する画像処理方法において、入力画像に対して傾きを抽出するステップと、抽出された傾きを基に画像の傾きを補正するステップと、補正された傾きが、所定の閾値以下である場合に補正の終了を判定するステップとを有し、補正された傾きが、所定の閾値よりも大きい場合には、終了と判定されるまで、傾き補正後の出力画像を新たな入力画像として、傾き抽出、傾き補正および終了判定を繰り返すことを特徴とする画像処理方法である。
【００２９】
本発明による画像処理方法に従えば、入力画像の中心領域の画素値を所定の画素値に統一して前記入力画像に対して傾きを抽出し、抽出された傾きを基に画像の傾きを補正し、補正された傾きが所定の閾値以下である場合に補正の終了を判定し、傾きが所定の閾値よりも大きい場合には終了と判定されるまで、傾き補正後の出力画像を新たな入力画像として、傾き抽出、傾き補正および終了判定を繰返すので、傾き補正精度を向上させることができる。
【００３０】
また本発明は、入力画像の中心領域の画素値を所定の画素値に統一して前記入力画像のエッジ画素を抽出するステップと、抽出されたエッジ画素を連結して線分を抽出するステップと、抽出された線分を基に画像の傾き角度を抽出するステップと、抽出された画像の傾き角度を基に画像の傾きを補正するステップとを含む画像処理方法を、コンピュータに実行させるためのプログラムを記録したコンピュータによって読取り可能な記録媒体である。
【００３１】
本発明に従えば、コンピュータに実行させるためのプログラムを記録したコンピュータ読取可能な記録媒体は、入力された画像のエッジ画素を抽出し、抽出されたエッジ画素を連結して線分を抽出し、抽出された線分を基に画像の傾き角度を抽出し、抽出された画像の傾き角度を基に画像の傾きを補正する画像処理方法を記録するので、入力された画像中に存在する線分が文字や絵と接触している場合でも、補正誤りの要因となる斜め線分が存在している場合でも、原稿の周辺エッジが白でない場合でも、高精度に傾き補正を行うことができる。
【００３２】
また本発明は、入力画像の中心領域の画素値を所定の画素値に統一して前記入力画像に対して傾きを抽出するステップと、抽出された傾きを基に画像の傾きを補正するステップと、補正された傾きが、所定の閾値以下である場合に補正の終了を判定するステップとを有し、補正された傾きが所定の閾値よりも大きい場合には、終了と判定されるまで、傾き補正後の出力画像を新たな入力画像として、傾き抽出、傾き補正および終了判定を繰り返す画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータによって読取り可能な記録媒体である。
【００３３】
本発明に従えば、コンピュータに実行させるためのプログラムを記録したコンピュータ読取可能な記録媒体は、入力画像に対して傾きを抽出し、抽出された傾きを基に画像の傾きを補正し、補正された傾きが所定の閾値以下である場合に補正の終了を判定し、傾きが所定の閾値よりも大きい場合には終了と判定されるまで、傾き補正後の出力画像を新たな入力画像として、傾き抽出、傾き補正および終了判定を繰返す画像処理方法を記録するので、高精度に傾き補正を行うことができる。
【００３４】
【発明の実施の形態】
以下、一般的な漫画画像を例にあげ、本発明の実施の形態について説明する。
【００３５】
図１は、原稿よりも外側の部分が黒色で入力された漫画画像１を示す概略図である。図１に示すように、漫画画像１には、断ち落とし部分（原稿の端まで絵が書いてある部分）１ａ、原稿の周辺エッジが黒く塗られている部分１ｂ、または意図的に斜めに書かれているコマ線１ｃが存在する。しかし、原稿の周辺付近に書かれているコマ線の大多数は、コマ線１ｄのように原稿の上辺および下辺に平行な水平方向、または原稿の左辺および右辺に平行な垂直方向に延び、斜めのコマ線が絵が書いてある部分よりも外側に書かれていることはほとんどない。つまり、原稿の周辺付近に書かれているコマ線は、ほとんどが水平方向または垂直方向の線である。また、各コマ線は孤立して存在する場合もあるが、多くはコマ線１ｅのように、絵やスクリーントーンなどに接触している。また、辺１ｆのように、原稿の周辺エッジがすべて白い辺も存在する。
【００３６】
次に、本発明の実施の一形態である画像処理装置による画像処理方法について説明する。前記画像処理装置は、入力された画像のエッジ画素を抽出するエッジ抽出手段と、抽出されたエッジ画素を連結して線分を抽出する線分抽出手段と、抽出された線分を基に画像の傾き角度を抽出する傾き抽出手段と、抽出された画像の傾き角度を基に画像の傾きを補正する傾き補正手段と、抽出された傾きを基に終了判定を行う終了判定手段とを有する。画像処理装置は、図１に示す漫画画像１のような入力画像に対する原稿の傾きを補正、すなわち原稿の周辺エッジが入力画像の縦枠および横枠に平行となるように補正する画像処理を行う。
【００３７】
図１に示す漫画画像１が入力されると、画像処理装置は、有力な画像周辺領域の水平方向および垂直方向の線分に注目するため、まずエッジ抽出手段によって、入力された漫画画像１の中心領域を、原稿上コマ外の背景画素、ここでは白画素でマスクする。つまり、前記中心領域の画素値をすべて所定の画素値に統一する。マスクする中心領域の形状は、円でも矩形でも任意であるが、本実施の形態では矩形領域とし、その縦方向の長さは入力画像の１／３とし、幅方向の長さは入力画像の１／３とする。このように、中心領域をマスクすることによって、画像中心部に存在するエラー要因（斜め線分など）が削除されるので、傾き補正の性能が向上し、傾き補正を高速化することができる。なお、すべての画素に対して以降に説明する画像処理を行い、最終的に中心付近を無視しても結果は同様であるが、その場合、不要な画素に対しての処理が必要となるため処理速度の低下を招く。
【００３８】
次に、エッジ抽出手段によって、マスクされた画像のエッジ画素を抽出する。これは、画像に対して上→下、左→右の２方向に走査し、注目画素が黒画素で、直前の画素値が白画素の場合、または直後の画素値が白画素の場合に、注目画素をエッジ画素として抽出することによって行う。
【００３９】
図２は、図１に示す漫画画像１からエッジ画素が抽出された抽出画像２を示す概略図である。図２に示す抽出画像２を人間が見ると、漫画画像１から線分が抽出されているように錯覚するが、実際は抽出したエッジ画素を黒で、その他の非エッジ画素を白で表示しているだけで、線分などの情報は取れていない。
【００４０】
抽出画像２において、図１に示す断ち落し部分１ａに対応する部分２ａ、および図１に示す原稿の周辺エッジが黒く塗られている部分１ｂに対応する部分２ｂは、原稿外の黒色で入力された部分と違いがつかず、原稿エッジが不安定となっている。また図２の中心領域であるマスク領域２ｃは、マスクすることにより斜め線分などが大幅にカットされ、矩形の白抜きとして示される。さらに、図１に示すように、原稿よりも外側の部分を黒画素で入力した場合には、図１の周辺が明確な白画素で構成される辺１ｆに対応する辺２ｆが、最長のエッジ線分となる様子がわかる。
【００４１】
次に、線分抽出手段のエッジ座標抽出手段によって、エッジ画素を連結しエッジ座標列を作成する。図３は、エッジ画素の８連結を説明するための概略図である。図３に示すように、エッジ画素の連結は、たとえば２次元座標が（ｘ，ｙ）の未連結のエッジ画素３ｄを注目画素として、８近傍画素を所定の回転方向、ここでは時計まわりに見て最初にあたる座標が（ｘ＋１，ｙ）の未連結エッジ画素３ａを注目画素と連結し、以降、連結されたエッジ画素３ａを新たな注目画素として、８近傍画素に未連結のエッジ画素が存在しなくなるまで、同様の処理を繰返して行う。
【００４２】
こうすることによって、エッジ画素が列のエッジ座標列（Ｘｉ，Ｙｉ）に変換される。エッジ座標列は、たとえば１文字の場合では、その外輪郭（または内輪郭）で１つの座標列となる。
【００４３】
次に、線分抽出手段の方向コード付与手段によって、エッジ座標列に方向コードを付与する。図４は、方向コードの付与を説明するための概略図である。図４では、座標列の１つの座標が黒丸を始点とした矢印で表されており、矢印はその方向を示している。ここでは、まず図４の（ａ）に示すように、座標列を走査し、注目座標から次の座標への方向に対して、方向コードを付与する。本実施の形態の方向コードは、３６０度を反時計まわりに６４に量子化されたベクトルコードであり、方向コード１および方向コード３３が水平方向の方向コードであり、方向コード１７および方向コード４９が垂直方向の方向コードである。
【００４４】
さらに、線分抽出手段の第２の方向コード付与手段によって図４の（ｂ）に示すように、各エッジ座標とその方向コードを走査し、ある方向コードとそれに連なる方向コードとの傾きの差が所定の閾値以下の点のエッジ座標を消去し、前記傾きの差が所定の閾値より大きい点（屈曲点４ｂ）のエッジ座標、および端点４ａ，４ｃのエッジ座標を保存する。
【００４５】
保存されたエッジ座標を基に、端点４ａと屈曲点４ｂとの間の区間ｌを結ぶ新たな線分４ｄ、および端点４ｃと屈曲点４ｂとの区間ｍを結ぶ新たな線分４ｅを抽出する。抽出された線分４ｄ，４ｅは、その両端の座標を基に方向コードが再計算され、新たな方向コードが付与される。図５は、図２に示す抽出画像２から抽出された新たな線分によって描かれる線分抽出画像５を示す概略図である。
【００４６】
次に、線分抽出手段によって、抽出された全線分から、線分の方向コードが水平方向を示す方向コード１および方向コード３３の線分、ならびに垂直方向を示す方向コード１７と方向コード４９の線分以外の線分を消去し、また線分長が所定の閾値以下の線分を消去する。これは言い換えれば、所定の閾値よりも長い水平線分および垂直線分を残す処理であるが、１つの方向コードは、３６０÷６４＝５．６度の範囲を持つため、正確には、±５．６度の誤差を持つ水平・垂直付近の線分を残す処理となる。これによって、極端な斜め線分はカットされる。図６は、図５に示す線分抽出画像５から水平線分および垂直線分が抽出された線分抽出画像６を示す概略図である。
【００４７】
次に、傾き抽出手段によって、この各線分の傾き角度と線分長を抽出し、画像の傾き角度を計算する。傾き抽出手段による傾き角度の計算は、抽出された全線分に対して、抽出された全線分長さの和を分母とし、各線分長を分子とした重みを、方向コードから抽出した各線分の角度に乗じ、この重み付き線分角度を加算した値を画像の傾き角度として抽出するものである。この傾き角度の抽出方法は、線分長さが長いものほどその傾き角度を採用するものである。これにより、もし画像の中央付近に傾き抽出エラー要因となる緩い斜め線分が存在しても、抽出された線分はマスクの効果でその線分長は短くなっており、その結果、エラーとなる緩い斜め角度が反映されにくくなる。なお、極端な斜め線分は前の処理でカット済みなので、この時点では緩い斜め線分が対象となる。
【００４８】
次に、傾き補正手段によって、求めた画像の傾き角度に基づいて、画像を回転させ傾きの補正を行う。以上の傾き補正において、画像の傾きが大きい場合、エッジ画素にがたつきが生じ、原稿上の１本の線分が複数の線分に分割されて抽出されてしまい、短い線分で傾き抽出を行うことになり補正精度が低下する。
【００４９】
本実施の形態では、これを回避するため、画像処理の最後に、終了判定手段によって、抽出した傾き角度の絶対値が所定の閾値以下であるか判断し、閾値以下の場合処理を終了し、また所定の閾値より大きい場合、補正済み画像を入力画像として再度傾き抽出を行い、終了と判定されるまで、傾き抽出、傾き補正および終了判定を繰り返す。このように、「傾き抽出→傾き補正→終了判定」を繰返すことによって、傾き補正精度を向上させることができる。図７は、傾きが補正された漫画画像９を示す概略図である。
【００５０】
図８は、画像処理装置による画像処理手順を説明するためのフローチャートである。図９は、本発明の実施の一形態である画像処理装置のＣＰＵ（中央演算処理装置）１１およびワークメモリ部１２を示すブロック図である。ワークメモリ部１２は、オリジナル画像バッファ（ＢＯ）、入力画像バッファ（ＢＩ）、エッジ画像バッファ（ＢＥ）、座標列バッファ（ＢＰ）、線分バッファ（ＢＬ）および補正画像バッファ（ＢＲ）を有し、ＣＰＵ１１によって制御される。
【００５１】
まず、ステップＳ５０１にて、画像処理装置に入力された画像は、オリジナル画像バッファ（ＢＯ）と入力画像バッファ部（ＢＩ）とに格納される。
【００５２】
次に、入力画像バッファ（ＢＩ）の中心領域の画素値が、画像の原稿上のフレームより外側の背景画素値で置換えられる。中心領域の形状は、円でも矩形でも任意であるが、本実施の形態では矩形領域とし、その縦方向の長さは入力画像の１／３、幅方向の長さは入力画像の１／３とする。また、中央領域を塗りつぶす画素値は、本実施の形態ではモノクロ２値画像（黒画像が１、白画像が０）を使用しているので、白画素値の０を用いる。マスクされた結果の画像はそのまま入力画像バッファ（ＢＩ）に保持される（Ｓ５０２）。
【００５３】
次に、入力画像バッファ（ＢＩ）を上→下、および左→右の２方向から順に走査し、注目画素が黒画素（１）で、直前の画素値が白画素（０）の場合、または直後の画素値が白画素（０）の場合、注目画素をエッジ画素として抽出し、エッジ画像バッファ（ＢＥ）の対応画素値を１に設定する。上記条件を満足していない場合は、注目画素が黒または白にかかわらず非エッジ画素として、エッジ画像バッファ（ＢＥ）の対応画素値を０に設定する。入力画像の全画素に対して上下左右からの走査を行った結果、エッジ画素は画素値１として、非エッジ画素は画素値０として、エッジ画像バッファ（ＢＥ）に格納される（Ｓ５０３）。
【００５４】
次に、エッジ画像バッファ（ＢＥ）のあるエッジ画素を注目画素とし、近傍８連結画素を時計まわりに見て最初にエッジ画素が存在する画素と連結を行っていく。これにより、２次元の２値画像データ（０と１のみの情報）から、連結されたエッジ座標列（Ｘｉ，Ｙｉ）に変換される。変換された座標列は座標列バッファ（ＢＰ）に格納される（Ｓ５０４）。
【００５５】
次に、座標列バッファ（ＢＰ）を走査し、注目座標（Ｘｉ，Ｙｉ）から次の座標（Ｘｉ＋１，Ｙｉ＋１）への方向コードを付与する。本実施の形態では、反時計まわりに３６０度を６４で量子化した６４方向コード（１，２，３，…６４）を用いる。したがって、３６０÷６４＝５．６度までの角度差が同じ方向コード値として設定される。この結果は座標列バッファ（ＢＰ）の方向コード部（Ｄｉ）に格納される（Ｓ５０５）。
【００５６】
次に、座標列バッファ（ＢＰ）の方向コード部（Ｄｉ）を走査し、ある方向コードとそれに連なる方向コードとの傾きの差が所定の閾値以下の点のエッジ座標を消去し、前記傾きの差が所定の閾値より大きい点のエッジ座標、および端点のエッジ座標を保存する。さらに、保存されたエッジ座標を基に、端点と屈曲点との間の区間を結ぶ新たな線分を抽出し、新たな方向コードを付与する。この結果、新たな線分の方向コードと線分の両端座標とが、線分バッファ（ＢＬ）に格納される（Ｓ５０６）。
【００５７】
次に、線分バッファ（ＢＬ）を走査し、線分の方向コードが水平（方向コード１と方向コード３３）、および垂直（方向コード１７と方向コード４９）以外の線分で、かつ線分長が所定の閾値以下の線分を消去する。残った結果は、同じく線分バッファ（ＢＬ）に上書きされる（Ｓ５０７）。
【００５８】
次に、線分バッファ（ＢＬ）を走査し、抽出された全ての水平・垂直線分の長さと角度から式１より画像の傾き角度θを計算する（Ｓ５０８）。
【００５９】
【数１】
0003878401.tif 000002
【００６０】
Ｎ：水平・垂直線分数
ＬＴ：全線分長の総和
Ｌｉ：ｉ番目線分の線分長
Ａｉ：ｉ番目線分の傾き角度
【００６１】
次に、抽出した画像の傾き角度θを基に入力画像バッファ（ＢＩ）を回転させ傾きの補正を行う。補正結果の画像は補正画像バッファ（ＢＲ）に格納される（Ｓ５０９）。
【００６２】
次に、抽出した画像の傾き角度θの絶対値が所定の閾値以下であるか判断し、閾値以下の場合は処理を終了する（Ｓ５１０）。画像の傾き角度θが所定の閾値よりも大きな場合は、補正画像バッファ（ＢＲ）の内容を入力画像バッファ（ＢＩ）にコピーし（Ｓ５１１）、再び傾き抽出、傾き補正を行うためＳ５０２へ戻る。以下、Ｓ５１０の終了判定で終了と判断されるまで、ステップＳ５０２〜ステップＳ５１１を繰返し、画像の傾きを高精度に補正する。
【００６３】
以上のような画像処理方法は、画像処理装置などのコンピュータに実行させるためのプログラムとして、コンピュータ読取可能な記録媒体に記録されてもよい。
【００６４】
【発明の効果】
以上のように本発明によれば、画像処理装置は、入力画像の中心領域の画素値を統一することによって、エラー要因となる斜め線分などを削除して、傾き補正の性能を向上および高速化を図り、入力された画像中に存在する線分が文字や絵と接触している場合でも、補正誤りの要因となる斜め線分が存在している場合でも、原稿の周辺エッジが白でない場合でも、高精度に傾き補正を行うことができる。よって、たとえば漫画画像の傾き補正を高速かつ高精度に行うことができる。
【図面の簡単な説明】
【図１】原稿よりも外側の部分が黒色で入力された漫画画像１を示す概略図である。
【図２】図１に示す漫画画像１からエッジ画素が抽出された抽出画像２を示す概略図である。
【図３】エッジ画素の８連結を説明するための概略図である。
【図４】方向コードの付与を説明するための概略図である。
【図５】図２に示す抽出画像２から抽出された新たな線分によって描かれる線分抽出画像５を示す概略図である。
【図６】図５に示す線分抽出画像５から水平線分および垂直線分が抽出された線分抽出画像６を示す概略図である。
【図７】本発明の実施の一形態である画像処理装置によって、傾きが補正された漫画画像９を示す概略図である。
【図８】画像処理装置による画像処理手順を説明するためのフローチャートである。
【図９】本発明の実施の一形態である画像処理装置のＣＰＵ（中央演算処理装置）１１およびワークメモリ部１２を示すブロック図である。
【符号の説明】
１  傾き補正前の漫画画像
２  抽出画像
５，６  線分抽出画像
９  傾きが補正された漫画画像
１１  ＣＰＵ
１２  ワークメモリ部
【図１】
0003878401.tif 000003
【図２】
0003878401.tif 000004
【図３】
0003878401.tif 000005
【図４】
0003878401.tif 000006
【図５】
0003878401.tif 000007
【図６】
0003878401.tif 000008
【図７】
0003878401.tif 000009
【図８】
0003878401.tif 000010
【図９】
0003878401.tif 000011