(57)【特許請求の範囲】
【請求項１】
入力画像の方向を検出する手段と、前記方向を検出できなかったときに、前記入力画像の傾きを検出する手段と、該手段の検出結果に基づいて、前記入力画像に対し、前記傾きを補正する手段と、該手段により補正された画像の方向を検出する手段と、該手段の検出結果に基づいて、前記傾きの補正後の画像に対し、該画像の方向を補正する手段とを有することを特徴とする画像処理装置。
【請求項２】
入力画像の方向を検出する手段と、前記方向を検出できなかったときに、前記入力画像の傾きを検出する手段と、該手段の検出結果に基づいて、前記入力画像に対し、前記傾きを補正する手段と、該手段により補正された画像の方向を検出する手段と、該手段により検出された方向及び前記手段により検出された傾きに基づいて、前記入力画像に対し、前記方向及び傾きを補正する手段とを有することを特徴とする画像処理装置。
【請求項３】
請求項１記載の画像処理装置において、前記方向の補正後の画像の傾きを検出する手段と、該手段の検出結果に基づいて、前記方向の補正後の画像の傾きを補正する手段とを有することを特徴とする画像処理装置。
【請求項４】
請求項２記載の画像処理装置において、前記検出された方向に基づいて該方向を補正する手段と、該方向の補正された画像の傾きを検出する手段と、該検出された傾き及び前記検出された方向に基づいて、前記入力画像に対し、前記方向及び傾きを補正する手段とを有することを特徴とする画像処理装置。
【請求項５】
入力画像の方向を検出ができなかったときに、前記入力画像の傾きを検出する工程と、該工程で検出された傾きに基づいて、前記入力画像に対し、前記傾きを補正する工程と、該工程で補正された画像の方向を検出する工程と、該工程で検出された方向に基づいて、前記傾きの補正後の画像に対し、該画像の方向を補正する工程とを有することを特徴とする画像処理方法。
【請求項６】
入力画像の方向を検出ができなかったときに、前記入力画像の傾きを検出する工程と、該工程により検出された傾きに基づいて、前記入力画像に対し、前記傾きを補正する工程と、該工程により補正された画像の方向を検出する工程と、該工程により検出された方向及び前記工程により検出された傾きに基づいて、前記入力画像に対し、前記方向及び傾きを補正する工程とを有することを特徴とする画像処理方法。
【請求項７】
請求項５記載の画像処理方法において、前記方向補正後の画像の傾きを検出する工程と、該工程により検出された傾きに基づいて、前記方向補正後の画像の傾きを補正する工程とを有することを特徴とする画像処理方法。
【請求項８】
請求項６記載の画像処理方法において、前記検出された方向に基づいて該方向を補正する工程と、該工程により補正された画像の傾きを検出する工程と、該工程により検出された傾き及び前記工程により検出された方向に基づいて、前記入力画像に対し、前記方向及び傾きを補正する工程とを有することを特徴とする画像処理方法。
【請求項９】
コンピュータに、請求項５乃至８のいずれかに記載の画像処理方法の各工程を実行させるためのプログラム。
【請求項１０】
請求項９に記載のプログラムを記録したコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、文字認識（ＯＣＲ）、スキャン画像閲覧ソフトなどに適用可能な、画像の方向及び傾きを補正するための画像処理方法、画像処理装置、画像処理を実行するためのプログラム、及び該プログラムを記録した記録媒体に関するものである。
【０００２】
【従来の技術】
文書の方向を判別する処理は、えてして傾いている場合に精度が落ちるものが多い。例えば、特許第３１８７８９４号の文書画像傾き検出方法では、二値化された文書画像（原画像）の傾きを検出する文書画像傾きを検出するため、原画像を縮小し、該縮小された画像から文字列領域を抽出し、該文字列領域に対応する原画像上の文字列領域内の黒画素連結成分、つまり文字の周囲を囲む外接矩形について、各外接矩形の高さのヒストグラムを作成し、頻度の最も高い値をとる外接矩形の高さを基準値とし、該基準値に対して所定の閾値以上大きい（つまり高い）外接矩形を基準値に変換し、変換後の外接矩形に対して、外接矩形の中心から最もずれの小さい直線を最小二乗近似法を用いて算出することにより文字列の傾きを求めている。
この検出方法では、文字からその中心点を得るために、基準より大きな矩形高さのものでは上部を削る変換処理を行っている。しかしながら、英字のように文字の大きさがまちまちのものでは、その文書方向が目で見たとき例えばその１文字が自然に読み取れる方向（ここでは正規方向という、また、便宜上この方向を北向きとして他の方向を東、西、南向きということもある）と異なる南向きつまり上下逆になった状態では、中心点がずれそれが全体の傾き検出に悪影響を与えることになる。
加えて、文書の傾きの検出処理は、文書が正規の向きであることを前提にしているものが多く、文書が正規方向以外の方向、つまり東、西、南を向いている場合に精度が落ちることが多い。
【０００３】
また、文書の方向判別について、例えば特開２０００−１１３１０３号公報に開示されたものでは、文字認識の確信度（類似度、例えば、文字の特徴量と辞書パターンの特徴量（ユークリッド距離、マハラノビス距離など）の評価値を用いる）を利用して文書の方向を判別している。つまり、画像のレイアウトを解析し、最も優先順位の高い処理対象領域を選択する。具体的には、例えば、選択された領域の中からＮ行を抽出し、そのうち最初のＭ個を抽出する。各文字を９０゜毎に上下左右の４方向で認識処理し、類似度が大きい（距離が小さい）文字ほど確信度が大きい値をとるようにしている。
方向判別手段は、４方向の中で最大の確信度のみがしきい値を超えたとき、当該文字については方向性があると判定する。方向性があると判定したときはデータ記憶部に作成された方向頻度ヒストグラムにカウントして方向頻度ヒストグラムを作成し、最大頻度値がしきい値以上である最大頻度値の方向を画像方向と判別する。ただ、この場合、傾いていると文字の切り出しや特徴量の抽出が傾きなしに比べて難しく、正常な状態よりも確信度情報が小さめにでる傾向があるため判別不能の割合は若干ながら増える傾向がある。
そのような場合、傾いていてかつ文書方向が正規の向きでないような画像は、どちらから先に処理を行っても、期待される精度がでないということが起こり得る。
【０００４】
【発明が解決しようとする課題】
本発明は、以上のような従来技術の問題を解決すべくなされたものであって、その第１の目的は、正規の方向でなくしかも傾いた画像を精度よく補正して、例えば、ＯＣＲで文字を読み取るとき、或いはユーザーが文書画像を閲覧する際に、不自然でなく違和感ないものとすることである。
本発明の第２の目的は、画像の方向や傾きの補正に伴う画質の劣化を防止することである。
本発明の第３の目的は、多値画像の方向や傾きの補正を精度良くかつ画像の劣化を伴うことなく行うことである。
本発明の第４の目的は、画像の方向及び傾きの補正処理を任意のコンピュータにより容易に実行できるようにすることである。
【０００５】
【課題を解決するための手段】
請求項１の発明は、入力画像の方向を検出する手段と、前記方向を検出できなかったときに、前記入力画像の傾きを検出する手段と、該手段の検出結果に基づいて、前記入力画像に対し、前記傾きを補正する手段と、該手段により補正された画像の方向を検出する手段と、該手段の検出結果に基づいて、前記傾きの補正後の画像に対し、該画像の方向を補正する手段とを有することを特徴とする画像処理装置である。
【０００６】
請求項２の発明は、入力画像の方向を検出する手段と、前記方向を検出できなかったときに、前記入力画像の傾きを検出する手段と、該手段の検出結果に基づいて、前記入力画像に対し、前記傾きを補正する手段と、該手段により補正された画像の方向を検出する手段と、該手段により検出された方向及び前記手段により検出された傾きに基づいて、前記入力画像に対し、前記方向及び傾きを補正する手段とを有することを特徴とする画像処理装置である。
【０００７】
請求項３の発明は、請求項１記載の画像処理装置において、前記方向の補正後の画像の傾きを検出する手段と、該手段の検出結果に基づいて、前記方向の補正後の画像の傾きを補正する手段とを有することを特徴とする画像処理装置である。
【０００８】
請求項４の発明は、請求項２記載の画像処理装置において、前記検出された方向に基づいて該方向を補正する手段と、該方向の補正された画像の傾きを検出する手段と、該検出された傾き及び前記検出された方向に基づいて、前記入力画像に対し、前記方向及び傾きを補正する手段とを有することを特徴とする画像処理装置である。
【００１１】
請求項５の発明は、入力画像の方向を検出ができなかったときに、前記入力画像の傾きを検出する工程と、該工程で検出された傾きに基づいて、前記入力画像に対し、前記傾きを補正する工程と、該工程で補正された画像の方向を検出する工程と、該工程で検出された方向に基づいて、前記傾きの補正後の画像に対し、該画像の方向を補正する工程とを有することを特徴とする画像処理方法である。
【００１２】
請求項６の発明は、入力画像の方向を検出ができなかったときに、前記入力画像の傾きを検出する工程と、該工程により検出された傾きに基づいて、前記入力画像に対し、前記傾きを補正する工程と、該工程により補正された画像の方向を検出する工程と、該工程により検出された方向及び前記工程により検出された傾きに基づいて、前記入力画像に対し、前記方向及び傾きを補正する工程とを有することを特徴とする画像処理方法である。
請求項７の発明は、請求項５記載の画像処理方法において、前記方向補正後の画像の傾きを検出する工程と、該工程により検出された傾きに基づいて、前記方向補正後の画像の傾きを補正する工程とを有することを特徴とする画像処理方法である。
請求項８の発明は、請求項６記載の画像処理方法において、前記検出された方向に基づいて該方向を補正する工程と、該工程により補正された画像の傾きを検出する工程と、該工程により検出された傾き及び前記工程により検出された方向に基づいて、前記入力画像に対し、前記方向及び傾きを補正する工程とを有することを特徴とする画像処理方法である。
請求項９の発明は、コンピュータに、請求項５乃至８のいずれかに記載の画像処理方法の各工程を実行させるためのプログラムである。
請求項１０の発明は、請求項９に記載のプログラムを記録したコンピュータ読取可能な記録媒体である。
【００１３】
【発明の実施形態】
本発明を図示する実施形態について説明する。
図１は、本発明に係る画像処理装置の１実施形態の構成を示すブロック図である。図示の画像形成装置は、マイクロプロセッサ等によるデジタル処理で実行するために構成したものである。同図において、スキャナ１０１は文書画像原稿を光学的に読み取り、電気信号である画像データに変換する。コンピュータのＣＰＵ１０２は、本発明の処理を実行するためのプログラムが格納されたプログラム格納ＲＯＭ／ＲＡＭ１０７から、又はＣＤ−ＲＯＭ／ＦＤ（フレキシブルディスク）等の任意の記録媒体１００からＣＤ−ＲＯＭ／ＦＤドライブ１０５によって当該プログラムを読み出して、ワークエリアＲＡＭ１０６において文書画像データに対する方向判別処理、傾き角度判別処理、画像回転処理などを実行する。処理された文書画像データはＣＰＵ１０２の指示によりメモリ１０３に格納され、必要によりディスプレイ１０４に表示され、或いは印字装置１０８によって印字出力される。
【００１４】
次に、入力画像の方向が正規方向でなくこれとは異なる方向であったり、或いは傾きがあるかもしれない状態で入力された場合における傾きのない正規方向の画像の作成について説明する。
（第１の実施形態）
第１の実施形態では、まず、最初に文書方向の判別処理を行う（なお、文書方向の判別は既に知られた従来の方法による）。そして、画像を傾きと逆方向に回転、つまり補正して傾きのない画像を生成する。
ここで、第一の文書方向判別が失敗した場合、次の工程（ステップ）として傾き（傾斜角度）の検出を行い、傾きの補正後に再度文書方向の判別を行う。これによって、二度目の処理は、画像に傾きのない状態で文書方向判別が行えるので、一度目の判別に失敗した画像でも文書方向の判別が成功するようになる。
図２はこの処理を説明するためのフローチャートである。
画像を入力し（Ｓ１０１）、該画像について、従来知られている適宜の方法によりその方向判別処理を行い（Ｓ１０２）、判別が成功し（Ｓ１０３、Ｙ）、正規の方向であれば（Ｓ１０４、Ｙ）そのまま、それが正規の方向でなければ（Ｓ１０４、Ｎ）画像を正規の方向に回転処理して（Ｓ１０５）、次にこれも従来既に知られた適宜の方法で傾き判別処理を行う（Ｓ１０６）。最後に判別された傾きを補正するため画像を回転処理して出力する（Ｓ１１３）。
以上の処理において、ステップＳ１０３において、判別に失敗したときには（Ｓ１０３、Ｎ）、その状態で傾き判別処理を行い（Ｓ１０８）、その判別結果に従って画像の傾きを補正するため回転する（Ｓ１０９）。次に、このように画像の傾きを補正した状態で再度画像の方向を判別する（Ｓ１１０）、判別の結果画像の方向が正規の方向あれば（Ｓ１１１、Ｙ）そのまま、正規の方向でなければ（Ｓ１１１、Ｎ）、画像を正規の方向に回転処理して（Ｓ１１２）出力する（Ｓ１１３）。以上のようにして、傾きのない正規方向の画像が得られる。
以下、同様の処理を異なる他の実施例について説明する。
【００１５】
（第２の実施形態）
第２の実施形態について説明する。
入力画像が文書方向が正規の向きに限定されない、傾きがあるかもしれない状態で入力された場合、第１の実施形態と同様の処理を行う。
ここで、本実施形態は、二度目の文書方向の判別処理が成功した場合、画像の方向を正規の方向に回転させるが、これによって画像が正規の向きになることで、さらに画像の傾き（傾斜角度）が精度良く検出できる。そこで、この正規の向きになった画像に対して、２度目の傾き検出処理を行い、補正が必要な角度が検出できた場合、その角度で補正を行うものである。
図３は、第２の実施形態である前記処理を説明するためのフローチャートである。図３において、画像を入力し（Ｓ２０１）、該画像について、既に従来知られている適宜の方法によりその方向判別処理を行い（Ｓ２０２）、判別が成功し（Ｓ２０３、Ｙ）、画像が正規の方向であれば（Ｓ２０４、Ｙ）そのまま、正規の方向でなければ（Ｓ２０４、Ｎ）画像を正規の方向に回転処理する（Ｓ２０５）。次に、従来既に知られた適宜の方法で傾き判別を行う（Ｓ２０６）。最後に判別された傾きを補正するため画像を回転して（Ｓ２０７）、画像を出力する（２１５）。
以上の処理において、ステップＳ２０３において、画像方向の判別に失敗したときには（Ｓ２０３、Ｎ）、その状態で傾き判別を行い（Ｓ２０８）、その判別結果に従って画像の傾き（傾斜角度）を補正するため回転する（Ｓ２０９）。このように画像の傾きを補正した状態で再度画像の方向を判別する（Ｓ２１０）、判別の結果画像の方向が正規の方向あれば（Ｓ２１１、Ｙ）そのまま、正規の方向でなければ（Ｓ２１１、Ｎ）、画像を正規の方向に回転処理して（Ｓ２１２）から、再度画像の傾き判別処理を行い（Ｓ２１３）、その判別結果に基づき画像を回転して補正して（Ｓ２１４）出力する（Ｓ２１５）。
以上のように処理することで、画像の向き、角度ともに第１の実施形態の処理に比してより精度良い認識を行うことができる。
【００１６】
（第３の実施形態）
第３の実施形態を以下実施例１及び２について説明する。
（実施例１）
本実施例においては、画像の処理に先立ち、まず、入力画像をオリジナル画像として保存しておき実際の処理は複製画像において実施例２の場合と同じ処理を行い、画像の方向、傾斜角度の検出及び補正を行う。そして、補正を行った全補正データ（角度データ）をメモリ上に保存しておく。例えば、１度目の方向判別に失敗したとき、つまり、この場合は画像の正規方向への回転は不可能であるから、回転による補正角Ａ１＝０度、１度目の画像傾き角度１．３度（補正角Ｂ１＝−１．３度）、２度目の方向判別  東向（正規の向きを便宜上北向きとしたときの文書の方向、補正角Ａ２＝−９０度）、２度目の画像傾き角度０．８度（補正角Ｂ２＝−０．８度）とする。
ここで、最初に作成された複製画像は補正全体では、９０単位では−９０度、細かい単位で−２．１度の補正を行っている。そこで、この補正データ（角度データ）に基づいて、保存しておいたオリジナル画像に補正をかけ、それによって目的とする方向及び傾きが補正された最終画像を得ることができる。
以上の処理を行う理由は、画像回転には量子化誤差が伴うことが不可避であるため、微小角の回転を複数回実行すると明らかに画像の品質が低下し、また、微小角度の補正を高速実行するため、画像処理ソフトによっては、１バイトごとに補正をかけたることもあり、その場合益々画像にゆがみが生じるという問題があるので、それを回避するためである。
【００１７】
ここで、角度が９０度単位とそうでないのとで分けているのは、９０度単位の画像補正は微小角度の補正と違ったアルゴリズムで実装できるためである。即ち、例えば画像を１８０度回転する場合は、単に上下左右を逆にすればよいだけであるため、Ｘ、Ｙ座標でみればあるドット（Ｘ、Ｙ）をＸ＝−ｘ、Ｙ＝−ｙに変換して計算するだけでよいが、微小角の場合は、あるドット（Ｘ、Ｙ）をＸ＝ｘcosθ＋ｙsinθ、Ｙ＝ｙcosθ−xsinθに変換して計算するため、９０度単位の計算の方が微小角度の補正の計算より高速に計算処理が行えるからである。
なお、全ての総和の−９２．１度を一度で画像補正することが可能な画像回転処理を一度かけてしまう方法があればその方が効率的である。
【００１８】
図４は以上で説明した実施例１における処理を示すフローチャートである。
画像を入力し（Ｓ３０１）、該画像について複写画像を作成し（Ｓ３０２）、かつ元の画像はオリジナル画像として保存しておく、この複写画像について従来既に知られた方法によりその方向判別処理を行い（Ｓ３０３）、判別が成功し（Ｓ３０４、Ｙ）、画像方向が正規の向きであれば（Ｓ３０５、Ｙ）そのまま、正規方向でなければ（Ｓ３０５、Ｎ）画像を正規の向きにして回転処理し（Ｓ３０６）、次に従来知られた方法で傾き判別処理を行う（Ｓ３０７）。以上の処理において補正を行った補正データ（角度データ）をメモリ上に保存しておき、このメモリ上に保存した補正データに基づいて、保存しておいたオリジナル画像を回転処理して（Ｓ３０８）出力する（Ｓ３１６）。
以上の処理において、ステップＳ３０４において、判別に失敗したときには（Ｓ３０４、Ｎ）、その状態で傾き判別処理を行い（Ｓ３０９）、その判別結果に従って複写画像の傾きを補正するため回転する（Ｓ３１０）。このように複写画像の傾きを補正した状態で再度画像の方向を判別する（Ｓ３１１）、判別の結果画像の方向が正規の向きであれば（Ｓ３１２、Ｙ）そのまま、正規の向きでなければ（Ｓ３１２、Ｎ）、画像を正規の方向に回転処理して（Ｓ３１３）、再び傾き判別を行う（Ｓ３１４）。以上の処理において補正を行った補正データ（角度データ）をメモリ上に保存しておき、このメモリ上に保存した補正データに基づいて、オリジナル画像の回転処理を行い（Ｓ３１５）、補正画像を出力する（Ｓ３１６）。
【００１９】
（実施例２）
実施例２は、入力が多値画像（カラーまたはグレー）が入力された場合の動作である。多値画像が入力された場合に、それぞれ文書方向、スキュー（傾き）補正で処理できる二値画像への変換を行う必要がある。二値化の方法については、例えば、特開平９−２３３３２６公報には、多値画像中のブロック毎に輝度頻度を算出し、該輝度頻度中の輝度頻度最適領域を特定してその輝度頻度最適領域の平均輝度値を算出し、該平均値に基づいてブロック単位の二値化閾値を算出し、該ブロック単位の二値化閾値を補完する領域を設定し、設定された領域に対しブロック単位の二値化閾値を補完することで画素単位の二値化閾値を算出して二値化する方法などの方法が開示されているが、このような公知の方法を適宜利用して多値画像から二値画像を形成することができる。
本実施例では、得られた二値画像に対して第１又は第２の実施形態のいずれかの方法で画像傾き及び画像方向を検出する。その結果を反映させるのに、本実施例でも第２の実施形態の場合のように補正角度データ（情報）を保存しておき、オリジナルの多値画像に対してその角度の補正を行うことでカラー画像のスキュー補正、文書方向補正が可能である。
【００２０】
図５は実施例２の処理を示すフローチャートであり、以下、図５に基づいて実施例２の処理手順を説明する。
まず、多値画像を入力する（Ｓ４０１）。次に、該画像について二値画像の複写画像を作成し（Ｓ４０２）かつ元の画像はオリジナル画像として保存しておく、この複写画像について例えば前記従来の方法によりその方向判別処理を行い（Ｓ４０３）、その結果、判別が成功し（Ｓ４０４、Ｙ）、画像の方向が正規の向きであれば（Ｓ４０５、Ｙ）そのまま、正規方向でなければ（Ｓ４０５、Ｎ）、二値画像を正規の向きにして回転処理し（Ｓ４０６）、次に従来既に知られた方法で傾き判別処理を行う（Ｓ４０７）。以上の処理において補正を行った補正データ（角度データ）をメモリ上に保存しておき、このメモリ上に保存した補正データに基づいて、保存しておいた多値入力画像を回転処理して（Ｓ４０８）出力する（Ｓ４１６）。
以上の処理において、ステップＳ４０４において、画像の方向の判別に失敗したときには（Ｓ４０４、Ｎ）、その状態で傾き判別処理を行い（Ｓ４０９）、その判別結果に従って二値画像の傾きを補正するため回転する（Ｓ４１０）。このように二値画像の傾きを補正した状態で再度画像の方向を判別する（Ｓ４１１）、判別の結果画像の方向が正規の向きあれば（Ｓ４１２、Ｙ）そのまま、正規の向きでなければ（Ｓ４１２、Ｎ）、二値画像を正規の向きに回転して（Ｓ４１３）傾き判別を行う（Ｓ４１４）。以上の処理において補正を行った補正データ（角度データ）をメモリ上に保存しておき、このメモリ上に保存した補正データに基づいて多値画像の回転処理を行い（Ｓ４１５）、画像出力する（Ｓ４１６）。
【００２１】
（第４の実施形態）
本実施形態は、二値化を行う際に傾き検出と文書方向判別するのに最適な二値画像が異なることが考えられるため、それに対応する処理である。
例えば文書方向を判別するには、文字認識を使うことが有効であり、１例として前掲の特開２０００−１１３１０３号公報に開示された処理法では、文字認識の精度が上がるような二値化が最適である。例えば２００ｄｐｉカラー画像が入力されたとき、日本語などでは、４００ｄｐｉ相当に画像を拡大して文字認識をかけたほうが、認識精度が向上することが分かっている。従って、文書方向判別を行うには、画像を拡大する二値化が望ましい。
また、画像の傾き判別に限ると、例えば、前掲の特許第３１８７８９４号の明細書に開示された文書画像傾き検出方法のように、文字は認識せず、その文字とおぼしき外接矩形を利用するものが多く、これらの公知の検出方法を用いることができる。また、罫線情報に着目した、例えば、特開平７−１０５３１０公報に示された方法を利用することもできる。この方法では、例えば、図６に示すように、主走査方向罫線に着目した主走査方向の黒ランの統合の際に、統合される主走査方向の長い２本の黒ランＬＨ１，ＬＨ２の始点または終点のＸ座標を比較する。図６（ａ）に示すように、上側の黒ランＬＨ１の始点のＸ座標（ｘs1）と下側の黒ランＬＨ２の始点のＸ座標（ｘs2）との関係が ｘs1＜ｘs2 ならば「右下がり」と判別し、また図６（ｂ）に示すように 黒ランＬＨ１の終点のＸ座標（ｘe1）と黒ランＬＨ２の終点のＸ座標（ｘe2）が ｘe1＞ｘe2 ならば「右上がり」と判別する。そのいずれでもない場合には、傾きなしと判別する。この判別を、統合される黒ランの複数ペアについて行ない、例えば、各ペアの判別結果の多数決により最終的な判別結果を決める。あるいは、右下がり、右上がりのそれぞれの判別回数をカウントし、所定値に先に到達した傾き方向を最終的な判別結果とするものである。
また、傾きの角度θは、例えば、注目した罫線の幅と黒画素とから罫線の太さ＝黒画素数／罫線の幅、を求め、注目した罫線の高さと前記罫線の太さとから、罫線のずれ＝罫線の高さ−罫線の太さを求め、傾き角度θをtanθ＝罫線のずれ／罫線の幅から求めている。
【００２２】
ここで、画像傾き検出には、画像を拡大したりせず、逆に縮小して処理量を減らしたり、エッジ強調をかけて、罫線がはっきり出るような二値化をする方がより精度の高い検出が期待できる。
第４の実施形態ではこの点を考慮して、それぞれ処理に適した画像を作成し、それを認識にかけることで、画像方向、画像傾きを検出し、オリジナルの多値画像に反映することでオリジナル画像の画像方向、画像傾きをなくした画像を作成することが可能となる。
図７は、本実施形態の処理を説明するためのフローチャートを示す。
多値入力画像を準備し（Ｓ５０１）、該画像について方向判別用の二値画像を複写画像を作成し（Ｓ５０２）かつ元の多値入力画像はオリジナル画像として保存しておく、この複写した二値画像について従来公知の方法によりその方向判別処理を行い（Ｓ５０３）、その結果、判別が成功し（Ｓ５０４、Ｙ）、画像の方向が正規の向きであれば（Ｓ５０５、Ｙ）そのまま、正規方向でなければ（Ｓ５０５、Ｎ）二値画像を正規の向きにして回転処理し（Ｓ５０６）、次に、傾き判別に適する二値化処理、つまり傾き判別用二値化を行い（Ｓ５０７）、従来既に知られた方法で傾き判別処理行う（Ｓ５０８）。以上の処理において補正を行った補正データ（角度データ）をメモリ上に保存しておき、このメモリ上に保存した補正データに基づいて、保存しておいた多値入力画像を回転処理して（Ｓ５０９）出力する（Ｓ５１９）。
以上の処理において、ステップＳ５０４において、判別に失敗したときには（Ｓ５０４、Ｎ）、傾き判別用二値化処理を行い（５１０）、その状態で傾き判別処理を行う（Ｓ５１１）。その判別結果に従って二値画像の傾きを補正するため回転処理する（Ｓ５１２）。このように二値画像の傾きを補正した状態で再度画像の方向を判別するため方向判別用二値化処理を行い（Ｓ５１３）、方向判別処理を行う（５１４）。判別の結果画像の方向が正規の向きあれば（Ｓ５１５、Ｙ）そのまま、正規の向きでなければ（Ｓ５１５、Ｎ）、二値画像を正規の向きに回転して（Ｓ５１６）傾き判別を行う（Ｓ５１７）。以上の処理において補正を行った補正データ（角度データ）をメモリ上に保存しておき、このメモリ上に保存した補正データに基づいて、多値画像の回転処理を行い（Ｓ５１８）、画像出力する（Ｓ５１９）。
【００２３】
【発明の効果】
本発明によれば、画像の方向の最初の判別に失敗しても、画像の傾きを補正してから、再度画像の方向を判別し、補正することができる。
また、画像の方向の最初の判別に失敗しても、画像の傾きを補正してから再度画像の方向を判別することで、画像の判別が可能になる。
さらに、本発明の処理のためのプログラムをコンピュータに読み取らせることで画像を補正する処理を容易に実行することができる。
また、画像の方向及び傾きを補正する処理を実行するためのプログラムを任意のコンピュータにロードして前記処理を容易に実行することができる。
【図面の簡単な説明】
【図１】  本発明の実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】  本発明の実施形態による画像の方向及び傾きを補正する処理のフロー図である。
【図３】  本発明の他の実施形態による画像の方向及び傾きを補正する処理のフロー図である。
【図４】  本発明の他の実施形態による画像の方向及び傾きを補正する処理のフロー図である。
【図５】  本発明の他の実施形態による画像の方向及び傾きを補正する処理のフロー図である。
【図６】  画像の傾き判別方法の１例を説明するための図である。
【図７】  本発明の他の実施形態による画像の方向及び傾きを補正する処理のフロー図である。
【符号の説明】
１００…記録媒体（ＣＤ−ＲＯＭ）、１０１…スキャナ、１０２…ＣＰＵ、
１０３…メモリ、１０４…ディスプレイ、
１０５…ＣＤ−ＲＯＭ／ＦＤドライブ、１０６…ワークエリアＲＡＭ、
１０７…プログラム格納ＲＯＭ／ＲＡＭ、１０８・・・印字装置。
【図１】
0003915974.tif 000002
【図２】
0003915974.tif 000003
【図３】
0003915974.tif 000004
【図４】
0003915974.tif 000005
【図５】
0003915974.tif 000006
【図６】
0003915974.tif 000007
【図７】
0003915974.tif 000008